KR102356346B1 - 센서기반 미세먼지 정보 처리 고도화를 위한, 보간 및 이상데이터 탐지 및 수정 시스템 - Google Patents
센서기반 미세먼지 정보 처리 고도화를 위한, 보간 및 이상데이터 탐지 및 수정 시스템 Download PDFInfo
- Publication number
- KR102356346B1 KR102356346B1 KR1020190150834A KR20190150834A KR102356346B1 KR 102356346 B1 KR102356346 B1 KR 102356346B1 KR 1020190150834 A KR1020190150834 A KR 1020190150834A KR 20190150834 A KR20190150834 A KR 20190150834A KR 102356346 B1 KR102356346 B1 KR 102356346B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- interpolation
- missing
- bandwidth
- value
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 238000005259 measurement Methods 0.000 title claims description 3
- 238000000034 method Methods 0.000 claims abstract description 84
- 239000000428 dust Substances 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 230000002159 abnormal effect Effects 0.000 claims description 17
- 230000009021 linear effect Effects 0.000 claims description 15
- 230000010365 information processing Effects 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 5
- 238000002790 cross-validation Methods 0.000 claims description 2
- 238000013179 statistical model Methods 0.000 claims description 2
- 238000009827 uniform distribution Methods 0.000 claims description 2
- 238000011835 investigation Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 10
- 230000002547 anomalous effect Effects 0.000 abstract description 6
- 230000007257 malfunction Effects 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000011161 development Methods 0.000 abstract description 3
- 230000006872 improvement Effects 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 230000001788 irregular Effects 0.000 abstract 1
- 238000012806 monitoring device Methods 0.000 abstract 1
- 238000002474 experimental method Methods 0.000 description 9
- 238000009826 distribution Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000010200 validation analysis Methods 0.000 description 5
- 238000011179 visual inspection Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000003449 preventive effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000005183 environmental health Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001373 regressive effect Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/02—Investigating particle size or size distribution
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/06—Investigating concentration of particle suspensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Dispersion Chemistry (AREA)
- Mathematical Physics (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Tourism & Hospitality (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
Description
도 2는 2019년 1월 25일부터 2019년 1월 31일 사이에 6일 동안 수집된 데이터 세트를 도시한 그래프이다.
도 3은 대역폭을 작은 것에서 큰 것으로 증가시킴으로써 추정의 RMSE를 계산하고 해당 RMSE가 최소값인 대역폭 값을 조사한 것을 나타낸 그래프이다.
도 4는 누락된 값은 보간되어 있고, 적색으로 표시된 그래프이다.
도 5는 비정상이 적색으로 표시된 것을 나타낸 그래프이다.
도 6은 2019년 1월 25일부터 2019년 2월 1일 사이에 8일 동안 수집된 데이터 세트 2를 나타낸 그래프이다.
도 7은 이 데이터 세트의 최적 대역폭이 19개로 선택된 것을 나타낸 그래프이다.
도 8은 누락된 데이터가 보간되어 있고, 적색으로 표시된 그래프이다.
도 9는 이상이 탐지되고 적색으로 표시되며, (a)는 전체 데이터 세트에 대한 이상치가 도시된 그래프이고, (b)는 2,750과 4,000 사이의 데이터 세트 부분에 대해 확대된 이상치가 표시된 그래프이다.
Claims (7)
- 센서기반 미세먼지 정보 처리 고도화를 위한 보간 및 이상데이터 탐지 방법에 있어서,
센서기반으로 획득된 미세먼저의 전체 데이터에서 누락된 데이터가 없는 부분을 선택하는 단계;
상기 선택된 데이터 부분에 대한 대역폭을 추정하는 단계;
상기 전체 데이터의 세트에 대해 누락 데이터를 조사하는 단계;
상기 조사 결과 누락된 데이터가 있는 경우에 선형 보간을 이용하여 누락된 데이터를 보간하는 단계;
상기 추정된 대역폭 값을 이용하여 KRBI(Kernel Regression-based interpolation) 알고리즘을 적용하여 보간을 수행하는 단계;
상기 보간 이후 누락된 데이터가 없는 경우에, 상기 전체 데이터 세트에 대해 비정상 데이터를 탐지하는 단계를 수행하는 것을 특징으로 하는 센서기반 미세먼지 정보 처리 고도화를 위한 보간 및 이상데이터 탐지 방법.
- 제 1 항에 있어서,
상기 대역폭을 추정하는 단계는,
LOOCV(Leave One Out Cross-Validation) 기반으로 추정되는 대역폭 중에서 추정 오차가 가장 최소가 되는 대역폭을 최적의 대역폭으로 계산하는 것을 특징으로 하는 센서기반 미세먼지 정보 처리 고도화를 위한 보간 및 이상데이터 탐지 방법.
- 제 2 항에 있어서,
상기 대역폭을 추정하는 단계는,
상기 선택된 데이터를 교육(training) 데이터 및 검증(verification) 데이터로 분할하는 단계;
상기 대역폭을 작은 값으로부터 큰 값으로 변경하면서 상기 트레이닝 데이터를 이용하여 상기 검증 데이터 값을 예측하는 단계;
상기 예측된 검증 데이터 값을 실제 검증 데이터 값과 비교하여 추정 오차를 계산하는 단계를 더 포함하는 것을 특징으로 하는 센서기반 미세먼지 정보 처리 고도화를 위한 보간 및 이상데이터 탐지 방법.
- 제 1 항에 있어서,
선형 보간을 이용하여 누락된 데이터를 보간하는 단계는,
버스트성(bursty) 누락 데이터에 대해 선형 보간을 먼저 실시하고,
상기 KRBI 알고리즘을 적용하여 보간을 수행하는 단계는,
상기 누락 데이터의 최종 보간을 위해 KRBI 보간을 적용하여 보간 성능을 향상시키는 것을 특징으로 하는 센서기반 미세먼지 정보 처리 고도화를 위한 보간 및 이상데이터 탐지 방법.
- 제 4 항에 있어서,
상기 KRBI 알고리즘은 시계열 데이터를 (ti, yi)로 정의하고(여기서 ti, yi는 시간과 시간 ti에서의 데이터의 측정 값을 나타냄),
상기 KRBI 알고리즘은 yi의 대표 값 를 설정하는 것으로 이며, 대역폭 h는 로 정의되며, 이때 대표값 는 가우시안(Gaussian) 또는 균일 분포 통계 모델에 따라 가중치 Wi를 생성할 수 있는 Wiyi의 가중 평균값으로 계산되고, 하기의 수학식 1으로 표현되는 것을 특징으로 하는 센서기반 미세먼지 정보 처리 고도화를 위한 보간 및 이상데이터 탐지 방법.
[수학식 1]
(이때, 는 가중치(weight)임.)
- 삭제
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190150834A KR102356346B1 (ko) | 2019-11-21 | 2019-11-21 | 센서기반 미세먼지 정보 처리 고도화를 위한, 보간 및 이상데이터 탐지 및 수정 시스템 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190150834A KR102356346B1 (ko) | 2019-11-21 | 2019-11-21 | 센서기반 미세먼지 정보 처리 고도화를 위한, 보간 및 이상데이터 탐지 및 수정 시스템 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210062513A KR20210062513A (ko) | 2021-05-31 |
KR102356346B1 true KR102356346B1 (ko) | 2022-01-26 |
Family
ID=76150293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190150834A KR102356346B1 (ko) | 2019-11-21 | 2019-11-21 | 센서기반 미세먼지 정보 처리 고도화를 위한, 보간 및 이상데이터 탐지 및 수정 시스템 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102356346B1 (ko) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230059277A (ko) * | 2021-10-26 | 2023-05-03 | 정아연 | 과학실험장치 실험 데이터 분석 시스템 및 방법 |
KR20230075260A (ko) * | 2021-11-22 | 2023-05-31 | 에스케이플래닛 주식회사 | 센서의 문맥 인식 기반 결측값을 보간하기 위한 장치 및 이를 위한 방법 |
KR102718448B1 (ko) * | 2021-12-31 | 2024-10-16 | 국민대학교산학협력단 | 초미세먼지의 볼륨 예측 방법, 이를 위한 프로그램 및 장치 |
KR102560106B1 (ko) | 2022-02-16 | 2023-07-26 | 경희대학교 산학협력단 | 하모니 서치 알고리즘 기반 시간 지연 보상 환기 제어방법 및 시스템 |
KR102727169B1 (ko) * | 2022-07-01 | 2024-11-05 | 박양수 | 통계모형을 이용한 시장규모 추정 장치 및 그 방법 |
KR102504412B1 (ko) * | 2022-08-05 | 2023-03-02 | 순천향대학교 산학협력단 | 머신러닝 기반 미세먼지 센서 오차 보정 장치 및 방법 |
CN117129556B (zh) * | 2023-08-29 | 2024-02-02 | 中国矿业大学 | 基于无线传感器网络的室内tvoc浓度实时监测系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9256224B2 (en) * | 2011-07-19 | 2016-02-09 | GE Intelligent Platforms, Inc | Method of sequential kernel regression modeling for forecasting and prognostics |
KR20150116082A (ko) * | 2014-04-04 | 2015-10-15 | 순천향대학교 산학협력단 | 다중 회귀 모형을 이용하여 초미세 먼지 노출에 따른 폐기능 저하 예측방법 |
KR102555008B1 (ko) * | 2018-01-04 | 2023-07-14 | 코웨이 주식회사 | 먼지농도 보정 장치 |
-
2019
- 2019-11-21 KR KR1020190150834A patent/KR102356346B1/ko active IP Right Grant
Non-Patent Citations (2)
Title |
---|
공간보간기법에 의한 서울시 미세먼지(PM10)의 분포 분석(조홍래, 환경영향평가 제18권 제1호, 2009) |
표준기상데이터 작성 시 누락된 풍속 데이터의 보간 방법 제안(박소우, JKSES Vol.37 No6, 2017) |
Also Published As
Publication number | Publication date |
---|---|
KR20210062513A (ko) | 2021-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102356346B1 (ko) | 센서기반 미세먼지 정보 처리 고도화를 위한, 보간 및 이상데이터 탐지 및 수정 시스템 | |
US10152879B2 (en) | Method, apparatus, and system for monitoring manufacturing equipment | |
US20200371491A1 (en) | Determining Operating State from Complex Sensor Data | |
US10914608B2 (en) | Data analytic engine towards the self-management of complex physical systems | |
JP7282184B2 (ja) | 工業プロセスで使用されるコンポーネントから発生する信号の異常を検出及び測定するためのシステムと方法 | |
JP5753286B1 (ja) | 情報処理装置、診断方法、およびプログラム | |
US20190052725A1 (en) | Device-free activity identification using fine-grained wifi signatures | |
EP3444724B1 (en) | Method and system for health monitoring and fault signature identification | |
US9245235B2 (en) | Integrated approach to model time series dynamics in complex physical systems | |
JP6141235B2 (ja) | 時系列データにおける異常を検出する方法 | |
CN108564069B (zh) | 一种工业佩戴安全帽视频检测方法 | |
US20150219530A1 (en) | Systems and methods for event detection and diagnosis | |
KR101872342B1 (ko) | 개선된 RTC(Real-time contrasts) 기법을 이용한 지능형 이상 진단 방법 및 장치 | |
EP3910437B1 (en) | Monitoring apparatus, monitoring method, and computer-readable medium | |
CN111782491B (zh) | 一种磁盘故障预测方法、装置、设备及存储介质 | |
CN110738255A (zh) | 一种基于聚类算法的设备状态监测方法 | |
CN114241294B (zh) | 一种设备异常检测的方法、系统、设备及存储介质 | |
US20230034061A1 (en) | Method for managing proper operation of base station and system applying the method | |
CN117114213A (zh) | 一种村网共建便民网络服务方法及系统 | |
Xu et al. | A lof-based method for abnormal segment detection in machinery condition monitoring | |
CN118542652B (zh) | 穿戴式智能内衣的异常监测报警方法、装置及设备 | |
CN118228130B (zh) | 一种基于设备健康状态的监测方法、系统和存储介质 | |
CN116705271A (zh) | 一种大数据的医疗冲洗设备运行监测系统 | |
CN113454553B (zh) | 用于检测和测量源自工业过程中使用的部件的信令中的异常的系统和方法 | |
Luca et al. | Anomaly detection using the Poisson process limit for extremes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20191121 |
|
PG1501 | Laying open of application | ||
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20210707 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20191121 Comment text: Patent Application |
|
PA0302 | Request for accelerated examination |
Patent event date: 20210707 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20191121 Patent event code: PA03021R01I Comment text: Patent Application |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20220103 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20220124 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20220124 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
PR1001 | Payment of annual fee |
Payment date: 20241224 Start annual number: 4 End annual number: 4 |