KR101063202B1 - 단계별 필터링 기법을 활용한 상수도 계측데이터 수집방법 및 그 시스템 - Google Patents
단계별 필터링 기법을 활용한 상수도 계측데이터 수집방법 및 그 시스템 Download PDFInfo
- Publication number
- KR101063202B1 KR101063202B1 KR1020110016655A KR20110016655A KR101063202B1 KR 101063202 B1 KR101063202 B1 KR 101063202B1 KR 1020110016655 A KR1020110016655 A KR 1020110016655A KR 20110016655 A KR20110016655 A KR 20110016655A KR 101063202 B1 KR101063202 B1 KR 101063202B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- filtering
- measurement
- abnormal
- server
- Prior art date
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 99
- 238000005259 measurement Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 49
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 34
- 230000002159 abnormal effect Effects 0.000 claims abstract description 75
- 238000007405 data analysis Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 6
- 238000007726 management method Methods 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 5
- 238000012423 maintenance Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 230000007257 malfunction Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 239000008399 tap water Substances 0.000 description 5
- 235000020679 tap water Nutrition 0.000 description 5
- ZAMOUSCENKQFHK-UHFFFAOYSA-N Chlorine atom Chemical compound [Cl] ZAMOUSCENKQFHK-UHFFFAOYSA-N 0.000 description 4
- 229910052801 chlorine Inorganic materials 0.000 description 4
- 239000000460 chlorine Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000032368 Device malfunction Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 238000003911 water pollution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Water Supply & Treatment (AREA)
- Software Systems (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Public Health (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은 단계별 필터링 기법을 활용한 상수도 계측데이터 수집방법 및 그 시스템에 관한 것으로, DB서버가 상수관망의 현장 계측기로부터 시계열적으로 측정 데이터와 현장 계측기의 식별정보를 수신하는 단계, 및 다음의 3단계 필터링 과정, (a) 필터링 서버가 상기 DB서버에 수신된 측정 데이터 중 결측 데이터 또는 현장 계측기의 측정범위를 벗어난 데이터는 비정상 데이터로 판정 구분하는 1차 필터링 단계; (b) 필터링 서버가 상기 DB서버에 수신된 측정 데이터 또는 상기 1차 필터링 단계에서 정상 데이터로 구분된 데이터 중 데이터 취득 기간 중에 정상적인 데이터 수집이 불가능할 때 발생한 데이터는 비정상 데이터로 판정 구분하는 2차 필터링 단계; (c) 필터링 서버가 상기 DB서버에 수신된 측정 데이터 또는 본 단계의 직전 필터링 단계에서 정상 데이터로 구분된 데이터 중 분석자를 통해 입력장치에 의해 비정상으로 표시입력되는 데이터를 비정상 데이터로 판정 구분하는 3차 필터링 단계; 중 적어도 하나 이상의 단계를 포함함으로써, 현장 계측 데이터 중 정상 데이터와 비정상 데이터의 구분에 대한 명확한 기준을 제시할 수 있고, 그 기준을 바탕으로 정상 데이터와 비정상 데이터를 구분하여 비정상 데이터를 측정 데이터 분석에서 제외하므로 데이터 분석의 객관성을 확보할 수 있는 효과가 있다.
Description
본 발명은 단계별 필터링 기법을 활용한 상수도 계측데이터 수집방법 및 그 시스템 에 관한 것으로, 보다 상세하게는 현장 계측 데이터 중 정상 데이터와 비정상 데이터의 구분에 대한 명확한 기준을 제시할 수 있고, 그 기준을 바탕으로 정상 데이터와 비정상 데이터를 구분하여 비정상 데이터를 측정 데이터 분석에서 제외하므로 데이터 분석의 객관성을 확보할 수 있는 단계별 필터링 기법을 활용한 상수도 계측데이터 수집방법 및 그 시스템에 관한 것이다.
일반적으로 상수도 시설 운영 및 계획을 위해 상수관망에 현장 계측기(유량계, 압력계, 수질측정계 등)를 설치하여 그 측정 데이터를 상수관망의 상태진단, 유수율/누수율 분석, 블록별 공급량/사용량 분석, 배수지/블록/수용가 수요량 분석 및 예측, 수질오염 감시의 기초자료로 활용하게 되고, 더 나아가 측정 데이터를 분석하여 상수도 계획 및 설계 원단위 추정, 상수관망 압력관리, 공급량 결정, 정수장 운전조건 결정 및 상수도 예산편성에 활용하게 된다.
이러한 현장 계측기를 통한 데이터 측정시에 계측 장비의 오류나 고장 및 유지관리시 장비 조작 등으로 인해 현장 계측기를 통한 측정 데이터 중에는 정상 데이터 외에 비정상 데이터(결측 및 불량 데이터)도 포함되어 있다.
구체적으로 이러한 비정상 데이터는 데이터 취득 기간 내에 정전, 통신불량, 기기고장, 계측기에의 부착이물질 또는 측정값의 오차 등으로 인해 데이터 분석에 정상적으로 사용할 수 없는 자료로, 비정상 데이터에 대한 적절한 처리가 필요한데, 종래에는 측정 데이터의 분석을 위한 유효 데이터를 확보하기 위해 이러한 비정상 데이터를 보정하여 새로운 데이터를 생성하는 보정방법을 사용하였다.
그러나, 이러한 종래의 보정 방법은 분석자가 임의로 새로운 데이터를 생성하여 정확성 및 신뢰성이 떨어지고, 비정상 데이터의 판정 및 보정 방법에 대한 명확한 규정이 없어 분석자에 따라 유효 데이터의 판단기준이 다르므로, 유효 데이터 판정의 객관성 및 재연성이 떨어져 상수도 시설 운영 및 계획에 어려움이 있는 실정이다.
따라서, 현장 계측 데이터 중 정상 데이터와 비정상 데이터의 구분에 대한 명확한 기준 제시가 필요하고, 그 기준을 바탕으로 정상 데이터와 비정상 데이터를 구분하여 유효 데이터 판정의 객관성 및 재연성을 확보하고, 객관적이고 명확한 유효데이터 확보 방안을 통해 측정 데이터 분석의 정확도를 높여 상수도 시설 운영 및 계획의 효율성을 증진시킬 수 있는 방법이 지속적으로 요구되고 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 현장 계측 데이터 중 정상 데이터와 비정상 데이터의 구분에 대한 명확한 기준을 제시할 수 있고, 그 기준을 바탕으로 정상 데이터와 비정상 데이터를 구분하여 유효 데이터 판정의 객관성 및 재연성을 확보할 수 있으며, 객관적이고 명확한 유효데이터 확보 방안을 통해 상수도 시설 운영 및 계획을 위한 측정 데이터 분석의 정확도를 높여 상수도 시설 운영 및 계획의 효율성을 증진시킬 수 있는, 단계별 필터링 기법을 활용한 상수도 계측데이터 수집방법 및 그 시스템을 제공하는 데 있다.
상기와 같은 목적을 달성하기 위하여, 본 발명은 DB서버가 상수관망의 현장 계측기로부터 시계열적으로 측정 데이터와 현장 계측기의 식별정보를 수신하는 단계, 및 다음의 3단계 필터링 과정인,
(a) 필터링 서버가 상기 DB서버에 수신된 측정 데이터 중 결측 데이터 또는 현장 계측기의 측정범위를 벗어난 데이터는 비정상 데이터로 판정 구분하고 나머지는 정상 데이터로 구분하는 1차 필터링(판정성) 단계;
(b) 필터링 서버가 상기 DB서버에 수신된 측정 데이터 또는 상기 1차 필터링(판정성) 단계에서 정상 데이터로 구분된 데이터 중 데이터 취득 기간 중에 정전, 통신불량, 기기고장, 유지관리의 사유로 정상적인 데이터 수집이 불가능할 때 발생한 데이터는 비정상 데이터로 판정 구분하고 나머지는 정상 데이터로 구분하는 2차 필터링(확정성) 단계;
(c) 필터링 서버가 상기 DB서버에 수신된 측정 데이터 또는 본 단계의 직전 필터링 단계(1차 필터링(판정성) 단계 또는 2차 필터링(확정성) 단계)에서 정상 데이터로 구분된 데이터 중 분석자의 경험적 노하우를 바탕으로 분석자를 통해 입력장치에 의해 비정상으로 표시입력되는 데이터를 비정상 데이터로 판정 구분하고 나머지는 정상 데이터로 구분하는 3차 필터링(임의성) 단계;
중 적어도 하나 이상의 단계를 포함하되, 3단계의 필터링 과정 중 한 단계만 수행하는 경우에는 항상 DB서버에 수신된 측정 데이터 전부가 필터링 단계에 이용되고 두 단계 이상을 수행하는 경우에는 후순위 필터링 단계는 항상 바로 직전 필터링 단계의 정상 데이터만을 이용하는 것을 그 기술적 구성상의 기본 특징으로 한다.
또한, 다음의 수학식이 포함된 관리서버가 DB서버에 저장된 데이터를 이용하여 유효 데이터 확보율을 계산하고 상기 3단계의 필터링 단계 중 적어도 하나 이상의 단계를 거친 정상 데이터가 일정한 유효 데이터 확보율 이상인 경우의 일 전체 데이터만 데이터 분석에 사용하고 일 전체 데이터 중 정상 데이터가 유효 데이터 확보율에 미치지 못할 경우에는 해당일 전체 데이터를 상수도 시설 운영 및 계획을 위한 측정 데이터 분석에서 제외하도록 판정하는 단계;
(여기서, 일 전체 데이터의 수는 1일 측정된 총 데이터의 수이고, 정상 데이터의 수는 정상으로 판단된 데이터의 수임.)
를 추가로 포함하는 것을 특징으로 한다.
이상에서 살펴본, 본 발명인 단계별 필터링 기법을 활용한 상수도 계측데이터 수집방법 및 그 시스템은 현장 계측 데이터 중 정상 데이터와 비정상 데이터의 구분에 대한 명확한 기준을 제시할 수 있고, 그 기준을 바탕으로 정상 데이터와 비정상 데이터를 구분하여 비정상 데이터를 측정 데이터 분석에서 제외하므로 데이터 분석의 객관성을 확보할 수 있는 효과가 있다.
또한, 정상 데이터와 비정상 데이터를 구분하는 필터링 방법에 대한 명확한 기준에 의해 분석자별 필터링 결과가 동일하여 유효 데이터 판정의 재연성을 확보할 수 있고, 객관적이고 명확한 유효데이터 확보 방안을 통해 상수도 시설 운영 및 계획을 위한 측정 데이터 분석의 정확도를 높여 상수도 시설 운영 및 계획의 효율성을 증진시킬 수 있는 효과가 있다.
도 1 은 본 발명에서 정상/비정상 데이터를 판정하기 위한 기초자료인 속성 레코드의 구성을 나타낸 도면.
도 2 는 도식화한 종래의 보정 방법(a)과 본 발명에 따른 방법(b)의 비정상 데이터 처리기준을 비교한 도면.
도 3 은 본 발명에 따른 시스템의 주요 구성도를 나타낸 도면.
도 4 는 본 발명에 따른 1차 필터링(판정성) 단계를 도식화한 도면.
도 5 는 본 발명에 따른 2차 필터링(확정성) 단계를 도식화한 도면.
도 6 은 본 발명에 따른 3차 필터링(임의성) 단계를 도식화한 도면.
도 7 은 종래의 보정방법(a)과 본 발명에 따른 방법(b)의 흐름도를 비교한 도면.
도 2 는 도식화한 종래의 보정 방법(a)과 본 발명에 따른 방법(b)의 비정상 데이터 처리기준을 비교한 도면.
도 3 은 본 발명에 따른 시스템의 주요 구성도를 나타낸 도면.
도 4 는 본 발명에 따른 1차 필터링(판정성) 단계를 도식화한 도면.
도 5 는 본 발명에 따른 2차 필터링(확정성) 단계를 도식화한 도면.
도 6 은 본 발명에 따른 3차 필터링(임의성) 단계를 도식화한 도면.
도 7 은 종래의 보정방법(a)과 본 발명에 따른 방법(b)의 흐름도를 비교한 도면.
상기와 같이 구성된 본 발명의 바람직한 실시예를 첨부된 도면을 참조하면서 종래의 보정 방법과 비교하여 상세히 설명하면 다음과 같다.
상기에서 살펴본 바와 같이, 현장 계측기의 오류 또는 기타 현장 상황 발생으로 인해 측정 데이터 중 비정상 데이터가 발생할 수 있으며, 이러한 비정상 데이터의 처리를 위해 종래에는 과거 데이터 패턴을 기준으로 비정상 데이터 발생 시점의 데이터를 추정하여 새로운 데이터를 생성하는 보정 방법을 사용하였는데 이러한 보정 방법은 비정상 데이터 발생 시점의 상황을 정확하게 반영할 수 없고 분석자의 판단이 개입되어 객관성 확보가 어렵고, 분석자마다 분석 방법이 상이하여 동일한 데이터로 분석 하더라도 결과 값에는 차이가 발생할 수 밖에 없으므로, 본 발명은 이러한 문제점을 해결할 수 있고 종래의 보정 방법을 대체할 수 있는 명확하고 객관적인 필터링 방법을 사용하게 된다.
우선, 상수관망에 설치된 현장 계측기(유량계, 압력계, 수질측정계 등)로부터 유/무선 방식에 의해 시계열적으로 유량데이터, 압력데이터, 수질데이터(잔류염소, pH, 탁도 등) 및 지점 위치정보인 현장 계측기의 식별정보를 DB서버(10)가 실시간으로 수신하여 저장하게 되는데, 유량계를 이용한 수위와 유속의 검출 및 이를 기초로 하는 유량의 연산 그리고 기타 현장 계측기의 설치 및 사용은 공지되어 있으므로 상세한 설명은 생략한다.
본 발명에서는 도 1에 도시된 바와 같이 상기 DB서버(10)에 저장된 측정 데이터 중 정상 데이터와 비정상 데이터를 판정하기 위한 기초자료인 측정간격이 동일한 측정 데이터의 측정 시간대별 데이터 구성을 속성 레코드(record)라 칭하고, 이러한 동일 측정 간격의 속성 레코드의 모든 항목(유량, 압력, 유속, 잔류염소, pH, 탁도 중 측정간격이 동일한 측정 데이터)의 데이터가 정상인 경우에만 해당 속성 레코드를 정상 데이터로 판단하여 구분하고, 속성 레코드의 모든 항목 데이터 중 비정상 항목 데이터가 한 개 이상 발생한 경우에는 해당 속성 레코드 전체를 비정상 데이터로 판단 구분하게 된다.
예를 들어, 상기 속성 레코드 항목은 측정간격이 동일한 데이터 별로 구분하여 각각의 속성 레코드로 구성하며, 다음의 표 1에서와 같이 각각의 케이스 중에서 측정 데이터의 사용목적이나 지점특성에 따라 선택될 수 있는데, 속성 레코드1의 선택3의 경우 모든 항목 데이터(유량, 압력, 유속) 중 비정상 항목 데이터가 한 개 이상 발생한 경우에는 해당 속성 레코드 전체를 비정상 데이터로 판단 구분하게 되고, 속성 레코드2의 선택4의 경우 모든 항목 데이터(잔류염소, pH, 탁도) 중 비정상 항목 데이터가 한 개 이상 발생한 경우에는 해당 속성 레코드 전체를 비정상 데이터로 판단 구분하게 되며, 다른 케이스의 경우도 동일한 방법으로 판단한다.
즉, 도 2에 도시된 바와 같이 비정상 데이터의 처리는 종래의 보정 방법에서는 현장 측정 데이터 중 비정상 데이터 발생시 과거에 측정된 데이터의 패턴을 기준으로 새로운 데이터를 생성하는 반면, 본 발명에서는 현장 측정 데이터 중 비정상 데이터(동일 측정 간격의 속성 레코드의 모든 항목 중 비정상 항목이 한 개 이상인 해당 속성 레코드 전체) 발생시에는 해당 비정상 데이터를 데이터 분석에서 제외시키는 것이다.
다음으로, 본 발명에서 상기 속성 레코드의 항목별 정상/비정상 선별기준은 최대 3단계에 걸쳐 이루어지게 되는데, 도 3은 본 발명을 위한 시스템의 주요 구성도를 나타낸 것으로 DB서버(10)가 현장 계측기로부터의 측정 데이터를 수신하게 되고 필터링 서버(20)가 DB서버(10)에 수신된 측정 데이터를 이용하여 최대 3단계에 걸친 데이터 필터링을 수행하게 되는 것이다. 이를 상술하면 다음과 같은데 이는 본 발명의 일 실시예이고 다음의 3단계 필터링 과정은 그 순차적인 순서가 바뀔 수도 있고 3단계의 필터링 과정 중 한 두 단계의 필터링만 수행될 수도 있으나, 3단계의 필터링 과정 중 한 단계만 수행하는 경우에는 항상 DB서버(10)에 수신된 측정 데이터 전부가 필터링 단계에 이용되고 두 단계 이상을 수행하는 경우에는 첫번째 필터링 단계는 DB서버(10)에 수신된 측정 데이터 전부가 이용되고 후순위 필터링 단계는 항상 바로 직전 필터링 단계의 정상 데이터만을 이용한다.
1차
필터링
(
판정성
) 단계
첫번째, 1차 필터링(판정성) 단계로 필터링 서버(20)가 DB서버(10)에 수신된 측정 데이터 중 결측 데이터(-, NA 등으로 모니터에 표시) 또는 현장 계측기의 측정범위(계측기 사양별 측정 가능 범위)를 벗어난 데이터는 비정상 데이터로 판정 구분하여 데이터 분석에서 제외되고 나머지 정상 데이터만 유효 데이터로 처리하게 되는데(도 4 참조), 상기 방법으로 구분된 정상 데이터와 비정상 데이터는 각각 DB서버(10)에 다시 저장되고 정상 데이터만 다음 필터링 단계에 이용된다. 상기에서 살펴본 바와 같이 여기서 비정상 데이터는 동일 측정 간격의 속성 레코드의 모든 항목 데이터 중 비정상 항목 데이터가 한 개 이상인 해당 속성 레코드 전체를 가리킨다.
예를 들어, 압력계의 경우 압력 측정범위 1~1,000kPa(1~10kgf/㎠)를 이탈한 데이터, 전자식유량계의 경우 유속 측정범위 0~10m/s; 초음파유량계의 경우 유속 측정범위 -15~15m/s 를 이탈한 데이터, 수질측정계의 경우 탁도 0~100NTU; 잔류염소 0~10mg/L; pH 0~14 를 이탈한 데이터는 무효화 처리된다.
더불어, 1차 필터링(판정성) 단계에서는 필터링 서버(20)가 DB서버(10)에 수신된 측정 데이터 중 현장 계측기 측정 데이터의 시계열 패턴을 크게 벗어난 데이터도 특이값으로서 비정상 데이터로 판정하여 무효화 처리함이 바람직한데, 예를 들어, 동일 요일 및 동일 시간의 데이터 값의 평균과 비교하여 일정비율 이상을 벗어나는 데이터나 분석자인 전문가의 경험적 노하우를 바탕으로 입력장치에 의해 특이값으로 표시입력되는 데이터가 이에 해당될 수 있으며, 여기서도 필터링 서버(20)가 일정비율 이상을 벗어나는 데이터나 분석자를 통해 입력장치에 의해 특이값으로 표시입력되는 데이터는 비정상 데이터로 구분한다.
또한, 상수도 운영 초기에는 필터링 서버(20)가 현장 계측기의 상기 사양별 측정범위를 정상/비정상 선별기준으로 사용하지만 일정기간 상수도 운영을 통해 얻어진 시계열 데이터 패턴을 기초로 정상/비정상 선별기준 범위를 일정비율로 축소함으로써 현장 계측기 설치 지점 특성에 맞는 새로운 계측기 측정범위를 재설정하여 이를 기준으로 1차 필터링(판정성)을 실시할 수도 있는데, 이로 인해 상기 1차 필터링(판정성)을 통한 비정상 데이터 선별효과가 극대화될 수 있다. 여기서도 비정상 데이터는 동일 측정 간격의 속성 레코드의 모든 항목 데이터 중 비정상 항목 데이터가 한 개 이상인 해당 속성 레코드 전체를 가리킨다.
상기 필터링의 수행은 이를 컴퓨터로 수행하기 위해 프로그램언어를 통해 직접 알고리즘을 코딩한 프로그램에 의해 이루어진다.
2차
필터링
(확정성) 단계
두번째, 2차 필터링(확정성) 단계로 현장 계측기의 측정범위를 벗어나지 않는 데이터를 포함하여 1차 필터링(판정성) 단계에서 유효 데이터로 처리되었으나 데이터 취득 기간 중에 정전, 통신불량, 기기고장, 유지관리 등의 타당한 사유로 정상적인 데이터 수집이 불가능할 때 발생한 데이터는 필터링 서버(20)가 비정상 데이터로 판정하여 데이터 분석에서 제외되고 나머지 정상 데이터만 유효 데이터로 처리하게 되는데(도 5 참조), 상기 방법으로 구분된 정상 데이터와 비정상 데이터는 각각 DB서버(10)에 다시 저장되고 정상 데이터만 다음 필터링 단계에 이용된다. 여기서도 비정상 데이터는 동일 측정 간격의 속성 레코드의 모든 항목 데이터 중 비정상 항목 데이터가 한 개 이상인 해당 속성 레코드 전체를 가리킨다.
예를 들어, 개선조치명령을 받은 측정기 또는 개선계획서를 제출한 측정기의 경우 측정기의 결함발생이 확인된 날 부터 개선완료 직전일 까지의 데이터;
환경기술개발 및 지원에 관한법률 제14조제2항의 규정에 의하여 실시한 정도검사에서 부적합판정을 받거나 수검을 받지 아니한 측정기의 경우 불합격된 정도검사 시작 일 0시부터 차후 합격한 정도검사의 시작일 또는 교체 및 개선 등으로 정상가동이 확인된 날의 당일 시간까지, 정도검사 미수검측정기기는 정도검사 유효기간 만료일로부터 차후 수검하여 합격한 직전일 까지의 데이터;
관제센터에서 오동작 측정값으로 판단한 자료의 경우 측정기 및 전송기가 오동작한 기간의 데이터;
장비점검, 테스트실시 기간을 사전에 통보하는 사업장의 경우, 관할행정기관 및 관제센터에서 점검하는 측정기의 경우 장비점검 및 확인검사 등을 실시한 기간의 데이터;
측정기기(동작불량, 전원단절, 보수중) 및 전송기기(비정상, 전원단절)등의 상태가 유/무선 통신을 통해 불량 또는 비정상으로 표시된 자료의 경우 상태표시가 나타난 시간의 데이터;
관제센터에서 원격검색을 실시한 시간 중에 발생된 비정상적인 측정자료의 경우 원격검색 시작시간부터 상태 표시가 확인되는 기간의 데이터;
사업장 등의 부득이한 사유로 측정기기의 정상 측정이 중단됨을 관할행정기관에 통보하여 인정받은 경우 관할행정기관에서 문서로서 인정한 기간의 데이터는 무효화 처리된다.
즉, 필터링 서버(20)가 상기 2차 필터링(확정성) 단계에서 상기에서 기술한 사유 등으로 인해 정상적인 데이터 수집이 불가능할 때 발생하여 분석자를 통해 입력장치에 의해 비정상으로 표시입력되거나 필터링 서버(20)가 비정상 데이터로 판정하는 데이터를 비정상 데이터로 구분한다.
상기 필터링의 수행은 이를 컴퓨터로 수행하기 위해 프로그램언어를 통해 직접 알고리즘을 코딩한 프로그램에 의해 이루어진다.
3차
필터링
(임의성) 단계
세번째, 3차 필터링(임의성) 단계로 상기 2차 필터링(확정성) 단계에서 유효 데이터로 처리된 데이터 중에서 분석자인 전문가의 경험적 노하우를 바탕으로 필터링 서버(20)가 비정상 데이터를 판정하여 데이터 분석에서 제외되고 나머지 정상 데이터만 유효 데이터로 처리하게 되는데(도 6 참조), 상기 방법으로 구분된 정상 데이터와 비정상 데이터는 각각 DB서버(10)에 다시 저장되고 정상 데이터가 다음의 유효 데이터 확보율 산정에 이용된다. 여기서도 비정상 데이터는 동일 측정 간격의 속성 레코드의 모든 항목 데이터 중 비정상 항목 데이터가 한 개 이상인 해당 속성 레코드 전체를 가리킨다.
예를 들어, 현장 계측기의 초기 입력 기초자료(관경 등)의 셋팅(setting)이 잘못된 경우 그에 해당하는 데이터; 동일한 수치의 데이터가 일정시간 연속하여 측정되는 경우 그에 해당하는 데이터; 현장 계측기의 측정범위 내의 일정비율인 극최대값 또는 극최소값이 측정되는 경우 그에 해당하는 데이터; 계측기 오류나 이물질 등의 영향으로 인해 이상치가 측정되는 경우 그에 해당하는 데이터는 무효화 처리된다.
즉, 필터링 서버(20)가 분석자를 통해 입력장치에 의해 비정상으로 표시입력되는 상기 사유에 의한 데이터를 비정상 데이터로 구분한다.
상기 필터링의 수행은 이를 컴퓨터로 수행하기 위해 프로그램언어를 통해 직접 알고리즘을 코딩한 프로그램에 의해 이루어진다.
따라서, 현장 계측 데이터 중 정상 데이터와 비정상 데이터의 구분에 대한 명확한 기준을 바탕으로 정상 데이터와 비정상 데이터를 구분하여 비정상 데이터를 측정 데이터 분석에서 제외하므로 데이터 분석의 객관성을 확보할 수 있고, 분석자별 필터링 결과가 동일하여 유효 데이터 판정의 재연성을 확보할 수 있는 것이다.
그 다음으로, 상기 최대 3단계의 필터링 단계를 순차적으로 거친 정상 데이터가 다음의 수학식 1과 같은 일정한 유효 데이터 확보율 이상인 경우의 일 전체 데이터 중 정상 데이터만 데이터 분석에 사용하고 일 전체 데이터 중 정상 데이터가 일정한 유효 데이터 확보율에 미치지 못할 경우에는 해당일 전체 데이터를 상수도 시설 운영 및 계획을 위한 측정 데이터 분석에서 제외하게 된다.
즉, 다음의 수학식 1이 포함된 관리서버(30)는 DB서버(10)에 저장된 데이터를 이용하여 유효 데이터 확보율을 계산하고 일 전체 데이터 중 정상 데이터가 일정한 유효 데이터 확보율에 미치지 못할 경우에는 해당 일 전체 데이터를 데이터 분석시 사용을 제외한다는 판정을 한다.
여기서 유효 데이터 확보율은 90% 이상인 것이 바람직하나 이는 현장 계측기 설치 지점의 특성에 맞게 변경 가능하다.
여기서, 일 전체 데이터의 수는 1일 측정된 총 데이터의 수이고, 정상 데이터의 수는 정상으로 판단된 데이터의 수인데, 이러한 데이터의 수는 동일 측정 간격의 속성 레코드를 기준으로 카운트 된다.
한편, 종래에는 시계열 데이터의 패턴을 분석하여 비정상으로 판단된 데이터는 비정상 데이터 발생 시점 이전 4주간의 동일 요일 및 동일 시간의 데이터 값을 평균하여 새로운 데이터로 보정되고, 이렇게 보정되는 비정상 데이터와 정상 데이터로 이루어지는 현장 측정 데이터가 100% 전부 유효 데이터로 데이터 분석에 사용되었다.
이러한 종래의 보정 방법과 본 발명에 따른 방법을 도 7에서 흐름도로 비교하였다.
상기에서는 본 발명에 대한 특정의 바람직한 실시예를 도시하고 설명하였으나, 본 발명은 상술한 실시예에만 한정되는 것은 아니고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 요지를 벗어남이 없이 다양하게 변경시킬 수 있을 것이다.
10: DB 서버
20: 필터링 서버
30: 관리 서버
20: 필터링 서버
30: 관리 서버
Claims (9)
- (A) DB서버가 상수관망의 현장 계측기로부터 시계열적으로 측정 데이터와 현장 계측기의 식별정보를 수신하되, 상기 측정 데이터는 유량데이터, 압력데이터, 수질데이터 중 적어도 하나 이상을 포함하여 측정 간격이 동일한 측정 데이터의 측정시간대별 데이터 구성인 속성 레코드를 구성하도록 하는 단계와;
(B) 다음의 필터링 과정인,
(a) 필터링 서버가 상기 단계(A)에서 DB서버에 수신된 측정 데이터 중, 결측 데이터 또는 현장 계측기의 측정범위를 벗어난 데이터는 비정상 데이터로 판정 구분하고 나머지는 정상 데이터로 구분하되, 상기 비정상 데이터는 속성 레코드의 모든 항목 데이터인 유량데이터, 압력데이터, 수질데이터 중 비정상 항목 데이터가 한 개 이상인 해당 속성 레코드 전체가 되는 1차 필터링 단계;
(b) 필터링 서버가 상기 단계(A)에서 DB서버에 수신된 측정 데이터 중 또는 상기 1차 필터링 단계에서 정상 데이터로 구분된 데이터 중, 데이터 취득 기간 중에 정전, 통신불량, 기기고장, 유지관리의 사유로 정상적인 데이터 수집이 불가능할 때 발생한 데이터는 비정상 데이터로 판정 구분하고 나머지는 정상 데이터로 구분하되, 상기 비정상 데이터는 속성 레코드의 모든 항목 데이터인 유량데이터, 압력데이터, 수질데이터 중 비정상 항목 데이터가 한 개 이상인 해당 속성 레코드 전체가 되는 2차 필터링 단계;
중 하나 또는 두 단계를 포함하되, 상기 필터링 과정들 중 한 단계만 수행하는 경우, 즉, 1차 필터링 단계만 또는 2차 필터링 단계만 수행하는 경우에는 항상 상기 단계(A)에서 DB서버에 수신된 측정 데이터 전부가 1차 필터링 단계 또는 2차 필터링 단계에 이용되고,
두 단계 모두를 수행하는 경우, 즉, 1차 필터링 단계와 2차 필터링 단계 모두를 수행하는 경우에는 2차 필터링 단계는 항상 1차 필터링 단계에서 정상 데이터로 구분된 데이터만을 이용하는 단계, 및
(C) 다음의 수학식이 포함된 관리서버가 DB서버에 저장된 1일 측정 총 데이터를 이용하여 유효 데이터 확보율을 계산하고 상기 단계(B)에서 2단계의 필터링 단계 중 적어도 하나 이상의 단계를 거친 정상 데이터가 일정한 유효 데이터 확보율 이상인 경우의 일 전체 데이터 중 정상 데이터만 데이터 분석에 사용하고 일 전체 데이터 중 정상 데이터가 일정한 유효 데이터 확보율에 미치지 못할 경우에는 해당일 전체 데이터를 상수도 시설 운영 및 계획을 위한 측정 데이터 분석에서 제외하도록 판정하는 단계;
(여기서, 일 전체 데이터의 수는 1일 측정된 총 데이터의 수이고, 정상 데이터의 수는 정상으로 판단된 데이터의 수이며, 이러한 데이터 수는 속성 레코드를 기준으로 카운트 됨.)
로 구성되는 것을 특징으로 하는 단계별 필터링 기법을 활용한 상수도 계측데이터 수집방법.
- 제 1 항에 있어서,
상기 1차 필터링 단계는 필터링 서버가 DB서버에 수신된 측정 데이터 중 현장 계측기 측정 데이터의 시계열 패턴을 일정비율 이상 벗어난 데이터를 비정상 데이터로 판정 구분하는 단계를 추가로 포함하는 것을 특징으로 하는 단계별 필터링 기법을 활용한 상수도 계측데이터 수집방법.
- 제 1 항에 있어서,
상기 1차 필터링 단계는 필터링 서버가 일정기간 상수도 운영을 통해 얻어진 시계열 데이터 패턴을 기초로 정상/비정상 선별기준 범위를 일정비율로 축소하여 현장 계측기 측정범위를 재설정한 후 재설정 측정범위를 벗어난 데이터는 비정상 데이터로 판정 구분하는 단계를 추가로 포함하는 것을 특징으로 하는 단계별 필터링 기법을 활용한 상수도 계측데이터 수집방법.
- 제 1 항에 있어서,
상기 2차 필터링 단계에서 정상적인 데이터 수집이 불가능할 때 발생한 데이터는,
동작불량, 전원단절, 기기고장의 사유로 측정기기 및 전송기기의 상태가 유/무선 통신을 통해 불량 또는 비정상으로 표시된 자료의 경우 상태표시가 나타난 시간의 데이터인 것을 특징으로 하는 단계별 필터링 기법을 활용한 상수도 계측데이터 수집방법.
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 현장 계측기는 유량계, 압력계, 수질측정계 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 단계별 필터링 기법을 활용한 상수도 계측데이터 수집방법.
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110016655A KR101063202B1 (ko) | 2011-02-24 | 2011-02-24 | 단계별 필터링 기법을 활용한 상수도 계측데이터 수집방법 및 그 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110016655A KR101063202B1 (ko) | 2011-02-24 | 2011-02-24 | 단계별 필터링 기법을 활용한 상수도 계측데이터 수집방법 및 그 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101063202B1 true KR101063202B1 (ko) | 2011-09-07 |
Family
ID=44957072
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110016655A KR101063202B1 (ko) | 2011-02-24 | 2011-02-24 | 단계별 필터링 기법을 활용한 상수도 계측데이터 수집방법 및 그 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101063202B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101738247B1 (ko) * | 2015-07-28 | 2017-05-29 | 백상은 | 홈게이트웨이 및 홈게이트웨이에서의 빅데이터 처리 방법 |
| KR102500056B1 (ko) * | 2022-02-21 | 2023-02-16 | 가락전자 주식회사 | 경보 방송 방법 및 시스템 |
-
2011
- 2011-02-24 KR KR1020110016655A patent/KR101063202B1/ko active IP Right Grant
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101738247B1 (ko) * | 2015-07-28 | 2017-05-29 | 백상은 | 홈게이트웨이 및 홈게이트웨이에서의 빅데이터 처리 방법 |
| KR102500056B1 (ko) * | 2022-02-21 | 2023-02-16 | 가락전자 주식회사 | 경보 방송 방법 및 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9441988B2 (en) | System and method for identifying likely geographical locations of anomalies in a water utility network | |
| Loureiro et al. | Water distribution systems flow monitoring and anomalous event detection: A practical approach | |
| JP4799168B2 (ja) | 配水及び管路情報解析システム | |
| KR100973662B1 (ko) | 실증적방법과 수학적방법을 융합하는 하이브리드 기법에 의한 상수도관망에서의 누수탐지시스템 | |
| TW201140267A (en) | System and method for monitoring resources in a water utility network | |
| KR20140092385A (ko) | 자원망 모니터링 시스템에서 관련된 이벤트들을 식별하는 시스템 및 방법 | |
| CN109255517B (zh) | 风控策略的生成方法、装置、服务器及可读存储介质 | |
| CN206312210U (zh) | 一种配电网设备的状态评估系统 | |
| US20210033447A1 (en) | System and method for assessing sensors' reliability | |
| Arregui et al. | Quantifying measuring errors of new residential water meters considering different customer consumption patterns | |
| CN109741927A (zh) | 微型变压器生产线的设备故障和潜在不良品智能预测系统 | |
| KR20140109596A (ko) | 미검침 구간의 검침 데이터 예측 및 보정 방법과 그 장치 | |
| WO2021043832A1 (en) | Inspection related systems and methods | |
| KR101812589B1 (ko) | 상수도 수용가의 검침데이터를 활용한 옥내누수 진단 방법 및 그 시스템 | |
| JP6851247B2 (ja) | 運用計画立案装置、運用制御システム、および、運用計画立案方法 | |
| KR101063202B1 (ko) | 단계별 필터링 기법을 활용한 상수도 계측데이터 수집방법 및 그 시스템 | |
| Xue et al. | Improving near real-time anomaly event detection and classification with trend change detection for smart water grid operation management | |
| CN110455370B (zh) | 防汛抗旱远程遥测显示系统 | |
| JP5402071B2 (ja) | 省エネルギー支援システム | |
| CN107305563A (zh) | 一种基于距离的异常数据检测方法及系统 | |
| JP7344935B2 (ja) | マンホールポンプの監視システム | |
| CN117808157B (zh) | 基于智能识别的未报备停电行为预测分析系统 | |
| WO2015087378A1 (ja) | 水道施設網の異常検知装置及び異常検知方法 | |
| US20220206483A1 (en) | Method and System for Production Accounting in Process Industries Using Artificial Intelligence | |
| Meeus et al. | CCWI2017: F95'A REAL TIME SYSTEM FOR DETECTING EVENTS IN WATER NETWORKS' |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20140822 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20160812 Year of fee payment: 6 |