KR20230093915A - 딥러닝 기반 지하수위 정상 범위 확률론적 예측 장치 및 그 방법 - Google Patents

딥러닝 기반 지하수위 정상 범위 확률론적 예측 장치 및 그 방법 Download PDF

Info

Publication number
KR20230093915A
KR20230093915A KR1020210182926A KR20210182926A KR20230093915A KR 20230093915 A KR20230093915 A KR 20230093915A KR 1020210182926 A KR1020210182926 A KR 1020210182926A KR 20210182926 A KR20210182926 A KR 20210182926A KR 20230093915 A KR20230093915 A KR 20230093915A
Authority
KR
South Korea
Prior art keywords
normal range
groundwater level
prediction
predicting
probabilistically
Prior art date
Application number
KR1020210182926A
Other languages
English (en)
Other versions
KR102615493B1 (ko
Inventor
정진아
김유한
정지호
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020210182926A priority Critical patent/KR102615493B1/ko
Publication of KR20230093915A publication Critical patent/KR20230093915A/ko
Application granted granted Critical
Publication of KR102615493B1 publication Critical patent/KR102615493B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Operations Research (AREA)
  • Evolutionary Computation (AREA)
  • Development Economics (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Public Health (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Water Supply & Treatment (AREA)
  • Biomedical Technology (AREA)
  • Algebra (AREA)

Abstract

본 발명은 딥러닝 기반 지하수위 정상 범위 확률론적 예측 장치 및 그 방법에 대한 것이다.
본 발명에 따른 딥러닝 기반 지하수위 정상 범위 확률론적 예측 방법은 과거 관측 데이터를 학습하여 현재 지하수위를 예측하는 예측 모델을 생성하는 단계; 상기 생성된 예측 모델에 학습하였던 과거 관측 데이터의 시점을 입력하여 현재 지하수위를 예측하는 단계; 상기 예측된 현재 지하수위에 랜덤 재추출을 이용한 앙상블 예측 기법을 적용하여 지하수위 정상 범위를 확률론적으로 예측하는 단계; 상기 확률론적으로 예측된 정상 범위에 분산 기법을 적용하여 최종 지하수위 정상 범위를 도출하는 단계; 및 상기 도출된 정상 범위를 이용하여 이상치를 판별하는 단계를 포함한다.
이와 같이 본 발명에 따르면, 과거의 관측자료들을 학습한 딥러닝 기반 학습 모델에 재추출을 이용한 앙상블 예측 기법을 적용하여 지하수위 정상 범위를 확률론적으로 예측하고 이상치를 판별하여 제공할 수 있다.

Description

딥러닝 기반 지하수위 정상 범위 확률론적 예측 장치 및 그 방법{APPARATUS FOR PROBABILISTIC PREDICTION GROUNDWATER LEVEL NOMAL DATA RANGE BASED ON DEEP LEARNING AND METHOD THEREOF}
본 발명은 딥러닝 기반 지하수위 정상 범위 확률론적 예측 장치 및 그 방법 에 관한 것으로서, 더욱 상세하게는 딥러닝 기반 학습 모델을 이용하여 지하수위 정상 범위를 확률론적으로 예측하고 이상치(outlier)를 판별하는 딥러닝 기반 지하수위 정상 범위 확률론적 예측 장치 및 그 방법에 관한 것이다.
기후변화는 오늘날 가장 심각한 환경문제의 하나로, 그 규모가 전 세계적으로 광범위하게 일어나고 있으며, 우리나라에도 여러 분야에서 그 징후가 나타나고 있을 뿐만 아니라 이에 따른 영향이 사회전반에 걸쳐 나타나고 있다.
또한, 기후변화는 홍수, 가뭄, 태풍 등의 기상변화 및 생태계의 변화와 연관되어 있으며, 이러한 기후변화에 대응하기 위해서는 기후변화의 영향에 따른 평가가 분야별로 요구되며, 이를 위해서는 자료의 신뢰성 확보가 가장 중요하다고 할 수 있다.
특히, 우리의 생활과 가장 밀접한 수자원은 기후변화 뿐만 아니라 산업구조의 급격한 변화와 인구증가에 따른 용수 수요의 증가 및 생태환경에 대한 인식변화 등으로 인하여 지표수 이용에 많은 한계를 보이고 있으며, 이에 따른 대체 수자원으로서 지하수의 역할이 증대되고 있다.
그러나, 지하수의 개발과 이용에 대한 체계적인 관리가 이루어지지 않을 경우, 지하수를 포함하는 수자원에 대한 정확한 파악이 어렵고 무분별한 지하수의 개발 등으로 인하여 지하수의 고갈 등과 같은 관리적인 문제를 유발하고 있다.
한편, 유무선 통신망을 이용한 원격관리시스템 및 자동관측(계측)기술이 발전하면서, 국가지하수관측망, 보조지하수관측망, 해수침투관측망 등 지하수 실시간 관측 시스템들이 구축되고 있다.
그러나, 전자소자와 프로그램을 이용한 장치 및 시스템에서는 하드웨어의 이상이나 소프트웨어의 연산오류 등이 발생할 수 있으며, 이로 인해 관측(계측)자료에 오류가 발생할 수 있다.
따라서, 관측자료의 신뢰성 확보 및 이를 통한 효율적인 관측망 운영과 지하수자원의 지속가능한 활용을 위해서는 관측자료에 대한 실시간 이상치 탐지 방법이나 오류 확인 방법 등이 요구되고 있다.
이에 따라 시계열 자료의 시간적 변동 특성을 효과적으로 학습하여 자료의 정상 범위를 보다 정량적으로 예측하고, 과거 계측 데이터 내에 존재하는 결측값(NaN)을 별도의 전처리과정 없이 보간(Interpolation)하여 결측값의 유무와 관계없이 전체 범위에서 이상치를 탐지가 가능하도록 하는 기술의 개발이 필요하다.
본 발명의 배경이 되는 기술은 대한민국 등록특허공보 제10-2289409호(2021. 08. 12. 공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 과거의 관측자료들을 학습한 딥러닝 기반 학습 모델에 재추출을 이용한 앙상블 예측 기법을 적용하여 지하수위 정상 범위를 확률론적으로 예측하고 이상치를 판별하여 제공하는 딥러닝 기반 지하수위 정상 범위 확률론적 예측 장치 및 그 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시 예에 따른 딥러닝 기반 지하수위 정상 범위 확률론적 예측 방법은, 과거 관측 데이터를 학습하여 현재 지하수위를 예측하는 예측 모델을 생성하는 단계; 상기 생성된 예측 모델에 학습하였던 과거 관측 데이터의 시점을 입력하여 현재 지하수위를 예측하는 단계; 상기 예측된 현재 지하수위에 랜덤 재추출(Resampling)을 이용한 앙상블 예측 기법을 적용하여 지하수위 정상 범위를 확률론적으로 예측하는 단계; 상기 확률론적으로 예측된 정상 범위에 분산 기법을 적용하여 최종 지하수위 정상 범위를 도출하는 단계; 및 상기 도출된 정상 범위를 이용하여 이상치(outlier)를 판별하는 단계를 포함한다.
이때, 상기 예측 모델을 생성하는 단계는 딥러닝 신경망을 구비하여 이전 단계 정보를 메모리 셀에 저장하여 다음 단계로 전달하는 LSTM(Long Short-Term Memory model)모델 네트워크를 형성하고, 랜덤 재추출을 이용한 앙상블 예측 단계가 포함된 예측 모델을 생성할 수 있다.
또한, 상기 과거 관측 데이터는 계측 및 센서 장비로부터 취득된 일 단위 지하수위 데이터 및 일 단위 강수 데이터를 포함할 수 있다.
또한, 상기 확률론적으로 예측하는 단계는 상기 앙상블 예측 기법을 적용하여 상기 예측 모델로 예측 가능한 지하수위 확률 분포를 예측하는 값들을 재추출하여 상기 지하수위 정상 범위를 확률론적으로 예측할 수 있다.
또한, 상기 최종 지하수위 정상 범위를 도출하는 단계는 상기 확률론적으로 예측된 정상 범위에 3-표준 편차(3-σ) 기법 및 사분 범위(1.5IQR)기법을 적용하여 최종 지하수위 정상 범위를 도출할 수 있다.
또한, 상기 이상치를 판별하는 단계는 상기 도출된 최종 지하수위 정상 범위에 속하지 않는 값을 이상치로 판별할 수 있다.
또한, 본 발명의 다른 실시 예에 따른 딥러닝 기반 지하수위 정상 범위 확률론적 예측 장치는, 과거 관측 데이터를 학습하여 현재 지하수위를 예측하는 예측 모델을 생성하는 예측 모델 생성부; 상기 생성된 예측 모델에 학습하였던 과거 관측 데이터의 시점을 입력하여 현재 지하수위를 예측하고, 상기 예측된 현재 지하수위에 랜덤 재추출(Resampling)을 이용한 앙상블 예측 기법을 적용하여 지하수위 정상 범위를 확률론적으로 예측하는 정상 범위 예측부; 상기 확률론적으로 예측된 정상 범위에 분산 기법을 적용하여 최종 지하수위 정상 범위를 도출하는 정상 범위 도출부; 및 상기 도출된 정상 범위를 이용하여 이상치(outlier)를 판별하는 이상치 판별부를 포함한다.
이와 같이 본 발명에 따르면, 과거의 관측자료들을 학습한 딥러닝 기반 학습 모델에 재추출을 이용한 앙상블 예측 기법을 적용하여 지하수위 정상 범위를 확률론적으로 예측하고 이상치(outlier)를 판별하여 제공할 수 있어 실시간 지하수위 시계열 모니터링 자료 내 이상치를 자동으로 탐지할 수 있다.
또한 본 발명에 따르면, 시계열 자료의 시간적 변동 특성을 효과적으로 학습할 수 있는 순환 신경망(RNN)의 한 종류인 장단기메모리(Long Short-Term Memory)를 이용하여 지하수위 예측 성능을 향상시켰으며, 앙상블 예측 기법을 적용하여 지하수위 확률론적 예측이 가능하도록 함에 따라 자료의 정상 범위를 보다 정량적으로 예측할 수 있는 효과가 있다.
또한 본 발명에 따르면, 시계열 모니터링 자료가 이용되는 모든 분야에 범용적으로 적용이 가능하고, 비용 효율적으로 모니터링 기기를 유지 보수 및 관리할 수 있어 높은 시장성을 기대할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 딥러닝 기반 지하수위 정상 범위 확률론적 예측 장치를 나타낸 블록구성도이다.
도 2는 도 1의 정상 범위 예측부를 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 딥러닝 기반 지하수위 정상 범위 확률론적 예측 방법의 동작 흐름을 도시한 순서도이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
먼저, 도 1 및 도 2를 통해 본 발명의 실시 예에 따른 딥러닝 기반 지하수위 정상 범위 확률론적 예측 장치에 대하여 설명한다.
도 1은 본 발명의 실시 예에 따른 딥러닝 기반 지하수위 정상 범위 확률론적 예측 장치를 나타낸 블록구성도이다.
도 1에서와 같이 본 발명의 실시 예에 따른 딥러닝 기반 지하수위 정상 범위 확률론적 예측 장치는, 예측 모델 생성부(10) 정상 범위 예측부(20), 정상 범위 도출부(30) 및 이상치 판별부(40)를 포함한다.
먼저, 예측 모델 생성부(10)는 과거 관측 데이터를 학습하여 현재 지하수위를 예측하는 예측 모델을 생성한다.
이때, 예측 모델 학습을 위해 입력(X)되는 과거 관측 데이터는 계측 및 센서 장비로부터 취득된 일 단위 지하수위 데이터와 지하수위와 상관관계가 높은 일 단위 강수 데이터를 포함하고, 출력(O) 데이터로는 현재 지하수위를 출력하도록 생성되는 것이 바람직하다.
예측 모델 생성부(10)는 딥러닝 신경망을 구비하여 이전 단계 정보를 메모리 셀에 저장하여 다음 단계로 전달하는 LSTM(Long Short-Term Memory model)모델 네트워크를 형성하고, 랜덤 재추출(random resampling)을 이용한 앙상블 예측(Ensemble Results) 단계가 포함된 예측 모델을 생성한다.
여기서 LSTM 모델 네트워크는 시계열 자료의 시간적 변동 특성을 효과적으로 학습할 수 있는 순환 신경망(RNN)의 한 종류로 순환 신경망의 히든 스테이트에 셀 스테이트(cell-state)를 추가한 구조이다.
즉, 본 발명의 실시 예에 따르면, 시계열 자료의 시간적 변동 특성을 효과적으로 학습할 수 있는 순환 신경망(Recurrent Neural Network, RNN)의 한 종류인 장단기메모리 즉, LSTM 모델을 이용하여 지하수위 예측 성능을 향상시켰으며, 앙상블 예측 기법을 적용하여 지하수위 확률론적 예측이 가능하도록 함에 따라 자료의 정상 범위를 보다 정량적으로 예측할 수 있다.
그리고 정상 범위 예측부(20)는 예측 모델 생성부(10)에서 생성된 예측 모델에 학습하였던 과거 관측 데이터의 시점을 입력하여 현재 지하수위를 예측하고, 예측된 현재 지하수위에 랜덤 재추출을 이용한 앙상블 예측 기법(Bootstrap AGGregatING, Bagging)을 적용하여 지하수위 정상 범위를 확률론적으로 예측한다.
자세히는, 정상 범위 예측부(20)는 앙상블 예측 기법을 적용하여 예측 모델 생성부(10)에서 생성된 예측 모델로 예측 가능한 지하수위 확률 분포를 예측하는 값들을 재추출하여 지하수위 정상 범위를 확률론적으로 예측한다.
즉, LSTM 모델을 통한 예측 시 학습하였던 지하수위 시점과 강수 시점을 이용하여 현재 지하수위를 예측하고, 이 과정에서 이전 지하수위 예측값을 랜덤하게 입력하는 랜덤 재추출을 이용한 앙상블 예측 기법을 적용하여 학습된 예측 모델로 도출 가능한 지하수위 값들을 재추출하여 확률론적 예측을 수행한다.
도 2는 도 1의 정상 범위 예측부를 설명하기 위한 도면이다.
도 2에 나타낸 바와 같이, LSTM 모델은 Forget Gate, Input Gate, Output Gate로 구성되어 있다.
자세히는, Forget Gate는 과거 정보를 잊기 위한 드롭(drop) 정보 선택 게이트로 시그모이드 레이어로 만들어지며, 이때 시그모이드는 셀 스테이트에 어떤 정보를 버리고 어떤 정보를 유지할지 결정하는 레이어이다.
그리고 Input Gate는 현재 정보를 기억하기 위한 저장 정보 선택 게이트로 업데이트 데이터를 결정하여 셀 스테이트에 저장한다.
마지막으로 Output Gate는 출력 정보 선택 게이트로 출력 데이터를 결정하여 다음 노드로 전파한다.
즉, LSTM 모델은 현재 시점의 정보를 바탕으로 과거 내용을 얼마나 잊을지 또는 기억할지 등을 계산하고, 그 결과에 현재 정보를 추가해서 다음 시점으로 정보를 전달하는 구조를 가지고 있다.
본 발명의 정상 범위 예측부(20)는 이와 같은 LSTM 모델에 이전 예측값을 랜덤하게 입력하는 랜덤 재추출을 이용한 앙상블 예측 기법을 적용하여 학습된 예측 모델로 도출 가능한 지하수위 값들을 재추출하여 확률론적 범위 예측을 수행한다.
그리고 정상 범위 도출부(30)는 정상 범위 예측부(20)로부터 확률론적으로 예측된 정상 범위에 분산 기법을 적용하여 최종 지하수위 정상 범위를 도출한다.
자세히는, 확률론적으로 예측된 정상 범위에 이상치 판별 기법인 3-표준 편차(3-σ) 기법 및 사분 범위(1.5IQR)기법을 적용하여 최종적으로 시계열 자료 내 이상치 탐지를 위한 지하수위 정상 범위를 확률론적으로 산정한다.
이때, 3-표준 편차(3-σ) 기법은 데이터의 각 수치들이 평균에 수렴하는지 아니면 흩어져 있는지 그 정도를 파악하기 위한 기법으로 3-표준 편차 기법은 평균에서 양쪽으로 3-표준 편차의 범위에 거의 모든 값들(약 99.7%)이 들어간다는 것을 나타낸다.
그리고 사분 범위(Inter Quantile Range, IQR)기법은 사분위 값의 편차를 이용하는 기법으로 Box Plit으로 시각화할 수 있어 이 기법을 적용하여 이상치를 찾을 수 있다. 일단 먼저 사분위란 전체 데이터를 값이 높은 순으로 정렬하고 이를 1/4(25%) 씩으로 구간을 분할하는 것을 지칭한다. 1/4구간은 Q1, Q2, Q3, Q4로 나눈다. 여기서 25% 구간이 Q1 ~ 75 % 구간인 Q3의 범위를 IQR이라 한다.
IQR을 이용하여 이상치를 검출하는 방식은 보통 IQR에 1.5를 곱해서 생성된 범위를 이용하여 최대값과 최소값을 결정한 뒤 최대값을 초과하거나 최초값에 미달하는 데이터를 이상치로 간주한다.
예를 들어, 3/4 분위수(Q3)에 IQR * 1.5를 더해서 일반적인 데이터가 가질 수 있는 최대값으로 가정하고, 1/4 분위수(Q1)에 IQR * 1.5를 빼서 일반적인 데이터가 가질 수 있는 최소값으로 가정한다. 1.5 말고 다른 수도 가능하나 보통은 1.5를 적용한다. 이렇게 결정된 최대값보다 큰 값 또는 최소값보다 작은 값을 이상치로 간주하는 기법이다.
여기서, 이상치(Outlier)는 전체 데이터의 패턴에서 벗어난 이상 값을 가진 데이터로, 이상치로 인해 딥러닝 모델의 성능에 영향을 받는 경우가 발생하기 쉬우므로 반드시 이상치를 도출하여 제거해야 한다.
마지막으로 이상치 판별부(40)는 정상 범위 도출부(30)에서 도출된 정상 범위를 이용하여 이상치(outlier)를 판별한다.
이때, 이상치 판별부(40)는 정상 범위 도출부(30)에서 도출된 최종 지하수위 정상 범위에 속하지 않는 값들을 이상치로 판별한다.
본 발명의 실시 예에 따르면 데이터 내에 존재하는 결측값(NaN)을 별도의 전처리과정 없이 보간(Interpolation)하여 이에 따라 결측값의 유무와 관계없이 전체 범위에서 이상치를 탐지가 가능하다.
이하에서는 도 3을 통해 본 발명의 실시 예에 따른 딥러닝 기반 지하수위 정상 범위 확률론적 예측 방법에 대하여 설명한다.
도 3은 본 발명의 실시 예에 따른 딥러닝 기반 지하수위 정상 범위 확률론적 예측 방법의 동작 흐름을 도시한 순서도로서, 이를 참조하여 본 발명의 구체적인 동작을 설명한다.
본 발명의 실시 예에 따르면, 먼저 예측 모델 생성부(10)가 과거 관측 데이터를 학습하여 현재 지하수위를 예측하는 예측 모델을 생성한다(S10).
이때, 예측 모델 학습을 위해 입력되는 과거 관측 데이터는 계측 및 센서 장비로부터 취득된 일 단위 지하수위 데이터와 지하수위와 상관관계가 높은 일 단위 강수 데이터를 포함하고, 출력 데이터로는 현재 지하수위를 출력하도록 생성되는 것이 바람직하다.
자세히는 S10 단계에서 예측 모델 생성부(10)는 딥러닝 신경망을 구비하여 이전 단계 정보를 메모리 셀에 저장하여 다음 단계로 전달하는 LSTM모델 네트워크를 형성하고, 랜덤 재추출을 이용한 앙상블 예측 단계가 포함된 예측 모델을 생성한다.
그 다음, 정상 범위 예측부(20)가 S10 단계에서 생성된 예측 모델에 학습하였던 과거 관측 데이터의 시점을 입력하여 현재 지하수위를 예측한다(S20).
그 다음, 정상 범위 예측부(20)가 S20 단계에서 예측된 현재 지하수위에 랜덤 재추출을 이용한 앙상블 예측 기법을 적용하여 지하수위 정상 범위를 확률론적으로 예측한다(S30).
S30 단계에서 정상 범위 예측부(20)는 앙상블 예측 기법을 적용하여 S10 단계에서 생성된 예측 모델로 예측 가능한 지하수위 확률 분포를 예측하는 값들을 재추출하여 지하수위 정상 범위를 확률론적으로 예측한다.
자세히는, 정상 범위 예측부(20)는 앙상블 예측 기법을 적용하여 예측 모델 생성부(10)에서 생성된 예측 모델로 예측 가능한 지하수위 확률 분포를 예측하는 값들을 재추출하여 지하수위 정상 범위를 확률론적으로 예측한다.
즉, LSTM 모델을 통한 예측 시 학습하였던 지하수위 시점과 강수 시점을 이용하여 현재 지하수위를 예측하고, 이 과정에서 이전 지하수위 예측값을 랜덤하게 입력하는 랜덤 재추출을 이용한 앙상블 예측 기법을 적용하여 학습된 예측 모델로 도출 가능한 지하수위 값들을 재추출하여 확률론적 예측을 수행한다.
그 다음, 정상 범위 도출부(30)가 S30 단계에서 확률론적으로 예측된 정상 범위에 분산 기법을 적용하여 최종 지하수위 정상 범위를 도출한다(S40).
S40 단계에서 정상 범위 도출부(30)는 확률론적으로 예측된 정상 범위에 이상치 판별 기법인 3-표준 편차(3-σ) 기법 및 사분 범위(1.5IQR)기법을 적용하여 최종적으로 시계열 자료 내 이상치 탐지를 위한 지하수위 정상 범위를 확률론적으로 산정한다.
마지막으로 이상치 판별부(40)가 S40 단계에서 도출된 정상 범위를 이용하여 이상치를 판별한다(S50).
이때, 이상치 판별부(40)는 S40 단계에서 도출된 최종 지하수위 정상 범위에 속하지 않는 값을 이상치로 판별한다. 즉, 최종 지하수위 정상 범위 바깥쪽에 위치한 값들을 이상치로 판별한다.
이상치는 전체 데이터의 패턴에서 벗어난 이상 값을 가진 데이터로, 이상치로 인해 딥러닝 모델의 성능에 영향을 받는 경우가 발생하기 쉬우므로 반드시 이상치를 도출하여 제거해야 한다.
상술한 바와 같이, 본 발명의 실시 예에 따른 딥러닝 기반 지하수위 예측 장치 및 그 방법은 과거의 관측자료들을 학습한 딥러닝 기반 학습 모델에 재추출을 이용한 앙상블 예측 기법을 적용하여 지하수위 정상 범위를 확률론적으로 예측하고 이상치(outlier)를 판별하여 제공할 수 있어 실시간 지하수위 시계열 모니터링 자료 내 이상치를 자동으로 탐지할 수 있다.
또한 본 발명의 실시 예에 따르면, 시계열 자료의 시간적 변동 특성을 효과적으로 학습할 수 있는 순환 신경망(RNN)의 한 종류인 장단기메모리(Long Short-Term Memory)를 이용하여 지하수위 예측 성능을 향상시켰으며, 앙상블 예측 기법을 적용하여 지하수위 확률론적 예측이 가능하도록 함에 따라 자료의 정상 범위를 보다 정량적으로 예측할 수 있는 효과가 있다.
또한 본 발명의 실시 예에 따르면, 시계열 모니터링 자료가 이용되는 모든 분야에 범용적으로 적용이 가능하고, 비용 효율적으로 모니터링 기기를 유지 보수 및 관리할 수 있어 높은 시장성을 기대할 수 있는 효과가 있다.
본 발명은 도면에 도시된 실시 예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
10 : 예측 모델 생성부 20 : 정상 범위 예측부
30 : 정상 범위 도출부 40 : 이상치 판별부

Claims (12)

  1. 딥러닝 기반의 지하수위 정상 범위 확률론적 예측 장치를 이용한 지하수위 정상 범위 확률론적 예측 방법에 있어서,
    과거 관측 데이터를 학습하여 현재 지하수위를 예측하는 예측 모델을 생성하는 단계;
    상기 생성된 예측 모델에 학습하였던 과거 관측 데이터의 시점을 입력하여 현재 지하수위를 예측하는 단계;
    상기 예측된 현재 지하수위에 랜덤 재추출(Resampling)을 이용한 앙상블 예측 기법을 적용하여 지하수위 정상 범위를 확률론적으로 예측하는 단계;
    상기 확률론적으로 예측된 정상 범위에 분산 기법을 적용하여 최종 지하수위 정상 범위를 도출하는 단계; 및
    상기 도출된 정상 범위를 이용하여 이상치(outlier)를 판별하는 단계를 포함하는 지하수위 정상 범위 확률론적 예측 방법.
  2. 제1항에 있어서,
    상기 예측 모델을 생성하는 단계는,
    딥러닝 신경망을 구비하여 이전 단계 정보를 메모리 셀에 저장하여 다음 단계로 전달하는 LSTM(Long Short-Term Memory model)모델 네트워크를 형성하고, 랜덤 재추출을 이용한 앙상블 예측 단계가 포함된 예측 모델을 생성하는 지하수위 정상 범위 확률론적 예측 방법.
  3. 제1항에 있어서,
    상기 과거 관측 데이터는 계측 및 센서 장비로부터 취득된 일 단위 지하수위 데이터 및 일 단위 강수 데이터를 포함하는 지하수위 정상 범위 확률론적 예측 방법.
  4. 제1항에 있어서,
    상기 확률론적으로 예측하는 단계는,
    상기 앙상블 예측 기법을 적용하여 상기 예측 모델로 예측 가능한 지하수위 확률 분포를 예측하는 값들을 재추출하여 상기 지하수위 정상 범위를 확률론적으로 예측하는 지하수위 정상 범위 확률론적 예측 방법.
  5. 제1항에 있어서,
    상기 최종 지하수위 정상 범위를 도출하는 단계는,
    상기 확률론적으로 예측된 정상 범위에 3-표준 편차(3-σ) 기법 및 사분 범위(1.5IQR)기법을 적용하여 최종 지하수위 정상 범위를 도출하는 지하수위 정상 범위 확률론적 예측 방법.
  6. 제1항에 있어서,
    상기 이상치를 판별하는 단계는,
    상기 도출된 최종 지하수위 정상 범위에 속하지 않는 값을 이상치로 판별하는 지하수위 정상 범위 확률론적 예측 방법.
  7. 과거 관측 데이터를 학습하여 현재 지하수위를 예측하는 예측 모델을 생성하는 예측 모델 생성부;
    상기 생성된 예측 모델에 학습하였던 과거 관측 데이터의 시점을 입력하여 현재 지하수위를 예측하고, 상기 예측된 현재 지하수위에 랜덤 재추출(Resampling)을 이용한 앙상블 예측 기법을 적용하여 지하수위 정상 범위를 확률론적으로 예측하는 정상 범위 예측부;
    상기 확률론적으로 예측된 정상 범위에 분산 기법을 적용하여 최종 지하수위 정상 범위를 도출하는 정상 범위 도출부; 및
    상기 도출된 정상 범위를 이용하여 이상치(outlier)를 판별하는 이상치 판별부를 포함하는 딥러닝 기반 지하수위 정상 범위 확률론적 예측 장치.
  8. 제7항에 있어서,
    상기 예측 모델 생성부는,
    딥러닝 신경망을 구비하여 이전 단계 정보를 메모리 셀에 저장하여 다음 단계로 전달하는 LSTM(Long Short-Term Memory model)모델 네트워크를 형성하고, 랜덤 재추출을 이용한 앙상블 예측 단계가 포함된 예측 모델을 생성하는 딥러닝 기반의 지하수위 정상 범위 확률론적 예측 장치.
  9. 제7항에 있어서,
    상기 과거 관측 데이터는 계측 및 센서 장비로부터 취득된 일 단위 지하수위 데이터 및 일 단위 강수 데이터를 포함하는 딥러닝 기반의 지하수위 정상 범위 확률론적 예측 장치.
  10. 제7항에 있어서,
    상기 정상 범위 예측부는,
    상기 앙상블 예측 기법을 적용하여 상기 예측 모델로 예측 가능한 지하수위 확률 분포를 예측하는 값들을 재추출하여 상기 지하수위 정상 범위를 확률론적으로 예측하는 딥러닝 기반의 지하수위 정상 범위 확률론적 예측 장치.
  11. 제7항에 있어서,
    상기 정상 범위 도출부는,
    상기 확률론적으로 예측된 정상 범위에 3-표준 편차(3-σ) 기법 및 사분 범위(1.5IQR)기법을 적용하여 최종 지하수위 정상 범위를 도출하는 딥러닝 기반의 지하수위 정상 범위 확률론적 예측 장치.
  12. 제7항에 있어서,
    상기 이상치 판별부는,
    상기 도출된 최종 지하수위 정상 범위에 속하지 않는 값을 이상치로 판별하는 딥러닝 기반의 지하수위 정상 범위 확률론적 예측 장치.
KR1020210182926A 2021-12-20 2021-12-20 딥러닝 기반 지하수위 정상 범위 확률론적 예측 장치 및 그 방법 KR102615493B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210182926A KR102615493B1 (ko) 2021-12-20 2021-12-20 딥러닝 기반 지하수위 정상 범위 확률론적 예측 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210182926A KR102615493B1 (ko) 2021-12-20 2021-12-20 딥러닝 기반 지하수위 정상 범위 확률론적 예측 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20230093915A true KR20230093915A (ko) 2023-06-27
KR102615493B1 KR102615493B1 (ko) 2023-12-19

Family

ID=86946978

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210182926A KR102615493B1 (ko) 2021-12-20 2021-12-20 딥러닝 기반 지하수위 정상 범위 확률론적 예측 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102615493B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140068436A (ko) * 2012-11-28 2014-06-09 한국지질자원연구원 시계열 예측 모델을 이용한 이상관측자료 탐지 방법 및 지하수위의 이상관측자료 탐지 방법
KR20210065293A (ko) * 2019-11-27 2021-06-04 주식회사 지오그린21 용수지속사용을 위한 지하수관정 최적군집제어 시스템과 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140068436A (ko) * 2012-11-28 2014-06-09 한국지질자원연구원 시계열 예측 모델을 이용한 이상관측자료 탐지 방법 및 지하수위의 이상관측자료 탐지 방법
KR20210065293A (ko) * 2019-11-27 2021-06-04 주식회사 지오그린21 용수지속사용을 위한 지하수관정 최적군집제어 시스템과 그 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Everett Snieder 등 3명, ‘Resampling and ensemble techniques for improving ANN-basedhigh-flow forecast accuracy’, Hydrol. Earth Syst. Sci., 25, p2543-2566, 2021.05.18* *
Olgun Aydin, Semra Erpolat Tasabat, ‘OUTLIER DETECTION METHOD BY USING DEEP NEURAL NETWORKS’, 2nd World Conference on Technology, 2017.03.12* *

Also Published As

Publication number Publication date
KR102615493B1 (ko) 2023-12-19

Similar Documents

Publication Publication Date Title
JP6609050B2 (ja) 時間的因果グラフにおける異常フュージョン
US10223403B2 (en) Anomaly detection system and method
Ingimundarson et al. Robust fault detection using zonotope‐based set‐membership consistency test
KR101463425B1 (ko) 시계열 예측 모델을 이용한 이상관측자료 탐지 방법 및 지하수위의 이상관측자료 탐지 방법
Meseguer et al. Fault diagnosis using a timed discrete-event approach based on interval observers: Application to sewer networks
WO2020049087A1 (en) Computer-implemented method, computer program product and system for anomaly detection and/or predictive maintenance
Pavlenko et al. Sustainability of cyber-physical systems in the context of targeted destructive influences
WO2020159706A1 (en) Methods and systems for fault detection and identification
Harrou et al. An improved multivariate chart using partial least squares with continuous ranked probability score
KR101941854B1 (ko) 미취득 데이터 보정을 통한 부하 예측 시스템 및 방법
US20170205781A1 (en) Systems and methods for classifying in-situ sensor response data patterns representative of grid pathology severity
CN112565187B (zh) 基于逻辑回归的电网攻击检测方法、系统、设备及介质
US7949497B2 (en) Machine condition monitoring using discontinuity detection
Alferes et al. Efficient automated quality assessment: Dealing with faulty on-line water quality sensors
Simani et al. Residual generator fuzzy identification for wind farm fault diagnosis
CN115081673A (zh) 一种油气管道的异常预测方法、装置、电子设备及介质
CN109324591B (zh) 基于鲁棒估计器的随机混杂系统的故障诊断装置及方法
McKenna et al. Event detection from water quality time series
Mollineaux et al. Structural health monitoring of progressive damage
CN111258863B (zh) 数据异常检测方法、装置、服务器和计算机可读存储介质
CN111125195B (zh) 一种数据异常检测方法及装置
KR101538758B1 (ko) 정보 통신 시스템에서의 장애 예측 장치 및 방법
KR20230093915A (ko) 딥러닝 기반 지하수위 정상 범위 확률론적 예측 장치 및 그 방법
US20140188772A1 (en) Computer-implemented methods and systems for detecting a change in state of a physical asset
CN111885084A (zh) 一种入侵检测方法、装置及电子设备

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant