KR102635911B1 - 지능형 운량 측정 장치 및 방법 - Google Patents

지능형 운량 측정 장치 및 방법 Download PDF

Info

Publication number
KR102635911B1
KR102635911B1 KR1020210182137A KR20210182137A KR102635911B1 KR 102635911 B1 KR102635911 B1 KR 102635911B1 KR 1020210182137 A KR1020210182137 A KR 1020210182137A KR 20210182137 A KR20210182137 A KR 20210182137A KR 102635911 B1 KR102635911 B1 KR 102635911B1
Authority
KR
South Korea
Prior art keywords
cloud
image
neural network
discrimination
stage
Prior art date
Application number
KR1020210182137A
Other languages
English (en)
Other versions
KR20230092604A (ko
Inventor
박승규
백성훈
고광훈
Original Assignee
한국원자력연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국원자력연구원 filed Critical 한국원자력연구원
Priority to KR1020210182137A priority Critical patent/KR102635911B1/ko
Publication of KR20230092604A publication Critical patent/KR20230092604A/ko
Application granted granted Critical
Publication of KR102635911B1 publication Critical patent/KR102635911B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W2201/00—Weather detection, monitoring or forecasting for establishing the amount of global warming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Environmental & Geological Engineering (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 지능형 운량 측정 장치 및 방법에 관한 것으로, 구름이 포함된 컬러 영상을 획득하는 영상 획득 모듈; 현 단계 신경망을 이용하여 획득한 상기 컬러 영상을 구름 영역과 구름 이외의 영역으로 판별하여 구름 판별 영상을 생성하는 구름 판별 신경망 모듈; 판별된 상기 구름 판별 영상을 참고하여 운량을 연산하는 운량 연산 모듈; 상기 영상 획득 모듈로부터 획득한 영상에서 RGB 색상을 이용한 대조군 구름 판별 영상을 생성하고, 상기 구름 판별 신경망 모듈로부터 획득한 구름 판별 영상과 상기 대조군 구름 판별 영상의 절대차 평균값이 기설정된 임계값 이상일 경우, 상기 대조군 구름 판별 영상에 대응하는 컬러 영상을 다음 단계의 추가학습 데이터로 선별하는 학습영상 선별 모듈; 및 상기 학습영상 선별 모듈로부터 얻은 다음 단계의 추가학습 데이터를 현 단계의 학습 데이터에 추가하여 다음 단계 학습 데이터를 생성하고, 상기 다음 단계 학습 데이터를 이용하여 상기 현 단계 신경망을 추가 학습시켜 다음 단계 신경망을 생성하고, 상기 다음단계 신경망을 상기 구름 판별 신경망 모델의 신경망으로 교체 장착하는 신경망 학습 모듈;을 포함할 수 있다.

Description

지능형 운량 측정 장치 및 방법{INTELLIGENT CLOUD VOLUME MEASUREMENT APPARATUS AND METHOD}
본 발명은 운량 측정 분야에 관한 것으로, 특히 측정오차가 큰 데이터를 선별하여 신경망 추가 학습을 수행하는 지능형 운량 측정 장치 및 방법에 관한 것이다.
운량계(Cloud meter)는 구름 영상을 획득하고 전체 하늘의 면적중 구름이 차지하는 면적이 몇 % 인지를 측정하는 장치이다. 기상분야에서 구름이 차지하는 비율을 측정하는 것은 아주 중요한 요소인데, 아직은 구름의 양(비율)을 측정하는 운량계 신호처리 장치가 성능이 부족하여, 사람이 목측으로 측정하고 있다.
하늘의 구름 사진을 이용하여 운량을 측정하는 기존 방법은 R, G, B 색상을 이용한다. 이와 같은 방법의 원리는 빛의 레일리 산란(Rayleigh scattering)과 미 산란(Mie Scattering)을 이용한 것이다. 하늘의 공기 입자의 경우, 빛의 파장보다 작기 때문에 레일리 산란이 크게 발생하며, 그 결과 하늘이 파랗게 나타난다. 그러나 구름의 수중기와 같이 입자가 큰 물질에 의하여 빛이 산란할 경우, 미 산란이 발생하여 모든 파장의 빛이 산란되어 하얗게 나타난다.
따라서 기존 R, G, B 색상을 이용한 방법의 경우, 구름이 포함된 하늘 이미지에서 R, G, B 색상을 분리하여, 레드(Red)와 블루(Blue) 파장의 비 또는 레드(Red)와 그린(Green) 파장의 비를 이용하여 구름을 분류하였다. 특히 기존 R, G, B 색상을 이용한 방법은 각각의 비의 특정 값을 임계값으로 사용하여 구름을 분류하였다.
즉, 도 1에 도시된 바와 같이, 이미지를 도출하고(SKY Image call), 왜곡을 보정한 후(Correction of radial distortion), RGB 컬러를 분리한다(RGB color separation). 이후 레드(Red)가 특정값 θ1 (예를 들어 60) 이하인 영역의 경우 구름이 없는 것으로 판별한다. 또, 레드(Red)가 특정값 θ1 (예를 들어 60)을 초과하는 영역의 경우 R/G > 특정값 θ2 (예를 들어 0.95)이고 R/B > 특정값 θ3 (예를 들어 0.85)을 만족하지 않으면 구름이 없는 영역이고, 이 조건을 만족하면 다시 판별하는데, R,G,B 각각의 값이 모두 특정값 θ4 (예를 들면 240) 이상이면 구름이 없다고 보고, 이외의 영역은 구름으로 판별한다. 이런 작업을 거친 후 구름 영역의 면적과 전체 면적(구름 영역과 구름이 없는 영역의 합)으로 운량을 연산한다(Calculate the amount of the cloud coverage). 여기서 상기 특정값 θ1 내지 θ4 는 사용자가 미리 설정할 수 있는 경계값들이다.
그러나, 이러한 R, G, B 색상을 이용한 기존 방법은 낮의 태양과 밤의 달과 같은 밝은 물체에 의하여 카메라 센서의 포화(Saturation) 현상(예를 들면, 역광)이 발생하면 측정할 수 없기 때문에 별도의 태양을 가리는 장치가 필요하며, 태양 또는 달에 의하여 구름에 의하여 빛이 반사되어 밝게 빛나는 부분, 또는 구름과 태양의 위치 또는 구름의 두께에 의하여 발생하는 구름의 어두운 부분을 측정하지 못하는 경우가 발생한다.
따라서, 운량 측정에 영향을 주는 외부 환경 요소를 차단하는 별도의 장치를 구비하거나 정밀한 측정이 어려워 정밀도를 높이는 데에 한계가 있어 별도의 장치 없이도 정확하게 운량 측정을 수행하는 발명의 필요성이 대두되었다.
(선행문헌 1) 한국등록특허 제1709860호(“전천 하늘 영상자료의 RGB 컬러를 이용한 전운량 산출방법 및 시스템”, 등록일: 2017년02월17일)
본 발명은 종래의 문제점을 해결하기 위하여, 신경망 기반의 고성능 인공지능을 도입하여 다양한 대기 환경 변화 잡음이 포함된 스카이뷰 영상에서도 정밀한 구름 판별이 가능하도록 측정오차가 큰 데이터로 신경망 추가 학습을 수행하여 정확도를 향상시킨 지능형 운량 측정 장치 및 방법을 제공한다.
본 발명의 일 실시예에 따른 지능형 운량 측정 장치는, 구름이 포함된 컬러 영상을 획득하는 영상 획득 모듈; 신경망 학습 모듈로부터 장착되는 신경망을 현 단계 신경망으로 인식하고 학습에 사용된 데이터를 현 단계 학습 데이터로 인식하고 상기 현 단계 신경망을 이용하여 획득한 상기 컬러 영상을 구름 영역과 구름 이외의 영역으로 판별하여 구름 판별 영상을 생성하는 구름 판별 신경망 모듈; 판별된 상기 구름 판별 영상을 참고하여 운량을 연산하는 운량 연산 모듈; 상기 영상 획득 모듈로부터 획득한 영상에서 RGB(Red Green Blue) 색상을 분리하고, 분리된 색상값을 기설정된 RGB(Red Green Blue) 경계값(θ)과 비교하여 RGB 색상을 이용한 대조군 구름 판별 영상을 생성하고, 상기 구름 판별 신경망 모듈로부터 획득한 구름 판별 영상과 상기 대조군 구름 판별 영상의 절대차 평균값이 기설정된 임계값 이상일 경우, 상기 대조군 구름 판별 영상에 대응하는 컬러 영상을 다음 단계의 추가 학습 데이터로 선별하는 학습영상 선별 모듈; 및 상기 학습영상 선별 모듈로부터 얻은 다음 단계의 추가학습 데이터를 상기 현 단계의 학습 데이터에 추가하여 다음 단계 학습 데이터를 생성하고, 상기 다음 단계 학습 데이터를 이용하여 상기 현 단계 신경망을 추가 학습시켜 다음 단계 신경망을 생성하고, 상기 다음 단계 신경망을 상기 구름 판별 신경망 모델의 신경망으로 교체 장착하는 신경망 학습 모듈;을 포함할 수 있다.
본 발명의 다른 양태로서, 본 발명의 일 실시예에 따른 지능형 운량 측정 방법은, 구름이 포함된 컬러 영상을 획득하는 단계; 구름 판별 신경망 모듈에 장착된 신경망을 현 단계 신경망으로 인식하고 학습에 사용된 데이터를 현 단계 학습 데이터로 인식하고, 상기 현 단계 신경망을 이용하여 획득한 상기 컬러 영상을 구름 영역과 구름 이외의 영역으로 판별하여 구름 판별 영상을 획득하는 단계; 판별된 구름 판별 영상을 참고하여 운량을 연산하는 단계; 획득한 상기 컬러 영상에서 RGB(Red Green Blue) 색상을 분리하고, 분리된 색상값을 기설정된 RGB(Red Green Blue) 경계값(θ)과 비교하여 RGB 색상을 이용한 대조군 구름 판별 영상을 생성하고, 상기 구름 판별 영상과 상기 대조군 구름 판별 영상의 절대차 평균값이 기설정된 임계값 이상일 경우, 상기 대조군 구름 판별 영상에 대응하는 컬러 영상을 다음 단계 추가학습 데이터로 선별하는 단계; 및 상기 선별된 추가학습 데이터를 상기 현 단계 학습 데이터에 추가하여 추가학습용 다음 단계 학습 데이터를 생성하고, 상기 현 단계 신경망에 상기 다음 단계 학습 데이터를 학습시켜 다음 단계 신경망을 생성하고 상기 다음 단계 신경망을 상기 구름 판별 신경망 모듈에 장착하는 단계;를 포함할 수 있다.
또한, 본 발명은 본 발명의 일 실시예에 따른 상기 방법을 컴퓨터 상에서 실행하기 위한 프로그램을 기록한 컴퓨터로 독출 가능한 기록 매체를 제공할 수 있다.
본 발명의 일 실시예에 따르면, 측정 에러를 발생시키는 다양한 대기 환경 변화 잡음 영상들을 따로 수집하여 기존 학습 데이터에 추가하는 것으로 추가적인 신경망 학습을 진행함으로써, 목표로 하는 학습 방향을 유지하면서 특정 잡음에 대한 강인성을 높여 구름판별 정확도를 향상시킬 수 있다.
도 1은 종래의 R, G, B 색상 비율을 이용한 운량 측정 방법을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 신경망 추가 학습을 수행하는 지능형 운량 측정 장치의 내부 블록도이다.
도 3은 본 발명의 일 실시예에 따른 신경망학습모듈의 간단한 내부 블록도이다.
도 4는 본 발명의 일 실시예에 따른 구름 판별 신경망 학습을 설명하는 모식도이다.
도 5는 본 발명의 일 실시예에 따라 신경망 추가 학습에서 배제된 한 쌍의 학습 데이터를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따라 신경망 추가 학습에서 사용된 한 쌍의 학습 데이터를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따라 신경망 추가 학습을 수행하는 지능형 운량 측정 방법을 설명하는 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시형태를 설명한다. 그러나 본 발명의 실시형태는 여러 가지의 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시형태로만 한정되는 것은 아니다. 도면에서의 요소들의 형상 및 크기 등은 더욱 명확한 설명을 위해 과장될 수 있으며, 도면상의 동일한 부호로 표시되는 요소는 동일한 요소이다.
도 2는 본 발명의 일 실시예에 따른 신경망 추가 학습을 수행하는 지능형 운량 측정 장치의 내부 블록도이며, 본 발명의 일 실시예에 따른 운량 측정 장치는 영상 획득 모듈(210), 구름 판별 신경망 모듈(220), 운량 연산 모듈(230), 신경망 학습 모듈(240), 학습영상 선별 모듈(250)을 포함할 수 있다.
구체적으로, 영상 획득 모듈(210)은 구름이 포함된 컬러 영상을 획득할 수 있다. 이러한 영상 획득 모듈(210)은 어안 렌즈를 포함한 전천 카메라를 포함할 수 있다.
전천 카메라로 획득한 컬러 영상은 어안렌즈에 의한 왜곡이 있으므로, 영상 획득 모듈(210)은 이러한 어안렌즈에 의한 왜곡을 보정할 수 있다. 또한, 영상 획득 모듈(210)은 획득된 컬러 영상 중 원형 이외의 부분은 검정색으로 채울 수 있다.
또한, 본 발명의 일 실시예에 따른 구름 판별 신경망 모듈(220)은 신경망을 포함할 수 있으며, 상기 신경망은 상기 영상 획득 모듈(210)에서 획득한 컬러 영상을 입력으로 받아서 구름 판별 영상을 출력할 수 있다. 상기 구름 판별 영상은 상기 컬러 영상에서 구름 부분과 구름 이외 부분을 구별할 수 있으며, 구름 부분은 1, 그 외 부분은 0으로 구성되는 이진영상일 수 있다.
일 실시예로서, 상기 신경망 학습 모듈(240)은 상기 컬러 영상을 학습 데이터로 하여 구름 판별을 할 수 있도록 신경망을 학습시킬 수 있으며, 상기 신경망은 구름 판별 신경망 모듈(220)에 장착되어 운영될 수 있다.
즉, 학습 데이터는 심층 학습 모델인 구름 판별 신경망 모듈(220)의 신경망 학습에 사용되며, 예를 들면 8000개의 학습 데이터를 확보하여 학습 데이터의 70% 내지 80%는 심층 학습 모델인 영상 변환 모듈의 학습에, 나머지는 성능을 검증하는데 사용될 수 있다. 학습 데이터의 구체적인 수 및 비율은 본 발명의 이해를 돕기 위한 것으로, 그 수나 비율은 작업자나 통상의 기술자의 필요에 따라 변형되어 실시될 수 있음에 유의하여야 한다.
한편, 구름 판별 신경망 모듈(220)은 별도의 영상 변환 모듈을 포함할 수 있다. 본 발명의 일 실시예에 따른 영상 변환 모듈은 획득한 컬러 영상을 구름 영역과 구름 이외의 영역을 포함하는 이진 영상으로 변환할 수 있다. 이러한 영상 변환 모듈은 기 수집된 컬러 영상과 기 수집된 컬러 영상으로부터 생성된 이진 영상을 하나의 쌍으로 한 학습 데이터를 이용하여 학습시킨 심층 학습 모델일 수 있다. 본 발명의 일 실시 형태에 의하면, 상술한 심층 학습 모델은 픽스투픽스(pix2pix) 모델일 수 있다.
일 실시예로서, 영상 획득 모듈(210)에서 컬러 영상을 획득하면, 영상 변환 모듈이 컬러 영상을 이진 영상으로 변환할 수 있으며, 바이너리 값이 '0'인 검정색 영역은 구름이 아닌 영역이며, 바이너리 값이 '1'인 흰색 영역은 구름 영역이다.
구름 판별 신경망 모듈(220) 내의 영상 변환 모듈이 영상을 이진 영상으로 변환하는 것도 학습 데이터를 통해 학습할 수 있으며, 예를 들면 8000개의 학습 데이터를 확보하여 학습 데이터의 70% 내지 80%는 심층 학습 모델인 영상 변환 모듈의 학습에, 나머지는 성능을 검증하는데 사용될 수 있다. 학습 데이터의 구체적인 수 및 비율은 본 발명의 이해를 돕기 위한 것으로, 그 수나 비율은 작업자나 통상의 기술자의 필요에 따라 변형되어 실시될 수 있음에 유의하여야 한다.
또한, 학습 데이터에 사용되는 컬러 영상은 적어도 역광이 있는 컬러 영상, 일출시의 컬러 영상 및 일몰시의 컬러 영상 등 다양한 조건의 영상을 포함하도록 함으로써, 측정 오차를 보다 줄일 수 있는 이점이 있다.
본 발명의 일 실시예에 따른 운량 연산 모듈(230)은 상기 구름 판별 영상의 구름 분포로부터 운량을 계산한다.
구체적으로, 운량 연산 모듈(230)은 운량을 연산할 때, 구름 판별 신경망 모듈(220)이 판별한 구름 판별 이진 영상에서 1인 영역을 구름 영역으로, 0인 영역을 구름 영역이 아닌 영역으로 하여 운량을 연산할 수 있다. 일 실시예로서, 연산된 운량을 운량 디스플레이부에 띄워 사용자가 실시간으로 운량을 파악하도록 사용자 편의를 도모할 수 있다.
또한, 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따르면, 상기 영상 획득 모듈(210)로부터 획득한 컬러 영상을 초기학습 데이터로 이용하여 구름 판별 학습을 수행하고, 상기 학습영상 선별 모듈(250)로부터 얻은 영상을 상기 초기학습 데이터에 추가하여 추가적인 학습을 수행하는 신경망 학습 모듈(240)을 포함할 수 있다.
구체적으로, 도 3에 도시된 바와 같이, 신경망 학습 모듈(240)은 초기학습 데이터 생성부(241) 및 추가학습 데이터 생성부(242)를 포함할 수 있으며, 상기 초기학습 데이터 생성부(241)에 의해 생성된 초기학습 데이터와 추가학습 데이터 생성부(242)에서 생성된 추가학습 데이터를 이용하여 학습을 수행하는 GAN 신경망 학습부(243)를 포함할 수 있다.
상기 GAN 신경망 학습부(243)에서 구름 영역과 구름 영역이 아닌 영역을 학습 시켜, GAN 신경망 학습부(243)가 학습 완료되면 학습 완료된 신경망을 구름 판별 신경망 모듈(220)에 장착할 수 있다.
즉, 본 발명에서 신경망의 측정 정밀도를 높이기 위하여 신경망의 추가학습이 필요할 시에는 운량 측정과정에서 추가학습 데이터를 획득할 수 있다.
본 발명의 일 실시예에 따른 학습영상 선별 모듈(250)은, 상기 영상 획득 모듈(210)로부터 획득한 영상에서 RGB(Red Green Blue) 색상을 분리하고, 분리된 색상값을 기설정된 RGB(Red Green Blue) 경계값(θ)과 비교하여 RGB 색상을 이용한 대조군 구름 판별 영상을 생성하고, 상기 구름 판별 신경망 모듈(220)로부터 획득한 구름 판별 영상과 상기 대조군 구름 판별 영상의 절대차 평균값이 기설정된 임계값 이상일 경우, 상기 대조군 구름 판별 영상에 대응하는 컬러 영상을 추가 학습 데이터로 선별할 수 있다.
일정 수 이상 추가학습 데이터 영상이 모이면, 신경망 학습 모듈(240)은 상기 추가학습 데이터를 기존의 신경망 학습에 사용한 학습 데이터에 추가하여 새로운 학습 데이터를 생성하고 이를 이용하여 기존의 신경망을 더 학습시켜서 새로운 신경망을 생성하고, 이 새로운 신경망을 상기 구름 판별 신경망 모듈(220)에 장착할 수 있다.
신경망 학습은 상기 학습 데이터에 수집된 컬러 영상과 컬러 영상으로부터 생성된 구름판별 영상을 하나의 쌍으로 한 학습 데이터를 이용하여 신경망 모델을 학습시킬 수 있다. 본 발명의 일 실시 형태에 의하면, 상술한 신경망은 픽스투픽스(pix2pix) 모델일 수 있다.
상술한 바와 같이, 신경망 학습에 사용되는 학습 데이터의 80% 정도는 학습에 사용되고 20% 정도는 학습된 모델의 성능 테스트에 사용될 수 있다. 예를 들어, 초기 신경망 학습에 10,000개의 학습 영상이 있다면 8,000개는 학습에 사용하고 2,000개는 테스트 데이터로 사용할 수 있다. 그 다음 추가 학습에서 10,000개가 더 추가 되면, 학습 데이터의 16,000개는 학습에 사용되고, 4,000개는 테스트에 사용될 수 있다. 학습 데이터의 구체적인 수 및 비율은 본 발명의 이해를 돕기 위한 것으로, 그 수나 비율은 작업자나 통상의 기술자의 필요에 따라 변형되어 실시될 수 있음에 유의하여야 한다.
또한, 학습 데이터에 사용되는 컬러 영상은 적어도 역광이 있는 컬러 영상, 일출시의 컬러 영상 및 일몰시의 컬러 영상 등 다양한 조건의 영상을 포함하도록 함으로써, 측정 오차를 보다 줄일 수 있는 이점이 있다.
구체적으로, 초기학습 데이터 생성부(241)에 의해 생성된 초기학습 데이터를 이용하여 사용자가 원하는 에폭(epoch)만큼 학습이 진행되어 학습이 완료되고 나면, 지금껏 학습에 사용되지 않았던 검증용 스카이뷰 영상들을 사용하여 초기 학습된 GAN 신경망 학습부(243)를 테스트 할 수 있다. 테스트가 끝난 신경망은 상기 구름 판별 신경망 모듈(220)에 장착되어 운영될 수 있다.
한편, 본 발명의 일 실시예에 따른 구름 판별 신경망 모듈(220)에는 신경망 학습 모듈(250)에서 학습 완료된 최신의 신경망이 장착될 수 있으며, 장착된 신경망을 통해 구름 판별을 수행할 수 있다. 구름판별 신경망 모듈(220)은 장착되는 현재의 신경망을 현 단계(k) 신경망(Gk)으로 인식하고, 학습에 사용된 데이터를 현 단계 학습 데이터(Tk)로 인식한다. 여기서, k는 학습단계를 의미한다.
도 3에 도시된 바와 같이, 신경망 학습 모듈(240)은 초기학습 데이터 생성부(241), 추가학습 데이터 생성부(242), GAN 신경망 학습부(243)을 포함할 수 있다.
상기 초기학습 데이터 생성부(242)는 상기 신경망을 처음(k=1)으로 학습시키는 초기학습 데이터(T1)를 생성하고, 상기 추가학습 데이터 생성부(242)는 상기 현 단계(k) 신경망을 추가로 더 학습시키기 위해 다음 단계(k+1)에 추가할 추가학습 데이터(Ak+1)를 생성한다. 여기서 학습 데이터는 스카이뷰 컬러 영상과 목표영상을 한 쌍으로 묶은 데이터들의 집합이다. 여기서 목표영상은 상기 컬러 영상에 대한 구름 판별 영상을 의미한다.
목표영상인 구름 판별 영상은 다음과 같은 방법으로 구해질 수 있다.
상기 추가학습 데이터 생성부(242)는 상기 학습영상 선별 모듈(250)로부터 선별된 상기 컬러 영상에 대해 서로 다른 실수 값을 갖는 기설정된 경계값 풀로부터 생성된 모든 (θ2, θ3) 경계값 그룹 전부를 이용하여 대조군 구름 판별 영상들을 생성하며, 상기 대조군 구름 판별 영상들 중에서, 현 단계(k) 신경망(Gk)에 상기 컬러 영상을 입력하여 출력한 구름 판별 영상과의 절대차 평균값이 가장 작은 대조군 구름 판별 영상을 추출하고, 추출된 대조군 구름 판별 영상과 이에 대응하는 컬러 영상을 추가학습 데이터(Ak+1)를 생성하고, 이를 현 단계 학습 데이터(Tk)에 추가하여 다음 단계 학습 데이터(Tk+1)를 생성할 수 있다.
즉, 영상 획득 모듈(210)로부터 획득한 컬러 영상에 대해, R, G, B 색상을 이용한 구름 판별 방법으로 모든 (θ2, θ3) 경계값 그룹을 이용하여 생성한 구름판별 영상들 중에서 현 단계(k번째) 신경망(Gk)의 출력으로 출력된 구름 판별 영상과의 절대차 비교에서 절대차 평균값이 가장 작은 구름 판별 영상을 목표영상으로 선정할 수 있다.
구체적으로, R, G, B 색상을 이용한 구름 판별 방법에서 다른 실수 값을 갖는 여러 θ2값과 θ3값을 사전에 설정하여 많은 (θ2, θ3) 그룹 값을 생성하고 기호 j를 이용하여 순차적으로 상기 각 j번째 (θ2, θ3)그룹 값을 인식할 수 있다. j는 양의 실수일 수 있다.
예를 들어 모든 (θ2, θ3)그룹 수가 다섯 개(j=5)인 경우에, j=1의 (θ2, θ3) 경계값 그룹은 (0.95, 0.85), j=2의 (θ2, θ3) 경계값 그룹은 (0.95, 0.80), j=3의 (θ2, θ3) 경계값 그룹은 (0.95, 0.75), j=4의 (θ2, θ3) 경계값 그룹은 (0.90, 0.85), j=5의 (θ2, θ3) 경계값 그룹은 (0.85, 0.85) 등으로 사전에 설정된 경계값 풀로부터 무작위로 선택하거나, 또는 사전에 설정된 경계값 그룹대로 (θ2, θ3) 경계값 그룹이 설정될 수 있다.
추가학습 데이터 생성부(242)는 j=1~5의 경계값을 이용하여 R, G, B 색상을 이용한 대조군 구름 판별 영상들을 생성할 수 있다.
또한, 구름판별 신경망 모듈(220)에 장착되어 있는 현 단계 신경망(Gk)에 상기 대조군 구름 판별 영상을 생성하는데 사용되었던 컬러 영상을 입력하여 구름 판별 영상을 출력할 수 있다.
따라서, 추가학습 데이터 생성부(242)는 j=1~5를 이용하여 판별된 대조군 구름 판별 영상들과 상기 구름판별 신경망 모듈(220)로부터 출력된 구름 판별 영상 간의 절대차 평균값을 구하고, 상기 절대차 평균값이 가장 작은 j번째 대조군 구름 판별 영상을 목표영상으로 추출할 수 있다.
더하여, 추가학습 데이터 생성부(242)는 목표영상으로 상기 추출된 대조군 구름 판별 영상과 이에 사용되었던 컬러 영상을 쌍을 이루는 추가 학습 영상으로 선택하여 다음 단계 추가학습 데이터(Ak+1)에 추가하고 이를 현 단계 학습 데이터(Tk)에 추가하여 다음 단계 학습 데이터(Tk+1)를 생성할 수 있다.
또한, 예를 들면, 상기 추가학습 데이터 생성부(242)는 상기 학습영상 선별 모듈(250)이 다음 단계(k+1)로 학습시킬 컬러 영상을 선별하면 선별된 컬러 영상에 대해 R, G, B 색상을 이용한 구름 판별 방법으로 대조군 구름 판별 영상들을 생성할 수 있다.
구체적으로, 선별된 컬러 영상에 대해 상기 순차적으로 j=1, 2, 3, 4,??번호에 해당하는 각 (θ2, θ3) 그룹 값을 입력해서 R, G, B 색상을 이용한 구름 판별 방법을 통해 생성한 구름판별 영상들 중에서 상기 현 단계(k) 학습된 신경망(Gk )을 장착한 구름판별 신경망(Gk) 모듈의 출력영상인 구름 판별 영상과 비교를 수행할 수 있다.
비교 결과, 가장 유사한(두 영상의 절대차 평균값이 가장 적은) 영상을 추가 학습할 구름판별 영상으로 선정할 수 있다. 선정된 추가학습 구름 판별 영상의 경우에, 필요 시에는 추가적으로 전문가의 전문 지식 기반의 데이터베이스(DB)를 이용하여 눈에 띄는 오차가 있을 경우에는 이를 보정할 수도 있다. 여기서 선정된 추가학습 구름 판별 영상을 신경망 학습의 목표영상으로도 칭한다. 신경망 학습 절차를 도시한 도 4에서는 이를 목표영상으로 기술하였다.
한편, 도 4는 본 발명의 일 실시예에 따른 구름 판별 신경망 학습을 설명하는 모식도이다.
도 4에서 학습단계 k는 신경망의 학습 횟수를 의미한다. 여기서 k=1은 초기학습을 의미하고 첫 번째 추가 학습시에는 k=2이고, 두 번째 추가 학습시에는 k=3이 된다. 그리고 k번째 학습이 되는 생성자 신경망은 Gk, 판별자 신경망은 Dk로 표시한다. Gk와 Dk는 k번째 학습 데이터(Tk)의 영상들을 이용하여 학습을 진행한다. k번째 학습 데이터(Tk)는 k-1번째 학습에 사용한 학습 데이터(Tk-1)와 학습영상 선별 모듈(240)에서 k번째 학습을 위하여 추가학습 데이터로 선별한 데이터(Ak)의 합으로 구성된다; Tk=Tk-1+Ak.
그리고 생성자 신경망(Gk)의 학습은 Gk-1를 시작점으로 하여 학습을 시작하며, 판별자 신경망(Dk)의 학습은 Dk-1를 시작점으로 하여 학습을 시작한다. 이때 Gk-1과 Dk-1는 K-1번째 학습에서 학습 완료된 신경망이다.
k번째 학습을 함에 있어서, 신경망 학습 모듈(240)은 GAN 신경망 학습부(243)를 통해 GAN 신경망을 학습시키며, 학습된 GAN 신경망을 구름 판별 신경망 모듈(220)에 장착함으로써 상기 구름 판별 신경망 모듈(220)은 가장 최근에 학습 완료한 GAN 신경망을 장착할 수 있다.
따라서, 상기 학습영상 선별 모듈(250)은 하기 식을 통하여 상기 구름 판별 신경망 모듈(220)로부터 획득한 구름 판별 영상()과 상기 대조군 구름 판별 영상()의 절대차 평균값이 기설정된 임계값(TH) 이상인지 판단하며, 상기 절대차 평균값이 기설정된 임계값 이상일 경우, 상기 대조군 구름 판별 영상에 대응하는 컬러 영상을 추가 학습 데이터로 선별하고, 상기 추가 학습 데이터를 이용하여 GAN 신경망을 학습시켜 가장 최근에 학습 완료된 GAN 신경망을 구름 판별 신경망 모듈(220)에 장착할 수 있다.
여기서, 는 상기 영상 획득 모듈(210)이 i번째 획득한 컬러 영상을 입력으로 사용한 상기 구름 판별 신경망 모듈(220)의 출력 영상인 구름 판별 영상의 (x, y) 위치에서의 영상 픽셀 값이고, 는 상기 영상 획득 모듈(210)이 i번째 획득한 컬러 영상에 대해 RGB 경계값을 비교하여 판별한 구름 판별 영상에서 j번째 (θ2, θ3) 경계값 그룹을 이용하여 얻은 구름판별 영상의 (x, y) 위치에서의 영상 픽셀 값이고, TH는 기설정된 임계값이며, NxN은 영상 크기를 나타내는 픽셀이고, θ2와 θ3는 기설정된 RGB 경계값이다.
오차가 크다는 것은 데이터에 문제가 있다는 것인 바, 오차가 큰 데이터를 추출하여 학습시킴으로써 신경망의 정확도를 높일 수 있다.
또한, 상기 학습영상 선별 모듈(250)에서 상기 영상은, 서로 다른 실수 값을 갖는 기설정된 경계값 풀로부터 생성된 모든 (θ2, θ3) 경계값 그룹을 이용하여 생성된 대조군 구름 판별 영상들이며, 상기 모든 (θ2, θ3) 경계값 그룹을 이용하여 획득한 모든 대조군 구름 판별 영상이 상기 식을 만족하는 경우, 상기 대조군 구름 판별 영상에 대응하는 컬러 영상을 추가 학습 데이터로 선별할 수 있다.
상술한 바와 같이, 기설정된 경계값 그룹들을 이용하여 RGB를 이용한 구름 판별 방법으로 대조군 구름 판별 영상들을 생성할 수 있으며, 생성된 대조군 구름 판별 영상들이 모두 상기 임계값(TH) 이상이어야 대조군 구름 판별 영상에 이용된 컬러 영상이 추가 학습 데이터로 선별될 수 있다.
더하여, 이때 상기 영상과 상기 영상 속에 태양이나 달을 포함하는 부분이 존재할 경우, 태양이나 달 부분은 제거하고 절대차 평균값을 비교할 수 있다. 태양이나 달과 같이 빛을 내거나 건물 등과 같이 구름 판단과 상관 없는 고정 구조물의 잡음이 존재할 경우, 해당 부분을 제거하고 비교를 수행하여 비교 정확도를 높일 수 있다.
도 4에 도시된 바와 같이, 학습단계 k번째인 신경망 학습에 있어서, GAN 신경망 학습부(243)의 GAN 신경망은 생성자 신경망(Gk, 410)과 판별자 신경망(Dk, 420)을 포함하는 조건부 GAN(Conditional Generative Adversial Networks) 모델이다.
상기 생성자 신경망(410)은 초기학습시 G1, 추가학습으로 k번째 학습시 Gk이며, 판별자 신경망(420)는 초기학습시 D1, 추가학습으로 k번째 학습시 Dk이다.
도 4에 도시된 바와 같이, 학습 데이터에서 선택된 하나의 컬러 영상이 생성자 신경망(Gk, 410)에 입력된다. 이 입력 영상은 k번째 학습 데이터(Tk)에 등록되어 있는 컬러 영상이다. 즉, GAN 신경망의 생성자(410)의 “입력”부에 영상 획득 모듈(210)에서 획득한 컬러 영상이 입력되고, 생성자(410)는 "출력"부에서 출력영상(G)을 출력한다. 판별자 신경망(Dk, 420)은 생성자(410)의 출력영상인 출력(G)을 입력 받아 상기 출력(G)을 가짜(fake, 0) 영상으로 판별하도록 학습하고, 목표영상을 입력 받을 때는 진짜(real, 1)로 판별하도록 학습을 수행한다. 여기서 목표영상은 학습 데이터(Tk)에 등록되어 있는 영상으로 생성자에 입력되는 컬러영상에 대응하는 절대차 평균값이 가장 작은 대조군 구름판별 영상이다. 그리고 나서 생성자 신경망(410)은 판별자 신경망(420)이 진짜(1)로 판별할 수 있는 출력(G) 영상을 출력하도록 생성자 신경망(410)을 재학습 시킨다.
이와 같이 생성자 신경망(410)과 판별자 신경망(420)의 경쟁 학습을 통하여 생성자(410)는 판별자(420)가 진짜로 판별할 정도로 목표영상에 근접한 구름판별 영상을 출력하도록 학습을 수행한다.
한편, 운량 연산 모듈(230)은 구름 판별 신경망 모듈(220)이 판별한 구름 영역으로부터 운량을 연산할 수 있다. 여기서, 운량은 컬러 영상의 전체 영역 대비 구름 영역의 비율일 수 있다.
구체적으로, 운량 연산 모듈(230)은 운량을 연산할 때, 구름 판별 신경망 모듈(220)이 판별한 구름 영역 또는 변환한 이진 영상에서 이진 영상의 바이너리 값인 1인 영역을 구름 영역으로, 0인 영역을 구름 영역이 아닌 영역으로 하여 운량을 연산할 수 있다.
일 실시예로서, 연산된 운량을 운량 디스플레이부에 띄워 사용자가 실시간으로 운량을 파악하도록 사용자 편의를 도모할 수 있다.
도 5는 본 발명의 일 실시예에 따라 신경망 추가 학습에서 배제되는 한 쌍의 학습 데이터, 도 6은 본 발명의 일 실시예에 따라 신경망 추가 학습에서 사용되는 한 쌍의 학습 데이터를 도시한 도면이다. 여기서 (a)는 영상획득 모듈(210)에서 획득되는 영상이며, (b)는 구름판별 신경망모듈(220)의 신경망이 판별하는 구름판별 영상이며, (c)는 신경망 학습의 최종 목표영상인 구름판별 영상이다.
본 발명의 일 실시예에 따르면, 구체적으로 도 5는 학습 완료된 GAN 신경망을 이용한 구름판별 검사에서 신경망의 출력영상(b)이 목표하는 목표영상(c)과의 절대차 평균값 비교에서 임계값 TH 미만이 나온 것으로, 두 영상의 일치도가 매우 높아서 추가 학습 영상에 포함되지 않은 경우의 실험 결과이다.
도 6은 학습 완료된 GAN 신경망을 이용한 구름판별 검사에서 신경망의 출력영상(b)이 목표하는 목표영상(c)와의 절대차 평균값 비교에서 임계값 TH 이상이 나온 것으로, 출력 오차가 커서, 즉 두 영상의 일치도 매우 낮아서 추가학습 영상에 포함된 경우의 실험 결과이다.
도 6에 도시된 바와 같이, 출력영상의 점선 원형 부분은 눈에 띄는 오류 부분으로 영상의 이런 구역에 대해서는 신경망이 추가적인 학습을 통하여 오류를 보정할 필요가 있는 경우이다.
약 8,000개의 스카이뷰 영상을 이용하여 초기 학습을 수행한 신경망을 이용한 기초 실험에서, 스카이뷰 영상으로부터 GAN 신경망의 평균 측정오차는 약 2%였고, 도 1과 같은 전통적인 기존의 R, G, B 색상을 이용한 구름 판별 방법의 평균 측정오차는 약 10%였는 바, 스카이뷰 영상에는 측정 요소들의 변동성도 크고 강한 잡음도 섞여 있어서, 종래의 신호처리 알고리즘으로는 높은 정밀도의 운량을 측정하는 것은 어려운 일이었다. 반면, 본 발명의 일 실시예에 따른 운량 측정 장치는 다양한 변동성에도 강인하면서도 높은 측정 정밀도를 갖는 특징이 있다.
오차가 큰 데이터를 따로 추출함과 동시에 기존 학습 데이터에 추가함으로써 초기 목표를 유지함과 동시에 오차를 발생시키는 요소들을 보완하여 학습 효율을 극대화할 수 있다.
도 7은 본 발명의 일 실시예에 따라 신경망 추가 학습을 수행하는 운량 측정 방법을 설명하는 흐름도이다.
도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 운량 측정 방법은 구름이 포함된 컬러 영상을 획득하는 단계(S710), 신경망 학습 모듈로부터 장착된 신경망을 이용하여 획득한 상기 컬러 영상을 구름 영역과 구름 이외의 영역으로 판별하는 단계(S720), 판별된 구름 판별 영상을 참고하여 운량을 연산하는 단계(S730), 대조군 구름 판별 영상을 생성하고, 상기 구름 판별 영상과 대조군 구름 판별 영상의 절대차 평균값이 기설정된 임계값 이상일 경우, 상기 대조군 구름 판별 영상에 대응하는 컬러 영상을 다음 단계 추가학습 데이터로 선별하는 단계(S740) 및 추가학습 데이터를 포함한 새로운 학습 데이터를 이용하여 추가학습된 신경망을 생성하고 이를 장착하는 단계(S750)를 포함할 수 있다.
상기 절대차 평균값이 기설정된 임계값 이상인 오차가 큰 컬러 영상에 대해 추가학습 데이터로 선별하는 단계(S740)는 다음과 같이 구현될 수 있다.
단계(S720)에서, 구름 판별 신경망 모듈(220)에 장착된 신경망을 현 단계 신경망으로 인식하고 학습에 사용된 데이터를 현 단계 학습 데이터로 인식할 수 있으며, 신경망 학습 모듈로부터 장착된 신경망이 현 단계 신경망이 될 수 있다.
단계(S740)에서, 대조군 구름 판별 영상을 생성할 때, 획득한 상기 컬러 영상에서 RGB(Red Green Blue) 색상을 분리하고, 분리된 색상값을 기설정된 RGB(Red Green Blue) 경계값(θ)과 비교하여 RGB 색상을 이용한 대조군 구름 판별 영상을 생성할 수 있다. 상술한 내용과 중복되는 내용은 생략한다.
또한, 단계(S740)에서, k번째로 추가 학습된 신경망(Gk)을 사용하여 판별한 구름판별 영상과 R, G, B 색상을 이용한 구름 판별 방법에서 모든 (θ2, θ3)그룹 값을 이용하여 생성한 구름판별 영상들과의 절대차 평균값 비교에서 모두 임계값 이상으로 큰 오차를 가지면, 상기 구름 판별 영상에 대응하는 컬러 영상을 다음 단계(k+1번째)의 추가학습 데이터(Ak+1)로 선별한다.
이때 상기 컬러영상에 대한 구름판별 영상인 목표영상도 함께 구한다.
구체적으로, 상기 컬러 영상에 대해, R, G, B 색상을 이용한 구름 판별 방법으로 모든 (θ2, θ3) 경계값 그룹을 이용하여 생성한 구름판별 영상들 중에서 신경망 출력으로 판별한 구름 판별 영상과의 절대차 비교에서 절대차 평균값이 가장 작은 구름판별 영상이 목표영상인 구름판별 영상으로 구해질 수 있다.
상기 추가학습 데이터(Ak+1)를 기존 신경망(Gk) 학습에 사용한 기존 k번째 학습 데이터(Tk)에 추가한 후에 다음 단계의 새로운 학습 데이터(Tk+1)가 생성될 수 있다. 단계(S750)에서는 상기 새로운 학습 데이터(Tk+1)를 이용하여 기존 신경망(Gk)을 추가 학습시켜 성능이 향상된 새로운 신경망(Gk+1)을 생성한 한 후에 이를 구름판별 신경망 모듈(220)에 장착하여 성능이 개선된 신경망을 운영할 수 있다.
본 발명의 일 실시예에 따른 지능형 운량 측정 방법에서 신경망의 성능개선이 만족스러울 때까지 위의 단계를 반복하면서 구름판별 성능이 향상된 신경망을 획득할 수 있다.
즉, 상기 절대차 평균값이 기설정된 임계값 미만이 될 때까지 추가학습 데이터로 선별하는 단계 및 새로운 신경망(Gk+1)을 생성하는 단계를 반복할 수 있다.
상술한 내용과 중복되는 내용은 명세서의 중복을 피하기 위해 생략하기로 한다.
상술한 본 발명의 일 실시 형태에 따른 지능형 운량 측정 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 본 발명을 설명함에 있어, '~ 모듈'은 다양한 방식, 예를 들면 프로세서, 프로세서에 의해 수행되는 프로그램 명령들, 소프트웨어 모듈, 마이크로 코드, 컴퓨터 프로그램 생성물, 로직 회로, 애플리케이션 전용 집적 회로, 펌웨어 등에 의해 구현될 수 있다.
본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되지 아니한다. 첨부된 청구범위에 의해 권리범위를 한정하고자 하며, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 형태의 치환, 변형 및 변경할 수 있다는 것은 당 기술분야의 통상의 지식을 가진 자에게 자명할 것이다.
200: 운량 측정 장치
210: 영상 획득 모듈
220: 구름 판별 신경망 모듈
230: 운량 연산 모듈
240: 신경망 학습 모듈
250: 학습영상 선별 모듈
241: 초기학습 데이터 생성부
242: 추가학습 데이터 생성부
243: GAN 신경망 학습부
410: 생성자(G)
420: 판별자(D)

Claims (8)

  1. 구름이 포함된 컬러 영상을 획득하는 영상 획득 모듈;
    신경망 학습 모듈로부터 장착되는 신경망을 현 단계 신경망으로 인식하고 학습에 사용된 데이터를 현 단계 학습 데이터로 인식하고, 상기 현 단계 신경망을 이용하여 획득한 상기 컬러 영상을 구름 영역과 구름 이외의 영역으로 판별하여 구름 판별 영상을 생성하는 구름 판별 신경망 모듈;
    판별된 상기 구름 판별 영상을 참고하여 운량을 연산하는 운량 연산 모듈;
    상기 영상 획득 모듈로부터 획득한 영상에서 RGB(Red Green Blue) 색상을 분리하고, 분리된 색상값을 기설정된 RGB(Red Green Blue) 경계값(θ)과 비교하여 RGB 색상을 이용한 대조군 구름 판별 영상을 생성하고, 상기 구름 판별 신경망 모듈로부터 획득한 구름 판별 영상과 상기 대조군 구름 판별 영상의 절대차 평균값이 기설정된 임계값 이상일 경우, 상기 대조군 구름 판별 영상에 대응하는 컬러 영상을 다음 단계의 추가학습 데이터로 선별하는 학습영상 선별 모듈; 및
    상기 학습영상 선별 모듈로부터 얻은 다음 단계의 추가학습 데이터를 현 단계의 학습 데이터에 추가하여 다음 단계 학습 데이터를 생성하고, 상기 다음 단계 학습 데이터를 이용하여 상기 현 단계 신경망을 추가 학습시켜 다음 단계 신경망을 생성하고, 상기 다음 단계 신경망을 상기 구름 판별 신경망 모델의 신경망으로 교체 장착하는 신경망 학습 모듈;을 포함하는
    지능형 운량 측정 장치.
  2. 제1 항에 있어서,
    상기 학습영상 선별 모듈은 하기 식을 통하여 상기 구름 판별 신경망 모듈로부터 획득한 구름 판별 영상과 상기 대조군 구름 판별 영상의 절대차 평균값이 기설정된 임계값 이상인지 판단하며,

    여기서, 는 상기 영상 획득 모듈이 i번째 획득한 컬러 영상을 입력으로 사용한 상기 구름 판별 신경망 모듈의 출력 영상인 구름 판별 영상의 (x, y) 위치에서의 영상 픽셀 값이고, 는 상기 영상 획득 모듈이 i번째 획득한 컬러 영상에 대해 RGB 경계값을 비교하여 판별한 구름 판별 영상에서 j번째 (θ2, θ3) 경계값 그룹을 이용하여 얻은 구름판별 영상의 (x, y) 위치에서의 영상 픽셀 값이고, TH는 기설정된 임계값이며, NxN은 영상 크기를 나타내는 픽셀이고, θ2와 θ3는 기설정된 RGB 경계값인,
    지능형 운량 측정 장치.
  3. 제2 항에 있어서,
    상기 학습영상 선별 모듈에서
    상기 영상은, 서로 다른 실수 값을 갖는 기설정된 (θ2, θ3) 경계값 풀로부터 생성된 j번째 (θ2, θ3) 경계값 그룹을 이용하여 생성된 j번째 대조군 구름 판별 영상이며,
    상기 경계값 풀로부터 생성된 모든 대조군 구름 판별 영상이 상기 식을 만족하는 경우, 상기 대조군 구름 판별 영상에 대응하는 컬러 영상을 추가 학습 데이터로 선별하는,
    지능형 운량 측정 장치.
  4. 제2 항에 있어서,
    상기 영상과 상기 영상 속에 태양이나 달을 포함하는 부분이 존재할 경우, 태양이나 달 부분은 제거하고 절대차 평균값을 비교하는
    지능형 운량 측정 장치.
  5. 제1 항에 있어서,
    상기 신경망 학습 모듈은
    첫 학습용 초기 학습 데이터(T1)를 생성하는 초기학습 데이터 생성부;
    상기 현 단계(k) 신경망(Gk)을 추가학습 시키기 위한 다음 단계(k+1) 추가학습 데이터(Ak+1)를 생성하는 추가학습 데이터 생성부; 및
    현 단계 학습 데이터(Tk)와 상기 추가학습 데이터(Ak+1)를 더하여 다음 단계 학습 데이터(Tk+1)를 생성하고, 상기 다음 단계 학습 데이터(Tk+1)를 상기 현 단계 신경망(Gk)에 대해 추가 학습시켜 다음 단계 신경망(Gk+1)을 생성하도록 신경망 학습을 수행하는 GAN 신경망 학습부;를 포함하며,
    상기 추가학습 데이터 생성부는,
    상기 학습영상 선별 모듈로부터 다음 단계(k+1) 추가 학습 데이터로 선별된 상기 컬러 영상에 대해 서로 다른 실수 값을 갖는 기설정된 경계값 풀로부터 생성된 모든 (θ2, θ3) 경계값 그룹을 이용하여 대조군 구름 판별 영상을 생성하며,
    상기 모든 대조군 구름 판별 영상 중에서, 상기 현 단계 신경망(Gk)에 상기 컬러 영상을 입력하여 출력한 구름 판별 영상과의 절대차 평균값이 가장 작은 대조군 구름 판별 영상을 추출하고, 추출된 대조군 구름 판별 영상과 상기 추출된 대조군 구름 판별 영상에 대응하는 컬러 영상을 추가학습 데이터(Ak+1)에 포함시키는
    지능형 운량 측정 장치.
  6. 구름이 포함된 컬러 영상을 획득하는 단계;
    구름 판별 신경망 모듈에 장착된 신경망을 현 단계 신경망으로 인식하고 학습에 사용된 데이터를 현 단계 학습 데이터로 인식하고, 상기 현 단계 신경망을 이용하여 획득한 상기 컬러 영상을 구름 영역과 구름 이외의 영역으로 판별하여 구름 판별 영상을 획득하는 단계;
    판별된 구름 판별 영상을 참고하여 운량을 연산하는 단계;
    획득한 상기 컬러 영상에서 RGB(Red Green Blue) 색상을 분리하고, 분리된 색상값을 기설정된 RGB(Red Green Blue) 경계값(θ)과 비교하여 RGB 색상을 이용한 대조군 구름 판별 영상을 생성하고, 상기 구름 판별 영상과 상기 대조군 구름 판별 영상의 절대차 평균값이 기설정된 임계값 이상일 경우, 상기 대조군 구름 판별 영상에 대응하는 컬러 영상을 다음 단계 추가학습 데이터로 선별하는 단계; 및
    상기 선별된 추가학습 데이터를 상기 현 단계 학습 데이터에 추가하여 추가학습용 다음 단계 학습 데이터를 생성하고, 상기 현 단계 신경망에 상기 다음 단계 학습 데이터를 학습시켜 다음 단계 신경망을 생성하고 상기 다음 단계 신경망을 상기 구름 판별 신경망 모듈에 장착하는 단계;를 포함하는,
    지능형 운량 측정 방법.
  7. 제6 항에 있어서,
    상기 절대차 평균값이 기설정된 임계값 미만이 될 때까지 현 단계 신경망의 측정 결과로부터 추가학습 데이터를 선별하는 단계 및 새로운 다음 단계 신경망을 생성하고, 상기 다음 단계 신경망을 상기 현 단계 신경망으로 교체하는 단계를 반복하는
    지능형 운량 측정 방법.
  8. 제6 항 또는 제7 항에 따른 방법을 컴퓨터 상에서 실행하기 위한 프로그램을 기록한 컴퓨터로 독출 가능한 기록 매체.
KR1020210182137A 2021-12-17 2021-12-17 지능형 운량 측정 장치 및 방법 KR102635911B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210182137A KR102635911B1 (ko) 2021-12-17 2021-12-17 지능형 운량 측정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210182137A KR102635911B1 (ko) 2021-12-17 2021-12-17 지능형 운량 측정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230092604A KR20230092604A (ko) 2023-06-26
KR102635911B1 true KR102635911B1 (ko) 2024-02-14

Family

ID=86947590

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210182137A KR102635911B1 (ko) 2021-12-17 2021-12-17 지능형 운량 측정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102635911B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274865A (zh) 2019-12-14 2020-06-12 深圳先进技术研究院 一种基于全卷积神经网络的遥感图像云检测方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101709860B1 (ko) 2015-09-01 2017-02-23 강릉원주대학교산학협력단 전천 하늘 영상자료의 rgb 컬러를 이용한 전운량 산출방법 및 시스템
KR20180055422A (ko) * 2016-11-17 2018-05-25 한국기술교육대학교 산학협력단 전천 사진을 이용한 운량 산출 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274865A (zh) 2019-12-14 2020-06-12 深圳先进技术研究院 一种基于全卷积神经网络的遥感图像云检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
비특허문헌 1
비특허문헌 2

Also Published As

Publication number Publication date
KR20230092604A (ko) 2023-06-26

Similar Documents

Publication Publication Date Title
CN109934154B (zh) 一种遥感影像变化检测方法及检测装置
Luo et al. A physical model-based approach to detecting sky in photographic images
US20130129209A1 (en) Detecting Skin Tone in Images
CN109522889A (zh) 一种基于图像分析的水文尺水位识别估算方法
CN105574550A (zh) 一种车辆识别方法及装置
CN109740639A (zh) 一种风云卫星遥感影像云检测方法、系统及电子设备
CN108369651A (zh) 使用图像数据进行信息提取
CN110852164A (zh) 一种基于YOLOv3的自动检测违章建筑方法及系统
CN114119532A (zh) 一种基于遥感影像与孪生神经网络的建筑物变化检测方法
CN116740758A (zh) 一种防止误判的鸟类图像识别方法及系统
CN116109933A (zh) 一种用于废弃矿山生态修复的动态识别方法
CN112818774A (zh) 一种活体检测方法及装置
CN105023269B (zh) 一种车载红外图像彩色化方法
CN118379738B (zh) 基于可见光的小目标识别方法及识别系统
KR102635911B1 (ko) 지능형 운량 측정 장치 및 방법
CN112991425B (zh) 一种水域水位提取方法、系统及存储介质
CN118865142A (zh) 一种野生植物分类遥感图像数据统计分析方法
CN117474915B (zh) 一种异常检测方法、电子设备及存储介质
CN113204990A (zh) 基于智能鱼竿的机器学习方法与装置
CN118097249A (zh) 基于物体检测模型的目标检测方法及其装置、电子设备
CN115984546B (zh) 一种针对固定场景的异常检测用的样本底库生成方法
CN117893413A (zh) 基于图像增强的车载终端人机交互方法
CN115423809B (zh) 图像质量评价方法、装置、可读存储介质及电子设备
CN115375954B (zh) 一种化学实验溶液识别方法、装置、设备及可读存储介质
CN111402189B (zh) 一种视频图像偏色检测装置及方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20211217

PA0201 Request for examination
PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240130

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240206

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240207

End annual number: 3

Start annual number: 1

PG1601 Publication of registration