KR20200069211A

KR20200069211A - 지능형 하천범람 경보시스템 및 그 제어 방법

Info

Publication number: KR20200069211A
Application number: KR1020190099156A
Authority: KR
Inventors: 한승완; 오선호
Original assignee: 한국전자통신연구원
Priority date: 2018-12-06
Filing date: 2019-08-13
Publication date: 2020-06-16

Abstract

하천 범람 여부를 판별하기 위한 지능형 하천범람 경보시스템의 제어방법이 개시된다. 본 발명에 따른 지능형 하천범람 경보시스템의 제어방법은 적어도 하나의 영상취득 장치로부터 하천 영상정보를 취득하는 단계, 취득된 상기 하천 영상정보로부터 분석대상 영상을 추출하는 단계, 추출된 상기 분석대상 영상에 기초하여 영상분석 엔진 학습을 수행하는 단계, 학습된 영상분석 엔진을 이용하여 상기 영상취득 장치로부터 취득되는 실시간 하천 영상정보를 분석하는 단계 및 상기 실시간 하천 영상정보 분석에 기초하여 하천 범람 여부를 판별하는 단계를 포함한다.

Description

지능형 하천범람 경보시스템 및 그 제어 방법{INTELLIGENT RIVER INUNDATION ALARMING SYSTEM AND THE METHOD TEHREOF}

본 발명은 하천범람 경보시스템 및 그 제어 방법에 관한 것으로, 상세하게는 영상을 분석하여 하천범람을 실시간으로 탐지하고 유사시 경보를 발생시키는 지능형 하천 범람 경보시스템 및 그 제어방법에 관한 것이다.

갑작스런 국지성 호우, 태풍, 도심 배수 설비 문제 등의 영향으로 강이나 하천이 범람하고, 이로 인해 하천 주변 시설 파괴 및 인명 피해가 발생한다. 이에 따라 강이나 하천의 홍수 피해를 방지하기 위하여 홍수 위험성을 예측하기 위한 방안이 연구되고 있다.

이러한 홍수 위험 예측 방안으로는 일반적으로 기상법, 수위법, 강우-유출법, 기상-강우-유출법 등이 있다. 그 중 수위법은 하천 상류의 수위 관측값 변화에 따라 하류의 유량 변화를 계산하는 일종의 경험공식을 이용하는 방법이다. 수위법은 그 일례로 수위계(수위계 센서도 포함)나 CCTV를 이용한 육안 관측을 통해 하천 범람을 모니터링하고 필요시 경보를 발령한다.

그러나, 수위계 센서의 경우 설치 및 관리 비용이 많이 소요되고 빈번한 고장으로 인해 오동작을 일으키는 단점이 있고, CCTV를 이용한 육안 관측은 관측을 위한 전담 인력이 요구되므로 모니터링하고자 하는 하천이 많아지는 경우 관련 비용 또한 비례적으로 증가하는 문제점이 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, CCTV로부터 획득된 하천 수위관련 영상 정보에 딥러닝 기반의 지능형 영상 분석법을 적용하여 하천 범람을 자동으로 실시간 탐지하고 하천범람 시 경보를 발생하는 지능형 하천범람 경보시스템 및 그 제어방법을 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 지능형 하천범람 경보시스템 제어 방법은 적어도 하나의 영상취득 장치로부터 하천 영상정보를 취득하는 단계, 취득된 상기 하천 영상정보로부터 분석대상 영상을 추출하는 단계, 추출된 상기 분석대상 영상에 기초하여 영상분석 엔진 학습을 수행하는 단계, 학습된 영상분석 엔진을 이용하여 상기 영상취득 장치로부터 취득되는 실시간 하천 영상정보를 분석하는 단계 및 상기 실시간 하천 영상정보 분석에 기초하여 하천 범람 여부를 판별하는 단계를 포함한다.

본 발명의 일 실시예에 따른 지능형 하천범람 경보시스템 제어 방법은 하천 감시영역에 대한 정보, 상기 영상취득 장치로부터의 하천 영상정보에 대한 분석 프레임율, 하천 영상 변화인지 탐지 민감도를 나타내는 탐지 임계치, 하천 범람의 경보 단계, 및 상기 영상분석 엔진의 생성을 위한 학습 계수 중 적어도 하나를 포함한다.

또한, 상기 분석대상 영상은 프레임의 전체 영역에 대한 영상인 전역영상 및 상기 프레임이 하나 이상의 감시영역으로 분할되어 생성되는 영상인 지역영상 중 적어도 하나를 포함한다.

또한, 영상 분석 엔진 학습을 수행하는 단계는 상기 프레임의 전역영상을 대상으로 영상 분석엔진 학습을 수행하는 단계 및 상기 프레임의 지역영상을 대상으로 영상 분석엔진 학습을 수행하는 단계를 포함한다.

또한, 상기 실시간 하천 영상정보를 분석하는 단계는 프레임 전역영상을 대상으로 하는 학습된 영상 분석엔진에 기초하여 상기 프레임의 전영영상 분석을 수행하는 전역영상 분석 단계 및 프레임 지역영상을 대상으로 하는 학습된 영상 분석엔진에 기초하여 상기 프레임의 지역영상 분석을 수행하는 지역영상 분석 단계를 포함한다.

본 발명의 일 실시예에 따른 지능형 하천범람 경보시스템 제어 방법은 상기 하천 범람 여부를 판별하는 단계에서 하천 범람으로 판단하면 하천 범람 경보를 발령하는 경보 단계를 더 포함한다.

본 발명의 일 실시예에 따른 지능형 하천범람 경보시스템은 시스템 동작환경 정보를 입력 받아 설정하는 시스템 동작환경 설정부, 상기 시스템 동작환경 설정부로부터의 상기 시스템 동작환경 정보에 기초하여 적어도 하나의 영상취득 장치로부터 하천 영상정보를 취득하는 영상정보 수집부, 상기 영상정보 수집부로부터 하천 영상정보를 전달받아 학습용 영상정보를 추출하여 영상분석 엔진 학습을 수행하는 영상분석 엔진학습부, 학습된 영상분석 엔진을 이용해서 상기 영상취득 장치로부터의 실시간 하천 영상정보 프레임을 분석하는 영상분석부, 상기 영상분석부의 상기 실시간 하천 영상정보 프레임 분석에 기초하여 하천 범람 여부를 판별하는 범람판단부 및 상기 범람판단부에서 하천 범람 판정시 하천 범람 경보를 발생하는 범람 경보발생부를 포함한다.

본 발명의 일 실시예에 따른 지능형 하천범람 경보시스템은 상기 시스템 동작환경 설정부, 영상정보 수집부, 영상분석 엔진학습부, 영상분석부, 범람판단부 및 범람 경보발생부를 제어하는 시스템 제어부를 더 포함한다.

또한, 상기 시스템 동작환경 정보는 하천 감시영역에 대한 정보, 상기 영상취득 장치로부터의 하천 영상정보에 대한 분석 프레임율, 하천 영상 변화인지 탐지 민감도를 나타내는 탐지 임계치, 하천 범람의 경보 단계, 및 상기 영상분석 엔진의 생성을 위한 학습 계수를 포함한다.

또한, 상기 영상정보 수집부는 상기 시스템 동작환경 정보에 기초하여 상기 취득한 하천 영상정보 프레임에서 분석대상 영상을 추출한다.

또한, 상기 영상분석 엔진학습부는 상기 추출된 분석 대상 영상 중 전역영상을 대상으로 학습하는 전역영상 분석 엔진학습부 및 상기 추출된 분석 대상 영상 중 프레임의 지역영상을 대상으로 학습하는 지역영상 분석 엔진학습부를 포함한다.

또한, 상기 전역영상 분석 엔진학습부는 상기 프레임의 전역영상 및 상기 시스템 동작환경 설정부로부터의 학습 레이블에 기초해서 전역영상 분석엔진 학습을 수행한다.

또한, 상기 지역영상 분석 엔진학습부는 상기 프레임의 지역영상 및 상기 시스템 동작환경 설정부로부터의 학습 레이블에 기초해서 지역영상 분석엔진 학습을 수행한다.

또한, 상기 영상분석부는 학습된 상기 전역영상 분석엔진으로써 프레임 전체에 대한 전역분석 결과값을 도출하는 전역영상 분석부 및 학습된 상기 지역영상 분석엔진으로써 상기 지역영상들에 대한 지역분석 결과값을 도출하는 지역영상 분석부를 포함한다.

또한, 상기 범람판단부는 전역분석 결과값과 지역분석 결과값을 융합하여 전체융합 분석 결과값을 도출하는 전역 및 지역 분석 결과 융합부를 포함한다.

또한, 상기 범람판단부는 상기 전역분석 결과값, 지역분석 결과값, 및 상기 시스템 동작환경 정보에 기초하여 하천 범람 여부를 판별한다.

본 발명의 일 실시예에 따른 하천범람 경보시스템에서의 하천범람 여부 판단 방법은 적어도 하나의 영상취득 장치로부터 하천 영상정보를 실시간으로 취득하는 단계, 학습된 영상분석 엔진을 이용하여 상기 하천 영상정보의 적어도 일부 프레임을 전역적 및 지역적으로 분할하여 분석하는 단계 및 소정의 관찰 구간 동안의 전역적 분석 결과와 지역적 분석 결과에 대한 전체 융합 분석 결과값 및 탐지 민감도를 나타내는 탐지 임계치에 기초하여 하천 범람 판단 단계마다 경보 발생값과의 비교를 통해 하나 이상의 하천 범람 여부 결과값을 도출한다.

본 발명의 일 실시예에 따른 하천범람 경보시스템에서의 하천범람 여부 판단 방법은 상기 하나 이상의 하천 범람 여부 결과값 중 가장 높은 단계를 최종 결과값을 정하는 단계를 더 포함한다.

본 발명에 의하면, CCTV로부터 획득된 하천 수위관련 영상 정보에 딥러닝 기반의 지능형 영상 분석법을 적용하여 다수의 하천에 대한 범람 여부를 자동으로 실시간 탐지하고 경보를 발령할 수 있어, 최소한의 관제 요원으로 다수의 하천에 대한 범람 감지 수행 및 필요시 경보 발령을 즉각적으로 수행할 수 있다.

도 1은 본 발명의 일 실시예에 따른 지능형 하천범람 경보시스템을 설명하는 구성도.
도 2는 본 발명의 다른 실시예에 따른 지능형 하천범람 경보시스템을 설명하는 구성도.
도 3a는 본 발명의 일 실시예에 따른 전역영상 분석엔진 학습부를 설명하는 개념도.
도 3b는 본 발명의 일 실시예에 따른 지역영상 분석엔진 학습부를 설명하는 개념도.
도 4a는 본 발명의 일 실시예에 따른 전역영상 분석을 설명하는 개념도.
도 4b는 본 발명의 일 실시예에 따른 지역영상 분석을 설명하는 개념도.
도 5는 본 발명의 일 실시예에 따른 지능형 하천범람 경보시스템에 대한 제어방법을 설명하는 절차도.
도 6은 본 발명의 다른 실시예에 따른 지능형 하천범람 경보시스템에서의 영상 학습을 설명하는 개념도.
도 7은 본 발명의 다른 실시예에 따른 지능형 하천범람 경보시스템에서의 영상 분석을 설명하는 개념도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 몇몇 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 권리범위는 실시예들로부터 관념되는 본 발명의 기술적 사상에 속하는 모든 변경, 변형, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에만, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 제시되는 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

기술적이거나 과학적인 용어를 포함해서 본 명세서에서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있으며, 이상적이거나 과도하게 축소된 형식적인 의미로 해석되지 않아야 할 것이며, 본 명세서에서 어떤 용어의 의미를 정의할 경우 해 용어는 그 정의된 대로 해석되어야 한다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 지능형 하천범람 경보시스템을 설명하는 구성도이다.

도 1의 본 발명의 일 실시예에 따른 지능형 하천범람 경보시스템(100)은 지능형 하천범람 경보시스템의 동작환경 정보를 입력 받아 설정하는 시스템 동작환경 설정부(110), 영상정보 수집부(120), 영상분석엔진 학습부(130), 영상분석부(170), 범람판단부(160), 범람경보 발생부(150), 시스템 제어부(140) 및 하나 이상의 영상취득장치(180)를 포함한다.

시스템 동작환경 설정부(110)는 하천 범람 여부를 탐지하기 위한 영상취득 장치(180)가 촬영하는 감시 영역(영역 전체 또는 특정 영역)에 대해 시스템 운영자(사용자 포함)로부터 입력받고 설정한다. 또한 영상취득 장치(180)로부터 전달되는 하천 영상정보의 분석 간격(Frame/Sec), 하천 범람의 탐지 민감도(하천 영상 변화인지 탐지 민감도)를 나타내는 탐지 임계치(threshold)에 대해 시스템 운영자로부터 입력받아 설정한다. 영상취득 장치(180)는 하나 이상의 CCTV와 같은 영상취득 장치를 포함한다.

시스템 동작환경 설정부(110)은 감시환경 설정값 입력부(210)와 감시환경 설정부(220)를 포함하도록 구현될 수 있다. 감시환경 설정값 입력부(210)는 시스템 운영자로부터 시스템 동작환경 정보를 입력받고, 감시환경 설정부(220)에서 그 입력받은 시스템 동작환경 정보를 관리할 수 있다.

이외에도 시스템 동작환경 설정부(110)는 범람 탐지를 위한 경보 단계에 대해서도 시스템 운영자로부터 입력받고 설정한다. 범람 탐지를 위한 경보 단계는 3단계(보통, 주의, 경고), 4단계(안전, 주의, 경계, 위험), 5단계(정상, 주의, 경계, 범람전, 범람) 등과 같이 설정할 수 있으며 이와 다른 단계를 설정할 수 있다. 또한 시스템 동작환경 설정부(110)는 영상분석 엔진을 생성하는데 사용되는 학습 계수 및 하천 범람 판단에 사용되는 경보 발생 기준값 등을 시스템 운영자로부터 입력받고 설정한다.

시스템 동작환경 설정부(110)에서 설정된 시스템 동작환경 정보는 후술할 시스템 제어부(140)에 의해 지능형 하천범람 경보 시스템(100)내에 동작환경 정보가 필요한 각 모듈에 전달되고, 전달받은 각 모듈은 그에 기초하거나 참조하여 동작한다.

영상정보 수집부(120)는 시스템 동작환경 설정부(110)로부터 전달되는 시스템 동작환경 정보에 기초하여 하나 이상의 영상취득 장치(180)로부터 하천 영상정보 프레임(예컨대, 하천 주변의 CCTV 영상 등)를 취득한다. 영상정보 수집부(120)는 취득한 영상정보 프레임으로부터 하천 범람를 탐지할 수 있는 정보를 추출한다.

영상정보 수집부(120)는 도 2에 도시된 바와 같이 영상정보 수집부(230)와 분석대상 정보 추출부(240)를 포함하도록 구현될 수 있다. 영상정보 수집부(230)는 영상취득 장치(180)로부터 지속적으로 제공되는 하천 영상정보 프레임을 영상취득 장치로부터 전달받아 저장하고, 분석대상 정보 추출부(240)는 저장된 하천 영상정보와 시스템 운영자에 의해 설정된 감시 영역 및 분석 간격 정보 등에 기초해 분석대상 영상을 추출한다.

분석대상 정보 추출부(240)는 취득한 하천 영상정보 프레임을 대상으로 시스템 동작환경 정보에서 설정된 영상 범위별로 분석대상 영상을 추출한다. 예컨대, 영상취득 장치(180)가 촬영하는 하천 영상정보 프레임에 포함된 프레임의 전체영역에 대한 영상(전역영상)과 프레임의 전체영역을 일정 기준에 따라 나눈 분할된 영역에 대한 영상(지역영상)별로 분석대상 영상을 추출할 수 있다. 지역영상에는 하천 범람 여부를 탐지할 수 있는 영역에 해당하는 감시영역에 대한 지역영상과 그 외의 지역영상으로 나뉘어질 수 있다.

분석대상 정보 추출부(240)에 의해 추출된 분석대상 영상(전역영상 및/또는 지역영상)은 하천범람 판단 학습을 위해 후술할 시스템 제어부(140)에 의해 영상분석 엔진학습부(130)로 전달된다. 영상분석 엔진학습부(130)는 도 2에 도시된 바와 가티 전체 프레임 기반 전역영상 분석엔진 학습부(이하 전역영상 분석엔진 학습부라 칭함)(250)와 감시영역 기반 지역영상 분석엔진 학습부(이하 지역영상 분석엔진 학습부라 칭함)(260)를 포함하도록 구현될 수 있다.

전역영상 분석엔진 학습부(250)는 프레임의 전역영상을 대상으로 분석엔진의 학습을 수행하고, 지역영상 분석엔진 학습부(260)는 감시영역으로 설정된 프레임의 지역영상을 대상으로 분석엔진의 학습을 수행한다.

본 발명의 일 실시예에 따른 영상분석 엔진학습부(130)의 전역영상 분석엔진 학습부(250)는 도 3a에 도시된 딥러닝 기법을 이용해 전역영상 분석엔진의 학습을 수행한다. 본 발명의 일 실시예에 따른 영상분석 엔진학습부(130)의 지역영상 분석엔진 학습부(260)는 도 3b에 도시된 딥러닝 기법을 이용해 지역영상 분석엔진의 학습을 수행한다.

본 발명의 일 실시예에 따른 지능형 하천범람 경보 시스템(100)은 영상분석 엔진학습부(130)에 의해 학습된 영상분석 엔진(학습된 전역영상 분석엔진 및 학습된 지역영상 분석엔진임)을 이용해서 영상취득 장치(180)로부터 전달받은 실시간 하천 영상정보 프레임을 분석하는 영상 분석부(170)를 포함한다.

영상 분석부(170)는 도 2에 도시된 바와 같이 전체 프레임 기반 전역영상 분석부(이하 전역영상 분석부라 칭함)(270)와 감시 영역 기반 지역영상 분석부(이하 지역영상 분석부라 칭함)(280)를 포함하도록 구현될 수 있다.

전역영상 분석부(270)는 전역영상과 전역영상 분석엔진 학습부(250)에 의해 학습된 전역영상 분석엔진을 사용해서 프레임 전체 영상(전역영상)에 대한 전역분석 결과값을 계산하고, 지역영상 분석부(280)는 프레임의 감시영역에 해당되는 영상(지역영상)과 지역영상 분석엔진 학습부(260)에 의해 학습된 지역영상 분석엔진을 사용해서 감시 영역들에 대한 지역분석 결과값을 계산한다

본 발명의 일 실시예에 따른 영상 분석부(170)의 전역영상 분석부(270)는 도 4a에 도시된 딥러닝 기법을 이용해 전역영상을 분석하고 전역분석 결과값(G_Result)을 도출한다. 본 발명의 일 실시예에 따른 영상 분석부(170)의 지역영상 분석부(280)는 도 4b에 도시된 딥러닝 기법을 이용해 하나 이상의 지역영상을 분석하고 하나 이상의 지역분석 결과값(L_Result)을 도출한다.

본 발명의 일 실시예에 따른 지능형 하천범람 경보시스템(100)은 영상 분석부(170)의 실시간 하천 영상정보 프레임 분석에 기초하여 하천 범람 여부를 판별하는 범람판단부(160)를 포함한다. 범람판단부(160)는 시스템 운영자에 의해 설정된 시스템 동작환경정보에 기초하여 영상분석부(170)로부터 전달받은 전역분석 결과값과 지역분석 결과값을 융합하여 전체 융합 분석 결과값을 도출하고 이에 기초하여 하천 범람 여부를 판단한다.

일례로 범람판단부(160)는 n개의 프레임의 전체 융합 분석 결과값과 시스템 운영자에 의해 설정된 시스템 동작환경 정보(탐지 임계치, 경보 발생 조건, 경보 발생 단계 정보 등)에 기초하여 하천 범람 여부를 판단한다. 범람판단부(160)에서의 n개 프레임의 전역분석 결과값과 지역분석 결과값의 융합에 기초한 하천 범람 여부의 구체적인 판단 절차에 대해서는 후술한다.

본 발명의 일 실시예에 따른 지능형 하천범람 경보시스템(100)은 범람판단부(160)에서 n개 프레임의 전역분석 결과값과 지역분석 결과값의 융합에 기초해서 하천 범람 판정시 후술할 시스템 제어부(140)의 제어에 의해 하천 범람 경보를 발생하는 범람 경보발생부(150)를 포함한다.

범람 경보발생부(150)는 범람판단부(160)에서 하천 범람 판정시 시스템 제어부(140)의 제어에 기초하여 경보 발령을 수행한다. 경보는 시스템 동작환경 정보에 기초하여 표출될 수 있다. 일례로 GUI 형태로 표출될 수 있고, 경고음의 형태로 표출될 수 있다. 또한 유무선 통신 등을 통해 운영자 및 하천 주변 주민 등에게 경고 문자 및 방송의 형태로 표출될 수 있다. 한편 범람판단부(160) 및 범람 경보발생부(150)는 하나의 모듈로 구현될 수 있고 범람판단부(160)에서 하천 범람 판단과 경보 발생도 같이 수행하도록 구현될 수 있다.

시스템 제어부(140)는 시스템 동작환경 설정부(110)로부터 설정된 시스템 동작 환경정보를 전달받아 그에 기초하여 지능형 하천범람 경보시스템(100)의 각 모듈을 제어하고 각 모듈 간의 정보 교환과 모듈 상태에 대한 확인을 수행한다. 다음으로 본 발명의 일 실시예에 따른 지능형 하천범람 경보시스템을 제어하여 하천범람 여부에 대한 판단 및 경보를 발생하는 방법에 대해 설명한다.

도 5는 본 발명의 다른 실시예에 따른 지능형 하천범람 경보시스템에 대한 제어방법을 설명하는 절차도이다.

도 5의 본 발명의 일 실시예에 따른 지능형 하천범람 경보시스템(100)에 대한 제어방법은 도 1의 본 발명의 일 실시예에 따른 지능형 하천범람 경보시스템(100)을 제어하여 하천범람 판단 및 경보 발생을 제어하는 방법에 대한 것이다.

먼저 시스템 동작환경 설정부(110)가 시스템 동작환경 정보를 시스템 운영자로부터 입력받고 그 입력 받은 시스템 동작환경 정보를 확인한다(이를 시스템 동작 환경정보 설정이라 칭함)(S510). 시스템 동작환경 설정부(110)는 도 6에 도시된 바와 같이 감시환경 설정값 입력부(210)를 통해 시스템 동작환경 정보를 입력받고 감시환경 설정부(220)에서 그를 확인할 수 있다.

설정된 시스템 동작환경 정보는 시스템 제어부(140)에 의해 영상정보 수집부(120), 영상분석 엔진 학습부(130), 영상 분석부(170), 범람 판단부(160) 및 범람경보 발생부(150) 중 그와 관련된 각 모듈로 전달되어 해당 모듈의 동작에 관한 제어정보로서 활용된다. 전술한 바와 같이 시스템 동작환경 정보는 영상취득 장치(180)가 촬영하는 감시 영역(영역 전체 또는 특정 영역)에 대한 정보, 취득된 하천 영상정보의 분석 간격(Frame/Sec), 하천 범람의 탐지 민감도(하천 영상 변화인지 탐지 민감도)를 나타내는 탐지 임계치, 범람 탐지를 위한 경보 단계, 영상분석 엔진을 생성하는데 사용되는 학습 계수 및 하천 범람 판단에 사용되는 경보 발생 기준값 등을 포함한다.

영상정보 수집부(120)는 설정된 시스템 동작환경 정보에 기초해서 영상취득 장치(180)로부터 학습용 영상정보를 수집하고(S520) 그로부터 학습 대상 영상정보를 추출한다(S530)(학습용 영상은 다른 영상취득 장치(180)로부터 사전에 취득한 영상도 가능함). 영상정보 수집부(120)는 도 6에 도시된 바와 같이 영상정부 수집부(230) 및 분석대상 정보 추출부(240)를 통해 영상 수집 동작 및 분석대상 정보 추출 동작을 각각 수행할 수 있다.

영상분석 엔진학습부(130)는 영상정보 수집부(120)로부터 전달받은 학습 대상 영상정보 및 시스템 동작환경 정보에 기초하여 영상분석 엔진학습을 수행한다(S540). 영상분석 엔진학습 수행은 프레임의 전체영역 영상 및 학습 레이블에 기초하는 전역영상 분석엔진 학습 수행과 프레임의 감시 영역에 해당되는 지역영상 정보 및 학습 레이블에 기초하는 지역영상 분석엔진 학습 수행을 포함한다.

영상분석 엔진학습부(130)는 도 6에 도시된 바와 같이 전역영상 분석엔진 학습부(250) 및 지역영상 분석엔진 학습부(260)에서 전역영상 분석엔진 학습과 지역영상 분석엔진 학습을 각각 수행한다. 전역영상 분석엔진 학습과 지역영상 분석엔진 학습은 도 3a 및 도 3b에 도시된 딥러닝 기법을 이용할 수 있다.

이와 같은 절차로 학습된 영상분석 엔진(학습된 전역영상 분석엔진 및 학습된 지역영상 분석엔진)를 이용해서 영상 분석부(170)에서는 영상취득 장치(180)로부터 취득되는 실시간 하천 영상정보 프레임을 분석하여 하천 범람 여부 판단을 수행한다. 구체적으로는, 영상 분석부(170)는 영상취득 장치(180)로부터 취득되는 실시간 영상 정보를 전달받아 수집하고(S550) 그로부터 분석대상 영상정보를 추출한다(S560). 추출되는 분석대상 영상정보는 전역영상 정보 및 지역영상 정보를 포함한다.

영상 분석부(170)는 전달 받은 분석대상 영상정보에 기초하여 전역 및 지역 분석결과를 도출한다(S570). 예컨대, 도 6에 도시된 바와 같이 영상 분석부(170)의 전역영상 분석부(270)는 전역영상 및 전역영상 분석엔진 학습부(250)에서 제공된 전역영상 분석엔진을 사용해서 전체 프레임에 대한 전역분석 결과값(G_Result)을 도출한다.

또한 도 6에 도시된 바와 같이 영상 분석부(170)의 지역영상 분석부(280)는 지역영상과 지역영상 분석엔진 학습부(260)에서 제공된 지역영상 분석엔진을 사용해서 감시 영역들에 대한 지역분석 결과값(L_Result)을 계산 및 도출한다

도출된 전역분석 결과값 및 지역분석 결과값은 범람 판단부(160)로 전달되고 범람 판단부(160)는 시스템 운영자에 의해 설정된 시스템 동작환경 정보에 기초해 영상분석부(170)로부터 전달받은 전역분석 결과값과 지역분석 결과값을 융합하여 결과값(전체융합 분석 결과값이라 칭함)을 도출하고 이에 기초하여 하천 범람 여부를 판단하고, 하천 범람 판단 시 하천 범람 경보 발령을 수행한다(S580).

일례로 도 7에 도시된 바와 같이 전역 및 지역 분석 결과 융합부(290)에서 전역분석 결과값과 지역분석 결과값을 융합하고 이에 기초하여 하천 범람 여부를 판단할 수 있고, 전술한 바와 같이 다양한 형태(GUI, 경보음, 문자 발송 등)로 경보 발령을 수행한다. 다음으로 본 발명의 일 실시예에 따른 하천범람 경보 시스템에서의 영상 분석 및 범람 판단 과정에 대해 좀 더 구체적으로 설명한다.

본 발명의 일 실시예에 따른 하천범람 경보시스템에서의 영상 분석 도출 방법은 수학식 1에 나타내어진 바와 같다. i번째 프레임(

)의 전역분석 결과값(

)과 i번째 프레임(

)의 j번째 감시 영역(

)의 지역분석 결과값(

) 및 그 각각의 분석 결과값에 대한 융합 가중치를 이용해 수학식 1과 같이 i번째 프레임(

)의 융합된 전체 분석 결과인 전체융합 분석 결과값 (

)을 구할 수 있다.

여기서

는

의 전역분석 결과값에 대한 융합 가중치이고,

는

의 j번째 감시 영역의 지역분석 결과값에 대한 융합 가중치이다.

수학식 1을 이용하여 도출된 i번째 프레임의 전체 융합 분석 결과값(

)은 범람 경보 발생부(150)에 전달되고, 범람 경보 발생부(150)는 n개의 프레임으로부터의 전체 융합 분석 결과값과 사전에 시스템 운영자(사용자)에 의해 설정되는 것으로서 탐지 민감도를 나타내는 탐지 임계치, 경보 발생 조건, 경보 발생 단계 정보 등을 이용하여 하천 범람 판단 및 경보 발생 여부를 결정한다(시스템 제어부(140)에서 이와 같은 판단 및 결정을 하여 범람 경보 발생부(150)을 제어하는 방식으로도 구현될 수 있음).

본 발명의 일 실시예에 따른 하천범람 경보시스템에서 하천 범람 판단 방법은 본 발명의 일 실시예에 따른 하천 범람 판단 방법은 범람 탐지를 위한 관찰 구간이 t초일 때, 매초 m개의 영상 프레임을 추출한 후 구해진 n개(n = t x m)의 프레임에 기초하여 하천 범람 여부를 판단할 수 있다. 즉, n개의 프레임으로부터의 전체 융합 분석 결과값의 집합(FR={

, ... ,

}) 및 S개의 탐지 임계치 집합(Threshold={

, ... ,

})에 기초하여 하천범람 판단의 단계(k 단계)의 판단 조건 함수 집합(Condition={

, ... ,

})를 구한다. 이때, 하천범람 판단의 각 단계에서의 사전 설정된 경보 발생값(Alarm_Threshold)과의 비교를 통해 하천 범람 여부를 판단한다.

아래의 수학식 2에 나타내어진 바와 같이, 판단된 결과 중 가장 높은 단계를 최종 판단 결과(Result)로 정한다. 만약 최종 판단 결과가 0인 경우 가장 안전한 상태로 간주하다.

일례로, 범람 탐지 관찰 구간(t)이 10초이고, 매 초 5개(m=5)의 영상 프레임을 추출하는 경우 영상 분석 갯수 n은 50(n=10x5)이다. 그러므로 50개의 프레임에 대한 전체 융합 분석 결과값의 집합(FR = {

,...,

})이 고려된다. 하천 영상 변화인지 탐지 민감도를 나타내는 탐지 임계치는 4개(S=4)를 갖는 걸로 가정하면, 탐계 임계치 집합 Threshod = {

,...,

} = {민감도1, 민감도2, 민감도3, 민감도4}이다(이때, 민감도1>민감도2>민감도3>민감도 4로 가정함).

또한, 판단 조건 함수 집합(Condition={

,...,

})에서는 사전 설정된 경보 발생값(Alarm_Threshold)를 가지고 범람위험을 k단계로 판단한다. k=5인 경우 정상, 주의, 경계, 범람전, 범람과 같은 5단계로 설정하여 판단 조건 함수 집합에서의 하천 범람 여부 판단이 수행될 수 있다. 경보 발생값(Alarm_Threshold)은 각 하천 범람위험 판단 단계에 대한 판단 조건에 대한 임계치로서 각 범람위험 판단 단계에 대한 민감도를 나타낸다.

예를 들면, 하천 범람위험 판단 5단계 중 주의 단계의 경우 그 조건의 판단 조건 함수 결과값이 0.6(주의 단계에서의 경보 발생값)이상인 경우 주의 단계로 판단하고, 하천 범람위험 판단 5단계 중 경계 단계의 경우는 그 조건의 판단 조건 함수 결과값이 0.7(경계 단계에서의 경보 발생값) 이상 일때 경계 단계로 판단 등과 같이 설정할 수 있다.

이와 같은 절차로 구해지는 최종적인 하천 범람 여부 결과값(Result)은 사전 설정된 위험도(하천 범람위험 판단 단계)에 대한 인덱스 값으로서, 일례로 전술한 바와 같이 5단계(k=5)로 하천 범람 여부를 판단하는 경우 가능한 결과값(Result)의 집합은 {Result=0 (정상), Result=1 (주의), Result=2 (경계), Result=3 (범람전), Result=4 (범람})로서 최종 판단 결과(Result)는 각 판단 조건 함수로써 도출된 값 중에서 가장 높은 값을 최종 결과로서 도출한다.

한편, 전술한 각 구성은 각각이 별도의 장치로 설명되었으나, 이는 설명의 편의와 이해의 증진을 위한 예시적 설명에 불과한 것으로서, 본 발명의 기술적 사상의 범주 내에서 다양한 형태로 구현될 수 있음은 물론이다. 예컨대, 범람 판단부(160) 및 범람경보 발생부(150)는 하나의 모듈로 통합되어 구현될 수도 있고, 둘이나 그 이상의 장치로 분할하여 구현될 수 있다.

본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수 있다.

컴퓨터 판독 가능 매체의 예에는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

컴퓨터 판독 가능 매체에 기록된 본 발명에 따른 실시예들은 컴퓨터 시스템에 적용될 수 있다. 상기 컴퓨터 시스템은 하나 이상의 프로세서, 메모리, 사용자 력 장치, 사용자 출력 장치 및 저장수단을 포함하며, 이들 각각은 버스를 통해 통신한다. 또한 상기 컴퓨터 시스템은 네트워크에 연결된 네트워크 인터페이스를 포함할 수 있다. 상기 프로세서는 메모리 및/또는 저장 유닛에 저장된 처리 명령어를 실행하는 중앙 처리 유닛 또는 반도체 장치일 수 있다. 상기 메모리 및 상기 저장 유닛은 휘발성 저장 매체 또는 비 휘발성 저장 매체를 포함할 수 있다. 예컨대, 상기 메모리는 ROM 및 RAM을 포함할 수 있다. 따라서, 본 발명의 실시예들은 컴퓨터로 구현하는 방법 또는 상기 컴퓨터상에 저장된 컴퓨터 실행 가능 명령어를 가진 비(non)-일시적 컴퓨터 판독 가능 매체로서 구현 될 수 있다. 본 발명의 일 실시예에서, 프로세서에 의해 실행될 때, 컴퓨터 판독 가능 명령은 본 발명의 적어도 한 양태에 따른 방법을 수행 할 수 있다.

이상, 본 발명의 바람직한 실시예를 통해 본 발명의 구성에 대하여 상세히 설명하였다. 그러나 전술한 실시예는 예시에 불과한 것으로서, 본 발명의 권리범위를 제한하지 아니한다. 본 발명의 기술분야에 통상의 지식을 가진 자라면 본 명세서의 교시와 시사로부터 본 발명의 기술적 사상의 범주내의 다양한 변형과 변경이 가능할 것이다. 따라서, 본 발명의 보호범위는 이하의 특허청구범위의 기재에 의하여 정하여짐이 마땅하다.

Claims

적어도 하나의 영상취득 장치로부터 하천 영상정보를 취득하는 단계;
취득된 상기 하천 영상정보로부터 분석대상 영상을 추출하는 단계;
추출된 상기 분석대상 영상에 기초하여 영상분석 엔진 학습을 수행하는 단계;
학습된 영상분석 엔진을 이용하여 상기 영상취득 장치로부터 취득되는 실시간 하천 영상정보를 분석하는 단계; 및
상기 실시간 하천 영상정보 분석에 기초하여 하천 범람 여부를 판별하는 단계를 포함하는 지능형 하천범람 경보 시스템 제어 방법.
제1항에 있어서,
하천 감시영역에 대한 정보, 상기 영상취득 장치로부터의 하천 영상정보에 대한 분석 프레임율, 하천 영상 변화인지 탐지 민감도를 나타내는 탐지 임계치, 하천 범람의 경보 단계, 및 상기 영상분석 엔진의 생성을 위한 학습 계수 중 적어도 하나를 포함하는 시스템 동작 환경정보를 설정하는 단계를 더 포함하는, 지능형 하천범람 경보시스템 제어 방법.
제1항에 있어서,
상기 분석대상 영상은 프레임의 전체 영역에 대한 영상인 전역영상 및 상기 프레임 중 하나 이상의 감시영역에 해당하는 지역영상 중 적어도 하나를 포함하는, 지능형 하천범람 경보시스템 제어 방법.
제3항에 있어서,
영상 분석 엔진 학습을 수행하는 단계는 상기 프레임의 전역영상을 대상으로 영상 분석엔진 학습을 수행하는 단계; 및
상기 프레임의 지역영상을 대상으로 영상 분석엔진 학습을 수행하는 단계를 포함하는, 지능형 하천범람 경보 시스템 제어 방법.
제4항에 있어서,
상기 실시간 하천 영상정보를 분석하는 단계는
프레임 전역영상을 대상으로 하는 학습된 영상 분석엔진에 기초하여 상기 프레임의 전역영상 분석을 수행하는 전역영상 분석 단계; 및
프레임 지역영상을 대상으로 하는 학습된 영상 분석엔진에 기초하여 상기 프레임의 지역영상 분석을 수행하는 지역영상 분석 단계를 포함하는, 지능형 하천범람 경보 시스템 제어 방법.
제1항에 있어서,
상기 하천 범람 여부를 판별하는 단계에서 하천 범람으로 판단하면 하천 범람 경보를 발령하는 경보 단계를 더 포함하는 지능형 하천범람 경보 시스템 제어 방법.
시스템 동작환경 정보를 입력 받아 설정하는 시스템 동작환경 설정부;
상기 시스템 동작환경 설정부로부터의 상기 시스템 동작환경 정보에 기초하여 적어도 하나의 영상취득 장치로부터 하천 영상정보를 취득하는 영상정보 수집부;
상기 영상정보 수집부로부터 하천 영상정보를 전달받아 학습용 영상정보를 추출하여 영상분석 엔진 학습을 수행하는 영상분석 엔진학습부;
학습된 영상분석 엔진을 이용해서 상기 영상취득 장치로부터의 실시간 하천 영상정보 프레임을 분석하는 영상분석부;
상기 영상분석부의 상기 실시간 하천 영상정보 프레임 분석에 기초하여 하천 범람 여부를 판별하는 범람판단부; 및
상기 범람판단부에서 하천 범람 판정시 하천 범람 경보를 발생하는 범람 경보발생부를 포함하는 지능형 하천범람 경보시스템.
제7항에 있어서,
상기 시스템 동작환경 설정부, 영상정보 수집부, 영상분석 엔진학습부, 영상분석부, 범람판단부 및 범람 경보발생부를 제어하는 시스템 제어부를 더 포함하는 지능형 하천범람 경보시스템.
제7항에 있어서,
상기 시스템 동작환경 정보는 하천 감시영역에 대한 정보, 상기 영상취득 장치로부터의 하천 영상정보에 대한 분석 프레임율, 하천 영상 변화인지 탐지 민감도를 나타내는 탐지 임계치, 하천 범람의 경보 단계, 및 상기 영상분석 엔진의 생성을 위한 학습 계수를 포함하는, 지능형 하천범람 경보시스템.
제9항에 있어서,
상기 영상정보 수집부는 상기 시스템 동작환경정보에 기초하여 상기 취득한 하천 영상정보 프레임에서 분석대상 영상을 추출하는, 지능형 하천범람 경보시스템.
제10항에 있어서,
상기 영상분석 엔진학습부는 상기 추출된 분석 대상 영상 프레임 중 프레임의 전역영상을 대상으로 학습하는 전역영상 분석 엔진학습부; 및
상기 추출된 분석 대상 영상 프레임 내 감시영역인 지역영상을 대상으로 학습하는 지역영상 분석 엔진학습부를 포함하는, 지능형 하천범람 경보 시스템.
제11항에 있어서,
상기 전역영상 분석 엔진학습부는 상기 프레임의 전역영상 및 상기 시스템 동작환경 설정부로부터의 학습 레이블에 기초해서 전역영상 분석엔진 학습을 수행하는, 지능형 하천범람 경보 시스템.
제11항에 있어서,
상기 지역영상 분석 엔진학습부는 상기 프레임의 지역영상 및 상기 시스템 동작환경 설정부로부터의 학습 레이블에 기초해서 지역영상 분석엔진 학습을 수행하는, 지능형 하천범람 경보 시스템.
제12항에 있어서,
상기 영상분석부는 학습된 상기 전역영상 분석엔진으로써 프레임 전체에 대한 전역분석 결과값을 도출하는 전역영상 분석부 및 학습된 상기 지역영상 분석엔진으로써 상기 지역영상들에 대한 지역분석 결과값을 도출하는 지역영상 분석부를 포함하는, 지능형 하천범람 경보 시스템.
제7항에 있어서,
상기 범람판단부는 전역분석 결과값과 지역분석 결과값을 융합하여 전체융합 분석 결과값을 도출하는 전역 및 지역 분석 결과 융합부를 포함하는, 지능형 하천범람 경보 시스템.
제15항에 있어서,
상기 범람판단부는 상기 전역분석 결과값, 지역분석 결과값, 및 상기 시스템 동작환경 정보에 기초하여 하천 범람 여부를 판별하는, 지능형 하천범람 경보 시스템.
적어도 하나의 영상취득 장치로부터 하천 영상정보를 실시간으로 취득하는 단계;
학습된 영상분석 엔진을 이용하여 상기 하천 영상정보의 적어도 일부 프레임을 전역적 및 지역적으로 분할하여 분석하는 단계; 및
소정의 관찰 구간 동안의 전역적 분석 결과와 지역적 분석 결과에 대한 전체 융합 분석 결과값 및 탐지 민감도를 나타내는 탐지 임계치에 기초하여 하천 범람 판단 단계마다 경보 발생값과의 비교를 통해 하나 이상의 하천 범람 여부 결과값을 도출하는, 하천범람 여부 판단 방법.
제17항에 있어서,
상기 하나 이상의 하천 범람 여부 결과값 중 가장 높은 단계를 최종 결과값을 정하는 단계를 더 포함하는 하천범람 여부 판단 방법.