KR102366544B1 - 딥러닝을 활용한 영상 기반의 강수 정보 제공 시스템 및 방법 - Google Patents

딥러닝을 활용한 영상 기반의 강수 정보 제공 시스템 및 방법 Download PDF

Info

Publication number
KR102366544B1
KR102366544B1 KR1020190166731A KR20190166731A KR102366544B1 KR 102366544 B1 KR102366544 B1 KR 102366544B1 KR 1020190166731 A KR1020190166731 A KR 1020190166731A KR 20190166731 A KR20190166731 A KR 20190166731A KR 102366544 B1 KR102366544 B1 KR 102366544B1
Authority
KR
South Korea
Prior art keywords
precipitation
image
information
collected
unit
Prior art date
Application number
KR1020190166731A
Other languages
English (en)
Other versions
KR20210075533A (ko
Inventor
장봉주
Original Assignee
한국건설기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국건설기술연구원 filed Critical 한국건설기술연구원
Priority to KR1020190166731A priority Critical patent/KR102366544B1/ko
Publication of KR20210075533A publication Critical patent/KR20210075533A/ko
Application granted granted Critical
Publication of KR102366544B1 publication Critical patent/KR102366544B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01WMETEOROLOGY
    • G01W1/00Meteorology
    • G01W1/10Devices for predicting weather conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01WMETEOROLOGY
    • G01W1/00Meteorology
    • G01W2001/006Main server receiving weather information from several sub-stations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01WMETEOROLOGY
    • G01W2201/00Weather detection, monitoring or forecasting for establishing the amount of global warming

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Environmental Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Strategic Management (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

딥러닝을 활용한 영상 기반의 강수 정보 제공 시스템 및 방법이 제공된다. 강수 정보가 포함된 사용자의 영상 데이터를 수집하여 처리한 후 딥러닝을 통해 영상 데이터에 포함된 강수 이미지를 학습하여 영상 데이터의 강수 정보를 추정하고, 이러한 추정 값을 사용자에게 제공하는 서비스를 제공하여 강수 관측 효율성을 극대화하고 자연재해 및 재난 대응에 도움이 되도록 한다.

Description

딥러닝을 활용한 영상 기반의 강수 정보 제공 시스템 및 방법{ Vision-based Rainfall Information System and Methodology Using Deep Learning }
본 발명은 딥러닝을 활용한 영상 기반의 강수 정보 제공 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 촬영모듈을 통해 촬영된 영상 이미지 내에서 빗방울이 만드는 파문이나, 빗방울 흔적 등의 정보 및 SNS를 활용하여 강수 정보를 딥러닝하고, 이를 통해 강우 강도, 강우량 등 강수 정보를 서비스하는 시스템 및 방법에 관한 것이다.
일반적으로 강수 관측 기술은 우량계 등의 별도 장비를 통해 빗물의 질량, 부피 등의 강수 정보를 수집과 측정하는 것에 의존하고 있다.
다만 이러한 관측 기술은 바람 등의 기상상황 및 주변의 지형지물에 따라 설치에 제약이 따르며, 즉각적인 관측이 어렵다는 문제가 있다. 또한 시공간적 해상도가 낮으며, 관측 지역 또는 장비의 정밀도에 따라 관측 오차가 크다는 문제점이 있다.
이에 따라 간접적인 강수 관측 기술로 레이더, PARSIVAL, 2DVD 등이 사용되며, 레이더는 넓은 면적에 대한 시공간적 강수 특성을 분석하는데 용이하다는 장점이 있으나, 설치에 매우 큰 비용이 소요되며 운영이나 관리, 자료 처리 등에 있어서 큰 어려움이 있다.
또한 PARSIVEL, 2DVD는 광학 센서를 이용해 빗방울을 직접 측정하는 기술로 상당히 높은 정확성을 가지지만, 이 역시 설치 조건에 제약이 따르며, 우량계에 비하여 월등히 비싸므로 공간적 해상도에 대해 우량계보다 더 큰 한계가 있다.
따라서 돌발적인 홍수, 국지성 호우 등의 감시 및 적절한 대처를 위해 저렴한 비용으로 강수 관측의 공간적 밀도를 높이는 기술이 요구된다.
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 기상청, 환경부 등의 공간 강수 분포 계산에 부가 정보로 활용하여 기상 관측의 정확도를 향상시키고, 자율주행 차량 카메라 및 적용 가능한 여타 카메라 장비들로부터 추가적인 장비 설치 없이 강수 관측을 가능하게 하며, 시민들의 SNS 활동 및 자발적인 참여를 통해 시공간적 초고해상도 강수 관측망을 구축할 수 있고, 이를 통해 돌발 홍수, 국지성 폭우 등의 정확한 관측 및 예측이 가능하므로 궁극적으로 기상 재난을 예방하는 데 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시예에 따르면, 딥러닝을 활용한 영상 기반의 강수 정보 제공 시스템은 사용자가 촬영 등의 방법을 통해 생성한 영상을 취득하여 강수 분석 서버로 전송하는 자료수집부; 상기 전송된 데이터를 기초로 딥러닝(Deep Learning)을 활용하여 강수 강도 및 강수량 등을 포함하는 강수 정보가 포함된 분석 결과 데이터를 서비스 플랫폼에 전송하는 강수 분석 서버; 및 상기 분석 결과 데이터에 관한 서비스를 제공하는 서비스 플랫폼;을 포함한다.
상기 자료수집부는, 사용자가 강수 정보가 포함된 일상적인 영상을 생성하는 촬영모듈; 및 상기 촬영모듈로부터 수집된 영상을 기초로 강수 유무를 판별하여 강수가 있다고 판단된 경우에는 수집된 영상을 강수량 분석 서버로 전송하는 판별부;를 포함한다.
상기 촬영모듈은, 사용자의 스마트 단말에 내장된 카메라, 디지털 카메라, CCTV, 블랙박스, 자율주행차량의 인식부 등 일정 영역을 상시적으로 촬영하여 영상 이미지를 생성하는 야외촬영모듈 중 어느 하나이다.
상기 판별부는, 상기 수집된 영상이 촬영모듈 또는 촬영모듈을 포함한 사용자 단말기에서 직접 수집된 경우에는, 상기 수집된 영상에서 주기적으로 파문, 유리창에 맺힌 빗방울 등을 검출하여 강수 유무를 판별한다.
상기 판별부는, 상기 수집된 영상이 촬영모듈을 포함한 사용자 단말기에서 사용자가 SNS 플랫폼에 업로드되어 해당 SNS 플랫폼을 통해 수집된 경우에는, 해당 게시글에 포함된 해시태그, 댓글 분석 및 상기 수집된 영상에서 파문, 유리창에 맺힌 빗방울 등을 검출하여 강수 유무를 판별한다.
상기 강수 분석 서버는, 상기 전송된 데이터에 대하여 강수 정보가 포함된 강수 이미지를 검출하여 딥러닝을 통해 강수정보를 추정하는 제어부; 및 상기 검출된 강수 이미지를 학습용 데이터로 하여 저장하는 메모리;를 포함한다.
상기 제어부는, 상기 전송된 데이터를 하나 이상 입력 받으면, 이러한 입력된 영상으로부터 강수 정보를 포함하는 강수 이미지를 추출하는 이미지추출부; 추출된 강수 이미지를 딥러닝의 학습용 데이터로 입력하여 강수 정도에 따른 인공신경망 모델을 생성하는 모델링부; 상기 인공신경망 모델에 기초하여 상기 전송된 데이터의 강수량을 추정하는 추정부(213); 및 강수량 추정의 분석 결과 데이터를 서비스 플랫폼에 전송하는 전송부;를 포함한다.
상기 서비스 플랫폼은, 상기 자료수집부가 SNS 플랫폼을 통해 영상이 수집된 경우는 SNS플랫폼 상에서 분석 결과 데이터를 함께 태그(Tag)하고, 일반 촬영 어플리케이션을 통해 영상이 수집된 경우는 영상에 분석 결과 데이터를 겹치게 포함하고, CCTV 또는 블랙박스 등 차량 내부 카메라를 통해 영상이 수집된 경우는 위험 정보, 재난 정보와 함께 분석 결과 데이터를 제공하는 서비스를 사용자에게 제공한다.
상기 서비스 플랫폼은, 상기 강수 분석 서버에서 추출된 강수 이미지에 포함된 지오테그 정보와 함께 분석 결과 데이터를 기상 관련 서비스 공급자에게 제공한다.
한편, 본 발명의 다른 실시예에 따르면, 딥러닝을 활용한 영상 기반의 강수 정보 제공 방법은 자료수집부는 사용자가 촬영 등의 방법을 통해 생성한 영상을 취득하여 강수 분석 서버로 전송하는 자료수집 단계; 강수량 분석 서버는 상기 전송된 데이터를 기초로 딥러닝(Deep Learning)을 활용하여 강수 강도 및 강수량 등을 포함하는 강수 정보가 포함된 분석 결과 데이터를 서비스 플랫폼에 전송하는 강수 분석 단계; 및 서비스 플랫폼은 상기 분석 결과 데이터에 관한 서비스를 제공하는 단계;를 포함한다.
상기 자료수집 단계는, 사용자가 촬영모듈을 이용하여 강수 정보가 포함된 일상적인 영상을 촬영하는 단계; 및 상기 촬영모듈로부터 수집된 영상을 기초로 강수 유무를 판별하여 강수가 있다고 판단된 경우에는 수집된 영상을 강수량 분석 서버로 전송하는 강수판별 단계;를 포함한다.
상기 촬영모듈은, 사용자의 스마트 단말에 내장된 카메라, 디지털 카메라, CCTV, 블랙박스, 자율주행차량의 인식부 등 일정 영역을 상시적으로 촬영하여 영상 이미지를 생성하는 야외촬영모듈 중 어느 하나이다.
상기 강수판별 단계는, 상기 수집된 영상이 촬영모듈 또는 촬영모듈을 포함한 사용자 단말기에서 직접 수집된 경우에는, 상기 수집된 영상에서 주기적으로 파문, 유리창에 맺힌 빗방울 등을 검출하여 강수 유무를 판별한다.
상기 강수판별 단계는, 상기 수집된 영상이 촬영모듈을 포함한 사용자 단말기에서 사용자가 SNS 플랫폼에 업로드되어 해당 SNS 플랫폼을 통해 수집된 경우에는, 해당 게시글에 포함된 해시태그, 댓글 분석 및 상기 수집된 영상에서 파문, 유리창에 맺힌 빗방울 등을 검출하여 강수 유무를 판별한다.
상기 강수 분석 단계는, 강수 분석 서버가 상기 전송된 데이터에 대하여 강수 이미지를 검출하여 상기 검출된 강수 이미지를 학습용 데이터로 하여 메모리에 저장하고 딥러닝을 통해 강수 정보를 추정한다.
상기 강수 분석 단계는, 이미지추출부는 상기 전송된 데이터를 하나 이상 입력 받으면, 이러한 입력된 영상으로부터 강수 정보를 포함하는 강수 이미지를 추출하는 단계; 모델링부는 추출된 강수 이미지를 딥러닝의 학습용 데이터로 입력하여 강수 정도에 따른 인공신경망 모델을 생성하는 단계; 추정부는 상기 인공신경망 모델에 기초하여 상기 전송된 데이터의 강수량을 추정하는 단계; 및 전송부는 강수량 추정의 분석 결과 데이터를 서비스 플랫폼에 전송하는 단계;를 포함한다.
상기 서비스 플랫폼은, 상기 자료수집부가 SNS 플랫폼을 통해 영상을 취득한 경우는 SNS플랫폼 상에서 분석 결과 데이터를 함께 태그(Tag)하고, 일반 촬영 어플리케이션을 통해 영상을 취득한 경우는 영상에 분석 결과 데이터를 겹치게 포함하고, CCTV 또는 블랙박스 등 차량 내부 카메라를 통해 영상을 취득한 경우는 위험 정보, 재난 정보와 함께 분석 결과 데이터를 제공하는 서비스를 사용자에게 제공한다.
상기 서비스 플랫폼은, 상기 강수 분석 서버에서 추출된 강수 이미지에 포함된 지오테그 정보와 함께 분석 결과 데이터를 기상 관련 서비스 공급자에게 제공한다.
본 발명에 따르면,
기상청, 환경부 등의 공간 강수 분포 계산에 부가 정보로 활용하여 기상 관측의 정확도를 향상시키고, 자율주행 차량 카메라 및 적용 가능한 여타 카메라 장비들로부터 추가적인 장비 설치 없이 강수 관측을 가능하게 하며, 시민들의 SNS 활동 및 자발적인 참여를 통해 시공간적 초고해상도 강수 관측망을 구축할 수 있고, 이를 통해 돌발 홍수, 국지성 폭우 등의 정확한 관측 및 예측이 가능하므로 궁극적으로 기상재난을 예방할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 의한 영상 기반의 강수 정보 제공 시스템을 도시한 구성도,
도 2는 본 발명의 실시예에 의한 영상 기반의 강수 정보 제공 방법을 도시한 순서도,
도 3은 파문에서 강수 추정하는 과정 실험 예시도,
도 4는 영상처리 알고리즘을 통한 파문 정보 추출 실험 예시도,
도 5는 본 발명의 실시로 기대되는 효과를 나타낸 예시도이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록, 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시 예들은 그것의 상보적인 실시 예들도 포함한다.
또한, 어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.
또한 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
또한, 본 명세서에 기재된 '…부', '…기', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, '일', '하나' 및 '그' 등의 관사는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
아래의 특정 실시 예들을 기술하는 데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용이 없어도 사용될 수 있다는 것을 인지할 수 있다.
어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.
이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.
본 발명은 별도의 관측용 장비를 구매할 필요 없이 기존에 누구나 가지고 있는 스마트폰 카메라 등의 촬영모듈을 이용하여 강수 환경을 촬영함으로써 해당 영상자료를 통해 강우강도 및 강우량 등의 강수정보를 추정하고 서비스하는 것이다.
도 1은 본 발명의 실시예에 의한 영상 기반의 강수 정보 제공 시스템을 도시한 구성도, 도 2는 본 발명의 실시예에 의한 영상 기반의 강수 정보 제공 방법을 도시한 순서도이다.
도 1을 참조하면, 본 발명의 실시예에 의한 영상 기반의 기상 정보 제공 시스템은 자료수집부(100), 강수 분석 서버(200), 서비스 플랫폼(300)을 포함할 수 있다. 또한 자료수집부(100)는 사용자가 야외 영상 등을 촬영하는 촬영모듈(110), 촬영모듈(110)로 촬영된 영상을 기초로 강수 유무를 1차적으로 판별하는 판별부(120)를 포함할 수 있다.
도 2를 참조하면 본 발명의 실시예에 의한 영상 기반의 기상 정보 제공 방법은 자료수집 단계(S100), 강수 분석 단계(S200), 서비스를 사용자에게 제공하는 단계(S300)를 포함할 수 있다.
자료수집 단계(S100)에서는 자료수집부(100)를 통해 사용자가 촬영모듈(110)을 통해 생성한 영상을 취득하여 강수량 분석서버로 전송한다. 구체적으로는 사용자가 촬영모듈(110)을 통해 영상을 촬영하는 단계(S110), 촬영모듈(110)로부터 수집된 영상을 기초로 강수 유무를 판별하여 강수가 있다고 판단된 경우에만 강수량 분석 서버로 전송하는 강수판별 단계(S120)를 포함할 수 있다.
촬영모듈(110)은 일반적으로 누구나 가지고 있는 스마트폰의 카메라부, 디지털카메라 등이 될 수 있으며, 차량의 블랙박스 카메라, 자율주행차량의 인식부, 또는 CCTV도 포함할 수 있다.
촬영모듈(110)은 실시간, 상시적인 강수 감시가 가능하다.
촬영모듈(110)을 통해 생성되는 영상은 강수 관측에 필요한 야외 촬영 영상을 포함할 수 있으니 여기서 영상은 사진 또는 비디오를 포함할 수 있다.
본 발명은 별도의 비용이나 설치공간 없이도 기존의 촬영모듈(110)을 통해 강수 관측이 가능하다는 점에서 기존의 관측 기술의 비용, 설치장소, 유지관리, 자료의 전용성, 시공간적 간헐성, 환경파괴 등의 문제를 해결할 수 있다.
강수판별 단계에서 판별부(120)는 수집된 영상의 수집 경로를 판단한 후, 그 수집 경로에 따라 촬영모듈(110)을 통해 생성된 영상을 기초로 강수 유무를 달리 판별할 수 있다.
판별부(120)는 먼저, 수집된 영상이 촬영모듈(110) 단말기 또는 촬영모듈(110)이 포함된 스마트폰 등의 사용자 단말기 자체에서 직접 수집된 것인지, 아니면 사용자 단말기에서 사용자가 SNS(Social Network Service) 플랫폼에 업로드 되어 해당 SNS 플랫폼을 통해 수집된 것인지 등 수집 경로를 먼저 판단할 수 있다.
상기 수집 경로의 판단 결과, 수집된 영상이 사용자 단말기 자체에서 수집된 경우, 즉 스마트폰, 디지털 카메라나 CCTV, 블랙박스, 자율주행차량 등에서 전송된 경우에는 해당 영상에서 주기적으로 빗방울에 의해 생성된 파문(water ripples)이나 빗방울 자체, 빗방울 흔적, 유리창에 맺힌 빗방울이나 빗줄기, 펼쳐진 우산 등 강수가 있다고 판단할 수 있는 기준에 의해 강수 여부를 판별한다.
수집 경로의 판단 결과, 수집된 영상이 SNS 플랫폼을 통해 수집된 경우, 즉 사용자가 사용자 단말기에 저장되어 있었거나 새로 생성되는 영상을 SNS 플랫폼에 업로드한 경우에는 해당 영상에서 주기적으로 빗방울에 의해 생성된 파문(water ripples)이나 빗방울 자체, 빗방울 흔적, 유리창에 맺힌 빗방울이나 빗줄기, 펼쳐진 우산 등 강수가 있다고 판단할 수 있는 기준에 의해 강수 여부를 판별하거나, 해당 영상이 게재된 게시글에 포함된 해시태그(hashtag), 댓글 등을 분석하여 강수 여부를 판별할 수 있다.
영상 내에서 빗방울에 의해 생성된 파문이나 빗방울, 빗방울 흔적, 유리창에 맺힌 빗방울이나 빗줄기, 펼쳐진 우산 등의 정보가 검출되는 경우에는 강수가 존재한다고 판별될 수 있다.
또한 SNS 게시글에 포함된 해시태그, 댓글 등에 강수, 강우, 비, 우산, 폭우 등의 강수 관련 키워드가 포함되면 강수가 존재한다고 판별될 수 있다.
다만 상기 자료수집부(100)의 판별부(120)에서 판단 결과 수집된 자료의 수집 경로가 SNS 플랫폼을 통해 수집된 경우에는 해당 영상 이미지의 저작권 또는 초상권 등은 암호화하여 보호한 후 강수량 분석 서버로 전송된다.
판별부(120)의 1차적인 강수 유무 판단 결과 강수가 존재한다고 판단된 경우에만 해당 수집된 영상자료를 강수 분석 서버(200)로 전송한다.
판별부(120)는 강수가 검출된 이미지에 강수가 존재한다는 의미로 우표(Rain Stamp)를 찍어서 강수 분석 서버(200)에 전송할 수 있다. 여기서 강수 분석 서버(200)는 강수우체국, 강수 감시 전용 서버, Rain-Post Office 등으로 표현할 수 있다.
강수 분석 단계(S200)에서는 자료수집부(100)에서 전송된 데이터를 기초로 딥러닝(Deep Learning)하여 강수 정보를 추정하고, 이러한 결과 데이터를 서비스 플랫폼(300)에 전송한다. 구체적으로는 강수 이미지를 추출하는 단계(S211), 인공신경망 모델을 생성하는 단계(S212), 강수량을 추정하는 단계(S213)를 포함할 수 있다.
강수 분석 단계(S200)에서 강수 분석 서버(200)는, 딥러닝을 통해 강수 정보를 추정하는 제어부(210), 강수 이미지를 학습용 데이터로 저장하는 메모리(220)를 포함할 수 있다.
제어부(210)는, 수집된 영상 자료로부터 강수 이미지를 추출하는 이미지추출부(211), 딥러닝을 위해 인공신경망 모델을 생성하는 모델링부(212), 인공신경망 모델에 기초하여 강수량을 추정하는 추정부(213), 결과 데이터를 서비스 플랫폼(300)에 전송하는 전송부(214)를 포함할 수 있다.
강수 이미지를 추출하는 단계(S211)에서 이미지추출부(211)는, 자료수집부(100)에서 전송된 데이터인 영상에서 강수가 검출된 정지 상태의 강수 이미지를 추출할 수 있다. 영상은 사진 또는 비디오(동영상)로 이루어지므로 이러한 강수가 검출되는 장면이 포함된 사진 또는 비디오의 캡쳐를 추출하는 것이다. 다만, 정지 상태가 아닌 동영상 일부를 추출하는 것도 가능하다.
인공신경망 모델을 생성하는 단계(S212)에서 모델링부(212)는 이미지추출부(211)로부터 추출된 강수 이미지를 딥러닝의 학습용 데이터로 입력한다. 학습용 데이터는 강수 분석 서버(200) 내의 메모리(220)에 저장될 수 있다.
강수 이미지를 다량 수집하여 상기 강수 이미지 크기를 정규화 하고, 상기 이미지에서 특징을 추출하여 DB에 저장하는 전처리를 거칠 수 있다. 상기 DB에는 수집된 강수 이미지의 저작권 정보(저작권자, 저작권 보호기간, 창작일, 저작권 소멸정보 등)를 함께 저장할 수 있다.
모델링부(212)는 인공지능이 적용된 것으로서, 수집된 강수 이미지의 강수 정보를 심층 학습(딥러닝, Deep-Learning)한다. 딥러닝 알고리즘을 이용하여 강수 이미지의 강수 정보를 추론할 수 있다.
강수 이미지에 포함된 지오마크와 기상청, 환경부 등의 자료를 기반으로 강수 영상을 정밀 분석함으로써 강수 정보를 학습할 수 있다.
단위 면적 또는 단위 시간 당 검출된 파문의 개수 및 크기, 두께 정보 등으로부터 강수량과 강수 밀도 등을 추론할 수 있다.
도 3는 파문에서 강수 추정하는 과정 실험 예시도로서, 도 3-(a)의 파문이 포함된 강수 이미지에서 도 3-(b), 3-(c)와 같이 영상의 음영 지역을 인식하여 이를 보간함으로써 파문의 개수와 크기, 두께를 측정 가능하도록 인식할 수 있다.
도 4은 영상처리 알고리즘을 통한 파문 정보 추출 실험 예시도이다. 도 3을 참조하면, 스마트폰의 하나인 아이폰으로 직접 촬영한 원본 영상(도 4-(a))에서 영상처리 과정(도 4-(b))을 거쳐 파문을 검출(도 4-(c))할 수 있다.
강수량을 추정하는 단계(S213)에서 추정부(213)는, 딥러닝을 통해 생성된 인공신경망 모델에 기초하여 상기 전송된 데이터, 즉 강수 이미지의 강수량, 강수 밀도, 강수강도 등 강수 정보를 추정한다.
이후, 전송부(214)는 상기 추정부(213)의 강수 정보 추정 결과 생성된 결과 데이터를 서비스 플랫폼(300)에 전송한다.
서비스를 사용자에게 제공하는 단계(S300)에서 결과 데이터를 수신한 서비스 플랫폼(300)은, 강수 분석 서버(200)에서 강수량 및 강수 강도 등 강수 정보를 추정한 결과에 대한 정보를 제공하는 서비스를 수행한다. 영상 데이터의 수집 경로가 SNS를 통해 이루어진 경우에는 강수 정보를 해당 SNS 플랫폼에 전송하여 강수 정보를 함께 태그(tag) 할 수 있다.
또한 스마트 단말의 카메라 어플리케이션 촬영용 어플리케이션을 통해 수집된 경우에는 해당 영상 또는 사진이 표시되는 화면 상에 강수 정보를 표시할 수 있다. 이 경우 영상에 강수 정보를 겹치게 표현할 수 있다. 또한 영상 위에 영상 또는 사진을 겹쳐서 재생하도록 하는 Overlay 방법으로 강수 정보를 제공할 수 있다.
CCTV, 블랙박스, 자율주행차량의 인식부 등 차량 내부의 촬영 모듈을 통해 영상을 수집된 경우는 강수 정보와 함께 위험 정보, 재난 정보 등을 제공할 수 있다.
서비스 플랫폼(300)은, 상기와 같이 촬영모듈(110)을 통해 영상 이미지를 생성한 사용자에게 직접 강수 정보 서비스를 제공할 수 있지만, 또는 기상 관련 서비스 공급자에게 강수 정보 서비스를 제공할 수 있다.
서비스 플랫폼(300)은 강수 정보 등의 기상 서비스에 관련된 정보를 취득하고 분석하는 수단을 포함하고, 상기 서비스 이용자 단말 장치로 상기 정보를 푸시하는 것을 특징으로 할 수 있다.
기상청 등의 기상 관련 서비스 공급자에게 강수 정보를 제공함에 있어, 강수 이미지에 포함된 지오테그 정보와 딥러닝을 통해 추정된 강수 정보를 함께 제공할 수 있다. 이를 통해 사용자 또는 사용자의 단말, 사용자의 차량, cctv가 설치된 지역 등에 강수, 재난, 안전에 관한 정보를 제공할 수 있도록 한다(S310).
도 5는 본 발명의 실시로 기대되는 효과를 나타낸 예시도이다.
도 5를 참조하면 도시를 관측하는 소형 레이더, ROI를 감시하는 전파강수계, 도로망을 감시하는 차량센서(VISS), 도심지를 감시하는 본 발명의 실시예에 의한 시스템을 함께 활용함으로써 전 도시에 대한 기상정보, 도로망, 기타 시공간적 관측이 가능한 스마트 시티를 생성할 수 있다. 이를 통해 수재해의 선제적 예방, 등 효과적인 재난 감시가 가능하다.
도 5에서 Rain Stamper는 본 발명의 실시예에 의해 강수가 존재한다는 의미의 우표(Rain Stamp)를 찍는 단계를 포함하는 본 시스템을 의미한다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다.
100 : 자료수집부
110 : 촬영모듈
120 : 판별부
200 : 강수 분석 서버
210 : 제어부
211 : 이미지추출부
212 : 모델링부
213 : 추정부
214 : 전송부
220 : 메모리
300 : 서비스 플랫폼

Claims (18)

  1. 딥러닝을 활용한 강수 정보 제공 시스템에 있어서,
    사용자가 촬영 등의 방법을 통해 생성한 영상을 취득하여 강수 분석 서버로 전송하는 자료수집부;
    상기 자료수집부로부터 수신된 영상을 기초로 딥러닝(Deep Learning)을 활용하여 강수 강도 및 강수량 등을 포함하는 강수 정보가 포함된 분석 결과 데이터를 서비스 플랫폼에 전송하는 강수 분석 서버; 및
    상기 분석 결과 데이터에 관한 서비스를 제공하는 서비스 플랫폼;
    을 포함하고,
    상기 자료수집부는,
    사용자가 강수 정보가 포함된 일상적인 영상을 생성하는 촬영모듈; 및
    상기 촬영모듈로부터 수집된 영상을 기초로 강수 유무를 판별하여 강수가 있다고 판단된 경우에는 수집된 영상을 강수량 분석 서버로 전송하는 판별부;를 포함하고,
    상기 강수 분석 서버는,
    상기 수신된 영상에 대하여 강수 정보가 포함된 강수 이미지를 검출하여 딥러닝을 통해 강수정보를 추정하는 제어부; 및
    상기 검출된 강수 이미지를 학습용 데이터로 하여 저장하는 메모리;를 포함하며, 상기 제어부는,
    상기 전송된 데이터를 하나 이상 입력 받으면, 이러한 입력된 영상으로부터 강수 정보를 포함하는 강수 이미지를 추출하는 이미지추출부;
    추출된 강수 이미지를 딥러닝의 학습용 데이터로 입력 및 학습하여 강수 정도에 따른 인공신경망 모델을 생성하는 모델링부;
    상기 인공신경망 모델에 기초하여 상기 전송된 데이터로부터 단위 면적 또는 단위 시간 당 파문을 검출하고, 검출된 파문의 개수 및 크기, 두께로부터 강수량, 강수 밀도 및 강수강도 중 적어도 하나의 강수 정보를 추정하는 추정부; 및
    상기 추정부에서 추정된 강수 정보를 강수량 추정의 분석 결과 데이터로서 서비스 플랫폼에 전송하는 전송부;를 포함하는 것을 특징으로 하는 영상 기반의 강수 정보 제공 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 촬영모듈은,
    사용자의 스마트 단말에 내장된 카메라, 디지털 카메라, CCTV, 블랙박스, 자율주행차량의 인식부 등 일정 영역을 상시적으로 촬영하여 영상 이미지를 생성하는 야외촬영모듈 중 어느 하나인 것을 특징으로 하는 영상 기반의 강수 정보 제공 시스템.
  4. 제1항에 있어서,
    상기 판별부는,
    상기 수집된 영상이 촬영모듈 또는 촬영모듈을 포함한 사용자 단말기에서 직접 수집된 경우에는,
    상기 수집된 영상에서 주기적으로 파문, 유리창에 맺힌 빗방울 등을 검출하여 강수 유무를 판별하는 것을 특징으로 하는 영상 기반의 강수 정보 제공 시스템.
  5. 제1항에 있어서,
    상기 판별부는,
    상기 수집된 영상이 촬영모듈을 포함한 사용자 단말기에서 사용자가 SNS 플랫폼에 업로드되어 해당 SNS 플랫폼을 통해 수집된 경우에는,
    해당 게시글에 포함된 해시태그, 댓글 분석 및 상기 수집된 영상에서 파문, 유리창에 맺힌 빗방울 등을 검출하여 강수 유무를 판별하는 것을 특징으로 하는 영상 기반의 강수 정보 제공 시스템.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 서비스 플랫폼은,
    상기 자료수집부가 SNS 플랫폼을 통해 영상이 수집된 경우는 SNS플랫폼 상에서 분석 결과 데이터를 함께 태그(Tag)하고,
    일반 촬영 어플리케이션을 통해 영상이 수집된 경우는 영상에 분석 결과 데이터를 겹치게 포함하고,
    CCTV 또는 블랙박스 등 차량 내부 카메라를 통해 영상이 수집된 경우는 위험 정보, 재난 정보와 함께 분석 결과 데이터를 제공하는 서비스를 사용자에게 제공하는 것을 특징으로 하는 영상 기반의 강수 정보 제공 시스템.
  9. 제1항에 있어서,
    상기 서비스 플랫폼은,
    상기 강수 분석 서버에서 추출된 강수 이미지에 포함된 지오테그 정보와 함께 분석 결과 데이터를 기상 관련 서비스 공급자에게 제공하는 것을 특징으로 하는 영상 기반의 강수 정보 제공 시스템.
  10. 딥러닝을 활용한 강수 정보 제공 방법에 있어서,
    자료수집부는 사용자가 촬영 등의 방법을 통해 생성한 영상을 취득하여 강수 분석 서버로 전송하는 자료수집 단계;
    강수량 분석 서버는 상기 자료수집 단계로부터 수신된 영상을기초로 딥러닝(Deep Learning)을 활용하여 강수 강도 및 강수량 등을 포함하는 강수 정보가 포함된 분석 결과 데이터를 서비스 플랫폼에 전송하는 강수 분석 단계; 및
    서비스 플랫폼은 상기 분석 결과 데이터에 관한 서비스를 제공하는 단계;
    를 포함하고,
    상기 자료수집 단계는,
    사용자가 촬영모듈을 이용하여 강수 정보가 포함된 일상적인 영상을 촬영하는 단계; 및
    상기 촬영모듈로부터 수집된 영상을 기초로 강수 유무를 판별하여 강수가 있다고 판단된 경우에는 수집된 영상을 강수량 분석 서버로 전송하는 강수판별 단계;를 포함하고,
    상기 강수 분석 단계는,
    이미지추출부는 상기 전송된 데이터를 하나 이상 입력 받으면, 이러한 입력된 영상으로부터 강수 정보를 포함하는 강수 이미지를 추출하는 단계;
    모델링부는 추출된 강수 이미지를 딥러닝의 학습용 데이터로 입력하여 강수 정도에 따른 인공신경망 모델을 생성하는 단계;
    추정부는 상기 인공신경망 모델에 기초하여 상기 전송된 데이터의 단위 면적 또는 단위 시간 당 파문을 검출하고, 검출된 파문의 개수 및 크기, 두께로부터 강수량, 강수 밀도 및 강수강도 중 적어도 하나의 강수 정보를 추정하는 단계; 및
    전송부는 상기 추정된 강수 정보를 분석 결과 데이터로서 서비스 플랫폼으로 전송하는 단계;를 포함하는 것을 특징으로 하는 영상 기반의 강수 정보 제공 방법.
  11. 삭제
  12. 제10항에 있어서,
    상기 촬영모듈은,
    사용자의 스마트 단말에 내장된 카메라, 디지털 카메라, CCTV, 블랙박스, 자율주행차량의 인식부 등 일정 영역을 상시적으로 촬영하여 영상 이미지를 생성하는 야외촬영모듈 중 어느 하나인 것을 특징으로 하는 영상 기반의 강수 정보 제공 방법.
  13. 제10항에 있어서,
    상기 강수판별 단계는,
    상기 수집된 영상이 촬영모듈 또는 촬영모듈을 포함한 사용자 단말기에서 직접 수집된 경우에는,
    상기 수집된 영상에서 주기적으로 파문, 유리창에 맺힌 빗방울 등을 검출하여 강수 유무를 판별하는 것을 특징으로 하는 영상 기반의 강수 정보 제공 방법.
  14. 제10항에 있어서,
    상기 강수판별 단계는,
    상기 수집된 영상이 촬영모듈을 포함한 사용자 단말기에서 사용자가 SNS 플랫폼에 업로드되어 해당 SNS 플랫폼을 통해 수집된 경우에는,
    해당 게시글에 포함된 해시태그, 댓글 분석 및 상기 수집된 영상에서 파문, 유리창에 맺힌 빗방울 등을 검출하여 강수 유무를 판별하는 것을 특징으로 하는 영상 기반의 강수 정보 제공 방법.
  15. 삭제
  16. 삭제
  17. 제10항에 있어서,
    상기 서비스 플랫폼은,
    상기 자료수집부가 SNS 플랫폼을 통해 영상을 취득한 경우는 SNS플랫폼 상에서 분석 결과 데이터를 함께 태그(Tag)하고,
    일반 촬영 어플리케이션을 통해 영상을 취득한 경우는 영상에 분석 결과 데이터를 겹치게 포함하고,
    CCTV 또는 블랙박스 등 차량 내부 카메라를 통해 영상을 취득한 경우는 위험 정보, 재난 정보와 함께 분석 결과 데이터를 제공하는 서비스를 사용자에게 제공하는 것을 특징으로 하는 영상 기반의 강수 정보 제공 방법.
  18. 제10항에 있어서,
    상기 서비스 플랫폼은,
    상기 강수 분석 서버에서 추출된 강수 이미지에 포함된 지오테그 정보와 함께 분석 결과 데이터를 기상 관련 서비스 공급자에게 제공하는 것을 특징으로 하는 영상 기반의 강수 정보 제공 방법.
KR1020190166731A 2019-12-13 2019-12-13 딥러닝을 활용한 영상 기반의 강수 정보 제공 시스템 및 방법 KR102366544B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190166731A KR102366544B1 (ko) 2019-12-13 2019-12-13 딥러닝을 활용한 영상 기반의 강수 정보 제공 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190166731A KR102366544B1 (ko) 2019-12-13 2019-12-13 딥러닝을 활용한 영상 기반의 강수 정보 제공 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210075533A KR20210075533A (ko) 2021-06-23
KR102366544B1 true KR102366544B1 (ko) 2022-02-23

Family

ID=76599174

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190166731A KR102366544B1 (ko) 2019-12-13 2019-12-13 딥러닝을 활용한 영상 기반의 강수 정보 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102366544B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102457470B1 (ko) * 2021-11-08 2022-10-21 주식회사 윈드위시 영상 분석을 이용한 인공지능 기반 강수 판단장치 및 방법
KR20230071565A (ko) 2021-11-16 2023-05-23 재단법인한국조선해양기자재연구원 재난 관측 모니터링 시스템 및 그 방법
KR102491684B1 (ko) * 2022-04-25 2023-01-26 주식회사 디케이앤트 선실드가 형성된 감시카메라 장치 및 이의 제어방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101461184B1 (ko) * 2013-03-13 2014-11-18 진양공업주식회사 Cctv 영상을 이용한 기상 상황 정보 추출 시스템
KR101774871B1 (ko) * 2015-02-05 2017-09-05 (주)유엔이 환경 오염 예측 시스템 및 방법
KR101858339B1 (ko) * 2016-04-18 2018-06-28 주식회사 월드텍 카메라를 이용한 기상관측 장치 및 이를 제어하는 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
어플생활백서, <URL:https://www.sktinsight.com/52378> (2013. 8. 30.) 1부.*
중앙일보, <URL:https://news.joins.com/article/20165562> (2016. 6. 14.) 1부.*

Also Published As

Publication number Publication date
KR20210075533A (ko) 2021-06-23

Similar Documents

Publication Publication Date Title
KR102366544B1 (ko) 딥러닝을 활용한 영상 기반의 강수 정보 제공 시스템 및 방법
CN109040709B (zh) 视频监控方法及装置、监控服务器及视频监控系统
CN103184719B (zh) 道路表面调查装置
JP4629090B2 (ja) カメラ・タンパリング検出
KR102478335B1 (ko) 채널별 객체 검출 최적화를 위한 영상분석 방법 및 서버장치
CN111368615B (zh) 一种违章建筑预警方法、装置及电子设备
KR100834550B1 (ko) 불법 주정차 무인 자동 단속방법 및 그 시스템
US11580659B2 (en) Method for size estimation by image recognition of specific target using given scale
CN114445780A (zh) 裸土苫盖的检测方法及装置、识别模型的训练方法及装置
KR20220000226A (ko) 엣지 컴퓨팅 기반 지능형 보안 감시 서비스 제공 시스템
US10599946B2 (en) System and method for detecting change using ontology based saliency
CN111680610A (zh) 一种施工场景异常监测方法和装置
KR102107957B1 (ko) 건물 외벽 침입감지를 위한 cctv 모니터링 시스템 및 방법
CN113326783A (zh) 一种水利行业的边缘预警方法
Dusek et al. WebCAT: Piloting the development of a web camera coastal observing network for diverse applications
CN110895663B (zh) 一种两轮车识别方法、装置、电子设备及监控系统
EP3665512B1 (en) Real-time computation of an atmospheric precipitation rate from a digital image of an environment where an atmospheric precipitation is taking place
KR102434154B1 (ko) 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
CN117768610A (zh) 基于多目标识别的高速铁路周界入侵风险监测方法及系统
Sofwan et al. Implementation of vehicle traffic analysis using background subtraction in the Internet of Things (IoT) architecture
CN110855932A (zh) 基于视频数据的报警方法、装置、电子设备及存储介质
Sofwan et al. Design of smart open parking using background subtraction in the IoT architecture
KR101327256B1 (ko) Ptz 카메라에 의한 차량 그림자 영역 탐지를 이용한 차량 검지 시스템 및 방법
JP5320041B2 (ja) 降雨情報配信システム
Rio et al. The Innovation Development of Early Flash Flood Warning System Based on Digital Image Processing Through Android Smartphone.

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right