KR20170101516A - 무인 항공기를 이용한 화재 감시 장치 및 방법 - Google Patents

무인 항공기를 이용한 화재 감시 장치 및 방법 Download PDF

Info

Publication number
KR20170101516A
KR20170101516A KR1020160024122A KR20160024122A KR20170101516A KR 20170101516 A KR20170101516 A KR 20170101516A KR 1020160024122 A KR1020160024122 A KR 1020160024122A KR 20160024122 A KR20160024122 A KR 20160024122A KR 20170101516 A KR20170101516 A KR 20170101516A
Authority
KR
South Korea
Prior art keywords
fire
image data
analysis
image
unmanned airplane
Prior art date
Application number
KR1020160024122A
Other languages
English (en)
Inventor
박영수
이용태
권은정
이원재
이현우
조경섭
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160024122A priority Critical patent/KR20170101516A/ko
Publication of KR20170101516A publication Critical patent/KR20170101516A/ko

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/12Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14Central alarm receiver or annunciator arrangements
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • B64C2201/127
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/28Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming

Abstract

무인 항공기를 이용한 화재 감시 장치 및 방법이 개시된다. 본 발명에 따른 무인 항공기를 이용한 화재 감시 장치는, 수립된 감시 운행 계획에 상응하도록 비행하는 무인 항공기로부터 영상 데이터 및 센싱 데이터를 수신하는 정보 수집부, 기계학습기반 분석, 복수의 영상 데이터들의 결합 분석 및 상기 센싱 데이터와의 연계 분석 중 적어도 어느 하나의 분석 방법으로 상기 영상 데이터를 분석하고, 분석 결과를 이용하여 화재 발생 여부를 판단하는 화재 발생 판단부, 화재가 발생한 것으로 판단된 경우, 무인 항공기의 비행을 제어하는 비행 제어부, 상기 무인 항공기로부터 수신한 상기 영상 데이터 및 센싱 데이터를 재난별 예측 모델에 적용하여, 예측 결과를 생성하는 화재 방재부, 그리고 상기 분석 결과 및 상기 예측 결과에 상응하는 대응 시나리오를 기반으로 생성한 화재 경보 정보를 외부의 통합경보 시스템으로 전송하거나, 상기 화재 경보 정보를 출력하는 화재 상황 대응부를 포함한다.

Description

무인 항공기를 이용한 화재 감시 장치 및 방법{APPARATUS AND METHOD FOR FIRE MONITORING USING UNMANNED AERIAL VEHICLE}
본 발명은 무인 항공기를 이용한 화재 감시 기술에 관한 것으로, 특히 무인 항공기를 이용하여 화재를 감시하고, 화재 현장을 모니터링하며, 화재 방재 및 화재 상황에 대한 대응을 수행하는 기술에 관한 것이다.
적외선 카메라, 화재 센서 및 연기 검출 센서 등을 이용하여, 산악이나 농촌에서 발생하는 산불 및 화재를 감시하는 기술들이 개발되었다.
그러나 적외선 카메라가 촬영한 적외선 열 영상을 이용하여 산불 및 화재를 감시하는 기술은, 고가의 카메라를 사용해야 하므로 비용적인 측면에서 부담이 된다. 그리고 화재 센서를 이용한 화재 감지는 동물 및 날씨 등에 의한 파손 우려와 센서 설치 번거로움이 있다. 또한, 연기 검출을 통한 화재 감지는 연기 확산 변화 정도가 장소의 특성에 따라 다르므로 정확하게 산불 및 화재를 감지하기 어렵다.
또한, 산불 감지를 위한 영상 분석 방법으로는, 영상 기반의 불꽃 특성을 이용하는 방법과 색상의 변화를 감지한 후 구름 및 안개와 연기의 이동 패턴을 분석하여 산불 발생여부를 판단하는 방법이 있다.
이때, 한정된 공간 영상을 제공하는 단일 카메라로 연속된 프레임을 촬영하고, 연속된 프레임을 한 장의 이미지로 나타내는 기술이 적용되기도 한다. 이 기술은, 넓은 공간 범위를 한 장의 이미지로 보여주는 파노라마 영상을 이용함으로써, 실감성을 높일 수 있고, 겹치는 부분을 삭제하여 전체 영상 데이터 량을 감소시킬 수 있다는 장점이 있다.
오늘날, 환경오염 및 기후변화의 심화 등의 변화요인에 의한 자연 재난재해의 발생빈도는 증가하는 추세이다. 이러한 다양한 재난재해의 가능성과 광역적 피해 상황을 분석하는데 위성정보를 활용하는 기술이 적용되고 있다. 그러나 인공위성이 특정지역에 머무를 수 있는 시간은 한정되어 있으므로, 이상 변화를 발견하는 정도로만 활용되고, 특정 지역에 관한 정보는 CCTV나 무인 항공기 등을 활용하여 획득한다.
청명한 날씨인 경우, CCTV 가시권내의 연기흐름과 불꽃형상 변위의 감지는 가능하나, 습기로 인한 안개로 시야확보가 어려운 경우가 발생한다. 그리고 기 설치된 CCTV의 노화에 따른 노이즈 증가, 자동 초점 오류 등으로 인하여 산불/화재 감지가 어렵다.
반면, 무인 항공기를 활용하는 방법은 산불/화재 발생시 사람이 접근하기 힘든 장소의 사고현장 상황을 실시간으로 원격으로 제공해 줄 수 있어서 사고 발생 시 골든 타임을 가장 빠른 시간에 확보할 수 있다.
그리고 무인 항공기에 탑재되어 있는 카메라나 센서를 통해 산악이나 농촌 등 공공의 피해를 방지할 수 있으며, 특히 적외선 카메라를 이용하는 경우, 가시광선과 차별되는 우수한 투과 특성으로 구름, 악천우, 안개에 상관없이 관찰 가능하며 야간에도 주간과 같은 관측 가능하다.
따라서, 적외선 카메라의 장점을 이용하여, 사람이 접근하기 어려운 장소의 산불/화재를 감시하고, 산불/화재의 피해 구역을 추정하거나, 진행 방향을 예측하는 기술의 개발이 필요하다.
한국 공개 특허 제10-2008-0100072호, 2008년 11월 14일 공개(명칭: 이동식 산불 무인감시 시스템)
본 발명의 목적은 산악이나 농촌과 같이 사람이 접근하기 힘든 장소 또는 넓은 범위의 화재 발생을 실시간으로 감시할 수 있도록 하는 것이다.
또한, 본 발명의 목적은 화재의 이동 경로를 추정하고, 조기 경보 정보를 제공함으로써 화재로 인한 피해를 최소화할 수 있도록 하는 것이다.
또한, 본 발명의 목적은 실시간으로 수집된 정보를 이용하여, 화재의 진압 정보 및 피해 구역 추정 정보를 제공할 수 있도록 하는 것이다.
또한, 본 발명의 목적은 비 전문인력도 쉽게 화재 감지 장치를 운용할 수 있도록 하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 무인 항공기를 이용한 화재 감시 장치는 수립된 감시 운행 계획에 상응하도록 비행하는 무인 항공기로부터 영상 데이터 및 센싱 데이터를 수신하는 정보 수집부, 기계학습기반 분석, 복수의 영상 데이터들의 결합 분석 및 상기 센싱 데이터와의 연계 분석 중 적어도 어느 하나의 분석 방법으로 상기 영상 데이터를 분석하고, 분석 결과를 이용하여 화재 발생 여부를 판단하는 화재 발생 판단부, 화재가 발생한 것으로 판단된 경우, 무인 항공기의 비행을 제어하는 비행 제어부, 상기 무인 항공기로부터 수신한 상기 영상 데이터 및 센싱 데이터를 재난별 예측 모델에 적용하여, 예측 결과를 생성하는 화재 방재부, 그리고 상기 분석 결과 및 상기 예측 결과에 상응하는 대응 시나리오를 기반으로 생성한 화재 경보 정보를 외부의 통합경보 시스템으로 전송하거나, 상기 화재 경보 정보를 출력하는 화재 상황 대응부를 포함한다.
또한, 본 발명의 일실시예에 따른 무인 항공기를 이용한 화재 감시 장치에 의해 수행되는 화재 감시 방법은 수립된 감시 운행 계획에 상응하도록 비행하는 무인 항공기로부터 영상 데이터 및 센싱 데이터를 수신하는 단계, 기계학습기반 분석, 복수의 영상 데이터들의 결합 분석 및 상기 센싱 데이터와의 연계 분석 중 적어도 어느 하나의 분석 방법으로 상기 영상 데이터를 분석하고, 분석 결과를 이용하여 화재 발생 여부를 판단하는 단계, 화재가 발생한 것으로 판단된 경우, 무인 항공기의 비행을 제어하는 단계, 상기 무인 항공기로부터 수신한 상기 영상 데이터 및 센싱 데이터를 재난별 예측 모델에 적용하여, 예측 결과를 생성하는 단계, 그리고 상기 분석 결과 및 상기 예측 결과에 상응하는 대응 시나리오를 기반으로 생성한 화재 경보 정보를 외부의 통합경보 시스템으로 전송하거나, 상기 화재 경보 정보를 출력하는 단계를 포함한다.
본 발명에 따르면, 산악이나 농촌과 같이 사람이 접근하기 힘든 장소 또는 넓은 범위의 화재 발생을 실시간으로 감시할 수 있다.
또한 본 발명에 따르면, 화재의 이동 경로를 추정하고, 조기 경보 정보를 제공함으로써 화재로 인한 피해를 최소화할 수 있다.
또한 본 발명에 따르면, 실시간으로 수집된 정보를 이용하여, 화재의 진압 정보 및 피해 구역 추정 정보를 제공할 수 있다.
또한 본 발명에 따르면, 비 전문인력도 쉽게 화재 감지 장치를 운용할 수 있다.
도 1은 본 발명의 일실시예에 따른 무인 항공기를 이용한 화재 감시 장치가 적용되는 환경을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 무인 항공기를 이용한 화재 감시 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 화재 발생 판단부의 구성을 나타낸 블록도이다.
도 4는 본 발명의 일실시예에 따른 무인 항공기를 이용한 화재 감시 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 무인 항공기를 이용한 화재 감시 장치가 적용되는 환경을 개략적으로 나타낸 도면이다.
도 1에 도시한 바와 같이, 무인 항공기를 이용한 화재 감시 시스템은 무인 항공기(100), 무인 항공기를 이용한 화재 감시 장치(200) 및 통합 경보 시스템(300)을 포함한다.
먼저, 무인 항공기(100)는 산악 지형 또는 농촌 지역의 영상을 촬영하고 감시하여 감시 정보를 생성한다. 그리고 무인 항공기(100)는 생성된 감시 정보를 실시간으로 무인 항공기를 이용한 화재 감시 장치(200)로 전송한다.
이때, 무인 항공기(100)는 기 수립된 감시 운행 계획에 상응하도록 비행하거나, 무인 항공기를 이용한 화재 감시 장치(200)로부터 수신된 명령 신호 및 제어 신호에 상응하도록 비행할 수 있다.
그리고 무인 항공기(100)는 비행 조종 모듈과 센서 연동 모듈로 구성될 수 있다. 비행 조종 모듈은 무인 항공기(100)에 탑재되는 카메라, 센서 등의 데이터 수집용 탑재 장비(탑재체)를 제어하고, 촬영 영상 메모리를 제어하며, USB 포트를 제어하거나, 전력을 제어할 수 있으며, 통신 모뎀 등의 운용을 제어할 수도 있다.
비행 제어를 위하여, 무인 항공기(100)에는 가속도 센서, 자이로 센서, 고도 센서, 자기 센서 및 GPS 등의 센서들이 연결될 수 있으며, 비행 조종 모듈은 이러한 각종 센서들의 연결 및 제어를 수행한다. 그리고 무인 항공기(100)의 비행 조종 모듈은 비행 정보 송신, 무인 항공기(100)의 이착륙, 항법 및 통신 등과 관련된 전반적인 운영을 담당하는 무인 항공기 컨트롤러일 수 있다.
또한, 무인 항공기(100)의 비행 조종 모듈은 비행체의 수동 조종을 위한 수동 조종 신호 수신기 및 원격에서의 자동 운용을 위한 자동 운용 통신 기능을 포함할 수 있다.
그리고 무인 항공기(100)의 센서 연동 모듈은 무인 항공기(100)에서 산불 및 화재를 감시하거나 방재 또는 대응하는 임무를 수행하기 위하여 영상 데이터를 수집한다.
무인 항공기(100)의 센서 연동 모듈은 화재 감시, 방재 및 대응 임무를 수행하기 위한 데이터 수집용 탑재 장비로 가시광선/적외선 카메라를 포함할 수 있으며, 다양한 임무 장비를 탑재하기 위한 센서 플러그인/아웃 모듈을 포함할 수 있다. 그리고 무인 항공기(100)의 센서 연동 모듈은 촬영된 영상 및 센싱 데이터를 저장하기 위한 영상/센싱 저장 모듈을 포함할 수도 있다.
이때, 카메라 등과 같은 영상 데이터 및 센싱 데이터를 수집하기 위한 데이터 수집용 탑재 장비들은 짐벌을 통하여 탑재될 수 있다. 그리고 무인 항공기(100)에 장착되는 가시광선 카메라는 가시광선 대역에서 검출될 수 있는 화염, 연기 감지 등에 사용되며, 정지 영상(스틸컷) 및 동영상을 취득하여 저장한다. 그리고 취득한 정지 영상 및 동영상을 무선으로 무인 항공기를 이용한 화재 감시 장치(200)로 전송할 수 있다.
그리고 적외선(열화상) 카메라는 온도 측정을 통하여, 화염 및 열원을 감지하고, 지표 온도를 감지할 수 있다. 또한, 무인 항공기(100)는 가시광선 카메라 및 적외선 카메라 이외에도 온도 및 습도, 풍향 및 풍속 등에 관련된 데이터를 수집하는 환경 센서가 탑재될 수 있으며, 무인 항공기(100)에 탑재되는 센서의 종류는 이에 한정되지 않는다.
또한, 센서 플러그인/아웃 모듈은 무인 항공기(100)에 장착되는 데이터 수집용 탑재 장비들 및 카메라 제어 모듈들을 화재 감시 및 방재, 화재 발생 시 대응 상황에 적합하도록 플러그인/아웃이 가능한 형태로 제공한다. 그리고 센서 플러그인/아웃 모듈은 영상/센싱 저장 모듈로 수집된 영상 데이터 및 센싱 데이터를 전송한다.
다음으로 무인 항공기를 이용한 화재 감시 장치(200)는 무인 항공기(100)로부터 영상 데이터 및 센싱 데이터를 수신하고, 수신된 데이터를 이용하여 화재를 감지하고, 화재 방재 및 화재 상황에 대한 대응을 수행한다. 또한, 무인 항공기를 이용한 화재 감시 장치(200)는 무인 항공기(100)의 비행 자세 및 고도를 제어하거나, 자동 수직이착륙 및 자율 주행을 제어할 수 있다.
무인 항공기를 이용한 화재 감시 장치(200)에서 무인 항공기(100)로의 상향 링크는 명령 신호 및 제어 신호를 송신한다. 그리고 무인 항공기(100)에서 무인 항공기를 이용한 화재 감시 장치(200)로의 하향 링크는 비행 정보, 영상 데이터 및 센싱 데이터를 전송한다.
이때, 무인 항공기를 이용한 화재 감시 장치(200)와 무인 항공기(100)는 Wi-Fi/LTE RF 통신을 이용하여 화재 상황의 영상 데이터 및 센싱 데이터를 전송할 수 있으며, 통신 방법은 이에 한정되지 않는다. 그리고 무인 항공기를 이용한 화재 감시 장치(200)는 무인 항공기(100)의 관제를 위하여, 무인 항공기(100)의 제어가 가능한 동작 범위 영역의 지역 내에 위치할 수 있으며, 무인 항공기를 이용한 화재 감시 장치(200)는 무인 항공기(100)의 제어, 감시, 방재 및 대응을 위한 실시간 동영상을 무인 항공기(100)로부터 수신할 수 있다.
그리고 무인 항공기를 이용한 화재 감시 장치(200)는 무인 항공기(100)로부터 수신된 감시 정보인 영상 데이터 및 센싱 데이터를 처리하고, 처리된 결과를 이용하여, 화재 방재 및 화재 상황에 대한 대응을 수행 할 수 있다.
무인 항공기를 이용한 화재 감시 장치(200)는 기계학습기반 분석, 복수의 영상 데이터들의 결합 분석 및 센싱 데이터와의 연계 분석 중에서 적어도 하나의 분석 방법으로 영상 데이터를 분석할 수 있다. 그리고 영상 데이터의 분석 결과를 이용하여 화재 발생 여부를 판단한다.
그리고 무인 항공기를 이용한 화재 감시 장치(200)는 화재가 발생한 것으로 판단된 경우, 무인 항공기(100)의 비행을 제어한다. 그리고 무인 항공기(100)로부터 수신한 영상 데이터 및 센싱 데이터를 재난별 예측 모델에 적용하여, 예측 결과를 생성한다.
또한, 무인 항공기를 이용한 화재 감시 장치(200)는 분석 결과 및 예측 결과에 상응하는 대응 시나리오를 기반으로 화재 경보 정보를 생성하고, 생성된 화재 경보 정보를 외부의 통합경보 시스템으로 전송할 수 있다. 그리고 무인 항공기를 이용한 화재 감시 장치(200)는 생성된 화재 경보 정보를 스피커 또는 디스플레이 등의 다양한 방법으로 출력할 수도 있다.
도 2는 본 발명의 일실시예에 따른 무인 항공기를 이용한 화재 감시 장치의 구성을 나타낸 블록도이다.
도 2에 도시한 바와 같이, 무인 항공기를 이용한 화재 감시 장치(200)는 정보 수집부(210), 화재 발생 판단부(220), 비행 제어부(230), 화재 방재부(240) 및 화재 상황 대응부(250)를 포함한다.
정보 수집부(210)는 수립된 감시 운행 계획에 상응하도록 비행하는 무인 항공기로부터 영상 데이터 및 센싱 데이터를 수신한다. 이때, 정보 수집부(210)는 무인 항공기로부터 정지 영상 및 동영상 중 적어도 어느 하나를 포함하는 영상 데이터를 수신할 수 있으며, 무인 항공기로부터 영상 데이터 및 센싱 데이터를 실시간으로 수신할 수 있다.
다음으로, 화재 발생 판단부(220)는 기계학습기반 분석, 복수의 영상 데이터들의 결합 분석 및 센싱 데이터와의 연계 분석 중 적어도 어느 하나의 분석 방법으로 영상 데이터를 분석한다.
화재 발생 판단부(220)는 무인 항공기로부터 수신된 영상 데이터의 노이즈를 제거하고, 보정을 수행하는 전처리 과정을 수행할 수 있다. 이때, 화재 발생 판단부(220)는 무인 항공기에 장착된 데이터 수집용 탑재 장비의 특성에 따라 영상 데이터를 보정할 수 있다.
이때, 화재 발생 판단부(220)는 영상 데이터로부터 영상 특징점 및 ROI(Region of Interest)를 검출 한 후 영상 데이터 분석을 수행할 수 있다. 또한, 화재 발생 판단부(220)는 영상 데이터의 분석 결과를 이용하여 화재 발생 여부를 판단할 수 있다.
또한, 화재 발생 판단부(220)는 산불 및 화재 취약 구역을 설정하고, 위험 분석 지도를 작성할 수 있으며, 화재의 원인이 될 수 있는 연료의 이동 및 주입 상황 등을 감시할 수 있다. 그리고 화재 발생 판단부(220)는 설정된 산불 및 화재 취약 구역에 상응하는 장소 또는 위험 분석 지도에 상응하는 장소를 중점적으로 감시하여, 산불이나 화재가 발생하였는지 여부를 판단할 수 있다.
그리고, 비행 제어부(230)는 화재가 발생한 것으로 판단된 경우, 무인 항공기의 비행을 제어한다. 비행 제어부(230)는 화재가 발생한 위치로 무인 항공기가 이동하도록 무인 항공기의 비행을 제어하고, 화재가 발생한 위치에 상응하는 영상 데이터 및 센싱 데이터를 무인 항공기로부터 수신할 수 있다.
반면, 화재가 발생하지 않은 것으로 판단된 경우, 비행 제어부(230)는 무인 비행기가 기 수립된 감시 운행 계획에 따라 비행하도록 할 수 있으며, 무인 비행기가 영상을 촬영하고 환경 정보를 센싱하는 과정과 영상 데이터 및 센싱 데이터를 무인 항공기를 이용한 화재 감시 장치(200)로 전송하는 과정을 반복하여 수행하도록 제어할 수도 있다.
그리고 화재 방재부(240)는 무인 항공기로부터 수신한 영상 데이터 및 센싱 데이터를 재난별 예측 모델에 적용하여, 예측 결과를 생성한다. 즉, 화재 방재부(240)는 산불 또는 화재의 이동 경로를 추정하여, 조기 경보를 제공할 수 있다.
마지막으로 화재 상황 대응부(250)는 분석 결과 및 예측 결과에 상응하는 대응 시나리오를 생성한다. 화재 상황 대응부(250)는 산불 또는 화재의 진압에 관련된 정보를 제공하고, 산불 또는 화재로 인한 비해 구역을 추정할 수 있다.
그리고 화재 상황 대응부(250)는 대응 시나리오를 기반으로 화재 경보 정보를 생성하고, 화재 대응 및 복구를 위하여, 생성된 화재 경보 정보를 출력하거나, 외부의 통합 경보 시스템으로 전송한다.
도 3은 본 발명의 일실시예에 따른 화재 발생 판단부의 구성을 나타낸 블록도이다.
도 3에 도시된 바와 같이, 무인 항공기를 이용한 화재 감시 장치(200)의 화재 발생 판단부(220)는 영상 데이터를 처리하여 분석하기 위한 모듈로, 영상 전처리 모듈(221), 영상 보정 모듈(223), 영상 분석 모듈(225) 및 영상 저장 모듈(227)을 포함할 수 있다.
먼저, 영상 전처리 모듈(221)은 수신된 영상 데이터의 노이즈를 제거하고, 보정하는 영상 전처리를 수행할 수 있다.
영상 전처리 모듈(221)은 무인 항공기에 탑재된 영상 장비를 이용하여 촬영한 영상 특성에 대한 기하 보정, 저조도 영상 보정, 노이즈 감소, 악천후 영상 보정 등의 보정을 수행할 수 있다.
저조도 영상 및 노이즈 영상 보정은 Adaptive Gamma Correction과 Short Time Fourier Transform 등의 기술을 이용하여 수행하고, 악천후 영상 보정은 Atmospheric Light의 MSE(Mean Squared Error) 등의 기법을 이용하여 수행할 수 있으며, 보정 기법은 이에 한정되지 않는다.
그리고 영상 보정 모듈(223)은 무인 항공기에 장착된 데이터 수집용 탑재 장비의 특성에 따라 영상 데이터를 보정할 수 있다.
영상 보정 모듈(223)은 센서의 고도 및 자세, 속도 변화, 지구곡률, 대기반사 등에 의한 왜곡 현상으로 발생하는 기하학적 왜곡 범위의 보정을 수행할 수 있다.
또한, 영상 보정 모듈(223)은 대기효과에 의한 밝기 값의 감소 효과를 보정할 수 있다. 이때, 영상 보정 모듈(223)은 영상 화소의 영상 좌표와 실제 지리 좌표 간 오차를 비교하기 위해 GCP(Ground Control Point)를 기준으로 기하 정확도 측정하여 보정하는 기하 보정을 수행할 수 있다. 그리고 영상 보정 모듈(223)은 센서 감도 변화를 보정하기 위해 영상의 대비와 밝기를 조정하는 영상처리 기법인 방사 보정을 수행할 수도 있다.
다음으로 영상 분석 모듈(225)은 영상 특징점 및 ROI(Region of Interest) 검출하고, 기계학습기반 분석, 복수의 영상 데이터들의 결합 분석 및 센싱 데이터와의 연계 분석 중에서 적어도 하나의 분석 방법으로 영상 데이터를 분석할 수 있다.
영상 분석 모듈(225)은 화재 감시 및 방재에 필요한 영상 특징점 및 ROI를 검출한다. 이때, 영상 분석 모듈(225)은 전처리 된 영상 데이터에 Convolution, Oriented FAST and Rotated BRIEF 알고리즘 등을 적용하여 영상 특징점 및 ROI를 검출할 수 있다.
그리고 영상 분석 모듈(225)은 산불 또는 화재의 발생 여부를 판단하기 위하여, 기계학습기반 분석을 수행하거나, 복수의 영상 데이터들을 결합하여 분석할 수 있다. 이때, 영상 분석 모듈(225)은 Artificial Neural Network 등을 사용하여 보정된 영상 이미지, 검출된 영상 특징점 및 ROI를 바탕으로 영상 데이터 분석을 수행할 수 있다. 그리고 영상 분석 모듈(225)은 각각의 이종 영상 데이터들의 분석 결과를 레이어 간 중첩하여 정확하게 영상 데이터를 분석할 수 있다.
또한, 영상 분석 모듈(225)은 영상 데이터와 센싱 데이터를 연계하여 분석함으로써, 화재의 발생 여부를 판단할 수도 있다. 이때, 영상 분석 모듈(225)은 위성 영상, CCTV 영상 및 지상 센서 등으로부터 수신한 센싱 데이터들을 연계하여 분석을 수행할 수 있다.
마지막으로 영상 저장 모듈(227)은 영상 데이터의 분석 결과를 저장한다.
이때, 화재 발생 판단부(220)는 실시간 처리를 위하여, 영상들을 복수 대의 컴퓨터들, 복수 개의 프로세서 코어들에 나누어 분산 처리할 수 있다. 그리고 화재 발생 판단부(220)는 GPU(Graphics Processing Unit), MIC(Many Integrated Core)와 같은 가속기를 사용하여 실시간 분석을 실현하고, 최적의 부하 분산으로 컴퓨터 자원을 효과적으로 사용할 수 있다.
이하에서는 도 4를 통하여, 본 발명의 일실시예에 따른 무인 항공기를 이용한 화재 감시 장치에 의해 수행되는 화재 감시 방법에 대하여 더욱 상세하게 설명한다.
도 4는 본 발명의 일실시예에 따른 무인 항공기를 이용한 화재 감시 방법을 설명하기 위한 순서도이다.
먼저, 무인 항공기를 이용한 화재 감시 장치(200)는 무인 항공기를 이용하여 감시를 수행한다(S410).
이때, 무인 항공기는 기 수립된 감시 운행 계획에 상응하도록 비행하면서 감시를 수행하거나, 무인 항공기를 이용한 화재 감시 장치(200)로부터 수신된 명령 신호 및 제어 신호에 상응하도록 비행하며 지역을 감시할 수 있다.
그리고 무인 항공기를 이용한 화재 감시 장치(200)는 무인 항공기로부터 영상 데이터 및 센싱 데이터를 수집한다(S420).
무인 항공기를 이용한 화재 감시 장치(200)는 무인 항공기로부터 영상 데이터 및 센싱 데이터를 수집함으로써, 인력의 접근이 불가능한 지역에 대한 실시간 영상을 획득하거나, 풍향, 풍속 등의 정보를 획득할 수 있다.
그리고 무인 항공기를 이용한 화재 감시 장치(200)는 수집된 영상 데이터를 분석한다(S430).
무인 항공기를 이용한 화재 감시 장치(200)는 무인 항공기로부터 수집된 영상 데이터 및 센싱 데이터의 전처리를 수행할 수 있다. 특히, 무인 항공기를 이용한 화재 감시 장치(200)는 영상 데이터의 전처리를 수행하고, 영상 특징점 및 ROI를 검출하고, 기계학습기반 분석, 복수의 영상 데이터들의 결합 분석 및 센싱 데이터와의 연계 분석 중에서 적어도 하나의 분석 방법으로 영상 데이터를 분석할 수 있다.
또한, 무인 항공기를 이용한 화재 감시 장치(200)는 영상 분석 및 정확한 판독을 위하여, 이종의 영상 데이터를 결합하고, 다시점 영상 데이터를 결합하여, 영상 데이터 분석을 수행할 수도 있다.
무인 항공기를 이용한 화재 감시 장치(200)는 무인 항공기로부터 수신된 영상 데이터의 노이즈를 제거하고, 보정하여 영상 전처리를 수행한다. 이때, 무인 항공기를 이용한 화재 감시 장치(200)는 무인 항공기에 장착된 데이터 수집용 탑재 장비의 특성에 따라 영상 데이터를 보정할 수 있다.
이와 같이, 무인 항공기를 이용한 화재 감시 장치(200)는 정확한 영상의 분석 및 판독을 위하여, 이종의 영상 데이터를 결합하거나, 다시점 영상 데이터를 결합하여, 산불이나 화재의 전조를 감시 및 감지할 수 있으며, 산불의 이동 경로를 추정할 수 있다.
다음으로 무인 항공기를 이용한 화재 감시 장치(200)는 영상 데이터의 분석 결과를 이용하여, 화재 발생 여부를 판단한다(S440).
이때, 화재가 발생하지 않은 것으로 판단된 경우, 무인 항공기를 이용한 화재 감시 장치(200)는 S410 단계를 수행하며, 무인 항공기를 이용하여 화재 발생을 감시할 수 있다.
반면, 화재가 발생한 것으로 판단된 경우, 무인 항공기를 이용한 화재 감시 장치(200)는 무인 항공기의 비행을 제어하고, 무인 항공기로부터 정보를 수집한다(S450).
또한, 무인 항공기를 이용한 화재 감시 장치(200)는 수집된 정보를 이용하여 예측 결과를 생성하고, 화재 방재를 수행한다(S460).
무인 항공기를 이용한 화재 감시 장치(200)는 기온, 풍향 및 풍속 중에서 적어도 하나를 포함하는 기상 재원을 수집한다. 그리고 무인 항공기를 이용한 화재 감시 장치(200)는 영상 데이터의 분석 결과와 수집된 기상 재원을 예측 모델에 적용하여, 예측 결과를 도출한다.
이때, 무인 항공기를 이용한 화재 감시 장치(200)는 예측 결과를 도출하기 위하여, 내부 데이터베이스로부터 예측 모델에 입력할 특성 데이터를 추출하고, 추출된 특성 데이터에 부합된 대응 시나리오를 선택할 수 있도록 하는 예측 결과를 생성한다. 여기서, 내부 데이터베이스에는 분석 결과, 기상 재원 등의 정보가 저장되어 있을 수 있다.
마지막으로 무인 항공기를 이용한 화재 감시 장치(200)는 화재 경보 정보를 생성하고, 화재 대응을 수행한다(S470).
무인 항공기를 이용한 화재 감시 장치(200)는 분석 결과 및 예측 결과를 기반으로 대응 시나리오를 선택한다. 설명의 편의상 무인 항공기를 이용한 화재 감시 장치(200)가 대응 시나리오를 선택하는 것으로 설명하였으나, 이에 한정하지 않고 외부로부터 대응 시나리오를 선택 받을 수도 있다.
그리고 무인 항공기를 이용한 화재 감시 장치(200)는 선택된 대응 시나리오를 통합 경보 시스템에 전달하여 화재 상황에 대응한다. 또한, 무인 항공기를 이용한 화재 감시 장치(200)는 관리자 또는 사용자에게 재난 정보를 제공하기 위하여, 분석 결과 또는 예측 결과 중에서 적어도 하나를 표시할 수 있다.
통합 경보 시스템에 전달할 재난 경보 정보를 표출할 수도 있으며, 표출의 방법으로 영상, 이미지, 텍스트, 소리 등 다양한 방법이 적용될 수 있다. 그리고 무인 항공기를 이용한 화재 감시 장치(200)는 화재 영상 분석 자료, 화재 발생 현황 및 화재 발생 예측 결과 등을 웹 기반으로 시각화 표출하거나, 화재 상황 알림, 화재 상황 별 대응 매뉴얼 및 화재 유형별 대응 시나리오를 제공할 수 있다.
또한, 무인 항공기를 이용한 화재 감시 장치(200)는 외부의 통합 경보 시스템과의 연동으로 분석 결과, 예측 결과 및 대응 시나리오 등과 같은 화재와 관련된 각종 데이터들을 전달할 수 있다. 이때, 무인 항공기를 이용한 화재 감시 장치(200)는 통합 경보 시스템의 프로토콜(일 예로 CAP-공통 프로토콜) 메시지와의 연관 요소를 추출하여, 통합 경보 시스템으로 전송할 메시지를 생성할 수 있으며, 생성된 메시지는 무인 항공기를 이용한 화재 감시 장치(200) 자체의 데이터베이스에 저장될 수 있다.
이와 같이, 무인 항공기를 이용한 화재 감시 장치(200)는 분석 결과를 기반으로 예측 결과를 도출하며, 관리자가 모니터링 할 수 있도록, 화재 상황 별 대응 시나리오를 제시할 수 있다. 그리고 무인 항공기를 이용한 화재 감시 장치(200)는 화재 상황 정보를 시각화하여 표출하고, 통합 경보 시스템으로 화재 경보 정보를 전송함으로써, 실시간으로 화재 지역을 모니터링 하거나, 화재 진압 정보를 제공할 수 있다. 그리고 조기 경보를 제공하거나, 피해 구역을 추정할 수도 있다.
도 5는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
도 5를 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(500)에서 구현될 수 있다. 도 5에 도시된 바와 같이, 컴퓨터 시스템(500)은 버스(520)를 통하여 서로 통신하는 하나 이상의 프로세서(510), 메모리(530), 사용자 입력 장치(540), 사용자 출력 장치(550) 및 스토리지(560)를 포함할 수 있다. 또한, 컴퓨터 시스템(500)은 네트워크(580)에 연결되는 네트워크 인터페이스(570)를 더 포함할 수 있다. 프로세서(510)는 중앙 처리 장치 또는 메모리(530)나 스토리지(560)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(530) 및 스토리지(560)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(531)이나 RAM(532)을 포함할 수 있다.
따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 태양에 따른 방법을 수행할 수 있다.
이상에서와 같이 본 발명에 따른 무인 항공기를 이용한 화재 감시 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100: 무인 항공기
200: 무인 항공기를 이용한 화재 감시 장치
210: 정보 수집부 220: 화재 발생 판단부
230: 비행 제어부 221: 영상 전처리 모듈
223: 영상 보정 모듈 235: 영상 분석 모듈
237: 영상 저장 모듈 240: 화재 방재부
250: 화재 상황 대응부 300: 통합 경보 시스템
600: 운용 시스템 500: 컴퓨터 시스템
510: 프로세서 520: 버스
530: 메모리 531: 롬
532: 램 540: 사용자 입력 장치
550: 사용자 출력 장치 560: 스토리지
570: 네트워크 인터페이스 580: 네트워크

Claims (1)

  1. 수립된 감시 운행 계획에 상응하도록 비행하는 무인 항공기로부터 영상 데이터 및 센싱 데이터를 수신하는 정보 수집부,
    기계학습기반 분석, 복수의 영상 데이터들의 결합 분석 및 상기 센싱 데이터와의 연계 분석 중 적어도 어느 하나의 분석 방법으로 상기 영상 데이터를 분석하고, 분석 결과를 이용하여 화재 발생 여부를 판단하는 화재 발생 판단부,
    화재가 발생한 것으로 판단된 경우, 무인 항공기의 비행을 제어하는 비행 제어부,
    상기 무인 항공기로부터 수신한 상기 영상 데이터 및 센싱 데이터를 재난별 예측 모델에 적용하여, 예측 결과를 생성하는 화재 방재부, 그리고
    상기 분석 결과 및 상기 예측 결과에 상응하는 대응 시나리오를 기반으로 생성한 화재 경보 정보를 외부의 통합경보 시스템으로 전송하거나, 상기 화재 경보 정보를 출력하는 화재 상황 대응부
    를 포함하는 무인 항공기를 이용한 화재 감시 장치.
KR1020160024122A 2016-02-29 2016-02-29 무인 항공기를 이용한 화재 감시 장치 및 방법 KR20170101516A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160024122A KR20170101516A (ko) 2016-02-29 2016-02-29 무인 항공기를 이용한 화재 감시 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160024122A KR20170101516A (ko) 2016-02-29 2016-02-29 무인 항공기를 이용한 화재 감시 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20170101516A true KR20170101516A (ko) 2017-09-06

Family

ID=59925635

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160024122A KR20170101516A (ko) 2016-02-29 2016-02-29 무인 항공기를 이용한 화재 감시 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20170101516A (ko)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543919A (zh) * 2018-12-03 2019-03-29 公安部天津消防研究所 一种基于事故演化的消防动态应急决策系统及其实现方法
CN109961601A (zh) * 2019-02-27 2019-07-02 合肥工业大学 一种基于空间定位的大尺度火灾态势分析系统
KR20190078687A (ko) * 2017-12-13 2019-07-05 셀로코주식회사 인공지능을 이용한 화재경보 시스템
KR102054366B1 (ko) * 2019-08-01 2019-12-11 박종철 무인 경비 시스템의 제어 방법 및 그 장치
KR20200098755A (ko) * 2019-02-11 2020-08-21 경북대학교 산학협력단 표적 추적 기반의 화재 감시 장치 및 화재 감시 방법
KR102203135B1 (ko) * 2020-06-24 2021-01-14 대한민국 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템
KR20210017137A (ko) * 2019-08-07 2021-02-17 주식회사 엘지유플러스 실시간 화재 감지 시스템 및 화재 감지 방법
CN112464819A (zh) * 2020-11-27 2021-03-09 清华大学 基于无人机视频的林火蔓延数据同化方法以及装置
KR20210047490A (ko) 2019-10-22 2021-04-30 전남대학교산학협력단 무인 비행체를 이용한 화재위험도 예측 시스템 및 그 방법
WO2021117933A1 (ko) * 2019-12-09 2021-06-17 대신아이브(주) 무인 항공기를 이용한 화재 감시 및 진화 시스템 및 이의 동작방법
KR102511408B1 (ko) * 2022-11-24 2023-03-20 김병준 엣지 인공지능 기반의 산불 정밀 감지 및 대응 장치 및 방법
US20230109790A1 (en) * 2017-06-27 2023-04-13 Oneevent Technologies, Inc. Augmented reality of a building
KR20230094340A (ko) * 2021-12-21 2023-06-28 대한민국(산림청 국립산림과학원장) 산불 정보 매핑을 위한 열화상 영상 처리 방법 및 그를 위한 장치
CN117073671A (zh) * 2023-10-13 2023-11-17 湖南光华防务科技集团有限公司 一种基于无人机多点测量的火场定位方法和系统

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11875665B2 (en) * 2017-06-27 2024-01-16 Oneevent Technologies, Inc. Augmented reality of a building
US20230109790A1 (en) * 2017-06-27 2023-04-13 Oneevent Technologies, Inc. Augmented reality of a building
KR20190078687A (ko) * 2017-12-13 2019-07-05 셀로코주식회사 인공지능을 이용한 화재경보 시스템
CN109543919A (zh) * 2018-12-03 2019-03-29 公安部天津消防研究所 一种基于事故演化的消防动态应急决策系统及其实现方法
KR20200098755A (ko) * 2019-02-11 2020-08-21 경북대학교 산학협력단 표적 추적 기반의 화재 감시 장치 및 화재 감시 방법
CN109961601A (zh) * 2019-02-27 2019-07-02 合肥工业大学 一种基于空间定位的大尺度火灾态势分析系统
KR102054366B1 (ko) * 2019-08-01 2019-12-11 박종철 무인 경비 시스템의 제어 방법 및 그 장치
KR20210017137A (ko) * 2019-08-07 2021-02-17 주식회사 엘지유플러스 실시간 화재 감지 시스템 및 화재 감지 방법
KR20210047490A (ko) 2019-10-22 2021-04-30 전남대학교산학협력단 무인 비행체를 이용한 화재위험도 예측 시스템 및 그 방법
WO2021117933A1 (ko) * 2019-12-09 2021-06-17 대신아이브(주) 무인 항공기를 이용한 화재 감시 및 진화 시스템 및 이의 동작방법
KR102203135B1 (ko) * 2020-06-24 2021-01-14 대한민국 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템
CN112464819A (zh) * 2020-11-27 2021-03-09 清华大学 基于无人机视频的林火蔓延数据同化方法以及装置
CN112464819B (zh) * 2020-11-27 2024-01-12 清华大学 基于无人机视频的林火蔓延数据同化方法以及装置
KR20230094340A (ko) * 2021-12-21 2023-06-28 대한민국(산림청 국립산림과학원장) 산불 정보 매핑을 위한 열화상 영상 처리 방법 및 그를 위한 장치
KR102511408B1 (ko) * 2022-11-24 2023-03-20 김병준 엣지 인공지능 기반의 산불 정밀 감지 및 대응 장치 및 방법
CN117073671A (zh) * 2023-10-13 2023-11-17 湖南光华防务科技集团有限公司 一种基于无人机多点测量的火场定位方法和系统
CN117073671B (zh) * 2023-10-13 2023-12-22 湖南光华防务科技集团有限公司 一种基于无人机多点测量的火场定位方法和系统

Similar Documents

Publication Publication Date Title
KR20170101516A (ko) 무인 항공기를 이용한 화재 감시 장치 및 방법
Yuan et al. Fire detection using infrared images for UAV-based forest fire surveillance
US10332409B2 (en) Midair collision threat detection and assessment using visual information
KR20170101519A (ko) 무인 항공기를 이용한 재난 감시 장치 및 방법
CN103038646A (zh) 检测飞机前方不利大气条件的系统和方法
US8587664B2 (en) Target identification and location system and a method thereof
KR101853903B1 (ko) Cctv, 드론 및 광펜스를 포함한 침입 감지 방법 및 시스템
CN111580425A (zh) 一种适用于林场火险监测的系统及方法
Sherstjuk et al. Forest fire monitoring system based on UAV team, remote sensing, and image processing
KR102131723B1 (ko) 무인 항공기를 이용한 화재 감시 및 진화 시스템 및 이의 동작방법
US11430101B2 (en) Unmanned aerial vehicle, inspection method, and storage medium
KR20170136133A (ko) 무인비행체를 이용한 구조물 검사 장치 및 방법
WO2019163454A1 (ja) 画像処理装置、飛行体及びプログラム
US6940994B2 (en) Passive power line detection system for aircraft
JP2017504119A (ja) 人工視覚システム
US11740315B2 (en) Mobile body detection device, mobile body detection method, and mobile body detection program
JP2016208065A (ja) 動物個体数調査システム
WO2023150888A1 (en) System and method for firefighting and locating hotspots of a wildfire
Novac et al. A framework for wildfire inspection using deep convolutional neural networks
KR102192686B1 (ko) 시설물 점검을 위한 드론 관제 시스템 및 그 방법
KR102479959B1 (ko) 인공지능 기반 통합 경계 방법 및 객체 모니터링 장치
Zheng et al. Forest farm fire drone monitoring system based on deep learning and unmanned aerial vehicle imagery
US20180010911A1 (en) Ground-Based System for Geolocation of Perpetrators of Aircraft Laser Strikes
JP6482853B2 (ja) 画像処理装置
CN117897737A (zh) 一种无人机监控方法、装置、无人机及监控设备