KR102097294B1

KR102097294B1 - 화염 판단을 위한 신경망 모델의 학습 및 검출 방법, 및 이를 수행하는 장치

Info

Publication number: KR102097294B1
Application number: KR1020190087769A
Authority: KR
Inventors: 방승온
Original assignee: (주)지와이네트웍스
Priority date: 2019-07-19
Filing date: 2019-07-19
Publication date: 2020-04-06
Also published as: JP7448338B2; JP2021018788A; US20210019617A1; US11074501B2; US20230297840A1; US20210319318A1; US11687787B2

Abstract

본 발명은 화염 판단을 위한 신경망 모델의 학습 방법에 관한 것으로, 본 발명에 따른 신경망 모델의 학습 방법은 화염 판단을 위한 신경망 모델의 학습 방법에 있어서, 실제 화재 이미지와 임의의 화염 이미지를 배경 이미지에 결합하여 생성된 가상 이미지를 포함하는 학습 이미지를 생성하는 단계; 상기 학습 이미지를 제1 신경망 모델에 입력하고 화염의 존재 여부에 대한 판단 결과를 출력하는 단계; 및 상기 판단 결과를 이용하여 상기 제1 신경망 모델 내에서 상기 학습 이미지의 특징을 추출하는 레이어 내 가중치를 갱신하는 단계를 포함한다. 본 발명에 따르면, 다양한 화재 상황의 데이터를 확보할 수 있으며 이를 통해 화재 발생을 판단하는 신경망 모델의 성능을 높일 수 있으며, 학습을 위한 데이터의 품질을 높여 다양한 상황의 화재를 신경망 모델이 스스로 예측하도록 할 수 있다.

Description

화염 판단을 위한 신경망 모델의 학습 및 검출 방법, 및 이를 수행하는 장치{Method and apparatus for training neural network model for detecting flame, and flame detecting method using the same model}

본 발명은 화염 판단을 위한 신경망 모델의 학습 방법에 관한 것이다.

화재는 발생시 인적, 물적으로 방대한 피해를 발생시키므로, 예방과 조기 탐사가 필요한 분야로 이를 위한 센싱 기술들이 개발되고 있으며, 화재의 발생을 판단하는 제품 들이 다양한 형태로 상용화 되고 있다.

하지만 열이나 연기 또는 불꽃을 판단하는 기존의 센서의 경우 국소적인 영역에 대해서만 판단이 가능하고, 주변 환경에 따라 감지 오류가 쉽게 발생될 수 있으므로 보다 광범위한 영역의 화재 발생을 감지하는데 한계가 있다.

최근에는 영상 처리 기술의 발달로 CCTV 영상을 기반으로 주변 환경의 영향이 적고 개방된 넓은 지역을 모니터링 하는 지능형 감시 시스템이 운용되고 있으며 이를 이용하여 화재를 감지하는 기술이 개발되고 있다.

예를 들어, 영상 내 연기의 발생이나 불꽃의 발생을 광학 흐름 등을 통해 판단하고 이를 통해 화재 발생을 판단하는 방법이 개발되고 있다. 하지만, 영상 처리의 경우 처리 시간에 많은 비용과 시간이 소요되는 단점이 있다.

이와 관련하여 최근에는 기계 학습 기술의 발달로 다양한 분야로 적용 분야가 확대되고 있으며 재난, 재해와 관련된 분야에도 기계 학습 기술이 적용되어 다양한 데이터를 보다 빠르게 분석하여 안전에 대한 위협 요소의 발생을 판단하고 있다.

기계 학습으로 인간의 뇌를 모방한 신경망을 학습시키고 입력 데이터로 결과를 추론하여 보다 빠르고 고차원적인 판단 결과를 출력하도록 하고 있다.

이러한 기계 학습을 통해 학습된 신경망 모델의 성능은 학습 데이터의 양과 질이 직접적인 영향을 미치므로, 양질의 데이터를 확보하는 것이 중요할 수 있다.

하지만 화재와 같은 재난, 재해의 상황의 데이터는 규칙성이 적고 일반 객체의 인식에 이용되는 데이터보다 확보가 어려운 문제가 있어, 신경망의 학습을 위한 학습 데이터 확보에 많은 비용과 시간이 소요될 수 있다.

따라서, 화재와 같은 재난 상황의 판단을 위한 신경망 모델의 성능을 높이기 위해 구체적인 학습 데이터의 확보 방법이 필요한 상황이며, 확보된 학습 데이터를 이용하여 실제 적용 가능한 학습 모델을 생성하는 것이 필요한 상황이다.

상술한 기술적 과제를 해결하기 위해 본 발명은 신경망 모델의 효율적인 학습 데이터의 확보 방법 및 이를 통한 학습 방법을 제안하는 것을 목적으로 한다.

또한, 본 발명은 신경망 모델을 이용하여 보다 빠르고 정확하게 화재 발생 여부를 판단하는 방법을 제안하는 것을 목적으로 한다.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 신경망 모델의 학습 방법은 화염 판단을 위한 신경망 모델의 학습 방법에 있어서, 실제 화재 이미지와 임의의 화염 이미지를 배경 이미지에 결합하여 생성된 가상 이미지를 포함하는 학습 이미지를 생성하는 단계; 상기 학습 이미지를 제1 신경망 모델에 입력하고 화염의 존재 여부에 대한 판단 결과를 출력하는 단계; 및 상기 판단 결과를 이용하여 상기 제1 신경망 모델 내에서 상기 학습 이미지의 특징을 추출하는 레이어 내 가중치를 갱신하는 단계를 포함한다.

상기 화염 이미지는 제2 신경망 모델에 따라 생성된 가상의 화염 이미지인 것이 바람직하다.

상기 제1 신경망 모델은 복수의 레이어를 포함하고, 상기 레이어 중 적어도 하나의 레이어는 단일 행 또는 열의 채널 수를 갖는 것이 바람직하다.

상기 제1 신경망 모델은 단일 행 또는 열의 채널과 상기 제1 신경망 모델의 입력 또는 출력 채널의 수를 갖는 복수의 레이어로 구성되는 것이 바람직하다.

상기 가상 이미지는 상기 가상 이미지와 상기 실제 화재 이미지 간의 진위 여부를 구분하는 구분 값의 차이를 감소시키도록 학습된 제3 신경망 모델을 이용하여 생성된 이미지인 것이 바람직하다.

상기 화염 이미지는 웹상에서 수집된 화염 이미지인 것이 바람직하다.

상기 화염 이미지는 컴퓨터 모델링으로 생성된 화염 이미지인 것이 바람직하다.

상기 기술적 과제를 해결하기 위한 신경망 모델의 화염 검출 방법은, 소스 이미지를 미리 결정된 비율 또는 크기에 따라 순차적으로 감소시켜 복수의 이미지를 생성하는 단계; 상기 복수의 이미지를 화염 여부를 판단하기 위해 학습된 신경망 모델에 입력하는 단계; 및 상기 신경망 모델이 상기 복수의 이미지 중 적어도 한 이미지에서의 화염 존재 여부를 출력하는 단계를 포함한다.

상기 신경망 모델은 복수의 레이어를 포함하고, 상기 레이어 중 적어도 하나의 레이어는 단일 행 또는 열의 채널 수를 갖는 것이 바람직하다.

상기 신경망 모델은 단일 행 또는 열의 채널과 상기 제1 신경망 모델의 입력 또는 출력 채널의 수를 갖는 복수의 레이어로 구성되는 것이 바람직하다.

상기 신경망 모델은, 실제 화재 이미지와 임의의 화염 이미지를 배경 이미지에 결합하여 생성된 가상 이미지를 포함하는 학습 이미지를 생성하는 단계; 상기 학습 이미지를 제1 신경망 모델에 입력하고 화염의 존재 여부에 대한 판단 결과를 출력하는 단계; 및 상기 판단 결과를 이용하여 상기 제1 신경망 모델 내에서 상기 학습 이미지의 특징을 추출하는 레이어 내 가중치를 갱신하는 단계를 반복 수행하여 학습된 것이 바람직하다.

상기 가상 이미지는 상기 가상 이미지와 상기 실제 화재 이미지 간의 진위 여부를 구분하는 구분 값의 차이를 감소시키도록 학습된 제2 신경망 모델을 이용하여 생성된 이미지인 것이 바람직하다.

본 발명에 따르면, 다양한 화재 상황의 데이터를 확보할 수 있으며 이를 통해 화재 발생을 판단하는 신경망 모델의 성능을 높일 수 있다.

또한, 학습을 위한 데이터의 품질을 높여 다양한 상황의 화재를 신경망 모델이 스스로 예측하도록 할 수 있다.

또한, 본 발명에 따르면 신경망 모델의 화재 상황 감지를 위해 입력되는 데이터의 크기와 해상도에 따른 판단 오차를 줄이고 다양한 데이터에 적응적으로 높은 성능을 발휘하도록 할 수 있다.

나아가, 화재 감지를 위해 입력되는 데이터의 양이 방대하더라도 효율적으로 신속한 판단 결과를 생성하도록 할 수 있으며 이를 통해 실시간으로 화재 상황을 감지하도록 할 수 있다.

도 1은 본 발명의 일 실시예에 따른 신경망 모델의 학습 방법을 나타내는 도이다.
도 2는 본 발명의 일 실시예에 따른 신경망 모델의 구조를 나타내는 도이다.
도 3 내지 5는 본 발명의 일 실시예에 따른 신경망 모델의 학습 데이터 생성 방법을 개념적으로 나타내는 도이다.
도 6 내지 7은 본 발명의 일 실시예에 따른 신경망 모델의 화염 검출을 위한 입력 데이터의 생성예를 나타내는 도이다.
도 8은 본 발명의 일 실시예에 따른 신경망 모델의 레이어 구성을 나타내는 도이다.
도 9는 본 발명의 일 실시예에 따른 신경망 모델의 구조를 나타내는 도이다.

이하의 내용은 단지 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시 되지 않았지만 발명의 원리를 구현하고 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이외같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.

또한, 발명을 설명함에 있어서 발명과 관련된 공지 기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예에 대해 상세하게 설명한다.

<신경망 모델의 학습 방법>

도 1은 본 발명의 일 실시예에 따른 화염 판단을 위한 신경망 모델의 학습 방법을 나타내는 흐름도이다.

도 1을 참조하면, 본 실시예에 따른 학습 방법(100)은 먼저 학습을 위해 학습 데이터를 생성한다(102).

구체적으로 학습 데이터의 생성은 실제 화재 이미지와 임의의 화염 이미지를 배경 이미지에 결합하여 생성된 가상 이미지를 포함하는 이미지로 생성될 수 있다.

즉, 본 실시예에서는 실제 화염 상황이 발생된 이미지와 함께, 가상의 화염 이미지를 이용하여 생성된 이미지를 모두 학습에 이용할 수 있다.

학습 이미지를 생성하면, 생성된 학습 이미지를 제1 신경망 모델에 입력한다(104).

제1 신경망 모델은 입력된 학습 이미지로부터 화염의 존재 여부에 대한 판단 결과를 출력한다(106).

제1 신경망 모델은 내부의 계층화된 레이어 구조를 통해 입력된 학습 이미지의 특징 값을 컨볼루션 연산을 통해 추출하고, 추출된 특징 값을 1차원으로 재구성하여 화염의 존재를 판단할 수 있다.

제1 신경망 모델의 출력으로 화염의 존재 여부의 판단 결과를 이용하여 제1 신경망 모델을 갱신한다(108).

이상의 동작들은 다양한 학습 데이터를 통해 반복적으로 수행될 수 있으며, 본 실시예에서는 지도 학습 방법으로 화염 상황이 존재하는 학습 이미지와 화염 상황이 부존재하는 학습 이미지를 미리 레이블링하고 학습에 이용할 수 있다.

제1 신경망 모델은 내부의 레이어들을 통해 합성곱 연산을 수행하여 입력된 데이터의 특징 값을 추출하는데, 이때 특징 값의 추출에 이용되는 필터의 값들을 판단 결과에 따라 갱신할 수 있다. 구체적으로 갱신은 판단 결과의 오차를 역전파하여 오차를 발생시키는 레이어의 가중치를 갱신하는 방식으로 수행될 수 있다.

이상의 단계의 반복 수행을 통해 제1 신경망 모델은 최적의 레이어 별 필터 값을 찾도록 레이어를 갱신함으로써 실제 화염의 검출 시 제1 신경망 모델이 정확한 결과를 도출하도록 할 수 있다.

도 2를 참조하면 도 2는 상술한 제1 신경망 모델의 구조를 개념적으로 도시하는 도로서 실제 화재 이미지(204)와 임의의 화염 이미지로 생성된 가상 이미지(202) 모두를 학습 이미지로 입력 받을 수 있다.

신경망 모델(206)로 입력된 학습 이미지는 신경망 내의 레이어를 통해 컨볼루션 연산 될 수 있다. 신경망 모델은 컨볼루션 연산으로 생성된 특징 맵을 1차원의 출력을 생성하는 완전 연결 레이어(Fully Connected Layer)에 입력하고, 비선형 함수를 통해 최종 출력(208)을 생성할 수 있다.

구체적으로 본 실시예에 따른 신경망 모델은 입력된 학습 이미지 내 화염의 존재 여부에 대한 판단 결과를 출력할 수 있다.

예를 들어, 본 실시예에 따른 신경망 모델은 지도 학습 방식으로 생성된 학습 이미지는 화염을 포함하는 것으로 화염의 위치 등을 미리 레이블링하고, 신경망 모델이 화염이 존재하는 것으로 판단하도록 학습시킬 수 있다.

이때, 학습 데이터의 확보를 위해 생성된 가상 이미지는 실제 화재 발생의 묘사도가 높아야 보다 정확한 학습이 이루어 질 수 있다.

이하, 도 3을 참조하여 본 발명에 따른 학습 방법에서 화염 이미지를 생성하는 방법에 대하여 설명한다.

본 실시예에서 화염 이미지(312)는 화재 이미지(x) (302)의 진위성을 판단하여 결과(D(x)) (306)를 출력하는 구분자(Discriminator) D(304)를 이용하여 생성될 수 있다.

구체적으로 화염 이미지를 생성하는 제2 신경망 모델은, 입력된 Z 값(408)을 통해 가상(fake)의 화염 이미지(G(z)) (312)를 생성하는 생성자 G(Generator) (310)와 특정 이미지의 진위성을 판단하는 도메인 구분자 D(304)로 구성될 수 있다.

즉, 제2 신경망 모델의 학습은 생성된 화염 이미지로부터 화염의 존재에 대한 판단 결과로 진위성 여부(D(G(z)) (314)를 출력하는 상술한 구분자 D(Discriminator) (304)를 함께 이용하여 수행될 수 있다.

즉, 도 3의 생성자 G(310)로부터 생성된 화염 이미지(G(z)) (312)가 구분자 D(304)에 의해 실제 화염으로 판단되도록 생성자 G(310)를 학습시키고, 학습 과정에서 도메인 구분자 D(304)는 가상 이미지에 대하여 진위성이 낮다고 판단하도록 적대적으로 학습 과정을 반복할 수 있다.

이를 통해 학습된 생성자 G(310)는 입력 값 z(308)에 따라 실제 화염에 가까운 다양한 화염 이미지(312)를 생성하도록 할 수 있다.

이상의 방식을 통해 학습을 완료하면, 제2 신경망 모델의 생성자를 이용하여 실제와 비슷한 가상 화염 이미지를 이론적으로 무한히 만들 수 있다. 그러나 학습에 사용된 실제 이미지의 수가 실제 화염 이미지의 전체 도메인을 대표하기에 충분하지 않기 때문에, 가상의 화염 이미지의 확률 분포가 실제 화염 이미지의 확률 분포를 완벽히 모방했다고 하기 어렵다.

따라서 가상의 화염 이미지를 무조건적으로 학습에 많이 사용할 수록 가상 이미지에 과적합되어 실제 환경에서의 화염 검출 성능을 저하시킬 가능성이 있다. 이러한 문제점을 해결하고자 본 발명에 따른 신경망 모델은 제1 신경망 모델이 보다 일반적인 환경에서도 잘 동작하도록 만들기 위하여 제3 신경망 모델을 도입하여 학습을 수행할 수 있다.

구체적으로 제3 신경망 모델은 가상 이미지의 도메인(Fake)과 실제 화재 이미지의 도메인(Real)을 구분하는 도메인 구분(414)자의 구분 능력을 감소시키는 방향으로 학습될 수 있다.

예를 들어, 상술한 제2 신경망 모델을 이용하여 생성된 화염 이미지(402)와 실제 화재 이미지(408)의 화염이 같은 특징 공간에 매핑 되도록 하고, 궁극적으로 화염 이미지로 생성된 가상 이미지의 화재 발생 상황에 대한 묘사도를 실제에 가깝도록 높일 수 있다.

즉, 제3 신경망 모델은 실제 화재 이미지(408)와 가상 화염 이미지(406)가 특징 공간에서 서로 구별되지 않도록 하는 매핑을 학습한다. 따라서, 제1 신경망 모델이 제3 신경망 모델을 통해 매핑된 특징 공간에서 화염을 검출하도록 학습하면 실제 화염 이미지에 대하여 화염 검출 성능이 좋아지도록 할 수 있다.

구체적으로 도 4를 참조하면, 제3 신경망 모델은 실제 화재 이미지(408)를 소스 데이터로, 임의의 화염 이미지(402)와 배경 이미지(404)가 결합된 가상 이미지(406)를 타겟 데이터로 입력 받을 수 있다.

입력된 데이터로부터 특징 추출자(feature extractor) (410)는 컨볼루션 연산을 통해 특징을 추출하고, 추출된 특징을 도메인 구분자(domain discriminator) (412)로 전달할 수 있다.

도메인 구분자(412)는 추출된 특징을 통해 입력된 이미지가 소스 데이터 도메인 인지 또는 타겟 데이터 도메인인지를 구분하고 도메인 라벨(domain label)을 출력하도록 할 수 있다(414).

이때, 제3 신경망 모델은 학습을 통해 도메인의 구분에 영향을 미치는 요소들을 감소시키는 방향으로 갱신되며 소스 도메인과 타겟 도메인 간의 차이를 없애, 실제 화염 이미지와 가상 이미지를 동일한 특징 공간으로 매핑 되도록 할 수 있다.

즉, 본 발명에 따른 학습 방법은 생성된 가상 이미지의 데이터 품질을 제2 신경망을 통해 높이고 제3 신경망 모델을 학습에 이용하여 제1 신경망 모델의 판단 결과의 정확도를 높일 수 있다.

또한, 도 5를 참조하면 본 실시예에 따른 학습 방법은 신경망 모델을 이용한 화염 이미지(502) 외에 컴퓨터 그래픽을 통해 2d, 3d 모델링으로 생성된 화염 이미지(504)를 이용하는 것도 가능하다.

또한, 신경망 모델과 컴퓨터 모델링을 통해 화염 이미지를 생성하는 것 외에 웹 상에 존재하는 다양한 화염 이미지를 수집하고 수집된 화염 이미지(506)를 가상 이미지의 생성에 이용하는 것도 가능하다.

구체적으로 수집되는 화염 이미지는 배경의 투명성을 포함하는 형식, 바람직하게는 PNG(Portable Network Graphic(s)) 형식의 이미지가 이용될 수 있다.

도 5를 참조하면, 본 실시예에 따른 학습 방법은 상술한 복수의 방법에 의해 생성된 화염 이미지를 배경 이미지(508)에 결합하여 본 실시예에 따른 학습 방법은 가상 이미지(510)를 생성할 수 있다.

생성된 가상 이미지(510)는 상술한 바와 같이 도 3에 따른 제2 신경망 모델의 도메인 구분자를 이용하여 실제 화재 이미지와 같은 특징 공간으로 매핑 되도록 하고, 생성된 가상 이미지를 학습에 이용할 수 있다.

추가적으로 본 실시예에 따른 학습 방법은 학습 데이터의 증식을 위해 생성된 학습 이미지의 회전, 반전, 크롭(crop) 등을 수행할 수 있다. 나아가 화염의 발생에 영향을 미치는 외부 환경을 조건으로 학습 이미지를 변경하여 학습 데이터를 증식하는 것도 가능하다.

이때, 데이터의 증식 규칙은 랜덤하게 수행될 수 있으며 증식된 데이터가 유의미한 상황을 갖도록 수행될 수 있다. 예를 들어 회전이나 반전에 의해 실제로 존재하기 어려운 화재 상황으로 데이터가 증식하는 것을 제한하는 것도 가능하다.

외부 환경과 관련하여, 주변이 어두운 상황에서의 화염 검출율과 주변이 밝은 상황에서 화염의 검출율이 달라질 수 있으므로 생성된 학습 이미지의 밝기를 다양화해서 학습 데이터로 이용할 수 있다.

그 외, 외부 조명, 내부 시설물, 배경의 색상 등 다양한 외부 환경의 조건을 고려해서 학습 데이터를 증식하는 것도 가능하다.

또한, 모니터링 하기 위한 영상을 촬영하는 다양한 카메라의 촬영 시점을 고려하여 학습 이미지를 증식하는 것도 가능하다.

이상의 본 발명에 따른 학습 방법은 다양한 화재 상황의 데이터를 확보하고, 외부 환경 조건 등을 고려하여 데이터를 증식함으로써 다양한 상황의 화재에도 대응 가능하도록 신경망 모델을 학습시킬 수 있다.

또한, 학습을 위한 데이터의 품질을 높여 화재 발생을 판단하는 신경망 모델의 학습 정확도를 높이고 궁극적으로 신경망 모델의 화염 검출 성능을 높일 수 있다.

<신경망 모델의 화염 검출 방법>

이하, 상술한 실시예에 따라 학습된 학습 모델을 이용하여 다양한 소스 이미지로부터 화염의 존재 여부를 판단하는 화염 검출 방법에 대하여 설명한다.

본 실시예에 따른 화염 검출 방법은 입력된 소스 이미지를 화염 검출 신경망 모델에 입력하고 이미지 내 화염의 존재 여부로 화재 상황을 판단할 수 있다.

이때, 화염 검출 방법에서 이용되는 신경망 모델은 다양한 형식으로 입력되는 영상으로부터 화염을 검출해야 하는데, 특정 해상도와 크기의 학습 데이터로 학습된 신경망 모델은 검출을 위해 입력되는 소스 이미지의 크기 나 해상도에 따라 검출 성능 달라 질 수 있다.

따라서 본 실시예에 따른 신경망 모델은 소스 이미지의 크기나 해상도의 다양성으로부터 강인한 성능을 보이도록 입력 데이터를 변경할 수 있다.

즉, 입력된 최초의 소스 이미지를 이용하여 복수의 소스 이미지를 생성하고 생성된 복수의 소스 이미지 각각에 대해 화염이 존재하는지를 판단하고, 판단 결과를 출력하도록 할 수 있다.

구체적으로 도 6을 참조하면, 본 실시예에 따른 화염 검출 방법은 최초 입력된 제1 소스 이미지(602)를 목표 크기의 이미지에 도달하도록 순차적으로 미리 결정된 비율에 따라 이미지의 크기를 축소시킬 수 있다.

예를 들어 입력된 제1 소스 이미지의 크기가 1920x1080이라면 80%씩 순차적으로 감소시켜 64x64 크기의 제N 소스 이미지(608)까지 축소시킬 수 있다.

본 실시예에 따른 화염 검출 방법은 각각의 축소 단계에서 생성된 중간 소스 이미지(604, 606)들을 모두 입력 데이터로 이용하여 복수의 소스 이미지 중 하나라도 화염이 검출되면 화재가 발생한 것으로 판단할 수 있다.

또는 반대로, 도 7과 같이 작은 크기의 소스 이미지를 입력 받은 경우 제1 소스 이미지(702)를 목표 크기의 이미지(708)에 도달하도록 순차적으로 확대시키는 것도 가능하다.

화염 검출 방법은 순차적으로 확대하는 과정에서 생성된 중간 소스 이미지(704, 706)들을 모두 입력으로 이용하여 복수의 소스 이미지 중 하나라도 화염이 검출되면 화재가 발생한 것으로 판단할 수 있다.

또한, 신경망 모델의 네트워크 구조 상 입출력 값의 크기가 결정되어 있는 경우 확대 또는 축소되어 생성되는 소스 이미지의 크기를 추가적인 처리를 통해 크기를 조절하는 것도 가능하다.

구체적으로 데이터 크기의 차이에 따른 손실을 방지하기 위해서 축소된 이미지의 나머지 영역을 공백 값으로 채우는 것도 가능하다.

이상의 본 실시예에 따른 화염 검출 방법은 신경망 모델이 제한된 해상도와 크기의 이미지에 대해서 화염을 검출하도록 학습되었더라도, 소스 이미지의 단계적 축소 또는 확대로 생성된 복수의 이미지를 검출에 이용하여 다양한 이미지에 대해서도 적응적으로 대응하도록 할 수 있다.

따라서 화염 검출 방법이 실제 화재 감시에 이용되는 다양한 CCTV(Closed Circuit Television) 나 드론 등의 촬영 방식에 따른 입력 이미지 간의 차이에도 적응적으로 강인한 성능을 나타내도록 할 수 있다.

이하, 도 8을 참조하여 본 실시예에 따른 화염 검출 방법의 신경망 모델의 내부 레이어 구조에 대하여 더욱 설명한다.

본 실시예에 따른 신경망 모델은 입력 데이터의 크기와 출력 데이터의 크기를 고려하여 컨볼루션 레이어의 구조를 설계할 수 있다.

상술한 바와 같이 화염 검출 방법은 소스 이미지의 크기를 다양화하고 모든 소스 이미지 내에 화염이 존재하는 지를 검출하므로, 신경망 모델의 컨볼루션 연산이 생성된 소스 이미지의 개수만큼 추가적으로 수행될 수 있다.

따라서, 본 실시예에 따른 신경망 모델은 복수의 소스 이미지에 대해 대응하고자 컨볼루션 레이어를 분할하여 구성할 수 있다.

구체적으로, 입출력 채널과 필터의 크기로 결정된 단일 레이어의 일부 채널을 단일 채널로 구성하고, 레이어의 개수를 분할하여 구성할 수 있다.

도 8을 참고하면, 본 실시예에서 신경망 모델은 2개의 컨볼루션 레이어로 구성될 수 있다.

예를 들어, 입력 데이터(802)의 크기가 7x7x128이고 출력 데이터(806)의 크기가 7x7x256이며 특징 값의 추출을 위한 컨볼루션 연산에 단일 레이어로 3x3의 크기의 필터를 이용한다고 가정하면 합성곱 레이어(804)의 전체 컨볼루션 연산의 수는 3x3x128x265일 수 있다.

이때, 본 실시예에 따른 신경망 모델은 하나의 소스 이미지를 복수의 n개의 소스 이미지로 생성하여 이용하므로 전체 컨볼루션 연산의 수가 n개 만큼 더욱 증가하게 된다.

따라서, 본 실시예에 따른 화염 검출 방법은 신경망 모델의 보다 빠르고 정확한 화염의 존재 여부를 판단하기 위해 컨볼루션 레이어를 분할하여 구성할 수 있다.

구체적으로 단일 컨볼루션 레이어(804)를 제1 컨볼루션 레이어(804-1)와 제2 컨볼루션 레이어(804-2)로 분할하고, 제1 컨볼루션 레이어(804-1)와 제2 컨볼루션 레이어(804-2)가 연속되도록 구성할 수 있다. 이때, 제1 컨볼루션 레이어(804-1)는 단일 행의 채널 수를 갖도록 구성하고 제2 컨볼루션 레이어(804-2)는 단일 열의 채널 수를 갖도록 구성할 수 있다.

즉, 레이어의 분할을 통해 전체 연산 수는 3x3x(128+256)이 되므로, 이전의 단일 레이어에 따른 연산 수 보다 연산 수를 줄일 수 있다.

이를 통해 본 실시예에 따른 화염 검출 방법은 복수의 소스 이미지에 따른 연산량의 증가를 레이어 분할을 통한 컨볼루션 연산량의 감소로 보상하고, 이로부터 신경망 모델의 검출 정확도와 시간을 최적화할 수 있다.

이하, 도 9를 참조하여 본 실시예에 따른 신경망 모델의 전체 구성에 대해서 설명한다.

상술한 바와 같이 화염 검출을 위한 신경망 모델은 단계적으로 축소 또는 확대된 이미지를 입력 받고(902), 출력 결과로 화염의 존재 여부를 판단(914)할 수 있다.

신경망 모델(604)은 입력 데이터의 크기와 출력 데이터의 크기를 고려하되, 컨볼루션 네트워크(906)를 이중(908, 910)으로 구성할 수 있다. 이중의 컨볼루션 연산을 통해 생성된 특징 맵을 완전 연결 레이어(912)의 입력으로 전달하고, 전달된 입력을 통해 화염의 존재 여부를 최종 적으로 출력하도록 할 수 있다.

구체적으로 완전 연결 레이어의 출력으로 화염의 존재 여부와, 화염의 존재 시 화염의 이미지 내 위치에 대한 정보를 생성하도록 할 수 있다.

이상의 화염 검출 방법에 따른 신경망 모델은 화재 감지에 있어서, 입력되는 데이터의 크기와 해상도에 따른 판단 오차를 줄이고 다양한 데이터에 적응적으로 높은 성능을 발휘하도록 할 수 있다.

나아가, 신경망 모델의 레이어를 재구성하여 입력되는 데이터의 양이 방대하더라도 효율적으로 신속한 판단 결과를 생성하도록 할 수 있다.

이상, 여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어 모듈 자체로 구현될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 씌여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리 모듈에 저장되고, 제어모듈에 의해 실행될 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다.

따라서, 본 발명에 개시된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

화염 판단을 위한 시스템에서 수행되는 신경망 모델의 학습 방법에 있어서,
실제 화재 이미지와, 제2 신경망 모델에 따라 생성된 가상의 화염 이미지를 임의의 배경 이미지에 결합하여 생성된 가상 이미지를 포함하는 학습 이미지를 생성하는 단계;
상기 학습 이미지를 제1 신경망 모델에 입력하고 화염의 존재 여부에 대한 판단 결과를 출력하는 단계; 및
상기 판단 결과를 이용하여 상기 제1 신경망 모델 내에서 상기 학습 이미지의 특징을 추출하는 레이어 내 가중치를 갱신하는 단계를 포함하고,
상기 가상 이미지는 상기 화염 이미지와 상기 배경 이미지의 결합에 의한 도메인 구분 영향 요소를 감소시키도록 학습된 제3 신경망 모델을 이용하여 생성된 이미지인 것을 특징으로 하는 신경망 모델의 학습 방법.
삭제
제 1 항에 있어서,
상기 제1 신경망 모델은 복수의 레이어를 포함하고, 상기 레이어 중 적어도 하나의 레이어는 단일 행 및 다른 하나의 레이어는 단일 열의 채널 수를 갖는 것을 특징으로 하는 신경망 모델의 학습 방법.
제 3 항에 있어서,
상기 제1 신경망 모델은 단일 행 또는 열의 채널과 상기 제1 신경망 모델의 입력 또는 출력 채널을 이용하여 단일 레이어를 복수의 서브 레이어로 분할 구성하는 것을 특징으로 하는 신경망 모델의 학습 방법.
삭제
제 1 항에 있어서,
상기 화염 이미지는 웹상에서 수집된 화염 이미지인 것을 특징으로 하는 신경망 모델의 학습 방법.
제 1 항에 있어서,
상기 화염 이미지는 컴퓨터 모델링으로 생성된 화염 이미지인 것을 특징으로 하는 신경망 모델의 학습 방법.
화염 판단을 위한 시스템에서 수행되는 신경망 모델의 화염 검출 방법에 있어서,
소스 이미지의 크기를 순차적으로 감소 또는 확대시켜 복수의 이미지를 생성하는 단계;
상기 복수의 이미지를 화염 여부를 판단하기 위해 학습된 제1 신경망 모델에 입력하는 단계; 및
상기 제1 신경망 모델이 상기 복수의 이미지 중 적어도 한 이미지에서의 화염 존재 여부를 출력하는 단계를 포함하고,
상기 제1 신경망 모델은 실제 화재 이미지와, 제2 신경망 모델에 따라 생성된 가상의 화염 이미지를 임의의 배경 이미지에 결합하여 생성된 가상 이미지를 포함하는 학습 이미지를 이용하여 학습되되,
상기 가상 이미지는 상기 화염 이미지와 상기 배경 이미지의 결합에 의한 도메인 구분 영향 요소를 감소시키도록 학습된 제3 신경망 모델을 이용하여 생성된 이미지인 것을 특징으로 하는 신경망 모델의 화염 검출 방법.
제 8 항에 있어서,
상기 제1 신경망 모델은 복수의 레이어를 포함하고, 상기 레이어 중 적어도 하나의 레이어는 단일 행 및 다른 하나의 레이어는 단일 열의 채널 수를 갖는 것을 특징으로 하는 신경망 모델의 화염 검출 방법.
제 9 항에 있어서,
상기 제1 신경망 모델은 단일 행 또는 열의 채널과 상기 제1 신경망 모델의 입력 또는 출력 채널을 이용하여 단일 레이어를 복수의 서브 레이어로 분할 구성되는 것을 특징으로 하는 신경망 모델의 화염 검출 방법.
제 8 항에 있어서,
상기 제1 신경망 모델은,
상기 학습 이미지를 제1 신경망 모델에 입력하고 화염의 존재 여부에 대한 판단 결과를 출력하는 단계; 및
상기 판단 결과를 이용하여 상기 제1 신경망 모델 내에서 상기 학습 이미지의 특징을 추출하는 레이어 내 가중치를 갱신하는 단계를 반복 수행하여 학습된 것을 특징으로 하는 신경망 모델의 화염 검출 방법.
삭제
하나 이상의 컴퓨터들 및 상기 하나 이상의 컴퓨터들에 의해 실행될 때 상기 하나 이상의 컴퓨터들로 하여금 제 1 항, 제 3 항, 제 4 항, 및 제 6 항 내지 제 11 항 중 어느 한 항의 각각의 방법의 동작들을 수행하게 하는 명령어들을 저장하는 하나 이상의 저장 장치들을 포함하는 시스템.
하나 이상의 컴퓨터들에 의해 실행될 때 상기 하나 이상의 컴퓨터들로 하여금 제 1 항, 제 3 항, 제 4 항, 및 제 6 항 내지 제 11 항 중 어느 한 항의 각각의 방법의 동작들을 수행하게 하는 명령어들을 저장하는 하나 이상의 컴퓨터 저장 매체.
삭제