KR102392798B1 - 화재 감시 방법 및 화재 감시를 위한 신경망 모델의 블록체인 기반 학습 방법 - Google Patents

화재 감시 방법 및 화재 감시를 위한 신경망 모델의 블록체인 기반 학습 방법 Download PDF

Info

Publication number
KR102392798B1
KR102392798B1 KR1020190161454A KR20190161454A KR102392798B1 KR 102392798 B1 KR102392798 B1 KR 102392798B1 KR 1020190161454 A KR1020190161454 A KR 1020190161454A KR 20190161454 A KR20190161454 A KR 20190161454A KR 102392798 B1 KR102392798 B1 KR 102392798B1
Authority
KR
South Korea
Prior art keywords
fire monitoring
update information
monitoring model
node
fire
Prior art date
Application number
KR1020190161454A
Other languages
English (en)
Other versions
KR20210071359A (ko
Inventor
방승온
Original Assignee
(주)지와이네트웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)지와이네트웍스 filed Critical (주)지와이네트웍스
Priority to KR1020190161454A priority Critical patent/KR102392798B1/ko
Publication of KR20210071359A publication Critical patent/KR20210071359A/ko
Priority to KR1020220051649A priority patent/KR102629521B1/ko
Application granted granted Critical
Publication of KR102392798B1 publication Critical patent/KR102392798B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/06—Electric actuation of the alarm, e.g. using a thermally-operated switch
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

본 발명은 화재 감시 모델의 학습 방법에 관한 것으로, 카메라로부터 촬영되는 영상에 대하여 적어도 하나의 합성 곱(Convolution) 연산을 수행하는 화재 감시 모델을 블록체인의 각 노드에 대응되는 적어도 하나의 화재 감시 모듈이 이용 가능하도록 배포(Release)하는 단계; 상기 배포된 화재 감시 모델의 화재 감시 결과에 따라 생성된 상기 화재 감시 모델의 갱신 정보를 각 노드가 수신하는 단계; 및 상기 갱신 정보를 각 노드가 검증하고 검증된 갱신 정보를 이용하여 상기 화재 감시 모델을 업데이트하는 단계를 포함하는 것을 특징으로 하는 화재 감시 모델의 블록체인 기반 학습 방법.

Description

화재 감시 방법 및 화재 감시를 위한 신경망 모델의 블록체인 기반 학습 방법{Method for detecting fire, and learning neural network model for fire detection based on block chain system}
본 발명은 신경망 모델 기반의 화재 감시 방법에 관한 것으로, 보다 상세하게는 블록체인 기술을 이용한 화재 감시 모델의 학습 방법에 관한 것이다.
화재는 발생시 인적, 물적으로 방대한 피해를 발생시키므로, 예방과 조기 탐사가 필요한 분야로 이를 위한 센싱 기술들이 개발되고 있으며, 화재의 발생을 판단하는 제품 들이 다양한 형태로 상용화 되고 있다.
하지만 열이나 연기 또는 불꽃을 판단하는 기존의 센서의 경우 국소적인 영역에 대해서만 판단이 가능하고, 주변 환경에 따라 감지 오류가 쉽게 발생될 수 있으므로 보다 광범위한 영역의 화재 발생을 감지하는데 한계가 있다.
최근에는 인공지능 기술의 발달로, 다양한 분야에 인공지능 기술들이 적용되고 있다. 특히 이미지 내 객체의 검출 및 추적 분야에 주로 인공지능 기술이 적용되고 있으며, 종래의 이미지 처리에 비해 빠른 시간 내에 객체를 검출하고 추적할 수 있는 장점이 있다.
따라서, 이러한 인공지능 기술을 CCTV 영상에 적용하여 주변 환경의 영향이 적고 개방된 넓은 지역을 모니터링 하는 지능형 감시 시스템이 운용되고 있으며 이를 이용하여 화재를 감지하는 기술이 개발되고 있다.
인공지능에서 이용하는 인공 신경망(Artificial Neural Network) 모델은 이미지 내 객체로서 화재와 관련된 화염이나 연기의 검출을 위해 학습되어 종래의 이미지 처리에 비해 빠른 시간 내에 화재를 감지할 수 있는 장점이 있다.
다만, 이러한 하지만 화재와 같은 재난, 재해의 상황의 데이터는 규칙성이 적고 일반 객체의 인식에 이용되는 데이터보다 학습 데이터의 확보가 어려운 문제가 있어, 신경망의 학습을 위해 많은 비용과 시간이 소요될 수 있다.
따라서, 실제 감시되는 영상을 학습 데이터로 이용하여 신경망 모델을 학습 시킬 필요가 있으며 복수의 영상의 감시 결과를 효율적으로 관리하고 다양한 지역에 배포된 신경망 모델을 지속적으로 업데이트 할 필요가 있다.
상술한 기술적 과제를 해결하기 위해 본 발명은 화재 감시를 위한 신경망 모델의 효율적인 학습 및 관리 방법을 제안하는 것을 목적으로 한다.
또한, 본 발명은 로컬에서 촬영되는 다양한 영상을 기반으로 화재 감시 모델이 학습하는 방법을 제안하는 것을 목적으로 한다.
또한, 본 발명은 화재 감시 모델을 블록체인 시스템을 이용하여 효율적으로 관리하는 방법을 제안하는 것을 목적으로 한다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 화재 감시 모델의 블록체인 기반 학습 방법은 카메라로부터 촬영되는 영상에 대하여 적어도 하나의 합성 곱(Convolution) 연산을 수행하는 화재 감시 모델을 블록체인의 각 노드에 대응되는 적어도 하나의 화재 감시 모듈이 이용 가능하도록 배포(Release)하는 단계; 상기 배포된 화재 감시 모델의 화재 감시 결과에 따라 생성된 상기 화재 감시 모델의 갱신 정보를 각 노드가 수신하는 단계; 및 상기 갱신 정보를 각 노드가 검증하고 검증된 갱신 정보를 이용하여 상기 화재 감시 모델을 업데이트하는 단계를 포함한다.
상기 갱신 정보는 상기 화재 감시 모듈을 통해 제공된 화재 감시 결과에 대한 사용자 응답을 이용하여 생성되는 것이 바람직하다.
상기 수신하는 단계는 상기 화재 감시 모델의 출력 값과 사용자 응답을 비교하여 상기 합성 곱 연산을 수행하는 레이어의 가중치 변경 정보를 갱신 정보로 수신하는 것이 바람직하다.
상기 업데이트하는 단계는, 각 노드에서 상기 수신된 갱신 정보를 블록체인 시스템 기반으로 검증하고, 검증된 갱신 정보를 이용하여 각 노드에 배포된 화재 감시 모델을 업데이트 하는 것이 바람직하다.
상기 블록체인 시스템은 상기 업데이트 되는 화재 감시 모델의 버전을 관리하고 업데이트된 화재 감시 모델을 각 화재 감시 모듈로 재 배포하는 단계를 더 포함한다.
상기 화재 감시 모델은 촬영된 영상을 입력으로 일회성의 갱신 정보를 생성하는 것이 바람직하다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 화재 감시 모델의 블록체인 기반 학습 시스템은 카메라로부터 촬영되는 영상에 대하여 적어도 하나의 합성 곱(Convolution) 연산을 수행하는 화재 감시 모델을 블록체인의 각 노드에 대응되는 적어도 하나의 화재 감시 모듈이 이용 가능하도록 배포(Release)하는 화재 감시 모델 제공부; 상기 배포된 화재 감시 모델의 화재 감시 결과에 따라 생성된 상기 화재 감시 모델의 갱신 정보를 각 노드가 수신하는 갱신 정보 수신부; 및 상기 갱신 정보를 각 노드가 검증하고 검증된 갱신 정보를 이용하여 상기 화재 감시 모델을 업데이트하는 화재 감시 모델 업데이트부를 포함한다.
상기 갱신 정보는 상기 사용자 단말을 통해 제공된 신분증 인식 결과에 대한 사용자 응답을 이용하여 생성되는 것이 바람직하다.
상기 업데이트부는, 각 노드에서 상기 수신된 갱신 정보를 블록체인 시스템 기반으로 검증하고, 검증된 갱신 정보를 이용하여 각 노드에 배포된 화재 감시 모델을 업데이트 하는 것이 바람직하다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 화재 감시 모델의 블록체인 기반 감시 방법은 감시 영상을 입력 받는 단계; 상기 입력된 감시 영상에 대하여 적어도 하나의 합성 곱 연산을 수행하는 화재 감시 모델을 이용하여 화재 감시 결과를 출력하는 단계; 상기 화재 감시 결과를 이용하여 상기 화재 감시 모델을 학습하고 상기 합성 곱 연산에 대한 갱신 정보를 생성하는 단계; 및, 상기 갱신 정보를 상기 화재 감시 모델을 관리하는 블록체인 시스템 내 노드로 송신하는 단계를 포함한다.
본 발명에 따르면, 실제 촬영되는 영상을 학습 데이터로 학습에 이용할 수 있으며 이를 통해 화재 감시 모델의 성능을 높일 수 있다.
또한, 본 발명에 따르면 각각의 감시 영역에서 수행되어 생성된 갱신 정보를 블록체인 시스템을 기반으로 효율적으로 검증하여 화재 감시 모델을 업데이트 할 수 있다.
또한, 본 발명에 따르면 블록체인 시스템을 이용하여 화재 감시 모델의 업데이트 시 불필요한 정보의 유출을 방지할 수 있다.
도 1은 본 발명의 일 실시예에 따른 블록체인 기반 화재 감시 모델이 동작하는 시스템 구성을 예시하는 도이다.
도 2는 본 발명의 일 실시예에 따른 블록체인 기반 화재 감시 모듈의 동작을 예시하는 도이다.
도 3은 본 발명의 일 실시예에 따른 블록체인 시스템의 구성을 예시하는 도이다.
도 4는 본 발명의 일 실시예에 따른 블록체인 시스템을 구성하는 노드 동작을 예시하는 도이다.
도 5는 본 발명의 일 실시예에 따른 블록체인 시스템을 통한 화재 감시 모델의 업데이트 방법을 예시하는 도이다.
도 6은 본 발명의 일 실시예에 따른 블록체인 시스템의 노드 구성을 예시하는 도이다.
도 7은 본 발명의 일 실시예에 따른 블록체인 기반 화재 감시 모듈의 동작을 예시하는 도이다.
이하의 내용은 단지 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시 되지 않았지만 발명의 원리를 구현하고 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이외같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.
또한, 발명을 설명함에 있어서 발명과 관련된 공지 기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예에 대해 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 블록체인 기반 화재 감시 모델(25)이 동작하는 시스템 구성을 예시하는 도이다.
도 1을 참조하면, 본 실시예에 따른 화재 감시 방법은 블록체인 시스템(1000) 상에 구현될 수 있다.
화재 감시 방법은 블록체인 시스템(1000)을 구성하는 각각의 노드(100)와, 각 노드(100)와 연계된 화재 감시 모듈(200)들로 구현될 수 있다.
블록체인 시스템(1000)은 화재 감시 모듈(200)에 이용되는 프로그램을 각각의 노드(100)를 통해 관리하고, 감시 모듈(200)에 대응되는 노드(100)를 통해 프로그램을 배포할 수 있다.
각각의 노드(100)는 각각의 화재 감시 모듈(200)과 직접 대응되거나 또는 감시 영역을 단위로 복수의 감시 모듈(200)과 대응될 수 있다.
이때, 화재 감시 모듈(200)은 예를 들어 복수의 CCTV(Closed Circuit Television)(11, 12, 13)와 같은 영상 촬영 장치를 포함하여 구성될 수 있으며, 감시 영역에 대하여 설치된 CCTV로부터 획득된 영상을 분석하고 화재 감시 정보를 사용자(5)에게 제공할 수 있다.
화재 감시 모듈(200)이 이용하는 프로그램은 인공 신경망(Artificial Neural Network)기반으로 구현될 수 있다. 화재 감시 모듈(200)은 촬영되는 영상을 학습된 신경망 모델을 이용하여 스스로 분석하고 화재와 관련된 화염이나 연기가 존재하는 지 여부를 판단하여 화재 발생을 사용자(5)에게 알려 줄 수 있다.
본 실시예에서는 블록체인 네트워크에서 일반적으로 거래의 유효 증명을 수행하는 노드(100)를 단위로 화재 감시에 이용되는 신경망 모델을 관리하고, 신경망 모델의 학습 시 생성되는 갱신 정보의 유효성을 검증할 수 있다.
또한, 노드(100) 별로 신경망 모델을 포함하는 프로그램 또는 어플리케이션의 버전을 관리할 수 있으며, 마스터 노드를 별도로 구성하고 이를 통해 마스터 신경망 모델을 관리하여 예측 성능을 지속적으로 업그레이드 할 수 있다.
이하, 도 2를 참조하여 본 발명의 일 실시예에 따른 화재 감시 모듈(200)의 동작 방법에 대하여 설명한다.
본 실시예에서 화재 감시 모듈(200)은 각 촬영 장치(11)로부터 촬영된 영상을 신경망 모델 기반의 화재 감시 모델(25)을 이용하여 직접 분석하고 분석 결과를 사용자(5)에게 알려줄 수 있다.
화재 감시 모델(25)은 입력된 영상을 통해 화재 감시를 수행하고 학습하는 알고리즘 또는 프로그램이며, 딥 뉴럴 네트워크(Deep Neural Network)라고도 한다. 화재 감시 모델(25)은 촬영 영상을 입력 값으로, 인식 결과인 화재 발생 여부 및 영상 내 위치를 출력 값으로 생성한다. 또한, 출력 값을 이용하여 기 설계된 모델 내 신경망 네트워크를 더욱 학습시킬 수 있다.
따라서, 사용자(5)는 화재 감시 모듈(200)의 분석 결과를 확인하고 화재 발생에 따른 경고를 발생시킬 수 있으며 이와 함께 분석 결과를 검증하는 사용자(5) 응답을 생성하여 입력하는 것도 가능하다.
예를 들어, 화재 감시 모듈(200)은 신경망 기반의 화재 감시 모델(25)을 이용하여 영상 내 화염의 존재 여부와 존재 시 화염의 위치를 좌표 값으로 출력할 수 있는데, 이를 사용자(5)가 확인하고 결과의 진위 여부(TRUE or FALSE)를 응답으로 생성할 수 있다.
만약, 화재 감시 모델(25)의 출력 결과가 오답인 경우 사용자(5)는 이에 대한 사용자(5) 응답을 감시 모듈(200)로 제공하고 감시 모듈(200)은 신경망 모델의 학습을 위한 갱신 정보(20)를 생성할 수 있다.
즉, 본 실시예에서 화재 감시 모델(25)의 학습은 실제 촬영되는 영상에 대한 사용자 응답을 통해 이루어 질 수 있으며 이러한 갱신 정보(20)는 감시 모듈(200)을 통해 대응되는 노드(100)로 전달되어 유효성의 검증 후에 갱신에 이용될 수 있다.
또한, 갱신 정보(20)는 블록체인 네트워크에서 관리되는 블록으로 구성될 수 있으며 노드(100)는 갱신 정보(20)의 유효성을 검증하고 유효한 경우에는 신규 블록으로 생성하고, 전체 신경망 모델을 업데이트 하는데 이용될 수 있다.
즉, 본 실시예에서는 블록체인 네트워크 기반으로 화재 감시 모델(25)을 관리하며 업데이트 이력은 블록 체인으로 관리 될 수 있으며, 임의로 화재 감시 모델(25)을 변경하는 것을 불가능하도록 한다.
또한, 본 실시예에서 노드(100)는 수신된 복수의 갱신 정보(20)의 유효성을 검증하는 것도 가능하다.
도 3을 참조하면, 본 실시예에서 블록체인 시스템(1000)의 노드(100)는 복수개의 감시 모듈(200)에 대응될 수 있으며, 따라서 복수 개의 갱신 정보(20)를 동시에 또는 일정 기간 내에 수신할 수 있다.
이를 수신한 노드(100)는 갱신 정보를 취합하고, 유효성을 검증하여 실제 화재 감시 과정에서 생성된 갱신 정보인지를 판단할 수 있다. 또는 갱신 정보를 생성한 화재 감시 모델(25)의 버전 정보를 함께 고려하여 유효성을 검증하는 것도 가능하다.
나아가, 복수의 갱신 정보가 수신되는 경우 본 실시예에서의 노드(100)는 특정 감시 영역에 대응되어 단위 영역을 관리하는 주체로 생성될 수 있으므로 공간 상의 특징을 기초로 갱신 정보의 일관성을 이용하여 유효성을 검증하는 것도 가능하다.
예를 들어 특정 노드(100)와 인접한 노드는 서로 유사한 위치의 영역을 감시하는 감시 모듈(200)들에 대응될 수 있으므로 갱신 정보의 특징에 일관성 또는 유사성이 있는지를 확인하고 유효성을 검증할 수 있다. 일관성 또는 유사성은 화재 발생의 물리적, 시간적 관련성을 기초로 판단될 수 있다.
또는 유효성의 검증을 위해 일반적으로 블록체인의 분산합의 알고리즘을 이용하는 것도 가능하다.
본 실시예에 따르면 블록체인 시스템(1000)을 통해 각각의 노드(100) 별로 갱신 정보를 생성하고 유효성을 검증하므로, 중앙 집중화 된 기존의 신경망 모델 관리 방식에 비해 여러 이점이 있다.
중앙의 특정 서버가 직접 신경망 모델의 모든 입력 데이터를 수신하고 이를 통해 학습을 수행하는 경우 개별적으로 입력 데이터의 학습 가능성을 판단하는 데이터 정제 작업이 필요할 수 있는데 이에 따른 리소스를 절감할 수 있다.
또한, 본 실시예에 따른 화재 감시 모델은 실제 촬영되는 영상을 이용하여 학습을 수행하므로 중앙의 특정 서버는 영상 내 화재와 관련된 정보 외 다양한 정보들을 수신할 수 있다.
예를 들어, 영상 내 특정 시설의 설계 정보, 작업자 개인의 개인 정보 등이 포함될 수 있으며 이를 중앙 집중화 하여 관리하게 되면 비밀 정보의 유출 가능성이 있으므로, 개인 정보의 관리에 비용이 발생될 수 있다.
하지만, 본 실시예에 따르면 블록체인 네트워크(1000)의 노드(100)를 기준으로 각 화재 감시 모델(25)의 갱신 정보를 로컬 단에서 생성하고, 생성된 갱신 정보는 화재 감시 모델(25)의 네트워크 레이어들에 대한 정보로서 촬영된 영상과는 다른 데이터이므로 정보 유출에 따른 위험 요소가 제거될 수 있다.
이하, 도 4를 참고하여 본 실시예에 따른 블록체인 기반 화재 감시 모델의 학습 방법에 대하여 설명한다.
학습을 위해 화재 감시 모델(25)을 배포한다(42). 본 실시예에서 화재 감시 모델(25)은 블록체인 시스템(1000)을 이용하여 각각의 노드(100)에 대응되는 화재 감시 모듈(200)로 배포될 수 있다.
각 노드(100)는 화재 감시 모델(25)의 화재 감시 결과에 따른 갱신 정보를 수신할 수 있다(44).
갱신 정보와 관련하여 도 5를 참고하여 보다 상세히 설명하면, 갱신 정보는 화재 감시 모델(25)의 감시 결과와 사용자 응답을 이용하여 생성될 수 있다. 또한 갱신 정보는 구체적으로 화재 감시 모델(25)의 신경망 네트워크를 구성하는 레이어의 갱신 값으로 구성될 수 있다.
도 5를 참조하면 화재 감시 모델(25)은 CNN(Convolution Neural Network) 알고리즘을 기반으로 설계될 수 있다. 화재 감시 모델(25)은 입력된 영상(50)에 대해 합성곱(Convolution)을 수행하는 적어도 하나 이상의 레이어로 구성될 수 있으며, 각각의 레이어는 입력된 영상에 다양한 크기의 필터를 적용하여 픽셀 값들에 대한 합성곱 연산을 수행할 수 있다.
수행된 결과는 최종적으로 완전 연결 레이어(FC(fully-connected) Layer)를 통해 객체의 존재여부, 객체의 위치, 객체의 의미 등의 설계된 결과를 출력할 수 있으며, 본 실시예에서 화재 감시 모델(25)은 입력된 영상 내 화염이나 연기의 존재 여부 및 위치를 결과로 생성할 수 있다.
감시 모듈(200)의 디스플레이 장치를 통해 출력된 결과를 사용자에게 표시하고, 감시 결과의 진위 여부를 확인하여 입력하도록 할 수 있다. 또는 직접 사용자에게 잘못 인식된 영역을 지정하거나 직접 수정할 수 있도록 인터페이스를 제공하여 변경하도록 하는 것도 가능하다.
이상의 사용자 인터페이스를 통해 감시 결과에 대한 사용자의 응답을 수신하면 화재 감시 모델(25)의 감시 결과에 사용자의 응답을 반영하고, 사용자의 응답이 반영된 감시 결과를 화재 감시 모델(25)의 입력으로 오류 값을 발생시킨 네트워크 레이어의 수정 값을 계산할 수 있다.
구체적으로, 화재 감시 모델(25)의 갱신을 위해서는 역 전파(back-propagation) 과정을 이용하여 레이어의 오차를 계산하고 오차를 발생시킨 레이어에 적용된 필터의 가중치를 갱신하는 방식으로 학습이 수행될 수 있다.
또는, 사용자의 응답이 반영된 갱신 결과를 화재 감시 모델(25)의 최종 정답으로 피드 포워드(Feed Forward) 과정을 통해 오차 값들을 갱신 정보로 생성하는 것도 가능하다. 이 때에는 생성된 오차 값들을 감시 모듈(200)은 노드(100)로 전송하고 마스터 노드(미도시)는 수신된 오차 값들을 이용하여 이전 버전의 화재 감시 모델(25)의 네트워크에 역 전파를 수행하고 갱신을 수행하는 것도 가능하다.
이때, 본 실시예에서는 블록체인 시스템(1000)의 노드(100)를 기초로 갱신을 수행하므로 갱신 이전에, 수신된 갱신 정보의 유효성을 분산 합의 방식으로 검증할 수 있다(46).
갱신 정보의 유효성이 검증되면 화재 감시 모델(25)을 업데이트할 수 있다(48). 업데이트된 화재 감시 모델(25)은 블록체인 시스템(1000) 내 블록으로 버전이 관리될 수 있으며 따라서 임의로 화재 감시 모델(25)을 변경하는 것이 불가능하게 된다.
따라서, 외부의 해킹이나 악성 코드로부터 화재 감시 모델(25)이 변경되어 오동작하는 상황을 방지할 수 있으며 각 지역에 분포된 다양한 화재 감시 모듈(200)로부터 수행된 학습 결과를 이용하여 화재 감시 모델(25)을 갱신하므로, 전체 화재 감시 시스템의 성능을 안정적으로 향상 시킬 수 있다.
이하, 도 6을 참조하여 본 발명의 일 실시예에 따른 블록체인 시스템(1000)의 노드(100)의 구성에 대하여 설명한다.
도 6을 참고하면, 본 실시예에 따른 노드(100)는 화재 감시 모델 제공부(110), 갱신 정보 수신부(120), 갱신 정보 검증부(130), 화재 감시 모델 업데이트부(140)를 포함할 수 있다.
화재 감시 모델 제공부(110)는 본 실시예에 따라 촬영된 영상 내 화재 상황의 존재 여부를 판단하는 프로그램을 실제 감시를 수행하는 감시 모듈(200)로 제공할 수 있다.
감시 모듈(200)은 웹으로부터 직접 화재 감시 모델(25)을 다운로드 받거나, 설치 후 웹을 통해 인증하는 방식으로 특정 노드(100)에 대응될 수 있으며, 감시 모듈(200)이 설치된 컴퓨터 프로세서가 직접 블록체인 시스템(1000)의 노드(100)로 구성되는 것도 가능하다.
갱신 정보 수신부(120)는 대응되는 감시 모듈(200)에서 수행된 감시 결과를 통해 생성된 갱신 정보를 수신한다.
이때 갱신 정보는 감시 결과와 감시 결과에 대한 사용자의 응답을 화재 감시 모델(25)이 학습하여 생성된 정보일 수 있으며, 구체적으로 감시 모델을 업데이트 하기 위한 특정 네트워크 레이어의 변경 값들을 포함할 수 있다.
갱신 정보는 화재 감시 모델(25)의 신경망 네트워크를 구성하는 적어도 하나 이상의 레이어들의 수정 정보를 포함하며, 레이어 별로 이용되는 필터의 가중치를 변경하는 값 들로 구성될 수 있다.
갱신 정보 검증부(130)는 수신된 갱신 정보를 블록체인 시스템(1000)을 이용하여 유효성을 검증할 수 있다.
유효성은 블록체인 시스템(1000)의 특성을 이용하여 분산 합의 방식에 의해 검증될 수 있으며, 노드(100)의 지리적 특성 및 갱신 정보 생성의 시기적 특성 들을 고려하여 유효성을 검증하는 것도 가능하다.
화재 감시 모델 업데이트부(140)는 갱신 정보가 검증되면 화재 감시 모델(25)을 업데이트 한다. 구체적으로 직접 노드(100)에서 감시 모듈(200)로 배포되는 화재 감시 모델(25)을 업데이트 하는 것도 가능하며 또는 업데이트 요청을 전체 마스터 화재 감시 모델을 관리하는 마스터 노드에 요청하는 방식으로 수행되는 것도 가능하다.
이상의 과정을 통해 생성된 갱신 정보는 블록체인 시스템(1000)을 이용하여 유효성 검증 후에 업데이트에 이용되므로 임의로 신경망 모델을 변경시키는 것이 불가능하며 따라서 화재 감시와 같이 위험한 상황에 적용되는 신경망 모델들의 안정성을 향상 시킬 수 있다.
또한, 다양한 환경에서 획득되는 갱신 정보를 안정적으로 업데이트에 이용할 수 있으며 로컬에서 수행되어 학습된 결과를 반영한 것으로, 사용자의 실제 사용환경에 대한 강인한 적응성을 갖게 된다.
이하, 도 7을 참조하여 본 실시예에 따른 화재 감시 모듈(200)이 화재 감시 및 갱신 정보를 생성하는 방법에 대하여 설명한다.
먼저, 화재 감시 모듈(200)은 촬영 장치로부터 감시 영상을 입력 받을 수 있다(72). 구체적으로 CCTV로부터 촬영된 영상이나 드론, IR(Infrared) 카메라 등 다양한 환경에서 영상을 수집할 수 있는 장치로부터 촬영된 영상을 감시 영상으로 입력 받을 수 있다.
감시 영상이 입력되면, 화재 감시 결과를 출력할 수 있다(74).
출력된 결과를 통해 사용자(5)가 이를 확인하고 화재 경보를 울리거나, 또는 화재 감시 결과의 확률 값에 따라 자동으로 화재 경보를 동작 시키는 것도 가능하다. 또는 사용자(5)가 판단하여 화재 상황이 아닌 경우 이를 잘못된 판단으로 확인하는 것도 가능하다.
즉, 본 실시예에서는 화재 감시 모델(25)을 통한 신속한 화재 상황 대응 외에 사용자(5)의 응답을 이용하여 화재 감시 모델(25)의 학습 과정을 수행하는 것도 가능하다(76). 화재 감시 모델(25)의 결과가 잘못된 경우 촬영된 영상에 대하여 출력된 감시 결과와 사용자(5)의 응답을 이용하여 화재 감시 모델(25)의 학습을 수행할 수 있다.
학습을 수행하고 화재 감시 모델(25)은 갱신 정보를 생성할 수 있다(78).
구체적으로 학습 과정에서 변경이 필요한 화재 감시 모델(25)의 네트워크 레이어의 갱신 정보를 생성할 수 있다. 역전파 알고리즘이나 피드 포워드 등의 방식이 이용될 수 있다.
이상의 과정을 통해 생성된 갱신 정보를 감시 모듈(200)은 블록체인 시스템(1000)의 노드(100)로 송신할 수 있다(80). 다음 노드(100)는 수신된 갱신 정보를 상술한 바와 같이 블록체인 시스템(1000)을 이용하여 검증하고 실제 업데이트에 이용되도록 할 수 있다.
본 발명에 따르면, 실제 촬영되는 영상을 학습 데이터로 학습에 이용할 수 있으며 이를 통해 화재 감시 모델(25)의 성능을 높일 수 있다.
또한, 본 발명에 따르면 각각의 감시 영역에서 수행되어 생성된 갱신 정보를 블록체인 시스템(1000)을 기반으로 효율적으로 검증하여 화재 감시 모델(25)을 업데이트 할 수 있다.
또한, 본 발명에 따르면 블록체인 시스템(1000)을 이용하여 화재 감시 모델(25)의 업데이트에 따른 불필요한 정보의 유출을 방지할 수 있다.
이상, 여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어 모듈 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 씌여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리 모듈에 저장되고, 제어모듈에 의해 실행될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (12)

  1. 컴퓨터 프로세서로 구성된 블록체인 시스템에서 수행되는 화재 감시 모델의 블록체인 기반 학습 방법에 있어서,
    카메라로부터 촬영되는 영상에 대하여 적어도 하나의 합성 곱(Convolution) 연산을 수행하는 화재 감시 모델을 블록체인의 각 노드에 대응되는 적어도 하나의 화재 감시 모듈이 이용 가능하도록 배포(Release)하는 단계;
    상기 배포된 화재 감시 모델의 화재 감시 결과에 따라 생성된 상기 화재 감시 모델의 갱신 정보를 각 노드가 수신하는 단계; 및
    상기 갱신 정보를 각 노드가 검증하고 검증된 갱신 정보를 이용하여 상기 화재 감시 모델을 업데이트하는 단계를 포함하고,
    상기 노드는 특정 감시 영역에 대응하여 단위 영역을 기준으로 구성되되,
    상기 갱신 정보를 수신한 노드는 복수 개의 갱신 정보를 동시 또는 일정 기간 내에 수신하여 화재 발생의 시간적 관련성을 검증하되,
    단위 영역 간 위치 유사성을 갖는 인접 노드를 통해 상기 수신된 갱신 정보의 물리적 일관성을 검증하고,
    상기 갱신 정보는 상기 화재 감시 모듈의 출력 값과 사용자 응답을 비교하여 상기 합성 곱 연산을 수행하는 레이어의 가중치 변경 정보로서 상기 검증 결과에 따라 마스터 노드를 통해 상기 화재 감시 모듈 내 화재 감시 모델의 업데이트에 이용되는 것을 특징으로 하는 화재 감시 모델의 블록체인 기반 학습 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 블록체인 시스템은 상기 업데이트 되는 화재 감시 모델의 버전을 관리하고 업데이트된 화재 감시 모델을 각 화재 감시 모듈로 재 배포하는 단계를 더 포함하는 것을 특징으로 하는 화재 감시 모델의 블록체인 기반 학습 방법.
  6. 제 1 항에 있어서,
    상기 화재 감시 모델은 촬영된 영상을 입력으로 일회성의 갱신 정보를 생성하는 것을 특징으로 하는 화재 감시 모델의 블록체인 기반 학습 방법.
  7. 카메라로부터 촬영되는 영상에 대하여 적어도 하나의 합성 곱(Convolution) 연산을 수행하는 화재 감시 모델을 블록체인의 각 노드에 대응되는 적어도 하나의 화재 감시 모듈이 이용 가능하도록 배포(Release)하는 화재 감시 모델 제공부;
    상기 배포된 화재 감시 모델의 화재 감시 결과에 따라 생성된 상기 화재 감시 모델의 갱신 정보를 각 노드가 수신하는 갱신 정보 수신부; 및
    상기 갱신 정보를 각 노드가 검증하고 검증된 갱신 정보를 이용하여 상기 화재 감시 모델을 업데이트하는 화재 감시 모델 업데이트부를 포함하고,
    상기 노드는 특정 감시 영역에 대응하여 단위 영역을 기준으로 구성되되,
    상기 갱신 정보를 수신한 노드는 복수 개의 갱신 정보를 동시 또는 일정 기간 내에 수신하여 화재 발생의 시간적 관련성을 검증하되,
    단위 영역 간 위치 유사성을 갖는 인접 노드를 통해 상기 수신된 갱신 정보의 물리적 일관성을 검증하고,
    상기 갱신 정보는 상기 화재 감시 모듈의 출력 값과 사용자 응답을 비교하여 상기 합성 곱 연산을 수행하는 레이어의 가중치 변경 정보로서 상기 검증 결과에 따라 마스터 노드를 통해 상기 화재 감시 모듈 내 화재 감시 모델의 업데이트에 이용되는 것을 특징으로 하는 화재 감시 모델의 블록체인 기반 학습 시스템.
  8. 삭제
  9. 삭제
  10. 컴퓨터 프로세서로 구성된 블록체인 시스템에서 수행되는 화재 감시 모델의 블록체인 기반 감시 방법에 있어서,
    감시 영상을 입력 받는 단계;
    상기 입력된 감시 영상에 대하여 적어도 하나의 합성 곱 연산을 수행하는 화재 감시 모델을 이용하여 화재 감시 결과를 출력하는 단계;
    상기 화재 감시 결과를 이용하여 상기 화재 감시 모델을 학습하고 상기 합성 곱 연산에 대한 갱신 정보를 생성하는 단계; 및,
    상기 갱신 정보를 상기 화재 감시 모델을 관리하는 블록체인 시스템 내 노드로 송신하는 단계를 포함하고,
    상기 노드는 특정 감시 영역에 대응하여 단위 영역을 기준으로 구성되되,
    상기 갱신 정보를 수신한 노드는 복수 개의 갱신 정보를 동시 또는 일정 기간 내에 수신하여 화재 발생의 시간적 관련성을 검증하되,
    단위 영역 간 위치 유사성을 갖는 인접 노드를 통해 상기 수신된 갱신 정보의 물리적 일관성을 검증하고,
    상기 갱신 정보는 화재 감시 모델의 출력 값과 사용자 응답을 비교하여 상기 합성 곱 연산을 수행하는 레이어의 가중치 변경 정보로서 상기 검증 결과에 따라 마스터 노드를 통해 화재 감시 모듈 내 상기 화재 감시 모델의 업데이트에 이용되는 것을 특징으로 하는 화재 감시 모델의 블록체인 기반 감시 방법.
  11. 삭제
  12. 하나 이상의 컴퓨터들 및 상기 하나 이상의 컴퓨터들에 의해 실행될 때 상기 하나 이상의 컴퓨터들로 하여금 제 1 항, 제 5 항 내지 제 7 항 및 제 10 항 중 어느 한 항의 각각의 방법의 동작들을 수행하게 컴퓨터가 판독 가능한 기록 매체에 저장된 프로그램.
KR1020190161454A 2019-12-06 2019-12-06 화재 감시 방법 및 화재 감시를 위한 신경망 모델의 블록체인 기반 학습 방법 KR102392798B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190161454A KR102392798B1 (ko) 2019-12-06 2019-12-06 화재 감시 방법 및 화재 감시를 위한 신경망 모델의 블록체인 기반 학습 방법
KR1020220051649A KR102629521B1 (ko) 2019-12-06 2022-04-26 분산된 노드 기반의 신경망 학습 및 학습된 신경망 모델을 통한 지능형 영상 감시 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190161454A KR102392798B1 (ko) 2019-12-06 2019-12-06 화재 감시 방법 및 화재 감시를 위한 신경망 모델의 블록체인 기반 학습 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220051649A Division KR102629521B1 (ko) 2019-12-06 2022-04-26 분산된 노드 기반의 신경망 학습 및 학습된 신경망 모델을 통한 지능형 영상 감시 방법

Publications (2)

Publication Number Publication Date
KR20210071359A KR20210071359A (ko) 2021-06-16
KR102392798B1 true KR102392798B1 (ko) 2022-05-02

Family

ID=76603238

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190161454A KR102392798B1 (ko) 2019-12-06 2019-12-06 화재 감시 방법 및 화재 감시를 위한 신경망 모델의 블록체인 기반 학습 방법
KR1020220051649A KR102629521B1 (ko) 2019-12-06 2022-04-26 분산된 노드 기반의 신경망 학습 및 학습된 신경망 모델을 통한 지능형 영상 감시 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220051649A KR102629521B1 (ko) 2019-12-06 2022-04-26 분산된 노드 기반의 신경망 학습 및 학습된 신경망 모델을 통한 지능형 영상 감시 방법

Country Status (1)

Country Link
KR (2) KR102392798B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102494247B1 (ko) * 2021-09-09 2023-02-06 ㈜노웨어소프트 블록체인 네트워크를 이용한 화재 모니터링 제어 장치, 이를 포함하는 화재 모니터링 제어 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109716346A (zh) * 2016-07-18 2019-05-03 河谷生物组学有限责任公司 分布式机器学习系统、装置和方法
KR101967645B1 (ko) * 2017-03-16 2019-08-13 한국기술교육대학교 산학협력단 퍼지로직과 딥러닝 통합 기반의 화재 감지 장치 및 방법
US20190279082A1 (en) 2018-03-07 2019-09-12 Movidius Ltd. Methods and apparatus to determine weights for use with convolutional neural networks

Also Published As

Publication number Publication date
KR102629521B1 (ko) 2024-01-25
KR20210071359A (ko) 2021-06-16
KR20220061071A (ko) 2022-05-12

Similar Documents

Publication Publication Date Title
US9342223B2 (en) System and method for virtual region based access control operations using BIM
US10129047B2 (en) Home automation system deployment
JP7072700B2 (ja) 監視システム
KR20240014569A (ko) 감시 데이터 제공 시스템 및 방법
CN104991528B (zh) Dcs信息安全控制方法及控制站
US11741691B2 (en) Distributed learning method, server and application using identification card recognition model, and identification card recognition method using the same
KR102629521B1 (ko) 분산된 노드 기반의 신경망 학습 및 학습된 신경망 모델을 통한 지능형 영상 감시 방법
US20190347366A1 (en) Computer-aided design and analysis method for physical protection systems
KR102293431B1 (ko) Cctv 관제 시스템 업데이트 방법 및 cctv 관제 시스템 업데이트 장치
Fleming et al. Cyberphysical security through resiliency: A systems-centric approach
KR102299704B1 (ko) 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템
KR20220036672A (ko) 데이터 기반의 3d 시각화가 가능한 관제 시스템 및 방법
KR20210013865A (ko) 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템 및 방법
CN115880631A (zh) 一种配电站故障识别系统、方法、介质
KR20210051641A (ko) 네트워크 장비의 전원 제어 시스템 및 그 방법
KR102596077B1 (ko) 인공지능 기반 공공 화장실 및 우범 지역의 거동수상자 감지 및 판별 방법 및 시스템
KR102584863B1 (ko) 증강현실 및 건물 속성 정보를 기반으로 한 소방설비 관리 및 점검 장치
US20230044156A1 (en) Artificial intelligence-based system and method for facilitating management of threats for an organizaton
KR102510116B1 (ko) 영상 내 범죄 행위 인식 및 위험 객체의 이동 경로를 추적하는 방법, 장치 및 컴퓨터-판독 가능 기록 매체
Drago Methods and techniques for enhancing physical security of critical infrastructures
JP7473886B2 (ja) 学習データ作成システム、学習データ作成方法、および学習済みモデル
KR102658563B1 (ko) 영상 감시장치, 영상 분석 서버장치 및 그 학습 방법들
Li et al. Unified Physical Threat Monitoring System Aided by Virtual Building Simulation
KR101921911B1 (ko) 물리보안 정보관리 시스템 및 그 방법
TWM616232U (zh) 攝像系統

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant