KR101552564B1 - 가스센서 및 ip네트워크 카메라 기반 융합 보안 시스템 - Google Patents

가스센서 및 ip네트워크 카메라 기반 융합 보안 시스템 Download PDF

Info

Publication number
KR101552564B1
KR101552564B1 KR1020140028945A KR20140028945A KR101552564B1 KR 101552564 B1 KR101552564 B1 KR 101552564B1 KR 1020140028945 A KR1020140028945 A KR 1020140028945A KR 20140028945 A KR20140028945 A KR 20140028945A KR 101552564 B1 KR101552564 B1 KR 101552564B1
Authority
KR
South Korea
Prior art keywords
unit
image
gas sensor
network camera
gas
Prior art date
Application number
KR1020140028945A
Other languages
English (en)
Inventor
조성원
하창훈
Original Assignee
홍익대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 홍익대학교 산학협력단 filed Critical 홍익대학교 산학협력단
Priority to KR1020140028945A priority Critical patent/KR101552564B1/ko
Application granted granted Critical
Publication of KR101552564B1 publication Critical patent/KR101552564B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654Details concerning communication with a camera
    • G08B13/19656Network used to communicate with a camera, e.g. WAN, LAN, Internet
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19667Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/12Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/12Alarms for ensuring the safety of persons responsive to undesired emission of substances, e.g. pollution alarms
    • G08B21/16Combustible gas alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 가스센서 및 IP 네트워크 카메라 기반 융합 보안 시스템에 관한 것으로서, 가스의 유출 여부를 감지하는 가스 센서 장치; 영상 데이터를 획득하고, 획득한 영상 데이터를 분석하여 영상 감시 보안 규칙의 위반에 해당하는지를 모니터링하는 IP 네트워크 카메라 장치; 상기 가스 센서 장치의 가스 센싱 결과 및 IP 네트워크 카메라 장치의 모니터링 결과를 포함하는 데이터를 송수신하는 통신 장치; 상기 가스 센서 장치 및 IP 네트워크 카메라 장치를 통하여 감지된 결과를 보안 시스템 운영자 또는 사용자에게 알리는 경보 장치; 및 상기 가스 센서 장치, IP 네트워크 카메라 장치, 통신 장치 및 경보 장치의 동작을 제어하는 제어 장치;를 포함하는 가스센서 및 IP 네트워크 카메라 기반 융합 보안 시스템이 제공된다.

Description

가스센서 및 IP네트워크 카메라 기반 융합 보안 시스템 {Fusion security system based on gas sensor and IP network camera}
본 발명은 가스센서 및 IP네트워크 카메라 기반 융합 보안 시스템에 관한 것으로, 보다 상세하게는 영상처리를 통한 보안 감시와 더불어 영상으로는 감지가 불가능한 가스누출 감지가 가능한 가스센서 및 IP네트워크 카메라 기반 융합 보안 시스템에 관한 것이다.
기존 CCTV관제 시스템을 첨단화된 치안 안전 시스템으로 확장하는 U-Security 나 첨단 CCTV 통합 관제 센터 구축에 가장 주요한 핵심 기술은 지능형 영상 분석 기술, 객체 식원 확인 기술, 시맨틱 검색 기술이다. 지능형 영상 분석 기술은 사람이 일일이 CCTV 화면을 살펴보지 않아도 시스템이 자동으로 침입 감지, 버려진 물체 감지, 도난 물체 감지, 자동 PTZ 추적, 배회 물체 감지, 카메라 무단변경 감지 등 모든 보안 상황을 스스로 인지하고 설정된 보안 규칙 위반을 실시간으로 감시할 수 있도록 지원한다. 통합 보안 관제 시스템에서는 찾고자 하는 장면과 객체, 보안 규칙 위반 상황 등의 영상 데이터를 수많은 이기종 CCTV에서 획득한 영상을 실시간으로 자동 분석하고 신속하게 검색될 수 있도록 내용 기반 검색이 가능한 시맨틱 검색 기술 지원이 매우 필요하다.
한편, 화재에 대해 주의가 필요한 곳에서는 영상감시에 의한 보안뿐만 아니라 화재를 예방하기 위해 가스 누출 감지가 요구된다.
그러나, 종래 기술에 따른 영상 분석 보안 시스템만으로는 가스 누출 여부 또는 화재 발생 여부를 감시하는데 한계가 있으며, 별도의 가스 감지 및 화재 발생 감시 장치를 설치하고 별도로 운영해야 하는 문제점이 있었다.
한국공개특허 제10-2003-0039193호
본 발명은 상술한 종래의 문제점을 극복하기 위한 것으로서, 본 발명이 해결하고자 하는 과제는 영상이미지에 의한 영상처리를 통해 객체를 감지하고, 가스센서에 의해 가스를 감지하며, 이러한 정보를 빠르게 인지 가능하도록 통보함으로써, 보안 감시와 더불어 영상으로는 감지가 불가능한 가스누출 감지가 가능해 화재 예방 및 화재 감시가 가능한 가스센서 및 IP 네트워크 카메라 기반 융합 보안 시스템을 제공하기 위한 것이다.
본 발명의 예시적인 실시예에 따르면, 가스의 유출 여부를 감지하는 가스 센서 장치; 영상 데이터를 획득하고, 획득한 영상 데이터를 분석하여 영상 감시 보안 규칙의 위반에 해당하는지를 모니터링하는 IP 네트워크 카메라 장치; 상기 가스 센서 장치의 가스 센싱 결과 및 IP 네트워크 카메라 장치의 모니터링 결과를 포함하는 데이터를 송수신하는 통신 장치; 상기 가스 센서 장치 및 IP 네트워크 카메라 장치를 통하여 감지된 결과를 보안 시스템 운영자 또는 사용자에게 알리는 경보 장치; 및 상기 가스 센서 장치, IP 네트워크 카메라 장치, 통신 장치 및 경보 장치의 동작을 제어하는 제어 장치;를 포함하는 가스센서 및 IP 네트워크 카메라 기반 융합 보안 시스템이 제공된다.
상기 IP 네트워크 카메라 장치는 탐지 대상 객체의 영상을 획득하는 카메라부; 상기 카메라부에서 획득한 영상 데이터를 압축하는 데이터 압축부; 상기 카메라부에서 획득한 영상 데이터를 분석하여 현재 상황을 인식하고, 인식한 상황이 영상 감시 보안 규칙의 위반에 해당하는지를 모니터링하는 영상 해석부; 및 상기 카메라부, 데이터 압축부 및 영상 해석부의 동작을 제어하는 카메라 제어부를 포함한다.
상기 IP 네트워크 카메라 장치는 전원을 공급하는 전원 공급부; 상기 IP 네트워크 카메라 장치의 네트워크 통신을 수행하는 네트워킹 인터페이스부; 및 획득한 영상 데이터를 디지털 데이터로 변환하기 위한 디코더부;를 더 포함한다.
상기 영상 해석부는 획득한 영상에 대해 움직임 검출, 객체 추적, 객체 분류 및 정적특성과 동적특성 정보를 추출하는 정보 추출부; 객체 행위분석과 현재 상황을 인지하고 분석하는 상황 분석부; 및 사용자 요구 조건 결정 및 경보 통보의 기능을 수행하는 사용자 요구조건 결정 및 경보 통보부를 포함한다.
상기 정보 추출부는 획득한 영상 이미지 장면의 배경과 다른 이동 전경 객체를 추출하는 기능을 수행하는 이동 객체 검출 모듈; 상기 이동 객체 검출 모듈에 의해 검출된 객체를 비디오 시퀀스의 프레임 사이에서 서로 매칭하여 시간 경과에 따라 추적하여, 객체의 동적 특성 정보를 추출하는 객체 추적 모듈; 및 검출된 객체의 최소 바운딩 사각형 이미지들을 모아 신경망 회로를 훈련시키고, 훈련된 신경망을 통해 검출된 객체를 분류하는 객체 분류 모듈을 포함한다.
상기 이동 객체 검출 모듈은 획득한 영상 프레임을 입력하는 단계; 입력된 영상 프레임을 기초로 배경차 기법을 이용하여 전경 마스크를 추출하는 단계; 입력된 영상 프레임을 기초로 프레임 차이 기법을 이용하여 전경 마스크를 추출하는 단계; 전경 마스크를 정정한 후, 전경 객체 분할(블롭 분할)하는 단계;를 수행하여 이동 객체를 검출한다.
상기 객체 추적 모듈은 이전 블롭들의 현 프레임에서의 위치를 추정하는 단계; 이전 블롭과 현 프레임에서 검출된 블롭들의 중첩 비율을 계산하는 단계; 특징 벡터 정보를 이용하여 현 프레임의 블롭들과 매칭 정도를 비교하는 단계; 중첩 비율(오버랩 정도) 및 매칭 정도를 포함한 정보를 이용하여 현 프레임의 블록들을 식별하는 단계를 수행한다.
상기 객체 추적 모듈은 상기 현 프레임의 블록들을 식별하는 단계 이후에, 블롭들의 특징 벡터 정보를 이용하여 판별하고, 현 프레임에서 식별된 블롭들의 현재 위치 및 이전 위치에서의 이동 거리들을 계산하여 식별된 블롭의 특징 벡터를 갱신하는 단계; 및 식별된 블롭들에 대해 다시 객체 식별 번호를 갱신하고 객체 리스트를 갱신하는 단계를 추가로 수행한다.
상기 객체 분류 모듈은 영상 전처리 단계; 전처리된 영상 이미지로부터 에지 이미지를 추출하고, 소정 크기로 이미지를 정규화하여 특징 벡터 추출하는 단계; 및 신경망 회로 훈련 과정을 수행하는 단계를 수행한다.
상기 영상 전처리 단계는 이미지 분류 과정을 수행하는 단계; 분류된 이미지를 그레이 이미지로 변환하는 단계 및 배경을 제거하는 단계를 포함한다.
상기 가스 센서 장치는 가스를 센싱하는 기능을 수행하는 가스 센서부; 및 상기 가스 센서부의 동작을 제어하고, 상기 가스 센서부에서 감지된 결과를 제어 장치로 전송하는 가스 센싱 제어부를 포함한다.
상기 가스 센서부는 반도체식 가스센서, 접촉 연소식 가스센서 또는 열전도식 가스센서 중 어느 하나를 사용한다.
상기 경보 장치는 복수의 색으로 구성된 LED를 포함하는 LED부; 및 경고음을 출력하는 스피커부;를 포함한다.
본 발명에 따르면, 영상처리를 통한 보안 감시와 더불어 영상으로는 감지가 불가능한 가스누출 감지가 가능해 효율적인 보안감시가 가능하게 된다.
또한, 영상이미지에 의한 영상처리를 통해 객체 감지, 가스센서에 의한 가스 감지 및 그리고 이러한 감지 결과를 SMS 전송 또는 경보 장치를 통하여 신속하게 알림으로써, 사고 예방 또는 피해를 최소할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 가스센서 및 IP 네트워크 카메라 기반 융합 보안 시스템의 개략적인 구성도이다.
도 2는 IP 네트워크 카메라 장치의 개략적인 구성도이다.
도 3은 IP 네트워크 카메라 장치의 영상 해석부의 개략적인 구성도이다.
도 4는 정보 추출부의 개략적인 구성도이다.
도 5는 이동 객체 검출 과정을 나타낸 이미지이다.
도 6은 정보 추출부의 이동 객체 검출 모듈의 이동 객체 검출 과정을 나타낸 흐름도이다.
도 7은 정보 추출부의 객체 추적 모듈의 객체 추적 과정을 나타낸 흐름도이다.
도 8은 본 실시예에 따른 객체 추적 과정을 나타낸 이미지이다.
도 9는 정보 추출부의 객체 분류 모듈의 객체 분류 과정을 나타낸 흐름도이다.
도 10은 객체 분류 과정 중 영상 전처리 과정을 나타낸 흐름도이다.
도 11은 본 실시예에서 사용한 신경망 회로이다.
도 12는 가스 센서 장치의 개략적인 구성도이다.
도 13은 경보 장치의 개략적인 구성도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 가스센서 및 IP 네트워크 카메라 기반 융합 보안 시스템의 개략적인 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 가스센서 및 IP 네트워크 카메라 기반 융합 보안 시스템은 가스 센서 장치(100), IP 네트워크 카메라 장치(200), 통신 장치(300), 경보 장치(400), 데이터 저장 장치(500) 및 제어 장치(900)를 포함한다.
가스 센서 장치(100)는 가스의 유출 여부를 감지하고, 감지된 결과를 제어 장치로 전송한다. 가스 센서 장치는 그 용도에 따라 자동차용(배출가스, 연료혼합 가스, 산소, 분진), 농수산 식품산업용(신선도, 저장, CO2, 습도, NH3, 질소산화물 가스, 유기가스, 농약 및 살충제로부터 방출되는 유독가스), 산업·의료용(석유화학제품 가스, 수소, 산소, 유독가스), 가정용(LNG, LPG, 부탄, 실내공기, 습도) 등으로 다양하게 사용된다.
본 발명의 실시예에서는 LPG, H2, CH4, CO, Alcohol의 5가지 가스를 검출하는 가스 센서 장치를 사용하나, 검출되는 가스의 종류가 이에 한정되는 것은 아니다.
IP 네트워크 카메라 장치(200)는 영상 데이터를 획득하고, 획득한 영상 데이터를 분석하여 관심 물체를 검출, 추적 및 분류하여 현재 상황을 인식하는 기능을 수행한다. 또한, 영상 분석을 통해 인식한 상황이 영상 감시 보안 규칙의 위반에 해당하는지를 모니터링하고, 모니터링 결과를 제어 장치(900)로 전송한다.
통신 장치(300)는 제어 장치(900)의 제어 신호에 따라 모니터링 결과 또는 가스 센싱 결과를 포함하는 다양한 데이터를 관리 서버 장치(미도시)나 사용자 단말기(미도시)로 전송하며, 관리 서버 장치나 사용자 단말기로부터 전송되는 데이터를 수신하는 기능을 수행한다.
경보 장치(400)는 가스 센서 장치(100) 및 IP 네트워크 카메라 장치(200)를 통하여 감지된 결과를 보안 시스템 운영자 또는 사용자에게 알리는 기능을 수행한다. 조명 장치를 통한 빛 또는 스피커를 통한 소리 등 다양한 방식으로 감지된 결과를 알리는 기능을 수행하며, 조명 장치나 스피커 이외에 다른 경보 수단이 사용될 수 있다.
데이터 저장 장치(500)는 IP 네트워크 카메라 장치(200)를 통하여 감지된 결과 데이터 또는 가스 센싱 결과 데이터를 포함한 다양한 데이터를 저장하는 기능을 수행한다.
제어 장치(900)는 가스 센서 장치(100), IP 네트워크 카메라 장치(200), 통신 장치(300), 경보 장치(400) 및 데이터 저장 장치(500)의 동작을 제어하는 기능을 수행한다.
도 2는 IP 네트워크 카메라 장치의 개략적인 구성도이다.
도 2를 참조하면, IP 네트워크 카메라 장치(200)는 카메라부(210), 전원 공급부(220), 네트워킹 인터페이스부(230), 데이터 압축부(240), 영상 해석부(250) 및 카메라 제어부(290)를 포함한다.
카메라부(210)는 탐지 대상 객체의 영상을 획득하는 기능을 수행한다. 본 실시예의 경우, CMOS 영상 감시 카메라를 사용하여 탐지 대상 객체의 영상을 획득한다. 카메라부(210)는 CMOS 영상 감시 카메라 이외에 기존의 CCTV 카메라를 사용할 수도 있다. CCTV 카메라를 이용하여 영상을 획득하는 경우, 획득한 영상 데이터를 디지털 데이터로 변환하기 위한 디코더부(미도시)를 추가로 포함할 수 있다.
전원 공급부(220)는 IP 네트워크 카메라 장치(200)에 전원을 공급하는 기능을 수행한다.
네트워킹 인터페이스부(230)는 IP 네트워크 카메라 장치의 네트워크 통신을 수행한다.
데이터 압축부(240)는 카메라부(210)에서 획득한 영상 데이터를 압축하는 기능을 수행한다.
영상 해석부(250)는 획득한 영상 데이터를 분석하여 관심 물체를 검출, 추적 및 분류하여 현재 상황을 인식하는 기능을 수행한다. 또한, 영상 분석을 통해 인식한 상황이 영상 감시 보안 규칙의 위반에 해당하는지를 모니터링하고, 모니터링 결과를 제어 장치로 전송한다.
카메라 제어부(290)는 카메라부(210), 전원 공급부(220), 네트워킹 인터페이스부(230), 데이터 압축부(240) 및 영상 해석부(250)의 동작을 제어하는 기능을 수행한다.
도 3은 IP 네트워크 카메라 장치의 영상 해석부의 개략적인 구성도이다.
도 3을 참조하면, 영상 해석부(250)는 정보 추출부(251), 상황 분석부(253) 및 사용자 요구조건 결정 및 경보 통보부(255)를 포함한다.
정보 추출부(251)는 획득한 영상에 대해 움직임 검출, 객체 추적, 객체 분류 및 정적특성과 동적특성 정보를 추출하는 기능을 수행한다.
상황 분석부(253)는 객체 행위분석과 현재 상황을 인지하고 분석하는 기능을 수행한다.
사용자 요구조건 결정 및 경보 통보부(255)는 사용자 요구 조건 결정 및 경보 통보의 기능을 수행한다. 즉, 보안 설정 규칙에 따른 보안 규칙 위반 여부, 침입자 탐지 유무 등의 결정을 수행하며, 이러한 결과를 제어 장치로 전송한다.
도 4는 정보 추출부의 개략적인 구성도이며, 도 5는 이동 객체 검출 과정을 나타낸 이미지이며, 도 6은 정보 추출부의 이동 객체 검출 모듈의 이동 객체 검출 과정을 나타낸 흐름도이다.
도 4를 참조하며, 정보 추출부(251)는 이동 객체 검출 모듈(521a), 객체 추적 모듈(251b) 및 객체 분류 모듈(251c)을 포함한다.
이동 객체 검출 모듈(521a)은 획득한 영상 이미지 장면의 배경과 다른 이동 전경 객체를 추출하는 기능을 수행하며, 이를 위하여 이동 객체 검출 모듈(521a)은 전경 마스크 추출과정, 전경 마스크 정정과정 및 전경 객체 분할(블롭 분할) 과정을 거쳐 이동 객체를 검출하는 기능을 수행한다.
객체 추적 모듈(251b)은 이동 객체 검출 모듈(251a)에 의해 검출된 객체를 비디오 시퀀스의 프레임 사이에서 서로 매칭하여 시간 경과에 따라 추적하여, 객체의 동적 특성 정보를 추출하는 기능을 수행한다.
다수 객체를 동시에 추적하는 것은 객체들의 외양 변화 및 객체와 장면간의 상호작용뿐만 객체간의 상호 작용으로 인한 가림(occlusion) 등의 추가적인 요인 때문에 쉽지 않다. 영상 감시에 있어서 객체 추적은 각 프레임상에서 검출되는 객체들을 연속적으로 식별하는 것이 가장 중요하며, 본 발명에서는 알고리즘이 간단하여 계산량이 적어 실시간 구현에 매우 유리한 매칭 기반 객체 추적 방법을 제안하고 구현한다. 이에 대한 보다 상세한 설명은 이하의 도 7을 참조하여 설명한다.
객체 분류 모듈(251c)은 검출된 객체의 최소 바운딩 사각형 이미지들을 모아 신경망 회로를 훈련시키고, 훈련된 신경망을 통해 검출된 객체를 분류하는 기능을 수행한다. 본 발명에 따른 객체 분류 모듈(251c)은 객체를 사람, 사람 그룹, 차량, 기타, 4가지로 분류하였으나, 이에 한정되는 것은 아니며, 이러한 객체 분류 정보는 정적 특성 정보를 의미한다.
본 발명의 일 실시예의 경우에 있어서, 이동 객체를 검출하기 위하여, 전경 마스크 추출과정, 전경 마스크 정정과정 및 전경 객체 분할 과정을 거쳐 이동 객체를 검출한다.
전경 마스크는 전경 픽셀들은 1 로 배경 픽셀은 0 의 값을 가지도록 처리된 이진 영상을 의미한다. 전경 마스크 추출에서 가장 중요한 것은 전경/배경 장면 모델링이 잘 되어야 하며, 배경 장면의 조명 변화, 장면의 이동 배경 객체존재 등을 강인하게 처리하는 적응 혼합 가우시안 모델을 사용한다.
추출된 전경 마스크에는 원래 전경 픽셀인데, 배경 픽셀로 판별되어 추출되지 못했거나, 배경 픽셀인 데 전경 픽셀로 잘못 추출될 수 있다. 따라서, 전경 마스크에 구멍이나 돌출 부분이 고립된 픽셀부분들이 생성될 수 있기 때문에 구멍은 메우고 돌출 부분이나 고립된 부분들은 제거하는 전경 마스크 정정 과정을 수행한다.
이러한, 전경 마스크 정정은 보통 열림, 닫힘 등의 모폴로지 연산이 전처리 단계로 처리되어 수행된다. 정정된 전경 마스크엔 다수의 블롭들이 존재할 수 있다. 이때, 블롭은 모든 연결된 전경 픽셀들의 집합으로 정의된다. 따라서 이들 블롭을 구별하여 검출해내어야 하며, 이 과정이 블롭 분할(전경 객체 분할)이며, 블롭이 분할된 후에, 각 블롭을 포함하는 최소 사각형 영역이 계산된다. 이 사각 영역에 투영 음영이 존재할 수 있으므로, 투영 음영을 검출하여 제거하고 난 최소 사각 영역을 구하고 이를 최종적으로 이동 객체 영역을 검출한다.
도 6을 참조하여, 본 발명의 다른 실시예에 따른 이동 객체 검출 모듈의 이동 객체 검출 과정을 살펴본다. 본 실시예의 경우, 이동 객체 검출을 위하여 위해 배경차 기법과 프레임 차이 기법을 혼합한 알고리즘 방법을 사용한다.
획득한 영상 프레임을 입력하는 과정을 수행한다(S110).
입력된 영상 프레임을 기초로 배경차 기법을 이용하여 전경 마스크를 추출하는 과정을 수행하며(S120), 입력된 영상 프레임을 기초로 프레임 차이 기법을 이용하여 전경 마스크를 추출하는 과정을 수행한다(S130).
그리고 나서, 전경 마스크를 확정한 후(S140), 전경 마스크를 정정하는 과정을 수행한다(S150).
그 다음, 전경 객체 분할(블록 분할)하는 과정을 수행한 후(S160), 이동 객체를 검출하는 과정을 수행한다(S170).
S120 과정의 배경차 기법을 이용하여 전경 마스크를 추출하는 단계를 살펴보면, 배경차 기법은 배경을 모델링하고, 입력 영상 픽셀들이 모델 배경 픽셀과 차이가 문턱치보다 큰 경우에 전경 픽셀로 간주하고, 작은 경우에는 배경 픽셀로 간주하여 전경 마스크를 추출하는 기법이다.
S130 과정의 프레임 차이 기법을 이용하여 전경 마스크를 추출하는 단계를 살펴보면, 프레임 차이 기법은 3개의 연속된 프레임을 이용하여 현재 프레임의 픽셀과 이전 프레임의 픽셀과의 차이, 현재 프레임의 픽셀과 이 전전 프레임 픽셀과의 차이가 문턱치 보다 크면 전경 픽셀로 간주하여 전경 마스크를 추출하고, 이로부터 이동 객체를 검출하는 기법이다.
즉, 다음의 규칙을 만족하면 이동 픽셀로 간주한다.
Figure 112014023901262-pat00001
(여기서,
Figure 112014023901262-pat00002
는 시간 t=n, 픽셀 위치 x 에서의 픽셀 밝기 값, 는 픽셀 위치 x 에서 통계적으로 의미 있는 픽셀 밝기 값의 변화를 기술하는 임계값(threshold)을 나타낸다.)
프레임 차이 기법의 기본 아이디어는 연속하는 이전 프레임, 이 전전 프레임과 비교하여 차이가 나는 픽셀은 전경 픽셀로 간주하도 무방하다는 것이다.
도 7은 정보 추출부의 객체 추적 모듈의 객체 추적 과정을 나타낸 흐름도이며, 도 8은 본 실시예에 따른 객체 추적 과정을 나타낸 이미지이다.
도 9는 정보 추출부의 객체 분류 모듈의 객체 분류 과정을 나타낸 흐름도이며, 도 10은 객체 분류 과정 중 영상 전처리 과정을 나타낸 흐름도이다.
도 7을 참조하여, 정보 추출부의 객체 추적 모듈의 객체 추적 과정을 살펴보면,
우선, 이전 블롭들의 현 프레임에서의 위치를 추정하는 과정을 수행한다(S210). 그리고, 이전 블롭과 현 프레임에서 검출된 블롭들의 중첩 비율을 계산하는 과정을 수행한다(S220).
특징 벡터 정보를 이용하여 현 프레임의 블롭들과 매칭 정도를 비교하는 과정을 수행한다(S230). 그 다음, 중첩 비율(오버랩 정도) 및 매칭 정도를 포함한 정보를 이용하여 현 프레임의 블록들을 식별하는 과정을 수행한다(S240).
그리고 나서, 블롭들의 특징 벡터 정보를 이용하여 판별하고 가려짐(occlusion) 문제를 해결하는 과정을 수행한다(S250). 이때, 블롭들의 특징 벡터 정보는 블롭들의 통합, 감추어진 블롭, 가리는 블롭들의 여부, 또는 블롭의 분리 등의 정보를 포함한다.
그 다음, 현 프레임에서 식별된 블롭들의 현재 위치 및 이전 위치에서의 이동 거리들을 계산하여 식별된 블롭의 특징 벡터를 갱신하고, 식별된 블롭들에 대해 다시 객체 식별 번호를 갱신하고 객체 리스트를 갱신하는 과정을 수행한다(S260).
도 8은 본 실시예에 따른 객체 추적 과정에 의해 추적된 결과를 보여주며, 가려짐(occlusion) 문제도 잘 해결하고 있음을 보여 준다. 도 8의 (a) 내지 (f)는 이하의 프레임에서의 이미지를 나타낸다. (a) frame 123, (b) frame 187, (c) frame 250 (d) frame 478, (e) frame 511, (f) frame 597.
도 9는 정보 추출부의 객체 분류 모듈의 객체 분류 과정을 나타낸 흐름도이고, 도 10은 객체 분류 과정 중 영상 전처리 과정을 나타낸 흐름도이며, 도 11은 본 실시예에서 사용한 신경망 회로이다.
도 9 및 도 10을 참조하면, 우선 영상 전처리 과정을 수행한다(S310).
이때, 영상 전처리 과정은 이미지 분류 과정을 수행한다(S311). 그리고 나서, 분류된 이미지를 그레이 이미지로 변환하는 과정을 수행한다(S312). 그 다음, 배경을 제거하는 과정을 수행한다(S313).
영상 전처리 과정(310)을 수행한 후, 특징 벡터 추출하는 과정을 수행한다(S320). 특징 벡터 추출을 위하여, 배경을 제거한 이미지로부터 에지 이미지를 추출하고, 소정 크기로 이미지를 정규화한다. 본 실시예의 경우, 20X25 크기로 이미지를 정규화하였다.
그리고 나서, 신경망 회로 훈련 과정을 수행한다(S330). 본 실시예에서 사용한 신경망 회로는 Back Propagation 신경망 회로이며, 입력단, 중간단, 출력단 등의 3 계층으로 구성된다. 입력단은 뉴런 노드가 500개, 중간단은 뉴런 노드가 250개, 출력단은 뉴런 노드를 4개로 설계하였으며, 도 11에는 본 실시예에서 사용한 신경망 회로가 도시된다.
그 다음, 객체 분류하는 과정을 수행한다(S340).
본 실시예에 따른 객체 분류 방법의 성능 점검을 위하여 실험을 수행하였다. 테스팅 이미지는 사람, 사람 그룹, 차량, 기타 등의 객체를 포함하며 조명 및 영상 왜곡이 있는 291장의 이미지로 구성하였다. 최종 실험 결과는 이하의 [표 1]과 같다.
객체 타입 테스팅 이미지 수 분류 정확도
사람 120 91.6
사람 그룹 53 90.5
차량 46 91.3
기타 72 91.6
총계 291 91.4
도 12는 가스 센서 장치의 개략적인 구성도이다.
도 12를 참조하면, 가스 센서 장치(100)는 가스 센서부(110) 및 가스 센싱 제어부(120)를 포함한다.
가스 센서부(110)는 가스를 센싱하는 기능을 수행한다. 본 실시예의 경우, LPG, H2, CH4, CO, Alcohol의 5가지 가스를 검출하는 가스 센서부를 이용하였으나, 감지하는 가스 종류가 이에 한정되는 것은 아니다.
가스 센서에는 반도체식, 접촉 연소식, 열전도 도식이 사용되고 있는데 열전도 도식 센서는 출력이 작기 때문에 증폭회로와 정전압 회로가 필요하여 가격이 비싸다. 그 때문에 반도체식과 접촉 연소식이 많이 이용되고 있으며, 본 실시예의 경우 감지성능도 뛰어나면서 가격이 저렴한 반도체식 센서를 사용하였다.
가스 센싱 제어부(120)는 가스 센서부(110)의 동작을 제어하는 기능을 수행하며, 가스 센서부(110)에서 감지된 결과를 제어 장치(900)로 전송하고, 제어 장치(900)는 이를 기초로 경보 장치(400)의 동작을 제어한다.
도 13은 경보 장치의 개략적인 구성도이다.
도 13을 참조하면, 경보 장치(400)는 LED부(410)와 스피커부(420)를 포함한다.
경보 장치(400)는 제어 장치(900)의 제어 신호에 따라 동작하며, LED부(410)는 시각적으로 인지가 편하도록 3가지 색상의 LED를 사용해 감지된 가스 농도에 따라 다른 색이 켜지도록 설정하였다. 그리고, 스피커부(420)는 청각적으로도 인지가 편하도록 일정 농도 이상의 가스 감지 시, 제어 장치(900)의 제어 신호에 따라 경고음이 울리도록 작동된다.
이상에서 설명한 것은 본 발명에 따른 가스센서 및 IP 네트워크 카메라 기반 융합 보안 시스템의 예시적인 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이, 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
100 : 가스 센서 장치 200 : IP 네트워크 카메라 장치
300 : 통신 장치 400 : 경보 장치
500 : 데이터 저장 장치 600 : 인체 감지 센서장치
900 : 제어 장치

Claims (13)

  1. 가스센서 및 IP 네트워크 카메라 기반 융합 보안 시스템에 있어서,
    가스의 유출 여부를 감지하는 가스 센서 장치;
    영상 데이터를 획득하고, 획득한 영상 데이터를 분석하여 영상 감시 보안 규칙의 위반에 해당하는지를 모니터링하는 IP 네트워크 카메라 장치;
    상기 가스 센서 장치의 가스 센싱 결과 및 IP 네트워크 카메라 장치의 모니터링 결과를 포함하는 데이터를 송수신하는 통신 장치;
    상기 가스 센서 장치 및 IP 네트워크 카메라 장치를 통하여 감지된 결과를 보안 시스템 운영자 또는 사용자에게 알리는 경보 장치; 및
    상기 가스 센서 장치, IP 네트워크 카메라 장치, 통신 장치 및 경보 장치의 동작을 제어하는 제어 장치;를 포함하며,
    상기 IP 네트워크 카메라 장치는,
    탐지 대상 객체의 영상을 획득하는 카메라부; 상기 카메라부에서 획득한 영상 데이터를 압축하는 데이터 압축부; 상기 카메라부에서 획득한 영상 데이터를 분석하여 현재 상황을 인식하고, 인식한 상황이 영상 감시 보안 규칙의 위반에 해당하는지를 모니터링하는 영상 해석부; 및 상기 카메라부, 데이터 압축부 및 영상 해석부의 동작을 제어하는 카메라 제어부;를 포함하며,
    상기 영상 해석부는,
    획득한 영상에 대해 움직임 검출, 객체 추적, 객체 분류 및 정적특성과 동적특성 정보를 추출하는 정보 추출부; 객체 행위분석과 현재 상황을 인지하고 분석하는 상황 분석부; 및 사용자 요구 조건 결정 및 경보 통보의 기능을 수행하는 사용자 요구조건 결정 및 경보 통보부;를 포함하고,
    상기 정보 추출부는 획득한 영상 이미지 장면의 배경과 다른 이동 전경 객체를 추출하는 기능을 수행하는 이동 객체 검출 모듈을 포함하며, 상기 이동 객체 검출 모듈은,
    획득한 영상 프레임을 입력하는 단계; 입력된 영상 프레임을 기초로 배경차 기법을 이용하여 전경 마스크를 추출하는 단계; 입력된 영상 프레임을 기초로 프레임 차이 기법을 이용하여 전경 마스크를 추출하는 단계; 전경 마스크를 정정한 후, 전경 객체 분할(블롭 분할)하는 단계;를 수행하여 이동 객체를 검출하는 것을 특징으로 하는 가스센서 및 IP 네트워크 카메라 기반 융합 보안 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 IP 네트워크 카메라 장치는,
    전원을 공급하는 전원 공급부;
    상기 IP 네트워크 카메라 장치의 네트워크 통신을 수행하는 네트워킹 인터페이스부; 및
    획득한 영상 데이터를 디지털 데이터로 변환하기 위한 디코더부;를 더 포함하는 것을 특징으로 하는 가스센서 및 IP 네트워크 카메라 기반 융합 보안 시스템.
  4. 삭제
  5. 제1항에 있어서,
    상기 정보 추출부는,
    상기 이동 객체 검출 모듈에 의해 검출된 객체를 비디오 시퀀스의 프레임 사이에서 서로 매칭하여 시간 경과에 따라 추적하여, 객체의 동적 특성 정보를 추출하는 객체 추적 모듈; 및
    검출된 객체의 최소 바운딩 사각형 이미지들을 모아 신경망 회로를 훈련시키고, 훈련된 신경망을 통해 검출된 객체를 분류하는 객체 분류 모듈;을 더 포함하는 것을 특징으로 하는 가스센서 및 IP 네트워크 카메라 기반 융합 보안 시스템.
  6. 삭제
  7. 제5항에 있어서,
    상기 객체 추적 모듈은,
    이전 블롭들의 현 프레임에서의 위치를 추정하는 단계; 이전 블롭과 현 프레임에서 검출된 블롭들의 중첩 비율을 계산하는 단계; 특징 벡터 정보를 이용하여 현 프레임의 블롭들과 매칭 정도를 비교하는 단계; 중첩 비율(오버랩 정도) 및 매칭 정도를 포함한 정보를 이용하여 현 프레임의 블록들을 식별하는 단계;를 수행하는 것을 특징으로 하는 가스센서 및 IP 네트워크 카메라 기반 융합 보안 시스템.
  8. 제7항에 있어서,
    상기 객체 추적 모듈은,
    상기 현 프레임의 블록들을 식별하는 단계 이후에, 블롭들의 특징 벡터 정보를 이용하여 판별하고, 현 프레임에서 식별된 블롭들의 현재 위치 및 이전 위치에서의 이동 거리들을 계산하여 식별된 블롭의 특징 벡터를 갱신하는 단계; 및
    식별된 블롭들에 대해 다시 객체 식별 번호를 갱신하고 객체 리스트를 갱신하는 단계;를 추가로 수행하는 것을 특징으로 하는 가스센서 및 IP 네트워크 카메라 기반 융합 보안 시스템.
  9. 제5항에 있어서,
    상기 객체 분류 모듈은,
    영상 전처리 단계; 전처리된 영상 이미지로부터 에지 이미지를 추출하고, 소정 크기로 이미지를 정규화하여 특징 벡터 추출하는 단계; 및 신경망 회로 훈련 과정을 수행하는 단계;를 수행하는 것을 특징으로 하는 가스센서 및 IP 네트워크 카메라 기반 융합 보안 시스템.
  10. 제9항에 있어서,
    상기 영상 전처리 단계는,
    이미지 분류 과정을 수행하는 단계; 분류된 이미지를 그레이 이미지로 변환하는 단계 및 배경을 제거하는 단계;를 포함하는 것을 특징으로 하는 특징으로 하는 가스센서 및 IP 네트워크 카메라 기반 융합 보안 시스템.
  11. 제1항에 있어서,
    상기 가스 센서 장치는,
    가스를 센싱하는 기능을 수행하는 가스 센서부; 및
    상기 가스 센서부의 동작을 제어하고, 상기 가스 센서부에서 감지된 결과를 제어 장치로 전송하는 가스 센싱 제어부;를 포함하는 것을 특징으로 하는 가스센서 및 IP 네트워크 카메라 기반 융합 보안 시스템.
  12. 제11항에 있어서,
    상기 가스 센서부는 반도체식 가스센서, 접촉 연소식 가스센서 또는 열전도식 가스센서 중 어느 하나를 사용하는 것을 특징으로 하는 가스센서 및 IP 네트워크 카메라 기반 융합 보안 시스템.
  13. 제1항에 있어서,
    상기 경보 장치는,
    복수의 색으로 구성된 LED를 포함하는 LED부; 및
    경고음을 출력하는 스피커부;를 포함하는 것을 특징으로 하는 가스센서 및 IP 네트워크 카메라 기반 융합 보안 시스템.
KR1020140028945A 2014-03-12 2014-03-12 가스센서 및 ip네트워크 카메라 기반 융합 보안 시스템 KR101552564B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140028945A KR101552564B1 (ko) 2014-03-12 2014-03-12 가스센서 및 ip네트워크 카메라 기반 융합 보안 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140028945A KR101552564B1 (ko) 2014-03-12 2014-03-12 가스센서 및 ip네트워크 카메라 기반 융합 보안 시스템

Publications (1)

Publication Number Publication Date
KR101552564B1 true KR101552564B1 (ko) 2015-09-14

Family

ID=54248092

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140028945A KR101552564B1 (ko) 2014-03-12 2014-03-12 가스센서 및 ip네트워크 카메라 기반 융합 보안 시스템

Country Status (1)

Country Link
KR (1) KR101552564B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101953342B1 (ko) * 2017-12-08 2019-05-23 주식회사 비젼인 멀티 센서 화재감지 방법 및 시스템
CN112819158A (zh) * 2021-02-05 2021-05-18 凌坤(南通)智能科技有限公司 一种基于优化的bp神经网络的气体辨识方法
CN115443365A (zh) * 2020-04-16 2022-12-06 瑞典意昂公司 排水和除气的自动化
CN116643206A (zh) * 2023-07-27 2023-08-25 北京天阳睿博科技有限公司 煤矿全电网高压漏电监控及故障定位系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101213255B1 (ko) * 2012-09-14 2012-12-18 박종현 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101213255B1 (ko) * 2012-09-14 2012-12-18 박종현 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템 및 그 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101953342B1 (ko) * 2017-12-08 2019-05-23 주식회사 비젼인 멀티 센서 화재감지 방법 및 시스템
CN115443365A (zh) * 2020-04-16 2022-12-06 瑞典意昂公司 排水和除气的自动化
CN112819158A (zh) * 2021-02-05 2021-05-18 凌坤(南通)智能科技有限公司 一种基于优化的bp神经网络的气体辨识方法
CN112819158B (zh) * 2021-02-05 2024-02-27 凌坤(南通)智能科技有限公司 一种基于优化的bp神经网络的气体辨识方法
CN116643206A (zh) * 2023-07-27 2023-08-25 北京天阳睿博科技有限公司 煤矿全电网高压漏电监控及故障定位系统

Similar Documents

Publication Publication Date Title
CN108230594B (zh) 一种用于在视频监控系统中生成警报的方法
CN108062349B (zh) 基于视频结构化数据及深度学习的视频监控方法和系统
KR101168760B1 (ko) 화염 검출 방법 및 장치
KR101953342B1 (ko) 멀티 센서 화재감지 방법 및 시스템
CN101777114B (zh) 视频监控智能分析系统和方法及头肩检测跟踪系统和方法
US7868772B2 (en) Flame detecting method and device
Filonenko et al. Unattended object identification for intelligent surveillance systems using sequence of dual background difference
CN109766779B (zh) 徘徊人员识别方法及相关产品
CN107437318B (zh) 一种可见光智能识别算法
KR102407327B1 (ko) 화재감지장치 및 이를 포함하는 화재감지시스템
KR101552564B1 (ko) 가스센서 및 ip네트워크 카메라 기반 융합 보안 시스템
KR102149832B1 (ko) 딥러닝 기반의 자동 폭력 감지 시스템
CN107122743B (zh) 安防监控方法、装置和电子设备
CN103996045B (zh) 一种基于视频的多种特征融合的烟雾识别方法
KR101092472B1 (ko) 감시카메라를 활용한 비디오 색인 시스템 및 그 색인 방법
KR101979375B1 (ko) 감시 영상의 객체 행동 예측 방법
CN109741565B (zh) 煤矿火灾识别系统及方法
Gunawaardena et al. Computer vision based fire alarming system
Chowdhury et al. Computer vision and smoke sensor based fire detection system
CN114885119A (zh) 一种基于计算机视觉的智能监控报警系统及方法
KR102263512B1 (ko) 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템
KR102104548B1 (ko) 시각 감지 시스템 및 이를 이용한 시각 감지 방법
Ho et al. Real-time video-based fire smoke detection system
KR102233679B1 (ko) Ess 침입자 및 화재 감지 장치 및 방법
CN209657454U (zh) 煤矿火灾识别系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee