KR102129734B1 - 인공지능 기반의 영상 감시 시스템 - Google Patents

인공지능 기반의 영상 감시 시스템 Download PDF

Info

Publication number
KR102129734B1
KR102129734B1 KR1020190015413A KR20190015413A KR102129734B1 KR 102129734 B1 KR102129734 B1 KR 102129734B1 KR 1020190015413 A KR1020190015413 A KR 1020190015413A KR 20190015413 A KR20190015413 A KR 20190015413A KR 102129734 B1 KR102129734 B1 KR 102129734B1
Authority
KR
South Korea
Prior art keywords
information
image
area
camera
region
Prior art date
Application number
KR1020190015413A
Other languages
English (en)
Inventor
이우익
Original Assignee
(주)지니가치
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)지니가치 filed Critical (주)지니가치
Priority to KR1020190015413A priority Critical patent/KR102129734B1/ko
Application granted granted Critical
Publication of KR102129734B1 publication Critical patent/KR102129734B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/55—Details of cameras or camera bodies; Accessories therefor with provision for heating or cooling, e.g. in aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/23299—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Abstract

본 발명은 인공지능 기반의 영상 감시 시스템에 관한 것이다. 본 발명의 일 실시 예에 따른 인공지능 기반의 영상 감시 시스템은 열을 이용하여 촬영하는 열화상 카메라; 가시광선을 이용하여 촬영하는 광학영상 카메라; 상기 열화상 카메라와 상기 광학영상 카메라의 움직임을 구동하는 구동부; 및 상기 열화상 카메라의 영상과 상기 광학영상 카메라의 영상을 수신하고, 상기 열화상 카메라의 영상에서 기 설정된 제1기준온도를 갖는 제1 객체 영역과 기 설정된 제2기준온도를 갖는 제2 객체 영역을 추출하고, 상기 제2 객체 영역의 경계 영역을 추출하고, 상기 제2 객체 영역의 객체 정보를 도출하고, 기 저장된 감시 대상물의 정보와 상기 객체 정보를 비교하여 상기 제2 객체 영역의 객체 정보가 감시 대상물로 판단되는 경우, 상기 열화상 카메라가 상기 제1 객체 영역과 상기 제2 객체 영역의 이동을 추적하도록 구동하고, 상기 열화상 카메라의 움직임과 연동하여 상기 광학영상 카메라가 구동되도록 상기 구동부에 구동 신호를 전송하며, 상기 제1 객체 영역의 경계영역과 상기 제2 객체 영역의 경계영역의 사이 거리가 기 설정된 범위를 벗어나거나 상기 제1 객체 영역과 상기 제2 객체 영역의 상대 이동 정보가 변경되는 경우 이벤트 신호를 발생하고, 상기 이벤트 신호 발생 시 상기 광학 영상을 저장하는 제어기를 포함한다.

Description

인공지능 기반의 영상 감시 시스템{Artificial intelligence based video surveillance system}
본 발명은 인공지능 기반의 영상 감시 시스템에 관한 것으로, 보다 상세히 쓰레기 무단 투기와 같은 감시 대상이 되는 상태가 발생되는지를 감시하는 인공지능 기반의 영상 감시 시스템에 관한 것이다.
객체를 인식하고 추적하는 기술은 영상 합성, 모션 캡처, 보안 감시 시스템, Human Computer Interaction(HCI)등의 많은 분야에서 널리 적용된다. 특히 최근 실생활에서의 보안, 감시에 대한 요구사항이 늘어남에 따라 비디오 감시 시스템에서의 객체 인식 및 추적 기술은 날로 그 중요성이 증가하고 있다.
최근까지 객체 인식 및 추적을 위한 많은 알고리즘들이 개발되어 왔다. 객체 인식 및 추적을 위한 많은 알고리즘으로 예를 들어, 적응적 배경 생성과 배경 차분 기법, 영역 기반의 객체 추적 기법, 그리고 형태 정보 기반 객체 추출 기법 등이 있다. 하지만 기존의 영상 처리 시스템의 이동 물체 검출 기법은 아직 안정성에 있어서 문제점이 존재한다. 또한, 검출하는 과정에 따른 파워 소모와 정확성, 처리 속도에 있어서도 역시 문제점들이 존재한다.
본 발명은 감시 대상이 되는 객체의 상태 변화를 효과적으로 감시할 수 있는 인공지능 기반의 영상 감시 시스템을 제공하기 위한 것이다.
또한, 본 발명은 열 화상을 기초로 객체를 인식할 수 있는 인공지능 기반의 영상 감시 시스템을 제공하기 위한 것이다.
또한, 본 발명은 데이터의 업데이트를 통해 객체 인식의 정확도가 향상되는 인공지능 기반의 영상 감시 시스템을 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 열을 이용하여 촬영하는 열화상 카메라; 가시광선을 이용하여 촬영하는 광학영상 카메라; 상기 열화상 카메라와 상기 광학영상 카메라의 움직임을 구동하는 구동부; 및 상기 열화상 카메라의 영상과 상기 광학영상 카메라의 영상을 수신하고, 상기 열화상 카메라의 영상에서 기 설정된 제1기준온도를 갖는 제1 객체 영역과 기 설정된 제2기준온도를 갖는 제2 객체 영역을 추출하고, 상기 제2 객체 영역의 경계 영역을 추출하고, 상기 제2 객체 영역의 객체 정보를 도출하고, 기 저장된 감시 대상물의 정보와 상기 객체 정보를 비교하여 상기 제2 객체 영역의 객체 정보가 감시 대상물로 판단되는 경우, 상기 열화상 카메라가 상기 제1 객체 영역과 상기 제2 객체 영역의 이동을 추적하도록 구동하고, 상기 열화상 카메라의 움직임과 연동하여 상기 광학영상 카메라가 구동되도록 상기 구동부에 구동 신호를 전송하며, 상기 제1 객체 영역의 경계영역과 상기 제2 객체 영역의 경계영역의 사이 거리가 기 설정된 범위를 벗어나거나 상기 제1 객체 영역과 상기 제2 객체 영역의 상대 이동 정보가 변경되는 경우 이벤트 신호를 발생하고, 상기 이벤트 신호 발생 시 상기 광학 영상을 저장하는 제어기를 포함하는 영상 감시 시스템이 제공될 수 있다.
또한, 알람 발생부를 더 포함하고, 상기 제어기는 상기 이벤트 신호의 발생 시, 상기 알람 발생부에 알람 발생 신호를 전송할 수 있다.
또한, 상기 열화상 카메라에 의해 촬영되는 영역 내에 설치되며, 상기 제1기준온도로 온도 제어되는 제1히팅부와 상기 제2기준온도로 온도 제어되는 제2히팅부를 포함하는 표식부를 더 포함하되, 상기 제어기는 상기 열화상 카메라의 영상에서 상기 제1히팅부의 영상 정보와 동일한 영상 정보를 갖는 영역을 상기 제1 객체 영역으로 추출하고, 상기 제2히팅부의 영상 정보와 동일한 영상 정보를 갖는 영역을 상기 제2 객체 영역으로 추출할 수 있다.
또한, 상기 제어기는 상기 광학영상 카메라의 영상에서 상기 제2 객체 영역에 대응하는 영역의 색상 정보를 추출하고, 상기 색상 정보와 상기 경계 영역의 형상 정보를 상기 기 저장된 감시 대상물의 색상 정보 및 형상 정보와 각각 비교하고, 비교 결과가 기 설정된 기준 이상 값으로 매칭되는 경우, 상기 제2 객체 영역의 객체 정보를 감시 대상물로 판단할 수 있다.
또한, 상기 제어기는 상기 비교 결과가 기 설정된 기준 이상 값으로 매칭되는 경우, 상기 색상 정보와 상기 경계 영역의 형상 정보를 상기 감시 대상물의 후보 정보로 저장할 수 있다.
본 발명의 일 실시 예에 의하면, 감시 대상이 되는 객체의 상태 변화를 효과적으로 감시할 수 있는 인공지능 기반의 영상 감시 시스템이 제공될 수 있다.
또한, 본 발명의 일 실시 예에 의하면, 열 화상을 기초로 객체를 인식할 수 있는 인공지능 기반의 영상 감시 시스템이 제공될 수 있다.
또한, 본 발명의 일 실시 예에 의하면, 데이터의 업데이트를 통해 객체 인식의 정확도가 향상되는 인공지능 기반의 영상 감시 시스템이 제공될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 인공지능 기반의 영상 감시 시스템을 나타내는 블록도이다.
도 2는 도 1의 제어기의 구성을 나타내는 블록도이다.
도 3은 도 2의 제어부의 구성을 나타내는 블록도이다.
도 4는 카메라 유닛이 관심 영역에 대해 촬영을 수행하는 상태를 나타내는 도면이다.
도 5는 인공지능 기반의 영상 감시 시스템에 의해 감시가 수행되는 과정을 나타내는 흐름도이다.
이하, 본 발명의 실시 예를 첨부된 도면들을 참조하여 더욱 상세하게 설명한다. 본 발명의 실시 예는 여러 가지 형태로 변형할 수 있으며, 본 발명의 범위가 아래의 실시 예들로 한정되는 것으로 해석되어서는 안 된다. 본 실시 예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해 제공되는 것이다. 따라서 도면에서의 요소의 형상은 보다 명확한 설명을 강조하기 위해 과장되었다.
도 1은 본 발명의 일 실시 예에 따른 인공지능 기반의 영상 감시 시스템을 나타내는 블록도이다.
도 1을 참조하면, 인공지능 기반의 영상 감시 시스템 (1)은 카메라 유닛(10) 및 제어기(20)를 포함한다.
인공지능 기반의 영상 감시 시스템 (1)은 설정 영역에 대해 촬영을 수행하고, 촬영이 이루어 지는 영역 내에서 감시 대상이 되는 상태가 발생되는 여부를 판단할 수 있다. 이때, 감시 대상이 되는 상태는 쓰레기의 투기가 발생되는 지 여부일 수 있다.
카메라 유닛(10)은 열화상 카메라(11), 광학영상 카메라(12), 구동부(13), 알람 발생부(14) 및 통신부(15)를 포함한다.
카메라 유닛(10)은 관심 영역에 대해 촬영을 수행하여, 관심 영역에서 감시 대상이 되는 상태가 발생되는지 여부를 판단하는데 기초가 되는 기초 정보를 수집할 수 있다. 관심 영역은 카메라 유닛(10)이 설치되어, 카메라 유닛(10)에 의한 감시가 이루어 지는 공간이다.
열화상 카메라(11)는 열을 이용하여 촬영을 수행한다. 이에 따라, 열화상 카메라(11)는 관심 영역의 온도 분포에 관한 정보를 제공한다. 일 예로, 열화상 카메라(11)는 온도에 따라 상이한 색상을 갖는 형태로, 관심 영역의 영상을 제공할 수 있다. 이 때, 열화상 카메라(11)가 촬영한 영상의 색상 분포는 가시 광선에서의 색상 분포에 대응하여, 고온 영역은 빨간색으로 표시되고, 저온 영역은 파란색으로 표시되고, 그 사이의 영역은 고온에서 저온으로 갈수록 주황색, 노란색, 녹색으로 표시될 수 있다.
광학영상 카메라(12)는 가시광선을 이용하여 촬영을 수행한다. 이에 따라, 광학영상 카메라(12)는 관심 영역의 형상, 모양, 색체 분포 등에 관한 정보를 제공한다. 광학영상 카메라(12)는 사람이 시각을 통해 인지하는 상태에 대응되는 영상을 제공할 수 있다.
구동부(13)는 카메라 유닛(10)에 의해 촬영되는 관심 영역이 조절되게 한다. 일 예로, 구동부(13)는 열화상 카메라(11)와 광학영상 카메라(12)가 향하는 방향이 조절되도록 하여, 관심 영역 중 카메라 유닛(10)에 의해 촬영되는 영역이 조절되게 할 수 있다. 구동부(13)는 열화상 카메라(11)와 광학영상 카메라(12)가 향하는 방향이 동시에 조절되거나, 열화상 카메라(11)와 광학영상 카메라(12)가 향하는 방향이 각각 조절되게 구성 및 동작될 수 있다.
알람 발생부(14)는 알람 신호를 발생시킨다. 일 예로, 알람 발생부(14)는 소리의 형태로 알람 신호를 발생시키는 스피커, 설정 색상의 광을 조사하거나 일회 이상 점멸이 반복되는 형태로 알람 신호를 발생시키는 전등 등으로 제공될 수 있다.
통신부(15)는 카메라 유닛(10)에서 수집된 영상 정보를 송신하거나, 카메라 유닛(10)의 제어를 위한 신호를 수신한다. 통신부(15)는 열화상 카메라(11)에서 촬영된 영상 정보, 광학영상 카메라(12)에서 촬영된 영상 정보를 송신할 수 있다. 또한, 통신부(15)는 구동부(13)의 제어를 위한 구동 신호를 수신하고, 구동 신호에 따라 구동부(13)가 동작되게 할 수 있다. 또한, 통신부(15)는 알람 발생부(14)를 동작 시키기 위한 알람 발생 신호를 수신하고, 알람 발생 신호에 따라, 알람 발생부(14)가 동작되게 할 수 있다.
도 2는 도 1의 제어기의 구성을 나타내는 블록도이다.
도 2를 참조하면, 제어기(20)는 전송부(21), 저장부(22) 및 제어부(23)를 포함한다.
제어기(20)는 카메라 유닛(10)을 제어하고, 카메라 유닛(10)이 제공하는 정보를 통해 카메라 유닛(10)이 위치된 영역에서 감시 대상이 되는 상태가 발생되었는지 여부를 판단할 수 있다.
제어기(20)는 인공지능 형태로 제공되어, 감시를 반복하여 수행하는 과정에서, 감시 대상이 되는 상태가 발생되었는지 여부를 판단하는데 사용되는 데이터를 업데이트 시키고, 판단 논리 회로를 향상시키도록 구성될 수 있다. 일 예로, 제어기(20)는 머신 러닝 또는 딥 러닝 형태로 데이터를 업데이트 시키고, 판단 논리 회로를 향상시키도록 제공될 수 있다. 이에 따라, 감시 대상이 되는 상태가 발생되었는지 여부의 판단 정확도가 향상된다.
전송부(21), 저장부(22) 및 제어부(23)는 물리적으로 각각이 분리되어 구현되거나 이 중 하나 이상이 통합되어 구현될 수 있다. 여기서, 제어부(23)는 전송부(21) 및 저장부(22)를 제어할 수 있고, 소정의 프로그램에 따라 전송부(21)를 통해 전달받거나 저장부(22)에 저장된 데이터를 읽어와 처리할 수 있는 프로세서로 이해될 수 있다.
전송부(21)는 통신부(15)와 데이터를 송수신 가능하게 제공된다. 일 예로, 전송부(21)는 카메라 유닛(10)이 인접하게 위치되어, 통신부(15)와 유선을 통해 직접 연결되거나, 무선 통신 방식으로 통신부(15)와 연결되게 제공될 수 있다. 또한 전송부(21)는 네트워크를 통해 통신부(15)와 연결될 수도 있다. 네트워크는 단말기들 및 제어기들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(network)의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다. 또한, 제어기(20)는 제어기 형태로 제공되어, 1개 또는 복수의 카메라 유닛(10)에 연결되어, 하나 또는 복수의 카메라 유닛(10)의 제어를 수행하고, 카메라 유닛(10)이 송신하는 정보를 통해 감시 대상이 되는 상태가 발생하는지 판단할 수 있다.
전송부(21)는 열화상 카메라(11) 및 광학영상 카메라(12)가 촬영한 영상 정보를 수신한다. 또한, 전송부(21)는 알람 발생부(14)를 동작 시키기 위한 알람 발생 신호, 구동부(13) 제어를 위한 신호를 송신한다.
저장부(22)에는 수신된 데이터 및 객체(O) 감시를 위한 프로그램 및 각종 데이터가 저장될 수 있다. 여기에서, 저장부(22)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치를 통칭하는 것이다.
제어부(23)는 저장부(22)에 저장된 프로그램을 실행시키고, 저장된 데이터를 프로그램에 적용시킨다. 또한, 제어부(23)는 프로그램을 실행시켜, 수신된 데이터가 저장부(22)에 저장되게 할 수 있다. 또한, 제어부(23)는 프로그램을 실행시켜, 데이터가 전송부(21)를 통해 송신되게 할 수 있다.
도 3은 도 2의 제어부의 구성을 나타내는 블록도이고, 도 4는 카메라 유닛이 관심 영역에 대해 촬영을 수행하는 상태를 나타내는 도면이다.
도 3 및 도 4를 참조하면, 제어부(23)는 객체 추출부(21), 감시 대상물 판단부(220) 및 상태 모니터링 부(230)를 포함한다.
객체 추출부(21)는 카메라 유닛(10)이 제공하는 영상 정보에서 감시 대상이 되는 객체(O)를 추출한다. 객체 추출부(21)는 카메라 유닛(10)이 제공하는 정보를 통해 관심 영역에서 이동하는 대상을 객체(O)로 추출할 수 있다.
감시 대상물 판단부(220)는 객체(O)에 감시 대상물이 있는지를 판단한다. 먼저, 감시 대상물 판단부(220)는 객체(O)가 제1 객체 영역(O1)과 제2 객체 영역(O2)을 포함하는지 판단할 수 있다. 감시 대상물 판단부(220)는 제2 객체 영역(O2)이 제1 객체 영역(O1)에서 설정 위치에 있는지 여부를 판단할 수 있다. 이후, 감시 대상물 판단부(220)는 제2 객체 영역(O2)이 나타내는 물건에 관한 정보인 객체 정보를 도출하고, 객체 정보를 감시 대상물의 정보와 비교하여 제2 객체 영역(O2)이 감시 대상물인지 여부를 판단한다. 객체 정보는 제2 객체 영역(O2)의 형상, 모양, 색체 정보 등을 포함할 수 있다. 감시 대상물 판단부(220)에는 객체 정보와 대비되는 감시 대상물의 정보가 복수의 후보 정보의 집합 형태로 이루어 질 수 있다. 그리고, 감시 대상물 판단부(220)는 인공 지능을 기반으로 후보 정보의 특징을 추출한 후, 이를 객체 정보와 비교하는 방식으로 객체 정보가 감시 대상물에 해당되는지 여부를 판단할 수 있다. 또한, 객체 정보가 기준 값 이상으로 감시 대상물과 매칭되어, 감시 대상물로 판단되면, 감시 대상물 판단부(220)는 객체 정보를 후보 정보로 저장하여, 감시 대상물의 정보를 업데이트 할 수 있다. 또한, 감시 대상물 판단부(220)는 업데이트 되는 감시 대상물의 정보를 기초로 머신 러닝 또는 딥 러닝 방식으로 학습을 수행하여, 객체 정보와 감시 대상물의 정보를 비교하여 객체 정보가 감시 대상물에 해당되는지 여부를 식별하는 기능을 향상시킬 수 있다. 이에 따라, 감시 대상물의 판단 정확도가 향상된다.
감시 대상물 판단부(220)는 표시부(30)가 제공하는 기준 온도를 반영하여, 객체(O)가 감시하고자 하는 제1 객체 영역(O1)과 제2 객체 영역(O2)을 포함하는지 판단할 수 있다.
표시부(30)는 카메라 유닛(10)에 의해 촬영이 이루어 지는 관심 영역에 위치되어, 열화상 카메라(11)에 의해 촬영되게 제공된다. 표시부(30)는 제1 히팅부(31) 및 제2 히팅부(32)를 포함한다.
제1 히팅부(31)는 제1 기준 온도로 히팅 된 상태로 열량을 방출하도록 제공된다. 제1 기준 온도는 제1 객체 영역(O1)으로 판단되는 대상이 갖는 온도에 대응될 수 있다. 일 예로, 제1 객체 영역(O1)으로 추출되는 대상이 사람인 경우, 제1 기준 온도는 체온에 대응될 수 있다.
제2 히팅부(32)는 제2 기준 온도로 히팅 된 상태로 열량을 방출하도록 제공된다. 제2 기준 온도는 제2 객체 영역(O2)으로 판단되는 대상이 갖는 온도에 대응될 수 있다. 일 예로, 제2 객체 영역(O2)으로 추출되는 대상이 쓰레기 인 경우, 제2 기준 온도는 쓰레기의 온도에 대응될 수 있다.
감시 대상물 판단부(220)는 객체(O)에서 제1 히팅부(31)의 색상 정보에 대응되는 색상을 갖는 영역을 제1 객체 영역(O1)에 포함되는 영역으로 판단할 수 있다. 그리고, 감시 대상물 판단부(220)는 객체(O)에서 제2 히팅부(32)의 색상 정보에 대응되는 색상을 갖는 영역을 제2 객체 영역(O2)에 포함되는 영역으로 판단할 수 있다.
상태 모니터링 부(230)는 제1 객체(O) 영상과 제2 객체 영역(O2)을 포함하는 객체(O)를 모니터링 하여, 객체(O)에서 감시 대상이 되는 상태가 발생되면 이를 감지한다. 상태 모니터링 부(230)는 감시 대상이 되는 상태가 발생되면 이벤트 신호를 발생시키고, 광학영상 카메라(12)가 촬영한 영상을 저장할 수 있다. 또한, 상태 모니터링 부(230)는 감시 대상이 되는 상태가 발생되면 알람 발생부(14)가 작동하게 할 수 있다.
도 5는 인공지능 기반의 영상 감시 시스템에 의해 감시가 수행되는 과정을 나타내는 흐름도이다.
이하, 도 5를 참조하여 인공지능 기반의 영상 감시 시스템 (1)이 감시를 수행하는 과정을 설명한다.
카메라 유닛(10)은 관심 영역에 대해 촬영을 수행한다(S100). 열화상 카메라(11)와 광학영상 카메라(12)는 정지된 상태로 동일한 영역에 대해 촬영을 수행하도록 구동될 수 있다. 또한, 제어기(20)는 구동부(13)를 제어하여, 열화상 카메라(11)와 광학영상 카메라(12)가 향하는 방향을 변경시키면서 촬영되는 영역을 이동시키면서 촬영을 수행할 수 있다.
제어기(20)는 관심 영역에서 감시 대상이 되는 객체(O)를 추출한다(S200). 제어기(20)는 카메라 유닛(10)이 제공하는 영상 정보를 통해 관심 영역에서 이동하는 대상을 감시 대상이 되는 객체(O)로 추출한다. 이때, 제어기(20)는 열화상 카메라(11)가 제공하는 영상 정보, 광학영상 카메라(12)가 제공하는 영상 정보, 또는 열화상 카메라(11)와 광학영상 카메라(12)가 제공하는 영상 정보에서 이동하는 영역을 객체(O)로 추출할 수 있다.
제어기(20)는 이동이 발생되는 영역의 크기를 반영하여 객체(O)를 추출할 수 있다. 구체적으로, 제어기(20)는 카메라 유닛(10)이 제공하는 영상에서 이동하는 영역의 높이, 폭, 또는 넓이를 객체 식별 값으로 추출할 수 있다. 그리고, 제어기(20)는 객체 식별 값을 기준 식별 값에 대비시켜, 이동하는 영역이 감시 대상이 되는 객체(O)인지 여부를 판단할 수 있다. 이때, 기준 식별 값은 통상 사람의 키, 폭, 넓이에 대응되는 값으로 설정되어, 영상에서 이동하는 영역이 사람인 경우에 객체(O)로 추출될 수 있다. 또한, 제어기(20)는 인공지능을 기반으로 감시를 반복 수행하는 과정에서 기준 식별 값의 조절을 수행할 수 있다.
제어기(20)는 이동이 발생되는 영역의 이동 속력을 반영하여 객체(O)를 추출할 수 있다. 구체적으로, 제어기(20)는 이동이 발생되는 영역의 이동 속력이 기준 식별 속력에 대비시켜, 이동하는 영역이 감시 대상이 되는 객체(O)인지 여부를 판단할 수 있다. 이때, 기준 식별 속력은 통상 사람이 가질 수 있는 이동 속력으로 설정되어, 영상에서 이동하는 영역이 사람인 경우에 객체(O)로 추출될 수 있다. 또한, 제어기(20)는 인공지능을 기반으로 감시를 반복 수행하는 과정에서 기준 식별 속력의 조절을 수행할 수 있다.
제어기(20)는 객체(O)가 제1 객체 영역(O1)과 제2 객체 영역(O2)을 포함하는지 판단한다(S300). 제어기(20)는 객체(O)가 각각 상이한 물체에 해당하는 제1 객체 영역(O1)과 제2 객체 영역(O2)으로 이루어져 있는지 판단한다. 이때, 제1 객체 영역(O1)은 사람에 해당되는 영역이고, 제2 객체 영역(O2)은 사람이 손에 휴대하고 있는 물체에 해당되는 영역이다. 일 예로, 제어기(20)는 열화상 카메라(11)가 제공하는 영상을 통해, 객체(O)의 온도 분포를 검출할 수 있다. 제어기(20)는 사람이 갖는 온도 분포에 관한 정보인 제1 기준 온도를 가지고 있을 수 있다. 또한, 제어기(20)는 사람과 같이 발열하지 않는 사물이 갖는 온도 분포에 관한 정보인 제2기준 온도를 가지고 있을 수 있다. 제1 기준 온도 및 제2 기준 온도에 관한 정보는 열화상 카메라(12)가 제공하는 영상 정보에 대응하는 색상 형태로 제공되어, 제어기(20)는 열화상 카메라(12)의 영상을 제1 기준 온도 및 제2 기준 온도의 색상과 비교하여 제1 객체 영역(O1)과 제2 객체 영역(O2)을 판단할 수 있다. 제1 기준 온도 및 제2 기준 온도는 설정 밴드를 갖는 범위로 설정될 수 있다. 제어기(20)는 객체(O)에서 제1기준 온도를 갖는 영역을 제1 객체 영역(O1)으로 설정하고, 제2기준 온도를 갖는 영역을 제2 객체 영역(O2)으로 설정할 수 있다. 반면, 제어기(20)는 객체(O)가 제2 객체 영역(O2)을 갖지 않는 것으로 판단되면, 객체(O)에 대한 감시를 종료하고, 카메라 유닛(10)이 관심 영역에 대해 촬영을 수행하도록 제어할 수 있다.
또한, 제어기(20)는 제2 객체 영역(O2)이 제1 객체 영역(O1)에서 설정 위치에 있는지 여부를 판단할 수 있다. 일 예로, 제어기(20)는 제1 객체 영역(O1)에서 온도 분포를 통해 사람의 손에 해당되는 영역을 추출할 수 있다. 예를 들어, 사람의 손이 의복 등에 의해 가려지지 않은 경우, 제어기(20)는 사람의 피부가 나타내는 온도 범위, 해당 범위의 면적을 통해 사람의 손에 해당되는 영역을 추출할 수 있다. 또한, 제어기(20)는 사람의 피부가 나타내는 온도 범위, 해당 범위의 면적을 통해 사람의 얼굴에 해당되는 영역을 추출하고, 얼굴로 추출된 영역과의 상대적 위치 및 온도 분포를 통해 사람의 손에 해당되는 영역을 추출할 수도 있다. 이후, 제어기(20)는 제2 객체 영역(O2)이 사람의 손으로 추출된 영역과 연결되도록 위치되는지 여부를 판단할 수 있다. 반면, 제어기(20)는 객체(O)가 제2 객체 영역(O2)이 손으로 추출된 영역과 연결되지 않는 것으로 판단되면, 객체(O)에 대한 감시를 종료하고, 카메라 유닛(10)이 관심 영역에 대해 촬영을 수행하도록 제어할 수 있다.
제어기(20)는 제2 객체 영역(O2)이 감시 대상물인지 판단한다(S400). 객체(O)가 제2 객체 영역(O2)을 갖는 것으로 판단되면, 제어기(20)는 제2 객체 영역(O2)과 제2 객체 영역(O2) 주위를 구획하는 경계 영역을 추출하여, 제2 객체 영역(O2)의 형상 정보를 추출할 수 있다. 그리고, 제어기(20)는 제2 객체 영역(O2)의 형상을 통해, 제2 객체 영역(O2)이 인공지능 기반의 영상 감시 시스템 (1)을 통해 감시하고자 하는 감시 대상물인지 여부를 판단할 수 있다. 제어기(20)는 형상 정보와 감시 대상물의 정보 사이의 매칭 정도를 점수화 하여, 매칭되는 점수가 기준 값 이상이 되는 경우, 제2 객체 영역(O2)이 감시 대상물인 것으로 판단할 수 있다. 또한, 제어기(20)는 기준 값 이상 매칭된 경계 영역의 형상 정보를 후보 정보로 저장하여, 감시 대상물의 정보를 업데이트 할 수 있다.
일 예로, 감시 대상물은 쓰레기가 담긴 봉투 등이고, 제어기(20)는 제2 객체 영역(O2)의 형상을 통해 제2 객체 영역(O2)이 쓰레기를 담은 봉투에 해당하는지 여부를 판단할 수 있다.
또한, 제어기(20)는 제2 객체 영역(O2)이 감시 대상물인지 여부를 판단하는데, 광학 영상 카메라가 제공하는 영상을 추가로 이용할 수 있다. 일 예로, 제어기(20)는 열화상 카메라(11)의 영상에서 경계 영역으로 추출된 영역에 대응하는 영역을 광학영상 카메라(12)의 영상에서 추출할 수 있다. 그리고, 제어기(20)는 광학영상 카메라(12)에서 제2 객체 영역(O2)을 추출된 영역의 모양, 색상 등을 제어기(20)에 저장되어 있는 감시 대상물의 모양, 색상 등의 데이터와 비교하여, 제2 객체 영역(O2)이 감시 대상물에 해당되는지 여부를 판단할 수 있다. 제어기(20)는 추출된 영역의 모양, 색상 정보와 감시 대상물의 정보 사이의 매칭 정도를 점수화 하여, 매칭되는 점수가 기준 값 이상이 되는 경우, 제2 객체 영역(O2)이 감시 대상물인 것으로 판단할 수 있다. 또한, 제어기(20)는 기준 값 이상 매칭된 모양, 색상, 또는 모양 및 생상 정보를 후보 정보로 저장하여, 감시 대상물의 정보를 업데이트 할 수 있다.
제어기(20)는 감시 대상이 되는 상태가 발생되는지 감시를 수행한다(S500). 일 예로, 감시 대상이 되는 상태는 쓰레기의 무단투기 행위일 수 있다. 제2 객체 영역(O2)의 객체 정보를 감시 대상물의 정보와 비교한 결과, 객체(O)의 제2 객체 영역(O2)이 감시 대상물로 판단되면, 제어기(20)는 카메라 유닛(10)을 통해 객체(O)에 대한 감시를 수행한다. 일 예로, 제어기(20)는 열화상 카메라(11), 광학영상 카메라(12)의 영상에서 객체(O)의 이동을 추적할 수 있다. 또한, 제어기(20)는 열화상 카메라(11) 및 광학영상 카메라(12)가 촬영하는 영역이 객체(O)의 이동에 따라 이동되도록 구동부(13)를 제어할 수도 있다. 이에 따라 열화상 카메라(11)는 객체(O)의 이동을 추적하도록 구동되고, 광학영상 카메라(12)는 열화상 카메라(11)의 움직임과 연동하여 구동되어 객체(O)를 촬영한다. 제어기(20)는 제1 객체 영역(O1)과 제2 객체 영역(O2)의 상대적인 이동 정보의 변화가 발생하는지 여부를 판단한다. 일 예로, 제어기(20)는 객체(O)에서 제1 객체 영역(O1)은 이동하면서, 제2 객체 영역(O2)은 정지한 상태가 발생되면, 감시 대상이 되는 상태가 발생된 것으로 판단하고, 이벤트 신호를 발생시킬 수 있다. 다른 예로, 제어기(20)는 객체(O)에서 제1 객체 영역(O1)과 제2 객체 영역(O2)이 분리된 후, 제1 객체 영역(O1)과 제2 객체 영역(O2) 사이의 거리가 설정 범위를 벗어나면, 감시 대상이 되는 상태가 발생된 것으로 판단하고, 이벤트 신호를 발생시킬 수 있다. 제어기(20)는 이벤트 신호가 발생되면, 광학영상 카메라(12)가 촬영한 영상을 저장할 수 있다. 또한, 제어기(20)는 이벤트 신호가 발생되면, 알람 발생부(14)가 작동하여 알람 신호를 발생하도록 하는 알람 발생 신호를 송신할 수 있다.
이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내어 설명하는 것이며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위내에서 변경 또는 수정이 가능하다. 저술한 실시예는 본 발명의 기술적 사상을 구현하기 위한 최선의 상태를 설명하는 것이며, 본 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.
10: 카메라 유닛 11: 열화상 카메라
12: 광학영상 카메라 13: 구동부
14: 알람 발생부 20: 제어기
30: 표시부

Claims (5)

  1. 열을 이용하여 촬영하는 열화상 카메라;
    가시광선을 이용하여 촬영하는 광학영상 카메라;
    상기 열화상 카메라와 상기 광학영상 카메라의 움직임을 구동하는 구동부;
    상기 열화상 카메라의 영상과 상기 광학영상 카메라의 영상을 수신하고, 상기 열화상 카메라의 영상에서 기 설정된 제1기준온도를 갖는 제1 객체 영역과 기 설정된 제2기준온도를 갖는 제2 객체 영역을 추출하고, 상기 제2 객체 영역의 경계 영역을 추출하고, 상기 제2 객체 영역의 객체 정보를 도출하고, 기 저장된 감시 대상물의 정보와 상기 객체 정보를 비교하여 상기 제2 객체 영역의 객체 정보가 감시 대상물로 판단되는 경우, 상기 열화상 카메라가 상기 제1 객체 영역과 상기 제2 객체 영역의 이동을 추적하도록 구동하고, 상기 열화상 카메라의 움직임과 연동하여 상기 광학영상 카메라가 구동되도록 상기 구동부에 구동 신호를 전송하며, 상기 제1 객체 영역의 경계영역과 상기 제2 객체 영역의 경계영역의 사이 거리가 기 설정된 범위를 벗어나거나 상기 제1 객체 영역과 상기 제2 객체 영역의 상대 이동 정보가 변경되는 경우 이벤트 신호를 발생하고, 상기 이벤트 신호 발생 시 상기 광학 영상을 저장하는 제어기; 및
    상기 열화상 카메라에 의해 촬영되는 관심 영역 내에 설치되며, 상기 제1기준온도로 온도 제어되는 제1히팅부와 상기 제2기준온도로 온도 제어되는 제2히팅부를 포함하는 표식부를 더 포함하되,
    상기 제어기는 상기 열화상 카메라의 영상에서 상기 제1히팅부의 영상 정보와 동일한 영상 정보를 갖는 영역을 상기 제1 객체 영역으로 추출하고, 상기 제2히팅부의 영상 정보와 동일한 영상 정보를 갖는 영역을 상기 제2 객체 영역으로 추출하는 인공지능 기반의 영상 감시 시스템.
  2. 제 1 항에 있어서,
    알람 발생부를 더 포함하고,
    상기 제어기는 상기 이벤트 신호의 발생 시, 상기 알람 발생부에 알람 발생 신호를 전송하는 인공지능 기반의 영상 감시 시스템.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 제어기는 상기 광학영상 카메라의 영상에서 상기 제2 객체 영역에 대응하는 영역의 색상 정보를 추출하고, 상기 색상 정보와 상기 경계 영역의 형상 정보를 상기 기 저장된 감시 대상물의 색상 정보 및 형상 정보와 각각 비교하고, 비교 결과가 기 설정된 기준 이상 값으로 매칭되는 경우, 상기 제2 객체 영역의 객체 정보를 감시 대상물로 판단하는 인공지능 기반의 영상 감시 시스템.
  5. 제 4 항에 있어서,
    상기 제어기는 상기 비교 결과가 기 설정된 기준 이상 값으로 매칭되는 경우, 상기 색상 정보와 상기 경계 영역의 형상 정보를 상기 감시 대상물의 후보 정보로 저장하는 인공지능 기반의 영상 감시 시스템.
KR1020190015413A 2019-02-11 2019-02-11 인공지능 기반의 영상 감시 시스템 KR102129734B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190015413A KR102129734B1 (ko) 2019-02-11 2019-02-11 인공지능 기반의 영상 감시 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190015413A KR102129734B1 (ko) 2019-02-11 2019-02-11 인공지능 기반의 영상 감시 시스템

Publications (1)

Publication Number Publication Date
KR102129734B1 true KR102129734B1 (ko) 2020-07-03

Family

ID=71571735

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190015413A KR102129734B1 (ko) 2019-02-11 2019-02-11 인공지능 기반의 영상 감시 시스템

Country Status (1)

Country Link
KR (1) KR102129734B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230199315A1 (en) * 2021-12-16 2023-06-22 Oxti Corporation Camera device
WO2023149603A1 (ko) * 2022-02-04 2023-08-10 주식회사 월드씨엔에스 다수의 카메라를 이용한 열화상 감시 시스템
KR102630316B1 (ko) * 2022-11-17 2024-01-30 주식회사 노비텍 열 감지 센서를 이용한 객체 식별 하이브리드 카메라, 이를 이용한 스마트 보행신호 시스템, 및 무인단속/영상감시 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011091523A (ja) * 2009-10-21 2011-05-06 Victor Co Of Japan Ltd 形状認識方法及び形状認識装置
KR20120016479A (ko) * 2010-08-16 2012-02-24 한국표준과학연구원 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법
KR101907442B1 (ko) * 2018-04-03 2018-10-12 주식회사 다누시스 사람 이동 궤적 기반 유기 감지 시스템 및 사람 이동 궤적 기반 유기 감지 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011091523A (ja) * 2009-10-21 2011-05-06 Victor Co Of Japan Ltd 形状認識方法及び形状認識装置
KR20120016479A (ko) * 2010-08-16 2012-02-24 한국표준과학연구원 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법
KR101907442B1 (ko) * 2018-04-03 2018-10-12 주식회사 다누시스 사람 이동 궤적 기반 유기 감지 시스템 및 사람 이동 궤적 기반 유기 감지 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230199315A1 (en) * 2021-12-16 2023-06-22 Oxti Corporation Camera device
WO2023149603A1 (ko) * 2022-02-04 2023-08-10 주식회사 월드씨엔에스 다수의 카메라를 이용한 열화상 감시 시스템
KR102630316B1 (ko) * 2022-11-17 2024-01-30 주식회사 노비텍 열 감지 센서를 이용한 객체 식별 하이브리드 카메라, 이를 이용한 스마트 보행신호 시스템, 및 무인단속/영상감시 시스템

Similar Documents

Publication Publication Date Title
KR102129734B1 (ko) 인공지능 기반의 영상 감시 시스템
US9524437B2 (en) Automatic extraction of secondary video streams
US8432445B2 (en) Air conditioning control based on a human body activity amount
US20070052803A1 (en) Scanning camera-based video surveillance system
WO2017151241A2 (en) Video processing
US20210185987A1 (en) Rearing place management device and method
CN110044486A (zh) 用于人体检验检疫系统避免重复报警的方法、装置、设备
CN111242025B (zh) 一种基于yolo的动作实时监测方法
KR101877294B1 (ko) 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 복수 개 기본행동패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ｃｃｔｖ 시스템
KR100326203B1 (ko) 피부색 및 움직임 자동 추적에 의한 얼굴 촬영/인식방법과 그장치
WO2005064944A1 (en) Master-slave automated video-based surveillance system
WO2005050972A2 (en) Active camera video-based surveillance systems and methods
JP5887508B2 (ja) 露光制御装置、撮像装置、画像表示装置及び露光制御方法
JP2007148988A (ja) 顔認証装置、顔認証方法および入退場管理装置
KR102615986B1 (ko) 이상 개체 판단 장치 및 방법
KR20190093799A (ko) Cctv를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법
KR20120035734A (ko) 화재 검출 방법
KR20180029466A (ko) 영상으로부터 다중 조건에 따른 객체 검색을 가능하게 하는 ｃｃｔｖ 시스템 및 그 객체 검색방법
KR101944374B1 (ko) 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
CN104967814A (zh) 监控设备互联控制方法及系统
WO2020141888A1 (ko) 사육장 환경 관리 장치
KR20200139616A (ko) 이상 개체 검출 장치 및 방법
KR20200009530A (ko) 이상 개체 검출 시스템 및 방법
KR101542206B1 (ko) 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법
EP4354853A1 (en) Thermal-image-monitoring system using plurality of cameras

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant