KR102249498B1

KR102249498B1 - 이벤트 검색 장치 및 시스템

Info

Publication number: KR102249498B1
Application number: KR1020160104114A
Authority: KR
Inventors: 임정은; 노승인
Original assignee: 한화테크윈 주식회사
Priority date: 2016-08-17
Filing date: 2016-08-17
Publication date: 2021-05-11
Also published as: US20180053064A1; KR20180019874A; EP3285181A1; CN107770486B; CN107770486A; US10262221B2

Abstract

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 이벤트 검색 장치는 감시 영역을 촬영하여 획득된 복수의 영상 프레임과, 상기 영상 프레임 상의 이벤트의 발생 시간 정보와 위치 정보를 포함하는 메타데이터를 카메라로부터 수신하는 통신부; 상기 영상 프레임들과 대응되는 화면비를 가지며, 복수의 블록들로 구성된 서치 맵을 생성하는 서치 맵 생성부; 상기 위치 정보를 기초로, 상기 복수의 블록 중 대응되는 블록 내에, 상기 시간 정보를 포함하는 타임스탬프를 설정하는 타임스탬프 설정부; 상기 이벤트를 검색하기 위하여 검색 위치를 입력받는 사용자 인터페이스; 및 상기 복수의 블록 중에서 상기 검색 위치에 근접한 블록에 속하는 타임스탬프를 검색하고, 상기 복수의 영상 프레임 중에서 상기 검색된 타임스탬프가 지시하는 영상 프레임에 관한 메타데이터를 대상으로 상기 이벤트 검색을 수행하는 이벤트 검색부를 포함한다.

Description

이벤트 검색 장치 및 시스템{The Apparatus And System For Searching}

본 발명은 이벤트 검색 장치 및 시스템에 관한 것으로서, 보다 상세하게는 이벤트가 발생한 이후에 사용자가 검색하고자 하는 영역을 검색 영역으로 지정함으로써, 검색 영역 내에서 발생한 이벤트만을 검색 결과로 도출될 수 있는 이벤트 검색 장치 및 시스템에 관한 것이다.

일반적으로 은행, 백화점, 일반 주택가를 비롯한 다양한 장소에서 감시 시스템이 널리 사용되고 있다. 이러한 감시 시스템은 범죄 예방, 보안을 목적으로 사용될 수 있으나, 최근에는 실내의 애완동물 또는 어린 아이를 실시간으로 감시하기 위해서도 사용되기도 한다. 그리고 이러한 감시 시스템으로 가장 많이 사용하는 시스템은, 감시를 원하는 영역을 촬영할 수 있도록 적절한 위치에 카메라를 설치하고, 사용자는 카메라가 촬영한 영상을 모니터링 함으로써 감시할 수 있는 폐쇄회로 텔레비전(Closed Circuit Television: CCTV) 시스템이다.

최근에는 이러한 CCTV 시스템은 이벤트(Event) 검색 기능을 제공하고 있다. 이벤트(Event)란, 카메라가 특정 영역을 촬영하는 도중에 발생하는 여러 가지 각종 사건을 말한다. 예를 들면, 사람이나 동물이 움직이는 모션 이벤트, 찬장의 유리잔이 떨어져 깨지는 모션 및 소리 이벤트, 화재가 발생하는 열 및 빛 이벤트 등이 있다. 최근 CCTV는 각종 센서들과 연결되어, 특정 이벤트가 발생하면 센서가 이를 감지하고, 사용자에게 이벤트 발생 사실을 알려주는 이벤트 알림 기능도 제공하고 있다.

그러나, 이미 이벤트가 발생한 경우, 사용자가 발생하였던 이벤트의 내용을 확인하기를 희망하는 경우가 있다. 예를 들어, 사용자가 외출 후 집에 복귀했는데 거실에 꽃병이 깨져있는 경우, 과거에 어떤 이벤트가 발생했었는지 모니터링 하기를 희망할 수 있다. 그런데 종래의 경우에는 이러한 이벤트를 검색하기 위해, 사용자가 시간 조건만을 입력할 수 있었다.

또는, 위치에 대한 조건을 입력하더라도, 이벤트가 발생한 이후에 입력하는 것이 아니라, 사용자가 미리 관심 영역(ROI, Region Of Interest)을 설정하면, 추후에 상기 관심 영역 내에서 발생한 이벤트만을 검색할 수 있을 뿐이었다. 따라서, 이미 과거에 특정 영역에 대하여 발생하였던 이벤트를 추후에 검색하기 위해, 위치에 대한 조건을 검색 조건으로 입력할 필요가 있다.

미국특허등록 제7460149호 미국특허등록 제9201900호

본 발명이 해결하고자 하는 과제는, 이벤트가 발생한 이후에 사용자가 검색하고자 하는 영역을 검색 영역으로 지정함으로써, 검색 영역 내에서 발생한 이벤트만을 검색 결과로 도출될 수 있는 이벤트 검색 장치 및 시스템을 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 이벤트 검색 시스템은 감시 영역을 촬영하여 복수의 영상 프레임과, 상기 영상 프레임에 관한 메타데이터를 생성하는 카메라; 및 상기 복수의 영상 프레임 및 상기 메타데이터를 상기 카메라로부터 전송받아 이벤트를 검색하는 이벤트 검색 장치를 포함하는 이벤트 검색 시스템으로서, 상기 이벤트 검색 장치는, 상기 복수의 영상 프레임과, 상기 영상 프레임 상의 이벤트의 발생 시간 정보와 위치 정보를 포함하는 메타데이터를 카메라로부터 수신하는 제1 통신부; 상기 영상 프레임들과 대응되는 화면비를 가지며, 복수의 블록들로 구성된 서치 맵을 생성하는 서치 맵 생성부; 상기 위치 정보를 기초로, 상기 복수의 블록 중 대응되는 블록 내에, 상기 시간 정보를 포함하는 타임스탬프를 설정하는 타임스탬프 설정부; 상기 이벤트를 검색하기 위하여 검색 위치를 입력받는 사용자 인터페이스; 및 상기 복수의 블록 중에서 상기 검색 위치에 근접한 블록에 속하는 타임스탬프를 검색하고, 상기 복수의 영상 프레임 중에서 상기 검색된 타임스탬프가 지시하는 영상 프레임에 관한 메타데이터를 대상으로 상기 이벤트 검색을 수행하는 이벤트 검색부를 포함한다.

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 이벤트 검색 시스템은 이벤트의 발생을 감지하여 신호를 생성하는 센서; 상기 센서로부터 상기 신호를 수신하고, 감시 영역을 촬영하여 복수의 영상 프레임과 상기 영상 프레임에 관한 메타데이터를 생성하는 카메라; 및 상기 복수의 영상 프레임 및 상기 메타데이터를 상기 카메라로부터 전송받아 이벤트를 검색하는 이벤트 검색 장치를 포함하는 이벤트 검색 시스템으로서, 상기 이벤트 검색 장치는, 상기 복수의 영상 프레임과, 상기 영상 프레임 상의 이벤트의 발생 시간 정보와 위치 정보를 포함하는 메타데이터를 카메라로부터 수신하는 제1 통신부; 상기 영상 프레임들과 대응되는 화면비를 가지며, 복수의 블록들로 구성된 서치 맵을 생성하는 서치 맵 생성부; 상기 위치 정보를 기초로, 상기 복수의 블록 중 대응되는 블록 내에, 상기 시간 정보를 포함하는 타임스탬프를 설정하는 타임스탬프 설정부; 상기 이벤트를 검색하기 위하여 검색 위치를 입력받는 사용자 인터페이스; 및 상기 복수의 블록 중에서 상기 검색 위치에 근접한 블록에 속하는 타임스탬프를 검색하고, 상기 복수의 영상 프레임 중에서 상기 검색된 타임스탬프가 지시하는 영상 프레임에 관한 메타데이터를 대상으로 상기 이벤트 검색을 수행하는 이벤트 검색부를 포함한다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.

이벤트가 발생한 이후라 하더라도, 사용자가 검색하고자 하는 영역을 검색 영역으로 지정한다면, 검색 영역 내에서 발생한 이벤트만을 검색 결과로 도출될 수 있다.

또한, 복수의 날짜에 대하여도 검색이 필요한 경우, 각각의 날짜마다 독립적으로, 동시에 검색을 수행할 수 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 이벤트 검색 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 카메라(2)의 상세한 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 제어부(14)의 상세한 구성을 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 카메라(2)가 획득한 영상(111)에서 이벤트가 발생하는 모습을 나타낸 도면이다.
도 5는 도 4에서의 이벤트를 발생시키는 객체(3)를 식별하는 모습을 나타낸 도면이다.
도 6은 이벤트가 발생하는 경우 생성되는 본 발명의 일 실시예에 따른 메타데이터(4)의 예시도이다.
도 7은 본 발명의 일 실시예에 따른 서치 맵(5) 상에서, 도 4에서의 이벤트가 발생한 지점과 대응되는 지점에 타임스탬프(51)가 설정되는 모습을 나타낸 개념도이다.
도 8은 도 4에서의 이벤트가 시간의 흐름에 따라 변화되는 모습을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 서치 맵(5) 상에서, 도 8에서의 이벤트가 변화한 지점과 대응되는 지점에 타임스탬프(51)가 설정되는 모습을 나타낸 개념도이다.
도 10은 본 발명의 일 실시예에 따른 영상(111)에서 검색 위치로 검색 영역(113)이 지정되는 모습을 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 서치 맵(5) 상에서, 도 10의 검색 영역(113)과 대응되는 영역이 지정된 모습을 나타낸 개념도이다.
도 12는 본 발명의 일 실시예에 따른 영상(111)에서 검색 위치로 검색 라인(114)이 지정되는 모습을 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 서치 맵(5) 상에서, 도 12의 검색 라인(114)과 대응되는 라인이 지정된 모습을 나타낸 개념도이다.
도 14는 본 발명의 일 실시예에 따른 이벤트 검색부(144)가 서치 맵(5)을 검색하기 위해 지정하는 검색 조건을 개념적으로 도시한 타임라인이다.
도 15는 복수의 검색 날짜가 지정된 경우, 본 발명의 일 실시예에 따른 서치 맵(5)이 변형된 모습을 나타낸 도면이다.
도 16은 복수의 검색 날짜가 지정된 경우, 본 발명의 일 실시예에 따른 이벤트 검색부(144)가 서치 맵(5)을 검색하는 조건을 개념적으로 도시한 타임라인이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 이벤트 검색 시스템의 구성을 나타낸 블록도이다.

본 발명의 일 실시예에 따른 이벤트 검색 시스템은 감시 영역을 촬영하여 영상(111)을 획득하는 카메라(2), 카메라(2)가 획득한 영상(111)을 전송받아 디스플레이 하고 사용자가 이벤트를 검색할 수 있는 이벤트 검색 장치(1)를 포함한다. 카메라(2)와 이벤트 검색 장치(1)는 서로 유선 또는 무선으로 연결되거나, 이벤트 검색 장치(1)에 장착되어, 영상 데이터 또는 신호를 송수신 할 수 있다.

본 발명의 일 실시예에 따른 이벤트 검색 시스템을 이용하는 방법에 따르면, 카메라(2)를 통해 획득된 영상(111)이 이벤트 검색 장치(1)의 화면부(11)에 디스플레이 된다. 그리고 사용자는 상기 영상(111)에서 사용자 인터페이스를 통해 검색하기를 원하는 검색 위치를 지정할 수 있다. 그러면, 상기 검색 위치의 부근에 이벤트가 발생하였던 기록들이 검색 결과로 도출된다. 이 때, 이벤트의 발생이 기록된 영상(111)들을 직접 검색할 필요 없이, 미리 생성된 메타데이터(4)를 이용하여, 이벤트 검색 장치(1)는 이벤트가 발생한 메타데이터(4)만을 검색하여 빠르게 검색 결과를 출력할 수 있다.

카메라(2)는 감시 영역을 촬영하여 영상(111)을 획득한다. 본 발명의 일 실시예에 따른 카메라(2)는 패닝(Panning), 틸팅(Tilting)이 가능한 팬틸트 카메라인 것이 바람직하다. 또는, 카메라(2)는 큰 화각을 갖는 광각렌즈를 가질 수 있으며, 180°이상의 화각을 갖는 초광각 렌즈인 어안 렌즈(Fish-Eye Lens)를 가질 수도 있다. 나아가, 카메라(2)는 최근에 소개된 360°카메라일 수도 있다. 360°카메라란, 카메라(2) 자체가 물리적인 패닝 또는 틸팅이 되지 않고, 어안 렌즈를 복수로 장착하여 전방위가 동시에 촬영이 가능한 카메라(2)를 말한다. 본 발명의 일 실시예에 따른 카메라(2)는 이에 제한되지 않고, 다양한 카메라(2)를 사용할 수 있다.

본 발명의 일 실시예에 따른 카메라(2)는 매초 15~30프레임의 2차원 화상을 촬영하여 디지털 변환함으로써 동영상 데이터를 출력하는 디지털카메라인 것이 바람직하나, 이에 제한되지 않는다. 카메라(2)가 디지털카메라가 아니라면 촬영한 영상(111)은 RGB 아날로그 영상 신호이므로 ADC컨버터가 별도로 구비되어야 하나, 카메라(2)가 디지털카메라라면 ADC컨버터가 필요하지 않다. 또한 카메라(2) 자체에서 영상(111)을 인코딩하는 기능이 탑재되어 있으므로, 카메라(2)가 영상(111)을 획득하면 곧바로 인코딩되어 압축 영상 데이터가 생성된다.

카메라(2)로부터 촬영된 영상(111)은 유선 또는 무선 통신을 통해 이벤트 검색 장치(1)로 전송되어, 이벤트 검색 장치(1)에 내장된 화면부(11)를 통해 디스플레이 된다. 그러나 만약, 카메라(2)가 이벤트 검색 장치(1)에 장착되는 구조라면, 카메라(2)로부터 촬영된 영상(111)은 무선 통신이 아닌 내부 회로를 통해 화면부(11)로 전송되어 디스플레이 될 수도 있다.

이벤트 검색 장치(1)는 카메라(2)가 획득한 영상(111)을 전송받아 디스플레이 하고, 사용자의 입력을 받아 이벤트를 검색한다. 이벤트 검색 장치(1)는 스마트폰(Smartphone), 태블릿 PC(Tablet PC), 랩탑(Laptop) 등 휴대 및 이동이 용이한 장치일 수도 있으나, 이에 제한되지 않고 데스크탑(Desktop), 비디오 월(Video Wall) 등 이동이 용이하지 않은 장치일 수도 있다.

도 1에 도시된 바와 같이, 이벤트 검색 장치(1)는 본체(10), 영상(111)을 디스플레이 하는 화면부(11), 카메라(2)로부터 영상(111) 및 데이터를 전송받는 제1 통신부(12), 상기 영상(111)을 저장하는 저장부(13), 타 구성요소들을 제어하는 제어부(14)를 포함한다.

화면부(11)는 카메라(2)로부터 획득된 영상(111)을 디스플레이 한다. 상기 영상(111)은, 카메라(2)가 실시간으로 촬영하여 획득한 실시간 영상일 수도 있고, 이미 과거에 촬영하여 저장부(13)에 저장된 후 로딩되어 디스플레이 되는 영상일 수도 있다. 이벤트 검색 장치(1)는 터치 기능을 제공하지 않을 수도 있으며, 이 경우에는 입력부가 별도로 마련된다. 일반적으로 가장 많이 사용되는 입력부로는 마우스, 키보드, 조이스틱, 리모콘 등이 있다. 만약 터치 기능을 제공한다면 화면부(11)는 터치 입력을 감지할 수 있는 터치 센서를 포함할 수 있다. 이 때, 터치는 손가락을 이용하여 수행될 수도 있으나, 이에 제한되지 않고, 미세 전류가 흐를 수 있는 팁이 장착된 스타일러스 펜 등을 이용하여 수행될 수도 있다. 사용자는 화면부(11)에 표시된 그래픽 사용자 인터페이스(GUI, Graphic User Interface)를 통해 직접 터치를 수행하여 명령을 입력할 수 있다. 이벤트 검색 장치(1)가 터치 기능을 제공하더라도, 화면부(11)가 터치 센서를 포함하지 않는다면 별도의 터치 패드가 입력부로써 마련될 수도 있다. 즉, 사용자는 다양한 사용자 인터페이스(User Interface)를 통해 이벤트 검색 장치(1)에 사용자 명령을 입력할 수 있다.

제1 통신부(12)는 카메라(2)와 유무선으로 신호 및 데이터를 송수신한다. 예를 들어, 상기 제1 통신부(12)는 상기 제어부(14)로부터의 신호 및 데이터를 변조 및 주파수 업컨버팅하여 송신하거나, 카메라(2)로부터 수신되는 신호 및 데이터를 주파수 다운컨버팅 및 복조하여 제어부(14)로 제공한다. 이러한 과정으로, 제1 통신부(12)는 카메라(2)로부터 영상 데이터를 전송받거나 신호를 수신할 수 있고, 제어부(14)로부터 생성된 신호 및 데이터를 카메라(2)로 송신할 수도 있다.

저장부(13)는 이벤트 검색 장치(1)의 동작들을 처리 및 제어하기 위한 프로그램과 각 프로그램 수행 중에 발생되는 각종 데이터, 그리고 카메라(2)를 통해 획득된 영상 데이터를 저장한다. 특히, 본 발명의 일 실시예에 따른 저장부(13)는, 제어부(14)로 전송된 메타데이터를 저장하거나, 제어부(14)에서 생성된 서치 맵을 저장한다. 그리고 추후 사용자가 이벤트를 검색할 때, 상기 서치 맵을 로딩하여 제어부(14)에 전달한다. 저장부(13)는 부피가 크지 않은 비휘발성 메모리인 플래시 메모리를 사용하여 이벤트 검색 장치(1)에 내장될 수도 있으나, 이에 제한되지 않고 NVR(Network Video Recorder) 등과 같이 별도의 장치가 마련될 수도 있다. 심지어는 NVR 자체가 이벤트 검색 장치(1)가 될 수도 있고, 클라우드(Cloud)와 같이 서버가 저장 장치로서 사용될 수 있는 등 다양한 방식으로 저장 기능을 제공할 수 있다.

제어부(14)는 이벤트 검색 장치(1)의 전반적인 동작을 제어한다. 예를 들어, 제어부(14)는 제1 통신부(13)와 카메라(2)의 신호 및 데이터 통신을 위한 처리 및 제어를 수행하고, 제1 통신부(13)를 통해 영상(111)이 전송되면 디코딩 및 렌더링 등 영상 처리를 수행한다. 또한, 영상(111)에서 이벤트의 발생을 검출하고, 이를 이용하여 메타데이터(4)를 생성한다. 그리고 메타데이터(4)를 이용하여 서치 맵(5) 상에 타임스탬프(51)를 설정한 후, 사용자의 이벤트 검색 명령이 입력되면 저장부(13)로부터 상기 서치 맵(5)을 로딩하여 이벤트를 검색한다. 그리고 검색 결과를 처리하여 화면부(11)가 디스플레이 하도록 제어한다. 본 발명의 일 실시예에 따른 제어부(14)로는 CPU(Central Processing Unit), MCU(Micro Controller Unit) 또는 DSP(Digital Signal Processor) 등을 사용하는 것이 바람직하나, 이에 제한되지 않고 다양한 논리 연산 프로세서가 사용될 수 있다.

도 2는 본 발명의 일 실시예에 따른 카메라(2)의 상세한 구성을 나타낸 블록도이다.

카메라(2)는 이미지 신호를 수신하는 촬상부(21), 이벤트 검색 장치(1)로 영상(111) 및 데이터를 전송하는 제2 통신부(24), 이벤트의 발생 여부를 판단하는 이벤트 발생 판단부(22), 이벤트가 발생하면 상기 이벤트에 대한 정보를 이용하여 메타데이터(4)를 생성하는 메타데이터 생성부(23)를 포함한다.

촬상부(21)는 감시 영역에 대한 이미지 신호를 수신한다. 촬상부(21)에는 일반적으로 CCD(Charge Coupled Device, 전하결합소자)나 CMOS 이미지 센서 등의 촬상 소자가 포함된다. CCD는 복수의 포토다이오드(Photodiode)에 광이 조사되면 광전효과에 의해 발생한 전자들을 축적시킨 후 전송하는 방식이다. 이 때, 광자의 양에 따라 발생하는 전자량의 변화를 분석하고 정보를 재구성함으로써, 화면을 이루는 이미지 정보가 생성된다. CCD는 화질이 선명하고 노이즈가 적다는 장점이 있으나, 전력소비가 높고 처리속도가 느리다는 단점이 있다.

CMOS 이미지 센서는 CMOS(Complementary Metal Oxide Semiconductor)를 이용하는 이미지 센서로서, 각 셀마다 증폭기가 있어 광에 의해 발생한 전자를 곧바로 전기신호로 증폭시켜 전송하는 방식이다. CMOS 이미지 센서는 가격이 저렴하고 전력소비가 낮으며 처리속도가 빠르나, 노이즈가 많다는 단점이 있다.

이벤트 발생 판단부(22)는 이벤트의 발생 여부를 판단한다. 이벤트가 발생하면, 카메라(2)의 영상(111)을 자체적으로 분석하여 판단할 수도 있고, 별도의 센서가 마련되어 센서로부터 생성된 신호를 수신함으로써 판단할 수도 있다. 만약, 센서를 통해 이벤트의 발생을 판단한다면, 센서의 종류로는 사람 또는 동물의 움직임을 감지하는 모션 감지 센서, 주변의 온도를 감지하는 온도 감지 센서, 가스 발생을 감지하는 가스 감지 센서 등이 있다. 센서는 이에 제한되지 않고, 어떠한 종류의 이벤트가 발생하더라도 이를 감지할 수 있다면, 다양한 종류의 센서가 사용될 수 있다.

그러나 만약, 카메라(2)의 영상(111)을 자체적으로 분석하여 이벤트의 발생을 판단한다면, 평상시의 영상(111)을 미리 확보한 후 영상(111)의 프레임 내에서 픽셀값의 변화를 통해 이벤트의 발생을 판단한다. 이러한 경우, 영상(111)을 통해 객체(3)의 움직임, 화재, 지진 등의 이벤트의 발생을 구체적이고 용이하게 판단할 수 있다. 이하, 본 발명의 일 실시예에 따른 이벤트 발생 판단부(22)는 영상(111)을 자체적으로 분석하여 이벤트의 발생을 판단하는 것으로 설명한다. 그러나, 이는 설명의 편의를 위한 것이며, 권리범위를 제한하기 위함이 아니다.

메타데이터 생성부(23)는 이벤트가 발생하면 상기 이벤트에 대한 정보를 이용하여 메타데이터(4)를 생성한다. 메타데이터(4)란, 특정 데이터에 대한 설명을 기술하고 유형을 정리한 데이터이다. 본 발명의 일 실시예에 따른 메타데이터(4)에 대한 자세한 설명은 후술한다.

제2 통신부(24)는 이벤트 검색 장치(1)와 유무선으로 신호 및 데이터를 송수신한다. 예를 들어, 상기 제2 통신부(24)는 신호 및 데이터를 변조 및 주파수 업컨버팅하여 이벤트 검색 장치(1)로 송신하거나, 이벤트 검색 장치(1)로부터 수신되는 신호 및 데이터를 주파수 다운컨버팅 및 복조한다. 이러한 과정으로, 제2 통신부(24)는 이벤트 검색 장치(1)로부터 데이터를 전송받거나 신호를 수신할 수 있고, 영상 데이터, 메타데이터(4) 또는 신호를 이벤트 검색 장치(1)로 송신할 수도 있다.

도 3은 본 발명의 일 실시예에 따른 제어부(14)의 상세한 구성을 나타낸 블록도이다.

제어부(14)는 메타데이터(4)를 분석하는 메타데이터 분석부(141), 이벤트가 발생하면 영상(111)과 대응되도록 영상(111)을 매핑하여 서치 맵(5)을 생성하는 서치 맵 생성부(142), 상기 생성된 서치 맵(5)에 타임스탬프(51)를 설정하는 타임스탬프 설정부(143), 사용자의 명령에 따라 상기 발생하였던 이벤트를 검색하는 이벤트 검색부(144)를 포함한다.

메타데이터 분석부(141)는 상기 생성된 메타데이터(4)를 분석한다. 본 발명의 일 실시예에 따른 메타데이터(4)에는 식별된 객체(3), 이벤트의 발생 위치, 이벤트의 발생 시간 등에 대한 정보가 포함되어 있다. 메타데이터 분석부(141)는 메타데이터(4)들을 분석하여 이러한 정보들을 추출하고, 타임스탬프 설정부(143)에 전송한다.

서치 맵 생성부(142)는 이벤트가 발생하면 영상(111)과 대응되도록 영상(111)을 매핑하여 서치 맵(5)을 생성한다. 카메라(2)로부터 메타데이터(4)가 전송되면, 서치 맵 생성부(142)는 메타데이터(4)가 전송된 사실을 인지하고, 저장부(13)에 이미 생성되어 저장된 서치 맵(5)이 있는지 확인한다. 그리고, 이미 생성된 서치 맵(5)이 저장되어 있다면, 서치 맵(5)을 생성할 필요가 없으나, 저장된 서치 맵(5)이 없다면, 서치 맵(5)을 새롭게 생성한다.

서치 맵(Search Map, 5)이란, 상기 영상(111)과 대응되도록 상기 영상(111)을 매핑하여, 이벤트가 발생한 지점에 대하여 타임스탬프(51)를 설정할 수 있는 공간을 말한다. 사용자가 이벤트를 검색하기 위하여 검색 조건을 지정하면, 이벤트 검색부(144)는 상기 서치 맵(5)에 설정된 타임스탬프(51)를 검색함으로써 원하는 검색 결과를 빠르게 출력할 수 있다. 따라서, 서치 맵(5)은 미리 서지 정보들을 모아서 한번에 입력해놓고, 추후에 서치 맵(5)만을 검색하면 전체 이벤트를 검색할 수 있는 검색 도구와 같은 개념이다.

서치 맵(5)은 이벤트 검색이 용이하도록, 이벤트 검색 장치(1) 내부적으로 생성되는 공간이다. 따라서, 물리적으로 실재하거나, 화면부(11)를 통해 디스플레이 되어 사용자의 육안으로 확인할 수 있는 개념이 아니다. 그러나 이에 제한되지 않고, 사용자의 명령에 따라 서치 맵(5)이 화면부(11)를 통해 디스플레이 될 수도 있다.

서치 맵(5)은 영상(111)과 대응되므로, 화면부(11)를 통해 디스플레이 되는 영상(111)이 사각형이라면, 서치 맵(5) 또한 사각형이다. 그리고 영상(111)의 화면비(가로세로비, Aspect Ratio)와 서치 맵(5)의 화면비는 동일한 것이 바람직하다. 그러나, 서치 맵(5)은 영상(111)의 시간 및 좌표만이 대응되면 족하므로, 영상(111)의 해상도, FPS, 비트레이트 등은 서치 맵(5)에 영향을 미치지 않는다. 따라서, 영상(111)의 해상도, FPS, 비트레이트 등이 변경되더라도 서치 맵(5)을 통한 검색에 장애가 되지 않는다. 또한, 서치 맵(5)은 일정한 크기의 복수의 블록들로 분할되어 형성될 수 있다. 이러한 복수의 블록들은, 추후에 이벤트 검색부(144)가 발생했던 이벤트를 검색을 할 때, 위치에 대한 검색 조건의 기준이 된다.

타임스탬프 설정부(143)는, 서치 맵(5) 상에서 타임스탬프(51)를 설정한다. 메타데이터 분석부(141)가 메타데이터(4) 내에 포함된 정보들을 타임스탬프 설정부(143)에 전송하면, 타임스탬프 설정부(143)는 상기 정보들을 토대로 타임스탬프(51)를 서치 맵(5) 상에 설정하게 된다. 서치 맵(5) 상에 타임스탬프(51)를 설정하는 과정에 대한 자세한 설명은 후술한다.

이벤트 검색부(144)는 사용자의 명령에 따라 과거에 발생했던 이벤트를 검색한다. 사용자는 이벤트를 검색하기 위해 시간 조건과 위치 조건 등과 같은 검색 조건을 지정하게 된다. 그리고 이벤트 검색부(144)는 상기 기술한 바와 같이 상기 서치 맵(5)에 설정된 타임스탬프(51)를 검색함으로써 상기 지정된 검색 조건에 부합하는 검색 결과를 빠르게 출력할 수 있다. 상기 지정된 검색 조건에 부합하는 타임스탬프(51)를 검색하면, 상기 검색된 타임스탬프(51)에 대응되는 메타데이터(4)를 도출할 수 있고, 상기 도출된 메타데이터(4)와 대응되는 영상 데이터를 저장부(13)로부터 로딩하여 화면부(11)에 출력할 수 있다.

도 4는 본 발명의 일 실시예에 따른 카메라(2)가 획득한 영상(111)에서 이벤트가 발생하는 모습을 나타낸 도면이고, 도 5는 도 4에서의 이벤트를 발생시키는 객체(3)를 식별하는 모습을 나타낸 도면이다.

카메라(2)가 감시 영역을 촬영하는 도중에 이벤트가 발생하면, 이벤트 발생 판단부(22)는 이벤트의 발생을 판단한다. 예를 들어 발생한 이벤트가 모션 이벤트로서, 도 4에 도시된 바와 같이, 카메라(2)가 도로를 촬영하는 도중에 자동차가 출몰하였다고 가정한다. 이 때, 카메라(2)의 촬상부(21)는 도로를 촬영하여 영상(111)을 획득하고, 이벤트 발생 판단부(22)는 자동차라는 객체(3)의 출몰로 인해 영상(111)의 프레임 내에서 픽셀값의 변화가 발생하면 이벤트의 발생을 인식한다. 그리고, 도 5에 도시된 바와 같이, 이벤트의 발생을 일으키는 객체(3)를 식별해 낸다.

이벤트 발생 판단부(22)가 객체(3)를 식별하면, 도 5에 도시된 바와 같이 영상(111) 상에서 객체(3)의 주위를 윈도우(112)로 포위한다. 윈도우(112)란 영상(111) 상에서 객체(3)를 둘러싸도록 단일폐곡선의 형태로 형성되며, 도 5에 도시된 바와 같이 사각형의 모양을 가지는 것이 바람직하다.

도 6은 이벤트가 발생하는 경우 생성되는 본 발명의 일 실시예에 따른 메타데이터(4)의 예시도이다.

상기 기술한 바와 같이 이벤트가 발생하면, 메타데이터 생성부(23)는 상기 이벤트에 대한 정보를 이용하여 메타데이터(4)를 생성한다. 메타데이터(4)란, 특정 데이터의 검색을 용이하게 하기 위해 상기 특정 데이터에 대한 설명을 기술하고 유형을 정리한 데이터이다. 이 때, 특정 데이터는 음악, 동영상 등의 크기가 크고 검색이 용이하지 않은 데이터라면, 메타데이터(4)는 문자열로 이루어져 크기가 매우 작고 검색이 용이하다.

도 6에 도시된 바와 같이 메타데이터(4)에는 식별된 객체(3)에 대한 고유 ID, 식별된 객체(3)의 개수, 객체(3)의 위치, 이벤트 발생 시간 등에 대한 정보가 포함되어 있다. 구체적으로 도 6에 도시된 utc란 이벤트가 발생한 시간에 대한 정보, numObj는 식별된 객체(3)의 개수를 나타낸다. obj[0].left, right, top, bottom 등은 객체(3)의 위치, 즉 2차원 평면 상에서 객체(3)를 포위하는 윈도우(112)의 각 꼭지점의 위치에 대한 좌표 정보이다. 그리고 obj[0].objID는 객체(3)의 고유의 식별자를 나타내는 ID이다. 만약 하나의 객체(3)가 이동하거나 잠시 사라진 후 다시 출몰하더라도, 카메라(2)는 동일한 객체(3)로 식별하여 여전히 동일한 ID를 부여한다. 그러나 하나의 객체(3)가 사라진 후, 다른 객체(3)가 출몰한다면 카메라(2)는 다른 객체(3)로 식별하여 새로운 ID를 부여한다. 따라서, 이벤트 검색 장치(1)는 특정 객체(3)에 대한 검색도 가능하게 되고, 사용자는 특정 객체(3)의 추적도 용이하게 할 수 있다.

도 7은 본 발명의 일 실시예에 따른 서치 맵(5) 상에서, 도 4에서의 이벤트가 발생한 지점과 대응되는 지점에 타임스탬프(51)가 설정되는 모습을 나타낸 개념도이다.

본 발명의 일 실시예에 따른 메타데이터(4)는 이벤트가 발생한 경우에 생성된다. 이벤트가 발생하지 않으면 메타데이터(4)에 포함되는 정보가 없으므로, 메타데이터(4)가 생성될 필요가 없기 때문이다. 따라서 평상시에는, 카메라(2)는 이벤트 검색 장치(1)에 영상 데이터만을 전송한다. 그러나, 이벤트가 발생하면, 카메라(2)는 이벤트 검색 장치(1)에 영상 데이터뿐만 아니라 메타데이터(4)도 함께 전송한다.

이벤트 검색 장치(1)가 카메라(2)로부터 메타데이터(4)를 전송받으면, 서치 맵 생성부(142)는 메타데이터(4)가 전송된 사실을 인지하고, 저장부(13)에 이미 생성되어 저장된 서치 맵(5)이 있는지 확인한다. 그리고, 이미 서치 맵(5)이 저장되어 있다면, 서치 맵(5)을 생성할 필요가 없으나, 저장된 서치 맵(5)이 없다면, 이벤트가 발생한 영상(111)과 대응되도록 영상(111)을 매핑하여 서치 맵(5)을 새롭게 생성한다.

한편, 메타데이터 분석부(141)는 상기 전송된 메타데이터(4)를 분석하여, 메타데이터(4)에 포함된 정보들을 타임스탬프 설정부(143)에 전송한다. 그리고, 타임스탬프 설정부(143)는 상기 정보들을 토대로 상기 생성된 서치 맵(5) 상에서, 영상(111)에서 이벤트가 발생한 지점과 대응되는 지점에 타임스탬프(51)를 설정한다. 상기 두 지점이 정확하게 대응될 필요는 없다. 그러나 적어도, 서치 맵(5)에 형성된 복수의 블록 중, 이벤트가 발생한 지점과 대응되는 하나의 블록 내에 포함되도록 타임스탬프(51)를 설정하는 것이 바람직하다.

타임스탬프(51)는 어떠한 데이터가 생성 또는 변경된 특정 시각을 나타내는 표시를 말한다. 그리고 도 7에 도시된 바와 같이, 타임스탬프(51)가 설정되면, 서치 맵(5) 상에서 타임스탬프(51)는 점(Point)으로 표시된다. 따라서, 타임스탬프(51)를 서치 맵(5) 상에서 설정할 때에는, 우선 영상(111)에서 객체(3)를 포위한 윈도우(112)가, 서치 맵(5) 상에서도 표시된다고 가정한다. 그리고 서치 맵(5) 상에서 표시되는 것으로 가정한 윈도우(112a)의 중심을 타임스탬프(51)의 설정 지점으로 정한다. 따라서, 도 4와 같이 도로에 자동차가 출몰한 경우, 도 5와 같이 자동차를 포위하는 윈도우(112)와 서치 맵(5) 상에서 대응되는 윈도우(112a)의 중심 지점에 타임스탬프(51)를 설정한다. 다만, 이에 제한되지 않고 윈도우(112)의 네 꼭지점 가운데 임의의 하나의 꼭지점에 타임스탬프(51)를 설정하는 등 다양한 지점에 타임스탬프(51)를 설정할 수 있다.

타임스탬프(51) 자체에는 단순히 이벤트 발생 시간에 대한 정보만이 담겨있다. 그러나 서치 맵(5) 상에서 타임스탬프(51)가 설정된 좌표가 이벤트 발생 위치를 나타낸다. 결과적으로는 타임스탬프(51)를 통해 이벤트 발생 시간 및 위치를 모두 파악할 수 있다.

도 8은 도 4에서의 이벤트가 시간의 흐름에 따라 변화되는 모습을 나타낸 도면이고, 도 9는 본 발명의 일 실시예에 따른 서치 맵(5) 상에서, 도 8에서의 이벤트가 변화한 지점과 대응되는 지점에 타임스탬프(51)가 설정되는 모습을 나타낸 개념도이다.

이벤트가 발생한 후, 상기 객체(3)가 지속적으로 움직임으로써 이벤트의 발생이 계속 유지될 수도 있다. 예를 들어, 도 8에 도시된 바와 같이, 자동차가 출몰한 후 도로를 따라 계속 주행을 하는 경우가 있다. 이 때에는 일정 시간 당 일정 횟수로 메타데이터(4)가 생성된다. 그리고, 각각의 메타데이터(4)에는 변화된 이벤트 발생 시간과 변화된 객체(3)의 위치 좌표가 각각 포함되어 있다.

이벤트 검색 장치(1)가 카메라(2)로부터 복수의 메타데이터(4)을 전송받고, 메타데이터 분석부(141)가 전송된 복수의 메타데이터(4)을 분석하면, 타임스탬프 설정부(143)는 도 9에 도시된 바와 같이 서치 맵(5)에 복수의 타임스탬프(51)을 설정한다. 이 때, 타임스탬프(51)가 설정되는 속도는, 메타데이터(4)가 생성된 속도와 일치하는 것이 바람직하다. 예를 들어, 메타데이터(4)가 1초당 10회 생성된다면, 타임스탬프(51)도 서치 맵(5) 상에서 1초당 10회씩 설정된다.

타임스탬프(51)가 설정되는 속도가 빠를수록 서치 맵(5)에 설정되는 타임스탬프(51)의 개수가 많아진다. 따라서, 추후에 이벤트 검색 시 속도가 느려질 수 있다. 그러나 연속되는 이벤트의 발생에 타임스탬프(51) 간의 간격이 좁아진다. 따라서, 복수의 이벤트 발생시, 같은 이벤트와 관련된 타임스탬프(51)끼리 그룹핑을 하기가 용이하다.

반면에, 타임스탬프(51)가 설정되는 속도가 느릴수록 서치 맵(5)에 설정되는 타임스탬프(51)의 개수가 적어진다. 따라서, 추후에 이벤트 검색 시 속도가 빨라질 수 있다. 그러나 타임스탬프(51) 간의 간격이 넓어지므로, 같은 이벤트와 관련된 타임스탬프(51)끼리 그룹핑을 하기가 어렵다. 따라서, 이벤트 검색 장치(1)의 성능 및 사용되는 주변 환경 등에 따라 타임스탬프(51) 설정 속도는 다양하게 변경될 수 있다.

타임스탬프(51)가 설정된 서치 맵(5)은 저장부(13)에 저장되고, 메타데이터(4)가 전송될 때마다 서치 맵(5)은 타임스탬프(51)가 새롭게 설정되며 갱신된다.

도 10은 본 발명의 일 실시예에 따른 영상(111)에서 검색 위치로 검색 영역(113)이 지정되는 모습을 나타낸 도면이고, 도 11은 본 발명의 일 실시예에 따른 서치 맵(5) 상에서, 도 10의 검색 영역(113)과 대응되는 영역이 지정된 모습을 나타낸 개념도이다.

이미 과거에 이벤트가 발생한 경우, 사용자가 발생하였던 이벤트의 내용을 확인하기를 희망하는 경우가 있다. 예를 들어, 사용자가 외출 후 집에 복귀했는데 거실에 꽃병이 깨져있는 경우, 또는 도로에 세워둔 바리케이드가 파손되어 있는 경우 등이 있다. 이 때, 사용자는 크게 두 가지 방법으로 검색 위치를 지정할 수 있다. 첫 번째는 검색 영역(113)을 지정하는 것이고, 두 번째는 검색 라인(114)을 지정하는 것이다. 여기서 검색 위치란, 사용자가 이벤트를 검색하기 위해 이벤트 검색 장치(1)에 입력하는 위치 조건을 말한다.

우선, 사용자가 검색 위치로 검색 영역(113)을 지정하는 경우, 도 10에 도시된 바와 같이 검색 영역(113)은, 영상(111) 상에서 사용자가 검색하고자 하는 영역을 둘러싸도록 단일폐곡선의 형태로 형성되며, 사각형의 모양을 가지는 것이 바람직하다.

사용자가 영상(111) 상에서 검색 영역(113)을 지정하기 위해, 이벤트 검색 장치(1)가 터치 기능을 제공한다면, 사용자가 검색하고자 하는 영역의 하나의 꼭지점을 손가락 등으로 터치(Touch)한 후, 마주보는 꼭지점에 도달하도록 드래그(Drag)를 수행한다. 그러나, 만약 이벤트 검색 장치(1)가 마우스 등을 이용하여 사용자 명령을 입력할 수 있다면, 사용자가 검색하고자 하는 영역의 하나의 꼭지점을 마우스 등으로 클릭(Click)한 후, 마주보는 꼭지점에 도달하도록 드래그(Drag)를 수행한다. 다만, 이에 제한되지 않고 사용자가 검색 영역(113)을 지정할 수 있다면 다양한 방법을 사용할 수 있다.

영상(111) 상에서 검색 영역(113)이 지정되었다면, 도 11에 도시된 바와 같이 상기 검색 영역(113)이 서치 맵(5) 상에서도 표시된다. 한편, 상기 기술한 바와 같이, 서치 맵(5)은 일정한 크기의 복수의 블록들로 분할되어 형성된다. 그리고, 이벤트 검색부(144)는 상기 검색 영역(113)을 포함하는 블록들 내부에 타임스탬프(51)가 존재하는 경우를 검색한다.

도 12는 본 발명의 일 실시예에 따른 영상(111)에서 검색 위치로 검색 라인(114)이 지정되는 모습을 나타낸 도면이고, 도 13은 본 발명의 일 실시예에 따른 서치 맵(5) 상에서, 도 12의 검색 라인(114)과 대응되는 라인이 지정된 모습을 나타낸 개념도이다.

두 번째로, 사용자가 검색 위치로 검색 라인(114)을 지정하는 경우, 도 12에 도시된 바와 같이 검색 라인(114)은, 영상(111) 상에서 사용자가 검색하고자 하는 영역을 통과하도록 직선 또는 곡선의 형태로 형성된다.

사용자가 영상(111) 상에서 검색 라인(114)을 지정하기 위해, 이벤트 검색 장치(1)가 터치 기능을 제공한다면, 사용자가 검색하고자 하는 영역을 통과하도록 시작점을 손가락 등으로 터치(Touch)한 후, 도착점에 도달하도록 드래그(Drag)를 수행한다. 그러나, 만약 이벤트 검색 장치(1)가 마우스 등을 이용하여 사용자 명령을 입력할 수 있다면, 사용자가 검색하고자 하는 영역을 통과하도록 시작점을 마우스 등으로 클릭(Click)한 후, 도착점에 도달하도록 드래그(Drag)를 수행한다. 다만, 이에 제한되지 않고 사용자가 검색 라인(114)을 지정할 수 있다면 다양한 방법을 사용할 수 있다.

영상(111) 상에서 검색 라인(114)이 지정되었다면, 도 13에 도시된 바와 같이 상기 검색 라인(114)이 서치 맵(5) 상에서도 표시된다. 그리고, 이벤트 검색부(144)는 상기 검색 라인(114)을 포함하는 블록들 내부에 타임스탬프(51)가 존재하는 경우를 검색한다.

만약, 서치 맵(5)이 블록들로 분할되지 않고, 이벤트 검색부(144)가 상기 검색 영역(113)의 내부에 타임스탬프(51)가 존재하는 경우만을 검색하거나, 상기 검색 라인(114)과 접촉하는 타임스탬프(51)가 존재하는 경우만을 검색한다면, 오차가 발생하여 정확한 검색이 되지 않을 수 있다. 상기 기술한 바와 같이 타임스탬프(51)는 점(Point)로 표시되고, 이벤트가 발생한 것은 일정 넓이를 가지는 영역이므로 어느 정도 오차가 발생할 수도 있기 때문이다. 따라서 도 11 및 도 13에 도시된 바와 같이, 검색 위치를 포함하는 블록들 내부에 타임스탬프(51)가 존재하는 경우를 검색하는 것이 바람직하다. 다만, 이에 제한되지 않고 하나의 이벤트에 대하여 타임스탬프(51)를 복수로 설정하거나, 타임스탬프(51)가 점이 아닌 영역으로 표시되는 경우 등과 같이 타임스탬프(51)가 설정되는 방식에 따라, 이벤트 검색부(144)가 이벤트를 검색하는 방법 또한 다양하게 변경될 수 있다.

한편, 서치 맵(5)은 일정한 크기의 복수의 블록들로 분할되어 형성된다. 여기서, 블록들의 크기가 너무 크다면, 사용자가 지정한 검색 위치와 검색 결과로 도출된 이벤트와의 오차가 과도하게 커질 것이다. 반면에, 블록들의 크기가 너무 작다면, 타임스탬프(51)는 점으로 표시되고, 이벤트가 발생한 것은 영역이므로 또한 오차가 발생할 것이다. 따라서, 상기 블록의 크기는 본 발명의 일 실시예에 따른 이벤트 검색 장치(1) 및 카메라(2)의 설치 환경에 따라 다양하게 변경될 수 있는 것이 바람직하다.

도 14는 본 발명의 일 실시예에 따른 이벤트 검색부(144)가 서치 맵(5)을 검색하기 위해 입력하는 검색 조건을 개념적으로 도시한 타임라인(6)이다.

이벤트 검색부(144)는 타임스탬프(51)가 설정된 서치 맵(5)을 통해, 사용자가 입력한 시간 조건 및 위치 조건에 부합하는 타임스탬프(51)를 검색한다. 이 때, 이벤트 검색부(144)는 도 14에 도시된 바와 같이 시간 조건 및 위치 조건의 부합 여부를 판단한다. 도 14에 도시된 타임라인(6)은 실재하는 것이 아니라, 검색 조건을 개념적으로 도시한 것일 뿐이다. 타임라인(6)은 시간의 흐름을 도식화하여 나타낸 라인(61), 이벤트가 발생한 시간을 나타내는 슬랩(63, 64), 사용자가 입력한 시간 조건을 나타내는 프레임(62)으로 구성된다.

도 14에서 복수의 슬랩(63, 64)들을 둘러싸는 프레임(62)은 사용자가 입력한 시간 조건이다. 도 14에 도시된 바를 예로 들면, 사용자는 오후 3시부터 오후 7시까지를 시간 조건으로 입력한 것이다. 슬랩(63, 64)은 이벤트가 발생한 시간을 나타낸다. 즉, 서치 맵(5) 상에서 타임스탬프(51)가 설정되어 있는 시간을 나타낸다. 나아가, 해칭이 없는 슬랩(63)은 발생한 이벤트가 영역 조건을 만족하지 못하는 시간이다. 즉, 서치 맵(5) 상에서 타임스탬프(51)가 설정되어 있으나, 사용자가 지정한 검색 위치를 포함하는 블록들의 내부에는 설정되지 않은 시간이다. 반면에, 해칭이 있는 슬랩(63)은 이벤트가 영역 조건을 만족하는 시간이다. 즉, 사용자가 지정한 검색 위치를 포함하는 블록들 내부에 타임스탬프(51)가 설정된 시간이다. 그리고 슬랩이 없는 것은 이벤트가 전혀 발생하지 않은 시간이다. 즉, 서치 맵(5) 상에서 타임스탬프(51)가 전혀 설정되어 있지 않은 시간이다.

따라서 도 14에 도시된 바를 예로 들면, 이벤트 검색부(144)는 오후 3시부터 오후 7시까지, 서치 맵(5) 상에서 사용자가 지정한 검색 위치를 포함하는 블록들 내부에 타임스탬프(51)가 존재하는 경우만을 검색 결과로 도출한다. 이벤트 검색부(144)가 이와 같이 타임스탬프(51)를 검색한다면, 상기 기술한 바와 같이, 상기 검색된 타임스탬프(51)에 대응되는 메타데이터(4)를 도출할 수 있다. 그리고, 상기 도출된 메타데이터(4)와 대응되는 영상 데이터를 저장부(13)로부터 로딩하여 화면부(11)에 출력할 수 있다. 따라서, 서치 맵(5)에 설정된 타임스탬프(51)를 이용하여 빠르고 용이하게 사용자가 원하는 이벤트를 검색할 수 있게 된다.

도 15는 복수의 검색 날짜가 지정된 경우, 본 발명의 일 실시예에 따른 서치 맵(5)이 변형된 모습을 나타낸 도면이다.

상기 기술한 바와 같이, 서치 맵(5)이란, 상기 영상(111)과 대응되도록 상기 영상(111)을 매핑하여, 이벤트가 발생한 지점에 대하여 타임스탬프(51)를 설정할 수 있는 공간을 말한다. 그리고 지금까지 설명한 서치 맵(5)은 2차원 평면 형태를 가진다. 따라서, 하나의 2차원 평면의 서치 맵(5)에, 이벤트가 발생할 때마다 타임스탬프(51)가 누적되어 설정된다. 이는, 이벤트 검색 장치(1)가 영상 데이터를 저장하는 저장 기간이 1일 내지 일주일 정도의 단기간인 경우가 바람직하다.

그러나, 이벤트 검색 장치(1)가 영상 데이터를 1개월 내지 1년 정도의 장기간으로 저장할 수 있는 기능을 제공할 수도 있다. 이러한 경우에는, 모든 타임스탬프(51)가 하나의 평면에 누적되면, 그 누적량이 과도하게 많아지므로 검색 속도가 저하되는 문제가 있다.

따라서, 이벤트 검색 장치(1)의 저장 기간이 장기간인 경우, 서치 맵(5)은 도 15에 도시된 바와 같이 복수의 2차원 평면이 적층된 형태인 3차원 큐빅(Cubic) 형태를 가진다. 이 때, 서치 맵(5)의 하나의 평면에 타임스탬프(51)를 누적할 수 있는 기간의 단위는 1일인 것이 바람직하다. 이 경우, 2차원 평면은 하루에 하나씩 적층된다. 그리고, 이벤트 검색 장치(1)의 저장 기간이 1개월이라면, 서치 맵(5)에 적층되는 평면은 대략 30개 정도까지 적층될 수 있다. 그리고 저장 기간이 1개월을 도과하는 평면부터 하루에 하나씩 삭제되며, 새로운 평면이 하루에 하나씩 생성된다. 이와 같은 방식으로 서치 맵(5)은 도 15에 도시된 바와 같이, 일정한 크기의 3차원 큐빅 형태를 유지하게 된다. 다만, 이에 제한되지 않고 하나의 평면에 타임스탬프(51)를 누적할 수 있는 기간의 단위는 3일 또는 일주일 등 다양하게 변경될 수 있다. 또한, 서치 맵(5)에 적층되는 평면의 개수 또한 다양하게 변경될 수 있다.

도 16은 복수의 검색 날짜가 지정된 경우, 본 발명의 일 실시예에 따른 이벤트 검색부(144)가 서치 맵(5)을 검색하는 조건을 개념적으로 도시한 타임라인이다.

사용자가 검색하고자 하는 시간 조건에는 날짜 조건도 포함된다. 만약 복수의 날짜가 검색 조건으로 지정된 경우, 이벤트 검색부(144)는 각각의 평면마다 병렬적으로, 동시에 서치 맵(5)을 검색한다. 그리고, 각각의 평면 상에서 사용자가 지정한 검색 위치를 포함하는 블록들 내부에 타임스탬프(51)가 존재하는 경우만을 검색 결과로 도출한다.

도 16에 도시된 바를 예로 들면, 사용자는 1월 10일부터 13일까지 4일간, 매일 오후 3시부터 오후 7시까지를 시간 조건으로 입력한 것이다. 이벤트 검색부(144)는 1월 10일 내지 13일에 해당하는 4개의 평면에 대하여, 매일 오후 3시부터 오후 7시까지, 상기 평면 상에서 사용자가 지정한 검색 위치를 포함하는 블록들 내부에 타임스탬프(51)가 존재하는 경우만을 검색 결과로 도출한다. 이 때 서치 맵(5)에 포함된 평면들을 각각 병렬적으로, 동시에 검색한다. 이벤트 검색부(144)가 이와 같이 타임스탬프(51)를 검색한다면, 상기 기술한 바와 같이, 상기 검색된 타임스탬프(51)에 대응되는 메타데이터(4)를 도출할 수 있다. 그리고, 상기 도출된 메타데이터(4)와 대응되는 영상 데이터를 저장부(13)로부터 로딩하여 화면부(11)에 출력할 수 있다. 따라서, 서치 맵(5)에 설정된 타임스탬프(51)를 이용하여 빠르고 용이하게 사용자가 원하는 이벤트를 검색할 수 있게 된다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

1: 이벤트 검색 장치 2: 카메라
3: 객체 4: 메타데이터
5: 서치 맵 11: 화면부
12: 저장부 13: 제1 통신부
14: 제어부 21: 촬상부
22: 이벤트 발생 판단부 23: 메타데이터 생성부
24: 제2 통신부 51: 타임스탬프
111: 영상 112: 윈도우
113: 검색 영역 114: 검색 라인
141: 메타데이터 분석부 142: 서치 맵 생성부
143: 타임스탬프 설정부 144: 이벤트 검색부

Claims

감시 영역을 촬영하여 획득된 복수의 영상 프레임과, 상기 영상 프레임 상의 이벤트의 발생 시간 정보와 위치 정보를 포함하는 메타데이터를 카메라로부터 수신하는 통신부;
상기 영상 프레임들과 대응되는 화면비를 가지며, 복수의 블록들로 구성된 서치 맵을 생성하는 서치 맵 생성부;
상기 위치 정보를 기초로, 상기 복수의 블록 중 대응되는 블록 내에, 상기 시간 정보를 포함하는 타임스탬프를 설정하는 타임스탬프 설정부;
상기 이벤트를 검색하기 위한 검색 조건으로, 검색 위치를 입력받는 사용자 인터페이스; 및
상기 복수의 블록 중에서 상기 검색 위치에 근접한 블록에 속하는 타임스탬프를 검색하고, 상기 복수의 영상 프레임 중에서 상기 검색된 타임스탬프가 지시하는 영상 프레임에 관한 메타데이터를 대상으로 상기 이벤트 검색을 수행하는 이벤트 검색부를 포함하되,
상기 입력받은 검색 위치에 따라, 상기 검색된 타임스탬프가 지시하는 영상 프레임이 달라지는 이벤트 검색 장치.
제1항에 있어서,
상기 검색 위치에 근접한 블록은,
상기 검색 위치를 포함하는 블록인, 이벤트 검색 장치.
제2항에 있어서,
상기 이벤트 검색의 결과를 영상으로 출력하는 화면부를 포함하는, 이벤트 검색 장치.
제1항에 있어서,
상기 검색 위치는,
라인 또는 영역으로 표시되는, 이벤트 검색 장치.
제1항에 있어서,
상기 메타데이터는,
상기 이벤트를 발생시킨 객체의 식별자를 더 포함하고,
상기 위치 정보는,
상기 객체의 2차원 평면 상의 좌표 정보인, 이벤트 검색 장치.
제1항에 있어서,
상기 사용자 인터페이스는,
상기 검색 조건을 복수로 입력받을 수 있고,
상기 이벤트 검색부는,
상기 검색 조건에 따라 상기 이벤트 검색을 수행하는, 이벤트 검색 장치.
제6항에 있어서,
상기 검색 조건은,
이벤트 발생의 위치 조건 및 이벤트 발생의 시간 조건을 포함하는, 이벤트 검색 장치.
제7항에 있어서,
상기 시간 조건이 복수의 날짜를 포함하는 경우에, 상기 서치 맵은 복수의 2차원 평면이 적층된 형태인 3차원 큐빅 형태를 가지는, 이벤트 검색 장치.
제8항에 있어서,
상기 이벤트 검색부는,
상기 복수의 2차원 평면 각각마다 병렬 처리에 의해 동시에 상기 이벤트를 검색하는, 이벤트 검색 장치.
삭제
감시 영역을 촬영하여 복수의 영상 프레임과, 상기 영상 프레임에 관한 메타데이터를 생성하는 카메라; 및
상기 복수의 영상 프레임 및 상기 메타데이터를 상기 카메라로부터 전송받아 이벤트를 검색하는 이벤트 검색 장치를 포함하는 이벤트 검색 시스템으로서,
상기 이벤트 검색 장치는,
상기 복수의 영상 프레임과, 상기 영상 프레임 상의 이벤트의 발생 시간 정보와 위치 정보를 포함하는 메타데이터를 카메라로부터 수신하는 제1 통신부;
상기 영상 프레임들과 대응되는 화면비를 가지며, 복수의 블록들로 구성된 서치 맵을 생성하는 서치 맵 생성부;
상기 위치 정보를 기초로, 상기 복수의 블록 중 대응되는 블록 내에, 상기 시간 정보를 포함하는 타임스탬프를 설정하는 타임스탬프 설정부;
상기 이벤트를 검색하기 위하여 검색 위치를 입력받는 사용자 인터페이스; 및
상기 복수의 블록 중에서 상기 검색 위치에 근접한 블록에 속하는 타임스탬프를 검색하고, 상기 복수의 영상 프레임 중에서 상기 검색된 타임스탬프가 지시하는 영상 프레임에 관한 메타데이터를 대상으로 상기 이벤트 검색을 수행하는 이벤트 검색부를 포함하되,
상기 입력받은 검색 위치에 따라, 상기 검색된 타임스탬프가 지시하는 영상 프레임이 달라지는, 이벤트 검색 시스템.
제11항에 있어서,
상기 카메라는,
상기 감시 영역을 촬영하여 복수의 영상 프레임을 생성하는 촬상부;
상기 영상 프레임으로부터 상기 이벤트 발생 여부를 판단하는 이벤트 발생 판단부;
상기 이벤트의 발생 시간 정보와 상기 위치 정보를 포함하는 상기 메타데이터를 생성하는 메타데이터 생성부; 및
상기 생성된 영상 프레임 및 상기 메타데이터를 상기 제1 통신부로 송신하는 제2 통신부를 포함하는, 이벤트 검색 시스템.
제11항에 있어서,
상기 검색 위치에 근접한 블록은,
상기 검색 위치를 포함하는 블록인, 이벤트 검색 시스템.
제11항에 있어서,
상기 검색 위치는,
라인 또는 영역으로 표시되는, 이벤트 검색 시스템.
제11항에 있어서,
상기 메타데이터는,
상기 이벤트를 발생시킨 객체의 식별자를 더 포함하고,
상기 위치 정보는
상기 객체의 2차원 평면 상의 좌표 정보인, 이벤트 검색 시스템.
이벤트의 발생을 감지하여 신호를 생성하는 센서;
상기 센서로부터 상기 신호를 수신하고, 감시 영역을 촬영하여 복수의 영상 프레임과 상기 영상 프레임에 관한 메타데이터를 생성하는 카메라; 및
상기 복수의 영상 프레임 및 상기 메타데이터를 상기 카메라로부터 전송받아 이벤트를 검색하는 이벤트 검색 장치를 포함하는 이벤트 검색 시스템으로서,
상기 이벤트 검색 장치는,
상기 복수의 영상 프레임과, 상기 영상 프레임 상의 이벤트의 발생 시간 정보와 위치 정보를 포함하는 메타데이터를 카메라로부터 수신하는 제1 통신부;
상기 영상 프레임들과 대응되는 화면비를 가지며, 복수의 블록들로 구성된 서치 맵을 생성하는 서치 맵 생성부;
상기 위치 정보를 기초로, 상기 서치 맵 상에서 상기 복수의 블록 중 대응되는 블록 내에, 상기 시간 정보를 포함하는 타임스탬프를 설정하는 타임스탬프 설정부;
상기 이벤트를 검색하기 위하여 검색 위치를 입력받는 사용자 인터페이스; 및
상기 복수의 블록 중에서 상기 검색 위치에 근접한 블록에 속하는 상기 타임스탬프를 검색하고, 상기 복수의 영상 프레임 중에서 상기 검색된 타임스탬프가 지시하는 영상 프레임에 관한 메타데이터를 대상으로 상기 이벤트 검색을 수행하는 이벤트 검색부를 포함하되,
상기 입력받은 검색 위치에 따라, 상기 검색된 타임스탬프가 지시하는 영상 프레임이 달라지는, 이벤트 검색 시스템.
제16항에 있어서, 상기 센서는
모션 감지 센서, 온도 감지 센서, 소리 감지 센서 및 가스 감지 센서 중에서 적어도 하나를 포함하는, 이벤트 검색 시스템.
제16항에 있어서,
상기 카메라는,
상기 감시 영역을 촬영하여 복수의 영상 프레임들을 생성하는 촬상부;
상기 센서로부터 상기 생성된 신호를 수신하여 상기 이벤트 발생 여부를 판단하는 이벤트 발생 판단부;
상기 이벤트의 발생 시간 정보와 상기 위치 정보를 포함하는 상기 메타데이터를 생성하는 메타데이터 생성부; 및
상기 생성된 영상 프레임 및 상기 메타데이터를 상기 제1 통신부로 송신하는 제2 통신부를 포함하는, 이벤트 검색 시스템.
제16항에 있어서,
상기 검색 위치에 근접한 블록은,
상기 검색 위치를 포함하는 블록인, 이벤트 검색 시스템.
제16항에 있어서,
상기 검색 위치는,
라인 또는 영역으로 표시되는, 이벤트 검색 시스템.