KR20140141025A - 영상 검색 장치 및 방법 - Google Patents

영상 검색 장치 및 방법 Download PDF

Info

Publication number
KR20140141025A
KR20140141025A KR20130062237A KR20130062237A KR20140141025A KR 20140141025 A KR20140141025 A KR 20140141025A KR 20130062237 A KR20130062237 A KR 20130062237A KR 20130062237 A KR20130062237 A KR 20130062237A KR 20140141025 A KR20140141025 A KR 20140141025A
Authority
KR
South Korea
Prior art keywords
image
event
query
unit
search
Prior art date
Application number
KR20130062237A
Other languages
English (en)
Inventor
권기상
이정선
허준희
조대기
곽진욱
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR20130062237A priority Critical patent/KR20140141025A/ko
Priority to CN201310741421.5A priority patent/CN104216938A/zh
Priority to PCT/KR2013/012363 priority patent/WO2014193065A1/en
Priority to US14/144,729 priority patent/US20140355823A1/en
Publication of KR20140141025A publication Critical patent/KR20140141025A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 영상 촬영 장치가 데이터를 수집하는 당시에 미리 설정되지 않은 이벤트에 해당하는 데이터를 검색할 수 있는 영상 검색 장치 및 방법과 이를 이용한 검색 시스템에 관한 것이다. 본 발명의 일 실시예에 따른 영상 검색 장치는 영상 촬영 장치에 의하여 촬영된 영상에 대한 검색 대상 이벤트를 구성하는 하나 이상의 조건을 가리키는 이벤트 설정 정보를 입력 받는 입력부; 상기 이벤트 설정 정보를 이용하여, 상기 검색 대상 이벤트에 대응하는 쿼리(Query)인 이벤트 쿼리를 생성하는 이벤트 쿼리 생성부; 및 상기 영상에 포함된 각 객체에 대한 메타데이터를 대상으로, 상기 이벤트 쿼리에 부합하는 데이터를 검색하는 검색부를 포함하며, 상기 검색부의 검색 대상인 상기 메타데이터는, 상기 이벤트 설정 정보 입력 이전에 저장된 메타데이터일 수 있다.

Description

영상 검색 장치 및 방법{Video Searching Apparatus and Method}
본 발명은 영상 검색 장치 및 방법에 관한 것이다. 보다 상세하게 본 발명은 CCTV와 같은 영상 촬영 장치에서 수집되는 비디오 데이터에서 사용자가 원하는 정보를 검색할 수 있는 영상 검색 장치 및 방법에 관한 것이다.
최근 사적 재산의 보호, 공적 재산의 보호 등을 위하여 다양한 형태의 보안체계 시스템 및 보안 장치들이 개발되어 이용되고 있다. 가장 일반적으로 이용되는 시스템은 폐쇄회로 텔레비전(CCTV, Closed Circuit Television)과 같은 외부 침입 등의 상황을 알리는 장치를 이용한 영상 보안 시스템이다. 이러한 영상 보안 시스템은 CCTV 장치를 통하여 외부 침입 등이 발생한 경우 이에 대한 신호를 생성하여 생성된 신호가 집 주인이나 경비업체 등의 관리자로 전송되며, 이에 따라 해당 관리자가 이를 확인하는 보안 시스템이다.
이러한 기존의 영상 보안 시스템은 미리 설정된 감지선에 허용되지 않는 사람 등의 객체가 침입하면, 이를 감지하여 사용자에 알려줄 수 있다. 또는, 기존의 영상 보안 시스템의 CCTV 등 영상 촬영 장치에서 촬영되어 저장된 데이터에서 미리 설정된 감지선을 침입한 객체에 관한 정보를 검색할 수 있다.
그러나, 기존의 영상 보안 시스템은 미리 설정된 감지선 침범 등의 이벤트의 경우에만 검색이 가능하고, 미리 설정되지 않은 이벤트에 해당하는 데이터 검색은 불가능 하다. 즉, 과거에 수집되어 저장되어 있는 데이터 중 과거 데이터가 수집되는 당시에 미리 설정된 감지선 A, B 및 C 이벤트에 해당하는 데이터는 검색할 수 있으나, 과거 데이터가 수집되는 당시에 미리 설정되지 않은 감지선 D 이벤트에 해당하는 데이터는 검색할 수 없다.
본 발명이 해결하고자 하는 기술적 과제는 영상 촬영 장치가 데이터를 수집하는 당시에 미리 설정되지 않은 이벤트에 해당하는 데이터를 검색할 수 있는 영상 검색 장치 및 방법에 관한 것이다.
또한, 본 발명이 해결하고자 하는 기술적 과제는 사용자 인터페이스를 통하여 사용자가 시각적으로 용이하게 이벤트 쿼리를 설정할 수 있는 영상 검색 장치 및 방법에 관한 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해 될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 제1 태양에 따른 영상 검색 장치는 영상 촬영 장치에 의하여 촬영된 영상에 대한 검색 대상 이벤트를 구성하는 하나 이상의 조건을 가리키는 이벤트 설정 정보를 입력 받는 입력부; 및 상기 이벤트 설정 정보를 이용하여, 상기 영상에 포함된 각 객체에 대한 메타데이터를 대상으로, 상기 검색 대상 이벤트에 부합하는 데이터를 검색하는 검색부를 포함할 수 있다.
상기 이벤트 설정 정보를 이용하여, 상기 검색 대상 이벤트에 대응하는 쿼리(Query)인 이벤트 쿼리를 생성하는 이벤트 쿼리 생성부를 더 포함하고, 상기 검색부는, 상기 메타데이터를 대상으로, 상기 이벤트 쿼리에 부합하는 데이터를 검색할 수 있다.
상기 검색부의 검색 대상인 상기 메타데이터는, 상기 이벤트 설정 정보 입력 이전에 저장된 메타데이터일 수 있다.
일 실시예에 따르면, 상기 영상 촬영 장치에 의하여 촬영된 영상을 수신하여 상기 영상에 포함된 각 객체에 대한 메타데이터로 변환하는 인코딩부; 및 상기 변환된 메타데이터를 저장하는 메타데이터 저장부를 포함할 수 있다.
상기 인코딩부는, 상기 영상의 프레임에 위치를 가리키는 좌표를 설정하고, 상기 영상의 프레임에 포함된 각 객체의 좌표 정보를 상기 영상의 프레임 단위로 획득하여 상기 각 객체의 좌표 정보에 대한 메타데이터로 변환할 수 있다.
상기 인코딩부는, 상기 영상의 프레임에 포함된 각 객체의 색상 정보를 상기 영상의 프레임 단위로 획득하여 상기 각 객체의 색상 정보에 대한 메타데이터로 변환할 수 있다.
상기 인코딩부는, 상기 영상의 프레임에 포함된, 각 객체의 특징점 정보를 상기 영상의 프레임 단위로 획득하여 상기 각 객체의 특징점 정보에 대한 메타데이터로 변환할 수 있다.
상기 입력부는 검색 대상 객체를 구성하는 하나 이상의 조건을 가리키는 객체 설정 정보를 더 입력 받으며, 상기 검색부는 상기 메타데이터 중 상기 객체 설정 정보 또는 상기 이벤트 설정 정보에 부합하는 데이터를 검색할 수 있다.
일 실시예에 따르면, 상기 입력부는 검색 대상 객체를 구성하는 하나 이상의 조건을 가리키는 객체 설정 정보를 더 입력 받으며, 상기 영상 검색 장치는, 상기 객체 설정 정보를 이용하여, 상기 검색 대상 객체에 대응하는 쿼리인 객체 쿼리 생성부를 더 포함하고, 상기 검색부는 저장된 메타데이터를 대상으로, 상기 객체 쿼리 및 이벤트 쿼리에 부합하는 데이터를 검색할 수 있다.
상기 이벤트 쿼리 생성부에서 생성된 이벤트 쿼리는 복수 개이며, 상기 검색부는 상기 객체 쿼리에 부합하는 객체 중에서 상기 복수의 이벤트 쿼리에 적어도 하나에 부합하는 객체(Obj A)를 검색하고, 상기 영상 검색 장치는, 상기 검색된 객체(Obj A) 마다 부합되는 상기 이벤트 쿼리의 개수를 표시한 정보를 제공하는 제공부를 더 포함할 수 있다.
상기 입력부는 객체에 대한 이미지 파일을 입력 받고, 상기 객체 쿼리 생성부는, 상기 입력된 이미지에 포함된 객체의 특징점을 이용하여 상기 객체 쿼리를 생성하고, 상기 검색부는 상기 메타데이터 중 상기 객체 쿼리 및 상기 이벤트 쿼리에 부합하는 데이터를 검색하는 것을 특징으로 할 수 있다.
상기 입력부는 사용자로부터 차량 번호를 입력 받고, 상기 객체 쿼리 생성부는, 상기 차량 번호를 이용하여 상기 입력된 차량 번호를 이용하여 상기 객체 쿼리를 생성하고, 상기 검색부는 상기 메타데이터 중 상기 객체 쿼리 및 상기 이벤트 쿼리 중 적어도 하나의 쿼리에 부합하는 데이터를 검색하는 것을 특징으로 할 수 있다.
상기 검색부에서 검색된 데이터가 포함되는 촬영 영상에 관한 정보 또는 상기 검색부에서 검색된 데이터가 포함되는 촬영된 영상을 제공하는 제공부를 더 포함하는 것을 특징으로 할 수 있다.
상기 입력부는 시각적으로 제공되는 사용자 인터페이스(UI, User Interface)를 통하여 상기 이벤트 설정 정보를 입력 받을 수 있다.
일 실시예에 따르면, 상기 사용자 인터페이스를 통하여 사용자가 상기 특정 간격 사이를 드래그 하는 입력을 한 경우, 상기 입력부는 상기 드래그 입력을 수신하고, 상기 수신된 드래그 입력을 이용하여 감지선 이벤트 쿼리를 생성하는 상기 이벤트 쿼리 생성부를 더 포함할 수 있다.
상기 검색부는 상기 메타테이터 중 상기 감지선 이벤트 쿼리에 부합하는 객체를 검색하고, 상기 검색된 객체의 수를 시각적으로 제공하는 제공부를 더 포함하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 사용자 인터페이스를 통하여 상기 특정 영역을 지정하면, 상기 입력부는 상기 특정 영역 정보를 수신하고, 상기 이벤트 쿼리 생성부는 상기 특정 영역 정보를 이용하여 영역 이벤트 쿼리를 설정하며, 상기 검색부는 상기 영역 이벤트 쿼리를 이용하여 상기 메타데이터 중에서 상기 특정 영역 내에 존재하는 객체에 관한 데이터를 검색할 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 제2 태양에 따른 영상 검색 방법은, 영상 촬영 장치에 의하여 촬영된 영상에 대한 검색 대상 이벤트를 구성하는 하나 이상의 조건을 가리키는 이벤트 설정 정보를 입력 받는 입력단계; 및 상기 이벤트 설정 정보를 이용하여, 상기 영상에 포함된 각 객체에 대한 메타데이터를 대상으로, 상기 검색 대상 이벤트에 부합하는 데이터를 검색하는 검색단계를 포함할 수 있다.
상기 이벤트 설정 정보를 이용하여, 상기 검색 대상 이벤트에 대응하는 쿼리(Query)인 이벤트 쿼리를 생성하는 이벤트 쿼리 생성단계를 더 포함하고, 상기 검색단계는, 상기 메타데이터를 대상으로, 상기 이벤트 쿼리에 부합하는 데이터를 검색할 수 있다.
일 실시예에 따르면, 상기 검색단계의 검색 대상인 상기 메타데이터는, 상기 이벤트 설정 정보 입력 이전에 저장된 메타데이터일 수 있다.
상기 영상 촬영 장치에 의하여 촬영된 영상을 수신하여 상기 영상에 포함된 각 객체에 대한 메타데이터로 변환하는 인코딩단계; 및 상기 변환된 메타데이터를 저장하는 메타데이터 저장단계를 포함할 수 있다.
상기 인코딩단계는, 상기 영상의 프레임에 위치를 가리키는 좌표를 설정하고, 상기 영상의 프레임에 포함된 각 객체의 좌표 정보를 상기 영상의 프레임 단위로 획득하여 상기 각 객체의 좌표 정보에 대한 메타데이터로 변환할 수 있다.
상기 인코딩단계는, 상기 영상의 프레임에 포함된 각 객체의 색상 정보를 상기 영상의 프레임 단위로 획득하여 상기 각 객체의 색상 정보에 대한 메타데이터로 변환할 수 있다.
상기 인코딩단계는, 상기 영상의 프레임에 포함된, 각 객체의 특징점 정보를 상기 영상의 프레임 단위로 획득하여 상기 각 객체의 특징점 정보에 대한 메타데이터로 변환할 수 있다.
상기 입력단계는 검색 대상 객체를 구성하는 하나 이상의 조건을 가리키는 객체 설정 정보를 더 입력 받으며, 상기 검색단계는 상기 메타데이터 중 상기 객체 설정 정보 또는 상기 이벤트 설정 정보에 부합하는 데이터를 검색할 수 있다.
상기 입력단계는 시각적으로 제공되는 사용자 인터페이스(UI, User Interface)를 통하여 상기 이벤트 설정 정보를 입력 받을 수 있다.
일 실시예에 따르면, 상기 사용자 인터페이스를 통하여 사용자가 상기 특정 간격 사이를 드래그 하는 입력을 한 경우, 상기 입력단계는 상기 드래그 입력을 수신하고, 상기 수신된 드래그 입력을 이용하여 감지선 이벤트 쿼리를 생성하는 상기 이벤트 쿼리 생성단계를 더 포함할 수 있다.
본 발명은 사용자가 원하는 시점에서 이벤트 쿼리를 생성하여 이벤트 쿼리가 생성되기 전에 수집된 영상 데이터에서 생성된 이벤트 쿼리에 부합하는 데이터를 검색할 수 있다.
또한, 본 발명은 시각적이고 직관적인 사용자 인터페이스를 통하여 용이하게 이벤트를 설정할 수 있다.
또한, 본 발명은 빅데이터에서 용이하게 사용자가 원하는 정보 획득할 수 있다.
또한, 본 발명은 객체와 프레임 단위의 메타데이터를 분석할 수 있는 바, 실시간 분석에서 발생한 오류를 데이터 분석 측면에서 개선할 수 있으며, 이벤트 검색의 정확도를 개선할 수도 있다.
또한, 본 발명은 각종 CCTV에서 촬영되어 저장된 영상에서 필요한 정보를 획득할 수 있어 보안, 객체 추적, 통계 등 다양한 분야에서 용이하게 이용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 검색 시스템에 관한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 영상 검색 장치에 관한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 검색 장치의 입력부의 일 예를 나타내는 블록도이다.
도 4 내지 6 는 이벤트 입력 정보와 이벤트 입력 정보에 대응되는 이벤트 쿼리 생성의 예를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 검색 장치의 객체 입력부를 설명하는 도면이다.
도 8은 객체를 선택하여 객체 설정 정보를 입력하는 일 예를 나타내는 도면이다.
도 9는 제공부가 검색 결과를 제공하는 일 예를 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 영상 검색 방법에 관한 흐름도이다.
도 11은 본 발명의 다른 실시예에 따른 영상 검색 방법에 관한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
어떤 구성요소가 다른 구성요소에 “연결되어”있다거나 “접속되어”있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어”있다거나 “직접 접속되어”있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함될 수 있다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시예에 따른 영상 검색 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 검색 시스템은 영상 촬영 장치들(10), 저장 서버(20) 및 영상 검색 장치(100)를 포함한다.
영상 촬영 장치들(10)은 적어도 한 대 이상의 영상 촬영 장치를 포함한다. 영상 촬영 장치는 폐쇄회로 텔레비전(CCTV, Closed Circuit Television)과 같이 외부 영상을 촬영하고, 촬영된 영상을 유선 또는 무선으로 저장 서버(20)로 전송하거나, 메모리 칩, 테이프 등에 저장할 수 있는 장치이다.
저장 서버(20)는 영상 촬영 장치들(10)에서 촬영되는 영상 데이터를 저장한다.
영상 검색 장치(100)는 저장 서버(20)에 저장되어 있는 영상 데이터터 에서 정보를 검색하고자 하는 사용자로부터 검색하고자 하는 이벤트 설정 정보를 입력 받아, 이벤트 쿼리를 생성하고, 생성된 이벤트 쿼리에 부합하는 데이터를 검색하여 제공하는 장치이다.
저장 서버(20)는 영상 검색 장치(100)에 포함될 수도 있으며, 후술할 메타데이터를 저장하는 메타데이터 저장부(110)는 영상 검색 장치(100)에 포함될 수도 있고, 영상 검색 장치(100)와는 별도의 서버(예를 들면, 저장 서버(20))에 저장될 수도 있다.
본 발명의 일 실시예에 따른 영상 검색 시스템은 사용자가 기(旣) 설정되지 않은 이벤트를 설정할 수 있으며, 저장 서버(20)에 저장된 영상 데이터에서 설정된 이벤트에 부합하는 데이터를 검색할 수 있다. 즉, 본 발명의 일 실시예에 따른 영상 검색 시스템은 기존 기술들과는 달리 영상 데이터가 저장된 이후에도 사용자의 필요성에 따라 설정되는 이벤트에 기반하여 저장된 영상 데이터에서 원하는 데이터를 검색할 수 있다.
예를 들면, 현재 시각이 2013년 1월 1일 이고, 사용자가 2012년 1월 1일부터 2012년 12월 31일 동안 A영역을 침범한 사람이 촬영된 영상을 확보하고자 할 때, 2012년 1월 1일 이전에 A영역에 감지선을 설정해 두어야 기존 영상 보안 시스템은 설정된 감지선을 침범하는 사람이 발생하면 발생 당시 영상을 별도로 저장하거나 기 설정된 쿼리(Query)에 의해 검색될 수 있도록 저장할 수 있다.
따라서, 기존 영상 보안 시스템은 2012년 1월 1일 이전에 A영역에 미리 감지선을 설정해 두지 않으면 사용자는 2012년 1월 1일부터 2012년 12월 31일에 A영역을 촬영한 영상을 하나하나 보면서 A영역을 침범한 사람을 찾아야 한다.
그러나, 본 발명의 일 실시예에 따른 영상 검색 시스템은, 현재 시각인 2013년 1월 1일에 A영역에 감지선을 설정하여, 2012년 1월 1일부터 2012년 12월 31일 동안 A영역을 침범한 사람을 검색할 수 있고, 침범한 사람이 촬영된 영상을 확보할 수 있다.
본 명세서에서 '이벤트'는 감지선을 이용하여 침입을 감시하는 감지선 이벤트, 도난 감시, 방치물 감시, 배회 감시 이벤트 등이 존재하며, 영상 감지 시스템에서 이용되는 다양한 이벤트 및 사용자가 임의적으로 설정할 수 있는 이벤트를 모두 의미할 수 있다.
구체적으로 본 발명의 일 실시예에 따른 영상 검색 장치에 관하여 도 2를 참조하여 설명한다.
도 2는 본 발명의 일 실시예에 따른 영상 검색 장치에 관한 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 영상 검색 장치(100)는 메타데이터 저장부(110), 입력부(120), 이벤트 쿼리 생성부(130), 객체 쿼리 생성부(140), 검색부(150), 제공부(160) 및 인코딩부(170)를 포함할 수 있다.
메타데이터 저장부(110)는 영상 기록 장치들에서 촬영된 영상 데이터에서 영상 데이터 내 각 객체의 메타데이터 저장할 수 있다. 메타데이터 저장부(110)는 필요한 경우, 영상기록장치들에서 촬영된 데이터를 이벤트 단위, 프레임 단위의 메타데이터로 저장할 수 있다.
영상 데이터 내 객체는 사람 등 움직이는 물체, 사람이 쓰고 있는 모자, 선글라스 등 사람과 함께 움직이는 물체, 타의적으로 움직이거나 움직일 수 있는 물체 등 비디오 분석 결과 추출되는 다양한 형태의 영상 구성 개체를 의미할 수 있다.
메타데이터 저장부(110)에 각 객체의 메타데이터를 저장하기 위하여 필요한 경우, 본 발명의 일 실시예에 따른 영상 검색 장치(100)는 영상 기록 장치들에서 촬영된 영상 데이터를 각 객체의 메타데이터로 변환하는 인코딩부(170)를 포함할 수 있다. 인코딩부(170)는 MPEG 4 등 객체 지향 영상 포맷의 인코딩을 통하여 촬영된 영상 데이터를 각 객체의 메타데이터로 변환할 수 있다.
또한, 인코딩부는, 촬영된 영상의 프레임에 위치를 가리키는 좌표를 설정하고, 영상의 프레임에 포함된 각 객체의 좌표 정보를 상기 영상의 프레임 단위로 획득하여 상기 각 객체의 좌표 정보에 대한 메타데이터로 변환할 수 있다.
또한, 인코딩부는, 촬영된 영상의 프레임에 포함된 각 객체의 색상 정보를 영상의 프레임 단위로 획득하여 상기 각 객체의 색상 정보에 대한 메타데이터로 변환할 수 있다.
또한, 인코딩부는, 촬영된 영상의 프레임에 포함된, 각 객체의 특징점 정보를 영상의 프레임 단위로 획득하여 상기 각 객체의 특징점 정보에 대한 메타데이터로 변환할 수 있다.
입력부(120)는 사용자로부터 이벤트 설정 정보를 입력 받을 수 있다. 이벤트 설정 정보는 영상 촬영 장치에 의하여 촬영된 영상에 대한 검색 대상 이벤트를 구성하는 하나 이상의 조건을 가리키는 정보이다. 또한, 입력부(120)는 사용자로부터 객체 설정 정보를 입력 받을 수도 있다. 객체 설정 정보는 영상 촬영 장치에 의하여 촬영된 영상에 대한 검색 대상 객체를 구성하는 하나 이상의 조건을 가리키는 정보이다.
즉, 사용자는 입력부(120)를 통하여 이벤트 설정 정보 및/또는 객체 설정 정보를 입력할 수 있다.
구체적으로 입력부(120)에 관하여 도 3을 참조하여 설명한다.
도 3은 본 발명의 일 실시예에 따른 영상 검색 장치의 입력부의 일 예를 나타내는 블록도이다.
도 3을 참조하면, 입력부(120)는 비디오 화면부(121), 시간 설정부(123), 장소 설정부(125) 및 객체 입력부(127)를 포함할 수 있다.
시간 설정부(123)는 사용자가 검색하고자 하는 영상의 촬영 시간을 선택할 수 있다. 시간 설정부(123)는 사용자가 검색하고자 하는 영상의 촬영 시간을 선택하지 않은 경우 시간의 범위에 제한을 두지 않고 모든 시간에 대하여 촬영된 영상을 검색 대상으로 설정할 수 있다. 또는, 시간 설정부(123)는 사용자가 검색하고자 하는 영상의 촬영 시간을 선택하지 않는 경우, 기 설정된 시간 범위(예를 들면, 20년 전 시간부터 촬영된 영상부터)로 자동적으로 시간 범위를 설정할 수도 있다.
장소 설정부(125)는 사용자가 검색하고자 하는 장소를 설정할 수 있다. 즉, 장소 설정부(125)는 사용자가 검색하고자 하는 장소를 촬영하는 영상 촬영 장치를 설정할 수 있다. 사용자가 장소 범위를 설정하지 않는 경우 장소 설정부(125)는 장소 범위에 제한을 설정하지 않고, 저장 서버(20)에 연결된 모든 영상 촬영 장치에서 촬영된 영상을 검색 범위로 설정할 수 있다.
사용자가 검색하고자 하는 촬영 영상의 시간적 범위 및 장소적 범위를 설정하는데 편의를 돕기 위하여 비디오 화면부(121)는 시각적인 사용자 인터페이스(UI, User Interface)를 제공할 수 있다. 사용자가 사용자 인터페이스를 통하여 시간적 범위 및 장소적 범위를 입력하면 시간 설정부(123)와 장소 설정부(125) 사용자 입력에 대응되도록 시간 및 장소를 각각 설정할 수 있다.
비디오 화면부(121)는 사용자에게 시각적인 사용자 인터페이스를 제공한다. 비디오 화면부(121)는 터치 스크린 등 입력 장치를 포함하며, 사용자는 사용자 인터페이스에 터치 입력 등을 하여 검색하기를 원하는 이벤트 설정 정보를 입력할 수 있다. 비디오 화면부(121)는 사용자의 요청이나 기 설정된 바에 따라서 저장 서버(20)에 저장된 영상 중 일부 또는 캡쳐된 화면을 시각 및/또는 청각적으로 사용자에게 제공하여, 용이한 이벤트 설정 정보 입력을 도울 수 있다.
사용자는 사용자 인터페이스에서 제공하는 기 설정된 항목 중 적어도 어느 하나를 선택하여 이벤트 설정 정보를 입력할 수 있다. 또는 사용자는 텍스트 정보를 이용하여 이벤트 설정 정보를 입력할 수 있다. 또는, 사용자는 비디오 화면부(121)가 제공하는 영상에서 특정 영역 선택, 드래그 등 특정 입력 등을 통하여 이벤트 설정 정보를 입력할 수 있다.
다시 도 2를 참조하여 설명하면, 이벤트 쿼리 설정부(130)는 비디오 화면부(121)에서 제공하는 사용자 인터페이스를 통하여 입력된 이벤트 설정 정보를 이용하여 이벤트 쿼리(Query)를 생성할 수 있다. 이벤트 쿼리는 검색 대상 이벤트에 대응하는 객체를 검색하기 위한 쿼리(Query)이다.
사용자가 사용자 인터페이스를 통하여 입력하는 이벤트 설정 정보는 이벤트 쿼리 생성부(130)에서 기 설정된 바에 따라서 사용자의 입력에 대응되어 이벤트 쿼리가 생성될 수 있다. 이벤트 쿼리 생성부(130)는 입력부(120)에서 입력 받은 이벤트 설정 정보를 이용하여 이벤트 쿼리를 생성한다.
즉, 이벤트 쿼리 생성부(130)가 생성하는 이벤트 쿼리는 미리 설정된 바에 따라서 사용자의 입력에 대응되어 생성될 수 있다. 예를 들면, 사용자가 a지점부터 b지점까지 드래그 입력을 하면, 이벤트 쿼리 생성부(130)는 a지점부터 b지점까지 감지선 이벤트 쿼리를 생성하여, 검색부(150)가 감지선을 침범하는 객체가 존재하는 데이터를 검색하도록 이벤트 쿼리를 생성할 수 있다.
구체적으로 도 4 내지 6을 참조하여, 이벤트 입력 정보와 이벤트 입력 정보에 대응되는 이벤트 쿼리 생성의 예를 설명한다.
도 4를 참조하면, 사용자의 요청에 따라서 비디오 화면부(121)가 특정 시각에서의 정지 영상을 제공하고 있다. 비디오 화면부(121)가 제공하는 정지 영상은 영상 촬영 장치들(10)에서 촬영된 영상 중 특정 시각의 정지 영상일 수 있다. 사용자가 횡단보도를 건너는 객체가 포함되는 데이터를 검색하고자 하는 경우, 사용자는 비디오 화면부(121)에서 제공되는 횡단보도 일 측의 말단 부분을 드래그 터치 입력을 하여 이벤트 설정 정보를 입력할 수 있다. 사용자의 드래그 터치 입력을 이용하여 이벤트 쿼리 생성부(130)가 도 4에서와 같이, 횡단보도 일 측의 말단 부분을 건너는 객체를 검색하고자 하는 감지선 이벤트 쿼리를 생성할 수 있다.
구체적으로, 사용자가 비디오 화면부(121)에서 제공하는 정지 영상의 a지점에서 b지점까지 드래그 입력을 함으로써 감지선 이벤트 설정 정보를 입력하면, 이에 응답하여, 이벤트 쿼리 생성부(130)가, 상기 감지선 이벤트 설정 정보에 따라서 a지점부터 b지점까지 감지선 이벤트 쿼리를 생성할 수 있다.
도 5를 참조하면, 사용자는 감지선 이벤트 설정 정보 입력 시 객체가 감지선을 침범하는 방향(42), 감지선을 침범할 때의 속도 범위(41)에 관한 정보를 추가적으로 입력할 수도 있다. 예를 들면, 감지선을 침범하는 순간 객체의 속도 범위(41)가 10km/h 이상의 속도이며, 침범하는 방향(42)이 화면을 기준으로 아래에서 위로 향하는 방향(y축 방향)인 객체의 경우에만 검색되도록 이벤트 쿼리를 설정할 수도 있다. 이러한 감지선 이벤트 쿼리 생성을 위하여, 사용자는 사용자 인터페이스를 통하여 드래그 입력의 크기, 드래그 속도 등을 조절하거나 추가적인 입력을 통하여 감지선 이벤트 설정 정보를 입력할 수 있다. 이벤트 쿼리 생성부(130)는 입력된 감지선 이벤트 설정 정보를 이용하여 침범 방향 및 침범하는 순간 객체의 속도 범위가 포함된 감지선 이벤트 쿼리를 생성할 수 있다. 구체적으로 예를 들면, 드래그 입력의 크기가 감지선을 침범할 때의 속도 범위(42)를 설정하는 입력이 될 수 있다.
상기 예로 든 경우에서는, 사용자가 비디오 화면부(121)에서 제공하는 정지 영상의 a지점에서 b지점까지 드래그 입력을 하는 것이 감지선 이벤트 쿼리를 생성하는 입력으로 예를 들고 있으나, 반드시 사용자의 드래그 입력이 감지선 이벤트 쿼리 생성과 대응되는 것은 아니며, 다른 형태의 입력과 감지선 이벤트 쿼리 생성이 대응될 수도 있다. 반대로, 드래그 입력이 다른 종류의 이벤트 쿼리 생성과 대응될 수도 있다.
감지선 이벤트 쿼리는 둘 이상이 생성될 수 있다. 또한 특정 영역으로 설정될 수 있다. 사용자는 둘 이상의 감지선 이벤트 설정 정보 입력을 위하여 비디오 화면부(121)에서 두 번 이상의 드래그 입력을 할 수 있으며, 또는 사용자는 비디오 화면부(121)의 사용자 인터페이스에서 제공하는 사각형 형태를 멀티 터치 입력 등을 통하여 특정 영역으로 감지선을 설정할 수 있다. 또는, 사용자는 폐회로의 형태가 되도록 드래그 입력을 하여 이벤트 쿼리 생성부(130)가 특정 영역에 존재하는 객체를 검색하고자 하는 이벤트 쿼리를 설정하도록 할 수 있다.
도 6을 참조하면, 사용자는 도 6에서 c지점, d지점, e지점, f지점을 지나 다시 c지점으로 되돌아오도록 드래그 입력을 하여 도 6과 같이 검색 영역(60)을 설정하기 위한 입력을 할 수 있다. 또는 사용자 인터페이스에서 제공하는 사각형 형태를 멀티 터치 입력을 하여 도 6과 같이 검색 영역(60)을 설정하기 위한 입력을 할 수도 있다. 이벤트 쿼리 생성부(130)는 검색 영역(60)을 침범하는 객체를 검색되도록 이벤트 쿼리를 생성할 수 있다. 또는, 사용자의 입력, 시스템 설계 등에 따라서, 도 6과 같은 사용자 입력이 존재하는 경우, 이벤트 쿼리 생성부(130)는 사용자 입력을 이용하여 검색 영역(60)을 설정하고, 설정된 검색 영역(60) 내에 존재했던 객체 또는 검색 영역(60) 내에만 존재하는 객체가 검색되도록 이벤트 쿼리를 생성할 수 있다. 비디오 화면부(121)는 사용자의 의사를 보다 정확하게 파악하기 위하여 도 6과 같이 검색 영역(60)을 설정하는 입력이 존재하는 경우 어떤 이벤트 쿼리 생성을 요구하는지 여부에 관하여 선택을 요구하는 메시지를 팝업할 수도 있다.
사용자는 비디오 화면부(121)를 통하여 이벤트 설정 정보 입력뿐만 아니라, 객체 설정 정보를 입력할 수도 있다.
구체적으로 사용자가 비디오 화면부(121)를 통하여 객체 설정 정보를 입력하는 방법을 예로 들어 설명하면, 사용자의 요청 등에 따라서 비디오 화면부(121)에서 특정 시각의 정지 영상이 제공되는 경우, 사용자는 정지 영상에 존재하는 특정 객체를 선택하거나, 비디오 화면부(121)에서 제공하는 사용자 인터페이스를 통하여 검색하고자 하는 객체의 이미지 파일을 입력할 수 있다. 사용자는 사용자 인터페이스를 통하여 텍스트 입력도 가능하다.
구체적으로 도 7을 참조하면, 객체 입력부(127)는 객체 선택부(127a), 이미지 입력부(127c), 수치 입력부(127e) 및 사물 입력부(127g)를 포함할 수 있다.
객체 선택부(127a)는 비디오 화면부(121)가 제공하는 영상에서 터치 등의 입력을 통하여 객체를 선택하여 객체 설정 정보를 입력하는 것이다. 이미지 입력부(127c)는 몽타주 이미지 등 외부 이미지를 입력하여 객체 설정 정보를 입력하는 것이다. 수치 입력부(127e)는 사용자가 사용자 인터페이스를 통하여 수치 범위를 입력하는 것이고, 사물 입력부(127g)는 사용자가 사용자 인터페이스를 통하여 사물의 명칭을 입력하는 것이다. 또한, 객체 입력부(127) 객체의 크기, 형태, 색상, 진행 방향, 속도 및 종류 등 객체에 관한 다양한 정보를 사용자로부터 입력 받을 수 있다.
도 8을 참조하여 객체를 선택하여 객체 설정 정보를 입력하는 구체적인 예를 설명한다.
예를 들어, 2012년 12월 31일 17시경에 K아파트의 어느 한 집에 도둑이 든 경우, 사용자(예를 들어, 경찰)는 장소 설정부(125)를 통하여 검색 장소를 K아파트 현관 부분을 촬영하는 제1CCTV(11)로 설정하고, 시간 설정부(123)를 통하여 제1CCTV(11)에서 촬영된 데이터 중 촬영 시간이 2012년 12월 31일 13시경부터 2012년 12월 31일 19시 경인 데이터로 검색 범위를 설정할 수 있다. 추가적으로 사용자는 현관 부분에 드래그 입력을 통하여 감지선(40)을 설정할 수 있다. 또한, 추가적으로 사용자는 객체 중 사람만을 객체 설정 정보로 입력할 수 있다.
검색부(150)가 상기 설정된 정보에 따라서, 2012년 12월 31일 13시경부터 2012년 12월 31일 19시 사이에 제1CCTV(11)에서 촬영된 데이터 중 상기 설정된 감지선(40)을 지나간 사람에 관한 메타데이터를 검색할 수 있다.
제공부(160)는 검색부(150)에서 검색된 메타데이터에 포함되는 사람을 비디오 화면부(121)를 통하여 사용자에게 제공할 수 있다. 제공부(160)는 검색된 메타데이터에 포함되는 사람 모두가 동시에 존재하는 촬영 영상(예를 들면, 저장 서버(20)에 존재하는)이 존재하지 않는 경우, 사용자에게 제공되는 화면에 검색된 모든 사람이 포함되도록 합성된 정보를 제공할 수도 있다. 예를 들면, 제공부(160)는 도 8과 같이 검색된 사람 81 내지 84를 하나의 화면에 제공할 수 있다. 또는, 제공부(160)는 아파트 차량 등의 배경 화면 없이 81 내지 84의 사람 이미지(또는 영상) 만을 제공할 수도 있다.
사용자는 제공부(160)에서 제공된 81 내지 84 중 용의자로 의심되는 사람을 터치 등으로 하나 이상 선택할 수 있다. 사용자가 선택하면, 객체 입력부는 선택된 객체를 객체 설정 정보로 수신하고, 객체 쿼리 생성부(140)는 객체 설정 정보를 이용하여 사용자가 선택한 사람과 동일 또는 유사한 사람이 포함되는 데이터가 검색되도록 객체 쿼리를 생성할 수 있다. 검색부(150)는 객체 쿼리 생성부(140)의 설정에 따라 사용자가 선택한 사람과 동일 또는 유사한 사람이 포함된 메타 데이터를 검색할 수 있다.
도 2를 다시 참조하면, 객체 쿼리 생성부(140)는 입력부(120)에서 입력 받은 객체 설정 정보를 이용하여 객체 쿼리를 생성할 수 있다. 객체 쿼리는 데이터를 검색할 때 검색의 대상이 되는 객체의 조건에 관한 쿼리이거나, 사용자가 검색하고자 하는 객체에 관한 쿼리를 의미할 수 있다.
구체적으로 사용자는 입력부(120)를 통하여 객체 선택, 이미지 입력, 수치 입력, 사물 입력 등을 통하여 객체 설정 정보를 입력할 수 있고, 객체 쿼리 생성부(140)는 사용자가 입력한 객체 설정 정보에 대응되는 객체 쿼리를 생성할 수 있다. 도 7을 참조하여 예를 들면, 입력부(120)가 특정 자동차 객체를 선택 입력을 수신한 경우, 객체 쿼리 생성부(140)는 입력된 자동차와 동일 객체가 포함된 데이터를 검색할 수 있는 쿼리를 생성할 수 있다. 또는, 입력부(120)가 특정 몽타주 이미지를 입력 받은 경우, 객체 쿼리 생성부(140)는 입력된 몽타주 이미지의 특징점이 동일/유사한 객체가 포함된 데이터가 검색되도록 객체 쿼리를 생성할 수 있다. 또는, 입력부(120)가 키가 175 내지 185인 사람을 객체 설정 정보로 입력 받으면, 객체 쿼리 생성부(140)는 입력된 키가 175 내지 185인 사람이 포함된 데이터가 검색되도록 객체 쿼리를 생성할 수 있다. 입력부(120)가 선글라스 또는 모자를 쓴 사람을 객체 설정 정보로 입력 받으면, 객체 쿼리 생성부(140)는 선글라스 또는 모자를 쓴 사람이 포함된 데이터가 검색되도록 객체 쿼리를 생성할 수 있다. 사용자가 입력한 객체 설정 정보에 대응되는 객체 쿼리는 사용자 인터페이스 종류, 사용자 설정, 설계 환경 등에 따라서 변경될 수 있다.
검색부(150)는 메타데이터 저장부(110)에 저장된 메타데이터에서 이벤트 설정 정보 및 객체 설정 정보에 부합되는 데이터를 검색할 수 있다. 구체적으로, 검색부(150)는 메타데이터 저장부(110)에 저장된 메타데이터에서 이벤트 쿼리 및 객체 쿼리에 부합되는 데이터를 검색할 수 있다.
검색부(150)가 검색하는 메타데이터는 이벤트 설정 정보 입력 이전에 수집되어 저장된 메타데이터가 포함될 수 있다. 또는, 검색부(150)가 검색하는 메타데이터는 이벤트 설정 정보 입력 이전에 수집되어 저장된 메타데이터만 포함될 수도 있다.
검색부(150)는 시간 설정 및 장소 설정이 존재하는 경우, 해당 시간 설정 및 장소 설정에 해당하는 메타 데이터를 대상으로 검색을 수행할 수도 있다.
구체적으로, 검색부(150)는 메타데이터 저장부(110)에 저장된 메타데이터에서 생성된 객체 쿼리에 부합하는 객체가 포함되는 메타데이터(Data a)를 검색할 수 있다. 검색부(150)는 검색된 메타데이터(Data a)에서 생성된 이벤트 쿼리에 부합하는 객체가 포함되는 메타데이터(Data b)를 검색할 수 있다. 검색부(150)는 이벤트 쿼리의 종류 또는 경우에 따라서, 이벤트 쿼리에 부합하는 메타데이터(Data c)를 검색하고, 검색된 메타데이터(Data c)에서 생성된 객체 쿼리에 부합하는 객체가 포함되는 메타데이터(Data d)를 검색할 수 있다.
메타데이터 저장부(110)가 저장하고 있는 메타데이터는 영상 촬영 장치들(10)에서 촬영된 영상 데이터에 포함된 각 객체의 정보가 저장되어 있는 바, 검색부(150)는 객체 쿼리 및 이벤트 쿼리에 모두 부합하는 데이터를 검색할 수 있다.
검색부(150)가 객체 쿼리 및 이벤트 쿼리를 이용하여 검색하는 순서는 검색의 정확도, 검색의 논리성, 사용자 의도, 검색의 속도 등을 고려하여 정해질 수 있으며, 설정에 따라서 변경될 수도 있다. 즉, 검색부(150)는 메타데이터 저장부(110)에 저장된 메타데이터 중 객체 쿼리를 이용하여 먼저 데이터를 검색하고, 검색된 객체 쿼리에 해당하는 메타데이터에서 이벤트 쿼리를 이용하여 재 검색 할 수 있다. 또는, 반대로, 검색부(150)는 메타데이터 저장부(110)에 저장된 메타데이터에서 이벤트 쿼리를 이용하여 먼저 검색하고, 검색된 이벤트 쿼리에 해당하는 메타데이터에서 이벤트 쿼리를 이용하여 재 검색 할 수 있다.
이벤트 쿼리 생성부(130)는 입력부(120)가 복수개의 이벤트 설정 정보를 입력 받으면, 복수개의 이벤트 쿼리를 생성할 수 있다. 마찬가지로 객체 쿼리 생성부(140)는 입력부(120)가 복수개의 객체 설정 정보를 입력하면, 복수개의 객체 쿼리를 생성할 수 있다. 검색부(150)는 복수개의 이벤트 쿼리가 생성된 경우, 사용자의 의도에 따라서, 복수개의 이벤트 쿼리를 동시에 만족하는 객체가 존재하는 메타데이터를 검색하거나, 복수개의 이벤트 쿼리 중 적어도 어느 하나를 만족하는 객체가 존재하는 메타데이터를 검색할 수 있다. 또는 검색부(150)는 복수개의 이벤트 쿼리 중에서 특정 수 이상의 이벤트 쿼리를 만족하는 객체를 검색할 수도 있다. 이러한 검색부(150)의 검색은 복수개의 객체 쿼리가 설정된 경우에도 마찬가지이다.
또한, 검색부(150)는 확장 검색을 수행할 수 있다. 확장 검색은 검색부(150)에서 검색된 검색 결과에 기반하여 새로운 데이터를 검색하는 것을 의미한다. 확장 검색은 2회 이상이 수행될 수도 있다.
확장 검색의 예를 들면, 검색부(150)가 사용자에 입력에 의하여 감지선을 침입한 모자 쓴 사람에 대한 데이터를 검색한 경우, 검색부(150)는 설정된 시간 조건과 비슷한 시간 대 설정된 CCTV의 주변 CCTV에서 검색된 객체가 포함된 데이터를 검색하거나, 검색된 객체가 발생시킨 모든 이벤트 정보를 제공하거나, 검색된 객체의 움직임을 검색할 수 있다. 이러한 확장 검색은 사용자가 원하는 경우에만 수행할 수 있으며, 검색된 정보를 기반으로 사용자가 입력부(120)를 통하여 객체 정보를 입력하거나, 이벤트 정보를 입력하여 새로운 정보를 검색할 수도 있다. 다만, 비디오 화면부(121)는 검색된 정보를 기반으로 앞서 설명한 확장 검색의 예를 포함한 다양한 검색 옵션을 제공하여 사용자의 선택 편의성 및 검색의 용이성을 도모할 수도 있다.
제공부(160)는 검색부(150)에서 검색된 결과를 시각적으로 사용자에게 제공할 수 있다.
제공부(160)는 검색부(150)에서 검색된 결과에 해당하는 메타데이터가 포함되는 촬영 영상을 제공할 수 있다. 또는 제공부(160)는 검색부(150)에서 검색된 결과를 텍스트나 이미지로 나열할 수도 있다.
제공부(160)가 제공하는 촬영 영상은 저장 서버(20)에 저장된 것일 수 있다.
제공부(160)가 검색된 결과에 해당하는 메타데이터가 포함되는 촬영 영상을 제공할 수 없는 경우, 검색된 결과에 해당하는 메타데이터가 포함되는 촬영 영상이 저장되어 있는 곳에 관한 정보만을 제공할 수도 있다. 제공부(160)는 검색 결과에 따른 데이터를 LOD(level of Detail)의 형태로 사용자가 원하는 만큼 제공할 수도 있다.
또한, 제공부(160)는 검색부(150)가 복수 개의 이벤트 쿼리가 설정되고 복수 개의 이벤트 쿼리 중 적어도 하나를 만족하는 객체를 검색한 검색 결과를 제공할 때, 검색 결과에 포함되는 각 객체들이 만족하는 이벤트 쿼리의 개수를 수치적으로 함께 제공할 수 있다.
또한, 도 9를 참조하면, 제공부(160)는 이벤트 쿼리를 생성하는 비디오 화면부(121)를 통하여 사용자가 이벤트 쿼리 생성 위한 이벤트 정보 입력을 하면, 생성되는 이벤트 쿼리에 해당하는 검색 결과를 수치적으로 제공할 수 있다. 즉, 사용자의 드래그 입력으로 감지선 이벤트 쿼리가 설정되면, 검색부(150)는 설정된 감지선 이벤트 쿼리에 부합하는 객체를 검색하고, 검색된 결과를 설정된 감지선 부근에 표시할 수 있다. 이러한 표시는 다양한 통계를 분석하는데 용이하게 이용될 수 있다.
예를 들면, 감지선 40a와 감지선 40d는 횡단보도를 정상적으로 이용한 사람 등의 객체의 통계로 추측할 수 있고, 40b와 40c는 횡단보도를 대각선으로 가로지르거나 횡단보도 주변 도로를 이용해 길을 건너는 등의 비정상적으로 이용한 사람 등의 객체가 포함된 통계로 추측할 수 있다. 예를 들어, 도 9에서는 40a를 지나간 객체 수는 1270명이고, 40d를 지나간 객체 수는 1117명으로, 40b를 지나간 객체 수는 1967명과 40d를 지나간 객체 수는 2013명으로 횡단보도를 비 정상적으로 이용한 객체 수가 훨씬 많은 것을 추측할 수 있다. 이러한 통계를 비교, 분석하면 다양한 분야에 이용될 수 있다.
즉, 기존에는 이벤트가 미리 설정되어 있어야, 설정된 이벤트에 관한 정보를 획득할 수 있는 것에 반하여, 본 발명은 데이터가 수집된 이후에도 사용자의 이벤트 설정 정보를 입력하여 다양한 정보를 획득할 수 있고, 빅 데이터에서의 정보 획득, 각종 이벤트 상황에서의 정보 획득이 용이하다.
또한, 본 발명은 기 설정된 이벤트를 발생시킨 객체뿐만 아니라, 기 설정되지 않고 데이터가 저장된 이후에 이벤트를 설정하고, 설정된 이벤트를 발생시킨 객체를 검색할 수 있다. 따라서, 본 발명은 기 설정된 이벤트를 발생시킨 객체를 검색할 수 있는 것도 포함할 수 있다.
도 10은 본 발명의 일 실시예에 따른 영상 검색 방법에 관한 흐름도이다.
도 10을 참조하면, 메타데이터 저장부(110)는 영상 촬영 장치들(10)에서 촬영된 영상 데이터에 포함된 각 객체의 메타데이터를 저장한다(S1010 단계).
입력부(120)는 시각적 사용자 인터페이스(UI)를 통하여 사용자로부터 영상 촬영 장치에 의하여 촬영된 영상에 대한 검색 대상 이벤트를 구성하는 하나 이상의 조건을 가리키는 이벤트 설정 정보를 입력 받을 수 있다(S1020 단계).
이벤트 쿼리 생성부(130)는 이벤트 설정 정보를 이용하여 이벤트 쿼리를 생성할 수 있다(S1030 단계).
검색부(150)는 메타데이터 저장부(110)에 저장된 메타데이터 중 설정된 이벤트 쿼리에 부합하는 데이터를 검색할 수 있다(S1040 단계).
제공부(160)는 검색부(150)에서 검색된 데이터를 기반으로 사용자에게 다양한 형태의 정보를 제공할 수 있다(S1050 단계).
도 11은 본 발명의 다른 실시예에 따른 영상 검색 방법에 관한 흐름도이다.
도 11을 참조하면, 입력부(120)는 사용자로부터 영상 촬영 장치에 의하여 촬영된 영상에 대한 검색 대상 객체를 구성하는 하나 이상의 조건을 가리키는 객체 설정 정보를 입력 받을 수 있다(S1110 단계).
객체 쿼리 생성부(140)는 입력부(120)가 입력 받은 객체 설정 정보를 이용하여 객체 쿼리를 생성할 수 있다(S1120 단계).
검색부(150)는 메타데이터에서 객체 쿼리 및 이벤트 쿼리에 모두 부합하는 데이터를 검색할 수 있다(S1130 단계). 검색부(150)는 검색된 데이터를 기반으로 확장 검색을 수행할 수도 있다. 제공부(160)는 검색부(150)에서 검색된 데이터를 기반으로 다양한 정보를 제공할 수 있다(S1050 단계).
도 2, 3 및 7의 각 구성요소는 소프트웨어(software) 또는, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 하나의 구성요소로 구현할 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (21)

  1. 영상 촬영 장치에 의하여 촬영된 영상에 대한 검색 대상 이벤트를 구성하는 하나 이상의 조건을 가리키는 이벤트 설정 정보를 입력 받는 입력부;
    상기 이벤트 설정 정보를 이용하여, 상기 검색 대상 이벤트에 대응하는 쿼리(Query)인 이벤트 쿼리를 생성하는 이벤트 쿼리 생성부; 및
    상기 영상에 포함된 각 객체에 대한 메타데이터를 대상으로, 상기 이벤트 쿼리에 부합하는 데이터를 검색하는 검색부를 포함하며, 상기 검색부의 검색 대상이 상기 메타데이터는, 상기 이벤트 설정 정보 입력 이전에 저장된 것을 특징으로 하는 영상 검색 장치.
  2. 제 1 항에 있어서,
    상기 영상 촬영 장치에 의하여 촬영된 영상을 수신하여 상기 영상에 포함된 각 객체에 대한 메타데이터로 변환하는 인코딩부; 및
    상기 변환된 메타데이터를 저장하는 메타데이터 저장부를 포함하는 영상 검색 장치.
  3. 제 2 항에 있어서,
    상기 인코딩부는, 상기 영상의 프레임에 위치를 가리키는 좌표를 설정하고, 상기 영상의 프레임에 포함된 각 객체의 좌표 정보를 상기 영상의 프레임 단위로 획득하여 상기 각 객체의 좌표 정보에 대한 메타데이터로 변환하는 영상 검색 장치.
  4. 제 2 항에 있어서,
    상기 인코딩부는, 상기 영상의 프레임에 포함된 각 객체의 색상 정보를 상기 영상의 프레임 단위로 획득하여 상기 각 객체의 색상 정보에 대한 메타데이터로 변환하는 영상 검색 장치.
  5. 제 2 항에 있어서,
    상기 인코딩부는, 상기 영상의 프레임에 포함된, 각 객체의 특징점 정보를 상기 영상의 프레임 단위로 획득하여 상기 각 객체의 특징점 정보에 대한 메타데이터로 변환하는 영상 검색 장치.
  6. 제 1 항에 있어서,
    상기 입력부는 시각적으로 제공되는 사용자 인터페이스(UI, User Interface)를 통하여 상기 이벤트 설정 정보를 입력 받는 영상 검색 장치.
  7. 제 6 항에 있어서,
    상기 사용자 인터페이스를 통하여 사용자가 상기 특정 간격 사이를 드래그 하는 입력을 한 경우, 상기 입력부는 상기 드래그 입력을 수신하고,
    상기 이벤트 쿼리 생성부는, 상기 수신된 드래그 입력을 이용하여 감지선 이벤트 쿼리를 생성하며,
    상기 검색부는 상기 메타테이터 중 상기 감지선 이벤트 쿼리에 부합하는 객체를 검색하는 영상 검색 장치.
  8. 제 6 항에 있어서,
    상기 사용자 인터페이스를 통하여 상기 특정 영역을 지정하면, 상기 입력부는 상기 특정 영역 정보를 수신하고,
    상기 이벤트 쿼리 생성부는 상기 특정 영역 정보를 이용하여 영역 이벤트 쿼리를 설정하며,
    상기 검색부는 상기 영역 이벤트 쿼리를 이용하여 상기 메타데이터 중에서 상기 특정 영역 내에 존재하는 객체에 관한 데이터를 검색하는 영상 검색 장치.
  9. 제 1 항에 있어서,
    상기 검색부에서 검색된 데이터가 포함되는 촬영 영상에 관한 정보 또는 상기 검색부에서 검색된 데이터가 포함되는 촬영된 영상을 제공하는 제공부를 더 포함하는 것을 특징으로 하는 영상 검색 장치.
  10. 제 1 항에 있어서,
    상기 입력부는 검색 대상 객체를 구성하는 하나 이상의 조건을 가리키는 객체 설정 정보를 더 입력 받으며,
    상기 영상 검색 장치는, 상기 객체 설정 정보를 이용하여, 상기 검색 대상 객체에 대응하는 쿼리인 객체 쿼리 생성부를 더 포함하고,
    상기 검색부는 저장된 메타데이터를 대상으로, 상기 객체 쿼리 및 이벤트 쿼리에 부합하는 데이터를 검색하는 영상 검색 장치.
  11. 제 10 항에 있어서,
    상기 이벤트 쿼리 생성부에서 생성된 이벤트 쿼리는 복수 개이며,
    상기 검색부는 상기 객체 쿼리에 부합하는 객체 중에서 상기 복수의 이벤트 쿼리에 적어도 하나에 부합하는 객체(Obj A)를 검색하고,
    상기 영상 검색 장치는, 상기 검색된 객체(Obj A) 마다 부합되는 상기 이벤트 쿼리의 개수를 표시한 정보를 제공하는 제공부를 더 포함하는 영상 검색 장치.
  12. 제 11 항에 있어서,
    상기 입력부는 객체에 대한 이미지 파일을 입력 받고,
    상기 객체 쿼리 생성부는, 상기 입력된 이미지에 포함된 객체의 특징점을 이용하여 상기 객체 쿼리를 생성하고,
    상기 검색부는 상기 메타데이터 중 상기 객체 쿼리 및 상기 이벤트 쿼리 중 적어도 하나의 쿼리에 부합하는 데이터를 검색하는 것을 특징으로 하는 영상 검색 장치.
  13. 제 10 항에 있어서,
    상기 입력부는 사용자로부터 차량 번호를 입력 받고,
    상기 객체 쿼리 생성부는, 상기 차량 번호를 이용하여 상기 입력된 차량 번호를 이용하여 상기 객체 쿼리를 생성하고,
    상기 검색부는 상기 메타데이터 중 상기 객체 쿼리 및 상기 이벤트 쿼리에 부합하는 데이터를 검색하는 것을 특징으로 하는 이벤트 기반 영상 검색 장치.
  14. 영상 촬영 장치에 의하여 촬영된 영상에 대한 검색 대상 이벤트를 구성하는 하나 이상의 조건을 가리키는 이벤트 설정 정보를 입력 받는 입력단계;
    상기 이벤트 설정 정보를 이용하여, 상기 검색 대상 이벤트에 대응하는 쿼리(Query)인 이벤트 쿼리를 생성하는 이벤트 쿼리 생성단계; 및
    상기 이벤트 설정 정보를 이용하여, 상기 영상에 포함된 각 객체에 대한 메타데이터를 대상으로, 상기 이벤트 쿼리에 부합하는 데이터를 검색하는 검색단계를 포함하며, 상기 검색단계의 검색 대상인 상기 메타데이터는, 상기 이벤트 설정 정보 입력 이전에 저장된 메타데이터인 것을 특징으로 하는 영상 검색 방법.
  15. 제 14 항에 있어서,
    상기 영상 촬영 장치에 의하여 촬영된 영상을 수신하여 상기 영상에 포함된 각 객체에 대한 메타데이터로 변환하는 인코딩단계; 및
    상기 변환된 메타데이터를 저장하는 메타데이터 저장단계를 포함하는 영상 검색 방법.
  16. 제 15 항에 있어서,
    상기 인코딩단계는, 상기 영상의 프레임에 위치를 가리키는 좌표를 설정하고, 상기 영상의 프레임에 포함된 각 객체의 좌표 정보를 상기 영상의 프레임 단위로 획득하여 상기 각 객체의 좌표 정보에 대한 메타데이터로 변환하는 영상 검색 방법.
  17. 제 15 항에 있어서,
    상기 인코딩단계는, 상기 영상의 프레임에 포함된 각 객체의 색상 정보를 상기 영상의 프레임 단위로 획득하여 상기 각 객체의 색상 정보에 대한 메타데이터로 변환하는 영상 검색 방법.
  18. 제 15 항에 있어서,
    상기 인코딩단계는, 상기 영상의 프레임에 포함된, 각 객체의 특징점 정보를 상기 영상의 프레임 단위로 획득하여 상기 각 객체의 특징점 정보에 대한 메타데이터로 변환하는 영상 검색 방법.
  19. 제 14 항에 있어서,
    상기 입력단계는 시각적으로 제공되는 사용자 인터페이스(UI, User Interface)를 통하여 상기 이벤트 설정 정보를 입력 받는 영상 검색 방법.
  20. 제 19 항에 있어서,
    상기 사용자 인터페이스를 통하여 사용자가 상기 특정 간격 사이를 드래그 하는 입력을 한 경우, 상기 입력단계는 상기 드래그 입력을 수신하고,
    상기 이벤트 쿼리 생성단계는 상기 특정 영역 정보를 이용하여 영역 이벤트 쿼리를 설정하며,
    상기 검색단계는 상기 영역 이벤트 쿼리를 이용하여 상기 메타데이터 중에서 상기 특정 영역 내에 존재하는 객체에 관한 데이터를 검색하는 영상 검색 방법.
  21. 제 19 항에 있어서,
    상기 입력단계는 검색 대상 객체를 구성하는 하나 이상의 조건을 가리키는 객체 설정 정보를 더 입력 받으며,
    상기 영상 검색 방법은, 상기 객체 설정 정보를 이용하여, 상기 검색 대상 객체에 대응하는 쿼리인 객체 쿼리 생성단계를 더 포함하고,
    상기 검색단계는 저장된 메타데이터를 대상으로, 상기 객체 쿼리 및 이벤트 쿼리에 부합하는 데이터를 검색하는 영상 검색 방법.
KR20130062237A 2013-05-31 2013-05-31 영상 검색 장치 및 방법 KR20140141025A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR20130062237A KR20140141025A (ko) 2013-05-31 2013-05-31 영상 검색 장치 및 방법
CN201310741421.5A CN104216938A (zh) 2013-05-31 2013-12-27 图像检索装置及方法
PCT/KR2013/012363 WO2014193065A1 (en) 2013-05-31 2013-12-30 Video search apparatus and method
US14/144,729 US20140355823A1 (en) 2013-05-31 2013-12-31 Video search apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130062237A KR20140141025A (ko) 2013-05-31 2013-05-31 영상 검색 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20140141025A true KR20140141025A (ko) 2014-12-10

Family

ID=51985148

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130062237A KR20140141025A (ko) 2013-05-31 2013-05-31 영상 검색 장치 및 방법

Country Status (4)

Country Link
US (1) US20140355823A1 (ko)
KR (1) KR20140141025A (ko)
CN (1) CN104216938A (ko)
WO (1) WO2014193065A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018034377A1 (ko) * 2016-08-18 2018-02-22 한화테크윈 주식회사 이벤트 검색 시스템, 장치 및 방법
KR20180019874A (ko) * 2016-08-17 2018-02-27 한화테크윈 주식회사 이벤트 검색 장치 및 시스템
WO2018097389A1 (ko) * 2016-11-23 2018-05-31 한화테크윈 주식회사 영상 검색 장치, 데이터 저장 방법 및 데이터 저장 장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI550421B (zh) * 2015-03-06 2016-09-21 視頻搜尋方法與系統
KR102551239B1 (ko) * 2015-09-02 2023-07-05 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 확장된 장면에서의 내비게이션을 용이하게 하기 위한 방법, 장치 및 시스템
KR101926568B1 (ko) * 2016-05-02 2018-12-10 한국전자통신연구원 비디오 해석 장치 및 방법
KR20180086662A (ko) * 2017-01-23 2018-08-01 한화에어로스페이스 주식회사 모니터링 장치 및 시스템
US10237614B2 (en) * 2017-04-19 2019-03-19 Cisco Technology, Inc. Content viewing verification system
US20190147734A1 (en) * 2017-11-14 2019-05-16 Honeywell International Inc. Collaborative media collection analysis
CN109299642A (zh) * 2018-06-08 2019-02-01 嘉兴弘视智能科技有限公司 基于人像识别的逻辑布控预警系统及方法
CN109040718B (zh) * 2018-10-16 2020-07-03 广州市信时通科技有限公司 基于网络摄像机的智能监控系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4716744B2 (ja) * 2005-02-01 2011-07-06 株式会社日立製作所 映像監視配信装置
KR100650665B1 (ko) * 2005-10-28 2006-11-29 엘지전자 주식회사 동영상 검색방법
JP4541316B2 (ja) * 2006-04-06 2010-09-08 三菱電機株式会社 映像監視検索システム
US8929657B2 (en) * 2008-08-22 2015-01-06 KyongHee Yi System and method for indexing object in image
CN101840422A (zh) * 2010-04-09 2010-09-22 江苏东大金智建筑智能化系统工程有限公司 基于目标特征和报警行为的智能视频检索系统和方法
US20120173577A1 (en) * 2010-12-30 2012-07-05 Pelco Inc. Searching recorded video
KR101703931B1 (ko) * 2011-05-24 2017-02-07 한화테크윈 주식회사 감시 시스템
CN102332031B (zh) * 2011-10-18 2013-03-27 中国科学院自动化研究所 一种基于视频集合层级主题结构的检索结果聚类方法
CN102930556A (zh) * 2012-09-21 2013-02-13 公安部第三研究所 实现多摄像机目标跟踪的视频图像结构化描述处理的方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180019874A (ko) * 2016-08-17 2018-02-27 한화테크윈 주식회사 이벤트 검색 장치 및 시스템
WO2018034377A1 (ko) * 2016-08-18 2018-02-22 한화테크윈 주식회사 이벤트 검색 시스템, 장치 및 방법
KR20180020374A (ko) * 2016-08-18 2018-02-28 한화테크윈 주식회사 이벤트 검색 시스템, 장치 및 방법
US11086933B2 (en) 2016-08-18 2021-08-10 Hanwha Techwin Co., Ltd. Event search system, device, and method
WO2018097389A1 (ko) * 2016-11-23 2018-05-31 한화테크윈 주식회사 영상 검색 장치, 데이터 저장 방법 및 데이터 저장 장치
US11449544B2 (en) 2016-11-23 2022-09-20 Hanwha Techwin Co., Ltd. Video search device, data storage method and data storage device

Also Published As

Publication number Publication date
CN104216938A (zh) 2014-12-17
WO2014193065A1 (en) 2014-12-04
US20140355823A1 (en) 2014-12-04

Similar Documents

Publication Publication Date Title
KR20140141025A (ko) 영상 검색 장치 및 방법
RU2760211C2 (ru) Аналитическая система распознавания
US11308777B2 (en) Image capturing apparatus with variable event detecting condition
JP5400138B2 (ja) 電子的監視のためのシステム、方法、コンピュータプログラム及びコンピュータ読み取り可能な媒体
CN111131902B (zh) 确定目标对象信息的方法及视频播放设备
US9418153B2 (en) Video search and playback interface for vehicle monitor
CN104521230B (zh) 用于实时重建3d轨迹的方法和系统
Zabłocki et al. Intelligent video surveillance systems for public spaces–a survey
JP6807925B2 (ja) ビデオ識別および分析認識システム
WO2014050518A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2013172738A1 (en) Method for video-data indexing using a map
JP6013923B2 (ja) ビデオエピソードの閲覧及び検索のためのシステム及び方法
US11575837B2 (en) Method, apparatus and computer program for generating and displaying a heatmap based on video surveillance data
KR20160088129A (ko) 다중 비디오써머리제공방법 및 장치
KR101084914B1 (ko) 차량번호 및 사람 이미지의 인덱싱 관리시스템
EP2770733A1 (en) A system and method to create evidence of an incident in video surveillance system
CN111222373A (zh) 一种人员行为分析方法、装置和电子设备
WO2016185229A1 (en) Systems, methods, and devices for information sharing and matching
JP6396682B2 (ja) 監視カメラシステム
US10783365B2 (en) Image processing device and image processing system
CN117998039A (zh) 视频数据处理方法、装置、设备及存储介质
CN107301373A (zh) 数据处理方法、装置及存储介质
JP2019213116A (ja) 画像処理装置、画像処理方法およびプログラム
GB2594459A (en) A method, apparatus and computer program for generating and displaying a heatmap based on video surveillance data
JP2023544948A (ja) コンピュータ実装方法、コンピュータプログラム、及び映像処理と映像シーケンスからのサムネイルの生成とのための装置、並びにそのような装置を備える映像監視システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application