KR20180020374A - 이벤트 검색 시스템, 장치 및 방법 - Google Patents

이벤트 검색 시스템, 장치 및 방법 Download PDF

Info

Publication number
KR20180020374A
KR20180020374A KR1020160104593A KR20160104593A KR20180020374A KR 20180020374 A KR20180020374 A KR 20180020374A KR 1020160104593 A KR1020160104593 A KR 1020160104593A KR 20160104593 A KR20160104593 A KR 20160104593A KR 20180020374 A KR20180020374 A KR 20180020374A
Authority
KR
South Korea
Prior art keywords
event
search
unit
metadata
flag
Prior art date
Application number
KR1020160104593A
Other languages
English (en)
Inventor
장세미
임정은
노승인
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020160104593A priority Critical patent/KR20180020374A/ko
Priority to PCT/KR2016/009698 priority patent/WO2018034377A1/ko
Priority to US16/313,877 priority patent/US11086933B2/en
Publication of KR20180020374A publication Critical patent/KR20180020374A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7335—Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F17/30023—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F17/30634—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72418—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting emergency services
    • H04M1/72421—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting emergency services with automatic activation of emergency service functions, e.g. upon sensing an alarm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Alarm Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 이벤트 검색 시스템은 이벤트의 발생을 감지하여 신호를 생성하는 센서; 상기 센서로부터 상기 신호를 수신하고, 감시 영역을 촬영하여 복수의 영상 프레임과, 상기 영상 프레임에 관한 메타데이터를 생성하는 카메라; 상기 복수의 영상 프레임 및 상기 메타데이터를 상기 카메라로부터 전송받아 이벤트를 검색하는 이벤트 검색 장치를 포함하는 이벤트 검색 시스템으로서, 상기 이벤트 검색 장치는, 상기 복수의 영상 프레임과, 상기 영상 프레임 상의 이벤트의 발생 시간 정보와 위치 정보를 포함하는 메타데이터를 카메라로부터 수신하는 제1 통신부; 상기 이벤트를 검색하기 위한 검색 조건으로, 이벤트 검색 영역을 입력받는 사용자 인터페이스; 및 상기 영상 프레임 상에 상기 이벤트 검색 영역을 표시하는 화면부; 및 상기 메타데이터를 이용하여, 상기 이벤트 검색 영역 내에서 상기 검색 조건을 충족하는 이벤트를 검색하는 제어부를 포함하되, 상기 이벤트 검색 영역은, 상기 사용자에 의해 위치, 사이즈 및 모양 중 적어도 하나가 변경될 수 있다.

Description

이벤트 검색 시스템, 장치 및 방법{The System, Apparatus And MethodFor Searching Event}
본 발명은 이벤트 검색 시스템, 장치 및 방법에 관한 것으로서, 보다 상세하게는 이벤트가 발생한 이후에 사용자가 검색하고자 하는 영역을 검색 영역으로 지정함으로써, 검색 영역 내에서 발생한 이벤트만을 검색 결과로 도출될 수 있는 이벤트 검색 시스템, 장치 및 방법에 관한 것이다.
일반적으로 은행, 백화점, 일반 주택가를 비롯한 다양한 장소에서 감시 시스템이 널리 사용되고 있다. 이러한 감시 시스템은 범죄 예방, 보안을 목적으로 사용될 수 있으나, 최근에는 실내의 애완동물 또는 어린 아이를 실시간으로 감시하기 위해서도 사용되기도 한다. 그리고 이러한 감시 시스템으로 가장 많이 사용하는 시스템은, 감시를 원하는 영역을 촬영할 수 있도록 적절한 위치에 카메라를 설치하고, 사용자는 카메라가 촬영한 영상을 모니터링 함으로써 감시할 수 있는 폐쇄회로 텔레비전(Closed Circuit Television: CCTV) 시스템이다.
최근에는 이러한 CCTV 시스템은 이벤트(Event) 검색 기능을 제공하고 있다. 이벤트(Event)란, 카메라가 특정 영역을 촬영하는 도중에 발생하는 여러 가지 각종 사건을 말한다. 예를 들면, 사람이나 동물이 움직이는 모션 이벤트, 찬장의 유리잔이 떨어져 깨지는 모션 및 소리 이벤트, 화재가 발생하는 열 및 빛 이벤트 등이 있다. 최근 CCTV는 각종 센서들과 연결되어, 특정 이벤트가 발생하면 센서가 이를 감지하고, 사용자에게 이벤트 발생 사실을 알려주는 이벤트 알림 기능도 제공하고 있다.
그러나, 이미 이벤트가 발생한 경우, 사용자가 발생하였던 이벤트의 내용을 확인하기를 희망하는 경우가 있다. 예를 들어, 사용자가 외출 후 집에 복귀했는데 거실에 꽃병이 깨져있는 경우, 과거에 어떤 이벤트가 발생했었는지 모니터링 하기를 희망할 수 있다. 그런데 종래의 경우에는 이러한 이벤트를 검색하기 위해, 사용자가 시간 조건만을 입력할 수 있었다.
또는, 위치에 대한 조건을 입력하더라도, 이벤트가 발생한 이후에 입력하는 것이 아니라, 사용자가 미리 관심 영역(ROI, Region Of Interest)을 설정하면, 추후에 상기 관심 영역 내에서 발생한 이벤트만을 검색할 수 있을 뿐이었다. 따라서, 이미 과거에 특정 영역에 대하여 발생하였던 이벤트를 추후에 검색하기 위해, 위치에 대한 조건을 검색 조건으로 입력할 필요가 있다.
미국특허등록 제7460149호 미국특허등록 제9201900호
본 발명이 해결하고자 하는 과제는, 이벤트가 발생한 이후에 사용자가 검색하고자 하는 영역을 검색 영역으로 지정함으로써, 검색 영역 내에서 발생한 이벤트만을 검색 결과로 도출될 수 있는 이벤트 검색 시스템, 장치 및 방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 이벤트 검색 시스템은 이벤트의 발생을 감지하여 신호를 생성하는 센서; 상기 센서로부터 상기 신호를 수신하고, 감시 영역을 촬영하여 복수의 영상 프레임과, 상기 영상 프레임에 관한 메타데이터를 생성하는 카메라; 상기 복수의 영상 프레임 및 상기 메타데이터를 상기 카메라로부터 전송받아 이벤트를 검색하는 이벤트 검색 장치를 포함하는 이벤트 검색 시스템으로서, 상기 이벤트 검색 장치는, 상기 복수의 영상 프레임과, 상기 영상 프레임 상의 이벤트의 발생 시간 정보와 위치 정보를 포함하는 메타데이터를 카메라로부터 수신하는 제1 통신부; 상기 이벤트를 검색하기 위한 검색 조건으로, 이벤트 검색 영역을 입력받는 사용자 인터페이스; 및 상기 영상 프레임 상에 상기 이벤트 검색 영역을 표시하는 화면부; 및 상기 메타데이터를 이용하여, 상기 이벤트 검색 영역 내에서 상기 검색 조건을 충족하는 이벤트를 검색하는 제어부를 포함하되, 상기 이벤트 검색 영역은, 상기 사용자에 의해 위치, 사이즈 및 모양 중 적어도 하나가 변경될 수 있다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 이벤트 검색 장치는 감시 영역을 촬영하여 획득된 복수의 영상 프레임과, 상기 영상 프레임 상의 이벤트의 발생 시간 정보와 위치 정보를 포함하는 메타데이터를 카메라로부터 수신하는 제1 통신부; 상기 이벤트를 검색하기 위한 검색 조건으로, 이벤트 검색 영역을 입력받는 사용자 인터페이스; 및 상기 영상 프레임 상에 상기 이벤트 검색 영역을 표시하는 화면부; 및 상기 메타데이터를 이용하여, 상기 이벤트 검색 영역 내에서 상기 검색 조건을 충족하는 이벤트를 검색하는 제어부를 포함하되, 상기 이벤트 검색 영역은, 상기 사용자에 의해 위치, 사이즈 및 모양 중 적어도 하나가 변경될 수 있다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 이벤트 검색 방법은 카메라가 감시 영역을 촬영하여 복수의 영상 프레임을 획득하는 단계; 상기 카메라가 상기 복수의 영상 프레임을 토대로, 상기 영상 프레임 상의 이벤트의 발생 시간 정보와 위치 정보를 포함하는 메타데이터를 생성하는 단계; 이벤트 검색 장치가 상기 복수의 영상 프레임과 상기 메타데이터를 수신하는 단계; 상기 이벤트를 검색하기 위한 검색 조건으로, 상기 이벤트 검색 장치가 이벤트 검색 영역을 입력받는 단계; 상기 영상 프레임 상에 상기 이벤트 검색 영역이, 상기 이벤트 검색 장치의 화면부를 통해 표시되는 단계; 및 상기 이벤트 검색 장치의 제어부가, 상기 메타데이터를 이용하여 상기 이벤트 검색 영역 내에서 상기 검색 조건을 충족하는 이벤트를 검색하는 단계를 포함한다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
이벤트가 발생한 이후라 하더라도, 사용자가 검색하고자 하는 영역을 검색 영역으로 지정한다면, 검색 영역 내에서 발생한 이벤트만을 검색 결과로 도출될 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 이벤트 검색 시스템의 구성을 나타낸 블록도이다.
도 2는 도 1의 이벤트 검색 장치(1)의 사시도이다.
도 3은 본 발명의 일 실시예에 따른 이벤트 검색 장치(1)의 화면부(11)에 스타팅 아이콘(113)이 표시된 모습을 나타낸 도면이다.
도 4는 도 3에 표시된 스타팅 아이콘(113)에 탭(Tab)을 수행하는 모습을 나타낸 도면이다.
도 5는 도 4에서 수행된 결과로서, 화면부(11)에 메뉴 휠 아이콘(114)이 표시된 모습을 나타낸 도면이다.
도 6은 도 5에 표시된 메뉴 휠 아이콘(114) 중에서 이벤트(Event) 메뉴에 탭(Tab)을 수행하는 모습을 나타낸 도면이다.
도 7은 도 6에서 수행된 결과로서, 화면부(11)에 셀렉트 아이콘(115)이 표시된 모습을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 이벤트 검색 영역(116)의 설정을 시작하기 위한 안내 창(112a)이 표시되는 모습을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 이벤트 검색 영역(116)이 화면부(11)에 표시된 모습을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 이벤트 검색 영역(116)의 하나의 조인트(1161)에 드래그(Drag)가 수행되는 모습을 나타낸 도면이다.
도 11은 도 10에서 수행된 결과로서, 이벤트 검색 영역(116)의 모양이 변형되는 모습을 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 이벤트 검색 영역(116)에 드래그(Drag)가 수행되는 모습을 나타낸 도면이다.
도 13은 도 12에서 수행된 결과로서, 이벤트 검색 영역(116)의 사이즈가 확대되는 모습을 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 이벤트 검색 영역(116)에 더블 탭(Double Tab)이 수행된 후 드래그(Drag)가 수행되는 모습을 나타낸 도면이다.
도 15는 도 14에서 수행된 결과로서, 이벤트 검색 영역(116)이 이동하는 모습을 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 설정 아이콘(119)이 선택되는 모습은 나타낸 도면이다.
도 17은 도 16에서 수행된 결과로서, 설정 창(1191)이 화면부(11)에 표시되는 모습을 나타낸 도면이다.
도 18은 본 발명의 다른 실시예에 따른 화면부(11)에 탭(Tab)이 1 회 수행되는 모습을 나타낸 도면이다.
도 19는 본 발명의 다른 실시예에 따른 화면부(11)에 탭(Tab)이 2 회 더 수행되는 모습을 나타낸 도면이다.
도 20은 본 발명의 다른 실시예에 따른 화면부(11)에 탭(Tab)이 1 회 더 수행되는 모습을 나타낸 도면이다.
도 21은 본 발명의 일 실시예에 따른 검색 버튼(117)에 탭(Tab)이 수행되는 모습을 나타낸 도면이다.
도 22는 도 21에서 수행된 결과로서, 검색 결과가 출력된 모습을 나타낸 도면이다.
도 23은 본 발명의 일 실시예에 따른 카메라(2)의 상세한 구성을 나타낸 블록도이다.
도 24는 본 발명의 일 실시예에 따른 제어부(14)의 상세한 구성을 나타낸 블록도이다.
도 25는 본 발명의 일 실시예에 따른 이벤트 발생 판단부(22)의 상세한 구성을 나타낸 블록도이다.
도 26은 본 발명의 일 실시예에 따른 카메라(2)가 획득한 영상(112)에서 이벤트가 발생하는 모습을 나타낸 도면이다.
도 27은 도 26에서의 모션 이벤트를 발생시키는 객체(4)를 식별하는 모습을 나타낸 도면이다.
도 28은 모션 이벤트가 발생하는 경우 생성되는 본 발명의 일 실시예에 따른 메타데이터(5)의 예시도이다.
도 29는 본 발명의 일 실시예에 따른 서치 맵(6) 상에서, 도 27에서의 모션 이벤트가 발생한 지점과 대응되는 지점에 타임스탬프(61) 및 플래그(62)가 설정되는 모습을 나타낸 개념도이다.
도 30은 도 26에서의 이벤트가 시간의 흐름에 따라 진행된 모습을 나타낸 도면이다.
도 31은 본 발명의 일 실시예에 따른 서치 맵(6) 상에서, 도 26에서의 모션 이벤트가 변화한 지점과 대응되는 지점에 타임스탬프(61) 및 제1 플래그(62a)가 설정되는 모습을 나타낸 개념도이다.
도 32은 본 발명의 일 실시예에 따른 서치 맵(6) 상에서, 도 30에서의 소리 이벤트가 변화한 지점과 대응되는 지점에 타임스탬프(61) 및 제2 플래그(62b)가 설정되는 모습을 나타낸 개념도이다.
도 33은 도 31 및 도 32에서 타임스탬프(61), 제1 플래그(62a) 및 제2 플래그(62b)가 하나의 서치 맵(6) 상에서 설정된 모습을 나타낸 개념도이다.
도 34는 영상 상에서 검색하고자 하는 위치에 본 발명의 일 실시예에 따른 이벤트 검색 영역이 설정되는 모습을 나타낸 도면이다.
도 35는 본 발명의 일 실시예에 따른 서치 맵(5) 상에서, 도 34의 이벤트 검색 영역과 대응되는 영역이 지정되는 모습을 나타낸 개념도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 이벤트 검색 시스템의 구성을 나타낸 블록도이고, 도 2는 도 1의 이벤트 검색 장치(1)의 사시도이다.
본 발명의 일 실시예에 따른 이벤트 검색 시스템을 이용하는 방법에 따르면, 이벤트 검색 장치(1)의 화면부(11)에 이벤트 검색 영역(116)이 표시된다. 그리고 사용자는 이벤트 검색 영역(116)을 통해 과거에 이미 촬영하여 저장된 영상(112)으로부터, 특정 위치에서 발생한 이벤트 등을 검색하기 위해 위치 조건을 용이하게 지정할 수 있다. 이 때, 이벤트의 발생이 기록된 영상(112)들을 직접 검색할 필요 없이, 미리 생성된 메타 데이터를 이용하여, 이벤트 검색 장치(1)는 이벤트가 발생한 메타 데이터만을 검색하여 빠르게 검색 결과를 출력할 수 있다.
본 발명의 일 실시예에 따른 이벤트 검색 시스템은, 특정 영역을 촬영하여 영상(112)을 획득하는 카메라(2), 이벤트의 발생을 감지하면 신호를 송신하는 센서(3), 카메라(2)가 획득한 영상(112)을 전송받아 디스플레이 하고, 센서(3)로부터 송신된 신호를 수신하는 이벤트 검색 장치(1)를 포함한다. 카메라(2) 또는 센서(3)와 이벤트 검색 장치(1)는 서로 유선 또는 무선으로 연결되어, 영상 데이터 또는 신호를 송수신할 수 있다.
카메라(2)는 특정 영역을 촬영하여 영상(112)을 획득한다. 본 발명의 일 실시예에 따른 카메라(2)는 패닝(Panning), 틸팅(Tilting)이 가능한 팬틸트 카메라인 것이 바람직하다. 또는, 카메라(2)는 최근에 소개된 360°카메라일 수도 있다. 360°카메라란, 카메라(2) 자체가 물리적인 패닝 또는 틸팅이 되지 않고, 어안 렌즈를 복수로 장착하여 전방위가 동시에 촬영이 가능한 카메라(2)를 말한다. 이러한 경우에는, 360°카메라가 획득한 영상(112)은, 이벤트 검색 장치(1) 내에 설치된 소프트웨어를 통해 패닝 또는 틸팅된다. 본 발명의 일 실시예에 따른 카메라(2)는 이에 제한되지 않고, 다양한 카메라를 사용할 수 있다.
본 발명의 일 실시예에 따른 카메라(2)는 매초 15~30프레임의 2차원 화상을 촬영하여 디지털 변환함으로써 동영상 데이터를 출력하는 디지털카메라인 것이 바람직하나, 이에 제한되지 않는다. 카메라(2)가 디지털카메라가 아니라면 촬영한 영상은 RGB 아날로그 영상 신호이므로 A/D컨버터가 별도로 구비되어야 하나, 카메라(2)가 디지털카메라라면 A/D컨버터가 필요하지 않다. 또한 카메라(2) 자체에서 영상을 인코딩하는 기능이 탑재되어 있으므로, 카메라(2)가 영상을 촬영하면 곧바로 인코딩되어 압축 영상 데이터가 생성된다.
카메라(2)로부터 촬영된 영상(112)은 유선 또는 무선 통신을 통해 이벤트 검색 장치(1)로 전송되어, 이벤트 검색 장치(1)에 내장된 화면부(11)를 통해 디스플레이 된다. 그러나 만약, 카메라(2)가 이벤트 검색 장치(1)에 장착되는 구조라면, 카메라(2)로부터 촬영된 영상(112)은 무선 통신이 아닌 내부 회로를 통해 화면부(11)로 전송되어 디스플레이 될 수도 있다.
센서(3)는 이벤트를 감지할 수 있다. 예를 들면, 화재 발생을 감지하는 화재 감지 센서(3), 연기 발생을 감지하는 연기 감지 센서(3), 사람 또는 동물의 출몰을 감지하는 열 감지 또는 모션 감지 센서(3) 등이 있다. 나아가, 최근에는 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 IoT(Internet of Things, 사물인터넷) 망이 발전하고 있다. 본 발명의 일 실시예에 따른 센서(3)는 이러한 IoT 기술을 구현하기 위해서 IoT 전용 모듈에 내장된 센서(3)일 수도 있다. 즉, 센서(3)는 제한되지 않고, 어떠한 종류의 이벤트가 발생하더라도 이를 감지할 수 있다면, 다양한 종류의 센서(3)가 사용될 수 있다.
본 발명의 일 실시예에 따른 이벤트 검색 장치(1)는 센서(3)가 존재하지 않더라도 이벤트의 발생을 감지할 수 있다. 즉, 센서(3)가 없더라도, 카메라(2)가 특정 영역을 촬영하는 도중에 이벤트가 발생한다면, 카메라(2)가 획득한 영상(112) 자체를 통해 상기 이벤트의 발생을 감지하고 분석한다. 상기 영상(112) 자체를 통해 이벤트의 발생을 감지하는 방법에 대한 내용은 하기 기술한다.
이벤트 검색 장치(1)는 카메라(2)가 획득한 영상(112)을 전송받아 디스플레이 하고, 사용자의 입력을 받아 이벤트를 검색한다. 이벤트 검색 장치(1)는 스마트폰(Smartphone), 태블릿 PC(Tablet PC), 랩탑(Laptop) 등 휴대 및 이동이 용이한 장치일 수도 있으나, 이에 제한되지 않고 데스크탑(Desktop), 비디오 월(Video Wall) 등 이동이 용이하지 않은 장치일 수도 있다.
도 1에 도시된 바와 같이, 이벤트 검색 장치(1)는 본체(10), 영상(112)을 디스플레이 하는 화면부(11), 카메라(2) 및 센서(3)로부터 영상 데이터 및 신호를 전송받는 제1 통신부(12), 상기 영상(112)을 저장하는 저장부(13), 타 구성요소들을 제어하는 제어부(14)를 포함한다.
화면부(11)는 카메라(2)로부터 획득된 영상(112)을 디스플레이 한다. 상기 영상(112)은, 카메라(2)가 실시간으로 촬영하여 획득한 실시간 영상(112)일 수도 있고, 이미 과거에 촬영하여 저장부(13)에 저장된 후 로딩되어 디스플레이 되는 영상(112)일 수도 있다. 그리고 화면부(11)는, 저장된 영상(112) 또는 이벤트의 검색을 용이하게 할 수 있도록, 이벤트 검색 영역(116)을 표시한다. 이벤트 검색 장치(1)가 터치 기능을 제공한다면, 화면부(11)는 터치 센서(111)를 포함할 수 있다. 이 경우에는 사용자가 화면부(11)를 통해 직접 터치 신호를 입력할 수 있다. 터치 센서(111)는 화면부(11)와 함께 일체로 장착될 수 있으며, 화면부(11)에서 발생되는 터치를 감지하여 터치가 발생된 영역의 좌표, 터치의 횟수 및 세기 등을 검출하고, 상기 검출된 결과를 제어부(14)에 전달한다. 터치 센서(111)가 터치를 감지하는 방식에 따라, 정전 용량 방식, 전기저항막 방식, 초음파 방식, 적외선 방식 등 다양한 방식이 사용될 수 있다. 이벤트 검색 장치(1)가 터치 기능을 제공하더라도, 화면부(11)가 터치 센서(111)를 포함하지 않는다면 별도의 터치 패드가 입력부로써 마련될 수도 있다. 그리고 터치는 손가락을 이용하여 수행될 수도 있으나, 이에 제한되지 않고, 미세 전류가 흐를 수 있는 팁이 장착된 스타일러스 펜 등을 이용하여 수행될 수도 있다. 만약, 이벤트 검색 장치(1)가 터치 기능을 제공하지 않는다면, 마우스 등 사용자의 명령을 입력할 수 있는 입력부가 별도로 마련될 수 있다.
제1 통신부(12)는 카메라(2) 및 센서(3)와 유무선으로 신호 및 데이터를 송수신한다. 예를 들어, 상기 제1 통신부(12)는 상기 제어부(14)로부터의 신호 및 데이터를 변조 및 주파수 업컨버팅하여 송신하거나, 카메라(2) 및 센서(3)로부터 수신되는 신호 및 데이터를 주파수 다운컨버팅 및 복조하여 제어부(14)로 제공한다. 이러한 과정으로, 제1 통신부(12)는 카메라(2)로부터 영상(112)데이터를 전송받거나 센서(3)의 신호를 수신할 수 있고, 제어부(14)로부터 생성된 데이터 또는 신호를 카메라(2) 또는 센서(3)로 송신할 수도 있다.
저장부(13)는 이벤트 검색 장치(1)의 동작들을 처리 및 제어하기 위한 프로그램과 각 프로그램 수행 중에 발생되는 각종 데이터, 그리고 카메라(2)를 통해 전송된 영상 데이터를 저장한다. 저장부(13)는 이벤트 검색 장치(1)에 내장될 수도 있으나, 네트워크 카메라(2) 시스템의 경우에는 NVR(Network Video Recorder) 등과 같이 별도의 장치가 마련될 수도 있다.
제어부(14)는 이벤트 검색 장치(1)의 전반적인 동작을 제어한다. 예를 들어, 제어부(14)는 제1 통신부(12)와 카메라(2)의 신호 및 데이터 통신을 위한 처리 및 제어를 수행하고, 제1 통신부(12)를 통해 영상(112)이 전송되면 디코딩 및 렌더링 등 영상(112) 처리를 수행한다. 또한, 화면부(11)가 이벤트 검색 영역(116)을 표시하도록 제어하며, 이벤트 검색 영역(116)이 설정되면, 이벤트 검색 영역(116) 내에서 특정 시간 동안 발생한 이벤트들을 검색한다. 그리고 저장부(13)에 영상(112)을 저장시키고, 저장된 영상(112)을 로딩하도록 제어한다. 본 발명의 일 실시예에 따른 제어부(14)로는 CPU(Central Processing Unit), MCU(Micro Controller Unit) 또는 DSP(Digital Signal Processor) 등을 사용하는 것이 바람직하나, 이에 제한되지 않고 다양한 논리 연산 프로세서가 사용될 수 있다.
제어부(14)는 제스처 검출부(141), 좌표 변환부(142)를 포함한다. 제스처 검출부(141)는 터치 센서(111)로부터 터치 제스처를 검출한다. 터치 제스처는, 터치 센서(111)로부터 발생한 모든 터치 동작들을 포함한다. 만약, 이벤트 검색 장치(1)가 터치 기능을 제공하지 않는다면, 마우스 등의 입력부를 통해 입력한 사용자 명령을 검출한다. 제스처 검출부(141)는 터치 센서(111)를 관리하며, 사용자가 어플리케이션에서 터치 제스처의 사용을 용이하게 하는 응용 프로그램 인터페이스(Application Program Interface, API)를 포함한다. API는 응용 프로그램에서 사용할 수 있도록 운영 체제나 프로그래밍 언어가 제공하는 기능을 제어하는 인터페이스를 말한다. 제스처 검출부(141)는 API를 통해, 카메라(2) 제어 어플리케이션을 실행하기 위한 사용자 명령을 입력 받고, 활성화된 어플리케이션의 제어를 위한 사용자 명령을 입력 받는다.
좌표 변환부(142)는 제스처 검출부(141)로부터 사용자 명령이 입력된 좌표를 전달받고, 이를 기초로 이벤트 검색 영역(116)의 위치 변화 값을 생성한다. 사용자가 위치 조건을 지정하기 위해 이벤트 검색 영역(116)의 하나의 조인트(1161)에 터치(Touch)를 수행한다면, 조인트(1161)에 대한 좌표가 추출된다. 그리고 사용자가 조인트(1161)에 드래그(Drag)를 수행하면, 드래그 경로 상의 좌표를 일정 주기 또는 간격마다 추출한다. 좌표 변환부(142)는 상기 추출한 좌표들을 통해 드래그가 수행되는 방향 및 거리를 파악할 수 있으며, 이를 조인트(1161)의 위치가 변화되어야 할 값으로 변환한다. 상기 값을 이용하여 조인트(1161)의 위치를 변화시켜, 화면부(11)를 통해 디스플레이 함으로써, 사용자의 명령대로 위치 조건이 지정될 수 있다.
도 3은 본 발명의 일 실시예에 따른 이벤트 검색 장치(1)의 화면부(11)에 스타팅 아이콘(113)이 표시된 모습을 나타낸 도면이다.
본 발명의 일 실시예에 따른 이벤트 검색 장치(1)를 실행하면, 우선 라이브 뷰가 화면부(11)를 통해 디스플레이 되고, 이와 동시에 스타팅 아이콘(113)이 표시된다. 스타팅 아이콘(113)은 화면부(11)의 일측 모서리에 표시된다. 그리고 라이브 뷰 등의 영상(112)에 대한 사용자의 모니터링을 방해하지 않도록, 스타팅 아이콘(113)의 크기가 매우 작은 것이 바람직하다. 스타팅 아이콘(113)의 모양은 도 3에 도시된 바와 같이 삼각형일 수 있으나, 이에 제한되지 않고 반원, 사각형 등 다양한 모양을 가질 수 있다.
도 4는 도 3에 표시된 스타팅 아이콘(113)에 탭(Tab)을 수행하는 모습을 나타낸 도면이고, 도 5는 도 4에서 수행된 결과로서, 화면부(11)에 메뉴 휠 아이콘(114)이 표시된 모습을 나타낸 도면이다.
탭(Tab)이란 터치 제스처 중 하나로서, 화면부(11)에 짧게 터치를 한 후 즉시 터치를 해제하는 것을 말한다. 일반적으로 터치가 유지되는 시간은 1초 미만이다. 그리고 짧은 시간 내에 연속적으로 탭을 여러 번 수행할 때 마다, 두 번 수행하면 더블 탭(Double Tab), 세 번 수행하면 트리플 탭(Triple Tab)이라 한다.
사용자가 스타팅 아이콘(113)에 탭을 수행하면, 스타팅 아이콘(113)이 표시되던 위치에 메뉴 휠 아이콘(114)이 표시된다. 따라서, 메뉴 휠 아이콘(114)도 스타팅 아이콘(113)과 같이, 이벤트 검색 장치(1)의 화면부(11)의 일측 모서리에 표시되는 것이 바람직하다. 그리고, 메뉴 휠 아이콘(114)이 표시되면서, 스타팅 아이콘(113)이 사라질 수 있다. 만약, 사용자가 이벤트 검색 장치(1)에 마우스를 통해 명령을 입력할 수 있다면, 상기 스타팅 아이콘(113)을 클릭(Click)하면 메뉴 휠 아이콘(114)이 표시될 수 있다.
메뉴 휠 아이콘(114)은 영상(112)이 디스플레이 될 때 사용자의 모니터링을 방해하지 않도록, 점과 선으로 형성되는 것이 바람직하다. 메뉴 휠 아이콘(114)의 모양은 도 5에 도시된 바와 같이 반원일 수 있으나, 이에 제한되지 않고 삼각형, 사각형 등 다양한 모양을 가질 수 있다.
메뉴 휠 아이콘(114)에는 다양한 메뉴가 표시되어 사용자가 이를 선택할 수 있다. 예를 들어, 메뉴의 종류에는 라이브 뷰(Live View), 이벤트(Event), 플레이백(Play Back), 설정(Setting) 등이 있다. 그리고 각각의 메뉴는 도 5에 도시된 바와 같이, 사용자가 선택할 수 있도록 선택 영역을 형성하는 점과, 해당 메뉴의 이름을 나타내는 문구로 구성된다. 사용자가 메뉴 휠 아이콘(114)의 메뉴에 대하여 탭(Tab) 또는 클릭(Click)을 수행하면 메뉴가 선택된다. 그리고 사용자가 메뉴 휠 아이콘(114)을 상방 또는 하방으로 드래그(Drag)를 수행하면, 메뉴 휠 아이콘(114)은 드래그가 수행된 방향에 따라 회전하며 각각의 메뉴들의 위치가 변한다.
라이브 뷰(Live View)는 현재 카메라(2)가 촬영하고 있는 영역이 실시간으로 이벤트 검색 장치(1)에 디스플레이 되는 영상(112)을 말한다. 플레이백(Play Back)은 이미 촬영이 완료되어 저장부(13)에 저장된 후, 이벤트 검색 장치(1)에서 로딩되어 디스플레이 되는 영상(112)을 말한다. 이벤트(Event)는 특정 사건이 발생한 경우에, 이를 기록한 데이터를 말한다. 예를 들어, 아무도 없는 집에서 특정 움직임이 포착된 경우, 자동으로 상기 움직임이 포착된 위치 및 시간을 기록하여 데이터화 한다. 설정(Setting)은 사용자가 원하는 각종 옵션을 변경할 수 있는 것을 말한다. 메뉴 휠 아이콘(114)에 표시되는 메뉴는 이에 제한되지 않고, 다양한 종류의 메뉴가 존재할 수 있다.
도 6은 도 5에 표시된 메뉴 휠 아이콘(114) 중에서 이벤트(Event) 메뉴에 탭(Tab)을 수행하는 모습을 나타낸 도면이고, 도 7은 도 6에서 수행된 결과로서, 화면부(11)에 셀렉트 아이콘(115)이 표시된 모습을 나타낸 도면이다.
도 6에 도시된 바와 같이, 사용자가 메뉴 휠 아이콘(114)에 표시되어 있는 다양한 메뉴 중에, 이벤트(Event) 메뉴에 탭(Tab) 또는 클릭(Click)을 수행한다. 그러면, 도 7에 도시된 바와 같이, 화면부(11)에 이벤트를 검색하는 방법을 선택하기 위한 셀렉트 아이콘(115)이 표시된다.
셀렉트 아이콘(115)으로, 시간 조건을 지정하여 이벤트를 검색하는 데이트 이벤트(Date Event), 위치 조건을 지정하되 이벤트 발생 후에 특정 위치를 설정하는 에어리어 이벤트(Area Event), 위치 조건을 지정하되 이벤트 발생 전에 미리 특정 위치를 설정하는 스팟 이벤트(Spot Event) 가운데 하나를 선택할 수 있다. 다만, 이에 제한되지 않고 본 발명의 실시예들에 따른 이벤트 검색 장치(1)가 다른 방법으로 이벤트를 검색할 수 있는 기능을 제공한다면, 셀렉트 아이콘(115)이 추가로 화면부(11)에 표시될 수 있다. 본 명세서에서는, 사용자가 에어리어 이벤트(Area Event) 아이콘(115b)을 선택한 것을 설명한다.
도 8은 본 발명의 일 실시예에 따른 이벤트 검색 영역(116)의 설정을 시작하기 위한 안내 창(112a)이 표시되는 모습을 나타낸 도면이다.
사용자가 도 7에 표시된 셀렉트 아이콘(115) 중에서 에어리어 이벤트(Area Event) 아이콘(115b)을 선택하면, 도 8에 도시된 바와 같이 화면부(11)에 이벤트 검색 영역(116)의 설정을 시작하기 위한 안내 창(112a)이 표시된다. 상기 안내 창(112a)은, 사용자에게 이벤트 검색 영역(116)을 설정하는 방법을 간단히 가이드 한다. 상기 안내 창(112a)의 좌측 하단에는 체크박스와 함께 '다시 보지 않기'가 기재되어 있다. 사용자는 상기 안내 창(112a)을 더 이상 보기를 원하지 않을 수도 있다. 이 때, 사용자가 상기 체크박스를 선택한다면, 사용자가 추후에 다시 에어리어 이벤트(Area Event) 아이콘(115b)을 선택하더라도, 상기 안내 창(112a)이 화면부(11)에 표시되지 않을 수 있다.
한편, 상기 안내 창(112a)의 우측 하단에는 확인 버튼(112b)이 형성되어 있다. 사용자가 확인 버튼(112b)에 단순히 탭(Tab) 또는 클릭(Click)을 수행하면, 안내 창(112a)이 사라지고 화면부(11)에는 메인 영상(112)이 디스플레이 된다. 메인 영상(112)은, 카메라(2)가 실시간으로 촬영하여 획득한 라이브 뷰(Live View)인 것이 바람직하다. 그러나, 이에 제한되지 않고, 이미 과거에 촬영된 후 로딩되어 디스플레이 되는 영상(112)일 수도 있다.
도 9는 본 발명의 일 실시예에 따른 이벤트 검색 영역(116)이 화면부(11)에 표시된 모습을 나타낸 도면이다.
안내 창(112a)이 사라진 후, 화면부(11)에는 도 9에 도시된 바와 같이, 메인 영상(112) 상에서 이벤트 검색 영역(116)도 표시된다. 이벤트 검색 영역(116)은, 도 9에 도시된 바와 같이 복수의 조인트(1161)들이 서로 직선으로 연결되어 하나의 단일폐곡선을 이룸으로써 형성된다. 그 결과, 이벤트 검색 영역(116)은 다각형의 모양을 가지며, 다각형의 모양의 꼭지점에 복수의 조인트(1161)들이 위치하게 된다. 특히, 상기 다각형은 사각형인 것이 바람직하나, 이에 제한되지 않고 다양하게 형성될 수 있다. 그리고, 조인트(1161)의 개수는 6개일 수 있으나, 이는 사용자가 임의로 변경할 수 있다.
카메라(2)가 특정 영역을 촬영하여 영상(112)을 획득하면, 이벤트 발생 판단부(22)는 상기 획득한 영상(112)을 이용하여 이벤트의 발생을 검출한다. 그리고 이벤트가 발생하였다면, 메타데이터 생성부(23)는 이벤트가 발생한 시간 및 위치 등의 정보가 포함된 메타데이터(5)를 생성한다. 추후에 사용자가 이벤트를 검색하기 위한 검색 조건을 지정하면, 데이터 검색부(146)가 상기 메타데이터(5)들을 이용하여 상기 검색 조건을 충족하는 검색 결과를 도출해 낸다. 이 때, 이벤트 검색 영역(116)은 사용자가 검색 조건 가운데 위치 조건을 지정하기 위해 사용된다. 이에 대한 자세한 내용은 후술한다.
이벤트 검색 영역(116)은 메인 영상(112) 상에서, 이벤트 발생 판단부(22)가 이벤트의 발생을 판단한 위치와 대응되는 지점에 표시되는 것이 바람직하다. 만약, 이벤트의 발생을 판단한 위치가 복수라면, 상기 이벤트 검색 영역(116)도 복수가 되어, 이벤트 발생 위치에 대응되는 메인 영상(112) 상에서의 지점에 각각 표시될 수 있다. 또는, 가장 최근에 이벤트 발생을 판단한 위치에 대응되는 메인 영상(112) 상에서의 지점에 표시될 수도 있으며, 또는 임의의 위치에 표시될 수도 있다. 즉, 본 발명의 일 실시예에 따른 이벤트 검색 영역(116)은 제한되지 않고 메인 영상(112) 상에서 다양한 지점에 표시될 수 있다.
도 10은 본 발명의 일 실시예에 따른 이벤트 검색 영역(116)의 하나의 조인트(1161)에 드래그(Drag)가 수행되는 모습을 나타낸 도면이고, 도 11은 도 10에서 수행된 결과로서, 이벤트 검색 영역(116)의 모양이 변형되는 모습을 나타낸 도면이다.
드래그(Drag)란, 터치 제스처 중 하나로서, 화면 상에서 특정 오브젝트를 이동시키기 위해, 일 지점으로부터 타 지점까지 상기 특정 오브젝트를 끌어오는 것을 말한다.
사용자는 드래그(Drag)를 수행하기 위해, 이벤트 검색 영역(116)의 하나의 조인트(1161)를 터치 앤 홀드(Touch And Hold)한다. 여기서 홀드(Hold)는, 드래그(Drag)를 수행하기 전에 소정의 시간 이상 터치를 유지한다는 것을 의미한다. 상기 소정의 시간은 대략, 0.5초 내지 1초인 것이 바람직하나, 이에 제한되지 않는다. 그리고 도 10에 도시된 바와 같이, 하나의 조인트(1161)를 일 지점으로부터 타 지점까지 끌어온다. 그러면 도 11에 도시된 바와 같이 하나의 조인트(1161)가 손가락 등의 드래그에 따라 일 지점으로부터 타 지점으로 이동하게 된다. 그리고, 상기 하나의 조인트(1161)와, 그에 이웃하는 다른 조인트(1161)들을 연결하는 직선 또한, 조인트(1161) 간의 연결이 유지되도록 길이와 형성 방향이 변화한다. 그 결과, 도 11에 도시된 바와 같이 이벤트 검색 영역(116)의 모양이 변화하게 된다. 이 때, 상기 하나의 조인트(1161)를 끌기 위해서, 사용자는 터치를 계속 유지하여야 한다. 원하는 지점에 도착한 후에는, 상기 유지하던 터치(Touch)를 해제한다. 터치를 해제하면, 드래그되던 조인트(1161)는 터치가 해제된 지점에 고정된다.
만약, 사용자가 이벤트 검색 장치(1)에 마우스를 통해 명령을 입력할 수 있다면, 상기 하나의 조인트(1161)를 마우스로 드래그(Drag)하면 조인트(1161)가 일 지점으로부터 타 지점으로 이동할 수 있다.
도 12는 본 발명의 일 실시예에 따른 이벤트 검색 영역(116)에 드래그(Drag)가 수행되는 모습을 나타낸 도면이고, 도 13은 도 12에서 수행된 결과로서, 이벤트 검색 영역(116)의 사이즈가 확대되는 모습을 나타낸 도면이다.
사용자는 드래그(Drag)를 수행하기 위해, 이벤트 검색 영역(116)의 대략 중심을 터치 앤 홀드(Touch And Hold)한다. 그리고 도 12에 도시된 바와 같이, 이벤트 검색 영역(116)을 일 지점으로부터 타 지점까지 끌어온다. 그러면 도 13에 도시된 바와 같이 이벤트 검색 영역(116)의 사이즈가 변경된다. 만약, 드래그를 수행하는 방향이 이벤트 검색 영역(116)의 외부를 향하게 되면, 이벤트 검색 영역(116)의 사이즈는 확대되고, 드래그를 수행하는 방향이 이벤트 검색 영역(116)의 내부를 향하게 되면, 이벤트 검색 영역(116)의 사이즈는 축소된다. 이 때, 이벤트 검색 영역(116)의 사이즈를 변경하기 위해서, 사용자는 터치를 계속 유지하여야 한다. 원하는 사이즈로 변경된 후에는, 상기 유지하던 터치(Touch)를 해제한다. 터치를 해제하면, 변경되던 이벤트 검색 영역(116)의 사이즈는 특정 사이즈로 고정된다.
만약, 사용자가 이벤트 검색 장치(1)에 마우스를 통해 명령을 입력할 수 있다면, 이벤트 검색 영역(116)의 대략 중심을 마우스로 드래그(Drag)하면 이벤트 검색 영역(116)의 사이즈가 변경될 수 있다.
또한, 도면에 도시되지는 않았으나, 사용자는 핀치 인(Pinch In)을 수행하여 이벤트 검색 영역(116)을 확대할 수도 있다. 여기서 핀치(Pinch)란, 터치 제스처 중 하나로서, 화면부(11)에 두 손가락의 터치를 유지한 상태에서, 서로 대향하는 방향으로 슬라이딩을 하는 것을 말한다. 일반적으로 핀치는 화면부(11)에 디스플레이 되는 화면의 배율을 조정하기 위해 사용한다. 만약 두 손가락의 거리가 가까워지는 방향으로 슬라이딩된다면, 핀치 인(Pinch In) 또는 핀치 클로즈(Pinch Close)라 하고, 이 때에는 영상(112)이 축소되는 것이 바람직하다. 반대로 두 손가락의 거리가 멀어지는 방향으로 슬라이딩된다면, 핀치 아웃(Pinch Out) 또는 핀치 오픈(Pinch Open)이라 하고, 이 때에는 영상(112)이 확대되는 것이 바람직하다.
사용자가 이벤트 검색 영역(116)에 두 손가락으로 터치를 수행한 후, 핀치 인(Pinch In)을 수행한다면, 이벤트 검색 영역(116)의 사이즈가 축소된다. 반면에, 이벤트 검색 영역(116)에 두 손가락으로 터치를 수행한 후, 핀치 아웃(Pinch Out)을 수행한다면, 이벤트 검색 영역(116)의 사이즈가 확대된다.
도 14는 본 발명의 일 실시예에 따른 이벤트 검색 영역(116)에 더블 탭(Double Tab)이 수행된 후 드래그(Drag)가 수행되는 모습을 나타낸 도면이고, 도 15는 도 14에서 수행된 결과로서, 이벤트 검색 영역(116)이 이동하는 모습을 나타낸 도면이다.
사용자는 드래그(Drag)를 수행하기 위해, 이벤트 검색 영역(116)의 대략 중심을 더블 터치 앤 홀드(Double Touch And Hold)한다. 여기서 더블 터치 앤 홀드(Double Touch And Hold)란, 화면부(11)에 짧은 시간 내에 두 번 연속으로 터치를 수행하나, 첫 번째 터치는 화면부(11)에 짧게 터치를 한 후 즉시 터치를 해제하는 탭(Tab)을 수행하고, 두 번째 터치는 소정의 시간 이상 터치를 유지하는 홀드(Hold)를 수행하는 것을 말한다. 그리고 도 14에 도시된 바와 같이, 이벤트 검색 영역(116)을 일 지점으로부터 타 지점까지 끌어온다. 그러면 도 15에 도시된 바와 같이 이벤트 검색 영역(116)이 손가락 등의 드래그에 따라 일 지점으로부터 타 지점으로 이동하게 된다. 이 때, 이벤트 검색 영역(116)을 끌기 위해서, 사용자는 터치를 계속 유지하여야 한다. 원하는 지점에 도착한 후에는, 상기 유지하던 터치(Touch)를 해제한다. 터치를 해제하면, 드래그되던 이벤트 검색 영역(116)은 터치가 해제된 지점에 고정된다.
만약, 사용자가 이벤트 검색 장치(1)에 마우스를 통해 명령을 입력할 수 있다면, 이벤트 검색 영역(116)의 대략 중심을 마우스로 더블 클릭(Double Click)을 하고 드래그(Drag)하면 이벤트 검색 영역(116)이 일 지점으로부터 타 지점으로 이동할 수 있다.
도 16은 본 발명의 일 실시예에 따른 설정 아이콘(119)이 선택되는 모습은 나타낸 도면이고, 도 17은 도 16에서 수행된 결과로서, 설정 창(1191)이 화면부(11)에 표시되는 모습을 나타낸 도면이다.
사용자가 도 16에 도시된 바와 같이 설정 아이콘(119)에 탭(Tab)을 수행하면, 도 17에 도시된 바와 같이 화면부(11)에 설정 창(1191)이 표시된다. 설정 창(1191)은 이벤트 검색 영역(116)에 대한 각종 설정을 변경할 수 있다.
설정 창(1191)에서는 초기에 표시되는 이벤트 검색 영역(116)의 개수, 이벤트 검색 영역(116)의 조인트(1161)의 개수, 이벤트 검색 영역(116)의 색상 및 투명도 등을 설정할 수 있다. 이벤트 검색 영역(116)은 상기 기술한 바와 같이, 메인 영상(112) 상에서, 이벤트 발생 판단부가 이벤트의 발생을 판단한 위치에 대응되는 지점에 표시되는 것이 바람직하다. 만약, 이벤트의 발생을 검출한 위치가 복수라면, 상기 이벤트 검색 영역(116)도 복수가 되어, 상기 이벤트 발생 위치에 대응되는 메인 영상(112) 상에서의 지점에 각각 표시될 수 있다. 그러나, 이벤트의 발생을 검출한 위치가 복수라도, 사용자는 하나의 위치에 대하여만 이벤트의 발생을 검색하고자 할 경우가 있다. 이 때, 사용자는 설정 창(1191)을 통해 이벤트 검색 영역(116)의 개수를 한 개로 제한할 수 있다. 또는, 이벤트의 발생을 검출한 위치가 하나라도, 사용자는 복수의 위치에 대하여 이벤트의 발생을 검색하고자 할 경우가 있다. 이 때, 사용자는 설정 창(1191)을 통해 이벤트 검색 영역(116)의 개수를 복수 개로 변경할 수도 있다.
검색하고자 하는 위치가 더욱 세밀한 모양이 되어야 하는 경우도 발생한다. 이 때, 이벤트 검색 영역(116)이 가지는 꼭지점의 개수가 많을수록, 이벤트 검색 영역(116)의 모양이 더욱 다양하고 세밀할 수 있다. 한편, 이벤트 검색 영역(116)은, 복수의 조인트(1161)들이 서로 직선으로 연결되어 형성되므로, 조인트(1161)는 이벤트 검색 영역(116)의 꼭지점, 직선은 이벤트 검색 영역(116)의 모서리에 해당한다. 따라서, 사용자는 이벤트 검색 영역(116)의 모양을 더욱 다양하게 변경할 수 있도록 이벤트 검색 영역(116)의 조인트(1161)의 개수를 변경할 수도 있다. 이 때, 이벤트 검색 영역(116)이 넓이를 가지는 영역이기 위해서는, 조인트(1161)의 개수는 적어도 3개는 존재해야 한다. 따라서 설정 창(1191)에서 변경할 수 있는 조인트(1161)의 최소 개수는 3개로 제한되는 것이 바람직하다. 다만, 이에 제한되지 않고, 조인트(1161)의 개수가 1개 또는 2개로 설정될 수도 있다. 이벤트 검색 영역(116)은, 조인트(1161)의 개수가 1개라면 점(Point), 2개라면 선(Line)으로 형성된다. 즉, 이벤트 검색 영역(116)은 더 이상 넓이를 가지는 영역이 아니며, 사용자는 점 또는 선으로 이벤트 검색의 위치 조건을 지정하게 된다.
색상은, 단순히 사용자에게 시각적인 심미감을 제공하기 위해, 사용자의 취향대로 변경될 수 있다. 그러나, 이벤트 검색 영역(116)을, 디스플레이 되는 영상(112)의 배경과 구별하기 위해 색상이 변경될 수도 있다. 예를 들어, 영상(112)이 전체적으로 어두운 배경일 때 이벤트 검색 영역(116)이 어두운 색이라면, 사용자가 이벤트 검색 영역(116)을 구별하는 것이 어렵다. 그러나, 이벤트 검색 영역(116)이 밝은 색으로 변경된다면, 사용자가 이벤트 검색 영역(116)을 용이하게 구별할 수 있다. 즉, 색상은 심미적인 기능뿐만 아니라, 이벤트 검색 영역(116)을 식별하는 기능도 수행한다.
또한, 이벤트 검색 영역(116)이 메인 영상(112) 위에 표시되어, 영상(112)에 대한 사용자의 모니터링을 방해하는 경우도 발생한다. 따라서, 사용자는 메인 영상(112)을 용이하게 모니터링 할 수 있도록, 이벤트 검색 영역(116)의 투명도를 조절할 수도 있다.
사용자가 이벤트 검색 영역(116)에 대한 각종 설정의 변경을 완료한 후, 저장 버튼을 탭(Tab)하면 변경된 설정이 저장되고 설정 창(1191)이 사라진다.
도 18은 본 발명의 다른 실시예에 따른 화면부(11)에 탭(Tab)이 1 회 수행되는 모습을 나타낸 도면이고, 도 19는 본 발명의 다른 실시예에 따른 화면부(11)에 탭(Tab)이 2 회 더 수행되는 모습을 나타낸 도면이다.
본 발명의 일 실시예에서는, 도 8에 도시된 안내 창(112a)이 사라진 후, 화면부(11)에는 도 9에 도시된 바와 같이, 이벤트 검색 영역(116)이 곧바로 표시된다. 그러나, 본 발명의 다른 실시예에서는, 도 8에 도시된 안내 창(112a)이 사라지더라도 화면부(11)에 이벤트 검색 영역(116)이 곧바로 표시되지 않는다. 그리고, 사용자가 메인 영상(112) 상에서 검색하고자 하는 위치를 직접 지정하여 이벤트 검색 영역(116)을 설정할 수 있다. 도 18에 도시된 바와 같이, 사용자가 화면부(11)에 탭(Tab)을 1 회 수행하면, 화면부(11)에 디스플레이 되는 메인 영상(112) 상에서, 사용자가 탭(Tab)을 수행한 지점에 제1 조인트(1161a)가 표시된다. 그리고 이어서 도 19에 도시된 바와 같이, 사용자가 화면부(11)에 탭(Tab)을 2 회 더 수행하면, 화면부(11)에 디스플레이 되는 메인 영상(112) 상에서, 사용자가 탭(Tab)을 더 수행한 지점에 각각 제2 및 제3 조인트(1161b, 1161c)가 표시된다.
상기 기술한 바와 같이, 이벤트 검색 영역(116)이 다각형의 모양을 가지기 위해, 조인트(1161)의 개수는 적어도 3개는 존재해야 한다. 따라서, 도 19에 도시된 바와 같이, 화면부(11)에 제1 내지 제3 조인트(1161a, 1161b, 1161c)가 표시되면, 제1 내지 제3 조인트(1161a, 1161b, 1161c)가 각각 직선으로 연결되면서 삼각형의 모양을 가지는 이벤트 검색 영역(116)이 표시된다.
도 20은 본 발명의 다른 실시예에 따른 화면부(11)에 탭(Tab)이 1 회 더 수행되는 모습을 나타낸 도면이다.
만약, 사용자가 더 이어서 화면부(11)에 탭(Tab)을 1 회 더 수행하게 된다면, 도 20에 도시된 바와 같이 화면부(11)에 메인 영상(112) 상에서, 사용자가 탭(Tab)을 더 수행한 지점에 제4 조인트(1161d)가 표시된다. 이 때, 제1 내지 제3 조인트(1161a, 1161b, 1161c)를 서로 연결하는 직선들 가운데, 하나의 직선이 사라진다. 여기서, 상기 제4 조인트(1161d)에 가장 근접하게 위치한 직선이 사라지는 것이 바람직하다. 그러면, 직선이 사라진 두 개의 조인트(1161)는 각각 제4 조인트(1161d)와 이웃하게 되고, 상기 직선이 사라진 두 개의 조인트(1161)와 제4 조인트(1161d)를 연결하는 직선이 각각 하나씩 형성된다. 따라서, 이벤트 검색 영역(116)은 사각형의 모양을 가지게 된다. 즉, 사용자가 화면부(11)에 탭(Tab)을 더 수행할 때마다, 이벤트 검색 영역(116)의 꼭지점의 개수가 증가하며, 이벤트 검색 영역(116)의 모양이 변화하게 된다.
도 21은 본 발명의 일 실시예에 따른 검색 버튼(117)에 탭(Tab)이 수행되는 모습을 나타낸 도면이고, 도 22는 도 21에서 수행된 결과로서, 검색 결과가 출력된 모습을 나타낸 도면이다.
사용자가 검색하고자 하는 위치에 대하여 이벤트 검색 영역(116)의 설정을 완료한 후, 도 21에 도시된 바와 같이 사용자는 검색 버튼(117)에 탭(Tab)을 수행한다. 그러면, 도 22에 도시된 바와 같이, 이벤트 검색 영역(116)에서 발생된 이벤트들이 검색되어 출력된다. 상기 검색된 영상(112)들을 각각 재생시키면, 사용자는 발생한 이벤트들을 확인할 수 있다.
검색 결과에는, 발생한 이벤트의 횟수, 발생한 이벤트의 종류 등이 나타난다. 예를 들어, 지정된 검색 조건을 충족하는, 전체 이벤트의 횟수는 43회이다. 그리고, 사용자가 검색 버튼(117)에 대하여 탭(Tab)을 수행하면, 도 22에 도시된 바와 같이, 상기 지정된 검색 조건을 충족하는 이벤트 들이 검색되어 출력된다. 만약, 이벤트가 발생한 경우에만 카메라(2)가 해당 영역에 대하여 촬영을 수행하였고, 이벤트가 종료된 경우 곧바로 촬영도 종료하였다면, 하나의 영상(112)에는 하나의 이벤트의 내용이 촬영되어 있을 것이다. 이러한 경우, 상기 검색된 영상(112)들의 개수는 43개가 된다. 그리고 상기 각각의 영상(112)들을 재생시키면, 사용자는 발생한 이벤트들을 확인할 수 있다.
지금까지, 사용자가 이벤트 검색을 하기 위하여, 위치 조건을 지정하는 방법에 대하여 기술하였다. 이러한 방법은 이벤트 검색 장치(1)의 UI(User Interface)를 통해 실시될 수 있다. 이하, 사용자가 상기의 방법을 통해 위치 조건을 지정하는 경우, 본 발명의 일 실시예에 따른 이벤트 검색 장치(1)가 이벤트를 검색하는 동작에 대하여 기술한다.
도 23은 본 발명의 일 실시예에 따른 카메라(2)의 상세한 구성을 나타낸 블록도이다.
카메라(2)는 이미지 신호를 수신하는 촬상부(21), 이벤트 검색 장치(1)로 영상(112) 및 데이터를 전송하는 제2 통신부(24), 이벤트의 발생 여부를 판단하는 이벤트 발생 판단부(22), 이벤트가 발생하면 상기 이벤트에 대한 정보를 이용하여 메타데이터(5)를 생성하는 메타데이터 생성부(23)를 포함한다.
촬상부(21)는 특정 영역에 대한 이미지 신호를 수신한다. 촬상부(21)에는 일반적으로 CCD(Charge Coupled Device, 전하결합소자)나 CMOS 이미지 센서 등의 촬상 소자가 포함된다. CCD는 복수의 포토다이오드(Photodiode)에 광이 조사되면 광전효과에 의해 발생한 전자들을 축적시킨 후 전송하는 방식이다. 이 때, 광자의 양에 따라 발생하는 전자량의 변화를 분석하고 정보를 재구성함으로써, 화면을 이루는 이미지 정보가 생성된다. CCD는 화질이 선명하고 노이즈가 적다는 장점이 있으나, 전력소비가 높고 처리속도가 느리다는 단점이 있다.
CMOS 이미지 센서는 CMOS(Complementary Metal Oxide Semiconductor)를 이용하는 이미지 센서로서, 각 셀마다 증폭기가 있어 광에 의해 발생한 전자를 곧바로 전기신호로 증폭시켜 전송하는 방식이다. CMOS 이미지 센서는 가격이 저렴하고 전력소비가 낮으며 처리속도가 빠르나, 노이즈가 많다는 단점이 있다.
이벤트 발생 판단부(22)는 이벤트의 발생 여부를 판단한다. 이벤트가 발생하면, 카메라(2)의 영상(112)을 자체적으로 분석하여 판단할 수도 있고, 별도의 센서(3)가 마련되어 센서(3)로부터 생성된 신호를 수신함으로써 판단할 수도 있다. 만약, 센서(3)를 통해 이벤트의 발생을 판단한다면, 센서(3)의 종류로는 사람 또는 동물의 움직임을 감지하는 모션 감지 센서, 주변의 소리를 감지하는 소리 감지 센서, 주변의 온도를 감지하는 온도 감지 센서, 가스 발생을 감지하는 가스 감지 센서 등이 있다. 센서(3)는 이에 제한되지 않고, 어떠한 종류의 이벤트가 발생하더라도 이를 감지할 수 있다면, 다양한 종류의 센서(3)가 사용될 수 있다.
그러나 만약, 카메라(2)의 영상(112)을 자체적으로 분석하여 이벤트의 발생을 판단한다면, 평상시의 영상(112)을 미리 확보한 후 영상(112)의 프레임 내에서 픽셀값의 변화를 통해 이벤트의 발생을 판단한다. 이러한 경우, 영상(112)을 통해 객체(4)의 움직임, 화재, 지진 등의 이벤트의 발생을 구체적이고 용이하게 판단할 수 있다. 이벤트 발생 판단부(22)가 이벤트의 발생을 판단하는 과정에 대한 자세한 설명은 후술한다.
메타데이터 생성부(23)는 이벤트가 발생하면 상기 이벤트에 대한 정보를 이용하여 메타데이터(5)를 생성한다. 메타데이터(5)란, 특정 데이터에 대한 설명을 기술하고 유형을 정리한 데이터이다. 본 발명의 일 실시예에 따른 메타데이터(5)에 대한 자세한 설명은 후술한다.
제2 통신부(24)는 이벤트 검색 장치(1)와 유무선으로 신호 및 데이터를 송수신한다. 예를 들어, 상기 제2 통신부(24)는 신호 및 데이터를 변조 및 주파수 업컨버팅하여 이벤트 검색 장치(1)로 송신하거나, 이벤트 검색 장치(1)로부터 수신되는 신호 및 데이터를 주파수 다운컨버팅 및 복조한다. 이러한 과정으로, 제2 통신부(24)는 이벤트 검색 장치(1)로부터 데이터를 전송받거나 신호를 수신할 수 있고, 영상 데이터, 메타데이터(5) 또는 신호를 이벤트 검색 장치(1)로 송신할 수도 있다.
도 24는 본 발명의 일 실시예에 따른 제어부(14)의 상세한 구성을 나타낸 블록도이다.
제어부(14)는 메타데이터(5)를 분석하는 메타데이터 분석부(143), 이벤트가 발생하면 영상(112)과 대응되도록 영상(112)을 매핑하여 서치 맵(6)을 생성하는 서치 맵 생성부(144), 상기 생성된 서치 맵(6)에 타임스탬프(61) 및 플래그(62)를 설정하는 타임스탬프 및 플래그 설정부(145), 사용자의 명령에 따라 데이터를 검색하는 데이터 검색부(146)를 포함한다.
메타데이터 분석부(143)는 상기 생성된 메타데이터(5)를 분석한다. 본 발명의 일 실시예에 따른 메타데이터(5)에는 식별된 객체(4), 이벤트의 발생 위치, 이벤트의 발생 시간 등에 대한 정보가 포함되어 있다. 메타데이터 분석부(143)는 메타데이터(5)들을 분석하여 이러한 정보들을 추출하고, 타임스탬프 및 플래그 설정부(145)에 전송한다.
서치 맵 생성부(144)는 이벤트가 발생하면 영상(112)과 대응되도록 영상(112)을 매핑하여 서치 맵(6)을 생성한다. 카메라(2)로부터 메타데이터(5)가 전송되면, 서치 맵 생성부(144)는 메타데이터(5)가 전송된 사실을 인지하고, 저장부(13)에 이미 생성되어 저장된 서치 맵(6)이 있는지 확인한다. 그리고, 이미 생성된 서치 맵(6)이 저장되어 있다면, 서치 맵(6)을 생성할 필요가 없으나, 저장된 서치 맵(6)이 없다면, 서치 맵(6)을 새롭게 생성한다.
서치 맵(Search Map, 6)이란, 상기 영상(112)과 대응되도록 상기 영상(112)을 매핑하여, 이벤트가 발생한 지점에 대하여 타임스탬프(61) 및 플래그(62)를 설정할 수 있는 공간을 말한다. 사용자가 이벤트를 검색하기 위하여 검색 조건을 입력하면, 데이터 검색부(146)는 상기 서치 맵(6)에 설정된 타임스탬프(61) 및 플래그(62)를 검색함으로써 원하는 검색 결과를 빠르게 출력할 수 있다. 따라서, 서치 맵(6)은 미리 서지 정보들을 모아서 한번에 입력해놓고, 추후에 서치 맵(6)만을 검색하면 전체 이벤트를 검색할 수 있는 검색 도구와 같은 개념이다.
서치 맵(6)은 이벤트 검색이 용이하도록, 이벤트 검색 장치(1) 내부적으로 생성되는 공간이다. 따라서, 물리적으로 실재하거나, 화면부(11)를 통해 디스플레이 되어 사용자의 육안으로 확인할 수 있는 개념이 아니다. 그러나 이에 제한되지 않고, 사용자의 명령에 따라 서치 맵(6)이 화면부(11)를 통해 디스플레이 될 수도 있다.
서치 맵(6)은 영상(112)과 대응되므로, 화면부(11)를 통해 디스플레이 되는 영상(112)이 사각형이라면, 서치 맵(6) 또한 사각형이다. 그리고 영상(112)의 화면비(가로세로비, Aspect Ratio)와 서치 맵(6)의 화면비는 동일한 것이 바람직하다. 그러나, 서치 맵(6)은 영상(112)의 시간 및 좌표만이 대응되면 족하므로, 영상(112)의 해상도, FPS, 비트레이트 등은 서치 맵(6)에 영향을 미치지 않는다. 따라서, 영상(112)의 해상도, FPS, 비트레이트 등이 변경되더라도 서치 맵(6)을 통한 검색에 장애가 되지 않는다. 또한, 서치 맵(6)은 일정한 크기의 복수의 블록들로 분할되어 형성될 수 있다. 이러한 복수의 블록들은, 추후에 데이터 검색부(146)가 데이터를 검색을 할 때, 영역에 대한 검색 조건의 기준이 된다.
타임스탬프 및 플래그 설정부(145)는, 서치 맵(6) 상에서 타임스탬프(61) 및 플래그(62)를 설정한다. 메타데이터 분석부(143)가 메타데이터(5) 내에 포함된 정보들을 타임스탬프 및 플래그 설정부(145)에 전송하면, 타임스탬프 및 플래그 설정부(145)는 상기 정보들을 토대로 타임스탬프(61) 및 플래그(62)를 서치 맵(6) 상에 설정하게 된다. 서치 맵(6) 상에 타임스탬프(61) 및 플래그(62)를 설정하는 과정에 대한 자세한 설명은 후술한다.
데이터 검색부(146)는 사용자의 명령에 따라 이벤트 데이터를 검색한다. 사용자는 이벤트 데이터를 검색하기 위해 시간 조건과 위치 조건 등과 같은 검색 조건을 지정하게 된다. 그리고 데이터 검색부(146)는 상기 기술한 바와 같이 상기 서치 맵(6)에 설정된 타임스탬프(61) 및 플래그(62)를 검색함으로써 상기 지정된 검색 조건에 부합하는 검색 결과를 빠르게 출력할 수 있다. 상기 지정된 검색 조건에 부합하는 타임스탬프(61) 및 플래그(62)를 검색하면, 상기 검색된 타임스탬프(61) 및 플래그(62)에 대응되는 메타데이터(5)를 도출할 수 있고, 상기 도출된 메타데이터(5)와 대응되는 영상 데이터를 저장부(13)로부터 로딩하여 화면부(11)에 출력할 수 있다.
도 25는 본 발명의 일 실시예에 따른 이벤트 발생 판단부(22)의 상세한 구성을 나타낸 블록도이다.
이벤트 발생 판단부(22)는 카메라(2)의 영상을 자체적으로 분석하거나, 센서(3)로부터 생성된 신호를 수신함으로써, 이벤트의 발생 여부를 판단한다. 이벤트 발생 판단부(22)는 평상시 입력되는 값들을 누적하여 대표값을 연산하는 누적 대표값 연산부(221), 상기 연산된 누적 대표값과 새롭게 수신된 값을 비교하여 이벤트 발생 여부를 판단하는 비교부(222), 규칙적, 반복적으로 발생하는 이벤트와 같이 특수성이 없는 이벤트인지 여부를 판단하는 예외 판단부(223)를 포함한다.
누적 대표값 연산부(221)는 우선, 카메라(2)의 촬상부(21) 또는 센서(3)로부터 데이터 구축 기간 동안 영상, 음성 또는 기타 신호를 수신한다. 그리고 평상시 입력되는 값들을 누적하여 대표값을 연산한다. 예를 들면, 소리 감지 센서가 설치된 후, 대략 일주일 정도 주변에서 발생하는 각종 소리를 입력받는다. 그리고, 누적 대표값 연산부(221)는 수신된 소리의 크기를 누적하여 평균값을 연산한다.
상기 평균값은 산술 평균, 기하 평균, 조화 평균 등 다양한 평균 계산법을 사용하여 연산될 수 있다. 또한, 대표값으로 상기의 예시에서는, 평균을 연산한 것으로 기술하였으나, 이에 제한되지 않고 최빈값, 중앙값 등의 다양한 대표값을 사용할 수 있다.
데이터 구축 기간은 평상시 입력되는 값들을 수신하는 기간이다. 상기의 예시에서는 대략 일주일을 데이터 구축 기간으로 설정하였으나, 이에 제한되지 않고 다양하게 설정될 수 있다. 데이터 구축 기간은 종기가 고정된 기간이 아니며, 시간의 흐름에 따라 현재의 시점이 항상 종기가 되는 것이 바람직하다. 따라서, 값들이 새롭게 수신될 때마다, 비교부(222)에서는 누적 대표값과 비교하는 동시에, 누적 대표값 연산부(221)는 새롭게 수신된 값을 누적 대표값에 반영하여 실시간으로 업데이트를 한다. 만약, 데이터 구축 기간이, 상기의 예시에서 일주일과 같이, 특정 기간으로 정해져 있다면, 종기는 현재의 시점이고 시기는 종기로부터 특정 기간만큼 소급된 시점이다. 그러나 만약, 데이터 구축 기간의 시기가 특정 시점으로 정해져 있다면, 데이터 구축 기간은 상기 특정 시점부터 현재의 시점까지의 기간이 된다. 즉, 데이터 구축 기간과 그 시기는, 둘 중 하나가 고정되면 나머지 하나는 유동적으로 변화한다. 다만, 이에 제한되지 않고 시기, 종기, 기간을 모두 고정시킬 수도 있는 등 데이터 구축 기간은 다양하게 형성될 수 있다.
누적 대표값 연산부(221)는 특정 시간대 마다 누적 대표값을 다르게 연산할 수 있다. 예를 들어, 근처에 공사장이 있는 경우에는 시끄러운 소리가 발생하게 된다. 그런데, 근처의 공사장에서 발생하는 소리가 대부분 오전 9시부터 오후 5시까지의 시간에 발생하는 경우, 데이터 구축 기간 동안 누적된 과거의 통계 자료들을 토대로 오전 9시부터 오후 5시까지에는 제1 누적 대표값을 연산하고, 그 외의 시간에는 제2 누적 대표값을 연산하여 별도의 기준을 형성할 수 있다.
비교부(222)는, 상기 연산된 누적 대표값과 새롭게 수신된 값을 비교하여 이벤트 발생 여부를 판단한다. 상기의 예시에서, 연산된 누적 대표값을 미리 저장하고, 임의의 소리가 발생하였을 때, 비교부(222)는 누적 대표값과 새롭게 입력된 소리의 크기를 비교한다. 그리고, 소리의 크기가 누적 대표값보다 크다면 소리 이벤트가 발생한 것으로 판단하고, 소리의 크기가 누적 대표값보다 작다면 소리 이벤트가 발생하지 않은 것으로 판단한다.
예외 판단부(223)은 규칙적, 반복적으로 발생하는 이벤트와 같이 예측이 가능한 이벤트인지 여부를 판단한다. 예를 들어 뻐꾸기 시계의 경우, 초기에는 뻐꾸기 시계의 소리는 평상시 누적되었던 누적 대표값보다 클 것이므로, 비교부(222)는 이벤트가 발생한 것으로 판단한다. 그러나, 뻐꾸기 시계는 매 시간 정각이 되면, 해당되는 시간에 대응되는 횟수만큼 울리게 된다. 예외 판단부(223)는 데이터 구축 기간 동안 누적된 과거의 통계 자료들을 토대로 매 시간 정각에 울리는 뻐꾸기 시계의 소리는 예측이 가능하므로, 이벤트가 아닌 것으로 판단한다.
예외 판단부(223)는 규칙성 만으로 예측 가능한 이벤트인지를 판단하는 것은 아니다. 예를 들어, 근처에 공사장이 있는 경우에는 시끄러운 소리가 발생하게 된다. 그런데 테이블 위에 올려져 있던 유리컵이 단단한 바닥으로 떨어져 파손되면, 공사장에서 발생하는 소리와는 다른 파형의 소리가 발생한다. 이러한 경우에는, 비록 누적 대표값보다 큰 소리가 아니더라도, 예외 판단부(223)는 공사장에서 발생하는 소리는 이벤트가 발생하지 않은 것으로 판단하고, 유리컵이 파손되어 발생하는 소리는 이벤트가 발생한 것으로 판단한다.
상기의 예시는 소리 이벤트의 경우를 예로 들었으나, 모션 이벤트의 경우에는 영상의 픽셀값을 누적하여 대표값으로 연산하고, 변화량을 판단할 수 있다. 즉, 이벤트 발생 판단부(22)는 제한되지 않고 다양한 종류의 이벤트 발생 여부를 판단할 수 있다.
도 26은 본 발명의 일 실시예에 따른 카메라(2)가 획득한 영상(112)에서 이벤트가 발생하는 모습을 나타낸 도면이고, 도 27은 도 26에서의 모션 이벤트를 발생시키는 객체(4)를 식별하는 모습을 나타낸 도면이다.
카메라(2)가 특정 영역을 촬영하는 도중에 이벤트가 발생하면, 이벤트 발생 판단부(22)는 이벤트의 발생을 판단한다. 예를 들어 도 26에 도시된 바와 같이, 테이블 위에 올려져 있던 유리컵이 떨어졌다고 가정한다. 그리고 이하, 상기의 예시를 모션 이벤트가 발생한 것으로 먼저 설명한다.
카메라(2)의 촬상부(21)는 테이블 근방의 영역을 촬영하여 영상(112)을 획득하고, 이벤트 발생 판단부(22)는 유리컵이라는 객체(4)의 모션으로 인해 영상(112)의 프레임 내에서 픽셀값의 변화가 발생하면 모션 이벤트의 발생을 인식한다. 그리고, 도 27에 도시된 바와 같이, 모션 이벤트의 발생을 일으키는 객체(4)를 식별해 낸다.
이벤트 발생 판단부(22)가 객체(4)를 식별하면, 도 27에 도시된 바와 같이 영상(112) 상에서 객체(4)의 주위를 윈도우(41)로 포위한다. 윈도우(41)란 영상(112) 상에서 객체(4)를 둘러싸도록 단일폐곡선의 형태로 형성되며, 도 27에 도시된 바와 같이 사각형의 모양을 가지는 것이 바람직하다.
도 28은 모션 이벤트가 발생하는 경우 생성되는 본 발명의 일 실시예에 따른 메타데이터(5)의 예시도이다.
상기 기술한 바와 같이 이벤트가 발생하면, 메타데이터 생성부(23)는 상기 이벤트에 대한 정보를 이용하여 메타데이터(5)를 생성한다. 메타 데이터란, 특정 데이터의 검색을 용이하게 하기 위해 상기 특정 데이터에 대한 설명을 기술하고 유형을 정리한 데이터이다. 이 때, 특정 데이터는 음악, 동영상 등의 크기가 크고 검색이 용이하지 않은 데이터라면, 메타 데이터(5)는 문자열로 이루어져 크기가 매우 작고 검색이 용이하다.
도 28에 도시된 바와 같이 메타데이터(5)에는 식별된 객체(4)에 대한 고유 ID, 식별된 객체(4)의 개수, 객체(4)의 위치, 이벤트 발생 시간 등에 대한 정보가 포함되어 있다. 구체적으로 도 28에 도시된 utc란 이벤트가 발생한 시간에 대한 정보, numObj는 식별된 객체(4)의 개수, event.type은 발생한 이벤트의 종류를 나타낸다. 예를 들어, 발생한 이벤트가 모션 이벤트라면 1, 소리 이벤트라면 2 등의 숫자로 표시될 수 있다. obj[0].left, right, top, bottom 등은 객체(4)의 위치, 즉 객체(4)를 포위하는 윈도우(41)의 각 꼭지점의 위치에 대한 좌표 정보이다. 그리고 obj[0].objID는 객체(4)의 고유의 식별자를 나타내는 ID이다. 만약 하나의 객체(4)가 이동하거나 잠시 사라진 후 다시 출몰하더라도, 카메라(2)는 동일한 객체(4)로 식별하여 여전히 동일한 ID를 부여한다. 그러나 하나의 객체(4)가 사라진 후, 다른 객체(4)가 출몰한다면 카메라(2)는 다른 객체(4)로 식별하여 새로운 ID를 부여한다. 따라서, 이벤트 검색 장치(1)는 특정 객체(4)에 대한 추적도 용이하게 할 수 있다.
도 29는 본 발명의 일 실시예에 따른 서치 맵(6) 상에서, 도 27에서의 모션 이벤트가 발생한 지점과 대응되는 지점에 타임스탬프(61) 및 플래그(62)가 설정되는 모습을 나타낸 개념도이다.
본 발명의 일 실시예에 따른 메타데이터(5)는 이벤트가 발생한 경우에 생성된다. 이벤트가 발생하지 않으면 메타데이터(5)에 포함되는 정보가 없으므로, 메타데이터(5)가 생성될 필요가 없기 때문이다. 따라서 평상시에는, 카메라(2)는 이벤트 검색 장치(1)에 영상 데이터만을 전송한다. 그러나, 이벤트가 발생하면, 카메라(2)는 이벤트 검색 장치(1)에 영상 데이터뿐만 아니라 메타데이터(5)도 함께 전송한다.
이벤트 검색 장치(1)가 카메라(2)로부터 메타데이터(5)를 전송받으면, 서치 맵 생성부(144)는 메타데이터(5)가 전송된 사실을 인지하고, 저장부(13)에 이미 생성되어 저장된 서치 맵(6)이 있는지 확인한다. 그리고, 이미 서치 맵(6)이 저장되어 있다면, 서치 맵(6)을 생성할 필요가 없으나, 저장된 서치 맵(6)이 없다면, 이벤트가 발생한 영상(112)과 대응되도록 영상(112)을 매핑하여 서치 맵(6)을 새롭게 생성한다.
한편, 메타데이터 분석부(143)는 상기 전송된 메타데이터(5)를 분석하여, 메타데이터(5)에 포함된 정보들을 타임스탬프 및 플래그 설정부(145)에 전송한다. 그리고, 타임스탬프 및 플래그 설정부(145)는 상기 정보들을 토대로 상기 생성된 서치 맵(6) 상에서, 영상(112)에서 이벤트가 발생한 지점과 대응되는 지점에 타임스탬프(61) 및 플래그(62)를 설정한다. 상기 두 지점이 정확하게 대응될 필요는 없다. 그러나 적어도, 서치 맵(6)에 형성된 복수의 블록 중, 이벤트가 발생한 지점과 대응되는 하나의 블록 내에 포함되도록 타임스탬프(61) 및 플래그(62)를 설정하는 것이 바람직하다.
타임스탬프(61)는 어떠한 데이터가 생성 또는 변경된 특정 시각을 나타내는 표시를 말한다. 그리고 플래그(62)는 특정 상태의 성립 여부를 식별하거나, 약속된 신호를 남기기 위해 사용되는 표시로서, 본 발명의 일 실시예에 따른 플래그(62)는 발생한 이벤트의 종류를 표시한다. 즉, 플래그(62)를 통해, 발생한 이벤트가 모션 이벤트인지, 소리 이벤트인지 등을 알 수 있다.
도 29에 도시된 바와 같이, 타임스탬프(61) 및 플래그(62)가 설정되면, 서치 맵(6) 상에서 타임스탬프(61) 및 플래그(62)는 점(Point)으로 표시된다. 만약 발생한 이벤트가 모션 이벤트라면, 타임스탬프(61) 및 제1 플래그(62a)를 서치 맵(6) 상에서 설정할 때에는, 우선 영상(112)에서 객체(4)를 포위한 윈도우(41)가 서치 맵(6) 상에서도 표시된다고 가정한다. 여기서 제1 플래그(62a)란, 이벤트의 종류가 모션 이벤트라는 것을 나타내는 플래그(62)이다. 서치 맵(6) 상에서 표시되는 것으로 가정한 윈도우(41a)의 중심을 타임스탬프(61) 및 제1 플래그(62a)의 설정 지점으로 정한다. 따라서, 상기의 예시와 같이 테이블 위에 올려져 있던 유리컵이 떨어진 경우, 도 27에 도시된 바와 같이 유리컵을 포위하는 윈도우(41)와 서치 맵(6) 상에서 대응되는, 윈도우(41a)의 중심 지점에 타임스탬프(61) 및 제1 플래그(62a)를 설정한다. 다만, 이에 제한되지 않고 윈도우(41)의 네 꼭지점 가운데 임의의 하나의 꼭지점에 타임스탬프(61)를 설정하는 등 다양한 지점에 타임스탬프(61) 및 제1 플래그(62a)를 설정할 수 있다.
타임스탬프(61)와 플래그(62)는 역할이 다르지만, 서치 맵(6) 상에서는 동일한 지점에 표시된다. 따라서, 도 29에 도시된 바와 같이 서치 맵(6) 상에서는 하나의 표시만이 설정된 것으로 보여진다.
타임스탬프(61) 자체에는 단순히 이벤트 발생 시간에 대한 정보만이 담겨있다. 그리고 플래그(62) 자체에는 단순히 이벤트의 종류에 대한 정보만이 담겨있다. 그러나 서치 맵(6) 상에서 타임스탬프(61) 및 플래그(62)가 설정된 좌표가 이벤트 발생 위치를 나타낸다. 결과적으로는 타임스탬프(61) 및 플래그(62)를 통해 이벤트의 종류, 이벤트 발생 시간 및 위치를 모두 파악할 수 있다.
도 30은 도 26에서의 이벤트가 시간의 흐름에 따라 진행된 모습을 나타낸 도면이고, 도 31은 본 발명의 일 실시예에 따른 서치 맵(6) 상에서, 도 26에서의 모션 이벤트가 변화한 지점과 대응되는 지점에 타임스탬프(61) 및 제1 플래그(62a)가 설정되는 모습을 나타낸 개념도이다.
모션 이벤트가 발생한 후, 상기 객체(4)가 지속적으로 움직이게 되면, 시간의 흐름에 따라 모션 이벤트의 발생이 계속 진행된다. 상기의 예시에서, 테이블 위에 올려져 있던 유리컵이 바닥으로 떨어지기 시작하여, 유리컵이 파손될 때까지, 모션 이벤트의 발생이 계속 진행될 수 있다.
이 때에는 일정 시간 당 일정 횟수로 메타데이터(5)가 생성된다. 그리고, 각각의 메타데이터(5)에는 모션 이벤트가 진행됨에 따라 변화되는 이벤트 발생 시간과 변화되는 객체(4)의 위치 좌표가 각각 포함되어 있다.
이벤트 검색 장치(1)가 카메라(2)로부터 복수의 메타데이터(5)를 전송받고, 메타데이터 분석부(143)가 전송된 복수의 메타데이터(5)를 분석하면, 타임스탬프 및 플래그 설정부(145)는 메타데이터(5)에 포함된 정보를 토대로 도 31에 도시된 바와 같이, 서치 맵(6) 상에 복수의 타임스탬프(61) 및 제1 플래그(62a)를 설정한다. 이 때, 복수의 타임스탬프(61) 및 제1 플래그(62a)는, 변화되는 객체(4)의 위치 좌표와 대응되는 지점에 각각 설정된다. 타임스탬프(61) 및 제1 플래그(62a)가 설정되는 속도는, 메타데이터(5)가 생성된 속도와 일치하는 것이 바람직하다. 예를 들어, 메타데이터(5)가 1초당 10회 생성된다면, 타임스탬프(61) 및 제1 플래그(62a)도 서치 맵(6) 상에서 1초당 10회씩 설정된다.
타임스탬프(61) 및 플래그(62)가 설정되는 속도가 빠를수록 서치 맵(6)에 설정되는 타임스탬프(61) 및 플래그(62)의 개수가 많아진다. 따라서, 추후에 이벤트 검색 시 속도가 느려질 수 있다. 그러나 연속되는 이벤트의 발생에 타임스탬프(61) 및 플래그(62) 간의 간격이 좁아진다. 따라서, 발생된 이벤트가 진행되는 과정을 서치 맵(6) 상에 자세히 표시할 수 있다.
반면에, 타임스탬프(61) 및 플래그(62)가 설정되는 속도가 느릴수록 서치 맵(6)에 설정되는 타임스탬프(61) 및 플래그(62)의 개수가 적어진다. 따라서, 추후에 이벤트 검색 시 속도가 빨라질 수 있다. 그러나 타임스탬프(61) 및 플래그(62) 간의 간격이 넓어지므로, 발생된 이벤트가 진행되는 과정을 서치 맵(6) 상에 자세히 표시할 수가 없다. 따라서, 이벤트 검색 장치(1)의 성능 및 사용되는 주변 환경 등에 따라 타임스탬프(61) 및 플래그(62) 설정 속도는 다양하게 변경될 수 있다.
타임스탬프(61) 및 플래그(62)가 설정된 서치 맵(6)은 저장부(13)에 저장되고, 메타데이터(5)가 전송될 때마다 서치 맵(6)이 로딩되어, 타임스탬프(61)가 새롭게 설정되며 갱신된다.
한편, 소리 이벤트가 발생하는 경우에도 이벤트 발생 판단부(22)는 이벤트의 발생을 판단한다. 상기의 예시에서, 발생한 이벤트가 소리 이벤트로서, 테이블 위에 올려져 있던 유리컵이 단단한 바닥으로 떨어져 파손되면서 도 30에 도시된 바와 같이 소리가 발생할 수 있다. 이벤트 발생 판단부(22)가 소리 이벤트의 발생을 판단한 경우, 메타데이터 생성부(23)는 상기 이벤트에 대한 정보를 이용하여 메타데이터(5)를 생성한다.
도 32은 본 발명의 일 실시예에 따른 서치 맵(6) 상에서, 도 30에서의 소리 이벤트가 변화한 지점과 대응되는 지점에 타임스탬프(61) 및 제2 플래그(62b)가 설정되는 모습을 나타낸 개념도이다.
소리 이벤트에 대한 정보를 이용하여 메타데이터(5)를 생성하기 위해, 모션 이벤트와는 달리, 우선 소리가 발생한 음원의 위치를 파악해야 한다. 그러나, 음원의 위치는 모션 이벤트의 경우와 같이 영상의 분석만으로 파악하기는 어렵다. 따라서, 영상을 분석하는 방법이 아닌, 다른 방법을 사용하는 것이 바람직하다. 예를 들면, 소리 감지 센서를 복수로, 각각 이격되도록 설치한 후, 특정 소리가 발생하면 복수의 소리 감지 센서가 소리를 감지한 시간, 크기 등을 분석한다. 음원의 위치는 소리가 작게 감지된 소리 감지 센서보다, 소리가 크게 감지된 소리 감지 센서에 더욱 가깝다. 또한, 소리가 늦게 감지된 소리 감지 센서보다, 소리가 빠르게 감지된 소리 감지 센서에 더욱 가깝다. 이러한 원리를 토대로 소리의 속도, 소리 감지 센서 간의 거리 등을 함께 고려하면, 음원의 위치를 파악할 수 있다. 그리고, 소리 감지 센서의 개수가 많을수록, 음원의 위치를 더욱 정확하게 파악할 수 있다. 다만, 이에 제한되지 않고 소리가 발생한 음원의 위치를 파악할 수 있다면 다양한 방법을 사용할 수 있다.
메타데이터 생성부(23)가 소리 이벤트에 대한 정보를 이용하여 메타데이터(5)를 생성한다면, 객체(4)를 식별할 수 없으므로 객체(4)의 개수, 객체(4)의 고유 ID 등은 필요가 없다. 또한, 객체(4)를 포위하는 윈도우(41)가 존재하지 않으므로, 객체(4)의 위치 좌표도 포함되지 않는다. 다만, 소리가 발생한 음원의 개수, 음원의 위치 좌표 등이 포함된다. 그리고, 각각의 소리 감지 센서에서 감지한 음원의 크기 및 시간도 포함된다. 또한, 발생한 소리에도 ID를 부여할 수 있다. 소리의 주파수, 맵시 등의 파형을 분석하여, 한 번 발생한 소리와 동일한 소리가 수 초 내에 다시 발생한다면, 동일한 ID를 부여한다. 그리고 이벤트의 종류를 나타내는 event.type은 2로 표시될 수 있다. 다만, 이에 제한되지 않고, 메타데이터(5)는 발생한 이벤트에 대한 다양한 정보를 포함할 수 있다.
이벤트 검색 장치(1)가 카메라(2)로부터 메타데이터(5)를 전송받으면, 메타데이터 분석부(143)는 상기 전송된 메타데이터(5)를 분석하여, 메타데이터(5)에 포함된 정보들을 타임스탬프 및 플래그 설정부(145)에 전송한다. 그리고, 타임스탬프 및 플래그 설정부(145)는 상기 정보들을 토대로, 서치 맵(6) 상에서, 소리 이벤트가 발생한 위치 좌표와 대응되는 지점에 타임스탬프(61) 및 제2 플래그(62b)를 설정한다. 여기서 제2 플래그(62b)란, 이벤트의 종류가 소리 이벤트라는 것을 나타내는 플래그(62)이다
한편, 소리 이벤트가 발생하면, 소리는 음원을 중심으로 공기 또는 물 등을 매개로 하여 일정한 파장을 가지며 사방으로 퍼져나간다. 따라서, 상기의 예시에서, 유리컵이 파손되면서 발생한 소리와 같이 크기가 큰 소리의 경우에는 쉽게 퍼져나간다. 만약, 음원으로부터 발생한 소리의 파동이 전달되는 모든 지점에 대하여 타임스탬프(61) 및 제2 플래그(62b)를 설정한다면 이는 무의미한 설정이 될 것이다. 사용자가 위치 조건을 지정하여 이벤트 검색을 수행하게 되면, 이벤트가 발생한 위치 좌표의 정보를 이용하여 이벤트 검색의 결과를 도출한다. 그러나, 영상(112) 상에서 거의 모든 지점의 위치 좌표를 소리 이벤트가 발생한 것으로 판단하면, 사용자가 위치 조건을 지정하는 경우와 지정하지 않는 경우의 차이가 없기 때문이다.
이와 반면에, 만약, 모션 이벤트의 경우처럼 메타데이터(5)에 포함된 음원의 위치 좌표에 대응되는 지점에만 타임스탬프(61) 및 제2 플래그(62b)를 설정한다면, 사용자가 이벤트를 검색하기 위한 위치 조건을 입력하는 것이 매우 까다로울 것이다. 모션 이벤트와 달리, 소리 이벤트의 경우에는 이벤트가 발생하였을 때 사용자가 현장에 부재중이었다면, 추후에 이벤트를 검색할 때 이벤트가 발생된 위치를 정확히 알 수 없는 경우가 많이 때문이다.
따라서, 이벤트 발생 판단부(22)는 모션 이벤트의 경우와는 달리, 메타데이터(5)에 포함된 음원의 위치 좌표를 기준으로 타임스탬프(61) 및 제2 플래그(62b)를 설정할 범위를 정해야 한다. 상기의 범위는, 음원의 위치로부터 3차원의 모든 방향에 대하여 이격되어 있는 특정 거리만큼을 한도로 정한다. 따라서, 한도로 정해진 지점을 모두 연결하면, 음원의 위치를 중심으로 상기 특정 거리를 반지름으로 하는 구(Sphere)의 전부 또는 일부의 형상이 형성된다.
여기서 특정 거리는 사용자가 위치 조건을 지정하여 검색할 때, 발생한 소리 이벤트가 검색 결과로 도출되는지 여부를 결정하는 요소가 된다. 만약, 특정 거리가 너무 길다면 상기 기술한 바와 같이, 사용자가 위치 조건을 지정하는 경우와 지정하지 않는 경우의 차이가 없다. 반면에, 특정 거리가 너무 짧다면, 사용자가 소리의 음원에 매우 가까운 위치를 위치 조건으로 지정하여야만 검색 결과로 도출되므로 위치 조건의 입력이 매우 까다롭게 된다. 따라서, 상기 특정 거리는 본 발명의 일 실시예에 따른 이벤트 검색 장치를 사용하는 환경 또는 사용자의 의도 등을 종합하여 결정되는 것이 바람직하다.
도 33은 도 31 및 도 32에서 타임스탬프(61), 제1 플래그(62a) 및 제2 플래그(62b)가 하나의 서치 맵(6) 상에서 설정된 모습을 나타낸 개념도이다.
서치 맵(6)은 타임스탬프(61) 및 플래그(62)를 설정하여, 용이하게 이벤트 검색을 하기 위한 가상의 공간이다. 그리고, 이벤트의 종류는 플래그(62)를 통해 구분할 수 있다. 따라서, 이벤트의 종류에 따라 서치 맵(6)을 별도로 생성할 필요가 없다. 즉, 도 33에 도시된 바와 같이, 이벤트의 종류와 무관하게, 이벤트가 발생했다면 곧바로 하나의 서치 맵(6) 상에 타임스탬프(61) 및 플래그(62)를 설정하는 것이 바람직하다.
따라서 상기의 예시와 같이 테이블 위에 올려져 있던 유리컵이 떨어진 경우에는, 모션 이벤트와 소리 이벤트가 함께 발생한다. 따라서, 하나의 서치 맵(6)에, 객체(4)의 움직임에 따라 변화되는 객체(4)의 위치 좌표와 대응되는 지점에 타임스탬프(61) 및 제1 플래그(62a)가 각각 설정되고, 음원의 위치 좌표를 기준으로 특정 거리만큼 이격되어 있는 범위 내에 타임스탬프(61) 및 제2 플래그(62b)가 각각 설정된다.
도 34는 영상 상에서 검색하고자 하는 위치에 본 발명의 일 실시예에 따른 이벤트 검색 영역이 설정되는 모습을 나타낸 도면이고, 도 35는 본 발명의 일 실시예에 따른 서치 맵(5) 상에서, 도 34의 이벤트 검색 영역과 대응되는 영역이 지정되는 모습을 나타낸 개념도이다.
사용자가 이벤트 검색을 하기 위하여, 이벤트 검색 장치의 UI를 통해 위치 조건을 지정한다. 그리고, 위치 조건을 지정하는 방법에 대한 내용은 상기 도 8 내지 도 22에 대한 설명에서 모두 기술하였다. 즉, 사용자는 도 34에 도시된 바와 같이 영상 상에서 검색하고자 하는 위치에 이벤트 검색 영역을 설정한다.
영상(112) 상에서 이벤트 검색 영역(116)이 지정되었다면, 도 35에 도시된 바와 같이 이벤트 검색 영역(116a)이 서치 맵(5) 상에서도 표시된다. 한편, 상기 기술한 바와 같이, 서치 맵(5)은 일정한 크기의 복수의 블록들로 분할되어 형성된다. 그리고, 데이터 검색부(144)는 이벤트 검색 영역(116a)을 포함하는 블록들 내부에 타임스탬프(61) 및 플래그(62)가 존재하는 경우를 검색한다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 이벤트 검색 장치 2: 카메라
3: 센서 4: 객체
5: 메타데이터 6: 서치 맵
10: 본체 11: 화면부
12: 제1 통신부 13: 저장부
14: 제어부 21: 촬상부
22: 이벤트 발생 판단부 23: 메타데이터 생성부
24: 제2 통신부 41: 윈도우
61: 타임스탬프 62: 플래그
111: 터치 센서 112: 영상
113: 스타팅 아이콘 114: 메뉴 휠 아이콘
115: 셀렉트 아이콘 116: 이벤트 검색 영역
117: 검색 버튼 119: 설정 아이콘
141: 제스처 검출부 142: 좌표 변환부
143: 메타데이터 분석부 144: 서치 맵 생성부
145: 타임스탬프 및 플래그 설정부 146: 데이터 검색부

Claims (20)

  1. 이벤트의 발생을 감지하여 신호를 생성하는 센서;
    상기 센서로부터 상기 신호를 수신하고, 감시 영역을 촬영하여 복수의 영상 프레임과, 상기 영상 프레임에 관한 메타데이터를 생성하는 카메라;
    상기 복수의 영상 프레임 및 상기 메타데이터를 상기 카메라로부터 전송받아 이벤트를 검색하는 이벤트 검색 장치를 포함하는 이벤트 검색 시스템으로서,
    상기 이벤트 검색 장치는,
    상기 복수의 영상 프레임과, 상기 영상 프레임 상의 이벤트의 발생 시간 정보와 위치 정보를 포함하는 메타데이터를 카메라로부터 수신하는 제1 통신부;
    상기 이벤트를 검색하기 위한 검색 조건으로, 이벤트 검색 영역을 입력받는 사용자 인터페이스;
    상기 영상 프레임 상에 상기 이벤트 검색 영역을 표시하는 화면부; 및
    상기 메타데이터를 이용하여, 상기 이벤트 검색 영역 내에서 상기 검색 조건을 충족하는 이벤트를 검색하는 제어부를 포함하되,
    상기 이벤트 검색 영역은,
    상기 사용자에 의해 위치, 사이즈 및 모양 중 적어도 하나가 변경될 수 있는, 이벤트 검색 시스템.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 영상 프레임들과 대응되는 화면비를 가지며, 복수의 블록들로 구성된 서치 맵을 생성하는 서치 맵 생성부;
    상기 위치 정보를 기초로, 상기 서치 맵 상에서 상기 복수의 블록 중 대응되는 블록 내에, 타임스탬프 및 플래그를 설정하는 타임스탬프 및 플래그 설정부;
    상기 복수의 블록 중에서 상기 검색 위치를 포함하는 블록에 속하는 상기 타임스탬프 및 상기 플래그를 검색하고, 상기 복수의 영상 프레임 중에서 상기 검색된 타임스탬프 및 상기 플래그가 지시하는 영상 프레임에 관한 메타데이터를 대상으로 상기 이벤트 검색을 수행하는 이벤트 검색부를 더 포함하는, 이벤트 검색 시스템.
  3. 제2항에 있어서,
    상기 타임스탬프는,
    상기 이벤트의 발생 시간에 대한 정보를 포함하고,
    상기 플래그는,
    상기 이벤트의 종류에 대한 정보를 포함하는, 이벤트 검색 시스템.
  4. 제1항에 있어서,
    상기 메타데이터는,
    상기 이벤트를 발생시킨 객체의 식별자를 더 포함하고,
    상기 검색 조건은,
    이벤트 발생의 위치 조건을 포함하며,
    상기 위치 정보는,
    상기 객체의 2차원 평면 상의 좌표 정보인, 이벤트 검색 시스템.
  5. 제1항에 있어서,
    상기 카메라는,
    상기 감시 영역을 촬영하여 복수의 영상 프레임을 생성하는 촬상부;
    상기 센서로부터 상기 생성된 신호, 또는 상기 영상 프레임으로부터 상기 이벤트 발생 여부를 판단하는 이벤트 발생 판단부;
    상기 이벤트의 발생 시간 정보와 상기 위치 정보를 포함하는 상기 메타데이터를 생성하는 메타데이터 생성부; 및
    상기 생성된 영상 프레임 및 상기 메타데이터를 상기 제1 통신부로 송신하는 제2 통신부를 포함하는, 이벤트 검색 시스템.
  6. 제5항에 있어서,
    상기 이벤트 발생 판단부는,
    상기 영상 프레임 또는 상기 센서를 통해 데이터 구축 기간동안 입력되는 값들을 누적하여 대표값을 연산하는 누적 대표값 연산부;
    상기 연산된 누적 대표값과 새롭게 수신되는 값을 비교하여 상기 이벤트 발생 여부를 판단하는 비교부; 및
    상기 이벤트가 특수성이 없는 이벤트인지 여부를 판단하는 예외 판단부를 포함하는, 이벤트 검색 시스템.
  7. 제6항에 있어서,
    상기 비교부는,
    상기 새롭게 수신되는 값이 상기 누적 대표값보다 크다면 상기 이벤트가 발생한 것으로 판단하고,
    상기 새롭게 수신되는 값이 상기 누적 대표값보다 크지 않다면 상기 이벤트가 발생하지 않은 것으로 판단하는, 이벤트 검색 시스템.
  8. 감시 영역을 촬영하여 획득된 복수의 영상 프레임과, 상기 영상 프레임 상의 이벤트의 발생 시간 정보와 위치 정보를 포함하는 메타데이터를 카메라로부터 수신하는 제1 통신부;
    상기 이벤트를 검색하기 위한 검색 조건으로, 이벤트 검색 영역을 입력받는 사용자 인터페이스;
    상기 영상 프레임 상에 상기 이벤트 검색 영역을 표시하는 화면부; 및
    상기 메타데이터를 이용하여, 상기 이벤트 검색 영역 내에서 상기 검색 조건을 충족하는 이벤트를 검색하는 제어부를 포함하되,
    상기 이벤트 검색 영역은,
    상기 사용자에 의해 위치, 사이즈 및 모양 중 적어도 하나가 변경될 수 있는, 이벤트 검색 장치.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 영상 프레임들과 대응되는 화면비를 가지며, 복수의 블록들로 구성된 서치 맵을 생성하는 서치 맵 생성부;
    상기 위치 정보를 기초로, 상기 서치 맵 상에서 상기 복수의 블록 중 대응되는 블록 내에, 타임스탬프 및 플래그를 설정하는 타임스탬프 및 플래그 설정부;
    상기 복수의 블록 중에서 상기 검색 위치를 포함하는 블록에 속하는 상기 타임스탬프 및 상기 플래그를 검색하고, 상기 복수의 영상 프레임 중에서 상기 검색된 타임스탬프 및 상기 플래그가 지시하는 영상 프레임에 관한 메타데이터를 대상으로 상기 이벤트 검색을 수행하는 이벤트 검색부를 더 포함하는, 이벤트 검색 장치.
  10. 제9항에 있어서,
    상기 타임스탬프는,
    상기 이벤트의 발생 시간에 대한 정보를 포함하고,
    상기 플래그는,
    상기 이벤트의 종류에 대한 정보를 포함하는, 이벤트 검색 장치.
  11. 제8항에 있어서,
    상기 메타데이터는,
    상기 이벤트를 발생시킨 객체의 식별자를 더 포함하고,
    상기 검색 조건은,
    이벤트 발생의 위치 조건을 포함하며,
    상기 위치 정보는,
    상기 객체의 2차원 평면 상의 좌표 정보인, 이벤트 검색 장치.
  12. 제8항에 있어서,
    상기 카메라는,
    상기 감시 영역을 촬영하여 복수의 영상 프레임을 생성하는 촬상부;
    이벤트의 발생을 감지하는 센서로부터 상기 생성된 신호, 또는 상기 영상 프레임으로부터 상기 이벤트 발생 여부를 판단하는 이벤트 발생 판단부;
    상기 이벤트의 발생 시간 정보와 상기 위치 정보를 포함하는 상기 메타데이터를 생성하는 메타데이터 생성부; 및
    상기 생성된 영상 프레임 및 상기 메타데이터를 상기 제1 통신부로 송신하는 제2 통신부를 포함하는, 이벤트 검색 장치.
  13. 제12항에 있어서,
    상기 이벤트 발생 판단부는,
    상기 영상 또는 센서를 통해 데이터 구축 기간동안 입력되는 값들을 누적하여 대표값을 연산하는 누적 대표값 연산부;
    상기 연산된 누적 대표값과 새롭게 수신되는 값을 비교하여 상기 이벤트 발생 여부를 판단하는 비교부; 및
    상기 이벤트가 특수성이 없는 이벤트인지 여부를 판단하는 예외 판단부를 포함하는, 이벤트 검색 장치.
  14. 카메라가 감시 영역을 촬영하여 복수의 영상 프레임을 획득하는 단계;
    상기 카메라가 상기 복수의 영상 프레임을 토대로, 상기 영상 프레임 상의 이벤트의 발생 시간 정보와 위치 정보를 포함하는 메타데이터를 생성하는 단계;
    이벤트 검색 장치가 상기 복수의 영상 프레임과 상기 메타데이터를 수신하는 단계;
    상기 이벤트를 검색하기 위한 검색 조건으로, 상기 이벤트 검색 장치가 이벤트 검색 영역을 입력받는 단계;
    상기 영상 프레임 상에 상기 이벤트 검색 영역이, 상기 이벤트 검색 장치의 화면부를 통해 표시되는 단계; 및
    상기 이벤트 검색 장치의 제어부가, 상기 메타데이터를 이용하여 상기 이벤트 검색 영역 내에서 상기 검색 조건을 충족하는 이벤트를 검색하는 단계를 포함하는 이벤트 검색 방법.
  15. 제14항에 있어서,
    상기 제어부는,
    상기 영상 프레임들과 대응되는 화면비를 가지며, 복수의 블록들로 구성된 서치 맵을 생성하는 서치 맵 생성부;
    상기 위치 정보를 기초로, 상기 서치 맵 상에서 상기 복수의 블록 중 대응되는 블록 내에, 타임스탬프 및 플래그를 설정하는 타임스탬프 및 플래그 설정부;
    상기 복수의 블록 중에서 상기 검색 위치를 포함하는 블록에 속하는 상기 타임스탬프 및 상기 플래그를 검색하고, 상기 복수의 영상 프레임 중에서 상기 검색된 타임스탬프 및 상기 플래그가 지시하는 영상 프레임에 관한 메타데이터를 대상으로 상기 이벤트 검색을 수행하는 이벤트 검색부를 더 포함하는, 이벤트 검색 방법.
  16. 제15항에 있어서,
    상기 타임스탬프는,
    상기 이벤트의 발생 시간에 대한 정보를 포함하고,
    상기 플래그는,
    상기 이벤트의 종류에 대한 정보를 포함하는, 이벤트 검색 방법.
  17. 제15항에 있어서,
    상기 메타데이터는,
    상기 이벤트를 발생시킨 객체의 식별자를 더 포함하고,
    상기 검색 조건은,
    이벤트 발생의 위치 조건 및 이벤트 발생의 시간 조건을 포함하며,
    상기 위치 정보는,
    상기 객체의 2차원 평면 상의 좌표 정보인, 이벤트 검색 방법.
  18. 제14항에 있어서,
    상기 카메라는,
    상기 감시 영역을 촬영하여 복수의 영상 프레임을 생성하는 촬상부;
    이벤트의 발생을 감지하는 센서로부터 상기 생성된 신호, 또는 상기 영상 프레임으로부터 상기 이벤트 발생 여부를 판단하는 이벤트 발생 판단부;
    상기 이벤트의 발생 시간 정보와 상기 위치 정보를 포함하는 상기 메타데이터를 생성하는 메타데이터 생성부; 및
    상기 생성된 영상 프레임 및 상기 메타데이터를 상기 제1 통신부로 송신하는 제2 통신부를 포함하는, 이벤트 검색 방법.
  19. 제18항에 있어서,
    상기 이벤트 발생 판단부는,
    상기 영상 또는 센서를 통해 데이터 구축 기간동안 입력되는 값들을 누적하여 대표값을 연산하는 누적 대표값 연산부;
    상기 연산된 누적 대표값과 새롭게 수신되는 값을 비교하여 상기 이벤트 발생 여부를 판단하는 비교부; 및
    상기 이벤트가 특수성이 없는 이벤트인지 여부를 판단하는 예외 판단부를 포함하는, 이벤트 검색 방법.
  20. 제19항에 있어서,
    상기 비교부는,
    상기 새롭게 수신되는 값이 상기 누적 대표값보다 크다면 상기 이벤트가 발생한 것으로 판단하고,
    상기 새롭게 수신되는 값이 상기 누적 대표값보다 크지 않다면 상기 이벤트가 발생하지 않은 것으로 판단하는, 이벤트 검색 방법.
KR1020160104593A 2016-08-18 2016-08-18 이벤트 검색 시스템, 장치 및 방법 KR20180020374A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160104593A KR20180020374A (ko) 2016-08-18 2016-08-18 이벤트 검색 시스템, 장치 및 방법
PCT/KR2016/009698 WO2018034377A1 (ko) 2016-08-18 2016-08-31 이벤트 검색 시스템, 장치 및 방법
US16/313,877 US11086933B2 (en) 2016-08-18 2016-08-31 Event search system, device, and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160104593A KR20180020374A (ko) 2016-08-18 2016-08-18 이벤트 검색 시스템, 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20180020374A true KR20180020374A (ko) 2018-02-28

Family

ID=61196676

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160104593A KR20180020374A (ko) 2016-08-18 2016-08-18 이벤트 검색 시스템, 장치 및 방법

Country Status (3)

Country Link
US (1) US11086933B2 (ko)
KR (1) KR20180020374A (ko)
WO (1) WO2018034377A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200098194A (ko) * 2019-02-12 2020-08-20 한화테크윈 주식회사 이미지 맵과 연관되는 데이터를 생성하는 장치 및 그것의 동작 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10866697B2 (en) * 2017-10-24 2020-12-15 Microchip Technology Incorporated Touch-sensitive user-interface including configurable virtual widgets
US11405581B2 (en) 2017-12-26 2022-08-02 Pixart Imaging Inc. Motion detection methods and image sensor devices capable of generating ranking list of regions of interest and pre-recording monitoring images
US20220165304A1 (en) * 2020-11-24 2022-05-26 Nvidia Corporation Trigger-responsive clip extraction based on remote analysis

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4541316B2 (ja) * 2006-04-06 2010-09-08 三菱電機株式会社 映像監視検索システム
US20090265747A1 (en) * 2008-03-17 2009-10-22 Canada Anv Systems Inc. Systems and methods for providing web based self serviced video monitoring and security features for systems comprising ip video terminals and servers
US9141640B2 (en) * 2008-07-09 2015-09-22 MLSListings, Inc. Methods and systems of advanced real estate searching
US9141859B2 (en) * 2008-11-17 2015-09-22 Liveclips Llc Method and system for segmenting and transmitting on-demand live-action video in real-time
US20120173577A1 (en) * 2010-12-30 2012-07-05 Pelco Inc. Searching recorded video
KR101212082B1 (ko) * 2011-04-04 2012-12-13 주식회사 아이티엑스시큐리티 영상인식장치 및 그 영상 감시방법
KR101703931B1 (ko) 2011-05-24 2017-02-07 한화테크윈 주식회사 감시 시스템
US8798318B2 (en) * 2012-01-18 2014-08-05 Xerox Corporation System and method for video episode viewing and mining
JP5248685B1 (ja) * 2012-01-20 2013-07-31 楽天株式会社 動画検索装置、動画検索方法、記録媒体、ならびに、プログラム
KR20140141025A (ko) * 2013-05-31 2014-12-10 삼성에스디에스 주식회사 영상 검색 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200098194A (ko) * 2019-02-12 2020-08-20 한화테크윈 주식회사 이미지 맵과 연관되는 데이터를 생성하는 장치 및 그것의 동작 방법

Also Published As

Publication number Publication date
US20190146996A1 (en) 2019-05-16
US11086933B2 (en) 2021-08-10
WO2018034377A1 (ko) 2018-02-22

Similar Documents

Publication Publication Date Title
US9870684B2 (en) Information processing apparatus, information processing method, program, and information processing system for achieving a surveillance camera system
US10911685B2 (en) Monitoring apparatus and system which detects events occurred in a region of interest and counts a number of occurred events
US11184529B2 (en) Smart recording system
US10791258B2 (en) Monitoring apparatus and system
US11644968B2 (en) Mobile surveillance apparatus, program, and control method
KR102249498B1 (ko) 이벤트 검색 장치 및 시스템
WO2019033957A1 (zh) 交互位置确定方法、系统、存储介质和智能终端
US20190295393A1 (en) Image capturing apparatus with variable event detecting condition
US9766855B2 (en) Method and apparatus for controlling surveillance system with gesture and/or audio commands
US11086933B2 (en) Event search system, device, and method
CN111623755B (zh) 启用自动测量
KR20180086662A (ko) 모니터링 장치 및 시스템
US11675832B2 (en) Search apparatus
JP6852293B2 (ja) 画像処理システム、情報処理装置、情報端末、プログラム
CN106797429A (zh) 控制装置、对控制装置进行控制的方法和程序
KR102575254B1 (ko) 모니터링 장치 및 시스템
WO2018133063A1 (zh) 一种基于运动手势识别的测量仪控制方法及测量仪
KR102518855B1 (ko) 모니터링 장치 및 모니터링 시스템
KR20210137617A (ko) 색상 기반의 이벤트 검색 장치 및 방법

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal