KR20180058019A - 영상 검색 장치, 데이터 저장 방법 및 데이터 저장 장치 - Google Patents

영상 검색 장치, 데이터 저장 방법 및 데이터 저장 장치 Download PDF

Info

Publication number
KR20180058019A
KR20180058019A KR1020160156614A KR20160156614A KR20180058019A KR 20180058019 A KR20180058019 A KR 20180058019A KR 1020160156614 A KR1020160156614 A KR 1020160156614A KR 20160156614 A KR20160156614 A KR 20160156614A KR 20180058019 A KR20180058019 A KR 20180058019A
Authority
KR
South Korea
Prior art keywords
object information
information
image
unit
temporary
Prior art date
Application number
KR1020160156614A
Other languages
English (en)
Inventor
최재원
이정훈
김계원
김지만
이상욱
이종혁
변재운
이호정
최진혁
정승원
김연우
윤진
Original Assignee
한화에어로스페이스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화에어로스페이스 주식회사 filed Critical 한화에어로스페이스 주식회사
Priority to KR1020160156614A priority Critical patent/KR20180058019A/ko
Priority to CN201680091038.1A priority patent/CN109997130B/zh
Priority to PCT/KR2016/015051 priority patent/WO2018097389A1/ko
Publication of KR20180058019A publication Critical patent/KR20180058019A/ko
Priority to US16/418,334 priority patent/US11449544B2/en
Priority to US17/946,398 priority patent/US20230014519A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F17/3079—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 영상 검색 장치는 영상에 포함된 객체의 특징 정보를 전달받아 이벤트 객체 정보로서 업데이트하는 업데이트부; 사용자가 검색하고자 하는 객체의 특징 정보를 포함하는 비교 대상 객체 정보와, 상기 이벤트 객체 정보를 저장하는 저장부; 상기 이벤트 객체 정보와 상기 비교 대상 객체 정보 간의 유사도가 소정의 기준보다 높은 객체 정보를, 최종 객체 정보로서 상기 저장부에 기록하는 객체 정보 생성/삭제부; 및 상기 생성된 최종 객체 정보 중에서, 사용자로부터 입력된 검색 조건에 부합하는 데이터를 검색하는 데이터 검색부를 포함한다.

Description

영상 검색 장치, 데이터 저장 방법 및 데이터 저장 장치{The Apparatus For Searching Image And The Method For Storing Data And The Apparatus For Storing Data}
본 발명은 영상 검색 장치, 데이터 저장 방법 및 데이터 저장 장치에 관한 것으로서, 보다 상세하게는 사용자가 특정 시간만이 아니라, 특정 객체 또는 특정 채널을 검색 조건으로 입력하여, 원하는 영상 데이터를 용이하게 검색할 수 있는 영상 검색 장치 및 빠르게 다채널 영상을 검색하기 위해, 최소한의 데이터베이스만을 구축할 수 있는 데이터 저장 방법 및 장치에 관한 것이다.
일반적으로 은행, 백화점, 일반 주택가를 비롯한 다양한 장소에서 감시 시스템이 널리 사용되고 있다. 이러한 감시 시스템은 범죄 예방, 보안을 목적으로 사용될 수 있으나, 최근에는 실내의 애완동물 또는 어린 아이를 실시간으로 감시하기 위해서도 사용되기도 한다. 그리고 이러한 감시 시스템으로 가장 많이 사용하는 시스템은, 감시를 원하는 영역을 촬영할 수 있도록 적절한 위치에 카메라를 설치하고, 사용자는 카메라가 촬영한 영상을 모니터링 함으로써 감시할 수 있는 폐쇄회로 텔레비전(Closed Circuit Television: CCTV) 시스템이다.
특히, 중요한 건물에는 이러한 CCTV 시스템의 카메라가 여러 위치에 각각 설치된다. 그리고, 이를 감시하는 감시 인력이 용이하게 영상을 모니터링 할 수 있도록 비디오 월 시스템이 제공된다.
비디오 월 시스템(Video Wall System)은 복수 개의 모니터를 평면상으로 배치하여 복수 개의 모니터가 복수의 영상을 각각 하나씩 디스플레이 할 수도 있고, 복수 개의 모니터가 대 화면을 갖는 한 개의 모니터와 같이 동작하여 하나의 영상만을 디스플레이 할 수도 있도록 한 것이다. 따라서, 비디오 월 시스템은 감시 인력이 복수 개의 모니터를 통해 건물 전체의 보안 시스템을 한 눈에 감시하고, 상황 발생시 즉시 조치가 가능하도록 하는 보안실의 모니터링 시스템이다.
그런데, 이와 같이 복수의 카메라를 통해 입력되는 복수의 영상들 가운데, 사용자가 특정 영상을 검색하기 위해서는 종래에는 검색 조건으로 시간 만을 입력하여야 했다. 각각의 영상의 헤더 파일에는 영상이 획득된 시간만이 포함되었기 때문이다.
이를 해결하기 위해, 카메라가 영상을 획득하는 즉시 영상 분석을 하여, 객체에 대한 특징을 추출하여 그 정보를 함께 저장하는 기술이 소개되었다. 그러나, 이는 하나의 카메라, 즉 단채널 영상에 대하여만 검색할 수 있었다. 따라서 만약, 다채널 영상에 대하여도 이와 같이 적용한다면, 객체에 대한 데이터를 모두 저장하게 되어, 저장되는 데이터베이스가 과도하게 많아지고, 검색이 매우 느리게 되는 문제가 있었다.
한국특허등록 제0471927호 한국공개공보 제2012-0054236호
본 발명이 해결하고자 하는 과제는, 사용자가 특정 시간만이 아니라, 특정 객체 또는 특정 채널을 검색 조건으로 입력하여, 원하는 영상 데이터를 용이하게 검색할 수 있는 영상 검색 장치를 제공하는 것이다.
또한, 빠르게 다채널 영상을 검색하기 위해, 최소한의 데이터베이스만을 구축할 수 있는 데이터 저장 방법 및 장치를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 영상 검색 장치는 영상에 포함된 객체의 특징 정보를 전달받아 이벤트 객체 정보로서 업데이트하는 업데이트부; 사용자가 검색하고자 하는 객체의 특징 정보를 포함하는 비교 대상 객체 정보와, 상기 이벤트 객체 정보를 저장하는 저장부; 상기 이벤트 객체 정보와 상기 비교 대상 객체 정보 간의 유사도가 소정의 기준보다 높은 객체 정보를, 최종 객체 정보로서 상기 저장부에 기록하는 객체 정보 생성/삭제부; 및 상기 생성된 최종 객체 정보 중에서, 사용자로부터 입력된 검색 조건에 부합하는 데이터를 검색하는 데이터 검색부를 포함한다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 데이터 저장 방법은 영상에 포함된 객체의 특징 정보를 전달받아 이벤트 객체 정보로서 업데이트하는 단계; 사용자가 검색하고자 하는 객체의 특징 정보를 포함하는 비교 대상 객체 정보와, 상기 이벤트 객체 정보를 비교하는 단계; 및 상기 이벤트 객체 정보와 상기 비교 대상 객체 정보 간의 유사도가 소정의 기준보다 높은 객체 정보를, 최종 객체 정보로서 저장시키고, 상기 유사도가 소정의 기준보다 낮은 객체 정보를, 임시 객체 정보로서 저장시키는 단계를 포함한다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 데이터 저장 장치는 복수의 카메라로부터 획득된 영상에 포함된 객체의 특징 정보 각각을 메타데이터로 실시간으로 전송받아, 이벤트 객체 정보로서 업데이트하는 업데이트부; 사용자가 검색하고자 하는 객체의 특징 정보를 포함하는 비교 대상 객체 정보와, 상기 이벤트 객체 정보를 저장하는 저장부; 상기 이벤트 객체 정보와 상기 비교 대상 객체 정보 간의 유사도가 소정의 기준보다 낮은 객체 정보를, 임시 객체 정보로서 저장시키는 객체 정보 생성/삭제부; 및 상기 임시 객체 정보가 특정 기준을 충족하는지 여부를 판단하는 카운팅부를 포함한다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
최종 객체 정보에 채널 번호, 시간 및 객체 ID가 포함된다. 따라서, 복수의 채널로부터 획득하는 영상들에 대하여, 특정 객체 또는 특정 채널을 검색 조건으로 입력할 수도 있어, 사용자가 영상을 용이하게 검색할 수 있다.
또한, 최종 객체 정보에 사용자가 처음부터 관심이 있었던 객체의 정보 및 사용자가 추후에 관심을 가질 것으로 예상되는 객체의 정보가 포함되고, 사용자가 관심이 없을 것으로 예상되는 객체의 정보는 포함되지 않아, 최소한의 데이터베이스만을 구축하여, 빠르게 다채널 영상을 검색할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 영상 검색 시스템(1)의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 영상 검색 장치(10)의 구성을 나타낸 블록도이다.
도 4은 본 발명의 일 실시예에 따른 저장부(12)의 상세한 구성을 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 비교 대상 객체 정보(121)의 예시를 나타낸 테이블이다.
도 6는 본 발명의 일 실시예에 따른 이벤트 객체 정보(122)의 예시를 나타낸 테이블이다.
도 7은 본 발명의 일 실시예에 따른 최종 객체 정보(123)의 예시를 나타낸 테이블이다.
도 8은 본 발명의 일 실시예에 따른 제어부(11)의 상세한 구성을 나타낸 블록도이다.
도 9은 본 발명의 일 실시예에 따른 영상 검색 시스템(1)이 데이터를 저장하는 과정을 나타낸 동작 흐름도이다.
도 10는 본 발명의 일 실시예에 따른 영상 검색 시스템(1)이 데이터를 저장하는 방법을 나타낸 순서도이다.
도 11은 본 발명의 또 다른 실시예에 따른 영상 검색 시스템(1)이 데이터를 저장하는 과정을 나타낸 동작 흐름도이다.
도 12는 본 발명의 또 다른 실시예에 따른 영상 검색 시스템(1)이 데이터를 저장하는 방법을 나타낸 순서도이다.
도 13은 본 발명의 일 실시예에 따른 영상 검색 시스템(1)이 영상을 검색하는 과정을 나타낸 동작 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상 검색 시스템(1)의 구성도이다.
본 발명의 일 실시예에 따른 영상 검색 시스템(1)을 이용하면, 복수의 채널로부터 획득하는 영상들에 대하여, 특정 객체 또는 특정 채널을 검색 조건으로 입력하면 빠르고 용이하게 검색할 수 있다. 영상 검색 시스템(1)은 사용자가 영상을 용이하게 검색할 수 있도록 데이터베이스(Database, DB)를 구축하는 과정이 선행되어야 하며, 이를 위해 영상 검색 장치(10), 영상 검색 장치(10)에 연결된 적어도 하나의 영상 관리 장치(20), 각각의 영상 관리 장치(20)에 연결된 적어도 하나의 카메라(30)를 포함한다.
카메라(30)는 특정 영역을 촬영하여 특정 영역에 대한 이미지 신호를 수신함으로써 영상을 획득한다. 이를 위해 일반적으로 카메라(30)에는, CCD(Charge Coupled Device, 전하결합소자)나 CMOS 이미지 센서 등의 촬상 소자가 포함된다. 카메라(30)는 패닝(Panning), 틸팅(Tilting)이 가능한 팬틸트 카메라(30)인 것이 바람직하나, 이에 제한되지 않고 다양한 종류의 카메라(30)를 사용할 수 있다.
영상 관리 장치(20)는 네트워크를 통해 획득된 영상을 비롯한 이미지 및 음향 등 기타 멀티미디어 개체들을 카메라(30)로부터 전송받아 저장하고 표시한다. 영상 관리 장치(20)는 도 1에 도시된 바와 같이, 카메라(30)와 별도로 형성되어 영상의 저장 기능을 수행하는 NVR(Network Video Recoder) 또는 DVR(Digital Video Recoder)일 수 있다. 또는, 영상을 통합적으로 관리 및 제어하며, 원격으로 영상을 모니터링할 수도 있는 CMS(Central Management System) 또는 VMS(Central Management System)일 수도 있다. 나아가, 영상 관리 장치(20)는 퍼스널 컴퓨터(Personal Computer)일 수도 있고 휴대용 단말일 수도 있다. 다만 이는 예시적인 것으로 본 발명의 사상이 이에 제한되는 것은 아니며, 네트워크를 통하여 하나 이상의 단말로부터 멀티 미디어 개체를 전송 받아 디스플레이 및/또는 저장할 수 있는 장치이면 본 발명의 영상 관리 장치(20)로 제한 없이 사용될 수 있다.
영상 관리 장치(20)는 하나의 카메라(30)만 연결될 수 있는 단채널 영상 관리 장치(20)일 수도 있으나, 바람직하게는 복수의 카메라(30)와 동시에 연결될 수 있는 다채널 영상 관리 장치(20)일 수 있다. 그러나, 이에 제한되지 않고, 영상 관리 장치(20)는 각각의 카메라(30)에 내장될 수도 있으며, 이 경우에는 영상 검색 장치(10)가 카메라(30)와 직접 연결될 수도 있다.
영상 관리 장치(20)는 영상 분석(Video Analysis, VA) 기능을 수행할 수 있다. 여기서 영상 분석(VA) 기능이란, 영상 상에서 객체와 배경을 분리하고, 객체가 가진 특징들을 자동으로 추출할 수 있는 기능을 말한다. 객체와 배경을 분리하기 위해, 예를 들면 윈도우 탐색 기법을 사용할 수 있다. 그리고, 객체의 특징을 추출하기 위해서는 LBP, MCT와 같이 이진화 특징(Binary Coded Feature)으로 추출할 수도 있으나, SURF(Speeded-Up Robust Features), SIFT(Scale Invariant Feature Transform), HOG(Histogram of Oriented Gradient)와 같이, 추후에 히스토그램을 계산하게 되는 히스토그램 특징(Histogram Feature)으로 추출할 수도 있다. 영상 관리 장치(20)는 나아가, 얼굴 인식 기능을 수행할 수도 있다. 사람의 얼굴 영역을 검출하기 위해, 윈도우 탐색 기법을 사용할 수 있으며, 윈도우 내에 저장된 분류기로는 아다부스트(Adaboost), 랜덤 포레스트(Random Forest), SVM(Support Vector Machine), NN(Neural Network) 등 다양한 방법이 사용될 수 있다.
영상 관리 장치(20)가 영상 분석 기능을 수행하여 객체를 배경으로부터 분리하고, 객체가 가진 특징들을 추출하면, 이러한 영상 분석 결과를 메타데이터로 변환하여, 영상 검색 장치(10)로 전송한다.
영상 분석 기능을 영상 관리 장치(20)가 수행하는 것이 아니라, 카메라(30)가 수행할 수도 있다. 이러한 경우, 카메라(30)는 영상 관리 장치(20)에게 영상 스트리밍 데이터를 전송하면서, 영상 분석 결과 데이터를 영상 헤더 파일에 포함하여 함께 전송할 수도 있다. 영상 관리 장치(20)는 영상을 전송받으면, 영상 헤더 파일에 포함되어 있는 영상 분석 결과 데이터를 메타데이터로 변환하여, 영상 검색 장치(10)로 전송한다.
도면에 도시되지 않았으나, 영상 검색 시스템(1)에는 별도로 마련된 VA 엔진이 영상 분석(VA) 기능을 수행할 수도 있다. 이러한 경우에는, VA 엔진이 영상 관리 장치(20) 또는 카메라(30)로부터 영상 스트리밍 데이터를 전송받아, 영상 분석 기능을 수행한다. 그리고 영상 분석 결과 데이터를 메타데이터로 변환하여, 영상 검색 장치(10)로 전송할 수 있다.
만약, 영상 관리 장치(20)가 카메라(30)에 내장되어 있는 경우에는, 카메라(30)는 영상 분석 결과 데이터를 메타데이터로 변환하여 곧바로 영상 검색 장치(10)에 전송할 수도 있다.
지금까지 영상 검색 장치(10)와 영상 관리 장치(20)를 별개의 장치로 표현하였으나, 영상 검색 장치(10)가 하나의 영상 관리 장치(20)에 포함될 수도 있다. 이 경우에는 영상 검색 장치(10)가 포함된 영상 관리 장치(20)는 메인(Main) 영상 관리 장치(20)가 되고, 그 외의 영상 관리 장치(20)들은 서브(Sub) 영상 관리 장치(20)가 된다. 그리고, 서브 영상 관리 장치(20)들이 메인 영상 관리 장치(20)에 각각 메타데이터를 전송할 수도 있다.
즉, 영상 검색 장치(10)가 영상 분석 결과를 메타데이터로 전송받을 수 있다면, 영상 검색 시스템(1)은 다양하게 형성될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 검색 장치(10)의 구성을 나타낸 블록도이다.
영상 검색 장치(10)는 카메라(30) 또는 영상 관리 장치(20)로부터 전송받은 메타데이터를 분석하여, 영상에 포함된 객체의 특징 정보를 추출한다. 그리고, 기 저장된 객체의 특징 정보와 비교하여 사용자가 검색할 수 있는 데이터베이스(Database)를 구축한다. 이를 위해, 영상 검색 장치(10)는 제어부(11), 저장부(12), 입력부(14), 화면부(13)를 포함한다. 그리고, 이들 구성요소들은 버스(15)를 통해 상호간에 연결되어 통신할 수 있다. 제어부(11)에 포함된 모든 구성요소들은 적어도 하나의 인터페이스 또는 어댑터를 통해 버스(15)에 접속되거나, 직접 버스(15)에 연결될 수 있다. 또한, 버스(15)는 상기 기술한 구성요소 외에 다른 서브 시스템들과 연결될 수도 있다. 버스(15)는 메모리 버스, 메모리 컨트롤러, 주변 버스(Peripheral Bus), 로컬 버스를 포함한다.
제어부(11)는 영상 검색 장치(10)의 전반적인 동작을 제어한다. 예를 들어, 영상 관리 장치(20), 카메라(30) 또는 별도의 VA 엔진으로부터 메타데이터를 전송받으면, 메타데이터로부터 영상에 포함된 객체의 특징 정보를 추출하여 저장부(12)에 이벤트 객체 정보(122)로서 기록한다. 그리고, 상기 이벤트 객체 정보(122)와 기 저장된 비교 대상 객체 정보(121)를 비교하여, 그 결과에 따라 최종 객체 정보(123) 또는 임시 객체 정보(124)를 생성한다. 이렇게 생성된 최종 객체 정보(123) 및 임시 객체 정보(124) 등의 데이터베이스(Database)가 구축되면, 이를 이용하여 영상 검색을 수행한다. 제어부(11)로는 CPU(Central Processing Unit), MCU(Micro Controller Unit) 또는 DSP(Digital Signal Processor) 등을 사용하는 것이 바람직하나, 이에 제한되지 않고 다양한 논리 연산 프로세서가 사용될 수 있다. 제어부(11)에 대한 자세한 설명은 후술한다.
저장부(12)는 각종 객체 정보들을 저장하고, 제어부(11)에 의해 데이터베이스가 구축된다. 저장부(12)는 비휘발성 메모리 장치 및 휘발성 메모리 장치를 포함한다. 비휘발성 메모리 장치는 부피가 작고 가벼우며 외부의 충격에 강한 NAND 플래시 메모리이고, 휘발성 메모리 장치는 DDR SDRAM인 것이 바람직하다. 저장부(12)에 대한 자세한 설명은 후술한다.
영상 검색 장치(10)는 네트워크(40)에 연결될 수도 있다. 따라서 영상 검색 장치(10)는 다른 장치들과 네트워크(40)를 통하여 연결되어, 메타데이터를 포함한 각종 데이터 및 신호들을 송수신할 수 있다. 이 때, 네트워크 인터페이스(41)는 네트워크(40)로부터 하나 이상의 패킷의 형태로 된 통신 데이터를 수신하고, 영상 검색 장치(10)는 제어부(11)의 처리를 위해 상기 수신된 통신 데이터를 저장할 수 있다. 마찬가지로, 영상 검색 장치(10)는 송신한 통신 데이터를 하나 이상의 패킷 형태로 저장부(12)에 저장하고, 네트워크 인터페이스(41)는 상기 통신 데이터를 네트워크(40)로 송신할 수 있다.
네트워크 인터페이스(41)는 네트워크 인터페이스(41) 카드, 모뎀 등을 포함할 수 있고, 네트워크(40)는 인터넷, WAN(wide area network), LAN(local area network), 전화 네트워크(40), 직접 연결 통신 등 다양한 유무선 통신 방법을 포함할 수 있다.
화면부(13)는 사용자가 입력한 검색 조건에 따라 수행한 검색 결과를, 사용자가 볼 수 있도록 디스플레이한다. 만약, 영상 검색 장치(10)가 터치 기능을 제공하지 않는다면, 입력부(14)가 별도로 마련된다. 일반적으로 가장 많이 사용되는 입력부(14)로는 마우스, 키보드, 조이스틱, 리모콘 등이 있다. 이러한 입력부는 직렬 포트, 병렬포트, 게임 포트, USB 등을 포함하는 입력 인터페이스(141)를 통해 버스(15)에 연결될 수 있다. 그러나 만약 영상 검색 장치(10)가 터치 기능을 제공한다면, 화면부(13)는 터치 센서를 포함할 수 있다. 이 경우에는 입력부(14)가 별도로 마련될 필요가 없고, 사용자가 화면부(13)를 통해 직접 터치 신호를 입력할 수 있다. 터치는 손가락을 이용하여 수행될 수도 있으나, 이에 제한되지 않고, 미세 전류가 흐를 수 있는 팁이 장착된 스타일러스 펜 등을 이용하여 수행될 수도 있다. 영상 검색 장치(10)가 터치 기능을 제공하더라도, 화면부(13)가 터치 센서를 포함하지 않는다면 별도의 터치 패드가 입력부(14)로서 마련될 수도 있다.
화면부(13)는 LCD(Liquid Crystal Display), OLED(Organic Liquid Crystal Display), CRT(Cathode Ray Tube), PDP(Plasma Display Panel) 등 다양한 방식이 사용될 수 있다. 이러한 화면부(13)는 비디오 인터페이스(131)를 통하여 버스(15)에 연결되고, 화면부(13)와 버스(15) 간의 데이터 전송은 그래픽 컨트롤러(132)에 의해 제어될 수 있다.
도 3은 본 발명의 다른 실시예에 따른 영상 검색 장치(10)의 구성을 나타낸 블록도이다.
영상 검색 장치(10)는 하나의 모듈로 형성될 수 있으나, 이에 제한되지 않고, 다른 여러 장치들의 조합으로 형성될 수도 있다. 본 발명의 다른 실시예에 따른 영상 검색 장치(10a)는, 데이터베이스를 구축하는 데이터 저장 장치(101) 및 사용자로부터 영상 데이터의 검색 조건을 입력받고 검색 결과를 사용자에게 디스플레이 하며 영상 스트리밍 데이터를 전송받아 디스플레이 하는 콘솔(Console)(102)을 포함한다.
데이터 저장 장치(101)는 제어부(11a), 저장부(12a)를 포함하고, 콘솔(102)은 입력부(14), 화면부(13)를 포함한다. 그리고, 이들 구성요소들은 각각 버스(15a, 15b)를 통해 상호간에 연결되어 통신할 수 있다. 여기서 콘솔(102)은 하나일 수 있으나, 복수의 사용자가 함께 사용할 수 있도록 복수로 형성될 수도 있다.
본 발명의 다른 실시예에 따른 영상 검색 장치(10a)에 포함된 구성요소 가운데, 본 발명의 일 실시예에 따른 영상 검색 장치(10)와 동일한 구성요소는, 자세한 설명을 생략한다. 다만, 구성요소가 본 발명의 여러 실시예들에 부합하도록 약간의 변경이 있을 수 있다. 그러나, 통상의 기술자가 용이하게 변경할 수 있는 범위에 포함되므로, 자세한 설명을 생략하더라도 통상의 기술자가 본 발명의 여러 실시예들을 용이하게 구현할 수 있다.
도 4는 본 발명의 일 실시예에 따른 저장부(12)의 상세한 구성을 나타낸 블록도이고, 도 5는 본 발명의 일 실시예에 따른 비교 대상 객체 정보(121)의 예시를 나타낸 테이블이다.
저장부(12)는 도 4에 도시된 바와 같이, 비교 대상 객체 정보(121), 이벤트 객체 정보(122), 최종 객체 정보(123) 및 임시 객체 정보(124)를 저장한다.
비교 대상 객체 정보(121)는, 하기 기술할 이벤트 객체 정보(122)로부터 사용자가 검색하고자 하는 객체의 특징 정보를 추출하도록 비교의 대상이 되는 객체 정보이다. 이러한 비교 대상 객체 정보(121)는 사용자가 직접 입력할 수도 있으나, 다른 장치로부터 전송받거나, 서버로부터 다운로드 받을 수도 있다.
비교 대상 객체 정보(121)는 객체 ID, 특성 코드(Code), 특성 값(Value) 등의 속성을 항목으로 가질 수 있다. 그리고, 사용자는 이러한 속성 항목에 맞게 직접 객체 정보를 입력할 수 있다. 예를 들어 도 5에 도시된 바와 같이, 사용자는 객체 ID가 1인 객체를, 상의 색상이 빨간색(Red)이고, 키는 대략 170이며, 머리 색상은 검은색(Black)인 객체로 설정할 수 있다. 그리고, 객체 ID가 2인 객체를, 안경을 착용하고, 신발이 노란색(Yellow)인 객체로 설정할 수 있다.
도 6은 본 발명의 일 실시예에 따른 이벤트 객체 정보(122)의 예시를 나타낸 테이블이다.
이벤트 객체 정보(122)는, 카메라(30)가 촬영하여 획득한 영상으로부터 추출된 객체의 특징 정보이다. 카메라(30)는 실시간으로 특정 영역을 촬영하여 영상을 획득한다. 그리고 불시에 객체가 나타나면, 그 때마다 영상 관리 장치(20), 카메라(30) 또는 별도의 VA 엔진이 영상 분석을 통해 상기 영상으로부터 객체의 특징을 추출한다. 그리고, 객체의 특징 정보가 포함된 영상 분석 결과 데이터를 메타데이터의 형태로 변환하여 영상 검색 장치(10)로 전송한다. 제어부(11)는 전송받은 메타데이터에서 객체의 특징을 추출한 후, 추출된 객체의 특징 정보를 이벤트 객체 정보(122)로서 실시간으로 업데이트하여 저장부(12)에 기록한다. 제어부(11)는 추후에, 이벤트 객체 정보(122)와 비교 대상 객체 정보(121)를 비교하여 유사도를 판단한다.
이벤트 객체 정보(122)는 도 6에 도시된 바와 같이, 특정 객체의 특징을 나타낼 수 있는 다양한 속성 항목들을 포함한다. 예를 들어, 2016년 11월 16일 3시 30분 5초에 1번 채널의 카메라(30)로부터 촬영된 객체는, 상의 색상이 빨간색(Red), 키는 대략 170, 머리 색상은 검은색(Black), 안경 미착용(N), 신발 색상은 흰색(White), 하의 색상은 파란색(Blue)인 사람이다. 3시 33분 20초에 2번 채널의 카메라(30)로부터 촬영된 객체는, 상의 색상이 검은색(Black), 키는 대략 165, 머리 색상은 검은색(Black), 안경 착용(Y), 신발 색상은 노란색(Yellow), 하의 색상은 흰색(White)인 사람이다. 3시 45분 25초에 2번 채널의 카메라(30)로부터 촬영된 객체는, 차량번호가 3864, 차량 색상은 흰색(White)인 차량이다. 3시 57분 49초에 4번 채널의 카메라(30)로부터 촬영된 객체는, 상의 색상이 회색(Gray), 키는 대략 160, 머리 색상은 갈색(Brown), 안경 미착용(N), 신발 색상은 흰색(White), 하의 색상은 흰색(White)인 사람이다. 4시 0분 3초에 3번 채널의 카메라(30)로부터 촬영된 객체는, 상의 색상이 검은색(Black), 키는 대략 165, 머리 색상은 검은색(Black), 안경 착용(Y), 신발 색상은 노란색(Yellow), 하의 색상은 흰색(White)인 사람이다. 4시 1분 5초에 4번 채널의 카메라(30)로부터 촬영된 객체는, 상의 색상이 빨간색(Red), 키는 대략 170, 머리 색상은 검은색(Black), 안경 미착용(N), 신발 색상은 흰색(White), 하의 색상은 파란색(Blue)인 사람이다.
이벤트 객체 정보(122)는, 메타데이터에서 추출된 객체의 특징 정보가 업데이트 된다. 그런데 메타데이터는, 불시에 객체가 나타날 때마다 영상 관리 장치(20), 카메라(30) 또는 별도의 VA 엔진의 영상 분석을 통해 실시간으로 생성된다. 시간이 흐를수록, 이벤트 객체 정보(122)의 데이터량은 계속적으로 증가한다. 그러면 저장부(12)에 구축되는 데이터베이스가 너무 많아지는 문제가 있다. 따라서, 이벤트 객체 정보(122)는, 특정 데이터 사이즈를 초과하거나 특정 기간이 도과하면 자동으로 삭제되는 것이 바람직하다.
도 7은 본 발명의 일 실시예에 따른 최종 객체 정보(123)의 예시를 나타낸 테이블이다.
최종 객체 정보(123)는, 이벤트 객체 정보(122)와 비교 대상 객체 정보(121) 가운데 유사도가 높은 객체의 특징 정보이다. 유사도가 높다는 것은, 이벤트 객체 정보(122)와 비교 대상 객체 정보(121)의 비교 항목 중에서, 내용이 일치하는 속성 항목이 상당히 많다는 것을 의미한다. 반대로 유사도가 낮다는 것은 이벤트 객체 정보(122)와 비교 대상 객체 정보(121) 간에 내용이 일치하는 속성 항목이 적다는 것을 의미한다. 내용이 일치하는 항목의 많고 적음의 기준은 다양하게 설정될 수 있으나, 대략 80% 이상의 항목의 내용이 일치한다면 유사도가 높다고 판단하는 것이 바람직하다.
즉, 비교부(112)가 이벤트 객체 정보(122)와 비교 대상 객체 정보(121)의 유사도를 판단할 때에는, 비교 대상 객체 정보(121)에 입력된 항목을 기준으로 판단한다. 즉, 이벤트 객체 정보(122)에 포함된 복수의 객체들 상호 간의 유사도를 판단하는 것이 아니다.
제어부(11)는 이벤트 객체 정보(122)와 기 저장된 비교 대상 객체 정보(121)를 비교한다. 그리고 이벤트 객체 정보(122)와 비교 대상 객체 정보(121) 가운데 유사도가 높은 객체에 대하여는 최종 객체 정보(123)를 생성하여 저장부(12)에 기록한다. 유사도가 높은 객체는 사용자가 관심이 있는 객체이기 때문이다.
예를 들어 도 5의 비교 대상 객체 정보(121)와, 도 6의 이벤트 객체 정보(122)를 비교하면, 사용자는 비교 대상 객체 정보(121)에서 상의 색상이 빨간색(Red), 키는 대략 170, 머리 색상은 검은색(Black)인 객체의 객체 ID를 1로 설정하였다. 그런데 이벤트 객체 정보(122)에서 2016년 11월 16일 3시 30분 5초에 1번 채널의 카메라(30)로부터 촬영된 객체와 4시 1분 5초에 4번 채널의 카메라(30)로부터 촬영된 객체는, 상의 색상이 빨간색(Red), 키는 대략 170, 머리 색상은 검은색(Black)이다. 따라서, 3시 30분 5초에 1번 채널의 카메라(30)로부터 촬영된 객체와 4시 1분 5초에 4번 채널의 카메라(30)로부터 촬영된 객체는 동일한 객체 ID인 1을 부여한다. 사용자는 비교 대상 객체 정보(121)에 객체 ID가 1인 객체에 대하여 안경 유무, 신발 색상 등을 입력하지 않았다. 따라서, 비교부(112)가 비교 대상 객체 정보(121)와 이벤트 객체 정보(122)를 비교할 때, 안경 유무, 신발 색상 등은 고려 대상이 아니다. 따라서 만약, 3시 30분 5초에 1번 채널의 카메라(30)로부터 촬영된 객체와 4시 1분 5초에 4번 채널의 카메라(30)로부터 촬영된 객체가 안경 유무 또는 신발 색상이 다르더라도, 두 객체를 동일한 객체로 판단하고 동일한 객체 ID인 1을 부여한다.
또한, 사용자는 비교 대상 객체 정보(121)에서 안경을 착용하고, 신발이 노란색(Yellow)인 객체는 객체 ID를 2로 설정하였다. 그런데 이벤트 객체 정보(122)에서 2016년 11월 16일 3시 33분 20초에 2번 채널의 카메라(30)로부터 촬영된 객체와 4시 0분 3초에 3번 채널의 카메라(30)로부터 촬영된 객체는, 안경을 착용하고, 신발이 노란색(Yellow)이다. 따라서, 3시 33분 20초에 2번 채널의 카메라(30)로부터 촬영된 객체와 4시 0분 3초에 3번 채널의 카메라(30)로부터 촬영된 객체는 동일한 객체 ID인 2를 부여한다. 마찬가지로 사용자는 비교 대상 객체 정보(121)에 객체 ID가 2인 객체에 대하여 상의 색상, 키 등을 입력하지 않았다. 따라서, 비교부(112)가 비교 대상 객체 정보(121)와 이벤트 객체 정보(122)를 비교할 때, 상의 색상, 키 등은 고려 대상이 아니다. 따라서 만약, 3시 33분 20초에 2번 채널의 카메라(30)로부터 촬영된 객체와 4시 0분 3초에 3번 채널의 카메라(30)로부터 촬영된 객체가 상의 색상 또는 키가 다르더라도, 두 객체를 동일한 객체로 판단하고 동일한 객체 ID인 2를 부여한다.
이와 같이 이벤트 객체 정보(122)와 비교 대상 객체 정보(121) 가운데 유사도가 높은 객체가 존재하는 경우, 제어부(11)는 그 객체의 특징 정보를 최종 객체 정보(123)로서 저장부(12)에 기록한다. 도 7에 도시된 바와 같이, 객체 ID로 1 및 2가 부여된 상기 객체들은 채널, 날짜, 시간 및 객체 ID의 항목을 포함하는 최종 객체 정보(123)가 된다. 이 때, 최종 객체 정보(123)에는 이벤트 객체 정보(122)에 포함된 상의 색상, 키 등의 모든 항목이 포함될 필요가 없다. 따라서, 저장부에 구축되는 데이터베이스의 양을 더욱 축소시키기 위해, 최종 객체 정보(123)에 포함되는 항목의 수는 이벤트 객체 정보(122)에 포함되는 항목의 수보다 더 적은 것이 바람직하다. 특히 도 7에 도시된 바와 같이, 최종 객체 정보(123)는 채널, 날짜, 시간 및 객체 ID의 항목만을 가지는 것이 더욱 바람직하다.
반면에 임시 객체 정보(124)는, 이벤트 객체 정보(122)와 비교 대상 객체 정보(121) 가운데 유사도가 낮은 객체의 특징 정보이다. 유사도가 낮은 객체에 대하여는 사용자의 관심이 있는 객체가 아니므로, 최종 객체 정보(123)로서 저장부(12)에 저장할 필요가 없이 곧바로 삭제할 수 있다.
그러나, 사용자가 초기에 비교 대상 객체 정보(121)에 입력하지 않았더라도, 추후에 특정 객체에 대하여 관심을 가질 수도 있다. 예를 들면, 카메라(30)의 영상을 모니터링 하는 도중에, 너무 자주 출몰하거나 수상한 행동을 하는 객체가 눈에 띌 수도 있다. 이 때 사용자는 이러한 객체에 대하여도 검색을 수행할 수 있어야 한다. 따라서, 유사도가 낮은 객체라 하더라도 제어부(11)는 저장부(12)에 임시 객체 정보(124)로서 일단 임시로 기록한다. 예를 들어, 도 6의 이벤트 객체 정보(122)에서 2016년 11월 16일 3시 45분 25초에 2번 채널의 카메라(30)로부터 촬영된 객체와 3시 57분 49초에 4번 채널의 카메라(30)로부터 촬영된 객체는 비교 대상 객체 정보(121)와 유사도가 낮다. 제어부(11)는 이러한 객체 정보들을 임시 객체 정보(124)로서 저장부(12)에 기록한다.
그리고 제어부(11)는 임시 객체 정보(124)가 특정 기준을 충족하는지 여부를 판단한다. 임시 객체 정보(124)가 특정 기준을 충족하면, 최종 객체 정보(123)에 업데이트한다. 그러면 사용자가 추후에 유사도가 낮은 객체에 대하여 검색하더라도, 그에 따른 검색 결과가 도출될 수 있다. 또한, 임시 객체 정보(124)가 특정 기준을 충족하면, 비교 대상 객체 정보(121)에도 업데이트한다. 따라서, 나중에 업데이트되는 이벤트 객체 정보(122)와 비교하였을 때, 초기에 유사도가 낮았던 객체는 추후에 유사도가 높아져서 곧바로 저장부(12)에 최종 객체 정보(123)로서 저장될 수 있다.
만약, 임시 객체 정보(124)가 특정 기준을 충족하지 못한다면, 사용자가 추후에도 관심을 가질 확률이 적다. 따라서, 저장 공간의 여유를 확보하기 위해 일정 시간이 지난 후에 자동으로 임시 객체 정보(124)가 삭제되는 것이 바람직하다.
여기서 특정 기준이란, 사용자가 초기에는 관심이 없던 특정 객체에 대하여, 추후에 관심을 가지게 될 만한 조건을 말한다. 예를 들면 상기 기술한 바와 같이, 너무 자주 출몰하거나 수상한 행동을 하는 객체가 나타나면, 사용자가 카메라(30)의 영상을 모니터링 하는 도중에 관심을 가질 수 있다. 따라서, 특정 기준은 특정 객체의 출몰 빈도 수, 또는 특정 객체가 수상한 행동을 하는 빈도 수 등을 포함할 수 있다. 그리고, 수상한 행동은 예를 들면, 걸음걸이가 부자연스러운 행동, 주변을 살피기 위해 과도하게 고개를 돌리거나 눈동자를 돌리는 행동, 일정 거리를 유지하며 타 객체를 끈질기게 쫓아다니는 행동 등이 될 수 있다. 이러한 수상한 행동 또는 특정 기준도 영상 관리 장치(20), 카메라(30) 또는 별도의 VA 엔진의 영상 분석을 통해 판단될 수 있다.
도 8은 본 발명의 일 실시예에 따른 제어부(11)의 상세한 구성을 나타낸 블록도이다.
제어부(11)는 상기 이벤트 객체 정보(122)와 기 저장된 비교 대상 객체 정보(121)를 비교하고, 그 결과에 따라 최종 객체 정보(123) 또는 임시 객체 정보(124)를 생성하여 데이터베이스(Database)를 구축한다. 그리고 사용자가 영상을 검색하기 위한 검색 조건을 입력하면, 그에 따라 영상을 검색한다. 제어부(11)는 이를 위해, 업데이트부(111), 객체 정보 생성/삭제부(113), 비교부(112), 카운팅부(114), 데이터 검색부(115)를 포함한다.
업데이트부(111)는 각종 객체 정보들을 업데이트하여 저장부(12)에 저장시킨다. 구체적으로, 업데이트부(111)는 메타데이터에서 추출된 객체의 특징 정보를 이벤트 객체 정보(122)로서 업데이트하여 저장부(12)에 기록한다. 그리고, 이벤트 객체 정보(122)와 비교 대상 객체 정보(121) 가운데 유사도가 높은 객체의 특징 정보를 최종 객체 정보(123)로서 업데이트하여 저장부(12)에 기록한다. 또한, 임시 객체 정보(124)가 특정 기준을 충족하면, 최종 객체 정보(123) 및 비교 대상 객체 정보(121)로서 업데이트하여 저장부(12)에 기록한다.
비교부(112)는 업데이트된 이벤트 객체 정보(122)와 기 저장된 비교 대상 객체 정보(121)를 비교한다. 그리고 그 유사도에 따라 객체 정보 생성/삭제부(113)에 최종 객체 정보(123) 또는 임시 객체 정보(124)를 생성하도록 한다. 구체적으로, 이벤트 객체 정보(122)와 비교 대상 객체 정보(121) 가운데 유사도가 높은 객체의 경우, 비교부(112)는 객체 정보 생성/삭제부(113)가 최종 객체 정보(123)를 생성하도록 한다. 그런데, 유사도가 낮은 객체의 경우, 객체 정보 생성/삭제부(113)가 임시 객체 정보(124)를 생성하도록 한다.
객체 정보 생성/삭제부(113)는 비교부(112)가 이벤트 객체 정보(122)와 비교 대상 객체 정보(121)를 비교한 결과에 따라, 최종 객체 정보(123) 또는 임시 객체 정보(124)를 생성한다. 그리고, 임시 객체 정보(124)가 특정 기준을 충족하지 못하면, 일정 시간이 지난 후에 임시 객체 정보(124)를 삭제한다. 이렇게 생성된 최종 객체 정보(123) 및 임시 객체 정보(124) 등의 데이터베이스(Database)가 구축되면, 데이터 검색부(115)가 이를 이용하여 영상 검색을 수행한다.
카운팅부(114)는 임시 객체 정보(124)가 특정 기준을 충족하는지 여부를 판단한다. 예를 들어 상기 기술한 바와 같이, 특정 기준은 특정 객체의 출몰 빈도 수, 또는 특정 객체가 수상한 행동을 하는 빈도 수 등이 될 수 있다. 따라서, 카운팅부(114)는 특정 객체의 출몰 빈도 수를 카운팅 하거나, 특정 객체가 수상한 행동을 하는 빈도 수를 카운팅 할 수 있다. 임시 객체 정보(124)가 특정 기준을 충족하는 경우, 업데이트부(111)가 최종 객체 정보(123) 및 비교 대상 객체 정보(121)에 업데이트한다. 그러나, 임시 객체 정보(124)가 특정 기준을 충족하지 못한다면, 객체 정보 생성/삭제부(113)가 일정 시간이 지난 후에 임시 객체 정보(124)를 삭제한다.
데이터 검색부(115)는 사용자가 영상을 검색하기 위해 검색 조건을 입력하면, 저장부(12)에 저장된 최종 객체 정보(123)만을 검색하여 검색 결과를 도출한다. 상기 기술한 데이터베이스를 구축하는 과정에서, 최종 객체 정보(123)에는 사용자가 처음부터 관심이 있었던 객체의 정보 및 사용자가 추후에 관심을 가질 것으로 예상되는 객체의 정보가 포함되어 있다. 그리고, 사용자가 관심이 없을 것으로 예상되는 객체의 정보는 포함되지 않는다. 따라서, 저장부(12)에 최소한의 데이터베이스만을 구축하여, 데이터 검색부(115)가 빠르게 다채널 영상을 검색할 수 있다.
지금까지 기술한 영상 검색 장치(10)의 각 구성요소들은 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 쓰레드, 프로그램과 같은 소프트웨어(software)나, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소들은 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
도 9는 본 발명의 일 실시예에 따른 영상 검색 시스템(1)이 데이터를 저장하는 과정을 나타낸 동작 흐름도이고, 도 10은 본 발명의 일 실시예에 따른 영상 검색 시스템(1)이 데이터를 저장하는 방법을 나타낸 순서도이다.
상기 기술한 바와 같이, 영상 검색 시스템(1)을 이용하여 복수의 채널로부터 획득하는 영상들에 대하여 빠르고 용이하게 검색하기 위해, 데이터를 저장하여 데이터베이스를 구축하는 과정이 선행되어야 한다. 이하, 본 발명의 일 실시예에 따른 영상 검색 시스템(1)이 데이터를 저장하는 과정을 도 9 및 도 10과 함께 설명한다.
본 발명의 일 실시예에 따른 영상 검색 시스템(1)이 데이터를 저장하기 위해, 우선, 비교 대상 객체 정보(121)가 영상 검색 장치(10)에 기 저장되어 있어야 한다. 예를 들어, 사용자가 비교 대상 객체 정보(121)를 직접 입력부(14)를 통해 입력한다. 이렇게 입력된 비교 대상 객체 정보(121)는 저장부(12)에 저장된다(S901, S1001).
한편, 영상 검색 장치(10)는 영상 관리 장치(20), 카메라(30) 또는 별도의 VA 엔진으로부터 메타데이터를 전송받는다(S902). 카메라(30)는 실시간으로 특정 영역을 촬영하여 영상을 획득한다. 그리고, 불시에 객체가 나타나면, 그 때마다 객체의 특징에 대한 정보가 담긴 메타데이터가 영상 검색 장치(10)에 전송된다. 영상 검색 장치(10)의 업데이트부(111)는 메타데이터를 전송받을 때마다 분석하여, 영상에 포함된 객체의 특징 정보를 추출한다. 그리고 추출된 객체의 특징 정보를 이벤트 객체 정보(122)로서 실시간으로 업데이트하여 저장부(12)에 기록한다(S903, S1002).
비교부(112)는 업데이트된 이벤트 객체 정보(122)와 기 저장된 비교 대상 객체 정보(121)를 비교한다(S904, S1003). 그리고 이벤트 객체 정보(122)와 비교 대상 객체 정보(121) 가운데 유사도가 높은 객체에 대하여는(S905, S1004) 객체 정보 생성/삭제부(113)가 최종 객체 정보(123)를 생성하여 저장부(12)에 저장시킨다(S906, S1005). 그런데, 유사도가 낮은 객체에 대하여는(S907, S1004), 객체 정보 생성/삭제부(113)가 임시 객체 정보(124)를 생성하여 저장부(12)에 저장시킨다(S908, S1006).
카운팅부(114)는 임시 객체 정보(124)가 특정 기준을 충족하는지 여부를 판단한다(S909, S1007). 임시 객체 정보(124)가 특정 기준을 충족하는 경우(S910), 업데이트부(111)는 최종 객체 정보(123) 및 비교 대상 객체 정보(121)에 업데이트한다(S911, S912, S1008). 그러나, 임시 객체 정보(124)가 특정 기준을 충족하지 못한다면(S913), 일정 시간이 지난 후에 객체 정보 생성/삭제부(113)가 임시 객체 정보(124)를 삭제한다(S914, S1009).
도 11은 본 발명의 또 다른 실시예에 따른 영상 검색 시스템(1)이 데이터를 저장하는 과정을 나타낸 동작 흐름도이고, 도 12는 본 발명의 또 다른 실시예에 따른 영상 검색 시스템(1)이 데이터를 저장하는 방법을 나타낸 순서도이다.
본 발명의 또 다른 실시예에 따른 영상 검색 시스템(1)은, 본 발명의 일 실시예에 따른 영상 검색 시스템(1)과 달리, 비교 대상 객체 정보(121)가 존재하지 않는다. 즉, 사용자가 미리 객체 정보를 직접 입력하거나, 서버 또는 외부로부터 객체 정보를 미리 전송받을 필요가 없다.
그리고, 본 발명의 또 다른 실시예에 따른 영상 검색 시스템(1)은 임시 객체 정보(124)도 존재하지 않는다. 따라서, 임시 객체 정보(124)가 특정 기준을 충족하는지 여부를 판단하는 카운팅부(114)도 존재할 필요가 없다. 이하, 본 발명의 또 다른 실시예에 따른 영상 검색 시스템(1)이 데이터를 저장하는 과정을 도 11 및 도 12와 함께 설명한다.
영상 검색 장치(10b)는 영상 관리 장치(20), 카메라(30) 또는 별도의 VA 엔진으로부터 메타데이터를 전송받는다(S1101). 영상 검색 장치(10b)의 업데이트부(111a)는 메타데이터를 전송받을 때마다 분석하여, 영상에 포함된 객체의 특징 정보를 추출한다. 그리고 추출된 객체의 특징 정보를 이벤트 객체 정보(122a)로서 실시간으로 업데이트하여 저장부(12)에 기록한다(S1102, S1201).
상기 기술한 바와 같이, 메타데이터로부터 객체의 특징 정보가 새롭게 추출될 때마다, 이벤트 객체 정보(122a)에 업데이트된다. 이와 동시에, 비교부(122a)는 저장부(12b)에 기 저장되어 있던 이벤트 객체 정보(122a)와 상기 새롭게 추출된 객체의 특징 정보를 비교한다(S1103, S1202). 이 때, 비교부(122a)는 상기 새롭게 추출된 객체의 특징 정보를 업데이트부(111a)로부터 곧바로 전달받고, 저장부(12b)로부터는 기 저장되어 있던 이벤트 객체 정보(122a)만을 로딩하여 비교하는 것이 바람직하다. 상기 새롭게 추출된 객체의 특징 정보가 저장부(12b)를 거칠 필요가 없으므로 시간이 더욱 절약될 수 있기 때문이다. 그러나 이에 제한되지 않고, 비교부(122a)는 상기 새롭게 추출된 객체의 특징 정보가 이벤트 객체 정보(122a)로서 업데이트된 후, 상기 새롭게 추출된 객체의 특징 정보와 기 저장되어 있던 이벤트 객체 정보(122a)를 모두 저장부(12b)로부터 로딩하여 비교할 수도 있다.
비교부(122a)는 저장부(12b)에 기 저장되어 있던 이벤트 객체 정보(122a)와 상기 새롭게 추출된 객체의 특징 정보의 유사도를 판단한다(S1203). 그리고 이벤트 객체 정보(122)와 비교 대상 객체 정보(121) 가운데 유사도가 높은 객체에 대하여는(S1104) 객체 정보 생성/삭제부(113)가 최종 객체 정보(123)를 생성하여 저장부(12)에 기록한다(S1105, S1204). 그런데, 유사도가 낮은 객체에 대하여는(S1106), 객체 정보 생성/삭제부(113a)가 일정 시간이 지난 후에 이벤트 객체 정보(122a)에서 삭제한다(S1107, S1205). 유사도가 높다는 것은, 저장부(12b)에 기 저장되어 있던 이벤트 객체 정보(122a)와 상기 새롭게 추출된 객체의 특징 정보의 비교 항목 중에서, 내용이 일치하는 속성 항목이 상당히 많다는 것을 의미한다. 반대로 유사도가 낮다는 것은 저장부(12b)에 기 저장되어 있던 이벤트 객체 정보(122a)와 상기 새롭게 추출된 객체의 특징 정보 간에 내용이 일치하는 속성 항목이 적다는 것을 의미한다. 내용이 일치하는 항목의 많고 적음의 기준은 다양하게 설정될 수 있으나, 대략 80% 이상의 항목의 내용이 일치한다면 유사도가 높다고 판단하는 것이 바람직하다.
본 발명의 또 다른 실시예에 따른 영상 검색 장치(10b)에 포함된 구성요소 가운데, 본 발명의 일 실시예에 따른 영상 검색 장치(10)와 동일한 구성요소는, 자세한 설명을 생략한다. 다만, 구성요소가 본 발명의 여러 실시예들에 부합하도록 약간의 변경이 있을 수 있다. 그러나, 통상의 기술자가 용이하게 변경할 수 있는 범위에 포함되므로, 자세한 설명을 생략하더라도 통상의 기술자가 본 발명의 여러 실시예들을 용이하게 구현할 수 있다.
도 13은 본 발명의 일 실시예에 따른 영상 검색 시스템(1)이 영상을 검색하는 과정을 나타낸 동작 흐름도이다.
상기 기술한 바와 같이, 최종 객체 정보(123)에는 채널 번호, 날짜, 시간 및 객체 ID가 포함된다. 따라서, 사용자는 복수의 채널로부터 획득하는 영상들에 대하여, 특정 시간뿐만 아니라 특정 객체 또는 특정 채널을 검색 조건으로 입력부(14)를 통해 입력하여 용이하게 검색할 수 있다.
구체적으로 도 13에 도시된 바와 같이, 사용자가 영상을 검색하기 위해 검색 조건을 입력하면(S1301), 제어부(11)의 데이터 검색부(115)는 저장부(12)에 저장된 최종 객체 정보(123)만을 검색하여 검색 결과를 도출한다(S1302).
한편 도면에 도시되지는 않았으나, 저장부(12)에는 각각의 영상들에 대한 대표 이미지가 더 저장될 수도 있다. 본 발명의 일 실시예에 따르면, 저장부(12)에 구축되는 데이터베이스의 양을 더욱 축소해야 한다. 그런데, 영상 스트리밍 데이터는 데이터 사이즈가 방대하고, 대표 이미지는 영상 스트리밍 데이터에 비하여 데이터 사이즈가 훨씬 작다. 따라서, 영상 스트리밍 데이터는 저장부(12)에 저장되는 것이 아니라 영상 관리 장치(20)에 저장된다. 그리고, 저장부(12)에는 해당 영상 스트리밍 데이터에 대응되는 대표 이미지가 저장될 수 있다. 여기서 대표 이미지는, 영상에 포함되는 객체가 표시되는 것이 바람직하다.
상기 도출된 검색 결과는 화면부(13)를 통해 디스플레이 되어, 사용자가 확인할 수 있다(S1303). 이 때, 화면부(13)에는 검색 결과로 도출되는 여러 영상들의 대표 이미지들이, 섬네일(Thumbnail)로써 사용자에게 디스플레이 될 수 있다. 사용자가 특정 대표 이미지를 선택하면, 선택된 대표 이미지에 대응되는 영상 스트리밍 데이터가 영상 관리 장치(20)로부터 로딩된다. 그리고, 화면부(13)에서 해당 영상이 디스플레이 된다.
본 발명의 다른 실시예에 의하면, 사용자가 영상 검색을 수행할 때, 특정 객체 ID를 미리 알 수 없는 경우가 있다. 이 경우, 사용자는 검색을 원하는 특정 객체가 나타났을 만한 특정 채널과 특정 시간을 검색 조건으로 입력하여, 상기 채널과 상기 시간에 등장한 모든 객체리스트를 확인할 수 있다. 가령, 상기 사용자 입력에 대한 결과로서 화면부(13)를 통해 상기 채널의 상기 시간에 등장한 모든 객체들의 객체 ID가, 대표 이미지와 함께 시간순으로 또는 빈도순으로 표시될 수 있다. 이 때, 사용자는 상기 표시된 대표 이미지를 통해 사용자가 검색하고자 하는 특정 객체의 객체 ID를 확인할 수 있다. 이 과정에서 사용자는 비교부(112a)에 의해 유사하다고 판단되어 동일한 객체 ID를 가지나, 실제 동일하지 않은 객체를 상기 대표이미지 확인을 통해 골라낼 수 있다. 예를 들어, 동일한 객체 ID를 가졌으나 대표이미지 상 객체가 상이하다고 사용자가 판단한 경우, 사용자는 제외를 원하는 대표이미지를 소정의 방식으로 선택함으로써 최종 객체 정보(123a)에서 제외시키거나 후술될 재생 처리 시에 상기 객체를 제외시킬 수 있다. 이 경우, 비교부(112a)가 판단한 유사 객체의 정보를 사용자가 한번 더 검증함으로써 더욱 더 정교한 검색을 달성할 수 있다. 그 이후, 사용자는 상기 확인된 특정 객체 ID를 검색 조건으로 입력하여 재검색을 수행할 수 있다.
또는 만약, 사용자가 처음부터 특정 시간과 특정 객체 ID를 검색 조건으로 입력하거나 상기와 같은 과정을 거쳐 특정 객체 ID를 확인한 후 영상을 검색한다면, 화면부(13)를 통해 검색 결과로서 특정 객체 ID가 등장한 채널과 날짜, 시간들이 표시될 수 있다. 따라서, 사용자는 종래와 같이 관심객체 검색을 위해 일일이 채널을 변경해가며 검색을 반복할 필요가 없이 한번의 검색으로 특정 객체가 등장한 채널과 날짜, 시간에 대한 정보를 확인할 수 있는 효과가 있다. 그리고, 사용자가 상기 검색 결과를 영상으로 재생시키고자 하면, 도면에 도시되지 않은 별도의 재생 처리부에 의해 특정 객체 ID에 대응되는 각 채널별 영상 스트리밍 데이터들이 영상 관리 장치(20)로부터 로딩된다. 이 때, 상기 영상 관리 장치(20) 내 채널별 영상 스트리밍이 저장된 위치는 상이할 수 있다. 따라서, 재생 처리부는 채널별로 구분되어 저장된 영상 스트리밍 데이터를 특정 객체 ID를 기준으로 로딩하고 디코딩하여 복수의 스트리밍 영상을 생성하고, 화면부(13)를 통해 디스플레이 시킬 수 있다. 이러한 복수의 영상들은 화면부(13)에서 시간순으로 순차적으로 디스플레이 될 수도 있으며, 스트리밍 영상의 개수에 따라 화면부(13)가 복수의 분할 화면으로 분할되어, 하나의 분할 화면이 하나의 영상을 디스플레이 함으로써 복수의 스트리밍 영상이 동시에 디스플레이 될 수도 있다. 이 경우, 상기 복수의 스트리밍 영상의 재생을 통합으로 제어하는 타임 슬라이더가 상기 복수의 영상들과 함께 표시될 수 있으며, 사용자는 상기 타임 슬라이더를 이용하여 상기 복수 영상에 대한 재생시점을 통합 제어할 수 있다. 또한, 상기 타임 슬라이더는 상기 복수의 영상별로도 하나씩 구성되어 사용자가 상기 복수의 영상들을 통합적으로 제어하는 동시에, 각각의 영상에 대해 개별적으로 제어할 수도 있다. 이상 복수의 스트리밍 영상을 순차 및 또는 동시에 재생하는 것으로 설명하였으나, 복수의 스트리밍 영상을 하나의 스트리밍 영상으로 합성하여 순차 재생시킬 수 있음은 물론이다. 이 경우, 상기 타임 슬라이더는 개별 스트리밍 영상의 재생시점에 따라 구분되어 표시될 수 있다. 이와 같이, 복수의 영상들은 제한되지 않고, 다양한 방법으로 화면부(13)에서 디스플레이 될 수 있다.
도 7에 도시된 최종 객체 정보(123)로 예를 들어, 사용자가 2016년 11월 16일 3시부터 5시까지, 2번 및 4번 채널을 검색 조건으로 입력하면, 3시부터 5시까지 2번 및 4번 채널의 카메라(30)가 촬영한 영상 및 해당 영상에 포함되는 특정 객체의 객체 ID들이 검색 결과로 도출된다. 즉, 3시 33분 20초에 2번 채널에서 객체 ID가 2인 객체 및 4시 1분 5초에 4번 채널에서 객체 ID가 1인 객체가 검색 결과로 도출된다. 그리고 상기 시간 및 채널에 대응되는 영상들의 대표 이미지가 섬네일로 화면부(13)에 디스플레이 된다. 사용자는 이러한 대표 이미지들을 보면서, 검색하고자 하는 객체의 객체 ID가 1인지 2인지 알 수 있다. 그리고, 사용자는 상기 알아낸 특정 객체 ID를 검색 조건으로 입력하여 재검색을 수행할 수 있다. 또는 예를 들어, 사용자가 2016년 11월 16일 3시부터 5시까지, 객체 ID가 2인 객체를 검색 조건으로 입력하면, 3시부터 5시까지 객체 ID가 2인 객체를 촬영한 카메라(30)의 채널 번호들이 검색 결과로 도출된다. 즉, 3시 33분 20초에 2번 채널 및 4시 0분 3초에 3번 채널이 검색 결과로 도출된다. 그리고 사용자가 소정의 입력방식을 통해 영상 재생을 선택하면 상기 두 영상 스트리밍 데이터들이 각각 영상 관리 장치(20)로부터 로딩된다. 그리고, 화면부(13)에서 로딩된 복수의 영상들이 디스플레이 된다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 영상 검색 시스템 10: 영상 검색 장치
11: 제어부 12: 저장부
13: 화면부 14: 입력부
20: 레코딩 장치 30: 카메라
40: 네트워크 111: 업데이트부
112: 비교부 113: 객체 정보 생성/삭제부
114: 카운팅부 115: 데이터 검색부
121: 비교 대상 객체 정보 122: 이벤트 객체 정보
123: 최종 객체 정보 124: 임시 객체 정보

Claims (20)

  1. 영상에 포함된 객체의 특징 정보를 전달받아 이벤트 객체 정보로서 업데이트하는 업데이트부;
    사용자가 검색하고자 하는 객체의 특징 정보를 포함하는 비교 대상 객체 정보와, 상기 이벤트 객체 정보를 저장하는 저장부;
    상기 이벤트 객체 정보와 상기 비교 대상 객체 정보 간의 유사도가 소정의 기준보다 높은 객체 정보를, 최종 객체 정보로서 생성하여 상기 저장부에 기록하는 객체 정보 생성/삭제부; 및
    상기 기록된 최종 객체 정보 중에서, 사용자로부터 입력된 검색 조건에 부합하는 데이터를 검색하는 데이터 검색부를 포함하는 영상 검색 장치.
  2. 제1항에 있어서,
    상기 최종 객체 정보에 포함되는 속성 항목의 수는,
    상기 이벤트 객체 정보에 포함되는 속성 항목의 수보다 적은, 영상 검색 장치.
  3. 제1항에 있어서,
    상기 객체 정보 생성/삭제부는,
    상기 유사도가 소정의 기준보다 낮은 객체 정보를, 임시 객체 정보로서 상기 저장부에 기록하는, 영상 검색 장치.
  4. 제3항에 있어서,
    상기 임시 객체 정보가 특정 기준을 충족하는지 여부를 판단하는 카운팅부를 더 포함하는, 영상 검색 장치.
  5. 제4항에 있어서,
    상기 임시 객체 정보가 상기 특정 기준을 충족한다면,
    상기 업데이트부는,
    상기 임시 객체 정보를 상기 최종 객체 정보에 업데이트하는, 영상 검색 장치.
  6. 제4항에 있어서,
    상기 임시 객체 정보가 상기 특정 기준을 충족한다면,
    상기 업데이트부는,
    상기 임시 객체 정보를 상기 비교 대상 객체 정보에 업데이트하는, 영상 검색 장치.
  7. 제4항에 있어서,
    상기 임시 객체 정보가 상기 특정 기준을 충족하지 못한다면,
    상기 객체 정보 생성/삭제부는,
    상기 임시 객체 정보를 삭제하는, 영상 검색 장치.
  8. 제1항에 있어서,
    상기 저장부는,
    상기 영상을 대표하는 대표 이미지를 더 저장하는, 영상 검색 장치.
  9. 제8항에 있어서,
    상기 데이터 검색부가 상기 데이터를 검색하면, 검색 결과로 도출된 영상들을 표시하는 화면부를 더 포함하되,
    상기 화면부는,
    상기 검색 결과로 도출된 영상들에 대응되는 상기 대표 이미지들을 섬네일로 표시하는, 영상 검색 장치.
  10. 영상에 포함된 객체의 특징 정보를 전달받아 이벤트 객체 정보로서 업데이트하는 단계;
    사용자가 검색하고자 하는 객체의 특징 정보를 포함하는 비교 대상 객체 정보와, 상기 이벤트 객체 정보를 비교하는 단계; 및
    상기 이벤트 객체 정보와 상기 비교 대상 객체 정보 간의 유사도가 소정의 기준보다 높은 객체 정보를, 최종 객체 정보로서 저장하고, 상기 유사도가 소정의 기준보다 낮은 객체 정보를, 임시 객체 정보로서 저장하는 단계를 포함하는 데이터 저장 방법.
  11. 제10항에 있어서,
    상기 최종 객체 정보에 포함되는 속성 항목의 수는,
    상기 이벤트 객체 정보에 포함되는 속성 항목의 수보다 적은, 데이터 저장 방법.
  12. 제10항에 있어서,
    상기 임시 객체 정보가 저장되는 단계에 있어서,
    상기 임시 객체 정보가 특정 기준을 충족하는지 여부를 판단하는 단계를 더 포함하는, 데이터 저장 방법.
  13. 제12항에 있어서,
    상기 임시 객체 정보가 상기 특정 기준을 충족한다면,
    상기 임시 객체 정보를 상기 최종 객체 정보 및 상기 비교 대상 객체 정보에 업데이트하는 단계를 더 포함하는, 데이터 저장 방법.
  14. 제10항에 있어서,
    검색 조건이 입력되면,
    상기 최종 객체 정보에 포함된 데이터를 검색하는 단계를 더 포함하는, 데이터 저장 방법.
  15. 복수의 카메라로부터 획득된 영상에 포함된 객체의 특징 정보를 추출하여 이벤트 객체 정보로서 업데이트하는 업데이트부;
    상기 이벤트 객체 정보를 저장하는 저장부;
    상기 추출된 객체의 특징 정보와 상기 저장부에 기 저장된 이벤트 객체 정보를 비교하는 비교부; 및
    상기 추출된 객체의 특징 정보와 상기 기 저장된 이벤트 객체 정보 간의 유사도가 소정의 기준보다 높은 객체 정보를, 최종 객체 정보로서 생성하여 상기 저장부에 기록하는 객체 정보 생성/삭제부를 포함하는 데이터 저장 장치.
  16. 제15항에 있어서,
    상기 최종 객체 정보에 포함되는 속성 항목의 수는,
    상기 이벤트 객체 정보에 포함되는 속성 항목의 수보다 적은, 데이터 저장 장치.
  17. 제15항에 있어서,
    상기 기록된 최종 객체 정보 중에서, 사용자로부터 입력된 검색 조건에 부합하는 데이터를 검색하는 데이터 검색부를 더 포함하는 데이터 저장 장치.
  18. 제15항에 있어서,
    상기 객체 정보 생성/삭제부는,
    상기 유사도가 소정의 기준보다 낮은 객체 정보를, 임시 객체 정보로서 상기 저장부에 기록하는, 데이터 저장 장치.
  19. 제18항에 있어서,
    상기 임시 객체 정보가 특정 기준을 충족하는지 여부를 판단하는 카운팅부를 더 포함하는, 데이터 저장 장치.
  20. 제19항에 있어서,
    상기 임시 객체 정보가 상기 특정 기준을 충족한다면,
    상기 업데이트부는,
    상기 임시 객체 정보를 상기 최종 객체 정보 및 상기 비교 대상 객체 정보에 업데이트하는, 데이터 저장 장치.
KR1020160156614A 2016-11-23 2016-11-23 영상 검색 장치, 데이터 저장 방법 및 데이터 저장 장치 KR20180058019A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020160156614A KR20180058019A (ko) 2016-11-23 2016-11-23 영상 검색 장치, 데이터 저장 방법 및 데이터 저장 장치
CN201680091038.1A CN109997130B (zh) 2016-11-23 2016-12-21 视频检索装置、数据存储方法以及数据存储装置
PCT/KR2016/015051 WO2018097389A1 (ko) 2016-11-23 2016-12-21 영상 검색 장치, 데이터 저장 방법 및 데이터 저장 장치
US16/418,334 US11449544B2 (en) 2016-11-23 2019-05-21 Video search device, data storage method and data storage device
US17/946,398 US20230014519A1 (en) 2016-11-23 2022-09-16 Video search device, data storage method and data storage device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160156614A KR20180058019A (ko) 2016-11-23 2016-11-23 영상 검색 장치, 데이터 저장 방법 및 데이터 저장 장치

Publications (1)

Publication Number Publication Date
KR20180058019A true KR20180058019A (ko) 2018-05-31

Family

ID=62195102

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160156614A KR20180058019A (ko) 2016-11-23 2016-11-23 영상 검색 장치, 데이터 저장 방법 및 데이터 저장 장치

Country Status (4)

Country Link
US (2) US11449544B2 (ko)
KR (1) KR20180058019A (ko)
CN (1) CN109997130B (ko)
WO (1) WO2018097389A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200021281A (ko) * 2018-08-20 2020-02-28 제주대학교 산학협력단 빅데이터 분석을 이용한 유사도 기반의 cctv 영상데이터 중복 제거 시스템 및 그 방법
KR102229261B1 (ko) * 2019-12-23 2021-03-17 한국해양대학교 산학협력단 복수 개의 카메라 모듈들을 이용한 객체 관련 상황 요약 장치 및 방법
KR20230144300A (ko) * 2022-04-07 2023-10-16 세메스 주식회사 컨테이너 운반 장치 및 이를 포함하는 물류 반송 시스템

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111343416B (zh) * 2018-12-18 2021-06-01 华为技术有限公司 一种分布式图像分析方法、系统及存储介质
US11463739B2 (en) 2020-06-29 2022-10-04 Seagate Technology Llc Parameter based load balancing in a distributed surveillance system
US11503381B2 (en) 2020-06-29 2022-11-15 Seagate Technology Llc Distributed surveillance system with abstracted functional layers
US11343544B2 (en) 2020-06-29 2022-05-24 Seagate Technology Llc Selective use of cameras in a distributed surveillance system
US20210409817A1 (en) * 2020-06-29 2021-12-30 Seagate Technology Llc Low latency browser based client interface for a distributed surveillance system
US11841885B2 (en) 2021-04-21 2023-12-12 International Business Machines Corporation Multi-format content repository search
CN113255484B (zh) * 2021-05-12 2023-10-03 北京百度网讯科技有限公司 视频匹配方法、视频处理方法、装置、电子设备及介质
CN114338383B (zh) * 2021-12-30 2024-04-23 天翼物联科技有限公司 一种视频设备简化配置方法及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100471927B1 (ko) 2001-10-08 2005-03-08 학교법인 한국정보통신학원 웹 기반 영상 데이터 검색 시스템 및 그 방법
JP2005234994A (ja) * 2004-02-20 2005-09-02 Fujitsu Ltd 類似度判定プログラム、マルチメディアデータ検索プログラム、類似度判定方法、および類似度判定装置
KR100867005B1 (ko) 2007-09-19 2008-11-10 한국전자통신연구원 개인 맞춤형 멀티미디어 데이터 검색 서비스 방법 및 그의 장치들
JP5471124B2 (ja) * 2009-07-29 2014-04-16 ソニー株式会社 画像検索装置、画像検索方法及び画像検索プログラム
KR101074850B1 (ko) * 2010-08-09 2011-10-19 이정무 영상 검색 시스템
KR101785657B1 (ko) 2010-11-19 2017-10-16 엘지전자 주식회사 이동 단말기 및 이것의 메타데이터를 이용한 동영상 검색 방법
JP5649425B2 (ja) * 2010-12-06 2015-01-07 株式会社東芝 映像検索装置
EP2786307A1 (en) * 2011-11-29 2014-10-08 Layar B.V. Dynamically configuring an image processing function
KR20140141025A (ko) * 2013-05-31 2014-12-10 삼성에스디에스 주식회사 영상 검색 장치 및 방법
CN103530357A (zh) * 2013-10-11 2014-01-22 北京奇艺世纪科技有限公司 视频检索方法及系统
CN103886013A (zh) * 2014-01-16 2014-06-25 陈守辉 一种基于网络视频监控中的智能图像检索系统
EP3192273A4 (en) * 2014-09-08 2018-05-23 Google LLC Selecting and presenting representative frames for video previews
KR101678377B1 (ko) * 2015-03-31 2016-11-22 (주)블루비스 시각적 이벤트 결과를 제공하는 영상 보안 시스템 및 방법
WO2017051550A1 (ja) * 2015-09-24 2017-03-30 富士フイルム株式会社 補修計画立案支援システム、方法およびプログラム
CN105357523B (zh) * 2015-10-20 2019-02-19 苏州科技学院 一种基于hosvd算法视频压缩系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200021281A (ko) * 2018-08-20 2020-02-28 제주대학교 산학협력단 빅데이터 분석을 이용한 유사도 기반의 cctv 영상데이터 중복 제거 시스템 및 그 방법
KR102229261B1 (ko) * 2019-12-23 2021-03-17 한국해양대학교 산학협력단 복수 개의 카메라 모듈들을 이용한 객체 관련 상황 요약 장치 및 방법
KR20230144300A (ko) * 2022-04-07 2023-10-16 세메스 주식회사 컨테이너 운반 장치 및 이를 포함하는 물류 반송 시스템

Also Published As

Publication number Publication date
US11449544B2 (en) 2022-09-20
US20190272289A1 (en) 2019-09-05
WO2018097389A1 (ko) 2018-05-31
CN109997130A (zh) 2019-07-09
CN109997130B (zh) 2023-10-13
US20230014519A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
KR20180058019A (ko) 영상 검색 장치, 데이터 저장 방법 및 데이터 저장 장치
KR102290419B1 (ko) 디지털 컨텐츠의 시각적 내용 분석을 통해 포토 스토리를 생성하는 방법 및 장치
US11670147B2 (en) Method and apparatus for conducting surveillance
JP5863400B2 (ja) 類似画像検索システム
US9208226B2 (en) Apparatus and method for generating evidence video
WO2015072631A1 (ko) 영상 처리 장치 및 방법
US9514225B2 (en) Video recording apparatus supporting smart search and smart search method performed using video recording apparatus
US11308158B2 (en) Information processing system, method for controlling information processing system, and storage medium
CN111095939B (zh) 识别媒体项目的先前流传输部分以避免重复重放
US20110096994A1 (en) Similar image retrieval system and similar image retrieval method
KR101812103B1 (ko) 썸네일이미지 설정방법 및 설정프로그램
JP2008146191A (ja) 画像出力装置および画像出力方法
JP6203188B2 (ja) 類似画像検索装置
JP6589082B2 (ja) 類似画像検索システム
JP2011244043A (ja) 映像記録再生装置
US9898666B2 (en) Apparatus and method for providing primitive visual knowledge
JP6214762B2 (ja) 画像検索システム、検索画面表示方法
JP5826513B2 (ja) 類似画像検索システム
JP6210634B2 (ja) 画像検索システム
CN111385512B (zh) 视频数据处理方法和装置
JP2017224956A (ja) 情報処理装置及び情報処理方法
US20120076474A1 (en) Video playing device and method
JP2010278600A (ja) 画像処理装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination