KR20210104979A - 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템 - Google Patents

영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템 Download PDF

Info

Publication number
KR20210104979A
KR20210104979A KR1020200019410A KR20200019410A KR20210104979A KR 20210104979 A KR20210104979 A KR 20210104979A KR 1020200019410 A KR1020200019410 A KR 1020200019410A KR 20200019410 A KR20200019410 A KR 20200019410A KR 20210104979 A KR20210104979 A KR 20210104979A
Authority
KR
South Korea
Prior art keywords
image
channel
thumbnail
information
metadata
Prior art date
Application number
KR1020200019410A
Other languages
English (en)
Inventor
김동원
손청진
박현규
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020200019410A priority Critical patent/KR20210104979A/ko
Priority to US17/798,088 priority patent/US20230093631A1/en
Priority to PCT/KR2021/002076 priority patent/WO2021167374A1/ko
Publication of KR20210104979A publication Critical patent/KR20210104979A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G08B13/19693—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound using multiple video sources viewed on a single or compound screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명의 실시예는 복수의 네트워크 카메라들로부터 전송되는 각 채널 별 감시 영상 및 상기 감시 영상에 대응하는 영상분석 정보를 수신하고, 상기 영상분석 정보를 활용하여 각 채널 별 썸네일 및 메타 데이터 태그를 생성하며, 상기 각 채널 별 썸네일 및 메타 데이터 태그를 영상 검색 뷰어에 표시하여 사용자에게 검색의 편의를 제공하는 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템에 관한 것이다.
특히 본 발명의 실시예에 의한 네트워크 감시 카메라 시스템에서 제공하는 영상 검색 뷰어에 따르면, 각 채널 별로 발생된 이벤트들에 대응하는 상기 복수개의 썸네일 이미지들이 플로팅 형태로 나열되어 표시되고, 상기 각각의 썸네일 이미지들 주변에는 상기 각 썸네일 이미지에 대응하는 이벤트의 특징을 나타내는 텍스트 타입의 메타데이터 태그가 함께 유기적으로 표시된다. 또한, 상기 각 썸네일 이미지들 중 이벤트 발생 빈도가 상대적으로 높은 채널에서 전송된 영상 데이터에 대응된 제1 썸네일 이미지가 상기 화면의 앞쪽(z축 방향)에 표시될 수 있고, 상기 썸네일 이미지들 중 선택된 소정의 썸네일 이미지에 대응하는 채널의 이벤트 정보를 추가 검색하는 메뉴 바가 더 표시될 수 있다.

Description

영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템{apparatus and method for multi-channel image back-up based on event, and network surveillance camera system including the same}
본 발명의 실시예는 네트워크 감시 카메라 시스템에 관한 것으로, 보다 구체적으로는, 채널 별 수신 영상에 대응하는 썸네일 및 메타 데이터 태그를 표시하는 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템에 관한 것이다.
최근의 감시 카메라 시스템은 지능형 영상분석을 수행하는 네트워크 카메라를 활용하여 감시영역에서 취득되는 다양한 영상분석 정보를 영상 및 오디오 신호와 함께 전송할 수 있다.
상기 네트워크 기반의 감시 카메라 시스템은 네트워크 감시 카메라 및 상기 네트워크 감시 카메라에서 취득된 정보를 RTP/RTSP를 응용한 미디어 스트리밍 방식 등을 통해 수신하는 DVR(Digital Video Recorder), NVR(Network Video Recorder) 등의 영상수신장치를 포함하여 구성될 수 있다. 이 때, 상기 정보 전송 방식은 ONVIF 등의 영상감시 표준화 기구를 통해 표준 프로토콜을 채택하고 있으며, RTSP(Real Time Streaming Protocol)는 IETF가 개발한 표준 통신규약(RFC2326)으로서, 미디어 서버를 원격으로 제어할 때 사용될 수 있다. 실제 비디오, 오디오를 포함한 미디어 스트리밍 데이터를 전송하기 위해서는, 주로 RTP(Real-time Transport Protocol) 규약을 전송계층으로 함께 사용할 수 있다.
기존의 네트워크 기반의 감시 카메라 시스템의 경우, 각 감시 카메라들로부터 촬영된 채널 별 영상을 영상 수신 장치의 디스플레이를 통해 확인할 수 있으나, 각 채널 별로 화면이 분할되어 있고, 분할된 다수의 화면 중 어떤 채널에서 이벤트의 발생 빈도가 높은지 직관적으로 관제하기 어렵다는 문제가 있다.
또한, 각 채널 별 이벤트 발생 빈도를 비교하려면 별도의 창(이벤트로그, 대시보드 등)에 대한 전개가 필요하고, 비교 시 썸네일을 제공하지 않는 경우가 많아 캡쳐된 이미지들과의 연계성을 알고자 할 때, 별도로 일일이 비교해보면서 확인해야 하는 번거로움이 있다.
본 발명의 실시예는 복수의 네트워크 카메라들로부터 전송되는 각 채널 별 감시 영상 및 상기 감시 영상에 대응하는 영상분석 정보를 수신하고, 상기 영상분석 정보를 활용하여 각 채널 별 썸네일 및 메타 데이터 태그를 생성하며, 상기 각 채널 별 썸네일 및 메타 데이터 태그를 영상 검색 뷰어에 표시하여 사용자에게 검색의 편의를 제공하는 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템을 제공한다.
상기 목적을 달성하기 위하여 본 발명의 실시예에 의한 네트워크 감시 카메라 시스템은, 복수의 감시 영역들을 촬영하여 상기 각 감시영역에 대한 영상 정보를 취득하고, 상기 취득한 각 감시 영역별 영상 정보를 각각의 채널로 전송하는 복수의 카메라들; 상기 복수의 카메라들과 네트워크를 통해 연결되어 실시간으로 상기 카메라들로부터 영상 정보들을 수신하며, 상기 전송된 다채널 영상 정보들에 대한 검색을 수행하는 영상수신/검색장치를 포함하고, 상기 영상수신/검색장치는 상기 각 채널 별 영상 분석 정보에 근거하여 각 채널의 이벤트에 대응되는 썸네일 이미지 및 메타데이터 태그를 생성하며, 상기 생성된 썸네일 이미지 및 메타데이터 태그를 표시하여 상기 전송된 다채널 영상 정보들에 대한 검색을 수행하는 영상 검색 뷰어(viewer)를 포함한다.
상기 카메라는, 상기 감시영역에 대응하는 영상분석 정보들을 메타데이터로 생성하는 메타데이터 생성부; 및 상기 영상분석 정보들 중 상기 감시영역 내에서 검출된 식별 가능한 객체에 해당하는 영상 부분을 크롭핑하여 스틸 이미지를 생성하는 스틸 이미지 생성부를 포함할 수 있다.
상기 영상 검색 뷰어의 화면에는 각 채널 별로 발생된 이벤트들에 대응하는 상기 복수개의 썸네일 이미지들이 플로팅 형태로 나열되어 표시되고, 상기 각각의 썸네일 이미지들 주변에는 상기 각 썸네일 이미지에 대응하는 이벤트의 특징을 나타내는 텍스트 타입의 메타데이터 태그가 함께 유기적으로 표시될 수 있다.
상기 각 썸네일 이미지들 중 이벤트 발생 빈도가 상대적으로 높은 채널에서 전송된 영상 데이터에 대응된 제1 썸네일 이미지가 상기 화면의 앞쪽(z축 방향)에 표시될 수 있다.
상기 썸네일 이미지들이 상기 화면의 z축을 기반으로 배열될 때 썸네일 이미지의 채도, 명도 및 효과를 조절하여 표시될 수 있다.
상기 썸네일 이미지들 중 선택된 소정의 썸네일 이미지에 대응하는 채널의 이벤트 정보를 추가 검색하는 메뉴 바가 더 표시될 수 있다.
이와 같은 본 발명의 실시예에 의하면, 감시영역에 대한 영상분석 정보들 중 식별 가능한 특정영역의 스틸 이미지를 제공함으로써, 영상수신/검색장치 등과 같은 클라이언트가 별도의 영상 디코딩 절차를 수행하지 않고서도 상기 이미지 정보를 이용하여 보다 신속하고 정확하게 감시영역의 영상 데이터를 검색할 수 있다.
또한, 복수의 네트워크 카메라들로부터 전송되는 각 채널 별 감시 영상 및 이에 대응하는 영상분석 정보를 수신하고, 상기 영상분석 정보를 활용하여 각 채널 별 썸네일 및 메타 데이터 태그를 생성하며, 상기 각 채널 별 썸네일 및 메타 데이터 태그를 영상 검색 뷰어에 표시함으로써, 감시 영상 분석시 사용자에게 편의를 제공할 수 있다.
도 1은 본 발명의 실시예에 의한 네트워크 감시 카메라 시스템의 구성을 개략적으로 나타내는 블록도.
도 2는 도 1에 도시된 카메라의 구성을 나타내는 블록도.
도 3은 도 2에 도시된 프로세서의 내부 구성의 일 실시예를 나타내는 블록도.
도 4는 도 1에 도시된 영상수신/검색장치의 구성을 나타내는 블록도.
도 5는 도 4에 도시된 프로세서의 내부 구성의 일 실시예를 나타내는 블록도.
도 6은 본 발명의 실시예에 의한 영상수신/검색장치에서 제공하는 영상 검색 뷰어의 제1 실시예를 나타내는 도면.
도 7은 본 발명의 실시예에 의한 영상수신/검색장치에서 제공하는 영상 검색 뷰어의 제2 실시예를 나타내는 도면.
도 8은 본 발명의 실시예에 의한 영상수신/검색장치에서 제공하는 영상 검색 뷰어의 제3 실시예를 나타내는 도면.
도 9a 내지 도 9c은 본 발명의 실시예에 의한 영상수신/검색장치에서 제공하는 영상 검색 뷰어의 제 4실시예에 따른 동작을 설명하는 도면.
위 발명의 배경이 되는 기술 란에 기재된 내용은 오직 본 발명의 기술적 사상에 대한 배경 기술의 이해를 돕기 위한 것이며, 따라서 그것은 본 발명의 기술 분야의 당업자에게 알려진 선행 기술에 해당하는 내용으로 이해될 수 없다.
아래의 서술에서, 설명의 목적으로, 다양한 실시예들의 이해를 돕기 위해 많은 구체적인 세부 내용들이 제시된다. 그러나, 다양한 실시예들이 이러한 구체적인 세부 내용들 없이 또는 하나 이상의 동등한 방식으로 실시될 수 있다는 것은 명백하다. 다른 예시들에서, 잘 알려진 구조들과 장치들은 다양한 실시예들을 불필요하게 이해하기 어렵게 하는 것을 피하기 위해 블록도로 표시된다.
첨부된 블록도의 각 블록은 컴퓨터 프로그램 인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
그리고, 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성하여 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록에서 설명되는 기능들을 실행하기 위한 기능을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다.
즉, 도시된 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.
여기에서 사용된 용어는 특정한 실시예들을 설명하는 목적이고 제한하기 위한 목적이 아니다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함한다" 고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 다른 정의가 없는 한, 여기에 사용된 용어들은 본 발명이 속하는 분야에서 통상적인 지식을 가진 자에게 일반적으로 이해되는 것과 같은 의미를 갖는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세히 설명하도록 한다.
도 1은 본 발명의 실시예에 의한 네트워크 감시 카메라 시스템의 구성을 개략적으로 나타내는 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 의한 네트워크 감시 카메라 시스템은, 카메라(100), 네트워크(200) 및 영상수신/검색장치(300)를 포함하여 구성될 수 있다. 상기 네트워크 감시 카메라 시스템은 상기 카메라(100)에서 취득된 영상 정보들이 네트워크(200)를 통해 영상수신/검색장치(300)로 전송되고, 관리자가 영상수신/검색장치(300)를 이용하여 상기 전송된 다채널 영상 정보들에 대한 검색을 수행할 수 있다. 즉, 본 발명의 실시예에서는 상기 카메라(100)가 데이터를 전송하는 서버의 역할을 수행하고, 상기 영상수신/검색장치(300)가 상기 전송된 데이터를 수신하는 클라이언트의 역할을 수행할 수 있다.
상기 카메라(100)는 감시영역을 촬영하여 상기 감시영역에 대한 영상 및 오디오 신호를 획득하는 것으로, 이는 감시 또는 보안의 목적으로 상기 감시영역을 실시간으로 촬영할 수 있다. 본 발명의 실시예에서는 상기 카메라(100)가 복수 개로 구현되며, 이를 통해 복수의 감시 영역들을 촬영하여 상기 각 감시영역에 대한 영상 정보를 취득하고, 상기 취득한 각 감시 영역별 영상 정보를 각각의 채널로 전송할 수 있다. 다시 말하면, 본 발명의 실시예는 상기 카메라(100)가 복수 개로 구현되어 각각의 감시영역에 대한 영상 신호 등의 영상 정보를 취득하는 동작을 수행할 수 있다. 즉, 상기 복수 개의 카메라(100)들 각각은 각자의 감시영역에 대응하는 다 채널의 영상 신호를 생성하고 이를 전송하는 동작을 수행할 수 있다.
상기 카메라(100)는 패닝(panning)과 틸팅(tilting)이 가능하며 렌즈의 줌 배율이 조절 가능한 PTZ 카메라로 구현될 수 있으며, 상기 카메라(100)는 지능형 영상분석 기능을 수행하는 네트워크 카메라로 구현될 수 있다.
일 예로, 본 발명의 실시예에 의한 카메라(100)는 상기 감시영역에 대응하는 영상 신호를 포함한 영상 정보 외에 상기 영상 정보에 대한 영상분석 정보들을 메타데이터 형태로 생성하여 전송할 수 있다. 상기 메타데이터는 텍스트 형식으로 작성될 수 있을 뿐 아니라, 시스템에 의해 해석 가능한 다양한 형태로 구현될 수 있다. 일 예로, XML, JSON 등의 규칙을 갖는 텍스트 포맷 또는 자체 프로토콜로 정의된 바이너리 형태로도 구현될 수 있다.
상기 메타데이터는 상기 감시영역에 촬영된 객체 검출 정보(움직임, 소리, 지정지역 침입 등), 객체 식별 정보(사람, 차, 얼굴, 모자, 의상 등), 및 객체 추적을 위한 객체의 고유 식별자 정보, 검출된 객체의 위치 정보(좌표, 크기 등), 시간 정보를 포함할 수 있다. 이러한 메타데이터는 상기 감시영역에서 검출된 영상 및 오디오 신호와 함께 실시간으로 네트워크(200)를 통해 영상수신장치(300)로 전송되어 실시간 관제, 영상 검색 시 활용하여 관제 편의성과 검색 효율을 높이는데 사용될 수 있다.
이하의 실시예에서는 상기 카메라(100)가 지능형 영상분석 기능을 수행하여 상기 영상분석 신호를 생성하는 네트워크 카메라임을 그 예로 설명하나, 본 발명의 실시예에 의한 네트워크 감시 카메라 시스템의 동작이 반드시 이에 한정되는 것은 아니다. 일 예로, 상기 카메라(100)에서는 각 감시영역에 대응하는 영상 정보를 전송하고, 상기 영상 정보를 수신한 영상수신/검색장치(300)에서 상기 영상 정보를 분석하여 상기 영상 정보에 대한 영상분석 정보들을 생성할 수도 있다.
본 발명의 실시예에 의한 카메라(200)는 상기 메타데이터를 생성함과 함께 상기 영상분석 정보들 중 특정 분석 영역에 대한 스틸 이미지를 캡쳐하고, 이를 실시간으로 함께 전송할 수도 있다. 일 예로, 상기 스틸 이미지는 JPEG 이미지 파일로 구현될 수 있다.
상기 카메라(100)는 이더넷(Ethernet), 와이파이(Wi-Fi), 블루투스(Bluetooth) 등 다양한 유무선 통신 방식을 이용하여 영상수신장치(300)에 정보를 전송할 수도 있고, 영상수신/검색장치(300)로부터 명령을 수신할 수도 있다.
네트워크(200)는 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
영상수신/검색장치(300)는 상기 카메라(200)들로부터 전송된 각 채널 별 영상 정보들을 수신하고 저장하며, 이를 분석 및 모니터링하는 동작을 수행할 수 있다.
이하의 실시예에서는 상기 영상수신/검색장치(300)를 하나의 블록으로 도시하여 설명하지만, 본 발명의 실시예에 의한 영상수신/검색장치(300)의 구성 및 동작이 이에 한정되는 것은 아니다.
보다 구체적으로, 상기 영상수신/검색장치(300)는 상기 카메라(200)로부터 전송된 데이터들을 수신 및 저장하는 영상수신장치의 기능과 상기 데이터들에 대한 분석 및 모니터링의 동작을 수행하는 영상검색장치의 기능을 구현할 수 있다. 이 때, 상기 영상수신장치 및 영상검색장치는 물리적으로 분리되어 구성되거나, 하나의 서버 시스템을 통해 함께 구현할 수도 있다.
일 예로, 상기 영상수신장치는 DVR (Digital Video Recorder), NVR (Network Video Recorder), VMS (Video Management System) 등으로 구현될 수 있고, 상기 영상검색장치는 상기 영상수신장치에 저장된 카메라 영상 데이터들 이용하여 이를 검색하고 분석하는 기능을 수행하는 별도의 디바이스 또는 응용 소프트웨어로 구현될 수 있으며, 이를 통해 관리자가 영상수신/검색장치(300)를 이용하여 상기 전송된 다채널 영상 정보들에 대한 검색을 수행할 수 있다.
본 발명의 실시예에서는 상기 영상수신/검색장치(300)에서 제공하는 영상 검색 뷰어를 이용하여 다채널 영상 정보들에 대한 검색을 수행할 수 있으며, 상기 영상 검색 뷰어에서 제공하는 화면의 실시예는 이하 도 6 내지 9를 통해 보다 상세히 설명하도록 한다.
도 2는 도 1에 도시된 카메라의 구성을 나타내는 블록도이고, 도 3은 도 2에 도시된 프로세서의 내부 구성의 일 실시예를 나타내는 블록도이다. 앞서 언급한 바와 같이, 도 2 및 도 3에 도시된 카메라(100)는 지능형 영상분석 기능을 수행하여 상기 영상분석 신호를 생성하는 네트워크 카메라임을 그 예로 설명하나, 본 발명의 실시예에 의한 네트워크 감시 카메라 시스템의 동작이 반드시 이에 한정되는 것은 아니다.
먼저 도 2를 참조하면, 카메라(100)는 이미지 센서(110), 인코더(120), 메모리(130), 이벤트 센서(140), 프로세서(140), 및 통신 인터페이스(150)를 포함한다.
이미지 센서(110)는 감시 영역을 촬영하여 영상을 획득하는 기능을 수행하는 것으로서, 예컨대, CCD(Charge-Coupled Device) 센서, CMOS(Complementary Metal-Oxide-Semiconductor) 센서 등으로 구현될 수 있다.
인코더(120)는 이미지 센서(110)를 통해 획득한 영상을 디지털 신호로 부호화하는 동작을 수행하며, 이는 예컨대, H.264, H.265, MPEG(Moving Picture Experts Group), M-JPEG(Motion Joint Photographic Experts Group) 표준 등을 따를 수 있다.
메모리(130)는 영상 데이터, 음성 데이터, 스틸 이미지, 메타데이터 등을 저장할 수 있다. 앞서 언급한 바와 같이, 상기 메타데이터는 상기 감시영역에 촬영된 객체 검출 정보(움직임, 소리, 지정지역 침입 등), 객체 식별 정보(사람, 차, 얼굴, 모자, 의상 등), 및 검출된 위치 정보(좌표, 크기 등)을 포함하는 데이터일 수 있다.
또한, 상기 스틸 이미지는 상기 메타데이터와 함께 생성되어 메모리(130)에 저장되는 것으로서, 상기 영상분석 정보들 중 특정 분석 영역에 대한 이미지 정보를 캡쳐하여 생성될 수 있다. 일 예로, 상기 스틸 이미지는 JPEG 이미지 파일로 구현될 수 있다.
일 예로, 상기 스틸 이미지는 특정 영역 및 특정 기간 동안 검출된 상기 감시영역의 영상 데이터들 중 식별 가능한 객체로 판단된 영상 데이터의 특정영역을 크롭핑(cropping)하여 생성될 수 있으며, 이는 상기 메타데이터와 함께 실시간으로 전송될 수 있다.
통신 인터페이스(150)는 상기 영상 데이터, 음성 데이터, 스틸 이미지, 및/또는 메타데이터를 영상수신장치(300)에 전송한다. 일 실시예에 따른 통신 인터페이스(150)는 영상 데이터, 음성 데이터, 스틸 이미지, 및/또는 메타데이터를 를 영상수신/검색장치(300)에 실시간으로 전송할 수 있다. 통신 인터페이스(150)는 유무선 LAN(Local Area Network), 와이파이(Wi-Fi), 지그비(ZigBee), 블루투스(Bluetooth), 근거리 통신(Near Field Communication) 중 적어도 하나의 통신 기능을 수행할 수 있다.
프로세서(140)는 카메라(100)의 전반적인 동작을 제어하는 것으로서, 이는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(130) 또는 통신 인터페이스(150)에 의해 프로세서(140)로 제공될 수 있다. 일 예로, 프로세서(140)는 메모리(130)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다. 즉, 상기 프로세서(140)는 소프트웨어적으로 C, C++, Java, Visual Basic, Visual C 등 에 의해 구현되어 다양한 기능들을 수행하는 프로그램 모듈(Module)을 포함할 수 있다.
도 3을 참조하면, 본 발명의 실시예에 의한 네트워크 카메라(200)의 프로세서(140)는 메타데이터 생성부(142) 및 스틸 이미지 생성부(144)를 포함할 수 있다.
여기서, 상기 프로세서(140)는 메모리(130)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있으며, 이때, 상기 프로세서(140) 내의 구성요소들 즉, 메타데이터 생성부(142) 및 스틸 이미지 생성부(144)는 카메라(200)에 저장된 프로그램 코드가 제공하는 제어 명령에 의해 프로세서(140)에 의해 수행되는 서로 다른 기능들을 구분하여 표현하는 것으로 이해할 수도 있다.
메타데이터 생성부(142)는 각 카메라의 감시영역에 대응하는 영상분석 정보들을 메타데이터 형태로 생성하는 기능을 수행한다. 상기 메타데이터는 감시영역에 촬영된 객체 검출 정보(움직임, 소리, 지정지역 침입 등), 객체 식별 정보(사람, 차, 얼굴, 모자, 의상 등), 및 객체 추적을 위한 객체의 고유 식별자 정보, 검출된 객체의 위치 정보(좌표, 크기 등), 시간 정보를 포함할 수 있으며, 이러한 메타데이터는 상기 감시영역에서 검출된 영상 및 오디오 신호와 함께 실시간으로 네트워크(200)를 통해 영상수신/검색장치(300)로 전송되어 실시간 관제, 영상 검색 시 활용하여 관제 편의성과 검색 효율을 높이는데 사용될 수 있다.
본 발명의 실시예에 의한 카메라(200)의 프로세서(140)는 상기 메타데이터를 생성함과 함께 스틸 이미지 생성부(144)를 통해 상기 영상분석 정보들 중 특정 분석 영역에 대한 스틸 이미지를 캡쳐하여 생성할 수 있고, 상기 스틸 이미지 생성부(144)를 통해 생성된 스틸 이미지는 상기 메모리(130)에 저장될 수 있다.
일 예로, 상기 스틸 이미지는 특정 영역 및 특정 기간 동안 검출된 상기 감시영역의 영상 데이터들 중 식별 가능한 객체로 판단된 영상 데이터의 특정영역을 크롭핑(cropping)하여 생성될 수 있다.
보다 구체적으로, 상기 스틸 이미지는 상기 메타데이터로 작성된 상기 감시영역에 대응하는 영상분석 정보들 중 특정 영역 즉, 상기 감시영역 내에서 검출된 식별 가능한 객체에 해당하는 영상 부분을 크롭핑하여 생성된 스틸 이미지일 수 있다.
즉, 상기 감시영역에서 촬영된 영상 데이터들 중 특정 객체를 가장 잘 인식할 수 있는 "베스트 샷(best shot)" 스틸 이미지로 선택될 수 있으며, 이는 상기 메타데이터와 함께 실시간으로 전송될 수 있다. 이에 영상수신/검색장치(300)와 같은 클라이언트는 별도의 영상 처리 일 예로 디코딩을 수행하지 않고 상기 스틸 이미지를 사용하여 전송된 영상 데이터의 검색시 썸네일 이미지로 활용할 수 있다.
도 4는 도 1에 도시된 영상수신/검색장치의 구성을 나타내는 블록도이고, 도 5는 도 4에 도시된 프로세서의 내부 구성의 일 실시예를 나타내는 블록도이다.
영상수신/검색장치(300)는 상기 카메라(200)에서 전송된 데이터들을 수신하고 저장하며, 이를 분석 및 모니터링하는 클라이언트의 역할을 수행할 수 있다. 일 예로, 상기 영상수신/검색장치(300)는 카메라(200)들로부터 다채널 영상 정보들을 수신하는 영상수신 기능과 상기 수신된 다채널 영상 정보들에 대한 분석 및 검색을 수행하는 영상검색 기능을 구현하는 것으로서, 특히 상기 영상검색 기능은 이를 구현할 수 있는 응용 프로그램(영상 검색 뷰어)을 영상수신장치를 구성하는 서버 시스템에 탑재됨으로써 동작할 수 있다. 다만, 이는 하나의 실시예로서 앞서 언급한 바와 같이 상기 영상수신/검색장치(300)는 각각 영상수신장치와 영상검색장치로 분리된 구성으로도 구현될 수 있다.
상기 영상검색 기능을 수행하는 응용 프로그램을 통해 도 6 내지 도 9에 도시된 바와 같은 영상 검색 뷰어(viewer)를 제공할 수 있으며, 이를 통해 관리자가 영상수신/검색장치(300)를 이용하여 상기 전송된 다채널 영상 정보들에 대한 검색을 수행할 수 있다.
먼저 도 4를 참조하면, 본 발명의 실시예에 의한 영상수신/검색장치(300)는 메모리(310), 데이터베이스(320) 프로세서(330), 통신모듈(350) 및 입출력 인터페이스(340)을 포함한다.
메모리(310)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM, ROM 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치를 포함할 수 있다. 상기 메모리(310)에는 도 1에 도시된 카메라(100)로부터 전송된 신호들 일 예로, 상기 카메라의 감시영역에 대응하는 영상 데이터, 음성 데이터, 스틸 이미지, 메타데이터 등을 저장할 수 있다.
데이터베이스(320)는 도 1에 도시된 카메라(100)의 고유 정보들(예: 카메라 ID 등)을 저장 및 유지할 수 있다. 즉, 상기 영상수신장치(300)와 연결되는 감시 카메라들이 추가 및/또는 변경되면 이에 대응하는 정보 역시 상기 데이터베이스(320)에 업데이트될 수 있다.
프로세서(330)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(310) 또는 통신모듈(350)에 의해 프로세서(330)로 제공될 수 있다. 일 예로, 프로세서(330)는 메모리(310)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다. 즉, 상기 프로세서(330)는 소프트웨어적으로 C, C++, Java, Visual Basic, Visual C 등 에 의해 구현되어 다양한 기능들을 수행하는 프로그램 모듈(Module)을 포함할 수 있다.
통신모듈(350)은 네트워크(200)를 통해 카메라(100)와 통신할 수 있도록 하는 기능을 제공할 수 있다. 일 예로, 영상수신/검색장치(300)의 프로세서(330)의 제어에 따라 제공되는 제어신호, 명령 등이 통신모듈(350)을 통해 상기 네트워크(200)을 거쳐 카메라(100)로 전송될 수 있고, 마찬가지로 상기 카메라(100)에서 생성되는 촬영 영상 정보 및/또는 위치 정보들은 상기 네트워크(200)을 거쳐 영상수신/검색장치(300)로 전송될 수 있다.
입출력 인터페이스(340)는 키보드 또는 마우스 등으로 구현되는 입력장치 및 디스플레이 등과 같은 출력장치 간의 인터페이스를 제공하는 역할을 할 수 있다.
도 5를 참조하면, 본 발명의 실시예에 의한 영상수신/검색장치(300)의 프로세서(330)는 메타데이터 수신부(332), 스틸 이미지 수신부(334), 썸네일 이미지 생성부(336), 및 메타 데이터 태그 생성부(338)를 포함할 수 있다.
여기서, 상기 프로세서(330)는 메모리(310)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있으며, 이때, 상기 프로세서(330) 내의 구성요소들 즉, 메타데이터 수신부(332), 스틸 이미지 수신부(334), 썸네일 이미지 생성부(336) 메타 데이터 태그 생성부(338)는 영상수신/검색장치(300)에 저장된 프로그램 코드가 제공하는 제어 명령에 의해 프로세서(330)에 의해 수행되는 서로 다른 기능들을 구분하여 표현하는 것으로 이해할 수도 있다.
메타데이터 수신부(332)는 앞서 도 3에서 설명된 카메라(200)의 프로세서(140) 내의 기능블록인 메타데이터 생성부(142)와 대응되는 기능블록으로서, 상기 메타데이터 생성부(142)에서 생성하여 전송한 메타데이터를 수신하는 기능을 수행한다.
상기 메타데이터는 각 카메라의 채널 별 감시영역에서 촬영된 감시 영상 중 상기 각 채널 별로 이벤트가 발생된 경우, 상기 이벤트가 발생된 감시 영역에서 촬영된 객체 검출 정보(움직임, 소리, 지정지역 침입 등), 객체 식별 정보(사람, 차, 얼굴, 모자, 의상 등), 및 객체 추적을 위한 객체의 고유 식별자 정보, 검출된 객체의 위치 정보(좌표, 크기 등), 시간 정보를 포함할 수 있다.
스틸 이미지 수신부(334)는 앞서 도 3에서 설명된 카메라(200)의 프로세서(140) 내의 기능블록인 스틸 이미지 생성부(144)와 대응되는 기능블록으로서, 상기 스틸 이미지 생성부(144)에서 생성하여 전송한 스틸 이미지를 수신하는 기능을 수행한다. 일 예로, 상기 스틸 이미지는 특정 영역 및 특정 기간 동안 검출된 상기 감시영역의 영상 데이터들 중 식별 가능한 객체로 판단된 영상 데이터의 특정영역을 크롭핑(cropping)하여 생성될 수 있다. 보다 구체적으로, 상기 스틸 이미지는 상기 메타데이터로 작성된 상기 감시영역에 대응하는 영상분석 정보들 중 특정 영역 즉, 상기 감시영역 내에서 검출된 식별 가능한 객체에 해당하는 영상 부분을 크롭핑하여 생성된 스틸 이미지일 수 있다. 즉, 상기 감시영역에서 촬영된 영상 데이터들 중 특정 객체를 가장 잘 인식할 수 있는 "베스트 샷(best shot)" 스틸 이미지로 선택될 수 있다.
썸네일 이미지 생성부(336)는 상기 스틸 이미지 수신부(334)를 통해 수신한 스틸 이미지를 이용하여 썸네일 이미지를 생성하는 기능을 수행한다. 상기 썸네일 이미지는 채널 별로 전송된 감시영역에 대응하는 영상 정보들 중 이벤트 발생 시 이를 가장 잘 나타낼 수 있는 이미지 즉, 상기 "베스트 샷(best shot)" 스틸 이미지를 활용하여 생성될 수 있으며, 사용자는 앞서 설명한 영상 검색 뷰어에서 상기 썸네일 이미지로 표시되는 각 채널별 이벤트 정보들을 보다 용이하게 검색할 수 있다.
이와 마찬가지로 메타데이터 태그 생성부(338)는 상기 메타데이터 수신부(332)를 통해 수신한 메타데이터를 이용하여 메타데이터 태그를 생성하는 기능을 수행한다. 상기 메타데이터 태그는 각 채널 별로 전송된 감시영역에 대응하는 영상 정보들 중 이벤트 발생 시 상기 이벤트에 대응하는 메타데이터를 기반으로 생성되는 것으로서, 상기 이벤트를 직관적으로 표현하는 적어도 하나의 텍스트로 구현될 수 있다. 사용자는 앞서 설명한 영상 검색 뷰어에서 상기 썸네일 이미지 외에 상기 썸네일 이미지 주변에 표시되는 메타데이터 태그들을 이용하여 각 채널 별 이벤트 정보들을 보다 용이하게 검색할 수 있다.
도 6은 본 발명의 실시예에 의한 영상수신/검색장치에서 제공하는 영상 검색 뷰어의 제1 실시예를 나타내는 도면이다. 즉, 도 6은 수신된 다채널 영상 정보들에 대한 분석 및 검색을 수행하는 상기 영상수신/검색장치의 영상검색 기능을 구현하는 응용 프로그램(영상 검색 뷰어)에 의해 제공되는 기능의 일 예를 나타낸다.
구체적으로, 도 6은 복수의 카메라들로부터 수신한 다채널 영상 정보들에 대한 검색을 수행할 수 있는 영상 검색 뷰어(viewer)의 제1 실시예에 대응하는 화면(600)을 나타낸다.
도 6을 참조하면, 영상 검색 뷰어의 화면(600)에는 각 채널 별로 발생된 이벤트들에 대응하는 복수개의 썸네일 이미지들(610, 620)이 플로팅(floating) 형태로 나열되어 표시된다.
또한, 상기 각각의 썸네일 이미지들(610, 620) 주변에는 상기 각각의 썸네일 이미지에 대응하는 이벤트의 특징을 나타내는 텍스트 타입의 메타데이터 태그(612)가 함께 유기적으로 표시될 수 있다.
도 6을 참조하면, 제1 썸네일 이미지(610)가 대표하는 채널의 영상 정보에 대하여, 상기 채널의 메타데이터에 근거하여 생성된 메타데이터 태그는 "Black, Pants, Training, Shoes"가 될 수 있으며, 이는 제1 썸네일 이미지(610)에 포함된 객체의 특성을 나타내는 단어들이다.
본 발명의 실시예의 경우, 상기 각 썸네일 이미지들 중 이벤트 발생 빈도가 상대적으로 높은 채널에서 전송된 영상 데이터에 대응된 썸네일 이미지가 사용자에게 보다 잘 노출될 수 있도록 화면의 앞쪽(z축 방향)에 표시되는 방법을 사용할 수 있다. 도 6에 도시된 실시예에서는 제1 썸네일 이미지(610)에 해당하는 채널의 이벤트 발생 빈도가 다른 썸네일 이미지들(620)에 해당하는 채널들의 이벤트 발생 빈도가 상대적으로 높은 경우를 나타낸다.
도 6을 참조하면, 화면(600)의 앞(z축 외측 방향)에 표시되는 제1 썸네일 이미지(610)는 다른 썸네일 이미지들(620)과 비교할 때 상대적으로 보다 크고 선명하게 표시됨을 확인할 수 있다. 반면에 다른 썸네일 이미지들(620)는 화면(600)의 뒤(z축 내측 방향)에 표시되면서 상기 제1 썸네일 이미지(610)과 비교할 때 상대적으로 작고 흐리게 표시함으로써 사용자가 이벤트 발생 빈도가 높은 채널에 대응하는 썸네일 이미지(610)를 시각적으로 우선하여 인지할 수 있게 된다.
다시 말하면, 본 발명의 실시예에 의한 영상 검색 뷰어의 화면(600)을 통해 각 채널 별로 발생된 이벤트들에 대응하는 복수개의 썸네일 이미지들(610, 620)이 플로팅(floating) 형태로 표시됨에 있어서, 상기 썸네일 이미지들에 대응되는 채널의 이벤트 발생 빈도에 따라 화면의 z축을 기반으로 깊이를 다르게 표현하여 상기 썸네일 이미지들을 배열할 수 있다.
이와 더불어, 상기 썸네일 이미지들이 화면의 z축을 기반으로 배열될 때 썸네일 이미지의 채도와 명도, 효과 등을 조절하여 표시할 수도 있다. 즉, 도 6에 도시된 바와 같이 제1 썸네일 이미지(610)는 다른 썸네일 이미지들(620)과 비교할 때 보다 선명한 채도, 명도를 가지도록 구현될 수 있는 것이다.
도 7은 본 발명의 실시예에 의한 영상수신/검색장치에서 제공하는 영상 검색 뷰어의 제2 실시예를 나타내는 도면이다.
본 발명의 제2 실시예에 의한 영상 검색 뷰어는 도 6에 도시된 제1 실시예의 화면(600)과 동일하게 동작되나, 도 7에서는 사용자가 특정 썸네일 이미지를 선택한 경우의 동작에 대한 예를 설명하는 점에서 그 차이가 있다.
도 7에 도시된 바와 같이, 사용자가 특정 썸네일 이미지(예: 제1 썸네일 이미지)를 클릭하여 선택하면, 사용자가 선택한 썸네일 이미지에 대응하는 이벤트의 구체적인 정보를 검색할 수 있는 메뉴 바(700)를 표시할 수 있다.
도 7을 참조하면, 상기 메뉴 바(700)에는 "최근 발생한 이벤트, 이벤트 우선순위, 이벤트 발생 빈도 등"을 포함할 수 있다.
도 8은 본 발명의 실시예에 의한 영상수신/검색장치에서 제공하는 영상 검색 뷰어의 제3 실시예를 나타내는 도면이다.
본 발명의 제3 실시예에 의한 영상 검색 뷰어는 도 6에 도시된 제1 실시예의 화면(600)과 상이하게 제1 표시화면(610)과 제2 표시화면(620)으로 분할하여 표시하며, 상기 제1 표시화면(610)은 상기 도 6에 도시된 제1 실시예의 화면(600)서와 같은 기능을 제공한다. 도 8에 도시된 실시예에서는 사용자가 상기 제1 표시화면(610)에서 특정 썸네일 이미지를 선택한 경우, 이에 연관되어 제2 표시화면(620)이 동작하는 점에서 그 차이가 있다.
도 8에 도시된 바와 같이, 사용자가 제1 표시화면(610)에서 특정 썸네일 이미지를 클릭하여 선택하면, 사용자가 선택한 썸네일 이미지에 대응하는 채널에 해당하는 영상 정보를 제2 표시화면(620)에 표시할 수 있으며, 사용자는 상기 제2 표시화면(620)을 통해 상기 대응하는 채널에서 제공하는 영상 정보들을 통해 새로운 검색을 수행하거나, 추가적인 검색을 수행할 수 있다.
도 9a 내지 도 9c은 본 발명의 실시예에 의한 영상수신/검색장치에서 제공하는 영상 검색 뷰어의 제 4실시예에 따른 동작을 설명하는 도면이다.
본 발명의 제4 실시예에 의한 영상 검색 뷰어는 도 6에 도시된 제1 실시예의 화면(600)과 동일하게 동작되나, 도 9a 내지 도 9c에서는 사용자가 특정 썸네일 이미지에 해당하는 메타데이터 태그를 선택한 경우의 동작에 대한 예를 설명하는 점에서 그 차이가 있다.
먼저 도 9a에 도시된 바와 같이, 영상 검색 뷰어의 화면(600)에는 각 채널 별로 발생된 이벤트들에 대응하는 복수개의 썸네일 이미지들(910) 및 메타데이터 태그(912)가 플로팅(floating) 형태로 나열되어 표시된다.
이 때, 사용자가 특정 썸네일 이미지(910)에 해당하는 메타데이터 태그(912)인 "Black"을 클릭하여 선택하면, 도 9b에 도시된 바와 같이 상기 선택된 태그(912) 및 썸네일 이미지(910)와 연관된 다른 메타데이터 태그들(914)로서 "Pants, Hat, Shoes"가 상기 썸네일 이미지(910) 주변에 생성된다.
이후, 사용자가 상기 새롭게 생성된 연관 메타데이터 태그들(914) 중 Pants"를 클릭하여 선택하면, 도 9c에 도시된 바와 같이 상기 선택된 태그(914) 및 썸네일 이미지(910)와 연관된 또 다른 메타데이터 태그들(916)로서 "Short, Baggy, Jean, Training"이 상기 썸네일 이미지(910) 주변에 생성된다.
이와 같이 사용자가 메타데이터 태그를 연속적으로 선택할 수 있는 환경 즉, 추가 연관 검색 이미지 또는 텍스트 타입의 메타데이터 태그를 표시함으로써 사용자가 찾고자 하는 결과에 보다 쉽고 신속하게 접근할 수 있게 된다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (6)

  1. 복수의 감시 영역들을 촬영하여 상기 각 감시영역에 대한 영상 정보를 취득하고, 상기 취득한 각 감시 영역별 영상 정보를 각각의 채널로 전송하는 복수의 카메라들;
    상기 복수의 카메라들과 네트워크를 통해 연결되어 실시간으로 상기 카메라들로부터 영상 정보들을 수신하며, 상기 전송된 다채널 영상 정보들에 대한 검색을 수행하는 영상수신/검색장치를 포함하고,
    상기 영상수신/검색장치는 상기 각 채널 별 영상 분석 정보에 근거하여 각 채널의 이벤트에 대응되는 썸네일 이미지 및 메타데이터 태그를 생성하며, 상기 생성된 썸네일 이미지 및 메타데이터 태그를 표시하여 상기 전송된 다채널 영상 정보들에 대한 검색을 수행하는 영상 검색 뷰어(viewer)를 포함하는 네트워크 감시 카메라 시스템.
  2. 제1 항에 있어서,
    상기 카메라는,
    상기 감시영역에 대응하는 영상분석 정보들을 메타데이터로 생성하는 메타데이터 생성부; 및
    상기 영상분석 정보들 중 상기 감시영역 내에서 검출된 식별 가능한 객체에 해당하는 영상 부분을 크롭핑하여 스틸 이미지를 생성하는 스틸 이미지 생성부를 포함하는 네트워크 감시 카메라 시스템.
  3. 제1 항에 있어서,
    상기 영상 검색 뷰어의 화면에는 각 채널 별로 발생된 이벤트들에 대응하는 상기 복수개의 썸네일 이미지들이 플로팅 형태로 나열되어 표시되고,
    상기 각각의 썸네일 이미지들 주변에는 상기 각 썸네일 이미지에 대응하는 이벤트의 특징을 나타내는 텍스트 타입의 메타데이터 태그가 함께 유기적으로 표시되는 네트워크 감시 카메라 시스템.
  4. 제3 항에 있어서,
    상기 각 썸네일 이미지들 중 이벤트 발생 빈도가 상대적으로 높은 채널에서 전송된 영상 데이터에 대응된 제1 썸네일 이미지가 상기 화면의 앞쪽(z축 방향)에 표시되는 네트워크 감시 카메라 시스템.
  5. 제3 항에 있어서,
    상기 썸네일 이미지들이 상기 화면의 z축을 기반으로 배열될 때 썸네일 이미지의 채도, 명도 및 효과를 조절하여 표시하는 네트워크 감시 카메라 시스템.
  6. 제5 항에 있어서,
    상기 썸네일 이미지들 중 선택된 소정의 썸네일 이미지에 대응하는 채널의 이벤트 정보를 추가 검색하는 메뉴 바가 더 표시되는 네트워크 감시 카메라 시스템.
KR1020200019410A 2020-02-18 2020-02-18 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템 KR20210104979A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200019410A KR20210104979A (ko) 2020-02-18 2020-02-18 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
US17/798,088 US20230093631A1 (en) 2020-02-18 2021-02-18 Video search device and network surveillance camera system including same
PCT/KR2021/002076 WO2021167374A1 (ko) 2020-02-18 2021-02-18 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200019410A KR20210104979A (ko) 2020-02-18 2020-02-18 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템

Publications (1)

Publication Number Publication Date
KR20210104979A true KR20210104979A (ko) 2021-08-26

Family

ID=77392212

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200019410A KR20210104979A (ko) 2020-02-18 2020-02-18 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템

Country Status (3)

Country Link
US (1) US20230093631A1 (ko)
KR (1) KR20210104979A (ko)
WO (1) WO2021167374A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102580643B1 (ko) * 2023-03-20 2023-09-20 (주)포소드 키 교환 암호 프로토콜 기반 cctv 카메라 영상 데이터 보안 전송 시스템 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2612118B (en) * 2021-10-22 2024-10-02 Milestone Systems As Computer-implemented method and computer program for generating a thumbnail from a video stream or file, and video surveillance system
US11790627B2 (en) * 2022-01-20 2023-10-17 Lenovo Global Technology (United States) Inc. Using an object key to deprioritize processing of relative regions
FR3139680B1 (fr) * 2022-09-08 2024-09-20 Thales Sa Procede de transmission de donnees de detection d'objets types, procede de traitement dans un dispositif electronique recepteur de donnees de detection transmises par une plurialite de dispositifs d'acquisition ; dispositifs emetteur et recepteur associes

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7853895B2 (en) * 2004-05-11 2010-12-14 Sony Computer Entertainment Inc. Control of background media when foreground graphical user interface is invoked
TWI384413B (zh) * 2006-04-24 2013-02-01 Sony Corp An image processing apparatus, an image processing method, an image processing program, and a program storage medium
US8196045B2 (en) * 2006-10-05 2012-06-05 Blinkx Uk Limited Various methods and apparatus for moving thumbnails with metadata
JP2011223326A (ja) * 2010-04-09 2011-11-04 Sony Corp コンテンツ処理装置および方法、並びにプログラム
US9269243B2 (en) * 2011-10-07 2016-02-23 Siemens Aktiengesellschaft Method and user interface for forensic video search
KR102004262B1 (ko) * 2012-05-07 2019-07-26 엘지전자 주식회사 미디어 시스템 및 이미지와 연관된 추천 검색어를 제공하는 방법
EP3229174A1 (en) * 2016-04-06 2017-10-11 L-1 Identity Solutions AG Method for video investigation
KR102002360B1 (ko) * 2018-09-17 2019-07-23 국방과학연구소 영상 처리용 NoSQL 데이터베이스 구축 방법 및 장치
KR102039279B1 (ko) * 2018-12-18 2019-10-31 장승현 영상 인식을 이용한 경찰 업무 지원 시스템 및 그 방법
US11188758B2 (en) * 2019-10-30 2021-11-30 Scenera, Inc. Tracking sequences of events

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102580643B1 (ko) * 2023-03-20 2023-09-20 (주)포소드 키 교환 암호 프로토콜 기반 cctv 카메라 영상 데이터 보안 전송 시스템 및 방법

Also Published As

Publication number Publication date
WO2021167374A1 (ko) 2021-08-26
US20230093631A1 (en) 2023-03-23

Similar Documents

Publication Publication Date Title
US11972036B2 (en) Scene-based sensor networks
KR20210104979A (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
US9807338B2 (en) Image processing apparatus and method for providing image matching a search condition
RU2597232C1 (ru) Способ предоставления видео в режиме реального времени и устройство для его осуществления, а также сервер и терминальное устройство
CN108701392A (zh) 用于执行监视的方法和装置
KR100883632B1 (ko) 고해상도 카메라를 이용한 지능형 영상 감시 시스템 및 그 방법
US20170337425A1 (en) Scene marking
US20120106791A1 (en) Image processing apparatus and method thereof
US11363234B2 (en) Video management system and video management method
JP2011087253A (ja) 撮像装置、情報処理装置及び情報処理方法
JP2015154465A (ja) 表示制御装置、表示制御方法及びプログラム
JP6203188B2 (ja) 類似画像検索装置
JP2009171472A (ja) ネットワーク映像モニタリングシステム及びモニタ装置
JP6396682B2 (ja) 監視カメラシステム
KR20210108691A (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
JP2006093955A (ja) 映像処理装置
KR20180075506A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
US20220286642A1 (en) Event-oriented multi-channel video backup apparatus and method, and network surveillance camera system including the same
KR20210085970A (ko) 영상 내의 객체를 시각화하는 영상 감시 장치 및 방법
KR20220003779A (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
KR20210065006A (ko) 사건 중심의 다채널 영상 백업 장치 및 그 방법과, 이를 포함한 네트워크 감시 카메라 시스템
US20220239826A1 (en) Network surveillance camera system and method for operating same
US20240305750A1 (en) Video reception/search apparatus and video display method
KR20200139612A (ko) 네트워크 감시 카메라 시스템 및 그 동작 방법
JP2013115566A (ja) 撮像装置、撮像装置の制御方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination