KR20140098959A - 증거 영상 생성 장치 및 방법 - Google Patents

증거 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR20140098959A
KR20140098959A KR1020130011476A KR20130011476A KR20140098959A KR 20140098959 A KR20140098959 A KR 20140098959A KR 1020130011476 A KR1020130011476 A KR 1020130011476A KR 20130011476 A KR20130011476 A KR 20130011476A KR 20140098959 A KR20140098959 A KR 20140098959A
Authority
KR
South Korea
Prior art keywords
image
unit
evidence
search
generating
Prior art date
Application number
KR1020130011476A
Other languages
English (en)
Inventor
박수완
임경수
김건우
한민호
최수길
정치윤
김무섭
한종욱
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130011476A priority Critical patent/KR20140098959A/ko
Priority to US13/843,911 priority patent/US9208226B2/en
Publication of KR20140098959A publication Critical patent/KR20140098959A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G08B13/19615—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion wherein said pattern is defined by the user
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

사건/사고 발생시 다중 감시 카메라로부터 저장된 영상들로부터 특정 객체의 이동 경로를 제공하며, 특정 객체를 포함하는 영상들만을 모아 신뢰성있는 법적인 증거 영상을 제공할 수 있는 증거 영상 생성 장치 및 방법이 제시된다. 제시된 장치는 다중 감시 카메라로부터의 영상을 저장 및 분석하여 객체를 인식하고 인식된 객체의 특징을 추출하여 객체 메타데이터를 생성하는 영상 객체 색인부, 입력받은 검색 조건을 객체 메타데이터와 비교하여 검색 조건에 상응하는 하나 이상의 객체의 특징 정보를 포함하는 검색 결과를 출력하는 영상 객체 검색부, 및 검색 결과에서 선택된 특정 객체를 포함하는 영상만을 모아 증거 영상을 생성하는 증거 영상 생성부를 포함한다.

Description

증거 영상 생성 장치 및 방법{Apparatus and method for evidence video generation}
본 발명은 증거 영상 생성 장치 및 방법에 관한 것으로, 보다 상세하게는 다중 감시 카메라 기반의 지능형 영상 검색 기술을 통한 증거 영상 생성 장치 및 방법에 관한 것이다.
기존의 영상 보안기술을 이용한 감시 시스템은 사건 발생 후 수집된 관련 영상을 분석해서 대처함으로써 많은 시간이 소요되어 감시 객체의 안전을 보장하기가 어려웠다. 그리고, 수집된 영상들간의 연관성 분석이 어려워 효율적인 사건 해결 및 대응이 매우 어려웠다.
또한, 기존의 영상 보안기술을 이용한 감시 시스템은 자동화되지 않은 방법으로 서로 별도로 수집된 영상들간의 연관성을 분석하고 추론함으로써, 비용과 효율성, 및 정확성이 현저히 저하되었다. 그리고, 특정 지역에 대한 사건 발생 시 주변에 설치된 CCTV의 관리자 확인과 영상 자료 입수 후 분석은 상당 시간이 초과되어 신속한 처리가 더욱 어려웠다. 이와 더불어, 사건의 증거 자료로 사용될 수 있는 이들 영상 데이터는 분석, 생성 및 활용을 위해 많은 시간이 소요될 뿐 아니라 수정 및 삭제 등의 조작으로 그 가치를 제대로 주장하기가 힘든 상황이다.
대한민국 등록특허공보 10-1062225호(감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템)에는 보행자 추적 및 특성 추출기를 통해 보행자 특성에 기반한 영상 검색 기법이 제시되었다. 즉, 대한민국 등록특허공보 10-1062225호에는 감시 카메라 영상에 대한 지능화 검색을 지원하고, 감시 카메라로부터 입력되는 다중 보행자의 특성을 추출하고 추출된 다중 보행자 특성을 기반으로 사용자가 원하는 보행자를 검색할 수 있는 내용이 제시되었다. 이를 위해, 대한민국 등록특허공보 10-1062225호에는 감시 목표 지역을 촬영하는 복수의 감시 카메라와, 복수의 감시 카메라에 의해 촬영된 영상을 처리하여 생성된 배경 차 영상을 이용하여 보행자 관심 영역을 검출하고, 보행자 관심 영역에 기초하여 보행자 특성 정보를 추출하며, 추출된 보행자 특성 정보 중 검색하고자 하는 보행자 특성 정보에 매칭되는 보행자 특성 정보가 추출된 영상을 검출하는 영상 처리 서버, 및 검색하고자 하는 보행자 특성 정보를 입력하거나 검출된 영상을 영상 검색 화면에 표시하는 사용자 인터페이스 부를 포함하는 지능형 영상 검색 시스템이 제시되었다.
이와 같은 대한민국 등록특허공보 10-1062225호에 의해서는 감시 카메라 영상에 대한 지능화 검색을 지원하기 위하여 다중 보행자를 안정적으로 감지 및 추적하고, 다중 보행자 각각의 특성을 추출하여 보행자 특성에 기반한 영상 검색을 행할 수 있다.
그러나, 대한민국 등록특허공보 10-1062225호는 설치 환경을 고려한 다중 감시 카메라 기반의 객체 검색을 수행하고 검색 결과를 활용하여 법적인 증거 영상을 생성하며 검색 결과를 분석하여 객체의 이동 경로를 제공하는 방법은 제시하지 못한다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 사건/사고 발생시 다중 감시 카메라로부터 저장된 영상들로부터 특정 객체의 이동 경로를 제공하며, 특정 객체를 포함하는 영상들만을 모아 신뢰성있는 법적인 증거 영상을 제공할 수 있는 증거 영상 생성 장치 및 방법을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 증거 영상 생성 장치는, 다중 감시 카메라로부터의 영상을 저장 및 분석하여 객체를 인식하고, 상기 인식된 객체의 특징을 추출하여 객체 메타데이터를 생성하는 영상 객체 색인부; 입력받은 검색 조건을 상기 객체 메타데이터와 비교하여 상기 검색 조건에 상응하는 하나 이상의 객체의 특징 정보를 포함하는 검색 결과를 출력하는 영상 객체 검색부; 및 상기 검색 결과에서 선택된 특정 객체를 포함하는 영상만을 모아 증거 영상을 생성하는 증거 영상 생성부;를 포함한다.
상기 영상 객체 색인부는, 상기 다중 감시 카메라로부터 영상을 입력받는 영상 입력부; 상기 영상의 프레임별로 객체를 인식하여 관심 영역을 지정하는 영상 분석부; 상기 관심 영역으로 지정된 객체로부터 특징 정보를 추출하는 특징 정보 추출부; 및 상기 추출된 객체의 특징 정보를 근거로 상기 영상내에서 해당 객체를 색인화할 수 있는 상기 객체 메타데이터를 생성하는 메타데이터 생성부;를 포함한다.
상기 영상 분석부는 상기 객체의 특징 정보를 추출하거나 쿼리 이미지로 사용하기 위한 객체 대표 프레임을 선정하기 위해, 기설정된 객체 대표 프레임 선정 기준에 따라 상기 영상의 프레임중에서 상기 객체 대표 프레임을 선정한다.
상기 하나 이상의 객체의 특징 정보는 비겹침 뷰 카메라 배치를 위한 객체 색상, 이동 속도, 이동 방향을 포함하는 객체 추출 정보와, 겹침 뷰 카메라 배치를 위한 추가적인 정보인 객체 ID, 모양, 질감, 궤도를 포함한다.
상기 영상 객체 검색부는, 상기 입력받은 검색 조건을 질의문으로 변환하는 질의 변환부; 및 상기 질의문으로 변환된 검색 조건에 해당하는 객체 특징과 데이터베이스에 저장된 상기 객체 메타데이터를 비교하여 유사 특징을 갖는 객체 정보를 추출하여 출력하는 데이터베이스 검색부;를 포함한다.
상기 증거 영상 생성부는, 상기 저장된 영상에서 상기 특정 객체를 포함하는 일부 구간을 추출하고 취합하여 증거 영상을 생성하는 증거 영상 편집부; 상기 저장된 영상 및 상기 생성된 증거 영상에 대한 포렌식 데이터를 생성하고, 상기 생성된 증거 영상 및 상기 포렌식 데이터들을 디지털 증거 보관 포맷으로 저장하는 포렌식 증거 영상 생성부; 및 상기 검색 결과의 연관성을 분석하여 상기 다중 감시 카메라 사이에서 상기 특정 객체의 이동 경로를 출력하는 이동 경로 분석부;를 포함한다.
상기 이동 경로 분석부는 상기 다중 감시 카메라가 설치된 환경 및 위치를 표시하는 지도를 이용하여 시간순에 따라 상기 특정 객체의 이동 경로를 표시한다.
상기 저장된 영상에 대한 포렌식 데이터는 영상 소스가 수집된 카메라에서의 영상 녹화시간, 원본 영상의 정지 이미지를 포함한다.
상기 생성된 증거 영상에 대한 포렌식 데이터는 상기 저장된 영상에 대한 포렌식 데이터 리스트, 상기 증거 영상이 생성된 시스템 및 네트워크 정보, 상기 생성된 증거 영상에 대한 무결성 증명 데이터를 포함한다.
상기 디지털 증거 보관 포맷은 XML형태의 포렌식 데이터와 원본 영상의 정지 이미지 및 증거 영상 파일로 구성된다.
바람직하게, 상기 영상 객체 검색부에게로 상기 검색 조건을 입력하고, 상기 영상 객체 검색부로부터의 검색 결과를 입력받아 출력하고, 상기 증거 영상 생성부로부터의 증거 영상을 실행하는 사용자 인터페이스부를 추가로 포함하여도 된다.
상기 사용자 인터페이스부는, 상기 검색 조건을 상기 영상 객체 검색부에게로 입력하는 질의 입력부; 상기 영상 객체 검색부로부터의 검색 결과를 출력하는 검색 결과 출력부; 상기 증거 영상 생성부로부터의 증거 영상 및 상기 검색 결과 출력부로부터의 검색 결과에서 선택된 객체 정보에 상응하는 영상을 실행하는 영상 실행부; 및 상기 검색 결과 출력부로부터의 검색 결과에서 상기 증거 영상의 생성에 관련된 객체를 선택하는 검색 결과 필터부;를 포함한다.
본 발명의 다른 실시양태에 따른 증거 영상 생성 장치는, 다수의 감시 카메라; 상기 다수의 감시 카메라로부터의 영상을 저장 및 분석하여 객체를 인식하고 상기 인식된 객체의 특징을 추출하여 객체 메타데이터를 생성하는 영상 객체 색인부, 입력받은 검색 조건을 상기 객체 메타데이터와 비교하여 상기 검색 조건에 상응하는 하나 이상의 객체의 특징 정보를 포함하는 검색 결과를 출력하는 영상 객체 검색부, 및 상기 검색 결과에서 선택된 특정 객체를 포함하는 영상만을 모아 증거 영상을 생성하는 증거 영상 생성부를 포함하는 영상 처리 서버; 및 상기 검색 조건을 입력하고 상기 검색 결과를 확인하고 상기 증거 영상의 생성을 요청하는 사용자 인터페이스부를 포함하는 영상 관제 서버;를 포함한다.
본 발명의 바람직한 실시양태에 따른 증거 영상 생성 방법은, 영상 객체 색인부가, 다중 감시 카메라로부터의 영상을 저장 및 분석하여 객체를 인식하는 단계; 상기 영상 객체 색인부가, 상기 인식된 객체의 특징을 추출하여 객체 메타데이터를 생성하는 단계; 영상 객체 검색부가, 입력받은 검색 조건을 상기 객체 메타데이터와 비교하여 상기 검색 조건에 상응하는 하나 이상의 객체의 특징 정보를 포함하는 검색 결과를 출력하는 단계; 및 증거 영상 생성부가, 상기 검색 결과에서 선택된 특정 객체를 포함하는 영상만을 모아 증거 영상을 생성하는 단계;를 포함한다.
상기 객체 메타데이터를 생성하는 단계는, 상기 인식된 객체를 근거로 상기 영상의 프레임별로 관심 영역을 지정하는 단계; 상기 관심 영역으로 지정된 객체로부터 특징 정보를 추출하는 단계; 및 상기 추출된 객체의 특징 정보를 근거로 상기 영상내에서 해당 객체를 색인화할 수 있는 상기 객체 메타데이터를 생성하는 단계;를 포함한다.
상기 검색 결과를 출력하는 단계는, 상기 입력받은 검색 조건을 질의문으로 변환하는 단계; 및 상기 질의문으로 변환된 검색 조건에 해당하는 객체 특징과 데이터베이스에 저장된 상기 객체 메타데이터를 비교하여 유사 특징을 갖는 객체 정보를 추출하여 출력하는 단계;를 포함한다.
상기 증거 영상을 생성하는 단계는, 상기 저장된 영상에서 상기 특정 객체를 포함하는 일부 구간을 추출하고 취합하여 증거 영상을 생성하는 단계; 상기 저장된 영상 및 상기 생성된 증거 영상에 대한 포렌식 데이터를 생성하고, 상기 생성된 증거 영상 및 상기 포렌식 데이터들을 디지털 증거 보관 포맷으로 저장하는 단계; 및 상기 검색 결과의 연관성을 분석하여 상기 다중 감시 카메라 사이에서 상기 특정 객체의 이동 경로를 출력하는 단계;를 포함한다.
상기 이동 경로를 출력하는 단계는 상기 다수의 감시 카메라가 설치된 환경 및 위치를 표시하는 지도를 이용하여 시간순에 따라 상기 특정 객체의 이동 경로를 표시한다.
바람직하게, 사용자 인터페이스부가, 상기 검색 조건을 입력하는 단계; 상기 사용자 인터페이스부가, 상기 검색 결과를 입력받아 출력하는 단계; 및 상기 사용자 인터페이스부가, 상기 증거 영상을 실행하는 단계;를 추가로 포함하여도 된다.
이러한 구성의 본 발명에 따르면, 다양한 감시 카메라 설치환경에서 강인한 객체 특징을 추출하여 영상 내 객체를 색인하고 검색함으로써 효율적인 객체 검색을 제공하고, 검색 결과를 분석하여 특정 객체의 이동경로를 제공하며, 특정 객체를 포함하는 영상들만을 모아 법적 증거 자료로 활용할 수 있는 증거 영상을 생성할 수 있다.
도 1은 본 발명의 실시예에 따른 다중 감시 카메라 기반의 지능형 영상 검색 기술을 통한 증거 영상 생성 기술이 적용되는 환경의 일 예를 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 증거 영상 생성 장치의 구성도이다.
도 3은 본 발명의 실시예에 따른 증거 영상 생성 방법에서 영상 객체 색인 과정을 설명하는 플로우차트이다.
도 4는 본 발명의 실시예에 따른 증거 영상 생성 방법에서 영상 객체 검색 및 증거 영상 생성 과정을 설명하는 플로우차트이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 증거 영상 생성 장치 및 방법에 대하여 설명하면 다음과 같다. 본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니된다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 실시예에 따른 다중 감시 카메라 기반의 지능형 영상 검색 기술을 통한 증거 영상 생성 기술이 적용되는 환경의 일 예를 나타낸 도면이다.
본 발명의 실시예는 사건/사고 발생시 법적 증거자료 확보를 위해 특정 객체(범인)을 포함하는 영상 정보를 검색하고, 영상간 연관성을 분석하여 객체의 이동경로를 파악하며, 최종적으로 법적인 증거 자료로 활용할 수 있는 법적 증거 영상을 생성한다.
도 1에 예시된 시스템은 다수의 감시 카메라(10; "다중 감시 카메라"라고도 함), 영상 처리 서버(14), 및 영상 관제 서버(16)를 포함하는 지능형 영상 감시 시스템이다.
여기서, 소규모의 영상 감시 시스템은 영상 관제 서버(16)가 영상 처리 및 저장 기능을 포함하는 경우도 있으므로, 본 발명의 실시예에서는 영상 관제 서버(16)와 영상 처리 서버(14)의 별도 운영을 기반으로 한다. 물론, 영상 처리 서버(14)가 영상 관제 서버(16)에 포함되는 것으로 하여도 무방하다.
다수의 감시 카메라(10)는 적어도 2대 이상의 카메라로 구성됨이 바람직하고, 각각의 감시 카메라(10)는 감시를 위한 각각의 영역에 설치(배치)된다.
다수의 감시 카메라(10; 다중 감시 카메라)의 배치 환경은 2대 이상의 카메라가 일정범위의 시야를 공유하는 겹침 뷰(overlapping view) 배치, 카메라간 화면의 겹침이 없이 넓은 지역에 설치될 수 있는 비겹침 뷰(non-overlapping view) 배치를 모두 고려할 수 있다. 카메라 배치 환경에 맞는 객체 특징 정보를 추출함으로써 다중 감시 카메라간 이동 객체를 추적 및 검색할 수 있도록 한다.
다수의 감시 카메라(10)는 네트워크(12)를 통해 영상 처리 서버(14) 및 영상 관제 서버(16)와 통신한다.
영상 처리 서버(14)는 영상으로부터 객체를 색인하는 객체 메타데이터를 생성하고, 저장된 객체 메타데이터를 이용해 객체 검색을 수행하며, 법적 증거 영상을 생성을 수행한다. 영상 처리 서버(14)는 다수의 감시 카메라(10)로부터 입력되는 원영상 데이터, 생성된 객체 메타데이터, 및 객체를 포함하는 객체의 대표 이미지 등을 저장하는 영상 저장 서버(도시 생략)를 포함할 수 있다. 한편, 영상 처리 서버(14)에서 수행되는 영상 인식 및 객체 메타데이터 생성 기능은 카메라의 고성능화로 인해 다수의 감시 카메라(10)에서 수행될 수도 있다.
영상 관제 서버(16)는 다수의 감시 카메라(10)로부터 입력되는 영상들의 모니터링을 주목적으로 한다. 그리고, 영상 관제 서버(16)는 사용자가 특정 검색을 요청하고 검색 결과를 확인하며 증거 영상 생성을 요청할 수 있는 사용자 인터페이스를 제공한다.
도 2는 본 발명의 실시예에 따른 증거 영상 생성 장치의 구성도이다.
도 2에 도시된 증거 영상 생성 장치는, 영상 객체 색인부(20), 사용자 인터페이스부(50), 영상 객체 검색부(60), 및 증거 영상 생성부(70)를 포함한다.
영상 객체 색인부(20)는 다수의 감시 카메라(10)를 통해 실시간으로 입력되는 영상을 분석하여 객체를 인식하고 각 객체의 특징들을 추출하여 객체 메타데이터를 생성한다. 영상 객체 색인부(20)는 그 생성한 객체 메타데이터를 객체 검색에 활용할 수 있도록 저장한다. 이를 위해, 영상 객체 색인부(20)는 영상 입력부(22), 영상 분석부(24), 특징 정보 추출기(26), 및 메타데이터 생성부(28)를 포함한다.
영상 입력부(22)는 다수의 감시 카메라(10)를 통해 입력되는 실시간 영상 데이터를 영상 분석부(24)의 지능형 영상 인식 모듈(도시 생략)로 전달하고, 원영상은 영상 아카이브(30)에 저장한다.
영상 분석부(24)는 배경 모델링과 객체 추적 등을 수행하는 지능형 영상 인식 모듈(도시 생략)을 통해 객체를 인식하고 인식된 객체의 영역을 관심 영역(ROI ; Region-of-Interest)으로 지정한다. 그리고, 영상 분석부(24)는 대표 프레임 추출을 통해 객체를 포함하는 다수의 프레임 중 객체를 가장 명확하게 포함하고 있는 프레임을 선정한다. 여기서, 그 선정된 프레임은 대표 프레임이 된다.
특징 정보 추출부(26)는 관심 영역으로 지정된 객체로부터 다양한 환경 변화에도 강인성을 가지는 객체 특징 정보를 추출한다. 이때, 특징 정보는 색상, 모양, 질감 등의 공간적(spatial) 정보와 시점, 속도, 방향 등의 시간적(temporal) 정보를 포함할 수 있다.
메타데이터 생성부(28)는 특징 정보 추출부(26)로부터 수신한 정보들을 통합하여 영상으로부터 객체를 색인할 수 있는 유일성과 최소성을 최대한 만족하는 객체 메타데이터를 생성하고 데이터베이스(40)에 저장한다.
사용자 인터페이스부(50)는 사용자에게 검색 조건 입력, 검색 결과 출력, 영상 실행 및 검색 결과 중 일부만을 선택할 수 있는 사용자 GUI를 제공한다. 이를 위해, 사용자 인터페이스부(50)는 질의 입력부(52), 검색 결과 출력부(54), 영상 실행부(56), 및 검색 결과 필터부(58)를 포함한다.
질의 입력부(52)는 검색하고자 하는 검색 조건이 입력되면 그 정보를 영상 객체 검색부(60)의 질의 변환부(62)에게로 전달한다.
검색 결과 출력부(54)는 영상 객체 검색부(60)로부터 전달된 검색 결과를 유사도별, 카메라별, 시간별 등과 같이 정해진 기준에 따라 제공한다.
영상 실행부(56)는 원영상 또는 검색 결과 출력부(54)의 검색 결과 리스트 중 선택된 단일 객체 정보를 이용하여 원영상으로부터 해당 객체를 포함하는 일부 구간을 재생한다.
검색 결과 필터부(58)는 증거 영상을 생성하기 위해 검색 결과 출력부(54)의 검색 결과 리스트 중 썸네일 이미지(thumbnail image) 또는 영상 실행부(56)를 통해 확인된 관련 객체만을 선택한다.
영상 객체 검색부(60)는 사용자 인터페이스부(50)로부터 입력된 질의를 데이터베이스(40)에 저장된 객체 메타데이터와 비교하여 검색 결과를 제공한다. 이를 위해, 영상 객체 검색부(60)는 질의 변환부(62), 및 데이터베이스 검색부(64)를 포함한다.
질의 변환부(62)는 사용자 인터페이스부(50)로부터 입력된 객체의 검색 조건(질의)을 데이터베이스 검색을 위한 질의문으로 변환한다. 질의 변환부(62)는 그 변환된 질의문을 데이터베이스 검색부(64)에게로 전달한다.
데이터베이스 검색부(64)는 입력받은 질의문을 통해 검색 조건에 해당하는 객체 특징들과 데이터베이스(40)에 저장된 객체 메타데이터들을 비교하여 유사 특징을 가지는 객체 정보들을 유사도별로 추출하여 사용자 인터페이스부(50)의 검색 결과 출력부(54)에게로 전달한다.
증거 영상 생성부(70)는 검색 결과 중 특정 객체를 포함하는 영상들만을 모아 법적 증거 영상을 생성한다. 이를 위해, 증거 영상 생성부(70)는 증거 영상 편집부(72), 포렌식 증거 영상 생성부(74), 및 이동 경로 분석부(76)를 포함한다.
증거 영상 편집부(72)는 검색 결과 필터부(58)를 통해 얻어진 정보를 이용하여 다수의 감시 카메라(10)의 영상들에서 특정 객체를 포함하는 일부 구간을 추출하고 이를 취합하여 하나의 증거 영상을 생성한다.
포렌식(forensic) 증거 영상 생성부(74)는 증거 능력을 확보하기 위해 법정 증거 자료로 활용할 수 있는 카메라의 정보, 객체 검색에 활용한 특징 정보, 영상 자료의 무결성 및 신뢰성을 확보할 수 있는 포렌식 데이터, 각 영상 자료의 주요 화면 이미지 파일 등을 증거 영상과 함께 디지털 증거 보관 포맷으로 저장한다. 여기서, 포렌식 데이터를 생성하는 기법은 당업자라면 주지의 기술로 충분히 이해할 수 있다.
이동 경로 분석부(76)는 사용자 인터페이스부(50)의 검색 결과 필터부(58)에 의해 선택된 정보를 분석하여 객체의 이동 경로를 제시한다. 여기서, 분석된 객체의 이동 경로 정보는 사용자 인터페이스부(50)에서 텍스트 또는 맵을 이용해서 제공된다.
도 3은 본 발명의 실시예에 따른 증거 영상 생성 방법에서 영상 객체 색인 과정을 설명하는 플로우차트이다.
우선, 영상 객체 색인부(20)는 다수의 감시 카메라(10)로부터 입력되는 각각의 영상 데이터를 가지고 실시간으로 영상 객체 색인 과정을 수행한다. 그 영상 객체 색인 과정은 영상 인식 기술과 함께 각각의 감시 카메라(10)에서 수행될 수도 있으며, 영상 처리 서버(14)에서 별도 또는 통합 수행될 수도 있다.
다수의 감시 카메라(10)에서 실시간으로 촬영되는 영상이 영상 입력부(22)에 입력되면(S10) 그 영상 입력부(22)는 입력받은 영상을 영상 분석부(24)에게로 전달한다.
영상 분석부(24)는 입력받은 영상의 각 프레임에서 객체의 출현을 인식하되, 내부의 지능형 영상 인식 모듈(도시 생략)을 통해 객체의 출현을 인식한다(S12).
만약, 새로운 객체일 경우(S14에서, "예")에는 영상 분석부(24)는 그 새로운 객체에 대하여 새로운 ID를 부여하고(S16), 반대로 기존 객체일 경우에는 지속적으로 이전 프레임과의 상관도를 통해 객체를 추적한다.
그리고, 영상 분석부(24)는 내부의 대표 프레임 추출 모듈(도시 생략)을 통해 프레임 내 객체 영역을 분석하여 해당 객체를 포함하는 다수의 프레임 중 객체를 가장 명확하게 포함하고 있는 프레임(즉, 객체 대표 프레임)이 있는지를 체크한다(S18). 여기서, 객체 대표 프레임 선정 기준은 과거 프레임들과 비교하여 객체의 비율 및 픽셀 수 등이 기설정값에 가깝거나 미리 정해진 기준치 이상일 경우 등이 활용될 수 있다.
상기의 체크 단계(S18)에서, 해당 객체를 포함하는 다수의 프레임 중 객체를 가장 명확하게 포함하고 있는 프레임이 있으면 그 프레임을 객체 대표 프레임으로 선정(추출)한다(S20). 선정된 객체 대표 프레임은 영상 내 프레임 위치, 촬영시간, 프레임 내 객체 위치, 객체 크기 및 캡쳐된 이미지 등의 정보로 표현할 수 있다. 이후에, 그 선정된 객체 대표 프레임은 객체 특징 정보를 추출하기 위해 사용되거나 또는 정지 영상으로 생성 및 저장되어 검색 시 사용자 입력을 위한 쿼리(query) 이미지로 사용될 수도 있다.
상술한 영상 객체 색인 과정 이후에는 특징 정보 추출부(26)에서 각 프레임 내 객체 영역으로부터 객체 ID별로 특징 정보를 추출하는 과정(S22)이 수행된다. 객체로부터 추출되는 특징 정보는 다중 감시 카메라 환경에서 객체의 카메라간 이동을 분석하기 위해 다중 감시 카메라 설정 및 배치 환경을 고려해야 한다. 비겹침 뷰 카메라 배치는 객체 추출 정보로서 색상, 속도, 방향 정보를 사용할 수 있다. 한편, 겹침 뷰 카메라 배치는 객체 ID, 모양, 질감, 궤도 등 다차원의 특징 정보들을 추가적으로 사용할 수 있다. 또한, 객체 특징 추출은 객체 출현 시점 또는 선정된 객체 대표 프레임과 같이 단일 프레임으로부터 수행될 수도 있으며 객체가 출현한 시점부터 소멸한 시점까지의 다수의 프레임으로부터 추출된 특징 정보들을 활용할 수도 있다. 이때, 객체가 다수의 프레임으로부터 단일 특징 정보의 값을 여러개 가진다면 분류(classification) 기술 또는 히스토그램 등을 통해 객체를 대표하는 최소화된 값으로 치환한다. 예를 들어, 특징 정보가 색상일 경우 단일 또는 다수 프레임으로부터 추출된 픽셀 정보는 히스토그램을 통해 상위 몇 가지 색상으로 객체 대표 색상을 지정할 수 있다.
특징 정보 추출 과정이 완료된 이후에는 메타데이터 생성부(28)에서의 다차원 색인 구조 구축 과정(S24)이 행해진다. 즉, 메타데이터 생성부(28)는 각 객체를 표현하기 위해 카메라 ID, 저장 시점, 객체의 출현 및 소멸 시점, 대표 이미지 등의 정보 및 앞서 추출된 다차원의 객체 특징 정보들을 통합하여, 영상 내에서 객체를 색인화할 수 있는 객체 메타데이터로 생성한다.
이후, 메타데이터 생성부(28)는 그 생성된 객체 메타데이터를 데이터베이스(40)에 저장한다(S26).
이번에는, 본 발명의 실시예에 따른 증거 영상 생성 방법에서 영상 객체 검색 및 증거 영상 생성 과정에 대하여 도 4의 플로우차트를 참조하여 설명한다.
우선, 영상 객체 검색을 위해 질의 입력이 있게 된다(S30). 사용자 인터페이스부(50)의 질의 입력부(52)는 사용자가 입력한 검색하고자 하는 날짜, 시간, 카메라를 선택하고, 특정 객체의 특징 정보인 색상과 크기와 방향 및 궤도 등의 정보를 지정한다. 이때, 질의를 위한 객체 특징 정보는 직접적인 텍스트 정보 외에 이미지 또는 손으로 그린 그림 등이 포함될 수 있다. 그리고, 사용자 인터페이스부(50)의 질의 입력부(52)는 특징값을 추출하기 위해 추가적으로 영상의 분석 기능을 포함할 수 있다.
이와 같이 입력된 질의 정보는 영상 객체 검색부(60)의 질의 변환부(62)에게로 전달된다. 질의 변환부(62)는 그 질의 정보를 데이터베이스(40)를 검색하기 위한 쿼리문으로 변환한다(S32).
이후, 데이터베이스 검색부(64)는 생성된 쿼리문을 이용하여 사용자에 의해 입력된 조건과 데이터베이스(40)에 저장된 객체 메타데이터를 비교하여 유사 특징을 가지는 객체 정보들을 추출하고(S34), 그 결과(예컨대, 검색 결과 리스트)를 사용자 인터페이스부(50)의 검색 결과 출력부(54)에게로 전달한다(S36). 여기서, 검색 결과 리스트는 동영상이 아닌 텍스트와 이미지를 기반으로 제공될 수 있다. 이미지는 영상 객체 색인부(20)의 대표 이미지 추출기(도시 생략)에 의해 생성 및 저장된 이미지 또는 검색 결과의 객체 정보를 활용하여 생성된 썸네일 이미지 등을 활용할 수 있다.
그리고 나서, 영상 실행부(56)는 다수의 검색 결과 중 실제 객체의 움직임을 확인하기 위한 영상 확인 요청이 있는지를 체크한다(S38).
만약, 사용자가 검색 결과 리스트 중 하나를 선택하게 되면(S38에서 "예") 영상 실행부(56)는 선택된 검색 결과 정보를 이용하여 영상 아카이브(30)에 저장된 영상에서 객체를 포함하는 구간만을 실행하여 보여준다(S40).
한편, 사용자는 이와 같은 영상 실행부(56)의 반복 사용을 통해 검색 결과 리스트의 객체들을 확인하고, 검색 결과 필터부(58)를 통해 그 중 관련된 객체만을 선택한다(S42). 이와 같은 선택에 의해 해당 객체들의 증거 영상 생성 요청이 발생하게 된다(S44).
증거 영상 생성 요청이 발생함에 따라 증거 영상 생성부(70)는 증거 영상 편집부(72)를 통해 영상 아카이브(30)에 저장된 영상들로부터 해당 객체들을 포함하는 일부 구간들을 추출하고 이들을 취합하여 예를 들어 H.264 표준으로 인코딩된 하나의 증거 영상 파일을 생성한다(S46). 생성된 증거 영상 파일은 포렌식 증거 영상 생성부(74)에게로 전달된다.
포렌식 증거 영상 생성부(74)는 파노라마 영상으로 생성된 증거 영상에 대해 법적 증거 능력을 확보하기 위해 법정 증거 자료로 활용할 수 있는 원본 영상 포렌식 데이터와 증거 영상 포렌식 데이터를 생성한다(S48). 이때, 원본 영상 포렌식 데이터는 영상 소스가 수집된 카메라의 기본 정보인 시스템, 네트워크, 영상 녹화시간, 원본 영상의 정지 이미지 등이 포함될 수 있다. 증거 영상 포렌식 데이터는 원본 영상 포렌식 데이터 리스트, 증거 영상이 생성된 시스템의 시스템 및 네트워크 정보, 생성된 증거 영상 파일에 대한 무결성 증명 데이터(해쉬 값) 등이 포함될 수 있다.
그리고 나서, 포렌식 증거 영상 생성부(74)는 생성된 증거 영상과 포렌식 데이터를 함께 디지털 증거 보관 포맷으로 저장하는 기능을 수행한다(S50). 예를 들어, 디지털 증거 보관 포맷은 XML 형태의 포렌식 데이터와 원본 영상의 정지 이미지 및 증거 영상 파일로 구성되며, 각 구성 항목은 압축 파일 포맷으로 저장된다.
그리고, 생성된 증거 영상 파일은 사용자 인터페이스부(50)의 영상 실행부(56)를 통하여 확인할 수 있다.
사용자 인터페이스부(50)는 영상 객체 검색 결과 또는 필터링된 검색 결과의 분석을 통해 객체의 이동 경로를 제공한다. 사용자 인터페이스부(50)에서 사용자가 이동 경로 확인을 요청하면 객체의 이동 경로 분석 결과는 다수의 감시 카메라(10)가 설치된 환경 및 위치를 표시하는 지도를 이용해서 시간 순에 따라 표시된다.
한편, 본 발명은 상술한 실시예로만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위내에서 수정 및 변형하여 실시할 수 있고, 그러한 수정 및 변형이 가해진 기술사상 역시 이하의 특허청구범위에 속하는 것으로 보아야 한다.
10 : 감시 카메라 12 : 네트워크
14 : 영상 처리 서버 16 : 영상 관제 서버
20 : 영상 객체 색인부 22 : 영상 입력부
24 : 영상 분석부 26 : 특징 정보 추출부
28 : 메타데이터 생성부 30 : 영상 아카이브
40 : 데이터베이스 50 : 사용자 인터페이스부
52 : 질의 입력부 54 : 검색 결과 출력부
56 : 영상 실행부 58 : 검색 결과 필터부
60 : 영상 객체 검색부 62 : 질의 변환부
64 : 데이터베이스 검색부 70 : 증거 영상 생성부
72 : 증거 영상 편집부 74 : 포렌식 증거 영상 생성부
76 : 이동 경로 분석부

Claims (20)

  1. 다중 감시 카메라로부터의 영상을 저장 및 분석하여 객체를 인식하고, 상기 인식된 객체의 특징을 추출하여 객체 메타데이터를 생성하는 영상 객체 색인부;
    입력받은 검색 조건을 상기 객체 메타데이터와 비교하여 상기 검색 조건에 상응하는 하나 이상의 객체의 특징 정보를 포함하는 검색 결과를 출력하는 영상 객체 검색부; 및
    상기 검색 결과에서 선택된 특정 객체를 포함하는 영상만을 모아 증거 영상을 생성하는 증거 영상 생성부;를 포함하는 것을 특징으로 하는 증거 영상 생성 장치.
  2. 청구항 1에 있어서,
    상기 영상 객체 색인부는,
    상기 다중 감시 카메라로부터 영상을 입력받는 영상 입력부;
    상기 영상의 프레임별로 객체를 인식하여 관심 영역을 지정하는 영상 분석부;
    상기 관심 영역으로 지정된 객체로부터 특징 정보를 추출하는 특징 정보 추출부; 및
    상기 추출된 객체의 특징 정보를 근거로 상기 영상내에서 해당 객체를 색인화할 수 있는 상기 객체 메타데이터를 생성하는 메타데이터 생성부;를 포함하는 것을 특징으로 하는 증거 영상 생성 장치.
  3. 청구항 2에 있어서,
    상기 영상 분석부는 상기 객체의 특징 정보를 추출하거나 쿼리 이미지로 사용하기 위한 객체 대표 프레임을 선정하기 위해, 기설정된 객체 대표 프레임 선정 기준에 따라 상기 영상의 프레임중에서 상기 객체 대표 프레임을 선정하는 것을 특징으로 하는 증거 영상 생성 장치.
  4. 청구항 1에 있어서,
    상기 하나 이상의 객체의 특징 정보는 비겹침 뷰 카메라 배치를 위한 객체 색상, 이동 속도, 이동 방향을 포함하는 객체 추출 정보와, 겹침 뷰 카메라 배치를 위한 추가적인 정보인 객체 ID, 모양, 질감, 궤도를 포함하는 것을 특징으로 하는 증거 영상 생성 장치.
  5. 청구항 1에 있어서,
    상기 영상 객체 검색부는,
    상기 입력받은 검색 조건을 질의문으로 변환하는 질의 변환부; 및
    상기 질의문으로 변환된 검색 조건에 해당하는 객체 특징과 데이터베이스에 저장된 상기 객체 메타데이터를 비교하여 유사 특징을 갖는 객체 정보를 추출하여 출력하는 데이터베이스 검색부;를 포함하는 것을 특징으로 하는 증거 영상 생성 장치.
  6. 청구항 1에 있어서,
    상기 증거 영상 생성부는,
    상기 저장된 영상에서 상기 특정 객체를 포함하는 일부 구간을 추출하고 취합하여 증거 영상을 생성하는 증거 영상 편집부;
    상기 저장된 영상 및 상기 생성된 증거 영상에 대한 포렌식 데이터를 생성하고, 상기 생성된 증거 영상 및 상기 포렌식 데이터들을 디지털 증거 보관 포맷으로 저장하는 포렌식 증거 영상 생성부; 및
    상기 검색 결과의 연관성을 분석하여 상기 다중 감시 카메라 사이에서 상기 특정 객체의 이동 경로를 출력하는 이동 경로 분석부;를 포함하는 것을 특징으로 하는 증거 영상 생성 장치.
  7. 청구항 6에 있어서,
    상기 이동 경로 분석부는 상기 다중 감시 카메라가 설치된 환경 및 위치를 표시하는 지도를 이용하여 시간순에 따라 상기 특정 객체의 이동 경로를 표시하는 것을 특징으로 하는 증거 영상 생성 장치.
  8. 청구항 6에 있어서,
    상기 저장된 영상에 대한 포렌식 데이터는 영상 소스가 수집된 카메라에서의 영상 녹화시간, 원본 영상의 정지 이미지를 포함하는 것을 특징으로 하는 증거 영상 생성 장치.
  9. 청구항 6에 있어서,
    상기 생성된 증거 영상에 대한 포렌식 데이터는 상기 저장된 영상에 대한 포렌식 데이터 리스트, 상기 증거 영상이 생성된 시스템 및 네트워크 정보, 상기 생성된 증거 영상에 대한 무결성 증명 데이터를 포함하는 것을 특징으로 하는 증거 영상 생성 장치.
  10. 청구항 6에 있어서,
    상기 디지털 증거 보관 포맷은 XML형태의 포렌식 데이터와 원본 영상의 정지 이미지 및 증거 영상 파일로 구성되는 것을 특징으로 하는 증거 영상 생성 장치.
  11. 청구항 1에 있어서,
    상기 영상 객체 검색부에게로 상기 검색 조건을 입력하고, 상기 영상 객체 검색부로부터의 검색 결과를 입력받아 출력하고, 상기 증거 영상 생성부로부터의 증거 영상을 실행하는 사용자 인터페이스부를 추가로 포함하는 것을 특징으로 하는 증거 영상 생성 장치.
  12. 청구항 11에 있어서,
    상기 사용자 인터페이스부는,
    상기 검색 조건을 상기 영상 객체 검색부에게로 입력하는 질의 입력부;
    상기 영상 객체 검색부로부터의 검색 결과를 출력하는 검색 결과 출력부;
    상기 증거 영상 생성부로부터의 증거 영상 및 상기 검색 결과 출력부로부터의 검색 결과에서 선택된 객체 정보에 상응하는 영상을 실행하는 영상 실행부; 및
    상기 검색 결과 출력부로부터의 검색 결과에서 상기 증거 영상의 생성에 관련된 객체를 선택하는 검색 결과 필터부;를 포함하는 것을 특징으로 하는 증거 영상 생성 장치.
  13. 다수의 감시 카메라;
    상기 다수의 감시 카메라로부터의 영상을 저장 및 분석하여 객체를 인식하고 상기 인식된 객체의 특징을 추출하여 객체 메타데이터를 생성하는 영상 객체 색인부, 입력받은 검색 조건을 상기 객체 메타데이터와 비교하여 상기 검색 조건에 상응하는 하나 이상의 객체의 특징 정보를 포함하는 검색 결과를 출력하는 영상 객체 검색부, 및 상기 검색 결과에서 선택된 특정 객체를 포함하는 영상만을 모아 증거 영상을 생성하는 증거 영상 생성부를 포함하는 영상 처리 서버; 및
    상기 검색 조건을 입력하고 상기 검색 결과를 확인하고 상기 증거 영상의 생성을 요청하는 사용자 인터페이스부를 포함하는 영상 관제 서버;를 포함하는 것을 특징으로 하는 증거 영상 생성 장치.
  14. 영상 객체 색인부가, 다중 감시 카메라로부터의 영상을 저장 및 분석하여 객체를 인식하는 단계;
    상기 영상 객체 색인부가, 상기 인식된 객체의 특징을 추출하여 객체 메타데이터를 생성하는 단계;
    영상 객체 검색부가, 입력받은 검색 조건을 상기 객체 메타데이터와 비교하여 상기 검색 조건에 상응하는 하나 이상의 객체의 특징 정보를 포함하는 검색 결과를 출력하는 단계; 및
    증거 영상 생성부가, 상기 검색 결과에서 선택된 특정 객체를 포함하는 영상만을 모아 증거 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는 증거 영상 생성 방법.
  15. 청구항 14에 있어서,
    상기 객체 메타데이터를 생성하는 단계는,
    상기 인식된 객체를 근거로 상기 영상의 프레임별로 관심 영역을 지정하는 단계;
    상기 관심 영역으로 지정된 객체로부터 특징 정보를 추출하는 단계; 및
    상기 추출된 객체의 특징 정보를 근거로 상기 영상내에서 해당 객체를 색인화할 수 있는 상기 객체 메타데이터를 생성하는 단계;를 포함하는 것을 특징으로 하는 증거 영상 생성 방법.
  16. 청구항 14에 있어서,
    상기 하나 이상의 객체의 특징 정보는 비겹침 뷰 카메라 배치를 위한 객체 색상, 이동 속도, 이동 방향을 포함하는 객체 추출 정보와, 겹침 뷰 카메라 배치를 위한 추가적인 정보인 객체 ID, 모양, 질감, 궤도를 포함하는 것을 특징으로 하는 증거 영상 생성 방법.
  17. 청구항 14에 있어서,
    상기 검색 결과를 출력하는 단계는,
    상기 입력받은 검색 조건을 질의문으로 변환하는 단계; 및
    상기 질의문으로 변환된 검색 조건에 해당하는 객체 특징과 데이터베이스에 저장된 상기 객체 메타데이터를 비교하여 유사 특징을 갖는 객체 정보를 추출하여 출력하는 단계;를 포함하는 것을 특징으로 하는 증거 영상 생성 방법.
  18. 청구항 14에 있어서,
    상기 증거 영상을 생성하는 단계는,
    상기 저장된 영상에서 상기 특정 객체를 포함하는 일부 구간을 추출하고 취합하여 증거 영상을 생성하는 단계;
    상기 저장된 영상 및 상기 생성된 증거 영상에 대한 포렌식 데이터를 생성하고, 상기 생성된 증거 영상 및 상기 포렌식 데이터들을 디지털 증거 보관 포맷으로 저장하는 단계; 및
    상기 검색 결과의 연관성을 분석하여 상기 다중 감시 카메라 사이에서 상기 특정 객체의 이동 경로를 출력하는 단계;를 포함하는 것을 특징으로 하는 증거 영상 생성 방법.
  19. 청구항 18에 있어서,
    상기 이동 경로를 출력하는 단계는 상기 다수의 감시 카메라가 설치된 환경 및 위치를 표시하는 지도를 이용하여 시간순에 따라 상기 특정 객체의 이동 경로를 표시하는 것을 특징으로 하는 증거 영상 생성 방법.
  20. 청구항 14에 있어서,
    사용자 인터페이스부가, 상기 검색 조건을 입력하는 단계;
    상기 사용자 인터페이스부가, 상기 검색 결과를 입력받아 출력하는 단계; 및
    상기 사용자 인터페이스부가, 상기 증거 영상을 실행하는 단계;를 추가로 포함하는 것을 특징으로 하는 증거 영상 생성 방법.
KR1020130011476A 2013-01-31 2013-01-31 증거 영상 생성 장치 및 방법 KR20140098959A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130011476A KR20140098959A (ko) 2013-01-31 2013-01-31 증거 영상 생성 장치 및 방법
US13/843,911 US9208226B2 (en) 2013-01-31 2013-03-15 Apparatus and method for generating evidence video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130011476A KR20140098959A (ko) 2013-01-31 2013-01-31 증거 영상 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20140098959A true KR20140098959A (ko) 2014-08-11

Family

ID=51224178

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130011476A KR20140098959A (ko) 2013-01-31 2013-01-31 증거 영상 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US9208226B2 (ko)
KR (1) KR20140098959A (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101459103B1 (ko) * 2014-05-13 2014-11-13 주식회사 다이나맥스 효율적인 cctv 모니터링 구현을 위한 영상 감시 시스템을 이용한 영상 감시 방법
KR101482227B1 (ko) * 2014-05-13 2015-01-15 주식회사 다이나맥스 속성정보를 이용한 cctv 모니터링이 가능한 영상 감시 장치 및 이를 이용한 통합관제시스템
CN104598566A (zh) * 2015-01-09 2015-05-06 四川九洲电器集团有限责任公司 运动目标的关联规则分析方法及系统
KR20160147513A (ko) * 2015-06-15 2016-12-23 한화테크윈 주식회사 감시 시스템
KR20170094022A (ko) * 2016-02-05 2017-08-17 한국전자통신연구원 고정형 카메라 영상 내부의 객체 경로 탐색 장치
KR101867594B1 (ko) * 2017-01-18 2018-06-15 (주)글루버 다수의 동영상을 이용한 타임랩스 영상 제작 시스템 및 방법
KR20180086662A (ko) 2017-01-23 2018-08-01 한화에어로스페이스 주식회사 모니터링 장치 및 시스템
CN110097724A (zh) * 2019-04-24 2019-08-06 苏州浪潮智能科技有限公司 一种基于fpga的物品自动看护方法及系统
WO2021107421A1 (ko) * 2019-11-26 2021-06-03 한화테크윈 주식회사 사건 중심의 다채널 영상 백업 장치 및 그 방법과, 이를 포함한 네트워크 감시 카메라 시스템

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9355107B2 (en) * 2012-04-20 2016-05-31 3Rd Forensic Limited Crime investigation system
JP5857124B2 (ja) * 2012-05-24 2016-02-10 株式会社日立製作所 画像解析装置、画像解析システム、画像解析方法
US9583149B2 (en) * 2014-04-23 2017-02-28 Daniel Stieglitz Automated video logging methods and systems
WO2016101006A1 (en) * 2014-12-23 2016-06-30 University Of South Australia Data reduction method for digital forensic data
US9792664B2 (en) 2015-01-29 2017-10-17 Wipro Limited System and method for mapping object coordinates from a video to real world coordinates using perspective transformation
KR20170115082A (ko) * 2015-03-04 2017-10-16 가부시키가이샤 히타치 시스테무즈 카메라 영상 데이터에 의한 상황 확인 시스템 및 제어 장치 및 카메라 영상 데이터에 의한 상황 확인 방법
CN106295489B (zh) * 2015-06-29 2021-09-28 株式会社日立制作所 信息处理方法、信息处理装置和视频监控系统
WO2018103042A1 (en) * 2016-12-08 2018-06-14 Zhejiang Dahua Technology Co., Ltd. Methods and systems for video synopsis
CN108614822B (zh) * 2016-12-09 2022-01-21 杭州海康威视数字技术股份有限公司 一种智能事件存储、读取方法及装置
US10223591B1 (en) 2017-03-30 2019-03-05 Amazon Technologies, Inc. Multi-video annotation
US11151192B1 (en) * 2017-06-09 2021-10-19 Waylens, Inc. Preserving locally stored video data in response to metadata-based search requests on a cloud-based database
US10546133B2 (en) * 2017-06-12 2020-01-28 The Travelers Indemnity Company Digital forensics system
US20210406801A1 (en) * 2017-06-22 2021-12-30 Robert Peter Smart A method and system for competency based assessment
CN109255051B (zh) * 2017-07-12 2021-08-06 杭州海康威视数字技术股份有限公司 一种视频搜索方法、装置、云存储系统及计算机设备
CN108881816A (zh) * 2017-10-12 2018-11-23 北京旷视科技有限公司 录像文件的生成方法、装置及计算机存储介质
CN107770280B (zh) * 2017-10-30 2020-06-23 珠海格力电器股份有限公司 多媒体数据处理和获取方法、采集终端和处理装置
RU2683499C1 (ru) * 2018-03-15 2019-03-28 Антон Владимирович Роженков Система автоматического создания сценарного видеоролика с присутствием в кадре заданного объекта или группы объектов
US10606888B2 (en) 2018-06-05 2020-03-31 Eight Plus Ventures, LLC Image inventory production
US10289915B1 (en) * 2018-06-05 2019-05-14 Eight Plus Ventures, LLC Manufacture of image inventories
US10938568B2 (en) 2018-06-05 2021-03-02 Eight Plus Ventures, LLC Image inventory production
JP7238274B2 (ja) * 2018-06-06 2023-03-14 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
CN110798653B (zh) * 2018-08-01 2021-09-14 华为技术有限公司 一种基于多机协作的图像处理方法和视频监控系统
US10467391B1 (en) 2018-08-23 2019-11-05 Eight Plus Ventures, LLC Manufacture of secure printed image inventories
RU2703152C1 (ru) * 2018-09-20 2019-10-15 Общество с ограниченной ответственностью "Ай Ти Ви групп" Система и способ отображения схемы перемещения объектов
GB2579071B (en) * 2018-11-19 2022-03-02 Canon Kk Method and apparatus for processing requests for thumbnail images in a video surveillance system
US11151191B2 (en) * 2019-04-09 2021-10-19 International Business Machines Corporation Video content segmentation and search
US10565358B1 (en) 2019-09-16 2020-02-18 Eight Plus Ventures, LLC Image chain of title management
RU2710308C1 (ru) * 2019-09-20 2019-12-25 Общество с ограниченной ответственностью "Ай Ти Ви групп" Система и способ для обработки видеоданных из архива
JP7205457B2 (ja) * 2019-12-23 2023-01-17 横河電機株式会社 装置、システム、方法およびプログラム
RU2748581C1 (ru) * 2020-04-02 2021-05-27 Антон Владимирович Роженков Система автоматического создания сценарного видеоролика с присутствием в кадре заданного объекта или группы объектов
CN113254702A (zh) * 2021-05-28 2021-08-13 浙江大华技术股份有限公司 一种视频录像检索的方法及装置
CN114401365A (zh) * 2021-12-31 2022-04-26 广东省教育研究院 目标人物识别方法、视频切换方法及装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050162515A1 (en) * 2000-10-24 2005-07-28 Objectvideo, Inc. Video surveillance system
US8054330B2 (en) * 2004-10-12 2011-11-08 International Business Machines Corporation Apparatus and methods for establishing and managing a distributed, modular and extensible video surveillance system
US7746378B2 (en) * 2004-10-12 2010-06-29 International Business Machines Corporation Video analysis, archiving and alerting methods and apparatus for a distributed, modular and extensible video surveillance system
US7489804B2 (en) * 2005-09-26 2009-02-10 Cognisign Llc Apparatus and method for trajectory-based identification of digital data content
WO2007038612A2 (en) * 2005-09-26 2007-04-05 Cognisign, Llc Apparatus and method for processing user-specified search image points
KR101375583B1 (ko) * 2005-11-23 2014-04-01 오브젝트비디오 인코퍼레이티드 비디오에서의 물체 조밀도 판단
US8150155B2 (en) * 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US8265349B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Intra-mode region-of-interest video object segmentation
US20080074494A1 (en) * 2006-09-26 2008-03-27 Harris Corporation Video Surveillance System Providing Tracking of a Moving Object in a Geospatial Model and Related Methods
SG194242A1 (en) * 2007-04-13 2013-11-29 Ipharro Media Gmbh Video detection system and methods
KR101062225B1 (ko) 2009-09-30 2011-09-06 아주대학교산학협력단 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템
US20110087559A1 (en) * 2009-10-09 2011-04-14 Gil Paul Compliance Assurance System
US9030555B2 (en) * 2009-11-25 2015-05-12 Lg Electronics Inc. Surveillance system
US20110128382A1 (en) * 2009-12-01 2011-06-02 Richard Pennington System and methods for gaming data analysis
US20110205359A1 (en) * 2010-02-19 2011-08-25 Panasonic Corporation Video surveillance system
US8953039B2 (en) * 2011-07-01 2015-02-10 Utc Fire & Security Corporation System and method for auto-commissioning an intelligent video system
US9395354B2 (en) * 2011-07-21 2016-07-19 The Board Of Trustees Of The Leland Stanford Junior University Cardiomyocytes from induced pluripotent stem cells from patients and methods of use thereof
US10645345B2 (en) * 2012-07-03 2020-05-05 Verint Americas Inc. System and method of video capture and search optimization
US8781293B2 (en) * 2012-08-20 2014-07-15 Gorilla Technology Inc. Correction method for object linking across video sequences in a multiple camera video surveillance system
US20140071290A1 (en) * 2012-09-12 2014-03-13 Futurewei Technologies, Inc. Tiered Storage for Video Surveillance

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101459103B1 (ko) * 2014-05-13 2014-11-13 주식회사 다이나맥스 효율적인 cctv 모니터링 구현을 위한 영상 감시 시스템을 이용한 영상 감시 방법
KR101482227B1 (ko) * 2014-05-13 2015-01-15 주식회사 다이나맥스 속성정보를 이용한 cctv 모니터링이 가능한 영상 감시 장치 및 이를 이용한 통합관제시스템
CN104598566A (zh) * 2015-01-09 2015-05-06 四川九洲电器集团有限责任公司 运动目标的关联规则分析方法及系统
CN104598566B (zh) * 2015-01-09 2018-01-09 四川九洲电器集团有限责任公司 运动目标的关联规则分析方法及系统
KR20160147513A (ko) * 2015-06-15 2016-12-23 한화테크윈 주식회사 감시 시스템
KR20170094022A (ko) * 2016-02-05 2017-08-17 한국전자통신연구원 고정형 카메라 영상 내부의 객체 경로 탐색 장치
KR101867594B1 (ko) * 2017-01-18 2018-06-15 (주)글루버 다수의 동영상을 이용한 타임랩스 영상 제작 시스템 및 방법
KR20180086662A (ko) 2017-01-23 2018-08-01 한화에어로스페이스 주식회사 모니터링 장치 및 시스템
US11495103B2 (en) 2017-01-23 2022-11-08 Hanwha Techwin Co., Ltd. Monitoring apparatus and system
CN110097724A (zh) * 2019-04-24 2019-08-06 苏州浪潮智能科技有限公司 一种基于fpga的物品自动看护方法及系统
WO2021107421A1 (ko) * 2019-11-26 2021-06-03 한화테크윈 주식회사 사건 중심의 다채널 영상 백업 장치 및 그 방법과, 이를 포함한 네트워크 감시 카메라 시스템

Also Published As

Publication number Publication date
US20140214885A1 (en) 2014-07-31
US9208226B2 (en) 2015-12-08

Similar Documents

Publication Publication Date Title
KR20140098959A (ko) 증거 영상 생성 장치 및 방법
CN101918989B (zh) 带有对象跟踪和检索的视频监控系统
US9729834B2 (en) Identifying spatial locations of events within video image data
KR100896949B1 (ko) 객체식별이 가능한 영상처리 감시시스템 및 감시방법
US20160019426A1 (en) Method of video analysis
KR101178878B1 (ko) 객체인식 및 정황 동영상 검색장치와 이를 이용한 영상 처리 시스템 및 그 제어 방법
KR20110132884A (ko) 다중 동영상 색인 및 검색이 가능한 지능형 영상 정보 검색 장치 및 방법
EP2923487A1 (en) Method and system for metadata extraction from master-slave cameras tracking system
WO2008156894A2 (en) System and related techniques for detecting and classifying features within data
US10999556B2 (en) System and method of video capture and search optimization
JP2022518459A (ja) 情報処理方法および装置、記憶媒体
WO2017000880A1 (zh) 信息处理方法、信息处理装置和视频监控系统
WO2010106060A2 (en) Coding scheme for identifying spatial locations of events within video image data
JP2008146191A (ja) 画像出力装置および画像出力方法
KR20210104979A (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
CN111259789A (zh) 一种人脸识别智能安防监控管理方法和系统
KR101547255B1 (ko) 지능형 감시 시스템의 객체기반 검색방법
US9275140B2 (en) Method of optimizing the search for a scene on the basis of a stream of images archived in a video database
JP2014229103A (ja) 映像解析装置及び映像解析方法
KR101170676B1 (ko) 얼굴 인식 기반의 얼굴 검색 시스템 및 그 방법
KR102097768B1 (ko) 인접거리 기준을 이용한 영상 검색장치, 방법 및 컴퓨터로 읽을 수 있는 기록매체
Park et al. Videos analytic retrieval system for CCTV surveillance
KR101517815B1 (ko) 실시간 객체 추출 방법 및 이를 적용한 감시 시스템
KR102637949B1 (ko) 썸네일을 관리하는 서버, 방법, 썸네일을 이용하는 단말
Dang et al. Building 3D event logs for video investigation

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application