KR102244476B1 - 비디오 레코딩 내에 존재하는 동일한 사람 또는 물건을 대화형으로 식별하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품 - Google Patents

비디오 레코딩 내에 존재하는 동일한 사람 또는 물건을 대화형으로 식별하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품 Download PDF

Info

Publication number
KR102244476B1
KR102244476B1 KR1020197000231A KR20197000231A KR102244476B1 KR 102244476 B1 KR102244476 B1 KR 102244476B1 KR 1020197000231 A KR1020197000231 A KR 1020197000231A KR 20197000231 A KR20197000231 A KR 20197000231A KR 102244476 B1 KR102244476 B1 KR 102244476B1
Authority
KR
South Korea
Prior art keywords
thumbnails
thumbnail
video
user interface
delete delete
Prior art date
Application number
KR1020197000231A
Other languages
English (en)
Other versions
KR20190026738A (ko
Inventor
무사 둠부야
마헤쉬 삽타리시
에릭 스주에
한나 발보네시
Original Assignee
아비질론 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아비질론 코포레이션 filed Critical 아비질론 코포레이션
Publication of KR20190026738A publication Critical patent/KR20190026738A/ko
Application granted granted Critical
Publication of KR102244476B1 publication Critical patent/KR102244476B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3081—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/22—Means responsive to presence or absence of recorded information signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/022—Electronic editing of analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/022—Electronic editing of analogue information signals, e.g. audio or video signals
    • G11B27/028—Electronic editing of analogue information signals, e.g. audio or video signals with computer assistance
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/309—Table of contents
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

비디오 레코딩 내에 존재하는 동일한 사람 또는 물건을 대화형으로 식별하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품이 개시된다. 썸네일의 세트 내의 썸네일이 선택되면, 새로운 정보가 획득된다. 새로운 정보는, 사람 또는 물건이 썸네일과 연관된 비디오 레코딩의 부분 내에 존재한다는 것일 수 있다. 새로운 정보에 기초하여 사람 또는 물건에 대한 검색이 수행될 수 있다. 검색은 사용자 인터페이스 페이지 내의 디스플레이된 썸네일 각각에 대하여 새로운 매칭 우도를 생성한다. 디스플레이된 썸네일은 새로운 매칭 우도에 기초하여 재순서결정된다.

Description

비디오 레코딩 내에 존재하는 동일한 사람 또는 물건을 대화형으로 식별하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품
관련된 미국 출원 데이터
본 출원은: i) 2016 년 6 월 6 일에 출원된 미국 가출원 번호 제 62/346,240; ii) 2016 년 6 월 17 일에 출원된 미국 가출원 번호 제 62/351,806; 및 iii) 2016 년 12 월 2 일에 출원된 미국 출원 번호 제 15/368,357 의 우선권을 주장한다. 위의 출원들 모두의 내용은 그들의 전체가 원용에 의해 본 명세서에 포함된다.
본 발명은 복수 개의 상이한 비디오 레코딩에 등장하는 동일한 사람 또는 물건을 식별하는 것에 관한 것이고, 특히, 복수 개의 상이한 비디오 레코딩에 등장하는 동일한 사람 또는 물건을 식별하는 것을 가능하게 하기 위하여 사용자가 감시 시스템의 컴퓨터 단말로 입력을 제공하게 하는 것에 관한 것이다.
카메라 감시 시스템에서 녹화된 비디오의 지능적인 처리와 재생은 중요한 기능이다. 카메라에 의해 캡쳐된 비디오에서 발견되는 관심 대상인 물건 또는 사람을 리뷰 및 식별하기 위해서, 녹화된 비디오의 재생은 유용할 수 있다. 그러면 이것은, 예를 들어 일부 보안-관련된 목적 또는 관심 대상인 물건 또는 사람을 위치를 결정하는 것과 같은 목적을 위해 사용될 수 있다.
그러나, 카메라 감시 시스템은 자기 자신의 각각의 비디오 피드(video feed)를 각각 생성하고 있는 많은 수의 카메라를 포함할 수 있다. 그러면 재생 중에 이러한 피드들을 동시에 리뷰하는 것이 번거로워지고, 시간을 많이 소모하며, 비용이 많이 들 수 있게 된다.
예시적인 일 실시예에 따르면, 썸네일의 복수 개의 세트를 디스플레이하는 단계를 포함하는 방법이 제공된다. 썸네일의 각각의 세트는, 상기 썸네일의 세트와 함께, 복수 개의 시간 간격 중 고유한 시간 간격에 의하여 규정되는 각각의 행 또는 열 내에 위치설정되는 하나 이상의 썸네일을 포함한다. 썸네일의 각각의 세트의 각각의 썸네일은 상기 썸네일에 대해 규정된 시간 간격으로 촬영된 비디오 레코딩의 연관 부분을 시각적으로 나타낸다. 썸네일의 각각의 세트 내의 하나 이상의 썸네일은 각각의 행 또는 열의 일단에서, 상기 세트의 임의의 다른 썸네일과 비교하여, 관심 대상으로 식별된 바 있는 사람 또는 물건의 등장의 최고 우도(likelihood)에 대응하는 썸네일로 시작하여 내림 차순 정렬로 조직화된다. 상기 세트 내의 임의의 잔여 썸네일은 상기 최고 우도에 대응하는 썸네일로부터 연장하여 내림 차순으로 디스플레이된다. 이러한 방법은, 상기 사람 또는 물건이 제 1 썸네일과 연관된 비디오 레코딩의 부분에 존재한다는 새로운 정보를 획득하도록, 썸네일의 세트 중 하나에서 상기 제 1 썸네일의 선택을 허용하는 단계를 더 포함한다. 이러한 방법은, 상기 새로운 정보에 기초하여 상기 사람 또는 물건에 대한 검색을 수행하는 단계를 더 포함하고, 상기 검색은 디스플레이된 썸네일 각각에 대한 새로운 매칭 우도(match likelihood)를 생성한다. 이러한 방법은, 썸네일의 세트들 각각에서 내림 차순 정렬을 유지하도록, 상기 새로운 매칭 우도에 기초하여, 디스플레이된 썸네일을 재순서결정(re-ordering)하는 단계를 더 포함한다.
예시적인 다른 실시예에 따르면, 내부에 인코딩된 명령을 포함하는 유형의 비-일시적 컴퓨터-판독가능 저장 매체가 제공되는데,
상기 명령은 적어도 하나의 프로세서에 의해 실행되면, 썸네일의 복수 개의 세트를 디스플레이하는 단계를 포함하는 방법이 실행되게 한다. 썸네일의 각각의 세트는, 상기 썸네일의 세트와 함께, 복수 개의 시간 간격 중 고유한 시간 간격에 의하여 규정되는 각각의 행 또는 열 내에 위치설정되는 하나 이상의 썸네일을 포함한다. 썸네일의 각각의 세트의 각각의 썸네일은 상기 썸네일에 대해 규정된 시간 간격으로 촬영된 비디오 레코딩의 연관 부분을 시각적으로 나타낸다. 썸네일의 각각의 세트 내의 하나 이상의 썸네일은 각각의 행 또는 열의 일단에서, 상기 세트의 임의의 다른 썸네일과 비교하여, 관심 대상으로 식별된 바 있는 사람 또는 물건의 등장의 최고 우도(likelihood)에 대응하는 썸네일로 시작하여 내림 차순 정렬로 조직화된다. 상기 세트 내의 임의의 잔여 썸네일은 상기 최고 우도에 대응하는 썸네일로부터 연장하여 내림 차순으로 디스플레이된다. 저장 매체 내에 인코딩된 명령에 의해 실행될 방법은, 상기 사람 또는 물건이 제 1 썸네일과 연관된 비디오 레코딩의 부분에 존재한다는 새로운 정보를 획득하도록, 썸네일의 세트 중 하나에서 상기 제 1 썸네일의 선택을 허용하는 단계를 더 포함한다. 저장 매체 내에 인코딩된 명령에 의해 실행될 방법은, 새로운 정보에 기초하여 상기 사람 또는 물건을 검색하라는 요청을 서버로 전송하는 단계를 더 포함한다. 이러한 검색은 디스플레이된 썸네일 각각에 대한 새로운 매칭 우도를 생성한다. 저장 매체 내에 인코딩된 명령에 의해 실행될 방법은, 썸네일의 세트들 각각에서 내림 차순 정렬을 유지하도록, 상기 새로운 매칭 우도에 기초하여, 디스플레이된 썸네일을 재순서결정(re-ordering)하는 단계를 더 포함한다.
예시적인 다른 실시예에 따르면, 비디오의 비디오 프레임을 디스플레이하기 위한 비디오 플레이어를 포함하는 사용자 인터페이스를 제공하는 단계를 포함하는 방법이 제공된다. 상기 비디오 프레임은 각각의 이동 물체(body of matter)가 내부에 존재하는 다수의 프레임 구역을 포함한다. 상기 프레임 구역은 사용자 입력을 수신하기 위하여 선택가능하다. 이러한 방법은, 상기 프레임 구역 중 선택된 프레임 구역 내에 존재하는 사람에 대한 검색을 수행하기 위한 검색-요청 입력을 상기 사용자 인터페이스를 통해 수신하는 단계를 더 포함한다. 이러한 방법은, 비디오 레코딩 내에 존재하는 복수의 사람 또는 물건에게 할당되는 복수 개의 매칭 우도를 생성하거나 재계산하는 단계를 더 포함한다. 상기 매칭 우도는 사람 또는 물건의 등장이 존재할 우도이다. 이러한 방법은, 생성되거나 재계산된 매칭 우도에 대응하는 정보를 디스플레이하도록 상기 사용자 인터페이스의 사용자 인터페이스 페이지를 파퓰레이팅(populating)하거나 업데이트하는 단계를 더 포함한다.
예시적인 다른 실시예에 따르면, 내부에 인코딩된 명령을 포함하는 유형의 비-일시적 컴퓨터-판독가능 저장 매체가 제공되는데,
상기 명령은 적어도 하나의 프로세서에 의해 실행되면, 비디오의 비디오 프레임을 디스플레이하기 위한 비디오 플레이어를 포함하는 사용자 인터페이스를 제공하는 단계를 포함하는 방법이 실행되게 한다. 상기 비디오 프레임은 각각의 이동 물체(body of matter)가 내부에 존재하는 다수의 프레임 구역을 포함한다. 상기 프레임 구역은 사용자 입력을 수신하기 위하여 선택가능하다. 저장 매체 내에 인코딩된 명령에 의해 수행되는 방법은, 상기 프레임 구역 중 선택된 프레임 구역 내에 존재하는 사람에 대한 검색을 수행하기 위한 검색-요청 입력을 상기 사용자 인터페이스를 통해 수신하는 단계를 더 포함한다. 저장 매체 내에 인코딩된 명령에 의해 수행되는 방법은, 비디오 레코딩 내에 존재하는 복수의 사람 또는 물건에 할당된 복수 개의 매칭 우도를 생성 또는 재계산하기 위한 요청을 서버로 전송하는 단계를 더 포함한다. 상기 매칭 우도는 사람 또는 물건의 등장이 존재할 우도이다. 저장 매체 내에 인코딩된 명령에 의해 수행되는 방법은, 생성되거나 재계산된 매칭 우도에 대응하는 정보를 디스플레이하도록 상기 사용자 인터페이스의 사용자 인터페이스 페이지를 파퓰레이팅(populating)하거나 업데이트하는 단계를 더 포함한다.
예시적인 다른 실시예에 따르면, 날짜 및 시간을 x-축에 가지고 비디오 카메라의 복수 개의 카메라 식별자의 목록을 y-축에 가지는 2 차원의 그래프를 디스플레이하는 단계를 포함하는 방법이 제공되는데, 상기 목록에 대하여 상기 비디오 카메라의 복수의 비디오 레코딩 각각이 시청용으로 이용가능하다. 상기 비디오 레코딩은 관심 대상으로 식별된 바 있는 사람 또는 물건의 등장의 임계-초과 우도가 내부에 존재하는 부분을 가진다. 이러한 방법은, 상기 복수 개의 카메라 식별자 및 상기 비디오 레코딩의 부분과 연관된 x-축 상의 시간에 기초하여, 상기 2 차원의 그래프에 n 개의 이미지 썸네일을 플로팅(plotting)하는 단계를 더 포함하고, n은 3 이상의 정수이다. 상기 n 개의 이미지 썸네일은 상기 비디오 레코딩의 부분을 시각적으로 표현한다. 상기 n 개의 썸네일 중 제 1 썸네일은 x-축에서 시간상 가장 빨리 표시되고 n번째 썸네일은 x-축에서 시간상 가장 늦게 표시된다. 이러한 방법은, 상기 n 개의 이미지 썸네일 중 상기 2 차원의 그래프로부터 제거될 적어도 하나의 선택을 허용하는 단계를 더 포함한다. 이러한 방법은, 상기 2 차원의 그래프로부터 상기 n 개의 이미지 썸네일 중 적어도 하나를 제거하는 단계를 더 포함한다. 이러한 방법은, 상기 사람 또는 물건이, 제거된 썸네일과 연관된 상기 비디오 레코딩의 부분 내에 부존재한다는 것을 기록하는 단계를 더 포함한다.
예시적인 다른 실시예에 따르면, 내부에 인코딩된 명령을 포함하는 유형의 비-일시적 컴퓨터-판독가능 저장 매체가 제공되고,
상기 명령은 적어도 하나의 프로세서에 의해 실행되면, 방법으로서,
날짜 및 시간을 x-축에 가지고 비디오 카메라의 복수 개의 카메라 식별자의 목록을 y-축에 가지는 2 차원의 그래프를 디스플레이하는 단계를 포함하는 방법이 수행되게 하는데, 상기 목록에 대하여 상기 비디오 카메라의 복수의 비디오 레코딩 각각이 시청용으로 이용가능하다. 상기 비디오 레코딩은 관심 대상으로 식별된 바 있는 사람 또는 물건의 등장의 임계-초과 우도가 내부에 존재하는 부분을 가진다. 저장 매체 내에 인코딩된 명령에 의해 수행되는 방법은, 상기 복수 개의 카메라 식별자 및 상기 비디오 레코딩의 부분과 연관된 x-축 상의 시간에 기초하여, 상기 2 차원의 그래프에 n 개의 이미지 썸네일을 플로팅(plotting)하는 단계를 더 포함하고, n은 3 이상의 정수이다. n 개의 이미지 썸네일은 비디오 레코딩의 부분을 시각적으로 나타내고, 상기 n 개의 썸네일 중 제 1 썸네일은 x-축에서 시간상 가장 빨리 표시되고 n번째 썸네일은 x-축에서 시간상 가장 늦게 표시된다. 저장 매체 내에 인코딩된 명령에 의해 수행되는 방법은, 상기 n 개의 이미지 썸네일 중 상기 2 차원의 그래프로부터 제거될 적어도 하나의 선택을 허용하는 단계를 더 포함한다. 저장 매체 내에 인코딩된 명령에 의해 수행되는 방법은, 상기 n 개의 이미지 썸네일 중 적어도 하나를 상기 2 차원의 그래프로부터 제거하는 단계를 더 포함한다. 저장 매체 내에 인코딩된 명령에 의해 수행되는 방법은, 상기 사람 또는 물건이, 제거된 썸네일과 연관된 상기 비디오 레코딩의 부분 내에 부존재한다는 것을 기록하는 단계를 더 포함한다.
이제 예시를 통하여 첨부 도면이 참조될 것이다.
도 1 은 예시적인 실시예에 따른 방법이 수행될 수 있는 예시적인 감시 시스템의 블록도를 도시한다;
도 2 는 도 1 에 도시되는 예시적인 감시 시스템 내에 제공될 수 있는, 예시적인 제 1 실시예에 따른 클라이언트-측 비디오 리뷰 애플리케이션의 블록도를 도시한다;
도 3 은, 비디오 레코딩의 부분을 나타내는 썸네일을 플로팅(plotting)하는, 도 2 의 클라이언트-측 비디오 리뷰 애플리케이션을 위한 예시적인 사용자 인터페이스 페이지를 예시하는데, 사용자 인터페이스 페이지는 비디오 레코딩 내에서 동일한 사람 또는 물건을 식별하기 위하여 상호작용하도록 구성된다;
도 4 는 도 3 에 도시되는 썸네일 중 하나를 상세히 예시한다;
도 5 는 도 3 에 도시되는 썸네일 중 다른 하나를 상세히 예시한다;
도 6 은 비디오 레코딩의 부분을 나타내는 썸네일을 플로팅하는, 도 2 의 클라이언트-측 비디오 리뷰 애플리케이션을 위한 다른 예시적인 사용자 인터페이스 페이지를 도시하는데, 예시된 썸네일은 크기가 도 3 의 썸네일보다 작다;
도 7 은 도 6 에 도시되는 썸네일 중 하나의 상세도이다;
도 8 은 일부 예시적인 실시예에 따른 제 1 사용자 인터페이스-구동 방법을 예시하는 흐름도이다;
도 9 는 예시된 썸네일에 대응하는 비디오 레코딩의 부분을 촬영한 비디오 카메라에 의해 조직화된 썸네일을 플로팅하는, 도 2 의 클라이언트-측 비디오 리뷰 애플리케이션을 위한 다른 예시적인 사용자 인터페이스 페이지를 예시한다;
도 10 은 예시적인 실시예에 따라서 검색을 정제하기 위한 하나의 예시적인 사용자 인터페이스 윈도우를 예시한다;
도 11 은 예시된 썸네일에 대응하는 비디오 레코딩의 부분에 대한 연대순으로 썸네일을 플로팅하는, 도 2 의 클라이언트-측 비디오 리뷰 애플리케이션을 위한 다른 예시적인 사용자 인터페이스 페이지를 예시한다;
도 12 는 도 11 의 사용자 인터페이스 페이지와 유사하지만 그 안에 예시적인 비디오 플레이어를 포함하는 하나의 예시적인 사용자 인터페이스 페이지를 예시한다;
도 13 은 도 1 에 도시되는 예시적인 감시 시스템 내에 제공될 수 있는, 대안적인 제 2 실시예에 따른 클라이언트-측 비디오 리뷰 애플리케이션의 블록도를 도시한다;
도 14 는 비디오 레코딩의 부분을 나타내는 썸네일을 플로팅하는, 도 13 의 클라이언트-측 비디오 리뷰 애플리케이션을 위한 하나의 예시적인 사용자 인터페이스 페이지를 도시한다;
도 15 는 더 많은 썸네일이 리뷰되고 관심 대상인 사람 또는 물건에 대한 매칭으로서 선택된 상태인 도 14 의 예시적인 사용자 인터페이스 페이지를 예시한다;
도 16 은 도 15 에 도시된 썸네일 중 하나를 더 상세하게 도시한다;
도 17 은 도 13 의 클라이언트-측 비디오 리뷰 애플리케이션을 위한 다른 예시적인 사용자 인터페이스 페이지를 예시하는데, 이러한 사용자 인터페이스 페이지는 세 개의 메인 기능 구역으로 분할된다;
도 18a 는 도 12, 도 17 및 도 20 내지 도 22 중 임의의 하나에 도시된 것과 같은 사용자 인터페이스 페이지에 포함될 수 있는 하나의 예시적인 비디오 플레이어를 예시한다;
도 18b 는 도 12, 도 17 및 도 20 내지 도 22 중 임의의 하나에 도시된 것과 같은 사용자 인터페이스 페이지에 포함될 수 있는 다른 예시적인 비디오 플레이어를 예시한다;
도 19 는 일부 예시적인 실시예에 따른 제 2 사용자 인터페이스-구동 방법을 예시하는 흐름도이다;
도 20 은 도 13 의 클라이언트-측 리뷰 애플리케이션을 위한 다른 예시적인 사용자 인터페이스 페이지를 예시하는데, 이러한 사용자 인터페이스 페이지도 역시 세 개의 메인 기능 구역으로 분할된다;
도 21 은 도 13 의 클라이언트-측 리뷰 애플리케이션을 위한 또 다른 예시적인 사용자 인터페이스 페이지를 예시하는데, 이러한 사용자 인터페이스 페이지도 역시 세 개의 메인 기능 구역으로 분할된다; 그리고
도 22 는 도 13 의 클라이언트-측 리뷰 애플리케이션을 위한 다른 예시적인 사용자 인터페이스 페이지를 예시하는데, 이러한 사용자 인터페이스 페이지는 클라이언트-측 리뷰 애플리케이션의 내보내기 기능과 연관된다.
도면에 도시된 유사한 예시적인 피쳐를 가리키기 위해서 유사하거나 동일한 참조 번호가 상이한 도면에서 사용되었을 수 있다.
본 명세서에서 어떤 구성 요소가 다른 구성 요소에 "연결", "소통 상태" 또는 "커플링"되는 것으로 언급되면, 이것은 다른 구성 요소에 직접적으로 연결, 직접적으로 소통하는 상태, 또는 직접적으로 커플링될 수 있고, 또는 개재하는 구성 요소가 존재할 수도 있다는 것이 이해될 것이다. 이에 반해, 본 명세서에서 어떤 구성 요소가 다른 구성 요소의 "바로 연결", "바로 소통 상태" 또는 "바로 커플링"되는 것으로 언급되면, 개재하는 구성 요소가 없다. 구성 요소들 사이의 관련성을 기술하기 위하여 사용되는 다른 단어들도 유사한 방식으로(즉, "사이에" 대 "바로 사이에", "인접" 대 "바로 인접" 등) 해석되어야 한다.
당업자에게 인정될 바와 같이, 본 명세서에서 설명되는 다양한 예시적인 실시예들은 방법, 시스템, 또는 컴퓨터 프로그램 제품으로서 구현될 수도 있다. 이에 상응하여, 다양한 예시적인 실시예들은, 예를 들어 전체적으로 하드웨어적인 실시예(펌웨어, 상주 소프트웨어, 마이크로-코드 등을 포함), 또는, 다른 예로서는 본 명세서에서 "모듈" 또는 "시스템"이라고 일반적으로 지칭될 수 있는 소프트웨어 및 하드웨어 양태를 결합하는 실시예의 형태를 취할 수 있다. 더욱이, 다양한 예시적인 실시예들은 매체 내에 구현된 컴퓨터-사용가능 프로그램 코드를 가지는 컴퓨터-사용가능 저장 매체에 구현된 컴퓨터 프로그램 제품의 형태를 취할 수도 있다.
임의의 적합한 컴퓨터-사용가능 또는 컴퓨터 판독가능 매체가 활용될 수 있다. 컴퓨터-사용가능 또는 컴퓨터-판독가능 매체는 전자적, 자기적, 광학적, 전자기, 적외선, 또는 반도체 시스템, 장치, 또는 디바이스, 또는 전파 매질일 수 있지만 이들로 한정되는 것은 아니다. 본 명세서의 콘텍스트에서, 컴퓨터-사용가능 또는 컴퓨터-판독가능 매체는 명령 실행 시스템, 장치, 또는 디바이스에 의하여 또는 이와 연계하여 사용하기 위한 프로그램을 보유, 저장, 통신, 전파 또는 전송할 수 있는 임의의 매체일 수 있다.
다양한 예시적인 실시예의 동작을 수행하기 위한 컴퓨터 프로그램 코드는 자바, 스마트톡(Smalltalk), C++ 등의 객체 지향 프로그래밍 언어로 작성될 수 있다. 그러나, 다양한 예시적인 실시예의 동작을 수행하기 위한 컴퓨터 프로그램 코드는 예컨대 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어와 같은 종래의 절차형 프로그래밍 언어로도 작성될 수 있다. 선택된 실제 프로그래밍 언어는 디자인 선택의 문제이고, 임의의 적합한 프로그래밍 언어가 이용될 수 있다는 것이 당업자에게 이해될 수 있을 것이다.
다양한 예시적인 실시예들은 본 발명의 실시예에 따르는 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 예시 및/또는 블록도를 참조하여 이하 설명된다. 당업자들은 흐름도 예시 및/또는 블록도의 다양한 블록, 및 흐름도 예시 및/또는 블록도에서의 블록들의 조합이 컴퓨터 프로그램 명령에 의하여 구현될 수 있다는 것을 이해할 것이다. 이러한 컴퓨터 프로그램 명령은 범용 컴퓨터, 특수 목적 컴퓨터, 또는 다른 프로그래밍가능한 데이터 프로세스 장치의 프로세서로 제공되어 머신을 생성함으로써, 컴퓨터 또는 다른 프로그래밍가능한 데이터 프로세스 장치의 프로세서를 통하여 실행되는 명령들이 흐름도 및/또는 블록도 블록 또는 블록 내에 규정된 기능/동작을 구현하기 위한 수단을 생성하게 할 수도 있다.
이러한 컴퓨터 프로그램 명령은 또한, 컴퓨터 판독가능 메모리 내에 저장된 명령들이 흐름도 및/또는 블록도 블록 또는 블록들 내에 규정된 기능/동작(act)을 구현하는 명령들을 포함하는 제조물을 생산하도록, 컴퓨터 또는 다른 프로그래밍가능한 데이터 프로세스 장치가 특정한 방식으로 기능하게 지시할 수 있는 컴퓨터-판독가능 메모리 내에 저장될 수 있다.
이제 도 1 을 참조하면, 이것은 예시적인 실시예에 따른 방법이 수행될 수 있는 예시적인 감시 시스템(100)의 블록도를 도시한다. 예시된 감시 시스템(100) 내에는 하나 이상의 컴퓨터 단말(104) 및 서버 시스템(108)이 포함한다. 일부 예시적인 실시예에서, 컴퓨터 단말(104)은 개인용 컴퓨터 시스템이다; 그러나 다른 예시적인 실시예에서 컴퓨터 단말(104)은: 예를 들어 태블릿, 패블릿, 스마트 폰 또는 개인 휴대용 단말기(PDA)와 같은 핸드헬드 디바이스; 랩탑 컴퓨터; 스마트 텔레비전; 및 다른 적합한 디바이스 중에서 선택된 하나 이상이다. 서버 시스템(108)에 대해서 살펴보면, 이러한 시스템은 단일 물리적 머신 또는 다수의 물리적 머신을 포함할 수 있다. 서버 시스템(108)이 단일 새시 내에 포함될 필요가 없으며, 서버 시스템(108)을 위해서 하나의 위치만이 있어야 하는 것도 아니라는 것이 이해될 것이다. 당업자들에게 이해될 수 있는 것처럼, 서버 시스템(108)의 기능 중 적어도 일부는 서버 시스템(108) 내가 아니라 컴퓨터 단말(104) 내에 구현될 수 있다.
컴퓨터 단말(104)은 하나 이상의 네트워크를 통해서 서버 시스템(108)과 통신한다. 이러한 네트워크는 인터넷, 또는 네트워크 스위치 또는 다른 통신 구성요소에 의해 서로 커플링되는 하나 이상의 다른 공용/사설 네트워크를 포함할 수 있다. 네트워크(들)는, 예를 들어 클라이언트-서버 네트워크, 피어-투-피어 네트워크 등의 형태일 수 있다. 컴퓨터 단말(104)과 서버 시스템(108) 사이의 데이터 연결은 데이터 통신 네트워크에 액세스하기 위한, 예를 들어 다이얼-업 직렬 회선 인터페이스 프로토콜/포인트-투-포인트 프로토콜(SLIP/PPP), 통합 서비스 디지털 네트워크(ISDN), 전용 임대 회선 서비스, 브로드밴드(예를 들어 케이블) 액세스, 디지털 가입자 회선(DSL), 비동기 전송 모드(ATM), 프레임 릴레이, 또는 다른 공지된 액세스 기법(예를 들어, 무선 주파수(RF) 링크)과 같은 공지된 배치구성일 수 있다. 적어도 하나의 예시적인 실시예에서, 컴퓨터 단말(104) 및 서버 시스템(108)은 동일한 근거리 네트워크(LAN) 안에 있다.
컴퓨터 단말(104)은 컴퓨터 단말의 전체 동작을 제어하는 적어도 하나의 프로세서(112)를 포함한다. 프로세서(112)는, 예를 들어 입력 디바이스(114)(예컨대, 예를 들어 키보드, 마우스, 터치 패드, 롤러 볼 및 음성 제어 수단 중 선택된 하나 이상), 랜덤 액세스 메모리(RAM)(116), 비-휘발성 저장소(120), 디스플레이 제어기 서브시스템(124) 및 다른 서브시스템 [미도시]와 같은 다양한 서브시스템과 상호작용한다. 디스플레이 제어기 서브시스템(124)은 디스플레이(126)와 상호작용하고 그래픽 및/또는 텍스트를 디스플레이(126) 상에 렌더링한다.
여전히 감시 시스템(100)의 컴퓨터 단말(104)을 참조하면, 운영 체제(140) 및 프로세서(112)에 의해 사용되는 다양한 소프트웨어 애플리케이션이 비-휘발성 저장소(120) 내에 저장된다. 비-휘발성 저장소(120)는, 예를 들어 하나 이상의 하드 디스크, 고상 드라이브, 또는 컴퓨터 단말(104)이 턴오프된 후에 기록된 정보를 보유하는 일부 다른 적합한 형태의 컴퓨터 판독가능 매체이다. 운영 체제(140)에 대해서 보면, 이것은 컴퓨터 단말(104)의 컴퓨터 하드웨어 및 소프트웨어 리소스를 관리하고 컴퓨터 프로그램을 위한 공통 서비스를 제공하는 소프트웨어를 포함한다. 또한, 당업자들은 운영 체제(140), 클라이언트-측 비디오 리뷰 애플리케이션(144), 및 다른 애플리케이션(152), 또는 그들의 일부가 일시적으로 RAM(116)과 같은 휘발성 저장소 내에 로딩될 수 있다는 것을 이해할 것이다. 자신의 운영 체제 기능에 추가하여, 프로세서(112)는 다양한 소프트웨어 애플리케이션이 컴퓨터 단말(104) 상에서 실행되게 할 수 있다.
비디오 리뷰 애플리케이션(144)의 상세도가 도 2 의 블록도에 도시된다. 비디오 리뷰 애플리케이션(144)은 컴퓨터 단말(104)에서 실행될 수 있고, 컴퓨터 단말 사용자가 입력 및, 좀 더 구체적으로는, 복수 개의 상이한 비디오 레코딩 내에 등장하는 동일한 사람 또는 물건의 식별을 가능하게 하는 입력을 제공하는 데에 관련된 동작들을 수행하게 하기 위해서, 검색 세션 관리자 모듈(204)과 협업하기 위한 검색 사용자 인터페이스(UI) 모듈(202)을 포함한다. 이러한 경우, 컴퓨터 단말(104)의 사용자에게는 디스플레이(126) 상에 생성되고 사용자가 비디오 레코딩과 관련된 정보를 입력 및 수신하는 사용자 인터페이스가 제공된다.
비디오 리뷰 애플리케이션(144)은 전술된 세션 관리자 모듈(204)도 포함한다. 검색 세션 관리자 모듈(204)은 검색 UI 모듈(202) 및 서버 시스템(108)의 질의 관리자 모듈(164)(도 1) 사이에 통신 인터페이스를 제공한다. 적어도 일부 예에서, 검색 세션 관리자 모듈(204)은 원격 프로시저 호(Remote Procedure Call; RPC)를 사용하여 질의 관리자 모듈(164)과 통신한다.
질의 관리자 모듈(164) 이외에, 서버 시스템(108)은 서버 시스템(108)의 다른 기능을 수행하기 위한 다수의 소프트웨어 컴포넌트를 포함한다. 예를 들어, 서버 시스템(108)은 미디어 서버 모듈(168)을 포함한다. 미디어 서버 모듈(168)은 감시 시스템(100) 내의 비디오 카메라(169)에 의해 촬영된 비디오의 저장과 취출에 관련된 클라이언트 요청을 처리한다. 서버 시스템(108)은 분석 엔진 모듈(172)을 더 포함한다. 분석 엔진 모듈(172)은, 일부 예들에서, 비디오 레코딩의 상이한 부분 사이(또는 임의의 레퍼런스 이미지 및 레퍼런스 이미지와 비교된 비디오 사이)에서와 같은 사람 또는 물건의 컴퓨터화된 매칭을 시도하기 위한 수학적 계산(및 다른 동작)을 수행하는 공지된 상업적으로 입수가능한 소프트웨어 중 임의의 적합한 하나일 수 있다. 예를 들어, 분석 엔진 모듈(172)은 하나의 특정한 예에서, Avigilon Corporation이 판매하는 Avigilon Control Center™ 서버 소프트웨어의 소프트웨어 컴포넌트일 수 있다. 다른 예에서, 분석 엔진 모듈(172)은 Qognify UK Ltd가 판매하는 Qognify Suspect Search™ 제품일 수 있다. 일부 예들에서 분석 엔진 모듈(172)은 사람의 또는 물건의 외관의 기술적 특성(descriptive characteristics)을 사용할 수 있다. 이러한 특성의 예에는 사람 또는 물건의 형상, 크기, 텍스쳐 및 색상이 있다.
서버 시스템(108)은 다수의 다른 소프트웨어 컴포넌트(176)를 더 포함한다. 이러한 다른 소프트웨어 컴포넌트는 전체 시스템 내에서의 서버 시스템(108)의 요구 사항에 따라 달라질 것이다. 단지 하나의 예로서, 다른 소프트웨어 컴포넌트(176)는 특수 테스트 및 디버깅 소프트웨어, 또는 서버 시스템(108) 내의 모듈의 버전 업데이트를 가능하게 하는 소프트웨어를 포함할 수 있다. 서버 시스템(108)은 하나 이상의 데이터 저장소(190)를 더 포함한다. 일부 예들에서, 데이터 저장소(190)는 녹화된 비디오의 조직된 저장을 가능하게 하는 하나 이상의 데이터베이스(191)를 포함한다.
비디오 카메라(169)에 대해서 보면, 이들 각각은 카메라 모듈(198)을 포함한다. 일부 예들에서, 카메라 모듈(198)은 비디오가 서버 시스템(108)에 의해 수신되기도 전에 비디오의 처리 및 인코딩을 가능하게 하는 하나 이상의 전문화된 칩을 포함한다. 예를 들면, 전문화된 칩은 인코더 및 중앙 처리 유닛(CPU) 양자 모두를 포함하는 시스템-온-칩(SoC) 솔루션일 수 있다. 그러면 카메라 모듈(198)이 처리 및 인코딩 기능을 수행할 수 있게 된다. 또한, 일부 예들에서, 카메라 모듈(198)의 처리 기능 중 일부는 녹화된 비디오에 대한 메타데이터를 생성하는 것을 포함한다. 예를 들면, 카메라 모듈(198)이 검출한 바 있는 하나 이상의 전방 영역에 관련된 메타데이터가 생성될 수 있고, 메타데이터는 이미지 프레임 내의 전방의 시각적 물건의 위치 및 레퍼런스 좌표를 규정할 수 있다. 예를 들어, 위치 메타데이터는 통상적으로 형상이 직사각형이고 검출된 전방 시각적 물건을 윤곽화하는 경계 박스(bounding box)를 생성하도록 더 사용될 수 있다. 경계 박스 내의 이미지는 메타데이터 내에 포함되도록 추출될 수 있다. 추출된 이미지는 경계 박스 내에 있던 것보다 작을 수도 있고, 또는 경계 박스 내에 있던 것보다 클 수도 있다. 추출되는 이미지의 크기는 또한 검출된 물건의 실제 경계에 가깝거나 실제 경계를 벗어날 수 있다.
일부 예들에서, 카메라 모듈(198)은, 예를 들면 물건 검출 서브모듈, 순시 물건 분류 서브모듈, 시간적 물건 분류 서브모듈 및 물건 추적 서브모듈과 같은, 비디오 분석을 위한 다수의 서브모듈을 포함한다. 물건 검출 서브모듈에 대해서 보면, 이러한 서브모듈은 카메라(169)의 가시 범위 내에 등장하는 물건을 검출하기 위해 제공될 수 있다. 물건 검출 서브모듈은, 예를 들어 모션 검출 및/또는 블로브(blob) 검출과 같이 당업자들에게 이해되는 다양한 물건 검출 방법 중 임의의 것을 채용할 수 있다.
카메라 모듈(198)의 일부를 형성할 수 있는 물건 추적 서브모듈에 대해 살펴보면, 이것은 물건 검출 서브모듈 및 시간적 물건 분류 서브모듈 양자 모두에 동작하도록 커플링될 수 있다. 물건 추적 서브모듈은 물건 검출 서브모듈에 의해 검출된 물건의 인스턴스를 시간적으로 연관시키기 위한 목적으로 포함될 것이다. 물건 추적 서브모듈은 자신이 추적하는 시각적 물건에 대응하는 메타데이터를 역시 생성할 수 있다.
카메라 모듈(198)의 일부를 형성할 수 있는 순시 물건 분류 서브모듈에 대해 살펴보면, 이것은 물건 검출 서브모듈에 동작하도록 커플링되고 물건의 단일 인스턴스에 기초하여 시각적 물건 타입(예컨대, 예를 들어 인간, 차량 또는 동물)을 결정하기 위해 채용될 수 있다. 순시 물건 분류 서브모듈로의 입력은 선택적으로, 전체 이미지 프레임이 아니라 관심 대상인 시각적 물건이 내부에 위치되는 이미지의 서브-구역일 수 있다.
카메라 모듈(198)의 일부를 형성할 수 있는 시간적 물건 분류 서브모듈에 대해 살펴보면, 이것은 순시 물건 분류 서브모듈에 동작하도록 커플링되고 물건의 클래스 정보를 시간 기간 동안 유지하도록 채용될 수 있다. 시간적 물건 분류 서브모듈은 물건의 수명 동안의 시간 기간에 걸쳐 순시 분류 서브모듈에 의해 제공된 물건의 순시 분류 서브모듈을 평균화할 수 있다. 다르게 말하면, 시간적 물건 분류 서브모듈은 물건의 타입을 다수의 프레임 내에서의 그 외관에 기초하여 결정할 수 있다. 예를 들어, 사람이 보행하는 걸음걸이 분석은 사람을 분류하는 데에 유용할 수 있고, 또는 사람의 분석의 분석은 이륜차 탑승객을 분류하는 데에 유용할 수 있다. 시간적 물건 분류 서브모듈은 물건의 궤적에 관련된 정보(예를 들어 궤적이 부드러운지 무질서한지, 물건이 움직이고 있는지 움직임이 없는지) 및 여러 프레임에 걸쳐 평균화된 물건 분류 서브모듈에 의해 이루어진 분류의 신뢰도를 결합할 수 있다. 예를 들어, 결정된 분류 신뢰도 값은 물건의 궤적의 부드러움에 기초하여 조절될 수 있다. 시간적 물건 분류 서브모듈은, 어떤 물건을, 그러한 시각적 물건이 여러 시간에 후속하여 순시 물건 분류 서브모듈에 의해 분류되고 미리 결정된 개수의 통계가 수집된 바 있을 때까지 미지의 클래스에 할당할 수 있다. 물건을 분류할 때, 시간적 물건 분류 서브모듈은 물건이 가시 범위 내에 얼마나 오래 존재했었느냐를 더 고려할 수 있다. 시간적 물건 분류 서브모듈은 전술된 정보에 기초하여 물건의 클래스에 대한 최종 결정을 할 수 있다. 시간적 물건 분류 서브모듈은 물건의 클래스를 변경하기 위해서 히스테리시스 접근법을 역시 사용할 수 있다. 좀 더 구체적으로는, 물건의 분류를 미지로부터 구체적인 클래스로 천이하기 위해 임계가 설정될 수 있고, 그러한 임계는 반대로의 천이(예를 들어, 사람으로부터 미지로의 천이)에 대한 임계보다 더 클 수도 있다. 시간적 물건 분류 서브모듈은 순시 물건 분류 서브모듈에 의해 이루어진 분류들을 종합할 수 있다.
일부 예들에서, 카메라 모듈(198)은 인간을 검출하고 인간의 이미지를, 연관된 비디오와 함께 서버 시스템(108)으로 송신될 수 있는 메타데이터 내에 포함되도록 인간 물건을 윤곽화하기 위한 각각의 경계 박스와 함께 추출할 수 있다. 시스템(108)에서, 미디어 서버 모듈(168)은 추출된 이미지를 처리하고 물건을 표현하기 위한 서명(예를 들어 피쳐 벡터)을 생성할 수 있다. 컴퓨터 비젼에서, 피쳐 기술자(descriptor)는 일반적으로 이미지를 취하고 피쳐 기술 또는 피쳐 벡터를 출력하는 알고리즘으로서 알려져 있다. 피쳐 기술자는 정보, 즉 이미지를 하나의 피쳐를 다른 피쳐로부터 구별하기 위해 사용될 수 있는 숫자 "지문(fingerprint)"으로서의 역할을 하는 일련의 숫자들로 인코딩한다. 이상적으로는, 이러한 정보는 피쳐가 동일한 물건의 다른 이미지 내에서 역시 발견될 수 있도록 이미지 변환에 대해서 불변이다. 피쳐 기술자 알고리즘의 예는 SIFT(Scale-invariant feature transform), HOG(histogram of oriented gradients), 및 SURF(Speeded Up Robust Features)이다.
적어도 일부의 예에 따르면, 피쳐 벡터는 컴퓨터에 의해 처리될 수 있는, 물건의 이미지를 나타내는 숫자 피쳐(숫자들)의 n-차원의 벡터이다. 하나의 물건의 제 1 이미지의 피쳐 벡터를 제 2 이미지의 피쳐 벡터와 비교함으로써, 컴퓨터 구현가능 프로세스는 제 1 이미지 및 제 2 이미지가 동일한 물건의 이미지인지 여부를 결정할 수 있다.
유사성 계산은 앞서 설명된 내용의 확장에 불과할 수도 있다. 구체적으로 설명하면, 카메라(169) 중 하나 이상에 의해 캡쳐된 두 개의 이미지의 두 개의 피쳐 벡터들 사이의 유클리드 거리를 계산함으로써, 컴퓨터 구현가능 프로세스는 두 개의 이미지가 얼마나 유사할 수 있는지를 표시하는 유사성 점수를 결정할 수 있다.
적어도 일부의 예에 따라서, 감시 시스템(100) 내의 피쳐 벡터의 저장소가 고찰된다. 예를 들면, 피쳐 벡터는 데이터베이스(191) 내에서 각각의 비디오와 함께 인덱싱되고 저장될 수 있다. 피쳐 벡터는 또한 각각의 물건의 추출된 이미지가 각각의 비디오 내의 어디에 위치되는지에 대한 레퍼런스 좌표와 연관될 수 있다. 저장하는 것은 비디오를, 예를 들어 타임 스탬프, 카메라 식별자, 피쳐 벡터 및 레퍼런스 좌표 등이 있는 메타데이터와 함께 저장하는 것을 포함할 수 있다.
이제, 일부 예시적인 실시예에 따르는, 비디오 레코딩 내의 동일한 사람 또는 물건을 식별하기 위해서 상호작용할 수 있는 하나의 예시적인 사용자 인터페이스 페이지의 스크린 샷인 도 3 을 참조할 것이다. 적어도 하나의 예에서, 비디오 리뷰 애플리케이션(144)(도 1)은 디스플레이(126) 상에 사용자 인터페이스 페이지(510)를 생성하는데, 이것을 통해서 서버 시스템(108)에 있는 질의 관리자 모듈(164)에 의해 처리되도록 요청이 입력될 것이다.
사용자 인터페이스 페이지(510) 내에는 2 차원의 그래프(520)가 있다. 2 차원의 그래프(520)는 x-축(526)에 날짜 및 시간을 포함한다. 예시된 예에서, x-축(526)의 좌측 끝에 9:25 AM에서 시작하여 x-축(526)의 우측 끝에 10:50 AM으로 끝나는 각각의 5분 간격이 표시된다. x-축(526)의 양단 사이의 시간의 간격은 슬라이더 툴(538)을 사용함으로써 증가되거나 감소될 수 있다. 특히, 가동 노브(544)가 슬라이더 툴(538)의 좌측 끝과 우측 끝 사이에서 이동될 수 있다. 슬라이더 툴(538)의 좌측 끝은 x-축(526)의 양단 사이의 시간의 간격을 최대로 설정하는 것에 대응한다("빼기" 확대 유리 심볼(546)로 표시되는 것과 같음). 슬라이더 툴(538)의 우측 끝은 x-축(526)의 양단 사이의 시간의 간격을 최소로 설정하는 것에 대응한다("더하기" 확대 유리 심볼(550)로 표시되는 것과 같음).
2 차원의 그래프(520)는 그래프(520)의 y-축(530)에서, 비디오 카메라의 복수의 비디오 레코딩 각각이 시청용으로 이용가능한 비디오 카메라의 복수 개의 카메라 식별자(534)의 목록을 더 포함한다. 복수 개의 카메라 식별자(534)의 각각의 하나는 감시 시스템(100)의 복수 개의 비디오 카메라(169)에 대한 고유한 공지된 물리적 위치에 위치된 복수 개의 비디오 카메라(169)(도 1)의 각각의 하나에 대응한다.
2 차원의 그래프(520)에는 n 개의 이미지 썸네일이 도시되는데, n은 3 이상의 정수이다. n 개의 이미지 썸네일은 비디오 레코딩의 특정 부분을 시각적으로 나타낸다(좀 더 상세하게 후술됨). 상기 n 개의 썸네일 중 제 1 썸네일인 썸네일(554)은 x-축에서 시간 상 가장 빨리 표시되는데, 이러한 예에서 2016 년 2 월 12 일 금요일의 대략 9:25 AM이다. 마지막(또는 n번째) 썸네일인 썸네일(558)은 x-축에서 시간 상 가장 늦게 표시되는데, 이러한 예에서 2016 년 2 월 12 일 금요일의 대략 10:50 AM이다.
썸네일(554)과 썸네일(558) 사이에는 다양한 개재 썸네일이 존재한다(이러한 예에서는 15 개의 개재 썸네일이 존재한다; 그러나, 다른 예들에서, 개재 썸네일의 개수는, 예를 들면 15 개 보다 훨씬 클 수 있고 또는, 또 다른 예에서는 15 개보다 훨씬 작아서 한 개 또는 0개 일 수 있다). 또한, 썸네일(559)이 내부에 체크 마크 그리고 주위에 박스를 가지고 있다는 것에 주의한다. 이것은 썸네일(559)이 레퍼런스 이미지라는 것을 표시하기 위한 것이다. 레퍼런스 이미지는 매칭의 우도(likelihood of a match)를 결정하기 위하여 모든 다른 관련된 이미지가 비교하는 대상이 되는 이미지이다.
라인(560) 각각은 썸네일 중 하나를 시간 상 다른 썸네일에 근접한 또 다른 썸네일(보통 가장 근접한 것)과 연결한다. 라인(560) 중 일부는 완전히 실선이다. 예를 들어, 썸네일(559)과 썸네일(566) 사이의 라인은 완전히 실선이다. 라인(560) 중 다른 것들은 적어도 부분적으로 점선이다. 예를 들어, 썸네일(570)과 썸네일(574) 사이의 라인은 부분적으로 점선이다. 도시된 예에서, 완전한 실선은 라인의 양단에 연결된 썸네일들 양자 모두가, 관심 대상으로 식별된 바 있는 사람 또는 물건의 외관의 우도에 대한 제 1 임계 위인 비디오 레코딩의 각각의 부분과 연관된다는 것을 의미한다. 대조적으로, 부분적 점선은 라인의 시간상 뒤인 단부에 연결된 썸네일이, 관심 대상으로 식별된 바 있는 사람 또는 물건의 외관의 우도의 제 1 임계 아래지만 여전히 슬라이더 툴(578)에 의해 설정되는 더 낮은 제 2 임계보다는 여전히 높은 비디오 레코딩의 각각의 부분과 연관된다는 것을 의미한다.
위에서 언급된 바와 같이, 슬라이더 툴(578)은 사용자 인터페이스 페이지(510)와 상호작용하는 사람이 썸네일 중 어떤 것이 그래프(520) 상에 나타나도록 허용되는지에 대한 필터링 임계를 설정하게 한다. 이러한 예에서, 필터링의 레벨이 높다는 것은, 관심 대상인 사람 또는 물건의 외관의 매우 높은 우도가 존재하는 비디오 레코딩의 부분에 대응하는 썸네일만이 그래프(520) 상에 나타나도록 허용된다는 것을 의미한다. 대조적으로, 필터링의 레벨이 낮다는 것은, 관심 대상인 사람 또는 물건의 외관의 매우 낮은 우도가 있는 비디오 레코딩의 부분에 대응하는 썸네일을 포함하여 더 많은 썸네일이 그래프(520) 상에 나타날 것으로 기대될 수 것이라는 것을 의미한다. 가동 노브(580)는 슬라이더 툴(578)의 상단과 하단 사이에서 이동될 수 있다. 슬라이더 툴(578)의 하단은 필터링 임계를 최소(심볼(582)에서 "low"로 표시된 것과 같음)로 설정하는 것에 대응한다. 슬라이더 툴(578)의 상단은 필터링 임계를 최대(심볼(584)에서 "high"로 표시된 것과 같음)로 설정하는 것에 대응한다. 또한, 도시된 예에서, 각각의 썸네일은 관심 대상인 사람 또는 물건의 외관의 우도의 시각적 표시를 포함한다. 구체적으로 설명하면, 각각의 썸네일 하단에는 표시 바가 존재한다. 도 4 를 참조하면, 표시 바(590)는 썸네일(570)의 좌측(592)으로부터 썸네일의 우측(593)으로 연장된다. 넓은 표시 바(590)는, 비교적으로 좁은 표시 바를 가지는 썸네일이 주어지는 경우의 다른 비디오 레코딩의 부분과 비교하여, 관심 대상인 사람 또는 물건의 외관의 더 높은 우도가 존재하는 비디오 레코딩의 부분에 썸네일(570)이 대응한다는 것을 나타낸다. 예를 들어, 도 5 에 도시된 바와 같이, 썸네일(574)은 썸네일(570)의 표시 바(590)보다 좁은 표시 바(595)를 가진다.
이제 도 6 이 참조될 것이다. 전술된 바와 같이, x-축(526)의 양단 사이의 시간의 간격은 슬라이더 툴(538)을 사용함으로써 증가되거나 감소될 수 있다. 도 6 은 도 3 에 도시되는 것에 상대적으로, 가동 노브(544)가 "빼기" 확대 유리(546)에 더 가깝게 이동되는 경우에(즉 x-축(526)의 양단 사이의 시간의 간격이 증가됨) 그래프(520)에 대한 영향을 예시한다. 영향의 일 예로서, 도 6 에 도시되는 썸네일(602)은 도 3 의 썸네일(예를 들어 썸네일(559, 566) 등)과 비교할 때 크기가 훨씬 작다. 이것은, 예를 들어 도 3 에 도시된 이전 버전의 그래프와 비교할 때 이러한 버전의 그래프에는 도시해야 할 썸네일이 더 많기 때문에(즉 74개의 썸네일 대 17개의 썸네일) 기대되는 것이다. 크기가 감소되기 때문에, 썸네일 상에 대표 이미지가 더 이상 존재하지 않는다. 그 대신에, 이러한 더 작은 썸네일은 바-타입 표시만을 포함한다.
썸네일(602)의 바-타입 표시가 도 3 에 도시된 썸네일(560)의 표시와 같지 않기 때문에, 이제 그 차이점이 설명된다. 우선, 썸네일이 대응하는 비디오 레코딩의 부분이 반드시 일 분 또는 짧은 지속기간의 것이 아니고, 예를 들어 수 분의 길이를 가질 수 있다는 것이 이해될 것이다. 따라서, 썸네일이 대응하는 비디오 레코딩의 부분이 추가적인 부분들로 더욱 하위분할될 수 있고, 관심 대상인 사람 또는 물건의 외관의 우도가 이러한 추가 부분들 각각 사이에서 달라질 수도 있다. 예를 들어, 비디오 레코딩의 전체 부분이 4분 길이라고 가정한다. 비디오 레코딩의 4분 중 처음 1분은 관심 대상인 사람 또는 물건의 외관의 연관된 제 1 우도를 가질 수 있다. 비디오 레코딩의 4분 중 다음인 두 번째 1분은 외관의 제 1 우도보다 큰 관심 대상인 사람 또는 물건의 외관의 연관된 제 2 우도를 가진다. 마지막으로, 비디오 레코딩의 4분 중 마지막 2분은 외관의 제 2 우도보다 큰 관심 대상인 사람 또는 물건의 외관의 연관된 제 3 우도를 가진다.
외관의 우도에 있어서의 이러한 차이를 사용자 인터페이스 페이지(510)와 상호작용하는 사람에게 제공하기 위하여, 썸네일 자체는 외관의 우도의 소형 그래픽 표현을 시간의 함수로서 제공할 수 있다. 이제 도 6 및 도 7 을 참조하면, 썸네일(702)이 이러한 썸네일 중 하나이다. 제 1 시간 기간 x1 동안에, 외관의 제 1 우도는 바 그래프(710)의 제 1 높이 h에 의해 표현된다. 제 2 시간 기간 x2 동안에, 외관의 제 2 우도는 바 그래프(710)의 제 2 높이 i에 의해 표현된다. 높이 i가 높이 h보다 크며, 외관의 우도가 제 1 시간 기간보다 제 2 시간 기간 동안에 더 크다는 것을 나타내는 것에 주의한다. 제 3 시간 기간 x3 동안에, 외관의 제 3 우도는 바 그래프(710)의 제 3 높이 j에 의해 표현된다. 높이 j가 높이 i보다 크며, 외관의 우도가 제 2 시간 기간보다 제 3 시간 기간 동안에 더 크다는 것을 나타내는 것에 주의한다.
이제 예시적인 실시예에 따르는 방법(750)을 도시하는 흐름도인 도 8 을 참조할 것이다. 예시된 방법(750)에서의 제 1 동작(752)으로서, 2 차원의 그래프가 디스플레이되는데, 2 차원의 그래프는 x-축에 날짜 및 시간을 가지고 y-축에는 비디오 카메라의 복수 개의 카메라 ID의 목록을 가진다. 예를 들어, 2 차원의 그래프는, 예를 들면 도 3 및 도 6 에 도시된 사용자 인터페이스 페이지(510) 내에 디스플레이될 수 있다.
다음으로, 방법(750)은 2 차원의 그래프 상에 n 개의 이미지 썸네일을 플로팅하는 단계(754)를 포함하는데, 플로팅은 복수 개의 카메라 ID 및 비디오 레코딩의 부분들과 연관된 x-축 상의 시간에 기초한다. 위의 동작(754)에 대해 살펴보면, 이것에 관련된 더 많은 세부사항이 도 3 및 도 6 및 이러한 도면에 대한 연관된 설명에서 도시되고 설명되었다.
다음으로, 방법(750)은 2 차원의 그래프로부터 제거될 n 개의 이미지 썸네일 중 적어도 하나의 선택을 가능하게 하는 단계(756)를 포함한다. 예를 들어, 도 3 및 도 5 에 도시되는 썸네일(574)을 예로서 살펴본다. 컴퓨터 단말(104)의 사용자는 썸네일(574)과 연관된 비디오 레코딩의 부분에 표시된 사람이 관심 대상인 개인이 아니라고 결정할 수 있다. 따라서, 사용자는 썸네일(574)을 2 차원의 그래프로부터 제거되도록 선택할 수 있다. 이것을 수행하기 위한 특정 사용자 인터페이스 동작은 당업자들에 의해 이해되는 다양한 상이한 형태 중 임의의 하나를 취할 수 있다. 예를 들어, 썸네일(574) 위로 커서를 이동시킴으로써 "x" 심볼이 나타나게 할 수 있고(또는 대안적으로 "x"는 언제나 표시될 수 있음), 그러면 사용자는 "x"에 클릭하여 클라이언트-측 비디오 리뷰 애플리케이션에게 입력을 제공할 수 있다(입력은 썸네일(574)이 2 차원의 그래프로부터 제거되도록 선택되었다는 것임). 대안적인 예로서, 사용자는 하나 이상의 썸네일에 클릭하도록 허용될 수 있고, 그러면 이러한 하나 이상의 썸네일이 하이라이트되고, 이제 하나 이상의 썸네일이 총괄적으로 제거되게 하기 위한 최종 아이콘(예를 들면, 사용자 인터페이스 페이지(510) 내의 휴지통 아이콘)이 선택될 수 있다.
다음으로, 방법(750)은, 상기 2 차원의 그래프로부터 상기 n 개의 이미지 썸네일 중 적어도 하나를 제거하는 단계(758)를 포함한다. 예를 들어, 썸네일(574)은 도 3 에 도시되는 차원의 그래프로부터 동작(756)에 후속하여 제거될 수 있다.
마지막으로, 방법(750)은 사람 또는 물건이 제거된 썸네일에 대응하는 비디오 레코딩의 부분 내에 존재하지 않는다고 기록하는 단계(760)를 포함한다. 기록은 컴퓨터 단말(104)의 RAM(116)(도 1) 및/또는 비-휘발성 저장소(120) 내에 이루어질 수 있다. 동시에(또는 시간 상 뒤의 시점에), 저장소(190)의 데이터베이스(191)도 역시 이러한 변화를 기록할 수 있다.
이제, 일부 예시적인 실시예에 따르는, 비디오 레코딩 내의 동일한 사람 또는 물건을 식별하기 위해서 상호작용할 수 있는 다른 예시적인 사용자 인터페이스 페이지(810)의 스크린 샷을 도시하는 도 9 를 참조할 것이다. 적어도 하나의 예에서, 비디오 리뷰 애플리케이션(144)(도 1)은 디스플레이(126) 상에 사용자 인터페이스 페이지(810)를 생성하는데, 이것을 통해서 서버 시스템(108)에 있는 질의 관리자 모듈(164)에 의해 처리되도록 요청이 입력될 것이다.
예시적인 사용자 인터페이스 페이지(810)에서, 썸네일(820)은, 예시된 썸네일(820)에 대응하는 비디오 레코딩의 부분을 촬영한 것으로 식별된 비디오 카메라(169)(도 1) 중 어느 것인지에 따라서 조직화된다. 따라서, 카메라 "Left Multisensor (1)(LID 91)" 아래에 이용가능한 일곱 개의 썸네일이 있다는 것을 알 수 있게 될 것이다. 카메라 "Center Multisensor (2)(LID 92)" 아래에는 이용가능한 여섯 개의 썸네일이 있다. 카메라 "Right Multisensor (3)(LID 93)" 아래에는 이용가능한 두 개의 썸네일이 있다. 마지막으로, 카메라 "16L-H4PRO-B (LID 20)" 아래에는 이용가능한 두 개의 썸네일이 있다. 특정한 비디오 카메라가 아닌 몇 가지 파라미터에 의한 조직화가 가능하다. 좀 더 구체적으로는, 예시된 사용자 인터페이스 페이지(810)는 그 외의 파라미터에 의한(예를 들어, 도 11 과 관련하여 본 명세서에서 후술되는 바와 같은 시간 연대에 의한) 썸네일 조직화를 허용하는 드롭-다운 선택기(822)를 포함한다.
도 9 의 썸네일(820)은 도 3 의 썸네일과 다소 유사하다; 그러나, 크기가 더 크기 때문에, 외관의 퍼센트 우도, 대응하는 비디오 카메라의 명칭 및 타임 스탬프를 포함하는 기록된 정보가 그 아래에 포함될 수 있다. 적어도 하나의 예시적인 실시예에 따르면, 썸네일(820) 중 임의의 것 위에서 싱글 클릭하면 사용자를 해당 썸네일에 대응하는 비디오의 부분 내의 시작점으로 이동시킬 것이다. 계약에 의하여, 썸네일(820) 중 임의의 것 위에 더블 클릭하면 사용자를 썸네일 이미지 내에 표시된 것과 같은 비디오 내의 정확한 지점으로 이동시킬 것이다.
슬라이더 툴(828)은 도 3 과 관련하여 전술된 슬라이더 툴(578)과 유사한 방식으로 동작하고, 및 따라서 슬라이더 툴(828)은 사람이 사용자 인터페이스 페이지(810)와 상호작용하여 썸네일(820) 중 어떤 것이 사용자 인터페이스 페이지(810)에 나타나도록 허용되는지에 대한 필터링 임계를 설정하게 한다. 앞선 예에서와 같이, 필터링의 레벨이 높다는 것은, 관심 대상인 사람 또는 물건의 외관의 매우 높은 우도가 존재하는 비디오 레코딩의 부분에 대응하는 썸네일만이 사용자 인터페이스 페이지(810) 상에 나타나도록 허용된다는 것을 의미한다. 대조적으로, 필터링의 레벨이 낮다는 것은, 관심 대상인 사람 또는 물건의 외관의 매우 낮은 우도가 있는 비디오 레코딩의 부분에 대응하는 썸네일을 포함하여 더 많은 썸네일이 사용자 인터페이스 페이지(810) 상에 나타날 것이 기대될 수 것이라는 것을 의미한다. 가동 노브(880)는 슬라이더 툴(828)의 상단과 하단 사이에서 이동될 수 있다. 슬라이더 툴(828)의 하단은 필터링 임계를 최소(심볼(882)에서 "low"로 표시된 것과 같음)로 설정하는 것에 대응한다. 슬라이더 툴(828)의 상단은 필터링 임계를 최대(심볼(884)에서 "high"로 표시된 것과 같음)로 설정하는 것에 대응한다. 또한, 일부 예들에서, 썸네일(820) 각각은 관심 대상인 사람 또는 물건의 외관의 우도의 시각적 표시를 포함할 수 있다는 것에 주의한다. 구체적으로 설명하면, 각각의 썸네일의 절반 아래에 표시 바가 있을 수 있다. 이러한 표시 바는 도 4 및 도 5 와 관련하여 전술된 바 있다. 또한, 특히 이러한 더 큰 썸네일의 경우, 외관의 퍼센트 우도(즉 1%와 100% 사이의 어느 값)가 표시 바 상에 중첩되는 것으로 표시될 수 있다.
도 9 에 도시되는 사용자 인터페이스 페이지(810)에서, 모든 비디오 카메라(169)가 포함되어 있다(네 개의 카메라가 스크린 영역 내에 표시된다; 그러나 아이콘(890)을 사용하여 사용자 인터페이스 페이지(810)를 스크롤 다운함으로써 더 많은 것들이 이용가능해진다). 일부 예에 따르면, 컴퓨터 단말 사용자는 비디오 카메라(169) 중 어느 것이 사용자 인터페이스 페이지(810) 상에 포함되어야 하는지를 제어할 수 있다. 예를 들어, "검색 다시하기(Refine Search)" 아이콘(894)을 클릭함으로써, 컴퓨터 단말 사용자는 새로운 인터페이스 윈도우(910)가 도 10 에 도시된 바와 같이 제공되게 할 수 있다.
예시된 인터페이스 윈도우(910)는 세 개의 윈도우 영역인: 카메라 목록 영역(912), 레퍼런스 이미지 영역(914) 및 날짜 및 시간 조절기 영역(916)을 포함한다. 카메라 목록 영역(912) 내의 카메라 목록은 체크 박스의 계층으로서 조직화된다. 계층성의 최고 레벨에는 "Chicago Site" 에 위치된 모든 비디오 카메라에 대응하는 체크 박스(919)가 있다(이하, 이러한 계층 레벨은 Site 레벨이라고 불릴 것임). 체크 박스(919) 내에 체크표시를, 처음에는 Chicago Site에 있는 모든 카메라가 선택되게 된다. 이와 유사하게 체크 박스(919)를 체크해제하면 Chicago Site에 있는 모든 카메라가 선택해제되게 될 것이다. 계층성의 다음 레벨에는 Chicago Site에서의 지리적 영역에 대응하는 체크 박스(920, 922, 924 및 926)가 있다(이하, 이러한 계층 레벨은 지리적 영역 레벨이라고 불림). 도시된 예에서, 체크 박스(920)는 "North Side of Building"의 지리적 영역에 대응하고, 체크 박스(922)는 "East Parking Lot"의 지리적 영역에 대응하며, 체크 박스(924)는 "West Pipe Yard"의 지리적 영역에 대응하고, 체크 박스(926)는 "Manufacturing"의 지리적 영역에 대응한다. 어떤 지리적 영역 레벨에 대응하는 체크 박스 내에 체크하면, 처음에는 특정한 지리적 영역 레벨 아래에 조직화된 모든 카메라가 선택되게 된다. 그러므로, 예를 들면 체크 박스(920)가 체크된다면, 처음에는 카메라 "Left Multisensor (1)(LID 91)", "Center Multisensor (2)(LID 92)", 및 "Right Multisensor (3)(LID 93)" 각각과 연관된 체크 박스(930, 932 및 934) 모두가 체크되게 될 것이다(이하, 개개의 비디오 카메라의 계층 레벨은 카메라 레벨이라고 불릴 것임). 이와 유사하게, 어떤 지리적 영역 레벨에 대응하는 체크 박스를 체크해제하면, 처음에는 특정한 지리적 영역 레벨 아래에 조직화된 모든 카메라가 선택해제되게 될 것이다. 그러므로, 예를 들어 체크 박스(920)가 체크해제되면, 카메라 "Left Multisensor (1)(LID 91)", "Center Multisensor (2)(LID 92)", 및 "Right Multisensor (3)(LID 93)" 각각과 연관된 체크 박스(930, 932 및 934) 모두가 선택해제될 것이다.
계속하여 도 10 을 참조하면, 레퍼런스 이미지 영역(914)은 인터페이스 윈도우(910)의 상단, 우측 구역에 있다. 전술된 바와 같이, 레퍼런스 이미지는 매칭의 우도(likelihood of a match)를 결정하기 위하여 모든 다른 관련된 이미지가 비교하는 대상이 되는 이미지이다. 도시된 인터페이스 윈도우(910) 내에서, 레퍼런스 이미지 영역(914) 아래에 날짜 및 시간 조절기 영역(916)이 존재한다. 날짜 및 시간 조절기 영역(916)은 컴퓨터 단말 사용자가 검색의 날짜 및 시간 범위를 변경할 수 있게 한다. 특히, 검은색 바의 좌측 끝(950) 또는 우측 끝(954) 중 하나가 시간/날짜 라인(956)의 전체 길이에 대해서 이동될 수 있다. 좌측 끝(950)을 좌측으로 또는 우측 끝(954)을 우측으로 이동시키면 검색의 총 시간/날짜 범위가 증가된다. 이와 유사하게, 좌측 끝(950)을 우측으로 또는 우측 끝(954)을 좌측으로 이동시키면 검색의 총 시간/날짜 범위가 감소된다. 적어도 하나의 예시적인 실시예에 따르면, 시간/날짜 라인(956)의 우측 끝은, 클라이언트-측 비디오 리뷰 애플리케이션이 실행되고 있는 현재의 시간 몇 분 전과 같이, 시간 상 최근일 수 있다. 당업자들은, 매우 최근인 비디오 레코딩을 포함시키도록 시간/날짜 라인을 조절하는 것이 예시적인 인터페이스 윈도우(910)로 한정되지 않고, 사실상 본 명세서에서 설명되는 다른 예시적인 실시예에도 역시 적용가능할 수 있다는 것을 이해할 것이다.
모든 요구되는 변화가 인터페이스 윈도우(910) 내에서 이루어지면 컴퓨터 단말 사용자에 의해 변경된 파라미터를 반영하도록 검색이 업데이트될 수 있다. 도시된 예에서 컴퓨터 단말 사용자는 "SEARCH" 아이콘(970)을 클릭함으로써 이것을 개시할 수 있다. 그러면 비디오 리뷰 애플리케이션(144)이 컴퓨터 단말 사용자를 사용자 인터페이스 페이지(810)의 업데이트된 버전으로 복귀시킨다.
도 10 에 도시된 인터페이스 윈도우(910)와 관련된 다른 주목 사항으로서, 이러한 애플리케이션이 도 9 의 예시적인 실시예로 한정되지 않는다는 것이 이해될 것이다. 인터페이스 윈도우(910)는, 예를 들면 본 명세서에서 후술될 도 20 의 예시적인 실시예와 같은 다른 예시적인 실시예에 대해서도 적합하다.
이제, 일부 예시적인 실시예에 따르는, 비디오 레코딩 내의 동일한 사람 또는 물건을 식별하기 위해서 상호작용할 수 있는 다른 예시적인 사용자 인터페이스 페이지(1010)의 스크린 샷을 도시하는 도 11 을 참조할 것이다. 적어도 하나의 예에서, 비디오 리뷰 애플리케이션(144)(도 1)은 디스플레이(126) 상에 사용자 인터페이스 페이지(1010)를 생성하는데, 이것을 통해서 서버 시스템(108)에 있는 질의 관리자 모듈(164)에 의해 처리되도록 요청이 입력될 것이다.
사용자 인터페이스 페이지(1010)는 도 9 에 도시되는 사용자 인터페이스 페이지(810)와 유사하다; 그러나 썸네일의 조직화는 특정한 비디오 카메라에 의한 것이 아니라 시간 연대에 의한 것이다. 따라서, 왼쪽 맨 위의 썸네일(1030)이 약 9:25 AM에서 시작하는, 시간 상 가장 빠른 비디오 레코딩의 부분에 대응한다는 것을 알 수 있게 될 것이다. 시간 상 다음은 약 9:41 AM에 시작하는 비디오 레코딩의 부분이다(썸네일(1032)). 그 다음에는 약 10:13 AM에 시작되는 비디오 레코딩의 부분이 있다(썸네일(1034)). 따라서, 후속된 조직화는, 최상측 행에서부터 시작하여 좌에서 우로, 동일한 좌-우 순서결정에 따라서 다음 행까지 내려가면서 순서결정하는 것이고, 또는 유사성의 방법에 의하여, 조직화는 단어들이 임의의 종류의 영어 언어 북 또는 발행물의 페이지에 순서결정될지와 유사하다. 도 11 의 썸네일은 도 9 의 썸네일(820)과 동일한 포매팅, 스타일 및 콘텐츠를 따른다. 예를 들어, 도 9 의 썸네일과 유사하게, 도 11 의 썸네일은, 예를 들어 외관의 퍼센트 우도, 대응하는 비디오 카메라의 명칭 및 타임 스탬프를 포함하는 기록된 정보를 그 아래에 포함할 수 있다. 도시된 예에서, 많은 썸네일이 스크린 영역에 표시한다; 그러나 단지 아이콘(1090)을 사용하여 사용자 인터페이스 페이지(1010)를 스크롤 다운하는 것에 의해서 더 많은 썸네일이 이용가능해진다.
슬라이더 툴(1078)은 도 3 과 관련하여 전술된 슬라이더 툴(578)과 유사한 방식으로 동작하고, 및 따라서 슬라이더 툴(1078)은 사람이 사용자 인터페이스 페이지(1010)와 상호작용하여 표시된 썸네일 중 어떤 것이 사용자 인터페이스 페이지(1010)에 나타나도록 허용되는지에 대한 필터링 임계를 설정하게 한다. 앞선 예에서와 같이, 필터링의 레벨이 높다는 것은, 관심 대상인 사람 또는 물건의 외관의 매우 높은 우도가 존재하는 비디오 레코딩의 부분에 대응하는 썸네일만이 사용자 인터페이스 페이지(1010) 상에 나타나도록 허용된다는 것을 의미한다. 대조적으로, 필터링의 레벨이 낮다는 것은, 관심 대상인 사람 또는 물건의 외관의 매우 낮은 우도가 있는 비디오 레코딩의 부분에 대응하는 썸네일을 포함하여 더 많은 썸네일이 사용자 인터페이스 페이지(1010) 상에 나타날 것이 기대될 수 것이라는 것을 의미한다. 가동 노브(1080)는 슬라이더 툴(1078)의 상단과 하단 사이에서 이동될 수 있다. 슬라이더 툴(1078)의 하단은 필터링 임계를 최소(심볼(1082)에서 "low"로 표시된 것과 같음)로 설정하는 것에 대응한다. 슬라이더 툴(1078)의 상단은 필터링 임계를 최대(심볼(1084)에서 "high"로 표시된 것과 같음)로 설정하는 것에 대응한다. 또한, 일부 예들에서, 썸네일 각각은 관심 대상인 사람 또는 물건의 외관의 우도의 시각적 표시를 포함할 수 있다는 것에 주의한다. 구체적으로 설명하면, 각각의 썸네일의 절반 아래에 표시 바가 있을 수 있다. 이러한 표시 바는 도 4 및 도 5 와 관련하여 전술된 바 있다. 또한, 특히 이러한 더 큰 썸네일의 경우, 외관의 퍼센트 우도(즉 1%와 100% 사이의 어느 값)가 표시 바 상에 중첩되는 것으로 표시될 수 있다.
일부 예들에서, 썸네일은 컴퓨터 단말 사용자에 의해 클릭되어, 컴퓨터 단말 사용자가 선택된 썸네일에 대응하는 비디오 레코딩의 부분을 시청할 수 있게 하는 비디오 플레이어를 실행할 수 있다. 예를 들면, 도 11 및 도 12 를 참조하면, 썸네일(1030)은 컴퓨터 단말 사용자에 의해 클릭될 수 있다(예를 들어, 전술된 바와 같이, 썸네일(1030)을 싱글 클릭하면 사용자가 해당 썸네일에 대응하는 비디오의 부분 내의 시작점으로 이동될 수 있고, 썸네일(1030)을 더블 클릭하면 사용자가 썸네일 이미지에 표시된 것과 같은 비디오의 정확한 지점으로 이동될 수 있음). 클릭 동작은 사용자 인터페이스 페이지(1010)를 사용자 인터페이스 페이지(1010)와 유사하지만 비디오 플레이어(1120)를 포함하는 새로운 사용자 인터페이스 페이지(1110)로 바꾼다. 비디오 플레이어(1120)는 썸네일(1030)에 대응하는 비디오 레코딩의 부분을 재생한다. 이러한 방식으로 컴퓨터 단말 사용자는 비디오 레코딩의 부분을 시청할 수 있고, 가능하게는 이것을 시청함으로써 이러한 컴퓨터 단말 사용자는 관심 대상인 사람 또는 물건이 썸네일(1030)에 대응하는 비디오 레코딩의 부분 내에 실제로 등장하는지 여부에 대한 결정이 이루어지게 할 무엇인가를 목격하거나 파악할 수 있다. 썸네일의 클릭 시에 비디오 플레이어가 등장하는 전술된 사용자 인터페이스 페이지 변환이 도 11 및 도 12 의 예시적인 실시예로 한정되지 않는다는 것이 이해될 것이다. 이것은 예를 들어 도 3, 도 6 및 도 9 에 도시되는 것들을 포함하는 다른 관련된 예시적인 실시예에도 동일하게 적용가능하다.
이제 도 1 에 도시되는 예시적인 감시 시스템에 대한 클라이언트-측 비디오 리뷰 애플리케이션(144')의 블록도를 도시하는 도 13 을 참조할 것이다. 비디오 리뷰 애플리케이션(144')과 전술된 비디오 리뷰 애플리케이션(144) 사이에는 유사성이 있다. 예를 들어, 양자 모두의 비디오 리뷰 애플리케이션은 복수 개의 상이한 비디오 레코딩에 등장하는 동일한 사람 또는 물건의 식별을 가능하게 하기 위한 입력을 수집하기 위한 UI를 제공하는 것에 관련된다. 추가적인 유사성은 후속하는 설명으로부터 명백해질 것이다.
비디오 리뷰 애플리케이션(144')은 컴퓨터 단말(104)(도 1)에서 실행될 수 있고, 컴퓨터 단말 사용자가 입력 및, 좀 더 구체적으로는, 복수 개의 상이한 비디오 레코딩 내에 등장하는 동일한 사람 또는 대상물의 식별을 가능하게 하는 입력을 제공하는 데에 관련된 동작들을 수행하게 하기 위해서, 검색 세션 관리자 모듈(1304)과 협업하기 위한 UI 모듈(1302)을 포함한다. 이러한 경우, 컴퓨터 단말(104)의 사용자에게는 디스플레이(126) 상에 생성되고 사용자가 비디오 레코딩과 관련된 정보를 입력 및 수신하는 사용자 인터페이스가 제공된다.
비디오 리뷰 애플리케이션(144')은 전술된 세션 관리자 모듈(1304)도 포함한다. 검색 세션 관리자 모듈(1304)은 검색 UI 모듈(1302) 및 서버 시스템(108)의 질의 관리자 모듈(164)(도 1) 사이에 통신 인터페이스를 제공한다. 적어도 일부 예에서, 검색 세션 관리자 모듈(1304)은 원격 프로시저 호(Remote Procedure Call; RPC)를 사용하여 질의 관리자 모듈(164)과 통신한다.
이제, 일부 예시적인 실시예에 따르는, 비디오 레코딩 내의 동일한 사람 또는 물건을 식별하기 위해서 상호작용할 수 있는 하나의 예시적인 사용자 인터페이스 페이지(1410)의 스크린 샷인 도 14 를 참조할 것이다. 적어도 하나의 예에서, 비디오 리뷰 애플리케이션(144')(도 13)은 디스플레이(126)(도 1) 상에 사용자 인터페이스 페이지(1410)를 생성하는데, 이것을 통해서 서버 시스템(108)에 있는 질의 관리자 모듈(164)에 의해 처리되도록 요청이 입력될 것이다.
사용자 인터페이스 페이지(1410) 내에는 2 차원의 그래프(1422)가 있다. 2 차원의 그래프(1422)는 x-축(1426)에 날짜 및 시간을 포함한다. 예시된 예에서, x-축(1426)의 좌측 끝에 가깝게 오후 2:40 AM에서 시작하여 x-축(1426)의 우측 끝에 오후 5:00 AM으로 끝나는 각각의 20분 간격이 표시된다. 적어도 일부 예에서, x-축(1426) 양단 사이의 시간 간격은 증가되거나 감소될 수 있다. 예를 들면, 사용자 인터페이스 페이지(1410)는 사용자 인터페이스 페이지(510)(도 3)와 관련하여 설명된 슬라이더 툴(538)과 유사한 슬라이더 툴을 포함할 수 있다. 적어도 하나의 예에서, 슬라이더 툴은 1 분 내지 30 분 사이 임의의 지점으로부터 시간 간격의 그래뉼래러티(granularity)를 변경할 수 있다. 물론 다른 그래뉼래러티 범위도 가능하다.
2 차원의 그래프(1422)는 그래프(1422)의 y-축(1430)에서, 비디오 카메라의 복수의 비디오 레코딩 각각이 시청용으로 이용가능한 비디오 카메라의 복수 개의 카메라 식별자(1434)의 목록을 더 포함한다. 복수 개의 카메라 식별자(1434)의 각각의 하나는 감시 시스템(100)의 복수 개의 비디오 카메라(169)에 대한 고유한 공지된 물리적 위치에 위치된 복수 개의 비디오 카메라(169)(도 1)의 각각의 하나에 대응한다. 복수 개의 카메라 식별자(1434)의 목록의 조직화는, 가장 많은 마커를 가지는 그러한 카메라 식별자에 기초하여 내림 차순(위에서 아래로)이 되게 하는 것일 수 있다. 대안적으로, 복수 개의 카메라 식별자(1434)의 목록의 다른 형태의 조직화도 고찰된다.
2 차원의 그래프(1422) 아래에는 열로 조직화된 복수 개의 이미지 썸네일(1450)이 있다. 각각의 열에는 시간 간격이 할당되고, 따라서 최좌측 열에서부터 시작하여 제 1 열에는 2:30PM 내지 2:39.59PM의 시간 간격이 할당된다. 그러면, 다음 열에는 2:40PM 내지 2:49.59PM의 시간 간격이 할당되는 등이다. 이러한 방식으로, 해당 썸네일에 대한 비디오 레코딩의 연관 부분이 2:30PM 내지 2:39.59PM의 시간 간격에 속한다면, 썸네일 중 하나만이 제 1 열에 등장해야 한다. 그렇지 않으면, 썸네일은 열 중 매칭되는 시간 간격에 속하는 임의의 것 안에 들어갈 필요가 있다. 또한, 당업자들은 열을 만드는 전술된 조직화가 중요하지 않다는 것을 이해할 것이다. 예를 들어, 행으로 조직화하는 것이 적합한 대안적 디자인 선택일 수 있다.
썸네일 열 각각에서, 썸네일(1450)이 관심 대상으로 식별된 바 있는 사람 또는 물건의 외관의 우도에 기초하는 순서로 조직화된다는 것에 주목할 것이다. 이것은 썸네일(1450) 각각에 제공된 인덱스들로부터 알 수 있다. 도시된 예에서, 이러한 인덱스들은 내부에 관심 대상으로 식별된 바 있는 사람 또는 물건의 외관의 우도에 대응하는 퍼센티지 숫자가 표시되는(인덱스들의 이러한 세부사항은 도 14 에 표시되기에는 너무 작음) 원(1452)의 형태를 가진다. 일 예로서 최좌측 열을 보면, 상단 썸네일에 대응하는 퍼센티지 숫자는 87%이고, 그 아래의 다음 썸네일은 84%이며, 그 아래의 다음 썸네일은 81%인 등이다.
예시된 사용자 인터페이스 페이지(1410) 내에는, 2 차원의 그래프(1422) 위에 위치되고 3:00PM 내지 3:09.59PM의 시간 간격에 대응하는 썸네일 열과 수직으로 정렬된 썸네일(1462)이 존재한다. 썸네일(1462)은, 컴퓨터 단말(104)(도 1)의 사용자가, 어떤 앞선 순간에, 썸네일 내의 여자가 관심 대상으로 식별된 바 있는 특정한 개인(즉 매치가 될 100% 유사성)이라는 입력을 제공했다는 점에서 그래프(1422) 아래의 썸네일들과 다르다. 이것은, 앞선 순간에, 커서(1466)를 사용자 인터페이스 페이지(1410)에서 이동시키고 그래프(1422) 아래의 썸네일 중 하나를 클릭함으로써 수행되었다. 그러면 썸네일이 클릭되면, 그것이 나온 썸네일 열과 여전히 수직 정렬된 상태로 그래프(1422) 위로 이동한다.
썸네일(1462)이 그래프(1422) 상의 대응하는 마커(1470)를 가진다는 것도 역시 주의한다. 이러한 도시된 예에서, 마커(1470)는 관심 대상인 여자가 3:00PM 내지 3:09.59PM의 시간 간격 동안에 비디오 카메라 "cam-1002"에 의해 촬영된 비디오 레코딩의 부분에 등장한다는 것을 표시한다.
이제 도 15 가 참조될 것이다. 도 15 는 그래프(1422) 아래의 썸네일 중 더 많은 것이 클릭된 이후에, 도 14 에 도시된 것에 대해서 사용자 인터페이스(1410)에 표시된 요소에 미치는 영향을 예시한다. 더 많은 썸네일이 클릭되는 경우에 발생되는 주된 상호작용 변화는 더 많은 마커가 그래프(1422)에 나타나고, 더 많은 썸네일이 그래프(1422) 위에 나타나며, 그래프(1422) 아래의 썸네일이 재정렬되고 변경된다는 것이다(이전에 표시되지 않은 새로운 썸네일의 추가 및 충분한 매칭 우도를 더 이상 가지지 않는 썸네일의 제거를 포함함). 썸네일이 클릭될 때마다 어떤 것이 매칭일 것이고 어떤 것이 매칭이 아닐 것인지에 대한 새로운 정보가 추가된다는 것에 주의한다. 다르게 말하면, 새로운 정보는 검색에 관련된다. 일부 예들에서, 시스템은 검색 결과를 정제하기 위한(다수의 질의 이미지의 결과를 병합함으로써) 사용자의 피드백을 얻는다. 이러한 예에서 사용자 인터페이스는 엔진을 정제하기(또는 새로운 엔진을 학습시키기) 위해서 사용될 수 있는 기초 진실 데이터(ground truth data)를 수집하기 위하여, 사용자의 피드백을 수집하는 것을 허용할 수 있다. 이러한 피드백 메커니즘은 사용자로부터 연속적이고 자동적으로 학습함으로써 진화하는 시스템을 생성하도록 사용될 수 있다.
따라서, 썸네일 중 하나가 클릭될 때마다 업데이트된 검색이 실행된다. 또한, 소망될 경우, 검색을 실행할 그 외의 엔진(신경망)을 선택하게 하기 위해서 선택기(1501)가 제공된다. 당업자들에 의해 이해될 수 있는 것처럼, 검색을 실행하기 위해서 상이한 엔진이 사용될 때마다 상이한 검색 결과가 생성될 것이다. 따라서, 일부 예들에서, 컴퓨터 단말 사용자가 어떤 엔진이 다른 것들보다 그의 목적에 더 적합하다고 결정할 때까지 동일한 검색을 상이한 엔진에서 실행하려고 시도하게 하는 것이 가능하다. 따라서, 선택기(1501)는 상이한 엔진들 사이에서의 토글링, 또는 심지어는 다수의 엔진을 허용한다. 다수의 엔진에 대해서 살펴보면, 평균적으로 엔진들 각각보다 더 양호한 결과를 제공하기 위하여, 다수의 엔진의 결과들을 결합하는 선택된 알고리즘(순위 퓨전, 또는 피쳐 퓨전)이 사용될 수 있다.
4:10PM 내지 4:19.59PM의 시간 간격에서 x-축(1426) 상의 x 좌표 및 카메라 "cam-1008"에 대응하는 y-축(1430) 상의 y 좌표를 가지는 예시적인 마커(1502)에 대해 살펴본다. 이것은, 도 14 및 도 15 에 도시되는 표시된 사용자 인터페이스 상태들 사이의 어느 지점에서, 컴퓨터 단말(104)(도 1)의 사용자가 썸네일(1506)을 선택하여 이것을 관심 대상인 여자에 대한 매칭으로서 선택했고, 따라서 이것이 수직으로 정렬된 열(그래프(1422) 아래)로부터 그래프(1422) 위의 표시된 위치로 이동하게 했다는 것을 의미하는 새로운 마커이다.
몇몇 시간 간격에 대해서 다수의 마커가 존재한다는 것에 주의한다. 도시된 예에서, 3:00PM 내지 3:09.59PM의 시간 간격은 세 개의 마커(1510, 1512 및 1470)를 포함하고, 3:50PM 내지 3:59.59PM의 시간 간격은 세 개의 마커(1516, 1518 및 1520)를 포함하며, 4:20PM 내지 4:29.59PM의 시간 간격은 두 개의 마커(1520 및 1522)를 포함한다. 또한, 하나의 시간 간격에 속하는 마커 및 다음 시간 간격에 속하는 마커와 관련하여, 두 개의 마커들 사이에 라인이 생긴다. 예를 들어, 마커(1540)는 3:10PM 내지 3:19.59PM의 시간 간격에 속하고, 마커(1542)는 3:20PM 내지 3:29.59PM의 다음 시간 간격에 속하며, 따라서 마커(1540)와 마커(1542) 사이에 라인(1544)이 존재한다. 그래프(1422) 상의 마커들 사이의 라인은 이전에 논의된 도 3 의 실시예에서 썸네일들을 연결하는 라인(560)과 유사한 실제 중요도를 가진다. 즉, 마커들 사이의 라인들 각각은, 대상인 사람 또는 물건이 어떻게 그리고 언제 y-축(1430)에 따라 목록화된 비디오 카메라들 사이에서 이동했는지를 나타내는 경로가 그래프(1422) 상에 구성되도록 다른 라인(들)에 연결된다.
제 1 시간 간격 및 다음 시간 간격에 있는 마커들 사이에는 두 개 이상의 라인이 존재할 수 있다는 것에 주의한다. 예를 들어, 3:20PM 내지 3:29.59PM의 시간 간격에 있는 마커(1542) 및 3:50PM 내지 3:59.59PM의 시간 간격에 있는 마커(1516, 1518 및 1520) 사이에는 세 개의 라인이 존재한다. 제 1 라인(1550)은 3:20PM 내지 3:29.59PM의 시간 간격에 있는 마커(1542)를 3:50PM 내지 3:59.59PM의 시간 간격에 있는 마커(1516)에 연결한다. 제 2 라인(1552)은 3:20PM 내지 3:29.59PM의 시간 간격에 있는 마커(1542)를 3:50PM 내지 3:59.59PM의 시간 간격에 있는 마커(1518)에 연결한다. 제 3 라인(1554)은 3:20PM 내지 3:29.59PM의 시간 간격에 있는 마커(1542)를 3:50PM 내지 3:59.59PM의 시간 간격에 있는 마커(1520)에 연결한다.
이전에 언급된 바와 같이, 3:50PM 내지 3:59.59PM의 시간 간격은 세 개의 마커(1516, 1518 및 1520)를 포함한다. 이러한 시간 간격 안에 세 개의 마커가 존재하기 때문에, 이것은 세 개의 썸네일이 해당 시간 간격에 대한 썸네일 열 안에서 클릭되었고, 더욱이 그러한 세 개의 썸네일이 그래프(1422) 위로 이동되었다는 것을 의미한다. 그럼에도 불구하고, 사용자 인터페이스(1410) 내의 공간 제약 때문에 오직 하나의 썸네일(1570)만이 보인다. 일부 예들에서, 두 개의 숨은 썸네일은 도 16 을 참조하여 이제부터 설명될 방식으로 드러나게 될 수 있다.
도 16 은 썸네일(1570)의 구역 내의 사용자 인터페이스(1410)의 클로즈업 예시도이다. 도 16 의 좌측에는 커서(1466)가 썸네일(1570) 옆에 있다. 다음 동작은 사용자가 커서(1466)를 도 16 의 우측에 표시된 것처럼 썸네일(1570) 위로 이동시키고 위치설정하는 것이다. 이렇게 함으로써, 썸네일 세트(1578)의 두 개의 숨은 썸네일(1572 및 1574)이 드러나게 된다. 사용자가 썸네일(1572 및 1574) 중 하나를 완전히 드러내기 위하여 앞으로 이동시키기를 원한다면, 사용자는 커서를 어느 하나인 썸네일(1572 또는 1574) 위로 직관적으로 이동시키고 클릭할 수 있다. 또한, 클릭된 썸네일이 앞으로 이동되면, 전면(드러난) 위치를 유지하던 썸네일이 후면 위치로 이동돼야 한다는 것이 이해될 것이다. 따라서 세트(1578) 내에서의 썸네일의 이동은 데크 내의 카드를 섞는 것에 비유될 수 있다.
이제, 다른 예시적인 실시예에 따르는, 비디오 레코딩 내의 동일한 사람 또는 물건을 식별하기 위해서 상호작용할 수 있는 다른 예시적인 사용자 인터페이스 페이지(1702)의 스크린 샷인 도 17 을 참조할 것이다. 사용자 인터페이스 페이지(1702)는 세 개의 기능 구역인: 제 1 UI 구역(1710), 제 2 UI 구역(1712) 및 제 3 UI 구역(1714)으로 분할된다. 제 1 UI 구역(1710) 내에서, 슬라이더 툴(1778)은 도 11 과 관련하여 전술된 슬라이더 툴(1078)과 유사한 방식으로 동작하고, 및 따라서 슬라이더 툴(1778)은 사람이 사용자 인터페이스 페이지(1702)와 상호작용하여 어떤 썸네일이 사용자 인터페이스 페이지(1702)에 나타나도록 허용되는지에 대한 필터링 임계를 설정하게 한다. 사용자 인터페이스 페이지(1702) 내의 썸네일(1716) 각각은 썸네일과 연관된 비디오 레코딩의 부분이 속하는 시간 간격에 기초하여 열로 조직화된다. 최좌측 열로부터 시작하여, 이러한 열에는 7:15PM 내지 7:16PM의 시간 간격이 할당된다. 그러면, 다음 열에는 7:16PM 내지 7:17PM의 시간 간격이 할당되는 등이다. 따라서, 사용자 인터페이스 페이지(1702) 내의 썸네일 열 안에서의 썸네일의 조직화는 도 14 및 도 15 와 관련하여 전술된 사용자 인터페이스 페이지(1410) 내의 썸네일 열 안에서의 썸네일의 조직화와 유사성을 가진다. 제 1 UI 구역(1710) 내에 제공된 드롭-다운 선택기(1718 및 1719)가 존재한다는 것에도 역시 주의한다. 드롭-다운 선택기(1718)는 썸네일(1716)이 그들의 각각의 열 각각 내에서 어떻게 조직화되는지에 영향을 준다. 도시된 예에서, 드롭-다운 선택기(1718)는 "관련성(Relevance)"으로 설정되었다. 이것은, 관심 대상인 사람 또는 물건의 외관의 더 높은 우도가 존재하는 비디오의 부분에 대응하는 썸네일이 외관의 더 낮은 우도에 대응하는 것보다 제 1 UI 구역(1710)의 상단에 더 가깝게 나타날 것이라는 것을 의미한다. 드롭-다운 선택기(1719)는 "옵션(Options)"으로 명명되고, 클릭되면, 컴퓨터 단말 사용자가, 예를 들어 모든 별표시(starred) 결과의 내보내기를 개시하거나 모든 별표시 결과를 북마크하는 것과 같은 다른 검색-관련 옵션을 선택할 수 있게 한다. 당업자들에게 이해될 수 있는 것과 같이, 녹화된 비디오의 콘텍스트에서의 "내보내기(export)"는 비디오 레코딩(들) 또는 비디오 레코딩의 부분(들)을 하나의 디바이스로부터 다른 디바이스로 이동시키거나 복사하는 것(예를 들어, 백업하기 위해서 또는 그렇지 않으면 이동되거나 복사되고 있는 것을 저장하기 위하여)을 의미한다. "북마크(Bookmark)"는 컴퓨터 단말 사용자가 비디오 레코딩(들)의 특정한 부분(들)으로 더 쉽게 복귀할 수 있게 하기 위한 전자 마커 또는 인덱스를 생성하는 것을 의미한다.
썸네일(1716) 각각이 썸네일의 상부 좌측 코너에 정방형 그래픽(1720)을 그리고 별표 그래픽(1724)을 썸네일의 상부 우측 코너에 포함한다는 것에 주의한다. 이러한 그래픽은 썸네일(1716) 상의 이미지에 중첩된다. 별표 그래픽(1724)은 클릭되어 관심 대상인 물건 또는 사람이 해당 썸네일에 대응하는 비디오 레코딩의 부분에 포함된다는 것을 표시할 수 있다. 이러한 경우가 생기면(본 명세서에서는 결과에 "별표하기(starring)"라고도 불림), 별표 그래픽(1724)은 밝은 반투명 쉐이딩에서 채워진 밝은 색상으로 변할 수 있다(비록 도시된 예에서 색상이 표시되지 않지만, 썸네일(1716) 상부 좌측의 별표 그래픽은 매칭을 표시하기 위해서 클릭된 반면에 다른 썸네일(1716)은 그렇지 않음). 대안적으로, 별표 그래픽(1724)은, 예를 들어 매칭을 표시하기 위해서 선택되면 연속적으로 애니메이션화되는 것과 같은 일부 다른 방식으로 변할 수도 있다. 썸네일(1716) 각각의 상부 좌측 코너에 있는 정사각형 그래픽(1720)에 대해 살펴보면, 이것은 클릭되어 관심 대상인 물건 또는 사람이 해당 썸네일에 대응하는 비디오 레코딩의 부분에 포함되지 않는다는 것을 표시할 수 있다. 이러한 경우가 생기면, 적색 "X"가 정방형 그래픽(1720) 내에 나타나서 어떤 일이 발생했는지에 대한 시각적 표시를 제공할 수 있다. 또한, 당업자들은 적색 "X"가 비-매칭의 요구되는 표시를 제공하는 동일한 결과를 달성할 수 있는 많은 가능한 디자인 선택 중 오직 하나일 뿐이라는 것을 이해할 것이다. 일부 예들에서, 열 내의 썸네일은, 사용자가 썸네일 중 하나 이상에 클릭하여 매칭 및/또는 비-매칭을 표시하면 그들 사이에서 서로 재위치설정될 것이다. 다른 예들에서, 열 내의 썸네일은, 사용자가 썸네일 중 하나 이상에 클릭하여 매칭 및/또는 비-매칭을 표시하는 경우 정적 포지션을 유지할 것이다.
비디오 플레이어(1725)는 사용자 인터페이스 페이지(1702) 내의 제 2 UI 구역(1712) 안에 포함된다. 도시된 예에서, 비디오 플레이어(1725)는 썸네일(1727)에 대응하는 비디오 레코딩의 부분을 재생하고 있다. 이러한 방식으로 컴퓨터 단말 사용자는 비디오 레코딩의 부분을 시청할 수 있고, 가능하게는 이것을 시청함으로써 이러한 컴퓨터 단말 사용자는 관심 대상인 사람 또는 물건이 썸네일(1727)에 대응하는 비디오 레코딩의 부분 내에 실제로 등장하는지 여부에 대한 결정이 이루어지게 할 무엇인가를 목격하거나 파악할 수 있다. 도시된 예에서, 예컨대 경계 박스(1729 및 1731)와 같은 경계 박스가 디스플레이되는 비디오 내의 다수의 이동하는 물건 및 사람 주위에 나타난다. 경계 박스(1731)는 경계 박스 상단 바로 위에 표시되어 경계 박스(1731) 내의 사람이 관심 대상인 사람일 50% 우도를 가지는 것으로 계산된다는 것을 컴퓨터 단말 사용자에게 표시하는 퍼센티지 "50%"을 가진다. 대조적으로, 경계 박스(1729)는 그 위에 표시된 임의의 퍼센티지를 가지지 않는다. 일부 예들에서, 퍼센티지가 표시되는지 여부는 외관의 우도 임계가 초과되는지 여부에 달려 있을 것이다(즉 외관의 우도 정보는 충분히 높을 때만 나타날 것이다).
비디오 플레이어(1725)가 컴퓨터 단말 사용자를 썸네일(1727)에 대응하는 비디오 레코딩의 부분만을 시청하도록 한정하지 않는다는 것이 이해될 것이다. 컴퓨터 단말 사용자는 제 1 UI 구역(1710) 내에 표시된 썸네일(1716) 중 임의의 것에 대응하는 것을 포함하는 다른 비디오를 시청할 수 있다. 적어도 하나의 예시적인 실시예에 따르면, 썸네일(1716) 중 임의의 것을 싱글 클릭하면 사용자가 해당 썸네일에 대응하는 비디오의 부분 내의 시작점으로 이동될 것이다. 계약에 의하여, 썸네일(1716) 중 임의의 것 위에 더블 클릭하면 사용자를 썸네일 이미지 내에 표시된 것과 같은 비디오 내의 정확한 지점으로 이동시킬 것이다.
제 3 UI 구역(1714) 내에는 2 차원의 그래프(1764)가 존재한다. 2 차원의 그래프(1764)는 x-축(1765)에 날짜 및 시간을 포함한다. 예시된 예에서, x-축(1765)의 좌측 끝에 오후 7:15 AM에서 시작하여 x-축(1765)의 우측 끝에 오후 7:21 AM으로 끝나는 각각의 30초 간격이 표시된다. 적어도 일부 예에서, x-축(1765) 양단 사이의 시간 간격은 증가되거나 감소될 수 있다. 예를 들면, 표시된 사용자 인터페이스 페이지(1702)는 사용자 인터페이스 페이지(510)(도 3)와 관련하여 설명된 슬라이더 툴(538)과 유사한 슬라이더 툴(1766)을 포함한다.
2 차원의 그래프(1764)는 그래프(1764)의 y-축(1767)에서, 비디오 카메라의 복수의 비디오 레코딩 각각이 시청용으로 이용가능한 비디오 카메라의 복수 개의 카메라 식별자(1769)의 목록을 더 포함한다. 복수 개의 카메라 식별자(1769)의 각각의 하나는 감시 시스템(100)의 복수 개의 비디오 카메라(169)에 대한 고유한 공지된 물리적 위치에 위치된 복수 개의 비디오 카메라(169)(도 1)의 각각의 하나에 대응한다. 복수 개의 카메라 식별자(1769)의 목록의 조직화는, 가장 많은 마커를 가지는 그러한 카메라 식별자에 기초하여 내림 차순(위에서 아래로)이 되게 하는 것일 수 있다. 대안적으로, 복수 개의 카메라 식별자(1769)의 목록의 다른 형태의 조직화도 고찰된다. 적어도 하나의 대안적 예에서, 복수 개의 카메라 식별자(1769)의 목록은 적어도 하나의 별표시 결과를 가지는 카메라만을 표시함으로써 단축될 수 있다.
여전히 제 3 UI 구역(1714)을 참조하면, 대략 7:15.30 PM에 표시된 마커(1771)가 존재한다. 이러한 도시된 예에서, 마커(1771)는, 언급된 바와 같이, 관심 대상인 물건 또는 사람에 대한 매칭으로서 마킹된 바 있는, 제 1 UI 구역(1710)의 상단 좌측 코너 내의 썸네일에 대응한다. 마커(1771)와 대응하는 썸네일 사이의 대응성을 더 분명하게 드러내기 위하여, 마커는 썸네일 상의 별표 그래픽과 동일한 색상으로 표시될 수 있다.
이제 일부 예시적인 실시예에 따르는 하나의 예시적인 비디오 플레이어(1800)를 예시하는 도 18a 를 참조할 것이다. 비디오 플레이어(1800)는 인터페이스 페이지(1702)(도 17)에 포함된 비디오 플레이어(1725)와 유사할 수 있고, 사실상 이러한 인터페이스 페이지 내에서 사용될 수 있다는 것이 분명하다. 이와 유사하게, 비디오 플레이어(1800)는 도 12, 도 17 및 도 20 내지 도 22 에 도시된 비디오 플레이어 중 임의의 하나와 유사할 수 있고, 사실 상 그러한 인터페이스 페이지 중 임의의 하나 내에서도 역시 사용될 수 있는 것이 분명하다.
비디오 플레이어(1800) 상에 표시되고 있는 비디오 내에는 비디오 내에 표시된 사람을 둘러싸는 경계 박스(1810)가 존재한다. 경계 박스(1810)에서 우클릭함으로써, 선택 목록(1814)이 검색을 실행하기 위한 다수의 옵션을 가지고 나타난다. 선택 옵션(1816)("Find more like this")을 클릭하면, 경계 박스(1810) 내의 사람과 매칭될 가능성이 있을 수 있는 임의의 사람에 대해서 저장소(190)(도 1) 내의 저장된 비디오의 검색이 개시된다. 선택 옵션(1818)("Find more like this person prior to this")을 클릭하면 유사한 검색이 시작된다; 하지만 검색이 비디오 내의 디스플레이된 프레임의 날짜/타임 스탬프(1823) 보다 시간 상으로 앞서서 발생한 비디오로 한정될 것이라는 점에서 검색은 더 많이 제한된다. 선택 옵션(1820)("Find more like this person after this")을 클릭하면 옵션(1818)을 선택함으로써 개시된 검색에 상보적인 검색이 개시된다(즉 검색은 비디오 내의 디스플레이된 프레임의 날짜/타임 스탬프(1823)에 대해서 시간 상으로 후행하여 발생되는 비디오로 한정될 것임).
왜 제한된 검색 옵션(즉 옵션(1818 및 1820))이 옵션(1816) 중에서 선택될 수 있는지를 보여주기 위해서, 어떤 사람이 쇼핑몰에서 자신의 가방을 잃어버리는 일 예가 지금 설명된다. 어떤 사람이 쇼핑몰에서 자신의 가방을 분실한다면, 다음이 참일 것이다: i) 시간 상 한 시점에서 그 사람이 가방을 가지고 쇼핑몰 안에 있었음; 및 ii) 시간 상 다음 시점에 그 사람이 가방이 없이 쇼핑몰 안에 있었음. 따라서 그 사람은 쇼핑몰의 보안 사무소로 가고, 보안 요원이 비디오 플레이어 내의 비디오를 보기 시작할 수 있다. 보안 요원이 그 사람을 쇼핑몰에서 촬영된 비디오 레코딩의 부분에서 그 사람을 찾으면, 요원은 관련된 비디오 프레임을 보고서 그 사람이 해당 시점에 가방을 소지하는지 소지하지 않는지 여부를 알 수 있다. 사람이 그러한 비디오 프레임에서 가방을 소지하고 있다면, 시간 상 역방향의 검색이 가방이 분실된 시점에 그 사람의 임의의 비디오를 찾으려는 시도에서 도움이 될 것이기 때문에 보안 요원은 옵션(1820)을 선택할 수 있다. 대조적으로, 사람이 그러한 비디오 프레임에서 가방을 소지하지 않고 있다면, 시간 상 순방향의 검색이 가방이 분실된 시점에 그 사람의 임의의 비디오를 찾으려는 시도에서 도움이 될 것이기 때문에 보안 요원은 옵션(1818)을 선택할 수 있다. 전술된 검색을 개시하기 위하여, 보안 요원이 쇼핑몰에서 촬영된 비디오 레코딩의 일부 부분에서 그 사람을 찾는 것이 중요하지 않다는 것에 주의해야 한다. 그 대신에, 보안 요원은, 예를 들어 그 사람이 보안 사무소 안이나 가까이에 있는 비디오 카메라 앞에 서도록 지시할 수 있다. 그러면 보안 요원은 그 사람의 비디오 이미지를 녹화하고, 그러면 이것이 검색을 개시하기 위하여 사용될 수 있다.
이제 일부 예시적인 실시예에 따르는 다른 예시적인 비디오 플레이어(1850)를 예시하는 도 18b 를 참조할 것이다. 비디오 플레이어(1850)는 인터페이스 페이지(1702)(도 17)에 포함된 비디오 플레이어(1725)와 유사할 수 있고, 사실상 이러한 인터페이스 페이지 내에서 사용될 수 있다는 것이 분명하다. 이와 유사하게, 비디오 플레이어(1850)는 도 12, 도 17 및 도 20 내지 도 22 에 도시된 비디오 플레이어 중 임의의 하나와 유사할 수 있고, 사실 상 그러한 인터페이스 페이지 중 임의의 하나 내에서도 역시 사용될 수 있는 것이 분명하다.
비디오 플레이어(1850) 상에 표시되고 있는 비디오 내에는 비디오 내에 표시된 사람을 둘러싸는 경계 박스(1860)가 존재한다. 경계 박스(1860)에서 우클릭함으로써, 선택 목록(1864)이 검색을 실행하기 위한 다수의 옵션을 가지고 나타난다. 선택 옵션(1868)("Find more like this person prior to this")에 클릭하면 경계 박스(1860) 내의 사람과 매칭될 가능성이 있을 수 있는 임의의 사람에 대해서 저장소(190)(도 1) 내의 저장된 비디오의 검색기 개시되지만, 비디오 내에 디스플레이된 프레임의 날짜/타임 스탬프(1869)에 시간 상으로 앞서서 발생된 비디오에만 한정된다. 선택 옵션(1870)("Find more like this person after this")을 클릭하면 옵션(1868)을 선택함으로써 개시된 검색에 상보적인 검색이 개시된다(즉 검색은 비디오 내의 디스플레이된 프레임의 날짜/타임 스탬프(1869)에 대해서 시간 상으로 후행하여 발생되는 비디오로 한정될 것임). 선택 옵션(1874)("Additional Search Options")에 클릭하면, 컴퓨터 단말 사용자가, 예를 들어 모든 별표시 결과의 내보내기를 개시하거나 모든 별표시 결과를 북마크하는 것과 같은 다른 검색-관련 옵션을 선택할 수 있게 된다. 이러한 옵션은 본 명세서에서 전술된 바 있다.
이제 예시적인 몇 가지 실시예에 따르는 방법(1900)을 도시하는 흐름도인 도 19 를 참조할 것이다. 예시된 방법(1900)에서의 제 1 동작과 같이, 클라이언트-측 비디오 리뷰 애플리케이션(144)(도 2) 또는 클라이언트-측 비디오 리뷰 애플리케이션(144')(도 13)은 검색될 사람 또는 물건에 대응하는 경계 박스 콘텐츠 선택을 포함하는 사용자 인터페이스내의 비디오 플레이어(예를 들어 비디오 플레이어(1800) 또는 비디오 플레이어(1850))를 통하여 사용자 입력을 검출한다. 도 18a 또는 도 18b 에 도시된 예와 관련하여 설명된 바와 같이, 컴퓨터 단말 사용자는 실행될 특정 타입의 검색에 대한 상이한 옵션과 함께 제공될 경계 박스(1810)(또는 경계 박스(1860))를 우클릭할 수 있다. 물론 선택 목록을 이끌어 내기 위한 우클릭은 사용자 인터페이스를 통해서 입력을 제공하는 메커니즘의 하나의 예일 뿐이다. 다른 대안적인 메커니즘들이 당업자들에게 명백해질 것이다.
다음으로, 방법은 선택된 경계 박스의 콘텐츠의 서명 및/또는 다른 정보에 기초하여 검색을 업데이트 또는 개시하는 단계(1904)를 포함한다. 도 18a 또는 도 18b 의 예로 돌아가면, 그러한 예에서 검색을 업데이트 또는 개시하는 것은, 경계 박스(1810)(또는 경계 박스(1860)) 내에 있는 사람과 매칭될 가능성이 있을 수 있는 누군가를 찾기 위해서 저장소(190) 내의 저장된 비디오의 검색을 하라는 요청을 컴퓨터 단말(104)(도 1)이 서버 시스템(108)으로 전송하게 하기 위해서 선택가능한 옵션 중 하나를 클릭하는 것에 후속하여 이루어진다. 물론, 검색은 사람을 찾는 것으로만 한정되지 않는다는 것이 이해될 것이다. 예를 들면, 일부 예들에서, 사람을 찾는 대신에 검색은 자동차 또는 다른 이동식 차량에 대해 이루어질 수 있다. 자동차가 사라졌다면 누군가는 자동차(또는 다른 이동식 차량)를 찾기를 원할 수 있고, 차량이 이동했을 장소 근처에 있는 다양한 카메라로부터의 비디오를 검색하면 누가 그 차량을 가지고 있을 수 있고 그 차가 어디로 갔는지에 대한 정보가 알려질 수 있다.
다음으로, 방법은 매칭 우도를 생성 또는 재계산하는 단계(1906)를 포함한다. 검색이 업데이트되거나 새롭게 실행될 때 매칭 우도가 변한다는 것이 이해될 것이다. 이것은 시스템이, 경계 박스(1810)(또는 경계 박스(1860))의 콘텐츠가 다른 비디오의 다른 프레임에 있는 사람에 대하여 매칭의 우도를 할당하기 위해서 분석 엔진 모듈(172)에 의해 사용되는 계산식으로의 입력의 매칭 영향 값이라고 정보를 처리하기 때문이다.
마지막으로, 방법은 검색의 결과에 기초하여 사용자 인터페이스를 업데이트 또는 파퓰레이션 하는 단계(1908)를 포함한다. 예를 들어, 본 명세서에서 상세히 설명된 바와 같이, 잠재적으로 관련된 비디오 레코딩의 부분을 시각적으로 나타내는 이미지 썸네일이 사용자 인터페이스 스크린 상에 동적으로 제공될 수 있다. 초기 검색의 경우, 사용자 인터페이스 스크린의 빈 부분이 검색 결과 잠재적으로 관련된 것으로 결정된 썸네일로 채워지게 될 수 있다. 업데이트된 검색의 경우, 시간 상 사전-검색 시점에 사용자 인터페이스 스크린의 부분 상에 제공된 썸네일은 사용자 인터페이스 내에서 재정렬될 수 있고 및/또는 다수의 이러한 썸네일은 검색 결과에 기초하여 다른 썸네일로 대체될 수 있다.
이제, 다른 예시적인 실시예에 따르는, 비디오 레코딩 내의 동일한 사람 또는 물건을 식별하기 위해서 상호작용할 수 있는 다른 예시적인 사용자 인터페이스 페이지(2002)의 스크린 샷인 도 20 을 참조할 것이다. 전술된 사용자 인터페이스 페이지(1702)(도 17)와 유사하게, 사용자 인터페이스 페이지(2002)는 세 개의 기능 구역인: 제 1 UI 구역(2010), 제 2 UI 구역(2012) 및 제 3 UI 구역(2014)으로 분할된다. 제 1 UI 구역(2010) 내에서, 슬라이더 툴(2078)은 도 11 과 관련하여 전술된 슬라이더 툴(1078)과 유사한 방식으로 동작하고, 및 따라서 슬라이더 툴(2078)은 사람이 사용자 인터페이스 페이지(2002)와 상호작용하여 어떤 썸네일이 사용자 인터페이스 페이지(2002)에 나타나도록 허용되는지에 대한 필터링 임계를 설정하게 한다. 사용자 인터페이스 페이지(2002)에서의 썸네일(2016) 각각은, 예시된 썸네일(2016)에 대응하는 비디오 레코딩의 부분을 촬영한 것으로 식별된 비디오 카메라(169)(도 1) 중 어느 것인지에 따라서 조직화된다. 따라서, 카메라 "2nd Floor Exhibit Entrance" 아래에는 이용가능한 네 개의 썸네일이 존재한다는 것을 알 수 있게 될 것이다. 카메라 "2nd Floor Hallway" 아래에는 이용가능한 일곱 개의 썸네일이 존재한다. 마지막으로, 카메라 "2nd Floor Circulation" 아래에는 이용가능한 네 개의 썸네일이 존재한다. 제 1 UI 구역(2010) 내에 제공된 드롭-다운 선택기(2018 및 2019)가 존재한다는 것에도 역시 주의한다. 드롭-다운 선택기(2018)는 썸네일(2016)이 어떻게 조직화되는지에 영향을 준다. 전술된 바와 같이, 특정한 비디오 카메라 이외의 일부 파라미터에 의한 조직화도 가능하다. 드롭-다운 선택기(2019)는 "옵션(Options)"으로 명명되고, 클릭되면, 컴퓨터 단말 사용자가, 예를 들어 모든 별표시(starred) 결과의 내보내기를 개시하거나 모든 별표시 결과를 북마크하는 것과 같은 다른 검색-관련 옵션을 선택할 수 있게 한다. 이러한 옵션은 본 명세서에서 전술된 바 있다.
썸네일(2016) 각각이 썸네일의 상부 좌측 코너에 정방형 그래픽(2020)을 그리고 별표 그래픽(2024)을 썸네일의 상부 우측 코너에 포함한다는 것에 주의한다. 이러한 그래픽은 썸네일(2016) 상의 이미지에 중첩된다. 별표 그래픽(2024)은 클릭되어 관심 대상인 물건 또는 사람이 해당 썸네일에 대응하는 비디오 레코딩의 부분에 포함된다는 것을 표시할 수 있다. 이러한 경우에, 별표 그래픽(2024)은 밝은 반투명 쉐이딩으로부터 밝은 색상으로 바뀔 수 있다(도 17 에 예시된 사용자 인터페이스 페이지(1702)와 관련하여 전술된 바와 같음). 따라서, 썸네일에 대응하는 검색 결과가 별표시된다. 대안적으로, 별표 그래픽(2024)은, 예를 들어 매칭을 표시하기 위해서 선택되면 연속적으로 애니메이션화되는 것과 같은 일부 다른 방식으로 변할 수도 있다. 썸네일(2016) 각각의 상부 좌측 코너에 있는 정사각형 그래픽(2020)에 대해 살펴보면, 이것은 클릭되어 관심 대상인 물건 또는 사람이 해당 썸네일에 대응하는 비디오 레코딩의 부분에 포함되지 않는다는 것을 표시할 수 있다. 이러한 경우가 생기면, 적색 "X"가 정방형 그래픽(1720) 내에 나타나서 어떤 일이 발생했는지에 대한 시각적 표시를 제공할 수 있다. 또한, 당업자들은 적색 "X"가 비-매칭의 요구되는 표시를 제공하는 동일한 결과를 달성할 수 있는 많은 가능한 디자인 선택 중 오직 하나일 뿐이라는 것을 이해할 것이다.
비디오 플레이어(2025)는 사용자 인터페이스 페이지(2002) 내의 제 2 UI 구역(2012) 안에 포함된다. 도시된 예에서, 비디오 플레이어(2025)는 제 1 UI 구역(2010) 내에 도시된 썸네일 중 임의의 것에 반드시 대응하는 것은 아닌 비디오 레코딩의 부분을 재생하고 있다. 컴퓨터 단말 사용자는 비디오 레코딩의 부분을 시청할 수 있고, 이것을 시청함으로써, 컴퓨터 단말 사용자는 관심 대상인 사람 또는 물건에 대한 검색의 업데이트 또는 개시를 보장하기 위하여, 관심 대상인 사람 또는 물건이 비디오 레코딩의 해당 부분 내에 등장하는지 여부에 대한 결정이 이루어지게 하는 무언가를 발견하거나 알아낼 수 있다(예를 들어, 도 19 와 관련하여 도시되고 기술된 방법(1900)에 따라서). 적어도 하나의 예시적인 실시예에 따르면, 썸네일(2016) 중 임의의 것을 싱글 클릭하면 사용자가 해당 썸네일에 대응하는 비디오의 부분 내의 시작점으로 이동될 것이다. 계약에 의하여, 썸네일(2016) 중 임의의 것 위에 더블 클릭하면 사용자를 썸네일 이미지 내에 표시된 것과 같은 비디오 내의 정확한 지점으로 이동시킬 것이다.
도시된 예에서, 비디오 플레이어(2025), 경계 박스(2029)는 디스플레이된 비디오 내의 이동하는 사람 주위에 나타난다. 경계 박스(2029)는 경계 박스 상단 바로 위에 표시되어 경계 박스(2029) 내의 사람이 관심 대상인 사람일 20% 우도를 가지는 것으로 계산된다는 것을 컴퓨터 단말 사용자에게 표시하는 퍼센티지 "20%"을 가진다.
제 3 UI 구역(2014) 내에는 2 차원의 그래프(2064)가 존재한다. 2 차원의 그래프(2064)는 x-축(2065)에 날짜 및 시간을 포함한다. 예시된 예에서, x-축(2065)의 좌측 끝 근처에 오전 7:16.30 PM에서 시작하여 x-축(2065)의 우측 끝에 오전 7:21.00 PM으로 끝나는 각각의 30초 간격이 표시된다. 적어도 일부 예에서, x-축(2065) 양단 사이의 시간 간격은 증가되거나 감소될 수 있다. 예를 들면, 표시된 사용자 인터페이스 페이지(2002)는 사용자 인터페이스 페이지(510)(도 3)와 관련하여 설명된 슬라이더 툴(538)과 유사한 슬라이더 툴(2034)을 포함한다.
2 차원의 그래프(2064)는 그래프(2064)의 y-축(2067)에서, 비디오 카메라의 복수의 비디오 레코딩 각각이 시청용으로 이용가능한 비디오 카메라의 복수 개의 카메라 식별자(2069)의 목록을 더 포함한다. 복수 개의 카메라 식별자(2069)의 각각의 하나는 감시 시스템(100)의 복수 개의 비디오 카메라(169)에 대한 고유한 공지된 물리적 위치에 위치된 복수 개의 비디오 카메라(169)(도 1)의 각각의 하나에 대응한다. 복수 개의 카메라 식별자(2069)의 목록의 조직화는, 가장 많은 마커를 가지는 그러한 카메라 식별자에 기초하여 내림 차순(위에서 아래로)이 되게 하는 것일 수 있다. 대안적으로, 복수 개의 카메라 식별자(2069)의 목록의 다른 형태의 조직화도 고찰된다. 적어도 하나의 대안적 예에서, 복수 개의 카메라 식별자(2069)의 목록은 적어도 하나의 별표시 결과를 가지는 카메라만을 표시함으로써 단축될 수 있다.
이제, 다른 예시적인 실시예에 따르는, 비디오 레코딩 내의 동일한 사람 또는 물건을 식별하기 위해서 상호작용할 수 있는 다른 예시적인 사용자 인터페이스 페이지(2102)의 스크린 샷인 도 21 을 참조할 것이다. 사용자 인터페이스 페이지(2102)는 사용자 인터페이스 페이지(2002)(도 20)와 유사하고, 일반적 기능들이 전술된 바 있는 세 개의 기능 구역: 제 1 UI 구역(2110), 제 2 UI 구역(2112) 및 제 3 UI 구역(2114)으로 분할된다. 사용자 인터페이스 페이지(2102) 내의 썸네일(2116) 각각은 썸네일과 연관된 비디오 레코딩의 부분이 속하는 시간 간격에 기초하여 열로 조직화된다. 썸네일(2118)은 그 위에 떠 있으며 썸네일(2118) 위에 표시되는 것이 썸네일(2116) 중 하나와 비교할 때 상이한 메이크업을 갖게 하는 커서(2120)를 가진다. 클릭되면, 별 아이콘(2122)은 썸네일(2118)과 연관된 검색 결과가 별표시되게 한다. 클릭되면, 휴지통 아이콘(2124)은 썸네일(2118)이 관심 대상이 아닌 것으로 마킹되고 제 1 UI 구역(2110)으로부터 제거되게 한다. 또한, 썸네일 이미지에 대응하는 시간의 비디오 레코딩 인스턴스를 표시하는 중첩된 텍스트(2126)가 존재한다.
이제 제 3 UI 구역(2114)으로 가면, 2 차원의 그래프(2130)가 도시한다. 2 차원의 그래프(2130)는 x-축(2131)에 날짜 및 시간을 포함한다. 도시된 예에서, 시간 간격 명명법은 도 17 과 관련하여 전술된 시간 간격 명명법과 유사하다. 또한, x-축(2131) 양단 사이의 시간 간격은 증가되거나 감소될 수 있다. 예를 들면, 사용자 인터페이스 페이지(2102)는 이러한 목적을 위하여 제 3 UI 구역(2114) 내에 슬라이더 툴(2134)을 포함한다.
2 차원의 그래프(2130)는 그래프(2130)의 y-축(2135)에서, 비디오 카메라의 복수의 비디오 레코딩 각각이 시청용으로 이용가능한 비디오 카메라의 복수 개의 카메라 식별자(2136)의 목록을 더 포함한다. 복수 개의 카메라 식별자(2136)의 각각의 하나는 감시 시스템(100)의 복수 개의 비디오 카메라(169)에 대한 고유한 공지된 물리적 위치에 위치된 복수 개의 비디오 카메라(169)(도 1)의 각각의 하나에 대응한다. 복수 개의 카메라 식별자(2136)의 목록의 조직화는, 가장 많은 마커를 가지는 그러한 카메라 식별자에 기초하여 내림 차순(위에서 아래로)이 되게 하는 것일 수 있다. 대안적으로, 복수 개의 카메라 식별자(2136)의 목록의 다른 형태의 조직화도 고찰된다. 적어도 하나의 대안적 예에서, 복수 개의 카메라 식별자(2136)의 목록은 적어도 하나의 별표시 결과를 가지는 카메라만을 표시함으로써 단축될 수 있다.
여전히 2 차원의 그래프(2130)를 참조하면, 두 개의 수직(즉 y-축(2135)에 평행함) 라인(2137 및 2138)이 존재한다. 라인(2137 및 2138)의 위치설정은 변경되어(예를 들어, 커서(2120)를 사용함으로써) 검색 결과의 시간 범위를 변경할 수 있다. 라인(2137)을 좌측으로 및/또는 라인(2138)을 우측으로 이동시킴으로써, 검색 결과의 시간 범위가 확장될 수 있다. 반대로, 라인(2137)을 우측으로 및/또는 라인(2138)을 좌측으로 이동시킴으로써, 검색 결과의 시간 범위가 축소될 수 있다. 도 21 의 수직 라인(2137 및 2138)의 기능을 설명했으므로, 적어도 일부의 예에서 도 17 및 도 20 의 유사한 UI 구역 내에 존재하는 유사한 수직 라인이 유사하게 기능한다는 것이 이해될 것이다.
여전히 제 3 UI 구역(2114)을 참조하면, 재생 버튼 아이콘(2140)이 이제 설명된다. 재생 버튼 아이콘(2140)을 클릭하면, 별표시된 비디오 레코딩 부분(즉 썸네일 아이콘(2197 및 2199)과 연관된 결과들)이 백투백으로 재생된다. 또한, 재생 버튼 아이콘(2140)의 양측에는 추가적인 버튼 아이콘(2142 및 2143)이 있다. 버튼 아이콘(2142)을 클릭하면 비디오 레코딩 부분의 재생 속도가 느려진다. 버튼 아이콘(2143)을 클릭하면 비디오 레코딩 부분의 재생 속도가 빨라진다.
다시 제 1 UI 구역(2110)을 참조하면, 드롭-다운 선택기(2144)는 "Options"로 명명되고 이전에 설명된 도 17 및 도 20 에 표시된 동일한 명칭의 선택기와 동일한 명령을 수행한다. 적어도 하나의 예시적인 실시예에 따르면, "Export"는 드롭-다운 선택기(2144)의 선택들 중 하나일 수 있고, 이것을 선택함으로써 새로운 사용자 인터페이스 윈도우(2202)(도 22)가 생성된다. 다른 드롭-다운 선택기(2145)도 제 1 UI 구역(2110) 내에 표시된다. 드롭-다운 선택기(2145)는 도 17 에 도시되는 드롭-다운 선택기(1718)의 기능과 유사한 기능을 수행한다.
이제 클라이언트-측 리뷰 애플리케이션(144')(도 13)의 내보내기 기능과 연관된 사용자 인터페이스 페이지(2202)의 스크린 샷인 도 22 를 참조할 것이다. 사용자 인터페이스 페이지(2202)는 세 개의 기능 구역: 제 1 UI 구역(2210), 제 2 UI 구역(2112) 및 제 3 UI 구역(2214)으로 분할된다(제 2 UI 구역(2212)의 일반적인 기능은 전술되었음). 제 1 UI 구역(2210)에 대해 살펴보면, 이러한 구역 내에는 세 개의 인터페이스 툴: "Clip 1"에 대한 인터페이스 툴(2213), "Clip 2"에 대한 인터페이스 툴(2215) 및 Clip 1 및 2 와 연관된 추가적 셋팅에 대한 인터페이스 툴(2218)이 존재한다. Clip 1 및 2 가 도 21 의 별표시 결과에 대응한다는 것이 이해될 것이다(즉 썸네일 아이콘(2197 및 2199)과 연관되고, 2 차원의 그래프(2130) 상의 연관된 마커(2151 및 2153)를 가지는 결과). 또한, 인터페이스 툴(2213 및 2215)은 내보내기할 비디오 레코딩 부분의 파라미터를 변경하기 위한 선택기를 포함한다. 도시된 예시적인 실시예에서, 다음 중 임의의 하나 이상이 변경될 수 있다: 카메라, 클립의 시작 날짜 및 시간("From": 으로 표시됨), 클립의 종료 날짜 및 시간("To": 로 표시됨), 및 "Days", "Hours", "Minutes" 및 "Seconds"로 표시되는 일반적 기능들이 전술된 바 있는 지속시간.
제 1 UI 구역(2210) 내에는 아이콘(2226 및 2228)도 존재한다. 아이콘(2226 및 2228)은 각각 "Burn to Disc" 및 "Start Export"로 명명된다. 아이콘(2226)을 클릭함으로써, 사용자는 Clip 1 및 2 의 백투백 조합이 디스크-타입 미디어(예를 들어, CD-R, HD DVD, 블루-레이 디스크 등)에 기록되게 할 수 있다. 아이콘(2228)을 클릭함으로써, 사용자는 Clip 1 및 2 의 백투백 조합이 로컬 시스템 내의 저장소(예를 들어, 온 하드 디스크)에 기록되게 할 수 있다. 적어도 하나의 대안적 예시적인 실시예에 따르면, 예를 들면 Clip 1 및 2 의 백투백 조합이 클라우드 저장소로 송신(및 저장)되게 하는 Export to Cloud" 아이콘과 같은 추가적 아이콘이 고찰된다.
제 3 UI 구역(2214) 내에는 재생 버튼 아이콘(2240)이 존재한다. 재생 버튼 아이콘(2240)을 클릭하면 현재 선택된 임의의 비디오 레코딩 부분이 재생된다. 또한, 재생 버튼 아이콘(2240)의 양측에는 추가적인 버튼 아이콘(2242 및 2244)이 있다. 버튼 아이콘(2242)을 클릭하면 비디오 레코딩 부분의 재생 속도가 느려진다. 버튼 아이콘(2244)을 클릭하면 비디오 레코딩 부분의 재생 속도가 빨라진다.
설명된 실시예의 특정한 적응 및 수정이 이루어질 수 있다. 예를 들어, 클라이언트-측 비디오 리뷰 애플리케이션(144)(도 1 및 도 2) 또는 클라이언트-측 비디오 리뷰 애플리케이션(144')(도 13) 중 하나에 대해서 살펴보면, 이들은 본 명세서에서 클라이언트 단말(104)에 설치된 패키지화된 소프트웨어로서 설명되었다; 그러나 일부 대안적인 실시예에서 UI의 구현형태는 웹 브라우저 애플리케이션을 사용함으로써 적게 설치된 소프트웨어(예를 들어 도 1 에 도시된 다른 애플리케이션(152) 중 하나)를 가지고 얻어질 수 있다. 웹 브라우저 애플리케이션은 문서(예를 들어, 웹페이지)를 보기, 다운로드, 업로드, 서핑 및/또는 그렇지 않으면 액세스하기 위해 사용되는 프로그램이다. 일부 예들에서, 브라우저 애플리케이션은 알려진 Microsoft® Internet Explorer®일 수 있다. 물론, 예를 들어 Google® Chrome™을 포함하는 다른 타입의 브라우저 애플리케이션도 동일하게 가능하다. 브라우저 애플리케이션은 마크업된 페이지(예를 들어, HTML)를 판독한다. 또한, 브라우저 애플리케이션은 마크업된 페이지를 웹페이지로서 렌더링되어 사용자가 보는 것으로 해석한다. 브라우저 애플리케이션은, 복수 개의 상이한 비디오 레코딩에서 등장하는 동일한 사람 또는 물건을 식별하는 것을 가능하게 하도록 입력을 제공하는 것에 관련된 동작을 컴퓨터 단말 사용자가 수행할 수 있게 하도록 서버 시스템(108) 상의 소프트웨어 컴포넌트와 상호작용하게끔 컴퓨터 단말(104)에서 실행될 수 있다. 이러한 경우, 컴퓨터 단말(104)의 사용자에게는 사용자가 비디오 레코딩과 관련된 정보를 입력 및 수신하는 대안적인 예시적 사용자 인터페이스가 제공된다.
비록 예시적인 실시예가 검색을 위한 레퍼런스 이미지가 녹화된 비디오 내의 이미지로부터 취해지는 것으로 설명하였지만, 일부 예시적인 실시예에서는 스캐닝된 사진 또는 디지털 카메라에 의해 촬영된 정지 이미지에 기초하여 검색을 수행하는 것이 가능할 수도 있다. 이것은 특히 포토 또는 다른 이미지가, 예를 들어 충분히 최근에 촬영되어 의복 및 외관이 비디오 레코딩 내에서 발견될 수 있는 것과 동일할 가능성이 있는 경우에 특히 그러하다.
그러므로, 위의 논의된 실시예는 예시적이고 한정적이지 않은 것으로 간주되고, 본 발명은 첨부된 청구항에서만 한정되는 것으로 해석되어야 한다.

Claims (32)

  1. 썸네일의 복수 개의 세트를 디스플레이하는 단계 - 썸네일의 각각의 세트는, 상기 썸네일의 세트와 함께, 복수 개의 시간 간격 중 고유한 시간 간격에 의하여 규정되는 각각의 행 또는 열 내에 위치설정되는 하나 이상의 썸네일을 포함하고, 썸네일의 각각의 세트의 각각의 썸네일은 상기 썸네일에 대해 규정된 시간 간격으로 촬영된 비디오 레코딩의 연관 부분을 시각적으로 나타내며, 썸네일의 각각의 세트 내의 하나 이상의 썸네일은 각각의 행 또는 열의 일단에서, 상기 세트의 임의의 다른 썸네일과 비교하여, 관심 대상으로 식별된 바 있는 사람 또는 물건의 등장의 최고 우도(likelihood)에 대응하는 썸네일로 시작하여 내림 차순 정렬로 조직화되고(organized), 상기 세트 내의 임의의 잔여 썸네일은 상기 최고 우도에 대응하는 썸네일로부터 연장하여 내림 차순으로 디스플레이됨 -;
    상기 사람 또는 물건이 제 1 썸네일과 연관된 비디오 레코딩의 부분에 존재한다는 새로운 정보를 획득하도록, 썸네일의 세트 중 하나에서 상기 제 1 썸네일의 선택을 허용하는 단계;
    상기 새로운 정보에 기초하여 상기 사람 또는 물건에 대한 검색을 수행하는 단계 - 상기 검색은 디스플레이된 썸네일 각각에 대한 새로운 매칭 우도(match likelihood)를 생성함 -; 및
    썸네일의 세트들 각각에서 내림 차순 정렬을 유지하도록, 상기 새로운 매칭 우도에 기초하여, 디스플레이된 썸네일을 재순서결정(re-ordering)하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 방법은, 잔여 사전-검색 썸네일과 함께 산재된 새로운 썸네일을 디스플레이하는 단계를 더 포함하는, 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 디스플레이된 썸네일을 재순서결정하는 단계는, 개별적으로 낮아진 매칭 우도에 기인하여 더 이상 디스플레이되지 않는 다른 사전-검색 썸네일과 함께 사전-검색 썸네일의 서브-세트만을 재순서결정하는 것을 포함하는, 방법.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 제 1 썸네일의 선택 이후에, 상기 제 1 썸네일은 상기 썸네일의 복수 개의 세트가 내부에 디스플레이되는 다른 사용자 인터페이스 공간과 별개인 사용자 인터페이스 공간으로 이동되는, 방법.
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 썸네일의 복수 개의 세트는 사용자 인터페이스 페이지 내에 디스플레이되고, 상기 사용자 인터페이스 페이지는 상기 복수 개의 시간 간격을 변경하기 위한 대화형 툴을 포함하는, 방법.
  6. 내부에 인코딩된 명령을 포함하는 유형의(tangible) 비-일시적 컴퓨터-판독가능 저장 매체로서,
    상기 명령은 적어도 하나의 프로세서에 의해 실행되는 경우에,
    썸네일의 복수 개의 세트를 디스플레이하는 단계 - 썸네일의 각각의 세트는, 상기 썸네일의 세트와 함께, 복수 개의 시간 간격 중 고유한 시간 간격에 의하여 규정되는 각각의 행 또는 열 내에 위치설정되는 하나 이상의 썸네일을 포함하고, 썸네일의 각각의 세트의 각각의 썸네일은 상기 썸네일에 대해 규정된 시간 간격으로 촬영된 비디오 레코딩의 연관 부분을 시각적으로 나타내며, 썸네일의 각각의 세트 내의 하나 이상의 썸네일은 각각의 행 또는 열의 일단에서, 상기 세트의 임의의 다른 썸네일과 비교하여, 관심 대상으로 식별된 바 있는 사람 또는 물건의 등장의 최고 우도에 대응하는 썸네일로 시작하여 내림 차순 정렬로 조직화되고, 상기 세트 내의 임의의 잔여 썸네일은 상기 최고 우도에 대응하는 썸네일로부터 연장하여 내림 차순으로 디스플레이됨 -;
    상기 사람 또는 물건이 제 1 썸네일과 연관된 비디오 레코딩의 부분에 존재한다는 새로운 정보를 획득하도록, 썸네일의 세트 중 하나에서 상기 제 1 썸네일의 선택을 허용하는 단계;
    상기 새로운 정보에 기초하여 상기 사람 또는 물건을 검색하라는 요청을 서버로 전송하는 단계 - 상기 검색은 디스플레이된 썸네일 각각에 대한 새로운 매칭 우도를 생성함 -; 및
    썸네일의 세트들 각각에서 내림 차순 정렬을 유지하도록, 상기 새로운 매칭 우도에 기초하여, 디스플레이된 썸네일을 재순서결정(re-ordering)하는 단계를 포함하는,
    방법을 수행하게 하는, 유형의 비-일시적 컴퓨터-판독가능 저장 매체.
  7. 제 6 항에 있어서,
    상기 방법은, 잔여 사전-검색 썸네일과 함께 산재된 새로운 썸네일을 디스플레이하는 단계를 더 포함하는, 유형의 비-일시적 컴퓨터-판독가능 저장 매체.
  8. 제 6 항 또는 제 7 항에 있어서,
    상기 디스플레이된 썸네일을 재순서결정하는 단계는, 개별적으로 낮아진 매칭 우도에 기인하여 더 이상 디스플레이되지 않는 다른 사전-검색 썸네일과 함께 사전-검색 썸네일의 서브-세트만을 재순서결정하는 것을 포함하는, 유형의 비-일시적 컴퓨터-판독가능 저장 매체.
  9. 제 6 항 또는 제 7 항에 있어서,
    상기 제 1 썸네일의 선택 이후에, 상기 제 1 썸네일은 상기 썸네일의 복수 개의 세트가 내부에 디스플레이되는 다른 사용자 인터페이스 공간과 별개인 사용자 인터페이스 공간으로 이동되는, 유형의 비-일시적 컴퓨터-판독가능 저장 매체.
  10. 제 6 항 또는 제 7 항에 있어서,
    상기 썸네일의 복수 개의 세트는 사용자 인터페이스 페이지 내에 디스플레이되고, 상기 사용자 인터페이스 페이지는 상기 복수 개의 시간 간격을 변경하기 위한 대화형 툴을 포함하는, 유형의 비-일시적 컴퓨터-판독가능 저장 매체.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
KR1020197000231A 2016-06-06 2017-05-19 비디오 레코딩 내에 존재하는 동일한 사람 또는 물건을 대화형으로 식별하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품 KR102244476B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662346240P 2016-06-06 2016-06-06
US62/346,240 2016-06-06
US201662351806P 2016-06-17 2016-06-17
US62/351,806 2016-06-17
US15/368,357 2016-12-02
US15/368,357 US10121515B2 (en) 2016-06-06 2016-12-02 Method, system and computer program product for interactively identifying same individuals or objects present in video recordings
PCT/CA2017/050610 WO2017210775A1 (en) 2016-06-06 2017-05-19 Method, system and computer program product for interactively identifying same individuals or objects present in video recordings

Publications (2)

Publication Number Publication Date
KR20190026738A KR20190026738A (ko) 2019-03-13
KR102244476B1 true KR102244476B1 (ko) 2021-04-23

Family

ID=60482292

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197000231A KR102244476B1 (ko) 2016-06-06 2017-05-19 비디오 레코딩 내에 존재하는 동일한 사람 또는 물건을 대화형으로 식별하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품

Country Status (7)

Country Link
US (3) US10121515B2 (ko)
KR (1) KR102244476B1 (ko)
CN (1) CN109478357A (ko)
CA (1) CA3024745C (ko)
DE (1) DE112017002821T5 (ko)
IL (3) IL263532B (ko)
WO (1) WO2017210775A1 (ko)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5915960B1 (ja) 2015-04-17 2016-05-11 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
JP6558579B2 (ja) 2015-12-24 2019-08-14 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
US10497130B2 (en) 2016-05-10 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Moving information analyzing system and moving information analyzing method
DK179593B1 (en) 2016-06-12 2019-02-25 Apple Inc. USER INTERFACE FOR MANAGING CONTROLLABLE EXTERNAL DEVICES
CN109716275B (zh) * 2016-09-19 2022-07-05 三星电子株式会社 基于个性化主题以多维模式来显示图像的方法
US10319412B2 (en) * 2016-11-16 2019-06-11 Adobe Inc. Robust tracking of objects in videos
USD833474S1 (en) * 2017-01-27 2018-11-13 Veritas Technologies, LLC Display screen with graphical user interface
US10810255B2 (en) 2017-09-14 2020-10-20 Avigilon Corporation Method and system for interfacing with a user to facilitate an image search for a person-of-interest
US11526549B2 (en) 2018-03-23 2022-12-13 Motorola Solutions, Inc. Method and system for interfacing with a user to facilitate an image search for an object-of-interest
JP7098752B2 (ja) * 2018-05-07 2022-07-11 アップル インコーポレイテッド ライブビデオフィード及び録画ビデオを閲覧するためのユーザインタフェース
US10825479B2 (en) * 2018-05-11 2020-11-03 Axon Enterprise, Inc. Systems and methods for cross-redaction
JP6573346B1 (ja) * 2018-09-20 2019-09-11 パナソニック株式会社 人物検索システムおよび人物検索方法
US11073972B2 (en) * 2018-11-02 2021-07-27 Motorola Solutions, Inc. Visual summarization methods for time-stamped images
US11048930B2 (en) 2018-11-09 2021-06-29 Avigilon Corporation Alias capture to support searching for an object-of-interest
US11166077B2 (en) 2018-12-20 2021-11-02 Rovi Guides, Inc. Systems and methods for displaying subjects of a video portion of content
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
US11216511B1 (en) 2019-07-16 2022-01-04 Splunk Inc. Executing a child query based on results of a parent query
US11644955B1 (en) 2019-07-16 2023-05-09 Splunk Inc. Assigning a global parameter to queries in a graphical user interface
US11269871B1 (en) 2019-07-16 2022-03-08 Splunk Inc. Displaying multiple editable queries in a graphical user interface
US11636128B1 (en) * 2019-07-16 2023-04-25 Splunk Inc. Displaying query results from a previous query when accessing a panel
US11604799B1 (en) 2019-07-16 2023-03-14 Splunk Inc. Performing panel-related actions based on user interaction with a graphical user interface
US11386158B1 (en) 2019-07-16 2022-07-12 Splunk Inc. Recommending query parameters based on tenant information
US11586682B2 (en) 2019-07-30 2023-02-21 Motorola Solutions, Inc. Method and system for enhancing a VMS by intelligently employing access control information therein
CN110866478B (zh) * 2019-11-06 2022-04-29 支付宝(杭州)信息技术有限公司 一种图像中对象的识别方法、装置和设备
TWI817014B (zh) * 2019-11-25 2023-10-01 仁寶電腦工業股份有限公司 基於時間軸的圖形使用者介面提供方法、系統與紀錄媒體
KR20210108691A (ko) * 2020-02-26 2021-09-03 한화테크윈 주식회사 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
US11031044B1 (en) 2020-03-16 2021-06-08 Motorola Solutions, Inc. Method, system and computer program product for self-learned and probabilistic-based prediction of inter-camera object movement
US11575837B2 (en) * 2020-04-27 2023-02-07 Canon Kabushiki Kaisha Method, apparatus and computer program for generating and displaying a heatmap based on video surveillance data
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
US11589010B2 (en) 2020-06-03 2023-02-21 Apple Inc. Camera and visitor user interfaces
US11657614B2 (en) 2020-06-03 2023-05-23 Apple Inc. Camera and visitor user interfaces
EP4189682A1 (en) 2020-09-05 2023-06-07 Apple Inc. User interfaces for managing audio for media items
GB2600404A (en) * 2020-10-23 2022-05-04 Canon Kk Computer-implemented method, computer program and apparatus for video processing, and video surveillance system comprising such an apparatus
KR20230069982A (ko) * 2020-10-23 2023-05-19 캐논 가부시끼가이샤 비디오 프로세싱을 위한 그리고 비디오 시퀀스로부터 섬네일을 생성하기 위한 컴퓨터에 의해 구현되는 방법, 컴퓨터 프로그램 및 장치, 그리고 그러한 장치를 포함하는 비디오 감시 시스템
US11604789B1 (en) 2021-04-30 2023-03-14 Splunk Inc. Bi-directional query updates in a user interface
JP2023073535A (ja) * 2021-11-16 2023-05-26 富士通株式会社 表示プログラム及び表示方法
US11947528B1 (en) 2022-01-06 2024-04-02 Splunk Inc. Automatic generation of queries using non-textual input

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4253989B2 (ja) 1999-03-11 2009-04-15 富士ゼロックス株式会社 ビデオの類似性探索方法及び記録媒体
JP2009217828A (ja) 2009-04-10 2009-09-24 Konica Minolta Holdings Inc 画像検索装置
JP4638274B2 (ja) 2005-05-10 2011-02-23 富士フイルム株式会社 画像選択方法、画像選択装置、プログラム、およびプリント注文受付機

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998019450A2 (en) * 1996-10-31 1998-05-07 Sensormatic Electronics Corporation Intelligent video information management system
JP2000148771A (ja) * 1998-11-06 2000-05-30 Sony Corp 画像処理装置および方法、並びに提供媒体
US7221775B2 (en) * 2002-11-12 2007-05-22 Intellivid Corporation Method and apparatus for computerized image background analysis
US20100002070A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
CN100505858C (zh) * 2004-05-13 2009-06-24 索尼株式会社 图像数据处理装置和图像数据处理方法
EP1867167A4 (en) 2005-04-03 2009-05-06 Nice Systems Ltd DEVICE AND METHOD FOR SEMI-AUTOMATIC TRACKING AND INVESTIGATION OF AN OBJECT OR EVENT AT A MONITORED LOCATION
US20070237493A1 (en) * 2006-03-24 2007-10-11 I-Sho Limited Providing user access to digital content data
US7954065B2 (en) * 2006-12-22 2011-05-31 Apple Inc. Two-dimensional timeline display of media items
US7986324B2 (en) 2007-01-12 2011-07-26 Fujitsu Limited Display device, display program storage medium and display method
US7898576B2 (en) 2007-02-28 2011-03-01 Honeywell International Inc. Method and system for indexing and searching objects of interest across a plurality of video streams
US7925112B2 (en) * 2007-02-28 2011-04-12 Honeywell International Inc. Video data matching using clustering on covariance appearance
WO2008108469A1 (ja) * 2007-03-07 2008-09-12 Sony Corporation 表示制御装置、表示制御方法、表示制御プログラム及び表示システム
US8170276B2 (en) 2007-03-20 2012-05-01 International Business Machines Corporation Object detection system based on a pool of adaptive features
US8331674B2 (en) 2007-04-06 2012-12-11 International Business Machines Corporation Rule-based combination of a hierarchy of classifiers for occlusion detection
US20080294663A1 (en) 2007-05-14 2008-11-27 Heinley Brandon J Creation and management of visual timelines
JP2009038680A (ja) * 2007-08-02 2009-02-19 Toshiba Corp 電子機器および顔画像表示方法
JP4834639B2 (ja) * 2007-09-28 2011-12-14 株式会社東芝 電子機器および画像表示制御方法
JP4834640B2 (ja) * 2007-09-28 2011-12-14 株式会社東芝 電子機器および画像表示制御方法
JP4322945B2 (ja) * 2007-12-27 2009-09-02 株式会社東芝 電子機器、及び画像表示制御方法
US8374388B2 (en) * 2007-12-28 2013-02-12 Rustam Stolkin Real-time tracking of non-rigid objects in image sequences for which the background may be changing
GB2492246B (en) 2008-03-03 2013-04-10 Videoiq Inc Dynamic object classification
US8107678B2 (en) 2008-03-24 2012-01-31 International Business Machines Corporation Detection of abandoned and removed objects in a video stream
US8284249B2 (en) 2008-03-25 2012-10-09 International Business Machines Corporation Real time processing of video frames for triggering an alert
US10091460B2 (en) 2008-03-31 2018-10-02 Disney Enterprises, Inc. Asynchronous online viewing party
JP2009289348A (ja) * 2008-05-30 2009-12-10 Hitachi Ltd 情報記録再生装置
US8249301B2 (en) 2008-08-28 2012-08-21 International Business Machines Corporation Video object classification
US8483490B2 (en) 2008-08-28 2013-07-09 International Business Machines Corporation Calibration of video object classification
US9342594B2 (en) 2008-10-29 2016-05-17 International Business Machines Corporation Indexing and searching according to attributes of a person
JP2010140116A (ja) * 2008-12-09 2010-06-24 Ricoh Co Ltd ファイル管理装置、ファイル管理方法及びファイル管理プログラム
EP2495964B1 (en) * 2009-10-30 2020-11-18 Maxell, Ltd. Content-receiving device
US10645344B2 (en) * 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
US8743205B2 (en) 2011-08-10 2014-06-03 Nice Systems Ltd. System and method for semantic video content analysis
US9946430B2 (en) 2011-09-21 2018-04-17 Facebook, Inc. Displaying social networking system user information via a timeline interface
US9111147B2 (en) 2011-11-14 2015-08-18 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
US9031927B2 (en) * 2012-04-13 2015-05-12 Ebay Inc. Method and system to provide video-based search results
US9113128B1 (en) 2012-08-31 2015-08-18 Amazon Technologies, Inc. Timeline interface for video content
WO2014045843A1 (ja) * 2012-09-19 2014-03-27 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
US9240164B2 (en) * 2013-02-27 2016-01-19 Honeywell International Inc. Apparatus and method for providing a pan and zoom display for a representation of a process system
CN105122200A (zh) 2013-03-29 2015-12-02 惠普发展公司，有限责任合伙企业 可调节时间轴用户界面
US9471849B2 (en) 2013-05-05 2016-10-18 Qognify Ltd. System and method for suspect search
JP5438861B1 (ja) * 2013-07-11 2014-03-12 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP6398979B2 (ja) * 2013-08-23 2018-10-03 日本電気株式会社 映像処理装置、映像処理方法および映像処理プログラム
US9514366B2 (en) * 2014-02-03 2016-12-06 Xerox Corporation Vehicle detection method and system including irrelevant window elimination and/or window score degradation
US9779331B2 (en) * 2014-04-24 2017-10-03 Conduent Business Services, Llc Method and system for partial occlusion handling in vehicle tracking using deformable parts model
US9418153B2 (en) 2014-07-29 2016-08-16 Honeywell International Inc. Video search and playback interface for vehicle monitor
CN104850340B (zh) * 2015-01-30 2018-11-30 小米科技有限责任公司 触控显示屏上的文档显示方法及装置
US9898668B2 (en) * 2015-08-27 2018-02-20 Qualcomm Incorporated System and method of object detection
EP3433816A1 (en) * 2016-03-22 2019-01-30 URU, Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content
US20170300742A1 (en) * 2016-04-14 2017-10-19 Qualcomm Incorporated Systems and methods for recognizing an object in an image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4253989B2 (ja) 1999-03-11 2009-04-15 富士ゼロックス株式会社 ビデオの類似性探索方法及び記録媒体
JP4638274B2 (ja) 2005-05-10 2011-02-23 富士フイルム株式会社 画像選択方法、画像選択装置、プログラム、およびプリント注文受付機
JP2009217828A (ja) 2009-04-10 2009-09-24 Konica Minolta Holdings Inc 画像検索装置

Also Published As

Publication number Publication date
US20200143842A1 (en) 2020-05-07
US10121515B2 (en) 2018-11-06
DE112017002821T5 (de) 2019-02-21
US10529381B2 (en) 2020-01-07
WO2017210775A1 (en) 2017-12-14
IL276640A (en) 2020-09-30
CA3024745A1 (en) 2017-12-14
IL263532B (en) 2021-02-28
CN109478357A (zh) 2019-03-15
IL276640B (en) 2022-04-01
IL263532A (en) 2019-01-31
US20190080722A1 (en) 2019-03-14
KR20190026738A (ko) 2019-03-13
US20170352380A1 (en) 2017-12-07
CA3024745C (en) 2022-09-20

Similar Documents

Publication Publication Date Title
KR102244476B1 (ko) 비디오 레코딩 내에 존재하는 동일한 사람 또는 물건을 대화형으로 식별하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품
US11003327B2 (en) Systems and methods for displaying an image capturing mode and a content viewing mode
CA3111097C (en) Bounding box doubling as redaction boundary
US9367757B2 (en) Content extracting device, content extracting method and program
US11625835B2 (en) Alias capture to support searching for an object-of-interest
US11308158B2 (en) Information processing system, method for controlling information processing system, and storage medium
JP2016058024A (ja) コンテンツ管理システム、管理コンテンツ生成方法、管理コンテンツ再生方法、プログラムおよび記録媒体
JP5917635B2 (ja) コンテンツ管理システム、管理コンテンツ生成方法、管理コンテンツ再生方法、プログラムおよび記録媒体
Carlier et al. Combining content-based analysis and crowdsourcing to improve user interaction with zoomable video
KR102592904B1 (ko) 영상 요약 장치 및 방법
JP5826513B2 (ja) 類似画像検索システム
AU2003202411B2 (en) Automatic Annotation of Digital Video Based on Human Activity

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant