KR102189205B1 - 사람의 활동 개요 생성 시스템 및 방법 - Google Patents

사람의 활동 개요 생성 시스템 및 방법 Download PDF

Info

Publication number
KR102189205B1
KR102189205B1 KR1020157009311A KR20157009311A KR102189205B1 KR 102189205 B1 KR102189205 B1 KR 102189205B1 KR 1020157009311 A KR1020157009311 A KR 1020157009311A KR 20157009311 A KR20157009311 A KR 20157009311A KR 102189205 B1 KR102189205 B1 KR 102189205B1
Authority
KR
South Korea
Prior art keywords
person
video
images
loop
generating
Prior art date
Application number
KR1020157009311A
Other languages
English (en)
Other versions
KR20150054995A (ko
Inventor
피터 헨리 투
팅 유
다샨 가오
이 야오
Original Assignee
제네럴 일렉트릭 컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제네럴 일렉트릭 컴퍼니 filed Critical 제네럴 일렉트릭 컴퍼니
Publication of KR20150054995A publication Critical patent/KR20150054995A/ko
Application granted granted Critical
Publication of KR102189205B1 publication Critical patent/KR102189205B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G06K9/00—
    • G06K9/00751—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

본 기술의 일 양상에 따르면, 방법은 하나 이상의 이미지 캡쳐 디바이스들로부터 하나 이상의 비디오들을 수신하는 단계를 포함한다. 방법은 상기 하나 이상의 비디오들로부터 사람의 비디오-루프를 생성하는 단계를 추가로 포함한다. 상기 비디오-루프는 상업적 장소의 사람을 묘사한다. 방법은 또한, 상기 비디오-루프로부터 액션 클립을 생성하는 단계를 포함한다. 상기 액션 클립은 상기 상업적 장소의 사람에 의해 수행된 의심스러운 행동을 포함한다. 방법은 상기 비디오-루프와 액션 클립을 포함하는 상기 사람의 활동 개요를 생성하는 단계를 추가로 포함한다.

Description

사람의 활동 개요 생성 시스템 및 방법{SYSTEM AND METHOD FOR GENERATING AN ACTIVITY SUMMARY OF A PERSON}
본 출원은 "Action based video summarization for convenience stores"을 제목으로 하는 2012년 9월 13일자로 출원된 미국 특허 가출원 제61/700,490호를 우선권으로 주장하며, 상기 가출원의 전체 내용은 인용에 의해 본원에 포함된다.
본 명세서에 개시된 주제는 개괄적으로 사람의 활동 개요 생성에 관한 것이다. 보다 구체적으로, 본 주제는 상업적 장소 또는 환경에서 사람이 수행한 잠재적인 의심스러운 행동을 포함하는 활동 개요를 생성하기 위한 시스템 및 방법에 관한 것이다.
상업적 장소, 예를 들어, 백화점, 편의점, 식료품점, 제조 설비, 병원 등은 절도와 같은 보안상의 문제로 인해 상당한 수익 손실에 직면하고 있다.
이러한 절도를 줄이기 위한 노력의 일환으로, 이러한 상업적 장소 중 일부에서는 절도 탐지를 위한 자동 추적 시스템을 실시하여 왔다. 이러한 자동 추적 시스템은 다수의 결합을 나타내는 경향이 있다. 예를 들어, 절도 행동의 교묘함과 복잡성으로 인해, 자동 추적 시스템은 일반적으로, 경보 발생 상황에 상당히 민감하게 반응하도록 구성되어 있다. 대개, 이러한 자동 추적 시스템은 허위 경보를 울려, 예를 들어, 편의점의 고객과 보안 요원에게 불편을 야기하는 수가 있다. 대안으로서, 자동 시스템의 감도를 낮출 수도 있긴 하지만, 이 경우에는 절도 행동을 많이 놓칠 수도 있다.
따라서, 이러한 절도 탐지를 위한 개선된 시스템 및 방법이 필요하다.
본 기술의 일 양상에 따르면, 방법이 개시된다. 방법은 하나 이상의 촬영 장치로부터 하나 이상의 비디오들을 수신하는 단계를 포함한다. 이러한 방법은 상기 하나 이상의 비디오들로부터 사람의 비디오-루프를 생성하는 단계를 추가로 포함한다. 상기 비디오-루프는 상업적 장소에 있는 사람의 이동(trip)을 포함한다. 방법은 또한, 상기 비디오-루프로부터 액션 클립을 생성하는 단계를 포함한다. 상기 액션 클립은 상업적 장소에서 상기 사람에 의해 수행된 의심스러운 행동을 포함한다. 방법은 상기 비디오-루프와 액션 클립을 포함하는 사람의 활동 개요를 생성하는 단계를 추가로 포함한다.
본 시스템의 일 양상에 따르면, 시스템이 개시된다. 시스템은 하나 이상의 촬영 장치로부터 하나 이상의 비디오들을 수신하며 상기 하나 이상의 비디오들로부터 사람의 비디오-루프를 생성하는 추적 모듈을 포함한다. 상기 비디오-루프는 상업적 장소에 있는 사람의 트립을 포함한다. 시스템은 또한, 상기 비디오-루프로부터 액션 클립을 생성하기 위한 분석 모듈을 포함한다. 상기 액션 클립은 상업적 장소에서 상기 사람에 의해 수행된 의심스러운 행동을 포함한다. 시스템은 상기 비디오-루프와 액션 클립을 포함하는 상기 사람의 활동 개요를 생성하기 위한 개요 생성기를 추가로 포함한다.
본 기술의 일 양상에 따르면, 컴퓨터 프로그램 제품 인코딩 명령어가 개시된다. 이러한 명령어가 프로세서에 의해 실행되면, 프로세서는 하나 이상의 이미지 캡쳐 디바이스들로부터 하나 이상의 비디오들을 수신하도록 한다. 또한, 명령어에 따라 프로세서가 상기 하나 이상의 비디오들로부터 사람의 비디오-루프를 생성한다. 상기 비디오-루프는 상업적 장소에서의 상기 사람의 트립을 포함한다. 명령어에 따라 프로세서는 또한, 상기 비디오-루프로부터 액션 클립을 생성한다. 상기 액션 클립은 상업적 장소에서 사람에 의해 수행된 의심스러운 행동을 포함한다. 또한, 명령어에 따라 프로세서는 상기 비디오-루프와 액션 클립을 포함하는 상기 사람의 활동 개요를 생성한다.
본 발명의 개선된 시스템 및 방법은 상업적 장소에서의 사람의 의심스러운 행동을 포함하는 활동 개요를 생성하여 절도를 탐지하는 효과가 있다.
본 발명의 이러한 그리고 그외 다른 특징, 양상 및 장점이, 전체 도면에 걸쳐 동일한 도면 부호가 동일한 구성 요소를 나타내고 있는, 첨부 도면을 참조하여 아래의 상세한 설명을 읽음으로써 더 잘 이해될 것이다:
도 1은 일 실시예에 따른 활동 개요를 생성하기 위한 시스템을 예시한 블록도;
도 2는 일 실시예에 따른 비디오 분석기를 예시한 블록도;
도 3은 일 실시예에 따른 상업 장소에서의 사람의 활동 개요를 포함하는 사용자 인터페이스를 나타낸 모식도;
도 4는 일 실시예에 따른 상업 장소에서의 사람의 활동 개요를 생성하기 위한 방법을 예시한 순서도; 그리고
도 5는 다른 실시예에 따른 상업 장소에서의 사람의 활동 개요를 생성하기 위한 방법을 예시한 순서도.
아래의 상세한 설명 및 청구범위에서, 아래의 의미를 내포하도록 정의될 다수의 용어를 참조한다.
단수형("a", "an" 및 "the")은 문맥에서 달리 분명하게 명시되고 있지 않은 한, 복수의 의미를 포함한다.
본 명세서에 사용되고 있는 바와 같은 용어 "비일시적 컴퓨터 판독가능 매체(non-transitory computer-readable media)"는 장치의 컴퓨터 판독 가능한 명령어, 데이터 구조, 프로그램 모듈 및 서브-모듈 또는 그외 다른 데이터와 같은 정보의 단기 저장 및 장기 저장을 위한 방법 또는 기술로 실시되는 유형의(tangible) 컴퓨터 기반 장치를 대표하는 의미로서 사용되기 위한 것이다. 따라서, 본 명세서에서 설명되고 있는 방법은, 이로만 제한되는 것은 아니지만, 저장 장치 및/또는 기억 장치를 포함하는 유형의(tangible) 비일시적 컴퓨터 판독가능 매체에서 구체화되는 실행 가능한 명령어로서 인코딩될 수도 있다. 이러한 명령어가 프로세서에 의해 실행되면, 프로세서는 본 명세서에서 설명되고 있는 방법의 적어도 일부를 수행하게 된다. 또한, 본 명세서에서 사용되고 있는 바와 같은 용어 "비일시적 컴퓨터 판독가능 매체"는, 일시적 전파 신호와 같은 단 하나의 예외를 제외하고는, 이로만 제한되는 것은 아니지만 펌웨어, 물리적 및 가상의 저장부, CD ROM, DVD 및 네트워크나 인터넷과 같은 그외 다른 디지털 소오스 뿐만 아니라 아직 개발되지 않은 디지털 수단과 같은, 휘발성 및 비휘발성 매체 및 제거 가능한 그리고 제거 불가능한 매체를 포함하는, 이로만 제한되는 것은 아니지만 비일시적 컴퓨터 저장 장치를 포함하는 모든 유형의(tangible) 컴퓨터 판독가능 매체를 포함한다.
본 명세서에서 사용되고 있는 바와 같은 용어 "소프트웨어(software)" 및 "펌웨어(firmware)"는 상호 호환 가능하며, 이로만 제한되는 것은 아니지만, 이동 장치, 클러스터, 개인용 컴퓨터, 워크스테이션, 클라이언트 및 서버를 포함하는 장치에 의해 실행되기 위해 메모리에 저장되는 컴퓨터 프로그램을 포함한다.
본 명세서에서 사용되고 있는 바와 같은 용어 "컴퓨터(computer)" 및 관련 용어, 예를 들어, "컴퓨팅 장치(computing device)"는 당 업계에서 컴퓨터로 일컬어지고 있는 집적 회로로 제한되는 것은 아니며, 광범위한 의미로서 적어도 하나의 마이크로컨트롤러, 마이크로컴퓨터, 프로그램 가능한 논리 제어부(PLC:programmable logic controller), 특정 애플리케이션 직접 회로, 그리고 그외 다른 프로그램 가능한 회로를 일컫는 것이며, 이러한 용어는 본 명세서에서 상호 호환 가능하게 사용되고 있다.
본 명세서의 상세한 설명 및 청구범위 전체에 걸쳐 사용되고 있는 바와 같은 대략적인 추산을 나타내는 언어는, 이러한 언어와 연관된 기본 기능의 변화를 초래하는 일없이, 변화가 허용될 수 있는 양적 표현을 수정하도록 적용될 수도 있다. 이에 따라, "대략(about)" 및 "실질적으로(substantially)"와 같은 용어(들)에 의해 수정되는 값이 규정된 바와 같은 정확한 값으로 제한되는 것은 아니다. 적어도 일부 예에 있어서는, 이러한 대략적인 추산을 나타내는 언어는 값을 측정하기 위한 기구의 정확도에 대응할 수도 있다. 여기서 그리고 상세한 설명 및 청구범위 전체에 걸쳐, 범위 제한치는 조합 및/또는 상호 호환 가능할 수도 있으며, 이러한 범위는 규명된 것으로서, 문맥이나 언어가 달리 지시하지 않는 한, 해당 범위에 포함된 모든 하위 범위를 포함한다.
사람의 활동 개요를 생성하기 위한 시스템 및 방법이 본 명세서에 설명된다. 도 1에는 일 실시예에 따른 사람의 활동 개요 생성 시스템(100)이 블록도로 도시되어 있다. 도시된 시스템(100)은 네트워크(170)를 통해 통신 가능하게 결합된 복수의 이미지 캡쳐 디바이스(120a, 120b, 120n)(개별적으로 또는 집합적으로 이미지 캡쳐 디바이스(120)로 간주함) 및 비디오 분석기(130)를 포함한다.
복수의 이미지 캡쳐 디바이스(120)는, 예를 들어, 카메라, 디지털 비디오 녹화장치, 캠코더, 폐쇄 회로 텔레비젼, 웹캠(webcam) 등과 같은, 비디오를 녹화하도록 구성되는 타입의 장치이다. 일 실시예에 있어서, 이미지 캡쳐 디바이스(120) 중 적어도 하나는 또한, 물리적 세상의 일 지점과 이미지 캡쳐 디바이스(120) 사이의 기하학적 거리를 나타내는 깊이 데이터(depth data)를 측정하도록 구성된다. 일 실시예에 있어서, 이미지 캡쳐 디바이스(120)는, 예를 들어, 백화점, 식료품점, 편의점, 헬스 클리닉, 살롱, 공항, 제조 공장 등과 같은 상업적 장소에 설치되며, 이러한 상업적 장소 내에서의 비디오 장면을 녹화하도록 구성된다.
일 실시예에 따르면, 이미지 캡쳐 디바이스(120)는 녹화된 비디오와 깊이 데이터를 네트워크(170)를 통해 비디오 분석기(130)로 전송한다. 이미지 캡쳐 디바이스(120a, 120b, 120c)는 각각 신호 라인(125a, 125b, 125n)을 통해 네트워크(170)에 통신 가능하게 결합된다. 도시된 실시예에 있어는 복수의 이미지 캡쳐 디바이스(120)가 도시되어 있긴 하지만, 그외 다른 실시예에 있어서는 단 하나의 이미지 캡쳐 디바이스가 네트워크(170)에 결합될 수도 있다.
비디오 분석기(130)는 이미지 캡쳐 디바이스(120)로부터 수신된 비디오를 분석하여 활동 개요를 생성하도록 구성되는 타입의 장치이다. 일 실시예에 있어서, 비디오 분석기(130)는 깊이 데이터와 같은 특징을 포함하는 상업적 장소의 하나 이상의 비디오들을 수신하여 해당 상업적 장소에서의 한 명 이상의 사람의 활동 개요를 생성한다. 도시된 시스템(100)에서, 비디오 분석기(130)는 비디오 분석 애플리케이션(140)과 디스플레이 장치(150)를 포함한다. 비디오 분석기(130)는 신호 라인(135)을 통해 네트워크(170)에 통신 가능하게 결합된다. 도시된 실시예에 있어서는 하나의 비디오 분석기(130)가 도시되어 있긴 하지만, 그외 다른 실시예에 있어서는 복수의 비디오 분석기(130)가 네트워크(170)에 결합될 수도 있다. 이러한 비디오 분석기(130)는 도 2를 참조하여 아래에서 더 상세히 설명된다.
도시된 실시예에서, 디스플레이 장치(150)는 비디오 이미지 및/또는 활동 개요를 보여주도록 채용된다. 이러한 실시예가 디스플레이 장치(150)를 제시하고 있긴 하지만, 후처리 데이터에 관한 그외 다른 실시예에 있어서는 본 시스템의 범위 내에 있는 그외 다른 타입의 경보 장치가 포함된다. 또한, 디스플레이 장치(150)가 비디오 분석기(130)에 결합되어야 하는 것은 아니며, 비디오 이미지 및 활동 개요가 원거리 디스플레이 장치(150)로 전송될 수 있다.
도시된 실시예가 네트워크(170)를 통해 통신 가능하게 결합된 이미지 캡쳐 디바이스(120)를 도시하고 있긴 하지만, 일 실시예에 있어서는, 이미지 캡쳐 디바이스 내에서 처리가 수행되도록 비디오 분석기(130)가 이미지 캡쳐 디바이스(120)에 결합된다.
네트워크(170)는 무선 또는 유선 방식일 수도 있으며, 스타(star) 구성, 토큰 링(token ring) 구성, 또는 그외 다른 공지된 구성과 같은 소정 개수의 구성을 구비할 수도 있다. 또한, 네트워크(170)는 근거리 네트워크(LAN:local area network), 광역 네트워크(WAN:wide area network)(예를 들어, 인터넷) 및/또는 복수의 장치가 통신할 수도 있는 그외 다른 상호 연결 데이터 경로를 포함할 수도 있다. 일 실시예에 있어서, 네트워크(170)는 피어-투-피어(peer-to-peer) 네트워크일 수도 있다. 네트워크(170)는 또한, 각종 상이한 통신 프로토콜에서 데이터를 전송하기 위한 텔레커뮤니케이션 네트워크의 일부를 포함하거나 이에 결합될 수도 있다. 다른 실시예에 있어서, 네트워크(170)는 단거리 메시징 서비스(SMS:short messaging service), 멀티미디어 메시징 서비스(MMS:multimedia messaging service), 하이퍼텍스트 전송 프로토콜(HTTP:hypertext transfer protocol), 직접 데이터 연결, WAP, 이메일 등과 같은 데이터 송수신을 위한 블루투스 커뮤니케이션 네트워크 또는 휴대용 통신 네트워크를 포함한다. 단 하나의 네트워크(170)가 이미지 캡쳐 디바이스(120)와 비디오 분석기(130)에 결합되어 있긴 하지만, 그외 다른 타입의 복수의 네트워크(170)가 전개될 수도 있다. 복수의 네트워크는 중복될 수도 있으며 설계 기준에 따라 최적으로 구성될 수 있다.
도 2는 일 실시예에 따른 비디오 분석기(130)를 도시한 블록도이다. 비디오 분석기(130)는 비디오 분석 애플리케이션(140), 적어도 하나의 프로세서(235), 그리고 메모리(237)를 포함한다. 비디오 분석 애플리케이션(140)은 통신 모듈(202), 추적 모듈(204), 분석 모듈(206), 그리고 개요 생성기(208)를 포함한다. 비디오 분석 애플리케이션(140)의 모듈, 프로세서(235), 그리고 메모리(237)는 상호 통신을 위해 버스(220)에 결합된다.
프로세서(235)는 메모리(237)에 저장된 데이터 검색 및/또는 계산을 수행하기 위한 적어도 하나의 연산 논리 유닛, 마이크로프로세서, 범용 제어부 또는 그외 다른 프로세서 어레이를 포함할 수도 있다. 다른 실시예에 있어서, 프로세서(235)는 다중 코어 프로세서이다. 이러한 프로세서(235)는 데이터 신호를 처리하며, 복잡한 명령어 세트 컴퓨터(CISC:complex instruction set computer) 구조, 축소 명령어 세트 컴퓨터(RISC:reduced instruction set computer) 구조, 또는 명령어 세트의 조합을 실시하는 구조를 포함하는 다양한 컴퓨팅 구조를 포함할 수도 있다. 프로세서(235)의 처리 용량은 데이터 검색 및 데이터 전송을 지원하도록 제한될 수도 있다. 프로세서(235)의 처리 용량은 또한, 특징 추출, 변조, 인코딩, 다중화 등의 다양한 유형을 포함하는 더 복잡한 임무의 수행이 가능한 정도일 수도 있다. 그외 다른 실시예에 있어서, 다른 타입의 프로세서, 작동 시스템 및 물리적 구성을 또한 고려할 수 있다.
메모리(237)는 비일시적 저장 매체일 수도 있다. 예를 들어, 메모리(237)는 동적 랜덤 억세스 메모리(DRAM:dynamic random access memory) 장치, 정적 랜덤 억세스 메모리(SRAM:static random access memory) 장치, 플래쉬 메모리 또는 그외 다른 메모리 장치일 수도 있다. 일 실시예에 있어서, 메모리(237)는 또한, 비휘발성 메모리 또는 유사한 영구적 저장 장치, 그리고 하드 디스크 드라이브, 플로피 디스크 드라이브, 컴팩트 디스크 읽기 전용 메모리(CD-ROM:compact disc read only memory) 장치, 디지털 다목적 디스크 읽기 전용 메모리(DVD-ROM:digital versatile disc read only memory) 장치, 디지털 다목적 디스크 랜덤 억세스 메모리(DVD-RAM:digital versatile disc random access memory) 장치, 디지털 다목적 디스크 재기록 가능(DVD-RW:digital versatile disc rewritable) 장치, 플래쉬 메모리 장치 또는 그외 다른 비휘발성 저장 장치와 같은 매체를 포함한다.
메모리(237)는 연관 기능을 수행하기 위한 비디오 분석 애플리케이션(140)에 필요한 데이터를 저장한다. 일 실시예에 있어서, 메모리(237)는 비디오 분석 애플리케이션(140)의 모듈(예를 들어, 통신 모듈(202), 개요 생성기(208) 등)을 저장한다. 다른 실시예에 있어서, 메모리(237)는, 예를 들어, 비디오 분석기(130)의 관리자, 사람과 연관된 메타데이터 등에 의해 정의된 혐의 문턱값 및 시간 문턱값그리고 촬영 장치로부터 수신된 하나 이상의 비디오들을 저장한다. 이러한 문턱값 및 사람과 연관된 메타데이터는 아래에 더 상세히 설명된다.
통신 모듈(202)은 비디오 분석기(130)의 모듈과 이미지 캡쳐 디바이스 사이의 통신을 다루기 위한 코드(code) 및 루틴(routine)을 포함한다. 일 실시예에 있어서, 통신 모듈(202)은 이미지 캡쳐 디바이스(120)와 비디오 분석기(130)의 모듈 사이의 통신을 다루기 위한 기능을 제공하도록 프로세서(235)에 의해 실행 가능한 한 세트의 명령어를 포함한다. 다른 실시예에 있어서, 통신 모듈(202)은 메모리(237)에 저장되며 프로세서(235)에 의해 액세스 및 실행 가능하다. 실시예에 따라, 통신 모듈(202)은 버스(220)를 통해 프로세서(235) 및 비디오 분석 애플리케이션(140)의 그외 다른 모듈과 통신 및 협동하도록 되어 있다.
일 실시예에 있어서, 통신 모듈(202)은 이미지 캡쳐 디바이스(120)로부터 비디오를 수신하며 수신 비디오를 추적 모듈(204)로 전송한다. 다른 실시예에 있어서, 통신 모듈(202)은 개요 생성기(208)로부터 활동 개요를 포함하는 사용자 인터페이스를 디스플레이하기 위한 그래픽 데이터를 수신한다. 이러한 일 실시예에 있어서, 통신 모듈(202)은 디스플레이 장치(150)(도 1에 도시됨)로 그래픽 데이터를 전송한다. 본 명세서에 사용된 바와 같은 "이미지(image)"는 비디오의 하나 이상의 프레임을 일컫는다.
추적 모듈(204)은 비디오로부터 사람을 탐지 추적하며 상기 사람의 비디오-루프를 생성하기 위한 코드와 루틴을 포함한다. 비디오-루프는, 예를 들어, 상업적 장소에서의 사람의 트립의 이미지를 디스플레이한다. 이러한 일 실시예에 있어서, 사람의 트립은 사람이 상업적 장소에 들어가 그 상업적 장소에서 나갈 때까지 수행한 활동을 포함한다. 일 실시예에 있어서, 추적 모듈(204)은 비디오로부터 사람을 탐지 추적하며 상기 사람의 비디오-루프를 생성하기 위한 기능을 제공하도록 프로세서(235)에 의해 실행 가능한 한 세트의 명령어를 포함한다. 다른 실시예에 있어서, 추적 모듈(204)은 메모리(237)에 저장되며 프로세서(235)에 의해 액세스 및 실행 가능하다. 실시예에 따라, 추적 모듈(204)은 버스(220)를 통해 프로세서(235)와 비디오 분석 애플리케이션(140)의 그외 다른 모듈과 통신 및 협동하도록 되어 있다.
일 실시예에 있어서, 추적 모듈(204)은 통신 모듈(202)을 통해 상업적 장소에 설치된 이미지 캡쳐 디바이스로부터 연관 깊이 데이터와 비디오를 수신한다. 추적 모듈(204)은, 예를 들어, 수신된 깊이 데이터에 대한 비-매개 변수 커넬 밀도 추정(non-parametric kernel density estimation)을 수행함으로써 사람에 대응할 수도 있는 비디오 중의 관심이 가는 전경 영역을 지명한다. 추적 모듈(204)은 사람의 크기 및 형상과 닮은 기하학적 형상(예를 들어, 3차원 타원체 등)을 사용하여 관심이 가는 지명 영역을 분석함으로써 비디오에 포함된 사람을 탐지한다. 추적 모듈(204)은 탐지된 사람을 포함하는 비디오로부터 한 세트의 이미지(즉, 프레임)를 추출하여 비디오-루프를 생성한다. 또한, 추적 모듈(204)은 비디오로부터 사람과 연관된 메타데이터를 결정한다. 일 예로서, 메타데이터는 상업적 장소 내부의 식별된 사람의 위치 데이터(예를 들어, x-y 좌표) 및 식별된 사람에 대응하는 색상의 공간 분포를 나타내는 외관 서술자(descriptor)와 같은 특징을 포함한다.
다른 실시예에 있어서, 추적 모듈(204)은 상업적 장소에 설치된 복수의 이미지 캡쳐 디바이스로부터 복수의 비디오 및 연관 깊이 데이터를 수신한다. 이러한 실시예에 있어서, 이미지 캡쳐 디바이스는 각각의 이미지 캡쳐 디바이스로부터의 비디오가 공통 좌표계로 녹화되도록 사전 교정 과정을 거친다. 다른 실시예에 있어서, 추적 모듈(204)은 각각의 수신 비디오를 공통 좌표계로 변환한다. 추적 모듈(204)은 복수의 비디오로부터 사람을 탐지하며 본 명세서에서 설명되고 있는 바와 같은 메타데이터를 결정한다. 예를 들어, 추적 모듈(204)은 제 1 비디오와 제 2 비디오로부터 각각 사람을 포함하는 제 1 세트의 이미지들과 제 2 세트의 이미지들을 추출한다. 이러한 일 예에서, 제 1 비디오와 제 2 비디오는 각각 제 1 이미지 캡쳐 디바이스(120a)(도 1에 도시됨)와 제 2 이미지 캡쳐 디바이스(120b)(도 1에 도시됨)로부터 수신된다. 추적 모듈(204)은 사람과 연관된 메타데이터의 유사성에 기초하여 제 1 및 제 2 세트의 이미지들을 조합함으로써 사람의 비디오-루프를 생성한다. 생성된 비디오-루프는 전체 트립을 포함하여, 상업적 장소 내부에서 사람이 수행한 모든 활동을 디스플레이한다. 추적 모듈(204)은 이렇게 생성된 사람의 비디오-루프를 분석 모듈(206)로 전송한다.
분석 모듈(206)은 사람이 수행한 의심스러운 동작을 결정하며 비디오-루프로부터 액션 클립을 생성하기 위한 코드 및 루틴을 포함한다. 액션 클립은 사람에 의해 수행된 의심스러운 행동을 포함하는 비디오-루프의 일부이다. 일 실시예에 있어서, 분석 모듈(206)은 사람에 의해 수행된 의심스러운 행동을 결정하며 비디오-루프로부터 액션 클립을 생성하기 위한 기능을 제공하도록 프로세서(235)에 의해 실행 가능한 한 세트의 명령어를 포함한다. 다른 실시예에 있어서, 분석 모듈(206)이 메모리(237)에 저장되며 프로세서(235)에 의해 액세스 및 실행 가능하다. 실시예에 따라, 분석 모듈(206)은 버스(220)를 통해 프로세서(205) 및 비디오 분석 애플리케이션(140)의 그외 다른 모듈과 통신 및 협동하도록 되어 있다.
분석 모듈(206)은 사람에 의해 수행된 의심스러운 행동을 결정하도록 추적 모듈(204)로부터 수신한 사람의 비디오-루프를 분석한다. 통상적으로, 의심스러운 행동은 사람의 절도 행위 또는 의도를 나타내는 동작이다. 이러한 의심스러운 행동은, 예를 들어, 사람이 은밀하게 주위를 흘낏 보는 것, 사람이 물건(예를 들어, 편의점의 제품이나 상품)을 움켜잡는 것, 사람이 물체로부터 구성 요소를 제거하는 것, 사람이 물체를 숨기는 것 등을 포함한다.
일 실시예에 있어서, 분석 모듈(206)은 이미지 분석을 사용하여 비디오-루프의 각각의 이미지(즉, 프레임(들))를 분석함으로써 의심스러운 행동을 결정한다. 이러한 실시예에 있어서, 분석 모듈(206)은 비디오-루프의 이미지를 분석하여, 예를 들어, 사람의 안면 반응, 사람이 물체를 움켜잡고 있는지 여부를 나타내는 사람의 자세, 물체의 유형 또는 비용 등을 결정한다. 일 실시예에 있어서, 분석 모듈(206)은, 예를 들어, 사람이 물체를 움켜잡고 있는지 여부를 결정하기 위한 아다부스트 알고리즘(Adaboost algorithm)에 기초하여 구성된 파지 동작 분류 장치를 포함한다. 이후 분석 모듈(206)은 분석에 기초하여 이미지에 대한 이미지 분석 점수를 할당한다.
예를 들어, 비디오-루프의 이미지가 편의점에서 물체를 움켜잡고 있는 사람을 나타내면, 분석 모듈(206)은 해당 이미지에 65점의 이미지 분석 점수를 할당한다. 전술한 예에서, 이미지가 플라스틱 백을 움켜잡고 있는 사람을 나타내면, 분석 모듈(206)은 해당 이미지에 60점의 이미지 분석 점수를 할당한다. 반면에, 이미지가 편의점에서 가장 비싼 물체를 움켜잡고 있는 사람을 나타내면, 분석 모듈(206)은 해당 이미지에 75점의 이미지 분석 점수를 할당한다. 전술한 예에서, 이미지가 모자가 달린 옷을 입고 있거나 한 손으로 얼굴을 가린 사람을 나타내면, 분석 모듈(206)은 해당 이미지에 85점의 이미지 분석 점수를 할당한다.
분석 모듈(206)은 할당된 이미지 분석 점수에 기초하여 비디오-루프의 하나 이상의 의심스러운 이미지를 식별한다. 일 실시예에 있어서, 분석 모듈(206)은 가장 높은 이미지 분석 점수를 갖는 이미지를 의심스러운 이미지로 결정한다. 다른 실시예에 있어, 분석 모듈(206)은 이미지 분석 점수가, 예를 들어, 비디오 분석기(130)의 관리자가 정한 의심스러운 행동에 관한 문턱값을 초과하는지 여부를 결정한다. 분석 모듈(206)은 상기 이미지 분석 점수를 초과하는 하나 이상의 이미지들을 의심스러운 이미지로서 식별한다. 의심스러운 이미지의 식별이 이루어지고 나면, 분석 모듈(206)은 각각의 식별된 의심스러운 이미지에 대해 비디오-루프로부터 액션 클립을 생성한다. 일 실시예에 있어서, 분석 모듈(206)에 의해 생성된 액션 클립은 대응하는 의심스러운 이미지에서 시작된다. 다른 실시예에 있어서, 액션 클립은 대응하는 의심스러운 이미지를 포함한다. 실시예에 따라, 액션 클립의 기간은 시간 문턱값(예를 들어, 2초, 45초 등) 이내이다. 이후 분석 모듈(206)은 생성된 액션 클립을 개요 생성기(208)로 전송한다.
다른 실시예에 있어서, 분석 모듈(206)은 동작 분석을 사용하여 비디오-루프로부터의 이미지들의 하나 이상의 시퀀스들(즉, 하나 이상의 비디오들 클립)를 분석하여 의심스러운 행동을 결정한다. 이러한 실시예에 있어서, 분석 모듈(206)은, 예를 들어, 2차원 가우시안 평활화 및 순간적 가보 필터링(two-dimensional Gaussian smoothing and temporal Gabor filtering)에 기초하여 비디오-루프로부터 하나 이상의 시공적 관심 지점을 식별한다. 분석 모듈(206)은 시공적 관심 지점으로 나타내어지는 이미지 시퀀스를 분석하여 사람과 연관된 형상 특징 및 동작 특징을 결정한다. 형상 특징은, 예를 들어, 사람의 신체 부분, 물체 등을 나타낸다. 분석 모듈(206)은, 예를 들어, 이미지 시퀀스로부터 국소 이미지 강도 방위의 히스토그램을 컴퓨팅하여 형상 특징을 결정한다. 동작 특징은, 예를 들어, 사람의 손동작 속도 및 방향을 이미지 시퀀스로 나타낸다. 분석 모듈(206)은, 예를 들어, 3차원 가보 필터를 사용하여 이미지 시퀀스를 처리함으로써 동작 특징을 결정한다. 이러한 일 예에서, 각각의 3차원 가보 필터가 특정 방향 및 속도로 조정된다.
분석 모듈(206)은 형상 및/또는 동작 특징에 기초하여 사람에 의해 수행된 의심스러운 행동을 포함하는 의심스러운 이미지들의 시퀀스를 식별한다. 예를 들어, 분석 모듈(206)은 사람이 보안 요원을 바라본 다음 물체를 움켜잡는 행동을 의심스러운 이미지들의 시퀀스로 디스플레이하는 이미지 시퀀스를 식별한다. 다른 예에서, 분석 모듈(206)은 사람이 물체로부터 바코드를 제거하는 행동을 의심스러운 이미지들의 시퀀스로서 디스플레이하는 이미지 시퀀스를 식별한다. 일 실시예에 있어서, 분석 모듈(206)은 형상과 동작 특징을 포함하는 공간-시간 큐브(space-time cube)를 구성하며 피셔의 선형 판별식 알고리즘(Fisher's linear discriminant algorithm)에 기초하여 파지 행동 분류 장치에 의해 의심스러운 시퀀스를 식별한다. 이후 분석 모듈(206)은 식별된 의심스러운 이미지들의 시퀀스를 포함하는 비디오-루프로부터 액션 클립을 생성한다. 생성된 액션 클립의 기간은 시간 문턱값 이내이다. 본 명세서에서 행동 분석 방법이 하나의 의심스러운 이미지들의 시퀀스를 참조하여 설명되어 있긴 하지만, 일 실시예에 있어서, 분석 모듈(206)은 복수의 의심스러운 이미지들의 시퀀스를 식별하며 각각의 의심스러운 시퀀스에 대해 액션 클립을 생성한다. 분석 모듈(206)은 개요 생성기(208)로 액션 클립을 전송한다.
실시예에 따라 본 명세서에서 분석 모듈(206)이 비디어 루프로부터 액션 클립을 생성하는 것으로 설명되어 있긴 하지만, 그외 다른 실시예에 있어서, 분석 모듈(206)은 하나 이상의 이미지 캡쳐 디바이스들로부터 수신된 하나 이상의 비디오들로부터 액션 클립을 생성한다. 이러한 실시예에 있어서, 분석 모듈(206)은 통신 모듈(202)을 통해 이미지 캡쳐 디바이스로부터 직접 비디오를 수신한다. 분석 모듈(206)은 이미지 분석 및 행동 분석 중 적어도 하나를 사용하여 비디오로부터 사람에 의해 수행된 의심스러운 행동을 결정한다. 예를 들어, 분석 모듈(206)은 편의점의 선반에 배치된 카메라로부터 비디오를 수신한다. 분석 모듈(206)은 사람에 의해 수행된 의심스러운 행동을 결정하며 비디오로부터 액션 클립을 생성한다. 이러한 액션 클립은 공통 좌표계를 사용하여 추적 모듈(204)에 의해 생성되는 사람의 비디오-루프와 연관될 수도 있다. 이것은 카메라로부터 직접 수신된 비디오가, 예를 들어, 사람의 안면 반응을 결정하도록 더 높은 공간 분해능을 제공할 수도 있는 장점이 있다.
개요 생성기(208)는 사람의 활동 개요를 생성하기 위한 코드와 루틴을 포함한다. 일 실시예에 있어서, 개요 생성기(208)는 사람의 활동 개요를 생성하기 위한 기능을 제공하도록 프로세서(235)에 의해 실행 가능한 한 세트의 명령어를 포함한다. 다른 실시예에 있어서, 개요 생성기(208)는 메모리(237)에 저장되며 프로세서(235)에 의해 액세스 및 실행 가능하다. 실시예에 있어서, 개요 생성기(208)는 버스(220)를 통해 비디오 분석 애플리케이션(140)의 그외 다른 모듈 및 프로세서(235)와 통신 및 협동하도록 되어 있다.
개요 생성기(208)는 추적 모듈(204)로부터 사람의 비디오-루프를 수신한다. 개요 생성기(208)는 또한, 분석 모듈(206)로부터 사람의 하나 이상의 액션 클립을 수신한다. 개요 생성기(208)는 사람의 하나 이상의 액션 클립과 비디오-루프를 포함하는 사용자 인터페이스(예를 들어, 활동 개요)를 제공하기 위한 그래픽 데이터를 생성한다. 일 실시예에 있어서, 개요 생성기(208)는 사람과 연관된 위치 데이터(예를 들어, x-y 공동 좌표)에 기초하여 그래픽 데이터를 생성한다. 이러한 일 실시예에 있어서, 개요 생성기(208)는 각각의 액션 클립에서의 상업적 장소 내부의 사람의 위치를 결정하며 사람의 위치에 기초하여 그래픽 데이터를 생성한다. 예를 들어, 개요 생성기(208)는 수신된 액션 클립에서의 사람의 위치가 편의점 내부의 가장 좌측 통로 상인 것으로 결정한다. 이러한 일 예에서, 개요 생성기(208)는 액션 클립을 비디오-루프의 좌측에 제공하도록 그래픽 데이터를 생성한다. 사용자 인터페이스는 도 3을 참조하여 아래에 더 상세히 설명된다.
개요 생성기(208)는 디스플레이 장치로 그래픽 데이터를 전송한다. 디스플레이 장치에 의해 그래픽 데이터가 활동 개요를 디스플레이하게 된다. 일 실시예에 있어서, 개요 생성기(208)는 사람과 연관된 위치 데이터에 기초하여 사람이 상업적 장소의 출구에 접근하고 있는지 여부를 결정한다. 이러한 일 실시예에 있어서, 개요 생성기(208)는 사람이 상업적 장소의 출구에 접근하고 있음을 결정함에 따라(즉, 결정과 동시에) 디스플레이 장치로 그래픽 데이터를 전송한다. 활동 개요는, 유리하게는, 예를 들어, 편의점 고객의 전체 트립을 보여주는 비디오-루프와 고객이 수행한 의심스러운 동작을 보여주는 하나 이상의 액션 클립을 동시에 디스플레이한다. 비디오 분석기(140)의 관리자, 예를 들어, 편의점 보안 요원은 액션 클립을 신속하게 검토하여(고객이 편의점을 떠나기 전에) 고객이 제품을 훔쳤는지 여부를 결정한다. 따라서, 허위 경보 야기 문제가 감소된다.
도 3에는 일 실시예에 따른 사람의 활동 개요를 포함하는 사용자 인터페이스(300)가 도시되어 있다. 도시된 실시예는 편의점 내부의 사람의 전체 트립의 이미지를 디스플레이하는 비디오-루프(310)를 포함한다. 도시된 실시예는 또한, 사람(340)이 수행한 의심스러운 행동(즉, 물체를 움켜잡는 행동)을 디스플레이하는 액션 클립(320, 330, 350)을 추가로 포함한다. 예를 들어, 액션 클립(350)은 편의점 선반에 손을 뻗어 제품을 움켜잡는 사람(340)을 보여준다. 이러한 실시예에 있어서, 개요 생성기는 각각의 액션 클립(320, 330, 350)에서의 편의점 내부의 사람(340)의 위치에 기초하여 활동 개요를 생성한다. 예를 들어, 요악서 생성기는 액션 클립(330)에서 사람(340)이 편의점의 좌측에 위치하고 있는 것으로 결정한다. 따라서, 개요 생성기는 사용자 인터페이스(300)에서 비디오-클립(310)의 우측으로 액션 클립(330)을 제공한다.
도 4는 상업적 장소에서의 사람의 활동 개요를 생성하기 위한 예시적인 방법(400)을 예시한 순서도이다. 통신 모듈이 하나 이상의 이미지 캡쳐 디바이스들로부터 하나 이상의 비디오들을 수신한다(402). 추적 모듈이 상기 하나 이상의 비디오들로부터 사람의 비디오-루프를 생성한다(404). 분석 모듈이 상기 비디오-루프로부터 액션 클립을 생성한다(406). 액션 클립은 사람에 의해 수행된 의심스러운 행동을 포함한다. 예를 들어, 분석 모듈은 이미지 분석을 사용하여 물체를 움켜잡고 있는 사람을 포함하는 액션 클립을 생성한다(406). 이후 개요 생성기(208)는 비디오-루프와 액션 클립을 포함하는 사람의 활동 개요를 생성한다(408).
도 5는 상업적 장소에서의 사람의 활동 개요를 생성하기 위한 다른 예시적인 방법(500)을 예시한 순서도이다. 통신 모듈은 상업적 장소에 설치된 하나 이상의 이미지 캡쳐 디바이스들로부터 하나 이상의 비디오들을 수신한다(502). 추적 모듈이 상기 하나 이상의 비디오들로부터 사람의 비디오-루프를 생성한다(504).
일 실시예에 있어서, 분석 모듈은 사람에 의해 수행된 의심스러운 행동을 결정하기 위하여 비디오-루프의 하나 이상의 이미지들을 분석한다. 분석 모듈은 분석에 기초하여 하나 이상의 이미지들 각각에 대한 이미지 분석 점수를 결정한다(508). 분석 모듈은 이후 하나 이상의 이미지 분석 점수들에 기초하여 의심스러운 이미지를 식별한다(510). 예를 들어, 분석 모듈은 가장 높은 이미지 분석 점수를 갖는 이미지를 의심스러운 이미지로서 식별한다. 분석 모듈은 비디오-루프로부터 의심스러운 이미지를 포함하는 액션 클립을 생성한다(512). 예를 들어, 분석 모듈은 의심스러운 이미지로 시작되는 비디오-루프로부터 액션 클립을 생성한다.
다른 실시예에 있어서, 분석 모듈은 사람과 연관된 동작 특징을 결정하기 위하여 비디오-루프로부터의 이미지들의 하나 이상의 시퀀스들을 분석한다(514). 분석 모듈은 동작 특징에 기초하여 이미지들의 하나 이상의 시퀀스들로부터 의심스러운 이미지들의 시퀀스를 식별한다(516). 분석 모듈은 비디오-루프로부터 의심스러운 이미지들의 시퀀스를 포함하는 액션 클립을 생성한다(518). 실시예에 따라, 개요 생성기는 비디오-루프와 액션 클립을 포함하는 사람의 활동 개요를 생성한다(520). 개요 생성기는 사람이 상업적 장소의 출구에 접근하고 있는지 여부를 결정한다(522). 개요 생성기는 사람이 출구에 접근하고 있다는 결정에 응답하여 활동 개요가 디스플레이될 수 있도록 한다(524).
본 실시예의 기술적 효과는 하나 이상의 이미지 캡쳐 디바이스들로부터 하나 이상의 비디오들을 수신하는 단계, 그리고 상기 하나 이상의 비디오들로부터 사람의 비디오-루프를 생성하는 단계를 포함하며, 상기 비디오-루프는 상업적 장소의 사람을 보여준다. 방법은 또한, 상기 비디오-루프로부터, 상업적 장소에서 사람이 수행한 의심스러운 동작을 포함하는, 액션 클립을 생성하는 단계, 그리고 상기 비디오-루프와 액션 클립을 포함하는 사람의 활동 개요를 생성하는 단계를 포함한다.
전술한 모든 이러한 목적 또는 장점이 특정 실시예에 따라 달성될 수도 있음을 이해하여야 한다. 따라서, 예를 들어, 당 업계의 숙련자라면 인지할 수 있는 바와 같이, 본 명세서에서 설명되고 있는 시스템과 기술은 본 명세서에서 설명 또는 제안될 수도 있는 바와 같이 그외 다른 목적 또는 장점을 달성할 필요 없이 본 명세서에서 설명되고 있는 바와 같은 일 장점 또는 일군의 장점을 달성 또는 최적화하는 방식으로 구체화 또는 수행될 수도 있다.
본 발명이 제한된 개수의 실시예와 관련하여서만 상세히 설명되어 있긴 하지만, 본 발명이 이러한 개시된 실시예로 제한되는 것은 아님을 즉각적으로 이해하여야 한다. 오히려, 본 발명은 전술되어 있지는 않지만 본 발명의 정신 및 범위와 상응하는 다수의 변형, 수정, 대체 또는 등가의 장치를 포함하도록 수정될 수 있다. 또한, 본 발명의 다수의 실시예가 설명되어 있긴 하지만, 본 발명의 양상이 전술된 실시예 중 단지 일부를 포함할 수도 있음을 이해하여야 한다. 이에 따라, 본 발명은 전술한 실시예에 의해서만 제한되는 것은 아니며 첨부된 특허청구범위의 영역에 의해서만 제한된다. 아래의 특허청구범위는 신규성을 가지며 미국 전매 특허증에 의해 보호되는 것이 바람직하다.
100: 사람의 활동 개요 생성 시스템 120: 이미지 캡쳐 디바이스
130: 비디오 분석기 140: 비디오 분석 애플리케이션
150: 디스플레이 장치 170: 네트워크
202: 통신 모듈 204: 추적 모듈
206: 분석 모듈 208: 개요 생성기
235: 프로세서 237: 메모리

Claims (20)

  1. 상업적 장소(commercial site) 내의 사람의 활동 개요(activity summary)를 생성하기 위한 방법에 있어서,
    하나 이상의 이미지 캡쳐 디바이스로부터 하나 이상의 비디오를 수신하는 단계;
    상기 하나 이상의 비디오로부터 상기 사람과 연관된 메타데이터(metadata)를 결정하는 단계 ― 상기 메타데이터는 상기 사람의 위치 데이터 및 상기 사람에 대응하는 색상의 공간 분포를 나타내는 외관 서술자(appearance descriptor)를 포함함 ― ;
    상기 사람과 연관된 상기 메타데이터의 유사성에 기초하여 상기 하나 이상의 비디오로부터 이미지들의 세트를 조합함으로써, 상기 하나 이상의 비디오로부터 상기 사람의 비디오-루프를 생성하는 단계 ― 상기 비디오-루프는 상기 상업적 장소 내의 상기 사람의 모든 활동을 포함하는 전체 트립(trip)의 이미지들을 포함함 ― ;
    상기 비디오-루프로부터, 상기 상업적 장소 내의 사람에 의해 수행된 의심스러운 행동(action)을 포함하는 적어도 하나의 액션 클립을 생성하는 단계; 및
    상기 비디오-루프와 상기 액션 클립을 포함하는, 상기 사람의 활동 개요를 생성하는 단계
    를 포함하는, 상업적 장소 내의 사람의 활동 개요를 생성하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 의심스러운 행동은, 물체를 움켜잡는(grasping) 것, 물체로부터 구성 요소를 제거하는 것, 및 물체를 숨기는 것 중 적어도 하나를 포함하는 것인, 상업적 장소 내의 사람의 활동 개요를 생성하기 위한 방법.
  3. 제 1 항에 있어서, 상기 액션 클립을 생성하는 단계는:
    상기 사람에 의해 수행된 의심스러운 행동을 결정하기 위해 상기 비디오-루프의 하나 이상의 이미지를 분석하는 단계;
    상기 하나 이상의 이미지의 분석에 기초하여, 상기 하나 이상의 이미지 각각에 대한 이미지 분석 점수를 결정하는 단계;
    상기 하나 이상의 이미지 분석 점수에 기초하여, 상기 하나 이상의 이미지로부터 의심스러운 이미지를 식별하는 단계; 및
    상기 비디오-루프로부터 상기 식별된 의심스러운 이미지를 포함하는 상기 액션 클립을 생성하는 단계
    를 더 포함하는 것인, 상업적 장소 내의 사람의 활동 개요를 생성하기 위한 방법.
  4. 제 3 항에 있어서,
    상기 액션 클립은 상기 식별된 의심스러운 이미지로 시작되는 것인, 상업적 장소 내의 사람의 활동 개요를 생성하기 위한 방법.
  5. 제 1 항에 있어서, 상기 액션 클립을 생성하는 단계는:
    상기 사람과 연관된 하나 이상의 동작 피처를 결정하기 위해 상기 비디오-루프로부터의 이미지들의 하나 이상의 시퀀스를 분석하는 단계;
    상기 하나 이상의 동작 피처에 기초하여, 상기 이미지들의 하나 이상의 시퀀스로부터 의심스러운 이미지들의 시퀀스를 식별하는 단계; 및
    상기 비디오-루프로부터 상기 의심스러운 이미지들의 시퀀스를 포함하는 상기 액션 클립을 생성하는 단계
    를 더 포함하는 것인, 상업적 장소 내의 사람의 활동 개요를 생성하기 위한 방법.
  6. 제 1 항에 있어서,
    상기 액션 클립을 생성하는 단계는, 상기 비디오-루프로부터 복수의 액션 클립들을 생성하는 단계를 더 포함하는 것인, 상업적 장소 내의 사람의 활동 개요를 생성하기 위한 방법.
  7. 제 1 항에 있어서, 상기 사람의 비디오-루프를 생성하는 단계는:
    상기 하나 이상의 이미지 캡쳐 디바이스 중 제 1 이미지 캡쳐 디바이스로부터 상기 하나 이상의 비디오 중 제 1 비디오를 수신하는 단계;
    상기 제 1 비디오로부터 상기 사람을 포함하는 제 1 세트의 이미지들을 식별하는 단계;
    상기 하나 이상의 이미지 캡쳐 디바이스 중 제 2 이미지 캡쳐 디바이스로부터 상기 하나 이상의 비디오 중 제 2 비디오를 수신하는 단계;
    상기 제 2 비디오로부터 상기 사람을 포함하는 제 2 세트의 이미지들을 식별하는 단계; 및
    상기 제 1 세트의 이미지들과 상기 제 2 세트의 이미지들을 조합함으로써 상기 사람의 비디오-루프를 생성하는 단계
    를 더 포함하는 것인, 상업적 장소 내의 사람의 활동 개요를 생성하기 위한 방법.
  8. 제 1 항에 있어서,
    상기 사람이 상기 상업적 장소의 출구에 접근하고 있는지 여부를 결정하는 단계; 및
    상기 사람이 상기 상업적 장소의 출구에 접근하고 있다는 결정에 응답하여, 디스플레이를 위해 상기 활동 개요를 전송하는 단계
    를 더 포함하는, 상업적 장소 내의 사람의 활동 개요를 생성하기 위한 방법.
  9. 상업적 장소 내의 사람의 활동 개요를 생성하기 위한 시스템에 있어서,
    적어도 하나의 프로세서;
    하나 이상의 이미지 캡쳐 디바이스로부터 하나 이상의 비디오를 수신하고, 상기 하나 이상의 비디오로부터 상기 사람과 연관된 메타데이터 ― 상기 메타데이터는 상기 사람의 위치 데이터 및 상기 사람에 대응하는 색상의 공간 분포를 나타내는 외관 서술자를 포함함 ― 를 결정하고, 상기 사람과 연관된 상기 메타데이터의 유사성에 기초하여 상기 하나 이상의 비디오로부터 이미지들의 세트를 조합함으로써 상기 하나 이상의 비디오로부터 사람의 비디오-루프를 생성하기 위한 추적 모듈 ― 상기 추적 모듈은 메모리에 저장되고 상기 적어도 하나의 프로세서에 의해 실행 가능하며, 상기 비디오-루프는 상기 상업적 장소 내의 상기 사람의 모든 활동을 포함하는 전체 트립의 이미지들을 포함함 ― ;
    상기 비디오-루프로부터 적어도 하나의 액션 클립을 생성하기 위한, 상기 추적 모듈과 통신 가능하게 결합되는 분석 모듈 ― 상기 분석 모듈은 상기 메모리에 저장되고 상기 적어도 하나의 프로세서에 의해 실행 가능하며, 상기 액션 클립은 상기 상업적 장소 내의 사람에 의해 수행된 의심스러운 행동을 포함함 ― ; 및
    상기 비디오-루프와 상기 액션 클립을 포함하는 사람의 활동 개요를 생성하기 위한, 상기 분석 모듈과 통신 가능하게 결합되는 개요 생성기 ― 상기 개요 생성기는 상기 메모리에 저장되고 상기 적어도 하나의 프로세서에 의해 실행 가능함 ―
    를 포함하는, 상업적 장소 내의 사람의 활동 개요를 생성하기 위한 시스템.
  10. 제 9 항에 있어서, 상기 분석 모듈은 또한:
    상기 사람에 의해 수행된 의심스러운 행동을 결정하기 위해 상기 비디오-루프의 하나 이상의 이미지를 분석하고;
    상기 하나 이상의 이미지의 분석에 기초하여, 상기 하나 이상의 이미지 각각에 대한 이미지 분석 점수를 결정하고;
    상기 하나 이상의 이미지 분석 점수에 기초하여, 상기 하나 이상의 이미지로부터 의심스러운 이미지를 식별하며;
    상기 비디오-루프로부터 상기 식별된 의심스러운 이미지를 포함하는 상기 액션 클립을 생성하도록
    구성되는 것인, 시스템.
  11. 제 9 항에 있어서, 상기 분석 모듈은 또한:
    상기 사람과 연관된 하나 이상의 동작 피처를 결정하기 위해 상기 비디오-루프로부터 이미지들의 하나 이상의 시퀀스를 분석하고;
    상기 하나 이상의 동작 피처에 기초하여, 상기 이미지들의 하나 이상의 시퀀스로부터 의심스러운 이미지들의 시퀀스를 식별하며;
    상기 비디오-루프로부터 상기 의심스러운 이미지들의 시퀀스를 포함하는 상기 액션 클립을 생성하도록
    구성되는 것인, 시스템.
  12. 제 9 항에 있어서,
    상기 분석 모듈은 또한, 상기 비디오-루프로부터 복수의 액션 클립들을 생성하도록 구성되는 것인, 시스템.
  13. 제 9 항에 있어서, 상기 추적 모듈은 또한:
    상기 하나 이상의 이미지 캡쳐 디바이스 중 제 1 이미지 캡쳐 디바이스로부터 상기 하나 이상의 비디오 중 제 1 비디오를 수신하고;
    상기 제 1 비디오로부터 상기 사람을 포함하는 제 1 세트의 이미지들을 식별하고;
    상기 하나 이상의 이미지 캡쳐 디바이스 중 제 2 이미지 캡쳐 디바이스로부터 상기 하나 이상의 비디오 중 제 2 비디오를 수신하고;
    상기 제 2 비디오로부터 상기 사람을 포함하는 제 2 세트의 이미지들을 식별하며;
    상기 제 1 세트의 이미지들과 상기 제 2 세트의 이미지들을 조합함으로써 상기 사람의 비디오-루프를 생성하도록
    구성되는 것인, 시스템.
  14. 제 9 항에 있어서,
    상기 개요 생성기는 또한, 상기 사람이 상기 상업적 장소의 출구에 접근하고 있는지 여부를 결정하고, 상기 사람이 상기 상업적 장소의 출구에 접근하고 있다는 결정에 응답하여 디스플레이를 위해 상기 활동 개요를 전송하도록 구성되는 것인, 시스템.
  15. 명령어들을 인코딩하는 비일시적 컴퓨터 판독가능 기록 매체에 있어서,
    상기 명령어들은 적어도 하나의 프로세서에 의한 실행에 응답하여, 상기 프로세서로 하여금:
    하나 이상의 이미지 캡쳐 디바이스로부터 하나 이상의 비디오를 수신하는 것;
    상기 하나 이상의 비디오로부터 사람과 연관된 메타데이터를 결정하는 것 ― 상기 메타데이터는 상기 사람의 위치 데이터 및 상기 사람에 대응하는 색상의 공간 분포를 나타내는 외관 서술자를 포함함 ― ;
    상기 사람과 연관된 상기 메타데이터의 유사성에 기초하여 상기 하나 이상의 비디오로부터 이미지들의 세트를 조합함으로써, 상기 하나 이상의 비디오로부터 상기 사람의 비디오-루프를 생성하는 것 ― 상기 비디오-루프는 상업적 장소 내의 상기 사람의 모든 활동을 포함하는 전체 트립의 이미지들을 포함함 ― ;
    상기 비디오-루프로부터, 상기 상업적 장소 내의 사람에 의해 수행된 의심스러운 행동을 포함하는 적어도 하나의 액션 클립을 생성하는 것; 및
    상기 비디오-루프와 상기 액션 클립을 포함하는, 상기 사람의 활동 개요를 생성하는 것
    을 포함하는 동작들을 수행하게 하는 것인, 명령어들을 인코딩하는 비일시적 컴퓨터 판독가능 기록 매체.
  16. 제 15 항에 있어서, 상기 명령어들은 또한 상기 프로세서로 하여금:
    상기 사람에 의해 수행된 의심스러운 행동을 결정하기 위해 상기 비디오-루프의 하나 이상의 이미지를 분석하는 것;
    상기 하나 이상의 이미지의 분석에 기초하여, 상기 하나 이상의 이미지 각각에 대한 이미지 분석 점수를 결정하는 것;
    상기 하나 이상의 이미지 분석 점수에 기초하여, 상기 하나 이상의 이미지들으로부터 의심스러운 이미지를 식별하는 것; 및
    상기 비디오-루프로부터 상기 식별된 의심스러운 이미지를 포함하는 상기 액션 클립을 생성하는 것
    을 포함하는 동작들을 수행하게 하는 것인, 비일시적 컴퓨터 판독가능 기록 매체.
  17. 제 16 항에 있어서,
    상기 액션 클립은 상기 의심스러운 이미지로 시작되는 것인, 비일시적 컴퓨터 판독가능 기록 매체.
  18. 제 15 항에 있어서, 상기 명령어들은 또한 상기 프로세서로 하여금:
    상기 사람과 연관된 하나 이상의 동작 피처를 결정하기 위해 상기 비디오-루프로부터의 이미지들의 하나 이상의 시퀀스를 분석하는 것;
    상기 하나 이상의 동작 피처에 기초하여, 상기 이미지들의 하나 이상의 시퀀스로부터 의심스러운 이미지들의 시퀀스를 식별하는 것; 및
    상기 비디오-루프로부터 상기 의심스러운 이미지들의 시퀀스를 포함하는 상기 액션 클립을 생성하는 것
    을 포함하는 동작들을 수행하게 하는 것인, 비일시적 컴퓨터 판독가능 기록 매체.
  19. 제 15 항에 있어서,
    상기 명령어들은 또한 상기 프로세서로 하여금, 상기 비디오 루프로부터 복수의 액션 클립들을 생성하는 것을 포함하는 동작들을 수행하게 하는 것인, 비일시적 컴퓨터 판독가능 기록 매체.
  20. 제 15 항에 있어서, 상기 명령어들은 또한 상기 프로세서로 하여금:
    상기 사람이 상기 상업적 장소의 출구에 접근하고 있는지 여부를 결정하는 것; 및
    상기 사람이 상기 상업적 장소의 출구에 접근하고 있다는 결정에 응답하여, 디스플레이를 위해 상기 활동 개요를 전송하는 것
    을 포함하는 동작들을 수행하게 하는 것인, 비일시적 컴퓨터 판독가능 기록 매체.
KR1020157009311A 2012-09-13 2013-09-12 사람의 활동 개요 생성 시스템 및 방법 KR102189205B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261700490P 2012-09-13 2012-09-13
US61/700,490 2012-09-13
US13/888,941 2013-05-07
US13/888,941 US10271017B2 (en) 2012-09-13 2013-05-07 System and method for generating an activity summary of a person
PCT/US2013/059478 WO2014043359A2 (en) 2012-09-13 2013-09-12 System and method for generating an activity summary of a person

Publications (2)

Publication Number Publication Date
KR20150054995A KR20150054995A (ko) 2015-05-20
KR102189205B1 true KR102189205B1 (ko) 2020-12-10

Family

ID=50232901

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157009311A KR102189205B1 (ko) 2012-09-13 2013-09-12 사람의 활동 개요 생성 시스템 및 방법

Country Status (9)

Country Link
US (1) US10271017B2 (ko)
EP (1) EP2896199A4 (ko)
JP (1) JP6307083B2 (ko)
KR (1) KR102189205B1 (ko)
CN (1) CN104823438A (ko)
AU (3) AU2013315497A1 (ko)
BR (1) BR112015005543A2 (ko)
CA (1) CA2884670C (ko)
WO (1) WO2014043359A2 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014050518A1 (ja) * 2012-09-28 2014-04-03 日本電気株式会社 情報処理装置、情報処理方法および情報処理プログラム
US10121106B2 (en) * 2014-06-30 2018-11-06 Digitalglobe, Inc. Spectral data analytic cube classifier (SPADACC) for continuous wide area geospatial modeling using normalized and highly dimensional multispectal raster data
GB2528330B (en) * 2014-07-18 2021-08-04 Unifai Holdings Ltd A method of video analysis
GB2529435B (en) * 2014-08-19 2020-09-02 Apical Ltd A Method of Generating A Framed Video Stream
KR20160024143A (ko) 2014-08-25 2016-03-04 삼성전자주식회사 영상 처리 방법 및 전자 장치
US9934818B1 (en) 2016-09-23 2018-04-03 Apple Inc. Automated seamless video loop
US10176845B2 (en) 2016-09-23 2019-01-08 Apple Inc. Seamless forward-reverse video loops
US10062409B2 (en) 2016-09-23 2018-08-28 Apple Inc. Automated seamless video loop
CN106385562B (zh) * 2016-09-23 2019-06-11 浙江宇视科技有限公司 一种视频摘要生成方法、装置及视频监控系统
US10122940B2 (en) 2016-09-23 2018-11-06 Apple Inc. Automated seamless video loop
US10062410B2 (en) 2016-09-23 2018-08-28 Apple Inc. Automated seamless video loop
CN106714007A (zh) * 2016-12-15 2017-05-24 重庆凯泽科技股份有限公司 一种视频摘要方法及装置
US10972297B2 (en) * 2017-01-23 2021-04-06 Bank Of America Corporation Data processing system with machine learning engine to provide automated collaboration assistance functions
US11270257B2 (en) * 2017-03-06 2022-03-08 Nec Corporation Commodity monitoring device, commodity monitoring system, output destination device, commodity monitoring method, display method and program
US10311305B2 (en) 2017-03-20 2019-06-04 Honeywell International Inc. Systems and methods for creating a story board with forensic video analysis on a video repository
US10734025B2 (en) 2017-05-16 2020-08-04 Apple Inc. Seamless output video variations for an input video
US10489654B1 (en) * 2017-08-04 2019-11-26 Amazon Technologies, Inc. Video analysis method and system
CN107396059A (zh) * 2017-08-24 2017-11-24 杭州凡龙科技有限公司 一种全景位自适应学生图像分析控制方法
CN107967339B (zh) * 2017-12-06 2021-01-26 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
US11115604B2 (en) * 2018-01-02 2021-09-07 Insitu, Inc. Camera apparatus for generating machine vision data and related methods
WO2019152472A1 (en) * 2018-01-30 2019-08-08 Madden Donald Face concealment detection
JP2019193089A (ja) * 2018-04-24 2019-10-31 東芝テック株式会社 映像解析装置
JP7267709B2 (ja) * 2018-10-09 2023-05-02 東芝テック株式会社 無人店舗システムおよびサーバ
US11055874B2 (en) * 2018-10-30 2021-07-06 Ncr Corporation Image processing for tracking actions of individuals
US11205086B2 (en) * 2018-11-13 2021-12-21 Nvidia Corporation Determining associations between objects and persons using machine learning models
GB2583101B (en) 2019-04-16 2021-05-19 Sony Interactive Entertainment Inc Video processing
US11497418B2 (en) 2020-02-05 2022-11-15 General Electric Company System and method for neuroactivity detection in infants
US11030240B1 (en) 2020-02-17 2021-06-08 Honeywell International Inc. Systems and methods for efficiently sending video metadata
US11599575B2 (en) 2020-02-17 2023-03-07 Honeywell International Inc. Systems and methods for identifying events within video content using intelligent search query
US11681752B2 (en) 2020-02-17 2023-06-20 Honeywell International Inc. Systems and methods for searching for events within video content
US11769330B2 (en) 2020-12-17 2023-09-26 Motorola Solutions, Inc. System and method for video analytics for thermography procedure compliance
CN113949925A (zh) * 2021-10-15 2022-01-18 深圳市智此一游科技服务有限公司 视频生成方法、装置及服务器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100157049A1 (en) 2005-04-03 2010-06-24 Igal Dvir Apparatus And Methods For The Semi-Automatic Tracking And Examining Of An Object Or An Event In A Monitored Site
US20100208064A1 (en) 2009-02-19 2010-08-19 Panasonic Corporation System and method for managing video storage on a video surveillance system

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745036A (en) 1996-09-12 1998-04-28 Checkpoint Systems, Inc. Electronic article security system for store which uses intelligent security tags and transaction data
US6404925B1 (en) * 1999-03-11 2002-06-11 Fuji Xerox Co., Ltd. Methods and apparatuses for segmenting an audio-visual recording using image similarity searching and audio speaker recognition
US6665423B1 (en) * 2000-01-27 2003-12-16 Eastman Kodak Company Method and system for object-oriented motion-based video description
US6931254B1 (en) 2000-08-21 2005-08-16 Nortel Networks Limited Personalized presentation system and method
US7319479B1 (en) 2000-09-22 2008-01-15 Brickstream Corporation System and method for multi-camera linking and analysis
US8711217B2 (en) * 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US7868912B2 (en) * 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US8564661B2 (en) * 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
AU2002361483A1 (en) * 2002-02-06 2003-09-02 Nice Systems Ltd. System and method for video content analysis-based detection, surveillance and alarm management
US7436887B2 (en) * 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US20050134685A1 (en) * 2003-12-22 2005-06-23 Objectvideo, Inc. Master-slave automated video-based surveillance system
US20050102183A1 (en) 2003-11-12 2005-05-12 General Electric Company Monitoring system and method based on information prior to the point of sale
US7667732B1 (en) * 2004-03-16 2010-02-23 3Vr Security, Inc. Event generation and camera cluster analysis of multiple video streams in a pipeline architecture
JP4677737B2 (ja) * 2004-06-01 2011-04-27 沖電気工業株式会社 防犯支援システム
US7631808B2 (en) * 2004-06-21 2009-12-15 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis
US8289390B2 (en) * 2004-07-28 2012-10-16 Sri International Method and apparatus for total situational awareness and monitoring
US7746378B2 (en) * 2004-10-12 2010-06-29 International Business Machines Corporation Video analysis, archiving and alerting methods and apparatus for a distributed, modular and extensible video surveillance system
US20060095317A1 (en) 2004-11-03 2006-05-04 Target Brands, Inc. System and method for monitoring retail store performance
US7760908B2 (en) * 2005-03-31 2010-07-20 Honeywell International Inc. Event packaged video sequence
JP4722537B2 (ja) * 2005-04-21 2011-07-13 パナソニック株式会社 監視装置
US8089563B2 (en) * 2005-06-17 2012-01-03 Fuji Xerox Co., Ltd. Method and system for analyzing fixed-camera video via the selection, visualization, and interaction with storyboard keyframes
US7944468B2 (en) 2005-07-05 2011-05-17 Northrop Grumman Systems Corporation Automated asymmetric threat detection using backward tracking and behavioral analysis
US9036028B2 (en) 2005-09-02 2015-05-19 Sensormatic Electronics, LLC Object tracking and alerts
US8949235B2 (en) * 2005-11-15 2015-02-03 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Methods and systems for producing a video synopsis using clustering
WO2007128884A1 (en) * 2006-05-09 2007-11-15 Oy Jurilab Ltd Novel genes and markers in type 2 diabetes and obesity
CN101087405A (zh) * 2006-06-07 2007-12-12 鸿富锦精密工业（深圳）有限公司 动态监控系统及方法
US10078693B2 (en) * 2006-06-16 2018-09-18 International Business Machines Corporation People searches by multisensor event correlation
US7930204B1 (en) 2006-07-25 2011-04-19 Videomining Corporation Method and system for narrowcasting based on automatic analysis of customer behavior in a retail store
US20080074496A1 (en) * 2006-09-22 2008-03-27 Object Video, Inc. Video analytics for banking business process monitoring
US8274564B2 (en) * 2006-10-13 2012-09-25 Fuji Xerox Co., Ltd. Interface for browsing and viewing video from multiple cameras simultaneously that conveys spatial and temporal proximity
BRPI0720802B1 (pt) * 2007-02-01 2021-10-19 Briefcam, Ltd. Método e sistema para gerar uma sinopse de vídeo de uma fonte de fluxo de vídeo ininterrupta como a gerada por uma câmera de segurança de vídeo
US7898576B2 (en) * 2007-02-28 2011-03-01 Honeywell International Inc. Method and system for indexing and searching objects of interest across a plurality of video streams
US8295543B2 (en) 2007-08-31 2012-10-23 Lockheed Martin Corporation Device and method for detecting targets in images based on user-defined classifiers
US8630497B2 (en) * 2007-11-27 2014-01-14 Intelliview Technologies Inc. Analyzing a segment of video
US8064653B2 (en) * 2007-11-29 2011-11-22 Viewdle, Inc. Method and system of person identification by facial image
US8098888B1 (en) 2008-01-28 2012-01-17 Videomining Corporation Method and system for automatic analysis of the trip of people in a retail space using multiple cameras
US8934709B2 (en) 2008-03-03 2015-01-13 Videoiq, Inc. Dynamic object classification
US8355576B2 (en) 2008-06-13 2013-01-15 Lockheed Martin Corporation Method and system for crowd segmentation
US8009863B1 (en) * 2008-06-30 2011-08-30 Videomining Corporation Method and system for analyzing shopping behavior using multiple sensor tracking
US8494214B2 (en) * 2008-10-30 2013-07-23 Toshiba Global Commerce Solutions Holdings Corporation Dynamically learning attributes of a point of sale operator
KR101592999B1 (ko) * 2009-02-09 2016-02-11 삼성전자주식회사 휴대용 단말기에서 손 모양을 인식하기 위한 장치 및 방법
JP5127067B2 (ja) * 2009-03-06 2013-01-23 パナソニック株式会社 画像検索装置及び画像検索方法
US20110071792A1 (en) * 2009-08-26 2011-03-24 Cameron Miner Creating and viewing multimedia content from data of an individual's performance in a physical activity
US8797405B2 (en) * 2009-08-31 2014-08-05 Behavioral Recognition Systems, Inc. Visualizing and updating classifications in a video surveillance system
US20110228984A1 (en) * 2010-03-17 2011-09-22 Lighthaus Logic Inc. Systems, methods and articles for video analysis
US8438175B2 (en) * 2010-03-17 2013-05-07 Lighthaus Logic Inc. Systems, methods and articles for video analysis reporting
US20110280439A1 (en) 2010-05-11 2011-11-17 Beverly Harrison Techniques for person detection
US8462224B2 (en) * 2010-06-01 2013-06-11 Hewlett-Packard Development Company, L.P. Image retrieval
US8457354B1 (en) * 2010-07-09 2013-06-04 Target Brands, Inc. Movement timestamping and analytics
US20120027371A1 (en) * 2010-07-28 2012-02-02 Harris Corporation Video summarization using video frames from different perspectives
CN103069457A (zh) * 2010-08-10 2013-04-24 Lg电子株式会社 基于感兴趣区的视频概要
US9226037B2 (en) * 2010-12-30 2015-12-29 Pelco, Inc. Inference engine for video analytics metadata-based event detection and forensic search
JP2012160830A (ja) * 2011-01-31 2012-08-23 Aiphone Co Ltd インターホンシステム
US8854474B2 (en) * 2011-03-08 2014-10-07 Nice Systems Ltd. System and method for quick object verification
US8115623B1 (en) 2011-03-28 2012-02-14 Robert M Green Method and system for hand basket theft detection
US9111147B2 (en) * 2011-11-14 2015-08-18 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
US9361514B2 (en) * 2012-02-09 2016-06-07 Hewlett-Packard Development Company, L.P. Forensic verification from halftone images
US8958645B2 (en) * 2012-04-19 2015-02-17 Canon Kabushiki Kaisha Systems and methods for topic-specific video presentation
US20140164507A1 (en) * 2012-12-10 2014-06-12 Rawllin International Inc. Media content portions recommended
US9552522B2 (en) * 2014-01-11 2017-01-24 Verint Systems Ltd. Counting and monitoring method using face detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100157049A1 (en) 2005-04-03 2010-06-24 Igal Dvir Apparatus And Methods For The Semi-Automatic Tracking And Examining Of An Object Or An Event In A Monitored Site
US20100208064A1 (en) 2009-02-19 2010-08-19 Panasonic Corporation System and method for managing video storage on a video surveillance system

Also Published As

Publication number Publication date
BR112015005543A2 (pt) 2017-10-03
US20140071287A1 (en) 2014-03-13
WO2014043359A2 (en) 2014-03-20
CN104823438A (zh) 2015-08-05
US10271017B2 (en) 2019-04-23
EP2896199A2 (en) 2015-07-22
JP2016500855A (ja) 2016-01-14
WO2014043359A3 (en) 2014-08-07
EP2896199A4 (en) 2016-08-24
KR20150054995A (ko) 2015-05-20
AU2019213309A1 (en) 2019-08-22
JP6307083B2 (ja) 2018-04-04
CA2884670C (en) 2020-07-14
AU2013315497A1 (en) 2015-04-02
AU2017206244A1 (en) 2017-08-10
CA2884670A1 (en) 2014-03-20

Similar Documents

Publication Publication Date Title
KR102189205B1 (ko) 사람의 활동 개요 생성 시스템 및 방법
Elharrouss et al. A review of video surveillance systems
Mastorakis et al. Fall detection system using Kinect’s infrared sensor
RU2637425C2 (ru) Способ формирования анализа поведения в системе наблюдения и мониторинга
US9536153B2 (en) Methods and systems for goods received gesture recognition
US10009579B2 (en) Method and system for counting people using depth sensor
CN108702485A (zh) 在视频监视系统中保护隐私
Liciotti et al. People detection and tracking from an RGB-D camera in top-view configuration: review of challenges and applications
Nambiar et al. A multi-camera video dataset for research on high-definition surveillance
CN109766755A (zh) 人脸识别方法及相关产品
KR101648786B1 (ko) 객체 인식 방법
US9767564B2 (en) Monitoring of object impressions and viewing patterns
JP6819689B2 (ja) 画像処理装置、滞留物体追跡システム、画像処理方法および記録媒体
CN111461104B (zh) 视觉识别方法、装置、设备及存储介质
Srivastava et al. Anomaly Detection Approach for Human Detection in Crowd Based Locations
JP7362102B2 (ja) 情報処理装置及び情報処理プログラム
JP6954416B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7480841B2 (ja) イベントの管理方法、イベント管理装置、システム及びプログラム
Castanon et al. Out the window: A crowd-sourced dataset for activity classification in security video
Goudelis et al. Identifying unintentional falls in action videos using the 3D Cylindrical Trace Transform
Schreiber et al. Video-based Detection Algorithms in FOLDOUT: Through-Foliage Detection in Ground-Based Border Surveillance
JP2015001871A (ja) 人物判定装置、人物判定方法、プログラム及び記録媒体
Kadim et al. Video analytics algorithm for detecting objects crossing lines in specific direction using blob-based analysis
CN114140882A (zh) 图像处理方法和处理设备
Marcinkowski et al. Human Tracking in Multi-camera Visual Surveillance System

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant