KR20180042802A - 정의된 영역 내의 객체를 추적하기 위한 방법 및 시스템 - Google Patents

정의된 영역 내의 객체를 추적하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20180042802A
KR20180042802A KR1020170133437A KR20170133437A KR20180042802A KR 20180042802 A KR20180042802 A KR 20180042802A KR 1020170133437 A KR1020170133437 A KR 1020170133437A KR 20170133437 A KR20170133437 A KR 20170133437A KR 20180042802 A KR20180042802 A KR 20180042802A
Authority
KR
South Korea
Prior art keywords
identification
person
features
profile
area
Prior art date
Application number
KR1020170133437A
Other languages
English (en)
Other versions
KR102215041B1 (ko
Inventor
니클라스 다니엘쏜
안데르스 한쏜
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20180042802A publication Critical patent/KR20180042802A/ko
Application granted granted Critical
Publication of KR102215041B1 publication Critical patent/KR102215041B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/00677—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G06K2017/0045—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 정의된 영역에서 객체를 추적하는 방법 및 시스템에 관한 것이다. 본 발명은 검출된 객체의 이미지 데이터를 정의된 영역으로 들어간 사람의 프로파일과 비교하여 최상의 매치를 찾아내고, 최상 매칭의 프로파일을 검출된 객체에 연결한다. 정의된 영역에 들어갈 때 자격증명을 제시하여 식별된 사람의 식별 프로파일은 후보로서 등록되며, 나중에 정의된 영역에서 탐지된 객체들과 매칭된다. 따라서, 본 발명은, 검출된 객체들에 대한 후보들의 개수를 가장 가능성 있는 후보들로 감소시킬 수 있는, 정의된 영역에 대한 물리적 액세스 제어 시스템을 사용한다. 따라서, 정의된 영역에서 객체 추적의 리소스들에 대한 프로세싱 시간 및 필요성이 감소된다.

Description

정의된 영역 내의 객체를 추적하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR TRACKING AN OBJECT IN A DEFINED AREA}
본 발명은 모니터링 분야에 관한 것이다. 특히, 본 발명은 카메라들에 의해 모니터링되는 정의된 영역에서 객체를 추적하는 방법 및 시스템에 관한 것이다.
객체 추적 시스템은 카메라 모니터링 분야에서 흥미로운 응용 분야를 가지고 있다. 많은 모니터링 시스템에서는, 포렌식(forensic) 비디오 검색을 위해 라이브 비디오 자료와 녹화된 비디오 자료 둘다에서 개체, 특히 사람을 추적할 수 있어야 한다.
객체 추적 시스템은 예를 들어, 범죄 행위들과 관련하여 사람의 행동들이 조사될 필요가 있는 다양한 보안 관련 상황들에서 도움을 줄 수 있다. 하지만, 객체 추적 시스템은 조사에 대한 통계 수집과 같은 비보안 관련 어플리케이션들에서도 유용할 수 있다. 많은 객체 추적 시스템은 오피스 콤플렉스, 공장, 호텔, 출입문이 있는 커뮤니티, 캠퍼스 또는 액세스 자격증명을 얻기 위하여 사람들이 미리 등록을 하는 구내 영역(premises) 등과 같은 정의된 영역을 모니터링하는 카메라 시스템에 적용된다.
모니터링 카메라들의 시스템에서 객체를 추적하기 위해서는(감시 화면이 겹칠수도 있고 겹치지 않을 수도 있음), 서로 다른 모니터링 카메라들의 이미지 데이터에서 객체 또는 적어도 객체의 특징을 인식할 수 있어야 한다.
서로 다른 모니터링 카메라들은 상이한 렌즈들, 조리개들(apertures), 이미지 센서들 등 및 서로 다른 이미지 프로세싱 세팅들을 포함하는 상이한 광학 구성들을 가질 수 있기 때문에, 이는 시스템의 상이한 카메라들로부터의 이미지 데이터 내의 객체들의 외관에 영향을 줄 수 있다. 또한, 카메라들은 예컨대, 상이한 조명 체계들을 갖는 상이한 물리적 위치들에 마운트될 수 있는바, 이는 카메라들에 의해 획득되고 처리되는 이미지 데이터 내의 객체의 외관에 영향을 미칠 수 있다. 이러한 문제점들은 US 7,529,411 B2에서 논의된다.
US 7,529,411 B2는 비디오 감시 시스템에 의해 캡처된 이미지들로부터 추출된 식별 정보가 하나 이상의 저장된 프로파일과 비교되는 다수의 비디오 스트림들의 인식 분석을 위한 시스템을 교시한다. US 7,529,411 B2 호에 개시된 시스템의 바람직한 실시예에서, 비록 저장된 프로파일들의 선택된 서브세트하고만 비교될 수 있지만, 각각의 저장된 프로파일과 비교가 수행된다.
그러나 US 7,529,411 B2에서 논의된 시스템의 문제점은 인식 분석이 많은 처리 능력 및 처리 시간을 필요로 한다는 것이다.
따라서, 본 발명의 목적은 정의된 영역에서 객체를 추적하기 위한 개선된 방법 및 시스템을 제공하는 것이다. 특히, 정의된 영역에서 객체를 추적하는데 필요한 프로세싱 시간 및 프로세싱 용량을 감소시키는 방법 및 시스템을 제공하는 것이 본 발명의 목적이다.
본 발명의 제 1 양태에 따르면, 상기 목적은 사람을 추적하는 방법에 의해 달성된다. 사람을 추적하는 상기 방법은 다음의 단계들을 포함한다: 정의된 영역에 들어가는 사람을 식별하는 단계로서, 사전등록된 사람들의 자격증명을 포함하는 데이터베이스의 자격증명과 상기 사람이 제시한 자격증명을 매칭시킴으로써, 상기 정의된 영역에 들어가는 사람을 식별하는 단계; 상기 영역에서 추적되는 사람들의 리스트에 상기 식별된 사람의 식별 프로파일을 등록하는 단계, 상기 식별 프로파일은 이미지 데이터로부터 상기 사람을 식별하기 위한 정보를 포함하며; 상기 영역 내의 장면으로부터 이미지 데이터를 수신하는 단계; 상기 수신된 이미지 데이터에서 검출된 객체에 대한 식별 특징들의 세트를 생성하는 단계; 상기 검출된 객체에 대한 식별 특징들의 생성된 세트와 상기 영역에서 추적되는 사람들의 리스트에 등록된 식별 프로파일의 식별 특징들을 비교하는 단계; 상기 검출된 객체에 대한 식별 특징들의 생성된 세트와 최상으로 매칭되는, 상기 영역에서 추적되는 사람들의 리스트에 있는 식별 프로파일을 판별하는 단계; 및 상기 검출된 객체의 식별 프로파일과 최상으로 매칭되는 상기 판별된 식별 프로파일과 상기 검출된 객체를 연결하는 단계를 포함한다. 사람을 추적하는 상기 방법의 장점은, 정의된 영역에서 객체를 추적하는데 필요한 프로세싱 시간이 감소되고, 이미지 데이터로부터 사람을 정확하게 식별하는 신뢰성이 증가된다는 점인데, 왜냐하면 이미지 데이터에서 검출된 객체의 식별 특징들과 상기 영역에서 현재 추적되고 있는 사람들의 식별 프로파일들이 비교되기 때문이다. 프로세싱 시간이 감소하는 이유 중 하나는, 검출된 객체의 식별 특징들과 비교될 필요가 있는 식별 프로파일들의 개수가 더 적기 때문이다. 신뢰도의 증가는, 복수의 식별 프로파일들과 유사하게 매칭될 식별 특징들의 가능성이 감소된 결과이다. 또한, 이것의 효과는 비교할 식별 프로파일들의 개수가 적어질수록 매칭의 신뢰성이 증가한다는 것인데, 왜냐하면 유사한 피처들을 구비한 후보들을 가질 확률이 감소하기 때문이다. 즉, 상기 리스트가 더 적은 엔트리들을 가지는 결과로서, 비교할 사람들의 감소된 리스트에 있는 식별 프로파일들 간의 차이가 더 커지므로, 이미지 내에서 사람을 올바르게 식별하기 위한 프로세스가 보다 용이해질 수 있을 것이라 말할 수 있다. 이러한 방법을 통해, 추적 방법 중 가장 많은 프로세싱을 요구하는 단계들 중 하나인 매칭은, 이론적으로 가능한 모든 후보들에게 불필요하게 초점을 맞추는 것이 아니라, 가장 가능성이 높은 후보들에게 초점을 맞추게 될 것이다. 본 발명의 또 다른 장점은, 정의된 영역에 들어간 것으로 식별되었던 사람들의 식별 프로파일이 상기 영역에서 추적되는 사람들의 리스트에 등록되며 그리고 이러한 식별 프로파일이 상기 영역에 들어갈 때의 식별에 이용되는 자격증명과 연결된다는 점이다. 이러한 방식으로, 물리적 액세스 시스템의 신뢰성은 상기 영역에서 추적되는 사람들의 리스트에 식별 프로파일들을 등록할 때에 높은 신뢰성을 획득할 수 있는 가능성을 증가시키고 있다. 식별 프로파일의 등록은 정의된 영역에 들어가는 사람과 관련하여 수행되며, 이는 수신된 이미지들에서 객체가 검출되기 이전에, 추적되는 사람들의 리스트가 구성되게 하는 장점을 갖는다(상기 객체는 영역에 들어가는 사람에 해당할 수 있음). 이는 수신된 이미지들에서 검출된 각각의 객체에 대해 요구되는 프로세싱 시간 및 용량을 감소시킬 것이다.
본 발명의 다른 실시예에서, 식별 특징의 생성된 세트를 등록된 식별 프로파일과 비교하는 단계는 생성된 식별 프로파일과 등록된 식별 프로파일들 간의 상관관계 기초하는 신뢰도 점수를 계산함으로써 수행되고, 그리고 식별 특징들의 생성된 세트와 최상으로 매칭되는 식별 프로파일을 판별하는 단계는, 식별 특징들의 생성된 세트와 가장 높은 상관 관계를 나타내는 신뢰도 점수에 대응하는 식별 프로파일을 선택함으로써 수행된다. 신뢰도 점수를 사용하여 가장 높은 상관 관계를 결정하는 것의 이점은 효율적인 방식으로 상관관계를 정량화할 수 있다는 점이다.
본 발명의 또 다른 실시예에서, 검출된 객체의 식별 특징들의 세트와 가장 높은 상관 관계를 갖는 식별 프로파일에 대응하는 계산된 신뢰도 점수가 기결정된 제 1 임계값보다 작은 경우, 상기 연결하는 단계는 수행되지 않는다. 이렇게 하면 열악한 상관관계가 최상의 상관관계인 경우들을 분류할 수 있으며 그리고 열악한 상관관계가 추적에 영향을 주는 것을 방지할 수 있다.
다른 실시예에서, 이것은 검출된 객체의 식별 특징들의 세트와 가장 높은 상관관계를 갖는 식별 프로파일에 대응하는 계산된 신뢰도 점수가 기결정된 제 1 임계값 보다 작은 경우에 경보를 발생시키도록 더 전개된다. 열악한 매치는 침입자가 검출되었기에 발생할 수 있으며, 상기 침입자는 유효한 자격증명을 이용한 적절한 인증없이 정의된 영역에 들어왔으며 따라서 상기 영역에서 추적되는 사람들의 리스트에 속하지 않는바, 경보를 발생시키는 것은 정의된 영역의 보안성을 향상시킬 것이다.
다른 실시예들에서는, 추가적인 단계들이 도입되는바, 상기 정의된 영역을 떠나는 사람을 식별하는 단계로서, 사전등록된 사람들의 자격증명을 포함하는 데이터베이스의 자격증명과 상기 사람이 제시한 자격증명을 매칭시킴으로써 상기 정의된 영역을 떠나는 사람을 식별하는 단계; 및 상기 영역에서 추적되는 사람들의 리스트로부터 상기 정의된 영역을 떠나는 것으로 식별된 사람의 식별 프로파일을 제거하는 단계가 도입된다. 이들 실시예들은 영역에서 추적되는 사람들의 리스트를 업데이트된 상태로 유지하도록 추가될 것이며 그리고 정의된 영역을 떠나는 사람을 제거하는 것은 후보들의 리스트를 감소시킬 것이고, 따라서 프로세싱 시간을 감소시키고 동시에 추적의 신뢰도를 증가시킬 것이다.
또 다른 실시예에서는, 검출된 객체가 식별 프로파일에 연결된 마지막 시점 이후로 기결정된 활동 시간 기간이 경과된 경우, 상기 영역에서 추적되는 사람들의 리스트로부터 사람의 식별 프로파일이 제거된다. 이들 실시예들은 대안적으로 또는 이전에 기술된 것과 조합되어, 상기 영역에서 추적되는 사람들의 리스트를 업데이트된 상태로 유지시킨다. 이들 실시예들은 후보들의 리스트를 감소시킬 것이며 따라서 프로세싱 시간을 감소시킬 것이다.
또 다른 실시예에서는, 상기 영역에 들어간 사람들의 리스트에, 상기 식별된 사람의 식별 프로파일을 등록하는 단계가 상기 방법에 추가된다. 상기 영역에 들어온 사람을 포함하는 다른 리스트를 추가하는 것은 다음과 같은 점에서 매우 유용한바, 영역에서 추적되는 사람들의 리스트에는 가장 가능성 있는 후보자들만 있기 때문에 추적 방법이 사용되는 대부분의 경우에서는 프로세싱 시간 및 자원이 감소될 수 있으며, 가장 가능성 있는 후보자들 중 하나가 충분히 양호한 상관관계를 갖는 매칭을 발생시키지 않는 드문 경우들에서, 영역에 들어온 사람들의 리스트는, 영역에 들어왔지만 검출된 객체와 최근에 연결되지 않았던 사람들의 식별 프로파일들과 상기 식별 특징들을 또한 비교할 수 있는 기회를 제공할 것이다.
이것은 본 발명의 또 다른 실시예에서 다음과 같이 또한 전개되는바, 수신된 이미지 데이터에서 검출된 객체의 식별 특징들의 세트와 가장 높은 상관관계를 갖는 식별 프로파일에 대응하는 계산된 신뢰도 점수가 기결정된 제 2 임계값 보다 작다면, 상기 연결하는 단계는 수행되지 않으며, 상기 방법은, 수신된 이미지 데이터에서 검출된 객체의 식별 특징들의 생성된 세트와 상기 영역에 들어간 사람들의 리스트에 등록된 식별 프로파일들을 비교하는 단계, 수신된 이미지 데이터에서 검출된 객체의 식별 특징들의 세트와 최상으로 매칭되는, 상기 영역으로 들어간 사람들의 리스트에 있는 식별 프로파일을 판별하는 단계, 및 수신된 이미지 데이터에서 검출된 객체와, 상기 수신된 이미지 데이터에서 검출된 객체의 식별 특징들의 세트와 최상으로 매칭되는 상기 판별된 식별 프로파일을, 연결하는 단계를 더 포함한다.
이것은 가장 높은 상관관계를 갖는 매칭의 신뢰도 점수가 상기 영역에서 추적되는 사람들의 리스트의 후보자로는 충분히 양호하지 않은 경우, 상기 영역에 들어온 사람들의 리스트에서 후보자들을 매칭시킬 수 있는 가능성을 제공한다. 이는 시스템의 신뢰성을 한층 더 높일 수 있다.
다른 실시예에서, 수신된 이미지 데이터에서 검출된 객체의 식별 특징들의 생성된 세트와 상기 영역에 들어간 사람들의 리스트에 등록된 식별 프로파일들을 비교하는 것은, 수신된 이미지 데이터에서 검출된 객체의 식별 특징들의 생성된 세트와 상기 영역에 들어간 사람들의 리스트에 있는 사람들의 식별 프로파일 간의 상관관계에 기초하는 신뢰도 점수를 계산함으로써 수행되며, 상기 식별 특징들의 생성된 세트와 최상으로 매칭되는, 상기 영역으로 들어간 사람들의 리스트에 있는 식별 프로파일을 판별하는 것은, 상기 수신된 이미지 데이터에서 검출된 객체의 식별 특징들의 생성된 세트와 가장 높은 상관관계를 나타내는 신뢰도 점수에 대응하는 식별 프로파일을 선택함으로써 수행된다. 신뢰도 점수를 사용하여 가장 높은 상관관계를 결정할 때의 이점은 효율적인 방식으로 상관관계를 정량화한다는 것이다.
본 발명의 또 다른 실시예에서, 식별 프로파일은 사람의 신체 또는 얼굴의 특징적인 기하학적 파라미터들, 사람의 얼굴 피처들 또는 신체 피처들을 나타내는 수학적 표현들, 사람의 의복, 피부 혹은 얼굴에 대한 텍스처(texture) 파라미터들, 사람의 이미지 혹은 사람의 일부의 이미지로부터의 컬러 스펙트럼, 사람의 걸음걸이(gait), 사람의 움직임 패턴을 포함하는 그룹으로부터 선택되는, 사람의 외관을 기술하는 식별 특징들의 하나 이상의 세트들을 포함한다. 또한, 사람의 외관을 기술하는 식별 특징들은, 외관 피처들을 계산하고 처리하는 방법을 제공하므로 추적 방법의 처리 효율성 및 신뢰성을 한층 더 높일 수 있다.
다른 실시예에서, 검출된 객체의 식별 특징들의 세트와 최상으로 매칭되는 식별 프로파일 내의 정보는, 식별 특징들의 생성된 세트로부터의 정보로 업데이트된다. 이것은 식별 특징들을 지속적으로 업데이트하는 장점을 제공하는바, 사람의 시각적 외관은 짧은 시간 기간 동안에도 쉽게 변할 수 있으므로 추적의 신뢰성을 위해서 매우 중요하다. 예를 들어, 사람이 외투를 벗거나, 안경을 착용했는지 여부, 수염을 깎았거나 기타 등을 했다면 사람의 외관이 변할 수 있다.
또 다른 실시예에서, 식별 프로파일 내의 정보를 업데이트하는 것은, 식별 프로파일의 현재 정보 및 식별 특징들의 생성된 세트로부터의 정보에 기초하여 통계적 척도를 계산함으로써 수행된다. 이것은 식별 프로파일을 업데이트하는 프로세싱 효율적인 방법을 더 추가한다.
본 발명의 또 다른 실시예에서, 검출된 객체의 식별 특징들의 세트와 최상으로 매칭되는 상기 판별된 식별 프로파일과 상기 검출된 객체를 연결하는 단계는, 이미지 데이터를 획득하는 이미지 획득 디바이스의 식별자, 이미지 획득 디바이스에 의해 이미지 데이터가 획득된 시점 및 이미지 데이터를 획득하는 이미지 획득 디바이스의 위치를 포함하는 그룹으로부터 선택된 이미지 데이터에 관한 정보를 등록하는 단계를 더 포함한다. 이는 위치, 이미지 획득 디바이스 및/또는 객체 검출 시점에 관한 부가적인 정보를 갖는 장점을 또한 갖는바, 이에 따라 정확한 식별이 가능해지며 따라서 상기 정의된 영역에서의 객체 추적 능력의 신뢰도를 향상시킬 수 있다.
본 발명의 제 2 양상은, 프로세서에 의해 실행될 때 본 발명의 제 1 양상과 관련하여 앞서 서술된 방법을 수행하도록 된 명령들을 갖는 컴퓨터 판독가능 저장 매체를 포함하는 컴퓨터 프로그램 제품에 관한 것이다. 본 발명의 제 1 양상에 대응하는 장점들은 또한 본 발명의 제 2 양상에도 적용 가능하다.
본 발명의 제 3 양상은 사람을 추적하기 위한 시스템에 관한 것으로, 상기 시스템은, 정의된 영역에 들어가는 사람을 식별하는 식별 모듈로서, 상기 식별 모듈은 사전등록된 사람들의 자격증명을 포함하는 데이터베이스 내의 자격증명과 상기 사람이 제시한 자격증명을 매칭함으로써, 상기정의된 영역에 들어가는 사람을 식별하며; 상기 영역에서 추적되는 사람들의 리스트에 사람의 식별 프로파일을 등록하는 등록 모듈, 상기 식별 프로파일은 상기 사람을 식별하기 위한 정보를 포함하며; 상기 영역 내의 장면으로부터 이미지 데이터를 획득하는 이미지 획득 디바이스; 상기 이미지 획득 디바이스에 의해서 획득된 이미지 데이터에서 검출된 객체에 대한 식별 특징들의 세트를 생성하는 식별 특징 생성 모듈; 검출된 객체에 대해 생성된 식별 특징들의 세트와 상기 영역에서 추적되는 사람들의 리스트에 있는 등록된 식별 프로파일들을 비교하고 그리고 상기 검출된 객체에 대한 식별 특징들의 세트와 최상으로 매칭되는 식별 특징들의 세트를 포함하는, 상기 영역에서 추적되는 사람들의 리스트에 있는 식별 프로파일을 판별하는 매칭 모듈; 및 검출된 객체의 식별 프로파일과 최상으로 매칭되는 상기 판별된 식별 프로파일과 상기 검출된 객체를 연결하도록 구성된 추적 모듈을 포함한다. 본 발명의 제 1 양상에 대응하는 장점들은 또한 본 발명의 제 3 양상에도 적용 가능하다.
본 발명의 제 3 양상의 또 다른 실시예에 따르면, 상기 시스템은, 상기 영역에 들어간 사람들의 리스트에 사람의 식별 프로파일을 등록하도록 구성된 입구 등록 모듈, 상기 식별 프로파일은 이미지 데이터로부터 상기 사람을 식별하기 위한 정보를 포함하고; 검출된 객체가 식별 프로파일에 연결된 마지막 시점 이후부터 기결정된 활동 시간 기간이 경과된 경우, 상기 영역에서 추적되는 사람들의 리스트로부터 사람의 식별 프로파일을 등록해제하도록 구성된 등록해제 모듈; 및 이미지 데이터에서 검출된 객체의 식별 특징들의 생성된 세트와 상기 영역에서 추적되는 사람들의 리스트에 등록된 식별 프로파일들을 비교하고 그리고 이미지 데이터에서 검출된 객체의 식별 특징들의 세트와 최상으로 매칭되는, 상기 영역에서 추적된 사람들의 리스트에 있는 식별 프로파일을 판별하도록 구성된 매칭 모듈을 더 포함한다.
본 발명의 또 다른 적용 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나, 본 발명의 바람직한 실시예를 나타내는 상세한 설명 및 특정예는 본 발명의 범위 내에서의 다양한 변경 및 변형이 당업자에게 명백해질 것이기 때문에 단지 예시로서 주어진 것임을 이해해야 한다. 따라서, 다음을 유의해야 하는바, 본 발명은 서술된 디바이스의 특정 구성 요소 부분들 또는 서술된 방법들의 단계들만으로 한정되지 않는데, 왜냐하면 이러한 디바이스 및 방법은 변할 수 있기 때문이다. 또한, 본 명세서에서 사용된 용어는 특정한 실시 양태를 설명하기 위한 것일 뿐이며, 제한하려는 것이 아니다. 다음을 유의해야 하는바, 명세서 및 첨부된 청구 범위에서 사용된 바와 같이, "a", "an", "the" 및 "said"라는 관사는 문맥상 명백하게 달리 표현하지 않는 한, 하나 이상의 이러한 요소들이 존재함을 의미한다. 따라서, 예를 들어, "센서"또는 "상기 센서" 라는 지칭은 여러 센서들 기타 등등을 포함할 수 있다. 또한, "포함하는(comprising)"이라는 단어는 다른 요소 또는 단계를 배제하지 않는다.
본 발명의 다른 특징 및 이점은 첨부된 도면을 참조하여 현재 바람직한 실시 예의 다음의 상세한 설명으로부터 명백해질 것이다.
도 1은 정의된 영역(101)의 일례를 도시한다.
도 2는 본 발명에 따른 객체를 추적하는 방법의 블록도이다.
도 3은 본 발명에 따른 객체를 추적하는 대안적인 방법의 블록도이다.
도 4는 본 발명에 따른 객체를 추적하는 시스템의 블록도이다.
도 5는 본 발명에 따른 객체를 추적하는 대안적인 시스템의 블록도이다.
또한, 도면에서 동일한 도면 부호는 여러 도면 전체에 걸쳐 동일하거나 대응하는 부분을 나타낸다.
본 발명의 일 실시예에 따른 추적 방법 및 시스템은 오피스 콤플렉스, 공장, 호텔, 출입문이 있는 커뮤니티, 캠퍼스 또는 액세스 자격증명을 얻기 위하여 사람들이 사전에 등록하는 구내 영역 등과 같은 정의된 영역을 모니터링하는 카메라 시스템에 적용될 수 있다. 본 발명의 상세한 설명에서, 정의된 영역(definded area)이라 함은, 물리적 액세스 제어 시스템에 의해서 출입이 제어되는 영역이다.
당 업계에 공지된, 객체를 추적하기 위한 여러 다른 접근법들이 있는데, 그 중 하나는 타겟 객체를 검출하고 타겟 객체의 특징을 저장된 후보 객체의 특징과 매칭시켜서 최상의 매칭(best match)을 발견하는 것에 기초하며, 이러한 것은 추적 방법의 필수적인 단계들이다.
정의된 영역에 대한 후보 객체들의 개수는 매우 클 수 있다. 정의된 영역이 공장인 일례에서, 타겟은 물론 공장에서 일하는 사람들이며, 예를 들어 교대 근무하는 다른 팀들, 공장에 물품을 배달하는 사람들 및 공장으로부터 제품을 운송하는 운송 직원들, 일시적인 방문객들, 다양한 서비스 요원들, 보안 요원들 등이 있을 수 있다. 전술한 일례와 같은 정의된 영역 내에서 후보 객체들의 수가 매우 많다는 사실 이외에도, 해당 영역의 동시 타겟 객체들의 개수가 또한 특정 시간 기간 동안에 매우 많을 수 있다. 동시 객체들의 개수가 매우 많은 경우의 예를 들면, 공장에서 한 팀의 작업자들이 교대를 끝내고 다른 한 팀의 작업자들이 교대를 시작하는 경우를 들 수 있다. 따라서 정의된 영역을 모니터링하는 카메라에 연결된 추적 시스템은, 많은 수의 후보 객체들 뿐만 아니라 많은 수의 동시 타겟 객체들을 관리할 수 있어야 한다. 많은 수의 후보 객체들은 검출된 타겟 객체들 각각에 대한 방대한 분량의 프로세싱이 필요할 것임을 암시하며, 그리고 많은 수의 검출된 타겟 객체들은 이러한 프로세싱이 빈번하게 수행될 필요가 있음을 의미한다.
본 발명의 일 실시예에 따른 시스템의 일례가 도 1에 도시된다. 정의된 영역(101)은 출입구(들)(102a, 102b)를 통해 액세스되며, 출입구들(102a, 102b)은 물리적 액세스 제어기(103a, 103b)에 의해 제어된다. 물리적 액세스 제어기(103a, 103b)는 물리적 액세스 제어 시스템의 일부로서, 물리적 액세스 제어 시스템은, 정의된 영역(101)에 대한 액세스를 요청하는 사람이 제시한 자격증명과 사전등록된 사람들의 자격증명을 포함하는 데이터베이스의 자격증명을 매칭함으로써, 정의된 영역(101)에 대한 물리적 액세스를 제어한다. 이러한 물리적 액세스 제어 시스템은 공장, 사무실, 학교, 실험실, 호텔 등에서 사용할 수 있으며, 여기서 특정 구역들에 대한 액세스는 사전등록된 특정 집단의 사람들에게만 제한된다. 자격증명의 매칭은 물론 자격증명 데이터베이스에 저장하는 것은 액세스 제어기(103a, 103b)에서 또는 액세스 제어기(103a, 103b)에 접속된 서버(109a)에서 국부적으로 처리될 수 있다. 도 1에서, 서버(109a)는 파선으로 도시된 상자에 배치되는데, 이는 정의된 영역(101)의 외부에 있지만 정의된 영역(101)과 연결되어 있다. 서버(109a)를 이렇게 표현한 목적은 서버가 정의된 영역(101) 내에 물리적으로 위치할 수도 있으며 또는 정의된 영역의 외부에 위치할 수도 있음을 보여주기 위한 것이며, 서버(109a)가 정의된 영역(101) 외부에 위치할 경우 서버(109a)는 네트워크를 통해 액세스 제어기(103a, 103b)에 접속될 것이다. 액세스 제어기(103a, 103b)는 자격증명 입력 디바이스(104a, 104b)에 연결되는데, 자격증명 입력 디바이스(104a, 104b)는 예를 들어 키패드, 생체인식 스캐너 또는 광학, 자기, 무선 주파수 프로토콜 등을 위한 판독기 디바이스 또는 자격증명을 제시하면서 정의된 영역에 대한 액세스를 요청하는 사람들을 위한 유사한 디바이스들을 포함한다. 생체 인식 스캐너는 예를 들어 지문, 홍채, 망막 또는 얼굴 등을 스캔할 수 있다. 물리적 액세스 제어기(103a, 103b)는 정의된 영역(101)에 대한 출입을 제어하는 잠금 매커니즘에 연결되며 잠금 매커니즘은 예컨대, 도어, 엘리베이터, 게이트, 회전문(turnstile), 슬라이딩 도어 또는 사람들이 자격증을 제시하지 않고 정의된 영역(101)으로 들어가는 것을 방지하기 위해 통로에 놓일 수 있는 이동가능한 다른 차단 디바이스들을 통해 출입을 제어한다. 제시된 자격증명과 자격증명 데이터베이스의 자격증명이 매칭하는지에 따라 또는 다양한 액세스 규칙에 따라, 정의된 영역에 대한 액세스가 사람에게 부여될 수 있다. 액세스 규칙은 예를 들어 사전등록된 사람에게 액세스가 허용되는 기간을 규정할 수 있다.
출입구(102b)는 등록 영역(105)과 관련하여 위치될 수 있는바, 등록 영역(105)에서, 정의된 영역(101)에 대한 액세스를 요청하고자 하는 사람은 정의된 영역(101)에 액세스하기 위한 자격증명을 얻기위해 사전등록할 수 있다.
카메라(106)는 사전등록을 위한 사람의 이미지를 포착하는데 사용될 수 있다. 캡처된 이미지는 이미지 데이터로부터 사람을 식별하기 위한 정보를 포함하는 식별 프로파일을 컴파일링하는데 사용될 수 있다. 식별 프로파일은 사람의 외모를 기술하기 위한 하나 이상의 식별 특징 세트들을 포함한다. 식별 특징들의 일례는 사람의 신체 또는 얼굴의 특징적인 기하학적 파라미터들, 사람의 신체 특징 또는 얼굴 특징을 나타내는 수학적 표현들, 사람의 옷, 피부 또는 얼굴의 텍스처 파라미터들, 사람 또는 사람의 일부의 이미지로부터의 컬러 스펙트럼, 사람의 걸음 걸이, 사람의 움직임 패턴 등일 수 있다. 사람의 외모를 서술하기 위한 식별 특징들 이외에, 식별 프로파일은 예컨대, 정의된 영역 내에서 사람의 이전에 판별된 위치들, 또는 사람에 의해 운반되는 다양한 모바일 디바이스들로부터 송신된 식별자들 등과 같은 사람에 대한 다른 서술자들을 포함할 수 있다. 식별 프로파일의 컴파일링은 사전등록 프로세스의 일부일 수도 일부가 아닐 수도 있다. 대안적으로, 식별 프로파일은 사람이 정의된 영역(101) 내에 들어간 후에 정의된 영역(101)을 감시하는 카메라(107a 및 108c)로부터의 이미지 데이터를 사용하여 컴파일될 수도 있다. 이러한 식별 프로파일에서 사용되는 이미지 데이터는 사전등록 동안 부분적으로 수집될 수도 있고 그리고 정의된 영역(101)에서 부분적으로 수집될 수 있다. 또 다른 대안은 가령, 또 다른 모니터링 시스템과 같은 다른 소스로부터 식별 프로파일을 컴파일하는데 사용될 수 있는 식별 프로파일 또는 데이터를 입수(import)하는 것이다.
또한, 식별 프로파일은 정의된 영역(101)을 감시하는 카메라(107a 및 107c)로부터의 이미지 데이터로 연속적으로 업데이트될 수 있다. 식별 프로파일을 지속적으로 업데이트하는 것은, 사람의 외모에 관한 데이터의 적어도 일부가 의복, 안경, 헤어스타일 등에 의해 시간이 경과함에 따라 변할 수도 있기에 매우 유용할 수 있다.
사전등록은 전술한 등록 영역(105) 이외의 다른 위치에서 수행될 수 있다. 사전 등록은 예를 들어 정의된 영역(101)으로부터 멀리 떨어진 다른 등록 영역에서 수행될 수 있다. 정의된 영역에 대한 액세스를 요청할 때에 사용되는 자격증명들이 송신될 수 있거나 또는 정의된 영역(101)에 대한 액세스를 제어하는 물리적 액세스 제어 시스템의 자격증명 데이터베이스에 입력될 수 있는 한, 지정된 등록 영역이 심지어 필요 없을 수도 있다.
제 2 정의 영역(108)이 또한 정의된 영역(101) 내에 위치될 수 있는바, 따라서 사람이 제 2 정의 영역(108)에 들어가기 전에, 정의된 영역(101)에 대한 액세스를 먼저 요청해야만 한다. 정의된 영역(101)의 제 1 부분에 액세스한 모든 사람들이 또한 제 2 정의된 영역(108)에도 액세스할 수 있도록 액세스 규칙들이 물리적 액세스 제어 시스템에서 정의될 수 있다. 대안적으로는, 정의된 영역(101)의 제 1 부분에 들어갈 수 있는 사람들의 서브그룹이 또한 제 2 정의된 영역(108)에 액세스할 수 있도록 액세스 규칙들이 정의될 수도 있다. 제 2 정의된 영역(108)은, 물리적 액세스 제어기(103c)에 의해 제어되는 출입구(102c)를 통해 액세스된다. 물리적 액세스 제어기(103c)는 물리적 액세스 제어 시스템의 일부로서, 물리적 액세스 제어 시스템은, 정의된 영역에 대한 액세스를 요청하는 사람이 제시한 자격증명과 사전등록된 사람들의 자격증명을 포함하는 데이터베이스의 자격증명을 매칭함으로써, 정의된 영역에 대한 물리적 액세스를 제어한다. 자격증명 데이터베이스에 저장하는 것 뿐만 아니라 자격증명을 매칭하는 것은, 액세스 제어기(103a-b)와 마찬가지로, 액세스 제어기(103c) 상에서 국부적으로 처리되거나 또는 액세스 제어기에 접속된 서버에서 처리될 수 있다. 또한, 자격증명 입력 디바이스들(104a-b)에 대해서 이전에 설명된 것과 유사하게, 액세스 제어기(103c)는 자격증명 입력 디바이스(104c)에 접속된다.
복수의 모니터링 카메라들(107a-f)이 정의된 영역(101a)을 모니터링한다. 모니터링 카메라들(107a-f)은 정의된 영역(101a)의 제 1 부분에 대한 출입구를 모니터링할 수 있을 뿐만 아니라, 정의된 영역(101a) 내에 위치한 제 2 정의된 영역(108) 및 정의된 영역들 내의 다른 영역들에 대한 출입구들도 모니터링할 수 있다. 모니터링 카메라(107a-f)는 이미지 데이터를 저장, 처리 및 관리하기 위한 서버(109b)를 또한 포함할 수 있는 모니터링 시스템에 연결된다. 모니터링 시스템은 또한 부근의 모니터링 카메라들(107a-f)에 서비스하는 로컬 계산 디바이스를 포함할 수 있다. 모니터링 시스템에 연결된 디바이스들은 네트워크를 통해 통신하고 있으며, 네트워크는 근거리 통신망(LAN) 또는 무선 근거리 통신망(W-LAN) 또는 광역 통신망(WAN) 등의 유선 또는 무선 데이터 통신 네트워크와 같은 임의의 종류의 통신 네트워크일 수 있다. 모니터링 카메라들(107a-f)은 이미지 시퀀스를 생성할 수 있는 임의의 디지털 비디오 카메라들 및/또는 이미지 시퀀스를 생성할 수 있는 임의의 아날로그 비디오 카메라들일 수 있다. 모니터링 카메라가 아날로그 비디오 카메라인 경우, 아날로그 비디오 카메라는 아날로그 이미지 정보를 디지털 이미지 데이터로 변환하고 디지털 이미지 데이터를 네트워크(20)에 제공하는 컨버터에 연결된다. 이러한 컨버터는 비디오 인코더 또는 비디오 서버일 수 있다. 도 1에서, 서버(109b)는 정의된 영역(101)의 외부에 있지만 정의된 영역(101)과 접속되어 있는 파선으로 박스 내에 배치된다. 서버(109b)를 이렇게 표현한 목적은, 전술한 바와 같이, 서버가 정의된 영역(101) 내에 또는 정의된 영역의 외부에 물리적으로 위치할 수도 있음을 보여주기 위한 것이며, 서버(109b)가 정의된 영역(101) 외부에 위치할 경우 서버(109b)는 네트워크를 통해 모니터링 카메라들(107a-f)에 접속될 것이다. 대안적으로, 모니터링 카메라(107a-f)는 국부적으로 또는 부근의 모니터링 카메라(107a-f)에 서비스하는 로컬 연산 장치를 사용함으로써 이미지 데이터의 저장, 처리 및 관리를 처리하도록 구비될 수 있다. 모니터링 시스템은 저장된 식별 프로파일을 처리하고 모니터링 카메라에 의해 획득된 이미지 데이터에서 객체의 객체 추적을 관리한다. 모니터링 시스템은 물리적 액세스 제어 시스템에 연결된다. 서버(109a 및 109b)는 별도의 유닛으로서 도 1에 도시되어 있지만, 서버(109a 및 109b)의 기능은 하나의 물리적 서버 유닛 상에 결합될 수도 있다.
이제 도 2를 참조하면,도 1에 도시된 바와 같은 정의된 영역(101)에서 사람을 추적하는 방법이 설명된다. 본 방법은 정의된 영역에 진입한 사람을 식별함으로써 시작된다(단계 202). 이러한 식별은, 사전등록된 사람들의 자격증명을 포함하는 데이터베이스 내의 자격증명과 상기 사람에 의해서 시스템에 제시된 자격증명을 매칭시킴으로써 수행된다. 단계 202는 도 1과 관련하여 기술된 물리적 액세스 제어 시스템에 의해 수행될 수 있는데, 물리적 액세스 제어 시스템은 예를 들어, 사람에 의해 제시된 자격증명을 판독하기 위한 자격증명 입력 디바이스(104) 및 사전등록된 사람의 자격증명을 포함하는 데이터베이스 내의 자격증명과 상기 제시된 자격증명을 매칭시키는 액세스 제어기(103)를 포함할 수 있다. 하지만, 대안적으로, 액세스 제어기(103)는 제시된 자격증명을 중앙 서버(109a)에 전송하여, 제시된 자격증명과 사전등록된 사람들의 자격증명을 매칭하는 것을 수행할 수 있다.
정의된 영역(101)에 진입하는 사람을 식별하는 단계 202 이후에, 식별된 사람의 식별 프로파일이 영역(405)에서 추적되는 사람들의 리스트에 등록된다(단계 204). 단계(204)를 수행하기 위한 다양한 대안예들이 존재하는데, 식별된 사람에 대한 식별 프로파일이 모니터링 시스템에서 이용가능한 경우, 식별 프로파일은 "추적된(tracked)" 또는 이와 유사한 것으로 라벨링될 수 있다. 대안적으로는, 문제의 식별 프로파일에 대한 포인터가, 영역(405)에서 추적되는 사람들의 리스트로부터 생성될 수 있으며, 물론 이러한 식별 프로파일은 영역(405)에서 추적되는 사람들의 리스트를 위해 지정된 메모리에 복사될 수도 있다. 식별된 사람의 식별 프로파일이 모니터링 시스템에서 이용가능하지 않은 경우, 정의된 영역(101)을 모니터링하는 감시 카메라(107)에 의해 캡처된 이미지 데이터로부터 새로운 식별 프로파일이 생성될 수 있다. 일례로서, 정의된 영역(101)에 대한 출입구(102a)를 감시하는 모니터링 카메라(107c)는 이미지를 데이터를 획득하는데 이용될 수 있으며, 이와 같이 획득된 이미지 데이터로부터, 식별된 사람의 외관을 기술하기 위한 식별 특징들이 추출될 수 있으며 그리고 식별 프로파일에 등록될 수 있다. 정의된 영역(101)에 대한 출입구(102a)를 감시하는 모니터링 카메라(107c)에 의해 캡처된 이미지 데이터는 또한, 식별된 사람의 현재 외관을 기술하는 식별 특징들로 이용가능한 식별 프로파일을 업데이트하는데 유용할 수 있다. 식별 프로파일을 업데이트하기 위하여, 정의된 영역(101)에 대한 출입구(102a)를 감시하는 모니터링 카메라(107c)에 의해 캡처된 이미지 데이터를 사용하는 것의 장점은, 자격증명을 제시 및 매칭됨에 의하여 사람이 식별되었을 때 또는 그 직후에 수행된다는 점인데, 이는 정의된 영역에 상기 사람을 들어가게 할 수 있는 충분한 확신을 가지고 상기 사람에 대한 긍정적인 식별이 이루어졌음을 암시한다. 예를 들어, 상기 사람이 새로운 헤어스타일, 새로운 안경 또는 사람의 외형을 바꾸는 단순한 새로운 의상을 입은 경우, 제시된 자격증명으로부터 사람에 대한 식별이 알려진 그 시점에서 식별 프로파일이 시스템에서 이에 맞게 적응될 수 있다.
다음으로, 추적 방법은 영역 내의 장면으로부터 이미지 데이터를 수신하는 단계(단계 206)로 진행한다. 수신된 이미지 데이터는 정의된 영역(101)을 모니터링하는 임의의 모니터링 카메라(107)에 의해 캡처된다. 당 업계에 공지된 임의의 객체 검출 알고리즘에 의해서, 수신된 이미지 데이터로부터 객체가 검출될 수 있다. 움직이는 객체는 예를 들어, 모션 검출 알고리즘에 의해 검출될 수 있다. 모션 검출 알고리즘들의 몇몇 일례들은, 비디오 프레임들을 비교하고 비디오 프레임 간의 변화를 검출하는 변화 검출 알고리즘, 이동하는 포어그라운드 객체들(moving foreground objects)을 추출하기 위해 모니터링된 장면의 백그라운드 모델을 사용하는 알고리즘들, Almbladh에 의해 US 8,121,424에 기술된 바와 같은 시공간 알고리즘 또는 이들의 임의의 조합이 될 수 있다. 객체들의 움직임으로부터 객체들을 검출하는 대안적인 일례는, 형상 검출(shape detection)을 이용하여 객체들의 시각적인 피처들에 의하여 객체들을 검출하는 것이다. 다양한 유형들의 이러한 객체 검출 방법들이 해당 기술분야에 공지되어 있으며 여기서 계단식 식별자들(cascades of identifiers)는 객체를 검출하는데 사용되는바 예컨대, 비올라, 폴, 마이클 존스가 저술한 "단순한 피처들의 부스팅된 케스케이드를 사용하는 신속한 객체 검출(Rapid object detection using a boosted cascade of simple features)" 컴퓨터 시각 및 패턴 인식, 2001. CVPR 2001. 2001 IEEE 컴퓨터 학회 컨퍼런스 논문집. Vol. 1. IEEE, 2001 에 서술되어 있다. 이들 알고리즘들에 중요한 것은 시각적 피처들이기 때문에, 유사한 시각적 피처들을 공유하는 객체들의 그룹들이 검출될 수 있으며, 이러한 그룹들의 일례로는 얼굴들, 차량들, 인간들 기타 등등이 있다. 이러한 방법들 중 임의의 것이 별도로 혹은 조합되어, 이미지 데이터 내의 객체를 검출하는데 이용될 수 있다. 또한, 이미지 데이터의 동일한 세트에서 여러 객체들이 검출될 수도 있다. 객체 검출은 모니터링 카메라들(107)에서 수행될 수 있는바, 이미지 데이터를 캡처한 모니터링 카메라에 의해 수행되거나 또는 이미지 데이터를 캡처한 모니터링 카메라로부터 이미지 데이터를 수신하는 다른 모니터링 카메라에 의해서 수행될 수 있다. 대안적으로, 객체 검출은 모니터링 시스템의 모니터링 카메라(107)에 연결된 서버(109b)에서 수행되거나 또는 부근의 모니터링 카메라(107)에 서비스하는 로컬 계산 장치에서 수행될 수 있다.
객체가 이미지 데이터에서 검출되면, 검출된 객체의 시각적 외관을 서술하는 식별 특징들의 세트가 생성된다(단계 208). 단일 이미지 프레임으로부터의 이미지 데이터 또는 정의된 영역(101)을 모니터링하는 하나 이상의 모니터링 카메라(107)에 의해 캡처된 비디오 시퀀스가, 검출된 객체에 대한 식별 특징들을 생성하는데 사용될 수 있다. 다양한 이미지 및/또는 비디오 분석 알고리즘들이 이미지 데이터로부터 식별 특징들을 추출하고 생성하는데 사용될 수 있다. 이러한 이미지 또는 비디오 분석 알고리즘들의 일례는 다음과 같은 다양한 알고리즘들인바, 얼굴의 피처들을 추출하기 위한 Turk, Matthew A., and Alex P. Pentland 이 저술한 "아이겐페이스를 이용한 안면 인식(Face recognition using eigenfaces)"　Computer Vision and Pattern Recognition, 1991. Proceedings CVPR'91., IEEE Computer Society Conference on. IEEE, 1991; Lee, Lily, W. Eric L. Grimson 이 저술한 보행(걸음걸이) 피처들을 추출하기 위한 "식별 및 분류를 위한 보행 분석(Gait analysis for recognition and classification)"　Automatic Face and Gesture Recognition, 2002. Proceedings. Fifth IEEE International Conference on. IEEE, 2002; 또는 색상을 추출하기 위한 Brogren 등의 미국특허 제 8,472,714 호가 그것이다.
식별 특징들은, 이미지 데이터를 캡처한 모니터링 카메라, 모니터링 시스템의 또 다른 모니터링 카메라, 근처의 카메라를 서빙하는 로컬 계산 유닛 또는 모니터링 카메라들에 연결된 서버(109b)에서 생성될 수 있다. 식별 특징들의 생성은 수신된 이미지 데이터에서 객체가 검출됨에 응답하여 이루어진다. 객체가 시스템의 일 부분에서 검출되고 그리고 식별 특징들의 생성이 시스템의 다른 부분에서 수행되는 경우, 이미지 데이터에서 검출된 객체를 기술하는 데이터는, 객체를 검출하는 부분으로부터 식별 특징들을 생성하는 부분으로 송신될 수 있다. 이미지 데이터에서 검출된 성분을 기술하는 이러한 데이터의 일례는 이미지 좌표, 타임 스탬프, 객체 라벨, 컬러 식별자, 객체의 이미지 기타 등등이 될 수 있다. 이것은, 수신 부분이, 검출된 객체의 식별 특징들을 생성함으로써 객체를 검출하는 방법을 계속할 수 있게 한다.
이후, 생성된 식별 특징들은, 검출된 대상에 대해 저장되고 그리고 영역(405)에서 추적되는 사람들의 리스트의 등록된 식별 프로파일들 내의 식별 특징들과 비교된다(단계 210). 영역(405)에서 추적되는 사람들의 리스트를 보관함으로써, 검출된 객체에 대해서 생성된 식별 특징들을, 정의된 영역에 있을 수도 있는 가능성을 갖는 사람들(예컨대, 제조 시설의 모든 직원들, 사무실에서 근무하는 모든 사람들, 출입문이 있는 커뮤니티에 거주하는 모든 사람들 기타 등등)의 완전한 리스트와 비교할 필요가 없다. 이러한 것은, 식별의 정확성이 향상될 수 있게 하고, 많은 처리 능력과 처리 시간이 절약될 수 있게 하며 그리고 제한된 처리 능력 및 처리 시간을 갖는 시스템의 구성 요소에서 실제 처리가 수행될 수 있게 한다. 영역(405)에서 추적되는 사람들의 리스트 상의 사람들이 등록되고 그리고 정의된 영역으로 들어가는 것에 응답하여 상기 리스트에 등재된다는 사실로 인하여, 비교가 이루어지는 단계(210)의 일부로서 리스트를 구성하는데 그 어떤 시간이나 처리 능력도 필요하지 않다. 정의된 영역(101)에 들어간 사람이 정의된 영역(101) 주위에서 움직일 가능성이 높으며 그리고 정의된 영역 내의 많은 위치들에서 모니터링 카메라들(107)에 의해서 캡처된 이미지 데이터에서 검출될 수 있기 때문에, 식별 단계(202) 및 등록 단계(204)보다 비교 단계(210)가 시스템에 의해 더 빈번하게 수행된다라고 가정될 수 있을 것이다. 따라서, 단계 202에서의 식별에 응답하여 정의된 영역(101)에 들어가는 식별된 사람들을 등록함으로써, 리스트를 구성하는 것과 관련된 프로세싱이 또한 감소될 것이다.
단계(212)에서, 검출된 객체의 식별 특징들의 세트와 가장 잘 매칭되는, 영역(405)에서 추적되는 인물들의 리스트 내의 식별 프로파일이 결정된다. 이는 식별 프로파일의 식별 특징이 검출된 객체의 생성된 식별 특징과 얼마나 잘 매칭되는지를 설명하는 신뢰도 점수를 계산함으로써 수행될 수 있다. 예를 들어, 신뢰도 점수는 백분율로 정의할 수 있으며, 여기서 100 % 또는 1은 동일한 식별 특징들의 일치를 나타내고 0 % 또는 0은 2개의 완전히 다른 식별 특징들을 나타낸다. 매칭을 위한 기초로서 사용되는 이미지 데이터가 조명 조건, 이미지 프로세싱 아티팩트들, 모니터링 카메라들의 성능 등에 쉽게 영향을 받기 때문에, 식별 특징들의 매칭은 수행하기 어려울 수 있다. 매칭의 신뢰성을 높이기 위하여, 여러 개의 상이한 식별 특징들이 병렬로 사용될 수 있으며 그리고 결합된 결과가 이용될 수 있다. 검출된 객체에 대해 생성된 식별 특징들과 가장 잘 매칭되는 식별 프로파일을 결정하기 위해 신경망(neural network) 접근법이 사용될 수도 있다. 그 후, 신경망은 검출된 객체의 식별 특징들과 식별 프로파일들 사이에서 가장 높은 상관관계를 갖는 최상의 매칭을 찾아내도록 트레이닝될 수 있으며 그리고 서버(109a-b) 상에 구현되거나 또는 모니터링 카메라(107)들에 분산되거나 또는 모니터링 카메라들에 연결된 로컬 계산 유닛들 상에 분산될 수도 있다. 훈련의 경험에 기초하여, 신경망은 최상의 매치에 도달하는데 가장 효율적인 식별 특징들의 조합을 사용할 것이다. 따라서, 최상의 매칭을 찾아내는데 효율적이지 않은 경우, 일부 식별 특징들은 이러한 시나리오에서 사용되지 않을 수도 있다. 예를 들어, 매칭을 찾는데 있어 효율성은 예를 들어, 최상의 매칭을 실제로 찾아내는 성공들, 최상의 매칭을 찾는데 필요한 리소스들, 최상의 매칭을 찾는데 걸리는 시간, 또는 최상의 매칭을 찾기 위해 요구되는 프로세싱 파워를 지칭할 수 있다. 신경망은 매칭을 수행하기 위한 가능한 접근법들 중 하나 또는 이들의 조합을 사용하도록 구현될 수 있다. 해당 기술분야에 공지된 상이한 매칭 접근법들이 존재하는바 예컨대, 검출된 객체의 식별 특징들과 식별 프로파일의 식별 특징들 간의 유클리드 거리가 매칭에서 이용될 수 있는데, 이에 대해서는 Schroff 등의 "페이스넷(Facenet): A unified embedding for face recognition and clustering."　Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015 를 참조하라. 대안적인 일례는, 피처 캐스케이드에 기초하는 알고리즘들을 적용하는 것인데, 이는 가령 비올라, 폴, 마이클 존스가 저술한 "단순한 피처들의 부스팅된 케스케이드를 사용하는 신속한 객체 검출(Rapid object detection using a boosted cascade of simple features)" 컴퓨터 시각 및 패턴 인식, 2001. CVPR 2001. 2001 IEEE 컴퓨터 학회 컨퍼런스 논문집. Vol. 1. IEEE, 2001 에 서술되어 있다. 유클리드 거리 접근법을 사용하는 경우, 짧은 유클리드 거리는 높은 상관관계를 나타내는 반면에, 긴 유클리드 거리는 식별 특징들 간의 낮은 상관관계를 나타낸다.
단계(214)에서, 검출된 객체는, 검출된 객체의 식별 프로파일과 가장 잘 매칭되는 것으로 결정된 식별 프로파일에 연결된다. 이러한 연결은 객체가 검출된 이미지 프레임에 연결된 메타 데이터로서 저장된 참조, 태그 또는 포인터로 구현될 수 있다. 대안적으로는 또는 조합되어, 비디오 프레임 또는 비디오 프레임들의 시퀀스에 대한 참조, 태그 또는 포인터 또는 시점, 시간 간격, 및 검출된 객체의 이미지를 캡처한 장면 또는 카메라의 위치가, 검출된 객체의 식별 특징과 가장 매칭되는 것으로 결정된 식별 프로파일에 저장될 수 있다.
식별 특징들의 최상의 매칭들 찾아내는데 신뢰도 점수를 사용하는 것 이외에도, 신뢰도 점수는 최상의 매치가 사실 양호하지 않은 매칭임을 나타내는 표시자로서 사용될 수도 있다. 검출된 객체의 식별 특징들의 세트와 가장 높은 상관관계를 갖는 식별 프로파일에 대응하는 계산된 신뢰도 스코어가 기결정된 제 1 임계값보다 작은 경우, 검출된 객체를 최상의 매칭을 생성하는 식별 프로파일에 연결하는 동작은 실행되지 않을 수 있다. 이러한 것은, 잘못될 수도 있는 결과를 시스템이 저장하는 것을 방지한다. 또한, 이러한 경우, 경보가 생성되어 시스템의 운영자에게 전송될 수 있다. 열악한 상관관계를 갖는 이러한 매칭 케이스들이 열악한 매칭으로서 강조되는 것이 매우 중요할 수 있는데, 왜냐하면 이는 정의된 영역(101)에 액세스하는 것이 허용되지 않는 사람이 정의된 영역(101)에 대한 액세스를 어쨌든 획득했음을 나타내는 표시가 될 수 있기 때문이다.
영역(405)에서 추적되는 사람들의 리스트를 최신으로 유지하기 위하여, 정의된 영역(101)을 벗어나는 것으로 확인된 정확한 사람들이 상기 리스트로부터 삭제될 수 있다. 사람들은 예를 들어, 정의된 영역을 떠나갈 수 있도록 예컨대, 문을 개방하기 위하여 자격증명을 제시함으로써, 정의된 영역(101)을 떠나는 것으로 식별될 수 있다. 제시된 자격증명은 사전등록된 사람들의 자격증명을 포함하는 데이터베이스 내의 자격증명과 비교되어 이들의 신원을 찾아낼 수 있으며 그리고 이들의 식별 프로파일을 상기 영역(405)에서 추적되는 사람들의 리스트로부터 제거할 수 있다.
또한, 기결정된 활동 시간 기간 동안에, 탐지된 객체에 연결되지 않은 식별 프로파일들은, 영역(405)에서 추적되는 사람들의 리스트로부터 제거될 수 있다. 따라서, 정의된 영역(101)에 들어간 사람이 모니터링됨이 없이 정의된 영역(101) 내의 소정 위치에 머무른다면, 또는 정의된 영역(101)을 떠나가는 것으로 식별됨이 없이 정의된 영역(101)을 떠나간다면, 그 사람은 상기 기결정된 활동 시간 기간이 경과된 이후에, 영역(405)에서 추적되는 사람들의 리스트로부터 제거될 수 있는바, 왜나하면 그 사람의 식별 프로파일은 검출된 객체에 지난 번에 연결된 것이기 때문이다. 이러한 피처가 구현됨으로써, 영역(405)에서 추적되는 인물들의 리스트를 정확하게 유지하고 필요한 것보다 많은 사람들을 포함하지 않게 유지할 수 있으며, 추적의 프로세싱 시간을 단축하고 식별의 정확도를 증가시킬 수 있다. 상기 기결정된 활동 시간 기간의 범위는 시스템마다 다를 수 있다. 정의된 영역(101)에서 많은 사람들이 주위에서 빈번히 움직이고 있으며 그리고 영역을 떠나는 사람들을 식별하는 것이 어려운 경우에는, 상기 시간 기간을 매우 짧게 설정하는 것이 바람직하다. 오직 소수의 사람들만이 주변에서 움직일 것으로 예상되며 그리고 정의된 영역(101) 내에서 오랜 시간 동안 모니터링됨이 없이 장소들에서 머무를 수 있는 경우(예를 들어 호텔), 이러한 기결정된 시간 기간은 전형적으로 더 길게 설정된다.
도 3에는 사람을 추적하기 위한 다른 방법이 도시된다. 이 방법은 도 2를 참조하여 설명된 방법에 기초하며 도 2의 방법과 공통적인 몇몇 단계들을 가지며, 공통적인 단계들은 간략화를 위해 동일한 참조 번호로 표시된다.
도 3의 추적 방법은 자격증명을 매칭시킴으로써 사람을 식별하는 단계(202)에서 시작하고, 단계(204)에서 영역(405)에서 추적된 사람들의 리스트에 식별된 사람의 식별 프로파일을 등록한다. 상기 단계(202) 및 단계(204)는 도2와 관련하여 앞서 설명되었다. 하지만, 단계(304)에서, 영역(505)에 들어간 사람들의 리스트에 식별 프로파일이 또한 등록된다. 영역(505)에 들어간 사람들의 리스트는, 상기 영역에 들어간 것으로 식별된 모든 사람들의 식별 프로파일들을 포함한다. 리스트을 정확하게 유지하기 위해, 해당 지역을 떠난 것으로 식별된 사람들은 상기 리스트에서 삭제될 수 있다. 도 2에 도시된 추적 방법과 유사하게, 이미지 데이터가 단계(206)에서 수신되고, 수신된 이미지 데이터에서 검출된 객체에 대한 식별 특징들이 단계(208)에서 생성된다. 단계(310)에서, 생성된 식별 특징들이 영역(405)에서 추적된 사람들의 리스트에 있는 식별 프로파일들과 비교되는바, 생성된 식별 특징들과 식별 프로파일들의 대응하는 식별 특징들 간의 상관관계의 신뢰도 점수를 계산함으로써 비교된다. 신뢰도 점수는 앞서 논의되었고, 이러한 논의는 단계(310)에서 계산된 신뢰도 점수에도 적용된다. 단계(213)에서, 검출된 객체의 생성된 식별 특징들과 가장 높은 상관관계를 가지는(따라서 가장 높은 신뢰도 점수를 생성하는) 식별 프로파일이 선택된다. 생성된 식별 특징들과 가장 높은 상관관계를 갖는 식별 프로파일 간의 매칭 품질을 검사하기 위하여, 가장 높은 상관관계와 관련된 신뢰도 점수가 단계(316)에서 임계값과 비교된다. 신뢰도 점수가 상기 임계값 보다 크면, 생성된 식별 특징들과 상기 식별 프로파일 간의 매칭은, 단계(214)로 계속 진행할 수 있을 정도로 충분히 양호한 품질을 가지며, 단계(214)에서는 검출된 객체가 식별 프로파일에 연결된다.
하지만, 신뢰도 점수가 상기 임계값 보다 크지 않으면, 이는 생성된 식별 특징들과 상기 식별 프로파일 간의 매칭이 열악한 상관관계를 갖고 있음을 나타낸다. 전형적으로 이것은, 영역(405)에서 추적되는 사람들의 리스트로부터 제거되었던 사람이 상기 영역의 모니터링되는 부분에서 다시 움직이기 시작한 경우이다. 또한, 열악한 상관관계는 자격증명을 제시하지 않고 상기 영역에 사람이 들어온 것을 나타낼 수 있다.
다음으로, 생성된 식별 특징들은 영역(505)에 들어간 사람들의 리스트에 있는 식별 프로파일들과 비교되는바, 생성된 식별 특징들과 상기 식별 프로파일들의 대응하는 식별 특징들 간의 상관관계에 대한 신뢰도 점수를 계산함으로써 비교된다(단계 318 참조). 단계 312와 유사하게, 가장 높은 상관관계에 대응하는 식별 프로파일이 단계 320에서 선택되고 그리고 단계 214에서 검출된 객체에 연결된다. 만일, 검출된 객체의 식별 특징들의 세트에 대하여 가장 높은 상관관계를 갖는 식별 프로파일의 대응 신뢰도 점수가 기결정된 제 2 임계값 보다 작다면, 검출된 객체를 최상의 매칭을 생성하는 식별 프로파일에 연결하는 행위는 수행되지 않을 수 있다. 이것은, 오류가 발생할 수도 있는 결과를 시스템이 저장하는 것을 방지할 것이다. 이러한 경우, 경보가 생성되어 시스템의 운영자에게 전송될 수 있다. 열악한 상관관계를 갖는 이러한 매칭 케이스들이 열악한 매칭으로서 강조되는 것은 매우 중요할 수 있는데, 왜냐하면 이는 정의된 영역(101)에 액세스하는 것이 허용되지 않는 사람이 정의된 영역(101)에 대한 액세스를 어쨌든 획득했음을 나타내는 표시가 될 수 있기 때문이다.
영역(405)에서 추적된 사람들의 리스트는 영역(505)에 들어간 사람들의 리스트의 서브세트를 포함한다. 따라서, 영역(405)에서 추적된 사람들의 리스트는, 상기 영역에 들어 왔고 그리고 현재 추적중이거나 또는 검출된 객체에 최근에 적어도 연결된 사람들의 리스트이다. 이러한 것은, 검출된 객체에 특정 시간 기간 동안 연결되지 않았던 식별 프로파일들을 영역에서 추적되는 사람의 리스트로부터 제거하도록, 앞서 언급된 바와 같은 기결정된 활동 시간 기간을 사용함으로써 구현될 수 있다. 따라서, 영역(405)에서 추적되는 사람들의 리스트는, 이미지 데이터에서 객체가 검출될 때 가장 높은 상관관계를 갖는 매칭에 대하여 가장 가능성이 높은 후보들을 포함할 것이다. 따라서, 오직 가능성이 가장 높은 후보들만이 비교 단계(310)에서 이용되기 때문에, 본 발명의 추적 방법이 이용될 때 대부분의 경우들에서 프로세싱 시간 및 리소스들이 감소될 것이며, 그리고 가능성이 가장 높은 후보들 중 하나가 충분히 양호한 상관관계를 갖는 매칭을 생성하지 않는 드문 경우들에서는, 해당 영역에 들어갔지만 검출된 객체에 최근에 연결되지 않은 사람들의 식별 프로파일들과 상기 식별 특징들을 비교할 기회를 제 2 비교 단계(318)가 제공할 것이다. 따라서, 만일 정의된 영역(101)에 사람이 들어갔지만 예컨대 모니터링 카메라들(107) 중 임의의 카메라에 의해 모니터링되지 않는 방(room)에서 기결정된 활동 시간 기간 보다 더 긴 시간 동안 머무르고 있다면, 그 사람의 식별 프로파일은 영역(405)에서 추적되는 사람들의 리스트로부터 제거될 수 있다. 하지만, 그 사람은 영역(505)에 들어간 사람들의 리스트에는 여전히 존재할 것이기 때문에, 그 사람이 모니터링되지 않은 방을 떠나서 모니터링 카메라에 검출된 경우, 그 사람의 식별 프로파일이 선택될 수 있다.
식별 프로파일이 영역(405)에서 추적되는 사람들의 리스트로부터 제거되는 이러한 경우, 검출된 객체를 문제가 되는 식별 프로파일에 연결하는 단계 214에 응답하여, 영역(405)에서 추적되는 사람들의 리스트에 상기 식별 프로파일이 다시 등록될 수 있다.
영역(405)에서 추적되는 사람들의 리스트가 영역(505)에 들어간 사람들의 리스트의 서브세트를 포함한다는 사실로 인하여, 영역(405)에서 추적되는 사람들의 리스트에 있는 식별 프로파일들에 대해서는 신뢰도 점수가 단계 318에서 재계산될 필요가 없을 수 있다. 단계(310)에서 이들 식별 프로파일들에 대해서 계산된 신뢰도 점수는 단계(318)에서 재사용될 수 있으며 또는 단계(318)에서 수행되는 비교에 이러한 식별 프로파일들이 포함되지 않는다라고 결정될 수 있다.
또한, 영역에 들어온 사람들의 식별 프로파일들은, 그 사람이 상기 영역에 들어온 것으로 식별된 시점 이후부터 기결정된 존재 시간 기간이 경과한 경우, 상기 리스트로부터 제거될 수 있다. 이것은, 영역에 들어간 사람들의 리스트를 최신으로 그리고 정확하게 유지하는데 매우 유용한데, 왜냐하면 사람들이 영역을 떠나는 것으로 식별됨이 없이, 정의된 영역을 떠날 가능성이 있기 때문이다. 일반적으로, 기결정된 존재 시간 기간은, 정의된 영역 내의 예상 존재 시간보다 더 긴 시간으로 설정될 것이다. 예를 들어, 정의된 영역이 오피스 콤플렉스인 경우 이러한 시간 기간은 소정의 안전 마진을 구비한 예상 근무 시간으로 설정될 수 있다.
선택된 식별 프로파일에 검출된 객체를 연결하는 단계(214)에 응답하여, 선택된 식별 프로파일은, 검출된 객체의 생성된 식별 특징들로부터의 데이터로 업데이트될 수 있다. 대안으로서, 식별 프로파일을 업데이트하는 것은 매칭의 상관관계가 충분히 높은 경우에만 수행될 수 있다(예를 들어, 업데이트를 위한 기결정된 임계값과 신뢰도 점수를 비교함으로써). 업데이트를 수행하는 방법 중 하나는, 식별 프로파일의 현재 정보 및 식별 특징들의 생성된 세트로부터의 정보에 기초하여 통계적 척도를 계산하는 것일 수도 있다.
도 4를 참조하여, 사람을 추적하기 위한 시스템(400)이 논의될 것이다. 사람을 추적하기 위한 시스템(400)은 사전등록된 사람들의 자격증명을 포함하는 데이터베이스 내의 자격증명과 그 사람이 제시한 자격증명을 매칭함으로써 정의된 영역에 들어간 사람을 식별하도록 구성된 식별 모듈(402), 영역(405)에서 추적되는 사람들의 리스트에 사람의 식별 프로파일을 등록하는 등록 모듈(404), 상기 식별 프로파일은 사람을 식별하기 위한 정보를 포함하며, 영역 내의 장면으로부터 이미지 데이터를 획득하도록 구성된 이미지 획득 디바이스(406), 이미지 획득 디바이스에 의해서 획득된 이미지 데이터에서 검출된 객체에 대한 식별 특징들의 세트를 생성하는 식별 특징 생성 모듈(408), 검출된 객체에 대해 생성된 식별 특징들의 세트와 영역(405)에서 추적되는 사람들의 리스트에 있는 등록된 식별 프로파일들을 비교하고 그리고 영역(405)에서 추적되는 사람들의 리스트에 있는 식별 프로파일들 중 검출된 객체의 식별 특징들의 세트와 최상으로 매칭되는 것을 판별하도록 구성된 매칭 모듈(410), 및 검출된 객체의 식별 프로파일과 최상으로 매칭되는 상기 판별된 식별 프로파일에 검출된 객체를 연결하도록 구성된 추적 모듈(412)을 포함한다.
도 4의 식별 모듈(402)은 물리적 액세스 제어기(103a, 103b) 상에 또는 서버(109a)와 같은 물리적 액세스 제어 시스템에 접속된 서버 상에 구현될 수 있다. 109a 또는 109b와 같은 중앙 서버는 전형적으로 등록 모듈(404)의 기능을 포함하지만, 대안적으로 등록 모듈의 기능은 모니터링 카메라들(107)에 분산될 수도 있으며 또는 공지된 피어-투-피어 프로토콜을 이용하여 물리적 액세스 제어기들(103) 상에 분산될 수도 있다. 또 다른 대안으로서, 등록 모듈(404)은 또한 하나 이상의 근방의 모니터링 카메라(들)(107)에 서비스하는 로컬 계산 유닛(들) 상에 구현될 수도 있다. 식별 모듈(402)은 등록 모듈(404)에 연결되고 그리고 식별된 사람의 식별자를 등록 모듈(404)에 전송하는바, 따라서 식별된 사람의 식별 프로파일이 영역(405)에서 추적되는 사람들의 리스트에 등록될 수 있다. 등록 모듈(404)은 시스템(400 및 500)의 다른 모듈과 관련하여 영역(405)에 추적되는 사람들의 리스트의 엔트리에 관한 통신을 저장 및 처리한다. 등록 모듈(404)은 서브 모듈들을 포함할 수 있는바 예컨대, 시스템(400 및 500)의 다른 모듈과의 통신을 처리하는 하나의 서브 모듈 및 영역(405)에서 추적되는 사람들의 실제 리스트를 저장하는 하나의 서브 모듈을 포함할 수 있다.
모니터링 카메라들(107)은, 정의된 영역(101) 내의 장면으로부터 이미지 데이터를 캡처하는 이미지 획득 디바이스(406)의 일례들이다. 또한, 모니터링 카메라들(107)은 식별 특징 생성 모듈을 포함할 수도 있고, 대안적으로 이러한 모듈은 모니터링 카메라들(107)에 연결된 중앙 서버(109b) 상에 위치될 수도 있다. 후자의 경우, 모니터링 카메라는 모니터링된 장면의 이미지 데이터를 전송할 것이며, 구체적으로는 카메라에서 객체 검출이 수행되면, 검출된 객체의 이미지 데이터가 중앙 서버(109b)로 전송될 것이다.
매칭 모듈(410)은 등록된 식별 프로파일들에 관한 정보를 등록 모듈(404)로부터 수신하며 그리고 생성된 식별 특징들을 식별 특징 생성 모듈(408)로부터 수신하는바, 이는 최상의 매칭을 찾아내기 위한 비교를 수행하기 위한 것이다. 앞서 설명된 바와 같이, 이러한 비교는 신뢰도 점수를 계산 및 비교함으로써 수행될 수 있다. 이후, 최상의 매치를 야기하는 식별 프로파일을 식별하는 데이터는, 추적 모듈(412)에 전송될 것이며, 추적 모듈(412)은 검출된 객체를 이러한 식별 프로파일에 연결한다. 매칭 모듈(410)과 추적 모듈(412)은 중앙 서버(109), 인근 카메라들을 서비스하는 로컬 계산 유닛(들) 상에 구현되거나, 복수의 모니터링 카메라(107) 또는 물리적 액세스 제어 서버들(103) 상의 분산된 기능으로서 구현될 수 있다.
도 5는 사람을 추적하기 위한 시스템(500)의 다른 일례를 도시한다. 시스템(400)과 관련하여 전술한 모듈들 중 일부는 시스템(500)에도 존재한다. 이들 모듈들에 대한 설명은 시스템(500)에도 적용된다.
시스템(500)의 영역(505)에 들어간 사람들의 리스트에 식별 프로파일들을 등록하는 입구 등록 모듈(514)은, 물리적 액세스 제어 시스템의 일부로서 구현될 수 있는바 예컨대, 물리적 액세스 제어기(103)에 포함되거나 또는 물리적 액세스 제어기(103)에 연결된 중앙 서버에 포함될 수 있다. 입구 등록 모듈(514)은 시스템(500)의 다른 모듈과 관련하여, 접속된 영역(505)에 들어간 사람들의 리스트의 엔트리들에 관하여 정보를 저장하고 통신을 처리한다. 입구 등록 모듈(514)은 서브 모듈들을 포함할 수 있는바 예컨대, 시스템(500)의 다른 모듈들과의 통신을 처리하는 하나의 서브 모듈 및 영역(505)에 들어간 사람들의 실제 리스트를 저장하는 하나의 서브 모듈을 포함할 수 있다. 영역(405)에서 추적되는 사람들의 리스트와 함께 동작하는 매칭 모듈(410)에 부가하여, 제 2 매칭 모듈(512)이 시스템(500)에 포함되며, 제 2 매칭 모듈(512)은 영역(505)에 들어간 사람들의 리스트 상의 식별 프로파일들을 매칭시킨다. 따라서, 매칭 모듈(512)은 등록된 식별 프로파일들에 관한 정보를 입구 등록 모듈(514)로부터 수신하고 그리고 생성된 식별 특징들을 식별 특징 생성 모듈(408)로부터 수신하여, 최상의 매칭을 찾기 위한 비교를 수행한다.
등록 해제 모듈(516)은 시스템(500) 내의 등록 모듈(404)에 접속된다. 등록 해제 모듈 (516)은, 검출된 객체가 식별 프로파일에 연결되었던 마지막 시점 이후에 기결정된 활동 시간 기간이 경과한 경우, 영역(405)에서 추적되는 사람들의 리스트로부터 사람의 식별 프로파일을 등록 해제하도록 구성되며 따라서 등록 모듈(404)에 연결된다. 등록 모듈(404)과 유사하게 등록 해제 모듈(516)은 109a 또는 109b와 같은 중앙 서버 상에 구현될 수 있다. 그러나, 등록 해제 모듈(516)의 기능은 대안적으로 당업계에 공지된 피어-투-피어 프로토콜을 사용하여 모니터링 카메라들(107) 또는 물리적 액세스 제어기(103) 상에 분산될 수 있다. 다른 대안은 하나 이상의 인접한 모니터링 카메라(들)(107)을 서빙하는 로컬 계산 유닛(들) 상에 등록 해제 모듈(516)을 구현하는 것이다.
또한, 본 발명은 컴퓨터 판독가능 프로그램 코드가 기록된 하나 이상의 컴퓨터 판독가능 매체(들)에 구현되는 비일시적인 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
본 발명에 따른 물리적 액세스 제어 시스템 및 모니터링 시스템은 또한 비디오 관리 시스템(video management system), 소위 VMS에 접속될 수도 있다. 일반적으로, 비디오 관리 시스템은 모니터링 카메라들 및 모니터링 카메라들로 생성된 비디오를 관리하지만 물리적 액세스 제어 시스템을 추가로 관리하도록 확장될 수도 있다. 따라서, VMS와 인터페이싱하는 운영자는 본 발명에 따른 객체 추적 시스템을 구성할 수 있다. 앞서 언급된 신뢰도 점수들에 대한 임계값들은 예를 들어 VMS 인터페이스를 사용하여 운영자에 의해 설정될 수 있다. 이와 유사하게, 존재 시간 기간 및 활동 시간 기간도 VMS를 사용하여 구성될 수 있다.
검출된 객체들과 식별 프로파일들 사이에서 만들어진 연결은 또한 VMS에 의해, 예를 들어 운영자에 의해 지정된 객체의 이미지 데이터 및 물리적 좌표를 수집하는데 사용될 수 있다. 수집된 이미지 데이터와 물리적 좌표로부터, 운영자의 사용을 위해 통계 뿐만 아니라 시각적 일러스트레이션들(visual illustrations)이 추출될 수 있다. 이러한 유형의 객체 추적 검색들은, 소위 포렌식 비디오 서치에서 기록된 자료 뿐만 아니라 실시간 데이터 둘다를 이용하여 수행될 수 있다.

Claims (16)

  1. 사람을 추적하는 방법으로서,
    정의된 영역에 들어가는 사람을 식별하는 단계로서, 사전등록된 사람들의 자격증명을 포함하는 데이터베이스의 자격증명과 상기 사람이 제시한 자격증명을 매칭시킴으로써, 상기 정의된 영역에 들어가는 사람을 식별하는 단계;
    상기 영역에서 추적되는 사람들의 리스트에 상기 식별된 사람의 식별 프로파일을 등록하는 단계, 상기 식별 프로파일은 상기 사람의 외관을 기술하는 식별 특징들을 포함하며;
    상기 영역 내의 장면으로부터 이미지 데이터를 수신하는 단계;
    상기 수신된 이미지 데이터에서 검출된 객체에 대한 식별 특징들의 세트를 생성하는 단계;
    상기 검출된 객체에 대한 식별 특징들의 생성된 세트와 상기 영역에서 추적되는 사람들의 리스트에 등록된 식별 프로파일의 식별 특징들을 비교하는 단계;
    상기 검출된 객체에 대한 식별 특징들의 생성된 세트와 최상으로 매칭되는 식별 특징들의 세트를 포함하는, 상기 영역에서 추적되는 사람들의 리스트에 있는 식별 프로파일을 판별하는 단계; 및
    상기 검출된 객체에 대한 식별 특징들의 생성된 세트와 최상으로 매칭되는 식별 특징들의 세트를 포함하는 상기 판별된 식별 프로파일과 상기 검출된 객체를 연결하는 단계
    를 포함하는 것을 특징으로 하는 사람을 추적하는 방법.
  2. 제1항에 있어서,
    상기 식별 특징들의 생성된 세트와 상기 등록된 식별 프로파일의 식별 특징들을 비교하는 단계는, 상기 생성된 식별 프로파일과 상기 등록된 식별 프로파일 간의 상관관계에 기초하는 신뢰도 점수를 계산함으로써 수행되고, 그리고
    상기 식별 특징들의 생성된 세트와 최상으로 매칭되는 식별 특징들의 세트를 포함하는 식별 프로파일을 판별하는 단계는, 상기 식별 특징들의 생성된 세트와 가장 높은 상관관계를 나타내는 신뢰도 점수에 대응하는 식별 특징들의 세트를 포함하는 식별 프로파일을 선택함으로써 수행되는 것을 특징으로 하는 사람을 추적하는 방법.
  3. 제2항에 있어서,
    상기 검출된 객체의 식별 특징들의 세트와 가장 높은 상관관계를 갖는 식별 특징들의 세트를 포함하는 식별 프로파일에 대응하는 계산된 신뢰도 점수가 기결정된 제 1 임계값 보다 작다면, 상기 연결하는 단계는 수행되지 않는 것을 특징으로 하는 사람을 추적하는 방법.
  4. 제3항에 있어서,
    상기 검출된 객체의 식별 특징들의 세트와 가장 높은 상관관계를 갖는 식별 특징들의 세트를 포함하는 식별 프로파일에 대응하는 계산된 신뢰도 점수가 상기 기결정된 제 1 임계값 보다 작다면, 경보가 생성되는 것을 특징으로 하는 사람을 추적하는 방법.
  5. 제1항에 있어서,
    상기 정의된 영역을 떠나는 사람을 식별하는 단계로서, 사전등록된 사람들의 자격증명을 포함하는 데이터베이스의 자격증명과 상기 사람이 제시한 자격증명을 매칭시킴으로써 상기 정의된 영역을 떠나는 사람을 식별하는 단계; 및
    상기 영역에서 추적되는 사람들의 리스트로부터 상기 정의된 영역을 떠나는 것으로 식별된 사람의 식별 프로파일을 제거하는 단계
    를 더 포함하는 것을 특징으로 하는 사람을 추적하는 방법.
  6. 제1항에 있어서,
    검출된 객체가 식별 프로파일에 연결된 마지막 시점 이후로 기결정된 활동 시간 기간이 경과된 경우, 상기 영역에서 추적되는 사람들의 리스트로부터 사람의 식별 프로파일을 제거하는 단계
    를 더 포함하는 것을 특징으로 하는 사람을 추적하는 방법.
  7. 제1항에 있어서,
    상기 식별된 사람의 식별 프로파일을 상기 영역에 들어간 사람들의 리스트에 등록하는 단계
    를 더 포함하는 것을 특징으로 하는 사람을 추적하는 방법.
  8. 제7항에 있어서,
    상기 수신된 이미지 데이터에서 검출된 객체의 식별 특징들의 세트와 가장 높은 상관관계를 갖는 식별 특징들의 세트를 포함하는 식별 프로파일에 대응하는 계산된 신뢰도 점수가 기결정된 제 2 임계값 보다 작다면,
    상기 연결하는 단계는 수행되지 않으며,
    상기 방법은,
    상기 수신된 이미지 데이터에서 검출된 객체의 식별 특징들의 생성된 세트와 상기 영역에 들어간 사람들의 리스트에 등록된 식별 프로파일들의 식별 특징들을 비교하는 단계,
    상기 수신된 이미지 데이터에서 검출된 객체의 식별 특징들의 세트와 최상으로 매칭되는 식별 특징들의 세트를 포함하고 있는, 상기 영역으로 들어간 사람들의 리스트에 있는 식별 프로파일을 판별하는 단계,
    상기 수신된 이미지 데이터에서 검출된 객체와, 상기 수신된 이미지 데이터에서 검출된 객체의 식별 특징들의 세트와 최상으로 매칭되는 식별 특징들의 세트를 포함하고 있는 상기 판별된 식별 프로파일을, 연결하는 단계
    를 더 포함하는 것을 특징으로 하는 사람을 추적하는 방법.
  9. 제8항에 있어서,
    상기 수신된 이미지 데이터에서 검출된 객체의 식별 특징들의 생성된 세트와 상기 영역에 들어간 사람들의 리스트에 등록된 식별 프로파일들의 식별 특징들을 비교하는 단계는, 상기 수신된 이미지 데이터에서 검출된 객체의 식별 특징들의 생성된 세트와 상기 영역에 들어간 사람들의 리스트에 등록된 식별 프로파일들의 식별 특징들 간의 상관관계에 기초하는 신뢰도 점수를 계산함으로써 수행되며,
    상기 식별 특징들의 생성된 세트와 최상으로 매칭되는 식별 특징들의 세트를 포함하고 있는 상기 영역으로 들어간 사람들의 리스트에 있는 식별 프로파일을 판별하는 단계는, 상기 수신된 이미지 데이터에서 검출된 객체의 식별 특징들의 생성된 세트와 가장 높은 상관관계를 나타내는 신뢰도 점수에 대응하는 식별 특징들의 세트를 포함하고 있는 식별 프로파일을 선택함으로써 수행되는 것을 특징으로 하는 사람을 추적하는 방법.
  10. 제1항에 있어서,
    상기 식별 프로파일은 사람의 외관을 기술하는 식별 특징들의 하나 이상의 세트들을 포함하며, 사람의 신체 또는 얼굴의 특징적인 기하학적 파라미터들, 사람의 얼굴 피처들 또는 신체 피처들을 나타내는 수학적 표현들, 사람의 의복, 피부 혹은 얼굴에 대한 텍스처(texture) 파라미터들, 사람의 이미지 혹은 사람의 일부의 이미지로부터의 컬러 스펙트럼, 사람의 걸음걸이(gait), 사람의 움직임 패턴을 포함하는 그룹으로부터 선택되는 것을 특징으로 하는 사람을 추적하는 방법.
  11. 제10항에 있어서,
    상기 검출된 객체의 식별 특징들의 세트와 최상으로 매칭되는 식별 특징들의 세트를 포함하는 상기 식별 프로파일 내의 정보는, 상기 식별 특징들의 생성된 세트로부터의 정보로 업데이트되는 것을 특징으로 하는 사람을 추적하는 방법.
  12. 제11항에 있어서,
    상기 식별 프로파일 내의 정보를 업데이트하는 단계는, 상기 식별 프로파일의 현재 정보 및 상기 식별 특징들의 생성된 세트로부터의 정보에 기초하여 통계적 척도를 계산함으로써 수행되는 것을 특징으로 하는 사람을 추적하는 방법.
  13. 제1항에 있어서,
    상기 검출된 객체의 식별 특징들의 세트와 최상으로 매칭되는 상기 판별된 식별 프로파일과 상기 검출된 객체를 연결하는 단계는, 이미지 데이터를 획득하는 이미지 획득 디바이스의 식별자, 이미지 획득 디바이스에 의해 이미지 데이터가 획득된 시점 및 이미지 데이터를 획득하는 이미지 획득 디바이스의 위치를 포함하는 그룹으로부터 선택된 이미지 데이터에 관한 정보를 등록하는 단계를 더 포함하는 것을 특징으로 하는 사람을 추적하는 방법.
  14. 프로세서에 의해 실행될 때 제1항에 따른 방법을 수행하도록 된 명령들을 갖는 컴퓨터 판독가능 저장 매체를 포함하는 컴퓨터 프로그램 제품.
  15. 사람을 추적하기 위한 시스템으로서,
    정의된 영역에 들어가는 사람을 식별하는 식별 모듈로서, 상기 식별 모듈은 사전등록된 사람들의 자격증명을 포함하는 데이터베이스 내의 자격증명과 상기 사람이 제시한 자격증명을 매칭함으로써, 상기정의된 영역에 들어가는 사람을 식별하며;
    상기 영역에서 추적되는 사람들의 리스트에 사람의 식별 프로파일을 등록하는 등록 모듈, 상기 식별 프로파일은 상기 사람의 외관을 기술하는 식별 특징들을 포함하며;
    상기 영역 내의 장면으로부터 이미지 데이터를 획득하는 이미지 획득 디바이스;
    상기 이미지 획득 디바이스에 의해서 획득된 이미지 데이터에서 검출된 객체에 대한 식별 특징들의 세트를 생성하는 식별 특징 생성 모듈;
    검출된 객체에 대해 생성된 식별 특징들의 세트와 상기 영역에서 추적되는 사람들의 리스트에 있는 등록된 식별 프로파일들을 비교하고 그리고 상기 검출된 객체에 대한 식별 특징들의 세트와 최상으로 매칭되는 식별 특징들의 세트를 포함하는, 상기 영역에서 추적되는 사람들의 리스트에 있는 식별 프로파일을 판별하는 매칭 모듈; 및
    검출된 객체의 식별 프로파일과 최상으로 매칭되는 상기 판별된 식별 프로파일과 상기 검출된 객체를 연결하도록 구성된 추적 모듈
    을 포함하는 것을 특징으로 하는 사람을 추적하기 위한 시스템.
  16. 제15항에 있어서,
    상기 영역에 들어간 사람들의 리스트에 사람의 식별 프로파일을 등록하도록 구성된 입구 등록 모듈, 상기 식별 프로파일은 이미지 데이터로부터 상기 사람을 식별하기 위한 정보를 포함하고;
    검출된 객체가 식별 프로파일에 연결된 마지막 시점 이후부터 기결정된 활동 시간 기간이 경과된 경우, 상기 영역에서 추적되는 사람들의 리스트로부터 사람의 식별 프로파일을 등록해제하도록 구성된 등록해제 모듈; 및
    이미지 데이터에서 검출된 객체의 식별 특징들의 생성된 세트와 상기 영역에서 추적되는 사람들의 리스트에 등록된 식별 프로파일들의 식별 특징들을 비교하고 그리고 이미지 데이터에서 검출된 객체의 식별 특징들의 세트와 최상으로 매칭되는 식별 특징들의 세트를 포함하고 있는, 상기 영역에서 추적된 사람들의 리스트에 있는 식별 프로파일을 판별하도록 구성된 매칭 모듈
    을 더 포함하는 것을 특징으로 하는 사람을 추적하기 위한 시스템.
KR1020170133437A 2016-10-18 2017-10-13 정의된 영역 내의 객체를 추적하기 위한 방법 및 시스템 KR102215041B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16194411.1 2016-10-18
EP16194411.1A EP3312762B1 (en) 2016-10-18 2016-10-18 Method and system for tracking an object in a defined area

Publications (2)

Publication Number Publication Date
KR20180042802A true KR20180042802A (ko) 2018-04-26
KR102215041B1 KR102215041B1 (ko) 2021-02-10

Family

ID=57184313

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170133437A KR102215041B1 (ko) 2016-10-18 2017-10-13 정의된 영역 내의 객체를 추적하기 위한 방법 및 시스템

Country Status (6)

Country Link
US (1) US10839228B2 (ko)
EP (1) EP3312762B1 (ko)
JP (1) JP6929751B2 (ko)
KR (1) KR102215041B1 (ko)
CN (1) CN107958258B (ko)
TW (1) TWI746641B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200095377A (ko) * 2019-01-31 2020-08-10 주식회사 스트라드비젼 바이크 라이더용 안전 의복 패턴을 생성하는 방법 및 장치

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878323B2 (en) 2014-02-28 2020-12-29 Tyco Fire & Security Gmbh Rules engine combined with message routing
US20150288604A1 (en) * 2014-04-02 2015-10-08 Tyco Fire & Security Gmbh Sensor Network Gateway
US10032042B1 (en) * 2014-12-10 2018-07-24 Morphotrust Usa, Llc Digital identification enrollment
DE102017207754A1 (de) * 2017-05-08 2018-11-08 Bundesdruckerei Gmbh Identifizieren potentieller Nutzer pyrotechnischer Gegenstände
US10757011B2 (en) * 2017-05-25 2020-08-25 Zycada Networks, Inc. Context-aware path computation and selection
JP6805996B2 (ja) * 2017-07-28 2020-12-23 トヨタ自動車株式会社 情報処理装置、情報処理方法及び情報処理システム
US10795979B2 (en) * 2017-09-27 2020-10-06 International Business Machines Corporation Establishing personal identity and user behavior based on identity patterns
US10839003B2 (en) 2017-09-27 2020-11-17 International Business Machines Corporation Passively managed loyalty program using customer images and behaviors
US10776467B2 (en) 2017-09-27 2020-09-15 International Business Machines Corporation Establishing personal identity using real time contextual data
US10803297B2 (en) 2017-09-27 2020-10-13 International Business Machines Corporation Determining quality of images for user identification
US10565432B2 (en) 2017-11-29 2020-02-18 International Business Machines Corporation Establishing personal identity based on multiple sub-optimal images
JP2019101783A (ja) * 2017-12-04 2019-06-24 キヤノン株式会社 情報処理装置及び方法
US11062004B2 (en) * 2018-04-30 2021-07-13 International Business Machines Corporation Emotion-based database security
US10795933B1 (en) * 2018-05-01 2020-10-06 Flock Group Inc. System and method for object based query of video content captured by a dynamic surveillance network
US10963703B2 (en) * 2018-06-27 2021-03-30 Smart Information Flow Technologies LLC Methods and systems for adaptable targeting of an object or event
CN108920639B (zh) * 2018-07-02 2022-01-18 北京百度网讯科技有限公司 基于语音交互的上下文获取方法及设备
JP7039409B2 (ja) * 2018-07-18 2022-03-22 株式会社日立製作所 映像解析装置、人物検索システムおよび人物検索方法
CN112673401B (zh) * 2018-09-18 2022-08-05 亚萨合莱有限公司 确定用于生物计量匹配的匹配列表
TWI692750B (zh) * 2018-09-27 2020-05-01 知洋科技股份有限公司 海洋哺乳類追蹤系統、方法以及載具
JP7393724B2 (ja) * 2018-10-31 2023-12-07 日本電気株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
US11048930B2 (en) * 2018-11-09 2021-06-29 Avigilon Corporation Alias capture to support searching for an object-of-interest
US10872424B2 (en) * 2018-11-19 2020-12-22 Accenture Global Solutions Limited Object tracking using object attributes
CN109558505A (zh) * 2018-11-21 2019-04-02 百度在线网络技术（北京）有限公司 视觉搜索方法、装置、计算机设备及存储介质
US11487823B2 (en) * 2018-11-28 2022-11-01 Sap Se Relevance of search results
TWI684956B (zh) * 2018-12-04 2020-02-11 中華電信股份有限公司 物體辨識與追蹤系統及其方法
EP3667557B1 (en) * 2018-12-13 2021-06-16 Axis AB Method and device for tracking an object
US11386306B1 (en) 2018-12-13 2022-07-12 Amazon Technologies, Inc. Re-identification of agents using image analysis and machine learning
US20220012501A1 (en) * 2018-12-14 2022-01-13 Xovis Ag Method and arrangement for determining a group of persons to be considered
CN109639700A (zh) * 2018-12-25 2019-04-16 深圳市天彦通信股份有限公司 身份识别方法、装置、设备、云端服务器及存储介质
WO2020136794A1 (ja) * 2018-12-27 2020-07-02 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、およびプログラム
CN111385834B (zh) * 2018-12-27 2023-08-18 深圳市大数据研究院 对象识别方法、装置、电子设备及计算机可读存储介质
US20200294339A1 (en) * 2019-03-11 2020-09-17 Nec Laboratories America, Inc. Multi-factor authentication for physical access control
US11698440B2 (en) 2019-04-02 2023-07-11 Universal City Studios Llc Tracking aggregation and alignment
CN111079577B (zh) * 2019-12-02 2021-02-26 重庆紫光华山智安科技有限公司 一种动态区域聚集预警实时推荐的计算方法及系统
WO2021130890A1 (ja) * 2019-12-25 2021-07-01 日本電気株式会社 管理システム、管理装置および管理方法
TWI715376B (zh) * 2019-12-26 2021-01-01 台灣新光保全股份有限公司 基於影像分析的保全方法及保全系統
US11538135B2 (en) * 2020-02-25 2022-12-27 Raytheon Company Automatic multi-image 3D ground control point extraction
CN111439642B (zh) * 2020-03-04 2022-06-24 深圳云天励飞技术有限公司 电梯控制方法、装置、计算机可读存储介质及终端设备
WO2022018809A1 (ja) * 2020-07-20 2022-01-27 日本電気株式会社 画像分析装置、画像分析システム、画像分析方法及びプログラム
CN112258363B (zh) * 2020-10-16 2023-03-24 浙江大华技术股份有限公司 身份信息的确认方法、装置、存储介质及电子装置
CN112417977B (zh) * 2020-10-26 2023-01-17 青岛聚好联科技有限公司 一种目标对象查找方法和终端
RU2765439C1 (ru) * 2021-01-14 2022-01-31 Общество с ограниченной ответственностью "Спутник" Способ распознавания лица на системах контроля и управления доступом
US20220237838A1 (en) * 2021-01-27 2022-07-28 Nvidia Corporation Image synthesis using one or more neural networks
US20230290150A1 (en) * 2022-03-09 2023-09-14 Motorola Solutions, Inc. Monitoring system and method for identifying a changed object of interest using an access control system
US11777754B1 (en) * 2022-10-24 2023-10-03 Plantronics, Inc. Multi-person tracking and identification for robust framing experience

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008058296A2 (en) * 2006-11-10 2008-05-15 Verificon Corporation Method and apparatus for analyzing activity in a space
US20150363636A1 (en) * 2014-06-12 2015-12-17 Canon Kabushiki Kaisha Image recognition system, image recognition apparatus, image recognition method, and computer program

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200357A (ja) * 1998-10-27 2000-07-18 Toshiba Tec Corp 人物動線情報の収集方法及び収集装置
US20050146605A1 (en) 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
TWI278782B (en) * 2001-08-24 2007-04-11 Toshiba Corp Personal recognition apparatus
US7137553B2 (en) * 2001-12-31 2006-11-21 Digital Data Research Company Security clearance card, system and method of reading a security clearance card
CA2481250C (en) * 2002-04-08 2011-09-27 Newton Security, Inc. Tailgating and reverse entry detection, alarm, recording and prevention using machine vision
US20090127328A1 (en) * 2002-04-17 2009-05-21 Nebil Ben Aissa Biometric multi-purpose biometric terminal, payroll and work management system and related methods
MXPA05013288A (es) * 2003-06-16 2007-04-18 Uru Technology Inc Metodo y sistema para crear y operar aparatos de manejo de credenciales permitidos biometricamente de multiple proposito.
EP1665124A1 (en) * 2003-09-10 2006-06-07 Koninklijke Philips Electronics N.V. Apparatus and method for feature recognition
US7697026B2 (en) 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
US7466223B2 (en) 2004-05-21 2008-12-16 Pips Technology, Inc. Automated site security, monitoring and access control system
JP2006099615A (ja) * 2004-09-30 2006-04-13 Toshiba Corp 顔認証装置および入退場管理装置
US7801330B2 (en) * 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
US20070268145A1 (en) * 2006-05-19 2007-11-22 Bazakos Michael E Automated tailgating detection via fusion of video and access control
CN101563710B (zh) * 2006-05-22 2013-12-04 安讯士有限公司 识别由视频监视摄像机检测到的对象的特性的方法及装置
JP4396708B2 (ja) 2007-01-29 2010-01-13 ソニー株式会社 ネットワーク機器および監視カメラシステム
US8693738B2 (en) * 2008-01-29 2014-04-08 Canon Kabushiki Kaisha Imaging processing system and method and management apparatus
CN102037676B (zh) * 2008-03-20 2015-02-25 日内瓦大学 基于不可克隆特征的安全物品识别以及认证系统和方法
JP5326527B2 (ja) * 2008-11-28 2013-10-30 富士通株式会社 認証装置及び認証方法
CN101778260B (zh) 2009-12-29 2012-01-04 公安部第三研究所 一种基于结构化描述的视频监控管理方法及系统
MX2012009579A (es) * 2010-02-19 2012-10-01 Toshiba Kk Sistema de rastreo de objetos en movimiento y metodo de rastreo de objetos en movimiento.
US8705813B2 (en) * 2010-06-21 2014-04-22 Canon Kabushiki Kaisha Identification device, identification method, and storage medium
JP2012034353A (ja) * 2010-06-28 2012-02-16 Panasonic Corp ネットワーク通信装置、通信方法および集積回路
CN102339391B (zh) * 2010-07-27 2013-12-04 株式会社理光 多对象识别方法和装置
JP5649862B2 (ja) * 2010-08-02 2015-01-07 セコム株式会社 画像監視装置
US20120169880A1 (en) * 2010-12-31 2012-07-05 Schneider Electric Buildings Llc Method and system for video-based gesture recognition to assist in access control
US20120233076A1 (en) * 2011-03-08 2012-09-13 Microsoft Corporation Redeeming offers of digital content items
CN102201061B (zh) * 2011-06-24 2012-10-31 常州锐驰电子科技有限公司 基于多阶层过滤人脸识别的智能安全监控系统及方法
JP5925468B2 (ja) * 2011-11-25 2016-05-25 セコム株式会社 移動物体監視システム
US8971591B2 (en) * 2011-12-09 2015-03-03 Google Technology Holdings LLC 3D image estimation for 2D image recognition
US9530060B2 (en) 2012-01-17 2016-12-27 Avigilon Fortress Corporation System and method for building automation using video content analysis with depth sensing
JP5477399B2 (ja) * 2012-01-30 2014-04-23 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム、並びに情報処理システム
WO2013119646A1 (en) * 2012-02-07 2013-08-15 HealthSpot Inc. Medical kiosk and method of use
US20140003681A1 (en) * 2012-06-29 2014-01-02 Apple Inc. Zero Enrollment
US10567376B2 (en) * 2012-08-24 2020-02-18 Sensible Vision, Inc. System and method for providing secure access to an electronic device using multifactor authentication
US9210385B2 (en) 2012-11-20 2015-12-08 Pelco, Inc. Method and system for metadata extraction from master-slave cameras tracking system
CN103208185B (zh) * 2013-03-19 2016-07-20 东南大学 一种基于车灯识别的夜间车辆检测方法及系统
GB2512502B (en) * 2014-02-25 2015-03-11 Cambridge Silicon Radio Ltd Device authentication
US20150288604A1 (en) * 2014-04-02 2015-10-08 Tyco Fire & Security Gmbh Sensor Network Gateway
US20150288928A1 (en) 2014-04-08 2015-10-08 Sony Corporation Security camera system use of object location tracking data
WO2015198323A2 (en) * 2014-06-24 2015-12-30 Pic2Go Ltd Photo tagging system and method
US20170255820A1 (en) * 2014-09-16 2017-09-07 Jiwen Liu Identification of individuals in images and associated content delivery
JP6500500B2 (ja) * 2015-02-27 2019-04-17 富士通株式会社 画像判定装置、画像判定方法、及びプログラム
CN106236060B (zh) * 2015-06-04 2021-04-09 松下知识产权经营株式会社 生物体信息检测装置
US10878249B2 (en) * 2015-10-07 2020-12-29 Accenture Global Solutions Limited Border inspection with aerial cameras
JP6744736B2 (ja) * 2016-03-23 2020-08-19 株式会社ユニバーサルエンターテインメント 撮影システム
JP6393360B2 (ja) * 2016-05-11 2018-09-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 撮影制御方法、撮影制御システム及び撮影制御サーバ
JP6815784B2 (ja) * 2016-08-01 2021-01-20 東芝テック株式会社 制御装置、決済装置及び制御プログラム
US11257095B2 (en) * 2016-10-20 2022-02-22 Toshiba Global Commerce Solutions Holdings Corporation Visual sensor-based management of a return transaction
US10223553B2 (en) * 2017-05-30 2019-03-05 Apple Inc. Wireless device security system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008058296A2 (en) * 2006-11-10 2008-05-15 Verificon Corporation Method and apparatus for analyzing activity in a space
US20150363636A1 (en) * 2014-06-12 2015-12-17 Canon Kabushiki Kaisha Image recognition system, image recognition apparatus, image recognition method, and computer program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
M.Kim et al., 'A Survey and Proposed Framework on the Soft Biometrics Technique for Human Identification in Intelligent Video Surveillance System," Journal of Biomedicine & Biotechnology, 2012, P.1-7 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200095377A (ko) * 2019-01-31 2020-08-10 주식회사 스트라드비젼 바이크 라이더용 안전 의복 패턴을 생성하는 방법 및 장치

Also Published As

Publication number Publication date
US10839228B2 (en) 2020-11-17
CN107958258B (zh) 2023-04-07
JP2018116681A (ja) 2018-07-26
EP3312762A1 (en) 2018-04-25
US20180107880A1 (en) 2018-04-19
JP6929751B2 (ja) 2021-09-01
KR102215041B1 (ko) 2021-02-10
TW201816662A (zh) 2018-05-01
TWI746641B (zh) 2021-11-21
EP3312762B1 (en) 2023-03-01
CN107958258A (zh) 2018-04-24

Similar Documents

Publication Publication Date Title
KR102215041B1 (ko) 정의된 영역 내의 객체를 추적하기 위한 방법 및 시스템
US7646895B2 (en) Grouping items in video stream images into events
US20170032182A1 (en) System for adaptive real-time facial recognition using fixed video and still cameras
WO2018180588A1 (ja) 顔画像照合システムおよび顔画像検索システム
US20190102528A1 (en) Automatic authentification for MES system using facial recognition
US8130285B2 (en) Automated searching for probable matches in a video surveillance system
US20060093185A1 (en) Moving object recognition apparatus
US20100245567A1 (en) System, method and program product for camera-based discovery of social networks
CN110598548A (zh) 常住人员识别方法、装置、计算机设备和存储介质
KR20190093799A (ko) Cctv를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법
JP2019020777A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
WO2020115890A1 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
KR101957677B1 (ko) 얼굴인식을 통한 학습형 실시간 안내 시스템 및 그 안내 방법
JP4862518B2 (ja) 顔登録装置、顔認証装置および顔登録方法
US20210383111A1 (en) Iris and periocular region biometric recognition
CN112802252B (zh) 基于物联网的智能楼宇安全管理方法、系统和存储介质
KR20220056279A (ko) 인공 지능 기반 비전 감시 장치
CN112183167B (zh) 考勤方法、认证方法、活体检测方法、装置及设备
Li et al. Biometrics at a distance: issues, challenges, and prospects
JP2010067008A (ja) 撮像管理システム、撮像管理方法、認証システム及び認証方法
See et al. An integrated vision-based architecture for home security system
WO2022134916A1 (zh) 身份特征生成方法、设备及存储介质
CN113610480B (zh) 电力工器具的仓储管理系统及方法
Menon et al. Biometrics driven smart environments: Abstract framework and evaluation
KR20220085570A (ko) 인공지능 기술기반의 의료기관 출입자 관리 시스템 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant