KR20110063738A - 모니터링 구역내의 개체들의 움직임을 분류하는 장치 및 방법 - Google Patents

모니터링 구역내의 개체들의 움직임을 분류하는 장치 및 방법 Download PDF

Info

Publication number
KR20110063738A
KR20110063738A KR1020117002861A KR20117002861A KR20110063738A KR 20110063738 A KR20110063738 A KR 20110063738A KR 1020117002861 A KR1020117002861 A KR 1020117002861A KR 20117002861 A KR20117002861 A KR 20117002861A KR 20110063738 A KR20110063738 A KR 20110063738A
Authority
KR
South Korea
Prior art keywords
zones
zone
pattern
objects
dimension
Prior art date
Application number
KR1020117002861A
Other languages
English (en)
Other versions
KR101571277B1 (ko
Inventor
겔리트 자코부스 로우브설
크리스토퍼 랭톤 홀엔비
네온 드 위트
로리 타이트 넬슨
피터 조한네스 에라스무스 벌메유넨
Original Assignee
놀테크 인터내셔널 (피티와이) 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 놀테크 인터내셔널 (피티와이) 리미티드 filed Critical 놀테크 인터내셔널 (피티와이) 리미티드
Publication of KR20110063738A publication Critical patent/KR20110063738A/ko
Application granted granted Critical
Publication of KR101571277B1 publication Critical patent/KR101571277B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

모니터링 영역(monitoring region)에 걸쳐 개체의 움직임을 모니터링하는 장치는 상기 영역(region)내의 각각의 다수의 인접 구역들(zones)에서 개별적으로 개체의 존부(presence or absence)를 검출한다. 상기 구역들은 제 1 방향으로 적어도 두 개의 인접 행(adjacent rows)의 구역들(zones)과 상기 제 1 방향에 수직인 방향으로 적어도 두 개의 인접 행의 구역들이 존재하도록 배열되어 있다. 각각의 구역(zone)은 구역 인덱스(zone index)와 관련되어 있다. 카메라는 상기 영역에 걸쳐 이동하는 개체들의 (a)에서 (f)까지의 시간 연속적 표현들(time sequentially representations)을 포착하도록 작동되고, 상기 시간 연속적 표현들은 상기 각각의 구역들에서 개체들의 존부에 관한 검출 데이터를 포함한다. 프로세서 배열(processor arrangement)은 상기 구역들 내의 개체들의 존부의 다차원적 패턴으로 상기 검출 데이터를 처리하는 상기카메라에 연결되어 있으며 제 1 차원은 시간이고 제 2 차원은 구역 인덱스이다. 상기프로세서 배열은 이벤트들(events)에 관한 패턴 파트들(pattern parts)로 상기 패턴을 분할(segment)하도록 구성된다. 분류자(classifier)는 예상된 이벤트들(events)에 관한 과거의 데이터를 참조하여 상기 패턴 파트들을 분류하기 위해제공되어, 상기 영역에 걸쳐적어도 한 방향으로 움직이는 개체들의 카운트를 제공한다.

Description

모니터링 구역내의 개체들의 움직임을 분류하는 장치 및 방법{Apparatus and Method of Classifying Movement of Objects in a Monitoring Zone}
본 발명은 모니터링 구역(monitoring zone)내의 개체들(objects)의 움직임을 분류하는 장치(apparatus) 및 방법(method)에 관한 것이다.
US 5,519,784에는 복도(passage)를 따라 개체들의 움직임을 분류하는 장치 및 방법이 개시되어 있다. 상기 장치는 복도의 일측면(one side)에서 타측면(opposite side)까지 별개의 이격된 평행 선형 방사선들(discrete and spaced parallel linear radiation beams)의 배열(array)을 투사(project)하는 수단을 포함한다.
검출기들(detectors)은 상기 복도의 타측면에서 제 1 및 제 2 의 역방향(a first and a second opposite direction) 중 어느 한 방향으로 복도 내에서 움직이는 하나 이상의 사람들에 의해 상기 선형 방사선들이 간섭된 때를 검출(sense)한다.
상기 이격된 선형 방사선들은 다수의 사람들 및 사람들의 움직임의 방향에 대응하는 시퀀스(sequence)내의 다른 시간들(different times)에서 간섭된다.
연속적으로(sequentially) 발생된 간섭 빔 신호들(interrupted beam signal)은 메모리에 개체 움직임 과거 정보(object movement historic information)로서 저장된 후 처리되어(processed) 다수의 사람들과 움직임의 방향을 나타내는 합성 빔 간섭 패턴들(composite beam interrupt patterns)을 생성시키고, 상기 패턴들은 시간 도메인(time domain)과 센서 인덱스(sensor index)의 함수이며, 센서 인덱스는 예를 들어, 상기 구역내의 센서 식별(sensor identity)과 센서 위치(sensor position)이다. 상기 결과적인 생성 패턴들(the resulting generated patterns)은, 예를 들어, 인공 신경망(artificial neural network)이 있는 컴퓨터 패턴 인식 분석(computerized pattern recognition analysis)을 사용하는 레퍼런스 패턴들(reference patterns)과 비교된다. 이러한 비교는 복도 내의 사람들을 이동방향(direction of movement)과 수(number)로 분류한다.
이러한 장치와 방법은 일부 어플리케이션들에는 적합하지 않을 수 있다. 예를들어, 이격된 평행 선형 방사선들을 투사하는 수단들은 장방형 하우징(elongate housing)에 실장된다. 상기 하우징은 보통 복도의 일측에 실장되어(mounted) 약 발목과 무릎 높이 사이에서 바닥에 평행 연장된다.
이러한 하우징은 너무 커서 그것의 가용 공간(available space)에 부적합할 수 있거나, 일부 어플리케이션들에서는 심미적으로 적합하지 않을 수 있거나, 가용공간에 부적합한 동시에 심미적으로도 부적합할 수 있다.
또한, 복도의 어느 일측면에 이러한 장치를 실장하는 것은 노동 집약적이고 시간 집약적(labour and cost intensive)이며, 상기 장치까지 연장되는 케이블링(cabling)을 설치하기 위해 종종 상기 복도들의 측벽들로 붙이는 (chase)것이 필요하다. 더욱이, 일측면 상의 선형 방사선 투사 수단들과 타측면 상의 검출기들이 일치하지 않을 수 있고, 이것은 상기 장치가 기능하는 것을 중단하게 할 수 있다.
이러한 측면 실장 장치(side-on mounted apparatus)가 갖는 또 다른 문제는 상기 복도 내에서 움직이지 않는 사람 또는 개체(stationary person or object)가 상기 방사선을 간섭할 수 있고, 그로인해 움직이지 않는 개체의 어느 일측면에서 복도를 따라 움직이는 다른 개체들에 대해 적어도 임시적인 불감(temporary insensitivity)이 야기된다.
또한, 상기 투사 방사선들의 범위(range)가 넓은 복도를 횡단하기에(traverse) 부적합할 수 있다는 문제가 있다. 추가 장치(additional apparatus)를 지니고 상기에서 언급된 단점들 모두를 갖는 중간 구조들(intermediate structures)은 넓은 복도를 커버(cover)하는 것이 요구된다.
본질적으로 상이한 다른 공지 시스템(known system)은 트랙킹 알고리즘들(tracking algorithms)을 사용하고, 별개의 개체들(discrete objects)을 식별하며, 개체 센싱 배열(object sensing arrangement)에 의해 생산된 연속하는 프레임들(successive frames) 사이에서 그들의 위치를 모니터하여 각각의 관심개체(object of interest)의 속도(vector)를 결정한다.
상기 프로세싱(processing)은 각 프레임의 완전한 분석 및 개체가 새로운 위치내의 이전의 개체인지 새로운 개체인지 여부를 모두 결정하기 위해 분석 이후 이전 프레임들에 대한 비교가 요구되기 때문에 복잡하다.
예를 들어, 한 편의 두 사람들과 다른 한 편의 백팩 또는 화물을 운반하는(carrying)한 사람간의 차이를 구별하는 데에 있어서의 어려움은 이것과 결부된다.
개체들을 격리시키고 그것들의 벡터들(vectors)을 획득함으로써, 상기 시스템은 소정의 모니터링 영역을 가로질러 그들의 움직임을 추적(track)할 수 있고, 따라서, 그에 따른 증감(increment or decrement)이 카운트(count)된다.
개체들을 격리시키거나, 그들의 연속하는 위치들을 링크시키거나 또는 개체들의 수를 구별하는 시스템의 불능(inability)은 상기 시스템의 정확도를 떨어뜨린다. 게다가, 상기 시각적 분석은 극도로 처리 집약적(extremely process-intensive)이므로 비경제적이다.
따라서, 본 발명의 목적은 모니터링 영역에 걸쳐 개체들의 움직임을 모니터링하는 새로운(alternative) 장치 및 방법을 제공하는 것이다.
따라서, 본 발명에 따른 모니터링 영역(monitoring region)에 걸쳐 개체의 움직임을 모니터링하는 장치는,
제 1 방향으로 적어도 두 개의 인접 행(adjacent rows)의 구역들(zones)과 상기 제 1 방향에 수직인 방향으로 적어도 두 개의 인접 행의 구역들이 존재하도록 배열되어 있고, 각각의 구역(zone)은 구역 인덱스(zone index)와 관련되어 있으며, 상기 영역(region)내의 각각의 다수의 인접 구역들(zones)에서 개체의 존부(presence or absence)를 검출하고, 상기 영역에 걸쳐 이동하는 개체들의 각각의 구역들에서의 존부에 관해 검출된 데이터(sensed data)를 포함하는 시간 연속적 표현들(time sequentially representations)을 포착하도록 작동되는 센싱 배열(sensing arrangement);
상기 센싱 배열에 연결되어 있으며, 제 1 차원은 시간이고 제 2 차원은 구역 인덱스인 상기 구역들 내의 개체들의 존부의 다차원적 패턴으로 상기 검출 데이터를 처리하며, 이벤트들(events)에 관한 패턴 파트들(pattern parts)로 상기 패턴을 분할(segment)하도록 구성된 프로세서 배열(processor arrangement); 및
예상된 이벤트들(events)에 관한 과거의 데이터를 참조하여 상기 패턴 파트들을 분류하는 분류자(classifier); 를 포함하는 것을 특징으로 한다.
상기 센싱 배열은 상기 모니터링 영역의 높은 곳(overhead)에 실장되는 적어도 하나의 카메라를 포함할 수 있다. 상기 센싱 배열은 다른 각도에서 상기 영역 전부를 커버하는(cover) 한 쌍의 스테레오(stereo) 카메라들을 포함할 수 있다. 그리하여, 본 발명에 따른 시스템은 시야내의(in the field of view) 각각의 고유한(unique) 개체를 식별하지는 않지만, 이벤트(event)를 분석하고 이것을 이벤트 특징(event featrue)들의 사전 지식(previous knowledge)과 비교함으로써 분류자를 사용하는 카운트 값(count figure)을 제공하는 것이 가능하고, 상기 분류자는 신경망(neural network)을 포함할 수 있다. 상기 이미지 프로세싱(image processing)은 상대적으로 간단하고 저렴하게 행해질 수 있고, 상기 신경망 자체가 상대적으로 간단한 마이크로 프로세서에서 구동될 수 있으므로 비용을 절감할 수 있다. 상기 시스템은 또한 상기 언급된 US 5,519,784의 측면 실장 시스템과 관련된 문제들 중 적어도 일부를 완화할 수 있다고 여겨진다.
상기 다수의 구역들은 바로(immediately) 인접한 구역들의 배열(array)을 형성시킬 수 있고, 각각의 구역은 상기 제 1 방향으로의 제 1 차원, 상기 제 2 방향으로의 제 2 차원 및 지역(area)을 가질 수 있다. 검출 데이터는 개체가 차지하는 구역의 일부 지역에 비례하는 데이터 또는 파라미터를 포함할 수 있다. 상기 프로세서는 불활성화 패턴의 영역들에서(in regions of the pattern of inactivity) 시간차원(time dimension)에 따라 상기 패턴을 분할시키도록 구성될 수 있다.
본 발명은 또한, 모니터링 영역(monitoring region)에 걸쳐 개체들의 움직임을 모니터링 하는 방법을 제공하고, 상기 방법은
제 1 방향으로 적어도 두 개의 인접 행(adjacent rows)의 구역들(zones)과 상기 제 1 방향에 수직인 방향으로 적어도 두 개의 인접 행의 구역들이 존재하도록 배열되어 있고, 각각의 구역(zone)은 구역 인덱스(zone index)와 관련되어 있는 다수의 구역들(zones)로 상기 영역(region)을 나누는 단계;
센서 배열을 자동으로 그리고 시간 연속적으로 활용하여 각각의 구역들의 개체들의 존부(presence or absence)를 개별적으로 감지하는 단계;
제 1 차원은 시간이고 제 2 차원은 구역 인덱스인 상기 구역들 내에서 개체들의 존부의 다차원적 패턴에 관한 데이터를 생성하는 단계;
이벤트들(events)에 관한 패턴 파트들(pattern parts)로 상기 패턴을 분할하는 단계 예상되는 이벤트들에 관한 과거의 데이터를 참조하여 상기 패턴 파트들을 분류하는 단계; 를 포함하는 것을 특징으로 한다.
또한, 본 발명의 범위에는 모니터링 영역(monitoring region)에 걸쳐 개체들의 움직임을 모니터링하는 컴퓨터 프로그램을 호스팅하는 컴퓨터 판독 매체(computer readable medium)가 더 포함되고, 상기 프로그램은,
(a) 제 1 방향으로 적어도 두 개의 인접 행(adjacent rows)의 구역들(zones)과 상기 제 1 방향에 수직인 방향으로 적어도 두 개의 인접 행의 구역들이 존재하도록 배열되어 있고, 각각의 구역(zone)은 구역 인덱스(zone index)와 관련되어 있는 각각의 다수의 구역들(zones)에서 개체들의 존부(presence or absence)에 관한 데이터를 포함하는 상기 영역에 걸쳐 움직이는 개체들의 시간 연속적 표현들에 관한 검출된 데이터를 센서 배열(sensor arrangement)로부터 수신하는 단계;
(b) 제 1 차원은 시간이고 제 2 차원은 구역 인덱스인 상기 구역들 내의 개체들의 존부의 다차원적 패턴에 관한 데이터를 생성시키는 단계;
(c) 이벤트들(events)에 관한 패턴 파트들(pattern parts)로 상기 패턴을 분할하는 단계;
(d) 예상되는 이벤트들에 관련된 과거의 데이터를 참조하여 상기 패턴 파트들을 분류하는 단계를 실행시켜서,
상기 영역에 걸쳐 적어도 하나의 방향으로 이동하는 개체들의 수를 출력으로서 제공한다.
또한, 본 발명은 상기 언급된 단계들을 수행하도록 구성된 컴퓨터 프로그램과 그 프로그램을 포함하는 펌웨어(firmware)까지 확장된다.
본 발명은 많은 가용공간을 필요로 하지 않고, 향상된 정확성과 작동성을 가지며, 간단하게 개체들의 움직임을 시간연속적으로 포착할 수 있으므로 경제적인 효과가 있다.
도 1은 모니터링 영역 걸쳐 개체들의 움직임을 모니터링하는 장치의 상기 영역 위에 카메라가 실장된 상태의 모니터링 영역의 개략도(diagrammatic representation)이다;
도 2는 모니터링 영역내의 구역들의 배열 개략도이다;
도 3은 모니터링 영역에 걸쳐 개체들의 움직임을 모니터링하는 장치의 블록도(block diagram)이다;
도 4는 모니터링 영역에 걸쳐 개체들의 움직임을 모니터링하는 방법의 관련 파트들의 흐름도(flow diagram)이다;
도 5는 모니터링 영역에 걸쳐 움직이는 타원형 개체의 시간 연속적 이미지들을 보여주는 도면(diagram)이다;
도 6은 제 1 차원이 시간인 모니터링 영역에 걸쳐 움직이는 개체들의 3차원적 표현이다;
도 7은 3차원 텐서(tensor)가 2차원적 매트릭스로 변환(flatten)된 새로운(alternative) 표현이다;
도 8은 도 5의 이벤트의 결과적인 표현이다;
도 9는 도 5 및 9에서의 이벤트의 이미지이다;
도 10은 모니터링 영역에 걸쳐 움직이는 다수의 사람들을 위에서 찍은 사진이다;
도 11은 도 10의 이벤트의 도 6과 비슷한 3차원적 표현이다;
도 12는 도 10의 이벤트의 도 9와 같은 이미지이다;
도 13은 픽셀 채널(pixel channel)과 관련된 분포 그래프이다;
도 14는 간단한 서브 이벤트 모델(sub event model)의 표현이다;
도 15는 서브 이벤트 검색 이미지들(sub event search images)을 도시한 것이다;
도 16은 서브 이벤트들의 중심들을 정의하는 맥시마(maxima) 표현이다;
도17은 서브 이벤트 모델의 최초의 4 차원(the first four dimensions) 표현이다;
도 18은 도 15의 이벤트로부터 추출된 서브 이벤트들의 표현 및 그것들의 분류(classification)이다;
도 19는 도 15의 본래 이벤트(original event) 및 도 18에서 서브 이벤트들이 제거된 후 잔류 이벤트(residual event)의 표현이다.
도 1 및 2에서, 모니터링 영역(12)은 예를 들어, 빌딩(18)으로 들어가는 입구(16)와 같은 카운팅 포인트(counting point)에서 현관(portal) 또는 복도(14)의 일부를 형성할 수 있고, 모니터링 영역에 걸쳐 개체들의 움직임을 모니터링하는 장치(10)는 자동적으로 그리고 모니터하는 시기(a period of time)동안 내내 배치될 수 있으며, 이하에서 설명되는 것과 같이 입구를 통해 빌딩으로 출입(entering and leaving)하는 사람들(26)의 수를 카운트한다.
상기 장치(10)는 영역 내의 다수의 인접 구역들(24.1~24.n) 각각에서 개체(26)의 존부를 검출하는 센싱 배열(20)을 포함한다. 도 2를 참조하면, 구역들(24.1~24.n)은 제 1 방향(y, y는 모니터링 영역에 개체들의 플로우(flow)의 일반적인 방향이다.)으로 적어도 두 개의 인접 행의 구역들과 상기 제 1 방향에 수직인 방향(x)으로 적어도 두 개의 인접 행의 구역들이 존재하도록 배열되어 있다. 각각의 구역(24.1~24.n)은 구역 인덱스(zone index)와 관련되어 있다.
상기 센서 배열(20)은 각각의 구역들에서 개체의 존부(presence or absence)를 개별적으로 검출하도록 구성되고, 시간 연속적 표현들(time sequentially representations), 바람직하게는 모니터링 영역에 걸쳐 움직이는 개체의 이미지들(도 5 및 도 6)을 포착하도록 작동된다.
상기 이미지들은 각각의 구역들에서의 개체의 존부에 관한 데이터를 포함하는 검출 데이터(sensed data)를 포함한다.
프로세서 배열(22) (도 3)은 상기 센싱 배열(20)에 연결되어 있으며, 모니터링 영역에 걸쳐 개체가 움직일 때 상기 검출 데이터를 상기 구역들에서 개체의 존부의 다차원적 패턴(도7 및 8)으로 처리한다. 제 1 차원은 시간이고 제 2 차원은 구역 인덱스이다.
상기 프로세서 배열은 상기 패턴을 이벤트들(events)에 관한 패턴 파트들(pattern parts)로 분할(segment)하도록 더 구성되고, 분류자는 실시간으로 상기 패턴 파트들을 예상된 이벤트들(events)에 관한 과거의 데이터를 참조하여 분류하도록 구성된다.
상기 센싱 배열은 적어도 하나의 이미지 센서, 예를 들어, 비디오 카메라(20) 및 옵틱(associated optic)(21)을 포함하고, 상기 비디오 카메라는 상기구역(12)에 실장되어, 시간 연속적인 이미지들을 포착한다.
상기 장치(10)는 전자적 서브시스템(23)(electronic subsystem)을 더 포함하고, 상기 전자적 서브 시스템은 카메라(20)에 연결되어 있는 상기 프로세서 배열(22)(도 3)을 포함하여 카메라로부터 검출 데이터를 수신하고 이하에서 설명되는 것처럼 다차원적 패턴 데이터를 생성시킨다.
상기 카메라(20)는 바람직하게는 복도 높은 곳 지붕(28)에 설치되고 따라서, 모니터링 영역의 위에 실장된다. 상기 카메라는 한 쌍의 스테레오(stereo)카메라를 포함하고, 한 쌍의 스테레오 카메라는 다른 각도에서 모니터링 영역을 직접 향하는 제 1 및 2 카메라들을 포함하며, 제 1 및 제 2 카메라들은 다른 각도에서 상기 영역을 커버하여 엑스트라 디멘젼(extra dimension)을 부가하고, 복도(14)의 바닥(30)위로 적당한 레벨 또는 높이 h에서 모니터링 영역을 정의한다.
상기 서브시스템(23)은 상기 모니터링 구역에서 제공될 수 있거나, 빌딩의 다른 입구들(미도시)에서 동종의 센싱 배열에 연결되는 동일한 빌딩에서 중심적으로(centrally) 제공될 수 있거나, 또한, 상기 서브시스템은 떨어져 위치될 수 있다.
도 2에 도시된 하나의 실시예에서, 상기 모니터링 영역(12)은 제 1 방향으로 연장되는 제 1 축(y) 및 제1 방향에 수직인 제 2 방향으로 연장되는 제 2 축(x)을 포함하고, 각각의 구역은 지역(area)을 갖는다.
상기에서 언급한 상기 모니터링 구역(12)내의 다수의 구역들(24.1~ 24.n)은 인접 영역들의 행들과 열들의 배열을 형성시키고, 각각의 구역들은 상기 제 1 방향으로 제 1 차원 그리고 상기 제 2 방향으로 제2 차원을 갖는다.
도 3에 도시된 하나의 실시예에서, 상기 카메라(20)은 서브시스템(23)의 프로세서 배열(22)에 연결된다. 상기 프로세서 배열은FPGA(field programmable gate array)를 포함하거나 CPLD(complex programmable logic device)(32)를 포함한다. 상기 FPGA는 듀얼 포트 램 배열(dual port RAM arrangement)(34)에 연결되고, 상기 듀얼 포트 램 배열(34)은 프로세싱 코어(processing core)(36)에 연결된다.
다른 실시예(미도시)에서, 상기 프로세서 배열(22)은 카메라 인터페이스 및DMA(direct memory access)를 갖는 프로세서를 포함할 수 있다. 상기 서브시스템(23)은 통신 모듈(communication module)(38)을 더 포함하고, 상기 통신 모듈은 프로세싱 코어(36) 및 논리회로(logic circuitry)(40)에 연결된다. 또한, RTC(real time clock)(42), 데이터 메모리 배열(data memory arrangement)(44) 및 프로그램 메모리 배열(program memory arrangement)(46)은 논리회로에 연결된다. 상기 모니터링 장치(10)는 전원공급장치(power supply module)에 의해전력(electrical power)을 공급받고, 상기 전원공급장치는 주전원(mains power)에 연결될 수 있다. 상기 통신 모듈(38)은 상기 모니터링 장치(10)와 외부의 네트워크 사이의 데이터 통신을 가능하게 한다.
전술한 바와 같이, 상기 카메라(20)는 영역(12)내의 시간 연속적인 이미지들을 포착하도록 구성된다. 따라서, 각각의 이미지 및 그것의 관련검출 데이터(associated sensed data)는 고유한 시간관련 데이터(unique time related data)와 연관되어, 이하에서 설명되는 바와 같이 검출 데이터를 위한 시간 차원 및 다차원적 표현을 제공한다.
도 5를 참조하면, 타원형 개체(26)가 상기 영역(12)에 걸쳐 움직일 때 상기 센싱 배열(20)에 의해 생성된 시간 연속적 이미지들은 도 5(a) 에서 도 5(f)에 도시되어 있다. 예를 들어, 도 5(b)의 제 2 이미지의 시간에서 개체는 구역(24.3)을 커버하고 구역들(24.2, 24.4, 24.8)을 부분적으로 커버한다. 파라미터로서 검출 데이터는 상기 개체가 커버하거나 차지한 구역의 지역 일부에 비례하는 데이터를 포함한다.
도 5(a)에서 도5(f)의 검출 데이터 또는 매트릭스들의 스트림(stream)은 3차원적 표현으로 표현될 수 있고, 여기서, 시간은 도 6에 도시된 바와 같이 1차원이다.
상기 3차원적 표현은 매트릭스를 벡터화(vectorizing)함으로써 재배열될 수 있고, 그래서, 3차원적 텐서(three-dimensional tensor)를 2차원적 표현으로 변환시킬 수 있으며, 여기서 1차원은 도 7에 도시된 바와 같이 시간(t)이다.
패턴 매트릭스들의 스트림은 활동기(periods of activity)에 대응하는 시간으로 분할된다. 이벤트는 패턴 매트릭스 구성요소들의 총합이 연속적인 프레임들의 작은 세트에 대한 임계수준(threshold level)을 초과할 때마다 개시(triggered)된다. 이와 반대로, 이벤트는 상기 총합이 연속적인 프레임들의 세트에 대한 임계수준보다 아래로 떨어질 때마다 종결(terminated)된다.
도 5의 이벤트의 표현들은 도 8 및 9에 도시되어 있다.
다른 예시적인 이벤트가 도 10에 도시되어 있고, 다수의 사람들이 상기 영역(12)에 걸쳐 어느 하나의 방향으로 움직이고 있다. 도 11은 마지막 이벤트에 대해 도 6에 대응하고, 도 12는 상기 마지막 이벤트에 대해 도 9에 대응한다.
도 4를 참조하면, 상기장치 및 방법은 다음의 주요한 구성요소들, 전처리(preprocessing)(60), 이벤트추출(event extraction)(70), 특성추출(feature extraction)(80) 및 분류(classification)(90)를 포함하여, 두 수들(two numbers)로 다운(down)된 비디오 볼륨(video volume)에서 픽셀관련 데이터(pixel related data)의 질량을 변형시키고 처리한다. 상기 두 수들은 A방향에서의 총수 및 B방향에서의 총수이다.
상기 전단 비디오 전처리(front end video pre-processing) (60)는 원시픽셀 스트림(raw pixel stream)을 밝기(brightness) 및 명암(contrast)에서의 범용적인 변화(global variation)뿐만 아니라 백그라운드에 대해 독특하고(distinctive) 불변인(invariant)형태로 처리하는 것에관련된다.
상기 시스템의 이러한 부분은 각각의 픽셀 수준에서 구동하기 때문에 전산적으로(computationally) 가장 잘 검출(sensitive)될 수 있다. 따라서, 비디오 프로세싱(video processing)은 상대적으로 간단하게 계획적으로(intentionally) 관리된다. 치수조절(resize)(62)에서 이미지는 여과(filtering) 및 다운 샘플링(down sampling)에 의해 관리가능한 크기로 처음 축소된다. 상기 재조정된 이미지로부터활동영역(active region)이 추출된다. 활동영역은 프레임 내의 사용자 특정 지역(user specified area)이고, 상기 사용자 특수 지역은 사람들이 카운트되는 전반적인 경계(boundary)를 구획한다. 전산 효율성(computational efficiency)을 위해 상기 경계는 명확(straight)하고 이미지 축은 일치될 것이 요구된다. 상기 경계는 흐름의 제 1 방향(y)과 그것에 수직인 제 2 방향(x)의 두 방향을 구분한다.
상기 활동영역은 축이 일치되고, 경계에서 중심에 있는 장방형이다. 상기 장방형의 측면의 폭은 사용자에 의해 특정되고 흐름의 방향에 따른 그것의 차원은 프레임 내의 평균적인 사람들의 상대적 크기에 의해 결정된다.
오직 상기 활동영역만이 더 처리되고 상기 프레임의 나머지는 폐기된다. 상기 전처리의 중요한 역할(task)은 백그라운드에 대해 원시 입력영상(raw input video)을 정규화(normalizing)하는 것이다. 이와 관련하여, 상기 백그라운드는 상기 이미지의 일부로 정의될 수 있고, 사익 이미지는 장면 내에서 장기간(extended period of time)동안 물리적으로 정적인(physically static) 개체에 대응한다. 이와는 반대로, 포어그라운드(foreground)는 물리적으로 움직이는 개체들을 표현하는 부분들에 대응한다.
그러한 각각의 프레임을 분할하기 위해서, 포어그라운드와 백그라운드 모두와 관련된 픽셀 변형 모델들(models of the pixel variation)이 구성된다. 백그라운드는 변화에 대한 그것의 느린 속도에 의해 정의되기 때문에, 백그라운드 모델(64)은 입력영상과 관련된 통계(statistics)에 시간적 저역 통과 필터(temporal low-pass filter)를 필수적으로 적용함으로써 근사화된다. 포어그라운드 모델은 백그라운드 모델로 충분히 설명되지 않는 이미지 영역들의 통계를 분석함으로써 구성된다. 이 정규화 프로세스는 백그라운드 제거(background removal)로써 간주된다. 그것이 포어그라운드의 일부로 존재하는 것(움직이는 개체)은 궁극적으로, 입력 프레임의 각각의 픽셀에 확률을 부여하는 것이다.
전산 간편화를 위해 각각의 입력 픽셀은 독립적으로 고려되고, 순서대로 각각의 픽셀은 그것과 관련된 채널 세트(channel set)를 갖는다. 채널들 내에서의 변형은 다변화 가우스 분포(multivariate Gaussian distribution)에 의해 모형화된다. 이러한 선택은 중심 극한 정리(Central Limit Theorem)로 인해 가우스 분포의 유비쿼티(ubiquity)에 의해 약하게 동기화(motivated)되기도 하지만, 가우스 분포는 그것의 평균 및 확산(spread)을 카운트하는 것에 의해 간단하게 데이터를 입력하기에 적합화될 수 있다는 사실에 의해 더욱 동기화된다. 평균 ㅅ 및 공분산 ∑(covariance ∑)를 갖는 d-차원의 임의 변수x(d-dimensional random variable x)의 다변화 가운스 분포는 다음과 같다.
Figure pct00001
종종 상기 분포의 로그(logarithm)는 카운트에 더욱 편리하다.
Figure pct00002
Figure pct00003
각각의 픽셀은 픽셀 채널들의 d 차원적 벡터 x 로 표현된다. 일반적으로(currently) 네 개의 채널들이 사용되고, 상기 네 개의 채널은 휘도(luminance), YUV 색 공간으로부터의 두 개의 색차값들(chrominance values) 및 상기 휘도의 시간 미분값(time derivative)이다.
픽셀 포어그라운드 및 백그라운드 조건분포(conditional distribution)는 다음과 같다.
Figure pct00004
Figure pct00005
와
Figure pct00006
는 상기 포어그라운드 및 백그라운드에각각대응하는 가능한 x 의 세트들을 표현하는 것이고,
Figure pct00007
와
Figure pct00008
은 상기 포어그라운드 및 백그라운드에 관련된 평균 및 공분산에 대등하는 것이다. 이러한 도출(derivation)을 위해 두 분포들을 의미하는 간결한 아래첨자
Figure pct00009
및
Figure pct00010
는 상기 포어그라운드 및 백그라운드 모두를 갖는 방정식에서 생략될 수 있다.
전산 간편성을 위해, 상기 픽셀 채널들은 독립적으로 가정된다. 따라서,
Figure pct00011
는 대각선(diagonal)으로 가정되고, 그래서 상기 가우스 분포는 다음과 같이 표현될 수 있다.
Figure pct00012
Figure pct00013
는
Figure pct00014
의 대각선 구성성분들(diagonal elements)에 대응하고,
Figure pct00015
및
Figure pct00016
는 각각
Figure pct00017
에 대해
Figure pct00018
및
Figure pct00019
의 구성성분들이다. 상기 두 클래스(classes)에 대한 사전확률(prior probability),
Figure pct00020
이 주어진 경우, 상기 조건분포들은 결합분포(joint distribution)로 변형될 수 있다.
Figure pct00021
픽셀은 상기 포어그라운드 또는 백그라운드에 속하기 때문에, 상기 사전확률들은
Figure pct00022
에 의해 구속된다는 것을 주목하자.
궁극적인 목표는 사후확률(posterior probability)
Figure pct00023
이고, 상기 확률은 소정의 픽셀이 포어그라운드의 일부일 확률이다. 이것은 베이즈 정리(Bayes' theorem)에 따라 하기와 같이 카운트될 수 있다.
Figure pct00024
실제의 카운트방법을 더 잘 표현하는 상기 분포들의 로그형태(logarithmic forms)는 하기와 같이 표현될 수 있다.
Figure pct00025
이 분포들의 파라미터들,
Figure pct00026
및
Figure pct00027
는 백그라운드에서 가변조명(changing illumination) 및 변화들을 추적하는 시간 동안 조정된다. 백그라운드 평균
Figure pct00028
은 픽셀당 만들어지나, 변형들
Figure pct00029
,
Figure pct00030
및 포어그라운드 평균
Figure pct00031
은 범용적이고 이미지 내의 모든 픽셀들에 의해 공유된다. 이러한 초이스는 전산 복잡성(computational complexity)을 해소하기 위해 이루어질 뿐만 아니라, 전체 프레임에 걸쳐 통계를 평균화하는 것에 의해 상기 변형들의 카운트를 더욱 안정적으로 하기 위해 이루어진다.
도 13은 픽셀 채널과 관련된 분포의 전형적인 예이다. 포어그라운드가 지배적인 경우 상기 사후확률은 1에 가깝지만, 백그라운드가 지배적인 경우에는 거의 0까지 감소한다. 전역조명(global illumination)에서의 변형 또는 백그라운드에 부가(additions)로 야기된 통계 상의 느린 변화를 추적하기 위해 각각의 프레임 후에 상기 픽셀 모델 파라미터들은 점차 갱신(upgrade)된다. 상기 모델 파라미터들은제 1 차 저역 통과IIR 필터와 유사한 방법으로 갱신된다. 전류 파라미터가
Figure pct00032
인 경우 새로운 파라미터들
Figure pct00033
은 아래와 같이 정의된다.
Figure pct00034
Figure pct00035
는 적응률(adaption rate)이고
Figure pct00036
은 일반적인 프레임내의 테이터에 대해 상기 모델을 적합하게 하는 것에 의해 획득된 파라미터들의 벡터이다. 포어그라운드, 백그라운드 평균들(means) 및 변형들(variations)은 상기 픽셀 채널 값들의 가중된(weighted) 제 1 및 2 모멘트들로서 근접화된다. 상기 픽셀 가중치들(pixel weightings)은 그것들의 관련 확률들에 의존적이다. 포어그라운드 확률은 포어그라운드 모델 파라미터들의 카운트에 사용되고, 백그라운드 확률은 백그라운드 파라미터들을 위한 카운트에 사용된다.
더 많은 자유도(degree of freedom)가 요구되므로 더욱 느린 적응률이 변형카운트(variation calculation)에 사용되고 따라서, 그것을 신뢰적으로 결정하기 위해서는 더욱 많은 데이터가 필요하다. 비선형성은 포어그라운드 및 백그라운드 픽셀 확률에 의존적인
Figure pct00037
를 만드는 것에 의해 이러한 선형적 어프로치(linear approach)에 부가된다.
이것은 일반적인 프레임 내의 포어그라운드 픽셀들의 분율(fraction)에 의해
Figure pct00038
를 조절함으로써 갱신된 변형과 동시에 행해진다. 따라서, 상기 프레임 내에서 활동이 있는 때에만 변형들은 변화한다. 이것은 상기 변형들이 장기간의 비활동기 동안 부자연스럽게(artificially) 작아지는 것을 방지한다. 이것은 또한 그것이 프레임 내에서의 활동기에 포어그라운드 및 백그라운드를 구별하는데 사용된다는 점에서 자명하다.
일단, 입력영상이 백그라운드 및 조명에 대해 독립적인 형태로 정규화되면, 상기 영상은 관리가능한 천크들(chunks)로 분해된다. 이것은 정규화된 영상들을 패턴들로 다운 샘플링하고 그 후 이벤트를 형성시키는 시간에서 이러한 패턴들을 분할(segmenting)하는 것에 의해 이루어진다.
패턴들은 각각의 프레임에 대해 패턴추출(72)에서 그것의 포어그라운드 확률 이미지로부터 추출된다. 상기 패턴은 그리드(grid) 또는 상기 영역을 포괄하는(spanning)배열의 구역들(24.1~24.n)내에서의 포어그라운드 확률을 평균화하는 것에 의해 간단하게 구성된다. 도 2 및 5에 도시된 바와 같이, 상기 그리드는 플로우 방향으로 네 개의 디비젼들(divisions)을 갖는다. 측면방향으로의 다수의 디비젼들은 활동영역의 물리적 폭에 의존적이다. 구역들의 종횡비(aspect ratio)는 일정하지만, 그것들의 규모(scale)는 프레임 내의 인간의 평균 적 상대적 크기(average relative size)와 매치(match)된다. 따라서, 각각의 프레임은 매트릭스로 표현될 수 있는 패턴을 생산하고, 상기 매트릭스의 구성요소들은 관련 구역들에서 포어그라운드 픽셀들의 분율에 대응한다.
도 6 및 11에 도시된 바와같이, 패턴 매트릭스들은 3차원적 텐서로 간주될 수 있는 것으로 시간을 통해적층된다. 도 4의 이벤트 분할(74)에서 패턴 매트릭스들의 스트림은 활동기에 대응하는 시간에서 이벤트들로 분할된다. 패턴 매트릭스 구성요소들의 총합이 연속적인 프레임들의 작은 세트에 대한임계를 초과할 때마다 이벤트는 개시된다. 반대로 이벤트는 상기 총합이 연속적인 프레임들의 작은 세트에 대한임계보다 떨어진 때 종결된다. 도 11은 구역의 중요성(value)에 비례하는 크기를 가진 큐브(cube)로서 각각의 구역을 나타낸다. 이벤트들을 치밀하게(compactly) 시각화하기 위해서 2차원적 이미지로 일반적으로 표현될 수 있는 도 7에 도시된 것과같이 매트릭스를 형성하는 플로우 방향을 따라3차원 구조를 평면화시키는 것은 도 8, 9 및 12의 경우와 마찬가지로 유용하다.
다시 도 4를 참조하면, 시간내에 이벤트 패턴들을 치밀하게(compact)하고 어느정도 상기 이벤트를 개체속도에 대해 정규화시키려는 시도에서, RLE(Run Length Encoding)에 유사한 어프로치(approach)는 RLE 압축(76)에서 이벤트들에 적용되었다.
상기 프로세스는 프로토타입(prototype)으로서 제 1 프레임 패턴으로 개시하고 그 후, 프레임들은 상기 프로토타입과 연속적으로 비교된다.
만약, 프레임들이 프로토타입에 의해 잘 표현되지 않는다면, (예를 들어, 크기의 차이) 그것은 이 후에 새로운 프로토타입이 된다. 이러한 프로세스는 이벤트의 끝(end)이 도달될 때까지 계속된다. 상기 정규화된 이벤트는 단일 패턴들로의 프로토타입 변화들 사이에서 스트레치들(stretches)을 평균화함으로써 구성된다. 각각의 스판(span)의 길이는 기록되고, 각각의 프로토 타입 벡터에 첨부되어 본래의 타이밍(original timing)은 잃지 않는다.
정규화된 평균 제곱 거리(normalized mean square distance)측정은 패턴을 비교하기 위해 사용된다.
Figure pct00039
p0 와 p1 은 패턴들을 표현하는 열 벡터들이고, c는 제로(zero)까지 디비젼을 방지하기 위한 작은 양성 정규화 상수(positive regularizing constant)이다. 명확성을 위해 이후에 언급되는 이벤트들은 이러한 관점에서 정규화된 것으로 간주될 것이다.
도 4의 특성추출(feature extraction)(80)은 관심 개체들의 모델과 관련된 저차원 파라미터 공간에 대한 입력 센서 배열(20)과 관련된 일반적인 고 차원 입력 공간으로부터 투사하는 것을 포함한다. 이 경우, 특성 추출은 가변길이 이벤트 패턴(variable length event pattern)을 별개의 불변길이 특성 벡터(distinctive fixed length feature vector)로 투사하는 것에 관련된다.
이벤트들은 한 사람, 서로 가까운 두 사람들 또는 트롤리(trolley)를 가진 사람과 같은 평범하고 더 낮은 수준의 서브 이벤트들에 대응하는 영역들로 분해된다. 이것을 실행하기 위해, 각각의 서브 이벤트들의 서브 이벤트 모델(82)이 만들어진다. PCA(principle component analysis), LDA(linear discriminant analysis)와 같이 선형 모델들의 구조에 대해 근접 형태 솔루션들(closed form solutions)이 존재하기 때문에, 선형 모델들은 가장 간단한 선택사항을 제공한다. 이러한 방법들이 서브 이벤트들을 압축적이고 독특하게 표현하는 모델들을 생산하는 동안에, 그들은 그들을 분류하는 직접적인 방법을 제공하지 않는다. 이것을 위해, GMM(Gaussian Mixture Model)이 PCA 및 LDA에 의해 생산된 서브공간을 클래스별로 분류하기 위해 사용된다.
상기 서브 이벤트 모델은 두개의 연관 모델들로 구성되고, 상기 두개의 연관 모델들은 서브 이벤트 탐색(84)에서 이벤트 내의 서브 이벤트들을 효율적으로 찾는데 사용된 간단한 서치 모델과 서브 이벤트 분류(86)에서 일시적으로 또는 약하게 그들을 분류하는데 사용된 보다 복잡한 분류 모델이다. 이러한 모델들 모두는 선형 기초를 구성하고 상기 선형 기초는 상기기초에 의해 범위가 정해진(spanned) 서브 공간에서 정의되는 LDA 및 GMM 을 사용하여 구성된다.
서브 이벤트들은 더 큰 이벤트 내에서 불변크기 윈도우를 span한다. 이 경우, 6ⅹ4ⅹ16 윈도우가 사용된다. 상기윈도우가 상기 이벤트의 치수를 넘어 확장한다면, 제로들(zeros)은 범위 밖의 구성요소들로 대체된다.
윈도우 프레임들에 대응하는 RLE 압축에 의해 생성된 스팬들(spans)의 세트뿐만 아니라 상기 윈도우의 상대적 측면 위치가 상기윈도우내로부터 추출된 서브이벤트 데이터에 대해 논의된다.
전술한 바와 같이, 간단한 서브 이벤트 모델은 서브 이벤트 탐색(84)에서 이벤트 내의 유효한 서브 이벤트들을 효율적으로 탐색하는데 사용된다. 이러한 간단한 모델은 세가지 클래스들 사이를 구분하려고 시도한다.
내부 서브 이벤트들 - 도 2의 A에서 나타내는 것처럼 내부방향으로 평균적으로 존재하는 서브 이벤트들;
외부 서브 이벤트들 - 도 2의 B에서 나타내는 것처럼 외부방향으로 평균적으로 존재하는 서브 이벤트들;
무효 - 움직이는 사람들에 대응하지 않는 이벤트의 영역.
이벤트 공간(event space)으로 뒤에서 투사된 때 상기 클래스들 각각에 대한 표본(exemplars)은 다음의 테이블에 보여준다.
Figure pct00040
도 14에는 LDM 서브 공간내에서 이러한 클래스들을 구분하는데 사용된 GMM이 표현되어 있다. 플롯(plot)에서, 선들은 각각의 가우스 구성요소들의 등확률선들(iso-probability lines)에 대응한다. 상기 가우스 구성요소들은 비제한적인 공분산 매트릭스들(covariance mactrices)을 갖는다는 것을 주목하자. 따라서, 상기 등확률선들은 타원체들(ellipsoids)로 보여진다. 플롯에서 백그라운드 이미지는 클래스들의 사후확률에 의해 발생된 유연한 결정 경계값(soft decision boundaries)을 표현한다.
서브 이벤트들은 이벤트를 시간 내, 그리고 측면 움직임 방향을 따라 철저하게 검색함으로써 서브 이벤트 탐색(84)에서 탐색되었다. 서브 이벤트 모델의 크기인 3차원 윈도우(3 dimensional window)는 이벤트에서 활주되고, 내부, 외부 또는 무효 서브 이벤트들의 어느 중심으로 각각의 포인트를 분류시킨다. 이것은 도 15에서 나타나는 한쌍의 2 차원 검색 이미지(2 dimensional search image)를 발생시키고, 2차원 검색 이미지는 내부 및 외부방향에 대응한다. 이러한 이미지들은 동시에 부가되고 도 16에서 보여지는 바와 같이 잘 정의된 최대값을 가진 이미지를 발생시키도록 스무드(smooth)된다. 그것은 서브 이벤트들의 중심을 정의하는 이것들의 최대값이다. 도 16에서 최대값들은 작은 방울(blob) 중심에서 블랙 픽셀들(100) 로 나타난다. 상기 내부 및 외부 이미지들은 특성 카운트에서 추후에 다시 사용된다.
서브 이베트 중심들이 언급된 바와 같이 탐색되면, 그것들은 도 4의 서브 이벤트 분류(86)에서 약하게 분류되는 것이 필요하다. 이것은 더욱 정교한 서브 이벤트 모델 분류로 행해진다. 그것은 전산적으로 더욱 고가이고 더욱 분석적이지만, 오직 벌써 탐색된 서브 이벤트들에만 적용되고 전체 이벤트에는 적용되지 않는다. 이 모델은 5차원 기초를 사용한다.
12개의 서브 이벤트 클래스들은 이 모델에 의해 구별된다. 이들의 클래스들은 다음의 표에 요약되어 있다.
Figure pct00041
상기의 간단한 모델처럼 각각의 클래스는 비제한적인 공분산을 가진 가우스 구성요소로 모형화된다. 도 17은 서브 이벤트 모델의 최초의 4 차원들을 도시한다.
도 17에서 x들은 서브 이벤트 모델의 분류의 라운딩 버전(rounded version)에 따라 표지된 각각의 정사각형을 가진 도 15의 예시적 이벤트에서 찾은 서브 이벤트들을 나타낸다. 이벤트 공간내에서 상기 서브 이벤트들의 대응하는 외관(appearance) 및 그것들의 분류가 도 18에 도시된다.
분류 서브 이벤트 모델은 전체 이벤트에 대한 실측 카운트가 4-2인 특별한 경우에서 상당히 잘 이루어지는 것처럼 보인다. 각각의 서브 이벤트는 순서대로 분류되고, 각각 사후확률들의 벡터를 생성시키며, i 번째 구성요소는 서브 이벤트가 i 번째 클래스를 표현하는 확률에 대응한다. 이러한 벡터들은 최종 특성 벡터의 일부를 형성시키는 벡터 z를 발생시키도록 모든 서브 이벤트들에 대해 합해진다. z의 구성요소들은 대략 이벤트 내의 각각의 클래스의 서브 이벤트들의 수에 대응한다. 만약 2개의 서브 이벤트들이 관련 윈도우에서 상당히 중첩된 상태로 발견된다면, 중첩되는 정보가 각각의 서브 이벤트들에 대해 한번씩 두번 카운트되게 확률이 발생한다. 각각의 서브 이벤트가 분류된 후에 이것을 완화시키기 위해 분류결과는 이벤트 공간으로 뒤에서 투사되고 카운트된 바와 같이 이벤트의 일부를 효율적으로 마킹하는 본래의 이벤트로부터 제거된다. 도 19는 본래의 이벤트와 서브 이벤트들이 연속적으로 제거된 후에 남은 것들을 도시한다.
서브 이벤트 모델의 구조는 학습 데이터(training data)내의 서브 이벤트들의 위치 및 라벨들이 알려지는 것을 필요로 한다. 그러나, 상기 학습 데이터는 서브 이벤트 수준까지 아래로 분할되지 않기 때문에 이용가능하지 않지만, 이벤트마다 단일 라벨이 있다. 따라서, 반복적 어프로치(iterative approach)가 서브 이벤트를 만드는데 사용된다. 상기 프로세스는 이벤트마다 단일 서브 이벤트의 가정하에 구성되고 이벤트의 센트로이드(centroid)에서 중심에 있는 초기 모델로 개시한다. 미가공의 모델(rough model)을 사용하여 서브 이벤트들의 새로운 세트는 재카운트될 수 있는 모델로부터 발견되고 분류되어 상기 모델이 무리를 이룰 때까지 프로세스는 계속된다.
특성 벡터f는 전체의 이벤트에 대해 총합 통계 세트로 이루어져 있다. 상기 특성 벡터의 구조는 다음과 같다.
Figure pct00042
te는 프레임들 내의 이벤트 지속기간
tc는 압축 이벤트의 길이
min은 내부 검색 이미지 모멘트
mout은 외부 검색 이미지 모멘트
s는 서브 이벤트 중심에 대응하는 최대값의 총합
z는 총 서브 이벤트 분류 벡터
모멘트 벡터 min 및 mout 은 도15에 도시된 내부 및 외부 검색 이미지들의 0 번째와 2번째 디그리 모멘트들(degree moments)로 이루어진다. 각각의 모멘트 벡터는 다음 형태의 4차원을 갖는다.
Figure pct00043
여기서, 만약
Figure pct00044
가 측면 위치 x 및 시간t 에서의 이미지 구성요소를 표현하는 경우,
Figure pct00045
상기 서브 이벤트 분류 벡터는 12개의 서브 이벤트 클래스들이 존재하고, 상기 모멘트 벡터들은 각각 4개의 구성요소들을 제공하며, 3개의 스칼라가 존재하기 때문에 12차원적이다. 최종 특성 벡터는 23차원이다.
도 4를 다시 참조하면, 분류(90)의 목적은 각각의 특성 벡터로부터 최종 내부 및 외부 카운트들을 추출하는 것이다. 특성 벡터들과 카운트들 사이에서의 맵핑(mapping)은구성될 필요가 있고, 이는 회귀문제(regression problem)으로 여겨진다.
인공신경망(artificial neural network)(92)는 상기 맵핑을 실행하는데 사용된다. 상기 신경망은 회귀오류(regression error)를 최대한 적합하게 만듦으로써 큰 세트의 표지 이벤트로부터 맵핑을 학습한다. 표준 MLP(multi-layer perception)는 시그모이드 활성 함수들(sigmoid activation fucntions) 및 회귀용 선형 활성을 가진 출력 층을 사용하는 단일 은닉층(single hidden layer)과 함께 사용된다.
상기 MLP 학습은 본질적으로 최적화(optimization) 문제이고, 에지 웨이트(edge weght)에 대한 출력 오류를 최소화하며, 이것을 위해 컨쥬케이트 그레디언트 디센트 알고리즘(conjugate gradient descent algorithm)이 사용된다. 상기 학습 데이터(training data)는 특성 벡터 세트의 형태를 필요로하고, 카운트 라벨들과 대응한다. 그러나, 학습 이전에 상기 특성들은 백화되고(whitened), 단위 공분산에 대해 특성 공간들을 정규화시키며, 그래서 절대 최소값들로의 수렴 기회를 향상시킨다. 상기 정규화 투사는 학습된 이후에 상기 신경망의 제 1 층 웨이트로 뒤에서 포함된다.신경 망의 외부는 상기 영역과 도 2에서 도시되는 A방향 및 B방향중 어느 방향에 걸쳐 움직이는 사람들의 수를 세는데 사용될 수 있는 것이라고 인식될 것이다.

Claims (10)

  1. 모니터링 영역(monitoring region)에 걸쳐 개체의 움직임을 모니터링하는 장치로서,
    제 1 방향으로 적어도 두 개의 인접 행(adjacent rows)의 구역들(zones)과 상기 제 1 방향에 수직인 방향으로 적어도 두 개의 인접 행의 구역들이 존재하도록 배열되어 있고, 각각의 구역(zone)은 구역 인덱스(zone index)와 관련되어 있으며, 상기 영역(region)내의 각각의 다수의 인접 구역들(zones)에서 개별적으로 개체의 존부(presence or absence)를 검출하고, 상기 영역에 걸쳐 이동하는 개체들의 각각의 구역들에서의 존부에 관해 검출된 데이터(sensed data)를 포함하는 시간 연속적 표현들(time sequentially representations)을 포착하도록 작동되는 센싱 배열(sensing arrangement);
    상기 센싱 배열에 연결되어 있으며, 제 1 차원은 시간이고 제 2 차원은 구역 인덱스인 상기 구역들 내의 개체들의 존부의 다차원적 패턴으로 상기 검출 데이터를 처리하며, 이벤트들(events)에 관한 패턴 파트들(pattern parts)로 상기 패턴을 분할(segment)하도록 구성된 프로세서 배열(processor arrangement); 및
    예상된 이벤트들(events)에 관한 과거의 데이터를 참조하여 상기 패턴 파트들을 분류하는 분류자(classifier);
    를 포함하는 것을 특징으로 하는 장치.
  2. 제 1 항에 있어서, 상기 센싱 배열은 상기 모니터링 영역의 천정(overhead)에 설치되는 적어도 하나의 카메라를 포함하는 것을 특징으로 하는 장치.
  3. 제 1 항 또는 제 2 항에 있어서, 상기 센싱 배열은 다른 각도에서 상기 영역 전부를 포괄하는(cover) 한 쌍의 스테레오(stereo) 카메라들을 포함하는 것을 특징으로 하는 장치.
  4. 제 1 항 내지 제 3 항 중 어느 하나의 항에 있어서, 상기 다수의 구역들은 바로(immediately) 인접한 구역들의 배열(array)을 형성시키고 각각의 구역은 상기 제 1 방향으로의 제 1 차원, 상기 제 2 방향으로의 제 2 차원 및 지역(area)을 갖는 것을 특징으로 하는 장치.
  5. 제 4 항에 있어서, 검출 데이터는 개체가 차지하는 구역의 일부 지역에 비례하는 데이터 또는 파라미터를 포함하는 것을 특징으로 하는 장치.
  6. 제 1 항 내지 제 5 항 중 어느 하나의 항에 있어서, 상기 프로세서는 불활성화 패턴의 영역들에서(in regions of the pattern of inactivity) 시간차원(time dimension)에 따라 상기 패턴을 분할시키도록 구성된 것을 특징으로 하는 장치.
  7. 모니터링 영역(monitoring region)에 걸쳐 개체들의 움직임을 모니터링 하는 방법으로서,
    제 1 방향으로 적어도 두 개의 인접 행(adjacent rows)의 구역들(zones)과 상기 제 1 방향에 수직인 방향으로 적어도 두 개의 인접 행의 구역들이 존재하도록 배열되어 있고, 각각의 구역(zone)은 구역 인덱스(zone index)와 관련되어 있는 다수의 구역들(zones)로 상기 영역(region)을 나누는 단계;
    센서 배열을 자동으로 그리고 시간 연속적으로 활용하여 각각의 구역들의 개체들의 존부(presence or absence)를 개별적으로 감지하는 단계;
    제 1 차원은 시간이고 제 2 차원은 구역 인덱스인 상기 구역들 내에서 개체들의 존부의 다차원적 패턴에 관한 데이터를 생성하는 단계;
    이벤트들(events)에 관한 패턴 파트들(pattern parts)로 상기 패턴을 분할하는 단계;
    예상되는 이벤트들에 관한 과거의 데이터를 참조하여 상기 패턴 파트들을 분류하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  8. 모니터링 영역(monitoring region)에 걸쳐 개체들의 움직임을 모니터링하는 컴퓨터 프로그램을 호스팅하는 컴퓨터 판독 매체(computer readable medium)로서, 상기 프로그램은,
    (a) 제 1 방향으로 적어도 두 개의 인접 행(adjacent rows)의 구역들(zones)과 상기 제 1 방향에 수직인 방향으로 적어도 두 개의 인접 행의 구역들이 존재하도록 배열되어 있고, 각각의 구역(zone)은 구역 인덱스(zone index)와 관련되어 있는 각각의 다수의 구역들(zones)에서 개체들의 존부(presence or absence)에 관한 데이터를 포함하는 상기 영역에 걸쳐 움직이는 개체들의 시간 연속적 표현들에 관한 검출된 데이터를 센서 배열(sensor arrangement)로부터 수신하는 단계;
    (b) 제 1 차원은 시간이고 제 2 차원은 구역 인덱스인 상기 구역들 내의 개체들의 존부의 다차원적 패턴에 관한 데이터를 생성시키는 단계;
    (c) 이벤트들(events)에 관한 패턴 파트들(pattern parts)로 상기 패턴을 분할하는 단계;
    (d) 예상되는 이벤트들에 관련된 과거의 데이터를 참조하여 상기 패턴 파트들을 분류하는 단계;를 실행시켜서,
    상기 영역에 걸쳐 적어도 하나의 방향으로 이동하는 개체들의 수를 출력으로서 제공하는 것을 특징으로 하는 컴퓨터 판독 매체.
  9. 모니터링 영역(monitoring region)에 걸쳐 개체들의 움직임을 모니터링하는 컴퓨터 프로그램을 호스팅하는 펌웨어(firmware)로서, 상기 프로그램은,
    (a) 제 1 방향으로 적어도 두 개의 인접 행(adjacent rows)의 구역들(zones)과 상기 제 1 방향에 수직인 방향으로 적어도 두 개의 인접 행의 구역들이 존재하도록 배열되어 있고, 각각의 구역(zone)은 구역 인덱스(zone index)와 관련되어 있는 각각의 다수의 구역들(zones)에서 개체들의 존부(presence or absence)에 관한 데이터를 포함하는 상기 영역에 걸쳐 움직이는 개체들의 시간 연속적 표현들에 관한 검출된 데이터를 센서 배열(sensor arrangement)로부터 수신하는 단계;
    (b) 제 1 차원은 시간이고 제 2 차원은 구역 인덱스인 상기 구역들 내의 개체들의 존부의 다차원적 패턴에 관한 데이터를 생성시키는 단계;
    (c) 이벤트들(events)에 관한 패턴 파트들(pattern parts)로 상기 패턴을 분할하는 단계;
    (d) 예상되는 이벤트들에 관련된 과거의 데이터를 참조하여 상기 패턴 파트들을 분류하는 단계;를 실행시켜서,
    상기 영역에 걸쳐 적어도 하나의 방향으로 이동하는 개체들의 수를 출력으로서 제공하는 것을 특징으로 하는 펌웨어.
  10. 모니터링 영역(monitoring region)에 걸쳐 개체들의 움직임을 모니터링하는 컴퓨터 프로그램으로서, 상기 프로그램은,
    (a) 제 1 방향으로 적어도 두 개의 인접 행(adjacent rows)의 구역들(zones)과 상기 제 1 방향에 수직인 방향으로 적어도 두 개의 인접 행의 구역들이 존재하도록 배열되어 있고, 각각의 구역(zone)은 구역 인덱스(zone index)와 관련되어 있는 각각의 다수의 구역들(zones)에서 개체들의 존부(presence or absence)에 관한 데이터를 포함하는 상기 영역에 걸쳐 움직이는 개체들의 시간 연속적 표현들에 관한 검출된 데이터를 센서 배열(sensor arrangement)로부터 수신하는 단계;
    (b) 제 1 차원은 시간이고 제 2 차원은 구역 인덱스인 상기 구역들 내의 개체들의 존부의 다차원적 패턴에 관한 데이터를 생성시키는 단계;
    (c) 이벤트들(events)에 관한 패턴 파트들(pattern parts)로 상기 패턴을 분할하는 단계;
    (d) 예상되는 이벤트들에 관련된 과거의 데이터를 참조하여 상기 패턴 파트들을 분류하는 단계;를 실행시키도록 구성되어,
    상기 영역에 걸쳐 적어도 하나의 방향으로 이동하는 개체들의 수를 출력으로서 제공하는 것을 특징으로 하는 컴퓨터 프로그램.
KR1020117002861A 2008-07-08 2009-07-08 모니터링 구역내의 개체들의 움직임을 분류하는 장치 및 방법 KR101571277B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ZA200805940 2008-07-08
ZA2008/05940 2008-07-08

Publications (2)

Publication Number Publication Date
KR20110063738A true KR20110063738A (ko) 2011-06-14
KR101571277B1 KR101571277B1 (ko) 2015-11-24

Family

ID=41202536

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117002861A KR101571277B1 (ko) 2008-07-08 2009-07-08 모니터링 구역내의 개체들의 움직임을 분류하는 장치 및 방법

Country Status (16)

Country Link
US (1) US8957966B2 (ko)
EP (1) EP2310981B1 (ko)
JP (1) JP5384629B2 (ko)
KR (1) KR101571277B1 (ko)
CN (1) CN102089770B (ko)
AT (1) ATE540374T1 (ko)
AU (1) AU2009269607B2 (ko)
BR (1) BRPI0915889B1 (ko)
CA (1) CA2727767C (ko)
ES (1) ES2382311T3 (ko)
HK (1) HK1157905A1 (ko)
PL (1) PL2310981T3 (ko)
PT (1) PT2310981E (ko)
RU (1) RU2509355C2 (ko)
WO (1) WO2010004514A1 (ko)
ZA (1) ZA201008745B (ko)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200745996A (en) 2006-05-24 2007-12-16 Objectvideo Inc Intelligent imagery-based sensor
US8737703B2 (en) * 2008-01-16 2014-05-27 The Charles Stark Draper Laboratory, Inc. Systems and methods for detecting retinal abnormalities
US8718363B2 (en) * 2008-01-16 2014-05-06 The Charles Stark Draper Laboratory, Inc. Systems and methods for analyzing image data using adaptive neighborhooding
US9405975B2 (en) 2010-03-26 2016-08-02 Brain Corporation Apparatus and methods for pulse-code invariant object recognition
US8315305B2 (en) * 2010-03-26 2012-11-20 Brain Corporation Systems and methods for invariant pulse latency coding
US9193075B1 (en) 2010-08-26 2015-11-24 Brain Corporation Apparatus and methods for object detection via optical flow cancellation
ES2396500T3 (es) 2010-11-18 2013-02-22 Axis Ab Contador de objetos y método para contar objetos
BR112013024105A2 (pt) 2011-03-24 2016-12-20 Koninkl Philips Nv controlador luminoso, sistema de iluminação e método para o controle de um sistema de iluminação usando um controlador luminoso
US9047568B1 (en) 2012-09-20 2015-06-02 Brain Corporation Apparatus and methods for encoding of sensory data using artificial spiking neurons
EP2600326A1 (en) * 2011-11-29 2013-06-05 ATS Group (IP Holdings) Limited Processing event data streams to recognize event patterns, with conditional query instance shifting for load balancing
US8792013B2 (en) * 2012-04-23 2014-07-29 Qualcomm Technologies, Inc. Method for determining the extent of a foreground object in an image
US9224090B2 (en) 2012-05-07 2015-12-29 Brain Corporation Sensory input processing apparatus in a spiking neural network
US20160132754A1 (en) * 2012-05-25 2016-05-12 The Johns Hopkins University Integrated real-time tracking system for normal and anomaly tracking and the methods therefor
US9245348B2 (en) 2012-06-15 2016-01-26 Microsoft Technology Licensing, Llc Determining a maximum inscribed size of a rectangle
US9412041B1 (en) 2012-06-29 2016-08-09 Brain Corporation Retinal apparatus and methods
US9311594B1 (en) 2012-09-20 2016-04-12 Brain Corporation Spiking neuron network apparatus and methods for encoding of sensory data
US9218563B2 (en) 2012-10-25 2015-12-22 Brain Corporation Spiking neuron sensory processing apparatus and methods for saliency detection
US9275326B2 (en) 2012-11-30 2016-03-01 Brain Corporation Rate stabilization through plasticity in spiking neuron network
US9177245B2 (en) 2013-02-08 2015-11-03 Qualcomm Technologies Inc. Spiking network apparatus and method with bimodal spike-timing dependent plasticity
US9239985B2 (en) 2013-06-19 2016-01-19 Brain Corporation Apparatus and methods for processing inputs in an artificial neuron network
US9436909B2 (en) 2013-06-19 2016-09-06 Brain Corporation Increased dynamic range artificial neuron network apparatus and methods
US9552546B1 (en) 2013-07-30 2017-01-24 Brain Corporation Apparatus and methods for efficacy balancing in a spiking neuron network
US10194163B2 (en) * 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US9939253B2 (en) 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US9713982B2 (en) 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US9848112B2 (en) 2014-07-01 2017-12-19 Brain Corporation Optical detection apparatus and methods
US10057593B2 (en) 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
US9870617B2 (en) 2014-09-19 2018-01-16 Brain Corporation Apparatus and methods for saliency detection based on color occurrence analysis
WO2016046690A1 (en) 2014-09-22 2016-03-31 Nortech International (Pty) Limited Method of configuring a monitoring region
US9881349B1 (en) 2014-10-24 2018-01-30 Gopro, Inc. Apparatus and methods for computerized object identification
ES2580304B1 (es) * 2015-02-19 2017-07-12 Endesa Generación, S.A. Sistema de inspección y diagnóstico de infraestructuras yprocedimiento asociado
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
US10211660B2 (en) * 2016-02-08 2019-02-19 Cree, Inc. LED lighting device with adaptive profiles for controlling power consumption
WO2018082929A1 (en) * 2016-11-01 2018-05-11 Philips Lighting Holding B.V. A lighting-system and a lighting-system control method
US10180452B2 (en) * 2016-12-16 2019-01-15 Nortek Security & Control Llc Doorbell camera test tool
US10451229B2 (en) 2017-01-30 2019-10-22 Ideal Industries Lighting Llc Skylight fixture
US10465869B2 (en) 2017-01-30 2019-11-05 Ideal Industries Lighting Llc Skylight fixture
US10612951B2 (en) * 2017-05-31 2020-04-07 Pixart Imaging Inc. Optical flow sensor, methods, remote controller device, and rotatable electronic device
US9894740B1 (en) 2017-06-13 2018-02-13 Cree, Inc. Intelligent lighting module for a lighting fixture
JP7034690B2 (ja) 2017-12-05 2022-03-14 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10830400B2 (en) 2018-02-08 2020-11-10 Ideal Industries Lighting Llc Environmental simulation for indoor spaces
US10991215B2 (en) 2018-03-20 2021-04-27 Ideal Industries Lighting Llc Intelligent signage
CN110595441B (zh) * 2018-06-13 2021-10-12 杭州海康微影传感科技有限公司 瞄具
CA3054216C (en) 2018-09-05 2023-08-01 Honeywell International Inc. Methods and systems for improving infection control in a facility
US10978199B2 (en) 2019-01-11 2021-04-13 Honeywell International Inc. Methods and systems for improving infection control in a building
US11113822B2 (en) * 2019-08-14 2021-09-07 International Business Machines Corporation Moving object identification from a video stream
EP4052543A1 (en) 2019-10-28 2022-09-07 Ideal Industries Lighting Llc Systems and methods for providing dynamic lighting
US11386656B2 (en) * 2020-04-08 2022-07-12 Moxa Inc. Device and method of handling video content analysis
US11620594B2 (en) 2020-06-12 2023-04-04 Honeywell International Inc. Space utilization patterns for building optimization
US11783652B2 (en) 2020-06-15 2023-10-10 Honeywell International Inc. Occupant health monitoring for buildings
US11914336B2 (en) 2020-06-15 2024-02-27 Honeywell International Inc. Platform agnostic systems and methods for building management systems
US11783658B2 (en) 2020-06-15 2023-10-10 Honeywell International Inc. Methods and systems for maintaining a healthy building
US11184739B1 (en) 2020-06-19 2021-11-23 Honeywel International Inc. Using smart occupancy detection and control in buildings to reduce disease transmission
US11823295B2 (en) 2020-06-19 2023-11-21 Honeywell International, Inc. Systems and methods for reducing risk of pathogen exposure within a space
US11619414B2 (en) 2020-07-07 2023-04-04 Honeywell International Inc. System to profile, measure, enable and monitor building air quality
US11402113B2 (en) 2020-08-04 2022-08-02 Honeywell International Inc. Methods and systems for evaluating energy conservation and guest satisfaction in hotels
US11657613B2 (en) 2020-08-11 2023-05-23 Analog Devices International Unlimited Company Zone based object tracking and counting
US11894145B2 (en) 2020-09-30 2024-02-06 Honeywell International Inc. Dashboard for tracking healthy building performance
US11662115B2 (en) 2021-02-26 2023-05-30 Honeywell International Inc. Hierarchy model builder for building a hierarchical model of control assets
US11372383B1 (en) 2021-02-26 2022-06-28 Honeywell International Inc. Healthy building dashboard facilitated by hierarchical model of building control assets
US11474489B1 (en) 2021-03-29 2022-10-18 Honeywell International Inc. Methods and systems for improving building performance

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2558198B2 (ja) * 1992-01-09 1996-11-27 株式会社コア 移動体解析装置
WO1994008258A1 (en) * 1992-10-07 1994-04-14 Octrooibureau Kisch N.V. Apparatus and a method for classifying movement of objects along a passage
DE69523698T2 (de) * 1994-08-31 2002-08-01 Nippon Telegraph & Telephone Verfahren und Gerät zum richtungsselektiven Zählen von sich bewegenden Objekten
EP0805405A3 (en) * 1996-02-05 1998-04-15 Texas Instruments Incorporated Motion event detection for video indexing
US6184858B1 (en) * 1998-02-06 2001-02-06 Compaq Computer Corporation Technique for updating a background image
GB2337146B (en) * 1998-05-08 2000-07-19 Primary Image Limited Method and apparatus for detecting motion across a surveillance area
GB0115822D0 (en) * 2001-06-28 2001-08-22 Koninkl Philips Electronics Nv Data input device
US6950469B2 (en) * 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
US7920718B2 (en) * 2002-09-05 2011-04-05 Cognex Corporation Multi-zone passageway monitoring system and method
JP2005135339A (ja) 2003-10-31 2005-05-26 Konica Minolta Holdings Inc 通行人検出方法および装置ならびに通行人計数装置
US7602944B2 (en) * 2005-04-06 2009-10-13 March Networks Corporation Method and system for counting moving objects in a digital video stream

Also Published As

Publication number Publication date
US8957966B2 (en) 2015-02-17
PL2310981T3 (pl) 2012-07-31
BRPI0915889A2 (pt) 2015-11-03
CN102089770A (zh) 2011-06-08
HK1157905A1 (en) 2012-07-06
KR101571277B1 (ko) 2015-11-24
RU2011104190A (ru) 2012-08-20
CA2727767C (en) 2016-02-02
BRPI0915889B1 (pt) 2023-10-31
EP2310981B1 (en) 2012-01-04
CN102089770B (zh) 2013-05-01
ES2382311T3 (es) 2012-06-07
RU2509355C2 (ru) 2014-03-10
EP2310981A1 (en) 2011-04-20
WO2010004514A1 (en) 2010-01-14
ZA201008745B (en) 2011-11-30
PT2310981E (pt) 2012-04-13
JP5384629B2 (ja) 2014-01-08
ATE540374T1 (de) 2012-01-15
US20110134242A1 (en) 2011-06-09
AU2009269607A1 (en) 2010-01-14
CA2727767A1 (en) 2010-01-14
JP2011527789A (ja) 2011-11-04
AU2009269607B2 (en) 2015-03-26

Similar Documents

Publication Publication Date Title
KR101571277B1 (ko) 모니터링 구역내의 개체들의 움직임을 분류하는 장치 및 방법
CN109819208B (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
Andrade et al. Hidden markov models for optical flow analysis in crowds
Bouwmans Subspace learning for background modeling: A survey
US7110569B2 (en) Video based detection of fall-down and other events
Ryan et al. Scene invariant multi camera crowd counting
Lim et al. iSurveillance: Intelligent framework for multiple events detection in surveillance videos
Farcas et al. Background subtraction via incremental maximum margin criterion: a discriminative subspace approach
KR101433472B1 (ko) 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
Ryan Crowd monitoring using computer vision
Gryn et al. Detecting motion patterns via direction maps with application to surveillance
Andrade et al. Performance analysis of event detection models in crowded scenes
Ryan et al. Scene invariant crowd counting and crowd occupancy analysis
Schlögl et al. People counting in complex scenarios
Zou et al. Occupancy measurement by object tracking at building entrances
Shuaau et al. Autonomous abnormal behaviour detection using trajectory analysis.
Rao et al. Anomalous event detection methodologies for surveillance application: An insight
Nishidha et al. Traffic analysis using discrete wavelet transform and Bayesian regression
Mubashir A Study of Fall Detection: Review and Implementation
Qian et al. Dynamic analysis of crowd behavior
Jia et al. Anti-Tailing AB-Door Detection Based on Motion Template Algorithm
Vidya et al. Video Surveillance System for Security Applications
CN111832478A (zh) 一种用于安防的图像识别方法、系统、终端及存储介质
CN117351403A (zh) 位置预测方法、装置及存储介质
Cenedese et al. Building a normality space of events-a pca approach to event detection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181113

Year of fee payment: 4