KR20190074210A - 로이터링 이벤트를 검출하는 방법, 장치 및 시스템 - Google Patents

로이터링 이벤트를 검출하는 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR20190074210A
KR20190074210A KR1020180143442A KR20180143442A KR20190074210A KR 20190074210 A KR20190074210 A KR 20190074210A KR 1020180143442 A KR1020180143442 A KR 1020180143442A KR 20180143442 A KR20180143442 A KR 20180143442A KR 20190074210 A KR20190074210 A KR 20190074210A
Authority
KR
South Korea
Prior art keywords
data
time
aoi
time interval
timestamp
Prior art date
Application number
KR1020180143442A
Other languages
English (en)
Other versions
KR102175373B1 (ko
Inventor
올슨 톰
백맨 마티아스
몰린 다니엘
검퍼트 야콥
포크 마리아넨
로셀 니클라스
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20190074210A publication Critical patent/KR20190074210A/ko
Application granted granted Critical
Publication of KR102175373B1 publication Critical patent/KR102175373B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G06K9/3233—
    • G06K9/00711—
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 모니터링 애플리케이션에 관한 것이다. 특히, 본 발명은 모니터링 된 장면 내의 관심 영역 내에서 서로에 후속하여 시간을 보내는 상이한 객체 ID를 갖는 객체의 로이터링 시간(loitering time)이 결합되는 로이터링 이벤트(loitering event)를 검출하기 위한 방법, 장치 및 시스템에 관한 것이다.

Description

로이터링 이벤트를 검출하는 방법, 장치 및 시스템{Method, Device and system for detecting a loitering event}
본 발명은 모니터링 애플리케이션(monitoring applications)에 관한 것이다. 특히, 본 발명은 로이터링 이벤트(loitering event)를 검출하는 방법, 장치 및 시스템에 관한 것이다.
보안 문제가 심화되면 모니터링을 위해 방, 건물, 공항, 도시 등에서 감시 카메라와 같은 모니터링 설비를 추가로 설치해야 한다. 그러나 모든 실시간 이벤트 또는 포착된 비디오를 모니터링하는 것은 노동 집약적이다. 비록 이러한 이벤트를 수동으로 모니터링하는 것이 가장 효과적이고 정확하다는 것이 잘 알려져 있지만, 이는 보안 직원이 항상 주의할 필요가 있는 것이다. 오랜 기간 동안 주의를 집중하는 것의 문제는 잘 알려져 있다. 따라서 포착된 모니터링 자료의 분석을 자동화하면 보안 요원이 감시 작업을 보다 효과적으로 수행할 수 있다.
힘든 모니터링 작업 중 하나는 로이터링 이벤트(loitering events)를 검출하는 것이다. 로이터링 행위는 마약 거래 활동, 강도 사건 현장 조사 및 공공 장소에서 시간을 낭비하는 십대들의 건강하지 않은 사회적 문제와 같은 유해한 활동과 관련이 있기 때문에 로이터링 이벤트의 검출은 매우 중요하다.
로이터링 이벤트를 검출하는 시스템 및 방법은 일반적으로 상기 로이터링 검출을 수행하기 위해 관심 객체를 추적하는 것이 필요하다. 로이터링 이벤트 검출의 정확성은 추적 방법론의 성능에 크게 의존한다.
따라서 이러한 맥락에서의 개선이 필요하다.
따라서, 상기의 관점에서 본 발명의 목적은 위에서 논의된 문제점들을 극복하거나 적어도 완화시키는 것이다. 특히, 다양한 로이터링 행위 및 상황에 대한 로이터링 이벤트의 검출을 개선하는 방법, 장치 및 시스템을 제공하는 것이 목적이다.
본 발명의 제 1 양태에 따르면, 관심 영역(104)인 AOI 내의 로이터링 이벤트를 검출하는 방법이 제공되며, 상기 방법은 다음의 단계를 포함한다:
·제 1 ID, 제 1 위치 데이터, 및 제 1 타임스탬프(timestamp)를 포함하는 제 1 객체 데이터, 모니터링된 장면(monitored scene) 내의 검출된 제 1 객체에 대응하는 상기 제 1 객체 데이터를 수신하는 단계;
·상기 제 1 위치 데이터가 상기 AOI와 중첩하는 것으로 결정하는 단계;
·상기 제 1 ID, 제 2 위치 데이터, 및 제 2 타임스탬프를 포함하는 제 2 객체 데이터, 모니터링된 장면 내의 상기 검출된 제 1 객체에 대응하는 상기 제 2 객체 데이터를 수신하는 단계;
·상기 제 2 위치 데이터는 상기 AOI에 중첩하는(overlaps) 것으로 결정하는 단계;
·집계 시간 간격(period of time)에 상기 제 2 타임스탬프와 상기 제 1 타임스탬프 사이의 시간 차이를 추가하는 단계;
·상기 제 1 ID와 상이한 제 2 ID, 제 3 위치 데이터 및 제 3 타임스탬프를 포함하는 제 3 객체 데이터, 상기 모니터링된 장면 내의 검출된 제 2 객체에 대응하는 상기 제 3 객체 데이터를 수신하는 단계;
·상기 제 3 위치 데이터는 상기 AOI에 중첩하는 것으로 결정하는 단계;
·상기 제 2 ID, 제 4 위치 데이터 및 제 4 타임스탬프를 포함하는 제 4 객체 데이터, 상기 모니터링된 장면 내의 상기 검출된 제 2 객체에 대응하는 상기 제 4 객체 데이터를 수신하는 단계;
·상기 제 4 위치 데이터는 상기 AOI에 중첩하는 것으로 결정하는 단계;
·상기 집계 시간 간격에 상기 제 4 타임스탬프와 상기 제 3 타임스탬프 사이의 시간 차이를 추가하는 단계;
·상기 집계된 시간 간격이 제 1 임계 시간 간격을 초과할 때 로이터링 이벤트를 검출하는 단계.
"ID"는 일반적으로 다른 객체와 관련하여 연관된 객체를 차별화하는 데 사용될 수 있는 임의의 유형의 표시를 의미한다. 예를 들어 상기 객체 데이터가 크기 데이터를 포함하는 경우, 그러한 데이터는 복수의 수신된 객체 데이터와 연관된 객체를 차별화하는 데 사용될 수 있다. 상기 ID의 또 다른 목적은 객체가 시간 내에 추적될 수 있다는 것, 즉 상이한 타임스탬프를 갖는 복수의 객체 데이터가 시간 내에 접속될(connected) 수 있다는 것이다. 상기 ID는 정수(integer)인, 예를 들어 1, 2, 3 등과 같은 일련번호로 나타날 수 있다. 상기 ID는 상기 객체의 이름과 같은 문서(text)로 나타날 수 있다. 상기 ID는 "식별", "태그", "레이블", "이름", "차별화하는 특징" 등으로 불릴 수도 있다. 다시 말해, 상기 ID는 다른 객체와 관련하여 객체를 차별화하는 데 사용할 수 있는 임의의 유형의 데이터일 수 있다.
"관심 영역"(AOI)는 일반적으로 객체가 로이터링 객체로 정의될 수 있는 모니터링된 장면 내 영역의 정의를 의미한다. 일부 실시예에서, 상기 AOI는 전체 모니터링된 장면이다. 또 하나의 실시예에서, 상기 AOI는 좌표에 의해 정의된다. 이 실시예에서, 상기 AOI의 좌표는 수신된 객체 데이터의 위치 데이터의 좌표에 의존할 수 있다. 예를 들어, 상기 관심 영역은 상기 수신된 객체 데이터의 상기 위치 데이터가 그러한 좌표로 정의되는 경우 X, Y 및/또는 Z 좌표로 정의된 영역일 수 있다. 상기 AOI는 상기 모니터링된 장면(예를 들어 카메라, 레이다(RADAR) 장치 등)을 포착하는 장치의 좌표계, 즉 글로벌 좌표(global coordinates)에 의해 정의될 수 있다. 상기 AOI는 또한 x 좌표뿐만 아니라 y 좌표에서 -1 내지 1의 범위를 다루는(covering) 장면의 관점에서, x=0.3~0.7, y=0.3~0.7(즉, 좌표 (0,3;0,3), (0,3;0,7), (0,7;0,7), (0,7;0,3)에 의해 정의됨)과 같은 상기 모니터링된 장면에 대한 좌표(예를 들어 비디오 포착 장치에 의해 포착된 비디오의 이미지 평면에서의 위치)로 정의될 수 있다. 레이다 데이터를 사용하는 실시예에서, 상기 AOI는 각도 범위 및 선택적으로 깊이 범위를 사용하여 정의될 수 있다.
"위치 데이터"는 일반적으로 상기 모니터링된 장면 내의 상기 객체에 대한 위치를 결정하는 데 사용될 수 있는 임의의 유형의 데이터를 의미한다. 상기 위치 데이터는 예를 들어 공간의 한 지점일 수 있다. 다른 실시예에서, 상기 위치 데이터는 상기 공간 내의 상기 객체에 대한 경계 상자(bounding box)의 정점 좌표(coordinates of vertices) 또는 상기 객체에 대한 더욱 복잡한 다각형 구조에 의해 정의된다. 위에서 기술한 바와 같이 상기 위치 데이터는 글로벌 좌표계(예를 들어 레이다 장치로부터의 데이터에 의해 정의된 객체의 실제 물리적 위치) 또는 상대 좌표계(예를 들어 비디오 포착 장치에 의해 포착된 비디오의 이미지 평면에서의 위치)에서 정의될 수 있다. 레이다 데이터를 사용하는 실시예에서, 상기 위치 데이터는 상기 장면 내의 상기 검출된 객체에 대한 각도와 깊이의 표시를 포함할 수 있다.
본 명세서에서 사용된 바와 같이 "위치 데이터는 상기 AOI와 중첩하는 것으로 결정하는 것"(또는 이하 정의되는 바와 같이 배제된 영역)은 일반적으로 상기 객체의 정의된 부분이 상기 AOI 내에 있음을 의미한다. 상기 AOI가 상기 전체 모니터링된 장면인 실시예에서, 상기 객체 데이터가 수신되므로 이 단계는 내재하여(implicitly) 수행된다. 상기 AOI가 상기 모니터링된 장면의 단지 일부인 실시예에서, 상기 위치 데이터는 상기 AOI의 좌표와 비교된다. 상기 위치 데이터가 한 지점인 실시예에서, 상기 지점은 상기 AOI 내에 있어야 하지만, 경계 상자와 같은 더 복잡한 위치 데이터에 대해서는 다른 규칙이 적용될 수 있다는 것이 정의된다. 일 실시예에서, 상기 경계 상자/다각형 내의 단일 지점은 상기 AOI 내에 있어 중첩하는 것으로 정의되기에 충분하다. 다른 실시예에서, 전체 경계 상자/다각형은 중첩하는 것으로 정의되도록 상기 AOI 내에 존재할 필요가 있을 수 있다. 또 다른 실시예에서, 상기 경계 상자/다각형 영역의 1/3은 상기 AOI 내에 있어야만 중첩하는 것으로 정의된다. 또 다른 실시 예에서, 상기 객체의 상기 경계 상자 내의 미리 정의된 지점(상기 경계 상자 높이의 1/3 및 너비의 1/2과 같음)은 상기 AOI 내에 있어야만 중첩치는 것으로 정의된다.
종래 기술에서, 로이터링 이벤트의 검출은 일반적으로 AOI 내에 시간 간격을 소비하는 개별 객체에 기반하여 수행되며, "개별 객체"의 정의는 포착된 장면의 데이터를 분석하는 장치의 검출 및 추적 능력에 달려 있다. 그러나 이 접근법에 문제가 있을 수 있다. 종종 객체의 검출은 상기 객체의 움직임을 기반으로 한다. 상기 객체가 시간 간격에서 여전히 정지하고 있는 경우, 이 객체의 추적은 보통 누락되고, 상기 객체가 다시 이동하기 시작하면 새로운 객체로 간주된다. 즉 상기 객체가 여전히 정지하고 있기(및 상기 추적이 누락되는 것) 전에 상기 간격에 대한 한 번의 측정 및 상기 객체가 다시 움직이기 시작했을 때 상기 간격에 대한 한 번의 측정으로, 첫 번째 측정과 두 번째 측정은 함께 묶이지 않아, 로이터링 관점에서 이 객체의 로이터링 시간 측정은 잘못될 것이다. 결과적으로, 이 객체에 대한 상기 로이터링 이벤트 검출은 누락될 수 있다. 상기 추적 알고리즘의 고유한 기능이 누락된 로이터링 이벤트를 유발할 수 있는 또 다른 경우는 상기 객체가 시간 간격에서 보이지 않는(예를 들어 나무 뒤에 숨어 있는) 경우이다. 이 경우 상기 알고리즘은 위에서 기술한 여전히 정지한 경우와 비슷한 두 개의 상이한 검출된 객체를 생성할 수 있다.
또한, 오직 개별 객체에 기반한 로이터링 이벤트만 검출하면 일부 유형의 로이터링 행위가 누락될 수 있다. 예를 들어 첫 번째 사람이 AOI에서 훔친 물건을 떨어뜨리고, 잠시후 두 번째 사람이 주운 경우, 상기 첫 번째 또는 두 번째 사람이 상기 AOI 내에 충분한 시간 동안(이 시간 간격은 상기 AOI 내에서 상기 로이터링 이벤트가 촉발되기 전에 얼마나 오래 임의의 객체가 어슬렁거리도록(to loiter) 허용되는지를 정의하며, 여기서는 제 1 임계 시간 간격으로 지칭됨) 촉발된 로이터링 이벤트로 존재하지 않으면, 그런 행위는 검출된 로이터링 이벤트가 되지 않을 것이다.
본 발명자는 서로에 후속하는 상이한 객체 ID를 갖는 객체의 로이터링 시간(즉, 객체가 AOI 내에서 소비하고 있는 동안의 시간 간격)을 조합함으로써 상기 AOI 내에서 시간을 소비한다는 것을 알게 되었고, 상기 논의된 누락된 로이터링 행위는 올바르게 검출될 수 있다. 임의의 중첩하는 시간 간격은 결합되지 않고 한 번만 계산된다(counted)는 점에 유의해야 한다. 다시 말해, 시간 간격 3~20(제 1 객체에 대해) 및 15~30(제 2 객체에 대해)은 3~30의 로이터링 시간 간격이 되고, 집계된 시간 간격은 값 27이 된다.
상기 조합된 로이터링 시간(본 명세서에서는 집계된 시간 간격이라 지칭됨)이 촉발 시간 임계값(본 명세서에서는 제 1 임계 시간이라 지칭됨)을 초과하면, 상기 로이터링 이벤트가 검출된다. 제 1 임계 시간은 20초, 40초 또는 1분과 같은 임의의 적절한 양의 시간일 수 있다.
일부 실시예에 따르면, 제 3 타임스탬프와 제 2 타임스탬프 사이의 시간 차이가 제 2 임계 시간을 초과하는 경우, 상기 방법은 상기 집계된 시간 간격에 상기 제 4 타임스탬프와 상기 제 3 타임스탬프 사이의 시간 차이를 더하는 단계 이전에 상기 집계된 시간 간격을 0으로 설정하는 단계를 더 포함한다. 이 실시예에서, 상기 집계된 시간 간격이 재설정되기(0으로 설정) 전에 상기 AOI가 얼마나 오래 비어있을(상기 AOI 내의 위치 데이터를 갖는 객체 데이터가 수신되지 않음) 수 있는지를 정의하는 재설정 시간 여유(margin)(제 2 임계 시간)이 정의된다. 상기 제 2 임계 시간은 로이터링 행위로 검출되어야만 하는 행동 유형에 기반하여 조정될 수 있다. 상기 제 2 임계 시간은 3초, 6초, 30초 또는 임의의 다른 적절한 양의 시간일 수 있다.
일부 실시예에 따르면, 상기 방법은 상기 AOI의 좌표와 중첩하는 위치 데이터를 갖는 각각의 수신된 객체 데이터 사이의 시간을 측정하는 단계를 더 포함하며, 상기 집계된 시간 간격을 0으로 설정하는 단계는 상기 시간이 제 2 임계값을 초과할 때 수행된다. 이 실시예에서, 상기 AOI의 좌표와 중첩하는 위치 데이터를 갖는 객체 데이터가 수신될 때마다 시계는(clock) 재시작된다. 상기 시간이 제 2 임계값에 도달하자마자 상기 집계된 시간 간격은 0으로 설정된다. 이는 예를 들어 상기 집계된 시간 간격을 보여주는 GUI의 그래픽 객체(예를 들어 진행 막대)가 상기 제 2 임계 시간이 경과 하자마자 0이 될 수 있고(may be zeroed), 따라서 로이터링 상태의 즉각적인 피드백(feedback)을 작동자에게 제공할 수 있기 때문에 이점이 될 수 있다. 다른 실시예에 따르면, 상기 집계된 시간 간격은 다음 로이터링 객체 데이터가 수신될 때까지(이전에 수신된 로이터링 객체 데이터 이후의 상기 제 2 임계 시간보다 많음), 즉 상기 집계된 시간 간격에 새로운 시간 차이를 추가하는 단계 직전에 재설정되지 않는다.
일부 실시예에 따르면 로이터링 이벤트가 검출되었을 때, 상기 방법은 상기 AOI의 좌표와 중첩하는 위치 데이터를 갖는 두 개의 연속적으로 수신된 객체 데이터 사이의 시간이 상기 제 2 임계값을 초과할 때까지 로이터링 이벤트를 계속해서 검출하는 단계를 더 포함한다. 다시 말해, 상기 AOI의 좌표와 중첩하는 위치 데이터를 갖는 객체 데이터가 수신될 때마다 재시작되는 상기 시계는 모든 객체가 상기 AOI를 떠난 후, 얼마나 오래 로이터링 이벤트의 검출이 계속되어야만 하는지를 정의하는데 사용될 수 있다. 결과적으로, 로이터링 이벤트가 검출되었을 때, 상기 AOI 내의 위치를 갖는 임의의 객체 데이터가 상기 AOI 내의 위치를 갖는 이전에 수신된 객체 데이터로부터 제 2 시간 간격 내에 수신되는 한, 이 검출은 계속될 것이다. 이 실시예에 따른 로이터링 이벤트를 계속해서 검출함으로써, 상기 로이터링 행위를 검출하는 작동자의 기회가 증가할 수 있다.
일부 실시예에 따르면, 상기 방법은: 상기 제 2 ID, 제 5 위치 데이터 및 제 5 타임스탬프를 포함하는 제 5 객체 데이터, 상기 모니터링된 장면 내의 상기 검출된 제 2 객체에 대응하는 상기 제 5 객체 데이터를 수신하는 단계; 상기 제 5 위치 데이터는 상기 AOI와 중첩하는 것으로 결정하는 단계; 및 상기 집계된 시간 간격에 상기 제 5 타임스탬프와 상기 제 4 타임스탬프 사이의 시간 차이를 추가하는 단계를 더 포함한다.
결과적으로, 제 1 임계 시간 간격이 도달될 때까지, 제 2 객체가 상기 AOI 내에서 검출되는 한 상기 집계된 시간 간격은 증가할 것이다.
일부 실시예에 따르면, 배제 지역(또는 배제 영역)은 상기 AOI 내에서 정의될 수 있다. 이 영역에 거주하는 객체는 상기 집계된 시간 간격에 기여해서는 안된다. 이것은 예를 들어 사람들이 종종 담배를 피우기 위해 나가는 상기 AOI 내의 문 주변 영역일 수 있다. 그러한 행위는 검출되어야만 하는 로이터링 행위가 아닐 수 있다. 상기 배제 지역은 예를 들어 작동자에게는 미리 정의될 수 있거나 또는 정의할 수 있다. 이 실시예에서, 상기 방법은 상기 제 4 위치 데이터가 상기 배제 영역의 좌표와 추가로 중첩하는 것으로 결정하는 단계를 더 포함하여, 상기 집계된 시간 간격에 상기 제 4 타임스탬프 및 제 3 타임스탬프 사이의 시간 차이를 추가하는 단계는 수행되지 않는다.
일부 실시예에 따르면, 상기 방법은: 상기 제 2 ID, 제 5 위치 데이터 및 제 5 타임스탬프를 포함하는 제 5 객체 데이터, 상기 모니터링된 장면 내의 상기 검출된 제 2 객체에 대응하는 상기 제 5 객체 데이터를 수신하는 단계; 상기 제 5 위치 데이터는 상기 AOI와 중첩하고, 상기 배제 영역과는 중첩하지 않는 것으로 결정하는 단계; 및 상기 집계된 시간 간격에 상기 제 5 타임스탬프와 상기 제 4 타임스탬프 사이의 시간 차이를 추가하는 단계;를 더 포함한다. 결과적으로, 객체가 상기 배제 영역의 외부로 이동하지만 여전히 AOI 내에 있는 즉시, 상기 시간은 다시 측정되고 상기 집계된 시간 간격에 기여한다.
일부 실시예에 따르면, 수신된 객체 데이터의 걸러냄(filtering)은 상기 객체 데이터와 연관된 객체를 로이터링 후보로서 고려하기 전에 수행된다. 본 명세서에 사용된 바와 같이, 용어 "로이터링 후보(loiterering candidate)"는 일반적으로 상기 AOI 내에 위치하는(그러나 선택적으로 배제 지역 내에 있지 않은) 객체를 의미하는 것으로 이해되며, 상기 AOI 내에 존재하는 그 시간 간격이 측정되고 따라서 상기 집계된 기간 간격에 기여할 수 있다.
상기 걸러냄은 임의의 유형의 걸러냄일 수 있다. 예를 들어 일부 실시예에 따르면, 수신된 객체 데이터는 검출된 객체의 크기에 대응하는 크기 데이터를 더 포함한다. 이 경우에 상기 방법은 상기 제 3 객체 데이터 및 제 4 객체 데이터의 크기 데이터를 임계 크기와 비교하는 단계를 더 포함하며, 상기 집계 시간 주기에 상기 제 4 타임스탬프 및 제 3 타임스탬프 사이의 시간 차이를 추가하는 단계는 상기 각 크기 데이터가 상기 임계 크기를 초과하는 경우에 오직 수행된다. 상기 크기 데이터는 예를 들어 상기 위치 데이터가 경계 상자 또는 다각형을 정의하는 경우, 상기 위치 데이터에 의해 내재하여(implicitly) 수행될 수 있다. 상기 크기 데이터는 또한 상기 수신된 객체 데이터의 개별 데이터 필드(field)일 수 있다. 이 실시예에 의해, 상기 AOI로 날아드는 동물(고양이, 개, 토끼), 잎 또는 비닐봉지와 같은 객체는 걸러질 수 있고, 검출된 로이터링 이벤트로 되지 않을 수 있다.
다른 실시예에서, 수신된 객체 데이터는 검출된 객체의 유형에 대응하는 객체 유형 데이터를 더 포함한다. 이 경우에 상기 방법은 상기 제 3 객체 데이터 및 제 4 객체 데이터의 객체 유형 데이터를 미리 정의된 객체 유형과 비교하는 단계를 더 포함하며, 상기 집계 시간 간격에 상기 제 4 타임스탬프 및 제 3 타임스탬프 사이의 시간 차이를 추가하는 단계는 각 객체 유형 데이터가 상기 미리 정의된 객체 유형과 동일한 경우에 오직 수행된다. 상기 객체 유형 데이터는 정수, 열거(enum), 문자열(text string) 또는 임의의 다른 적합한 데이터 필드일 수 있다. 예시에 따르면, 상기 객체 데이터는 객체가 "자동차" 유형이라는 것을 정의할 수 있다. 상기 로이터링 검출 시스템의 관리자는 오직 "인간" 유형의 객체에 대한 로이터링 이벤트만 검출하도록 상기 시스템을 설정할 수 있다. 객체 유형 데이터를 포함하고 그러한 데이터에 대한 걸러냄을 수행함으로써 그러한 시나리오(scenarios)가 가능할 수 있다.
본 발명의 제 2 양태에 따르면, 상기 목적은 로이터링 이벤트 검출을 위해 적용된 장치에 의해 달성되며, 상기 장치는 다음의 단계를 위해 적용된 프로세서(processor)를 포함한다:
·제 1 ID, 제 1 위치 데이터, 및 제 1 타임스탬프를 포함하는 제 1 객체 데이터, 모니터링된 장면 내의 검출된 제 1 객체에 대응하는 상기 제 1 객체 데이터를 수신하는 단계;
·상기 제 1 위치 데이터는 상기 AOI와 중첩하는 것으로 결정하는 단계;
·상기 제 1 ID, 제 2 위치 데이터, 및 제 2 타임스탬프를 포함하는 제 2 객체 데이터, 모니터링된 장면 내의 상기 검출된 제 1 객체에 대응하는 상기 제 2 객체 데이터를 수신하는 단계;
·상기 제 2 위치 데이터는 상기 AOI와 중첩하는 것으로 결정하는 단계;
·집계 시간 간격에 상기 제 2 타임스탬프와 상기 제 1 타임스탬프 사이의 시간 차이를 추가하는 단계;
·상기 제 1 ID와 상이한 제 2 ID, 제 3 위치 데이터 및 제 3 타임스탬프를 포함하는 제 3 객체 데이터, 상기 모니터링된 장면 내의 검출된 제 2 객체에 대응하는 상기 제 3 객체 데이터를 수신하는 단계;
·상기 제 3 위치 데이터는 상기 AOI와 중첩하는 것으로 결정하는 단계;
·상기 제 2 ID, 제 4 위치 데이터 및 제 4 타임스탬프를 포함하는 제 4 객체 데이터, 상기 모니터링된 장면 내의 상기 검출된 제 2 객체에 대응하는 상기 제 4 객체 데이터를 수신하는 단계;
·상기 제 4 위치 데이터는 상기 AOI와 중첩하는 것으로 결정하는 단계;
·상기 집계 시간 간격에 상기 제 4 타임스탬프와 상기 제 3 타임스탬프 사이의 시간 차이를 추가하는 단계;
·상기 집계된 시간 간격이 제 1 임계 시간 간격을 초과할 때 로이터링 이벤트를 검출하는 단계.
본 발명의 제 3 양태에 따르면, 상기 목적은 다음의 단계를 포함하는 시스템에 의해 달성된다.
·장면 데이터를 연속적으로 포착하는 제 1 장치,
·상기 제 1 장치로부터 포착된 데이터 수신을 위해 적용되고, 상기 포착된 데이터 내의 객체를 검출하고 추적하는 것에 적응된 제 2 장치(상기 제 2 장치는 상기 포착된 데이터 내의 검출되고 추적된 객체에 대응하는 객체 데이터와 상기 추출된 객체 데이터의 대응하는 타임스탬프, 검출되고 추적된 객체와 연관된 각 객체 데이터를 추출하는 것 및 상기 연관된 객체의 ID, 상기 연관된 객체의 위치 데이터와 상기 타임스탬프를 포함하는 것을 위해 추가로 적용됨); 및
·상기 제 2 장치로부터 상기 추출된 객체 데이터 수신을 위해 적용된 상기 제 2 양태에 따른 제 3 장치.
일부 실시예에 따르면, 상기 시스템은 검출된 로이터링 이벤트를 상기 제 3 장치로부터 수신하는 것을 위해 적용된 제 4 장치를 더 포함하고, 작동자가 상기 로이터링 이벤트를 알도록 하는 시각 및/또는 청각 신호를 생성한다.
일부 실시예에 따르면, 상기 제 1 장치는 비디오 포착 장치, 레이다(RADAR) 장치, 적외선 센서 장치, 마이크로폰 어레이(microphone array), 열 카메라(thermal camera) 및 비행 시간 카메라(time of flight camera)의 목록 중 하나이다.
상기 제 1, 제 2, 제 3 및 제 4 장치 중 임의의 것은 단일 물리적 장치로 구현될 수 있다. 일부 실시예에 따르면, 상기 제 1, 제 2 및 제 3 장치는 비디오 포착 장치로 구현된다. 또한, 상기 제 4 장치는 상기 비디오 포착 장치로 구현될 수 있다.
본 발명의 제 4 양태에 따르면, 상기 목적은 처리 능력을 갖는 장치에 의해 실행될 때 상기 제 1 양태의 방법을 수행하도록 적응된 명령(instructions adapted to carry out)을 갖는 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨터 프로그램 제품에 의해 달성된다.
상기 제 2, 제 3 및 제 4 양태는 일반적으로 상기 제 1 양태와 동일한 특징 및 이점을 가질 수 있다. 본 발명은 달리 명시적으로 언급되지 않는 한 모든 가능한 특징들의 조합에 관한 것임을 추가로 유의한다.
본 발명의 추가적인 목적, 특징 및 이점 뿐만 아니라 상기 내용은 첨부된 도면을 참조하여, 본 발명의 바람직한 실시예에 대한 다음의 예시적이고 비제한적인 상세한 설명을 통해 더 잘 이해될 것이며, 같은 참조 번호는 유사한 요소에 대해 사용될 것이다.
도. 1은 종래 기술에 따른 로이터링 검출을 도시하고,
도. 2는 실시예에 따른 관심 영역 내의 로이터링 이벤트를 검출하는 방법을 도시하고,
도. 3은 실시예에 따라, 정지된 객체를 포함하는 관심 영역 내의 로이터링 이벤트를 검출하는 방법을 도시하고,
도. 4는 실시예에 따라, 배제 영역을 포함하는 관심 영역 내의 로이터링 이벤트를 검출하는 방법을 도시하고,
도. 5는 일부 실시예에 따라, 로이터링 이벤트를 검출하는 시스템을 도시하고,
도. 6은 일부 실시예에 따라, 로이터팅 이벤트를 검출하는 방법의 흐름도를 도시한다.
본 발명은 본 발명의 실시예가 도시된 첨부된 도면을 참조하여 이하에서 더욱 완전하게 설명될 것이다. 본 명세서에 개시된 상기 시스템 및 장치는 작동 중에 설명될 것이다.
예를 들어 카메라에 의해 포착된 비디오 스트림(stream)에 기반한 기본적인 로이터링 검출은 당 업계에 알려져 있다. 그러나, 알려진 로이터링 검출은 개별 객체 단위(basis)로 수행된다. 객체가 카메라 관점에서 검출되고 추적되며, 상기 객체가 상기 정의된 관심 영역 내에서 위치하는 시간 간격은 로이터링 이벤트의 검출을 위해 특정된 미리 정해된 시간 간격과 비교된다.
도면 1은 카메라에 의해 모니터링된 관심 장면(102)의 3개 스냅샷(snapshots)에서의 개별 로이터링 검출의 예시를 도시한다. 상부에는 당시 장면이 도시된다(the scene at time to is shown). 이 스냅샷에서, 제 1 및 제 3 객체(106a, 106c)는 미리 정의된 관심 영역(AOI)(104) 내에 존재하고, 제 2 객체(106b)는 상기 AOI(104) 외부에 위치한다. 상기 객체(106a-c)는 상기 장면(102) 및 AOI(104)와 관련하여 그들의 위치를 정의하는 경계 상자(108a-c)로 정의된다. 로이터링 이벤트를 검출하기 위해, 상기 AOI(104) 내에 객체(106a-c)가 위치하는 시간 간격이 측정된다. 이러한 이유로, 상기 AOI(104) 내에 각각의 객체(106a, 106c) 아래에는, 각각의 객체(106a, 106c)가 상기 AOI(104) 내에 존재하는 동안의 시간 간격을 나타내는 진행 막대(110a, 110c)가 도시되어 있다. 상기 진행 막대(110a, 110c)에 의해 가시적으로, 상기 객체(106a, 106c)가 상기 AOI(104) 내에 위치하는 개별적으로 측정된 시간 간격은 상기 로이터링 이벤트에 대해 특정된 미리 정해진 시간 간격에 접근하고 있다.
두 번째 스냅샷(도면 1의 중간부)에는 시간 t1>t0에서의 장면(102)가 도시된다. 이 스냅샷에서, 제 1 객체(106a)는 상기 AOI(104)의 외부로 이동했다. 결과적으로, 이 객체(106a)에 대한 상기 시간은 더 이상 측정되지 않고, 상기 제 1 객체(106a)의 상기 AOI 내에서의 로이터링은 로이터링 이벤트의 검출을 야기하지 않는다. 상기 제 3 객체(106c)는 상기 장면(102) 내의 정지된 객체(예를 들어 나무)에 의해 가려진다. 결과적으로, 상기 장면을 포착하는 카메라로부터의 영상을 분석하는 상기 객체 검출 및 추적 알고리즘은 더 이상 객체(106c)를 추적할 수 없을 것이다. 상기 제 2 객체(106b)는 여전히 상기 AOI(104)의 외부에 있다. 이 스냅샷에는, 상기 AOI(104) 내에서 객체가 검출되지 않기 때문에 시간이 측정되지 않는다.
마지막 스냅샷에서 시간 t2>t1에서의 상기 장면(102)가 도시된다. 이 스냅샷에서, 상기 제 3 객체(106c)는 상기 장면(102)에서 다시 볼 수 있고 상기 AOI(104)에 위치한다. 그러나 상기 장면의 이미지를 분석하는 상기 검출 및 추적 알고리즘의 경우, 상기 제 3 객체는 상기 장면에 대해 새로운 객체이다(추적이 시간 t1 또는 시간 t0 내지 t2의 사이에서 누락되었기 때문임). 전술한 바와 같이, 상기 AOI(104) 내의 각각의 객체(106b, 106c) 아래에는, 각각의 객체(106b, 106c)가 상기 AOI(104) 내에 존재하는 동안의 시간 간격을 나타내는 진행 막대(110b, 110c)가 도시되어 있다. 알 수 있듯이, 상기 측정된 시간 간격은 첫 번째 스냅 샷과 비교하여 세 번째 스냅 샷에서 더 적다.
전술한 바와 같이, 로이터링 시간 간격을 측정하는 이 전략에는 몇 가지 문제점이 있다. 많은 경우, 상기 AOI 내에서 서로에 후속하여 시간을 소비하는 상이한 객체 ID를 갖는 객체의 로이터링 시간을 결합하는 것이 유리할 수 있는데, 즉 그룹 로이터링 전략 또는 비특정 객체 로이터팅 전략이다. 그런 로이터링 검출 전략은 이제 도면 2 내지 도면 6을 사용하여 설명될 것이다.
도면 5는 로이터링 검출을 위한 시스템을 예시로서 도시한다. 이 예시에서, 제 1 장치(404)(예를 들어 카메라)는 장면(102)의 데이터(406)를 연속적으로 포착하고 있다. 상기 제 1 장치(404)는 비디오 포착 장치, 레이다 장치, 적외선 센서 장치, 마이크로폰 어레이, 열 카메라 또는 비행 시간 카메라와 같은 상기 장면(102)에서 객체의 개별 검출 및 추적을 위해 사용될 수 있는 데이터를 포착하기 위한 임의의 적절한 장치일 수 있다.
그리고 상기 포착된 데이터(406)(그 방식(format)은 상기 제 1 장치(404)에 따름)은 상기 제 1 장치(404)로부터 상기 포착된 데이터(406) 수신을 위해 적용되고, 상기 포착된 데이터에서 객체(106a, 106b)를 검출 및 추적하도록 적응된 제 2 장치(408)로 전송된다. 상기 제 2 장치(408)는 상기 제 1 장치(404)로 구현될 수 있거나 또는 상기 제 1 장치(404)와 별도의 장치로 구현될 수 있다. 상기 제 2 장치(408)는 상기 포착된 데이터(406) 내의 검출되고 추적된 객체(106a, 106b)에 대응하는 객체 데이터(410)와 상기 추출된 객체 데이터(410)의 대응하는 타임스탬프를 추출하기 위해 적용된다. 각 객체 데이터(410)는 검출되고 추적된 객체(106a, 106b)와 연관되고, 상기 연관된 객체(106a, 106b)의 ID, 상기 연관된 객체(106a, 106b)의 위치 데이터 및 상기 타임스탬프를 포함한다. 따라서, 상기 제 2 장치는 상기 제 1 장치(404)로부터 수신된 포착된 데이터(406)(예를 들어 이미지 데이터, 비디오 데이터, 오디오 데이터, 레이다 데이터 등)의 유형에 기반하여 적절한 분석 알고리즘을 구현한다.
일부 실시예에 따르면, 상기 출력된 객체 데이터(410)는 상기 객체가 검출 된 이미지 프레임(frames)에 대응하는 객체 데이터 프레임으로 그룹화되고, 따라서 상기 객체 데이터는 타임스탬프화 되고(the object data is hence time-stamped), 상기 포착된 이미지 프레임(또는 상기 장면의 데이터를 포착하는 상기 장치(404)에 따른 검출 샘플, 스냅샷, 오디오 데이터 프레임 등)과 유사하다. 다시 말해서, 이 실시예에서 제 1 장치(404)에 의해 포착된 장면(102)의 한 시점에서 2개 이상의 객체가 검출되면, 상기 대응하는 추출된 객체 데이터는 로이터링 검출 장치(제 3 장치)(412)로 전송되는 하나의 데이터 세트로 그룹화된다. 객체 ID, 위치 데이터 및 타임스탬프를 제외하고, 그러한 그룹화 된 객체 데이터는 다음과 같은 다른 정보를 포함할 수 있다:
- 이전에는 보였지만 지금은 사라진 객체.
- 병합의 일부인 객체(둘 이상의 객체가 하나의 객체로 병합함).
- 분할의 일부인 객체(하나의 객체가 두 개 이상의 객체로 분할함).
다른 실시예에서, 상기 장면(102)의 시점에서 검출된 각 객체는 객체 데이터(410)의 개별 전송을 초래한다. 상기 검출되고 추적된 객체의 추가 정보는 크기 데이터, 객체 유형 데이터, 색상 데이터 등과 같은 상기 추출된 객체 데이터(410)에 포함될 수 있다.
상기 제 2 장치(408)에서 객체 데이터(410)의 추출은 상기 제 1 장치(404)로부터 수신된 포착된 데이터(406)의 샘플링 레이트(sampling rate)와 상이한 샘플링 레이트(예를 들어 FPS, 초당 프레임)으로 수행될 수 있다. 다시 말해, 모든 포착된 데이터(406)가 상기 제 2 장치(408)에 의해 분석될 수 있는 것은 아니다. 다른 실시예에서, 상기 제 1 장치(404) 및 제 2 장치(408)에 의해 출력된 데이터(406, 410)의 상기 FPS는 동일할 수 있으며, 이는 포착된 모든 데이터(406)가 상기 제 2 장치(408)에 의해 분석된다는 것을 의미한다.
그 다음, 상기 추출된 객체 데이터(410)는 상기 수신된 객체 데이터(410)로부터의 로이터링 이벤트(414)(아래에 추가로 설명됨)를 검출하도록 적응된 상기 제 3 장치(412)로 연속적으로 전송된다. 상기 제 3 장치(412)는 상기 제 1 장치(404) 및/또는 상기 제 2 장치(408)로 구현될 수 있고 또는 상기 제 1 장치(404)와 별도의 장치로 구현될 수 있다. 일부 실시예에 따르면, 상기 제 1 장치(404), 제 2 장치(408) 및 제 3 장치(412)는 비디오 기록 장치로 구현된다. 대안으로서, 상기 제 3 장치(412)는 네트워크 또는 유사한 것을 통해 상기 제 1/제 2 장치(404, 408)에 연결된 외부 서버 상에 위치할 수 있다. 물론, 상기 제 2 장치(408) 및 상기 제 3 장치(412)는 또한 서버(예를 들어 비디오 관리 서버, VMS)에 위치할 수도 있다. 본 명세서에 기술된 바와 같은 시스템 및 방법의 이점은 구현의 유연성이 상당할 수 있다는 것이다. 상기 제 3 장치(412)는 본 명세서에 기술된 로이터링 이벤트의 검출 방법을 수행하도록 적응된 하나 이상의 프로세서를 포함한다. 예를 들어, 상기 제 3 장치(412)는 처리 능력을 갖는 상기 장치(412)에 의해 실행될 때 상기 방법을 수행하도록 적응된 명령을 갖는 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨터 프로그램 제품을 실행할 수 있다.
일부 실시예들에서, 상기 검출된 로이터링 이벤트(414)는 상기 제 3 장치(412)로부터 상기 검출된 로이터링 이벤트(414)를 수신하도록 적응된 제 4 장치(예를 들어 디스플레이(418))로 전송되고, 작동자가 상기 로이터링 이벤트를 알도록 하는 시각 및/또는 청각 신호(416)를 생성한다. 상기 제 4 장치는 동시에 상기 포착된 데이터(406) 또는 상기 AOI 내의 데이터와 같은 상기 포착된 데이터(406)의 일부를 동시에 보여줄 수 있다. 상기 제 4 장치는 설명 데이터인 예를 들어 상기 장면 내의 객체의 경계 상자 또는 다각형, 상기 객체의 ID 등과 같은 상기 객체 데이터(410)로부터 추출된 것을 추가로 보여줄 수 있다.
일부 실시예에서, 검출된 로이터링 이벤트는 메시지(이메일, SMS)를 송신하거나, 전화를 걸거나, 또는 그 외 상기 검출된 로이터링 이벤트를 누군가에게 경고하는 것과 같은 동작을 촉발할 수 있다. 상기 검출된 로이터팅 이벤트는 더 높은 해상도로 상기 모니터링된 장면의 데이터를 기록하고, 더 높은 해상도 또는 개별 데이터 스트림으로 상기 로이터링 객체(들)의 데이터를 기록하고, 데이터베이스 등에서 상기 로이터링 객체(들)의 이미지를 저장하는 것과 같은 동작을 더 촉발할 수 있다.
상기 제 3 장치(412)의 기능은 이제 도면 5의 로이터링 검출 및 도면 6의 흐름도에 대한 시스템과 관련하여 도면 2 내지 도면 4를 사용하여 설명될 것이다. 이하에서는 예시로, 3개의 시나리오는 포착된 데이터(406), 추출된 객체 데이터(410) 및 도면 5의 검출된 로이터링 이벤트(414)의 수에 대한 모든 지도(all maps to the number of)를 설명할 것이다. 그러나, 예를 들어 2개의 시나리오 사이에서 동일한 참조 번호를 갖는 추출된 객체 데이터가 다를 수 있다는 내용에 유의해야 한다.
도면 2 내지 도면 4의 예시에서, 설명을 용이하게 하기 위해, 단지 하나의 객체(106)만이 각 시간 간격에서 상기 AOI(104)에 존재함을 추가로 유의해야 한다. 그러나, 시간 간격에서 상기 AOI(104) 내에 복수의 객체(106)가 존재할 수 있음을 유의해야 한다. 이러한 경우에, 전술한 바와 같이 그리고 당업자가 이해하는 바와 같이, 단지 하나의 시간 간격만이 집계된 시간 간격에 추가될 것이다.
도면 2는 관심 장면(102)의 시간 간격(t0 내지 t1, t2 내지 t3, 및 t4 내지 t5, t0<t1<t2<t3<t4<t5)에서의 그룹 로이터링 검출을 예시로(by way of example group loitering detection) 도시한다. 상기 장면(102)는 AOI(104)를 포함한다.
로이터링 검출을 위한 방법을 설명하기 위해, 각 시간 간격에 있어서 상기 제 1 장치(404)로부터 두 개의 포착된 데이터(406)(예를 들어 제 1 시간 간격에 대한 t0에서의 하나 및 t1에서의 하나)가 상기 제 2 장치(408)에 의해 분석된다고 가정하자. 아래의 도면 3 내지 도면 4에 대해서도 유사한 가정이 이루어진다.
상기 제 1 기간 간격에 있어서(도. 2의 상부), 상기 제 2 장치는 객체가 분석되는 상기 제 1 장치(404)로부터 2개의 포착된 데이터(406a, 406b)를 수신한다. 이 시간 기간에서, 제 1 객체(106a)는 상기 장면(102) 내에 존재한다. 이 기간 간격에서 다른 객체는 상기 장면 내에 존재하지 않는다. 제 1 포착된 데이터(시간 t0에서)에 있어서, 상기 제 2 장치(408)는 상기 모니터링된 장면(102) 내에서 검출된 제 1 객체(106a)에 대응하는 제 1 객체 데이터(410a)를 추출하며, 상기 제 1 객체 데이터는 적어도 제 1 ID, 제 1 위치 데이터, 및 제 1 타임스탬프(t0)를 포함한다. 제 2 포착된 데이터(시간 t1에서)에 있어서, 상기 제 2 장치(408)는 상기 모니터링된 장면(102) 내에서 검출된 제 1 객체(106a)에 대응하는 제 2 객체 데이터(410b)를 추출하며, 상기 제 1 객체 데이터는 적어도 상기 제 1 ID, 제 2 위치 데이터, 및 제 2 타임스탬프(t1)을 포함한다. 이는 로이터링 이벤트를 검출하도록 마련된 제 3 장치(로이터링 검출 장치)(412)가 제 1 객체 데이터(410a) 및 제 2 객체 데이터(410b)를 수신(S508)해왔다는 것을 의미한다.
상기 제 1 객체 데이터(410a)에 있어서, 상기 제 3 장치(412)는 상기 제 1 객체 데이터의 객체가 로이터링 후보인지 여부를 먼저 결정한다(S510). 이것은 적어도 상기 제 1 위치 데이터가 상기 AOI(104)와 중첩하는지 여부를 결정함(S514)으로써 수행된다. 도면 2의 예시에서, 상기 위치 데이터는 상기 제 1 객체(106a)의 경계 상자이고(상기 도면에서는 108a라 지칭됨), 상기 AOI(104)는 상기 모니터링된 장면(102)의 일부만을 다루도록(cover) 정의된다. 상기 제 1 위치 데이터가 상기 AOI (104)의 좌표와 중첩한다는 것이 결정되는 것이다. 전술한 바와 같이 상기 AOI(104)가 상기 모니터링된 장면(102) 전체를 다루는 경우, 모든 수신된 객체는 상기 AOI와 중첩하는 위치를 갖도록 결정될 수 있다. 그러나, 도면 2 내지 도면 4의 예시에서 상기 AOI(104)는 상기 모니터링된 장면(102)의 일부만을 다루도록 정의된다. 이러한 실시예에서, 수신된 객체 데이터의 위치 데이터는 상기 연관된 객체가 상기 AOI(104)의 외부에 위치되거나 또는 상기 AOI(104)와 중첩하는 것으로 기술할 수 있다. 결과적으로, 상기 AOI(104)와 위치 데이터가 중첩하는지 여부를 결정하는 단계는 상기 AOI의 위치 데이터 및 좌표를 사용하여 수행된다.
이제 도면 2로 돌아가면, 이 예시에서 이 객체(106a)에 대한 다른 객체 데이터가 상기 제 3 장치에 의해 더 일찍 수신되어왔으므로, 상기 집계된 시간 간격에 어떠한 시간 간격도 추가되지 않는다. 상기 집계된 시간 간격이 로이터링 검출 시계(clock)로 정의되면 상기 시계는 시작된다.
상기 제 2 객체 데이터(410b)에 있어서, 상기 제 3 장치(412)는 상기 제 1 객체 데이터(410a)에 대해 전술한 바와 같이 상기 제 2 객체 데이터(410b)의 객체가 로이터링 후보인지 여부를 먼저 결정한다(S510). 상기 제 2 위치 데이터가 상기 AOI(104)의 좌표와 중첩하는 것으로 결정하는 것이다(S514).
선택적으로 각 수신된 객체 데이터(410) 사이에서, 상기 제 3 장치(412)는 로이터링 후보 데이터인 것으로 결정된(S510) 각 수신된 객체 데이터 간의 시간을 연속적으로 측정하며, 상기 시간이 제 2 임계값을 초과하는지 여부를 점검한다(S502). 이 경우 상기 집계된 시간 간격은 0으로 설정된다. 두 개의 로이터링 후보 사이의 시간 간격이 상기 제 2 임계 시간을 초과했으므로, 상기 제 2 임계 시간은 상기 로이터링 검출 시계가 재설정되어야 하는지 여부를 결정한다. 객체 데이터가 수신되지 않은 경우(S506), 객체는 로이터링 후보가 아닌 것으로 결정될 때(S510), 그리고 각 로이터링 후보가 본 명세서에 기술된 바와 같이 처리된 후에, 상기 점검(S502)는 수행될 수 있다. 다른 실시예에서, 도면 6의 S502 및 S504로 지칭되는 단계는 상기 제 3 장치(412)에 의해 별도의 과정(process)으로 연속적으로 수행된다. 어떠한 이벤트에도, 상기 집계된 시간 간격에 시간 간격을 추가하는 단계(S518) 이전에 상기 점검은 수행된다. 또한 전술한 바와 같이, 일부 실시예에 따르면 상기 수신된(S508) 객체 데이터는 복수의 객체 데이터를 포함할 수 있는데, 다시 말해 이 실시예에서 상기 제 1 장치에 의해 포착된 장면의 한 시점에서 2개 이상의 객체가 검출되면, 그 대응하는 추출된 객체 데이터는 상기 로이터링 검출 장치(제 3 장치)(412)로 전송되는 하나의 데이터 세트로 그룹화된다. 이 경우, 상기 수신된 데이터 세트 내의 각 객체 데이터는 본 명세서에 기술된 내용에 따른 과정(processes)이다.
이 경우, 상기 시간 간격(t1-t0)는 상기 제 2 임계 시간을 초과하지 않는다. 대신에, 상기 시간 간격(t1-t0)는 도면 2의 상기 진행 막대(202)에 의해 표현된 상기 집계된 시간 간격에 추가된다(S516). 상기 집계된 시간 간격(202)은 아직 제 1 임계 시간 간격을 초과하지 않고(도면 2에서 전체 진행 막대에 의해 표현됨), 따라서 로이터링 이벤트는 검출되지 않을 것이다.
상기 제 2 시간 간격(도면 2의 중간부에 도시된 t2 내지 t3) 동안, 상기 제 2 장치는 객체가 분석되는 상기 제 1 장치(404)로부터 두 개의 포착된 데이터(406c, 406d)를 수신한다. 이 시간 간격에서, 제 2 객체(106b)는 상기 장면(102)에 존재한다. 이 시간 간격에서 상기 장면 내에 다른 객체는 존재하지 않는다. 전술한 바와 같이, 이는 상기 제 3 장치(412)가 제 3 객체 데이터(410c) 및 제 4 객체 데이터(410d)를 수신한다(S508)는 것을 의미한다. 그러나, 이들 객체 데이터(410c, 410d) 모두에 있어서 상기 각각의 위치 데이터가 상기 AOI(104)의 좌표와 중첩하지 않는 것으로 결정(S514)되었기 때문에, 그들 중 어느 것도 로이터링 이벤트를 나타내지 않는 것으로 결정(S510)되는 것이다. 이 시간 간격에서, 상기 집계된 시간 기간(202)에 어떠한 시간 간격도 추가되지 않는다. 따라서, 시계를 사용하는 유추에서(in the analogy of), 상기 시계는 일시 정지된다.
상기 제 2 시간 간격(도면 2의 하부에 도시된 t4 내지 t5) 동안, 상기 제 2 장치는 객체가 분석되는 상기 제 1 장치(404)로부터 두 개의 포착된 데이터(406e, 406df)를 수신한다. 이 시간 간격에서, 상기 제 2 객체(106b)는 상기 장면(102) 내에 존재한다. 이 시간 간격에서 상기 장면 내에 다른 객체는 존재하지 않는다. 전술한 바와 같이, 이는 상기 제 3 장치(412)가 제 5 객체 데이터(410e) 및 제 6 객체 데이터(410f)를 수신한다(S508)는 것을 의미한다.
상기 제 5 객체 데이터(410e)에 있어서, 상기 제 3 장치(412)는 상기 제 1 객체 데이터(410a)에 대해 전술한 바와 같이 상기 제 5 객체 데이터(410e)의 객체가 로이터링 후보인지 여부를 먼저 결정한다(S510). 상기 제 5 위치 데이터가 상기 AOI(104)의 좌표와 중첩하는(S514) 것으로 결정되는 것이다.
전술한 바와 같이, 상기 제 3 장치는 상기 AOI의 좌표와 중첩되는 위치 데이터를 갖는 각 수신된 객체 데이터 사이의 시간을 연속적으로 측정할 수 있고, 상기 측정된 시간이 상기 제 2 임계값을 초과하는 것으로 결정(S502)될 때 상기 집계된 시간 간격을 0으로 설정(S504)할 수 있다. 다시 말해, 상기 제 5 타임스탬프(t4)와 상기 제 2 타임스탬프(t1)(마지막 로이터링 후보가 존재한다고 결정된 때의 시간임) 사이의 시간 차이가 상기 제 2 임계 시간을 초과하는 것으로 결정되면, 상기 집계된 시간 간격은 0으로 설정된다.
그러나, 이 예시에서 상기 집계된 시간 간격(202)은 0으로 설정(S504)되지 않는다. 상기 제 3 장치(412)가 상기 제 2 객체(106c)와 연관된 객체를 이전에 수신해오지 않았고, 로이터링 객체를 나타내는 것으로 결정되었기 때문에, 어떠한 시간 간격도 상기 집계된 시간 간격(202)에 추가(S518)되지 않을 것이다. 상기 로이터링 검출 시계의 유추(the analogy of)를 사용하여, 시계는 이제 다시 시작된다.
상기 제 6 객체 데이터(410f)에 있어서, 상기 제 3 장치(412)는 상기 제 1 객체 데이터(410a)에 대해 전술한 바와 같이 제 6 객체 데이터(410f)의 객체가 로이터링 후보인지 여부를 결정한다(S510). 상기 제 6 위치 데이터가 상기 AOI(104)의 좌표와 중첩하는 것으로 결정(S514)되는 것이다.
따라서, 시간 간격(t5-t4)(즉, 상기 제 6 및 제 5 시간스탬프 사이의 시간 차이)는 도면 2의 상기 진행 막대(202)에 의해 표현된 상기 집계된 시간 간격에 추가(S518)된다. 상기 제 2 객체(106b)가 상기 AOI 내에 머무르는 동안(또는 새로운 로이터링 후보가 상기 장면(102)에 들어가는 경우) 로이터링 이벤트(414)가 검출 될 때까지, 상기 집계된 시간 간격(202)는 상기 개시된 것과 동일한 방식으로 계속 증가할 것이다.
도면 2에서 상기 집계된 시간 간격(202)는 이제 상기 제 1 임계 시간 간격(도면 2에서 전체 진행 막대(202)에 의해 표현됨)을 초과하고, 따라서 상기 로이터링 이벤트(414)가 검출된다.
이러한 방식으로, 서로 후속하는 다른 객체의 로이터링(예를 들어 사람들)은 로이터링 이벤트가 검출되도록 할 수 있다. 이는 보안 관점에서 유익할 수 있는데, AOI에서 어슬렁거리는 사람들의 그룹이 종종 의심스러운 행위를 나타내기 때문이며, 심지어 오직 이 단일 객체의 상기 어슬렁거리는 시간에만 기반하여 로이터링 이벤트가 검출되기에 충분한 양의 시간 동안 단일 객체가 상기 AOI 내에 머물러 있지 않는 경우에도 마찬가지이다.
일부 실시예에 따르면, 상기 로이터링 이벤트는 적어도 상기 제 1 검출 이후 시간의 제 2 임계 시간 동안 계속해서 검출될 수 있다. 일부 실시예들에서, 상기 로이터링 이벤트는 모든 로이터링 후보들이 사라질 때까지 계속해서 검출될 수 있다. 다시 말해, 로이터링 후보인 것으로 결정(S510)되는 새로운 객체가 상기 장면(102)에 들어가면, 상기 장면(102)이 로이터링 후보들을 포함하는 동안(그리고 선택적으로 모든 로이터링 후보자들이 사라진 후 추가적인 제 2 임계 시간 동안) 상기 로이터링 이벤트는 계속해서 검출될 것이다. 유사하게, 이는 또한 상기 제 2 객체(106b)가 상기 장면에 머무르고 있는 경우 및 로이터링 이벤트인 것으로 결정(S510)되는 경우일 수 있다.
상기 로이터링 이벤트가 더 이상 검출되지 않는 즉시, 상기 집계된 시간 간격은 0으로 설정된다.
도면 3은 개별 로이터링 검출이 의심스러운 행위를 검출하기에 충분하지 않을 수 있는 또 다른 시나리오를 도시한다. 이 경우, 상기 AOI(202)는 고정된 객체(304)(예를 들어 나무, 차 또는 로이터링 후보를 숨길 수 있는 임의의 다른 객체)를 포함한다. 종종 객체 검출 및 추적을 위한 알고리즘은 잠시 동안 상기 장면에서 사라지는 객체를 추적하지 못할 수도 있다. 상기 객체가 다시 나타난 때, 상기 알고리즘은 이것을 새로운 물체인 예를 들어 새로운 객체 ID로 해석할 수 있다. 로이터링 관점에서 볼 때, 또한 위에서 설명한 바와 같이, 이는 누락된 로이터링 이벤트를 초래할 수 있다. 본 명세서에 기술된 로이터링 검출 방법은 이 문제를 해결할 수 있고, 아래에서 설명하는 바와 같이 또한 이 시나리오에서 로이터링 이벤트를 정확하게 검출할 수 있다.
도면 3은 관심 장면(102)의 시간 간격(t0 내지 t1, t2 내지 t3, t4 내지 t5, t0<t1<t2<t3<t4<t5) 동안의 그룹 로이터링 검출을 예시로(by way of example group loitering detection) 도시한다. 상기 장면(102)은 AOI(104)를 포함한다.
도면 2의 경우와 유사하게, 상기 제 1 시간 간격(도면 3의 상부에 도시됨)은 t1-t0의 집계된 시간 간격(202)이 될 것이다.
상기 제 2 시간 간격에서(도면 3의 중간부), 상기 AOI 내의 객체(도면 3의 상부에서 106a로 지칭됨)가 상기 정지된 객체(304)에 의해 가려지기 때문에, 상기 집계된 시간 간격(202)이 유지될 것이다. 또 하나의 객체(306)는 상기 포착된 데이터(406c, 406d)의 일부이지만, 상기 대응하는 객체 데이터(410c, 410d)는 로이터링 후보가 되지 않을 것인데, 왜냐하면 이 시나리오에서는, 객체가 로이터링 후보인지 아닌지 여부를 결정(S510)하면 추가적인 걸러냄(S512)(상기 AOI(104) 외부의 위치 데이터를 제외)가 실행되기 때문이다. 이 경우, 상기 객체 데이터(410c, 410d)는 상기 검출된 객체(306)의 크기에 대응하는 크기 데이터를 포함한다. 이 경우, 상기 크기 데이터는 상기 제 2 장치(408)에 의해 결정된 상기 검출된 객체의 경계 상자(308)로부터 추출될 수 있다. 이 실시예에서, 제 3 객체 데이터(410c) 및 제 4 객체 데이터(410d)의 크기 데이터는 임계 크기와 비교된다(S512). 상기 검출된 객체 크기가 작은 것으로 판단되기 때문에, 상기 집계된 시간 간격에 상기 제 4 시간스탬프(t3)과 제 3 시간스탬프(t2) 사이의 시간 차이를 추가하는 단계(S518)는 수행되지 않는다. 객체 유형 데이터(자동차, 인간, 동물)에 대한 걸러냄 또는 색상, 모양, 속력, 속도 등과 같이 상기 객체 데이터와 연관된 상기 객체의 다른 유형의 설명 데이터와 같은 다른 유형의 걸러냄이 수행될 수 있다.
상기 제 3 시간 간격에서(도면 3의 하부, t4 내지 t5), 이전에 가려진 객체는 다시 보이고, 상기 AOI(104) 내에 여전히 있다. 그러나, 전술한 바와 같이 상기 제2 장치408)에 의해 추출된 각 객체 데이터(410e, 410f)는 상기 제 1 시간 간격(t0 내지 t1, 도면 3의 상부)에서 상기 제 2 장치(408)에 의해 추출된 상기 객체 데이터(410a, 410b)와 비교하여 상이한 객체 ID를 가질 것이다. 결과적으로, 도면 3에서 도면 3의 상기 하부의 객체는 도면 3의 상부의 객체와 비교하여 상이한 참조(106b)로 지칭되는데, 왜냐하면 로이터링 관점에서 상기 객체들은 상이하기(상이한 ID를 가짐) 때문이다. 그러나, 상기 검출된 객체가 상이한 시간 간격에서 상이한 ID를 갖는다는 사실은 상기 로이터링 이벤트의 검출에 영향을 주지 않을 수도 있다. 따라서, 상기 제 3 시간 간격에서 상기 도면 2와 관련하여 설명된 바와 같이, 상기 제 6 타임스탬프(t5) 및 제 5 타임스탬프(t4) 사이의 시간 차이는 상기 집계된 시간 간격(202)에 추가(S518)될 것이며, 검출된(S520) 로이터링 이벤트(414)로 이어질 것이다.
본 명세서에 정의된 로이터링 검출 내에서의 추가적인 개념은 배제 영역이다. 이것은 상기 AOI(104) 내의 영역으로서, 객체에 의해 소비된 시간은 로이터링으로 계산되어서는 안된다. 이 개념은 도면 4에 도시되어 있다.
도면 4에서 도면 2 내지 도면 3의 경우와 유사하게, 상기 제 1 시간 간격(도면 4의 상부에 도시됨)은 t1-t0의 집계된 시간 간격(202)가 될 것이다.
상기 제 2 시간 간격에서(t2 내지 t3, 도면 4의 중간부에 도시됨), 상기 제 2 장치는 객체가 분석되는 상기 제 1 장치(404)로부터 두 개의 포착된 데이터(406c, 406d)를 수신한다. 이 시간 간격에서, 제 2 객체(106b)는 상기 장면(102) 내에 존재한다. 이 시간 간격에서 상기 장면 내에 다른 객체는 존재하지 않는다. 전술한 바와 같이, 이는 상기 제 3 장치(412)가 제 3 객체 데이터(410c) 및 제 4 객체 데이터(410d)를 수신한다(S508)는 것을 의미한다. 그러나, 이들 객체 데이터(410c, 410d) 모두에 있어서 그들 중 어떤 것도 로이터링 이벤트를 나타내지 않는 것으로 결정(S510)되는데, 상기 각각의 위치 데이터가 상기 배제 지역(302)의 좌표와 중첩하는 것으로 결정(S516)되기 때문이다. 이 시간 간격에서, 상기 집계된 시간 간격(202)에 어떠한 시간 간격도 추가되지 않는다. 따라서, 시계를 사용하는 유추에서 상기 시계는 일시 정지된다.
그러나, 상기 제 2 객체가 상기 배제 영역(302) 외부에 위치하지만 여전히 상기 AOI(104) 내부에 위치하는 즉시, 전술한 바와 같이 시간은 상기 집계된 시간 간격(202)에 다시 추가되고(S518), 도면 4의 하부에 도시된다. 일부 실시예에 따르면, 상기 배제 지역(302) 내의 위치 데이터를 갖는 최종 객체 데이터(410d)와 후속 객체 데이터(410e)(상기 제 2 객체(106b)는 상기 배제 지역(302)의 외부에 위치하지만, 여전히 상기 AOI(104)의 내부에 위치함) 사이의 간격은 집계된 시간 간격에 추가되며, 상기 제 5 시간스탬프(410e)와 상기 제4 시간스탬프(410d) 사이의 시간 차이(t4-t3)는 상기 집계된 시간 간격에 추가된다는 것을 의미한다. 이 실시예에서, 상기 제 6 타임스탬프(410e) 및 제 5 타임스탬프(410d) 사이의 시간 차이(t5-t4)는 물론 위에 기술된 것과 유사하게 상기 집계된 시간 간격(202)에 또한 추가될 것이다.
다른 실시예에 따르면, 이 시나리오에서 상기 집계된 시간 간격은 상기 제 6 타임스탬프(t5)까지 증가하지 않으며, 상기 제 6 타임스탬프(410f) 및 제 5 타임스탬프(410e) 사이의 시간 차이(t5-t4)가 상기 집계된 시간 간격(202)에 추가(S518)될 것인 반면에 상기 제 5 타임스탬프(410e) 및 제 4 타임스탬프(410d) 사이의 시간 차이(t4-t3)는 추가되지 않을 것이라는 의미이다.
상기에서, 본 발명의 개념은 제한된 수의 예시를 참조하여 주로 기술되었다. 그러나, 당 업계에서의 숙련된 자라면 쉽게 이해할 수 있는 바와 같이, 상기 개시된 것들 이외의 다른 예시들은 첨부된 청구 범위에 의해 한정된 대로 본 발명의 개념의 범위 내에서 동일하게 가능하다. 예를 들어 로이터링 이벤트를 검출하는 방법은 다르게 정의될 수 있지만, 여전히 첨부된 청구 범위의 범주 내에 있다. 일 실시예에 따르면, AOI 내의 로이터링 이벤트를 검출하는 방법은 다음의 단계를 포함한다:
- 모니터링된 장면 내의 적어도 하나의 검출된 객체에 대응하는 객체 데이터를 수신하는 단계(상기 객체 데이터는 적어도 하나의 위치 데이터, 상기 적어도 하나의 검출된 객체의 검출된 객체와 연관된 각 위치 데이터, 및 상기 위치 데이터와 연관된 타임스탬프를 포함함),
- 상기 수신된 객체 데이터에 기반하여 상기 AOI 내에서 적어도 하나의 객체가 검출되는 시점을 결정하는 단계,
- 각 결정된 시점에 대해, 가장 가까운 이전에 결정된 시점과의 시간 차이를 계산하는 단계,
- 각 계산된 시간 차이를 제 2 임계 시간과 비교하는 단계, 및 계산된 시간 차가 제 2 임계 시간보다 작다고 결정하는 단계 후에, 상기 계산된 시간 차이를 집계된 시간 간격에 추가하는 단계 ,
- 상기 집계된 시간 간격이 제 1 임계 시간 간격을 초과할 때 로이터링 이벤트를 감지하는 단계.
일부 실시예에 따르면, 계산된 시간 차이가 상기 제 2 임계 시간을 초과하는 경우, 상기 방법은 상기 집계된 시간 간격을 0으로 설정하는 단계를 더 포함한다.
일부 실시예에 따르면, 상기 객체 데이터는 상기 연관된 검출된 객체의 ID를 더 포함하고, 각 결정된 시점은 적어도 하나의 ID와 연관되고, 상기 결정된 시점 중 적어도 두 개는 상이한 적어도 하나의 ID와 연관된다. 일부 실시예들에서, 제 1 결정 시점과 연관된 상기 적어도 하나의 ID는 제 2 결정 시점과 연관된 적어도 하나의 ID로부터 상호 배타적이며, 상기 제 2 결정 시점은 상기 제 1 시점에 후속된다.
본 명세서에 정의된 임의의 다른 실시예는 이 상이하게 정의된 방법에 적합하도록 재형성될 수 있다.

Claims (15)

  1. 관심 영역(104)인 AOI 내의 로이터링 이벤트(loitering event)를 검출하는 방법에 있어서,
    제 1 ID, 제 1 위치 데이터, 및 제 1 타임스탬프(timestamp)를 포함하는 제 1 객체 데이터, 모니터링된 장면(monitored scene)(102) 내의 검출된 제 1 객체(106a)에 대응하는 상기 제 1 객체 데이터(410a)를 수신하는 단계(S508);
    상기 제 1 위치 데이터가 상기 AOI와 중첩하는 것으로 결정하는 단계(S514);
    상기 제 1 ID, 제 2 위치 데이터, 및 제 2 타임스탬프를 포함하는 제 2 객체 데이터, 모니터링된 장면 내의 상기 검출된 제 1 객체에 대응하는 상기 제 2 객체 데이터(410b)를 수신하는 단계(S508);
    상기 제 2 위치 데이터는 상기 AOI에 중첩하는 것으로 결정하는 단계(S514);
    집계 시간 간격(202)에 상기 제 2 타임스탬프와 상기 제 1 타임스탬프 사이의 시간 차이를 추가하는 단계(S518);
    상기 제 1 ID와 상이한 제 2 ID, 제 3 위치 데이터 및 제 3 타임스탬프를 포함하는 제 3 객체 데이터, 상기 모니터링된 장면 내의 검출된 제 2 객체(106b)에 대응하는 상기 제 3 객체 데이터(410e)를 수신하는 단계(S508)(상기 제 3 타임스탬프는 제 2 타임스탬프보다 더 늦음);
    상기 제 3 위치 데이터는 상기 AOI에 중첩하는 것으로 결정하는 단계(S514);
    상기 제 2 ID, 제 4 위치 데이터 및 제 4 타임스탬프를 포함하는 제 4 객체 데이터, 상기 모니터링된 장면 내의 상기 검출된 제 2 객체에 대응하는 상기 제 4 객체 데이터를 수신하는 단계(S508);
    상기 제 4 위치 데이터는 상기 AOI에 중첩하는 것으로 결정하는 단계(S514);
    상기 집계 시간 간격(202)에 상기 제 4 타임스탬프와 상기 제 3 타임스탬프 사이의 시간 차이를 추가하는 단계(S518);
    상기 집계된 시간 간격이 제 1 임계 시간 간격을 초과할 때 로이터링 이벤트(414)를 검출하는 단계(S520);
    를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 제 3 타임스탬프와 상기 제 2 타임스탬프 사이의 시간 차이가 제 2 임계 시간을 초과하는(S502) 경우, 상기 방법은:
    상기 집계된 시간 간격에 상기 제 4 타임스탬프와 상기 제 3 타임스탬프 사이의 시간 차이를 더하는 단계 이전에 상기 집계된 시간 간격을 0으로 설정하는 단계(S504)를 더 포함하는 것을 특징으로 하는 방법.
  3. 제 2 항에 있어서,
    상기 AOI와 중첩하는 위치 데이터를 갖는 각각의 수신된 객체 데이터 사이의 시간을 측정하는 단계를 더 포함하며, 상기 집계된 시간 간격을 0으로 설정하는 단계는 상기 시간이 상기 제 2 임계값을 초과할 때 수행되는 것을 특징으로 하는 방법.
  4. 제 3 항에 있어서,
    로이터링 이벤트가 검출되었을 때, 상기 AOI와 중첩하는 위치 데이터를 갖는 2개의 연속적으로 수신된 객체 데이터 사이의 시간이 상기 제 2 임계값을 초과할 때까지, 로이터링 이벤트를 계속해서 검출하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  5. 제 1 항에 있어서,
    상기 제 2 ID, 제 5 위치 데이터 및 제 5 타임스탬프를 포함하는 제 5 객체 데이터, 상기 모니터링된 장면 내의 상기 검출된 제 2 객체에 대응하는 상기 제 5 객체 데이터를 수신하는 단계(S508);
    상기 제 5 위치 데이터는 상기 AOI와 중첩하는 것으로 결정하는 단계(S514); 및
    상기 집계 시간 간격에 상기 제 5 타임스탬프와 상기 제 4 타임스탬프 사이의 시간 차이를 추가하는 단계(S518);
    를 더 포함하는 것을 특징으로 하는 방법.
  6. 제 1 항에 있어서,
    상기 제 4 위치 데이터는 배제 영역과 추가로 중첩하는 것으로 결정하는 단계(S516)을 더 포함하여, 상기 집계된 시간 간격에 상기 제 4 타임스탬프와 상기 제 3 타임스탬프 사이의 시간 차이를 추가하는 단계는 수행되지 않는 것을 특징으로 하는 방법.
  7. 제 6 항에 있어서,
    상기 제 2 ID, 제 5 위치 데이터 및 제 5 타임스탬프를 포함하는 제 5 객체 데이터, 상기 모니터링된 장면 내의 상기 검출된 제 2 객체에 대응하는 상기 제 5 객체 데이터를 수신하는 단계(S508);
    상기 제 5 위치 데이터는 상기 AOI와 중첩하고, 상기 배제 영역과는 중첩하지 않는(S516) 것으로 결정하는 단계(S514); 및
    상기 집계된 시간 간격에 상기 제 5 타임스탬프와 상기 제 4 타임스탬프 사이의 시간 차이를 추가하는 단계(S518);
    를 더 포함하는 것을 특징으로 하는 방법.
  8. 제 1 항에 있어서,
    수신된 객체 데이터는 검출된 객체의 크기에 대응하는 크기 데이터를 더 포함하고, 상기 방법은:
    상기 제 3 객체 데이터와 상기 제 4 객체 데이터의 크기 데이터를 임계 크기와 비교하는 단계(S512)를 더 포함하며, 상기 집계된 시간 간격에 상기 제 4 타임스탬프와 상기 제 3 타임스탬프 사이의 시간 간격을 추가하는 단계는 오직 상기 각각의 크기 데이터가 상기 임계 크기를 초과하는 경우에만 수행되는 것을 특징으로 하는 방법.
  9. 제 1 항에 있어서,
    수신된 객체 데이터는 검출된 객체의 유형에 대응하는 객체 유형 데이터를 더 포함하고, 상기 방법은:
    상기 제 3 객체 데이터와 제 4 객체 데이터의 객체 유형 데이터를 미리 정의된 객체 유형과 비교하는 단계(S512)를 더 포함하며, 상기 집계 시간 간격에 상기 제 4 타임스탬프와 상기 제 5 타임스탬프 사이의 시간 간격을 추가하는 단계는 오직 상기 각각의 객체 유형 데이터가 상기 미리 정의된 객체 유형과 동일한 경우에만 수행되는 것을 특징으로 하는 방법.
  10. 로이터링 이벤트 검출을 위해 적용된(adapted for) 장치(412)로서,
    상기 장치는:
    제 1 ID, 제 1 위치 데이터, 및 제 1 타임스탬프를 포함하는 제 1 객체 데이터, 모니터링된 장면(102) 내의 검출된 제 1 객체(106a)에 대응하는 상기 제 1 객체 데이터(410a)를 수신하는 단계(S508);
    상기 제 1 위치 데이터는 AOI와 중첩하는 것으로 결정하는 단계(S514);
    상기 제 1 ID, 제 2 위치 데이터, 및 제 2 타임스탬프를 포함하는 제 2 객체 데이터, 모니터링된 장면 내의 상기 검출된 제 1 객체에 대응하는 상기 제 2 객체 데이터(410b)를 수신하는 단계(S508);
    상기 제 2 위치 데이터는 상기 AOI와 중첩하는 것으로 결정하는 단계(S514);
    집계 시간 간격에 상기 제 2 타임스탬프와 상기 제 1 타임스탬프 사이의 시간 차이를 추가하는 단계(S518);
    상기 제 1 ID와 상이한 제 2 ID, 제 3 위치 데이터 및 제 3 타임스탬프를 포함하는 제 3 객체 데이터, 상기 모니터링된 장면 내의 검출된 제 2 객체(106b)에 대응하는 상기 제 3 객체 데이터(410e)를 수신하는 단계(S508)(상기 제 3 타임스탬프는 상기 제 2 타임스탬프보다 늦음);
    상기 제 3 위치 데이터는 상기 AOI와 중첩하는 것으로 결정하는 단계(S514);
    상기 제 2 ID, 제 4 위치 데이터 및 제 4 타임스탬프를 포함하는 제 4 객체 데이터, 상기 모니터링된 장면 내의 상기 검출된 제 2 객체에 대응하는 상기 제 4 객체 데이터(410f)를 수신하는 단계(S508);
    상기 제 4 위치 데이터는 상기 AOI와 중첩하는 것으로 결정하는 단계(S514);
    상기 집계 시간 간격에 상기 제 4 타임스탬프와 상기 제 3 타임스탬프 사이의 시간 차이를 추가하는 단계(S518);
    상기 집계된 시간 간격이 제 1 임계 시간 간격을 초과할 때 로이터링 이벤트(414)를 검출하는 단계(S520);
    를 위해 적용된 프로세서(processor)를 포함하는 장치.
  11. 장면(102) 데이터(406)를 연속적으로 포착하는 제 1 장치(404),
    상기 제 1 장치로부터 포착된 데이터(406) 수신을 위해 적용되고, 상기 포착된 데이터 내의 객체를 검출하고 추적하는 것에 적응된 제 2 장치(404)(상기 제 2 장치는 상기 포착된 데이터 내의 검출되고 추적된 객체에 대응하는 객체 데이터(410)와 상기 추출된 객체 데이터의 대응하는 타임스탬프를 추출하기 위해 적용되며, 검출되고 추적된 객체와 연관된 각 객체 데이터이고, 상기 연관된 객체의 ID, 상기 연관된 객체의 위치 데이터 및 상기 타임스탬프를 포함함); 및
    상기 제 2 장치로부터 상기 추출된 객체 데이터 수신을 위해 적용된 제 10 항에 따른 제 3 장치(412);
    를 포함하는 시스템.
  12. 제 11 항에 있어서,
    검출된 로이터링 이벤트(414)를 상기 제 3 장치로부터 수신하는 것을 위해 각색된 제 4 장치(418)를 더 포함하고, 작동자가 상기 로이터링 이벤트를 알도록 하는 시각 및/또는 청각 신호(416)를 생성하는 것을 특징으로 하는 시스템.
  13. 제 11 항에 있어서,
    상기 제 1 장치는:
    비디오 포착 장치, 레이다(RADAR) 장치, 적외선 센서 장치, 마이크로폰 어레이(microphone array), 열 카메라(thermal camera) 및 비행 시간 카메라(time of flight camera) 중 하나인 것을 특징으로 하는 시스템.
  14. 제 11 항에 있어서,
    상기 제 1 장치, 상기 제 2 장치 및 상기 제 3 장치는 비디오 포착 장치로 구현되는(is implemented in a video capturing device) 것을 특징으로 하는 시스템.
  15. 처리 능력을 갖는 장치에 의해 실행될 때, 제 1 항의 방법을 수행하도록 적응된 명령(instructions adapted to carry out)을 갖는 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨터 프로그램 제품.

KR1020180143442A 2017-12-19 2018-11-20 로이터링 이벤트를 검출하는 방법, 장치 및 시스템 KR102175373B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17208476.6A EP3502952B1 (en) 2017-12-19 2017-12-19 Method, device and system for detecting a loitering event
EP17208476.6 2017-12-19

Publications (2)

Publication Number Publication Date
KR20190074210A true KR20190074210A (ko) 2019-06-27
KR102175373B1 KR102175373B1 (ko) 2020-11-06

Family

ID=60915247

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180143442A KR102175373B1 (ko) 2017-12-19 2018-11-20 로이터링 이벤트를 검출하는 방법, 장치 및 시스템

Country Status (6)

Country Link
US (1) US10748011B2 (ko)
EP (1) EP3502952B1 (ko)
JP (1) JP6893204B2 (ko)
KR (1) KR102175373B1 (ko)
CN (1) CN109934217B (ko)
TW (1) TWI756497B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110324528A (zh) * 2018-03-28 2019-10-11 富泰华工业（深圳）有限公司 摄像装置、影像处理系统及方法
CN112906430A (zh) * 2019-11-19 2021-06-04 英业达科技有限公司 基于影像的对象追踪方法
CN112287875B (zh) * 2020-11-16 2023-07-25 北京百度网讯科技有限公司 异常车牌识别方法、装置、设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140161316A1 (en) 2012-12-12 2014-06-12 Verint Systems Ltd. Time-in-store estimation using facial recognition
KR101454644B1 (ko) * 2013-04-30 2014-10-27 순천향대학교 산학협력단 보행자 추적기를 이용한 서성거림을 탐지하는 방법
KR20160049391A (ko) * 2014-10-27 2016-05-09 한화테크윈 주식회사 로이터링 시각화 장치 및 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0628449B2 (ja) * 1985-12-10 1994-04-13 松下電工株式会社 侵入監視装置
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
JP2008035095A (ja) * 2006-07-27 2008-02-14 Sony Corp 監視装置、監視システム、監視方法及びプログラム
JP2008083933A (ja) * 2006-09-27 2008-04-10 Sogo Keibi Hosho Co Ltd 不審者判定装置、不審者判定方法および不審者判定プログラム
CN201773466U (zh) * 2009-09-09 2011-03-23 深圳辉锐天眼科技有限公司 物体滞留/偷窃事件检测、跟踪和识别的视频监控预警装置
MY150414A (en) * 2009-12-21 2014-01-15 Mimos Berhad Method of determining loitering event
MY159285A (en) 2010-11-29 2016-12-30 Mimos Berhad System and method to detect loitering event in a region
MY161490A (en) 2010-12-01 2017-04-14 Mimos Berhad A system and method to detect human loitering activity using trajectory information
MY159290A (en) * 2010-12-02 2016-12-30 Mimos Berhad A system and a method for detecting a loitering event
JP5691849B2 (ja) * 2011-05-31 2015-04-01 三菱電機株式会社 注視者検知装置
US10769913B2 (en) 2011-12-22 2020-09-08 Pelco, Inc. Cloud-based video surveillance management system
FI20125279L (fi) 2012-03-14 2013-09-15 Mirasys Business Analytics Oy Menetelmä, järjestely ja tietokoneohjelmatuote videoitujen kohteiden käyttäytymisessä esiintyvien säännönmukaisuuksien analysoimiseksi
JP5924081B2 (ja) * 2012-03-30 2016-05-25 サクサ株式会社 置き去り又は持ち去り検知システム
CN104050665B (zh) * 2014-06-10 2017-07-21 华为技术有限公司 一种视频图像中前景停留时间的估计方法及装置
JP6562752B2 (ja) * 2015-07-30 2019-08-21 キヤノン株式会社 情報処理装置とその制御方法、プログラム、記憶媒体
JP6708218B2 (ja) * 2015-12-16 2020-06-10 日本電気株式会社 情報処理装置、侵入検知方法及びコンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140161316A1 (en) 2012-12-12 2014-06-12 Verint Systems Ltd. Time-in-store estimation using facial recognition
KR101454644B1 (ko) * 2013-04-30 2014-10-27 순천향대학교 산학협력단 보행자 추적기를 이용한 서성거림을 탐지하는 방법
KR20160049391A (ko) * 2014-10-27 2016-05-09 한화테크윈 주식회사 로이터링 시각화 장치 및 방법

Also Published As

Publication number Publication date
CN109934217A (zh) 2019-06-25
US20190188487A1 (en) 2019-06-20
CN109934217B (zh) 2021-07-30
JP6893204B2 (ja) 2021-06-23
TWI756497B (zh) 2022-03-01
KR102175373B1 (ko) 2020-11-06
EP3502952B1 (en) 2020-10-14
EP3502952A1 (en) 2019-06-26
TW201928896A (zh) 2019-07-16
JP2019135640A (ja) 2019-08-15
US10748011B2 (en) 2020-08-18

Similar Documents

Publication Publication Date Title
US10812761B2 (en) Complex hardware-based system for video surveillance tracking
US20190347528A1 (en) Image analysis system, image analysis method, and storage medium
JP4852765B2 (ja) 広域分散カメラ間の連結関係推定法および連結関係推定プログラム
US20170032192A1 (en) Computer-vision based security system using a depth camera
KR102175373B1 (ko) 로이터링 이벤트를 검출하는 방법, 장치 및 시스템
JP2007299381A (ja) 監視データベースへの問合せ方法
US10318817B2 (en) Method and apparatus for surveillance
US20160110978A1 (en) Gps directed intrusion system with data acquisition
EP2981076B1 (en) Object monitoring system, object monitoring method, and program for extracting object to be monitored
KR20160049391A (ko) 로이터링 시각화 장치 및 방법
GB2503335A (en) Post event alarm analysis in CCTV and security systems
US20100007738A1 (en) Method of advanced person or object recognition and detection
JP2014232362A (ja) 移動体行動分析・予測装置
JP2021132267A (ja) 映像監視システムおよび映像監視方法
CN103985229A (zh) 警报和历史视频播放的系统和方法
Liciotti et al. An intelligent RGB-D video system for bus passenger counting
CN110244923B (zh) 一种图像显示方法及装置
JP6618349B2 (ja) 映像検索システム
CN110557676B (zh) 用于确定和推荐场景的视频内容活动区域的系统和方法
RU2756780C1 (ru) Система и способ формирования отчетов на основании анализа местоположения и взаимодействия сотрудников и посетителей
JP6536643B2 (ja) 情報処理装置、制御方法、及びプログラム
KR20180000205A (ko) 지능형 영상 분석 장치 및 방법
AU2020202221A1 (en) Privacy preserving visitor recognition and movement pattern analysis based on computer vision
JP2021044692A (ja) 監視システム
KR101926435B1 (ko) 시간압축방식을 이용한 객체 추적 시스템

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant