KR101494861B1

KR101494861B1 - 모니터링 방법 및 카메라

Info

Publication number: KR101494861B1
Application number: KR20130122822A
Authority: KR
Inventors: 다니엘 구스타프슨; 조나단 시르스트롬; 윌리 사게폴크; 구스타브 트래프
Original assignee: 엑시스 에이비
Priority date: 2012-11-12
Filing date: 2013-10-15
Publication date: 2015-02-23
Also published as: EP2731087B1; TW201419849A; US20140132771A1; JP2014099171A; TWI538503B; CN103813138A; KR20140061231A; US9070021B2; EP2731087A1; JP5654110B2; CN103813138B

Abstract

방법 및 시스템이 모니터링 카메라(1)에 의해 영역을 모니터링하기 위해 제공된다. 보호 대상 구역(5)은 모니터링되는 영역(2) 내에서 정의되며, 의심스러운 객체(9a, 9b)은 상기 보호 대상 구역 내부 및 외부 모두에 존재하는 객체로서 검출된다. 상기 의심스러운 객체의 핵심 위치가 결정되며, 그리고 상기 핵심 위치가 상기 보호 대상 구역(5) 내부에 있는지 또는 외부에 있는지가 결정된다. 상기 핵심 위치가 상기 보호 대상 구역 외부에 있는 경우, 제 1 액션이 트리거된다.

Description

모니터링 방법 및 카메라{MONITORING METHOD AND CAMERA}

본 발명은 모니터링 카메라에 의해 영역을 모니터링하기 위한 방법 및 시스템에 관한 것이다.

감시 카메라들은 실내 및 실외 모두의 환경들을 모니터링하기 위해 여러가지 서로 다른 애플리케이션들에서 현재 사용된다. 카메라들은, 예를 들어 사람이 카운터 뒤에서 고객들을 서비스하는 영역 및 상기 카운터를 담당하는 사람에게 접근(access)이 한정되어야하는 아이템들 또는 장비에 대한 저장소로서 상기 카운터의 내부가 사용될 수 있는 영역을 모니터링하기 위해 사용된다. 이러한 환경들의 예들은 호텔 프런트 데스크들, 은행 사무소 카운터들, 리셉션 데스크들, 바(bar)들, 패스트 푸드 카운터들, 주유소에서의 출납원 데스크들, 또는 공항에서의 체크-인 카운터들일 수 있다. 다른 예는 직원 카운터를 통해 향수, 보석, 또는 손목 시계를 판매하는 가게들 또는 부티크들이다. 데스크 또는 카운터에서 일하는 사람이 고객에게 서비스를 제공할 때, 이 사람이 상기 데스크에 접근하고 오직 상기 데스크에서 일하는 사람에 의해서만 취급되도록 된 아이템들 및 장비로의 접근을 잠재적으로 시도하는 타인들을 계속 주시하는 것은 어려울 수 있다. 그러므로, 카운터 뒤의 영역들로의 비허가 접근을 방지하도록 카운터를 담당하는 직원을 보조하기 위한 향상된 솔루션들을 제공하는 것이 바람직할 수 있다.

전술된 사항에 비추어, 소매상의 카운터와 같은 영역을 모니터링하기 위한 향상된 방법을 제공하는 것이 본 발명의 목적이다.

본 발명의 제 1 양상에 따르면, 모니터링 카메라에 의해 영역을 모니터링하는 방법이 제공되는데, 이 방법은

상기 모니터링되는 영역 내에서 보호 대상 구역을 정의하는 단계,

의심스러운 객체를 상기 보호 대상 구역 내부 및 외부 모두에 존재하는 객체로서 검출하는 단계,

상기 의심스러운 객체의 핵심 위치를 결정하는 단계,

상기 핵심 위치가 상기 보호 대상 구역 내부에 있는지 또는 외부에 있는지를 결정하는 단계, 및

상기 핵심 위치가 상기 보호 대상 구역 외부에 있는 경우, 제 1 액션을 트리거링하는 단계를 포함한다.

이 방법을 사용하여, 오직 특정 속성들을 가진 객체들만이 특정 영역들에 접근할 수 있도록 룰들이 설정되는 효율적이고 비-방해적인(non-intrusive) 방식으로 카운터 주위 영역을 모니터링하는 것이 가능하다.

다시 말해서, 상기 방법은 객체들에 대한 위치 식별 룰들을 쉽고 효율적으로 설정하는 것을 가능하게 한다. 상기 방법은 융통성이 있으며, 다른 모니터링 시나리오들뿐만 아니라 다양한 다른 실제 구현들에 적응될 수 있다.

상기 방법은 모니터링되는 영역 내에 폐쇄 구역을 정의하는 단계를 더 포함할 수 있으며, 상기 제 1 액션은 상기 핵심 위치가 상기 폐쇄 구역 외부에 있는지를 결정하는 단계, 및 상기 핵심 위치가 상기 보호 대상 구역 및 상기 폐쇄 구역 외부에 있는 경우 제 2 액션을 트리거시키는 단계를 수행하는 것을 포함한다. 이것은 특정 방향으로부터 상기 보호 대상 구역으로의 진입을 허가하는 것이 바람직한 경우와 같은 다른 모니터링 시나리오들에 상기 방법을 맞추도록 하는 추가적인 가능성들을 도입한다.

상기 보호 대상 구역을 정의하는 단계는 상기 보호 대상 구역의 적어도 부분을 둘러싸는 물리적 요소의 경계들을 검출하는 단계를 포함할 수 있다. 그러한 방식으로, 상기 시스템이 카운터의 경계들을 검출하게 함으로써, 그리고 상기 보호 대상 구역을 예를 들어 상기 카운터 뒤 영역 또는 상기 카운터 내부의 체적(volume)으로 정의함으로써 모니터링 시스템의 자동 설정을 수행하는 것이 가능하다.

추가적으로 또는 대안적으로, 상기 보호 대상 구역을 정의하는 단계는 소정의 보호 대상 구역의 좌표들에 액세스하는 단계를 포함할 수 있다. 이 방식으로 사용자는 예를 들어 상기 시스템을 설정하는 사용자 친화적인 방식을 제공하는 그래픽 사용자 인터페이스에서 보호 대상 구역의 경계(limit)들을 그릴 수 있다. 이것은 예를 들어 사용자가 사용자 인터페이스를 통해 상기 검출된 경계들을 확정함으로써 물리적 요소의 경계들의 자동 검출과 결합될 수 있다.

상기 보호 대상 구역을 정의하는 단계는 3-차원적으로 보호 체적을 정의하는 단계를 포함할 수 있으며, 상기 핵심 위치가 상기 보호 대상 구역의 내부에 있는지 또는 외부에 있는지를 결정하는 단계는 상기 의심스러운 객체가 상기 보호 체적의 2-차원 투영(projection)의 내부에 있는지 또는 외부에 있는지를 결정하는 단계를 포함할 수 있다. 이것은 카운터 뒤 및 그것의 상단 표면 아래의 체적을 보호 대상 구역으로서 설정하는 것을 가능하게 하면서도 상기 카운터 뒤에 서 있는 사람을 무시할 수 있다.

상기 의심스러운 객체를 검출하는 단계는 상기 보호 대상 구역 내에 객체 픽셀들을 검출하는 단계, 및 상기 객체 픽셀들이 속한 객체가 상기 보호 대상 구역 외부에 존재하는지를 결정하는 단계를 포함할 수 있다. 이것은 의심스러운 객체들을 검출하는 쉽게 구현되면서 효율적인 방법을 제공한다.

상기 의심스러운 객체의 핵심 위치를 결정하는 단계는 상기 핵심 위치를 상기 의심스러운 객체에 포함된 픽셀들의 픽셀 좌표들의 평균 위치로 설정하는 단계를 포함할 수 있다. 이것은 3-차원 및 2-차원 객체 표시를 위해 사용될 수 있는 핵심 위치를 찾는 쉽게 구현되면서 효율적인 방법을 제공한다.

상기 핵심 위치를 결정하는 단계는 상기 핵심 위치를 상기 의심스러운 객체의 가장 높은 포인트의 위치로 설정하는 단계를 포함할 수 있다. 이것은 높이 측정들을 할 수 있는 카메라가 상기 모니터링 시스템에 포함된 경우 즉, 이미지 센서는 3-차원 이미징 성능들을 갖는 경우에 편리한 옵션일 수 있다. 상기 가장 높은 포인트 위치는 강인성(robustness)을 증가시키도록 객체의 10 개의 가장 높은 포인트 위치들의 평균 또는 중간값으로 선택될 수 있다. 사람의 가장 높은 포인트는 일반적으로 그의 머리이며, 이것은 대부분의 경우들에서 사람이 서 있는 곳의 정확한 추정일 수 있음을 의미한다.

상기 핵심 위치를 결정하는 단계는 상기 의심스러운 객체 내에 포함된 픽셀들의 소정의 퍼센티지가 보호 대상 구역 외부에 있으면, 상기 핵심 위치를 상기 보호 대상 구역 외부 위치에 설정하는 단계를 포함할 수 있다. 이것은 객체의 3-차원 및 2-차원 표시 모두가 가능할 때 편리한 옵션일 수 있다. 또한 이는 열 카메라(thermal camera)가 사용되는 경우에 편리한 옵션일 수 있다. 상기 퍼센티지는 예를 들어 50% 또는 70%, 또는 정확히 추정하도록 예를 들어 시행 착오법(trial and error)에 의해 결정된 어떤 값으로 선택될 수 있다.

상기 핵심 위치를 결정하는 단계는 상기 핵심 위치를 상기 의심스러운 객체의 가장 높은 온도의 위치로 설정하는 단계를 포함할 수 있다. 사람의 온도는 종종 사람의 신체가 위치된 곳의 정확한 추정일 수 있음을 의미하는 머리 영역에서 일반적으로 가장 높다. 강인성을 증기시키기 위해, 예를 들어, 상기 가장 높은 온도 위치를 10 개의 가장 높은 온도 위치들의 평균 또는 중간값으로 설정하는 것이 가능할 수 있다. 가장 높은 온도가 적정하게 높은 온도들의 영역에 의해 둘러싸여야 하는 다른 기준을 추가하는 것이 또한 가능하다.

상기 핵심 위치를 결정하는 단계는 상기 핵심 위치를 얼굴, 머리, 두 어깨, 그리고 모자 중 하나와 같은 객체 분류기들의 캐스캐이드를 사용하여 검출된 상기 의심스러운 객체의 부분의 위치로 설정하는 단계를 포함할 수 있다. 이것은 상기 핵심 위치의 결정을 여러가지 다양한 모니터링 시나리오들에 쉽게 적응시키는 것이 가능하게 할 수 있다.

본 발명의 제 2 양상에 따르면, 영역을 모니터링하기 위한 모니터링 시스템은 모니터링 카메라, 상기 모니터링되는 영역 내에 보호 대상 구역을 정의하도록 배치된 구역 정의 유닛, 의심스러운 객체를 상기 보호 대상 구역 내부 및 외부 모두에 존재하는 객체로서 검출하도록 배치된 의심스러운 객체 검출 유닛, 상기 의심스러운 객체의 핵심 위치를 결정하고 그리고 상기 핵심 위치가 상기 보호 대상 구역 내부에 있는지 또는 외부에 있는지를 결정하도록 배치된 객체 위치 결정 유닛, 및 상기 핵심 위치가 상기 보호 대상 구역 외부에 있는 것으로 결정된 경우, 제 1 액션을 트리거하도록 배치된 액션 트리거 유닛을 포함한다.

상기 객체 위치 결정 유닛은 객체의 핵심 위치를 결정하기 위해서 객체 분류기, 객체의 높이, 또는 객체의 온도를 결정하도록 객체 분류기 유닛, 높이 측정 유닛, 또는 열 측정 유닛 중 하나 이상을 포함할 수 있다.

본 발명의 제 3 양상에 따르면, 컴퓨터 판독 가능한 기록 매체는 프로세싱 성능들을 갖는 디바이스 상에서 실행될 때 청구항 제 1 내지 12 항 중 어느 한 항에 따른 방법을 구현하기 위한 프로그램을 상기 매체 상에 기록해 있다.

본 발명의 제 2 및 제 3 양상들은 모두 제 1 양상과 관련하여 전술된 바와 동일한 장점들과 관련된다.

본 발명의 응용의 추가 범위는 하기에 주어진 상세한 설명으로부터 분명해질 것이다. 그러나, 상세한 설명 및 특정 예들이 본 발명의 바람직한 실시예들을 나타내지만, 본 발명의 범위 내에서 다양한 변경들 및 수정들이 상세한 설명으로부터 당업자들에게 분명해질 것이기 때문에 오직 예시의 방식으로만 주어짐이 이해되어야만 한다. 따라서, 본 발명은 설명된 디바이스의 특정 컴포넌트 파트들 또는 기술된 방법들의 단계들에 제한되지 않는 바, 그 이유는 이러한 디바이스 및 방법이 다양할 수 있기 때문임이 이해되어야만 한다. 본 명세서에서 사용된 기술 용어는 오직 특정 실시예들을 설명하기 위한 것이며, 제한하고자 의도된 것이 아님이 이해되어야만 한다. 본 명세서 및 첨부된 특허 청구 범위에서 사용된, 관사 "일", "하나", "상기", "그"는 맥락에서 달리 분명하게 언급하지 않으면 하나 이상의 요소들이 존재함을 의미하고자 의도된 것이다. 따라서, 예를 들어, "일 센서" 또는 "상기 센서"에 대한 참조는 여러 디바이스들 등을 포함할 수 있다. 또한, 단어 "포함"은 다른 요소들 또는 단계들을 배제하지 않는다.

본 발명은 이제 예시에 의해 그리고 첨부된 개략적인 도면들을 참조하여 더 상세하게 설명될 것이다.
도 1은 영역을 모니터링하는 모니터링 카메라를 도시한다.
도 2는 위에서 내려다 본 모니터링되는 영역을 도시한다.
도 3은 위에서 내려다 본 다른 모니터링되는 영역을 도시한다.
도 4는 단면 뷰에서의 또 다른 모니터링되는 영역을 도시한다
도 5는 모니터링 시스템을 도시한다.
도 6은 영역을 모니터링하는 방법을 도시한다.

도 1은 모니터링 카메라(1)가 영역(3)을 모니터링하도록 배치된 예시적인 상황을 도시한다. 모니터링 카메라(1)는 상이한 이미징 성능들을 구비한 모니터링 카메라들의 그룹, 또는 여러 이미지 센서들을 포함하는 카메라를 상징할 수 있다. 상기 카메라 또는 카메라들은 예를 들어 가시광 이미지들을 캡쳐하는 이미지 센서, 모니터링되는 영역 내에서 온도의 이미지들를 생성하는 열 센서, 또는 3-차원 이미지들을 캡처하는 이미지 센서, 예컨대 서로 다른 픽셀들까지의 거리 - 이 거리로부터 모니터링되는 영역 및 상기 영역 내의 객체들의 깊이 또는 높이를 계산하는 것이 가능하다 - 의 이미지를 제공하는 TOF(time-of-flight) 이미지 센서를 포함할 수 있다.

예를 들어 카운터의 형태인 물리적 요소(7)에 의해 정의된 도시 예에서, 모니터링되는 영역(3)은 보호 대상 구역(5)을 포함한다. 객체들(9a, 9b 및 9c)은 모니터링되는 영역(3) 내에 존재한다. 도 2는 도 1에 도시된 상황을 위에서 내려다 본 장면이다. 다시 말해서, 도 2는 카메라(1)에 의해 캡처된 이미지를 개략적으로 도시한다. 상기 보호 대상 구역은 3-차원 이미징 성능들을 구비한 모니터링 시스템이 사용되는 경우 하나 이상의 평면들에 의해 정의되거나, 또는 2-차원 이미징 성능들을 구비한 모니터링 시스템이 사용되는 경우 하나 이상의 선들에 의해 정의될 수 있다.

도 1과 2에 도시된 상황에서, 의심되는 의도를 가진 고객, 객체(9a)가 카운터(7) 옆에 서 있으며, 그리고 예를 들어 오직 카운터를 통해서만 판매되는 고가의 제품들로의 접근을 획득하기 위해서 카운터 뒤 영역, 보호 대상 구역(5)에 팔을 뻗고(reaching) 있다. 상기 카운터를 담당하는 점원을 상징하는 객체(9b)는 다른 고객, 객체(9c)와 대화 중에 있다. 따라서, 객체(9b)는 객체(9a)가 상기 카운터 뒤에 있는 아이템들에 대한 비허가 접근을 획득하고 있음을 알지 못한다.

본 명세서에서 제시된 방법들 및 장치들에 따르면, 카운터 뒤로부터의 도난은 제 1 단계로, 동시에 보호 대상 구역의 내부 및 외부 모두에 존재하는 객체들을 찾도록 모니터링 카메라에 의해 캡쳐된 이미지들을 분석함으로써 방지될 수 있다. 이러한 객체는 의심스러운 객체를 나타낼 수 있는데, 이는 그들이 비허가 액션들을 수행하고 있는지를 결정하기 위해 추가 분석이 필요한 객체들이 때문이다.

상기 의심스러운 객체들의 검출은 다양한 방식들로 수행될 수 있다. 하나의 옵션은 보호 대상 구역 내에 있는 어떤 객체 픽셀들을 찾고, 그런 다음 그들 객체 픽셀들과 관련된 객체가 보호 대상 구역 외부에도 존재하는지를 결정하는 것이다. 후자는 예를 들어 동일한 객체에 속하는 다른 객체 픽셀들이 있는지 그리고 이 다른 객체 픽셀들 중 어느 것이 보호 대상 구역 외부에 있는지를 체크함으로써 행해질 수 있다.

아래에서 더 상세히 논의되듯이, 상기 객체의 핵심 위치는 또한 상기 객체가 보호 대상 구역 외부에 존재하는지 그리고 객체의 핵심 위치가 보호 대상 구역 외부에 존재하는지 모두를 직접적으로 결정하는 데 사용될 수 있다.

다른 옵션은 보호 대상 구역(5)을 제한하는 선 또는 평면의 교차들을 검출하는 것이다. 이러한 선 또는 평면이 교차될 때, 객체가 보호 대상 구역 내부 및 외부 모두에 존재한다고 가정될 수 있는 바, 다시 말해서, 상기 선 또는 평면의 교차와 관련된 객체는 의심스러운 객체이며 더 조사될 필요가 있다.

도 1 및 2로 돌아가서, 둘 모두의 객체(9a) 및 객체(9b) 즉, 점원 - 이 점원은 카운터 상에 자신의 팔을 올려놓고 가능하게는, 예컨대 고객(9c)에게 한 점의 상품을 보여 주기 위해서 카운터 위로 그의 팔을 뻗고 있다 - 이 의심스러운 객체들로 결정될 수 있음이 분명하다. 객체(9b)를 무시하고 오직 객체(9a)에 반응하기 위해서, 상기 이미지들은 보호 대상 구역 내부 및 외부 모두에 존재하는 각 객체, 즉 객체(9a 및 9b)의 핵심 위치를 찾기 위해 더 분석된다.

의심스러운 객체가 보호 대상 구역 외부에 있는 핵심 위치를 갖는 것으로 발견될 때, 액션이 예를 들어 빛 또는 소리 경보, 로그로의 입력(entry into a log), 카메라로부터의 이미지들을 기록하는 것의 시작, 또는 예컨대 다른 모니터링 디바이스로부터의 이미지들 또는 센서 입력들의 분석의 개시와 같은 다른 유형의 모니터링 액션의 형태로 트리거된다. 본 명세서에서 사용되는 용어, 액션(action)은 넓은 의미로 해석되어야 하며, 또한 카메라가 이벤트를 검출하는 것 또는 검출된 이벤트가 카메라에 의해 예컨대 비디오 분석 엔진으로 보내지는 것과 같은 액션들을 포함하는 것으로 이해되어야 한다. 따라서, 이 예에서, 액션은 객체(9a)에 대해 트리거될 수 있다. 점원, 객체(9b)에 관하여는 자신의 핵심 위치가 보호 대상 구역 내부에 있기 때문에 어떤 액션도 트리거되지 않는다. 완벽을 기하기 위해 객체(9c)는 오직 보호 대상 구역 외부에만 존재하며, 따라서, 상기 객체의 핵심 위치를 찾을 필요가 없음이 주목될 수 있다.

객체의 핵심 위치는 상기 객체의 신체의 주요 부분이 위치될 것 같은 위치 또는 어떤 의미에서 상기 객체가 서 있는 위치로 설정된다. 여러 가지 다른 옵션들이 객체의 핵심 위치를 결정하기 위해 존재하며, 이러한 다른 옵션들은 상기 결정을 더 정확하게 하기 위해서 적합한 방식들로 조합될 수 있다.

하나의 예는 특정 객체에 속하는 것으로 결정된 픽셀들의 픽셀 좌표들의 평균값을 계산하는 것, 그리고 해당 객체의 핵심 위치를 상기 계산된 평균 좌표값으로 설정하는 것이다. 또한, 이것은 2-차원 영역 또는 3-차원 공간에서, 객체의 질량의 중심 또는 무게 중심을 결정함으로써 보여질 수 있다.

모니터링되는 영역 내의 객체들의 깊이 또는 높이를 결정할 수 있는 모니터링 카메라가 모니터링 시스템에 포함되어있는 경우, 객체의 가장 높은 포인트를 핵심 위치로서 사용하는 것이 가능하다. 상기 객체의 가장 높은 포인트는 대부분의 경우들에서 객체의 머리가 있는 곳의 정확한 측정이 될 수 있다. 높이 측정의 정확성과 관한 불확실성이 있는 경우, 상기 객체의 가장 높은 포인트의 위치는 강인성을 증가시키기 위해서 예컨대, 객체 내에서 측정된 10 개의 가장 높은 포인트들의 좌표들의 평균 또는 중간 위치로 설정될 수 있다.

다른 옵션은 특정 객체에 포함된 소정의 퍼센티지의 픽셀들이 보호 대상 구역 외부에 있는 경우, 해당 객체의 핵심 위치가 보호 대상 구역 외부에 있다고 결정하는 것이다. 이 퍼센티지는 예를 들어 50 % 또는 70 % 또는 목적에 적합하다고 여겨지는 다른 값일 수 있다.

열 감지 카메라가 상기 모니터링 시스템에 포함되어 있는 경우, 객체의 온도가 핵심 위치를 설정하는 데 사용될 수 있다. 사람의 온도는 보통 머리 영역에서 가장 높으며, 손과 팔은 대개 더 차다. 이것으로부터, 객체에 대해 검출된 가장 높은 온도의 위치가 핵심 위치로 사용될 수 있다. 예를 들어 불붙은 담배가 객체의 손에 쥐어진 경우들을 구별하기 위해서 가장 높은 온도가 적정하게 높은 온도를 갖는 객체 영역으로 둘러싸여 있어야만 함과 같은 기준을 추가하는 것도 또한 가능하다

온도 측정의 정확성에 관한 불확실성이 있는 경우, 가장 높은 포인트 측정의 경우처럼, 강인성을 증가시키기 위해서 예컨대, 객체 내에서 측정된 10 개의 가장 높은 온도들의 좌표들의 중간 위치로 객체의 가장 높은 온도의 위치를 설정하는 것이 가능하다.

객체의 핵심 위치는 객체 분류기들(object classifiers)의 캐스캐이드(cascade)를 사용하여 검출된 객체의 부분의 위치로 또한 설정될 수 있다. 상기객체 분류기들은 예를 들어 얼굴, 머리, 양 어깨들, 모자(hat) 또는 캡모자(cap)일 수 있다. 상기 객체 분류기들의 개념은 예를 들어 US 7,099,510에서 설명되었다.

객체의 핵심 위치를 결정하는 설명된 방식들 모두는 2-차원 이미지들 캡처할 때 그리고 깊이 좌표를 포함하는 3-차원 이미지들을 캡처할 때 유용할 수 있음이 주목될 수 있다.

의심스러운 객체의 핵심 위치를 찾기 위한 다른 방법들이 서로와 조합될 수 있으며, 또한 가능하다면 객체의 움직임의 히스토리(histroy)에 관한 정보와 조합하여 사용될 수 있다. 통상적으로 카운터 뒤의 영역으로의 비허가 접근을 획득하고자 시도하는 사람을 나타내는 객체는 보호 대상 구역 외부 영역 내에서 상기 카운터에 접근하는 움직임(movement)의 히스토리를 가질 것이다. 카운터에서 일하는 가게 점원은 통상적으로 카운터 뒤의 다양한 위치들을 포함하는 움직임의 히스토리를 가질 것이다. 다른 옵션은 객체의 다른 특성들과 의심스러운 객체의 핵심 위치에 관한 정보를 조합하는 것인 바, 이는 가령 특정 의류가 가게 점원들에 의해서만 착용되는 경우, 이것이 검출될 수 있으며, 의심스러운 객체로서 분류되는 객체를 무시하기 위한 추가 기준으로 사용될 수 있는 것과 같다.

의심스러운 객체를 찾는 단계 이전에, 카메라에 의해 촬영된 이미지들은 배경으로부터 전경(foreground)을 분리하도록 분석될 수 있고, 그리고 카메라 뷰 내의 객체는 객체 분할(object segment)를 사용하여 분할될 수 있다.

객체들을 분석할 때, 이미지 분석 의미에서 병합된 두 객체들을 분리할 필요가 있는 상황들이 발생될 수 있다. 이것은 예를 들어 가게 점원이 고객과 악수하거나 또는 고객에게 아이템을 건네주는 경우일 수 있다. 이것은 팔의 두께를 가지며 그리고 보호 대상 구역 외부에 핵심 위치를 갖는 객체에 속하는 어떤 부분들을 "절단(cutting off)"함으로써 객체들을 분리하고, 그 다음 보호 대상 구역 내의 객체 픽셀들과 같은 클래스를 갖는 객체들의 수를 카운트하는 단계를 추가함으로써 회피될 수 있다. 상기 수가 1보다 큰 경우, 이것은 병합된 두 객체들이 있음을 나타내는바, 이는 어떤 시도된 도난도 발생하지 않음을 의미할 가능성이 높다. 상기 수가 1과 동일한 경우, 이것은 도난이 발생되었으며, 그리고 액션이 트리거되어야 함을 나타낸다.

도 3에서, 추가적으로 폐쇄 구역(11)이 정의된 다른 상황이 도시된다. 이것은 객체가 경보 액션(alarm action)을 트리거함이 없이 특정 방향으로부터 보호 대상 구역(5)에 진입하도록 하는 것이 바람직한 상황에서 유용하다. 이 경우에서, 제 1 액션이 상기 논의된 조건들 두가지 모두를 이행하는 - 보호 대상 구역 내부 및 외부 모두에 존재하며, 패쇄 구역(11) 외부에 자신의 핵심 위치를 갖는 - 객체(이 경우에서 객체(9d))를 찾을 때 트리거된다. 상기 제 1 액션은 이 경우에서 객체의 핵심 위치가 폐쇄 구역(11)의 내부에 있는지 또는 외부에 있는지를 추가적으로 체크하는 것이다.

도 3에 도시된 상황에서, 객체(9d)의 핵심 위치는 폐쇄 구역(11) 내에 있으며, 그러므로 어떠한 제 2 액션도 트리거되지 않는다. 객체(9d)가 상기 폐쇄 구역 외부에 자신의 핵심 위치를 갖는 경우에서, 보호 대상 구역으로의 부적절한 도달이 발생했음을 암시하는 제 2 액션, 예를 들어 도 1 및 2를 참조하여 설명된 상기 예와 동일한 유형의 액션이 트리거될 수 있다.

도 4에서, 본 명세서에 제시된 아이디어들을 사용하는 또 다른 방식이 도시된다. 도 4에서 보호 대상 구역은 카운터 아래의 체적으로 정의된다. 객체(9a)는 카운터에 저장된 아이템(12)으로의 접근을 획득하고자 시도하고 있다. 객체(9b) 즉, 카운터를 담당하는 사람은 다른 방향을 보고 있으며 시도되는 도난을 알지 못하고 있다. 객체(9a)가 그의 손(10)을 보호 대상 구역(5)으로 뻗을 때, 그는 의심스러운 객체로서 검출될 것이고, 자신의 핵심 위치가 보호 대상 구역(5) 내부에 있는지 또는 외부에 있는지 체크될 것이며 그리고 그 핵심 위치가 분명하게 외부에 있음에 따라, 액션이 트리거될 것이다.

통상적으로 가게 점원(9b)에 의한 카운터의 내부 공간으로의 허용된 접근들을 시도되는 도난들로부터 구별하기 위하여, 카운터 뒤의 공간 또는 영역은 폐쇄 구역(11)으로 정의된다. 그러므로 객체(9a)의 손이 보호 대상 구역으로 뻗어질 때 트리거되는 액션은 의심스러운 객체의 핵심 위치가 폐쇄 구역(11) 내에 있는지를 추가적으로 체크하는 것일 것이다. 도 4에서 이것은 상기 경우가 아니며, 따라서 예를 들어, 소리 또는 빛 경보, 로그로의 입력, 또는 기록의 시작과 같은 다른 액션이 트리거된다. 보호 대상 구역(5)에 손을 뻗고 있는 사람이 객체(9b)인 경우, 객체(9b)가 폐쇄 구역 내에 핵심 위치를 갖고 있기 때문에 어떤 제 2 액션도 트리거되지 않는다.

도 5에서, 모니터링 시스템(13)이 개략적으로 도시된다. 상기 모니터링 시스템은 모니터링 카메라(1) 및 모니터링 카메라(1)에 의해 모니터링되는 영역(3) 내에 보호 대상 구역(5)을 정의하도록 배치된 구역 정의 유닛(15)을 포함한다. 보호 대상 구역(5)은 예를 들어 상기 보호 대상 구역의 적어도 일부를 둘러싼 물리적 요소(7)의 경계들을 검출하도록 이미지 분석을 사용하여 구역 정의 유닛(15)에 의해 정의될 수 있다.

다른 옵션은 구역 정의 유닛(15)이 미리 정의된 보호 대상 구역의 좌표들에 액세스하는 것이다. 이들 좌표들은 예를 들어 그래픽 사용자 인터페이스에 그림으로써 또는 사용자가 좌표들을 입력함으로써 사용자 인터페이스에서 사용자에 의해 정의될 수 있다. 일 옵션은 모니터링되는 영역을 교차하는 선을 정의하는 것이며, 상기 보호 대상 구역을 상기 선의 일 측면 상의 영역으로서 정의하는 것이다. 또한 상기 보호 대상 구역을 구분하는 하나 이상의 평면들을 정의하는 것이 가능하다.

보호 대상 구역은 영역 또는 3-차원 공간으로 정의될 수 있다. 후자의 경우는 일반적으로 3D 카메라의 사용과 조합될 수 있다. 도 1 내지 3에 도시된 예에서, 보호 대상 구역은 카운터 뒤, 및 카운터의 상면에 해당하는 레벨 아래의 공간으로 정의될 수 있다. 도 4에서 보호 대상 구역은 이미 언급된 바와 같이 카운터의 내부 공간으로 정의된다.

3-차원의 보호 대상 구역이 정의된 경우에, 의심스러운 객체의 핵심 위치가 보호 대상 구역의 내부인지 또는 외부인지를 결정할 때 그것의 2-차원 투영(projection)을 사용하는 것이 적절할 수 있다. 이 2-차원 투영을 사용할지 또는 사용하지 않을지의 여부는 3-차원 보호 대상 구역이 어떻게 정의되는 지에 기초하여 결정된다. 예를 들어 도 1의 보호 대상 구역이 카운터 뒤 및 카운터의 표면의 레벨 아래의 체적으로 정의되는 경우, 의심스러운 객체 핵심 위치가 보호 대상 구역 내부에 있는지 또는 외부에 있는지를 결정할 때 대체로 2-차원 투영을 사용하는 것이 더 편리할 것이다. 객체(9b)는 확실하게 보호 대상 구역 내에 핵심 위치를 갖는데, 이는 보호 대상 구역의 3-차원 표시가 사용되는 경우가 아닐 수 있다.

폐쇄 구역은 구역 정의 유닛(15)에 의해 보호 대상 구역과 동일한 방식으로 정의될 수 있다. 하나보다 많은 폐쇄 구역은 예를 들어 하나보다 많은 방향으로부터 카운터 뒤의 보호 대상 구역으로의 진입을 허용하는 것이 바람직한 경우 사용될 수 있음이 주목될 수 있다.

또한, 모니터링 시스템은 의심스러운 객체를 보호 대상 구역의 내부 및 외부 모두에 존재하는 객체로서 검출하는 데 카메라(1)로부터의 이미지 데이터 및 상기 정의된 보호 대상 구역(5)에 관한 데이터를 사용하는 의심스러운 객체 검출 유닛(17)을 포함한다. 이러한 객체가 발견되면, 객체 위치 결정 유닛(19)이 의심스러운 객체의 핵심 위치를 결정하고 그리고 해당 핵심 위치가 보호 대상 구역(5)의 외부인지 또는 내부인지 결정하도록 제공된다.

마지막으로 핵심 위치가 보호 대상 구역 외부에 있는 것으로 결정된 경우에 액션을 트리거하는 액션 트리거 유닛(action trigger unit)(21)이 제공된다. 전술된 바와 같이, 이 액션은 빛 또는 소리 경보, 로그로의 입력 또는 기록 세션의 시작일 수 있다. 폐쇄 구역(11)이 정의된 경우, 액션(제 1 액션)은 핵심 위치가 폐쇄 구역(11) 내부에 있는지 또는 외부에 있는지 확인하도록 객체 위치 결정 유닛(19)에 의해 체크를 개시하는 것이다. 액션 트리거 유닛(21)은 그 경우에, 의심스러운 객체의 핵심 위치가 또한 폐쇄 구역 외부에 있다고 결정되는 경우의 제 2 액션을 트리거하도록 될 수 있으며, 그리고 상기 제 2 액션은 예를 들어 빛 또는 소리 경보, 로그로의 입력, 기록 세션의 시작일 수 있다.

유닛들(15, 17, 19, 21)은 하드웨어 또는 소프트웨어, 또는 이들의 조합으로 구현될 수 있다. 모니터링 카메라 내의 유닛들(15, 17, 19, 21)을 예컨대, 상기 모니터링 카메라 내의 프로세서에서 실행되는 소프트웨어의 형태로, 또는 상기 모니터링 카메라에 포함된 하드웨어로서 제공하는 것이 가능할 수 있다. 하나 이상의 유닛들(15, 17, 19, 21)은 또한 별개의 디바이스에 배치될 수 있으며, 그들은 또한 여러 디바이스들 상으로 분리될 수 있다.

도 6에서 본 발명의 실시예들에 따른 방법(600)이 예시된다. 제 1 단계(601)에서, 보호 대상 구역이 정의된다. 제 2 단계(603)에서, 의심스러운 객체가 보호 대상 구역 내부 및 외부에 모두 존재하는 객체로서 검출된다.

다음 단계(605)에서, 의심스러운 객체의 핵심 위치가 검출되며, 단계(607)에서 상기 핵심 위치가 보호 대상 구역 내부에 있는지 또는 외부에 있는지 결정된다. 상기 핵심 위치가 보호 대상 구역 외부에 있는 경우, 단계(609)에서 제 1 액션이 트리거된다. 전술된 바와 같이, 이 액션은 예를 들어 소리 또는 빛 경보, 로그로의 입력, 또는 이미지의 기록의 시작일 수 있다. 상기 핵심 위치가 보호 대상 구역 내에 있는 경우, 상기 방법은 도 6에 도시된 바와 같이, 의심스러운 객체를 검출하는 단계(603)으로 돌아가거나, 또는 단계(601)로 돌아가서 다른 방식으로 보호 대상 구역을 정의할 수 있다. 다른 옵션은 단계(605)로 돌아가서 단계(603)에서 이전에 검출된 다른 의심스러운 객체의 핵심 위치를 결정하는 것이다.

폐쇄 구역이 사용되는 경우, 이 구역은 단계(611)에서 정의될 것이며, 단계(609)에서 트리거된 액션(제 1 액션)은 단계(613)에서 핵심 위치가 상기 폐쇄 구역의 내부에 있는지 또는 외부에 있는지 체크하는 것일 것이다. 상기 핵심 위치가 상기 폐쇄 구역 외부에 있는 것으로 결정되는 경우, 다른 액션(제 2 액션)이 단계(615)에서 트리거될 것이다. 이 제 2 액션은 예를 들어 소리 또는 빛 경보, 로그로의 입력 또는 이미지들의 기록의 시작, 또는 폐쇄 구역이 없는 상황들에 관하여 전술된 바와 같은 어떤 다른 액션일 수 있다.

상기 핵심 위치가 상기 폐쇄 구역 내에 있는 경우, 아무런 액션도 트리거되지 않으며, 상기 방법은 도 6에 도시된 바와 같이 의심스러운 객체를 검출하는 단계(603)으로 돌아가거나 또는 단계(601)로 돌아가서 다른 방식으로 보호 대상 구역을 정의할 수 있거나, 또는 단계(611)로 돌아가서 다른 방식으로 폐쇄 구역을 정의할 수 있다. 다른 옵션은 단계(605)로 돌아가서 단계(603)에서 이전에 검출된 다른 의심스러운 객체의 핵심 위치를 결정하는 것이다.

당업자가 많은 방식들로 전술된 실시예들을 수정하고, 상기 실시예들에서 도시된 바와 같이 발명의 장점들을 여전히 사용할 수 있음이 이해될 것이다. 예를 들어 하나보다 많은 보호 대상 구역의 사용으로의 본 명세서에서 제시된 아이디어들의 확장이 간단할 수 있음이 주목될 수 있다.

하나보다 많은 모니터링 카메라 또는 이미지 센서가 존재하는 경우에서, 예를 들어, 가시 광 카메라 및 열 카메라, 또는 3D 카메라가 존재하는 경우, 가시 광 카메라를 사용하여 상기 보호 대상 구역을 정의하는 것, 및 객체들의 검출 및 핵심 위치 분석을 위해 열 카메라 또는 3D 카메라를 사용하는 것으로의 전환을 정의하는 것이 가능할 수 있다.

따라서, 본 발명은 도시된 실시예들에 한정되는 것이 아니라, 오직 첨부된 특허 청구 범위에 의해 정의되어야 한다.

1: 모니터링 카메라
3: 모니터링되는 영역
5: 보호 대상 구역
7: 물리적 요소
9a-d: 객체들
10: 객체의 손
11: 폐쇄 구역
12: 카운터 내에 저장된 아이템
13: 모니터링 시스템
15: 구역 정의 유닛
17: 의심스러운 객체 정의 유닛
19: 객체 위치 결정 유닛
21: 액션 트리거 유닛

Claims

모니터링되는 영역(2) 내에 보호 대상 구역(5)을 정의하는 단계(601);
상기 보호 대상 구역 내부 및 외부 모두에 존재하는 객체로서 의심스러운 객체(9a, 9b)를 검출하는 단계(603);
상기 의심스러운 객체의 핵심 위치(key position)를 결정하는 단계(605);
상기 핵심 위치가 상기 보호 대상 구역(5) 내부에 있는지 또는 외부에 있는지를 결정하는 단계(607); 및
상기 핵심 위치가 상기 보호 대상 구역 외부에 있는 경우, 제 1 액션을 트리거하는 단계(609)를 포함하는 모니터링 카메라(1)에 의해 영역을 모니터링하는 방법에 있어서,
상기 의심스러운 객체의 상기 핵심 위치는 상기 객체의 신체의 주요 부분이 위치될 가능성이 있는 위치 또는 상기 객체가 서 있는 위치이며,
상기 보호 대상 구역을 정의하는 단계(601)는 3-차원의 보호되는 체적(volume)을 정의하는 것을 포함하며, 그리고
상기 핵심 위치가 상기 보호 대상 구역 내부에 있는지 또는 외부에 있는지를 결정하는 단계(607)는 상기 핵심 위치가 상기 보호되는 체적의 2-차원 투영(projection) 내부에 있는지 또는 외부에 있는지를 결정하는 것을 포함하는 것을 특징으로 하는 모니터링 카메라에 의해 영역을 모니터링하는 방법.
제 1 항에 있어서,
상기 모니터링되는 영역(2) 내에 폐쇄 구역(11)을 정의하는 단계(611)를 더 포함하며,
상기 제 1 액션은 상기 핵심 위치가 상기 폐쇄 구역 외부에 있는지를 결정하는 단계(613), 및 상기 핵심 위치가 상기 폐쇄 구역 외부에 있는 경우 제 2 액션을 트리거하는 단계(615)를 수행하는 것을 포함하며, 그리고
상기 폐쇄 구역은 특정 방향으로부터 상기 보호 대상 구역으로의 허가된 진입을 정의하는 상기 모니터링되는 영역의 일부인 것을 특징으로 하는 모니터링 카메라에 의해 영역을 모니터링하는 방법.
제 1 항에 있어서,
상기 보호 대상 구역(5)을 정의하는 단계는 상기 보호 대상 구역의 적어도 일부를 둘러싸는 물리적 요소(7)의 경계들을 검출하는 것을 포함하는 것을 특징으로 하는 모니터링 카메라에 의해 영역을 모니터링하는 방법.
제 1 항에 있어서,
상기 보호 대상 구역(5)을 정의하는 단계는 미리 정의된 보호 대상 구역의 좌표들에 액세스하는 것을 포함하는 것을 특징으로 하는 모니터링 카메라에 의해 영역을 모니터링하는 방법.
제 1 항에 있어서,
상기 의심스러운 객체를 검출하는 단계는 상기 보호 대상 구역 내부에서 객체 픽셀들을 검출하는 것, 및 상기 객체 픽셀들이 속한 객체가 상기 보호 대상 구역 외부에 존재하는지를 결정하는 것을 포함하는 것을 특징으로 하는 모니터링 카메라에 의해 영역을 모니터링하는 방법.
제 1 항에 있어서,
상기 의심스러운 객체의 핵심 위치를 결정하는 단계는 상기 핵심 위치를 상기 의심스러운 객체에 포함된 픽셀들의 픽셀 좌표들의 평균 위치(mean position)로 설정하는 것을 포함하는 것을 특징으로 하는 모니터링 카메라에 의해 영역을 모니터링하는 방법.
제 1 항에 있어서,
상기 핵심 위치를 결정하는 단계는 상기 핵심 위치를 상기 의심스러운 객체의 가장 높은 포인트의 위치로 설정하는 것을 포함하는 것을 특징으로 하는 모니터링 카메라에 의해 영역을 모니터링하는 방법.
제 1 항에 있어서,
상기 핵심 위치를 결정하는 단계는 상기 의심스러운 객체 내에 포함된 미리 결정된 퍼센티지의 픽셀들이 상기 보호 대상 구역 외부에 있는 경우, 상기 핵심 위치를 상기 보호 대상 구역 외부의 위치로 설정하는 것을 포함하는 것을 특징으로 하는 모니터링 카메라에 의해 영역을 모니터링하는 방법.
제 1 항에 있어서,
상기 핵심 위치를 결정하는 단계는 상기 핵심 위치를 상기 의심스러운 객체의 가장 높은 온도의 위치로 설정하는 것을 포함하는 것을 특징으로 하는 모니터링 카메라에 의해 영역을 모니터링하는 방법.
제 1 항에 있어서,
상기 핵심 위치를 결정하는 단계는 상기 핵심 위치를 객체 분류기들의 캐스캐이드(cascade)를 사용하여 검출된 상기 의심스러운 객체의 일부의 위치로 설정하는 것을 포함하는 것을 특징으로 하는 모니터링 카메라에 의해 영역을 모니터링하는 방법.
제 10 항에 있어서,
상기 객체 분류기들의 캐스캐이드를 사용하여 검출된 상기 의심스러운 객체의 일부는 얼굴, 머리, 한 쌍의 어깨, 및 모자 중 하나인 것을 특징으로 하는 모니터링 카메라에 의해 영역을 모니터링하는 방법.
모니터링 카메라(1);
모니터링되는 영역(2) 내에 보호 대상 구역(5)을 정의하도록 된 구역 정의 유닛(15);
상기 보호 대상 구역 내부 및 외부 모두에 존재하는 객체로서 의심스러운 객체를 검출하도록 된 의심스러운 객체 검출 유닛(17);
상기 의심스러운 객체의 핵심 위치를 결정하고, 그리고 상기 핵심 위치가 상기 보호 대상 구역 내부에 있는지 또는 외부에 있는지를 결정하도록 된 객체 위치 결정 유닛(19); 및
상기 핵심 위치가 상기 보호 대상 구역 외부에 있는 것으로 결정된 경우, 제 1 액션을 트리거하도록 된 액션 트리거 유닛(21)을 포함하여 구성되는 영역(2)을 모니터링하기 위한 모니터링 시스템(13)에 있어서,
상기 의심스러운 객체의 상기 핵심 위치는 상기 객체의 신체의 주요 부분이 위치될 가능성이 있는 위치 또는 상기 객체가 서 있는 위치이며,
상기 구역 정의 유닛(15)은 3-차원의 보호되는 체적을 결정하도록 되어 있으며, 그리고
상기 객체 위치 결정 유닛(19)은 상기 의심스러운 객체가 상기 보호되는 체적의 2-차원 투영 내부에 있는지 또는 외부에 있는지를 결정하도록 된 것을 특징으로 하는 모니터링 시스템.
제 12 항에 있어서,
상기 객체 위치 결정 유닛(19)은 객체 분류기 유닛, 높이 측정 유닛, 열 측정 유닛 중 하나 이상을 포함하는 것을 특징으로 하는 모니터링 시스템.
프로세싱 성능들을 갖는 디바이스 상에서 실행될 때 청구항 제 1 항 내지 제 11 항 중 어느 한 항에 따른 방법을 구현하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.