KR20090009899A

KR20090009899A - 비디오 감시 카메라에 의해 검출되는 물체의 특성을 식별하는 방법 및 장치

Info

Publication number: KR20090009899A
Application number: KR1020087028614A
Authority: KR
Inventors: 마틴 브로그렌; 마구스 퍼슨; 요한 알름블라드흐; 다니엘 엘빈
Original assignee: 엑시스 에이비
Priority date: 2006-05-22
Filing date: 2007-05-21
Publication date: 2009-01-23
Also published as: EP1862941A3; WO2007136332A1; US8472714B2; EP1862941B1; CN101563710B; JP4742168B2; US8478040B2; KR101180160B1; US20080031493A1; CN101563710A; EP1862941A2; JP2009538558A; US20120133773A1

Abstract

본 발명은 비디오 감시 카메라에 의해 비디오 시퀀스에서 캡처된 물체의 특성을 식별하기 위한 비디오 감시 시스템에서의 식별 장치(100)를 다룬다. 식별 장치는: 비디오 시퀀스에서의 특정 물체를 식별하기 위한 물체 식별 유닛(102); 특정 물체의 비디오 시퀀스에서 식별된 특정 물체의 컬러 및 세기 정보를 기반으로 하여 적어도 2차원의 컬러 공간에서 컬러 히스토그램을 생성하는 컬러 히스토그램 생성기로서, 상기 컬러 및 세기 정보는 비디오 시퀀스의 복수의 영상으로부터 발생되는, 컬러 히스토그램 생성기(104); 및 생성된 컬러 히스토그램을 기반으로 하여 물체의 특성을 식별하기 위한 물체 특성 식별기(106)를 포함한다. 식별된 특성은 2개의 상이한 비디오 감시 카메라에 의해 캡처될 수 있는 상이한 비디오 시퀀스 사이의 물체를 추적하기 위하여 비디오 감시 시스템의 추적 장치(200)에서 사용될 수 있다. 본 발명은 또한 비디오 시퀀스에서 캡처된 물체의 특성을 식별하기 위한 대응 방법 및 비디오 감시 시스템에서 물체를 추적하기 위한 방법을 다룬다.

정규 분포, 공분산 매트릭스, 컬러 히스토그램, 비디오 시퀀스, 극좌표계.

Description

비디오 감시 카메라에 의해 검출되는 물체의 특성을 식별하는 방법 및 장치{METHOD AND APPARATUS FOR IDENTIFYING PROPERTIES OF AN OBJECT DETECTED BY A VIDEO SURVEILLANCE CAMERA}

본 발명은 비디오 감시 카메라에 의해 캡처(capture)된 비디오 시퀀스에서 검출되는 물체의 특성을 식별하는 방법에 관한 것이다. 본 발명은 또한 비디오 감시 시스템에서 물체를 추적하는 방법에 관한 것이다. 더욱이, 본 발명은 비디오 감시 카메라에 의해 캡처된 비디오 시퀀스에서 검출되는 물체의 특성을 식별하기 위한 비디오 감시 시스템 내의 식별 장치, 및 비디오 감시 시스템에서 물체를 추적하는 추적 장치를 포함하는 비디오 감시 시스템에 관한 것이다.

폐쇄 회로 텔레비전(CCTV) 시스템은 주로 감시용으로 사용된다. 최근 여러해 동안 감시 시스템은 공항, 공공 장소, 학교, 고속도로 및 많은 다른 장소에서 증가하였다. CCTV 시장은 두 부분, 즉, 아날로그 시스템 및 디지털 네트워크 비디오 시스템으로 구성된다. 네트워크 비디오 시스템은 아날로그 시스템과 비교할 때 여러 장점을 갖는다. 네트워크 비디오 시장 점유율이 증가하는 가장 중요한 이유는 원격 접근성; 용이한 미래 보증 통합성; 확장성 및 유연성이다.

디지털 네트워크 시스템과 아날로그 시스템을 구별하는 하나의 특징은 디지 털 시스템이 실시간 영상 처리에 적합하다는 것이다. 이는 어떤 종류의 디지털 신호 프로세서를 카메라와 통합하고 이에 대한 알고리즘을 구현할 때 가능하다.

실시간 감시는 오늘날에 매우 노동 집약적이므로, 고비용을 초래한다. 사람의 집중 수준은 또한 시간의 경과에 대해 급속히 저하된다. 그러므로, 이러한 유형의 업무에서 보조 도구로서 영상을 처리하는 지능형 비디오 기능을 사용하는 것이 바람직할 것이다. 이는 노동 비용을 감소시키코 성능을 개선시킬 것이다. 실시간 감시를 용이하게 하는 유용한 지능형 비디오 기능은: 예를 들어, 비어있는 시설에 침입하는 사람을 검출하는 모션 검출; 예를 들어, 자동차 충돌을 검출하는 특정 사고 검출; 예를 들어 큰 모호한 카메라 시스템에서 의심스러운 사람의 길을 따라가는 인식이다.

네트워크 비디오 카메라가 이러한 기능을 만족스런 방식으로 수행한다면, 상기 네트워크 비디오 카메라는 자신의 아날로그 대응물에 비하여 특정한 장점을 가질 것이다.

사람과 같은 비강성 몸체를 검출 및 추적할 수 있도록 하기 위하여, 복수의 카메라를 포함하는 비디오 감시 시스템에서, 즉 다른 카메라에 의해 캡처된 다른 스퀀스들 또는 장면들 사이에서, 다음 팩터: 사람이 강성이 아니므로, 그 형상이 변할 수 있다는 것; 시퀀스에서의 다른 관점; 장면 사이 및 장면 내의 다른 조명 레벨; 장면 사이 및 장면 내의 다른 조명 컬러; 시퀀스에서 카메라까지의 다른 거리가 고려되어야만 한다.

이러한 환경으로 인하여, 비강성 물체 검출 및 추적하는 여러 방법이 적용 불가능하다. 저 해상도 및 카메라와 물체 사이의 거리는 세부 사항을 다루는 모든 방법을 무용하게 한다. 사람의 옷의 직물은 매우 미세한 경향이 있으므로, 직물 기반 방법 또한 사용하지 못한다.

본 발명의 목적은 사람과 같은 비강성 물체를 인식할 수 있도록 하는 것이다. 그러므로, 본 방법은 물체의 형상 변화에 민감하지 않을 수 있다.

감시 카메라의 고객이 자신의 카메라를 교정하는 것을 원치 않으므로, 상기 방법은 카메라의 위치가 공지되는 것에 의존하지 않을 수 있다. 그 이유는 물체가 보이는 각도가 고려되지 않을 수 있기 때문이다. 그러므로, 물체의 다른 부분의 상대적 크기, 예를 들어 팔과 다리의 상대적 길이를 기반으로 하는 방법들은 무용하다.

추적 문제는 광범위하게 연구되어 왔으나, 사람을 추적하는 공지된 방법은 장면 내에서 사람을 추적하는 것과 다른 카메라로부터 발생될 수 있는 다른 장면에서 사람을 인식하는 것 사이의 어떤 중요한 차이로 인하여 여기에 적용 불가능하다. 장면 내에서 사람을 추적할 때, 문제점은 모든 새 프레임에서 사람을 찾는다는 것이다. 이전 프레임으로부터의 정보는 그 후에 매우 유용하다. 조명, 화각 및 사람의 위치는 모두 동일하거나 프레임들 간에 아주 조금 변화할 것이다. 장면을 변화할 때, 모든 이러한 정보는 손실될 수 있다. 그러므로, 다른 장면들 사이에서 사람을 인식하는 방법은 통상적인 추적 방법 이외의 특징을 사용해야 한다.

다른 장면들 사이에서 물체를 식별 및 추적하는 방법은 많은 카메라를 갖는 감시 시스템에서 보조 도구로서 사용되어야 한다. 그러므로, 상기 방법이 어떤 정 확한 정합을 분실하기보다는 오히려 어떤 잘못된 정합을 행하는 것이 수용 가능하다. 모니터를 지켜보는 감시인은 전자의 경우에 용이하게 정확한 사람을 수동으로 인식할 수 있다. 후자의 경우, 상기 방법은 감시인에 대하여 어떤 도움도 주지 않을 것이다.

결과적으로, 다른 비디오 시퀀스들 사이의 물체를 추적하는데 사용될 수 있는 물체의 특성을 식별하는 방법 및 시스템이 필요하며, 상기 방법은 2개의 다른 비디오 시퀀스에서 발생한 임의의 물체를 놓치지 않는 방식으로 신뢰 가능할 것이다.

본 발명의 목적은 상술된 문제들 중 적어도 일부를 경감시키는 비디오 감시 시스템에서의 방법, 비디오 감시 시스템에서의 장치 및 비디오 감시 시스템을 달성하는 것이다.

이는 비디오 시퀀스에서 특정 물체를 식별하는 단계: 상기 비디오 시퀀스에서 식별되는 상기 특정 물체의 컬러 및 세기 정보를 기반으로 하여 적어도 2차원 컬러 공간에서 컬러 히스토그램(color histogram)을 생성하는 단계로서, 상기 컬러 및 세기 정보는 상기 비디오 시퀀스의 복수의 영상으로부터 발생되는, 컬러 히스토그램 생성 단계; 및 상기 생성된 컬러 히스토그램을 기반으로 하여 상기 물체의 특성을 식별하는 단계를 포함하는, 비디오 감시 카메라에 의해 캡처된 비디오 시퀀스에서 물체의 특성을 식별하는 비디오 감시 시스템에서의 방법에 의하여 본 발명의 제1 양상에 따라 달성된다.

비디오 시퀀스의 복수의 영상을 기반으로 하여 컬러 히스토그램을 생성함으로써, 물체의 다른 가능한 외관이 수신되어 컬러 히스토그램 내로 결합된다. 이는 물체가 비디오 시퀀스에서 많이 회전하고 움직인 경우에, 많은 가능한 뷰(view)로부터 물체를 완전하게 기술하는 컬러 히스토그램이 획득될 수 있다는 것을 의미한다. 이로써, 히스토그램은 영상에서의 공간 변화에 대해 변화하지 않는다. 예를 들어, 물체가 사람이고 그 사람이 자켓을 들고 있거나 입고 있는 경우, 이는 컬러 히스토그램에서 문제가 되지 않는다. 이 컬러 히스토그램을 기반으로 하여 식별된 물체의 특성은 이후에 예를 들어, 새로운 비디오 시퀀스에서 물체의 위치 및 화각에 관계없이 동일 카메라 또는 또 다른 카메라로부터의 나중의 비디오 시퀀스에서 물체를 검출하는데 사용될 수 있다. 또한, 컬러 히스토그램이 세기 및 컬러를 기반으로 하기 때문에, 상기 컬러 히스토그램은 정보가 어떤 영상으로부터 발생되는지에 무관한데, 즉, 시간에 무관하다.

동일한 방법이 컬러 및 세기 컬러 공간으로부터 도출되는 임의의 다차원 표현을 사용한 임의의 적어도 2차원 히스토그램에 적용 가능하다는 것이 당업자들에게는 명백하다.

본 발명의 실시예에 따르면, 상기 생성된 컬러 히스토그램을 기반으로 하여 상기 물체의 특성을 식별하는 단계는 정규 분포와 같은 다수의 분포들로 상기 컬러 히스토그램을 모델링하는 단계, 상기 생성되고 모델링된 컬러 히스토그램을 기반으로 하여 상기 물체의 특성을 식별하는 단계를 포함한다. 다수의 분포들로 상기 컬러 히스토그램을 모델링함으로써, 상기 컬러 히스토그램으로부터 수신된 데이터 양은 상기 물체의 특성을 식별하는데 더 다루기 쉬운 양으로 감소될 수 있다.

본 발명의 또 다른 실시예에 따르면, 컬러 히스토그램은 예측값 최대화 알고리즘(Expectation Maximization(EM) algorithm)과 같은 분포 조정 알고리즘을 사용하여 다수의 분포로 모델링된다. 분포 조정 알고리즘을 사용함으로써, 컬러 히스토그램의 양호한 모델이 획득된다. 또한, 최대값 예측화 알고리즘은 다수의 정규 분포에 의해 컬러 히스토그램의 양호한 추정을 달성하는 비교적 빠른 방법이다.

본 발명의 또 다른 실시예에 따르면, 상기 방법은 직각 좌표계로부터 극좌표계로 컬러 히스토그램을 변환하는 단계를 더 포함한다. 이로써, 환경에 따라 컬러 히스토그램의 특성으로부터 히스토그램 내의 물체의 특성을 분리하는 것이 용이해진다. 컬러 히스토그램에서, 물체의 각 컬러 부분은 컬러 히스토그램에서 어떤 확장을 갖는 블랍(blob)에 의하여 표현된다. 모델링된 컬러 히스토그램을 ? 및 a 좌표를 갖는 극좌표계로 변환함으로서, 물체의 제1 비디오 시퀀스 및 동일한 물체의 제2 비디오 시퀀스 사이의 조명에서의 세기 변화는 대략적으로 ? 방향에서 블랍들의 위치 변화를 발생시킬 것이고, 시퀀스들 사이의 광의 컬러에서의 변화는 개략적으로 a 방향에서 블랍들의 위치 변화를 발생시킬 것이다. 이 정보는 물체의 특성으로부터 영상에서의 환경적인 영향을 분리할 때 사용될 수 있다. 상기 변환 단계가 또한 상기 모델링 단계 이전에 수행될 수 있을지라도, 상기 변환 단계는 상기 변환 단계에서 계산 작업의 양을 감소시키기 위하여 분포들로 컬러 히스토그램을 모델링하는 단계 이후에 수행되는 것이 바람직하다.

본 발명의 또 다른 실시예에 따르면, 물체의 특성을 계산하는 단계는 물체의 특성과의 각각의 파라미터의 상관성에 따라 분포의 수의 파라미터를 가중시킴으로써 물체의 특성을 계산하는 단계를 포함한다. 각각의 파라미터가 얼마나 많이 물체의 특성과 상관된다고 추정되는지에 따라 분포의 파라미터에 상이한 가중 팩터를 제공함으로써, 물체의 특성에 대한 계산값이 수용될 수 있다.

또 다른 실시예에 따르면, 상기 분포의 파라미터를 계산하는 단계는 컬러 히스토그램을 극좌표계로부터 제2 직각 좌표계로 변환하는 단계 및 컬러 히스토그램에서 물체의 무게 중심에 제2직각 좌표계의 원점을 배열하는 단계를 더 포함한다. 이로써, 컬러 히스토그램에서 물체를 기술하는 내부 좌표계가 획득되고, 이는 컬러 히스토그램 내의 정보를 물체의 특성과 어느 정도 상관되는 파라미터들로 분리하는 것을 용이하게 한다.

본 발명의 또 다른 실시예에 따르면, 물체의 각각의 컬러 부분은 컬러 히스토그램에서 어떤 확장을 갖는 블랍에 의해 표현되며, 상기 물체는 이와 같은 블랍의 클러스터(cluster)로서 기술된다. 이로써, 컬러 히스토그램 내의 정보를 물체의 특성과 어느 정도 상관되는 파라미터들로 분리하는 것이 용이해진다.

본 발명의 제1 양상의 또 다른 실시예에 따르면, 상기 방법은 복수의 영상 각각으로부터 발생되는 컬러 및 세기 정보를 각 영상에서 물체가 기술되는 픽셀의 수에 대하여 표준화하는 단계를 더 포함한다. 이로써, 컬러 및 세기 정보는 픽셀 중립이 되는데, 예를 들어, 각각이 영상이 찍힌 다른 시간 및 물체의 스케일에 대해 불변이 된다.

또 다른 실시예에 따르면, 컬러 공간은 YCbCr, HSV 또는 YUV 컬러 공간과 같이, 세기 정보 및 컬러 정보가 분리될 수 있는 컬러 공간이다. 세기 및 컬러 정보가 분리될 수 있는 컬러 공간을 사용함으로써, 물체와 관련된 컬러 히스토그램에서의 특성은 비디오 시퀀스가 캡처된 환경과 관련된 컬러 히스토그램에서의 특성과 분리될 수 있다.

또 다른 실시예에 따르면, 컬러 히스토그램은 비디오 시퀀스의 모든 영상에서의 컬러 및 세기 정보를 기반으로 하여 생성된다. 컬러 히스토그램을 생성하는데 사용되는 영상이 많을수록, 히스토그램이 물체의 시간 및 공간 양상으로부터 덜 종속적이다.

또 다른 실시예에 따르면, 상기 컬러 히스토그램을 기반으로 하여 물체의 특성을 식별하는 단계는 상기 컬러 히스토그램을 기반으로 하여, 비디오 시퀀스에서의 물체를 기술하는 파라미터를 식별하는 단계 및 상기 식별된 파라미터를 기반으로 하여, 상기 물체의 특성을 계산하는 단계를 더 포함한다. 비디오 시퀀스에서 물체를 기술하는 파라미터를 식별하는 단계는 컬러 히스토그램의 무게 중심 및 컬러 히스토그램 분포를 식별하는 단계 및 상기 식별된 무게 중심 및 상기 식별된 컬러 히스토그램 분포를 기반으로 하여 물체의 특성을 식별하는 단계를 포함한다. 특징들(무게 중심 및 컬러 히스토그램 분포)은 물체의 특성을 식별하는데 사용될 수 있는 파라미터를 계산하기 위하여 시작되는 양호한 특징이라는 것이 입증되었다.

본 발명의 제2 양상에 따르면, 비디오 감시 시스템에서 물체를 추적하는 방법이 제공된다. 상기 방법은 제1 감시 카메라에 의해 캡처된 제1 비디오 시퀀스에서 추적할 물체를 식별하는 단계; 본 발명의 제1 양상의 방법에 따라 추적할 물체의 특성을 식별하는 단계; 제2 비디오 감시 카메라에 의해 캡처된 제2 비디오 시퀀스에서 후보 물체를 식별하는 단계; 본 발명의 제1 양상의 방법에 따라 상기 후보 물체의 특성을 식별하는 단계; 상기 후보 물체의 식별된 특성을 상기 추척할 물체의 상기 식별된 특성과 정합시키는 단계; 상기 정합 단계를 기반으로 하여, 상기 후보 물체가 상기 추적할 물체와 동일할 가능도(likelihood)를 계산하는 단계를 포함한다. 이 방법에 의해, 제2 비디오 시퀀스에서의 후보 물체가 이전에 캡처된 제1 비디오 시퀀스에서 추적할 물체와 동일한 물체인지의 여부가 자동적으로 검출될 수 있다. 본 발명의 제1 양상의 방법이 각각의 비디오 시퀀스에서 물체의 공간적인 변화 및 시간적인 변화에 불변하기 때문에, 제2 양상의 방법이 정확한 정합을 놓칠 확률은 낮을 것이다.

본 발명의 제3 양상에 따르면, 비디오 감시 시스템에서의 식별 장치가 제공된다. 상기 식별 장치는 비디오 시퀀스에서의 특정 물체를 식별하는 물체 식별 유닛; 상기 비디오 시퀀스에서 식별되는 상기 특정 물체의 컬러 및 세기 정보를 기반으로 하여 적어도 2차원의 컬러 공간에서 컬러 히스토그램을 생성하는 컬러 히스토그램 생성기로서, 상기 컬러 및 세기 정보는 상기 비디오 시퀀스의 복수의 영상으로부터 발생되는, 컬러 히스토그램 생성기; 및 상기 생성된 컬러 히스토그램을 기반으로 하여 상기 물체의 특성을 식별하는 물체 특성 식별기를 포함한다. 비디오 시퀀스의 복수의 영상을 기반으로 하여 물체의 컬러 히스토그램을 생성하도록 배열되는 컬러 히스토그램 생성기에 의하여, 물체의 다른 가능한 외관이 수용되어 컬러 히스토그램 내로 결합된다. 이는 물체가 비디오 시퀀스에서 많이 회전하고 움직일 경우, 많은 가능한 뷰로부터 물체를 완전하게 기술하는 컬러 히스토그램이 획득될 수 있다는 것을 의미한다. 이로써, 히스토그램은 영상에서의 공간 변화에 불변하게 된다. 또한, 컬러 히스토그램이 세기 및 컬러만을 기반으로 하기 때문에, 컬러 히스토그램은 정보가 어떤 영상으로부터 발생되는지와 무관한데, 즉, 시간에 무관하다.

본 발명의 제4 양상에 따르면, 비디오 감시 시스템이 제공된다. 상기 비디오 감시 시스템은 공용 통신 네트워크에 접속된 다수의 비디오 감시 카메라; 상기 공용 통신 네트워크와 접속된 본 발명의 제3 양상에 따른 적어도 하나의 식별 장치; 및 비디오 감시 시스템에서 물체를 추적하며, 상기 공용 통신 네트워크와 접속되는 추적 장치를 포함한다. 상기 추적 장치는 제1 비디오 감시 카메라에 의해 캡처된 제1 비디오 시퀀스에서 식별된 후보 물체의 식별된 특성에 관한 정보 및 제2 비디오 감시 카메라에 의해 캡처된 제2 비디오 시퀀스에서 식별된 추적할 물체의 식별된 특성에 관한 정보를 포함하는 정보를 적어도 하나의 식별 장치로부터 수신하는 수신기; 상기 후보 물체의 상기 식별된 특성을 상기 추적할 물체의 상기 식별된 특성과 정합시키는 정합 유닛; 및 상기 정합 단계를 기반으로 하여, 상기 후보 물체가 상기 추적할 물체와 동일할 가능도를 계산하는 계산 유닛을 포함한다. 이와 같은 비디오 감시 시스템은 제2 비디오 시퀀스에서의 후보 물체가 이전에 캡처된 제1 비디오 시퀀스에서의 추적할 물체와 동일한 물체인지의 여부를 자동적으로 검출할 수 있다. 비디오 시퀀스의 복수의 영상으로부터 물체의 컬러 히스토그램을 생성하도록 배열되는 적어도 하나의 식별 장치에 의하여, 상기 시스템은 각각의 비디오 시퀀스에서 물체의 공간 변화 및 시간 변화에 불변하게 됨으로써, 상기 시스템이 정확한 정합을 놓칠 확률이 낮아질 것이다.

본 발명은 첨부된 도면을 참조하여 이하에 보다 상세하게 설명될 것이다.

도1a는 본 발명의 실시예에 따른 비디오 감시 시스템을 개략적으로 도시한 다.

도1b는 본 발명은 또 다른 실시예에 따른 비디오 감시 시스템을 개략적으로 도시한다.

도2는 본 발명에 따른 식별 장치를 포함하는 비디오 감시 카메라의 블록도를 도시한다.

도3은 본 발명에 따른 추적 장치의 블록도를 도시한다.

도4는 본 발명에 따른 물체의 특성을 식별하는 방법의 흐름도를 도시한다.

도5는 비디오 감시 시스템에서 물체를 추적하기 위한 본 발명에 따른 방법의 흐름도를 도시한다.

도6은 RGB 및 YCbCr 컬러 공간 사이의 관계를 도시한다.

도7a는 물체가 캡처되는 비디오 시퀀스의 영상을 도시한다.

도7b는 물체가 세그먼팅(segmenting)되는 도7a의 영상을 도시한다.

도8은 YCbCr 컬러 공간에서 도시된 착색된 물체에 대한 가변 조명의 효과를 도시한다.

도9a는 제1 장면에서 사람의 CbCr, YCb 및 YCr 컬러 히스토그램을 도시한다.

도9b는 제2 장면에서 도9a의 사람의 CbCr, YCb 및 YCr 컬러 히스토그램을 도시한다.

도10a는 제1 장면에서 또 다른 사람의 CbCr, YCb 및 YCr 컬러 히스토그램을 도시한다.

도10b는 제2 장면에서 도10a의 사람의 CbCr, YCb 및 YCr 컬러 히스토그램을 도시한다.

도11a 내지 도11c 각각에서, αρ좌표에서 장면에서의 사람의 히스토그램이 좌측 영상으로 도시되고 가변 수의 정규 분포로 모델링된 히스토그램이 우측 영상으로 도시된다.

도12는 8개의 영상을 포함하며, 여기서 제1 영상은 장면에서 사람의 히스토그램을 도시하고 다른 영상은 직각 분포의 다른 상대 주파수(p₀)로 히스토그램의 대응하는 정규 분포를 도시한다.

도13은 YC 좌표계에서 ? 및 a 좌표를 갖는 좌표계를 도시한다.

도14는 도면 좌측에 YCb에서의 히스토그램을 도시하고 도면 우측에 좌표 축로서 α 및 ?를 갖는 좌표계에서의 동일한 히스토그램을 도시한다.

도15는 내부 클러스터 좌표계를 도시한다.

도16a 내지 16b는 각각 비디오 시퀀스로부터 세그먼팅된 영상을 도시하며, 각각의 영상은 개별적인 비디오 시퀀스로부터 나온다.

도17a 및 17b는 도16a 및 16b의 대응하는 도면에서 영상으로 도시된 비디오 시퀀스 각각의 YCb 컬러공간에서의 하나의 히스토그램(좌측), 정규 분포로 모델링된 히스토그램(중앙) 및 ?-α좌표계로 변환된 분포 모델들(우측)을 각각 도시한다.

도18a 및 18b는 다른 비디오 시퀀스로부터 세그먼팅된 영상을 도시하며, 각각의 영상는 개별적인 비디오 시퀀스로부터 나온다.

도19a 및 19b는 도18a 및 18b의 대응하는 도면에서 영상으로 도시된 비디오 시퀀스 각각의 YCb 컬러공간에서의 하나의 히스토그램(좌측), 정규 분포로 모델링된 히스토그램(중앙) 및 ?-α좌표계로 환형된 분포 모델들(우측)을 각각 도시한다.

본 발명은 상기 본 발명의 바람직한 실시예가 도시되어 있는 첨부 도면을 참조하여 이하에 더 충분히 설명될 것이다. 그러나, 본 발명은 많은 다른 형태로 구현될 수 있고 본원에 설명된 실시예로 국한되는 것으로 해석되어서는 안된다; 오히려 이러한 실시예가 제공되어, 본 명세서가 더 철저해지고 완전해질 것이며, 당업자에게 본 발명의 범위를 충분히 전달할 것이다. 도면에서, 동일한 요소에는 동일한 번호가 병기되어 있다.

도1a 및 1b는 본 발명에 따른 비디오 감시 시스템을 도시한다. 비디오 감시 시스템은 통신 네트워크(20)를 통하여 감시 센터(30)와 접속된 다수의 비디오 감시 카메라(10, 12 및 14)를 포함한다. 비디오 감시 카메라(10, 12 및 14)는 영상 시퀀스를 생성할 수 있는 임의의 디지털 카메라 및/또는 영상 시퀀스를 생성할 수 있는 임의의 아날로그 카메라일 수 있으며, 이 경우에 아날로그 카메라는 아날로그 영상 정보를 디지털 영상 데이터로 변환하여 상기 디지털 영상 데이터를 네트워크(20)에 제공하는 컨버터에 접속된다. 통신 네트워크(20)는 유선 또는 무선 데이터 통신 네트워크, 예를 들어 근거리 네트워크(LAN) 또는 무선 근거리 네트워크(W-LAN) 또는 광대역 네트워크(WAN)와 같은, 디지털 영상 정보를 통신하기 위한 임의의 종류의 통신 네트워크일 수 있다.

도1a에서 도시된 시스템에서, 비디오 감시 카메라들(10, 12 및 14)은 각각 비디오 감시 카메라에 의해 캡처된 비디오 시퀀스에서 물체의 특성을 식별하는 본 발명에 따른 식별 장치들(110a, 100b 및 100c)(도2 참조)을 포함한다. 물체의 특성을 식별한 후에, 각각의 비디오 감시 카메라는 식별된 특성(ID)을 감시 센터(30)와 같은 네트워크 내의 노드로 통신하도록 배열된다. 이 때문에, 감시 센터(30)에는 제1 비디오 카메라(10)로부터 수신된 추적할 물체의 식별된 특성 및 제2 카메라(12)로부터 수신된 후보 물체의 식별된 특성을 기반으로 하여 비디오 감시 시스템에서 물체를 추적하는 본 발명에 따른 추적 장치(200)가 제공된다(도3 참조). 추적 장치는 추적할 물체의 식별된 특성이 후보 물체의 식별된 특성과 비교되어 후보 물체가 추적할 물체와 동일한지의 여부를 계산하도록 배열된다.

도1b에서 도시된 시스템에서, 비디오 감시 카메라(10, 12, 14)에는 식별 장치가 존재하지 않는다. 대신에, 감시 센터(30)는 자신의 추적 장치(200) 이외에, 적어도 하나의 식별 장치(100)를 포함한다. 이 시스템에서, 비디오 감시 카메라(10, 12, 14)는 감시 센터로 비디오 시퀀스를 전송하도록 배열되어 감시 센터에 배열된 식별 장치에서 물체의 특성을 식별한다.

또 다른 실시예에 따르면, 카메라 중 일부에는 식별 장치(100)가 제공되고 카메라 중 일부에는 식별 장치가 제공되지 않는다. 입력 데이터는 식별 장치가 없는 카메라로부터 식별 장치가 있는 카메라로 통신된다. 이 경우에서의 대안은 또한 감시 센터(30)와 같은 중앙 노드에서 식별 장치(100)를 가지는 것이며, 이 경우에, 입력 데이터는 식별 장치가 없는 카메라로부터 중앙 노드 내의 식별 장치로 통신될 수 있다.

또 다른 실시예에 따르면, 비디오 감시 시스템 내의 카메라 중 적어도 하나에는 추적 장치(200)가 제공될 수 있다.

또한, 추적 장치(200)는 자신이 추적할 물체의 식별된 특성을 수신하였을 때 후보 물체의 식별된 특성에 관한 정보를 수신할 수 있다. 그 경우에, 추적할 물체의 식별된 특성은 제1 비디오 시퀀스로부터 발생되고 후보 물체의 식별된 특성은 제1 비디오 시퀀스와 별도의 제2 비디오 시퀀스로부터 발생된다.

도2에서, 본 발명의 실시예에 따른 식별 장치(100)를 포함하는 비디오 감시 카메라(10)가 개략적으로 도시되어 있다. 본 발명의 이해를 용이하게 하기 위해서, 본 발명에 관련되지 않은 비디오 감시 카메라의 표준 특징은 설명되지 않는다. 비디오 감시 카메라(10)는 입사 광을 등록하기 위한 영상 센서(52) 예를 들어, 전하 결합 소자(CCD), CMOS-센서 등, 영상 처리 수단(54), 네트워크와 접속된 다른 노드로 통신 네트워크를 통하여 정보를 통신하는 통신 유닛(150), 및 본 발명의 실시예에 따른 식별 장치(100)를 포함한다.

영상 프로세싱 수단(54)은 등록된 광에 관한 정보를 수신하고 당업자들에게 널리 공지되어 있는 A/D 컨버터 및 신호 처리 수단(56)에 의하여 이 정보를 처리한 다. 일부 실시예에서, 예를 들어, 영상 센서(52)가 CMOS 센서일 때, 영상 센서(52)는 A/D 컨버터를 포함하므로, 영상 처리 수단(54)에서 임의의 A/D 컨버터가 필요하지 않다. A/D 컨버터 및 신호 처리 수단(56)으로부터의 결과는 일 실시예에 따르면, 식별 장치(100)로 전송되기 전에 스케일링 유닛(scaling unit)(57) 및 인코더(58)에서 처리되는 디지털 영상 데이터이다. 스케일링 유닛(57)은 특정 크기의 적어도 하나의 영상 내로 디지털 영상 데이터를 처리하도록 배열된다. 그러나, 상기 스케일링 유닛은 모두 A/D 컨버터 및 신호 처리 수단(56)에 의해 제공되는 동일한 영상/프레임을 나타내는 복수의 다른 크기의 영상을 생성하도록 배열될 수 있다. 또 다른 실시예에 따르면, 스케일링 유닛의 기능은 인코더에 의해 수행되고, 또 다른 실시예에서는, 영상 센서로부터 영상의 임의의 스케일링 또는 크기조정(resizing)을 수행할 필요가 없다.

본 발명을 실행하는데 선택적인 인코더(58)는 디지털 영상 데이터를 연속적인 비디오 시퀀스, 제한된 비디오 시퀀스, 정지 영상 또는 스티리밍되는 영상/비디오에 대한 복수의 공지된 포맷 중 어느 하나로 인코딩하도록 배열된다. 예를 들어, 영상 정보는 MPEG1, MPEG2, MPEG4, JPEG, MJP, 비트맵 등으로 인코딩될 수 있다. 식별 장치(100)는 입력 데이터로서 코딩되지 않은 영상을 사용할 수 있다. 그 경우에, 영상 데이터는 인코더(58)를 통과함이 없이, 신호 처리 수단(56) 또는 스케일링 유닛(57)으로부터 식별 장치(100)로 운반된다. 코딩되지 않은 영상은 식별 장치(100)가 또한 입력 데이터로서 인코딩된 데이터를 사용할 수 있을지라도, BMP, PNG, PPM, PGM, PNM 및 PBM과 같은 임의의 코딩되지 않은 영상 포맷일 수 있다.

본 발명의 실시예에서, 영상 데이터는 스케일링 유닛(57) 또는 인코더(58)를 통과함이 없이, 신호 처리 수단(56)으로부터 식별 장치(100)로 직접 전송될 수 있다. 또 다른 실시예에서, 영상 데이터는 인코더를 통과함이 없이, 스케일링 유닛(57)으로부터 식별 장치(100)로 전송될 수 있다.

도2의 식별 장치(100)는 물체 식별 유닛(102), 컬러 히스토그램 생성기(104), 및 물체 특성 식별기(106)을 포함한다. 물체 식별 유닛(102)은 영상 처리 수단(54)로부터 수신된 영상 정보를 기반으로 하여 비디오 시퀀스에서 물체를 식별하도록 배열된다. 물체는 임의의 공지된 물체 식별 기술에 따라 수동적으로 또는 자동적으로 물체 식별 유닛(102)에서 식별될 수 있다. 컬러 히스토그램 생성기(104)는 비디오 시퀀스의 복수의 영상으로부터 발생되는 식별된 물체의 컬러 및 세기 정보를 기반으로 하여 컬러 히스토그램을 생성하도록 배열된다. 컬러 히스토그램은 컬러를 기술하는 히스토그램을 의미한다. 물체 특성 식별기(106)는 생성된 컬러 히스토그램을 기반으로 하여 물체의 특성을 식별하도록 배열된다. 컬러 히스토그램을 생성할 때 비디오 시퀀스의 복수의 영상으로부터 발생되는 정보를 사용함으로써, 식별 장치는 하나의 영상만으로부터의 정보가 사용되는 경우에 비하여, 시간적 또는 공간적 양상, 즉 픽처(picture)에서 물체가 식별되는 시간 및 장소에 둔감해진다. 사용되는 영상이 많을수록, 식별 장치가 시간 및 공간적 양상에 더 로버스트(robust)해진다. 이는 본 발명의 식별 장치가 다른 비디오 시퀀스에서의 물체의 외관의 변화에 대해 낮은 낮은 민감도를 갖기 때문에, 상기 장치가 높은 정확도로 물체의 특성을 식별한다는 것을 의미한다.

본 발명의 실시예에 따르면, 물체의 특성은 여러 단계에서 식별될 수 있다. 예를 들어, 우선 상기 특성은 비디오 시퀀스의 적은 수의 영상, 가령, 5개의 영상에서의 컬러 및 세기 정보를 기반으로 하여 식별될 수 있다. 그 후, 물체의 특성의 개정된 식별이 예를 들어, 물체가 비디오 시퀀스에서의 더 많은 수의 영상에서 보이는 이후 단계에서, 비디오 시퀀스의 다량의 영상을 기반으로 하여 달성될 수 있다.

본 발명의 실시예에 따르면, 물체 특성 식별기는 히스토그램 모델러(108), 히스토그램 변환기(110), 파라미터 계산기(112) 및 물체 특성 계산기(114)를 포함한다.

히스토그램 모델러(108)는 생성된 컬러 히스토그램을 다수의 분포로, 일 실시예에서 정규 분포로 모델링하여 데이터의 양이 감소되도록 배열된다. 히스토그램 변환기(110)는 컬러 히스토그램을 직각 좌표계로부터 세기를 표현하는 ? 및 컬러를 표현하는 a를 갖는 극좌표계로 변환하도록 배열된다. 이로써, 환경에 따라 컬러 히스토그램의 특성으로부터 컬러 히스토그램 내의 물체의 특성을 분리하는 것이 용이하게 된다. 파라미터 계산기(112)는 물체의 특성을 식별하기 위하여 표시되는 분포의 수의 파라미터를 계산하도록 배열된다. 물체 특성 계산기(114)는 물체의 특성을 식별하기 위하여 각 파라미터의 중요도에 따라 파라미터를 가중시킴으로써, 계산된 파라미터를 기반으로 하여 물체의 특성을 계산하도록 배열된다. 각 파라미터 중요도는 예를 들어, 검사 단계에서 미리 검사될 수 있다. 카메라(10)의 통신 유닛(150)은 예를 들어, 카메라(10) 내의 식별 장치(100)에 의해 컬러 히스토그램으 로부터 식별된 물체의 특성에 관한 정보를 통신 네트워크 내의 다른 노드에 배열되거나 또는 대안적으로 동일 카메라에 배열되는 추적 장치로 통신하도록 배열된다.

도3은 본 발명에 따른 추적 장치(200)를 도시한다. 추적 장치(200)는 수신기(202), 정합 유닛(204), 계산 유닛(206) 및 신호 생성기(208)를 포함한다. 수신기(202)는 제1 식별 장치로부터 추적할 물체의 식별된 특성에 관한 정보를 수신하고, 제2 식별 장치로부터 후보 물체의 식별된 특성에 관한 정보를 수신하도록 배열된다. 대안적으로, 제1 및 제2식별 장치는 동일한 식별 장치일 수 있다. 정합 유닛(204)은 후보 물체의 식별된 특성에 관한 정보와 추적할 물체의 식별된 특성에 관한 정보를 정합시키도록 배열된다. 계산 유닛(206)은 정합 단계에 기초하여, 후보 물체가 추적할 물체와 동일할 가능도를 계산하도록 배열된다. 그 후, 계산 결과는 감시 센터에서의 디스플레이와 같은 표현 유닛에 신호로서 전송되어 디스플레이 상에 표현되어, 정합/비-정합이 발견되었다는 것을 감시 센터에서 일하는 사람에게 나타내게 된다. 계산 결과는 후보 물체가 추적할 물체와 동일한 확률을 나타내는 확률값일 수 있다. 신호 생성기(208)는 계산 결과를 기반으로 하여 이와 같은 신호를 생성하도록 배열된다.

도4는 본 발명의 실시예에 따른, 비디오 감시 카메라에 의해 캡처된 비디오 시퀀스에서 물체의 특성을 식별하는 방법을 도시한다. 상기 방법은 다음 단계들: 비디오 감시 카메라에 의하여 캡처된 비디오 시퀀스에서의 물체를 식별하는 단계(302); 비디오 시퀀스에서의 복수의 영상으로부터 물체의 컬러 및 세기 정보를 기반으로 하여 컬러 히스토그램을 생성하는 단계(306); 생성된 컬러 히스토그램을 기반으로 하여 물체의 특성을 식별하는 단계를 포함한다.

본 발명의 실시예에 따르면, 생성된 컬러 히스토그램을 기반으로 하여 물체의 특성을 식별하는 단계는: 다수의 정규 분포로 컬러 히스토그램을 모델링하는 단계(308); 모델링된 분포를 직각 좌표계로부터 극좌표계로 변환하는 단계(310); 물체의 특성을 식별하는데 사용되는 분포의 파라미터를 계산하는 단계(312); 및 물체의 특성과의 각 파라미터 상관성에 따라 분포의 파라미터를 가중시킴으로써 물체의 계산된 파라미터를 기반으로 하여 물체의 특성을 계산하는 단계(314)를 더 포함한다. 상기 모델링 단계(308) 및 변환 단계(310)는 임의의 상호적인 순서로 발생될 수 있다.

본 발명의 실시예에 따르면, 상기 방법은 물체가 각각의 영상에서 기술되는 픽셀의 수에 의하여 물체의 컬러 및 세기 정보를 표준화하는 단계를 더 포함한다. 상기 표준화 단계는 컬러 히스토그램을 생성하는 단계(306) 이전 또는 이후에 발생할 수 있다.

본 발명의 실시예에서, 분포의 파라미터를 계산하는 단계(312)는: 컬러 히스토그램을 극좌표계로부터 제2 직각 좌표계로 변환하는 단계; 좌표의 원점을 컬러 히스토그램에서의 물체의 무게 중심으로 이동시키는 단계; 제2 직각 좌표계에서의 분포의 수의 위치를 계산하는 단계를 더 포함하고, 상기 제2 직각 좌표계에서의 분포의 수의 위치는 물체의 특성을 식별하기 위한 파라미터로서 사용된다.

분포의 파라미터를 계산하는 단계(312)는 컬러 히스토그램의 무게 중심 및 컬러 히스토그램 분포를 식별하는 단계; 및 식별된 무게 중심 및 식별된 히스토그 램 분포를 기반으로 하여 물체의 특성을 식별하는 파라미터를 계산하는 단계를 더 포함한다. 이 경우에, 용어 "컬러 히스토그램 분포"는 물체를 기술하는 블랍의 클러스터의 컬러 히스토그램에서의 확장으로서 해석되어야 한다. 히스토그램은 다수의 블랍들을 포함하는 것으로 기술될 수 있고, 각 블랍은 하나의-컬러 물체 부분으로서 규정되고 물체는 이와 같은 하나의-컬러 물체 부분의 클러스터로서 기술된다.

도5는 본 발명에 따른 비디오 감시 시스템에서 물체를 추적하는 방법을 도시한다. 상기 방법은: 제1 비디오 감시 카메라에 의해 캡처된 제1 비디오 시퀀스에서 추적할 물체를 식별하는 단계(402); 도4에 도시된 방법에 따라 추적할 물체의 특성을 식별하는 단계(404); 제2 비디오 감시 카메라에 의해 캡처된 제2 비디오 시퀀스에서 후보 물체를 식별하는 단계(406); 도4에 도시된 방법에 따라 후보 물체의 특성을 식별하는 단계(408); 후보 물체의 식별된 특성을 추적할 물체의 식별된 특성과 정합시키는 단계(410); 정합 단계를 기반으로 하여, 후보 물체가 추적할 물체와 동일할 가능도를 계산하는 단계(412); 및 후보 물체가 추적하는 물체와 동일할 가능도를 나타내는 신호를 생성하는 단계(414)를 포함한다.

생성된 신호는 예를 들어, 감시 센터에서의 조작자의 스크린에 시각적으로 표현될 수 있다. 그 후, 조작자는 이 정보를 사용하여 후보 물체 및 추적할 물체 사이의 정합이 실제로 존재하는지 여부를 2개의 비디오 시퀀스에서 시각적으로 더 확인하게 된다.

본 발명의 대안적인 실시예에서, 제1 비디오 감시 카메라 및 제2 비디오 감시 카메라는 동일한 비디오 감시 카메라일 수 있고, 이 경우에, 제1 및 제2 비디오 시퀀스는 동일 카메라에 의하여 캡처된 개별적인 비디오 시퀀스이다.

비디오 감시 카메라 또는 카메라들 및/또는 비디오 감시 시스템 내의 다른 노드들은 컴퓨터 프로그램 제품이 저장되는 컴퓨터 사용 가능한 매체를 수용하도록 배열된 컴퓨터를 가질 수 있다. 컴퓨터 프로그램 제품은 컴퓨터가 비디오 시퀀스에서의 물체의 특성을 식별하는 방법의 단계를 수행하고/하거나 본 발명에 따른 비디오 감시 시스템에서 물체를 추적하는 방법의 단계를 수행하도록 하는 컴퓨터 판독 가능한 프로그램 수단을 포함한다.

이론

이 장은 조사된 문제점 이면의 기본 이론을 포함한다. 제1 섹션은 조사에 사용되는 장치를 다루고 제2 섹션은 수학을 다룬다.

조사 중에, 비디오 시퀀스는 연구, 트레이닝 및 검증 용도로 생성되었다. 사용된 카메라는 Axis 207 네트워크 카메라 및 Axis 210 네트워크 카메라였으며, 이들 둘 모두는 자동적인 백색 균형 및 노출 제어를 갖는다. 이러한 카메라들은 다른 센서 기술을 사용하는데, 전자의 카메라에서는 디지털 센서 CMOS를 사용하고 후자의 카메라에서는 아날로그 센서 CCD를 사용한다. 이로 인해, 본 출원에 설명된 방법은 특정 카메라 또는 센서 기술에 채택된 방법보다 더 일반적인 기술 환경에서 개발되었다. 비디오 시퀀스는 MJPG 파일로서 캡처되었다. 모든 MJPG 파일은 일련의 JPG 파일로 구성된다. JPG 파일은 PPM 파일로 분리 및 변환되는데, 상기 PPM 파일들은 조사에서 데이터로서 사용되었다. 그러나, 임의의 종류의 영상 포맷이 본 발명을 실행하는데 사용될 수 있다.

다음 섹션은 백색 균형 및 컬러 공간 문제를 더 상세히 기술하고 이러한 영역의 수학적 양상을 또한 다룬다.

우리 주변의 대부분의 광원은 흑체를 복사하고 있다. 이들의 공간적 세기는 온도에 따르며 플랑크의 흑체 복사 법칙에 의해 제공되며:

여기서 I는 분광 복사휘도이며, ?는 주파수이고, T는 온도이며, h는 플랑크 상수이고, c는 광속이며, e는 자연 로그의 밑이고, k는 볼츠만 상수이다.

흑체 복사로 인해 저온 광원은 적색(예를 들어, 백열 전구)으로 시프트하고 고온 광원은 청색(예를 들어, 태양)으로 시프트한다.

물체로부터 반사된 광의 컬러는 물체의 컬러 및 입사광의 컬러 둘 모두에 따른다. 사람의 뇌는 주변 광의 컬러를 보상하도록 조정을 행하므로, 사람은 입사광과 무관하게 물체의 정확한 컬러를 보게 된다. 그러나, 통상적인 카메라는 이러한 조정을 행하지 못하며, 이것은 영상에서 컬러에 영향을 준다(예를 들어, 백색 물체는 장면에서의 입사광이 청색인 경우, 영상에서 푸르스름해질 수 있다). 물체의 실제 컬러를 나타내는 영상을 생성하기 위하여, 백색 균형 알고리즘이 적용되어야 한다. 상기 알고리즘은 장면에서의 백색 물체를 영상에서 백색이 되도록 하고, 모든 다른 컬러가 또한 일정 정확도로 정확해지도록 한다.

네트워크 카메라는 센서로 영상을 캡처한다. 이러한 센서는 전형적으로 RGB 또는 CMYG 컬러 공간 중 하나를 사용한다. 사람의 눈은 광 세기보다 컬러에 덜 민 감하므로, 세기에서보다 컬러에서 보다 더 적은 해상도가 필요하다. 이 때문에, 영상 압축에서 컬러 및 세기를 분리하여 다루는 것이 더 바람직하다. 그러므로, 영상은 JPEG 또는 MPEG 포맷으로 압축되기 전에 YCbCr 컬러 공간으로 변환되는데, 여기서 Y는 세기 정보를 포함하고 Cb 및 Cr은 컬러 정보를 포함한다. 이것은 YCbCr가 모든 영상 처리에 대한 바람직한 컬러 공간이 되도록 하는데, 그 이유는 부가적인 변환이 필요하지 않기 때문이다. 도6은 RGB 컬러 공간에 대한 YCbCr 컬러 공간을 도시한다.

YCbCr 컬러 공간은 다음과 같이 규정된 RGB 컬러 공간의 선형 맵이며:

여기서 0≤R,G,B이고, 0≤Y≤256이며, -128≤Cb,Cr≤128이다.

방법

우선, 비디오 감시 카메라에 의해 캡처된 영상은 식별된 물체를 정확하게 세그먼팅도록 사전처리된다. 도7a에서, 실내 환경에서의 사람인 식별된 물체를 포함하는 영상이 도시된다. 도7b에서, 물체는 세그먼팅되었는데, 즉, 물체에 대응하지 않는 영상의 부분이 삭제되었다. 세그먼테이션(segmentation)은 장면의 나머지로부터 물체를 분리하는 임의의 공지된 세그먼테이션 방법에 의해 수행될 수 있다.

물체의 특성을 식별하고 추적할 물체의 식별된 특성 및 후보 물체의 식별된 특성을 기반으로 하여 2개의 다른 비디오 시퀀스 사이에서 물체를 추적하는 가장 장래성 있는 특징 중 하나는 컬러인 것으로 판명되었다. 특징으로서 사람의 컬러 히스토그램을 사용하는 것은 형상의 변화, 더 적은 부분적인 폐색(occlusion), 방위의 변화 및 뷰잉 위치(viewing position)의 이동과 같은 변수에 둔감해야 한다. 한편, 컬러 히스토그램 특징은 조명의 컬러 및 세기의 변화에 민감하다. 그러므로, 컬러 공간으로서 RGB보다는 오히려, YCbCr 컬러 공간과 같이, 세기 정보 및 컬러 정보가 분리될 수 있는 컬러 공간을 사용하는 것이 보다 바람직할 수 있는데, 그 이유는 조명의 가변 세기 및 가변 컬러의 영향이 YCbCr 컬러 공간에서 분리되기 때문이다. 대략적으로, 조명 세기는 Y축에 따라 가변되고, 조명 컬러는 Cr 평면에서 가변된다. 이한 정보에 의하여, 조명의 변화가 조정될 수 있다. YCbCr 컬러 공간은 또한 상술된 바와 같이, 하드웨어 애플리케이션에서 다루는데 더 적합하다.

3차원 컬러 공간을 다루는 것은 많은 컴퓨터 용량을 소모하고 분석 용으로 시각화하기가 어렵다. (CbCr, YCb 및 YCr 평면에서의) 2차원 데이터가 보다 편리할 것이다. 도8에서, YCbCr 컬러 공간은 3차가 아닌 것으로 도시되어 있다. 그러므로, 다른 조명 세기에서의 하나의-컬러 물체는 Y축과 평행하게 신장되는 것이 아니라, 도8에 도시된 선에 따라 신장된다. 이러한 선을 따라 CbCr 평면 상으로 투영하는 것이 정확하지만, 간소화하기 위해 본 명세서에서는 근사화가 행해진다. 2차원 히스토그램을 생성하기 위하여 모든 3개의 평면 상으로 일직선으로 YCbCr 히스토그램을 투영하는 것이 사용되었다.

본 발명에 따른 비디오 시퀀스에서의 물체의 특성을 식별하는데 사용될 히스토그램을 생성하기 위해서, 비디오 시퀀스의 복수의 영상이 필요하다. 히스토그램 을 생성하는데 사용되는 비디오 시퀀스로부터의 영상이 많을수록, 더 많은 정보가 사용되고, 상기 방법이 더 로버스트해진다. 히스토그램은 바람직하게는, 상기 방법이 물체가 뷰잉되는 다른 시간 및 스케일에 불변하도록 하기 위하여, 사용되는 모든 영상에서 물체가 구성되는 픽셀의 수에 의해 분리된다. 특징으로서 컬러 히스토그램을 다룰 때, 상기 방법은 사람의 다른 부분의 위치가 사용되지 않기 때문에, 영상의 공간 변화에 불변하게 된다. 사람이 예를 들어, 자켓을 자신의 손에 들고 있거나 입고 있는 경우에, 이것은 컬러 히스토그램에서 문제가 되지 않는다. 제1 장면에서의 사람의 이러한 특징은 좌측에서 우측으로의 이러한 순서로 표현되는 사람의 CbCr, YCb 및 YCr 히스토그램으로서 도9a에 도시되어 있다. 각 쌍에서의 제1 변수는 수직축 상에 제공되고 각 쌍에서의 제2 변수는 수평축 상에 제공된다. 128의 오프셋(offset)이 Cb 및 Cr 스케일로 추가된다.

다른 장면에서의 동일한 사람의 특징은 사람의 CbCr, YCb 및 YCr 히스토그램으로 도9b에 도시되어 있다. 이러한 2개 장면에서의 조명 컬러는 많이 다르다. 장면 중 하나에서, 조명은 주로 야외 광으로 구성되고, 청색으로 시프트되며 물체에는 이러한 광이 조사된다. 그러나, 어딘가에는 적색으로 시프트되는 실내 광이 또한 존재한다. 이 광은 장면에서 백색 물체를 조사하므로, 카메라가 이 조사로 백색 균형을 맞추어서, 물체의 부정확한 컬러를 초래한다. 이 때문에, 도9a 및 도9b의 히스토그램은 매우 유사하지 않다. 이 데이터를 사용하여 사람을 인식하는 것은 다루기 어려운 문제점이므로, 카메라의 화이트 균형이 양호한 결과를 달성하도록 동작한다면 유용할 것이다. 이것은 한 유형의 광원을 사용함으로써 보장된다. 본 명 세서의 최종적인 방법은 한 유형의 광원을 사용하여 검증된다. 그러나, 양호한 결과가 또한 다른 유형의 광원으로도 달성될 수 있다는 것이 검사를 통해 나타났다.

도10a 및 10b에서, 2개의 다른 장면에서의 사람의 CbCr, YCb 및 YCr 컬러 히스토그램이 도시될 수 있는데, 여기서 한 유형의 광원이 사용되었다. 도10a 및 10b에서, 사람의 CbCr, Ycb 및 YCr 히스토그램은 좌측에서 우측까지의 이러한 순서로 표현된다. 각 쌍에서의 제1 변수는 수직축 상에 제공되고 각 쌍에서의 제2 변수는 수평축 상에 제공된다. 128의 오프셋이 Cb 및 Cr 스케일에 추가된다. 도10a 및 10b에서의 컬러 히스토그램들 사이의 유사성은 도9a 및 9b에서의 장면 사이에서보다 훨씬 더 크다. 인식할 물체가 사람일 때, 사람들이 적당한 컬러를 갖는 옷을 입는 경향이 있는 한, CbCr 평면이 YCb 및 YCr 평면만큼 인식에 유용하지 않다는 것이 (2개의 다른 장면으로부터의) 여러 사람의 히스토그램의 분석을 통해 제시되었다. 이 때문에, CbCr 평면에서의 데이터는 종종 원점에 가깝게 센터링(centering)되고, 다른 컬러 물체(옷의 피스(piece))를 나타내는 블랍은 중첩된다. 그러므로, YCb 및 YCr 히스토그램은 바람직하게는, 적당한 컬러의 옷을 입은 사람을 인식하는 특징으로서 사용된다.

정합 특징

다른 비디오 시퀀스에서 사람을 인식할 수 있도록 하기 위해서, 다른 비디오 시퀀스로부터의 특징이 서로에 대여 정합된다. 히스토그램을 정합시키기 위한 여러 방법이 문헌에서 제공되었다. 이와 같은 방법은 직접적으로 사용될 수 있다. 히스토그램을 정합시키는 하나의 이와 같은 방법은 히스토그램에서 빈(bin)들을 직접 비교하는 것이다. 이를 행하는 방식은 2개의 히스토그램의 대응하는 빈들의 곱의 제곱근의 합인 Bhattacharyya 계수를 사용하는 것이다. 이 방법은 D.Comaniciu, V.Ramesh 및 P.Meer에 의한 "Kernel-based object tracking", IEEE Computer Visionand Pattern Recognition(2000)에 설명되어 있다.

원뿔형 정합(conic matching)은 (예를 들어, 뷰잉 정합에서) 블랍 특징을 정합시키는데 사용되는 대안 정합 방법이다. 원불형 정합 알고리즘은 유사한 컬러를 갖는 픽셀을 타원과 유사한 형상을 갖는 블랍으로 세그먼팅한다. 그 후, 영상에서 발견된 블랍은 상기 블랍과 다른 영상에서의 블랍이 정합하는지를 인식하기 위하여 다른 영상에서의 블랍과 비교된다. 이러한 비교에서 사용되는 특징은 블랍의 컬러, 형상 및 위치이다. 이 정합 방법은 P.E.Forsse 및 A.Moe에 의한 "View matching with blob features", tech. rep., Department of Electrical Engineering, Linkoeping University에서 설명되어 있다.

본 발명에서 사용될 수 있는 또 다른 정합 방법은 정규 분포로 히스토그램을 모델링하고 나서, 정합 특징으로서 모델의 파라미터를 사용하는 것이다. 이것은 데이터의 양을 상당히 감소시킬 것이다.

예측값 최대화(EM) 알고리즘과 같은 분포 조정 알고리즘은 정규 분포 집합에 의하여 미지의 분포를 모델링한다. EM 알고리즘은 소정 수의 정규 분포들(등급) 및 이 등급의 초기 파라미터 추정에서 시작한다. 그 후, 2개의 단계가 중단 기준이 충족될 때까지 반복된다. 상기 단계들은 현재의 파라미터에 의한 예측 단계(E 단계) 및 이후의 새로운 파라미터를 찾기 위한 최대화 단계(M 단계)이다. EM 알고리즘은 유용한 결과를 얻기 위해 수렴되지 않아도 되지만, 모델은 반복마다 보다 양호한 결과를 얻는다. 이것은 실시간으로 적용될 수 있는 고속 방법이 필요하기 때문에, 이 논제에서 유용하다. EM 알고리즘은 이하에, 그리고 "Image Modeling and Estimation, a Statistical Approach"Lund University, 2005, ch.2.3.3 The EM-algorithm for unkonwn distributions에서 더 상세히 설명되어 있다.

물체의 세그먼팅된 영상에서의 흑색 배경으로 인해, Y=0 및 Cb, Cr=0에서의 스파이크(spike)가 검사자의 모든 히스토그램에서 존재한다. 이러한 스파이크는 EM 알고리즘을 방해하고 물체에 대해 정보를 포함하지 않으므로, 제거된다. 모든 히스토그램은 또한 블랍 이외에 근원적인 분포를 갖는다. 그러므로, 직사각형 분포가 모델에 추가된다. 이 때문에, EM 알고리즘의 조정이 행해졌다. 상기 알고리즘은 또한 히스토그램을 다루기 위해서 조정되었다.

직사각형 분포의 상대 주파수 뿐만 아니라 최적의 수의 등급은 수동으로 결정되거나 분포를 모델링할 때 임의의 종류의 공지된 자동적인 방법에 의하여 계산될 수 있다. 다른 수의 등급, 즉 다른 수의 정규 분포를 사용하여 모델링된 히스토그램이 도11a 내지 11c에 도시되어 있다. 이러한 도면 각각은 2개의 영상으로 구성되는데; 명세서의 이하에서 더 제공되는 αρ좌표에서 히스토그램은 좌측 영상으로 도시되고 정규 분포로 모델링된 히스토그램은 우측 영상으로 도시된다. 변수 α는 수직축 상에 제공된다. 도 11a에서 K=2인데, 여기서 상기 K는 모델링된 히스토그램에서 사용된 정규 분포의 수이며, 도11b에서, K=3 이며, 도11c에서, K=4이다. 알고리즘은 또한 모든 히스토그램에 대하여, 초기 파라미터 추정에 따라, 다른 모델 쌍 에 대하여 반복된다. 대부분의 히스토그램은 하나 이상, 종종 2개의 가능한 정규 분포 모델을 갖는다. 이러한 모델 중 어느 것을 사용할지는 수동으로 또는 임의의 종류의 자동적인 방법에 의하여 선택될 수 있다.

초기 파라미터 추정치를 획득하기 위해서, K-수단 알고리즘의 반복이 사용된다. K-수단 알고리즘은 J.B.Mac Queen에 의한 "Some methods for classification and analysis of multivariate observations" in the 5th Berkely Symposium on Mathematical Statistics and probability, 1967, p.281 -297에 설명되어 있다. K-수단 알고리즘은 히스토그램 내의 모든 등급에 대하여 하나의 클러스터 중심을 랜덤으로 위치시키고 나서, 빈이 자신의 가장 가까운 클러스터 중심으로 클러스터링(clusterined)된다. 최종적으로, 초기 파라미터는 다른 클러스터에 대해서 계산된다.

직사각형 분포를 갖는 히스토그램에 대하여 조정된 EM 알고리즘이 아래에 설명된다. 상기 알고리즘에서, h_j는 히스토그램의 빈의 높이이고 2차원

는 빈(Y 및 Cb 또는 Cr)에 대응하는 좌표이며; j=1,....,H이고, 여기서 H는 비어 있지 않은 빈의 수이며; k=0,...,K는 등급 수이며, 여기서 K는 정규 분포의 수이고 k=0은 직사각형 분포를 나타내며;

는 분포 파라미터이고, 여기서

는 예측값이며

는 분포의 관측(

)의 공분산 매트릭스이며; π_k는 상대 주파수를 나타내고

이다.

K-수단 알고리즘의 한 단계가 실행되고 모든 빈들이 분류된다. 초기 상대 주파수 추정치(π_k ⁰)는 균일한 초기 상대 주파수를 가정하고 k=1,....,K 및 π₀=C에 대하여 조건

을 가질 때,

로 제공된다. C는 수동으로 선택된 상수이다.

초기 예측값(

)은 k=1,..., K에 대하여, 다른 등급들을 나타내는

로 제공된다. j∈k는 등급(k)으로 분류되었던 빈(j)을 나타낸다.

분포가 다른 차원에서 상관되지 않고, 즉 초기 공분산 매트릭스(Σ_k ⁰)가 공분산을 갖지 않고, 분산이 모든 등급에 대하여 동일하다고 가정하면, Σ_k ⁰=Σ이며, 여기서

이고, k=1,...K에 대하여

이다.

는 이차원 변수

이며, 여기서 u_j ¹은 Y 부분이고 u_j ²는 Cb 또는 Cr 부분이다.

EM 알고리즘은 소속된 빈 h={h₁,...,h_H}을 갖는 데이터(

)를 사용하여 Ψ={π,Θ}를 추정한다. 변수(

)는 각각의

에 대한 모델 선택으로 완성된

의 버전이다.

를 관측된 데이터(

)에 대한 가능도라고 하고,

를

에 대한 가능도라고 하면,

이다.

초기 파라미터가 Ψ⁰를 추정한다면, 다음 단계가 반복된다.

E-단계:

를 평가하는 단계로서,

여기서

이고,

Bayes의 식을 사용하면 k=1,...,K에 대해

를 얻고 직사각형 분포에 대한 특정 경우에 대해(k=0),

를 얻으며, 여기서 2개의 이전 식들 둘 모두에서, j=1,...,H이고 t는 반복 수이다. ω_i=k는 빈 수(j)가 등급 수(k)로 분류되었다는 것을 의미한다.

k=1,...,K이고 j=1,...,H에 대하여

인 정규 분포를 갖는다는 것을 상기하자. d=2는 차원(Y 및 Cb 또는 Cr)의 수이다.

는 대략 1/256²으로 설정된다. 이것은 1/A이어야 하며, 여기서 A는 컬러 평면의 영역이다. 이 근사화는 결과에 영향을 미치지 않지만, 상기 표현은 이의 통계적 의미를 잃는다.

M-단계: k=1,..,k에 대하여

, k=1,..,k에 대하여,

, k=1,..,k에 대하여

(여기서 n은 히스토그램에서의 픽셀의 수임)가 제공되면, 제한된 최적화를 위한 Lagranges 승산 방법으로

의 조건 하에서 Q(Ψ,Ψ^(t))를 최대화하는 Ψ = Ψ^(t+1)을 찾는 단계.

히스토그램에서 잡음을 모델링하여 상기 잡음이 히스토그램에서의 관심이 있는 정보로부터 제거될 수 있도록 하기 위하여 본 발명에서 직사각형 분포가 사용될 수 있다. 히스토그램을 모델링할 때, 전형적으로 2 또는 5개 사이의 분포가 종종 적합하다. 그러나, 더 적거나 더 많은 분포가 또한 사용될 수 있다. 히스토그램을 모델링할 때 사용되는 분포의 수는 또한 등급이라 칭해질 수 있는데, 여기서 등급 K=2는 2개의 분포가 사용되었다는 것을 의미한다. 모델에 직사각형 분포를 추가할 때, 더 적은 등급이 필요하지만, 모델의 히스토그램과의 유사성은 감소된다. 이것은 검사자의 YCb에서 히스토그램 및 직사각형 분포의 다른 상대 주파수(π₀)를 갖는 히스토그램의 대응하는 정규 분포를 나타내는 도12에 도시될 수 있다. 히스토그램은 상부 좌측 코너에 제공된다. 직사각형 분포의 다른 상대 주파수(π₀)를 갖는 히스토그램의 대응하는 정규 분포 모델은 도면에서 좌측에서 우측으로 상부에서 하부로 π₀를 증가시키면서 도시될 수 있다. 여기서, 0<=π₀<=0.35이다. 128의 오프셋이 Cb에 추가된다.

다른 파라미터(직사각형 분포의 상대적인 크기)가 수동적으로 또는 자동적으로 조정되어야 하기 때문에, 문제가 또한 더 복잡해진다. 그러므로, 직사각형 분포는 본 명세서에서 더 사용되지 않고, 이의 상대 주파수는 상기 알고리즘에서 0(π₀=0)으로 설정된다. 그러나, 직사각형 분포는 본 발명의 또 다른 실시예로서 사용될 수 있다.

메트릭(Metric)

본 섹션은 다른 비디오 시퀀스에서의 물체들 사이의 유사성을 측정하는 메트릭의 전개를 다룬다. 제1 부는 어떤 변수가 사용되는지에 관한 논의를 포함하고 제2부에서는 메트릭 함수가 전개된다.

메트릭 변수

파라미터(등급(k=1,...,K)에 대한

, Σ_k및 π_k)는 메트릭을 생성하는데 사용될 수 있지만, 이러한 파라미터들을 직접 비교함으로써 양호한 결과를 획득하기가 어려운 여러 이유가 존재한다. 다른 장면에서 가변하는 광의 세기 및 컬러로 인해, 블랍의 위치가 히스토그램에서 변화할 것이다. 이것은 정규 분포 예측값(

)이 메트릭 함수로의 직접적인 입력으로 다루는 것을 어렵도록 한다. 정규 분포의 상대 주파수(π_k) 및 공분산 매트릭스(Σ_k)는 장면에서의 광 및 분포 조정 알고리즘이 히스토그램의 모델을 구성하는 방법 둘 모두에 의존한다. 이들은 정규 분포의 차원을 기술한다. 더욱이, 블랍은 좌표축 방향을 따라 신장되는 것이 아니라, 도8에 도시된 선을 따라 신장된다. 분산 및 공분산이 Y, Cb 및 Cr 축을 따라 측정되기 때문에, 블랍이 조금 회전되는 경우에, 상기 분산 및 공분산은 많이 변화한다. 그러므로, 공분산 매트릭은 서로 비교하기가 어렵다. 따라서, Σ_k 및 π_k 둘 모두는 인식에서 불안정한 특성이다.

블랍 확장을 따른 축을 갖는 좌표계가 대신 사용되는 경우, 공분산 매트릭은 인식 특징으로서 분석하고 사용하기가 보다 용이할 것이다. 그러므로, 좌표계는 YCb 또는 YCr로부터 도13에 도시된 좌표(? 및 a)를 갖는 좌표계로 변환되고

에 의해 규정되며, 여기서 C는 Cb 또는 Cr을 나타내고 ρ는 각도로 제공된다. 새로운 좌표계에서, 조명에서의 세기 변화는 대략 ρ방향에서의 블랍 의 변화를 발생시키고, 광의 컬러에서의 변화는 대략적으로 α방향에서의 위치 변화를 발생시킨다. 이러한 정보는 모델들을 비교할 때 사용될 수 있다. 원점은 유용하게는, Y=0 및 C=0 대신에 Y=256 및 C=0에 위치될 수 있다. 그렇지 않으면 α는 도8에 도시된 선의 방향을 기술하지 않는다. 그러나, 이것은 매우 밝은 물체가 어두운 장면에서 캡처되는 경우에만 발생하는데, 이 경우는 물체가 사람일 때는 가능성이 없다. 그러므로, 대부분의 경우에, 근사화가 행해질 수 있고 원점은 Y=0 및 C=0에 위치될 수 있다.

도14는 도면 좌측에 YCb에서의 히스토그램 및 도면 우측에 좌표축으로서 α 및 ?를 갖는 새로운 좌표계에서의 동일한 히스토그램을 도시하며, 여기서 α는 수직축 상에 제공되고 ?는 수평축 상에 제공된다. 128의 오프셋이 Cb에 추가된다.

모델에 영향을 주는 적어도 3개의 유형의 변화가 다른 비디오 시퀀스 사이에서 나타날 수 있다:

·ρ 및 α 방향에서의 블랍의 전체 클러스터의 변환

·블랍의 전체 클러스터의 회전

·서로 상대적인 블랍의 내부 변환

그 후, 장면 및 환경과 관련된 관한 변화들은 물체와 관련된 변화들로부터 분리된다. 그 후, 상기 변화들은 물체의 인식에서 자신들의 중요도와 관련된 메트릭 함수에서의 다른 가중치를 제공받을 수 있다.

전체 클러스터의 변환을 측정하기 위해서,

에 의해 규정되는 히스토그램에서의 상기 무게 중심(또는 무게 중심)(ρ_CW 및 α_CW)이 사용되며, 여기서 H는 비어있지 않은 히스토그램에서의 빈의 수이고 h_j는 빈 수(j)의 높이이다.

무게 중심은 또한 YCr 또는 YCb 평면에서 또는 YCbCr 공간에서 직접 계산될 수 있다.

클러스터의 회전을 추정하기 위하여, 지배적 방향, 즉 클러스터의 중심축이 도출된다. 이러한 중심축을 도출하는 하나의 방법은 주성분 분석(Principal Component Analysis: PCA) 알고리즘이다. 그러나, 이 용도를 위한 여러 다른 알고리즘이 존재한다. PCA는 "Image Modelling and Estimation, a Statistical Approach", Lund University, 2005, ch.2.2.4 Data reduction에 설명되어 있다. 본 발명의 실시예에서, 상기 알고리즘은 히스토그램의 모든 샘플이 가중치를 갖는다고 고려할 수 있다. 가중된 PCA 알고리즘은 이와 같은 알고리즘의 일례이다. 가중된 PCA가 이하에 설명된다.

알고리즘에서, h_j는 가중치로서 사용되는 히스토그램의 빈의 높이이다. 2차원(

) 는 빈의 2개의 좌표이며,

이다. j=1,...,H이고, 여기서 H는 비어있지 않은 빈의 수이다.

데이터(

)의 주성분은 소속된 가중치(h_j)(j=1,...,H)와 함께, 공분산 매트릭스(Σ)를 대각선화하는 것을 통하여 발견된다.

Σ=PΛP^T

이고,

여기서, Σ_j=1 ^H는 히스토그램에서의 픽셀의 수이다. Λ는 내림차순의 고유값(λ₁≥λ₂)을 갖는 대각선 매트릭스가다. P는 열(

)이 λ₁에 속하는 고유벡터인 직교 매트릭스이다. 기준 방향으로 사용되는 제1 주방향은 최대 고유값에 대응하는 P 내의 고유벡터이다. 명백한 결과를 보장하기 위해서,

및

의 부호는 필요하다면, 음의 ρ-방향에서의

지점 및 양의 α-방향에서의

지점을 만들도록 변화된다.

서로 상대적인 블랍의 내부 이동을 측정하기 위해서, 새로운 내부 클러스터 좌표계가 사용된다. 상기 좌표계는 도15에 도시되어 있다. 기준 방향은 양의 α-방향에서 시작하여 반시계방향으로 증가하는 기준 각도(φ)로 변환된다. 원점은 클러스터의 무게 중심(cw)에 위치되고 사용된 축은 상술된 알고리즘으로부터 획득된 2개의 주방향(

및

), 즉 내부 클러스터 좌표축이다. 새로운 좌표로의 변환은 [p1 p2] = [α-α_cw ρ-ρ_cw]ㆍP에 의해 규정되며, 여기서 p1 및 p2는 새로운 좌표이고, α 및 ρ는 오래된 좌표이며, α_cw 및 ρ_cw는 클러스터의 질량 중심에 대한 α 및 ρ 좌표이다. P는 각각 열로서 제1 및 제2주방향을 갖는 2×2 매트릭스이다. P의 디터미넌트(determinant)는 하나이기 때문에, 이 변환으로 인해 스케일에서의 변화가 고려되어서는 안된다.

메트릭 함수에서 최종적으로 사용된 변수들은 전체 클러스터의 무게 중심, 전체 클러스터의 기준 각도(φ), 다른 등급의 상대 주파수(π_k), 및 내부 클러스터 좌표계에서의 정규 분포의 위치(p1_k 및 p2_k)이며, 여기서 다시 k=1,..,K 는 등급 수이고 K는 현재 모델에서 등급의 총 수이다.

메트릭 함수

메트릭 함수에서의 변수는 인식에서 반드시 동등하게 중요하지 않기 때문에, 2개의 비교되는 물체 사이의 결과적인 유사성의 정도에 대한 상기 변수의 영향은 상기 변수의 중요도에 따라 가중될 수 있다. 그러므로, 총 함수는 가중된 서브 함수의 합으로서 구성된다. 서브 함수는 실시예에 따르면, 2개의 비교된 모델에서의 변수들 사이의 편차의 2차 함수로서 구성된다. 적은 편차보다 비례적으로 큰 편차를 처치하기 위해서 2차 서브 함수가 선형 함수 대신 사용된다. 서브 함수는 0부터 1로 진행하는데, 여기서 최대 편차는 현재 변수의 비교된 모델값 사이에서 0이고 1은 전혀 편차가 없는 것에 대응한다. 변수에 속하는 가중치가 최종적으로 서브 함수에 추가된다. 전체 클러스터라기보다는 오히려, 개별적인 블랍에 연결되는 변수 를 취급하는 서브 함수가 또한 최소 수의 블랍을 갖는 모델에서 블랍의 수에 의해 분리된다. 이것은 전체 함수가 0 및 1 사이에서 신장되도록 하는 방식으로 행해지며, 2개의 동일한 모델이 비교되는 경우, 후자의 결과가 수용된다.

이하의 식(1.1)에서, 일반적인 변수(x)의 서브 함수 f(x₁, x₂)의 구성을 볼 수 있다. x₁은 모델 1에서의 변수의 값이고 x₂는 모델 2에서의 변수의 값이며, 여기서 모델 1은 정규 분포의 가장 높은 수를 갖는 모델이고(K₁은 모델 1에서의 정규 분포의 수이다) 모델 2는 정규 분포의 가장 낮은 수를 갖는 모델이며(K₂는 모델 2에서의 정규 분포의 수이다),

(1.1)

여기서, 0≤W_x≤1이고 Σ_x∈∪W_x= 1이며, U={ρ_cw, α_cw, φ, π, p1, p2}는 메트릭에서 사용된 모든 변수로서 구성된 집합이다. △x=｜x₁-x₂｜이고 △x^max는 현재 변수에 대한 최대 가능 편차이며, △ρ_cw ^max=256, △α_cw ^max=90, △φ^max=180, △π^max=1, △p1^max=271, △p2^max=271이다.

2개의 모델에서 블랍을 서로 정합시킬 때, 블랍의 가장 양호한 조정 쌍이 먼저 정합된다. 그 후, 남은 블랍의 가장 양호한 조정 쌍이 정합되며, 최소 수의 블랍을 갖는 모델에서의 모든 블랍이 다른 모델에서의 블랍과 정합될 때까지 이런 방 식으로 지속된다. 블럽(h(k₁, k₂))을 정합시키는데 사용된 함수는

(1.2)에 의해 규정되며,

여기서 f는 식 (1.1)에 의해 규정되고, T = {π, p1, p2}는 블랍의 클러스터가 아니라, 개별적인 블랍에 연결된 메트릭에서의 모든 변수의 집합이다. 이러한 변수들이 모델의 모든 정규 분포에 대하여 하나의 값, 즉, 모델 1에서의 π_k1, p1_k1, p2_k1, 및 모델 2에서의 π_k2, p1_k2, p2_k2을 갖는다는 것을 관측하고, 여기서 1≤k1≤K₁ 이고 1≤k2≤K₂이다. 이 함수는 모델 1 및 모델 2에서의 한 쌍의 정규 분포 사이에 유사성 값을 제공하지만, 상기 2개의 모델에서의 등급의 모든 가능한 정합 조합은 가장 양호한 정합이 결정되기 전에 검사되어야만 한다. 전체 메트릭 함수에서, 가장 양호한 정합만이 사용된다.

2개의 비교된 모델에서의 다른 수의 블랍들이 존재하는 경우, 패널티 함수 (p(K₁, K₂, π_k1))가

(1.3)에 의해 규정된 총 메트릭 함수에서 이것을 처치하며, 여기서 F≤1이다. p가 없다면, 상기 함수는 0과 1 사이에서 신장된다. f(x₁, x₂)는 식(1.1)에서와 같이 구성된다. R = {ρ_cw, α_cw, φ}는 개별적인 블랍이 아니라, 전체 클러스터에 연결된 모든 변수의 집합이다. p(K₁, K₂, π_k1)는 이하의 식(1.2)에 의해 규정되며,

(1.4)

여기서 K₁은 모델 1에서의 정규 분포의 수이고 K₂는 모델 2에서의 정규 분포의 수이며 K₁ ≥ K₂이고 △K= K₁- K₂ 이다. π_k1은 1≤k₁≤K₁인 모델 1에서의 등급 k₁에 대한 상대 주파수이다. V는 모델 2에서 블랍 중 어느 하나에 정합되지 않는 모델 1 내의 모든 블랍으로 이루어진 집합이다. p의 구성은 동일한 사람이 2개의 다른 스퀀스에서 뷰잉되었음에도 불구하고, 2개의 다른 스퀀스에서 다른 수의 블랍을 얻을 가능도에 관한 실제 검사 및 분석의 결과이다. 시퀀스에서의 블랍의 수가 하나와 같이 적은 양만큼 상이하고 블랍들의 나머지가 서로 양호하게 정합하는 경우, 예를 들어, 사람이 장면 중 하나에서만 뷰잉되는 정면 상에서 큰 부호를 갖는 스웨터를 입는 경우, 메트릭 함수는 높은 유사성 값을 제공해야 한다. 그러나, 블랍의 수가 하나 이상만큼 상이한 경우, 2개의 시퀀스에서 동일한 사람을 가질 가능도는 작다. 이 때문에, p는 2의 제곱으로 △K에 비례한다. 시퀀스 사이에서 블랍이 사라질 확률은 동일한 사람이 뷰잉됨에도 불구하고, 큰 블랍보다 작은 블랍에 대해서 더 높다. 이것은 단지 몇 개의 블랍으로 구성된 사람과 비교되는 많은 블랍으로 구성된 사람에 대해서도 그러하다. 그러므로, p는 정합되지 않은 블랍(π_k1)의 상대 주파수에 비례하고, 모델 1에서의 블랍의 수(K₁)에 반비례한다. 최종적으로, 상기 식은 적절한 값을 획득하기 위해서 변수(Z=10)에 의해 분리된다. H(k₁, k₂)는

(1.5)에 의해 규정되고,

여기서 h(k₁, k₂)는 식(1.2)에 의해 규정되고 S는 2개의 모델에서의 블랍들 사이에 발견되는 최선의 정합의 집합이다.

식(1.3)은 본 명세서의 검사 및 검증 부분에서 비교되는 물체들 사이에서 유사성을 측정하는데 사용되는 메트릭 함수이며, 매트랩(matlab)에 의해 구현되었다.

검증

본 장은 비디오 시퀀스에서의 물체의 특성을 식별하는 제안된 방법 및 비디오 감시 시스템에서의 물체를 추적하는 제안된 방법의 트레이닝 및 검사를 다룬다. 제1 섹션은 메트릭의 가중치가 결정되는 트레이닝 파트이다. 검사 및 결과는 기 후에 제2부에서 제공된다.

트레이닝

메트릭 함수에서 사용되는 가중치(W={W_pcw, W_αcw, W_φ, W_π, W_p1, W_p2})를 결정하기 위하여, 트레이닝 데이터 집합이 사용되었다. 이 집합은 유사한 조명 조건을 갖는 2개의 다른 장면(1 및 2)으로부터의 6개의 비디오 시퀀스(L₁, L₂, M₁, M₂, N₁ 및 N₂), 즉, 각 장면으로부터의 3개의 시퀀스로 구성된다. 이러한 비디오 시퀀스 각각은 현재 장면에서 앞뒤로 걷는 검사자를 캡처하였다. 3명의 검사자(L, M 및 N)는 각 장면으로부터 각각 하나씩 2개의 시퀀스를 생성하는데 사용되었다. 카메라 위치 및 화각은 2개의 장면에서 동일하지 않았고, 물체 및 뷰잉되는 물체의 부분까지의 거리는 시퀀스 내의 변화되었다. 비디오 시퀀스(L₁)로부터의 영상은 도16a에서 뷰잉될 수 있고 L₂로부터의 영상은 도16b에서 뷰잉될 수 있다.

히스토그램 및 정규 분포 모델은 제안된 방법에 의해, 각 트레이닝 시퀀스에 대해 생성되었다. 검사 시퀀스에 대하여, 다음의 분포 수:K=3인 L₁, K=3인 L₂, K=3인 M₁, K=3인 M₂, K=5인 N₁, K=5인 N₂가 모델에서 사용되었다: 여기서 K는 사용된 정규 분포의 수이다. 도17a 및 17b에서, 각 도면에서 좌측부터 우측으로의 순서로 도시된 3개의 도면: YCb에서의 히스토그램; ?-a에서의 히스토그램; L₁ 및 L₂에 대한 ?-a에서의 히스토그램의 모델이 있다. 도17a는 L₁에 대한 히스토그램 및 모델을 도시하고 도17b는 L₂에 대한 히스토그램 및 모델을 도시한다.

모든 6개의 시퀀스는 제안된 메트릭을 사용하여, 모든 가능한 조합에서 서로 비교되었다. 메트릭 함수의 희망하는 출력은 동일한 사람을 포함하는 2개의 시퀀스를 비교할 때 높은 유사성 값이고, 다른 사람을 포함하는 2개의 시퀀스를 비교할 때 낮은 유사성 값이다. 이러한 결과는 가중치(

)가 가변될 때 가변되며, 가중치의 최적 조합으로서, 동일한 사람을 포함하는 시퀀스 사이의 가장 낮은 유사성 값 및 다른 사람을 포함하는 가장 높은 유사성 값 사이의 차이를 최대화하는 것이 선택되었다. 최적 가중치를 찾기 위해, 간단한 포-루프(for-loop)가 예를 들어, 매트랩에서 사용되어

의 모든 가능한 조합을 루프 쓰루(oop through)한다. 0.04의 증 분이 제한 조건(0≤W_x∈U≤1 및 Σ_x∈U=1) 하에서 사용되었고, 여기서 U={ρ_cw, α_cw, φ, π, p1, p2}이다. 최적 가중치(W_opt)는 이 논제의 검사 부분에서 나중에 사용되었다. 2차원의 데이터를 다루기 때문에, 이 최적화는 YCb 평면에서 한번 행해지고 YCr 평면에서 한번 행해져야 하므로, 이하에서 볼 수 있는

및

를 발생시키며,

여기서

이고 C는 Cb 또는 Cr이다.

장면 1 및 2에서 비교되는 트레이닝자(L, M 및 N)의 모든 가능한 조합에 대한 유사성 값을 나타내는 유사 매트릭스(S _Cb 및 S _Cr)가 다음의 방식으로 제공되며,

여기서 C는 Cb 또는 Cr이다.

및

를 사용하여,

가 산출된다.

Cb에서 동일한 사람 사이의 가장 낮은 유사성 값은 0.9990이고 Cb에서 다른 사람 사이의 가장 높은 유사성 값은 0.9792이어서, 0.0198의 차이를 제공한다. Cr에 대한 동일한 값은 0.9996 및 0.9805이어서, 0.0191의 차이를 제공한다.

검사

제안된 인식 방법을 검사하기 위하여, 트레이닝 절차와 유사한 절차가 수행된다. 8개의 비디오 시퀀스(E₁, E₂, F₁, F₂, G₁, G₂, H₁ 및 H₂)의 검사 집합이 트레이닝 집합에서와 같이 동일한 2개의 장면(1 및 2)으로부터 캡처된다. 4명의 검사자(E, F, G 및 H)가 각 장면으로부터 각각 하나씩 2개의 시퀀스를 생성하는데 사용되었다. 카메라 위치, 화각, 물체 및 뷰잉되는 물체의 부분까지의 거리에 관한 조 건은 트레이닝 시퀀스에서와 동일하였다. 비디오 시퀀스(E₁ 및 E₂)로부터의 영상이 도18a 및 18b에 도시되어 있다.

트레이닝 절차에서와 같이, 히스토그램 및 히스토그램의 정규 분포 모델이 각각의 검사 시퀀스에 대해 생성되었다. 이 트레이닝 절차에서, 다음의 분포 수: K=2인 E₁, K=2인 E₂, K=3인 F₁, K=3인 F₂, K=3인 G₁, K=3인 G₂, K=3인 H₁, K=3인 H₂가 모델에 사용되었고, 여기서 K는 사용된 정규 분포의 수이다. 시퀀스의 히스토그램 및 비디오 시퀀스(E₁ 및 E₂)에 대한 대응하는 모델이 도 19a 및 19b에 제공되어 있다; 각 도면은 좌측에서부터 우측으로 YCb에서의 히스토그램; ?-a에서의 히스토그램; ?-a에서의 모델을 도시하는 3개의 영상으로 구성된다.

모든 8개의 시퀀스는 트레이닝으로부터의 가중치 및 유사성 함수를 사용하여 모든 가능한 조합에서 서로 비교되었다. 장면 1 및 2에서 비교되는 검사자(E, F, G 및 H) 사이의 유사성 값은 다음 식으로 2개의 유사성 매트릭스에서 제공되며,

여기서 C는 각각

를 산출하는 Cb 또는 Cr이다.

Cb에서 동일한 사람 사이의 가장 낮은 유사성 값은 0.9971이고 Cb에서 다른 사람 사이의 가장 높은 유사성 값은 0.9942이어서, 0.0029의 차이를 제공한다. Cr에 대한 동일한 값은 0.9982 및 0.9986이어서 -0.0004의 차이를 제공한다.

Cb 및 Cr에서의 정보를 동시에 사용하는 간단한 방식은 S ^Cb 및 S ^Cr을 유사 매 트릭스에 추가하여

를 획득하는 것이다.

이 매트릭스에서 동일한 사람 사이의 가장 낮은 유사성 값은 0.9976이고 Cb에서 다른 사람 사이의 가장 높은 유사성 값은 0.9963이어서, 0.0013의 차이를 제공한다.

도면 및 명세서에서, 본 발명의 바람직한 실시예 및 예가 개시되었고, 특정 항목이 사용되었을지라도, 상기 특정 항목은 일반적이고 설명적인 의미로만 사용되며 본 발명을 제한하고자 하는 것이 아니며, 본 발명의 범위는 다음의 청구항에서 설명된다.

Claims

비디오 감시 카메라에 의해 캡처된 비디오 시퀀스에서 물체의 특성을 식별하는 비디오 감시 시스템에서의 방법에 있어서:

비디오 시퀀스에서 특정 물체를 식별하는 단계(302);

상기 비디오 시퀀스에서 식별되는 상기 특정 물체의 컬러 및 세기 정보를 기반으로 하여, 적어도 2차원의 컬러 공간에서 컬러 히스토그램을 생성하는 단계로서, 상기 컬러 및 세기 정보는 상기 비디오 시퀀스의 복수의 영상으로부터 발생하는, 컬러 히스토그램 생성 단계(306); 및

상기 생성된 컬러 히스토그램을 기반으로 하여 상기 물체의 특성을 식별하는 단계(308, 310, 312, 314)를 포함하는 비디오 감시 시스템에서의 방법.
제1항에 있어서,

상기 생성된 컬러 히스토그램를 기반으로 하여 상기 물체의 특성을 식별하는 단계는:

정규 분포와 같은 다수의 분포로 상기 컬러 히스토그램을 모델링하는 단계(308); 및

상기 생성되고 모델링된 컬러 히스토그램을 기반으로 하여 상기 물체의 특성을 식별하는 단계(310, 312, 314)를 포함하는 것을 특징으로 하는 비디오 감시 시스템에서의 방법.
제2항에 있어서,

상기 생성되고 모델링된 컬러 히스토그램을 기반으로 하여 상기 물체의 특성을 식별하는 단계는:

상기 물체의 특성을 식별하기 위해 분포의 수의 파라미터를 계산하는 단계(312); 및

상기 계산된 파라미터를 기반으로 하여 상기 물체의 특성을 계산하는 단계(314)를 더 포함하는 것을 특징으로 하는 비디오 감시 시스템에서의 방법.
제2항 또는 제3항에 있어서,

상기 컬러 히스토그램은 예측값 최대화 알고리즘과 같은 분포 조정 알고리즘을 사용하여 다수의 분포로 모델링되는 것을 특징으로 하는 비디오 감시 시스템에서의 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,

직각 좌표계로부터 극좌표계로 상기 컬러 히스토그램을 변환하는 단계(310)를 더 포함하는 것을 특징으로 하는 비디오 감시 시스템에서의 방법.
제3항 내지 제5항 중 어느 한 항에 있어서,

상기 계산된 파라미터를 기반으로 하여 상기 물체의 특성을 계산하는 단 계(314)는:

상기 물체의 특성과의 각각의 파라미터의 상관성에 따라 상기 분포의 수의 파라미터를 가중시킴으로써 물체의 특성을 계산하는 단계를 포함하는 것을 특징으로 하는 비디오 감시 시스템에서의 방법.
제5항 또는 6항에 있어서,

상기 분포의 파라미터를 계산하는 단계(312)는:

상기 컬러 히스토그램을 상기 극좌표계로부터 제2 직각 좌표계로 변환하는 단계; 및

상기 컬러 히스토그램에서 물체의 무게 중심에 제2직각 좌표계의 원점을 배열하는 단계를 더 포함하는 것을 특징으로 하는 비디오 감시 시스템에서의 방법.
제7항에 있어서,

상기 파라미터를 계산하는 단계(312)는 상기 제2 직각 좌표계에서의 분포의 수의 위치를 계산하는 단계를 더 포함하고, 상기 제2 직각 좌표계에서의 분포의 수의 상기 위치는 상기 물체의 특성을 식별하기 위한 파라미터로서 사용되는 것을 특징으로 하는 비디오 감시 시스템에서의 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,

상기 컬러 히스토그램에서, 물체의 각각의 컬러 부분은 상기 컬러 히스토그 램에서의 어떤 확장을 갖는 블랍에 의해 표현되며, 상기 물체는 이와 같은 블랍의 클러스터로서 기술되는 것을 특징으로 하는 비디오 감시 시스템에서의 방법.
제3항 내지 제9항 중 어느 항에 있어서,

상기 컬러 히스토그램에서, 물체의 각각의 컬러 부분은 상기 컬러 히스토그램에서의 어떤 확장을 갖는 블랍에 의해 표현되며, 상기 물체는 이와 같은 블랍의 클러스터로서 기술되고, 상기 물체의 특성을 식별하는데 사용되는 분포의 수의 상기 파라미터는: 상기 블랍의 클러스터의 무게 중심(ρ_cw, α_cw), 상기 블랍의 클러스터의 기준 각도(φ), 각각의 분포의 상대 주파수(π_k), 상기 좌표계에서의 분포의 위치(ρ1_k, ρ2_k)를 포함하며, 여기서 상기 k=1,2,...,K는 분포 수이고 상기 K는 상기 모델에서의 분포의 총수인 것을 특징으로 하는 비디오 감시 시스템에서의 방법.
제1항 내지 제10항 중 어느 한 항에 있어서,

복수의 영상 각각으로부터 발생하는 컬러 및 세기 정보를 각각의 영상에서 상기 물체가 기술되는 픽셀의 수에 대하여 표준화하는 단계(304)를 더 포함하는 것을 특징으로 하는 비디오 감시 시스템에서의 방법.
제1항 내지 제11항 중 어느 한 항에 있어서,

상기 컬러 공간은 YCbCr, HSV 또는 YUV 컬러 공간과 같이, 세기 정보 및 컬 러 정보가 분리될 수 있는 컬러 공간인 것을 특징으로 하는 비디오 감시 시스템에서의 방법.
제1항 내지 제12항 중 어느 한 항에 있어서,

상기 컬러 히스토그램은 2차원 컬러 평면에서 생성되는 것을 특징으로 하는 비디오 감시 시스템에서의 방법.
제1항 내지 13항 중 어느 한 항에 있어서,

상기 컬러 히스토그램은 상기 비디오 시퀀스의 모든 영상에서의 컬러 및 세기 정보를 기반으로 하여 생성되는 것을 특징으로 하는 비디오 감시 시스템에서의 방법.
제1항 내지 14항 중 어느 한 항에 있어서,

상기 컬러 히스토그램을 기반으로 하여 상기 물체의 특성을 식별하는 단계는:

상기 컬러 히스토그램을 기반으로 하여, 상기 비디오 시퀀스에서 상기 물체를 기술하는 파라미터를 식별하는 단계(308, 310, 312); 및

상기 식별된 파라미터를 기반으로 하여, 상기 물체의 특성을 계산하는 단계(314)를 더 포함하는 것을 특징으로 하는 비디오 감시 시스템에서의 방법.
제15항에 있어서,

상기 비디오 시퀀스에서 상기 물체를 기술하는 파라미터를 식별하는 단계(308, 310, 312)는:

상기 컬러 히스토그램의 무게 중심 및 컬러 히스토그램 분포를 식별하는 단계; 및

상기 식별된 무게 중심 및 상기 식별된 히스토그램 분포를 기반으로 하여 상기 물체의 특성을 식별하는 파라미터를 계산하는 단계를 포함하는 것을 특징으로 하는 비디오 감시 시스템에서의 방법.
제16항에 있어서,

상기 무게 중심은 공분산 매트릭스로서의 확장 및 예측값으로서 식별되는 것을 특징으로 하는 비디오 감시 시스템에서의 방법.
비디오 감시 시스템에서 물체를 추적하는 방법에 있어서:

제1 감시 카메라에 의해 캡처된 제1비디오 시퀀스에서 추적할 물체를 식별하는 단계(402);

제1항 내지 제17항 중 어느 한 항의 방법에 따라 상기 추적할 물체의 특성을 식별하는 단계(404);

제2 비디오 감시 카메라에 의해 캡처된 제2 비디오 시퀀스에서 후보 물체를 식별하는 단계(406);

제1항 내지 제17항 중 어느 한 항의 방법에 따라 상기 후보 물체의 특성을 식별하는 단계(408);

상기 후보 물체의 식별된 특성을 상기 추적할 물체의 식별된 특성과 정합시키는 단계(410); 및

상기 정합 단계를 기반으로 하여, 상기 후보 물체가 상기 추적할 물체와 동일할 가능도를 계산하는 단계를 포함하는 물체 추적 방법.
제18항에 있어서,

상기 정합 단계(410)는:

상기 추적할 물체에 대하여 생성된 블랍의 클러스터 및 상기 후보 물체에 대하여 생성된 블랍의 클러스트 사이의 변환을 검출하는 단계;

상기 추적할 물체에 대하여 생성된 블랍의 클러스터 및 상기 후보 물체에 대하여 생성된 블랍의 클러스터 사이의 회전을 검출하는 단계;

상기 추적할 물체에 대하여 생성된 컬러 히스토그램에서의 블랍 및 상기 후보 물체에 대하여 생성된 컬러 히스토그램에서의 블랍 사이의 내부 변환을 검출하는 단계; 및

상기 검출된 변환, 회전 및 내부 변환을 비교하는 단계를 더 포함하는 것을 특징으로 하는 물체 추적 방법.
제19항에 있어서,

상기 검출된 변환, 회전 및 내부 변환을 비교하는 단계는:

상기 변환, 회전 및 내부 변환을 나타내는 파라미터를 비교함으로써 상기 검출된 변환, 회전 및 내부 변환을 비교하는 단계; 및

상기 후보 물체가 상기 추적할 물체와 동일할 가능도를 계산하기 위해서 비교된 파라미터를 이들의 중요도에 따라 가중시키는 단계를 더 포함하는 것을 특징으로 하는 물체 추적 방법.
제18항 내지 20항 중 어느 한 항에 있어서,

상기 후보 물체가 상기 추적할 물체와 동일할 가능도를 나타내는 신호를 생성하는 단계(414)를 더 포함하는 것을 특징으로 하는 물체 추적 방법.
제18항 내지 21항 중 어느 한 항에 있어서,

상기 추적할 물체의 식별된 특성과 상기 후보 물체의 식별된 특성을 정합시키는 단계(410)는:

상기 추적할 물체의 컬러 히스토그램에서의 블랍의 수와 상기 후보 물체의 컬러 히스토그램에서의 블랍의 수를 비교하는 단계를 더 포함하는 것을 특징으로 하는 물체 추적 방법.
제22항에 있어서,

상기 후보 물체가 상기 추적할 물체와 동일할 가능도를 계산하는 단계(412) 에서, 상기 가능도는 추적할 물체의 컬러 히스토그램에서의 블랍의 수 및 상기 후보 물체의 컬러 히스토그램에서의 블랍의 수 사이의 퍼센티지로서의 차이에 따라 낮아지는 것을 특징으로 하는 물체 추적 방법.
제18항 내지 23항 중 어느 한 항에 있어서,

상기 후보 물체의 식별된 특성을 상기 추적할 물체의 식별된 특성과 정합시키는 단계(410)는;

상기 후보 물체를 기술하는 컬러 히스토그램의 파라미터를 상기 추적할 물체를 기술하는 컬러 히스토그램의 파라미터와 정합시키는 단계를 포함하는 것을 특징으로 하는 물체 추적 방법.
제24항에 있어서,

상기 정합 단계(410)는;

상기 물체의 특성을 식별하는데 있어서 파라미터의 중요도에 따라 상기 후보 물체 및 추적할 물체에 대한 정합된 파라미터 사이의 차이를 가중시키는 단계를 더 포함하는 것을 특징으로 하는 물체 추적 방법.
비디오 감시 시스템에서의 식별 장치(100)에 있어서:

비디오 시퀀스에서의 특정 물체를 식별하는 물체 식별 유닛(102);

상기 비디오 시퀀스에서 식별되는 상기 특정 물체의 컬러 및 세기 정보를 기 반으로 하여 적어도 2차원의 컬러 공간에서 컬러 히스토그램을 생성하는 컬러 히스토그램 생성기로서, 상기 컬러 및 세기 정보는 상기 비디오 시퀀스의 복수의 영상으로부터 발생되는, 컬러 히스토그램 생성기(104); 및

상기 생성된 컬러 히스토그램을 기반으로 하여 상기 물체의 특성을 식별하는 물체 특성 식별기(106)을 포함하는 식별 장치.
제26항에 있어서,

상기 물체 특성 식별기(106)는:

정규 분포와 같은, 다수의 분포로 상기 컬러 히스토그램을 모델링하는 히스토그램 모델러(108)를 더 포함하는 것을 특징으로 하는 식별 장치.
제27항에 있어서,

상기 물체 특성 식별기(106)는;

상기 물체의 특성을 식별하기 위해 분포의 수의 파라미터를 계산하는 파라미터 계산기(112); 및

상기 계산된 파라미터를 기반으로 하여 상기 물체의 특성을 계산하는 물체 특성 계산기(114)를 더 포함하는 것을 특징으로 하는 식별 장치.
제26항 내지 28항 중 어느 한 항에 있어서,

상기 물체 특성 식별기(106)는:

상기 컬러 히스토그램을 직각 좌표계로부터 극좌표계로 변환하는 히스토그램 변환기(110)를 더 포함하는 것을 특징으로 하는 식별 장치.
제28항 또는 제29항에 있어서,

상기 물체 식별 계산기(114)는 상기 물체의 인식에서 각 파라미터의 중요도에 따라 분포의 수의 파라미터를 가중시킴으로써 상기 물체의 특성을 계산하도록 배열되는 것을 특징으로 하는 식별 장치.
제29항 또는 제30항에 있어서,

히스토그램 변환기(110)는 상기 컬러 히스토그램을 상기 극좌표계로부터 제2직각 좌표계로 변환하고, 상기 좌표계의 원점을 상기 컬러 히스토그램 내의 상기 물체의 무게 중심으로 이동시키도록 더 배열되는 것을 특징으로 하는 식별 장치.
제26항 내지 제31항 중 어느 한 항따른 식별 장치를 포함하는 비디오 감시 카메라.
비디오 감시 시스템에 있어서:

공용 통신 네트워크(20)에 접속된 다수의 비디오 감시 카메라(10, 12, 14);

상기 공용 통신 네트워크와 접속된 제26항 내지 31항 중 어느 한 항에 따른 적어도 하나의 식별 장치(100);

비디오 감시 시스템에서 물체를 추적하며, 상기 공용 통신 네트워크에 접속된 추적 장치(200)를 포함하고, 상기 추적 장치는:

제1 비디오 감시 카메라(10)에 의해 캡처된 제1 비디오 시퀀스에서 식별된 추적할 물체의 식별된 특성에 관한 정보 및 제2 비디오 감시 카메라(12)에 의해 캡처된 제 2비디오 시퀀스에서 식별된 후보 물체의 식별된 특성에 관한 정보를 포함하는 정보를 적어도 하나의 식별 장치(100)로부터 수신하는 수신기(202);

상기 후보 물체의 식별된 특성을 상기 추적할 물체의 식별된 특성과 정합시키는 정합 유닛(204); 및

정합 단계를 기반으로 하여 상기 후보 물체가 상기 추적할 물체와 동일할 가능도를 계산하는 계산 유닛을 포함하는 비디오 감시 시스템.
제33항에 있어서,

상기 제1 비디오 감시 카메라(10) 및 상기 제2 비디오 감시 카메라(20)는 동일한 비디오 감시 카메라인 것을 특징으로 하는 비디오 감시 시스템.
제33항에 있어서,

상기 제1 비디오 감시 카메라(10) 및 상기 제2 비디오 감시 카메라(20)는 상기 비디오 감시 시스템에서 상이한 비디오 감시 카메라인 것을 특징으로 하는 비디오 감시 시스템.
제33항 내지 제35항 중 한 항에 있어서, 상기 추적 장치(200)는:

상기 후보 물체가 상기 추적할 물체와 동일할 확률을 나타내는 신호를 생성하는 신호 생성기(208)를 더 포함하는 것을 특징으로 하는 비디오 감시 시스템.
제33항 내지 제36항 중 임의의 항에 있어서,

상기 후보 물체의 상기 식별된 특성에 관한 상기 적어도 하나의 식별 장치(100)로부터 수신된 정보는 상기 후보 물체의 상기 컬러 히스토그램의 파라미터를 포함하고, 상기 추적할 물체의 식별된 특성에 관한 적어도 하나의 식별 장치(100)로부터 수신된 정보는 상기 추적할 물체의 컬러 히스토그램의 파라미터를 포함하며, 상기 정합 유닛(204)은 상기 후보 물체의 상기 컬러 히스토그램의 파라미터를 상기 추적할 물체의 컬러 히스토그램의 파라미터와 정합시키도록 배열되는 것을 특징으로 하는 비디오 감시 시스템.
제33항 내지 제37항 중 어느 한 항에 있어서,

상기 추적 장치(200)는 상기 비디오 감시 시스템의 중심 노드(30)에 위치되고, 상기 공용 통신 네트워크(20)롤 통해서 다수의 비디오 감시 카메라(10)에 연결되는 것을 특징으로 하는 비디오 감시 시스템.
제1항 내지 제17항 중 어느 한 항에 따른 방법을 수행하기 위한 수단을 갖는 비디오 감시 시스템에서의 식별 장치.
비디오 감시 시스템에 있어서:

공용 통신 네트워크(20)에 연결된 다수의 비디오 감시 카메라(10);

제39항에 따른 적어도 하나의 식별 장치;

비디오 감시 시스템에서 물체를 추적하는 비디오 감시 시스템에서의 추적 장치(200)를 포함하고,

상기 추적 장치는:

제1 비디오 감시 카메라(10)에 의해 캡처된 제1 비디오 시퀀스에서 식별된 추적할 물체의 식별된 특성에 관한 정보 및 제2 비디오 감시 카메라(12)에 의해 캡처된 제2 비디오 시퀀스에서 식별된 후보 물체의 식별된 특성에 관한 정보를 포함하는 정보를 적어도 하나의 식별 장치(100)로부터 수신하는 수단;

상기 후보 물체의 식별된 특성을 상기 추적할 물체의 식별된 특성과 정합시키는 수단; 및

상기 정합 단계를 기반으로 하여, 상기 후보 물체가 상기 추적할 물체와 동일할 가능도를 계산하는 수단을 포함하는 비디오 감시 시스템.
컴퓨터 사용 가능한 매체에 저장되고, 컴퓨터가 제1항 내지 제27항의 임의의 항에 따른 단계를 수행하도록 하는 컴퓨터 판독 가능한 프로그램 수단을 포함하는 컴퓨터 프로그램 제품.