KR20070060002A

KR20070060002A - 인물검출장치, 인물검출방법 및 인물검출프로그램

Info

Publication number: KR20070060002A
Application number: KR1020060122482A
Authority: KR
Inventors: 노부오 히가키
Original assignee: 혼다 기켄 고교 가부시키가이샤
Priority date: 2005-12-07
Filing date: 2006-12-05
Publication date: 2007-06-12
Also published as: US7840036B2; EP1796040A3; US20070165931A1; EP1796040A2; KR100859210B1; JP2007156939A; JP4516516B2

Abstract

인물검출장치(1)는 촬상화상으로부터 대상 영역을 이동체의 영역으로서, 그리고 대상 거리를 이동체까지의 거리로서 검출하는 이동체 검출수단(10), 대상거리에 대응하는 헤드영역을 설정하기 위한 헤드영역 설정수단(20), 인물의 헤드영역에 대응하는 소정의 사이즈를 가지는 샘플화상을 기억하기 위한 샘플화상 기억수단(40), 및 소정의 사이즈를 가지도록 변환된 촬상화상내 헤드영역을 샘플화상과 비교함으로써 이동체가 인물인지 아닌지를 판정하기 위한 인물판정수단(30)을 포함한다.

인물검출장치, 헤드영역설정, 이동체검출수단, 대상영역, 대상거리

Description

인물검출장치, 인물검출방법 및 인물검출프로그램{Human being detection apparatus, method of detecting human being, and human being detecting program}

도 1은 본 발명의 실시예에 따르는 인물검출장치의 블록도이다.

도 2는 도 1에 나타내어진 이동체검출수단의 블록도이다.

도 3은 도 1에 나타내어진 헤드영역설정수단의 블록도이다.

도 4는 도 1에 나타내어진 인물판정수단의 블록도이다.

도 5는 본 발명의 실시예에 따르는 인물검출장치의 일반적인 동작의 흐름도이다.

도 6은 도 5에 도시된 이동체(윤곽) 검출과정(전반부)의 흐름도이다.

도 7은 도 5에 도시된 이동체(윤곽) 검출과정(후반부)의 흐름도이다.

도 8은 도 5에 도시된 헤드영역 설정과정의 흐름도이다.

도 9는 도 5에 도시된 인물판정과정의 흐름도이다.

도 10의 (A) 내지 (C)는 샘플화상기억수단에 기억된 샘플 화상의 예를 보인다.

도 11은 거리화상, 엣지화상 및 차분화상에서 콘텐츠의 예를 도시한다.

도 12a 및 도 12b는 거리화상 및 차분화상에서 콘텐츠의 예를 보인다

도 13a 및 도 13b는 표시 일러스트레이션은 각 시차(거리)의 이동량(화소치)을 기초로 대상 거리 화상을 생성하는 과정을 도시한다.

도 14는 대상 거리 화상 TD에서 히스토그램을 도시하는 것으로, 수평 방향의 화소들이 수평 방향의 각 단면을 위해 카운트된다.

도 15a는 평활화 처리 과정 전의 히스토그램이다.

도 15b는 평활화 처리 과정 후의 히스토그램이다.

도 16a 내지 도 16d는 대상 거리 화상 위에서 이동체의 수직 위치를 획득하는 산출 과정을 도시한다.

도 17은 대상 영역에서 대상 거리 화상 위에서 윤곽을 추출하는 예를 도시한다.

도 18은 대상 거리 화상 위에 헤드검색영역을 설정하는 예를 도시한다.

도 19a 및 도 19b는 헤드검색영역내 헤드 영역의 처리 과정을 도시한다.

도 20의 (A) 내지 (G)는 정규화된 화상의 확대 및 축소 처리의 각 단계에서의 콘텐츠를 도시한다.

도 21의 (A) 내지 (E)는 인물이 촬상화상에 위치할 때의 검출 결과를 도시한다.

<도면의 주요부분에 대한 부호의 설명>

1...인물검출장치 10...이동체검출수단

11...거리정보생성수단 12...동작정보생성수단

13...엣지정보생성수단 14...대상거리설정수단

15...대상거리화상생성수단 16...대상영역설정수단

16a...히스토그램생성수단 16b...수평범위설정수단

16c...수직범위설정수단 17...윤곽추출수단

20...헤드영역설정수단 21...헤드검색영역설정수단

22...히스토그램생성수단 23...수직범위설정수단

24...수평범위설정수단 30...인물판정수단

31...헤드엣지화상생성수단 32...사이즈 정규화수단

33...보완수단 34...화상시프트수단

34a...상하시프트수단 34b...좌우시프트수단

35...유사도판정수단 35a...산출수단

35b...판정수단 40...샘플화상기억수단

본 발명은 인물검출 장치, 인물을 검출하는 방법 및 인물검출 프로그램에 관한 것으로, 특히 카메라에 의해 촬상된 촬상화상으로부터의 인물을 검출하는 인물검출장치, 카메라에 의해 촬상된 촬상화상으로부터의 인물을 검출하는 인물검출방법, 및 카메라에 의해 촬상된 촬상화상으로부터의 인물을 검출하는 인물검출프로그램에 관한 것이다.

CCD 카메라와 같은 카메라에 의해 촬상된 촬상 화상에서 인물을 검출하는 방 법으로서, 배경 삭감 방법은 알려져 있으며, 여기서 촬상화상(프레임 화상)이 순차적으로 입력될 때마다 인물으로서 전경(포어그라운드)의 이동체의 영역을 검출하기 위해 차이를 얻음으로써 차분 화상이 배경이 제거된 채 생성된다. 일본 공개특허공보 제 2005-128815는 패러그래프 0037~0048 및 도 1 및 도 2에 이 기술을 개시하고 있다.

일본 공개특허공보 제2005-128815호는 다음을 개시하고 있다:

포어그라운드의 영역이 인물 이외의 물체일 가능성을 고려하여, 그 영역이 인물을 표시하고 있는 영역인지에 대한 판정은 영역의 종횡비, 면적비, 또는 그와 유사한 물리적 특성량을 이전에 기억된 인물의 물리적 특성량과 비교하는 것에 의해 이루어진다. 게다가, 이 종래기술(일본 공개특허공보 제2005-128815호)에서 인물은 또한 패턴 인식에 의해 엣지 패턴을 사용하여 검출된다.

이 종래기술에서, 트래킹의 횟수는 포어그라운드가 물리적 특성량을 이용하여 인물로서 결정된 경우와, 인물이 패턴 인식에 의해 결정된 경우와의 사이에서 달리 설정하게 된다.

추적된 영역이 인물로서 결정될 때, 설정한 트래킹 횟수, 즉 영역은 인물을 표시하고 있는 영역으로서 결정된다. 위에서 설명된 바와 같이, 이 종래기술에서, 촬상화상내 이동체를 인물로서 결정할 때의 정밀도는 물리적 특성량 및 패턴 인식에 따라 양쪽 모두의 판단을 수행하는 것에 의해 개선된다.

게다가, 카메라가 그 자체를 이동하는 경우의 일반 배경 삭감 방법에서, 순차적으로 기입된 각 프레임 화상을 위한 배경의 위치 조절 이후 차이를 획득하는 것에 의해, 이동체(인물)는 검출된다.

상기 종래기술(일본 공개특허공보 제2005-128815호)는 물리적 특성량에 따라 인물을 검출하는 방법이 종횡비, 영역의 면적비 등을 물리적 특성량으로서 사용하기 때문에, 인물의 전체가 촬상된다고 추정한다.

그래서, 예를 들면 인물의 부분이 책상 등에 의해 가려질 수 있는 사무실의 내부와 같은 환경하에의 종래기술에서 인물은 검출될 수 없다.

게다가 패턴 인식에 의해 인물을 검출하는 방법은 이전에 기억된 패턴이 화상의 이동체의 패턴과 실질적으로 같은 사이즈를 가진다라고 추정한다. 그래서 상기 여러 가지 환경 아래의, 인물이 카메라로부터 과도하게 멀리 떨어지는 상황이나 카메라 가까이 있는 상황에서, 인물의 영역이 화상의 소정의 패턴보다 더 작거나 클 때, 인물은 검출될 수 없다.

게다가, 일반 배경 삭감 방법에서, 프레임 화상이 카메라로부터 소정의 간격으로 기입될 때, 비록 배경을 위한 위치 조절이 정확하게 수행될 수 없다고 해도 그 배경삭감은 수행되어 이동체를 더 적은 소수의 프레임 화상으로부터 확실히 검출할 수 있다. 그래서, 비록 물체가 실제로 정지하고 있다고 해도, 물체는 이동체(인물)로서 잘못하여 검출될 수 있다.

본 발명의 목적은 인물검출 장치를 제공하는 것이다.

본 발명의 목적은 인물을 검출하는 방법을 제공하는 것이다.

본 발명의 목적은 인물검출 프로그램을 제공하는 것이다.

본 발명의 제1 형태는 복수 개의 카메라에 의해 촬상된 이동체를 포함하는 복수의 촬상화상에서 인물을 검출하는 인물검출 장치에 있어서, 촬상화상내의 이동체의 대상 영역과 카메라부터 이동체까지 대상 거리를, 촬상화상 내의 시차와 연속하여 입력되는 촬상화상들의 차이를 기초로 하여 이동체 정보로서 검출하는 이동체검출수단; 이동체가 인물이라고 가정할 때, 이동체검출수단에 의해 검출된 대상 영역내 대상 거리에 대응하는 소정의 사이즈를 갖는 것으로 헤드 영역을 설정하는 헤드영역 설정수단; 인물의 헤드 영역에 대응하는 소정의 사이즈를 가지는 샘플 화상을 기억하는 샘플화상 기억수단; 및 촬상화상내 헤드 영역설정수단에 의해 설정된 헤드영역을 소정의 사이즈를 가지는 화상으로 변환하고, 이동체가 인물인지 판정하기 위하여 변환된 헤드영역을 샘플 화상과 비교하는 것에 의해. 이동체가 인물인지를 판정하는 인물판정수단을 포함한다.

이 구성에 따르면, 바람직하게는 인물검출 장치는 연속하여 입력되는 촬상화상 내 차이로부터 이동체의 동작을 검출하기 위해, 복수의 촬상화상에서 시차부터 이동체까지 이동체의 대상 거리를 계산한다. 이것은 이동체의 영역(대상 영역) 및 이동체까지의 거리(대상 거리)를 검출할 수 있다.

게다가, 바람직하게는 인물검출 장치는 이동체가 인물이라는 가정과 함께 헤드 영역을 설정한다. 그 결과, 대상 거리가 알려져 있기 때문에, 헤드 영역의 사이즈는 대상 거리에 대응하는 사이즈를 가지도록 설정될 수 있다.

게다가, 인물검출 장치는 이동체가 인물이라고 판정하기 위하여 헤드 영역을 샘플화상 기억수단에 기억된 샘플화상으로서 소정을 사이즈를 갖도록 변환하고 난 후에, 촬상화상내 헤드영역과 샘플화상 기억수단에 기억된 샘플 화상을 비교할 수 있다. 따라서, 대상 거리에 따라서 변하는 다양한 헤드 영역의 사이즈는 물체의 기준 사이즈를 획득하기 위한 변환 후의 동일한 기준으로 샘플 화상과 비교될 수 있다.

본 발명의 제2 형태는 제1 형태에 기초한 인물검출장치를 제공하며, 샘플 화상이 헤드 영역의 형상을 표시하고 있는 화상이고, 상기 인물판정수단은 헤드영역 설정수단에 의해 설정된 헤드 영역에 대응하는 엣지 화상으로서 헤드엣지화상을 생성하는 헤드엣지화상 생성수단; 상기 헤드엣지화상 생성수단에 의해 생성된 헤드엣지화상을 소정의 사이즈를 가지는 정규화된 화상으로 변환하는 사이즈정규화수단; 상기 사이즈정규화수단에 의해 변환된 정규화된 화상의 갭이 채워진 보완 화상을 생성하는 보완수단; 및 보완 화상 및 샘플 화상 사이의 유사도를 기초로 이동체가 인물이라고 판정하는 유사도판정수단을 포함한다.

이 구성에 따르면, 인물검출 장치에서, 바람직하게는, 헤드엣지화상 생성수단은 헤드 영역에 대응하는 헤드엣지화상을 생성하고, 사이즈정규화수단은 헤드엣지화상을 소정의 사이즈를 가지는 정규화된 화상으로 변환한다. 게다가, 인물검출 장치에서, 바람직하게는, 상기 보완수단은 정규화된 화상의 갭이 채워지는 보완된 화상을 생성한다. 따라서, 인물검출 장치는 헤드 영역의 형상에 관해서 보완된 화상을 샘플 화상과 비교할 수 있다.

게다가, 인물검출 장치에서, 바람직하게는, 유사도판정수단은 보완된 화상 및 샘플 화상 사이에서 유사를 계산하는 것에 의하여, 이동체가 인물인지를 판정한다.

본 발명의 제3 형태는 제1 형태에 기초를 두는 인물검출장치를 제공하는 것으로, 보완된 화상의 기준 위치를 샘플 화상의 소정의 기준 위치로 조정하는 화상시프트수단을 더 포함한다.

이 구성에 따르면, 인물검출 장치에서, 바람직하게는, 화상시프트수단은 보완된 화상을 수직으로 그리고 수평으로 조정하기 위하여, 보완된 화상의 기준 위치를 샘플 화상의 기준 위치로 조정한다. 기준 위치는 예를 들면 화상의 중력점이다. 게다가, 만일 보완된 화상이 수직으로 이동되면, 기준 위치는 헤드의 상단일 수 있다.

본 발명의 제4 형태는 제2 형태에 기초를 두는 인물검출 장치를 제공하는 것으로, 상기 보완수단은 헤드엣지화상 생성수단에 의해 생성된 헤드엣지화상의 영역을 복수회 확대하고 축소하는 것에 의해 각각 헤드엣지화상내 갭을 채운다.

이 구성에 따르면, 인물검출 장치에서, 바람직하게는, 상기 보완수단은 헤드 화상의 영역을 복수 회 확대하는 것에 의해 헤드 영역내 갭을 채운다. 게다가, 헤드 영역은 확대에 의해 실제 헤드 영역의 영역보다 더 크게 되므로, 바람직하게는 축소가 같은 횟수로 수행된다. 결국, 확대된 화상이 완전히 채워지기 때문에, 축소는 어떤 갭도 생성하지 않는다. 따라서, 보완수단은 갭 없이 헤드 영역의 원래의 사이즈를 갖는 화상을 생성할 수 있다.

본 발명의 제5 형태는 제1 형태에 기초한 인물검출장치를 제공하는 것으로, 샘플화상 기억수단은 샘플 인물의 복수의 샘플 화상을 기억하며, 샘플 인물의 방향은 샘플 화상 중의 하나로부터 샘플 화상의 다른 하나로 변한다.

이 구성에 따르면, 인물검출 장치에서, 바람직하게는, 샘플화상 기억수단은 샘플 화상을 기억하며, 비록 이동체로서 검출된 인물이 다른 방향, 이를테면 카메라로의 방향 및 우측 방향으로 회전할지라도 인물을 확실히 판정하기 위하여 인물은 다른 방향으로 대면한다.

본 발명의 제6 형태는 제1 형태에 기초한 인물검출 장치를 제공하는 것으로, 이동체검출수단은 대상 거리가 소정의 범위 내에 있을 때 이동체 정보를 출력되며, 소정의 범위는 상기 인물판정수단에 의해 인물을 검출할 때 측정된 정확도에 따라서 사전에 판정된다.

이 구성에 따르면, 인물검출 장치에서, 바람직하게는, 이동체까지의 거리를 대상 거리로서 검출할 수 있는 이동체검출수단은 거리가 소정의 범위 내에 있을 때에만 이동체 정보를 출력한다. 상기 소정의 범위는 인물검출 장치에 의해 인물을 검출할 때 충분한 정확도를 가지는 범위로 따라서 한 측정 결과로부터 이전에 결정된 범위로 판정된다.

본 발명의 제7 형태는 복수 개의 카메라에 의해 촬상된 이동체를 포함하는 복수의 촬상화상내에 포함되는 인물을 검출하는 방법을 제공하는 것으로, 촬상화상내의 이동체의 대상 영역과 카메라부터 이동체까지 대상 거리를, 촬상화상 내의 시차와 연속하여 입력되는 촬상화상들의 차이를 기초로 하여 이동체 정보로서 검출하는 단계; 이동체가 인물이라고 가정할 때, 대상 영역내 대상 거리에 대응하는 소정 의 사이즈를 갖는 것으로 헤드 영역을 설정하는 단계; 헤드엣지화상을 헤드 영역에 대응하는 엣지화상으로 생성하는 단계; 헤드엣지화상을 소정의 사이즈를 가지는 정규화된 화상으로 변환하는 단계; 사이즈 정규화수단에 의해 변환된 정규화된 화상내 갭을 채워 하나의 보완된 화상을 생성하는 단계; 상기 보완된 화상과 샘플 화상 기억수단에 이전에 기억된 소정의 사이즈를 가지는 헤드영역의 샘플화상 사이의 유사도를 계산하는 단계; 및 상기 유사도에 기초하여 이동체가 인물인지를 판정하는 단계를 포함한다.

본 발명의 제8 형태는 복수 개의 카메라에 의해 촬상된 복수의 촬상화상으로부터 인물을 검출하는 인물검출 프로그램을 제공하는 것으로,

촬상화상내의 이동체의 대상 영역과 카메라부터 이동체까지 대상 거리를, 촬상화상 내의 시차와 연속하여 입력되는 촬상화상들의 차이를 기초로 하여 이동체 정보로서 검출하는 이동체검출수단; 이동체가 인물이라고 가정할 때, 이동체검출수단에 의해 검출된 대상 영역내 대상 거리에 대응하는 소정의 사이즈를 갖는 것으로 헤드 영역을 설정하는 헤드영역 설정수단; 인물의 헤드 영역에 대응하는 소정의 사이즈를 가지는 샘플 화상을 기억하는 샘플화상 기억수단; 및 촬상화상내 헤드 영역설정수단에 의해 설정된 헤드영역을 소정의 사이즈를 가지는 화상으로 변환하고, 이동체가 인물인지 판정하기 위하여 변환된 헤드영역을 샘플 화상과 비교하는 것에 의해. 이동체가 인물인지를 판정하는 인물판정수단의 기능들을 포함한다.

본 발명의 다른 목적들 및 특징들은 첨부 도면들에 관련하여 고려되는 다음의 상세한 설명으로부터 명확하게 될 것이다.

이하에 본 발명의 실시예는 도면에 관해서 기술될 것이다.

같거나 상응하는 구성요소 또는 수단은 도면 전체에 걸쳐 유사하게 지정된다.

[인물검출장치의 구성]

도 1은 인물검출 장치의 전체 블록도이다. 도 1에 보인 바와 같이, 인물검출 장치(1)는 복수 개의 카메라(2)에 의해 촬상된 촬상화상으로부터 인물을 검출한다. 이 실시예에서, 인물검출 장치(1)은 이동체검출수단(10), 헤드영역 설정수단(20), 인물판정수단(30) 및 샘플화상 기억수단(40)을 포함한다.

이동체검출수단(10)은 복수 개의 카메라(2)에 의해 촬상된 촬상화상으로부터의 이동을 나타내는 이동체를 검출한다. 이 실시예에서, 이동체검출수단(10)은 촬상화상으로부터 이동체의 영역을 윤곽(대상 영역)으로서 추출하고, 카메라들(2)로부터의 거리에 대응하는 값을 갖는 화소을 포함하는 대상 거리 화상을 생성하여, 하나의 윤곽 및 대상 거리 화상을 헤드영역 설정수단(20)에 이동체 정보로서 공급한다.

헤드영역 설정수단(20)은 이동체가 인물이라는 가정과 함께 소정의 사이즈를 갖는 헤드 영역을, 윤곽(대상 영역) 및 이동체검출수단(10)에 의해 검출된 이동체의 대상 거리 화상(대상 거리)에 기초하여 대상 거리에 대응하는 사이즈를 갖도록 설정한다. 이 실시예에서, 헤드영역 설정수단(20)은 이동체가 대상 거리 화상의 화소 분포에 기초한 윤곽(예를 들면 최상부)의 상단의 화소 위치에 기초하여 소정의 영역 내의 인물이다는 가정과 함께 헤드 영역을 설정한다. 헤드영역 설정수 단(20)에 의해 설정된 헤드 영역은 인물판정수단(30)에 공급된다.

인물판정수단(30)은 헤드영역 설정수단(20)에 의해 설정된 헤드 영역에 기초하여 이동체가 인물인지를 결정하기 위한 수단이다. 이 실시예에서, 인물판정수단 (30)은 헤드 영역의 화상을 샘플화상 기억수단(40)에 이전에 기억된 샘플 화상과 비교하는 것에 의하여 이동체가 인물인지를 결정한다. 결국, 인물판정수단(30)은 대상 거리를 기초로 하여 헤드 영역의 화상을 샘플 화상과 사이즈에서 조정하는 것에 의해 비교를 수행할 수 있다.

샘플화상 기억수단(40)은 인물의 헤드 영역의 형상을 나타내는 화상을 사전에 기억하기 위한 이를테면 하드 디스크 드라이브와 같은 일반 기억 유닛이다. 샘플화상 기억수단(40)은 소정의 사이즈(예를 들면 32 × '32 화소)를 가지고 있는 복수 개의 샘플 화상의 패턴을 기억한다. 도 10의 (A) 내지 (C)에 제시된 것처럼 복수의 패턴들은 인물이 전방 방향으로 회전할 때, 인물이 왼쪽으로 회전할 때 및 인물이 오른쪽으로 회전할 때의 패턴들이다. 이 실시예에서, 더욱이 샘플 화상은 인물의 영역이 엣지와 함께 백그라운드 영역으로부터 구분되는 이진 화상이다.

위에 언급된 바와 같이, 인물검출 장치(1)는 거리에 관련된 인물의 헤드 영역에 기초하여 이동체가 인물인지를 결정하기 때문에, 인물검출 장치(1)는 인물까지의 거리에 관계없이 인물의 일부분이 책상 또는 그와 유사한 것에 의해 방해받는 사무실의 하나와 같은 기타 환경하에서조차 인물을 검출할 수 있다.

이하, 이동체검출수단(10), 헤드영역 설정수단(20) 및 인물판정수단(30)의 r구성을 세부적으로 기술한다.

<이동체검출수단(10)>

도 2를 참조하여, 이동체검출수단(10)의 구성이 설명될 것이다.

도 2는 본 발명에 따라 인물검출 장치(1)에 포함되는 이동체검출수단(10)의 블록도이다. 도 2에 제시된 것처럼, 이동체검출수단(10)은 2 대의 카메라(2)에 의해 촬상된 촬상화상으로부터 이동하는 물체(이동체)를 검출한다. 게다가, 2대의 카메라(2)는 좌우방향으로 서로 거리 B만큼 이격되어 정렬되고 각각 우측 카메라(2a) 및 좌측 카메라(2b)라고 불린다.

제1실시예에서, 이동체검출수단(10)은 거리정보 생성수단(11), 동작정보 생성수단(12), 엣지화상 생성수단(13), 대상거리 설정수단(14), 대상거리화상 생성수단(15), 대상영역 설정수단(16) 및 윤곽추출수단(17)을 포함한다.

거리정보 생성수단(11)은 우측 카메라(2a)와 좌측 카메라(2b)에 의해 동시에 한 화상위에 촬상된 2개의 촬상화상 사이에 존재하는 시차를 카메라로부터 (특히, 카메라(2)의 초점 위치로부터)의 대상체까지의 거리 정보로서 검출하고 삽입함으로써 거리 화상을 생성한다. 게다가, 거리정보 생성수단(11)은 예를 들면 100 밀리초의 간격으로 한 프레임의 속도로 촬상화상을 수신한다.

거리정보 생성수단(11)은 우측 카메라(2a)가 기준 카메라(2a)인 것으로 간주되는 가정하에, 기준 카메라(우측 카메라 2a)에 의해 촬상된 기준 촬상화상과 동시에 좌측 카메라(2b)에 의해 촬상된 촬상 화상 사이를 소정의 사이즈(예를 들면 8 × '3 화소)를 갖는 블록의 단위로 블록-매칭하여 기준 촬상화상을부터의 시차를 측정한다. 거리정보 생성수단(11)은 기준 촬상화상의 각 화소에서 각 화소가 시차 의 사이즈(시차량)와 관련되는 거리 화상을 생성한다.

여기서, 만일 시차가 Z로서 가정되면, 카메라(2)로부터 시차에 관련된 물체까지의 거리 L(미도시)은 수학식 (1)에 의하여 얻어질 수 있다. 수학식 (1)에서 카메라(2)의 초점 길이가 f(미도시)이고, 우측 카메라(2a)와 좌측 카메라(2b) 사이의 거리는 B이다.

L = B × f/Z

동작정보 생성수단(12)은 기준 카메라(우측 카메라 2a)에 의해 촬상된 2개의 순차적인 촬상화상 사이에서의 차이에 기초하여, 촬상화상 내의 이동체의 동작이 동작 정보로서 삽입되는 하나의 차분화상을 생성한다.

동작정보 생성수단(12)은 기준 카메라(우측 카메라 2a)에 의해 다른 시간에촬상된 촬상화상 사이의 차이를 계산하며, 여기서 우측 카메라(2a)가 기준 카메라로 간주된다. 예를 들면, 촬상화상이 100 밀리초의 간격으로 기입되는 경우, 입력시간으로부터 △t (예를 들면 33 밀리초)만큼 지연된 촬상화상은 2개의 촬상화상 사이의 차이를 계산하기 위해 생성된다.

차분화상은 "1"의 화소값이 차이를 가지고 있는 화소에 적용되고, "0"의 값은 어떤 차이도 가지고 있지 않은 화소에 적용되도록 생성된다. 게다가, 동작정보 생성수단(12)은 필터링 프로세스, 이를테면 메디안 필터에 의해 차분화상으로부터 소음을 제거한다.

또한, 카메라(2)가 로봇 또는 자동차에서 장착하는 것과 같은 움직일 수 있 는 카메라이기 때문에 배경이 촬상화상 내에서 변하는 경우에, 시간 t 및 시간 t ＋ Δt 사이에서 이동하는 화상을 추출하기 위하여 카메라(2)로부터의 각 촬상화상을 위한 패닝과 경사와 같은 카메라(2)의 이동량을 입력하는 것에 의해, 시간 t ＋ Δt에서 촬상화상을 카메라(2)의 이동량만큼 보상함으로써, 배경의 위치 조절이 수행된다.

엣지화상 생성수단(13)은 카메라(2)(2a)로부터 촬상화상(기준 촬상화상)을 공급받아, 엣지가 촬상화상 화상으로부터 추출되는 엣지 화상을 생성한다. 엣지화상 생성수단(13)은 카메라(2)(2a)로부터 공급된 촬상화상의 밝기(휘도: 그레이 스케일 정보)를 기초로 하여 휘도 변화가 큰 부분을 검출하여, 단지 엣지를 포함하는 엣지 화상을 생성한다.

예를 들면, 엣지는 어느 한 화소의 인근 영역의 화소에 대하여 무게 계수를 가지고 있는 작업자 (계수 행렬: Sobel 작업자, Kirsch 작업자 등) 에 의해 화소마다 각각의 값에 무게 계수를 곱함으로써 검출된다.

거리정보 생성수단(11)에 의해 생성된 거리 화상, 동작정보 생성수단(12)에 의해 생성된 차분화상 및 엣지화상 생성수단(13)에 의해 생성된 엣지 화상은 도 11 (가끔, 도 2)을 참조하여 기술될 것이다. 도 11은 순차적으로 공급된 촬상화상을 기초로 하여 이들 화상을 생성하는 프로세스에서 상태를 나타낸다.

도 11에 제시된 것처럼, 거리 화상 D는 우측 카메라(2a)에 의해 촬상된 촬상화상 (우측 카메라 화상)과 동시에 좌측 카메라(2b)에 의해 촬상된 촬상화상 (좌측 카메라 화상) 사이의 시차로부터 계산된 화소값에 의해 생성하게 된다. 시차의 값 이 더 커질수록 인물은 카메라(2)에 더 가까이에 위치하고, 시차의 값이 더 작아질수록 인물은 카메라(2)로부터 더 멀리 위치한다. 엣지 화상 ED는 우측 카메라 화상으로부터 생성하게 되고, 단지 검출된 엣지를 포함한다. 시간차 Δt(예를 들면 시간 t 및 시간 t ＋ Δt에서의 우측 카메라 화상)를 가지는 다른 시간에서의 2 개의 우측 카메라 화상 사이의 차이를 계산하고, "1" 의 화소값을 갖는 차이를 갖는 화소와 "0"의 화소값을 가지는 어떤 차이도 가지지 않는 화소를 나타냄으로써, 차분화상 DI는 생성하게 된다. 차이를 가지고 있는 화소들은 인물이 움직이는 영역을 나타낸다.

거리 화상 D 및 차분화상 DI가 도 12a와 도 12b 를 참조하여 상세히 설명될 것이다. 도 12a는 거리 화상 D의 콘텐츠 및 거리 화상 D의 화소값(거리 화상 화소값 DB)의 예를 보인다. 도 12b는 차분화상 DI의 콘텐츠 및 화소값(차분화상 화소값 DIB)의 예를 보인다.

이 실시예에서, 인물이 카메라(2)로부터 각각 약 1, 2 및 3 m 떨어져 위치하고 있다라고 가정한다.

도 12a에 보인 바와 같이, 거리 화상 D는 동시에 우측 카메라 화상과 좌측 카메라 화상 사이의 화소값의 시차를 나타낸다. 예를 들면, 거리 화상 화소값 DB에 제시된 것처럼, 거리 화상 D의 화소 위치(0, 0)에서의 시차는 0(제로)이고, 따라서 카메라(2)로부터의 거리는 무한대(∞)이다. 게다가, 거리 화상 D의 화소 위치(30, 50)에서의 시차는 20이고, 따라서 카메라(2)로부터의 거리는 예를 들면 2.2 m이다. 따라서, 거리 화상 D는 화소값으로서 시차를 나타낸다. 예를 들면 카메 라(2)에 더 가까울수록 화상은 더 밝아지고, 카메라(2(로부터 더 멀어질수록 화상은 더 어두워진다.

도 12b에 제시된 것처럼, 차분화상 DI는 순차적으로 입력되는 우측 카메라 화상들 사이의 차이를 나타낸다. 예를 들면, 차분화상 화소 DIB에 의해 도시된 것처럼, 차분화상 DI의 화소 위치(0, 0)는 "0"의 값, 즉 동작없음을 표시하는 "정지"를 나타낸다. 반면에, 차분화상 DI 위의 화소 위치(30, 50)는 "1", 즉 움직임을 표시하는 "동작"의 값을 표시한다.

도 2를 다시 참조하면서, 인물검출 장치(1)의 구성을 기술할 것이다.

대상거리 설정수단(14)은 거리정보 생성수단(11)에 의해 생성된 거리 화상과 정보생성수단(12)에 의해 생성된 차분화상 위에 가장 큰 동작량을 나타내는 이동체를 규정하고, 이동체의 대상 거리를 대상으로 설정한다. 대상 거리는 대상거리화상 생성수단(15)에 공급된다.

대상거리 설정수단(14)은 같은 거리에서의 차분화상의 화소값을 거리 화상(한 동작을 나타내는 화소는 "1의 화소값을 가지기 때문에 각 시차에 대한 화소값을 카운트한다)내 나타내어진 각 시차(거리)에 대해서 그 시차에 대응하는 화소로 누적집계한다. 대상거리 설정수단(14)은 최대동작량을 갖는 이동체가 가장 큰 누적치를 나타내는 시차(이하, "빈도가 높은 시차라 함)에 위치하는지를 판정한다. 예를 들면, 총합계는 각 시차에 대해 계산되어, 1.0부터 1.1 m 까지의 시차(거리)의 경우, 화소값의 총합계는 110이고 1.1부터 1.2 m 까지의 시차의 경우, 화소값의 총합계는 92 이다. 여기서, 총합계 사이의 시차(거리)의 최대 합계는 가장 빈도가 높은 시차로서 판정된다.

이 실시예에서, 가장 빈도가 높은 시차에 대응하여 대상 거리 ±α에 의해 정의된 깊이는 가장 큰 동작량을 가지는 이동체가 위치하는 거리 영역으로서 판정된다. α의 값은 대상 거리에 기초를 두는 깊이 방향에서 영역을 나타낸다. 이 실시예에서, α의 값은 가정된다 ― 거리정보 생성수단(11)으로부터 순차적으로 ㅇ입력된 거리화상들 사이의 차이, 즉 시간 t-1에 생성된 거리 화상과 시간 t에서 생성된 거리화상 사이의 차이로서 가정된다. α의 값은 인물이 검출된다라는 가정하에 수십 센티미터의 고정값일 수 있다.

대상거리 설정수단(14)은 거리화상 생성수단(11)에 의해 생성된 거리화상과 동작정보 생성수단(12)에 의해 생성된 차분화상을 기억 유닛, 이를테면 메모리(미도시)에 기억시킨다.

거리화상 생성수단(15)은 거리 화상을 기초로 하여 엣지화상 생성수단(13)에 의해 생성된 엣지 화상으로부터 대상거리 설정수단(14)에 의해 설정된 대상 거리에 대응하는 화소를 추출함으로써 유도된 대상거리 화상을 생성하며, 거리정보 생성수단(11)에 의해 생성된 시차의 합계가 삽입된다.

예를 들면, 가장 빈도가 높은 시차에서의 카메라(2)로부터 이동체까지의 거리 L이 상술한 수학식(1)에 의해 계산되는 경우, 시차의 영역 Zr을 정의하고 있는 다음 수학식(2)는 수학식(1)을 개조하여 얻게 된다. 여기서, 카메라(2)의 초점 길이가 f, 우측 카메라(2a)와 좌측 카메라(2b) 사이의 거리가 B 이고, 대상 물체의 깊이 방향의 영역은 α 라고 가정된다.

B × f / (L + α) < Zr < B × f / (L- α)

대상거리화상 생성수단(15)은 엣지 화상으로부터 수학식(2)에 의해 정의된 영역 내에서 시차에 대응하는 화소를 추출함으로써 유도된 대상 거리 화상을 생성한다.

대상 거리 화상은 기준 카메라(우측 카메라 2a)에 의해 촬상된 촬상화상(원래 화상), 또는 거리정보 생성수단(11)에 의해 생성된 거리 화상으로부터 대상 거리(시차의 영역)에 대응하는 화소 위치에서만 단지 화소를 추출함으로써 생성될 수 있다.

도 13a와 도 13b(가끔 도 2)를 참조하여 거리에 대응하는 화상(대상거리화상)을 생성하는 과정에 대해서 기술될 것이다. 여기서, 검출되는 이동체가 대상거리 설정수단 (14) 및 대상거리화상 생성수단(15)을 사용하여 위치된다. 도 13a는 시차(거리)와 동작량(화소의 갯수) 사이의 관계를 나타내고 있는 그래프로, 역서 동작량은 거리 화상 D 및 차분화상 DI(도 12a와 도 12b)를 기초로 시차(거리)와 동작을 가지는 화소의 총합계이다. 도 13b는 엣지 화상 ED(도 11)로부터 대상 거리의 화상만을 추출함으로써 획득된 대상 거리 화상 TD를 보인다.

도 13a에 제시된 것처럼, 거리 화상 D(도 12a와 도 12b)의 시차(거리)와 동작량(화소의 갯수)사이의 관계는 그래프로 나타내게 되며, 피크치는 1 m, 2.2 m 및 3 m의 거리에서 나타난다. 그 다음, 대상거리 설정수단(14)은 최대 동작량을 가지는 이동체가 2.2 m의 시차에 위치하는 것으로 추정하고, 이동체가 2.2 m의 시차 주 위에 ±α의 깊이를 가지고 있는 깊이 영역에 위치하는 것으로 판정한다. α의 값은 거리정보 생성수단(11)으로부터 순차적으로 입력된 거리 화상들 사이의 차이이다. 게다가, 이동체가 인물이라는 가정하에, 인물이 카메라(2)로부터 2.2 ±α m (α=0.5 m)의 거리를 가지는 영역에 위치한다라고 판정할 수 있다.

게다가, 도 13b에 제시된 것처럼, 대상 거리 ±α m에서 화소를 추출함으로써 유도된 대상 거리 화상 TD를 생성하기 위해, 거리정보 생성수단(11)에 의해 생성된 거리 화상을 기초로 하여, 대상거리화상 생성수단(15)은 엣지화상 생성수단(13)에 의해 생성된 엣지 화상으로부터 화소위치들이 대상임을 판정한다.

이것은 카메라(2)로부터 2.2 ±α m 만큼 떨어져 위치하는 인물만이 엣지 화상으로서 추출되며, 여기서 카메라(2)로부터 1 m 및 3 m 만큼 떨어져 위치하는 인물의 화상은 제거되는 대상 거리 화상 TD를 생성한다.

도 2를 다시 참조하여, 인물검출 장치(1)의 구성을 더 기술할 것이다.

대상영역 설정수단(16)은 대상거리화상 생성수단(15)에 의해 생성된 대상 거리 화상(대상 거리에 대응하는 엣지 화상)의 수직 방향의 화소의 수를 카운트하고, 이동체(대상 영역)를 포함하는 영역을 설정하기 위해, 수직 방향의 화소의 수가 가장 큰 위치를 이동체 중앙의 수평 위치로서 판정한다. 이 실시예에서, 대상영역 설정수단 16은 히스토그램생성수단(16a), 수평범위 설정수단(16b) 및 수직범위 설정수단(16c)을 포함한다.

히스토그램생성수단(16a)은 총합계를 획득하기 위하여 수직 방향으로 대상 거리 화상내 화소의 수를 카운트한다. 이 실시예에서, 히스토그램생성수단(16a)은 히스토그램을 생성하기 위하여 수평 방향으로 카운트된 화소의 수의 분포를 획득한다. 히스토그램이 상기와 같이 생성되며, 이동체 중앙이 히스토그램이 최대 주파수를 나타내는 위치에 위치하는가를 판정할 수 있게 한다. 게다가, 히스토그램생성수단(16a)은 히스토그램을 위한 평활화 과정을 수행한다.

수평범위 설정수단(16b)은 히스토그램생성수단(16a)에 의해 생성된 히스토그램을 기초로 하여 이동체를 포함하여 이동체의 윤곽을 추출하기 위한 대상 영역의 수평 방향에서 영역을 설정한다. 더 상세하게는, 수평범위 설정수단(16b)은 화소의 수가 히스토그램생성수단(16a)에 의해 생성되고 평활화된 히스토그램에서 가장 크게 되는 수평 위치로부터 수평 방향으로 이동체의 영역을 설정한다.

도 14 및 도 15a와 도 15b(가끔 도 2)를 참조하여, 대상영역 설정수단(16)이 대상 거리 화상 TD에서 한 이동체(한 인물)의 영역(대상 영역)의 수평 범위를 설정하는 과정에 관해서 기술할 것이다. 도 14는 수평 좌표의 각각에 대해 카운트된 화소의 수의 분포가 도시된 히스토그램을 보인다. 도 14에서, 단지 설명을 단순화하기 위해. 히스토그램 HI는 대상 거리 화상 TD 위에 겹친다. 도 15a 및 도 15b는 히스토그램을 위한 평활화 과정의 예를 도시하며, 도 15a는 평활화 전의 상태를 도시하고, 도 15b에는 평활화 후의 상태를 보인다.

우선, 히스토그램생성수단(16a)은 각 수평 좌표에서의 수직 방향의 화소를 카운트하고, 카운트된 결과의 분포를 판정하여, 대상 거리 화상 TD에 포함된 이동체가 위치하는 영역에서 히스토그램 HI를 생성한다. 도 14의 히스토그램 HI에서, 피크 P1은 국부적으로 발생된다라고 가정된다.

도 15a와 도 15b에 제시된 것처럼, 히스토그램생성수단(16a)은 히스토그램 HI를 위한 평활화 과정을 실행한다.

더 상세하게는, S_x 가 히스토그램 HI의 주 수평좌표 x에서의 화소의 수이고, S_x가 평활화한 후의 히스토그램 HI'내의 수평 좌표 x에서의 화소의 수, x₀가 양의 상수값이라고 가정할 때, 평활화는 다음의 수학식 (3)에 의해 수행된다.

여기서, f(n)는 n의 함수이다. 그러나, 상수일 수 있다.

수학식 (4)에 제시된 것처럼, f(n)= |x-n|인 경우, 좌표 x까지의 거리(좌표를 따라)에서 화소의 수 Sn을 도시하는 좌표 n이 더 가까와질수록, 화소의 수 Sn이 더 많이 가중된다. 따라서, 평활화 후의 히스토그램 HI'는 남아있는 원래의 히스토그램 HI의 특성과 함께 생성된다.

이 프로세스는 도 15a에 제시된 것과 같은 히스토그램 HI로부터 도 15b에 도시된 것과 같은 평활화된 히스토그램 HI'를 생성한다. 그 결과, 히스토그램 HI에 국부적으로 나타나는 피크 P1은 피크 P1'으로 낮춰진다.

게다가, 수학식 (3) 또는 (4)에 따르는 평활화 과정에서, 바람직하게는 다음의 수학식 (5)가 조건으로서 설정된다.

수학식(5)에 의해 정의된 조건에 따르면, 대상 좌표 x의 우측(x의 더 큰 값) 또는 대상 좌표 x의 좌측(x의 더 작은 값) 상의 히스토그램 HI의 화소의 수 S_x 는 모두 "0"이기 때문에, 평활화 이후 화소의 수 S_x는 "0"으로 된다. 이것은 히스토그램 HI의 좌우 피트(feet)가 확대하지 않도록 한다. 예를 들면, 피트는 도 15b에 파선으로 된 히스토그램 HI의 피트의 연장 없이, 도 15b의 실선으로 도시된다.

이것은 인접한 인물의 히스토그램 HI에서 곡선들이 평활화 과정에 의하여 연결되지 않도록 한다.

수평범위 설정수단(16b)은 히스토그램생성수단(16a)에 의해 생성된 히스토그램을 기초로 하여 하나의 이동체를 포함하여 수평 방향에서 범위를 설정한다.

더욱 상세하게는, 대상 영역의 수평 범위가 도 15b에 명시된 평활화 후의 히스토그램 HI'에서, 최대의 화소의 수 S_x 를 나타내는 좌표 x (예를 들면 도 15b의 x1)는 하나의 이동체의 중앙으로서 판정되고, 중앙의 좌우측 상의 소정의 범위(예 를 들면 도 15b의 β)는 대상 영역의 수평 범위로 설정된다. β는 인물의 폭 또는 그 폭 (예를 들면 0.2 m에 대응하는 화소의 수에 의하여)보다 약간 넓은 영역에 대응하는 화소의 수를 가지는 것으로 판정된다. 게다가, 가장 작은 히스토그램 값을 나타내는 수평 위치(좌표 x)는 이 범위 내에서 검출된다. 가장 작은 히스토그램 값을 나타내는 위치는 하나의 인물의 좌우 엣지 중의 하나로서 판정된다.

이동체를 추출하기 위한 영역이 수평 방향에서 설정되는 경우에, 이동체의 움직이는 방향을 고려하는 것은 바람직하다. 예를 들면, 수평범위 설정수단(16b)은 대상 거리 화상으로부터 t-2의 시간에 생성된 히스토그램로부터 획득된 이동체의 중앙 위치와 대상 거리 화상으로부터 t-1의 시간에 생성된 히스토그램로부터 획득된 이동체의 중앙 위치를 기초로 하여 이동체의 동작벡터를 획득하고, 카메라(2)의 동작벡터 및 뷰 방향 사이의 각도가 45˚ 미만인 경우, 인물을 검출하기 위한 수평 범위는 중앙 위치로부터의 ±0.5 내지 0.6 m까지의 위치에 의해 판정된다. 게다가, 카메라(2)의 동작벡터 및 뷰 방향 사이의 각도가 45˚ 미만이 아닐 때, 인물을 검출하기 위한 수평 범위는 중앙 위치로부터 ± 0.2 내지 0.3 m까지이다. 이것은 각도가 45˚보다 작지 않는 경우 인물이 카메라(2)의 전방을 교차하는 것으로 생각되기 때문이다.

게다가, 대상 거리 화상 위에서 수평 방향으로 화소의 수 α_H를 획득함으로써 대상 영역의 수평범위가 설정될 수 있다. 이 경우, 대상 영역(이동체의 중앙 으로부터의 거리)의 폭의 절반이 카메라(2)의 수평 각도가 θ_h인 가정(미도시)아래 에서 다음의 수학식(6)를 푸는 것에 의해 0.5 m가 된다. 여기서, 대상 이동체에서 카메라(2)로부터 대상 이동체까지의 거리는 L이고, 대상 거리 화상의 측방향의 해상도는 X이다.

α_H = (X / θ_h) tan^-1 (0.5/L)

다시 도 2를 참조하여, 인물검출 장치(1)의 구성을 더 기술할 것이다.

수직범위 설정수단(16c)은 수직 방향으로의 영역을 이동체(대상 영역)의 윤곽을 추출하기 위한 대상으로 설정한다. 이 실시예에서, 수직범위 설정수단(16c)은 대상 영역의 수직 방향으로의 영역으로서 비 길이(specific length)(예를 들면 2 m)를 결정한다.

도 16a 및 도 16b(가끔 도 2)를 참조하여, 대상영역 설정수단(16)(수직범위 설정수단 16c)이 대상 거리 화상에 대한 하나의 이동체(하나의 인물)의 영역(대상 영역)의 수직 방향으로 영역을 설정하는 과정에 관해서 기술될 것이다. 도 16a 및 도 16b는 대상 거리 화상 위에서 이동체의 고도(높이)에서 위치를 계산하는 과정을 기술하기 위한 도면이다.

도 16a 내지 도 16d 는 카메라(2)가 이동 로보트(미도시)에 장착하고, 바닥으로부터 소정의 고도(카메라 고도) H에 위치하는 경우를 도시하는 것으로, 바닥에 이동체 M이 지지되고, 이동체 M이 대상에 대상 거리 화상 a' 및 b'위의 어느 높이에 위치하는지를 표시한다.

도 16a는 카메라(2)와 이동체 M 사이의 관계를 도시하는 것으로 카메라(2)의 경사각이 0˚임을 나타내고, 도 16b는 이 조건에서 대상 거리 화상을 나타내고, 도 16c는 카메라(2)와 이동체 M 사이의 다른 관계를 도시하는 것으로 카메라(2)의 경사각이 θ_T(≠0˚)임을 나타내고, 도 16d는 이 조건에서의 대상 거리 화상을 나타낸다.

우선, 도 16a을 참조하여, 경사각이 0˚인 경우에 대상 거리 화상(a')에 이동체 M이 수직 방향의 어떤 위치에 위치하는지를 판정하는 과정에 대해서 기술될 것이다.

여기서 다음 사항들이 가정된다:

카메라(2)의 수직 가시각(뷰 각도)은 θ_V, 카메라(2)로부터 이동체 M까지의 거리가 L, 대상 거리 화상 a'의 수직 방향의 해상도가 Y, 바닥으로부터 카메라(2)의 고도(카메라 고도)는 H, 그리고 바닥으로부터 이동체 M의 실제 높이는 2 m이다. 이 조건에서, 카메라(2)의 광축과 카메라(2)와 이동체 M의 가상 상단 (바닥으로부터의 2 m)사이의 선 사이의 각도 θ_H는 다음 수학식(7)에 의해 주어진다.

θ_H = tan^-1((2 - H) / L)

따라서, 이동체 M의 대상거리화상 a' 위의 상단 y_T는 다음 수학식 (8)로 주어진다.

y_T = Y/2 - θ_HY / θ_V = Y/2 - (Y/θ_V) tan^-1((2-H)/L)

게다가 카메라(2)의 광축과 카메라(2)와 이동체 M의 하단(바닥) 사이의 선 사이의 각도 θ_L은 다음 수학식(9)으로 주어진다.

θ_L = tan^-1 (H / L)

따라서, 도 16b의 이동체 M의 대상거리화상 위의 하단 y_B는 다음 수학식 (10)으로 주어진다.

y_B = Y / 2 + θ_LY / θ_V = Y / 2 + (Y / θ_V) tan^-1 (H / L)

다음, 도 16c를 참조하여, 경사각이 θ_T(≠0)인 경우에, 도 16d의 대상 거리 화상에 이동체 M이 수직 방향의 어떤 위치에 위치하는지를 판정하는 과정에 대해서 기술될 것이다.

카메라(2)의 수직 가시각(뷰 각도)은 θ_V, 카메라(2)로부터 이동체 M까지의 거리가 L, 대상 거리 화상의 수직 방향의 해상도가 Y, 바닥으로부터 카메라(2)의 고도(카메라 고도)는 H, 그리고 바닥으로부터 이동체 M의 실제 높이는 2 m이다. 이 조건에서, 카메라(2)의 광축과 카메라(2)와 이동체 M의 가상 상단(바닥으로부터 의 2 m) 사이의 선 사이의 각도 θ_H와 경사각 θ_T 사이의 차이 각도 (θ_H-θ_T)는 다음 수학식 (11)에 의해 주어진다.

θ_H - θ_T = tan^-1 ((2 - H) / L)

따라서, 도 16d의 대상 거리 화상 위에서 이동체 M의 상단 y_T는 다음 수학식 (12)으로 주어진다.

y_T=Y/2-θ_TY/θ_V-(θ_H-θ_T)Y/θ_V=Y/2-θ_TY/θ_V-(Y/θ_V)tan^-1((2-H)/L)

카메라(2)의 광축과 카메라(2)와 이동체 M의 하단(바닥) 사이의 선 사이의 각도 θ_L와 경사각 θ_T 에 의해 만드어지는 가산 각도 (θ_L+θ_T)는 다음 수학식 (13)에 의해 주어진다.

θ_L + θ_T = tan^-1(H / L)

따라서, 도 16d의 대상 거리 화상 위에서 이동체 M의 하단 y_B는 다음 수학식 (14)로 주어진다.

y_B=Y/2-θ_T/θ_V+(θ_L+θ_T)Y/θ_V=Y/2-θ_TY/θ_V+(Y/θ_V)tan^-1(H/L)

도 16b 및 도 16c에서 획득된 대상 거리 화상 위에서 대상 영역의 수직 방향의 영역은 상단 y_T 및 하단 y_B에 의해 설정된다.

게다가, 이동 로보트가 계단 또는 그 종류의 다른 것을 올라가고 있기 때문에, 이동 로보트(미도시)가 이동체 M으로서 같은 바닥에 위치하지 않는 경우, 이동체의 도 16b 또는 도 16d의 대상 거리 화상 위의 수직 방향의 위치는 이동로봇 M의 몸체내 엔코더 또는 그 종류의 다른 것을 구비하여 상승량을 검출하고, 바닥으로부터의 이동체 M의 고도에 또는 고도로부터 상승량을 가산하거나 감산함으로써 특정화된다. 다르게는, 이것은 이전에 맵 정보를 이동 로봇에 기억시키고 난 후에, 맵 정보로부터 이동체 M의 방향 및 거리에 의해 특정화된 바닥의 고도를 획득함으로써 수행된다.

도 2를 참조하여, 인물검출 장치(1)의 구성을 더욱 설명할 것이다.

윤곽검출수단(17)은 대상거리화상 생성수단(15)에 의해 생성된 대상 거리 화상 위에 대상영역 설정수단(16)에 의해 설정된 이동체(대상 영역)의 영역 내에서 공지된 윤곽추출기술을 가지고 이동체의 윤곽을 추출한다.

공지된 윤곽 추출 기술로서, "SNAKES" 로서 언급되는 다이내믹 윤곽 모델이사용될 수 있다. "SNAKES"는 폐곡선을 수축변형함으로써 물체의 윤곽을 추출하는 기술로서, 미리 정의된 에너지가 최소화된다. 이것은 이동체(대상 영역)의 영역 내에서 에너지를 계산하기 위한 초기치가 설정될 수 있기 때문에, 윤곽을 추출하는 계산량을 감소시킬 수 있다.

윤곽추출수단(17)은 추출된 윤곽(윤곽 정보)를 헤드영역 설정수단(20)(도 1을 참조한다)에 공급한다.

도 17에 제시된 것처럼 이것은 대상 거리 화상 TD 위에서 하나의 이동체(한 인물)에 제한된 대상 영역 T 내에서 윤곽 O의 추출을 제공하여, 이동체의 위치를 대략 특정화할 수 있다.

<헤드영역 설정수단 20>

다음, 도 3을 참조하여 헤드영역 설정수단(20)의 구성을 기술할 것이다.

도 3은 본 발명에 따라 인물검출 장치(1)에 포함되는 헤드영역 설정수단(20)의 블록도이다.

도 3에 제시된 것처럼 헤드영역 설정수단(20)은 이동체의 윤곽 및 이동체가 인물이라는 가정에 기초를 두는 이동체검출수단(10)(도 1을 참조)에 의해 검출된 대상 거리 화상을 기초로 하여 헤드 영역을 설정한다. 이 실시예에서, 헤드영역 설정수단(20)은 헤드탐색영역 설정수단(21), 히스토그램생성수단(22), 수직범위 설정수단(23) 및 수평범위 설정수단(24)을 포함한다.

헤드탐색영역 설정수단(21)은 소정의 영역을 카운터의 상단의 화소 위치에 기초를 두는 인물(헤드탐색영역)의 헤드를 검색하는 영역으로서 설정한다.

헤드탐색영역 설정수단(21)에서, 예를 들면 도 18에 제시된 것처럼, 윤곽 O 의 중력점 G의 좌표가 (x_G, y_G), 그리고 중력점 G의 X 좌표에서의 최상의 부분의 Y 좌표는 y_U이다. 헤드탐색영역 HS의 수직 방향의 영역은 하한이 y_U 보다 더 작도록 설정되고 또는 소정의 거리(예를 들면 0.2 m)가 y_U 보다 더 작도록 설정되고, 상한은 비 사이즈(specific size)(예를 들면 2 m)에 대응하는 위치에 설정하게 된다. 게다가 도 16b 또는 도 16d에 도시된 대상 거리 화상의 상단 y_T의 위치는 상한으로서 사용될 수 있다.

헤드탐색영역의 하한은 윤곽의 정확도에 달려 있다. 예를 들면, 윤곽이 헤드까지 정확하게 추출될 수 있는 경우에, 하한이 중력점 G의 X 좌표에서의 윤곽 O의 최상의 Y 좌표보다 더 작은 소정의 거리 (예를 들면, 0.2 m)이다. 인물의 헤드가 윤곽으로서 추출될 수 없는 경우에, 하한은 중력점 G의 X 좌표에서의 윤곽 O의 최상단의 Y 좌표이다. 만일 윤곽의 정확도가 불안정하면, 바람직하게는 하한이 윤곽 O의 상단의 Y 좌표보다 더 작은 소정의 거리이다.

게다가, 헤드탐색영역 HS의 수평 방향의 영역은 중력점 G의 Y 좌표로부터의 우측 및 좌측으로 ±0.2m의 범위로서 설정된다.

헤드탐색영역 설정수단(21)에 의해 설정된 헤드탐색영역 HS는 히스토그램생성수단(22)에 공급된다.

히스토그램생성수단(22)은 대상 거리 화상 TD에서 각 수직 좌표의 화소의 수를 획득하기 위해 헤드탐색영역 설정수단(21)에 의해 설정된 헤드탐색영역 내에서 각 수직 좌표(좌표부)의 수평 방향에 위치한 화소들을 카운트하여, 히스토그램df 생성한다. 이 실시예에서, 히스토그램생성수단(22)은 수직 방향에서 화소의 수평으로 카운트된 수를 배열한다. 히스토그램에서, 인물은 화소가 카운트되는 수직 방향의 좌표에 위치하는 것으로 간주될 수 있다.

게다가, 바람직하게는 히스토그램생성수단(22)은 생성된 히스토그램을 도 2에 명시된 히스토그램생성수단(16a)에 유사하게 평활화한다.

더욱 상세하게는, 히스토그램의 대상 좌표 y에서의 화소의 수가 Sy이고, Sy'는 평활화 후의 히스토그램의 좌표 y에서의 화소의 수이고, y0는 양의 상수라고 가정하면, 평활화는 다음 수학식 (15)에 의해 수행된다. 여기서, f(n)는 n의 함수이나, 그러나 상수일 수 있다.

수직범위 설정수단(23)이 히스토그램생성수단(22)에 의해 생성된 히스토그램(수평 방향의 화소의 수)를 기초로 하여 헤드 영역의 수직 방향에서 범위를 설정할 수 있다. 수직범위 설정수단(23)은 베이스로서 소정의 임계치보다 더 큰 수평 방향의 화소의 수를 가지는 수직 좌표 중에 최상 지점의 좌표를 결정하고, 베이스보다 소정의 길이(예를 들면 0.1 m)만큼 더 긴 좌표를 상단으로서 결정하고, 상단보다 소정의 길이(예를 들면 0.5 m)만큼 더 긴 좌표를 헤드영역의 하단으로서 결정한다.

수평범위 설정수단(24)은 수평 방향에서 헤드 영역의 범위를 설정한다. 이 실시예에서, 수평범위 설정수단(24)은 윤곽 O의 중력점 G(도 18을 참조)의 X 좌표로부터 소정의 길이의 범위(예를 들면 0.5 m)를 헤드 영역의 수평 방향의 범위로서 결정한다.

여기서, 도 19a와 도 19b(가끔 도 3)를 참조하여, 헤드탐색영역을 사용하여 헤드 영역을 설정하는 과정을 설명할 것이다.

도 19a 및 도 19b는 헤드탐색영역에서 헤드 영역을 설정하는 과정을 도시한다.

우선, 도 19a에 도시된 바와 같이, 히스토그램생성수단(22)은 히스토그램 HIHS을 생성하기 위하여 헤드탐색영역 HS에서 수평 방향으로 화소를 카운트한다. 다음, 수직범위 설정수단(23)은 수평 방향에서 카운트된 화소의 최상단점의 좌표를헤드의 상단으로서 결정한다. 여기서, 잡음을 고려하여, 헤드의 상단은 화소의 수가 소정의 임계치를 초과하는 수직 방향으로의 좌표의 최상단점 To로서 결정된다.

다음, 수직범위 설정수단(23)은 최상단점 To보다 소정의 길이(예를 들면 0.1 m)만큼 높은 좌표를 헤드 영역 HD의 상단으로서 결정학, 상단보다 0.5 m 낮은 좌표를 헤드 영역 HD의 하단으로서의 결정한다.

게다가, 수평범위 설정수단(24)은 윤곽의 중력점 X 좌표 주변의 0.5 m 범위 를 헤드 영역 HD의 수평 방향으로의 범위로서 결정한다.

상술한 바와 같이 설정된 헤드 영역 HD(헤드 영역의 위치 정보)는 인물판정수단(30)(도 1을 참조)에 공급된다.

<인물판정수단 30>

이하 도 4를 참조하여, 인물판정수단(30)의 구성을 설명한다. 도 4는 본 발명에 따라 인물검출 장치(1)에 포함되는 인물판정수단(30)의 블록도이다. 도 4에 제시된 것처럼, 인물판정수단(30)은 헤드영역 설정수단(20)에 의해 설정된 헤드 영역이 카메라(2)(도 1을 참조)에 의해 촬상된 촬상화상내 인물의 헤드의 영역인지를 판정한다. 이 실시예에서, 인물판정수단(30)은 헤드엣지화상 생성수단(31), 사이즈정규화수단(32), 보완수단(33), 화상 시프트수단(34) 및 유사도판정수단(35)을 포함한다.

헤드엣지화상 생성수단(31)은 헤드영역 설정수단(20)에 의해 설정된 헤드 영역에 대응하는 엣지 화상(헤드엣지화상)을 생성한다. 이 실시예서, 헤드엣지화상 생성수단(31)은 헤드 영역 설정수단(20)에 의해 설정된 헤드 영역에서 카메라(2)(도 1을 참조)에 의해 촬상된 촬상화상으로부터 Sobel 작업자 등에 의해 엣지를 추출하고, 추출된 엣지를 소정의 임계치를 가지고 이진화하여 헤드엣지화상을 생성한다. 예를 들면, 엣지를 나타내는 화소의 값이 "1"이고, 다른 화소의 값은 "0"이라고 가정한다.

게다가, 엣지화상 생성수단(13)(도 2를 참조)이 촬상화상 전체를 생성하기 때문에, 헤드엣지화상 생성수단(31)은 엣지 화상으로부터 헤드 영역을 절단할 수 있고, 절단된 영역을 이진화하여 헤드엣지화상을 생성한다.

사이즈정규화수단(32)은 헤드엣지화상 생성수단(31)에 의해 생성된 헤드엣지화상을 변환하는 것에 의해 정규화된 화상을 생성하여, 소정의 사이즈를 가지도록 한다. 여기서 소정의 사이즈는 샘플화상 기억수단(40)에 기억된 샘플 화상의 사이즈와 동일하다.

보완수단(33)은 사이즈정규화수단(32)에 의해 생성된 정규화된 화상의 화상내 갭(비 엣지 부분)을 채운다. 보완수단(33)은 정규화된 화상의 화소 영역에 대해 확대 과정 및 축소 과정을 각각 복수회 수행하여, 화상의 공백이 채워지는 보완된 화상을 생성한다.

예를 들면, "1"의 화소값을 가지는 화소 영역을 확대하기 위해, 확대-소스 화상의 처리 대상위치에서의 화소값이 "1"이거나, 및/또는 처리대상위치의 화소에 인접한 8개의 인접화소들(또는 4개의 인접 화소)의 화소값이 "1"일 때, 확대된 화상의 처리대상위치에서의 화소의 화소값이 "1"의 화소값을 가지도록 한다. 그 다음, 화상들이 잇따라서 생성하게 되며, "1"의 값을 가지는 화소 영역이 확대 소스화상의 정규화된 화상으로부터 확대된다.

게다가, "0"의 화소값을 가지는 화소 영역을 축소하기 위해, 축소-소스 화상의 처리대상위치에서의 화소값이 "0"이거나, 및/또는 처리대상위치의 화소에 인접한 8개의 인접화소들(또는 4개의 인접 화소)의 화소값이 "0"일 때, 축소된 화상의 처리대상위치에서의 화소의 화소값이 "0"의 화소값을 가지도록 한다. 그 다음, 화상들이 잇따라서 생성하게 되며, "0"의 값을 가지는 화소 영역이 확대 과정에 의해 확대된 화상으로부터 축소 소스화상으로 축소되어 보완된 화상을 생성한다.

도 20의 (A) 내지 (G)(가끔 도 4)를 참조하여, 보완수단(33)에서 정규화된 화상내 갭을 채우는 과정을 더욱 상세하게 기술할 것이다. 도 20의 (A) 내지 (G) 는 확대 및 축소 과정이 정규화된 화상에서 복수 회 수행되는 경우 각 단계에서의 화상 콘텐츠를 나타낸다. 도 20의 (A) 내지 (G)는 보완수단(33)이 정규화된 화상에 대해 확대 및 축소과정을 3회 수행하는 예를 각각 나타낸다. 이 실시예서, 엣지의 화소값은 "1"(하이라이트)로 가정되고, 다른 부분의 화소값은 "0"(새도우)로서 가정된다.

도 20의 (A)는 사이즈정규화수단(32)에 의해 생성된 정규화된 화상의 원래의 화상을 나타낸다. 보완수단(33)은 확대 과정을 3회 수행하는 것에 의해 도 20의 (A) 내지 (D)에 도시된 화상을 생성한다. 그 다음 "1"(하이라이트)의 화소값을 가지는 영역은 도 20의 (A)에 도시된 화상으로부터 잇따라서 확대디어, "1"의 화소값을 가지는 영역은 도 20의 (D)로 연결된다. 이 단계에 "1"의 화소값을 가지는 영역은 확대 비율에 의거하여 도 20의 (A)에 도시된 헤드 영역보다 더 크다.

그 다음, 보완수단(33)은 축소과정을 확대과정의 횟수와 동일한 횟수만큼 실행함으로써 (여기서 3회), 도 20의 (A)에 도시된 헤드 영역의 사이즈와 동일한 화상을 생성한다. 더욱 상세하게는, 보완수단(33)은 도 20의 (D) 내지 (G)에 도시된 바와 같이 축소과정을 3회 수행함으로써 화상을 생성한다. 위와 같이, "1"의 화소값을 가지고 있는 영역은 도 20의 (D)로부터 잇따라서 축소된다. 따라서, 도 20의 (G)의 화상에서 "1"의 화소값을 가지고 있는 영역은 도 20의 (A)에 도시된 화상의 헤드 영역과 같은 사이즈가 된다.

따라서, 보완수단(33)은 정규화된 화상의 헤드 영역의 내부가 같은 화소값을 가지는 화소로 채워진 화상을 생성한다. 이 실시예에서, 확대 과정 및 축소 과정 의 횟수는 상기 설명과 같이 3회이다. 그러나, 횟수는 3회에 제한되지 않는다. 게다가, 횟수는 확대 과정 및 축소 과정의 횟수를 제한함이 없이, "0"(새도우)의 화소값을 가지는 격리된 화상이 사라질 때까지 확대 과정을 수행하고, 축소 과정은 확대 과정의 횟수와 동일한 횟수로 수행된다.

도 4를 다시 참조하여, 인물판정수단(30)의 구성에 대하여 기술한다.

화상시프트수단(34)은 보완수단(33)에 의해 갭이 채워지는 보완된 화상의 헤드의 위치가 샘플화상 기억수단(40)에 기억된 샘플 화상의 헤드의 위치로 조절되는 화상을 생성한다. 이 실시예에서, 화상시프트수단(34)은 상하시프트수단(34a) 및 좌우 시프트수단(34b)을 포함한다.

상하시프트수단(34a)은 보완된 화상을 상하 방향으로 시프팅함으로써 상하방향으로 보완된 화상의 헤드의 위치를 조정한다. 더욱 상세하게는, 보완된 화상의 상하 방향의 중력점은 샘플 화상의 상하 방향의 중력점으로 조절되도록 시프트된다.

좌우 시프트수단(34b)은 보완된 화상을 좌우 방향으로 시프팅함으로써 보완된 화상내 헤드의 위치를 샘플 화상내 헤드의 위치로 조정한다. 더욱 상세하게는, 보완된 화상은 이동되어, 보완된 화상의 중력점의 위치가 좌우 방향의 중력점의 위치로 조절되도록 한다.

상술한 바와 같이, 화상시프트수단(34)은 보완된 화상을 상하 및 좌우 방향으로 시프트하여, 보완된 화상내 헤드의 위치를 샘플 화상내 헤드의 위치로 조정함으로써, 차후 언급될 유사도판정수단(35)에서 획득된 유사도의 정학도는 증가될 수 있다.

유사도판정수단(35)은 촬상된 이동체가 보완된 화상 및 샘플 화상 사이의 유사도를 기초로 하여 인물인지를 판정한다. 이 실시예에서, 유사도판정수단(35)은 유사도산출수단(35a) 및 판정수단(35b)을 포함한다.

유사도산출수단(35a)은 보완된 화상 및 샘플 화상내 화상들 사이에서 유사의 정도를 나타내는 유사도를 계산한다. 이 실시예에서, 유사도산출수단(35a)은 보완된 화상 및 샘플화상 기억수단(40)에 기억된 복수의 샘플 화상으로부터 수학식 (16)에 의해 주어지는 화상들 사이의 유사 정도를 나타내는 유사도 R을 계산하며, 여기서 헤드의 위치는 화상시프트수단(34)에 의해 시프트된다.

R = 1 - d / S2

수학식 (16)에서, d는 SAD(절대값 차이의 합)이고 S는 샘플 화상의 사이즈이다. 수학식 (16)에 의해 나타내어지는 것처럼, 유사도산출수단(35a)은 샘플 화상의 SAD의 값을 단위 화소값으로 변환함으로써 유사도를 계산한다. 게다가, 유사도 R은 "0"보다 크거나 같은 값이고, "1"보다 작거나 같은 값이며, "1"의 유사도는 가장 유사한 상태를 표시한다. 이것은 비록 샘플 화상의 사이즈가 변할지라도, 차후 설명될 판정수단(35b)에서의 유사도에 대한 임계치를 변하게 할 필요성을 제거한다.

수학식 (16)의 "d"(SAD)는 수학식 (17)에 의해 계산된다.

수학식 (17)에서, I(i,j)는 보완된 화상의 화소값이고, T(i,j)는 샘플 화상의 화소값이다. 상술한 바와 같이 산출된 유사도 R은 판정수단(35b)에 공급된다.

이 실시예에서, 유사도산출수단(35a)은 수학식 (16)에 의해 유사도를 계산한다. 그러나, 유사를 계산하는 방법은 이에 제한되지 않는다. 예를 들면, SSD(제곱차이의 합)(Sum of Squared Differences)은 "d"(SAD) 대신에 사용될 수 있다.

판정수단(35b)은 유사도를 기초로 한 헤드 영역을 설정된 영역이 실제로 인물의 헤드 영역인 지를 판정한다. 판정수단(35b)은 유사도산출수단(35a)에 의해 계산된 유사도 R이 소정의 임계치보다 더 클 때, 대상 영역이 인물의 헤드 영역이라고 판정하여, 인물이 검출됨을 나타내는 정보(인물검출 정보)를 출력한다. 정보는 인물의 위치(예를 들면 헤드 영역, 중력점의 위치, 거리, 또는 그와 유사한 것)를 포함할 수 있다.

게다가, 판정수단(35b)은 소정 갯수의 프레임내의 유사도의 평균값에 의거하여 복수의 촬상 화상내 인물을 판정할 수 있다. 이것은 비록 이동체가 일시적으로 소음 등에 의하여 인물이라고 판정될 수 없다고 해도, 인물의 검출을 계속되도록 한다.

인물검출 장치(1)는 상술한 바와 같이 구성되어 인물 검출시 높은 정확도를 가지며, 카메라(2)에 의해 촬상된 촬상화상으로부터 헤드 영역의 판정을 허용하고, 그 영역내 촬상된 헤드가 인물의 헤드인지를 판단하도록 한다. 게다가, 헤드 영역이 거리에 따른 사이즈를 가지고 있기 때문에, 인물검출 장치(1)는 헤드 영역의 화상이 샘플 화상의 사이즈를 가지도록 정규화하는 것에 의해 인물이 임의의 거리에서 검출 대상으로서 검출되도록 한다.

도 21의 (A) 내지 (E)(가끔 도 4)를 참조하여, 인물검출 장치(1)의 인물의 검출 결과에 관해서 설명할 것이다. 도 21의 (A) 내지 (E)는 인물이 촬상화상에 존재할 때 검출된 결과를 기술하기 위한 도면들이다. 이것은 4개의 검출 결과를 나타내는 것으로, 도 21의 (A)는 촬상화상에서 인물을 포함하는 원래 화상을 도시한다. 도 21의 (B)는 헤드엣지화상 생성수단(31)에 의해 생성된 헤드엣지화상을 정규화하는 사이즈정규화수단(32)에 의해 유도된 정규화된 화상을 나타낸다. 도 21의 (C)는 정규화된 화상의 갭이 보완수단(33)에 의해 채워지는 보완된 화상을 나타낸다. 도 21의 (D)는 유사도를 나타낸다. 도 21의 (E)는 거리를 나타낸다. 각 원래의 화상하에서 배열된 도면은 원래의 화상으로부터의 결과를 나타낸다.

도 21의 (B)에 제시된 것처럼, 소정의 사이즈(이 실시예에서, 32 × 32 화소)를 가지도록 정규화하고 난 후, 갭들이 보완되어, 그것은 도 19a와 도 19b에 도시된 샘플 화상과 비교를 허용한다.

도 21의 (D)는 보완된 화상 및 샘플 화상 사이에서 유사도를 나타내고, 도 21의 (E)는 인물까지의 거리를 나타낸다. 위와 같이, 인물검출 장치(1)는 주어진 거리에서 인물을 검출할 수 있다.

도 21의 (E)에서, 거리가 3.5 m(도 21d)보다 클 때, 유사도는 감소한다(0.85 아래로). 그 다음, 예를 들면 판정수단(35b)에서 인물의 대상 거리 화상을 결정하기 위한 임계치는 인물을 정확하게 검출하기 위해 0.85로서 결정된다.

게다가, 인물의 검출 정확도를 증가시키기 위해, 인물이 검출된 거리는 소정의 범위 내에서 결정될 수 있다. 예를 들면, 이동체의 검출 범위가 3.5 m 내에 있다. 이동체까지의 대상 거리가 검출 범위를 초과할 때, 이 동작은 대상거리화상 생성수단(15)에 대상 거리를 공급하고 있지 않으며, 도 2에 도시된 이동체검출수단 (10)내 대상거리 설정수단(14)에 의해 제공될 수 있다.

위에 언급된 바와 같이, 인물검출 장치(1)의 구성은 실시예로서 설명된다. 인물검출 장치(1)는 인물검출 프로그램에 의해 작동된 일반적인 컴퓨터에 의해 제공되어, 상기 컴퓨터는 상술한 관련 부분들로서 동작하도록 한다.

이 실시예에서, 인물검출 장치(1)의 거리정보 생성수단(11)은 2대의 카메라 (2)에 의해 촬상된 촬상화상을 기초로 하여 거리 화상을 생성한다. 그러나, 거리 화상은 3대 이상의 카메라로 생성될 수도 있다. 예를 들면, 3행 3열의 매트릭스로 배열된 9명의 작업자는 매트릭스의 중앙에 배열된 카메라가 기준 카메라로서 결정된다. 거리 화상은 기준 카메라 및 다른 카메라 사이의 시차에 의해 생성되어, 이동체의 더 정확한 거리 측정을 가능하게 한다.

<인물검출장치의 동작>

도 5(가끔 도 1)를 참조하여, 인물검출 장치(1)의 동작을 설명할 것이다. 도 5는 본 발명에 따라 인물검출 장치(1)의 일반적 동작의 흐름도를 나타낸다.

우선, 인물검출 장치(1)는 이동체검출수단(10)(단계 S10: 이동체검출과정)의 복수의 카메라(2)에 의해 촬상된 촬상화상으로부터 움직임을 나타내는 이동체를 검출한다. 단계 S10에서, 이동체의 윤곽은 촬상화상으로부터 추출되고, 이동체가 위치하는 거리에 대응하는 화소값을 갖는 화소를 포함하는 대상 거리 화상이 생성된다.

다음, 인물검출 장치(1)는 헤드영역 설정수단(20)과 함께 단계 S10에서 추출된 이동체가 인물(단계 S20: 헤드 영역 설정과정)로 간주한다는 가정하에 헤드 영역을 설정한다. 단계 S20에서, 이동체가 인물이라고 가정할 때, 헤드 영역은 윤곽의 상부의 화소 위치에 기초하여 미리 정해지는 영역 내의 대상 거리 화상의 화소 분포를 기초로 하여 설정된다.

다음에, 인물검출 장치(1)는 인물판정수단(30)에 의한 단계 S20에서 설정된 헤드 영역내에서 촬상된 헤드가 인물의 헤드인지를 판정하여, 인물(단계 S30: 인물판정 과정)을 검출한다.

이하에, 단계 S10의 이동체(윤곽)검출 과정, 헤드 영역 설정과정 및 단계 S30의 인물판정과정을 더 상세하게 기술한다.

<이동체(윤곽)검출 과정>

우선, 도 6 및 도 7(가끔 도 2)을 참조하여, 도 5에서 단계 S10에 설명된 이동체(윤곽) 검출과정의 동작은 에 관해서 기술될 것이다. 도 6 및 도 7은 이동체 검출수단(10)에서 이동체(윤곽)검출과정의 동작을 나타내는 흐름도를 보인다.

촬상화상 입력 단계

우선, 이동체검출수단(10)은 2대의 카메라(2)로부터 촬상화상을 동기적으로 순차적으로 입력한다(단계 S101). 이 실시예에서, 이동체는 우측 카메라(2a)(기준 카메라)로부터 시간 t에 입력된 촬상화상 및 좌측 카메라(2b)로부터 시간 t에 입력된 촬상화상, 그리고 우측 카메라(2a)(기준 카메라) 및 좌측 카메라(2b)로부터 시간 t＋Δt에 입력된 촬상화상을 기초로 하여 추출된다. 또한, 거리 화상 D_t _-1 및 D_t-2 와 대상 거리 화상 TD_t _-2 및 TD_t _-1은 그 단계에서 각각 시간 t 및 시간 t-1에 생성된다.

거리 화상(거리 정보) 생성 단계

다음, 이동체검출수단(10)은 거리 화상샹성수단(11)으로부터 거리 화상 D_t를 생성하며, 여기서 시차들(거리들)이 우측 카메라(2a)(기준 카메라)및 좌측 카메라(2b)로부터 시간 t에 공급된 2개의 촬상화상으로부터 획득된 이동체를 포함하여 촬상된 대상에 삽입된다(단계 S102).

차분화상(동작 정보)생성단계

게다가, 이동체검출수단(10)은 동작정보생성수단(12)에 의해 우측카메 라(2a)(기준카메라)에 의해 시간 t 및 시간 t+△t에서 촬상된 2개의 촬상화상(기준촬상화상) 사이의 차분을 획득하여 차분화상 DIt를 생성하며, 차분을 갖는 화소는 "1"의 화소값을 갖도록 설정되고, 차분을 갖지않는 화소는 "0"의 화소값을 갖도록 설정된다(단계 S103).

엣지 화상생성단계

게다가, 이동체검출수단(10)은 엣지화상 생성수단(13)에 의하여 시간 t에 우측 카메라(2a)(기준 카메라)에 의하여 촬상된 촬상화상(기준 촬상화상)으로부터 엣지 화상 EDt를 생성한다(단계 S104).

대상 거리 설정단계

다음, 이동체검출수단(10)은 각 시차(거리)를 위해 움직임을 나타내는 화소를 카운트하고, ㅍ카운트된 수가 거리 화상 Dt의 검출 대상인 대상 거리 dt로서 최대인 것을 나타내는 거리를 설정한다. 여기서 각 시차는 단계 S102 및 S103의 대상거리 설정수단(14)에 의해 생성된 거리 화상 Dt와 차분화상 DIt(시간 t 및 시간 t ＋ Δt에서의 차분화상)에 의해 나타내어진다(단계 S105).

대상 거리 화상 생성단계

다음 이동체검출수단(10)은 단계 S104에서 대상거리화상 생성수단(15)에 의해 생성된 엣지 화상 EDt로부터 대상 거리 dt ±α에서의 화소를 추출함으로써 유 도된 대상 거리 화상 TDt를 생성한다(단계 S106).

인물검출 장치(1)는 이동체가 시간 t에서 거리 화상 Dt에 위치하는 깊이 방향에서 영역을 설정할 수 있다.

대상 영역 설정단계

다음, 이동체검출수단(10)은 대상영역 설정수단(16)에서 히스토그램생성수단(16a)과 함께 단계 S106에 의해 생성된 대상 거리 화상 TDt의 수직 방향(길이 방향)에서 화소를 카운트한다 (단계 S107).

게다가, 단계 S107에서, 히스토그램을 평활화하는 것은 바람직하다.

다음, 이동체검출수단(10)은 대상영역 설정수단(16)내 수평범위 설정수단(16b)을 사용하여, 시간 t에서 대상 거리 화상 TDt에서의 히스토그램내 최대 주파수를 나타내는 위치 x₁이 중앙에 오는 대상 영역의 수평 범위로서 소정의 좌우 영역을 설정한다 (단계 S108). 이 실시예에서, 인물을 검출하기 위해, 히스토그램들이 시간 t-2의 대상 거리 화상 TD_t _-2와 시간 t-1의 대상 거리 화상 TD_t _- ₁와의 사이에서 가장 큰 위치들을 연결하는 동작 벡터가 설정된다. 만일 동작 벡터 및 카메라(2)의 뷰 방향 사이의 각도가 45˚ 미만이라면, 중앙 위치 x₁ ± (0.5-0.6)m은 인물을 검출하기 위한 수평 범위로서 결정된다. 만일 동작 벡터 및 카메라(2)의 뷰 방향 사이의 각도가 45˚ 와 동일하거나 크다면, 중앙 위치 x₁ ± (0.2-0.3)m은 인물을 검출하기 위한 수평 범위로서 결정된다.

게다가, 이동체검출수단(10)은 대상영역 설정수단(16)의 수직범위 설정수단(16c)이 카메라 파라미터, 이를테면 경사각 및 바닥(설치면)으로부터의 고도를 기초로 하여, 대상 거리 화상 TDt와 함께 수직(상하방향)방향에서 대상 영역의 범위를 설정하도록 한다(단 S109).

예를 들면, 대상 거리 화상의 화상의 바닥의 위치(대상 영역의 하단)는 카메라(2)의 경사각 및 고도를 기초로 하여 획득된다. 다음, 대상 영역 내의 대상 거리 화상의 바닥으로부터의 화소의 수는 바닥위 2 m까지 영역을 가시각 및 이동체까지의 거리를 기초로 화소의 수로 변환함으로써 획득된다. 이것은 대상 거리 화상내 대상 영역의 상단을 제공한다. 2 m의 거리는 단지 하나의 예이고, 따라서 어떤 길이(고도)라도 될 수 있다.

윤곽추출단계

게다가, 이동체검출수단(10)은 윤곽추출수단(17)으로 하여금 단계 S106에서 생성된 대상 거리 화상 TDt에서 단계 S108 및 S109에서 설정된 대상 영역 내에서 윤곽을 추출하도록 한다(단 S110). 예를 들면, 윤곽은 대상 영역 내에서 다이내믹 윤곽 모델(SNAKES)를 사용하는 것에 의해 추출된다.

위에 언급된 동작은 이동체의 검출을 제공한다.

<헤드영역설정 과정>

다음, 도 8(가끔, 도 3)을 참조하여, 도 5에서 단계 S20에 관해서 기술된 헤 드 영역 설정과정의 동작에 관해서 기술될 것이다. 도 8은 헤드영역 설정수단(20)에서 헤드 영역 설정과정의 동작을 보이고 있는 흐름도다.

헤드탐색영역 설정단계

우선, 헤드영역 설정수단(20)은 헤드탐색영역 설정수단(21)으로 하여금 윤곽의 상부(상단)의 화소 위치로부터 소정의 범위를 가지는 영역을 인물의 헤드를 탐색하기 위한 영역(헤드탐색영역)으로서 설정하도록 한다 (단계 S201). 여기서, 헤드탐색영역설정수단(21)은 윤곽의 중력점의 X 좌표가 x로, 그리고 X 좌표 x에서의 윤곽의 상단의 Y 좌표를 y가 되도록 결정된 위치(x, y)를 기초로 하여 수직 방향으로의 헤드탐색영역의 영역을 설정한다. 예를 들면, 헤드탐색영역의 하한치는 y 아래의 소정의 거리(예를 들면, 0.2 m)이고, 상한치는 어떤 사이즈(예를 들면 2 m)에 대응하는 위치가 되도록 설정된다.

헤드 수직 범위 설정단계

다음, 헤드영역 설정수단(20)은 히스토그램생성수단(22)으로 하여금 헤드탐색영역 설정수단(21)에 의해 설정된 헤드탐색영역의 범위 내에서 수직 방향으로 각 좌표에 대한 대상 거리 화상에서 수평 방향으로 화소를 카운트하도록 하여, 히스토그램을 생성한다 (단계 S202). 게다가, 단계 S202에서, 히스토그램를 평활화하는 것은 바람직하다.

다음, 헤드영역 설정수단(20)은 수직범위 설정수단(23)에 의해 단계 S202에 서 생성된 히스토그램에서 수평 방향으로의 소정의 임계치보다 더 많은 화소를 나타내는 수직 방향으로의 좌표의 최상단점의 좌표를 기초로 하여 헤드 영역의 수직 범위를 설정한다 (단계 S203). 예를 들면, 수직범위 설정수단(23)은 최상단점의 좌표를 기준점으로, 기준점위의 소정 길이(예를 들면, 0.1m)위 좌표를 헤드영역의 상단으로, 상단아래의 소정 길이(예를 들면 0.5m)의 좌표를 헤드 영역의 하단으로 결정한다.

헤드 수평 범위 설정 과정

게다가, 헤드영역 설정수단(20)은 수평범위 설정수단(24)으로 하여금 소정의 좌우 범위를 윤곽의 중력점의 X 좌표가 중앙에 오는 헤드 영역의 수평 범위로서 결정하도록 한다. 특히 소정 길이(예를 들면 0.5 m)는 중력점의 X 좌표가 중앙에 오는 헤드 영역의 수평 범위로서 결정된다(단계 S204).

위에 언급된 동작은 인물의 헤드 영역이 카메라(2)(도 1을 참조)로부터 공급된 촬상화상에 위치되는 곳을 규정한다.

<인물판정과정>

다음, 도 9(가끔 도 4)를 참조하여, 도 5에서 단계 S30에 관해서 기술된 인물판정과정의 동작을 기술할 것이다. 도 9는 인물판정수단에서 인물판정과정의 동작을 표시하고 있는 흐름도이다.

헤드엣지화상 생성단계

우선, 인물판정수단(30)은 헤드엣지화상 생성수단(31)으로 하여금 소정의 임계치와 함께 엣지를 이진화하는 것에 의해, Sobel 작업자 등을 가지고 촬상화상의 헤드 영역에서 엣지를 추출하여, 헤드엣지화상을 생성한다(단계 S301). 게다가, 헤드엣지화상 생성수단(31)은 단계 S104(도 6을 참조)에서 생성된 엣지 화상으로부터 헤드 영역을 절단하여, 이진화에 의한 헤드엣지화상을 생성할 수 있다.

사이즈정규화 단계

다음, 인물판정수단(30)은 사이즈정규화수단(32)으로 하여금 헤드엣지화상을 소정의 사이즈를 갖는 화상으로 변환하여 정규화된 화상을 생성하도록 한다(단계 S302). 이것은 주어진 거리와 함께 생성된 헤드 영역의 화상(헤드엣지화상)을 정규화하여 소정의 사이즈를 가지도록 한다.

보완단계

인물판정수단(30)은 보완수단(33)으로 하여금 헤드엣지화상의 화소들에 대해서 각각 확대 과정 및 축소 과정을 복수 회 수행하여, 화상내 갭이 채워지는 보완된 화상을 생성한다 (단계 S303).

화상 시프트 단계

그 후, 인물판정수단(30)은 화상시프트수단(34)의 상하시프트수단(34a)으로 하여금 보완된 화상을 시프트하여 보완된 화상의 중력점의 위치를 샘플 화상의 중력점의 위치로 상하방향으로 조정하도록 한다(단계 S304). 이것은 보완된 화상내 헤드의 상하 위치가 샘플 화상내 헤드의 상하 위치와 대략 동일하도록 한다.

게다가, 인물판정수단(30)은 좌우시프트수단(34b)으로 하여금 보완된 화상을 시프트하여 보완된 화상의 중력점의 좌우 위치를 샘플 화상의 중력점의 좌우 위치로 조정하도록 한다(단계 S305). 이것은 보완된 화상내 헤드의 좌우위치가 샘플 화상내 헤드의 좌우 위치와 대략 동일하도록 한다.

단계 S304 및 S305의 실행은 보완된 화상내 헤드의 위치를 샘플 화상내 헤드 위치와 대략 동일하게 한다. 게다가, 단계 S304 및 S305는 역으로 실행될 수 있다.

유사도산출단계

다음, 인물판정수단(30)은 유사도판정수단(35)의 유사도산출수단(35a)으로 하여금 보완된 화상 및 샘플 화상내 각 화상 사이에서 유사도를 산출하도록 한다(단계 S306).

판정단계

다음, 인물판정수단(30)은 유사도판정수단(35)의 판정수단(35b)으로 하여금 단계 S306에서 산출된 유사도를 소정의 임계치와 비교하고, 유사도가 소정의 임계치보다 더 클 때, 영역이 인물의 헤드 영역이라고 판정한다 (단계 S307).

실시예에 따르는 인물검출 장치(1)는 상기의 단계들을 통하여 카메라(2)로부터 공급된 촬상화상으로부터 인물을 검출할 수 있다. 이 실시예에서, 인물은 시간 t에서 검출된다. 그러나, 상기의 단계들(S10부터 S30까지의 단계들)은 순차적으로 공급된 촬상화상을 기초로 하여 수행되어, 예를 들면 인물검출 장치(1)를 포함하는 로봇 또는 그 종류의 다른 것에 의하여 인물을 계속적으로 검출할 수 있다.

본 발명에 따르면, 심지어 오피스의 내부와 같은 복잡한 환경하에서조차 이동체가 인물인지 판정되기 때문에, 인물은 촬상화상으로부터 검출될 수 있다. 게다가, 본 발명에 따르면, 프레임 화상 사이의 배경의 위치 조절이 부정확하게 수행되기 때문에 비록 정지한 물체가 이동체로서 잘못 식별된다고 해도, 이동체가 인물인지 판정될 수 있기 때문에, 인물이 정확하게 검출될 수 있다.

Claims

복수 개의 카메라에 의해 촬상된 이동체를 포함하는 복수의 촬상화상에서 인물을 검출하는 인물검출 장치에 있어서,

촬상화상내의 이동체의 대상 영역과 카메라부터 이동체까지 대상 거리를, 촬상화상 내의 시차와 연속하여 입력되는 촬상화상들의 차이를 기초로 하여 이동체 정보로서 검출하는 이동체검출수단;

이동체가 인물이라고 가정할 때, 이동체검출수단에 의해 검출된 대상 영역내 대상 거리에 대응하는 소정의 사이즈를 갖는 것으로 헤드 영역을 설정하는 헤드영역 설정수단;

인물의 헤드 영역에 대응하는 소정의 사이즈를 가지는 샘플 화상을 기억하는 샘플화상 기억수단; 및

촬상화상내 헤드 영역설정수단에 의해 설정된 헤드영역을 소정의 사이즈를 가지는 화상으로 변환하고, 이동체가 인물인지 판정하기 위하여 변환된 헤드영역을 샘플 화상과 비교하는 것에 의해. 이동체가 인물인지를 판정하는 인물판정수단을 포함하는 인물검출장치.
제1항에 있어서, 샘플 화상이 헤드 영역의 형상을 표시하고 있는 화상이고, 상기 인물판정수단은

헤드영역 설정수단에 의해 설정된 헤드 영역에 대응하는 엣지 화상으로서 헤 드엣지화상을 생성하는 헤드엣지화상 생성수단;

상기 헤드엣지화상 생성수단에 의해 생성된 헤드엣지화상을 소정의 사이즈를 가지는 정규화된 화상으로 변환하는 사이즈정규화수단;

상기 사이즈정규화수단에 의해 변환된 정규화된 화상의 갭이 채워진 보완 화상을 생성하는 보완수단; 및

보완 화상 및 샘플 화상 사이의 유사도를 기초로 이동체가 인물이라고 판정하는 유사도판정수단을 포함하는 인물검출장치.
제1항에 있어서, 보완된 화상의 기준 위치를 샘플 화상의 소정의 기준 위치로 조정하는 화상시프트수단을 더 포함하는 인물검출장치.
제2항에 있어서, 상기 보완수단은 헤드엣지화상 생성수단에 의해 생성된 헤드엣지화상의 영역을 복수회 확대하고 축소하는 것에 의해 각각 헤드엣지화상내 갭을 채우는 것을 특징으로 하는 인물검출장치.
제3항에 있어서, 상기 보완수단은 헤드엣지화상 생성수단에 의해 생성된 헤드엣지화상의 영역을 복수회 확대하고 축소하는 것에 의해 각각 헤드엣지화상내 갭을 채우는 것을 특징으로 하는 인물검출장치.
제1항 내지 제5항 중의 어느 한 항에 있어서, 상기 샘플화상 기억수단은 샘 플 인물의 복수의 샘플 화상을 기억하며, 샘플 인물의 방향은 샘플 화상 중의 하나로부터 샘플 화상의 다른 하나로 변함을 특징으로 하는 인물검출장치.
제1항 내지 제5항 중의 어느 한 항에 있어서, 상기 이동체검출수단은 대상 거리가 소정의 범위 내에 있을 때 이동체 정보를 출력되며, 소정의 범위는 상기 인물판정수단에 의해 인물을 검출할 때 측정된 정확도에 따라서 사전에 판정됨을 특징으로 하는 인물검출장치.
제6항에 있어서, 상기 이동체검출수단은 대상 거리가 소정의 범위 내에 있을 때 이동체 정보를 출력되며, 소정의 범위는 상기 인물판정수단에 의해 인물을 검출할 때 측정된 정확도에 따라서 사전에 판정됨을 특징으로 하는 인물검출장치.
복수 개의 카메라에 의해 촬상된 이동체를 포함하는 복수의 촬상화상내에 포함되는 인물을 검출하는 방법에 있어서,

촬상화상내의 이동체의 대상 영역과 카메라부터 이동체까지 대상 거리를, 촬상화상 내의 시차와 연속하여 입력되는 촬상화상들의 차이를 기초로 하여 이동체 정보로서 검출하는 단계;

이동체가 인물이라고 가정할 때, 대상 영역내 대상 거리에 대응하는 소정의 사이즈를 갖는 것으로 헤드 영역을 설정하는 단계;

헤드엣지화상을 헤드 영역에 대응하는 엣지화상으로 생성하는 단계;

헤드엣지화상을 소정의 사이즈를 가지는 정규화된 화상으로 변환하는 단계;

사이즈 정규화수단에 의해 변환된 정규화된 화상내 갭을 채워 하나의 보완된 화상을 생성하는 단계;

상기 보완된 화상과 샘플 화상 기억수단에 이전에 기억된 소정의 사이즈를 가지는 헤드영역의 샘플화상 사이의 유사도를 계산하는 단계; 및

상기 유사도에 기초하여 이동체가 인물인지를 판정하는 단계를 포함하는 인물검출방법.
복수 개의 카메라에 의해 촬상된 복수의 촬상화상으로부터 인물을 검출하도록 컴퓨터를 작동시키는 인물검출 프로그램에 있어서,

촬상화상내의 이동체의 대상 영역과 카메라부터 이동체까지 대상 거리를, 촬상화상 내의 시차와 연속하여 입력되는 촬상화상들의 차이를 기초로 하여 이동체 정보로서 검출하는 이동체검출수단;

이동체가 인물이라고 가정할 때, 이동체검출수단에 의해 검출된 대상 영역내 대상 거리에 대응하는 소정의 사이즈를 갖는 것으로 헤드 영역을 설정하는 헤드영역 설정수단;

인물의 헤드 영역에 대응하는 소정의 사이즈를 가지는 샘플 화상을 기억하는 샘플화상 기억수단; 및

촬상화상내 헤드 영역설정수단에 의해 설정된 헤드영역을 소정의 사이즈를 가지는 화상으로 변환하고, 이동체가 인물인지 판정하기 위하여 변환된 헤드영역을 샘플 화상과 비교하는 것에 의해. 이동체가 인물인지를 판정하는 인물판정수단의 기능들을 포함하는 인물검출프로그램.