KR101184170B1 - 볼륨 인식 방법 및 시스템 - Google Patents

Abstract

본 발명은, a) 각 점(5)이 3차원 공간에서 적어도 일련의 좌표를 갖는 복수 개의 점들(5)을 나타내는 3차원 이미지 데이터를 3차원 이미징 시스템을 이용하여 포착하는 단계; b) 적어도 일부의 점들(5)을 일련의 클러스터들(6)로 분류하는 단계; c) 위치와 크기와 같은 파라미터의 제1 세트에 따라 상기 이미징 시스템(3) 범위 내에 배치된 관심 피사체(1)에 상응하는 클러스터(6)를 선택하는 단계; d) 3차원 공간에서 선택된 클러스터(6)의 점들(5)의 위치를 포함하는 파라미터의 제2 위치에 따라, 그 점들(5)의 적어도 일부를 각각 3차원 공간에서 중심점(11)을 갖는 일련의 서브 클러스터에서 분류하는 단계; 및 e) 상기 서브 클러스터의 적어도 일부의 각각에 상기 서브 클러스터의 중심점(11)에 고정되는 체적(12)을 결합시키는 단계를 포함하는 볼륨 인식 방법에 관한 것이다. 또한 본 발명은 이 방법을 실시하기 위한 볼륨 인식 시스템에 관한 것이다.

Description

볼륨 인식 방법 및 시스템{VOLUME RECOGNITION METHOD AND SYSTEM}

본 발명은 볼륨 인식 방법 및 시스템, 특히, 한정되는 것은 아니지만, 데이터 처리 장치와 상호 작용하는 볼륨 인식 방법 및 시스템에 관한 것이다.

데이터 처리 시스템과의 상호 작용, 특히 데이터 및 명령의 입력이 일반적으로 알려진 문제점이다. 통상적으로, 이러한 상호 작용은 사용자의 물리적 작용에 반응하여 신호를 생성하는 키보드, 마우스, 스크롤 휠, 펜, 터치스크린, 조이스틱, 게임패드 등과 같은 물리적 입력 장치를 통해 발생한다. 그러나, 이러한 물리적 입력 장치는 많은 단점을 갖고 있다. 예컨대, 이 장치는 단지 한정된 양의 상이한 입력 신호를 제공할 수 있고, 3차원 "가상 현실" 환경과 같은 몇몇 용례에서, 불편함을 느끼게 하고 현실성이 부족할 것이다. 또한, 이 장치는 마모에 민감하고, 이들의 반복적인 사용은 반복사용 긴장성 손상 증후군(Repetitive Strain Injury)과 같은 사용자의 건강에 대해 부정적인 결과를 가져올 수도 있다.

대안적인 입력 장치 및 방법이 또한 공지되어 있다. 예컨대, 음성 인식을 위한 실용적인 시스템이 이용될 수 있다. 그러나, 음성 인식은, 사용자에 의한 신속하고, 정확하며 반복적인 입력이 요구되는 액션 게임과 같은 일부 용례에 대하여는 실용적인 대안이 되지 않는다. 또한, 이들의 유효성이 배경 소음에 의해 악영향을 받고, 일반적으로 특정 사용자의 음성 명령을 인식하기 위한 학습 기간을 필요로 한다. 또 다른 대안은 이미지 인식이다. 가장 간단한 형태로, 이미지 인식 시스템은 바코드와 같은 대비 색상의 2진 패턴을 인식하고, 처리를 위해 이러한 패턴을 2진 신호로 전환한다. 더 진보된 이미지 인식 시스템이 이미지에서 더 복잡한 패턴을 인식할 수 있고 응답하여 더 다양한 신호를 생성할 수 있다. 이러한 이미지 인식 시스템은, 예컨대, 미국 특허 제6256033호에서, 이미징(imaging) 시스템의 범위에서 사용자의 동작을 인식하기 위해 제안되었다. 그러나, 종래의 이미징 시스템은 깊이의 인식이 없고 단지 상기 사용자의 2차원 투영을 생성할 수 있다. 결과적으로, 사용자의 동작을 인식하는 것은 본래 결함이 있고, 가능한 입력 범위가 한정되어 있으며 가능한 인식 실수로 가득할 수 있다. 특히, 이러한 시스템은 사용자와 그 배경을 구별하는 문제점을 갖고 있다.

그러나, 3차원 이미징 시스템의 발전은, 예컨대 더 양호한 사용자 동작 인식을 허용하는 형상 인식 방법 및 장치를 발전시킬 가능성을 제공한다. 이러한 3차원 이미징 시스템은 G. Yahav, G. J. Iddam 및 D. Mandelboum의 "3D Imaging Camera for Gaming Application"에 개시되어 있었다. 이 논문에 개시된 3차원 이미징 시스템은 소위 "Time-Of-Flight" 또는 TOF 형이고, 여기서 깊이 인식은 3차원 이미징 시스템 범위 내의 물체로부터 반영된 빛의 파면 형상으로부터 얻어진다. 그러나, 스테레오 카메라, LIDAR, 레이더, 소나 등과 같은 이미징 시스템의 다른 유형이 또한 제안되었다.

이러한 3차원 이미징 시스템을 이용한 동작 인식 방법 및 시스템이 국제특허출원 WO 00/30023 A1에 개시되어 있었다. 그러나, 본 문헌의 방법은 볼륨을 인식하는 것이 아니라 단지 관심 피사체인 소정 영역에서 물체의 점의 존재와 그 움직임에 반응하기 때문에, 가장 단순한 동작만 인식할 수 있고 더 복잡한 용례에 적합하지 않게 남아 있을 수 있다. 훨씬 더 기본적인 입력 방법이 WO 2004/064022 A1에 개시되어 있었다.

미국 특허 출원 공보 US 2006/023558 A1은 3차원 이미징 시스템을 이용한 형상 인식 방법을 개시하고 있다. 이 방법에서, 3차원 이미지의 점들은 그 인식 깊이 에 따른 클러스터 또는 "덩어리(blob)"로 분류된다. 미리 정해진 피사체의 상이한 형상의 원형이 이들 "덩어리"에 결합될 수 있다. 이 볼륨 인식 방법이 3차원 이미징 시스템 범위 내의 피사체의 더 정확한 모델링을 허용하지만, 여전히 현저한 단점을 갖는다. 이미지 내의 모든 피사체가 "덩어리"로 배치되기 때문에, 그 수와 복잡성이 이용 가능한 데이터 처리 능력에 의해 한정될 것이다. 실제로, 이는 상기 공보의 형상 인식 방법을 차량 충돌 경고 및 예방 시스템과 같이 물체의 원 모델만을 요구하는 용례로 한정한다. 동작 인식 시스템과 같이 더 미세한 볼륨 인식을 요구하는 용례에서 여전히 비실제적일 것이다.

미국 특허 출원 공보 US 2003/0113018 A1 및 국제 특허 출원 WO 03/071410 A2 모두 동작 인식에 더 적절한 형상 인식 방법을 개시하고 있다.

US 2003/0113018 A1에 개시한 방법에서, 사용자는 3차원 이미징 시스템에 가장 가까운 피사체이고, 배경을 무시하기 위해서, 미리 결정된 깊이 입구보다 더 가까운 3차원 이미지의 점들이 선택된다. 이 때 선택된 점들은 여러 상이한 기준 및 그룹 알고리즘에 따라 몸통, 머리, 팔 및 손을 나타내는 5개의 클러스터로 분류된다. 이 때 몸통 및 팔은 평면 형상으로 결합되어 있고 머리 및 손은 3차원 볼륨으로 결합되어 있다. 이 방법은 더 진보된 동작 인식을 허용하지만, 볼륨 인식이 여전히 비교적 조잡한데, 이는 특히 몸통과 팔이 3차원 요소이기보다는 오히려 평면인 것으로 인식되기 때문이다.

WO 03/071410 A2에 개시한 방법에서, US 2006/023558 A1에서와 같이 3차원 이미지의 점들이 감지 깊이에 따라 클러스터로 분류하는 볼륨 인식 방법이 개시되어 있고, 손과 같은 관심 피사체를 나타내는 클러스터 중 하나가 선택된다. 이 때, 동작은 상기 선택된 클러스터의 점들의 특징의 통계학적인 분석 및 미리 결정된 패턴과의 비교에 의해 인식된다. 이 방법이 상기 다른 종래의 방법보다 더 효과적이지만, 한결같은 인식을 위해 패턴의 실질적인 정보를 요구할 것이다.

따라서, 본 발명에 의해 제기된 문제점은, 결과적으로 동작 인식을 통해 데이터 처리 시스템과의 더 쉽고 더 정확한 상호 작용을 허용하도록, 비교적 상세하게 3차원 이미징 시스템의 범위 내에서 관심 피사체의 볼륨을 신속하게 인식하는 방법 및 시스템을 제공하는 것이다.

본 발명의 볼륨 인식 방법은, 3차원 공간에서 그 위치를 포함하는 파라미터의 제2 세트에 따른, 각각 3차원 공간 내에서 중심점을 갖는 일련의 서브 클러스터에서 위치와 크기와 같은 파라미터의 제1 세트에 따라 선택되고 상기 이미징 시스템의 범위 내에 배치된 관심 피사체에 상응하는 클러스터의 점들의 적어도 일부를 분류하는 단계; 상기 서브 클러스터의 적어도 일부의 각각에 상기 서브 클러스터의 중심점에 고정되는 볼륨을 결합시키는 단계에 의해 본 문제점을 처리한다.

이러한 단계에 의해서, 본 발명의 볼륨 인식 방법은 큰 처리 능력에 의지하지 않고 상기 서브 클러스터와 결합된 볼륨에 의해서 형성된 관심 피사체의 비교적 정확한 3차원 모델을 제공한다. 이러한 3차원 모델은 비교적 정확하지만 그럼에도 불구하고 서브 클러스터의 중심점의 위치를 바로 이용하여 표현될 수 있고, 따라서 예컨대 동작 인식을 통해 데이터 처리 시스템과의 상호 작용을 위해 3차원 모델의 더한 처리를 용이하게 한다.

또한 유리하게는, K 평균 알고리즘은 서브 클러스터의 미리 결정된 수 K로 선택된 클러스터의 상기 점들을 분류하기 위해 이용될 수 있다. K 평균 알고리즘을 이용하여, 미리 결정된 수의 서브 클러스터에서 점들을 분류하는 신속하고 효과적인 방법을 제공한다.

유리하게는, 서브 클러스터와 결합된 볼륨은 바람직하게는 상기 서브 클러스터의 중심점에 집중된 구체일 수 있다. 이 형상은, 양호한 볼륨 인식을 허용하는 동시에, 단독 파라미터로서 반지름을 이용하고, 따라서 관심 피사체의 3차원 모델을 표현하는 데이터 세트의 크기를 더 줄이는 것을 특징으로 할 수 있다.

또한 유리하게는, 상기 점들을 클러스터로 분류하는 것은 다음 단계를 포함하는 방법에 따라 실시될 수 있다:

a) 제1 점을 포함하는 제1 클러스터를 생성하는 단계;

b) 각기 다른 점에 대하여 다음의 작업:

ⅰ) 중심점이 3차원 공간에서 상기 다른 점에 가장 가까운 클러스터를 찾는 작업; 및

ⅱ) 상기 다른 점과 상기 가장 가까운 클러스터 중심점 사이의 3차원 공간에서의 절대 거리가 미리 결정된 한계값(threshold) θ보다 크고, 클러스터의 수가 여전히 미리 결정된 최대값 q 이하인 경우 상기 다른 점을 포함하는 추가 클러스터를 생성하는 작업; 또는

ⅲ) 상기 절대 거리가 미리 결정된 한계값 θ보다 크지 않거나, 클러스터의 수가 상기 미리 결정된 최대값 q에 이미 도달한 경우 그 중심점이 상기 다른 점에 가장 가까운 클러스터에 상기 다른 점을 추가하는 작업

을 실행하는 단계.

본 발명의 방법은 일련의 클러스터에서 이미지 데이터의 점들을 분류하는 신속하고 유효한 방법을 보장하고, 각각의 점은 관심 피사체를 포함하여 3차원 공간에서 뚜렷한 피사체에 상응한다. 3차원 공간에서 점들의 위치에 따라 본 발명의 방법에 의해 점들을 분류함으로써, 3차원 이미지로 나타난 피사체는 깊이에 따른 단순한 선택에 의해서 종래 기술에서보다 더 신뢰할 수 있게 구별될 수 있다. 이는 결국 트래킹 영역에서 여러 후보의 존재에도 관심 피사체에 상응하는 클러스터의 선택을 허용할 것이다.

특히 유리하게는, 상기 점들을 클러스터로 분류하는 단계는, 상기 클러스터 중 두 개가 연결되는지를 결정하는 단계, 및 연결된 클러스터를 병합하는 단계를 더 포함할 수 있다. 이는 단지 하나의 점이 선택될 여러 클러스터 내로 관심 피사체의 점들을 분류하는 잠재적인 문제점을 방지할 것이다.

훨씬 더 유리하게는, 상기 클러스터 중 두 개가 연결되는지를 결정하기 위해, 이하의 단계가 이어질 수 있다:

a) 상기 두 개의 클러스터의 중심점을 연결하는 축선을 따른 상기 두 개의 클러스터 중 각 하나의 점들의 투영 분포의 표준 편차를 계산하는 단계; 및

b) 미리 결정된 인자 S(예컨대 2)가 곱해진 표준 편차의 합이 두 개의 클러스터들의 중심점 사이의 절대 거리보다 더 큰지 여부를 조사하는 단계.

이들 단계에 의해서, 인접한 클러스터들 사이의 연결을 효과적으로 결정하는 것이 결과적으로 연결 클러스터를 병합하기 위해 실시될 수 있다.

유리하게는, 상기 이미징 시스템은 TOF 3차원 카메라, 스테레오 카메라, 3차원 공간 내의 상이한 위치에 배치된 복수 개의 카메라, 또는 LIDAR, 소나 또는 레이더 시스템을 포함할 수 있다. 이들 이미징 시스템 중 어느 하나는 볼륨 인식에 적절한 3차원 이미지 데이터를 제공할 수 있다.

유리하게는, 상기 이미징 시스템은 각 점의 깊이, 천정각 및 방위각을 적어도 포함할 수 있고, 이들 점의 적어도 일부의 깊이, 천정각 및 방위각을 3차원 데카르트 좌표계로 변환하는 단계를 더 포함한다. 이는 본 발명의 볼륨 인식 방법에서 3차원 이미지에 의해 제공된 깊이 이미지의 더 용이한 취급을 허용한다.

유리하게는, 상기 관심 피사체는 바람직하게는 서 있는 신체의 적어도 일부일 수 있다. 이는 사용자가 그 신체의 적어도 일부를 이용하여 데이터 처리 장치와 상호 작용할 수 있게 한다.

특히 유리하게는, 상기 방법은 상기 신체 몸통의 주축선 및 대략적인 질량 중심을 계산하는 단계를 더 포함할 수 있다. 예컨대 "가상 현실" 용례의 경우 사용자 몸통의 위치, 배향 및 움직임이 데이터 처리 시스템과 상호 작용하기에 특히 유용할 수 있기 때문에, 임의 분포 한도의 위치와 동작에 독립적으로, 대략 질량 중심과 주축선을 계산하는 것이 특히 유리할 수 있다.

훨씬 더 유리하게는, 몸통의 상기 대략적인 질량 중심과 주축선이 이하의 단계를 실행함으로써 계산될 수 있다:

a) 상기 선택된 클러스터의 중심점과 주축선을 계산하는 단계;

b) 상기 선택된 클러스터의 주축선에 대하여 선택된 클러스터의 점들 거리의 분포 곡선을 계산하는 단계;

c) 상기 분포 곡선에서 변곡점을 계산하는 단계;

d) 선택된 클러스터의 상기 주축선에 대하여 D*s보다 짧은 거리를 갖는 점들을 선택하는 단계(여기서, s는 선택된 클러스터의 상기 주축선에 대한 상기 변곡점의 거리이고 D는 1.25 이하, 바람직하게는 1 이하의 인자); 및

e) 몸통의 상기 질량 중심과 주축선을 선택된 점들의 중심점과 주축선으로서 계산하는 단계.

신체에 상응하는 클러스터에서 임의의 분포 한도에 상응하는 점들이, 몸통에 상응할 보통 가장 큰 밀도를 갖는 점들의 영역으로부터 명확하게 분리될 것이기 때문에, 이 단계는 몸통의 대략적인 질량 중심과 주축선의 계산에서 이 점들을 무시하는 것을 허용할 것이다.

특히 유리하게는, 상기 몸통의 질량 중심 위치 및/또는 몸통의 주축선 및/또는 상기 몸통의 주축선의 배향에 따른 신호를 데이터 처리 시스템으로 전송될 수 있다. 상기한 바와 같이, 이는 예컨대 "가상 현실" 용례와 사용자의 특히 자연적인 상호작용을 허용할 것이다.

특히 유리하게는, 상기 방법은 신체의 높이를 측정하는 단계를 더 포함할 수 있다.

훨씬 더 유리하게는, 신체의 높이의 특히 정확한 측정이, 상기 선택된 클러스터의 점들 중에서 몸통 주축선에 미리 결정된 거리보다 더 가까운 점들의 높이를 계산하고, 바람직하게는 중간값 필터링에 의해서 상기 높이를 필터링하고, 필터링 후에 상기 높이의 최대값을 선택하는 것에 의해서 얻어질 수 있다. 이러한 단계에 의해서 얻어진 신체의 높이 측정은, 보통 뻗은 팔의 위치에 의해 영향받지 않을 것이어서 사용자 머리 위치를 결정하는 것과 같은 목적을 위해 신뢰할 수 있게 이용될 수 있다.

훨씬 더 유리하게는, 상기 신체의 높이의 측정은, 몸통의 상기 주축선이 실질적으로 수직인 것과 같은 일련의 조건이 충족된다면 단지 유효한 것으로서 간주될 수 있다.

유리하게는, 상기 일련의 서브 클러스터와 결합된 볼륨이 데이터 처리 시스템에 의해 생성된 가상 환경에서 나타날 수 있다. 이는 비교적 적은 처리 노력으로 선택된 가상 환경에서 관심 피사체의 비교적 사실적인 묘사를 허용할 것이다. 상기 사용자의 신체가 관심 피사체라면, 볼륨은 예컨대 사용자의 아바타로서 제공될 것이다.

훨씬 더 유리하게는, 가상 환경의 일련의 요소와 상호 작용하도록, 상기 일련의 서브 클러스터의 볼륨 표시와 상기 가상 환경의 일련의 요소 사이의 충돌 조사가 있을 수 있다. 따라서, 사용자는 예컨대 움직임으로써 가상 환경의 요소를 밀고, 잡고, 기동시키거나 당겨서 상기 표시가 상기 요소를 건드린다.

유리하게는, 서브 클러스터들 사이의 일련의 링크는 서브 클러스터의 중심점들 간의 절대 거리, 서브 클러스터들 사이의 점들의 존재 등과 같은 기준을 이용하여 달성될 수 있다. 이러한 방식으로, 관심 피사체의 근본적인 구조가 인식될 수 있고, 따라서 결과적인 상호 작용을 용이하게 하고 더 감소된 데이터 세트로 관심 피사체의 정확한 3차원 모델의 생성을 허용할 수 있게 한다.

훨씬 더 유리하게는, 상기 관심 피사체의 일련의 사지가 상기 링크에 따라 확인될 수 있다. 따라서 상이한 신호들이 사지의 운동 또는 위치 또는 사지들 사이의 상대 운동 또는 위치에도 지정될 수 있어서, 이러한 볼륨 인식 방법을 이용하여 입력 인터페이스의 다양성을 증가시킨다.

훨씬 더 유리하게는, 상기 사지의 적어도 하나가 (예컨대 신체의) 미리 결정된 패턴에 따라 분류된다. 따라서 상이한 신호들이 상이한 사지의 운동 또는 위치에 지정될 수 있고, 따라서 이러한 볼륨 인식 방법을 이용하여 입력 인터페이스의 다양성을 증가시킨다.

훨씬 더 유리하게는, 신호는 상기 사지의 적어도 하나의 절대 및/또는 상대 위치 및/또는 운동에 따라 데이터 처리 시스템에 전달될 수 있다. 이는 특히 다양한 상호 작용 방법을 제공할 것이다.

또한, 본 발명은, 각 점은 3차원 공간에서 적어도 일련의 좌표를 갖고, 상기 점들의 적어도 일부는 상기 이미징 시스템의 범위 내에 위치한 관심 피사체에 상응하는, 복수 개의 점들을 나타내는 3차원 이미지 데이터를 포착하기 위한 이미징 시스템 및 상기 이미징 시스템에 연결되고 상기 이미징 시스템과 협력하여 본 발명의 볼륨 인식 방법을 실시하도록 프로그래밍된 데이터 처리 시스템을 포함하는 볼륨 인식 시스템에 관한 것이다.

본 발명의 여러 바람직한 실시예를, 첨부 도면을 참조로 하여 한정되는 것은 아니지만, 예시적으로 설명할 것이다.

도 1은 본 발명의 실시예에 따른 방법 및 볼륨 인식 시스템을 이용하여 데이터 처리 시스템과 상호 작용하기 위한 3차원 이미징 시스템의 전면에 서 있는 사용자가 방에 있는 모습을 도시한다.

도 2는 동일한 방의 3차원 이미지 데이터를 3차원 이미징 시스템에 의해 포착된 것과 같은 3차원 공간에 분포된 점들 형태로 도시한다.

도 3은 점들이 각각의 위치에 따라 어떻게 클러스터로 분류하는지를 도시한다.

도 4는 인접한 클러스터들이 연결을 위해 어떻게 조사되는지를 도시한다.

도 5는 점들이 클러스터로 분류되며, 상기 클러스터들 중 하나는 사용자에 대응하는, 도 2의 동일한 3차원 이미지 데이터를 도시한다.

도 6a는 사용자에 상응하는 클러스터의 150개 서브 클러스터의 중심점을 도시한다.

도 6b는 각각 도 6a의 중심점 중 하나에 집중된 150개의 구체를 도시한다.

도 6c는 가상 환경에서 사용자를 나타내는 도 6b의 150개의 구체를 도시한다.

도 7a는 사용자에 상응하는 클러스터의 25개 서브 클러스터의 중심점을 도시한다.

도 7b는 도 7a의 중심점을 연결하는 네트워크를 도시한다.

도 7c는 도 7b의 네트워크에 기초한 가상 신체 구조를 도시한다.

도 7d는 도 7c의 가상 신체 구조에 기초한 사용자 아바타를 도시한다.

도 8a는 오른팔을 뻗고 있는 사용자 및 사용자를 나타내는 클러스터의 중심점과 주축선뿐만 아니라 사용자 몸통의 질량 중심과 주축선을 도시한다.

도 8b는 도 8a에서의 점들의 분포 곡선을 도시한다.

도 9는 팔을 뻗은 채로 데이터 처리 장치의 스크린과 마주하는, 초기 위치에서 사용자를 도시한다.

볼륨 인식 방법 및 시스템의 실시예의 가능한 이용 중의 하나가 도 1에 도시되어 있다. 본 용례에서, 본 시스템 및 방법은, 사용자(1)에게 표시되는 가상 환경을 생성하는 데이터 처리 장치(2)와 상호 작용하기 위해, 관심 피사체, 본 경우에는 사용자(1)의 동작을 인식하기 위해 이용된다.

본 발명의 볼륨 인식 시스템은 3차원 이미징 시스템, 본 특정 실시예에서는 TOF 3차원 카메라(3)를 포함한다. 이 TOF 3차원 카메라(3)는 사용자(1)가 상호 작용하는 데이터 처리 장치(2)에 연결되어 있다. 본 실시예에서, 이 데이터 처리 장치(2)는 TOF 3차원 카메라(3)와 협력하여 본 발명의 볼륨 인식 방법을 실시하도록 자체 프로그래밍되어 있다. 대안적으로, 상기 방법을 실시하도록 프로그래밍된 별도의 데이터 처리 장치가 TOF 3차원 카메라와 데이터 처리 장치(2) 사이에 연결되어 사용자가 상기 데이터 처리 장치(2)와 상호 작용하게 할 수 있다.

TOF 3차원 카메라(3)는 사용자(1)가 서 있는 방(4)의 3차원 이미지 데이터를 포착하고, 복수 개의 픽셀과 이 픽셀에 의해서 이미지 처리된 점의 TOF 3차원 카메라(3)로의 거리에 상응하는 각 픽셀에 대한 깊이 값을 갖는 방의 2차원 이미지를 포함한다. 2차원 이미지에서 픽셀의 X 및 Y 위치 자체가, 이들이 TOF 3차원 카메라(3)에 대하여 나타내는 점들의 정점 및 방위각에 상응하기 때문에, 이러한 3차원 이미지 데이터는 TOF 3차원 카메라(3)의 범위 내의 피사체의 가시 점들에 상응하는 3차원 점 구름(5)에 의해서 도 2에서와 같이 도시될 수 있다. 용이한 처리를 위해, TOF 3차원 카메라(3)에 대하여 각 점(5)의 깊이, 정점 및 방위각은 데카르트 좌표로 전환될 수 있다.

본 발명의 볼륨 인식 방법의 다음 단계에서, 이러한 점들(5)은 클러스터(6)로 분류된다. 클러스터(6)는 도 3에 도시한 바와 같이 인접 점(5)들을 포함할 것이다. 이 클러스터링은, 1998년에 Academic Press에서 발행된 Sergios Theodoridis, Konstantinos Koutroumbas 및 Ricky Smith의 저서 "Pattern Recognition"의 챕터 12에 기술한 것으로서, 적절한 결과를 얻기 위해 여러 번 반복할 필요없이 싱글 패스로 클러스터링을 실행할 것이기 때문에 속도의 이점이 있는, BSAS 알고리즘을 이용하여 실시된다.

이 클러스터링을 실시하기 위해, 제1 점(5)을 포함하는 제1 클러스터(6)가 생성되고, 그 후 이하의 작업이 각 다른 점(5)에 대하여 실시된다:

ⅰ) 중심점(7)이 3차원 공간에서 상기 다른 점(5)에 가장 가까운 클러스터(6)를 찾는 작업; 및

ⅱ) 상기 다른 점(5)과 상기 가장 가까운 클러스터 중심점(7) 사이의 3차원 공간에서의 절대 거리가 미리 결정된 한계값 θ보다 크고, 클러스터(6)의 수가 여전히 미리 결정된 최대값 q 이하인 경우 상기 다른 점(5)을 포함하는 추가 클러스터(6)를 생성하는 작업; 또는

ⅲ) 상기 절대 거리가 미리 결정된 한계값 θ보다 크지 않거나, 클러스터의 수가 상기 미리 결정된 최대값 q에 이미 도달한 경우 그 중심점(7)이 상기 다른 점(5)에 가장 가까운 클러스터(6)에 상기 다른 점(5)을 추가하는 작업.

이 클러스터링 단계는 점들(5)을 포함하는 복수 개의 클러스터(6)를 야기할 것이다. 그러나, 이 알고리즘의 이용은 실제로 연결된 여러 클러스터(6)를 야기할 수 있다. 점들(5)을 적절하게 분류하기 위해서, 이렇게 연결된 클러스터(6)가 탐지될 것이고 도 4에 도시한 것과 같이 병합될 것이다.

두 개의 클러스터(6)가 연결되는지를 결정하기 위해서, 이들 두 개의 클러스터(6)의 점들(5)이 두 개의 클러스터(6)의 중심점들(7)을 연결하는 축선(8)으로 먼저 투영된다. 그 후, 축선(8)에 따라 얻어진 투영 분포의 표준 편차가 클러스터(6)의 각각에 대하여 계산된다. 미리 결정된 인자 S(본 특정 실시예에서는 2)를 곱한 이들 표준 편차의 합이 두 개의 클러스터들(6)의 중심점들(7) 사이의 절대 거리보다 크다는 것을 발견한 경우, 두 개의 클러스터들(6)이 연결되는 것으로 결정될 것이다. 이 경우, 두 개의 클러스터들은(6) 하나의 것을 형성하도록 병합될 것이다.

이러한 클러스터링 및 병합의 결과는 도 5에 도시한 것과 같이 TOF 3차원 카메라(3) 범위에서 다양한 피사체를 대략적으로 나타내는 일련의 클러스터(6)일 것이다. 이들 클러스터(6) 중에서, 하나는 사용자(1)를 나타낼 것이다. 사용자(1)를 나타내는 이 클러스터(6)는 다양한 수단에 의해 확인될 수 있다. 예컨대, 클러스터(6)는, 사용자(1)가 데이터 처리 장치(2)와 상호 작용하기 위해 서 있어야 하는 결정된 트래킹 지역에 있어야 하는 경우 및 최소 갯수의 점들(5)을 포함하는 경우 사용자(1)를 나타내는 것으로 인식될 것이다. 여러 클러스터(6)가 이러한 기준을 만족하는 경우, TOF 3차원 카메라(3)에 가장 가까운 클러스터(6)가 사용자(1)를 나타내는 것으로 선택될 수 있다. 사용자(1)를 나타내는 클러스터(6)를 식별하기 위한 또 다른 기준은 신체와 일치하는 미리 결정된 패턴으로 클러스터 점들(5)의 분포에 적합할 수 있다. 예컨대, 초기 시퀀스에서 사용자(1)가 도 9에 도시한 바와 같이 팔을 뻗은 채로 서 있는 경우, 사용자(1)를 나타내는 클러스터(6)의 점들(5)이 특징적이고 용이하게 인식되는 패턴에 따라 분포될 것이다. TOF 3차원 카메라(3)가 연속 순간에서 일련의 3차원 이미지 데이터 프레임을 포착하는 이동 사진 카메라일 때, 사용자(1)에 상응하는 클러스터(6)를 확인하는 또 다른 가능한 기준이 앞선 프레임에서 사용자(1)를 나타내는 것으로서 확인된 클러스터(6)와 근접할 수 있다. 이러한 방식으로, 예컨대, 볼륨 인식 시스템은, 사용자(1)가 사람으로서 덜 용이하게 인식되는 자세를 취한 후에도 또는 다른 사람이 트래킹 영역에 들어온 후에도 기술한 바와 같이 초기 시퀀스 중에 먼저 인식된 사용자(1)를 계속 추적할 수 있다.

그러므로, 데이터 처리 장치(2)와 상호 작용하는 것이 예컨대,

- TOF 3차원 카메라(3) 범위 내에서 사용자(1)의 존부;

- 사용자(1)에 상응하는 것으로서 인식될 수 있는 클러스터(6)의 수; 및/또는

- 방(4)의 일반적인 배치

를 통해 가능할 수 있다.

또한, 사용자(1)는,

- 클러스터(6)의 적어도 일부의 대칭;

- 공간 내에서 클러스터(6)의 적어도 일부의 분포;

- 클러스터(6)의 적어도 일부에서 점들(5)의 분포;

- 클러스터(6)의 적어도 일부의 중심점(7); 및/또는

- 클러스터(6)의 적어도 일부의 주축

과 같은, 사용자(1)를 나타내는 클러스터(6)의 특성을 통해 데이터 처리 장치(2)와 상호 작용할 수 있다.

일단 사용자(1)를 나타내는 클러스터(6)가 식별되면, K 서브 클러스터의 세 트로 세분된다. 클러스터(6)의 점들(5)이 K 평균 알고리즘을 이용하여 이들 K 서브 클러스터로 분류된다.

K 평균 알고리즘은 K 초기 서브 클러스터로 점들(5)을 분할함으로써 시작한다. 그 후, 각 초기 서브 클러스터의 중심점(11)을 계산한다. 색과 같은 추가적인 파라미터가 이용될 수 있지만, 3차원 공간에서 가장 가까운 중심점(11)과 각 점(5)을 결합시킴으로써 K 서브 클러스터에서 새로운 부분을 구성한다. 그 후, 중심점(11)이 새로운 서브 클러스터에 대하여 다시 계산된다. 이 공정은 점들(5)이 더 이상 서브 클러스터를 연결하지 않을 때까지, 또는 중심점(11)의 위치가 안정될 때까지 반복될 수 있다. 실제로, 양호한 결과가 하나의 반복으로 얻어질 수 있다.

제1 실시예에서, K 초기 서브 클러스터는 클러스터(6)의 높이 또는 클러스터(6)에서의 점들(5)의 분포와 같이 클러스터(6)의 소정 파라미터에 따라 또는 임의적으로 결정되며, K는 비교적 큰 수(예컨대 150)이다. 이러한 K 평균 알고리즘을 이용하는 것은, 도 6a에 나타낸 바와 같이, 각각 중심점(11)을 갖는 150개의 서브 클러스터의 한 벌을 야기한다. 150개의 서브 클러스터의 각각의 하나에 대해 미리 결정된 반지름의 구체(12)를 결합시키는 것은, 도 6b에 나타낸 바와 같이, 사용자(1)의 모델(13)을 야기한다. 이 모델(13)은 양호한 정확성을 갖고 사용자(1)에 의해 차지된 볼륨을 나타낸다.

도 6c는 데이터 처리 장치(2)에 의해 생성된 가상 환경에서 나타낸 모델(13)을 도시한다. 사용자(1)는 가상 환경에서의 구체(12) 표시와 가상 환경의 요소(14) 사이의 단순 충돌 및/또는 근접도 조사를 통해 가상 환경의 요소(14)와 상호 작용 할 수 있다. 따라서, 사용자(1)는 또한 예컨대:

- 데이터 처리 장치(2)에 의해 생성된 가상 환경의 적어도 하나의 요소(14)와 적어도 하나의 구체(12) 표시의 하나 또는 여러 차원에서의 충돌 또는 근접도[상기 요소(14)는 점, 1차원, 2차원 또는 3차원일 수 있음];

- 데이터 처리 장치(2)에 의해 생성된 가상 환경에서 사용자(1)의 실제 환경의 적어도 하나의 실체를 표시하는 적어도 하나의 구체(12) 표시의 하나 또는 여러 차원의 충돌 또는 근접도;

- 서브 클러스터의 중심점(11)의 하나 또는 여러 위치 및/또는 운동; 및/또는

- 서브 클러스터들, 예컨대 중심점(11)이 실질적인 운동을 나타내는 서브 클러스터들의 적어도 하나와 결합된 구체(12)에 의해 형성된 볼륨의 위치, 운동 및/또는 형상

을 통해 데이터 처리 장치(2)와 상호 작용할 수 있다.

제2 실시예에서, 질량 중심, 일반적인 배향, 머리 위치, 어깨 위치와 배향 및 신체의 높이와 같은 사용자(1) 신체의 특징을 뽑아내도록 사용자(1)에 상응하는 클러스터(6)의 형상을 분석한다. 질량 중심 또는 일반적인 배향과 같은 이들 여러 특징을 전체 클러스터(6)의 점들(5)로부터 계산할 수 있는 동시에, 도 8a에 도시한 바와 같이, 사용자(1)의 팔(15)의 위치에 의해서 심하게 영향받을 수 있고, 우측 팔(15)을 뻗은 사용자(1)를 나타내는 클러스터(6)의 중심점(7) 및 주축선(16)이 사용자(1) 신체와 포개지는 것으로 나타난다. 이러한 이유로, 본 특정 실시예에서, 팔(15)에 상응하는 점들(5)이 확인되고 먼저 무시되어, 사용자(1)의 질량 중심(17)과 몸통(19)의 주축선(18)을 계산할 수 있고, 여기서 몸통(19)은 팔(15)을 제외한 사용자(1)의 전체 몸으로 이해된다. 이를 위해, 이하의 단계가 실행된다:

a) 상기 선택된 클러스터(6)의 중심점(7)과 주축선(16)을 계산하는 단계;

b) 상기 주축선(16)에 대하여 선택된 클러스터(6)의 점들(5) 거리의 도 8b에 나타낸 바와 같은 분포 곡선(20)을 계산하는 단계;

c) 상기 분포 곡선(20)에서 변곡점(21)을 계산하는 단계;

d) 선택된 클러스터(6)의 상기 주축선(16)에 대하여 D*s보다 짧은 거리를 갖는 점들(5')을 선택하는 단계[여기서, s는 선택된 클러스터(6)의 상기 주축선(16)에 대한 상기 변곡점(21)의 거리이고 D는 1.5 이하, 바람직하게는 1.25 이하의 인자]; 및

e) 몸통(1)의 상기 질량 중심(17)과 주축선(18)을 선택된 일련의 점들(5)의 중심점과 주축선으로서 계산하는 단계.

이 공정은 반복 실시될 수 있지만, 보통 싱글 패스로 이미 양호한 결과를 얻을 수 있다.

클러스터(6) 내의 머리(22)와 어깨(23)의 위치는 목(25)과 어깨(26)에 의해 형성된 특정 각(24)으로 확인될 수 있다. 두 어깨(26)의 위치로부터, 어깨의 배향이 또한 추정될 수 있다. 도 9에 도시한 초기 시퀀스에서, 사용자(1)는 어깨(26)의 배향이 출력 디스플레이 스크린의 배향과 평행하게 고려될 수 있도록, 출력 디스플레이 스크린과 마주하도록 요구될 수 있고, 이는 이후의 이용을 위해 참조 값을 제 공할 것이다. 따라서, 이러한 초기 시퀀스는 적어도 출력 디스플레이 스크린의 배향에 대한 참조뿐만 아니라 TOF 3차원 카메라(3)에 대한 사용자(1)의 초기 위치에 대한 참조를 제공할 수 있다. 데이터 처리 장치(2)와 사용자(1)의 이후의 몇몇 상호 작용은 상기 초기 위치에 대한 사용자(1)의 적어도 일부의 상대 위치에 관련이 있을 수 있다.

사용자(1)의 신체의 높이는 또한 선택된 점들(5)을 이용하여 계산된다. 더 양호한 정확성을 위해서, 선택된 점들(5)의 평균 필터링이 실시되고, 가장 높이 존속하는 선택 점(5)의 높이는 사용자(1)의 신체의 높이로 취급된다. 이러한 신체의 높이 측정은, 몸통(19)의 상기 주축선(18)이 실질적으로 수직이거나 상기 가장 높이 존속하는 선택 점(5)이 머리(22)를 나타내는 것으로 취급되는 클러스터(26) 영역 또는 그 근처에 존재하는 것과 같은 일련의 조건들을 충족하는 경우에 단지 유효한 것으로 고려될 것이다.

TOF 3차원 카메라(3)가 이동 사진 카메라라면, 여러 프레임에 대한 신체의 높이 측정은, 사용자(1)의 가능한 소음과 일시적으로 낮은 위치를 참작하도록, 가우시안 혼합 모델로 전송된다. 충분한 질량을 갖는 최대 평균치를 갖는 가우시안 혼합 모델은 사용자(1) 신체의 높이의 확실한 값을 제공할 것이다.

이러한 제2 실시예에서, 신체의 높이, 몸통(19)의 질량 중심(17)과 주축선(18), 머리(22)의 위치 및 어깨(26)의 위치와 배향은 K 평균 알고리즘을 이용하여 K 서브 클러스터 내로 클러스터(6)의 구획에서 이용될 수 있다. 예컨대, K 초기 서브 클러스터들 중 하나는 머리(22)에 상응하는 것으로 취급되는 적어도 일부 점 들(5)을 포함할 수 있다. 따라서, 클러스터(6)는 신체의 구조에 상응하는 패턴에 따른 서브 클러스터의 더 작은 K 수(예컨대 25)로 분할될 수 있다. 25개의 이러한 서브 클러스터의 중심점(11)이 도 7a에 나타나 있다.

서브 클러스터의 중심점들(11) 사이의 절대 거리, 서브 클러스터들 사이의 점들(5)의 존재 등과 같은 기준을 이용하여 서브 클러스터가 연결되는 것을 결정할 수 있다. 서브 클러스터들 사이의 이러한 연결을 결정하는 목적은, 도 7b에 나타낸 바와 같이, 서브 클러스터의 중심점들(11) 사이의 링크(28)의 네트워크(27)를 생성하는 것이다. 이러한 네트워크(27)로부터, 서브 클러스터들이 다른 서브 클러스터들로의 링크(28)를 거의 갖지 않기 때문에, 서브 클러스터들이 사지(29)를 형성하는 것으로 추측될 수 있다.

따라서, 사용자(1)는 예컨대

- 질량 중심(17)의 위치 및/또는 운동;

- 주축선(18)의 위치, 배향 및/또는 운동;

- 어깨(26)의 위치, 배향 및/또는 운동;

- 머리(22)의 위치 및/또는 운동;

- 하나 또는 여러 개의 사지(29)의 위치, 배향, 운동 및/또는 형상

을 통해 데이터 처리 장치(2)와 상호 작용할 것이다.

절대 위치와 운동뿐만 아니라 상대 위치와 운동이 이들의 상호 작용을 위해 이용될 수 있다. 예컨대, 사용자(1)는 서로에 대한 사지(29)의 상대 위치와 운동을 통해 데이터 처리 장치(2)와 상호 작용할 수 있고, 데이터 처리 장치(2)에 의해 생 성된 가상 환경의 주축선(18), 어깨(26), 머리(22) 및/또는 적어도 하나의 요소(14)가 상호 작용의 근원일 수 있다.

도 7b에 도시한 바와 같이, 네트워크(27)가 신체와 같이 미리 결정된 패턴에 따른 구조(28)를 생성하기 위해 이용될 수 있다. 따라서, 사지(2)는 일반적으로 사지로 취급될뿐만 아니라 예컨대 특히 오른팔(30) 또는 왼다리(31)와 같이 분류된다. 이는 상호 작용의 가능성을 더 증가시킨다. 또한 가상 환경에서 사용자(1)를 나타내기 위해, 도 7d에 도시한 바와 같이, 대형 아바타(32)의 생성을 허용한다.

상기 모든 상호 작용은 별도로 또는 결합된 방식으로 일어날 수 있다. 예컨대, 150개의 구체(12)가 차지하는 볼륨과 사용자 사지(2)의 상대 운동 모두를 통해 데이터 처리 장치(2)와 사용자(1)가 상호 작용하게 하도록 상기 모든 실시예의 공정을 실시하는 것이 가능할 수 있다.

마찬가지로, 본 발명의 볼륨 인식 시스템 및 방법은, 단독으로 또는 데이터 처리 장치(2)와 연결하기에 적절한 다른 사용자 인터페이스(예컨대, 스위치, 키보드, 마우스, 트랙볼, 타블렛, 터치패드, 터치스크린, 6 DOF 주변장치, 조이스틱, 게임패드, 동작 추적 시스템, 눈 추적 장치, 데이터 글러브, 3차원 마우스, 음성 인식장치, 생체전기 센서, 신경 단위 인터페이스, 트레드밀, 정전기 자전거, 로잉 머신, 또는 데이터 처리 장치(2)에 입력을 제공하기에 적절한 임의의 다른 센서 또는 인터페이스)와 조합하여 이용될 수 있다.

본 발명의 볼륨 인식 시스템 및 방법을 통해 데이터 처리 장치(2)로 제공될 수 있는 명령 및 입력 중에,

- 회전, 병진, 위치설정 및/또는 배향의 관점과 같은 2차원 및/또는 3차원 네비게이션뿐만 아니라, 원근, 범위, 색, 노출 등과 같은 다른 시각적인 파라미터

- 메뉴, 리스트, 파라미터 선책, 및/또는 입력장 내의 네비게이션을 포함한 인터페이스 요소 네비게이션

- 아바타 제어, 위치, 배향, 병진, 회전, 외양, 형상 및/또는 기능과 같은 적용 피사체 파라미터의 제어 및/또는 시스템 파라미터의 제어를 포함한 조종

- 작동 명령, 파라미터 변화 명령 및/또는 상태 변화 명령, 적용 피사체, 제어 파라미터 및/또는 기타의 상태를 변화시키기 위한 작동 명령 및/또는 명령의 확인과 같은 트리거링

- 인터페이스 요소, 적용 피사체, 실제 환경 피사체 등의 선택

- 예컨대 물리적 시뮬레이션에서의 강제 입력

- 예컨대 음량, 적용 피사체의 외양, 적용 피사체의 표시에 대한 출력 파라미터 조절

이 존재한다.

데이터 처리 장치(2)는 예컨대

- 2차원 또는 3차원 디스플레이 장치, 확성기, 헤드폰, 프린터, 촉각 출력 장치, 환기장치 및/또는 배경 조명장치와 같은 컴퓨터 출력 장치

- 가상 현실 고글, 휴대용 디스플레이 장치, Cave®와 같은 복합 디스플레이 장치, Reality Center®와 같은 대형 디스플레이 장치, 입체 스크린, 에너지 복귀 장치, 3차원 디스플레이 장치, 스모크 머신 및/또는 스프링클러와 같은 가상 현실 출력 장치

- 창문 셔터 제어 장치, 가열 제어 장치 및/또는 조명 제어 장치와 같은 가정 자동화 장치

- TV 및/또는 음악 시스템과 같은 가정용 엔터테인먼트 장치

- 휴대용 음악 및/또는 비디오 플레이어, 위치설정 시스템, 개인용 디지털 보조기기, 개인용 컴퓨터 및/또는 휴대폰과 같은 휴대용 장치

- 밸브, 트레드밀 등과 같은 데이터 처리 장치에 연결될 수 있는 다른 장치

와 같은 다양한 출력 장치 중 임의의 것에 차례로 연결될 수 있다.

본 발명은 특정의 대표 실시예를 참조로 하여 기술되었지만, 청구범위에서 설명한 것처럼 본 발명의 광범위한 범위에서 벗어나지 않고 이들 실시예에서 다양한 변경 및 변화가 이루어질 수 있음이 명백할 것이다. 따라서, 설명 및 도면은 한정적인 의미라기보다 예시적인 의미로 고려되어야 한다.

Claims (27)

1. 사용자가 그의 신체의 적어도 일부분을 이용하여 데이터 프로세싱 장치와 상호작용할 수 있도록 하기 위한 볼륨 인식 및 모델링 방법에 있어서,

   a) 3D 이미징(imaging) 시스템(3)을 이용하여, 각 점(5)이 3차원 공간에서 적어도 일련의 좌표를 갖는 복수 개의 점들(5)을 나타내는 3차원 이미지 데이터를 포착하는 단계;

   b) 일련의 클러스터들(6)을 형성하기 위해 상기 점들(5) 중 적어도 일부를 분류하는 단계;

   c) 파라미터들의 제1 세트에 따라 상기 이미징 시스템(3) 범위 내에 배치된 관심 피사체(1) - 상기 관심 피사체(1)는 상기 사용자의 신체의 적어도 일부로서 인식됨 - 에 상응하는 클러스터(6)를 선택하는 단계;

   d) 파라미터들의 제2 세트에 따라 상기 선택된 클러스터(6)의 점들(5)의 적어도 일부를 서브 클러스터들 - 상기 서브 클러스터들 각각은 상기 3차원 공간에서 중심점(11)을 가짐 - 의 세트로 분류하는 단계; 및

   e) 상기 서브 클러스터들 각각의 각 중심점(11)과 볼륨(12)을 연관시키는 단계

   를 포함하는 볼륨 인식 및 모델링 방법.
2. 제1항에 있어서, 상기 파라미터들의 제1 세트는 위치, 크기 또는 형태 중 하나 이상을 포함하는 것인 볼륨 인식 및 모델링 방법.
3. 제1항 또는 제2항에 있어서, 상기 파라미터들의 제2 세트는 3차원 공간에서의 위치 또는 색상 중 하나 이상을 포함하는 것인 볼륨 인식 및 모델링 방법.
4. 제1항 또는 제2항에 있어서, K 평균 알고리즘이 상기 선택된 클러스터(6)의 각 점들(5)을 미리 결정된 K개의 서브 클러스터들로 분류하는 데에 이용되는 것인 볼륨 인식 및 모델링 방법.
5. 제1항 또는 제2항에 있어서, 서브 클러스터와 연관된 상기 볼륨(12)은 구체(sphere)인 것인 볼륨 인식 및 모델링 방법.
6. 제5항에 있어서, 상기 구체(sphere) 각각은 상기 서브 클러스터의 중심점(11)에 중심을 두는 것인(centred) 볼륨 인식 및 모델링 방법.
7. 제1항 또는 제2항에 있어서, 상기 점들(5) 중 적어도 일부를 분류하는 단계는,

   b1) 제1 점(5)을 포함하는 제1 클러스터(6)를 생성하는 단계; 및

   b2) 각각의 다른 점(5)에 대하여 다음의 단계들:

   (ⅰ) 중심점(7)이 상기 3차원 공간에서 상기 다른 점에 가장 가까운 클러스터(6)를 찾는 단계; 및

   (ⅱ) 상기 다른 점(5)과 상기 가장 가까운 클러스터 중심점(7) 사이의 3차원 공간에서의 절대 거리가 미리 결정된 한계값(threshold) θ보다 크고, 클러스터들(6)의 수가 여전히 미리 결정된 최대값 q 이하인 경우, 상기 다른 점을 포함하는 추가 클러스터(6)를 생성하는 단계; 또는

   (ⅲ) 상기 절대 거리가 상기 미리 결정된 한계값 θ보다 크지 않거나, 상기 클러스터들(6)의 수가 상기 미리 결정된 최대값 q에 이미 도달한 경우, 그 중심점(7)이 상기 다른 점(5)에 가장 가까운 클러스터(6)에 상기 다른 점(5)을 추가하는 단계

   를 실행하는 단계

   를 포함하는 것인 볼륨 인식 및 모델링 방법.
8. 제7항에 있어서, 상기 점들(5) 중 적어도 일부를 분류하는 단계는,

   b3) 상기 클러스터들(6) 중 두 개가 연결되는지의 여부를 결정하는 단계; 및

   b4) 연결된 클러스터들(6)을 병합하는 단계

   를 더 포함하는 것인 볼륨 인식 및 모델링 방법.
9. 제8항에 있어서, 상기 클러스터들(6) 중 두 개가 연결되는지의 여부를 결정하는 단계는,

   (ⅰ) 상기 두 개의 클러스터들(6)의 중심점들(7)을 연결하는 축선(8)을 따르는 상기 두 개의 클러스터들(6) 중 각 하나의 점들(5)의 투영 분포의 표준 편차를 계산하는 단계; 및

   (ⅱ) 미리 결정된 인자(factor) S가 곱해진 표준 편차의 합이 상기 두 개의 클러스터들(6)의 중심점들(7) 사이의 절대 거리보다 더 큰지의 여부를 조사(check)하는 단계

   를 포함하는 것인 볼륨 인식 및 모델링 방법.
10. 제1항 또는 제2항에 있어서, 상기 이미징 시스템(3)은 TOF(time-of-flight) 3D 카메라, 스테레오 카메라, 상기 3차원 공간 내의 상이한 위치들에 배치된 복수 개의 카메라들, LIDAR 시스템, 소나 시스템, 또는 레이더 시스템 중 어느 하나를 포함하는 것인 볼륨 인식 및 모델링 방법.
11. 제1항 또는 제2항에 있어서, 상기 이미지 데이터는, 각 점(5)의 깊이 값, 천정각 및 방위각을 적어도 포함하며,

    상기 볼륨 인식 및 모델링 방법은, 상기 점들(5) 중 적어도 일부의 깊이 값, 천정각 및 방위각을 3차원 데카르트 좌표계로 변환하는 단계를 더 포함하는 것인 볼륨 인식 및 모델링 방법.
12. 제1항 또는 제2항에 있어서, 사람의 신체는 선 자세(standing position)에 있는 것인 볼륨 인식 및 모델링 방법.
13. 제12항에 있어서,

    f) 상기 신체의 몸통(19)의 질량 중심(17) 및 주축선(18)을 계산하는 단계를 더 포함하는 볼륨 인식 및 모델링 방법.
14. 제13항에 있어서, 상기 신체의 몸통(19)의 질량 중심(17) 및 주축선(18)을 계산하는 단계는,

    f1) 상기 선택된 클러스터(6)의 중심점(7)과 주축선(16)을 계산하는 단계;

    f2) 상기 선택된 클러스터(6)의 상기 주축선(16)에 대하여 선택된 클러스터(6)의 점들(5)의 거리의 분포 곡선(20)을 계산하는 단계;

    f3) 상기 분포 곡선(20)에서 변곡점(21)을 계산하는 단계;

    f4) 상기 선택된 클러스터(6)의 상기 주축선(16)에 대하여 D*s보다 짧은 거리를 갖는 점들(5)을 선택하는 단계 - 여기서, s는 상기 선택된 클러스터(6)의 상기 주축선(16)에 대한 상기 변곡점(21)의 거리이고, D는 1.25 이하의 인자임 -; 및

    f5) 상기 몸통(19)의 상기 질량 중심(17)과 주축선(18)을 상기 선택된 점들(5)의 중심점과 주축선으로서 계산하는 단계

    를 포함하는 것인 볼륨 인식 및 모델링 방법.
15. 제14항에 있어서, 상기 인자는 1 이하인 것인 볼륨 인식 및 모델링 방법.
16. 제13항에 있어서, 상기 몸통(19)의 질량 중심(17)의 위치와 상기 몸통(19)의 주축선(18) 중 적어도 하나, 상기 몸통(19)의 주축선(18)의 배향, 그리고 상기 몸통(19)의 질량 중심(17)의 위치와 상기 몸통(19)의 주축선(18) 중 적어도 하나 또는 상기 몸통(19)의 주축선(18)의 배향에 따라, 신호들을 데이터 처리 시스템(2)으로 전송하는 것인 볼륨 인식 및 모델링 방법.
17. 제13항에 있어서, 상기 신체의 높이를 측정하는 단계를 더 포함하는 볼륨 인식 및 모델링 방법.
18. 제17항에 있어서, 상기 신체의 높이는, 상기 선택된 클러스터(6)의 점들 중에서 상기 몸통(19)의 주축선(18)까지의 미리 결정된 거리보다 더 가까운 점들(5)의 높이를 계산하고, 중간값 필터링에 의해서 상기 높이를 필터링하고, 필터링 후에 상기 높이의 최대값을 선택함으로써 측정되는 것인 볼륨 인식 및 모델링 방법.
19. 제18항에 있어서, 상기 신체의 높이의 측정은, 상기 몸통(19)의 상기 주축선(18)이 수직인 것과 같은 조건이 충족된다면 단지 유효한 것으로서 간주되는 것인 볼륨 인식 및 모델링 방법.
20. 제1항 또는 제2항에 있어서, 상기 일련의 서브 클러스터들에 결합된 볼륨들(12)이 데이터 처리 시스템(2)에 의해 생성된 가상 환경에서 표시되는 것인 볼륨 인식 및 모델링 방법.
21. 제20항에 있어서, 상기 가상 환경의 일련의 요소들(14)과 상호 작용하도록, 상기 일련의 서브 클러스터들의 볼륨들(12) 표시와 상기 가상 환경의 일련의 요소들(14) 사이의 충돌 및 근접 조사 중 적어도 하나를 하는 것인 볼륨 인식 및 모델링 방법.
22. 제1항 또는 제2항에 있어서, 상기 서브 클러스터들 사이의 일련의 링크들(28)은 상기 서브 클러스터들의 중심점들(11) 간의 절대 거리, 서브 클러스터들 사이의 점들(5)의 존재와 같은 기준을 이용하여 설정되는 것인 볼륨 인식 및 모델링 방법.
23. 제22항에 있어서, 상기 관심 피사체(1)의 일련의 사지(extremity; 29)를 상기 링크(28)를 따라 확인하는 것인 볼륨 인식 및 모델링 방법.
24. 제23항에 있어서, 상기 사지(29)의 적어도 하나가 신체의 미리 결정된 위치, 배향, 운동 및 형상 중 적어도 하나에 따라 레이블(label)되는 것인 볼륨 인식 및 모델링 방법.
25. 제23항에 있어서, 상기 사지(29)의 적어도 하나의 절대 위치와 상대 위치 중 적어도 하나, 운동, 그리고 절대 위치와 상대 위치 중 적어도 하나 또는 운동에 따라, 데이터 처리 시스템(2)에 신호들이 전달되는 것인 볼륨 인식 및 모델링 방법.
26. 제1항 또는 제2항에 있어서, 동작 인식을 통해, 상기 볼륨(12)들의 근접성(proximity)과 충돌 조사 중 적어도 하나를 통해, 그리고 동작 인식 또는 상기 볼륨(12)들의 근접성(proximity)과 충돌 조사 중 적어도 하나를 통해, 가상 환경의 요소들과의 상기 상호작용이 수행되는 것인 볼륨 인식 및 모델링 방법.
27. 볼륨 인식 및 모델링 시스템에 있어서,

    각 점(5)이 3차원 공간에서 적어도 일련의 좌표를 갖고, 상기 점들(5)의 적어도 일부는 이미징 시스템(3)의 범위 내에 위치한 관심 피사체(1)에 상응하는 것인, 복수 개의 점들(5)을 나타내는 3차원 이미지 데이터를 포착하기 위한 이미징 시스템(3); 및

    상기 이미징 시스템(3)에 연결되고, 상기 이미징 시스템(3)과 협력하여 제1항 또는 제2항에 따른 볼륨 인식 및 모델링 방법을 수행하도록 프로그래밍된 데이터 처리 시스템(2)

    을 포함하는 볼륨 인식 및 모델링 시스템.

Images