KR20070120443A

KR20070120443A - 모션 캡쳐 장치 및 모션 캡쳐 방법과 모션 캡쳐 프로그램

Info

Publication number: KR20070120443A
Application number: KR1020070059441A
Authority: KR
Inventors: 웨이꾸오 우; 케이스케 야마오카; 위위 리우
Original assignee: 소니 가부시끼 가이샤
Priority date: 2006-06-19
Filing date: 2007-06-18
Publication date: 2007-12-24
Also published as: DE602007001104D1; US8355529B2; CN101093582B; CN101093582A; US20080112592A1; EP1870038B1; EP1870038A1; JP4148281B2; JP2007333690A

Abstract

사람의 움직임의 속도나 복잡한 배경 등에 의하지 않고, 실환경에서 이용 가능한 로버스트(robust)한 모션 캡쳐 장치 및 모션 캡쳐 방법과 모션 캡쳐 프로그램을 제공한다.

키네마틱스(kinematics) 모델의 관절사이의 연결성 구속에 따른 순서로, 관절의 예측위치를 자세·위치 예측부(5)에서 예측하고, 자세·위치 투영부(6)에서 예측위치를 2차원 화상상에 투영하고, 신뢰성 평가부(7)에서 2차원 화상상에 투영된 예측위치의 신뢰성을 평가하고, 평가결과에 근거하여 자세·위치 추정부(8)에서 추정위치를 추정한다. 그리고, 자세·위치 추정부(8)에서 추정된 추정위치는, 다음에 예측하는 계층의 관절의 예측위치 연산에 이용된다.

Description

모션 캡쳐 장치 및 모션 캡쳐 방법과 모션 캡쳐 프로그램{Motion capture apparatus and method, and motion capture program}

도 1은, 본 발명의 일실시의 형태에 있어서의 모션 캡쳐 장치의 구성을 나타내는 블록도이다.

도 2는, 본 발명의 일실시의 형태에 있어서의 모션 캡쳐 처리의 개요를 설명하기 위한 모식도이다.

도 3은, 대상인물의 키네마틱스 모델 생성처리의 개요를 설명하기 위한 모식도이다.

도 4는, 키네마틱스 모델을 생성하기 위한 초기화부의 구성을 나타내는 블록도이다.

도 5는, 초기화부에 있어서의 초기화 처리를 나타내는 플로차트이다.

도 6은, 초기화 처리를 설명하기 위한 도면이다.

도 7은, 본 실시의 형태에 있어서의 계층적 예측방법을 설명하기 위한 도면이다.

도 8은, 키네마틱스 모델의 각 관절위치의 예측을 위한 구성을 나타내는 블록도이다.

도 9는, 키네마틱스 모델의 각 관절위치의 예측을 위한 구성을 나타내는 블 록도이다.

도 10은, 전(前)의 관절점(S_k-1)의 추적결과의 신뢰성을 평가하고, S_k의 예측 모델을 동적으로 변화시키는 처리예를 설명하기 위한 모식도이다.

도 11은, 자세·위치 투영부, 신뢰성 평가부 및 자세·위치 추정부의 처리를 설명하기 위한 모식도이다.

*도면의 주요부분에 대한 부호의 설명

1L,1R. 카메라 2. 카메라 파라미터 취득부

3. 화상·거리정보 관측부 4. 초기화부

5. 자세·위치 예측부 6. 자세·위치 투영부

7. 신뢰성 평가부 8. 자세·위치 추정부

41. 거리계측부 42. 얼굴 검출부

43. 마스크 생성부 44. 색분포 산출부

45. 손검출 윈도우 생성부 46. 손검출부

47. 관절위치 산출부

본 발명은, 카메라로 촬상된 화상에 근거하여 대상인물의 자세 또는 동작을 인식하는 모션 캡쳐 장치 및 모션 캡쳐 방법과 모션 캡쳐 프로그램에 관한 것이다.

사람과 기기와의 자연스러운 인터페이스를 실현하는데에는, 사람의 손짓·몸짓을 포함하고, 조작자의 여러 가지 행동이나 음성 등의 정보를 통합적으로 해석하고, 사람의 존재나 의도 등을 검출하여 인식하는 것이 불가결하다. 그 때문에, 사람의 움직임이나 행동 패턴의 해석에 관한 여러 가지 기술이 검토되어 왔다. 움직임 해석 기술로서는, 특수한 마커(marker) 등을 이용하여 움직임 정보를 취득하는 것과, 마커 없이 화상 해석에 의하는 것으로 대별할 수 있다.

특수한 마커 등을 이용하는 시스템은, 자기식, 기계식, 광학식 등이 있지만, 최근의 움직임 추적·캡쳐 시스템으로서는, 특히 광학식의 모션 캡쳐 시스템이 자주 이용되고 있다. 예를 들면, Vicon Peaks사의 MX카메라 시스템(상표), Natural Point사의 OptiTrack(상표), Motion Analysis사의 Hawk Digital System(상표) 등의 모션 캡쳐·해석 시스템이 이미 CG(Computer Graphics), 영화 제작 등의 분야에서 이용되고 있다. 마커가 붙은 움직임 해석 시스템의 메리트로서는, 인물 등의 움직임 정보를 정확하게 계측할 수 있으므로, CG나 영화제작 등의 고정밀도의 움직임 해석이 필요하다는 점에서 자주 이용된다.

그러나, 이 방식은, 대규모의 시스템 구성이 필요하거나, 마커의 설치에 의한 인체로의 부담이 있기도 하기 때문에, 자연스러운 HMI(Human Machine Interface)라고 부를 수 없다.

그래서, 본 발명자들은, 일반 환경에서의 자연스러운 HMI를 실현하기 위해, 마커 없이 화상해석에 의한 움직임 해석 기술을 이용하고 있다. 마커 없이 화상 해석에 의한 움직임 해석 수법은, 몇 개인가 검토되고 있지만, 대표적으로는, 인물 의 3차원 모델과 스테레오 화상에 의한 움직임과 자세추적수법(예를 들면, 비특허 문헌 1 참조.), 다수 카메라를 이용하는 인물의 3차원 모델에 근거하는 인물 움직임 추적수법(예를 들면, 비특허 문헌 2 참조.), 인물영역과 운동모델에 의한 움직임 해석수법(예를 들면, 비특허 문헌 3 참조.) 등을 들 수 있다.

[비특허 문헌 1] D.Demirdjian, T. Ko, T.Darrell, Constraining Human Body Tracking, Proceedings of the International Conference on Computer Vision, 2003.

[비특허 문헌 2] K.M. Cheung, S.Baker, J.K.Hodgins, and T.Kanade, Markerless Human Motion Transfer, Proceedings of the 2nd International Symposium on 3D Data Processing, Visualization and Transmission, September, 2004.

[비특허 문헌 3] Ramanan, D., Forsyth, DA, Zisserman, A. "Strike a Pose: Tracking People by Finding Stylized Poses. " Computer Vision and Pattern Recognition(CVPR), San Diego, CA, June 2005.

[비특허 문헌 4] D. Demirdjian, T.Darrell, 3-D Articulated Pose Tracking for Untethered Diectic Reference, Proceedings of the International Conference on Multimodal Interfaces, 2002.

비특허 문헌 1에 기재된 수법은, 시스템 구성이 간단하고, 한정된 환경에 있어서 리얼타임으로 인물의 움직임·자세 추정이 가능하지만, 거리화상의 정밀도에 의존하는 것이나, 전후(前後) 프레임간의 움직임량이 작은 일이라고 하는 조건이 필요했다.

또, 비특허 문헌 2에 기재된 수법은, 3차원 모델의 추정이 잘 이루어지면, 인물 움직임의 위치·자세의 추정 정밀도가 높다고 생각되지만, 시스템 구성이 대대적으로, 3차원 모델을 정밀도 좋게 구축하기 위해서, 인물 이외의 배경을 제거할 필요가 있었다.

또, 비특허 문헌 3에 기재된 수법은, 알고리즘이 간단하고, 일반 배경에서의 이용도 가능하지만, 인물의 움직임·자세를 정밀도 좋게 추정하기 위해서, 인물의 각 지체 영역을 정확하게 검출할 필요가 있었다.

또, 이들 기술을 이용하는 경우, 인간의 신체 모델을 얼마나 적용하는가 라고 하는 것이 큰 문제로 되고 있었다. 예를 들면 비특허 문헌 4에는, 시차 화상의 Depth 정보를 이용하여 대상인물을 전경으로서 추출하고, 거기에 3D의 실린더 모델을 적용한 것이 기재되어 있지만, 머리나 팔의 위치를 동정(同定)하는 것은 곤란했다.

이와 같이, 이들 종래의 수법에서는, 일반 환경에서 인물의 자연스러운 움직임·자세를 추정 /추적하는 것이 곤란하고, 자연스러운 HMI를 실현할 수 없었다.

본 발명은, 이와 같은 종래의 실정을 감안하여 제안된 것이며, 인물 움직임의 속도나 복잡한 배경 등에 의하지 않고, 실환경에서 이용 가능한 로버스트(robust)한 모션 캡쳐 장치 및 모션 캡쳐 방법과 모션 캡쳐 프로그램을 제공하는 것을 목적으로 한다.

본 발명에 관계되는 모션 캡쳐 장치는, 대상인물의 각 관절 및 지체(肢體)의 3차원 위치와 자세를 추적하는 모션 캡쳐 장치에 있어서, 상기 대상인물의 관측 화상으로부터 각 관절이 연결된 키네마틱스 모델을 생성하는 생성수단과, 상기 키네마틱스 모델의 관절 사이의 연결구속 및 전(前) 시각의 예측위치에 근거하여 상기 대상인물의 각 관절의 현시각의 예측위치를 계층적으로 산출하고, 현시각의 각 관절 및 지체의 3차원 위치와 자세를 예측하는 예측수단과, 상기 예측수단으로 예측된 현시각의 대상인물의 각 관절 및 지체의 3차원 위치와 자세를 2차원 화상상에 투영하는 투영수단과, 상기 투영수단으로 투영된 투영위치의 신뢰성을 상기 대상인물의 관측 화상에 근거하여 평가하는 평가수단과, 상기 신뢰성의 평가결과에 근거하여 상기 현시각의 대상인물의 각 관절 및 지체의 3차원 위치와 자세를 추정하는 추정수단을 갖춤으로써, 상술의 과제를 해결한다.

또, 본 발명에 관계되는 모션 캡쳐 방법은, 대상인물의 각 관절 및 지체의 3차원 위치와 자세를 추적하는 모션 캡쳐 방법에 있어서, 상기 대상인물의 관측 화상으로부터 각 관절이 연결된 키네마틱스 모델을 생성하는 생성공정과, 상기 키네마틱스 모델의 관절 사이의 연결구속 및 전 시각의 예측위치에 근거하여 상기 대상인물의 각 관절의 현시각의 예측위치를 계층적으로 산출하고, 현시각의 각 관절 및 지체의 3차원 위치와 자세를 예측하는 예측공정과, 상기 예측공정으로 예측된 현시각의 대상인물의 각 관절 및 지체의 3차원 위치와 자세를 2차원 화상상에 투영하는 투영공정과, 상기 투영공정으로 투영된 투영위치의 신뢰성을 상기 대상인물의 관측 화상에 근거하여 평가하는 평가공정과, 상기 신뢰성의 평가결과에 근거하여 상기 현시각의 대상인물의 각 관절 및 지체의 3차원 위치와 자세를 추정하는 추정공정을 가짐으로써, 상술의 과제를 해결한다.

또, 본 발명에 관계되는 모션 캡쳐 프로그램은, 대상인물의 각 관절 및 지체의 3차원 위치와 자세를 추적하는 처리를 실행시키는 모션 캡쳐 프로그램에 있어서, 상기 대상인물의 관측 화상으로부터 각 관절이 연결된 키네마틱스 모델을 생성하는 생성공정과, 상기 키네마틱스 모델의 관절 사이의 연결구속 및 전 시각의 예측위치에 근거하여 상기 대상인물의 각 관절의 현시각의 예측위치를 계층적으로 산출하고, 현시각의 각 관절 및 지체의 3차원 위치와 자세를 예측하는 예측공정과, 상기 예측공정으로 예측된 현시각의 대상인물의 각 관절 및 지체의 3차원 위치와 자세를 2차원 화상상에 투영하는 투영공정과, 상기 투영공정으로 투영된 투영위치의 신뢰성을 상기 대상인물의 관측 화상에 근거하여 평가하는 평가공정과, 상기 신뢰성의 평가결과에 근거하여 상기 현시각의 대상인물의 각 관절 및 지체의 3차원 위치와 자세를 추정하는 추정공정을 가짐으로써, 상술의 과제를 해결한다.

이하, 본 발명을 적용한 구체적인 실시의 형태에 대하여, 도면을 참조하면서 상세하게 설명한다.

도 1은, 본 발명의 일실시의 형태에 있어서의 모션 캡쳐 장치의 구성을 나타내는 블록도이다. 이 모션 캡쳐 장치는, 소정의 위치에 배치된 카메라(1L, 1R)와, 카메라 캘리브레이션(calibration)에 의해 카메라 파라미터를 취득하는 카메라 파라미터 취득부(2)와, 카메라(1L, 1R)로 촬상된 화상·거리 정보를 관측하는 화상· 거리 정보 관측부(3)와, 각 관절을 연결한 키네마틱스 모델을 생성하는 동시에 화상정보를 보존하는 초기화부(4)와, 현시각에 있어서의 대상인물의 자세·위치를 예측하는 자세·위치 예측부(5)와, 예측된 자세·위치를 2차원 화상상에 투영하는 자세·위치 투영부(6)와 투영된 2차원 화상을 평가하는 신뢰성 평가부(7)와, 평가치에 근거하여 현시각에 있어서의 대상인물의 자세·위치를 추정하는 자세·위치 추정부(8)를 갖추어 구성되어 있다.

카메라(1L, 1R)는, 동일한 대상인물을 촬영할 수 있도록 소정의 위치에 배치되어 있다. 또한, 본 실시의 형태에서는, 2대의 카메라의 시차로부터 대상물의 거리를 산출하는 「스테레오 비전」을 이용하는 것으로서 설명하지만, 레이저를 조사하여 그 반사광을 검출할 때까지의 시간을 측정함으로써 거리를 산출하는 「레이저 레인지 파인더」등을 이용하는 것으로 해도 좋다.

카메라 파라미터 취득부(2)는, 카메라 캘리브레이션에 의해, 실세계 좌표와 카메라 화상 좌표를 관계지어 카메라 파라미터를 취득한다. 이 카메라 파라미터는, 화상·거리 정보 관측부(3) 및 자세·위치 투영부(6)에 출력된다.

화상·거리 정보 관측부(3)는, 카메라(1L, 1R)로 촬상된 화상을 초기화부(4) 및 신뢰성 평가부(7)에 출력한다. 또, 카메라 파라미터 취득부(2)로 취득된 카메라 파라미터에 근거하여 거리정보를 생성하고, 거리 정보를 초기화부(4) 및 신뢰성 평가부(7)에 출력한다.

초기화부(4)는, 키네마틱스 모델을 생성하기 위해 대상인물의 각 관절점(S_k) 의 3차원 좌표(x,y,z)를 구하는 동시에, 예측된 자세·위치를 평가하기 위해서 관절점, 관절점간의 지체(Limbs) 및 얼굴 등의 특징점의 화상정보(초기 화상 모델)를 보존한다. 이 키네마틱스 모델은, 각 관절이 연결된 관절 모델이다. 또한, 본 실시예에서는, 15의 관절점{Sk:k=0,1,···, 14}으로 표현한 키네마틱스 모델을 이용하는 것으로서 설명한다. 또, 화상정보로서는, 예를 들면, 표면의 질감을 표현하는 텍스처, 색정보, 시차 정보, 윤곽 등의 신뢰도 평가치 등을 이용할 수 있다.

자세·위치 예측부(5)는, 전 시각의 각 관절 및 지체의 예측위치와 키네마틱스 모델의 간접간의 연결성 구속을 이용하고, 현시각의 각 관절 및 지체의 위치를 확률 모델에 의하여 계층적으로 예측하고, 몸의 구조(자세)를 예측한다. 구체적으로는, 후술하는 바와 같이, 관절 모델의 전(前) 계층의 관절의 추정위치에 확률 분포를 가지게 하고, 다음의 계층 관절의 예측위치를 연산한다.

자세·위치 투영부(6)는, 자세·위치 예측부(5)에 의하여 예측된 현시각에 있어서의 대상인물의 3차원 공간의 각 관절 및 지체의 예측위치 및 자세를, 카메라 캘리브레이션으로 얻어진 투영 행렬(P)에 의하여 2차원 화상상에 투영하고, 3차원 좌표(x,y,z)에 대응하는 2차원 화상상의 투영위치(u,v)를 구한다.

신뢰성 평가부(7)은, 자세·위치 투영부(6)에 의하여 얻어진 2차원 화상(관측 화상)상의 투영위치(u, v)의 화상정보(예를 들면, 거리정보·색정보·텍스처 정보 등)와 미리 보존된 화상정보(초기 화상 모델)와의 상사성(相似性)을 계산함으로써, 투영위치의 올바름을 평가한다.

자세·위치 추정부(8)는, 신뢰성 평가부(7)에서 평가된 2차원 화상상의 투영 위치의 평가치에 의하여, 현시각에 있어서의 대상인물의 3차원 공간상의 위치 및 자세를 추정한다. 이 현시각에 있어서의 대상인물의 3차원 공간상의 위치 및 자세의 추정정보는, 자세·위치 예측부(5)에 전 시각의 대상인물의 각 관절 및 지체의 위치로서 출력된다.

여기서, 상술한 모션 캡쳐 처리의 개요를, 도 2에 나타내는 모식도를 이용하여 설명한다.

우선, 미리 적어도 2대 이상의 카메라(1L, 1R)를, 동일한 대상인물을 촬영할 수 있도록 배치하고, 그들의 위치 관계나 카메라 파라미터 등을 카메라 캘리브레이션에 의하여 취득한다. 이 카메라 파라미터 등은, 카메라 파라미터 취득부(2)로부터 화상·거리 정보 관측부(3) 및 자세·위치 투영부(6)에 출력된다.

초기화부(4)에서는, 예를 들면, 도 2a와 같은 화상·거리 정보 관측부(3)로부터 출력된 대상인물의 관측 화상으로부터 시차 화상(u, v, depth)을 예측하고, 그 시차 화상(u, v, depth)을 3차원 공간상에 역투영함으로써, 대상인물의 3차원 형상 및 각 관절의 3차원 위치·좌표 모델(x,y,z)을 산출하고, 키네마틱스 모델을 생성한다. 또, 관측 화상에 근거하여 각 관절의 화상정보(초기 화상 모델)를 보존한다.

다음으로, 자세·위치 예측부(5)에 있어서, 예를 들면, 도 2b와 같은 전 시각(t-1)의 각 관절위치·자세(P_t _－1)의 추정결과에 근거하여, 도 2c와 같은 현시각의 각 관절의 위치·자세(P_t)를, 키네마틱스 모델의 관절 사이의 연결성 구속을 이용하 여, 확률 모델에 의하여 계층적으로 예측한다.

자세·위치 투영부(6)는, 예측된 현시각의 대상인물의 각 관절위치·자세(P_t)를, 카메라 캘리브레이션으로 얻어진 투영 행렬(P)에 의하여, 예를 들면, 도 2d와 같이 2차원 화상상에 투영하고, 3차원 좌표(x,y,z)에 대응하는 2차원 화상상의 투영위치 및 시차(u, v, depth)를 구한다.

그리고, 신뢰성 평가부(7)에 있어서, 2차원 화상(관측 화상)상에 투영된 투영위치의 시차(u,v,depth), 색정보, 텍스처 정보 등의 화상정보와, 미리 보존된 화상정보(초기 화상 모델)와의 상사성을 계산하고, 2차원 화상상에 투영된 대상인물의 각 관절의 투영위치·자세의 올바름을 평가한다.

자세·위치 추정부(8)는, 신뢰성 평가부(7)에서 산출된 평가치에 근거하여, 최종적으로, 도 2e와 같이 현시각에 있어서의 대상인물의 3차원 공간상의 예측위치·자세(P_t)를 구한다.

이와 같이 대상인물의 위치·자세·움직임 추적을 행함으로써, 대상인물에게 부담을 주지 않고, 자연스러운 HMI(Human Machine Interface)를 실현할 수 있다.

계속하여, 상술한 모션 캡쳐 장치에 있어서의 각 처리에 대하여 상세하게 설명한다. 우선, 대상인물의 키네마틱스 모델의 생성에 대하여 설명한다. 도 3에 나타내는 바와 같이, 미리 캘리브레이션 된 좌우 카메라(1L, 1R)에 의하여 3차원 공간의 대상인물(30)의 화상을 관측하고, 이들의 관측 화상(u, v, depth)(31L, 31R)을 이용하여 시차 화상(32)을 추정한다. 그리고, 시차 화상(u,v,depth)(32)을 카메라 캘리브레이션으로 구해진 투영 행렬에 의하여, 3차원 공간에 투영하고, 그 3차원 공간에 있어서의 인물의 각 관절의 좌표 위치(x,y,z)를 구함으로써, 대상인물의 키네마틱스 모델(33)을 생성할 수 있다.

도 4는, 키네마틱스 모델을 초기화하기 위한 초기화부(4)의 구성을 나타내는 블록도이다. 초기화부(4)는, 거리화상을 생성하는 거리계측부(41)와, 입력 화상으로부터 얼굴영역의 위치 및 거리를 검출하는 얼굴 검출부(42)와, 거리화상 및 얼굴의 거리에 근거하여 대상인물을 전경(前景)으로 하는 마스크 화상을 생성하는 마스크 생성부(43)와, 얼굴영역의 색히스토그램을 산출하는 색분포 산출부(44)와 얼굴영역의 위치 및 거리에 근거하여 손이 있어야 할 위치를 나타내는 윈도우 위치를 산출하는 손검출 윈도우 생성부(45)와, 얼굴영역의 색상, 채도 및 색상, 채도 각각의 분산치와, 손검출 윈도우의 위치와, 마스크 화상에 근거하여 손을 검출하는 손검출부(46)와, 얼굴 위치 및 거리와, 손의 위치 및 거리에 근거하여 각 관절위치를 산출하는 관절위치 산출부(47)를 갖추어 구성되어 있다.

계속하여, 초기화부(4)에 있어서의 초기화 처리를 도 5에 나타내는 플로차트 및 도 6에 나타내는 모식도를 참조하여 설명한다.

스텝(S1)에 있어서, 거리계측부(41)는, 화상·거리 정보 관측부(3)로부터 출력된 화상·거리 정보에 근거하여 거리화상을 생성한다. 여기서, 거리화상을 생성하는 동시에 그 거리의 신뢰도를 나타내는 화상을 생성하는 것이 바람직하다. 이것에 의해, 후술하는 마스크 화상 생성의 정밀도 향상을 도모할 수 있다. 또한, 신뢰도는, 예를 들면 스테레오법으로 거리를 산출하고, 정규화 상관(相關)을 이용 한 매칭을 행했을 경우, 그 매칭 코스트(matching cost)를 지수화한 것을 이용할 수 있다.

스텝(S2)에 있어서, 얼굴 검출부(42)는, 도 6a에 나타내는 바와 같이, 대상인물의 입력 화상으로부터 얼굴(F)을 검출하고, 얼굴을 검출했다고 판단했을 경우는, 스텝(S3)으로 진행되며, 얼굴을 검출하고 있지 않다고 판단했을 경우는, 스텝 (S1)으로 되돌아간다.

얼굴 인식 기술로서는, 예를 들면, 특재 WO2003／019475(「로봇장치, 얼굴 인식방법 및 얼굴 인식장치」소니(주))에 기재되어 있는 바와 같이, 가보아·필터(Gabor filter)로 얼굴 특징량을 추출하고, 서포트·벡터·머신(support vector machine)으로 얼굴 식별을 행하는 수법을 이용할 수 있다.

스텝(S3)에 있어서, 색분포 산출부(44)는, 도 6b에 나타내는 바와 같이, 얼굴 검출부(42)에서 검출된 얼굴영역의 색히스토그램을 산출한다. 여기서, 히스토그램은, HSI표색계의 H(Hue, 색상) 및 S(Saturation, 채도)에 관하여, 그 도수가 가장 큰 H 및 S를 구하고, 각각 적당한 분산치를 갖게 한 것을 출력한다.

스텝(S4)에 있어서, 얼굴 검출부(42)는, 도 6c에 나타내는 바와 같이, 검출한 얼굴(F) 및 거리계측부(41)에서 계측된 거리화상에 근거하여 얼굴의 거리를 산출한다. 여기서, 노이즈의 영향을 제거하기 위해서, 평균치가 아니라, 얼굴영역내의 중앙 거리의 값인 중앙치(Median)를 이용하는 것이 바람직하다.

스텝(S5)에 있어서, 손검출 윈도우 생성부(45)는, 얼굴 검출부(42)에서 검출한 얼굴영역의 위치 및 거리에 근거하여, 예를 들면, 도 6d에 나타내는 바와 같이, 대상인물이 양손을 수평하게 펼쳤을 때의 손이 있어야 할 위치를 나타내는 윈도우(W)의 위치를 산출한다. 이 손검출 윈도우의 생성방법은, 우선, 화상중의 얼굴 위치 및 거리를 카메라 파라미터 취득부(2)에서 취득한 카메라 파라미터 등에 따라 월드 좌표계로 변환한다. 그리고, 얼굴 위치로부터 목과 팔의 길이를 가산하고, 윈도우 위치를 결정한다. 또한, 개인차를 고려하고, 목의 길이를 270mm±150mm, 팔의 길이를 900mm±350mm로서 규정했다. 또, 대상인물은, 모션 캡쳐 장치에 거의 정면으로 맞서 있다고 가정하고, 손의 거리를 얼굴의 거리와 거의 같다고 했다. 이와 같이 하여 구해진 손검출 윈도우의 월드 좌표치를 카메라 좌표계로 역변환하고, 화상중의 손검출 윈도우의 위치를 산출한다.

스텝(S6)에 있어서, 마스크 생성부(43)는, 거리계측부(41)에서 생성된 거리화상 및 얼굴 검출부(42)에서 산출한 얼굴 거리에 근거하여 도 6e에 나타내는 대상인물을 전경으로 하는 마스크 화상을 생성한다. 여기서, 거리계측부(41)에 있어서, 거리의 신뢰도를 나타내는 화상이 생성되고 있었을 경우, 마스크 생성부(43)는, 거리의 신뢰도를 이용하여, 얼굴 거리로부터 일정한 거리만 시프트 한 값을 임계치로서 2치화한 화상을 마스크 화상으로서 생성한다. 이것에 의해, 마스크 화상 생성의 정밀도를 향상시킬 수 있다. 또한, 화상에 라벨링(labeling)을 설치하여 히스토그램을 취하고, 도수가 큰 영역만 남김으로써 노이즈 제거를 행할 수 있다.

스텝(S7)에 있어서, 손검출부(46)는, 색분포 산출부(44)에서 산출된 색상, 채도 및 색상, 채도 각각의 분산치와 손검출 윈도우 생성부(45)에서 생성한 윈도우 위치와, 마스크 생성부(43)에서 생성한 마스크 화상에 근거하여 손을 검출한다. 구체적으로는, 손검출 윈도우 내에서, 마스크 화상에서 전경으로 되어 있는 영역중에서, 얼굴과 같은 색상 및 채도의 범위에 들어가는 영역을 손으로서 검출한다. 여기서, 손의 영역중에서, 오른손이면 우단에, 왼손이면 좌단에 원을 맞추어 그 중심 위치를 손의 좌표로서 출력한다. 또, 손영역내의 중앙의 좌표에 있어서의 거리의 값을 손의 거리로서 출력한다.

스텝(S8)에 있어서, 손검출부(46)는, 양손이 검출되었는지를 판단하고, 검출되었을 경우는 초기화 성공으로 하고, 스텝(S9)으로 진행된다. 또, 양손이 검출되어 있지 않다고 판단했을 경우, 스텝(S1)으로 되돌아온다.

스텝(S9)에 있어서, 관절위치 산출부(47)는, 얼굴 검출부(42)에서 검출한 얼굴 위치 및 거리와 손검출부(46)에서 검출한 손의 위치 및 거리에 근거하여 각 관절위치의 산출을 행한다. 도 6f는, 각 관절위치(S₁~S₈)를 나타내는 화상이다. 여기서는, 손이 수평인 상태로 산출되고 있다고 하는 전제이므로, 양손의 위치와 미리 준비해 둔 어깨, 상완(上腕) 및 하완(下脘)의 길이 비율을 이용함으로써, 어깨와 팔꿈치의 위치를 결정할 수가 있다. 게다가, 마스크 생성부(43)에서 생성한 거리의 신뢰도를 나타내는 마스크 화상을 이용함으로써, 노이즈를 제거하고, 팔꿈치와 어깨 위치의 정밀도 향상을 도모할 수 있다. 구체적으로는, 우선, 팔꿈치의 X좌표에 있어서의 마스크 전경 부분의 Y좌표를 구하고, 그 중앙치를 팔꿈치의 Y좌표로서 채용한다. 또, 상완부의 X좌표에서 몇 점인가를 샘플링하여, 각각에 있어서의 마스크 전경 부분의 Y좌표의 중앙치를 그 점의 Y좌표로서 채용하고, 그들 점을 이용하여 상완부의 근사 직선을 구한다. 그리고, 어깨의 X좌표에 있어서의 그 근사 직선상의 점을, 어깨 위치로서 채용한다. 이들 처리에 의해, 대폭으로 관절위치 정밀도를 향상시킬 수 있다.

이와 같이 3차원 공간의 각 관절위치를 구함으로써, 키네마틱스 모델을 고정밀도로 초기화할 수 있다. 또, 키네마틱스 모델의 초기화 할 때, 그 모델의 각 관절점에 대응하는 화상정보(텍스처, 색, 시차, 신뢰도 평가치 등)를 보존하고, 초기 화상 모델로 한다. 이 초기 모델은, 후술하는 추적처리에 있어서, 관측 화상과 비교되며, 예측의 올바름의 평가, 추적결과의 산출에 이용된다.

다음으로, 키네마틱스 모델의 각 관절위치의 예측방법에 대하여 설명한다. 도 7a는, 본 실시형태에 있어서의 계층적 예측방법의 개념도를 나타낸다. 이 계층적 예측법은, 우선, 가장 관측하기 쉬운 인물의 머리 부분(얼굴)의 정보를 이용하여, 목관절(S₀) 및 머리 부분 중심(S₁)의 위치를 추정한다. 그리고, 관절(S₀)의 추정결과를 바탕으로, 어깨관절(S₂, S₃) 및 등의 관절(S₈)의 위치를 추정한다. 그 후, 각각의 관절(S₂, S₃, S₈)의 추정결과를 이용하여, 양팔꿈치 관절(S₄, S₅) 및 허리부관절(S₉, S₁₀)의 위치를 추정한다. 또한, 양팔꿈치 관절(S₄, S₅)을 베이스로, 양팔의 관절(S₆, S₇)의 위치를 추정한다. 또, 허리부관절(S₉, S₁₀)을 베이스로 양 무릎관절(S₁₁, S₁₂)의 위치를 추정한다. 마지막으로, 양(兩) 무릎관절(S₁₁, S₁₂)에 근거하여 양 다리관절(S₁₃, S₁₄)의 위치를 추정한다. 즉, 이 계층적 예측법은, 키네 마틱스 모델의 관절 사이의 연결성 구속 및 전 시각의 관절위치에 근거하여, 현시각의 각 관절위치를 차례차례 산출하는 것이다.

도 7b는, 각 관절점의 예측방법을 설명하기 위한 모식도이다. 현시각(t)에 있어서의 각 관절(S₁~S₀)의 예측위치는, 전 시각(t-1)의 예측결과에 근거하여 구해진다. 또, 현시각(t)에 있어서의 각 관절의 예측위치는, 정규분포로 표현되며, 신뢰성(확률)의 평가가 행해진다. 또, 신뢰성의 평가치에 의해, 각 관절의 추정결과를 어떤 범위 내로 변동시킨다. 이것에 의해, 정밀도가 나쁜 추정결과를 그대로 이용했을 경우, 각각 연접하는 관절으로의 추정 정밀도에 큰 영향이 생기는 것을 방지한다.

도 8 및 도 9는, 키네마틱스 모델의 각 관절위치의 예측을 위한 구성을 나타내는 블록도이다. 여기서, 관절(S₀~S₈)의 위치·자세 예측부(51~58)는, 자세·위치 예측부(5)에 대응하는 것이며, 관절(S₀~S₈)의 위치·자세 추정부(81~88)는, 자세·위치 추정부(8)에 대응하는 것이다. 즉, 도 1에 있어서, 키네마틱스 모델의 관절 사이의 연결성 구속에 따른 순서로, 관절의 예측위치를 자세·위치 예측부(5)에서 예측하고, 자세·위치 투영부(6)에서 예측위치를 2차원 화상상에 투영하고, 신뢰성 평가부(7)에서 2차원 화상상에 투영된 예측위치의 신뢰성을 평가하고, 평가결과에 근거하여 자세·위치 추정부(8)에서 추정위치를 추정한다. 그리고, 자세·위치 추정부(8)에서 추정된 추정위치는, 다음에 예측하는 계층의 관절의 예측위치 연산에 이용된다.

현시각(t)에 있어서의 각 관절의 예측치(위치·자세)는, 전 시각(t-1)에 있어서의 각 관절S_m(m=0,···, 14)의 각 가설｛k=1,2,···, K｝에 근거하는 자세의 예측 함수ω_m(t,k) 및 위치의 예측함수ξ_m(t,k)를 이용하여 계산된다(m=0,···, 14). ω_m(t,k) 및ξ_m(t,k)는, 각각 시각(t)의 제 m번째의 관절에 관하여 하기와 같이 계산된다.

여기서, φ는, 평균치(μ), 표준분산(σ)의 정규 난수를 얻기 위한 함수이며, ν는, 시각(t-1)에서의 각 관절점의 움직임 속도를 나타내고, κ는, 기여도를 조정하는 정수를 나타낸다.

도 8에 나타내는 상반신의 각 관절의 예측을 위한 구성은, 목관절(S₀)과 머리부분 중심(S₁)의 위치·자세를 예측하는 S₀와 S₁의 위치·자세 예측부(51)와 S₀와 S₁의 위치·자세 추정부(81)와, 목관절(S₀)의 추정결과에 근거하여 어깨관절(S₂, S₃)의 위치·자세를 예측하는 S₂와 S₃의 위치·자세 예측부(52)와, S₂와 S₃의 위치·자세 추정부(82)와, 어깨관절(S₂, S₃)의 추정결과에 근거하여 양팔꿈치 관절(S₄, S₅)을 위치·자세를 예측하는 S₄와 S₅의 위치·자세 예측부(53)와, S₄와 S₅의 위치·자세 추정부(83)와, 양팔꿈치 관절(S₄, S₅)에 근거하여 양팔의 관절(S₆, S₇)의 위치·자세를 예측하는 위치·자세 예측부(54)와, S₆와 S₇의 위치·자세 추정부(84)를 갖추고 있다.

S₀과 S₁의 위치·자세 예측부(51)는, 전 시각(t-1)의 목관절위치(S₀ _(t-1,k)) 및 머리 부분 중심 위치(S₁ _(t-1,k))를 입력정보로서 받고, 현시각(t)의 목관절위치(S₀ _(t,k)) 및 머리 부분 중심 위치(S₁ _(t,k))의 예측치를 산출한다.

S₀과 S₁의 위치·자세 추정부(81)는, 후술하는 바와 같이 현시각(t)의 목관절위치(S₀ _(t,k)) 및 머리 부분 중심 위치(S₁ _(t,k))의 가설｛k=1,2,···, K｝의 신뢰성을 평가하고, 예를 들면, 가장 신뢰성이 높은 목관절위치의 가설(S₀ _(t))을 S₂와 S₃의 위치·자세 예측부(52)에 출력한다.

S₂와 S₃의 위치·자세 예측부(52)는, 전 시각(t-1)의 어깨관절위치(S₂ _(t-1,k), S_3(t-1,k)) 및 현시각(t)의 목관절의 추정위치(S₀ _(t))를 입력정보로서 받고, 현시각(t) 의 어깨관절위치(S_2(t,k), S_3(t,k))의 예측치를 산출한다.

S₂와 S₃의 위치·자세 추정부(82)는, 후술하는 바와 같이 현시각(t)의 어깨관절위치(S_2(t,k), S_3(t,k))의 가설｛k=1,2,···, K｝의 신뢰성을 평가하고, 예를 들면, 가장 신뢰성이 높은 가설(S_2(t), S_3(t))를 S₄와 S₅의 위치·자세 예측부(53)에 출력한다.

S₄와 S₅의 위치·자세 추정부(83)는, 전 시각(t-1)의 양팔꿈치 관절위치 (S_4(t-1,k), S₅ _(t-1,k)) 및 현시각(t)의 어깨관절의 추정위치(S₂ _(t), S₃ _(t))를 입력정보로서 받고, 현재시각(t)의 양팔꿈치 관절위치(S_4(t,k), S_5(t,k))의 예측치를 산출한다.

S₄와 S₅의 위치·자세 추정부(83)는, 후술하는 바와 같이 현시각(t)의 양팔꿈치 관절위치(S_4(t,k), S_5(t,k))의 가설｛k=1,2,···, K｝의 신뢰성을 평가하고, 예 를 들면, 가장 신뢰성이 높은 가설(S₄ _(t), S₅ _(t))을 S₆와 S₇의 위치·자세 예측부(54)에 출력한다.

S₆과 S₇의 위치·자세 예측부(54)는, 전 시각(t-1)의 양팔의 관절위치(S₆ _(t-1,k), S₇ _(t-1,k)) 및 현시각(t)의 양팔꿈치 관절위치(S_4(t), S_5(t))를 입력정보로서 받고, 현시각(t)의 양팔꿈치 관절위치(S_6(t,k), S_7(t,k))의 예측치를 산출한다.

S₆과 S₇의 위치·자세 추정부(84)는, 후술하는 바와 같이 현시각(t)의 양팔의 관절위치(S_6(t,k), S_7(t,k))의 가설｛k=1,2,···, K｝의 신뢰성을 평가하고, 예를 들면, 가장 신뢰성이 높은 가설(S₆ _(t), S₇ _(t))을 양팔의 관절위치로서 출력한다.

또, 도 9에 나타내는 하반신의 각 관절을 예측하기 위한 구성은, 등의 관절(S₈)의 위치·자세를 예측하는 S₈의 위치·자세 예측부(55)와, S₈의 위치·자세 추정부(85)와, 등의 관절(S₈)의 추정결과에 근거하여 허리부관절(S₉, S₁₀)의 위치·자세를 예측하는 S₉와 S₁₀의 위치·자세 예측부(56)와, S₉와 S₁₀의 위치·자세 추정부(86)와, 허리부관절(S₉, S₁₀)의 추정결과에 근거하여 양 무릎관절(S₁₁, S₁₂)의 위치 ·자세를 예측하는 S₁₁과 S₁₂의 위치·자세 예측부(57)와, S₁₁과 S₁₂의 위치·자세 추정부(87)와 양 무릎관절(S₁₁, S₁₂)에 근거하여 양 다리관절(S₁₃, S₁₄)의 위치·자세를 예측하는 위치·자세 예측부(58)와, S₁₃와 S₁₄의 위치·자세 추정부(88)를 갖춘다.

S₈의 위치·자세 예측부(55)는, 전 시각(t-1)의 등의 관절위치(S₈ _(t-1,k)) 및 현시각(t)의 목관절위치(S_0(t))를 입력정보로서 받고, 현시각(t)의 등의 관절위치(S₈ _(t,k))의 예측치를 산출한다.

S₈의 위치·자세 추정부(85)는, 후술하는 바와 같이 현시각(t)의 등의 관절위치(S₈ _(t,k))의 가설｛k=1,2,···, K｝의 신뢰성을 평가하고, 예를 들면, 가장 신뢰성이 높은 가설(S₈ _(t))을 S₉와 S₁₀의 위치·자세 예측부(56)에 출력한다.

S₉와 S₁₀의 위치·자세 예측부(56)는, 전 시각(t-1)의 허리부 관절위치(S₉ _(t-1,k), S₁₀ _(t-1,k)) 및 현시각(t)의 등의 관절위치(S_8(t))를 입력정보로서 받고, 현시각(t)의 어깨관절위치(S_9(t,k), S_10(t,k))의 예측치를 산출한다.

S₉와 S₁₀의 위치·자세 추정부(86)는, 후술하는 바와 같이 현시각(t)의 허리부 관절위치(S_9(t,k), S_10(t,k))의 가설｛k=1,2,···, K｝의 신뢰성을 평가하고, 예를 들면, 가장 신뢰성이 높은 가설(S₉ _(t), S₁₀ _(t))을 S₁₁과 S₁₂의 위치·자세 예측부(57)에 출력한다.

S₁₁와 S₁₂의 위치·자세 예측부(57)는, 전 시각(t-1)의 양 무릎관절위치(S₁₁ _(t-1,k), S₁₂ _(t-1,k)) 및 현시각(t)의 허리부의 관절위치(S_9(t), S_10(t))를 입력정보로서 받고, 현시각(t)의 양 무릎관절위치(S_11(t,k), S_12(t,k))의 예측치를 산출한다.

S₄와 S₅의 위치·자세 추정부(87)는, 후술하는 바와 같이 현시각(t)의 양 무릎관절위치(S_11(t,k), S_12(t,k))의 가설｛k=1,2,···, K｝의 신뢰성을 평가하고, 예를 들면, 가장 신뢰성이 높은 가설(S₁₁ _(t), S₁₂ _(t))을 S₁₂와 S₁₃의 위치·자세 예측부(58)에 출력한다.

S₁₃과 S₁₄의 위치·자세 예측부(58)는, 전 시각(t-1)의 양 다리관절위치 (S_13(t-1,k), S₁₄ _(t-1,k)) 및 현시각(t)의 양 무릎관절위치(S_11(t), S_12(t))를 입력정보로서 받고, 현시각(t)의 양 다리관절위치(S_13(t,k), S_14(t,k))의 예측치를 산출한다.

S₁₃와 S₁₄의 위치·자세 추정부(88)는, 현시각(t)의 양 다리관절위치(S₁₃ _(t,k), S_14(t,k))의 가설｛k=1,2,···, K｝의 신뢰성을 평가하고, 예를 들면, 가장 신뢰성이 높은 가설(S₁₃ _(t), S₁₄ _(t))을 양 다리관절위치로서 출력한다.

이와 같이 인접 관절점을 추적 정밀도(확률)에 근거하여 예측함으로써, 적은 가설로 전신(全身)의 움직임을 예측할 수 있다. 예를 들면, 각 관절점의 가설(k)(예측 필터수)을 10으로 하고, 15관절의 움직임을 동시에 예측했을 경우, 10¹⁵ 가설수가 필요하지만, 인접 관절점을 계층적으로 예측했을 경우, 10×15=150 가설수만으로 좋다.

또, 본 수법은, 앞의 관절점(S_k-1)의 추적결과의 신뢰성을 평가하고, S_k의 예측 모델(파라미터)을 동적으로 변화시킴으로써, 예를 들면, S₀의 추정결과가 좋지 않은 경우, 모든 관절점에 영향을 주는, 각 계층의 오차누적에 의한 추적 정밀도의 저하를 막을 수 있다. 예를 들면, 관절점(S₄)의 추적결과의 신뢰성의 평가치가 낮은 경우, 관절점(S₆)의 움직임을 예측·추적할 때, 도 10에 나타내는 바와 같이 S₄를 중심으로 하는 예측위치(x,y,z)를 확률적으로 변화시키면서, 그것을 팔(S₄－S₆)의 회전 중심으로서 S₆의 움직임 예측과 추적을 행하고, 최종적으로 팔(S₄ _＇－S₆)의 움직임을 추정함으로써, 새로운 팔꿈치의 관절점(S_4＇)을 추정할 수 있다. 이 예에서는, 팔(S₄ _＇－S₆)의 추정결과가 보다 올바른 팔꿈치 관절위치로서 얻을 수 있으므로, 팔꿈치 관절점(S₄ _＇)의 결과를 상완(S₂－S₄)의 추정결과에 피드백하는 것도 가능하다.

도 11은, 자세·위치 투영부(6), 신뢰성 평가부(7) 및 자세·위치 추정부(8)의 처리를 설명하기 위한 모식도이다.

자세·위치 투영부(6)는, 각 관절의 가설(k)의 예측위치((x,y,z)_k)를 2D화상((u,v,depth)_k)에 투영한다. 즉, 도 8 및 도 9에 나타내는 각 위치·자세 예측부(51~58)에서 예측된 각 가설을 카메라 캘리브레이션으로 얻어진 투영 행렬에 의하여 2차원 화상에 투영한다. 구체적인 예로서, 예를 들면, 도 11a에 나타내는 오른팔 관절(S₇)의 각 가설의 예측위치(x,y,z)에 대하여, 도 11b에 나타내는 바와 같이, 그들 좌표치를 관측화상상에 투영하고, 2차원 화상상의 투영위치·시 차(u,v,depth)를 구한다.

신뢰성 평가부(7)는, 각 가설에 의한 관측 화상상의 투영위치의 화상정보와 미리 보존된 모델 화상의 화상정보와의 상사성을 평가하고, 예측된 각 가설의 신뢰성(확률)을 계산한다. 여기서, 모델 화상의 화상정보로서, 초기화시에 보존된 화상정보(예를 들면, 어떤 윈도우내의 화상 텍스처, 색분포, 시차 등)를 이용할 수 있다. 또, 상사성 평가방법으로서는, 예를 들면, 그들의 화상 패턴을 이용하는 정규화 상관이나, 그들의 화상 패턴의 색분포 특성의 매칭을 이용할 수 있다.

매칭 평가는, 계층적인 움직임 예측수단에 의하여 예측된 현시각(t)의 각 관절점(S_m(t,k))의 가설(m：관절점 번호, k：가설 번호)의 3차원 위치를, 현시각(t)의 2차원 화상 평면에 투영할 때, 가설의 움직임 예측 파라미터(R,T)를 이용하고, 초기화 할 때에 얻어진 화상 영역에 대응하는 3차원 영역 위치에 회전(R), 이동(T)처리를 행하고, 2차원 모델 화상 패턴을 구하고, 이 모델 화상 패턴과, 가설의 투영위치의 화상 패턴과의 상사성 평가를 행하고, 매칭 스코아를 계산함으로써 행해진다.

자세·위치 추정부(8)는, 상사성 평가치(확률)에 의한 각 관절(S_m)의 위치·자세를 추정한다. 즉, 각 가설의 예측위치에서의 확률을 기여도로 한 평균상태의 통계 처리에 의하여, 관절의 위치·자세를 결정한다. 구체적으로는, 예를 들면, 도 11b에 나타내는 바와 같이 오른팔의 관절(S₇)의 각 가설의 2차원 화상상의 투영위치를, 신뢰성 평가부(7)의 매칭 처리에 의해 평가된 신뢰성(확률)에 근거하여 통계 처리함으로써, 도 11c에 나타내는 바와 같이 오른팔 관절(S₇)의 위치를 추정한 다.

이상과 같이, 대상인물의 키네마틱스 모델을 이용하여 계층적으로 현시각의 관절위치를 예측함으로써, 일반 환경에서의 대상인물의 3차원 공간의 위치·자세를 로버스트에 추정할 수 있다. 또, 2대 이상의 복수 카메라를 이용함으로써, 대상인물의 키네마틱스 모델을 용이하게 생성할 수 있는 동시에, 대상인물의 위치·자세의 추정 정밀도를 향상시킬 수 있다. 또, 배경 차분이나 시간 차분을 이용하지 않기 때문에, 환경 변화에 로버스트 한다. 또, 마커를 이용하지 않고, 대상인물의 위치·자세·움직임 추적을 행할 수 있기 때문에, 대상인물에게 부담을 주지 않고, 자연스러운 HMI를 실현할 수 있다.

본 발명에 의하면, 대상인물의 관측 화상으로부터 각 관절이 연결된 키네마틱스 모델을 생성하고, 키네마틱스 모델의 각 관절의 연결구속 및 전(前) 시각의 예측위치에 근거하여 대상인물의 각 관절의 현시각의 예측위치를 계층적으로 산출하고, 현시각의 각 관절 및 지체의 3차원 위치와 자세를 예측하고, 예측된 현시각의 대상인물의 각 관절 및 지체의 3차원 위치와 자세를 2차원 화상상에 투영하고, 투영위치의 신뢰성을 대상인물의 관측 화상에 근거하여 평가하고, 그 평가결과에 근거하여 현시각의 대상인물의 각 관절 및 지체의 3차원 위치와 자세를 추정함으로써, 특수한 마커·센서가 불필요하고, 또한, 자연스러운 휴먼 머신 인터액션을 실현할 수 있다.

Claims

대상인물의 각 관절 및 지체(肢體)의 3차원 위치와 자세를 추적하는 모션 캡쳐 장치에 있어서,

상기 대상인물의 관측 화상으로부터 각 관절이 연결된 키네마틱스(kinematics) 모델을 생성하는 생성수단과,

상기 키네마틱스 모델의 관절 사이의 연결구속 및 전(前) 시각의 예측위치에 근거하여 상기 대상인물의 각 관절의 현시각의 예측위치를 계층적으로 산출하고, 현(現)시각의 각 관절 및 지체의 3차원 위치와 자세를 예측하는 예측수단과,

상기 예측수단으로 예측된 현시각의 대상인물의 각 관절 및 지체의 3차원 위치와 자세를 2차원 화상상(畵像上)에 투영하는 투영수단과,

상기 투영수단으로 투영된 투영위치의 신뢰성을 상기 대상인물의 관측 화상에 근거하여 평가하는 평가수단과,

상기 신뢰성의 평가결과에 근거하여 상기 현시각의 대상인물의 각 관절 및 지체의 3차원 위치와 자세를 추정하는 추정수단을 갖추는 것을 특징으로 하는 모션 캡쳐 장치.
제 1항에 있어서,

상기 관측 화상으로부터 거리화상을 생성하는 거리화상 생성수단과,

상기 관측 화상으로부터 얼굴영역의 위치 및 거리를 검출하는 얼굴검출수단 과,

상기 거리화상 및 얼굴의 거리에 근거하여 대상인물을 전경(前景)으로 하는 마스크 화상을 생성하는 마스크 생성수단과,

상기 얼굴영역의 색히스토그램을 산출하는 색분포 산출수단과,

상기 얼굴영역의 위치 및 거리에 근거하여 소정 위치에 손검출 윈도우를 생성하는 손검출 윈도우 생성수단과,

상기 얼굴영역의 색히스토그램, 상기 손검출 윈도우의 위치 및 상기 마스크 화상에 근거하여 손의 위치 및 거리를 검출하는 손검출수단과,

상기 얼굴 위치 및 거리와, 상기 손의 위치 및 거리에 근거하여 상기 키네마틱스 모델의 각 관절위치를 산출하는 관절위치 산출수단을 또한 갖추는 것을 특징으로 하는 모션 캡쳐 장치.
제 2항에 있어서,

상기 관절위치 산출수단은, 상기 마스크 화상의 전경(前景) 영역의 팔꿈치 관절의 Y축상의 중앙치를 팔꿈치 관절을 Y좌표로 하고, 상기 마스크 화상의 전경 영역의 상완부(上腕部)의 Y축상의 중앙치를 상완부의 Y좌표로서 상완부의 근사 직선을 구하고, 어깨관절의 X축상과 상기 근사 직선상과의 교점을, 어깨관절의 위치로서 산출하는 것을 특징으로 하는 모션 캡쳐 장치.
제 1항에 있어서,

상기 생성수단은, 상기 관측 화상으로부터 대상인물의 시차 화상을 추정하고, 이 시차 화상을 3차원 공간에 역투영함으로써, 상기 대상인물의 각 관절 및 지체의 3차원 위치와 자세를 산출하고, 키네마틱스 모델을 생성하는 것을 특징으로 하는 모션 캡쳐 장치.
제 1항에 있어서,

상기 투영수단은, 상기 예측수단에 의하여 예측된 현시각의 각 관절 및 지체의 3차원 위치와 자세를, 카메라 캘리브레이션(calibration)으로 얻어진 투영 행렬에 의하여 3차원 공간의 위치에 대응하는 2차원 화상상의 투영위치를 구함으로써, 상기 2차원 화상상에 투영하는 것을 특징으로 하는 모션 캡쳐 장치.
제 1항에 있어서,

상기 평가수단은, 상기 투영위치에 대응하는 관측 화상의 화상정보와, 미리 보존된 각 관절 및 지체의 화상정보와의 상사성(相似性)을 계산하고, 상기 신뢰성을 평가하는 것을 특징으로 하는 모션 캡쳐 장치.
제 1항에 있어서,

상기 추정수단은, 상기 투영수단으로 투영된 투영위치에 대한 평가치에 근거하여, 상기 현시각의 대상인물의 각 관절 및 지체의 3차원 위치와 자세를 추정하는 것을 특징으로 하는 모션 캡쳐 장치.
제 1항에 있어서,

동일한 대상인물을 촬영할 수 있도록 적어도 2대 이상의 카메라를 배치하는 동시에, 이들의 위치 관계 및 카메라 파라미터를 미리 가지는 화상관측수단을 더 갖추는 것을 특징으로 하는 모션 캡쳐 장치.
대상인물의 각 관절 및 지체의 3차원 위치와 자세를 추적하는 모션 캡쳐 방법에 있어서,

상기 대상인물의 관측 화상으로부터 각 관절이 연결된 키네마틱스 모델을 생성하는 생성공정과,

상기 키네마틱스 모델의 관절 사이의 연결구속 및 전 시각의 예측위치에 근거하여 상기 대상인물의 각 관절의 현시각의 예측위치를 계층적으로 산출하고, 현시각의 각 관절 및 지체의 3차원 위치와 자세를 예측하는 예측공정과,

상기 예측공정으로 예측된 현시각의 대상인물의 각 관절 및 지체의 3차원 위치와 자세를 2차원 화상상에 투영하는 투영공정과,

상기 투영공정으로 투영된 투영위치의 신뢰성을 상기 대상인물의 관측 화상에 근거하여 평가하는 평가공정과,

상기 신뢰성의 평가결과에 근거하여 상기 현시각의 대상인물의 각 관절 및 지체의 3차원 위치와 자세를 추정하는 추정공정을 가지는 것을 특징으로 하는 모션 캡쳐 방법.
대상인물의 각 관절 및 지체의 3차원 위치와 자세를 추적하는 처리를 실행시키는 모션 캡쳐 프로그램에 있어서,

상기 대상인물의 관측 화상으로부터 각 관절이 연결된 키네마틱스 모델을 생성하는 생성공정과,

상기 키네마틱스 모델의 관절 사이의 연결구속 및 전(前) 시각의 예측위치에 근거하여 상기 대상인물의 각 관절의 현시각의 예측위치를 계층적으로 산출하고, 현시각의 각 관절 및 지체의 3차원 위치와 자세를 예측하는 예측공정과,

상기 예측공정으로 예측된 현시각의 대상인물의 각 관절 및 지체의 3차원 위치와 자세를 2차원 화상상에 투영하는 투영공정과,

상기 투영공정으로 투영된 투영위치의 신뢰성을 상기 대상인물의 관측 화상에 근거하여 평가하는 평가공정과,

상기 신뢰성의 평가결과에 근거하여 상기 현시각의 대상인물의 각 관절 및 지체의 3차원 위치와 자세를 추정하는 추정공정을 가지는 것을 특징으로 하는 모션 캡쳐 프로그램.