KR20160098560A

KR20160098560A - 동작 분석 장치 및 방법

Info

Publication number: KR20160098560A
Application number: KR1020150019327A
Authority: KR
Inventors: 김종성; 김명규; 김예진; 백성민; 서상우; 정일권
Original assignee: 한국전자통신연구원
Priority date: 2015-02-09
Filing date: 2015-02-09
Publication date: 2016-08-19
Also published as: KR102097016B1; US20160232683A1

Abstract

동작 분석 장치는 깊이 영상 및 스테레오 영상을 생성하는 영상 촬영부, 깊이 영상을 참조하여 사용자의 실제 골격 모델과 준비 자세의 표준 골격 모델 간 유사도 및 실제 윤곽 모델과 준비 자세의 표준 윤곽 모델 간 유사도가 임계치 이상인 경우, 준비 자세 인식 신호를 상기 영상 촬영부로 전송하는 준비 자세 인식부, 스테레오 영상 상 기본 모델 영역의 밝기 모델, 컬러 모델, 텍스쳐 모델과 사용자의 실제 기본 모델을 결합하여 실제 인체 모델을 생성하는 인체 모델 생성부, 최적화 기법을 통해 표준 인체 모델과 실제 인체 모델 간 유사도를 최대화하는 실제 골격 모델의 강체 모션의 위치 및 회전 값을 추정하는 모션 추적부 및 강체 모션에 해당하는 골격 모델을 스테레오 영상이나 미리 지정된 가상 캐릭터 영상과 합성하여 동작 분석 영상을 생성하는 모션 합성부를 포함한다.

Description

동작 분석 장치 및 방법{APPARATUS AND METHDO FOR ANALAYZING MOTION}

본 발명은 사용자의 동작을 분석하는 기술에 관한 것으로, 보다 상세하게는 마커 없이 사용자의 모션을 캡처하고, 캡처된 모션을 나타내는 동작 분석 영상을 생성하는 기술에 관한 것이다.

모션 캡처 기술은 스포츠뿐만 아니라 방송, 영화, 애니메이션, 게임, 교육, 의료, 군사 등 다양한 분야에서 폭넓게 활용되는 기술이다. 통상적으로 모션 캡처를 위해서는 전용 복장을 착용한 사용자의 관절 부위에 마커를 부착한 후 자세 및 동작 변화에 따른 마커의 위치를 추적한 후, 역으로 사용자의 자세 및 동작을 캡처하는 마커 기반 동작 분석 장치가 이용된다.

그러나 마커 기반 동작 분석 장치는 설치 장소 및 설치 방법에 제약이 많고 사용자가 전용 복장을 착용하고 관절 부위에 마커를 부착해야 하는 불편함으로 인해, 실제 현장이 아닌 스튜디오와 같은 실내 공간에서 자세 및 동작의 캡처를 필요로 하는 영화 및 애니메이션 등과 같은 분야에서 활발하게 활용되고 있다. 그러나 실외 현장의 자세 및 동작 분석이 필요한 스포츠 분야 등에서는 마커 기반 동작 분석 장치의 활용이 제한적이다.

최근 깊이 카메라를 이용해 마커 기반의 동작 분석 장치의 설치상 제약과 사용상 단점을 개선한 마커프리 동작 분석 장치 및 방법이 활발하게 개발되고 있으나, 깊이 카메라의 촬영 속도와 해상도, 정확도 등의 한계로 인하여 동작 인식과 같이 정밀한 자세 및 동작 분석이 필요하지 않은 사용자 인터페이스 용도만 활용되고 있을 뿐, 스포츠 분야와 같이 고속의 동작에 대해서 정밀한 분석이 필요한 분야에서는 마커프리 동작 분석 장치가 아직까지 활용되지 못하고 있다.

본 발명이 해결하고자 하는 과제는 마커의 사용 없이 고속의 모션을 캡처하고, 캡처된 모션을 나타내는 동작 분석 영상을 생성하는 동작 분석 장치 및 방법을 제공하는 것이다.

본 발명의 일 측면에 따르면, 깊이 영상 및 스테레오 영상을 생성하는 영상 촬영부; 상기 깊이 영상을 참조하여 사용자의 실제 골격 모델과 준비 자세의 표준 골격 모델 간 유사도 및 실제 윤곽 모델과 준비 자세의 표준 윤곽 모델 간 유사도가 임계치 이상인 경우, 준비 자세 인식 신호를 상기 영상 촬영부로 전송하는 준비 자세 인식부; 상기 스테레오 영상 상 기본 모델 영역의 밝기 모델, 컬러 모델, 텍스쳐 모델과 사용자의 실제 기본 모델을 결합하여 실제 인체 모델을 생성하는 인체 모델 생성부; 최적화 기법을 통해 표준 인체 모델과 실제 인체 모델 간 유사도를 최대화하는 실제 골격 모델의 강체 모션의 위치 및 회전 값을 추정하는 모션 추적부; 및 강체 모션에 해당하는 골격 모델을 스테레오 영상이나 미리 지정된 가상 캐릭터 영상과 합성하여 동작 분석 영상을 생성하는 모션 합성부;를 포함하되, 상기 영상 촬영부는 상기 준비 자세 인식 신호를 수신하는 경우, 상기 스테레오 영상을 생성하는 것을 특징으로 하는 동작 분석 장치가 제공된다.

상기 영상 촬영부는 깊이 카메라를 통해 상기 깊이 영상을 생성하고, 두 대의 고속 컬러 카메라를 통해 상기 스테레오 영상을 생성할 수 있다.

준비 자세 인식부는 상기 실제 골격 모델과 상기 표준 골격 모델 간의 맨하튼 거리(Manhattan Distance) 및 유클리디안 거리(Euclidean Distance)를 통해 상기 실제 골격 모델과 상기 표준 골격 모델 간 유사도를 산출하고, 상기 실제 윤곽 모델과 상기 표준 윤곽 모델 간의 하우스도르프 거리(Hausdorff Distance)를 통해 상기 실제 윤곽 모델과 상기 표준 윤곽 모델 간의 유사도를 산출할 수 있다.

상기 인체 모델 생성부는, 사용자의 실제 골격 모델에 대한 위치 평균과 위치 표준편차를 가지는 3차원 가우시안 분포(3D Gaussian Distribution) 모델로 구성된 비정규 3차원 가우시안 혼합 (Sum of Un-normalized 3D Gaussians) 형태의 상기 실제 기본 모델을 생성할 수 있다.

상기 인체 모델 생성부는 상기 기본 모델 영역의 밝기 값에 평균 필터를 적용하여 상기 밝기 모델을 산출하고, 상기 기본 모델 영역의 컬러 값에 평균 필터를 적용하여 상기 컬러 모델을 산출하고, 상기 기본 모델 영역의 텍스처 값에 2차원 복소수 가버 필터(2D Complex Gabor Filter) 를 적용하여 상기 텍스쳐 모델을 산출할 수 있다.

본 발명의 다른 측면에 따르면, 동작 분석 장치가 동작을 분석하는 방법에 있어서, 깊이 영상을 생성하는 단계; 상기 깊이 영상을 참조하여 사용자의 실제 골격 모델과 준비 자세의 표준 골격 모델 간 유사도 및 실제 윤곽 모델과 준비 자세의 표준 윤곽 모델 간 유사도가 임계치 이상인 경우, 스테레오 영상을 생성하는 단계; 상기 스테레오 영상 상 기본 모델 영역의 밝기 모델, 컬러 모델, 텍스쳐 모델과 사용자의 실제 기본 모델을 결합하여 실제 인체 모델을 생성하는 단계; 최적화 기법을 통해 표준 인체 모델과 실제 인체 모델 간 유사도를 최대화하는 실제 골격 모델의 강체 모션의 위치 및 회전 값을 추정하는 단계; 및 강체 모션에 해당하는 골격 모델을 스테레오 영상이나 미리 지정된 가상 캐릭터 영상과 합성하여 동작 분석 영상을 생성하는 단계;를 포함하는 동작 분석 방법이 제공된다.

깊이 영상을 생성하는 단계는 깊이 카메라를 통해 상기 깊이 영상을 생성하는 단계이고, 상기 스테레오 영상을 생성하는 단계는 두 대의 고속 컬러 카메라를 통해 상기 스테레오 영상을 생성하는 단계이다.

상기 깊이 영상을 참조하여 사용자의 실제 골격 모델과 준비 자세의 표준 골격 모델 간 유사도 및 실제 윤곽 모델과 준비 자세의 표준 윤곽 모델 간 유사도가 임계치 이상인 경우, 스테레오 영상을 생성하는 단계는, 상기 실제 골격 모델과 상기 표준 골격 모델 간의 맨하튼 거리(Manhattan Distance) 및 유클리디안 거리(Euclidean Distance)를 통해 상기 실제 골격 모델과 상기 표준 골격 모델 간의 유사도를 산출하고, 상기 실제 윤곽 모델과 상기 표준 윤곽 모델 간의 하우스도르프 거리(Hausdorff Distance)를 통해 상기 실제 윤곽 모델과 상기 표준 윤곽 모델 간의 유사도를 산출할 수 있다.

상기 동작 분석 방법은 사용자의 실제 골격 모델에 대한 위치 평균과 위치 표준편차를 가지는 3차원 가우시안 분포(3D Gaussian Distribution) 모델로 구성된 비정규 3차원 가우시안 혼합 (Sum of Un-normalized 3D Gaussians) 형태의 상기 실제 기본 모델을 생성하는 단계를 더 포함할 수 있다.

상기 동작 분석 방법은 상기 기본 모델 영역의 밝기 값에 평균 필터를 적용하여 상기 밝기 모델을 산출하는 단계; 상기 기본 모델 영역의 컬러 값에 평균 필터를 적용하여 상기 컬러 모델을 산출하는 단계; 및 상기 기본 모델 영역의 텍스처 값에 2차원 복소수 가버 필터(2D Complex Gabor Filter) 를 적용하여 상기 텍스쳐 모델을 산출하는 단계를 더 포함할 수 있다.

상술한 바와 같이 본 발명의 일 실시예에 따르면, 고속 스테레오 컬러 카메라와 깊이 카메라로 구성된 고속 스테레오 RGB-D 카메라를 이용해 사용자의 인체 모션을 마커 없이 자동으로 추적할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 깊이 카메라에서 촬영되는 깊이 영상을 통해 분석되는 사용자의 실제 골격 모델과 데이터베이스에 등록된 준비 자세의 표준 골격 모델 사이의 유사도 비교와 깊이 영상에서 분석되는 사용자의 실제 윤곽 모델과 데이터베이스에 등록된 준비 자세의 표준 윤곽 모델 사이의 유사도 계측을 통하여 준비 자세를 인식하여 고속 스테레오 컬러 카메라의 시작 신호를 발생하기 때문에 별도의 트리거 장비가 필요 없이 고속의 스포츠 자세 및 동작에 대한 고속 촬영을 자동으로 수행할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 깊이 영상을 통해 분석되는 사용자의 실제 골격 모델을 기반으로 생성되는 기본 모델과 스테레오 컬러 영상을 통해 분석된 실제 밝기 모델, 컬러 모델, 텍스쳐 모델을 결합하여 실제 인체 모델을 생성한 후 데이터베이스에 등록된 표준 인체 모델과 실제 인체 모델 사이의 유사도를 최대화하는 실제 강체 모션을 추정하는 방식으로 인체 모션 추적을 수행하여 연속적으로 인체 모션을 추적하기 때문에 사용자에 마커를 부착함 없이 사용자가 직접 현장에서 자동으로 모션 캡처를 진행할 수 있다.

도 1은 본 발명의 일 실시예에 따른 동작 분석 장치를 예시한 블록도.
도 2는 본 발명의 일 실시예에 따른 동작 분석 장치가 이용하는 실제 골격 모델과 표준 골격 모델을 예시한 도면.
도 3은 본 발명의 일 실시예에 따른 동작 분석 장치가 이용하는 실제 윤곽 모델과 표준 윤곽 모델을 예시한 도면.
도 4는 본 발명의 일 실시예에 따른 동작 분석 장치가 생성하는 실제 기본 모델을 예시한 도면.
도 5는 본 발명의 일 실시에에 따른 동작 분석 장치가 생성하는 동작 분석 영상을 예시한 도면.
도 6은 본 발명의 일 실시예에 따른 동작 분석 장치가 사용자의 동작을 분석하는 과정을 예시한 순서도.
도 7은 본 발명의 일 실시예에 따른 동작 분석 장치가 설치된 예를 도시한 도면.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소로 신호를 “전송한다”로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되어 신호를 전송할 수 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 신호를 전송할 수도 있다고 이해되어야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 동작 분석 장치를 예시한 블록도이고, 도 2는 본 발명의 일 실시예에 따른 동작 분석 장치가 이용하는 실제 골격 모델과 표준 골격 모델을 예시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 동작 분석 장치가 이용하는 실제 윤곽 모델과 표준 윤곽 모델을 예시한 도면이고, 도 4는 본 발명의 일 실시예에 따른 동작 분석 장치가 생성하는 실제 기본 모델을 예시한 도면이고, 도 5는 본 발명의 일 실시에에 따른 동작 분석 장치가 생성하는 동작 분석 영상을 예시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 동작 분석 장치는 영상 촬영부(110), 준비 자세 인식부(120), 인체 모델 생성부(130), 모션 추적부(140) 및 모션 합성부(150)를 포함한다.

영상 촬영부(110)는 두 대의 고속 컬러 카메라와 한 대의 깊이 카메라로 구성된 고속 스테레오 RGB-D 카메라를 통해 스테레오 영상과 깊이 영상을 촬영한다. 우선 영상 촬영부(110)는 깊이 카메라를 통해 깊이 영상을 생성하여 준비 자세 인식부(120)로 전송한다. 이 때, 영상 촬영부(110)는 준비 자세 인식부(120)로부터 준비 자세 인식 신호를 수신하는 경우, 고속 컬러 카메라를 통해 스테레오 영상을 생성하여 인체 모델 생성부(130)로 전송한다.

준비 자세 인식부(120)는 공지된 깊이 영상 기반 자세 추출 기술을 통해 깊이 영상에서 분석되는 사용자의 실제 골격 모델(도 2의 210) K _c 와 데이터베이스(Database)에 등록된 준비 자세의 표준 골격 모델(도 2의 220) K _r , 깊이 영상에서 분석되는 사용자의 실제 윤곽(Silhouette) 모델(도 3의 310) S _c 와 데이터베이스에 등록된 준비 자세의 표준 윤곽 모델(도 3의 320) S _r 사이의 유사도(Similarity)가 일정 임계치(Threshold) 이상인 경우, 사용자가 현재 준비 자세에 있는 것으로 인식하고 영상 촬영부(110)로 준비 자세 인식 신호를 전송한다.

여기서, 사용자의 실제 골격 모델(210) K _c 와 준비 자세의 표준 골격 모델(229) K _r 사이의 유사도는 하기의 수학식 1에 나타낸 바와 같은 실제 골격 모델의 상대적 3차원 회전 Θ _c 와 표준 골격 모델의 상대적 회전 Θ _r 사이의 맨하튼 거리(Manhattan Distance)와 유클리디안 거리(Euclidean Distance)를 각각 L ₁ 및 L ₂ 표준(Norm)으로 산출될 수 있다.

[수학식 1]

또한, 사용자의 실제 윤곽 모델(310) S _c 와 준비 자세의 표준 윤곽 모델(320) S _r 사이의 유사도는 하기의 수학식 2와 같이 실제 윤곽 모델 상 2차원 영상의 위치 x에 있는 영상 에지 픽셀 P _c 과 표준 윤곽 모델 상 2차원 영상의 위치 y에 있는 영상 에지 픽셀 P _r 간의 하우스도르프 거리(Hausdorff Distance)

로 산출될 수 있다. 이 때, 영상 에지 픽셀은 윤곽 모델의 윤곽선 상에 위치한 픽셀을 의미한다.

[수학식 2]

이 때, E _c 는 실제 윤곽 모델에 해당하는 영상 에지 픽셀 P _c 의 집합이고, E _r 은 표준 윤곽 모델에 해당하는 영상 에지 픽셀 P _r 의 집합이다.

인체 모델 생성부(130)는 깊이 영상에 따른 사용자의 실제 기본 모델을 생성하고, 기본 모델과 스테레오 영상에 따른 밝기 모델, 컬러 모델, 텍스쳐 모델을 이용하여 사용자의 인체 모델을 생성한다.

예를 들어, 인체 모델 생성부(130)는 실제 기본 모델(Base Model) B _c (도 4의 4`10)을, 깊이 영상을 참조하여 3차원 공간 위치 X에서 사용자의 실제 골격 모델에 대한 위치 평균 μ _c 와 위치 표준편차 σ _c 를 가지는 3차원 가우시안 분포(3D Gaussian Distribution) 모델 M(M은 1 이상의 자연수)개로 구성된 비정규 3차원 가우시안 혼합 (Sum of Un-normalized 3D Gaussians, SOG) 형태로 하기의 수학식 3을 통해 산출할 수 있다.

[수학식 3]

이 때, B_c _,m(X)는 3차원 공간 X에서 실제 골격에 대한 위치 평균 μ _c 와 위치 표준편차 σ _c 를 가지는 3차원 가우시안 분포이고, σ _c,m 는 m번째 가우시안 분포 모델의 위치 표준 편차이고, μ _c,m 은 m번째 가우시안 분포 모델의 위치 평균이다.

인체 모델 생성부(130)는 스테레오 영상 상에서 실제 기본 모델에 해당되는 영역(이하, 기본 모델 영역이라 지칭)의 밝기(Intensity) 모델 I _c , 컬러 모델 C _c , 텍스쳐(Texture) 모델 T _c 과 사용자의 실제 기본 모델 B _c 을 결합하여 실제 인체 모델을 생성한다. 이 때, m번째 가우시안 분포 모델 B _c _,m 에 결합되는 밝기 값은 단일 실수값을 포함하는 형태이고, 컬러 값은 R(red), G(green), B(blue)에 대한 각각의 실수를 포함하는 형태이고, 텍스쳐 값은 V개의 특수한 필터를 통해 계산되는V개의 실수값을 가지는 벡터 형태의 텍스쳐 데이터로서 t _c _,m = (t _c _,m, ₁, …, t _c _,m,V )와 같이 정의될 수 있다. 인체 모델 생성부(130)는 기본 모델 영역의 밝기 값에 평균 필터(Mean Filter) 를 적용하여 계산되는 평균 밝기 값을 밝기 값 i _c _,m 으로 산출하고, 기본 모델 영역의 컬러 정보에 평균 필터를 적용하여 계산되는 평균 컬러 값을 컬러 값 c _c _,m 으로 산출할 수 있다. 인체 모델 생성부(130)는 하기의 수학식 4와 같이 가우시안 포락선(Gaussian Envelope)의 크기 값와 회전 값이 각각 A와 φ이고, 복소수 사인곡선(Complex Sinusoid)의 공간 주파수와 위상 차가 각각 u ₀, v ₀,

인 2차원 복소수 가버 필터(2D Complex Gabor Filter) 를 기본 모델 영역에 적용할 수 있다.

[수학식 4]

그리고, 인체 모델 생성부(130)는 상술한 수학식 4에 따른 기본 모델 영역에 대한 2차원 복소수 가버 필터를 적용한 결과에 대한 크기(Magnitude) 값 (|f _c _,m, ₁|, …, |f _c,m,V |)을 다시 비선형 변환하여 텍스쳐 값 t _c _,m 을 하기의 수학식 5와 같이 계산할 수 있다.

[수학식 5]

모션 추적부(140)는 사용자 데이터베이스에 등록된 사용자의 표준 인체 모델 G _r 과 깊이 영상과 스테레오 영상을 참조하여 생성한 실제 인체 모델 G _c 사이의 유사도를 하기 수학식 6과 같이 계산한다. 이 때, 모션 추적부(140)는 사용자 데이터베이스에 등록된 표준 골격 모델 K _r , 표준 기본 모델 B _r , 표준 밝기 모델 I _r , 표준 컬러 모델 C _r , 표준 텍스쳐 모델 T _r 을 스테레오 영상에서 분석된 골격 모델 K _c , 기본 모델 B _c , 밝기 모델 I _r , 컬러 모델 C _c , 텍스쳐 모델 T _c 사이의 유사도 E를 하기 수학식 6과 같이 계산할 수 있다.

[수학식 6]

여기서, s번 째 표준 인체 모델과 d번째 인체 모델 간 유사도인 E _s _,d 는 수학식 7과 같이 정의되고 C² 연속 거리(C² Continuous) d _C ₂는 각각 하기의 수학식 8과 같이 정의 된다.

[수학식 7]

[수학식 8]

여기서,

는 C ² 연속 웬드랜드 방사 기저 함수(C ² Continuous Smooth Wendland Radial Basis Function)로서,

(0) = 1,

(1) = 0인 특성을 가진다. 또한, ε _sim _,i , ε _sim _,c , ε _sim _,t 는 각각 밝기, 컬러, 텍스쳐의 최대 차이 경계 값(Maximum Distance Threshold Value)이다. 밝기, 컬러, 텍스쳐의 차이 값이 최대 차이 경계 값 보다 큰 경우, 유사도는 0이 될 수 있다.

모션 추적부(140)는 상술한 과정을 통해 산출한 유사도 E가 최대가 되도록 실제 골격 모델 K _c 의 강체 모션 Ω _c 의 위치 및 회전 값을 최적화(Optimization) 기법을 통해 추정함으로써 모션 추적을 수행한다. 모션 추적부(140)는 새로운 스테레오 영상이 입력될 때 마다 상술한 과정을 반복적으로 수행한다. 모션 추적부(140)는 상술한 과정을 통해 연속적으로 추정된 강체 모션 Ωc,1 내지 Ωc,t (t는 2 이상의 자연수)을 골격 모델 Kc,₁, 내지 Kc,t에 해당하는 모션으로 설정한다.

모션 합성부(150)는 모션에 해당하는 골격 모델 Kc,₁ 내지 Kc,t 을 해당하는 사용자의 스테레오 영상이나 미리 지정된 가상 캐릭터 영상 합성과 합성하여 동작 분석 영상을 생성한다. 예를 들어, 모션 합성부(150)는 도 5와 같이 스테레오 영상 상에 사용자의 모션에 해당하는 골격 모델(510)을 합성한 동작 분석 영상을 생성하여, 사용자가 동작 분석 영상을 확인하여 자신의 동작을 명확하게 파악하도록 할 수 있다.

도 6은 본 발명의 일 실시예에 따른 동작 분석 장치가 사용자의 동작을 분석하는 과정을 예시한 순서도이다. 이하 설명하는 각 과정은 동작 분석 장치를 구성하는 각 기능부를 통해 수행되는 과정이나 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 동작 분석 장치로 통칭하도록 한다.

도 6을 참조하면, 단계 610에서 동작 분석 장치는 깊이 카메라를 통해 깊이 영상을 생성한다.

단계 620에서 동작 분석 장치는 사용자의 실제 골격 모델과 준비 자세의 표준 골격 모델, 실제 윤곽 모델과 준비 자세의 표준 윤곽 모델 사이의 유사도가 임계치 이상인지 판단한다.

단계 620에서 사용자의 실제 골격 모델과 준비 자세의 표준 골격 모델, 실제 윤곽 모델과 준비 자세의 표준 윤곽 모델 사이의 유사도가 임계치 이상인 경우, 단계 630에서 동작 분석 장치는 스테레오 카메라를 통해 스테레오 영상을 생성한다.

단계 640에서 동작 분석 장치는 스테레오 영상 상에서 실제 기본 모델에 해당되는 영역(이하, 기본 모델 영역이라 지칭)의 밝기(Intensity) 모델 I _c , 컬러 모델 C _c , 텍스쳐(Texture) 모델 T _c 과 사용자의 실제 기본 모델 B _c 을 결합하여 실제 인체 모델을 생성한다.

단계 650에서 동작 분석 장치는 표준 인체 모델과 실제 인체 모델 간 유사도가 최대가 되도록 실제 골격 모델의 강체 모션의 위치 및 회전 값을 최적화 기법을 통해 추정한다.

단계 660에서 동작 분석 장치는 강체 모션에 해당하는 골격 모델을 스테레오 영상이나 미리 지정된 가상 캐릭터 영상과 합성하여 동작 분석 영상을 생성한다.

도 7은 본 발명의 일 실시예에 따른 동작 분석 장치가 설치된 예를 도시한 도면이다.

도 7을 참조하면, 동작 분석 장치는 두 대의 고속 컬러 카메라(720, 730)와 한 대의 깊이 카메라(740)로 구성된 고속 스테레오 RGB-D 카메라(710) 및 동작 분석 영상을 출력하기 위한 모니터 등의 출력 장치(760)를 포함할 수 있다. 또한, 동작 분석 장치의 동작을 제어하기 위한 입력부(170)를 포함할 수 있다. 따라서, 동작 분석 장치는 일체형의 디바이스로 구성될 수 있으며, 이에 따라 야외 등의 현장에서 사용자의 동작을 분석하여 동작 분석 영상을 제공할 수 있다.

상술한 본 발명의 일 실시예에 따른 애니메이션 생성 장치는 컴퓨터 시스템으로 구현될 수 있다.

도 8은 본 발명의 일 실시예에 따른 혼합 현실 디스플레이 장치가 구현된 컴퓨터 시스템을 예시한 도면이다.

본 발명에 따른 실시예는 컴퓨터 시스템 내에, 예를 들어, 컴퓨터 판독가능 기록매체로 구현될 수 있다. 도 8에 도시된 바와 같이, 컴퓨터 시스템(800)은 하나 이상의 프로세서(810), 메모리(820), 저장부(830), 사용자 인터페이스 입력부(840) 및 사용자 인터페이스 출력부(850) 중 적어도 하나 이상의 요소를 포함할 수 있으며, 이들은 버스(860)를 통해 서로 통신할 수 있다. 또한, 컴퓨터 시스템(800)은 네트워크에 접속하기 위한 네트워크 인터페이스(870)를 또한 포함할 수 있다. 프로세서(810)는 메모리(820) 및/또는 저장소(830)에 저장된 처리 명령어를 실행시키는 CPU 또는 반도체 소자일 수 있다. 메모리(820) 및 저장부(830)는 다양한 유형의 휘발성/비휘발성 기억 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(824) 및 RAM(825)를 포함할 수 있다.

이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

깊이 영상 및 스테레오 영상을 생성하는 영상 촬영부;
상기 깊이 영상을 참조하여 사용자의 실제 골격 모델과 준비 자세의 표준 골격 모델 간 유사도 및 실제 윤곽 모델과 준비 자세의 표준 윤곽 모델 간 유사도가 임계치 이상인 경우, 준비 자세 인식 신호를 상기 영상 촬영부로 전송하는 준비 자세 인식부;
상기 스테레오 영상 상 기본 모델 영역의 밝기 모델, 컬러 모델, 텍스쳐 모델과 사용자의 실제 기본 모델을 결합하여 실제 인체 모델을 생성하는 인체 모델 생성부;
최적화 기법을 통해 표준 인체 모델과 실제 인체 모델 간 유사도를 최대화하는 실제 골격 모델의 강체 모션의 위치 및 회전 값을 추정하는 모션 추적부; 및
강체 모션에 해당하는 골격 모델을 스테레오 영상이나 미리 지정된 가상 캐릭터 영상과 합성하여 동작 분석 영상을 생성하는 모션 합성부;
를 포함하되,
상기 영상 촬영부는 상기 준비 자세 인식 신호를 수신하는 경우, 상기 스테레오 영상을 생성하는 것을 특징으로 하는 동작 분석 장치.
제1 항에 있어서,
상기 영상 촬영부는 깊이 카메라를 통해 상기 깊이 영상을 생성하고, 두 대의 고속 컬러 카메라를 통해 상기 스테레오 영상을 생성하는 것을 특징으로 하는 동작 분석 장치.
제2 항에 있어서,
준비 자세 인식부는 상기 실제 골격 모델과 상기 표준 골격 모델 간의 맨하튼 거리(Manhattan Distance) 및 유클리디안 거리(Euclidean Distance)를 통해 상기 실제 골격 모델과 상기 표준 골격 모델 간 유사도를 산출하고,
상기 실제 윤곽 모델과 상기 표준 윤곽 모델 간의 하우스도르프 거리(Hausdorff Distance)를 통해 상기 실제 윤곽 모델과 상기 표준 윤곽 모델 간의 유사도를 산출하는 것을 특징으로 하는 동작 분석 장치.
제1 항에 있어서,
상기 인체 모델 생성부는,
사용자의 실제 골격 모델에 대한 위치 평균과 위치 표준편차를 가지는 3차원 가우시안 분포(3D Gaussian Distribution) 모델로 구성된 비정규 3차원 가우시안 혼합 (Sum of Un-normalized 3D Gaussians) 형태의 상기 실제 기본 모델을 생성하는 것을 특징으로 하는 동작 분석 장치.
제1 항에 있어서,
상기 인체 모델 생성부는 상기 기본 모델 영역의 밝기 값에 평균 필터를 적용하여 상기 밝기 모델을 산출하고,
상기 기본 모델 영역의 컬러 값에 평균 필터를 적용하여 상기 컬러 모델을 산출하고,
상기 기본 모델 영역의 텍스처 값에 2차원 복소수 가버 필터(2D Complex Gabor Filter) 를 적용하여 상기 텍스쳐 모델을 산출하는 것을 특징으로 하는 동작 분석 장치.
동작 분석 장치가 동작을 분석하는 방법에 있어서,
깊이 영상을 생성하는 단계;
상기 깊이 영상을 참조하여 사용자의 실제 골격 모델과 준비 자세의 표준 골격 모델 간 유사도 및 실제 윤곽 모델과 준비 자세의 표준 윤곽 모델 간 유사도가 임계치 이상인 경우, 스테레오 영상을 생성하는 단계;
상기 스테레오 영상 상 기본 모델 영역의 밝기 모델, 컬러 모델, 텍스쳐 모델과 사용자의 실제 기본 모델을 결합하여 실제 인체 모델을 생성하는 단계;
최적화 기법을 통해 표준 인체 모델과 실제 인체 모델 간 유사도를 최대화하는 실제 골격 모델의 강체 모션의 위치 및 회전 값을 추정하는 단계; 및
강체 모션에 해당하는 골격 모델을 스테레오 영상이나 미리 지정된 가상 캐릭터 영상과 합성하여 동작 분석 영상을 생성하는 단계;
를 포함하는 동작 분석 방법.
제5 항에 있어서,
깊이 영상을 생성하는 단계는 깊이 카메라를 통해 상기 깊이 영상을 생성하는 단계이고,
상기 스테레오 영상을 생성하는 단계는 두 대의 고속 컬러 카메라를 통해 상기 스테레오 영상을 생성하는 단계인 것을 특징으로 하는 동작 분석 방법.
제7 항에 있어서,
상기 깊이 영상을 참조하여 사용자의 실제 골격 모델과 준비 자세의 표준 골격 모델 간 유사도 및 실제 윤곽 모델과 준비 자세의 표준 윤곽 모델 간 유사도가 임계치 이상인 경우, 스테레오 영상을 생성하는 단계는,
상기 실제 골격 모델과 상기 표준 골격 모델 간의 맨하튼 거리(Manhattan Distance) 및 유클리디안 거리(Euclidean Distance)를 통해 상기 실제 골격 모델과 상기 표준 골격 모델 간의 유사도를 산출하고,
상기 실제 윤곽 모델과 상기 표준 윤곽 모델 간의 하우스도르프 거리(Hausdorff Distance)를 통해 상기 실제 윤곽 모델과 상기 표준 윤곽 모델 간의 유사도를 산출하는 것을 특징으로 하는 동작 분석 방법.
제6 항에 있어서,
사용자의 실제 골격 모델에 대한 위치 평균과 위치 표준편차를 가지는 3차원 가우시안 분포(3D Gaussian Distribution) 모델로 구성된 비정규 3차원 가우시안 혼합 (Sum of Un-normalized 3D Gaussians) 형태의 상기 실제 기본 모델을 생성하는 단계를 더 포함하는 동작 분석 방법.
제6 항에 있어서,
상기 기본 모델 영역의 밝기 값에 평균 필터를 적용하여 상기 밝기 모델을 산출하는 단계;
상기 기본 모델 영역의 컬러 값에 평균 필터를 적용하여 상기 컬러 모델을 산출하는 단계; 및
상기 기본 모델 영역의 텍스처 값에 2차원 복소수 가버 필터(2D Complex Gabor Filter) 를 적용하여 상기 텍스쳐 모델을 산출하는 단계를 더 포함하는 것을 특징으로 하는 동작 분석 방법.