KR101587962B1 - 모션 캡처 장치 및 방법 - Google Patents

Abstract

모션 캡처 장치 및 방법이 개시된다. 본 발명에 따른 모션 캡처 장치는 T+1 프레임에서 개체를 촬영한 다시점 영상을 이용하여 상기 개체의 3차원 외형을 복원하는 3차원 외형 복원부; 상기 3차원 외형 및 T 프레임의 모션을 가진 상기 개체의 모델을 이용하여 T+1 프레임의 3차원 뼈대를 생성하는 3차원 뼈대화부; 및 상기 T+1 프레임의 3차원 뼈대에 기반하여 상기 모델의 모션을 변경하여 상기 모델의 T+1 프레임의 모션을 복원하는 모션 복원부를 포함한다.

Description

모션 캡처 장치 및 방법{Motion capture apparatus and method}

본 발명은 모션 캡처(motion capture) 장치 및 방법에 관한 것으로서, 특히 복원된 3차원 외형 및 이전 프레임(frame)의 정보를 이용하여 3차원 뼈대를 생성하고 전역적인 특징점을 검색함으로써, 모션 복원의 정확도를 높이고 에러(error) 누적현상을 줄여 복잡한 모션 복원이나 긴 시퀀스(sequence)의 모션 복원이 가능한 모션 캡처 장치 및 방법에 관한 것이다.

동적 모션을 취하는 개체의 모션 정보를 획득하는 종래의 기술은 크게 2가지로 분류될 수 있다.

먼저, 마커(marker)를 사용하는 방법이 있다. 종래의 모션 복원 기법들은 모션 정보를 획득하고자 하는 개체의 외형에 마커를 부착하여 매 프레임 마커의 위치를 추적하여 모션 정보를 얻는 방법이 주로 이용되었다. 마커를 통해 얻어진 모션 정보는, 가려짐(occlusion)이나 센서 오차 등에 의해 잘못된 부분에 대한 수작업의 보완 과정을 거쳐서 최종 결과로 얻어지게 된다. 마커 기반의 방법은 비교적 높은 정확도를 얻을 수 있는 장점이 있으나, 개체의 외형에 수많은 마커를 부착하여야 하고 고가의 모션 캡처 장비가 있어야 하며 캡처된 마커의 후처리가 필요하다는 단점이 존재한다.

동적 개체의 모션을 복원하는 또 다른 방법으로는 마커를 사용하지 않는 마커프리(marker-free) 방법이 있다. 이는 마커리스(markerless) 방법이라고도 한다. 마커를 사용하지 않는 방법은, 앞서 언급한 마커를 이용한 방법에 비해 마커를 부착할 필요가 없기 때문에 촬영이 간편하고, 대부분의 경우 고가의 장비 대신 영상 센서만을 이용하므로 가격 측면에서도 저렴한 장점이 존재한다. 하지만, 복잡한 모션의 경우 정확한 모션을 추출해내기 어려운 단점이 존재한다.

마커프리 모션 복원 알고리즘은 사전 휴먼 모델 정보의 사용 유무에 따라 크게 두 가지로 구분될 수 있다.

첫째는 모델을 사용하지 않는 모델프리(model free) 접근법이다. 이 방법의 경우는 대부분 영상을 기반으로 해서 3차원 포즈를 추출하게 된다. 그 방법으로는 몸의 팔다리를 먼저 찾아내고 확률적 조립(probabilistic assemblies)을 이용하여 모션을 추출하는 상향식 접근법과, 미리 저장되어있는 데이터베이스(database; DB)를 기반으로 하여 영상과 3차원 포즈 사이에 직접적인 매칭을 통해 포즈를 알아내는 예제기반 접근법(Example-based methods)이 존재한다. 그러나 모델프리 방법의 경우는 복잡한 경우에는 정확도가 떨어지며, 예제기반 접근법의 경우에는 DB에 따라 추출할 수 있는 모션이 제한된다는 단점이 존재한다.

둘째로는, 미리 정의된 모델을 사용하는 접근법이 있다. 이 경우, 미리 정의된 모델의 운동학(kinematics) 정보뿐만 아니라, 외형 정보도 활용이 가능하며, 사전 모델과 영상 속의 개체 혹은 다시점 영상에서부터 복셀 복원(Voxel reconstruction) 등을 통해 얻은 3차원 볼륨 개체와의 비교를 통해 모션을 추출해 낼 수 있다. 이런 접근을 통해서 기존의 모델프리 방법에 비해 비교적 복잡한 모션까지도 추출해 내는 것이 가능하다. 하지만 이 접근의 경우에도 여전히 모델과 3차원 개체 사이의 대응관계를 어떻게 유추하는지가 주요 이슈로 남아있다. 종래의 접근의 경우는 대부분 지역적 최적화(local optima) 방법에 의존하기 때문에 에러 누적 현상이 강하게 발생한다. 따라서, 기존의 접근들은 복잡한 모션이 들어가있는 긴 시퀀스 영상의 경우 끝까지 트랙킹(tracking)하지 못하고 에러 누적 현상에 의해 중간에 모션 복원이 실패하는 문제점이 발생하게 된다.

본 발명의 목적은 복원된 3차원 외형 및 이전 프레임(frame)의 정보를 이용하여 3차원 뼈대를 생성하고 전역적인 특징점을 검색함으로써, 모션(motion) 복원의 정확도를 높이고 에러(error) 누적현상을 줄여 복잡한 모션 복원이나 긴 시퀀스(sequence)의 모션 복원이 가능한 모션 캡처 장치 및 방법을 제공하는 것이다.

본 발명의 일 실시예에 따른 모션 캡처 장치는, T+1 프레임에서 개체를 촬영한 다시점 영상을 이용하여 상기 개체의 3차원 외형을 복원하는 3차원 외형 복원부; 상기 3차원 외형 및 T 프레임의 모션을 가진 상기 개체의 모델을 이용하여 T+1 프레임의 3차원 뼈대를 생성하는 3차원 뼈대화부; 및 상기 T+1 프레임의 3차원 뼈대에 기반하여 상기 모델의 모션을 변경하여 상기 모델의 T+1 프레임의 모션을 복원하는 모션 복원부를 포함하여 구성된다.

상기 3차원 외형 복원부는, 상기 다시점 영상에서 상기 개체의 영역에 해당하는 부분을 전경으로 하여, 배경으로부터 분리한 다음, 상기 전경 및 배경의 실루엣 정보 및 컬러의 일치성 정보를 종합하여 상기 개체의 3차원 외형을 복원할 수 있다.

상기 모션 복원부는, 상기 3차원 뼈대에서 3차원 위치를 측정할 수 있는 전역적 특징점을 검색하는 특징점 검색부; 상기 전역적 특징점에 대하여 상기 모델의 대응점을 유추하는 대응점 유추부; 및 상기 대응점을 기반으로 상기 모델의 모션을 변경하는 모션 변경부를 포함할 수 있다.

상기 3차원 뼈대화부는, 상기 T 프레임의 모션을 가진 상기 개체의 모델의 뼈대의 길이 방향의 법선 방향으로 상기 모델의 절단면 및 상기 3차원 외형의 절단면을 생성하는 절단면 생성부; 상기 모델의 절단면을 타원 피팅하여 타원을 생성하는 타원 피팅부; 및 상기 3차원 외형의 절단면을 기반으로 상기 타원의 최적 위치를 탐색하여 상기 모델의 뼈대 위치를 추정하는 뼈대 위치 추정부를 포함할 수 있다.

본 발명의 일 실시예에 따른 모션 캡처 방법은, T+1 프레임에서 개체를 촬영한 다시점 영상을 이용하여 상기 개체의 3차원 외형을 복원하는 단계; 상기 3차원 외형 및 T 프레임의 모션을 가진 상기 개체의 모델을 이용하여 T+1 프레임의 3차원 뼈대를 생성하는 단계; 및 상기 T+1 프레임의 3차원 뼈대에 기반하여 상기 모델의 모션을 변경하여 상기 모델의 T+1 프레임의 모션을 복원하는 단계를 포함하여 구성된다.

상기 3차원 외형을 복원하는 단계는, 상기 다시점 영상에서 상기 개체의 영역에 해당하는 부분을 전경으로 하여, 배경으로부터 분리한 다음, 상기 전경 및 배경의 실루엣 정보 및 컬러의 일치성 정보를 종합하여 상기 개체의 3차원 외형을 복원하는 단계를 포함할 수 있다.

상기 모션을 복원하는 단계는, 상기 3차원 뼈대에서 3차원 위치를 측정할 수 있는 전역적 특징점을 검색하는 단계; 상기 전역적 특징점에 대하여 상기 모델의 대응점을 유추하는 단계; 및 상기 대응점을 기반으로 상기 모델의 모션을 변경하는 단계를 포함할 수 있다.

상기 3차원 뼈대를 생성하는 단계는, 상기 T 프레임의 모션을 가진 상기 개체의 모델의 뼈대의 길이 방향의 법선 방향으로 상기 모델의 절단면 및 상기 3차원 외형의 절단면을 생성하는 단계; 상기 모델의 절단면을 타원 피팅하여 타원을 생성하는 단계; 및 상기 3차원 외형의 절단면을 기반으로 상기 타원의 최적 위치를 탐색하여 상기 모델의 뼈대 위치를 추정하는 단계를 포함할 수 있다.

본 발명의 일 측면에 따르면, 복원된 3차원 외형 및 이전 프레임(frame)의 정보를 이용하여 3차원 뼈대를 생성하고 전역적인 특징점을 검색함으로써, 모션(motion) 복원의 정확도를 높이고 에러(error) 누적현상을 줄여 복잡한 모션 복원이나 긴 시퀀스(sequence)의 모션 복원이 가능한 모션 캡처 장치 및 방법을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 모션 캡처 장치를 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 모션 캡처 장치의 3차원 뼈대화부를 개략적으로 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 모션 캡처 장치의 3차원 뼈대화부에 의한 뼈대화 과정의 일 예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 모션 캡처 장치의 3차원 뼈대화부에 의한 뼈대화 과정의 다른 예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 모션 캡처 장치의 모션 복원부를 개략적으로 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 모션 캡처 장치의 대응점 유추부에서 대응점을 유추하는 과정의 일 예를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 모션 캡처 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 모션 캡처 방법에서 3차원 뼈대를 생성 하는 단계를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 모션 캡처 방법에서 모션을 복원하는 단계를 설명하기 위한 도면이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

도 1은 본 발명의 일 실시예에 따른 모션 캡처 장치를 개략적으로 도시한 도면이다.

본 발명의 일 실시예에 따른 모션 캡처 장치(100)에서는 입력으로 T 프레임의 모션을 가진 모델(111) 및 T+1 프레임에서 상기 개체를 촬영한 다시점 영상(112)이 주어진다. T 프레임은 기준이 되는 프레임이며, T+1 프레임은 T 프레임 이후의 새로운 프레임이다.

T 프레임의 모션을 가진 모델(111)은 T 프레임에 대해서 영상 속 개체와 정렬(align)된 모션을 가진 모델로서, 관절의 구조가 미리 정의되고 상기 관절 및 상기 모델 사이의 연결 관계가 미리 정의될 수 있다. 상기 관절 및 상기 모델 사이의 연결 관계를 미리 정의하는 과정을 리깅(rigging) 과정이라고 한다. 모델(111)의 외형은 디자이너(designer)에 의해 제작되거나 스캔 데이터(scan data)를 이용하여 제작될 수 있으며, 또는 비젼 알고리즘(vision algorithm)을 통해 영상으로부터 자동 복원된 정보를 이용하여 제작될 수도 있다. 또한, 리깅 과정은 디자이너를 통해 수작업으로 이루어지거나 자동 리깅 알고리즘이나 인체 자동 전이 등의 기술을 이용해서 자동으로 이루어질 수도 있다.

이와 같이 주어진 입력에 대해서 본 발명의 일 실시예에 따른 모션 캡처 장치(100)를 이용하면 최종적으로 T+1의 모션을 가지는 모델(113)이 출력으로서 도출된다. 모션 캡처 장치(100)를 이용하여 모션 캡처를 반복적으로 수행하면 전체 프레임에 대해서 모션을 복원하는 것이 가능하다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 모션 캡처 장치(100)는 3차원외형 복원부(101), 3차원 뼈대화부(102) 및 모션 복원부(103)를 포함하여 구성될 수 있다. 도 1에 도시된 모션 캡처 장치(100)는 일 실시예에 따른 것이고 도 1에 도시된 블록들은 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 일부 블록이 추가, 변경 또는 삭제될 수 있다.

3차원 외형 복원부(101)는 T+1 프레임에서 개체를 촬영한 다시점 영상(112)을 이용하여 상기 개체의 3차원 외형을 복원한다. 3차원 외형 복원부(101)는 T+1 프레임에서의 다시점 영상(112)을 이용하여 개체의 3차원 외형의 기하학적 형상을 복셀(voxel)을 이용한 체적(volume) 기반 또는 3차원 상에 존재하는 개체 포인트(point) 기반으로 복원할 수 있다. 일 실시예에서, 3차원 외형 복원부(101)는 상기 다시점 영상(112)에서 상기 개체의 영역에 해당하는 부분을 전경으로 하여, 배경으로부터 분리한 다음, 상기 전경 및 배경의 실루엣 정보 및 컬러의 일치성 정보를 종합하여 상기 개체의 3차원 외형을 복원할 수 있다.

3차원 뼈대화부(102)는 3차원 외형 복원부(101)에서 복원된 상기 3차원 외형 및 T 프레임의 모션을 가진 상기 개체의 모델(111)을 이용하여 T+1 프레임의 3차원 뼈대를 생성한다. 3차원 뼈대화부(102)의 뼈대화 과정은 상기 3차원 외형으로부터 관절의 위치가 될 수 있는 유력한 후보 위치를 검색하기 위한 것이며 3차원 뼈대화부(102)에서 생성된 상기 3차원 뼈대는 근사화된 관절의 위치를 가질 수 있다. 따라서 개체의 3차원 외형이 아니라 상기 3차원 뼈대만을 토대로 모션을 캡처하는 것이 가능하게 된다. 3차원 뼈대화부(102)의 일 실시예의 구체적인 구성에 대해서는 이후에 도면을 참조하여 상세히 설명하도록 한다.

모션 복원부(103)는 3차원 뼈대부(102)에서 생성된 상기 T+1 프레임의 3차원 뼈대에 기반하여 모델(111)의 모션을 변경하여 모델(111)의 T+1 프레임의 모션을 복원한다. 일 실시예에서, 모션 복원부(103)는 상기 3차원 뼈대에서 3차원 위치를 측정할 수 있는 전역적 특징점을 검색하고 상기 전역적 특징점에 대한 모델(111)의 대응점을 유추한 다음, 상기 대응점을 기반으로 모델(111)의 모션을 변경함으로서 모델(113)의 T+1 프레임의 모션을 복원할 수 있다. 모션 복원부(103)의 일 실시예의 구체적인 구성에 대해서는 이후에 도면을 참조하여 상세히 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따른 모션 캡처 장치의 3차원 뼈대화부를 개략적으로 도시한 도면이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 모션 캡처 장치의 3차원 뼈대화부(102)는 절단면 생성부(201), 타원 피팅부(202) 및 뼈대 위치 추정부(203)를 포함하여 구성될 수 있다. 도 2에 도시된 모션 캡처 장치의 3차원 뼈대화부(102)는 일 실시예에 따른 것이고 도 2에 도시된 블록들은 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 일부 블록이 추가, 변경 또는 삭제될 수 있다.

절단면 생성부(201)는 상기 T 프레임의 모션을 가진 상기 개체의 모델(111)의 뼈대의 길이 방향의 법선 방향으로 상기 모델(111)의 절단면 및 상기 개체의 3차원 외형(114)의 절단면을 생성한다. 절단면 생성부(201)는 먼저 T 프레임의 모션을 가진 모델(111)의 각 뼈대를 일정 구간별로 샘플링(sampling)한 후 상기 뼈대의 길이 방향의 법선 방향으로 절단면을 생성한다. 절단면에는 절단면을 통해 잘려지는 상기 모델(111)의 절단면 및 절단면을 통해 잘려지는 3차원 외형(114)의 절단면이 그려지게 된다.

타원 피팅부(202)는 상기 모델의 절단면을 타원 피팅(ellipse fitting)하여 타원을 생성한다.

뼈대 위치 추정부(203)는 3차원 외형(114)의 절단면을 기반으로 상기 타원의 최적 위치를 탐색하여 모델(111)의 뼈대 위치를 추정한다. 뼈대 위치 추정부(203)의 목표는 모델(111)의 절단면을 3차원 외형(114)의 절단면을 기반으로 최적의 위치에 올려놓는 것이다. 일반적으로 모델(111)의 절단면이 3차원 외형(114)의 절단면과 정확히 일치될수록 모션이 올바르게 추정되었다고 볼 수 있으므로 모델(111)의 절단면과 3차원 외형(114)의 절단면을 일치시켰을 때의 모델(111)의 뼈대의 최종 위치가 현 절단면에서의 뼈대 위치를 추정한 것이 될 것이다. 뼈대 위치 추정부(203)는 상기 모델의 뼈대의 위치를 매끄럽게 만들기 위하여 최적화 기법을 사용하여 상기 모델의 뼈대 위치를 추정할 수 있다.

3차원 뼈대화부(102)는 절단면 생성부(201), 타원 피팅부(202) 및 뼈대 위치 추정부(203)를 포함함으로써, 3차원 외형(114)으로부터 함축적인 모션 정보를 획득할 수 있는 3차원 뼈대(115)를 얻게 된다.

도 3은 본 발명의 일 실시예에 따른 모션 캡처 장치의 3차원 뼈대화부에 의한 뼈대화 과정의 일 예를 설명하기 위한 도면이다.

도 3에서 왼쪽에 개체의 복원된 3차원 외형에서 타원 점선 부분(301)이 절단면으로 잘려진 구간이며 절단면 이미지는 도 3의 오른쪽에 도시된다. 여기서 타원(302)가 T 프레임에서의 모델의 절단면을 타원 피팅한 결과이고, 타원(304)은 T+1 프레임에서의 3차원 외형의 절단면이다. 이 때, T 프레임에서의 모델의 절단면의 타원(302)을 T+1 프레임에서의 3차원 외형의 절단면과 일치시킴으로써 뼈대(305)의 위치를 추정할 수 있게 되는 것이다. 이 때, 상기 모델의 뼈대의 위치를 매끄럽게 만들기 위하여 최적화 기법을 사용하여 상기 모델의 뼈대 위치를 추정할 수 있다.

도 4는 본 발명의 일 실시예에 따른 모션 캡처 장치의 3차원 뼈대화부에 의한 뼈대화 과정의 다른 예를 설명하기 위한 도면이다.

본 발명의 일 실시예에 따른 모션 캡처 장치의 3차원 뼈대화부에 의한 뼈대화의 특징 중 하나는 서로 다른 부위 예컨대, 팔과 몸통이 붙은 경우에도 올바를 뼈대의 위치를 추정하는 것이 가능하다는 점이다. 즉 단순히 3차원 외형의 절단면의 무게 중심을 구하는 것이 아니라, 모델의 절단면을 위치 추적하는 접근을 통해 몸의 각 부위가 붙어있는 3차원 외형의 절단면이 나타나는 경우에도 최적화 기법을 통해 정확한 위치를 추정하는 것이 가능하다. 도 4에서 다리의 뼈대 부분을 추출하는 도면은 이러한 점을 보여주고 있다. 도 4에서 가장 왼쪽의 타원 점선(401)으로 표시된 부분이 절단면에 의해 잘려진 부분이며, 중간 영상은 절단면 영상(402)을 보여주고 있고 가장 오른쪽 그림에서 영상 중간 부분에 선들로 이어진 부분(403)이 제안하는 발명을 통해 얻어진 뼈대화 결과이다.

도 5는 본 발명의 일 실시예에 따른 모션 캡처 장치의 모션 복원부를 개략적으로 도시한 도면이다.

도 5를 참조하면, 본 발명의 일 실시예에 따른 모션 캡처 장치의 모션 복원부(103)는 특징점 검색부(501), 대응점 유추부(502) 및 모션 변경부(503)를 포함하여 구성될 수 있다. 도 5에 도시된 모션 캡처 장치의 모션 복원부(103)는 일 실시예에 따른 것이고 도 5에 도시된 블록들은 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 일부 블록이 추가, 변경 또는 삭제될 수 있다.

특징점 검색부(501)는 상기 3차원 뼈대(115)에서 3차원 위치를 측정할 수 있는 전역적 특징점을 검색한다. 일 실시예에서, 상기 전역적 특징점은 머리끝 등의 말단이나 꺾인 팔꿈치, 무릎 등의 관절과 같이 소정 정도 이상 꺾여서 정확하게 3차원 위치를 예측할 수 있는 지점을 말한다. 이 때, 특징점 검색부(501)는 상기 3차원 뼈대(115)의 소정 정도 이상 꺾인 관절을 상기 전역적 특징점으로 검색한다.

대응점 유추부(502)는 상기 전역적 특징점에 대하여 모델(111)의 대응점을 유추한다. 대응점 유추부(502)는 특징점 검색부(501)에서 검색된 전역적 특징점을 토대로 모델(111)의 대응점을 유추함으로써 대응점 추적의 불확실성을 효율적으로 줄일 수 있고 더 정확한 모션 복원이 가능해 진다. 일 실시예에서, 특징점 검색부(501)가 상기 3차원 뼈대(115)의 소정 정도 이상 꺾인 관절을 상기 전역적 특징점으로 검색하고 나면, 대응점 유추부(502)는 상기 전역적 특징점에 대한 대응점을 유추하고 상기 대응점으로부터 상기 개체의 나머지 관절의 위치 정보를 유추할 수 있다. 이와 같이 대응점을 유추하는 과정은 이후 도면을 참조하여 상세히 설명하도록 한다.

모션 변경부(503)는 최종적으로 상기 대응점을 기반으로 상기 모델의 모션을 변경하여 모션 복원부(103)가 모델의 모션을 복원할 수 있도록 한다. 일 실시예에서, 모션 변경부(503)는 상기 대응점의 오차가 최소가 되는 최적화 알고리즘을 통하여 상기 모델의 모션을 변경할 수 있다.

모션 복원부(103)에서는 이와 같은 과정을 통해 T+1 프레임 모션을 가진 모델(113)이 도출된다.

도 6은 본 발명의 일 실시예에 따른 모션 캡처 장치의 대응점 유추부에서 대응점을 유추하는 과정의 일 예를 설명하기 위한 도면이다.

상기 기술한 바와 같이, 특징점 검색부가 개체의 소정 정도 이상 꺾인 관절을 상기 전역적 특징점으로 검색하고 나면, 대응점 유추부는 상기 전역적 특징점에 대한 대응점을 유추하고 상기 대응점으로부터 상기 개체의 나머지 관절의 위치 정보를 유추할 수 있다.

도 6을 참조하면, 사각형으로 표시된 점들이 상기 전역적 특징점에 대한 대응점에 해당하고, 원으로 표시된 점들이 상기 대응점으로부터 유추된 상기 개체의 나머지 관절에 해당한다. 이렇게 유추된 관절의 위치는 종래에 지역적(local)으로 대응점을 찾았던 방법에 비해 전역적인 인체의 추론을 통해 얻어진 것이기에 정확도가 높고, 더 적은 수의 정확도 높은 대응점만 추출했기 때문에 전체 모션의 최적화 위치를 알아내는 점에서도 유리함을 가지고 있다.

도 7은 본 발명의 일 실시예에 따른 모션 캡처 방법을 설명하기 위한 도면이다.

본 발명의 일 실시예에 따른 모션 캡처 방법에서는 입력으로 T 프레임의 모션을 가진 모델 및 T+1 프레임에서 상기 개체를 촬영한 다시점 영상이 주어진다. T 프레임은 기준이 되는 프레임이며, T+1 프레임은 T 프레임 이후의 새로운 프레임이다.

T 프레임의 모션을 가진 모델은 T 프레임에 대해서 영상 속 개체와 정렬(align)된 모션을 가진 모델로서, 관절의 구조가 미리 정의되고 상기 관절 및 상기 모델 사이의 연결 관계가 미리 정의될 수 있다.

이와 같이 주어진 입력에 대해서 본 발명의 일 실시예에 따른 모션 캡처 방법을 이용하면 최종적으로 T+1의 모션을 가지는 모델이 출력으로서 도출된다. 모션 캡처 방법를 이용하여 모션 캡처를 반복적으로 수행하면 전체 프레임에 대해서 모션을 복원하는 것이 가능하다.

도 7을 참조하면, 본 발명의 일 실시예에 따른 모션 캡처 방법이 시작되면, 먼저, T+1 프레임에서 개체를 촬영한 다시점 영상을 이용하여 상기 개체의 3차원 외형을 복원한다(S701). 단계(S701)에서, 상기 다시점 영상에서 상기 개체의 영역에 해당하는 부분을 전경으로 하여, 배경으로부터 분리한 다음, 상기 전경 및 배경의 실루엣 정보 및 컬러의 일치성 정보를 종합하여 상기 개체의 3차원 외형을 복원할 수 있다.

그 다음은, 상기 3차원 외형 및 T 프레임의 모션을 가진 상기 개체의 모델을 이용하여 T+1 프레임의 3차원 뼈대를 생성한다(S702). 단계(S702)의 세부적인 수행 과정은 이후 도면을 참조하여 상세히 설명하도록 한다.

3차원 뼈대가 생성되면(S702), 상기 S801한다(S703). 단계(S703)의 세부적인 수행 과정은 이후 도면을 참조하여 상세히 설명하도록 한다.

도 7에 도시된 모션 캡처 방법은 도 1에 도시된 본 발명의 일 실시예에 따른 모션 캡처 장치와 유사하게 모션 캡처 과정이 진행되므로 특별한 언급이 없는 한 도 1에서의 설명이 그대로 준용된다. 도 7에서도 도 1에서와 마찬가지로 도 7에 도시된 순서도의 각 단계들은 모든 단계가 필수 단계는 아니며, 다른 실시예에서 일부 단계가 추가, 변경 또는 삭제될 수 있다. 또한, 순서도의 각 단계는 도시된 순서에 한정되지 않으며, 필요에 따라 순서가 수정 또는 변경될 수 있다.

도 8은 본 발명의 일 실시예에 따른 모션 캡처 방법에서 3차원 뼈대를 생성 하는 단계를 설명하기 위한 도면이다.

도 8에 도시된 본 발명의 일 실시예에 따른 변이 맵 보정 방법에서 3차원 뼈대를 생성하는 단계는 도 7에서의 단계(S702)에 대응되는 단계이다.

도 8을 참조하면, 3차원 뼈대를 생성하는 단계에서는 먼저 T 프레임의 모션을 가진 개체의 모델의 뼈대의 길이 방향의 법선 방향으로 상기 모델의 절단면 및 3차원 외형의 절단면을 생성한다(S801). 그 다음, 상기 모델의 절단면을 타원 피팅하여 타원을 생성하고(S802), 상기 3차원 외형의 절단면을 기반으로 상기 타원의 최적 위치를 탐색하여 상기 모델의 뼈대 위치를 추정한다(S803).

이 때, 단계(S803)에서, 상기 모델의 뼈대의 위치를 매끄럽게 만들기 위하여 최적화 기법을 사용하여 상기 모델의 뼈대 위치를 추정할 수 있다.

도 8에 도시된 3차원 뼈대를 생성하는 단계는 도 2에 도시된 3차원 뼈대 생성부와 유사하게 3차원 뼈대 생성 과정이 진행되므로 특별한 언급이 없는 한 도 2에서의 설명이 그대로 준용된다. 도 8에서도 도 2에서와 마찬가지로 도 8에 도시된 순서도의 각 단계들은 모든 단계가 필수 단계는 아니며, 다른 실시예에서 일부 단계가 추가, 변경 또는 삭제될 수 있다. 또한, 순서도의 각 단계는 도시된 순서에 한정되지 않으며, 필요에 따라 순서가 수정 또는 변경될 수 있다.

도 9는 본 발명의 일 실시예에 따른 모션 캡처 방법에서 모션을 복원하는 단계를 설명하기 위한 도면이다.

도 9에 도시된 본 발명의 일 실시예에 따른 변이 맵 보정 방법에서 모션을 복원하는 단계는 도 7에서의 단계(S703)에 대응되는 단계이다.

도 9를 참조하면, 모션을 복원하는 단계에서는 먼저 3차원 뼈대에서 3차원 위치를 측정할 수 있는 전역적 특징점을 검색한다(S901). 그리고 나서 상기 전역적 특징점에 대하여 모델의 대응점을 유추하고(S902), 상기 대응점을 기반으로 상기 모델의 모션을 변경한다(S903).

이 때, 단계(S901)에서, 상기 3차원 뼈대의 소정 정도 이상 꺾인 관절을 상기 전역적 특징점으로 검색할 수 있고, 단계(S902)에서, 상기 전역적 특징점에 대한 대응점을 유추하고, 상기 대응점으로부터 상기 개체의 나머지 관절의 위치 정보를 유추할 수 있다.

또한, 단계(S903)에서, 상기 대응점의 오차가 최소가 되는 최적화 알고리즘을 통하여 상기 모델의 모션을 변경할 수 있다.

도 9에 도시된 모션을 복원하는 단계는 도 5에 도시된 모션 복원부와 유사하게 모션 복원 과정이 진행되므로 특별한 언급이 없는 한 도 5에서의 설명이 그대로 준용된다. 도 9에서도 도 5에서와 마찬가지로 도 9에 도시된 순서도의 각 단계들은 모든 단계가 필수 단계는 아니며, 다른 실시예에서 일부 단계가 추가, 변경 또는 삭제될 수 있다. 또한, 순서도의 각 단계는 도시된 순서에 한정되지 않으며, 필요에 따라 순서가 수정 또는 변경될 수 있다.

전술한 모션 캡처 방법은 도면에 제시된 순서도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다.

이상 본 발명의 특정 실시예를 도시하고 설명하였으나, 본 발명의 기술사상은 첨부된 도면과 상기한 설명내용에 한정하지 않으며 본 발명의 사상을 벗어나지 않는 범위 내에서 다양한 형태의 변형이 가능함은 이 분야의 통상의 지식을 가진 자에게는 자명한 사실이며, 이러한 형태의 변형은, 본 발명의 정신에 위배되지 않는 범위 내에서 본 발명의 특허청구범위에 속한다고 볼 것이다.

Claims (18)

1. T+1 프레임에서 개체를 촬영한 다시점 영상을 이용하여 상기 개체의 3차원 외형을 복원하는 3차원 외형 복원부;
   상기 3차원 외형 및 T 프레임의 모션을 가진 상기 개체의 모델을 이용하여 T+1 프레임의 3차원 뼈대를 생성하는 3차원 뼈대화부; 및
   상기 T+1 프레임의 3차원 뼈대에 기반하여 상기 모델의 모션을 변경하여 상기 모델의 T+1 프레임의 모션을 복원하는 모션 복원부를 포함하고,
   상기 3차원 뼈대화부는,
   상기 T 프레임의 모션을 가진 상기 개체의 모델의 뼈대의 길이 방향의 법선 방향으로 상기 모델의 절단면 및 상기 3차원 외형의 절단면을 생성하는 절단면 생성부;
   상기 모델의 절단면을 타원 피팅하여 타원을 생성하는 타원 피팅부; 및
   상기 3차원 외형의 절단면을 기반으로 상기 타원의 최적 위치를 탐색하여 상기 모델의 뼈대 위치를 추정하는 뼈대 위치 추정부를 포함하는 것을 특징으로 하는 모션 캡처 장치.
2. 청구항 1에 있어서,
   상기 3차원 외형 복원부는,
   상기 다시점 영상에서 상기 개체의 영역에 해당하는 부분을 전경으로 하여, 배경으로부터 분리한 다음, 상기 전경 및 배경의 실루엣 정보 및 컬러의 일치성 정보를 종합하여 상기 개체의 3차원 외형을 복원하는 것을 특징으로 하는 모션 캡처 장치.
3. 청구항 1에 있어서,
   상기 모델은,
   관절의 구조가 미리 정의되고 상기 관절 및 상기 모델 사이의 연결 관계가 미리 정의된 것을 특징으로 하는 모션 캡처 장치.
4. 청구항 1에 있어서,
   상기 모션 복원부는,
   상기 3차원 뼈대에서 3차원 위치를 측정할 수 있는 전역적 특징점을 검색하는 특징점 검색부;
   상기 전역적 특징점에 대하여 상기 모델의 대응점을 유추하는 대응점 유추부; 및
   상기 대응점을 기반으로 상기 모델의 모션을 변경하는 모션 변경부를 포함하는 것을 특징으로 하는 모션 캡처 장치.
5. 청구항 4에 있어서,
   상기 특징점 검색부는,
   상기 3차원 뼈대의 소정 정도 이상 꺾인 관절을 상기 전역적 특징점으로 검색하는 것을 특징으로 하는 모션 캡처 장치.
6. 청구항 5에 있어서,
   상기 대응점 유추부는,
   상기 전역적 특징점에 대한 대응점을 유추하고 상기 대응점으로부터 상기 개체의 나머지 관절의 위치 정보를 유추하는 것을 특징으로 하는 모션 캡처 장치.
7. 청구항 4에 있어서,
   상기 모션 변경부는,
   상기 대응점의 오차가 최소가 되는 최적화 알고리즘을 통하여 상기 모델의 모션을 변경하는 것을 특징으로 하는 모션 캡처 장치.
8. 삭제
9. 청구항 1에 있어서,
   상기 뼈대 위치 추정부는,
   상기 모델의 뼈대의 위치를 매끄럽게 만들기 위하여 최적화 기법을 사용하여 상기 모델의 뼈대 위치를 추정하는 것을 특징으로 하는 모션 캡처 장치.
10. T+1 프레임에서 개체를 촬영한 다시점 영상을 이용하여 상기 개체의 3차원 외형을 복원하는 단계;
    상기 3차원 외형 및 T 프레임의 모션을 가진 상기 개체의 모델을 이용하여 T+1 프레임의 3차원 뼈대를 생성하는 단계; 및
    상기 T+1 프레임의 3차원 뼈대에 기반하여 상기 모델의 모션을 변경하여 상기 모델의 T+1 프레임의 모션을 복원하는 단계를 포함하고,
    상기 3차원 뼈대를 생성하는 단계는,
    상기 T 프레임의 모션을 가진 상기 개체의 모델의 뼈대의 길이 방향의 법선 방향으로 상기 모델의 절단면 및 상기 3차원 외형의 절단면을 생성하는 단계;
    상기 모델의 절단면을 타원 피팅하여 타원을 생성하는 단계; 및
    상기 3차원 외형의 절단면을 기반으로 상기 타원의 최적 위치를 탐색하여 상기 모델의 뼈대 위치를 추정하는 단계를 포함하는 것을 특징으로 하는 모션 캡처 방법.
11. 청구항 10에 있어서,
    상기 3차원 외형을 복원하는 단계는,
    상기 다시점 영상에서 상기 개체의 영역에 해당하는 부분을 전경으로 하여, 배경으로부터 분리한 다음, 상기 전경 및 배경의 실루엣 정보 및 컬러의 일치성 정보를 종합하여 상기 개체의 3차원 외형을 복원하는 단계를 포함하는 것을 특징으로 하는 모션 캡처 방법.
12. 청구항 10에 있어서,
    상기 모델은,
    관절의 구조가 미리 정의되고 상기 관절 및 상기 모델 사이의 연결 관계가 미리 정의된 것을 특징으로 하는 모션 캡처 방법.
13. 청구항 10에 있어서,
    상기 모션을 복원하는 단계는,
    상기 3차원 뼈대에서 3차원 위치를 측정할 수 있는 전역적 특징점을 검색하는 단계;
    상기 전역적 특징점에 대하여 상기 모델의 대응점을 유추하는 단계; 및
    상기 대응점을 기반으로 상기 모델의 모션을 변경하는 단계를 포함하는 것을 특징으로 하는 모션 캡처 방법.
14. 청구항 13에 있어서,
    상기 전역적 특징점을 검색하는 단계는,
    상기 3차원 뼈대의 소정 정도 이상 꺾인 관절을 상기 전역적 특징점으로 검색하는 단계를 포함하는 것을 특징으로 하는 모션 캡처 방법.
15. 청구항 14에 있어서,
    상기 대응점을 유추하는 단계는,
    상기 전역적 특징점에 대한 대응점을 유추하는 단계; 및
    상기 대응점으로부터 상기 개체의 나머지 관절의 위치 정보를 유추하는 단계를 포함하는 것을 특징으로 하는 모션 캡처 방법.
16. 청구항 13에 있어서,
    상기 모션을 변경하는 단계는,
    상기 대응점의 오차가 최소가 되는 최적화 알고리즘을 통하여 상기 모델의 모션을 변경하는 단계를 포함하는 것을 특징으로 하는 모션 캡처 방법.
17. 삭제
18. 청구항 10에 있어서,
    상기 뼈대 위치를 추정하는 단계는,
    상기 모델의 뼈대의 위치를 매끄럽게 만들기 위하여 최적화 기법을 사용하여 상기 모델의 뼈대 위치를 추정하는 단계를 포함하는 것을 특징으로 하는 모션 캡처 방법.

Images