KR101327321B1

KR101327321B1 - 모션 캡쳐 데이터의 포즈 검색 장치 및 방법

Info

Publication number: KR101327321B1
Application number: KR1020090123342A
Authority: KR
Inventors: 성만규; 김명규; 김상원; 장성준; 정일권; 최병태
Original assignee: 한국전자통신연구원
Priority date: 2009-12-11
Filing date: 2009-12-11
Publication date: 2013-11-11
Also published as: US20110142354A1; KR20110066610A

Abstract

본 발명은 모션 캡쳐 데이터의 포즈 검색 기술에 관한 것으로, 모션 캡쳐 데이터를 분석한 후, 가상의 마커들을 캐릭터에 부착하여 3차원 글로벌 좌표를 얻은 후에, 이를 3D 포인트 정합에 많이 쓰이는 ICP 알고리즘을 이용하며 최적의 정합 변환 행렬을 찾아낸다. 이후 ICP 알고리즘을 통해 정합된 두 포즈에 대해, 샘플링을 통해 선택된 가상 마커들 간의 거리의 합을 통해 두 포즈의 차이를 결정하고, 각 프레임을 조사하여, 입력 포즈와 가장 최소값을 갖는 프레임을 가장 비슷한 포즈로 결정하는 것을 특징으로 한다. 본 발명에 의하면, 두 캐릭터 간에 포즈를 비교하는 경우, 캐릭터의 사이즈, 조인트 개수 및 포즈의 로테이션에 무관하게 비슷한 포즈를 찾을 수 있다.

모션 캡쳐 데이터, 포즈, 마커, ICP 알고리즘

Description

모션 캡쳐 데이터의 포즈 검색 장치 및 방법{Apparatus and method for detecting similar pose of motion capture data}

본 발명은 모션 캡쳐 데이터에서 프레임상의 비슷한 포즈(Pose)를 찾는 기술에 관한 것으로서, 특히 캐릭터의 사이즈가 틀리거나 정확히 일치하지 않는 조인트 갯수를 가진 모션 캡쳐 데이터에서도 비슷한 포즈를 찾아주는 기능을 수행하는데 적합한 모션 캡쳐 데이터의 포즈 검색 장치 및 방법에 관한 것이다.

본 발명은 지식경제부의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-051-03, 과제명: 디지털 크리쳐 제작 S/W 개발].

컴퓨터 애니메이션에서 많이 쓰이는 모션캡쳐 데이터의 포맷은 구조적인 뼈대구조를 정의하는 부분과 정의된 뼈대구조의 조인트 앵글값을 프레임 별로 지정한 모션 데이터 부분으로 나뉘어져 있다. 뼈대 구조의 형태는 파일 포맷에 따라 다소 차이는 있지만, 주로 많이 사용되는 BVH 파일 포맷을 기반으로 하면 조인트 이름, 옵셋 값, 루트 조인트의 3차원 위치 벡터와 오일러 앵글 값으로 정의된다. 뼈대구조 정의 부분을 예를 들면 다음 (표1)과 같다.

한편, 오프셋(OFFSET) 값은 로컬 좌표계(Local Coodinate)에서 조인트의 크기와 방향을 나타내는 3차원 벡터이다. 루트 조인트를 제외하고, 다른 모든 조인트들은 앵글 값만을 가진다. 3차원 루트 조인트의 Xposition, Yposition, Zposition은 캐릭터의 전체적인 위치(global position)를 나타낸다.

모션 캡쳐를 통해 캡쳐된 캐릭터의 포즈는 어느 특정 프레임(시간)의, 사지(Limb)와 척추, 목의 자세로 표현될 수 있는데, 게임 등에 필요한 다양한 모션을 하나의 시퀀스로 한꺼번에 캡쳐 하지 못하므로, 여러 번에 나누어 캡쳐를 받게 되며, 이와 같은 여러 개의 모션 캡쳐 클립들을 이어 붙이는 작업을 수행하게 된다. 또한 캡쳐된 데이터를 이용하여 반복 모션(looping motion)을 만들거나, 게임에서 많이 쓰이는 키보드 입력에 따른 자연스럽고 빠른 동작 변환을 위해서는 모션 캡쳐 데이터 내의 비슷한 포즈를 찾는 작업을 기본적으로 수행하여야 한다.

이와 같은 모션 캡쳐 내에 비슷한 포즈를 찾는 가장 간단한 방법은 수작업을 통해 눈으로 각 프레임을 일일이 확인하여 포즈를 비교 하는 방법이 있다. 하지만, 프레임이 길 경우에는 시간이 많이 걸릴 뿐 아니라 인간의 시각적인 판단이 오류로 판단될 가능 성이 크다.

이에 이를 자동화 하기 위해서는 캐릭터의 포즈를 하나의 벡터로 표현하고, 이 벡터와 다른 프레임의 포즈에 해당하는 벡터와의 수학적 거리를 계산하여 최소차이를 갖는 프레임을 자동으로 계산 하는 방법이 고안되었다. i번째 프레임의 포즈 벡터를 M(i)로 나타내면, 하기 <수학식 1>과 같다.

여기서,

는 루트 조인트의 전역 3차원 위치 좌표이고,

는 루트 조인트의 전역 3차원 로테이션이며,

는 m 번째 조인트의 로컬 3차원 로테이션으로서,

와 의 차이(

)는 다음과 같이 <수학식 2>로 계산할 수 있다.

하지만, 이 방법은 조인트 앵글의 특성을 반영하지 못한다. 즉, 조인트마다 전체적인 포즈에 영향을 미치는 정도가 틀리므로(즉, 엉덩이 조인트 값의 차이가 발목 조인트의 값의 차이보다 포즈에 미치는 영향이 더 크다.) 단순한 조인트 앵글의 차이만으로 포즈차이를 결정하지 못한다.

또한, 같은 사람이 모션 캡쳐를 받았더라도, 캡쳐된 데이터로부터 다른 계층적인 뼈대구조를 갖게 되면, 거의 모든 모션 캡쳐 데이터 포맷이 로컬좌표(Local Coordinate) 형태를 갖고 있으며, 이 로컬 좌표에 조인트의 방향과 길이를 나타내는 옵셋 벡터가 다른 좌표계를 갖고 있으므로, 단순한 조인트 앵글값 만으로는 포즈에 대한 비교를 수행할 수 없다. 즉, 같은 앵글값을 갖더라도 전혀 다른 포즈를 나타낼 수 있다.

이를 해결하고자, 포인트 클라우드(point cloud) 방식, 즉 캐릭터의 뼈대 구조에 3차원 가상 마커들(포인트)을 부착했다고 가정하고, 이의 전역좌표(global coordinate)를 계산하여 두 개의 포즈를 비교하는 방법을 이용했다. 이 방법은, 비교 대상인 두 포즈의 가상마커 셋(set)인 포인트 클라우드에 대해, 최적화 기법을 이용해 가장 최적으로 정합하는 변환행렬(Transformation matrix)을 계산한 후, 이 변환행렬을 이용해 하나의 포인트 클라우드를 변환한 후에, 각 포인트간의 최소길이를(minimum distance)를 계산하여 두 포즈의 거리를 계산 하는 방법이다. 이 방법은 사람들이 캐릭터의 포즈를 구분할 때, 캐릭터의 뼈대 보다는 위의 스킨에 해당하는 메쉬를 이용하면 더 쉽게 구분할 수 있음에 착안한 것이다.

상기한 바와 같이 동작하는 종래 기술에 의한 비슷한 포즈의 검색 방식 중 포인트 클라우드 방식에 있어서는, 두 포즈의 포인트 클라우드 내의 모든 포인트들 이 1 대1의 대응관계가 있어야 하며, 두 포즈가 논리적으로 정확하게 같더라도, 사이즈가 틀리면 3차원 마커의 위치가 틀려지므로, 정확한 변환행렬을 찾기 어렵다는 문제점이 있었다.

이에 본 발명은, 캐릭터 애니메이션을 위한 모션캡쳐 데이터를 분석하여 비슷한 포즈를 갖는 프레임을 자동으로 찾을 수 있는 모션 캡쳐 데이터의 포즈 검색 장치 및 방법을 제공한다.

또한 본 발명은, 캐릭터의 사이즈가 틀리거나 정확히 일치하지 않는 조인트 갯수를 가진 모션 캡쳐 데이터에서도 비슷한 포즈를 찾아줄 수 있는 모션 캡쳐 데이터의 포즈 검색 장치 및 방법을 제공한다.

본 발명의 일 실시예에 따른 모션 캡쳐 데이터의 포즈 검색 장치는, 캐릭터로 이루어진 복수의 모션 데이터를 입력 받는 모션 데이터 입력부와, 상기 캐릭터의 말단 장치 조인트에 가상 마커의 부착을 통해 포인트 클라우드를 구성하는 가상 마커 부착부와, 상기 모션 데이터 내의 캐릭터 사이즈가 틀린 모션이 검출된 경우, 이에 대한 사이즈 조절을 수행하는 스케일 조정부와, 상기 사이즈 조절된 모션 데이터에 ICP 알고리즘을 이용하여 정합 변환 행렬을 찾아내고, 정합된 두 포즈에 대한 샘플링을 통해 선택된 가상 마커들 간의 거리의 합을 통해 입력 포즈와 가장 최소값을 갖는 프레임을 가장 비슷한 포즈로 결정하는 ICP 알고리즘 수행부를 포함한다.

이때, 상기 복수의 모션 데이터는, 같은 종의 캐릭터로 된 모션 데이터인 것을 특징으로 한다.

그리고 상기 가상 마커 부착부는, 프레임당 상기 말단 장치 조인트의 3차원 전역 좌표를 계산하여, 해당 위치에 가상 마커를 부착한 것으로 설정하는 것을 특징으로 한다.

그리고 상기 스케일 조정부는, 상기 모션 데이터의 프레임 개수에 해당하는 포인트 클라우드를 입력 포인트 클라우드와 비교하여 다른 포인트 클라우드를 갖는 캐릭터의 사이즈를 조절하는 것을 특징으로 한다.

또한, 상기 스케일 조정부는, 상기 포인트 클라우드 내 모든 포인트의 평균값인 센터 포인트를 계산하고, 상기 센터 포인트와 가장 먼 거리에 있는 포인트와의 거리를 산출하여 해당 거리만큼 사이즈를 조절하는 것을 특징으로 한다.

한편, 상기 ICP 알고리즘 수행부는, 상기 캐릭터에서 말단 장치의 조인트만을 이용하여 구성된 두 개의 포인트 클라우드에서 샘플링을 통해 동일한 개수의 포인트를 선택하고, 샘플링을 통해 선택된 두 포인트 셋에 대해, 가장 최소거리를 갖는 포인트를 계산하여 매칭 시키고, 상기 매칭된 두 포인트 셋의 거리를 최소화 할 수 있는 3차원 변환행렬을 산출하고, 상기 3차원 변환행렬을 통해 정합된 두 포인트 셋의 거리의 합인 에러값을 구하고, 상기 에러값을 기 설정된 임계값과 비교하여 유사한 포즈를 추출하는 것을 특징으로 한다.

그리고 상기 ICP 알고리즘 수행부는, 상기 3차원 변환행렬은 닫힌 해(Closed-Form Solution)를 이용하여 산출하고, 상기 산출된 변환행렬을 이용하여 하나의 포인트 클라우드의 위치를 변환 한 후, 각 매핑되는 각 포인트 간의 거리의 합의 구하는 것을 특징으로 한다.

그리고 상기 ICP 알고리즘 수행부는, 상기 매칭 시 3차원 포인트들의 거리 및 위상학적 위치를 고려하여 6개의 세그먼트 정보를 이용하는 것을 특징으로 한다.

여기서, 상기 6개의 세그먼트 정보는, 상기 샘플링 시 포인트 클라우드의 각 3차원 포인트들에 입력되는 것을 특징으로 한다.

이때, 상기 에러값은, 최종적으로 두 포즈의 거리 정보인 것을 특징으로 한다.

본 발명의 일 실시예에 따른 모션 캡쳐 데이터의 포즈 검색 방법은, 캐릭터로 이루어진 복수의 모션 데이터를 입력 받는 과정과, 상기 캐릭터의 말단 장치 조인트에 가상 마커의 부착을 통해 포인트 클라우드를 구성하는 과정과, 상기 모션 데이터에 ICP 알고리즘을 이용하여 정합 변환 행렬을 찾아내고, 정합된 두 포즈에 대한 샘플링을 통해 선택된 가상 마커들 간의 거리의 합을 통해 입력 포즈와 가장 최소값을 갖는 프레임을 가장 비슷한 포즈로 결정하는 과정을 포함한다.

여기서, 상기 모션 데이터는, 같은 종의 캐릭터로 된 모션 데이터인 것을 특징으로 한다.

그리고 상기 가상 마커의 부착은, 프레임당 상기 말단 장치 조인트의 3차원 전역 좌표를 계산하여, 해당 위치에 가상 마커를 부착한 것으로 설정하는 것을 특징으로 한다.

한편, 상기 포즈 검색 방법은, 상기 모션 데이터 내의 캐릭터 사이즈가 틀린 모션이 검출된 경우, 이에 대한 사이즈 조절을 수행하는 과정을 더 포함하는 것을 특징으로 한다.

또한, 상기 사이즈 조절을 수행하는 과정은, 상기 모션 데이터의 프레임 개수에 해당하는 포인트 클라우드를 입력 포인트 클라우드와 비교하여 다른 포인트 클라우드를 갖는 캐릭터의 사이즈를 조절하는 것을 특징으로 한다.

그리고 상기 사이즈 조절을 수행하는 과정은, 상기 포인트 클라우드 내 모든 포인트의 평균값인 센터 포인트를 계산하는 과정과, 상기 센터 포인트와 가장 먼 거리에 있는 포인트와의 거리를 산출하여 해당 거리만큼 사이즈를 조절하는 과정을 포함하는 것을 특징으로 한다.

한편, 상기 결정하는 과정은, 상기 캐릭터에서 말단 장치의 조인트만을 이용하여 구성된 두 개의 포인트 클라우드에서 샘플링을 통해 동일한 개수의 포인트를 선택하는 과정과, 샘플링을 통해 선택된 두 포인트 셋에 대해, 가장 최소거리를 갖는 포인트를 계산하여 매칭 시키는 과정과, 상기 매칭된 두 포인트 셋의 거리를 최소화 할 수 있는 3차원 변환행렬을 산출하는 과정과, 상기 3차원 변환행렬을 통해 정합된 두 포인트 셋의 거리의 합인 에러값을 구하는 과정과, 상기 에러값을 기 설정된 임계값과 비교하여 유사한 포즈를 추출하는 과정을 더 포함하는 것을 특징으로 한다.

그리고 상기 결정하는 과정은, 상기 매칭 시 3차원 포인트들의 거리 및 위상학적 위치를 고려하여 6개의 세그먼트 정보를 이용하는 것을 특징으로 한다.

여기서 상기 6개의 세그먼트 정보는, 상기 샘플링 시 포인트 클라우드의 각 3차원 포인트들에 입력되는 것을 특징으로 한다.

상기와 같은 본 발명의 실시예에 따른 모션 캡쳐 데이터의 포즈 검색 장치 및 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상이 있다.

본 발명의 실시예에 따른 모션 캡쳐 데이터의 포즈 검색 장치 및 방법에 의하면, 두 캐릭터 간에 포즈를 비교하는 경우, 캐릭터의 사이즈, 조인트 개수 및 포즈의 로테이션에 무관하게 비슷한 포즈를 찾을 수 있다.

이는 모션 켭쳐 후, 작업에서 가장 기본적으로 사용되는 오퍼레이션으로서, 모션을 여러 개의 세그먼트로 나누어 블랜딩 하거나, 모션 그래프 등의 고수준 데이터 구조를 제작할 때 사용될 수 있다.

또한, 모션 캡쳐 데이터에 대한 데이터베이스를 구축한 후에 개념적으로 비슷한 포즈를 찾는 데이터베이스 검색루틴으로 사용이 가능하다는 효과가 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

본 발명의 실시예는, 캐릭터 애니메이션을 위한 모션캡쳐 데이터를 분석하여 비슷한 포즈를 갖는 프레임을 자동으로 찾아 주는 것으로, 캐릭터의 사이즈가 틀리거나 정확히 일치하지 않는 조인트 갯수를 가진 모션 캡쳐 데이터에서도 비슷한 포즈를 찾아 주는 것이다.

즉, 본 발명의 실시예는 모션캡쳐 데이터의 캐릭터의 스케일 변화에 무 관(Scale-Invarient)하면서도 두 포인트 클라우드 내 포인트들의 1대1 대응관계가 필요 없는 포즈 검색 방식인 것으로 다음과 같은 기술적 조건을 만족 해야 한다.

첫째, 다른 캐릭터 사이즈를 가진 모션캡쳐 데이터 사이에서 비슷한 포즈를 찾을 수 있어야 한다(scale-invarient).

둘째, 캐릭터의 조인트 갯수가 다른 캐릭터간에도 비슷한 포즈를 찾을 수 있어야 한다(Joint-number-invarient).

셋째, 포즈의 3D 변환에 무관하여야 한다. 즉, 하나의 포즈를 3차원 공간상에 임의의 각도로 로테이션/변경(Rotation/Translation) 시켜도 같은 포즈로 인식하여야 한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.

도 1은 본 발명이 실시예에 따른 포즈 검색 장치의 구조를 도시한 블록도이다.

도 1을 참조하면, 포즈 검색 장치(100)는 컴퓨팅 장치에 포함되거나 컴퓨팅 장치를 통해 구현하는 것으로서, 모션 데이터 입력부(102), 가상 마커 부착부(104), 스케일 조정부(106), ICP(Iterated Closest Point) 알고리즘 수행부(108) 등을 포함한다.

구체적으로 모션 데이터 입력부(102)는 비슷한 포즈를 찾기 위한 n개의 모션 데이터를 입력 받는다. n개의 데이터는 서로 다른 캐릭터 사이즈를 가질 수 있다. 다만, 입력되는 모션은 개념적으로 같은 종의 캐릭터여야 한다. 즉, 4지형 동 물 모션데이터와 사람모션 데이터는 종이 틀리므로, 비슷한 모션을 찾기 힘들므로, 입력 모션은 개념적으로 동일한 종의 모션 데이터이어야 한다.

가상 마커 부착부(104)는, 모션 캡쳐 데이터의 포맷은 뼈대구조를 정의하는 부분과 그 조인트의 프레임당 앵글값을 지정한 부분으로 나뉘므로, 가상 마커 구현을 쉽게 하기 위해 프레임당 조인트의 3차원 전역 좌표(Global Coodinate)를 계산하여, 이 위치에 가상 마커를 부착했다고 간주한다.

즉, 하나의 입력 모션에 m개의 프레임과 k개의 조인트를 가진 뼈대가 정의되어 있다면, 이론적으로 k개의 가상 마커를 부착할 수 있다. 하지만, 캐릭터의 포즈를 주로 결정하는 것은 말단장치(End-Effector) 조인트 위치, 즉 계층적 뼈대 구조에서 사지와 머리의 끝에 해당하는 조인트의 위치들로 이루어진 위상적(Topological) 모습이다. 이에 본 발명의 실시예에서는 말단장치(End-Effector) 조인트의 3차원 위치로 이루어진 포인트 클라우드를 구성한다.

도 3은 본 발명의 실시예에 가상 마커의 부착 방식을 도시한 도면이다.

도 3을 참조하면, 특정 모션 데이터의 뼈대(300)에서 말단 장치 조인트는 5개가 존재하므로, 각 말단 장치 조인트 마다 가상 마커(302)가 부착되며, 입력 포인트 클라우드는 P = (p1, p2, p3,p4, p5)으로 나타낼 수 있다.

스케일 조정부(106)는 입력으로 받은 모든 모션의 프레임의 갯수를 F라고 가정하면, F개의 포인트 클라우드가 있게 되며, 이 F개의 포인트 클라우드를 입력 포인트 클라우드인 P와 비교를 수행하게 된다. 이때 캐릭터의 사이즈가 틀린 모션의 경우는 정확히 같은 포즈를 갖고 있더라도 전혀 다른 포인트 클라우드를 갖게 되므로, 스케일 조정을 수행해야 한다.

도 4는 본 발명의 실시예에 따른 센터 포인트와 캐릭터 사이즈를 정의한 도면이다.

도 4를 참조하면, 각 캐릭터(400, 402)의 사이즈는 포인트 클라우드 내의 모든 포인트의 평균값인 센터 포인트를 계산한 후, 이 포인트와 가장 먼 거리에 있는 포인트와의 거리로 정의한다.

즉, 센터 포인트는 다음 <수학식 3>과 같이 계산된다.

캐릭터 사이즈는

,

으로 구할 수 있다. 즉, 센터 포인트로부터 다른 포인트와의 거리를 계산하여, 가장 먼 거리를 캐릭터 사이즈로 정의 한다.

즉, 정확히 같은 포즈를 가졌다 하더라도, 캐릭터 사이즈가 틀리면 포인트 클라우드는 다른 값을 갖기 때문에, 스케일 조정부(106)에서는 캐릭터 사이즈를 조정하여, 두 포인트의 캐릭터 사이즈를 맞추게 된다. 캐릭터 사이즈를 조정하기 위해 먼저 센터 포인트를 구한 후, 포인트 클라우드의 모든 포인트에서 센터 값을 빼 정규화(Normalize)를 수행한다.

다음으로, 센터포인트와 포인트 클라우드 내의 다른 포인트와의 거리의 평균값을 구한다.

상기 <수학식 5>를 통해 출력된 이 평균값의 차이에 따른 비율(

)을 구한 뒤,

각 센터 포인트와 각 포인트의 거리에 r을 곱하여 새로운 포인트에 대한 값을 계산한다.

도 5는 본 발명의 실시예에 따른 캐릭터의 사이즈 조정 방식을 도시한 도면이다.

도 5를 참조하면, 입력으로 받은 왼쪽 캐릭터(500)와 가운데 캐릭터(502)의 사이즈를 맞추기 위해 가운데 캐릭터(502)의 사이즈를 오른쪽 캐릭터(504)와 같이 조정한 뒤, 이 두 포즈에 대한 비교를 수행한다.

마지막으로 ICP 알고리즘 수행부(108)는 포인트 정합 알고리즘인 ICP알고리즘을 이용하는 것으로 ICP 알고리즘은 컴퓨터 혹은 3차원 스캐너에 의해 얻은 3차원 모델 데이터 간의 정합을 위해 사용되는 알고리즘이다. ICP알고리즘은 일반적으로 다음의 단계를 통해 수행된다.

1) 샘플링(Sampling) : 두 개의 포인트 클라우드를 샘플링을 통해 동일간 개수의 포인트를 선택 한 후,

2) 매칭(Matching) : 샘플링을 통해 선택된 두 포인트 셋에 대해, 가장 최소거리를 갖는 포인트를 계산하여 매칭 시킨다.

3) 변환값 산출(Compute Transformation) : 이 매칭된 두 포인트 셋의 거리를 최소화 할 수 있는 3차원 변환행렬을 최소차승(Least Square) 방법을 통해 찾는다.

4) 에러값 산출(Compute Error) : 변환행렬을 통해 정합된 두 포인트 셋의 거리의 합(error)을 구한다.

5) 값 비교(Error <T) : 미리 지정한 임계값 보다, 거리의 합이 큰지를 확인하고, 그렇지 않은 경우엔 1)부터 반복한다.

도 6은 본 발명의 실시예에 따른 ICP 알고리즘의 동작 절차를 도시한 흐름도이다.

도 6을 참조하면, 600단계는 샘플링 단계로서, 알고리즘 속도의 향상을 위해, 모든 조인트의 위치를 이용해, 포인트 클라우드를 구성하지 않고, 포즈를 나타내는데 가장 중요한 영향을 미치는 말단 장치의 조인트만을 이용하여 포인트 클라 우드를 구성한다. 샘플링 단계에서는 말단 장치의 조인트 만을 이용하여 구성된 두 개의 포인트 클라우드의 샘플링을 통해 동일한 개수의 포인트를 선택한다.

602단계는 매칭 단계로서, 기존의 매칭 알고리즘은 입력으로 들어온 두 개의 포인트 클라우드에 대해 모든 포인트를 비교하여, 가상 최소거리를 갖는 쌍을 찾는다. 또한, 기존의 매칭 알고리즘은 전체적인 3차원 포인트들의 위상을 고려하지 않을 체 거리만을 고려하고 있으므로, 본 발명의 실시예에서는 포즈의 위상학적 위치를 고려한 것으로, 샘플링 시 매칭을 고려하여 3차원 포인트들 자신이 속한 캐릭터의 세그먼트 번호를 함께 입력하도록 한다.

즉, 말단 장치의 3차원 위치와 더불어 자신이 속한 세그먼트의 번호를 함께 입력함으로써 매칭되는 포인트를 검색할 때 전체적인 포즈를 고려하도록 한다.

이에 본 발명의 실시예에서 사용될 세그먼트는 총 6개의 세그먼트로 캐릭터의 세그먼트를 나타내고 있는 도 5에서와 같이, HEAD(세그먼트1), TAIL(세그먼트6), FRONT_LEFT_LEG(세그먼트2), FRONT_RIGHT_LEG(세그먼트3), BACK_LEFT_LEG(세그먼트4), BACK_RIGHT_LEG(세그먼트5)로 구분된다.

도 8은 본 발명의 실시예에 따른 ICP 포인트 매칭 방식을 도시한 도면이다.

도 8을 참조하면, 매칭은 두 개의 포인트 클라우드(800, 810)가 있는 경우, 각 포인트 클라우드에는 3차원 포인트(802)와, 3차원 포인트(802) 위치에 설정된 세그먼트(804) 정보를 함께 포함하고 있으므로 주어진 3차원 포인트(802), 세그먼트(804)의 페어를 대상으로 가장 최소 거리를 갖는 포인트를 찾아 매칭을 수행한다. 예를 들어, 포인트 클라우드1(800)의 P1과 P5의 경우는, 포인트 클라우드 2(810)의 P1과 거리를 비교하게 된다.

한편, 604단계 ICP 알고리즘 수행부(108)는 매핑된 두 포인트를 이용하여 최소차승(Least Square) 방법으로 매칭된 포인트를 가장 최소거리를 가질 수 있도록 변환 매트릭스를 산출한다. 본 발명의 실시예에서는 Closed-Form Solution을 이용해 이 행렬값을 구하게 된다. 행렬을 구한 후에는 이 행렬을 이용하여 하나의 포인트 클라우드의 위치를 변환하고, 606단계에서 각 매칭되는 두 포인트 간의 거리의 합(예컨대, 에러값)을 모두 구한 후, 608단계에서 이 에러값이 기 설정된 임계값 보다 큰지 여부를 확인한다.

만약, 에러값이 임계값 보다 작다면, 600단계로 복귀하여 샘플링과 매칭을 다시 수행한다. 그러나, 에러값이 임계값보다 크거나 같은 경우에는 ICP 알고리즘의 수행을 멈추고, 이 임계값 보다 큰 에러값을 리턴하여 출력한다. 출력된 에러값은 최종적으로 두 포즈의 거리를 나타낸다.

도 2는 본 발명의 실시예에 따른 포즈 검색 장치의 동작 절차를 도시한 흐름도이다.

도 2를 참조하면, 200단계에서 모션 데이터 입력부(102)가 복수의 모션 데이터를 입력 받게 되며, 이에 가상 마커 부착부(104)는 202단계에서 말단 장치 조인트에 가상 마커의 부착을 통해 포인트 클라우드를 구성한다.

그리고 204단계에서 스케일 조정부(106)는 모션 데이터 내의 캐릭터 사이즈가 틀린 모션이 검출된 경우, 이에 대한 사이즈 조절을 수행하며, 206단계에서 ICP 알고리즘 수행부(108)는 ICP 알고리즘을 이용하여 정합 변환 행렬을 찾아내고, 정 합된 두 포즈에 대한 샘플링을 통해 선택된 가상 마커들 간의 거리의 합을 통해 입력 포즈와 가장 최소값을 갖는 프레임을 가장 비슷한 포즈로 결정하여 출력하게 된다.

이상 설명한 바와 같이, 본 발명의 실시예에 따른 모션 캡쳐 데이터의 포즈 검색 장치 및 방법은, 캐릭터 애니메이션을 위한 모션캡쳐 데이터를 분석하여 비슷한 포즈를 갖는 프레임을 자동으로 찾아 주는 것으로, 캐릭터의 사이즈가 틀리거나 정확히 일치하지 않는 조인트 갯수를 가진 모션 캡쳐 데이터에서도 비슷한 포즈를 찾아준다.

한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

도 1은 본 발명이 실시예에 따른 포즈 검색 장치의 구조를 도시한 블록도,

도 2는 본 발명의 실시예에 따른 포즈 검색 장치의 동작 절차를 도시한 흐름도,

도 3은 본 발명의 실시예에 가상 마커의 부착 방식을 도시한 도면,

도 4는 본 발명의 실시예에 따른 센터 포인트와 캐릭터 사이즈를 정의한 도면,

도 5는 본 발명의 실시예에 따른 캐릭터의 사이즈 조정 방식을 도시한 도면,

도 6은 본 발명의 실시예에 따른 ICP 알고리즘의 동작 절차를 도시한 흐름도,

도 7은 본 발명의 실시예에 따른 캐릭터 세그먼트를 도시한 도면,

도 8은 본 발명의 실시예에 따른 ICP 포인트 매칭 방식을 도시한 도면.

<　도면의 주요 부분에 대한 부호 설명 >

100 : 포즈 검색 장치 　　　　　　　　　　　　 102 : 모션 데이터 입력부

104 :　가상 마커 부착부　　　　　　　　　　　　106 : 스케일 조정부

108 : ICP 알고리즘 수행부

Claims

캐릭터로 이루어진 복수의 모션 데이터를 입력 받는 모션 데이터 입력부와,

상기 캐릭터의 말단 장치 조인트에 가상 마커의 부착을 통해 포인트 클라우드를 구성하는 가상 마커 부착부와,

상기 모션 데이터 내의 캐릭터 사이즈가 다른 모션이 검출된 경우, 이에 대한 사이즈 조절을 수행하는 스케일 조정부와,

상기 사이즈 조절된 모션 데이터에 ICP 알고리즘을 이용하여 상기 모션 데이터 사이의 정합을 수행하는 ICP 알고리즘 수행부

를 포함하는 모션 캡쳐 데이터의 포즈 검색 장치.
제 1항에 있어서,

상기 복수의 모션 데이터는,

같은 종의 캐릭터로 된 모션 데이터인 것을 특징으로 하는 모션 캡쳐 데이터의 포즈 검색 장치.
제 1항에 있어서,

상기 가상 마커 부착부는,

프레임당 상기 말단 장치 조인트의 3차원 전역 좌표를 계산하여, 해당 위치에 가상 마커를 부착한 것으로 설정하는 것을 특징으로 하는 모션 캡쳐 데이터의 포즈 검색 장치.
제 1항에 있어서,

상기 스케일 조정부는,

상기 모션 데이터의 프레임개수와 동일한 개수의 포인트 클라우드를 입력 포인트 클라우드와 비교하고, 상기 캐릭터의 사이즈가 상기 입력 받은 모션데이터의 캐릭터의 사이즈와 다른 경우 상기 캐릭터의 사이즈를 조절하는 것을 특징으로 하는 모션 캡쳐 데이터의 포즈 검색 장치.
제 1항에 있어서,

상기 스케일 조정부는,

상기 포인트 클라우드 내 모든 포인트의 평균값인 센터 포인트를 계산하고,

상기 센터 포인트와 가장 먼 거리에 있는 포인트와의 거리를 산출하여 해당 거리만큼 캐릭터의 사이즈를 조절하는 것을 특징으로 하는 모션 캡쳐 데이터의 포즈 검색 장치.
제 1항에 있어서,

상기 ICP 알고리즘 수행부는,

상기 캐릭터에서 말단 장치의 조인트만을 이용하여 구성된 두 개의 포인트 클라우드에서 샘플링을 통해 동일한 개수의 포인트를 선택하고,

샘플링을 통해 선택된 두 포인트 셋에 대해, 가장 최소거리를 갖는 포인트를 계산하여 매칭 시키고,

상기 매칭된 두 포인트 셋의 거리를 최소화 할 수 있는 3차원 변환행렬을 산출하고,

상기 3차원 변환행렬을 통해 정합된 두 포인트 셋의 거리의 합인 에러값을 구하고,

상기 에러값을 기 설정된 임계값과 비교하여 상기 에러값이 상기 임계값 이상인 경우 상기 에러값을 출력하고,

상기 에러값을 통해 상기 모션 데이터간의 차이값을 결정하고, 결정된 상기 차이값 중 가장 최소값을 갖는 상기 모션 데이터를 상호 비슷한 포즈의 모션 데이터로 결정하는 것을 특징으로 하는 모션 캡쳐 데이터의 포즈 검색 장치.
제 6항에 있어서,

상기 ICP 알고리즘 수행부는,

상기 3차원 변환행렬은 닫힌 해(Closed-Form Solution)를 이용하여 산출하고,

상기 산출된 변환행렬을 이용하여 하나의 포인트 클라우드의 위치를 변환 한 후, 각 매핑되는 각 포인트 간의 거리의 합을 구하는 것을 특징으로 하는 모션 캡쳐 데이터의 포즈 검색 장치.
제 6항에 있어서,

상기 ICP 알고리즘 수행부는,

상기 매칭 시 3차원 포인트들의 거리 및 위상학적 위치를 고려하여 상기 포인트 클라우드에 포함된 3차원 포인트 및 3차원포인트 위치에 설정된 세그먼트의 페어를 대상으로 가장 최소거리를 갖는 포인트를 찾아 매칭을 수행하는 것을 특징으로 하는 모션 캡쳐 데이터의 포즈 검색 장치.
제 8항에 있어서,

상기 샘플링 시 상기 매칭을 고려하여 상기 3차원포인트들 자신이 속한 캐릭터의 세그먼트 번호를 함께 입력하는 것을 특징으로 하는 모션 캡쳐 데이터의 포즈 검색 장치.
제 6항에 있어서,

상기 에러값은,

최종적으로 상기 모션 데이터간의 거리 정보인 것을 특징으로 하는 모션 캡쳐 데이터의 포즈 검색 장치.
캐릭터로 이루어진 복수의 모션 데이터를 입력 받는 과정과,

상기 캐릭터의 말단 장치 조인트에 가상 마커의 부착을 통해 포인트 클라우드를 구성하는 과정과,

상기 모션 데이터에 ICP 알고리즘을 이용하여 상기 모션 데이터 사이의 정합을 수행하는 과정

을 포함하는 모션 캡쳐 데이터의 포즈 검색 방법.
제 11항에 있어서,

상기 모션 데이터는,

같은 종의 캐릭터로 된 모션 데이터인 것을 특징으로 하는 모션 캡쳐 데이터의 포즈 검색 방법.
제 11항에 있어서,

상기 가상 마커의 부착은,

프레임당 상기 말단 장치 조인트의 3차원 전역 좌표를 계산하여, 해당 위치에 가상 마커를 부착한 것으로 설정하는 것을 특징으로 하는 모션 캡쳐 데이터의 포즈 검색 방법.
제 11항에 있어서,

상기 포즈 검색 방법은,

상기 모션 데이터 내의 캐릭터 사이즈가 틀린 모션이 검출된 경우, 이에 대한 사이즈 조절을 수행하는 과정

을 더 포함하는 것을 특징으로 하는 모션 캡쳐 데이터의 포즈 검색 방법.
제 14항에 있어서,

상기 사이즈 조절을 수행하는 과정은,

상기 모션 데이터의 프레임 개수와 동일한 개수의 포인트 클라우드를 입력 포인트 클라우드와 비교하고, 상기 캐릭터의 사이즈가 상기 입력 받은 모션데이터의 캐릭터의 사이즈와 다른경우 상기 캐릭터의 사이즈를 조절하는 것을 특징으로 하는 모션 캡쳐 데이터의 포즈 검색 방법.
제 14항에 있어서,

상기 사이즈 조절을 수행하는 과정은,

상기 포인트 클라우드 내 모든 포인트의 평균값인 센터 포인트를 계산하는 과정과,

상기 센터 포인트와 가장 먼 거리에 있는 포인트와의 거리를 산출하여 해당 거리만큼 캐릭터의 사이즈를 조절하는 과정

을 포함하는 것을 특징으로 하는 모션 캡쳐 데이터의 포즈 검색 방법.
제 11항에 있어서,

상기 모션 데이터 사이의 정합을 수행하는 과정은,

상기 캐릭터에서 말단 장치의 조인트만을 이용하여 구성된 두 개의 포인트 클라우드에서 샘플링을 통해 동일한 개수의 포인트를 선택하는 과정과,

샘플링을 통해 선택된 두 포인트 셋에 대해, 가장 최소거리를 갖는 포인트를 계산하여 매칭 시키는 과정과,

상기 매칭된 두 포인트 셋의 거리를 최소화 할 수 있는 3차원 변환행렬을 산출하는 과정과,

상기 3차원 변환행렬을 통해 정합된 두 포인트 셋의 거리의 합인 에러값을 구하는 과정과,

상기 에러값이 기 설정된 임계값 이상인 경우 상기 에러값을 출력하고, 상기 에러값을 통해 상기 모션 데이터간의 차이값을 결정하고, 결정된 상기 차이값 중 가장 최소값을 갖는 상기 모션 데이터를 상호 비슷한 포즈의 모션 데이터로 결정하는 과정

을 더 포함하는 것을 특징으로 하는 모션 캡쳐 데이터의 포즈 검색 방법.
제 17항에 있어서,

상기 결정하는 과정은,

상기 매칭 시 3차원 포인트들의 거리 및 위상학적 위치를 고려하여 상기 포인트 클라우드에 포함된 3차원 포인트 및 3차원포인트 위치에 설정된 세그먼트의 페어를 대상으로 가장 최소거리를 갖는 포인트를 찾아 매칭을 수행하는 것을 특징으로 하는 모션 캡쳐 데이터의 포즈 검색 방법.
제 18항에 있어서,

상기 샘플링 시 상기 매칭을 고려하여 상기 3차원포인트들 자신이 속한 캐릭터의 세그먼트 번호가 함께 입력되는 것을 특징으로 하는 모션 캡쳐 데이터의 포즈 검색 방법.
제 17항에 있어서,

상기 에러값은,

최종적으로 상기 모션데이터간의 거리 정보인 것을 특징으로 하는 모션 캡쳐 데이터의 포즈 검색 방법.