KR101519775B1 - 오브젝트의 모션 인식 기반 애니메이션 생성 방법 및 장치 - Google Patents

Abstract

본 발명은 오브젝트의 모션 인식 기반 애니메이션 생성 방법에 있어서, 카메라와 3차원 깊이 센서를 포함하는 키넥트(kinect)를 기반으로 상기 키넥트 데이터를 저작하기 위한 SDK(Software Development Kit)를 활성화하고, 렌더링 처리 기반 API 관련 초기화를 수행하는 과정과, 상기 키넥트 데이터 관련 각 행렬을 초기화하고, 초기화된 키넥트 데이터 관련 3차원 영상을 애니메이션 서비스 라이브러리가 지원되는 포맷의 3차원 메시 파일로 매핑하는 과정과, 상기 3차원 메시 파일로부터 오브젝트 모션 인식을 위한 프레임 정점을 생성하고, 생성된 정점에 대응되는 데이터의 시퀀스(sequence)들을 주성분 분석을 통하여 정규화하는 과정과, 상기 키넥트 데이터와 소정의 유저 인터페이스를 통해 제공되는 오브젝트의 골격정보를 기반으로 오브젝트 모션 기반 3차원 좌표를 획득하여 기설정된 프레임 단위별 관절에 대한 좌표를 획득하는 과정을 포함함을 특징으로 한다.

Description

오브젝트의 모션 인식 기반 애니메이션 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING ANIMATION BASED ON OBJECT MOTION}

본 발명은 키넥트 센서가 제공하는 객체의 동작 정보를 사용하여 동작 기반 게임 캐릭터 애니메이션 저작에 관한 것이다.

최근의 컴퓨터 게임에서의 캐릭터들은 더욱 정교하고 사실적으로 표현되고 있다[1].

게임 캐릭터들은 시나리오에 따라 사전에 정의된 애니메이션을 수행한다. 게임 캐릭터들은 사실에 기반을 두어 움직이며 한 캐릭터 내에서도 무수히 많은 애니메이션들을 가지고 있다. 최근 인기있는 'Riot game'의 'League of Legends'[2]에서는 사용자가 컨트롤할 수 있는 캐릭터가 113개에 달하며, 각각의 캐릭터가 표현 가능한 애니메이션도 이동, 공격, 스킬, 죽음 등 수십 가지가 존재한다.

이러한 캐릭터들은 사실적인 생동감을 표현하기 위하여 모두 3D 캐릭터로 제작되어 있으며 애니메이션 또한 3D로 제작되어 있다.

3D 애니메이션을 제작하는 방법에는 크게 두 가지의 방법이 있다. 첫 번째 방법은 사람의 관절에 특수 마커를 부착시킨 뒤, 실시간으로 각 관절의 위치와 회전 데이터를 특수 장치에 의해 인식하여 모션 데이터를 획득해 애니메이션 파일로 저장하는 방법이다[3]. 이 방법은 자연스럽고 정확한 데이터를 얻을 수 있는 장점이 있는 반면에 숙달된 사람이 모션을 적절히 구현해야하며 고가의 장비를 쓰는 만큼 큰 비용이 드는 단점이 있다.

두 번째 방법은 3ds Max, Maya, Dream3D[4]등과 같은 저작도구를 사용하여 애니메이션을 제작하는 방법이다. 이 방법은 콘텐츠 제작자가 직접 각 프레임별 3D 오브젝트의 위치를 변화시켜 저장하고 프레임을 연속적으로 재생하는 것이다. 이는 디자이너가 많은 수작업을 통해서만 제작될 수 있는 시간과 노력이 많이 드는 과정이다. 게임 캐릭터 애니메이션을 제작하기 위해 드는 비용과 시간, 노력을 줄이기 위해 고전적 애니메이션 저작 툴을 벗어난 현실감을 반영하는 방법이 필요하다.

따라서 본 발명은 이와 같은 문제를 해결하기 위해 키넥트 센서로부터 캡처되는 영상을 분석하여 모션을 인식한 뒤 동작을 저장하고, 이를 이용하여 캐릭터 애니메이션을 저작하는 기술을 제공하고자 한다.

본 발명의 일 견지에 따르면, 오브젝트의 모션 인식 기반 애니메이션 생성 방법에 있어서, 카메라와 3차원 깊이 센서를 포함하는 키넥트(kinect)를 기반으로 상기 키넥트 데이터를 저작하기 위한 SDK(Software Development Kit)를 활성화하고, 렌더링 처리 기반 API 관련 초기화를 수행하는 과정과, 상기 키넥트 데이터 관련 각 행렬을 초기화하고, 초기화된 키넥트 데이터 관련 3차원 영상을 애니메이션 서비스 라이브러리가 지원되는 포맷의 3차원 메시 파일로 매핑하는 과정과, 상기 3차원 메시 파일로부터 오브젝트 모션 인식을 위한 프레임 정점을 생성하고, 생성된 정점에 대응되는 데이터의 시퀀스(sequence)들을 주성분 분석을 통하여 정규화하는 과정과, 상기 키넥트 데이터와 소정의 유저 인터페이스를 통해 제공되는 오브젝트의 골격정보를 기반으로 오브젝트 모션 기반 3차원 좌표를 획득하여 기설정된 프레임 단위별 관절에 대한 좌표를 획득하는 과정을 포함함을 특징으로 한다.

본 발명의 다른 견지에 따르면, 오브젝트의 모션 인식 기반 애니메이션 생성 장치에 있어서, 카메라와 3차원 깊이 센서를 포함하는 키넥트(kinect) 센서부와, 상기 키넥트 센서부로부터 센싱된 키넥트 데이터를 저작하기 위한 SDK(Software Development Kit)부와, 상기 키넥트 센서부로터 센싱된 키넥트 데이터를 처리하기 위한 NUI(Natural User Interface)부와, 상기 키넥트 센서부의 출력을 기반으로 상기 SDK부를 활성화하여 렌더링 처리 기반 API 관련 초기화를 수행하고, 상기 키넥트 데이터 관련 각 행렬을 초기화하여 키넥트 데이터 관련 3차원 영상을 애니메이션 서비스 라이브러리가 지원되는 포맷의 3차원 메시 파일로 매핑하고, 상기 키넥트 데이터와 NUI부를 통해 제공되는 오브젝트의 골격정보를 기반으로 오브젝트 모션 기반 3차원 좌표를 획득하여 기설정된 프레임 단위별 관절에 대한 좌표 획득을 수행하는 제어부를 포함함을 특징으로 한다.

본 발명은 별도의 장비가 필요없이 저렴하고 사용이 편리한 키넥트 센서만으로도 객체의 동작을 인식하여 데이터로 저장하고, 이러한 모션 데이터를 통하여 게임 캐릭터 애니메이션을 즉시 생성 가능할 뿐만 아니라, 손가락 혹은 발가락과 같은 세밀한 영역에 대한 처리 시간을 단축시켜 용이하게 표현 가능하므로 객체에 대한 다양한 게임 캐릭터에 대한 표현이 가능한 효과가 있다.

도 1은 본 발명의 일 실시 예에 따른 오브젝트의 모션 인식 기반 애니메이션 생성 방법에 관한 전체 흐름도.
도 2는 본 발명이 적용된 오브젝트의 모션 인식 기반 애니메이션 생성 방법에 있어서, 렌더링 시 고려되는 부모와 자식 관절 체계를 보인 예시도.
도 3은 본 발명이 적용된 오브젝트의 모션 인식 기반 애니메이션 생성 방법에 있어서, NUI API를 이용하여 뼈대를 획득하여 사람의 자세를 인식하고 깊이 영상으로 사람의 영역을 분리한 예시도.
도 4는 본 발명이 적용된 오브젝트의 모션 인식 기반 애니메이션 생성 방법에 있어서, 메시를 통해 간단한 아바타를 만들고 biped를 부착시켜 스키닝 작업을 하는 모습을 보인 예시도.
도 5는 본 발명이 적용된 오브젝트의 모션 인식 기반 애니메이션 생성 방법에 있어서, 각 조인트의 위치와 관절의 열거형 변수에 관한 예시도.
도 6은 본 발명이 적용된 오브젝트의 모션 인식 기반 애니메이션 생성 방법에 있어서, 각 축에 대한 관절의 좌표를 프레임별로 기재한 화면 예시도.
도 7의 (a)는 본 발명의 일 실시 예에 따른 오브젝트의 모션 인식 기반 애니메이션 생성 방법에 있어서, 키넥트를 이용하여 촬영하면서 동작을 인식하여 모션 정보를 저장하는 예시도이고, (b)는 캡쳐된 모션 정보를 간단하게 제작한 아바타에 적용시킨 결과를 보인 예시도.
도 8은 본 발명의 일 실시 예에 따른 오브젝트의 모션 인식 기반 애니메이션 생성 장치에 관한 상세 블록도.

이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.

본 발명은 키넥트 센서가 제공하는 객체의 동작 정보를 사용하여 동작 기반 게임 캐릭터 애니메이션 저작에 관한 것으로, 더욱 상세하게는 키넥트 센서로부터 캡처되는 영상을 분석하여 모션을 인식한 뒤 동작을 저장하고, 이를 이용하여 캐릭터 애니메이션을 생성하기 위해 카메라와 3차원 깊이 센서를 포함하는 키넥트(kinect)를 기반으로 상기 키넥트 데이터를 저작하기 위한 SDK(Software Development Kit)를 활성화하고, 렌더링 처리 기반 API 관련 초기화를 수행한 후 다이렉트 X(directX)로 렌더링을 통해 모션 로드와 렌더링을 수행하고, 키넥트 데이터 관련 각 행렬을 초기화하고, 3차원 메시 파일로부터 오브젝트 모션 인식을 위한 프레임 정점을 생성한 후 상기 키넥트와 NUI(Natural User Interface) API를 이용하여 뼈대를 인식하여 20개 골격의 3차원 좌표 획득을 통해 동작 인식을 수행한 후 인식된 좌표들을 프레임 단위로 관절별 모든 좌표를 파일로 출력함으로써 별도의 장비가 필요없이 저렴하고 사용이 편리한 키넥트 센서만으로도 객체의 동작을 인식하여 데이터로 저장하고, 이러한 모션 데이터를 통하여 게임 캐릭터 애니메이션을 즉시 생성 가능할 뿐만 아니라, 손가락 혹은 발가락과 같은 세밀한 영역에 대한 처리 시간을 단축시켜 용이하게 표현 가능하므로 객체에 대한 다양한 게임 캐릭터에 대한 표현이 가능한 기술을 제공하고자 한다.

그리고, 본 발명에서 고려되는 키넥트(Kinect)는 마이크로소프트(Microsoft)에서 컨트롤러 없이 카메라와 마이크 모듈로 동작과 음성을 인식할 수 있도록 개발한 주변 기기로서, RGB를 인식하는 일반 카메라 모듈, 적외선을 픽셀 단위로 투사하는 적외선 프로젝터, IR(Infrared Ray) Emitter에서 송출한 적외선을 인식하는 적외선 카메라를 포함한다. 상기 적외선 프로젝터가 픽셀 단위로 투사하고, 상기 적외선 카메라가 이 픽셀들을 수신한 뒤 픽셀 간 거리 등으로 이미지의 3차원 좌표를 만들어 인식하게 된다. Microsoft사는 키넥트와 함께 키넥트 SDK(Software Development Kit)를 배포하여, 상기 SDK의 NUI(Natural User Interface) API를 사용하여 사람의 팔의 움직임이나 제스처 인식 기능을 사용할 수 있음을 미리 밝혀두는 바이다.

이하, 본 발명의 일 실시 예에 따른 오브젝트의 모션 인식 기반 애니메이션 생성 방법에 대해 자세히 살펴보기로 한다.

도 1은 본 발명의 일 실시 예에 따른 오브젝트의 모션 인식 기반 애니메이션 생성 방법에 관한 전체 흐름도이다.

본 발명에서 제안하는 애니메이션 생성 절차는 개략적으로 초기화, 모델 로드, 동작 인식, 동작 출력, 모션 로드, 렌더링의 흐름으로 진행되는 것으로 보다 상세하게는 도 1의 동작과 같다.

도 1을 참조하면, 먼저 110 과정에서 카메라와 3차원 깊이 센서를 포함하는 키넥트(kinect)를 온(ON)하고, 112 과정에서 상기 키넥트를 기반으로 키넥트 데이터를 저작하기 위한 SDK(Software Development Kit)를 활성화한다.

114 과정에서는 렌더링 처리 기반 API 관련 초기화를 수행한다.

즉, 본 발명이 적용된 오브젝트의 모션 인식 기반 애니메이션 생성 장치는 상기 초기화에서 키넥트 연결 확인 및 초기화를 하고, 다이렉트 X(Direct X)에 관련된 장치들을 초기화한 후, 상기 모델 로드 부분에서 상기 Direct X로 렌더링을 위한 준비를 한다.

116 과정에서는 상기 키넥트 데이터 관련 각 행렬을 초기화하고, 118 과정에서 초기화된 키넥트 데이터 관련 3차원 영상을 애니메이션 서비스 라이브러리가 지원되는 포맷의 3차원 메시 파일로 매핑한다.

120 과정에서는 상기 3차원 메시 파일로부터 오브젝트 모션 인식을 위한 프레임 정점을 생성한다.

더욱 상세하게는, 상기 키넥트 센서로부터 출력된 3차원 영상의 뷰 행렬 및 투사 행렬을 초기화하고, 상수 버퍼에 변수를 지정한 후 메시 파일로부터 읽은 데이터로부터 정점을 생성한다.

여기서, 상기 정점은, 오브젝트에 대응되는 3차원 메쉬 모델을 표현하기 위한 정보 중 3차원 공간 상의 정점의 좌표(position), 정점의 노멀(normal), 정점의 컬러(color), 정점의 텍스쳐 좌표(texture coordinate)를 포함하는 정점에 대한 정보를 포함하는 데이터이고, 이러한 정점의 생성은 각 타입별 정점을 포함하는 정점 데이터들을 저장하고, 저장된 정점 데이터들 중 기설정된 처리 단위에 해당하는 정점에 관한 데이터 처리이다.

상기 정점 생성은 모션 로드 부분에서 수행되는 것으로, 상기 키넥트 데이터에서의 관절 좌표의 범위는 대략 x 좌표가 [-2.2, 2.2], y 좌표가 [-1.6, 1.6], z 좌표가 [0.0, 4.0]이다. 각 좌표값들은 미터(meter)단위로 표현된다.

따라서, 애니메이션 생성을 위해 키넥트로부터 획득된 좌표를 모델에 맞게 정규화(normalization)하는 절차가 필요하다.

이를 위해, 122 과정에서는 생성된 정점에 대응되는 데이터의 시퀀스(sequence)들을 주성분 분석을 통해 정규화한다.

즉, 3차원 공간상의 좌표를 나타내는 정점이 생성된 데이터를 획득하여, 상기 데이터를 일정 구간별로 나누고, 상기 일정구간별로 나누어진 데이터의 시퀀스들을 주성분 분석을 통하여 정규화한다.

상기 정규화된 시퀀스들의 시간에 따른 위치 변화를 기설정된 개수의 구간으로 분류하여 방향영역 기반의 방향 모델을 생성하고, 상기 오브젝트 모션의 궤적에서 전체 공간을 기설정된 개수의 영역으로 나누어 상기 정규화된 시퀀스들의 시간에 따른 위치영역 기반의 위치 모델을 생성한다.

이후, 124 과정에서는 키넥트 데이터와 NUI(Natural User Interface)를 통해 제공되는 오브젝트의 골격정보를 기반으로 오브젝트의 3차원 모션 기반 3차원 좌표를 획득하고, 126 과정에서는 기설정된 프레임 단위별 관절에 대한 좌표를 획득한다.

더욱 상세하게는, 상기 122 과정에서 정규화된 좌표를 사용하여 관절의 위치와 방향을 계산하고 정점을 계산한 후 시간 경과에 따라 프레임을 보간하면서 정점 버퍼에 포함된 캐릭터 메시를 렌더링을 통해 모션을 인식하여 저장하고, 인식된 모션 정보를 이용하여 캐릭터 애니메이션을 랜더링 수행한다.

상기 키넥트는 NUI API를 이용하여 20개의 관절(joint)의 위치를 찾아내어 사람의 뼈대를 인식하는 것으로, 본 발명이 적용된 키넥트에서는 NUI를 통해 관절에 대한 움직임 상태로 사람을 인식한다.

각 관절은 몸 중앙의 HEAD, SHOULDER_CENTER, SPINE, HIP_CENTER와 팔의 SHOULDER, ELBOW, WRIST, HAND, 다리의 HIP, KNEE, ANKLE, FOOT이다. 팔의 관절 4개와 다리의 관절 4개는 각각 2개씩이므로 키넥트는 총 20개의 관절에 대한 위치와 정보를 추적한다[8]. 도 5는 각 조인트의 위치와 관절의 열거형 변수에 관한 것이다.

그리고, 상기 모션 인식은 상술한 바와 같이 NUI(Natural User Interface) API를 사용하는데, 도 3을 참조하면, 이러한 NUI API를 이용하여 뼈대(skeleton)를 획득하여 사람의 자세를 인식하고 깊이 영상으로 사람의 영역을 분리하였다. 관절의 위치는 작은 원으로 표시하였다. 동작을 인식한 후 모션의 저장은 뼈대 데이터 구조체 안의 뼈대 위치 배열을 이용한다.

이때, 상기 데이터 구조체는, 구조체 NUI_SKELETON_DATA는 한 뼈대 정보를 표현한다. 각 관절의 위치들은 구조체 안의 SKeletonPosition[20]의 벡터 4 타입의 배열에 순차적으로 저장된다. 이 배열의 각 원소는 Vector 4 형식의 3차원 위치 정보를 가진다. 관절들의 위치는 센서를 통해서 실시간으로 생성되는 움직임 정보이다. 관절의 위치 정보들을 통해 사람의 뼈대 자세를 추정할 수 있다.

구조체 NUI_SKELETON_FRAME는 한 프레임에서의 뼈대 정보를 표현한다. 이 구조체는 최대 6까지의 NUI_SKELETON_DATA를 포함할 수 있다. 또한 타임스탬프(liTimeStamp), 프레임번호(dwFrameNumber) 등의 프레임 관련 정보를 포함한다. 캡처되는 뼈대 데이터는 프레임 정보와 함께 파일에 저장된다.

상기 타임스탬프 값으로 초당 프레임 수를 설정하고 각 프레임당 20개 관절의 모든 좌표를 획득한다. 이를 파일로 출력하면 도 6에 도시된 바와 같이 각 축에 대한 관절의 좌표를 프레임별로 획득할 수 있다.

첫째 행은 프레임 번호를 나타내고 그 다음 20줄까지는 1번부터 20번까지의 각 관절의 좌표를 x, y, z축 순으로 나타낸다. 관절의 순서는 키넥트 조인트의 열거형 변수 순서를 따른다. 그 다음 줄부터는 다음 프레임의 데이터가 반복된다.

다음으로, 상기 오브젝트의 골격정보를 기반으로 오브젝트의 모션 처리를 위한 관절의 위치로부터 관절의 방향 산출을 위한 부모와 자식 관절의 상대 위치에 의한 변환 행렬 정보를 생성한다. 주어진 관절의 위치로부터 관절의 방향을 구하기 위해서는 부모와 자식 관절의 상대 위치에 의한 변환 행렬이 필요하다. 뼈대의 20개 관절에는 부모 관절과 자식 관절이 존재한다. 부모 관절은 자식 관절의 위치나 방향에 영향을 받지 않지만, 반대로 자식 관절은 부모관절의 방향에 영향을 받는다.

여기서, 도 2를 참조하면, 도 2는 본 발명이 적용된 오브젝트의 모션 인식 기반 애니메이션 생성 방법에 있어서, 렌더링 시 고려되는 부모와 자식 관절 체계를 보인 것으로, 골반(pelvis) 관절이 가장 최상위 루트(root)노드이고, 이 관절을 기반으로 자식 노드들이 부모 노드에 의해 영향을 받는다.

각 관절의 방향은 사원수(quaternion)로 표현된다. 사원수를 계산하기 위해서는 부모 관절의 유무가 필요하다. 부모 관절이 없을 경우에는 계산할 필요 없이 루트 관절의 방향을 사용하고, 부모 관절이 있을 경우에는 캐릭터 상의 방향과 일치하기 위해 자식 관절의 방향과 부모 관절의 방향을 사원수 곱으로 연산한 후 정규화한다. 각 사원수는 3개의 벡터 요소와 하나의 스칼라 요소로 구성되는데 두 사원수 ｐ와 ｑ의 곱은 하기와 같다. 이 곱셈 연산을 통하여 부모 관절의 방향을 구할 수 있다.

이를 기반으로 인식한 동작을 표현하기 위해서는 3D 모델이 필요하다. 3D 모델은 3ds MAX를 통해 간단한 아바타를 제작하고 아바타 안에 바이패드(Biped)를 부착하였다. 그 다음 스키닝(skinning) 작업을 통하여 뼈대와 메시를 연결하였다. 이때 스킨에 대한 뼈의 가중치를 조절한다. 도 4는 메시를 통해 간단한 아바타를 만들고 biped를 부착시켜 스키닝 작업을 하는 모습을 보여준다. 왼쪽부터 기둥과 타원을 이용하여 메시로 간단히 만든 캐릭터 모습, 캐릭터에 심기 위한 뼈대의 모습, 캐릭터에 뼈대를 심은 모습, 마지막으로 스킨에 각 뼈의 가중치를 지정하기 위한 스키닝 작업을 하는 상태의 모습이다.

그리고 애니메이션 정보의 표현을 위한 적절한 데이터 포맷이 필요하다[9]. 본 발명에 따른 실시 예에서는 MD5 데이터 포맷을 사용한다. MD5 데이터 포맷에서는 관절을 위치(pos)와 방향(orient)값으로 표현한다. 기본 자세(base pose)에서 움직인 차이로 애니메이션을 표현한다. 이 파일 형식을 사용하기 위해서 3ds MAX에서 script 파일을 통해 MD5로 보내기(export)하면 된다.

MD5 데이터 포맷의 장점은 내부 골격의 움직임으로 3D 모델을 애니메이션 할 수 있으며 텍스트 파일로 출력되어 식별이 용이하다는 점이다.

한편, 도 7의 (a)는 본 발명의 일 실시 예에 따른 오브젝트의 모션 인식 기반 애니메이션 생성 방법에 있어서, 키넥트를 이용하여 촬영하면서 동작을 인식하여 모션 정보를 저장하는 예시도이고, (b)는 캡쳐된 모션 정보를 간단하게 제작한 아바타에 적용시킨 결과를 보인 예시도이다.

이상에서는, 본 발명의 일 실시 예에 따른 오브젝트의 모션 인식 기반 애니메이션 생성 방법에 관해 살펴보았다.

이하, 본 발명의 일 실시 예에 따른 오브젝트의 모션 인식 기반 애니메이션 생성 장치에 관해 도 8을 참조하여 살펴보기로 한다.

도 8은 본 발명의 일 실시 예에 따른 오브젝트의 모션 인식 기반 애니메이션 생성 장치에 관한 상세 블록도이다.

도 8을 참조하면, 본 발명이 적용된 장치(800)은 SDK(Software Development Kit)부(810), 정규화부(812), NUI부(814), 제어부(816), 키넥트 센서부(822), 정점 생성부(824) 및 저장부(826)를 포함한다.

상기 키넥트(kinect) 센서부(822)는 카메라와 3차원 깊이 센서를 포함한다.

상기 SDK(Software Development Kit)부(810)는 키넥트 센서부(822)로부터 센싱된 키넥트 데이터를 저작하기 위한 인터페이스다.

상기 NUI(Natural User Interface)부(814)는 키넥트 센서부(822)로터 센싱된 키넥트 데이터를 처리하기 위한 인터페이스다.

상기 제어부(816)은 키넥트 센서부(822)의 출력을 기반으로 SDK부(810)를 활성화하여 렌더링 처리 기반 API 관련 초기화를 수행하고, 상기 키넥트 데이터 관련 각 행렬을 초기화하여 키넥트 데이터 관련 3차원 영상을 애니메이션 서비스 라이브러리가 지원되는 포맷의 3차원 메시 파일로 매핑하고, 상기 키넥트 데이터와 NUI부(814)를 통해 제공되는 오브젝트의 골격정보를 기반으로 오브젝트 모션 기반 3차원 좌표를 획득하여 기설정된 프레임 단위별 관절에 대한 좌표 획득을 수행한다.

또한, 상기 제어부(816)은 상기 정규화부(812)에서 정규화된 시퀀스들의 시간에 따른 위치 변화를 기설정된 개수의 구간으로 분류하여 방향영역 기반의 방향 모델을 생성하는 방향 모델 생성부(818)와, 상기 오브젝트 모션의 궤적에서 전체 공간을 기설정된 개수의 영역으로 나누어 상기 정규화된 시퀀스들의 시간에 따른 위치영역 기반의 위치 모델을 생성하는 위치 모델 생성부(820)를 포함한다.

그리고 상기 제어부(816)은 상기 오브젝트의 골격정보를 기반으로 오브젝트의 모션 처리를 위한 관절의 위치로부터 관절의 방향 산출을 위한 부모와 자식 관절의 상대 위치에 의한 변환 행렬 정보가 생성되도록 제어한다.

이때, 상기 관절의 방향은 사원수(quaternion)으로 표현되고, 상기 사원수 산출을 위해 관절별 부모 관절의 유무를 판단하고, 판단결과 부모 관절이 존재하지 않은 경우 루트 관절의 방향을 사용하고, 부모 관절이 존재하는 경우 오브젝트의 방향과 일치하기 위해 자식 관절의 방향과 부모 관절의 방향을 사원수 곱으로 연산한 후 정규화한다.

상기 정점 생성부(824)는 3차원 메시 파일로부터 오브젝트 모션 인식을 위한 프레임 정점을 생성한다.

상기 정규화부(812)는 제어부(816)의 제어 하에 상기 정점 생성부(824)로부터 생성된 정점에 대응되는 데이터의 시퀀스(sequence)들을 주성분 분석을 통하여 정규화한다.

또한, 상기 정규화부(812)는, 오브젝트 모션에 대한 영상 데이터를 획득하여, 상기 영상 데이터를 일정 구간별로 나누고, 상기 일정 구간별로 나누어진 영상 데이터의 시퀀스들을 주성분 분석을 통하여 정규화를 수행한다.

상기와 같이 본 발명에 따른 오브젝트의 모션 인식 기반 애니메이션 생성 방법 및 장치에 관한 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.

810: SDK부 812: 정규화부
814: NUI부 816: 제어부
818: 방향 모델 생성부 820: 위치 모델 생성부
822: 키넥트 센서부 824: 정점 생성부
826: 저장부

Claims (15)

1. 오브젝트의 모션 인식 기반 애니메이션 생성 방법에 있어서,
   카메라와 3차원 깊이 센서를 포함하는 키넥트(kinect)를 기반으로 상기 키넥트 데이터를 저작하기 위한 SDK(Software Development Kit)를 활성화하고, 렌더링 처리 기반 API 관련 초기화를 수행하는 과정과,
   상기 키넥트 데이터 관련 각 행렬을 초기화하고, 초기화된 키넥트 데이터 관련 3차원 영상을 애니메이션 서비스 라이브러리가 지원되는 포맷의 3차원 메시 파일로 매핑하는 과정과,
   상기 3차원 메시 파일로부터 오브젝트 모션 인식을 위한 프레임 정점을 생성하고, 생성된 정점에 대응되는 데이터의 시퀀스(sequence)들을 주성분 분석을 통하여 정규화하는 과정과,
   상기 키넥트 데이터와 소정의 유저 인터페이스를 통해 제공되는 오브젝트의 골격정보를 기반으로 오브젝트 모션 기반 3차원 좌표를 획득하여 기설정된 프레임 단위별 관절에 대한 좌표를 획득하는 과정을 포함하고,
   상기 오브젝트의 골격정보를 기반으로 오브젝트의 모션 처리를 위한 관절의 위치로부터 관절의 방향 산출을 위한 부모와 자식 관절의 상대 위치에 의한 변환 행렬 정보를 생성하는 과정을 포함하고,
   상기 관절의 방향은 사원수(quaternion)으로 표현되고, 상기 사원수 산출을 위해 관절별 부모 관절의 유무를 판단하고, 판단결과 부모 관절이 존재하지 않은 경우 루트 관절의 방향을 사용하고, 부모 관절이 존재하는 경우 오브젝트의 방향과 일치하기 위해 자식 관절의 방향과 부모 관절의 방향을 사원수 곱으로 연산한 후 정규화하고,
   상기 각 사원수는 소정 개수의 벡터 요소와 하나의 스칼라 요소로 구성되며, 두 사원수 ｐ와 ｑ의 곱은 하기의 같고, 하기의 곱셈 연산을 통하여 부모 관절의 방향을 산출됨을 특징으로 하는 오브젝트의 모션 인식 기반 애니메이션 생성 방법.
   

   
2. 제1항에 있어서, 상기 정점은,
   오브젝트에 대응되는 3차원 메쉬 모델을 표현하기 위한 정보 중 3차원 공간 상의 정점의 좌표(position), 정점의 노멀(normal), 정점의 컬러(color), 정점의 텍스쳐 좌표(texture coordinate)를 포함하는 정점에 대한 정보를 포함하는 데이터임을 특징으로 하는 오브젝트의 모션 인식 기반 애니메이션 생성 방법.
3. 제1항에 있어서, 상기 정점 생성은,
   각 타입별 정점을 포함하는 정점 데이터들을 저장하고, 저장된 정점 데이터들 중 기설정된 처리 단위에 해당하는 정점에 관한 데이터 처리임을 특징으로 하는 오브젝트의 모션 인식 기반 애니메이션 생성 방법.
4. 제1항에 있어서, 상기 정규화하는 과정은,
   오브젝트 모션에 대한 영상 데이터를 획득하여, 상기 영상 데이터를 일정 구간별로 나누고, 상기 일정 구간별로 나누어진 영상 데이터의 시퀀스들을 주성분 분석을 통하여 정규화함을 특징으로 하는 오브젝트의 모션 인식 기반 애니메이션 생성 방법.
5. 제1항에 있어서,
   상기 정규화된 시퀀스들의 시간에 따른 위치 변화를 기설정된 개수의 구간으로 분류하여 방향영역 기반의 방향 모델을 생성하는 과정과,
   상기 오브젝트 모션의 궤적에서 전체 공간을 기설정된 개수의 영역으로 나누어 상기 정규화된 시퀀스들의 시간에 따른 위치영역 기반의 위치 모델을 생성하는 과정을 더 포함함을 특징으로 하는 오브젝트의 모션 인식 기반 애니메이션 생성 방법.
6. 삭제
7. 삭제
8. 삭제
9. 제5항에 있어서,
   생성된 방향 및 위치 모델로부터 정규화된 좌표를 사용하여 관절의 위치와 방향을 계산하는 과정과,
   상기 관절의 위치와 방향이 계산된 좌표에 대응되는 정점을 계산하는 과정과,
   시간의 경과에 따라 프레임별 보간을 수행하고, 정점 버퍼에 포함된 오브젝트 메시를 렌더링하는 과정을 더 포함함을 특징으로 하는 오브젝트의 모션 인식 기반 애니메이션 생성 방법.
10. 오브젝트의 모션 인식 기반 애니메이션 생성 장치에 있어서,
    카메라와 3차원 깊이 센서를 포함하는 키넥트(kinect) 센서부와,
    상기 키넥트 센서부로부터 센싱된 키넥트 데이터를 저작하기 위한 SDK(Software Development Kit)부와,
    상기 키넥트 센서부로터 센싱된 키넥트 데이터를 처리하기 위한 NUI(Natural User Interface)부와,
    상기 키넥트 센서부의 출력을 기반으로 상기 SDK부를 활성화하여 렌더링 처리 기반 API 관련 초기화를 수행하고, 상기 키넥트 데이터 관련 각 행렬을 초기화하여 키넥트 데이터 관련 3차원 영상을 애니메이션 서비스 라이브러리가 지원되는 포맷의 3차원 메시 파일로 매핑하고, 상기 키넥트 데이터와 NUI부를 통해 제공되는 오브젝트의 골격정보를 기반으로 오브젝트 모션 기반 3차원 좌표를 획득하여 기설정된 프레임 단위별 관절에 대한 좌표 획득을 수행하는 제어부를 포함하고,
    상기 제어부는,
    상기 오브젝트의 골격정보를 기반으로 오브젝트의 모션 처리를 위한 관절의 위치로부터 관절의 방향 산출을 위한 부모와 자식 관절의 상대 위치에 의한 변환 행렬 정보가 생성되도록 제어하고,
    상기 관절의 방향은 사원수(quaternion)으로 표현되고, 상기 사원수 산출을 위해 관절별 부모 관절의 유무를 판단하고, 판단결과 부모 관절이 존재하지 않은 경우 루트 관절의 방향을 사용하고, 부모 관절이 존재하는 경우 오브젝트의 방향과 일치하기 위해 자식 관절의 방향과 부모 관절의 방향을 사원수 곱으로 연산한 후 정규화하고,
    상기 각 사원수는 소정 개수의 벡터 요소와 하나의 스칼라 요소로 구성되며, 두 사원수 ｐ와 ｑ의 곱은 하기의 같고, 하기의 곱셈 연산을 통하여 부모 관절의 방향을 산출됨을 특징으로 하는 오브젝트의 모션 인식 기반 애니메이션 생성 장치.
    

    
11. 제10항에 있어서,
    상기 3차원 메시 파일로부터 오브젝트 모션 인식을 위한 프레임 정점을 생성하는 정점 생성부와,
    상기 제어부의 제어 하에 상기 정점 생성부로부터 생성된 정점에 대응되는 데이터의 시퀀스(sequence)들을 주성분 분석을 통하여 정규화하는 정규화부를 포함함을 특징으로 하는 오브젝트의 모션 인식 기반 애니메이션 생성 장치.
12. 제11항에 있어서, 상기 정규화부는,
    오브젝트 모션에 대한 영상 데이터를 획득하여, 상기 영상 데이터를 일정 구간별로 나누고, 상기 일정 구간별로 나누어진 영상 데이터의 시퀀스들을 주성분 분석을 통하여 정규화를 수행함을 특징으로 하는 오브젝트의 모션 인식 기반 애니메이션 생성 장치.
13. 제10항에 있어서, 상기 제어부는,
    상기 정규화된 시퀀스들의 시간에 따른 위치 변화를 기설정된 개수의 구간으로 분류하여 방향영역 기반의 방향 모델을 생성하는 방향 모델 생성부와,
    상기 오브젝트 모션의 궤적에서 전체 공간을 기설정된 개수의 영역으로 나누어 상기 정규화된 시퀀스들의 시간에 따른 위치영역 기반의 위치 모델을 생성하는 위치 모델 생성부를 포함함을 특징으로 하는 오브젝트의 모션 인식 기반 애니메이션 생성 장치.
14. 삭제
15. 삭제

Images