KR102547358B1 - 볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치 및 방법 - Google Patents

Abstract

볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치 및 방법이 개시된다. 볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치는 퍼포머를 촬영하여 생성한 볼류메트릭 동영상으로부터 움직임 정보를 추출하는 동영상 분석부와, 동영상 분석부에서 추출된 움직임 정보를 아바타에 적용하여 아바타가 움직임 정보에 따라 퍼포밍(performing)하도록 처리하는 아바타 퍼포밍부를 포함할 수 있다.

Description

볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치 및 방법{Avatar performing apparatus using volumetric video and method thereof}

본 발명은 볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치 및 방법에 관한 것으로, 보다 구체적으로, 모션 캡쳐 장비를 장착하지 않은 퍼포머를 촬영한 3D 동영상을 이용하여 아바타 퍼포밍을 수행할 수 있는 볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치 및 방법에 관한 것이다.

움직임 정보 취득을 위해 연기하는 배우를 퍼포머(performer)라 하고, 배우의 동작을 가상의 아바타에 모사하여 움직이는 것을 퍼포밍(performing)이라고 한다.

일반적으로 게임 및 영화 등의 콘텐츠 제작 시, 퍼포머의 동작을 움직임 캡쳐(motion capture) 장비를 이용하여 캡쳐한 후 퍼포머의 움직임 정보를 디지털 정보로서 취득하고, 퍼포머의 움직임을 모사하도록 취득한 움직임 정보를 3D 가상 배우(디지털 배우, 아바타 또는 Virtual Being)에 적용하여 컨텐츠를 제작한다.

도 1은 일반적인 움직임 캡쳐 슈트와 랜드마크 위치를 보여주는 도면이다.

퍼포밍을 위한 기존의 움직임 캡쳐 방법에서는 신체 각 부위에 마커가 부착되어 있는 움직임 캡쳐 슈트를 퍼포머가 착용하여 움직임 정보를 취득한다. 다시점의 센서에서 마커의 움직임을 추적하여 가상의 3차원 공간에 퍼포머의 마커들을 동일하게 생성한다. 이 마커들의 위치를 랜드마크라고 하며, 신체 표면의 랜드마크의 이동을 분석하여 신체 내부의 뼈대의 움직임을 보간하여 만들어낸다. 퍼포머의 움직임 정보는 뼈대의 움직임이며, 이 정보를 가상 3D 아바타에 투영하여 움직임을 모사한다. 현재 사용하고 있는 인물의 신체 자세 정보는 비강체(신체 표면)의 랜드마크를 분석하여, 강체(뼈대)의 동작을 유추하는 과정으로 진행한다.

얼굴의 표정에 관한 캡쳐 방법도 동일한 방법으로 진행한다. 얼굴에 점으로 찍어 놓은 마커의 위치 변화를 영상으로 분석하여 얼굴의 근육 변화를 감지한다. 얼굴 표정의 변화를 촬영하기 위하여, 머리의 위치를 추적하기 위한 헤드기어와 얼굴의 마커 위치를 촬영하기 위한 헤드기어의 지지대에 달린 카메라를 퍼포머의 머리에 착용해야 한다.

그러나, 기존의 움직임 캡쳐 방법을 사용하는 경우, 움직임 캡쳐 장비의 착용에 따른 불편함으로 인해 배우의 몰입도가 떨어지고, 배우의 춤 또는 액션 장면에서 자연스러운 자세와 표정에 많은 차이가 발생하며, 결과적으로 현실감 있는 아바타 구현에 한계가 발생하다.

국내 등록특허 10-2144040

본 발명의 목적은 상기와 같은 문제점을 해결하기 위한 것으로, 다시점 카메라들로 생성한 볼류메트릭 체적 객체 동영상에서 움직임 정보를 획득하여 자연스러운 자세와 표정을 취득할 수 있는 볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치 및 방법을 제시하는 데 있다.

또한, 본 발명의 목적은 체적 객체의 수많은 꼭지점(vertex)을 랜드마크로 사용하여 매우 정밀한 움직임 추적 및 모사가 가능한 볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치 및 방법을 제시하는 데 있다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술 분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 목적을 달성하기 위하여 본 발명의 실시예에 따르면, 볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치는, 퍼포머를 촬영하여 생성한 볼류메트릭 동영상으로부터 움직임 정보를 추출하는 동영상 분석부; 및 상기 동영상 분석부에서 추출된 움직임 정보를 아바타에 적용하여 상기 아바타가 상기 움직임 정보에 따라 퍼포밍(performing)하도록 처리하는 아바타 퍼포밍부;를 포함할 수 있다.

상기 동영상 분석부는, 상기 퍼포머를 다시점 촬영하여 다수의 프레임마다 3D 체적 객체를 포함하는 상기 볼류메트릭 동영상을 생성하는 동영상 생성부; 및 상기 퍼포머의 동작을 모사할 아바타에서 상기 아바타의 움직임을 제어할 랜드마크(이하, '아바타 랜드마크'라 한다)가 선택되면, 상기 선택되는 아바타 랜드마크를 이용하여 상기 볼류메트릭 동영상으로부터 랜드마크(이하, '볼류메트릭 랜드마크'라 한다)의 움직임 정보를 추출하는 랜드마크 움직임 정보 추출부;를 포함할 수 있다.

상기 아바타 퍼포밍부는, 상기 랜드마크 움직임 정보 추출부에서 추출되는 볼류메트릭 랜드마크의 움직임 정보를 상기 아바타에 적용하여 퍼포밍을 수행한다.

상기 동영상 분석부는, 상기 다수의 프레임에서 키프레임을 선택하는 키프레임 선택부; 및 상기 선택되는 키프레임을 기준으로 나머지 프레임의 메쉬를 조정하여 상기 키프레임이 움직이는 변형된 볼류메트릭 동영상을 생성하는 동영상 변형부;를 더 포함하고, 상기 랜드마크 움직임 정보 추출부는, 상기 동영상 변형부에서 변형된 볼류메트릭 동영상으로부터 랜드마크의 움직임 정보를 추출할 수 있다.

상기 동영상 변형부는, 상기 다수의 프레임들에서 선택되는 키프레임의 메쉬 구조와 나머지 프레임들의 메쉬 구조가 동일하도록 처리하여 상기 변형된 볼류메트릭 동영상을 생성할 수 있다.

상기 동영상 분석부는, 상기 추출된 볼류메트릭 랜드마크의 움직임 정보를 선형적으로 움직이도록 후처리하는 움직임 정보 후처리부;를 더 포함하고, 상기 아바타 퍼포밍부는, 상기 움직임 정보 후처리부에서 후처리된 볼류메트릭 랜드마크의 움직임 정보를 상기 아바타에 적용하여 퍼포밍을 수행할 수 있다.

상기 퍼포머의 동작을 모사할 아바타를 생성하여 상기 아바타의 움직임을 제어할 랜드마크(이하, '아바타 랜드마크'라 한다)를 선택하는 아바타 처리부;를 더 포함할 수 있다.

상기 아바타 처리부는, 상기 퍼포머의 동작을 모사할 아바타를 생성하는 아바타 생성부; 상기 생성된 아바타를 상기 볼류메트릭 동영상에서 선택된 키프레임의 형태로 조정하는 아바타 조정부; 및 상기 형태가 조정된 아바타에서 상기 아바타의 움직임을 제어할 아바타 랜드마크를 상기 키프레임을 이용하여 선택하는 아바타 랜드마크 선택부;를 포함할 수 있다.

상기 아바타 랜드마크 선택부는, 상기 키프레임과 아바타를 비교하여 서로 대응하는 메쉬의 꼭지점을 상기 아바타 랜드마크로서 선택할 수 있다.

상기 아바타 처리부는, 상기 형태가 조정된 아바타와 상기 선택된 키프레임의 메쉬 구조가 동일하도록 상기 조정된 아바타의 메쉬 형태를 보정하는 아바타 보정부;를 더 포함할 수 있다.

본 발명의 또 다른 실시예에 따르면, 볼류메트릭 동영상을 이용한 아바타 퍼포밍 방법은, (A) 전자장치가, 퍼포머를 촬영하여 생성한 볼류메트릭 동영상으로부터 움직임 정보를 추출하는 단계; 및 (B) 상기 전자장치가, 상기 (A) 단계에서 추출된 움직임 정보를 아바타에 적용하여 상기 아바타가 상기 움직임 정보에 따라 퍼포밍(performing)하도록 처리하는 단계;를 포함할 수 있다.

상기 (A) 단계는, (A1) 상기 퍼포머를 다시점 촬영하여 다수의 프레임마다 3D 체적 객체를 포함하는 상기 볼류메트릭 동영상을 생성하는 단계; 및 (A2) 상기 퍼포머의 동작을 모사할 아바타에서 상기 아바타의 움직임을 제어할 랜드마크(이하, '아바타 랜드마크'라 한다)가 선택되면, 상기 선택되는 아바타 랜드마크를 이용하여 상기 볼류메트릭 동영상으로부터 랜드마크(이하, '볼류메트릭 랜드마크'라 한다)의 움직임 정보를 추출하는 단계;를 포함할 수 있다.

상기 (B) 단계는, 상기 (A2) 단계에서 추출되는 볼류메트릭 랜드마크의 움직임 정보를 상기 아바타에 적용하여 퍼포밍을 수행할 수 있다.

상기 (A) 단계는, 상기 (A2) 단계 이전에, (A3) 상기 다수의 프레임에서 키프레임을 선택하는 단계; 및 (A4) 상기 (A3) 단계에서 선택되는 키프레임을 기준으로 나머지 프레임의 메쉬를 조정하여 상기 키프레임이 움직이는 변형된 볼류메트릭 동영상을 생성하는 단계;를 더 포함하고, 상기 (A2) 단계는, 상기 (A4) 단계에서 변형된 볼류메트릭 동영상으로부터 랜드마크의 움직임 정보를 추출할 수 있다.

상기 (A4) 단계는, 상기 다수의 프레임들에서 선택되는 키프레임의 메쉬 구조와 나머지 프레임들의 메쉬 구조가 동일하도록 처리하여 상기 변형된 볼류메트릭 동영상을 생성할 수 있다.

상기 (A) 단계는, 상기 (A2) 단계 이후, (A5) 상기 (A2) 단계에서 추출된 볼류메트릭 랜드마크의 움직임 정보를 선형적으로 움직이도록 후처리하는 단계;를 더 포함하고, 상기 (B) 단계는, 상기 (A5) 단계에서 후처리된 볼류메트릭 랜드마크의 움직임 정보를 상기 아바타에 적용하여 퍼포밍을 수행할 수 있다.

상기 (B) 단계 이전에, (C) 상기 퍼포머의 동작을 모사할 아바타를 생성하여 상기 아바타의 움직임을 제어할 랜드마크(이하, '아바타 랜드마크'라 한다)를 선택하는 단계;를 더 포함할 수 있다.

상기 (C) 단계는, (C1) 상기 퍼포머의 동작을 모사할 아바타를 생성하는 단계; (C2) 상기 (C1) 단계에서 생성된 아바타를 상기 볼류메트릭 동영상에서 선택된 키프레임의 형태로 조정하는 단계; 및 (C3) 상기 (C2) 단계에서 형태가 조정된 아바타에서 상기 아바타의 움직임을 제어할 아바타 랜드마크를 상기 키프레임을 이용하여 선택하는 단계;를 포함할 수 있다.

상기 (C3) 단계는, 상기 키프레임과 아바타를 비교하여 서로 대응하는 메쉬의 꼭지점을 상기 아바타 랜드마크로서 선택할 수 있다.

상기 (C) 단계는, 상기 (C3) 단계 이전에, (C4) 상기 (C2) 단계에서 형태가 조정된 아바타와 상기 선택된 키프레임의 메쉬 구조가 동일하도록 상기 조정된 아바타의 메쉬 형태를 보정하는 단계;를 더 포함할 수 있다.

본 발명은, 움직임 캡쳐 장비를 착용하지 않은 배우를 촬영하여 볼류메트릭 동영상을 촬영하고 볼류메트릭 동영상을 이용하여 움직임 정보를 획득함으로써 배우의 자연스러운 자세와 표정을 취득할 수 있다.

또한, 본 발명은 볼류메트릭 동영상에 포함된 체적 객체의 수많은 꼭지점(vertex)를 랜드마크로 사용하므로 매우 정밀한 움직임 추적 및 모사가 가능하다.

본 발명의 효과들은 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명의 기술 분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 일반적인 움직임 캡쳐 슈트와 랜드마크 위치를 보여주는 도면,
도 2는 본 발명의 실시 예에 따른 3D 볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치(100)를 도시한 블록도,
도 3은 도 2에 도시된 프로세서(150)를 자세히 도시한 블록도,
도 4는 퍼포머의 동작을 모사할 아바타의 예시도,
도 5는 아바타를 키프레임 형태로 조정하는 동작을 설명하기 위한 도면,
도 6은 아바타 랜드마크 선택부(151d)에서 아바타 랜드마크를 자동으로 선택하는 동작을 설명하기 위한 도면,
도 7은 볼류메트릭 동영상을 생성하기 위한 스튜디오의 일 예,
도 8은 볼류메트릭 동영상에서 독립적인 3D 체적 객체로 생성되는 프레임들의 예시도,
도 9는 볼류메트릭 동영상에서 선택된 키프레임을 보여주는 도면,
도 10은 메쉬 트래킹 알고리즘을 설명하기 위한 도면,
도 11은 볼류메트릭 동영상의 모든 프레임들에서 추출된 꼭지점의 움직임을 보여주는 도면,
도 12는 모션용 볼류메트릭 랜드마크를 적용하여 퍼포밍한 결과를 보여주는 도면,
도 13은 본 발명의 실시 예에 따른 전자장치(100)의 볼류메트릭 동영상을 이용한 아바타 퍼포밍 방법을 개략적으로 도시한 흐름도,
도 14는 도 13에 도시된 S1310단계를 자세히 도시한 흐름도, 그리고,
도 15는 도 13에 도시된 S1320단계를 자세히 도시한 흐름도이다.

이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.

어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.

본 명세서에서 제1구성요소가 제2구성요소 상(ON)에서 동작 또는 실행된다고 언급될 때, 제1구성요소는 제2구성요소가 동작 또는 실행되는 환경에서 동작 또는 실행되거나 또는 제2구성요소와 직접 또는 간접적으로 상호 작용을 통해서 동작 또는 실행되는 것으로 이해되어야 할 것이다.

어떤 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.

또한, 어떤 구성요소가 구현됨에 있어서 특별한 언급이 없다면, 그 구성요소는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있는 것으로 이해되어야 할 것이다.

또한, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

또한, 본 명세서에서 '부', 또는 '장치' 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되거나 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 지칭하는 것으로 의도될 수 있다. 예를 들어, 여기서 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.

또한, 상기 용어들은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것이 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.

도 2는 본 발명의 실시 예에 따른 3D 볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치(100)를 도시한 블록도이다.

도 2에 도시된 본 발명의 실시 예에 따른 3D 볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치(100)는 다시점 카메라들로 생성한 볼류메트릭 체적 객체 동영상에서 움직임 정보를 획득하고, 획득된 움직임 정보를 아바타에 적용하여 퍼포밍을 수행할 수 있다.

이를 위하여, 본 발명의 실시 예에 따른 3D 볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치(100)는 통신 인터페이스부(110), 사용자 인터페이스부(120), 저장부(130), 메모리(140) 및 프로세서(150)를 포함할 수 있다.

통신 인터페이스부(110)는 n개의 다시점 카메라들(미도시)과 유무선 통신가능하도록 연결되어 n개의 다시점 카메라들(미도시)이 촬영한 동영상을 수신할 수 있다.

사용자 인터페이스부(120)는 사용자와 아바타 퍼포밍 장치(100) 간의 명령이나 정보 전달을 위한 인터페이싱 경로를 제공한다. 사용자 인터페이스부(120)는 마우스, 키보드, 모니터 등의 장치를 포함할 수 있다.

저장부(130)와 메모리(140)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다.

저장부(130)는 n개의 다시점 카메라들(미도시)이 촬영한 n개의 동영상과, 랜드마크 움직임 정보 추출부(153d)에서 모든 프레임들로부터 추출된 프레임 꼭지점의 위치 정보와, 움직임 정보 후처리부(153e)에서 후처리된 각 볼류메트릭 랜드마크의 방향 및 위치의 변화 정보(또는 움직임 정보)를 프레임별로 저장할 수 있다.

메모리(140)에는 아바타 퍼포밍 장치(100)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들(110~150)에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.

메모리(140)에 저장되는 프로그램은 퍼포머에 해당하는 3D 체적 객체의 움직임 정보를 볼류메트릭 동영상에서 추출한 후 아바타에 적용함으로써 아바타가 퍼포머의 움직임에 따라 퍼포밍하도록 처리하는 퍼포밍 프로그램을 포함할 수 있다.

프로세서(150)는 메모리(140)에 저장된 하나 이상의 프로그램을 실행하여 아바타 퍼포밍 장치(100)의 전반적인 동작을 제어한다.

프로세서(150)는 퍼포밍 프로그램을 실행하여 3D 체적 객체의 움직임 정보에 따라 아바타의 동작을 제어할 수 있다. 본 발명의 실시 예에서 사용되는 볼류메트릭 동영상의 각 프레임은 3D 체적 객체를 포함하므로 이하에서는 설명의 편의 상 프레임을 3D 체적 객체와 동일시하여 설명할 수도 있다.

도 3은 도 2에 도시된 프로세서(150)를 자세히 도시한 블록도이다.

도 3을 참조하면, 프로세서(150)는 아바타 처리부(151), 동영상 분석부(153) 및 아바타 퍼포밍부(155)를 포함할 수 있다.

아바타 처리부(151)는 퍼포머의 동작을 모사할 아바타를 생성하여 아바타의 움직임을 제어할 랜드마크(이하, '아바타 랜드마크'라 한다)를 선택할 수 있다. 이를 위하여, 아바타 처리부(151)는 아바타 생성부(151a), 아바타 조정부(151b), 아바타 보정부(151c) 및 아바타 랜드마크 선택부(151d)를 포함할 수 있다.

아바타 생성부(151a)는 도 4와 같은 퍼포머의 동작을 모사할 아바타를 생성할 수 있다.

아바타 조정부(151b)는 아바타 생성부(151a)에서 생성된 아바타를 후술할 키프레임 선택부(153b)에서 선택되는 키프레임의 형태로 조정할 수 있다. 키프레임은 볼류메트릭 동영상을 이루는 다수의 프레임들 중 하나이다.

도 5는 아바타를 키프레임 형태로 조정하는 동작을 설명하기 위한 도면이다.

도 5를 참조하면, 아바타 조정부(151b)는 동작의 초기 위치를 설정하기 위하여, 퍼포밍할 아바타의 자세를 키프레임에 대응되도록 조정할 수 있다. 아바타 조정부(151b)는 아바타의 관절을 조정하여 키프레임의 형태(즉, 키프레임에 포함된 3D 체적 객체의 형태)로 조정할 수 있다. 이로서 아바타의 길이, 체적 등의 크기도 키프레임과 동일하게 조정될 수 있다.

이는 키프레임과 아바타의 랜드마크 매칭을 위한 동작으로서, 후술할 아바타 랜드마크 선택부(151d)에서 키프레임의 메쉬와 아바타의 메쉬 간의 움직임에 대응할 랜드마크 간의 관계를 만드는데 사용될 수 있다. 즉, 키프레임의 랜드마크(움직임 추출 용도)와 아바타의 랜드마크(움직임 적용 용도) 간의 대응 관계를 만드는데 사용될 수 있다. 랜드마크 간의 대응 관계는 전단사 함수 형태로 서로간 대응하는 꼭지점 정보를 포함한다. 즉, 랜드마크 간의 대응 관계는 인덱스 정보 형태로 서로간 1:1로 대응한다.

아바타 보정부(151c)는 아바타 조정부(151b)에서 형태가 조정된 아바타와 선택된 키프레임의 메쉬 구조가 동일하도록, 아바타 조정부(151b)에서 조정된 아바타의 메쉬 형태(즉, 메쉬 구조, 메쉬 위치, 메쉬 개수 또는 메쉬의 꼭지점 개수)를 키프레임의 메쉬 형태로 정밀 보정할 수 있다.

아바타 보정부(151c)는 아바타의 정밀 보정을 위하여, 아바타와 키프레임 간의 메쉬 트래킹(Mesh Tracking) 알고리즘을 수행하여 아바타와 키프레임 간의 메쉬 위치가 동일하거나 거의 동일하도록 정밀 보정하여, 후술할 랜드마크 움직임 정보 추출부(153d)에서 랜드마크가 자동으로 추출되도록 할 수 있다. 메쉬 트래킹 알고리즘은 도 9 및 도 10을 참조하여 후술한다.

아바타 보정부(151c)는 아바타와 퍼포머의 형상 일치율이 기설정된 기준값 이상인 경우, 예를 들어, 배우와 아바타가 동일한 인물인 경우 아바타의 정밀 보정을 수행하고, 동일한 형태가 아니거 혀상 일치율이 기준값 미만인 경우 정밀 보정을 생략할 수 있다. 이는 아바타가 실제 배우를 모사한 형태인 경우도 많이 사용되기 때문이다.

형상이 거의 동일한 경우 메쉬 트래킹을 진행하는 이유는, 메쉬 트래킹을 진행함으로써 두 메쉬의 관계를 간단하게 전단사함수 형태로 만들 수 있기 때문이다. 즉, 메쉬의 꼭지점 개수를 동일하게 맞출 수 있으며, 이는 키프레임과 아바타 간에 서로 대응하는 랜드마크의 수가 많아져 랜드마크 움직임 정보 추출부(153d)의 동작 성능을 높일 수 있다.

반면, 형상이 동일하지 않은 경우 메쉬 트래킹을 진행하지 않는 이유는, 예를 들어, 곰인형 아바타와 볼류메트릭 동영상의 배우 간의 모션캡쳐를 한다면, 서로 간에 메쉬 관계를 만들 수 없는 부분들이 다수 존재하기 때문이다.

다시 도 3을 참조하면, 아바타 랜드마크 선택부(151d)는 키프레임과 아바타를 비교하여 서로 대응하는 메쉬의 꼭지점을 아바타 랜드마크로서 선택할 수 있다.

자세히 설명하면, 아바타 랜드마크 선택부(151d)는 아바타 보정부(151c)에서 정밀 보정된 경우, 아바타의 움직임을 제어할 랜드마크(즉, 아바타 랜드마크)를 정밀 보정된 아바타에서 자동으로 선택하되, 키프레임을 이용하여 선택할 수 있다. 아바타 랜드마크 선택부(151d)에서 선택되는 아바타 랜드마크는 키프레임과 아바타 간의 움직임을 연결할 꼭지점으로서, 후술할 볼류메트릭 랜드마크의 움직임 정보에 따라 움직일(즉, 퍼포밍) 수 있다.

반면, 아바타 보정부(151c)에서 아바타의 정밀 보정이 생략된 경우, 아바타 랜드마크 선택부(151d)는 사용자 인터페이스부(120)로부터 입력되는 사용자 명령에 따라 아바타 랜드마크를 아바타 조정부(151b)에서 형태가 조정된 아바타에서 선택할 수 있다.

도 6은 아바타 랜드마크 선택부(151d)에서 아바타 랜드마크를 자동으로 선택하는 동작을 설명하기 위한 도면이다.

도 6을 참조하면, 아바타(b)는 형태가 보정 또는 조정되어 보정된 꼭지점 위치를 갖는 아바타(c)로 생성된다. (d)의 랜드마크 거리 및 관계 분석은 키프레임(a)과 아바타(c)를 겹친 후 가장 가까운 메쉬의 꼭지점끼리 매칭하여 랜드마크를 선택하도록 하는 것을 의미한다.

아바타 랜드마크 선택부(151d)는 키프레임(a)과 꼭지점 위치가 정밀 보정된 아바타(c)의 메쉬 위치를 비교하여 서로 대응하는 메쉬의 꼭지점을 아바타 랜드마크(e)로서 선택할 수 있다. 따라서, 도 6의 (e)는 키프레임(a)와 보정된 아바타(c)에서 관계가 있는, 서로 대응하는 랜드마크들을 의미한다. 즉, (e)는 키프레임과 아바타 간의 관계를 연결하기 위한 꼭지점을 의미한다. (e)의 꼭지점 인덱싱은 보정된 꼭지점 위치를 갖는 아바타(b)를 거쳐 보정 전 아바타(b)의 형태와 매칭하게 된다.

예를 들어, 메쉬 트래킹된 아바타의 메쉬들에는 인덱스가 부여되며, 키프레임의 메쉬들에도 아바타의 메쉬와 상대적으로 동일한 위치의 메쉬에는 동일한 인덱스가 부여될 수 있다. 아바타 랜드마크 선택부(151d)는 동일한 인덱스가 부여된 메쉬들을 비교하여 키프레임의 메쉬의 꼭지점과 가장 가까운 꼭지점을 아바타의 메쉬에서 선택하며, 선택된 꼭지점의 위치는 아바타 랜드마크가 될 수 있다.

키프레임의 메쉬의 개수(또는 꼭지점의 개수)와 아바타의 메쉬의 개수(또는 꼭지점의 개수)가 다른 경우, 아바타 랜드마크 선택부(151d)는 키프레임과 아바타 중 꼭지점 개수가 더 적은 것의 메쉬를 기준으로 꼭지점을 1:1 매칭시킬 수 있다.

또한, 키프레임(a)의 꼭지점과 아바타(c)의 꼭지점의 밀집도 차이가 기준값 이상이면, 아바타 랜드마크 선택부(151d)는 도 6에서 키프레임(a)과 아바타(c)의 꼭지점 간의 거리가 가까운 꼭지점 페어(pair)를 서로 간에 관계를 대표하는 꼭지점으로 선택하고 아바타 랜드마크(e)로 선택할 수 있다. 도 6의 a와 c를 보면 얼굴과 손에서 c의 밀집도가 더 높은 것을 알 수 있다.

아바타 랜드마크 선택부(151d)에서 선택되는 아바타 랜드마크들은 후술할 아바타 퍼포밍부(155)에서 볼류메트릭 동영상의 각 프레임의 꼭지점의 움직임에 맞추어 위치가 변화되어 퍼포밍을 수행하는데 사용될 수 있다.

다시 도 3을 참조하면, 동영상 분석부(153)는 퍼포머를 촬영하여 생성한 볼류메트릭 동영상으로부터 움직임 정보를 추출할 수 있다. 이를 위하여, 동영상 분석부(153)는 동영상 생성부(153a), 키프레임 선택부(153b), 동영상 변형부(153c), 랜드마크 움직임 정보 추출부(153d) 및 움직임 정보 후처리부(153e)를 포함할 수 있다.

동영상 생성부(153a)는 퍼포머를 다시점 촬영한 동영상으로부터 볼류메트릭 동영상을 생성할 수 있다.

도 7은 볼류메트릭 동영상을 생성하기 위한 스튜디오의 일 예이고, 도 8은 볼류메트릭 동영상에서 독립적인 3D 체적 객체로 생성되는 프레임들의 예시도이다.

도 7 및 도 8을 참조하면, 볼류메트릭 동영상은 볼류메트릭 캡쳐 스튜디오에서 피사체(예를 들어, 퍼포머)를 촬영한 후 3차원 체적 객체 합성 과정을 통하여 생성될 수 있다.

자세히 설명하면, 동영상 생성부(153a)는 스튜디오에 구비된 n개의 다시점 카메라들(미도시)이 다양한 각도에서 동시에 퍼포머를 촬영한 다시점 영상들을 분석 및 합성하여 프레임을 생성하며, 이 때 프레임에는 퍼포머에 해당하는 3D 체적 객체가 포함되도록 한다. 동영상 생성부(153a)는 다시점 카메라들이 촬영한 영상의 프레임마다 영상 특징점을 추출하여 3D 객체를 재건하고, 재건된 3D 객체의 3D 포인트 클라우드를 추출하고, 3D 메쉬를 생성하고, 3D 텍스처를 생성한 후, 모든 프레임들의 3D 텍스처를 합성하여 실사 인물의 3D 체적 객체를 포함하는 하나의 프레임을 생성한다. 동영상 생성부(153a)는 fps(frame per second) 단위로 생성되는 프레임을 취합하여 각 프레임마다 3D 체적 객체를 포함하는 볼류메트릭 동영상을 생성할 수 있다.

볼류메트릭 동영상은 홀로그램과 비슷한 3D 동영상으로 스톱모션 애니메이션 형식으로 만들어지며, 각 프레임의 배우가 3차원 체적 객체로 만들어져 있다. 일 예로, 볼류메트릭 동영상의 경우, 60초 분량의 30fps(프레임/초)의 동영상을 만들기 위하여, 1800개의 3차원 체적 객체가 필요하다.

이 때, 볼류메트릭 동영상의 각 프레임은 독립적인 3D 체적 객체로 생성되며, 각 프레임 메쉬들의 꼭지점 간의 시간적인 연속성은 없는 것이 일반적이다.

키프레임 선택부(153b)는 볼류메트릭 동영상을 이루는 다수의 프레임에서 하나의 키프레임을 선택할 수 있다. 키프레임 선택부(153b)는 퍼포머의 형상을 잘 나타내고 있는 프레임을 키프레임으로 선택하며, 예를 들어, 다수의 프레임 중 표면적인 가장 넓은 프레임을 키프레임으로 선택할 수 있다.

도 9는 볼류메트릭 동영상에서 선택된 키프레임을 보여주는 도면이다.

도 9를 참조하면, 프레임1~프레임7 중 표면적인 가장 넓은 프레임4가 키프레임으로 선택되었으며, 각 프레임의 메쉬 개수(또는 꼭지점 개수)는 상이하다.

동영상 변형부(153c)는 키프레임 선택부(153b)에서 선택되는 키프레임을 기준으로 나머지 프레임들의 메쉬를 조정하여 키프레임의 3D 동영상을 생성할 수 있다. 즉, 동영상 변형부(153c)는 키프레임(또는 키프레임의 3D 체적객체)이 움직이는 변형된 볼류메트릭 동영상을 생성할 수 있다.

예를 들어, 동영상 변형부(153c)는 키프레임을 이용하여 나머지 프레임들에 대해 메쉬 트래킹 알고리즘을 진행하여 메쉬 형태(메쉬의 구조, 메쉬의 개수, 꼭지점 수 등)가 동일하도록 메쉬 트래킹된 볼류메트릭 동영상, 즉, 변형된 볼류메트릭 동영상을 생성할 수 있다. 이로써 키프레임과 나머지 프레임들의 메쉬 형태는 동일하게 변형될 수 있다.

메쉬 트래킹 알고리즘은 선택된 두 메쉬 간의 비교를 통하여, 목표(target) 메쉬의 형태가 입력(source) 메쉬의 형태가 되도록 메쉬 형상을 변형시키는 알고리즘이다. 볼류메트릭 비디오에서는 여러 프레임의 타겟 메쉬를 한 개의 키프레임의 입력 메쉬를 이용하여 동일한 입력 메쉬 형태로 만든다. 시간적인 구간의 입력 메쉬를 포함하는 프레임을 키프레임이라고 정의한다.

도 10은 메쉬 트래킹 알고리즘을 설명하기 위한 도면이다.

도 10을 참조하면, 볼류메트릭 비디오 캡쳐로 만들어진 원본 3D 객체들의 매 프레임의 체적 객체의 폴리곤 개수는 다르다. 또한, 각각의 프레임의 꼭지점 위치 간의 시간적 또는 공간적 연관성이 전혀 없으므로 이는 움직임 캡쳐용 랜드마크로 사용될 수 없다. 따라서, 볼류메트릭 캡쳐 결과물의 시간적인 일관성과 공간적인 일관성을 만들기 위하여, 동영상 변형부(153c)는 메쉬 트래킹 알고리즘을 이용하여 나머지 프레임들의 메쉬를 키프레임의 형태로 변형 및 매칭시키며, 이로써 메쉬 형태가 프레임들마다 동일하게 변형되어, 꼭지점 간의 움직임 분석이 가능하게 될 수 있다. 즉, 메쉬의 각 꼭지점이 시간에 따른 움직임으로 만들 수 있도록 메쉬 구조가 변경되었다.

다시 도 3을 참조하면, 랜드마크 움직임 정보 추출부(153d)는, 아바타 랜드마크 선택부(151d)에서 아바타의 움직임을 제어할 아바타 랜드마크가 선택되면, 동영상 변형부(153c)에서 변형된 볼류메트릭 동영상으로부터 랜드마크(이하, '볼류메트릭 랜드마크'라 한다)의 움직임 정보를 아바타 랜드마크를 이용하여 추출할 수 있다.

볼류메트릭 동영상이 메쉬 트래킹 알고리즘에 의해 변형되는 동작이 생략되는 경우, 랜드마크 움직임 정보 추출부(153d)는 동영상 생성부(153a)에서 생성된 볼류메트릭 동영상으로부터 볼류메트릭 랜드마크를 추출할 수도 있다.

자세히 설명하면, 랜드마크 움직임 정보 추출부(153d)는 아바타에서 선택된 아바타 랜드마크와 변형된 볼류메트릭 동영상의 각 프레임을 1:1 매칭하여 아바타 랜드마크의 꼭지점(이하, '아바타 꼭지점'이라 한다)에 대응하는 꼭지점(이하, '프레임 꼭지점'이라 한다)을 각 프레임에서 추출할 수 있다. 볼류메트릭 동영상의 모든 프레임들로부터 아바타 꼭지점에 대응하는 프레임 꼭지점이 추출되면, 랜드마크 움직임 정보 추출부(153d)는 모든 프레임들로부터 추출된 프레임 꼭지점의 위치 정보를 저장부(130)에 저장할 수 있다.

또한, 랜드마크 움직임 정보 추출부(153d)는 볼류메트릭 동영상의 모든 프레임들에서 추출된 꼭지점을 취합하여 꼭지점의 움직임 정보(또는 볼류메트릭 랜드마크의 움직임 정보)를 도 11과 같이 생성할 수 있다.

도 11은 볼류메트릭 동영상의 모든 프레임들에서 추출된 꼭지점의 움직임을 보여주는 도면이다.

도 11을 참조하면, 볼류메트릭 동영상의 모든 프레임들에서 추출된 프레임 꼭지점을 공간적으로 중첩한 형태로서, 점처럼 보이는 부분은 3D 체적 객체의 움직임이 없거나 적은 것을 의미하고, 선처럼 보이는 부분(점선 원)은 3D 체적 객체의 움직임이 육안으로 식별가능하도록 움직인 것을 의미한다. 이로써 랜드마크 움직임 정보 추출부(153d)는 모션 캡쳐용 볼류메트릭 랜드마크의 동작을 추출할 수 있다.

움직임 정보 후처리부(153e)는 랜드마크 움직임 정보 추출부(153d)에서 추출된 볼류메트릭 랜드마크의 움직임 정보를 선형적으로 움직이도록 후처리할 수 있다.

자세히 설명하면, 움직임 정보 후처리부(153e)는 볼류매트릭 동영상에서 선택된 볼류메트릭 랜드마크에 대응하는 볼류메트릭 꼭지점들의 움직임의 흐름을 선형적으로 움직이도록 보간하여 부드럽게 연결할 수 있다. 움직임 정보 후처리부(153e)는 후처리된 각 볼류메트릭 랜드마크의 방향 및 위치의 변화 정보를 프레임별로 저장부(130)에 저장할 수 있다. 움직임 정보 후처리부(153e)는 베지어 곡선 보간 방법을 이용하여 움직임이 부드럽도록 후처리할 수 있다.

아바타 퍼포밍부(155)는 동영상 분석부(153)에서 추출된 움직임 정보를 아바타 처리부(151)에서 생성된 아바타에 적용하여 아바타가 움직임 정보에 따라 퍼포밍하도록 처리할 수 있다. 즉, 아바타의 랜드마크와 퍼포핑부의 랜드마크는 1대1 매칭되어 동작될 수 있습니다.

볼류메트릭 랜드마크의 움직임 정보가 움직임 정보 후처리부(153e)에서 후처리된 경우, 아바타 퍼포밍부(155)는 후처리된 볼류메트릭 랜드마크의 움직임 정보를 아바타의 랜드마크에 적용하여 퍼포밍을 수행할 수 있다.

일 예로, 아바타 퍼포밍부(155)는 랜드마크 움직임 정보 추출부(153d)에서 볼류메트릭 랜드마크가 추출된 키프레임과(1) 아바타의 형태에서의 차이 비율과(2) 움직임 정보 후처리부(153e)에서 정제된 움직임의 위치(3)를 이용하여 퍼포머의 볼류메트릭 비디오에서 추출한 모션을 아바타 동작에 적용하여 퍼포밍할 수 있다.

아바타의 형태에서 차이 비율은, 배우와 아바타의 형태의 유사도가 기준 이상인 경우도 있지만, 곰인형과 배우와 같이 형태의 유사도가 기준 미만인 경우도 있으며, 이러한 배우와 아바타의 형태의 유사도를 의미한다.

정제된 움직임의 위치는 볼류메트릭 랜드마크의 움직임을 선형보간한 정보이다.

퍼포머의 볼류메트릭 비디오에서 추출한 모션은 랜드마크 움직임 정보 추출부(153d)에서 추출된 볼류메트릭 랜드마크의 꼭지점이 3D 공간에서 움직인 정보를 의미한다.

도 12는 모션용 볼류메트릭 랜드마크를 적용하여 퍼포밍한 결과를 보여주는 도면이다.

도 12를 참조하면, 아바타에 볼류메트릭 랜드마크의 움직임 정보를 적용한 결과(즉, 도 12의 아바타 동작)와 볼류메트릭 비디오에서 캡쳐한 화면의 동작은 거의 동일함을 알 수 있다.

상술한 본 발명의 실시 예에 의하면, 볼류메트릭 동영상의 프레임마다 추출되는 꼭지점을 랜드마크로 사용하여 아바타에 적용함으로써 퍼포머는 랜드마크 추출을 위한 모션 캡쳐 장비를 착용하지 않고 촬영이 가능하다.

이하에서는 도 13 내지 도 15를 참조하여 전자장치의 볼류메트릭 동영상을 이용한 아바타 퍼포밍 방법을 설명한다.

도 13은 본 발명의 실시 예에 따른 전자장치(100)의 볼류메트릭 동영상을 이용한 아바타 퍼포밍 방법을 개략적으로 도시한 흐름도이다.

도 13의 볼류메트릭 동영상을 이용한 아바타 퍼포밍 방법을 수행하는 전자장치(100)는 도 1 내지 도 12를 참조하여 설명한 볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치(100)일 수 있으며, 상세한 설명은 위에서 하였으므로 생략한다.

도 13을 참조하면, 전자장치(100)는 퍼포머의 동작을 모사할 아바타를 생성하여 아바타의 움직임을 제어할 랜드마크(이하, '아바타 랜드마크'라 한다)를 선택할 수 있다(S1310).

전자장치(100)는 모션 캡쳐 장비를 구비하지 않은 퍼포머를 촬영하여 획득한 볼류메트릭 동영상으로부터 모션 캡쳐용 랜드마크(즉, 볼류메트릭 랜드마크)의 움직임 정보를 추출할 수 있다(S1320). S1320단계는 S1310단계에서 선택된 아바타 랜드마크를 이용하여 볼류메트릭 랜드마크의 움직임 정보를 추출할 수 있다.

전자장치(100)는 S1320단계에서 추출된 움직임 정보를 아바타에 적용하여 아바타가 움직임 정보에 따라 퍼포밍하도록 처리할 수 있다(S1330).

도 14는 도 13에 도시된 S1310단계를 자세히 도시한 흐름도이다.

도 14를 참조하면, 전자장치(100)는 퍼포머의 동작을 모사할 아바타를 생성하거나 미리 생성된 아바타의 파일을 불러와 준비할 수 있다(S1311).

전자장치(100)는 S1311단계에서 생성된 아바타를 후술할 S1323단계에서 볼류메트릭 동영상에서 선택된 키프레임의 형태로 조정할 수 있다(S1313).

전자장치(100)는 S1313단계에서 형태가 조정된 아바타와 키프레임의 메쉬 구조가 동일하도록 아바타의 메쉬 형태를 메쉬 트래킹을 이용하여 정밀 보정할 수 있다(S1315). S1315단계는 생략가능하다.

전자장치(100)는 S1313단계에서 형태가 조정된 아바타 또는 S1315단계에서 정밀 보정된 아바타에서 아바타의 움직임을 제어할 아바타 랜드마크를 키프레임을 이용하여 선택할 수 있다(S1317). S1317단계는 키프레임과 아바타를 비교하여 서로 대응하는 메쉬의 꼭지점을 아바타 랜드마크로서 선택할 수 있다.

도 15는 도 13에 도시된 S1320단계를 자세히 도시한 흐름도이다.

도 15를 참조하면, 전자장치(100)는 퍼포머를 다시점 촬영하여 다수의 프레임마다 3D 체적 객체를 포함하는 볼류메트릭 동영상을 획득할 수 있다(S1321).

전자장치(100)는 볼류메트릭 동영상의 다수의 프레임에서 키프레임을 선택한다(S1323).

전자장치(100)는 S1323단계에서 선택되는 키프레임을 기준으로 나머지 프레임의 메쉬를 조정하여 키프레임이 움직이는 변형된 볼류메트릭 동영상을 생성할 수 있다(S1325). S1325단계는 메쉬 트래킹 알고리즘을 이용하여 다수의 프레임들에서 선택되는 키프레임의 메쉬 구조와 나머지 프레임들의 메쉬 구조가 동일하도록 처리하여 변형된 볼류메트릭 동영상을 생성할 수 있다.

전자장치(100)는 S1317단계에서 아바타의 움직임을 제어할 아바타 랜드마크가 선택되면, 선택되는 아바타 랜드마크를 이용하여, S1325단계에서 변형된 볼류메트릭 동영상으로부터 볼류메트릭 랜드마크의 움직임 정보를 추출할 수 있다(S1327).

전자장치(100)는 S1327단계에서 추출된 볼류메트릭 랜드마크의 움직임 정보를 선형적으로 움직이도록 후처리할 수 있다(S1329).

S1330단계는 S1329단계에서 선형보간된 볼류메트릭 랜드마크의 움직임 정보를 아바타에 적용하여 퍼포밍을 수행한다.

상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작 들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고받을 수 있다.

이상을 통해 본 발명의 실시 예에 대하여 설명하였지만, 본 발명은 상기 실시 예에 한정되지 않고, 본 발명의 취지를 벗어나지 않고 효과를 저해하지 않는 한, 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 다양하게 변경하여 실시할 수 있다. 또한 그러한 실시 예가 본 발명의 범위에 속하는 것은 당연하다.

100: 볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치
151: 아바타 처리부
153: 동영상 분석부
155: 아바타 퍼포밍부

Claims (20)

1. 퍼포머를 촬영하여 생성한 볼류메트릭 동영상으로부터 움직임 정보를 추출하는 동영상 분석부;
   상기 퍼포머의 동작을 모사할 아바타를 생성하여 상기 아바타의 움직임을 제어할 랜드마크(이하, '아바타 랜드마크'라 한다)를 선택하는 아바타 처리부; 및
   상기 동영상 분석부에서 추출된 움직임 정보를 상기 아바타 처리부에서 생성되는 아바타에 적용하여 상기 아바타가 상기 움직임 정보에 따라 퍼포밍(performing)하도록 처리하는 아바타 퍼포밍부;를 포함하고,
   상기 동영상 분석부는,
   상기 퍼포머를 다시점 촬영하여 다수의 프레임마다 3D 체적 객체를 포함하는 상기 볼류메트릭 동영상을 생성하는 동영상 생성부; 및
   상기 아바타 처리부가 상기 퍼포머의 동작을 모사할 아바타에서 상기 아바타의 움직임을 제어할 아바타 랜드마크를 선택하면, 상기 선택되는 아바타 랜드마크를 이용하여 상기 볼류메트릭 동영상으로부터 랜드마크(이하, '볼류메트릭 랜드마크'라 한다)의 움직임 정보를 추출하는 랜드마크 움직임 정보 추출부;
   를 포함하며,
   상기 랜드마크 움직임 정보 추출부는,
   상기 아바타에서 선택되는 아바타 랜드마크와 상기 볼류메트릭 동영상의 각 프레임을 1:1 매칭하여 아바타 랜드마크의 꼭지점(이하, '아바타 꼭지점'이라 한다)에 대응하는 꼭지점(이하, '프레임 꼭지점'이라 한다)을 각 프레임에서 추출하고, 상기 볼류메트릭 동영상의 모든 프레임들로부터 아바타 꼭지점에 대응하는 프레임 꼭지점이 추출되면, 상기 모든 프레임들로부터 추출된 프레임 꼭지점을 취합하여 상기 볼류메트릭 랜드마크의 움직임 정보를 생성하는 볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치.
   
2. 삭제
3. 제1항에 있어서,
   상기 아바타 퍼포밍부는,
   상기 랜드마크 움직임 정보 추출부에서 추출되는 볼류메트릭 랜드마크의 움직임 정보를 상기 아바타에 적용하여 퍼포밍을 수행하는,
   볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치.
   
4. 제1항에 있어서,
   상기 동영상 분석부는,
   상기 다수의 프레임에서 키프레임을 선택하는 키프레임 선택부; 및
   상기 선택되는 키프레임을 기준으로 나머지 프레임의 메쉬를 조정하여 상기 키프레임이 움직이는 변형된 볼류메트릭 동영상을 생성하는 동영상 변형부;
   를 더 포함하고,
   상기 랜드마크 움직임 정보 추출부는,
   상기 동영상 변형부에서 변형된 볼류메트릭 동영상으로부터 랜드마크의 움직임 정보를 추출하는,
   볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치.
   
5. 제4항에 있어서,
   상기 동영상 변형부는,
   상기 다수의 프레임들에서 선택되는 키프레임의 메쉬 구조와 나머지 프레임들의 메쉬 구조가 동일하도록 처리하여 상기 변형된 볼류메트릭 동영상을 생성하는,
   볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치.
   
6. 제1항에 있어서,
   상기 동영상 분석부는,
   상기 추출된 볼류메트릭 랜드마크의 움직임 정보를 선형적으로 움직이도록 후처리하는 움직임 정보 후처리부;
   를 더 포함하고,
   상기 아바타 퍼포밍부는,
   상기 움직임 정보 후처리부에서 후처리된 볼류메트릭 랜드마크의 움직임 정보를 상기 아바타에 적용하여 퍼포밍을 수행하는,
   는 볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치.
   
7. 삭제
8. 제1항에 있어서,
   상기 아바타 처리부는,
   상기 퍼포머의 동작을 모사할 아바타를 생성하는 아바타 생성부;
   상기 생성된 아바타를 상기 볼류메트릭 동영상에서 선택된 키프레임의 형태로 조정하는 아바타 조정부; 및
   상기 형태가 조정된 아바타에서 상기 아바타의 움직임을 제어할 아바타 랜드마크를 상기 키프레임을 이용하여 선택하는 아바타 랜드마크 선택부;
   를 포함하는 볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치.
   
9. 제8항에 있어서,
   상기 아바타 랜드마크 선택부는,
   상기 키프레임과 아바타를 비교하여 서로 대응하는 메쉬의 꼭지점을 상기 아바타 랜드마크로서 선택하는,
   볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치.
   
10. 제8항에 있어서,
    상기 아바타 처리부는,
    상기 형태가 조정된 아바타와 상기 선택된 키프레임의 메쉬 구조가 동일하도록 상기 조정된 아바타의 메쉬 형태를 보정하는 아바타 보정부;
    를 더 포함하는 볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치.
    
11. (A) 전자장치가, 퍼포머를 촬영하여 생성한 볼류메트릭 동영상으로부터 움직임 정보를 추출하는 단계;
    (B) 상기 퍼포머의 동작을 모사할 아바타를 생성하여 상기 아바타의 움직임을 제어할 랜드마크(이하, '아바타 랜드마크'라 한다)를 선택하는 단계; 및
    (C) 상기 전자장치가, 상기 (A) 단계에서 추출된 움직임 정보를 상기 (B) 단계에서 생성되는 아바타에 적용하여 상기 아바타가 상기 움직임 정보에 따라 퍼포밍(performing)하도록 처리하는 단계;를 포함하고,
    상기 (A) 단계는,
    (A1) 상기 퍼포머를 다시점 촬영하여 다수의 프레임마다 3D 체적 객체를 포함하는 상기 볼류메트릭 동영상을 생성하는 단계; 및
    (A2) 상기 (B) 단계에서 상기 퍼포머의 동작을 모사할 아바타로부터 상기 아바타의 움직임을 제어할 랜드마크(이하, '아바타 랜드마크'라 한다)가 선택되면, 상기 (B) 단계에서 선택되는 아바타 랜드마크를 이용하여 상기 볼류메트릭 동영상으로부터 랜드마크(이하, '볼류메트릭 랜드마크'라 한다)의 움직임 정보를 추출하는 단계;를 포함하며,
    상기 (A2) 단계는,
    상기 아바타에서 선택되는 아바타 랜드마크와 상기 볼류메트릭 동영상의 각 프레임을 1:1 매칭하여 아바타 랜드마크의 꼭지점(이하, '아바타 꼭지점'이라 한다)에 대응하는 꼭지점(이하, '프레임 꼭지점'이라 한다)을 각 프레임에서 추출하고, 상기 볼류메트릭 동영상의 모든 프레임들로부터 아바타 꼭지점에 대응하는 프레임 꼭지점이 추출되면, 상기 모든 프레임들로부터 추출된 프레임 꼭지점을 취합하여 상기 볼류메트릭 랜드마크의 움직임 정보를 생성하는,
    볼류메트릭 동영상을 이용한 아바타 퍼포밍 방법.
    
12. 삭제
13. 제11항에 있어서,
    상기 (C) 단계는,
    상기 (A2) 단계에서 추출되는 볼류메트릭 랜드마크의 움직임 정보를 상기 아바타에 적용하여 퍼포밍을 수행하는,
    볼류메트릭 동영상을 이용한 아바타 퍼포밍 방법.
    
14. 제11항에 있어서,
    상기 (A) 단계는, 상기 (A2) 단계 이전에,
    (A3) 상기 다수의 프레임에서 키프레임을 선택하는 단계; 및
    (A4) 상기 (A3) 단계에서 선택되는 키프레임을 기준으로 나머지 프레임의 메쉬를 조정하여 상기 키프레임이 움직이는 변형된 볼류메트릭 동영상을 생성하는 단계;
    를 더 포함하고,
    상기 (A2) 단계는,
    상기 (A4) 단계에서 변형된 볼류메트릭 동영상으로부터 랜드마크의 움직임 정보를 추출하는,
    볼류메트릭 동영상을 이용한 아바타 퍼포밍 방법.
    
15. 제14항에 있어서,
    상기 (A4) 단계는,
    상기 다수의 프레임들에서 선택되는 키프레임의 메쉬 구조와 나머지 프레임들의 메쉬 구조가 동일하도록 처리하여 상기 변형된 볼류메트릭 동영상을 생성하는,
    볼류메트릭 동영상을 이용한 아바타 퍼포밍 방법.
    
16. 제11항에 있어서,
    상기 (A) 단계는, 상기 (A2) 단계 이후,
    (A5) 상기 (A2) 단계에서 추출된 볼류메트릭 랜드마크의 움직임 정보를 선형적으로 움직이도록 후처리하는 단계;
    를 더 포함하고,
    상기 (C) 단계는,
    상기 (A5) 단계에서 후처리된 볼류메트릭 랜드마크의 움직임 정보를 상기 아바타에 적용하여 퍼포밍을 수행하는,
    는 볼류메트릭 동영상을 이용한 아바타 퍼포밍 방법.
    
17. 삭제
18. 제11항에 있어서,
    상기 (B) 단계는,
    (B1) 상기 퍼포머의 동작을 모사할 아바타를 생성하는 단계;
    (B2) 상기 (B1) 단계에서 생성된 아바타를 상기 볼류메트릭 동영상에서 선택된 키프레임의 형태로 조정하는 단계; 및
    (B3) 상기 (B2) 단계에서 형태가 조정된 아바타에서 상기 아바타의 움직임을 제어할 아바타 랜드마크를 상기 키프레임을 이용하여 선택하는 단계;
    를 포함하는 볼류메트릭 동영상을 이용한 아바타 퍼포밍 방법.
    
19. 제18항에 있어서,
    상기 (B3) 단계는,
    상기 키프레임과 아바타를 비교하여 서로 대응하는 메쉬의 꼭지점을 상기 아바타 랜드마크로서 선택하는,
    볼류메트릭 동영상을 이용한 아바타 퍼포밍 방법.
    
20. 제18항에 있어서,
    상기 (B) 단계는, 상기 (B3) 단계 이전에,
    (B4) 상기 (B2) 단계에서 형태가 조정된 아바타와 상기 선택된 키프레임의 메쉬 구조가 동일하도록 상기 조정된 아바타의 메쉬 형태를 보정하는 단계;
    를 더 포함하는 볼류메트릭 동영상을 이용한 아바타 퍼포밍 방법.

Images