KR20100073175A - 다시점 영상기반 동적 개체의 디지털 클론 생성 방법 - Google Patents

Abstract

본 발명은 다시점(multi-view) 카메라를 이용하여 동적 개체의 동적 모션을 캡쳐한 다시점 비디오 영상으로부터 대상체의 표준모델을 이용하여 프레임 별로 대상체의 고유 외형 변형 정보와 관절 모션을 자동으로 복원하고 복원된 정보들을 이용하여 동적 개체의 디지털 클론을 생성하는 방법에 관한 것이다. 외형과 모션의 복원을 위해 각 프레임의 다시점 영상에서 얻어지는 실루엣 정보와 동적 개체의 투영영역의 칼라값, 그리고 동적 개체 골격계의 운동학적(Kinematic) 제약조건을 이용한다. 생성된 동적 개체의 디지털 클론은 표준모델의 메쉬 구조(Mesh Topology)를 따르므로 외형이나 모션의 제어에 대한 시공간적 일치성(spatio-temporal coherency)을 확보할 수 있으며 사용자가 원하는 형상변형이나 모션제어를 일관성 있게 적용할 수 있다.

삼차원 모델 생성, 골격계, 다시점 영상, 파라미트릭 형상 변형, 관절 제어, 삼차원 복원

Description

다시점 영상기반 동적 개체의 디지털 클론 생성 방법{METHODLOGY OF ANIMATABLE DIGITAL CLONE CREATION FROM MULTI-VIEW IMAGES CAPTURING DYNAMIC PERFORMANCE}

본 발명은 다시점(multi-view) 영상기반 동적 개체의 디지털 클론(digital clone) 생성 기술에 관한 것으로, 특히 영상 센서를 이용하여 동적 모션(dynamic motion)을 취하는 액터(actor)의 외형정보 및 주요 관절의 모션 정보를 복원하는데 적합한 다시점 영상기반 동적 개체의 디지털 클론 생성 방법에 관한 것이다.

본 발명은 지식경제부 및 정보통신연구진흥원의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[2008-F-030-01, 방통융합형 Full 3D 복원 기술 개발(표준화연계)].

동적 모션을 취하는 액터의 외형 및 모션 정보를 캡쳐(capture)하는 종래의 기술은 크게 다음 두 가지로 분류해 볼 수 있다.

먼저, 레이저(LASER)나 패턴광과 같은 액티브 센서를 이용하여 액터의 정적 외형 정보를 스캐닝하고 동적 효과가 크게 나타나는 신체 부위에 마커(marker)를 부착하고 마커를 추적하여 관절 모션을 캡쳐하며, 디자이너의 수작업에 의해 두 정보를 결합하여 액터의 동적 모션을 캡쳐하는 방법이 있다.

이러한 방법은 실제로 영화나 CF와 같은 영상 콘텐츠에서의 고품질 특수효과를 위해 많이 활용되고 있으나, 서로 다른 이기종 센서에 의해 얻어진 정보들을 결합하기 위해 숙련된 디자이너 및 아티스트의 수작업과 모델 생성 시간이 많이 소요된다는 단점이 있다. 하지만 일단 액터의 3D 모델이 만들어 지고 나면 쉽게 새로운 동작에 대한 애니메이션이나 외형 편집 및 수정이 용이하다는 장점이 있다.

또 다른 기술군은 동적 모션을 행하는 액터를 다양한 시점에 촬영한 다시점 영상을 이용하여 액터의 외형정보와 모션정보를 캡쳐하는 방법들이다. 세부적으로는 초기 모델의 사용유무 및 모델의 초기화 방법, 다시점 영상 정보의 활용 범위, 외형과 모션의 복원 우선순위, 그리고 모델의 외형 변형 방법에 따라 많은 접근들이 존재한다.

최근의 논문들의 추세는 액터의 고유 인체모델을 3D 스캐너나 주요 프레임의 다시점 영상으로부터 생성하고, 생성된 액터 모델을 각 프레임에 적용하여 입력되는 각 프레임의 다시점 입력 실루엣 정보와 액터 모델을 각 카메라에 투영시켜 얻어진 다시점 실루엣(silhouette) 정보간의 투영오차를 최소화 하도록 액터 모델의 외형을 변형하는 방법으로, 액터의 외형과 모션 정보를 복원하는 접근법을 취하고 있다.

하지만, 다시점 실루엣 정보를 활용하더라도 복잡한 동작을 취하는 액터의 외형정보를 표현하기에는 정보의 한계가 존재함이 보고되고 있으며, 이러한 문제를 해결하기 위해 다양한 사용자 GUI에 기반한 정정 방법들이 제안되고 있다.

또한, 액터의 고유 인체모델을 3D 스캐너로부터 생성하는 기술의 경우, 인체 외형 변형을 위해 사용되는 메쉬기반 국부 형상 변형 방법의 한계로 인해 초기의 액터 모델을 얻을 때 나타나지 않은 고유한 외형변형 특징들이 제대로 복원되지 않는 한계점도 존재한다.

그 외에 액터의 고유 인체모델을 주요 프레임의 다시점 영상으로부터 생성하는 기술의 경우, 각 프레임의 동작에 따른 액터의 외형 변형을 초기 액터 모델의 외형정보를 이용하여 복원하기 때문에 초기 액터 모델의 외형 정밀도에 대한 의존도가 높다는 단점이 있다.

이에 본 발명은, 액터를 둘러싸며 분포된 동기화된 다수의 비디오 카메라에서 캡쳐된 다시점 영상의 실루엣 정보 및 칼라 정보, 그리고 인체의 운동학적 제약조건을 이용하여 매 프레임 변화하는 액터의 동적 외형 정보 및 모션 정보를 동시에 복원할 수 있는 다시점 영상기반 동적 개체의 디지털 클론 생성 방법을 구현하고자 한다.

또한 본 발명은, 수집된 외형 및 모션 복원정보들을 이용하여 액터의 동작 특성을 학습함으로써 다양한 애니메이션 및 자유로운 외형 편집이 가능한 액터의 디지털 클론 모델을 생성할 수 있는 다시점 영상기반 동적 개체의 디지털 클론 생 성 방법을 구현하고자 한다.

본 발명의 과제를 해결하기 위한 실시예에 따르면, 적어도 2 이상의 카메라에 의해 캡처되는 액터(actor)의 다시점(multi-view) 영상을 입력으로 하여 다시점 영상기반의 3차원 외형을 복원하는 과정과, 상기 복원하는 과정을 통해 갖는 다시점 입력영상의 칼라 일치성(photo-consistency)에 대한 확률값에 따라 형상정보를 수용하여 표준 인체모델의 메쉬 구조를, 상기 복원하는 과정을 통해 얻어진 액터의 형상에 전이시키는 과정과, 상기 액터의 관절 단면의 형상정보를 이용하여 상기 메쉬 구조를 전이함으로써 상기 액터의 초기 인체모델을 생성하는 과정과, 기 설정된 동작을 수행하는 액터를 촬영한 다시점 자세 학습 영상에 상기 초기 인체모델을 적용하여 상기 액터의 고유 행동특성을 학습시켜 상기 액터의 고유 인체모델을 생성하는 과정을 포함하는 다시점 영상기반 동적 개체의 디지털 클론 생성 방법을 제공한다.

본 발명에 의하면, 액터의 동적 모션을 담은 다시점 비디오 영상만을 이용하여 자동으로 액터의 각 프레임 별 외형과 모션정보를 복원하고, 이러한 정보를 기반으로 액터의 고유한 행동특성 재현이 가능한 삼차원 인체모델을 생성할 수 있다. 본 발명은 인체뿐만 아니라 인체와 유사하게 골격계를 기반으로 전체적인 외형을 유지하면서 골격계의 하부 관절들의 자세제어를 통해 동작을 취하는 척추동물에 대해 해당 대상체의 외형과 동작특성을 대표할 수 있는 메쉬/관절 구조만 정의 할 수 있다면 다양한 동적 대상체에 디지털 클론 생성을 적용할 수 있다.

본 발명은 다시점 카메라를 이용하여 액터의 동적모션을 캡쳐한 다시점 비디오 영상으로부터 얻어진 실루엣, 칼라 에지, 칼라 전경영상 등 다양한 영상 정보들과 인체계측학적 특성에 기반을 두고 관절기반 애니메이션에 용이한 메쉬/관절 구조로 생성된 표준 인체모델의 메쉬/관절 구조로 각 프레임 별로 액터의 전신 외형정보와 모션정보를 동시에 자동으로 복원하는 것을 특징으로 한다.

이를 위해, 먼저 표준 인체모델의 메쉬/관절 구조를 액터에 맞도록 전이시켜 액터의 고유 인체모델을 생성하고, 외형/모션 동시복원을 통해 얻어진 각 프레임의 외형 및 모션 정보와 액터의 인체모델간의 차분 오차를 최소화하도록 인체모델의 제어변수들을 자동으로 정정하여 액터 고유의 디지털 클론 모델을 자동 생성하는 것이다.

이하 첨부된 도면을 참조하여 본 발명의 실시예에 대하여 상세하게 설명한다.

도 1은 본 발명의 실시예에 따른 다시점 영상기반 동적 개체의 디지털 클론 생성 방법을 구현하기 위한 시스템 구성도로서, 3D 외형 복원부(100), 표준 인체모델 전이부(102), 고유 인체모델 생성부(104)를 포함한다.

도 1에 도시한 바와 같이, 3D 외형 복원부(100)는, 입력되는 다시점 영상, 예컨대 액터의 T-자세 다시점 영상(도 3에 예시)에 대해 다시점 영상기반의 3D 외형정보를 복원한다.

표준 인체모델 전이부(102)는, 3D 외형 복원부(100)를 통해 복원된 외형정보에서 획률값이 높은 곳은 복원정보의 값을 수용하고, 확률값이 낮은 곳은 인체계측학적 형상정보를 수용하여 표준 인체모델의 메쉬 구조를, 복원된 액터의 형상에 전이시켜 액터의 초기 인체모델을 생성한다.

고유 인체모델 생성부(104)는, 표준 인체모델 전이부(102)를 거쳐 생성된 초기 인체모델을 미리 정의된 다양한 동작을 수행하는 액터를 촬영한 다시점 자세 학습 영상에 적용하여 액터의 동작특성을 관절구조가 수용할 수 있도록 고유 행동특성 학습 과정을 통해 액터의 고유 인체모델을 생성한다.

도 2는 본 발명의 실시예에 따른 다시점 영상기반 동적 개체의 디지털 클론 생성 과정, 구체적으로 다시점 카메라를 통해 캡쳐한 액터의 다시점 영상정보를 이용하여 입력되는 표준 인체모델의 메쉬/관절 구조를 액터의 외형적 특성에 맞도록 전이시키는 액터 인체모델 생성 과정을 예시한 흐름도이다.

액터의 고유 인체모델을 생성을 위해 먼저 인체 모델링 작업의 초기 자세, 예컨대 도 3에 예시한 바와 같은 T-자세를 취하는 액터를 다시점 카메라를 이용하여 캡쳐한 다시점 영상을 입력으로 하여(S200), 액터의 3D 외형정보를 복원한 다(S202).

이때, 외형정보는 액터의 기하학적 형상정보뿐만 아니라 액터 표면의 칼라 정보를 포함할 수 있다. 먼저, 액터의 고유 형상정보를 카메라를 이용하여 최대한 캡쳐하기 위하여 2대 이상의 다수의 카메라를 액터 주변에 원형으로 배치하고 각 카메라가 액터를 응시하도록 한다.

다시점 영상의 각 영상에서 액터영역에 해당하는 부분을 전경으로 분리하고, 각 카메라의 전경영역 정보와 전경내의 칼라 정보를 이용하여 삼차원 외형의 기하학적 형상을 복셀(voxel)을 이용한 체적 기반으로 복원한다. 복원된 표면 복셀들은 다시점 입력영상에 대한 칼라일치성(photo-consistency)에 대한 확률값을 가지게 되고, 다시점 카메라의 위치와 액터의 자세에 따라 칼라 일치성이 떨어지는 복셀들은 낮은 확률값을 가지게 된다.

이러한 확률값과 표준 인체모델의 인체계측학적 형상정보를 조합하여, 확률값이 높은 곳은 복원 정보의 값을 수용하고, 확률값이 낮은 곳은 인체계측학적 형상정보를 수용하여 표준인체모델의 메쉬구조를 복원된 액터의 형상에 전이시킨다(S204).

메쉬구조와 함께 전이된 관절 정보들을 전이된 메쉬구조를 이용하여 액터에 맞도록 관절 단면의 형상정보를 이용하여 전이함으로써 액터의 초기 인체모델이 생성된다(S206).

초기화된 액터의 인체모델을 미리 정의된 다양한 동작을 수행하는 액터를 촬영한 다시점 자세 학습 영상에 적용하여 액터의 동작특성을 관절구조가 수용할 수 있도록 고유 행동특성을 학습하는 단계를 통해 액터의 고유 인체모델을 생성한다(S208)(S210). 고유 행동특성 학습 과정에 사용되는 액터의 동작은 미리 정의된 동작을 수행하는 것이므로 자세의 초기화 문제 및 지역 최적점(local minima)에 대한 문제를 피할 수 있다.

한편, 액터의 고유 인체모델이 생성되면, 다시점 학습 영상의 각 프레임의 다시점 영상과 액터의 초기 인체 모델을 입력 받아 각 프레임 별 액터의 외형 및 모션 정보를 복원한다(S212). 이러한 복원 과정을 통해, 최적화되고 남은 차분 외형 오차가 최소화되도록 초기 인체모델의 메쉬구조, 관절 위치 및 길이 등의 제어변수들을 조정하는 단계를 모든 프레임에 대해 반복적으로 실행함으로써 전체 다시점 자세 학습 영상을 재현할 있는 액터의 고유 인체모델을 생성할 수 있다.

도 4는 상술한 도 2의 외형 및 모션 정보 복원 과정(S212)을 구체적으로 예시한 흐름도이다.

먼저, 매 프레임 입력되는 다시점 영상을 재현하도록 인체모델의 외형 및 모션 정보를 복원하기 위해 먼저 이전 프레임에서 얻어진 인체모델의 메쉬 및 자세 정보를 각 카메라 시점에 맞춰 렌더링해 다시점 합성 영상을 생성한다(S300). 이러한 과정을 통해, 액터의 모션을 촬영한 환경의 조명정보와 다시점 카메라들의 기하학적 보정 정보와 칼라보정 정보들이 반영된 그래픽 장면(scene)을 그래픽 가속을 통해 렌더링하여 실제 카메라가 액터를 촬영한 상황을 충실히 재현해 낼 수 있다.

다음으로, 두 다시점 영상 정보간의 투영오차를 분석하여 인체모델의 제어를 위한 특징량을 추출한다(S302). 기존의 연구들은 대부분 액터의 이차원 영상 실루엣 정보에 주로 의존하고 있으나, 액터가 복잡한 동작을 취할 경우, 도 5와 같이 실루엣 정보가 제공하는 정보량은 액터가 취한 동작을 복원하기 위해 인체모델의 각 관절을 제어하기 위해 필요한 정보량을 충족시키기 어렵다. 이러한 정보량의 한계로 기존의 접근들은 전역 최적점(global minima)이 아닌 지역 최적점(local minima)에 빠져 정확한 복원을 보장하기 어려우며, 이러한 문제를 해결하기 위해 사용자 GUI에 의한 수정을 필요로 요한다.

본 발명에서는 이러한 지역 최적점 문제를 해결하기 위해 다시점 영상의 2D 실루엣 정보 외에 인체모델의 삼차원 실루엣 정보를 이용한다. 3D 실루엣 정보는 영상 투영 시 도 5와 같이 다리부분의 중첩에 의해 사라진 실루엣 정보에 대해 모델의 카메라에 대한 깊이 정보를 이용하여 입력영상의 칼라 에지정보 중에서 대응되는 특징 커브를 추가적으로 추출하도록 도와준다. 이러한 부가정보 추출을 통해 도 5와 같이 복잡한 액터 동작에서도 안정적인 제어 특징정보를 추출할 수 있게 된다.

이렇게 추출된 투영오차에서 오차분석 과정(S302)을 거쳐 제어에 필요한 이차원 오차 변이값들을 추출한다. 오차분석은 크게 다시점 입력영상의 전경영역에 대한 액터 모델의 다시점 합성영상의 전경영역 점유율과 전경영역내 칼라 재현률을 이용한다.

프레임내 다시점 입력영상에 대해 액터 모델을 제어해도 두 가지 오차 분석인자가 더 이상 수렴하지 않거나 특정 임계치를 넘으면(S304), 남은 오차정보를 이 용하여 액터 모델의 제어변수들을 조정(S306)하는 과정을 통해 액터 모델이 액터를 클로닝할 수 있도록 수정한다(S308).

만일, 최소오차가 아닐 경우, 제어 특징 정보를 이용하여 액터의 외형과 자세 정보를 제어하기 위한 제어값들을 추정한다(S310).

본 발명에서는 액터의 외형과 자세제어를 위해 스윕(Sweep) 기반의 파라미트릭(parametric) 형상 제어 방식을 이용한다. 이를 위해 도 6과 같이 신체를 바디, 좌/우 팔, 좌/우 다리의 5개의 파트로 나누고, 각 파트에 하나씩의 넙스커브(nurbs curve)와 넙스표면(nurbs surface)로 표현되는 스윕표면(sweep surface)을 할당한다. 각 스윕표면은 다수의 키프레임(key-frame)들의 자세(위치, 회전) 정보에 의한 넙스커브 제어와, 키프레임의 단면 넙스커브에 의한 넙스표면 제어를 통해 파라미트릭하게 제어된다.

또한, 기존 연구들의 라플라시안(laplacian) 변형(deformation)과 같은 국부적 메쉬 형상 변형 방법이 가지는 탄성변형 (elastic deformation)에 의한 인체변형의 부자연스러움을 해결하기 위해 넙스커브를 제어하는 키프레임들을 인체계측학 기반의 골격계(skeletal system)에 연계하고, 실제적인 제어는 골격계를 이루는 각 조인트들의 자세를 제어함으로써 실제 일어나지 않은 관절부위의 탄성변형을 최소화한다.

그 외에 액터의 의복 착용에 의한 부가적인 형상 표현이 필요할 경우, 해당 부분의 키프레임을 이동하거나 추가, 삭제와 각 키프렘의 넙스커브를 제어함으로써 디테일한 형상변형 및 표현을 용이하게 처리할 수 있다.

본 발명의 이러한 형상 변형 방식은 복원된 각 프레임의 메쉬/관절 구조를 파라미트릭하게 표현할 수 있어 방대한 복원정보를 효율적으로 저장하고 전송할 수 있을 뿐만 아니라, 복원된 형상 및 모션을 시공간적 일관성을 유지하면서 직관적으로 수정하거나 편집할 수 있는 장점을 지닌다.

한편, 실제적인 액터 모델의 형상 변형(S312)을 위한 제어는, 크게 자세 제어와 국부적인 디테일한 형상 제어를 통해 이루어진다. 이를 위해, 도 4의 투영오차 분석 과정(S302)에서 얻어진 각 스윕표면을 제어하는 키프레임의 넙스커브가 투영정보와 이에 대응하는 입력영상의 실루엣 정보와의 오차정보를 이용하여 얻은 이차원 변위벡터와 해당 키프레임의 3D 위치정보를 이용하여 영상 자코비안(jacobian) 제어를 수행함으로써 각 스윕표면에 결합되어 있는 골격계의 해당 조인트의 자세값을 추정할 수 있다. 이렇게 추정된 자세값을 실제 운동학적 제약조건 하에 액터 인체모델에 적용하여 일차적인 형상변형을 수행한다. 상기의 자세제어를 골격계를 이루는 각 조인트에 대해 반복적으로 수행하여 형상변형을 수행한 후, 남아있는 투영오차는 각 키프레임의 넙스커브를 제어하여 디테일한 형상정보를 복원할 수 있다.

상기의 과정을 투영오차가 최소가 되거나 특정 임계치를 만족할 때 까지 반복적으로 수행함으로써 각 프레임별로 액터의 외형 및 모션정보를 동시에 복원할 수 있게 된다.

이상의 방법으로 표준 인체모델로부터 다시점 자세학습 영상을 이용하여 액터의 고유한 인체모델을 생성할 수 있다.

다른 한편, 액터의 고유 인체모델이 생성되면, 도 7의 흐름도에서 예시한 바와 같이, 자유로운 동작을 취하는 액터를 촬영한 다시점 영상 정보로부터 각 프레임별로 액터의 외형과 모션 정보를 동시에 추출(S412)할 수 있게 된다.

도 7은, 본 실시예에 따른 디지털 클론 기술을 이용하여 액터의 다양한 동적 모션을 촬영한 다시점 비디오 영상으로부터 프레임별 외형 및 모션 복원 과정을 설명하는 흐름도로서, 다시점 자세학습 비디오 영상을 이용한 고유 인체모델 생성 과정과의 차이점은, 액터의 임의 동작을 수용할 수 있도록 각 프레임의 초단부에 체적기반의 3D외형을 복원하고(S402), 3D 외형복원을 통해 얻은 체적기반 3D 정보를 이용하여 인체모델의 자세 제어(S404)를 먼저 수행한다는 점이다.

이러한 다시점 영상기반 3D 외형 복원 과정(S402)과 체적기반 인체모델 자세 제어 과정(S404)을 거쳐 대략적인 자세를 보정하게 되면, 상술한 도 4와 동일한 과정들, 즉 액터 모델의 다시점 합성영상 생성 과정(S406), 고유 인체모델과 다시점 영상간의 투영오차 분석 과정(S408), 분석되는 투영오차가 최소 오차인지를 판단하는 과정(S410), 스윕기반 자세 및 형상 제어 과정(S414), 액터 모델의 형상 변형 과정(S416) 등의 일련의 루틴들이 반복적으로 수행되어 각 프레임별로 액터의 외형 및 모션 정보를 다시 복원할 수 있다.

3D 공간에서의 자세 추정은 각 프레임별로 체적기반 복원을 필요로 하기 때문에 복원시간이 늘어나는 단점이 있지만, 2D 공간에서의 자세 추정에 비해 보다 직관적인 제어가 가능하며, 지역 최적점에 빠지는 확률을 제거할 수 있다는 이점이 있다.

복원시간의 효율성을 높이기 위해 도 7의 과정(S402)에서는 도 2의 과정(S202)과 달리 저수준의 복셀 정밀도로 외형을 복원할 필요가 있다. 예컨대, 과정(S200)에서는 1mm 크기 수준의 복셀을 사용하지만, 과정(S402)에서는 8mm 수준의 복셀을 사용할 수 있다.

이상의 과정을 통해 액터의 동적 모션에 대해 프레임별로 외형 및 모션 정보를 추출하고, 추출된 정보를 이용한 학습과정을 통해 액터의 고유 행동양식을 보존한 디지털 클론을 생성하고, 생성된 디지털 클론을 이용하여 액터의 다양한 동적 모션을 촬영한 다시점 비디오 영상으로부터 프레임별 외형 및 모션 정보를 동시에 복원할 수 있다.

앞서 언급한 실시예는 본 발명을 한정하는 것이 아니라 예증하는 것이며, 이 분야의 당업자라면 첨부한 청구항에 의해 정의된 본 발명의 범위로부터 벗어나는 일 없이, 많은 다른 실시예를 설계할 수 있음을 유념해야 한다. 청구항에서는, 괄호 안에 있는 어떤 참조 기호도 본 발명을 한정하도록 해석되지 않아야 한다. "포함하는", "포함한다" 등의 표현은, 전체적으로 모든 청구항 또는 명세서에 열거된 것을 제외한 구성 요소 또는 단계의 존재를 배제하지 않는다. 구성 요소의 단수의 참조부는 그러한 구성 요소의 복수의 참조부를 배제하지 않으며, 그 반대도 마찬가지이다. 본 발명은, 몇몇 별개의 구성 요소를 포함하는 하드웨어 수단 및 적절히 프로그램된 컴퓨터 수단에 의해 실시될 수 있다. 몇몇 수단을 열거하는 청구항에서, 이들 수단의 몇몇은 하드웨어의 같은 항목에 의해 구현될 수 있다. 서로 다른 종속항에 확실한 수단이 기술되었다고 하는 단순한 사실은, 이러한 수단의 조합이 사용될 수 없다는 것을 나타내지 않는다.

도 1은 본 발명의 실시예에 따른 다시점 영상기반 동적 개체의 디지털 클론 생성 방법을 구현하기 위한 시스템 구성도,

도 2는 본 발명의 실시예에 따른 다시점 영상기반 동적 개체의 디지털 클론 생성 방법을 설명하는 흐름도,

도 3은 표준 인체모델의 초기 자세와 메쉬 구조를 예시한 도면,

도 4는 도 2의 외형 및 모션정보 복원 과정의 상세 흐름도,

도 5는 입력영상과 해당 영상의 실루엣 정보, 칼라 에지 정보, 모델의 삼차원 실루엣 정보를 이용하여 부가적으로 얻어낸 실루엣 정보를 이용하여 영상 차분벡터를 계산하는 것을 예시한 도면,

도 6은 인체의 형상을 변형하기 위해 사용된 스윕표면 모델과 각 스윕표면을 제어하기 위한 넙스커브, 넙스곡면, 키프레임들을 나타내는 도면,

도 7은 액터의 고유인체모델을 이용하여 임의 동작을 취하는 액터를 촬영한 다시점 비디오 영상으로부터 각 프레임의 액터 외형 및 모션 정보를 복원하는 과정을 예시한 흐름도.

Claims (10)

1. 적어도 2 이상의 카메라에 의해 캡처되는 액터(actor)의 다시점(multi-view) 영상을 입력으로 하여 다시점 영상기반의 3차원 외형을 복원하는 과정과,

   상기 복원하는 과정을 통해 갖는 다시점 입력영상의 칼라 일치성(photo-consistency)에 대한 확률값에 따라 형상정보를 수용하여 표준 인체모델의 메쉬 구조를, 상기 복원하는 과정을 통해 얻어진 액터의 형상에 전이시키는 과정과,

   상기 액터의 관절 단면의 형상정보를 이용하여 상기 메쉬 구조를 전이함으로써 상기 액터의 초기 인체모델을 생성하는 과정과,

   기 설정된 동작을 수행하는 액터를 촬영한 다시점 자세 학습 영상에 상기 초기 인체모델을 적용하여 상기 액터의 고유 행동특성을 학습시켜 상기 액터의 고유 인체모델을 생성하는 과정

   을 포함하는 다시점 영상기반 동적 개체의 디지털 클론 생성 방법.
2. 제 1 항에 있어서,

   상기 디지털 클론 생성 방법은,

   상기 다시점 자세 학습 영상의 각 프레임의 다시점 영상과 상기 초기 인체모델을 입력으로 하여 각 프레임 별 액터의 외형 및 모션 정보를 복원하는 과정과,

   상기 생성된 고유 인체모델을 기반으로 상기 액터의 동적 모션을 촬영한 다시점 영상으로부터 각 프레임 별 액터의 외형 및 모션 정보를 동시에 복원하는 과정

   을 더 포함하는 다시점 영상기반 동적 개체의 디지털 클론 생성 방법.
3. 제 1 항에 있어서,

   상기 전이시키는 과정은,

   상기 확률값과 상기 표준 인체모델의 인체계측학적 형상정보를 조합하는 과정과,

   상기 확률값에 따라 상기 복원하는 과정에 의한 복원 정보의 값을 수용하거나 상기 인체계측학적 형상정보를 수용하는 과정

   을 포함하는 다시점 영상기반 동적 개체의 디지털 클론 생성 방법.
4. 제 1 항 또는 제 3항에 있어서,

   상기 표준 인체모델은, 상기 표준 인체모델의 각 부위의 하부 관절구조와 부분 메쉬 구조를 파라미트릭(parametric) 표현으로 재구성하여 파라미트릭 제어에 의해 외형변형 및 동작제어가 수행되는 것을 특징으로 하는 다시점 영상기반 동적 개체의 디지털 클론 생성 방법.
5. 제 4항에 있어서,

   상기 파라미트릭 표현은, 상기 하부 관절구조를 넙스곡선으로 표현하고 관절구조와 결합된 부분 메쉬구조를 앞의 넙스곡선을 구성하는 스윕기반 키프레임들의 단면 넙스곡선들의 조합으로 표현되는 넙스곡면으로 재구성하는 수치적 표현인 것을 특징으로 하는 다시점 영상기반 동적 개체의 디지털 클론 생성 방법.
6. 제 4 항에 있어서,

   상기 파라미트릭 제어는, 앞의 넙스곡선 및 넙스곡선에 연계된 키프레임들의 단면 넙스곡선의 수치적 조작을 통해 전체적인 외형변형 및 동작을 제어하는 것을 특징으로 하는 다시점 영상기반 동적 개체의 디지털 클론 생성 방법.
7. 제 2항에 있어서,

   상기 각 프레임 별 액터의 외형 및 모션 정보를 복원하는 과정은,

   표준모델의 메쉬/관절구조를 파라미트릭 제어하여 표준모델을 각 다시점 입력영상에 투영 했을 때, 해당 프레임의 다시점 영상 내 복원 대상체의 실루엣 영역에 해당하는 모든 픽셀을 점유하고, 각 픽셀의 칼라 정보를 재현할 수 있도록 메쉬/관절구조를 조정하는 과정인 것을 특징으로 하는 다시점 영상기반 동적 개체의 디지털 클론 생성 방법.
8. 제 7항에 있어서,

   상기 표준모델의 제어는,

   상기 다시점 영상의 실루엣과 표준모델의 투영 실루엣간의 점유오차가 최소화되도록 관절구조의 계층적 하부 관절의 회전을 제어하는 자세(posture) 제어와, 잔존 점유오차를 최소화하고 픽셀 칼라정보를 재현하도록 키프레임들을 삽입/이동하거나 키프레임 단면곡선들의 직접제어를 통한 형상(shape) 제어로 이루어지는 다시점 영상기반 동적 개체의 디지털 클론 생성 방법.
9. 제 8항에 있어서,

   상기 자세 제어는,

   상기 카메라의 시점에 대한 표준모델의 삼차원 실루엣 정보를 추출하고, 카메라 시점과 모델간의 깊이 정보를 이용하여 실제 가시성을 갖는 삼차원 실루엣 정보를 영상에 투영하여 투영된 실루엣 주변의 칼라에지 정보를 부가적으로 이용하는 것을 특징으로 하는 다시점 영상기반 동적 개체의 디지털 클론 생성 방법.
10. 제 9항에 있어서,

    상기 자세 제어는,

    상기 표준모델의 다시점 합성영상의 삼차원 실루엣 곡선과 각 키프레임의 교차점이 투영된 픽셀과 키프레임이 속한 조인트의 회전축 상에 인접한 다시점 입력 영상에 대응되는 이차원 실루엣이나 칼라에지와의 차분벡터가 최소가 되도록 표준모델의 해당 조인트의 관절 회전을 제어하는 것을 특징으로 하는 다시점 영상기반 동적 개체의 디지털 클론 생성 방법.

Images