KR102181161B1 - 영상 처리 방법 및 장치 - Google Patents

Abstract

일 실시예에 따른 영상 처리방법은 조종점들을 포함하는 3차원 얼굴 모델 및 얼굴 표정을 포함하는 2차원 스케치 영상을 획득하는 단계; 2차원 스케치 영상으로부터 조종점들에 대응하는 대응점들을 샘플링하는 단계; 대응점들을 3차원 얼굴 모델 상에 위치시키는 단계; 3차원 얼굴 모델 상에 위치된 대응점들 및 조종점들의 초기 위치에 기초하여, 조종점들을 재배치하는 단계; 및 재배치된 조종점들에 기초하여, 2차원 스케치 영상에 포함된 얼굴 표정에 대응하는 3차원 얼굴 모델을 렌더링하는 단계를 포함한다.

Description

영상 처리 방법 및 장치{IMAGE PROCESSING METHOD AND APPARATUS}

아래 실시예들은 영상 처리 방법 및 장치에 관한 것으로, 보다 구체적으로 손으로 그린 2차원 스케치 영상을 통하여 3차원 얼굴 모델의 표정을 조작하는 기법에 관한 것이다.

얼굴이란 캐릭터의 성격, 감정, 생각, 그리고 발화를 표현하는 가장 중요한 구성요소 중 하나다. 그렇기에 애니메이션, 영화, 그리고 삽화와 같은 다양한 시각 매체들이 캐릭터의 얼굴을 충실하게 묘사하려고 노력하는 건 당연스러운 일이다. 하지만 디지털 3차원 콘텐츠 제작 프로세스에 있어서, 고품질의 얼굴 표정을 3차원 얼굴 모델에 형상화하는 것은 쉬운 일이 아니다. 3차원 모델을 구성하는 수많은 다각형들을 직접적으로 조작하는 대신에, 디지털 아티스트들은 자기 편의를 위해 보통 '리그'라고 불리우는, 꼭두각시 인형 조종간의 디지털 버전을 만들고 활용한다. 리그의 모양이나 인터페이스는 움직일 수 있는 조종점(Control Point)이나 커브 또는 슬라이더의 형태를 띈다. 이것은 컴퓨터 시스템의 전통적인 그래피컬 사용자 인터페이스(Graphical User Interface, GUI)와 유사하나, 시각 예술을 다루기에 여전히 직관성이 부족하다.

아래에서 설명할 실시예들은 기존에 존재하는 3차원 얼굴 모델의 얼굴 표정을 손으로 그려진 2차원 스케치 영상을 통해 조작하는 프레임워크를 제안한다. 이로 인하여, 3차원 얼굴 모델의 조작을 행하는 보다 직관적인 방법을 제공하게 된다. 더 나아가, 실시예들은 프리 프로덕션 단계에서 이미 그려졌던 스토리보드라는, 애니메이션이나 영화의 시간적 흐름에 대한 프로토타입 스케치를 재활용하여 캐릭터의 빠른 사전시각화(Previsualization)를 가능하게 한다.

일 측에 따른 영상 처리 방법은 조종점들을 포함하는 3차원 얼굴 모델을 획득하는 단계; 얼굴 표정을 포함하는 2차원 스케치 영상을 획득하는 단계; 상기 2차원 스케치 영상으로부터 상기 조종점들에 대응하는 대응점들을 샘플링하는 단계; 상기 대응점들을 상기 3차원 얼굴 모델 상에 위치시키는 단계; 상기 3차원 얼굴 모델 상에 위치된 대응점들에 기초하여 결정되는 왜곡 항과 상기 조종점들의 초기 위치에 기초하여 결정되는 범위 항을 이용하여, 상기 조종점들을 재배치하는 단계; 및 상기 재배치된 조종점들에 기초하여, 상기 2차원 스케치 영상에 포함된 얼굴 표정에 대응하는 3차원 얼굴 모델을 렌더링하는 단계를 포함한다.

상기 2차원 스케치 영상은 사용자의 손그림을 포함할 수 있다.

상기 대응점들을 샘플링하는 단계는 상기 3차원 얼굴 모델에서 조종점을 포함하는 얼굴 부위의 형상 유형을 획득하는 단계; 상기 2차원 스케치 영상으로부터 상기 형상 유형의 도형을 추출하는 단계; 및 상기 얼굴 부위 내 상기 조종점의 위치에 기초하여, 상기 도형 내 대응점을 결정하는 단계를 포함할 수 있다.

상기 대응점들을 위치시키는 단계는 상기 3차원 얼굴 모델의 스케일과 상기 2차원 스케치 영상의 스케일 사이의 비율에 기초하여, 상기 3차원 얼굴 모델에서 상기 대응점들의 위치를 결정하는 단계를 포함할 수 있다.

상기 왜곡 항은 상기 대응점들의 위치와 상기 조종점들의 재배치된 위치 사이의 거리에 기초하여 결정되고, 상기 범위 항은 상기 조종점들의 초기 위치와 상기 조종점들의 재배치된 위치 사이의 거리에 기초하여 결정될 수 있다.

상기 조종점들을 재배치하는 단계는 상기 왜곡 항과 상기 범위 항에 기초하여 결정되는 목적 함수의 값이 임계치 이하가 되도록, 상기 조종점들의 재배치된 위치를 결정하는 단계를 포함할 수 있다.

상기 왜곡 항은 라플라시안 변형의 왜곡으로 정의될 수 있다. 상기 범위 항은 블렌드쉐입 모델의 변형 오차로 정의될 수 있다.

상기 조종점들을 재배치하는 단계는 상기 3차원 얼굴 모델을 변형하는 블렌드쉐입 가중치를 결정하는 단계; 및 상기 블렌드쉐입 가중치에 기초하여 사전 정의된 형상들에 포함된 조종점들의 위치를 가중 블렌딩 함으로써, 상기 조종점들의 재배된 위치를 결정하는 단계를 포함할 수 있다.

일 측에 따른 영상 처리 장치는 조종점들을 포함하는 3차원 얼굴 모델을 저장하는 메모리; 얼굴 표정을 포함하는 2차원 스케치 영상을 수신하는 입력 인터페이스; 상기 2차원 스케치 영상으로부터 상기 조종점들에 대응하는 대응점들을 샘플링하고, 상기 대응점들을 상기 3차원 얼굴 모델 상에 위치시키며, 상기 3차원 얼굴 모델 상에 위치된 대응점들에 기초하여 결정되는 왜곡 항과 상기 조종점들의 초기 위치에 기초하여 결정되는 범위 항을 이용하여 상기 조종점들을 재배치하고, 상기 재배치된 조종점들에 기초하여 상기 2차원 스케치 영상에 포함된 얼굴 표정에 대응하는 3차원 얼굴 모델을 렌더링하는 프로세서를 포함한다.

상기 프로세서는 상기 대응점들을 샘플링하기 위하여, 상기 3차원 얼굴 모델에서 조종점을 포함하는 얼굴 부위의 형상 유형을 획득하고, 상기 2차원 스케치 영상으로부터 상기 형상 유형의 도형을 추출하며, 상기 얼굴 부위 내 상기 조종점의 위치에 기초하여, 상기 도형 내 대응점을 결정할 수 있다.

상기 프로세서는 상기 대응점들을 위치시키기 위하여, 상기 3차원 얼굴 모델의 스케일과 상기 2차원 스케치 영상의 스케일 사이의 비율에 기초하여, 상기 3차원 얼굴 모델에서 상기 대응점들의 위치를 결정할 수 있다.

상기 왜곡 항은 상기 대응점들의 위치와 상기 조종점들의 재배치된 위치 사이의 거리에 기초하여 결정되고, 상기 범위 항은 상기 조종점들의 초기 위치와 상기 조종점들의 재배치된 위치 사이의 거리에 기초하여 결정될 수 있다.

상기 프로세서는 상기 조종점들을 재배치하기 위하여, 상기 왜곡 항과 상기 범위 항에 기초하여 결정되는 목적 함수의 값이 임계치 이하가 되도록, 상기 조종점들의 재배치된 위치를 결정할 수 있다.

상기 프로세서는 상기 3차원 얼굴 모델을 변형하는 블렌드쉐입 가중치를 결정하고, 상기 블렌드쉐입 가중치에 기초하여 사전 정의된 형상들에 포함된 조종점들의 위치를 가중 블렌딩 함으로써, 상기 조종점들의 재배된 위치를 결정할 수 있다.

도 1은 일 실시예에 따른 시스템의 개요도.
도 2는 일 실시예에 따른 조종점의 배치를 설명하는 도면.
도 3은 일 실시예에 따른 외곽선 형태들을 설명하는 도면
도 4는 일 실시예에 따른 조종점의 샘플링을 설명하는 도면.
도 5는 일 실시예에 따른 대응점들을 3차원 얼굴 모델로 변환하는 방법을 설명하는 도면.
도 6은 일 실시예에 따른 2차원 스케치 영상의 디테일을 보존하는 방법을 설명하는 도면.
도 7은 일 실시예에 따른 블렌드쉐입 가중치의 권장 범위를 설명하는 도면.
도 8은 일 실시예에 따른 범위 함수를 설명하는 도면.
도 9 내지 도 15는 실시예들에 따라 생성된 3차원 얼굴 모델들을 도시한 도면들.

본 명세서에서 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실시예들은 다양한 다른 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.

제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

아래에서 설명할 실시예들은 3차원 얼굴 모델의 얼굴 표정을 2차원 스케치 영상(예를 들어, 손 그림)을 이용하여 조작하는 전체 프레임워크를 제안한다. 본 프레임워크는 별도의 단일 2차원 캔버스에서 손으로 그려진 스케치를 입력으로 받는다. 본 프레임워크는 그림 상의 얼굴 부위 간의 상대적 위치와 크기를 보존하여 3차원 모델에 반영할 수 있다. 예를 들어, 사용자는 왼쪽 눈을 오른쪽을 기준으로 상대적으로 다른 크기와 위치가 되도록 지시할 수 있다. 본 프레임워크는 인간이 그린 그림의 부정확함에 대해 블렌드쉐입 3차원 얼굴 모델의 변형 가능한 범위를 따르도록 적절히 조절하여 매핑한다. 이로 인하여, 쉽게 부정확해질 수 있는 인간이 그린 스케치를 적절히 해석할 수 있다.

도 1은 일 실시예에 따른 시스템의 개요도이다. 도 1을 참조하면, 일 실시예에 따른 프레임워크는 다음의 단계들을 포함한다.

- 3차원 얼굴 모델에 조종점을 사전 정의하기

- 2차원 스케치 영상(예를 들어, 손 그림) 입력 받기

- 2차원 스케치 영상으로부터 각 조종점에 대응하는 대응점 추출하기

- 대응점을 따라가도록 조종점을 재배치하기

- 블렌드쉐입 가중치를 계산함으로써 얼굴 모델 변형하기: 재배치된 조종점대로 얼굴 모델 형상을 변형하는 블렌드쉐입 가중치를 계산하고, 계산된 가중치를 반영하여 조종점대로 얼굴 모델 형상을 변형

조종점 사전 정의하기

3차원 얼굴 모델을 조작하기 이전에, 본 시스템은 눈과 입과 같은 얼굴 부위가 3차원 모델의 어디에 위치해 있는지를 알아야만 한다. 이 시스템에서, 3차원 얼굴 모델의 조종점들이 사전 배치되어야 한다. 각각의 조종점은 모델 상의 특정한 위치에 배치될 수 있다. 예를 들어, 도 2를 참조하면, 입에 대한 가장 왼쪽 끝 조종점 c₁은 3차원 얼굴 모델의 왼쪽 끝에 배치해야 한다. 일 실시예에 다르면, 각각의 조종점은 정사영법(Orthographic Projection)에 의해 3차원 모델 표면상의 특정 지점을 가리킬 수 있다. 가리킨 지점을 한번 등록하고 나면, 조종점은 자유로이 이동될 수 있다. 본 프레임워크는 등록된 지점이 새롭게 가리킨 위치를 따라가도록 모델을 변형할 수 있다.

도 2(a)를 참조하면, 일 실시예에 따른 조종점은 MPEG-4 얼굴 특징점들의 부분 집합으로 정의될 수 있다. 예를 들어, 부분 집합은 얼굴 외곽선, 두 눈썹, 두 눈, 코, 그리고 입을 포함할 수 있다. 물론 설계에 따라 조종점을 더 추가할 수도 있다. 도 2(b)를 참조하면, 조종점이 배치된 예시가 도시된다. 도 2(c)를 참조하면, 순번을 붙인 입술 영역에 대한 확대 그림이 도시된다.

그림 입력받기

2차원 스케치 영상은 각 얼굴 부위의 외곽선을 포함할 수 있다. 사용자는 2차원 스케치 영상을 통하여 원하는 얼굴 표정의 형상을 지시할 수 있다. 본 프레임워크는 3차원 얼굴 모델의 형상이 2차원 스케치 영상에 포함된 각 얼굴 부위의 외곽선을 따르도록 변형할 수 있다.

일 실시예에 따르면, 다음 두 종류의 형상이 고려될 수 있다.

- 수평으로 뻗은 곡선

- 가로로 길쭉한 원

도 3을 참조하면, 이들 형상은 손그림에서 공통적으로 관찰될 수 있다. 예를 들어, 도 3(a)를 참조하면, 수평으로 뻗은 곡선은 닫힌 입술과 눈, 눈썹, 그리고 코를 표현할 수 있다. 또한, 도 3(b)를 참조하면, 가로로 길쭉한 원은 열린 입술과 눈, 그리고 때때로는 눈썹도 표현할 수 있다.

일 실시예에 따른 2차원 스케치 영상의 스타일은 다음의 제약사항을 가질 수 있다. 첫째, 정면을 그린 그림만이 허용된다. 둘째, 각 얼굴 부위는 한 획으로만 그려져야 한다. 마지막으로, 스케치에는 원근감 효과가 없어야 한다. 본 프레임워크는 그림이 평면적이라고 가정한다. 물론 전술한 제약사항들은 구현 및 설계 방식에 따라 생략될 수 있다.

대응점 샘플링하기

사용자가 그린 획의 궤적은 사용자가 원하는 형상을 지시한다. 그러나 본 프레임워크에서의 실제 변형은 이동 가능한 조종점을 통해서 제어하게 된다. 궤적과 조종점을 연관시키기 위해서는, 각 조종점에 대응시킬 적절한 점을 사용자가 그린 궤적으로부터 추출하는 과정을 선행해야 한다.

도 4를 참조하면, 관심있는 조종점 c에 대응하는 점 t_bottom를 사용자가 그린 궤적에서 어떻게 얻어낼 수 있는지를 보여준다. 먼저, 가상의 수평선에 점들을 사영(Projection)한다. 가장 최좌측 및 최우측 조종점(c_left 및 c_right), 그리고 관심있는 조종점 c를 수평선 H_C에 사영한다. 똑같은 방식으로, 최좌측 및 최우측궤적점(t_left 및 t_right)을 또 다른 수평선 H_T에 사영한다. 파라메트릭(Parametric) 비율 α를 다음과 같이 계산할 수 있다.

여기서 ^c, ^c_left, 및 ^c_right는 각각 c, c_left, 및 c_right의 사영된 점이다. 본 비율은 ^c_left에서부터 ^c_right까지의 범위에서 ^c의 상대적 거리를 나타낸다. 이 때, 대응하는 사영된 점 ^t을 직선 H_T 위에서 다음과 같이 정의할 수 있다:

여기서 ^t_left 및 ^t_right는 각각 t_left 및 t_right의 사영된 점이다. 본 수식은 ^t_left와 ^t_right 사이에서 α에 위치한 점 ^t를 찾는다.

이 지점에서, H_T에 수직이면서도 사영된 점 ^t를 지나는 수직선 V_^t를 그릴 수 있다. 이 수직선은 사용자가 그린 궤적을 지나가면서 몇 개의 교차점을 만들 것이다. 이들 교차점 중에서, 최상단 및 최하단 점을 추출한다(t_top 및 t_bottom). 이들 점은 대응점의 후보들이다.

조종점은 유일하기에, 대응점 또한 이들 후보 중에서 골라내야 한다. 만약에 c가 얼굴 부위에서 위쪽에 해당한다면, t_top를 대응점으로 삼는 것이 적절할 것이다. 유사하게, c가 얼굴 부위에서 아래쪽에 해당한다면 t_bottom를 대응점으로 삼을 수도 있을 것이다. 예를 들면, 도 4에서 c는 입의 아래쪽에 해당하므로, t_bottom를 대응점으로 삼는 게 합리적이다. 하지만 만약에 얼굴 부위가 수평으로 뻗은 곡선으로 표상된다면, 위쪽이나 아래쪽과 같은 개념이 없을 수도 있다. 이러한 경우에는 두 후보점의 중간을 대응점으로 삼는다.

조종점 재배치하기

각 조종점마다 대응점을 찾을 수 있다. 이들 대응점들은 사용자가 원하는 조종점의 새로운 위치를 가리킨다. 이 단계에서, 조종점들은 짝지어진 대응점의 위치로 재배치되어야 한다.

재배치의 첫 번째 단계는 3차원 얼굴 모델 위로 대응점들을 옮기는 것이다. 이는 대응점과 조종점 각각의 최외곽이라고 할 수 있는 얼굴 외곽선의 위치를 맞춤으로써 가능하다. 도 5에 제시된 바와 같이, 대응점과 조종점의 집합 각각에 대해 축이 정렬된 경계 상자(Axis-aligned Bounding Box)를 계산할 수 있다. 그 다음, 경계 상자 B 안의 대응점 t는 조종점의 경계 상자 B' 안으로 다음과 같이 옮겨질 수 있다:

여기서 b₀ 및 b₁, 그리고 b₀' 및 b₁'는 B와 B' 중 해당하는 경계 상자의 범위를 나타낸다.

B' 내에서 각각의 조종점은 짝지어진 대응점의 위치로 재배치될 수 있다. 하지만 엄격하게 위치를 따르는 것은 디테일의 손실을 야기할 수 있는데, 그 이유는 인간의 그림은 표정의 표현 범위를 고려하지 않기 때문이다. 모든 블렌드쉐입 모델은 그만의 최대 변형 가능한 범위가 있다. 해당 모델의 얼굴 표정은 이 범위에 제약을 받는다.

도 6은 디테일을 잃게 되는 사례를 보여준다. 눈썹의 조종점이 도달하기에 너무 높은 곳에 위치하고 있다. 그 결과, 눈썹은 최대한 위로 끌어올려져 손 그림에서 의도했던 휘어진 모양이 사라진다. 도 6(a)를 참조하면, 재배치된 조종점들은 모델의 표현 범위를 벗어나 있다. 그 결과, 눈썹의 세부적인 형태가 납작한 형태로 손실된다. 도 6(b)를 참조하면, 실시예들에 따른 최적화 방법을 통하여 조종점의 위치를 표현 범위 내로 조정시킬 수 있다. 그 결과, 눈썹의 세부적인 형태가 보존된다.

그러므로, 조종점을 재배치함과 동시에 표현 범위도 고려해야 한다. 본 프레임워크에서, 이 문제는 최적화 문제로 수식화함으로써 풀게 된다. 조종점들의 초기 위치들 C = {c₁, ..., c_n} 그리고 스케치에서 대응하는 위치로 옮겨진 조종점들 T' = {t₁', ..., t_n'}에 대해, 적절하게 재배치된 조종점들 C' = {c₁', ..., c_n'}을 다음의 수식을 최적화함으로써 찾을 수 있다:

여기서 E_d는 왜곡 항을 나타내고, E_r는 범위 항을 나타내며, ω_d 및 ω_r는 각각의 항의 가중치이다. 왜곡 항은 C' 점들의 상대적 배치가 사용자가 그린 형상 T'로부터 얼마나 왜곡되었는가를 잰다. 범위 항은 C' 점들이 표현 범위를 얼마나 벗어났는가를 잰다. 두 항의 합을 최소화함으로써, 조종점들 C' 은 사용자가 그린 형상의 상대적 배치를 보존하면서도 표현 범위 또한 고려하는 균형된 지점에 재배치된다.

왜곡 항

재배치된 조종점과 사용자가 그린 대응점 사이의 상대적 배치상의 오차를 재기 위해, 라플리사안 변형이 이용될 수 있다. 라플라시안 변형은 전체적인 변형을 야기하면서도 국소적 디테일은 보존하는 성질이 있는데, 이는 사용자가 의도한 직관적인 변형을 가능케 한다. 본 프레임워크에서, T'에 대해 들로네 삼각분할을 수행하여 라플리시안 계산을 위한 변형 그래프(Deformable Graph)를 점들로부터 생성한다. 이처럼 망(Mesh) 구조를 생성한 다음, 다음과 같이 라플라시안 변형의 왜곡을 잴 수 있다:

여기서 F_i(C')는 점 t_i'과 c_i' 사이의 라플라시안 차를 회전, 스케일, 그리고 평행이동을 통해 최소화시키는 C'의 변환(Transform)이다. 간단히 정리하면, 본 왜곡 항은 점 t_i'과 c_i' 사이의 라플라시안 거리를 계산한다.

범위 항

범위 항을 소개하기 전에, 블렌드쉐입 얼굴 모델을 간략하게 설명한다. 블렌드쉐입 모델에는 몇 개의 사전 정의된 형상 또는 얼굴 표정들이 있다. 모델의 최종 형상은 이들 사전 정의된 형상들 각각에 주어진 가중치를 따르는 가중 블렌딩(Weighted Blending)에 의해 결정된다. 가중치는 각각의 형상에 대해 할당되며, 0.0 (블렌딩 없음, 또는 무표정)에서 1.0 (최대 블렌딩) 사이의 값을 가질 수 있다.

일반적으로, 아티스트는 각각의 사전정의된 형상을 모델이 지을 수 있는 최대한의 형상으로 만든다, 그러므로, 1.0을 초과하는 가중치 값은 아티스트가 의도하지 않았던 형상을 만들어낼 수 있다. 음수 값 또한 비현실적인 왜곡을 일으킬 수 있어 권장되지 않는다. 예를 들어, 도 7을 참조하면, -0.5의 가중치는 입술이 관통된 결과를 나타내고, 1.5의 가중치는 물리적으로 불가능할 정도의 열린 입을 생성할 수 있다. 그러므로, 0.0에서 1.0 사이의 값이 권장된다고 할 수 있다.

따라서 본 프레임워크는 블렌드쉐입 가중치를 바람직한 표현 범위로서 활용한다. j번째 블렌드쉐입의 가중치 w_j가 주어졌을 때, 다음의 함수 s(w_j, γ)는 바람직한 범위로부터의 오차를 계산한다;

여기서 γ는 평탄화(Smoothing) 인수로, 변화의 완만함을 제어할 수 있다. 본 함수의 개형이 도 8에 제시되어 있다. 이 함수는 smooth-max 함수를 두 개 합친 것이다.

최종적으로, 범위 항은 다음과 같이 세울 수 있다:

여기서 k는 블렌드쉐입 모델에 사전정의된 형상의 갯수이며, w = [w_{1 ...} w_k]^T는 조종점 c_i을 c_i'의 위치로 재배치하도록 만드는 블렌드쉐입 가중치 벡터이다. 블렌드쉐입 가중치 벡터의 계산은 다음 섹션에서 제안하는 방법과 동일하나, 다만 계산 과정에서 가중치 범위(0.0에서 1.0까지)의 제한이 없도록 한다.

블렌드쉐입 가중치 계산하기

조종점을 따르도록 모델의 형상을 변형하기 위해, 적절한 블렌드쉐입 가중치를 구해야만 한다.

이전 섹션에서 서술한 바와 같이, 블렌드쉐입 모델의 최종 형상은 가중 블렌딩에 의해 결정된다. 달리 말하면, i번째 버텍스의 최종 위치는 사전정의된 형상들 중에서 해당되는 버텍스 위치들의 가중 블렌딩으로 결정된다. 이는 다음과 같이 수식화할 수 있다:

여기서 f_i ^(j) = [f_ix ^(j) f_iy ^(j)]^T는 j번째 사전정의된 형상에서(단, 0번째는 무표정 형상) i번째 버텍스의 위치를 나타낸다. w_j는 j번째 사전정의된 형상의 가중치이다. 그리고 m_i ^(j) = [m_ix ^(j) m_iy ^(j)]^T는 i번째 버텍스 위치에 대한 무표정 형상에서 j번째 형상으로의 변위(Displacement)이다. 이 때 버텍스 위치에서 x 및 y축 성분만을 사용함을 일러 둔다. 위 식은 다음의 행렬 꼴로도 나타낼 수 있다:

복수의 버텍스들을 한꺼번에 고려해야 한다면 행렬 꼴을 쌓을 수도 있다. 다음의 수식은 1번째부터 i번째 버텍스까지 고려하도록 쌓은 수식 f = f ⁽⁰⁾ + Mw이다:

이 수식으로부터, i번째 버텍스를 원하는 위치 f_i에 배치하는 블렌드쉐입 가중치 벡터 w를 다음과 같이 구할 수 있다:

여기서 β는 정규화 항의 가중치이다. 정규화 항은 가중치들을 0에 가깝게 하도록 만들어줌으로써, 사용자의 개입이 없을 때 최종 형상이 무표정 형상으로 수렴하도록 한다.

Equation 11은 다양한 방법으로 풀 수 있다. 최종 단계의 변형을 위해 Box-constrained BFGS Optimizer를 사용하여 가중치가 0.0에서 1.0 사이 범위 내에 강제로 들어오도록 하였다. 한편, 직전 섹션에 서의 범위 항을 계산할 때는 제약 없는 선형 최소자승법(Least Squares Method)을 다음과 같이 사용하여 최적화하였다:

전술한 것과 같이, 실시예들은 주어진 3차원 얼굴 모델의 얼굴 표정을 손 그림 스케치를 통해 조작하는 프레임워크를 제안한다. 본 프레임워크의 구현은 그리기 모듈 그리고 3차원 조작 모듈이라는 두 개의 모듈로 분리되어 이루어질 수 있다. 그리기 모듈은 사용자에게 그리기 인터페이스를 제공한다. 일 실시예에 따르면, 그리기 모듈은 Python과 OpenCV를 통해 구현될 수 있고, 2차원 손 그림을 입력 받고 보관한다. 사용자가 그리기 모듈에서 그림을 완성하면, 그려진 궤적은 UDP 소켓 통신을 통해 3차원 조작 모듈로 전송될 수 있다. 3차원 조작 모듈은 입력 그림을 받는 작업 외의 나머지 동작들을 수행할 수 있다. 3차원 조작 모듈은 C#, Unity Engine 및 Math.NET Numerics을 통해 3차원 공간상에서 조종점을 재배치하고 얼굴 모델을 변형하도록 구현될 수 있다. 본 프레임워크는 병렬 프로그래밍으로 최적화될 수 있다.

도 9 및 도 10은 제안된 프레임워크를 통해 생성된 3차원 얼굴 표정들을 도시한다. 도 11은 웃는 얼굴을 그린 다양한 손 그림으로부터 생성된 3차원 얼굴 표정들을 도시한다. 도 12는 화난 얼굴을 그린 다양한 손 그림으로부터 생성된 3차원 얼굴 표정들을 도시한다. 도 13은 윙크하는 얼굴을 그린 다양한 손 그림으로부터 생성된 3차원 얼굴 표정들을 도시한다. 도 14는 표정에 제약없이 그린 다양한 손 그림으로부터 생성된 3차원 얼굴 표정들을 도시한다. 도 15는 아티스트(예를 들어, Loomis)의 작품을 토대로 한 손 그림으로부터 생성된 3차원 얼굴 표정들을 도시한다.

전술한 예시들에서 가정한 제약사항들은 추가적인 설계를 통하여 보완될 수 있다. 예를 들어, 도 10에서 확인할 수 있듯, 실제 사람은 종종 코를 수직선으로 그린다. 만약 래스터화된(Rasterized) 이미지를 입력으로 받을 수 있다면, 형상과 획에 대한 제약을 없앨 수 있다. 이 때 휴리스틱한 대응점 샘플 알고리즘을 대신하여 이미지 등록(Image Registration)과 표지점 탐지(Landmark Point Detection)과 같은 비전 처리 기술을 도입함으로써 래스터화된 이미지에 대해서도 처리가 가능하다.

또한, 주름살과 음영과 같은 부가적인 단서들을 처리 과정에서 고려한다면 깊이와 관한 정보까지 취급할 수 있다. 또한, 사람의 얼굴은 모델을 막론하고 공통된 구조를 갖고 있으므로, 각 얼굴 부위에 대해서 조종점의 위치를 자동으로 찾을 수 있다. 또한 주어진 모델에서 제공하는 블렌드쉐입 형상의 갯수가 표현의 다양성을 결정하기에, 이로부터 조종점의 필요한 갯수 또한 자동적으로 결정할 수 있다.

전술한 실시예들은 스토리보드를 스캔한 그림으로부터 조종점에 대응하는 점들을 검출함으로써, 스토리 보드로부터 자동으로 얼굴을 리깅하는 어플리케이션에 활용될 수 있다. 이러한 어플리케이션은 프로덕션 현장에서 사전시각화 단계에 소요되는 시간을 단축시킬 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (17)

1. 조종점들을 포함하는 3차원 얼굴 모델을 획득하는 단계;
   얼굴 표정을 포함하는 2차원 스케치 영상을 획득하는 단계;
   상기 2차원 스케치 영상으로부터 상기 조종점들에 대응하는 대응점들을 샘플링하는 단계;
   상기 대응점들을 상기 3차원 얼굴 모델 상에 위치시키는 단계;
   상기 3차원 얼굴 모델 상에 위치된 대응점들에 기초하여 결정되는 왜곡 항과 상기 조종점들의 초기 위치에 기초하여 결정되는 범위 항을 이용하여, 상기 조종점들을 재배치하는 단계; 및
   상기 재배치된 조종점들에 기초하여, 상기 2차원 스케치 영상에 포함된 얼굴 표정에 대응하는 3차원 얼굴 모델을 렌더링하는 단계
   를 포함하고,
   상기 조종점들을 재배치하는 단계는
   상기 3차원 얼굴 모델을 변형하는 블렌드쉐입 가중치를 결정하는 단계; 및
   상기 블렌드쉐입 가중치에 기초하여 사전 정의된 형상들에 포함된 조종점들의 위치를 가중 블렌딩 함으로써, 상기 조종점들의 재배된 위치를 결정하는 단계
   를 포함하고,
   상기 블렌드쉐입 가중치는,
   상기 3차원 얼굴 모델의 최대 변형 가능한 범위 내에서 결정되는,
   영상 처리 방법.
   
2. 제1항에 있어서,
   상기 2차원 스케치 영상은
   사용자의 손그림을 포함하는,
   영상 처리 방법.
   
3. 제1항에 있어서,
   상기 대응점들을 샘플링하는 단계는
   상기 3차원 얼굴 모델에서 조종점을 포함하는 얼굴 부위의 형상 유형을 획득하는 단계;
   상기 2차원 스케치 영상으로부터 상기 형상 유형의 도형을 추출하는 단계; 및
   상기 얼굴 부위 내 상기 조종점의 위치에 기초하여, 상기 도형 내 대응점을 결정하는 단계
   를 포함하는,
   영상 처리 방법.
   
4. 제1항에 있어서,
   상기 대응점들을 위치시키는 단계는
   상기 3차원 얼굴 모델의 스케일과 상기 2차원 스케치 영상의 스케일 사이의 비율에 기초하여, 상기 3차원 얼굴 모델에서 상기 대응점들의 위치를 결정하는 단계
   를 포함하는,
   영상 처리 방법.
   
5. 제1항에 있어서,
   상기 왜곡 항은 상기 대응점들의 위치와 상기 조종점들의 재배치된 위치 사이의 거리에 기초하여 결정되고, 상기 범위 항은 상기 조종점들의 초기 위치와 상기 조종점들의 재배치된 위치 사이의 거리에 기초하여 결정되는,
   영상 처리 방법.
   
6. 제5항에 있어서,
   상기 조종점들을 재배치하는 단계는
   상기 왜곡 항과 상기 범위 항에 기초하여 결정되는 목적 함수의 값이 임계치 이하가 되도록, 상기 조종점들의 재배치된 위치를 결정하는 단계
   를 포함하는,
   영상 처리 방법.
   
7. 제1항에 있어서,
   상기 왜곡 항은
   라플라시안 변형의 왜곡으로 정의되는,
   영상 처리 방법.
   
8. 제1항에 있어서,
   상기 범위 항은
   블렌드쉐입 모델의 변형 오차로 정의되는,
   영상 처리 방법.
   
9. 삭제
10. 하드웨어와 결합되어 제1항 내지 제8항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
    
11. 조종점들을 포함하는 3차원 얼굴 모델을 저장하는 메모리;
    얼굴 표정을 포함하는 2차원 스케치 영상을 수신하는 입력 인터페이스;
    상기 2차원 스케치 영상으로부터 상기 조종점들에 대응하는 대응점들을 샘플링하고, 상기 대응점들을 상기 3차원 얼굴 모델 상에 위치시키며, 상기 3차원 얼굴 모델 상에 위치된 대응점들에 기초하여 결정되는 왜곡 항과 상기 조종점들의 초기 위치에 기초하여 결정되는 범위 항을 이용하여 상기 조종점들을 재배치하고, 상기 재배치된 조종점들에 기초하여 상기 2차원 스케치 영상에 포함된 얼굴 표정에 대응하는 3차원 얼굴 모델을 렌더링하는 프로세서
    를 포함하고,
    상기 프로세서는
    상기 3차원 얼굴 모델을 변형하는 블렌드쉐입 가중치를 결정하고, 상기 블렌드쉐입 가중치에 기초하여 사전 정의된 형상들에 포함된 조종점들의 위치를 가중 블렌딩 함으로써, 상기 조종점들의 재배된 위치를 결정하고,
    상기 블렌드쉐입 가중치는,
    상기 3차원 얼굴 모델의 최대 변형 가능한 범위 내에서 결정되는,
    영상 처리 장치.
    
12. 제11항에 있어서,
    상기 프로세서는
    상기 대응점들을 샘플링하기 위하여,
    상기 3차원 얼굴 모델에서 조종점을 포함하는 얼굴 부위의 형상 유형을 획득하고, 상기 2차원 스케치 영상으로부터 상기 형상 유형의 도형을 추출하며, 상기 얼굴 부위 내 상기 조종점의 위치에 기초하여, 상기 도형 내 대응점을 결정하는,
    영상 처리 장치.
    
13. 제11항에 있어서,
    상기 프로세서는
    상기 대응점들을 위치시키기 위하여,
    상기 3차원 얼굴 모델의 스케일과 상기 2차원 스케치 영상의 스케일 사이의 비율에 기초하여, 상기 3차원 얼굴 모델에서 상기 대응점들의 위치를 결정하는,
    영상 처리 장치.
    
14. 제11항에 있어서,
    상기 왜곡 항은 상기 대응점들의 위치와 상기 조종점들의 재배치된 위치 사이의 거리에 기초하여 결정되고, 상기 범위 항은 상기 조종점들의 초기 위치와 상기 조종점들의 재배치된 위치 사이의 거리에 기초하여 결정되는,
    영상 처리 장치.
    
15. 제14항에 있어서,
    상기 프로세서는
    상기 조종점들을 재배치하기 위하여,
    상기 왜곡 항과 상기 범위 항에 기초하여 결정되는 목적 함수의 값이 임계치 이하가 되도록, 상기 조종점들의 재배치된 위치를 결정하는,
    영상 처리 장치.
    
16. 제11항에 있어서,
    상기 왜곡 항은 라플라시안 변형의 왜곡으로 정의되고,
    상기 범위 항은 블렌드쉐입 모델의 변형 오차로 정의되는,
    영상 처리 장치.
    
17. 삭제

Images