KR102013928B1

KR102013928B1 - 영상 변형 장치 및 그 방법

Info

Publication number: KR102013928B1
Application number: KR1020120156999A
Authority: KR
Inventors: 김도완; 알렉산더 리모노프; 이진성; 정길수
Original assignee: 삼성전자주식회사
Priority date: 2012-12-28
Filing date: 2012-12-28
Publication date: 2019-08-23
Also published as: EP2750100A3; WO2014104521A1; EP2750100A2; US9195881B2; CN103916588B; CN103916588A; KR20140086463A; US20140185939A1

Abstract

영상 변형 장치가 개시된다. 본 영상 변형 장치는 사용자 이미지 및 레퍼런스 이미지로부터 얼굴 영역의 특징점 및 얼굴의 각도 정보를 검출하는 검출부, 검출된 각도 정보를 이용하여 사용자 이미지 또는 레퍼런스 이미지의 특징점을 보정하는 특징점 보정부, 보정된 특징점을 이용하여 사용자 이미지 및 레퍼런스 이미지에 포함된 얼굴 특징을 비교하는 얼굴 분석부 및 얼굴 특징에 대한 비교 결과를 이용하여 사용자 이미지를 변형하는 영상 변형부를 포함한다.

Description

영상 변형 장치 및 그 방법{IMAGE TRANSFORMATION APPARATUS AND THE METHOD}

본 발명은 영상 변형 장치 및 그 방법에 관한 것으로, 보다 상세하게는 사용자 이미지를 변형시키는 영상 변형 장치 및 그 방법에 관한 것이다.

최근 SNS(Social Network Service) 등 인터넷을 통한 커뮤니티가 급속도로 발전하는 추세에 있다. 사용자들이 SNS에 자신 또는 친구들의 사진을 업로드 할 때 보다 예쁘게 보이기 위하여 업로드할 이미지를 변형하는 경우가 많다.

기존의 영상 변형 방법은 사용자가 직접 입력하여 이미지에 변형을 가하거나, 얼굴의 각 부위별로 변형하는 등 사용자에게 많은 조작을 요구하고 있다. 그러나, 영상 변형이 익숙하지 않은 일반적인 사용자는 변형할 포인트와 변형 정도를 결정하는데 어려움을 겪을 수 있다. 이에 따라, 사용자가 보다 쉽게 영상을 변형할 수 있는 방안이 요청된다.

본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 영상 변형이 익숙하지 않은 일반적인 사용자가 쉽게 영상 변형을 수행할 수 있도록 레퍼런스 이미지를 이용하는 영상 변형 장치 및 그 방법을 제공함에 있다.

이상의 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 영상 변형 장치는, 사용자 이미지 및 레퍼런스 이미지로부터 얼굴 영역의 특징점 및 얼굴의 각도 정보를 검출하는 검출부, 상기 검출된 각도 정보를 이용하여 상기 사용자 이미지 또는 레퍼런스 이미지의 특징점을 보정하는 특징점 보정부, 상기 보정된 특징점을 이용하여 상기 사용자 이미지 및 상기 레퍼런스 이미지에 포함된 얼굴 특징을 비교하는 얼굴 분석부 및 상기 얼굴 특징에 대한 비교 결과를 이용하여 상기 사용자 이미지를 변형하는 영상 변형부를 포함한다.

여기서, 상기 특징점 보정부는, 상기 사용자 이미지 및 상기 레퍼런스 이미지의 얼굴 각도가 서로 일치되도록 상기 사용자 이미지 또는 레퍼런스 이미지의 특징점을 보정할 수 있다.

또한, 상기 얼굴 분석부는, 상기 사용자 이미지에 포함된 특징점 간의 거리 및 상기 레퍼런스 이미지에 포함된 특징점 간의 거리를 비교하여 차이를 산출할 수 있으며, 상기 영상 변형부는, 상기 산출된 상대적 거리의 차이에 기초하여 상기 사용자 이미지의 특징점을 변형할 수 있다.

그리고, 상기 얼굴 특징은, 눈 형태, 코 형태, 입 형태 및 턱선 형태 중 적어도 하나를 포함할 수 있다.

그리고, 상기 영상 변형 장치는 사용자 정보에 기초하여 적어도 하나의 레퍼런스 이미지를 추천하는 이미지 추천부 및 상기 추천된 레퍼런스 이미지 중 적어도 하나를 선택하기 위한 사용자 명령을 입력받는 입력부를 더 포함할 수 있다.

여기서, 상기 이미지 추천부는, 사용자의 성별, 연령, 사용자 이미지 분석 결과, 사용자의 일정, 사용자의 이미지 변형 의도 및 사용자의 현재 위치 중 적어도 하나에 기초하여 상기 레퍼런스 이미지를 추천할 수 있다.

그리고, 상기 사용자 이미지 및 상기 레퍼런스 이미지는 2D 이미지일 수 있다.

한편, 본 발명의 일 실시 예에 따른 영상 변형 방법은, 사용자 이미지 및 레퍼런스 이미지로부터 얼굴 영역의 특징점 및 얼굴의 각도 정보를 검출하는 단계, 상기 검출된 각도 정보를 이용하여 상기 사용자 이미지 또는 레퍼런스 이미지의 특징점을 보정하는 단계, 상기 보정된 특징점을 이용하여 상기 사용자 이미지 및 상기 레퍼런스 이미지에 포함된 얼굴 특징을 비교하는 단계 및 상기 얼굴 특징에 대한 비교 결과를 이용하여 상기 사용자 이미지를 변형하는 단계를 포함할 수 있다.

여기서, 상기 특징점을 보정하는 단계는, 상기 사용자 이미지 및 상기 레퍼런스 이미지의 얼굴 각도가 서로 일치되도록 상기 사용자 이미지 또는 레퍼런스 이미지의 특징점을 보정할 수 있다.

또한, 상기 얼굴 특징을 비교하는 단계는, 상기 사용자 이미지에 포함된 특징점 간의 거리 및 상기 레퍼런스 이미지에 포함된 특징점 간의 거리를 비교하여 차이를 산출하는 단계를 포함할 수 있으며, 상기 사용자 이미지를 변형하는 단계는, 상기 산출된 상대적 거리의 차이에 기초하여 상기 사용자 이미지의 특징점을 변형하는 단계를 포함할 수 있다.

그리고, 상기 영상 변형 방법은 사용자 정보에 기초하여 적어도 하나의 레퍼런스 이미지를 추천하는 단계 및 상기 추천된 레퍼런스 이미지 중 적어도 하나를 선택하기 위한 사용자 명령을 입력받는 단계를 더 포함할 수 있다.

여기서, 상기 이미지를 추천하는 단계는, 사용자의 성별, 연령, 사용자 이미지 분석 결과, 사용자의 일정, 사용자의 이미지 변형 의도 및 사용자의 현재 위치 중 적어도 하나에 기초하여 상기 레퍼런스 이미지를 추천할 수 있다.

여기서, 상기 사용자 이미지 및 상기 레퍼런스 이미지는 2D 이미지일 수 있다.

이상과 같은 본 발명의 다양한 실시 예에 따르면, 영상 변형 장치의 사용자는 영상 변형에 특별한 지식이 없더라도 쉽게 영상 변형을 수행할 수 있게 된다.

도 1은 본 발명의 일 실시 예에 따른 영상 변형 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 특징점 검출 결과를 나타내는 도면이다.
도 3은 본 발명의 일 실시 예에 따른 얼굴 분석부의 구체적인 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 얼굴 변형과정을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시 예에 따른 영상 변형 장치의 구성을 나타내는 블럭도이다.
도 6은 본 발명의 일 실시 예에 따른 영상 변형 방법을 설명하기 위한 흐름도이다.

이하에서, 첨부된 도면을 참조하여 본 발명에 대해 구체적으로 설명한다.

도 1은 본 발명의 일 실시 예에 따른 영상 변형 장치의 구성을 나타내는 도면이다. 도 1에 따르면 영상 변형 장치(100)는 검출부(110), 특징점 보정부(120), 얼굴 분석부(130) 및 영상 변형부(140)를 포함한다. 이러한 영상 변형 장치는 스마트 폰, TV, 노트북 PC, 테블릿 PC, 전자 책, 전자 액자, 키오스크 등과 같은 다양한 장치로 구현될 수 있다.

검출부(110)는 사용자 이미지 및 레퍼런스 이미지로부터 얼굴 영역의 특징점 및 얼굴의 각도 정보를 검출한다. 여기서, 사용자 이미지 및 레퍼런스 이미지는 모두 얼굴 영역을 포함하며, 사용자 이미지는 변형될 얼굴을 포함하는 이미지이며, 레퍼런스 이미지는 사용자 이미지의 얼굴 변형시 참조하기 위한 이미지이다. 사용자 이미지 및 레퍼런스 이미지는 2D 및 3D 이미지일 수 있으며, 바람직하게는 2D 이미지일 수 있다.

도 2는 본 발명의 일 실시 예에 따른 특징점 검출 결과를 나타내는 도면이다. 도 2와 같이 검출부(110)는 미리 학습된 알고리즘에 따라 얼굴 영역의 특징점을 검출할 수 있다. 특히, 검출부는 AAM(Active Appearance Model) 기법 등을 이용하여 얼굴 패턴을 미리 학습하여 특징점 위치를 자동적으로 검출할 수 있다. 또한, 검출부(100)는 검출된 특징점의 위치를 이용하여 머리 회전각에 기초한 얼굴 각도를 검출할 수 있다. 이하에서, 얼굴 각도 정보를 검출하는 과정에 대해 구체적으로 설명한다. 검출부(110)는 특징점 위치를 이용하여 얼굴의 좌측 면적과 우측 면적을 구할 수 있다. 이 때, 검출부(110)는 얼굴 미간의 중간에 위치한 특징점 위치, 얼굴의 윤곽을 나타내는 특징점 위치, 코 끝에 대응하는 특징점 위치, 입술 주위에 위치한 특징점 위치와 같은 대표 특징점들의 위치를 이용하여 얼굴의 좌측 면적과 우측 면적을 구할 수 있다.

구체적으로, 검출부(110)는 대표 특정점들의 위치를 기초로 삼각형을 만들고, 삼각형 면적의 합을 계산하여 얼굴의 좌측 면적과 우측 면적을 구할 수 있다. 이후, 검출부(110)는 얼굴의 좌측 면적과 우측 면적의 비율로부터 얼굴의 각도 정보를 검출할 수 있다. 사용자의 머리가 오른쪽으로 회전하면 머리 회전각은 양의 값을 가지고, 사용자의 머리가 왼쪽으로 회전하면 머리 회전각은 음의 값을 가진다고 가정한다. 이 때, 사용자의 머리가 오른쪽으로 회전한 경우, 머리 회전각의 범위를 0°≤θ≤45°로 가정한다. 이 때, 얼굴의 좌측 면적(LHP)은 하기 수학식 1로 표현되고, 얼굴의 우측 면적(RHP)은 하기 수학식 2로 표현될 수 있다.

여기서, θ는 머리 회전각을 의미한다. 그리고, w1은 얼굴의 좌측 폭, w2는 얼굴의 우측 폭, h1은 얼굴의 볼에 대응하는 길이, h2은 얼굴의 턱에 대응하는 길이를 의미한다. 또한, r은 머리의 중심으로부터 머리의 외각선까지의 거리를 의미한다.

그러면, 얼굴의 좌측 면적과 우측 면적의 비율은 하기 수학식 3에 따라 결정되고, 머리 회전각은 하기 수학식 4에 따라 추정될 수 있다.

반대로, 사용자의 머리가 왼쪽으로 회전한 경우, 머리 회전각의 범위를 -45°≤θ≤0로 가정한다. 이 때, 얼굴의 좌측 면적(LHP)은 하기 수학식 5로 표현되고, 얼굴의 우측 면적(RHP)은 하기 수학식 6으로 표현될 수 있다.

여기서, θ는 머리 회전각을 의미한다. 그리고, w1은 얼굴의 좌측 폭, w2은 얼굴의 우측 폭, h1은 얼굴의 볼에 대응하는 길이, h2은 얼굴의 턱에 대응하는 길이를 의미한다. 또한, r은 머리의 중심으로부터 머리의 외각선까지의 거리를 의미한다.

그러면, 얼굴의 좌측 면적과 우측 면적의 비율은 하기 수학식 7에 따라 결정되고, 머리 회전각은 하기 수학식 8에 따라 추정될 수 있다.

이와 같은 방법을 통해 검출부(110)는 yaw, pitch, roll 방향의 얼굴 각도 정보를 검출할 수 있다. roll, pitch, yaw 방향의 각도 정보는 x, y, z 축에 대한 회전 각도에 대응될 수 있다.

특징점 보정부(120)는 검출부(110)에서 검출된 각도 정보를 이용하여 사용자 이미지 또는 레퍼런스 이미지의 특징점을 보정한다. 구체적으로, 특징점 보정부(120)는 사용자 이미지에서 검출한 각도 정보와 레퍼런스 이미지에서 검출한 얼굴의 각도 정보가 상이한 경우 얼굴 각도가 일치되도록 사용자 이미지 또는 레퍼런스 이미지의 특징점을 보정할 수 있다. 특히, 사용자 이미지에 대해 영상 변형이 수행되므로 사용자 이미지의 얼굴 각도를 변경하지 않고, 레퍼런스 이미지의 얼굴 각도를 사용자 이미지와 일치되도록 보정하는 것이 바람직하다. 다만, 사용자 이미지의 얼굴 각도를 레퍼런스 이미지와 일치되록 보정하는 것도 가능하며, 사용자 이미지 및 레퍼런스 이미지의 얼굴 각도를 모두 정면으로 보정하는 것과 같이 사용자 이미지 및 레퍼런스 이미지 모두를 보정하는 것도 가능하다.

한편, 특징점 보정부(120)는 사용자 이미지 및 레퍼런스 이미지에 포함된 얼굴의 크기가 차이가 있는 경우 사용자 이미지 또는 레퍼런스 이미지에 스케일링으 수행하여 사이즈를 일치시킬 수 있다.

얼굴 분석부(130)는 보정된 특징점을 이용하여 사용자 이미지 및 레퍼런스 이미지에 포함된 얼굴 특징을 비교한다. 여기서, 얼굴 특징이란 눈, 코, 입, 턱선, 얼굴 비율 등 얼굴을 구성하는 주요 요소들의 형태를 의미한다. 구체적으로, 얼굴 분석부(130)는 사용자 이미지에 포함된 특징점 간의 상대적 거리 및 레퍼런스 이미지에 포함된 특징점 간의 거리를 비교하여 차이를 산출할 수 있다. 특히, 얼굴 특징에 대응되는 특징점 간의 상대적 거리를 비교할 수 있다. 도 2를 참조하여 얼굴 분석부(130)에 대해 보다 구체적으로 설명한다.

도 3은 본 발명의 일 실시 예에 따른 얼굴 분석부의 구체적인 동작을 설명하기 위한 도면이다. 특히, 도 3은 사용자 이미지 및 레퍼런스 이미지에서 턱선을 비교하는 동작을 설명하기 위한 도면이다. 도 3에서와 같이 얼굴 분석부(130)는 사용지 이미지 및 레퍼런스 이미지의 얼굴의 턱선을 구성하는 특징점들 간의 길이를 산출할 수 있다. 이 때, 턱선을 구성하는 모든 특징점들 간의 거리를 구할 필요는 없으며 얼굴 특성을 결정하는데 필요한 일부 특징점들 간의 거리만을 산출할 수도 있다. 도 3에서는 참조하면 사용자 이미지 및 레퍼런스 이미지의 얼굴의 턱선을 구성하는 특징점들로부터 r1 내지 r7, d1 내지 d8 및 r1' 내지 r7', d1' 내지 d8'의 거리를 산출하였다. 다만, 이에 한정되는 것은 아니며 필요에 따라 다양한 특징점들 간의 거리를 산출할 수 있다.

이후, 얼굴 분석부(130)는 산출된 특징점들 간의 거리에 기초하여 사용자 이미지 및 레퍼런스 이미지에서 각각 대응되는 특징점들 간의 거리의 차이를 분석한다. 예를 들어, 도 3에서 r1과 r1', r2와 r2', d1과 d2 등 대응되는 특징점들 간의 거리를 각각 비교할 수 있다.

한편, 도 3에서는 턱선에 대한 비교 과정만을 설명하였으나, 다른 얼굴 특징에 대해서도 동일한 방법으로 비교할 수 있다. 특히, 눈, 코, 입 등 주요 얼굴 특징을 비교할 수 있다. 한편, 얼굴 분석부(130)는 얼굴 전체, 눈, 코, 입 등의 가로 길이 및 세로 길이의 비율 등을 비교할 수도 있다.

영상 변형부(140)는 얼굴 분석부(130)의 얼굴 특징에 대한 비교 결과를 이용하여 사용자 이미지를 변형할 수 있다. 특히, 영상 변형부(140)는 얼굴 분석부(130)에서 산출된 특징점들 간의 거리의 차이에 기초하여 사용자 이미지의 특징점들을 변형함으로써 사용자 이미지를 변형할 수 있다. 사용자 이미지 및 레퍼런스 이미지는 동일한 개수의 특징점을 가지며 각각의 특징점은 1:1로 대응될 수 있다.

사용자 이미지를 어느 정도 변형할지 여부는 다양하게 설정될 수 있다. 영상 변형 장치(100)는 사용자에게 어느 정도의 변형을 가할지 여부를 문의하여 사용자 입력에 따라 변형 정도를 결정할 수 있다. 또는, 기 설정된 비율에 따라 자동적으로 변형될 수 있다. 이에 대해, 도 4를 참조하여 보다 구체적으로 설명한다.

도 4는 본 발명의 일 실시 예에 따른 얼굴 변형과정을 설명하기 위한 도면이다. 특히, 도 4는 사용자 이미지 및 레퍼런스 이미지의 턱선을 비교한 도면이다. 영상 변형부(140)는 얼굴 분석부(130)의 비교 결과에 따라 도 4에서 보는 바와 같이 사용자 이미지의 턱선 및 레퍼런스 이미지의 턱선의 차이를 알 수 있다. 여기서, 사용자 이미지의 특징점을 대응되는 레퍼런스 이미지의 특징점과 동일하게 변형하는 경우를 1로 가정하면 0.2, 0.5 또는 0.8 등 기 설정된 비율에 따라 사용자 이미지의 특징점을 변형할 수 있다.

또한, 영상 변형부(140)는 얼굴 분석부(130)에서 비교된 특징점들 간의 거리, 비율 등을 이용하여 사용자 이미지를 어느 정보 변형할 것인가를 자동적으로 결정할 수 있다. 예를 들어, 사용자 이미지와 레퍼런스 이미지의 차이가 크지 않은 경우에는 0.5, 0.7 등 높은 비율로 변형하고, 사용자 이미지와 레퍼런스 이미지의 차이가 큰 경우에는 과도한 변형을 방지하기 위해 0.2, 0.3 등 낮은 비율로 변형할 수 있다.

한편, 얼굴의 모든 특징점을 일괄적인 비율로 변형하는 경우 변형 결과가 부자연스럽게 나타나는 경우가 있을 수 있다. 이러한 경우, 영상 변형부(140)는 특징점들 간의 거리, 비율 등에 기초하여 얼굴의 각 영역별로 변화 비율을 상이하게 설정할 수 있다. 예를 들어, 도 4에서 A, B, C 부분을 비교해보면, 사용자 이미지 및 레퍼런스 이미지는 차이는 B > A > C 순으로 크다. 이 때, B는 0.5 비율로, A는 0.3 비율로, C는 0.2 비율로 변화 비율을 상이하게 설정할 수 있다. 또한, 영상 변형부(140)는 가로와 세로의 비율을 고려하여 보다 자연스럽게 보여지는 비율을 결정할 수 있다.

도 5는 본 발명의 다른 실시 예에 따른 영상 변형 장치의 구성을 나타내는 블럭도이다. 도 5에 따르면 영상 변형 장치(100)는 검출부(110), 특징점 보정부(120), 얼굴 분석부(130) 및 영상 변형부(140) 뿐만 아니라 이미지 추천부(150), 입력부(160), 디스플레이부(170), 촬상부(180), 통신부(185), 저장부(190) 및 제어부(195)를 더 포함할 수 있다.

이미지 추천부(150)는 사용자 정보에 기초하여 레퍼런스 이미지를 추천할 수 있다. 본 발명에 따른 영상 변형 장치(100)는 사용자 이미지의 변형을 위해 레퍼런스 이미지가 필요하다. 사용자 이미지 및 레퍼런스 이미지는 입력부(160)를 통해 사용자가 선택할 수 있다. 그러나, 저장부(190)에 사용자가 참조하고자 하는 레퍼런스 이미지가 저장되어 있지 않아 사용자가 직접 레퍼런스 이미지를 검색해야 하는 경우에는 사용자 불편이 있을 수 있다. 이에 따라, 영상 변형 장치(100)는 여러가지 사용자 정보를 이용하여 레퍼런스 이미지를 자동적으로 검색하여 추천할 수 있다. 사용자 정보는 사용자의 성별, 연령, 사용자 이미지 분석 결과, 사용자의 일정, 사용자의 이미지 변형 의도 및 사용자의 현재 위치 중 적어도 하나를 포함할 수 있다. 사용자의 이미지 변형 의도란 예를 들어, 사용자 이미지를 청순하게 또는 섹시하게 변형하고자 하는 사용자 의도를 말한다.

사용자의 성별, 연령 사용자의 이미지 변형 의도는 입력부(160)를 통해 입력받을 수 있다. 사용자의 일정은 일정 관리 어플리케이션 등과 연동되어 사용자 일정에 대한 정보를 얻을 수 있으며, 사용자의 현재 위치는 영상 변형 장치(100) 내에 포함된 GPS(Global Positioning System) 또는 Wifi 등으로부터 얻을 수 있다. 그리고, 사용자 이미지 분석 결과는 검출부(110)로부터 얻을 수 있다.

이미지 추천부(150)는 상술한 사용자 정보를 이용하여 저장부(190) 내에 저장된 이미지 또는 인터넷, 외부 서버 등으로부터 검색한 이미지 등을 레퍼런스 이미지로 추천할 수 있다. 한편, 레퍼런스 이미지에 대한 정보(예를 들어, 성별, 연령)는 인덱스 처리되어 저장부(190) 또는 외부 서버에 저장될 수 있다. 이에 따라 이미지 추천부(150)는 사용자의 성별, 연령과 유사한 이미지를 검색할 수 있으며, 레퍼런스 이미지의 분석 결과를 사용자 이미지 분석 결과와 비교하여 변형에 적합한 레퍼런스 이미지를 추천할 수 있다. 또한, 사용자의 이미지 변형 의도가 입력된 경우 섹시한 이미지, 지적인 이미지 또는 청순한 이미지 등 특정 의도에 맞는 레퍼런스 이미지를 추천할 수 있다. 사용자의 일정 또는 현재 위치는 특정 장소 또는 상황에 맞는 이미지를 추천하기 위해 이용될 수 있다. 예를 들어, 사용자의 일정이 공부, 현재 위치가 학교로 파악된 경우 지적인 이미지를 가지는 레퍼런스 이미지가 추천될 수 있다.

입력부(160)는 사용자 명령을 입력받는다. 특히, 입력부(160)는 사용자 이미지 및 레퍼런스 이미지를 선택하기 위한 사용자 명령을 입력받을 수 있으며, 사용자의 성별, 연령 등 사용자 정보를 입력받을 수 있다. 또한, 레퍼런스 이미지가 추천된 경우 추천된 레퍼런스 이미지 중 적어도 하나를 선택하기 위한 사용자 명령을 입력받을 수 있다. 한편, 입력부(160)는 마우스, 키보드, 터치패드, 터치 스크린, 모션 센서 등 다양한 유형의 입력 장치로 구현될 수 있다.

디스플레이부(170)는 이미지를 디스플레이한다. 구체적으로, 영상 변형부(140)에 의해 변형된 사용자 이미지를 디스플레이할 수 있다. 이러한 디스플레이부(170)는 CRT(Cathod Ray Tube), LCD(Liquid Criystal Display), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diode) 등과 같은 다양한 디스플레이 패널로 구현될 수 있다.

촬상부(180)는 사용자 이미지를 촬상한다. 구체적으로, 촬상부(180)는 사용자의 얼굴 영역이 포함된 사용자 이미지를 촬상할 수 있다. 즉, 영상 변형 장치(100)의 사용자는 저장부(190)에 저장된 이미지뿐만 아니라 촬상부(180)를 통해 직접 촬상한 이미지를 사용자 이미지로 선택할 수도 있다. 이를 위해, 촬상부(180)는 카메라로 구현될 수 있다. 촬상부(180)는 영상 변형 장치(100)에 내장될 수도 있으며, 영상 변형 장치(100)와 유, 무선으로 연결된 외부 장치로 구현될 수도 있다.

통신부(185)는 외부 장치와 통신한다. 특히, 통신부(185)는 인터넷 또는 외부 서버로부터 레퍼런스 이미지를 수신할 수 있으며, 변형된 사용자 이미지를 외부 장치로 전송할 수 있다. 통신부(180)는 근거리 무선 통신 모듈(미도시), 무선 통신 모듈(미도시), GPS 모듈 등과 같은 다양한 통신 모듈을 포함할 수 있다. 여기에서, 근거리 무선 통신 모듈이란 블루투스, 지그비 방식 등과 같은 근거리 무선 통신 방식에 따라, 근거리에 위치한 외부 기기와 통신을 수행하기 위한 모듈이다. 또한, 무선 통신 모듈이란 WiFi, IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 무선 통신 모듈은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신 망에 접속하여 통신을 수행하는 이동 통신 모듈을 포함할 수도 있다.

저장부(190)는 사용자 이미지, 레퍼런스 이미지 및 변형된 사용자 이미지를 저장할 수 있다. 또한, 사용자에 의해 입력된 성별, 연령 등의 사용자 정보를 저장할 수 있다.

제어부(195)는 영상 변형 장치(100)의 전반적인 동작을 제어한다. 구체적으로, 제어부(195)는 검출부(110), 특징점 보정부(120), 얼굴 분석부(130), 영상 변형부(140), 이미지 추천부(150), 입력부(160), 디스플레이부(170), 촬상부(180), 통신부(185), 저장부(190) 각각을 제어하여 사용자 이미지를 변형하도록 제어할 수 있다.

도 6은 본 발명의 일 실시 예에 따른 영상 변형 방법을 설명하기 위한 흐름도이다. 도 6에 따르면 먼저 사용자 이미지 및 레퍼런스 이미지로부터 특징점 및 각도 정보를 검출한다(S610). 여기서, 사용자 이미지 및 레퍼런스 이미지는 사용자 명령에 의해 선택될 수 있다. 사용자 이미지는 촬상부에 의해 촬상되거나 저장부에 저장된 이미지가 사용될 수 있다. 한편, 사용자 이미지가 선택되면 영상 변형 장치(100)는 사용자 정보에 기초하여 적어도 하나의 레퍼런스 이미지를 추천할 수 있다. 레퍼런스 이미지는 사용자의 성별, 연령, 사용자의 일정, 사용자 이미지 분석 결과, 사용자의 이미지 변형 의도 및 사용자의 현재 위치 중 적어도 하나에 기초하여 추천될 수 있다. 이후, 추천된 레퍼런스 이미지 중 적어도 하나를 선택하기 위한 사용자 명령을 입력될 수 있다. 그리고, 선택된 사용자 이미지 및 레퍼런스 이미지로부터 얼굴 영역의 특징점 및 얼굴의 각도 정보를 검출할 수 있다. 특히, AAM(Active Appearance Model) 기법 등을 이용하여 얼굴 패턴을 미리 학습하여 특징점 위치를 자동적으로 검출할 수 있다. 이에 대해서는 도 2를 참조하여 구체적으로 설명하였으므로 구체적인 생략은 생략하기로 한다.

이후, 검출된 각도 정보를 이용하여 사용자 이미지 또는 레퍼런스 이미지의 특징점을 보정한다. 구체적으로, 사용자 이미지 및 레퍼런스 이미지의 얼굴 각도가 상이한 경우 서로 일치되도록 사용자 이미지 또는 레퍼런스 이미지의 특징점을 보정할 수 있다.

그리고, 보정된 특징점을 이용하여 사용자 이미지 및 레퍼런스 이미지에 포함된 얼굴 특징을 비교한다(S630). 얼굴 특징은 눈 형태, 코 형태, 입형태 및 턱성 형태 중 적어도 하나를 포함할 수 있다. 구체적으로, 사용자 이미지에 포함된 특징점 간의 상대적 거리 및 레퍼런스 이미지에 포함된 특징점 간의 거리를 비교하여 차이를 산출할 수 있다. 또한, 얼굴 전체, 눈, 코, 입 등의 얼굴 특징에 대해서는 가로 및 세로의 비율 등이 비교될 수도 있다. 얼굴 특징을 비교하는 과정에 대해서는 도 3을 참조하여 구체적으로 설명하였으므로 구체적인 설명은 생략한다.

그리고, 얼굴 특징에 대한 비교 결과를 이용하여 사용자 이미지를 변형한다(S640). 구체적으로, 사용자 이미지의 특징점을 변형함으로써 사용자 이미지를 변형할 수 있다.

한편, 상술한 본 발명의 다양한 실시 예들에 따른 얼굴 변형 방법은 단말 장치에서 실행 가능한 프로그램으로 구현될 수 있다. 그리고, 이러한 프로그램은 다양한 유형의 기록 매체에 저장되어 사용될 수 있다.

구체적으로는, 상술한 방법들을 수행하기 위한 코드는, 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 다양한 유형의 비휘발성 기록 매체에 저장되어 있을 수 있다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 얼굴 변형 장치 110 : 검출부
120 : 특징점 보정부 130 : 얼굴 분석부
140 : 영상 변형부

Claims

사용자 이미지 및 레퍼런스 이미지로부터 얼굴 영역의 특징점 및 얼굴의 각도 정보를 검출하는 검출부;
상기 검출된 각도 정보를 이용하여 상기 사용자 이미지 또는 레퍼런스 이미지의 특징점을 보정하는 특징점 보정부;
상기 보정된 특징점을 이용하여 상기 사용자 이미지 및 상기 레퍼런스 이미지에 포함된 얼굴 특징을 비교하는 얼굴 분석부; 및
상기 얼굴 특징에 대한 비교 결과를 이용하여 상기 사용자 이미지를 변형하는 영상 변형부;를 포함하며,
상기 사용자 이미지의 얼굴 각도 정보가 상기 레퍼런스 이미지의 얼굴 각도 정보와 상이한 경우, 상기 레퍼런스 이미지의 얼굴 각도 정보가 상기 사용자 이미지의 얼굴 각도 정보와 매칭되도록 상기 레퍼런스 이미지의 특징점이 보정되거나,
상기 사용자 이미지의 얼굴 각도 정보가 상기 레퍼런스 이미지의 얼굴 각도 정보와 매칭되도록 상기 사용자 이미지의 특징점이 보정되며,
상기 얼굴 분석부는,
상기 사용자 이미지에 포함된 특징점 간의 거리 및 상기 레퍼런스 이미지에 포함된 특징점 간의 거리를 비교하여 차이를 산출하고,
상기 영상 변형부는,
산출된 거리의 차이에 기초하여 상기 사용자 이미지의 특징점의 변형 비율을 상이하게 조정하는 영상 변형 장치.
삭제
삭제
제1항에 있어서,
상기 얼굴 특징은,
눈 형태, 코 형태, 입 형태 및 턱선 형태 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 변형 장치.
제1항에 있어서,
사용자 정보에 기초하여 적어도 하나의 레퍼런스 이미지를 추천하는 이미지 추천부; 및
상기 추천된 레퍼런스 이미지 중 적어도 하나를 선택하기 위한 사용자 명령을 입력받는 입력부;를 더 포함하는 것을 특징으로 하는 영상 변형 장치.
제5항에 있어서,
상기 이미지 추천부는,
사용자의 성별, 연령, 사용자 이미지 분석 결과, 사용자의 일정, 사용자의 이미지 변형 의도 및 사용자의 현재 위치 중 적어도 하나에 기초하여 상기 레퍼런스 이미지를 추천하는 것을 특징으로 하는 영상 변형 장치.
제1항에 있어서,
상기 사용자 이미지 및 상기 레퍼런스 이미지는 2D 이미지인 것을 특징으로 하는 영상 변형 장치.
사용자 이미지 및 레퍼런스 이미지로부터 얼굴 영역의 특징점 및 얼굴의 각도 정보를 검출하는 단계;
상기 검출된 각도 정보를 이용하여 상기 사용자 이미지 또는 레퍼런스 이미지의 특징점을 보정하는 단계;
상기 보정된 특징점을 이용하여 상기 사용자 이미지 및 상기 레퍼런스 이미지에 포함된 얼굴 특징을 비교하는 단계; 및
상기 얼굴 특징에 대한 비교 결과를 이용하여 상기 사용자 이미지를 변형하는 단계;를 포함하며,
상기 사용자 이미지의 얼굴 각도 정보가 상기 레퍼런스 이미지의 얼굴 각도 정보와 상이한 경우, 상기 레퍼런스 이미지의 얼굴 각도 정보가 상기 사용자 이미지의 얼굴 각도 정보와 매칭되도록 상기 레퍼런스 이미지의 특징점이 보정되거나,
상기 사용자 이미지의 얼굴 각도 정보가 상기 레퍼런스 이미지의 얼굴 각도 정보와 매칭되도록 상기 사용자 이미지의 특징점이 보정되며,
상기 얼굴 특징을 비교하는 단계는,
상기 사용자 이미지에 포함된 특징점 간의 거리 및 상기 레퍼런스 이미지에 포함된 특징점 간의 거리를 비교하여 차이를 산출하고,
상기 사용자 이미지를 변형하는 단계는,
산출된 거리의 차이에 기초하여 상기 사용자 이미지의 특징점의 변형 비율을 상이하게 조정하는 영상 변형 방법.
삭제
삭제
제8항에 있어서,
상기 얼굴 특징은,
눈 형태, 코 형태, 입 형태 및 턱선 형태 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 변형 방법.
제8항에 있어서,
사용자 정보에 기초하여 적어도 하나의 레퍼런스 이미지를 추천하는 단계; 및
상기 추천된 레퍼런스 이미지 중 적어도 하나를 선택하기 위한 사용자 명령을 입력받는 단계;를 더 포함하는 것을 특징으로 하는 영상 변형 방법.
제12항에 있어서,
상기 이미지를 추천하는 단계는,
사용자의 성별, 연령, 사용자 이미지 분석 결과, 사용자의 일정, 사용자의 이미지 변형 의도 및 사용자의 현재 위치 중 적어도 하나에 기초하여 상기 레퍼런스 이미지를 추천하는 것을 특징으로 하는 영상 변형 방법.
제8항에 있어서,
상기 사용자 이미지 및 상기 레퍼런스 이미지는 2D 이미지인 것을 특징으로 하는 영상 변형 방법.