KR20200080577A - 이미지 편집 애플리케이션 제공 장치 및 상기 장치에 의해 수행되는 이미지 내 얼굴 변형 방법 - Google Patents

이미지 편집 애플리케이션 제공 장치 및 상기 장치에 의해 수행되는 이미지 내 얼굴 변형 방법 Download PDF

Info

Publication number
KR20200080577A
KR20200080577A KR1020180170172A KR20180170172A KR20200080577A KR 20200080577 A KR20200080577 A KR 20200080577A KR 1020180170172 A KR1020180170172 A KR 1020180170172A KR 20180170172 A KR20180170172 A KR 20180170172A KR 20200080577 A KR20200080577 A KR 20200080577A
Authority
KR
South Korea
Prior art keywords
face
image
model
impression
facial
Prior art date
Application number
KR1020180170172A
Other languages
English (en)
Other versions
KR102152598B1 (ko
Inventor
김익재
조정현
최희승
홍유진
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020180170172A priority Critical patent/KR102152598B1/ko
Publication of KR20200080577A publication Critical patent/KR20200080577A/ko
Application granted granted Critical
Publication of KR102152598B1 publication Critical patent/KR102152598B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G06T3/0056—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

실시예들은 얼굴을 변형하기 위한 사용자의 입력을 수신하는 단계; 및 상기 입력에 대응하는 변형을 타겟 이미지의 얼굴에 적용하는 단계를 포함하는 이미지 내 얼굴 변형 방법 및 상기 방법을 수행하는 모바일 기기에 관련된다.

Description

이미지 편집 애플리케이션 제공 장치 및 상기 장치에 의해 수행되는 이미지 내 얼굴 변형 방법{DEVICE FOR PROVIDING APPLICATION TO EDIT IMAGE AND METHOD FOR TRANSFORMING FACE IN IMAGE PERFORMED BY THE SAME DEVICE}
본 발명은 이미지 편집 애플리케이션 기술에 관한 것으로서, 보다 상세하게는 높은 사용자 편의성을 가지면서 이미지에 있는 얼굴의 변형을 수행할 수 있는 인터페이스를 위한 이미지 편집 애플리케이션 제공 장치 및 상기 장치에 의해 수행되는 이미지 내 얼굴 변형 방법에 관한 것이다.
모바일 관련 기술의 발전으로 인해, 카메라, 인터넷, 디스플레이 등과 같은 다양한 기능이 구현된 모바일 기기가 개발되어 사람들의 필수품으로 사용되고 있다. 이러한 모바일 기기는 일상 생활을 누리기 위해 다양하게 활용된다.
가장 대표적으로, 모바일 기기는 사진 관련 기능을 수행하기 위해 활용된다. 예를 들어, 모바일 기기는 간편하게 사진을 촬영하고, 자신의 SNS(Social network system) 계정에 사진을 업로드하는데 사용될 수 있다. 최근 SNS가 사람들의 일상 생활에 깊숙이 자리함에 따라, 모바일 기기에서 사진 관련 기능을 사용하는 시간이 점점 증가하는 추세이다.
SNS에 업로드하는 사진 중에서 인물 이미지는 상당한 비중을 차지하고 있다. 그러나, 종래의 모바일 기기 상의 인물 이미지 편집 기술은 인물 이미지 전체를 필터처리하는 수준이다. 일부 인물 이미지 편집 기술은 인물 이미지에 포함된 얼굴의 변형이 가능하지만, 조작법이 어려워 사용자 편의성 측면에서 한계가 있었다.
특허공개공보 제 10-2007-0006337호
본 발명의 일 측면에 따르면 높은 사용자 편의성을 가지면서 이미지에 있는 얼굴의 변형을 수행할 수 있는 인터페이스를 위한 이미지 편집 애플리케이션 제공 장치 및 상기 장치에 의해 수행되는 이미지 내 얼굴 변형 방법을 제공할 수 있다.
본 발명의 일 측면에 따른 이미지 편집 애플리케이션 제공 장치에서 수행되는 이미지 내 얼굴 변형 방법은, 이미지 편집을 위한 인터페이스 화면을 표시하는 단계; 타겟 이미지의 얼굴을 변형하기 위한 사용자의 입력을 수신하는 단계; 상기 사용자의 입력에 기초하여 사용자가 원하는 얼굴을 갖게 하는 얼굴 변형 명령을 생성하는 단계; 상기 얼굴 변형 명령을 타겟 이미지의 얼굴에 적용하여 변형된 얼굴을 갖는 변형 이미지를 생성하는 단계; 및 상기 변형 이미지를 표시하는 단계를 포함할 수 있다.
일 실시예에서, 상기 사용자의 입력을 수신하는 단계는, 상기 얼굴 변형을 위한 편집 기준을 결정하기 위한 입력을 수신하는 단계를 포함할 수 있다.
일 실시예에서, 상기 편집 기준을 결정하기 위한 입력은, 상기 인터페이스 화면에 포함된, 상기 얼굴 변형을 위한 편집 기준을 결정하는 편집 모드를 포함한 메뉴 툴을 통해 수신된다.
일 실시예에서, 상기 메뉴 툴은, 상기 얼굴 변형이 타겟 이미지의 얼굴 표정을 변화하게 하는 표정 모드, 상기 얼굴 변형이 타겟 이미지의 얼굴 인상을 변화하게 하는 인상 모드, 및 상기 얼굴 변형이 타겟 이미지의 얼굴 포즈를 변화하게 하는 포즈 모드 중 하나 이상을 포함할 수 있다.
일 실시예에서, 상기 사용자의 입력을 수신하는 단계는, 상기 결정된 편집 기준의 하위 항목을 결정하기 위한 입력을 수신하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 하위 항목을 결정하기 위한 입력은, 상기 인터페이스 화면에 포함된, 하나 이상의 하위 항목을 포함한 편집 툴을 통해 수신된다.
일 실시예에서, 상기 편집 툴은, 상기 결정된 편집 기준이 표정인 경우, 미리 설정된 표정 유형을 포함할 수 있다.
일 실시예에서, 상기 편집 툴은, 상기 결정된 편집 기준이 인상인 경우, 미리 설정된 인상 유형을 포함할 수 있다.
일 실시예에서, 상기 편집 툴은, 상기 결정된 편집 기준이 포즈인 경우, 미리 설정된 포즈 유형을 포함할 수 있다.
일 실시예에서, 상기 편집 툴은, 상기 특정 포즈 유형에 대한 입력만을 수신하도록 더 구성될 수 있다.
일 실시예에서, 상기 사용자의 입력에 기초하여 얼굴 변형 명령을 생성하는 단계는, 얼굴 변형 명령 생성 이전에 사용자 입력을 통해 표정 모드에서의 표정 유형이 결정된 경우, 표정 유형별 얼굴 모델, 표정 유형별 얼굴 모델의 표정 값 중 하나 이상을 포함한 얼굴 변형 명령을 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 사용자의 입력에 기초하여 얼굴 변형 명령을 생성하는 단계는, 얼굴 변형 명령 생성 이전에 사용자 입력을 통해 인상 모드에서의 인상 유형이 결정된 경우, 인상 유형별 얼굴 모델, 인상 추정 함수 중 하나 이상을 포함한 얼굴 변형 명령을 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 인상 추정 함수는, 각각의 인상 유형별로 기계 학습된, 3차원 얼굴 모델의 거리 벡터가 입력되어 최소 학습 에러를 가질 경우 해당 인상 유형을 갖는 3차원 얼굴 모델을 생성하도록 기계 학습된 것일 수 있다.
일 실시예에서, 상기 사용자의 입력에 기초하여 얼굴 변형 명령을 생성하는 단계는, 얼굴 변형 명령 생성 이전에 사용자 입력을 통해 포즈 모드가 결정된 경우, 회전 축, 및 회전 방향 중 하나 이상을 포함할 수 있다.
일 실시예에서, 상기 변형 이미지를 생성하는 단계는, 상기 타겟 이미지의 2차원 얼굴에서 특징점을 추출하는 단계; 상기 타게 이미지의 2차원 얼굴을 3차원 얼굴 모델로 모델링하여 타겟 얼굴 모델을 생성하는 단계; 상기 타겟 얼굴 모델을 메쉬 처리하는 단계; 상기 타겟 얼굴 모델의 얼굴을 초기 설정 얼굴로 변환하는 단계; 상기 타겟 얼굴 모델에 얼굴 변형 명령을 적용하여 변형된 얼굴을 갖는 변형 얼굴 모델을 생성하는 단계; 및 상기 변형 얼굴 모델에 기초하여 변형된 얼굴을 갖는 변형 이미지를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 타겟 얼굴 모델에 얼굴 변형 명령을 적용하여 변형된 얼굴을 갖는 변형 얼굴 모델을 생성하는 단계는, 상기 얼굴 변형 명령이 얼굴의 표정 변형 명령인 경우, 결정된 표정 유형별 얼굴 모델에 대한 표정 값을 상기 타겟 얼굴 모델에 적용하여 변형된 표정을 갖는 변형 얼굴 모델을 생성할 수 있다.
일 실시예에서, 상기 타겟 얼굴 모델에 얼굴 변형 명령을 적용하여 변형된 얼굴을 갖는 변형 얼굴 모델을 생성하는 단계는, 상기 얼굴 변형 명령이 얼굴의 인상 변형 명령인 경우, 결정된 인상 유형별 얼굴 모델에 대한 인상 추정 함수에 상기 타겟 얼굴 모델의 거리 벡터를 적용하여 변형된 인상을 갖는 변형 얼굴 모델을 생성할 수 있다.
일 실시예에서, 상기 타겟 얼굴 모델에 얼굴 변형 명령을 적용하여 변형된 얼굴을 갖는 변형 얼굴 모델을 생성하는 단계는, 상기 얼굴 변형 명령이 얼굴의 포즈 변형 명령인 경우, 회전 축 및 회전 방향을 타겟 얼굴 모델에 적용하여 변형된 포즈를 갖는 변형 얼굴 모델을 생성할 수 있다.
일 실시예에서, 상기 사용자의 입력은, 상기 결정된 하위 항목에 대응하는 얼굴로 타겟 이미지의 얼굴을 변형함에 있어, 변형 강도에 대한 입력을 수신하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 얼굴 변형 명령은, 상기 변형 강도를 더 포함할 수 있다.
일 실시예에서, 상기 타겟 얼굴 모델에 얼굴 변형 명령을 적용하여 변형된 얼굴을 갖는 변형 얼굴 모델을 생성하는 단계는, 상기 얼굴 변형 명령이 얼굴의 표정 변형 명령인 경우, 상기 변형 강도에 대응하는 표정별 얼굴 모델에 대한 표정 값을 상기 타겟 얼굴 모델에 적용하여 변형된 표정을 갖는 변형 얼굴 모델을 생성할 수 있다.
일 실시예에서, 상기 변형 강도에 대응하는 표정별 얼굴 모델은, 미리 저장된 표정-얼굴 테이블에 기초하여 결정되며, 상기 표정-얼굴 테이블은 각각의 표정 유형에 있어 하나 이상의 표정 강도별 얼굴 모델 및 상기 표정 강도별 얼굴 모델에 대한 표정 값 중 하나 이상을 포함할 수 있다.
일 실시예에서, 상기 타겟 얼굴 모델에 얼굴 변형 명령을 적용하여 변형된 얼굴을 갖는 변형 얼굴 모델을 생성하는 단계는, 상기 얼굴 변형 명령이 얼굴의 인상 변형 명령인 경우, 초기 설정된 타겟 얼굴 모델의 거리 벡터에서 인상 추정 함수에 기초하여 생성된 타겟 얼굴 모델의 거리 벡터 간의 차이에 기초하여 상기 변형 강도에 대응하는 변화 값을 결정하고, 상기 변형 강도에 대응하는 변화 값에 기초하여 변형된 인상을 갖는 변형 얼굴 모델을 생성할 수 있다.
일 실시예에서, 상기 타겟 얼굴 모델에 얼굴 변형 명령을 적용하여 변형된 얼굴을 갖는 변형 얼굴 모델을 생성하는 단계는, 상기 얼굴 변형 명령이 얼굴의 포즈 변형 명령인 경우, 상기 변형 강도에 기초하여 회전 각도를 결정하고, 회전 축, 회전 방향 및 회전 각도를 타겟 얼굴 모델에 적용하여 변형된 포즈를 갖는 변형 얼굴 모델을 생성할 수 있다.
일 실시예에서, 상기 변형 강도에 대한 입력은, 스와이프 입력을 통해 수신될 수 있다.
본 발명의 다른 일 측면에 따른 컴퓨터 판독가능 기록매체는 컴퓨터에 의해 판독가능하고, 상기 컴퓨터에 의해 동작 가능한 프로그램 명령어를 저장할 수 있다. 여기서, 상기 프로그램 명령어가 상기 컴퓨터의 프로세서에 의해 실행되는 경우 상기 프로세서가 전술한 실시예들을 수행하게 할 수 있다.
본 발명의 일 측면에 따른 이미지 편집 애플리케이션 제공 장치는 높은 사용자 편의성을 갖는 인터페이스를 통해 이미지에 있는 얼굴의 변형을 손쉽게 수행할 수 있는 이미지 편집 애플리케이션을 제공할 수 있다.
특히, 얼굴을 변형하는데 있어, 얼굴 변형과 관련된 다양한 기능을 손쉽게 제어할 수 있도록 디자인된 컨트롤러를 이용함으로써, 사용자는 포토샵에서도 쉽지 않은 얼굴의 변형을 상기 이미지 제어 인터페이스를 통해 모바일 기기에서 용이하게 할 수 있다.
나아가, 얼굴 변형의 목표를 포즈, 표정, 인상으로 세분화하고, 각 목표에 포함된 복수의 하위 항목으로 얼굴을 다양하게 변형할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 위한 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 발명의 일 실시예에 따른, 이미지 편집 애플리케이션 제공 장치에 관한 개략적인 블록도이다.
도 2는, 본 발명의 일 실시예에 따른, 이미지 편집 애플리케이션을 통한 이미지 내 얼굴 변형 방법의 흐름도이다.
도 3은, 본 발명의 일 실시예에 따른, 이미지 편집 애플리케이션의 편집 인터페이스 화면(UI)을 도시한 도면이다.
도 4는, 본 발명의 일 실시예에 따른, 얼굴의 변형 동작을 설명하기 위한 도면이다.
도 5는, 본 발명의 일 실시예에 따른, 편집 툴을 통한 변형 강도에 대한 입력을 설명하기 위한 도면이다.
도 6은, 본 발명의 일 실시예에 따른, 특징점 추출 결과를 도시한 도면이다.
도 7은, 본 발명의 일 실시예에 따른, 기준 얼굴 모델을 설명하기 위한 도면이다.
도 8은, 본 발명의 일 실시예에 따른, 표정 강도를 제어하기 위한 입력을 결정하는 과정을 도시한 도면이다.
도 9는, 본 발명의 일 실시예에 따른, 표정 변화 동작 및 변형 강도를 설명하기 위한 도면이다.
도 10은, 본 발명의 일 실시예에 따른, 인상 변형 동작 결과를 도시한 도면이다.
도 11은, 본 발명의 일 실시예에 따른, 특정 포즈 유형을 선택하도록 구성된 편집 툴을 도시한 도면이다.
도 12는, 본 발명의 일 실시예에 따른, 포즈 변형 결과를 도시한 도면이다.
도 13은, 본 발명의 일 실시예에 따른, 하나 이상의 포즈 유형을 선택하도록 구성된 편집 툴을 도시한 도면이다.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
본 명세서에서, 이미지는 특별한 제한이 없는 한 얼굴의 적어도 일부를 포함한 이미지를 지칭한다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도 1은, 본 발명의 일 실시예에 따른, 이미지 편집 애플리케이션 제공 장치에 관한 개략적인 블록도이다.
실시예들에 따른 이미지 편집 애플리케이션 제공 장치(1)는 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 이미지 편집 애플리케이션 제공 장치(1)는 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치", 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 가능한 컴퓨팅 장치일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
도 1을 참조하면, 이미지 편집 애플리케이션 제공 장치(1)는 입력부(10), 메모리(20), 제어부(30) 및 출력부(50)를 포함한다. 이미지 편집 애플리케이션 제공 장치(1)는 이미지를 촬영, 수신 및/또는 저장하며, 사용자의 입력을 수신할 수 있고, 이미지를 편집할 수 있다.
실시예들에서, 이미지 편집 애플리케이션 제공 장치(1)는 모바일 기기에 포함되거나, 또는 이미지 편집 애플리케이션이 설치된 모바일 기기로 구현될 수 있다. 상기 모바일 기기는 사용자가 휴대할 수 있는 전자 기기로서, 예를 들어, 스마트 폰, 셀룰러 폰, 스마트 글래스, 스마트 워치, 웨어러블 장치, 디지털 카메라, 태블릿 등을 포함한다.
입력부(10)는 사용자의 입력을 수신한다. 일 실시예에서, 입력부(10)는 터치 입력을 수신하는 터치 패널을 포함함으로써, 사용자의 터치 입력을 수신할 수 있다. 상기 터치 입력은 (예컨대, 사용자의 신체, 또는 도구 등을 포함한) 포인팅 객체에 의해 입력된다.
그러나, 사용자의 입력은 터치 입력에 제한되지 않으며, 상기 사용자의 입력은, 음성, 제스쳐 등과 같은 다양한 입력을 포함할 수 있다.
메모리(20)는 이미지를 저장하는 구성요소로서, 예를 들어, 일시적 메모리, 비일시적 메모리와 같은 다양한 저장 장치를 포함한다. 상기 이미지는 이미지 편집 애플리케이션 제공 장치(1)의 카메라에 의해 획득되거나, 또는 외부 장치로부터 수신하여 획득될 수 있다.
또한, 메모리(20)는 얼굴 변형을 위해 이용되는 데이터를 저장할 수 있다. 상기 얼굴 변형을 위해 이용되는 데이터는, 타겟 이미지의 2차원 얼굴을 3차원 모델링하기 위해 사용되는 기준 얼굴 모델 관련 데이터, 3차원 모델링된 타겟 이미지의 얼굴 모델을 변형하기 위해 적용되는 변형 관련 데이터(예컨대, 표정의 하위 항목별 얼굴 모델, 인상의 항목별 얼굴 모델 등)를 저장할 수 있다. 상기 얼굴 변형을 위해 이용되는 데이터에 대해서는 아래에서 보다 상세하게 서술한다.
제어부(30)는 모바일 기기(1)의 전반적인 동작을 제어한다. 예를 들어, 제어부(30)는 입력부(10)를 통해 수신한 얼굴 변형 명령에 응답하여, 명령에 대응하는 변형을 타겟 이미지의 얼굴에 적용하고, 변형된 얼굴을 포함한 타겟 이미지를 생성하고, 출력부(50)가 상기 타겟 이미지를 사용자에게 제공할 수 있도록 표시하게 한다.
제어부(30)는 입력부(10)를 통해 수신한 사용자의 입력이 미리 결정된 동작을 수행하도록 하는 특정 입력인지 검출할 수 있다.
일 실시예에서, 제어부(30)는 스와이프 입력을 검출하고, 이에 응답하도록 구성될 수 있다. 스와이프 입력이란, 사용자가 포인팅 객체를 이용하여 터치 패널을 터치(즉, 포인팅 객체와 터치 패널 간의 접촉)한 상태에서 일정 거리를 움직이는 동작이다. 이 경우, 터치 패널은, 터치 입력을 수신하고, 포인팅 객체가 터치 입력을 발생시키는 터치를 유지하면서 이동함에 따라 발생되는 스와이프 입력을 수신할 수 있다. 예를 들어, 제어부(30)는 사용자가 포인팅 객체를 이용하여 터치 패널을 터치한 상태에서 (예컨대, 시계 방향) 소정 방향 또는 소정 방향의 반대 방향으로 일정 거리를 움직이는 동작을 스와이프 입력으로 검출할 수 있다.
또한, 제어부(30)는 미리 결정된 방향이 아닌 다른 방향을 따라 포인팅 객체가 움직이는 동작은 스와이프 입력으로 검출하지 않을 수 있다.
제어부(30)의 동작에 대해서는 아래의 도 2 내지 도 5를 참조하여 보다 상세하게 서술한다.
출력부(50)는 이미지 편집 애플리케이션 제공 장치(1)에서 저장 및/또는 처리된 정보를 출력한다. 일 실시예에서, 출력부(50)는 메모리(20)에 저장된 이미지 또는 제어부(30)에 의해 처리된 변형된 얼굴을 포함한 이미지를 디스플레이할 수 있다. 또한, 이미지 편집 애플리케이션을 제어하기 위한 사용자 입력을 수신하는 사용자 인터페이스를 더 디스플레이할 수 있다.
출력부(50)는 LCD, OLED, 플렉서블 스크린 등과 같은 다양한 표시 장치를 포함할 수 있다.
도 1에서는 입력부(10)와 출력부(50)가 분리되어 있지만, 일 실시예에서, 출력부(50)와 입력부(10)는 입력 수신 및 정보 출력을 수행하도록 하나의 구성요소로 구현될 수 있다. 예를 들어, 입력부(10)와 출력부(50)는 터치 패널이 스크린과 레이어 구조를 이루는 터치 스크린으로 구현될 수 있다.
상기 이미지 편집 애플리케이션 제공 장치(1)가 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 예를 들어, 네트워크, 네트워크 인터페이스 및 프로토콜 등을 더 포함할 수 있다.
이하, 설명의 명료성을 위해서, 터치 스크린을 포함하고, 이미지 편집 애플리케이션이 설치된 모바일 기기를 이미지 편집 애플리케이션 제공 장치(1)로 지칭하여 본 발명을 상세하게 서술한다. 그러나, 상기 실시예는 단지 예시적인 것으로서, 본 발명이 이에 제한되지 않는 다는 것은 통상의 기술자에게 명백할 것이다.
도 2는, 본 발명의 일 실시예에 따른, 이미지 편집 애플리케이션을 통한 이미지 내 얼굴 변형 방법의 흐름도이다.
도 2를 참조하면, 이미지 편집 애플리케이션 제공 장치(1)는 사용자에게 변형이 적용되는 타겟 이미지, 그리고 변형과 관련된 입력을 수신하기 위한 인터페이스 화면을 제공한다(S100).
도 3은, 본 발명의 일 실시예에 따른, 이미지 편집 애플리케이션의 편집 인터페이스 화면을 도시한 도면이다.
이미지 편집 애플리케이션 제공 장치(1)는 이미지 편집 애플리케이션과 사용자 간의 상호 작용을 위한 편집 인터페이스 화면(100)를 출력부(50)를 통해 사용자에게 제공한다(S100).
도 3을 참조하면, 편집 인터페이스 화면(100)은 타겟 이미지가 표시되는 이미지 표시 영역(110), 그리고 사용자의 입력을 수신하는 메뉴 툴(menu tool)(120) 및 편집 툴(editing tool)(130) 중 하나 이상을 포함한다.
이미지 표시 영역(110)은 타겟 이미지가 표시되는 영역을 나타낸다. 여기서 타겟 이미지는 편집이 적용될 이미지로서, 촬영된 이미지, 또는 외부로부터 수신한 이미지 등을 포함한다. 상기 타겟 이미지는 얼굴의 적어도 일부를 포함한다.
일 실시예에서, 이미지 편집 애플리케이션 제공 장치(1)는 이미지 표시 영역(110)에 타겟 이미지를 표시하기 위해, 타겟 이미지를 호출하는 입력을 수신하고, 상기 호출 입력에 응답하여 해당 타겟 이미지를 표시할 수 있다.
메뉴 툴(120)은 편집과 관련된 인터페이스 설정 입력이 수신되는 영역으로서, 일 실시예에서, 메뉴 툴(120)은 편집 기준을 선택하는 편집 모드 선택창을 포함할 수 있다.
통상적으로 얼굴은 피부 및 피부 아래의 신체 구성요소인 근육, 골격, 혈관 등의 다양한 얼굴 구성요소의 조합에 의해 구현된 머리 일부의 표면을 지칭한다. 얼굴은 얼굴 구성요소(예컨대, 근육의 움직임 등)의 변화가 있는 경우 변형된다. 그러나, 얼굴 구성요소의 변화가 없는 경우에도 얼굴을 바라보는 방향(view point)과 같은 관측 조건, (예컨대, 나이, 키, 몸무게, 머릿결의 색(hair color) 등을 포함한) 얼굴 이외의 객관적인 생리적 요소의 변화, 또는 옷차림, 악세서리, 성격, 목소리 등의 주관적인 생리적 요소의 변화에도 변형된 것으로 간주되는 특수성을 가지고 있다.
이러한 얼굴의 특수성에 기초할 때, 다수의 하위 항목을 포함한, 하나 이상의 편집 기준을 제공함으로써, 보다 세분화되고, 사용자의 니즈(needs)에 부합하도록 타겟 이미지의 얼굴을 변형할 수 있다.
이미지 편집 애플리케이션 제공 장치(1)는 메뉴 툴(120)의 편집 모드 선택창을 통해 사용자가 다양한 편집 기준으로 얼굴을 변형하게 한다.
일 실시예에서, 이미지 편집 애플리케이션 제공 장치(1)는 표정 모드, 포즈 모드, 및 인상 모드 중 하나 이상을 포함한 편집 모드 선택창을 사용자에게 제공한다.
표정 모드는 표정과 관련된 얼굴 변형 동작을 수행할 수 있는 편집 모드를 지칭한다. 예를 들어, 표정 모드에서는 사용자가 원하는 표정에 대한 입력을 수신하고, 상기 원하는 표정을 갖는 얼굴로 타겟 이미지의 얼굴을 편집할 수 있다.
본 명세서에서, 표정은 얼굴의 피부 아래에 있는 근육들의 위치 및/또는 움직임에 기초하여 나타난 얼굴 표면을 지칭한다. 예를 들어, 웃음(smile) 표정은 눈꼬리 부근의 근육, 광대 근육 등의 움직임에 의해 표현될 수 있다.
이러한 표정과 관련된 신체적 얼굴 변형 과정을 해부학적 얼굴 근육으로 분석한 분석 결과를 이용하면 다수의 표정을 다수의 얼굴에 각각 연관시킬 수 있다. 상기 해부학적 분석 결과는 예를 들어, FACS(Facial Action Coding System)을 포함할 수 있으나, 이에 제한되진 않는다.
한편, 인간은 일부 감정을 간접적으로 얼굴을 통해 표현하며, 이러한 감정은 얼굴의 근육들을 제어하여 대부분의 사람들이 공통적인 얼굴 표현으로 구현한다. 따라서, 표정은 감정과 연관되어 지칭될 수 있다. 예를 들어, 놀람(surprising)은 감정이지만, 놀람은 눈 주위의 근육, 입 주의의 근육 등에서 움직임이 있는 표정 또한 나타낸다.
따라서, 표정 모드에서 선택 가능한 하위 항목(즉, 표정 유형)의 일부는 감정으로 지칭되며, 상기 감정의 하위 표정은 감정 자체가 아닌, 상기 감정을 가질 때 얼굴 구성요소를 통해 구현되는 얼굴 구성요소의 움직임을 지칭한다.
일 실시예에서, 표정 유형은, 도 3에 나타난 바와 같이, "행복(happy)", "놀람(surprising)", "무표정(neutral)", "웃음(smile)", "화남(angry)", "슬픔(sad)" 등을 포함할 수 있으나, 이에 제한되진 않는다.
인상 모드는 인상과 관련된 얼굴 변형 동작을 수행할 수 있는 편집 모드를 지칭한다. 이미지 편집 애플리케이션 제공 장치(1)는 미리 저장된 인상-얼굴 테이블을 이용하여 인상 모드에서의 얼굴 변형 동작을 수행할 수 있다. 여기서, 인상-얼굴 테이블은 인상별 얼굴 모델(또는 해당 인상 얼굴 모델) 및/또는 각 인상과 연관된 데이터를 포함한다.
여기서, 인상은 얼굴이 나타내는 분위기 등을 포함한, 얼굴에 기초한 주관적인 평가를 지칭한다. 예를 들어, 얼굴에 나타난 인상은 "무섭다", "예쁘다", "귀엽다", "어려보인다", "늙어보인다", "차가워 보인다", "호감형이다", "지적이다", "쎄다" 등으로 지칭될 수 있다.
따라서, 인상 유형은, 예를 들어, "무섭다", "예쁘다", "귀엽다", "어려보인다", "늙어보인다", "차가워 보인다", "호감형이다", "지적이다", "쎄다" 등을 포함할 수 있으나, 이에 제한되진 않는다.
포즈 모드는 포즈와 관련된 얼굴 변형 동작을 수행할 수 있는 편집 모드를 지칭한다. 이미지 편집 애플리케이션 제공 장치(1)는 미리 저장된 포즈-얼굴 테이블을 이용하여 포즈 모드에서의 얼굴 변형 동작을 수행할 수 있다. 여기서, 포즈-얼굴 테이블은 각 포즈와 연관된 얼굴 정보를 포함한다.
여기서, 포즈는 촬영자(예컨대, 카메라)와 피사체(예컨대, 얼굴) 간의 상대적인 방향 및/또는 각도에 기초하여 나타난 얼굴 표면을 지칭하며, 또는 머리의 랜덤한 3차원 회전을 나타낸다. 예를 들어, 포즈는 카메라가 정면 방향으로 똑바로 얼굴을 향한 상태에서 상하좌우 등으로 회전한 얼굴을 포함할 수 있다.
포즈 유형은 얼굴 내 회전의 축에 따라 분류될 수 있다. 일 실시예에서, 포즈 유형은 서로 수직 관계를 갖는 제1 축, 제2 축, 및 제3 축을 포함한다. 예를 들어, 포즈는 얼굴의 정면 방향을 나타내는 일 축(예컨대, Roll 축), 얼굴의 평면 방향을 나타내는 일 축(예컨대, Yaw 축), 및 얼굴의 단면 방향을 나타내는 일 축(예컨대, Pitch 축)으로 분류될 수 있으나, 이에 제한되지 않으며, 다른 기준에 의해 분류될 수 있다.
이미지 편집 애플리케이션 제공 장치(1)는 도 3의 인터페이스 화면(100)을 통해 입력을 수신하고, 수신된 명령에 기초하여 얼굴 변형 명령을 생성한다(S200). 일 실시예에서, 이미지 편집 애플리케이션 제공 장치(1)는 하위 항목을 결정한 후, 타겟 이미지가 결정된 하위 항목에 해당하는 얼굴을 갖도록 하는 얼굴 변형 명령을 생성한다(S200). 얼굴 변형 명령은 결정된 항목에 대한 얼굴 모델 및/또는 결정된 항목에 관련된 데이터를 포함한다.
이어서, 얼굴 변형 명령에 기초하여 타겟 이미지의 얼굴을 변형한 변형 이미지를 생성한다(S300).
도 4는, 본 발명의 일 실시예에 따른, 얼굴의 변형 동작을 설명하기 위한 도면이다.
도 4를 참조하면, 타겟 이미지의 얼굴을 변형하는 단계(S300)는 타겟 이미지의 얼굴에서 특징점을 추출하는 단계(S310), 미리 설정된 기준 얼굴 모델의 특징점 및 상기 타겟 이미지의 추출된 특징점에 기초하여 상기 기준 얼굴 모델을 상기 타겟 이미지의 얼굴에 정합함으로써, 타겟 이미지의 2차원 얼굴을 3차원 얼굴 모델로 모델링하는 단계(S320), 상기 타겟 이미지의 얼굴의 3차원 얼굴 모델을 메쉬 처리하는 단계(S330), 상기 타겟 이미지의 얼굴의 3차원 얼굴 모델의 얼굴을 초기 설정 얼굴로 변환하는 단계(S340), 및 상기 타겟 이미지의 얼굴의 3차원 얼굴 모델에 얼굴 변형 명령을 적용하여 변형된 얼굴을 갖는 3차원 얼굴 모델을 생성하는 단계(S350)를 포함한다.
그 후, 3차원 모델인 변형 얼굴 모델을 2차원 이미지로 재구성하여 2차원 변형 얼굴을 생성한 뒤(S360), 타겟 이미지와 결합하여 변형 얼굴을 갖는 변형 이미지를 생성한다(S370). 그러면 상기 변형 이미지를 표시하여 사용자에게 제공한다(S400).
또한, 메뉴 툴(120)은 기 선택한 모드에서 얼굴을 변형하다가, 선택된 모드를 초기화하도록 구성된다. 예를 들어, 이미지 편집 애플리케이션 제공 장치(1)는 도 3에 도시된 바와 같이, 사용자가 특정 부분(즉, 리셋 버튼)을 터치할 경우, 모드 선택을 초기화하는 동작을 수행하도록 구성될 수 있다.
이하, 표정 모드에서의 얼굴 변형 동작을 제1 실시예로, 인상 모드에서의 얼굴 변형 동작을 제2 실시예로, 포즈 모드에서의 얼굴 변형 동작을 제3 실시예로 지칭하여 본 발명을 보다 상세하게 서술한다.
제1 실시예
도 2 및 4를 참조하면, 이미지 편집 애플리케이션 제공 장치(1)는 우선 메뉴 툴(120)을 통해 표정 모드에 대한 사용자 입력을 수신한다(S210).
그러면, 이미지 편집 애플리케이션 제공 장치(1)는 미리 설정된 표정 유형에 기초하여 편집 툴(130)을 구성하여 표시하고, 표정 유형에 대한 입력을 더 수신한 뒤, 해당 표정 유형을 결정한다(S220).
단계(S210)에서 표정 모드에 대한 사용자 입력이 수신된 경우, 예를 들어, 도 3의 편집 툴(130)이 표시되고, 6개의 표정 유형에서 하나의 표정 유형이 선택될 수 있다(S220).
일 실시예에서, 상기 입력이 터치 입력인 경우, 입력에 대응하는 편집 모드 및/또는 하위 항목(예컨대, 표정 유형)의 결정은 입력 위치에 기초하여 수행된다. 예를 들어, 입력 위치가 화면(100)에 표시된 특정 영역 내부 또는 특정 영역의 인근인 경우 상기 특정 영역에 연관된 기능이 입력에 대응하는 것으로 결정될 수 있다.
일 실시예에서, 상기 편집 툴(130)은 변형 강도를 더 결정하게 하는 입력을 수신하도록 더 구성될 수 있다.
도 5는, 본 발명의 일 실시예에 따른, 편집 툴을 통한 변형 강도에 대한 입력을 설명하기 위한 도면이다.
도 5를 참조하면, 이미지 편집 애플리케이션 제공 장치(1)는 편집 인터페이스 화면(100)의 편집 툴(130)을 통해 표정 유형에 대하여 얼굴 변형의 강도를 제어하는 입력을 수신하도록 더 구성될 수 있다.
일 실시예에서, 상기 변형 강도를 제어하기 위한 입력은 스와이프 입력일 수 있다. 상기 스와이프 입력은 변형 강도의 증가를 위한 스와이프 입력 및/또는 변형 강도의 감소를 위한 스와이프 입력을 포함한다.
예를 들어, 변형 강도의 증가를 위한 스와이프 입력은 도 5의 시계 방향의 스와이프 입력(I)으로 설정될 수 있고, 변형 강도의 감소를 위한 스와이프 입력은 도 5의 반시계 방향의 스와이프 입력(D)으로 설정될 수 있다.
이 경우, 스와이프 입력을 정확하게 결정하기 위해, 편집 툴(130)에는 표정 유형별 스와이프 입력의 범위(예컨대, 시작점 및 종착점)이 설정될 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 6개의 표정 유형이 편집 툴(130)에 포함된 경우, 표정 유형 사이의 경계선에 기초하여 표정 유형별 스와이프 입력의 범위가 설정된다.
도 5와 같이 입력 범위가 설정된 경우, 놀람 영역의 시작점에서 종착점까지의 시계 방향의 스와이프 입력(I)을 수신하면, 이미지 편집 애플리케이션 제공 장치(1)는 변형 강도가 100%인 놀람 표정을 갖는 변형 이미지가 생성된다.
일부 실시예에서, 시작점에서 종착점 방향의 스와이프 입력만 변형 강도로 결정되며, 시작점에서 그 반대 방향으로의 스와이프 입력은 변형 강도로 결정되지 않는다.
또한, 사용자에게 변형 강도에 대한 정보를 효율적으로 제공하기 위해, 스와이프 입력의 궤적에 기초하여 변형 강도를 나타내는 정보가 화면(100)에 표시될 수 있다. 상기 변형 강도를 나타내는 강도는 도 5에 도시된 바와 같이 편집 툴(130) 내에 표시될 수 있으나, 이에 제한되지 않는다. 예를 들어, 도 5와 달리 편집 모드 내 하위 항목을 나타내는 전체 영역에 강도가 표시될 수도 있거나, 또는 편집 툴(130) 외부에 표시될 수 있다.
상기 스와이프 입력은 표정 유형을 선택하기 위한 입력과 순차적이거나, 또는 비순차적으로 수신될 수 있다. 여기서 비순차적 수신은 한번의 터치 입력에 의한 수신을 나타낸다.
그러나, 상기 변형 강도의 제어 입력의 유형 및 세기 결정 방식은 단지 예시적인 것으로서, 이에 제한되지 않는다.
다시 도 4를 참조하면, 결정된 표정 유형을 갖는 이미지를 생성하기 위해 얼굴 변형 명령을 생성한다(S230).
일 실시예에서, 표정 유형이 결정된 경우, 상기 얼굴 변형 명령은 얼굴의 표정 변형 명령으로서, 상기 결정된 표정 유형에 대해 미리 저장된 얼굴 모델(또는 "표정 유형별 얼굴 모델"), 상기 표정 유형별 얼굴 모델의 특징점, 거리 벡터, 표정 값 등을 포함한다. 이미지 편집 애플리케이션 제공 장치(1)는 상기 얼굴의 표정 변형 명령을 생성하기 위해 미리 저장된 표정-얼굴 테이블을 이용할 수 있다.
상기 표정-얼굴 테이블은 하나 이상의 표정 유형, 및 각 표정유형별 얼굴 모델을 포함한다. 예를 들어, 표정-얼굴 테이블은 슬픔에 대한 얼굴 모델, 행복에 대한 얼굴 모델 등을 포함한다. 일부 실시예에서, 표정-얼굴 테이블은 표정 유형별 얼굴 모델과 관련된 데이터(예컨대, 거리 벡터, 표정 값, 특징점 등)를 더 포함한다.
표정 유형별 얼굴 모델은 설계자에 의해 지정되거나, 또는 다수의 샘플에 대한 다수의 평가자의 평가 결과에 기초하여 결정될 수 있다.
얼굴 모델은 3차원 얼굴 모델로서, SVD(Singular Value Decomposition), HOSVD(High Order Singular Value Decomposition) 등의 데이터 분석 방법을 통해 다수의 샘플 이미지에서 형상별 그리고 표정별로 분석되어 형성될 수 있다.
한편, 3차원 얼굴 모델은 다음의 수학식과 같이 표현될 수 있다.
[수학식 1]
V=g(Cr,wid,wexp)
여기서, wid 는 얼굴 형상과 관련된 얼굴 정체성 값, wexp는 얼굴 표정과 관련된 얼굴 표정 값이고, Cr는 SVD, HOSVD 등을 통해 학습된 얼굴 특징 분포의 학습 모델이며, 함수 g()는 다양한 방식으로 전개될 수 있다.
즉, 표정 유형별 얼굴 모델은 표정 유형을 구현하도록 핵심 구조 모델에 해당되는 Cr에 wid 및/또는 wexp의 값을 변화시켜 생성될 수 있다.
특징점은 얼굴의 특징을 나타낼 수 있는 랜드마크 포인트로서, 얼굴 윤곽, 눈썹 부분, 눈 부분, 코 부분, 입 부분 등에 통상적으로 위치한다. 상기 특징점은 절대적인 좌표로서 식별되지 않으며, 얼굴에서의 눈의 위치와 같은, 얼굴 내 상대적인 위치(즉, 특징점의 의미)에 의해 식별된다.
일 실시예에서, 얼굴의 표정 변형 명령은 표정 유형별 얼굴 모델, 표정 유형별 얼굴 모델의 표정 값, 변형 강도 중 하나 이상을 포함할 수 있다(S230).
이어서, 이미지 편집 애플리케이션 제공 장치(1)는 생성된 얼굴의 표정 변형 명령을 타겟 이미지의 얼굴에 적용한다(S300).
단계(S300)에서, 얼굴의 표정 변형 명령은 타겟 이미지를 3차원 모델링한 얼굴 모델(또는 "타겟 얼굴 모델")에 적용된다. 이를 위해, 이미지 편집 애플리케이션 제공 장치(1)는 타겟 이미지의 2차원 얼굴에 기초하여 타겟 얼굴 모델을 생성하고, 변형 이미지를 생성한다(S310 내지 S350).
이미지 편집 애플리케이션 제공 장치(1)는 단계(S300) 이전에 타겟 이미지를 수신하고, 타겟 이미지에 포함된 얼굴에서 얼굴 특징점을 추출한다(S310).
일부 실시예에서, 얼굴 특징점(예컨대, 특징점의 의미, 개수 등)은 미리 설정될 수 있다. 예를 들어, 단계(S310)에서 추출되는 특징점은 아래의 기준 얼굴 모델의 특징점에 대응되도록 추출될 수 있다.
단계(S310)에서는 특징점이 얼굴의 어느 지점에 위치하는지 훈련(training)된 특징점 추출 알고리즘을 이용하여 타겟 이미지의 얼굴에서 특징점을 추출한다.
상기 특징점 추출 알고리즘은, 예를 들어, CLM(Constrained Local Model), SDM(Supervised Descent Method), AAM(Active Appearance Model), ASM(Active Shape Model), Haar, NN(Neural Network), SVM(Support Vector Machine), Gabor, SIFT(Scale Invariant Feature Transform) 등을 포함할 수 있으나, 이에 제한되지 않는다.
도 6은, 본 발명의 일 실시예에 따른, 특징점 추출 결과를 도시한 도면이다.
도 6를 참조하면, 단계(S310)의 수행 결과 타겟 이미지의 얼굴에서 도 6에 도시된 바와 같이 특징점이 추출된다.
일부 실시예에서, 이미지 편집 애플리케이션 제공 장치(1)는 단계(S310)에서, 타겟 이미지에서 얼굴이 존재할 것으로 예상되는 얼굴 영역을 추출하는 동작을 더 수행할 수 있다.
다시 도 4를 참조하면, 단계(S310) 이후, 2차원 타겟 이미지의 얼굴을 3차원 얼굴 모델로 모델링한다(S320).
일 실시예에서, 타겟 얼굴 모델을 생성하기 위해, 이미지 편집 애플리케이션 제공 장치(1)는 미리 저장된 기준 얼굴 모델을 타겟 이미지의 2차원 얼굴에 정합한다(S320).
도 7은, 본 발명의 일 실시예에 따른, 기준 얼굴 모델을 설명하기 위한 도면이다.
도 7을 참조하면, 기준 얼굴 모델은 3차원으로 미리 형성된 얼굴 모델로서, 복수의 특징점을 포함한다. 기준 얼굴 모델은 SVD(Singular Value Decomposition), HOSVD(High Order Singular Value Decomposition) 등의 데이터 분석 방법을 통해 다수의 샘플 이미지에서 형상별 그리고 표정별로 분석되어 형성될 수 있다.
상기 기준 얼굴 모델 또한 3차원 얼굴 모델이므로, 전술한 수학식 1을 참조하여 표현될 수 있다. 상기 수학식 1로 표현 가능한 기준 얼굴 모델은 텐서 연산에 의해 다음의 수학식과 같이 다시 표현될 수 있다.
[수학식 2]
Figure pat00001
상기 텐서 연산은 얼굴 모델에 있어 얼굴 정체성 값, 얼굴 표정 값을 파라미터화(parametrized)하기 위한 연산이다.
상기 수학식 2에 기초할 때, 기준 얼굴 모델의 특징점 k는 V(k)로 표현될 수 있다. 여기서 특징점 k는 얼굴 윤곽의 특징점과 같은, 특징점의 의미로 식별된다.
한편, 상기 기준 얼굴 모델에 타겟 이미지의 얼굴의 특징점을 투영한 타겟 얼굴 모델 P는 다음의 수학식과 같이 표현될 수 있다.
[수학식 3]
P = sRV + t
여기서, s는 얼굴 크기(scale)에 해당하는 값, R은 얼굴 회전(rotation)에 해당하는 값, t는 얼굴 위치에 해당하는 값을 나타낸다. 즉, 이미지 편집 애플리케이션 제공 장치(1)는 타겟 이미지의 얼굴의 추출된 특징점을 기준 얼굴 모델 V에 투영하여 초기 타겟 얼굴 모델 P를 생성하고, 이어서 기준 얼굴 모델 V을 크기(s), 회전(r), 위치(t)를 조정하여 실제 타겟 이미지의 얼굴에 정합한 타겟 얼굴 모델 P를 생성한다.
상기 타겟 얼굴 모델 P의 특징점 k는 P(k)로 표현될 수 있다.
정합 동작 초기에는 타겟 이미지의 2차원 얼굴이 기준 얼굴 모델과 상이하므로, 상기 타겟 이미지의 특징점을 기준 얼굴 모델에 투영하면, 동일한 의미를 갖는 특징점에 있어서 타겟 이미지의 2차원 얼굴에서 추출된 단계(S310)의 특징점의 위치와 기준 얼굴 모델의 특징점의 위치가 일치하지 않는다.
단계(S320)에서 이미지 편집 애플리케이션 제공 장치(1)는 상기 특징점 간의 차이를 감소시키기 위해 기준 얼굴 모델의 형상을 보정하면, 3차원 기준 얼굴 모델의 특징점이 2차원 타겟 이미지의 얼굴의 특징점과 위치가 일치하게 된다.
일 실시예에서, 특징점k 간의 차이(Errork)는 아래의 식에 의해 산출되며, 이미지 편집 애플리케이션 제공 장치(1)는 상기 수학식에 의한 계산을 반복하여 기준 얼굴 모델의 특징점을 타겟 이미지의 얼굴의 특징점에 정합한다.
[수학식 4]
Figure pat00002
이러한 정합 동작에 의해 도 6의 기준 얼굴 모델은 타겟 이미지의 얼굴의 3차원 형상과 정합되도록 변형되고, 결국 타겟 이미지의 얼굴에 대한 3차원 모델이 생성된다(S320).
한편, 수학식 1 내지 4을 통해, 정합 과정에서 타겟 얼굴 모델의 얼굴 형상 정보, 표정 정보, 크기 정보, 회전 정보, 위치 정보 등이 획득될 수 있다.
이미지 편집 애플리케이션 제공 장치(1)는 단계(S320)에서 생성된 타겟 얼굴 모델을 3D 메쉬화 처리한다(S330). 상기 3D 메쉬화 처리는 타겟 얼굴 모델의 특징점에서 삼각형 형태의 메쉬를 생성하고, 상기 메쉬에 기초하여 타겟 이미지의 얼굴을 분할하는 처리 과정을 지칭한다. 상기 3D 메쉬화 처리는 예를 들어, 들로네 삼각 분할(delaunay triangulation) 방식에 의해 수행될 수 있으나, 이에 제한되진 않는다.
또한, 삼각형 형태의 메쉬를 생성하기 위해 이용된 특징점들 간의 거리 벡터를 더 획득할 수 있다.
이미지 편집 애플리케이션 제공 장치(1)는 타겟 이미지의 얼굴을 변형하기 이전에 초기 상태로 설정한다(340). 일 실시예에서, 초기 상태는 정면 및 무표정 상태일 수 있다.
정면 상태는 단계(S320)에서 획득된 얼굴의 회전 정보를 이용하여 설정될 수 있다. 구체적으로, 획득된 타겟 얼굴 모델에 역산(inverse operation)을 적용하여 메쉬화된 타겟 얼굴 모델을 정면으로 회전시킴으로써 정면 상태의 타겟 얼굴 모델이 획득될 수 있다(S340).
무표정 상태는 타겟 얼굴 모델에 무표정을 나타내는 표정 값을 이용하여 설정될 수 있다.
상기 무표정을 나타내는 표정 값은 미리 설정된 표정 값으로서, 예를 들어, 특정 무표정 얼굴 모델로부터 획득된 표정 파라미터 값이거나, 또는 다수의 표정을 갖는 다수의 샘플에 기초하여 각각의 표정에 대한 표정 값을 획득함으로써 산출된 각 표정 값의 평균일 수도 있다.
무표정 상태의 타겟 얼굴 모델은 타겟 얼굴 모델의 형태 값(wid)은 유지한 채 상기 타겟 얼굴 모델의 표정 값(wexp)에 상기 무표정을 나타내는 표정 값을 대입하여 획득될 수 있다.
이미지 편집 애플리케이션 제공 장치(1)는 단계(S200)의 얼굴 변형 명령에 포함된 변형 정보를 상기 초기 상태로 설정된 타겟 얼굴 모델에 적용하여 변형된 얼굴을 갖는 타겟 얼굴 모델을 생성한다(S350).
일 실시예에서, 상기 얼굴 변형 명령이 해당 표정 유형의 표정 값을 포함한 경우, 사용자가 원하는 얼굴로 변형된 타겟 얼굴 모델(또는 "변형 얼굴 모델")을 생성하기 위해, 상기 표정 값을 상기 타겟 얼굴 모델에 적용하여 변형 얼굴 모델을 생성한다(S350).
다른 일 실시예에서, 상기 얼굴 변형 명령은 결정된 표정 유형에 대한 얼굴 모델을 포함한 경우, 상기 표정 유형에 대한 얼굴 모델에서 표정 값을 추출한 이후에 추출된 표정 값을 상기 타겟 얼굴 모델에 적용할 수 있다(S350).
전술한 과정들을 통해, 이미지 편집 애플리케이션 제공 장치(1)는 사용자가 선택한 표정을 갖는 얼굴 모델(즉, 변형 얼굴 모델)을 생성한다(S350).
또한, 상기 얼굴 변형 명령이 변형 강도를 더 포함하는 경우, 표정 값에 해당 변형 강도를 더 반영하여 타겟 얼굴 모델에 적용할 수 있다(S350).
일 실시예에서, 상기 변형 강도를 반영한 타겟 얼굴 모델을 생성하기 위해, 표정별 얼굴 모델은 하나 이상의 하위 중간 모델(또는 "표정 강도별 얼굴 모델") 및/또는 각 표정 강도별 얼굴 모델과 관련된 데이터(예컨대, 표정 값 등)을 더 포함할 수 있다.
예를 들어, "웃음"의 경우, 웃는 강도에 따라 얼굴에서 구현되는 웃는 표정이 상이하다. 통상적으로 웃는 표정의 강도는 살짝 입을 벌리는 웃음, 치아를 활짤 드러낸 웃음 순으로 강도가 강해질 것이다.
표정-얼굴 테이블은 각 표정에 있어 하나 이상의 표정 강도별 얼굴 모델을 중간 모델로 더 포함하고, 표정 강도에 대한 입력에 기초하여 입력에 대응하는 표정 강도별 얼굴을 결정한뒤, 상기 결정된 표정 강도별 얼굴 모델의 표정 값을 타겟 얼굴 모델에 적용하여 표정을 변화시킬 수 있다.
도 8은, 본 발명의 일 실시예에 따른, 표정 강도를 제어하기 위한 입력을 결정하는 과정을 도시한 도면이다.
도 8을 참조하면, 이미지 편집 애플리케이션 제공 장치(1)는 스와이프 입력의 궤적에 기초하여 표정 강도를 제어하기 위한 입력을 결정한다.
일 실시예에서, 이미지 편집 애플리케이션 제공 장치(1)는 스와이프 입력의 방향 및 각도를 이용하여 표정 강도를 결정한다. 상기 스와이프 입력의 각도는 표정 유형별 하위 모델의 수에 기초할 수 있다.
편집 모드 내 서브 항목에 있어서, 각 서브 항목에 연관된 표시 영역이 중심각 각도(θ)를 갖도록 형성된 경우, 스와이프 입력에 의한 각도(δ)는 다음의 수학식에 의해 결정된다. 상기 각도(δ)는 스와이프 입력의 시작점으로부터의 각도를 나타낸다.
[수학식 5]
Figure pat00003
여기서, Nsub-item 은 각 편집 모드 내 하위 항목(예컨대, 표정 모드 내 표정 유형, 인상 모드 내 인상 유형)의 수, Nsub-model 은 각 하위 항목 내 하위 모델(예컨대, "행복"에 연관된 하위 모델들)의 수를 나타낸다.
예를 들어, 표정 모드가 선택되면 편집 툴(130)은 복수의 표정 유형을 포함한 예시에 있어서, 표정-얼굴 테이블에, 도 8의 중심각 각도(θ)가 0 내지 π인 특정 표정 유형과 관련하여, 상기 특정 표정 유형에 (2개의 중간 모델을 포함한) 3개의 하위 모델을 포함한 경우, 스와이프 입력의 각도(δ)에 따른 하위 모델은 다음과 같이 결정된다: 스와이프 입력 궤적이 시작점에서 종착점까지의 궤적 중 시작점에서 1/3 지점까지는 (π/4≤δ<π/6) 제1 중간 모델, 1/3 지점부터 2/3 지점까지는 (π/6≤δ<π/12) 제2 중간 모델, 2/3지점부터 종착점까지는 (π/12≤δ<0) 전술한 웃음에 대한 기준 얼굴 모델일 수 있다.
도 9는, 본 발명의 일 실시예에 따른, 표정 변화 동작 및 변형 강도를 설명하기 위한 도면이다.
도 9를 참조하면, 사용자가 원하는 표정 유형으로 "행복"을 선택한 경우, 초기 상태로 설정된 무표정한 타겟 얼굴 모델(a)이 모델(c)와 같이 "행복"을 구현하도록 재구성된다.
만약 변형 강도가 100%가 아닌 경우, 타겟 얼굴 모델(a)는 모델(b)와 같이 "행복"을 일부 구현하도록 재구성된다.
이와 같이 스와이프 입력 궤적을 이용하면, 해당되는 하위 모델의 표정 값이 결정되고, 해당 하위 모델의 표정 값을 이용하여 원하는 정도의 표정을 갖는 변환 얼굴 모델이 생성된다(S350).
그 후, 3차원 모델인 변형 얼굴 모델을 2차원 이미지로 재구성하여 2차원 변형 얼굴을 생성한 뒤(S360), 타겟 이미지와 결합하여 변형 얼굴을 갖는 변형 이미지를 생성한다(S370).
이미지 편집 애플리케이션 제공 장치(1)는 생성된 변형 이미지를 표시하여 사용자에게 제공한다(S400).
이미지 편집 애플리케이션 제공 장치(1)는 단계(S300)에 의해 변형이 적용된 타겟 이미지를 사용자에게 제공한다(S400).
전술한 동작들을 수행하도록 구성된 얼굴 변형 인터페이스를 통해 사용자는 모바일 기기에서 인물 이미지를 손쉽게 변형할 수 있다.
제2 실시예
본 발명의 제2 실시예에 따른 타겟 이미지의 얼굴의 인상을 변형하는 동작은 제1 실시예에 따른 타겟 이미지의 얼굴의 표정을 변형하는 동작과 상당부분 유사하므로, 차이점을 위주로 설명한다.
다시 도 2 및 도 4를 참조하면, 이미지 편집 애플리케이션 제공 장치(1)는 우선 메뉴 툴(120)을 통해 타겟 이미지의 인상을 편집하기 위해 인상 모드에 대한 사용자 입력을 수신한다(S210).
그러면, 이미지 편집 애플리케이션 제공 장치(1)는 미리 설정된 인상 유형에 기초하여 편집 툴(130)을 구성하여 표시하고, 인상 유형에 대한 입력을 더 수신한 뒤, 해당 인상 유형을 사용자가 원하는 인상으로 결정한다(S220).
일 실시예에서, 단계(S220)에서 이미지 편집 애플리케이션 제공 장치(1)는 인상의 변형 강도에 대한 입력을 더 수신하고, 사용자가 제어하고자 하는 변형 강도를 결정할 수 있다.
이미지 편집 애플리케이션 제공 장치(1)는 결정된 인상 유형을 갖는 얼굴을 생성하기 위해 얼굴 변형 명령을 생성한다(S230).
일 실시예에서, 인상 유형이 결정된 경우, 상기 얼굴 변형 명령은 얼굴의 인상 변형 명령으로서, 상기 결정된 인상 유형에 대해 미리 저장된 얼굴 모델(또는 "인상 유형별 얼굴 모델"), 상기 인상 유형별 얼굴 모델의 특징점, 거리 벡터, 인상 추정 함수 등을 포함한다. 이미지 편집 애플리케이션 제공 장치(1)는 상기 얼굴의 인상 변형 명령을 생성하기 위해 미리 저장된 인상-얼굴 테이블을 이용할 수 있다.
상기 인상-얼굴 테이블은 하나 이상의 인상 유형, 및 각 인상유형별 얼굴 모델을 포함한다. 예를 들어, 인상-얼굴 테이블은 귀여움에 대한 얼굴 모델, 호감상에 대한 얼굴 모델 등을 포함한다. 일부 실시예에서, 인상-얼굴 테이블은 인상 유형별 얼굴 모델과 관련된 데이터(예컨대, 거리 벡터, 인상 추정 함수, 특징점 등)를 더 포함한다.
상기 인상-얼굴 테이블은 하나 이상의 인상 유형, 및 각 인상 유형별 얼굴 모델을 포함한다. 예를 들어, 인상-얼굴 테이블은 "귀엽다"에 대한 얼굴 모델, "차가워 보인다"에 대한 얼굴 모델을 포함한다. 일부 실시예에서, 인상-얼굴 테이블은 인상 유형별 얼굴 모델에 관련된 데이터(예컨대, 거리 벡터, 특징점, 인상 추정 함수 등)를 포함한다.
인상 유형별 얼굴 모델은 설계자에 의해 지정되거나, 또는 다수의 샘플에 대한 다수의 평가자의 평가 결과에 기초하여 결정될 수 있다.
인상 추정 함수는 인상 유형별 다수의 샘플을 이용하여 미리 기계학습된 함수로서, 타겟 이미지의 얼굴이 갖고 있는 인상을 원하는 인상으로 변형하기 위해 사용된다. 상기 인상 추정 함수는 기계 학습에 이용된 샘플에 기초하여 인상 유형이 결정된다. 상기 인상-얼굴 테이블은 귀여움에 대한 인상 추정 함수, 호감상에 대한 인상 추정 함수 등을 포함할 수 있다.
상기 인상 추정 함수는 최소 학습 에러를 가질수록 원하는 인상에 가까운 인상을 갖는 얼굴 모델을 생성하도록 설계된다. 상기 인상 추정 함수에 대해서는 아래의 단계(S360)에서 보다 상세하게 서술한다.
일 실시예에서, 얼굴의 인상 변형 명령은 인상 유형별 얼굴 모델, 인상 유형별 인상 추정 함수, 변형 강도 중 하나 이상을 포함할 수 있다(S230).
이어서, 이미지 편집 애플리케이션 제공 장치(1)는 생성된 얼굴의 인상 변형 명령을 타겟 이미지의 얼굴에 적용한다(S300).
단계(S300)에서, 타겟 이미지의 얼굴이 갖는 인상을 사용자가 원하는 인상으로 변형하기 위해 수행되는 동작 중 일부 동작(S310 내지 S340)은 제1 실시예에서 서술하였는바 자세한 설명은 생략한다.
이미지 편집 애플리케이션 제공 장치(1)는 얼굴의 인상 변형 명령을 타겟 얼굴 모델에 적용하여 변형된 인상을 갖는 변형 얼굴 모델을 생성한다(S350).
전술한 바와 같이, 얼굴의 인상 변형 명령은 인상 유형별 인상 추정 함수를 포함할 수 있다. 이 경우, 이미지 편집 애플리케이션 제공 장치(1)는 상기 타겟 얼굴 모델의 거리 벡터를 상기 결정된 인상 유형별 인상 추정 함수에 적용하여 변화 값을 산출한다. 여기서, 변화 값은 타겟 얼굴 모델이 원하는 인상을 갖기 위해 타겟 얼굴 모델의 특징점 및/또는 거리 벡터가 변화해야 하는 값을 나타낸다.
그 후, 상기 산출된 변화 값에 기초하여 타겟 얼굴 모델의 특징점 및/또는 거리 벡터를 변화시킴으로써 사용자가 원하는 얼굴 인상을 갖는 변형 얼굴 모델을 생성한다.
상기 인상 추정 함수는 복수의 인상을 갖는 샘플을 이용하여 미리 학습된 함수로서, 상기 샘플은 인상이 표현된 학습용 얼굴 이미지, 상기 학습용 얼굴 이미지에 연관된 인상 값, 및 학습용 얼굴 이미지에 기초한 학습용 얼굴 모델의 거리 벡터를 포함한다. 여기서, 인상 값은 해당 얼굴 이미지가 갖는 인상에 대응하는 값으로서, 일부 실시예에서, 인상의 하위 항목(예컨대, 귀여움, 동안, 예쁨, 호감상, 지적, 노안, 부드러움, 화남, 무서움)에 대해 미리 설정 인상 값이 할당되어 있을 수 있다.
상기 인상 추정 함수는 상기 인상 샘플을 이용하여 기계 학습됨으로써 생성된다. 예를 들어, SVR(support vector regression)을 통해 기계 학습되어 생성될 수 있으나, 이에 제한되진 않는다.
이와 같이 생성된 인상 추정 함수는 최소 학습 에러를 가질수록 원하는 인상에 가까운 인상을 갖는 얼굴 모델을 생성하도록 설계된다. 예를 들어, 귀여움에 대한 인상 추정 함수에 타겟 얼굴 모델의 거리 벡터를 적용하여 최소 학습 에러를 갖는 변화 값을 산출한 경우, 타겟 얼굴 모델이 귀여움을 나타내는 인상을 갖는데 요구되는 변화 값이 산출된다. 상기 산출된 변화 값에 기초하여 타겟 얼굴 모델의 특징점 및/또는 거리 벡터를 변화시키면, 귀여움을 나타내는 인상을 갖는 변형 얼굴 모델이 생성된다(S350).
일 실시예에서, 상기 얼굴의 인상 변형 명령이 인상의 변형 강도를 포함하는 경우, 상기 변형 강도에 기초하여 인상 변형의 강도가 제어된 변형 이미지가 생성될 수 있다.
일 실시예에서, 상기 얼굴의 인상 변형 강도는 초기 설정된 타겟 얼굴 모델의 거리 벡터에서 인상 추정 함수에 기초하여 생성된 타겟 얼굴 모델의 거리 벡터 간의 차이에 기초하여 설정될 수 있다. 구체적으로, 초기 설정된 타겟 얼굴 모델의 거리 벡터에서 인상 추정 함수에 기초하여 생성된 타겟 얼굴 모델의 거리 벡터 간의 차이에 기초하여 변형 강도에 대응하는 변화 값을 (즉, 변형 강도만큼의 인상을 갖기 위해 거리 벡터 및/또는 특징점이 움직여야 할 값을) 산출한 뒤, 상기 변형 강도에 대응하는 변화 값에 기초하여 변형 얼굴 모델을 생성한다.
예를 들어, 인상 변형에 있어 변형 강도가 100%인 경우는, 인상 추정 함수로부터 산출된 변화량에 의해 생성된 타겟 얼굴 모델의 거리 벡터와 초기 설정된 타겟 얼굴 모델의 거리 벡터 간의 차이일 수 있다.
다른 일 예에서, 변형 강도가 50%인 경우는, 상기 100%에 대응하는 거리 벡터 간 차이의 50%에 해당하는 거리 벡터 차이일 수 있다.
그 후, 변형 얼굴 모델에 기초하여 상기 변형된 인상을 갖는 이미지(즉, 변형 이미지)를 생성하고(S360 내지 S370), 이를 표시한다(S400).
도 10은, 본 발명의 일 실시예에 따른, 인상 변형 동작 결과를 도시한 도면이다.
도 10을 참조하면, 사용자가 원하는 인상으로 100% 인상 변형 강도로 "쎄보인다"를 선택한 경우, 전술한 단계(S200 내지S300)에 의해 타겟 이미지의 얼굴이 쎈 인상을 갖도록 변화한다.
제3 실시예
본 발명의 제3 실시예에 따른 타겟 이미지의 얼굴의 포즈를 변형하는 동작은 제1 실시예에 따른 타겟 이미지의 얼굴의 표정을 변형하는 동작과 상당부분 유사하므로, 차이점을 위주로 설명한다.
다시 도 2 및 도 4를 참조하면, 이미지 편집 애플리케이션 제공 장치(1)는 우선 메뉴 툴(120)을 통해 타겟 이미지의 포즈를 편집하기 위해 포즈 모드에 대한 사용자 입력을 수신한다(S210).
그러면, 이미지 편집 애플리케이션 제공 장치(1)는 미리 설정된 포즈 유형에 기초하여 편집 툴(130)을 구성하여 표시하고, 포즈 유형에 대한 입력을 더 수신한 뒤, 해당 포즈 유형을 사용자가 원하는 포즈로 결정한다(S220).
일 실시예에서, 포즈 모드에서 표시되는 편집 툴(130)은 특정 포즈 유형에 대한 변형 명령을 수신하도록 구성될 수 있다.
도 11은, 본 발명의 일 실시예에 따른, 특정 포즈 유형을 선택하도록 구성된 편집 툴을 도시한 도면이다.
도 11을 참조하면, 편집 툴(130)은 가능한 포즈 유형 중 하나(예컨대, yaw 축)에 대한 포즈 변형 입력을 수신하도록 구성될 수 있다.
이 경우, 얼굴 변형 명령을 생성하는데 있어, 포즈 유형은 표시된 회전 축으로 자동으로 결정될 수 있다.
또한, 편집 툴(130)은 도 11에 도시된 바와 같이, 회전 방향 및/또는 회전 강도에 대한 입력을 더 수신하도록 구성될 수 있다. 구체적으로, 단계(S220)에서 이미지 편집 애플리케이션 제공 장치(1)는 포즈의 변형 강도에 대한 입력을 더 수신하고, 사용자가 제어하고자 하는 변형 강도를 결정할 수 있다.
일 실시예에서, 변형 강도에 대한 입력은 스와이프 입력일 수 있다. 포즈 유형이 얼굴의 회전인 경우, 이미지 편집 애플리케이션 제공 장치(1)는 상기 스와이프 입력의 궤적 길이 및 방향에 기초하여 회전 방향 및 회전 정도를 결정할 수 있다. 예를 들어, 도 11에 도시된 바와 같이, 포즈 유형이 Yaw 축 회전인 경우, 시계 방향의 스와이프 입력은 타겟 얼굴 모델의 정면에서 오른쪽으로 Yaw축 회전, 반시계 방향의 스와이프 입력은 타겟 얼굴 모델의 정면에서 왼쪽으로 Yaw 축 회전을 실행하게 하도록 설정된 입력일 수 있다.
일부 실시예에서, 회전 강도(즉, 회전 각도)의 범위는 제한될 수 있다. 예를 들어, ±45 °의 범위로 제한될 수 있다. 이 경우, 편집 툴(130)은 회전 강도의 범위를 표시하도록 더 구성될 수 있으며, 회전 강도는 회전 강도에 대한 입력 및 회전 강도의 범위에 기초하여 결정된다. 예를 들어, 도 11의 오른쪽 범위의 절반 영역을 스와이프 입력한 경우, 회전 각도는 0.5*45°일 수 있다.
이미지 편집 애플리케이션 제공 장치(1)는 포즈 변형과 관련된 입력에 기초하여 결정된 포즈를 갖는 얼굴을 생성하기 위한 얼굴의 포즈 변형 명령을 생성한다(S230).
일 실시예에서, 포즈 변형 명령은 회전 축, 회전 방향, 및 회전 강도 중 하나 이상을 포함할 수 있다.
이어서, 이미지 편집 애플리케이션 제공 장치(1)는 생성된 얼굴의 포즈 변형 명령을 타겟 이미지의 얼굴에 적용한다(S300).
단계(S300)에서, 타겟 이미지의 얼굴이 갖는 포즈를 사용자가 원하는 포즈로 변형하기 위해 수행되는 동작 중 일부 동작(S310 내지 S340)은 제1 실시예에서 서술하였는바 자세한 설명은 생략한다.
이미지 편집 애플리케이션 제공 장치(1)는 얼굴의 포즈 변형 명령을 타겟 얼굴 모델에 적용하여 변형된 포즈를 갖는 변형 얼굴 모델을 생성한다(S350).
예를 들어, 얼굴의 포즈 변형 명령은 원하는 회전 방향 및 회전 강도를 포함할 수 있다. 이 경우, 수학식 3과 같이 표현된 타겟 얼굴 모델에서 R 값을 상기 회전 방향 및 회전 강도에 기초하여 변화시킴으로써 사용자가 원하는 포즈를 갖는 변형 얼굴 모델을 생성한다(S360).
도 12는, 본 발명의 일 실시예에 따른, 포즈 변형 결과를 도시한 도면이다.
일 실시예에서, 포즈 유형으로 yaw 축 회전이 가능하도록 구성된 도 11의 편집 툴(130)을 통해 수신된 사용자 입력에 기초하면, 도 12에 도시된 바와 같은 yaw 축 회전된 변환 이미지를 얻을 수 있다.
다른 일 실시예에서, 포즈 모드에서 표시되는 편집 툴(130)은 하나 이상의 포즈 유형에 대한 변형 명령을 수신하도록 구성될 수 있다.
도 13은, 본 발명의 일 실시예에 따른, 하나 이상의 포즈 유형을 선택하도록 구성된 편집 툴을 도시한 도면이다.
도 13을 참조하면, 편집 툴(130)은 복수의 포즈 유형(예컨대, yaw 축, pitch 축, roll 축) 중 하나에 대한 포즈 변형 입력을 수신하도록 구성될 수 있다. 이 경우, 얼굴 변형 명령을 생성하기 이전에, 사용자가 원하는 포즈 유형이 사용자 입력에 기초하여 결정될 수 있다. 예를 들어, 사용자가 "yaw 축"이 나타난 영역을 터치한 경우, 포즈 유형은 yaw 축으로 결정된다(S220).
그러면, yaw 축 변형을 위한 얼굴의 포즈 변형 명령이 생성된다(S230).
상기 실시예에서, 상기 편집 툴은 포즈 변형과 관련하여, 포즈 유형 이외의 추가적인 입력을 수신하도록 더 구성될 수 있다.
예를 들어, 도 13에 도시된 바와 같이, 각 포즈 유형에 있어서 회전 방향 및 회전 강도에 대한 입력을 수신하도록 편집 툴(130)이 구성될 수 있다.
상기 도 11 및 13의 편집 툴(130)은 단지 예시적인 것으로서, 상기 복수의 포즈 유형, 회전 방향 및 회전 강도에 대한 입력을 수신 가능하도록 구성된 다양한 편집 툴(130)이 포즈 변형을 위해 활용될 수 있다.
전술한 동작(S100 내지 S300)을 통해, 이미지 편집 애플리케이션 제공 장치(1)는 사용자가 원하는 형태로 변형된 얼굴을 포함한 변형 얼굴 이미지를 생성할 수 있다.
추가적으로, 편집 툴(130)을 통한 얼굴 변형 명령은 하나 이상의 편집 모드의 실행 명령을 포함할 수 있다.
일 실시예에서, 이미지 편집 애플리케이션 제공 장치(1)는 제1 편집 모드에 대한 입력 및 제2 편집 모드에 대한 입력에 기초한 얼굴 변형 명령을 생성할 수 있다.
예를 들어, 제1 편집 모드로 표정 모드에서 원하는 표정을 선택한 이후 제2 편집 모드로 포즈 모드에서 원하는 포즈를 선택한 경우, 상기 표정 및 포즈를 획득하기 위한 얼굴 변형 명령이 생성될 수 있다.
이를 위해, 제1 편집 모드에서의 선택 완료를 결정하는 인터페이스 수단(예컨대, 편집 완료 버튼)이 인터페이스 화면(100)을 통해 더 제공될 수 있다. 일 실시예에서, 상기 인터페이스 수단은 메뉴 툴(120)을 통해 제공될 수 있다.
추가적으로, 메뉴 툴(120) 및 편집 툴(130)은 단일 영역에 위치할 수 있다. 이 경우, 메뉴 툴(120) 및 편집 툴(130)은 시간차를 두고 표시될 수 있다.
이상에서 설명한 실시예들에 따른 이미지 편집 애플리케이션 제공 장치(1) 및 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.
상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.
상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (26)

  1. 이미지 편집 애플리케이션 제공 장치에서 수행되는 이미지 내 얼굴 변형 방법에 있어서,
    이미지 편집을 위한 인터페이스 화면을 표시하는 단계;
    타겟 이미지의 얼굴을 변형하기 위한 사용자의 입력을 수신하는 단계;
    상기 사용자의 입력에 기초하여 사용자가 원하는 얼굴을 갖게 하는 얼굴 변형 명령을 생성하는 단계;
    상기 얼굴 변형 명령을 타겟 이미지의 얼굴에 적용하여 변형된 얼굴을 갖는 변형 이미지를 생성하는 단계; 및
    상기 변형 이미지를 표시하는 단계를 포함하는 이미지 내 얼굴 변형 방법.
  2. 제1항에 있어서, 상기 사용자의 입력을 수신하는 단계는,
    상기 얼굴 변형을 위한 편집 기준을 결정하기 위한 입력을 수신하는 단계를 포함하는 것을 특징으로 하는 이미지 내 얼굴 변형 방법.
  3. 제2항에 있어서, 상기 편집 기준을 결정하기 위한 입력은,
    상기 인터페이스 화면에 포함된, 상기 얼굴 변형을 위한 편집 기준을 결정하는 편집 모드를 포함한 메뉴 툴을 통해 수신되는 것을 특징으로 하는 이미지 내 얼굴 변형 방법.
  4. 제3항에 있어서, 상기 메뉴 툴은,
    상기 얼굴 변형이 타겟 이미지의 얼굴 표정을 변화하게 하는 표정 모드, 상기 얼굴 변형이 타겟 이미지의 얼굴 인상을 변화하게 하는 인상 모드, 및 상기 얼굴 변형이 타겟 이미지의 얼굴 포즈를 변화하게 하는 포즈 모드 중 하나 이상을 포함하는 것을 특징으로 하는 이미지 내 얼굴 변형 방법.
  5. 제1항에 있어서, 상기 사용자의 입력을 수신하는 단계는,
    상기 결정된 편집 기준의 하위 항목을 결정하기 위한 입력을 수신하는 단계를 더 포함하는 것을 특징으로 하는 이미지 내 얼굴 변형 방법.
  6. 제5항에 있어서, 상기 하위 항목을 결정하기 위한 입력은,
    상기 인터페이스 화면에 포함된, 하나 이상의 하위 항목을 포함한 편집 툴을 통해 수신되는 것을 특징으로 하는 이미지 내 얼굴 변형 방법.
  7. 제6항에 있어서, 상기 편집 툴은,
    상기 결정된 편집 기준이 표정인 경우, 미리 설정된 표정 유형을 포함하는 것을 특징으로 하는 이미지 내 얼굴 변형 방법.
  8. 제6항에 있어서, 상기 편집 툴은,
    상기 결정된 편집 기준이 인상인 경우, 미리 설정된 인상 유형을 포함하는 것을 특징으로 하는 이미지 내 얼굴 변형 방법.
  9. 제6항에 있어서, 상기 편집 툴은,
    상기 결정된 편집 기준이 포즈인 경우, 미리 설정된 포즈 유형을 포함하는 것을 특징으로 하는 이미지 내 얼굴 변형 방법.
  10. 제9항에 있어서, 상기 편집 툴은,
    상기 특정 포즈 유형에 대한 입력만을 수신하도록 더 구성되는 것을 특징으로 하는 이미지 내 얼굴 변형 방법.
  11. 제1항에 있어서, 상기 사용자의 입력에 기초하여 얼굴 변형 명령을 생성하는 단계는,
    얼굴 변형 명령 생성 이전에 사용자 입력을 통해 표정 모드에서의 표정 유형이 결정된 경우, 표정 유형별 얼굴 모델, 표정 유형별 얼굴 모델의 표정 값 중 하나 이상을 포함한 얼굴 변형 명령을 생성하는 단계를 포함하는 것을 특징으로 하는 이미지 내 얼굴 변형 방법.
  12. 제1항에 있어서, 상기 사용자의 입력에 기초하여 얼굴 변형 명령을 생성하는 단계는,
    얼굴 변형 명령 생성 이전에 사용자 입력을 통해 인상 모드에서의 인상 유형이 결정된 경우, 인상 유형별 얼굴 모델, 인상 추정 함수 중 하나 이상을 포함한 얼굴 변형 명령을 생성하는 단계를 포함하는 것을 특징으로 하는 이미지 내 얼굴 생성 방법.
  13. 제1항에 있어서, 상기 인상 추정 함수는,
    각각의 인상 유형별로 기계 학습된, 3차원 얼굴 모델의 거리 벡터가 입력되어 최소 학습 에러를 가질 경우 해당 인상 유형을 갖는 3차원 얼굴 모델을 생성하도록 기계 학습된 것을 특징으로 하는 이미지 내 얼굴 변형 방법.
  14. 제1항에 있어서, 상기 사용자의 입력에 기초하여 얼굴 변형 명령을 생성하는 단계는,
    얼굴 변형 명령 생성 이전에 사용자 입력을 통해 포즈 모드가 결정된 경우, 회전 축, 및 회전 방향 중 하나 이상을 포함하는 것을 특징으로 하는 이미지 내 얼굴 변형 방법.
  15. 제1항에 있어서, 상기 변형 이미지를 생성하는 단계는,
    상기 타겟 이미지의 2차원 얼굴에서 특징점을 추출하는 단계;
    상기 타게 이미지의 2차원 얼굴을 3차원 얼굴 모델로 모델링하여 타겟 얼굴 모델을 생성하는 단계;
    상기 타겟 얼굴 모델을 메쉬 처리하는 단계;
    상기 타겟 얼굴 모델의 얼굴을 초기 설정 얼굴로 변환하는 단계;
    상기 타겟 얼굴 모델에 얼굴 변형 명령을 적용하여 변형된 얼굴을 갖는 변형 얼굴 모델을 생성하는 단계; 및
    상기 변형 얼굴 모델에 기초하여 변형된 얼굴을 갖는 변형 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 이미지 내 얼굴 변형 방법.
  16. 제15항에 있어서, 상기 타겟 얼굴 모델에 얼굴 변형 명령을 적용하여 변형된 얼굴을 갖는 변형 얼굴 모델을 생성하는 단계는,
    상기 얼굴 변형 명령이 얼굴의 표정 변형 명령인 경우, 결정된 표정 유형별 얼굴 모델에 대한 표정 값을 상기 타겟 얼굴 모델에 적용하여 변형된 표정을 갖는 변형 얼굴 모델을 생성하는 것을 특징으로 하는 이미지 내 얼굴 변형 방법.
  17. 제15항에 있어서, 상기 타겟 얼굴 모델에 얼굴 변형 명령을 적용하여 변형된 얼굴을 갖는 변형 얼굴 모델을 생성하는 단계는,
    상기 얼굴 변형 명령이 얼굴의 인상 변형 명령인 경우, 결정된 인상 유형별 얼굴 모델에 대한 인상 추정 함수에 상기 타겟 얼굴 모델의 거리 벡터를 적용하여 변형된 인상을 갖는 변형 얼굴 모델을 생성하는 것을 특징으로 하는 이미지 내 얼굴 변형 방법.
  18. 제15항에 있어서, 상기 타겟 얼굴 모델에 얼굴 변형 명령을 적용하여 변형된 얼굴을 갖는 변형 얼굴 모델을 생성하는 단계는,
    상기 얼굴 변형 명령이 얼굴의 포즈 변형 명령인 경우, 회전 축 및 회전 방향을 타겟 얼굴 모델에 적용하여 변형된 포즈를 갖는 변형 얼굴 모델을 생성하는 것을 특징으로 하는 이미지 내 얼굴 변형 방법.
  19. 제5항에 있어서, 상기 사용자의 입력은,
    상기 결정된 하위 항목에 대응하는 얼굴로 타겟 이미지의 얼굴을 변형함에 있어, 변형 강도에 대한 입력을 수신하는 단계를 더 포함하는 이미지 내 얼굴 변형 방법.
  20. 제19항에 있어서, 상기 얼굴 변형 명령은,
    상기 변형 강도를 더 포함하는 것을 특징으로 하는 이미지 내 얼굴 변형 방법.
  21. 제20항에 있어서, 상기 타겟 얼굴 모델에 얼굴 변형 명령을 적용하여 변형된 얼굴을 갖는 변형 얼굴 모델을 생성하는 단계는,
    상기 얼굴 변형 명령이 얼굴의 표정 변형 명령인 경우, 상기 변형 강도에 대응하는 표정별 얼굴 모델에 대한 표정 값을 상기 타겟 얼굴 모델에 적용하여 변형된 표정을 갖는 변형 얼굴 모델을 생성하는 것을 특징으로 하는 이미지 내 얼굴 변형 방법.
  22. 제21항에 있어서, 상기 변형 강도에 대응하는 표정별 얼굴 모델은,
    미리 저장된 표정-얼굴 테이블에 기초하여 결정되며,
    상기 표정-얼굴 테이블은 각각의 표정 유형에 있어 하나 이상의 표정 강도별 얼굴 모델 및 상기 표정 강도별 얼굴 모델에 대한 표정 값 중 하나 이상을 포함하는 것을 특징으로 하는 이미지 내 얼굴 변형 방법.
  23. 제20항에 있어서, 상기 타겟 얼굴 모델에 얼굴 변형 명령을 적용하여 변형된 얼굴을 갖는 변형 얼굴 모델을 생성하는 단계는,
    상기 얼굴 변형 명령이 얼굴의 인상 변형 명령인 경우, 초기 설정된 타겟 얼굴 모델의 거리 벡터에서 인상 추정 함수에 기초하여 생성된 타겟 얼굴 모델의 거리 벡터 간의 차이에 기초하여 상기 변형 강도에 대응하는 변화 값을 결정하고, 상기 변형 강도에 대응하는 변화 값에 기초하여 변형된 인상을 갖는 변형 얼굴 모델을 생성하는 것을 특징으로 하는 이미지 내 얼굴 변형 방법.
  24. 제20항에 있어서, 상기 타겟 얼굴 모델에 얼굴 변형 명령을 적용하여 변형된 얼굴을 갖는 변형 얼굴 모델을 생성하는 단계는,
    상기 얼굴 변형 명령이 얼굴의 포즈 변형 명령인 경우, 상기 변형 강도에 기초하여 회전 각도를 결정하고, 회전 축, 회전 방향 및 회전 각도를 타겟 얼굴 모델에 적용하여 변형된 포즈를 갖는 변형 얼굴 모델을 생성하는 것을 특징으로 하는 이미지 내 얼굴 변형 방법.
  25. 제20항에 있어서, 상기 변형 강도에 대한 입력은,
    스와이프 입력을 통해 수신되는 것을 특징으로 하는 이미지 내 얼굴 변형 방법.
  26. 컴퓨터에 의해 판독가능하고, 상기 컴퓨터에 의해 동작 가능한 프로그램 명령어를 저장하는 컴퓨터 판독가능 기록매체로서, 상기 프로그램 명령어가 상기 컴퓨터의 프로세서에 의해 실행되는 경우 상기 프로세서가 제1항 내지 제25항 중 어느 하나의 항에 따른 이미지 내 얼굴 변형 방법을 수행하게 하는 컴퓨터 판독가능 기록매체.
KR1020180170172A 2018-12-27 2018-12-27 이미지 편집 애플리케이션 제공 장치 및 상기 장치에 의해 수행되는 이미지 내 얼굴 변형 방법 KR102152598B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180170172A KR102152598B1 (ko) 2018-12-27 2018-12-27 이미지 편집 애플리케이션 제공 장치 및 상기 장치에 의해 수행되는 이미지 내 얼굴 변형 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180170172A KR102152598B1 (ko) 2018-12-27 2018-12-27 이미지 편집 애플리케이션 제공 장치 및 상기 장치에 의해 수행되는 이미지 내 얼굴 변형 방법

Publications (2)

Publication Number Publication Date
KR20200080577A true KR20200080577A (ko) 2020-07-07
KR102152598B1 KR102152598B1 (ko) 2020-09-09

Family

ID=71603092

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180170172A KR102152598B1 (ko) 2018-12-27 2018-12-27 이미지 편집 애플리케이션 제공 장치 및 상기 장치에 의해 수행되는 이미지 내 얼굴 변형 방법

Country Status (1)

Country Link
KR (1) KR102152598B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833417A (zh) * 2020-07-14 2020-10-27 广州探途网络技术有限公司 安卓应用程序实现黑白模式的方法及系统
KR20220050504A (ko) 2020-10-16 2022-04-25 주식회사 케이티 안면 이미지 변환 장치 및 안면 이미지 변환 방법
CN114565512A (zh) * 2022-03-03 2022-05-31 广州虎牙科技有限公司 眉形变形方法、装置、电子设备及可读存储介质
WO2024101640A1 (ko) * 2022-11-08 2024-05-16 주식회사 클레온 딥러닝 기반 3차원 얼굴 움직임 생성 장치 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001155174A (ja) * 1999-11-30 2001-06-08 Fuji Photo Film Co Ltd 画像処理方法および装置
KR20070006337A (ko) 2005-07-08 2007-01-11 삼성전자주식회사 휴대단말기의 이미지편집 방법
KR20110021330A (ko) * 2009-08-26 2011-03-04 삼성전자주식회사 3차원 아바타 생성 장치 및 방법
KR101444816B1 (ko) * 2013-04-01 2014-09-26 한국과학기술연구원 얼굴 인상 변환을 위한 영상처리방법 및 영상처리장치
KR20160033553A (ko) * 2014-09-18 2016-03-28 한국과학기술연구원 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템
KR20170047167A (ko) * 2015-10-22 2017-05-04 한국과학기술연구원 전자 장치가 동영상의 얼굴의 인상을 변형하는 방법 및 그 전자 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001155174A (ja) * 1999-11-30 2001-06-08 Fuji Photo Film Co Ltd 画像処理方法および装置
KR20070006337A (ko) 2005-07-08 2007-01-11 삼성전자주식회사 휴대단말기의 이미지편집 방법
KR20110021330A (ko) * 2009-08-26 2011-03-04 삼성전자주식회사 3차원 아바타 생성 장치 및 방법
KR101444816B1 (ko) * 2013-04-01 2014-09-26 한국과학기술연구원 얼굴 인상 변환을 위한 영상처리방법 및 영상처리장치
KR20160033553A (ko) * 2014-09-18 2016-03-28 한국과학기술연구원 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템
KR20170047167A (ko) * 2015-10-22 2017-05-04 한국과학기술연구원 전자 장치가 동영상의 얼굴의 인상을 변형하는 방법 및 그 전자 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833417A (zh) * 2020-07-14 2020-10-27 广州探途网络技术有限公司 安卓应用程序实现黑白模式的方法及系统
KR20220050504A (ko) 2020-10-16 2022-04-25 주식회사 케이티 안면 이미지 변환 장치 및 안면 이미지 변환 방법
CN114565512A (zh) * 2022-03-03 2022-05-31 广州虎牙科技有限公司 眉形变形方法、装置、电子设备及可读存储介质
WO2024101640A1 (ko) * 2022-11-08 2024-05-16 주식회사 클레온 딥러닝 기반 3차원 얼굴 움직임 생성 장치 및 방법

Also Published As

Publication number Publication date
KR102152598B1 (ko) 2020-09-09

Similar Documents

Publication Publication Date Title
US10860838B1 (en) Universal facial expression translation and character rendering system
KR102616010B1 (ko) 포토리얼리스틱 실시간 인물 애니메이션을 위한 시스템 및 방법
US11270489B2 (en) Expression animation generation method and apparatus, storage medium, and electronic apparatus
WO2019128932A1 (zh) 人脸姿态分析方法、装置、设备、存储介质以及程序
KR101558202B1 (ko) 아바타를 이용한 애니메이션 생성 장치 및 방법
JPWO2018221092A1 (ja) 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
CN113760101B (zh) 一种虚拟角色控制方法、装置、计算机设备以及存储介质
JP2018532216A (ja) 画像正則化及びリターゲティングシステム
JP5895703B2 (ja) 画像処理装置及び画像処理方法、並びにコンピューター・プログラム
KR101819535B1 (ko) 표정 제어점에 기초한 강체 영역의 표현 방법 및 장치
KR102152598B1 (ko) 이미지 편집 애플리케이션 제공 장치 및 상기 장치에 의해 수행되는 이미지 내 얼굴 변형 방법
US9202312B1 (en) Hair simulation method
WO2020150688A1 (en) Text and audio-based real-time face reenactment
KR20120005587A (ko) 컴퓨터 시스템에서 얼굴 애니메이션 생성 방법 및 장치
CN106716500B (zh) 一种信息处理装置及深度定义方法
EP4181072A1 (en) Method of generating facial expression and threee-dimensional (3d) graphic interface device using the same
CN112802162B (zh) 虚拟角色的面部调整方法及装置、电子设备、存储介质
US10656722B2 (en) Sensor system for collecting gestural data in two-dimensional animation
CN107369209A (zh) 一种数据处理方法
KR102652652B1 (ko) 아바타 생성 장치 및 방법
KR102506506B1 (ko) 얼굴 표정을 생성하기 위한 방법 및 이를 이용하는 3차원 그래픽 인터페이스 장치
WO2024171424A1 (ja) システム、パラメータ決定方法およびプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant