KR20200005964A - 얼굴 영상 처리 방법 및 장치 - Google Patents
얼굴 영상 처리 방법 및 장치 Download PDFInfo
- Publication number
- KR20200005964A KR20200005964A KR1020180079628A KR20180079628A KR20200005964A KR 20200005964 A KR20200005964 A KR 20200005964A KR 1020180079628 A KR1020180079628 A KR 1020180079628A KR 20180079628 A KR20180079628 A KR 20180079628A KR 20200005964 A KR20200005964 A KR 20200005964A
- Authority
- KR
- South Korea
- Prior art keywords
- facial
- face
- mesh data
- data
- standard
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000008921 facial expression Effects 0.000 claims abstract description 74
- 230000001815 facial effect Effects 0.000 claims abstract description 70
- 230000008859 change Effects 0.000 claims description 22
- 238000003672 processing method Methods 0.000 claims description 20
- 210000003054 facial bone Anatomy 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 abstract description 2
- 230000004048 modification Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract 1
- 239000000203 mixture Substances 0.000 description 13
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G06K9/00268—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
개시된 얼굴 영상 처리 장치에서 수행되는 얼굴 영상 처리 방법은, 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터 및 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 단계, 임의 사용자에 대한 영상을 대상으로 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 단계, 복수의 특징점을 기초로 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성하는 단계, 표준 얼굴 메시 데이터와 개인 얼굴 메시 데이터간 변형 정보를 기초로 표정 데이터를 보정하는 단계를 포함한다.
Description
본 발명은 얼굴 영상 처리 방법 및 장치에 관한 것으로, 더욱 상세하게는 영상 내 얼굴의 표정을 변화시키는 얼굴 영상 처리 방법 및 장치에 관한 것이다.
인간의 커뮤니케이션(communication) 방법에는 여러 가지가 있다. 그 중의 하나는 얼굴 표정이다. 커뮤니케이션의 상대방은 발화자의 얼굴 표정으로부터 발화자의 감정이나 의도 등을 파악할 수 있다.
얼굴 표정을 이용한 커뮤니케이션 방법은 영화나 애니메이션에 등장하는 가상의 캐릭터에 대해서도 동일하게 적용될 수 있다. 즉 관람객은 캐릭터의 얼굴 표정으로부터 캐릭터의 감정이나 의도 또는 주변 상황과 같은 정보를 파악할 수 있다. 나아가, 캐릭터의 얼굴 부위를 관람객의 얼굴 영상으로 대체하여 서비스를 제공할 수 있으며, 이 경우에는 자신의 얼굴이 영화나 애니메이션에 등장하기 때문에 그만큼 관람객의 몰입도가 향상된다.
그런데, 이처럼 영화나 애니메이션 등과 같은 영상물 내 등장물의 얼굴 부위를 임의 사용자의 얼굴 영상으로 대체할 경우에는 일반적인 리타게팅(retargeting) 기법과는 다르게, 영상물 내에 삽입되는 얼굴 영상의 표정을 자연스럽게 변화시킬 수 있는 기술이 요구된다.
본 발명의 실시예에 의하면, 서비스 대상 얼굴의 개인 특성을 고려하여 영상 내 얼굴의 표정을 보정하는 얼굴 영상 처리 방법 및 장치를 제공한다.
또, 영상 내 얼굴의 표정을 부위별로 보정하는 얼굴 영상 처리 방법 및 장치를 제공한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 제 1 관점에 따라 얼굴 영상 처리 장치에서 수행되는 얼굴 영상 처리 방법은, 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터 및 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 단계; 임의 사용자에 대한 영상을 대상으로 상기 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 단계; 상기 복수의 특징점을 기초로 상기 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성하는 단계; 상기 표준 얼굴 메시 데이터와 상기 개인 얼굴 메시 데이터간 변형 정보를 기초로 상기 표정 데이터를 보정하는 단계를 포함한다.
본 발명의 제 2 관점에 따른 컴퓨터 프로그램은 상기 얼굴 영상 처리 방법에 따른 각각의 단계를 수행하는 명령어가 컴퓨터 판독가능 기록매체에 기록된다.
본 발명의 제 3 관점에 따른 얼굴 영상 처리 장치는, 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터를 생성하고, 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 모델링부; 임의 사용자에 대한 영상을 대상으로 상기 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 영상 처리부; 상기 복수의 특징점을 기초로 상기 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성하고, 상기 표준 얼굴 메시 데이터와 상기 개인 얼굴 메시 데이터간 변형 정보를 기초로 상기 표정 데이터를 보정하는 개인화 처리부를 포함한다.
본 발명의 실시예에 의하면, 영상 내 얼굴의 표정을 서비스 대상 얼굴의 개인 특성을 고려하거나 부위별로 보정함으로써, 표준 얼굴과 서비스 대상 얼굴간의 특성차에 의한 표정 일그러짐 현상이 발생하지 않는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치의 구성도이다.
도 2 내지 도 4는 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치에 의한 얼굴 영상 처리 방법을 설명하기 위한 흐름도들이다.
도 5 내지 도 11은 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치에서 얼굴 영상 처리 방법을 수행함에 따라 제공할 수 있는 얼굴 메시 데이터 및 서비스 대상 얼굴 영상의 다양한 예를 보인 것이다.
도 2 내지 도 4는 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치에 의한 얼굴 영상 처리 방법을 설명하기 위한 흐름도들이다.
도 5 내지 도 11은 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치에서 얼굴 영상 처리 방법을 수행함에 따라 제공할 수 있는 얼굴 메시 데이터 및 서비스 대상 얼굴 영상의 다양한 예를 보인 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치의 구성도이다.
도 1에 나타낸 바와 같이 일 실시예에 따른 얼굴 영상 처리 장치(100)는 모델링부(110), 영상 처리부(120) 및 개인화 처리부(130)를 포함한다.
모델링부(110)는 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터를 생성한다. 그리고, 모델링부(110)는 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성할 수 있다. 예컨대, 모델링부(110)는 복수의 블렌드 쉐이프(Blend Shape)를 제작하여 표정 데이터를 생성할 수 있다. 블렌드 쉐이프는 메시 안에서 정점이 이동해야 하는 타깃의 거리 및 방향(Displacement) 값이다.
영상 처리부(120)는 임의 사용자에 대한 영상을 대상으로 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출한다. 예를 들어, 영상 처리부(120)는 공지의 얼굴 특징점 검출(Facial Landmark Detection) 알고리즘을 이용할 수 있다.
개인화 처리부(130)는 영상 처리부(120)에 의해 추출된 복수의 특징점을 기초로 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성한다. 그리고, 개인화 처리부(130)는 개인 얼굴 메시 데이터를 기초로 서비스 대상 얼굴이 포함된 영상에서 얼굴 부위를 분리한다. 그리고, 개인화 처리부(130)는 표준 얼굴 메시 데이터의 표정 데이터에 기초하여 개인 얼굴 메시 데이터의 표정 데이터를 생성할 수 있다. 여기서, 개인화 처리부(130)는 개인 얼굴 메시 데이터의 표정 데이터를 생성할 때에, 표정 왜곡을 방지하기 위해 표준과 개인간 변형 정보를 획득한다. 즉, 표준 얼굴 메시 데이터를 개인 얼굴 메시 데이터로 변형시킬 때에 두 개의 얼굴 메시 데이터 사이의 차이값을 의미하는 변형 정보를 획득한다. 이어서, 개인화 처리부(130)는 표준 얼굴 메시 데이터의 표정 데이터를 기초로 개인 얼굴 메시 데이터의 표정 데이터를 생성함에 있어서 표준과 개인간 변형 정보를 기초로 변형 정보만큼 보정된 표정 데이터를 생성한다. 즉, 개인화 처리부(130)에 의해 표준과 개인간 변형 정보에 비례하여 블렌드 쉐이프가 보정되는 것이다.
또한, 개인화 처리부(130)는 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성할 때에, 표준 얼굴 메시 데이터의 메시를 구성하는 정점들을 임의 사용자에 대한 영상에서 추출된 복수의 특징점의 위치로 이동시켜서 개인 얼굴 메시 데이터를 생성할 수도 있으며, 표준 얼굴 메시 데이터에 복수의 얼굴구성점을 포함하는 얼굴뼈를 리깅(rigging)한 후 복수의 얼굴구성점을 복수의 특징점의 위치로 이동시켜서 개인 얼굴 메시 데이터를 생성할 수도 있다. 이 때, 개인화 처리부(130)는 표준 얼굴 메시 데이터의 정점들을 복수의 얼굴구성점 중 적어도 하나의 얼굴구성점에 리깅하여, 얼굴뼈가 리깅된 표준 얼굴 메시 데이터를 생성할 수 있다. 예를 들어, 표준 얼굴 메시 데이터에 포함된 정점들의 수와 얼굴구성점의 수는 동일할 수 있지만 이에 한정되지 않는다. 그리고, 개인화 처리부(130)는 표준 얼굴 메시 데이터의 정점들 중 적어도 일부는 얼굴뼈에 포함된 복수의 얼굴구성점 중 두 개 이상 내지 네 개 이하의 얼굴구성점에 리깅할 수 있다.
위와 같이 일 실시예에 따른 얼굴 영상 처리 장치(100)를 구성하는 모델링부(110), 영상 처리부(120) 및 개인화 처리부(130)는 각각 마이크로프로세서(Microprocessor)를 포함할 수 있으며, 이들의 동작은 아래에서 좀 더 자세히 설명하기로 한다.
도 2 내지 도 4는 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치에 의한 얼굴 영상 처리 방법을 설명하기 위한 흐름도들이다. 이들 흐름도에서는 표정 데이터로서 블렌드 쉐이프를 제작하는 실시예를 나타나게 했다.
도 2 내지 도 4에 나타낸 바와 같이 일 실시예에 따른 얼굴 영상 처리 방법은, 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터를 생성하는 단계(S201), 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 단계(S203), 임의 사용자에 대한 영상을 대상으로 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 단계(S205), 복수의 특징점을 기초로 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성하는 단계(S207), 표준 얼굴 메시 데이터와 개인 얼굴 메시 데이터간 변형 정보를 획득하는 단계(S209), 획득된 변형 정보를 기초로 표정 데이터를 보정하는 단계(S211)를 포함한다.
여기서, 표준과 개인간 변형 정보를 획득할 때에, 표준 얼굴 메시 데이터의 얼굴 외곽 크기와 개인 얼굴 메시 데이터의 얼굴 외곽 크기간 변화율을 획득할 수 있고, 표정 데이터를 보정할 때에, 얼굴 외곽 크기간 변화율에 비례하여 표정 데이터를 보정할 수 있다. 또는, 표준과 개인간 변형 정보를 획득할 때에, 표준 얼굴 메시 데이터 및 개인 얼굴 메시 데이터를 복수의 부분으로 분할(S301)한 뒤, 복수의 부분별로 변형 정보를 획득(S303)하고, 표정 데이터를 보정할 때에, 획득된 복수의 부분별 변형 정보를 기초로 복수의 부분별로 표정 데이터를 보정(S305)할 수 있다.
또한, 개인 얼굴 메시 데이터를 생성할 때에, 복수의 얼굴구성점을 포함하는 얼굴뼈를 생성하여 표준 얼굴 메시 데이터에 리깅(S401)하고, 복수의 특징점을 기초로 복수의 얼굴구성점을 이동하여 개인 얼굴 메시 데이터로 변형(S403)할 수 있다.
이하, 도 1에 나타낸 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치(100)에서 도 2 내지 도 4에 나타낸 바와 같은 얼굴 영상 처리 방법을 수행하는 과정들에 대해, 도 5 내지 도 11에 나타낸 다양한 예를 참조하여 자세히 살펴보기로 한다.
먼저, 얼굴 영상 처리 장치(100)의 모델링부(110)는 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터를 생성한다. 이러한 모델링부(110)는 도 5에 예시한 바와 같이 적어도 세 개의 정점이 하나의 메시를 이루는 표준 얼굴 메시 데이터(501)를 생성할 수 있다(S201).
그리고, 모델링부(110)는 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성할 수 있다. 예컨대, 모델링부(110)는 도 5에 예시한 바와 같이 복수의 블렌드 쉐이프(502, 503, 504, 505)를 제작하여 표정 데이터를 생성할 수 있다(S203).
얼굴 영상 처리 장치(100)의 영상 처리부(120)는 임의 사용자에 대한 영상을 대상으로 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출한다. 이러한 영상 처리부(120)는 도 6에 예시한 바와 같이 서비스 대상 얼굴이 포함된 영상(601)이 입력되면 서비스 대상 얼굴이 갖는 복수의 특징점(602)을 추출할 수 있다. 예를 들어, 영상 처리부(120)는 공지의 얼굴 특징점 검출(Facial Landmark Detection) 알고리즘을 이용할 수 있다. 이러한 얼굴 특징점 검출 알고리즘은 딥러닝 기반의 이미지 프로세싱 기술로서, 얼굴의 눈, 코, 입, 턱 등의 특징점을 분석하여 약 68개의 특징점을 추출할 수 있다(S205).
얼굴 영상 처리 장치(100)의 개인화 처리부(130)는 영상 처리부(120)에 의해 추출된 복수의 특징점을 기초로 표준 얼굴 메시 데이터가 변형된 개인 얼굴 메시 데이터를 생성한다. 이러한 개인화 처리부(130)는 도 6에 예시한 바와 같이 표준 얼굴 메시 데이터(501)를 이용하여 개인 얼굴 메시 데이터(603)를 생성할 수 있다. 예를 들어, 표준 얼굴 메시 데이터(507)의 메시를 구성하는 정점들을 서비스 대상 얼굴이 포함된 영상(601)의 복수의 특징점 위치로 이동시켜 변형시킴으로써 표준 얼굴 메시 데이터(501)가 변형된 개인 얼굴 메시 데이터(603)를 생성할 수 있다(S207).
그리고, 개인화 처리부(130)는 앞서 설명한 바와 같이 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성한 바 있기 때문에, 이러한 표준 얼굴 메시 데이터의 표정 데이터에 기초하여 개인 얼굴 메시 데이터의 표정 데이터를 생성할 수 있다. 앞서 도 5를 참조하여 설명한 바와 같이 모델링부(110)는 표준 얼굴 메시 데이터(501)에 대한 복수의 블렌드 쉐이프(502, 503, 504, 505)를 제작하여 표정 데이터를 생성할 수 있다. 이 경우에, 개인화 처리부(130)는 도 6에 예시한 바와 같이 복수의 블렌드 쉐이프(502, 503, 504, 505)를 개인 얼굴 메시 데이터(603)에 적용함으로써, 복수의 블렌드 쉐이프(502, 503, 504, 505)에 각각 대응하는 서비스 대상 얼굴의 특정 표정 영상(604)를 포함하는 복수의 표정 영상을 생성할 수 있다.
그런데, 서비스 대상이 되는 사람들은 얼굴의 모양이 동일하지 않을 뿐만 아니라 많은 차이를 갖는다. 사람에 따라 얼굴의 크기가 서로 다르고, 얼굴을 구성하는 세부 부위인 눈, 코, 입 등의 크기 또한 다양하다. 그러므로, 표준 얼굴에서 생성한 표정 데이터를 개인 얼굴에 그대로 적용하면 희망하는 표정이 제대로 표현되지 않을 수 있다. 특히, 눈 부위와 입 부위처럼 다른 세부 부위보다 메시를 구성하는 정점들의 밀도가 상대적으로 높은 부위에서는 얼굴 표정의 왜곡이 발생할 가능성이 높다. 도 7에 예시한 바와 같이 정상적인 개인 얼굴 메시 데이터(701)와 비정상적인 개인 얼굴 메시 데이터(702)를 비교하여 보면 눈 부위가 일그러지는 현상(703)이 발생하여 표정이 왜곡된 것을 알 수 있다.
그러므로, 개인화 처리부(130)는 표정 왜곡을 방지하기 위해 단계 S207에서 개인 얼굴 메시 데이터를 생성할 때에, 표준과 개인간 변형 정보를 획득한다. 즉, 표준 얼굴 메시 데이터를 개인 얼굴 메시 데이터로 변형시킬 때에 두 개의 얼굴 메시 데이터 사이의 차이값을 의미하는 변형 정보를 획득한다. 예를 들어, 개인화 처리부(130)는 도 8에 예시한 바와 같이 표준 얼굴 메시 데이터(801)의 얼굴 외곽 크기와 개인 얼굴 메시 데이터(802)의 얼굴 외곽크기간 변화율을 변형 정보로서 획득할 수 있다. 예컨대, 얼굴의 폭(width)과 높이(height)를 비교하여 얼굴 외곽크기간 변화율을 획득할 수 있다(S209).
이어서, 개인화 처리부(130)는 단계 S203에서 생성한 표정 데이터를 기초로 개인 얼굴 메시 데이터의 표정 데이터를 생성함에 있어서 단계 S209에서 획득한 표준과 개인간 변형 정보를 기초로 변형 정보만큼 보정된 표정 데이터를 생성한다. 즉, 개인화 처리부(130)에 의해 표준과 개인간 변형 정보에 비례하여 블렌드 쉐이프가 보정되는 것이다. 예를 들어, 표준 얼굴 메시 데이터의 얼굴 폭 및 얼굴 높이를 기준으로 하여 개인 얼굴 메시 데이터의 얼굴 폭이 90%이고 얼굴 높이가 70%인 경우, 각 포지션의 블렌드 쉐이프 타깃 포지션을 가로 10% 및 세로 30%씩 감소시킬 수 있다(S211).
또한, 개인화 처리부(130)는 단계 S211과 같이 표정 데이터를 보정할 때에, 얼굴을 복수의 부분으로 분할한 후에 각 부분별로 표정 데이터를 보정할 수 있다. 예를 들어, 개인화 처리부(130)는 얼굴의 세부 부위 중 눈 부위와 입 부위를 별도의 부분으로 분할할 수 있다. 이 때, 개인 얼굴 메시 데이터의 메시를 구성하는 정점들의 밀도와 기설정된 기준값을 비교한 결과를 기초로 눈 부위 및 입 부위를 분할할 수 있다. 예컨대, 눈 부위와 입 부위는 다른 부위에 비해 메시의 밀도가 높기 때문에 정정들의 밀도가 기설정된 기준값보다 높은 부위만을 분리하면 눈 부위 및 입 부위를 분할할 수 있다. 그리고, 개인화 처리부(130)는 도 9에 예시한 바와 같이 표준 얼굴 메시 데이터의 눈 부위(901)와 개인 얼굴 메시 데이터의 눈 부위(902)간 크기 변화율을 표준과 개인간 변형 정보로서 획득할 수 있고, 표준 얼굴 메시 데이터의 입 부위(903)와 개인 얼굴 메시 데이터의 눈 부위(904)간 크기 변화율을 표준과 개인간 변형 정보로서 획득할 수 있다. 예컨대, 눈 부위와 입 부위의 폭(width)과 높이(height)를 비교하여 크기 변화율을 획득할 수 있다(S303). 이어서, 개인화 처리부(130)는 단계 S203에서 생성한 표정 데이터를 기초로 개인 얼굴 메시 데이터의 표정 데이터를 생성함에 있어서 단계 S303에서 획득한 표준과 개인간의 복수의 부분별 변형 정보를 기초로 각각의 부분별 변형 정보만큼 각 부분별로 보정된 표정 데이터를 생성한다. 즉, 개인화 처리부(130)에 의해 표준과 개인간 복수의 부분별 변형 정보에 비례하여 각 부분별로 보정된 블렌드 쉐이프가 제작되는 것이다. 예를 들어, 표준 얼굴 메시 데이터의 눈 부위 폭 및 눈 부위 높이를 기준으로 하여 개인 얼굴 메시 데이터의 눈 부위 폭이 95%이고 눈 부위 높이가 90%인 경우, 해당 영역 내 각 포지션의 블렌드 쉐이프 타깃 포지션을 가로 5% 및 세로 10%씩 감소시킬 수 있다(S305).
도 10은 표준 얼굴 메시 데이터의 블렌드 쉐이프를 개인 얼굴 메시 데이터에 그대로 반영한 얼굴 표정(1001), 표준과 개인간의 얼굴 외곽크기 변화율을 기초로 보정해 반영한 얼굴 표정(1002), 표준과 개인간의 눈 부위 크기 변화율 및 입 부위 크기 변화율을 기초로 부분별로 보정해 반영한 얼굴 표정(1003)를 비교한 것이다. 얼굴 표정(100)에서는 표정 일그러짐이 발생하지만, 얼굴 표정(1002) 및 얼굴 표정(1003)에서는 표정 일그러짐이 발생하지 않는 것을 알 수 있다. 얼굴 표정(1003)은 얼굴 표정(1002)에 비해 상대적으로 표정 변화가 더 부드럽게 나타나는 것을 알 수 있다.
한편, 개인화 처리부(130)는 단계 S207에서 개인 얼굴 메시 데이터를 생성할 때에 얼굴뼈를 표준 얼굴 메시 데이터에 리깅(rigging)한 후에 이를 변형하여 개인 얼굴 메시 데이터를 생성할 수 있다. 예를 들어, 개인화 처리부(130)는 도 11에 예시한 바와 같이 표준 얼굴 메시 데이터에 복수의 얼굴구성점(1101)을 포함하는 얼굴뼈를 리깅한다. 여기서, 개인화 처리부(130)는 표준 얼굴 메시 데이터의 정점들을 복수의 얼굴구성점(1101) 중 적어도 하나의 얼굴구성점에 리깅하여, 얼굴뼈가 리깅된 표준 얼굴 메시 데이터(1102)를 생성할 수 있다. 예를 들어, 표준 얼굴 메시 데이터에 포함된 정점들의 수와 얼굴구성점(1101)의 수는 동일할 수 있지만 이에 한정되지 않는다. 그리고, 개인화 처리부(130)는 표준 얼굴 메시 데이터의 정점들 중 적어도 일부는 얼굴뼈에 포함된 복수의 얼굴구성점(1101) 중 두 개 이상 내지 네 개 이하의 얼굴구성점에 리깅한다. 예를 들어, 표준 얼굴 메시 데이터의 하나의 정점을 얼굴뼈에 포함된 세 개의 얼굴구성점(1101)에 리깅한다는 것은 해당 정점이 세 개의 얼굴구성점에 의존한다는 것이다. 하나의 정점이 복수의 얼굴구성점 중 어떤 얼굴구성점에 얼마만큼 의존하는 가는 가중치로 나타낼 수 있고, 하나의 정점이 가지는 가중치의 합은 1이다. 예컨대, 하나의 정점을 얼굴뼈의 3개의 얼굴구성점 또는 4개의 얼굴구성점에 리깅함으로써, 얼굴뼈에 의한 폴리곤 변형이 부드럽게 나타나게 하면서 폴리곤이 겹쳐지는 현상이 발생하기 않도록 함과 아울러 연산량이 과도하게 상승하지 않도록 할 수 있다(S401).
그리고, 개인화 처리부(130)는 영상 처리부(120)에 의해 추출된 복수의 특징점을 기초로 복수의 얼굴구성점을 이동하여 표준 얼굴 메시 데이터가 변형된 개인 얼굴 메시 데이터를 생성한다. 이러한 개인화 처리부(130)는 도 11에 예시한 바와 같이 얼굴뼈가 리깅된 표준 얼굴 메시 데이터(1102)를 이용하여 개인 얼굴 메시 데이터를 생성할 수 있다. 예를 들어, 표준 얼굴 메시 데이터의 복수의 얼굴구성점을 서비스 대상 얼굴이 포함된 영상(601)의 복수의 특징점 위치로 이동시켜 변형시킴으로써 표준 얼굴 메시 데이터(1102)가 변형된 개인 얼굴 메시 데이터(603)를 생성할 수 있다(S403).
지금까지 설명한 바와 같은 본 발명의 일 실시예에 의하면, 영상 내 얼굴의 표정을 서비스 대상 얼굴의 개인 특성을 고려하거나 부위별로 보정함으로써, 표준 얼굴과 서비스 대상 얼굴간의 특성차에 의한 표정 일그러짐 현상이 발생하지 않는다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명의 실시예에 따르면, 영상 내 얼굴의 표정을 서비스 대상 얼굴의 개인 특성을 고려하거나 부위별로 보정함으로써, 표준 얼굴과 서비스 대상 얼굴간의 특성차에 의한 표정 일그러짐 현상이 발생하지 않는다.
이러한 본 발명은 영화나 애니메이션 등과 같은 영상물 내 등장물의 얼굴 부위를 임의 사용자의 얼굴 영상으로 대체하여 서비스하는 기술 분야에 적용할 수 있다.
100 : 얼굴 영상 처리 장치
110 : 모델링부
120 : 영상 처리부
130 : 개인화 처리부
110 : 모델링부
120 : 영상 처리부
130 : 개인화 처리부
Claims (15)
- 얼굴 영상 처리 장치에서 수행되는 얼굴 영상 처리 방법으로서,
표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터 및 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 단계;
임의 사용자에 대한 영상을 대상으로 상기 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 단계;
상기 복수의 특징점을 기초로 상기 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성하는 단계; 및
상기 표준 얼굴 메시 데이터와 상기 개인 얼굴 메시 데이터간 변형 정보를 기초로 상기 표정 데이터를 보정하는 단계를 포함하는
얼굴 영상 처리 방법. - 제 1 항에 있어서,
상기 변형 정보는, 상기 표준 얼굴 메시 데이터의 얼굴 외곽 크기와 상기 개인 얼굴 메시 데이터의 얼굴 외곽 크기간 변화율을 포함하고,
상기 표정 데이터를 보정하는 단계는, 상기 변화율에 비례하여 상기 표정 데이터를 보정하는
얼굴 영상 처리 방법. - 제 1 항에 있어서,
상기 변형 정보는, 상기 표준 얼굴 메시 데이터 및 상기 개인 얼굴 메시 데이터를 복수의 부분으로 분할한 뒤, 상기 복수의 부분별로 획득된 변형 정보를 포함하고,
상기 표정 데이터를 보정하는 단계는, 획득된 상기 복수의 부분별 변형 정보를 기초로 상기 복수의 부분별로 상기 표정 데이터를 보정하는
얼굴 영상 처리 방법. - 제 3 항에 있어서,
상기 복수의 부분으로 분할할 때, 얼굴의 세부 부위 중 눈 부위 또는 입 부위를 별도의 부분으로 분할하는
얼굴 영상 처리 방법. - 제 4 항에 있어서,
상기 복수의 부분으로 분할할 때, 상기 메시를 구성하는 정점들의 밀도와 기설정된 기준값을 비교한 결과를 기초로 상기 눈 부위 또는 상기 입 부위를 분할하는
얼굴 영상 처리 방법. - 제 4 항에 있어서,
상기 부분별 변형 정보는, 상기 눈 부위의 크기 변화율 또는 상기 입 부위의 크기 변화율을 포함하며,
상기 표정 데이터를 보정하는 단계는, 상기 눈 부위의 크기 변화율 또는 상기 입 부위의 크기 변화율에 비례하여 상기 표정 데이터를 보정하는
얼굴 영상 처리 방법. - 제 1 항에 있어서,
상기 개인 얼굴 메시 데이터를 생성하는 단계는, 복수의 얼굴구성점을 포함하는 얼굴뼈를 생성하여 상기 표준 얼굴 메시 데이터에 리깅(rigging)하는 단계; 및
상기 복수의 특징점을 기초로 상기 복수의 얼굴구성점을 이동하여 상기 개인 얼굴 메시 데이터로 변형하는 단계를 포함하는
얼굴 영상 처리 방법. - 제 1 항 내지 제 7 항 중 어느 한 항에 기재된 얼굴 영상 처리 방법에 따른 각각의 단계를 수행하는 명령어가
컴퓨터 판독가능 기록매체에 기록된 컴퓨터 프로그램. - 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터를 생성하고, 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 모델링부;
임의 사용자에 대한 영상을 대상으로 상기 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 영상 처리부; 및
상기 복수의 특징점을 기초로 상기 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성하고, 상기 표준 얼굴 메시 데이터와 상기 개인 얼굴 메시 데이터간 변형 정보를 기초로 상기 표정 데이터를 보정하는 개인화 처리부를 포함하는
얼굴 영상 처리 장치. - 제 9 항에 있어서,
상기 변형 정보는, 상기 표준 얼굴 메시 데이터의 얼굴 외곽 크기와 상기 개인 얼굴 메시 데이터의 얼굴 외곽 크기간 변화율을 포함하고,
상기 개인화 처리부는, 상기 변화율에 비례하여 상기 표정 데이터를 보정하는
얼굴 영상 처리 장치. - 제 9 항에 있어서,
상기 개인화 처리부는, 상기 표준 얼굴 메시 데이터 및 상기 개인 얼굴 메시 데이터를 복수의 부분으로 분할하고, 상기 복수의 부분별로 상기 변형 정보를 획득하며, 획득된 상기 복수의 부분별 변형 정보를 기초로 상기 복수의 부분별로 상기 표정 데이터를 보정하는
얼굴 영상 처리 장치. - 제 11 항에 있어서,
상기 개인화 처리부는, 얼굴의 세부 부위 중 눈 부위 또는 입 부위를 별도의 부분으로 분할하는
얼굴 영상 처리 장치. - 제 12 항에 있어서,
상기 개인화 처리부는, 상기 메시를 구성하는 정점들의 밀도와 기설정된 기준값을 비교한 결과를 기초로 상기 눈 부위 또는 상기 입 부위를 분할하는
얼굴 영상 처리 장치. - 제 13 항에 있어서,
상기 부분별 변형 정보는, 상기 눈 부위의 크기 변화율 또는 상기 입 부위의 크기 변화율을 포함하며,
상기 개인화 처리부는, 상기 눈 부위의 크기 변화율 또는 상기 입 부위의 크기 변화율에 비례하여 상기 표정 데이터를 보정하는
얼굴 영상 처리 장치. - 제 9 항에 있어서,
상기 개인화 처리부는, 복수의 얼굴구성점을 포함하는 얼굴뼈를 생성하여 상기 표준 얼굴 메시 데이터에 리깅(rigging)하고, 상기 복수의 특징점을 기초로 상기 복수의 얼굴구성점을 이동하여 상기 개인 얼굴 메시 데이터로 변형하는
얼굴 영상 처리 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180079628A KR102109818B1 (ko) | 2018-07-09 | 2018-07-09 | 얼굴 영상 처리 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180079628A KR102109818B1 (ko) | 2018-07-09 | 2018-07-09 | 얼굴 영상 처리 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200005964A true KR20200005964A (ko) | 2020-01-17 |
| KR102109818B1 KR102109818B1 (ko) | 2020-05-13 |
Family
ID=69370095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180079628A KR102109818B1 (ko) | 2018-07-09 | 2018-07-09 | 얼굴 영상 처리 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102109818B1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102353556B1 (ko) * | 2021-11-01 | 2022-01-20 | 강민호 | 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치 |
| KR20220087613A (ko) * | 2020-12-17 | 2022-06-27 | 동국대학교 산학협력단 | 얼굴 변환 장치 및 방법 |
| KR102493882B1 (ko) * | 2022-08-31 | 2023-02-01 | 주식회사 에이펀인터렉티브 | 영상 분석을 이용한 메타버스 캐릭터 제작 시스템 |
| KR102495136B1 (ko) * | 2022-09-23 | 2023-02-06 | 주식회사 에이펀인터렉티브 | 사용자 추적 및 영상 분석을 이용한 메타버스 캐릭터 제작 시스템 |
| CN116524165A (zh) * | 2023-05-29 | 2023-08-01 | 北京百度网讯科技有限公司 | 三维表情模型的迁移方法、装置、设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009075880A (ja) * | 2007-09-20 | 2009-04-09 | Nippon Hoso Kyokai <Nhk> | 仮想顔モデル変形装置及び仮想顔モデル変形プログラム |
| JP2011107877A (ja) * | 2009-11-16 | 2011-06-02 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム |
| KR20130080442A (ko) * | 2010-06-09 | 2013-07-12 | 마이크로소프트 코포레이션 | 표정의 실시간 애니메이션화 |
| JP2014211719A (ja) * | 2013-04-17 | 2014-11-13 | キヤノン株式会社 | 情報処理装置およびその方法 |
| KR20180070688A (ko) | 2016-03-10 | 2018-06-26 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 인물 얼굴 모델의 표정 애니메이션 생성 방법 및 장치 |
-
2018
- 2018-07-09 KR KR1020180079628A patent/KR102109818B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009075880A (ja) * | 2007-09-20 | 2009-04-09 | Nippon Hoso Kyokai <Nhk> | 仮想顔モデル変形装置及び仮想顔モデル変形プログラム |
| JP2011107877A (ja) * | 2009-11-16 | 2011-06-02 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム |
| KR20130080442A (ko) * | 2010-06-09 | 2013-07-12 | 마이크로소프트 코포레이션 | 표정의 실시간 애니메이션화 |
| JP2014211719A (ja) * | 2013-04-17 | 2014-11-13 | キヤノン株式会社 | 情報処理装置およびその方法 |
| KR20180070688A (ko) | 2016-03-10 | 2018-06-26 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 인물 얼굴 모델의 표정 애니메이션 생성 방법 및 장치 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220087613A (ko) * | 2020-12-17 | 2022-06-27 | 동국대학교 산학협력단 | 얼굴 변환 장치 및 방법 |
| KR102353556B1 (ko) * | 2021-11-01 | 2022-01-20 | 강민호 | 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치 |
| KR102493882B1 (ko) * | 2022-08-31 | 2023-02-01 | 주식회사 에이펀인터렉티브 | 영상 분석을 이용한 메타버스 캐릭터 제작 시스템 |
| KR102495136B1 (ko) * | 2022-09-23 | 2023-02-06 | 주식회사 에이펀인터렉티브 | 사용자 추적 및 영상 분석을 이용한 메타버스 캐릭터 제작 시스템 |
| CN116524165A (zh) * | 2023-05-29 | 2023-08-01 | 北京百度网讯科技有限公司 | 三维表情模型的迁移方法、装置、设备和存储介质 |
| CN116524165B (zh) * | 2023-05-29 | 2024-01-19 | 北京百度网讯科技有限公司 | 三维表情模型的迁移方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102109818B1 (ko) | 2020-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20200005964A (ko) | 얼굴 영상 처리 방법 및 장치 | |
| US11423556B2 (en) | Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional | |
| JP7297359B2 (ja) | 表情アニメーション生成方法及び装置、記憶媒体ならびに電子装置 | |
| KR101514327B1 (ko) | 얼굴 아바타 생성 장치 및 방법 | |
| US9734613B2 (en) | Apparatus and method for generating facial composite image, recording medium for performing the method | |
| JP7309116B2 (ja) | 視線方向特定方法、装置、電子機器及び記憶媒体 | |
| WO2014207991A1 (ja) | 教師データ生成装置、方法、プログラム、および群衆状態認識装置、方法、プログラム | |
| US11132544B2 (en) | Visual fatigue recognition method, visual fatigue recognition device, virtual reality apparatus and storage medium | |
| KR102072721B1 (ko) | 얼굴 영상 처리 방법 및 장치 | |
| CN105184249A (zh) | 用于人脸图像处理的方法和装置 | |
| CN112419144B (zh) | 人脸图像的处理方法、装置、电子设备及存储介质 | |
| US20200388086A1 (en) | Blend shape system with dynamic partitioning | |
| KR20180078115A (ko) | 이미지 처리 방법 및 장치 | |
| KR20230015430A (ko) | 얼굴 정보를 처리하기 위한 방법 및 장치, 전자 디바이스 및 저장 매체 | |
| CA2959309C (en) | Method, apparatus and computer-readable medium for generating rendering instructions | |
| KR20200019282A (ko) | 표정 관련 정보 생성 장치와 방법 및 표정 생성 장치 | |
| KR20200019296A (ko) | 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체 | |
| Molano et al. | Parametric facial animation for affective interaction workflow for avatar retargeting | |
| CN115908766B (zh) | 三维虚拟人物图像的生成方法、装置及电子设备 | |
| KR20190137021A (ko) | 캐릭터 생성 장치 및 그 방법 | |
| Schroeder et al. | Facial aging using image warping | |
| KR20200048153A (ko) | 얼굴 영상 처리 방법 및 장치 | |
| KR102506506B1 (ko) | 얼굴 표정을 생성하기 위한 방법 및 이를 이용하는 3차원 그래픽 인터페이스 장치 | |
| CN108053436A (zh) | 图片的处理方法、装置、电子设备及图片服务器 | |
| KR20170099632A (ko) | 유전자 정보를 이용한 게임 캐릭터 생성시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |