KR102229034B1 - 표정 관련 정보 생성 장치와 방법 및 표정 생성 장치 - Google Patents

표정 관련 정보 생성 장치와 방법 및 표정 생성 장치 Download PDF

Info

Publication number
KR102229034B1
KR102229034B1 KR1020180092001A KR20180092001A KR102229034B1 KR 102229034 B1 KR102229034 B1 KR 102229034B1 KR 1020180092001 A KR1020180092001 A KR 1020180092001A KR 20180092001 A KR20180092001 A KR 20180092001A KR 102229034 B1 KR102229034 B1 KR 102229034B1
Authority
KR
South Korea
Prior art keywords
expression
emotion
generating
feature points
facial
Prior art date
Application number
KR1020180092001A
Other languages
English (en)
Other versions
KR20200019282A (ko
Inventor
정준영
송형주
신승호
윤찬민
한진용
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020180092001A priority Critical patent/KR102229034B1/ko
Publication of KR20200019282A publication Critical patent/KR20200019282A/ko
Application granted granted Critical
Publication of KR102229034B1 publication Critical patent/KR102229034B1/ko

Links

Images

Classifications

    • G06K9/00302—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06K9/00288—
    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

일 실시예에 따른 표정 관련 정보 생성 장치는 얼굴 영상으로부터 특징점(facial landmark)을 추출하는 특징점 추출부와, 상기 특징점을 기초로 상기 얼굴 영상의 표정 생성에 사용된 표정 벡터의 조절 가중치(control weight)를 획득하는 조절 가중치 획득부와, 상기 얼굴 영상에 나타난 표정의 감정 비율(rate)을 산출하는 감정 분석부와, 상기 조절 가중치 획득부에 의해 획득된 조절 가중치와 상기 감정 분석부에 의해 산출된 감정 비율을 매핑시켜서 저장하는 저장부를 포함한다.

Description

표정 관련 정보 생성 장치와 방법 및 표정 생성 장치 {APPARATUS AND METHOD FOR CREATING INFORMATION RELATED TO FACIAL EXPRESSION AND APPARATUS FOR CREATING FACIAL EXPRESSION}
본 발명은 표정 관련 정보 생성 장치와 방법 및 표정 생성 장치에 관한 것이다.
인간의 커뮤니케이션(communication) 방법에는 여러 가지가 있다. 그 중의 하나는 얼굴 표정이다. 커뮤니케이션의 상대방은 발화자의 얼굴 표정으로부터 발화자의 감정이나 의도 등을 파악할 수 있다.
얼굴 표정을 이용한 커뮤니케이션 방법은 영화나 애니메이션에 등장하는 가상의 캐릭터에 대해서도 동일하게 적용될 수 있다. 즉 관람객은 캐릭터의 얼굴 표정으로부터 캐릭터의 감정이나 의도 또는 주변 상황과 같은 정보를 파악할 수 있다.
한편, 캐릭터의 얼굴 표정을 생성하는 기법 중에는 리타게팅(retargeting) 기법이 있다. 리타게팅 기법이란 사람과 같은 대상체로부터 얼굴 표정을 획득한 뒤, 이러한 얼굴 표정을 캐릭터에 이식하여서 애니메이션을 생성하는 기술을 지칭한다.
이러한 리타게팅 기법은 다양한 방식으로 구현 가능하다. 그 중 하나로 블렌드 쉐이프(blend shape) 기법이 있다. 블렌드 쉐이프 기법에 따르면, 기준 표정(또는 대표 표정)을 나타내는 복수 개의 블렌드 쉐이프 벡터를 미리 정의한 뒤, 이들 블렌드 쉐이프 벡터 각각에 조절 가중치(control weight)를 곱하여서 서로 더함으로써 표준 표정 이외에도 다양한 표정을 생성할 수 있다.
블렌드 쉐이프 벡터에는, 수많은 사람들의 표정을 기반으로 생성된, 즉, 표준이 되는 표준 블렌드 쉐이프 벡터가 있다. 리타게팅 분야의 디자이너는 각 개인에 맞게 이러한 표준 블렌드 쉐이프 벡터 자체를 최적화시킬 수 있다. 즉, 표준 블렌드 쉐이프 벡터 자체에 대한 수정이 수행될 수 있다. 최적화된 블렌드 쉐이프 벡터에 적절한 조절 가중치를 곱해서 더하면, 각 개인의 표정이 정확하면서도 세밀하게 캐릭터에서 표현될 수 있다.
한국특허공개공보, 제 2010-0088347호 (2010.08.09. 공개)
각 개인에 맞게 표준 블렌드 쉐이프 벡터를 최적화시키는 과정에는 많은 시간과 자원(resource)이 요구될 수 있다. 경우에 따라서는, 그래픽 관련 연산을 수행하기에는 충분하지 못한 자원을 갖는 장치, 예컨대 셋탑박스 등에서는 각 개인(사용자)에 맞도록 표준 블렌드 쉐이프를 최적화시키는 연산이 수행되기 어려울 수도 있다.
이에, 본 발명의 해결하고자 하는 과제는 각 개인에 맞게 표준 블렌드 쉐이프 벡터 자체를 최적화시키는 과정 없이도 각 개인의 다양한 표정을 충분히 정확하면서도 세밀하게 표현할 수 있는 기술을 제공하는 것에 있다.
아울러, 상대적으로 적은 자원을 갖는, 즉 사양이 낮은 장치에서도 동작할 수 있는 전술한 기술을 제공하는 것에 있다.
다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따른 표정 관련 정보 생성 장치는 얼굴 영상으로부터 특징점(facial landmark)을 추출하는 특징점 추출부와, 상기 특징점을 기초로 상기 얼굴 영상의 표정 생성에 사용된 표정 벡터의 조절 가중치(control weight)를 획득하는 조절 가중치 획득부와, 상기 얼굴 영상에 나타난 표정의 감정 비율(rate)을 산출하는 감정 분석부와, 상기 조절 가중치 획득부에 의해 획득된 조절 가중치와 상기 감정 분석부에 의해 산출된 감정 비율을 매핑시켜서 저장하는 저장부를 포함한다
일 실시예에 따른 표정 관련 정보 생성 장치에 의해 수행되는 표정 관련 정보 생성 방법에서는, 얼굴 영상으로부터 특징점을 추출하는 단계와, 상기 특징점을 기초로 상기 얼굴 영상의 표정 생성에 사용된 표정 벡터의 조절 가중치를 획득하는 단계와, 상기 얼굴 영상에 나타난 표정의 감정 비율을 산출하는 단계와, 상기 획득된 조절 가중치를 상기 산출된 감정 비율과 매핑시켜서 저장하는 단계가 수행된다.
일 실시예에 따른 표정 생성 장치는 얼굴 영상의 표정 생성에 사용된 표정 벡터의 조절 가중치를 상기 얼굴 영상에 나타난 표정의 감정 비율과 매핑시켜서 저장하는 저장부와, 목표 감정 비율을 입력받는 요청 입력부와, 상기 저장부에 저장된 감정 비율 중에서 상기 입력받은 목표 감정 비율에 대응되는 감정 비율이 선택되고 상기 선택된 감정 비율에 매칭되는 조절 가중치가 상기 저장부로부터 획득되면, 상기 획득된 조절 가중치를 기초로 표정을 생성하는 표정 생성부를 포함한다.
일 실시예에 따르면 각 개인에 맞는 얼굴 표정은, 표준 블렌드 쉐이프 벡터를 각 개인에게 최적화시키는 과정 없이도 각 개인의 실제 얼굴 표정을 반영하는 조절 가중치를 통해 구현 가능하다. 따라서, 상대적으로 적은 자원을 갖는, 즉 사양이 낮은 장치에서도 각 개인의 다양한 표정을 충분히 정확하면서도 세밀하게 표현할 수 있는 기술의 제공이 가능해진다.
도 1은 블렌드 쉐이프 기법에서의 각 블렌드 쉐이프 벡터 및 각각의 블렌드 쉐이프 벡터에 곱해지는 조절 가중치(control weight)에 대해 도시하고 있다.
도 2는 블렌드 쉐이프 기법에서 조절 가중치의 조절에 의해 다양한 표정이 캐릭터에서 표현되는 것을 예시적으로 도시하고 있다.
도 3은 일 실시예에 따른 표정 생성 장치의 구성에 대해 도시하고 있다.
도 4는 도 3에 도시된 특징점 추출부에 의해 얼굴 영상으로부터 특징점이 추출된 것을 도시하고 있다.
도 5는 도 3에 도시된 감정 분석부에 의해 얼굴 영상이 분석되는 과정에 대해 도시하고 있다.
도 6은 도 3에 도시된 감정 분석부에 의해, 복수의 사람 각각의 다양한 얼굴 영상이 분석된 결과에 대해 도시하고 있다
도 7은 도 3에 도시된 조절 가중치 획득부에 의해 조절 가중치가 획득되는 과정을 도시하고 있다.
도 8은 도 3에 도시된 저장부가 저장하는, 표정 관련 정보 테이블을 도시하고 있다
도 9은 도 3에 도시된 표정 생성부에 의해 표정이 출력되는 과정을 도시하고 있다.
도 10은 일 실시예에 따른 표정 관련 정보 생성 장치의 구성에 대해 도시하고 있다.
도 11은 일 실시예에 따른 표정 관련 정보 생성 방법의 절차를 도시하고 있다.
도 12는 일 실시예에 따른 표정 생성 방법의 절차를 도시하고 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 블렌드 쉐이프 기법에서 채용되는 복수 개의 블렌드 쉐이프 벡터 및 복수 개의 블렌드 쉐이프 벡터 각각에 곱해지는 조절 가중치(control weight)에 대해 도시하고 있다. 도 1을 참조하면, F1 내지 F5 등은 각각 기준 표정(또는 대표 표정)을 나타내는 블렌드 쉐이프 벡터(또는 표정 벡터)이다. 아울러, w1 내지 w5 등은 각각의 블렌드 쉐이프 벡터 각각에 곱해지는 조절 가중치(control weight)이다. 도 1의 수식은 복수 개의 블렌드 쉐이프 벡터 각각에 조절 가중치가 곱해지고 서로 더해짐으로써, 기준 표정(또는 대표 표정) 이외에도 다양한 표정(도 1에 도시된 5개의 얼굴)이 표현될 수 있음을 나타내고 있다.
도 2는 블렌드 쉐이프 기법에서 조절 가중치의 조절에 의해 다양한 표정이 캐릭터에서 표현되는 것을 예시적으로 도시하고 있다. 도 2를 참조하면 왼쪽 아래의 '100'은 제1 블렌드 쉐이프 벡터에 곱해지는 조절 가중치의 값을 나타내고, 가운데 아래의 '.50'은 제2 블렌드 쉐이프 벡터에 곱해지는 조절 가중치의 값을 나타내며, 오른쪽 아래의 '.85'는 제3 블렌드 쉐이프 벡터에 곱해지는 조절 가중치의 값을 나타낸다. 이렇게 각각의 블렌드 쉐이프 벡터에 조절 가중치를 곱해서 이들을 더하면, 도 2에 도시된 인물의 표정이 표현될 수 있다.
한편, 전술한 도 1과 2에서 도시 내지 언급된 블렌드 쉐이프 벡터가 '표준 블렌드 쉐이프 벡터', 즉 수많은 사람들의 표정을 기반으로 생성된 표준 블렌드 쉐이프 벡터라면, 이러한 표준 블렌드 쉐이프 벡터에 조절 가중치를 곱해서 이들을 더하는 것만으로는, 각 개인의 표정 특성을 반영하기가 쉽지 않다.
이와 달리, 전술한 도 1과 2에서 도시 내지 언급된 블렌드 쉐이프 벡터가 각 개인에게 최적화된, 개인 맞춤형 블렌드 쉐이프 벡터라면, 각 개인의 표정 특성이 잘 반영될 수 있다. 그러나, 이를 위해서는 표준 블렌드 쉐이프 벡터를 각 개인에게 맞게 최적화시키는 과정이 수행되어야 하는데, 이러한 과정에는 많은 시간과 자원(resource)이 요구될 수 있다.
이에, 이하에서는 표준 블렌드 쉐이프 벡터를 각 개인에게 최적화시키는 과정 없이도, 각 개인의 표정을 정확하면서도 세밀하게 반영할 수 있는 일 실시예에 따른 기술에 대해 설명하기로 한다.
도 3은 일 실시예에 따른 표정 생성 장치(100)의 구성에 대해 도시하고 있다. 먼저, 이러한 표정 생성 장치(100)는 컴퓨터, 스마트폰, 스마트 패드 또는 셋탑박스와 같은 형태에서 구현 가능하며, 다만 이에 한정되지 않는다.
도 3을 참조하면, 표정 생성 장치(100)는 촬영부(110), 저장부(120), 특징점(facial landmark) 추출부(130), 감정 분석부(140), 조절 가중치 획득부(150), 요청 입력부(170) 및 표정 생성부(180)를 포함할 수 있다. 다만 도 3은 예시적인 것에 불과하므로, 표정 생성 장치(100)은 도 3에 도시되지 않은 구성을 추가로 포함하거나 또는 도시된 구성 중 적어도 한 개의 구성을 포함하지 않도록 실시될 수도 있다.
촬영부(110)는 카메라 등의 촬상 수단을 포함하며, 표정 생성 장치(100)를 사용하는 사용자의 얼굴 등을 촬영할 수 있다. 다만, 실시예에 따라 촬영부(110)는 표정 생성 장치(100)에 포함되지 않을 수도 있으며, 이 경우 표정 생성 장치(100)에 의해 처리(processing)되는 얼굴 영상은 표정 생성 장치(100)가 외부로부터 획득한 것일 수 있다.
저장부(120)는 메모리 등에 의해 구현 가능하다. 저장부(120)에는 다양한 데이터가 저장될 수 있는데, 이에 대해서는 후술하기로 한다.
저장부(120)는 실시예에 따라 마이크로프로세서를 포함할 수도 있으며, 이에 따라 저장부(120)는 자신이 저장하고 있는 데이터를 소정의 방식으로 가공할 수도 있다. 저장부(120)의 데이터 가공에 대해서는 후술하기로 한다.
특징점 추출부(130), 감정 분석부(140), 조절 가중치 획득부(150), 요청 입력부(170) 및 표정 생성부(180)는 이하에서 설명할 기능을 수행하도록 프로그램된 명령어를 저장하는 메모리 및 이러한 명령어를 실행하는 마이크로프로세서에 의해 구현 가능하며, 이하에서는 이들이 수행하는 기능에 대해 살펴보기로 한다.
특징점 추출부(130)는 얼굴 영상으로부터 특징점(facial landmark)을 추출한다. 추출의 대상이 되는 얼굴 영상은 촬영부(110)가 촬영한 것일 수 있으며, 또는 표정 생성 장치(100)가 외부로부터 전달받아서 저장부(120)에 저장한 것일 수도 있다.
여기서 특징점이란 얼굴 영상에서의 각 지점 중, 표정에 관여하는 바가 상대적으로 큰 지점일 수 있다. 도 4에는, 특징점 추출부(130)에 의해 추출된 특징점이, 다양한 얼굴 영상마다 각각 표시되어 있다. 여기서, 특징점 추출부(130)가 얼굴 영상으로부터 이러한 특징점을 추출하는 기술은 이미 공지된 기술이므로, 이에 대한 상세한 설명은 생략하기로 한다.
다시 도 3을 참조하면, 감정 분석부(140)는 얼굴 영상에 나타난 표정의 감정 비율(rate), 즉 표정이 소정의 감정에 어느 정도로 매칭되는지를 산출한다. 산출되는 감정 비율은 소정의 범위의 값을 가질 수 있다. 예컨대 감정 비율은 0 이상 1 이하의 값을 가질 수 있으나 그 범위가 이에 한정되는 것은 아니다. 도 6은 감정 분석부(140)에 의해 산출된, '행복'이라는 감정에 대해 사람 1의 감정 비율과 사람 2의 감정 비율을 도시하고 있다.
다시 도 3을 참조하기로 한다. 감정 분석부(140)에 의해 다뤄지는 감정은 복수 개일 수 있다. 예컨대 감정에는 기쁨, 슬픔, 화남, 즐거움 또는 지루함 등이 포함될 수 있다. 이에 따라, 감정 분석부(140)는 복수 개의 감정 각각에 대한 감정 비율을 산출할 수 있다.
이러한 감정 분석부(140)는 딥러닝(deep learning) 방식에 의해 사전에 학습된 모델로 구현될 수 있다. 이 때의 학습 모델은 합성곱 신경망 네트워크(convolutional neural network CNN)을 기반으로 한 것일 수 있으며, 도 5는 감정 분석부(140)를 구현하는 합성곱 신경망 네트워크 모델에 대해 도시하고 있다. 다만, 감정 분석부(140)가 CNN을 기반으로 한 학습 모델에 의해 구현되는 것으로 한정 해석되는 것은 아니다.
이러한 감정 분석부(140)는 다음과 같은 학습용 입력/정답 데이터를 복수 개입력받아서 학습될 수 있다.
- 학습용 입력 데이터 : 사람의 얼굴 영상
- 학습용 정답 데이터 : 사람의 얼굴 영상의 표정에 대한 감정 비율
다시 도 3을 참조하면 조절 가중치 획득부(150)는 얼굴 영상이 주어지면, 이러한 얼굴 영상에 나타난 표정을 생성하기 위해서 어떤 표정 벡터들이 어떤 비율로 조합되어야 하는지를 나타내는 조절 가중치(control weight)를, 각각의 표정 벡터들에 대해 획득한다. 여기서의 표정 벡터는 블렌드 쉐이프 기법에서의 표준 블렌드 쉐이프 벡터일 수 있으며, 조절 가중치는 블렌드 쉐이프 기법에서의 조절 가중치일 수 있으나 이에 한정되는 것은 아니다.
보다 구체적으로 살펴보기로 한다. 블렌드 쉐이프 기법에서, 얼굴 표정은 복수 개의 표준 블렌드 쉐이프 벡터 및 이들 각각에 곱해지는 조절 가중치에 의해 규정되는 얼굴 영상의 각 포인트들의 위치에 의해 표현 내지 구현될 수 있다.
즉, 표준 블렌드 쉐이프 벡터와 그에 곱해지는 조절 가중치는, 결국 얼굴 영상에 나타난 특정 포인트들이 어느 방향으로 얼마만큼 이동해야 하는지를 나타내는 지표이다.
반대로, 얼굴 영상에 나타난 특정 포인트들이 해당 얼굴 영상에서 어느 위치에 있는지를 알면, 해당 얼굴 영상에 나타난 표정의 생성에 어떠한 표준 블렌드 쉐이프 벡터들이 사용되었는지, 사용된 비율(조절 가중치)는 어느 정도인지가 역으로 도출될 수 있다. 이러한 도출은 최적화 알고리즘에 의해 가능한데, 최적화 알고리즘 그 자체는 이미 공지된 기술이므로 이에 대한 자세한 설명은 생략하기로 한다.
도 7은 조절 가중치 획득부(150)가 조절 가중치를 획득하는 전술한 과정을 개념적으로 도시하고 있다. 도 7을 참조하면, 조절 가중치 획득부(150)는, 특징점 추출부(130)에 의해 얼굴 영상(이미지)으로부터 추출된 특징점이 어디에 위치해 있는지에 대한 정보를 기초로, 저장부(120)에 저장된 복수 개의 표준 블렌드 쉐이프 벡터 각각에 곱해져야 할 조절 가중치를 획득한다.
조절 가중치 획득부(150)가 획득한 이러한 조절 가중치는 각각의 사람 별로, 또한 각각의 감정 별로 획득될 수 있다. 이들은 표정 관련 정보 테이블 형태로 저장부(120)에 저장된다.
도 8은 저장부(120)에 저장된 표정 관련 정보 테이블을 도시하고 있다. 도 8에 도시된 표정 관련 정보 테이블은 '행복'이라는 감정을 표현하는 A라는 사람에 대한 것이다.
보다 구체적으로 살펴보면, A라는 사람의 다양한 얼굴 영상에서 행복에 대해 갖는 감정 비율(rate, 레이트)은 0이상 1이하의 값인 0, 0.2, 0.5, 0.7 및 1을 가진다. 각각의 감정 비율마다 복수 개의 표준 블렌드 쉐이프 벡터에 대한 조절 가중치가 매핑되어 있다. 만약 특정값의 감정 비율, 예컨대 0.4가 비어 있게 된다면, 보간법에 의해 이러한 비어 있는 부분의 감정 비율 및 비어 있는 부분의 감정 비율에 매핑되는 조절 가중치가 생성될 수 있다. 한편, 도 8에 도시된 '각 특징점의 위치에 대한 범위(min,max)'에 대해서는 후술하기로 한다.
이 때, 저장부(120)에는 A라는 사람에 대해 '행복'이외에도 다양한 감정, 예컨대, 슬픔, 기쁨, 놀람 또는 지겨움 각각에 대한 표정 관련 정보 테이블이 도 8에서와 같은 형태로 저장되어 있을 수 있다.
뿐만 아니라, 저장부(120)는 A이외의 다른 사람에 대해서도 행복, 슬픔, 기쁨 또는 놀람 등과 같은 각각의 감정에 대한 표정 관련 정보 테이블이 저장되어 있을 수 있다.
도 3과 도 9를 참조하면, 요청 입력부(170)와 표정 생성부(180)에 의해 리타게팅이 이루어지는 과정이 도시되어 있다. 구체적으로 살펴보면, 요청 입력부(170)는 소정의 감정에 대한 원하는 감정 비율(이하 '목표 감정 비율'이라고 지칭함)을 사용자 등으로부터 또는 외부의 다양한 주체(서버 또는 프로그램 등)로부터 입력받는다. 이러한 목표 감정 비율은 저장부(120)에 저장된 표정 관련 정보 테이블의 감정 비율에 대응하는 값, 즉 0이상 1이하의 숫자값일 수 있다. 이러한 요청 입력부(170)는 사용자로부터 요청을 입력받는 입력 인터페이스 등으로 구현 가능하다.
표정 생성부(180)는 요청 입력부(170)로부터 목표 감정 비율을 전달받고, 이러한 목표 감정 비율에 매칭되는 조절 가중치를 저장부(120)로부터 획득하여서, 이러한 조절 가중치를 기초로 얼굴 표정을 생성하여 출력한다(181).
여기서, 얼굴 표정의 생성에는 표준 블렌드 쉐이프 벡터가 이용되지만, 각각의 표준 블렌드 쉐이프 벡터에 곱해지는 조절 가중치는 각 사용자의 실제 얼굴 표정에 기반한 것이다. 즉, 일 실시예에 따르면 각 개인에 맞는 얼굴 표정은, 표준 블렌드 쉐이프 벡터를 각 개인에게 최적화시키는 과정 없이도 각 개인의 실제 얼굴 표정을 반영하는 조절 가중치를 통해 구현 가능하다. 따라서, 상대적으로 적은 자원을 갖는, 즉 사양이 낮은 장치에서도 각 개인의 다양한 표정을 충분히 정확하면서도 세밀하게 표현할 수 있는 기술의 제공이 가능해진다.
한편, 저장부(120)는 앞서 살펴본 바와 같이 마이크로프로세서를 포함하도록 구현 가능하다. 이에 저장부(120)는 다음과 같은 방식으로 자신에 저장된 데이터를 가공할 수 있다.
- 각 감정별로, 동일한 감정 비율의 값을 갖는 얼굴 영상을 동일 그룹으로 분류함 -> 동일 그룹에 속한 영상들의 특징점에 대한 분포를 각 그룹마다 각각, 얼굴 영상에서의 각 지점에 대해 추출하여서 저장함
여기서 '분포'는 특징점들의 위치 분포이다. 이러한 분포를 통해, 각 특징점이 각 좌표축 상에서 어느 범위 내에서 분포하는지가 각 좌표축 상에서의 최소값(min)과 최대값(max)으로 도출될 수 있다. 이 때, 최소값과 최대값은 얼굴의 각 부위별로 산출된다. 예컨대, 눈 주위의 특징점들의 최소/최대값, 코 주위의 특징점들의 최소/최대값 또는 이마 주위의 특징점들의 최소/최대값이 도출될 수 있다.
이와 같이 도출된 최소/최대값은 표정 생성부(180)가 복수 개의 표준 블렌드 쉐이프 벡터에 기초한 특징점의 이동을 통해 얼굴 표정을 생성할 때, 각 특징점이 움직일 수 있는 범위를 제한하는 기준이 될 수 있다. 이를 통해 얼굴 표정 생성에 있어서 특정 특징점이 비정상적으로 위치함으로써 부자연스러운 얼굴 표정이 생성되는 것이 방지될 수 있다.
한편, 도 3에는 전술한 바와 같이 표정 생성 장치(100)의 구성을 도시한 것이다. 이 때 실시예에 따라서 도 3에 도시된 구성 중 일부의 구성만을 포함하는 표정 관련 정보 생성 장치가 실시될 수도 있다. 도 9는 이러한 일 실시예에 따른 표정 관련 정보 생성 장치의 구성에 대해 도시하고 있다.
표정 관련 정보 생성 장치는 촬영부(110), 저장부(120), 특징점 추출부(130), 감정 분석부(140), 조절 가중치 획득부(150)를 포함할 수 있으나 이에 한정되는 것은 아니며, 표정 관련 정보 생성 장치 각각에 포함되는 이들 구성은 도 3에 도시된 구성들과 동일하므로 이들 구성 자체에 대한 설명은 생략하기로 한다.
이러한 표정 관련 정보 생성 장치는, 조절 가중치 획득부(150)가 획득한 조절 가중치를 소정의 외부의 장치, 예컨대 얼굴 표정을 생성하는 소정의 리타게팅 장치에게 제공할 수 있으며, 이에 따라 소정의 리타게팅 장치는 이러한 조절 가중치를 이용하여서 리타게팅을 수행할 수 있다.
도 11은 일 실시예에 따른 표정 관련 정보 생성 방법에 도시하고 있다. 도 11에 도시된 표정 관련 정보 생성 방법은 도 10에 도시된 표정 관련 정보 생성 장치에 의해 수행 가능하다. 아울러, 도 11에 도시된 것은 예시적인 것에 불과하므로, 본 발명의 사상이 도 11에 도시된 것으로 한정 해석되는 것은 아니다.
도 11을 참조하면, 표정 관련 정보 생성 방법에서는, 얼굴 영상으로부터 특징점을 추출하는 단계(S100), 상기 특징점을 기초로 상기 얼굴 영상에 나타난 표정의 생성에 사용된 표정 벡터의 조절 가중치를 획득하는 단계(S110), 상기 얼굴 영상에 나타난 표정의 감정 비율을를 산출하는 단계(S120) 및 상기 획득된 조절 가중치를 상기 산출된 감정 비율과 매핑시켜서 저장하는 단계(S130)가 수행될 수 있다.
여기서, 표정 관련 정보 생성 방법은 이미 설명된 도 10에 도시된 표정 관련 정보 생성 장치에 의해 수행 가능하므로, 이러한 방법에 대한 구체적인 내용은 생략하기로 한다.
도 12는 일 실시예에 따른 표정 생성 방법에 도시하고 있다. 도 12에 도시된 표정 생성 방법은 전술한 표정 생성 장치(100)에 의해 수행 가능하다. 아울러, 도 12에 도시된 것은 예시적인 것에 불과하므로, 본 발명의 사상이 도 12에 도시된 것으로 한정 해석되는 것은 아니다.
도 12를 참조하면, 표정 생성 방법에서는, 얼굴 영상의 표정 생성에 사용된 표정 벡터의 조절 가중치를 상기 얼굴 영상에 나타난 표정의 감정 비율과 매핑시켜서 저장하는 단계(S200), 목표 감정 비율을 입력받는 단계 (S210) 및 상기 저장된 감정 비율 중에서 상기 입력받은 목표 감정 비율에 대응되는 감정 비율이 선택되고 상기 선택된 감정 비율에 매칭되는 조절 가중치가 상기 저장된 것 중에 획득되면, 상기 획득된 조절 가중치를 기초로 표정을 생성하는 단계(S220)가 수행된다.
여기서, 단계 S200에서 저장된 조절 가중치와 감정 비율은 도 11에서 수행되는 단계 S100 내지 S130에서 생성되어서 저장된 것일 수 있다.
한편, 이러한 표정 생성 방법은 이미 설명된 도 3에 도시된 표정 관련 정보 생성 장치에 의해 수행 가능하므로, 이러한 방법에 대한 구체적인 내용은 생략하기로 한다.
한편, 일 실시예에 따른 표정 관련 정보 생성 방법은 이러한 방법에 포함된 각 단계를 수행하도록 프로그램된 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램의 형태로 구현되거나, 또는 이러한 방법에 포함된 각 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
삭제
100: 표정 생성 장치

Claims (7)

  1. 얼굴 영상으로부터 특징점(facial landmark)을 추출하는 특징점 추출부와,
    상기 추출된 특징점에 기초하여 상기 얼굴 영상에 나타난 표정의 감정 비율(rate)을 산출하는 감정 분석부와,
    상기 산출된 감정 비율의 표정을 생성할 수 있는 표정 벡터의 조절 가중치(control weight)를 상기 추출된 특징점에 기초하여 획득하는 조절 가중치 획득부와,
    상기 조절 가중치 획득부에 의해 획득된 조절 가중치와 상기 감정 분석부에 의해 산출된 상기 표정의 감정 비율을 매핑시켜서 저장하는 저장부를 포함하고,
    상기 저장부는,
    상기 감정 비율이 동일한 값을 갖는 적어도 두 개의 얼굴 영상들을 동일한 그룹으로 분류하고, 동일 그룹에 속한 영상들의 특징점에 대한 분포를 상기 그룹마다 각각 추출하여서 저장하며,
    상기 특징점에 대한 분포는, 상기 표정 벡터에 기초한 상기 특징점의 이동을 통해 얼굴 표정을 생성할 때 상기 특징점이 이동할 수 있는 범위를 제한하는 기준에 이용되는
    표정 관련 정보 생성 장치.
  2. 제 1 항에 있어서,
    상기 표정 벡터는,
    블렌드 쉐이프(blend shape) 기법에서 표준이 되는 블렌드 쉐이프 벡터인
    표정 관련 정보 생성 장치.
  3. 제 1 항에 있어서,
    상기 감정 분석부는,
    상기 얼굴 영상을 입력받으면 상기 입력받은 얼굴 영상에 나타난 표정의 감정 비율을 산출하도록 사전에 딥러닝 방식에 따라 학습된 모델을 포함하는
    표정 관련 정보 생성 장치.
  4. 제 1 항에 있어서,
    상기 감정 분석부는,
    복수 개의 감정 각각에 대해 상기 얼굴 영상의 감정 비율을 산출하며,
    상기 저장부는,
    상기 복수 개의 감정별로 각각, 상기 조절 가중치와 상기 감정 비율을 매핑시켜서 저장하는
    표정 관련 정보 생성 장치.
  5. 삭제
  6. 표정 관련 정보 생성 장치에 의해 수행되는 표정 관련 정보 생성 방법으로서,
    얼굴 영상으로부터 특징점을 추출하는 단계와,
    상기 추출된 특징점에 기초하여 상기 얼굴 영상에 나타난 표정의 감정 비율(rate)을 산출하는 단계와,
    상기 산출된 감정 비율의 표정을 생성할 수 있는 표정 벡터의 조절 가중치를 상기 추출된 특징점에 기초하여 획득하는 단계와,
    상기 획득된 조절 가중치를 상기 산출된 상기 표정의 감정 비율과 매핑시켜서 저장하는 단계와,
    상기 감정 비율이 동일한 값을 갖는 적어도 두 개의 얼굴 영상들을 동일한 그룹으로 분류하고, 동일 그룹에 속한 영상들의 특징점에 대한 분포를 상기 그룹마다 각각 추출하여서 저장하는 단계를 포함하고,
    상기 특징점에 대한 분포는, 상기 표정 벡터에 기초한 상기 특징점의 이동을 통해 얼굴 표정을 생성할 때 상기 특징점이 이동할 수 있는 범위를 제한하는 기준에 이용되는
    표정 관련 정보 생성 방법.
  7. 얼굴 영상에 나타나는 표정의 감정 비율과 상기 표정을 생성할 수 있는 표정 벡터의 조절 가중치를 매핑시켜서 저장하며, 상기 감정 비율이 동일한 값을 갖는 적어도 두 개의 얼굴 영상들을 동일한 그룹으로 분류하고, 동일 그룹에 속한 영상들의 특징점에 대한 분포를 상기 그룹마다 각각 추출하여서 저장하는 저장부와,
    목표 감정 비율을 입력받는 요청 입력부와,
    상기 저장부에 저장된 감정 비율 중에서 상기 입력받은 목표 감정 비율에 대응되는 감정 비율이 선택되고 상기 선택된 감정 비율에 매칭되는 상기 표정 벡터의 조절 가중치가 상기 저장부로부터 획득되면, 상기 획득된 조절 가중치를 기초로 상기 목표 감정 비율의 표정을 갖는 얼굴 영상을 생성하되, 상기 표정 벡터에 기초한 상기 특징점의 이동을 통해 얼굴 표정을 생성하는 표정 생성부를 포함하고,
    상기 특징점에 대한 분포는, 상기 얼굴 표정을 생성할 때에 상기 특징점이 이동할 수 있는 범위를 제한하는 기준에 이용되는
    표정 생성 장치.
KR1020180092001A 2018-08-07 2018-08-07 표정 관련 정보 생성 장치와 방법 및 표정 생성 장치 KR102229034B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180092001A KR102229034B1 (ko) 2018-08-07 2018-08-07 표정 관련 정보 생성 장치와 방법 및 표정 생성 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180092001A KR102229034B1 (ko) 2018-08-07 2018-08-07 표정 관련 정보 생성 장치와 방법 및 표정 생성 장치

Publications (2)

Publication Number Publication Date
KR20200019282A KR20200019282A (ko) 2020-02-24
KR102229034B1 true KR102229034B1 (ko) 2021-03-17

Family

ID=69637376

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180092001A KR102229034B1 (ko) 2018-08-07 2018-08-07 표정 관련 정보 생성 장치와 방법 및 표정 생성 장치

Country Status (1)

Country Link
KR (1) KR102229034B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102574724B1 (ko) * 2022-10-06 2023-09-06 고난경 영상 분석을 통한 상태 판단 및 제품 추천 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102595666B1 (ko) * 2022-05-03 2023-10-31 (주)이브이알스튜디오 영상 생성 방법 및 장치
KR102579685B1 (ko) * 2022-09-06 2023-09-18 주식회사 비브스튜디오스 조정 정보를 이용한 디지털 휴먼의 안면 움직임 제어 매개변수의 구축 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101148101B1 (ko) 2009-01-30 2012-05-22 서강대학교산학협력단 얼굴 표정 리타게팅 방법
KR101994390B1 (ko) * 2015-12-30 2019-06-28 단국대학교 산학협력단 가중치 보간 맵을 이용한 표정 합성 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102574724B1 (ko) * 2022-10-06 2023-09-06 고난경 영상 분석을 통한 상태 판단 및 제품 추천 방법

Also Published As

Publication number Publication date
KR20200019282A (ko) 2020-02-24

Similar Documents

Publication Publication Date Title
US10607065B2 (en) Generation of parameterized avatars
US11861936B2 (en) Face reenactment
KR102229034B1 (ko) 표정 관련 정보 생성 장치와 방법 및 표정 생성 장치
CN111260754B (zh) 人脸图像编辑方法、装置和存储介质
US11068746B2 (en) Image realism predictor
KR102455966B1 (ko) 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체
CN111369428B (zh) 虚拟头像生成方法和装置
KR101743764B1 (ko) 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치
KR102229061B1 (ko) 표정 인식 모델 생성 장치 및 방법, 및 이를 이용한 표정 인식 장치 및 방법
KR20230015430A (ko) 얼굴 정보를 처리하기 위한 방법 및 장치, 전자 디바이스 및 저장 매체
JP2018116589A (ja) 対象画像の変更画像群を用いる状態識別装置、プログラム及び方法
CN110570383B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN114399424A (zh) 模型训练方法及相关设备
CN114266693A (zh) 图像处理方法、模型生成方法及设备
KR102160955B1 (ko) 딥 러닝 기반 3d 데이터 생성 방법 및 장치
KR102108422B1 (ko) Ai 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체
KR102170445B1 (ko) 딥 러닝 기술을 활용한 자동 캐릭터 얼굴 표정 모델링 방법
KR102229056B1 (ko) 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
CN109949213B (zh) 用于生成图像的方法和装置
KR102504722B1 (ko) 감정 표현 영상 생성을 위한 학습 장치 및 방법과 감정 표현 영상 생성 장치 및 방법
CN114373033A (zh) 图像处理方法、装置、设备、存储介质及计算机程序
US20220103891A1 (en) Live broadcast interaction method and apparatus, live broadcast system and electronic device
CN109993807B (zh) 头像生成方法、装置及存储介质
JP7095935B2 (ja) プログラム、画像データ生成装置及び画像データ生成方法
CN115065863B (zh) 视频生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant