KR102501411B1 - 비대칭 얼굴 형태를 유지하며 대칭 표정을 생성하는 전자 장치의 제어 방법 - Google Patents

비대칭 얼굴 형태를 유지하며 대칭 표정을 생성하는 전자 장치의 제어 방법 Download PDF

Info

Publication number
KR102501411B1
KR102501411B1 KR1020220054238A KR20220054238A KR102501411B1 KR 102501411 B1 KR102501411 B1 KR 102501411B1 KR 1020220054238 A KR1020220054238 A KR 1020220054238A KR 20220054238 A KR20220054238 A KR 20220054238A KR 102501411 B1 KR102501411 B1 KR 102501411B1
Authority
KR
South Korea
Prior art keywords
image
symmetric
vertex
asymmetric
target image
Prior art date
Application number
KR1020220054238A
Other languages
English (en)
Inventor
박재욱
민동준
Original Assignee
(주)이브이알스튜디오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이브이알스튜디오 filed Critical (주)이브이알스튜디오
Priority to KR1020220054238A priority Critical patent/KR102501411B1/ko
Application granted granted Critical
Publication of KR102501411B1 publication Critical patent/KR102501411B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

3D 이미지로 구성된 디지털 휴먼의 표정을 구현하는 전자 장치의 제어 방법이 개시된다. 본 제어 방법은, 무표정의 얼굴을 구성하는 비대칭 neutral 이미지를 좌우 대칭 처리하여, 대칭 neutral 이미지를 획득하는 단계, 특정 표정을 짓는 얼굴을 구성하는 비대칭 target 이미지를 좌우 대칭 처리하여, 대칭 target 이미지를 획득하는 단계, 비대칭 neutral 이미지 및 대칭 target 이미지 각각을 바탕으로, 대칭 neutral 이미지에 대한 몰핑을 수행하는 단계를 포함한다.

Description

비대칭 얼굴 형태를 유지하며 대칭 표정을 생성하는 전자 장치의 제어 방법 { CONTROL METHOD OF ELECTRONIC APPARATUS FOR GENERATING SYMMETRICAL EXPRESSION WHILE MAINTAINING ASYMMETRICAL FACE SHAPE }
본 개시는 전자 장치의 제어 방법에 관한 것으로, 보다 상세하게는, 3D 이미지를 바탕으로 디지털 휴먼의 표정을 구현하는 전자 장치의 제어 방법에 관한 것이다.
사람의 얼굴은 좌우 비대칭이다. 어떤 사람은 한쪽 턱뼈가 더 돌출되어 있고, 입의 형태, 눈의 형태 등도 비대칭인 경우가 대부분이다. 이를 억지로 대칭으로 만들어버리면 자연스러운 사람의 얼굴로 보이기 어렵다.
예를 들어, 도 1의 이미지(10)는 실제 사람이 스캔되어 획득된 3D 이미지에 해당하며, 비록 영화배우를 스캔한 결과라서 꽤나 대칭으로 보이지만, 역시 약간은 비대칭에 해당한다.
그리고, 사람이 짓는 표정 역시 좌우 비대칭인 경우가 꽤 많다. 구체적으로, 웃는 표정, 찡그리는 표정 등 여러가지 표정들의 표정 강도(안면근육의 수축 정도)는 좌우가 일치하지 않는 경우가 많다. 예를 들어, 도 1의 이미지(20)를 참조하면, 웃는 모습은 비대칭하게 나타난다.
다만, 디지털 휴먼(ex. 인물/캐릭터를 나타내는 3D 이미지) 제작을 위해서는, 이러한 표정을 3D 데이터로 생성할 필요가 있으며, 특히나 이러한 표정들을 3D 데이터로 컨트롤하는 과정에서 좌, 우의 표정의 강도를 유지시켜야 할 필요가 있다.
관련하여, 마야, 맥스 등 대부분의 3D 툴에는 3D 모델을 좌우 대칭으로 만들어 주는 툴이 있다.
다만, 이러한 툴을 사용하여 얼굴을 좌우 대칭으로 만들게 되면 움직임의 정도(표정의 강도)만 좌우 대칭이 되어버리는 것이 아니라, 턱뼈의 형태, 눈의 형태 등등 얼굴을 구성하는 기본 형태 자체가 좌우 비대칭이 되어버리는 문제가 있고, 이는 자연스러움과 거리가 있다.
공개특허공보 제10-2022-0015469호(텍스쳐 조작을 이용한 애니메이팅된 얼굴)
본 개시는 비대칭 얼굴 형태와 대칭의 표정이 모두 적용된 자연스러운 디지털 휴먼의 표정을 구현하는 전자 장치의 제어 방법을 제공한다.
본 개시의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 개시의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 개시의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 개시의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 개시의 일 실시 예에 따라 3D 이미지로 구성된 디지털 휴먼의 표정을 구현하는 전자 장치의 제어 방법은, 무표정의 얼굴을 구성하는 비대칭 neutral 이미지를 좌우 대칭 처리하여, 대칭 neutral 이미지를 획득하는 단계, 특정 표정을 짓는 얼굴을 구성하는 비대칭 target 이미지를 좌우 대칭 처리하여, 대칭 target 이미지를 획득하는 단계, 상기 비대칭 neutral 이미지 및 상기 대칭 target 이미지 각각을 바탕으로, 상기 대칭 neutral 이미지에 대한 몰핑(morphing)을 수행하는 단계를 포함한다.
이때, 상기 몰핑을 수행하는 단계는, 상기 대칭 neutral 이미지를 구성하는 각각의 제1 정점(vertex)의 위치를 식별하는 단계, 상기 비대칭 neutral 이미지를 구성하는 각각의 제2 정점에 대하여, 매칭되는 제1 정점의 위치를 기준으로 하는 위치 벡터를 산출하는 단계, 상기 대칭 target 이미지를 구성하는 각각의 제3 정점에 대하여, 매칭되는 제1 정점의 위치를 기준으로 하는 위치 벡터를 산출하는 단계, 매칭되는 제2 정점 및 매칭되는 제3 정점 간의 위치 벡터의 합을 바탕으로, 제1 정점 각각의 위치를 변경하는 단계를 포함할 수 있다.
한편, 상기 전자 장치의 제어 방법은, 상기 디지털 휴먼의 감정을 실시간으로 선택하는 단계, 상기 선택된 감정과 관련된 표정을 식별하는 단계, 상기 비대칭 neutral 이미지 및 상기 식별된 표정에 대한 대칭 target 이미지 각각을 바탕으로, 상기 대칭 neutral 이미지에 대한 몰핑(morphing)을 수행하는 단계를 포함할 수도 있다.
여기서, 상기 전자 장치의 제어 방법은, 제1 감정 및 제2 감정이 선택된 경우, 상기 제1 감정과 관련된 제1 표정 및 상기 제2 감정과 관련된 제2 표정을 식별하는 단계, 상기 비대칭 neutral 이미지, 상기 제1 표정에 대한 비대칭 target 이미지가 좌우 대칭 처리된 제1 대칭 target 이미지, 및 상기 제2 표정에 대한 비대칭 target 이미지가 좌우 대칭 처리된 제2 대칭 target 이미지를 바탕으로, 상기 대칭 neutral 이미지에 대한 몰핑(morphing)을 수행하는 단계를 포함할 수도 있다.
본 개시의 일 실시 예에 따라 3D 이미지로 구성된 디지털 휴먼의 표정을 구현하는 전자 장치는, 메모리 및 프로세서를 포함한다. 메모리는, 무표정의 얼굴을 구성하는 비대칭 neutral 이미지, 상기 비대칭 neutral 이미지가 좌우 대칭 처리된 대칭 neutral 이미지, 및 특정 표정을 짓는 얼굴을 구성하는 비대칭 target 이미지가 좌우 대칭 처리된 대칭 target 이미지를 포함한다. 프로세서는, 상기 비대칭 neutral 이미지 및 상기 대칭 target 이미지 각각을 바탕으로, 상기 대칭 neutral 이미지에 대한 몰핑(morphing)을 수행한다.
본 개시에 따른 전자 장치의 제어 방법은, 3D 이미지의 제어 과정에서 표정의 대칭성이 반영되면서도 얼굴의 비대칭성이 자연스럽게 유지되도록 하여, 3D 이미지 처리에 최적화된 표정 구현 기능을 제공한다.
도 1은 실제 사람의 얼굴이 무표정 상태 및 웃는 상태에서 각각 스캔된 3D 이미지들을 도시한 도면,
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도,
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도,
도 4a는 본 개시의 일 실시 예에 따른 전자 장치가 비대칭 neutral 이미지를 좌우 대칭 처리하여 대칭 neutral 이미지를 획득하는 동작을 설명하기 위한 도면,
도 4b는 본 개시의 일 실시 예에 따른 전자 장치가 비대칭 target 이미지를 좌우 대칭 처리하여 대칭 target 이미지를 획득하는 동작을 설명하기 위한 도면,
도 4c는 본 개시의 일 실시 예에 따른 전자 장치가 대칭 neutral 이미지에 대한 몰핑을 수행하는 동작을 설명하기 위한 도면, 그리고
도 5는 본 개시의 다양한 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
본 개시에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당해 기술 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안 된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 전자 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다.
전자 장치(100)는 적어도 하나의 컴퓨터를 포함하는 기기 내지는 시스템에 해당할 수 있다.
예를 들어, 전자 장치(100)는 복수의 단말과 통신을 수행하는 서버에 해당할 수 있으며, 이밖에 데스크탑 PC, 노트북 PC, 태블릿 PC, 스마트폰, 웨어러블 장치, VR(Virtual Reality)/AR(Augmented Reality) 기기 등 다양한 단말 기기에 해당할 수 있다.
메모리(110)는 전자 장치(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 적어도 하나의 인스트럭션 또는 데이터를 저장하기 위한 구성이다.
메모리(110)는 ROM, 플래시 메모리 등의 비휘발성 메모리를 포함할 수 있으며, DRAM 등으로 구성된 휘발성 메모리를 포함할 수 있다. 또한, 메모리(110)는 하드 디스크, SSD(Solid state drive) 등을 포함할 수도 있다.
메모리(110)는 적어도 하나의 디지털 휴먼(ex. 가상의 인물 내지는 캐릭터)에 대한 3D 이미지를 포함할 수 있다. 3D 이미지는 하나 이상의 정점(vertex)으로 구성된 폴리곤들로 구성될 수 있다.
3D 이미지는 하나 이상의 카메라를 통해 실제 인물이 스캔되어 획득된 3D 스캔 이미지에 해당할 수 있다. 예를 들어, RGB 카메라, 뎁스 카메라, 스테레오 카메라 등이 활용될 수 있으며, 하나 이상의 조명 패턴 하에 촬영이 수행될 수도 있다(ex. 라이트 스테이지(Paul Debevec)).
이 경우, 실제 인물의 얼굴을 구성하는 각 지점이 3D 스캔 이미지를 구성하는 적어도 하나의 정점으로 구현되어 표면의 형상, 재질, 굴곡 등이 현실감 있게 나타날 수 있다. 또는, 3D 이미지는 별도 스캔 없이 하나 이상의 폴리곤이 결합되어 형성된 것일 수도 있다(ex. 디자이너의 수작업).
구체적으로, 메모리(110)는 무표정의 얼굴이 스캔되어 획득된 3D 이미지(: 비대칭 neutral 이미지), 다양한 표정(ex. 웃는 표정, 우는 표정, 인상 쓰는 표정 등)의 얼굴이 스캔되어 획득된 3D 이미지(: 비대칭 target 이미지) 등을 저장할 수 있다.
프로세서(120)는 전자 장치(100)를 전반적으로 제어하기 위한 구성이다. 구체적으로, 프로세서(120)는 메모리(110)와 연결되는 한편 메모리(110)에 저장된 적어도 하나의 인스트럭션을 실행함으로써 본 개시의 다양한 실시 예들에 따른 동작을 수행할 수 있다.
프로세서(120)는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit) 등과 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서 등을 포함할 수 있다. 인공지능 전용 프로세서는, 특정 인공지능 모델의 훈련 내지는 이용에 특화된 하드웨어 구조로 설계될 수 있다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 전자 장치(100)는 무표정의 얼굴을 구성하는 비대칭 neutral 이미지를 좌우 대칭 처리하여, 대칭 neutral 이미지를 획득할 수 있다(S310).
비대칭 neutral 이미지는, 대칭이 아닌 무표정의 얼굴을 구성하는 3D 이미지이며, 무표정의 실제 인물이 스캔되어 획득된 것일 수 있다.
좌우 대칭 처리는, 얼굴을 좌우로 구분하는 중심선을 기준으로 하여 좌우가 대칭이 되도록 처리하는 것이다.
예를 들어, 전자 장치(100)는 중심선을 기준으로 좌우에 존재하는 vertex들의 위치가 각각 1대1로 대칭이 되며, 대칭인 vertex가 서로 동일한 색상 및 법선 벡터를 갖도록 조정할 수 있다.
그 결과, 도 4a와 같이, 비대칭 neutral 이미지가 대칭 neutral 이미지로 변환될 수 있다.
그리고, 전자 장치(100)는 특정 표정을 짓는 얼굴을 구성하는 비대칭 target 이미지를 좌우 대칭 처리하여, 대칭 target 이미지를 획득할 수 있다(S320).
비대칭 target 이미지는, 대칭이 아닌 특정 표정을 짓는 얼굴을 구성하는 3D 이미지이며, 특정 표정(ex. 웃는 표정)을 짓는 얼굴이 스캔되어 획득된 것일 수 있다.
도 4b를 참조하면, 웃는 표정이 담긴 비대칭 target 이미지가 좌우 대칭 처리된 결과 대칭 target 이미지가 획득될 수 있다.
그리고, 전자 장치(100)는 비대칭 neutral 이미지 및 대칭 target 이미지 각각을 바탕으로, 대칭 neutral 이미지에 대한 몰핑(morphing)을 수행할 수 있다(S230).
몰핑은, 3D 이미지를 구성하는 적어도 하나의 vertex의 위치를 변경하는 동작이며, 몰핑 또는 blendshaping으로 지칭될 수 있다.
예를 들어, 이미지 B를 통해 이미지 A에 대한 몰핑을 수행하는 경우, 이미지 A를 구성하는 각 vertex의 위치가 이미지 B를 구성하는 각 vertex의 위치로 이동하게 되며, 이동하는 정도는 몰핑의 정도 내지는 수치에 따라 다르게 설정될 수 있다. 구체적인 예로, 몰핑의 정도가 100%인 경우, 몰핑 결과 이미지 A는 이미지 B가 될 수 있다. 다른 예로, 몰핑의 정도가 0%라면, 이미지 A는 그대로 유지될 수 있다.
도 4c는 본 개시의 일 실시 예에 따른 전자 장치가 대칭 neutral 이미지에 대한 몰핑을 수행하는 동작을 설명하기 위한 도면이다.
도 4c에서, 전자 장치(100)는 대칭 neutral 이미지를 구성하는 각각의 제1 정점(vertex)의 위치를 식별할 수 있다(Psn). 여기서, 전자 장치(100)는 대칭 target 이미지와 비대칭 neutral 이미지 각각에 있어서 대칭 neutral 이미지를 구성하는 제1 정점 각각과 매칭되는 정점들을 식별할 수 있다.
여기서, 매칭이란, 정점이 나타내는 얼굴 내 특정 지점이 동일함을 의미할 수 있으며, 각 정점의 식별 번호 내지는 특성 정보에 따라 매칭 관계가 설정되어 있을 수 있다.
그리고, 전자 장치(100)는, 비대칭 neutral 이미지를 구성하는 각각의 제2 정점에 대하여, 매칭되는 제1 정점의 위치를 기준으로 하는 위치 벡터(Vn)를 산출할 수 있다. 즉, 전자 장치(100)는 제1 정점을 기준으로 제1 정점과 매칭되는 제2 정점의 위치 차이를 산출할 수 있다.
또한, 전자 장치(100)는, 대칭 target 이미지를 구성하는 각각의 제3 정점에 대하여, 매칭되는 제1 정점의 위치를 기준으로 하는 위치 벡터(V-- st)를 산출할 수 있다.
여기서, 전자 장치(100)는 매칭되는 제2 정점 및 매칭되는 제3 정점 간의 위치 벡터의 합을 바탕으로, 제1 정점 각각의 위치를 변경할 수 있다.
그 결과, 각 정점의 위치가 변경된(Pt) 최종 target 이미지가 생성될 수 있다. 이 경우, 표정의 강도는 대칭 특정표정의 형태만큼 움직여서 좌우 표정강도를 유지할 수 있고, 그러면서도 얼굴의 형태는 비대칭 Neutral의 형태를 가질 수 있게 되는 장점이 있어, 비대칭 얼굴 형태와 대칭 특정 표정이라는 두 개의 장점을 모두 얻을 수 있다.
상술한 과정은, 이하 수학식으로 정의될 수 있다.
Figure 112022046903189-pat00001
상술한 수학식에서, 표정의 강도에 따라 Vst에 대하여 가중치(ex. weight)가 추가로 적용될 수도 있다. 예를 들어, 표정의 강도가 100%인 경우 w(weight)가 1(: 100%)이기 때문에 Vst가 그대로 반영되지만, 표정의 강도가 50%인 경우 w가 0.5로 설정되어 Vst가 절반만 반영될 수도 있다. 이때, 표정의 종류 및 표정의 강도는 디지털 휴먼에 대하여 설정된 감정에 따라 달라질 수 있다.
관련하여, 일 실시 예에 따르면, 전자 장치(100)는 디지털 휴먼의 감정의 종류 및 강도를 실시간으로 선택할 수 있다.
예를 들어, 전자 장치(100)는 사용자 입력에 따라 디지털 휴먼의 감정을 설정할 수 있다. 또는, 전자 장치(100)는 3차원의 가상 공간 내 디지털 휴먼을 중심으로 제공되는 시나리오(: 다양한 3D 이미지와 오디오 데이터로 구성됨)를 바탕으로 디지털 휴먼의 감정(종류, 강도)을 시나리오 내 시간대/조건 별로 설정할 수도 있다.
이 경우, 전자 장치(100)는 선택된 감정과 관련된 표정을 상술한 실시 예(ex. 도 3)에 따라 구현할 수 있다. 이를 위해, 메모리(110)는 하나 이상의 표정 각각과 관련된 3D 이미지를 포함할 수 있다. 예를 들어, 실제 인물의 웃는 표정이 스캔되어 획득된 비대칭 target 이미지, 실제 인물의 우는 표정이 스캔되어 획득된 비대칭 target 이미지, 실제 인물의 화난 표정이 스캔되어 획득된 비대칭 target 이미지 등이 저장될 수 있다. 여기서, 웃는 표정은 즐거움, 기쁨 등과 같은 감정과 관련되도록 기설정될 수 있으며, 우는 표정은 슬픔과 관련되도록 기설정될 수 있다.
또한, 각 표정을 나타내는 비대칭 target 이미지가 좌우 대칭 처리된 대칭 target 이미지가 표정 별로 메모리(110)에 저장될 수 있다. 좌우 대칭 처리는 전자 장치(100) 상에 수행된 것일 수도 있고, 전자 장치(100)와 통신 가능한 적어도 하나의 외부 장치에서 수행된 것일 수도 있다.
아울러, 메모리(110)는 실제 인물의 무표정이 스캔되어 획득된 비대칭 neutral 이미지, 비대칭 neutral 이미지가 좌우 대칭 처리된 대칭 neutral 이미지 등을 저장할 수 있다.
그리고, 일 예로, 특정 감정(ex. 기쁨)이 선택된 경우, 전자 장치(100)는 비대칭 neutral 이미지 및 웃는 표정에 대한 대칭 target 이미지 각각을 바탕으로, 대칭 neutral 이미지에 대한 몰핑(morphing)을 수행할 수 있다.
그 결과, 실시간으로 설정되는 감정과 관련되며, 얼굴의 비대칭 형태와 표정의 좌우 대칭이 모두 반영된 자연스러운 표정의 얼굴이 3D 이미지로 구현될 수 있다.
한편, 일 실시 예로, 전자 장치(100)는 다양한 감정/표정이 복합된 얼굴을 나타내는 3D 이미지도 구현할 수 있다.
구체적으로, 동시에 제1 감정 및 제2 감정이 선택된 경우를 가정한다. 이 경우, 전자 장치(100)는 제1 감정과 관련된 제1 표정 및 상기 제2 감정과 관련된 제2 표정을 각각 식별할 수 있다.
그리고, 전자 장치(100)는 비대칭 neutral 이미지, 제1 표정에 대한 비대칭 target 이미지가 좌우 대칭 처리된 제1 대칭 target 이미지, 및 제2 표정에 대한 비대칭 target 이미지가 좌우 대칭 처리된 제2 대칭 target 이미지를 바탕으로, 대칭 neutral 이미지에 대한 몰핑(morphing)을 수행할 수 있다.
Figure 112022046903189-pat00002
(w1 + w2 = 1)
이때, Vst1은, 대칭 neutral 이미지의 위치(Psn)를 기준으로 하여 제1 대칭 target 이미지의 vertex의 벡터 값을 나타내고, Vst2는, 대칭 neutral 이미지의 위치(Psn)를 기준으로 하여 제2 대칭 target 이미지의 vertex의 벡터 값을 나타낸다.
w1 및 w2는 각각 제1 감정(제1 표정) 및 제2 감정(제2 표정)의 강도에 따른 가중치를 나타낸다.
예를 들어, 제1 감정의 강도가 0.7이고, 제2 감정의 강도가 0.3인 경우, w1은 0.7이고, w2는 0.3에 해당한다.
한편, 도 5는 본 개시의 다양한 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 5를 참조하면, 전자 장치(100)는 메모리(110) 및 프로세서(120) 외에 통신부(130), 디스플레이(140), 사용자 입력부(150) 등을 포함할 수 있다.
통신부(130)는 다양한 유무선 통신방식으로 적어도 하나의 외부 장치와 통신을 수행하기 위한 회로, 모듈, 칩 등을 포함할 수 있다.
통신부(130)는 다양한 네트워크를 통해 외부 장치들과 연결될 수 있다.
네트워크는 영역 또는 규모에 따라 개인 통신망(PAN; Personal Area Network), 근거리 통신망(LAN; Local Area Network), 광역 통신망(WAN; Wide Area Network) 등일 수 있으며, 네트워크의 개방성에 따라 인트라넷(Intranet), 엑스트라넷(Extranet), 또는 인터넷(Internet) 등일 수 있다.
통신부(130)는 LTE(long-term evolution), LTE-A(LTE Advance), 5G(5th Generation) 이동통신, CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), GSM(Global System for Mobile Communications), DMA(Time Division Multiple Access), WiFi(Wi-Fi), WiFi Direct, Bluetooth, NFC(near field communication), Zigbee 등 다양한 무선 통신 방식을 통해 외부 장치들과 연결될 수 있다.
또한, 통신부(130)는 이더넷(Ethernet), 광 네트워크(optical network), USB(Universal Serial Bus), 선더볼트(ThunderBolt) 등의 유선 통신 방식을 통해 외부 장치들과 연결될 수도 있다.
일 예로, 적어도 하나의 카메라 시스템을 통해 비대칭 neutral 이미지, 다양한 표정의 비대칭 target 이미지 등이 획득되면, 전자 장치(100)는 통신부(130)를 통해 해당 이미지들을 카메라 시스템으로부터 수신할 수 있다.
또한, 통신부(130)를 통해, 전자 장치(100)는 상술한 실시 예(ex. 도 3)를 통해 구현된 최종 target 이미지를 적어도 하나의 사용자 단말로 전송할 수도 있다.
디스플레이(140)는 다양한 정보를 시각적으로 출력하기 위한 구성이다.
디스플레이(140)는 LCD(Liquid Crystal Display), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diodes), TOLED(Transparent OLED), Micro LED 등으로 구현될 수 있으나, 이에 한정되는 것은 아니고 이밖에 종래 알려진 다양한 형태의 디스플레이를 포함할 수 있다. 디스플레이(140)는, 사용자의 터치 조작을 감지할 수 있는 터치스크린 형태로 구현될 수 있으며, 접히거나 구부러질 수 있는 플렉서블 디스플레이로 구현될 수도 있다.
전자 장치(100)는 상술한 실시 예에 따라 획득된 최종 target 이미지를 디스플레이(140)를 통해 표시할 수 있다.
사용자 입력부(150)는 다양한 명령 또는 정보를 사용자로부터 입력 받기 위한 구성이다. 사용자 입력부(150)는 적어도 하나의 버튼, 터치 패드, 터치 스크린, 마이크, 카메라, 센서 등으로 구현될 수 있다. 또한, 전자 장치(100)는 마우스, 키보드 등으로 구성된 별도의 사용자 입력 장치와 연결될 수도 있다.
예를 들어, 전자 장치(100)는 사용자 입력부(150)를 통해 수신된 사용자 명령에 따라 디지털 휴먼의 감정을 설정할 수 있고, 설정된 감정과 관련된 표정이 나타나도록 3D 이미지(ex. 해당 표정이 반영된 최종 target 이미지)를 제공할 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 서로 저촉되지 않는 한 둘 이상이 결합되어 구현될 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다.
일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상술한 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치(100)에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 처리 동작을 상술한 특정 기기들이 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 전자 장치

Claims (5)

  1. 3D 이미지로 구성된 디지털 휴먼의 표정을 구현하는 전자 장치의 제어 방법에 있어서,
    실제 인물의 무표정의 얼굴이 3D 스캔되어 획득된 비대칭 neutral 이미지를 좌우 대칭 처리하여, 대칭 neutral 이미지를 획득하는 단계;
    상기 실제 인물의 특정 표정을 짓는 얼굴이 3D 스캔되어 획득된 비대칭 target 이미지를 좌우 대칭 처리하여, 대칭 target 이미지를 획득하는 단계; 및
    상기 비대칭 neutral 이미지 및 상기 대칭 target 이미지 각각을 바탕으로, 상기 대칭 neutral 이미지에 대한 몰핑(morphing)을 수행하는 단계;를 포함하고,
    상기 몰핑을 수행하는 단계는,
    상기 대칭 neutral 이미지를 구성하는 각각의 제1 정점(vertex)의 위치를 식별하는 단계;
    상기 비대칭 neutral 이미지를 구성하는 각각의 제2 정점에 대하여, 매칭되는 제1 정점의 위치를 기준으로 하는 위치 벡터를 산출하는 단계;
    상기 대칭 target 이미지를 구성하는 각각의 제3 정점에 대하여, 매칭되는 제1 정점의 위치를 기준으로 하는 위치 벡터를 산출하는 단계; 및
    매칭되는 제2 정점 및 매칭되는 제3 정점 간의 위치 벡터의 합을 바탕으로, 제1 정점 각각의 위치를 변경하는 단계;를 포함하는, 전자 장치의 제어 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 전자 장치의 제어 방법은,
    상기 디지털 휴먼의 감정을 실시간으로 선택하는 단계;
    상기 선택된 감정과 관련된 표정을 식별하는 단계; 및
    상기 비대칭 neutral 이미지 및 상기 식별된 표정에 대한 대칭 target 이미지 각각을 바탕으로, 상기 대칭 neutral 이미지에 대한 몰핑(morphing)을 수행하는 단계;를 포함하는, 전자 장치의 제어 방법.
  4. 제3항에 있어서,
    상기 전자 장치의 제어 방법은,
    제1 감정 및 제2 감정이 선택된 경우, 상기 제1 감정과 관련된 제1 표정 및 상기 제2 감정과 관련된 제2 표정을 식별하는 단계; 및
    상기 비대칭 neutral 이미지, 상기 제1 표정에 대한 비대칭 target 이미지가 좌우 대칭 처리된 제1 대칭 target 이미지, 및 상기 제2 표정에 대한 비대칭 target 이미지가 좌우 대칭 처리된 제2 대칭 target 이미지를 바탕으로, 상기 대칭 neutral 이미지에 대한 몰핑(morphing)을 수행하는 단계;를 포함하는, 전자 장치의 제어 방법.
  5. 3D 이미지로 구성된 디지털 휴먼의 표정을 구현하는 전자 장치에 있어서,
    실제 인물의 무표정의 얼굴이 3D 스캔되어 획득된 비대칭 neutral 이미지, 상기 비대칭 neutral 이미지가 좌우 대칭 처리된 대칭 neutral 이미지, 및 상기 실제 인물의 특정 표정을 짓는 얼굴이 3D 스캔되어 획득된 비대칭 target 이미지가 좌우 대칭 처리된 대칭 target 이미지를 포함하는 메모리; 및
    상기 비대칭 neutral 이미지 및 상기 대칭 target 이미지 각각을 바탕으로, 상기 대칭 neutral 이미지에 대한 몰핑(morphing)을 수행하는, 프로세서;를 포함하고,
    상기 프로세서는,
    상기 대칭 neutral 이미지를 구성하는 각각의 제1 정점(vertex)의 위치를 식별하고,
    상기 비대칭 neutral 이미지를 구성하는 각각의 제2 정점에 대하여, 매칭되는 제1 정점의 위치를 기준으로 하는 위치 벡터를 산출하고,
    상기 대칭 target 이미지를 구성하는 각각의 제3 정점에 대하여, 매칭되는 제1 정점의 위치를 기준으로 하는 위치 벡터를 산출하고,
    매칭되는 제2 정점 및 매칭되는 제3 정점 간의 위치 벡터의 합을 바탕으로, 제1 정점 각각의 위치를 변경하는, 전자 장치.
KR1020220054238A 2022-05-02 2022-05-02 비대칭 얼굴 형태를 유지하며 대칭 표정을 생성하는 전자 장치의 제어 방법 KR102501411B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220054238A KR102501411B1 (ko) 2022-05-02 2022-05-02 비대칭 얼굴 형태를 유지하며 대칭 표정을 생성하는 전자 장치의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220054238A KR102501411B1 (ko) 2022-05-02 2022-05-02 비대칭 얼굴 형태를 유지하며 대칭 표정을 생성하는 전자 장치의 제어 방법

Publications (1)

Publication Number Publication Date
KR102501411B1 true KR102501411B1 (ko) 2023-02-21

Family

ID=85328118

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220054238A KR102501411B1 (ko) 2022-05-02 2022-05-02 비대칭 얼굴 형태를 유지하며 대칭 표정을 생성하는 전자 장치의 제어 방법

Country Status (1)

Country Link
KR (1) KR102501411B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060021946A (ko) * 2004-09-06 2006-03-09 한국과학기술원 로봇의 감정표현장치 및 방법
KR20090129274A (ko) * 2008-06-12 2009-12-16 주식회사 넥슨 체형 변화에 따라 아이템을 실시간으로 모핑하는 시스템 및방법
KR20170006219A (ko) * 2015-07-07 2017-01-17 주식회사 케이티 3차원 모델링 서비스 제공 방법 및 이를 위한 장치
KR20170119352A (ko) * 2016-04-18 2017-10-27 알앤타임 주식회사 몰핑 기술을 이용하여 3차원 동영상 이미지를 생성하는 방법 및 3차원 동영상 이미지를 생성하기 위한 전자 장치
KR20220015469A (ko) 2019-07-03 2022-02-08 로브록스 코포레이션 텍스쳐 조작을 이용한 애니메이팅된 얼굴

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060021946A (ko) * 2004-09-06 2006-03-09 한국과학기술원 로봇의 감정표현장치 및 방법
KR20090129274A (ko) * 2008-06-12 2009-12-16 주식회사 넥슨 체형 변화에 따라 아이템을 실시간으로 모핑하는 시스템 및방법
KR20170006219A (ko) * 2015-07-07 2017-01-17 주식회사 케이티 3차원 모델링 서비스 제공 방법 및 이를 위한 장치
KR20170119352A (ko) * 2016-04-18 2017-10-27 알앤타임 주식회사 몰핑 기술을 이용하여 3차원 동영상 이미지를 생성하는 방법 및 3차원 동영상 이미지를 생성하기 위한 전자 장치
KR20220015469A (ko) 2019-07-03 2022-02-08 로브록스 코포레이션 텍스쳐 조작을 이용한 애니메이팅된 얼굴

Similar Documents

Publication Publication Date Title
US11961189B2 (en) Providing 3D data for messages in a messaging system
US10991110B2 (en) Methods and systems to modify a two dimensional facial image to increase dimensional depth and generate a facial image that appears three dimensional
US20230386157A1 (en) Generating 3d data in a messaging system
KR102338136B1 (ko) 이모티콘 애니메이션 생성 방법 및 디바이스, 저장 매체 및 전자 디바이스
US20200020173A1 (en) Methods and systems for constructing an animated 3d facial model from a 2d facial image
KR102658960B1 (ko) 얼굴 재연을 위한 시스템 및 방법
CN106548455B (zh) 用于调整图像的亮度的设备和方法
AU2018214005A1 (en) Systems and methods for generating a 3-D model of a virtual try-on product
US20120113106A1 (en) Method and apparatus for generating face avatar
US11276238B2 (en) Method, apparatus and electronic device for generating a three-dimensional effect based on a face
JP2019504386A (ja) 顔画像処理方法および装置、ならびに記憶媒体
US20240048678A1 (en) Effects for 3d data in a messaging system
CN113327278B (zh) 三维人脸重建方法、装置、设备以及存储介质
KR102390252B1 (ko) 이미지 데이터에 가상 조명 조정들을 제공하기 위한 기술
US11615587B2 (en) Object reconstruction with texture parsing
KR20200107957A (ko) 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체
CN112995534B (zh) 视频生成方法、装置、设备及可读存储介质
US20200265623A1 (en) Automatically selecting and superimposing images for aesthetically pleasing photo creations
KR102501411B1 (ko) 비대칭 얼굴 형태를 유지하며 대칭 표정을 생성하는 전자 장치의 제어 방법
KR20200029968A (ko) 딥 러닝 기술을 활용한 자동 캐릭터 얼굴 표정 모델링 방법
KR102544261B1 (ko) 끈적임이 반영된 입술 움직임을 나타내는 3d 이미지를 제공하는 전자 장치의 제어 방법
CN113223128B (zh) 用于生成图像的方法和装置
KR20230135581A (ko) 미디어 데이터를 이용한 객체 재구성
US10878610B1 (en) Generating an animation feature from line deformations
KR20170119352A (ko) 몰핑 기술을 이용하여 3차원 동영상 이미지를 생성하는 방법 및 3차원 동영상 이미지를 생성하기 위한 전자 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant