KR102544261B1 - 끈적임이 반영된 입술 움직임을 나타내는 3d 이미지를 제공하는 전자 장치의 제어 방법 - Google Patents

끈적임이 반영된 입술 움직임을 나타내는 3d 이미지를 제공하는 전자 장치의 제어 방법 Download PDF

Info

Publication number
KR102544261B1
KR102544261B1 KR1020220054239A KR20220054239A KR102544261B1 KR 102544261 B1 KR102544261 B1 KR 102544261B1 KR 1020220054239 A KR1020220054239 A KR 1020220054239A KR 20220054239 A KR20220054239 A KR 20220054239A KR 102544261 B1 KR102544261 B1 KR 102544261B1
Authority
KR
South Korea
Prior art keywords
image
lips
sticky
corrective
jaw
Prior art date
Application number
KR1020220054239A
Other languages
English (en)
Inventor
박재욱
민동준
Original Assignee
(주)이브이알스튜디오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이브이알스튜디오 filed Critical (주)이브이알스튜디오
Priority to KR1020220054239A priority Critical patent/KR102544261B1/ko
Application granted granted Critical
Publication of KR102544261B1 publication Critical patent/KR102544261B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

3D 이미지로 구성된 디지털 휴먼의 입술 움직임을 구현하는 전자 장치의 제어 방법이 개시된다. 본 제어 방법은, 다문 입술을 포함하는 neutral 이미지에 대하여, 열린 입술을 포함하는 jaw open 이미지에 따른 일정 비율만큼의 몰핑(morphing)을 수행하여, jaw drop 이미지를 획득하는 단계, 윗입술과 아랫입술이 완전히 붙은 temp sticky 이미지 및 jaw drop 이미지를 바탕으로, neutral 이미지에 대한 몰핑을 수행하여, corrective sticky 이미지를 획득하는 단계, 디지털 휴먼의 입술이 열린 정도를 바탕으로, neutral 이미지에 대하여 jaw open 이미지 및 corrective sticky 이미지에 따른 몰핑을 수행하여, 타겟 이미지를 획득하는 단계를 포함한다.

Description

끈적임이 반영된 입술 움직임을 나타내는 3D 이미지를 제공하는 전자 장치의 제어 방법 { CONTROL METHOD OF ELECTRONIC APPARATUS FOR PROVIDING 3D IMAGE REPRESENTING LIP MOVEMENT REFLECTING STICKINESS }
본 개시는 전자 장치의 제어 방법에 관한 것으로, 보다 상세하게는, 3D 이미지를 바탕으로 디지털 휴먼의 현실적인 얼굴을 구현하는 전자 장치의 제어 방법에 관한 것이다.
사람의 입술은 말랑말랑하고, 표면은 살짝 끈적이기 때문에 입을 살짝 벌릴 때 입술의 중앙부분부터 벌어지게 되고 입술의 좌우 가장자리 부분은 아랫입술과 윗입술이 붙어있는 형태로 움직이게 된다.
다만, 종래 기술의 경우, 이러한 끈적임을 현실적으로 제공하지 못하는 경우가 대부분이다.
구체적인 예로, 다문 입술을 포함하는 neutral 이미지(ex. 입술을 다문 실제 인물의 모습이 스캔 된 3D 이미지)를 기준으로 하여, 열린 입술을 포함하는 jaw open 이미지(ex. 입술을 벌린 실제 인물의 모습이 스캔 된 3D 이미지)에 따른 몰핑(morphing)을 수행할 수 있으며, 이 경우 입이 벌려진(열린) 정도에 따라 jaw open 이미지가 반영되는 비율이 변경되면서 3D 이미지가 제공될 수 있다.
관련하여, 도 1은, 입이 열리는 과정에서 캐릭터(디지털 휴먼)의 윗입술과 아랫입술이 벌어지는 모습이 순차적으로 나타난 3D 이미지들을 도시한다.
도 1은 종래 기술이 적용된 것으로, 단순히 neutral 이미지에 jaw open 이미지의 몰핑 정도만이 달리 설정된 결과, 입술의 중심부터 가장자리에 이르기까지 아무런 끈적임 없이 입이 벌려지는 정도에 따라 멀어지게 되는 것이 확인된다.
이 경우, 입술이 열리는 과정에 있어 현실의 끈적임이 전혀 반영되지 않기 때문에, 사실적이거나 자연스러운 모습이 제공된다고 보기 어렵다.
본 개시는, 움직이는 디지털 휴먼의 3D 이미지를 동적으로 제공함에 있어서 현실적인 입술의 끈적임까지 반영된 자연스러운 입술 움직임을 나타내는 전자 장치의 제어 방법을 제공한다.
본 개시의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 개시의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 개시의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 개시의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 개시의 일 실시 예에 따라 3D 이미지로 구성된 디지털 휴먼의 입술 움직임을 구현하는 전자 장치의 제어 방법은, 다물어진 입술을 포함하는 neutral 이미지에 대하여, 벌려진 입술을 포함하는 jaw open 이미지에 따른 일정 비율만큼의 몰핑(morphing)을 수행하여, jaw drop 이미지를 획득하는 단계, 윗입술과 아랫입술이 완전히 붙은 temp sticky 이미지 및 상기 jaw drop 이미지를 바탕으로, 상기 neutral 이미지에 대한 몰핑을 수행하여, corrective sticky 이미지를 획득하는 단계, 상기 디지털 휴먼의 입술이 벌려지는 정도를 바탕으로, 상기 neutral 이미지에 대하여 상기 jaw open 이미지 및 상기 corrective sticky 이미지에 따른 몰핑을 수행하여, 타겟 이미지를 획득하는 단계를 포함한다.
상기 타겟 이미지를 획득하는 단계는, 상기 corrective sticky 이미지에 포함된 입술의 수평 방향을 기준으로, 상기 corrective sticky 이미지를 상기 수평 방향에 따라 순차적으로 나열된 복수의 영역으로 구분하는 단계, 상기 디지털 휴먼의 입술이 벌려지는 정도를 바탕으로, 상기 neutral 이미지에 대하여 상기 jaw open 이미지에 따른 몰핑을 수행하는 단계, 상기 복수의 영역 각각에 대해 설정된 영역 가중치 및 상기 디지털 휴먼의 입술이 벌려지는 정도를 바탕으로, 상기 neutral 이미지에 대하여 상기 corrective sticky 이미지에 따른 몰핑을 영역 별로 수행하는 단계를 포함할 수 있다.
이 경우, 상기 복수의 영역 각각에 대해 설정된 영역 가중치는, 입술의 중앙에 위치한 영역으로부터 가장자리의 영역으로 갈수록 일정 간격에 따라 더 커질 수 있다.
상기 jaw drop 이미지를 획득하는 단계는, 상기 neutral 이미지에 대하여, 상기 jaw open 이미지가 10 내지 30 % 적용된 몰핑(morphing)을 수행할 수 있다.
상기 corrective sticky 이미지를 획득하는 단계는, 상기 neutral 이미지에 대하여, 상기 temp sticky 이미지가 100 % 적용되고 상기 jaw drop 이미지가 -100 % 적용된 몰핑을 수행할 수 있다.
본 개시의 일 실시 예에 따라 3D 이미지로 구성된 디지털 휴먼의 입술 움직임을 구현하는 전자 장치는, 다물어진 입술을 포함하는 neutral 이미지, 벌려진 입술을 포함하는 jaw open 이미지, 및 윗입술과 아랫입술의 끈적임과 관련된 corrective sticky 이미지를 포함하는, 메모리, 상기 디지털 휴먼의 입술이 벌려진 정도를 바탕으로, 상기 neutral 이미지에 대하여 상기 jaw open 이미지 및 상기 corrective sticky 이미지에 따른 몰핑을 수행하여, 타겟 이미지를 획득하는, 프로세서를 포함한다. 여기서, 상기 corrective sticky 이미지는, 상기 neutral 이미지와 상기 jaw open 이미지를 통해 획득된 jaw drop 이미지, 및 윗입술과 아랫입술이 완전히 붙은 temp sticky 이미지를 바탕으로 획득된 것이다.
이 경우, 상기 프로세서는, 상기 디지털 휴먼의 입술이 벌려지는 정도를 바탕으로, 상기 neutral 이미지에 대하여 상기 jaw open 이미지에 따른 몰핑을 수행하고, 상기 corrective sticky 이미지가 입술의 수평 방향에 따라 순차적으로 구분된 복수의 영역 각각에 대해 설정된 영역 가중치에 상기 디지털 휴먼의 입술이 벌려지는 정도를 적용하여, 상기 neutral 이미지에 대하여 상기 corrective sticky 이미지에 따른 몰핑을 영역 별로 수행할 수 있다.
본 개시에 따른 전자 장치의 제어 방법은, 입술이 벌려지는 과정에서의 현실적인 끈적임이 반영된 디지털 휴먼의 입술 움직임을 시각적으로 제공할 수 있다.
도 1은 종래의 3D 이미지 처리 기술에 따라 구현된, 디지털 휴먼의 입술이 벌려지는 영상을 도시한 도면,
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도,
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도,
도 4a는 본 개시의 일 실시 예에 따른 전자 장치가 neutral 이미지 및 jaw open 이미지를 바탕으로 jaw drop 이미지를 생성하는 동작을 설명하기 위한 도면,
도 4b는 본 개시의 일 실시 예에 따른 전자 장치가 neutral 이미지에 대한 몰핑을 수행하여 corrective sticky 이미지를 획득하는 동작을 설명하기 위한 도면,
도 5는 본 개시의 일 실시 예에 따른 전자 장치가 corrective sticky 이미지를 영역 별로 구분하여 몰핑에 활용하는 동작을 설명하기 위한 도면,
도 6은 본 개시의 일 실시 예에 따른 전자 장치가 제공하는, 디지털 휴먼의 입술이 벌려지는 영상을 도시한 도면, 그리고
도 7은 본 개시의 다양한 실시 예에 따른 전자 장치의 상세한 구성을 설명하기 위한 블록도이다.
본 개시에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당해 기술 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안 된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 전자 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다.
전자 장치(100)는 적어도 하나의 컴퓨터를 포함하는 기기 내지는 시스템에 해당할 수 있다.
예를 들어, 전자 장치(100)는 복수의 단말과 통신을 수행하는 서버에 해당할 수 있으며, 이밖에 데스크탑 PC, 노트북 PC, 태블릿 PC, 스마트폰, 웨어러블 장치, VR(Virtual Reality)/AR(Augmented Reality) 기기 등 다양한 단말 기기에 해당할 수 있다.
메모리(110)는 전자 장치(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 적어도 하나의 인스트럭션 또는 데이터를 저장하기 위한 구성이다.
메모리(110)는 ROM, 플래시 메모리 등의 비휘발성 메모리를 포함할 수 있으며, DRAM 등으로 구성된 휘발성 메모리를 포함할 수 있다. 또한, 메모리(110)는 하드 디스크, SSD(Solid state drive) 등을 포함할 수도 있다.
메모리(110)는 적어도 하나의 디지털 휴먼(ex. 가상의 인물 내지는 캐릭터)에 대한 3D 이미지를 포함할 수 있다. 3D 이미지는 하나 이상의 정점(vertex)으로 구성된 폴리곤들로 구성될 수 있다.
3D 이미지는 하나 이상의 카메라를 통해 실제 인물이 스캔되어 획득된 3D 스캔 이미지에 해당할 수 있다. 예를 들어, RGB 카메라, 뎁스 카메라, 스테레오 카메라 등이 활용될 수 있으며, 하나 이상의 조명 패턴 하에 촬영이 수행될 수도 있다(ex. 라이트 스테이지(Paul Debevec)).
이 경우, 실제 인물의 얼굴을 구성하는 각 지점이 3D 스캔 이미지를 구성하는 적어도 하나의 정점으로 구현되어 표면의 형상, 재질, 굴곡 등이 현실감 있게 나타날 수 있다. 또는, 3D 이미지는 별도 스캔 없이 하나 이상의 폴리곤이 결합되어 형성된 것일 수도 있다(ex. 디자이너의 수작업).
구체적으로, 메모리(110)는 다양한 입술 모양을 가진 얼굴 표정들이 스캔되어 획득된 3D 이미지를 포함할 수 있다.
프로세서(120)는 전자 장치(100)를 전반적으로 제어하기 위한 구성이다. 구체적으로, 프로세서(120)는 메모리(110)와 연결되는 한편 메모리(110)에 저장된 적어도 하나의 인스트럭션을 실행함으로써 본 개시의 다양한 실시 예들에 따른 동작을 수행할 수 있다.
프로세서(120)는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit) 등과 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서 등을 포함할 수 있다. 인공지능 전용 프로세서는, 특정 인공지능 모델의 훈련 내지는 이용에 특화된 하드웨어 구조로 설계될 수 있다.
도 3은 본 개시의 일 실시 예에 따라 3D 이미지로 구성된 디지털 휴먼의 입술 움직임을 구현하는 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 전자 장치(100)는 다물어진 입술을 포함하는 neutral 이미지에 대하여, 벌려진 입술을 포함하는 jaw open 이미지에 따른 일정 비율만큼의 몰핑(morphing)을 수행하여, jaw drop 이미지를 획득할 수 있다(S310).
neutral 이미지는, 입술이 다물어진 상태(ex. 무표정 상태)의 디지털 휴먼의 얼굴 중 입술 부분을 포함하는 적어도 일부 영역을 나타내는 3D 이미지에 해당한다. neutral 이미지는 수작업에 의해 만들어진 것일 수도 있고, 무표정 상태로 입을 다물고 있는 실제 인물이 3D 스캔 된 결과물일 수도 있다.
jaw open 이미지는, 입술이 벌려진 상태의 디지털 휴먼의 얼굴 중 입술 부분을 포함하는 적어도 일부 영역을 나타내는 3D 이미지에 해당한다. jaw open 이미지 역시, 수작업에 의해 만들어진 것일 수도 있고, 입을 벌리고 있는 실제 인물이 3D 스캔 된 결과물일 수도 있다.
몰핑은, 3D 이미지를 구성하는 적어도 하나의 vertex의 위치를 변경하는 동작이며, 몰핑 또는 blendshaping으로 지칭될 수 있다.
예를 들어, 이미지 B를 통해 이미지 A에 대한 몰핑을 수행하는 경우, 이미지 A를 구성하는 각 vertex의 위치가 이미지 B를 구성하는 각 vertex의 위치로 이동하게 되며, 이동하는 정도는 몰핑의 정도 내지는 수치에 따라 다르게 설정될 수 있다. 구체적인 예로, 몰핑의 정도가 100%인 경우, 몰핑 결과 이미지 A는 이미지 B가 될 수 있다. 다른 예로, 몰핑의 정도가 0%라면, 이미지 A는 그대로 유지될 수 있다.
S310 단계에서, 전자 장치(100)는 neutral 이미지를 기준으로 jaw open 이미지에 따른 몰핑을 수행할 수 있다. 이때, 전자 장치(100)는 jaw open 이미지가 10 ~ 30 % 반영된 몰핑을 수행할 수 있다. 구체적인 예로, 전자 장치(100)는 jaw open 이미지가 20 % 반영된 몰핑을 수행할 수 있으나, 이에 한정되지 않는다.
그 결과, jaw drop 이미지가 획득될 수 있으며, 관념적으로, jaw drop 이미지는 입술이 조금만 벌려진 상태를 나타내는 3D 이미지로 해석될 수 있다.
관련하여, 도 4a를 참조하면, 전자 장치(100)는 다물어진 입술을 포함하는 neutral 이미지(410)를 기준으로 jaw open 이미지(420)에 따른 몰핑을 수행한 결과, 입술이 조금만 벌려진 jaw drop 이미지(430)를 획득할 수 있다.
그리고, 전자 장치(100)는 윗입술과 아랫입술이 완전히 붙은 temp sticky 이미지 및 상술한 jaw drop 이미지를 바탕으로, neutral 이미지에 대한 몰핑을 수행하여, corrective sticky 이미지를 획득할 수 있다(S320).
temp sticky 이미지는, 윗입술과 아랫입술의 마주보는 영역 중 적어도 일부가 완전히 붙은 이미지를 의미한다. 구체적으로, temp sticky 이미지는, 그래픽 툴을 활용하는 아티스트/디자이너가 윗입술과 아랫 입술 각각의 안쪽을 구성하는 vertex를 서로 근접하도록 당겨서 제작 가능하나, 이에 한정되지 않는다.
corrective sticky 이미지는, 입술이 벌려지는 움직임을 현실적으로 구현하기 위해 추후 neutral 이미지에 대하여 적용될 몰핑 타겟에 해당한다.
S320 단계에서, 전자 장치(100)는 neutral 이미지를 기준으로, temp sticky 이미지 및 jaw drop 각각에 따른 몰핑을 수행하여 corrective sticky 이미지를 획득할 수 있다.
구체적으로, 도 4b를 참조하면, 전자 장치(100)는 neutral 이미지(410)를 기준으로 하여 jaw drop 이미지(430)에 따른 몰핑을 -100 % 적용하고, temp sticky 이미지에 따른 몰핑을 100 % 적용함으로써, corrective sticky 이미지(450)를 생성할 수 있다.
temp_sticky - jaw_drop = corrective_sticky
이후, 전자 장치(100)는, 디지털 휴먼의 입술이 벌려지는 정도를 바탕으로, neutral 이미지에 대하여 jaw open 이미지 및 corrective sticky 이미지에 따른 몰핑을 수행하여, 타겟 이미지를 획득할 수 있다(S330).
입술이 벌려지는 정도는, 사용자 입력에 따라 설정될 수 있다. 이때, 사용자 입력은, 입술이 벌려지는 정도를 수치적으로 설정하는 것일 수도 있고, 디지털 휴먼의 감정이나 표정을 설정하는 것일 수도 있다. 예를 들어, 디지털 휴먼의 감정이 '놀람'으로 설정되는 경우, 놀람을 나타내는 표정이 구현됨에 따라 그에 맞는 정도로 입술이 벌려질 수 있다. 또한, 사용자 입력에 따라 디지털 휴먼의 행위(ex. 말하기, 노래하기, 먹기 등)가 선택됨으로써 그에 맞는 입술의 움직임에 따라 입술이 벌려지는 정도가 유동적으로 결정될 수도 있다. 상술한 디지털 휴먼의 감정, 표정, 행위 중 적어도 하나는, 가상 공간 내에서 디지털 휴먼에게 발생하는 다양한 이벤트(ex. 식량 획득, 적 출현, 놀라운 일 발생, 대화 상대 출현 등)에 따라 트리거 된 것일 수도 있다. 이때, 각 이벤트는 사용자 입력 내지는 조작에 따라 순차적으로 진행되는 시나리오를 구성할 수 있으나, 이에 한정되지 않는다.
예를 들어, 입술이 20 % 만큼 벌려지는 경우, neutral 이미지에 대하여 jaw open 이미지에 따른 몰핑이 20 % 수행될 수 있다. 다만, 단순히 jaw open 이미지에 따른 몰핑만이 수행되는 경우, 상술한 종래 기술(도 1)과 같이 아무런 끈적임 없이 부자연스럽게 입술이 벌려질 뿐이다.
따라서, 본 개시에 따른 전자 장치(100)는 추가적으로 corrective sticky 이미지에 따른 몰핑을 수행하여 끈적임을 구현할 수 있다.
구체적으로, 전자 장치(100)는 corrective sticky 이미지에 포함된 입술의 수평 방향을 기준으로, corrective sticky 이미지를 수평 방향에 따라 순차적으로 나열된 복수의 영역으로 구분할 수 있다. 복수의 영역은 크기 및 모양이 모두 동일할 수 있으며, 복수의 영역이 합쳐진 전체 영역은 입술 부분을 모두 포함할 수 있다.
예시로, 도 5를 참조하면, corrective sticky 이미지(450) 내 입술 부분이 복수의 영역으로 구분될 수 있다. 한편, 도 5에서는 입술 부분이 8개 영역으로 구분되었으나, 입술 부분이 4개, 6개 등 더 적은 수의 영역으로 나누어지는 것도 가능하고, 10개, 12개 등 더 많은 수의 영역으로 나누어지는 것도 가능하다. 구체적인 동작에 대해 후술하겠지만, 영역의 수가 많을수록 경계 간의 자연스러움이 더해질 수 있다.
구체적으로, 전자 장치(100)는 디지털 휴먼의 입술이 벌려진 정도를 바탕으로, neutral 이미지에 대하여 jaw open 이미지에 따른 몰핑을 수행하는 한편, 복수의 영역(ex. 도 5) 각각에 대해 설정된 영역 가중치 및 디지털 휴먼의 입술이 벌려진 정도를 바탕으로, neutral 이미지에 대하여 corrective sticky 이미지에 따른 몰핑을 영역 별로 수행할 수 있다.
여기서, 전자 장치(100)는 영역 별로 입술이 벌려지는 정도(: jaw open의 몰핑 정도)와 각 영역에 대해 설정된 영역 가중치를 반영할 수 있다.
예를 들어, 도 5와 같이 8개의 영역으로 구분된 경우, 중앙을 기준으로 멀어질수록 0번부터 3번까지의 영역이 설정될 수 있다. 이때, 각 영역(식별번호: i)의 몰핑 값은 MSLi 명명될 수 있으며, 입술이 벌려지는 정도는 MJO로 명명되고, sticky lips 가중치는 Vstck로 명명될 수 있다. sticky lips 가중치는, 입술의 움직임에 끈적임이 적용되는 정도를 의미하며, 사용자 입력 등에 따라 기설정된 값일 수 있다. 그리고, Wi는 각 영역(i)의 영역 가중치에 해당한다.
Figure 112022046903224-pat00001
이때, 복수의 영역 각각에 대해 설정된 영역 가중치(Wi)는 입술의 중앙에 위치한 영역으로부터 가장자리의 영역으로 갈수록 일정 간격에 따라 더 커질 수 있다.
예를 들어, 도 5의 경우, 이하와 같이 영역 가중치가 가장자리로 갈수록 더 커진 결과 이하와 같이 각 영역의 몰핑 값이 정해질 수 있다.
Figure 112022046903224-pat00002
Figure 112022046903224-pat00003
Figure 112022046903224-pat00004
Figure 112022046903224-pat00005
그 결과, 입술의 가장자리의 영역(i = 3)일수록 몰핑 값이 커질 수 있으며, 끈적임을 나타내는 corrective sticky 이미지의 속성이 더 많이 반영될 수 있다. 반대로, 입술의 중앙 영역(i = 0)일수록 몰핑 값이 작아질 수 있다. 구체적으로, 각 영역의 영역 가중치(Wi)는 0부터 시작하여 마지막 가장자리의 영역에서는 1이 되도록 일정 간격으로 설정될 수 있다. 따라서, 영역의 수가 많아질수록 영역 간의 몰핑 값 간의 차이가 줄어들어 경계 간의 자연스러움이 확보될 수 있다.
한편, 영역의 경계(ex. 영역 간의 경계, 또는 상술한 복수의 영역과 복수의 영역을 제외한 다른 영역 간의 경계) 부분의 경우, 인접한 vertex 간의 차이가 샤프하게 구현될 수도 있기 때문에, 해당 부분을 소프트하게 구현하기 위한 추가적인 처리(ex. blur 처리)가 수행될 수도 있다.
이렇듯, 영역 별 몰핑 값에 따른 corrective sticky 이미지의 몰핑이 수행된 결과, 도 6과 같이, 입술이 벌려지는 과정에서 사실적인 끈적임이 반영된 자연스러운 입술 움직임(: 타겟 이미지)이 구현될 수 있다. 가장자리의 영역일수록 영역 가중치가 더 크게 적용된 결과, 가장자리의 끈적임이 더 심하게 나타나며, 이는 실제 입술을 벌리는 과정에서 끈적임에 따라 가장자리가 가장 늦게 벌려진다는 것이 현실적으로 반영된 것이다.
한편, 상술한 실시 예들을 통해서는, jaw drop 이미지가 획득되는 과정, corrective sticky 이미지가 획득되는 과정 등이 순차적으로 개시되었으나, 실제 구현 과정에서는, 전자 장치(100) 상에 이미 상술한 corrective sticky 이미지가 저장된 상태를 전제로 입술이 벌려지는 정도에 따라 실시간으로 몰핑이 수행될 수 있다.
구체적으로, 메모리(110)는 neutral 이미지, jaw open 이미지, 및 corrective sticky 이미지를 포함한 상태일 수 있다.
여기서, 프로세서(120)는 디지털 휴먼의 입술이 벌려진 정도를 바탕으로, neutral 이미지에 대하여 jaw open 이미지 및 corrective sticky 이미지에 따른 몰핑을 수행하여, 타겟 이미지를 획득할 수 있다.
한편, 도 7은 본 개시의 다양한 실시 예에 따른 전자 장치의 상세한 구성을 설명하기 위한 블록도이다.
도 7을 참조하면, 전자 장치(100)는 메모리(110) 및 프로세서(120) 외에 통신부(130), 디스플레이(140), 사용자 입력부(150) 등을 포함할 수 있다.
통신부(130)는 다양한 유무선 통신방식으로 적어도 하나의 외부 장치와 통신을 수행하기 위한 회로, 모듈, 칩 등을 포함할 수 있다.
통신부(130)는 다양한 네트워크를 통해 외부 장치들과 연결될 수 있다.
네트워크는 영역 또는 규모에 따라 개인 통신망(PAN; Personal Area Network), 근거리 통신망(LAN; Local Area Network), 광역 통신망(WAN; Wide Area Network) 등일 수 있으며, 네트워크의 개방성에 따라 인트라넷(Intranet), 엑스트라넷(Extranet), 또는 인터넷(Internet) 등일 수 있다.
통신부(130)는 LTE(long-term evolution), LTE-A(LTE Advance), 5G(5th Generation) 이동통신, CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), GSM(Global System for Mobile Communications), DMA(Time Division Multiple Access), WiFi(Wi-Fi), WiFi Direct, Bluetooth, NFC(near field communication), Zigbee 등 다양한 무선 통신 방식을 통해 외부 장치들과 연결될 수 있다.
또한, 통신부(130)는 이더넷(Ethernet), 광 네트워크(optical network), USB(Universal Serial Bus), 선더볼트(ThunderBolt) 등의 유선 통신 방식을 통해 외부 장치들과 연결될 수도 있다.
일 예로, 적어도 하나의 카메라 시스템을 통해 neutral 이미지, jaw open 이미지 등이 획득되면, 전자 장치(100)는 통신부(130)를 통해 해당 이미지들을 카메라 시스템으로부터 수신할 수 있다.
또한, 통신부(130)를 통해, 전자 장치(100)는 상술한 실시 예를 통해 구현된 타겟 이미지를 적어도 하나의 사용자 단말로 전송할 수도 있다.
디스플레이(140)는 다양한 정보를 시각적으로 출력하기 위한 구성이다.
디스플레이(140)는 LCD(Liquid Crystal Display), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diodes), TOLED(Transparent OLED), Micro LED 등으로 구현될 수 있으나, 이에 한정되는 것은 아니고 이밖에 종래 알려진 다양한 형태의 디스플레이를 포함할 수 있다. 디스플레이(140)는, 사용자의 터치 조작을 감지할 수 있는 터치스크린 형태로 구현될 수 있으며, 접히거나 구부러질 수 있는 플렉서블 디스플레이로 구현될 수도 있다.
전자 장치(100)는 상술한 실시 예에 따라 획득된 타겟 이미지(: 끈적임이 적용된 입술의 움직임)를 디스플레이(140)를 통해 표시할 수 있다.
사용자 입력부(150)는 다양한 명령 또는 정보를 사용자로부터 입력 받기 위한 구성이다. 사용자 입력부(150)는 적어도 하나의 버튼, 터치 패드, 터치 스크린, 마이크, 카메라, 센서 등으로 구현될 수 있다. 또한, 전자 장치(100)는 마우스, 키보드 등으로 구성된 별도의 사용자 입력 장치와 연결될 수도 있다.
예를 들어, 전자 장치(100)는 사용자 입력부(150)를 통해 수신된 사용자 명령에 따라 디지털 휴먼의 감정, 표정, 행위 등을 설정할 수 있다. 그리고, 설정된 감정, 표정, 행위 등에 따라 입술의 움직임을 구현하는 과정에서, 전자 장치(100)는 상술한 실시 예에 따라 corrective sticky 이미지에 따른 몰핑을 수행하여 현실적인 입술의 벌려짐을 구현할 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 서로 저촉되지 않는 한 둘 이상이 결합되어 구현될 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다.
일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상술한 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치(100)에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 처리 동작을 상술한 특정 기기들이 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 전자 장치

Claims (7)

  1. 3D 이미지로 구성된 디지털 휴먼의 입술 움직임을 구현하는 전자 장치의 제어 방법에 있어서,
    다물어진 입술을 포함하는 neutral 이미지에 대하여, 벌려진 입술을 포함하는 jaw open 이미지에 따른 일정 비율만큼의 몰핑(morphing)을 수행하여, jaw drop 이미지를 획득하는 단계;
    윗입술과 아랫입술이 완전히 붙은 temp sticky 이미지 및 상기 jaw drop 이미지를 바탕으로, 상기 neutral 이미지에 대한 몰핑을 수행하여, corrective sticky 이미지를 획득하는 단계; 및
    상기 디지털 휴먼의 입술이 벌려지는 정도를 바탕으로, 상기 neutral 이미지에 대하여 상기 jaw open 이미지 및 상기 corrective sticky 이미지에 따른 몰핑을 수행하여, 타겟 이미지를 획득하는 단계;를 포함하고,
    상기 타겟 이미지를 획득하는 단계는,
    상기 corrective sticky 이미지에 포함된 입술의 수평 방향을 기준으로, 상기 corrective sticky 이미지를 상기 수평 방향에 따라 순차적으로 나열된 복수의 영역으로 구분하는 단계;
    상기 디지털 휴먼의 입술이 벌려지는 정도를 바탕으로, 상기 neutral 이미지에 대하여 상기 jaw open 이미지에 따른 몰핑을 수행하는 단계; 및
    상기 복수의 영역 각각에 대해 설정된 영역 가중치 및 상기 디지털 휴먼의 입술이 벌려지는 정도를 바탕으로, 상기 neutral 이미지에 대하여 상기 corrective sticky 이미지에 따른 몰핑을 영역 별로 수행하는 단계;를 포함하고,
    상기 복수의 영역 각각에 대해 설정된 영역 가중치는,
    입술의 중앙에 위치한 영역으로부터 가장자리의 영역으로 갈수록 일정 간격에 따라 더 커지는, 전자 장치의 제어 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 jaw drop 이미지를 획득하는 단계는,
    상기 neutral 이미지에 대하여, 상기 jaw open 이미지가 10 내지 30 % 적용된 몰핑(morphing)을 수행하는, 전자 장치의 제어 방법.
  5. 제1항에 있어서,
    상기 corrective sticky 이미지를 획득하는 단계는,
    상기 neutral 이미지에 대하여, 상기 temp sticky 이미지가 100 % 적용되고 상기 jaw drop 이미지가 -100 % 적용된 몰핑을 수행하는, 전자 장치의 제어 방법.
  6. 3D 이미지로 구성된 디지털 휴먼의 입술 움직임을 구현하는 전자 장치에 있어서,
    다물어진 입술을 포함하는 neutral 이미지, 벌려진 입술을 포함하는 jaw open 이미지, 및 윗입술과 아랫입술의 끈적임과 관련된 corrective sticky 이미지를 포함하는, 메모리; 및
    상기 디지털 휴먼의 입술이 벌려진 정도를 바탕으로, 상기 neutral 이미지에 대하여 상기 jaw open 이미지 및 상기 corrective sticky 이미지에 따른 몰핑을 수행하여, 타겟 이미지를 획득하는, 프로세서;를 포함하고,
    상기 corrective sticky 이미지는,
    상기 neutral 이미지와 상기 jaw open 이미지를 통해 획득된 jaw drop 이미지, 및 윗입술과 아랫입술이 완전히 붙은 temp sticky 이미지를 바탕으로 획득된 것이고,
    상기 프로세서는, 상기 타겟 이미지를 획득하는 과정에서,
    상기 corrective sticky 이미지에 포함된 입술의 수평 방향을 기준으로, 상기 corrective sticky 이미지를 상기 수평 방향에 따라 순차적으로 나열된 복수의 영역으로 구분하고,
    상기 디지털 휴먼의 입술이 벌려지는 정도를 바탕으로, 상기 neutral 이미지에 대하여 상기 jaw open 이미지에 따른 몰핑을 수행하고,
    상기 복수의 영역 각각에 대해 설정된 영역 가중치 및 상기 디지털 휴먼의 입술이 벌려지는 정도를 바탕으로, 상기 neutral 이미지에 대하여 상기 corrective sticky 이미지에 따른 몰핑을 영역 별로 수행하고,
    상기 복수의 영역 각각에 대해 설정된 영역 가중치는,
    입술의 중앙에 위치한 영역으로부터 가장자리의 영역으로 갈수록 일정 간격에 따라 더 커지는, 전자 장치.
  7. 삭제
KR1020220054239A 2022-05-02 2022-05-02 끈적임이 반영된 입술 움직임을 나타내는 3d 이미지를 제공하는 전자 장치의 제어 방법 KR102544261B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220054239A KR102544261B1 (ko) 2022-05-02 2022-05-02 끈적임이 반영된 입술 움직임을 나타내는 3d 이미지를 제공하는 전자 장치의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220054239A KR102544261B1 (ko) 2022-05-02 2022-05-02 끈적임이 반영된 입술 움직임을 나타내는 3d 이미지를 제공하는 전자 장치의 제어 방법

Publications (1)

Publication Number Publication Date
KR102544261B1 true KR102544261B1 (ko) 2023-06-16

Family

ID=86948065

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220054239A KR102544261B1 (ko) 2022-05-02 2022-05-02 끈적임이 반영된 입술 움직임을 나타내는 3d 이미지를 제공하는 전자 장치의 제어 방법

Country Status (1)

Country Link
KR (1) KR102544261B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990034391A (ko) * 1997-10-29 1999-05-15 전주범 3 차원 모델 기반 코딩 시스템의 변형 입술 합성 장치
KR20190101834A (ko) * 2018-02-23 2019-09-02 삼성전자주식회사 얼굴의 특징점의 움직임에 따라 모션이 수행된 아바타를 표시하는 전자 장치와 이의 동작 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990034391A (ko) * 1997-10-29 1999-05-15 전주범 3 차원 모델 기반 코딩 시스템의 변형 입술 합성 장치
KR20190101834A (ko) * 2018-02-23 2019-09-02 삼성전자주식회사 얼굴의 특징점의 움직임에 따라 모션이 수행된 아바타를 표시하는 전자 장치와 이의 동작 방법

Similar Documents

Publication Publication Date Title
KR102338136B1 (ko) 이모티콘 애니메이션 생성 방법 및 디바이스, 저장 매체 및 전자 디바이스
AU2018214005B2 (en) Systems and methods for generating a 3-D model of a virtual try-on product
US20200020173A1 (en) Methods and systems for constructing an animated 3d facial model from a 2d facial image
JP6967610B2 (ja) 絵文字の記録及び送信
US9224248B2 (en) Method of virtual makeup achieved by facial tracking
US20120113106A1 (en) Method and apparatus for generating face avatar
US20200082595A1 (en) Image processing apparatus, image processing system, and image processing method as well as program
CN105184249A (zh) 用于人脸图像处理的方法和装置
JP7168694B2 (ja) ヒューマンフェースによる３ｄ特殊効果生成方法、装置および電子装置
US11410369B2 (en) Method for generating animated expression and electronic device
KR102390252B1 (ko) 이미지 데이터에 가상 조명 조정들을 제공하기 위한 기술
CN111563855A (zh) 图像处理的方法及装置
CN109191508A (zh) 一种模拟整容装置、模拟整容方法及设备
US20140043332A1 (en) Method, device and system for generating a textured representation of a real object
US20200265623A1 (en) Automatically selecting and superimposing images for aesthetically pleasing photo creations
KR102544261B1 (ko) 끈적임이 반영된 입술 움직임을 나타내는 3d 이미지를 제공하는 전자 장치의 제어 방법
KR102529176B1 (ko) 건물에 해당하는 가상 객체의 디테일 베리에이션을 수행하는 전자 장치의 제어 방법
KR102501411B1 (ko) 비대칭 얼굴 형태를 유지하며 대칭 표정을 생성하는 전자 장치의 제어 방법
US10878610B1 (en) Generating an animation feature from line deformations
CN113223128B (zh) 用于生成图像的方法和装置
JP2011181996A (ja) 表示順序決定装置、画像表示装置及びプログラム
Kirtzic et al. Face It: 3D facial reconstruction from a single 2D image for games and simulations
CN105184844A (zh) 用于制作计算机生成动画的时间线工具
CN114742951A (zh) 素材生成、图像处理方法、装置、电子设备及存储介质
CN117036575A (zh) 图像处理方法、装置、电子设备及介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant