KR20210113948A - 가상 아바타 생성 방법 및 장치 - Google Patents

가상 아바타 생성 방법 및 장치 Download PDF

Info

Publication number
KR20210113948A
KR20210113948A KR1020210025904A KR20210025904A KR20210113948A KR 20210113948 A KR20210113948 A KR 20210113948A KR 1020210025904 A KR1020210025904 A KR 1020210025904A KR 20210025904 A KR20210025904 A KR 20210025904A KR 20210113948 A KR20210113948 A KR 20210113948A
Authority
KR
South Korea
Prior art keywords
avatar
facial expression
virtual avatar
parameter
neural network
Prior art date
Application number
KR1020210025904A
Other languages
English (en)
Other versions
KR102491140B1 (ko
Inventor
샹 롱
신 리
허난 장
하오 순
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210113948A publication Critical patent/KR20210113948A/ko
Application granted granted Critical
Publication of KR102491140B1 publication Critical patent/KR102491140B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예는 가상 아바타 생성 방법 및 장치를 개시한다. 상기 방법의 일 구체적인 실시형태는, 제1 아바타를 획득하고, 상기 제1 아바타의 표정 파라미터를 확정하는 단계 - 상기 제1 아바타의 표정 파라미터는 오관 중의 적어도 하나의 표정 파라미터를 포함함 -; 및 상기 오관 중의 적어도 하나의 표정 파라미터에 기반하여, 상기 제1 아바타의 속성과 관련되고 상기 제1 아바타의 표정을 구비하는 타깃 가상 아바타를 확정하는 단계를 포함한다. 본 발명의 실시예는 제1 아바타를 이용하여 표정 파라미터를 생성함으로써, 표정 파라미터에 기반하여, 제1 아바타의 속성 및 표정에 모두 대응되는 타깃 가상 아바타를 효과적이면서 보다 정확하게 생성할 수 있다.

Description

가상 아바타 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING VIRTUAL AVATAR}
본 발명의 실시예는 컴퓨터 기술 분야에 관한 것이고, 구체적으로 인터넷 기술 분야에 관한 것이며, 특히 가상 아바타 생성 방법 및 장치에 관한 것이다.
인터넷 기술이 발전함에 따라, 점점 많은 라이브 방송 플랫폼 및 숏폼 동영상 플랫폼이 끊임없이 등장하고 있다. 사용자는 핸드폰 등을 통해 자신이 촬영한 동영상을 업로드할 수 있다. 셀카 및 라이브 방송 등의 장면에서, 전자 기기는 사용자의 얼굴 특징 및 표정을 2차원 또는 3차원 애니메이션 형상에 매핑함으로써, 화면의 재미와 풍부함을 효과적으로 향상시킬 수 있다.
관련 기술에서, 앞에서 언급한 매핑은 일반적으로 사용자의 얼굴 특징 및 표정을 고정된 애니메이션 형상에 매핑한다. 실제 사람과 유사한 애니메이션을 생성하려면 시간이 오래 걸리는 경우가 많다.
본 발명의 실시예는 가상 아바타 생성 방법 및 장치를 제시한다.
제1 양태에 따르면, 본 발명의 실시예는 가상 아바타 생성 방법을 제공하고, 상기 가상 아바타 생성 방법은, 제1 아바타를 획득하고, 제1 아바타의 표정 파라미터를 확정하는 단계 - 제1 아바타의 표정 파라미터는 오관 중의 적어도 하나의 표정 파라미터를 포함함 -; 및 오관 중의 적어도 하나의 표정 파라미터에 기반하여, 제1 아바타의 속성과 관련되고 제1 아바타의 표정을 구비하는 타깃 가상 아바타를 확정하는 단계를 포함한다.
일부 실시예에서, 상기 방법은 제1 아바타의 속성과 관련된 무표정의 기준 가상 아바타를 생성하는 단계를 더 포함하고, 오관 중의 적어도 하나의 표정 파라미터에 기반하여, 제1 아바타의 속성과 관련되고 제1 아바타의 표정을 구비하는 타깃 가상 아바타를 확정하는 단계는, 기준 가상 아바타 및 오관 중의 적어도 하나의 표정 파라미터를 미리 트레이닝된 심층 신경망에 입력하여, 제1 아바타의 속성과 관련되고 제1 아바타의 표정을 구비하는 제1 가상 아바타를 획득하는 단계; 및 제1 가상 아바타에 기반하여, 타깃 가상 아바타를 생성하는 단계를 포함한다.
일부 실시예에서, 기준 가상 아바타 및 오관 중의 적어도 하나의 표정 파라미터를 미리 트레이닝된 심층 신경망에 입력하여, 제1 아바타의 속성과 관련되고 제1 아바타의 표정을 구비하는 제1 가상 아바타를 획득하는 단계는, 기준 가상 아바타 및 오관 중의 적어도 하나의 표정 파라미터를 미리 트레이닝된 제1 생성적 적대 신경망에 입력하여, 제1 생성적 적대 신경망으로부터 출력된, 제1 아바타의 속성과 관련되며 제1 아바타의 표정을 구비하는 제1 가상 아바타를 획득하는 단계를 포함한다.
일부 실시예에서, 제1 아바타의 표정 파라미터는 머리 각도를 더 포함하고, 제1 가상 아바타에 기반하여, 타깃 가상 아바타를 생성하는 단계는, 제1 가상 아바타 및 머리 각도를 미리 트레이닝된 제2 생성적 적대 신경망에 입력하여, 제2 생성적 적대 신경망으로부터 출력된, 제1 아바타의 속성과 관련되며 제1 아바타의 표정 및 머리 각도를 구비하는 타깃 가상 아바타를 획득하는 단계를 포함한다.
일부 실시예에서, 오관 중의 적어도 하나의 표정 파라미터는 눈 파라미터 및 입 파라미터를 포함하고, 제1 아바타의 표정 파라미터를 확정하는 단계는, 제1 아바타의 표정 관련 키포인트를 검출하여, 검출 결과를 획득하는 단계 - 표정 관련 키포인트는 눈 키포인트 및 입 키포인트를 포함함 -; 및 검출 결과에 기반하여, 제1 아바타의 눈 파라미터, 입 파라미터 및 머리 각도를 확정하는 단계를 포함한다.
일부 실시예에서, 제1 아바타의 속성과 관련된 무표정의 기준 가상 아바타를 생성하는 단계는, 제1 아바타를 미리 트레이닝된 제3 생성적 적대 신경망에 입력하여, 제3 생성적 적대 신경망으로부터 출력된, 제1 아바타의 속성과 관련된 무표정의 기준 가상 아바타를 획득하는 단계; 또는 제1 아바타의 속성을 검출하고; 기설정된 3차원 아바타 모델에 기반하여, 검출된 속성과 관련된 무표정의 가상 아바타를 확정하며, 상기 가상 아바타를 제1 아바타의 속성과 관련된 무표정의 기준 가상 아바타로 하는 단계를 포함한다.
일부 실시예에서, 오관 중의 적어도 하나의 표정 파라미터에 기반하여, 제1 아바타의 속성과 관련되고 제1 아바타의 표정을 구비하는 타깃 가상 아바타를 확정하는 단계는, 각 기설정 표정 파라미터에서, 제1 아바타의 표정 파라미터와 차이 값이 가장 작은 기설정 표정 파라미터를 선택하는 단계; 제1 아바타의 속성과 관련되되 선택된 기설정 표정 파라미터에 대응되는 표정을 구비하는 기설정 가상 아바타를 획득하는 단계; 및 기설정 가상 아바타에 기반하여, 타깃 가상 아바타를 확정하는 단계를 포함한다.
일부 실시예에서, 제1 아바타의 표정 파라미터는 머리 각도를 더 포함하고, 기설정 가상 아바타에 기반하여, 타깃 가상 아바타를 확정하는 단계는, 제1 아바타의 표정 파라미터와 선택된 기설정 표정 파라미터의 차이 값, 및 기설정 가상 아바타를 미리 트레이닝된 제4 생성적 적대 신경망에 입력하여, 제4 생성적 적대 신경망으로부터 출력된, 제1 아바타의 속성과 관련되며 제1 아바타의 표정 및 머리 각도를 구비하는 타깃 가상 아바타를 획득하는 단계를 포함하고, 여기서, 제4 생성적 적대 신경망의 파라미터의 개수는, 제1 생성적 적대 신경망의 파라미터의 개수보다 작으며 제2 생성적 적대 신경망의 파라미터의 개수보다 작다.
일부 실시예에서, 제1 아바타를 획득하는 단계는, 하나의 처리할 아바타를 획득하는 단계; 및 처리할 아바타를 교정하여, 처리할 아바타의 정면 아바타를 획득하고, 정면 아바타를 제1 아바타로 하는 단계를 포함한다.
일부 실시예에서, 상기 방법은 제1 아바타에 대응되는 표정 타입을 확정하는 단계; 및 타깃 가상 아바타에 대하여, 표정 타입에 대응되는 특수 효과를 추가하는 단계를 더 포함한다.
제2 양태에 따르면, 본 발명의 실시예는 가상 아바타 생성 장치를 제공하고, 상기 가상 아바타 생성 장치는, 제1 아바타를 획득하고, 제1 아바타의 표정 파라미터를 확정하도록 구성되는 획득 유닛 - 제1 아바타의 표정 파라미터는 오관 중의 적어도 하나의 표정 파라미터를 포함함 -; 및 오관 중의 적어도 하나의 표정 파라미터에 기반하여, 제1 아바타의 속성과 관련되고 제1 아바타의 표정을 구비하는 타깃 가상 아바타를 확정하도록 구성되는 확정 유닛을 포함한다.
일부 실시예에서, 상기 장치는 제1 아바타의 속성과 관련된 무표정의 기준 가상 아바타를 생성하도록 구성되는 생성 유닛을 더 포함하며, 오관 중의 적어도 하나의 표정 파라미터에 기반하여, 제1 아바타의 속성과 관련되고 제1 아바타의 표정을 구비하는 타깃 가상 아바타를 확정하기 위해 확정 유닛은 또한, 기준 가상 아바타 및 오관 중의 적어도 하나의 표정 파라미터를 미리 트레이닝된 심층 신경망에 입력하여, 제1 아바타의 속성과 관련되고 제1 아바타의 표정을 구비하는 제1 가상 아바타를 획득하며; 제1 가상 아바타에 기반하여, 타깃 가상 아바타를 생성하도록 구성된다.
일부 실시예에서, 기준 가상 아바타 및 오관 중의 적어도 하나의 표정 파라미터를 미리 트레이닝된 심층 신경망에 입력하여, 제1 아바타의 속성과 관련되고 제1 아바타의 표정을 구비하는 제1 가상 아바타를 획득하기 위해 확정 유닛은 또한, 기준 가상 아바타 및 오관 중의 적어도 하나의 표정 파라미터를 미리 트레이닝된 제1 생성적 적대 신경망에 입력하여, 제1 생성적 적대 신경망으로부터 출력된, 제1 아바타의 속성과 관련되며 제1 아바타의 표정을 구비하는 제1 가상 아바타를 획득하도록 구성된다.
일부 실시예에서, 제1 아바타의 표정 파라미터는 머리 각도를 더 포함하고, 제1 가상 아바타에 기반하여, 타깃 가상 아바타를 생성하기 위해 확정 유닛은 또한, 제1 가상 아바타 및 머리 각도를 미리 트레이닝된 제2 생성적 적대 신경망에 입력하여, 제2 생성적 적대 신경망으로부터 출력된, 제1 아바타의 속성과 관련되며 제1 아바타의 표정 및 머리 각도를 구비하는 타깃 가상 아바타를 획득하도록 구성된다.
일부 실시예에서, 오관 중의 적어도 하나의 표정 파라미터는 눈 파라미터 및 입 파라미터를 포함하고, 제1 아바타의 표정 파라미터를 확정하기 위해 획득 유닛은 또한, 제1 아바타의 표정 관련 키포인트를 검출하여, 검출 결과를 획득하고, 여기서, 표정 관련 키포인트는 눈 키포인트 및 입 키포인트를 포함하며; 검출 결과에 기반하여, 제1 아바타의 눈 파라미터, 입 파라미터 및 머리 각도를 확정하도록 구성된다.
일부 실시예에서, 제1 아바타의 속성과 관련된 무표정의 기준 가상 아바타를 생성하기 위해 생성 유닛은 또한, 제1 아바타를 미리 트레이닝된 제3 생성적 적대 신경망에 입력하여, 제3 생성적 적대 신경망으로부터 출력된, 제1 아바타의 속성과 관련된 무표정의 기준 가상 아바타를 획득하거나; 또는 제1 아바타의 속성을 검출하고; 기설정된 3차원 아바타 모델에 기반하여, 검출된 속성과 관련된 무표정의 가상 아바타를 확정하며, 상기 가상 아바타를 제1 아바타의 속성과 관련된 무표정의 기준 가상 아바타로 하도록 구성된다.
일부 실시예에서, 오관 중의 적어도 하나의 표정 파라미터에 기반하여, 제1 아바타의 속성과 관련되고 제1 아바타의 표정을 구비하는 타깃 가상 아바타를 확정하기 위해 확정 유닛은 또한, 각 기설정 표정 파라미터에서, 제1 아바타의 표정 파라미터와 차이 값이 가장 작은 기설정 표정 파라미터를 선택하고; 제1 아바타의 속성과 관련되며 선택된 기설정 표정 파라미터에 대응되는 표정을 구비하는 기설정 가상 아바타를 획득하고; 기설정 가상 아바타에 기반하여, 타깃 가상 아바타를 확정하도록 구성된다.
일부 실시예에서, 제1 아바타의 표정 파라미터는 머리 각도를 더 포함하고, 기설정 가상 아바타에 기반하여, 타깃 가상 아바타를 확정하기 위해 확정 유닛은 또한, 제1 아바타의 표정 파라미터와 선택된 기설정 표정 파라미터의 차이 값, 및 기설정 가상 아바타를 미리 트레이닝된 제4 생성적 적대 신경망에 입력하여, 제4 생성적 적대 신경망으로부터 출력된, 제1 아바타의 속성과 관련되며 제1 아바타의 표정 및 머리 각도를 구비하는 타깃 가상 아바타를 획득하도록 구성되고, 여기서, 제4 생성적 적대 신경망의 파라미터의 개수는, 제1 생성적 적대 신경망의 파라미터의 개수보다 작으며 제2 생성적 적대 신경망의 파라미터의 개수보다 작다.
일부 실시예에서, 상기 장치는 제1 아바타에 대응되는 표정 타입을 확정하도록 구성되는 타입 확정 유닛; 및 타깃 가상 아바타에 대하여, 표정 타입에 대응되는 특수 효과를 추가하도록 구성되는 추가 유닛을 더 포함한다.
일부 실시예에서, 제1 아바타를 획득하는 것은, 하나의 처리할 아바타를 획득하는 것; 및 처리할 아바타를 교정하여, 처리할 아바타의 정면 아바타를 획득하고, 정면 아바타를 제1 아바타로 하는 것을 포함한다.
제3 양태에 따르면, 본 발명의 실시예는 전자 기기를 제공하고, 상기 전자 기기는 하나 또는 다수의 프로세서; 및 하나 또는 다수의 프로그램을 저장하는 저장 장치를 포함하고, 하나 또는 다수의 프로그램이 하나 또는 다수의 프로세서에 의해 실행될 경우, 하나 또는 다수의 프로세서가 가상 아바타 생성 방법 중 어느 한 실시예에 따른 방법을 구현하도록 한다.
제4 양태에 따르면, 본 발명의 실시예는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 프로그램이 프로세서에 의해 실행될 경우 가상 아바타 생성 방법 중 어느 한 실시예에 따른 방법을 구현한다.
본 발명의 실시예에서 제공하는 가상 아바타 생성 해결수단은, 우선, 제1 아바타를 획득하고, 제1 아바타의 표정 파라미터를 확정하며, 여기서, 제1 아바타의 표정 파라미터는 오관 중의 적어도 하나의 표정 파라미터를 포함한다. 다음, 오관 중의 적어도 하나의 표정 파라미터에 기반하여, 제1 아바타의 속성과 관련되고 제1 아바타의 표정을 구비하는 타깃 가상 아바타를 확정한다. 본 발명의 실시예는 제1 아바타를 이용하여 표정 파라미터를 생성함으로써, 표정 파라미터에 기반하여, 제1 아바타의 속성 및 표정에 모두 대응되는 타깃 가상 아바타를 효과적이면서 보다 정확하게 생성할 수 있다.
아래 첨부 도면에 도시된 비 제한적인 실시예의 상세한 설명에 대한 열독 및 참조를 통해 본 발명의 다른 특징, 목적 및 장점이 보다 명백해질 것이다.
도 1은 본 발명의 일부 실시예가 적용될 수 있는 예시적 시스템의 아키텍처이다.
도 2는 본 발명에 따른 가상 아바타 생성 방법의 일 실시예의 흐름도이다.
도 3은 본 발명에 따른 가상 아바타 생성 방법의 하나의 응용 장면의 모식도이다.
도 4는 본 발명에 따른 가상 아바타 생성 방법의 다른 실시예의 흐름도이다.
도 5는 본 발명에 따른 가상 아바타 생성 장치의 일 실시예의 구조 모식도이다.
도 6은 본 발명의 일부 실시예를 구현하기 위한 전자 기기의 컴퓨터 시스템의 구조 모식도이다.
아래 첨부 도면 및 실시예를 결부하여 본 발명을 더욱 자세히 설명한다. 여기서 설명되는 구체적인 실시예는 관련 발명을 해석하기 위한 것일 뿐 본 발명은 이에 한정되지 않음을 이해할 수 있을 것이다. 이 밖에, 설명의 편의를 위해 도면에는 해당 발명과 관련된 부분만이 도시되었음을 유의해야 한다.
모순되지 않는 한 본 발명의 실시예 및 실시예의 특징은 서로 조합될 수 있음을 유의해야 한다. 아래 첨부 도면을 참조하고 실시예를 결부하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 가상 아바타 생성 방법 또는 가상 아바타 생성 장치를 구현할 수 있는 예시적 시스템 아키텍처(100)이다.
도 1에 도시된 바와 같이, 시스템 아키텍처(100)는 단말 기기(101, 102, 103), 네트워크(104) 및 서버(105)를 포함할 수 있다. 네트워크(104)는 단말 기기(101, 102, 103)와 서버(105) 사이에서 통신 링크의 매체를 제공한다. 네트워크(104)는 다양한 연결 타입을 포함할 수 있는 바, 예를 들면 유선, 무선 통신 링크 또는 광섬유 케이블 등이다.
사용자는 단말 기기(101, 102, 103)를 사용하여 네트워크(104)를 통해 서버(105)와 인터랙션 함으로써 메시지 등을 수신 또는 송신할 수 있다. 단말 기기(101, 102, 103)에는 다양한 통신 클라이언트 애플리케이션이 설치될 수 있는 바, 예를 들면, 가상 아바타 생성 애플리케이션, 비디오 타입의 애플리케이션, 라이브 방송 애플리케이션, 인스턴트 메시징 수단, 이메일 크라이언트, SNS 소프트웨어 등이다.
여기서 단말 기기(101, 102, 103)는 하드웨어일 수 있고 소프트웨어일 수도 있다. 단말 기기(101, 102, 103)가 하드웨어일 경우, 디스플레이 스크린을 구비하는 다양한 전자 기기일 수 있으며, 스마트폰, 태블릿PC, 전자책 리더기, 휴대형 랩톱 및 데스크톱 등을 포함하나 이에 한정되는 것은 아니다. 단말 기기(101, 102, 103)가 소프트웨어일 경우 상기 열거된 전자 기기에 설치될 수 있다. 다수의 소프트웨어 또는 소프트웨어 모듈(예를 들면 분산형 서비스의 다수의 소프트웨어 또는 소프트웨어 모듈을 제공함)로 구현되거나, 하나의 소프트웨어 또는 소프트웨어 모듈로 구현될 수 있으며 여기서는 구체적으로 한정하지 않는다.
서버(105)는 다양한 서비스를 제공하는 서버일 수 있고, 예를 들면 단말 기기(101, 102, 103)에 지원을 제공하는 백그라운드 서버일 수 있다. 백그라운드 서버는 제1 아바타 등 데이터에 대해 분석 등 처리를 진행하고, 처리 결과(예를 들어 제1 가상 아바타)를 단말 기기에 피드백할 수 있다.
설명해야 할 것은, 본 발명의 실시예가 제공하는 가상 아바타 생성 방법은 서버(105) 또는 단말 기기(101, 102, 103)에 의해 수행될 수 있고, 상응하게, 가상 아바타 생성 장치는 서버(105) 또는 단말 기기(101, 102, 103)에 설치될 수 있다.
도 1 중의 단말 기기, 네트워크 및 서버의 개수는 예시적인 것일 뿐이며, 실시 필요에 따라 임의의 개수의 단말 기기, 네트워크 및 서버를 구비할 수 있다는 것을 이해해야 한다.
계속해서 도 2를 참조하면, 본 발명에 따른 가상 아바타 생성 방법의 일 실시예의 흐름(200)이다. 상기 가상 아바타 생성 방법은 아래의 단계를 포함한다.
단계(201)에서, 제1 아바타를 획득하고, 제1 아바타의 표정 파라미터를 확정하며, 여기서, 제1 아바타의 표정 파라미터는 오관 중의 적어도 하나의 표정 파라미터를 포함한다.
본 실시예에서, 가상 아바타 생성 방법의 수행 주체(예를 들어 도 1에 도시된 서버 또는 단말 기기)는 제1 아바타를 획득할 수 있다. 여기서 아바타는 얼굴을 포함할 수 있을 뿐만 아니라 목과 어깨도 포함할 수 있다. 또한, 상기 수행 주체는 상기 제1 아바타의 표정 파라미터를 확정할 수 있다. 표정 파라미터는 제1 아바타의 표정을 반영하는 파라미터이다. 구체적으로, 표정 파라미터는 오관 중의 적어도 하나의 표정 파라미터를 포함할 수 있고, 예를 들어, 눈썹(두 눈썹) 파라미터, 눈(두 눈) 파라미터 및/또는 입 파라미터이다. 구체적으로, 표정 파라미터 중의 각 파라미터는 이에 대응되는 기설정 수치 범위내에 있을 수 있고, 예를 들어 0 내지 1 사이의 범위 내이다. 눈썹 파라미터는 눈썹 위치의 오프셋을 나타낼 수 있다. 예를 들어, 눈썹이 원래 위치에 있을 경우 눈썹 파라미터는 0.5이고, 눈썹을 올린 아바타에서 눈썹 파라미터는 0.75이며, 눈썹을 내린 아바타에서 눈썹 파라미터는 0.3이다. 눈 파라미터는 눈을 뜨거나 감는 정도를 나타낼 수 있다. 예를 들어, 눈을 크게 뜬 아바타에서 눈 파라미터는 0.8이고, 눈을 가늘게 뜬 아바타에서 눈 파라미터는 0.15이다. 입 파라미터는 이미지 중의 입모양을 나타낼 수 있고, 구체적으로 하나의 분류 결과일 수 있으며, 예를 들어 입을 삐죽 내밈, 입을 크게 벌림, 입을 다뭄, 입을 약간 오므림, 입을 왼쪽으로 삐죽거림, 입을 오른쪽으로 삐죽거림 등 타입이 있다. 이 밖에, 입 파라미터는 입을 벌린 정도를 나타내는 수치일 수 있고, 예를 들어 입을 크게 벌린 아바타에서 입 파라미터는 0.8이고, 입을 다문 아바타에서 입 파라미터는 0.2이다.
실제 응용에서, 상기 수행 주체는 초기화 모델, 또는 초기화된 대응 테이블을 이용하여, 제1 아바타에 대응되는 표정 파라미터를 확정할 수 있다. 여기서 초기화 모델 및 초기화된 대응 테이블은 아바타와 상기 아바타의 표정 파라미터의 대응 관계를 특성화할 수 있다.
본 실시예의 일부 선택 가능한 실시형태에서, 단계 (201) 중의 제1 아바타를 획득하는 단계는, 하나의 처리할 아바타를 획득하는 단계; 및 처리할 아바타를 교정하여, 처리할 아바타의 정면 아바타를 획득하고, 정면 아바타를 제1 아바타로 하는 단계를 포함할 수 있다.
이러한 선택 가능한 실시형태에서, 상기 수행 주체는 로컬 또는 다른 전자 기기로부터 하나의 처리할 아바타를 획득할 수 있다. 상기 수행 주체는 처리할 아바타에 대해 정렬 및 교정을 진행함으로써, 처리할 아바타를 정면 아바타 즉 정면 얼굴 아바타로 변환시킬 수 있다. 상기 수행 주체는 상기 정면 아바타를 제1 아바타로 함으로써, 정면 제1 가상 아바타를 생성할 수 있다.
이러한 실시형태는 대량의 아바타가 필요하지 않으며, 단일 아바타만 이용하여, 정면 가상 아바타를 생성하는 것을 구현할 수 있다.
단계 (202)에서, 오관 중의 적어도 하나의 표정 파라미터에 기반하여, 제1 아바타의 속성과 관련되고 제1 아바타의 표정을 구비하는 타깃 가상 아바타를 확정한다.
본 실시예에서, 상기 수행주체는 오관 중의 적어도 하나의 표정 파라미터에 기반하여, 타깃 가상 아바타를 확정할 수 있다. 타깃 가상 아바타는 2차원 이미지일 수 있고, 일부 경우에는, 타깃 가상 아바타는 3차원 이미지일 수도 있다. 구체적으로, 상기 타깃 가상 아바타는 제1 아바타의 속성과 관련될 뿐만 아니라, 제1 아바타의 표정도 구비한다.
구체적으로, 속성은 제1 아바타의 특징을 반영하고, 표정의 변화에 따라 변화하지 않는 성질을 의미한다. 예를 들어, 속성은 얼굴형, 얼굴 크기, 헤어스타일, 오관 중 적어도 하나의 크기 및/또는 형상, 및 아바타 중 각 부분의 색상 이들 중 적어도 하나를 포함할 수 있다. 상기 가상 아바타와 제1 아바타의 속성이 관련된다는 것은 생성된 가상 아바타의 속성(또는 부분 속성)과 제1 아바타의 속성(또는 부분 속성)이 완전히 동일하거나 또는 유사한(싱크로율이 기설정 임계값보다 큼) 것을 의미할 수 있고, 가상 아바타의 속성(또는 부분 속성)과 제1 아바타의 속성(또는 부분 속성)이 유사하지 않지만 형상 및/또는 크기가 대응 관계를 가지고 있는 것을 의미할 수도 있다. 예를 들어, 제1 아바타의 코의 폭이 2 cm이면, 관련된 가상 아바타의 코의 폭은 1 cm이고, 제1 아바타의 코의 폭이 1.5 cm이면, 관련된 가상 아바타의 코의 폭은 0.75 cm이다.
실제 응용에서, 상기 수행 주체는 다양한 방식을 사용하여 오관 중의 적어도 하나의 표정 파라미터를 기반으로, 타깃 가상 아바타를 확정할 수 있다. 예를 들어, 상기 수행 주체는 기설정된 하나의 모델을 이용하여, 상기 모델에 제1 아바타, 및 오관 중의 적어도 하나의 표정 파라미터를 입력함으로써, 상기 모델에서 출력된 타깃 가상 아바타를 획득할 수 있다. 상기 모델은 제1 아바타 및 표정 파라미터와, 타깃 가상 아바타 사이의 대응 관계를 특성화할 수 있다.
본 발명의 상기 실시예에서 제공하는 방법은 제1 아바타를 이용하여 표정 파라미터를 생성함으로써, 표정 파라미터에 기반하여, 제1 아바타의 속성 및 표정에 모두 대응되는 타깃 가상 아바타를 효과적이면서 보다 정확하게 생성할 수 있다.
본 실시예의 일부 선택 가능한 실시형태에서, 상기 방법은 제1 아바타에 대응되는 표정 타입을 확정하는 단계; 및 타깃 가상 아바타에 대하여, 표정 타입에 대응되는 특수 효과를 추가하는 단계를 더 포함할 수 있다.
이러한 선택 가능한 실시형태에서, 상기 수행 주체는 제1 아바타의 표정 파라미터를 확정할 수 있을 뿐만 아니라, 제1 아바타에 대응되는 표정 타입도 확정할 수 있다. 상이한 표정 타입은 상이한 특수 효과에 대응될 수 있다. 예를 들어, 우는 표정 타입은 눈물을 흘리는 특수 효과에 대응될 수 있고, 윙크하는 표정 타입은 눈꼬리에 하트 또는 오각별을 추가하는 특수 효과에 대응될 수 있다.
실제 응용에서, 상기 수행 주체는 다양한 방식을 사용하여 표정 타입을 확정할 수 있다. 예를 들어, 상기 수행 주체는 아바타를 지정된 모델에 입력함으로써, 상기 지정된 모델로부터 출력된 표정 타입을 획득할 수 있다. 여기서 지정된 모델은 아바타와 표정 타입 사이의 대응 관계를 특성화할 수 있다. 이 밖에, 상기 수행 주체는 또한 제1 아바타에서 표정 관련 키포인트와 같은, 키포인트를 검출하고, 어느 한 함수, 어느 한 모델 또는 어느 한 대응 테이블과 같은, 키포인트 좌표와 표정 타입 사이의 대응 관계를 이용하여, 표정 타입을 획득할 수 있다.
이러한 실시형태는 표정 타입을 확정함으로써, 타깃 가상 아바타에 특수 효과를 추가하여, 가상 아바타로 하여금 더욱 생동감이 있게 하므로, 가상 아바타의 재미를 더할 수 있다.
본 실시예의 일부 선택 가능한 실시형태에서, 단계 (202)는 각 기설정 표정 파라미터에서, 제1 아바타의 표정 파라미터와 차이 값이 가장 작은 기설정 표정 파라미터를 선택하는 단계; 제1 아바타의 속성과 관련되되 선택된 기설정 표정 파라미터에 대응되는 표정을 구비하는 기설정 가상 아바타를 획득하는 단계; 및 기설정 가상 아바타에 기반하여, 타깃 가상 아바타를 생성하는 단계를 포함할 수 있다.
이러한 선택 가능한 실시형태에서, 상기 수행 주체는 사용자의 아바타를 미리 획득하고, 기설정 표정 파라미터를 구비하는 표정의 타깃 가상 아바타를 기설정 가상 아바타로 확정할 수 있다. 실제 응용에서, 기설정 표정 파라미터의 개수는 다수일 수 있고, 상응하게, 상기 수행 주체는 복수의 기설정 가상 아바타를 확정할 수 있다. 다음, 상기 수행 주체가 동일한 사람의 제1 아바타를 획득하면(즉, 상기 기설정 가상 아바타와 제1 아바타는 동일한 사람의 아바타임), 상기 제1 아바타의 표정 파라미터를 확정하고, 그와 차이 값이 가장 작은 기설정 표정 파라미터를 선택할 수 있다. 그 다음, 상기 수행 주체는 상기 기설정 표정 파라미터에 대응되는 기설정 가상 아바타를 획득하고, 획득한 기설정 가상 아바타에 기반하여 타깃 가상 아바타를 생성할 수 있다.
실제 응용에서, 상기 수행 주체는 다양한 방식을 사용하여 타깃 가상 아바타를 생성할 수 있다. 예를 들어, 상기 수행 주체는 획득한 기설정 가상 아바타를 타깃 가상 아바타로 직접 확정할 수 있다.
이러한 실시형태에서, 상기 수행주체 또는 다른 전자 기기는 사용자에 대해 기설정 가상 아바타를 미리 생성할 수 있기에, 나중에 상기 사용자의 가상 아바타를 생성해야 할 경우, 기설정 가상 아바타를 직접 이용함으로써, 현재의 사용자 아바타의 가상 아바타를 빠르고 정확하게 획득할 수 있다.
이러한 실시형태의 일부 선택 가능한 응용 장면에서, 제1 아바타의 표정 파라미터는 머리 각도를 더 포함하고, 이러한 실시형태에서 기설정 가상 아바타에 기반하여, 타깃 가상 아바타를 확정하는 단계는, 제1 아바타의 표정 파라미터와 선택된 기설정 표정 파라미터의 차이 값, 및 기설정 가상 아바타를 미리 트레이닝된 제4 생성적 적대 신경망에 입력하여, 제4 생성적 적대 신경망으로부터 출력된, 제1 아바타의 속성과 관련되며 제1 아바타의 표정 및 머리 각도를 구비하는 타깃 가상 아바타를 획득하는 단계를 포함할 수 있고, 여기서, 제4 생성적 적대 신경망의 파라미터의 개수는, 제1 생성적 적대 신경망의 파라미터의 개수보다 작으며 제2 생성적 적대 신경망의 파라미터의 개수보다 작다.
이러한 선택 가능한 응용 장면에서, 상기 수행주체는 제1 아바타의 표정 파라미터와 선택된 기설정 표정 파라미터의 차이 값, 및 획득한 기설정 가상 아바타를 제4 생성적 적대 신경망에 입력함으로써, 상기 네트워크로부터 출력된, 상기 제1 아바타의 표정 및 머리 각도를 구비하는 타깃 가상 아바타를 획득할 수 있다. 상기 제4 생성적 적대 신경망은 입력된 표정 파라미터의 차이 값을 이용하여, 가상 아바타의 오관(오관 중의 적어도 하나)의 자세 및 머리 각도를 조절할 수 있고, 구체적으로, 아래의 입력 및 출력 사이의 대응 관계를 특성화할 수 있으며, 상기 입력은 제1 아바타의 표정 파라미터와 기설정 표정 파라미터의 차이 값, 및 상기 기설정 표정 파라미터에 대응되는 표정을 구비하는 타깃 가상 아바타이고, 상기 출력은 제1 아바타의 속성과 관련되며 제1 아바타의 표정 및 머리 각도를 구비하는 타깃 가상 아바타이다. 실제 응용에서, 여기의 제4 생성적 적대 신경망은 조건부 생성적 적대 신경망일 수 있다.
이러한 실시형태에서 상기 수행 주체 또는 다른 전자 기기는 사용자에 대해 기설정 가상 아바타를 미리 생성할 수 있기에, 나중에 상기 사용자의 가상 아바타를 생성해야 할 경우, 파라미터가 적고, 계산 속도가 빠른 제4 생성적 적대 신경망을 이용하여, 기설정 가상 아바타를 기반으로 수정함으로써, 현재의 사용자 아바타의 가상 아바타를 빠르고 정확하게 획득할 수 있다.
계속해서 도 3을 참조하면, 도 3은 본 실시예에 따른 가상 아바타 생성 방법의 응용 장면의 하나의 모식도이다. 도 3의 응용 장면에서, 수행주체(301)는 장삼(張三, 이름)의 아바타(302)를 획득하고, 상기 아바타(302)의 표정 파라미터(303)를 확정할 수 있으며, 여기서, 표정 파라미터(303)는 오관 중의 적어도 하나의 표정 파라미터(304)를 포함하고; 오관 중의 적어도 하나의 표정 파라미터(304)에 기반하여, 상기 아바타(302)의 속성과 관련되며 상기 아바타(302)의 표정을 구비하는 타깃 가상 아바타(305)를 확정한다.
또한 도 4를 참조하면, 도 4는 가상 아바타 생성 방법의 다른 실시예의 흐름(400)이다. 상기 가상 아바타 생성 방법의 흐름(400)은 아래의 단계를 포함한다.
단계(401)에서, 제1 아바타를 획득하고, 제1 아바타의 표정 파라미터를 확정하며, 여기서, 제1 아바타의 표정 파라미터는 오관 중의 적어도 하나의 표정 파라미터를 포함한다.
본 실시예에서, 가상 아바타 생성 방법의 수행 주체(예를 들어 도 1에 도시된 서버 또는 단말 기기)는 제1 아바타를 획득할 수 있다. 여기서 아바타는 얼굴을 포함할 수 있을 뿐만 아니라 목과 어깨도 포함할 수 있다. 또한, 상기 수행 주체는 상기 제1 아바타의 표정 파라미터를 확정할 수 있다. 표정 파라미터는 제1 아바타의 표정을 반영하는 파라미터이다.
단계(402)에서, 제1 아바타의 속성과 관련된 무표정의 기준 가상 아바타를 생성한다.
본 실시예에서, 상기 수행 주체는 상기 제1 아바타의 속성과 관련된 무표정의 가상 아바타를 생성하여, 기준 가상 아바타로 할 수도 있다. 기준 가상 아바타가 생성되면, 제1 아바타와 유사한 아바타도 획득된다. 여기서 기준 가상 아바타는 가상 2차원 아바타일 수 있고 가상 3차원 아바타일 수도 있다. 제1 아바타의 각도는 기설정 각도 범위 내에서 정면 아바타의 각도와 차이가 있을 수 있다.
실제 응용에서, 상기 수행 주체는 다양한 방식을 사용하여 상기 기준 가상 아바타를 생성할 수 있다. 예를 들어, 상기 수행 주체는 미리 트레이닝된 콘볼루션 신경망을 획득할 수 있으며, 상기 콘볼루션 신경망은 아바타와 상기 아바타의 속성과 관련된 무표정의 가상 아바타 사이의 대응 관계를 특성화할 수 있다. 다음, 상기 수행 주체는 제1 아바타를 상기 콘볼루션 신경망에 입력하여, 상기 콘볼루션 신경망으로부터 출력된 가상 아바타를 획득할 수 있다. 그러므로 상기 수행 주체는 출력된 상기 가상 아바타를 기준 가상 아바타로 할 수 있다.
본 실시예의 일부 선택 가능한 실시형태에서, 단계 402는, 제1 아바타를 미리 트레이닝된 제3 생성적 적대 신경망에 입력하여, 제3 생성적 적대 신경망으로부터 출력된, 제1 아바타의 속성과 관련된 무표정의 기준 가상 아바타를 획득하는 단계; 또는 제1 아바타의 속성을 검출하고; 기설정된 3차원 아바타 모델에 기반하여, 검출된 속성과 관련된 무표정의 가상 아바타를 확정하며, 상기 가상 아바타를 제1 아바타의 속성과 관련된 무표정의 기준 가상 아바타로 하는 단계를 포함할 수 있다.
이러한 선택 가능한 실시형태에서, 상기 수행 주체는 제1 아바타를 미리 트레이닝된 제3 생성적 적대 신경망에 입력하여, 상기 제3 생성적 적대 신경망으로부터 출력된 가상 아바타를 획득하여, 기준 가상 아바타로 할 수 있다. 구체적으로, 상기 제3 생성적 적대 신경망은 조건부 생성적 적대 신경망(conditional Generative Adversarial Nets)일 수 있다. 구체적으로, 상기 제3 생성적 적대 신경망은 아바타와 상기 아바타의 속성과 관련된 무표정의 가상 아바타 사이의 대응 관계를 특성화할 수 있다. 실제 응용에서, 상기 수행주체 또는 다른 전자 기기는, 다수의 실제 사람 아바타를 획득하여 입력으로 하고, 이러한 실제 사람 아바타에 대응되는 참조 가상 아바타를 타깃 출력으로 하며, 트레이닝 대기 제3 생성적 적대 신경망을 트레이닝함으로써, 상기 제3 생성적 적대 신경망을 획득할 수 있다.
실제 응용에서, 상기 수행 주체는 얼굴을 꾸미는 방식을 통해, 기준 가상 아바타를 확정할 수도 있으며, 구체적인 단계는 아래와 같을 수 있다.
우선, 상기 수행주체는 기설정 모델, 또는 키포인트를 검출하고 키포인트 사이의 위치 관계를 확정하는 것을 통해, 제1 아바타의 얼굴형, 헤어스타일 및 각 부분의 색상 등을 확정할 수 있다. 구체적으로, 상기 수행 주체는 기설정된 다양한 얼굴형, 다양한 헤어스타일 및 다양한 색상을 미리 획득한 다음, 제1 아바타가 어떤 타입의 기설정된 얼굴형에 속하는지, 어떤 타입의 기설정된 헤어스타일에 속하는지, 또한 각 부분은 어떤 타입의 기설정된 색상인지를 확정할 수 있다. 이 밖에, 상기 수행 주체는 각 기설정된 얼굴형 및 기설정된 오관(예를 들어 눈, 코 및/또는 입)에 대한 형상을 획득할 수 있다. 그 다음, 상기 수행 주체는 지정된 모델, 또는 키포인트를 검출하고 키포인트 사이의 위치 관계를 확정하는 것을 통해, 얼굴 크기의 수치 범위 내에서, 하나의 수치를 확정하며, 눈 크기의 수치 범위, 코 크기의 수치 범위 및 입 크기의 수치 범위 내에서, 눈 크기 수치, 코 크기 수치 및 입 크기 수치를 각각 확정할 수 있다. 상기 수치 범위는 임의로 설정된 것일 수 있으며, 예를 들어 0 내지 1이다. 예를 들어, 비교적 통통한 아바타에서, 얼굴 크기의 수치는 0.7일 수 있고, 비교적 갸름한 아바타에서, 얼굴 크기의 수치는 0.45일 수 있다.
그러므로, 상기 수행 주체는 제1 아바타가 어떤 타입의 기설정된 얼굴형에 속하는지, 어떤 타입의 기설정된 헤어스타일에 속하는지, 각 부분은 어떤 타입의 기설정된 색상인지 등 제1아바타의 속성, 얼굴 크기의 수치, 및 오관 중 적어도 하나의 크기의 수치를 획득한다. 상기 수행주체는 획득한 속성을 기설정된 3차원 아바타 모델에 추가하여, 제1 아바타의 속성과 관련된 가상 아바타를 획득하고 이를 기준 가상 아바타로 함으로써, 얼굴 꾸미기를 구현할 수 있다.
이러한 실시형태는 생성적 적대 신경망을 이용하여 가상 아바타를 효과적이고 정확하게 획득할 수 있고, 얼굴을 꾸미는 방식을 이용하여, 정확한 기준 가상 아바타를 획득할 수도 있다.
단계(403)에서, 기준 가상 아바타 및 오관 중의 적어도 하나의 표정 파라미터를 미리 트레이닝된 심층 신경망에 입력하여, 제1 아바타의 속성과 관련되고 제1 아바타의 표정을 구비하는 제1 가상 아바타를 획득한다.
본 실시예에서, 상기 수행 주체는 생성된 기준 가상 아바타 및 상기 표정 파라미터 중의 하나 또는 다수의 표정 파라미터를 미리 트레이닝된 심층 신경망에 입력함으로써, 상기 모델로부터 출력된 제1 가상 아바타를 획득할 수 있다. 실제 응용에서, 제1 가상 아바타는 2차원 이미지 또는 3차원 이미지일 수 있다. 구체적으로, 상기 제1 가상 아바타는 제1 아바타의 속성과 관련될 뿐만 아니라, 제1 아바타의 표정도 구비한다. 실제 응용에서, 심층 신경망은 다양한 유형일 수 있고, 예를 들어 콘볼루션 신경망이다. 여기서 심층 신경망은 기준 가상 아바타에 표정을 추가할 수 있고, 구체적으로, 기준 가상 아바타 및 표정 파라미터와, 상기 표정 파라미터에 대응되는 표정을 구비하는 상기 기준 가상 아바타 사이의 대응 관계를 특성화할 수 있다.
본 실시예의 일부 선택 가능한 실시형태에서, 단계 403는, 기준 가상 아바타 및 오관 중의 적어도 하나의 표정 파라미터를 미리 트레이닝된 제1 생성적 적대 신경망에 입력하여, 제1 생성적 적대 신경망으로부터 출력된, 제1 아바타의 속성과 관련되며 제1 아바타의 표정을 구비하는 제1 가상 아바타를 획득하는 단계를 포함할 수 있다.
이러한 선택 가능한 실시형태에서, 심층 신경망은 생성적 적대 신경망일 수 있고, 예를 들어 조건부 생성적 적대 신경망이다. 상기 수행주체는 상기 생성적 적대 신경망 즉 제1 생성적 적대 신경망을 이용하여, 입력된 기준 가상 아바타에 입력된 표정 파라미터에 대응되는 표정을 추가할 수 있다.
이러한 실시형태는 생성적 적대 신경망을 이용하여, 보다 정확하고 제1 아바타의 표정을 가진 제1 가상 아바타를 생성할 수 있다.
단계(404)에서, 제1 가상 아바타에 기반하여, 타깃 가상 아바타를 생성한다.
본 실시예에서, 상기 수행 주체는 다양한 방식을 사용하여 제1 가상 아바타를 기반으로, 타깃 가상 아바타를 생성할 수 있다. 예를 들어, 상기 수행주체는 제1 가상 아바타를 직접 타깃 가상 아바타로 할 수 있다.
본 발명의 상기 실시예에서 제공하는 방법은 제1 아바타를 이용하여 무표정의 기준 가상 아바타 및 표정 파라미터를 생성함으로써, 생성된 무표정의 기준 가상 아바타, 표정 파라미터 및 심층 신경망에 기반하여, 제1 아바타의 속성 및 표정에 모두 대응되는 제1 가상 아바타를 생성하는 효율과 정확성을 더 향상시킬 수 있다.
본 실시예의 일부 선택 가능한 실시형태에서, 제1 아바타의 표정 파라미터는 머리 각도를 더 포함하고, 단계(404)는, 제1 가상 아바타 및 머리 각도를 미리 트레이닝된 제2 생성적 적대 신경망에 입력하여, 제2 생성적 적대 신경망으로부터 출력된, 제1 아바타의 속성과 관련되며 제1 아바타의 표정 및 머리 각도를 구비하는 타깃 가상 아바타를 획득하는 단계를 포함할 수 있다.
이러한 선택 가능한 실시형태에서, 상기 수행 주체는 제1 가상 아바타 및 제1 아바타 중의 머리 각도를 제2 생성적 적대 신경망에 입력하여, 상기 네트워크로부터 출력된 타깃 가상 아바타를 획득할 수 있다. 상기 타깃 가상 아바타는 제1 아바타의 속성과 관련될 뿐만 아니라, 제1 아바타의 표정 및 머리 각도도 구비한다. 구체적으로, 제2 생성적 적대 신경망은 조건부 생성적 적대 신경망일 수도 있고, 가상 아바타에 머리 각도를 추가할 수 있으며, 구체적으로 가상 아바타 및 머리 각도와, 상기 머리 각도를 구비하는 상기 가상 아바타 사이의 대응 관계를 특성화할 수 있다.
실제 응용에서, 표정 파라미터는 오관 중 적어도 하나의 표정 파라미터를 포함할 수 있을 뿐만 아니라, 머리 각도도 포함할 수 있다. 구체적으로, 머리 각도는 제1 아바타를 촬영하는 카메라에 대한 머리 각도를 의미할 수 있고, 현재 정면 각도를 벗어난 머리의 벗어난 각도를 의미할 수도 있으며, 구체적으로 x, y, z 세 좌표축의 코너를 사용하여 나타낼 수 있다.
이러한 실시형태는 가상 아바타에 머리 각도를 추가함으로써, 가상 아바타로 하여금 사람의 속성과 대응되고 사람의 표정을 구비할 뿐만 아니라, 사람의 머리 자세도 구비할 수 있으므로, 보다 생동감 있고 리얼한 가상 모양을 나타낼 수 있다.
또한 도 5를 참조하면, 상기 각 도면에 도시된 방법의 구현으로서, 본 발명은 가상 아바타 생성 장치의 일 실시예를 제공하고, 상기 장치의 실시예는 도 2에 도시된 방법의 실시예와 대응되며, 아래에 기재된 특징 외에, 상기 장치의 실시예는 도 2에 도시된 방법의 실시예와 동일하거나 상응한 특징 또는 효과를 더 포함할 수 있다. 상기 장치는 구체적으로 다양한 전자 기기에 적용될 수 있다.
도 5에 도시된 바와 같이, 본 실시예의 가상 아바타 생성 장치(500)는 획득 유닛(501) 및 확정 유닛(502)을 포함한다. 여기서, 획득 유닛(501)은, 제1 아바타를 획득하고, 제1 아바타의 표정 파라미터를 확정하도록 구성되며, 제1 아바타의 표정 파라미터는 오관 중의 적어도 하나의 표정 파라미터를 포함하고; 확정 유닛(502)은, 오관 중의 적어도 하나의 표정 파라미터에 기반하여, 제1 아바타의 속성과 관련되며 제1 아바타의 표정을 구비하는 타깃 가상 아바타를 확정하도록 구성된다.
본 실시예에서, 가상 아바타 생성 장치(500)의 획득 유닛(501) 및 확정 유닛(502)의 구체적 처리 및 이들에 의해 야기되는 기술적 효과는 각각 도 2의 대응 실시예에서 단계 (201) 및 단계 (202)의 관련 설명을 참조할 수 있으며, 여기서는 일일이 설명하지 않기로 한다.
본 실시예의 일부 선택 가능한 실시형태에서, 상기 장치는 제1 아바타의 속성과 관련된 무표정의 기준 가상 아바타를 생성하도록 구성되는 생성 유닛을 더 포함하며; 오관 중의 적어도 하나의 표정 파라미터에 기반하여, 제1 아바타의 속성과 관련되고 제1 아바타의 표정을 구비하는 타깃 가상 아바타를 확정하기 위해 확정 유닛은 또한, 기준 가상 아바타 및 오관 중의 적어도 하나의 표정 파라미터를 미리 트레이닝된 심층 신경망에 입력하여, 제1 아바타의 속성과 관련되고 제1 아바타의 표정을 구비하는 제1 가상 아바타를 획득하며; 제1 가상 아바타에 기반하여, 타깃 가상 아바타를 생성하도록 구성된다.
본 실시예의 일부 선택 가능한 실시형태에서, 기준 가상 아바타 및 오관 중의 적어도 하나의 표정 파라미터를 미리 트레이닝된 심층 신경망에 입력하여, 제1 아바타의 속성과 관련되고 제1 아바타의 표정을 구비하는 제1 가상 아바타를 획득하기 위해 확정 유닛은 또한, 기준 가상 아바타 및 오관 중의 적어도 하나의 표정 파라미터를 미리 트레이닝된 제1 생성적 적대 신경망에 입력하여, 제1 생성적 적대 신경망으로부터 출력된, 제1 아바타의 속성과 관련되며 제1 아바타의 표정을 구비하는 제1 가상 아바타를 획득하도록 구성된다.
본 실시예의 일부 선택 가능한 실시형태에서, 제1 아바타의 표정 파라미터는 머리 각도를 더 포함하고; 제1 가상 아바타에 기반하여, 타깃 가상 아바타를 생성하기 위해 확정 유닛은 또한, 제1 가상 아바타 및 머리 각도를 미리 트레이닝된 제2 생성적 적대 신경망에 입력하여, 제2 생성적 적대 신경망으로부터 출력된, 제1 아바타의 속성과 관련되며 제1 아바타의 표정 및 머리 각도를 구비하는 타깃 가상 아바타를 획득하도록 구성된다.
본 실시예의 일부 선택 가능한 실시형태에서, 오관 중의 적어도 하나의 표정 파라미터는 눈 파라미터 및 입 파라미터를 포함하고; 획득 유닛은 또한, 제1 아바타의 표정 파라미터를 확정하며; 제1 아바타의 표정 관련 키포인트를 검출하여, 검출 결과를 획득하고, 여기서, 표정 관련 키포인트는 눈 키포인트 및 입 키포인트를 포함하며; 검출 결과에 기반하여, 제1 아바타의 눈 파라미터, 입 파라미터 및 머리 각도를 확정하도록 구성된다.
본 실시예의 일부 선택 가능한 실시형태에서, 제1 아바타의 속성과 관련된 무표정의 기준 가상 아바타를 생성하기 위해 생성 유닛은 또한; 제1 아바타를 미리 트레이닝된 제3 생성적 적대 신경망에 입력하여, 제3 생성적 적대 신경망으로부터 출력된, 제1 아바타의 속성과 관련된 무표정의 기준 가상 아바타를 획득하거나; 또는 제1 아바타의 속성을 검출하고; 기설정된 3차원 아바타 모델에 기반하여, 검출된 속성과 관련된 무표정의 가상 아바타를 확정하며, 상기 가상 아바타를 제1 아바타의 속성과 관련된 무표정의 기준 가상 아바타로 하도록 구성된다.
본 실시예의 일부 선택 가능한 실시형태에서, 오관 중의 적어도 하나의 표정 파라미터에 기반하여, 제1 아바타의 속성과 관련되고 제1 아바타의 표정을 구비하는 타깃 가상 아바타를 확정하기 위해 확정 유닛은 또한, 각 기설정 표정 파라미터에서, 제1 아바타의 표정 파라미터와 차이 값이 가장 작은 기설정 표정 파라미터를 선택하고; 제1 아바타의 속성과 관련되며 선택된 기설정 표정 파라미터에 대응되는 표정을 구비하는 기설정 가상 아바타를 획득하고; 기설정 가상 아바타에 기반하여, 타깃 가상 아바타를 확정하도록 구성된다.
본 실시예의 일부 선택 가능한 실시형태에서, 제1 아바타의 표정 파라미터는 머리 각도를 더 포함하고; 기설정 가상 아바타에 기반하여, 타깃 가상 아바타를 확정하기 위해 확정 유닛은 또한, 제1 아바타의 표정 파라미터와 선택된 기설정 표정 파라미터의 차이 값, 및 기설정 가상 아바타를 미리 트레이닝된 제4 생성적 적대 신경망에 입력하여, 제4 생성적 적대 신경망으로부터 출력된, 제1 아바타의 속성과 관련되며 제1 아바타의 표정 및 머리 각도를 구비하는 타깃 가상 아바타를 획득하도록 구성되고, 여기서, 제4 생성적 적대 신경망의 파라미터의 개수는, 제1 생성적 적대 신경망의 파라미터의 개수보다 작으며 제2 생성적 적대 신경망의 파라미터의 개수보다 작다.
본 실시예의 일부 선택 가능한 실시형태에서, 상기 장치는 제1 아바타에 대응되는 표정 타입을 확정하도록 구성되는 타입 확정 유닛; 및 타깃 가상 아바타에 대하여, 표정 타입에 대응되는 특수 효과를 추가하도록 구성되는 추가 유닛을 더 포함한다.
본 실시예의 일부 선택 가능한 실시형태에서, 제1 아바타를 획득하는 것은, 하나의 처리할 아바타를 획득하는 것; 및 처리할 아바타를 교정하여, 처리할 아바타의 정면 아바타를 획득하고, 정면 아바타를 제1 아바타로 하는 것을 포함한다.
도 6에 도시된 바와 같이, 전자 기기(600)는 판독 전용 메모리(ROM)(602)에 저장된 프로그램 또는 저장 장치(608)로부터 랜덤 액세스 메모리(RAM)(603)로 로딩된 프로그램에 따라 다양하고 적절한 동작 및 처리를 수행할 수 있는 처리 장치(예를 들면 중앙 처리 장치, 그래픽 처리 장치 등)(601)를 포함할 수 있다. RAM(603)에는 또한 전자 기기(600)의 조작에 필요한 다양한 프로그램 및 데이터가 저장된다. 처리 장치(601), ROM(602) 및 RAM(603)은 버스(604)를 통해 서로 연결된다. 입/출력(I/O) 인터페이스(605) 역시 버스(604)에 연결된다.
일반적으로, 예를 들어 터치 스크린, 터치 패드, 키보드, 마우스, 카메라, 마이크, 가속도계, 자이로스코프 등을 포함하는 입력 장치(606); 예를 들어 액정 디스플레이(LCD), 스피커, 진동기 등을 포함하는 출력 장치(607); 예를 들어 자기 테이프, 하드 드라이버 등을 포함하는 저장 장치(608); 및 통신 장치(609)는 I/O 인터페이스(605)에 연결될 수 있다. 통신 장치(609)는 전자 기기(600)가 무선 또는 유선으로 다른 기기와 통신하여 데이터를 교환하도록 허용할 수 있다. 비록 도 6에서 다양한 장치를 구비하는 전자 기기(600)를 나타냈지만, 모든 도시된 장치를 실시하거나 구비할 필요는 없음을 이해해야 한다. 보다 많거나 보다 적은 장치를 대체적으로 실시하거나 구비할 수 있다. 도 6의 각 블록은 하나의 장치를 나타낼 수 있고, 필요에 따라 다수의 장치를 나타낼 수도 있다.
특히, 본 발명의 실시예에 따르면, 앞에서 흐름도를 참조하여 설명한 과정은 컴퓨터 소프트웨어 프로그램으로서 구현될 수 있다. 예를 들어, 본 발명의 실시예는 컴퓨터 판독 가능 매체에 베어링된 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품을 포함하고, 상기 컴퓨터 프로그램은 흐름도에 도시된 방법을 수행하기 위한 프로그램 코드를 포함한다. 이러한 실시 예에서, 상기 컴퓨터 프로그램은 통신 장치(609)를 통해 네트워크로부터 다운로드 및 설치될 수 있거나 또는 저장 장치(608)로부터 설치될 수 있거나 또는 ROM(602)으로부터 설치될 수 있다. 상기 컴퓨터 프로그램이 처리 장치(601)에 의해 실행될 때, 본 발명의 실시예의 방법에 한정된 상기 기능이 수행된다. 본 발명의 실시예의 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 신호 매체 또는 컴퓨터 판독 가능 매체 또는 이 양자의 임의의 조합 일 수 있음에 유의해야한다. 컴퓨터 판독 가능 매체는, 예를 들어, 전자, 자기, 광학, 전자기, 적외선 또는 반도체의 시스템, 장치 또는 소자, 또는 이들의 임의의 조합일 수 있지만, 이에 한정되지는 않는다. 컴퓨터 판독 가능 매체의 보다 구체적인 예는 하나 또는 다수의 와이어를 구비하는 전기적 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그램 가능 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 판독 전용 메모리(CD-ROM), 광학 저장 소자, 자기 저장 소자 또는 이들의 임의의 적절한 조합을 포함할 수 있지만, 이에 한정되지는 않는다. 본 발명의 실시예에서, 컴퓨터 판독 가능 저장 매체는 명령 실행 시스템, 장치 또는 소자 또는 이들과 결합되어 사용될 수 있는 프로그램을 포함하거나 저장할 수 있는 임의의 타입의 매체일 수 있다. 본 발명의 실시예에서, 컴퓨터 판독 가능 신호 매체는 컴퓨터 판독 가능 프로그램 코드를 베어링하는 베이스 밴드 또는 캐리어의 일부로 전파되는 데이터 신호를 포함할 수 있다. 이러한 전파된 데이터 신호는 전자기 신호, 광학 신호, 또는 상기 임의의 적절한 조합을 포함하지만 이에 한정되지 않는 다양한 형태를 취할 수 있다. 컴퓨터 판독 가능 신호 매체는 또한 명령 실행 시스템, 장치 또는 소자에 사용되거나 이와 결합하여 사용하기 위한 프로그램을 발송, 전파 또는 전송할 수 있는 컴퓨터 판독 가능 저장 매체 이외의 임의의 컴퓨터 판독 가능 매체일 수 있다. 컴퓨터 판독 가능 매체에 포함된 프로그램 코드는 전선, 광섬유 케이블, RF(무선 주파수) 등, 또는 상기 임의의 적절한 조합을 포함하지만 이에 한정되지 않는 임의의 적절한 매체에 의해 전송될 수 있다.
도면의 흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현의 아키텍처, 기능 및 동작을 도시한다. 이 점에서, 흐름도 또는 블록도의 각 블록은 지정된 논리 기능을 구현하기 위한 하나 또는 다수의 실행 가능한 명령을 포함하는 하나의 모듈, 프로그램 세그먼트 또는 코드의 일부를 나타낼 수 있다. 일부 대안적인 구현에서, 블록에 마크업된 기능은 또한 도면에 도시된 것과 다른 순서로 발생할 수 있음에 유의해야 한다. 예를 들어, 연속적으로 표현된 2개의 블록은 실제로 병렬로 실행될 수 있고, 관련 기능에 따라 때때로 역순으로 실행될 수도 있다. 또한, 블록도 및/또는 흐름도의 각 블록, 및 블록도 및/또는 흐름도에서 블록의 조합은 지정된 기능 또는 동작을 수행하는 전용 하드웨어 기반 시스템에서 구현될 수 있거나 전용 하드웨어와 컴퓨터 명령을 조합하여 구현할 수도 있음에 유의해야 한다.
본 발명의 실시예들에 설명된 유닛들은 소프트웨어 또는 하드웨어에 의해 구현될 수 있다. 설명된 유닛은 또한 프로세서, 예를 들어 획득 유닛 및 확정 유닛을 포함하는 프로세서에 설치될 수도 있다. 여기서 이들 유닛의 명칭은 경우에 따라서는 유닛 자체로 한정되지 않으며, 예를 들어, 획득 유닛은 "제1 아바타를 획득하고, 제1 아바타의 표정 파라미터를 확정하는 유닛"으로 기술될 수도 있다.
다른 양태로서, 본 발명은 또한 상기 실시예에서 설명된 장치에 포함될 수 있거나 상기 장치에 조립되지 않고 별도로 존재할 수 있는 컴퓨터 판독 가능 매체를 제공한다. 상기 컴퓨터 판독 가능 매체에는 하나 또는 다수의 프로그램이 베어링되어, 상기 하나 또는 다수의 프로그램이 상기 장치에 의해 실행시 상기 장치로 하여금 제1 아바타를 획득하고, 제1 아바타의 표정 파라미터를 확정하며, 제1 아바타의 표정 파라미터는 오관 중의 적어도 하나의 표정 파라미터를 포함하고; 오관 중의 적어도 하나의 표정 파라미터에 기반하여, 제1 아바타의 속성과 관련되고 제1 아바타의 표정을 구비하는 타깃 가상 아바타를 확정하도록 한다.
상기 설명은 본 발명의 바람직한 실시예 및 적용된 기술의 원리에 대한 설명일 뿐이다. 본 발명이 속하는 기술분야의 통상의 기술자들은 본 발명에 언급된 본 발명의 범위는 상기 기술적 특징의 특정 조합에 따른 기술적 해결수단에 한정되지 않으며, 동시에 본 발명의 사상을 벗어나지 않으면서 상기 기술적 특징 또는 그 균등한 특징에 대해 임의로 조합하여 형성된 다른 기술적 해결수단, 예를 들어, 상기 특징과 본 발명에 공개된(단 이에 한정되지 않음) 유사한 기능을 구비하는 기술적 특징을 서로 교체하여 형성된 기술적 해결수단을 포함함을 이해하여야 한다.

Claims (23)

  1. 가상 아바타 생성 방법으로서,
    제1 아바타를 획득하고, 상기 제1 아바타의 표정 파라미터를 확정하는 단계 - 상기 제1 아바타의 표정 파라미터는 오관 중의 적어도 하나의 표정 파라미터를 포함함 -; 및
    상기 오관 중의 적어도 하나의 표정 파라미터에 기반하여, 상기 제1 아바타의 속성과 관련되고 상기 제1 아바타의 표정을 구비하는 타깃 가상 아바타를 확정하는 단계를 포함하는 가상 아바타 생성 방법.
  2. 제1 항에 있어서,
    상기 방법은,
    상기 제1 아바타의 속성과 관련된 무표정의 기준 가상 아바타를 생성하는 단계를 더 포함하고,
    상기 오관 중의 적어도 하나의 표정 파라미터에 기반하여, 상기 제1 아바타의 속성과 관련되고 상기 제1 아바타의 표정을 구비하는 타깃 가상 아바타를 확정하는 단계는,
    상기 기준 가상 아바타 및 상기 오관 중의 적어도 하나의 표정 파라미터를 미리 트레이닝된 심층 신경망에 입력하여, 상기 제1 아바타의 속성과 관련되고 상기 제1 아바타의 표정을 구비하는 제1 가상 아바타를 획득하는 단계; 및
    상기 제1 가상 아바타에 기반하여, 상기 타깃 가상 아바타를 생성하는 단계를 포함하는 가상 아바타 생성 방법.
  3. 제2 항에 있어서,
    상기 기준 가상 아바타 및 상기 오관 중의 적어도 하나의 표정 파라미터를 미리 트레이닝된 심층 신경망에 입력하여, 상기 제1 아바타의 속성과 관련되고 상기 제1 아바타의 표정을 구비하는 제1 가상 아바타를 획득하는 단계는,
    상기 기준 가상 아바타 및 상기 오관 중의 적어도 하나의 표정 파라미터를 미리 트레이닝된 제1 생성적 적대 신경망에 입력하여, 상기 제1 생성적 적대 신경망으로부터 출력된, 상기 제1 아바타의 속성과 관련되며 상기 제1 아바타의 표정을 구비하는 제1 가상 아바타를 획득하는 단계를 포함하는 가상 아바타 생성 방법.
  4. 제2 항에 있어서,
    상기 제1 아바타의 표정 파라미터는 머리 각도를 더 포함하고,
    상기 제1 가상 아바타에 기반하여, 상기 타깃 가상 아바타를 생성하는 단계는,
    상기 제1 가상 아바타 및 상기 머리 각도를 미리 트레이닝된 제2 생성적 적대 신경망에 입력하여, 상기 제2 생성적 적대 신경망으로부터 출력된, 상기 제1 아바타의 속성과 관련되며 제1 아바타의 표정 및 머리 각도를 구비하는 타깃 가상 아바타를 획득하는 단계를 포함하는 가상 아바타 생성 방법.
  5. 제4 항에 있어서,
    상기 오관 중의 적어도 하나의 표정 파라미터는 눈 파라미터 및 입 파라미터를 포함하고,
    상기 제1 아바타의 표정 파라미터를 확정하는 단계는,
    상기 제1 아바타의 표정 관련 키포인트를 검출하여, 검출 결과를 획득하는 단계 - 상기 표정 관련 키포인트는 눈 키포인트 및 입 키포인트를 포함함 -; 및
    상기 검출 결과에 기반하여, 상기 제1 아바타의 눈 파라미터, 입 파라미터 및 머리 각도를 확정하는 단계를 포함하는 가상 아바타 생성 방법.
  6. 제2 항에 있어서,
    상기 제1 아바타의 속성과 관련된 무표정의 기준 가상 아바타를 생성하는 단계는,
    상기 제1 아바타를 미리 트레이닝된 제3 생성적 적대 신경망에 입력하여, 상기 제3 생성적 적대 신경망으로부터 출력된, 상기 제1 아바타의 속성과 관련된 무표정의 기준 가상 아바타를 획득하는 단계; 또는
    상기 제1 아바타의 속성을 검출하고, 기설정된 3차원 아바타 모델에 기반하여, 검출된 속성과 관련된 무표정의 가상 아바타를 확정하며, 상기 가상 아바타를 상기 제1 아바타의 속성과 관련된 무표정의 기준 가상 아바타로 하는 단계를 포함하는 가상 아바타 생성 방법.
  7. 제1 항에 있어서,
    상기 오관 중의 적어도 하나의 표정 파라미터에 기반하여, 상기 제1 아바타의 속성과 관련되고 상기 제1 아바타의 표정을 구비하는 타깃 가상 아바타를 확정하는 단계는,
    각 기설정 표정 파라미터에서, 상기 제1 아바타의 표정 파라미터와 차이 값이 가장 작은 기설정 표정 파라미터를 선택하는 단계;
    상기 제1 아바타의 속성과 관련되되 선택된 기설정 표정 파라미터에 대응되는 표정을 구비하는 기설정 가상 아바타를 획득하는 단계; 및
    상기 기설정 가상 아바타에 기반하여, 상기 타깃 가상 아바타를 확정하는 단계를 포함하는 가상 아바타 생성 방법.
  8. 제7 항에 있어서,
    상기 제1 아바타의 표정 파라미터는 머리 각도를 더 포함하고,
    상기 기설정 가상 아바타에 기반하여, 상기 타깃 가상 아바타를 확정하는 단계는,
    상기 제1 아바타의 표정 파라미터와 선택된 기설정 표정 파라미터의 차이 값, 및 상기 기설정 가상 아바타를 미리 트레이닝된 제4 생성적 적대 신경망에 입력하여, 상기 제4 생성적 적대 신경망으로부터 출력된, 상기 제1 아바타의 속성과 관련되며 상기 제1 아바타의 표정 및 머리 각도를 구비하는 타깃 가상 아바타를 획득하는 단계를 포함하고,
    상기 제4 생성적 적대 신경망의 파라미터의 개수는, 상기 제1 생성적 적대 신경망의 파라미터의 개수보다 작으며 상기 제2 생성적 적대 신경망의 파라미터의 개수보다 작은 가상 아바타 생성 방법.
  9. 제1 항에 있어서,
    상기 제1 아바타를 획득하는 단계는,
    하나의 처리할 아바타를 획득하는 단계; 및
    상기 처리할 아바타를 교정하여, 상기 처리할 아바타의 정면 아바타를 획득하고, 상기 정면 아바타를 상기 제1 아바타로 하는 단계를 포함하는 가상 아바타 생성 방법.
  10. 제1 항에 있어서,
    상기 방법은,
    상기 제1 아바타에 대응되는 표정 타입을 확정하는 단계; 및
    상기 타깃 가상 아바타에 대하여, 상기 표정 타입에 대응되는 특수 효과를 추가하는 단계를 더 포함하는 가상 아바타 생성 방법.
  11. 가상 아바타 생성 장치로서,
    제1 아바타를 획득하고, 상기 제1 아바타의 표정 파라미터를 확정하도록 구성되는 획득 유닛 - 상기 제1 아바타의 표정 파라미터는 오관 중의 적어도 하나의 표정 파라미터를 포함함 -; 및
    상기 오관 중의 적어도 하나의 표정 파라미터에 기반하여, 상기 제1 아바타의 속성과 관련되고 상기 제1 아바타의 표정을 구비하는 타깃 가상 아바타를 확정하도록 구성되는 확정 유닛을 포함하는 가상 아바타 생성 장치.
  12. 제11항에 있어서,
    상기 장치는,
    상기 제1 아바타의 속성과 관련된 무표정의 기준 가상 아바타를 생성하도록 구성되는 생성 유닛을 더 포함하며,
    상기 오관 중의 적어도 하나의 표정 파라미터에 기반하여, 상기 제1 아바타의 속성과 관련되고 상기 제1 아바타의 표정을 구비하는 타깃 가상 아바타를 확정하기 위해 상기 확정 유닛은 또한,
    상기 기준 가상 아바타 및 상기 오관 중의 적어도 하나의 표정 파라미터를 미리 트레이닝된 심층 신경망에 입력하여, 상기 제1 아바타의 속성과 관련되고 상기 제1 아바타의 표정을 구비하는 제1 가상 아바타를 획득하며; 상기 제1 가상 아바타에 기반하여, 상기 타깃 가상 아바타를 생성하도록 구성되는 가상 아바타 생성 장치.
  13. 제12항에 있어서,
    상기 기준 가상 아바타 및 상기 오관 중의 적어도 하나의 표정 파라미터를 미리 트레이닝된 심층 신경망에 입력하여, 상기 제1 아바타의 속성과 관련되고 상기 제1 아바타의 표정을 구비하는 제1 가상 아바타를 획득하기 위해 상기 확정 유닛은 또한,
    상기 기준 가상 아바타 및 상기 오관 중의 적어도 하나의 표정 파라미터를 미리 트레이닝된 제1 생성적 적대 신경망에 입력하여, 상기 제1 생성적 적대 신경망으로부터 출력된, 상기 제1 아바타의 속성과 관련되며 상기 제1 아바타의 표정을 구비하는 제1 가상 아바타를 획득하도록 구성되는 가상 아바타 생성 장치.
  14. 제12항에 있어서,
    상기 제1 아바타의 표정 파라미터는 머리 각도를 더 포함하고,
    상기 제1 가상 아바타에 기반하여, 상기 타깃 가상 아바타를 생성하기 위해 상기 확정 유닛은 또한;
    상기 제1 가상 아바타 및 상기 머리 각도를 미리 트레이닝된 제2 생성적 적대 신경망에 입력하여, 상기 제2 생성적 적대 신경망으로부터 출력된, 상기 제1 아바타의 속성과 관련되며 제1 아바타의 표정 및 머리 각도를 구비하는 타깃 가상 아바타를 획득하도록 구성되는 가상 아바타 생성 장치.
  15. 제14항에 있어서,
    상기 오관 중의 적어도 하나의 표정 파라미터는 눈 파라미터 및 입 파라미터를 포함하고,
    상기 제1 아바타의 표정 파라미터를 확정하기 위해 상기 획득 유닛은 또한,
    상기 제1 아바타의 표정 관련 키포인트를 검출하여, 검출 결과를 획득하고, 상기 표정 관련 키포인트는 눈 키포인트 및 입 키포인트를 포함하며;
    상기 검출 결과에 기반하여, 상기 제1 아바타의 눈 파라미터, 입 파라미터 및 머리 각도를 확정하도록 구성되는 가상 아바타 생성 장치.
  16. 제12항에 있어서,
    상기 제1 아바타의 속성과 관련된 무표정의 기준 가상 아바타를 생성하기 위해 상기 생성 유닛은 또한,
    상기 제1 아바타를 미리 트레이닝된 제3 생성적 적대 신경망에 입력하여, 상기 제3 생성적 적대 신경망으로부터 출력된, 상기 제1 아바타의 속성과 관련된 무표정의 기준 가상 아바타를 획득하거나; 또는
    상기 제1 아바타의 속성을 검출하고, 기설정된 3차원 아바타 모델에 기반하여, 검출된 속성과 관련된 무표정의 가상 아바타를 확정하며, 상기 가상 아바타를 상기 제1 아바타의 속성과 관련된 무표정의 기준 가상 아바타로 하도록 구성되는 가상 아바타 생성 장치.
  17. 제11항에 있어서,
    상기 오관 중의 적어도 하나의 표정 파라미터에 기반하여, 상기 제1 아바타의 속성과 관련되고 상기 제1 아바타의 표정을 구비하는 타깃 가상 아바타를 확정하기 위해 상기 확정 유닛은 또한,
    각 기설정 표정 파라미터에서, 상기 제1 아바타의 표정 파라미터와 차이 값이 가장 작은 기설정 표정 파라미터를 선택하고;
    상기 제1 아바타의 속성과 관련되되 선택된 기설정 표정 파라미터에 대응되는 표정을 구비하는 기설정 가상 아바타를 획득하고;
    상기 기설정 가상 아바타에 기반하여, 상기 타깃 가상 아바타를 확정하도록 구성되는 가상 아바타 생성 장치.
  18. 제17항에 있어서,
    상기 제1 아바타의 표정 파라미터는 머리 각도를 더 포함하고,
    상기 기설정 가상 아바타에 기반하여, 상기 타깃 가상 아바타를 확정하기 위해 상기 확정 유닛은 또한,
    상기 제1 아바타의 표정 파라미터와 선택된 기설정 표정 파라미터의 차이 값, 및 상기 기설정 가상 아바타를 미리 트레이닝된 제4 생성적 적대 신경망에 입력하여, 상기 제4 생성적 적대 신경망으로부터 출력된, 상기 제1 아바타의 속성과 관련되며 상기 제1 아바타의 표정 및 머리 각도를 구비하는 타깃 가상 아바타를 획득하도록 구성되고,
    상기 제4 생성적 적대 신경망의 파라미터의 개수는, 상기 제1 생성적 적대 신경망의 파라미터의 개수보다 작고 상기 제2 생성적 적대 신경망의 파라미터의 개수보다 작은 가상 아바타 생성 장치.
  19. 제11항에 있어서,
    상기 장치는,
    상기 제1 아바타에 대응되는 표정 타입을 확정하도록 구성되는 타입 확정 유닛; 및
    상기 타깃 가상 아바타에 대하여, 상기 표정 타입에 대응되는 특수 효과를 추가하도록 구성되는 추가 유닛을 더 포함하는 가상 아바타 생성 장치.
  20. 제11항에 있어서,
    상기 제1 아바타를 획득하는 것은,
    하나의 처리할 아바타를 획득하는 것; 및
    상기 처리할 아바타를 교정하여, 상기 처리할 아바타의 정면 아바타를 획득하고, 상기 정면 아바타를 상기 제1 아바타로 하는 것을 포함하는 가상 아바타 생성 장치.
  21. 전자 기기로서,
    하나 또는 다수의 프로세서; 및
    하나 또는 다수의 프로그램을 저장하는 저장 장치를 포함하고,
    상기 하나 또는 다수의 프로그램이 상기 하나 또는 다수의 프로세서에 의해 실행될 경우, 상기 하나 또는 다수의 프로세서가 제1 항 내지 제10항 중 어느 한 항에 따른 방법을 구현하도록 하는 전자 기기.
  22. 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체로서,
    상기 프로그램이 프로세서에 의해 실행될 경우 제1 항 내지 제10항 중 어느 한 항에 따른 방법을 구현하는 컴퓨터 판독 가능한 저장 매체.
  23. 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 제1항 내지 제10항 중 어느 한 항에 따른 방법을 구현하도록 하는 컴퓨터 프로그램.
KR1020210025904A 2020-03-09 2021-02-25 가상 아바타 생성 방법 및 장치 KR102491140B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010156571.X 2020-03-09
CN202010156571.XA CN111369428B (zh) 2020-03-09 2020-03-09 虚拟头像生成方法和装置

Publications (2)

Publication Number Publication Date
KR20210113948A true KR20210113948A (ko) 2021-09-17
KR102491140B1 KR102491140B1 (ko) 2023-01-26

Family

ID=71206626

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210025904A KR102491140B1 (ko) 2020-03-09 2021-02-25 가상 아바타 생성 방법 및 장치

Country Status (5)

Country Link
US (1) US11455765B2 (ko)
EP (1) EP3889915A3 (ko)
JP (1) JP7268071B2 (ko)
KR (1) KR102491140B1 (ko)
CN (1) CN111369428B (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112492383A (zh) * 2020-12-03 2021-03-12 珠海格力电器股份有限公司 视频帧的生成方法及装置、存储介质、电子设备
CN113643412B (zh) * 2021-07-14 2022-07-22 北京百度网讯科技有限公司 虚拟形象的生成方法、装置、电子设备及存储介质
US11854115B2 (en) * 2021-11-04 2023-12-26 Adobe Inc. Vectorized caricature avatar generator
CN114049417B (zh) * 2021-11-12 2023-11-24 抖音视界有限公司 虚拟角色图像的生成方法、装置、可读介质及电子设备
CN114219878B (zh) * 2021-12-14 2023-05-23 魔珐(上海)信息科技有限公司 虚拟角色的动画生成方法及装置、存储介质、终端
CN115936970A (zh) * 2022-06-27 2023-04-07 北京字跳网络技术有限公司 虚拟面部形象生成方法、装置、电子设备及存储介质
CN115604213A (zh) * 2022-09-30 2023-01-13 维沃移动通信有限公司（Cn） 交互方法、装置、电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978996A (zh) * 2019-03-28 2019-07-05 北京达佳互联信息技术有限公司 生成表情三维模型的方法、装置、终端及存储介质
CN110288680A (zh) * 2019-05-30 2019-09-27 盎锐（上海）信息科技有限公司 影像生成方法及移动终端

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPR541801A0 (en) * 2001-06-01 2001-06-28 Canon Kabushiki Kaisha Face detection in colour images with complex background
US20120130717A1 (en) 2010-11-19 2012-05-24 Microsoft Corporation Real-time Animation for an Expressive Avatar
US9747495B2 (en) 2012-03-06 2017-08-29 Adobe Systems Incorporated Systems and methods for creating and distributing modifiable animated video messages
US9378576B2 (en) * 2013-06-07 2016-06-28 Faceshift Ag Online modeling for real-time facial animation
KR101643573B1 (ko) * 2014-11-21 2016-07-29 한국과학기술연구원 얼굴 표정 정규화를 통한 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
CN104700076B (zh) * 2015-02-13 2017-09-12 电子科技大学 人脸图像虚拟样本生成方法
US10210648B2 (en) 2017-05-16 2019-02-19 Apple Inc. Emojicon puppeting
US10262243B2 (en) * 2017-05-24 2019-04-16 General Electric Company Neural network point cloud generation system
CN107577985B (zh) * 2017-07-18 2019-10-15 南京邮电大学 基于循环生成对抗网络的人脸头像卡通化的实现方法
KR102565755B1 (ko) * 2018-02-23 2023-08-11 삼성전자주식회사 얼굴의 특징점의 움직임에 따라 모션이 수행된 아바타를 표시하는 전자 장치와 이의 동작 방법
CN109376582B (zh) * 2018-09-04 2022-07-29 电子科技大学 一种基于生成对抗网络的交互式人脸卡通方法
KR102648993B1 (ko) * 2018-12-21 2024-03-20 삼성전자주식회사 사용자의 감정 상태에 기반하여 아바타를 제공하기 위한 전자 장치 및 그에 관한 방법
CN110335334A (zh) * 2019-07-04 2019-10-15 北京字节跳动网络技术有限公司 虚拟头像驱动显示方法、装置、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978996A (zh) * 2019-03-28 2019-07-05 北京达佳互联信息技术有限公司 生成表情三维模型的方法、装置、终端及存储介质
CN110288680A (zh) * 2019-05-30 2019-09-27 盎锐（上海）信息科技有限公司 影像生成方法及移动终端

Also Published As

Publication number Publication date
JP2021144706A (ja) 2021-09-24
CN111369428A (zh) 2020-07-03
EP3889915A3 (en) 2021-12-22
JP7268071B2 (ja) 2023-05-02
EP3889915A2 (en) 2021-10-06
KR102491140B1 (ko) 2023-01-26
US11455765B2 (en) 2022-09-27
CN111369428B (zh) 2023-07-21
US20210279934A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
KR102491140B1 (ko) 가상 아바타 생성 방법 및 장치
JP7212741B2 (ja) ３次元アバタ生成方法、装置、電子機器及び記憶媒体
US11062494B2 (en) Electronic messaging utilizing animatable 3D models
US20200020173A1 (en) Methods and systems for constructing an animated 3d facial model from a 2d facial image
US9314692B2 (en) Method of creating avatar from user submitted image
CN106710003B (zh) 一种基于OpenGL ES的三维拍照方法和系统
KR20220008735A (ko) 애니메이션 인터랙션 방법, 장치, 기기 및 저장 매체
CN113287118A (zh) 用于面部再现的系统和方法
WO2019041902A1 (zh) 表情动画生成方法和装置、存储介质及电子装置
US11900557B2 (en) Three-dimensional face model generation method and apparatus, device, and medium
CN110555507B (zh) 虚拟机器人的交互方法、装置、电子设备及存储介质
CN113362263B (zh) 变换虚拟偶像的形象的方法、设备、介质及程序产品
KR101743764B1 (ko) 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치
WO2022047463A1 (en) Cross-domain neural networks for synthesizing image with fake hair combined with real image
Alkawaz et al. Blend shape interpolation and FACS for realistic avatar
CN111047509A (zh) 一种图像特效处理方法、装置及终端
US20180276870A1 (en) System and method for mass-animating characters in animated sequences
CN110148191A (zh) 视频虚拟表情生成方法、装置及计算机可读存储介质
CN115601484A (zh) 虚拟人物面部驱动方法、装置、终端设备和可读存储介质
US20230120883A1 (en) Inferred skeletal structure for practical 3d assets
CN113327311B (zh) 基于虚拟角色的显示方法、装置、设备、存储介质
WO2021155666A1 (zh) 用于生成图像的方法和装置
US11983819B2 (en) Methods and systems for deforming a 3D body model based on a 2D image of an adorned subject
CN111311712B (zh) 视频帧处理方法和装置
CN113908553A (zh) 游戏角色表情生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant