KR20230006009A - 안면 영상 생성 방법, 장치, 전자기기 및 판독가능 저장 매체 - Google Patents

안면 영상 생성 방법, 장치, 전자기기 및 판독가능 저장 매체 Download PDF

Info

Publication number
KR20230006009A
KR20230006009A KR1020227042575A KR20227042575A KR20230006009A KR 20230006009 A KR20230006009 A KR 20230006009A KR 1020227042575 A KR1020227042575 A KR 1020227042575A KR 20227042575 A KR20227042575 A KR 20227042575A KR 20230006009 A KR20230006009 A KR 20230006009A
Authority
KR
South Korea
Prior art keywords
facial
target user
image
target
expression
Prior art date
Application number
KR1020227042575A
Other languages
English (en)
Inventor
링취 오우양
틱판 첸
Original Assignee
비보 모바일 커뮤니케이션 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 비보 모바일 커뮤니케이션 컴퍼니 리미티드 filed Critical 비보 모바일 커뮤니케이션 컴퍼니 리미티드
Publication of KR20230006009A publication Critical patent/KR20230006009A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

본 출원의 실시예는 통신 분야에 속하는 안면 영상 생성 방법, 장치, 전자기기 및 판독가능 저장 매체를 제공한다. 전자기기에 적용되는 상기 방법은, AR 기기를 착용한 목표 사용자의 안면 윤곽을 획득하는 단계(101); 안면 윤곽에 근거하여 목표 사용자의 안면 각도를 결정하는 단계(102) - 안면 각도는 목표 사용자의 안면 방향과 전자기기 사이의 각도를 포함함 - ; 목표 안면 표정을 획득하는 단계(103); 목표 안면 표정 및 안면 각도에 근거하여 목표 사용자의 안면 영상을 생성하는 단계를 포함한다(104).

Description

안면 영상 생성 방법, 장치, 전자기기 및 판독가능 저장 매체
관련 출원에 대한 참조
본 출원은 2020년 5월 9일 중국에 제출된 중국 특허 출원 제202010386661.8호의 우선권을 주장하며, 그 전체 내용을 본 출원에 원용한다.
본 개시는 통신 기술분야에 관한 것으로, 특히 안면 영상 생성 방법, 장치, 전자기기 및 판독가능 저장 매체에 관한 것이다.
기존의 증강현실(Augmented Reality, AR) 기술을 이용하여 대화하는 시나리오에서, 사용자는 AR 기기를 착용해야 하고, AR 기기가 사용자의 안면을 막기 때문에 사용자의 안면을 볼 수 없어 서로의 신원을 구별하기 어렵다. 현재의 처리 방식은 미리 녹화된 아바타 및 사용자 움직임을 캡쳐하여 사용자 영상으로 대체하지만, 미리 설정된 아바타는 상대적으로 고정되어 있고 안면은 단순한 말하기 움직임만 있고 표정을 할 수 없어, 사용자의 AR 대화 경험이 좋지 않다.
본 출원의 실시예의 목적은 안면 영상 생성 방법, 장치, 전자기기 및 판독가능 저장 매체를 제공하여, 기존의 AR 대화 시나리오에서 사용자의 안면 영상이 표시될 수 없음으로 인해 AR 대화 경험이 좋지 않은 문제를 해결하고자 한다.
상기와 같은 기술적 문제를 해결하기 위해 본 출원은 다음과 같이 구현된다.
제1 양상에서, 본 출원의 실시예는 전자기기에 적용되는 안면 영상 생성 방법을 제공함에 있어서, 상기 방법은,
AR 기기를 착용한 목표 사용자의 안면 윤곽을 획득하는 단계;
상기 안면 윤곽에 근거하여 상기 목표 사용자의 안면 각도를 결정하는 단계 - 상기 안면 각도는 상기 목표 사용자의 안면 방향과 상기 전자기기 사이의 각도를 포함함 - ;
목표 안면 표정을 획득하는 단계;
상기 목표 안면 표정 및 상기 안면 각도에 근거하여, 상기 목표 사용자의 안면 영상을 생성하는 단계; 를 포함한다.
제2 양상에서, 본 출원의 실시예는 전자기기에 적용되는 안면 영상 생성 장치를 제공함에 있어서,
AR 기기를 착용한 목표 사용자의 안면 윤곽을 획득하도록 구성된 제1 획득 모듈;
상기 안면 윤곽에 근거하여 상기 목표 사용자의 안면 각도를 결정하도록 구성된 결정 모듈 - 상기 안면 각도는 상기 목표 사용자의 안면 방향과 상기 전자기기 사이의 각도를 포함함 - ;
목표 안면 표정을 획득하도록 구성된 제2 획득 모듈;
상기 목표 안면 표정 및 상기 안면 각도에 근거하여, 상기 목표 사용자의 안면 영상을 생성하도록 구성된 생성 모듈; 을 포함한다.
제3 양상에서, 본 출원의 실시예는 전자기기를 제공함에 있어서, 프로세서, 메모리 및 상기 메모리에 저장되고 상기 프로세서에서 실행될 수 있는 프로그램 또는 명령을 포함하며, 상기 프로그램 또는 명령이 상기 프로세서에 의해 실행될 때 제1 양상에 따른 안면 영상 생성 방법의 단계를 구현한다.
제4 양상에서, 본 출원의 실시예는 판독가능 저장 매체를 제공함에 있어서, 상기 판독가능 저장 매체에는 컴퓨터 프로그램 또는 명령이 저장되어 있고, 상기 프로그램 또는 명령이 프로세서에 의해 실행될 때 제1 양상에 따른 안면 영상 생성 방법의 단계를 구현한다.
제5 양상에서, 본 출원의 실시예는 칩을 제공함에 있어서, 상기 칩은 프로세서 및 통신 인터페이스를 포함하며, 상기 통신 인터페이스는 상기 프로세서와 결합되고, 상기 프로세서는 프로그램 또는 명령을 실행하도록 구성되어 제1 양상에 따른 방법을 구현한다.
제6 양상에서, 본 출원의 실시예는 컴퓨터 소프트웨어 제품을 제공함에 있어서, 상기 컴퓨터 소프트웨어 제품은 비휘발성 저장 매체에 저장되어 있고, 상기 소프트웨어 제품이 적어도 하나의 프로세서에 의해 실행될 때 제1 양상에 따른 안면 영상 생성 방법의 단계를 구현한다.
제7 양상에서, 본 출원의 실시예는 안면 영상 생성 장치를 제공함에 있어서, 상기 안면 영상 생성 장치는 제1 양상에 따른 안면 영상 생성 방법을 실행하도록 구성된다.
본 발명의 실시예에서, AR 기기를 착용한 목표 사용자의 안면 윤곽에 근거하여 목표 사용자의 안면 각도를 결정하고, 목표 사용자의 안면 각도 및 획득한 목표 안면 표정에 기초하여 목표 사용자의 안면 영상을 생성한다. 이로써 AR 대화를 수행할 때, 사용자의 안면 영상을 표시할 수 있고, 서로 다른 목표 안면 표정에 근거하여 사용자가 서로 다른 표정으로 표현할 수 있으므로, AR 대화 경험이 향상된다.
도 1은 본 출원의 실시예에 따른 안면 영상 생성 방법의 흐름도이다.
도 2a는 본 출원의 실시예에 따른 응용 시나리오의 개략도 1이다.
도 2b는 본 출원의 실시예에 따른 응용 시나리오의 개략도 2이다.
도 3은 본 출원의 실시예에 따른 안면 영상 생성 장치의 구조 개략도이다.
도 4는 본 출원의 실시예에 따른 전자기기의 구조 개략도이다.
이하, 본 출원의 실시예에 첨부된 도면을 참조하여 본 출원의 실시예의 기술적 솔루션에 대해 명확하고 온전하게 설명하도록 하며, 여기에 설명된 실시예는 본 발명의 모든 실시예가 아니라 일부 실시예에 불과함이 분명하다. 본 분야의 통상의 지식을 가진 자가 본 발명의 실시예에 기초하여 창의적인 노력 없이 얻은 다른 모든 실시예는 모두 본 발명의 보호 범위에 속한다.
본 출원의 명세서 및 청구 범위에서 ‘제1’, ‘제2’ 등 용어는 유사한 대상을 구별하는 데 사용되며, 특정 순서나 선후 순서를 설명하는 데 사용될 필요는 없다. 이러한 방식으로 사용되는 데이터는 적절한 상황에서 서로 교환될 수 있다는 것으로 이해될 수 있고, 본 출원의 실시예는 여기에 도시되거나 설명된 것과 다른 순서로 구현될 수도 있다. 또한, 명세서 및 청구 범위에서 ‘및/또는’은 연결된 대상 중 적어도 하나를 나타내고, 부호 ‘/’는 일반적으로 앞뒤의 연관 대상이 ‘또는’의 관계임을 나타낸다.
이하 첨부된 도면을 참조하여, 구체적인 실시예 및 그 응용 시나리오를 통해 본 출원의 실시예에 따른 안면 영상 생성 방법에 대해 상세하게 설명하도록 한다.
본 출원의 실시예에서, AR 대화 시나리오는 AR 기반의 회의, 즉 참가자가 AR 기기를 착용하고 회의에서 토론 및 대화하는 시나리오이거나, AR 대화 시나리오는 원격 롤 플레잉 게임 또는 다른 장소에 있는 어린이에게 이야기를 들려주는 것과 같은 캐주얼한 시나리오일 수도 있다.
본 출원의 실시예는 전자기기에 적용되는 안면 영상 생성 방법을 제공한다.
상기 전자기기는 카메라를 갖는 기기이고, 카메라에서 획득한 이미지를 기반으로, AR 기술과 결합하여 AR 대화를 수행하며, 이 전자기기는 AR 안경 등과 같은 AR 기기일 수 있고, 이 전자기기는 휴대폰, 컴퓨터 등일 수도 있으며, 본 출원의 실시예에서는 전자기기의 구체적 유형에 대해 제한하지 않는다.
도 1을 참조하면, 상기 방법은 다음 단계들을 포함한다.
단계 101: AR 기기를 착용한 목표 사용자의 안면 윤곽을 획득한다.
본 출원의 실시예에서, 목표 사용자는 AR 대화를 수행하는 대상을 의미한다. 예를 들어 AR 회의에서, 목표 사용자는 AR 기기를 착용한 발언자일 수 있다. 구체적으로, 목표 사용자의 안면 윤곽을 획득하는 방식은 다양한 방식을 포함할 수 있다. 예를 들어, 카메라가 있는 AR 기기를 통해 획득하거나, 카메라가 있는 휴대폰, 컴퓨터 등 기기를 통해 획득하거나, 단독으로 하나의 카메라를 설치하여 목표 사용자의 안면 윤곽을 녹화한 후, 녹화된 이미지를 표시를 위한 장치에 전송한다.
일부 실시 방식에서, AR 기기를 착용한 목표 사용자의 안면 윤곽을 획득하는 단계는 구체적으로,
카메라를 통해 목표 사용자의 안면 영상을 획득하고, 카메라와 목표 사용자의 안면 최근점에서 안면 최근점에 미리 설정된 거리를 더한 파사계심도 범위내에서 다수의 서로 다른 피사계심도의 윤곽 이미징을 수행한 후 획득한 다수의 윤곽 이미지를 중첩하여 목표 사용자의 안면 윤곽을 획득하는 단계를 포함한다.
본 출원의 실시예에서, 안면 최근점은 카메라를 통해 목표 사용자의 안면 이미지를 획득할 때, 목표 사용자의 안면에서 카메라와 가장 가까운 지점을 의미한다. 예를 들어, 목표 사용자의 안면이 카메라를 향할 때, 안면 최근점은 목표 사용자의 코끝 위치에 대응한다. 상기 미리 설정된 거리는 목표 사용자의 하나의 머리 폭만큼의 거리에 대응하며, 하나의 머리 폭만큼의 거리는 사람의 평균 머리 폭에 기초하여 설정될 수 있다.
안면 최근점에서 안면 최근점에 하나의 머리 폭을 더한 피사계심도 범위내에서, 다수의 서로 다른 피사계심도에서의 윤곽 이미지를 별도로 획득한 후, 서로 다른 피사계심도에 기초하여 윤곽 이미지에 대해 중첩 및 합성을 수행한다. 이로써 비교적 정확한 목표 사용자의 안면 윤곽을 획득할 수 있으며, 이 안면 윤곽은 목표 사용자의 안면 모양 및 안면 방향 각도를 반영할 수 있다.
단계 102: 안면 윤곽에 근거하여 목표 사용자의 안면 각도를 결정한다.
본 출원의 실시예에서, 안면 각도는 목표 사용자의 안면 방향과 전자기기 사이의 각도를 포함한다. 안면 각도는 전자기기에 대한 목표 사용자의 안면의 안면 자세를 반영하는 데 사용된다. 예를 들어, 목표 사용자의 안면 윤곽에 근거하여, 목표 사용자의 안면 방향이 전자기기의 정면에 대해 30도 올라간 것으로 결정되면, 이때 목표 사용자의 안면 자세는 위쪽으로 30도인 것을 반영할 수 있다. 더 나아가, 더욱 복잡한 안면 각도에 대해, 예를 들어 목표 사용자의 안면이 비스듬히 기운 경우, 다수의 방향(예: 수평 및 수직 방향)에서 전자기기에 대해 목표 사용자의 안면이 기울어진 각도를 통해, 기존의 공간 각도 알고리즘에 기초하여 목표 사용자의 안면 각도를 계산할 수 있다.
일부 실시방식에서, 안면 윤곽에 근거하여 목표 사용자의 안면 각도를 결정하는 단계는 구체적으로, 안면 윤곽 데이터베이스에서 안면 윤곽에 대응하는 안면 각도를 매칭하는 단계를 포함하되, 여기서, 안면 윤곽 데이터베이스는 다수의 안면 각도에서 미리 녹화된 목표 사용자의 안면 윤곽을 포함한다.
본 출원의 실시예에서, 다수의 각도에서 목표 사용자의 안면 윤곽을 미리 녹화하고, 녹화된 안면 윤곽에 근거하여 하나의 안면 윤곽 데이터베이스를 생성할 수 있으며, 안면 윤곽 데이터베이스에서 서로 다른 안면 윤곽은 서로 다른 안면 각도에 각각 대응한다. 이로써 목표 사용자의 안면 윤곽을 획득한 후 직접 안면 윤곽 데이터베이스에서 대응하는 안면 각도를 매칭할 수 있다.
단계 103: 목표 안면 표정을 획득한다.
본 출원의 실시예에서, 목표 안면 표정은 목표 사용자의 안면 영상을 생성하기 위해 사용되는 안면 표정을 의미하고, 목표 안면 표정은 목표 사용자의 표정, 또는 기타 사용자의 표정, 또는 네트워크에서 획득한 일부 카툰 영상의 표정일 수 있다.
단계 104: 목표 안면 표정 및 안면 각도에 근거하여 목표 사용자의 안면 영상을 생성한다.
본 출원의 실시예에서, 목표 안면 표정을 선택한 후 결정된 안면 각도에 따라 목표 사용자의 안면 영상을 생성한다. 이로써 생성된 안면 영상의 각도는 목표 사용자의 현재 안면 각도와 일치하므로 안면 영상은 목표 사용자의 안면에 더 접근한다.
본 발명의 실시예에서, AR 기기를 착용한 목표 사용자의 안면 윤곽에 근거하여 목표 사용자의 안면 각도를 결정하고, 목표 사용자의 안면 각도 및 획득한 목표 안면 표정에 기초하여 목표 사용자의 안면 영상을 생성한다. 이로써 AR 대화를 수행할 때, 사용자의 안면 영상을 표시할 수 있고, 서로 다른 목표 안면 표정에 근거하여 사용자가 서로 다른 표정으로 표현할 수 있으므로, AR 대화 경험이 향상된다.
선택적으로, 일부 실시방식에서, 상기 목표 안면 표정을 획득하는 단계는 구체적으로, AR 기기에 의해 녹화된 목표 사용자의 안면 표정을 획득하는 단계를 포함한다.
본 출원의 실시예에서, 목표 사용자가 착용한 AR 기기 자체가 이미지 획득 기능을 갖는 경우, 예를 들어, 이 AR 기기는 카메라가 있는 AR 안경인 경우, 목표 사용자가 착용한 AR 기기는 목표 사용자의 안면 표정에 대해 실시간으로 기록 및 스캔할 수 있고, 녹화된 안면 표정을 목표 안면 표정으로 사용하여 목표 사용자의 안면 영상을 생성할 수 있다.
선택적으로, 일부 실시방식에서, 상기 목표 안면 표정을 획득하는 단계는 구체적으로, 목표 사용자의 입력 정보를 획득하고, 입력된 정보의 언어 환경에 근거하여 안면 표정 데이터베이스에서 언어 환경에 대응하는 안면 표정을 매칭하는 단계를 포함하되, 여기서 안면 표정 데이터베이스는 다수의 안면 각도에서의 다수의 안면 표정을 포함한다.
본 출원의 실시예에서, 목표 사용자가 착용한 AR 기기 자체가 이미지 획득 기능을 갖지 않는 경우, 다양한 각도에서 목표 사용자의 무표정, 화남, 기쁨, 우울함, 슬픔, 궁금 등과 같은 다양한 표정을 미리 녹화할 수 있고, 각 표정에 대해 하나의 대응하는 태그를 설정할 수 있다.
AR 대화를 수행할 때, 목표 사용자의 입력 정보를 획득하는데 이 입력 정보는 목표 사용자가 입력한 문자이거나 목표 사용자가 입력한 음성일 수 있고, 입력된 정보에 근거하여 언어 환경을 식별한 후, 언어 환경에 따라 안면 표정 데이터베이스에서 대응하는 태그를 선택하고 해당 안면 표정을 매칭한다. 예를 들어, 목표 사용자가 ‘오늘 저는 매우 기뻐요’라고 말하면, 언어 환경 식별에 근거하여, 이때의 언어 환경은 응당 기쁨의 태그에 대응되므로, 안면 표정 데이터베이스에서 기쁨 태그를 갖는 안면 표정이 선택된다.
안면 표정 데이터베이스에는 고양이, 강아지 등 동물, 슈퍼맨, 아이언맨 등 카툰 캐릭터와 같은 일부 기타 대상의 다양한 안면 각도에서의 다양한 안면 표정이 저장될 수 있으며, 이로써 원격 롤 플레잉 게임 시나리오 또는 다른 장소에 있는 어린이에게 이야기를 들려주는 것과 같은 캐주얼한 시나리오에서, 목표 사용자의 안면 영상을 카툰 영상으로 대체하여 AR 대화 효과를 향상시킬 수 있음을 이해해야 한다.
더 나아가, 목표 안면 표정 및 안면 각도에 근거하여 목표 사용자의 안면 영상을 생성하는 단계 이전에, 본 방법은 다음 중 적어도 하나를 포함한다.
(1) 목표 사용자의 입 상태를 획득하고, 목표 사용자의 입 상태에 근거하여 목표 안면 표정의 입 상태를 조정하는 단계;
본 출원의 실시예에서, 목표 사용자의 입 상태는 목표 사용자의 입 동작을 반영하는 데 사용되며, 예를 들어 입을 벌림, 입을 다뭄, 입을 오므림, 입을 실쭉거림 등이고, 목표 사용자의 입 상태를 통해 목표 안면 표정의 입 상태를 조정하여 목표 안면 표정이 목표 사용자의 미세한 표정 동작을 정확하고 동기적으로 표현할 수 있도록 하여 안면 표정이 더 풍부해진다.
(2) 목표 사용자의 음성 피치를 획득하고, 음성 피치에 근거하여 목표 안면 표정의 표정 변동폭을 조정하는 단계;
본 출원의 실시예에서, 목표 사용자의 음성 피치는 목표 사용자의 감정 상태를 반영하는 데 사용되고, 나아가 목표 표정의 변동폭을 결정하는 데 사용될 수 있다. 예를 들어, 무표정부터 기쁨 표정까지의 10개의 순간에 대응하는 1~10개 변동폭으로 나누어 녹화될 수 있고, 목표 사용자의 음성 피치가 높을수록 사용되는 표정은 더 뒤에 있다. 이로써, 음성 피치를 통해 목표 안면 표정의 표정 변동폭을 조정함으로써 목표 안면 표정이 목표 사용자의 감정 상태를 정확히 표현할 수 있도록 하여 안면 표정이 더 풍부해진다.
선택적으로, 일부 실시방식에서, AR 기기를 착용한 목표 사용자는 다수이고, 안면 영상 생성이 필요하다. 이러한 목표 사용자는 미리 설정된 손짓 동작을 통해 안면 영상 생성 기능을 바인딩할 수 있다. 예를 들어, AR 기기는 바위, 보, 가위와 같은 손짓 조합을 랜덤으로 생성하고, 안면 영상 생성 기능을 바인딩하려는 사람은 확인을 위해 손을 들고 지정된 순서대로 손짓을 취해야 한다. 이로써 AR 대화 과정에서의 안면 영상 생성이 더 유연할 수 있다.
선택적으로, 일부 실시방식에서, 목표 사용자가 임시로 기타 업무를 처리해야 하는 경우, AR 회의에 참석 중인 기타 사용자에게 영향을 미치는 것을 피하기 위해, 목표 사용자는 자신의 현재 안면 영상을 잠글 수 있으므로, 기타 업무를 처리할 때, 안면 영상의 변화가 기타 사용자에게 영향을 미치는 것을 피할 수 있다. 예를 들어, AR 회의의 시나리오에서, 참가자 중 한명이 임시로 기타 업무를 처리해야 하는 경우, 그 참가자는 자신의 안면 영상을 잠글 수 있으므로, 기타 업무를 처리할 때, 안면 영상의 변화로 인해 기타 참가자들이 그가 의견을 발표하는 것으로 오해하는 것을 방지한다.
선택적으로, 일부 실시방식에서, 본 방법은, 목표 사용자의 제1 입력을 수신하는 단계; 제1 입력에 응답하여, 목표 사용자의 안면 영상을 미리 설정된 이미지로 대체하는 단계; 를 포함하되, 미리 설정된 이미지는 카툰 표정 이미지, 목표 사용자의 입력 정보와 대응하는 이미지 중 적어도 하나를 포함하며, 이 입력 정보와 대응하는 이미지는 아이콘의 형태일 수 있다.
본 출원의 실시예에서, 목표 사용자는 안면 영상을 미리 설정된 이미지로 대체할 수 있다. 예를 들어, 도 2a를 참조하면, 안면 영상을 이모지(emoji), 인터넷에서 인기 있는 이모티콘 등과 같은 카툰 표정 이미지로 대체하여, 과장된 표정 효과를 얻을 수 있고, AR 회의의 재미를 향상시킬 수 있다. 또 예를 들면, 도 2b를 참조하면, 투표를 진행할 때 결과를 직접 안면 영상으로 대체한다. 즉 ‘체크 표시’ 또는 ‘가새표’의 아이콘을 사용하여 안면 영상을 대체한다.
본 출원의 실시예에 따른 안면 영상 생성 방법은 안면 영상 생성 장치에 의해 수행되거나, 이 안면 영상 생성 장치에서 안면 영상 생성 방법을 로딩 및 수행하기 위한 제어 모듈에 의해 수행될 수 있다는 점에 유의해야 한다. 본 출원의 실시예에서, 안면 영상 생성 장치가 안면 영상 생성 방법을 로딩 및 실행하는 것으로 예를 들어 본 출원의 실시예에 따른 안면 영상 생성 장치를 설명한다.
도 3을 참조하면, 본 출원의 실시예는 전자기기에 적용되는 안면 영상 생성 장치(300)를 제공함에 있어서,
AR 기기를 착용한 목표 사용자의 안면 윤곽을 획득하도록 구성된 제1 획득 모듈(301);
상기 안면 윤곽에 근거하여 상기 목표 사용자의 안면 각도를 결정하도록 구성된 결정 모듈(302) - 상기 안면 각도는 상기 목표 사용자의 안면 방향과 상기 전자기기 사이의 각도를 포함함 - ;
목표 안면 표정을 획득하도록 구성된 제2 획득 모듈(303);
상기 목표 안면 표정 및 상기 안면 각도에 근거하여, 상기 목표 사용자의 안면 영상을 생성하도록 구성된 생성 모듈(304); 을 포함한다.
선택적으로, 상기 제1 획득 모듈(301)은,
안면 윤곽 데이터베이스에서 상기 안면 윤곽과 대응하는 안면 각도를 매칭하도록 구성된 제1 매칭부를 포함하되,
여기서, 상기 안면 윤곽 데이터베이스는 다수의 안면 각도에서 미리 녹화된 상기 목표 사용자의 안면 윤곽을 포함한다.
선택적으로, 상기 제2 획득 모듈(303)은,
상기 AR 기기에 의해 녹화된 상기 목표 사용자의 안면 표정을 획득하도록 구성된 제1 획득부;
상기 목표 사용자의 입력 정보를 획득하도록 구성된 제2 획득부;
상기 입력 정보의 언어 환경에 근거하여, 안면 표정 데이터베이스에서 상기 언어 환경과 대응하는 안면 표정을 매칭하도록 구성된 제2 매칭부; 를 포함하되,
여기서, 상기 안면 표정 데이터베이스는 다수의 안면 각도에서의 다수의 안면 표정을 포함한다.
선택적으로, 상기 장치(300)는,
상기 목표 사용자의 입 상태를 획득하도록 구성된 제3 획득 모듈;
상기 목표 사용자의 입 상태에 근거하여 상기 목표 안면 표정의 입 상태를 조정하도록 구성된 제1 조정 모듈;
상기 목표 사용자의 음성 피치를 획득하도록 구성된 제4 획득 모듈;
상기 음성 피치에 근거하여 상기 목표 안면 표정의 표정 변동폭을 조정하도록 구성된 제1 조정 모듈; 을 더 포함한다.
선택적으로, 상기 장치(300)는,
상기 목표 사용자의 제1 입력을 수신하도록 구성된 수신 모듈;
상기 제1 입력에 응답하여 상기 목표 사용자의 안면 영상을 미리 설정된 이미지로 대체하도록 구성된 대체 모듈; 을 더 포함하되,
상기 미리 설정된 이미지는,
카툰 표정 이미지;
상기 목표 사용자의 입력 정보와 대응하는 이미지; 중 적어도 하나를 포함한다.
본 발명의 실시예에서, AR 기기를 착용한 목표 사용자의 안면 윤곽에 근거하여 목표 사용자의 안면 각도를 결정하고, 목표 사용자의 안면 각도 및 획득한 목표 안면 표정에 기초하여 목표 사용자의 안면 영상을 생성한다. 이로써 AR 대화를 수행할 때, 사용자의 안면 영상을 표시할 수 있고, 서로 다른 목표 안면 표정에 근거하여 사용자가 서로 다른 표정으로 표현할 수 있으므로, AR 대화 경험이 향상된다.
본 출원의 실시예에서 안면 영상 생성 장치는 장치일 수 있고, 단말의 부품, 집적 회로, 또는 칩일 수도 있다. 이 장치는 모바일 전자기기 또는 비모바일 전자기기일 수 있다. 예시적으로, 모바일 전자기기는 휴대폰, 태블릿 PC, 노트북, 포켓 PC, 차량탑재 단말기, 웨어러블 기기, 울트라 모바일 개인용 컴퓨터(ultra-mobile personal computer, UMPC), 넷북 또는 개인 휴대 단말기(personal digital assistant, PDA)등일 수 있고, 비모바일 전자기기는 서버, 네트워크 결합 스토리지(Network Attached Storage, NAS), 개인용 컴퓨터(personal computer, PC) 또는 텔레비전(television, TV), 현금 자동 입출금기 또는 자동판매기 등일 수 있으며, 본 출원의 실시예는 이에 대해 특별히 한정하지 않는다.
본 출원의 실시예의 안면 영상 생성 장치는 운영체제를 갖는 장치일 수 있다. 이 운영체제는 안드로이드(Android) 운영체제, ios 운영체제 또는 다른 가능한 운영체제일 수 있으며, 본 출원의 실시예는 이에 대해 특별히 한정하지 않는다.
본 출원의 실시예에 따른 안면 영상 생성 장치는 도 1 내지 도 2b의 방법 실시예에서 안면 영상 생성 장치가 구현하는 각 단계를 구현할 수 있으므로, 반복을 피하기 위해, 여기서는 추가 설명을 생략한다.
선택적으로, 본 출원의 실시예는 전자기기를 더 제공함에 있어서, 프로세서(410), 메모리(409), 및 메모리(409)에 저장되고 상기 프로세서(410)에서 실행될 수 있는 프로그램 또는 명령을 포함하며, 프로그램 또는 명령이 프로세서(410)에 의해 실행될 때 상기 안면 영상 생성 방법 실시예의 각 단계가 구현되고, 동일한 기술적 효과를 달성할 수 있으므로, 반복을 피하기 위해 여기서는 추가 설명을 생략한다.
본 출원의 실시예에서의 전자기기는 상기 모바일 전자기기 또는 비모바일 전자기기를 포함할 수 있다는 점에 유의해야 한다.
도 4는 본 출원의 실시예를 구현하기 위한 전자기기의 하드웨어 구조 개략도이다.
해당 전자기기(400)는 무선 주파수 장치(401), 네트워크 모듈(402), 오디오 출력 장치(403), 입력 장치(404), 센서(405), 표시 장치(406), 사용자 입력 장치(407), 인터페이스 장치(408), 메모리(409), 프로세서(410) 등 구성요소를 포함하지만 이에 한정되지 않는다.
당업자라면, 전자기기(400)에는 각 구성요소에 전력을 공급하는 전원(예: 배터리)이 추가로 포함될 수 있고, 전원은 전원 관리 시스템을 통해 프로세서(410)에 논리적으로 연결되어 전원 관리 시스템을 이용하여 충전관리, 방전관리, 전력소비관리 등의 기능을 수행할 수 있음을 이해할 수 있다. 도 4에 도시된 전자기기의 구조가 전자기기에 대한 제한을 구성하지 않으며, 전자기기는 도면에 도시된 것보다 더 많거나 적은 구성요소를 포함하거나, 특정 구성요소를 결합하거나, 다른 구성요소를 배치할 수 있으며, 여기서는 상세한 설명을 생략한다.
여기서, 입력 장치(404)는 카메라일 수 있고, AR 기기를 착용한 목표 사용자의 안면 윤곽을 획득하는 데 사용된다.
프로세서(410)는 상기 안면 윤곽에 근거하여 상기 목표 사용자의 안면 각도를 결정하는 데 사용되고, 상기 안면 각도는 상기 목표 사용자의 안면 방향과 상기 전자기기 사이의 각도를 포함한다.
입력 장치(404)는 또한 목표 안면 표정을 획득하는 데 사용된다.
프로세서(410)는 또한 상기 목표 안면 표정 및 상기 안면 각도에 근거하여, 상기 목표 사용자의 안면 영상을 생성하는 데 사용된다.
본 발명의 실시예에서, AR 기기를 착용한 목표 사용자의 안면 윤곽에 근거하여 목표 사용자의 안면 각도를 결정하고, 목표 사용자의 안면 각도 및 획득한 목표 안면 표정에 기초하여 목표 사용자의 안면 영상을 생성한다. 이로써 AR 대화를 수행할 때, 사용자의 안면 영상을 표시할 수 있고, 서로 다른 목표 안면 표정에 근거하여 사용자가 서로 다른 표정으로 표현할 수 있으므로, AR 대화 경험이 향상된다.
선택적으로, 프로세서(410)는 또한 안면 윤곽 데이터베이스에서 상기 안면 윤곽과 대응하는 안면 각도를 매칭하는 데 사용되고,
여기서, 상기 안면 윤곽 데이터베이스는 다수의 안면 각도에서 미리 녹화된 상기 목표 사용자의 안면 윤곽을 포함한다.
선택적으로, 입력 장치(404)는 또한 상기 AR 기기에 의해 녹화된 상기 목표 사용자의 안면 표정을 획득하거나, 상기 목표 사용자의 입력 정보를 획득하고, 상기 입력 정보의 언어 환경에 근거하여, 안면 표정 데이터베이스에서 상기 언어 환경과 대응하는 안면 표정을 매칭하는 데 사용된다.
여기서, 상기 안면 표정 데이터베이스는 다수의 안면 각도에서의 다수의 안면 표정을 포함한다.
선택적으로, 입력 장치(404)는 또한 상기 목표 사용자의 입 상태를 획득하고, 상기 목표 사용자의 입 상태에 근거하여 상기 목표 안면 표정의 입 상태를 조정하는 데 사용된다.
입력 장치(404)는 또한 상기 목표 사용자의 음성 피치를 획득하고, 상기 음성 피치에 근거하여 상기 목표 안면 표정의 표정 변동폭을 조정하는 데 사용된다.
선택적으로, 사용자 입력 장치(407)는 상기 목표 사용자의 제1 입력을 수신하는 데 사용된다.
프로세서(410)는 또한 상기 제1 입력에 응답하여, 목표 사용자의 안면 영상을 미리 설정된 이미지로 대체하는 데 사용되고, 상기 미리 설정된 이미지는 카툰 표정 이미지, 상기 목표 사용자의 입력 정보와 대응하는 이미지 중 적어도 하나를 포함한다.
본 출원의 실시예는 판독가능 저장 매체를 더 제공함에 있어서, 상기 판독가능 저장 매체에는 프로그램 또는 명령이 포함되며, 프로그램 또는 명령이 프로세서에 의해 실행될 때 상기 안면 영상 생성 방법 실시예의 다양한 단계가 구현되고, 또 동일한 기술적 효과를 달성할 수 있으므로, 반복을 피하기 위해 여기서는 추가 설명을 생략한다.
여기서, 상기 프로세서는 상기 실시예에 따른 상기 전자기기의 프로세서이다. 상기 판독가능 저장 매체는 컴퓨터 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 시디롬 등과 같은 컴퓨터 판독가능 저장 매체를 포함한다.
본 출원의 실시예는 칩을 더 제공함에 있어서, 상기 칩은 프로세서 및 통신 인터페이스를 포함하고, 상기 통신 인터페이스는 상기 프로세서와 결합되고, 상기 프로세서는 프로그램 또는 명령을 실행하여 상기 안면 영상 생성 방법 실시예의 각 단계를 구현하고, 또 동일한 기술적 효과를 달성할 수 있으므로, 반복을 피하기 위해, 여기서는 추가 설명을 생략한다.
본 출원의 실시예에서 언급된 칩은 시스템 레벨 칩, 시스템 칩, 칩 시스템 또는 시스템 온 칩이라고 할 수 있다는 점을 이해해야 한다.
본 명세서에서, ‘포함하다’, ‘갖는다’ 또는 다른 임의의 변형은 비배타적 포함을 의도하며, 일련의 요소를 포함하는 프로세스, 방법, 물품 또는 장치는 그 요소 뿐만 아니라 명확하게 나열되지 않은 다른 요소도 포함하며, 또는 이러한 프로세스, 방법, 물품 또는 장치의 고유한 요소도 포함한다는 점에 유의해야 한다. 별도로 제한이 없는 한, ‘하나의 ~을 포함한다’로 정의된 요소는 해당 요소를 포함하는 프로세스, 방법, 물품 또는 장치에서 다른 동일한 요소의 존재를 배제하지 않는다. 또한, 본 출원의 실시예에서 방법 및 장치의 범위는 도시되거나 논의된 순서로 기능을 수행하는 것으로 제한되지 않고, 관련된 기능에 따라 실질적으로 동시적인 방식 또는 역순으로 기능을 수행할 수도 있다는 점에 유의해야 한다. 예컨대, 설명된 방법은 설명된 것과 다른 순서로 수행될 수 있고, 다양한 단계들이 추가, 생략 또는 조합될 수도 있다. 또한, 특정 예시를 참조하여 설명된 특징은 다른 예시에서 조합될 수 있다.
당업자라면 본 명세서에서 개시된 실시예와 결합하여 설명된 각 예의 기능 단위와 알고리즘 단계는 전자 하드웨어, 또는 컴퓨터 소프트웨어와 전자 하드웨어의 조합에 의해 구현될 수 있다는 점을 인식할 수 있다. 이러한 기능이 하드웨어 형태로 구현될지 아니면 소프트웨어 형태로 구현될지는 기술적 솔루션의 특정 애플리케이션과 설계의 제약 조건에 의해 결정된다. 전문 기술자는 소개된 기능을 구현하기 위해 각각의 특정 애플리케이션에 대해 서로 다른 방법을 사용할 수 있지만, 이러한 구현은 본 발명의 범위를 벗어나는 것으로 간주되어서는 안된다.
당업자라면 설명의 편의성 및 간결성을 위해 상기 시스템, 장치와 기능 단위의 구체적인 작업 과정은 상기 방법 실시예에서 대응되는 프로세스를 참조할 수 있음을 명확하게 이해할 수 있으며, 여기서는 추가 설명을 생략한다.
상기 분할 부품으로 소개된 기능 단위는 물리적으로 분리되거나 물리적으로 분리되지 않을 수 있으며, 기능 단위로 표시되는 부품은 물리적 기능 단위일 수도 있고 아닐 수도 있다. 한 곳에 위치할 수 있고 또는 여러 개의 네트워크 기능 단위에 분산되어 있을 수도 있다. 실제 필요에 따라 그중의 일부 또는 전부 기능 단위를 선택하여 본 실시예 솔루션의 목적을 달성할 수 있다.
또한, 본 발명의 여러 실시예에서의 여러 기능 단위는 한 개의 처리 장치에 통합될 수 있고, 각각의 기능 단위가 물리적으로 단독으로 존재할 수도 있으며, 2개 또는 2개 이상의 기능 단위가 한 개의 기능 단위에 통합될 수도 있다.
상기 실시방식의 설명을 통해, 당업자라면 상기 실시예의 방법이 소프트웨어와 필요한 일반 하드웨어 플랫폼을 결합하는 방식에 의해 구현되거나 하드웨어에 의해 구현될 수 있지만, 많은 경우에 소프트웨어와 필요한 일반 하드웨어 플랫폼을 결합하는 방식이 더 바람직하다는 것을 명백하게 이해할 수 있을 것이다. 이러한 이해에 기초하여, 본 출원의 기술적 솔루션의 본질적 부분 또는 종래 기술에 기여한 부분 또는 이 기술적 솔루션의 전부 또는 일부를 소프트웨어 제품의 형태로 구현할 수 있고, 단말(휴대폰, 컴퓨터, 서버, 에어컨 또는 네트워크 기기 등)에 의해 본 출원의 각 실시예에 따른 방법을 수행할 수 있는 복수의 명령을 포함시켜 해당 컴퓨터 소프트웨어 제품을 저장 매체(예: ROM/RAM, 자기 디스크, 시디롬)에 저장할 수 있다.
본 분야의 일반 기술자라면 상기 실시예 방법에서의 전부 또는 일부 절차에 대한 구현은 컴퓨터 프로그램을 통해 관련 하드웨어를 제어함으로써 완성될 수 있다는 것으로 이해할 수 있다. 상기 프로그램은 컴퓨터 판독가능 저장 매체에 저장될 수 있으며, 이 프로그램이 실행될 때 전술한 각 방법 실시예의 절차를 포함할 수 있다. 여기서, 상기 저장 매체는 자기 디스크, 시디롬, 판독 전용 메모리(Read-Only Memory, ROM) 또는 랜덤 접속 메모리(Random Access Memory, RAM) 등일 수 있다.
본 발명에 설명된 실시예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로 코드 또는 이들의 조합으로 구현될 수 있다. 하드웨어의 구현에 있어서, 모듈, 기능 단위, 하위 기능 단위는 하나 이상의 전용 집적회로(Application Specific Integrated Circuits, ASIC), 디지털 신호 프로세서(Digital Signal Processor, DSP), 디지털 신호 프로세싱 장치(DSP Device, DSPD), 프로그래머블 로직 장치(Programmable Logic Device, PLD), 현장 프로그래머블 게이트 어레이(Field-Programmable Gate Array, FPGA), 범용 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서, 본 발명에 따른 기능을 수행하기 위한 다른 전자 기능 단위 또는 그 조합에서 구현될 수 있다.
소프트웨어의 구현에 있어서, 본 발명의 실시예에서 설명된 기능을 수행하는 모듈(예: 절차, 함수 등)을 통해 본 발명 실시예에 따른 기술을 구현할 수 있다. 소프트웨어 코드는 메모리에 저장되고 프로세서에 의해 실행될 수 있다. 메모리는 프로세서에서 구현되거나 프로세서 외부에서 구현될 수 있다.
상술한 바와 같이 첨부된 도면을 참조하여 본 출원의 실시예를 설명하였지만, 본 출원은 상술한 특정 실시예에 한정되지 않으며, 상술한 특정 실시예들은 제한적이 아니라 예시에 불과하다. 당업자는 본 출원의 주지 및 청구범위에 따른 보호범위를 벗어나지 않고 본 출원에 기반하여 다양한 변형을 도출할 수 있으며, 이러한 변형은 모두 본 출원의 보호범위에 속한다.

Claims (15)

  1. 전자기기에 적용되는 안면 영상 생성 방법에 있어서,
    증강현실(AR) 기기를 착용한 목표 사용자의 안면 윤곽을 획득하는 단계;
    상기 안면 윤곽에 근거하여 상기 목표 사용자의 안면 각도를 결정하는 단계 - 상기 안면 각도는 상기 목표 사용자의 안면 방향과 상기 전자기기 사이의 각도를 포함함 - ;
    목표 안면 표정을 획득하는 단계;
    상기 목표 안면 표정 및 상기 안면 각도에 근거하여, 상기 목표 사용자의 안면 영상을 생성하는 단계; 를 포함하는 것을 특징으로 하는 안면 영상 생성 방법.
  2. 제1항에 있어서,
    상기 안면 윤곽에 근거하여 상기 목표 사용자의 안면 각도를 결정하는 단계는,
    안면 윤곽 데이터베이스에서 상기 안면 윤곽과 대응하는 안면 각도를 매칭하는 단계를 포함하되,
    상기 안면 윤곽 데이터베이스는 다수의 안면 각도에서 미리 녹화된 상기 목표 사용자의 안면 윤곽을 포함하는 것을 특징으로 하는 안면 영상 생성 방법.
  3. 제1항에 있어서,
    상기 목표 안면 표정을 획득하는 단계는,
    상기 AR 기기에 의해 녹화된 상기 목표 사용자의 안면 표정을 획득하는 단계;
    또는,
    상기 목표 사용자의 입력 정보를 획득하고, 상기 입력 정보의 언어 환경에 근거하여, 안면 표정 데이터베이스에서 상기 언어 환경과 대응하는 안면 표정을 매칭하는 단계; 를 포함하되,
    상기 안면 표정 데이터베이스는 다수의 안면 각도에서의 다수의 안면 표정을 포함하는 것을 특징으로 하는 안면 영상 생성 방법.
  4. 제1항에 있어서,
    상기 목표 안면 표정 및 상기 안면 각도에 근거하여 상기 목표 사용자의 안면 영상을 생성하는 단계 이전에, 상기 방법은,
    상기 목표 사용자의 입 상태를 획득하고, 상기 목표 사용자의 입 상태에 근거하여 상기 목표 안면 표정의 입 상태를 조정하는 단계;
    상기 목표 사용자의 음성 피치를 획득하고, 상기 음성 피치에 근거하여 상기 목표 안면 표정의 표정 변동폭을 조정하는 단계; 중 적어도 하나를 더 포함하는 것을 특징으로 하는 안면 영상 생성 방법.
  5. 제1항에 있어서,
    상기 목표 사용자의 제1 입력을 수신하는 단계;
    상기 제1 입력에 응답하여 상기 목표 사용자의 안면 영상을 미리 설정된 이미지로 대체하는 단계;를 더 포함하되,
    상기 미리 설정된 이미지는,
    카툰 표정 이미지;
    상기 목표 사용자의 입력 정보와 대응하는 이미지; 중 적어도 하나를 포함하는 것을 특징으로 하는 안면 영상 생성 방법.
  6. 전자기기에 적용되는 안면 영상 생성 장치에 있어서,
    증강현실(AR) 기기를 착용한 목표 사용자의 안면 윤곽을 획득하도록 구성된 제1 획득 모듈;
    상기 안면 윤곽에 근거하여 상기 목표 사용자의 안면 각도를 결정하도록 구성된 결정 모듈 - 상기 안면 각도는 상기 목표 사용자의 안면 방향과 상기 전자기기 사이의 각도를 포함함 - ;
    목표 안면 표정을 획득하도록 구성된 제2 획득 모듈;
    상기 목표 안면 표정 및 상기 안면 각도에 근거하여, 상기 목표 사용자의 안면 영상을 생성하도록 구성된 생성 모듈; 을 포함하는 것을 특징으로 하는 안면 영상 생성 장치.
  7. 제6항에 있어서,
    상기 제1 획득 모듈은,
    안면 윤곽 데이터베이스에서 상기 안면 윤곽과 대응하는 안면 각도를 매칭하도록 구성된 제1 매칭부를 포함하되,
    상기 안면 윤곽 데이터베이스는 다수의 안면 각도에서 미리 녹화된 상기 목표 사용자의 안면 윤곽을 포함하는 것을 특징으로 하는 안면 영상 생성 장치.
  8. 제6항에 있어서,
    상기 제2 획득 모듈은,
    상기 AR 기기에 의해 녹화된 상기 목표 사용자의 안면 표정을 획득하도록 구성된 제1 획득부;
    상기 목표 사용자의 입력 정보를 획득하도록 구성된 제2 획득부;
    상기 입력 정보의 언어 환경에 근거하여, 안면 표정 데이터베이스에서 상기 언어 환경과 대응하는 안면 표정을 매칭하도록 구성된 제2 매칭부; 를 포함하되,
    상기 안면 표정 데이터베이스는 다수의 안면 각도에서의 다수의 안면 표정을 포함하는 것을 특징으로 하는 안면 영상 생성 장치.
  9. 제6항에 있어서,
    상기 목표 사용자의 입 상태를 획득하도록 구성된 제3 획득 모듈;
    상기 목표 사용자의 입 상태에 근거하여 상기 목표 안면 표정의 입 상태를 조정하도록 구성된 제1 조정 모듈;
    상기 목표 사용자의 음성 피치를 획득하도록 구성된 제4 획득 모듈;
    상기 음성 피치에 근거하여 상기 목표 안면 표정의 표정 변동폭을 조정하도록 구성된 제1 조정 모듈; 을 더 포함하는 것을 특징으로 하는 안면 영상 생성 장치.
  10. 제6항에 있어서,
    상기 목표 사용자의 제1 입력을 수신하도록 구성된 수신 모듈;
    상기 제1 입력에 응답하여 상기 목표 사용자의 안면 영상을 미리 설정된 이미지로 대체하도록 구성된 대체 모듈; 을 더 포함하되,
    상기 미리 설정된 이미지는,
    카툰 표정 이미지;
    상기 목표 사용자의 입력 정보와 대응하는 이미지; 중 적어도 하나를 포함하는 것을 특징으로 하는 안면 영상 생성 장치.
  11. 전자기기에 있어서,
    프로세서, 메모리, 및 상기 메모리에 저장되고 상기 프로세서에서 실행될 수 있는 프로그램 또는 명령을 포함하며, 상기 프로그램 또는 명령이 상기 프로세서에 의해 실행될 때 제1항 내지 제5항 중 어느 한 항에 의한 안면 영상 생성 방법의 단계를 구현하는 것을 특징으로 하는 전자기기.
  12. 판독가능 저장 매체에 있어서,
    상기 판독가능 저장 매체에는 프로그램 및 명령이 저장되어 있고, 상기 프로그램 및 명령이 프로세서에 의해 실행될 때 제1항 내지 제5항 중 어느 한 항에 의한 안면 영상 생성 방법의 단계를 구현하는 것을 특징으로 하는 컴퓨터 판독가능 저장 매체.
  13. 칩에 있어서,
    상기 칩은 프로세서 및 통신 인터페이스를 포함하되, 상기 통신 인터페이스는 상기 프로세서와 결합되고, 상기 프로세서는 프로그램 및 명령을 실행하여 제1항 내지 제5항 중 어느 한 항에 의한 안면 영상 생성 방법을 구현하는 것을 특징으로 하는 칩.
  14. 컴퓨터 프로그램 제품에 있어서,
    상기 프로그램 제품은 비휘발성 저장 매체에 저장되어 있고, 상기 프로그램 제품이 적어도 하나의 프로세서에 의해 실행됨으로써 제1항 내지 제5항 중 어느 한 항에 의한 안면 영상 생성 방법의 단계를 구현하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
  15. 안면 영상 생성 장치에 있어서,
    제1항 내지 제5항 중 어느 한 항에 의한 안면 영상 생성 방법을 실행하도록 구성되는 것을 특징으로 하는 안면 영상 생성 장치.
KR1020227042575A 2020-05-09 2021-05-06 안면 영상 생성 방법, 장치, 전자기기 및 판독가능 저장 매체 KR20230006009A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010386661.8A CN111583355B (zh) 2020-05-09 2020-05-09 面部形象生成方法、装置、电子设备及可读存储介质
CN202010386661.8 2020-05-09
PCT/CN2021/091859 WO2021227916A1 (zh) 2020-05-09 2021-05-06 面部形象生成方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
KR20230006009A true KR20230006009A (ko) 2023-01-10

Family

ID=72124806

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227042575A KR20230006009A (ko) 2020-05-09 2021-05-06 안면 영상 생성 방법, 장치, 전자기기 및 판독가능 저장 매체

Country Status (6)

Country Link
US (1) US20230085099A1 (ko)
EP (1) EP4148677A4 (ko)
JP (1) JP7483940B2 (ko)
KR (1) KR20230006009A (ko)
CN (1) CN111583355B (ko)
WO (1) WO2021227916A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583355B (zh) * 2020-05-09 2024-01-23 维沃移动通信有限公司 面部形象生成方法、装置、电子设备及可读存储介质
US11983826B2 (en) * 2021-09-30 2024-05-14 Snap Inc. 3D upper garment tracking
CN114779948B (zh) * 2022-06-20 2022-10-11 广东咏声动漫股份有限公司 基于面部识别的动画人物即时交互控制方法、装置及设备
CN115359166B (zh) * 2022-10-20 2023-03-24 北京百度网讯科技有限公司 一种图像生成方法、装置、电子设备和介质
CN115946150B (zh) * 2022-12-13 2023-11-14 深圳无芯科技有限公司 具有面部表情的头部结构及具有其的机器人

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6850872B1 (en) 2000-08-30 2005-02-01 Microsoft Corporation Facial image processing methods and systems
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
TW201039251A (en) * 2009-04-30 2010-11-01 Novatek Microelectronics Corp Facial expression recognition apparatus and facial expression recognition method thereof
KR102507567B1 (ko) * 2015-06-09 2023-03-09 삼성전자주식회사 이미지를 처리하는 전자 장치 및 그 제어 방법
CN107491165A (zh) * 2016-06-12 2017-12-19 张翔宇 一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统
KR101810190B1 (ko) * 2016-07-14 2017-12-18 김용상 얼굴 인식을 이용한 사용자 인증 방법 및 그 장치
CN107767438A (zh) * 2016-08-16 2018-03-06 上海掌门科技有限公司 一种基于虚拟对象进行用户交互的方法与设备
CN108241434B (zh) * 2018-01-03 2020-01-14 Oppo广东移动通信有限公司 基于景深信息的人机交互方法、装置、介质及移动终端
US10706577B2 (en) * 2018-03-06 2020-07-07 Fotonation Limited Facial features tracker with advanced training for natural rendering of human faces in real-time
CN108614638B (zh) * 2018-04-23 2020-07-07 太平洋未来科技（深圳）有限公司 Ar成像方法和装置
EP4262193A3 (en) * 2018-05-07 2023-11-29 Google LLC Puppeteering remote avatar by facial expressions
CN108875633B (zh) * 2018-06-19 2022-02-08 北京旷视科技有限公司 表情检测与表情驱动方法、装置和系统及存储介质
CN109166164B (zh) * 2018-07-25 2023-04-07 维沃移动通信有限公司 一种表情图片的生成方法及终端
CN109101953A (zh) * 2018-09-07 2018-12-28 大连东锐软件有限公司 基于人类面部表情的分区要素化的表情动作生成方法
US20200090392A1 (en) * 2018-09-19 2020-03-19 XRSpace CO., LTD. Method of Facial Expression Generation with Data Fusion
CN111583355B (zh) * 2020-05-09 2024-01-23 维沃移动通信有限公司 面部形象生成方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN111583355A (zh) 2020-08-25
JP7483940B2 (ja) 2024-05-15
JP2023524119A (ja) 2023-06-08
CN111583355B (zh) 2024-01-23
EP4148677A4 (en) 2023-11-15
US20230085099A1 (en) 2023-03-16
WO2021227916A1 (zh) 2021-11-18
EP4148677A1 (en) 2023-03-15

Similar Documents

Publication Publication Date Title
KR20230006009A (ko) 안면 영상 생성 방법, 장치, 전자기기 및 판독가능 저장 매체
JP7158509B2 (ja) 拡張されたユーザ対話のための画像データ
US11734959B2 (en) Activating hands-free mode on mirroring device
US20220156999A1 (en) Personalized avatar real-time motion capture
US11615592B2 (en) Side-by-side character animation from realtime 3D body motion capture
KR20240063071A (ko) 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법
CN111369428B (zh) 虚拟头像生成方法和装置
KR20230117638A (ko) 향상된 사용자 상호작용들을 위한 이미지 데이터
KR20220002358A (ko) 다수의 애플리케이션들과의 아바타 통합
US20220197485A1 (en) 3d painting on an eyewear device
US20220206584A1 (en) Communication interface with haptic feedback response
US20220317774A1 (en) Real-time communication interface with haptic and audio feedback response
US20220317773A1 (en) Real-time communication interface with haptic and audio feedback response
US20240184371A1 (en) Electronic communication interface with haptic feedback response
EP4268056A1 (en) Conversation interface on an eyewear device
WO2022212175A1 (en) Interface with haptic and audio feedback response
WO2022140117A1 (en) 3d painting on an eyewear device
EP4272063A1 (en) Media content items with haptic feedback augmentations
CN110597384A (zh) 信息沟通方法及其系统
US20240231500A1 (en) Real-time communication interface with haptic and audio feedback response
US20240193875A1 (en) Augmented reality shared screen space
JP2019164614A (ja) アバター制御プログラム