KR20190101835A - 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법 - Google Patents

얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20190101835A
KR20190101835A KR1020180022262A KR20180022262A KR20190101835A KR 20190101835 A KR20190101835 A KR 20190101835A KR 1020180022262 A KR1020180022262 A KR 1020180022262A KR 20180022262 A KR20180022262 A KR 20180022262A KR 20190101835 A KR20190101835 A KR 20190101835A
Authority
KR
South Korea
Prior art keywords
electronic device
avatar
image
face
external
Prior art date
Application number
KR1020180022262A
Other languages
English (en)
Other versions
KR102661019B1 (ko
Inventor
이우용
김용규
민병현
손동일
윤찬희
이기혁
정철호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority claimed from KR1020180022262A external-priority patent/KR102661019B1/ko
Priority to KR1020180022262A priority Critical patent/KR102661019B1/ko
Priority to CN201980014673.3A priority patent/CN111742351A/zh
Priority to PCT/KR2019/002075 priority patent/WO2019164266A1/en
Priority to US16/281,561 priority patent/US10977873B2/en
Priority to JP2019030708A priority patent/JP2019145108A/ja
Priority to EP19159048.8A priority patent/EP3531377A1/en
Priority to EP22190274.5A priority patent/EP4109408A1/en
Publication of KR20190101835A publication Critical patent/KR20190101835A/ko
Priority to US17/194,837 priority patent/US11798246B2/en
Priority to US18/452,883 priority patent/US20230394775A1/en
Priority to JP2024000538A priority patent/JP2024028390A/ja
Publication of KR102661019B1 publication Critical patent/KR102661019B1/ko
Application granted granted Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G06K9/00214
    • G06K9/00268
    • G06K9/00335
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/02Non-photorealistic rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Abstract

다양한 실시예에 따른 전자 장치는, 카메라, 디스플레이, 및 프로세서를 포함하고, 상기 프로세서는, 상기 카메라를 이용하여, 하나 이상의 외부 객체들에 대한 제1 이미지를 획득하고, 상기 제1 이미지에 포함된 상기 하나 이상의 외부 객체들 중 얼굴에 대응하는 외부 객체와 관련된 속성에 기반하여 생성된 3 차원 그래픽 객체를 상기 디스플레이를 통해 제공하고, 상기 3 차원 그래픽 객체에 적용될 수 있는 복수의 그래픽 속성들 중 선택된 적어도 하나의 그래픽 속성 및 상기 3차원 그래픽 객체에 적어도 기반하여, 상기 외부 객체에 대한 3 차원 아바타를 생성하고, 및 상기 3 차원 아바타를 이용하여 지정된 표정 또는 모션이 반영된 적어도 하나의 객체를 포함하는 제2 이미지를 생성하도록 설정될 수 있다. 그 밖의 다양한 실시예가 가능하다.

Description

얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법{ELECTRONIC DEVICE PROVIDING IMAGE INCLUDING 3D AVATAR IN WHICH MOTION OF FACE IS REFLECTED BY USING 3D AVATAR CORRESPONDING TO FACE AND METHOD FOR OPERATING THEFEOF}
다양한 실시예는, 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법에 관한 것이다.
전자 장치는 아바타를 이용하여 다양한 서비스를 제공할 수 있다. 전자 장치는 다양한 어플리케이션에서 사용자의 감정 또는 의사를 표시하기 위해 사용자에 대응하는 3차원 아바타를 이용할 수 있다.
전자 장치는 사용자에게 아바타를 생성하는 기능을 제공하여, 나만의 아바타를 생성할 수 있도록 할 수 있다.
다양한 실시예는, 얼굴에 대응되는 객체를 포함하는 2차원 이미지에 기반하여 3차원 아바타를 제공할 수 있는 전자 장치 및 그 동작 방법을 제공할 수 있다.
다양한 실시예에 따르면, 전자 장치는 사용자의 얼굴에 관련된 속성에 기반하여 사용자에 대응하는 3차원 아바타를 생성하여 제공할 수 있다.
다양한 실시예에 따르면, 전자 장치는 사용자를 포함하는 2차원 이미지에 기반하여 생성한 3차원 아바타를 이용하여, 아바타의 표정, 아바타의 제스처, 배경화면 또는 애니메이션 효과를 다양하게 적용한 객체를 포함하는 2차원 이미지를 생성하여 제공할 수 있다.
다양한 실시예에서, 전자 장치는, 카메라, 디스플레이, 및 프로세서를 포함하고, 상기 프로세서는, 상기 카메라를 이용하여, 하나 이상의 외부 객체들에 대한 제1 이미지를 획득하고, 상기 제1 이미지에 포함된 상기 하나 이상의 외부 객체들 중 얼굴에 대응하는 외부 객체와 관련된 속성에 기반하여 생성된 3 차원 그래픽 객체를 상기 디스플레이를 통해 제공하고, 상기 3 차원 그래픽 객체에 적용될 수 있는 복수의 그래픽 속성들 중 선택된 적어도 하나의 그래픽 속성 및 상기 3차원 그래픽 객체에 적어도 기반하여, 상기 외부 객체에 대한 3 차원 아바타를 생성하고, 및 상기 3 차원 아바타를 이용하여 지정된 표정 또는 모션이 반영된 적어도 하나의 객체를 포함하는 제2 이미지를 생성하도록 설정할 수 있다.
다양한 실시예에서, 전자 장치는, 카메라, 및 프로세서를 포함하고, 상기 프로세서는, 상기 카메라를 이용하여, 하나 이상의 외부 객체들에 대한 제1 이미지를 획득하고, 상기 제1 이미지에 포함된 상기 하나 이상의 외부 객체들 중 얼굴에 대응하는 외부 객체에 기반하여, 하나 이상의 3차원 아바타들 중 상기 외부 객체에 대응하는 3차원 아바타를 선택하고, 및 상기 외부 객체의 상기 얼굴에 대응하는 표정이 반영된 상기 3차원 아바타를 이용하여 생성한 객체를 포함하는 제2 이미지를 생성하도록 설정할 수 있다.
다양한 실시예에서, 전자 장치는, 카메라, 및 프로세서를 포함하고, 상기 프로세서는, 상기 카메라를 이용하여, 하나 이상의 외부 객체들에 대한 제1 이미지를 획득하고, 상기 제1 이미지에 포함된 상기 하나 이상의 외부 객체들 중 얼굴에 대응하는 외부 객체를 포함하는지 여부를 확인하고, 상기 얼굴에 대응하는 상기 외부 객체를 포함하는 경우, 상기 외부 객체와 관련된 속성에 기반하여 3차원 아바타를 생성하고, 및 상기 얼굴에 대응하는 상기 외부 객체를 포함하지 않는 경우, 상기 3차원 아바타를 생성하는 동작을 삼가도록 설정할 수 있다.
다양한 실시예에 따른 전자 장치는, 카메라를 이용하여 획득한 2차원 이미지에 포함된 외부 객체에 대응하는 3차원 아바타를 제공할 수 있다.
다양한 실시예에 따른 전자 장치는, 아바타의 표정, 아바타의 제스처, 배경화면, 또는 애니메이션 효과가 반영된 3차원 아바타를 이용하여 생성한 객체를 포함하는 2차원 이미지를 제공할 수 있다.
다양한 실시예에 따른 전자 장치는, 사용자의 얼굴을 포함하는 2차원 이미지에 기반하여 생성한 3차원 아바타를 활용하는 하나 이상의 어플리케이션을 제공할 수 있다.
도 1은, 다양한 실시예에 따르면, 네트워크 환경 내의 전자 장치의 블럭도를 도시한다.
도 2는 다양한 실시예에 따른 3차원 아바타를 생성하는 전자 장치의 동작 방법을 설명하기 위한 순서도를 도시한다.
도 3a 내지 도 3f는 다양한 실시예에 따른 전자 장치가 사용자에게 제공하는 3차원 아바타를 생성하는 동작을 설명하기 위한 예시이다.
도 4a 내지 도 4c는 다양한 실시예에 따른 전자 장치가 생성한 3차원 그래픽 객체 및 3차원 그래픽 객체에 적용할 수 있는 그래픽 속성의 예시이다.
도 5는, 다양한 실시예에 따른 전자 장치가 2차원 이미지에 기반하여 3차원 아바타를 생성하는 동작을 설명하기 위한 도면이다.
도 6은 다양한 실시예에 따른 전자 장치가 3차원 아바타를 이용하여 생성한 적어도 하나의 객체를 포함하는 2차원 이미지의 예시이다.
도 7은 다양한 실시예에 따른 전자 장치가 아바타 캐릭터를 이용하여 사진을 편집하는 기능을 설명하기 위한 도면이다.
도 8은 다양한 실시예에 따른 전자 장치가 아바타 캐릭터 중 선택된 객체를 메시지로 전송하는 기능을 설명하기 위한 도면이다.
도 9는 다양한 실시예에 따른 전자 장치가 아바타 캐릭터를 이용하여 연락처를 편집하는 기능을 설명하기 위한 도면이다.
도 10은 다양한 실시예에 따른 전자 장치가 동물 머리를 포함하는 2차원 이미지에 기반하여 생성한 3차원 아바타를 예시한다.
도 11은 다양한 실시예에 따른 전자 장치가 캐릭터를 포함하는 2차원 이미지에 기반하여 생성한 3차원 아바타를 예시한다.
도 12는 다양한 실시예에 따른 전자 장치가 사물을 포함하는 2차원 이미지에 기반하여 생성한 3차원 아바타를 예시한다.
도 13 및 도 14는 다양한 실시예에 따르면, 얼굴에 관련된 표현 속성들을 예시한다.
도 15는 다양한 실시예에 따른 전자 장치가 다양한 3차원 템플릿을 이용하여 생성한 3차원 아바타를 예시한다.
도 16 및 도 17은 다양한 실시예에 따른 전자 장치가 사물을 포함하는 2차원 이미지에 기반하여 생성한 3차원 그래픽 객체에 관련된 속성을 예시한다.
도 18은 다양한 실시예에 따른 전자 장치가 얼굴에 대응하는 외부 객체 및 부가 객체를 포함하는 2차원 이미지에 기반하여 생성한 3차원 아바타를 예시한다.
도 19a 내지 도 19b는 다양한 실시예에 따른 전자 장치가 복수의 외부 객체에 기반하여 생성한 복수의 3차원 아바타를 포함하는 이미지를 생성하는 동작을 설명하기 위한 도면이다.
도 20은 다양한 실시예에 따르면, 3차원 아바타에 대한 표현 속성의 예시이다.
도 21는 다양한 실시예에 따른 전자 장치가 영상 통화 기능에서 3차원 아바타를 생성하는 동작을 설명하기 위한 도면이다.
도 22는 다양한 실시예에 따른 전자 장치가 영상 통화 상대방 전자 장치와 3차원 아바타를 공유하는 동작을 설명하기 위한 도면이다.
도 1은, 다양한 실시예들에 따르면, 네트워크 환경(100) 내의 전자 장치(101)의 블럭도를 도시한다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 및 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 예를 들면, 표시 장치(160)(예: 디스플레이)에 임베디드된 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)의 경우와 같이, 일부의 구성요소들이 통합되어 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 구동하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 여기서, 보조 프로세서(123)는 메인 프로세서(121)와 별개로 또는 임베디드되어 운영될 수 있다.
이런 경우, 보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립, 저전력모드, 대기모드) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 수행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부 구성 요소로서 구현될 수 있다. 메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 저장되는 소프트웨어로서, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신하기 위한 장치로서, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력하기 위한 장치로서, 예를 들면, 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용되는 스피커와 전화 수신 전용으로 사용되는 리시버를 포함할 수 있다. 일실시예에 따르면, 리시버는 스피커와 일체 또는 별도로 형성될 수 있다.
표시 장치(160)는 전자 장치(101)의 사용자에게 정보를 시각적으로 제공하기 위한 장치로서, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 유선 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 외부 전자 장치(예: 전자 장치(102))와 유선 또는 무선으로 연결할 수 있는 지정된 프로토콜을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는 HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102))를 물리적으로 연결시킬 수 있는 커넥터, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로서, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 제 1 네트워크(198)(예: 블루투스, BLE(bluetooth low energy), WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 상술한 여러 종류의 통신 모듈(190)은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
일실시예에 따르면, 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 사용자 정보를 이용하여 통신 네트워크 내에서 전자 장치(101)를 구별 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부로 송신하거나 외부로부터 수신하기 위한 하나 이상의 안테나들을 포함할 수 있다. 일시예에 따르면, 통신 모듈(190)(예: 무선 통신 모듈(192))은 통신 방식에 적합한 안테나를 통하여 신호를 외부 전자 장치로 송신하거나, 외부 전자 장치로부터 수신할 수 있다.
상기 구성요소들 중 일부 구성요소들은 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input/output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되어 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 외부 전자 장치에서 실행될 수 있다. 일실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 외부 전자 장치에게 요청할 수 있다. 상기 요청을 수신한 외부 전자 장치는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 다양한 실시예에 따른 3차원 아바타를 생성하는 전자 장치의 동작 방법을 설명하기 위한 순서도를 도시한다.
도 2를 참조하면, 다양한 실시예에 따라서, 전자 장치(예: 도 1의 전자 장치(101) 또는 프로세서(120))는, 210 동작에서, 카메라(예: 도 1의 카메라 모듈(180))를 이용하여, 하나 이상의 외부 객체들에 대한 제1 이미지를 획득할 수 있다. 전자 장치(101)는 2차원 카메라(180)를 이용하여 2차원 이미지를 획득할 수 있고, 상기 제1 이미지는 2차원 이미지일 수 있다. 상기 하나 이상의 외부 객체는, 사람, 동물, 또는 사물을 포함할 수 있다. 예를 들어, 전자 장치(101)는 사용자의 얼굴에 대한 2차원 이미지를 획득할 수 있다. 전자 장치(101)는, 카메라(180)를 이용하여 획득한 제1 이미지에서 얼굴에 대응하는 외부 객체를 검출할 수 있다. 얼굴에 대응하는 외부 객체가 검출되지 않는 경우, 전자 장치(101)는, 얼굴이 검출되지 않았음을 알리는 메시지를 제공할 수 있다.
220 동작에서, 전자 장치(101)는, 상기 제1 이미지에 포함된 상기 하나 이상의 외부 객체들 중 얼굴에 대응하는 외부 객체와 관련된 속성에 기반하여 생성된 3차원 그래픽 객체를 디스플레이(예: 도 1의 표시 장치(160))를 통해 제공할 수 있다. 상기 외부 객체와 관련된 속성은 얼굴과 관련된 다양한 특징에 대해 정의될 수 있다. 예를 들어, 외부 객체와 관련된 속성은 얼굴을 구성하는 각 요소(눈, 눈썹, 코, 광대, 입술, 치아, 볼, 턱, 이마, 머리카락, 수염, 보조개, 귀, 뒷통수, 측두부)의 형태, 색상, 각 요소간 상대적 위치, 각 요소간 상대적 크기 비율, 또는 두부의 액세서리(예: 귀걸이, 피어싱, 안경, 코걸이) 중 적어도 하나 이상을 포함할 수 있다. 전자 장치(101)는, 얼굴 또는 두상에 대한 3차원 템플릿에 상기 얼굴에 대응하는 외부 객체와 관련된 속성 중 적어도 하나를 배치하여, 3차원 그래픽 객체를 생성할 수 있다. 전자 장치(101)는, 상기 제1 이미지에서 얼굴에 대응하는 외부 객체에서 상기 외부 객체와 관련된 속성 중 적어도 하나의 속성을 추출하여, 3차원 템플릿에 상기 추출된 속성 값을 적용하여 3차원 그래픽 객체를 생성할 수 있다. 전자 장치(101)는, 예를 들어, 상기 외부 객체에서, 얼굴의 길이, 얼굴의 너비, 얼굴 형, 피부 색, 미간의 길이, 눈의 크기, 쌍꺼풀의 여부, 눈썹의 색깔, 코의 길이, 코의 위치, 입술의 크기, 입술의 위치, 광대의 위치, 광대의 크기, 또는 보조개 여부에 대한 속성 값들 중 적어도 하나의 속성 값을 3차원 템플릿에 적용하여 3차원 그래픽 객체를 생성할 수 있다. 전자 장치(101)는, 3차원 템플릿에 대하여 정해진 속성 값(default)을 이용하여 3차원 그래픽 객체를 생성할 수 있다. 전자 장치(101)는, 예를 들어, 상기 제1 이미지에서 추출되지 않은 속성인 귀, 머리카락, 또는 뒤통수와 관련된 속성은 3차원 템플릿에 대하여 정해진 속성 값을 그대로 적용하여 3차원 그래픽 객체를 생성할 수 있다. 상기 3차원 그래픽 객체는 획득된 제1 이미지로부터 추출된 얼굴과 관련된 속성 값과 3차원 템플릿에 대하여 정해진 속성 값을 모두 포함할 수 있다. 얼굴 또는 두상에 대한 3차원 템플릿은 데이터 베이스에 저장될 수 있다. 데이터 베이스는 메모리(예: 도 1의 메모리(130)) 또는 서버(예: 도 1의 서버(108))에 포함될 수 있다. 전자 장치(101)는 얼굴에 대응하는 외부 객체와 관련된 속성 및 3차원 템플릿 중 적어도 하나를 변경하여 하나 이상의 3차원 그래픽 객체를 생성할 수 있다. 전자 장치(101)는 생성된 하나 이상의 3차원 그래픽 객체 중 적어도 하나를 디스플레이(160)에 표시할 수 있다.
230 동작에서, 전자 장치(101)는 3차원 그래픽 객체에 적용될 수 있는 복수의 그래픽 속성들 중 선택된 적어도 하나의 그래픽 속성 및 상기 3차원 그래픽 객체에 적어도 기반하여, 상기 외부 객체에 대한 3차원 아바타를 생성할 수 있다. 상기 3차원 그래픽 객체에 적용될 수 있는 복수의 그래픽 속성들은, 밝기, 색 대비, 입술 색, 눈썹 색, 수염, 헤어 스타일, 또는 얼굴에 관련된 액세서리(예: 안경, 모자, 귀걸이, 피어싱 등)를 포함할 수 있다. 다양한 실시예에서, 상기 3차원 그래픽 객체에 적용될 수 있는 복수의 그래픽 속성들은, 얼굴의 움직임에 대한 움직임 파라미터를 포함할 수 있다. 상기 움직임 파라미터는 얼굴의 상세 부위별(예: 눈썹, 눈꺼풀, 코, 입꼬리 등) 움직임 방향 및 크기를 포함할 수 있다. 전자 장치(101)는 상기 얼굴에 대응하는 외부 객체와 관련된 속성에 기반하여 상기 움직임 파라미터 값을 설정할 수 있다. 예를 들어, 전자 장치(101)는, 상기 외부 객체에서 추출된 입의 크기 혹은 형태에 기반하여 움직임 파라미터 중 입꼬리 움직임에 대한 방향 및 크기를 설정할 수 있다. 전자 장치(101)는, 복수의 그래픽 속성들 중 적어도 하나를 상기 3차원 그래픽 객체와 함께 디스플레이(160)를 통해 제공할 수 있다. 전자 장치(101)는, 복수의 그래픽 속성들 중 사용자 입력에 따라 선택된 적어도 하나의 그래픽 속성을 상기 3차원 그래픽 객체에 적용할 수 있다. 전자 장치(101)는, 예를 들어, 상기 복수의 그래픽 속성들 중 밝기를 디스플레이(160)에 표시하고, 밝기에 대한 입력을 감지하면, 상기 3차원 그래픽 객체에 상기 감지된 입력된 밝기 값을 적용할 수 있다. 전자 장치(101)는, 상기 복수의 그래픽 속성들 중 표시된 그래픽 속성에 대한 사용자의 입력에 응답하여, 상기 입력 값을 적용한 상기 3차원 그래픽 객체에 대한 미리보기를 디스플레이(160)를 통해 제공할 수 있다. 전자 장치(101)는, 상기 3차원 그래픽 객체에 적용할 수 있는 속성을 표시하고 표시된 속성에 대한 입력을 수신함으로써 사용자에게 상기 3차원 그래픽 객체를 편집할 수 있는 기능을 제공할 수 있다. 전자 장치(101)는 상기 복수의 그래픽 속성들 중 선택된 적어도 하나의 그래픽 속성을 상기 3차원 그래픽 객체에 적용하여, 3차원 아바타를 생성할 수 있다. 전자 장치(101)는 상기 복수의 그래픽 속성들 중 선택된 적어도 하나의 그래픽 속성을 상기 3차원 그래픽 객체에 적용하고, 상기 3차원 그래픽 객체를 재가공하여, 3차원 아바타를 생성할 수 있다. 전자 장치(101)는, 상기 3차원 그래픽 객체를 재가공하는 동작의 일부로, 상기 3차원 그래픽 객체에서 불필요한 정보를 삭제하고, 단순화할 수 있는 정보를 간략히 하여 3차원 아바타를 생성할 수 있다. 상기 3차원 아바타는 메모리(예: 도 1의 메모리(130)) 또는 서버(예: 도 1의 서버(108))에 저장될 수 있다. 상기 3차원 아바타가 서버(예: 도 1의 서버(108))에 저장되는 경우, 전자 장치(101)는 통신 모듈(190)을 이용하여 상기 3차원 아바타를 상기 서버(예: 도 1의 서버(108))로 제공할 수 있다. 상기 3차원 아바타는 예를 들어, glTF(gl transmission format) 형식에 따라 저장될 수 있다.
240 동작에서, 전자 장치(101)는, 3차원 아바타에 이용하여 지정된 표정 또는 모션이 반영된 적어도 하나의 객체를 포함하는 제2 이미지를 생성할 수 있다. 예를 들어, 전자 장치(101)는 3차원 아바타에 적어도 하나 이상의 지정된 표정 또는 모션을 반영하여 객체를 생성할 수 있다. 전자 장치는 적어도 하나 이상의 바디 제스처를 반영하여 객체를 생성할 수 있다. 예를 들어, 영상(예: 정지영상, 동영상)으로부터 인물의 신체 형태(예: 신체 이미지의 경계선 검출)와 움직임을 검출하고, 검출한 상기 신체 형태와 움직임이 반영(예: 검출한 신체 형태와 움직임에 대응하는 스켈레톤 정보를 생성하고, 상기 스켈레톤 정보를 이용하여 객체가 유사도가 높은 바디 제스처를 취하도록 바디의 각 부분의 형태나 움직임에 반영함)된 객체를 생성할 수 있다. 전자 장치는 적어도 하나 이상의 배경 효과를 반영하여 객체를 생성할 수 있다. 전자 장치(101)는 표정, 바디 제스처, 배경 효과 중 적어도 하나에 대하여 지정된 표정 또는 모션을 적용한 3차원 아바타에 기반하여 적어도 하나의 객체를 생성할 수 있고, 상기 적어도 하나의 객체에 기반하여 2차원 이미지를 생성할 수 있다. 전자 장치(101)는 지정된 개수의 지정된 표정 또는 모션에 기반하여, 상기 3차원 아바타를 이용하여 적어도 하나의 객체를 포함하는 상기 제2 이미지를 생성할 수 있다. 예를 들어, 전자 장치(101)는 아바타 표정, 아바타 제스처, 배경화면, 또는 애니메이션 효과 중 적어도 하나가 변형된 지정된 표현 세트에 기반하여, 상기 3차원 아바타에 상기 지정된 표현 세트를 반영하여 상기 지정된 표현 세트의 개수에 해당하는 객체들을 생성할 수 있다. 상기 생성된 객체들을 포함하는 상기 제2 이미지는 아바타 캐릭터라 할 수 있다. 상기 제2 이미지는 적어도 하나의 객체를 포함하는 2차원 이미지일 수 있다. 전자 장치(101)는 상기 제2 이미지를 정지 영상 또는 움직이는 영상으로 저장할 수 있다. 다양한 실시예에 따르면, 전자 장치(101)는, 아바타의 표정, 아바타의 제스처, 애니메이션 효과 또는 배경 효과 중 적어도 하나를 반영한 3차원 아바타를 이용하여 상기 제2 이미지를 생성할 수 있다. 상기 제2 이미지는 메모리(예: 도 1의 메모리(130)) 또는 서버(예: 도 1의 서버(108))에 저장될 수 있다. 상기 제2 이미지가 서버(예: 도 1의 서버(108))에 저장되는 경우, 전자 장치(101)는 통신 모듈(190)을 이용하여 상기 제2 이미지를 상기 서버(예: 도 1의 서버(108))로 제공할 수 있다. 상기 제2 이미지는 예를 들어, 움직이는 영상 파일(예: mp4, AGIF 등) 형식에 따라 저장될 수 있다. 전자 장치(101)는 생성한 상기 아바타 캐릭터를 활용한 다양한 어플리케이션을 제공할 수 있다. 전자 장치(101)는 상기 아바타 캐릭터를 키보드 어플리케이션을 통해 제공할 수 있다. 예를 들어, 전자 장치(101)는 키보드 어플리케이션에 포함된 아바타 캐릭터를 이용하여 메시지 전송 어플리케이션, 사진 편집 어플리케이션, 또는 영상 통화 어플리케이션을 제공할 수 있다. 그 밖의 다양한 어플리케이션에서 상기 아바타 캐릭터가 제공될 수 있다.
도 3a 내지 도 3f는 다양한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 프로세서(120))가 사용자에게 제공하는 3차원 아바타를 생성하는 동작을 설명하기 위한 예시이다. 전자 장치(101)는 카메라 모듈(예: 도 1의 카메라 모듈(180))을 이용하여 3차원 아바타를 만드는 기능을 제공할 수 있다. 전자 장치(101)는 카메라 모듈(180)을 실행하고, 디스플레이(예: 도 1의 표시 장치(160))를 통해 3차원 아바타 생성을 위한 아이콘을 포함하는 실행 화면을 제공할 수 있다.
도 3a를 참조하면, 이미지 촬영을 위한 프리뷰 화면 영역(301), 3차원 아바타 생성을 위한 아이콘(302), 3차원 아바타 리스트(303), 및 카메라 촬영을 위한 아이콘(304)를 포함할 수 있다. 전자 장치(101)는 "아바타 만들기"와 같은 텍스트를 포함하는 아이콘(302)을 표시할 수 있다. 아바타 만들기 아이콘(302)이 선택되면, 전자 장치(101)는 카메라 모듈(180)을 이용하여 사용자의 얼굴 이미지를 획득할 수 있다.
도 3b를 참조하면, 전자 장치(101)는 3차원 아바타를 생성하고자 하는 얼굴을 포함하는 객체를 촬영하기 위한 프리뷰 화면 영역(311) 및 카메라 촬영을 위한 아이콘(312)을 제공할 수 있다. 카메라 촬영시 얼굴의 다양한 각도나 표정에 대응하는 이미지를 얻기 위해, 머리의 지향방향이나 표정을 지시하는 가이드 정보(예: 머리 지향 방향 가이드, 감정표현 따라 하기 가이드 등)를 더 표시할 수 있다. 카메라 촬영시 동영상 촬영을 통해 복수 개의 촬영 이미지를 수신할 수도 있다.
도 3c를 참조하면, 전자 장치(101)는 촬영된 얼굴 이미지 표시 영역(321), 아바타 생성시 성별을 선택하기 위한 아이콘(322), 및 선택 완료를 나타내는 아이콘(323)을 제공할 수 있다. 전자 장치(101)는 촬영된 적어도 하나 이상의 얼굴 이미지에서 얼굴에 관련된 속성에 기반하여 하나 이상의 3차원 그래픽 객체를 생성할 수 있다. 전자 장치(101)는 얼굴 이미지에서 얼굴에 관련된 속성을 추출하여, 얼굴에 대응하는 3차원 템플릿에 적용하여 사실적인 3차원 그래픽 객체를 생성할 수 있다. 전자 장치(101)는 얼굴 이미지에서 얼굴에 관련된 속성을 추출하여, 추출한 속성을 일부 변경하여 얼굴에 대응하는 3차원 템플릿에 적용하여 보정된 3차원 그래픽 객체를 생성할 수 있다. 상기 얼굴에 관련된 속성은, 예를 들어, 얼굴을 구성하는 각 요소(눈, 눈썹, 코, 광대, 입술, 치아, 볼, 턱, 이마, 수염, 보조개, 귀)의 형태, 각 요소간의 상대적 위치, 각 요소간 상대적 크기 비율, 색상, 또는 움직임 방향 중 적어도 하나 이상을 포함할 수 있다. 전자 장치(101)는 생성된 하나 이상의 3차원 그래픽 객체 중 적어도 하나를 디스플레이(160)를 통해 제공할 수 있고, 제공된 적어도 하나의 3차원 그래픽 객체들 중 선택된 3차원 그래픽 객체를 화면에 표시할 수 있다.
도 3d를 참조하면, 전자 장치(101)는 적어도 하나의 3차원 그래픽 객체에 대응하는 적어도 하나의 아이콘(332,333) 및 선택된 3차원 그래픽 객체를 표시하는 프리뷰 영역(331)을 제공할 수 있다. 예를 들어, 전자 장치(101)는 제1 3차원 그래픽 객체에 대응하는 아이콘(332) 및 제2 3차원 그래픽 객체에 대응하는 아이콘(333)를 표시하고, 선택된 제1 3차원 그래픽 객체(322)를 프리뷰 영역(331)에 표시할 수 있다. 전자 장치(101)는 얼굴 이미지(321)에서 얼굴과 관련된 속성을 추출하여, 3차원 템플릿에 추출된 속성 값을 적용하여 제1의 3차원 그래픽 객체(332)를 생성할 수 있다. 전자 장치(101)는 얼굴 이미지(321)에서 얼굴과 관련된 속성을 추출하여, 3차원 템플릿에 추출된 속성 값을 적용하되 정해진 조건에 따라 보정하여 제2의 3차원 그래픽 객체(333)를 생성할 수 있다. 일 실시예에 따르면, 3차원 그래픽 객체를 생성시, 얼굴과 관련한 속성에서 액세서리(예: 안경, 귀걸이) 관련 속성을 추출하지 않거나 배제함으로써, 안경 속성이 배제된 3차원 그래픽 객체를 생성할 수도 있다. 전자 장치(101)는 3차원 템플릿에 정해진 속성 값(default)을 2차원 이미지에서 획득하기 어려운 얼굴과 관련된 속성에 활용할 수 있다. 전자 장치(101)는 상기 3차원 그래픽 객체에 적용될 수 있는 복수의 그래픽 속성들 중 적어도 하나를 3차원 그래픽 객체와 함께 제공할 수 있다. 전자 장치(101)는 3차원 그래픽 객체에 대한 피부색 속성을 조절할 수 있는 선택바(334)를 제공할 수 있다. 전자 장치는 선택바(334)가 (-)쪽으로 움직이는 입력에 따라 피부색을 어둡게 조절할 수 있고, 선택바(334)가 (+)쪽으로 움직이는 입력에 따라 피부색을 밝게 조절할 수 있다. 전자 장치(101)는 입력에 응답하여, 상기 입력된 피부색 값을 3차원 그래픽 객체에 적용하여 미리보기를 프리뷰 영역(331)에 제공할 수 있다. 한 실시예에 따르면 선택바(334)의 초기 위치는 전자 장치(101)의 카메라 모듈(180)을 통해 수신한 이미지(311)에서 추출한 얼굴 영역의 속성(예: 색상과 밝기)에 기반하여 결정될 수 있다. 이를 위해 상기 얼굴 영역의 속성을 판별하기 위한 추가적인 동작을 수행할 수 있다. 한 예로, 전자 장치(101)의 센서 모듈(176)에 포함된 조도 센서를 통해 카메라 모듈(180)로 촬영시 주변광의 조도를 측정하고, 측정한 상기 조도를 기반으로 추출한 얼굴 영역의 속성을 보정할 수도 있다.
도 3e를 참조하면, 전자 장치(101)는 사용자 입력에 따라 선택된 그래픽 속성 및 3차원 그래픽 객체에 기반하여, 사용자의 얼굴에 대한 3차원 아바타를 생성할 수 있다. 전자 장치(101)는, 프리뷰 영역에 생성된 3차원 아바타(341)를 표시할 수 있다. 전자 장치(101)는, 하나 이상의 3차원 아바타들을 표시하는 아바타 리스트 영역(342)을 제공할 수 있다. 전자 장치(101)는, 생성된 3차원 아바타(341)에 대응하는 아이콘(343)을 아바타 리스트 영역(342)에 추가하여 표시할 수 있다. 전자 장치(101)는 3차원 아바타를 이용하여 지정된 표정 또는 모션이 반영된 적어도 하나의 객체를 포함하는 2차원 이미지를 생성할 수 있다. 예를 들어, 전자 장치(101)는 웃는 표정이 적용된 3차원 아바타에 기반하여 객체를 생성하고, 객체를 포함하는 2차원 이미지를 생성할 수 있다. 예를 들어, 3차원 아바타에 기추출한 액세서리 속성을 이용하여 아바타 리스트 영역(342)에 액세서리 아이콘을 추가하고, 이를 선택시 상기 3차원 아바타에 포함된 객체를 생성할 수 있다. 전자 장치(101)는 2차원 이미지를 이용하여 아바타 캐릭터를 입력하는 기능을 제공할 수 있다. 예를 들어, 전자 장치(101)는 아바타 캐릭터를 입력하는 기능이 포함된 사진 편집을 제공할 수 있다. 다양한 실시예에서, 전자 장치(101)는 사진 편집 시에 2차원 이미지에 포함된 적어도 하나의 객체 중 선택된 객체를 사진에 추가할 수 있고, 추가된 객체의 위치, 크기 또는 방향을 조절하여 사진을 편집하는 기능을 제공할 수 있다.
도 3f를 참조하면, 전자 장치(101)는 사진 편집을 위한 화면에서, 편집할 사진을 표시한 영역(351), 아바타 캐릭터를 입력하는 기능을 제공하기 위한 아이콘(352) 및 선택된 아바타 캐릭터에 포함된 하나 이상의 객체를 표시하는 영역(353)를 표시할 수 있다. 상기 아바타 캐릭터에 포함된 하나 이상의 객체는, 아바타의 표정, 아바타의 제스처, 배경화면 또는 애니메이션 효과 중 적어도 하나를 포함할 수 있다. 전자 장치(101)는 선택된 아바타 캐릭터에 포함된 하나 이상의 객체 중 선택된 제1 객체(354)를 편집할 사진을 표시한 영역(351)에 추가하여 표시(355)할 수 있다. 상기 제1 객체(354)는 찡그리는 표정(3541), 두 손으로 얼굴을 감싸는 제스처(3542) 및 머리 위에 구름 배경(3543)을 포함할 수 있다. 전자 장치(101)는 사용자 입력에 따라 편집할 사진 영역(351) 위에 표시된 제1 객체(355)에 대한 위치, 크기 또는 방향을 변경할 수 있다.
도 4a 내지 도 4c는 다양한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 프로세서(120))가 생성한 3차원 그래픽 객체 및 3차원 그래픽 객체에 적용할 수 있는 그래픽 속성의 예시이다.
도 4a를 참조하면, 전자 장치(101)는 사용자의 얼굴 이미지에 기반하여 생성한 적어도 하나의 3차원 그래픽 객체를 포함하는 화면(410, 420)을 표시할 수 있다. 전자 장치(101)는 얼굴에 관련된 속성 값을 다양하게 적용하여 3차원 그래픽 객체를 다양하게 생성할 수 있다. 전자 장치(101)는 사용자의 얼굴 이미지에서 추출한 눈, 코, 및 입을 3차원 템플릿에 적용하여 제1 3차원 그래픽 객체를 생성할 수 있다. 전자 장치(101)는, 정해진 보정 기준에 따라, 사용자의 얼굴 이미지에서 추출한 눈, 코 및 입을 보정하여 3차원 템플릿에 적용하여 제2 3차원 그래픽 객체를 생성할 수 있다. 예를 들어, 상기 정해진 보정 기준은, 사용자의 얼굴 이미지에서 추출한 눈의 크기를 정해진 값으로 변경하고, 코의 위치 및 모양을 정해진 값으로 변경하고, 입술의 모양 및 색을 정해진 값으로 변경하도록 설정될 수 있다. 도 4a를 참조하면, 전자 장치(101)는 제1 3차원 그래픽 객체에 대응하는 제1 아이콘(411) 및 제2 3차원 그래픽 객체에 대응하는 제2 아이콘(412)을 표시할 수 있고, 사용자의 입력에 따라 제1 아이콘(411)이 선택되는 경우 제1 3차원 그래픽 객체를 화면(410)에 표시할 수 있고, 사용자 입력에 따라 제2 아이콘(412)이 선택되는 경우 제2 3차원 그래픽 객체를 화면(420)에 표시할 수 있다.
전자 장치(101)는 3차원 그래픽 객체 및 3차원 그래픽 객체에 적용할 수 있는 속성을 나타내는 아이콘을 함께 표시할 수 있다. 도 4b를 참조하면, 전자 장치(101)는 3차원 그래픽 객체에 대한 피부 색에 대한 속성을 나타내는 아이콘(413)을 표시하고, 아이콘(413)에 대한 사용자 입력에 따라, 피부 색을 어둡게 하거나 밝게 할 수 있다. 전자 장치(101)는 피부 색을 어둡게 하는 사용자 입력에 응답하여 3차원 그래픽 객체에 어두운 피부 색을 적용한 화면(430)을 표시할 수 있고, 피부 색을 밝게 하는 사용자 입력에 응답하여 3차원 그래픽 객체에 밝은 피부 색을 적용한 화면(440)을 표시할 수 있다.
전자 장치(101)는 3차원 그래픽 객체에 적용할 수 있는 하나 이상의 속성에 대하여 파라미터(parameter)로 정의할 수 있고, 파라미터에 기본 속성 값(default value)을 지정할 수 있다. 전자 장치(101)는 2차원 이미지로부터 상기 3차원 그래픽 객체에 적용할 수 있는 하나 이상의 속성에 대응하는 속성 값을 추출할 수 있다. 상기 3차원 그래픽 객체에 적용될 수 있는 하나 이상의 속성은 2차원 이미지에 포함된 외부 객체에 적용될 수 있는 하나 이상의 속성에 대응될 수 있다. 예를 들어, 외부 객체에 적용될 수 있는 눈, 코, 입, 헤어 스타일, 또는 안경은 3차원 그래픽 객체에 적용될 수 있다. 전자 장치(101)는 3차원 템플릿에 대응하여 상기 3차원 그래픽 객체에 적용할 수 있는 하나 이상의 속성에 대하여 지정된 속성 값을 선택할 수 있다. 전자 장치(101)는 사용자 입력에 기반하여 상기 3차원 그래픽 객체에 적용할 수 있는 하나 이상의 속성 값을 생성할 수 있다. 예를 들어, 도 4c를 참조하면, 전자 장치(101)는 3차원 그래픽 객체에 적용할 수 있는 헤어 스타일 속성을 편집할 수 있는 화면(450), 안경 악세서리 속성을 편집할 수 있는 화면(460) 및 3차원 아바타 의상 속성을 편집할 수 있는 화면(470)을 제공할 수 있다. 전자 장치(101)는 3차원 그래픽 객체에 적용할 수 있는 헤어 스타일 속성에 대한 헤어 모양 리스트(451) 및 헤어 색상 리스트(452)를 제공할 수 있다. 전자 장치(101)는 상기 헤어 모양 리스트(451) 중에서 2차원 이미지로부터 추출한 속성 또는 3차원 템플릿에 대응하여 설정된 속성에 기반하여 선택된 제1 헤어 모양을 우선 적용하여 3차원 그래픽 객체에 표시할 수 있다. 예를 들어, 전자 장치(101)는 상기 2차원 이미지로부터 추출한 얼굴형 속성에 기반하여 상기 얼굴형 속성과 매칭되는 헤어 모양을 상기 제1 헤어 모양으로 선택하여 우선 적용할 수 있다. 전자 장치(101)는 선택된 헤어 모양 및 헤어 색상이 적용된 3차원 그래픽 객체를 표시할 수 있다. 전자 장치(101)는 3차원 그래픽 객체에 적용할 수 있는 안경 액세서리 리스트(461)를 제공할 수 있고, 선택된 안경 액세서리를 3차원 그래픽 객체에 적용하여 표시할 수 있다. 전자 장치(101)는 3차원 그래픽 객체에 적용할 수 있는 3차원 아바타 의상 리스트(471)를 제공할 수 있고, 선택된 3차원 아바타 의상을 적용한 3차원 그래픽 객체를 표시할 수 있다.
도 5는, 다양한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 프로세서(120))가 2차원 이미지에 기반하여 3차원 아바타를 생성하는 동작을 설명하기 위한 도면이다.
전자 장치(101)는, 하나 이상의 외부 객체를 포함하는 2차원 이미지에서 얼굴에 대응하는 외부 객체를 추출할 수 있다. 도 5를 참조하면, 전자 장치(101)는, 사용자의 얼굴을 포함하는 2차원 이미지(510)에서 얼굴에 대응하는 외부 객체(511)을 추출할 수 있다. 전자 장치(101)는 얼굴 검출 알고리즘을 이용하여 2차원 이미지(510)에 얼굴이 포함되었는지를 판단할 수 있다. 예를 들어, 상기 외부 객체를 추출하는 방법의 적어도 일부는 규칙 기반 모델 또는 기계 학습, 신경망 또는 딥러닝 알고리즘 중 적어도 하나에 따라 학습된 인공 지능 모델을 이용할 수 있다. 전자 장치(101)는 서버로부터 인공 지능 모델을 수신할 수 있다. 예를 들어, 전자 장치(101)는 MTCNN(multi-task cascaded neural network)를 이용하여 2차원 이미지(510)에서 얼굴에 대응하는 외부 객체(511)를 추출할 수 있다. 외부 객체(511)는 얼굴에 관련된 속성을 나타내는 눈(521, 522), 코(523), 또는 입술(524)을 포함할 수 있다. 전자 장치(101)는 외부 객체(511)에 적용할 수 있는 속성을 파라미터로 정의할 수 있고, 외부 객체(511)에서 추출된 속성 값을 파라미터의 값으로 지정할 수 있다. 외부 객체(511)에 적용할 수 있는 속성은, 예를 들어, 성별, 인종, 연령, 매력도, 표정, 헤어 색상, 가르마, 헤어 길이, 광대, 얼굴형, 피부톤, 눈의 위치, 눈의 크기, 눈썹 길이, 눈썹 모양, 눈썹 크기, 코의 길이, 코의 위치, 코의 모양, 입술의 모양, 입술 색상, 입술 길이, 모자, 안경, 귀걸이, 목걸이, 립스틱 색상, 또는 넥타이 모양 중 적어도 하나를 포함할 수 있다. 예를 들어, 전자 장치(101)는 성별(gender)에 대한 파라미터를 정의하고, 여성(female) 또는 남성(male) 값을 지정할 수 있다. 전자 장치(101)는 3차원 아바타를 생성하기 위한 3차원 템플릿(530)을 결정할 수 있다. 3차원 템플릿은 생성하기 위한 3차원 아바타의 종류에 따라 다양할 수 있다. 예를 들어, 전자 장치(101)는 성별, 인종, 국적, 또는 연령에 따라 다른 3차원 템플릿을 이용할 수 있다. 또 다른 예를 들어, 전자 장치(101)는 동물, 캐릭터, 또는 사물에 대해서 3차원 아바타를 생성할 수 있고, 동물의 형상, 캐릭터의 모양, 또는 사물의 형상에 따라 다양한 3차원 템플릿을 이용할 수 있다. 전자 장치(101)는 외부 전자 장치로부터 적어도 하나의 3차원 템플릿을 수신할 수 있다. 전자 장치(101)는 2차원 이미지(510)에서 추출한 외부 객체(511)에 관련된 속성을 3차원 템플릿에 적용시켜 3차원 아바타(540)를 생성할 수 있다. 전자 장치(101)는 2차원 이미지(510)에서 추출한 외부 객체(511)에 관련된 속성을 3차원 템플릿에 적용하여 생성한 3차원 그래픽 객체(미도시)를 제공할 수 있다. 상기 외부 객체에 적용될 수 있는 속성은 상기 3차원 그래픽 객체에 적용될 수 있다. 전자 장치(101)는 상기 외부 객체로부터 추출한 속성 및 사용자 입력에 의해 선택된 속성을 반영하여 상기 3차원 그래픽 객체를 생성할 수 있고, 상기 3차원 그래픽 객체에 기반하여 3차원 아바타(540)를 생성할 수 있다. 전자 장치(101)는 외부 객체(511)의 눈(521)을 3차원 템플릿(530)의 눈 영역에 적용시켜 3차원 아바타(540)를 생성할 수 있다. 전자 장치(101)는 외부 객체(511)에서 추출하지 않은 속성 예를 들어, 헤어 스타일에 대해서 3차원 템플릿(530)에 정해진 속성 값으로 3차원 아바타(540)를 생성할 수 있다. 전자 장치(101)는 외부 객체에 적용할 수 있는 속성에 대하여 하나 이상의 샘플 속성을 디스플레이(예: 도 1의 표시 장치(160))를 통해 사용자에게 제공할 수 있다. 전자 장치(101)는 사용자의 선택에 의해 하나 이상의 샘플 속성 중 선택된 속성을 적용하여 3차원 아바타(540)를 생성할 수 있다. 전자 장치(101)는 2차원 이미지에서 추출한 속성 또는 결정된 3차원 템플릿에 기반하여, 하나 이상의 샘플 속성 중 추천 속성을 선택하여 제공할 수 있다. 전자 장치(101)는 샘플 속성이 반영된 3차원 그래픽 객체를 디스플레이(160)를 통해 제공하여, 사용자에게 미리 보기를 제공할 수 있다.
도 6은 다양한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 프로세서(120))가 3차원 아바타를 이용하여 생성한 적어도 하나의 객체를 포함하는 2차원 이미지의 예시이다. 전자 장치(101)는 3차원 아바타에 하나 이상의 지정된 표정 또는 모션을 적용하여 하나 이상의 객체를 생성할 수 있다. 객체는, 아바타의 표정, 아바타의 제스처, 배경화면, 또는 애니메이션 효과 중 적어도 하나에 대응하여 결정될 수 있다. 예를 들어, 상기 하나 이상의 지정된 표정 또는 모션은, 상기 아바타의 표정, 상기 아바타의 제스처, 상기 배경화면 또는 상기 애니메이션 효과 중 적어도 하나에 대하여 지정될 수 있다. 예를 들어, 상기 아바타의 표정은 웃는 표정, 우는 표정, 또는 무심한 표정이 지정될 수 있고, 상기 아바타의 제스처는 손으로 하트를 만드는 제스처, 상기 아바타의 머리를 끄덕이는 제스처가 지정될 수 있다. 상기 아바타의 표정, 상기 아바타의 제스처, 상기 배경화면 또는 상기 애니메이션 효과 중 적어도 하나는 움직이는 모션으로 지정될 수 있다. 전자 장치(101)는 카메라(예: 도 1의 카메라 모듈(180))을 이용하여 획득한 2차원 이미지에서 추출한 얼굴에 대응하는 외부 객체에 대하여 생성한 아바타를 이용하여, 상기 지정된 표정 또는 모션을 적용하여 적어도 하나의 객체를 생성할 수 있다. 전자 장치(101)는 지정된 개수의 지정된 표정 또는 모션을 상기 3차원 아바타에 적용하여 지정된 개수의 객체를 한번에 생성할 수 있다. 예를 들어, 전자 장치(101)는 18 종류의 지정된 표현 세트를 상기 3차원 아바타에 적용하여 18 종류의 객체를 생성할 수 있다. 상기 18 종류의 지정된 표현 세트는, 상기 아바타의 표정, 상기 아바타의 제스처, 상기 배경 화면, 또는 상기 애니메이션 효과 중 적어도 하나를 변형하여 지정될 수 있다. 하나 이상의 객체를 포함하는 2차원 이미지는 아바타 캐릭터라고 할 수 있다. 전자 장치(101)는 아바타 캐릭터를 디스플레이(도 1의 표시 장치(160))를 통해 제공할 수 있다.
전자 장치(101)는 하나 이상의 3차원 아바타를 이용하여 하나 이상의 아바타 캐릭터를 생성할 수 있고, 3차원 아바타 캐릭터 리스트를 상기 디스플레이(160)를 통해 제공할 수 있다. 예를 들어, 전자 장치(101)는 아바타 캐릭터(610)를 상기 디스플레이(160)에 표시할 수 있고, 상기 아바타 캐릭터(610)에 포함된 하나 이상의 객체들은 제1 영역(611)에 표시될 수 있다. 상기 제1 영역(611)은 아바타의 표정, 아바타의 제스처, 배경 화면, 또는 애니메이션 효과 중 적어도 하나 이상이 상이한 복수의 객체들을 포함할 수 있다. 상기 아바타 캐릭터(610)에 포함된 하나 이상의 객체들 중 제1 객체(620)는 아바타(621) 및 배경화면(622)을 포함할 수 있다. 상기 제1 객체(620)의 아바타(621)는 지정된 표정 또는 제스처에 따라 생성될 수 있고, 상기 제1 객체(620)의 배경화면(622)는 부가 오브젝트(623)을 포함할 수 있다. 상기 제1 객체(620)의 아바타(621) 또는 배경화면(622)는 애니메이션 효과가 적용될 수 있다. 예를 들어, 배경화면(622)의 부가 오브젝트(623)은 좌우로 움직이는 효과를 포함할 수 있다. 상기 아바타 캐릭터는, 정지 영상 또는 움직이는 영상일 수 있다. 상기 아바타 캐릭터가 움직이는 영상인 경우, 객체의 아바타 표정, 아바타 제스처, 배경화면, 또는 부가 오브젝트 중 적어도 하나가 움직일 수 있다.
도 7은 다양한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 프로세서(120))가 아바타 캐릭터를 이용하여 사진을 편집하는 기능을 설명하기 위한 도면이다.
전자 장치(101)는 사진 편집 화면(710)에서 아바타 캐릭터 중 선택된 객체를 정해진 제1 위치(711)에 표시할 수 있다. 전자 장치(101)는 사용자 입력에 따라 객체를 제1 위치(711)에서 다른 위치를 이동시킬 수 있다. 전자 장치(101)는 객체가 제2 위치(721)로 이동된 사진 편집 화면(720)을 표시할 수 있다. 전자 장치(101)는 사용자 입력에 따라 객체의 크기 또는 방향을 변경할 수 있다. 전자 장치(101)는 크기 또는 방향이 변경된 객체(731)를 포함하는 사진 편집 화면(730)을 표시할 수 있다.
도 8은 다양한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 프로세서(120))가 아바타 캐릭터 중 선택된 객체를 메시지로 전송하는 기능을 설명하기 위한 도면이다. 전자 장치(101)는 3차원 아바타를 이용하여 생성한 상기 아바타 캐릭터를 키보드 어플리케이션을 통해 제공할 수 있다. 전자 장치(101)는 키보드 어플리케이션에 포함된 아바타 캐릭터를 메시지 전송 어플리케이션에서 제공할 수 있다. 예를 들어, 전자 장치(101)는 메시지를 전송하기 위한 어플리케이션을 실행한 화면 영역(810)을 제공할 수 있다. 상기 화면 영역(810)은, 메시지 내용을 표시하는 제1 영역(811), 메시지 작성을 위한 아이템 리스트를 표시하는 제2 영역(812) 및 상기 메시지 작성을 위한 아이템 중 선택된 아이템에 포함되는 객체들을 표시하는 제3 영역(813)을 포함할 수 있다. 상기 메시지 작성을 위한 아이템은, 문자 입력 아이템, 사진 입력 아이템, 파일 첨부 아이템, 음성 입력 아이템, 위치 전송 아이템, 또는 아바타 캐릭터 입력 아이템을 포함할 수 있다.
전자 장치(101)는 카메라(예: 도 1의 카메라 모듈(180))을 이용하여 획득한 제1 이미지에 포함된 외부 객체에 대응하여 생성한 3차원 아바타를 이용하여 지정된 표정 또는 모션이 반영된 적어도 하나의 객체를 포함하는 제2 이미지를 아바타 캐릭터로 제공할 수 있다. 전자 장치(101)가 생성한 상기 아바타 캐릭터를 입력하기 위한 아바타 캐릭터 입력 아이템은 상기 메시지 작성을 위한 아이템에 포함될 수 있다. 전자 장치(101)는 상기 아바타 캐릭터 입력 아이템(814)을 상기 제2 영역(812)에 포함하여 표시할 수 있다. 전자 장치(101)는 상기 표시된 아이템 리스트들 중 아바타 캐릭터 입력 아이템(814)이 선택되는 것에 응답하여, 상기 제3 영역에 아바타 캐릭터를 제공할 수 있다.
전자 장치(101)는 메시지를 전송하기 위한 어플리케이션을 실행한 화면 영역(820)에서 하나 이상의 아바타 캐릭터들 중 선택된 제1 아바타 캐릭터(821)에 포함되는 하나 이상의 객체를 제1 영역(822)에 표시할 수 있다. 전자 장치(101)는 하나 이상의 아바타 캐릭터들을 리스트로 제공할 수 있다. 상기 제1 아바타 캐릭터(821)에 포함되는 하나 이상의 객체는 서로 상이한 표정 또는 모션을 포함할 수 있다. 예를 들어, 제1 객체(823)는 웃는 표정을 포함할 수 있다.
전자 장치(101)는 메시지를 전송하기 위한 어플리케이션을 실행한 화면 영역(830)에서 상기 표시된 적어도 하나의 객체들 중 제1 객체(831)가 선택되는 것에 응답하여, 메시지의 내용을 표시하는 제1 영역(835)에 상기 제1 객체(831)의 미리보기(832) 및 전송 버튼(833)을 표시할 수 있다. 전자 장치(101)는 상기 제1 객체(831)가 움직이는 영상인 경우, 상기 제1 객체(831)를 플레이하여 상기 미리보기(832)를 제공할 수 있다. 전자 장치(101)는 상기 전송 버튼(833)이 클릭되는 것에 응답하여, 상기 선택된 제1 객체(831)를 메시지로 전송할 수 있다. 전자 장치(101)는 메시지를 전송하기 위한 어플리케이션을 실행한 화면 영역(840)에서 상기 아바타 캐릭터 중 선택된 제1 객체(842)를 메시지의 내용을 표시하는 제1 영역(841)에 표시하여 제공할 수 있다.
도 9는 다양한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 프로세서(120))가 아바타 캐릭터를 이용하여 연락처를 편집하는 기능을 설명하기 위한 도면이다. 전자 장치(101)는 연락처를 저장 및 관리하기 위한 어플리케이션 실행 화면 영역(910)에서, 사진 항목(911) 및 이름 항목(912)를 표시할 수 있다. 전자 장치(101)는 아바타 캐릭터에 포함된 하나 이상의 객체들 중 선택된 객체를 연락처의 사진 항목(911)에 표시할 수 있다. 다양한 실시예에서, 전자 장치(101)는 전화가 수신되는 것에 응답하여, 연락처의 사진 항목 및 이름 항목을 디스플레이(예: 도 1의 표시 장치(160))에 제공할 수 있고, 연락처의 사진 항목에 저장된 객체가 표시될 수 있다.
도 10은 다양한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 프로세서(120))가 동물 머리를 포함하는 2차원 이미지에 기반하여 생성한 3차원 아바타를 예시한다. 전자 장치(101)는 외부 객체가 동물인 경우 동물에 대응하는 3차원 템플릿을 이용하여 3차원 아바타를 생성할 수 있다. 전자 장치(101)는 쥐의 머리를 포함하는 2차원 이미지(1001)를 획득할 수 있다. 전자 장치(101)는 쥐의 머리를 포함하는 2차원 이미지(1001)로부터 머리 관련 속성을 검출하거나, 전자 장치(101)은 외부 전자 장치 또는 서버에 상기 2차원 이미지(1001)을 전송하고, 상기 외부 전자 장치 또는 서버가 머리 관련 속성을 검출할 수 있다. 전자 장치(101) 혹은 외부 전자 장치 또는 서버는 상기 머리 관련 속성을 기반으로 쥐의 머리 속성에 대응하는 3차원 템플릿(1002)을 결정할 수 있다. 전자 장치(101)는 쥐에 대한 3차원 템플릿(1002)을 외부 전자 장치 또는 서버로부터 수신할 수 있다. 전자 장치(101)는 2차원 이미지(1001)에서 추출한 쥐의 머리와 관련된 속성을 3차원 템플릿(1002)에 적용하여 3차원 아바타(1003)를 생성할 수 있다. 예를 들어, 쥐의 머리와 관련된 속성은, 머리를 구성하는 각 요소(눈, 눈썹, 코, 광대, 입술, 치아, 볼, 턱, 이마, 털, 수염, 귀, 뒷통수, 측두부)의 형태, 색상, 각 요소간 상대적 위치, 또는 각 요소간 상대적 크기 비율 중 적어도 하나 이상을 포함할 수 있다. 전자 장치(101)는 2차원 이미지(1001)로부터 동물의 머리에 대응하는 외부 객체를 추출하기 위해서, 동물의 머리 특징을 분석 및 판단한 정보를 이용할 수 있다.
도 11은 다양한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 프로세서(120))가 캐릭터를 포함하는 2차원 이미지에 기반하여 생성한 3차원 아바타를 예시한다. 전자 장치(101)는 외부 객체가 캐릭터인 경우 캐릭터에 대응하는 3차원 템플릿을 이용하여 3차원 아바타를 생성할 수 있다. 전자 장치(101)는 캐릭터에 대응하는 3차원 템플릿을 외부 전자 장치 또는 서버로부터 수신할 수 있다. 전자 장치(101)는 캐릭터를 포함하는 2차원 이미지(1101)를 획득할 수 있다. 예를 들어, 캐릭터는, 만화 캐릭터, 동물 캐릭터, 식물 캐릭터, 특정 인물에 대한 캐릭터, 사물에 대한 캐릭터, 또는 영화 주인공 캐릭터 중 적어도 하나를 포함할 수 있다. 전자 장치(101)는 캐릭터에 대응하는 3차원 템플릿(1102)을 결정할 수 있다. 전자 장치(101)는 2차원 이미지(1101)에서 추출한 캐릭터와 관련된 속성을 3차원 템플릿(1102)에 적용하여 3차원 아바타(1103)를 생성할 수 있다. 예를 들어, 상기 캐릭터와 관련된 속성은, 캐릭터를 구성하는 각 구성(머리, 팔, 다리, 몸통)의 형태, 색상, 각 구성의 상대적인 위치, 각 구성의 상대적인 크기, 또는 각 구성에 적용될 수 있는 액세서리(헤어 밴드, 가방, 안경, 소품) 중 적어도 하나 이상을 포함할 수 있다.
도 12는 다양한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 프로세서(120))가 사물을 포함하는 2차원 이미지에 기반하여 생성한 3차원 아바타를 예시한다. 전자 장치(101)는 콘센트를 포함하는 2차원 이미지(a)를 획득할 수 있다. 전자 장치(101)는 얼굴 특징 추출 알고리즘을 이용하여 콘센트에서 얼굴에 관련된 속성에 대응되는 구성을 추출할 수 있다. 다양한 실시예에서, 전자 장치(101)는 사용자 입력에 따라 2차원 이미지(1210)에서 얼굴에 관련된 속성을 지정할 수 있다. 전자 장치(101)는 사용자 입력에 따라 2차원 이미지(1220) 중 콘센트의 제1 구성(1201)을 얼굴 형태로 지정할 수 있고, 콘센트의 제2 구성(1202)을 눈으로 지정할 수 있고, 콘센트의 제3 구성(1203)을 입으로 지정할 수 있다. 전자 장치(101)는 콘센트에 대응하는 3차원 아바타를 생성하기 위해 3차원 템플릿(1230)을 지정할 수 있다. 전자 장치(101)는 하나 이상의 3차원 템플릿 중 콘센트와 유사한 3차원 템플릿을 선택하거나, 정해진 3차원 템플릿을 이용할 수 있다. 전자 장치(101)는 2차원 이미지(1210)에 대하여 지정된 얼굴과 관련된 속성 값(1201, 1202, 1203)을 3차원 템플릿(1230)에 적용하여 3차원 아바타를 생성할 수 있다. 전자 장치(101)는 3차원 아바타를 이용하여 정해진 표정에 관련된 표현 속성을 반영하여 하나 이상의 객체(1241, 1242, 1243)를 생성할 수 있다. 전자 장치(101)는 하나 이상의 객체를 포함하는 2차원 이미지(1240)를 제공할 수 있다.
도 13 및 도 14는 다양한 실시예에 따르면, 얼굴에 관련된 표현 속성들을 예시한다. 전자 장치(예: 도 1의 전자 장치(101) 또는 프로세서(120))는 얼굴에 관련된 표현 속성들을 적어도 이용하여 3차원 아바타의 표정을 다양하게 변경할 수 있다. 상기 얼굴에 관련된 표현 속성은 상황에 따라 분류될 수 있고, 표현 속성은 얼굴에 포함되는 구성요소에 따라 정의될 수 있다. 도 13을 참조하면, 상황을 보통, 웃음1, 또는 웃음2를 포함할 수 있고, 눈에 대응되는 표현 속성을 모양으로 정의할 수 있고, 입에 대응되는 표현 속성을 모양으로 정의할 수 있다. 전자 장치(101)는 보통 상황에서 눈에 대한 속성을 지정하지 않고, 입에 대한 속성 값은 위가 둥근 형태를 가지는 반원 모양으로 지정할 수 있다. 전자 장치(101)는 보통 상황의 3차원 아바타를 생성하기 위해서 2차원 이미지에서 추출된 눈에 대한 속성 값을 그대로 적용할 수 있고, 2차원 이미지에서 추출된 입에 대한 속성 값을 표현 속성에 따라 반원 보양으로 변경하여 적용할 수 있다. 전자 장치(101)는 유사한 상황을 하나의 상황으로 분류하여 지정할 수 있다. 도 12와 도 13을 참조하면, 도 12의 콘센트는 도 13에서 보통 상황에 해당하는 표정을 나타낸다. 한 실시예에 따르면, 전자 장치(101)는 카메라 모듈(180)을 통해 수신한 얼굴 객체가 포함된 이미지로부터 얼굴 구성 요소의 속성을 검출하고, 검출된 얼굴 구성 요소의 속성에 대응하는 표현 속성을 판별하고, 상기 판별된 표현 속성에 대응하여 3차원 아바타를 변형할 수 있다. 따라서, 실시간으로 수신되는 얼굴 이미지로부터 변화를 감지하고, 이에 대응하여 3차원 아바타(1230)를 변경하고, 이에 따른 하나 이상의 객체(1241, 1242, 1243)를 변경할 수 있다.
도 14를 참조하면, 전자 장치(101)는 일반 상황, 기본 상황, 대기 상황을 하나의 상황으로 분류하고, 눈에 대응되는 표현 속성을 표현 속성 set 1 및 표현 속성 set 2로 정의할 수 있다. 도 14는 눈과 관련한 복수개의 표현 속성 Set을 나타내고 있으며, 미도시 되었으나 다른 구성 요소(예: 코, 입, 귀 등)들도 각각 복수 개의 표현 속성 Set를 가질 수 있다. 한 실시 예에 따르면, 표현 속성 Set는 서로 다른 구성 요소별로 연관 관계를 가질 수 있다. 예를 들어, 눈의 표현 속성 Set 1은 입의 표현 속성 Set 1과 연관관계를 갖고, 눈의 표현 속성 Set 2는 입의 표현 속성 Set 2와 연관관계를 갖을 수 있다. 예를 들어, 하나의 속성 그룹에는 서로 연관관계가 있는 표현 속성 Set들이 포함될 수 있다. 예를 들어, 아바타 캐릭터 1의 경우, 이에 대응하는 속성 그룹 1에는 눈의 표현 속성 Set 1은 입의 표현 속성 Set 1이 포함되어 연관관계를 가질 수 있다.
도 15는 다양한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 프로세서(120))가 다양한 3차원 템플릿을 이용하여 생성한 3차원 아바타를 예시한다. 전자 장치(101)는 외부 객체를 포함하는 2차원 이미지에 기반하여, 3차원 아바타를 생성할 수 있다. 전자 장치(101)는 2차원 이미지(1510)에 포함된 외부 객체가 얼굴을 포함하는지 판단하고, 얼굴을 포함하는 경우 얼굴을 추출할 수 있다. 전자 장치(101)는 외부 객체로부터 귀, 눈, 및 입을 포함하는 얼굴 영역(1520)을 추출할 수 있다. 전자 장치(101)는 얼굴 영역(1520) 중에서 표현 속성을 적용할 대상(1530)을 선택할 수 있다. 예를 들어, 전자 장치(101)는 추출된 얼굴 영역(1520)을 디스플레이(예: 도 1의 표시 장치(160))를 통해 제공할 수 있고, 사용자 입력에 따라 표시된 얼굴 영역(1520) 중 눈(1530)을 선택할 수 있다. 전자 장치(101)는 3차원 아바타를 생성하기 위한 3차원 템플릿(1540)을 결정할 수 있다. 전자 장치(101)는 2차 이미지(1510)의 얼굴에 대응하는 외부 객체와 다른 3차원 템플릿(1540)을 선택할 수 있다. 예를 들어, 전자 장치(101)는 사용자 입력에 따라 3차원 아바타에 대응하는 3차원 템플릿을 결정할 수 있다. 3차원 템플릿(1540)이 얼굴에 대응하는 구성을 포함하지 않는 경우, 전자 장치(101)는 3차원 템플릿(1540)에 2차원 이미지(1510)에서 추출한 외부 객체의 얼굴을 적용하기 위해서, 3차원 템플릿(1540)의 매칭 영역을 선택할 수 있다. 전자 장치(101)는 3차원 템플릿(1550)의 제1 위치(1551)에 외부 객체의 얼굴 영역(1520)을 매칭시키도록 결정할 수 있다. 이때, 전자 장치(101)은 외부 객체의 얼굴 영역(1520)이 템플릿(1550)상에 매칭될 수 있는 후보 영역을 표시하고, 이를 선택하는 동작을 더 포함할 수 있다. 예컨대, 상기 후보 영역은 상기 템플릿(1550)상에 외부 객체의 얼굴 영역(1520)이 템플릿(1550)상에 배치될 수 있는 조건(예: 템플릿의 크기, 형상)을 만족하는 위치인지 판별하는 동작)을 더 포함할 수 있다. 한 실시예에 따르면, 상기 템플릿(1550)은 매칭될 외부 객체의 얼굴 영역(1520)에 기반하여 형상이 변형될 수 있다. 예를 들어, 전자 장치(101)은 3차원 템플릿(1540)의 제1 위치(1551)에 매칭되지 않은 얼굴 영역(1520)의 일부(예: 귀)에 맞추어 변형되거나 유사도가 높은 다른 3차원 템플릿(미도시)를 결정할 수 있다.
전자 장치(101)는 3차원 템플릿(1540)의 제1 위치(1551)에 얼굴 영역(1520)의 속성 값을 적용할 수 있다. 전자 장치(101)는 3차원 템플릿(1540)에 외부 객체(1510)의 속성을 적용한 3차원 그래픽 객체(1560)를 표시할 수 있다. 전자 장치(101)는 3차원 그래픽 객체(1560) 중 표현 속성을 적용하기 위해 선택된 대상에 정해진 표현 속성을 적용할 수 있다. 전자 장치(101)는 3차원 그래픽 객체(1560) 중 선택된 눈(1571)에 웃는 표현 속성을 적용하여, 3차원 아바타(1570)를 생성할 수 있다. 한 실시 예에 따르면, 전자 장치(101)는 3차원 그래픽 객체(1560) 중 표현 속성을 적용하기 위해 대상 선택 및 표현 속성 선택시, 카메라 모듈(180)을 통해 추가로 수신한 얼굴(예: 사람이나 동물, 캐릭터 얼굴) 영상으로부터 얼굴 구성 요소의 속성을 검출하고, 이에 기반(예: 속성 변화 검출)하여 최소 하나 이상의 대상(예: 외부 3차원 그래픽 객체(1560)의 구성요소(예: 눈(1571)) 및 상기 대상에 대응하는 표현 속성을 결정하여, 3차원 아바타(1570)를 생성할 수 있다.
도 16 및 도 17은 다양한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 프로세서(120))가 사물을 포함하는 2차원 이미지에 기반하여 생성한 3차원 그래픽 객체에 관련된 속성을 예시한다. 전자 장치(101)는 3차원 그래픽 객체에 적용할 수 있는 그래픽 속성을 생성할 수 있다.
도 16을 참조하면, 전자 장치(101)는 3차원 그래픽 객체에 적용할 수 있는 사물(1601)을 포함하는 2차원 이미지를 획득할 수 있다. 전자 장치(101)는 카메라(예: 도 1의 카메라 모듈(180))을 이용하여 획득한 2차원 이미지에 기반하여, 3차원 그래픽 객체에 적용할 수 있는 하나 이상의 속성을 생성할 수 있다. 3차원 그래픽 객체에 적용할 수 있는 하나 이상의 속성은, 예를 들어, 성별, 인종, 연령, 매력도, 표정, 헤어 색상, 가르마, 헤어 길이, 광대, 얼굴형, 피부톤, 눈의 위치, 눈의 크기, 눈썹 길이, 눈썹 모양, 눈썹 크기, 코의 길이, 코의 위치, 코의 모양, 입술의 모양, 입술 색상, 입술 길이, 모자, 안경, 귀걸이, 목걸이, 립스틱 색상, 또는 넥타이 모양 중 적어도 하나를 포함할 수 있다. 전자 장치(101)는 디스플레이(예: 도 1의 표시 장치(160))를 통해 상기 3차원 그래픽 객체에 적용할 수 있는 하나 이상의 속성을 생성하는 동작을 설명하기 위한 가이드 정보를 제공할 수 있다. 예를 들어, 전자 장치(101)는 상기 3차원 그래픽 객체에 적용할 수 있는 하나 이상의 속성에 대한 리스트를 상기 디스플레이(160)를 통해 제공할 수 있다. 전자 장치(101)는 사용자 입력에 의해 선택된 속성을 생성하기 위해, 카메라 촬영에 대한 가이드 정보를 상기 디스플레이(160)를 통해 제공할 수 있다. 전자 장치(101)는, 예를 들어, 안경 속성을 생성하기 위해 "안경을 화면의 중심에 촬영해주세요"와 같은 가이드 정보를 제공할 수 있다. 전자 장치(101)는 카메라(180)를 이용하여 안경을 포함하는 2차원 이미지(1601)를 획득할 수 있다. 전자 장치(101)는 상기 2차원 이미지(1601)에서 추출한 안경에 대응하는 3차원 템플릿(1602)을 결정할 수 있다. 전자 장치(101)는 2차원 이미지(1601)에서 추출한 사물에 대응하는 3차원 템플릿을 결정하기 위해서, 외부 전자 장치 또는 서버로부터 2차원 이미지(1601)에서 추출한 사물과 관련된 적어도 하나의 3차원 템플릿을 요청 및 수신할 수 있다. 예를 들어, 전자 장치(101)는 사물에 대한 이름을 검색하여 3차원 템플릿을 획득할 수 있다. 전자 장치(101)는 2차원 이미지(1601)에서 추출한 안경에 기반하여, 안경에 관련된 속성을 추출하고, 3차원 템플릿(1602)에 추출한 안경의 속성 값을 적용하여 그래픽 속성(1603)을 생성할 수 있다. 전자 장치(101)는 상기 생성된 그래픽 속성(1603)을 그래픽 속성 리스트 영역에 표시할 수 있다. 전자 장치(101)는 사용자에게 미리보기를 제공하기 위해 상기 생성된 그래픽 속성(1603)을 3차원 그래픽 객체(1604)에 적용하여 표시할 수 있다. 전자 장치(101)는 상기 생성된 그래픽 속성(1603)을 수정 또는 삭제하는 기능을 제공할 수 있다. 전자 장치(101)는 상기 생성된 그래픽 속성(1603)을 수정하기 위해, 카메라(180)를 이용하여 다른 2차원 이미지를 획득하도록 할 수 있다. 전자 장치(101)는 상기 생성된 그래픽 속성(1603)을 수정하기 위해, 상기 안경에 대응하는 상기 3차원 템플릿(1602)을 변경할 수 있다.
도 17을 참조하면, 전자 장치(101)는 3차원 그래픽 객체에 적용할 수 있는 속성(1701)을 포함하는 2차원 이미지(1701)를 획득할 수 있다. 전자 장치(101)는 2차원 이미지(1701)에서 속성을 추출할 수 있다. 3차원 그래픽 객체에 적용할 수 있는 속성은 색상, 무늬, 또는 형상을 포함할 수 있다. 예를 들어, 속성은 붉은 색의 체크 무늬일 수 있다. 전자 장치(101)는 2차원 이미지(1701)에서 추출한 속성을 적용할 3차원 템플릿(1702)를 선택할 수 있다. 전자 장치(101)는 상의 옷에 대응하는 3차원 템플릿(1702)를 선택할 수 있고, 전자 장치(101)는 추출한 속성을 선택된 3차원 템플릿(1702)에 적용하여, 그래픽 속성(1703)을 생성할 수 있다. 전자 장치(101)는 생성한 그래픽 속성(1703)을 디스플레이(160)를 통해 제공할 수 있고, 그래픽 속성(1703)이 선택되면, 3차원 그래픽 객체(1704)에 그래픽 속성(1703)을 적용하여 표시할 수 있다.
도 18은 다양한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 프로세서(120))가 얼굴에 대응하는 외부 객체 및 부가 객체를 포함하는 2차원 이미지에 기반하여 생성한 3차원 아바타를 예시한다. 전자 장치(101)는 2차원 이미지(1810)에 포함된 하나 이상의 외부 객체(1811, 1812, 1813)를 추출할 수 있다. 전자 장치(101)는 추출한 하나 이상의 외부 객체(1811, 1812, 1813)가 얼굴에 대응하는지 판단할 수 있다. 예를 들어, 전자 장치(101)는 제1 외부 객체(1811) 및 제2 외부 객체(1812)은 사람의 얼굴에 대응한다고 판단할 수 있고, 제3 외부 객체(1813)은 얼굴에 대응하지 않는다고 판단할 수 있다. 전자 장치(101)는 얼굴에 대응하지 않는 외부 객체를 포함하여 3차원 아바타를 생성할 수 있다. 전자 장치(101)는 하나 이상의 외부 객체가 정해진 부가 객체에 포함되는지 판단할 수 있다. 부가 객체는, 얼굴에 대응되지 않지만 3차원 아바타에 포함될 수 있는 객체를 나타내는 것으로, 예를 들어, 랜드마크, 캐릭터 또는 사용자가 지정한 객체가 될 수 있다. 전자 장치(101)는 2차원 이미지에 포함된 상기 하나 이상의 외부 객체가 랜드마크, 캐릭터, 또는 사용자가 지정한 객체에 해당하는 경우, 상기 외부 객체를 포함하여 3차원 아바타를 생성할 수 있다. 도 18을 참조하면, 2차원 이미지(1810)는 두 명의 사람과 에펠탑을 포함할 수 있다. 전자 장치(101)는 에펠탑을 부가 객체로 판단하고, 에펠탑을 포함하여 3차원 아바타를 생성할 수 있다. 전자 장치(101)는 상기 하나 이상의 외부 객체(1811, 1812, 1813) 중에서 얼굴에 대응하는 제1 외부 객체(1811), 얼굴에 대응하는 제2 외부 객체(1812) 및 부가 객체에 대응하는 외부 객체(1813)을 포함하여 3차원 아바타(1820)를 생성할 수 있다. 전자 장치(101)는 제1 외부 객체(1811), 제2 외부 객체(1812) 및 제3 외부 객체(1813)에 기반하여, 각각의 3차원 그래픽 객체를 생성하고, 3차원 그래픽 객체들에 적용될 수 있는 그래픽 속성을 결정하여 3차원 아바타(1820)를 생성할 수 있다. 전자 장치(101)는 제1 외부 객체(1811), 제2 외부 객체(1812) 및 제3 외부 객체(1813) 중 적어도 하나에 아바타의 표정, 아바타의 제스처, 배경 화면, 또는 애니메이션 효과를 적용하여 3차원 아바타(1820)를 생성할 수 있다. 예를 들어, 전자 장치(101)는 제1 외부 객체(1811)에 놀람 표정을 적용시키거나, 제2 외부 객체(1812)에 손가락 하트의 바디 제스처를 적용하거나, 또는 제3 외부 객체(1813)의 크기를 조절할 수 있다.
도 19a 내지 도 19b는 다양한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 프로세서(120))가 복수의 외부 객체에 기반하여 생성한 복수의 3차원 아바타를 포함하는 이미지를 생성하는 동작을 설명하기 위한 도면이고, 도 20은 다양한 실시예에 따르면, 3차원 아바타에 대한 표현 속성의 예시이다. 전자 장치(101)는 복수의 외부 객체를 포함하는 2차원 이미지에 기반하여, 얼굴에 대응하는 하나 이상의 외부 객체를 선택하고, 선택된 외부 객체들에 대응하는 3차원 아바타를 생성할 수 있다.
먼저 도 19a를 참조하면, 전자 장치(101)는 세 명의 사람 얼굴이 포함된 2차원 이미지(1910)를 획득할 수 있다. 전자 장치(101)는 2차원 이미지(1910)에서 하나 이상의 외부 객체를 추출하고, 추출된 외부 객체가 얼굴에 대응하는지 판단할 수 있다. 전자 장치(101)는 추출된 얼굴에 대응하는 외부 객체들(1911, 1912, 1913)을 지시하는 식별자들(예: 점선 사각형)을 2차원 이미지(1920)에 표시할 수 있다. 전자 장치(101)는 얼굴에 대응하는 제1 외부 객체(1911), 제2 외부 객체(1912) 및 제3 외부 객체(1913)에 대해서 순차적으로 3차원 아바타들을 생성할 수 있다. 전자 장치(101)는 복수의 외부 객체에 대응하는 복수의 3차원 아바타를 생성하기 위해서 하나 이상의 3차원 아바타들을 이용할 수 있다. 전자 장치(101)는 외부 객체에 대응하는 3차원 아바타를 선택하기 위해서, 하나 이상의 3차원 아바타들을 디스플레이(160)를 통해 제공하고, 사용자 입력에 따라 선택된 3차원 아바타를 외부 객체에 대응하는 것으로 결정할 수 있다. 전자 장치(101)는 복수의 외부 객체들 중 입력 장치(150)을 수신한 사용자 입력을 통해 제1 외부 객체(1931)가 선택된 것에 대응하여, 선택된 제1 외부 객체(1931)를 지시하는 식별자(예: 원형 도형)를 2차원 이미지(1930)에 표시할 수 있다. 전자 장치(101)는 선택된 제1 외부 객체(1931)에 대응될 수 있는 하나 이상의 3차원 아바타들(1935)을 표시할 수 있다. 상기 하나 이상의 3차원 아바타들(1935)은 카테고리에 따라 동물에 관련된 동물 3D set(19341) 및 여성 히어로에 관련된 woman set(19352)를 포함할 수 있다. 하나의 카테고리는 연관된 캐릭터별 표현 속성 Set을 포함하고, 각 캐릭터별 표현 속성 Set은 상기 캐릭터의 구성 요소(예: 몸체, 눈, 코, 입, 손, 발) 각각에 대해 상황에 대응하는 표현 속성 서브 Set(예: 표현 속성 Set(눈))을 포함할 수 있다.
전자 장치(101)는 2차원 이미지(1940)에서 하나 이상의 3차원 아바타들 중 제1 외부 객체(1941)에 대응하는 제1 3차원 아바타(1942)를 선택하여 표시할 수 있다. 전자 장치(101)는 제1 외부 객체(1911)의 얼굴과 바디 제스처에 관련된 속성 중 최소 하나 이상에 기반하여, 상기 얼굴과 바디 제스처 중 최소 하나 이상의 상황에 대응하는 표정이 반영된 제1 3차원 아바타를 생성할 수 있다.
도 20을 참조하면, 하나 이상의 3차원 아바타들(1920)은 정해진 상황에 따라 표정과 관련된 정해진 표현 속성을 포함할 수 있다. 전자 장치(101)는 하나 이상의 상황을 정의하고, 상황에 따라 3차원 아바타의 표정에 관련된 표현 속성을 정의할 수 있다. 3차원 아바타의 표현 속성은, 얼굴에 대응하는 눈, 코, 또는 입에 대한 모양 및 움직임을 포함할 수 있고, 얼굴 외의 구성에 대응하는, 머리, 귀, 팔, 다리, 또는 배에 대한 모양 및 움직임을 포함할 수 있다. 예를 들어, 전자 장치(101)는 일반 상황(2011)을 정의하고, 하나 이상의 아바타들에 대한 표현 속성(2021, 2031)을 정의할 수 있다.
도 19b를 참조하면, 전자 장치(101)는 제1 외부 객체(1941)의 웃는 표정에 대응하여, 웃는 표정 속성을 반영하여 제1 3차원 아바타를 생성할 수 있다. 전자 장치(101)는 2차원 이미지(1950) 중 제1 외부 객체(1951)에 대응하여 제1 3차원 아바타(1952)가 선택되는 것에 대응하여, 다른 외부 객체들에 대응한 3차원 아바타를 생성하기 위해 제1 3차원 아바타(1952)와 동일한 카테고리에 속하는 3차원 아바타들(1955)을 추천할 수 있다. 예를 들어, 제1 3차원 아바타(1952)가 동물에 관련된 카테고리에 속한 경우, 전자 장치(101)는 동물 3D set(1955)를 표시할 수 있다.
전자 장치(101)는 2차원 이미지(1960)에서 선택된 제2 외부 객체(1961)에 대응하여 제2 3차원 아바타(1962)를 선택하고, 순차로 2차원 이미지(1970)에서 선택된 제3 외부 객체(1971)에 대응하여 제3 3차원 아바타(1972)를 선택할 수 있다. 전자 장치(101)는 복수의 외부 객체들(1951, 1961, 1971)에 대응하여 선택된 복수의 3차원 아바타(1952, 1962, 1972)에 복수의 외부 객체들의 얼굴과 관련된 속성에 기반하여 선택된 표정 속성들을 적용한 3차원 아바타들(1981, 1982, 1983)을 포함하는 이미지(1980)를 생성할 수 있다.
다양한 실시 예에 따르면, 전자 장치(101)는 복수 개의 외부 객체가 있을 때, 선택한 외부 객체의 표정 속성 및 선택한 아바타 카테고리에 따라 다른 선택된 외부 객체를 위해 추천하여 표시하는 3차원 아바타들(1955)를 결정할 수 있다. 예컨대, 제1 인물이 웃는 표정이고, 제2 인물이 우는 표정인 경우, 제3 인물에 대응하는 외부 객체를 선택하면, 추천하는 3차원 아바타들(1955)의 표현 특성은 동일 카테고리에 포함되는 캐릭터들 중 웃음 또는 울음에 대응하는 3차원 아바타를 포함할 수 있다.도 21 및 도 22는 다양한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 또는 프로세서(120))가 영상 통화 기능에서 3차원 아바타를 생성하고, 생성된 3차원 아바타를 공유하는 동작을 설명하기 위한 도면이다. 전자 장치(101)는 영상 통화 기능을 제공할 수 있고, 영상 통화 화면에 표시된 외부 객체들 중 얼굴에 대응하는 외부 객체 대응하여 3차원 아바타를 생성할 수 있다. 전자 장치(101)는 영상 통화를 하는 상대방 전자 장치와 3차원 아바타를 공유할 수 있다.
도 21을 참조하면, 전자 장치(101)는 영상 통화 기능을 실행시키고, 영상 통화가 연결되면, (a)와 같이 영상 통화 화면(2101)이 표시될 수 있다. 전자 장치(101)는, 표시된 영상 통화 화면(2101)에서 하나 이상의 외부 객체들(2110, 2120)을 추출할 수 있고, 추출된 외부 객체들이 얼굴에 대응되는지 판단할 수 있다. 전자 장치(101)는 제1 외부 객체(2110) 및 제2 외부 객체들(2120)에 대응하여 순차대로 3차원 아바타를 생성할 수 있다. 도 21의 (b)를 참조하면, 전자 장치(101)는 제2 외부 객체(2120)에 대한 선택에 응답하여, 하나 이상의 3차원 아바타들(2130)을 표시할 수 있다. 도 21의 (c)를 참조하면, 전자 장치(101)는 사용자의 입력에 따라 선택된 제1 3차원 아바타(2131)을 제2 외부 객체(2120)에 대응하는 것으로 결정할 수 있다. 도 21의 (d)를 참조하면, 전자 장치(101)는 제1 외부 객체(2110)에 대한 선택에 응답하여, 제1 3차원 아바타에 기반하여 선택된 하나 이상의 3차원 아바타들(2140)을 표시할 수 있다.
전자 장치(101)는 하나 이상의 3차원 아바타들(2140) 중 선택된 제2 3차원 아바타(2132)를 제1 외부 객체(2110)에 대응하는 것으로 결정할 수 있다. 한 실시예에 따르면, 전자 장치(101)는 제1 외부 객체(2110)에 대한 선택에 응답하여, 제1 3차원 아바타에 기반하여 선택된 하나 이상의 3차원 아바타들(2140)을 상대방 전자 장치에 전송할 수 있다. 상대방 전자 장치는 전자 장치(101)이 전송한 제1 3차원 아바타에 기반하여 선택된 하나 이상의 3차원 아바타들(2140)을 수신하여, 영상 통화 화면(2210)에 표시하고, 이 중 하나(예: 3차원 아바타(2132)를 선택하는 동작을 수행할 수 있다. 전자 장치(101)는 상대방 전자 장치가 선택한 3차원 아바타(2132)에 대응하는 신호를 수신할 수 있다.
한 실시예에 따르면, 전자 장치(101)은 먼저 선택된 외부 객체(2120)에 대응하여 선택된 아바타(2131)의 카테고리 혹은 표정 속성에 기반하여, 이후 선택된 외부 객체(2110)에 대응하여 동일한 카테고리 혹은 표정 속성의 3차원 아바타들(2130)을 결정하여 표시할 수 있다.
도 21의 (e)를 참조하면, 전자 장치(101)는 영상 통화 화면에서 외부 객체에 대응하는 3차원 아바타들(2111, 2121)을 표시하여 제공할 수 있다.
도 22의 (a)를 참조하면, 전자 장치(101)는 상대방 전자 장치와 영상 통화를 하는 경우, 전자 장치(101)의 영상 통화 화면(2210)에 사용자에 대응하는 외부 객체(2211) 및 상대방에 대응하는 외부 객체(2212)를 표시할 수 있고, 상대방 전자 장치의 영상 통화 화면(2220)에 상대방에 대응하는 외부 객체(2221) 및 사용자에 대응하는 외부 객체(2222)를 표시할 수 있다. 이때, 상대방 전자 장치도 외부 객체를 선택하거나 이에 대응하는 3차원 아바타들을 표시하고, 선택하는 동작을 수행할 수 있다. 이를 위해 표시되는 표시자 및 3차원 아바타들을 전자 장치(101)이 상대방 전자 장치에 전송할 수 있다. 도 22의 (b)를 참조하면, 전자 장치(101)는 사용자에 대응하는 외부 객체(2211) 및 상대방에 대응하는 외부 객체(2212)에 대응하는 3차원 아바타들을 생성할 수 있다. 전자 장치(101)는 영상 통화 화면(2230)에 상기 생성한 3차원 아바타들(2231, 2232)를 표시할 수 있고, 상대방 전자 장치에 3차원 아바타들(2231, 2232)를 전송할 수 있다. 상대방 전자 장치는 수신한 3차원 아바타들(2241, 2242)을 영상 통화 화면(2240)에 표시할 수 있다.다양한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101))에 있어서, 카메라(예: 도 1의 카메라 모듈(180)), 디스플레이(예: 도 1의 표시 장치(160)), 및 프로세서(예: 도 1의 프로세서(120))를 포함하고, 상기 프로세서(120)는, 상기 카메라(180)를 이용하여, 하나 이상의 외부 객체들에 대한 제1 이미지를 획득하고, 상기 제1 이미지에 포함된 상기 하나 이상의 외부 객체들 중 얼굴에 대응하는 외부 객체와 관련된 속성에 기반하여 생성된 3 차원 그래픽 객체를 상기 디스플레이(160)를 통해 제공하고, 상기 3 차원 그래픽 객체에 적용될 수 있는 복수의 그래픽 속성들 중 선택된 적어도 하나의 그래픽 속성 및 상기 3차원 그래픽 객체에 적어도 기반하여, 상기 외부 객체에 대한 3 차원 아바타를 생성하고, 및 상기 3 차원 아바타를 이용하여 지정된 표정 또는 모션이 반영된 적어도 하나의 객체를 포함하는 제2 이미지를 생성할 수 있다. 일실시예에 따라, 상기 프로세서(120)는, 상기 3차원 그래픽 객체를 생성하는 동작의 적어도 일부로, 상기 외부 객체에 대응하는 적어도 하나의 속성을 포함하는 3차원 템플릿을 결정하고, 상기 제1 이미지로부터 상기 외부 객체와 관련된 속성을 추출하고, 및 상기 추출된 속성을 상기 3차원 템플릿의 대응되는 상기 적어도 하나의 속성에 적용시켜 상기 3차원 그래픽 객체를 생성할 수 있다. 일실시예에 따라, 상기 프로세서(120)는, 상기 제1 이미지로부터 상기 외부 객체와 관련된 속성을 추출하는 동작의 적어도 일부로, 상기 제1 이미지로부터 얼굴을 구성하는 적어도 하나의 요소를 추출하고, 상기 각 요소의 형태, 색상, 각 요소간 상태적 위치, 각 요소간 상대적 크기 비율 또는 각 요소의 액세서리에 대한 속성 값을 확인할 수 있다. 일실시예에 따라, 상기 프로세서(120)는, 상기 추출된 속성과 무관한 상기 3차원 템플릿의 속성에 대해서, 상기 3차원 템플릿에 정해진 속성을 적용하여 상기 3차원 그래픽 객체를 생성할 수 있다. 일실시예에 따라, 상기 프로세서(120)는, 상기 얼굴에 대응하는 외부 객체와 다른 3차원 템플릿을 결정할 수 있다. 일실시예에 따라, 상기 객체는, 상기 아바타의 표정, 상기 아바타의 제스처, 배경화면, 또는 애니메이션 효과에 대응하여 결정될 수 있고, 상기 프로세서(120)는, 상기 3차원 아바타를 이용하여 상기 지정된 표정 또는 모션이 반영된 적어도 하나의 객체를 포함하는 상기 제2 이미지를 생성하는 동작의 적어도 일부로, 상기 3차원 아바타를 이용하여 상기 아바타의 표정, 상기 아바타의 제스처, 배경화면, 또는 애니메이션 효과 중 적어도 하나에 대하여 지정된 값이 반영된 적어도 하나의 객체를 생성할 수 있다. 일실시예에 따라, 상기 프로세서(120)는, 상기 하나 이상의 외부 객체들 중 제1 외부 객체에 대하여, 사용자 입력에 따라 얼굴에 대응하는 적어도 하나의 구성을 상기 제1 외부 객체의 구성에 대응시킬 수 있다. 일실시예에 따라, 상기 프로세서(120)는, 상기 하나 이상의 외부 객체들 중 정해진 조건을 만족하는 제1 외부 객체에 기반하여, 상기 그래픽 속성을 생성할 수 있다. 일실시예에 따라, 상기 프로세서(120)는, 상기 제1 외부 객체에 대응하는 3차원 템플릿 또는 사용자 입력에 따라 정해진 3차원 템플릿을 결정하고, 상기 결정된 3차원 템플릿에 상기 제 외부 객체의 속성을 적용하여 상기 그래픽 속성을 생성할 수 있다. 일실시예에 따라, 상기 프로세서(120)는, 상기 하나 이상의 외부 객체들 중 얼굴에 대응하지 않는 부가 객체를 선택하고, 상기 선택된 부가 객체를 포함하여 상기 3차원 아바타를 생성할 수 있다. 일실시예에 따라, 상기 프로세서(120)는, 상기 생성된 제2 이미지를 외부 전자 장치에 전송할 수 있다. 일실시예에 따라, 상기 제1 이미지는 2차원 이미지에 해당할 수 있고, 상기 제2 이미지는 정지 영상 또는 움직이는 영상의 2차원 이미지에 해당할 수 있다.
다양한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101))에 있어서, 카메라(예: 도 1의 카메라 모듈(180)), 및 프로세서(예: 도 1의 프로세서(120))를 포함하고, 상기 프로세서(120)는, 상기 카메라(180)를 이용하여, 하나 이상의 외부 객체들에 대한 제1 이미지를 획득하고, 상기 제1 이미지에 포함된 상기 하나 이상의 외부 객체들 중 얼굴에 대응하는 외부 객체에 기반하여, 하나 이상의 3차원 아바타들 중 상기 외부 객체에 대응하는 3차원 아바타를 선택하고, 및 상기 외부 객체의 상기 얼굴에 대응하는 표정이 반영된 상기 3차원 아바타를 이용하여 생성한 객체를 포함하는 제2 이미지를 생성할 수 있다. 일실시예에 따라, 통신 모듈(예: 도 1의 통신 모듈(190))을 더 포함하고, 상기 프로세서(120)는 상기 통신 모듈(190)을 통해 상기 하나 이상의 3차원 아바타들을 수신할 수 있다. 일실시예에 따라, 상기 프로세서(120)는, 하나 이상의 상황에 대응하여 정해진 얼굴의 표정에 관련된 표현 속성들 중 상기 외부 객체의 상기 얼굴에 대응하는 표정에 기반하여 선택된 제1 표현 속성을 상기 3차원 아바타에 반영할 수 있다. 일실시예에 따라, 상기 하나 이상의 상황에 대응하여 정해진 얼굴의 표정에 관련된 표현 속성들은 눈, 코, 또는 입에 대응하여 정의될 수 있다. 일실시예에 따라, 상기 객체는, 아바타의 표정, 아바타의 제스처, 배경화면, 또는 애니메이션 효과를 포함할 수 있다.
다양한 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101))에 있어서, 카메라(예: 도 1의 카메라 모듈(180)), 및 프로세서(예: 도 1의 프로세서(120))를 포함하고, 상기 프로세서(120)는, 상기 카메라(180)를 이용하여, 하나 이상의 외부 객체들에 대한 제1 이미지를 획득하고, 상기 제1 이미지에 포함된 상기 하나 이상의 외부 객체들 중 얼굴에 대응하는 외부 객체를 포함하는지 여부를 확인하고, 상기 얼굴에 대응하는 상기 외부 객체를 포함하는 경우, 상기 외부 객체와 관련된 속성에 기반하여 3차원 아바타를 생성하고, 및 상기 얼굴에 대응하는 상기 외부 객체를 포함하지 않는 경우, 상기 3차원 아바타를 생성하는 동작을 삼가도록 설정될 수 있다. 일실시예에 따라, 디스플레이(예: 도 1의 표시 장치(160))를 더 포함하고, 상기 프로세서(120)는, 상기 디스플레이(160)를 통해 상기 하나 이상의 외부 객체들 중 얼굴에 대응하는 상기 외부 객체가 포함되는지 여부를 제공할 수 있다.
그리고 본 문서에 개시된 실시예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 개시의 범위를 한정하는 것은 아니다. 따라서, 본 개시의 범위는, 본 개시의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시예를 포함하는 것으로 해석되어야 한다.

Claims (20)

  1. 전자 장치에 있어서,
    카메라;
    디스플레이; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 카메라를 이용하여, 하나 이상의 외부 객체들에 대한 제1 이미지를 획득하고,
    상기 제1 이미지에 포함된 상기 하나 이상의 외부 객체들 중 얼굴에 대응하는 외부 객체와 관련된 속성에 기반하여 생성된 3 차원 그래픽 객체를 상기 디스플레이를 통해 제공하고,
    상기 3 차원 그래픽 객체에 적용될 수 있는 복수의 그래픽 속성들 중 선택된 적어도 하나의 그래픽 속성 및 상기 3차원 그래픽 객체에 적어도 기반하여, 상기 외부 객체에 대한 3 차원 아바타를 생성하고, 및
    상기 3 차원 아바타를 이용하여 지정된 표정 또는 모션이 반영된 적어도 하나의 객체를 포함하는 제2 이미지를 생성하도록 설정된 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는, 상기 3차원 그래픽 객체를 생성하는 동작의 적어도 일부로,
    상기 외부 객체에 대응하는 적어도 하나의 속성을 포함하는 3차원 템플릿을 결정하고,
    상기 제1 이미지로부터 상기 외부 객체와 관련된 속성을 추출하고, 및
    상기 추출된 속성을 상기 3차원 템플릿의 대응되는 상기 적어도 하나의 속성에 적용시켜 상기 3차원 그래픽 객체를 생성하도록 설정된 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는, 상기 제1 이미지로부터 상기 외부 객체와 관련된 속성을 추출하는 동작의 적어도 일부로,
    상기 제1 이미지로부터 얼굴을 구성하는 적어도 하나의 요소를 추출하고, 상기 각 요소의 형태, 색상, 각 요소간 상대적 위치, 각 요소간 상대적 크기 비율 또는 각 요소의 액세서리에 대한 속성 값을 확인하는 동작을 포함하도록 설정된 전자 장치.
  4. 제2항에 있어서,
    상기 프로세서는, 상기 추출된 속성과 무관한 상기 3차원 템플릿의 속성에 대해서, 상기 3차원 템플릿에 정해진 속성을 적용하여 상기 3차원 그래픽 객체를 생성하도록 설정된 전자 장치.
  5. 제2항에 있어서,
    상기 프로세서는, 상기 얼굴에 대응하는 외부 객체와 다른 3차원 템플릿을 결정하도록 설정된 전자 장치.
  6. 제1항에 있어서,
    상기 객체는, 상기 아바타의 표정, 상기 아바타의 제스처, 배경화면, 또는 애니메이션 효과에 대응하여 결정되고,
    상기 프로세서는, 상기 3차원 아바타를 이용하여 상기 지정된 표정 또는 모션이 반영된 적어도 하나의 객체를 포함하는 상기 제2 이미지를 생성하는 동작의 적어도 일부로,
    상기 3차원 아바타를 이용하여 상기 아바타의 표정, 상기 아바타의 제스처, 배경화면, 또는 애니메이션 효과 중 적어도 하나에 대하여 지정된 값이 반영된 적어도 하나의 객체를 생성하는 동작을 포함하도록 설정된 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는, 상기 하나 이상의 외부 객체들 중 제1 외부 객체에 대하여, 사용자 입력에 따라 얼굴에 대응하는 적어도 하나의 구성을 상기 제1 외부 객체의 구성에 대응시키도록 설정된 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는, 상기 하나 이상의 외부 객체들 중 정해진 조건을 만족하는 제1 외부 객체에 기반하여, 상기 그래픽 속성을 생성하도록 설정된 전자 장치.
  9. 제8항에 있어서,
    상기 프로세서는, 상기 제1 외부 객체에 대응하는 3차원 템플릿 또는 사용자 입력에 따라 정해진 3차원 템플릿을 결정하고, 상기 결정된 3차원 템플릿에 상기 제 외부 객체의 속성을 적용하여 상기 그래픽 속성을 생성하도록 설정된 전자 장치.
  10. 제1항에 있어서,
    상기 프로세서는, 상기 하나 이상의 외부 객체들 중 얼굴에 대응하지 않는 부가 객체를 선택하고, 상기 선택된 부가 객체를 포함하여 상기 3차원 아바타를 생성하도록 설정된 전자 장치.
  11. 제1항에 있어서,
    상기 프로세서는,
    상기 생성된 제2 이미지를 외부 전자 장치에 전송하도록 설정된 전자 장치.
  12. 제1항에 있어서,
    상기 제1 이미지는 2차원 이미지인 전자 장치.
  13. 제1항에 있어서,
    상기 제2 이미지는 정지 영상 또는 움직이는 영상의 2차원 이미지인 전자 장치.
  14. 전자 장치에 있어서,
    카메라; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 카메라를 이용하여, 하나 이상의 외부 객체들에 대한 제1 이미지를 획득하고,
    상기 제1 이미지에 포함된 상기 하나 이상의 외부 객체들 중 얼굴에 대응하는 외부 객체에 기반하여, 하나 이상의 3차원 아바타들 중 상기 외부 객체에 대응하는 3차원 아바타를 선택하고, 및
    상기 외부 객체의 상기 얼굴에 대응하는 표정이 반영된 상기 3차원 아바타를 이용하여 생성한 객체를 포함하는 제2 이미지를 생성하도록 설정된 전자 장치.
  15. 제14항에 있어서,
    통신 모듈을 더 포함하고,
    상기 프로세서는 상기 통신 모듈을 통해 상기 하나 이상의 3차원 아바타들을 수신하도록 설정된 전자 장치.
  16. 제14항에 있어서,
    상기 프로세서는, 하나 이상의 상황에 대응하여 정해진 얼굴의 표정에 관련된 표현 속성들 중 상기 외부 객체의 상기 얼굴에 대응하는 표정에 기반하여 선택된 제1 표현 속성을 상기 3차원 아바타에 반영하도록 설정된 전자 장치.
  17. 제16항에 있어서,
    하나 이상의 상황에 대응하여 정해진 얼굴의 표정에 관련된 표현 속성들은 얼굴을 구성하는 적어도 하나의 요소에 대하여 각 요소의 형태, 색상, 각 요소간 상대적 위치, 각 요소간 상대적 크기 비율 또는 각 요소의 액세서리에 대한 속성 값 중 적어도 하나 이상을 포함하는 전자 장치.
  18. 제14항에 있어서,
    상기 객체는, 아바타의 표정, 아바타의 제스처, 배경화면, 또는 애니메이션 효과를 포함하는 전자 장치.
  19. 전자 장치에 있어서,
    카메라; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 카메라를 이용하여, 하나 이상의 외부 객체들에 대한 제1 이미지를 획득하고,
    상기 제1 이미지에 포함된 상기 하나 이상의 외부 객체들 중 얼굴에 대응하는 외부 객체를 포함하는지 여부를 확인하고,
    상기 얼굴에 대응하는 상기 외부 객체를 포함하는 경우, 상기 외부 객체와 관련된 속성에 기반하여 3차원 아바타를 생성하고, 및
    상기 얼굴에 대응하는 상기 외부 객체를 포함하지 않는 경우, 상기 3차원 아바타를 생성하는 동작을 삼가도록 설정된 전자 장치.
  20. 제19항에 있어서,
    디스플레이를 더 포함하고,
    상기 프로세서는, 상기 디스플레이를 통해 상기 하나 이상의 외부 객체들 중 얼굴에 대응하는 상기 외부 객체가 포함되는지 여부를 제공하도록 설정된 전자 장치.
KR1020180022262A 2018-02-23 2018-02-23 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법 KR102661019B1 (ko)

Priority Applications (10)

Application Number Priority Date Filing Date Title
KR1020180022262A KR102661019B1 (ko) 2018-02-23 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법
CN201980014673.3A CN111742351A (zh) 2018-02-23 2019-02-20 用于生成包括通过与面部相对应的3d化身反映面部运动的3d化身的图像的电子设备及操作其的方法
PCT/KR2019/002075 WO2019164266A1 (en) 2018-02-23 2019-02-20 Electronic device for generating image including 3d avatar reflecting face motion through 3d avatar corresponding to face and method of operating same
US16/281,561 US10977873B2 (en) 2018-02-23 2019-02-21 Electronic device for generating image including 3D avatar reflecting face motion through 3D avatar corresponding to face and method of operating same
JP2019030708A JP2019145108A (ja) 2018-02-23 2019-02-22 顔に対応する3次元アバターを用いて顔の動きが反映された3dアバターを含むイメージを生成する電子装置
EP19159048.8A EP3531377A1 (en) 2018-02-23 2019-02-25 Electronic device for generating an image including a 3d avatar reflecting face motion through a 3d avatar corresponding to a face
EP22190274.5A EP4109408A1 (en) 2018-02-23 2019-02-25 Electronic device for generating image including 3d avatar reflecting face motion through 3d avatar corresponding to face and method of operating same
US17/194,837 US11798246B2 (en) 2018-02-23 2021-03-08 Electronic device for generating image including 3D avatar reflecting face motion through 3D avatar corresponding to face and method of operating same
US18/452,883 US20230394775A1 (en) 2018-02-23 2023-08-21 Electronic device for generating image including 3d avatar reflecting face motion through 3d avatar corresponding to face and method of operating same
JP2024000538A JP2024028390A (ja) 2018-02-23 2024-01-05 顔に対応する3次元アバターを用いて顔の動きが反映された3dアバターを含むイメージを生成する電子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180022262A KR102661019B1 (ko) 2018-02-23 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20190101835A true KR20190101835A (ko) 2019-09-02
KR102661019B1 KR102661019B1 (ko) 2024-04-26

Family

ID=

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144252A (zh) * 2019-12-17 2020-05-12 北京深测科技有限公司 一种用于人流分析的监控预警方法
WO2023243871A1 (ko) * 2022-06-17 2023-12-21 삼성전자 주식회사 컨텍스트 정보에 기초하여 아바타를 제공하는 전자 장치 및 그 동작 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144252A (zh) * 2019-12-17 2020-05-12 北京深测科技有限公司 一种用于人流分析的监控预警方法
CN111144252B (zh) * 2019-12-17 2023-09-05 北京深测科技有限公司 一种用于人流分析的监控预警方法
WO2023243871A1 (ko) * 2022-06-17 2023-12-21 삼성전자 주식회사 컨텍스트 정보에 기초하여 아바타를 제공하는 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
US20190266807A1 (en) 2019-08-29
EP4109408A1 (en) 2022-12-28
EP3531377A1 (en) 2019-08-28
WO2019164266A1 (en) 2019-08-29
JP2024028390A (ja) 2024-03-04
US20210192858A1 (en) 2021-06-24
US20230394775A1 (en) 2023-12-07
US10977873B2 (en) 2021-04-13
JP2019145108A (ja) 2019-08-29
CN111742351A (zh) 2020-10-02
US11798246B2 (en) 2023-10-24

Similar Documents

Publication Publication Date Title
US11798246B2 (en) Electronic device for generating image including 3D avatar reflecting face motion through 3D avatar corresponding to face and method of operating same
US20200402304A1 (en) Electronic device and method for managing custom object on basis of avatar
KR102530264B1 (ko) 아바타에 대응하는 속성에 따른 아이템을 제공하는 방법 및 장치
US11657575B2 (en) Generating augmented reality content based on third-party content
CN113569614A (zh) 虚拟形象生成方法、装置、设备及存储介质
US20210382544A1 (en) Presenting avatars in three-dimensional environments
CN113362263B (zh) 变换虚拟偶像的形象的方法、设备、介质及程序产品
EP3913902A1 (en) Electronic device and method of providing user interface for emoji editing while interworking with camera function by using said electronic device
KR20200092207A (ko) 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법
EP4315265A1 (en) True size eyewear experience in real-time
KR102661019B1 (ko) 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법
KR20200046417A (ko) 보정 이미지 기반 아바타 생성 방법 및 장치
KR102661381B1 (ko) 액세서리의 장착이 가능한 로봇의 동작 제어 방법 및 장치
US20220206582A1 (en) Media content items with haptic feedback augmentations
US20240071007A1 (en) Multi-dimensional experience presentation using augmented reality
US20220206584A1 (en) Communication interface with haptic feedback response
US20220377309A1 (en) Hardware encoder for stereo stitching
US20220373791A1 (en) Automatic media capture using biometric sensor data
WO2022246373A1 (en) Hardware encoder for stereo stitching
CN117041670A (zh) 图像处理方法及相关设备
WO2022245831A1 (en) Automatic media capture using biometric sensor data
CN117351105A (zh) 图像编辑方法、终端和电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)