KR20220116440A - 증강 현실 기반 디스플레이 방법, 기기, 저장매체 및 프로그램 제품 - Google Patents

증강 현실 기반 디스플레이 방법, 기기, 저장매체 및 프로그램 제품 Download PDF

Info

Publication number
KR20220116440A
KR20220116440A KR1020227018309A KR20227018309A KR20220116440A KR 20220116440 A KR20220116440 A KR 20220116440A KR 1020227018309 A KR1020227018309 A KR 1020227018309A KR 20227018309 A KR20227018309 A KR 20227018309A KR 20220116440 A KR20220116440 A KR 20220116440A
Authority
KR
South Korea
Prior art keywords
image
target object
real
time scene
virtual shape
Prior art date
Application number
KR1020227018309A
Other languages
English (en)
Other versions
KR102593043B1 (ko
Inventor
즈시옹 루
지하오 첸
Original Assignee
베이징 지티아오 네트워크 테크놀로지 컴퍼니, 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202110182060.XA external-priority patent/CN112884908A/zh
Application filed by 베이징 지티아오 네트워크 테크놀로지 컴퍼니, 리미티드 filed Critical 베이징 지티아오 네트워크 테크놀로지 컴퍼니, 리미티드
Publication of KR20220116440A publication Critical patent/KR20220116440A/ko
Application granted granted Critical
Publication of KR102593043B1 publication Critical patent/KR102593043B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

본 개시의 실시예는 증강 현실 기반 디스플레이 방법, 기기, 저장매체 및 프로그램 제품을 제공하는 바, 실시간 장면 영상을 획득하고; 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되면, 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득하되, 여기서 타겟 객체의 머리 영상은 타겟 객체의 얼굴 영상을 포함하고; 머리 영상을 기초로 타겟 객체의 가상 형상을 생성하고; 증강 현실 디스플레이 기술에 기반하여, 실시간 장면 영상에 타겟 객체의 가상 형상을 디스플레이한다. 본 실시예는 타겟 객체의 머리 영상을 획득하여 타겟 객체의 가상 형상을 생성함으로써, 가상 형상을 미리 설계해야 하고, 형상이 고정되고 단일한 문제를 방지하고, 사용자의 다양한 수요를 만족시키고, 증강 현실 기술을 통해 가상 형상을 실시간 장면 영상의 목표 위치에 디스플레이하여, 사용자가 증강 현실 기술을 사용하려는 의지와 사용 체험을 향상시킨다.

Description

증강 현실 기반 디스플레이 방법, 기기, 저장매체 및 프로그램 제품
본 개시의 실시예는 컴퓨터 및 네트워크 통신 기술분야에 관한 것으로, 특히 증강 현실 기반 디스플레이 방법, 기기, 저장매체 및 프로그램 제품에 관한 것이다.
본 출원은 2021년 02월 09일 중국 특허국에 출원한 출원 번호가202110182060.X이고, 발명의 명칭이 "증강 현실 기반 디스플레이 방법, 기기, 저장매체 및 프로그램 제품”인 중국 특허 출원의 우선권을 주장하며, 그 모든 내용은 인용을 통해 본문에 결합된다.
증강 현실 기술(Augmented Reality, AR로 약칭)은, 가상 정보와 현실 세계를 융합하는 기술로서, 멀티미디어, 3차원 모델링, 실시간 추적 및 등록, 스마트 인터랙션, 센싱 등 다양한 기술 수단을 광범위하게 사용하여, 컴퓨터에 의해 생성된 문자, 영상, 3차원 모델, 음악, 동영상 등 가상 정보를 시뮬레이션하여 현실 세계에 응용시키고, 두 가지 정보를 서로 보완하여, 현실 세계에 대한 “증강”을 구현한다. 증강 현실 기술의 발달로 다양한 산업에 모두 널리 응용되고 있다.
종래기술에서 AR 기술의 한 가지 응용은 만화 캐릭터 모델, 동물 모델 등과 같은 가상 모델을 현실 세계에 중첩하는 것이며, 다만 종래기술의 가상 모델은 일반적으로 고정된 것으로, 개발자에 의해 미리 설계된 가상 모델 형상이기에, 가상 모델은 형상이 상대적으로 단일하고 사용자의 다양한 수요를 충족시킬 수 없으므로 AR 기술을 사용하려는 사용자의 의지와 사용 체험에 영향을 미친다.
본 개시의 실시예는 증강 현실 기반 디스플레이 방법, 기기, 저장매체 및 프로그램 제품을 제공하여, 증강 현실 기반 디스플레이 방법, 기기 및 저장매체로 가상 모델 형상이 보다 단일하고, 사용자의 다양한 수요를 충족시키지 못하는 문제를 극복한다.
제1 측면에서, 본 개시의 실시예는 증강 현실 기반 디스플레이 방법을 제공하는 바,
실시간 장면 영상을 획득하는 단계;
상기 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되면, 상기 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득하되, 여기서 상기 타겟 객체의 머리 영상은 상기 타겟 객체의 얼굴 영상을 포함하는 단계;
상기 머리 영상을 기초로, 상기 타겟 객체의 가상 형상을 생성하는 단계;
증강 현실 디스플레이 기술에 기반하여, 상기 실시간 장면 영상에 상기 타겟 객체의 가상 형상을 디스플레이하는 단계를 포함한다.
제2 측면에서, 본 개시의 실시예는 증강 현실 기반 디스플레이 기기를 제공하는 바,
실시간 장면 영상을 획득하는 획득 유닛;
상기 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되는 경우, 상기 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득하되, 여기서 상기 타겟 객체의 머리 영상은 상기 타겟 객체의 얼굴 영상을 포함하는 영상 분할 유닛;
상기 머리 영상을 기초로, 상기 타겟 객체의 가상 형상을 생성하는 생성 유닛;
증강 현실 디스플레이 기술에 기반하여, 상기 실시간 장면 영상에 상기 타겟 객체의 가상 형상을 디스플레이하는 디스플레이 유닛을 포함한다.
제3 측면에서, 본 개시의 실시예는 전자기기를 제공하는 바, 적어도 하나의 프로세서와 메모리를 포함하고;
상기 메모리는 컴퓨터 실행 명령을 저장하고;
상기 적어도 하나의 프로세서는 상기 메모리에 저장된 컴퓨터 실행 명령을 실행하여, 상기 적어도 하나의 프로세서가 상술한 제1 측면 및 제1 측면의 다양한 가능한 설계에 따른 증강 현실 기반 디스플레이 방법을 실행하도록 한다.
제4 측면에서, 본 개시의 실시예는 컴퓨터 판독 가능 저장매체를 제공하는 바, 상기 컴퓨터 판독 가능 저장매체에 컴퓨터 실행 명령이 저장되어 있고, 프로세서가 상기 컴퓨터 실행 명령을 실행할 때, 상술한 제1 측면 및 제1 측면의 다양한 가능한 설계에 따른 증강 현실 기반 디스플레이 방법을 구현한다.
제5 측면에서, 본 개시의 실시예는 컴퓨터 명령을 포함하는 컴퓨터 프로그램 제품을 제공하는 바, 해당 컴퓨터 명령이 프로세서에 의해 실행될 때, 상술한 제1 측면 및 제1 측면의 다양한 가능한 설계에 따른 증강 현실 기반 디스플레이 방법을 구현한다.
제6 측면에서, 본 개시의 실시예는 컴퓨터 프로그램을 제공하는 바, 해당 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 상술한 제1 측면 및 제1 측면의 다양한 가능한 설계에 따른 증강 현실 기반 디스플레이 방법을 구현한다.
본 실시예에 따른 증강 현실 기반 디스플레이 방법, 기기, 저장매체 및 프로그램 제품은, 실시간 장면 영상을 획득하고; 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되면, 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득하되, 여기서 타겟 객체의 머리 영상은 타겟 객체의 얼굴 영상을 포함하고; 머리 영상을 기초로 타겟 객체의 가상 형상을 생성하고; 증강 현실 디스플레이 기술에 기반하여, 실시간 장면 영상에 타겟 객체의 가상 형상을 디스플레이한다. 본 실시예는 타겟 객체의 머리 영상을 획득하여 타겟 객체의 가상 형상을 생성함으로써, 가상 형상을 미리 설계해야 하고, 형상이 고정되고 단일한 문제를 방지하고, 사용자의 다양한 수요를 만족시킬 수 있으며, 증강 현실 기술을 통해 가상 형상을 실시간 장면 영상의 목표 위치에 디스플레이하여, 사용자가 증강 현실 기술을 사용하려는 의지와 사용 체험을 향상시킨다.
본 개시의 실시예 또는 종래기술에 따른 기술적 해결수단을 보다 명확하게 설명하기 위하여, 아래에서는 실시예 또는 종래기술을 설명하기 위해 필요한 첨부 도면을 간략하게 소개한다. 아래에서 설명되는 도면은 단지 본 개시의 일부 실시예일 뿐, 본 분야에서 통상의 지식을 가진 자가 진보적인 노력을 들이지 않고도 이러한 도면을 기초로 기타 도면을 얻을 수 있음은 자명하다.
도 1은 본 개시의 일 실시예에 따른 증강 현실 기반 디스플레이 방법의 흐름도이다.
도 2는 본 개시의 다른 실시예에 따른 증강 현실 기반 디스플레이 방법의 흐름도이다.
도 3a는 본 개시의 일 실시예에 따른 타겟 객체의 얼굴 영상을 포함하는 실시간 장면 영상의 도면이다.
도 3b는 본 개시의 일 실시예에 따른 얼굴 영상의 경계를 확정하는 도면이다.
도 3c는 본 개시의 일 실시예에 따른 타겟 객체의 가상 형상을 생성하는 도면이다.
도 3d는 본 개시의 일 실시예에 따른 실시간 장면 영상에 타겟 객체의 가상 형상을 디스플레이하는 도면이다.
도 4는 본 개시의 다른 실시예에 따른 증강 현실 기반 디스플레이 방법의 흐름도이다.
도 5는 본 개시의 다른 실시예에 따른 증강 현실 기반 디스플레이 방법의 흐름도이다.
도 6은 본 개시의 다른 실시예에 따른 증강 현실 기반 디스플레이 방법의 흐름도이다.
도 7은 본 개시의 실시예에 따른 증강 현실 기반 디스플레이 기기의 구조 블록도이다.
도 8은 본 개시의 실시예에 따른 전자기기의 하드웨어 구조도이다.
본 개시의 실시예의 목적, 기술방안과 장점이 더욱 분명하도록 하기 위하여, 이하, 본 개시의 실시예 중의 첨부된 도면을 결합하여 본 개시의 실시예 중의 기술방안에 대해 명확하고 완전하게 설명하며, 설명된 실시예는 본 개시의 일부분 실시예일 뿐 모든 실시예가 아님은 자명한 것이다. 본 개시의 실시예를 기초로, 본 기술분야에서 통상의 지식을 가진 자가 진보적인 노력을 들이지 않는 전제하에서 획득된 모든 기타 실시예는 모두 본 개시의 보호 범위에 속한다.
종래기술에서 AR 기술의 한 가지 응용은 만화 캐릭터 모델, 동물 모델 등과 같은 가상 모델을 현실 세계에 중첩하는 것으로, 사용자는 제스처 등 방식을 통해 가상 모델과 인터랙션을 수행할 수 있고, 가상 모델은 특정 응답을 할 수 있다.
종래기술의 AR 가상 모델은 일반적으로 고정된 것으로, 개발자에 의해 미리 설계된 가상 모델 형상이기에, 가상 모델 형상은 보다 단일하고 사용자의 다양한 수요를 충족시킬 수 없으므로 AR 기술을 사용하려는 사용자의 의지와 사용 체험에 영향을 미친다.
상술한 기술문제를 해결하기 위하여, 본 개시는 사용자에게 얼굴 영상에 기반하여 AR 가상 형상을 생성하는 방법을 제공하는 바, 사용자는 전자기기의 영상 수집 유닛을 통해 실시간 장면 영상을 수집하고, 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되면, 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득하되, 여기서 타겟 객체의 머리 영상은 타겟 객체의 얼굴 영상을 포함하고, 타겟 객체는 사람일 수 있으며, 선택적으로 고양이, 개 등과 같은 동물일 수도 있고; 그 다음 상기 머리 영상을 기초로, 타겟 객체의 가상 형상을 생성하며, 예를 들어 머리 영상에 지체가 생겨나고, 지체가 다양한 기설정 동작을 할 수 있으며; 나아가 증강 현실 디스플레이 기술에 기반하여, 실시간 장면 영상에 타겟 객체의 가상 형상을 디스플레이함으로써, AR 가상 형상을 미리 설계해야 하고, 형상이 고정되고 단일한 문제를 방지하고, 사용자의 수요에 따라 다양한 사람 또는 동물 등 타겟 객체의 AR 가상 형상을 생성할 수 있고, 사용자의 다양한 수요를 만족하고, AR 기술을 사용하려는 사용자의 의지와 사용 체험을 향상시킬 수 있다.
본 개시의 실시예는 AR 기능을 구비한 임의의 전자기기, 예를 들어 스마트 폰, 테블릿 PC, 웨어러블 기기 등에 적용할 수 있으며, 본 개시의 실시예의 응용 시나리오는 예를 들어, 전자기기가 영상 수집 유닛을 통해 실시간 장면 영상을 수집하고, 장면 영상 중의 타겟 객체의 머리 영상을 기초로 타겟 객체의 가상 형상을 생성하고, 본 개시의 각 실시예의 증강 현실의 디스플레이 방법을 거쳐, 최종적으로 타겟 물체에 대응되는 가상 형상을 실시간 장면에 증강 디스플레이하며, 여기서 증강 디스플레이는 증강 현실 디스플레이 기술에 기반하여, 타겟 객체의 가상 형상을 디스플레이하는 것을 포함하는 바, 예를 들어 실시간 장면 영상에 인물 A의 얼굴 영상이 포함되면, 본 개시의 실시예의 가상 형상 생성 방법을 통해 인물 A의 가상 형상을 생성하고, 인물 A의 머리 영상에 지체가 생겨나고, 지체가 다양한 기설정 동작을 할 수 있고, 본 개시의 각 실시예의 증강 현실의 디스플레이 방법을 거쳐, 인물 A의 가상 형상을 실시간 장면 영상에 증강 디스플레이하고, 나아가 애니메이션 형식을 통해 동적으로 디스플레이하여 인물 A의 가상 형상이 실시간 장면에서 움직이도록 할 수 있다.
도 1을 참조하면, 도 1은 본 개시의 실시예에 따른 증강 현실 기반 디스플레이 방법의 흐름도 1이다. 본 실시예의 방법은 AR 기능을 구비한 전자기기에 응용할 수 있으며, 해당 증강 현실 기반 디스플레이 방법은 아래의 단계를 포함한다.
S101, 실시간 장면 영상을 획득한다.
본 실시예에서, 전자기기의 영상 수집 유닛, 예컨대 카메라 등은 실시간 장면 영상을 수집하여 전자기기의 디스플레이 유닛에 디스플레이할 수 있고, 이로부터 사용자가 전자기기의 디스플레이 유닛에서 실시간으로 영상 수집 유닛에 의해 수집된 실시간 장면 영상을 볼 수 있도록 하며, 여기서 전자기기는 스마트 폰, 테블릿 PC, 웨어러블 기기 등을 포함하나 이에 한정되지 않는다.
S102, 상기 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되면, 상기 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득하되, 여기서 상기 타겟 객체의 머리 영상은 상기 타겟 객체의 얼굴 영상을 포함한다.
본 실시예에서, 실시간 장면 영상에는 타겟 객체의 얼굴 영상이 포함될 수 있으며, 여기서 타겟 객체는 사람의 얼굴 영상일 수 있고, 선택적으로, 예컨대 고양이, 개 등 동물의 얼굴 영상일 수도 있으며, 전자기기는 실시간 장면 영상에 대해 얼굴 검출을 수행하여, 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함된다는 것을 확정할 경우, 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득하되, 타겟 객체의 머리 영상은 타겟 객체의 얼굴 영상을 포함하고, 즉 타겟 객체의 머리 영상은 타겟 객체의 얼굴 영상을 포함하는 것 외에도, 타겟 객체의 얼굴을 제외한 머리카락 영상, 헤어 악세사리 영상 등도 포함할 수 있다. 여기서, 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득하는 과정은, 종래기술 중의 임의의 영상 분할 방법을 사용할 수 있으며, 예를 들어 사람 머리 영상 분할 알고리즘 등와 같이 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 분할해 내는 것을 구현할 수 있으면 가능하며, 여기서 한정하지 않을 수 있다. 선택 가능한 실시예에서, 타겟 객체의 머리 영상은 미리 촬영된 사진으로부터 획득하거나, 또는 기타 경로를 통해 획득할 수도 있다.
S103, 상기 머리 영상을 기초로, 상기 타겟 객체의 가상 형상을 생성한다.
본 실시예에서, 타겟 객체의 머리 영상을 획득한 후, 전자기기는 타겟 객체의 머리 영상을 기초로 타겟 객체의 가상 형상을 생성할 수 있으며, 여기서 가상 형상은 지체 및/또는 착용 물체를 구비할 수 있고, 지체 및/또는 착용 물체는 특정 동작을 취할 수 있으며, 예를 들어 타겟 객체의 머리 영상에 사지가 생겨나고, 사지는 달리기, 뛰기, 손을 흔듬, 물건을 흔드는 등 특정 동작을 할 수 있고, 또 예를 들어 타겟 객체의 머리 영상에 헤어 악세사리를 추가하고, 헤어 악세사리는 바람에 날리는 등과 같은 특정 동작을 나타낼 수 있다.
선택적으로, 상기 머리 영상을 기초로, 상기 타겟 객체의 가상 형상을 생성할 때, 머리 영상과 기설정된 애니메이션 소재를 합성하여, 상기 타겟 객체의 가상 형상을 생성할 수 있다.
다시 말하면, 본 실시예에서, 가상 형상의 지체 동작, 착용한 물체의 동작을 미리 설정하고, 상응한 애니메이션 소재를 생성하여, 후속의 합성 과정에 사용할 수 있으며, 즉, 머리 영상에 이러한 애니메이션 소재를 추가하여, 타겟 객체의 가상 형상을 획득하며, 해당 가상 형상은 애니메이션 소재의 재생에 따라 특정 동작을 수행할 수 있다.
S104, 증강 현실 디스플레이 기술에 기반하여, 상기 실시간 장면 영상에 상기 타겟 객체의 가상 형상을 디스플레이한다.
본 실시예에서, 타겟 객체의 가상 형상을 획득한 후, 전자기기는 증강 현실 기술을 통해, 타겟 객체의 가상 형상을 실시간 장면 영상에 디스플레이할 수 있으며, 다시 말하면 가상 형상을 증강 현실 기술을 통해 현실의 실시간 장면 영상에 중첩시켜, 증강 디스플레이 효과를 구현할 수 있다. 여기서 가상 형상을 실시간 장면 영상 중의 임의의 위치에 디스플레이할 수 있고, 예를 들어 실시간 장면 영상에서 검출된 임의의 평면 영역일 수 있고, 또는 사용자가 실시간 장면 영상에서 지정한 목표 위치일 수도 있으며, 본 실시예에서는 한정하지 않을 수 있다.
선택 가능한 실시예에서, 사용자는 획득된 타겟 객체의 머리 영상을 초기 위치에서 실시간 장면 영상 중의 특정 위치로 끌어 당겨 놓을 수 있으며, 나아가, 증강 현실 디스플레이 기술에 기반하여, 해당 위치에 타겟 객체의 가상 형상을 디스플레이하거나; 또는 먼저 복사된 타겟 객체의 머리 영상을 기초로 생성된 타겟 객체의 가상 형상을 디스플레하고, 다시 사용자의 드래깅 동작을 기초로 해당 가상 형상을 실시간 장면 영상 중의 특정 위치에 디스플레이할 수 있다.
일 실시예에서, 사용자는 또한 디스플레이된 가상 형상에 대해 회전, 축소/확대, 이동 등을 수행할 수 있다. 예를 들어, 사용자는 전자기기의 디스플레이 인터페이스 상에서 가상 형상에 대한 제어 명령을 보낼 수 있고, 제어 명령은 회전 제어 명령, 축소 제어 명령, 이동 제어 명령, 확대 제어 명령을 포함하지만 이에 한정되지 않으며, 전자기기는 사용자의 가상 형상에 대한 제어 명령에 응답하여, 해당 가상 형상에 대해 상응한 제어를 수행한다. 설명해야 할 바로는, 본 실시예의 회전은 임의의 상황에서의 가상 형상의 각도 변화를 포함할 수 있고, 이동은 임의의 상황에서의 가상 형상의 위치 변화를 포함할 수 있다. 축소/확대는 임의의 상황에서의 가상 형상의 크기 변화를 포함할 수 있다. 물론 본 실시예에서 사용자는 또한 해당 가상 형상과 더욱 많은 기타 인터랙션 과정을 수행할 수 있으며, 간명하게 하기 위하여, 여기서 일일이 설명하지 않는다.
본 실시예에 따른 증강 현실 기반 디스플레이 방법은, 실시간 장면 영상을 획득하고; 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되면, 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득하되, 여기서 타겟 객체의 머리 영상은 타겟 객체의 얼굴 영상을 포함하고; 머리 영상을 기초로 타겟 객체의 가상 형상을 생성하고; 증강 현실 디스플레이 기술에 기반하여, 실시간 장면 영상에 타겟 객체의 가상 형상을 디스플레이한다. 본 실시예는 타겟 객체의 머리 영상을 획득하여 타겟 객체의 가상 형상을 생성함으로써, 가상 형상을 미리 설계해야 하고, 형상이 고정되고 단일한 문제를 방지하고, 사용자의 다양한 수요를 만족할 수 있으며, 증강 현실 기술을 통해 가상 형상을 실시간 장면 영상의 목표 위치에 디스플레이함으로써, 사용자가 증강 현실 기술을 사용하려는 의지와 사용 체험을 향상시킨다.
상술한 임의의 실시예의 기초 상에서, S103에 따른 상기 머리 영상을 기초로, 상기 타겟 객체의 가상 형상을 생성하는 단계는, 구체적으로 상기 머리 영상과 기설정된 애니메이션 소재를 합성하여, 상기 타겟 객체의 가상 형상을 생성할 수 있다. 여기서, 선택적으로 가상 형상은 구체적으로 지체 및/또는 착용 물체를 구비할 수 있고, 지체 및/또는 착용 물체는 특정 동작을 할 수 있다.
도 2에 도시된 바와 같이, 상기 머리 영상과 기설정된 애니메이션 소재를 합성하여, 상기 타겟 객체의 가상 형상을 생성할 때, 구체적으로,
S201, 상기 머리 영상에 대해 얼굴 영상 분할을 수행하여, 상기 머리 영상에 포함된 얼굴 영상의 경계를 확정하는 단계;
S202, 상기 얼굴 영상의 경계, 및 상기 애니메이션 소재를 기초로, 상기 애니메이션 소재와 상기 머리 영상의 연결점을 확정하되;
여기서 상기 연결점은 상기 얼굴 영상의 경계 상에 위치하거나 또는 상기 얼굴 영상의 경계 부근의 기설정 영역에 위치하는 단계;
S203, 상기 연결점을 통해, 상기 머리 영상과 기설정된 애니메이션 소재를 합성하여, 상기 타겟 객체의 가상 형상을 생성하는 단계를 포함할 수 있다.
본 실시예에서, 타겟 객체의 머리에 보다 긴 머리카락 또는 헤어 악세사리가 있을 수 있는 것을 감안하여, 만약 머리 영상의 경계에 직접 지체 및/또는 착용 물체를 추가하면, 타겟 객체의 가상 형상에서의 지체 및/또는 착용 물체의 위치가 적합하지 않아, 타겟 객체의 가상 형상의 전시 효과가 자연스럽지 못할 수 있으며, 따라서 본 실시예는, 머리 영상에 대해 얼굴 영상 분할을 수행하여, 머리 영상에 포함된 얼굴 영상의 경계를 확정할 수 있으며, 얼굴 영상의 경계 상에서, 또는 얼굴 영상의 경계 부근의 기설정 영역에서 애니메이션 소재와 머리 영상의 연결점을 확정하고, 다시 말하면 최종 애니메이션 소재가 추가되는 지체 및/또는 착용 물체가 타겟 객체의 얼굴 경계 상에 또는 얼굴 경계 부분에 있도록 한다.
본 실시예에서, 머리 영상에 대해 얼굴 영상 분할을 수행할 때, 임의의 얼굴 영상 분할 알고리즘을 사용할 수 있고, 여기서 한정하지 않을 수 있으며, 여기서 분할하여 획득된 얼굴 영상의 경계는 경계 박스일 수 있으며, 예를 들어 직사각형 경계 박스, 원형 경계 박스, 타원형 경계 박스이고, 얼굴 영상을 경계 박스 내에 포함시키거나, 또는 얼굴 영상의 경계가 얼굴 영상의 윤곽선일 수도 있다.
본 실시예에서, 애니메이션 소재와 머리 영상의 연결점을 확정할 때, 얼굴 영상의 경계, 및 애니메이션 소재의 요소를 고려할 수 있으며, 여기서 연결점은 애니메이션 소재와 머리 영상의 결합 위치이고, 예를 들어 머리 영상에 사지를 추가하는 위치, 헤어 악세사리(예컨대 모자)를 추가하는 위치이다. 구체적으로, 애니메이션 소재에 지체 애니메이션 소재가 포함되면, 연결점은 얼굴 영상의 경계의 좌우 양측에 있을 수 있고, 애니메이션 소재에 착용 물체가 포함되면, 얼굴 영상에서의 착용 물체의 경계를 기초로 적합한 연결점을 확정하는 바, 예를 들어 모자의 연결점은 얼굴 영상의 경계의 상측에 있을 수 있고; 이외에, 얼굴 영상의 경계의 사이즈, 가로세로비 등으로 연결점을 확정할 수도 있으며, 예를 들어 지체 애니메이션 소재의 경우, 얼굴 영상의 경계가 보다 여위고 높으면, 상지의 연결점과 하지의 연결점의 거리는 상대적으로 클 수 있으며, 얼굴 영상의 경계가 보다 낮고 뚱뚱하면, 상지의 연결점과 하지의 연결점의 거리는 보다 작고, 연결점 위치가 상대적으로 보다 컴팩트할 수 있다.
예시로서 도 3a에 도시된 바와 같이, 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되는 것으로 확정할 때, 타겟 객체의 머리 영상을 획득할 수 있고; 머리 영상에 대해 얼굴 영상 분할을 수행하여, 머리 영상에 포함된 얼굴 영상의 경계를 확정하는 바, 도 3b에 도시된 바와 같이, 이 중의 직사각형 박스는 얼굴 영상의 경계(31)이고; 이로부터 도 3b의 얼굴 영상의 경계(31)의 기초 상에서, 애니메이션 소재와 머리 영상의 연결점(32)을 확정하며, 연결점(32)은 얼굴 영상의 경계(31) 상에 위치하고, 도 3c에 도시된 바와 같이 연결점(32)을 통해 머리 영상과 기설정된 애니메이션 소재를 합성하여, 타겟 객체의 가상 형상(33)을 생성하며; 도 3d에 도시된 바와 같이 마지막에 타겟 객체의 가상 형상(33)을 실시간 장면 영상에 디스플레이한다. 설명해야 할 바로는, 도 3a-d 중의 사람 얼굴은 가상의 사람 얼굴로서 진실한 사람 얼굴이 아니다.
상술한 임의의 실시예의 기초 상에서, 미리 다양한 서로 다른 애니메이션 소재를 구성할 수 있고, 합성하기 전에, 적합한 애니메이션 소재를 선택할 수 있으며, 구체적으로, 사용자가 자율로 선택할 수 있고, 아래의 과정을 통해 선택할 수도 있으며, 선택 가능한 실시예에서, 도 4에 도시된 바와 같이, 상기 머리 영상과 기설정된 애니메이션 소재를 합성하기 전에,
S401, 상기 머리 영상을 기초로, 상기 타겟 객체의 속성 정보를 획득하는 단계;
S402, 상기 속성 정보를 기초로, 기설정된 애니메이션 소재 집합에서 상기 속성 정보와 서로 매칭되는 애니메이션 소재를 선택하는 단계를 더 포함한다.
본 실시예에서, 머리 영상을 기초로 타겟 객체의 속성 정보를 획득하고, 이로부터 서로 다른 속성 정보에 대해 서로 다른 지체 애니메이션 소재 및/또는 헤어 악세사리 애니메이션 소재를 선택할 수 있으며, 합성 후에 속성 정보와 서로 매칭되는 가상 형상을 획득하여 가상 형상이 더욱 다양하도록 하여, 더욱 다양한 전시 효과를 나타나고 사용자 체험을 개선할 수 있다.
선택 가능한 실시예에서, 동일한 타겟 객체의 머리 영상에 대해, 복수의 서로 다른 애니메이션 소재와 순차적으로 합성하여, 해당 타겟 객체의 복수의 서로 다른 가상 형상을 각각 생성할 수 있으며, 여기서, 서로 다른 애니메이션 소재는 서로 다른 동작 유형으로서, 해당 타겟 객체의 복수의 서로 다른 가상 형상이 각각 서로 다른 동작을 실행하도록 할 수 있는 바, 예컨대 제1 가상 형상은 점프하는 가상 형상이고, 제2 가상 형상은 손을 흔드는 가상 형상이며, 상응하게, 재생할 때 서로 다른 가상 형상을 선후 전시하여 서로 다른 동작을 전시할 수 있고; 또는 서로 다른 애니메이션 소재에 서로 다른 복장, 착용 물체 등을 배치할 수도 있다.
선택 가능한 실시예에서, 응용 프로그램 인터페이스에 복수의 서로 다른 애니메이션 소재를 전시하고, 사용자는 하나 또는 복수의 애니메이션 소재를 선택할 수 있으며, 전자기기는 애니메이션 소재에 대한 사용자의 선택 명령을 수신하고, 애니메이션 소재에 대한 선택 명령에 따라 애니메이션 소재를 확정하고, 순차적으로 타겟 객체의 머리 영상과 합성하여, 각각 해당 타겟 객체의 복수의 서로 다른 가상 형상을 생성할 수 있다. 선택적으로, 실시간 장면 영상에 상기 타겟 객체의 가상 형상을 디스플레이할 때, 생성된 복수의 서로 다른 가상 형상을 동시에 실시간 장면 영상에 디스플레이할 수 있으며, 일정한 순서에 따라 순차적으로 실시간 장면 영상에 디스플레이하거나, 또는 기타 디스플레이 방식에 따라 디스플레이할 수도 있다.
또한, 실시간 장면 영상에 상기 타겟 객체의 가상 형상을 디스플레이하기 전에, 복수의 가상 형상을 생성하였을 경우, 전자기기는 가상 형상에 대한 사용자의 선택 명령을 수신하고, 가상 형상에 대한 선택 명령에 따라 디스플레해야 하는 타겟 객체의 하나 또는 복수의 가상 형상을 선택할 수 있으며, 사용자가 복수의 가상 형상을 선택하면, 이러한 가상 형상은 동시에 실시간 장면 영상에 디스플레이될 수 있고, 일정한 순서에 따라 순차적으로 실시간 장면 영상에 디스플레이될 수도 있으며, 예를 들어 사용자는 복수의 가상 형상의 디스플레이 순서를 설정하거나, 사용자가 가상 형상을 선택한 순서를 복수의 가상 형상의 디스플레이 순서로 하거나, 또는 기타 디스플레이 방식에 따라 디스플레이할 수도 있으며, 여기서 일일이 설명하지 않으며;
또는 사용자는 실시간 장면 영상에 가상 형상을 디스플레이하는 과정에, 디스플레이한 가상 형상을 스위칭할 수 있는 바, 예를 들어 실시간 장면 영상에 현재 디스플레이한 것이 타겟 객체의 제1 가상 형상이고, 스위칭 명령을 수신한 후에 타겟 객체의 제2 가상 형상을 디스플레이하며;
또는 사용자는 실시간 장면 영상에 가상 형상을 디스플레이하는 과정에, 실시간 장면 영상에 기타 가상 형상을 추가할 수도 있는 바, 예를 들어 실시간 장면 영상에 현재 디스플레이한 것이 타겟 객체의 제1 가상 형상이고, 추가 명령을 수신한 후에 실시간 장면 영상에 타겟 객체의 제2 가상 형상을 추가할 수 있으며, 다시 말하면 실시간 장면 영상에 동시에 타겟 객체의 제1 가상 형상과 제2 가상 형상을 디스플레이한다. 물론, 실시간 장면 영상에 동시에 타겟 객체의 복수의 가상 형상이 디스플레이될 때, 사용자의 삭제 명령에 따라 이 중의 어느 가상 형상을 삭제할 수도 있다. 설명해야 할 바로는, 추가해야 하는 가상 형상이 사전에 생성되어 있으면, 추가 명령을 수신한 후에 직접 응용 프로그램의 인터페이스에 후보 가상 형상을 전시하고; 추가해야 하는 가상 형상이 사전에 생성되어 있지 않으면, 사용자가 다시 애니메이션 소재를 선택하여 필요한 가상 형상을 생성할 수 있다.
상술한 과정을 통해 사용자에게 더욱 풍부한 가상 형상을 제공하여 사용자가 선택하도록 할 수 있고, 가상 형상을 디스플레이할 때 사용자는 가상 형상을 스위칭 및 증감할 수 있으며, 사용자와 전자기기의 인터랙션 즐거움을 증가시킬 수 있으며, 사용자의 체험을 향상시킨다.
다른 선택적인 실시예에서, 도 5에 도시된 바와 같이, 상기 머리 영상과 기설정된 애니메이션 소재를 합성하기 전에 아래의 단계를 더 포함한다.
S411, 상기 얼굴 영상의 경계의 사이즈 정보를 획득하고;
S412, 상기 사이즈 정보를 기초로, 기설정된 애니메이션 소재 집합에서 상기 사이즈 정보와 서로 매칭되는 애니메이션 소재를 선택한다.
본 실시예에서, 얼굴 영상의 경계를 기초로 얼굴 영상의 경계의 사이즈 정보, 예를 들어 가로세로비, 형상 정보 등을 획득할 수 있으며, 얼굴 영상의 경계의 서로 다른 가로세로비, 형상 정보에 대하여 다양한 지체 애니메이션 소재 및/또는 헤어 악세사리 애니메이션 소재를 선택할 수 있고, 예를 들어, 용춤 애니메이션 소재에서는 두 손으로 대나무 장대를 잡아야 하고, 또는 플래카드를 든 애니메이션 소재에서는 두 손으로 플래카드를 들어야 하며, 얼굴 영상의 경계가 너무 낮고 뚱뚱하면, 애니메이션 소재를 가로로 늘려야 할 수 있기에, 비율이 실조하거나 영상이 왜곡되며, 이때 애니메이션 소재와 얼굴 영상을 매칭시키지 못하기에, 본 실시예는 얼굴 영상의 경계의 사이즈 정보와 서로 매칭되는 애니메이션 소재를 선택하여, 상술한 상황이 발생되는 것을 방지할 수 있다.
상술한 임의의 실시예의 기초 상에서, 상기 머리 영상과 기설정된 애니메이션 소재를 합성하는 단계는 아래의 단계를 더 포함한다.
상기 머리 영상을 기초로, 상기 애니메이션 소재를 조정하여, 상기 머리 영상과 조정 후의 애니메이션 소재을 합성한다.
본 실시예에서, 머리 영상과 애니메이션 소재를 합성할 때, 사이즈, 가로세로비가 서로 매칭되지 않는 경우가 존재할 것이므로, 애니메이션 소재를 조정하여, 조정 후의 애니메이션 소재가 머리 영상의 사이즈, 가로세로비와 매칭되도록 할 수 있으며, 예를 들어 모자의 애니메이션 소재에 대하여, 애니메이션 소재의 폭을 조절하여, 모자의 폭이 머리의 폭과 동일하도록 할 수 있고; 이로부터 디스플레이 효과를 향상시키고, 사용자 체험을 개선한다.
상술한 임의의 실시예의 기초 상에서, 도 6에 도시된 바와 같이, 상기 머리 영상과 기설정된 애니메이션 소재를 합성하여, 상기 타겟 객체의 가상 형상을 생성하는 상기 단계 전에 아래의 단계를 더 포함할 수 있다.
S501, 상기 머리 영상의 축선을 획득하되, 상기 축선은 가로 축선 및/또는 세로 축선을 포함하고;
S502, 상기 머리 영상의 축선을 기초로 상기 머리 영상에 대해 각도 조절하여, 상기 가로 축선이 수평을 유지 및/또는 상기 세로 축선이 수직을 유지하도록 한다.
본 실시예에서, 머리 영상 중 머리가 윗쪽으로 향하도록 확보하기 위하여, 머리 영상의 각도를 조절할 수 있으며, 구체적으로 머리 영상의 축선을 획득할 수 있고, 예를 들어 두 눈의 위치를 통해 가로 축선을 확정하고, 두 눈과 코의 위치를 통해 세로 축선을 확정하는 등이 있고, 물론 머리 영상의 축선을 확정하는 것은 상술한 방법에 한정되지 않으며, 여기서 중복 설명하지 않는다. 또한, 머리 영상의 축선을 기초로 머리 영상에 대해 각도 조절하여 가로 축선이 수평을 유지하도록 하고, 및/또는, 세로 축선이 수직을 유지하도록 한다.
나아가, 상술한 임의의 실시예의 기초 상에서, 전자기기는 애니메이션 소재를 재생하여, 상기 타겟 객체의 가상 형상의 동작을 제어할 수도 있으며, 즉 타겟 객체의 가상 형상의 지체 및/또는 착용 물체가 상응한 동작을 전시할 수 있도록 한다.
구체적으로, 전자기기는 상기 애니메이션 소재의 기설정 애니메이션 프레임을 기초로 상기 애니메이션 소재를 재생하여, 상기 타겟 객체의 가상 형상의 동작을 제어할 수 있다. 다시 말하면, 상술한 애니메이션 소재는 기설정 애니메이션 프레임을 포함할 수 있고, 기설정 애니메이션 프레임에 지체 및/또는 착용 물체가 구체적으로 어떠한 애니메이션을 전시할지 사전에 설정할 수 있고, 머리 영상과 애니메이션 소재를 합성할 때, 머리 영상과 애니메이션 소재의 각각의 기설정 애니메이션 프레임을 합성시켜, 각 프레임마다 모두 타겟 객체인 가상 형상을 획득하고, 나아가 타겟 객체의 가상 형상을 디스플레이할 때, 애니메이션 소재를 재생하고, 다시 말하면 합성된 각 프레임의 타겟 객체의 가상 형상을 순차적으로 재생하여, 타겟 객체의 가상 형상에 대한 동작 제어의 전시 효과를 디스플레이한다.
상술한 임의의 실시예의 기초 상에서, S102에 따른 상기 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되면, 상기 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득하는 단계는 구체적으로 아래의 단계를 포함할 수 있다.
상기 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되고, 제1 기설정 조건을 만족하면, 상기 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득하되; 여기서, 상기 제1 기설정 조건은,
상기 얼굴 영상이 상기 실시간 장면 영상에서 차지하는 면적이 기설정 비율 임계값을 초과; 또는
상기 얼굴 영상이 상기 실시간 장면 영상의 중심 영역에 위치 함; 또는
상기 타겟 객체에 대한 사용자의 선택 명령을 수신하는 것 중 적어도 하나를 포함한다.
본 실시예에서, 제1 기설정 조건을 만족할 경우에만 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득한다.
구체적으로, 선택적인 상황에서, 실시간 장면 영상에서 얼굴 영상이 차지하는 면적 비율을 획득하고, 실시간 장면 영상에서 얼굴 영상이 차지하는 면적 비율이 기설정 비율 임계값을 초과할 때에만 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득할 수 있다.
선택적인 상황에서, 얼굴 영상이 실시간 장면 영상의 중심 영역에 위치하는지 여부를 판단하고, 얼굴 영상이 실시간 장면 영상의 중심 영역에 위치하는 것으로 확정할 때, 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득할 수 도 있다.
선택적인 상황에서, 사용자가 선택할 수도 있으며, 사용자가 실시간 장면 영상에서 타겟 객체를 선택한 후에, 실시간 장면 영상에서 타겟 객체의 머리 영상을 획득할 수 있다. 물론, 본 실시예는 상술한 조건에 한정되지 않을 수 있으며, 기타 조건도 모두 가능하며, 여기서 일일이 설명하지 않는다.
설명해야 할 바로는, 실시간 장면 영상에 복수의 객체의 얼굴 영상이 포함될 때, 상술한 조건을 사용하여 그중의 적어도 하나의 객체를 타겟 객체로 선택할 수도 있으며, 예를 들어 복수의 객체로부터 얼굴 영상이 상기 실시간 장면 영상에서 차지하는 면적 비율이 기설정 비율 임계값을 초과하는 객체를 타겟 영상으로 선택하거나, 또는 얼굴 영상이 상기 실시간 장면 영상의 중심 영역에 위치한 객체를 타겟 영상으로 선택하거나, 또는 사용자가 어느 하나의 객체를 타겟 영상으로 지정하여, 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득한다.
이외에, 상술한 실시예는 실시간 장면 영상에 복수의 타겟 객체의 가상 형상을 디스플레이할 수도 있고, 각각의 타겟 객체는 모두 상술한 증강 현실 기반 디스플레이 방법을 사용하여 구현할 수 있으며, 여기서 중복 설명하지 않는다.
상술한 실시예의 기초 상에서, 만약 제2 기설정 조건을 만족하면, 상기 실시간 장면 영상으로부터 타겟 물체 영상을 획득하고, 상기 타겟 물체를 기초로 상기 타겟 물체의 가상 형상을 생성하고, 증강 현실 디스플레이 기술에 기반하여, 상기 실시간 장면 영상에 상기 타겟 물체의 가상 형상을 디스플레이하며; 여기서, 상기 제2 기설정 조건은,
상기 실시간 장면 영상에 상기 얼굴 영상이 포함되지 않음; 또는
상기 실시간 장면 영상에서 상기 얼굴 영상이 상기 실시간 장면 영상에서 차지하는 면적의 비율이 기설정 비율 임계값을 초과하지 않음; 또는
상기 실시간 장면 영상에서 상기 얼굴 영상이 상기 실시간 장면 영상의 중심 영역에 위치하지 않음; 또는
상기 실시간 장면 영상에서 상기 얼굴 영상이 타겟 객체의 측면 얼굴이고, 타겟 객체의 측면 얼굴의 회전 각도가 기설정 각도 임계값을 초과; 또는
상기 실시간 장면 영상 중의 타겟 물체에 대한 사용자의 선택 명령을 수신하는 것 중 적어도 하나를 포함한다.
본 실시예는, 제2 기설정 조건을 만족할 때, 실시간 장면 영상으로부터 타겟 물체 영상을 획득하고, 상기 타겟 물체를 기초로 상기 타겟 물체의 가상 형상을 생성할 수 있으며, 가상 형상이 지체 동작 및/또는 표정 동작을 구비할 수 있고, 예를 들어 타겟 물체 영상이 망고의 영상일 경우, 대응되는 가상 형상은 망고의 영상에 사지와 얼굴 표정이 생겨나고, 또한 사지와 표정은 특정 동작을 취할 수 있으며, 나아가 증강 현실 디스플레이 기술에 기반하여, 상기 실시간 장면 영상에 상기 타겟 물체의 가상 형상을 디스플레이한다.
구체적으로, 선택적인 상황에서, 타겟 객체의 얼굴 영상의 우선급을 타겟 물체보다 높게 설정할 수 있으며, 다시 말하면 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되면, 타겟 객체의 가상 형상을 생성하고, 그렇지 않으면 타겟 물체의 가상 형상을 생성하며, 여기서 타겟 물체는 실시간 장면 영상 중에서 배경 색상과 보다 큰 차이가 있는 물체일 수 있고, 실시간 장면 영상 중심 영역에 위치한 물체일 수도 있으며, 또는 실시간 장면 영상에서 차지하는 면적이 가장 큰 물체 또는 사용자가 지정한 물체일 수 도 있다.
선택적인 상황에서, 비록 실시간 장면 영상에 얼굴 영상이 존재할지라도, 얼굴 영상이 실시간 장면 영상에서 차지하는 면적 비율이 기설정 비율 임계값을 초과하지 않으면, 타겟 물체의 가상 형상을 생성할 수 있다.
선택적인 상황에서, 비록 실시간 장면 영상에 얼굴 영상이 존재할지라도, 얼굴 영상이 실시간 장면 영상의 중심 영역에 위치하지 않으면, 이때 타겟 물체의 가상 형상을 생성할 수 있다.
선택적인 상황에서, 비록 실시간 장면 영상에 얼굴 영상이 존재할지라도, 실시간 장면 영상 중의 상기 얼굴 영상이 타겟 객체의 측면 얼굴이고, 타겟 객체의 측면 얼굴의 회전 각도가 기설정 각도 임계값을 초과하면, 이때 영상 중의 얼굴 영상이 불완전하게 디스플레이될 수 있기에, 타겟 객체의 가상 형상을 생성하지 않고, 타겟 물체의 가상 형상을 생성할 수 있다. 물론, 이러한 경우에 사전에 측면 얼굴에 적합한 일부 애니메이션 소재를 구성하고, 이로부터 측면 얼굴의 경우에 대해 타겟 객체의 가상 형상을 생성할 수 있다.
설명해야 할 바로는, 상술한 실시예는 실시간 장면 영상에 복수의 타겟 물체의 가상 형상을 디스플레이하거나, 또는 타겟 물체의 가상 형상과 타겟 객체의 가상 형상을 동시에 디스플레이할 수도 있다.
상술한 각 실시예에 따른 증강 현실 기반 디스플레이 방법은, 가상 형상을 생성함으로써, 가상 형상을 미리 설계해야 하고 형상이 고정되고 단일한 문제를 방지할 수 있으며, 사용자의 다양한 수요를 만족시키고, 증강 현실 기술을 통해 가상 형상을 실시간 장면 영상의 목표 위치에 디스플레이하여, 사용자가 증강 현실 기술을 사용하려는 의지와 사용 체험을 향상시킨다.
상기 실시예의 증강 현실 기반 디스플레이 방법에 대응하여, 도 7은 본 개시의 실시예에 따른 증강 현실 기반 디스플레이 기기의 구조 블록도이다. 설명의 편의를 위하여, 본 개시의 실시예에 관련된 부분만 도시한다. 도 7을 참조하면, 상기 증강 현실 기반 디스플레이 기기(600)는 획득 유닛(601), 영상 분할 유닛(602), 생성 유닛(603), 및 디스플레이 유닛(604)을 포함한다.
획득 유닛(601)은 실시간 장면 영상을 획득하고;
영상 분할 유닛(602)은, 상기 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되는 경우, 상기 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득하되, 여기서 상기 타겟 객체의 머리 영상은 상기 타겟 객체의 얼굴 영상을 포함하고;
생성 유닛(603)은, 상기 머리 영상을 기초로, 상기 타겟 객체의 가상 형상을 생성하고;
디스플레이 유닛(604)은, 증강 현실 디스플레이 기술에 기반하여, 상기 실시간 장면 영상에 상기 타겟 객체의 가상 형상을 디스플레이한다.
본 개시의 일 실시예에서, 상기 생성 유닛(603)은 상기 머리 영상을 기초로, 상기 타겟 객체의 가상 형상을 생성할 때,
상기 머리 영상과 기설정된 애니메이션 소재를 합성하여, 상기 타겟 객체의 가상 형상을 생성한다.
본 개시의 일 실시예에서, 상기 생성 유닛(603)은 상기 머리 영상과 기설정된 애니메이션 소재를 합성하여, 상기 타겟 객체의 가상 형상을 생성할 때,
상기 머리 영상에 대해 얼굴 영상 분할을 수행하여, 상기 머리 영상에 포함된 얼굴 영상의 경계를 확정하고;
상기 얼굴 영상의 경계 및 상기 애니메이션 소재를 기초로, 상기 애니메이션 소재와 상기 머리 영상의 연결점을 확정하되; 여기서 상기 연결점은 상기 얼굴 영상의 경계 상에 위치하거나 또는 상기 얼굴 영상의 경계 부근의 기설정 영역에 위치하고;
상기 연결점을 통해, 상기 머리 영상과 기설정된 애니메이션 소재를 합성하여, 상기 타겟 객체의 가상 형상을 생성한다.
본 개시의 일 실시예에서, 상기 생성 유닛(603)은 상기 머리 영상과 기설정된 애니메이션 소재를 합성하기 전에 또한,
상기 머리 영상을 기초로, 상기 타겟 객체의 속성 정보를 획득하고;
상기 속성 정보를 기초로, 기설정된 애니메이션 소재 집합에서 상기 속성 정보와 서로 매칭되는 애니메이션 소재를 선택한다.
본 개시의 일 실시예에서, 상기 생성 유닛(603)은 상기 머리 영상과 기설정된 애니메이션 소재를 합성하기 전에 또한,
상기 얼굴 영상의 경계의 사이즈 정보를 획득하고;
상기 사이즈 정보를 기초로, 기설정된 애니메이션 소재 집합에서 상기 사이즈 정보와 서로 매칭되는 애니메이션 소재를 선택한다.
본 개시의 일 실시예에서, 상기 생성 유닛(603)은 상기 머리 영상과 기설정된 애니메이션 소재를 합성할 때,
상기 머리 영상을 기초로, 상기 애니메이션 소재를 조정하고, 상기 머리 영상과 조정 후의 애니메이션 소재을 합성한다.
본 개시의 일 실시예에서, 상기 생성 유닛(603)은 상기 머리 영상과 기설정된 애니메이션 소재를 합성하여, 상기 타겟 객체의 가상 형상을 생성하기 전에 또한,
상기 머리 영상의 축선을 획득하되, 상기 축선은 가로 축선 및/또는 세로 축선을 포함하고;
상기 머리 영상의 축선을 기초로 상기 머리 영상에 대해 각도 조절하여, 상기 가로 축선이 수평을 유지 및/또는 상기 세로 축선이 수직을 유지하도록 한다.
본 개시의 일 실시예에서, 상기 영상 분할 유닛(602)은 상기 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되는 경우, 상기 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득할 때,
상기 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되고, 제1 기설정 조건을 만족하면, 상기 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득하되; 여기서, 상기 제1 기설정 조건은,
상기 얼굴 영상이 상기 실시간 장면 영상에서 차지하는 면적이 기설정 비율 임계값을 초과; 또는
상기 얼굴 영상이 상기 실시간 장면 영상의 중심 영역에 위치 함; 또는
상기 타겟 객체에 대한 사용자의 선택 명령을 수신하는 것 중 적어도 하나를 포함한다.
본 개시의 일 실시예에서, 상기 영상 분할 유닛(602)은 또한, 제2 기설정 조건을 만족하는 경우, 상기 실시간 장면 영상으로부터 타겟 물체 영상을 획득하고;
상기 생성 유닛(603)은 또한, 상기 타겟 물체를 기초로 상기 타겟 물체의 가상 형상을 생성하고;
상기 디스플레이 유닛(604)은 또한, 증강 현실 디스플레이 기술에 기반하여, 상기 실시간 장면 영상에 상기 타겟 물체의 가상 형상을 디스플레이하고;
여기서, 상기 제2 기설정 조건은,
상기 실시간 장면 영상에 상기 얼굴 영상이 포함되지 않음; 또는
상기 실시간 장면 영상에서 상기 얼굴 영상이 상기 실시간 장면 영상에서 차지하는 면적의 비율이 기설정 비율 임계값을 초과하지 않음; 또는
상기 실시간 장면 영상에서 상기 얼굴 영상이 상기 실시간 장면 영상의 중심 영역에 위치하지 않음; 또는
상기 실시간 장면 영상에서 상기 얼굴 영상이 타겟 객체의 측면 얼굴이고, 타겟 객체의 측면 얼굴의 회전 각도가 기설정 각도 임계값을 초과; 또는
상기 실시간 장면 영상 중의 타겟 물체에 대한 사용자의 선택 명령을 수신하는 것 중 적어도 하나를 포함한다.
본 개시의 일 실시예에서, 상기 디스플레이 유닛(604)은 또한,
상기 애니메이션 소재를 재생하여, 상기 타겟 객체의 가상 형상의 동작을 제어한다.
본 개시의 일 실시예에서, 상기 디스플레이 유닛(604)은 상기 애니메이션 소재를 재생하여, 상기 타겟 객체의 가상 형상의 동작을 제어할 때,
상기 애니메이션 소재의 기설정 애니메이션 프레임을 기초로 상기 애니메이션 소재를 재생하여, 상기 타겟 객체의 가상 형상의 동작을 제어한다.
본 개시의 일 실시예에서, 상기 디스플레이 유닛(604)은 또한,
상기 타겟 객체의 가상 형상에 대한 사용자의 제어 명령에 응답하여, 상기 타겟 객체의 가상 형상에 대해 상응한 제어하되, 상기 제어 명령은,
회전 제어 명령, 축소 제어 명령, 이동 제어 명령, 확대 제어 명령 중 적어도 하나를 포함한다.
본 실시예에 따른 증강 현실 기반 디스플레이 기기는 상술한 방법 실시예의 기술 방안을 실행하는데 사용할 수 있고, 구현 원리와 기술효과는 유사하기에, 본 실시예는 여기서 중복 설명하지 않는다.
도 8을 참조하면, 본 개시의 실시예를 구현하는데 적합한 전자기기(700)의 구조도가 도시되어 있으며, 해당 전자기기(700)는 단말기 또는 서버일 수 있다. 여기서, 단말기는 모바일폰, 노트북 PC, 디지털 방송 수신기, 개인용 정보 단말(Personal Digital Assistant, PDA로 약칭), 테블릿 PC(Portable Android Device, PAD로 약칭), 휴대형 멀티미디어 플레이어(Portable Media Player, PMP로 약칭), 차량용 단말(예를 들어 차량용 네비게이션 단말) 등 이동 단말 및 디지털 TV, 데스크톱 컴퓨터 등 고정 단말을 포함할 수 있으나 이에 한정되지 않는다. 도 8에 도시된 전자기기는 단지 하나의 예시로서, 본 개시의 실시예의 기능과 사용 범위에 대해 아무런 한정을 하지 않아야 한다.
도 8에 도시된 바와 같이, 전자기기(700)는 처리 장치(예를 들어 중앙 프로세서, 영상 프로세서 등, 701)를 포함할 수 있으며, 이는 판독 전용 메모리(Read Only Memory, ROM으로 약칭, 702)에 저장된 프로그램 또는 저장 장치(708)로부터 랜덤 액세스 메모리(Random Access Memory, RAM으로 약칭, 703)으로 로딩된 프로그램을 기초로 다양한 적합한 동작과 처리를 수행할 수 있다. RAM(703)에는 전자기기(700)의 동작에 필요한 다양한 프로그램과 데이터도 저장되어 있다. 처리 장치(701), ROM(702) 및 RAM(703)은 버스(704)를 통해 서로 연결된다. 입/출력(Intput/Output, I/O로 약칭) 인터페이스(705)도 버스(704)에 연결된다.
일반적으로, 예를 들어 터치 스크린, 터치패드, 키보드, 마우스, 카메라, 마이크, 가속도계, 자이로스코프 등을 포함한 입력 장치(706); 예를 들어 액정 디스플레이(Liquid Crystal Display, LCD로 약칭), 스피커, 진동기 등을 포함한 출력 장치(707); 예를 들어 자기테이프, 하드 디스크 등을 포함한 저장 장치(708); 및 통신 장치(709)는 I/O 인터페이스(705)에 연결될 수 있다. 통신 장치(709)는 전자기기(700)가 기타 기기와 무선 또는 유선 통신을 수행하여 데이터 교환을 수행하도록 허용할 수 있다. 비록 도 8에는 다양한 장치를 구비한 전자기기(700)가 도시되어 있지만, 이해해야 할 바로는, 도시된 모든 장치를 실시하거나 구비할 것을 요구하지는 않는다. 대안적으로 더욱 많거나 적은 장치를 실시하거나 구비할 수 있다.
특히, 본 개시의 실시예에 따르면, 상기 흐름도를 참조하여 설명한 프로세스는 컴퓨터 소프트웨어 프로그램으로 구현될 수 있다. 예를 들어, 본 개시의 실시예는 컴퓨터 판독 가능 매체에 기록된 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품을 포함하고, 해당 컴퓨터 프로그램은 흐름도에 도시된 방법을 실행하기 위한 프로그램 코드를 포함한다. 이러한 실시예에서, 해당 컴퓨터 프로그램은 통신 장치(709)를 통해 네트워크로부터 다운로드되어 설치될 수 있거나, 또는 저장 장치(708)로부터 설치되거나, 또는 ROM(702)으로부터 설치될 수 있다. 해당 컴퓨터 프로그램이 처리 장치(701)에 의해 실행될 때, 본 개시의 실시예의 방법에서 한정한 상술한 기능을 실행한다.
설명해야 할 바로는, 본 개시의 상술한 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 신호 매체 또는 컴퓨터 판독 가능 저장매체 또는 상술한 양자의 임의의 조합일 수 있다. 컴퓨터 판독 가능 저장매체는 예를 들어 전기, 자기, 광, 전자기, 적외선 또는 반도체 시스템, 장치 또는 소자, 또는 상기 임의의 조합일 수 있지만, 이에 한정되지 않는다. 컴퓨터 판독 가능 저장매체의 더욱 구체적인 예로는 하나 또는 복수의 와이어를 구비한 전기적 연결, 휴대형 컴퓨터 자기 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능한 프로그램 가능 판독 전용 메모리(Erasable Programmable Read-Only Memory, EPROM, 또는 플래시 메모리로 약칭), 광섬유, 휴대형 컴팩트 디스크 판독 전용 메모리(Compact Disc Read-Only Memory, CD-ROM으로 약칭), 광 저장 소자, 자기 저장 소자, 또는 상술한 임의의 적합한 조합이 포함될 수 있지만 이에 한정되지 않는다. 본 개시에서, 컴퓨터 판독 가능 저장매체는 프로그램을 포함하거나 저장하는 유형의 매체일 수 있으며, 해당 프로그램은 명령 실행 시스템, 장치 또는 소자에 의해 사용되거나 이와 결합하여 사용될 수 있다. 하지만 본 개시에서 컴퓨터 판독 가능 신호 매체는 기저 대역 또는 반송파의 일부분으로서 전파되는 데이터 신호를 포함할 수 있으며, 이 중에 컴퓨터 판독 가능 프로그램 코드를 적재한다. 이러한 전파되는 데이터 신호는 다양한 형식을 사용할 수 있는 바, 전자기 신호, 광 신호 또는 상술한 임의의 적합한 조합을 포함하지만 이에 한정되지 않는다. 컴퓨터 판독 가능 신호 매체는 또한 컴퓨터 판독 가능 저장 매체 이외의 임의의 컴퓨터 판독 가능 매체일 수 있으며, 해당 컴퓨터 판독 가능 신호 매체는 명령 실행 시스템, 장치 또는 소자에 의해 사용되거나 또는 이와의 결합에 의해 사용되는 프로그램을 발송, 전파, 또는 전송할 수 있다. 컴퓨터 판독 가능 매체에 포함된 프로그램 코드는 임의의 적합한 매체를 통해 전송될 수 있는 바, 전선, 광케이블, 무선 주파수(Radio Frequency, RF로 약칭) 등, 또는 상술한 임의의 적합한 조합을 포함하지만 이에 한정되지 않는다.
상술한 컴퓨터 판독 가능 매체는 상술한 전자기기에 포함된 것일 수 있고; 독립적으로 존재하는 것으로 해당 전자기기에 장착되지 않은 것일 수도 있다.
상술한 컴퓨터 판독 가능 매체는 하나 또는 복수의 프로그램을 적재하고, 상술한 하나 또는 복수의 프로그램이 해당 전자기기에 의해 실행될 때, 해당 전자기기가 상술한 실시예에 따른 방법을 실행하도록 한다.
한가지 또는 여러가지 프로그램 설계 언어 또는 그 조합으로 본 개시의 동작을 실행하기 위한 컴퓨터 프로그램 코드를 작성할 수 있으며, 상술한 프로그램 설계 언어는 Java, Smalltalk, C++ 등과 같은 객체 지향 프로그램 설계 언어를 포함하고, “C” 언어 또는 유사한 프로그램 설계 언어와 같은 일반적인 절차형 프로그램 언어도 포함한다. 프로그램 코드는 완전히 사용자 컴퓨터에서 실행되거나 부분적으로 사용자 컴퓨터에서 실행되거나, 하나의 독립된 소프트웨어 패키지로 실행되거나, 부분적으로 사용자 컴퓨터에서 부분적으로 원격 컴퓨터에서 실행되거나, 또는 완전히 원격 컴퓨터 또는 서버에서 실행될 수 있다. 원격 컴퓨터의 경우, 원격 컴퓨터는 근거리 통신망(Local Area Network, LAN으로 약칭) 또는 광역 통신망(Wide Area Network, WAN으로 약칭)을 포함하는 임의의 유형의 네트워크를 통해 사용자 컴퓨터에 연결되거나, 또는, 외부 컴퓨터(예를 들어 인터넷 서비스 제공업체를 이용하여 인터넷을 통한 연결)에 연결될 수 있다.
첨부 도면의 흐름도와 블록도에는 본 개시의 다양한 실시예에 따른 시스템, 방법과 컴퓨터 프로그램 제품의 구현 가능한 시스템 구조, 기능과 동작이 도시되었다. 이런 점에서, 흐름도 또는 블록도 중의 각 박스는 하나의 모듈, 프로그램 섹션, 또는 코드의 일부분을 표시할 수 있으며, 해당 모듈, 프로그램 섹션, 또는 코드의 일부분은 규정된 논리 기능을 구현하기 위한 하나 또는 복수의 실행 가능 명령을 포함한다. 주의해야 할 것은, 일부 대안적인 구현에서, 박스에 표시된 기능은 첨부 도면에 표시된 순서와 다르게 발생할 수도 있다. 예를 들어, 두 개 연이어 표시된 박스는 실제는 기본적으로 병행으로 실행될 수 있으며, 어떤 때에는 반대되는 순서로 실행될 수도 있고, 이는 관련된 기능에 따라 정해진다. 유의해야 할 점은, 블록도 및/또는 흐름도 중의 각 박스, 및 블록도 및/또는 흐름도 중의 박스의 조합은 규정된 기능 또는 동작을 실행하는 전용의 하드웨어 기반 시스템으로 구현될 수 있거나, 또는 전용 하드웨어와 컴퓨터 명령의 조합으로 구현될 수 있다.
본 개시의 실시예에 기재된 유닛은 소프트웨어 방식으로 구현될 수 있고, 하드웨어 방식으로 구현될 수도 있다. 여기서, 유닛의 명칭은 어느 경우에 해당 유닛 자체에 대해 한정하지 않으며, 예를 들어, 제1 획득 유닛은 “적어도 두 개의 인터넷 프로토콜 주소를 획득하는 유닛"으로 기재할 수도 있다.
본문에 기재되는 기능은 적어도 부분적으로 하나 또는 복수의 하드웨어 논리 부재에 의해 실행될 수 있다. 예를 들어 비한정적으로, 사용 가능한 예시적인 유형의 하드웨어 논리 부재는 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA로 약칭), 전용 집적 회로(Application Specific Integrated Circuit, ASIC으로 약칭), 전용 표준 제품(Application Specific Standard Parts, ASSP로 약칭), 시스템 온 칩 시스템(System on Chip, SOC로 약칭), 컴플렛 프로그래머블 논리 장치(Complex Programmable Logic Device, CPLD로 약칭) 등을 포함한다.
본 개시의 문맥에서, 기계 판독 가능 매체는 유형의 매체일 수 있고, 명령 실행 시스템, 장치 또는 기기에 의해 사용되거나 명령 실행 시스템, 장치 또는 기기와 결합되어 사용되는 프로그램을 포함하거나 저장할 수 있다. 기계 판독 가능 매체는 기계 판독 가능 신호 매체이거나 기계 판독 가능 저장 매체일 수 있다. 기계 판독 가능 매체는 전자적, 자기적, 광학적, 전자기적, 적외선, 또는 반도체 시스템, 장치 또는 기기, 또는 상술한 내용의 임의의 적합한 조합을 포함할 수 있지만 이에 한정되는 것은 아니다. 기계 판독 가능 저장매체의 더 구체적인 예시로서 하나 또는 복수의 와이어를 기반으로 하는 전기적 연결, 휴대형 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 가능 및 프로그래머블 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 판독 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치, 또는 상술한 내용의 임의의 조합을 포함한다.
제1 측면에서, 본 개시의 하나 또는 복수의 실시예에 따르면, 증강 현실 기반 디스플레이 방법을 제공하는 바,
실시간 장면 영상을 획득하는 단계;
상기 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되면, 상기 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득하되, 여기서 상기 타겟 객체의 머리 영상은 상기 타겟 객체의 얼굴 영상을 포함하는 단계;
상기 머리 영상을 기초로, 상기 타겟 객체의 가상 형상을 생성하는 단계;
증강 현실 디스플레이 기술에 기반하여, 상기 실시간 장면 영상에 상기 타겟 객체의 가상 형상을 디스플레이하는 단계를 포함한다.
본 개시의 하나 또는 복수의 실시예에 따르면, 상기 머리 영상을 기초로, 상기 타겟 객체의 가상 형상을 생성하는 상기 단계는,
상기 머리 영상과 기설정된 애니메이션 소재를 합성하여, 상기 타겟 객체의 가상 형상을 생성하는 단계를 포함한다.
본 개시의 하나 또는 복수의 실시예에 따르면, 상기 머리 영상과 기설정된 애니메이션 소재를 합성하여, 상기 타겟 객체의 가상 형상을 생성하는 상기 단계는,
상기 머리 영상에 대해 얼굴 영상 분할을 수행하여, 상기 머리 영상에 포함된 얼굴 영상의 경계를 확정하는 단계;
상기 얼굴 영상의 경계, 및 상기 애니메이션 소재를 기초로, 상기 애니메이션 소재와 상기 머리 영상의 연결점을 확정하되; 여기서 상기 연결점은 상기 얼굴 영상의 경계 상에 위치하거나 또는 상기 얼굴 영상의 경계 부근의 기설정 영역에 위치하는 단계;
상기 연결점을 통해, 상기 머리 영상과 기설정된 애니메이션 소재를 합성하여, 상기 타겟 객체의 가상 형상을 생성하는 단계를 포함한다.
본 개시의 하나 또는 복수의 실시예에 따르면, 상기 머리 영상과 기설정된 애니메이션 소재를 합성하는 상기 단계 전에,
상기 머리 영상을 기초로, 상기 타겟 객체의 속성 정보를 획득하는 단계;
상기 속성 정보를 기초로, 기설정된 애니메이션 소재 집합에서 상기 속성 정보와 서로 매칭되는 애니메이션 소재를 선택하는 단계를 더 포함한다.
본 개시의 하나 또는 복수의 실시예에 따르면, 상기 머리 영상과 기설정된 애니메이션 소재를 합성하는 상기 단계 전에,
상기 얼굴 영상의 경계의 사이즈 정보를 획득하는 단계;
상기 사이즈 정보를 기초로, 기설정된 애니메이션 소재 집합에서 상기 사이즈 정보와 서로 매칭되는 애니메이션 소재를 선택하는 단계를 더 포함한다.
본 개시의 하나 또는 복수의 실시예에 따르면, 상기 머리 영상과 기설정된 애니메이션 소재를 합성하는 상기 단계는,
상기 머리 영상을 기초로, 상기 애니메이션 소재를 조정하여, 상기 머리 영상과 조정 후의 애니메이션 소재을 합성하는 단계를 포함한다.
본 개시의 하나 또는 복수의 실시예에 따르면, 상기 머리 영상과 기설정된 애니메이션 소재를 합성하여, 상기 타겟 객체의 가상 형상을 생성하는 상기 단계 전에,
상기 머리 영상의 축선을 획득하되, 상기 축선은 가로 축선 및/또는 세로 축선을 포함하는 단계;
상기 머리 영상의 축선을 기초로 상기 머리 영상에 대해 각도 조절하여, 상기 가로 축선이 수평을 유지 및/또는 상기 세로 축선이 수직을 유지하도록 하는 단계를 더 포함한다.
본 개시의 하나 또는 복수의 실시예에 따르면, 상기 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되면, 상기 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득하는 상기 단계는,
상기 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되고, 제1 기설정 조건을 만족하면, 상기 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득하는 단계를 포함하되; 여기서, 상기 제1 기설정 조건은,
상기 얼굴 영상이 상기 실시간 장면 영상에서 차지하는 면적이 기설정 비율 임계값을 초과; 또는
상기 얼굴 영상이 상기 실시간 장면 영상의 중심 영역에 위치 함; 또는
상기 타겟 객체에 대한 사용자의 선택 명령을 수신하는 것 중 적어도 하나를 포함한다.
본 개시의 하나 또는 복수의 실시예에 따르면, 상기 방법은,
제2 기설정 조건을 만족하면, 상기 실시간 장면 영상으로부터 타겟 물체 영상을 획득하고, 상기 타겟 물체를 기초로 상기 타겟 물체의 가상 형상을 생성하고, 증강 현실 디스플레이 기술에 기반하여, 상기 실시간 장면 영상에 상기 타겟 물체의 가상 형상을 디스플레이하는 단계를 더 포함하되; 여기서, 상기 제2 기설정 조건은,
상기 실시간 장면 영상에 상기 얼굴 영상이 포함되지 않음; 또는
상기 실시간 장면 영상에서 상기 얼굴 영상이 상기 실시간 장면 영상에서 차지하는 면적의 비율이 기설정 비율 임계값을 초과하지 않음; 또는
상기 실시간 장면 영상에서 상기 얼굴 영상이 상기 실시간 장면 영상의 중심 영역에 위치하지 않음; 또는
상기 실시간 장면 영상에서 상기 얼굴 영상이 타겟 객체의 측면 얼굴이고, 타겟 객체의 측면 얼굴의 회전 각도가 기설정 각도 임계값을 초과; 또는
상기 실시간 장면 영상 중의 타겟 물체에 대한 사용자의 선택 명령을 수신하는 것 중 적어도 하나를 포함한다.
본 개시의 하나 또는 복수의 실시예에 따르면, 상기 방법은,
상기 애니메이션 소재를 재생하여, 상기 타겟 객체의 가상 형상의 동작을 제어하는 단계를 더 포함한다.
본 개시의 하나 또는 복수의 실시예에 따르면, 상기 애니메이션 소재를 재생하여, 상기 타겟 객체의 가상 형상의 동작을 제어하는 상기 단계는,
상기 애니메이션 소재의 기설정 애니메이션 프레임을 기초로 상기 애니메이션 소재를 재생하여, 상기 타겟 객체의 가상 형상의 동작을 제어하는 단계를 포함한다.
본 개시의 하나 또는 복수의 실시예에 따르면, 상기 방법은,
상기 타겟 객체의 가상 형상에 대한 사용자의 제어 명령에 응답하여, 상기 타겟 객체의 가상 형상에 대해 상응한 제어를 수행하는 단계를 더 포함하되, 상기 제어 명령은,
회전 제어 명령, 축소 제어 명령, 이동 제어 명령, 확대 제어 명령 중 적어도 하나를 포함한다.
제2 측면에서, 본 개시의 하나 또는 복수의 실시예에 따르면, 증강 현실 기반 디스플레이 기기를 제공하는 바,
실시간 장면 영상을 획득하는 획득 유닛;
상기 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되는 경우, 상기 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득하되, 여기서 상기 타겟 객체의 머리 영상은 상기 타겟 객체의 얼굴 영상을 포함하는 영상 분할 유닛;
상기 머리 영상을 기초로, 상기 타겟 객체의 가상 형상을 생성하는 생성 유닛;
증강 현실 디스플레이 기술에 기반하여, 상기 실시간 장면 영상에 상기 타겟 객체의 가상 형상을 디스플레이하는 디스플레이 유닛을 포함한다.
본 개시의 하나 또는 복수의 실시예에 따르면, 상기 생성 유닛이 상기 머리 영상을 기초로, 상기 타겟 객체의 가상 형상을 생성할 때,
상기 머리 영상과 기설정된 애니메이션 소재를 합성하여, 상기 타겟 객체의 가상 형상을 생성한다.
본 개시의 하나 또는 복수의 실시예에 따르면, 상기 생성 유닛은 상기 머리 영상과 기설정된 애니메이션 소재를 합성하여, 상기 타겟 객체의 가상 형상을 생성할 때,
상기 머리 영상에 대해 얼굴 영상 분할을 수행하여, 상기 머리 영상에 포함된 얼굴 영상의 경계를 확정하고;
상기 얼굴 영상의 경계, 및 상기 애니메이션 소재를 기초로, 상기 애니메이션 소재와 상기 머리 영상의 연결점을 확정하되; 여기서 상기 연결점은 상기 얼굴 영상의 경계 상에 위치하거나 또는 상기 얼굴 영상의 경계 부근의 기설정 영역에 위치하고;
상기 연결점을 통해, 상기 머리 영상과 기설정된 애니메이션 소재를 합성하여, 상기 타겟 객체의 가상 형상을 생성한다.
본 개시의 하나 또는 복수의 실시예에 따르면, 상기 생성 유닛은 상기 머리 영상과 기설정된 애니메이션 소재를 합성하기 전에, 또한
상기 머리 영상을 기초로, 상기 타겟 객체의 속성 정보를 획득하고;
상기 속성 정보를 기초로, 기설정된 애니메이션 소재 집합에서 상기 속성 정보와 서로 매칭되는 애니메이션 소재를 선택한다.
본 개시의 하나 또는 복수의 실시예에 따르면, 상기 생성 유닛은 상기 머리 영상과 기설정된 애니메이션 소재를 합성하기 전에 또한,
상기 얼굴 영상의 경계의 사이즈 정보를 획득하고;
상기 사이즈 정보를 기초로, 기설정된 애니메이션 소재 집합에서 상기 사이즈 정보와 서로 매칭되는 애니메이션 소재를 선택한다.
본 개시의 하나 또는 복수의 실시예에 따르면, 상기 생성 유닛은 상기 머리 영상과 기설정된 애니메이션 소재를 합성할 때,
상기 머리 영상을 기초로, 상기 애니메이션 소재를 조정하여, 상기 머리 영상과 조정 후의 애니메이션 소재을 합성한다.
본 개시의 하나 또는 복수의 실시예에 따르면, 상기 생성 유닛은 상기 머리 영상과 기설정된 애니메이션 소재를 합성하여, 상기 타겟 객체의 가상 형상을 생성하기 전에 또한,
상기 머리 영상의 축선을 획득하되, 상기 축선은 가로 축선 및/또는 세로 축선을 포함하고;
상기 머리 영상의 축선을 기초로 상기 머리 영상에 대해 각도 조절하여, 상기 가로 축선이 수평을 유지 및/또는 상기 세로 축선이 수직을 유지하도록 한다.
본 개시의 하나 또는 복수의 실시예에 따르면, 상기 영상 분할 유닛은 상기 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되는 경우, 상기 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득할 때,
상기 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되고, 제1 기설정 조건을 만족하면, 상기 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득하되; 여기서, 상기 제1 기설정 조건은,
상기 얼굴 영상이 상기 실시간 장면 영상에서 차지하는 면적이 기설정 비율 임계값을 초과; 또는
상기 얼굴 영상이 상기 실시간 장면 영상의 중심 영역에 위치 함; 또는
상기 타겟 객체에 대한 사용자의 선택 명령을 수신하는 것 중 적어도 하나를 포함한다.
본 개시의 하나 또는 복수의 실시예에 따르면, 상기 영상 분할 유닛은 또한, 제2 기설정 조건을 만족하는 경우, 상기 실시간 장면 영상으로부터 타겟 물체 영상을 획득하고;
상기 생성 유닛은 또한, 상기 타겟 물체를 기초로 상기 타겟 물체의 가상 형상을 생성하고;
상기 디스플레이 유닛은 또한, 증강 현실 디스플레이 기술에 기반하여, 상기 실시간 장면 영상에 상기 타겟 물체의 가상 형상을 디스플레이하고;
여기서, 상기 제2 기설정 조건은,
상기 실시간 장면 영상에 상기 얼굴 영상이 포함되지 않음; 또는
상기 실시간 장면 영상에서 상기 얼굴 영상이 상기 실시간 장면 영상에서 차지하는 면적의 비율이 기설정 비율 임계값을 초과하지 않음; 또는
상기 실시간 장면 영상에서 상기 얼굴 영상이 상기 실시간 장면 영상의 중심 영역에 위치하지 않음; 또는
상기 실시간 장면 영상에서 상기 얼굴 영상이 타겟 객체의 측면 얼굴이고, 타겟 객체의 측면 얼굴의 회전 각도가 기설정 각도 임계값을 초과; 또는
상기 실시간 장면 영상 중의 타겟 물체에 대한 사용자의 선택 명령을 수신하는 것 중 적어도 하나를 포함한다.
본 개시의 하나 또는 복수의 실시예에 따르면, 상기 디스플레이 유닛은 또한,
상기 애니메이션 소재를 재생하여, 상기 타겟 객체의 가상 형상의 동작을 제어한다.
본 개시의 하나 또는 복수의 실시예에 따르면, 상기 디스플레이 유닛은 상기 애니메이션 소재를 재생하여, 상기 타겟 객체의 가상 형상의 동작을 제어할 때,
상기 애니메이션 소재의 기설정 애니메이션 프레임을 기초로 상기 애니메이션 소재를 재생하여, 상기 타겟 객체의 가상 형상의 동작을 제어한다.
본 개시의 하나 또는 복수의 실시예에 따르면, 상기 디스플레이 유닛은 또한,
상기 타겟 객체의 가상 형상에 대한 사용자의 제어 명령에 응답하여, 상기 타겟 객체의 가상 형상에 대해 상응한 제어를 수행하되, 상기 제어 명령은,
회전 제어 명령, 축소 제어 명령, 이동 제어 명령, 확대 제어 명령 중 적어도 하나를 포함한다.
제3 측면에서, 본 개시의 하나 또는 복수의 실시예에 따르면, 전자기기를 제공하는 바, 적어도 하나의 프로세서와 메모리를 포함하고;
상기 메모리는 컴퓨터 실행 명령을 저장하고;
상기 적어도 하나의 프로세서는 상기 메모리에 저장된 컴퓨터 실행 명령을 실행하여, 상기 적어도 하나의 프로세서가 상술한 제1 측면 및 제1 측면의 다양한 가능한 설계에 따른 증강 현실 기반 디스플레이 방법을 실행하도록 한다.
제4 측면에서, 본 개시의 하나 또는 복수의 실시예에 따르면, 컴퓨터 판독 가능 저장매체를 제공하는 바, 상기 컴퓨터 판독 가능 저장매체에 컴퓨터 실행 명령이 저장되어 있고, 프로세서가 상기 컴퓨터 실행 명령을 실행할 때, 상술한 제1 측면 및 제1 측면의 다양한 가능한 설계에 따른 증강 현실 기반 디스플레이 방법을 구현한다.
제5 측면에서, 본 개시의 하나 또는 복수의 실시예에 따르면, 컴퓨터 프로그램 제품을 제공하는 바, 컴퓨터 명령을 포함하고, 해당 컴퓨터 명령이 프로세서에 의해 실행될 때, 상술한 제1 측면 및 제1 측면의 다양한 가능한 설계에 따른 증강 현실 기반 디스플레이 방법을 구현한다.
제6 측면에서, 본 개시의 하나 또는 복수의 실시예에 따르면, 컴퓨터 프로그램을 제공하는 바, 해당 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 제1 측면 및 제1 측면의 다양한 가능한 설계에 따른 증강 현실 기반 디스플레이 방법을 구현한다.
이상 설명은 단지 본 개시의 바람직한 실시예 및 사용하는 기술적 원리에 대한 설명이다. 본 분야의 기술 자라면, 본 개시에 관련된 개시 범위는 상술한 기술특징의 특정 조합으로 형성된 기술 방안에 한정되지 않으며, 동시에 상술한 개시의 아이디어를 벗어나지 않는 상황에서 상술한 기술 특징 또는 이와 동등한 특징의 임의의 조합으로 형성된 기타 기술 방안, 예를 들어 상술한 특징과 본 개시에서 개시된(단, 이에 제한되지 않는) 유사한 기능을 갖춘 기술특징에 대해 서로 치환하여 형성된 기술 방안도 포함한다는 것을 이해해야 한다.
또한, 특정 순서로 각 동작들을 기재하였지만, 이는 이러한 동작들이 기재된 특정 순서로 또는 순차적인 순서로 실행될 것을 요구하는 것으로 이해되어서는 안된다. 특정 환경에서, 멀티 태스크 및 병렬 처리가 유리할 수 있다. 마찬가지로, 몇몇 구체적인 구현 세부사항이 상기 기재에 포함되어 있지만, 이들은 본 개시 내용의 범위를 제한하는 것으로 해석되어서는 안된다. 별도의 실시예의 문맥에서 기재된 일부 특징들은 조합되어 단일 실시예에서 구현될 수도 있다. 반대로, 단일 실시예의 문맥에서 기재된 다양한 특징은 또한 개별적으로 또는 임의의 적절한 서브 조합의 방식으로 복수의 실시예에서 구현될 수도 있다.
구조적 특징 및/또는 방법의 논리적 동작에 특정된 언어를 사용하여 본 주제에 대해 설명하였지만, 첨부된 청구범위에 한정된 주제가 반드시 위에 기재된 특정 특징 또는 동작으로 제한되는 것은 아니라는 것을 이해해야 한다. 반대로, 위에서 기재된 특정 특징 및 동작은 청구범위를 구현하는 예시적인 형태일 뿐이다.

Claims (17)

  1. 실시간 장면 영상을 획득하는 단계;
    상기 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되면, 상기 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득하되, 여기서 상기 타겟 객체의 머리 영상은 상기 타겟 객체의 얼굴 영상을 포함하는 단계;
    상기 머리 영상을 기초로, 상기 타겟 객체의 가상 형상을 생성하는 단계;
    증강 현실 디스플레이 기술에 기반하여, 상기 실시간 장면 영상에 상기 타겟 객체의 가상 형상을 디스플레이하는 단계를 포함하는 증강 현실 기반 디스플레이 방법.
  2. 제1항에 있어서, 상기 머리 영상을 기초로, 상기 타겟 객체의 가상 형상을 생성하는 상기 단계는,
    상기 머리 영상과 기설정된 애니메이션 소재를 합성하여, 상기 타겟 객체의 가상 형상을 생성하는 단계를 포함하는 방법.
  3. 제2항에 있어서, 상기 머리 영상과 기설정된 애니메이션 소재를 합성하여, 상기 타겟 객체의 가상 형상을 생성하는 상기 단계는,
    상기 머리 영상에 대해 얼굴 영상 분할을 수행하여, 상기 머리 영상에 포함된 얼굴 영상의 경계를 확정하는 단계;
    상기 얼굴 영상의 경계, 및 상기 애니메이션 소재를 기초로, 상기 애니메이션 소재와 상기 머리 영상의 연결점을 확정하되; 여기서 상기 연결점은 상기 얼굴 영상의 경계 상에 위치하거나 또는 상기 얼굴 영상의 경계 부근의 기설정 영역에 위치하는 단계;
    상기 연결점을 통해, 상기 머리 영상과 기설정된 애니메이션 소재를 합성하여, 상기 타겟 객체의 가상 형상을 생성하는 단계를 포함하는 방법.
  4. 제2항 또는 제3항에 있어서, 상기 머리 영상과 기설정된 애니메이션 소재를 합성하는 상기 단계 전에,
    상기 머리 영상을 기초로, 상기 타겟 객체의 속성 정보를 획득하는 단계;
    상기 속성 정보를 기초로, 기설정된 애니메이션 소재 집합에서 상기 속성 정보와 서로 매칭되는 애니메이션 소재를 선택하는 단계를 더 포함하는 방법.
  5. 제3항에 있어서, 상기 머리 영상과 기설정된 애니메이션 소재를 합성하는 상기 단계 전에,
    상기 얼굴 영상의 경계의 사이즈 정보를 획득하는 단계;
    상기 사이즈 정보를 기초로, 기설정된 애니메이션 소재 집합에서 상기 사이즈 정보와 서로 매칭되는 애니메이션 소재를 선택하는 단계를 더 포함하는 방법.
  6. 제2항 내지 제5항 중 어느 한 항에 있어서, 상기 머리 영상과 기설정된 애니메이션 소재를 합성하는 상기 단계는,
    상기 머리 영상을 기초로, 상기 애니메이션 소재를 조정하여, 상기 머리 영상과 조정 후의 애니메이션 소재을 합성하는 단계를 포함하는 방법.
  7. 제2항 내지 제6항 중 어느 한 항에 있어서, 상기 머리 영상과 기설정된 애니메이션 소재를 합성하여, 상기 타겟 객체의 가상 형상을 생성하는 상기 단계 전에,
    상기 머리 영상의 축선을 획득하되, 상기 축선은 가로 축선 및/또는 세로 축선을 포함하는 단계;
    상기 머리 영상의 축선을 기초로 상기 머리 영상에 대해 각도 조절하여, 상기 가로 축선이 수평을 유지， 및/또는 상기 세로 축선이 수직을 유지하도록 하는 단계를 더 포함하는 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되면, 상기 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득하는 상기 단계는,
    상기 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되고, 제1 기설정 조건을 만족하면, 상기 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득하는 단계를 포함하되; 여기서, 상기 제1 기설정 조건은,
    상기 얼굴 영상이 상기 실시간 장면 영상에서 차지하는 면적이 기설정 비율 임계값을 초과; 또는
    상기 얼굴 영상이 상기 실시간 장면 영상의 중심 영역에 위치함; 또는
    상기 타겟 객체에 대한 사용자의 선택 명령을 수신하는 것 중 적어도 하나를 포함하는 방법.
  9. 제8항에 있어서, 상기 방법은,
    제2 기설정 조건을 만족하면, 상기 실시간 장면 영상으로부터 타겟 물체 영상을 획득하고, 상기 타겟 물체를 기초로 상기 타겟 물체의 가상 형상을 생성하고, 증강 현실 디스플레이 기술에 기반하여, 상기 실시간 장면 영상에 상기 타겟 물체의 가상 형상을 디스플레이하는 단계를 더 포함하되; 여기서, 상기 제2 기설정 조건은,
    상기 실시간 장면 영상에 상기 얼굴 영상이 포함되지 않음; 또는
    상기 실시간 장면 영상에서 상기 얼굴 영상이 상기 실시간 장면 영상에서 차지하는 면적의 비율이 기설정 비율 임계값을 초과하지 않음; 또는
    상기 실시간 장면 영상에서 상기 얼굴 영상이 상기 실시간 장면 영상의 중심 영역에 위치하지 않음; 또는
    상기 실시간 장면 영상에서 상기 얼굴 영상이 타겟 객체의 측면 얼굴이고, 타겟 객체의 측면 얼굴의 회전 각도가 기설정 각도 임계값을 초과; 또는
    상기 실시간 장면 영상 중의 타겟 물체에 대한 사용자의 선택 명령을 수신하는 것 중 적어도 하나를 포함하는 방법.
  10. 제2항 내지 제9항 중 어느 한 항에 있어서, 상기 방법은,
    상기 애니메이션 소재를 재생하여, 상기 타겟 객체의 가상 형상의 동작을 제어하는 단계를 더 포함하는 방법.
  11. 제10항에 있어서, 상기 애니메이션 소재를 재생하여, 상기 타겟 객체의 가상 형상의 동작을 제어하는 상기 단계는,
    상기 애니메이션 소재의 기설정 애니메이션 프레임을 기초로 상기 애니메이션 소재를 재생하여, 상기 타겟 객체의 가상 형상의 동작을 제어하는 단계를 포함하는 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 방법은,
    상기 타겟 객체의 가상 형상에 대한 사용자의 제어 명령에 응답하여, 상기 타겟 객체의 가상 형상에 대해 상응한 제어를 수행하는 단계를 더 포함하되, 상기 제어 명령은, 회전 제어 명령, 축소 제어 명령, 이동 제어 명령, 확대 제어 명령 중 적어도 하나를 포함하는 방법.
  13. 실시간 장면 영상을 획득하는 획득 유닛;
    상기 실시간 장면 영상에 타겟 객체의 얼굴 영상이 포함되는 경우, 상기 실시간 장면 영상으로부터 타겟 객체의 머리 영상을 획득하되, 여기서 상기 타겟 객체의 머리 영상은 상기 타겟 객체의 얼굴 영상을 포함하는 영상 분할 유닛;
    상기 머리 영상을 기초로, 상기 타겟 객체의 가상 형상을 생성하는 생성 유닛;
    증강 현실 디스플레이 기술에 기반하여, 상기 실시간 장면 영상에 상기 타겟 객체의 가상 형상을 디스플레이하는 디스플레이 유닛을 포함하는 증강 현실 기반 디스플레이 기기.
  14. 적어도 하나의 프로세서와 메모리를 포함하고;
    상기 메모리는 컴퓨터 실행 명령을 저장하고;
    상기 적어도 하나의 프로세서는 상기 메모리에 저장된 컴퓨터 실행 명령을 실행하여, 상기 적어도 하나의 프로세서가 제1항 내지 제12항 중 어느 한 항에 따른 방법을 실행하도록 하는 전자기기.
  15. 컴퓨터 판독 가능 저장매체에 있어서,
    상기 컴퓨터 판독 가능 저장매체에 컴퓨터 실행 명령이 저장되어 있고, 프로세서가 상기 컴퓨터 실행 명령을 실행될 때, 제1항 내지 제12항 중 어느 한 항에 따른 방법을 구현하는 컴퓨터 판독 가능 저장매체.
  16. 컴퓨터 명령을 포함하고,
    상기 컴퓨터 명령이 프로세서에 의해 실행될 때, 제1항 내지 제12항 중 어느 한 항에 따른 방법을 구현하는 컴퓨터 프로그램 제품.
  17. 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 제1항 내지 제12항 중 어느 한 항에 따른 방법을 구현하는 컴퓨터 프로그램.

KR1020227018309A 2021-02-09 2022-01-24 증강 현실 기반 디스플레이 방법, 기기, 저장매체 및 프로그램 제품 KR102593043B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202110182060.XA CN112884908A (zh) 2021-02-09 2021-02-09 基于增强现实的显示方法、设备、存储介质及程序产品
CN202110182060X 2021-02-09
PCT/CN2022/073593 WO2022170958A1 (zh) 2021-02-09 2022-01-24 基于增强现实的显示方法、设备、存储介质及程序产品

Publications (2)

Publication Number Publication Date
KR20220116440A true KR20220116440A (ko) 2022-08-23
KR102593043B1 KR102593043B1 (ko) 2023-10-24

Family

ID=82705017

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227018309A KR102593043B1 (ko) 2021-02-09 2022-01-24 증강 현실 기반 디스플레이 방법, 기기, 저장매체 및 프로그램 제품

Country Status (4)

Country Link
US (1) US11763533B2 (ko)
EP (1) EP4071725A4 (ko)
JP (1) JP7427786B2 (ko)
KR (1) KR102593043B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210375023A1 (en) * 2020-06-01 2021-12-02 Nvidia Corporation Content animation using one or more neural networks

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120118655A (ko) * 2011-04-19 2012-10-29 네오뷰코오롱 주식회사 투명 디스플레이를 갖는 블루투스 단말
KR20170018930A (ko) * 2014-06-14 2017-02-20 매직 립, 인코포레이티드 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들
KR20190006553A (ko) * 2016-06-16 2019-01-18 센소모토릭 인스트루멘츠 게젤샤프트 퓌어 이노바티브 센소릭 엠베하 사용자 거동에 관한 눈 추적 기반 정보를 제공하기 위한 방법 및 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3926307B2 (ja) * 2003-08-06 2007-06-06 株式会社スクウェア・エニックス ３次元画像描画装置及び方法、プログラム、並びに記録媒体
KR100500897B1 (ko) * 2003-09-03 2005-07-14 한국전자통신연구원 방향을 갖는 질점과 일반화된 스프링 모델을 이용한비정형 물체의 애니메이션 방법
EP2681638A4 (en) * 2011-02-28 2016-08-03 Facecake Marketing Technologies Inc VIRTUAL REFLECTION IN REAL TIME
GB201410285D0 (en) * 2014-06-10 2014-07-23 Appeartome Ltd Augmented reality apparatus and method
KR20170000748A (ko) * 2015-06-24 2017-01-03 삼성전자주식회사 얼굴 인식 방법 및 장치
US20180047200A1 (en) 2016-08-11 2018-02-15 Jibjab Media Inc. Combining user images and computer-generated illustrations to produce personalized animated digital avatars
CN108536277A (zh) 2017-03-06 2018-09-14 北京可见文化传播有限公司 在vr环境中激活与画面无关的交互元素的方法及系统
CN107203263A (zh) * 2017-04-11 2017-09-26 北京峰云视觉技术有限公司 一种虚拟现实眼镜系统及图像处理方法
CN108305317B (zh) 2017-08-04 2020-03-17 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质
CN107526443A (zh) * 2017-09-29 2017-12-29 北京金山安全软件有限公司 一种增强现实方法、装置、系统、电子设备及存储介质
CN108255304B (zh) * 2018-01-26 2022-10-04 腾讯科技（深圳）有限公司 基于增强现实的视频数据处理方法、装置和存储介质
CN108614638B (zh) 2018-04-23 2020-07-07 太平洋未来科技（深圳）有限公司 Ar成像方法和装置
CN108629339B (zh) 2018-06-15 2022-10-18 Oppo广东移动通信有限公司 图像处理方法及相关产品
KR20200034039A (ko) * 2018-09-14 2020-03-31 엘지전자 주식회사 로봇 및 그 동작 방법
US20220078338A1 (en) 2018-12-28 2022-03-10 Sony Group Corporation Information processing apparatus, information processing method, and information processing program
US10789453B2 (en) 2019-01-18 2020-09-29 Snap Inc. Face reenactment
CN113261013A (zh) * 2019-01-18 2021-08-13 斯纳普公司 用于移动装置上逼真的头部转动和面部动画合成的系统和方法
CN109949207B (zh) 2019-01-31 2023-01-10 深圳市云之梦科技有限公司 虚拟对象合成方法、装置、计算机设备和存储介质
CN110211222B (zh) 2019-05-07 2023-08-01 谷东科技有限公司 一种ar沉浸式旅游导览方法、装置、存储介质及终端设备
CN111694431A (zh) 2020-06-09 2020-09-22 浙江商汤科技开发有限公司 一种人物形象生成的方法及装置
CN112162628A (zh) 2020-09-01 2021-01-01 魔珐(上海)信息科技有限公司 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端
CN112053449A (zh) 2020-09-09 2020-12-08 脸萌有限公司 基于增强现实的显示方法、设备及存储介质
CN112884908A (zh) 2021-02-09 2021-06-01 脸萌有限公司 基于增强现实的显示方法、设备、存储介质及程序产品
CN113858158A (zh) 2021-09-01 2021-12-31 杨芮 网络机器人

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120118655A (ko) * 2011-04-19 2012-10-29 네오뷰코오롱 주식회사 투명 디스플레이를 갖는 블루투스 단말
KR20170018930A (ko) * 2014-06-14 2017-02-20 매직 립, 인코포레이티드 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들
KR20190006553A (ko) * 2016-06-16 2019-01-18 센소모토릭 인스트루멘츠 게젤샤프트 퓌어 이노바티브 센소릭 엠베하 사용자 거동에 관한 눈 추적 기반 정보를 제공하기 위한 방법 및 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품

Also Published As

Publication number Publication date
JP7427786B2 (ja) 2024-02-05
KR102593043B1 (ko) 2023-10-24
US11763533B2 (en) 2023-09-19
US20220254116A1 (en) 2022-08-11
EP4071725A4 (en) 2023-07-05
JP2023516238A (ja) 2023-04-19
EP4071725A1 (en) 2022-10-12

Similar Documents

Publication Publication Date Title
WO2022170958A1 (zh) 基于增强现实的显示方法、设备、存储介质及程序产品
US9626103B2 (en) Systems and methods for identifying media portions of interest
CN110465097B (zh) 游戏中的角色立绘显示方法及装置、电子设备、存储介质
US20230419582A1 (en) Virtual object display method and apparatus, electronic device, and medium
US11587280B2 (en) Augmented reality-based display method and device, and storage medium
WO2022062903A1 (zh) 弹幕播放方法、相关设备及存储介质
US11594000B2 (en) Augmented reality-based display method and device, and storage medium
WO2020151491A1 (zh) 图像形变的控制方法、装置和硬件装置
JP2022505118A (ja) 画像処理方法、装置、ハードウェア装置
WO2021073293A1 (zh) 动画文件的生成方法、装置及存储介质
KR20220148915A (ko) 오디오 처리 방법, 장치, 판독 가능 매체 및 전자기기
US20240129576A1 (en) Video processing method, apparatus, device and storage medium
JP2023520732A (ja) 画像処理方法、装置、電子機器及びコンピュータ可読記憶媒体
CN114419213A (zh) 图像处理方法、装置、设备和存储介质
KR102593043B1 (ko) 증강 현실 기반 디스플레이 방법, 기기, 저장매체 및 프로그램 제품
KR20230130748A (ko) 이미지 처리 방법 및 장치, 디바이스 및 매체
CN110377220A (zh) 一种指令响应方法、装置、存储介质及电子设备
WO2024046360A1 (zh) 媒体内容处理方法、装置、设备、可读存储介质及产品
KR102261739B1 (ko) 증강 현실 미디어 콘텐츠의 적응적 스트리밍 시스템 및 적응적 스트리밍 방법
KR102120975B1 (ko) 3자유도 컨트롤러를 이용한 가상 객체의 움직임 구현 장치 및 방법
JP2016024760A (ja) 表示制御装置、表示端末、及び表示制御プログラム
CN117218249A (zh) 动画生成方法、装置、设备、存储介质和产品
CN111435546A (zh) 模型动作方法、装置、带屏音箱、电子设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant