KR102082894B1 - 오브젝트 표시 장치, 방법 및 이러한 방법을 수행하는 컴퓨터 판독 가능 매체에 저장된 프로그램 - Google Patents

오브젝트 표시 장치, 방법 및 이러한 방법을 수행하는 컴퓨터 판독 가능 매체에 저장된 프로그램 Download PDF

Info

Publication number
KR102082894B1
KR102082894B1 KR1020180079605A KR20180079605A KR102082894B1 KR 102082894 B1 KR102082894 B1 KR 102082894B1 KR 1020180079605 A KR1020180079605 A KR 1020180079605A KR 20180079605 A KR20180079605 A KR 20180079605A KR 102082894 B1 KR102082894 B1 KR 102082894B1
Authority
KR
South Korea
Prior art keywords
target image
model
image
attachment
vertex
Prior art date
Application number
KR1020180079605A
Other languages
English (en)
Other versions
KR20200005956A (ko
Inventor
한진용
김시균
신승호
송형주
윤찬민
조익환
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020180079605A priority Critical patent/KR102082894B1/ko
Publication of KR20200005956A publication Critical patent/KR20200005956A/ko
Application granted granted Critical
Publication of KR102082894B1 publication Critical patent/KR102082894B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0068—Geometric image transformation in the plane of the image for image registration, e.g. elastic snapping
    • G06T3/14—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

일 실시예에 따른 오브젝트 표시 방법은, 대상 이미지를 획득하는 단계; 상기 대상 이미지의 복수의 특징점을 기초로 상기 대상 이미지를 3D 모델로 변환하는 단계; 상기 3D 모델을 구성하는 복수의 정점(Vertex) 중 미리 정해진 오브젝트에 대응되는 부착 정점을 확인하는 단계; 및 상기 확인된 부착 정점에 대응되는 상기 대상 이미지의 위치에 상기 오브젝트를 중첩하여 표시하는 단계를 포함한다.

Description

오브젝트 표시 장치, 방법 및 이러한 방법을 수행하는 컴퓨터 판독 가능 매체에 저장된 프로그램{APPARATUS AND METHOD FOR DISPLAYING OBJECT AND PROGRAM STORED IN COMPUTER-READABLE MEDIUM FOR PERFORMING THE SAME}
본 발명은 대상 이미지에 오브젝트를 중첩하여 표시하는 오브젝트 표시 장치, 방법 및 이러한 방법을 수행하는 컴퓨터 판독 가능 매체에 저장된 프로그램에 관한 것이다.
디지털 카메라나 카메라가 탑재된 스마트폰의 사용이 일반화됨에 따라, 디지털 이미지의 편집에 대한 수요가 증가하고 있다. 예를 들어, 디지털 이미지를 임의로 편집하여 화질을 개선하거나, 사용자의 재미와 편의를 증대시키기 위한 목적으로, 특정 오브젝트를 합성하여 특수효과를 부여하는 프로그램이 널리 이용되고 있다.
또한, 스마트폰에서 촬영한 디지털 이미지를 무선인터넷을 통해 서비스 서버로 전송하고, 서비스 서버는 수신한 이미지에 특수 효과를 부여하거나 다른 이미지를 합성하여 새로운 이미지를 생성하는 등의 서비스 방법도 제안되고 있다.
나아가, 최근에는 셋톱 박스에서 사용자가 직접 촬영하거나 제공한 이미지를 컨텐츠에 합성하여 TV를 통해 제공함으로써, 사용자가 직접 컨텐츠를 제작할 수 있는 환경을 제공할 수 있다.
상술한 서비스들은 이미지의 합성 기술에 기반하는 바, 사용자가 이질감을 느끼지 않고 자연스럽게 인식할 수 있는 합성 영상을 제공하는 것이 중요하다.
한국공개특허공보, 제 10-2012-0083994호 (2012.07.27. 공개)
본 발명이 해결하고자 하는 과제는, 대상 이미지의 특징점 이외의 위치에 오브젝트 표시할 수 있는 기술을 제공하는 것이다.
또한, 대상 이미지의 변화에 따라 3D 표준 모델이 변형되고, 변형된 3D 표준 모델의 미리 정해진 정점에 대응되는 위치에 오브젝트가 표시되므로, 보다 자연스러운 이미지의 구현이 가능한 기술을 제공하는 것이다.
아울러, 본 발명에서 제안하는 기술을 단말기뿐만 아니라, 컨텐츠 데이터를 수신하여 디스플레이 장치에 제공하는 셋탑 박스에 적용하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따른 오브젝트 표시 방법은, 대상 이미지를 획득하는 단계; 상기 대상 이미지의 복수의 특징점을 기초로 상기 대상 이미지를 3D 모델로 변환하는 단계; 상기 3D 모델을 구성하는 복수의 정점(Vertex) 중 미리 정해진 오브젝트에 대응되는 부착 정점을 확인하는 단계; 및 상기 확인된 부착 정점에 대응되는 상기 대상 이미지의 위치에 상기 오브젝트를 중첩하여 표시하는 단계를 포함한다.
일 실시예에 따른 컴퓨터 판독 가능 기록매체에 저장된 프로그램은, 대상 이미지를 획득하는 단계; 상기 대상 이미지의 복수의 특징점을 기초로 상기 대상 이미지를 3D 모델로 변환하는 단계; 상기 3D 모델을 구성하는 복수의 정점(Vertex) 중 미리 정해진 오브젝트에 대응되는 부착 정점을 확인하는 단계; 및 상기 확인된 부착 정점에 대응되는 상기 대상 이미지의 위치에 상기 오브젝트를 중첩하여 표시하는 단계를 포함하는 오브젝트 표시 방법을 수행한다.
일 실시예에 따른 오브젝트 표시 장치는, 대상 이미지를 획득하는 이미지 획득부; 상기 대상 이미지의 복수의 특징점을 기초로 상기 대상 이미지를 3D 모델로 변환하고, 상기 3D 표준 모델을 구성하는 복수의 정점(Vertex) 중 미리 정해진 오브젝트에 대응되는 부착 정점을 확인하는 영상 처리부; 및 상기 확인된 부착 정점에 대응되는 상기 대상 이미지의 위치에 상기 오브젝트를 중첩하여 표시하도록 디스플레이 장치를 제어하는 제어 신호를 상기 디스플레이 장치로 전송하는 통신부를 포함한다.
일 실시예에 따른 오브젝트 표시 장치, 방법 및 이러한 방법을 수행하는 컴퓨터 판독 가능 매체에 저장된 프로그램은, 대상 이미지의 특징점 이외의 위치에 오브젝트의 표시가 가능하여, 사용자에게 보다 다양한 오브젝트 중첩 이미지를 제공할 수 있다.
또한, 대상 이미지의 변화에 대응하여 변형된 3D 표준 모델에 기초하여 오브젝트의 표시 위치가 결정되므로, 대상 이미지 상에 오브젝트가 보다 자연스럽게 중첩될 수 있다.
도 1a 및 1b 는 여러 가지 실시예에 따른 오브젝트 표시 장치의 기능 블록도이다.
도 2는 일 실시에에 따른 오브젝트 표시 장치가 획득하는 대상 이미지를 예시한 도면이다.
도 3a 및 3b는 특징점 기반 오브젝트 표시 방법을 설명하기 위한 도면이다.
도 4a는 일 실시예에 따른 3D 표준 모델의 기초가 되는 표준 이미지를 예시한 도면이고, 도 4b는 도 4a의 표준 이미지로부터 생성된 3D 표준 모델을 예시한 도면이다.
도 5는 일 실시예에 따른 오브젝트 표시 장치에 의해 변형된 3D 표준 모델을 예시한 도면이다.
도 6은 일 실시예에 따른 오브젝트 표시 장치에 의해 오브젝트가 중첩 표시된 대상 이미지를 예시한 도면이다.
도 7a 는 일 실시예에 따른 오브젝트 표시 장치가 획득한 대상 이미지 중 구강 내부의 이미지가 제거된 경우를 예시한 도면이고, 도 7b는 도 7a의 대상 이미지 상에 치아 및 혀에 대한 오브젝트가 중첩 표시되는 경우를 예시한 도면이다.
도 8은 일 실시예에 따른 오브젝트 표시 방법의 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1a 및 1b 는 여러 가지 실시예에 따른 오브젝트 표시 장치의 기능 블록도이고, 도 2는 일 실시에에 따른 오브젝트 표시 장치가 획득하는 대상 이미지를 예시한 도면이고, 도 3a 및 3b는 특징점 기반 오브젝트 표시 방법을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 오브젝트 표시 장치(1)는 획득된 대상 이미지 IT상에 오브젝트(O)를 중첩하여 표시하는 서비스를 제공하는 장치를 의미할 수 있다. 일 실시에에 따른 오브젝트 표시 장치(1)는 대상 이미지 IT상에 오브젝트(O)를 중첩하여 직접 표시하는 디스플레이 수단을 구비한 모든 장치를 포함할 수 있다. 예를 들어, 일 실시에에 따른 오브젝트 표시 장치(1)는 디스플레이 수단이 구비된 TV, 모니터, 노트북, LFD(Large Format Display), 스마트폰(Smartphone), 태블릿 PC(Tablet PC), 이동 전화기(Mobile Phone), 영상 전화기, 전자책 리더기(E-book Reader), 데스크탑(Desktop), 랩탑(Laptop), 넷북 컴퓨터(Netbook Computer), PDA(Personal Digital Assistant), PMP(Portable multimedia Player), MP3 플레이어, 디지털 카메라(Digital Camera), 웨어러블 장치(Wearable Device) 등을 포함할 수 있다.
도 1a는 디스플레이 수단으로서 디스플레이부(400)를 구비하는 오브젝트 표시 장치(1)를 예시한다. 도 1a의 오브젝트(O) 표시 수단은 디스플레이부(400)를 통해 오브젝트(O)가 중첩된 대상 이미지를 직접 표시하여 사용자에게 제공할 수 있다. 이를 위해, 디스플레이부(400)는 LCD(Liquid Crystal Display), LED(Light Emitting Diode), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diode), CRT(Cathode Ray Tube) 등으로 구현될 수 있으나, 상술한 예에 한정되지는 않는다.
도 1a와는 달리, 다른 실시예에 따른 오브젝트 표시 장치(1)는 대상 이미지 IT상에 오브젝트(O)를 중첩하여 표시하도록 하는 제어 신호를 외부의 디스플레이 장치(D)로 전송할 수 있는 수단을 구비한 모든 장치를 포함할 수 있다. 예를 들어, 다른 실시예에 따른 오브젝트 표시 장치(1)는 디스플레이 수단이 구비되지 않았거나, 디스플레이 수단이 구비되었더라도 외부의 디스플레이 장치(D)로 제어 신호를 전송할 수 있는 전송 수단이 마련된 컴퓨터, 스마트폰 등을 포함할 수 있다. 아울러, 다른 실시예에 따른 오브젝트 표시 장치(1)는 외부의 디스플레이 장치(D)에 컨텐츠 정보를 전송하는 셋톱 박스(Set Top Box)를 더 포함할 수도 있다.
도 1b는 제어 신호를 전송하는 수단으로서 통신부(500)를 포함하는 오브젝트 표시 장치(1)를 예시한다. 도 1b의 오브젝트(O) 표시 수단은 오브젝트(O)가 중첩된 대상 영상을 외부의 디스플레이 장치(D)가 표시하도록 제어하는 제어 신호를 디스플레이 장치(D)로 전송할 수 있다. 이 때, 통신부(500)는 유선 또는 무선으로 제어 신호를 디스플레이 장치(D)로 전송할 수 있으며, 전송 방법에는 제한이 없다.
또한, 도 1b에서는 오브젝트(O) 표시 수단이 디스플레이 수단인 디스플레이부(400)를 포함하지 않는 경우를 예시하였으나, 오브젝트(O) 표시 수단이 디스플레이부(400)를 포함하더라도, 통신부(500)를 더 포함함으로써 외부 디스플레이 장치(D)에 제어 신호를 전송하는 것도 가능할 수 있다.
이하에서는 설명의 편의상 오브젝트 표시 장치(1)가 도 1b의 실시예를 따르는 것을 전제로 한다. 또한, 도 1a의 오브젝트 표시 장치(1)와 도 1b의 오브젝트 표시 장치(1)의 중복되는 구성은 동일한 동작을 수행할 수 있다.
도 1b의 오브젝트 표시 장치(1)는, 대상 이미지를 획득하는 이미지 획득부(100); 3D 표준 모델 MR이 미리 저장되는 저장부(300); 대상 이미지를 기초로 3D 표준 모델 MR을 변형하는 영상 처리부(200); 및 변형된 3D 표준 모델 MR 상의 특정 정점에 대응되는 대상 이미지 IT상의 위치에 오브젝트(O)를 중첩 표시하도록 디스플레이 장치(D)를 제어하는 제어 신호를 디스플레이 장치(D)로 전송하는 통신부(500)를 포함할 수 있다.
이미지 획득부(100)는 오브젝트(O)가 중첩 표시될 대상 이미지 IT를 획득할 수 있다. 일 실시예에 따른 이미지 획득부(100)는 오브젝트(O)가 중첩 표시될 대상 이미지 IT를 직접 생성할 수 있다. 예를 들어, 이미지 획득부(100)가 카메라로 구성되는 경우, 이미지 획득부(100)는 객체에 대한 이미지를 생성함으로써 대상 이미지 IT를 획득할 수 있다.
이와는 달리, 다른 실시예에 따른 이미지 획득부(100)는 외부의 카메라에 의해 생성된 이미지를 수신함으로써 대상 이미지 IT를 획득할 수 있다. 예를 들어, 이미지 획득부(100)는 카메라가 마련되는 스마트 폰에 의해 생성된 객체에 대한 이미지를 유무선 방식으로 수신함으로써 대상 이미지 IT를 획득할 수 있다. 또한, 이미지 획득부(100)는 외부의 클라우드 서버 상에 존재하는 복수의 이미지 중 필요에 따라 원하는 이미지를 선택적으로 불러옴으로써 대상 이미지 IT를 획득할 수도 있다.
이 때, 이미지 획득부(100)가 획득하는 대상 이미지 IT는 단일 정지 영상이거나, 복수의 프레임 이미지로 구성되는 동영상일 수 있다. 도 2는 이미지 획득부(100)가 획득한 대상 이미지 IT를 예시하며, 인물의 얼굴에 대한 단일 정지 영상을 나타낸다.
이와 같은 대상 이미지 IT가 입력되는 경우, 오브젝트 표시 장치(1)는 대상 이미지 IT상에 오브젝트(O)를 중첩하여 표시할 수 있다. 대상 이미지 IT상에 오브젝트(O)를 중첩하여 표시하는 방법 중 하나로, 대상 이미지의 특징점을 이용할 수 있다. 구체적으로, 대상 이미지로부터 특징점을 추출하고, 오브젝트(O)에 대응되는 특징점으로부터 미리 정해진 거리만큼 이격된 대상 이미지 IT상의 위치에 오브젝트(O)를 중첩하여 표시할 수 있다.
도 3a는 도 2의 대상 이미지가 획득되었을 때, 대상 이미지의 특징점에 기초하여 오브젝트(O)가 중첩된 중첩 영상을 예시한다. 도 3a에서 중첩하여 표시하고자 하는 오브젝트(O)는 제 1 서브 오브젝트 O1와 제 2 서브 오브젝트 O2로 구성됨을 전제로 한다.
도 3a를 참조하면, 특징점에 기초하여 오브젝트(O)가 중첩된 중첩 영상을 표시하는 방법은 다음과 같다. 먼저, 대상 이미지로부터 추출된 복수의 특징점 중 제 1 서브 오브젝트 O1에 대응되는 좌측 눈썹 상단 중앙에 대응되는 제 1 특징점 f1 및 제 2 서브 오브젝트 O2에 대응되는 우측 눈썹 상단 중앙에 대응되는 제 2 특징점 f2을 확인할 수 있다. 제 1 특징점 f1이 확인되면, 제 1 특징점 f1으로부터 제 1 거리 d1만큼 이격된 위치에 제 1 서브 오브젝트 O1를 중첩하여 표시할 수 있다. 또한, 제 2 특징점 f2가 확인되면, 제 2 특징점 f2로부터 제 2 거리 d2만큼 이격된 위치에 제 2 서브 오브젝트 O2를 중첩하여 표시할 수 있다. 이 경우, 대상 이미지 IT상의 얼굴 중 머리 상단에 오브젝트(O)가 자연스럽게 중첩 표시될 수 있다.
그러나, 특징점에 기초한 중첩 영상 표시 방법은 대상 이미지가 변화함에 따라 오브젝트(O)가 부자연스럽게 중첩되어 표시될 수도 있다. 예를 들어, 도 2의 대상 이미지 IT상의 얼굴을 측면에서 촬영한 대상 이미지가 획득된 경우, 해당 얼굴의 머리 상단이 아닌 다른 위치에 오브젝트(O)가 중첩 표시될 수도 있다.
도 3b 도 2의 대상 이미지 IT상의 얼굴을 측면에서 촬영한 대상 이미지를 예시하고, 대상 이미지에 중첩 표시되는 오브젝트(O)는 도 3a의 경우와 같다. 도 3b를 참조하면, 대상 이미지로부터 추출된 제 1 특징점 f1으로부터 제 1 거리 d1만큼 이격된 위치에 제 1 서브 오브젝트 O1를 중첩하여 표시하고, 제 2 특징점 f2로부터 제 2 거리 d2만큼 이격된 위치에 제 2 서브 오브젝트 O2를 중첩하여 표시할 수 있다. 이 경우, 제 1 오브젝트(O)가 대상 이미지 IT내 얼굴 중 머리로부터 이격된 위치에 중첩 표시되므로, 사용자는 이를 부자연스럽게 인식할 수 있다.
또한, 얼굴에 대한 이미지로부터 획득되는 특징점은 눈, 코, 입, 턱 등 제한된 부위에 한정되므로, 특징점을 기반으로하여 오브젝트(O)를 중첩 표시하는 방법은 오브젝트(O)의 표시 가능 위치가 한정적이다. 예를 들어, 대상 이미지 IT내의 볼이나 이마와 같은 위치에 오브젝트(O)를 자연스럽게 중첩하여 표시하기는 어렵다.
이를 해결하기 위해, 본 발명의 일 실시예에 따른 오브젝트 표시 장치(1)는 3D 표준 모델 MR을 이용하여 오브젝트(O)를 대상 이미지 IT상에 중첩하여 표시할 수 있다.
다시 도 1b를 참조하면, 저장부(300)는 표준 이미지를 기초로 획득되는 3D 표준 모델 MR을 미리 저장할 수 있다. 저장부(300)는 오브젝트 표시 장치(1)에서 생성한 3D 표준 모델 MR을 저장하거나, 외부의 저장장치 또는 서버로부터 수신된 3D 표준 모델 MR을 저장할 수 있다.
이하에서는, 도 4a 및 4b를 참조하여, 3D 표준 모델 MR에 대하여 설명한다.
도 4a는 일 실시예에 따른 3D 표준 모델의 기초가 되는 표준 이미지를 예시한 도면이고, 도 4b는 도 4a의 표준 이미지로부터 생성된 3D 표준 모델을 예시한 도면이다.
3D 표준 모델 MR을 생성하기 위해, 먼저 기초가 되는 표준 이미지를 획득할 수 있다. 오브젝트 표시 장치(1)에서 직접 표준 이미지를 생성하는 경우, 대상 이미지 획득부(100)를 통해 표준 이미지를 획득할 수 있다. 이 때, 얼굴에 대한 표준 이미지의 경우, 해당 서비스를 이용하는 사용자를 대표하는 얼굴에 대한 이미지일 수 있다. 예를 들어, 해당 서비스를 이용하는 사용자의 성별, 나이, 인종 등을 고려하여 표준 이미지를 결정할 수 있다.
만약 도 4a와 같은 표준 이미지가 획득되는 경우, 표준 이미지로부터 복수의 특징점을 추출할 수 있다. 만약, 오브젝트 표시 장치(1)에서 직접 표준 이미지로부터 복수의 특징점을 추출하는 경우, 후술할 영상 처리부(200)에서 표준 이미지로부터 복수의 특징점을 추출할 수 있다.
그 다음, 획득된 복수의 특징점을 본(Bone)으로 하고, 각각의 본에 리깅(Rigging)되는 복수의 정점(Vertex)를 구성함으로써 3D 메쉬 데이터를 생성할 수 있다. 만약, 오브젝트 표시 장치(1)에서 직접 3D 메쉬 데이터를 생성하는 경우, 후술할 영상 처리부(200)에서 이를 수행할 수 있다.
저장부(300)는 이렇게 생성된 3D 메쉬 데이터를 3D 표준 모델 MR로서 저장할 수 있다. 도 4b는 도 4a의 표준 이미지로부터 생성되어 저장부(300)에 저장되는 3D 표준 모델 MR을 예시한다.
도 4b를 참조하면, 저장부(300)에 저장되는 3D 표준 모델 MR은 표준 이미지의 복수의 특징점에 대응되는 복수의 본을 포함하고, 복수의 본에 리깅되는 복수의 정점으로 구성될 수 있다. 또한, 복수의 정점 중 부착 정점으로 설정 가능한 복수의 후보 정점이 미리 결정될 수 있다. 여기서, 부착 정점이란 특정 오브젝트(O)에 대응되는 정점으로, 부착 정점에 대응되는 대상 이미지 IT상의 위치에 오브젝트(O)가 중첩 표시될 수 있다. 도 4b의 3D 표준 모델 MR은 후보 정점 V1 내지 V8을 포함하는 경우를 예시한다.
3D 표준 모델 MR을 생성하는 사업자와 대상 이미지에 중첩하여 표시될 오브젝트(O)에 대한 저작자가 상이한 경우, 오브젝트(O) 저작자는 대상 이미지 IT상에 중첩 표시하고자 하는 위치를 고려하여, 3D 표준 모델 MR 상의 복수의 후보 정점 중 적어도 하나에 오브젝트(O)를 대응시킬 수 있다.
다시 도 1b를 참조하면, 영상 처리부(200)는 대상 이미지의 복수의 특징점을 기초로 3D 표준 모델 MR을 변형(Deform)하여 대상 이미지를 3D 모델로 변환할 수 있다.. 이하에서는, 도 5를 참조하여, 3D 표준 모델 MR을 변형하는 방법을 설명한다.
도 5는 일 실시예에 따른 오브젝트 표시 장치에 의해 변형된 3D 표준 모델을 예시한 도면이다.
3D 표준 모델 MR을 변형하기 위해, 영상 처리부(200)는 대상 이미지로부터 복수의 특징점을 추출할 수 있다. 그 다음, 영상 처리부(200)는 추출된 특징점을 기초로 3D 표준 모델 MR의 복수의 본의 위치를 이동하여 3D 표준 모델 MR을 변형할 수 있다.
도 5는 도 3b의 경우와 동일한 대상 이미지를 획득하였을 때, 해당 대상 이미지의 특징점을 기초로 3D 표준 모델을 변형한 결과를 예시한다. 도 5에서 붉은색 점은 3D 표준 모델 MR의 복수의 본을 나타낸다.
획득된 대상 이미지는 좌측을 바라보는 얼굴을 객체로 하므로, 도 5에서는 대상 이미지의 특징점에 기초하여 변형된 3D 표준 모델 MR의 복수의 본의 위치가 좌측으로 이동하였음을 확인할 수 있다. 이처럼, 3D 표준 모델 MR의 본을 대상 이미지의 특징점에 대응되도록 이동시킴으로써, 3D 표준 모델 MR을 대상 이미지에 매칭할 수 있다.
이와 같이, 대상 이미지의 특징점에 기초하여 변형된 후, 대상 이미지에 매칭된 3D 표준 모델 MB를 대상 이미지로부터 변환된 3D 모델이라 한다. 대상 이미지로부터 변환된 3D 모델은 3D 표준 모델에 기초하여 획득되므로, 3D 표준 모델 상의 미리 정해진 부착 정점이 대상 이미지로부터 변환된 3D 모델에도 동일하게 적용될 수 있다.
대상 이미지를 3D 모델 로 변환한 후, 영상 처리부(200)는 3D 모델 상에서 미리 정해진 오브젝트(O)에 대응되는 부착 정점을 확인할 수 있다. 이 때, 오브젝트(O)는 입력부(600)를 통해 입력된 오브젝트(O) 선택 명령에 의해 미리 결정될 수 있다.
이와는 달리, 입력부(600)가 대상 이미지가 삽입된 컨텐츠를 선택하는 명령을 입력 받으면, 오브젝트(O)는 해당 컨텐츠에 대응되는 오브젝트(O)로 결정될 수 있다. 만약, 사용자가 미리 정해진 스토리에 따른 시청각 컨텐츠 중 하나를 선택하는 경우, 오브젝트(O)는 해당 스토리의 등장 인물 중 어느 하나를 상징하는 오브젝트(O)로 결정될 수 있다.
만약, 도 3a 및 3b의 오브젝트(O)와 동일한 오브젝트(O)로 미리 결정되는 경우, 영상 처리부(200)는 해당 오브젝트(O)에 대응되는 부착 정점 V1, 및 V2를 확인할 수 있다. 3D 표준 모델 MR이 대상 이미지에 기초하여 변형되면서, 도 4b와 비교할 때, 도 5의 부착 정점 V1, 및 V2가 좌측으로 이동하여 대상 이미지의 3D 모델이 획득됨을 확인할 수 있다.
부착 정점을 확인한 후, 영상 처리부(200)는 해당 부착 정점에 대응되는 대상 이미지의 위치에 오브젝트(O)를 중첩하여 표시하도록 제어하는 제어 신호를 생성할 수 있다. 통신부(500)는 생성된 제어 신호를 디스플레이 장치(D)로 전송하고, 디스플레이 장치(D)는 제어 신호에 따라 대상 이미지 IT상에 오브젝트(O)를 중첩 표시할 수 있다. 이하에서는, 도 6을 참조하여, 부착 정점에 대응되는 대상 이미지의 위치에 오브젝트(O)를 중첩하여 표시하는 방법을 설명한다.
도 6은 일 실시예에 따른 오브젝트 표시 장치에 의해 오브젝트가 중첩 표시된 대상 이미지를 예시한 도면이다.
도 5에 따라, 영상 처리부(200)는 부착 정점 V1, 및 V2를 확인할 수 있다. 또한, 해당 부착 정점 V1, 및 V2에 대응되는 대상 이미지 IT 상의 위치인 P1 및 P2를 확인할 수 있다. 여기서, 부착 정점에 대응되는 대상 이미지 IT 상의 위치란 대상 이미지에 매칭된 3D 표준 모델 MR의 부착 정점과 중첩되는 대상 이미지의 위치를 의미할 수 있다. 즉, 부착 정점에 대응되는 대상 이미지 IT 상의 위치란 대상 이미지를 변환하여 획득한 3D 모델의 부착 정점에 대응되는 대상 이미지의 위치를 의미할 수 있다.
도 6을 참조하면, 디스플레이 장치(D)는, 제어 신호에 따라, 부착 정점 V1에 대응되는 대상 이미지 IT상의 위치인 P1에 오브젝트(O) 중 제 1 서브 오브젝트 O1를 중첩하여 표시하고, 부착 정점 V2에 대응되는 대상 이미지 IT상의 위치인 P2에 오브젝트(O) 중 제 2 서브 오브젝트 O2를 중첩하여 표시할 수 있다. 도 3b의 오브젝트(O)가 중첩된 대상 이미지와 비교할 때, 도 6의 오브젝트(O)가 중첩된 대상 이미지는 사용자에게 시각적으로 더욱 자연스럽게 인식될 수 있다.
한편, 저장부(300)에 3D 표준 모델 MR 뿐만 아니라, 3D 표준 모델 MR에 대한 복수의 블렌드 쉐입(Blend Shape)이 함께 저장되는 경우, 오브젝트 표시 장치(1)는 3D 표준 모델 MR을 대상 이미지의 특징점에 기초하여 변형함으로써, 대상 이미지를 변화시킬 수 있다. 예를 들어, 대상 이미지가 얼굴을 객체로 하고, 저장부(300)에 저장되는 복수의 블렌드 쉐입이 얼굴 표정에 관한 것이면, 오브젝트 표시 장치(1)는 대상 이미지 IT상의 얼굴 표정을 블렌드 쉐입에 따라 변화시켜 표시하도록 디스플레이 장치(D)를 제어할 수 있다.
다만, 얼굴 중 구강 내부에 위치하는 치아 및 혀와 같은 부분은 블렌드 쉐입에 따른 표정 변화가 적용되기 어렵다. 따라서, 오브젝트 표시 장치(1)는 치아 및 혀와 같은 구강 내부의 신체 부위를 오브젝트(O)로 설정하고, 설정된 오브젝트(O)를 대상 이미지에 중첩 표시함으로써 보다 자연스럽게 얼굴 표정을 변화시킬 수 있다. 이하에서는, 도 7a 및 7b를 참조하여, 치아 및 혀를 오브젝트(O)로 하여 대상 이미지에 중첩 표시하는 방법을 설명한다.
도 7a 는 일 실시예에 따른 오브젝트 표시 장치가 획득한 대상 이미지 중 구강 내부의 이미지가 제거된 경우를 예시한 도면이고, 도 7b는 도 7a의 대상 이미지 상에 치아 및 혀에 대한 오브젝트가 중첩 표시되는 경우를 예시한 도면이다.
도 7a를 참조하면, 오브젝트 표시 장치(1)의 영상 처리부(200)는 대상 이미지 IT 중 구강 내부의 이미지를 제거할 수 있다. 또한, 영상 처리부(200)는 대상 이미지의 특징점에 기초하여 3D 표준 모델 MR을 변형할 수 있다. 이 때, 미리 결정된 치아 오브젝트 OT1와 혀 오브젝트 OT2는 3D 표준 모델 MR의 입 주변의 복수의 부착 정점에 대응될 수 있다.
도 7b를 참조하면, 영상 처리부(200)는 복수의 부착 정점에 대응되는 대상 이미지의 위치인 구강 내부에 치아 오브젝트 OT1와 혀 오브젝트OT2를 표시하도록 디스플레이 장치(D)를 제어하는 제어 신호를 생성할 수 있다. 이 때, 치아 오브젝트 OT1와 혀 오브젝트 OT2는 대상 이미지의 가장 앞에서 중첩 표시되는 것이 아니라, 대상 이미지의 뒤에서 표시될 수 있다. 그 결과, 입을 통해 보이는 구강 내부 영역에만 치아 오브젝트 OT1 및 혀 오브젝트 OT2가 표시될 수 있다.
이를 통해, 보다 자연스러운 표정 변화가 가능할 수 있다.
도 8은 일 실시예에 따른 오브젝트 표시 방법의 흐름도이다.
먼저, 오브젝트 표시 장치(1)는 대상 이미지를 획득할 수 있다(S100). 이 때, 오브젝트 표시 장치(1)는 객체를 직접 촬영하여 객체에 대한 대상 이미지를 획득하거나, 외부 저장매체 또는 서버로부터 객체에 대한 대상 이미지를 수신하여 획득할 수 있다.
대상 이미지가 획득되면, 오브젝트 표시 장치(1)는 대상 이미지의 특징점을 기초로 대상 이미지를 3D 모델로 변환할 수 있다(S110). 구체적으로, 오브젝트 표시 장치(1)는 대상 이미지의 복수의 특징점을 추출하고, 3D 표준 모델의 본을 추출된 특징점에 대응되도록 이동시킴으로써 3D 표준 모델을 변형할 수 있다. 그 결과, 3D 표준 모델은 대상 이미지에 매칭됨으로써 대상 이미지를 3D 모델로 변환할 수 있다.
그 다음, 오브젝트 표시 장치(1)는 3D 모델을 구성하는 복수의 정점 중 미리 정해진 오브젝트(O)에 대응되는 부착 정점을 확인할 수 있다(S120). 대상 이미지로부터 변환된 3D 모델은 3D 표준 모델에 기초하여 획득되므로, 3D 표준 모델 상의 미리 정해진 부착 정점이 대상 이미지로부터 변환된 3D 모델에도 동일하게 적용될 수 있다.
이 때, 오브젝트(O)는 오브젝트 표시 장치(1)를 통해 입력된 사용자의 오브젝트(O) 선택 명령에 따라 결정될 수 있다. 이와는 달리, 사용자가 대상 이미지가 삽입될 컨텐츠 선택 명령을 오브젝트 표시 장치(1)를 통해 입력하면, 오브젝트(O)는 선택된 컨텐츠에 대응되는 오브젝트(O)로 결정될 수 있다.
오브젝트 표시 장치(1)는 이렇게 결정되는 오브젝트(O)에 대응되는 부착 정점을 변형된 3D 표준 모델, 즉 대상 이미지로부터 변환된 3D 모델 상에서 확인할 수 있다.
마지막으로, 오브젝트 표시 장치(1)는 확인된 부착 정점에 대응되는 대상 이미지의 위치에 오브젝트(O)를 중첩하여 표시할 수 있다(S130). 만약, 오브젝트 표시 장치(1)가 디스플레이 수단을 구비하는 경우, 오브젝트 표시 장치(1)는 직접 오브젝트(O)가 중첩된 대상 이미지를 표시할 수 있다. 이와는 달리, 오브젝트 표시 장치(1)가 디스플레이 수단을 구비하지 않거나, 디스플레이 수단을 구비하더라도 외부의 디스플레이 장치(D)와 통신 가능한 통신부(500)를 구비하는 경우, 오브젝트 표시 장치(1)는 오브젝트(O)가 중첩 표시된 대상 이미지를 표시하도록 디스플레이 장치(D)를 제어하는 제어 명령을 디스플레이 장치(D)로 전송할 수 있다.
상술한 오브젝트 표시 장치 및 방법, 및 이러한 방법을 수행하는 컴퓨터 판독 가능 매체에 저장된 프로그램은, 대상 이미지의 특징점 이외의 위치에 오브젝트의 표시가 가능하여, 사용자에게 보다 다양한 오브젝트 중첩 이미지를 제공할 수 있다. 또한, 대상 이미지의 변화에 대응하여 변형된 3D 표준 모델에 기초하여 오브젝트의 표시 위치가 결정되므로, 대상 이미지 상에 오브젝트가 보다 자연스럽게 중첩될 수 있다.
한편, 상술한 일 실시예에 따른 오브젝트 표시 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
한편, 상술한 일 실시예에 따른 오브젝트 표시 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
일 실시예에 따르면, 상술한 오브젝트 표시 장치, 방법 및 이러한 방법을 수행하는 컴퓨터 판독 가능 매체에 저장된 프로그램은 댁내 또는 산업 현장 등 다양한 분야에서 이용될 수 있으므로 산업상 이용 가능성이 있다.
1: 오브젝트 표시 장치
D: 디스플레이 장치
IT: 대상 이미지
IR: 표준 이미지
MR: 3D 표준 모델
O: 오브젝트

Claims (13)

  1. 대상 이미지를 획득하는 단계;
    상기 획득된 대상 이미지의 복수의 특징점을 기초로 상기 대상 이미지를 3D 모델로 변환하는 단계;
    상기 3D 모델을 구성하는 복수의 정점(Vertex) 중 미리 정해진 오브젝트에 대응되는 부착 정점을 확인하는 단계; 및
    상기 확인된 부착 정점에 대응되는 상기 대상 이미지의 위치에 상기 오브젝트를 중첩하여 표시하는 단계를 포함하고,
    상기 오브젝트가 중첩하여 표시되는 상기 대상 이미지의 위치는 상기 특징점에 해당하지 않으며, 상기 오브젝트에 대응되는 부착 정점은 상기 특징점에 대응되지 않는
    오브젝트 표시 방법.
  2. 제 1 항에 있어서,
    상기 대상 이미지를 3D 모델로 변환하는 단계는,
    상기 획득된 대상 이미지의 복수의 특징점을 기초로 3D 표준 모델을 변형(Deform)하여 상기 대상 이미지를 3D 모델로 변환하는
    오브젝트 표시 방법.
  3. 제 2 항에 있어서,
    상기 3D 표준 모델은,
    표준 이미지 상의 복수의 특징점(Feature Point)에 따라 결정되고, 상기 복수의 정점 중 상기 부착 정점으로 설정 가능한 복수의 후보 정점을 포함하는
    오브젝트 표시 방법.
  4. 제 2 항에 있어서,
    상기 3D 표준 모델을 변형(Deform)하여 상기 대상 이미지를 3D 모델로 변환하는 단계는,
    상기 복수의 특징점을 기초로 상기 3D 표준 모델의 상기 복수의 정점이 리깅(Rigging)된 복수의 본(bone)의 위치를 이동하여 상기 3D 표준 모델을 변형하는
    오브젝트 표시 방법.
  5. 제 1 항에 있어서,
    상기 대상 이미지가 삽입될 컨텐츠가 사용자에 의해 선택되는 단계를 더 포함하고,
    상기 오브젝트는,
    상기 선택된 컨텐츠에 대응되는 오브젝트로 결정되는
    오브젝트 표시 방법.
  6. 제 1 항에 있어서,
    상기 오브젝트를 중첩하여 표시하는 단계는,
    상기 대상 이미지의 변화에 따라 변형되는 상기 3D 모델의 상기 부착 정점에 대응되는 상기 대상 이미지의 위치에 상기 오브젝트를 표시하는
    오브젝트 표시 방법.
  7. 대상 이미지를 획득하는 단계;
    상기 대상 이미지의 복수의 특징점을 기초로 상기 대상 이미지를 3D 모델로 변환하는 단계;
    상기 3D 모델을 구성하는 복수의 정점(Vertex) 중 미리 정해진 오브젝트에 대응되는 부착 정점을 확인하는 단계; 및
    상기 확인된 부착 정점에 대응되는 상기 대상 이미지의 위치에 상기 오브젝트를 중첩하여 표시하는 단계를 포함하고,
    상기 오브젝트가 중첩하여 표시되는 상기 대상 이미지의 위치는 상기 특징점에 해당하지 않으며, 상기 오브젝트에 대응되는 부착 정점은 상기 특징점에 대응되지 않는
    오브젝트 표시 방법을 수행하는 컴퓨터 판독 가능 기록매체에 저장된 프로그램.
  8. 제 7 항에 있어서,
    상기 대상 이미지를 3D 모델로 변환하는 단계는,
    상기 획득된 대상 이미지의 복수의 특징점을 기초로 3D 표준 모델을 변형(Deform)하여 상기 대상 이미지를 3D 모델로 변환하는
    오브젝트 표시 방법을 수행하는 컴퓨터 판독 가능 기록매체에 저장된 프로그램.
  9. 제 8 항에 있어서,
    상기 3D 표준 모델은,
    표준 이미지 상의 복수의 특징점(Feature Point)에 따라 결정되고, 상기 복수의 정점 중 상기 부착 정점으로 설정 가능한 복수의 후보 정점을 포함하는
    오브젝트 표시 방법을 수행하는 컴퓨터 판독 가능 기록매체에 저장된 프로그램.
  10. 제 8 항에 있어서,
    상기 3D 표준 모델을 변형(Deform)하여 상기 대상 이미지를 3D 모델로 변환하는 단계는,
    상기 복수의 특징점을 기초로 상기 3D 표준 모델의 상기 복수의 정점이 리깅(Rigging)된 복수의 본(bone)의 위치를 이동하여 상기 3D 표준 모델을 변형하는
    오브젝트 표시 방법을 수행하는 컴퓨터 판독 가능 기록매체에 저장된 프로그램.
  11. 제 7 항에 있어서,
    상기 대상 이미지가 삽입될 컨텐츠가 사용자에 의해 선택되는 단계를 더 포함하고,
    상기 오브젝트는,
    상기 선택된 컨텐츠에 대응되는 오브젝트로 결정되는
    오브젝트 표시 방법을 수행하는 컴퓨터 판독 가능 기록매체에 저장된 프로그램.
  12. 제 7 항에 있어서,
    상기 오브젝트를 중첩하여 표시하는 단계는,
    상기 대상 이미지의 변화에 따라 변형되는 상기 3D 모델의 상기 부착 정점에 대응되는 상기 대상 이미지의 위치에 상기 오브젝트를 표시하는
    오브젝트 표시 방법을 수행하는 컴퓨터 판독 가능 기록매체에 저장된 프로그램.
  13. 대상 이미지를 획득하는 이미지 획득부;
    상기 대상 이미지의 복수의 특징점을 기초로 상기 대상 이미지를 3D 모델로 변환하고, 상기 3D 모델을 구성하는 복수의 정점(Vertex) 중 미리 정해진 오브젝트에 대응되는 부착 정점을 확인하는 영상 처리부; 및
    상기 확인된 부착 정점에 대응되는 상기 대상 이미지의 위치에 상기 오브젝트를 중첩하여 표시하도록 디스플레이 장치를 제어하는 제어 신호를 상기 디스플레이 장치로 전송하는 통신부를 포함하고,
    상기 오브젝트가 중첩하여 표시되는 상기 대상 이미지의 위치는 상기 특징점에 해당하지 않으며, 상기 오브젝트에 대응되는 부착 정점은 상기 특징점에 대응되지 않는
    오브젝트 표시 장치.
KR1020180079605A 2018-07-09 2018-07-09 오브젝트 표시 장치, 방법 및 이러한 방법을 수행하는 컴퓨터 판독 가능 매체에 저장된 프로그램 KR102082894B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180079605A KR102082894B1 (ko) 2018-07-09 2018-07-09 오브젝트 표시 장치, 방법 및 이러한 방법을 수행하는 컴퓨터 판독 가능 매체에 저장된 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180079605A KR102082894B1 (ko) 2018-07-09 2018-07-09 오브젝트 표시 장치, 방법 및 이러한 방법을 수행하는 컴퓨터 판독 가능 매체에 저장된 프로그램

Publications (2)

Publication Number Publication Date
KR20200005956A KR20200005956A (ko) 2020-01-17
KR102082894B1 true KR102082894B1 (ko) 2020-02-28

Family

ID=69370074

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180079605A KR102082894B1 (ko) 2018-07-09 2018-07-09 오브젝트 표시 장치, 방법 및 이러한 방법을 수행하는 컴퓨터 판독 가능 매체에 저장된 프로그램

Country Status (1)

Country Link
KR (1) KR102082894B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468642B (zh) * 2021-06-30 2024-01-09 广联达科技股份有限公司 建筑物构件的附着方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2603445B2 (ja) * 1994-11-10 1997-04-23 インターナショナル・ビジネス・マシーンズ・コーポレイション 髪画像適合方法及びコンピュータ・システム
JP2003030684A (ja) * 2001-07-10 2003-01-31 Nippon Telegr & Teleph Corp <Ntt> 顔３次元コンピュータグラフィック生成方法及び装置及び顔３次元コンピュータグラフィック生成プログラム及び顔３次元コンピュータグラフィック生成プログラムを格納した記憶媒体
WO2017013925A1 (ja) 2015-07-21 2017-01-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20180101719A1 (en) 2015-06-08 2018-04-12 Bitmanagement Software GmbH Method and device for generating data for two- or three-dimensional depiction of at least part of an object and for generating the two- or three-dimensional depiction of the at least one part of the object

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011040653A1 (ko) * 2009-09-30 2011-04-07 주식회사 한울네오텍 3차원 객체를 제공하는 사진 장치 및 그 제공방법
US20110304629A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Real-time animation of facial expressions
KR101287420B1 (ko) 2011-01-19 2013-07-18 임경근 헤어스타일 합성시스템 및 합성방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2603445B2 (ja) * 1994-11-10 1997-04-23 インターナショナル・ビジネス・マシーンズ・コーポレイション 髪画像適合方法及びコンピュータ・システム
JP2003030684A (ja) * 2001-07-10 2003-01-31 Nippon Telegr & Teleph Corp <Ntt> 顔３次元コンピュータグラフィック生成方法及び装置及び顔３次元コンピュータグラフィック生成プログラム及び顔３次元コンピュータグラフィック生成プログラムを格納した記憶媒体
US20180101719A1 (en) 2015-06-08 2018-04-12 Bitmanagement Software GmbH Method and device for generating data for two- or three-dimensional depiction of at least part of an object and for generating the two- or three-dimensional depiction of the at least one part of the object
WO2017013925A1 (ja) 2015-07-21 2017-01-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
KR20200005956A (ko) 2020-01-17

Similar Documents

Publication Publication Date Title
US11481943B2 (en) Information processing apparatus, information processing method, and program
US10916044B2 (en) Information processing apparatus, information processing method, and program
US11887234B2 (en) Avatar display device, avatar generating device, and program
CN114236837A (zh) 用于显示交互式增强现实展示的系统、方法和介质
US20180204052A1 (en) A method and apparatus for human face image processing
KR20210119438A (ko) 얼굴 재연을 위한 시스템 및 방법
CN111754415B (zh) 人脸图像处理方法及装置、图像设备及存储介质
CN116664803A (zh) 用于合成图像的方法和设备
JP2018192230A (ja) 眉形状ガイド装置およびその方法
CN113302659A (zh) 用于生成具有定制的文本消息的个性化视频的系统和方法
US20120251995A1 (en) Apparatus and method for tutoring in convergence space of real and virtual environment
US11308677B2 (en) Generating personalized videos with customized text messages
US20160320833A1 (en) Location-based system for sharing augmented reality content
CN110148191A (zh) 视频虚拟表情生成方法、装置及计算机可读存储介质
CN108038916B (zh) 一种增强现实的显示方法
US10162997B2 (en) Electronic device, computer readable storage medium and face image display method
US10955911B2 (en) Gazed virtual object identification module, a system for implementing gaze translucency, and a related method
KR20170002097A (ko) 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치
US11477366B2 (en) Selfie setup and stock videos creation
KR20210111733A (ko) 영상을 처리하는 방법, 장치 및 기록매체
CN113453027A (zh) 直播视频、虚拟上妆的图像处理方法、装置及电子设备
KR102082894B1 (ko) 오브젝트 표시 장치, 방법 및 이러한 방법을 수행하는 컴퓨터 판독 가능 매체에 저장된 프로그램
JP5726421B2 (ja) 携帯端末機
CN112714337A (zh) 视频处理方法、装置、电子设备和存储介质
KR101426785B1 (ko) 스마트 디바이스에서 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant