KR20200005956A - Apparatus and method for displaying object and program stored in computer-readable medium for performing the same - Google Patents

Apparatus and method for displaying object and program stored in computer-readable medium for performing the same Download PDF

Info

Publication number
KR20200005956A
KR20200005956A KR1020180079605A KR20180079605A KR20200005956A KR 20200005956 A KR20200005956 A KR 20200005956A KR 1020180079605 A KR1020180079605 A KR 1020180079605A KR 20180079605 A KR20180079605 A KR 20180079605A KR 20200005956 A KR20200005956 A KR 20200005956A
Authority
KR
South Korea
Prior art keywords
target image
model
image
vertices
attachment
Prior art date
Application number
KR1020180079605A
Other languages
Korean (ko)
Other versions
KR102082894B1 (en
Inventor
한진용
김시균
신승호
송형주
윤찬민
조익환
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020180079605A priority Critical patent/KR102082894B1/en
Publication of KR20200005956A publication Critical patent/KR20200005956A/en
Application granted granted Critical
Publication of KR102082894B1 publication Critical patent/KR102082894B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T3/0068—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

According to one embodiment, an object display method comprises: a step of acquiring a target image; a step of converting the target image into a 3D model based on a plurality of feature points of the target image; a step of identifying an attachment vertex corresponding to a predetermined object among a plurality of vertices constituting the 3D model; and a step of overlapping and displaying the object at a position of the target image corresponding to the identified attachment vertex. Therefore, the present invention can provide a wider variety of objects overlapping the image to a user.

Description

오브젝트 표시 장치, 방법 및 이러한 방법을 수행하는 컴퓨터 판독 가능 매체에 저장된 프로그램{APPARATUS AND METHOD FOR DISPLAYING OBJECT AND PROGRAM STORED IN COMPUTER-READABLE MEDIUM FOR PERFORMING THE SAME} Object display device, method, and program stored on a computer readable medium performing such a method.

본 발명은 대상 이미지에 오브젝트를 중첩하여 표시하는 오브젝트 표시 장치, 방법 및 이러한 방법을 수행하는 컴퓨터 판독 가능 매체에 저장된 프로그램에 관한 것이다.The present invention relates to an object display apparatus, a method for superposing an object on a target image, and a program stored in a computer readable medium for performing the method.

디지털 카메라나 카메라가 탑재된 스마트폰의 사용이 일반화됨에 따라, 디지털 이미지의 편집에 대한 수요가 증가하고 있다. 예를 들어, 디지털 이미지를 임의로 편집하여 화질을 개선하거나, 사용자의 재미와 편의를 증대시키기 위한 목적으로, 특정 오브젝트를 합성하여 특수효과를 부여하는 프로그램이 널리 이용되고 있다.As the use of digital cameras and smartphones equipped with cameras is becoming more common, the demand for editing digital images is increasing. For example, in order to improve image quality by arbitrarily editing a digital image or to increase user's fun and convenience, a program for synthesizing a specific object and giving a special effect is widely used.

또한, 스마트폰에서 촬영한 디지털 이미지를 무선인터넷을 통해 서비스 서버로 전송하고, 서비스 서버는 수신한 이미지에 특수 효과를 부여하거나 다른 이미지를 합성하여 새로운 이미지를 생성하는 등의 서비스 방법도 제안되고 있다. In addition, a service method of transmitting a digital image photographed by a smartphone to a service server through a wireless Internet, and providing a special effect to the received image or synthesizing another image to generate a new image has also been proposed. .

나아가, 최근에는 셋톱 박스에서 사용자가 직접 촬영하거나 제공한 이미지를 컨텐츠에 합성하여 TV를 통해 제공함으로써, 사용자가 직접 컨텐츠를 제작할 수 있는 환경을 제공할 수 있다.Furthermore, in recent years, by synthesizing an image photographed or provided by a user directly in a set-top box and providing the content through a TV, an environment in which the user can directly create content can be provided.

상술한 서비스들은 이미지의 합성 기술에 기반하는 바, 사용자가 이질감을 느끼지 않고 자연스럽게 인식할 수 있는 합성 영상을 제공하는 것이 중요하다.Since the above services are based on image synthesis technology, it is important to provide a composite image that a user can recognize naturally without feeling heterogeneity.

한국공개특허공보, 제 10-2012-0083994호 (2012.07.27. 공개)Korean Patent Publication No. 10-2012-0083994 (published Jul. 27, 2012)

본 발명이 해결하고자 하는 과제는, 대상 이미지의 특징점 이외의 위치에 오브젝트 표시할 수 있는 기술을 제공하는 것이다.An object of the present invention is to provide a technique capable of displaying an object at a position other than a feature point of a target image.

또한, 대상 이미지의 변화에 따라 3D 표준 모델이 변형되고, 변형된 3D 표준 모델의 미리 정해진 정점에 대응되는 위치에 오브젝트가 표시되므로, 보다 자연스러운 이미지의 구현이 가능한 기술을 제공하는 것이다.In addition, the 3D standard model is deformed according to the change of the target image, and the object is displayed at a position corresponding to a predetermined vertex of the deformed 3D standard model, thereby providing a technology capable of implementing a more natural image.

아울러, 본 발명에서 제안하는 기술을 단말기뿐만 아니라, 컨텐츠 데이터를 수신하여 디스플레이 장치에 제공하는 셋탑 박스에 적용하는 것이다.In addition, the technique proposed by the present invention is applied to a set-top box that receives content data and provides it to a display device as well as a terminal.

다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the problem to be solved by the present invention is not limited to those mentioned above, another problem to be solved is not mentioned can be clearly understood by those skilled in the art from the following description. will be.

일 실시예에 따른 오브젝트 표시 방법은, 대상 이미지를 획득하는 단계; 상기 대상 이미지의 복수의 특징점을 기초로 상기 대상 이미지를 3D 모델로 변환하는 단계; 상기 3D 모델을 구성하는 복수의 정점(Vertex) 중 미리 정해진 오브젝트에 대응되는 부착 정점을 확인하는 단계; 및 상기 확인된 부착 정점에 대응되는 상기 대상 이미지의 위치에 상기 오브젝트를 중첩하여 표시하는 단계를 포함한다.According to an embodiment, an object display method includes: obtaining a target image; Converting the target image into a 3D model based on a plurality of feature points of the target image; Identifying attachment vertices corresponding to a predetermined object among a plurality of vertices constituting the 3D model; And displaying the object by overlapping the object at a position of the target image corresponding to the identified attachment vertex.

일 실시예에 따른 컴퓨터 판독 가능 기록매체에 저장된 프로그램은, 대상 이미지를 획득하는 단계; 상기 대상 이미지의 복수의 특징점을 기초로 상기 대상 이미지를 3D 모델로 변환하는 단계; 상기 3D 모델을 구성하는 복수의 정점(Vertex) 중 미리 정해진 오브젝트에 대응되는 부착 정점을 확인하는 단계; 및 상기 확인된 부착 정점에 대응되는 상기 대상 이미지의 위치에 상기 오브젝트를 중첩하여 표시하는 단계를 포함하는 오브젝트 표시 방법을 수행한다.According to an embodiment, a program stored in a computer-readable recording medium may include obtaining an object image; Converting the target image into a 3D model based on a plurality of feature points of the target image; Identifying attachment vertices corresponding to a predetermined object among a plurality of vertices constituting the 3D model; And displaying the object by overlapping the object at a position of the target image corresponding to the identified attachment vertex.

일 실시예에 따른 오브젝트 표시 장치는, 대상 이미지를 획득하는 이미지 획득부; 상기 대상 이미지의 복수의 특징점을 기초로 상기 대상 이미지를 3D 모델로 변환하고, 상기 3D 표준 모델을 구성하는 복수의 정점(Vertex) 중 미리 정해진 오브젝트에 대응되는 부착 정점을 확인하는 영상 처리부; 및 상기 확인된 부착 정점에 대응되는 상기 대상 이미지의 위치에 상기 오브젝트를 중첩하여 표시하도록 디스플레이 장치를 제어하는 제어 신호를 상기 디스플레이 장치로 전송하는 통신부를 포함한다.An object display apparatus according to an embodiment may include an image obtaining unit obtaining an object image; An image processing unit converting the target image into a 3D model based on the plurality of feature points of the target image, and identifying an attached vertex corresponding to a predetermined object among a plurality of vertices constituting the 3D standard model; And a communication unit configured to transmit a control signal for controlling the display device to display the object at a position of the target image corresponding to the identified attachment vertex, to the display device.

일 실시예에 따른 오브젝트 표시 장치, 방법 및 이러한 방법을 수행하는 컴퓨터 판독 가능 매체에 저장된 프로그램은, 대상 이미지의 특징점 이외의 위치에 오브젝트의 표시가 가능하여, 사용자에게 보다 다양한 오브젝트 중첩 이미지를 제공할 수 있다. An object display apparatus, a method, and a program stored in a computer-readable medium for performing the method may display an object at a position other than a feature point of a target image, thereby providing a variety of object overlap images to a user. Can be.

또한, 대상 이미지의 변화에 대응하여 변형된 3D 표준 모델에 기초하여 오브젝트의 표시 위치가 결정되므로, 대상 이미지 상에 오브젝트가 보다 자연스럽게 중첩될 수 있다.In addition, since the display position of the object is determined based on the 3D standard model deformed in response to the change of the target image, the object may more naturally overlap on the target image.

도 1a 및 1b 는 여러 가지 실시예에 따른 오브젝트 표시 장치의 기능 블록도이다.
도 2는 일 실시에에 따른 오브젝트 표시 장치가 획득하는 대상 이미지를 예시한 도면이다.
도 3a 및 3b는 특징점 기반 오브젝트 표시 방법을 설명하기 위한 도면이다.
도 4a는 일 실시예에 따른 3D 표준 모델의 기초가 되는 표준 이미지를 예시한 도면이고, 도 4b는 도 4a의 표준 이미지로부터 생성된 3D 표준 모델을 예시한 도면이다.
도 5는 일 실시예에 따른 오브젝트 표시 장치에 의해 변형된 3D 표준 모델을 예시한 도면이다.
도 6은 일 실시예에 따른 오브젝트 표시 장치에 의해 오브젝트가 중첩 표시된 대상 이미지를 예시한 도면이다.
도 7a 는 일 실시예에 따른 오브젝트 표시 장치가 획득한 대상 이미지 중 구강 내부의 이미지가 제거된 경우를 예시한 도면이고, 도 7b는 도 7a의 대상 이미지 상에 치아 및 혀에 대한 오브젝트가 중첩 표시되는 경우를 예시한 도면이다.
도 8은 일 실시예에 따른 오브젝트 표시 방법의 흐름도이다.1A and 1B are functional block diagrams of an object display apparatus according to various embodiments.
2 is a diagram illustrating a target image acquired by an object display apparatus according to an exemplary embodiment.
3A and 3B are diagrams for describing a feature-based object display method.
4A is a diagram illustrating a standard image on which a 3D standard model is based, and FIG. 4B is a diagram illustrating a 3D standard model generated from the standard image of FIG. 4A.
5 is a diagram illustrating a 3D standard model modified by an object display apparatus according to an exemplary embodiment.
6 is a diagram illustrating a target image in which objects are overlaid by an object display apparatus according to an exemplary embodiment.
FIG. 7A is a diagram illustrating a case where an image inside an oral cavity is removed from a target image acquired by an object display apparatus according to an exemplary embodiment. FIG. 7B illustrates overlapping objects of teeth and tongue on the target image of FIG. 7A. It is a figure which illustrates the case.
8 is a flowchart of an object display method according to an exemplary embodiment.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but can be implemented in various different forms, and only the embodiments make the disclosure of the present invention complete, and the general knowledge in the art to which the present invention belongs. It is provided to fully inform the person having the scope of the invention, which is defined only by the scope of the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, terms to be described below are terms defined in consideration of functions in the embodiments of the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the contents throughout the specification.

도 1a 및 1b 는 여러 가지 실시예에 따른 오브젝트 표시 장치의 기능 블록도이고, 도 2는 일 실시에에 따른 오브젝트 표시 장치가 획득하는 대상 이미지를 예시한 도면이고, 도 3a 및 3b는 특징점 기반 오브젝트 표시 방법을 설명하기 위한 도면이다.1A and 1B are functional block diagrams of an object display apparatus according to various embodiments, and FIG. 2 is a diagram illustrating a target image acquired by an object display apparatus according to an exemplary embodiment, and FIGS. 3A and 3B are feature point based objects. It is a figure for demonstrating a display method.

본 발명의 일 실시예에 따른 오브젝트 표시 장치(1)는 획득된 대상 이미지 IT상에 오브젝트(O)를 중첩하여 표시하는 서비스를 제공하는 장치를 의미할 수 있다. 일 실시에에 따른 오브젝트 표시 장치(1)는 대상 이미지 IT상에 오브젝트(O)를 중첩하여 직접 표시하는 디스플레이 수단을 구비한 모든 장치를 포함할 수 있다. 예를 들어, 일 실시에에 따른 오브젝트 표시 장치(1)는 디스플레이 수단이 구비된 TV, 모니터, 노트북, LFD(Large Format Display), 스마트폰(Smartphone), 태블릿 PC(Tablet PC), 이동 전화기(Mobile Phone), 영상 전화기, 전자책 리더기(E-book Reader), 데스크탑(Desktop), 랩탑(Laptop), 넷북 컴퓨터(Netbook Computer), PDA(Personal Digital Assistant), PMP(Portable multimedia Player), MP3 플레이어, 디지털 카메라(Digital Camera), 웨어러블 장치(Wearable Device) 등을 포함할 수 있다.The object display apparatus 1 according to an exemplary embodiment of the present invention may refer to an apparatus for providing a service for displaying an object O by overlapping the acquired object image I T. The object display apparatus 1 according to an exemplary embodiment may include all the apparatuses having display means for directly displaying the object O on the target image I T. For example, the object display device 1 according to an exemplary embodiment may include a TV, a monitor, a notebook computer, a large format display (LFD), a smartphone, a tablet PC, a mobile phone equipped with a display means. Mobile Phone, Video Phone, E-Book Reader, Desktop, Laptop, Netbook Computer, PDA (Personal Digital Assistant), Portable Multimedia Player (PMP), MP3 Player , A digital camera, a wearable device, and the like.

도 1a는 디스플레이 수단으로서 디스플레이부(400)를 구비하는 오브젝트 표시 장치(1)를 예시한다. 도 1a의 오브젝트(O) 표시 수단은 디스플레이부(400)를 통해 오브젝트(O)가 중첩된 대상 이미지를 직접 표시하여 사용자에게 제공할 수 있다. 이를 위해, 디스플레이부(400)는 LCD(Liquid Crystal Display), LED(Light Emitting Diode), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diode), CRT(Cathode Ray Tube) 등으로 구현될 수 있으나, 상술한 예에 한정되지는 않는다.1A illustrates an object display apparatus 1 having a display 400 as display means. The object O display means of FIG. 1A may directly display a target image in which the object O is superimposed through the display unit 400 and provide the same to the user. To this end, the display unit 400 may be implemented as a liquid crystal display (LCD), a light emitting diode (LED), a plasma display panel (PDP), an organic light emitting diode (OLED), a cathode ray tube (CRT), or the like. However, it is not limited to the example mentioned above.

도 1a와는 달리, 다른 실시예에 따른 오브젝트 표시 장치(1)는 대상 이미지 IT상에 오브젝트(O)를 중첩하여 표시하도록 하는 제어 신호를 외부의 디스플레이 장치(D)로 전송할 수 있는 수단을 구비한 모든 장치를 포함할 수 있다. 예를 들어, 다른 실시예에 따른 오브젝트 표시 장치(1)는 디스플레이 수단이 구비되지 않았거나, 디스플레이 수단이 구비되었더라도 외부의 디스플레이 장치(D)로 제어 신호를 전송할 수 있는 전송 수단이 마련된 컴퓨터, 스마트폰 등을 포함할 수 있다. 아울러, 다른 실시예에 따른 오브젝트 표시 장치(1)는 외부의 디스플레이 장치(D)에 컨텐츠 정보를 전송하는 셋톱 박스(Set Top Box)를 더 포함할 수도 있다.Unlike FIG. 1A, the object display apparatus 1 according to another exemplary embodiment includes means for transmitting a control signal to an external display apparatus D to superimpose and display the object O on the target image I T. It can include any device. For example, the object display device 1 according to another embodiment may be provided with a computer or smart device provided with a transmission means capable of transmitting a control signal to an external display device D even if the display means is not provided or the display means is provided. And the like. In addition, the object display device 1 according to another embodiment may further include a set top box for transmitting content information to the external display device D.

도 1b는 제어 신호를 전송하는 수단으로서 통신부(500)를 포함하는 오브젝트 표시 장치(1)를 예시한다. 도 1b의 오브젝트(O) 표시 수단은 오브젝트(O)가 중첩된 대상 영상을 외부의 디스플레이 장치(D)가 표시하도록 제어하는 제어 신호를 디스플레이 장치(D)로 전송할 수 있다. 이 때, 통신부(500)는 유선 또는 무선으로 제어 신호를 디스플레이 장치(D)로 전송할 수 있으며, 전송 방법에는 제한이 없다.FIG. 1B illustrates an object display apparatus 1 including a communication unit 500 as a means for transmitting a control signal. The object O display means of FIG. 1B may transmit a control signal to the display apparatus D to control the external display apparatus D to display the target image on which the object O is overlapped. In this case, the communication unit 500 may transmit a control signal to the display apparatus D by wire or wirelessly, and the transmission method is not limited.

또한, 도 1b에서는 오브젝트(O) 표시 수단이 디스플레이 수단인 디스플레이부(400)를 포함하지 않는 경우를 예시하였으나, 오브젝트(O) 표시 수단이 디스플레이부(400)를 포함하더라도, 통신부(500)를 더 포함함으로써 외부 디스플레이 장치(D)에 제어 신호를 전송하는 것도 가능할 수 있다.In addition, although FIG. 1B illustrates a case in which the object O display means does not include the display unit 400 that is a display means, even if the object O display means includes the display unit 400, the communication unit 500 may be used. It may also be possible to transmit a control signal to the external display device (D) by further including.

이하에서는 설명의 편의상 오브젝트 표시 장치(1)가 도 1b의 실시예를 따르는 것을 전제로 한다. 또한, 도 1a의 오브젝트 표시 장치(1)와 도 1b의 오브젝트 표시 장치(1)의 중복되는 구성은 동일한 동작을 수행할 수 있다.Hereinafter, for convenience of explanation, it is assumed that the object display apparatus 1 follows the embodiment of FIG. 1B. In addition, the overlapping configuration of the object display device 1 of FIG. 1A and the object display device 1 of FIG. 1B may perform the same operation.

도 1b의 오브젝트 표시 장치(1)는, 대상 이미지를 획득하는 이미지 획득부(100); 3D 표준 모델 MR이 미리 저장되는 저장부(300); 대상 이미지를 기초로 3D 표준 모델 MR을 변형하는 영상 처리부(200); 및 변형된 3D 표준 모델 MR 상의 특정 정점에 대응되는 대상 이미지 IT상의 위치에 오브젝트(O)를 중첩 표시하도록 디스플레이 장치(D)를 제어하는 제어 신호를 디스플레이 장치(D)로 전송하는 통신부(500)를 포함할 수 있다.The object display device 1 of FIG. 1B includes an image obtaining unit 100 for obtaining a target image; A storage unit 300 in which a 3D standard model M R is stored in advance; An image processor 200 deforming the 3D standard model M R based on the target image; And a communication unit configured to transmit a control signal for controlling the display apparatus D to the display apparatus D such that the object O is superimposed and displayed at a position on the target image I T corresponding to a specific vertex on the deformed 3D standard model M R. 500).

이미지 획득부(100)는 오브젝트(O)가 중첩 표시될 대상 이미지 IT를 획득할 수 있다. 일 실시예에 따른 이미지 획득부(100)는 오브젝트(O)가 중첩 표시될 대상 이미지 IT를 직접 생성할 수 있다. 예를 들어, 이미지 획득부(100)가 카메라로 구성되는 경우, 이미지 획득부(100)는 객체에 대한 이미지를 생성함으로써 대상 이미지 IT를 획득할 수 있다.The image acquirer 100 may acquire a target image I T on which the object O is to be overlapped. The image acquirer 100 according to an exemplary embodiment may directly generate the target image I T on which the object O is to be overlapped. For example, when the image acquisition unit 100 is configured as a camera, the image acquisition unit 100 may obtain the target image IT by generating an image of the object.

이와는 달리, 다른 실시예에 따른 이미지 획득부(100)는 외부의 카메라에 의해 생성된 이미지를 수신함으로써 대상 이미지 IT를 획득할 수 있다. 예를 들어, 이미지 획득부(100)는 카메라가 마련되는 스마트 폰에 의해 생성된 객체에 대한 이미지를 유무선 방식으로 수신함으로써 대상 이미지 IT를 획득할 수 있다. 또한, 이미지 획득부(100)는 외부의 클라우드 서버 상에 존재하는 복수의 이미지 중 필요에 따라 원하는 이미지를 선택적으로 불러옴으로써 대상 이미지 IT를 획득할 수도 있다.Alternatively, the image acquisition unit 100 according to another embodiment may obtain the target image I T by receiving an image generated by an external camera. For example, the image acquisition unit 100 may obtain a target image I T by receiving an image of an object generated by a smartphone provided with a camera in a wired or wireless manner. In addition, the image obtaining unit 100 may obtain a target image I T by selectively loading a desired image among a plurality of images existing on an external cloud server as needed.

이 때, 이미지 획득부(100)가 획득하는 대상 이미지 IT는 단일 정지 영상이거나, 복수의 프레임 이미지로 구성되는 동영상일 수 있다. 도 2는 이미지 획득부(100)가 획득한 대상 이미지 IT를 예시하며, 인물의 얼굴에 대한 단일 정지 영상을 나타낸다. In this case, the target image I T obtained by the image obtaining unit 100 may be a single still image or a moving image including a plurality of frame images. 2 illustrates a target image I T obtained by the image acquirer 100 and shows a single still image of a face of a person.

이와 같은 대상 이미지 IT가 입력되는 경우, 오브젝트 표시 장치(1)는 대상 이미지 IT상에 오브젝트(O)를 중첩하여 표시할 수 있다. 대상 이미지 IT상에 오브젝트(O)를 중첩하여 표시하는 방법 중 하나로, 대상 이미지의 특징점을 이용할 수 있다. 구체적으로, 대상 이미지로부터 특징점을 추출하고, 오브젝트(O)에 대응되는 특징점으로부터 미리 정해진 거리만큼 이격된 대상 이미지 IT상의 위치에 오브젝트(O)를 중첩하여 표시할 수 있다.When such a target image I T is input, the object display device 1 may display the object O by overlapping the target image I T. As one of methods for displaying the object O on the target image I T by overlapping the feature O, the feature point of the target image may be used. Specifically, the feature point may be extracted from the target image, and the object O may be overlapped and displayed at a position on the target image I T spaced apart from the feature point corresponding to the object O by a predetermined distance.

도 3a는 도 2의 대상 이미지가 획득되었을 때, 대상 이미지의 특징점에 기초하여 오브젝트(O)가 중첩된 중첩 영상을 예시한다. 도 3a에서 중첩하여 표시하고자 하는 오브젝트(O)는 제 1 서브 오브젝트 O1와 제 2 서브 오브젝트 O2로 구성됨을 전제로 한다.3A illustrates an overlapped image in which an object O is overlapped based on feature points of the target image when the target image of FIG. 2 is obtained. It is assumed that the object O to be overlapped and displayed in FIG. 3A includes a first sub object O 1 and a second sub object O 2 .

도 3a를 참조하면, 특징점에 기초하여 오브젝트(O)가 중첩된 중첩 영상을 표시하는 방법은 다음과 같다. 먼저, 대상 이미지로부터 추출된 복수의 특징점 중 제 1 서브 오브젝트 O1에 대응되는 좌측 눈썹 상단 중앙에 대응되는 제 1 특징점 f1 및 제 2 서브 오브젝트 O2에 대응되는 우측 눈썹 상단 중앙에 대응되는 제 2 특징점 f2을 확인할 수 있다. 제 1 특징점 f1이 확인되면, 제 1 특징점 f1으로부터 제 1 거리 d1만큼 이격된 위치에 제 1 서브 오브젝트 O1를 중첩하여 표시할 수 있다. 또한, 제 2 특징점 f2가 확인되면, 제 2 특징점 f2로부터 제 2 거리 d2만큼 이격된 위치에 제 2 서브 오브젝트 O2를 중첩하여 표시할 수 있다. 이 경우, 대상 이미지 IT상의 얼굴 중 머리 상단에 오브젝트(O)가 자연스럽게 중첩 표시될 수 있다.Referring to FIG. 3A, a method of displaying an overlapped image in which an object O is overlapped based on a feature point is as follows. First, corresponding to the upper right eyebrow center is one of a plurality of feature points extracted from the object image corresponding to the first sub-object O a first characteristic point corresponding to the upper left eyebrow center corresponding to 1 f 1 and the second sub-object O 2 2 Feature point f 2 can be confirmed. When the first feature point f 1 is identified, the first sub-object O 1 may be overlapped and displayed at a position spaced apart from the first feature point f 1 by a first distance d 1 . In addition, when the second feature point f 2 is identified, the second sub-object O 2 may be overlapped and displayed at a position spaced apart from the second feature point f 2 by a second distance d 2 . In this case, the object O may be naturally superimposed and displayed on the upper head of the face on the target image I T.

그러나, 특징점에 기초한 중첩 영상 표시 방법은 대상 이미지가 변화함에 따라 오브젝트(O)가 부자연스럽게 중첩되어 표시될 수도 있다. 예를 들어, 도 2의 대상 이미지 IT상의 얼굴을 측면에서 촬영한 대상 이미지가 획득된 경우, 해당 얼굴의 머리 상단이 아닌 다른 위치에 오브젝트(O)가 중첩 표시될 수도 있다.However, in the superimposed image display method based on the feature point, the object O may be unnaturally superimposed and displayed as the target image changes. For example, when a target image obtained by photographing a face on the target image I T of FIG. 2 is acquired, the object O may be overlapped and displayed at a position other than the top of the head of the face.

도 3b 도 2의 대상 이미지 IT상의 얼굴을 측면에서 촬영한 대상 이미지를 예시하고, 대상 이미지에 중첩 표시되는 오브젝트(O)는 도 3a의 경우와 같다. 도 3b를 참조하면, 대상 이미지로부터 추출된 제 1 특징점 f1으로부터 제 1 거리 d1만큼 이격된 위치에 제 1 서브 오브젝트 O1를 중첩하여 표시하고, 제 2 특징점 f2로부터 제 2 거리 d2만큼 이격된 위치에 제 2 서브 오브젝트 O2를 중첩하여 표시할 수 있다. 이 경우, 제 1 오브젝트(O)가 대상 이미지 IT내 얼굴 중 머리로부터 이격된 위치에 중첩 표시되므로, 사용자는 이를 부자연스럽게 인식할 수 있다. FIG. 3B illustrates an object image in which a face on the target image I T of FIG. 2 is photographed from the side, and the object O overlapping and displayed on the target image is the same as that of FIG. 3A. Referring to Figure 3b, a first feature point a first distance d 1, the first sub-object a second distance from the overlapping to display the O 1, and the second feature point f 2 in a spaced position by from f 1 extracted from the target image d 2 The second sub-object O 2 may be overlapped and displayed at positions spaced apart by each other. In this case, since the first object O is overlapped and displayed at a position spaced apart from the head of the face in the target image I T , the user may unnaturally recognize it.

또한, 얼굴에 대한 이미지로부터 획득되는 특징점은 눈, 코, 입, 턱 등 제한된 부위에 한정되므로, 특징점을 기반으로하여 오브젝트(O)를 중첩 표시하는 방법은 오브젝트(O)의 표시 가능 위치가 한정적이다. 예를 들어, 대상 이미지 IT내의 볼이나 이마와 같은 위치에 오브젝트(O)를 자연스럽게 중첩하여 표시하기는 어렵다.In addition, since the feature points acquired from the image of the face are limited to limited areas such as eyes, nose, mouth, and chin, the method of overlapping and displaying the object O based on the feature points has a limited displayable position of the object O. to be. For example, it is difficult to naturally display the object O in a position such as a ball or forehead in the target image I T.

이를 해결하기 위해, 본 발명의 일 실시예에 따른 오브젝트 표시 장치(1)는 3D 표준 모델 MR을 이용하여 오브젝트(O)를 대상 이미지 IT상에 중첩하여 표시할 수 있다.In order to solve this problem, the object display device 1 according to an exemplary embodiment may display the object O on the target image I T by using the 3D standard model MR.

다시 도 1b를 참조하면, 저장부(300)는 표준 이미지를 기초로 획득되는 3D 표준 모델 MR을 미리 저장할 수 있다. 저장부(300)는 오브젝트 표시 장치(1)에서 생성한 3D 표준 모델 MR을 저장하거나, 외부의 저장장치 또는 서버로부터 수신된 3D 표준 모델 MR을 저장할 수 있다. Referring back to FIG. 1B, the storage unit 300 may store in advance a 3D standard model MR acquired based on the standard image. The storage unit 300 may store the 3D standard model M R generated by the object display device 1, or may store the 3D standard model M R received from an external storage device or a server.

이하에서는, 도 4a 및 4b를 참조하여, 3D 표준 모델 MR에 대하여 설명한다.Hereinafter, the 3D standard model M R will be described with reference to FIGS. 4A and 4B.

도 4a는 일 실시예에 따른 3D 표준 모델의 기초가 되는 표준 이미지를 예시한 도면이고, 도 4b는 도 4a의 표준 이미지로부터 생성된 3D 표준 모델을 예시한 도면이다.4A is a diagram illustrating a standard image on which a 3D standard model is based, and FIG. 4B is a diagram illustrating a 3D standard model generated from the standard image of FIG. 4A.

3D 표준 모델 MR을 생성하기 위해, 먼저 기초가 되는 표준 이미지를 획득할 수 있다. 오브젝트 표시 장치(1)에서 직접 표준 이미지를 생성하는 경우, 대상 이미지 획득부(100)를 통해 표준 이미지를 획득할 수 있다. 이 때, 얼굴에 대한 표준 이미지의 경우, 해당 서비스를 이용하는 사용자를 대표하는 얼굴에 대한 이미지일 수 있다. 예를 들어, 해당 서비스를 이용하는 사용자의 성별, 나이, 인종 등을 고려하여 표준 이미지를 결정할 수 있다.In order to generate the 3D standard model M R , the underlying standard image can be obtained first. When the standard image is directly generated by the object display device 1, the standard image may be obtained through the target image acquisition unit 100. In this case, the standard image of the face may be an image of a face representing a user who uses the corresponding service. For example, the standard image may be determined by considering the gender, age, and race of the user who uses the service.

만약 도 4a와 같은 표준 이미지가 획득되는 경우, 표준 이미지로부터 복수의 특징점을 추출할 수 있다. 만약, 오브젝트 표시 장치(1)에서 직접 표준 이미지로부터 복수의 특징점을 추출하는 경우, 후술할 영상 처리부(200)에서 표준 이미지로부터 복수의 특징점을 추출할 수 있다.If a standard image as shown in FIG. 4A is obtained, a plurality of feature points may be extracted from the standard image. If the object display apparatus 1 directly extracts a plurality of feature points from the standard image, the image processor 200 to be described later may extract the feature points from the standard image.

그 다음, 획득된 복수의 특징점을 본(Bone)으로 하고, 각각의 본에 리깅(Rigging)되는 복수의 정점(Vertex)를 구성함으로써 3D 메쉬 데이터를 생성할 수 있다. 만약, 오브젝트 표시 장치(1)에서 직접 3D 메쉬 데이터를 생성하는 경우, 후술할 영상 처리부(200)에서 이를 수행할 수 있다. Next, 3D mesh data may be generated by configuring a plurality of acquired feature points as bones and configuring a plurality of vertices rigging to each bone. If the 3D mesh data is directly generated by the object display apparatus 1, the image processor 200 to be described later may perform the same.

저장부(300)는 이렇게 생성된 3D 메쉬 데이터를 3D 표준 모델 MR로서 저장할 수 있다. 도 4b는 도 4a의 표준 이미지로부터 생성되어 저장부(300)에 저장되는 3D 표준 모델 MR을 예시한다. The storage unit 300 may store the generated 3D mesh data as a 3D standard model M R. FIG. 4B illustrates the 3D standard model M R generated from the standard image of FIG. 4A and stored in the storage 300.

도 4b를 참조하면, 저장부(300)에 저장되는 3D 표준 모델 MR은 표준 이미지의 복수의 특징점에 대응되는 복수의 본을 포함하고, 복수의 본에 리깅되는 복수의 정점으로 구성될 수 있다. 또한, 복수의 정점 중 부착 정점으로 설정 가능한 복수의 후보 정점이 미리 결정될 수 있다. 여기서, 부착 정점이란 특정 오브젝트(O)에 대응되는 정점으로, 부착 정점에 대응되는 대상 이미지 IT상의 위치에 오브젝트(O)가 중첩 표시될 수 있다. 도 4b의 3D 표준 모델 MR은 후보 정점 V1 내지 V8을 포함하는 경우를 예시한다.Referring to FIG. 4B, the 3D standard model M R stored in the storage unit 300 may include a plurality of bones corresponding to a plurality of feature points of the standard image, and may include a plurality of vertices rigging to the plurality of bones. . Also, a plurality of candidate vertices that can be set as attachment vertices among a plurality of vertices may be predetermined. Here, the attachment vertex is a vertex corresponding to the specific object O, and the object O may be overlapped and displayed at a position on the target image I T corresponding to the attachment vertex. The 3D standard model M R of FIG. 4B illustrates the case including candidate vertices V 1 to V 8 .

3D 표준 모델 MR을 생성하는 사업자와 대상 이미지에 중첩하여 표시될 오브젝트(O)에 대한 저작자가 상이한 경우, 오브젝트(O) 저작자는 대상 이미지 IT상에 중첩 표시하고자 하는 위치를 고려하여, 3D 표준 모델 MR 상의 복수의 후보 정점 중 적어도 하나에 오브젝트(O)를 대응시킬 수 있다.If the creator of the 3D standard model M R and the author of the object O to be displayed in a superimposed manner on the target image are different, the author of the object (O) is 3D in consideration of the position to be superimposed on the target image I T. The object O may correspond to at least one of a plurality of candidate vertices on the standard model M R.

다시 도 1b를 참조하면, 영상 처리부(200)는 대상 이미지의 복수의 특징점을 기초로 3D 표준 모델 MR을 변형(Deform)하여 대상 이미지를 3D 모델로 변환할 수 있다.. 이하에서는, 도 5를 참조하여, 3D 표준 모델 MR을 변형하는 방법을 설명한다. Referring back to FIG. 1B, the image processing unit 200 may transform the target image into a 3D model by deforming the 3D standard model M R based on the plurality of feature points of the target image. With reference to how to transform the 3D standard model M R.

도 5는 일 실시예에 따른 오브젝트 표시 장치에 의해 변형된 3D 표준 모델을 예시한 도면이다.5 is a diagram illustrating a 3D standard model modified by an object display apparatus according to an exemplary embodiment.

3D 표준 모델 MR을 변형하기 위해, 영상 처리부(200)는 대상 이미지로부터 복수의 특징점을 추출할 수 있다. 그 다음, 영상 처리부(200)는 추출된 특징점을 기초로 3D 표준 모델 MR의 복수의 본의 위치를 이동하여 3D 표준 모델 MR을 변형할 수 있다. In order to deform the 3D standard model M R , the image processor 200 may extract a plurality of feature points from the target image. Then, the image processor 200 on the basis of the extracted feature point to move the standard 3D model of the positions of the plurality of M and R can be transformed to the standard 3D model M R.

도 5는 도 3b의 경우와 동일한 대상 이미지를 획득하였을 때, 해당 대상 이미지의 특징점을 기초로 3D 표준 모델을 변형한 결과를 예시한다. 도 5에서 붉은색 점은 3D 표준 모델 MR의 복수의 본을 나타낸다.FIG. 5 illustrates a result of modifying a 3D standard model based on feature points of the target image when the same target image is obtained as in FIG. 3B. Red dots in FIG. 5 represent a plurality of bones of the 3D standard model M R.

획득된 대상 이미지는 좌측을 바라보는 얼굴을 객체로 하므로, 도 5에서는 대상 이미지의 특징점에 기초하여 변형된 3D 표준 모델 MR의 복수의 본의 위치가 좌측으로 이동하였음을 확인할 수 있다. 이처럼, 3D 표준 모델 MR의 본을 대상 이미지의 특징점에 대응되도록 이동시킴으로써, 3D 표준 모델 MR을 대상 이미지에 매칭할 수 있다.Since the acquired target image is a face looking to the left as an object, in FIG. 5, it can be seen that the positions of the plurality of bones of the 3D standard model M R that has been modified based on the feature points of the target image have moved to the left. As such, by moving the bone of the 3D standard model M R to correspond to the feature point of the target image, the 3D standard model M R can be matched to the target image.

이와 같이, 대상 이미지의 특징점에 기초하여 변형된 후, 대상 이미지에 매칭된 3D 표준 모델 MB를 대상 이미지로부터 변환된 3D 모델이라 한다. 대상 이미지로부터 변환된 3D 모델은 3D 표준 모델에 기초하여 획득되므로, 3D 표준 모델 상의 미리 정해진 부착 정점이 대상 이미지로부터 변환된 3D 모델에도 동일하게 적용될 수 있다.As described above, the 3D standard model M B that is deformed based on the feature point of the target image and then matched to the target image is referred to as a 3D model converted from the target image. Since the 3D model converted from the target image is obtained based on the 3D standard model, the predetermined attachment vertices on the 3D standard model may be equally applied to the 3D model converted from the target image.

대상 이미지를 3D 모델 로 변환한 후, 영상 처리부(200)는 3D 모델 상에서 미리 정해진 오브젝트(O)에 대응되는 부착 정점을 확인할 수 있다. 이 때, 오브젝트(O)는 입력부(600)를 통해 입력된 오브젝트(O) 선택 명령에 의해 미리 결정될 수 있다. After converting the target image into the 3D model, the image processor 200 may check the attachment vertices corresponding to the predetermined object O on the 3D model. In this case, the object O may be previously determined by an object O selection command input through the input unit 600.

이와는 달리, 입력부(600)가 대상 이미지가 삽입된 컨텐츠를 선택하는 명령을 입력 받으면, 오브젝트(O)는 해당 컨텐츠에 대응되는 오브젝트(O)로 결정될 수 있다. 만약, 사용자가 미리 정해진 스토리에 따른 시청각 컨텐츠 중 하나를 선택하는 경우, 오브젝트(O)는 해당 스토리의 등장 인물 중 어느 하나를 상징하는 오브젝트(O)로 결정될 수 있다.Unlike this, when the input unit 600 receives a command for selecting content in which the target image is inserted, the object O may be determined as the object O corresponding to the corresponding content. If the user selects one of the audiovisual contents according to the predetermined story, the object O may be determined as an object O symbolizing any one of the characters of the story.

만약, 도 3a 및 3b의 오브젝트(O)와 동일한 오브젝트(O)로 미리 결정되는 경우, 영상 처리부(200)는 해당 오브젝트(O)에 대응되는 부착 정점 V1, 및 V2를 확인할 수 있다. 3D 표준 모델 MR이 대상 이미지에 기초하여 변형되면서, 도 4b와 비교할 때, 도 5의 부착 정점 V1, 및 V2가 좌측으로 이동하여 대상 이미지의 3D 모델이 획득됨을 확인할 수 있다.If it is determined as the same object O as the object O of FIGS. 3A and 3B, the image processor 200 may check the attachment vertices V 1 and V 2 corresponding to the object O. FIG. As the 3D standard model M R is deformed based on the target image, it can be seen that when compared to FIG. 4B, the attachment vertices V 1 and V 2 of FIG. 5 move to the left to obtain a 3D model of the target image.

부착 정점을 확인한 후, 영상 처리부(200)는 해당 부착 정점에 대응되는 대상 이미지의 위치에 오브젝트(O)를 중첩하여 표시하도록 제어하는 제어 신호를 생성할 수 있다. 통신부(500)는 생성된 제어 신호를 디스플레이 장치(D)로 전송하고, 디스플레이 장치(D)는 제어 신호에 따라 대상 이미지 IT상에 오브젝트(O)를 중첩 표시할 수 있다. 이하에서는, 도 6을 참조하여, 부착 정점에 대응되는 대상 이미지의 위치에 오브젝트(O)를 중첩하여 표시하는 방법을 설명한다.After confirming the attachment vertex, the image processor 200 may generate a control signal for controlling to display the object O overlapping the position of the target image corresponding to the attachment vertex. The communicator 500 may transmit the generated control signal to the display apparatus D, and the display apparatus D may overlap the object O on the target image I T according to the control signal. Hereinafter, referring to FIG. 6, a method of overlapping and displaying the object O at the position of the target image corresponding to the attachment vertex will be described.

도 6은 일 실시예에 따른 오브젝트 표시 장치에 의해 오브젝트가 중첩 표시된 대상 이미지를 예시한 도면이다.6 is a diagram illustrating a target image in which objects are overlaid by an object display apparatus according to an exemplary embodiment.

도 5에 따라, 영상 처리부(200)는 부착 정점 V1, 및 V2를 확인할 수 있다. 또한, 해당 부착 정점 V1, 및 V2에 대응되는 대상 이미지 IT 상의 위치인 P1 및 P2를 확인할 수 있다. 여기서, 부착 정점에 대응되는 대상 이미지 IT 상의 위치란 대상 이미지에 매칭된 3D 표준 모델 MR의 부착 정점과 중첩되는 대상 이미지의 위치를 의미할 수 있다. 즉, 부착 정점에 대응되는 대상 이미지 IT 상의 위치란 대상 이미지를 변환하여 획득한 3D 모델의 부착 정점에 대응되는 대상 이미지의 위치를 의미할 수 있다.According to FIG. 5, the image processor 200 may identify the attachment vertices V 1 and V 2 . Also, P 1 and P 2 which are positions on the target image I T corresponding to the attachment vertices V 1 and V 2 can be confirmed. Here, the position on the target image I T corresponding to the attachment vertex may mean a position of the target image overlapping the attachment vertex of the 3D standard model M R matched with the target image. That is, the position on the target image I T corresponding to the attached vertex may mean the position of the target image corresponding to the attached vertex of the 3D model obtained by converting the target image.

도 6을 참조하면, 디스플레이 장치(D)는, 제어 신호에 따라, 부착 정점 V1에 대응되는 대상 이미지 IT상의 위치인 P1에 오브젝트(O) 중 제 1 서브 오브젝트 O1를 중첩하여 표시하고, 부착 정점 V2에 대응되는 대상 이미지 IT상의 위치인 P2에 오브젝트(O) 중 제 2 서브 오브젝트 O2를 중첩하여 표시할 수 있다. 도 3b의 오브젝트(O)가 중첩된 대상 이미지와 비교할 때, 도 6의 오브젝트(O)가 중첩된 대상 이미지는 사용자에게 시각적으로 더욱 자연스럽게 인식될 수 있다.Referring to FIG. 6, the display apparatus D displays the first sub-object O 1 of the objects O superimposed on P 1 , which is a position on the target image I T corresponding to the attachment vertex V 1 , according to a control signal. In addition, the second sub-object O 2 of the object O may be overlapped and displayed on P 2 , which is a position on the target image I T corresponding to the attachment vertex V 2 . When the object O of FIG. 3B is compared with the overlapped target image, the target image overlapping the object O of FIG. 6 may be visually recognized to the user more naturally.

한편, 저장부(300)에 3D 표준 모델 MR 뿐만 아니라, 3D 표준 모델 MR에 대한 복수의 블렌드 쉐입(Blend Shape)이 함께 저장되는 경우, 오브젝트 표시 장치(1)는 3D 표준 모델 MR을 대상 이미지의 특징점에 기초하여 변형함으로써, 대상 이미지를 변화시킬 수 있다. 예를 들어, 대상 이미지가 얼굴을 객체로 하고, 저장부(300)에 저장되는 복수의 블렌드 쉐입이 얼굴 표정에 관한 것이면, 오브젝트 표시 장치(1)는 대상 이미지 IT상의 얼굴 표정을 블렌드 쉐입에 따라 변화시켜 표시하도록 디스플레이 장치(D)를 제어할 수 있다. Meanwhile, when not only the 3D standard model M R but also a plurality of blend shapes for the 3D standard model M R are stored together in the storage unit 300, the object display device 1 may store the 3D standard model M R. By modifying based on the feature points of the target image, the target image can be changed. For example, if the target image is a face, and the plurality of blend shapes stored in the storage unit 300 relate to facial expressions, the object display device 1 assigns the facial expressions on the target image I T to the blend shapes. The display apparatus D may be controlled to change accordingly.

다만, 얼굴 중 구강 내부에 위치하는 치아 및 혀와 같은 부분은 블렌드 쉐입에 따른 표정 변화가 적용되기 어렵다. 따라서, 오브젝트 표시 장치(1)는 치아 및 혀와 같은 구강 내부의 신체 부위를 오브젝트(O)로 설정하고, 설정된 오브젝트(O)를 대상 이미지에 중첩 표시함으로써 보다 자연스럽게 얼굴 표정을 변화시킬 수 있다. 이하에서는, 도 7a 및 7b를 참조하여, 치아 및 혀를 오브젝트(O)로 하여 대상 이미지에 중첩 표시하는 방법을 설명한다.However, it is difficult to apply the facial expression change according to the blend shape of the face such as the teeth and the tongue located in the oral cavity. Accordingly, the object display apparatus 1 may change the facial expression more naturally by setting body parts inside the oral cavity such as teeth and tongue as the object O, and superimposing and displaying the set object O on the target image. Hereinafter, with reference to FIGS. 7A and 7B, a method of superimposing and displaying a tooth and a tongue as an object O on a target image will be described.

도 7a 는 일 실시예에 따른 오브젝트 표시 장치가 획득한 대상 이미지 중 구강 내부의 이미지가 제거된 경우를 예시한 도면이고, 도 7b는 도 7a의 대상 이미지 상에 치아 및 혀에 대한 오브젝트가 중첩 표시되는 경우를 예시한 도면이다.FIG. 7A is a diagram illustrating a case where an image inside an oral cavity is removed from a target image acquired by an object display apparatus according to an exemplary embodiment. FIG. 7B illustrates overlapping objects of teeth and tongue on the target image of FIG. 7A. It is a figure which illustrates the case.

도 7a를 참조하면, 오브젝트 표시 장치(1)의 영상 처리부(200)는 대상 이미지 IT 중 구강 내부의 이미지를 제거할 수 있다. 또한, 영상 처리부(200)는 대상 이미지의 특징점에 기초하여 3D 표준 모델 MR을 변형할 수 있다. 이 때, 미리 결정된 치아 오브젝트 OT1와 혀 오브젝트 OT2는 3D 표준 모델 MR의 입 주변의 복수의 부착 정점에 대응될 수 있다. Referring to FIG. 7A, the image processor 200 of the object display apparatus 1 may remove an image of the inside of the oral cavity from the target image I T. In addition, the image processor 200 may modify the 3D standard model M R based on the feature points of the target image. At this time, the predetermined tooth object O T1 and the tongue object O T2 may correspond to a plurality of attachment vertices around the mouth of the 3D standard model M R.

도 7b를 참조하면, 영상 처리부(200)는 복수의 부착 정점에 대응되는 대상 이미지의 위치인 구강 내부에 치아 오브젝트 OT1와 혀 오브젝트OT2를 표시하도록 디스플레이 장치(D)를 제어하는 제어 신호를 생성할 수 있다. 이 때, 치아 오브젝트 OT1와 혀 오브젝트 OT2는 대상 이미지의 가장 앞에서 중첩 표시되는 것이 아니라, 대상 이미지의 뒤에서 표시될 수 있다. 그 결과, 입을 통해 보이는 구강 내부 영역에만 치아 오브젝트 OT1 및 혀 오브젝트 OT2가 표시될 수 있다.Referring to FIG. 7B, the image processor 200 may provide a control signal for controlling the display apparatus D to display the tooth object O T1 and the tongue object O T2 inside the oral cavity, which is the position of the target image corresponding to the plurality of attachment vertices. Can be generated. In this case, the tooth object O T1 and the tongue object O T2 may be displayed behind the target image, rather than overlapped at the front of the target image. As a result, the tooth object O T1 and the tongue object O T2 can be displayed only in the intraoral region visible through the mouth.

이를 통해, 보다 자연스러운 표정 변화가 가능할 수 있다.Through this, more natural facial expression change may be possible.

도 8은 일 실시예에 따른 오브젝트 표시 방법의 흐름도이다.8 is a flowchart of an object display method according to an exemplary embodiment.

먼저, 오브젝트 표시 장치(1)는 대상 이미지를 획득할 수 있다(S100). 이 때, 오브젝트 표시 장치(1)는 객체를 직접 촬영하여 객체에 대한 대상 이미지를 획득하거나, 외부 저장매체 또는 서버로부터 객체에 대한 대상 이미지를 수신하여 획득할 수 있다.First, the object display apparatus 1 may acquire a target image (S100). In this case, the object display apparatus 1 may directly photograph an object to obtain a target image of the object, or may receive and obtain a target image of the object from an external storage medium or a server.

대상 이미지가 획득되면, 오브젝트 표시 장치(1)는 대상 이미지의 특징점을 기초로 대상 이미지를 3D 모델로 변환할 수 있다(S110). 구체적으로, 오브젝트 표시 장치(1)는 대상 이미지의 복수의 특징점을 추출하고, 3D 표준 모델의 본을 추출된 특징점에 대응되도록 이동시킴으로써 3D 표준 모델을 변형할 수 있다. 그 결과, 3D 표준 모델은 대상 이미지에 매칭됨으로써 대상 이미지를 3D 모델로 변환할 수 있다.When the target image is obtained, the object display apparatus 1 may convert the target image into a 3D model based on the feature points of the target image (S110). In detail, the object display apparatus 1 may deform the 3D standard model by extracting a plurality of feature points of the target image and moving a bone of the 3D standard model to correspond to the extracted feature point. As a result, the 3D standard model can be converted to the 3D model by matching the target image.

그 다음, 오브젝트 표시 장치(1)는 3D 모델을 구성하는 복수의 정점 중 미리 정해진 오브젝트(O)에 대응되는 부착 정점을 확인할 수 있다(S120). 대상 이미지로부터 변환된 3D 모델은 3D 표준 모델에 기초하여 획득되므로, 3D 표준 모델 상의 미리 정해진 부착 정점이 대상 이미지로부터 변환된 3D 모델에도 동일하게 적용될 수 있다.Next, the object display apparatus 1 may identify attachment vertices corresponding to a predetermined object O among a plurality of vertices constituting the 3D model (S120). Since the 3D model converted from the target image is obtained based on the 3D standard model, the predetermined attachment vertices on the 3D standard model may be equally applied to the 3D model converted from the target image.

이 때, 오브젝트(O)는 오브젝트 표시 장치(1)를 통해 입력된 사용자의 오브젝트(O) 선택 명령에 따라 결정될 수 있다. 이와는 달리, 사용자가 대상 이미지가 삽입될 컨텐츠 선택 명령을 오브젝트 표시 장치(1)를 통해 입력하면, 오브젝트(O)는 선택된 컨텐츠에 대응되는 오브젝트(O)로 결정될 수 있다. In this case, the object O may be determined according to a user's object O selection command input through the object display apparatus 1. Alternatively, when the user inputs a content selection command to insert the target image through the object display device 1, the object O may be determined as the object O corresponding to the selected content.

오브젝트 표시 장치(1)는 이렇게 결정되는 오브젝트(O)에 대응되는 부착 정점을 변형된 3D 표준 모델, 즉 대상 이미지로부터 변환된 3D 모델 상에서 확인할 수 있다.The object display device 1 may check the attached vertices corresponding to the object O thus determined on the deformed 3D standard model, that is, the 3D model converted from the target image.

마지막으로, 오브젝트 표시 장치(1)는 확인된 부착 정점에 대응되는 대상 이미지의 위치에 오브젝트(O)를 중첩하여 표시할 수 있다(S130). 만약, 오브젝트 표시 장치(1)가 디스플레이 수단을 구비하는 경우, 오브젝트 표시 장치(1)는 직접 오브젝트(O)가 중첩된 대상 이미지를 표시할 수 있다. 이와는 달리, 오브젝트 표시 장치(1)가 디스플레이 수단을 구비하지 않거나, 디스플레이 수단을 구비하더라도 외부의 디스플레이 장치(D)와 통신 가능한 통신부(500)를 구비하는 경우, 오브젝트 표시 장치(1)는 오브젝트(O)가 중첩 표시된 대상 이미지를 표시하도록 디스플레이 장치(D)를 제어하는 제어 명령을 디스플레이 장치(D)로 전송할 수 있다.Finally, the object display apparatus 1 may display the object O by overlapping the object O at the position of the target image corresponding to the identified attachment vertex (S130). If the object display apparatus 1 includes display means, the object display apparatus 1 may directly display a target image in which the object O is overlapped. On the other hand, when the object display apparatus 1 does not have a display means or has the communication means 500 which can communicate with the external display apparatus D even if it has a display means, the object display apparatus 1 is an object ( A control command for controlling the display apparatus D to display the target image superimposed by O) may be transmitted to the display apparatus D. FIG.

상술한 오브젝트 표시 장치 및 방법, 및 이러한 방법을 수행하는 컴퓨터 판독 가능 매체에 저장된 프로그램은, 대상 이미지의 특징점 이외의 위치에 오브젝트의 표시가 가능하여, 사용자에게 보다 다양한 오브젝트 중첩 이미지를 제공할 수 있다. 또한, 대상 이미지의 변화에 대응하여 변형된 3D 표준 모델에 기초하여 오브젝트의 표시 위치가 결정되므로, 대상 이미지 상에 오브젝트가 보다 자연스럽게 중첩될 수 있다.The above-described object display apparatus and method, and a program stored in a computer-readable medium for performing the method, can display an object at a position other than the feature point of the target image, thereby providing a variety of object superimposed images to the user. . In addition, since the display position of the object is determined based on the 3D standard model deformed in response to the change of the target image, the object may more naturally overlap on the target image.

한편, 상술한 일 실시예에 따른 오브젝트 표시 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.Meanwhile, each step included in the object display method according to the above-described embodiment may be implemented in a computer-readable recording medium for recording a computer program programmed to perform such a step.

한편, 상술한 일 실시예에 따른 오브젝트 표시 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.Meanwhile, each step included in the object display method according to the above-described embodiment may be implemented in a computer-readable recording medium for recording a computer program programmed to perform such a step.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and changes without departing from the essential quality of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas that fall within the scope of equivalents thereof should be construed as being included in the scope of the present invention.

일 실시예에 따르면, 상술한 오브젝트 표시 장치, 방법 및 이러한 방법을 수행하는 컴퓨터 판독 가능 매체에 저장된 프로그램은 댁내 또는 산업 현장 등 다양한 분야에서 이용될 수 있으므로 산업상 이용 가능성이 있다.According to an embodiment, the object display apparatus, the method, and the program stored in the computer-readable medium for performing the method may be used in various fields such as a home or an industrial field, and thus there is industrial applicability.

1: 오브젝트 표시 장치
D: 디스플레이 장치
IT: 대상 이미지
IR: 표준 이미지
MR: 3D 표준 모델
O: 오브젝트1: object display device
D: display device
I T : target image
I R : standard image
M R : 3D Standard Model
O: object

Claims (13)

대상 이미지를 획득하는 단계;
상기 획득된 대상 이미지의 복수의 특징점을 기초로 상기 대상 이미지를 3D 모델로 변환하는 단계;
상기 3D 모델을 구성하는 복수의 정점(Vertex) 중 미리 정해진 오브젝트에 대응되는 부착 정점을 확인하는 단계; 및
상기 확인된 부착 정점에 대응되는 상기 대상 이미지의 위치에 상기 오브젝트를 중첩하여 표시하는 단계를 포함하는
오브젝트 표시 방법.Obtaining a target image;
Converting the target image into a 3D model based on the plurality of feature points of the obtained target image;
Identifying attachment vertices corresponding to a predetermined object among a plurality of vertices constituting the 3D model; And
And displaying the object by overlapping the object at a position of the target image corresponding to the identified attachment vertex.
How objects are displayed. 제 1 항에 있어서,
상기 대상 이미지를 3D 모델로 변환하는 단계는,
상기 획득된 대상 이미지의 복수의 특징점을 기초로 3D 표준 모델을 변형(Deform)하여 상기 대상 이미지를 3D 모델로 변환하는
오브젝트 표시 방법.The method of claim 1,
Converting the target image into a 3D model,
Deforming the 3D standard model based on the plurality of feature points of the obtained target image to convert the target image into a 3D model
How objects are displayed. 제 2 항에 있어서,
상기 3D 표준 모델은,
표준 이미지 상의 복수의 특징점(Feature Point)에 따라 결정되고, 상기 복수의 정점 중 상기 부착 정점으로 설정 가능한 복수의 후보 정점을 포함하는
오브젝트 표시 방법. The method of claim 2,
The 3D standard model,
A plurality of candidate vertices determined according to a plurality of feature points on a standard image and settable as the attachment vertex among the plurality of vertices;
How objects are displayed. 제 2 항에 있어서,
상기 3D 표준 모델을 변형(Deform)하여 상기 대상 이미지를 3D 모델로 변환하는 단계는,
상기 복수의 특징점을 기초로 상기 3D 표준 모델의 상기 복수의 정점이 리깅(Rigging)된 복수의 본(bone)의 위치를 이동하여 상기 3D 표준 모델을 변형하는
오브젝트 표시 방법.The method of claim 2,
Deforming the 3D standard model to convert the target image into a 3D model,
Deforming the 3D standard model by moving positions of a plurality of bones in which the plurality of vertices of the 3D standard model are rigging based on the plurality of feature points
How objects are displayed. 제 1 항에 있어서,
상기 대상 이미지가 삽입될 컨텐츠가 사용자에 의해 선택되는 단계를 더 포함하고,
상기 오브젝트는,
상기 선택된 컨텐츠에 대응되는 오브젝트로 결정되는
오브젝트 표시 방법.The method of claim 1,
The method may further include selecting content to be inserted into the target image by a user.
The object is
Determined as an object corresponding to the selected content
How objects are displayed. 제 1 항에 있어서,
상기 오브젝트를 중첩하여 표시하는 단계는,
상기 대상 이미지의 변화에 따라 변형되는 상기 3D 모델의 상기 부착 정점에 대응되는 상기 대상 이미지의 위치에 상기 오브젝트를 표시하는
오브젝트 표시 방법.The method of claim 1,
Displaying the object by overlapping,
Displaying the object at a position of the target image corresponding to the attachment vertex of the 3D model that is deformed according to the change of the target image
How objects are displayed. 대상 이미지를 획득하는 단계;
상기 대상 이미지의 복수의 특징점을 기초로 상기 대상 이미지를 3D 모델로 변환하는 단계;
상기 3D 모델을 구성하는 복수의 정점(Vertex) 중 미리 정해진 오브젝트에 대응되는 부착 정점을 확인하는 단계; 및
상기 확인된 부착 정점에 대응되는 상기 대상 이미지의 위치에 상기 오브젝트를 중첩하여 표시하는 단계를 포함하는
오브젝트 표시 방법을 수행하는 컴퓨터 판독 가능 기록매체에 저장된 프로그램.Obtaining a target image;
Converting the target image into a 3D model based on a plurality of feature points of the target image;
Identifying attachment vertices corresponding to a predetermined object among a plurality of vertices constituting the 3D model; And
And displaying the object by overlapping the object at a position of the target image corresponding to the identified attachment vertex.
A program stored in a computer-readable recording medium for performing the object display method. 제 1 항에 있어서,
상기 대상 이미지를 3D 모델로 변환하는 단계는,
상기 획득된 대상 이미지의 복수의 특징점을 기초로 3D 표준 모델을 변형(Deform)하여 상기 대상 이미지를 3D 모델로 변환하는
오브젝트 표시 방법을 수행하는 컴퓨터 판독 가능 기록매체에 저장된 프로그램.The method of claim 1,
Converting the target image into a 3D model,
Deforming the 3D standard model based on the plurality of feature points of the obtained target image to convert the target image into a 3D model
A program stored in a computer-readable recording medium for performing the object display method. 제 8 항에 있어서,
상기 3D 표준 모델은,
표준 이미지 상의 복수의 특징점(Feature Point)에 따라 결정되고, 상기 복수의 정점 중 상기 부착 정점으로 설정 가능한 복수의 후보 정점을 포함하는
오브젝트 표시 방법을 수행하는 컴퓨터 판독 가능 기록매체에 저장된 프로그램. The method of claim 8,
The 3D standard model,
A plurality of candidate vertices determined according to a plurality of feature points on a standard image and settable as the attachment vertex among the plurality of vertices;
A program stored in a computer-readable recording medium for performing the object display method. 제 8 항에 있어서,
상기 3D 표준 모델을 변형(Deform)하여 상기 대상 이미지를 3D 모델로 변환하는 단계는,
상기 복수의 특징점을 기초로 상기 3D 표준 모델의 상기 복수의 정점이 리깅(Rigging)된 복수의 본(bone)의 위치를 이동하여 상기 3D 표준 모델을 변형하는
오브젝트 표시 방법을 수행하는 컴퓨터 판독 가능 기록매체에 저장된 프로그램.The method of claim 8,
Deforming the 3D standard model to convert the target image into a 3D model,
Deforming the 3D standard model by moving positions of a plurality of bones in which the plurality of vertices of the 3D standard model are rigging based on the plurality of feature points
A program stored in a computer-readable recording medium for performing the object display method. 제 7 항에 있어서,
상기 대상 이미지가 삽입될 컨텐츠가 사용자에 의해 선택되는 단계를 더 포함하고,
상기 오브젝트는,
상기 선택된 컨텐츠에 대응되는 오브젝트로 결정되는
오브젝트 표시 방법을 수행하는 컴퓨터 판독 가능 기록매체에 저장된 프로그램.The method of claim 7, wherein
The method may further include selecting content to be inserted into the target image by a user.
The object is
Determined as an object corresponding to the selected content
A program stored in a computer-readable recording medium for performing the object display method. 제 7 항에 있어서,
상기 오브젝트를 중첩하여 표시하는 단계는,
상기 대상 이미지의 변화에 따라 변형되는 상기 3D 모델의 상기 부착 정점에 대응되는 상기 대상 이미지의 위치에 상기 오브젝트를 표시하는
오브젝트 표시 방법을 수행하는 컴퓨터 판독 가능 기록매체에 저장된 프로그램.The method of claim 7, wherein
Displaying the object by overlapping,
Displaying the object at a position of the target image corresponding to the attachment vertex of the 3D model that is deformed according to the change of the target image
A program stored in a computer-readable recording medium for performing the object display method. 대상 이미지를 획득하는 이미지 획득부;
상기 대상 이미지의 복수의 특징점을 기초로 상기 대상 이미지를 3D 모델로 변환하고, 상기 3D 모델을 구성하는 복수의 정점(Vertex) 중 미리 정해진 오브젝트에 대응되는 부착 정점을 확인하는 영상 처리부; 및
상기 확인된 부착 정점에 대응되는 상기 대상 이미지의 위치에 상기 오브젝트를 중첩하여 표시하도록 디스플레이 장치를 제어하는 제어 신호를 상기 디스플레이 장치로 전송하는 통신부를 포함하는
오브젝트 표시 장치.An image obtaining unit obtaining an object image;
An image processing unit converting the target image into a 3D model based on the plurality of feature points of the target image, and identifying attachment vertices corresponding to a predetermined object among a plurality of vertices constituting the 3D model; And
And a communication unit configured to transmit a control signal to the display apparatus to control the display apparatus so that the object is superimposed and displayed at a position of the target image corresponding to the identified attachment vertex.
Object display device.
KR1020180079605A 2018-07-09 2018-07-09 Apparatus and method for displaying object and program stored in computer-readable medium for performing the same KR102082894B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180079605A KR102082894B1 (en) 2018-07-09 2018-07-09 Apparatus and method for displaying object and program stored in computer-readable medium for performing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180079605A KR102082894B1 (en) 2018-07-09 2018-07-09 Apparatus and method for displaying object and program stored in computer-readable medium for performing the same

Publications (2)

Publication Number Publication Date
KR20200005956A true KR20200005956A (en) 2020-01-17
KR102082894B1 KR102082894B1 (en) 2020-02-28

Family

ID=69370074

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180079605A KR102082894B1 (en) 2018-07-09 2018-07-09 Apparatus and method for displaying object and program stored in computer-readable medium for performing the same

Country Status (1)

Country Link
KR (1) KR102082894B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468642A (en) * 2021-06-30 2021-10-01 广联达科技股份有限公司 Building member attaching method, building member attaching device, computer device, and storage medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2603445B2 (en) * 1994-11-10 1997-04-23 インターナショナル・ビジネス・マシーンズ・コーポレイション Hair image adaptation method and computer system
JP2003030684A (en) * 2001-07-10 2003-01-31 Nippon Telegr & Teleph Corp <Ntt> Face three-dimensional computer graphic generation method and device, face three-dimensional computer graphic generation program and storage medium storing face three-dimensional computer graphic generation program
KR20110035155A (en) * 2009-09-30 2011-04-06 주식회사 한울네오텍 3-dimensional object provide photograph device and method
KR20120083994A (en) 2011-01-19 2012-07-27 임경근 Hairstyle simulation system and method
KR20130080442A (en) * 2010-06-09 2013-07-12 마이크로소프트 코포레이션 Real-time animation of facial expressions
WO2017013925A1 (en) * 2015-07-21 2017-01-26 ソニー株式会社 Information processing device, information processing method, and program
US20180101719A1 (en) * 2015-06-08 2018-04-12 Bitmanagement Software GmbH Method and device for generating data for two- or three-dimensional depiction of at least part of an object and for generating the two- or three-dimensional depiction of the at least one part of the object

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2603445B2 (en) * 1994-11-10 1997-04-23 インターナショナル・ビジネス・マシーンズ・コーポレイション Hair image adaptation method and computer system
US6453052B1 (en) * 1994-11-10 2002-09-17 International Business Machines Corporation Automated method and image processing system for hair style simulation
JP2003030684A (en) * 2001-07-10 2003-01-31 Nippon Telegr & Teleph Corp <Ntt> Face three-dimensional computer graphic generation method and device, face three-dimensional computer graphic generation program and storage medium storing face three-dimensional computer graphic generation program
KR20110035155A (en) * 2009-09-30 2011-04-06 주식회사 한울네오텍 3-dimensional object provide photograph device and method
KR20130080442A (en) * 2010-06-09 2013-07-12 마이크로소프트 코포레이션 Real-time animation of facial expressions
KR20120083994A (en) 2011-01-19 2012-07-27 임경근 Hairstyle simulation system and method
US20180101719A1 (en) * 2015-06-08 2018-04-12 Bitmanagement Software GmbH Method and device for generating data for two- or three-dimensional depiction of at least part of an object and for generating the two- or three-dimensional depiction of the at least one part of the object
WO2017013925A1 (en) * 2015-07-21 2017-01-26 ソニー株式会社 Information processing device, information processing method, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468642A (en) * 2021-06-30 2021-10-01 广联达科技股份有限公司 Building member attaching method, building member attaching device, computer device, and storage medium
CN113468642B (en) * 2021-06-30 2024-01-09 广联达科技股份有限公司 Method and device for attaching building components, computer equipment and storage medium

Also Published As

Publication number Publication date
KR102082894B1 (en) 2020-02-28

Similar Documents

Publication Publication Date Title
CN110300909B (en) Systems, methods, and media for displaying an interactive augmented reality presentation
US11481943B2 (en) Information processing apparatus, information processing method, and program
US10789453B2 (en) Face reenactment
US10916044B2 (en) Information processing apparatus, information processing method, and program
US11887234B2 (en) Avatar display device, avatar generating device, and program
US20180204052A1 (en) A method and apparatus for human face image processing
US11842437B2 (en) Marker-less augmented reality system for mammoplasty pre-visualization
US20190130648A1 (en) Systems and methods for enabling display of virtual information during mixed reality experiences
CN113302659A (en) System and method for generating personalized video with customized text messages
WO2019114328A1 (en) Augmented reality-based video processing method and device thereof
US11842433B2 (en) Generating personalized videos with customized text messages
CN110148191A (en) The virtual expression generation method of video, device and computer readable storage medium
US11477366B2 (en) Selfie setup and stock videos creation
KR20170002097A (en) Method for providing ultra light-weight data animation type based on sensitivity avatar emoticon
US10955911B2 (en) Gazed virtual object identification module, a system for implementing gaze translucency, and a related method
CN108038916B (en) Augmented reality display method
CN116325717A (en) 3D dialog in an artificial reality environment
CN113453027A (en) Live video and virtual makeup image processing method and device and electronic equipment
KR102082894B1 (en) Apparatus and method for displaying object and program stored in computer-readable medium for performing the same
JP5726421B2 (en) Portable terminal
JP2018088604A (en) Image display device, image display method, and system
WO2017147826A1 (en) Image processing method for use in smart device, and device
KR102608863B1 (en) Animating method for expressing cartoon characteristics
JP2015164309A (en) mobile terminal
CN117315058A (en) Image processing method, image processing apparatus, electronic device, storage medium, and program product

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant