KR20190053513A

KR20190053513A - Method for providing virtual object considering relationship between objects and apparatus therefor

Info

Publication number: KR20190053513A
Application number: KR1020170149473A
Authority: KR
Inventors: 이효윤; 강규욱
Original assignee: (주)필링크아이
Priority date: 2017-11-10
Filing date: 2017-11-10
Publication date: 2019-05-20
Also published as: KR101995050B1

Abstract

Disclosed are a method for providing a virtual object considering a correlation between objects and an apparatus therefor. According to an embodiment of the present invention, the method for providing a virtual object comprises the steps of: recognizing a plurality of virtual object cards by using the apparatus for providing a virtual object; determining an object output type by considering a correlation among a plurality of virtual objects corresponding to the plurality of virtual object cards by using the apparatus for providing a virtual object; and outputting the plurality of virtual objects corresponding to the object output type to a display screen.

Description

TECHNICAL FIELD [0001] The present invention relates to a virtual object providing method, and a virtual object providing method,

본 발명은 객체들 사이의 연관성을 고려하여 가상객체를 제공하는 기술에 관한 것으로, 특히 연관 관계나 객체의 종류를 고려하여 연관된 가상객체들을 함께 출력하는 기술에 관한 것이다.TECHNICAL FIELD The present invention relates to a technology for providing a virtual object in consideration of association among objects, and more particularly, to a technique for outputting associated virtual objects together by taking into consideration the type of an association or an object.

증강현실(Augmented Reality)이란, 사용자가 눈으로 보는 현실세계와 부가 정보를 갖는 가상 세계를 합쳐서 보여주는 가상현실의 한 종류이다. 현실세계에 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality)라고도 한다. 즉, 사용자가 보고 있는 현실의 영상에 3차원의 가상 영상을 오버랩하여 보여줌으로써 현실과 가상의 구분이 모호해지도록 하는 것이다. Augmented Reality is a type of virtual reality in which the user views the real world and the virtual world with additional information together. It is also referred to as a mixed reality because it combines the virtual worlds with additional information in the real world into a single image. That is, the three-dimensional virtual image is overlapped with the real image that the user is viewing, so that the distinction between the real and the virtual is blurred.

이와 같은 증강현실을 이용한 서비스 방식은 단말로 카드를 촬영하면 카드에 포함된 마커를 통해 가상객체를 인식하여 단말의 화면을 통해 보여주거나, 단말을 가지고 특정 위치로 이동하면 화면에 가상 객체를 보여주는 것이 일반적이다.When a card is photographed by a terminal, a virtual object is recognized through a marker included in the card and displayed on a screen of the terminal, or when a terminal is moved to a specific position, a virtual object is displayed on the screen It is common.

한국 공개 특허 제10-2011-0004825호, 2011년 1월 14일 공개(명칭: 증강현실을 이용한 온라인 연동 TCG 시스템 및 그 게임방법)Korean Patent Laid-Open No. 10-2011-0004825, January 14, 2011 (Name: Online integrated TCG system using augmented reality and game method thereof)

본 발명의 목적은 서로 연관된 가상객체들을 그에 상응하는 유형에 맞게 연출하거나 조합하여 보여줌으로써 사용자에게 보다 다양한 서비스를 제공하는 것이다.It is an object of the present invention to provide a variety of services to a user by directing or combining virtual objects associated with each other according to a type corresponding thereto.

또한, 본 발명의 목적은 사용자가 갖고 있지 않은 카드의 가상객체도 연관 관계를 통해 제공함으로써 카드의 유무와 관계없이 다양한 가상객체를 제공하는 것이다.It is also an object of the present invention to provide a virtual object of a card which is not possessed by a user through association, thereby providing various virtual objects regardless of whether or not the card exists.

또한, 본 발명의 목적은 사용자의 얼굴을 인식한 정보에 따라 자동으로 다양한 모드의 가상 객체를 제공하는 것이다.It is also an object of the present invention to provide a virtual object of various modes automatically according to information of a face of a user.

또한 본 발명의 목적은 자동으로 배치된 가상객체들을 사용자가 자유롭게 이동시키거나 편집할 수 있도록 하는 것이다.It is also an object of the present invention to allow a user to freely move or edit automatically arranged virtual objects.

상기한 목적을 달성하기 위한 본 발명에 따른 가상객체 제공 방법은 가상객체 제공 장치가, 복수개의 가상객체카드들을 인식하는 단계; 상기 가상객체 제공 장치가, 상기 복수개의 가상객체카드들에 상응하는 복수개의 가상객체들 간의 연관성을 고려하여 객체 출력 유형을 결정하는 단계; 및 상기 가상객체 제공 장치가, 상기 객체 출력 유형에 상응하게 상기 복수개의 가상객체들을 디스플레이 화면에 출력하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method for providing a virtual object, comprising: recognizing a plurality of virtual object cards; Wherein the virtual object providing apparatus determines an object output type by taking into consideration associations among a plurality of virtual objects corresponding to the plurality of virtual object cards; And the virtual object providing apparatus outputting the plurality of virtual objects on the display screen in accordance with the object output type.

이 때, 결정하는 단계는 상기 복수개의 가상객체들 사이의 연관 관계를 식별하는 단계; 및 상기 복수개의 가상객체들 각각의 객체 종류를 식별하는 단계를 포함하고, 상기 연관 관계 및 상기 객체 종류 중 적어도 하나를 고려하여 상기 객체 출력 유형을 결정할 수 있다.Wherein the determining comprises: identifying an association between the plurality of virtual objects; And identifying an object type of each of the plurality of virtual objects, wherein the object output type can be determined in consideration of at least one of the association and the object type.

이 때, 객체 출력 유형은 상기 복수개의 가상객체들 중 적어도 둘 이상의 가상객체들을 상기 연관 관계에 상응하는 구도로 출력하는 유형 및 상기 객체 종류를 고려하여 상기 복수개의 가상객체들 중 적어도 둘 이상의 가상객체들을 조합하여 출력하는 유형 중 적어도 하나에 상응할 수 있다.At this time, the object output type includes a type that outputs at least two or more virtual objects among the plurality of virtual objects as a composition corresponding to the association relation, and a type that outputs at least two or more virtual objects among the plurality of virtual objects &Lt; RTI ID = 0.0 > and / or < / RTI >

이 때, 출력하는 단계는 가상객체 데이터베이스를 기반으로 상기 복수개의 가상객체들 중 적어도 하나의 가상객체와 연관 관계에 상응하는 가상객체를 자동으로 출력할 수 있다.At this time, the outputting step may automatically output a virtual object corresponding to at least one virtual object among the plurality of virtual objects based on the virtual object database.

이 때, 출력하는 단계는 사용자의 얼굴에 상응하는 얼굴 인식 정보를 기반으로 상기 복수개의 가상객체들에 대한 객체 출력 모드를 결정하고, 상기 객체 출력 유형 및 상기 객체 출력 모드 중 적어도 하나를 고려하여 상기 복수개의 가상객체들을 출력할 수 있다.In this case, the outputting may include determining an object output mode for the plurality of virtual objects on the basis of face recognition information corresponding to a face of the user, and determining at least one of the object output mode and the object output mode, A plurality of virtual objects can be output.

이 때, 객체 출력 모드는 상기 복수개의 가상객체들에 대한 크기 정보, 위치 정보, 방향 정보 및 감정 정보 중 적어도 하나를 포함할 수 있다.At this time, the object output mode may include at least one of size information, position information, direction information, and emotion information for the plurality of virtual objects.

이 때, 얼굴 인식 정보는 상기 얼굴에 상응하는 크기, 위치, 시선 및 감정 중 적어도 하나를 포함할 수 있다.At this time, the face recognition information may include at least one of size, position, line of sight and emotion corresponding to the face.

또한, 본 발명의 일실시예에 따른 가상객체 제공 장치는, 복수개의 가상객체카드들을 인식하는 입력부; 상기 복수개의 가상객체카드들에 상응하는 복수개의 가상객체들 간의 연관성을 고려하여 객체 출력 유형을 결정하는 제어부; 및 상기 객체 출력 유형에 상응하게 상기 복수개의 가상객체들을 디스플레이 화면에 출력하는 출력부를 포함한다.Also, an apparatus for providing virtual objects according to an embodiment of the present invention includes: an input unit for recognizing a plurality of virtual object cards; A controller for determining an object output type in consideration of association between a plurality of virtual objects corresponding to the plurality of virtual object cards; And an output unit outputting the plurality of virtual objects on the display screen according to the object output type.

이 때, 제어부는 상기 복수개의 가상객체들 사이의 연관 관계와 상기 복수개의 가상객체들 각각의 객체 종류를 식별하고, 상기 연관 관계 및 상기 객체 종류 중 적어도 하나를 고려하여 상기 객체 출력 유형을 결정할 수 있다.At this time, the control unit may identify the association between the plurality of virtual objects and the object type of each of the plurality of virtual objects, and determine the object output type by considering at least one of the association and the object type have.

이 때, 출력부는 가상객체 데이터베이스를 기반으로 상기 복수개의 가상객체들 중 적어도 하나의 가상객체와 연관 관계에 상응하는 가상객체를 자동으로 출력할 수 있다.At this time, the output unit may automatically output a virtual object corresponding to at least one virtual object among the plurality of virtual objects based on the virtual object database.

이 때, 출력부는 사용자의 얼굴에 상응하는 얼굴 인식 정보를 기반으로 상기 복수개의 가상객체들에 대한 객체 출력 모드를 결정하고, 상기 객체 출력 유형 및 상기 객체 출력 모드 중 적어도 하나를 고려하여 상기 복수개의 가상객체들을 출력할 수 있다.In this case, the output unit may determine an object output mode for the plurality of virtual objects based on the face recognition information corresponding to the face of the user, and determine at least one of the object output mode and the object output mode, You can output virtual objects.

본 발명에 따르면, 서로 연관된 가상객체들을 그에 상응하는 유형에 맞게 연출하거나 조합하여 보여줌으로써 사용자에게 보다 다양한 서비스를 제공할 수 있다.According to the present invention, it is possible to provide a variety of services to users by directing or combining the virtual objects associated with each other according to the corresponding types.

또한, 본 발명은 사용자가 갖고 있지 않은 카드의 가상객체도 연관 관계를 통해 제공함으로써 카드의 유무와 관계없이 다양한 가상객체를 제공할 수 있다.In addition, the present invention provides a virtual object of a card that is not possessed by a user through association, thereby providing various virtual objects regardless of the presence or absence of a card.

또한, 본 발명은 사용자의 얼굴을 인식한 정보에 따라 자동으로 다양한 모드의 가상 객체를 제공할 수 있다.In addition, the present invention can automatically provide various types of virtual objects according to information of a user's face.

또한, 본 발명은 자동으로 배치된 가상객체들을 사용자가 자유롭게 이동시키거나 편집할 수 있도록 할 수 있다.In addition, the present invention enables a user to freely move or edit virtual objects disposed automatically.

도 1은 본 발명의 일실시예에 따른 가상객체 제공 시스템을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 가상객체 제공 방법을 나타낸 동작 흐름도이다.
도 3 내지 도 6은 본 발명에 따른 연관 관계에 상응하는 구도로 출력된 가상객체의 일 예를 나타낸 도면이다.
도 7 내지 도 10은 본 발명에 따른 객체 종류에 따른 가상객체카드와 조합되어 출력된 가상객체의 일 예를 나타낸 도면이다.
도 11은 본 발명의 일실시예에 따른 가상객체 제공 장치를 나타낸 블록도이다.
도 12 내지 도 14는 본 발명에 따른 얼굴 인식 정보를 기반으로 결정된 객체 출력 모드에 상응하게 출력된 가상객체의 일 예를 나타낸 도면이다.
도 15 내지 도 21은 본 발명에 따른 가상객체 제공 과정을 통해 증강현실 콘텐츠를 제공하는 과정의 일 예를 나타낸 도면이다.
도 22 내지 도 23은 본 발명에 따른 가상객체를 이동하거나 확대하는 일 예를 나타낸 도면이다.
도 24 내지 도 28은 본 발명에 따른 현실객체를 배경과 분리하는 과정을 기반으로 가상객체를 합성하는 일 예를 나타낸 도면이다.
도 29 내지 도 30은 본 발명에 따른 가상객체의 일부를 지워서 이미지와 합성하는 과정의 일 예를 나타낸 도면이다.
도 31 내지 도 32는 본 발명에 따른 가상객체카드의 위조를 방지하기 위한 카드 인식 방식의 일 예를 나타낸 도면이다.
도 33은 본 발명에 따른 가상객체카드를 인식하는 방식의 일 예를 나타낸 도면이다.
도 34 내지 도 35는 본 발명에 따른 가상객체카드의 손실에 따라 생성되는 가상객체의 일 예를 나타낸 도면이다.1 is a diagram illustrating a virtual object providing system according to an embodiment of the present invention.
2 is a flowchart illustrating a method of providing a virtual object according to an exemplary embodiment of the present invention.
FIG. 3 through FIG. 6 are diagrams illustrating an example of a virtual object output as a composition corresponding to an association according to the present invention.
7 to 10 are views showing an example of a virtual object output in combination with a virtual object card according to an object type according to the present invention.
11 is a block diagram illustrating a virtual object provision apparatus according to an embodiment of the present invention.
12 to 14 are views showing an example of a virtual object output according to an object output mode determined based on face recognition information according to the present invention.
15 to 21 are views showing an example of a process of providing augmented reality contents through a virtual object providing process according to the present invention.
22 to 23 are views showing an example of moving or enlarging a virtual object according to the present invention.
24 to 28 illustrate an example of synthesizing a virtual object based on a process of separating a real object according to the present invention from a background.
29 to 30 are views showing an example of a process of clearing a part of a virtual object according to the present invention and compositing the image with an image.
31 to 32 are views showing an example of a card recognition method for preventing falsification of a virtual object card according to the present invention.
33 is a diagram illustrating an example of a method of recognizing a virtual object card according to the present invention.
34 to 35 are views showing an example of a virtual object generated according to loss of a virtual object card according to the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will now be described in detail with reference to the accompanying drawings. Hereinafter, a repeated description, a known function that may obscure the gist of the present invention, and a detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. Accordingly, the shapes and sizes of the elements in the drawings and the like can be exaggerated for clarity.

이하, 본 발명에 따른 바람직한 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 가상객체 제공 시스템을 나타낸 도면이다.1 is a diagram illustrating a virtual object providing system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 가상객체 제공 시스템은 가상객체 제공 장치(110), 가상객체카드(120), 사용자(130) 및 가상객체 데이터베이스(140)를 포함한다.Referring to FIG. 1, a virtual object providing system according to an embodiment of the present invention includes a virtual object providing apparatus 110, a virtual object card 120, a user 130, and a virtual object database 140.

가상객체 제공 장치(110)는 복수개의 가상객체카드(120)들을 인식한다.The virtual object providing apparatus 110 recognizes a plurality of virtual object cards 120.

이 때, 사용자(130)가 가상객체 제공 장치(110)에 구비된 카메라를 이용하여 복수개의 가상객체카드(120)들을 촬영하는 방식으로 가상객체카드(120)를 인식시킬 수 있다.At this time, the user 130 can recognize the virtual object card 120 by photographing a plurality of virtual object cards 120 using a camera provided in the virtual object providing apparatus 110. [

이 때, 복수개의 가상객체카드(120)들은 제공될 가상객체에 관련된 이미지나 텍스트 정보를 포함할 수 있다. 예를 들어, 가상객체카드(120)를 인식하기 위한 마커는 가상객체카드(120)에 포함된 이미지나 텍스트 등을 기반으로 생성될 수 있다. At this time, the plurality of virtual object cards 120 may include image or text information related to a virtual object to be provided. For example, a marker for recognizing the virtual object card 120 may be generated based on an image, text, or the like included in the virtual object card 120. [

또한, 가상객체 제공 장치(110)는 복수개의 가상객체카드(120)들에 상응하는 복수개의 가상객체들 간의 연관성을 고려하여 객체 출력 유형을 결정한다.In addition, the virtual object providing apparatus 110 determines an object output type in consideration of association among a plurality of virtual objects corresponding to the plurality of virtual object cards 120.

이 때, 객체 출력 유형은 디스플레이 화면에 복수개의 가상객체들이 어떻게 출력될지를 나타내는 것에 상응할 수 있다. At this time, the object output type may correspond to how a plurality of virtual objects are displayed on the display screen.

이 때, 복수개의 가상객체들 사이의 연관 관계를 식별할 수 있다. 예를 들어, 연관 관계는 협력 관계, 우호 관계, 대립 관계, 커플 관계 등에 상응할 수 있다.At this time, an association between a plurality of virtual objects can be identified. For example, an association can correspond to a partnership, a friendship, an opposition, a couple relationship, and so on.

이 때, 복수개의 가상객체들 각각의 객체 종류를 식별할 수 있다. 예를 들어, 캐릭터, 아이템 및 배경 중 어느 하나로 객체 종류를 식별할 수 있다.At this time, the object type of each of the plurality of virtual objects can be identified. For example, the object type can be identified by any one of a character, an item, and a background.

이 때, 연관 관계 및 객체 종류 중 적어도 하나를 고려하여 객체 출력 유형을 결정할 수 있다.At this time, the object output type can be determined in consideration of at least one of the association and the object type.

이 때, 객체 출력 유형은 복수개의 가상객체들 중 적어도 둘 이상의 가상객체들을 연관 관계에 상응하는 구도로 출력하는 유형 및 객체 종류를 고려하여 복수개의 가상객체들 중 적어도 둘 이상의 가상객체들을 조합하여 출력하는 유형 중 적어도 하나에 상응할 수 있다.At this time, the object output type combines at least two or more virtual objects among a plurality of virtual objects in consideration of the type and object type that outputs at least two or more virtual objects among the plurality of virtual objects as a composition corresponding to the association relation Type. &Lt; / RTI >

또한, 가상객체 제공 장치(110)는 객체 출력 유형에 상응하게 복수개의 가상객체들을 디스플레이 화면에 출력한다.In addition, the virtual-object providing apparatus 110 outputs a plurality of virtual objects on the display screen corresponding to the object output type.

이 때, 가상객체 데이터베이스(140)를 기반으로 복수개의 가상객체들 중 적어도 하나의 가상객체와 연관 관계에 상응하는 가상객체를 자동으로 출력할 수 있다. 즉, 연관 관계에 있는 두 개의 가상객체들 중 어느 하나의 가상객체만 인식되는 경우에도 나머지 하나의 가상객체를 자동으로 출력해 줄 수 있다. At this time, based on the virtual object database 140, a virtual object corresponding to at least one virtual object among a plurality of virtual objects can be automatically output. That is, even if one virtual object among two virtual objects in an association relation is recognized, the other virtual object can be automatically output.

이 때, 사용자의 얼굴에 상응하는 얼굴 인식 정보를 기반으로 복수개의 가상객체들에 대한 객체 출력 모드를 결정하고, 객체 출력 유형 및 객체 출력 모드 중 적어도 하나를 고려하여 복수개의 가상객체들을 출력할 수 있다. 즉, 가상객체카드(120)에 의해 제공되는 가상객체는 동일한 것에 상응할 수 있으나, 얼굴 인식 정보에 따라 가상객체를 객체 출력 모드에 상응하게 변형하여 출력할 수 있다. At this time, the object output mode for the plurality of virtual objects is determined based on the face recognition information corresponding to the face of the user, and a plurality of virtual objects can be output in consideration of at least one of the object output type and the object output mode have. That is, although the virtual object provided by the virtual object card 120 may correspond to the same thing, the virtual object may be modified and output according to the object output mode according to the face recognition information.

이 때, 객체 출력 모드는 복수개의 가상객체들에 대한 크기 정보, 위치 정보, 방향 정보 및 감정 정보 중 적어도 하나를 포함할 수 있다.In this case, the object output mode may include at least one of size information, position information, direction information, and emotion information for a plurality of virtual objects.

이 때, 얼굴 인식 정보는 얼굴에 상응하는 크기, 위치, 시선 및 감정 중 적어도 하나를 포함할 수 있다.At this time, the face recognition information may include at least one of size, position, line of sight, and emotion corresponding to the face.

도 2는 본 발명의 일실시예에 따른 가상객체 제공 방법을 나타낸 동작 흐름도이다.2 is a flowchart illustrating a method of providing a virtual object according to an exemplary embodiment of the present invention.

도 2를 참조하면, 본 발명의 일실시예에 따른 가상객체 제공 방법은, 가상객체 제공 장치가 복수개의 가상객체카드들을 인식한다(S210).Referring to FIG. 2, a method for providing a virtual object according to an exemplary embodiment of the present invention recognizes a plurality of virtual object cards (S210).

이 때, 복수개의 가상객체카드들 각각에 포함된 마커들을 검출하여 가상객체카드를 인식할 수 있다. 예를 들어, 가상객체 제공 장치에 구비된 카메라를 통해 가상객체카드를 촬영하면, 가상객체카드의 이미지나 텍스트 등에 포함된 특정한 패턴이나 마커가 검출되어 가상객체카드가 어떤 카드인지 인식할 수 있다.At this time, the virtual object cards can be recognized by detecting the markers included in each of the plurality of virtual object cards. For example, when a virtual object card is photographed through a camera provided in a virtual object providing apparatus, a specific pattern or a marker included in an image or text of the virtual object card is detected to recognize which card is the virtual object card.

이 때, 복수개의 가상객체카드들은 시간 간격을 두고 순차적으로 인식시킬 수 있으며, 이러한 경우 사용자가 복수개의 가상객체카드들 중 적어도 하나의 가상객체카드를 선택할 수 있도록 별도의 카드 선택 인터페이스를 제공할 수도 있다.In this case, a plurality of virtual object cards may be sequentially recognized at intervals of time, and in this case, a separate card selection interface may be provided so that a user can select at least one virtual object card among a plurality of virtual object cards have.

또한, 본 발명의 일실시예에 따른 가상객체 제공 방법은, 가상객체 제공 장치가 복수개의 가상객체카드들에 상응하는 복수개의 가상객체들 간의 연관성을 고려하여 객체 출력 유형을 결정한다(S220).Also, in the method of providing a virtual object according to an embodiment of the present invention, the virtual object providing apparatus determines an object output type in consideration of association among a plurality of virtual objects corresponding to a plurality of virtual object cards (S220).

이 때, 복수개의 가상객체들 사이의 연관 관계를 식별할 수 있다.At this time, an association between a plurality of virtual objects can be identified.

예를 들어, 가상객체에 해당하는 어느 하나의 캐릭터에 대해서 다른 가상객체의 캐릭터가 스토리상 협력 관계에 해당하는지 또는 대립 관계에 해당하는지 등을 식별할 수 있다. For example, with respect to a character corresponding to a virtual object, whether the character of another virtual object corresponds to a cooperative relationship or a conflicting relationship on the story can be identified.

다른 예를 들어, 가상객체에 해당하는 어느 하나의 캐릭터와 스토리상으로 커플 관계에 해당하는 캐릭터가 존재하는지 등을 식별할 수도 있다.For example, it is possible to identify whether a character corresponding to a virtual object exists in a character string and a character corresponding to a couple relationship on a story.

이 때, 복수개의 가상객체들 각각의 객체 종류를 식별할 수 있다. At this time, the object type of each of the plurality of virtual objects can be identified.

예를 들어, 객체 종류는 캐릭터, 아이템, 배경, 효과 등으로 구별하여 복수개의 가상객체들이 각각 어느 종류에 해당하는지 여부를 식별할 수 있다. For example, the object type can be distinguished by a character, an item, a background, an effect, or the like to identify which kind of a plurality of virtual objects corresponds to each type.

이 때, 연관 관계 및 객체 종류 중 적어도 하나를 고려하여 객체 출력 유형을 결정할 수 있다. At this time, the object output type can be determined in consideration of at least one of the association and the object type.

이 때, 객체 출력 유형은 복수개의 가상객체들 중 적어도 둘 이상의 가상객체들을 연관 관계에 상응하는 구도로 출력하는 유형 및 객체 종류를 고려하여 복수개의 가상객체들 중 적어도 둘 이상의 가상객체들을 조합하여 출력하는 유형 중 적어도 하나에 상응할 수 있다. At this time, the object output type combines at least two or more virtual objects among a plurality of virtual objects in consideration of the type and object type that outputs at least two or more virtual objects among the plurality of virtual objects as a composition corresponding to the association relation Type. &Lt; / RTI >

예를 들어, 캐릭터에 해당하는 두 개의 가상객체카드들이 인식되었고, 두 개의 가상객체카드들에 각각 포함된 캐릭터가 서로 협력 관계에 상응한다고 가정할 수 있다. 이러한 경우에는 두 개의 캐릭터가 하이파이브를 하거나 손을 잡는 것과 같이 서로 협력하고 있음을 나타낼 수 있는 구도로 가상객체들을 출력할 수 있다.For example, it is assumed that two virtual object cards corresponding to a character have been recognized, and the characters included in each of the two virtual object cards correspond to each other. In this case, you can output the virtual objects in a composition that can indicate that the two characters are cooperating, such as high-five or holding hands.

다른 예를 들어, 캐릭터에 해당하는 두 개의 가상객체카드들이 인식되었고, 두 개의 가상객체카드들에 각각 포함된 캐릭터가 서로 대립 관계에 상응한다고 가정할 수 있다. 이러한 경우에는 두 개의 캐릭터가 서로 노려보고 있거나 싸우고 있는 것과 같이 서로 대립하고 있음을 나타낼 수 있는 구도로 가상객체들을 출력할 수 있다.As another example, it can be assumed that two virtual object cards corresponding to a character have been recognized and characters included in the two virtual object cards correspond to each other. In this case, you can output virtual objects with a composition that can indicate that the two characters are facing each other or fighting each other.

또 다른 예를 들어, 캐릭터에 해당하는 하나의 가상객체카드와 아이템에 해당하는 다른 하나의 가상객체카드가 인식되었다고 가정할 수 있다. 이러한 경우에는 캐릭터와 아이템을 조합하여 마치 캐릭터가 아이템을 사용하고 있는 듯한 가상객체를 출력할 수 있다.As another example, it can be assumed that one virtual object card corresponding to a character and another virtual object card corresponding to an item are recognized. In such a case, a character and an item can be combined to output a virtual object as if the character is using an item.

또 다른 예를 들어, 캐릭터에 해당하는 하나의 가상객체카드와 배경에 해당하는 다른 하나의 가상객체카드가 인식되었다고 가정할 수 있다. 이러한 경우에는 캐릭터를 배경에 포함시켜 마치 캐릭터가 배경에 위치하고 있는 듯한 가상객체를 출력할 수도 있다.As another example, it can be assumed that one virtual object card corresponding to a character and another virtual object card corresponding to a background are recognized. In this case, you can include the character in the background, and output the virtual object as if the character were in the background.

본 발명에 따른 연관 관계나 객체 종류는 상기의 예에서 설명한 것 이외에도 다양하게 존재할 수 있으며 특정한 요소들로 한정되지 않을 수 있다.The relationship or object type according to the present invention may exist in various ways other than those described in the above example, and may not be limited to specific elements.

또한, 본 발명의 일실시예에 따른 가상객체 제공 방법은, 가상객체 제공 장치가 객체 출력 유형에 상응하게 복수개의 가상객체들을 디스플레이 화면에 출력한다(S230).Also, in the method of providing a virtual object according to an embodiment of the present invention, the virtual object providing apparatus outputs a plurality of virtual objects on the display screen corresponding to the object output type (S230).

이 때, 복수개의 가상객체들은 객체 출력 유형에 상응하는 형태로 변형, 조합 또는 합성되어 디스플레이 화면으로 출력될 수 있다. At this time, the plurality of virtual objects may be transformed, combined, or combined into a form corresponding to the object output type and output to the display screen.

이 때, 복수개의 가상객체들은 현실세계를 기반으로 입력된 현실 객체와 합성되어 별도의 이미지 콘텐츠로 생성될 수도 있다. 또는 사용자가 저장할 수 있는 형태의 이미지 데이터로 제공됨으로써 사용자의 소셜 네트워크 서비스에 사용될 수도 있다.At this time, the plurality of virtual objects may be synthesized with the input real objects based on the real world and may be generated as separate image contents. Or as image data of a form that can be stored by the user, thereby being used in the user's social network service.

이 때, 가상객체 데이터베이스를 기반으로 복수개의 가상객체들 중 적어도 하나의 가상객체와 연관 관계에 상응하는 가상객체를 자동으로 출력할 수 있다.At this time, based on the virtual object database, at least one virtual object among the plurality of virtual objects and a virtual object corresponding to the association relation can be automatically output.

예를 들어, 사용자가 가상객체 제공 장치를 통해 인식시킨 복수개의 가상객체들 중 어느 하나에 해당하는 가상객체 A와 가상객체 A와 연관 관계에 상응하는 가상객체 B가 존재한다고 가정할 수 있다. 이 때, 가상객체 B는 사용자에 의해 가상객체 제공 장치에 인식되지 않은 가상객체이지만, 이미 가상객체 A가 인식되어 있으므로 가상객체 A가 출력될 때 가상객체 B도 가상객체 데이터베이스에서 검색하여 함께 출력되도록 할 수 있다. For example, it can be assumed that there exists a virtual object A corresponding to one of a plurality of virtual objects recognized by the user through the virtual object providing apparatus and a virtual object B corresponding to the virtual object A and the associated relation. At this time, the virtual object B is a virtual object that is not recognized by the virtual object providing device by the user, but since the virtual object A is already recognized, the virtual object B is also searched from the virtual object database when the virtual object A is outputted, can do.

이와 같이 사용자가 모든 종류의 가상객체카드를 소지하지 않아도, 일부의 가상객체카드만 이용하여 보다 다양한 가상객체 서비스를 제공할 수 있다.Thus, even if a user does not possess all kinds of virtual object cards, it is possible to provide more various virtual object services using only some virtual object cards.

이 때, 사용자의 얼굴에 상응하는 얼굴 인식 정보를 기반으로 복수개의 가상객체들에 대한 객체 출력 모드를 결정하고, 객체 출력 유형 및 객체 출력 모드 중 적어도 하나를 고려하여 복수개의 가상객체들을 출력할 수 있다. At this time, the object output mode for the plurality of virtual objects is determined based on the face recognition information corresponding to the face of the user, and a plurality of virtual objects can be output in consideration of at least one of the object output type and the object output mode have.

이 때, 얼굴 인식 정보는 복수개의 가상객체들이 출력되는 형태나 위치 등을 결정하기 위해 생성되는 정보일 수 있으며, 가상객체 제공 장치를 통해 인식된 사용자의 얼굴에 상응하게 생성될 수 있다. At this time, the face recognition information may be information generated to determine a form, position, or the like of outputting a plurality of virtual objects, and may be generated corresponding to a face of the user recognized through the virtual object providing apparatus.

이 때, 객체 출력 모드란 인식된 복수개의 가상객체카드들 각각에 상응하는 가상객체가 출력되는 모드(mode)에 상응할 수 있다. In this case, the object output mode may correspond to a mode in which a virtual object corresponding to each of a plurality of recognized virtual object cards is output.

이 때, 객체 출력 모드는 복수개의 가상객체들에 대한 크기 정보, 위치 정보, 방향 정보 및 감정 정보 중 적어도 하나를 포함할 수 있다. In this case, the object output mode may include at least one of size information, position information, direction information, and emotion information for a plurality of virtual objects.

예를 들어, 객체 출력 모드가 크기 정보를 포함하고 있는 경우, 복수개의 가상객체들을 각각 크기 정보에 상응하는 크기로 생성하여 출력할 수 있다.For example, when the object output mode includes size information, a plurality of virtual objects can be generated and output in sizes corresponding to size information, respectively.

다른 예를 들어, 객체 출력 모드가 위치 정보를 포함하고 있는 경우, 복수개의 가상객체들을 각각 위치 정보에 상응하는 위치에 출력할 수 있다.In another example, when the object output mode includes position information, a plurality of virtual objects may be output at positions corresponding to position information, respectively.

또 다른 예를 들어, 객체 출력 모드가 방향 정보를 포함하고 있는 경우, 복수개의 가상객체들을 각각 방향 정보에 상응하게 회전한 형태로 생성하여 출력할 수 있다.For example, if the object output mode includes direction information, the plurality of virtual objects may be rotated and generated according to the direction information.

또 다른 예를 들어, 객체 출력 모드가 감정 정보를 포함하고 있는 경우, 복수개의 가상객체들을 각각 감정 정보에 상응하는 형태의 표정이나 모션에 상응하게 생성하여 출력할 수도 있다.In another example, when the object output mode includes emotion information, a plurality of virtual objects may be generated and output corresponding to facial expressions or motions corresponding to emotion information, respectively.

이 때, 얼굴 인식 정보는 얼굴에 상응하는 크기, 위치, 시선 및 감정 중 적어도 하나를 포함할 수 있다. At this time, the face recognition information may include at least one of size, position, line of sight, and emotion corresponding to the face.

예를 들어, 사용자의 얼굴이 포함된 이미지에서 얼굴의 윤곽선을 추출하여 얼굴의 크기나 위치 등을 추정할 수 있다. 또는, 이목구비의 형태나 위치 및 방향 등을 고려하여 사용자의 시선이나 감정 등을 추정할 수도 있다.For example, it is possible to estimate the size and position of a face by extracting the contours of the face from the image including the user's face. Alternatively, the user's gaze or emotion can be estimated in consideration of the shape, position, and direction of the oblique projection.

이 때, 얼굴을 인식하는 방법은 특정한 알고리즘에 한정되지 않고, 향후 개발 가능한 기술을 이용할 수도 있다.At this time, the method of recognizing the face is not limited to a specific algorithm, but a technology that can be developed in the future may be used.

이 때, 사용자의 얼굴이나 복수개의 가상객체들 중 적어도 하나의 깊이 레벨을 조절할 수 있는 깊이 조절 인터페이스를 제공할 수도 있다.At this time, it is possible to provide a depth control interface capable of adjusting the depth level of at least one of the face of the user or the plurality of virtual objects.

이 때, 깊이 조절 인터페이스는 디스플레이 화면에 출력되는 객체의 개수에 상응하게 결정되는 깊이 레벨에 기반하여 설정될 수 있다. At this time, the depth control interface can be set based on the depth level determined corresponding to the number of objects displayed on the display screen.

예를 들어, 디스플레이 화면에 출력되는 객체의 개수가 3개라고 가정한다면, 0레벨부터 2레벨까지 3개의 깊이 레벨에 기반하여 각각의 객체의 깊이를 설정할 수 있다.For example, assuming that the number of objects displayed on the display screen is three, the depth of each object can be set based on three depth levels from 0 level to 2 levels.

이 때, 깊이 조절 인터페이스는 디스플레이 화면에 출력되는 여러 객체들 중 어느 하나의 객체에 대한 깊이가 결정되는 경우, 다른 객체의 깊이 레벨 중 일부를 선택 불가하도록 설정할 수도 있다. In this case, when the depth of any one of the objects displayed on the display screen is determined, the depth control interface may set some of the depth levels of other objects to be invisible.

예를 들어, 상기의 예시와 같이 3개의 깊이 레벨이 존재하고, 3개의 객체들 중에는 배경에 해당하는 배경 객체가 존재한다고 가정할 수 있다. 이 때, 배경 객체는 디스플레이 화면상에서 다른 객체들보다 뒤에 위치해야 하기 때문에 깊이 레벨이 2 레벨로 결정될 수 있다. 이 후, 다른 객체들의 깊이를 설정할 때에는 깊이 조절 인터페이스에서 배경 객체가 위치하는 2 레벨에 대해서는 선택이 불가하도록 지정함으로써 배경 객체의 깊이가 변경되지 않도록 할 수 있다.For example, it can be assumed that there are three depth levels as in the above example, and a background object corresponding to the background exists among the three objects. At this time, since the background object must be located behind other objects on the display screen, the depth level can be determined to be two levels. Thereafter, when setting the depths of other objects, it is possible to prevent the depth of the background object from being changed by designating that the depth control interface can not select the second level in which the background object is located.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 가상객체 제공 방법은 상술한 가상객체 제공 과정에서 발생하는 다양한 정보를 저장할 수 있다.Also, although not shown in FIG. 2, the method for providing virtual objects according to an embodiment of the present invention may store various information generated in the virtual object providing process.

이와 같은 가상객체 제공 방법을 이용함으로써, 서로 연관된 가상객체들을 그에 상응하는 유형에 맞게 연출하거나 조합하여 보여줌으로써 사용자에게 보다 다양한 서비스를 제공할 수 있다.By using the virtual object providing method as described above, it is possible to provide a variety of services to the user by presenting or combining the virtual objects associated with each other according to the corresponding type.

또한, 사용자가 갖고 있지 않은 카드의 가상객체도 연관 관계를 통해 제공함으로써 카드의 유무와 관계없이 다양한 가상객체를 제공할 수 있다.In addition, a virtual object of a card that the user does not have is also provided through the association, thereby providing various virtual objects regardless of whether or not the card exists.

도 3 내지 도 6은 본 발명에 따른 연관 관계에 상응하는 구도로 출력된 가상객체의 일 예를 나타낸 도면이다.FIG. 3 through FIG. 6 are diagrams illustrating an example of a virtual object output as a composition corresponding to an association according to the present invention.

도 3 내지 도 6을 참조하면, 본 발명의 일실시예에 따른 연관 관계는 도 3에 도시된 것과 같은 협력 관계, 도 4에 도시된 것과 같은 대립 관계 또는 도 6에 도시된 것과 같은 커플 관계 등이 존재할 수 있다.3 to 6, an association relationship according to an embodiment of the present invention may include an association relationship as shown in Fig. 3, an opposing relationship as shown in Fig. 4, or a couples relationship as shown in Fig. 6 May exist.

이 때, 도 3을 참조하면, 두 개의 가상객체(310, 320)가 서로 협력 관계에 있음을 이미지 만으로도 알 수가 있다. 즉, 가상객체(310)와 가상객체(320)의 연관 관계가 협력 관계에 해당하므로 두 개의 가상객체(310, 320)들을 도 3과 같은 구도로 출력할 수 있다. In this case, referring to FIG. 3, it can be seen from the image alone that the two virtual objects 310 and 320 cooperate with each other. That is, since the association relationship between the virtual object 310 and the virtual object 320 corresponds to a cooperative relationship, the two virtual objects 310 and 320 can be output as a composition diagram shown in FIG.

만약, 도 3에 도시된 두 개의 가상객체(310, 320)가 서로 대립 관계였다면, 두 캐릭터가 서로 싸우고 있거나 노려보고 있는 구도로 출력되었을 수 있다.If the two virtual objects 310 and 320 shown in FIG. 3 are in opposition to each other, the two characters may be fighting each other or outputting a plan view.

즉, 도 4에 도시된 것과 같이, 두 개의 가상객체(410, 420)가 서로 대립 관계에 있음을 알 수 있도록 출력되었을 수 있다. That is, as shown in FIG. 4, the two virtual objects 410 and 420 may be output so as to know that they are in opposition to each other.

이 때, 도 4에 도시된 두 개의 가상객체(410, 420)들도 마찬가지로, 서로 협력 관계였다면, 도 3과 같은 구도로 출력되었을 수 있다.In this case, the two virtual objects 410 and 420 shown in FIG. 4 may also be output as shown in FIG. 3 if they have a cooperative relationship with each other.

또한, 도 6에 도시된 두 개의 가상객체(610, 620)들은 서로 커플 관계임을 알 수 있다. Also, it can be seen that the two virtual objects 610 and 620 shown in FIG. 6 are in a coupled relationship with each other.

이 때, 만약 도 6에 도시된 가상객체(610)가 가상객체(620)없이 출력된다면, 도 5에 도시된 형태의 가상객체(510)로 출력될 수 있다. 즉, 두 개의 가상객체(610, 620) 중 어느 하나의 가상객체만 출력되는 경우에는 커플 관계로 출력될 때의 구도와는 다른 형태로 출력될 수 있으나, 함께 출력되는 경우에는 객체 출력 유형에 따라 도 6과 같은 구도로 출력될 수 있다.At this time, if the virtual object 610 shown in FIG. 6 is outputted without the virtual object 620, it can be output to the virtual object 510 of the form shown in FIG. That is, when only one virtual object among the two virtual objects 610 and 620 is output, it may be outputted in a form different from the composition in the case of outputting in a couple relation. However, It can be outputted in a composition diagram like FIG.

도 7 내지 도 10은 본 발명에 따른 객체 종류에 따른 가상객체카드와 조합되어 출력된 가상객체의 일 예를 나타낸 도면이다.7 to 10 are views showing an example of a virtual object output in combination with a virtual object card according to an object type according to the present invention.

도 7 내지 도 10을 참조하면, 본 발명의 일실시예에 따른 가상객체 제공 방식은 도 7에 도시된 캐릭터 카드(710)와 도 8에 도시된 아이템 카드(810)를 인식한 뒤에 두 개의 카드에 해당하는 가상객체를 조합하여 출력할 수 있다.7 to 10, a virtual object providing method according to an embodiment of the present invention includes recognizing the character card 710 shown in FIG. 7 and the item card 810 shown in FIG. 8, Can be combined and output.

즉, 캐릭터 카드(710)에 의한 가상객체의 객체 종류와 아이템 카드(810)에 의한 가상객체의 객체 종류를 고려하여 두 개의 가상객체들을 조합할 수 있다.That is, two virtual objects can be combined by considering the object type of the virtual object by the character card 710 and the object type of the virtual object by the item card 810.

예를 들어, 도 7에 도시된 캐릭터 카드(710)의 가상객체가 단독으로 출력되는 경우 도 9에 도시된 가상객체(910)의 형태로 출력될 수 있다. 이 때, 도 8에 도시된 아이템 카드(810)를 추가로 인식시켰다고 가정하면, 도 10에 도시된 것과 같이 두 개의 가상객체(1010, 1020)들이 조합되어 출력될 수 있다. For example, when the virtual object of the character card 710 shown in FIG. 7 is outputted alone, it can be output in the form of the virtual object 910 shown in FIG. Assuming that the item card 810 shown in FIG. 8 is further recognized, two virtual objects 1010 and 1020 can be combined and output as shown in FIG.

도 11은 본 발명의 일실시예에 따른 가상객체 제공 장치를 나타낸 블록도이다.11 is a block diagram illustrating a virtual object provision apparatus according to an embodiment of the present invention.

도 11을 참조하면, 본 발명의 일실시예에 따른 가상객체 제공 장치는 입력부(1110), 제어부(1120), 출력부(1130) 및 저장부(1140)를 포함한다.11, the apparatus for providing virtual objects according to an embodiment of the present invention includes an input unit 1110, a control unit 1120, an output unit 1130, and a storage unit 1140.

입력부(1110)는 복수개의 가상객체카드들을 인식한다.The input unit 1110 recognizes a plurality of virtual object cards.

제어부(1120)는 복수개의 가상객체카드들에 상응하는 복수개의 가상객체들 간의 연관성을 고려하여 객체 출력 유형을 결정한다.The controller 1120 determines the object output type by considering the association among the plurality of virtual objects corresponding to the plurality of virtual object cards.

출력부(1130)는 객체 출력 유형에 상응하게 복수개의 가상객체들을 디스플레이 화면에 출력한다.The output unit 1130 outputs a plurality of virtual objects to the display screen corresponding to the object output type.

저장부(1140)는 상술한 바와 같이 본 발명의 실시예에 따른 가상객체 제공 과정에서 발생되는 다양한 정보를 저장한다. The storage unit 1140 stores various information generated in the virtual object providing process according to the embodiment of the present invention as described above.

실시예에 따라, 저장부(1140)는 가상객체 제공 장치와 독립적으로 구성되어 가상객체 제공을 위한 기능을 지원할 수 있다. 이 때, 저장부(1140)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.According to an embodiment, the storage unit 1140 may be configured independently of a virtual object providing apparatus to support a function for providing a virtual object. At this time, the storage unit 1140 may operate as a separate mass storage and may include a control function for performing operations.

한편, 가상객체 제공 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.On the other hand, the virtual object providing apparatus can store information in the apparatus by mounting the memory. In one implementation, the memory is a computer-readable medium. In one implementation, the memory may be a volatile memory unit, and in other embodiments, the memory may be a non-volatile memory unit. In one implementation, the storage device is a computer-readable medium. In various different implementations, the storage device may comprise, for example, a hard disk device, an optical disk device, or any other mass storage device.

이와 같은 가상객체 제공 장치를 통해, 서로 연관된 가상객체들을 그에 상응하는 유형에 맞게 연출하거나 조합하여 보여줌으로써 사용자에게 보다 다양한 서비스를 제공할 수 있다.Through the virtual object providing apparatus, it is possible to provide a variety of services to the user by presenting or combining the virtual objects associated with each other in accordance with the types of virtual objects.

또한, 사용자가 갖고 있지 않은 카드의 가상객체도 연관 관계를 통해 제공함으로써 카드의 유무와 관계없이 다양한 가상객체를 제공할 수 있다. In addition, a virtual object of a card that the user does not have is also provided through the association, thereby providing various virtual objects regardless of whether or not the card exists.

도 12 내지 도 14는 본 발명에 따른 얼굴 인식 정보를 기반으로 결정된 객체 출력 모드에 상응하게 출력된 가상객체의 일 예를 나타낸 도면이다.12 to 14 are views showing an example of a virtual object output according to an object output mode determined based on face recognition information according to the present invention.

도 12 내지 도 14를 참조하면, 본 발명에 따른 가상객체는 인식된 사용자 얼굴에 대한 얼굴 인식 정보에 상응하게 출력될 수 있다.12 to 14, the virtual object according to the present invention may be output corresponding to the face recognition information of the recognized user face.

예를 들어, 도 12에 도시된 얼굴(1210)과 도 13에 도시된 얼굴(1310)에 대해 동일한 가상객체카드를 인식시켜서 가상객체를 출력하였다고 가정할 수 있다.For example, it can be assumed that the virtual object is recognized by recognizing the same virtual object card for the face 1210 shown in FIG. 12 and the face 1310 shown in FIG. 13.

이 때, 도 12의 경우에는 얼굴(1210)이 웃는 표정이므로, 인식된 가상객체카드에 의한 가상객체(1220)도 웃는 형태로 출력될 수 있다. 그러나 도 13의 경우에는 얼굴(1310)이 화난 표정이므로, 도 12와 동일한 가상객체카드이지만 가상객체(1320)가 화난 형태로 출력될 수 있다.In this case, since the face 1210 is laid out in the case of FIG. 12, the virtual object 1220 by the recognized virtual object card can also be output in a smile form. However, in the case of FIG. 13, since the face 1310 is an angry face, the virtual object 1320 is the same virtual object card as that of FIG. 12, but the virtual object 1320 can be output in an angry form.

다른 예를 들면, 도 14에 도시된 것과 같이 얼굴(1410)의 시선 방향에 맞추어 가상객체(1410)가 출력될 수도 있다.As another example, the virtual object 1410 may be output in accordance with the viewing direction of the face 1410 as shown in Fig.

즉, 동일한 카드를 인식하여 가상객체가 출력되더라도, 함께 출력된 사용자의 얼굴 표정, 얼굴 크기 및 시선 등에 어울리도록 가상객체를 조절 및 변형하여 출력할 수 있다.That is, even if a virtual object is recognized by recognizing the same card, the virtual object can be adjusted and modified so as to match the facial expression, the face size, and the gaze of the user output together.

도 15 내지 도 21은 본 발명에 따른 가상객체 제공 과정을 통해 증강현실 콘텐츠를 제공하는 과정의 일 예를 나타낸 도면이다.15 to 21 are views showing an example of a process of providing augmented reality contents through a virtual object providing process according to the present invention.

도 15 내지 도 21을 참조하면, 본 발명에 따른 가상객체 제공 과정을 통해 증강현실 콘텐츠를 제공하는 과정은 먼저 가상객체 제공 장치를 통해 도 15 및 도 16에 도시된 것과 같은 가상객체카드(1500, 1600)를 인식하여 가상객체(1510, 1610)를 생성할 수 있다. 15 and 21, a process of providing an augmented reality content through a process of providing a virtual object according to the present invention includes a process of providing a virtual object card 1500, 1600) to generate virtual objects (1510, 1610).

이 때, 가상객체카드(1500, 1600)는 적어도 하나 이상 인식될 수 있으며, 복수개의 가상객체카드들이 인식되는 경우에는 도 21에 도시된 것과 같이 가상객체 제공 장치의 디스플레이 화면에 출력되는 별도의 카드선택 인터페이스를 통해 출력될 가상객체를 선택할 수 있다.At this time, at least one virtual object card 1500 or 1600 can be recognized. When a plurality of virtual object cards are recognized, as shown in FIG. 21, a separate card You can select the virtual object to be output through the selection interface.

도 21을 참조하면, 본 발명의 일실시예에 따른 가상객체 제공 장치(2110)를 통해 인식된 가상객체카드(2120)는 순차적으로 카드 선택 인터페이스에 추가될 수 있다.Referring to FIG. 21, the virtual object card 2120 recognized through the virtual object providing device 2110 according to an embodiment of the present invention may be sequentially added to the card selection interface.

예를 들어, 도 21에 도시된 가상객체 제공 장치(2110)는 카메라를 통해 가상객체카드(2120)를 촬영하여 카드를 인식하고, 사용자가 인식된 카드에 의한 가상객체를 직관적으로 확인할 수 있도록 카드에 대한 아이콘(2121)을 생성하여 카드 선택을 위한 인터페이스에 추가시킬 수 있다. For example, the virtual object providing device 2110 shown in FIG. 21 may recognize a card by photographing the virtual object card 2120 through a camera, and may recognize the virtual object by the card It is possible to generate an icon 2121 for the card and add it to the interface for card selection.

이 후, 도 17에 도시된 것과 같은 현실 객체(1710)를 인식하는 경우에 가상객체(1510, 1610)와 현실 객체(1710)를 도 18과 같이 디스플레이 화면에 출력할 수 있다.Thereafter, when recognizing the real object 1710 as shown in FIG. 17, the virtual objects 1510 and 1610 and the real object 1710 can be displayed on the display screen as shown in FIG.

이 때, 도 18을 참조하면, 사용자가 인식시키지 않은 자동차 형태의 가상객체(1810)가 함께 출력된 것을 확인할 수 있는데, 이는 특정한 가상객체가 인식되어 출력될 때 함께 매칭되어 출력되도록 설정된 것일 수 있다. 즉, 사용자가 자동차 형태의 가상객체(1810)에 해당하는 가상객체카드를 가지고 있지 않아도, 사전에 로봇 형태의 가상객체(1610)와 매칭되어 출력되도록 설정된 가상객체(1810)를 출력함으로써 보다 완성도가 높은 증강현실 콘텐츠를 제공할 수 있다. Referring to FIG. 18, it can be seen that a vehicle-shaped virtual object 1810 that is not recognized by the user is output together. It may be set such that a specific virtual object is matched and output when recognized . That is, even if the user does not have the virtual object card corresponding to the virtual object 1810 in the form of the automobile, outputting the virtual object 1810 set to be matched with the robot-shaped virtual object 1610 in advance, High augmented reality contents can be provided.

이 때, 여러 개의 가상객체들은 가상객체카드를 인식한 순서에 따라 출력될 수 있다. At this time, the plurality of virtual objects may be output in the order in which the virtual object cards are recognized.

또한, 가상객체 제공 장치의 설정에 따라 현실 객체(1710)를 모든 가상객체들보다 뒤에 위치하도록 배치하거나, 또는 현실객체(1710)가 모든 가상객체들보다 앞에 위치하도록 배치할 수도 있다.In addition, according to the setting of the virtual object providing apparatus, the real object 1710 may be arranged behind all the virtual objects, or the real object 1710 may be arranged in front of all the virtual objects.

이 후, 도 19와 같이 가상객체(1510, 1610, 1810)와 현실객체(1710)의 깊이를 설정할 수 있는 별도의 인터페이스를 제공할 수도 있다. Thereafter, as shown in FIG. 19, a separate interface for setting the depths of the virtual objects 1510, 1610, and 1810 and the real objects 1710 may be provided.

예를 들어, 도 19에 도시된 것과 같이 여러 객체들간에 깊이 순서를 변경할 수 있는 테이블(1910)을 제공함으로써 사용자가 직접 가상객체(1510, 1610, 1810)와 현실객체(1710)의 깊이를 설정할 수 있다.For example, it is possible to set the depth of the virtual objects 1510, 1610, 1810 and the real object 1710 by providing the table 1910 in which the depth order can be changed among various objects as shown in FIG. .

이 때, 테이블(1910)에 포함된 값들은 가상객체(1510, 1610, 1810)와 현실객체(1710)의 깊이 순서를 의미할 수 있다. 예를 들어, 도 19에 도시된 가상객체와 현실객체의 개수에 따라 깊이 레벨이 0부터 3까지 4개라고 가정한다면, 테이블(1910)에서 가장 위에 위치하는 가상객체 2의 식별자를 갖는 가상객체(1510)의 깊이 레벨이 3에 해당하고, 현실객체(1710)의 깊이 레벨이 2, 가상객체(1810)의 깊이 레벨이 1, 마지막으로 가상객체(1610)의 깊이 레벨이 0에 해당할 수 있다. In this case, the values included in the table 1910 may denote the depth order of the virtual objects 1510, 1610, and 1810 and the real objects 1710. For example, assuming that the depth level is 4 from 0 to 3 according to the number of virtual objects and real objects shown in FIG. 19, a virtual object having an identifier of the virtual object 2 located at the top in the table 1910 1510 corresponds to a depth level of 3, a depth level of the real object 1710 is 2, a depth level of the virtual object 1810 is 1, and a depth level of the virtual object 1610 corresponds to 0 .

이 때, 테이블(1910) 만으로는 가상객체와 현실객체의 깊이를 한눈에 파악하기 어려울 수도 있으므로, 도 19에 도시된 것과 같이 테이블(1910)에 포함된 깊이 순서 값들을 각각 가상객체 및 현실객체와 연결하여 나타낼 수도 있다.At this time, it may be difficult to grasp the depths of the virtual objects and the real objects at a glance only with the table 1910. Therefore, as shown in FIG. 19, the depth order values included in the table 1910 are connected to the virtual objects and the real objects .

이 때, 사용자는 테이블(1910)에 포함된 깊이 순서의 위치를 변경하여 가상 객체와 현실 객체의 깊이를 설정할 수 있다.At this time, the user can change the depth order included in the table 1910 to set the depths of the virtual objects and the real objects.

예를 들어, 사용자가 테이블(1910)에 포함된 깊이 순서들 중에서 가상객체(1610)에 해당하는 깊이 순서를 선택한 경우, 도 19에 도시된 것과 같이 깊이를 설정하기 위해 선택된 가상객체(1610)를 시각적으로 구별되도록 나타낼 수 있다. 또는, 사용자가 가상객체(1610)를 직접 터치 입력으로 선택하는 경우에도 테이블(1910)에서 가상객체(1610)에 해당하는 깊이 순서를 다른 깊이 순서들과 구별되도록 나타낼 수도 있다.For example, when the user selects a depth order corresponding to the virtual object 1610 from among the depth orders included in the table 1910, the virtual object 1610 selected to set the depth as shown in FIG. 19 It can be shown to be visually distinguishable. Alternatively, when the user selects the virtual object 1610 directly as a touch input, the depth order corresponding to the virtual object 1610 in the table 1910 may be distinguished from other depth orders.

이 후, 사용자가 가상객체(1610)에 해당하는 깊이 순서를 드래그하여 이동시킴으로써 가상객체(1610)의 깊이를 변경할 수 있다. Thereafter, the depth of the virtual object 1610 can be changed by dragging and moving the depth order corresponding to the virtual object 1610 by the user.

이 때, 사용자가 도 19에 도시된 테이블(1910)의 깊이 순서를 도 20에 도시된 것처럼 변경하였다고 가정한다면, 도 20에 도시된 것과 같이 가상객체(1610)가 맨 뒤로 이동한 것을 확인할 수 있다. 즉, 가상객체(1610)에 해당하는 깊이 순서가 테이블(1910)에서 가장 위로 이동함에 따라 가상객체(1610)의 깊이 레벨이 3으로 설정될 수 있다.At this time, if the user changes the depth order of the table 1910 shown in Fig. 19 as shown in Fig. 20, it can be confirmed that the virtual object 1610 has moved to the back as shown in Fig. 20 . That is, the depth level of the virtual object 1610 may be set to 3 as the depth order corresponding to the virtual object 1610 moves to the top of the table 1910.

이 때, 도 19의 디스플레이 화면과 도 20의 디스플레이 화면을 비교해보면, 가상객체(1610)뿐만 아니라 다른 가상객체들의 크기도 변경될 것을 확인할 수 있다. 즉, 본 발명에 따른 가상객체 제공 장치에서는 가상객체들의 깊이 순서가 변경됨에 따라 그에 따른 원근감을 주기 위해서 가상객체들의 크기를 자동으로 조절할 수도 있다.In this case, when the display screen of FIG. 19 is compared with the display screen of FIG. 20, it can be seen that the sizes of other virtual objects as well as the virtual objects 1610 are changed. That is, in the virtual object providing apparatus according to the present invention, as the depth order of the virtual objects is changed, the size of the virtual objects may be automatically adjusted in order to give the perspective of the virtual objects.

또한, 도 19 내지 도 20에는 도시하지 못하였으나, 가상객체(1610)의 경우에는 다른 가상객체나 현실객체보다 뒤에 위치하도록 깊이가 변경되었으므로, 포커스가 날아간 효과를 줄 수 있도록 흐릿하게 나타낼 수도 있다. In addition, although not shown in FIGS. 19 to 20, since the depth of the virtual object 1610 is changed so as to be positioned behind other virtual objects or the real objects, the focus may be blurred to give a flying effect.

이 때, 사용자가 도 20과 같은 설정으로 깊이 설정을 완료한 경우에는 가상객체(1510, 1610, 1810)와 현실객체(1710)를 합성하여 디스플레이 화면에 출력할 수 있다.At this time, when the user completes the depth setting with the same settings as in FIG. 20, the virtual objects 1510, 1610, and 1810 and the real object 1710 can be synthesized and output to the display screen.

도 22 내지 도 23은 본 발명에 따른 가상객체를 이동하거나 확대하는 일 예를 나타낸 도면이다.22 to 23 are views showing an example of moving or enlarging a virtual object according to the present invention.

도 22 내지 도 23을 참조하면, 본 발명에 따른 가상객체는 도 22에 도시된 것처럼 사용자에 의해 드래그되어 위치를 이동시킬 수 있다.Referring to FIGS. 22 to 23, a virtual object according to the present invention can be dragged and moved by a user as shown in FIG.

또한, 본 발명에 따른 가상객체는 도 23에 도시된 것처럼 사용자에 의해 선택된 이후, 두 점을 터치한 상태로 드래그되어 크기를 조절할 수도 있다.In addition, the virtual object according to the present invention may be dragged and touched by touching two points after being selected by the user as shown in FIG.

도 24 내지 도 28은 본 발명에 따른 현실객체를 배경과 분리하는 과정을 기반으로 가상객체를 합성하는 일 예를 나타낸 도면이다.24 to 28 illustrate an example of synthesizing a virtual object based on a process of separating a real object according to the present invention from a background.

도 24 내지 도 28을 참조하면, 본 발명에 따른 가상객체 제공 장치는 현실의 배경에 가상객체를 합성하여 현실객체와 함께 출력하기 위해서 크로마키 방식을 이용할 수 있다.24 to 28, a virtual object providing apparatus according to the present invention can use a chroma key method to synthesize a virtual object on the background of a real world and output it together with a real object.

먼저, 도 24와 같이 가상객체를 합성시킬 현실의 배경에 해당하는 배경 이미지 데이터와 도 25와 같이 도 24와 동일한 배경에 현실객체에 해당하는 피사체를 포함하는 피사체 이미지 데이터를 획득할 수 있다.First, as shown in FIG. 24, it is possible to acquire background image data corresponding to a background of a reality in which a virtual object is to be synthesized, and subject image data including a subject corresponding to a real object in the same background as FIG.

이 후, 도 26과 같이 배경 이미지 데이터 및 피사체 이미지 데이터를 활용하여 피사체를 배경에서 분리하여 현실객체를 생성한다. 이 때, 크로마키 방식을 기반으로 피사체를 배경에서 분리할 수 있다.Thereafter, as shown in FIG. 26, the background object data and the object image data are used to separate the subject from the background, thereby creating a real object. At this time, the subject can be separated from the background based on the chroma key method.

이 후, 도 27과 같이 배경 이미지 데이터에 현실객체와 가상객체를 출력하여 합성할 수 있다.Thereafter, as shown in FIG. 27, a real object and a virtual object can be outputted and combined in the background image data.

또한, 본 발명에 따른 가상객체 제공 장치는 현실의 배경에 가상객체를 합성하여 현실객체와 함께 출력하기 위해서 도 28에 도시된 것과 같이 사용자가 현실객체를 영역에서 선택할 수 있도록 사용자 인터페이스를 제공할 수도 있다.In addition, the virtual object providing apparatus according to the present invention may provide a user interface to allow a user to select a real object from an area, as shown in FIG. 28, in order to synthesize a virtual object on a real background and output it together with a real object have.

예를 들어, 사용자 인터페이스는 도 28에 도시된 것과 같이 사용자가 가상객체 제공 장치의 디스플레이 화면을 터치 및 드래그하여 현실객체로 분리할 선택영역(2810)을 생성할 수 있도록 제공될 수 있다. 이와 같이, 선택영역(2810)에 상응하게 배경과 분리된 현실객체는 가상객체와 깊이를 조절하여 합성 배경을 기반으로 합성될 수 있다.For example, the user interface may be provided to allow a user to create a selection area 2810 for touching and dragging the display screen of the virtual object providing device to separate them into real objects, as shown in FIG. As described above, the real objects separated from the background corresponding to the selected region 2810 can be synthesized based on the synthetic background by adjusting the virtual objects and the depth.

도 29 내지 도 30은 본 발명에 따른 가상객체의 일부를 지워서 이미지와 합성하는 과정의 일 예를 나타낸 도면이다.29 to 30 are views showing an example of a process of clearing a part of a virtual object according to the present invention and compositing the image with an image.

도 29 내지 도 30을 참조하면, 본 발명에 따른 가상객체 제공 장치는 현실의 배경에 가상객체를 합성하여 현실객체와 함께 출력하기 위해서 가상객체의 일부를 문질러서 지우는 방식을 이용할 수 있다.29 to 30, a virtual object providing apparatus according to the present invention can use a method of rubbing a part of a virtual object to synthesize a virtual object on the background of the real world and output it together with the real object.

예를 들어, 도 29와 같이 현실사진에 가상객체(2910)를 출력하고, 가상객체(2910)의 깊이를 조절한 것과 같은 효과를 주기 위해서 사용자가 터치 입력으로 문지르는 가상객체(2910)의 일부분을 삭제할 수 있다.For example, as shown in FIG. 29, a virtual object 2910 is output to a real photograph, and a portion of the virtual object 2910, which the user rubs with a touch input, to give an effect like adjusting the depth of the virtual object 2910 Can be deleted.

이와 같은 방법으로 가상객체와 현실객체의 파사체가 겹치는 부분을 삭제함으로써 도 30에 도시된 것과 같은 합성 결과를 제공할 수 있다.By deleting the overlapping part of the virtual object and the object of the real object in this way, a synthesis result as shown in FIG. 30 can be provided.

도 31 내지 도 32는 본 발명에 따른 가상객체카드의 위조를 방지하기 위한 카드 인식 방식의 일 예를 나타낸 도면이다.31 to 32 are views showing an example of a card recognition method for preventing falsification of a virtual object card according to the present invention.

도 31 내지 도 32를 참조하면, 본 발명에 따른 가상객체의 생성을 위해 가상객체카드의 원본을 사용하지 않고, 사본이나 위조품을 사용하는 경우에 카드를 인식하는 방법 및 사본이나 위조품을 검출하기 위한 방법을 제시하고 있다. 31 to 32, a method for recognizing a card when a copy or a counterfeit product is used without using an original of a virtual object card for creation of a virtual object according to the present invention, and a method for detecting a copy or a counterfeit .

먼저, 도 31에 도시된 것과 같이 본 발명에 따른 가상객체카드를 제작할 때에는 원본 카드(3110)를 몇 개의 영역으로 분할하고, 각각 분할된 영역에 포함된 이미지나 텍스트 등을 기반으로 특징점 또는 마커를 입력할 수 있다. 이와 같이 제작된 원본 카드(3110)를 가상객체 제공 장치를 통해 인식하면, 도 31에 도시된 원본카드 인식결과(3111)와 같이 각각의 특징점 또는 마커가 인식되어 원본카드(3110)를 인식할 수 있다.31, when the virtual object card according to the present invention is produced, the original card 3110 is divided into several regions, and feature points or markers are generated based on images or texts included in the divided regions Can be input. When the original card 3110 thus produced is recognized through the virtual object providing apparatus, the respective characteristic points or markers are recognized as the original card recognition result 3111 shown in FIG. 31, and the original card 3110 can be recognized have.

그러나, 원본카드(3110)를 그대로 복사한 위조카드(3120)도 가상객체 제공 장치에서 인식하는 경우, 위조카드 인식결과(3121)와 같이 원본카드(3110)와 동일하게 인식된다는 문제점이 존재할 수 있다.However, when the virtual object providing apparatus recognizes the fake card 3120 in which the original card 3110 is copied as it is, there may be a problem that the fake card 3120 is recognized as the fake card recognition result 3121 as the original card 3110 .

따라서, 본 발명의 일실시예에 따라 가상객체카드의 위조를 방지하기 위해서, 도 32에 도시된 것과 같이 원본카드(3210)를 인식하는 경우, 원본카드 인식결과(3211)처럼 일부분이 인식되지 않도록 원본카드(3210)를 제작할 수 있다. 이 때, 원본카드(3210)에서 인식되지 않은 부분은 공개되지 않을 수 있다.Therefore, in order to prevent falsification of the virtual object card according to the embodiment of the present invention, when the original card 3210 is recognized as shown in FIG. 32, The original card 3210 can be manufactured. At this time, the portion not recognized by the original card 3210 may not be disclosed.

따라서, 도 32와 같이 위조카드(3220)를 인식한 위조카드 인식결과(3221)에 카드의 모든 영역이 인식되었다면, 가상객체 제공 장치가 해당 가상객체카드를 위조 카드라고 판단하고 가상객체를 출력하지 않을 수 있다.Therefore, if all areas of the card are recognized in the fake card recognition result 3221 that recognized the fake card 3220 as shown in FIG. 32, the virtual object providing device determines that the virtual object card is a fake card and outputs a virtual object .

도 33은 본 발명에 따른 가상객체카드를 인식하는 방식의 일 예를 나타낸 도면이다.33 is a diagram illustrating an example of a method of recognizing a virtual object card according to the present invention.

도 33을 참조하면, 본 발명에 따른 가상객체 합성 장치는 분할되지 않은 카드(3310)를 기반으로 이미지나 텍스트 등에 의한 특징점 또는 마커를 인식하여 가상객체를 획득하기 위한 카드를 인식하거나, 또는 분할된 카드(3320)를 기반으로 각각의 분할된 카드 영역마다 이미지나 텍스트 등에 의한 특징점 또는 마커를 인식하여 카드를 인식할 수도 있다.33, the virtual object synthesizing apparatus recognizes a card for acquiring a virtual object by recognizing a feature point or a marker based on an image or text based on an unpartitioned card 3310, The card may be recognized by recognizing feature points or markers based on an image, text, or the like for each divided card area based on the card 3320.

도 34 내지 도 35는 본 발명에 따른 가상객체카드의 손실에 따라 생성되는 가상객체의 일 예를 나타낸 도면이다.34 to 35 are views showing an example of a virtual object generated according to loss of a virtual object card according to the present invention.

도 34 내지 도 35를 참조하면, 도 33에 도시된 분할된 카드(3320)와 같이 카드를 분할하여 인식을 수행하는 경우, 카드의 전체 영역 중 일부가 손실되어도 카드의 인식이 가능한 것을 알 수 있다. 즉, 분할된 카드의 각 분할 영역마다 포함된 특징점 또는 마커를 기반으로 카드의 일부가 찢어지거나 훼손되어 인식되지 않아도, 나머지 영역이 인식된다면 도 34에 도시된 것과 같은 손실된 카드를 기반으로 도 35와 같이 가상 객체를 생성할 수 있다. Referring to FIGS. 34 to 35, when the card is divided and recognized such as the divided card 3320 shown in FIG. 33, it can be seen that even if a part of the entire area of the card is lost, the card can be recognized . If the remaining area is recognized even if a part of the card is not recognized as being torn or damaged due to the feature points or markers included in each divided area of the divided card, A virtual object can be created as shown in FIG.

이 때, 도 35에 도시된 것과 같이 카드의 손실여부에 따라 가상 객체도 손실되게 출력할 수 있다. 즉, 카드가 전혀 훼손되거나 손실되지 않고 완벽한 경우에는 가상 객체도 완벽하게 출력할 수 있지만, 카드가 일부 손실되는 경우, 도 35와 같이 가상 객체를 손실에 해당하는 만큼 흐릿하게 출력되도록 하거나 또는 가상 객체의 일부를 삭제하여 출력되도록 할 수도 있다.At this time, as shown in FIG. 35, the virtual object may also be lost in accordance with whether the card is lost or not. That is, if the card is completely damaged or lost and the card is perfect, the virtual object can be perfectly output. However, if the card is partially lost, the virtual object may be blurred as much as the loss, May be deleted and output.

이 때, 카드의 손실률에 따라 가상 객체를 출력하는 방식은 도 35에 도시된 방식에 한정되지 않고 다양하게 적용될 수 있다.At this time, the method of outputting the virtual object according to the loss rate of the card is not limited to the method shown in FIG. 35, and can be variously applied.

이상에서와 같이 본 발명에 따른 객체 간 연관성을 고려한 가상객체 제공 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the method and apparatus for providing a virtual object in consideration of the inter-object association according to the present invention are not limited to the configuration and method of the embodiments described above, All or some of the embodiments may be selectively combined.

110: 가상객체 제공 장치
120, 1500, 1600, 2120: 가상객체카드
130: 사용자 140: 가상객체 데이터베이스
310, 320, 410, 420, 510, 610, 620, 910, 1010, 1020: 가상객체
710: 캐릭터 카드 810: 아이템 카드
1110: 통신부 1120: 입력부
1130: 제어부 1140: 출력부
1150: 저장부 1210, 1310, 1410: 얼굴
1220, 1320, 1420, 1510, 1610, 1810, 2910: 가상객체
1710: 현실객체 1910: 테이블
1920, 1930: 사용자 인터페이스 2110: 사용자 단말
2121: 카드에 대한 아이콘 2810: 선택 영역
3110, 3210: 원본 카드 3111, 3211: 원본 카드 인식 결과
3120, 3220: 위조 카드 3121, 3221: 위조 카드 인식 결과
3310: 분할되지 않은 카드 3320: 분할된 카드110: virtual object providing device
120, 1500, 1600, 2120: virtual object card
130: user 140: virtual object database
310, 320, 410, 420, 510, 610, 620, 910, 1010, 1020:
710: Character card 810: Item card
1110: Communication unit 1120: Input unit
1130: Control section 1140: Output section
1150: storage unit 1210, 1310, 1410: face
1220, 1320, 1420, 1510, 1610, 1810, 2910:
1710: Reality Object 1910: Table
1920, 1930: user interface 2110: user terminal
2121: icon for card 2810: selection area
3110, 3210: original card 3111, 3211: original card recognition result
3120, 3220: counterfeit card 3121, 3221: counterfeit card recognition result
3310: Unpartitioned card 3320: Partitioned card

Claims

The virtual object providing apparatus recognizing a plurality of virtual object cards;
Wherein the virtual object providing apparatus determines an object output type by taking into consideration associations among a plurality of virtual objects corresponding to the plurality of virtual object cards; And
Wherein the virtual object providing apparatus outputs the plurality of virtual objects on the display screen in accordance with the object output type
Wherein the virtual object is a virtual object.

The method according to claim 1,
The step of determining
Identifying an association between the plurality of virtual objects; And
Identifying an object type of each of the plurality of virtual objects,
Wherein the object output type is determined in consideration of at least one of the association relationship and the object type.

The method of claim 2,
The object output type is
A type that outputs at least two or more virtual objects among the plurality of virtual objects as a composition corresponding to the association relationship, and a type that outputs at least two virtual objects among the plurality of virtual objects by combining them Wherein the virtual object corresponds to one virtual object.

The method of claim 2,
The outputting step
Wherein a virtual object corresponding to at least one virtual object among the plurality of virtual objects is automatically output based on the virtual object database.

The method according to claim 1,
The outputting step
Determining an object output mode for the plurality of virtual objects based on face recognition information corresponding to a user's face and outputting the plurality of virtual objects in consideration of at least one of the object output type and the object output mode The virtual object providing method comprising:

The method of claim 5,
The object output mode
Wherein the virtual object includes at least one of size information, position information, direction information, and emotion information for the plurality of virtual objects.

The method of claim 5,
The face recognition information
Wherein the virtual object includes at least one of a size, a position, a line of sight, and an emotion corresponding to the face.

An input unit for recognizing a plurality of virtual object cards;
A controller for determining an object output type in consideration of association between a plurality of virtual objects corresponding to the plurality of virtual object cards; And
And outputting the plurality of virtual objects to the display screen in accordance with the object output type,
The virtual object providing apparatus comprising:

The method of claim 8,
The control unit
Identifying an object type of each of the plurality of virtual objects by identifying an association between the plurality of virtual objects and determining the object output type by considering at least one of the association and the object type, Object providing device.

The method of claim 9,
The object output type is
A type that outputs at least two or more virtual objects among the plurality of virtual objects as a composition corresponding to the association relationship, and a type that outputs at least two virtual objects among the plurality of virtual objects by combining them The virtual object providing apparatus corresponding to the virtual object providing apparatus.

The method of claim 9,
The output
And automatically outputs a virtual object corresponding to an association relation with at least one virtual object among the plurality of virtual objects based on the virtual object database.

The method of claim 8,
The output
Determining an object output mode for the plurality of virtual objects based on face recognition information corresponding to a user's face and outputting the plurality of virtual objects in consideration of at least one of the object output type and the object output mode The virtual object providing apparatus comprising:

The method of claim 12,
The object output mode
And at least one of size information, position information, direction information, and emotion information for the plurality of virtual objects.

The method of claim 12,
The face recognition information
Wherein the virtual object includes at least one of size, position, line of sight, and emotion corresponding to the face.