KR20190110218A - System and method for implementing Dynamic virtual object - Google Patents

System and method for implementing Dynamic virtual object Download PDF

Info

Publication number
KR20190110218A
KR20190110218A KR1020180031881A KR20180031881A KR20190110218A KR 20190110218 A KR20190110218 A KR 20190110218A KR 1020180031881 A KR1020180031881 A KR 1020180031881A KR 20180031881 A KR20180031881 A KR 20180031881A KR 20190110218 A KR20190110218 A KR 20190110218A
Authority
KR
South Korea
Prior art keywords
virtual object
information
motion
matching
attribute
Prior art date
Application number
KR1020180031881A
Other languages
Korean (ko)
Inventor
김용완
김기홍
조동식
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180031881A priority Critical patent/KR20190110218A/en
Priority to CN201910204407.9A priority patent/CN110310372A/en
Publication of KR20190110218A publication Critical patent/KR20190110218A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G06K9/00214—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces

Abstract

The present invention relates to a technique for implementing a dynamic virtual object. A processor of a system for implementing a dynamic virtual object comprises: a real object information estimation module estimating three-dimensional characteristic information based on basic characteristic information with regard to a real object obtained from an inputted image; a movement characteristic application module individually applying movement characteristic information corresponding to the three-dimensional characteristic information to a virtual object corresponding to the real object; an object-movement matching module matching the movement information corresponding to the movement characteristic applied to the virtual object and the virtual object corresponding to the movement information; and a mapping image output module performing matching between the real object and the virtual object, and matching between the objects and an environment and outputting an image in which the real object, the virtual object, and an environment are mapped.

Description

동적 가상객체 구현 시스템 및 방법{System and method for implementing Dynamic virtual object}System and method for implementing Dynamic virtual object

본 발명은 동적 가상객체 구현 기술에 관한 것으로, 상세하게는 실 객체로부터 획득되는 기초 속성 정보로부터 추정되는 3D 속성 정보를 이용하여 가상객체에 움직임을 적용하여 동적 가상 객체를 구현할 수 있는 시스템 및 방법에 관한 것이다.
The present invention relates to a technology for implementing a dynamic virtual object, and more particularly, to a system and method for implementing a dynamic virtual object by applying motion to a virtual object using 3D attribute information estimated from basic property information obtained from a real object. It is about.

최근, 다양한 3D 객체를 이용한 가상 쇼핑몰 등이 등장하고 있으나, 각각의 객체는 단순히 외형만을 둘러볼 수 있도록 구현되기 때문에, 운동성 정보가 전혀 없는 객체들이 대부분 이용되고 있다.Recently, virtual shopping malls and the like using various 3D objects have emerged. However, since each object is implemented to simply look around the appearance, most of the objects having no movement information are used.

또한, 객체에 운동성 정보가 적용되어 있다고 하더라도, 수동으로 적용이 되거나, 실제 움직임과는 괴리가 있는 단순한 움직임 정보만이 적용되어 있을 뿐이다.In addition, even if the motion information is applied to the object, only the simple motion information that is applied manually or that is different from the actual motion is applied.

따라서, 종래의 가상 객체는 운동성 정보가 없거나 단순한 움직임 정보만이 적용된 정적인 객체이기 때문에, 현실감이나 사실감을 표현하는 데에 상당한 한계를 갖는다는 문제점이 있다.
Therefore, since the conventional virtual object is a static object to which no kinetic information or only simple motion information is applied, there is a problem in that it has a significant limitation in expressing reality or realism.

본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 본 발명은 동적 가상객체 구현 기술에 관한 것으로, 상세하게는 실 객체로부터 획득되는 기초 속성 정보로부터 추정되는 3D 속성 정보를 이용하여 가상객체에 움직임을 적용하여 동적 가상 객체를 구현할 수 있는 시스템 및 방법을 제공함에 있다.
The present invention has been made to solve the above problems of the prior art, an object of the present invention relates to a dynamic virtual object implementation technology, in detail 3D estimated from the basic attribute information obtained from the real object The present invention provides a system and method for implementing dynamic virtual objects by applying motion to virtual objects using property information.

상기와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 동적 가상객체 구현 시스템은, 동적 가상 객체를 구현하기 위한 프로그램이 저장된 적어도 하나 이상의 메모리 및 상기 메모리에 저장된 프로그램에 따라 동작하는 적어도 하나 이상의 프로세서를 포함한다.A dynamic virtual object implementation system according to an embodiment of the present invention for achieving the above object, at least one memory for storing a program for implementing a dynamic virtual object and at least one processor operating according to the program stored in the memory It includes.

상기 프로세서는, 입력되는 이미지로부터 획득되는 실 객체에 대한 기초 속성 정보를 기반으로 3차원 속성 정보를 추정하는 실 객체 정보 추정모듈; 상기 3D 속성 정보에 상응하는 운동 속성 정보를 상기 실 객체에 대응하는 가상 객체에 각각 적용하는 운동 속성 적용모듈; 상기 가상 객체에 적용된 운동 속성에 상응하는 움직임 정보를 대응하는 가상 객체와 매칭하는 객체-움직임 매칭모듈; 및 상기 실 객체 및 가상 객체 사이의 정합 및 객체들과 환경 사이의 정합을 수행하고, 상기 실 객체, 가상 객체 및 환경이 맵핑된 이미지를 출력하는 맵핑 이미지 출력모듈을 포함한다.
The processor may include: a real object information estimation module for estimating three-dimensional attribute information based on basic attribute information of a real object obtained from an input image; An exercise attribute application module for applying exercise attribute information corresponding to the 3D attribute information to a virtual object corresponding to the real object, respectively; An object-motion matching module for matching the motion information corresponding to the motion attribute applied to the virtual object with the corresponding virtual object; And a mapping image output module for performing matching between the real object and the virtual object and matching between the objects and the environment, and outputting an image to which the real object, the virtual object, and the environment are mapped.

본 발명의 실시 예에 따른 동적 가상객체 구현 방법은, 적어도 하나 이상의 메모리에 저장된 동적 가상객체 구현 프로그램에 따라 수행되는 프로세서가 제공하는 동적 가상객체 구현 방법이다.A dynamic virtual object implementation method according to an embodiment of the present invention is a dynamic virtual object implementation method provided by a processor executed according to a dynamic virtual object implementation program stored in at least one or more memories.

상기 동적 가상객체 구현 방법은, 입력되는 이미지로부터 획득되는 실 객체에 대한 기초 속성 정보를 기반으로 3D 속성 정보를 추정하는 단계; 3D 속성에 상응하는 운동 속성을 실 객체에 대응하는 가상 객체에 각각 적용하는 단계; 가상 객체에 적용된 운동 속성에 상응하는 움직임 정보를 대응하는 가상 객체와 매칭하는 단계; 및 실 객체 및 가상 객체 사이의 정합 및 객체들과 환경 사이의 정합을 수행하고, 실 객체, 가상 객체 및 환경이 맵핑된 이미지를 출력하는 단계를 포함한다.
The dynamic virtual object implementing method may include estimating 3D attribute information based on basic attribute information of a real object obtained from an input image; Applying a motion attribute corresponding to the 3D attribute to the virtual object corresponding to the real object, respectively; Matching the motion information corresponding to the motion attribute applied to the virtual object with the corresponding virtual object; And performing matching between the real object and the virtual object and matching between the objects and the environment, and outputting an image to which the real object, the virtual object, and the environment are mapped.

이상에서의 본 발명의 실시 예에 따른 동적 가상객체 구현 기술을 이용하면, 복잡하고 다양한 동작을 행하는 가상 객체를 구현할 수 있다.By using the dynamic virtual object implementation technology according to the embodiment of the present invention, it is possible to implement a virtual object that performs a variety of complex operations.

따라서, 종래의 운동성이 적은 가상 객체를 이용하는 경우에 대비하여, 복잡하고 다양한 동작이 가능한 가상 객체를 이용하여 가상 현실을 구현하면, 현실감이나 사실감이 높은 가상 현실을 구현할 수 있다.Therefore, when a virtual reality is implemented using a virtual object capable of complex and various operations, a virtual reality with high realism or realism may be implemented in case of using a conventional virtual object having low mobility.

또한, 본 발명의 실시 예에 따라 구현되는 가상 객체는 복잡하고 다양한 동작이 가능하기 때문에, 현실적이고 실용적인 게임, 쇼핑 등의 분야 등에 널리 활용될 수 있다.
In addition, since the virtual object implemented according to an embodiment of the present invention is complicated and various operations are possible, the virtual object may be widely used in a field such as a game and shopping which is realistic and practical.

도 1은 본 발명의 바람직한 실시 예에 따른 동적 가상객체 구현 시스템의 일례의 구성을 도시한 도면이다.
도 2는 본 발명의 바람직한 실시 예에 따른 동적 가상객체 구현 시스템의 프로세서를 기능적으로 도시한 상세 구성도이다.
도 3은 본 발명의 바람직한 실시 예에 따른 동적 가상객체 구현 시스템의 실 객체 정보 추정모듈의 상세 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 바람직한 실시 예에 따른 동적 가상객체 구현 시스템의 운동 속성 적용모듈의 상세 동작을 도시한 도면이다.
도 5는 본 발명의 바람직한 실시 예에 따른 동적 가상객체 구현 시스템의 객체-움직임 매칭모듈의 상세 동작을 설명하기 위한 도면이다.
도 6은 본 발명의 바람직한 실시 예에 따른 동적 가상객체 구현 시스템의 맵핑 이미지 출력모듈의 상세 동작을 설명하기 위한 도면이다.
도 7은 본 발명의 바람직한 실시 예에 따른 동적 가상객체 구현 시스템의 동작을 설명하기 위한 도면이다.1 is a diagram illustrating an example of a configuration of a dynamic virtual object implementing system according to a preferred embodiment of the present invention.
2 is a detailed block diagram functionally showing a processor of a dynamic virtual object implementing system according to an exemplary embodiment of the present invention.
3 is a view for explaining the detailed operation of the real object information estimation module of the dynamic virtual object implementation system according to an embodiment of the present invention.
4 is a diagram illustrating a detailed operation of a motion attribute application module of a dynamic virtual object implementing system according to an exemplary embodiment of the present invention.
5 is a view for explaining the detailed operation of the object-motion matching module of the dynamic virtual object implementation system according to an embodiment of the present invention.
6 is a view for explaining the detailed operation of the mapping image output module of the dynamic virtual object implementation system according to an embodiment of the present invention.
7 is a view for explaining the operation of the dynamic virtual object implementation system according to an embodiment of the present invention.

본문에 개시되어 있는 본 발명의 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시 예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안 된다.With respect to the embodiments of the present invention disclosed in the text, specific structural to functional descriptions are merely illustrated for the purpose of describing the embodiments of the present invention, the embodiments of the present invention may be implemented in various forms and It should not be construed as limited to the described embodiments.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.As the inventive concept allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to the specific disclosed form, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.

어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 “~사이에”와 “바로 ~사이에” 또는 “~에 이웃하는”과 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.When a component is said to be “connected” or “connected” to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in the middle. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between. Other expressions describing the relationship between components, such as “between” and “immediately between,” or “neighboring to,” and “directly neighboring to” should be interpreted as well.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함하다” 또는 “가지다” 등의 용어는 개시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms “comprises” or “having” are intended to indicate that the disclosed feature, number, step, operation, component, part, or combination thereof exists, and that one or more other features or numbers, It is to be understood that it does not exclude in advance the possibility of the presence or addition of steps, actions, components, parts or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.

한편, 어떤 실시 예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
On the other hand, when an embodiment may be implemented differently, a function or operation specified in a specific block may occur differently from the order specified in the flowchart. For example, two consecutive blocks may actually be performed substantially simultaneously, and the blocks may be performed upside down depending on the function or operation involved.

이하, 본 발명에서 제안하는 동적 가상객체 구현 시스템 및 방법에 대해서 첨부된 도면을 참조하여 상세하게 설명한다.
Hereinafter, a dynamic virtual object implementation system and method proposed by the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 바람직한 실시 예에 따른 동적 가상객체 구현 시스템의 일례의 구성을 도시한 도면이다.1 is a diagram illustrating an example of a configuration of a dynamic virtual object implementing system according to a preferred embodiment of the present invention.

도 1을 참조하면, 본 발명의 바람직한 실시 예에 따른 동적 가상객체 구현 시스템(1)은, 실 객체로부터 획득되는 기초 속성 정보로부터 추정되는 3D 속성 정보를 이용하여 가상객체에 움직임을 적용하여 동적 가상 객체를 구현할 수 있도록 동작한다.Referring to FIG. 1, the dynamic virtual object implementation system 1 according to an exemplary embodiment of the present invention applies dynamic motion to a virtual object using 3D attribute information estimated from basic attribute information obtained from a real object. It works to implement an object.

이를 위해, 상기 동적 가상객체 구현 시스템(1)은 외부 장치와의 통신을 위한 적어도 하나 이상의 통신 모듈(11), 기능 수행에 필요한 알고리즘(혹은 프로그램)의 저장, 동작 수행 결과의 저장 등을 위한 적어도 하나 이상의 메모리(12) 및 적어도 하나 이상의 저장소(13), 사용자와의 인터페이싱을 위한 사용자 인터페이스(14) 및 기능 수행을 하는 적어도 하나 이상의 프로세서(15) 등으로 구성될 수 있다.To this end, the dynamic virtual object realization system 1 includes at least one communication module 11 for communication with an external device, at least for storing an algorithm (or a program) necessary for performing a function, storing a result of performing an operation, and the like. At least one memory 12 and at least one storage 13, a user interface 14 for interfacing with a user, at least one processor 15 for performing a function, and the like.

상기 언급된 구성들(11 ~ 15)은 시스템(10) 내 통신 버스(16)를 이용하여 데이터를 송수신할 수 있도록 구현될 수 있다.The above-mentioned configurations 11 to 15 may be implemented to transmit and receive data using the communication bus 16 in the system 10.

상기 통신 모듈(11)은 외부장치와의 통신을 위해 구성되는 것으로, 동적 가상객체 구현 시스템(1)의 설계에 따라 다양한 통신 방식을 이용하여 통신하도록 구현될 수 있다.The communication module 11 is configured for communication with an external device, and may be implemented to communicate using various communication methods according to the design of the dynamic virtual object implementing system 1.

예를 들어, 상기 통신 모듈(11)은 근거리무선통신(NFC: Near Field Communication), 지그비(Zigbee), 와이파이(Wifi), 블루투스(Bluetooth), 비콘(Beacon), RFID(Radio Frequency Identification) 등 다양한 무선 통신 방식을 이용할 수 있다.For example, the communication module 11 may include various types of Near Field Communication (NFC), Zigbee, Wifi, Bluetooth, Beacon, and Radio Frequency Identification (RFID). Wireless communication schemes can be used.

상기 메모리(12) 및 저장소(13)는 프로세서(15)의 기능 수행에 필요한 알고리즘(혹은 프로그램)의 저장, 프로세서(15)의 동작 수행 결과의 저장 등을 위해서 구성된다.The memory 12 and the storage 13 are configured for storing algorithms (or programs) necessary for performing the functions of the processor 15, storing the result of performing the operation of the processor 15, and the like.

상기 메모리(12) 및 저장소(13)는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다.The memory 12 and the storage 13 may include various types of volatile or nonvolatile storage media.

상기 메모리(12)는 ROM 및 RAM을 포함할 수 있으며, 저장소(13)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.The memory 12 may include a ROM and a RAM, and the storage 13 may include a compact flash (CF) card, a secure digital (SD) card, a memory stick, and a solid state drive. magnetic computer storage devices such as NAND flash memory, hard disk drives (HDD), and the like, such as state drive (SSD) and micro SD cards, and optical such as CD-ROM, DVD-ROM, etc. Optical disc drives and the like.

상기 사용자 인터페이스(14)는 사용자와의 인터페이싱을 위한 구성으로, 입력 장치 및 출력 장치를 포함할 수 있다.The user interface 14 is configured for interfacing with a user and may include an input device and an output device.

상기 프로세서(15)는 실 객체로부터 획득되는 기초 속성 정보로부터 추정되는 3D 속성 정보를 이용하여 가상 객체에 움직임을 적용하여 동적 가상 객체를 구현할 수 있도록 동작한다.The processor 15 operates to implement a dynamic virtual object by applying a motion to the virtual object using 3D attribute information estimated from the basic attribute information obtained from the real object.

상기 프로세서(15)는 기능 수행에 필요한 알고리즘(혹은 프로그램)을 외부의 메모리(12)에서 로딩하여 기능을 수행할 수 있으며, 기능 수행을 위해 적어도 하나 이상의 엔진을 포함할 수 있다.The processor 15 may perform a function by loading an algorithm (or program) necessary for performing a function from an external memory 12, and may include at least one engine to perform the function.

선택적으로, 상기 프로세서(15)는 기능 수행에 필요한 알고리즘(혹은 프로그램)을 저장하고 있는 메모리를 포함하여 내부 메모리에 저장된 알고리즘(혹은 프로그램)을 로딩하여 기능을 수행할 수도 있다.
In some embodiments, the processor 15 may perform a function by loading an algorithm (or program) stored in an internal memory, including a memory storing an algorithm (or a program) necessary to perform a function.

도 2는 본 발명의 바람직한 실시 예에 따른 동적 가상객체 구현 시스템의 프로세서를 기능적으로 도시한 상세 구성도이다.2 is a detailed block diagram functionally showing a processor of a dynamic virtual object implementing system according to an exemplary embodiment of the present invention.

도 2에 도시된 바와 같이, 프로세서(15)는 동적 가상 객체를 구현하기 위한 프로그램을 수행하기 위해, 실 객체 정보 추정모듈(30), 운동 속성 적용모듈(40), 객체-움직임 매칭모듈(50) 및 맵핑 이미지 출력모듈(60)로 이루어질 수 있다.As shown in FIG. 2, the processor 15 may perform a program for implementing a dynamic virtual object, the real object information estimation module 30, the exercise attribute application module 40, and the object-motion matching module 50. ) And the mapping image output module 60.

본 실시 예에서는, 상기 실 객체 정보 추정모듈(30), 운동 속성 적용모듈(40), 객체-움직임 매칭모듈(50) 및 맵핑 이미지 출력모듈(60)이 하나의 프로세서(200)에 의해 구현되는 것을 예시하였으나, 다수의 프로세서에 의해 구현될 수도 있다.In the present embodiment, the real object information estimation module 30, the exercise attribute application module 40, the object-motion matching module 50 and the mapping image output module 60 is implemented by one processor 200 Although illustrated, it may be implemented by a plurality of processors.

상기 실 객체 정보 추정모듈(30)은 기 프로그램된 방에 따라, 입력되는 이미지로부터 획득되는 실 객체에 대한 기초 속성 정보(ex, 형상, 재질, 위치 등)을 기반으로 3차원 속성 정보(ex, 자세, 움직임 등)를 추정한다.The real object information estimation module 30 is based on the pre-programmed room, based on the basic attribute information (ex, shape, material, location, etc.) for the real object obtained from the input image (ex, Posture, movement, etc.)

상기 운동 속성 적용모듈(40)은 기 프로그램된 바에 따라, 실 객체로부터 추출한 3D 속성 정보에 상응하는 운동 속성 정보를 실 객체에 대응하는 가상 객체에 각각 적용한다. The exercise attribute application module 40 applies the exercise attribute information corresponding to the 3D attribute information extracted from the real object to the virtual objects corresponding to the real object, as previously programmed.

이에 따라, 가상 객체는 실 객체와 상당히 유사한 속성을 가지기 때문에, 운동성 정보가 없거나 단순한 운동성 정보를 갖는 가상 객체뿐만 아니라, 복잡하고 다양한 운동성 정보를 갖는 가상 객체가 제공될 수 있다.Accordingly, since the virtual object has a property substantially similar to the real object, a virtual object having complex and various mobility information as well as a virtual object having no mobility information or simple mobility information can be provided.

상기 객체-움직임 매칭모듈(50)은 기 프로그램된 바에 따라, 가상 객체에 적용된 운동 속성에 상응하는 움직임 정보를 대응하는 가상 객체와 매칭한다.The object-movement matching module 50 matches the motion information corresponding to the motion attribute applied to the virtual object with the corresponding virtual object, as previously programmed.

상기 맵핑 이미지 출력모듈(60)은 기 프로그램된 바에 따라, 실 객체 및 가상 객체 사이의 정합 및 객체들과 환경 사이의 정합을 수행하고, 실 객체, 가상 객체 및 환경이 맵핑된 이미지를 디스플레이 등의 영상출력장치로 출력한다.
The mapping image output module 60 performs matching between the real object and the virtual object and matching between the objects and the environment as previously programmed, and displays an image to which the real object, the virtual object and the environment are mapped, and the like. Output to video output device.

도 3은 본 발명의 바람직한 실시 예에 따른 동적 가상객체 구현 시스템의 실 객체 정보 추정모듈의 상세 동작을 설명하기 위한 도면이다.3 is a view for explaining the detailed operation of the real object information estimation module of the dynamic virtual object implementation system according to an embodiment of the present invention.

상기 실 객체 정보 추정모듈(30)은 입력되는 이미지로부터 획득되는 실 객체에 대한 기초 속성 정보(ex, 형상, 재질, 위치 등)을 기반으로 3차원 속성 정보(ex, 자세, 움직임 등)를 추정한다.The real object information estimation module 30 estimates three-dimensional attribute information (ex, posture, motion, etc.) based on basic attribute information (ex, shape, material, position, etc.) of the real object obtained from the input image. do.

도 3을 참조하여 구체적으로 살펴보면, 상기 실 객체 정보 추정모듈(30)은 입력되는 이미지 내의 객체에 대한 형상과 관련된 정보(‘형상 정보’)를 추출한다(S30).In detail, referring to FIG. 3, the real object information estimation module 30 extracts information (“shape information”) related to a shape of an object in an input image (S30).

그리고, 상기 실 객체 정보 추정모듈(10)은 입력되는 이미지 내의 객체에 대한 재질과 관련된 정보(‘재질 정보’)를 추출한다(S31).In addition, the real object information estimation module 10 extracts information ('material information') related to the material of the object in the input image (S31).

상기 단계 S30에서의 형상 정보 추출과 단계 S31에서의 재질 정보 추출의 순서는 변경이 가능하며, 상기 단계 S30에서의 형상 정보 추출과 단계 S31에서의 재질 정보 추출은 병렬적으로 이루어질 수도 있다.The order of the shape information extraction in step S30 and the material information extraction in step S31 can be changed, and the shape information extraction in step S30 and the material information extraction in step S31 may be performed in parallel.

상기 단계 S31 이후, 실 객체 정보 추정모듈(30)은 형상 정보 및 재질 정보를 기반으로, 입력되는 이미지 내 객체의 종류를 판별한다(S32).After the above step S31, the real object information estimation module 30 determines the type of the object in the input image based on the shape information and the material information (S32).

상기 단계 S32 이후, 실 객체 정보 추정모듈(10)은 형상 정보, 재질 정보 및 객체 종류 판별 결과를 기반으로, 입력되는 이미지 내 객체의 3D 속성 정보(ex, 자세, 움직임 등)를 추정한다(S33).
After the step S32, the real object information estimation module 10 estimates 3D attribute information (ex, posture, motion, etc.) of the object in the input image based on the shape information, material information, and object type determination result (S33). ).

도 4는 본 발명의 바람직한 실시 예에 따른 동적 가상객체 구현 시스템의 운동 속성 적용모듈의 상세 동작을 도시한 도면이다.4 is a diagram illustrating a detailed operation of a motion attribute application module of a dynamic virtual object implementing system according to an exemplary embodiment of the present invention.

상기 운동 속성 적용모듈(40)은 실 객체로부터 추출한 3D 속성에 상응하는 운동 속성을 실 객체에 대응하는 가상 객체에 각각 적용한다. The motion attribute application module 40 applies a motion attribute corresponding to the 3D attribute extracted from the real object to the virtual object corresponding to the real object, respectively.

도 4를 참조하여 구체적으로 살펴보면, 운동 속성 적용모듈(40)은 실 객체 정보 추정모듈(10)로부터의 3D 속성과 가장 유사한 운동 속성을 갖는 객체 모델을 객체별 운동 속성 DB(DataBase, 데이터베이스)에서 검색한다(S40).Specifically, referring to FIG. 4, the exercise attribute application module 40 may determine an object model having an exercise attribute most similar to the 3D attribute from the real object information estimation module 10 in an object-specific exercise attribute DB (DataBase, Database). Search (S40).

상기 단계 S40 이후, 운동 속성 적용모듈(40)은 검색된 객체 모델에 대한 운동 속성을 실 객체에 대응하는 가상 객체에 적용한다(S41).After the step S40, the exercise attribute application module 40 applies the exercise attribute for the retrieved object model to the virtual object corresponding to the real object (S41).

상기 단계 41에서의 동작에 따라, 운동 속성이 적용된 가상 객체가 획득될 수 있다.According to the operation in step 41, a virtual object to which an exercise attribute is applied may be obtained.

상기 단계 S41 이후, 운동 속성 적용모듈(40)은 실 객체 정보 추정모듈(10)로부터의 재질 정보를 기반으로, 재질에 따른 물리 속성(ex, 마찰, 무게 분포 등)을 생성하여 가상 객체에 적용한다(S42).After the step S41, the motion attribute application module 40 generates a physical attribute (ex, friction, weight distribution, etc.) according to the material and applies it to the virtual object based on the material information from the real object information estimation module 10. (S42).

상기 단계 S42에서의 동작에 따라, 물리 속성이 적용된 가상 객체가 획득될 수 있다. According to the operation at step S42, a virtual object to which a physical property is applied may be obtained.

상기 단계 S41 및 S42에 따라, 실 객체를 기반으로 획득된 정보로부터 획득되는 운동 속성 및 물리 속성이 적용된 가상 객체가 획득될 수 있다.
According to the above steps S41 and S42, a virtual object to which an exercise property and a physical property obtained from information obtained based on the real object is applied may be obtained.

도 5는 본 발명의 바람직한 실시 예에 따른 동적 가상객체 구현 시스템의 객체-움직임 매칭모듈의 상세 동작을 설명하기 위한 도면이다.5 is a view for explaining the detailed operation of the object-motion matching module of the dynamic virtual object implementation system according to an embodiment of the present invention.

상기 객체-움직임 매칭모듈(50)은 가상 객체에 적용된 운동 속성에 상응하는 움직임 정보를 대응하는 가상 객체와 매칭한다.The object-motion matching module 50 matches the motion information corresponding to the motion attribute applied to the virtual object with the corresponding virtual object.

도 5를 참조하여 구체적으로 살펴보면, 상기 객체-움직임 매칭모듈(50)은 가상 객체에 적용된 운동 속성과 가장 유사하게 매칭되는 움직임 set 정보를 객체별 움직임 set DB에서 검색한다(S50).Specifically, referring to FIG. 5, the object-motion matching module 50 searches for motion set information that is most similar to the motion attribute applied to the virtual object in the motion set DB for each object (S50).

상기 단계 S50 이후, 객체-움직임 매칭모듈(50)은 검색된 움직임 set 정보에 따라 가상 객체가 움직이도록 하기 위해 가상 객체와 움직임 set 정보를 매칭한다(S51).After the step S50, the object-movement matching module 50 matches the virtual object and the motion set information to move the virtual object according to the retrieved motion set information (S51).

그리고, 상기 객체-움직임 매칭모듈(50)은 사용자의 입력에 따른 움직임 정보가 입력되면, 입력된 움직임 정보에 따라 가상 객체가 움직이도록 하기 위해 가상 객체와 움직임 정보를 매칭한다(S52).
When the motion information according to the user's input is input, the object-motion matching module 50 matches the virtual object and the motion information to move the virtual object according to the input motion information (S52).

도 6은 본 발명의 바람직한 실시 예에 따른 동적 가상객체 구현 시스템의 맵핑 이미지 출력모듈의 상세 동작을 설명하기 위한 도면이다.6 is a view for explaining the detailed operation of the mapping image output module of the dynamic virtual object implementation system according to an embodiment of the present invention.

상기 맵핑 이미지 출력모듈(60)은 실 객체 및 가상 객체 사이의 정합 및 객체들과 환경 사이의 정합을 수행하고, 실 객체, 가상 객체 및 환경이 맵핑된 이미지를 디스플레이 등의 영상출력장치로 출력한다.The mapping image output module 60 performs matching between the real object and the virtual object and matching between the objects and the environment, and outputs an image mapped with the real object, the virtual object, and the environment to an image output apparatus such as a display. .

도 6을 참조하여 구체적으로 살펴보면, 상기 맵핑 이미지 출력모듈(60)은 객체-움직임 매칭모듈(30)로부터의 객체-움직임 매칭 정보를 수신하고(S60), 실 객체 및 가상 객체 사이의 정합 및 객체들과 환경 사이의 정합을 수행한다(S61).Specifically, referring to FIG. 6, the mapping image output module 60 receives object-motion matching information from the object-motion matching module 30 (S60), matching between an actual object and a virtual object, and an object. Matching between the fields and the environment is performed (S61).

상기 단계 S61 이후, 맵핑 이미지 출력모듈(40)은 실 객체, 가상 객체 및 환경이 공존하게 보일 수 있도록, 실 객체, 가상 객체 및 환경을 맵핑한다(S62).After the step S61, the mapping image output module 40 maps the real object, the virtual object and the environment so that the real object, the virtual object, and the environment can coexist (S62).

상기 단계 S62 이후, 맵핑 이미지 출력모듈(40)은 맵핑된 실 객체, 가상 객체 및 환경이 맵핑된 이미지를 영상출력장치로 출력한다(S63).
After the step S62, the mapping image output module 40 outputs the mapped real object, the virtual object, and the mapped image to the image output apparatus (S63).

이상에서는 본 발명의 바람직한 실시 예에 따른 동적 가상객체 구현 시스템의 구성 및 구성별 기능에 대해서 설명하였다. 이하에서는 본 발명의 바람직한 실시 예에 따른 시스템의 전반적인 동작에 대해서 설명한다.
In the above, the configuration and function of each configuration of the dynamic virtual object implementation system according to the preferred embodiment of the present invention have been described. Hereinafter will be described the overall operation of the system according to an embodiment of the present invention.

도 7은 본 발명의 바람직한 실시 예에 따른 동적 가상객체 구현 시스템의 동작을 설명하기 위한 도면이다.7 is a view for explaining the operation of the dynamic virtual object implementation system according to an embodiment of the present invention.

도 7에 도시된 단계별 동작은 도 1 내지 6를 참조하여 설명한 동적 가상객체 구현 시스템(1)에 의해 수행될 수 있는 것으로서, 프로세서(15)는 입력되는 이미지로부터 획득되는 실 객체에 대한 기초 속성 정보를 기반으로 3D 속성 정보를 추정한다(S70).7 may be performed by the dynamic virtual object implementation system 1 described with reference to FIGS. 1 to 6, and the processor 15 may perform basic attribute information on a real object obtained from an input image. 3D attribute information is estimated based on S70.

상기 단계 S70에 있어서의 3D 속성 정보 추정은 도 3의 단계들 S30 ~ S33에 따라 달성될 수 있다.3D attribute information estimation in step S70 may be accomplished according to steps S30 to S33 of FIG. 3.

상기 단계 S70 이후, 프로세서(15)는 3D 속성에 상응하는 운동 속성을 실 객체에 대응하는 가상 객체에 각각 적용한다(S71).After the above step S70, the processor 15 applies the motion attribute corresponding to the 3D attribute to the virtual object corresponding to the real object, respectively (S71).

상기 단계 S71에 있어서의 운동 속성을 가상 객체에 적용하는 것은 세부적으로 도 4의 단계들 S40 ~ S42에 따라 이루어질 수 있다.Applying the movement attribute in the step S71 to the virtual object can be made in detail according to the steps S40 ~ S42 of FIG.

상기 단계 S71 이후, 프로세서(15)는 가상 객체에 적용된 운동 속성에 상응하는 움직임 정보를 대응하는 가상 객체와 매칭한다(S72).After the step S71, the processor 15 matches the motion information corresponding to the motion attribute applied to the virtual object with the corresponding virtual object (S72).

상기 단계 S72에서의 움직임 정보와 가상 객체를 매칭하는 것은 도 5에서의 단계들 S50 ~ S52를 수행함에 따라 이루어질 수 있다.Matching the virtual object with the motion information in step S72 may be performed by performing steps S50 to S52 of FIG. 5.

상기 단계 S72 이후, 프로세서(15)는 실 객체 및 가상 객체 사이의 정합 및 객체들과 환경 사이의 정합을 수행하고, 실 객체, 가상 객체 및 환경이 맵핑된 이미지를 출력한다(S73).After the above step S72, the processor 15 performs matching between the real object and the virtual object and matching between the objects and the environment, and outputs an image to which the real object, the virtual object, and the environment are mapped (S73).

상기 단계 S73에서의 정합 및 이미지 출력은 도 6에 도시된 단계들 S60 ~ S63를 수행함에 따라 이루어질 수 있다.
Matching and image output in step S73 may be performed by performing steps S60 to S63 shown in FIG. 6.

이상에서 설명한 본 발명의 실시 예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 기능 혹은 모든 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
Although all components constituting the embodiments of the present invention described above are described as being combined or operating in combination, the present invention is not necessarily limited to these embodiments. In other words, within the scope of the present invention, all of the components may be selectively operated in combination with one or more. In addition, although all the components may be implemented in one independent hardware, each or some of the components may be selectively combined to perform some or all functions combined in one or a plurality of hardware. It may be implemented as a computer program having a. In addition, such a computer program is stored in a computer readable medium such as a USB memory, a CD disk, a flash memory, and the like, and is read and executed by a computer, thereby implementing embodiments of the present invention. The recording medium of the computer program may include a magnetic recording medium, an optical recording medium, a carrier wave medium, and the like.

이상에서와 같이, 본 발명에 따른 동적 가상객체 구현 시스템 및 방법을 실시 예에 따라 설명하였지만, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.As described above, the dynamic virtual object implementation system and method according to the present invention have been described in accordance with the embodiments, but the scope of the present invention is not limited to the specific embodiments, and those skilled in the art can understand the present invention. Various alternatives, modifications and changes can be made without departing from the obvious scope.

따라서, 본 발명에 기재된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
Accordingly, the embodiments and the accompanying drawings described in the present invention are not intended to limit the technical spirit of the present invention, but are for explaining, and the scope of the technical idea of the present invention is not limited by the embodiments and the accompanying drawings. . The scope of protection of the present invention should be interpreted by the claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

1 : 동적 가상객체 구현 시스템
11 : 통신 모듈
12 : 메모리
13 : 저장소
14 : 사용자 인터페이스
15 : 프로세서
16 : 통신 버스
30 : 실 객체 정보 추정모듈
40 : 운동 속성 적용모듈
50 : 객체-움직임 매칭모듈
160 : 맵핑 이미지 출력모듈1: Dynamic Virtual Object Implementation System
11: communication module
12: memory
13: store
14: user interface
15: processor
16: communication bus
30: real object information estimation module
40: motion attribute application module
50: object-motion matching module
160: mapping image output module

Claims (14)

동적 가상 객체를 구현하기 위한 프로그램이 저장된 적어도 하나 이상의 메모리 및 상기 메모리에 저장된 프로그램에 따라 동작하는 적어도 하나 이상의 프로세서를 포함하는 동적 가상객체 구현 시스템에 있어서,
상기 프로세서는,
입력되는 이미지로부터 획득되는 실 객체에 대한 기초 속성 정보를 기반으로 3차원 속성 정보를 추정하는 실 객체 정보 추정모듈;
상기 3D 속성 정보에 상응하는 운동 속성 정보를 상기 실 객체에 대응하는 가상 객체에 각각 적용하는 운동 속성 적용모듈;
상기 가상 객체에 적용된 운동 속성에 상응하는 움직임 정보를 대응하는 가상 객체와 매칭하는 객체-움직임 매칭모듈; 및
상기 실 객체 및 가상 객체 사이의 정합 및 객체들과 환경 사이의 정합을 수행하고, 상기 실 객체, 가상 객체 및 환경이 맵핑된 이미지를 출력하는 맵핑 이미지 출력모듈을 포함하는
동적 가상객체 구현 시스템.A dynamic virtual object realization system comprising at least one or more memories stored with a program for implementing a dynamic virtual object and at least one processor operating according to the program stored in the memory.
The processor,
A real object information estimation module for estimating three-dimensional attribute information based on basic attribute information of a real object obtained from an input image;
An exercise attribute application module for applying exercise attribute information corresponding to the 3D attribute information to a virtual object corresponding to the real object, respectively;
An object-motion matching module for matching the motion information corresponding to the motion attribute applied to the virtual object with the corresponding virtual object; And
And a mapping image output module configured to perform matching between the real object and the virtual object and matching between objects and an environment, and output an image to which the real object, virtual object, and environment are mapped.
Dynamic Virtual Object Implementation System. 제 1 항에 있어서,
상기 실 객체 정보 추정모듈은, 입력되는 이미지 내의 객체에 대한 형상 정보 및 재질 정보를 추출하고, 상기 형상 정보 및 상기 재질 정보를 기반으로, 상기 객체의 종류를 판별하고, 상기 형상 정보, 상기 재질 정보 및 객체 종류 판별 결과를 기반으로, 상기 객체의 3D 속성 정보를 추정하는
동적 가상객체 구현 시스템.The method of claim 1,
The real object information estimation module extracts shape information and material information about an object in an input image, determines the type of the object based on the shape information and the material information, and determines the shape information and the material information. And estimating 3D attribute information of the object based on an object type determination result.
Dynamic Virtual Object Implementation System. 제 1 항에 있어서,
상기 운동 속성 적용모듈은, 3D 속성과 가장 유사한 운동 속성을 갖는 객체 모델을 객체별 운동 속성 DB 에서 검색하고, 검색된 객체 모델에 대한 운동 속성을 대응하는 가상 객체에 적용하는
동적 가상객체 구현 시스템.The method of claim 1,
The motion attribute application module searches for an object model having a motion property most similar to a 3D property in a motion property DB for each object, and applies a motion property of the retrieved object model to a corresponding virtual object.
Dynamic Virtual Object Implementation System. 제 3 항에 있어서,
상기 운동 속성 적용모듈은, 상기 실 객체에 대한 재질 정보를 기반으로, 재질에 따른 물리 속성을 생성하여 상기 가상 객체에 적용하는
동적 가상객체 구현 시스템.The method of claim 3, wherein
The exercise attribute application module generates a physics attribute according to a material based on the material information on the real object and applies the generated physical attribute to the virtual object.
Dynamic Virtual Object Implementation System. 제 1 항에 있어서,
상기 객체-움직임 매칭모듈은, 상기 가상 객체에 적용된 운동 속성과 가장 유사하게 매칭되는 움직임 set 정보를 객체별 움직임 set DB에서 검색하고, 상기 가상 객체와 상기 움직임 set 정보를 매칭하는
동적 가상객체 구현 시스템.The method of claim 1,
The object-motion matching module searches for motion set information that is most similar to the motion attribute applied to the virtual object in a motion set DB for each object, and matches the virtual object and the motion set information.
Dynamic Virtual Object Implementation System. 제 5 항에 있어서,
상기 객체-움직임 매칭모듈은 사용자의 입력에 따른 움직임 정보가 입력되면, 상기 가상 객체와 상기 움직임 정보를 매칭하는
동적 가상객체 구현 시스템.The method of claim 5,
The object-motion matching module matches the virtual object with the motion information when motion information according to a user input is input.
Dynamic Virtual Object Implementation System. 제 1 항에 있어서,
상기 맵핑 이미지 출력모듈은 상기 객체-움직임 매칭모듈로부터의 객체-움직임 매칭 정보를 수신하고, 실 객체 및 가상 객체 사이의 정합 및 객체들과 환경 사이의 정합을 수행하고, 실 객체, 가상 객체 및 환경을 맵핑하여, 맵핑된 실 객체, 가상 객체 및 환경이 맵핑된 이미지를 출력하는
동적 가상객체 구현 시스템.The method of claim 1,
The mapping image output module receives object-motion matching information from the object-motion matching module, performs matching between a real object and a virtual object, and matching between objects and an environment, and executes a real object, a virtual object, and an environment. To map the mapped real objects, virtual objects, and environments
Dynamic Virtual Object Implementation System. 적어도 하나 이상의 메모리에 저장된 동적 가상객체 구현 프로그램에 따라 수행되는 프로세서가 제공하는 동적 가상객체 구현 방법으로서,
입력되는 이미지로부터 획득되는 실 객체에 대한 기초 속성 정보를 기반으로 3D 속성 정보를 추정하는 단계;
3D 속성에 상응하는 운동 속성을 실 객체에 대응하는 가상 객체에 각각 적용하는 단계;
가상 객체에 적용된 운동 속성에 상응하는 움직임 정보를 대응하는 가상 객체와 매칭하는 단계; 및
실 객체 및 가상 객체 사이의 정합 및 객체들과 환경 사이의 정합을 수행하고, 실 객체, 가상 객체 및 환경이 맵핑된 이미지를 출력하는 단계를 포함하는
동적 가상객체 구현 방법.A dynamic virtual object implementation method provided by a processor executed according to a dynamic virtual object implementation program stored in at least one memory.
Estimating 3D attribute information based on basic attribute information of the real object obtained from the input image;
Applying a motion attribute corresponding to the 3D attribute to the virtual object corresponding to the real object, respectively;
Matching the motion information corresponding to the motion attribute applied to the virtual object with the corresponding virtual object; And
Performing matching between the real object and the virtual object and matching between the objects and the environment, and outputting an image to which the real object, the virtual object, and the environment are mapped.
How to implement dynamic virtual objects. 제 8 항에 있어서,
상기 추정하는 단계는, 입력되는 이미지 내의 객체에 대한 형상 정보 및 재질 정보를 추출하고, 상기 형상 정보 및 상기 재질 정보를 기반으로, 상기 객체의 종류를 판별하고, 상기 형상 정보, 상기 재질 정보 및 객체 종류 판별 결과를 기반으로, 상기 객체의 3D 속성 정보를 추정하는 단계인
동적 가상객체 구현 방법.The method of claim 8,
The estimating may include extracting shape information and material information about an object in an input image, determining the type of the object based on the shape information and the material information, and determining the shape information, the material information, and the object. Estimating 3D attribute information of the object based on a result of the type determination;
How to implement dynamic virtual objects. 제 8 항에 있어서,
상기 적용하는 단계는, 3D 속성과 가장 유사한 운동 속성을 갖는 객체 모델을 객체별 운동 속성 DB 에서 검색하고, 검색된 객체 모델에 대한 운동 속성을 대응하는 가상 객체에 적용하는 단계인
동적 가상객체 구현 방법.The method of claim 8,
The applying may include searching an object model having a motion property most similar to a 3D property in an object-specific motion property DB and applying a motion property of the retrieved object model to a corresponding virtual object.
How to implement dynamic virtual objects. 제 10 항에 있어서,
상기 적용하는 단계는, 상기 실 객체에 대한 재질 정보를 기반으로, 재질에 따른 물리 속성을 생성하여 상기 가상 객체에 적용하는 단계를 포함하는
동적 가상객체 구현 방법.The method of claim 10,
The applying step may include generating a physics property according to a material based on material information of the real object and applying the same to the virtual object.
How to implement dynamic virtual objects. 제 8 항에 있어서,
상기 매칭하는 단계는, 상기 가상 객체에 적용된 운동 속성과 가장 유사하게 매칭되는 움직임 set 정보를 객체별 움직임 set DB에서 검색하고, 상기 가상 객체와 상기 움직임 set 정보를 매칭하는 단계인
동적 가상객체 구현 방법.The method of claim 8,
The matching may include retrieving the motion set information corresponding to the motion attribute applied to the virtual object in the motion set DB for each object and matching the virtual object and the motion set information.
How to implement dynamic virtual objects. 제 12 항에 있어서,
상기 매칭하는 단계는, 사용자의 입력에 따른 움직임 정보가 입력되면, 상기 가상 객체와 상기 움직임 정보를 매칭하는 단계를 포함하는
동적 가상객체 구현 방법.The method of claim 12,
The matching may include matching the virtual object and the motion information when motion information according to a user input is input.
How to implement dynamic virtual objects. 제 8 항에 있어서,
상기 출력하는 단계는, 객체-움직임 매칭 정보에 따라, 실 객체 및 가상 객체 사이의 정합 및 객체들과 환경 사이의 정합을 수행하고, 실 객체, 가상 객체 및 환경을 맵핑하여, 맵핑된 실 객체, 가상 객체 및 환경이 맵핑된 이미지를 출력하는 단계인
동적 가상객체 구현 방법.The method of claim 8,
The outputting may include performing matching between the real object and the virtual object and matching between the objects and the environment according to the object-motion matching information, mapping the real object, the virtual object and the environment, and mapping the mapped real object, Outputting the mapped image of the virtual object and environment,
How to implement dynamic virtual objects.
KR1020180031881A 2018-03-20 2018-03-20 System and method for implementing Dynamic virtual object KR20190110218A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180031881A KR20190110218A (en) 2018-03-20 2018-03-20 System and method for implementing Dynamic virtual object
CN201910204407.9A CN110310372A (en) 2018-03-20 2019-03-18 Dynamic virtual object implementatio8 system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180031881A KR20190110218A (en) 2018-03-20 2018-03-20 System and method for implementing Dynamic virtual object

Publications (1)

Publication Number Publication Date
KR20190110218A true KR20190110218A (en) 2019-09-30

Family

ID=68074336

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180031881A KR20190110218A (en) 2018-03-20 2018-03-20 System and method for implementing Dynamic virtual object

Country Status (2)

Country Link
KR (1) KR20190110218A (en)
CN (1) CN110310372A (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021193308A1 (en) * 2020-03-27 2021-09-30 ソニーグループ株式会社 Information processing device, information processing method, and information processing program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106648038A (en) * 2015-10-30 2017-05-10 北京锤子数码科技有限公司 Method and apparatus for displaying interactive object in virtual reality
JP6566209B2 (en) * 2016-02-26 2019-08-28 株式会社セガゲームス Program and eyewear
US10751609B2 (en) * 2016-08-12 2020-08-25 Zero Latency PTY LTD Mapping arena movements into a 3-D virtual world

Also Published As

Publication number Publication date
CN110310372A (en) 2019-10-08

Similar Documents

Publication Publication Date Title
JP7355821B2 (en) System and method for presenting digital assets within a synthetic environment via loosely coupled relocalization and asset management services
EP2745237B1 (en) Dynamic selection of surfaces in real world for projection of information thereon
CN109544663B (en) Virtual scene recognition and interaction key position matching method and device of application program
US20150356770A1 (en) Street view map display method and system
US20170154468A1 (en) Method and electronic apparatus for constructing virtual reality scene model
US20170046965A1 (en) Robot with awareness of users and environment for use in educational applications
WO2018058811A1 (en) Virtual reality scene loading method and device
CN109074497A (en) Use the activity in depth information identification sequence of video images
CN107924452A (en) Combined shaped for face's alignment in image returns
US11682206B2 (en) Methods and apparatus for projecting augmented reality enhancements to real objects in response to user gestures detected in a real environment
US11017605B2 (en) Method and system for addressing and segmenting portions of the real world for visual digital authoring in a mixed reality environment
US9165220B2 (en) Image object recognition based on a feature vector with context information
CN106775272A (en) System of selection, device and electronic equipment
CN111710035A (en) Face reconstruction method and device, computer equipment and storage medium
US9721380B2 (en) Removing redundant volumetric information from a volume-based data representation
CN112882576A (en) AR interaction method and device, electronic equipment and storage medium
JP6820160B2 (en) Programs and systems that render images
CN109416621A (en) Restore the free space in non-volatile memories using the computer memory system of shared object is supported
KR20190110218A (en) System and method for implementing Dynamic virtual object
CN112017304B (en) Method, apparatus, electronic device and medium for presenting augmented reality data
Ortman et al. Guidelines for user interactions in mobile augmented reality
US20210264673A1 (en) Electronic device for location-based ar linking of object-based augmentation contents and operating method thereof
CN109923540A (en) The gesture and/or sound for modifying animation are recorded in real time
KR20180053494A (en) Method for constructing game space based on augmented reality in mobile environment
KR102186821B1 (en) Method for providing ar information based on 3d object recognition using deep learning and system using the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)