KR20200030326A - Method, apparatus and computer program for producing mixed reality using single camera of device - Google Patents

Method, apparatus and computer program for producing mixed reality using single camera of device Download PDF

Info

Publication number
KR20200030326A
KR20200030326A KR1020180109069A KR20180109069A KR20200030326A KR 20200030326 A KR20200030326 A KR 20200030326A KR 1020180109069 A KR1020180109069 A KR 1020180109069A KR 20180109069 A KR20180109069 A KR 20180109069A KR 20200030326 A KR20200030326 A KR 20200030326A
Authority
KR
South Korea
Prior art keywords
virtual
target object
spatial arrangement
mixed reality
floor plane
Prior art date
Application number
KR1020180109069A
Other languages
Korean (ko)
Other versions
KR102521221B1 (en
Inventor
이주철
김경빈
이유
이주용
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020180109069A priority Critical patent/KR102521221B1/en
Publication of KR20200030326A publication Critical patent/KR20200030326A/en
Application granted granted Critical
Publication of KR102521221B1 publication Critical patent/KR102521221B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor

Abstract

A method for producing mixed reality (MR) by using a single camera of a terminal comprises the following steps of: detecting a floor plane and a target object from an image photographed in real time; generating a virtual space including a virtual floor plane based on the floor plane and at least one virtual object; calculating a location value of the target object in the virtual space; determining a spatial arrangement between the target object and the at least one virtual object based on the location value of the target object and the at least one virtual object in the virtual space; and making the target object into a virtual object in the virtual space based on the spatial arrangement between the target object and the at least one virtual object. Therefore, an obscuring effect between the target object and the at least one virtual object is expressed based on the spatial arrangement between the target object and the at least one virtual object.

Description

단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램{METHOD, APPARATUS AND COMPUTER PROGRAM FOR PRODUCING MIXED REALITY USING SINGLE CAMERA OF DEVICE}METHOD, APPARATUS AND COMPUTER PROGRAM FOR PRODUCING MIXED REALITY USING SINGLE CAMERA OF DEVICE}

본 발명은 단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램에 관한 것이다. The present invention relates to a mixed reality production method, apparatus and computer program using a single camera of a terminal.

혼합 현실(MR, Mixed Reality)이란 현실에 3차원 가상 이미지를 겹쳐서 보여주는 증강 현실(AR, Augmented Reality)과 현실이 아닌 가상의 이미지를 보여주는 가상 현실(VR Virtual Reality)이 접목된 기술을 의미한다. Mixed Reality (MR) refers to a technology that combines Augmented Reality (AR), which shows a 3D virtual image overlaid with reality, and VR Virtual Reality, which shows a virtual image rather than reality.

혼합 현실은 현실과 가상이 결합됨으로써, 실물과 가상 객체들이 공존하는 새로운 환경을 만들고, 사용자는 새로운 환경과 실시간으로 상호작용을 하여 다양한 디지털 정보들을 실감나게 체험할 수 있게 된다. Mixed reality creates a new environment in which real and virtual objects coexist by combining reality and virtual, and the user can experience various digital information realistically by interacting with the new environment in real time.

이러한 혼합 현실 기술과 관련하여, 선행기술인 한국공개특허 제 2007-0131828호는 혼합현실 시스템 및 그 구현 방법을 개시하고 있다. In connection with such a mixed reality technology, Korean Patent Publication No. 2007-0131828, which is a prior art, discloses a mixed reality system and a method of implementing the same.

그러나 혼합 현실을 제작하기 위해서는 별도의 깊이 카메라(또는 스테레오 카메라)를 이용하여 현실 공간을 인식해야 하므로, 스마트폰에 탑재된 일반적인 싱글 카메라로는 혼합 현실의 제작에 어려움이 따른다는 단점을 가지고 있다. However, in order to produce a mixed reality, since it is necessary to recognize a real space using a separate depth camera (or stereo camera), it has the disadvantage that it is difficult to produce a mixed reality with a typical single camera mounted on a smartphone.

깊이 카메라를 이용하지 않고도, 현실 속의 사용자를 실시간으로 검출하여 가상 객체화하고, 가상 객체들과 공간적 입체감을 구현할 수 있도록 하는 단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램을 제공하고자 한다. It is intended to provide a mixed reality production method, apparatus and computer program using a single camera of a terminal that enables real-time detection of a user in reality and virtualization of objects without using a depth camera, and realization of spatial three-dimensionality with virtual objects.

스마트폰에 탑재된 싱글 카메라를 이용하여 2D 영상 속의 사용자를 실시간으로 검출하고, 현실 공간의 정확한 위치에 보여지도록 하여 3D 증강 객체들과 현실감 있는 인터랙션(interaction)을 제공하는 단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램을 제공하고자 한다. Using a single camera mounted on a smartphone, a user in a 2D image is detected in real time and mixed with a single camera of a terminal that provides realistic interaction with 3D augmented objects by showing it at the correct location in the real space. It is intended to provide a method of producing reality, a device, and a computer program.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다. However, the technical problems to be achieved by the present embodiment are not limited to the technical problems as described above, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 실시간으로 촬영되는 영상에서 바닥 평면 및 대상 객체를 검출하는 단계, 상기 바닥 평면에 기초한 가상 바닥 평면 및 적어도 하나의 가상 객체를 포함하는 가상 공간을 생성하는 단계, 상기 대상 객체의 상기 가상 공간에서의 위치값을 계산하는 단계, 상기 대상 객체 및 상기 적어도 하나의 가상 객체의 상기 가상 공간에서의 위치값에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열을 결정하는 단계 및 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체를 상기 가상 공간에 가상 객체화하는 단계를 포함하고, 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체 사이의 가려짐 효과가 표현되는 것인 혼합 현실 제작 방법을 제공할 수 있다. As a means for achieving the above technical problem, an embodiment of the present invention, detecting a floor plane and a target object from an image photographed in real time, a virtual floor plane and at least one virtual object based on the floor plane Generating a virtual space including, calculating a position value in the virtual space of the target object, and based on the position value of the target object and the at least one virtual object in the virtual space Determining a spatial arrangement between the at least one virtual object and virtualizing the target object in the virtual space based on the spatial arrangement between the target object and the at least one virtual object, and Based on the spatial arrangement between the at least one virtual object and the target object Group can provide a mixed reality production method, at least one of the occlusion effect between the virtual representation of the object.

본 발명의 다른 실시예는, 실시간으로 촬영되는 영상에서 바닥 평면 및 대상 객체를 검출하는 검출부, 상기 바닥 평면에 기초한 가상 바닥 평면 및 적어도 하나의 가상 객체를 포함하는 가상 공간을 생성하는 가상 공간 생성부, 상기 대상 객체의 상기 가상 공간에서의 위치값을 계산하는 위치값 계산부, 상기 대상 객체 및 상기 적어도 하나의 가상 객체의 상기 가상 공간에서의 위치값에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열을 결정하는 공간적 배열 결정부 및 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체를 상기 가상 공간에 가상 객체화하는 가상 객체화부를 포함하고, 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체 사이의 가려짐 효과가 표현되는 것인 혼합 현실 제작 장치를 제공할 수 있다. According to another embodiment of the present invention, a detector for detecting a floor plane and a target object from an image photographed in real time, a virtual space generator for generating a virtual floor including a virtual floor plane and at least one virtual object based on the floor plane , A position value calculator for calculating the position value of the target object in the virtual space, the target object and the at least one virtual based on the position value of the target object and the at least one virtual object in the virtual space It includes a spatial arrangement determining unit for determining the spatial arrangement between the objects and a virtual objectification unit for virtualizing the target object in the virtual space based on the spatial arrangement between the target object and the at least one virtual object, the target object and the Based on a spatial arrangement between at least one virtual object and the target object It is possible to provide a mixed reality production apparatus in which a screening effect between the at least one virtual object is expressed.

본 발명의 또 다른 실시예는, 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 실시간으로 촬영되는 영상에서 바닥 평면 및 대상 객체를 검출하고, 상기 바닥 평면에 기초한 가상 바닥 평면 및 적어도 하나의 가상 객체를 포함하는 가상 공간을 생성하고, 상기 대상 객체의 상기 가상 공간에서의 위치값을 계산하고, 상기 대상 객체 및 상기 적어도 하나의 가상 객체의 상기 가상 공간에서의 위치값에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열을 결정하고, 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체를 상기 가상 공간에 가상 객체화하고, 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체 사이의 가려짐 효과가 표현되도록 하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램를 제공할 수 있다. Another embodiment of the present invention, when the computer program is executed by a computing device, detects a floor plane and a target object in an image captured in real time, and includes a virtual floor plane and at least one virtual object based on the floor plane The virtual object, calculates a position value in the virtual space of the target object, and based on the target object and the position value in the virtual space of the at least one virtual object, the target object and the at least one Determines a spatial arrangement between the virtual objects, virtualizes the target object in the virtual space based on the spatial arrangement between the target object and the at least one virtual object, and spatially between the target object and the at least one virtual object The target object and the at least one virtual object are used based on the arrangement. It is possible to provide a computer program stored in a medium containing a sequence of instructions that allows its occlusion effect to be expressed.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.The above-described problem solving means are merely exemplary and should not be construed as limiting the present invention. In addition to the exemplary embodiments described above, there may be additional embodiments described in the drawings and detailed description of the invention.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 깊이 카메라를 이용하지 않고도, 현실 속의 사용자를 실시간으로 검출하여 가상 객체화하고, 가상 객체들과 공간적 입체감을 구현할 수 있도록 하는 단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램을 제공할 수 있다. According to any one of the above-described problem solving means of the present invention, without using a depth camera, a real-time user can be detected and virtualized, and a single camera of a terminal is used to implement virtual objects and spatial stereoscopic effect. It is possible to provide a mixed reality production method, apparatus and computer program.

스마트폰에 탑재된 싱글 카메라를 이용하여 2D 영상 속의 사용자를 실시간으로 검출하고, 현실 공간의 정확한 위치에 보여지도록 하여 3D 증강 객체들과 현실감 있는 인터랙션(interaction)을 제공하는 단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램을 제공할 수 있다. Using a single camera mounted on a smartphone, a user in a 2D image is detected in real time and mixed with a single camera of a terminal that provides realistic interaction with 3D augmented objects by showing it at the correct location in the real space. It is possible to provide a reality production method, a device, and a computer program.

도 1은 본 발명의 일 실시예에 따른 혼합 현실 제작 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 대상 객체의 가상 공간에서의 위치값을 계산하는 과정을 설명하기 위한 예시적인 도면이다.
도 3은 본 발명의 일 실시예에 따른 대상 객체와 가상 객체 간의 공간적 배열을 결정하는 과정을 설명하기 위한 예시적인 도면이다.
도 4는 본 발명의 일 실시예에 따른 대상 객체를 가상 공간에 가상 객체화하는 과정을 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 일 실시예에 따른 혼합 현실 제작 장치에서 단말의 싱글 카메라를 이용한 혼합 현실을 제작하는 방법의 순서도이다. 1 is a configuration diagram of a mixed reality production apparatus according to an embodiment of the present invention.
2 is an exemplary diagram for explaining a process of calculating a position value in a virtual space of a target object according to an embodiment of the present invention.
3 is an exemplary diagram illustrating a process of determining a spatial arrangement between a target object and a virtual object according to an embodiment of the present invention.
4 is an exemplary diagram illustrating a process of virtualizing a target object in a virtual space according to an embodiment of the present invention.
5 is a flowchart of a method of manufacturing a mixed reality using a single camera of a terminal in the mixed reality production apparatus according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art to which the present invention pertains can easily practice. However, the present invention can be implemented in many different forms and is not limited to the embodiments described herein. In addition, in order to clearly describe the present invention in the drawings, parts irrelevant to the description are omitted, and like reference numerals are assigned to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. Throughout the specification, when a part is "connected" to another part, this includes not only "directly connected" but also "electrically connected" with another element in between. . Also, when a part is said to “include” a certain component, it means that the component may further include other components, not to exclude other components, unless otherwise stated. However, it should be understood that the existence or addition possibilities of numbers, steps, actions, components, parts or combinations thereof are not excluded in advance.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.In the present specification, the term “unit” includes a unit realized by hardware, a unit realized by software, and a unit realized by using both. Further, one unit may be realized by using two or more hardware, and two or more units may be realized by one hardware.

본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.Some of the operations or functions described in this specification as being performed by a terminal or device may be performed instead on a server connected to the corresponding terminal or device. Similarly, some of the operations or functions described as being performed by the server may be performed in a terminal or device connected to the corresponding server.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다. Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 혼합 현실 제작 장치의 구성도이다. 도 1을 참조하면, 혼합 현실 제작 장치(100)는 검출부(110), 가상 공간 생성부(120), 위치값 계산부(130), 공간적 배열 결정부(140) 및 가상 객체화부(150)를 포함할 수 있다. 1 is a configuration diagram of a mixed reality production apparatus according to an embodiment of the present invention. Referring to FIG. 1, the mixed reality production apparatus 100 includes a detection unit 110, a virtual space generation unit 120, a position value calculation unit 130, a spatial arrangement determination unit 140, and a virtual objectification unit 150. It can contain.

검출부(110)는 실시간으로 촬영되는 영상에서 바닥 평면 및 대상 객체를 검출할 수 있다. 예를 들어, 검출부(110)는 시각 관성 측정법(VIO, Visual Inertial Odometry) 시스템을 통해 실시간으로 촬영되는 영상에서 바닥 평면 및 대상 객체를 검출할 수 있다. 예를 들어, 검출부(110)는 실제 현실 공간의 바닥 평면을 검출할 수 있다. 예를 들어, 검출부(110)는 3개의 점으로 평면을 정의하고, 3개의 점이 충분히 감지된 경우, 바닥 평면의 위치를 추정할 수 있다. 이러한 점을 포인트 클라우드(예를 들어, sparse point cloud)라 하며, 이러한 방법은 적은 메모리와 적은 CPU 타임을 이용한다는 장점을 갖는다. 이 때, 바닥 평면을 손쉽게 인지하기 위해 컴퓨터 비전 분야에서 이용되는 호모그래피(Homography) 기술이 이용될 수 있다.The detector 110 may detect a floor plane and a target object from an image photographed in real time. For example, the detector 110 may detect a floor plane and a target object from an image photographed in real time through a visual inertial odometry (VIO) system. For example, the detector 110 may detect the floor plane of the real world space. For example, the detector 110 may define a plane with three points, and when three points are sufficiently detected, the position of the floor plane may be estimated. This point is called a point cloud (eg, sparse point cloud), and this method has the advantage of using less memory and less CPU time. At this time, a homography technique used in the field of computer vision may be used to easily recognize the floor plane.

또한, 검출부(110)는 싱글 카메라 영상 분석(예를 들어, 모션인식, GMM:Gaussian Mixture Model)을 통해 움직이는 대상 객체를 검출하거나 실시간으로 추적할 수 있다. In addition, the detection unit 110 may detect a moving object through a single camera image analysis (eg, motion recognition, GMM: Gaussian Mixture Model) or track in real time.

가상 공간 생성부(120)는 바닥 평면에 기초한 가상 바닥 평면 및 적어도 하나의 가상 객체를 포함하는 가상 공간을 생성할 수 있다. The virtual space generator 120 may generate a virtual space including a virtual floor plane based on the floor plane and at least one virtual object.

위치값 계산부(130)는 대상 객체의 가상 공간에서의 위치값을 계산할 수 있다. 예를 들어, 위치값 계산부(130)는 대상 객체의 최하단 지점을 검출하고, 대상 객체의 최하단 지점으로부터의 레이 캐스트(ray cast)와 가상 바닥 평면과의 접점을 탐지할 수 있다. 여기서, 레이 캐스트란 광선 경로에 충돌체가 있는지를 감지하기 위해 특정 방향의 점에서 보이지 않는 광선을 발사하는 것을 의미한다.The position value calculator 130 may calculate a position value of the target object in the virtual space. For example, the position value calculating unit 130 may detect the lowest point of the target object, and detect the contact between the ray cast and the virtual floor plane from the lowest point of the target object. Here, the ray cast means to emit an invisible ray at a point in a specific direction to detect whether there is a collider in the ray path.

레이 캐스트를 이용하는 이유는 단말의 싱글 카메라를 통해 촬영된 영상에서의 대상 객체의 위치는 2차원 좌표(X, Y)로 구성되나, 대상 객체를 정확한 위치에 증강하기 위해서는 Z축 좌표가 필요하므로, 대상 객체의 최하단 지점으로부터의 레이 캐스트와 가상 바닥 평면과의 접점의 탐지를 통해 대상 객체에 대한 Z값을 도출하기 위함이다. The reason for using the ray cast is that the position of the target object in the image captured through the single camera of the terminal is composed of two-dimensional coordinates (X, Y), but in order to augment the target object in the correct position, Z-axis coordinates are required. This is to derive the Z value for the target object through the detection of the contact between the raycast from the lowest point of the target object and the virtual floor plane.

위치값 계산부(130)는 레이 캐스트와 가상 바닥 평면과의 접점에 대한 가상 바닥 평면에서의 3차원 좌표값을 결정할 수 있다. 이 때, 싱글 카메라를 통해 촬영된 2D 영상은 대상 객체의 2차원 좌표값(X, Y)만을 포함하지만, 위치값 계산부(130)는 대상 객체의 최하단 지점으로부터의 레이 캐스트와 가상 바닥 평면과의 접점을 통해 가상 바닥 평면에서의 3차원 좌표값(X, Y, Z) 값을 결정할 수 있게 된다. 여기서, 3차원 좌표값 중 Z값은 단말의 싱글 카메라로부터 대상 객체까지의 거리값을 의미할 수 있다. The position value calculator 130 may determine a 3D coordinate value in the virtual floor plane for the contact between the ray cast and the virtual floor plane. At this time, the 2D image photographed through the single camera includes only the two-dimensional coordinate values (X, Y) of the target object, but the position value calculating unit 130 is configured with ray cast and virtual floor planes from the lowest point of the target object. It is possible to determine the 3D coordinate values (X, Y, Z) values in the virtual floor plane through the contact point of. Here, the Z value among the three-dimensional coordinate values may mean a distance value from the single camera of the terminal to the target object.

공간적 배열 결정부(140)는 대상 객체 및 적어도 하나의 가상 객체의 가상 공간에서의 위치값에 기초하여 대상 객체와 적어도 하나의 가상 객체간의 공간적 배열을 결정할 수 있다. 예를 들어, 공간적 배열 결정부(140)는 싱글 카메라로부터 결정된 3차원 좌표값까지의 제 1 거리값과 싱글 카메라로부터 적어도 하나의 가상 객체의 가상 바닥 평면에서의 3차원 좌표값까지의 제 2 거리값을 계산할 수 있다. 이 때, 공간적 배열 결정부(140)는 제 1 거리값 및 제 2 거리값에 기초하여 대상 객체와 적어도 하나의 가상 객체간의 공간적 배열을 결정할 수 있다. The spatial arrangement determining unit 140 may determine a spatial arrangement between the target object and the at least one virtual object based on the position values of the target object and the at least one virtual object in the virtual space. For example, the spatial arrangement determining unit 140 may have a first distance value from a single camera to a determined 3D coordinate value and a second distance from a single camera to a 3D coordinate value in a virtual floor plane of at least one virtual object. The value can be calculated. At this time, the spatial arrangement determining unit 140 may determine the spatial arrangement between the target object and the at least one virtual object based on the first distance value and the second distance value.

가상 객체화부(150)는 대상 객체와 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 대상 객체를 가상 공간에 가상 객체화할 수 있다. 예를 들어, 가상 객체화부(150)는 단말의 싱글 카메라에서 실시간으로 촬영되는 영상에서 HVR(Hidden Video Recorder)의 매팅(matting) 기법 또는 가우시안 혼합(Gaussian Mixture) 기법을 이용하여 실시간으로 대상 객체를 배경에서 분리시킬 수 있다. The virtual objectizer 150 may virtualize a target object in a virtual space based on a spatial arrangement between the target object and at least one virtual object. For example, the virtual objectification unit 150 uses a matting technique of a HVR (Hidden Video Recorder) or a Gaussian Mixture technique in an image shot in real time from a single camera of the terminal. Can be separated from the background.

가상 객체화부(150)는 분리된 대상 객체의 최하단 지점으로부터 레이 캐스트를 통해 획득된 깊이값인 Z값에 기초하여 깊이값에 따라 3차원 공간에 해당하는 위치에 대상 객체가 위치하도록 대상 객체를 가상 객체화할 수 있다. 이와 같이, 분리된 대상 객체는 가상 객체처럼 가상 객체화됨으로써, 서있는 위치에 정확히 증강되어 가상 객체 사이를 이동하는 듯한 느낌을 제공할 수 있도록 하는 혼합 현실을 구현할 수 있다. The virtual objectizer 150 virtualizes the target object so that the target object is located in a position corresponding to the 3D space according to the depth value based on the Z value, which is a depth value obtained through raycasting from the lowest point of the separated target object. Can be objectified. As described above, the separated target object can be virtualized like a virtual object, thereby realizing augmented at a standing position to provide a mixed reality that provides a feeling of moving between virtual objects.

가상 객체화부(150)는 대상 객체에 해당하는 메쉬 마스크(Mesh Mask)를 생성하고, 적어도 하나의 가상 객체에서 메쉬 마스크에 의해 가려지는 부분의 렌더링을 비활성화할 수 있다. 예를 들어, 가상 객체화부(150)는 생성된 메쉬 마스크의 뒤쪽에 가상 객체가 위치한 경우, 메쉬 마스크의 뒤쪽에 위치한 가상 객체에 대한 렌더링을 비활성화함으로써, 사용자에 의해 가상 객체가 가려지는 가려짐 효과(Realistic Occlusion 효과)를 제공하여 공간적인 입체 효과를 구현할 수 있다. The virtual objectification unit 150 may generate a mesh mask corresponding to the target object, and deactivate rendering of a portion obscured by the mesh mask in at least one virtual object. For example, when a virtual object is located behind the generated mesh mask, the virtual objectification unit 150 disables rendering of the virtual object located behind the mesh mask, so that the virtual object is obscured by the user. By providing (Realistic Occlusion Effect), spatial stereoscopic effect can be realized.

또한, 가상 객체화부(150)는 대상 객체의 앞에 제 1 가상 객체가 위치하고, 대상 객체의 뒤에 제 2 가상 객체가 위치한 경우, 대상 객체에 해당하는 메쉬 마스크가 제 1 가상 객체와 제 2 가상 객체의 사이를 지나가는 듯하도록 구현함으로써, 대상 객체와 가상 객체가 한 공간에 존재하는 듯한 느낌을 제공할 수 있다. In addition, in the case where the first virtual object is located in front of the target object and the second virtual object is located behind the target object, the virtual objectification unit 150 has a mesh mask corresponding to the target object of the first virtual object and the second virtual object. By implementing it as if passing between, it is possible to provide a feeling that the target object and the virtual object exist in one space.

메쉬 마스크를 통해 사용자가 가상 객체들의 앞 또는 뒤로 이동하는 듯한 혼합 현실을 제공하고, 가상 객체들 사이로 지나가는 듯한 효과를 제공하여 사용자와 가상 객체가 한 공간에 존재하는 듯한 효과를 제공할 수 있다.The mesh mask provides a mixed reality as if the user moves in front or back of the virtual objects, and provides an effect as if passing between the virtual objects, thereby providing an effect as if the user and the virtual object exist in one space.

이러한 혼합 현실 제작 장치(100)는 단말의 싱글 카메라를 이용한 혼합 현실(MR: Mixed Reality)을 제작하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램에 의해 실행될 수 있다. 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 실시간으로 촬영되는 영상에서 바닥 평면 및 대상 객체를 검출하고, 바닥 평면에 기초한 가상 바닥 평면 및 적어도 하나의 가상 객체를 포함하는 가상 공간을 생성하고, 대상 객체의 가상 공간에서의 위치값을 계산하고, 대상 객체 및 적어도 하나의 가상 객체의 가상 공간에서의 위치값에 기초하여 대상 객체와 적어도 하나의 가상 객체간의 공간적 배열을 결정하고, 대상 객체와 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 대상 객체를 가상 공간에 가상 객체화하고, 대상 객체와 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 대상 객체와 적어도 하나의 가상 객체 사이의 가려짐 효과가 표현되도록 하는 명령어들의 시퀀스를 포함할 수 있다. The mixed reality production apparatus 100 may be executed by a computer program stored in a medium including a sequence of instructions for producing Mixed Reality (MR) using a single camera of a terminal. The computer program, when executed by a computing device, detects a floor plane and a target object from an image captured in real time, creates a virtual floor plane based on the floor plane and a virtual space including at least one virtual object, and Calculate a position value in the virtual space, determine a spatial arrangement between the target object and the at least one virtual object based on the position value in the virtual space of the target object and the at least one virtual object, and determine the target object and the at least one virtual object Commands to virtualize a target object in a virtual space based on a spatial arrangement between objects, and to express a screening effect between a target object and at least one virtual object based on a spatial arrangement between the target object and at least one virtual object It may contain a sequence.

도 2는 본 발명의 일 실시예에 따른 대상 객체의 가상 공간에서의 위치값을 계산하는 과정을 설명하기 위한 예시적인 도면이다. 도 2를 참조하면, 혼합 현실 제작 장치(100)는 단말의 싱글 카메라를 통해 실시간으로 촬영되는 영상(200)에서 바닥 평면 및 대상 객체(210)를 검출할 수 있다. 또한, 혼합 현실 제작 장치(100)는 바닥 평면에 기초한 가상 바닥 평면(220) 및 가상 객체(230)를 포함하는 가상 공간을 생성할 수 있다. 2 is an exemplary diagram for explaining a process of calculating a position value in a virtual space of a target object according to an embodiment of the present invention. Referring to FIG. 2, the mixed reality production apparatus 100 may detect the floor plane and the target object 210 from the image 200 photographed in real time through a single camera of the terminal. Also, the mixed reality production apparatus 100 may generate a virtual space including the virtual floor plane 220 and the virtual object 230 based on the floor plane.

혼합 현실 제작 장치(100)는 대상 객체(210)의 가상 공간에서의 위치값을 계산할 수 있다. 예를 들어, 대상 객체(210)는 2D 영상에서 2차원 좌표(X, Y)값만을 가지므로, 혼합 현실 제작 장치(100)는 대상 객체(210)의 최하단 지점(240)을 검출하여, 대상 객체(210)의 최하단 지점(240)으로부터의 레이 캐스트와 가상 바닥 평면(220)과의 접점(245)을 탐지하여 레이 캐스트와 가상 바닥 평면(220)과의 접점에 대한 가상 바닥 평면에서의 3차원 좌표값(250)을 결정할 수 있다. The mixed reality production apparatus 100 may calculate the position value of the target object 210 in the virtual space. For example, since the target object 210 has only two-dimensional coordinates (X, Y) values in the 2D image, the mixed reality production apparatus 100 detects the lowest point 240 of the target object 210, thereby 3 in the virtual floor plane for the contact between the ray cast and the virtual floor plane 220 by detecting the contact 245 between the ray cast and the virtual floor plane 220 from the lowest point 240 of the object 210 The dimensional coordinate value 250 can be determined.

이러한 과정을 통해, 결정된 접점에 대한 3차원 좌표값(X, Y, Z)을 통해 대상 객체(210)와 카메라(260)로부터의 거리값인 'Z값'을 획득할 수 있다. Through this process, a 'Z value', which is a distance value from the target object 210 and the camera 260, may be obtained through the 3D coordinate values (X, Y, Z) of the determined contact point.

도 3은 본 발명의 일 실시예에 따른 대상 객체와 가상 객체 간의 공간적 배열을 결정하는 과정을 설명하기 위한 예시적인 도면이다. 도 3을 참조하면, 혼합 현실 제작 장치(100)는 단말의 싱글 카메라에서 실시간으로 촬영되는 영상으로부터 HVR의 매팅 기법 또는 가우시안 혼합 기법을 이용하여 실시간으로 대상 객체(310)를 배경 및 전경과 분리를 수행할 수 있다. 3 is an exemplary diagram illustrating a process of determining a spatial arrangement between a target object and a virtual object according to an embodiment of the present invention. Referring to FIG. 3, the mixed reality production apparatus 100 separates the target object 310 from the background and the foreground in real time by using the HVR's mating technique or Gaussian mixing technique from an image shot in real time from a single camera of the terminal. Can be done.

이 때, 분리된 대상 객체(310)의 최하단 지점으로부터의 레이 캐스트를 통해 획득한 'Z값에 따라 3차원 공간 중 제 1 위치(320)에 해당하는 (X, Y, Z1) 또는 제 2 위치(330)에 해당하는 (X, Y, Z2)에 대상 객체(310)를 가상 객체화할 수 있다. 이러한 과정을 통해 분리된 대상 객체(310)인 어린이가 가상 객체인 공룡들(340) 사이를 이동하는 듯한 느낌을 제공하도록 하는 혼합 현실을 구현할 수 있다. At this time, (X, Y, Z 1 ) or the second corresponding to the first position 320 in the 3D space according to the 'Z value obtained through the ray cast from the lowest point of the separated target object 310 The target object 310 may be virtualized at (X, Y, Z 2 ) corresponding to the location 330. Through this process, it is possible to implement a mixed reality such that a child, which is a separated object object 310, provides a feeling of moving between dinosaurs 340, which are virtual objects.

도 4는 본 발명의 일 실시예에 따른 대상 객체를 가상 공간에 가상 객체화하는 과정을 설명하기 위한 예시적인 도면이다. 도 4를 참조하면, 혼합 현실 제작 장치(100)는 대상 객체(400)인 어린이와 가상 객체(410, 411)인 공룡들 간의 공간적 배열에 기초하여 대상 객체(400)를 가상 공간에 가상 객체화할 수 있다. 이 때, 혼합 현실 제작 장치(100)는 대상 객체(400)인 어린이에 대한 메쉬 마스크(420)를 생성하고, 공룡2에 해당하는 가상 객체(411)가 메쉬 마스크(420)에 의해 가려지는 부분의 렌더링을 비활성화함으로써, 대상 객체(400)가 공룡1(410)과 공룡2(411) 사이를 지나가는 듯한 느낌을 제공하도록 하는 혼합 현실을 구현할 수 있다. 또한, 대상 객체(400)가 가상 객체(410, 411)와 한 공간에 존재하는 듯한 효과를 제공할 수 있다. 4 is an exemplary diagram illustrating a process of virtualizing a target object in a virtual space according to an embodiment of the present invention. Referring to FIG. 4, the mixed reality production apparatus 100 may virtualize the target object 400 in the virtual space based on the spatial arrangement between the target object 400 children and the virtual objects 410 and 411 dinosaurs. You can. At this time, the mixed reality production apparatus 100 generates a mesh mask 420 for the child that is the target object 400, and the virtual object 411 corresponding to dinosaur 2 is covered by the mesh mask 420 By deactivating the rendering of the, it is possible to implement a mixed reality such that the target object 400 provides the feeling of passing between the dinosaur 1 410 and the dinosaur 2 411. In addition, it is possible to provide an effect as if the target object 400 exists in one space with the virtual objects 410 and 411.

도 5는 본 발명의 일 실시예에 따른 혼합 현실 제작 장치에서 단말의 싱글 카메라를 이용한 혼합 현실을 제작하는 방법의 순서도이다. 도 5에 도시된 혼합 현실 제작 장치(100)에서 단말의 싱글 카메라를 이용한 혼합 현실을 제작하는 방법은 도 1 내지 도 4에 도시된 실시예에 따라 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 4에 도시된 실시예에 따른 혼합 현실 제작 장치(100)에서 단말의 싱글 카메라를 이용한 혼합 현실을 제작하는 방법에도 적용된다. 5 is a flowchart of a method of manufacturing a mixed reality using a single camera of a terminal in the mixed reality production apparatus according to an embodiment of the present invention. The method of manufacturing the mixed reality using the single camera of the terminal in the mixed reality production apparatus 100 shown in FIG. 5 includes steps that are processed in time series according to the embodiment shown in FIGS. 1 to 4. Therefore, even if omitted, the mixed reality production apparatus 100 according to the embodiment shown in FIGS. 1 to 4 is also applied to a method of manufacturing a mixed reality using a single camera of a terminal.

단계 S510에서 혼합 현실 제작 장치(100)는 실시간으로 촬영되는 영상에서 바닥 평면 및 대상 객체를 검출할 수 있다. In step S510, the mixed reality production apparatus 100 may detect a floor plane and a target object from an image photographed in real time.

단계 S520에서 혼합 현실 제작 장치(100)는 바닥 평면에 기초한 가상 바닥 평면 및 적어도 하나의 가상 객체를 포함하는 가상 공간을 생성할 수 있다. In operation S520, the mixed reality production apparatus 100 may generate a virtual floor plane based on the floor plane and a virtual space including at least one virtual object.

단계 S530에서 혼합 현실 제작 장치(100)는 대상 객체의 가상 공간에서의 위치값을 계산할 수 있다. In step S530, the mixed reality production apparatus 100 may calculate the position value of the target object in the virtual space.

단계 S540에서 혼합 현실 제작 장치(100)는 대상 객체 및 적어도 하나의 가상 객체의 가상 공간에서의 위치값에 기초하여 대상 객체와 적어도 하나의 가상 객체간의 공간적 배열을 결정할 수 있다. In operation S540, the mixed reality production apparatus 100 may determine a spatial arrangement between the target object and the at least one virtual object based on the position values of the target object and the at least one virtual object in the virtual space.

단계 S550에서 혼합 현실 제작 장치(100)는 대상 객체와 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 대상 객체를 가상 공간에 가상 객체화할 수 있다. 여기서, 대상 객체와 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 대상 객체와 적어도 하나의 가상 객체 사이의 가려짐 효과가 표현될 수 있다. In operation S550, the mixed reality production apparatus 100 may virtualize the target object in the virtual space based on the spatial arrangement between the target object and at least one virtual object. Here, a screening effect between the target object and the at least one virtual object may be expressed based on the spatial arrangement between the target object and the at least one virtual object.

상술한 설명에서, 단계 S510 내지 S550은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.In the above description, steps S510 to S550 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present invention. In addition, some steps may be omitted if necessary, and the order between the steps may be switched.

도 1 내지 도 5를 통해 설명된 혼합 현실 제작 장치에서 단말의 싱글 카메라를 이용한 혼합 현실을 제작하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 5를 통해 설명된 혼합 현실 제작 장치에서 단말의 싱글 카메라를 이용한 혼합 현실을 제작하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다. A method of manufacturing a mixed reality using a single camera of a terminal in the mixed reality production apparatus described with reference to FIGS. 1 to 5 includes a computer program stored in a medium executed by a computer or a recording medium including instructions executable by a computer. It can also be implemented in form. In addition, the method of manufacturing the mixed reality using the single camera of the terminal in the mixed reality production apparatus described with reference to FIGS. 1 to 5 may also be implemented in the form of a computer program stored in a medium executed by a computer.

컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, computer readable media may include computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. The above description of the present invention is for illustration only, and a person having ordinary knowledge in the technical field to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. The scope of the present invention is indicated by the following claims rather than the above detailed description, and it should be interpreted that all changes or modified forms derived from the meaning and scope of the claims and equivalent concepts thereof are included in the scope of the present invention. do.

100: 혼합 현실 제작 장치
110: 검출부
120: 가상 공간 생성부
130: 위치값 계산부
140: 공간적 배열 결정부
150: 가상 객체화부100: mixed reality production device
110: detection unit
120: virtual space creation unit
130: position value calculation unit
140: spatial arrangement determining unit
150: virtual objectification unit

Claims (13)

단말의 싱글 카메라를 이용한 혼합 현실(MR: Mixed Reality) 제작 방법에 있어서,
실시간으로 촬영되는 영상에서 바닥 평면 및 대상 객체를 검출하는 단계;
상기 바닥 평면에 기초한 가상 바닥 평면 및 적어도 하나의 가상 객체를 포함하는 가상 공간을 생성하는 단계;
상기 대상 객체의 상기 가상 공간에서의 위치값을 계산하는 단계;
상기 대상 객체 및 상기 적어도 하나의 가상 객체의 상기 가상 공간에서의 위치값에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열을 결정하는 단계; 및
상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체를 상기 가상 공간에 가상 객체화하는 단계
를 포함하고,
상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체 사이의 가려짐 효과가 표현되는 것인, 혼합 현실 제작 방법.
In the method of manufacturing a mixed reality (MR) using a single camera of the terminal,
Detecting a floor plane and a target object from an image photographed in real time;
Generating a virtual space including a virtual floor plane based on the floor plane and at least one virtual object;
Calculating a position value of the target object in the virtual space;
Determining a spatial arrangement between the target object and the at least one virtual object based on the position value of the target object and the at least one virtual object in the virtual space; And
Virtualizing the target object in the virtual space based on a spatial arrangement between the target object and the at least one virtual object
Including,
A method for producing mixed reality, wherein a screening effect between the target object and the at least one virtual object is expressed based on a spatial arrangement between the target object and the at least one virtual object.
제 1 항에 있어서,
상기 대상 객체의 상기 가상 공간에서의 위치값을 계산하는 단계는
상기 대상 객체의 최하단 지점을 검출하는 단계; 및
상기 대상 객체의 최하단 지점으로부터의 레이 캐스트(ray cast)와 상기 가상 바닥 평면과의 접점을 탐지하는 단계
를 포함하는 것인, 혼합 현실 제작 방법.
According to claim 1,
The step of calculating the position value of the target object in the virtual space is
Detecting the lowest point of the target object; And
Detecting a contact between the ray cast from the lowest point of the target object and the virtual floor plane
Including, mixed reality production method.
제 2 항에 있어서,
상기 대상 객체의 상기 가상 공간에서의 위치값을 계산하는 단계는
상기 레이 캐스트와 상기 가상 바닥 평면과의 접점에 대한 상기 가상 바닥 평면에서의 3차원 좌표값을 결정하는 단계
를 더 포함하는 것인, 혼합 현실 제작 방법.
According to claim 2,
The step of calculating the position value of the target object in the virtual space is
Determining a 3D coordinate value in the virtual floor plane with respect to the contact point between the ray cast and the virtual floor plane
It further comprises a mixed reality production method.
제 3 항에 있어서,
상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열을 결정하는 단계는
상기 싱글 카메라로부터 상기 결정된 3차원 좌표값까지의 제 1 거리값과 상기 싱글 카메라로부터 상기 적어도 하나의 가상 객체의 상기 가상 바닥 평면에서의 3차원 좌표값까지의 제 2 거리값을 계산하는 단계
를 포함하는 것인, 혼합 현실 제작 방법.
The method of claim 3,
Determining a spatial arrangement between the target object and the at least one virtual object is
Calculating a first distance value from the single camera to the determined 3D coordinate value and a second distance value from the single camera to the 3D coordinate value in the virtual floor plane of the at least one virtual object.
Including, mixed reality production method.
제 4 항에 있어서,
상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열을 결정하는 단계는
상기 제 1 거리값 및 상기 제 2 거리값에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열을 결정하는 단계
를 더 포함하는 것인, 혼합 현실 제작 방법.
The method of claim 4,
Determining a spatial arrangement between the target object and the at least one virtual object is
Determining a spatial arrangement between the target object and the at least one virtual object based on the first distance value and the second distance value
It further comprises a mixed reality production method.
제 4 항에 있어서,
상기 대상 객체를 상기 가상 공간에 가상 객체화하는 단계는
상기 대상 객체에 해당하는 메쉬 마스크(Mesh Mask)를 생성하는 단계; 및
상기 적어도 하나의 가상 객체에서 상기 메쉬 마스크에 의해 가려지는 부분의 렌더링을 비활성화하는 단계
를 포함하는 것인, 혼합 현실 제작 방법.
The method of claim 4,
The step of virtualizing the target object in the virtual space
Generating a mesh mask corresponding to the target object; And
Deactivating rendering of a part obscured by the mesh mask in the at least one virtual object
Including, mixed reality production method.
싱글 카메라를 이용한 혼합 현실(MR: Mixed Reality) 제작 장치에 있어서,
실시간으로 촬영되는 영상에서 바닥 평면 및 대상 객체를 검출하는 검출부;
상기 바닥 평면에 기초한 가상 바닥 평면 및 적어도 하나의 가상 객체를 포함하는 가상 공간을 생성하는 가상 공간 생성부;
상기 대상 객체의 상기 가상 공간에서의 위치값을 계산하는 위치값 계산부;
상기 대상 객체 및 상기 적어도 하나의 가상 객체의 상기 가상 공간에서의 위치값에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열을 결정하는 공간적 배열 결정부; 및
상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체를 상기 가상 공간에 가상 객체화하는 가상 객체화부
를 포함하고,
상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체 사이의 가려짐 효과가 표현되는 것인, 혼합 현실 제작 장치.
In a mixed reality (MR) production apparatus using a single camera,
A detector that detects a floor plane and a target object from an image photographed in real time;
A virtual space generating unit for generating a virtual space including a virtual floor plane and at least one virtual object based on the floor plane;
A position value calculator for calculating a position value of the target object in the virtual space;
A spatial arrangement determining unit that determines a spatial arrangement between the target object and the at least one virtual object based on a position value of the target object and the at least one virtual object in the virtual space; And
A virtual objectification unit virtualizing the target object in the virtual space based on a spatial arrangement between the target object and the at least one virtual object
Including,
A mixed reality production apparatus in which a screening effect between the target object and the at least one virtual object is expressed based on a spatial arrangement between the target object and the at least one virtual object.
제 7 항에 있어서,
상기 위치값 계산부는 상기 대상 객체의 최하단 지점을 검출하고, 상기 대상 객체의 최하단 지점으로부터의 레이 캐스트(ray cast)와 상기 가상 바닥 평면과의 접점을 탐지하는 것인, 혼합 현실 제작 장치.
The method of claim 7,
The position value calculating unit detects the lowest point of the target object, and detects the contact between the ray cast (ray cast) and the virtual floor plane from the lowest point of the target object, mixed reality production apparatus.
제 8 항에 있어서,
상기 위치값 계산부는 상기 레이 캐스트와 상기 가상 바닥 평면과의 접점에 대한 상기 가상 바닥 평면에서의 3차원 좌표값을 결정하는 것인, 혼합 현실 제작 장치.
The method of claim 8,
The position value calculator determines a three-dimensional coordinate value in the virtual floor plane with respect to the contact point between the ray cast and the virtual floor plane.
제 9 항에 있어서,
상기 공간적 배열 결정부는 상기 싱글 카메라로부터 상기 결정된 3차원 좌표값까지의 제 1 거리값과 상기 싱글 카메라로부터 상기 적어도 하나의 가상 객체의 상기 가상 바닥 평면에서의 3차원 좌표값까지의 제 2 거리값을 계산하는 것인, 혼합 현실 제작 장치.
The method of claim 9,
The spatial arrangement determining unit determines a first distance value from the single camera to the determined 3D coordinate value and a second distance value from the single camera to a 3D coordinate value in the virtual floor plane of the at least one virtual object. A mixed reality production device that calculates.
제 10 항에 있어서,
상기 공간적 배열 결정부는 상기 제 1 거리값 및 상기 제 2 거리값에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열을 결정하는 것인, 혼합 현실 제작 장치.
The method of claim 10,
The spatial arrangement determining unit determines a spatial arrangement between the target object and the at least one virtual object based on the first distance value and the second distance value.
제 10 항에 있어서,
상기 가상 객체화부는 상기 대상 객체에 해당하는 메쉬 마스크(Mesh Mask)를 생성하고, 상기 적어도 하나의 가상 객체에서 상기 메쉬 마스크에 의해 가려지는 부분의 렌더링을 비활성화하는 것인, 혼합 현실 제작 장치.
The method of claim 10,
The virtual objectification unit is to create a mesh mask (Mesh Mask) corresponding to the target object, the at least one virtual object is to disable the rendering of the part obscured by the mesh mask, mixed reality production apparatus.
단말의 싱글 카메라를 이용한 혼합 현실(MR: Mixed Reality)을 제작하는 명령어들의 시퀀스를 포함하는 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우,
실시간으로 촬영되는 영상에서 바닥 평면 및 대상 객체를 검출하고,
상기 바닥 평면에 기초한 가상 바닥 평면 및 적어도 하나의 가상 객체를 포함하는 가상 공간을 생성하고,
상기 대상 객체의 상기 가상 공간에서의 위치값을 계산하고,
상기 대상 객체 및 상기 적어도 하나의 가상 객체의 상기 가상 공간에서의 위치값에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열을 결정하고,
상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체를 상기 가상 공간에 가상 객체화하고,
상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체 사이의 가려짐 효과가 표현되도록 하는 명령어들의 시퀀스를 포함하는, 매체에 저장된 컴퓨터 프로그램. In the computer program stored in a computer-readable medium including a sequence of instructions for producing a mixed reality (MR) using a single camera of the terminal,
When the computer program is executed by a computing device,
Detect floor planes and target objects from images shot in real time,
Create a virtual space including a virtual floor plane and at least one virtual object based on the floor plane,
Calculate the position value of the target object in the virtual space,
Determine a spatial arrangement between the target object and the at least one virtual object based on the position value of the target object and the at least one virtual object in the virtual space,
Virtualizing the target object in the virtual space based on a spatial arrangement between the target object and the at least one virtual object,
And a sequence of instructions for rendering a screening effect between the target object and the at least one virtual object based on a spatial arrangement between the target object and the at least one virtual object.
KR1020180109069A 2018-09-12 2018-09-12 Method, apparatus and computer program for producing mixed reality using single camera of device KR102521221B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180109069A KR102521221B1 (en) 2018-09-12 2018-09-12 Method, apparatus and computer program for producing mixed reality using single camera of device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180109069A KR102521221B1 (en) 2018-09-12 2018-09-12 Method, apparatus and computer program for producing mixed reality using single camera of device

Publications (2)

Publication Number Publication Date
KR20200030326A true KR20200030326A (en) 2020-03-20
KR102521221B1 KR102521221B1 (en) 2023-04-13

Family

ID=69958099

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180109069A KR102521221B1 (en) 2018-09-12 2018-09-12 Method, apparatus and computer program for producing mixed reality using single camera of device

Country Status (1)

Country Link
KR (1) KR102521221B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102433670B1 (en) * 2021-07-28 2022-08-18 에스지 주식회사 System for providing virtual environment based on location of space using real image
KR102502116B1 (en) 2022-08-09 2023-02-23 에스지 주식회사 Virtual environment providing system based on virtual reality and augmented reality
WO2023163426A1 (en) * 2022-02-25 2023-08-31 주식회사 펌킨컴퍼니 Method for real-time pet state monitoring using metaverse and device performing same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140007367A (en) * 2011-01-31 2014-01-17 마이크로소프트 코포레이션 Three-dimensional environment reconstruction
KR20180020725A (en) * 2016-08-19 2018-02-28 한국전자통신연구원 Contents authoring tool for augmented reality based on space and thereof method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140007367A (en) * 2011-01-31 2014-01-17 마이크로소프트 코포레이션 Three-dimensional environment reconstruction
KR20180020725A (en) * 2016-08-19 2018-02-28 한국전자통신연구원 Contents authoring tool for augmented reality based on space and thereof method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102433670B1 (en) * 2021-07-28 2022-08-18 에스지 주식회사 System for providing virtual environment based on location of space using real image
WO2023163426A1 (en) * 2022-02-25 2023-08-31 주식회사 펌킨컴퍼니 Method for real-time pet state monitoring using metaverse and device performing same
KR102502116B1 (en) 2022-08-09 2023-02-23 에스지 주식회사 Virtual environment providing system based on virtual reality and augmented reality

Also Published As

Publication number Publication date
KR102521221B1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
CN102938844B (en) Three-dimensional imaging is utilized to generate free viewpoint video
US11379948B2 (en) Mixed reality system with virtual content warping and method of generating virtual content using same
AU2022200841B2 (en) Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
US11010958B2 (en) Method and system for generating an image of a subject in a scene
KR102156402B1 (en) Method and apparatus for image processing
KR20170086077A (en) Using depth information for drawing in augmented reality scenes
US11417065B2 (en) Methods and systems for reprojection in augmented-reality displays
KR102521221B1 (en) Method, apparatus and computer program for producing mixed reality using single camera of device
CN105611267B (en) Merging of real world and virtual world images based on depth and chrominance information
CN110956695A (en) Information processing apparatus, information processing method, and storage medium
JP2021016547A (en) Program, recording medium, object detection device, object detection method, and object detection system
CN116863107A (en) Augmented reality providing method, apparatus, and non-transitory computer readable medium
WO2023120770A1 (en) Method and apparatus for interaction between cognitive mesh information generated in three-dimensional space and virtual objects
Kim et al. 3-d virtual studio for natural inter-“acting”
Davies et al. Stereoscopic human detection in a natural environment
JP6613099B2 (en) Program, computer and head-mounted display system for stereoscopic display of virtual reality space
JP2020513123A (en) Method and apparatus for applying dynamic effects to images
Wu et al. A novel augmented reality framework based on monocular semi‐dense simultaneous localization and mapping
Ishihara et al. Integrating Both Parallax and Latency Compensation into Video See-through Head-mounted Display
KR20200046538A (en) Method and system for generating 3 dimension color block
KR20200043670A (en) Method and system for generating 3 dimension block information
de Sorbier et al. Depth Camera to Generate On-line Content for Auto-Stereoscopic Displays

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant