KR102521221B1 - 단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램 - Google Patents

단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102521221B1
KR102521221B1 KR1020180109069A KR20180109069A KR102521221B1 KR 102521221 B1 KR102521221 B1 KR 102521221B1 KR 1020180109069 A KR1020180109069 A KR 1020180109069A KR 20180109069 A KR20180109069 A KR 20180109069A KR 102521221 B1 KR102521221 B1 KR 102521221B1
Authority
KR
South Korea
Prior art keywords
virtual
target object
floor plane
spatial arrangement
mixed reality
Prior art date
Application number
KR1020180109069A
Other languages
English (en)
Other versions
KR20200030326A (ko
Inventor
이주철
김경빈
이유
이주용
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020180109069A priority Critical patent/KR102521221B1/ko
Publication of KR20200030326A publication Critical patent/KR20200030326A/ko
Application granted granted Critical
Publication of KR102521221B1 publication Critical patent/KR102521221B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

단말의 싱글 카메라를 이용한 혼합 현실(MR: Mixed Reality) 제작 방법은 실시간으로 촬영되는 영상에서 바닥 평면 및 대상 객체를 검출하는 단계, 상기 바닥 평면에 기초한 가상 바닥 평면 및 적어도 하나의 가상 객체를 포함하는 가상 공간을 생성하는 단계, 상기 대상 객체의 상기 가상 공간에서의 위치값을 계산하는 단계, 상기 대상 객체 및 상기 적어도 하나의 가상 객체의 상기 가상 공간에서의 위치값에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열을 결정하는 단계 및 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체를 상기 가상 공간에 가상 객체화하는 단계를 포함하고, 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체 사이의 가려짐 효과가 표현된다.

Description

단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램{METHOD, APPARATUS AND COMPUTER PROGRAM FOR PRODUCING MIXED REALITY USING SINGLE CAMERA OF DEVICE}
본 발명은 단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.
혼합 현실(MR, Mixed Reality)이란 현실에 3차원 가상 이미지를 겹쳐서 보여주는 증강 현실(AR, Augmented Reality)과 현실이 아닌 가상의 이미지를 보여주는 가상 현실(VR Virtual Reality)이 접목된 기술을 의미한다.
혼합 현실은 현실과 가상이 결합됨으로써, 실물과 가상 객체들이 공존하는 새로운 환경을 만들고, 사용자는 새로운 환경과 실시간으로 상호작용을 하여 다양한 디지털 정보들을 실감나게 체험할 수 있게 된다.
이러한 혼합 현실 기술과 관련하여, 선행기술인 한국공개특허 제 2007-0131828호는 혼합현실 시스템 및 그 구현 방법을 개시하고 있다.
그러나 혼합 현실을 제작하기 위해서는 별도의 깊이 카메라(또는 스테레오 카메라)를 이용하여 현실 공간을 인식해야 하므로, 스마트폰에 탑재된 일반적인 싱글 카메라로는 혼합 현실의 제작에 어려움이 따른다는 단점을 가지고 있다.
깊이 카메라를 이용하지 않고도, 현실 속의 사용자를 실시간으로 검출하여 가상 객체화하고, 가상 객체들과 공간적 입체감을 구현할 수 있도록 하는 단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램을 제공하고자 한다.
스마트폰에 탑재된 싱글 카메라를 이용하여 2D 영상 속의 사용자를 실시간으로 검출하고, 현실 공간의 정확한 위치에 보여지도록 하여 3D 증강 객체들과 현실감 있는 인터랙션(interaction)을 제공하는 단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 실시간으로 촬영되는 영상에서 바닥 평면 및 대상 객체를 검출하는 단계, 상기 바닥 평면에 기초한 가상 바닥 평면 및 적어도 하나의 가상 객체를 포함하는 가상 공간을 생성하는 단계, 상기 대상 객체의 상기 가상 공간에서의 위치값을 계산하는 단계, 상기 대상 객체 및 상기 적어도 하나의 가상 객체의 상기 가상 공간에서의 위치값에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열을 결정하는 단계 및 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체를 상기 가상 공간에 가상 객체화하는 단계를 포함하고, 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체 사이의 가려짐 효과가 표현되는 것인 혼합 현실 제작 방법을 제공할 수 있다.
본 발명의 다른 실시예는, 실시간으로 촬영되는 영상에서 바닥 평면 및 대상 객체를 검출하는 검출부, 상기 바닥 평면에 기초한 가상 바닥 평면 및 적어도 하나의 가상 객체를 포함하는 가상 공간을 생성하는 가상 공간 생성부, 상기 대상 객체의 상기 가상 공간에서의 위치값을 계산하는 위치값 계산부, 상기 대상 객체 및 상기 적어도 하나의 가상 객체의 상기 가상 공간에서의 위치값에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열을 결정하는 공간적 배열 결정부 및 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체를 상기 가상 공간에 가상 객체화하는 가상 객체화부를 포함하고, 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체 사이의 가려짐 효과가 표현되는 것인 혼합 현실 제작 장치를 제공할 수 있다.
본 발명의 또 다른 실시예는, 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 실시간으로 촬영되는 영상에서 바닥 평면 및 대상 객체를 검출하고, 상기 바닥 평면에 기초한 가상 바닥 평면 및 적어도 하나의 가상 객체를 포함하는 가상 공간을 생성하고, 상기 대상 객체의 상기 가상 공간에서의 위치값을 계산하고, 상기 대상 객체 및 상기 적어도 하나의 가상 객체의 상기 가상 공간에서의 위치값에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열을 결정하고, 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체를 상기 가상 공간에 가상 객체화하고, 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체 사이의 가려짐 효과가 표현되도록 하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램를 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 깊이 카메라를 이용하지 않고도, 현실 속의 사용자를 실시간으로 검출하여 가상 객체화하고, 가상 객체들과 공간적 입체감을 구현할 수 있도록 하는 단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램을 제공할 수 있다.
스마트폰에 탑재된 싱글 카메라를 이용하여 2D 영상 속의 사용자를 실시간으로 검출하고, 현실 공간의 정확한 위치에 보여지도록 하여 3D 증강 객체들과 현실감 있는 인터랙션(interaction)을 제공하는 단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 혼합 현실 제작 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 대상 객체의 가상 공간에서의 위치값을 계산하는 과정을 설명하기 위한 예시적인 도면이다.
도 3은 본 발명의 일 실시예에 따른 대상 객체와 가상 객체 간의 공간적 배열을 결정하는 과정을 설명하기 위한 예시적인 도면이다.
도 4는 본 발명의 일 실시예에 따른 대상 객체를 가상 공간에 가상 객체화하는 과정을 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 일 실시예에 따른 혼합 현실 제작 장치에서 단말의 싱글 카메라를 이용한 혼합 현실을 제작하는 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 혼합 현실 제작 장치의 구성도이다. 도 1을 참조하면, 혼합 현실 제작 장치(100)는 검출부(110), 가상 공간 생성부(120), 위치값 계산부(130), 공간적 배열 결정부(140) 및 가상 객체화부(150)를 포함할 수 있다.
검출부(110)는 실시간으로 촬영되는 영상에서 바닥 평면 및 대상 객체를 검출할 수 있다. 예를 들어, 검출부(110)는 시각 관성 측정법(VIO, Visual Inertial Odometry) 시스템을 통해 실시간으로 촬영되는 영상에서 바닥 평면 및 대상 객체를 검출할 수 있다. 예를 들어, 검출부(110)는 실제 현실 공간의 바닥 평면을 검출할 수 있다. 예를 들어, 검출부(110)는 3개의 점으로 평면을 정의하고, 3개의 점이 충분히 감지된 경우, 바닥 평면의 위치를 추정할 수 있다. 이러한 점을 포인트 클라우드(예를 들어, sparse point cloud)라 하며, 이러한 방법은 적은 메모리와 적은 CPU 타임을 이용한다는 장점을 갖는다. 이 때, 바닥 평면을 손쉽게 인지하기 위해 컴퓨터 비전 분야에서 이용되는 호모그래피(Homography) 기술이 이용될 수 있다.
또한, 검출부(110)는 싱글 카메라 영상 분석(예를 들어, 모션인식, GMM:Gaussian Mixture Model)을 통해 움직이는 대상 객체를 검출하거나 실시간으로 추적할 수 있다.
가상 공간 생성부(120)는 바닥 평면에 기초한 가상 바닥 평면 및 적어도 하나의 가상 객체를 포함하는 가상 공간을 생성할 수 있다.
위치값 계산부(130)는 대상 객체의 가상 공간에서의 위치값을 계산할 수 있다. 예를 들어, 위치값 계산부(130)는 대상 객체의 최하단 지점을 검출하고, 대상 객체의 최하단 지점으로부터의 레이 캐스트(ray cast)와 가상 바닥 평면과의 접점을 탐지할 수 있다. 여기서, 레이 캐스트란 광선 경로에 충돌체가 있는지를 감지하기 위해 특정 방향의 점에서 보이지 않는 광선을 발사하는 것을 의미한다.
레이 캐스트를 이용하는 이유는 단말의 싱글 카메라를 통해 촬영된 영상에서의 대상 객체의 위치는 2차원 좌표(X, Y)로 구성되나, 대상 객체를 정확한 위치에 증강하기 위해서는 Z축 좌표가 필요하므로, 대상 객체의 최하단 지점으로부터의 레이 캐스트와 가상 바닥 평면과의 접점의 탐지를 통해 대상 객체에 대한 Z값을 도출하기 위함이다.
위치값 계산부(130)는 레이 캐스트와 가상 바닥 평면과의 접점에 대한 가상 바닥 평면에서의 3차원 좌표값을 결정할 수 있다. 이 때, 싱글 카메라를 통해 촬영된 2D 영상은 대상 객체의 2차원 좌표값(X, Y)만을 포함하지만, 위치값 계산부(130)는 대상 객체의 최하단 지점으로부터의 레이 캐스트와 가상 바닥 평면과의 접점을 통해 가상 바닥 평면에서의 3차원 좌표값(X, Y, Z) 값을 결정할 수 있게 된다. 여기서, 3차원 좌표값 중 Z값은 단말의 싱글 카메라로부터 대상 객체까지의 거리값을 의미할 수 있다.
공간적 배열 결정부(140)는 대상 객체 및 적어도 하나의 가상 객체의 가상 공간에서의 위치값에 기초하여 대상 객체와 적어도 하나의 가상 객체간의 공간적 배열을 결정할 수 있다. 예를 들어, 공간적 배열 결정부(140)는 싱글 카메라로부터 결정된 3차원 좌표값까지의 제 1 거리값과 싱글 카메라로부터 적어도 하나의 가상 객체의 가상 바닥 평면에서의 3차원 좌표값까지의 제 2 거리값을 계산할 수 있다. 이 때, 공간적 배열 결정부(140)는 제 1 거리값 및 제 2 거리값에 기초하여 대상 객체와 적어도 하나의 가상 객체간의 공간적 배열을 결정할 수 있다.
가상 객체화부(150)는 대상 객체와 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 대상 객체를 가상 공간에 가상 객체화할 수 있다. 예를 들어, 가상 객체화부(150)는 단말의 싱글 카메라에서 실시간으로 촬영되는 영상에서 HVR(Hidden Video Recorder)의 매팅(matting) 기법 또는 가우시안 혼합(Gaussian Mixture) 기법을 이용하여 실시간으로 대상 객체를 배경에서 분리시킬 수 있다.
가상 객체화부(150)는 분리된 대상 객체의 최하단 지점으로부터 레이 캐스트를 통해 획득된 깊이값인 Z값에 기초하여 깊이값에 따라 3차원 공간에 해당하는 위치에 대상 객체가 위치하도록 대상 객체를 가상 객체화할 수 있다. 이와 같이, 분리된 대상 객체는 가상 객체처럼 가상 객체화됨으로써, 서있는 위치에 정확히 증강되어 가상 객체 사이를 이동하는 듯한 느낌을 제공할 수 있도록 하는 혼합 현실을 구현할 수 있다.
가상 객체화부(150)는 대상 객체에 해당하는 메쉬 마스크(Mesh Mask)를 생성하고, 적어도 하나의 가상 객체에서 메쉬 마스크에 의해 가려지는 부분의 렌더링을 비활성화할 수 있다. 예를 들어, 가상 객체화부(150)는 생성된 메쉬 마스크의 뒤쪽에 가상 객체가 위치한 경우, 메쉬 마스크의 뒤쪽에 위치한 가상 객체에 대한 렌더링을 비활성화함으로써, 사용자에 의해 가상 객체가 가려지는 가려짐 효과(Realistic Occlusion 효과)를 제공하여 공간적인 입체 효과를 구현할 수 있다.
또한, 가상 객체화부(150)는 대상 객체의 앞에 제 1 가상 객체가 위치하고, 대상 객체의 뒤에 제 2 가상 객체가 위치한 경우, 대상 객체에 해당하는 메쉬 마스크가 제 1 가상 객체와 제 2 가상 객체의 사이를 지나가는 듯하도록 구현함으로써, 대상 객체와 가상 객체가 한 공간에 존재하는 듯한 느낌을 제공할 수 있다.
메쉬 마스크를 통해 사용자가 가상 객체들의 앞 또는 뒤로 이동하는 듯한 혼합 현실을 제공하고, 가상 객체들 사이로 지나가는 듯한 효과를 제공하여 사용자와 가상 객체가 한 공간에 존재하는 듯한 효과를 제공할 수 있다.
이러한 혼합 현실 제작 장치(100)는 단말의 싱글 카메라를 이용한 혼합 현실(MR: Mixed Reality)을 제작하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램에 의해 실행될 수 있다. 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 실시간으로 촬영되는 영상에서 바닥 평면 및 대상 객체를 검출하고, 바닥 평면에 기초한 가상 바닥 평면 및 적어도 하나의 가상 객체를 포함하는 가상 공간을 생성하고, 대상 객체의 가상 공간에서의 위치값을 계산하고, 대상 객체 및 적어도 하나의 가상 객체의 가상 공간에서의 위치값에 기초하여 대상 객체와 적어도 하나의 가상 객체간의 공간적 배열을 결정하고, 대상 객체와 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 대상 객체를 가상 공간에 가상 객체화하고, 대상 객체와 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 대상 객체와 적어도 하나의 가상 객체 사이의 가려짐 효과가 표현되도록 하는 명령어들의 시퀀스를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 대상 객체의 가상 공간에서의 위치값을 계산하는 과정을 설명하기 위한 예시적인 도면이다. 도 2를 참조하면, 혼합 현실 제작 장치(100)는 단말의 싱글 카메라를 통해 실시간으로 촬영되는 영상(200)에서 바닥 평면 및 대상 객체(210)를 검출할 수 있다. 또한, 혼합 현실 제작 장치(100)는 바닥 평면에 기초한 가상 바닥 평면(220) 및 가상 객체(230)를 포함하는 가상 공간을 생성할 수 있다.
혼합 현실 제작 장치(100)는 대상 객체(210)의 가상 공간에서의 위치값을 계산할 수 있다. 예를 들어, 대상 객체(210)는 2D 영상에서 2차원 좌표(X, Y)값만을 가지므로, 혼합 현실 제작 장치(100)는 대상 객체(210)의 최하단 지점(240)을 검출하여, 대상 객체(210)의 최하단 지점(240)으로부터의 레이 캐스트와 가상 바닥 평면(220)과의 접점(245)을 탐지하여 레이 캐스트와 가상 바닥 평면(220)과의 접점에 대한 가상 바닥 평면에서의 3차원 좌표값(250)을 결정할 수 있다.
이러한 과정을 통해, 결정된 접점에 대한 3차원 좌표값(X, Y, Z)을 통해 대상 객체(210)와 카메라(260)로부터의 거리값인 'Z값'을 획득할 수 있다.
도 3은 본 발명의 일 실시예에 따른 대상 객체와 가상 객체 간의 공간적 배열을 결정하는 과정을 설명하기 위한 예시적인 도면이다. 도 3을 참조하면, 혼합 현실 제작 장치(100)는 단말의 싱글 카메라에서 실시간으로 촬영되는 영상으로부터 HVR의 매팅 기법 또는 가우시안 혼합 기법을 이용하여 실시간으로 대상 객체(310)를 배경 및 전경과 분리를 수행할 수 있다.
이 때, 분리된 대상 객체(310)의 최하단 지점으로부터의 레이 캐스트를 통해 획득한 'Z값에 따라 3차원 공간 중 제 1 위치(320)에 해당하는 (X, Y, Z1) 또는 제 2 위치(330)에 해당하는 (X, Y, Z2)에 대상 객체(310)를 가상 객체화할 수 있다. 이러한 과정을 통해 분리된 대상 객체(310)인 어린이가 가상 객체인 공룡들(340) 사이를 이동하는 듯한 느낌을 제공하도록 하는 혼합 현실을 구현할 수 있다.
도 4는 본 발명의 일 실시예에 따른 대상 객체를 가상 공간에 가상 객체화하는 과정을 설명하기 위한 예시적인 도면이다. 도 4를 참조하면, 혼합 현실 제작 장치(100)는 대상 객체(400)인 어린이와 가상 객체(410, 411)인 공룡들 간의 공간적 배열에 기초하여 대상 객체(400)를 가상 공간에 가상 객체화할 수 있다. 이 때, 혼합 현실 제작 장치(100)는 대상 객체(400)인 어린이에 대한 메쉬 마스크(420)를 생성하고, 공룡2에 해당하는 가상 객체(411)가 메쉬 마스크(420)에 의해 가려지는 부분의 렌더링을 비활성화함으로써, 대상 객체(400)가 공룡1(410)과 공룡2(411) 사이를 지나가는 듯한 느낌을 제공하도록 하는 혼합 현실을 구현할 수 있다. 또한, 대상 객체(400)가 가상 객체(410, 411)와 한 공간에 존재하는 듯한 효과를 제공할 수 있다.
도 5는 본 발명의 일 실시예에 따른 혼합 현실 제작 장치에서 단말의 싱글 카메라를 이용한 혼합 현실을 제작하는 방법의 순서도이다. 도 5에 도시된 혼합 현실 제작 장치(100)에서 단말의 싱글 카메라를 이용한 혼합 현실을 제작하는 방법은 도 1 내지 도 4에 도시된 실시예에 따라 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 4에 도시된 실시예에 따른 혼합 현실 제작 장치(100)에서 단말의 싱글 카메라를 이용한 혼합 현실을 제작하는 방법에도 적용된다.
단계 S510에서 혼합 현실 제작 장치(100)는 실시간으로 촬영되는 영상에서 바닥 평면 및 대상 객체를 검출할 수 있다.
단계 S520에서 혼합 현실 제작 장치(100)는 바닥 평면에 기초한 가상 바닥 평면 및 적어도 하나의 가상 객체를 포함하는 가상 공간을 생성할 수 있다.
단계 S530에서 혼합 현실 제작 장치(100)는 대상 객체의 가상 공간에서의 위치값을 계산할 수 있다.
단계 S540에서 혼합 현실 제작 장치(100)는 대상 객체 및 적어도 하나의 가상 객체의 가상 공간에서의 위치값에 기초하여 대상 객체와 적어도 하나의 가상 객체간의 공간적 배열을 결정할 수 있다.
단계 S550에서 혼합 현실 제작 장치(100)는 대상 객체와 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 대상 객체를 가상 공간에 가상 객체화할 수 있다. 여기서, 대상 객체와 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 대상 객체와 적어도 하나의 가상 객체 사이의 가려짐 효과가 표현될 수 있다.
상술한 설명에서, 단계 S510 내지 S550은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 1 내지 도 5를 통해 설명된 혼합 현실 제작 장치에서 단말의 싱글 카메라를 이용한 혼합 현실을 제작하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 5를 통해 설명된 혼합 현실 제작 장치에서 단말의 싱글 카메라를 이용한 혼합 현실을 제작하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 혼합 현실 제작 장치
110: 검출부
120: 가상 공간 생성부
130: 위치값 계산부
140: 공간적 배열 결정부
150: 가상 객체화부

Claims (13)

  1. 단말의 싱글 카메라를 이용한 혼합 현실(MR: Mixed Reality) 제작 방법에 있어서,
    실시간으로 촬영되는 영상에서 바닥 평면 및 대상 객체를 검출하는 단계;
    상기 바닥 평면에 기초한 가상 바닥 평면 및 적어도 하나의 가상 객체를 포함하는 가상 공간을 생성하는 단계;
    상기 대상 객체의 상기 가상 공간에서의 위치값을 계산하는 단계;
    상기 대상 객체 및 상기 적어도 하나의 가상 객체의 상기 가상 공간에서의 위치값에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열을 결정하는 단계; 및
    상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체를 상기 가상 공간에 가상 객체화하는 단계
    를 포함하고,
    상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체 사이의 가려짐 효과가 표현되며,
    상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열을 결정하는 단계는
    상기 싱글 카메라로부터, 상기 대상 객체의 최하단 지점으로부터의 레이 캐스트(ray cast)와 상기 가상 바닥 평면과의 접점에 대한 상기 가상 바닥 평면에서의 3차원 좌표값까지의 제 1 거리값과 상기 싱글 카메라로부터 상기 적어도 하나의 가상 객체의 상기 가상 바닥 평면에서의 3차원 좌표값까지의 제 2 거리값을 계산하는 단계
    를 포함하는 것인, 혼합 현실 제작 방법.
  2. 제 1 항에 있어서,
    상기 대상 객체의 상기 가상 공간에서의 위치값을 계산하는 단계는
    상기 대상 객체의 상기 최하단 지점을 검출하는 단계; 및
    상기 레이 캐스트(ray cast)와 상기 가상 바닥 평면과의 접점을 탐지하는 단계
    를 포함하는 것인, 혼합 현실 제작 방법.
  3. 제 2 항에 있어서,
    상기 대상 객체의 상기 가상 공간에서의 위치값을 계산하는 단계는
    상기 레이 캐스트와 상기 가상 바닥 평면과의 접점에 대한 상기 가상 바닥 평면에서의 상기 3차원 좌표값을 결정하는 단계
    를 더 포함하는 것인, 혼합 현실 제작 방법.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열을 결정하는 단계는
    상기 제 1 거리값 및 상기 제 2 거리값에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열을 결정하는 단계
    를 더 포함하는 것인, 혼합 현실 제작 방법.
  6. 제 1 항에 있어서,
    상기 대상 객체를 상기 가상 공간에 가상 객체화하는 단계는
    상기 대상 객체에 해당하는 메쉬 마스크(Mesh Mask)를 생성하는 단계; 및
    상기 적어도 하나의 가상 객체에서 상기 메쉬 마스크에 의해 가려지는 부분의 렌더링을 비활성화하는 단계
    를 포함하는 것인, 혼합 현실 제작 방법.
  7. 싱글 카메라를 이용한 혼합 현실(MR: Mixed Reality) 제작 장치에 있어서,
    실시간으로 촬영되는 영상에서 바닥 평면 및 대상 객체를 검출하는 검출부;
    상기 바닥 평면에 기초한 가상 바닥 평면 및 적어도 하나의 가상 객체를 포함하는 가상 공간을 생성하는 가상 공간 생성부;
    상기 대상 객체의 상기 가상 공간에서의 위치값을 계산하는 위치값 계산부;
    상기 대상 객체 및 상기 적어도 하나의 가상 객체의 상기 가상 공간에서의 위치값에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열을 결정하는 공간적 배열 결정부; 및
    상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체를 상기 가상 공간에 가상 객체화하는 가상 객체화부
    를 포함하고,
    상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체 사이의 가려짐 효과가 표현되며,
    상기 공간적 배열 결정부는 상기 싱글 카메라로부터, 상기 대상 객체의 최하단 지점으로부터의 레이 캐스트(ray cast)와 상기 가상 바닥 평면과의 접점에 대한 상기 가상 바닥 평면에서의 3차원 좌표값까지의 제 1 거리값과 상기 싱글 카메라로부터 상기 적어도 하나의 가상 객체의 상기 가상 바닥 평면에서의 3차원 좌표값까지의 제 2 거리값을 계산하는 것인, 혼합 현실 제작 장치.
  8. 제 7 항에 있어서,
    상기 위치값 계산부는 상기 대상 객체의 상기 최하단 지점을 검출하고, 상기 레이 캐스트(ray cast)와 상기 가상 바닥 평면과의 접점을 탐지하는 것인, 혼합 현실 제작 장치.
  9. 제 8 항에 있어서,
    상기 위치값 계산부는 상기 레이 캐스트와 상기 가상 바닥 평면과의 접점에 대한 상기 가상 바닥 평면에서의 상기 3차원 좌표값을 결정하는 것인, 혼합 현실 제작 장치.
  10. 삭제
  11. 제 7 항에 있어서,
    상기 공간적 배열 결정부는 상기 제 1 거리값 및 상기 제 2 거리값에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열을 결정하는 것인, 혼합 현실 제작 장치.
  12. 제 7 항에 있어서,
    상기 가상 객체화부는 상기 대상 객체에 해당하는 메쉬 마스크(Mesh Mask)를 생성하고, 상기 적어도 하나의 가상 객체에서 상기 메쉬 마스크에 의해 가려지는 부분의 렌더링을 비활성화하는 것인, 혼합 현실 제작 장치.
  13. 단말의 싱글 카메라를 이용한 혼합 현실(MR: Mixed Reality)을 제작하는 명령어들의 시퀀스를 포함하는 컴퓨터 판독가능 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우,
    실시간으로 촬영되는 영상에서 바닥 평면 및 대상 객체를 검출하고,
    상기 바닥 평면에 기초한 가상 바닥 평면 및 적어도 하나의 가상 객체를 포함하는 가상 공간을 생성하고,
    상기 대상 객체의 상기 가상 공간에서의 위치값을 계산하고,
    상기 대상 객체 및 상기 적어도 하나의 가상 객체의 상기 가상 공간에서의 위치값에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열을 결정하고,
    상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체를 상기 가상 공간에 가상 객체화하고,
    상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열에 기초하여 상기 대상 객체와 상기 적어도 하나의 가상 객체 사이의 가려짐 효과가 표현되도록 하는 명령어들의 시퀀스를 포함하고,
    상기 대상 객체와 상기 적어도 하나의 가상 객체간의 공간적 배열을 결정하는 명령어는,
    상기 싱글 카메라로부터, 상기 대상 객체의 최하단 지점으로부터의 레이 캐스트(ray cast)와 상기 가상 바닥 평면과의 접점에 대한 상기 가상 바닥 평면에서의 3차원 좌표값까지의 제 1 거리값과 상기 싱글 카메라로부터 상기 적어도 하나의 가상 객체의 상기 가상 바닥 평면에서의 3차원 좌표값까지의 제 2 거리값을 계산하는 것인, 매체에 저장된 컴퓨터 프로그램.
KR1020180109069A 2018-09-12 2018-09-12 단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램 KR102521221B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180109069A KR102521221B1 (ko) 2018-09-12 2018-09-12 단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180109069A KR102521221B1 (ko) 2018-09-12 2018-09-12 단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
KR20200030326A KR20200030326A (ko) 2020-03-20
KR102521221B1 true KR102521221B1 (ko) 2023-04-13

Family

ID=69958099

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180109069A KR102521221B1 (ko) 2018-09-12 2018-09-12 단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR102521221B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102433670B1 (ko) * 2021-07-28 2022-08-18 에스지 주식회사 실물 이미지를 이용한 공간의 위치 기반 가상 환경 제공 시스템
WO2023163426A1 (ko) * 2022-02-25 2023-08-31 주식회사 펌킨컴퍼니 메타버스를 활용한 실시간 애완동물 상태확인 방법 및 이를 수행하는 디바이스
KR102502116B1 (ko) 2022-08-09 2023-02-23 에스지 주식회사 가상현실과 증강현실 기반의 가상 환경 제공시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8587583B2 (en) * 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
KR101940720B1 (ko) * 2016-08-19 2019-04-17 한국전자통신연구원 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법

Also Published As

Publication number Publication date
KR20200030326A (ko) 2020-03-20

Similar Documents

Publication Publication Date Title
CN102938844B (zh) 利用立体成像生成自由视点视频
US11010958B2 (en) Method and system for generating an image of a subject in a scene
CN112513712B (zh) 具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法
US8411092B2 (en) 2D imposters for simplifying processing of plural animation objects in computer graphics generation
KR102521221B1 (ko) 단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램
KR102156402B1 (ko) 영상 처리 방법 및 장치
KR20170086077A (ko) 증강 현실 장면에서의 드로잉을 위한 깊이 정보의 사용
KR101227255B1 (ko) 마커 크기 기반 인터렉션 방법 및 이를 구현하기 위한 증강 현실 시스템
US10431006B2 (en) Multisensory augmented reality
US20230333637A1 (en) System and method for a blended reality user interface and gesture control system
GB2481366A (en) 3D interactive display and pointer control
US11417065B2 (en) Methods and systems for reprojection in augmented-reality displays
US11189057B2 (en) Provision of virtual reality content
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
TW202121155A (zh) 互動對象的驅動方法、裝置、設備以及電腦可讀儲存介質
CN104349157A (zh) 3d显示装置及其方法
KR102148103B1 (ko) 스테레오 카메라를 장착한 드론을 이용한 혼합현실 환경 생성 방법 및 장치
JP2021016547A (ja) プログラム、記録媒体、物体検出装置、物体検出方法及び物体検出システム
WO2023120770A1 (ko) 3차원 공간에서 생성한 인지적 매쉬 정보와 가상 객체들간의 상호작용 방법 및 그 장치
KR20200117685A (ko) 가상 객체 인식 방법, 상기 가상 객체를 이용한 증강 현실 콘텐츠 제공 방법 및 이를 위한 증강 방송 시스템
JP2020513123A (ja) イメージに動的エフェクトを適用する方法および装置
Davies et al. Stereoscopic human detection in a natural environment
Carozza et al. Robust 6-DOF immersive navigation using commodity hardware
JP6613099B2 (ja) 仮想現実空間を立体的に表示するためのプログラム、コンピュータ及びヘッドマウントディスプレイシステム
WO2020193703A1 (en) Techniques for detection of real-time occlusion

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant