KR101724360B1 - 혼합현실 디스플레이 장치 - Google Patents

혼합현실 디스플레이 장치 Download PDF

Info

Publication number
KR101724360B1
KR101724360B1 KR1020160082974A KR20160082974A KR101724360B1 KR 101724360 B1 KR101724360 B1 KR 101724360B1 KR 1020160082974 A KR1020160082974 A KR 1020160082974A KR 20160082974 A KR20160082974 A KR 20160082974A KR 101724360 B1 KR101724360 B1 KR 101724360B1
Authority
KR
South Korea
Prior art keywords
map
depth
virtual
received
color
Prior art date
Application number
KR1020160082974A
Other languages
English (en)
Inventor
남상훈
권정흠
김영욱
유범재
Original Assignee
재단법인 실감교류인체감응솔루션연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 실감교류인체감응솔루션연구단 filed Critical 재단법인 실감교류인체감응솔루션연구단
Priority to KR1020160082974A priority Critical patent/KR101724360B1/ko
Application granted granted Critical
Publication of KR101724360B1 publication Critical patent/KR101724360B1/ko
Priority to PCT/KR2017/006105 priority patent/WO2018004154A1/ko
Priority to US16/311,817 priority patent/US20190206119A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G06T15/405—Hidden part removal using Z-buffer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 실시예에 따른 혼합현실 디스플레이 장치는 가상현실에서 씬(Scene)의 정보를 이용하여 가상 객체를 생성한 후, 가상 객체에 대한 색상 맵 및 깊이 맵을 생성하는 가상 환경 렌더링부, 실제 환경의 정보를 이용하여 실제 객체에 대한 깊이 맵을 생성하는 깊이 렌더링부, 상기 가상 환경 렌더링부로부터 수신된 상기 가상 객체에 대한 색상 맵 및 깊이 맵, 상기 깊이 렌더링부로부터 수신된 상기 실제 객체에 대한 깊이 맵 및 시스루 카메라로부터 수신된 상기 실제 객체에 대한 색상 맵을 이용하여 폐색 처리를 실행하는 폐색 처리부 및 상기 폐색 처리부로부터 수신된 상기 가상 객체의 색상 맵 및 상기 실제 객체의 색상 맵을 이용하여 색상 이미지를 출력하는 디스플레이부를 포함한다.

Description

혼합현실 디스플레이 장치{MIXED REALITY DISPLAY APPARATUS}
본 발명의 실시예들은 혼합현실 디스플레이 장치에 관한 것이다.
실제 현실에서 시스루(See-through) 카메라를 이용하여 가상 객체를 증강하여 실제 객체와 가상 객체가 혼합된 현실을 볼 수 있다. 이때, 가상 객체의 위치가 실제 객체 뒤에 있어서 실제 객체가 가상 객체를 가릴 경우 가상 객체의 일부 혹은 전체가 보이지 않아야 한다.
상기와 같이, 가상 객체의 일부 혹은 전체가 실제 객체에 가려서 보이지 않도록 하는 실제 객체와 가상 객체 사이의 폐색(Occlusion) 효과는 실제 객체의 깊이 맵 및 가상 객체의 깊이 맵을 각각 생성한 후 실제 객체의 깊이 맵과 가상 객체의 깊이 맵을 픽셀 단위로 비교하여 깊이가 낮은 픽셀을 선택하고, 색상 맵에서 해당 위치와 동일한 픽셀의 색상을 보여줌으로써 그 효과를 얻을 수 있다.
가상 객체의 깊이 맵 및 색상 맵은 가상 객체를 렌더링하는 과정에서 얻을 수 있다. 하지만, 실제 객체는 시스루 카메라를 통해 색상 맵을 얻을 수 있으나 깊이 맵의 경우 실제 객체에 대한 가상 모델이 없기 때문에 이러한 방법을 그대로 적용할 수 없다는 문제점이 있다.
본 발명은 실제 객체에 대한 정밀한 깊이 맵을 생성하여 실제 환경과 가상 환경이 자연스럽게 혼합된 환경을 실현할 수 있도록 하는 혼합현실 디스플레이 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 깊이 렌더링 엔진과 가상 환경 렌더링 엔진이 독립적으로 구성되어 파이프라인(pipeline) 구조를 가지기 때문에 하나의 그래픽스 장치에서 처리될 수 있고 여러 그래픽스 장치에서도 분할되어 처리될 수 있도록 하는 혼합현실 디스플레이 장치를 제공하는 것을 목적으로 한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
실시예들 중에서, 혼합현실 디스플레이 장치는 가상현실에서 씬(Scene)의 정보를 이용하여 가상 객체를 생성한 후, 가상 객체에 대한 색상 맵 및 깊이 맵을 생성하는 가상 환경 렌더링부, 실제 환경의 정보를 이용하여 실제 객체에 대한 깊이 맵을 생성하는 깊이 렌더링부, 상기 가상 환경 렌더링부로부터 수신된 상기 가상 객체에 대한 색상 맵 및 깊이 맵, 상기 깊이 렌더링부로부터 수신된 상기 실제 객체에 대한 깊이 맵 및 시스루 카메라로부터 수신된 상기 실제 객체에 대한 색상 맵을 이용하여 폐색 처리를 실행하는 폐색 처리부 및 상기 폐색 처리부로부터 수신된 상기 가상 객체의 색상 맵 및 상기 실제 객체의 색상 맵을 이용하여 색상 이미지를 출력하는 디스플레이부를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
본 발명에 따르면, 실제 객체에 대한 정밀한 깊이 맵을 생성하여 실제 환경과 가상 환경이 자연스럽게 혼합된 환경을 실현할 수 있다는 장점이 있다.
또한 본 발명에 따르면, 깊이 렌더링 엔진과 가상 환경 렌더링 엔진이 독립적으로 구성되어 파이프라인(pipeline) 구조를 가지기 때문에 하나의 그래픽스 장치에서 처리될 수 있고 여러 그래픽스 장치에서 분할되어 처리될 수 있다는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 혼합현실 디스플레이 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 다른 일 실시예에 따른 혼합현실 디스플레이 장치를 설명하기 위한 블록도이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 폐색 효과를 설명하기 위한 도면이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
본 명세서에서 사용된 용어 중 “깊이 맵”은 실제 객체 또는 가상 객체의 깊이를 픽셀로 표현한 이미지이다.
예를 들어, 제1 물체가 제2 물체의 뒤에 있다면 제1 물체는 제2 물체보다 깊이가 깊기 때문에 제1 물체에 대한 픽셀은 제2 물체에 대한 픽셀보다 깊은 깊이 값이 할당될 것이다. 즉, 낮은 깊이 값은 대응 물체가 사용자에게 가깝다는 것을 의미하고, 깊은 깊이 값은 대응 물체가 사용자로부터 멀리 있다는 것을 의미한다.
본 명세서에서 사용된 용어 중 “색상 맵”은 실제 객체 또는 가상 객체의 색상을 픽셀로 표현한 이미지이다.
본 명세서에서 사용된 용어 중 “알파 맵”은 각각의 픽셀에 대해서 마스크 또는 알파 값을 가지는 이미지이다.
도 1은 본 발명의 일 실시예에 따른 혼합현실 디스플레이 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 혼합현실 디스플레이 장치는 가상 환경 렌더링부(110), 깊이 렌더링부(120), 폐색 처리부(130), 디스플레이부(140), 시스루 카메라(150), 색상 맵 제공부(160)를 포함한다.
가상 환경 렌더링부(110)는 가상현실에서 씬(Scene)의 정보를 이용하여 가상 객체를 생성한 후, 가상 객체에 대한 색상 맵 및 깊이 맵을 생성한다. 이러한 가상 환경 렌더링부(110)는 가상 환경 씬 모듈(111), 렌더링 모듈(112) 및 색상/깊이 맵 제공 모듈(113)을 포함한다.
가상 환경 씬 모듈(111)은 가상 객체의 정보를 가지고 구성된 가상 환경을 제공한다.
렌더링 모듈(112)은 가상 환경 씬 모듈(111)에서 제공된 가상 환경에 대한 렌더링을 실행하여 렌더링 과정에서 가상 환경의 가상 객체에 대한 깊이 맵 및 색상 맵을 생성한다.
색상/깊이 맵 제공 모듈(113)은 렌더링 모듈(112)에 의해 생성된 깊이 맵 및 색상 맵을 깊이 렌더링부(120)에 제공한다.
깊이 렌더링부(120)는 실제 환경의 정보(즉, 실제 객체 모델)를 이용하여 실제 환경의 실제 객체에 대한 깊이 맵을 생성한다. 상기의 깊이 렌더링부(120)는 기존의 가상 환경 렌더링부(110)와는 독립적으로 구성되어 전체 그래픽스 렌더링부는 2개의 독립된 파이프라인(pipeline) 구조를 갖는다.
파이프라인 구조의 깊이 렌더링부(120) 및 가상 환경 렌더링부(110) 각각은 하나의 그래픽스 장치(예를 들어, GPU)에서 처리될 수 있고 여러 그래픽스 장치에서 분할되어 처리될 수 있다.
이러한 깊이 렌더링부(120)는 실제 객체 모델 모듈(121), 환경 스캔 모듈(122), 깊이 렌더링 모듈(123) 및 깊이 맵 제공 모듈(124)을 포함한다.
실제 객체 모델 모듈(121)은 실제 환경의 실제 객체와 동일하게 모델링된 객체를 깊이 렌더링 모듈(123)에 제공한다.
환경 스캔 모듈(122)은 실제 환경을 스캔하여 실제 객체에 대한 포인트 클라우드(point cloud) 또는 메쉬(Mesh) 모델을 생성한다. 상기 포인트 클라우드 및 메쉬 모델은 이하의 깊이 렌더링 모듈(123)에서 깊이 렌더링을 수행하여 깊이 맵을 생성할 때 사용된다. 이러한 설명은 깊이 렌더링 모듈(123)에서 보다 구체적으로 설명하기로 한다.
포인트 클라우드는 3차원 장면을 묘사하는 3차원 좌표계에서의 포인트들의 집합으로, 포인트 클라우드에서의 포인트들은 물체들의 외부 표면들을 나타낸다.
메쉬 모델은 면(Face), 노드(Vertex) 및 에지(Edge)를 포함하는 닫힌 구조를 말한다. 예를 들어, 메쉬는 삼각형으로 이루어질 수 있으며, 사각형, 오각형 등의 다각형으로 이루어질 수도 있다.
상기와 같은 메쉬는 메쉬의 크기 또는 면적이 주어지면, 모델링 된 형상에 따라 자동적으로 수십 개로부터 수천 및 수만 개 정도로 형성될 수 있으며, 이러한 메쉬 생성은 3차원 형상을 모델링 하는 분야에서 이미 알려져 있는 기법이 적용될 수 있다.
깊이 렌더링 모듈(123)은 실제 객체 모델 모듈(121)로부터 수신된 실제 객체 모델 또는 환경 스캔 모듈(122)로부터 수신된 메쉬 모델 또는 포인트 클라우드를 이용하여 깊이 레더링을 실행하여 깊이 맵을 생성한다.
일 실시예에서, 깊이 렌더링 모듈(123)은 실제 객체 모델 모듈(121)로부터 수신된 실제 객체와 동일하게 모델링한 객체를 사용하여 실제 환경과 동일한 씬을 구성하고, 씬을 이용하여 실시간으로 깊이 맵을 생성한다.
상기의 실시예에서, 깊이 렌더링 모듈(123)은 실제 객체의 종류가 동적 객체인 경우 환경 스캔 모듈(122)로부터 수신된 정보를 이용하여 동적 객체의 위치 및 회전을 추적 및 예측하여 깊이 렌더링에서의 위치 및 회전을 동적으로 변경시킬 수 있다.
이에 따라, 깊이 렌더링 모듈(123)은 실제 객체의 종류가 동적 객체이더라도 객체의 위치 및 회전을 추적 및 예측하여 깊이 렌더링에서의 위치 및 회전을 동적으로 변경시킴으로써 실제 환경을 그대로 시뮬레이션할 수 있다.
또 다른 일 실시예에서, 깊이 렌더링 모듈(123)은 환경 스캔 모듈(122)로부터 수신된 포인트 클라우드 각각의 포인트를 디스플레이 상의 픽셀과 매핑하여 깊이 맵을 생성한다.
상기와 같이 깊이 렌더링 모듈(123)이 깊이 렌더링을 할 때 환경 스캔 모듈(122)로부터 포인트 클라우드를 수신한 즉시 깊이 렌더링을 실행하여 깊이 맵을 생성한다.
만일, 깊이 렌더링 모듈(123)은 환경 스캔 모듈(122)로부터 포인트 클라우드를 수신한 즉시 깊이 렌더링을 실행하지 않고 특정 시간 후에 깊이 렌더링을 실행하는 경우 깊이 렌더링을 통해 생성된 깊이 맵이 정확하지 않다.
이와 같은 이유는 환경 스캔 모듈(122)에 의해 스캔된 실제 환경의 실제 객체는 변경될 수 있기 때문이다. 따라서, 깊이 렌더링 모듈(123)은 환경 스캔 모듈(122)로부터 포인트 클라우드를 수신한 즉시 깊이 렌더링을 실행하여 깊이 맵을 생성한다.
깊이 맵 제공 모듈(124)은 깊이 렌더링 모듈(123)에서 깊이 렌더링을 통해 생성된 깊이 맵을 폐색 처리부(130)에 제공한다.
폐색 처리부(130)는 가상 환경 렌더링부(110)의 컬러/깊이 맵 제공 모듈(124)로부터 수신된 가상 객체의 깊이 맵과 색상 맵, 깊이 렌더링부(120)의 깊이 맵 제공 모듈(124)로부터 수신된 실제 객체의 깊이 맵 및 시스루 카메라(150)로부터 수신된 실제 객체의 색상 맵을 이용하여 폐색 처리를 실행한다.
보다 구체적으로, 폐색 처리부(130)는 실제 객체의 깊이 맵과 가상 객체의 깊이 맵을 픽셀 단위로 비교하며 깊이가 동일한 픽셀의 경우 실제 객체가 가상 객체를 가리고 있지 않다고 판단하며, 깊이가 상이한 픽셀의 경우 실제 객체가 가상 객체를 가리고 있다고 판단한다.
이러한 이유는 실제 객체가 가상 객체를 가리지 않고 있는 경우 실제 객체가 가상 객체가 분리되어 있기 때문에 동일한 깊이 값이 할당되어 깊이 맵이 생성되지만, 실제 객체가 가상 객체를 가리지 있는 경우 가상 객체가 실제 객체보다 뒤에 있기 때문에 해당 픽셀에서 가상 객체의 깊이 값은 실제 객체의 깊이 값보다 깊은 깊이 값이 할당되어 있기 때문이다.
따라서, 폐색 처리부(130)는 실제 객체의 깊이 맵과 가상 객체의 깊이 맵을 픽셀 단위로 비교한 결과 깊이가 상이한 픽셀의 경우 낮은 깊이의 픽셀을 선택하고, 실제 객체의 색상 맵에서 해당 위치와 동일한 픽셀의 색상을 보여주는 것이다.
즉, 가상 객체의 위치가 실제 객체 뒤에 있어서 실제 객체가 가상 객체를 가릴 경우 가려는 지는 부분의 픽셀에 대해서는 실제 객체의 깊이 맵의 깊이 값이 가상 객체의 깊이 값보다 낮기 때문에 실제 객체의 깊이 맵에서 해당 픽셀을 선택한 후, 실제 객체의 색상 맵에서 동일한 픽셀의 색상을 디스플레이부(140)를 통해 출력한다.
이러한 경우, 실제 객체의 색상 맵에서 동일한 픽셀의 색상을 보여주고 가상 객체의 색상 맵에서 해당 픽셀의 색상을 보여주지 않기 때문에, 가상 객체의 위치가 실제 객체 뒤에 있어서 실제 객체가 가상 객체를 가리더라도 가상 객체의 일부 혹은 전체가 보이지 않는 것이다.
시스루 카메라(150)는 사용자로 하여금 가상 객체 표현을 디스플레이하고 있는 하나 이상의 부분적으로 투명한 픽셀을 거쳐 실제 객체를 볼 수 있도록 한다. 시스루 카메라(150)는 실제 환경의 실제 객체에 대한 색상 맵 제공부(160)를 통해 폐색 처리부(130)에 제공한다.
종래에는 실제 객체는 시스루 카메라를 통해 색상 맵을 얻을 수 있으나 깊이 맵의 경우 실제 객체에 대한 가상 모델이 없기 때문에 이러한 방법을 그대로 적용할 수 없다는 문제점이 있었으나, 상기와 같이 깊이 렌더링부(120)를 통해 정밀한 깊이 맵을 생성한 후 실제 환경과 가상 환경이 자연스럽게 혼합된 환경을 실현할 수 있다.
도 2는 본 발명의 다른 일 실시예에 따른 혼합현실 디스플레이 장치를 설명하기 위한 블록도이다. 도 2의 실시예는 실제 객체가 가상 객체를 가려 가상 객체의 일부 혹은 전체가 보이지 않도록 하는 폐색 효과 처리를 위해 FPGA로 사용하여 독립적으로 구현한 일 실시예에 관한 것이다.
도 2를 참조하면, 혼합현실 디스플레이 장치는 가상 환경 렌더링부(110), 깊이 렌더링부(120), 폐색 처리부(130), 시스루 카메라(150), 색상 맵 제공부(160), 맵 제공부(170) 및 합성 처리부(180)를 포함한다. 가상 환경 렌더링부(110) 및 깊이 렌더링부(120)은 도 1에서 설명하였으므로 이에 대한 상세한 설명은 생략하기로 한다.
폐색 처리부(130)는 가상 환경 렌더링부(110)의 컬러/깊이 맵 제공 모듈(124)로부터 수신된 가상 객체의 깊이 맵과 색상 맵, 깊이 렌더링부(120)의 깊이 맵 제공 모듈(124)로부터 수신된 실제 객체의 깊이 맵 및 시스루 카메라(150)로부터 수신된 실제 객체의 색상 맵을 이용하여 알파 맵을 생성한다. 여기에서, 알파 맵은 각각의 픽셀에 대해서 마스크 또는 알파 값을 가지는 이미지를 의미한다.
도 1의 실시예에서는 폐색 처리부(130)가 실제 객체의 깊이 맵과 가상 객체의 깊이 맵을 픽셀 단위로 비교하여 비교한 결과 깊이가 상이한 픽셀의 경우 낮은 깊이의 픽셀을 선택하고, 실제 객체의 색상 맵에서 해당 위치와 동일한 픽셀의 색상을 보여주어 실제 객체와 가상 객체 사이의 폐색 효과를 처리하였다.
도 1의 실시예와는 달리, 도 2의 폐색 처리부(130)는 도 1과 같은 폐색 처리를 실행하지 않고 폐색 효과를 처리하기 위한 마스크 또는 알파 값을 가지는 알파 맵을 생성한다.
이러한 알파 맵은 이하에서 설명할 합성 모듈(181)에서 실제 객체의 색상 맵의 픽셀 및 가상 객체의 색상 맵의 픽셀 중 적어도 하나를 출력할 때 참조가 된다. 이러한 과정은 이하의 합성 모듈(181)에서 보다 구체적으로 설명하기로 한다.
폐색 처리부(130)는 알파 맵 및 가상 객체의 색상 맵을 합성 처리부(180)의 합성 모듈(181)에 제공한다.
합성 처리부(180)는 맵 제공부(170)로부터 수신된 알파 맵과 가상 현실의 가상 객체에 대한 색상 맵과 시스루 카메라(150)로부터 수신된 실제 객체의 색상 맵을 이용하여
합성 모듈(181)는 알파 맵을 이용하여 특정 픽셀이 마스크 형식 또는 알파 형식인지 여부에 따라 시스루 카메라(150)로부터 수신된 실제 객체의 색상 맵의 픽셀 및 가상 객체의 색상 맵의 픽셀 중 적어도 하나를 디스플레이 모듈(182)를 통해 출력한다.
일 실시예에서, 합성 모듈(181)는 알파 맵에서 특정 픽셀이 마스크 형식이면 마스크가 0인지 또는 1인지에 따라 시스루 카메라(150)로부터 수신된 실제 객체의 색상 맵의 픽셀 또는 가상 객체의 색상 맵의 픽셀을 출력한다.
상기의 실시예에서, 합성 모듈(181)는 마스크가 0이면, 시스루 카메라(150)로부터 수신된 실제 객체의 색상 맵의 픽셀을 디스플레이 모듈(182)를 통해 출력한다. 이에 따라, 가상 객체의 색상 맵의 픽셀은 가려지고 시스루 카메라(150)로부터 수신된 실제 객체의 색상 맵의 픽셀이 출력되는 것이다.
한편, 합성 모듈(181)는 알파 맵에서 픽셀이 마스크를 나타내고 마스크가 1이면, 가상 객체의 색상 맵의 픽셀을 디스플레이 모듈(182)를 통해 출력한다. 이에 따라, 시스루 카메라(150)로부터 수신된 실제 객체의 색상 맵의 픽셀은 가려지고 가상 객체의 색상 맵의 픽셀이 출력되는 것이다.
또 다른 일 실시예에서, 합성 모듈(181)는 알파 맵에서 특정 픽셀이 형식이면 알파 값에 따라 카메라로부터 수신된 실제 객체의 색상 맵의 픽셀 및 가상 객체의 색상 맵의 픽셀에 대한 블렌딩 계산을 실행하여 실제 객체의 색상 맵의 픽셀 및 가상 객체의 색상 맵의 픽셀을 함께 출력한다.
본 발명에서 알파 값을 사용하는 이유는 카메라로부터 수신된 실제 객체의 색상 맵의 픽셀 및 가상 객체의 색상 맵의 픽셀을 함께 표시할 때 투명도를 결정하기 위해서이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 폐색 효과를 설명하기 위한 도면이다.
도 3 내지 도 5를 참조하면, 실제 현실에서 시스루 카메라를 이용하여 가상 객체를 증강하여 실제 객체와 가상 객체가 혼합된 현실을 볼 수 있다. 이때, 가상 객체의 위치가 실제 객체 뒤에 있어서 실제 객체가 가상 객체를 가릴 경우 가상 객체의 일부 혹은 전체가 보이지 않아야 한다.
도 3과 같이 실제 현실에서 시스루 카메라를 이용하여 가상 객체인 원기둥(210) 및 정육면체(220)를 증강하여 실제 객체인 책상(200)과 가상 객체인 원기둥(210) 및 정육면체(220)가 혼합된 현실을 볼 수 있다. 이때, 가상 객체인 정육면체(220)의 위치가 실제 객체인 책상(200)의 뒤에 있어서 실제 객체인 책상(200)이 가상 객체인 정육면체(220)를 가릴 경우 가상 객체인 정육면체(220)의 일부가 보이지 않아야 한다.
이를 위해, 혼합현실 디스플레이 장치는 실제 객체인 책상(200)의 깊이 맵 및 가상 객체인 정육면체(220)의 깊이 맵을 각각 생성한 후 실제 객체인 책상(200)의 깊이 맵과 가상 객체인 정육면체(220)의 깊이 맵을 픽셀 단위로 비교하여 깊이가 낮은 픽셀을 선택하고, 실체 객체인 책상(200)의 색상 맵에서 해당 위치와 동일한 픽셀의 색상을 보여줌으로써 가상 객체인 정육면체(220)의 일부가 실제 객체인 책상(200)에 가려서 보이지 않도록 한다.
혼합현실 디스플레이 장치는 도 4와 같이 실제 객체인 책상(200)의 깊이 맵(201)과 가상 객체인 원기둥(201) 및 정육면체(220)의 깊이 맵(203)을 픽셀 단위로 비교하며 책상의 깊이 값이 더 멀리 있는 픽셀의 경우 실제 객체인 책상(200)이 가상 객체인 정육면체(220)를 가리고 있지 않다고 판단하며, 깊이가 가까이 있는 픽셀의 경우 실제 객체인 책상(200)이 가상 객체인 정육면체(220)를 가리고 있다고 판단한다.
이러한 이유는 실제 객체인 책상(200)이 가상 객체인 정육면체(220)를 가리지 않고 있는 경우 실제 객체가 가까이 있으므로 더 얕은 깊이 값이 할당되어 깊이 맵이 생성되지만, 실제 객체인 책상(200)이 가상 객체인 정육면체(220)를 가리는 경우 가상 객체인 정육면체(220)가 실제 객체인 책상(200)보다 뒤에 있기 때문에 해당 픽셀에서 가상 객체인 정육면체(220)의 깊이 값은 실제 객체인 책상(200)의 깊이 값보다 깊은 깊이 값이 할당되어 있기 때문이다.
따라서, 혼합현실 디스플레이 장치는 실제 객체인 책상(200)의 깊이 맵과 가상 객체인 정육면체(220)의 깊이 맵을 픽셀 단위로 비교한 결과 깊이가 실제 객체인 책상(200)의 깊이 맵의 깊이 값이 낮기 때문에 실제 객체인 책상(200)의 깊이 맵에서 픽셀을 선택하고, 실제 객체인 책상(200)의 색상 맵에서 해당 위치와 동일한 픽셀의 색상을 보여주는 것이다.
즉, 가상 객체인 정육면체(220)의 위치가 실제 객체인 책상(200) 뒤에 있어서 실제 객체인 책상(200)이 가상 객체인 정육면체(220)를 가릴 경우 가려는 지는 부분의 픽셀에 대해서는 실제 객체인 책상(200)의 깊이 맵의 깊이 값이 가상 객체인 정육면체(220)의 깊이 값보다 낮기 때문에 실제 객체인 책상(200)의 깊이 맵에서 해당 픽셀을 선택한 후, 실제 객체인 책상(200)의 색상 맵에서 동일한 픽셀의 색상을 출력한다.
혼합현실 디스플레이 장치는 상기와 같은 과정을 통해 생성된 도 5의 실제 객체의 색상 맵(201) 및 가상 객체의 색상 맵(202)을 이용하여 최종 이미지(203)을 보여줄 수 있다. 이때, 가상 객체의 정육면체(220) 중 일부는 실제 객체인 책상(200)에 의해 가려져 있어 해당 부분의 픽셀은 출력되지 않아 빈 공간으로 출력된다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
110: 가상 환경 렌더링부
120: 깊이 렌더링부
130: 폐색 처리부
140: 디스플레이부
150: 시스루 카메라
160: 색상 맵 제공부
170: 맵 제공부
180: 합성 처리부

Claims (10)

  1. 가상현실에서 씬(Scene)의 정보를 이용하여 가상 객체를 생성한 후, 가상 객체에 대한 색상 맵 및 깊이 맵을 생성하는 가상 환경 렌더링부;
    실제 환경의 정보를 이용하여 실제 객체에 대한 깊이 맵을 생성하는 깊이 렌더링부;
    상기 가상 환경 렌더링부로부터 수신된 상기 가상 객체에 대한 색상 맵 및 깊이 맵, 상기 깊이 렌더링부로부터 수신된 상기 실제 객체에 대한 깊이 맵 및 시스루 카메라로부터 수신된 상기 실제 객체에 대한 색상 맵을 이용하여 폐색 처리를 실행하는 폐색 처리부; 및
    상기 폐색 처리부로부터 수신된 상기 가상 객체의 색상 맵 및 시스루 카메라로부터 수신된 상기 실제 객체의 색상 맵을 이용하여 색상 이미지를 출력하는 디스플레이부를 포함하고,
    상기 깊이 렌더링부는
    상기 실제 환경의 실제 객체와 동일하게 모델링된 객체를 제공하는 실제 객체 모델 모듈;
    실제 환경을 스캔하여 실제 객체에 대한 포인트 클라우드 또는 메쉬 모델을 생성하는 환경 스캔 모듈;
    상기 실제 객체 모델 모듈로부터 수신된 실제 객체 모델 또는 환경 스캔 모듈로부터 수신된 메쉬 모델 또는 포인트 클라우드를 이용하여 깊이 레더링을 실행하여 깊이 맵을 생성하는 깊이 렌더링 모듈;
    상기 깊이 렌더링 모듈에서 깊이 렌더링을 통해 생성된 깊이 맵을 제공하는 깊이 맵 제공 모듈을 포함하는 것을 특징으로 하는
    혼합현실 디스플레이 장치.
  2. 제1항에 있어서,
    상기 가상 환경 렌더링부는
    가상 객체의 정보를 가지고 구성된 가상 환경을 제공하는 가상 환경 씬 모듈;
    가상 환경 씬 모듈에서 제공된 가상 객체에 대한 렌더링을 실행하여 렌더링 과정에서 가상 객체의 깊이 맵 및 색상 맵을 생성하는 렌더링 모듈;
    상기 렌더링 모듈에 의해 생성된 깊이 맵 및 색상 맵을 제공하는 색상/깊이 맵 제공 모듈을 포함하는 것을 특징으로 하는
    혼합현실 디스플레이 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 깊이 렌더링 모듈은
    상기 환경 스캔 모듈로부터 상기 포인트 클라우드가 수신되는 즉시 상기 포인트 클라우드 각각의 포인트를 픽셀과 매핑하여 깊이 맵을 생성하는 것을 특징으로 하는
    혼합현실 디스플레이 장치.
  5. 제1항에 있어서,
    상기 깊이 렌더링 모듈은
    상기 실제 객체 모델 모듈로부터 수신된 실제 객체와 동일하게 모델링한 객체를 사용하여 실제 환경과 동일한 씬을 구성하고, 상기 씬을 이용하여 깊이 맵을 생성하며, 상기 객체의 종류가 동적 객체인 경우 동적 객체의 위치 및 회전을 추적 및 예측하여 깊이 렌더링에서의 위치 및 회전을 동적으로 변경시키는
    혼합현실 디스플레이 장치.
  6. 제1항에 있어서,
    상기 폐색 처리부는
    상기 실제 객체의 깊이 맵과 상기 가상 객체의 깊이 맵을 픽셀 단위로 비교하며 깊이가 상이한 픽셀이 존재하는지 여부를 확인하고, 상기 확인 결과 실제 객체의 깊이 맵 및 가상 객체의 깊이 맵 중 특정 픽셀의 깊이가 상이한 경우 깊이가 낮은 픽셀을 선택하고, 대응되는 객체의 색상 맵에서 해당 위치와 동일한 픽셀의 색상을 보여주는 것을 특징으로 하는
    혼합현실 디스플레이 장치.
  7. 제1항에 있어서,
    상기 폐색 처리부는
    상기 가상 환경 렌더링부로부터 수신된 상기 가상 객체에 대한 색상 맵 및 깊이 맵, 상기 깊이 렌더링부로부터 수신된 상기 실제 객체에 대한 깊이 맵 및 시스루 카메라로부터 수신된 상기 실제 객체에 대한 색상 맵을 이용하여 알파 맵을 생성하는 것을 특징으로 하는
    혼합현실 디스플레이 장치.
  8. 제7항에 있어서,
    상기 폐색 처리부로부터 수신된 상기 알파 맵에서 특정 픽셀의 형식이 마스크 형식이면 마스크 값에 따라 가상 객체의 색상 맵의 픽셀 또는 시스루 카메라로부터 수신된 실제 객체의 색상 맵의 픽셀을 출력하고, 상기 폐색 처리부로부터 수신된 상기 알파 맵에서 특정 픽셀의 형식이 알파 형식이면 알파 값에 따라 가상 객체의 색상 맵의 픽셀 또는 시스루 카메라로부터 수신된 실제 객체의 색상 맵의 픽셀을 동시에 출력하는 합성 처리부를 포함하는 것을 특징으로 하는
    혼합현실 디스플레이 장치.
  9. 제8항에 있어서,
    상기 합성 처리부는
    상기 폐색 처리부로부터 수신된 상기 알파 맵에서 특정 픽셀의 형식이 마스크 형식이고 마스크 값이 0이면 상기 시스루 카메라로부터 수신된 실제 객체의 색상 맵의 픽셀을 출력하고, 상기 폐색 처리부로부터 수신된 상기 알파 맵에서 특정 픽셀의 형식이 마스크 형식이고 마스크 값이 1이면 시스루 카메라로부터 수신된 실제 객체의 색상 맵의 픽셀을 출력하는 것을 특징으로 하는
    혼합현실 디스플레이 장치.
  10. 제8항에 있어서,
    상기 합성 처리부는
    상기 폐색 처리부로부터 수신된 상기 알파 맵에서 특정 픽셀의 형식이 알파 형식이고 알파 값에 따라 시스루 카메라로부터 수신된 실제 객체의 색상 맵의 픽셀 및 가상 객체의 색상 맵의 픽셀에 대한 블렌딩 계산을 실행하는 것을 특징으로 하는
    혼합현실 디스플레이 장치.
KR1020160082974A 2016-06-30 2016-06-30 혼합현실 디스플레이 장치 KR101724360B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160082974A KR101724360B1 (ko) 2016-06-30 2016-06-30 혼합현실 디스플레이 장치
PCT/KR2017/006105 WO2018004154A1 (ko) 2016-06-30 2017-06-12 혼합현실 디스플레이 장치
US16/311,817 US20190206119A1 (en) 2016-06-30 2017-06-12 Mixed reality display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160082974A KR101724360B1 (ko) 2016-06-30 2016-06-30 혼합현실 디스플레이 장치

Publications (1)

Publication Number Publication Date
KR101724360B1 true KR101724360B1 (ko) 2017-04-07

Family

ID=58583508

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160082974A KR101724360B1 (ko) 2016-06-30 2016-06-30 혼합현실 디스플레이 장치

Country Status (3)

Country Link
US (1) US20190206119A1 (ko)
KR (1) KR101724360B1 (ko)
WO (1) WO2018004154A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190061696A (ko) 2017-11-28 2019-06-05 주식회사 디앤피코퍼레이션 스마트 폰의 움직임 구동에 의한 인터랙티브 ａｒ／ｍｒ 구현 장치 및 방법
WO2019107942A1 (ko) * 2017-12-01 2019-06-06 클릭트 주식회사 깊이데이터를 이용한 증강현실영상 제공방법 및 프로그램
KR20190136529A (ko) 2018-05-31 2019-12-10 모젼스랩(주) 혼합 현실 게임 생성 및 제공 시스템
KR20190136525A (ko) 2018-05-31 2019-12-10 모젼스랩(주) 헤드 마운트 디스플레이를 이용한 혼합 현실 게임 제공 시스템
KR20200002963A (ko) * 2017-04-27 2020-01-08 지멘스 악티엔게젤샤프트 증강 현실 및 가상 현실을 사용한 증강 현실 경험들의 저작
KR20200073487A (ko) 2018-12-14 2020-06-24 (주)이머시브캐스트 카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법
WO2024049110A1 (ko) * 2022-08-29 2024-03-07 삼성전자 주식회사 실 객체에 대한 깊이 정보를 이용하여 가상 객체를 보정하는 전자 장치 및 그 제어 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11494953B2 (en) * 2019-07-01 2022-11-08 Microsoft Technology Licensing, Llc Adaptive user interface palette for augmented reality
CN110544315B (zh) * 2019-09-06 2023-06-20 北京华捷艾米科技有限公司 虚拟对象的控制方法及相关设备
KR20210069491A (ko) * 2019-12-03 2021-06-11 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN113240692B (zh) * 2021-06-30 2024-01-02 北京市商汤科技开发有限公司 一种图像处理方法、装置、设备以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040006738A (ko) * 2002-07-15 2004-01-24 손광훈 계층적 변이 추정부 및 그 방법과 이를 이용한 스테레오혼합 현실 영상 합성 장치 및 그 방법
KR20080103469A (ko) * 2007-05-23 2008-11-27 캐논 가부시끼가이샤 복합 현실감 제시 장치 및 그 제어 방법, 및 컴퓨터판독가능한 매체

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4950834B2 (ja) * 2007-10-19 2012-06-13 キヤノン株式会社 画像処理装置、画像処理方法
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
KR20130068575A (ko) * 2011-12-15 2013-06-26 한국전자통신연구원 인터랙티브 증강 공간 제공 방법 및 시스템
US20130335405A1 (en) * 2012-06-18 2013-12-19 Michael J. Scavezze Virtual object generation within a virtual environment
US20140168261A1 (en) * 2012-12-13 2014-06-19 Jeffrey N. Margolis Direct interaction system mixed reality environments
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US20160307374A1 (en) * 2013-12-19 2016-10-20 Metaio Gmbh Method and system for providing information associated with a view of a real environment superimposed with a virtual object
KR101687017B1 (ko) * 2014-06-25 2016-12-16 한국과학기술원 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
US20160019718A1 (en) * 2014-07-16 2016-01-21 Wipro Limited Method and system for providing visual feedback in a virtual reality environment
US10156721B2 (en) * 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
KR101552585B1 (ko) * 2015-06-12 2015-09-14 (주)선운 이앤지 지상라이다를 이용한 가공송전선의 횡진측정 및 구조물과의 횡진이격거리 분석 및 산출방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040006738A (ko) * 2002-07-15 2004-01-24 손광훈 계층적 변이 추정부 및 그 방법과 이를 이용한 스테레오혼합 현실 영상 합성 장치 및 그 방법
KR20080103469A (ko) * 2007-05-23 2008-11-27 캐논 가부시끼가이샤 복합 현실감 제시 장치 및 그 제어 방법, 및 컴퓨터판독가능한 매체

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102358543B1 (ko) 2017-04-27 2022-02-03 지멘스 악티엔게젤샤프트 증강 현실 및 가상 현실을 사용한 증강 현실 경험들의 저작
KR20200002963A (ko) * 2017-04-27 2020-01-08 지멘스 악티엔게젤샤프트 증강 현실 및 가상 현실을 사용한 증강 현실 경험들의 저작
KR20190061696A (ko) 2017-11-28 2019-06-05 주식회사 디앤피코퍼레이션 스마트 폰의 움직임 구동에 의한 인터랙티브 ａｒ／ｍｒ 구현 장치 및 방법
CN111670464A (zh) * 2017-12-01 2020-09-15 科理特株式会社 利用深度数据的增强现实影像提供方法以及程序
WO2019107942A1 (ko) * 2017-12-01 2019-06-06 클릭트 주식회사 깊이데이터를 이용한 증강현실영상 제공방법 및 프로그램
KR102022980B1 (ko) * 2017-12-01 2019-09-19 클릭트 주식회사 깊이데이터를 이용한 증강현실영상 제공방법 및 프로그램
KR20190064735A (ko) * 2017-12-01 2019-06-11 클릭트 주식회사 깊이데이터를 이용한 증강현실영상 제공방법 및 프로그램
US11328487B2 (en) 2017-12-01 2022-05-10 Clicked, Inc. Method and program for providing augmented reality image by using depth data
CN111670464B (zh) * 2017-12-01 2024-02-20 科理特株式会社 利用深度数据的增强现实影像提供方法以及程序
KR20190136529A (ko) 2018-05-31 2019-12-10 모젼스랩(주) 혼합 현실 게임 생성 및 제공 시스템
KR20190136525A (ko) 2018-05-31 2019-12-10 모젼스랩(주) 헤드 마운트 디스플레이를 이용한 혼합 현실 게임 제공 시스템
US11314088B2 (en) 2018-12-14 2022-04-26 Immersivecast Co., Ltd. Camera-based mixed reality glass apparatus and mixed reality display method
KR20200073487A (ko) 2018-12-14 2020-06-24 (주)이머시브캐스트 카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법
WO2024049110A1 (ko) * 2022-08-29 2024-03-07 삼성전자 주식회사 실 객체에 대한 깊이 정보를 이용하여 가상 객체를 보정하는 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
US20190206119A1 (en) 2019-07-04
WO2018004154A1 (ko) 2018-01-04

Similar Documents

Publication Publication Date Title
KR101724360B1 (ko) 혼합현실 디스플레이 장치
US11748840B2 (en) Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters
CN111508052B (zh) 三维网格体的渲染方法和装置
US11263816B2 (en) Method and device for a placement of a virtual object of an augmented or mixed reality application in a real-world 3D environment
US11379948B2 (en) Mixed reality system with virtual content warping and method of generating virtual content using same
RU2679964C1 (ru) Визуализация изображений по данным лазерного сканирования
RU2695528C2 (ru) Визуализация изображения данных лазерного сканирования
KR101922482B1 (ko) 다수의 렌더 타겟들 내에서 활성 컬러 샘플 카운트를 변경함으로써 스크린 위치에 의한 변화하는 유효 분해능
KR102359978B1 (ko) 다중-소스 가상 콘텐츠 합성을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
US7948487B2 (en) Occlusion culling method and rendering processing apparatus
US7812837B2 (en) Reduced Z-buffer generating method, hidden surface removal method and occlusion culling method
JP2006055213A (ja) 画像処理装置、及びプログラム
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
Cosco et al. Augmented touch without visual obtrusion
KR20130012504A (ko) 다시점 렌더링 장치 및 방법
KR20160047316A (ko) 렌더링 장치 및 방법
US9401044B1 (en) Method for conformal visualization
JP6223916B2 (ja) 情報処理装置、方法及びプログラム
JP6898264B2 (ja) 合成装置、方法及びプログラム
KR101407639B1 (ko) 3차원 그래픽 렌더링 장치 및 방법
JP4987890B2 (ja) 立体画像描画装置、立体画像描画方法、立体画像描画プログラム
JP2008259698A (ja) 画像処理方法および装置並びにプログラム
US20230206567A1 (en) Geometry-aware augmented reality effects with real-time depth map
KR100848687B1 (ko) 3차원 그래픽 처리 장치 및 그것의 동작 방법
EP2962290B1 (en) Relaying 3d information by depth simulation using 2d pixel displacement

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant