KR20190034129A - 증강 현실 표시 장치 및 방법 - Google Patents

증강 현실 표시 장치 및 방법 Download PDF

Info

Publication number
KR20190034129A
KR20190034129A KR1020180115310A KR20180115310A KR20190034129A KR 20190034129 A KR20190034129 A KR 20190034129A KR 1020180115310 A KR1020180115310 A KR 1020180115310A KR 20180115310 A KR20180115310 A KR 20180115310A KR 20190034129 A KR20190034129 A KR 20190034129A
Authority
KR
South Korea
Prior art keywords
virtual object
unit
depth image
depth
rendering
Prior art date
Application number
KR1020180115310A
Other languages
English (en)
Other versions
KR102511620B1 (ko
Inventor
조익환
정준영
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Publication of KR20190034129A publication Critical patent/KR20190034129A/ko
Application granted granted Critical
Publication of KR102511620B1 publication Critical patent/KR102511620B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

일 실시예에 따른 가상 객체 표시 장치는 객체를 촬영하여서 RGB 영상 및 깊이(depth) 영상을 획득하는 촬영부와, 상기 획득된 RGB 영상을 기초로 상기 촬영부의 자세(pose)를 추정하는 자세 추정부와, 가상 객체에 관한 깊이 정보를 저장하는 가상 객체 정보 저장부와, 상기 획득한 깊이 영상 및 상기 가상 객체 정보를 기초로, 상기 추정된 자세에서 바라본 상기 가상 객체가 상기 객체에 의해 가려지는 부분을 판단하고, 상기 가상 객체에서 상기 가려지는 부분을 제외한 나머지 부분을 렌더링하는 렌더링부를 포함한다.

Description

증강 현실 표시 장치 및 방법 {APPARATUS AND METHOD FOR DISPLAYING AUGMENTED REALITY}
본 발명은 증강 현실 표시 장치 및 방법에 관한 것이다.
증강 현실(augmented reality, AR)은 현실 공간에 가상 객체를 시스루(see-through) 방식으로 표시하는 기술이다. 이러한 증강 현실은 다양한 방면에 사용되고 있다. 예컨대, 게임, 네비게이션 또는 정보를 제공하는 박물관 등에서 증강 현실이 사용되고 있다.
한편, 증강 현실에서는 가상 객체를 렌더링하여서 현실 공간에 표시한다. 이러한 렌더링에는 주로 GPU와 같은 프로세서가 사용된다. 그런데 렌더링에는 상당한 양의 자원이 소모되는바, 렌더링에 따른 부하를 경감시키기 위한 많은 연구가 이루어지고 있다. 특히, 증강 현실이 스마트폰과 같은 이동 단말 장치에 구현되는 경우에는 렌더링에 따른 부하 경감을 위한 기술이 더욱 요구된다고 할 수 있다.
한국 공개특허공부 제2013-0023433호 (2013.04.05)
본 발명의 해결하고자 하는 과제는 가상 객체를 렌더링하는 과정에서 소모되는 자원의 양을 경감시키는 기술을 제공하는 것이다.
다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따른 가상 객체 표시 장치는 객체를 촬영하여서 RGB 영상 및 깊이(depth) 영상을 획득하는 촬영부와, 상기 획득된 RGB 영상을 기초로 상기 촬영부의 자세(pose)를 추정하는 자세 추정부와, 가상 객체에 관한 깊이 정보를 저장하는 가상 객체 정보 저장부와, 상기 획득한 깊이 영상 및 상기 가상 객체 정보를 기초로, 상기 추정된 자세에서 바라본 상기 가상 객체가 상기 객체에 의해 가려지는 부분을 판단하고, 상기 가상 객체에서 상기 가려지는 부분을 제외한 나머지 부분을 렌더링하는 렌더링부를 포함한다.
일 실시예에 따른 가상 객체 표시 장치에 의해 수행되는 가상 객체 표시 방법은 객체를 촬영하여서 RGB 영상 및 깊이(depth) 영상을 획득하는 단계와, 상기 획득된 RGB 영상을 기초로 상기 촬영부의 자세(pose)를 추정하는 단계와, 상기 획득된 깊이 영상 및 기 저장된 가상 객체에 관한 깊이 정보를 기초로, 상기 추정된 자세에서 바라본 상기 가상 객체가 상기 객체에 의해 가려지는 부분을 판단하는 단계와, 상기 가상 객체에서 상기 가려지는 부분을 제외한 나머지 부분을 렌더링하는 단계를 포함하여 수행된다.
일 실시예에 따르면 가상 객체가 현실 공간에 존재하는 객체에 의해 가려지는 부분을 판단한 뒤, 이렇게 가려지는 부분을 제외한 나머지 부분만이 렌더링된다. 따라서, 렌더링에 소모되는 자원이 경감될 수 있다.
아울러, 렌더링에 소모되는 자원이 경감될 수 있으므로 가상 객체와 현실 공간에 존재하는 객체 간의 오클루젼(겹침 현상)이 실시간으로 연산되기에 용이하다. 따라서, 현실 공간에 존재하는 객체가 동적으로 움직이는 경우에도 전술한 오클루젼을 반영한 가상 객체의 표시가 실시간으로 구현될 수 있다.
도 1은 일 실시예에 따른 증강 현실 표시 방법에 따라 가상 객체가 증강되어서 표시된 것을 예시적으로 도시하고 있다
도 2는 일 실시예에 따른 증강 현실 표시 장치의 구성을 예시적으로 도시하고 있다.
도 3은 일 실시예에 따른 증강 현실 표시 방법의 절차에 대해 도시하고 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일 실시예에 따른 증강 현실 표시 방법에 따라 가상 객체가 증강되어서 표시된 것을 예시적으로 도시하고 있다. 다만, 도 1은 예시적인 것에 불과하므로, 본 발명의 사상이 도 1에 도시된 것으로 한정 해석되는 것은 아니다.
도 1을 참조하면, 좌측에 있는 그림에서 가상 객체는 현실 공간에 존재하는 어떠한 객체에 의해서도 가려지지 않고 표시된다. 반면, 가운데에 있는 그림에서 가상 객체는 현실 공간에 존재하는 객체(이하에서는 '주변 객체'라고 지칭하기로 함)에 의해 일부가 가려져서 표시된다. 이 때 일 실시예에 따르면 가상 객체 중 주변 객체에 의해 가려지는 부분은 렌더링되지 않고 가려지지 않는 부분만 렌더링되어서 표시된다. 우측에 있는 그림에서 가상 객체는 주변 객체에 의해 가려지지 않고 표시된다.
즉, 일 실시예에 따르면 가상 객체는 현실 공간에 존재하는 주변 객체가 자신을 가리는지 가리지 않는지를 반영하여서, 동적으로 내지 실시간으로 렌더링되어 표시될 수 있다.
도 2는 일 실시예에 따른 증강 현실 표시 장치(100)의 구성을 예시적으로 도시하고 있다. 여기서, 증강 현실 표시 장치(100)는 AR 글래스, HMD(head mounted display) 또는 스마트폰 등으로 구현 가능하며, 다만 이에 한정되는 것은 아니다.
도 2를 참조하면, 증강 현실 표시 장치(100)는 촬영부(110), 자세 추정부(120), 깊이 영상 보간부(130), 가상 객체 정보 저장부(140), 렌더링부(150) 및 표시부(160)를 포함하며, 다만, 증강 현실 표시 장치(100)의 구성이 도 2에 도시된 것으로 한정 해석되는 것은 아니다. 이 중, 자세 추정부(120), 깊이 영상 보간부(130) 및 렌더링부(150)는 마이크로프로세서에 의해 구현 가능하다.
먼저, 촬영부(110)는 주변 객체를 촬영하는 수단이며, RGB-D 카메라로 구현 가능하다. 촬영된 결과물은 RGB 영상 또는 깊이(depth) 영상을 포함한다.
자세 추정부(120)는 촬영부(110)의 자세(pose)를 추정한다. 여기서 자세란 현실 공간에서 촬영부(110)가 갖는 이동량(translation) 및 시선 방향(rotation)을 나타낸다.
이하에서는 자세 추정부(120)가 촬영부(110)의 자세를 추정하는 과정에 대해 보다 구체적으로 살펴보도록 한다. 자세 추정부(120)는 RGB 영상(촬영부(110)에 의해 획득된 것)을 구성하는 복수 개의 프레임 각각으로부터, 적어도 하나의 특징점(feature point)을 추출한다. 아울러, 자세 추정부(120)는 전술한 복수 개의 프레임을 시간순으로 정렬한다. 그 뒤, 자세 추정부(120)는 어느 하나의 프레임에 포함된 특징점이 인접 정렬된 프레임들에도 포함되어 있는지를 분석한 뒤, 인접해있는 프레임에 걸쳐서 포함되어 있는 특징점에 대해 트래킹(tracking)을 수행한다. 아울러, 트래킹 과정에서, 자세 추정부(120)는 각 프레임에 포함되어 있는 특징점의 크기 또는 형태의 변화 양상까지도 분석한다. 분석 결과, 촬영부(110)의 자세가 추정된다.
실시예에 따라 자세 추정부(120)는 촬영부(110)에 의해 촬영된 주변 객체에 대한 깊이 영상을 이용하여서 촬영부(110)의 자세를 추정할 수 있다. 이 경우 자세 추정부(120)는 깊이 영상을 구성하는 복수 개의 프레임 각각에 대해 특징점을 추출한 뒤, 특징점에 대한 트래킹을 인접한 프레임에 걸쳐서 수행함으로써 촬영부(110)의 자세를 추정할 수 있다.
깊이 영상 보간부(130)는 촬영부(110)에 의해 획득된 깊이 영상을 보간한다. 일반적으로 깊이 영상을 살펴보면, 홀(hole)이 존재한다. 홀은 현실 공간에서 원거리에 위치해있는 객체의 부분 또는 빛이 반사되는 부분에 깊이값이 없는 것을 지칭한다. 깊이 영상 보간부(130)는 다양한 알고리즘을 이용하여서 이러한 홀을 보간한다. 예컨대, 깊이 영상 보간부(130)는 push-pull 알고리즘을 이용하여서 홀을 보간할 수 있다.
가상 객체 정보 저장부(140)는 현실 공간에 증강되어서 표시될 가상 객체에 대한 정보를 저장하며, 메모리 등으로 구현 가능하다. 저장되는 정보의 종류에는 예컨대 가상 객체가 현실 공간에서 표시될 3차원 위치에 대한 정보(깊이 정보 포함)가 포함될 수 있다.
렌더링부(150)는 현실 공간에 표시될 가상 객체를 렌더링한다. 이 때 렌더링부(150)는 다음과 같은 사항을 고려해서 렌더링할 수 있다.
첫째, 렌더링부(150)는 촬영부(110)에서 바라본 가상 객체의 형상을 추정하여서 렌더링한다. 이를 위해, 자세 추정부(120)에 의해 추정된 촬영부(110)의 자세가 이용된다. 예컨대, 촬영부(110)가 가상 객체를 정면에서 바라본 경우와 측면에서 바라본 경우 각각에서 가상 객체의 형상은 다르게 보인다. 이에, 렌더링부(150)는 촬영부(110)의 자세를 이용해서, 촬영부(110)에서 바라본 가상 객체의 형상을 추정한 뒤, 이러한 형상에 맞게 렌더링을 수행한다.
둘째, 렌더링부(150)는 오클루션(겹침, occlusion)을 고려하여서 가상 객체를 렌더링한다. 보다 구체적으로 살펴보면, 먼저 렌더링부(150)는 촬영부(110)에서 바라본 가상 객체가 현실 공간의 주변 객체에 의해 가려지는지 여부를 판단한다. 일부분이라도 가려지는 부분이 있다면 렌더링부(150)는 이렇게 가려지는 부분은 제외하고 나머지 부분만을 렌더링한다.
즉, 일 실시예에 따르면 가상 객체가 주변 객체에 의해 가려지는 부분을 판단한 뒤, 가려지는 부분을 제외한 나머지 부분만이 렌더링된다. 따라서, 렌더링에 소모되는 자원이 경감될 수 있다.
한편, 가상 객체가 주변 객체에 의해 가려지는지 여부는 가상 객체와 주변 객체 간의 깊이 정보를 비교함으로써 판단 가능하다. 예컨대, 가상 객체 정보 저장부(140)로부터 획득된 가상 객체의 깊이 정보를 촬영부(110)에 의해 획득된 주변 개체의 깊이 영상에 나타난 깊이 정보와 비교함으로써 판단 가능하다.
표시부(160)는 렌더링부(150)에 의해 렌더링된 가상 객체를 현실 공간에 시스루 형태로 표시한다. 이러한 표시부(160)는 다양한 디스플레이 장치에 의해 구현 가능하다.
도 3은 일 실시예에 따른 증강 현실 표시 방법의 절차를 예시적으로 도시하고 있다. 도 3에 도시된 증강 현실 표시 방법은 도 2에 도시된 증강 현실 표시 장치(100)에 의해 수행 가능하다. 아울러, 도 3에 도시된 방법은 예시적인 것에 불과하므로, 증강 현실 표시 방법의 절차가 도 3에 도시된 것으로 한정 해석되지는 않는다.
도 3을 도 2와 함께 참조하면, 촬영부(110)는 주변 객체를 촬영하여서 RGB 영상 및 깊이 영상을 획득한다(S100).
다음으로, 자세 추정부(120)는 촬영부(110)의 자세를 추정한다(S110). 여기서 자세란 현실 공간에서의 촬영부(110)의 이동량(translation) 및 시선 방향(rotation)을 나타낸다.
이하에서는 단계 S110에서 자세 추정부(120)가 촬영부(110)의 자세를 추정하는 과정에 대해 보다 구체적으로 살펴보도록 한다. 자세 추정부(120)는 촬영부(110)에 의해 획득된 RGB 영상을 구성하는 복수 개의 프레임 각각으로부터, 적어도 하나의 특징점(feature point)을 추출한다. 아울러, 자세 추정부(120)는 전술한 복수 개의 프레임을 시간순으로 정렬한다. 그 뒤, 자세 추정부(120)는 어느 하나의 프레임에 포함된 특징점이 인접 정렬된 프레임들에도 포함되어 있는지를 분석한 뒤, 인접해있는 프레임에 걸쳐서 포함되어 있는 특징점에 대해 트래킹(tracking)을 수행한다. 아울러, 트래킹 과정에서, 자세 추정부(120)는 각 프레임에 포함되어 있는 특징점의 크기 또는 형태의 변화 양상까지도 분석한다. 분석 결과, 촬영부(110)의 자세가 추정된다.
실시예에 따라 자세 추정부(120)는 촬영부(110)에 의해 촬영된 주변 객체에 대한 깊이 영상을 이용하여서 촬영부(110)의 자세를 추정할 수 있다. 이 경우 자세 추정부(120)는 깊이 영상을 구성하는 복수 개의 프레임 각각에 대해 특징점을 추출한 뒤, 특징점에 대한 트래킹을 인접한 프레임에 걸쳐서 수행함으로써 촬영부(110)의 자세를 추정할 수 있다.
다음으로, 렌더링부(150)는 촬영부(110)에서 바라본 가상 객체가 현실 공간의 주변 객체에 의해 가려지는지 여부를, 또는 가려지는 부분을 판단한다(S120). 단계 S120에 대해 이하에서 보다 자세하게 살펴보기로 한다.
먼저, 촬영부(110)에서 바라본 가상 객체의 형상이 추정된다. 촬영부(110)가 가상 객체를 정면에서 바라본 경우와 측면에서 바라본 경우 각각에서 가상 객체의 형상은 다르게 보이기 때문에, 촬영부(110)에서 바라본 가상 객체의 형상이 추정되어야 한다. 이를 위해, 자세 추정부(120)에 의해 추정된 촬영부(110)의 자세가 이용될 수 있다.
또한, 깊이 영상 보간부(130)는 촬영부(110)에 의해 획득된 깊이 영상을 보간한다. 일반적으로 깊이 영상을 살펴보면, 홀(hole)이 존재한다. 홀은 현실 공간에서 원거리에 위치해있는 객체의 부분 또는 빛이 반사되는 부분에 깊이값이 없는 것을 지칭한다. 깊이 영상 보간부(130)는 다양한 알고리즘을 이용하여서 이러한 홀을 보간한다. 예컨대, 깊이 영상 보간부(130)는 push-pull 알고리즘을 이용하여서 홀을 보간할 수 있다. 다만, 깊이 영상에 보간되는 과정은 실시예에 따라 수행되지 않을 수도 있다.
다음으로, 렌더링부(150)는 촬영부(110)에서 바라본 가상 객체가 현실 공간의 주변 객체에 의해 가려지는지 여부를, 또는 가려지는 부분을 판단한다. 가상 객체가 주변 객체에 의해 가려지는지 여부 또는 가상 객체 중 어떤 부분이 주변 객체에 의해 가려지는지는, 가상 객체 정보 저장부(140)로부터 획득된 가상 객체의 깊이 정보를 촬영부(110)에 의해 획득된 주변 개체의 깊이 영상에 나타난 깊이 정보와 비교함으로써 판단 가능하다.
다음으로, 강상 객체 중 일부분이라도 주변 객체에 의해 가려지는 부분이 있다면, 렌더링부(150)는 이렇게 가려지는 부분은 제외하고 나머지 부분만 렌더링한다(S130).
아울러, 표시부(160)는 렌더링부(150)에 의해 렌더링된 가상 객체를 현실 공간에 시스루 형태로 표시한다(S160). 이러한 표시부(160)는 다양한 디스플레이 장치에 의해 구현 가능하다.
이상에서 살펴본 바와 같이, 일 실시예에 따르면 가상 객체가 주변 객체에 의해 가려지는 부분을 판단한 뒤, 가려지는 부분을 제외한 나머지 부분만이 렌더링된다. 따라서, 렌더링에 소모되는 자원이 경감될 수 있다.
아울러, 렌더링에 소모되는 자원의 경감될 수 있으므로 가상 객체와 주변 객체 간의 오클루젼(겹침 현상)이 실시간으로 연산되기에 용이하다. 따라서, 주변 객체가 동적으로 움직이는 경우에도 전술한 오클루젼을 반영한 가상 객체의 표시가 가능하다.
한편, 가상 객체 표시 방법은 해당 방법에 포함된 각 단계를 포함하여 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체의 형태 또는 컴퓨터 판독가능한 기록매체에 저장된, 해당 방법에 포함된 각 단계를 포함하여 수행하도록 프로그램된 컴퓨터 프로그램의 형태로 실시될 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
일 실시예에 따르면 가상 객체가 주변 객체에 의해 가려지는 부분을 판단한 뒤, 가려지는 부분을 제외한 나머지 부분만이 렌더링된다. 따라서, 렌더링에 소모되는 자원이 경감될 수 있다.
100: 가상 객체 표시 장치

Claims (7)

  1. 객체를 촬영하여서 RGB 영상 및 깊이(depth) 영상을 획득하는 촬영부와,
    상기 획득된 RGB 영상을 기초로 상기 촬영부의 자세(pose)를 추정하는 자세 추정부와,
    가상 객체에 관한 깊이 정보를 저장하는 가상 객체 정보 저장부와,
    상기 획득된 깊이 영상 및 상기 가상 객체 정보를 기초로, 상기 추정된 자세에서 바라본 상기 가상 객체가 상기 객체에 의해 가려지는 부분을 판단하고, 상기 가상 객체에서 상기 가려지는 부분을 제외한 나머지 부분을 렌더링하는 렌더링부를 포함하는
    가상 객체 표시 장치.
  2. 제 1 항에 있어서,
    상기 자세 추정부는,
    상기 획득된 RGB 영상 및 상기 획득된 깊이 영상을 기초로 상기 촬영부의 자세를 추정하는
    가상 객체 표시 장치.
  3. 제 1 항에 있어서,
    상기 가상 객체 표시 장치는,
    상기 획득된 깊이 영상에 존재하는 홀(hole)을 보간하는 깊이 영상 보간부를 더 포함하고,
    상기 렌더링부는,
    상기 깊이 영상 보간부에 의해 홀이 보간된 깊이 영상 및 상기 저장된 깊이 정보를 기초로 상기 가상 객체가 상기 주변 객체에 의해 가려지는지 부분을 판단하는
    가상 객체 표시 장치.
  4. 제 3 항에 있어서,
    상기 깊이 영상 보간부는,
    상기 홀을 푸쉬-풀(push-pull) 알고리즘을 기초로 보간하는
    가상 객체 표시 장치.
  5. 가상 객체 표시 장치에 의해 수행되는 가상 객체 표시 방법에 있어서,
    객체를 촬영하여서 RGB 영상 및 깊이(depth) 영상을 획득하는 단계와,
    상기 획득된 RGB 영상을 기초로 상기 객체를 촬영하는 촬영부의 자세(pose)를 추정하는 단계와,
    상기 획득된 깊이 영상 및 기 저장된 가상 객체에 관한 깊이 정보를 기초로, 상기 추정된 자세에서 바라본 상기 가상 객체가 상기 객체에 의해 가려지는 부분을 판단하는 단계와,
    상기 가상 객체에서 상기 가려지는 부분을 제외한 나머지 부분을 렌더링하는 단계를 포함하는
    가상 객체 표시 방법.
  6. 제 5 항에 따른 방법에 포함된 각 단계를 포함하여 수행하도록 프로그램된 컴퓨터 판독가능한 기록매체에 포함된 컴퓨터 프로그램.
  7. 제 5 항에 따른 방법에 포함된 각 단계를 포함하여 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체.
KR1020180115310A 2017-09-22 2018-09-27 증강 현실 표시 장치 및 방법 KR102511620B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170122734 2017-09-22
KR1020170122734 2017-09-22

Publications (2)

Publication Number Publication Date
KR20190034129A true KR20190034129A (ko) 2019-04-01
KR102511620B1 KR102511620B1 (ko) 2023-03-21

Family

ID=66104587

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180115310A KR102511620B1 (ko) 2017-09-22 2018-09-27 증강 현실 표시 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102511620B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021157804A1 (ko) * 2020-02-09 2021-08-12 모션퀸㈜ 증강 현실 구현 방법 및 이를 수행하는 장치
KR102454608B1 (ko) * 2022-01-21 2022-10-17 주식회사 삼우이머션 가상 현실 환경에서의 렌더링 방법
US11645756B2 (en) 2019-11-14 2023-05-09 Samsung Electronics Co., Ltd. Image processing apparatus and method
WO2024049110A1 (ko) * 2022-08-29 2024-03-07 삼성전자 주식회사 실 객체에 대한 깊이 정보를 이용하여 가상 객체를 보정하는 전자 장치 및 그 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060068508A (ko) * 2004-12-16 2006-06-21 한국전자통신연구원 다중 입체 영상 혼합 제시용 시각 인터페이스 장치
KR20130023433A (ko) 2011-08-29 2013-03-08 연세대학교 산학협력단 Ｓｌａｍ 기술 기반 이동 로봇의 지도를 관리하기 위한 장치 및 그 방법
KR20150002293A (ko) * 2013-06-28 2015-01-07 삼성전자주식회사 초음파 진단 장치의 디스플레이 이동 방법 및 초음파 진단 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060068508A (ko) * 2004-12-16 2006-06-21 한국전자통신연구원 다중 입체 영상 혼합 제시용 시각 인터페이스 장치
KR20130023433A (ko) 2011-08-29 2013-03-08 연세대학교 산학협력단 Ｓｌａｍ 기술 기반 이동 로봇의 지도를 관리하기 위한 장치 및 그 방법
KR20150002293A (ko) * 2013-06-28 2015-01-07 삼성전자주식회사 초음파 진단 장치의 디스플레이 이동 방법 및 초음파 진단 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11645756B2 (en) 2019-11-14 2023-05-09 Samsung Electronics Co., Ltd. Image processing apparatus and method
US11900610B2 (en) 2019-11-14 2024-02-13 Samsung Electronics Co., Ltd. Image processing apparatus and method
WO2021157804A1 (ko) * 2020-02-09 2021-08-12 모션퀸㈜ 증강 현실 구현 방법 및 이를 수행하는 장치
KR102454608B1 (ko) * 2022-01-21 2022-10-17 주식회사 삼우이머션 가상 현실 환경에서의 렌더링 방법
WO2024049110A1 (ko) * 2022-08-29 2024-03-07 삼성전자 주식회사 실 객체에 대한 깊이 정보를 이용하여 가상 객체를 보정하는 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
KR102511620B1 (ko) 2023-03-21

Similar Documents

Publication Publication Date Title
KR20190034129A (ko) 증강 현실 표시 장치 및 방법
US9704299B2 (en) Interactive three dimensional displays on handheld devices
JP5818773B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20190019328A1 (en) Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods
US8937592B2 (en) Rendition of 3D content on a handheld device
AU2013266187B2 (en) Systems and methods for rendering virtual try-on products
US9159135B2 (en) Systems, methods, and computer program products for low-latency warping of a depth map
US9679415B2 (en) Image synthesis method and image synthesis apparatus
US20160307374A1 (en) Method and system for providing information associated with a view of a real environment superimposed with a virtual object
GB2567530A (en) Virtual reality parallax correction
WO2022021965A1 (zh) 虚拟对象的调整方法、装置、电子设备、计算机存储介质及程序
US11308701B2 (en) Rendering augmented reality image including virtual object with surface showing reflection of environment
US20120120071A1 (en) Shading graphical objects based on face images
JP6698972B2 (ja) 仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラム
US11720996B2 (en) Camera-based transparent display
JP6294054B2 (ja) 映像表示装置、映像提示方法及びプログラム
CN110214300B (zh) 相位对准的凹形渲染
US11138743B2 (en) Method and apparatus for a synchronous motion of a human body model
US20140321767A1 (en) Image processing device, image processing method, recording medium, and stereoscopic image display device
US11050993B2 (en) Image generating apparatus and image generating method
KR20170044319A (ko) 헤드 마운트 디스플레이의 시야 확장 방법
KR100447778B1 (ko) 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현장치 및 그 방법
US10999567B2 (en) Image generating apparatus and image generating method
US20240078743A1 (en) Stereo Depth Markers
US11823340B2 (en) Image synthesis system and method therefor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant