KR20170034602A - 헤드 마운트 디스플레이의 움직임을 보상하는 방법 및 이를 위한 장치 - Google Patents

헤드 마운트 디스플레이의 움직임을 보상하는 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR20170034602A
KR20170034602A KR1020150133087A KR20150133087A KR20170034602A KR 20170034602 A KR20170034602 A KR 20170034602A KR 1020150133087 A KR1020150133087 A KR 1020150133087A KR 20150133087 A KR20150133087 A KR 20150133087A KR 20170034602 A KR20170034602 A KR 20170034602A
Authority
KR
South Korea
Prior art keywords
error value
image
head
mounted display
determined
Prior art date
Application number
KR1020150133087A
Other languages
English (en)
Other versions
KR102501752B1 (ko
Inventor
황석중
신용삼
이원종
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150133087A priority Critical patent/KR102501752B1/ko
Priority to EP16187657.8A priority patent/EP3144779B1/en
Priority to US15/270,409 priority patent/US10217271B2/en
Priority to CN201610835696.9A priority patent/CN106547092B/zh
Priority to JP2016183156A priority patent/JP2017076119A/ja
Publication of KR20170034602A publication Critical patent/KR20170034602A/ko
Application granted granted Critical
Publication of KR102501752B1 publication Critical patent/KR102501752B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0252—Improving the response speed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

헤드 마운트 디스플레이의 움직임을 측정하고, 측정한 움직임을 이용하여, 이미지가 헤드 마운트 디스플레이에 출력될 시점에서의 헤드 마운트 디스플레이의 움직임을 예측하고, 예측한 움직임을 이용하여 이미지를 렌더링하고, 헤드 마운트 디스플레이의 움직임을 재측정하고, 재측정한 움직임을 이용하여, 이미지가 헤드 마운트 디스플레이에 출력될 시점에서의 헤드 마운트 디스플레이의 움직임을 재예측하고, 예측한 헤드 마운트 디스플레이의 움직임과 재예측한 헤드 마운트 디스플레이의 움직임을 비교하여 오차 값을 결정하고, 결정한 오차값을 이용하여 이미지를 재투영하여 렌더링하는, 헤드 마운트 디스플레이의 움직임을 보상하는 방법 및 장치가 개시된다.

Description

헤드 마운트 디스플레이의 움직임을 보상하는 방법 및 이를 위한 장치{THE METHOD AND APPARATUS FOR COMPPENSATING MOTION OF THE HEAD MOUNTED DISPLAY}
헤드 마운트 디스플레이의 움직임을 보상하는 방법 및 이를 위한 장치에 관한다.
헤드 마운트 디스플레이(HMD, Head Mounted Display)는 사용자의 머리에 장착하여 입체화면을 표시하고 아울러 머리의 움직임을 검출하여 이를 로봇이나 제어시스템에 이용하는 장치를 말한다. 헤드 마운트 디스플레이를 착용한 사용자의 움직임이 디스플레이에 반영되는 응답시간은 중요하다. 응답시간을 최소화하기 위해 헤드 마운트 디스플레이의 움직임을 예측한 뒤 이미지 공간상에서의 변환 방법을 사용하여 오차를 보상하는 방법이 있다. 그러나 이미지 공간상에서의 변환 방법은 최종 렌더링 결과의 품질이 저하되는 단점이 있다. 헤드 마운트 디스플레이의 움직임에 따라 시점이 변화하게 되면 처음 새로이 보여지는 물체와 시야에서 사라지는 물체가 발생하게 되는데, 이미지 공간상에서의 변환만으로는 이러한 현상을 반영할 수 없다. 이는 헤드 마운트 디스플레이 에서 포지셔널 쥬더(Positional Judder)라고 하며 물체의 위치가 요동치는 현상으로 나타나 사용자의 몰입을 방해하게 된다.
헤드 마운트 디스플레이의 움직임을 보상하는 방법 및 이를 위한 장치를 제공한다. 또한 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다. 해결하고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
일 측면에 따르면 헤드 마운트 디스플레이의 움직임을 보상하는 방법은 헤드 마운트 디스플레이의 움직임을 측정하는 단계, 측정한 움직임을 이용하여, 이미지가 헤드 마운트 디스플레이에 출력될 시점에서의 헤드 마운트 디스플레이의 움직임을 예측하는 단계, 예측한 움직임을 이용하여 이미지를 렌더링하는 단계, 헤드 마운트 디스플레이의 움직임을 재측정하는 단계, 재측정한 움직임을 이용하여, 이미지가 헤드 마운트 디스플레이에 출력될 시점에서의 헤드 마운트 디스플레이의 움직임을 재예측하는 단계, 예측한 헤드 마운트 디스플레이의 움직임과 재예측한 헤드 마운트 디스플레이의 움직임을 비교하여 오차 값을 결정하는 단계 및 결정한 오차값을 이용하여 이미지를 재투영하여 렌더링하는 단계를 포함할 수 있다.
일 측면에 따르면 헤드 마운트 디스플레이의 움직임을 보상하는 방법은 헤드 마운트 디스플레이의 움직임을 측정하는 단계, 측정한 움직임을 이용하여, 이미지가 헤드 마운트 디스플레이에 출력될 시점에서의 헤드 마운트 디스플레이의 움직임을 예측하는 단계, 예측한 움직임을 이용하여 이미지를 렌더링하는 단계, 헤드 마운트 디스플레이의 움직임을 재측정하는 단계, 재측정한 움직임을 이용하여, 이미지가 헤드 마운트 디스플레이에 출력될 시점에서의 헤드 마운트 디스플레이의 움직임을 재예측하는 단계, 예측한 헤드 마운트 디스플레이의 움직임과 재예측한 헤드 마운트 디스플레이의 움직임을 비교하여 오차 값을 결정하는 단계 및 결정한 오차값을 이용하여 이미지를 재투영(reprojection)하여 렌더링하는 단계를 포함할 수 있다.
또한, 재투영하여 렌더링한 이미지를 이미지 공간상 변환(Image-space transform)하는 단계를 더 포함할 수 있다.
또한 결정된 오차 값은 수평 오차 값을 포함하고, 재투영하여 렌더링하는 단계는, 결정된 수평 오차 값을 이용하여 이미지를 수평 방향 재투영하여 렌더링할 수 있다.
또한, 결정된 오차 값은 수직 오차 값을 포함하고, 재투영하여 렌더링하는 단계는, 결정된 수직 오차 값을 이용하여 이미지를 수평 방향 재투영하여 렌더링할 수 있다.
또한, 결정된 오차 값은 깊이 오차 값을 포함하고, 재투영하여 렌더링하는 단계는, 결정된 깊이 오차 값을 이용하여 이미지를 깊이 방향으로 재투영하여 렌더링할 수 있다.
또한, 결정된 오차 값은 수평 오차 값, 수직 오차 값 또는 깊이 오차 값을 포함하고, 재투영하여 렌더링하는 단계는, 결정된 수평 오차 값을 이용한 수평 방향 재투영, 수직 오차 값을 이용한 수직 방향 재투영 또는 깊이 오차 값을 이용한 깊이 방향 재투영의 순서를 결정하는 단계를 포함하고, 결정된 순서대로 이미지를 재투영하여 렌더링할 수 있다.
또한, 재투영하여 렌더링하는 단계는, 이미지를 한 개의 시점 또는 두 개의 시점에 대해 재투영하여 렌더링할 수 있다.
또한, 예측하는 단계는, 헤드 마운트 디스플레이의 움직임을 한쪽 눈의 시점 또는 양쪽 눈의 시점에서 예측하고, 이미지를 렌더링하는 단계는, 예측한 한쪽 눈의 시점, 예측한 양 쪽 눈의 시점 중 하나의 시점 또는 예측한 양쪽 눈의 시점 중 중간값의 시점으로 이미지를 렌더링할 수 있다.
또한, 이미지를 렌더링하는 단계는,이미지를 래스터화(rasterization)하여 렌더링하거나 이미지를 광선 추적(ray tracing)하여 렌더링할 수 있다.
또한, 재투영 순서를 결정하는 단계는, 수평 오차 값이 수직 오차 값보다 크면, 수평 방향으로 재투영을 한 후, 수직 방향으로 재투영하도록 재투영 순서를 결정하고, 수평 오차 값이 수직 오차 값보다 작으면, 수직 방향으로 재투영을 한 후, 수평 방향으로 재투영하도록 재투영 순서를 결정할 수 있다.
또한, 재투영 순서를 결정하는 단계는, 수평 오차 값 또는 수직 오차 값이 기 설정된 값을 초과하는지 여부에 따라 재투영 순서를 결정할 수 있다.
또한, 재투영하는 순서를 결정하는 단계는, 이미지의 영역 별로 재투영의 순서를 다르게 결정하는, 헤드 마운트 디스플레이의 움직임을 보상할 수 있다.
또한, 렌더링한 이미지를 헤드 마운트 디스플레이에 출력하는 단계를 더 포함할 수 있다.
다른 측면에 따르면 헤드 마운트 디스플레이의 움직임을 보상하는 장치는 헤드 마운트 디스플레이의 움직임을 측정하는 센서부 및 센서부에서 측정된 움직임을 이용하여 이미지가 헤드 마운트 디스플레이에 출력될 시점에서의 헤드 마운트 디스플레이의 움직임을 예측하고, 예측한 움직임을 이용하여 이미지를 렌더링하는 처리부를 포함하며, 처리부는, 이미지가 헤드 마운트 디스플레이에 출력될 시점에서의 헤드 마운트 디스플레이의 움직임을 재예측하고, 예측한 헤드 마운트 디스플레이의 움직임과 재예측한 헤드 마운트 디스플레이의 움직임을 비교하여 오차 값을 결정하고, 결정한 오차값을 이용하여 이미지를 재투영(reprojection)하여 렌더링할 수 있다.
또한 처리부는, 재투영하여 렌더링한 이미지를 이미지 공간상 변환(Image-space transform)할 수 있다.
또한 결정된 오차 값은 수평 오차 값을 포함하고, 처리부는, 결정된 수평 오차 값을 이용하여 이미지를 수평 방향 재투영하여 렌더링할 수 있다.
또한 결정된 오차 값은 수직 오차 값을 포함하고, 처리부는, 결정된 수직 오차 값을 이용하여 이미지를 수직 방향 재투영하여 렌더링할 수 있다.
또한 결정된 오차 값은 깊이 오차 값을 포함하고, 처리부는, 결정된 깊이 오차 값을 이용하여 이미지를 깊이 방향 재투영하여 렌더링할 수 있다.
또한 결정된 오차 값은 수평 오차 값 , 수직 오차 값 또는 깊이 오차 값을 포함하고, 처리부는, 결정된 수평 오차 값을 이용한 수평 방향 재투영, 수직 오차 값을 이용한 수직 방향 재투영 또는 깊이 오차 값을 이용한 깊이 방향 재투영의 순서를 결정하고, 결정된 재투영 순서대로 이미지를 재투영하여 렌더링할 수 있다.
또한 처리부는, 이미지를 한 개의 시점 또는 두 개의 시점에 대해 재투영하여 렌더링할 수 있다.
또한 처리부는, 헤드 마운트 디스플레이의 움직임을 한쪽 눈의 시점 또는 양 쪽 눈의 시점에서 예측하고, 예측한 한쪽 눈의 시점, 예측한 양쪽 눈의 시점 중 하나의 시점 또는 예측한 양쪽 눈의 시점 중 중간값의 시점으로 이미지를 렌더링할 수 있다.
또한 처리부는, 이미지를 래스터화(rasterization)하여 렌더링하거나 이미지를 광선 추적(ray tracing)하여 렌더링할 수 있다.
또한 처리부는, 수평 오차 값이 수직 오차 값보다 크면, 수평 방향으로 재투영을 한 후, 수직 방향으로 재투영하도록 재투영 순서를 결정하고, 수평 오차 값이 수직 오차 값보다 작으면, 수직 방향으로 재투영을 한 후, 수평 방향으로 재투영하도록 재투영 순서를 결정할 수 있다.
또한 처리부는, 수평 오차 값 또는 수직 오차 값이 기 설정된 값을 초과하는지 여부에 따라 재투영 순서를 결정할 수 있다.
또한 처리부는, 이미지의 영역 별로 재투영의 순서를 다르게 결정할 수 있다.
또한 렌더링한 이미지를 헤드 마운트 디스플레이에 출력하는 출력부를 더 포함할 수 있다.
도 1은 일 실시예에 따른 헤드 마운트 디스플레이의 움직임을 보상하는 장치의 구성도를 도시한 도면이다.
도 2는 다른 실시예에 따른 헤드 마운트 디스플레이의 움직임을 보상하는 장치의 구성도를 도시한 도면이다.
도 3은 헤드 마운트 디스플레이의 움직임을 보상하는 방법을 설명하기 위한 도면이다.
도 4 및 도5는 헤드 마운트 디스플레이의 움직임을 보상하기 위한 재투영에 대하여 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 헤드 마운트 디스플레이의 움직임을 보상하는 방법을 설명하기 위한 도면이다.
도 7는 다른 실시예에 따른 헤드 마운트 디스플레이의 움직임을 보상하는 방법을 설명하기 위한 도면이다.
도 8은 또 다른 실시예에 따른 헤드 마운트 디스플레이의 움직임을 보상하는 방법을 설명하기 위한 도면이다.
도 9은 그 밖의 실시예에 따른 헤드 마운트 디스플레이의 움직임을 보상하는 방법을 설명하기 위한 도면이다.
도10은 일 실시예에 따른 헤드 마운트 디스플레이의 움직임을 보상하는 방법을 설명하기 위한 흐름도이다.
도 11은 다른 실시예에 따른 헤드 마운트 디스플레이의 움직임을 보상하는 방법을 설명하기 위한 흐름도이다.
도 12는 또 다른 실시예에 따른 헤드 마운트 디스플레이의 움직임을 보상하는 방법을 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도 1은 일 실시예에 따른 헤드 마운트 디스플레이의 움직임을 보상하는 장치의 구성도를 도시한 도면이다.
도 1을 참조하면 헤드 마운트 디스플레이의 움직임을 보상하는 장치(100)는 센서부(110) 및 처리부(120)를 포함할 수 있다.
센서부(110)는 헤드 마운트 디스플레이의 움직임을 측정(Sensing)할 수 있다.
처리부(120)는 센서부(110)가 측정한 움직임을 이용하여, 이미지가 헤드 마운트 디스플레이에 출력될 시점에서의 헤드 마운트 디스플레이의 움직임을 예측할 수 있다. 또한 처리부(120)는 예측한 움직임을 이용하여 이미지를 렌더링할 수 있다. 이후에 처리부(120)는 움직임을 다시 측정하고, 이를 이용하여 이미지가 헤드 마운트 디스플레이에 출력될 시점의 헤드 마운트 디스플레이의 움직임을 재예측할 수 있다. 그리고 처리부(120)는 예측한 헤드 마운트 디스플레이의 움직임과 재예측한 헤드 마운트 디스플레이의 움직임을 비교하여 오차 값을 결정할 수 있다. 처리부(120)는 결정한 오차값을 이용하여 이미지를 재투영(reprojection)하여 렌더링할 수있다. 이미지를 재투영한다는 것은 하나의 시점에 대한 렌더링을 위해 3차원 기하 정보를 2차원 평면에 투영 혹은 광선 추적한 결과를 다른 시점에 대한 2차원 평면에 다시 투영하는 것이다.
이와 함께 처리부(120)는, 재투영하여 렌더링한 이미지를 이미지 공간상 변환(Image-space transform)할 수 있다. 이미지 공간상 변환하는 방법은 텍스쳐 매핑 방식을 포함할 수 있다. 텍스쳐 매핑이란 사실감 있는 입체 화상을 제작하기 위해 이미지와 같은 2차원 무늬를 점, 선, 면으로 구성된 3차원 오브젝트 표면에 적용시키는 방법을 말한다. 즉 이미지를 텍스쳐 매핑을 통해 공간상으로 변환할 수 있다.
처리부(120)가 결정한 오차 값은 수평 오차 값, 수직 오차 값 또는 깊이 오차 값을 포함할 수 있다.처리부(120)는, 결정된 수평 오차 값을 이용하여 이미지를 수평 방향 재투영하여 렌더링할 수 있다. 처리부(120)는, 결정된 수직 오차 값을 이용하여 이미지를 수직 방향 재투영하여 렌더링할 수 있다. 처리부(120)는 결정된 깊이 오차 값을 이용하여 이미지를 깊이 방향 재투영하여 렌더링할 수 있다.
처리부(120)는 결정된 수평 오차 값을 이용한 수평 방향 재투영, 수직 오차 값을 이용한 수직 방향 재투영 또는 깊이 오차 값을 이용한 깊이 방향 재투영의 순서를 결정하고, 결정된 재투영 순서대로 이미지를 재투영하여 렌더링할 수 있다. 또한 처리부(120)는, 이미지를 한 개의 시점 또는 두 개의 시점에 대해 재투영하여 렌더링할 수 있다. 그리고 처리부(120)는, 헤드 마운트 디스플레이의 움직임을 한쪽 눈의 시점 또는 양 쪽 눈의 시점에서 예측하고, 예측한 한쪽 눈의 시점, 예측한 양쪽 눈의 시점 중 하나의 시점 또는 예측한 양쪽 눈의 시점 중 중간값의 시점으로 이미지를 렌더링할 수 있다.
처리부(120)는, 이미지를 래스터화(rasterization)하여 렌더링하거나 이미지를 광선 추적(ray tracing)하여 렌더링할 수 있다.
처리부(120)는, 수평 오차 값이 수직 오차 값보다 크면, 수평 방향으로 재투영을 한 후, 수직 방향으로 재투영하도록 재투영 순서를 결정하고, 수평 오차 값이 수직 오차 값보다 작으면, 수직 방향으로 재투영을 한 후, 수평 방향으로 재투영하도록 재투영 순서를 결정할 수 있다. 처리부(120)는, 수평 오차 값 또는 수직 오차 값이 기 설정된 값을 초과하는지 여부에 따라 재투영 순서를 결정할 수 있다. 처리부(120)는, 이미지의 영역 별로 재투영의 순서를 다르게 결정할 수 있다. 처리부(120)는, 렌더링한 이미지의 깊이 값을 이용하여 깊이 방향으로 재투영하여 렌더링할 수 있다. 예를 들어, 처리부(120)는 수평방향으로 재투영하고 깊이 방향으로 재투영하여 렌더링할 수 있다. 또한 처리부(120)는 수직방향으로 재투영하고 깊이방향으로 재투영하여 렌더링할 수 있다. 처리부(120)는 렌더링한 이미지의 깊이 값이 작을 경우에 깊이 방향으로 재투영하여 렌더링할 수 있다. 사용자의 시점에서 멀리 위치한 물체들은 이미지 공간상의 변환에 의한 품질 저하가 크지 않기 때문에, 깊이 값이 클 경우에는 재투영을 하지않고 이미지 공간상의 변환만을 할 수 도 있다. 또한, 각 결정은 영상의 구역별로 이루어질 수 있다. 예를 들어, 가운데 영역의 영상의 품질이 중요한 경우는 가운데 영역과 나머지 영역을 분리하여 결정할 수도 있다. 또한 처리부(120)는 사용자가 원하는 영상의 품질, 영상의 복잡도, 전체 시스템의 작업량 정보등을 고려하여 재투영하여 렌더링할 수 있다.
도 2는 다른 실시예에 따른 헤드 마운트 디스플레이의 움직임을 보상하는 장치의 구성도를 도시한 도면이다.
도 2를 참조하면 헤드 마운트 디스플레이의 움직임을 보상하는 장치(100)는 센서부(110), 처리부(120) 및 출력부(130)를 포함할 수 있다.
도 2에 도시된 장치(100)의 센서부(110) 및 처리부(120)는 도 1에서 설명한 센서부(110) 및 처리부(120)와 동일한 동작을 수행한다.
출력부(130)는 렌더링한 이미지를 헤드 마운트 디스플레이에 출력할 수 있다. 출력부(130)는 렌더링한 이미지를 헤드 마운트 디스플레이의 양 쪽 눈 시점에 대응하는 디스플레이에 출력할 수 있다.
도 3은 헤드 마운트 디스플레이의 움직임을 보상하는 방법을 설명하기 위한 도면이다.
도 3을 참조하면 헤드 마운트 디스플레이의 움직임을 보상하는 장치(100)는 예측한 헤드 마운트 디스플레이의 움직임(300)과 재예측한 움직임(310)의 수평 오차값(320) 및 수직 오차값(330)을 나타낸다. 이때 처리부(120)가 수평 오차값(320)과 수직 오차값(330)을 결정할 수 있다. 결정한 수평 오차값(320)과 수직 오차값(330)은 재투영 순서를 결정하는데 사용될 수 있다. 재투영과 관련하여 자세한 설명은 도 8 및 도 9를 참조하여 설명하도록 한다.
도 4및 도 5는 헤드 마운트 디스플레이의 움직임을 보상하기 위한 재투영에 대하여 설명하기 위한 도면이다.
도 4을 참조하면 같이 A 시점(400)에 대한 렌더링을 위해 3차원 기하 정보(410)를 2차원 평면에 투영한 결과(420)를 B 시점(430)에 대한 2 차원 평면에 재투영(440)할 수 있다. 위와 같은 방법을 사용하게 되면, 시점 변화에 따른 물체가 가려지고 드러나는 실제 현상을 반영할 수 있다. 따라서 포지셔널 쥬더(Positional Judder)와 같은 품질 저하를 방지한다. 두번째로는, 양쪽 눈에 출력할 이미지를 위해 각각의 시점에 따라 별도로 렌더링하는 방식에 비하여, 하나의 시점에 대해 렌더링한 결과를 다른 시점에 대해 재투영하면 연산량이 대폭 감소한다.
또한 도 5를 참조하면 헤드 마운트 디스플레이의 움직임을 보상하는 방법이 광선 추적(ray tracing)에서 사용될 때의 재투영을 설명할 수 있다. 이에 따라A 시점(500)에 대한 렌더링을 위해 3차원 기하 정보(510)를 2차원 평면에 광선 추적한 결과(520)를 B 시점(530)에 대한 2 차원 평면에 재투영(540)할 수 있다.
도 6은 일 실시예에 따른 헤드 마운트 디스플레이의 움직임을 보상하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면 헤드 마운트 디스플레이의 움직임을 보상하는 장치(100) 의 센서부(110)는 헤드 마운트 디바이스의 움직임을 측정할 수 있다.
처리부(120)는 측정한 움직임을 이용하여, 이미지가 헤드 마운트 디스플레이에 출력될 때 헤드 마운트 디스플레이의 움직임(600)을 예측할 수 있다. 처리부(120)는 예측한 움직임(600)의 중간값(610)을 이용하여 이미지를 렌더링할 수 있다. 센서부(110)는 헤드 마운트 디바이스의 움직임을 재측정하고 디스플레이에 출력될 시점에서의 움직임을 재예측할 수 있다. 또한 처리부(120)는 예측한 헤드 마운트 디스플레이의 움직임과 재예측한 헤드 마운트 디스플레이의 움직임을 비교하여 오차 값을 결정할 수 있다. 예를 들어 오차 값은 수평 방향의 수평 오차값, 수직 방향의 수직 오차값을 포함할 수 있다.
결정한 수평 오차값과 수직 오차값에 따라 재투영할 순서를 결정할 수 있다. 재투영은 한번에 수직이나 수평 방향으로 이루어질 수 있으며, 이 때 깊이 방향은 두 경우에 대해 자유롭게 결합할 수 있다. 도 6에서는 수평 오차값이 수직 오차값보다 큰 경우로, 처리부(120)는 수평 방향에 대해 재투영하여 렌더링 할 수 있다. 이때 처리부(120)는 두 눈에 대해 렌더링(620)을 수행할 수 있다. 즉 수평 방향으로 2번의 재투영을 수행한다. 이후 처리부(120)는 각 눈에 대한 렌더링 결과에 대해 이미지 공간상의 변환(630)을 수행할 수 있다. 이 때 변환 정도는 센서부(110)가 측정한 데이터를 통하여 결정하거나, 처리부(120)가 결정한 오차 값을 이용할 수 있다.
도 7은 다른 실시예에 따른 헤드 마운트 디스플레이의 움직임을 보상하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면 헤드 마운트 디스플레이의 움직임을 보상하는 장치(100) 의 센서부(110)는 헤드 마운트 디바이스의 움직임을 측정할 수 있다.
도 7에서는 도 6과는 달리, 수직 오차값이 수평 오차값보다 큰 경우로, 처리부(120)는 수직 방향에 대해 중간값(510)을 재투영하여 렌더링 할 수 있다. 이때 처리부(120)는 중간값(510)을 수직방향에 대해 재투영(520)한 뒤 다른 쪽 눈은 수평 방향으로 재투영하여 렌더링(530)을 수행할 수 있다. 이는 수평 방향으로 양쪽 눈을 구현하기 위함이다. 즉 수직 방향으로 한번 수평방향으로 한번 총 2번의 재투영을 하여 렌더링을 수행한다. 이후 처리부(120)는 각 눈에 대한 렌더링 결과(520 및 530)에 대해 이미지 공간상의 변환(540)을 수행할 수 있다. 이 때 변환 정도는 센서부(110)가 측정한 데이터를 통하여 결정하거나, 처리부(120)가 결정한 오차 값을 이용할 수 있다.
도 8은 또 다른 실시예에 따른 헤드 마운트 디스플레이의 움직임을 보상하는 방법을 설명하기 위한 도면이다.
도 8을 참조하면 헤드 마운트 디스플레이의 움직임을 보상하는 장치(100) 의 센서부(110)는 헤드 마운트 디바이스의 움직임을 측정할 수 있다.
도 8에서는 도 6 및 도 7과는 달리, 수직 오차값과 수평 오차값이 기 설정된 값보다 큰 경우로, 처리부(120)는 수직 방향에 대해 중간값(810)을 재투영하여 렌더링 할 수 있다. 이때 처리부(120)는 중간값(810)을 수직방향에 대해 재투영(820)한 뒤 수평 방향으로 양쪽 눈에 대하여 재투영하여 렌더링(830)을 수행할 수 있다. 즉 수직방향으로 한번 수평 방향으로 2번 재투영하여 렌더링을 수행한다. 이후 처리부(120)는 각 눈에 대한 렌더링 결과(830)에 대해 이미지 공간상의 변환(840)을 수행할 수 있다. 이 때 변환 정도는 센서부(110)가 측정한 데이터를 통하여 결정하거나, 처리부(120)가 결정한 오차 값을 이용할 수 있다.
도 9는 그 밖의 실시예에 따른 헤드 마운트 디스플레이의 움직임을 보상하는 방법을 설명하기 위한 도면이다.
도9를 참조하면 헤드 마운트 디스플레이의 움직임을 보상하는 장치(100) 의 센서부(110)는 헤드 마운트 디바이스의 움직임을 측정할 수 있다.
도 9에서는 도 6 내지 도 8과는 달리, 수직 오차값과 수평 오차값이 기 설정된 값보다 크고, 두 눈의 수직 위치의 차이가 또 다른 기 설정된 값보다 큰 경우이다. 이때 처리부(120)는 수평 방향에 대해 중간값(910)을 양 눈에 대하여 재투영하여 렌더링(920)할 수 있다. 이후 처리부(120)는 각 눈에 대해 재투영하여 렌더링한 결과(920)에 대해 수직방향으로 재투영하여 렌더링(930)할 수 있다. 즉 수평 방향으로 2번 수직 방향으로 2번 재투영하여 렌더링을 수행한다. 마지막으로 수직방향으로 재투영하여 렌더링(930)한 결과를 이미지 공간상의 변환(940)을 수행하여 보정할 수 있다. 이 때 변환 정도는 센서부(110)가 측정한 데이터를 통하여 결정하거나, 처리부(120)가 결정한 오차 값을 이용할 수 있다.
도 10은 일 실시예에 따른 헤드 마운트 디스플레이의 움직임을 보상하는 방법을 설명하기 위한 흐름도이다.
단계 s1000에서, 헤드 마운트 디스플레이의 움직임을 측정할 수 있다.
단계 s1010에서, 측정한 움직임을 이용하여, 이미지가 헤드 마운트 디스플레이에 출력될 시점에서의 헤드 마운트 디스플레이의 움직임을 예측할 수 있다. 헤드 마운트 디스플레이의 움직임은 한 쪽 눈의 시점 또는 양 쪽 눈의 시점에서 예측할 수 있다.
단계 s1020에서, 예측한 움직임을 이용하여 이미지를 렌더링할 수 있다. 또한 예측한 한 쪽 눈의 시점, 예측한 양쪽 눈의 시점 중 하나의 시점 또는 예측한 양쪽 눈의 시점 중 중간값의 시점으로 이미지를 렌더링할 수 있다. 그리고 이미지를 래스터화(rasterization)하여 렌더링하거나 이미지를 광선 추적(ray tracing)하여 렌더링할 수 있다.
단계 s1030에서, 헤드 마운트 디스플레이의 움직임을 재측정할 수 있다.
단계 s1040에서, 재측정한 움직임을 이용하여, 이미지가 헤드 마운트 디스플레이에 출력될 시점에서의 헤드 마운트 디스플레이의 움직임을 재예측할 수 있다.
단계 s1050에서, 예측한 헤드 마운트 디스플레이의 움직임과 재예측한 헤드 마운트 디스플레이의 움직임을 비교하여 오차 값을 결정할 수 있다.
단계 s1060에서, 결정한 오차값을 이용하여 이미지를 재투영하여 렌더링할 수 있다. 또한 결정된 오차 값은 수평 오차 값, 수직 오차 값 또는 깊이 오차 값을 포함할 수 있다. 결정된 수평 오차 값, 수직 오차 값 또는 깊이 오차 값을 이용하여 수평 방향 재투영, 수직 방향 재투영 또는 깊이 방향 재투영의 순서를 결정할 수 있다. 이후에 결정된 재투영 순서대로 이미지를 재투영하여 렌더링할 수 있다. 이 때, 수평 오차 값이 수직 오차 값보다 크면, 수평 방향으로 재투영을 한 후, 수직 방향으로 재투영하도록 재투영 순서를 결정하고, 수평 오차 값이 수직 오차 값보다 작으면, 수직 방향으로 재투영을 한 후, 수평 방향으로 재투영하도록 재투영 순서를 결정할 수 있다. 이와 더불어 수평 오차 값 또는 수직 오차 값이 기 설정된 값을 초과하는지 여부에 따라 재투영 순서를 결정할 수 있다. 또 다른 실시 예로는 이미지의 영역 별로 재투영의 순서를 다르게 결정할 수 있다. 또한 이미지를 한 개의 시점 또는 두 개의 시점에 대해 재투영하여 렌더링할 수 있다. 이와 더불어 렌더링한 이미지의 깊이 값을 이용하여 깊이 방향으로 재투영하여 렌더링할 수 있다.
도 11은 다른 실시예에 따른 헤드 마운트 디스플레이의 움직임을 보상하는 방법을 설명하기 위한 흐름도이다.
단계 s1100에서, 헤드 마운트 디스플레이의 움직임을 측정할 수 있다.
단계 s1110에서, 측정한 움직임을 이용하여, 이미지가 헤드 마운트 디스플레이에 출력될 시점에서의 헤드 마운트 디스플레이의 움직임을 예측할 수 있다. 헤드 마운트 디스플레이의 움직임은 한 쪽 눈의 시점 또는 양 쪽 눈의 시점에서 예측할 수 있다.
단계 s1120에서, 예측한 움직임을 이용하여 이미지를 렌더링할 수 있다. 또한 예측한 한 쪽 눈의 시점, 예측한 양쪽 눈의 시점 중 하나의 시점 또는 예측한 양쪽 눈의 시점 중 중간값의 시점으로 이미지를 렌더링할 수 있다. 그리고 이미지를 래스터화(rasterization)하여 렌더링하거나 이미지를 광선 추적(ray tracing)하여 렌더링할 수 있다.
단계 s1130에서, 헤드 마운트 디스플레이의 움직임을 재측정할 수 있다.
단계 s1140에서, 재측정한 움직임을 이용하여, 이미지가 헤드 마운트 디스플레이에 출력될 시점에서의 헤드 마운트 디스플레이의 움직임을 재예측할 수 있다.
단계 s1150에서, 예측한 헤드 마운트 디스플레이의 움직임과 재예측한 헤드 마운트 디스플레이의 움직임을 비교하여 오차 값을 결정할 수 있다.
단계 s1160에서, 결정한 오차값을 이용하여 이미지를 재투영하여 렌더링할 수 있다. 또한 결정된 오차 값은 수평 오차 값 ,수직 오차 값 또는 깊이 오차 값을 포함할 수 있다. 결정된 수평 오차 값을 이용한 수평 방향 재투영, 수직 오차 값을 이용한 수직 방향 재투영 또는 깊이 오차 값을 이용한 깊이 방향 재투영의 순서를 결정할 수 있다. 이후에 결정된 재투영 순서대로 이미지를 재투영하여 렌더링할 수 있다. 이때, 수평 오차 값이 수직 오차 값보다 크면, 수평 방향으로 재투영을 한 후, 수직 방향으로 재투영하도록 재투영 순서를 결정하고, 수평 오차 값이 수직 오차 값보다 작으면, 수직 방향으로 재투영을 한 후, 수평 방향으로 재투영하도록 재투영 순서를 결정할 수 있다. 이와 더불어 수평 오차 값 또는 수직 오차 값이 기 설정된 값을 초과하는지 여부에 따라 재투영 순서를 결정할 수 있다. 또 다른 실시 예로는 이미지의 영역 별로 재투영의 순서를 다르게 결정할 수 있다. 또한 이미지를 한 개의 시점 또는 두 개의 시점에 대해 재투영하여 렌더링할 수 있다. 이와 더불어 렌더링한 이미지의 깊이 값을 이용하여 깊이 방향으로 재투영하여 렌더링할 수 있다.
단계 s1170에서 재투영하여 렌더링한 이미지를 이미지 공간상 변환할 수 있다. 이미지 공간상 변환하는 방법은 텍스쳐 매핑 방식을 포함할 수 있다.
도 12는 또 다른 실시예에 따른 헤드 마운트 디스플레이의 움직임을 보상하는 방법을 설명하기 위한 흐름도이다.
단계 s1200에서, 헤드 마운트 디스플레이의 움직임을 측정할 수 있다.
단계 s1210에서, 측정한 움직임을 이용하여, 이미지가 헤드 마운트 디스플레이에 출력될 시점에서의 헤드 마운트 디스플레이의 움직임을 예측할 수 있다. 헤드 마운트 디스플레이의 움직임은 한 쪽 눈의 시점 또는 양 쪽 눈의 시점에서 예측할 수 있다.
단계 s1220에서, 예측한 움직임을 이용하여 이미지를 렌더링할 수 있다. 또한 예측한 한 쪽 눈의 시점, 예측한 양쪽 눈의 시점 중 하나의 시점 또는 예측한 양쪽 눈의 시점 중 중간값의 시점으로 이미지를 렌더링할 수 있다. 그리고 이미지를 래스터화(rasterization)하여 렌더링하거나 이미지를 광선 추적(ray tracing)하여 렌더링할 수 있다.
단계 s1230에서, 헤드 마운트 디스플레이의 움직임을 재측정할 수 있다.
단계 s1240에서, 재측정한 움직임을 이용하여, 이미지가 헤드 마운트 디스플레이에 출력될 시점에서의 헤드 마운트 디스플레이의 움직임을 재예측할 수 있다.
단계 s1250에서, 예측한 헤드 마운트 디스플레이의 움직임과 재예측한 헤드 마운트 디스플레이의 움직임을 비교하여 오차 값을 결정할 수 있다.
단계 s1260에서, 결정한 오차값을 이용하여 이미지를 재투영하여 렌더링할 수 있다. 또한 결정된 오차 값은 수평 오차 값 및 수직 오차 값을 포함할 수 있다. 결정된 수평 오차 값을 이용한 수평 방향 재투영 및 수직 오차 값을 이용한 수직 방향 재투영의 순서를 결정할 수 있다. 이후에 결정된 재투영 순서대로 이미지를 재투영하여 렌더링할 수 있다. 이때, 수평 오차 값이 수직 오차 값보다 크면, 수평 방향으로 재투영을 한 후, 수직 방향으로 재투영하도록 재투영 순서를 결정하고, 수평 오차 값이 수직 오차 값보다 작으면, 수직 방향으로 재투영을 한 후, 수평 방향으로 재투영하도록 재투영 순서를 결정할 수 있다. 이와 더불어 수평 오차 값 또는 수직 오차 값이 기 설정된 값을 초과하는지 여부에 따라 재투영 순서를 결정할 수 있다. 또 다른 실시 예로는 이미지의 영역 별로 재투영의 순서를 다르게 결정할 수 있다. 또한 이미지를 한 개의 시점 또는 두 개의 시점에 대해 재투영하여 렌더링할 수 있다. 이와 더불어 렌더링한 이미지의 깊이 값을 이용하여 깊이 방향으로 재투영하여 렌더링할 수 있다.
단계 s1270에서, 렌더링한 이미지를 출력할 수 있다. 렌더링한 이미지는 헤드 마운트 디스플레이의 양안에 대한 디스플레이에 각각 출력할 수 있다.
본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.
본 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예를 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (27)

  1. 헤드 마운트 디스플레이의 움직임을 측정하는 단계;
    상기 측정한 움직임을 이용하여, 이미지가 상기 헤드 마운트 디스플레이에 출력될 시점에서의 상기 헤드 마운트 디스플레이의 움직임을 예측하는 단계;
    상기 예측한 움직임을 이용하여 상기 이미지를 렌더링하는 단계;
    상기 헤드 마운트 디스플레이의 움직임을 재측정하는 단계;
    상기 재측정한 움직임을 이용하여, 상기 이미지가 상기 헤드 마운트 디스플레이에 출력될 시점에서의 상기 헤드 마운트 디스플레이의 움직임을 재예측하는 단계;
    상기 예측한 헤드 마운트 디스플레이의 움직임과 상기 재예측한 헤드 마운트 디스플레이의 움직임을 비교하여 오차 값을 결정하는 단계; 및
    상기 결정한 오차값을 이용하여 상기 이미지를 재투영(reprojection)하여 렌더링하는 단계를 포함하는, 헤드 마운트 디스플레이의 움직임을 보상하는 방법.
  2. 제 1항에 있어서,
    상기 재투영하여 렌더링한 이미지를 이미지 공간상 변환(Image-space transform)하는 단계를 더 포함하는, 헤드 마운트 디스플레이의 움직임을 보상하는 방법.
  3. 제 1항에 있어서,
    상기 결정된 오차 값은 수평 오차 값을 포함하고,
    상기 재투영하여 렌더링하는 단계는,
    상기 결정된 수평 오차 값을 이용하여 상기 이미지를 수평 방향 재투영하여 렌더링하는, 헤드 마운트 디스플레이의 움직임을 보상하는 방법.
  4. 제 1항에 있어서,
    상기 결정된 오차 값은 수직 오차 값을 포함하고,
    상기 재투영하여 렌더링하는 단계는,
    상기 결정된 수직 오차 값을 이용하여 상기 이미지를 수직 방향 재투영하여 렌더링하는, 헤드 마운트 디스플레이의 움직임을 보상하는 방법.
  5. 제 1항에 있어서,
    상기 결정된 오차 값은 깊이 오차 값을 포함하고,
    상기 재투영하여 렌더링하는 단계는,
    상기 결정된 깊이 오차 값을 이용하여 상기 이미지를 깊이 방향으로 재투영하여 렌더링하는, 헤드 마운트 디스플레이의 움직임을 보상하는 방법.
  6. 제 1항에 있어서,
    상기 결정된 오차 값은 수평 오차 값, 수직 오차 값 또는 깊이 오차 값을 포함하고,
    상기 재투영하여 렌더링하는 단계는,
    상기 결정된 수평 오차 값을 이용한 수평 방향 재투영, 상기 수직 오차 값을 이용한 수직 방향 재투영 또는 상기 깊이 오차 값을 이용한 깊이 방향 재투영의 순서를 결정하는 단계를 포함하고,
    상기 결정된 순서대로 상기 이미지를 재투영하여 렌더링하는, 헤드 마운트 디스플레이의 움직임을 보상하는 방법.
  7. 제 1항에 있어서,
    상기 재투영하여 렌더링하는 단계는,
    상기 이미지를 한 개의 시점 또는 두 개의 시점에 대해 재투영하여 렌더링하는, 헤드 마운트 디스플레이의 움직임을 보상하는 방법.
  8. 제 1항에 있어서,
    상기 예측하는 단계는,
    상기 헤드 마운트 디스플레이의 움직임을 한쪽 눈의 시점 또는 양쪽 눈의 시점에서 예측하고,
    상기 이미지를 렌더링하는 단계는,
    상기 예측한 한쪽 눈의 시점, 상기 예측한 양 쪽 눈의 시점 중 하나의 시점 또는 상기 예측한 양쪽 눈의 시점 중 중간값의 시점으로 상기 이미지를 렌더링하는, 헤드 마운트 디스플레이의 움직임을 보상하는 방법.
  9. 제 1항에 있어서,
    상기 이미지를 렌더링하는 단계는,
    상기 이미지를 래스터화(rasterization)하여 렌더링하거나 상기 이미지를 광선 추적(ray tracing)하여 렌더링하는, 헤드 마운트 디스플레이의 움직임을 보상하는 방법.
  10. 제 6항에 있어서,
    상기 재투영 순서를 결정하는 단계는,
    상기 수평 오차 값이 상기 수직 오차 값보다 크면, 상기 수평 방향으로 재투영을 한 후, 상기 수직 방향으로 재투영하도록 재투영 순서를 결정하고,
    상기 수평 오차 값이 상기 수직 오차 값보다 작으면, 상기 수직 방향으로 재투영을 한 후, 상기 수평 방향으로 재투영하도록 재투영 순서를 결정하는, 헤드 마운트 디스플레이의 움직임을 보상하는 방법.
  11. 제 6항에 있어서,
    상기 재투영 순서를 결정하는 단계는,
    상기 수평 오차 값 또는 상기 수직 오차 값이 기 설정된 값을 초과하는지 여부에 따라 상기 재투영 순서를 결정하는, 헤드 마운트 디스플레이의 움직임을 보상하는 방법.
  12. 제 6항에 있어서,
    상기 재투영하는 순서를 결정하는 단계는,
    상기 이미지의 영역 별로 상기 재투영의 순서를 다르게 결정하는, 헤드 마운트 디스플레이의 움직임을 보상하는 방법.

  13. 제 1항에 있어서,
    상기 렌더링한 이미지를 상기 헤드 마운트 디스플레이에 출력하는 단계를 더 포함하는, 헤드 마운트 디스플레이의 움직임을 보상하는 방법.
  14. 헤드 마운트 디스플레이의 움직임을 측정하는 센서부; 및
    상기 센서부에서 측정된 움직임을 이용하여 이미지가 상기 헤드 마운트 디스플레이에 출력될 시점에서의 상기 헤드 마운트 디스플레이의 움직임을 예측하고, 상기 예측한 움직임을 이용하여 상기 이미지를 렌더링하는 처리부를 포함하며, 상기 처리부는, 상기 이미지가 상기 헤드 마운트 디스플레이에 출력될 시점에서의 상기 헤드 마운트 디스플레이의 움직임을 재예측하고, 상기 예측한 헤드 마운트 디스플레이의 움직임과 상기 재예측한 헤드 마운트 디스플레이의 움직임을 비교하여 오차 값을 결정하고, 상기 결정한 오차값을 이용하여 상기 이미지를 재투영(reprojection)하여 렌더링하는, 헤드 마운트 디스플레이의 움직임을 보상하는 장치.
  15. 제 14항에 있어서,
    상기 처리부는,
    상기 재투영하여 렌더링한 이미지를 이미지 공간상 변환(Image-space transform)하는, 헤드 마운트 디스플레이의 움직임을 보상하는 장치.
  16. 제 14항에 있어서,
    상기 결정된 오차 값은 수평 오차 값을 포함하고,
    상기 처리부는,
    상기 결정된 수평 오차 값을 이용하여 상기 이미지를 수평 방향 재투영하여 렌더링하는, 헤드 마운트 디스플레이의 움직임을 보상하는 장치.
  17. 제 14항에 있어서,
    상기 결정된 오차 값은 수직 오차 값을 포함하고,
    상기 처리부는,
    상기 결정된 수직 오차 값을 이용하여 상기 이미지를 수직 방향 재투영하여 렌더링하는, 헤드 마운트 디스플레이의 움직임을 보상하는 장치.
  18. 상기 결정된 오차 값은 깊이 오차 값을 포함하고,
    상기 처리부는,
    상기 결정된 깊이 오차 값을 이용하여 상기 이미지를 깊이 방향 재투영하여 렌더링하는, 헤드 마운트 디스플레이의 움직임을 보상하는 장치.
  19. 제 14항에 있어서,
    상기 결정된 오차 값은 수평 오차 값 , 수직 오차 값 또는 깊이 오차 값을 포함하고,
    상기 처리부는,
    상기 결정된 수평 오차 값을 이용한 수평 방향 재투영, 상기 수직 오차 값을 이용한 수직 방향 재투영 또는 상기 깊이 오차 값을 이용한 깊이 방향 재투영의 순서를 결정하고, 상기 결정된 재투영 순서대로 상기 이미지를 재투영하여 렌더링하는, 헤드 마운트 디스플레이의 움직임을 보상하는 장치.
  20. 제 14항에 있어서,
    상기 처리부는,
    상기 이미지를 한 개의 시점 또는 두 개의 시점에 대해 재투영하여 렌더링하는, 헤드 마운트 디스플레이의 움직임을 보상하는 장치.
  21. 제 14항에 있어서,
    상기 처리부는,
    상기 헤드 마운트 디스플레이의 움직임을 한쪽 눈의 시점 또는 양 쪽 눈의 시점에서 예측하고, 상기 예측한 한쪽 눈의 시점, 상기 예측한 양쪽 눈의 시점 중 하나의 시점 또는 상기 예측한 양쪽 눈의 시점 중 중간값의 시점으로 상기 이미지를 렌더링하는, 헤드 마운트 디스플레이의 움직임을 보상하는 장치.
  22. 제 14항에 있어서,
    상기 처리부는,
    상기 이미지를 래스터화(rasterization)하여 렌더링하거나 상기 이미지를 광선 추적(ray tracing)하여 렌더링하는, 헤드 마운트 디스플레이의 움직임을 보상하는 장치.
  23. 제 19항에 있어서,
    상기 처리부는,
    상기 수평 오차 값이 상기 수직 오차 값보다 크면, 상기 수평 방향으로 재투영을 한 후, 상기 수직 방향으로 재투영하도록 재투영 순서를 결정하고, 상기 수평 오차 값이 상기 수직 오차 값보다 작으면, 상기 수직 방향으로 재투영을 한 후, 상기 수평 방향으로 재투영하도록 재투영 순서를 결정하는, 헤드 마운트 디스플레이의 움직임을 보상하는 장치.
  24. 제 19항에 있어서,
    상기 처리부는,
    상기 수평 오차 값 또는 상기 수직 오차 값이 기 설정된 값을 초과하는지 여부에 따라 상기 재투영 순서를 결정하는, 헤드 마운트 디스플레이의 움직임을 보상하는 장치.
  25. 제 19항에 있어서,
    상기 처리부는,
    상기 이미지의 영역 별로 상기 재투영의 순서를 다르게 결정하는, 헤드 마운트 디스플레이의 움직임을 보상하는 장치.
  26. 제 14항에 있어서,
    상기 렌더링한 이미지를 상기 헤드 마운트 디스플레이에 출력하는 출력부를 더 포함하는, 헤드 마운트 디스플레이의 움직임을 보상하는 장치.
  27. 제1항 내지 제13항 중 어느 하나의 항의 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020150133087A 2015-09-21 2015-09-21 헤드 마운트 디스플레이의 움직임을 보상하는 방법 및 이를 위한 장치 KR102501752B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150133087A KR102501752B1 (ko) 2015-09-21 2015-09-21 헤드 마운트 디스플레이의 움직임을 보상하는 방법 및 이를 위한 장치
EP16187657.8A EP3144779B1 (en) 2015-09-21 2016-09-07 Method and apparatus for compensating for movement of head-mounted display
US15/270,409 US10217271B2 (en) 2015-09-21 2016-09-20 Method and apparatus for compensating for movement of head-mounted display
CN201610835696.9A CN106547092B (zh) 2015-09-21 2016-09-20 用于补偿头戴式显示器的移动的方法和设备
JP2016183156A JP2017076119A (ja) 2015-09-21 2016-09-20 ヘッドマウントディスプレイの動きを補償する方法及びそのための装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150133087A KR102501752B1 (ko) 2015-09-21 2015-09-21 헤드 마운트 디스플레이의 움직임을 보상하는 방법 및 이를 위한 장치

Publications (2)

Publication Number Publication Date
KR20170034602A true KR20170034602A (ko) 2017-03-29
KR102501752B1 KR102501752B1 (ko) 2023-02-20

Family

ID=57226733

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150133087A KR102501752B1 (ko) 2015-09-21 2015-09-21 헤드 마운트 디스플레이의 움직임을 보상하는 방법 및 이를 위한 장치

Country Status (5)

Country Link
US (1) US10217271B2 (ko)
EP (1) EP3144779B1 (ko)
JP (1) JP2017076119A (ko)
KR (1) KR102501752B1 (ko)
CN (1) CN106547092B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11099396B2 (en) 2020-04-10 2021-08-24 Samsung Electronics Company, Ltd. Depth map re-projection based on image and pose changes
KR20220155071A (ko) * 2021-05-14 2022-11-22 (주)이머시브캐스트 적응적인 fov 렌더링 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10585472B2 (en) 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US10209771B2 (en) 2016-09-30 2019-02-19 Sony Interactive Entertainment Inc. Predictive RF beamforming for head mounted display
US10445925B2 (en) * 2016-09-30 2019-10-15 Sony Interactive Entertainment Inc. Using a portable device and a head-mounted display to view a shared virtual reality space
DE102017200325A1 (de) * 2017-01-11 2018-07-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug
WO2018148565A1 (en) * 2017-02-09 2018-08-16 Wove, Inc. Method for managing data, imaging, and information computing in smart devices
US10979685B1 (en) 2017-04-28 2021-04-13 Apple Inc. Focusing for virtual and augmented reality systems
CN116456097A (zh) * 2017-04-28 2023-07-18 苹果公司 视频流水线
US10861142B2 (en) 2017-07-21 2020-12-08 Apple Inc. Gaze direction-based adaptive pre-filtering of video data
DE102018209377A1 (de) * 2018-06-12 2019-12-12 Volkswagen Aktiengesellschaft Verfahren zur Darstellung von AR-/VR-Inhalten auf einem mobilen Endgerät und mobiles Endgerät, auf dem AR-/VR-Inhalte dargestellt werden
EP3903162A4 (en) 2018-12-27 2022-03-02 Magic Leap, Inc. SYSTEMS AND PROCESSES FOR VIRTUAL AND AUGMENTED REALITY
JP2022553202A (ja) 2019-10-18 2022-12-22 マジック リープ， インコーポレイテッド 視覚的慣性オドメトリのための重力推定およびバンドル調整
US11417065B2 (en) 2019-10-29 2022-08-16 Magic Leap, Inc. Methods and systems for reprojection in augmented-reality displays
US11635802B2 (en) * 2020-01-13 2023-04-25 Sony Interactive Entertainment Inc. Combined light intensity based CMOS and event detection sensor for high speed predictive tracking and latency compensation in virtual and augmented reality HMD systems
US11107290B1 (en) 2020-02-27 2021-08-31 Samsung Electronics Company, Ltd. Depth map re-projection on user electronic devices
US11688073B2 (en) 2020-04-14 2023-06-27 Samsung Electronics Co., Ltd. Method and system for depth map reconstruction
CN116210021A (zh) 2020-05-29 2023-06-02 奇跃公司 确定角加速度
US11615594B2 (en) 2021-01-21 2023-03-28 Samsung Electronics Co., Ltd. Systems and methods for reconstruction of dense depth maps
GB2614326A (en) * 2021-12-31 2023-07-05 Sony Interactive Entertainment Europe Ltd Apparatus and method for virtual reality

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100079485A1 (en) * 2008-09-26 2010-04-01 Microsoft Corporation Compensating for anticipated movement of a device
KR20120085326A (ko) * 2009-11-23 2012-07-31 제너럴 인스트루먼트 코포레이션 비디오 시퀀스로의 추가 채널로서의 깊이 코딩
US20150220142A1 (en) * 2014-01-31 2015-08-06 Kopin Corporation Head-Tracking Based Technique for Moving On-Screen Objects on Head Mounted Displays (HMD)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3546756B2 (ja) 1999-05-21 2004-07-28 トヨタ自動車株式会社 空間座標入力装置
KR100475247B1 (ko) 2001-12-28 2005-03-10 한국전자통신연구원 증강현실 기술을 이용한 게임 장치 및 방법
KR100795481B1 (ko) 2006-06-26 2008-01-16 광주과학기술원 다시점화상의 처리 방법 및 장치
US20130094779A1 (en) * 2011-10-04 2013-04-18 Texas Instruments Incorporated Method and Apparatus for Prediction Unit Size Dependent Motion Compensation Filtering Order
CN103593044A (zh) * 2012-08-13 2014-02-19 鸿富锦精密工业（深圳）有限公司 电子装置校正系统及方法
US9380287B2 (en) * 2012-09-03 2016-06-28 Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh Head mounted system and method to compute and render a stream of digital images using a head mounted display
GB201305402D0 (en) * 2013-03-25 2013-05-08 Sony Comp Entertainment Europe Head mountable display
CN104076510A (zh) * 2013-03-27 2014-10-01 聚晶半导体股份有限公司 适应性调整头戴式显示器的方法与头戴式显示器
US9063330B2 (en) * 2013-05-30 2015-06-23 Oculus Vr, Llc Perception based predictive tracking for head mounted displays
US9443355B2 (en) * 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
KR101540161B1 (ko) * 2013-12-18 2015-07-28 삼성전기주식회사 웨어러블 기기의 디스플레이 위치 제어 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100079485A1 (en) * 2008-09-26 2010-04-01 Microsoft Corporation Compensating for anticipated movement of a device
KR20120085326A (ko) * 2009-11-23 2012-07-31 제너럴 인스트루먼트 코포레이션 비디오 시퀀스로의 추가 채널로서의 깊이 코딩
US20150220142A1 (en) * 2014-01-31 2015-08-06 Kopin Corporation Head-Tracking Based Technique for Moving On-Screen Objects on Head Mounted Displays (HMD)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11099396B2 (en) 2020-04-10 2021-08-24 Samsung Electronics Company, Ltd. Depth map re-projection based on image and pose changes
KR20220155071A (ko) * 2021-05-14 2022-11-22 (주)이머시브캐스트 적응적인 fov 렌더링 방법

Also Published As

Publication number Publication date
US20170084074A1 (en) 2017-03-23
CN106547092B (zh) 2020-11-10
EP3144779A1 (en) 2017-03-22
JP2017076119A (ja) 2017-04-20
US10217271B2 (en) 2019-02-26
KR102501752B1 (ko) 2023-02-20
EP3144779B1 (en) 2022-12-28
CN106547092A (zh) 2017-03-29

Similar Documents

Publication Publication Date Title
KR20170034602A (ko) 헤드 마운트 디스플레이의 움직임을 보상하는 방법 및 이를 위한 장치
CN112513712B (zh) 具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法
KR102424965B1 (ko) 적응적 렌더링을 수행하는 방법 및 그래픽스 시스템
US9100537B2 (en) Object tracking using graphics engine derived vectors in a motion estimation system
KR102164541B1 (ko) 레이 트레이싱 시스템에서의 가속 구조 생성 장치 및 그 생성 방법
US20210241495A1 (en) Method and system for reconstructing colour and depth information of a scene
US9406164B2 (en) Apparatus and method of multi-view rendering
KR102637736B1 (ko) 그래픽스 처리 방법 및 시스템
EP3526774B1 (en) Modifying hand occlusion of holograms based on contextual information
US11417065B2 (en) Methods and systems for reprojection in augmented-reality displays
US8031977B2 (en) Image interpolation method, medium and system
KR20180071767A (ko) 큐브 맵을 텍스쳐링하기 위한 LOD(level of detail)를 결정하는 방법 및 장치
JP5770295B2 (ja) モーションブラー及び被写界深度のためのバックフェースカリング
KR20210038659A (ko) 2차원 이미지를 외삽하기 위해 깊이 정보를 사용하는 시스템 및 방법
KR20150093048A (ko) 그래픽스 데이터를 렌더링하는 방법 및 장치
KR102482874B1 (ko) 렌더링 장치 및 방법
KR102252375B1 (ko) 광선-노드 교차검사를 수행하는 방법 및 장치
EP2827302B1 (en) Image processing apparatus and method
US20150228113A1 (en) Graphic data rendering method and apparatus, and recording medium
US6590582B1 (en) Clipping processing method
KR20130124618A (ko) 영상 처리 장치 및 방법
KR101227183B1 (ko) 3ｄ 그래픽 모델 입체 렌더링 장치 및 입체 렌더링 방법
CN116018617A (zh) 用于生成基于喷溅的可微分二维渲染的系统和方法
CN110874858A (zh) 用于渲染反射的系统和方法
KR20150042093A (ko) 그래픽스 데이터를 렌더링하는 방법, 장치 및 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant