KR20210029851A - 증강 현실 경험을 위한 재투영 oled 디스플레이 - Google Patents

증강 현실 경험을 위한 재투영 oled 디스플레이 Download PDF

Info

Publication number
KR20210029851A
KR20210029851A KR1020217007117A KR20217007117A KR20210029851A KR 20210029851 A KR20210029851 A KR 20210029851A KR 1020217007117 A KR1020217007117 A KR 1020217007117A KR 20217007117 A KR20217007117 A KR 20217007117A KR 20210029851 A KR20210029851 A KR 20210029851A
Authority
KR
South Korea
Prior art keywords
image
rendered image
updated
display
pixel
Prior art date
Application number
KR1020217007117A
Other languages
English (en)
Other versions
KR102373813B1 (ko
Inventor
칼빈 찬
제프리 네일 마골리스
앤드류 피어슨
마틴 쉬터
애쉬라프 아이맨 미카일
배리 코레트
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20210029851A publication Critical patent/KR20210029851A/ko
Application granted granted Critical
Publication of KR102373813B1 publication Critical patent/KR102373813B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/007—Use of pixel shift techniques, e.g. by mechanical shift of the physical pixels or by optical shift of the perceived pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G09G3/3225—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/08—Active matrix structure, i.e. with use of active elements, inclusive of non-linear two terminal elements, in the pixels together with light emitting or modulating elements
    • G09G2300/0804—Sub-multiplexed active matrix panel, i.e. wherein one active driving circuit is used at pixel level for multiple image producing elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G09G2340/0471—Vertical positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G09G2340/0478—Horizontal positioning

Abstract

렌더링 프레임율보다 큰 프레임율로 증강 현실 환경 내의 하나 이상의 가상 객체와 연관된 이미지를 생성하고 디스플레이하는 방법이 기술된다. 렌더링 프레임율은 머리 장착형 디스플레이 디바이스(HMD)의 자세와 연관된 이미지를 렌더링하기 위한 최소 시간과 대응할 수 있다. 몇몇 실시예에서, HMD는 HMD의 향후 포지션 및 배향과 연관된 예상 자세를 판정하고, 사전표현 이미지를 예상 자세에 기반하여 생성하며, 사전표현 이미지를 생성한 후에 HMD와 연관된 갱신 자세를 판정하고, 갱신 이미지를 갱신 자세 및 사전표현 이미지에 기반하여 생성하며, 갱신 이미지를 HMD 상에 디스플레이할 수 있다. 갱신 이미지는 디스플레이 내의 회로망에 의한 사전표현 이미지의 호모그래픽 변환 및/또는 픽셀 오프셋 조절을 통하여 생성될 수 있다.

Description

증강 현실 경험을 위한 재투영 OLED 디스플레이{REPROJECTION OLED DISPLAY FOR AUGMENTED REALITY EXPERIENCES}
증강 현실(Augmented Reality: AR)은 증강된 실제 세계 환경(augmented real-world environment)(여기에서 실제 세계 환경(또는 실제 세계 환경을 나타내는 데이터)의 지각(perception)은 컴퓨터 생성 가상 데이터(computer-generated virtual data)로써 증강되거나 수정됨)을 제공하는 것에 관련된다. 예를 들면, 실제 세계 환경을 나타내는 데이터는 카메라(camera) 또는 마이크(microphone)와 같은 감지성 입력 디바이스(sensory input device)를 사용하여 실시간으로 포착되고(captured) 가상 이미지 및 가상 사운드를 포함하는 컴퓨터 생성 가상 데이터로써 증강될 수 있다. 가상 데이터는 실제 세계 환경에 관련된 정보, 이를테면 또한 실제 세계 환경 내의 실제 세계 객체(object)와 연관된 텍스트 서술(text description)을 포함할 수 있다. AR 환경 내의 객체는 실제 객체(즉, 특정한 실제 세계 환경 내에 존재하는 객체) 및 가상 객체(즉, 특정한 실제 세계 환경 내에 존재하지 않는 객체)를 포함할 수 있다.
가상 객체를 AR 환경 내에 사실적으로 통합하기(integrate) 위해서, AR 시스템은 전형적으로 맵핑(mapping) 및 로컬화(localization)를 포함하는 여러 작업을 수행한다. 맵핑은 실제 세계 환경의 맵(map)을 생성하는 프로세스에 관련된다. 로컬화는 실제 세계 환경의 맵에 관해서 특정한 관점(point of view) 또는 자세(pose)를 파악하는(locating) 프로세스에 관련된다. 몇몇 경우에, AR 시스템은 모바일 디바이스(mobile device)가 실제 세계 환경 내에서 움직일 때 증강될 필요가 있는 모바일 디바이스와 연관된 특정한 자세를 판정하기 위해서 실시간으로 실제 세계 환경 내에서 움직이는 모바일 디바이스의 자세를 로컬화할 수 있다.
전자 디스플레이(가령, 머리 장착형 디스플레이 디바이스(head-mounted display device)와 통합된 LED 디스플레이)를 사용하여 모바일 디바이스의 최종 사용자(end user)에게 AR 환경이 제공될 수 있다. 전자 디스플레이는 전자 디스플레이(가령, 실리콘 액정 디스플레이(liquid crystal on silicon display))에 제공되는 빛을 변조함으로써 또는 전자 디스플레이(가령, OLED 디스플레이) 내에 빛을 생성함으로써 가상 객체의 이미지를 최종 사용자에게 디스플레이할 수 있다. OLED 또는 유기 발광 다이오드(organic light emitting diode)는 방출성 전자발광층(emmisive electroluminescent layer)이 유기막(organic film)을 포함하는 LED이다. OLED 디스플레이는 수동 매트릭스(passive matrix) OLED 디스플레이 또는 능동 매트릭스(active matrix) OLED 디스플레이를 포함할 수 있다. 능동 매트릭스 OLED 디스플레이는 픽셀당(per pixel) 생성되는 빛의 양을 제어하기 위해 각 OLED 픽셀 내에서 하나 이상의 박막 트랜지스터(Thin-Film Transistor: TFT)를 사용한다. 하나의 예에서, 각 OLED 픽셀은 OLED를 구동하기(driving) 위한 제1 TFT 및 제1 TFT를 제어하기 위해 데이터를 래칭하기(latching) 위한 제2 TFT를 포함할 수 있다. TFT는 폴리실리콘(polysilicon) TFT 또는 비정질 실리콘(amorphous silicon) TFT를 포함할 수 있다. 몇몇 경우에, OLED 디스플레이는 적색, 녹색 및 청색 방출 서브픽셀(sub-pixel)의 그룹을 포함할 수 있다(즉, OLED 픽셀 각각은 적색, 녹색 및 청색 광을 생성하기 위한 복수의 LED를 포함할 수 있음). OLED 디스플레이는 또한 청록색(cyan), 황색, 자홍색(magenta) 및 백색 방출 서브픽셀의 그룹을 포함할 수 있다.
렌더링 프레임율(rendering frame rate)보다 큰 프레임율로 증강 현실(Augmented Reality: AR) 환경 내의 하나 이상의 가상 객체와 연관된 이미지를 생성하고 투영하기 위한 기술이 서술된다. 렌더링 프레임율은 머리 장착형 디스플레이 디바이스(head-mounted display device)(HMD)의 특정한 자세와 연관된 이미지를 렌더링하기(render) 위한 최소 시간과 대응할 수 있다. 몇몇 실시예에서, HMD는 HMD의 향후 포지션(position) 및 배향(orientation)과 연관된 예상 자세(predicted pose)(가령, 8ms 또는 16ms 향후의 HMD의 예상 자세)를 판정하고, 사전표현 이미지(pre-rendered image)를 예상 자세에 기반하여 생성하며, 사전표현 이미지를 생성한 후에 HMD와 연관된 갱신 자세(updated pose)를 판정하고, 갱신 이미지(updated image)를 갱신 자세 및 사전표현 이미지에 기반하여 생성하며, 갱신 이미지를 HMD 상에 디스플레이할 수 있다. 갱신 이미지는 디스플레이 내의 회로망(circuitry)에 의한 사전표현 이미지의 호모그래픽 변환(homographic transformation) 및/또는 픽셀 오프셋 조절(pixel offset adjustment)을 통하여 생성될 수 있다.
이 개요는 상세한 설명에서 추가로 후술되는 개념들 중 선택된 것을 단순화된 형태로 소개하기 위해 제공된다. 이 개요는 청구된 대상(claimed subject matter)의 중요 특징 또는 필수적 특징을 식별하고자 의도된 것이 아니며, 청구된 대상의 범주를 정하는 데에 보조물로서 사용되고자 의도된 것도 아니다.
도 1은 개시된 기술이 실시될 수 있는 네트워킹된 컴퓨팅 환경(networked computing environment)의 하나의 실시예의 블록도(block diagram)이다.
도 2a는 제2 모바일 디바이스와 통신하는 모바일 디바이스의 하나의 실시예를 묘사한다.
도 2b는 HMD의 일부분의 하나의 실시예를 묘사한다.
도 3a는 코어 렌더링 파이프라인(core rendering pipeline)을 위한 렌더링 프레임율보다 큰 프레임율로 가상 객체와 연관된 이미지를 생성하고 디스플레이하는 시스템의 하나의 실시예를 묘사한다.
도 3b는 디스플레이의 하나의 실시예를 묘사한다.
도 3c는 디스플레이의 대안적 실시예를 묘사한다.
도 4a는 사전표현 이미지의 일부분과, 사전표현 이미지에 기반한 갱신 이미지의 하나의 실시예를 묘사한다.
도 4b는 사전표현 이미지와, 갱신 이미지(또는 타겟 이미지)를 생성하기 위해 사용되는 샘플링 영역의 하나의 실시예를 묘사한다.
도 4c는 사전표현 이미지와, 사전표현 이미지에 대한 롤링 버퍼(rolling buffer)의 적용의 하나의 실시예를 묘사한다.
도 5a는 갱신 이미지를 생성하기 위해서 후기 단계 그래픽 조절(late stage graphical adjustment)을 표현 이미지에 적용하는 하나의 실시예를 묘사한다.
도 5b는 디스플레이와 연관된 디스플레이 시퀀스(display sequence)의 하나의 실시예를 묘사한다.
도 5c는 디스플레이와 연관된 디스플레이 시퀀스의 대안적 실시예를 묘사한다.
도 6a는 렌더링 프레임율보다 큰 프레임율로 가상 객체와 연관된 이미지를 생성하고 디스플레이하는 방법의 하나의 실시예를 설명하는 흐름도(flowchart)이다.
도 6b는 디스플레이와 통합된 회로망을 사용하여 디스플레이에 제공되는 표현 이미지에 대한 그래픽 조절을 행하는 방법의 하나의 실시예를 설명하는 흐름도이다.
도 7a는 렌더링 프레임율보다 큰 프레임율로 가상 객체와 연관된 이미지를 생성하고 디스플레이하는 방법의 대안적 실시예를 설명하는 흐름도이다.
도 7b는 표현 이미지를 생성하는 프로세스의 하나의 실시예를 설명하는 흐름도이다.
도 8은 모바일 디바이스의 하나의 실시예의 블록도이다.
렌더링 프레임율보다 큰 프레임율로 증강 현실(Augmented Reality: AR) 환경 내의 하나 이상의 가상 객체와 연관된 이미지를 생성하고 디스플레이하는 것 및 가상 객체 안정성을 개선하는 것을 위한 기술이 설명된다. 디스플레이되는 이미지는 더 높은 빈도의 자세 추정을 포함시키기 위해서 사전표현 장면(즉, 렌더링 프레임율로 렌더링되는 순방향 예측된(forward predicted) 장면)의 후기 단계 그래픽 조절을 포함할 수 있다. 렌더링 프레임율은 머리 장착형 디스플레이 디바이스(HMD)의 자세와 연관된 이미지를 렌더링할 최소 시간과 대응할 수 있다. 몇몇 실시예에서, HMD는 HMD의 향후 포지션 및 배향과 연관된 예상 자세(가령, 10ms 또는 20ms 향후의 HMD의 예상 자세)를 판정하고, 사전표현 이미지를 예상 자세에 기반하여 생성하며, 사전표현 이미지를 생성한 후에 또는 사전표현 이미지가 생성되는 것과 동시에 HMD와 연관된 갱신 자세를 판정하고, 갱신 이미지를 갱신 자세 및 사전표현 이미지에 기반하여 생성하며, 갱신 이미지를 HMD 상에 디스플레이할 수 있다. 갱신 이미지는 디스플레이 내의 회로망에 의한 사전표현 이미지의 호모그래픽 변환 및/또는 픽셀 오프셋 조절을 통하여 생성될 수 있다.
몇몇 실시예에서, 예상 자세는 예상 자세를 판정하기 직전에 HMD의 현재 포지션과 배향 및 HMD의 가속도와 속도에 기반하여 (가령, 예상 자세를 판정하기 5ms 또는 10ms 전 HMD의 움직임에 기반하여 예상 자세를 외삽함(extrapolating)으로써) 판정될 수 있다. 갱신 자세는 렌더링 프레임율보다 더 높은 빈도로 자세 추적기(pose tracker)에 제공되는 갱신 자세 정보(updated pose information)에 기반하여 판정될 수 있다. 하나의 예에서, 갱신 자세 정보는 저지연(low-latency) 관성 측정 유닛(Inertial Measurement Unit: IMU), 또는 IMU 및 카메라 기반 자세 추적의 조합을 사용하여 생성될 수 있다. 갱신 이미지는 예상 자세 및 갱신 자세 간의 차이를 교정하기 위해서 (가령, 사전표현 이미지를 생성하는 경우 부정확한 자세 예측(pose prediction)을 보상하기 위해) 사전표현 이미지의 적어도 일부분의 이미지 회전(rotation), 병진(translation), 크기조정(resizing)(가령, 늘리기(stretching) 또는 줄이기(shrinking)), 전이(shifting) 또는 기울이기(tilting)를 포함할 수 있다. 갱신 이미지는 사전표현 이미지의 호모그래픽 변환을 통하여 생성될 수 있다. 몇몇 경우에, 호모그래픽 변환은 어파인 변환(affine transformation)을 포함할 수 있다. 갱신 이미지는 픽셀 오프셋 조절, 또는 호모그래픽 변환과 픽셀 오프셋 조절의 조합을 사용하여 생성될 수 있다. 몇몇 경우에, 호모그래픽 변환 및/또는 픽셀 오프셋 조절은 (가령, 디스플레이와 통합된 제어기 또는 프로세서를 사용하여) 코어 렌더링 파이프라인으로부터 하향으로(downstream) 생성될 수 있다. 하나의 실시예에서, 픽셀 오프셋 조절은 (가령, 전하 결합 디바이스(charge-coupled device)의 동작과 유사한) 디스플레이의 픽셀 어레이(pixel array) 내에서의 픽셀 값의 전이를 가능하게 하기 위한 시프트 레지스터(shift register) 또는 다른 회로망을 포함하는 디스플레이를 사용하여 수행될 수 있다.
몇몇 실시예에서, 순방향 예측된 표현 이미지의 후기 단계 그래픽 조절을 포함하는 갱신 이미지는 계산상의 복잡도(computational complexity)를 달리 하는 다양한 이미지 재투영(reprojection) 기법을 사용하여 생성될 수 있다. 이미지 재투영 기법은 픽셀당 재투영(가령, 표현 이미지의 각 픽셀은 갱신 자세에 기반하여 재투영됨), 다중 평면 호모그래피(multi-plane homography)(가령, 3D 장면 내의 다수의 평면과 연관된 다수의 표현 이미지가 합성(composite) 갱신 이미지를 생성하는 데에 사용됨), 단일 평면 호모그래피(single plane homography)(가령, 3D 장면 내의 단일의 평면과 연관된 단일의 표현 이미지가 갱신 이미지를 생성하는 데에 사용됨), 어파인 호모그래피(affine homography) 및 픽셀 오프셋 기반 조절을 포함할 수 있다. 3D 장면 내의 2D 평면(또는 하나 이상의 2D 평면의 세트(set))은 특정한 기간 내에서 HMD의 최종 사용자가 어느 가상 객체에 초점을 맞추고(focusing) 있었는지에 기반하여 판정될 수 있다. 하나의 예에서, 특정한 기간 내에서 (가령, 이전의 50ms 또는 500ms 내에서) 가장 빈번히 바라보아진(most frequently viewed) 가상 객체를 판정하기 위해 눈 추적(eye tracking)이 사용될 수 있다. 단일 평면의 경우에, 단일 평면은 특정한 기간 내에서 가장 빈번히 바라보아진 가상 객체의 깊이(depth)에 기반하여 선택될 수 있다(즉, 단일 평면은 증강 현실 환경 내의 가장 빈번히 바라보아진 가상 객체의 위치(location)에 기반하여 설정될 수 있음). 다수의 평면의 경우에, 증강 현실 환경 내의 가상 객체들은 다수의 평면으로의 근접성(proximity)에 기반하여 복수의 그룹으로 구획될(segmented) 수 있는데, 예를 들면, 만약 가까운 평면이 제1 가상 객체에 가장 가까운 평면이면 제1 가상 객체는 그 가까운 평면에 맵핑될 수 있고 만약 먼 평면이 제2 가상 객체에 가장 가까운 평면이면 제2 가상 객체는 그 먼 평면에 맵핑될 수 있다. 제1 표현 이미지가 이후 그 가까운 평면을 기반으로 제1 가상 객체를 포함하여 생성될 수 있고 제2 표현 이미지가 그 먼 평면을 기반으로 제2 가상 객체를 포함하여 생성될 수 있다.
몇몇 실시예에서, 더 높은 빈도의 자세 추정을 포함시키기 위해서 상이한 그래픽 조절들이 사전표현 이미지의 상이한 부분들에 대해 수행될 수 있다. 하나의 예에서, 제1 시점(point in time)에서의 HMD의 제1 자세와 연관된 제1 호모그래픽 변환이 사전표현 이미지의 제1 부분(가령, 사전표현 이미지의 상단 부분)에 적용될 수 있으며 제1 시점 후의 제2 시점에서의 HMD의 제2 자세와 연관된 제2 호모그래픽 변환이 제1 부분과는 상이한 사전표현 이미지의 제2 부분(가령, 사전표현 이미지의 하단 부분)에 적용될 수 있다. 주사 디스플레이(scanning display) 또는 순차적 주사 디스플레이(progressive scanning display)의 경우에, 제1 호모그래픽 변환은 제1 세트의 주사선(scan line)과 연관된 픽셀에 적용될 수 있으며 제2 호모그래픽 변환은 제1 세트의 주사선과는 상이한 제2 세트의 주사선과 연관된 픽셀에 적용될 수 있다. 하나의 실시예에서, 제1 호모그래픽 변환은 단일의 제1 주사선에 적용될 수 있으며 제2 호모그래픽 변환은 단일의 제2 주사선에 적용될 수 있다(즉, 호모그래픽 변환은 매 주사선마다 적용될 수 있음).
사실적인 증강 현실 환경을 생성하는 것에서의 한 가지 문제는 HMD의 특정한 자세와 대응하는, 세계에 고정된(world-locked) 가상 객체의 이미지가 HMD의 최종 사용자에게 디스플레이되는 지연(latency) 또는 시간의 양에 관련된다. 예를 들면, 만약 최종 사용자의 머리가 특정한 자세로부터 돌아서는 시간과 가상 객체의 이미지가 그 특정한 자세에 기반하여 디스플레이되는 시간 사이에 너무 많은 시간이 경과한다면, 가상 객체는 증강 현실 환경 내의 그것의 의도된 위치로부터 이탈하는 것으로 나타날 것이다(즉, 이미지는 의도된 실제 세계 위치 또는 객체와 정렬된 것으로 나타나지 않을 수 있음). 그러므로, 가상 객체 안정성을 개선하고 증강 현실 경험을 개선하기 위해서 가상 객체의 정확히 정렬된 이미지를 최종 사용자에게 디스플레이할 필요성이 있다.
도 1은 개시된 기술이 실시될 수 있는 네트워킹된 컴퓨팅 환경(100)의 하나의 실시예의 블록도이다. 네트워킹된 컴퓨팅 환경(100)은 하나 이상의 네트워크(180)를 통해 상호연결된(interconnected) 복수의 컴퓨팅 디바이스를 포함한다. 하나 이상의 네트워크(180)는 특정한 컴퓨팅 디바이스로 하여금 다른 컴퓨팅 디바이스에 연결되고 이와 통신할 수 있게 한다. 묘사된 컴퓨팅 디바이스는 모바일 디바이스(11), 모바일 디바이스(12), 모바일 디바이스(19) 및 서버(15)를 포함한다. 몇몇 실시예에서, 복수의 컴퓨팅 디바이스는 도시되지 않은 다른 컴퓨팅 디바이스를 포함할 수 있다. 몇몇 실시예에서, 복수의 컴퓨팅 디바이스는 도 1에 도시된 컴퓨팅 디바이스의 개수보다 더 많거나 더 적은 수의 컴퓨팅 디바이스를 포함할 수 있다. 하나 이상의 네트워크(180)는 기업체 사설 네트워크(enterprise private network)와 같은 보안 네트워크(secure network), 무선 개방 네트워크(wireless open network)와 같은 비보안 네트워크(unsecure network), 로컬 영역 네트워크(Local Area Network: LAN), 광역 네트워크(Wide Area Network: WAN) 및 인터넷을 포함할 수 있다. 하나 이상의 네트워크(180) 중 각 네트워크는 허브, 브릿지, 라우터, 스위치, 그리고 유선 네트워크(wired network) 또는 직접 배선 연결(direct-wired connection)과 같은 유선 송신 매체를 포함할 수 있다.
부가 정보 서버(supplemental information server) 또는 애플리케이션 서버(application server)를 포함할 수 있는 서버(15)는 클라이언트가 서버로부터 정보(가령, 텍스트(text), 오디오(audio), 이미지(image) 및 비디오(video) 파일)를 다운로드하거나 서버 상에 저장된 특정한 정보에 관련된 검색 질의(search query)를 수행하도록 할 수 있다. 일반적으로, "서버"는 클라이언트-서버 관계에서 호스트(host)로서 작용하는 하드웨어 디바이스 또는 하나 이상의 클라이언트와 리소스(resource)를 공유하거나 하나 이상의 클라이언트를 위해 작업을 수행하는 소프트웨어 프로세스를 포함할 수 있다. 클라이언트-서버 관계에서 컴퓨팅 디바이스들 간의 통신은 클라이언트가 특정한 리소스로의 액세스(access) 또는 수행될 특정한 작업을 청하는 요청을 서버에 보내는 것에 의해 시작될 수 있다. 그 후에 서버는 요청된 행동을 수행하고 응답을 클라이언트에 돌려 보낼 수 있다.
서버(15)의 하나의 실시예는 네트워크 인터페이스(network interface)(155), 프로세서(processor)(156), 메모리(memory)(157) 및 변환기(translator)(158)를 포함하는데, 모두 서로 통신한다. 네트워크 인터페이스(155)는 서버(15)가 하나 이상의 네트워크(180)에 연결되게 한다. 네트워크 인터페이스(155)는 무선 네트워크 인터페이스, 모뎀 및/또는 유선 네트워크 인터페이스를 포함할 수 있다. 프로세서(156)는 서버(15)로 하여금 본 문서에서 논의되는 프로세스를 수행하기 위해서 메모리(157) 내에 저장된 컴퓨터 판독가능 명령어를 실행하게 한다. 변환기(158)는 제1 파일 포맷의 제1 파일을 제2 파일 포맷의 대응하는 제2 파일로 변환하기 위한 맵핑 로직(mapping logic)을 포함할 수 있다(즉, 제2 파일은 제1 파일의 변환된 버전일 수 있음). 변환기(158)는 제1 파일 포맷의 파일(또는 그의 일부)을 제2 파일 포맷의 대응하는 파일로 맵핑하기 위한 명령어를 제공하는 파일 맵핑 명령어를 사용하여 구성될 수 있다.
모바일 디바이스(19)의 하나의 실시예는 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148), 센서(149) 및 디스플레이(150)를 포함하는데, 모두 서로 통신한다. 네트워크 인터페이스(145)는 모바일 디바이스(19)가 하나 이상의 네트워크(180)에 연결되게 한다. 네트워크 인터페이스(145)는 무선 네트워크 인터페이스, 모뎀 및/또는 유선 네트워크 인터페이스를 포함할 수 있다. 프로세서(146)는 모바일 디바이스(19)로 하여금 본 문서에서 논의되는 프로세스를 수행하기 위해서 메모리(147) 내에 저장된 컴퓨터 판독가능 명령어를 실행하게 한다. 카메라(148)는 환경의 컬러(color) 이미지 및/또는 깊이 이미지를 포착할 수 있다. 모바일 디바이스(19)는 환경의 이미지를 포착하는 외향(outward facing) 카메라 및 모바일 디바이스의 최종 사용자의 이미지를 포착하는 내향(inward facing) 카메라를 포함할 수 있다. 센서(149)는 모바일 디바이스(19)와 연관된 모션(motion) 및/또는 배향 정보를 생성할 수 있다. 몇몇 경우에, 센서(149)는 관성 측정 유닛(Inertial Measurement Unit: IMU)을 포함할 수 있다. 디스플레이(150)는 디지털 이미지 및/또는 비디오를 디스플레이할 수 있다. 디스플레이(150)는 시스루(see-through) 디스플레이를 포함할 수 있다. 디스플레이(150)는 LED 또는 OLED 디스플레이를 포함할 수 있다.
몇몇 실시예에서, 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148) 및 센서(149)를 포함하는 모바일 디바이스(19)의 다양한 컴포넌트는 단일 칩 기판 상에 통합될 수 있다. 하나의 예에서, 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148) 및 센서(149)는 시스템 온 칩(System On a Chip: SOC)으로서 통합될 수 있다. 다른 실시예에서, 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148) 및 센서(149)는 단일 패키지(package) 내에 통합될 수 있다.
몇몇 실시예에서, 모바일 디바이스(19)는 카메라(148), 센서(149), 그리고 프로세서(146) 상에서 작동하는 제스처 인식(gesture recognition) 소프트웨어를 활용함으로써 자연적 사용자 인터페이스(Natural User Interface: NUI)를 제공할 수 있다. 자연적 사용자 인터페이스로써, 사람의 신체 부분 및 움직임이 검출되고, 해석되고, 컴퓨팅 애플리케이션의 다양한 양상을 제어하는 데에 사용될 수 있다. 하나의 예에서, 자연적 사용자 인터페이스를 이용하는 컴퓨팅 디바이스는 컴퓨팅 디바이스와 상호작용하는 사람의 의도(가령, 컴퓨팅 디바이스를 제어하기 위해서 특정한 제스처를 최종 사용자가 행하였음)를 추론할 수 있다.
네트워킹된 컴퓨팅 환경(100)은 하나 이상의 컴퓨팅 디바이스를 위한 클라우드 컴퓨팅 환경(cloud computing environment)을 제공할 수 있다. 클라우드 컴퓨팅은 공유된 리소스, 소프트웨어 및/또는 정보가 인터넷(또는 다른 전역적 네트워크(global network))을 통하여 요구에 따라(on-demand) 하나 이상의 컴퓨팅 디바이스에 제공되는 인터넷 기반 컴퓨팅을 나타낸다. "클라우드"라는 용어는, 컴퓨터 네트워킹 도해에서 사용되어 그것이 나타내는 기저의 인프라스트럭처의 추상화(abstraction)로서 인터넷을 묘사하는 구름 그림에 기반하여, 인터넷에 대한 은유(metaphor)로서 사용된다.
하나의 예에서, 모바일 디바이스(19)는 증강 현실 환경 또는 혼합 현실(mixed reality) 환경을 머리 장착형 디스플레이 디바이스(HMD)의 최종 사용자에 제공하는 HMD를 포함한다. HMD는 비디오 시스루 및/또는 광학 시스루 시스템을 포함할 수 있다. 최종 사용자가 착용한 광학 시스루 HMD는 (가령, 투명 렌즈를 통한) 실제 세계 환경의 실제의 직접적인 보기(actual direct viewing)를 가능하게 할 수 있으며, 동시에, 가상 객체의 이미지를 최종 사용자의 시야(visual field) 내에 투영하여서 가상 객체로써 최종 사용자에 의해 지각되는 실제 세계 환경을 증강할 수 있다.
HMD를 이용하여, 최종 사용자는 HMD를 착용하고서 실제 세계 환경(가령, 거실)을 돌아다니고 가상 객체의 이미지로써 덧씌워진(overlaid) 실제 세계의 경관(view)을 지각할 수 있다. 가상 객체는 실제 세계 환경과의 일관적인 공간 관계(coherent spatial relationship)를 유지하는 것으로 나타날 수 있다(즉, 최종 사용자가 그의 머리를 돌리거나 실제 세계 환경 내에서 움직일 때, 최종 사용자에게 디스플레이되는 이미지는 최종 사용자에 의해 지각되는 실제 세계 환경 내에 가상 객체가 존재하는 것처럼 보이도록 바뀔 것임). 가상 객체는 또한 최종 사용자의 관점에 대해서 고정된 것으로 나타날 수 있다(가령, 어떻게 최종 사용자가 그의 머리를 돌리거나 실제 세계 환경 내에서 움직이는지에 상관없이 최종 사용자의 관점의 우측 상단 코너(corner)에서 항상 나타나는 가상 메뉴). 하나의 실시예에서, 실제 세계 환경의 환경적 맵핑(environmental mapping)은 서버(15)에 의해 (즉, 서버 측에서) 수행될 수 있으나 카메라 로컬화는 모바일 디바이스(19) 상에서 (즉, 클라이언트 측에서) 수행될 수 있다. 가상 객체는 실제 세계 객체와 연관된 텍스트 서술을 포함할 수 있다.
몇몇 실시예에서, 모바일 디바이스, 예를 들어 모바일 디바이스(19)는 클라우드 내의 서버, 예를 들어 서버(15)와 통신하는 것일 수 있으며, 모바일 디바이스와 연관된 위치 정보(가령, GPS 좌표를 통한 모바일 디바이스의 위치) 및/또는 이미지 정보(가령, 모바일 디바이스의 시계(field of view) 내에서 검출된 객체에 관한 정보)를 서버에 제공할 수 있다. 응답으로, 서버는 서버에 제공된 위치 정보 및/또는 이미지 정보에 기반하여 하나 이상의 가상 객체를 모바일 디바이스에 송신할 수 있다. 하나의 실시예에서, 모바일 디바이스(19)는 하나 이상의 가상 객체를 수신하기 위해 특정한 파일 포맷을 지정할 수 있으며 서버(15)는 특정한 파일 포맷의 파일 내에 구체화된(embodied) 하나 이상의 가상 객체를 모바일 디바이스(19)에 송신할 수 있다.
몇몇 실시예에서, 모바일 디바이스(19)와 같은 HMD는 외향 카메라로부터 포착된 환경의 이미지를 사용할 수 있는데 환경의 3D 맵에 관해 이미지와 대응하는 6 자유도(six degree of freedom: 6DOF) 자세를 판정하기 위함이다. 6DOF 자세는 환경 내의 HMD의 포지션 및 배향과 연관된 정보를 포함할 수 있다. 6DOF 자세는 HMD를 로컬화하기 위해 그리고 가상 객체가 환경 내의 적절한 위치에 존재하는 것으로 나타나도록 가상 객체의 이미지를 생성하기 위해 사용될 수 있다. 6DOF 자세를 판정하는 것에 관한 추가 정보는 미국 특허 출원 제13/152,220호, "Distributed Asynchronous Localization and Mapping for Augmented Reality"에서 찾아볼 수 있다. 모바일 디바이스를 위한 자세 추정 및/또는 로컬화를 수행하는 것에 관한 추가 정보는 미국 특허 출원 제13/017,474호, "Mobile Camera Localization Using Depth Maps"에서 찾아볼 수 있다.
몇몇 실시예에서, 모바일 디바이스(19)와 같은 HMD는 코어 렌더링 파이프라인 또는 렌더링 GPU를 위한 렌더링 프레임율보다 큰 프레임율로 증강 현실(Augmented Reality: AR) 환경 내의 가상 객체의 이미지를 디스플레이할 수 있다. HMD는 렌더링 프레임율보다 더 높은 빈도로 제공되는 갱신 자세 추정에 기반하여 렌더링 프레임율로 렌더링된(rendered) 사전표현 이미지 또는 순방향 예측된 이미지를 수정할 수 있다. 몇몇 실시예에서, HMD는 렌더링 프레임율로 (가령, 16m마다) 예상 자세에 기반하여 사전표현 이미지를 생성하고, 사전표현 이미지를 생성한 후에 (가령, 2ms마다) HMD와 연관된 하나 이상의 갱신 자세를 판정하며, 하나 이상의 갱신 자세 및 사전표현 이미지에 기반하여 하나 이상의 갱신 이미지를 생성하고, HMD 상에 하나 이상의 갱신 이미지를 디스플레이할 수 있다. 몇몇 경우에, 하나 이상의 갱신 이미지는 디스플레이(150)와 같은 디스플레이 내의 회로망을 사용하여 호모그래픽 변환 및/또는 픽셀 오프셋 조절을 통하여 생성될 수 있다.
도 2a는 제2 모바일 디바이스(5)와 통신하는 모바일 디바이스(19)의 하나의 실시예를 묘사한다. 모바일 디바이스(19)는 시스루 HMD를 포함할 수 있다. 묘사된 바와 같이, 모바일 디바이스(19)는 유선 연결(6)을 통하여 모바일 디바이스(5)와 통신한다. 그러나, 모바일 디바이스(19)는 또한 무선 연결을 통하여 모바일 디바이스(5)와 통신할 수 있다. 집약적인 처리 작업(가령, 가상 객체의 렌더링(rendering))을 오프로드로 계산하기(offload compute) 위해서 그리고 모바일 디바이스(19) 상에 증강 현실 환경을 제공하는 데에 사용될 수 있는 가상 객체 정보 및 다른 데이터를 저장하기 위해 모바일 디바이스(19)에 의해 모바일 디바이스(5)가 사용될 수 있다. 모바일 디바이스(5)는 또한 모바일 디바이스(5)와 연관된 모션 및/또는 배향 정보를 모바일 디바이스(19)에 제공할 수 있다. 하나의 예에서, 모션 정보는 모바일 디바이스(5)와 연관된 속도 또는 가속도를 포함할 수 있으며 배향 정보는 특정한 기준 좌표계 또는 프레임 주위의 회전 정보(rotational information)를 제공하는 오일러 각도(Euler angle)를 포함할 수 있다. 몇몇 경우에, 모바일 디바이스(5)는 모바일 디바이스(5)와 연관된 모션 및/또는 배향 정보를 획득하기 위해서 관성 측정 유닛(Inertial Measurement Unit: IMU)과 같은 모션 및 배향 센서를 포함할 수 있다.
도 2b는 도 1의 모바일 디바이스(19)와 같은 HMD의 일부분의 하나의 실시예를 묘사한다. HMD(200)의 우측만 묘사된다. HMD(200)는 오른쪽 안경다리(temple)(202), 코받침(nose bridge)(204), 안경(eye glass)(216) 및 안경 프레임(eye glass frame)(214)을 포함한다. 오른쪽 안경다리(202)는 처리 유닛(236)과 통신하는 포착 디바이스(213)(가령, 전면 대향(front facing) 카메라 및/또는 마이크)를 포함한다. 포착 디바이스(213)는 디지털 이미지 및/또는 비디오를 기록하기 위한 하나 이상의 카메라를 포함할 수 있으며 시각적 녹화를 처리 유닛(236)에 송신할 수 있다. 하나 이상의 카메라는 컬러 정보, IR 정보 및/또는 깊이 정보를 포착할 수 있다. 포착 디바이스(213)는 또한 소리를 기록하기 위한 하나 이상의 마이크를 포함할 수 있으며 오디오 녹음을 처리 유닛(236)에 송신할 수 있다.
오른쪽 안경다리(202)는 또한 생체측정 센서(biometric sensor)(220), 눈 추적 시스템, 이어폰(230), 모션 및 배향 센서(238), GPS 수신기(232), 전력 공급부(power supply)(239) 및 무선 인터페이스(wireless interface)(237)를 포함하는데, 모두 처리 유닛(236)과 통신한다. 생체측정 센서(220)는 HMD(200)의 최종 사용자와 연관된 맥박수 또는 심박수를 판정하기 위한 하나 이상의 전극(electrode) 및 HMD(200)의 최종 사용자와 연관된 신체 온도를 판정하기 위한 온도 센서를 포함할 수 있다. 하나의 실시예에서, 생체측정 센서(220)는 최종 사용자의 관자놀이를 누르는 맥박수 측정 센서를 포함한다. 모션 및 배향 센서(238)는 3축 자력계(three axis magnetometer), 3축 자이로(three axis gyro) 및/또는 3축 가속도계(three axis accelerometer)를 포함할 수 있다. 하나의 실시예에서, 모션 및 배향 센서(238)는 관성 측정 유닛(Inertial Measurement Unit: IMU)을 포함할 수 있다. GPS 수신기는 HMD(200)와 연관된 GPS 위치를 판정할 수 있다. 처리 유닛(236)은 하나 이상의 프로세서와, 하나 이상의 프로세서 상에서 실행될 컴퓨터 판독가능 명령어를 저장하기 위한 메모리를 포함할 수 있다. 메모리는 또한 하나 이상의 프로세서 상에서 실행될 다른 유형의 데이터를 저장할 수 있다.
하나의 실시예에서, 눈 추적 시스템(221)은 하나 이상의 내향 카메라를 포함할 수 있다. 다른 실시예에서, 눈 추적 시스템(221)은 눈 추적 조명원(eye tracking illumination source) 및 연관된 눈 추적 이미지 센서(eye tracking image sensor)를 포함할 수 있다. 하나의 실시예에서, 눈 추적 조명원은 사전결정된 적외선(InfraRed: IR) 파장 또는 파장 범위 부근에서 방출하는 적외선 발광 다이오드(Light Emitting Diode: LED) 또는 레이저(가령, VCSEL)와 같은 하나 이상의 IR 방출기(emitter)를 포함할 수 있다. 몇몇 실시예에서, 눈 추적 센서는 글린트(glint) 포지션을 추적하기 위한 IR 포지션 감지 검출기(Position Sensitive Detector: PSD) 또는 IR 카메라를 포함할 수 있다. 눈 추적 시스템에 대한 추가 정보는 "Head Mounted Eye Tracking and Display System"이라는 표제로 2008년 7월 22일 발행된 미국 특허 제7,401,920호 및 "Integrated Eye Tracking and Display System"이라는 표제로 2011년 9월 26일 출원된 미국 특허 출원 제13/245,700호에서 찾아볼 수 있다.
하나의 실시예에서, 안경(216)은 시스루 디스플레이를 포함할 수 있는바, 처리 유닛(236)에 의해 생성된 이미지가 시스루 디스플레이 상에 투영되고/되거나 디스플레이될 수 있다. 시스루 디스플레이는 그 디스플레이, 예를 들어 실리콘 액정(Liquid Crystal On Silicon: LCOS) 디스플레이에 제공되는 빛을 변조함으로써, 또는 그 디스플레이, 예를 들어 OLED 디스플레이 내에 빛을 생성함으로써 가상 객체의 이미지를 디스플레이할 수 있다. 포착 디바이스(213)는 포착 디바이스(213)에 의해 포착된 시계가 HMD(200)의 최종 사용자가 보는 바와 같은 시계와 대응하도록 조정될(calibrated) 수 있다. 이어폰(230)은 가상 객체의 투영된 이미지와 연관된 소리를 출력하는 데 사용될 수 있다. 몇몇 실시예에서, HMD(200)는 전면 대향 카메라에 의해 포착된 시계와 연관된 스테레오 정보(stereo information)로부터 깊이를 얻기 위해서 둘 이상의 전면 대향 카메라(가령, 각 안경 다리 상에 한 개)를 포함할 수 있다. 둘 이상의 전면 대향 카메라는 또한 3D, IR 및/또는 RGB 카메라를 포함할 수 있다. 깊이 정보는 또한 모션 기법으로부터 깊이를 이용하여 단일 카메라로부터 획득될 수 있다. 예를 들면, 두 개의 이미지가 상이한 시점들에서 공간 내의 두 개의 상이한 지점들과 연관된 단일 카메라로부터 획득될 수 있다. 공간 내의 두 개의 상이한 지점들에 관한 포지션 정보가 주어지면 시차(parallax) 계산이 이후에 수행될 수 있다.
몇몇 실시예에서, HMD(200)는 각막 중심, 안구 회전의 중심, 또는 동공 중심과 같은 하나 이상의 사람 눈 요소에 관한 3차원 좌표계 및 시선 검출(gaze detection) 요소를 사용하여 최종 사용자의 눈들 중 각 눈에 대해 시선 검출을 수행할 수 있다. 시선 검출은 최종 사용자가 시계 내에서 초점을 맞추고 있는 곳을 식별하는 데 사용될 수 있다. 시선 검출 요소의 예는 글린트 생성 조명기 및 생성된 글린트를 나타내는 데이터를 포착하기 위한 센서를 포함할 수 있다. 몇몇 경우에, 각막의 중심은 평면 기하학(planar geometry)을 사용하여 두 개의 글린트를 기반으로 판정될 수 있다. 각막의 중심은 동공 중심 및 안구의 회전의 중심을 잇는데, 이는 어떤 시선각 또는 시야각(viewing angle)에서 최종 사용자의 눈의 광축(optical axis)을 판정하기 위한 고정된 위치로서 취급될 수 있다.
하나의 실시예에서, 처리 유닛(236)은 사전표현 이미지를 생성하기 위한 코어 렌더링 파이프라인(가령, 하나 이상의 그래픽 처리 유닛(graphical processing unit)을 포함함)을 포함할 수 있고 안경(216)과 연관된 디스플레이는 사전표현 이미지에 대한 후기 단계 그래픽 조절을 HMD(200)와 연관된 후기 단계 자세 정보에 기반하여 수행할 수 있다. 갱신 자세 정보가 코어 렌더링 파이프라인을 위한 최대 렌더링 프레임율보다 더 높은 빈도로 제공될 수 있으므로, 후기 단계 그래픽 조절은 사전표현 이미지에 최대 렌더링 프레임율보다 큰 빈도로 적용될 수 있다.
도 3a는 코어 렌더링 파이프라인을 위한 렌더링 프레임율보다 큰 프레임율로 한 가상 객체(또는 한 개보다 많은 가상 객체)와 연관된 이미지를 생성하고 디스플레이하는 시스템의 하나의 실시예를 묘사한다. 묘사된 바와 같이, 렌더링 모듈(302)은 HMD의 특정한 자세와 대응하는 사전표현 이미지를 생성할 수 있다. 특정한 자세는 자세 추정 모듈(312)에 의해 렌더링 모듈(302)에 제공될 수 있다. 자세 추정 모듈(312)은 HMD의 움직임 이력(history)에 기반하여 HMD의 향후 자세를 예측할(predict) 수 있다. 몇몇 실시예에서, 자세 추정 모듈(312)은 HMD의 하나보다 많은 향후 자세(가령, HMD에 대한 세 개의 가능한 향후 자세)를 예측할 수 있으며 렌더링 모듈(302)은 하나보다 많은 향후 자세와 대응하는 복수의 사전표현 이미지를 생성할 수 있다. 갱신 자세 정보가 이용가능하게 되는 경우, 한 개보다 많은 향후 자세 중 가장 가까운 자세(즉, 최선의 예상 자세) 및 가장 가까운 자세를 위한 대응하는 사전표현 이미지는 가장 가까운 자세를 위한 대응하는 사전표현 이미지에 후기 단계 그래픽 조절을 적용함으로써 갱신 이미지를 생성하기 위해 사용될 수 있다. 하나의 실시예에서, 갱신 자세 정보가 이용가능하게 되는 경우, 한 개보다 많은 향후 자세 중 가장 가까운 자세와 연관된 사전표현 이미지가 선택되는 것 대신에, 갱신 이미지는 한 개보다 많은 향후 자세와 대응하는 복수의 사전표현 이미지로부터 외삽되고/되거나 보간되는(interpolated) 이미지를 사용하여 생성될 수 있다.
몇몇 경우에, 자세 추정 모듈(312)은 카메라 기반 자세 추적 정보 및/또는 카메라 기반 자세 추적 정보와 저지연 IMU 모션 정보의 조합에 기반하여 HMD의 현재 자세를 판정할 수 있다. 자세 추정 모듈(312)은 HMD의 이전의 움직임(가령, 현재 자세를 판정하기 5ms 또는 10ms 전 HMD의 움직임)을 외삽함으로써 HMD의 향후 자세를 예측할 수 있다.
후기 단계 재투영(Late Stage Reprojection: LSR) 모듈(308)은 자세 추정 모듈(312)에 제공되는 갱신 자세 추정 정보에 기반하여 렌더링 모듈(302)에 의해 생성되는 사전표현 이미지에 대한 후기 단계 그래픽 조절을 수행할 수 있다. 하나의 실시예에서, 렌더링 모듈(302)은 사전표현 이미지를 16ms마다 또는 32ms마다 생성할 수 있으며 LSR 모듈(308)은 조절된 이미지를 2ms마다 또는 4ms마다 생성할 수 있다(즉, LSR 모듈(308)은 렌더링 모듈(302)의 최대 렌더링 프레임율보다 큰 프레임율로 디스플레이(310)에 이미지를 제공할 수 있음). 묘사된 바와 같이, LSR 모듈(308)은 이미지 조절 모듈(304) 및 픽셀 조절 모듈(306)을 포함한다. 호모그래픽 변환을 사전표현 이미지에 적용함(가령, 단일 평면 호모그래피 또는 다중 평면 호모그래피를 적용함)으로써 이미지 조절 모듈(304)은 조절된 이미지를 생성할 수 있다. 하나의 예에서, 이미지 조절 모듈(304)은 어파인 변환을 사전표현 이미지에 적용할 수 있다. 픽셀 조절 모듈(306)은 이미지의 2차원 픽셀 전이(pixel shifting)를 수행할 수 있다. 픽셀 조절 모듈(306)에 의해 픽셀 전이된 이미지는 이미지 조절 모듈(304)에 의해 생성된 이미지의 일부분 또는 사전표현 이미지의 일부분을 포함할 수 있다. 몇몇 경우에, 사전표현 이미지에 호모그래픽 변환을 적용하고 나서 호모그래픽 변환을 통해 생성된 이미지에 픽셀 오프셋 조절을 적용함으로써 LSR 모듈(308)은 조절된 이미지를 생성할 수 있다. LSR 모듈(308)에 의해 생성된 조절된 이미지는 디스플레이(310) 상에 디스플레이될 수 있다. 하나의 실시예에서, 디스플레이(310)는 OLED 디스플레이를 포함할 수 있다.
몇몇 실시예에서, LSR 모듈(308)의 부분들은 디스플레이(310)와 통합될 수 있다. 하나의 예에서, 픽셀 조절 모듈(306)은 디스플레이(310)의 픽셀 어레이 내에서의 픽셀 값의 전이를 가능하게 하기 위해 디스플레이(310) 내의 시프트 레지스터 또는 다른 회로망을 사용하여 수행될 수 있다. 다른 예에서, 이미지 조절 모듈(304) 및 픽셀 조절 모듈(306) 양자 모두는 디스플레이(310)와 통합된 제어기 또는 프로세서에 의해 수행될 수 있다.
도 3b는 도 3a의 디스플레이(310)의 하나의 실시예를 묘사한다. 묘사된 바와 같이, 디스플레이는 행 구동기(row driver)(322) 및 데이터 라인 구동기(data line driver)(224)에 의해 구동되는 픽셀 어레이(320)를 포함한다. 픽셀 어레이(320)는 복수의 픽셀(321)을 포함한다. 하나의 실시예에서, 각 픽셀(321)은 OLED 픽셀을 포함할 수 있다. 각 OLED 픽셀은 OLED와, OLED를 제어하기 위한 회로의 그룹을 포함할 수 있다. 행 구동기들(322)은 픽셀 어레이(320) 내의 픽셀들의 특정한 행을 선택하기 위해 그리고 데이터 라인 구동기들(324)과 대응하는 데이터 라인들을 픽셀들의 그 특정한 행 내의 픽셀들에 연결하기 위해 행 라인들(또는 주사선들)을 구동할 수 있다. 행 구동기들(322)과 연관된 각각의 행 라인은 픽셀들의 그 특정한 행의 각 픽셀 내의 래칭 TFT에 연결될 수 있다. 래칭 TFT는 저장 커패시터(storage capacitor)를 데이터 라인들 중 특정한 데이터 라인(가령, 픽셀 어레이의 열(column) 내의 각 픽셀에 연결된 특정한 열 데이터 라인)으로부터 격리할 수 있다. 저장 커패시터는 OLED를 구동하는 제2 TFT의 게이트(gate)를 바이어싱(biasing)하기 위한 전압을 저장하는 데 사용될 수 있다. 제어기(326)는 행 구동기(322) 및 데이터 라인 구동기(324)를 제어함으로써 픽셀 어레이(320) 내에 픽셀 값을 로드할(load) 수 있다. 픽셀 어레이(320) 내에 픽셀 값을 로드하기 전에 제어기(326)는 버퍼(328) 내에 저장된 버퍼링된 이미지를 액세스하고 이미지 조절을 수행할 수 있다.
하나의 실시예에서, 제어기(326)는 버퍼(328) 내에 저장된 이미지(또는 이미지의 일부분)에 대해 특정한 호모그래픽 변환을 수행하고 이후 그 조절된 이미지를 디스플레이를 위해 픽셀 어레이(320) 내에 로드할 수 있다. 제어기(326)는 또한 (가령, X 방향으로 제1 픽셀 오프셋 및 Y 방향으로 제2 픽셀 오프셋만큼 이미지의 픽셀 값을 전이시키는 것에 의해) 버퍼(328) 내에 저장된 이미지에 대한 픽셀 오프셋 조절을 수행할 수 있다.
도 3c는 도 3a의 디스플레이(310)의 대안적 실시예를 묘사한다. 묘사된 바와 같이, 디스플레이는 행 구동기(322) 및 데이터 라인 구동기(224)에 의해 구동되는 픽셀 어레이(330)를 포함한다. 픽셀 어레이(330)는 복수의 픽셀(331)을 포함한다. 하나의 실시예에서, 각 픽셀(331)은 OLED 픽셀을 포함할 수 있다. 각 OLED 픽셀은 OLED와, OLED를 제어하기 위한 회로의 제1 그룹과, 픽셀 어레이(330) 내에서 픽셀 전이를 수행하기 위한 회로의 제2 그룹을 포함할 수 있다. 픽셀 어레이(330)는 픽셀 어레이 내에서의 픽셀 값의 전이를 가능하게 하기 위해 인접한 픽셀들 간의 픽셀 상호연결(333)을 포함할 수 있다. 하나의 실시예에서, 래칭된(latched) 데이터 값은 인접한 픽셀들 간에 수직으로(즉, 열 방향으로) 및/또는 수평으로(즉, 행 방향으로) 전이될 수 있다. 다른 실시예에서, 픽셀 어레이(330) 내의 복수의 OLED 중 하나를 구동하는 데에 특정한 픽셀을 위한 저장 커패시터 상에 저장된 데이터 값이 사용될 수 있다(즉, 래칭된 데이터 값을 물리적으로 전이시키는 것보다는, 각 픽셀 내의 멀티플렉서(multiplexor)가, 그것의 대응하는 OLED에 적용할 올바른 래칭된 데이터 값을 선택하는 데에 사용될 수 있음).
행 구동기들(322)은 픽셀 어레이(330) 내의 픽셀들의 특정한 행을 선택하기 위해 그리고 데이터 라인 구동기들(324)과 대응하는 데이터 라인들을 픽셀들의 그 특정한 행 내의 픽셀들에 연결하기 위해 행 라인들(또는 주사선들)을 구동할 수 있다. 행 구동기들(322)과 연관된 각각의 행 라인은 픽셀들의 그 특정한 행의 각 픽셀 내의 래칭 TFT에 연결될 수 있다. 래칭 TFT는 저장 커패시터를 데이터 라인들 중 특정한 데이터 라인(가령, 픽셀 어레이의 열 내의 픽셀들에 연결된 특정한 열 데이터 라인)으로부터 격리할 수 있다. 저장 커패시터는 OLED를 구동하는 제2 TFT를 바이어싱하기 위한(가령, 제2 TFT의 게이트를 제어하기 위한) 전압을 저장하는 데 사용될 수 있다. 하나의 실시예에서, 각 픽셀(331)은 그 픽셀을 위한 OLED를 구동하는 TFT를 구동하기 위해 복수의 래칭된 데이터 값(각각 픽셀 어레이 내의 저장 커패시터 상에 저장됨) 중 하나를 선택하기 위한 멀티플렉서를 포함할 수 있다. 몇몇 경우에, 멀티플렉서는 X 방향으로 제1 픽셀 오프셋 및 Y 방향으로 제2 픽셀 오프셋만큼 픽셀 어레이(330) 내에서의 디스플레이되는 픽셀 값의 전이를 가능하게 할 수 있다. 제어기(332)는 행 구동기(322) 및 데이터 라인 구동기(324)를 제어함으로써 픽셀 어레이(330) 내에 픽셀 값을 로드할 수 있다. 픽셀 어레이(330) 내에 픽셀 값을 로드하기 전에 제어기(332)는 이미지 조절을 수행할 수 있다. 제어기(332)는 디스플레이(310)에 제공되는 이미지 정보를 버퍼링하기 위한 메모리 버퍼를 포함할 수 있다.
하나의 실시예에서, 제어기(332)는 이미지에 대해 특정한 호모그래픽 변환을 수행한 후 이미지와 연관된 픽셀 값을 픽셀 어레이(330) 내에 로드할 수 있다. 그 후 제어기는 픽셀 어레이(331) 내에서 픽셀 값을 전이시키는 것에 의해 픽셀 오프셋 조절을 수행할 수 있다. 하나의 예에서, 각 픽셀 내의 래칭된 데이터 값은 픽셀 상호연결(333)을 통하여 픽셀 어레이 내에서 수직으로(즉, 열 방향으로) 및/또는 수평으로(즉, 행 방향으로) 물리적으로 전이될 수 있다. 다른 예에서, 래칭된 데이터 값은 픽셀 어레이(330)의 각 픽셀(331) 내에 멀티플렉서를 포함시킴으로써 픽셀 어레이(330) 내의 복수의 OLED 중 하나를 구동하는 데 사용될 수 있다. 몇몇 경우에, 픽셀 어레이(330)는 CMOS 백플레인(backplane)을 이용할 수 있다. 다른 경우에, 픽셀 어레이(330)는 CCD 백플레인을 이용할 수 있다.
도 4a는 사전표현 이미지(412)의 일부분과, 사전표현 이미지(412)에 기반한 갱신 이미지(414)의 하나의 실시예를 묘사한다. 묘사된 바와 같이, 사전표현 이미지(412)는 HMD를 위한 초기 자세 추정(initial pose estimate)(가령, 8ms 또는 16ms 향후의 HMD의 예상 자세)에 기반하여 렌더링될 수 있다. 초기 자세 추정은 초기 자세 추정을 판정하기 직전의 HMD의 현재 포지션과 배향 그리고 HMD의 가속도 및 속도에 기반하여 판정될 수 있다. 사전표현 이미지(412)는 초기 자세 추정에 기반한 표현 이미지를 포함할 수 있으며 특정한 자세가 주어지면 2차원 이미지로 3차원 장면을 렌더링할 능력을 갖는 GPU 또는 다른 렌더링 시스템을 사용하여 렌더링될 수 있다. 갱신 자세 추정(updated pose estimate)은 초기 자세 추정의 판정에 후속하는 시점에서 획득되는 갱신 자세 정보에 기반하여 판정될 수 있다. 하나의 예에서, 갱신 자세 정보는 카메라 기반 자세 추적 정보 및/또는 HMD와 대응하는 저지연 IMU 모션 정보와 카메라 기반 자세 추적 정보의 조합에 기반하여 생성될 수 있다.
몇몇 실시예에서, 갱신 이미지(414)는 갱신 자세 추정 및 초기 자세 추정 간의 자세 차이에 기반하여 사전표현 이미지(412)에 이미지 변환을 적용함으로써 생성될 수 있다. 하나의 예에서, 이미지 변환은 사전표현 이미지(412)의 적어도 일부분의 이미지 회전, 병진, 크기조정(가령, 늘리기 또는 줄이기), 전이 또는 기울이기를 포함할 수 있다. 갱신 이미지(414)는 사전표현 이미지(412)의 호모그래픽 변환을 통하여 생성될 수 있다. 몇몇 경우에, 호모그래픽 변환은 다중 평면 호모그래피, 단일 평면 호모그래피 및/또는 어파인 호모그래피를 포함할 수 있다.
몇몇 실시예에서, 갱신 이미지(414)는 사전표현 이미지(402)에 픽셀 오프셋 조절을 적용함으로써 생성될 수 있다. 픽셀 오프셋 조절의 정도는 갱신 자세 추정 및 초기 자세 추정 간의 차이에 달려 있을 수 있다. 묘사된 바와 같이, 가상 객체(즉, 가상 원통)의 이미지(413)가 X 방향 및 Y 방향 양자 모두에서 (가령, 왼쪽으로 4 픽셀만큼 및 위로 3 픽셀만큼) 픽셀 전이되었다. 하나의 실시예에서, 갱신 이미지(414)는 픽셀 오프셋 조절 또는 호모그래픽 변환과 픽셀 오프셋 조절의 조합을 사용하여 생성될 수 있다. 호모그래픽 변환 및/또는 픽셀 오프셋 조절은 디스플레이와 통합된 제어기 또는 프로세서를 사용하여 생성될 수 있다. 몇몇 경우에, 픽셀 오프셋 조절은 디스플레이의 픽셀 어레이 내에서의 픽셀 값의 전이를 가능하게 하기 위한 시프트 레지스터 또는 다른 회로망을 포함하는 디스플레이를 사용하여 수행될 수 있다.
도 4b는 사전표현 이미지(422)와, 갱신 이미지(또는 타겟 이미지)를 사전표현 이미지(422)의 부분에 기반하여 생성하기 위해 사용되는 샘플링 영역(424 및 426)의 하나의 실시예를 묘사한다. 묘사된 바와 같이, 사전표현 이미지(422)는 가상 객체(421)(즉, 가상 원통)의 이미지를 포함한다. 하나의 실시예에서, 샘플링 영역(424)는 제1 갱신 이미지를 생성하기 위한 제1 호모그래픽 변환과 대응할 수 있고 샘플링 영역(426)은 제2 갱신 이미지를 생성하기 위한 제2 호모그래픽 변환과 대응할 수 있다. 호모그래픽 변환은 사전표현 이미지(즉, 소스 이미지(source image) 또는 소스 프레임(source frame)) 내의 픽셀(또는 점) 및 갱신 이미지(즉, 타겟 이미지(target image) 또는 타겟 프레임(target frame)) 내의 점 사이의 가중화된 맵핑(weighted mapping)을 포함할 수 있다. 샘플링 영역의 네 개의 코너는 대응하는 갱신 이미지의 네 개의 코너와 대응할 수 있다. 하나의 실시예에서, 샘플링 영역(424)과 연관된 사각형 영역(즉, 소스 이미지 내의 점들의 제1 서브세트(subset))은 갱신 이미지와 연관된 제2 사각형 영역(즉, 타겟 이미지 내의 점들의 제2 서브세트)에 맵핑될 수 있다. 몇몇 경우에, 샘플링 영역(424)은 코어 렌더링 파이프라인 또는 렌더링 GPU의 프레임 버퍼 내의 이미지의 일부분으로부터 도출할 수 있다. 어파인 호모그래피의 경우에, 소스 이미지 내의 제1 평행사변형 영역 내의 점들은 타겟 이미지 내의 제2 평행사변형 영역 내의 점들로 (또는 직사각형 영역을 포함하는 전체 타겟 이미지로) 맵핑될 수 있다.
묘사된 바와 같이, 소스 이미지는 대응하는 타겟 이미지보다 더 클 수 있다. 소스 이미지는 현재의 관점 또는 자세를 넘어서서 잠재적인 머리 움직임에 대처하기 위해 오버렌더링될(over-rendered) 수 있다. 하나의 예에서, 소스 이미지는 1920 픽셀에 1080 픽셀인 이미지를 포함할 수 있으며 타겟 이미지는 1366 픽셀에 768 픽셀인 이미지를 포함할 수 있다. 일대일 맵핑을 가정하면, 샘플링 영역(424 및 426)은 양자 모두 1366 픽셀에 768 픽셀인 이미지를 포함할 수 있다. 몇몇 실시예에서, 타겟 이미지 내의 각 픽셀은 소스 이미지 내의 네 개 이상의 픽셀의 가중화된 맵핑과 대응할 수 있다. 소스 이미지의 샘플링 영역으로부터 타겟 이미지의 타겟 픽셀로의 소스 픽셀의 맵핑은 소스 픽셀의 쌍선형 필터링(bilinear filtering)(또는 다른 텍스처 필터링(texture filtering))을 포함할 수 있다. 몇몇 경우에, 호모그래픽 변환을 적용하기 전에 소스 이미지에 왜곡 교정 맵핑(distortion correction mapping)이 적용될 수 있다.
하나의 실시예에서, 샘플링 영역(424)(그리고 제1 호모그래픽 변환)은 제1 시점에서의 HMD의 제1 자세(또는 제1 예상 자세)와 연관될 수 있으며 샘플링 영역(426)(그리고 제2 호모그래픽 변환)은 제1 시점 후의 제2 시점(가령, 제1 시점 후 2ms 또는 4ms)에서의 HMD의 제2 자세(또는 제2 예상 자세)와 연관될 수 있다. 하나의 예에서, 제1 예상 자세는 4ms 향후인 예상 자세와 대응할 수 있으며 제2 예상 자세는 8ms 향후인 예상 자세와 대응할 수 있다. 제2 호모그래픽 변환과 대응하는 제2 갱신 이미지가 디스플레이되기 전에 제1 호모그래픽 변환과 대응하는 제1 갱신 이미지가 디스플레이될 수 있다. 제1 갱신 이미지는 제2 갱신 이미지가 생성되고 있는 동안 디스플레이될 수 있다.
하나의 실시예에서, 도 4b의 샘플링 영역(424)은 타겟 이미지의 제1 부분(가령, 타겟 이미지의 상단 부분)을 생성하기 위한 제1 호모그래픽 변환과 대응할 수 있으며 도 4b의 샘플링 영역(426)은 타겟 이미지의 제2 부분(가령, 타겟 이미지의 하단 부분)을 생성하기 위한 제2 호모그래픽 변환과 대응할 수 있다.
도 4c는 (가령, 특정한 개수의 행 또는 주사선에 걸쳐 있는(spanning)) 롤링 버퍼(432)가 사전표현 이미지(422)에 적용되는, 도 4b의 사전표현 이미지(422)의 하나의 실시예를 묘사한다. 몇몇 경우에, 사전표현 이미지(422)는 복수의 구획(가령, 각각 10개의 행에 걸쳐 있음)을 포함할 수 있으며 롤링 버퍼(432)는 특정한 시점에 복수의 구획 중 하나와 대응할 수 있다(가령, 롤링 버퍼(432)는 위에서 아래로의 순서로 복수의 구획 각각 사이에서 움직일 수 있음). 롤링 버퍼(432)는 특정한 시점에 작용을 받을 수 있는 사전표현 이미지(422) 내의 소스 픽셀을 결정할 수 있다. 몇몇 경우에, (가령, 롤링 버퍼(432)에 의해 가리켜지는 소스 이미지 행 및 도 4b의 샘플링 영역(424)의 중첩(overlap)과 대응하는) 롤링 버퍼(432) 내의 소스 픽셀의 서브세트에 호모그래픽 변환이 적용될 수 있다.
롤링 버퍼를 소스 이미지에 적용하는 개념은 또한 타겟 이미지에 적용될 수 있다. 몇몇 실시예에서, 호모그래픽 변환이 타겟 이미지 내의 타겟 픽셀의 서브세트와 대응할 수 있다. 예를 들면, 호모그래피(또는 다른 이미지 변환)가 타겟 픽셀의 서브세트에 적용되도록 롤링 버퍼가 타겟 이미지에 적용될 수 있다. 타겟 픽셀의 서브세트는 타겟 이미지 내의 주사선의 세트와 대응할 수 있다(가령, 타겟 픽셀의 서브세트는 타겟 이미지의 20개 행에 걸쳐 있는 픽셀을 포함함). 주사 디스플레이의 이러한 경우에, 특정한 기간 내에 업데이트될(updated) 픽셀에 이미지 재투영 기법이 적용될 수 있다(가령, 호모그래픽 변환은 단지 다음 2ms 내에 디스플레이되거나 업데이트될 타겟 이미지 내 픽셀에 적용될 필요가 있음).
도 5a는 갱신 이미지를 생성하기 위해서 후기 단계 그래픽 조절을 표현 이미지에 적용하는 하나의 실시예를 묘사한다. 갱신 이미지는 HMD를 사용하여 디스플레이될 수 있다. 묘사된 바와 같이, 표현 이미지(Image X)는 시간 T2까지 이용가능하다. 표현 이미지를 렌더링하기 위한 전체 시간은 예컨대 표현 이미지를 생성하기 위한 코어 렌더링 파이프라인에 따라 16ms, 30ms 또는 60ms일 수 있다. 표현 이미지가 시간 T2에서 이용가능하게 되기 전에, 자세 추정(P1)이 시간 T1에서 시작되고 표현 이미지에 기반하여 시간 T2까지 갱신 이미지(Image A)를 생성하는 데 사용될 수 있다. 갱신 이미지(Image A)는 HMD의 디스플레이를 사용하여 시간 T2 및 시간 T6 사이에서 디스플레이될 수 있다. 하나의 실시예에서, 자세 추정(P1)은 시간 T4(또는 HMD를 사용하여 이미지가 투영되는 다른 시점)에서의 HMD의 예상 자세와 대응할 수 있다. 몇몇 실시예에서, 예상 자세를 위한 시간은 표현 이미지(Image X)로부터 도출되는 갱신 이미지(Image A)의 디스플레이를 위한 중간 디스플레이 시간과 대응할 수 있다. 갱신 이미지의 디스플레이를 위한 중간 디스플레이 시간은 투영의 중심 광자(center photon) 또는 투영 시간의 중심점과 대응할 수 있다. 시간 T5에서, 제2 자세 추정(P2)이 시작되고 시간 T6까지 제2 갱신 이미지(Image B)를 생성하는 데 사용될 수 있다. 제2 갱신 이미지(Image B)는 시간 T6에서 시작되어 디스플레이될 수 있다.
하나의 예에서, 디스플레이는 4ms마다(즉, T2와 T6 사이의 시간은 4ms일 수 있음) 갱신 이미지를 디스플레이할 수 있다. 표현 이미지(Image X)가 이용가능하게 되기 전에, 갱신 이미지를 위한 중간 디스플레이 시간과 대응하는 예상 자세가 판정될 수 있다. 예상 자세가 시간 T1에서 시작되고 갱신 이미지가 4ms 동안 디스플레이될 것이므로, 예상 자세는 시간 T1으로부터 3ms 향후의 예상 자세와 대응할 수 있다. 중간 디스플레이 시간에 대해 순방향 예측을 하는 한 가지 이유는 디스플레이 지연으로 인한 에러(error)가 중간 디스플레이 시간 주위에 중심이 두어지거나 최소화될 수 있다는 것이다.
하나의 실시예에서, 디스플레이는 필드 순차 컬러 디스플레이(field-sequential color display)를 포함할 수 있으며 갱신 이미지(Image A)는 제1 컬러 필드(가령, 적색 이미지)와 대응할 수 있고 제2 갱신 이미지(Image B)는 제2 컬러 필드(가령, 녹색 이미지)와 대응할 수 있다. 이 경우에, 자세 추정(P1)은 제1 컬러 필드와 연관된 갱신 이미지(Image A)를 생성하기 위해 사용될 수 있으며 자세 추정(P2)은 제2 컬러 필드와 연관된 제2 갱신 이미지(Image B)를 생성하기 위해 사용될 수 있다. 몇몇 경우에, 갱신 이미지(Image A)는 표현 이미지(Image X)의 픽셀 오프셋 조절을 사용하여 생성될 수 있으며 제2 갱신 이미지(Image B)는 표현 이미지(Image X)의 호모그래픽 변환 및/또는 표현 이미지(Image X)의 제2 픽셀 오프셋 조절을 사용하여 생성될 수 있다. 필드 순차 컬러 디스플레이는 예컨대 OLED 디스플레이 또는 LCOS 디스플레이를 포함할 수 있다.
하나의 실시예에서, 디스플레이는 단극성(unipolar) 방식으로 구동되는 LCOS 디스플레이를 포함할 수 있는데, 구동 전압(driving voltage)은 액정 열화(degradation)를 방지하기 위해 이미지 투영 동안 역전될(reversed) 수 있다. 각각의 컬러 필드 투영이 정투영(positive projection)(가령, 이미지 투영의 첫 2ms) 및 역투영(negative projection)(가령, 이미지 투영의 마지막 2ms) 양자 모두와 대응할 수 있으므로, 제1 갱신 이미지는 정투영 동안 투영될 수 있고 제2 갱신 이미지는 역투영 동안 투영될 수 있어, 이로써 디스플레이 프레임율을 효과적으로 배가한다. 몇몇 경우에, 제1 갱신 이미지는 LCOS 디스플레이와 통합된 회로망에 의한 제1 픽셀 오프셋 조절을 통하여 생성될 수 있으며 제2 갱신 이미지는 LCOS 디스플레이와 통합된 회로망에 의한 제2 픽셀 오프셋 조절을 통하여 생성될 수 있다.
도 5b는 디스플레이와 연관된 디스플레이 시퀀스의 하나의 실시예를 묘사한다. 디스플레이 시퀀스는 필드 순차 컬러 디스플레이 또는 비 필드 순차 컬러 디스플레이(non-field-sequential color display)와 대응할 수 있다. 하나의 실시예에서, 적색, 녹색 및 청색 컬러 필드 중의 각 컬러 필드와 연관된 이미지는 상이한 시점에서 디스플레이 내에 로드될 수 있다. 예를 들면, 적색 컬러 필드와 연관된 제1 이미지(Load R)는 시간 T0 및 시간 T1 사이에 디스플레이 내에 로드될 수 있고, 녹색 컬러 필드와 연관된 제2 이미지(Load G)는 시간 T1 및 시간 T2 사이에 디스플레이 내에 로드될 수 있고, 청색 컬러 필드와 연관된 제3 이미지(Load B)는 시간 T2 및 시간 T3 사이에 디스플레이 내에 로드될 수 있다. 제2 이미지(Load G)가 디스플레이 내에 로드되고 있을 때, 제1 이미지의 호모그래픽 변환과 대응하는 적색 호모그래픽 이미지(R-H) 및 이전에 로드된 청색 이미지의 제2 픽셀 오프셋 조절과 대응하는 청색 픽셀 조절된 이미지(B-P2)가 디스플레이 상에 디스플레이될 수 있다. 제3 이미지(Load B)가 디스플레이 내에 로드되고 있을 때, 제2 이미지의 호모그래픽 변환과 대응하는 녹색 호모그래픽 이미지(G-H) 및 적색 호모그래픽 이미지(R-H)의 제1 픽셀 오프셋 조절과 대응하는 적색 픽셀 조절된 이미지(R-P1)가 디스플레이 상에 디스플레이될 수 있다. 시간 T3 및 시간 T4 사이에서, 적색 호모그래픽 이미지(R-H)의 제2 픽셀 오프셋 조절과 대응하는 적색 픽셀 조절된 이미지(R-P2) 및 녹색 호모그래픽 이미지(G-H)의 제1 픽셀 오프셋 조절과 대응하는 녹색 픽셀 조절된 이미지(G-P1)가 디스플레이되는 동안 제3 이미지의 호모그래픽 변환과 대응하는 청색 호모그래픽 이미지(B-H)가 디스플레이될 수 있다. 시간 T4 및 시간 T5 사이에서, 다음 적색 컬러 필드 이미지가 디스플레이 내에 로드되고 있을 때, 녹색 호모그래픽 이미지(G-H)의 제2 픽셀 오프셋 조절과 대응하는 녹색 픽셀 조절된 이미지(G-P2) 및 청색 호모그래픽 이미지(B-H)의 제1 픽셀 오프셋 조절과 대응하는 청색 픽셀 조절된 이미지(B-P1)가 디스플레이된다. 몇몇 경우에, 디스플레이는 OLED 디스플레이를 포함할 수 있으며 시간 T1 및 시간 T5 사이의 시간은 대략 8ms를 포함할 수 있다.
하나의 실시예에서, 로드되는 컬러 이미지에 대한 호모그래픽 변환 및 디스플레이되는 이미지에 대한 임의의 픽셀 오프셋 조절은 디스플레이 내의 회로망에 의해 수행될 수 있다. 다른 실시예에서, 컬러 이미지에 대한 호모그래픽 변환 및 디스플레이되는 이미지에 대한 임의의 픽셀 오프셋 조절은 호스트 디바이스(host device)에 의해 수행되고 디스플레이에 송신될 수 있다.
도 5c는 디스플레이와 연관된 디스플레이 시퀀스의 대안적 실시예를 묘사한다. 디스플레이 시퀀스는 필드 순차 컬러 디스플레이 또는 비 필드 순차 컬러 디스플레이와 대응할 수 있다. 하나의 실시예에서, 적색, 녹색 및 청색 컬러 필드 중의 각 컬러 필드와 연관된 이미지는 상이한 시점에서 디스플레이 내에 로드될 수 있다. 예를 들면, 적색 컬러 필드와 연관된 제1 이미지(R-L)는 시간 T0 및 시간 T1 사이에 디스플레이 내에 로드될 수 있고, 녹색 컬러 필드와 연관된 제2 이미지(G-L)는 시간 T1 및 시간 T2 사이에 디스플레이 내에 로드될 수 있고, 청색 컬러 필드와 연관된 제3 이미지(B-L)는 시간 T2 및 시간 T3 사이에 디스플레이 내에 로드될 수 있다. 제2 이미지(G-L)가 디스플레이 내에 로드되고 있을 때, 제1 이미지의 호모그래픽 변환과 대응하는 적색 호모그래픽 이미지(R-H), 이전에 로드된 청색 이미지의 제2 픽셀 오프셋 조절과 대응하는 청색 픽셀 조절된 이미지(B-P2), 그리고 이전에 로드된 녹색 이미지의 제3 픽셀 오프셋 조절과 대응하는 녹색 픽셀 조절된 이미지(G-P3)가 디스플레이 상에 디스플레이될 수 있다(즉, G-P3 이미지는 G-L 이미지가 디스플레이 내에 로드되는 동안 디스플레이될 수 있음). 제3 이미지(B-L)가 디스플레이 내에 로드되고 있을 때, 제2 이미지의 호모그래픽 변환과 대응하는 녹색 호모그래픽 이미지(G-H), 적색 호모그래픽 이미지(R-H)의 제1 픽셀 오프셋 조절과 대응하는 적색 픽셀 조절된 이미지(R-P1), 그리고 이전에 로드된 청색 이미지의 제3 픽셀 오프셋 조절과 대응하는 청색 픽셀 조절된 이미지(B-P3)가 디스플레이 상에 디스플레이될 수 있다(즉, B-P3 이미지는 B-L 이미지가 디스플레이 내에 로드되는 동안 디스플레이될 수 있음). 시간 T3 및 시간 T4 사이에서, 적색 호모그래픽 이미지(R-H)의 제2 픽셀 오프셋 조절과 대응하는 적색 픽셀 조절된 이미지(R-P2) 및 녹색 호모그래픽 이미지(G-H)의 제1 픽셀 오프셋 조절과 대응하는 녹색 픽셀 조절된 이미지(G-P1)가 디스플레이되는 동안 제3 이미지의 호모그래픽 변환과 대응하는 청색 호모그래픽 이미지(B-H)가 디스플레이될 수 있다. 시간 T4 및 시간 T5 사이에서, 다음 적색 컬러 필드 이미지가 디스플레이 내에 로드되고 있을 때, 녹색 호모그래픽 이미지(G-H)의 제2 픽셀 오프셋 조절과 대응하는 녹색 픽셀 조절된 이미지(G-P2), 청색 호모그래픽 이미지(B-H)의 제1 픽셀 오프셋 조절과 대응하는 청색 픽셀 조절된 이미지(B-P1), 그리고 이전에 로드된 적색 이미지의 제3 픽셀 오프셋 조절과 대응하는 적색 픽셀 조절된 이미지(R-P3)가 디스플레이 상에 디스플레이될 수 있다(즉, R-P3 이미지는 다음 적색 이미지가 디스플레이 내에 로드되는 동안 디스플레이될 수 있음). 몇몇 경우에, 디스플레이는 다른 이미지를 디스플레이하는 동안 새로운 이미지가 로드되게 하기 위한 이미지 버퍼를 갖는 OLED 디스플레이를 포함할 수 있으며 시간 T1 및 시간 T5 사이의 시간은 대략 8ms를 포함할 수 있다.
하나의 실시예에서, 로드되는 컬러 이미지에 대한 호모그래픽 변환 및 디스플레이되는 이미지에 대한 임의의 픽셀 오프셋 조절은 디스플레이 내의 회로망에 의해 수행될 수 있다. 다른 실시예에서, 컬러 이미지에 대한 호모그래픽 변환 및 디스플레이되는 이미지에 대한 임의의 픽셀 오프셋 조절은 호스트 디바이스에 의해 수행되고 디스플레이에 송신될 수 있다.
도 6a는 렌더링 프레임율보다 큰 프레임율로 가상 객체와 연관된 이미지를 생성하고 디스플레이하는 방법의 하나의 실시예를 설명하는 흐름도이다. 하나의 실시예에서, 도 6a의 프로세스는 도 1의 모바일 디바이스(19)와 같은 HMD에 의해 수행될 수 있다.
단계(602)에서, HMD와 연관된 자세 이력이 획득된다. 자세 이력은 시간에 따른 HMD의 포지션, 배향 및 움직임을 포함할 수 있다. 단계(604)에서, HMD의 현재 자세가 판정된다. 현재 자세는 카메라 기반 자세 추적을 사용하여 판정될 수 있다. 단계(606)에서, 현재 자세 및 자세 이력에 기반하여 HMD의 예상 자세가 판정된다. 예상 자세는 제1 시점(가령, 현재 자세가 판정된 때로부터 향후 8ms 또는 16ms)과 대응할 수 있다.
단계(608)에서, 표현 이미지가 예상 자세에 기반하여 생성된다. 표현 이미지는 예상 자세가 주어지면 3차원 장면을 2차원 이미지로 렌더링할 능력을 가지는 GPU 또는 다른 렌더링 시스템을 사용하여 렌더링될 수 있다. 단계(610)에서, 제1 시점과 대응하는 HMD의 갱신 자세가 판정된다. 갱신 자세는 카메라 기반 자세 추적 정보 및/또는 카메라 기반 자세 추적 정보와 저지연 IMU 모션 정보의 조합을 사용하여 판정될 수 있다.
단계(612)에서, 예상 자세 및 갱신 자세 간의 자세 차이가 판정된다. 자세 차이는 표현 이미지를 생성하는 경우 부정확한 자세 예측을 보상하기 위해서 표현 이미지의 일부분에 적용될 그래픽 조절의 정도를 결정할 수 있다.
단계(614)에서, 자세 차이에 기반하여 갱신 이미지가 생성된다. 갱신 이미지는 표현 이미지의 일부분의 호모그래픽 변환을 통하여 생성될 수 있다. 몇몇 경우에, 호모그래픽 변환은 어파인 변환을 포함할 수 있다. 갱신 이미지는 또한 픽셀 오프셋 조절 또는 호모그래픽 변환과 픽셀 오프셋 조절의 조합을 사용하여 생성될 수 있다. 몇몇 경우에, 호모그래픽 변환 및/또는 픽셀 오프셋 조절은 HMD의 디스플레이와 통합된 제어기 또는 프로세서를 사용하여 생성될 수 있다. 하나의 실시예에서, 픽셀 오프셋 조절은 디스플레이의 픽셀 어레이 내에서의 픽셀 값의 전이를 가능하게 하기 위한 시프트 레지스터 또는 다른 회로망을 포함하는 HMD의 디스플레이를 사용하여 수행될 수 있다. 단계(616)에서, 갱신 이미지는 HMD 상에 디스플레이된다. 갱신 이미지는 HMD와 통합된 OLED 디스플레이를 사용하여 디스플레이될 수 있다.
도 6b는 디스플레이와 통합된 회로망을 사용하여 디스플레이에 제공되는 표현 이미지에 대한 그래픽 조절을 행하는 방법의 하나의 실시예를 설명하는 흐름도이다. 하나의 실시예에서, 도 6b의 프로세스는 도 1의 디스플레이(150)와 같은 디스플레이에 의해 수행될 수 있다.
단계(632)에서, 이미지가 호스트로부터 획득된다. 호스트는 가상 객체의 이미지를 생성하기 위한 코어 렌더링 파이프라인을 포함할 수 있다. 단계(634)에서, 호모그래픽 변환을 이미지에 적용함으로써 제1 갱신 이미지가 생성된다. 호모그래픽 변환은 어파인 변환을 포함할 수 있다. 단계(636)에서, 제1 갱신 이미지는 디스플레이의 픽셀 어레이 내에 로드된다. 디스플레이는 OLED 디스플레이를 포함할 수 있다. 단계(638)에서 제1 갱신 이미지는 디스플레이를 사용하여 디스플레이될 수 있다.
단계(640)에서, 픽셀 어레이 내에서 제1 갱신 이미지를 전이시킴으로써 제2 갱신 이미지가 생성될 수 있다. 하나의 실시예에서, 픽셀 어레이 내의 래칭된 데이터 값은 인접한 픽셀들 간에 수직으로(즉, 열 방향으로) 및/또는 수평으로(즉, 행 방향으로) 전이될 수 있다. 다른 실시예에서, 픽셀 어레이 내에 저장된 데이터 값이 픽셀 어레이 내의 복수의 LED 중 하나를 구동할 수 있다(즉, 래칭된 데이터 값을 물리적으로 전이시키는 것보다는, 각 픽셀 내의 멀티플렉서가 그것의 대응하는 LED에 적용할 올바른 래칭된 데이터 값을 선택하는 데 사용될 수 있음). 단계(642)에서, 제2 갱신 이미지는 디스플레이 상에 디스플레이된다.
도 7a는 렌더링 프레임율보다 큰 프레임율로 가상 객체와 연관된 이미지를 생성하고 디스플레이하는 방법의 대안적 실시예를 설명하는 흐름도이다. 하나의 실시예에서, 도 7a의 프로세스는 도 1의 모바일 디바이스(19)와 같은 HMD에 의해 수행될 수 있다.
단계(702)에서, HMD와 연관된 제1 예상 자세가 판정된다. HMD의 제1 예상 자세는 HMD의 자세 이력에 기반하여 판정될 수 있으며 HMD의 디스플레이를 사용하여 제1 예상 자세에 기반한 이미지가 디스플레이되거나 투영될 수 있는 향후의 시점과 대응할 수 있다. 단계(704)에서, 표현 이미지가 제1 예상 자세에 기반하여 생성된다. 표현 이미지는 제1 예상 자세가 주어지면 3차원 장면을 2차원 이미지로 렌더링할 능력을 가지는 GPU 또는 다른 렌더링 시스템을 사용하여 렌더링될 수 있다. 몇몇 경우에, 렌더링 시스템은 표현 이미지를 렌더링하는 데 30ms 또는 60ms 걸릴 수 있다. 렌더링 시스템에 의해 생성된 각각의 표현 이미지는 특정한 자세(표현 이미지는 이로부터 생성되었음)를 식별하는 메타데이터와 연관될 수 있다. 표현 이미지를 생성하기 위한 프로세스의 하나의 실시예가 도 7b에 관해서 뒤에 기술된다.
단계(706)에서, HMD의 제2 예상 자세가 판정된다. 제2 예상 자세는 갱신 자세를 포함할 수 있다(가령, 제1 예상 자세를 판정하기 전에 이용가능하지 않은 HMD의 업데이트된 포지션 및 모션 정보에 기반한 갱신 자세 추정). 몇몇 경우에, 제2 예상 자세는 카메라 기반 자세 추적 정보 및/또는 카메라 기반 자세 추적 정보와 저지연 IMU 모션 정보의 조합을 외삽함으로써 판정될 수 있다.
몇몇 실시예에서, 제2 예상 자세는 표현 이미지로부터 도출되는 갱신 이미지의 디스플레이를 위한 중간 디스플레이 시간과 대응할 수 있다. 갱신 이미지의 중간 디스플레이 시간은 갱신 이미지의 투영의 중심 광자 또는 갱신 이미지의 투영 시간의 중심점과 대응할 수 있다.
단계(708)에서, 제1 예상 자세 및 제2 예상 자세 간의 자세 차이가 판정된다. 자세 차이는 표현 이미지를 생성하는 경우 부정확한 자세 예측을 보상하기 위해서 표현 이미지의 일부분에 적용될 그래픽 조절의 정도를 결정할 수 있다. 몇몇 실시예에서, 만약 자세 차이가 차이 임계(difference threshold) 미만인 경우, 후속 그래픽 조절은 픽셀 오프셋 조절을 포함할 수 있다. 만약 자세 차이가 차이 임계 이상인 경우, 후속 그래픽 조절은 호모그래피를 포함할 수 있다.
단계(710)에서, 갱신 이미지가 자세 차이 및 표현 이미지의 적어도 일부분에 기반하여 생성된다. 갱신 이미지는 표현 이미지의 일부분의 호모그래픽 변환을 통하여 생성될 수 있다. 몇몇 경우에, 호모그래픽 변환은 다중 평면 호모그래피, 단일 평면 호모그래피 및/또는 어파인 호모그래피를 포함할 수 있다. 갱신 이미지는 또한 픽셀 오프셋 조절 또는 호모그래픽 변환과 픽셀 오프셋 조절의 조합을 사용하여 생성될 수 있다. 몇몇 경우에, 호모그래픽 변환 및/또는 픽셀 오프셋 조절은 HMD의 디스플레이와 통합된 제어기 또는 프로세서를 사용하여 또는 디스플레이 내에 통합된 맞춤 회로망(custom circuitry)을 사용하여 생성될 수 있다. 하나의 실시예에서, 픽셀 오프셋 조절은 디스플레이의 픽셀 어레이 내에서의 픽셀 값의 전이를 가능하게 하기 위한 시프트 레지스터 또는 다른 회로망을 포함하는 HMD의 디스플레이를 사용하여 수행될 수 있다. 단계(712)에서, 갱신 이미지는 HMD 상에 디스플레이된다. 갱신 이미지는 HMD와 통합된 LCOS 디스플레이 또는 OLED 디스플레이를 사용하여 디스플레이될 수 있다.
도 7b는 표현 이미지를 생성하는 프로세스의 하나의 실시예를 설명하는 흐름도이다. 도 7b에 설명된 프로세스는 도 7a에서 단계(704)를 구현하기 위한 프로세스의 하나의 예이다. 하나의 실시예에서, 도 7b의 프로세스는 도 1의 모바일 디바이스(19)와 같은 HMD에 의해 수행될 수 있다.
단계(722)에서, HMD의 예상 자세가 획득된다. 예상 자세는 도 3a의 자세 추정 모듈(312)과 같은 자세 추정 모듈에 질의함으로써 획득될 수 있다. 단계(724)에서, HMD의 최종 사용자가 초점을 맞추고 있는 가상 객체가 식별된다. 하나의 실시예에서, 특정한 기간 내에 최종 사용자가 초점을 맞춘 바라보아진 가상 객체의 세트(a set of viewed virtual objects)를 판정하기 위해 눈 추적이 사용될 수 있다. 가상 객체는 바라보아진 가상 객체의 세트 중의 가상 빈번히 바라보아진 가상 객체로서 식별될 수 있다. 가상 객체는 HMD로부터의 깊이 또는 거리와 연관될 수 있다.
단계(726)에서, 증강 현실 환경 내의 가상 객체의 위치에 기반하여 안정화 평면(stabilization plane)이 판정된다. 안정화 평면은 증강 현실 환경 내의 가상 객체의 위치와 부합할(coincide) 수 있다. 이 경우에, 안정화 평면(그리고 대응하는 표현 이미지)은 최종 사용자가 시간에 따라 증강 현실 환경 내의 가상 객체들 사이에서 자신의 초점을 전이시키면서 그때그때(on-the-fly) 판정될 수 있다(즉, 증강 현실 환경 내의 안정화 평면의 위치는 특정한 기간 동안 증강 현실 환경 내의 가장 빈번히 바라보아진 가상 객체의 위치에 기반하여 전이될 수 있음). 단계(728)에서, 표현 이미지가 예상 자세 및 안정화 평면에 기반하여 생성된다. 표현 이미지는 안정화 평면 내의 2차원 이미지를 포함할 수 있다. 단계(730)에서, 표현 이미지는 출력된다.
개시된 기술의 하나의 실시예는 시스루 디스플레이와 통신하는 하나 이상의 프로세서를 포함한다. 하나 이상의 프로세서는 모바일 디바이스와 연관된 예상 자세를 판정한다. 예상 자세는 제1 시점과 대응한다. 하나 이상의 프로세서는 표현 이미지를 예상 자세에 기반하여 생성하고 예상 자세를 판정한 후에 모바일 디바이스와 연관된 갱신 자세를 판정한다. 갱신 자세는 제1 시점과 대응한다. 시스루 디스플레이는 갱신 이미지를 갱신 자세 및 표현 이미지에 기반하여 생성한다. 시스루 디스플레이는 갱신 이미지를 디스플레이한다.
개시된 기술의 하나의 실시예는 모바일 디바이스와 연관된 예상 자세를 판정하는 것을 포함한다. 예상 자세는 제1 시점과 대응한다. 그 방법은 표현 이미지를 예상 자세에 기반하여 생성하는 것 및 표현 이미지를 생성한 후에 모바일 디바이스와 연관된 갱신 자세를 판정하는 것을 더 포함한다. 갱신 자세는 제1 시점과 대응한다. 그 방법은 예상 자세 및 갱신 자세 간의 자세 차이를 판정하는 것, 갱신 이미지를 자세 차이에 기반하여 생성하는 것, 그리고 갱신 이미지를 모바일 디바이스의 디스플레이 상에 디스플레이하는 것을 더 포함한다.
개시된 기술의 하나의 실시예는 HMD와 연관된 자세 이력을 획득하는 것을 포함한다. 자세 이력은 제1 시점 전의 기간과 대응한다. 그 방법은 제1 시점과 대응하는 HMD와 연관된 현재 자세를 판정하는 것 및 제1 시점 후의 제2 시점과 대응하는 HMD와 연관된 예상 자세를 판정하는 것을 더 포함한다. 예상 자세를 판정하는 것은 예상 자세를 현재 자세 및 자세 이력에 기반하여 판정하는 것을 포함한다. 그 방법은 표현 이미지를 예상 자세에 기반하여 생성하는 것, 제2 시점과 대응하는 HMD와 연관된 갱신 자세를 판정하는 것, 갱신 이미지를 갱신 자세 및 표현 이미지의 적어도 일부분에 기반하여 생성하는 것, 그리고 갱신 이미지를 HMD의 디스플레이 상에 디스플레이하는 것을 더 포함한다.
도 8은 도 1의 모바일 디바이스(19)와 같은 모바일 디바이스(8300)의 하나의 실시예의 블록도이다. 모바일 디바이스는 무선 수신기/송신기 기술과 통합된 랩톱 컴퓨터(laptop computer), 포켓 컴퓨터(pocket computer), 모바일 전화(mobile phone), HMD, 개인용 디지털 보조기기(personal digital assistant) 및 핸드헬드 미디어 디바이스(handheld media device)를 포함할 수 있다.
모바일 디바이스(8300)는 하나 이상의 프로세서(8312) 및 메모리(8310)를 포함한다. 메모리(8310)는 애플리케이션(8330) 및 비휘발성 스토리지(non-volatile storage)(8340)를 포함한다. 메모리(8310)는 비휘발성과 휘발성 메모리를 포함하는 임의의 다양한 메모리 저장 매체 유형일 수 있다. 모바일 디바이스 운영 체제(operating system)는 모바일 디바이스(8300)의 상이한 동작들을 다루며, 전화 통화를 걸고 받는 것, 텍스트 메시징(text messaging), 음성메일을 확인하는 것 및 유사한 것과 같은 동작들을 위한 사용자 인터페이스들을 포함할 수 있다. 애플리케이션(8330)은 임의의 종류의 프로그램, 예를 들어 사진 및/또는 비디오를 위한 카메라 애플리케이션, 주소록(address book), 캘린더 애플리케이션(calendar application), 미디어 플레이어(media player), 인터넷 브라우저(internet browser), 게임, 알람 애플리케이션(alarm application) 및 다른 애플리케이션일 수 있다. 메모리(8310) 내의 비휘발성 저장 컴포넌트(8340)는 음악, 사진, 연락처 데이터, 스케줄링 데이터 및 다른 파일과 같은 데이터를 포함할 수 있다.
하나 이상의 프로세서(8312)는 시스루 디스플레이(8309)와 통신하는 것이다. 시스루 디스플레이(8309)는 실제 세계 환경과 연관된 하나 이상의 객체를 디스플레이할 수 있다. 하나 이상의 프로세서(8312)는 또한 RF 송신기/수신기(8306)(이는 다음에 안테나(8302)에 커플링됨(coupled))와, 적외선 송신기/수신기(8308)와, 글로벌 포지셔닝 서비스(Global Positioning Service: GPS) 수신기(8365)와, 그리고 움직임/배향 센서(8314)(이는 가속도계 및/또는 자력계를 포함할 수 있음)와 통신한다. RF 송신기/수신기(8308)는 블루투스(Bluetooth®) 또는 IEEE 802.11 표준과 같은 다양한 무선 기술 표준을 통하여 무선 통신을 가능하게 할 수 있다. 사용자가 제스처를 통해 명령을 입력하게 해주는 지능적 사용자 인터페이스 애플리케이션, 그리고 모바일 디바이스가 회전되는 경우에 디스플레이를 인물상(portrait)으로부터 풍경(landscape)으로 자동으로 변경할 수 있는 배향 애플리케이션과 같은 애플리케이션을 가능하게 하기 위해 가속도계가 모바일 디바이스 내에 포함되었다. 가령 반도체 칩 상에 형성된 (마이크로미터 크기의) 소형 기계 디바이스인 마이크로 전자 기계 시스템(Micro-ElectroMechanical System: MEMS)에 의해, 가속도계가 제공될 수 있다. 배향, 진동 및 충격뿐만 아니라, 가속도 방향이 감지될 수 있다. 하나 이상의 프로세서(8312)는 또한 신호기(ringer)/진동기(vibrator)(8316), 사용자 인터페이스 키패드/스크린(8318), 스피커(8320), 마이크(8322), 카메라(8324), 광 센서(8326) 및 온도 센서(8328)와 통신한다. 사용자 인터페이스 키패드/스크린은 터치 감지 스크린 디스플레이(touch-sensitive screen display)를 포함할 수 있다.
하나 이상의 프로세서(8312)는 무선 신호의 송신 및 수신을 제어한다. 송신 모드 동안, 하나 이상의 프로세서(8312)는 마이크(8322)로부터의 음성 신호를, 또는 다른 데이터 신호를, RF 송신기/수신기(8306)에 제공한다. 송신기/수신기(8306)는 안테나(8302)를 통해 신호를 송신한다. 신호기/진동기(8316)는 유입 호출(incoming call), 텍스트 메시지(text message), 캘린더 알림기(calendar reminder), 알람 클록 알림기(alarm clock reminder), 또는 다른 통지를 사용자에게 시그널링하기(signal) 위해 사용된다. 수신 모드 동안, RF 송신기/수신기(8306)는 안테나(8302)를 통해 원격 스테이션(remote station)으로부터 음성 신호 또는 데이터 신호를 수신한다. 수신된 음성 신호는 스피커(8320)에 제공되는 한편 다른 수신된 데이터 신호는 적절히 처리된다.
추가적으로, 배터리(8304)를 재충전하기 위해서, AC 어댑터 또는 전동 도킹 스테이션(powered docking station)과 같은 외부 전력원(power source)에 모바일 디바이스(8300)를 연결하는 데에 물리적 커넥터(physical connector)(8388)가 사용될 수 있다. 물리적 커넥터(8388)는 또한 외부 컴퓨팅 디바이스로의 데이터 연결로서 사용될 수 있다. 데이터 연결은 모바일 디바이스 데이터를 다른 디바이스 상의 컴퓨팅 데이터와 동기화하는 것과 같은 동작을 가능하게 한다.
개시된 기술은 많은 다른 일반 목적 또는 특수 목적 컴퓨팅 시스템 환경 또는 구성과 동작가능하다(operational). 그 기술과의 사용에 적합할 수 있는 잘 알려진 컴퓨팅 시스템, 환경 및/또는 구성의 예는 개인용 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩톱 디바이스, 다중프로세서 시스템, 마이크로프로세서 기반 시스템, 셋톱 박스, 프로그램가능 가전기기, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 위의 시스템 또는 디바이스 중 임의의 것을 포함하는 분산 컴퓨팅 환경, 그리고 유사한 것을 포함하나 이에 한정되지 않는다.
개시된 기술은 컴퓨터에 의해 실행되는, 프로그램 모듈과 같은 컴퓨터 실행가능 명령어의 일반적인 맥락에서 설명될 수 있다. 일반적으로, 본 문서에 기술된 소프트웨어 및 프로그램 모듈은 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조, 그리고 특정한 작업을 수행하거나 특정한 추상적 데이터 유형을 구현하는 다른 유형의 구조를 포함한다. 하드웨어 또는 하드웨어와 소프트웨어의 조합이 본 문서에 기술된 소프트웨어 모듈을 대신할 수 있다.
개시된 기술은 또한 통신 네트워크를 통해 이어진 원격 처리 디바이스들에 의해 작업이 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈들은 메모리 저장 디바이스를 포함하는 로컬 및 원격 컴퓨터 저장 매체들 양자 모두 내에 위치될 수 있다.
이 문서를 위해, 개시된 기술과 연관된 각 프로세스는 연속적으로 그리고 하나 이상의 컴퓨팅 디바이스에 의해 수행될 수 있다. 프로세스 내의 각 단계는 다른 단계에서 사용되는 것과 동일하거나 상이한 컴퓨팅 디바이스에 의해 수행될 수 있으며, 각 단계는 반드시 단일의 컴퓨팅 디바이스에 의해 수행될 필요는 없다.
이 문서를 위해, 명세서 내에서 "일 실시예", "하나의 실시예", "몇몇 실시예" 또는 "다른 실시예"에 대한 언급은 상이한 실시예들을 기술하기 위해 사용될 수 있으며 반드시 동일한 실시예를 나타내지는 않는다.
이 문서를 위해, 연결은 직접 연결(direct connection) 또는 (가령, 다른 부분을 통한) 간접 연결(indirect connection)일 수 있다.
이 문서를 위해, 객체들의 "세트"라는 용어는 객체들 중 하나 이상의 "세트"를 나타낸다.
구조적 특징 및/또는 방법론적 행위에 특정적인 말로 대상(subject matter)이 기술되었으나, 부기된 청구항 내에 정의된 대상은 반드시 앞서 기술된 특정 특징 또는 행위에 한정되지는 않는다는 점이 이해되어야 한다. 오히려, 앞서 기술된 특정 특징 및 행위는 청구항을 구현하는 예시적 형태로서 개시된다.

Claims (40)

  1. 방법으로서,
    렌더링된 이미지를 획득하는 단계와,
    모바일 디바이스와 연관된 제 1 예상 자세(predicted pose)에 기초하여 상기 렌더링된 이미지의 제 1 부분에 적용될 제 1 변환을 결정하는 단계와,
    상기 모바일 디바이스와 연관된 상기 제 1 예상 자세와 상이한 제 2 예상 자세에 기초하여 상기 렌더링된 이미지의 제 2 부분에 적용될 제 2 변환을 결정하는 단계와,
    상기 모바일 디바이스를 사용하여 상기 렌더링된 이미지의 상기 제 1 부분에 상기 제 1 변환을 적용함으로써 갱신 이미지의 제 1 부분을 생성하는 단계와,
    상기 모바일 디바이스를 사용하여 상기 렌더링된 이미지의 제 2 부분에 상기 제 2 변환을 적용함으로써 상기 갱신 이미지의 제 2 부분을 생성하는 단계와,
    상기 모바일 디바이스를 사용하여 상기 갱신 이미지를 디스플레이하는 단계를 포함하는
    방법.
  2. 제 1 항에 있어서,
    상기 갱신 이미지의 제 1 부분을 생성하는 단계는 상기 렌더링된 이미지의 제 1 부분에 제 1 호모그래픽 변환을 적용하는 것을 포함하고,
    상기 갱신 이미지의 제 2 부분을 생성하는 단계는 상기 렌더링된 이미지의 제 2 부분에 상기 제 1 호모그래픽 변환과 상이한 제 2 호모그래픽 변환을 적용하는 것을 포함하는
    방법.
  3. 제 2 항에 있어서,
    상기 제 1 호모그래픽 변환은 아핀 변환(affine transformation)을 포함하는
    방법.
  4. 제 1 항에 있어서,
    상기 렌더링된 이미지의 제 1 부분에 상기 제 1 변환을 적용하는 것은 상기 렌더링된 이미지의 상기 제 1 부분 내의 픽셀에 제 1 가중화된 맵핑을 적용하는 것을 포함하고,
    상기 렌더링된 이미지의 제 2 부분에 상기 제 2 변환을 적용하는 것은 상기 렌더링된 이미지의 제 2 부분 내의 픽셀에 상기 제 1 가중화된 맵핑과 상이한 제 2 가중화된 맵핑을 적용하는 것을 포함하는
    방법.
  5. 제 1 항에 있어서,
    상기 갱신 이미지의 제 1 부분을 생성하는 단계는 상기 렌더링된 이미지의 제 1 부분에 제 1 픽셀 오프셋 조절(pixel offset adjustment)을 적용하는 것을 포함하고,
    상기 갱신 이미지의 제 2 부분을 생성하는 단계는 상기 렌더링된 이미지의 제 2 부분에 상기 제 1 픽셀 오프셋 조절과 상이한 제 2 픽셀 오프셋 조절을 적용하는 것을 포함하는
    방법.
  6. 제 5 항에 있어서,
    상기 모바일 디바이스는 디스플레이를 포함하고,
    상기 제 1 픽셀 오프셋 조절을 적용하는 것은 상기 렌더링된 이미지의 상기 제 1 부분과 연관된 제 1 이미지를 상기 디스플레이의 픽셀 어레이에 로딩하고, 상기 제 1 이미지가 상기 픽셀 어레이 내에 통합된 회로를 사용하여 상기 픽셀 어레이 내에 저장되는 동안 상기 제 1 이미지를 전이(shifting)시키는 것을 포함하는
    방법.
  7. 제 6 항에 있어서,
    상기 픽셀 어레이 내에 통합된 회로를 사용하여 상기 제 1 이미지가 상기 픽셀 어레이 내에 저장되는 동안 상기 제 1 이미지를 전이시키는 것은, 상기 픽셀 어레이 내의 픽셀 값을 전이시키기 위해 상기 픽셀 어레이 내의 픽셀들 사이의 픽셀 상호연결을 사용하여 상기 제 1 이미지를 전이시키는 것을 포함하는
    방법.
  8. 제 5 항에 있어서,
    상기 모바일 디바이스는 디스플레이를 포함하고,
    상기 제 1 픽셀 오프셋 조절을 적용하는 것은 상기 렌더링된 이미지의 제 1 부분과 연관된 제 1 이미지를 상기 디스플레이의 버퍼로 로딩하고 상기 버퍼 내에서 상기 제 1 이미지를 전이시키는 것을 포함하는
    방법.
  9. 제 1 항에 있어서,
    상기 갱신 이미지의 제 2 부분을 생성하는 단계는 상기 갱신 이미지의 제 1 부분이 상기 모바일 디바이스를 사용하여 디스플레이되는 동안 상기 갱신 이미지의 제 2 부분을 생성하는 것을 포함하는
    방법.
  10. 제 1 항에 있어서,
    상기 제 1 예상 자세는 제 1 시점에 대응하고, 상기 제 2 예상 자세는 상기 제 1 시점에 후속하는 제 2 시점에 대응하며,
    상기 모바일 디바이스는 머리 장착형 디스플레이 디바이스를 포함하는
    방법.
  11. 전자 디바이스로서,
    렌더링된 이미지를 획득하도록 구성된 하나 이상의 프로세서 - 상기 하나 이상의 프로세서는 상기 전자 디바이스와 연관된 제 1 예상 자세에 기초하여 상기 렌더링된 이미지의 제 1 부분에 적용될 제 1 변환을 결정하고, 상기 전자 디바이스와 연관된 제 1 예상 자세와 상이한 제 2 예상 자세에 기초하여 상기 렌더링된 이미지의 제 2 부분에 적용될 제 2 변환을 결정하도록 구성되며, 상기 하나 이상의 프로세서는 상기 제 1 변환을 상기 렌더링된 이미지의 제 1 부분에 적용하여 갱신 이미지의 제 1 부분을 생성하고 상기 제 2 변환을 상기 렌더링된 이미지의 제 2 부분에 적용하여 상기 갱신 이미지의 제 2 부분을 생성하도록 구성됨 - 와,
    상기 갱신 이미지를 디스플레이하도록 구성된 시스루 디스플레이를 포함하는
    전자 디바이스.
  12. 제 11 항에 있어서,
    상기 제 1 변환은 아핀 변환을 포함하는
    전자 디바이스.
  13. 제 11 항에 있어서,
    상기 시스루 디스플레이는 상기 렌더링된 이미지의 제 1 부분에 제 1 픽셀 오프셋 조절을 적용하여 상기 갱신 이미지의 제 1 부분을 생성하고 상기 렌더링된 이미지의 제 2 부분에 상기 제 1 픽셀 오프셋 조절과 상이한 제 2 픽셀 오프셋 조절을 적용하여 상기 갱신 이미지의 제 2 부분을 생성하도록 구성되는
    전자 디바이스.
  14. 제 13 항에 있어서,
    상기 시스루 디스플레이는 상기 렌더링된 이미지의 제 1 부분과 연관된 제 1 이미지를 상기 시스루 디스플레이의 버퍼로 로딩하고 상기 버퍼 내에서 상기 제 1 이미지를 전이시킴으로써 상기 제 1 픽셀 오프셋 조절을 적용하도록 구성되는
    전자 디바이스.
  15. 제 13 항에 있어서,
    상기 시스루 디스플레이는 상기 렌더링된 이미지의 제 1 부분과 연관된 제 1 이미지를 상기 시스루 디스플레이의 픽셀 어레이로 로딩하고 상기 제 1 이미지가 상기 픽셀 어레이 내에 통합된 회로를 사용하여 상기 픽셀 어레이 내에 저장되는 동안 상기 제 1 이미지를 전이시킴으로써 상기 제 1 픽셀 오프셋 조절을 적용하도록 구성되는
    전자 디바이스.
  16. 제 15 에 있어서,
    상기 시스루 디스플레이는 상기 픽셀 어레이 내의 픽셀 값을 전이시키기 위해 상기 픽셀 어레이 내의 픽셀들 사이의 픽셀 상호연결을 사용하여 상기 제 1 이미지를 전이시키도록 구성되는
    전자 디바이스.
  17. 제 11 항에 있어서,
    상기 하나 이상의 프로세서는 상기 갱신 이미지의 제 1 부분이 상기 시스루 디스플레이를 사용하여 디스플레이되는 동안 상기 갱신 이미지의 제 2 부분을 생성하도록 구성되는
    전자 디바이스.
  18. 제 11 항에 있어서,
    상기 전자 디바이스는 머리 장착형 디스플레이 장치를 포함하고,
    상기 시스루 디스플레이는 OLED 디스플레이를 포함하는
    전자 디바이스.
  19. 전자 디바이스를 사용하여 이미지를 디스플레이하는 방법을 수행하도록 하나 이상의 프로세서를 프로그래밍하는 프로세서 판독가능 코드를 포함하는 하나 이상의 저장 디바이스로서,
    상기 방법은,
    하나 이상의 가상 객체를 포함하는 렌더링된 이미지를 생성하는 단계와,
    상기 전자 디바이스의 제 1 예상 자세에 기초하여 상기 렌더링된 이미지의 제 1 부분에 적용될 제 1 호모그래픽 변환을 결정하는 단계와,
    상기 전자 디바이스의 제 1 예상 자세와 상이한 제 2 예상 자세에 기초하여 상기 렌더링된 이미지의 제 2 부분에 적용될 제 2 호모그래픽 변환을 결정하는 단계와,
    상기 전자 디바이스를 사용하여 상기 렌더링된 이미지의 제 1 부분에 상기 제 1 호모그래픽 변환을 적용함으로써 갱신 이미지의 제 1 부분을 생성하는 단계와,
    상기 전자 디바이스를 사용하여 상기 렌더링된 이미지의 제 2 부분에 상기 제 2 호모그래픽 변환을 적용함으로써 상기 갱신 이미지의 제 2 부분을 생성하는 단계와,
    상기 전자 디바이스를 이용하여 상기 갱신 이미지를 디스플레이하는 단계를 포함하는
    저장 디바이스.
  20. 제 19 항에 있어서,
    상기 전자 디바이스는 머리 장착형 디스플레이 장치를 포함하고,
    상기 갱신 이미지의 제 1 부분을 생성하는 단계는 상기 렌더링된 이미지의 제 1 부분에 제 1 픽셀 오프셋 조절을 적용하는 것을 포함하고,
    상기 갱신 이미지의 제 2 부분을 생성하는 단계는 상기 렌더링된 이미지의 제 2 부분에 상기 제 1 픽셀 오프셋 조절과 상이한 제 2 픽셀 오프셋 조절을 적용하는 것을 포함하는
    저장 디바이스.
  21. 렌더링된 이미지를 모바일 디바이스의 버퍼에 로딩하는 단계와,
    상기 모바일 디바이스의 제 1 예상 자세에 기초하여 상기 렌더링된 이미지의 제 1 부분에 대한 제 1 변환을 결정하는 단계와,
    상기 모바일 디바이스의 상기 제 1 예상 자세와 상이한 제 2 예상 자세에 기초하여 상기 렌더링된 이미지의 제 2 부분에 대한 제 2 변환을 결정하는 단계와,
    상기 렌더링된 이미지의 제 1 부분에 상기 제 1 변환을 적용함으로써 갱신 이미지의 제 1 부분을 생성하는 단계와,
    상기 렌더링된 이미지의 제 2 부분이 상기 버퍼 내에 저장되는 동안 상기 렌더링된 이미지의 제 2 부분에 상기 제 2 변환을 적용함으로써 상기 갱신 이미지의 제 2 부분을 생성하는 단계와,
    상기 모바일 디바이스를 사용하여 상기 갱신 이미지를 디스플레이하는 단계를 포함하는
    방법.
  22. 제 21 항에 있어서,
    상기 갱신 이미지의 제 2 부분을 생성하는 단계는 상기 버퍼를 사용하여 상기 렌더링된 이미지의 제 2 부분에 제 1 픽셀 오프셋 조절을 적용하는 것을 포함하는
    방법.
  23. 제 22 항에 있어서,
    상기 렌더링된 이미지의 제 2 부분에 상기 제 1 픽셀 오프셋 조절을 적용하는 것은 상기 렌더링된 이미지의 제 2 부분이 상기 버퍼 내에 저장되는 동안 상기 렌더링된 이미지의 제 2 부분을 전이시키는 것을 포함하는
    방법.
  24. 제 21 항에 있어서,
    상기 갱신 이미지의 제 2 부분을 생성하는 단계는 상기 렌더링된 이미지의 제 2 부분에 제 1 방향으로 제 1 픽셀 오프셋 조절을 적용하는 것과, 상기 렌더링된 이미지의 상기 제 2 부분에 제 2 방향으로 제 2 픽셀 오프셋 조절을 적용하는 것을 포함하는
    방법.
  25. 제 24 항에 있어서,
    상기 갱신 이미지의 제 2 부분을 생성하는 단계는 상기 렌더링된 이미지의 제 2 부분이 상기 버퍼 내에 저장되는 동안 상기 제 1 방향으로의 제 1 픽셀 오프셋 조절 및 상기 제 2 방향으로의 제 2 픽셀 오프셋 조절에 의해 상기 렌더링된 이미지의 제 2 부분을 전이시키는 것을 포함하는
    방법.
  26. 제 24 항에 있어서,
    상기 갱신 이미지의 제 2 부분을 생성하는 단계는 상기 버퍼를 사용하여 상기 제 1 방향으로의 제 1 픽셀 오프셋 조절 및 상기 제 2 방향으로의 제 2 픽셀 오프셋 조절에 의해 상기 렌더링된 이미지의 상기 제 2 부분을 전이시키는 것을 포함하는
    방법.
  27. 제 21 항에 있어서,
    상기 제 1 변환은 제 1 호모그래픽 변환(homographic transformation)을 포함하고,
    상기 제 2 변환은 제 2 호모그래픽 변환을 포함하는
    방법.
  28. 제 21 항에 있어서,
    상기 렌더링된 이미지의 제 1 부분은 상기 렌더링된 이미지의 제 1 컬러 필드와 연관되고, 상기 렌더링된 이미지의 제 2 부분은 상기 렌더링된 이미지의 제 2컬러 필드와 연관되는
    방법.
  29. 제 21 항에 있어서,
    상기 갱신 이미지의 제 2 부분을 생성하는 단계는 상기 갱신 이미지의 제 1 부분이 상기 모바일 디바이스를 사용하여 디스플레이되는 동안 상기 갱신 이미지의 제 2 부분을 생성하는 것을 포함하는
    방법.
  30. 제 21 항에 있어서,
    상기 모바일 디바이스는 머리 장착형 디스플레이 장치를 포함하고,
    상기 버퍼는 상기 머리 장착형 디스플레이 디바이스의 디스플레이 내에 통합되는
    방법.
  31. 전자 디바이스로서,
    렌더링된 이미지를 저장하도록 구성된 버퍼와,
    상기 전자 디바이스의 제 1 예상 자세에 기초하여 상기 렌더링된 이미지의 제 1 부분에 대한 제 1 변환을 결정하고, 상기 전자 디바이스의 상기 제 1 예상 자세와 상이한 제 2 예상 자세에 기초하여 상기 렌더링된 이미지의 제 2 부분에 대한 제 2 변환을 결정하도록 구성된 하나 이상의 프로세서 - 상기 하나 이상의 프로세서는 상기 렌더링된 이미지의 제 1 부분에 대한 상기 제 1 변환의 적용을 통해 갱신 이미지의 제 1 부분을 생성하고 상기 렌더링된 이미지의 제 2 부분이 상기 버퍼 내에 저장되는 동안 상기 렌더링된 이미지의 제 2 부분에 대한 상기 제 2 변환의 적용을 통해 상기 갱신 이미지의 제 2 부분을 생성하도록 구성됨 - 와,
    상기 갱신 이미지를 디스플레이하도록 구성된 시스루 디스플레이(see-through display)를 포함하는
    전자 디바이스.
  32. 제 31 항에 있어서,
    상기 하나 이상의 프로세서는 상기 버퍼를 사용하여 상기 렌더링된 이미지의 제 2 부분에 상기 제 1 픽셀 오프셋 조절을 적용하여 상기 갱신 이미지의 제 2 부분을 생성하도록 구성되는
    전자 디바이스.
  33. 제 31 항에 있어서,
    상기 하나 이상의 프로세서는 상기 렌더링된 이미지의 상기 제 2 부분이 상기 버퍼 내에 저장되는 동안 상기 렌더링된 이미지의 상기 제 2 부분을 전이시키도록 구성되는
    전자 디바이스.
  34. 제 31 항에 있어서,
    상기 하나 이상의 프로세서는, 상기 렌더링된 이미지의 상기 제 2 부분에 상기 제 1 방향으로 제 1 픽셀 오프셋 조절을 적용하고, 상기 렌더링된 이미지의 상기 제 2 부분에 제 2 방향으로 제 2 픽셀 오프셋 조절을 적용하도록 구성되는
    전자 디바이스.
  35. 제 34 항에 있어서,
    상기 하나 이상의 프로세서는, 상기 렌더링된 이미지의 상기 제 2 부분이 상기 버퍼 내에 저장되는 동안 상기 제 1 방향으로의 상기 제 1 픽셀 오프셋 조절 및 상기 제 2 방향으로의 상기 제 2 픽셀 오프셋 조절에 의해 상기 렌더링된 이미지의 제 2 부분을 전이시키도록 구성되는
    전자 디바이스 .
  36. 제 34 항에 있어서,
    상기 하나 이상의 프로세서는, 상기 버퍼를 사용하는 상기 제 1 방향으로의 상기 제 1 픽셀 오프셋 조절 및 상기 제 2 방향으로의 상기 제 2 픽셀 오프셋 조절에 의해 상기 렌더링된 이미지의 상기 제 2 부분을 전이시키도록 구성되는
    전자 디바이스.
  37. 제 31 항에 있어서,
    상기 렌더링된 이미지의 제 1 부분은 상기 렌더링된 이미지의 제 1 컬러 필드와 연관되고 상기 렌더링된 이미지의 제 2 부분은 상기 렌더링된 이미지의 제 2 컬러 필드와 연관되는
    전자 디바이스.
  38. 제 31 항에 있어서,
    상기 하나 이상의 프로세서는 상기 갱신 이미지의 제 1 부분이 상기 디스플레이를 사용하여 디스플레이되는 동안 상기 갱신 이미지의 제 2 부분을 생성하도록 구성되는
    전자 디바이스.
  39. 제 31 항에 있어서,
    상기 전자 디바이스는 머리 장착형 디스플레이 장치를 포함하고,
    상기 버퍼는 상기 머리 장착형 디스플레이 장치의 디스플레이 내에 통합되는
    전자 디바이스.
  40. 머리 장착형 디스플레이 디바이스를 사용하여 이미지를 생성하고 디스플레이하는 방법을 수행하도록 하나 이상의 프로세서를 프로그래밍하는 프로세서 판독가능 코드를 포함하는 하나 이상의 저장 디바이스로서,
    상기 프로세서 판독가능 코드는,
    상기 머리 장착형 디스플레이 디바이스의 디스플레이 내에 통합된 버퍼를 사용하여 렌더링된 이미지를 저장하도록 구성된 프로세서 판독가능 코드와,
    상기 머리 장착형 디스플레이 디바이스의 제 1 예상 자세에 기초하여 상기 렌더링된 이미지의 제 1 부분에 대한 제 1 호모그래픽 변환을 결정하도록 구성된 프로세서 판독가능 코드와,
    상기 머리 장착형 디스플레이 디바이스의 상기 제 1 예상 자세와 상이한 제 2 예상 자세에 기초하여 상기 렌더링된 이미지의 제 2 부분에 대한 제 2 호모그래픽 변환을 결정하도록 구성된 프로세서 판독가능 코드와,
    상기 렌더링된 이미지의 제 1 부분에 대한 상기 제 1 호모그래픽 변환의 적용을 통해 갱신 이미지의 제 1 부분을 생성하도록 구성된 프로세서 판독가능 코드와,
    상기 렌더링된 이미지의 제 2 부분이 상기 버퍼 내에 저장되는 동안 상기 렌더링된 이미지의 제 2 부분에 대한 상기 제 2 호모그래픽 변환의 적용을 통해 상기 갱신 이미지의 제 2 부분을 생성하도록 구성된 프로세서 판독가능 코드와,
    상기 머리 장착형 디스플레이 디바이스의 디스플레이를 사용하여 상기 갱신 이미지를 디스플레이하도록 구성된 프로세서 판독가능 코드를 포함하는
    저장 디바이스.
KR1020217007117A 2013-06-28 2014-06-26 증강 현실 경험을 위한 재투영 oled 디스플레이 KR102373813B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US13/931,554 2013-06-28
US13/931,554 US9443355B2 (en) 2013-06-28 2013-06-28 Reprojection OLED display for augmented reality experiences
KR1020157036589A KR102228279B1 (ko) 2013-06-28 2014-06-26 증강 현실 경험을 위한 재투영 oled 디스플레이
PCT/US2014/044386 WO2014210342A1 (en) 2013-06-28 2014-06-26 Reprojection oled display for augmented reality experiences

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020157036589A Division KR102228279B1 (ko) 2013-06-28 2014-06-26 증강 현실 경험을 위한 재투영 oled 디스플레이

Publications (2)

Publication Number Publication Date
KR20210029851A true KR20210029851A (ko) 2021-03-16
KR102373813B1 KR102373813B1 (ko) 2022-03-11

Family

ID=51257578

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217007117A KR102373813B1 (ko) 2013-06-28 2014-06-26 증강 현실 경험을 위한 재투영 oled 디스플레이
KR1020157036589A KR102228279B1 (ko) 2013-06-28 2014-06-26 증강 현실 경험을 위한 재투영 oled 디스플레이

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020157036589A KR102228279B1 (ko) 2013-06-28 2014-06-26 증강 현실 경험을 위한 재투영 oled 디스플레이

Country Status (5)

Country Link
US (3) US9443355B2 (ko)
EP (1) EP3014583B1 (ko)
KR (2) KR102373813B1 (ko)
CN (1) CN105393283B (ko)
WO (1) WO2014210342A1 (ko)

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009049073A1 (de) * 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
JP2015532077A (ja) 2012-09-27 2015-11-05 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングｍｅｔａｉｏ ＧｍｂＨ 少なくとも１つの画像を撮影する撮影装置に関連する装置の位置及び方向の決定方法
US9443355B2 (en) * 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
US9514571B2 (en) 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像系统及方法
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
CN103558909B (zh) * 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
JP6353214B2 (ja) 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
KR20150057600A (ko) * 2013-11-20 2015-05-28 한국전자통신연구원 증강 현실을 위한 시준화된 디스플레이 장치 및 그 방법
CN105593924B (zh) * 2013-12-25 2019-06-07 索尼公司 图像处理装置、图像处理方法、计算机程序以及图像显示系统
WO2016077506A1 (en) 2014-11-11 2016-05-19 Bent Image Lab, Llc Accurate positioning of augmented reality content
US9824498B2 (en) * 2014-12-30 2017-11-21 Sony Interactive Entertainment Inc. Scanning display system in head-mounted display for virtual reality
GB2534847A (en) * 2015-01-28 2016-08-10 Sony Computer Entertainment Europe Ltd Display
US20160259404A1 (en) 2015-03-05 2016-09-08 Magic Leap, Inc. Systems and methods for augmented reality
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US9779554B2 (en) 2015-04-10 2017-10-03 Sony Interactive Entertainment Inc. Filtering and parental control methods for restricting visual activity on a head mounted display
DE102015207354A1 (de) * 2015-04-22 2016-10-27 Bayerische Motoren Werke Aktiengesellschaft Anwenderschnittstelle, Fortbewegungsmittel, medizintechnische Vorrichtung und Verfahren zur Anzeige eines Hinweises für einen Anwender
KR102501752B1 (ko) 2015-09-21 2023-02-20 삼성전자주식회사 헤드 마운트 디스플레이의 움직임을 보상하는 방법 및 이를 위한 장치
KR20180057693A (ko) 2015-09-24 2018-05-30 토비 에이비 눈 추적 가능한 웨어러블 디바이스들
US10565446B2 (en) * 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
US10600249B2 (en) 2015-10-16 2020-03-24 Youar Inc. Augmented reality platform
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US9928648B2 (en) 2015-11-09 2018-03-27 Microsoft Technology Licensing, Llc Object path identification for navigating objects in scene-aware device environments
CN108604383A (zh) 2015-12-04 2018-09-28 奇跃公司 重新定位系统和方法
CN105469004A (zh) * 2015-12-31 2016-04-06 上海小蚁科技有限公司 一种显示装置和显示方法
US9978180B2 (en) * 2016-01-25 2018-05-22 Microsoft Technology Licensing, Llc Frame projection for augmented reality environments
WO2017139034A1 (en) * 2016-02-09 2017-08-17 Google Inc. Pixel adjusting at display controller for electronic display stabilization
US10089725B2 (en) * 2016-02-09 2018-10-02 Google Llc Electronic display stabilization at a graphics processing unit
US10120187B2 (en) * 2016-02-18 2018-11-06 Nvidia Corporation Sub-frame scanout for latency reduction in virtual reality applications
CN108885342B (zh) * 2016-03-15 2021-06-04 奇跃公司 虚拟图像生成系统及其操作方法
WO2017165705A1 (en) 2016-03-23 2017-09-28 Bent Image Lab, Llc Augmented reality for the internet of things
CN108463765A (zh) * 2016-04-08 2018-08-28 谷歌有限责任公司 基于姿势信息在头戴式显示装置处编码图像数据
EP3465631B1 (en) * 2016-06-07 2020-07-08 Koninklijke KPN N.V. Capturing and rendering information involving a virtual environment
US10114454B2 (en) 2016-06-22 2018-10-30 Microsoft Technology Licensing, Llc Velocity and depth aware reprojection
US10237531B2 (en) 2016-06-22 2019-03-19 Microsoft Technology Licensing, Llc Discontinuity-aware reprojection
US10129523B2 (en) * 2016-06-22 2018-11-13 Microsoft Technology Licensing, Llc Depth-aware reprojection
EP3494549A4 (en) * 2016-08-02 2019-08-14 Magic Leap, Inc. SYSTEMS AND METHODS FOR FIXED AND INCREASED DISTANCE VIRTUAL REALITY
JP6880174B2 (ja) * 2016-08-22 2021-06-02 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想現実、拡張現実、および複合現実システムおよび方法
CN117453038A (zh) 2016-08-26 2024-01-26 奇跃公司 用于虚拟及增强现实显示的连续时间扭曲及双目时间扭曲系统和方法
US10158834B2 (en) * 2016-08-30 2018-12-18 Hand Held Products, Inc. Corrected projection perspective distortion
JP2018055589A (ja) * 2016-09-30 2018-04-05 セイコーエプソン株式会社 プログラム、物体の追跡方法、表示装置
US10055891B2 (en) * 2016-10-07 2018-08-21 Bank Of America Corporation System for prediction of future circumstances and generation of real-time interactive virtual reality user experience
KR102277438B1 (ko) 2016-10-21 2021-07-14 삼성전자주식회사 단말 장치들 간의 멀티미디어 통신에 있어서, 오디오 신호를 송신하고 수신된 오디오 신호를 출력하는 방법 및 이를 수행하는 단말 장치
US10482648B2 (en) * 2016-12-13 2019-11-19 Qualcomm Incorporated Scene-based foveated rendering of graphics content
US10338704B2 (en) * 2017-01-05 2019-07-02 Microsoft Technology Licensing, Llc Mitigating display noise for touch and pen sensing
KR20180082658A (ko) 2017-01-09 2018-07-19 삼성디스플레이 주식회사 헤드 마운트 디스플레이 장치 및 헤드 마운트 표시 장치의 영상 보정 방법
DE102017200325A1 (de) * 2017-01-11 2018-07-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
US9978118B1 (en) 2017-01-25 2018-05-22 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with data compression
US10242654B2 (en) 2017-01-25 2019-03-26 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations
US10394313B2 (en) 2017-03-15 2019-08-27 Microsoft Technology Licensing, Llc Low latency cross adapter VR presentation
AU2018233733B2 (en) 2017-03-17 2021-11-11 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
KR102366781B1 (ko) * 2017-03-17 2022-02-22 매직 립, 인코포레이티드 컬러 가상 콘텐츠 와핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
EP3596703A4 (en) 2017-03-17 2020-01-22 Magic Leap, Inc. VIRTUAL CONTENT DEFORMATION MIXED REALITY SYSTEM AND VIRTUAL CONTENT GENERATION METHOD USING THE SAME
US10546365B2 (en) 2017-03-27 2020-01-28 Advanced Micro Devices, Inc. Single pass flexible screen/scale rasterization
US10514753B2 (en) 2017-03-27 2019-12-24 Microsoft Technology Licensing, Llc Selectively applying reprojection processing to multi-layer scenes for optimizing late stage reprojection power
US10410349B2 (en) 2017-03-27 2019-09-10 Microsoft Technology Licensing, Llc Selective application of reprojection processing on layer sub-regions for optimizing late stage reprojection power
US20180292896A1 (en) * 2017-04-06 2018-10-11 Intel Corporation Head-mounted display device
WO2018190826A1 (en) 2017-04-12 2018-10-18 Hewlett-Packard Development Company, L.P. Transfer to head mounted display
US10255891B2 (en) * 2017-04-12 2019-04-09 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with multiple LSR processing engines
US10939038B2 (en) * 2017-04-24 2021-03-02 Intel Corporation Object pre-encoding for 360-degree view for optimal quality and latency
GB2555501B (en) * 2017-05-04 2019-08-28 Sony Interactive Entertainment Europe Ltd Head mounted display and method
CN107222689B (zh) * 2017-05-18 2020-07-03 歌尔科技有限公司 基于vr镜头的实景切换方法及装置
IL253432A0 (en) 2017-07-11 2017-09-28 Elbit Systems Ltd System and method for correcting a rolling display effect
US10360832B2 (en) 2017-08-14 2019-07-23 Microsoft Technology Licensing, Llc Post-rendering image transformation using parallel image transformation pipelines
CN111465887A (zh) 2017-10-11 2020-07-28 奇跃公司 包括具有透明发射显示器的目镜的增强现实显示器
JP6711803B2 (ja) * 2017-10-13 2020-06-17 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
JP2021509214A (ja) 2017-12-18 2021-03-18 エーエルティー リミティッド ライアビリティ カンパニー 移動可能オブジェクトを光学的慣性追跡するための方法及びシステム
US10373391B1 (en) * 2018-04-23 2019-08-06 AbdurRahman Bin Shahzad Bhatti Augmented reality system for fitness
GB2575097B (en) * 2018-06-29 2023-01-18 Advanced Risc Mach Ltd Data processing systems
US10520739B1 (en) * 2018-07-11 2019-12-31 Valve Corporation Dynamic panel masking
CN117711284A (zh) * 2018-07-23 2024-03-15 奇跃公司 场顺序显示器中的场内子码时序
EP3827299A4 (en) 2018-07-23 2021-10-27 Magic Leap, Inc. SYSTEM OF MIXED REALITY WITH VIRTUAL CONTENT DISTORTION AND PROCESS FOR GENERATING VIRTUAL CONTENT WITH IT
WO2020028872A1 (en) 2018-08-03 2020-02-06 Magic Leap, Inc. Method and system for subgrid calibration of a display device
CN110852143B (zh) * 2018-08-21 2024-04-09 元平台公司 在增强现实环境中的交互式文本效果
US11353952B2 (en) 2018-11-26 2022-06-07 Tobii Ab Controlling illuminators for optimal glints
US10802287B2 (en) * 2019-01-14 2020-10-13 Valve Corporation Dynamic render time targeting based on eye tracking
US10776993B1 (en) * 2019-02-27 2020-09-15 Snap Inc. Continuous device pose representation in AR/VR displays
CN110244473A (zh) * 2019-05-06 2019-09-17 华为技术有限公司 一种显示装置及眼镜
FR3098629B1 (fr) * 2019-07-12 2021-08-13 Aledia Système de visualisation d’images et procédé de commande
US11468627B1 (en) * 2019-11-08 2022-10-11 Apple Inc. View dependent content updated rates
CN110969706B (zh) * 2019-12-02 2023-10-10 Oppo广东移动通信有限公司 增强现实设备及其图像处理方法、系统以及存储介质
KR20210106797A (ko) * 2020-02-21 2021-08-31 삼성전자주식회사 엣지 컴퓨팅 서비스를 이용한 오브젝트 렌더링 방법 및 장치
US11107290B1 (en) 2020-02-27 2021-08-31 Samsung Electronics Company, Ltd. Depth map re-projection on user electronic devices
US11099396B2 (en) 2020-04-10 2021-08-24 Samsung Electronics Company, Ltd. Depth map re-projection based on image and pose changes
US11688073B2 (en) 2020-04-14 2023-06-27 Samsung Electronics Co., Ltd. Method and system for depth map reconstruction
US11263729B2 (en) * 2020-05-26 2022-03-01 Microsoft Technology Licensing, Llc Reprojection and wobulation at head-mounted display device
CN111562668A (zh) * 2020-06-08 2020-08-21 昆山梦显电子科技有限公司 一种微显示装置及其制备方法
CN111783986A (zh) * 2020-07-02 2020-10-16 清华大学 网络训练方法及装置、姿态预测方法及装置
CN114527864B (zh) * 2020-11-19 2024-03-15 京东方科技集团股份有限公司 增强现实文字显示系统、方法、设备及介质
CN112489224A (zh) * 2020-11-26 2021-03-12 北京字跳网络技术有限公司 图像绘制方法、装置、可读介质及电子设备
EP4272054A1 (en) * 2020-12-30 2023-11-08 Snap Inc. Motion-to-photon latency augmented reality systems
US11615594B2 (en) 2021-01-21 2023-03-28 Samsung Electronics Co., Ltd. Systems and methods for reconstruction of dense depth maps
US20220310037A1 (en) * 2021-03-26 2022-09-29 Lightspace Technologies, SIA Method and system for reducing motion-to-photon latency in head-mounted display system
US11972592B2 (en) 2021-04-06 2024-04-30 Innovega, Inc. Automated eyewear frame design through image capture
CN113628311B (zh) * 2021-07-30 2022-12-09 北京百度网讯科技有限公司 图像渲染方法、图像渲染装置、电子设备以及存储介质
US20230215075A1 (en) * 2022-01-01 2023-07-06 Samsung Electronics Co., Ltd. Deferred rendering on extended reality (xr) devices

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100085297A (ko) * 2009-01-20 2010-07-29 삼성전자주식회사 이동 가능한 디스플레이 장치와 이를 구비한 로봇 및 그 디스플레이 방법
KR20110107691A (ko) * 2010-03-25 2011-10-04 동서대학교산학협력단 공간 증강 현실 기반 인터랙티브 디스플레이 방법

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6408402B1 (en) * 1994-03-22 2002-06-18 Hyperchip Inc. Efficient direct replacement cell fault tolerant architecture
EP1046994A3 (en) 1994-03-22 2000-12-06 Hyperchip Inc. Efficient direct cell replacement fault tolerant architecture supporting completely integrated systems with means for direct communication with system operator
US5684498A (en) 1995-06-26 1997-11-04 Cae Electronics Ltd. Field sequential color head mounted display with suppressed color break-up
US5945972A (en) * 1995-11-30 1999-08-31 Kabushiki Kaisha Toshiba Display device
JP3956337B2 (ja) * 2001-03-16 2007-08-08 オリンパス株式会社 面順次カラー表示装置
US7428001B2 (en) 2002-03-15 2008-09-23 University Of Washington Materials and methods for simulating focal shifts in viewers using large depth of focus displays
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
WO2006012678A1 (en) 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Walk-up printing
US20060078215A1 (en) * 2004-10-12 2006-04-13 Eastman Kodak Company Image processing based on direction of gravity
US20070273926A1 (en) * 2006-05-25 2007-11-29 Matsushita Electric Industrial Co., Ltd. Device and method for switching between image data objects
US8212859B2 (en) 2006-10-13 2012-07-03 Apple Inc. Peripheral treatment for head-mounted displays
JP4857196B2 (ja) 2007-05-31 2012-01-18 キヤノン株式会社 頭部装着型表示装置、及びその制御方法
FR2933218B1 (fr) * 2008-06-30 2011-02-11 Total Immersion Procede et dispositif permettant de detecter en temps reel des interactions entre un utilisateur et une scene de realite augmentee
JP5047090B2 (ja) * 2008-07-31 2012-10-10 キヤノン株式会社 システム
EP2313847A4 (en) * 2008-08-19 2015-12-09 Digimarc Corp METHODS AND SYSTEMS FOR PROCESSING CONTENT
US20100045701A1 (en) 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
FR2951565B1 (fr) * 2009-10-20 2016-01-01 Total Immersion Procede, programme d'ordinateur et dispositif de suivi hybride de representations d'objets, en temps reel, dans une sequence d'images
CN101958007B (zh) * 2010-09-20 2012-05-23 南京大学 一种采用草绘的三维动画姿态建模方法
WO2012040099A1 (en) 2010-09-20 2012-03-29 Qualcomm Incorporated An adaptable framework for cloud assisted augmented reality
MY164768A (en) * 2010-10-25 2018-01-30 Lockheed Corp Estimating position and orientation of an underwater vehicle based on correlated sensor data
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US9262950B2 (en) 2011-04-20 2016-02-16 Microsoft Technology Licensing, Llc Augmented reality extrapolation techniques
CN102305635B (zh) * 2011-08-08 2013-12-25 东南大学 一种光纤捷联罗经系统的对准方法
US9268406B2 (en) 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
CN104025116B (zh) * 2011-11-04 2017-08-08 得利捷Ip科技有限公司 图像采集方法
US20150170418A1 (en) * 2012-01-18 2015-06-18 Google Inc. Method to Provide Entry Into a Virtual Map Space Using a Mobile Device's Camera
US9443355B2 (en) * 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
US9514571B2 (en) 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100085297A (ko) * 2009-01-20 2010-07-29 삼성전자주식회사 이동 가능한 디스플레이 장치와 이를 구비한 로봇 및 그 디스플레이 방법
KR20110107691A (ko) * 2010-03-25 2011-10-04 동서대학교산학협력단 공간 증강 현실 기반 인터랙티브 디스플레이 방법

Also Published As

Publication number Publication date
WO2014210342A1 (en) 2014-12-31
US9443355B2 (en) 2016-09-13
KR102228279B1 (ko) 2021-03-15
US9892565B2 (en) 2018-02-13
KR102373813B1 (ko) 2022-03-11
US20160335806A1 (en) 2016-11-17
US20150002542A1 (en) 2015-01-01
CN105393283B (zh) 2018-11-27
EP3014583B1 (en) 2018-06-13
KR20160026898A (ko) 2016-03-09
US9721395B2 (en) 2017-08-01
EP3014583A1 (en) 2016-05-04
CN105393283A (zh) 2016-03-09
US20170345217A1 (en) 2017-11-30

Similar Documents

Publication Publication Date Title
KR102228279B1 (ko) 증강 현실 경험을 위한 재투영 oled 디스플레이
KR102234819B1 (ko) 후기 단계 재투사
US10078367B2 (en) Stabilization plane determination based on gaze location
CN108431739B (zh) 用于增强现实环境的帧投影
US11533489B2 (en) Reprojecting holographic video to enhance streaming bandwidth/quality
CN110199267B (zh) 利用数据压缩进行实时图像转换的无缺失的高速缓存结构

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant