KR102302102B1 - 후기 단계 재투사 - Google Patents

후기 단계 재투사 Download PDF

Info

Publication number
KR102302102B1
KR102302102B1 KR1020217008996A KR20217008996A KR102302102B1 KR 102302102 B1 KR102302102 B1 KR 102302102B1 KR 1020217008996 A KR1020217008996 A KR 1020217008996A KR 20217008996 A KR20217008996 A KR 20217008996A KR 102302102 B1 KR102302102 B1 KR 102302102B1
Authority
KR
South Korea
Prior art keywords
image
display
pose
rendered image
pixel
Prior art date
Application number
KR1020217008996A
Other languages
English (en)
Other versions
KR20210036424A (ko
Inventor
올리버 마이클 크리스티안 윌리암스
폴 바햄
마이클 이사드
투안 웡
케빈 우
조그 클레인
더글라스 케빈 서비스
아쉬라프 아이만 미카일
앤드류 피어슨
마틴 셰터
제프리 니일 마골리스
네이선 애커먼
캘빈 찬
아서 씨. 톰린
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20210036424A publication Critical patent/KR20210036424A/ko
Application granted granted Critical
Publication of KR102302102B1 publication Critical patent/KR102302102B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/20—Linear translation of a whole image or part thereof, e.g. panning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/04—Structural and physical details of display devices

Abstract

렌더링 프레임 레이트보다 더 높은 프레임 레이트에서, 하나 이상의 가상 오브젝트와 연관되는 이미지를 증강 현실 환경 내에서 생성하고 디스플레이하기 위한 방법이 설명된다. 렌더링 프레임 레이트는, 헤드 마운트형 디스플레이 디바이스(HMD)의 포즈(pose)와 연관되는 이미지를 렌더링하기 위한 최소 시간과 대응할 수도 있다. 몇몇 실시형태에서, HMD는 HMD의 미래의 포지션 및 방위와 연관되는 예측 포즈를 결정하고, 예측 포즈에 기초하여 사전 렌더링된 이미지를 생성하고, 사전 렌더링된 이미지를 생성하는 것에 후속하여 HMD와 연관되는 업데이트 포즈를 결정하고, 업데이트 포즈 및 사전 렌더링된 이미지에 기초하여 업데이트 이미지를 생성하고, 그리고 업데이트 이미지를 HMD 상에 디스플레이할 수도 있다. 업데이트 이미지는, 사전 렌더링된 이미지의 호모그래픽 변환 및/또는 픽셀 오프셋 조정을 통해 생성될 수도 있다.

Description

후기 단계 재투사{LATE STAGE REPROJECTION}
증강 현실(augmented reality; AR)은, 컴퓨터 생성 가상 데이터(computer-generated virtual data)를 이용하여 현실 세계 환경(real-world environment)(또는 현실 세계 환경을 나타내는 데이터)의 인식(perception)이 증강되거나 수정되는 증강된 현실 세계 환경을 제공하는 것에 연관된다. 예를 들면, 현실 세계 환경을 나타내는 데이터는, 카메라 또는 마이크와 같은 센서류(sensory) 입력 디바이스를 사용하여 현실 세계 환경에서 캡쳐되고, 가상 이미지 및 가상 사운드를 포함하는 컴퓨터 생성 가상 데이터를 이용하여 증강될 수도 있다. 가상 데이터는 또한, 현실 세계 환경에 연관되는 정보 예컨대 현실 세계 환경에서의 현실 세계 오브젝트와 연관되는 텍스트 설명을 포함할 수도 있다. AR 환경 내에서의 오브젝트는 실제 오브젝트(즉, 특정한 현실 세계 환경 내에서 존재하는 오브젝트) 및 가상 오브젝트(즉, 특정한 현실 세계 환경 내에서 존재하지 않는 오브젝트)를 포함할 수도 있다.
가상 오브젝트를 AR 환경에 현실적으로 통합하기 위해, AR 시스템은 매핑 및 로컬라이제이션(localization)을 포함하는 여러 작업을 통상적으로 수행한다. 매핑은 현실 세계 환경의 맵을 생성하는 프로세스에 연관이 있다. 로컬라이제이션은, 현실 세계 환경의 맵에 관한 특정한 시점(point of view) 또는 포즈의 위치를 결정하는 프로세스에 연관이 있다. 몇몇 경우에서, 현실 세계 환경 내에서 모바일 디바이스가 이동할 때 증강될 필요가 있는 모바일 디바이스와 연관되는 특정 뷰를 결정하기 위해, AR 시스템은 현실 세계 환경 내에서 이동하고 있는 모바일 디바이스의 포즈를 실시간으로 로컬라이징할 수도 있다.
AR 환경은 전자 디스플레이(헤드 마운트형 디스플레이 디바이스(head-mounted display device)와 통합되는 LED 디스플레이)를 사용하여 모바일 디바이스의 엔드 유저에게 제공될 수도 있다. 전자 디스플레이는, 전자 디스플레이(예를 들면, 실리콘 액정 디스플레이(liquid crystal on silicon display))로 제공되는 광을 변조하는 것에 의해 또는 전자 디스플레이(예를 들면, OLED 디스플레이) 내에서 광을 발생시키는 것에 의해 엔드 유저에게 가상 오브젝트의 이미지를 디스플레이할 수도 있다. OLED, 또는 유기 발광 다이오드는, 방출성 전계발광 층(emissive electroluminescent layer)이 유기 필름을 포함하는 LED이다. OLED 디스플레이는 수동 매트릭스 OLED 디스플레이 또는 능동 매트릭스 OLED 디스플레이를 포함할 수도 있다. 능동 매트릭스 OLED 디스플레이는, 픽셀마다 생성되는 광의 양을 제어하기 위한, 각각의 OLED 픽셀 내의 하나 이상의 박막 트랜지스터(thin-film transistor; TFT)를 사용한다. 일 예에서, 각각의 OLED 픽셀은, OLED를 구동하기 위한 제1 TFT 및 제1 TFT를 제어하기 위한 데이터를 래치하기 위한 제2 TFT를 포함할 수도 있다. TFT는 폴리실리콘 TFT 또는 비정질 실리콘 TFT를 포함할 수도 있다. 몇몇 경우에서, OLED 디스플레이는, 적색, 녹색, 및 청색을 방출하는 서브 픽셀의 그룹을 포함할 수도 있다(즉, OLED 픽셀의 각각은 적색광, 녹색광, 및 청색광을 생성하기 위한 복수의 LED를 포함할 수도 있다). OLED 디스플레이는 시안, 옐로우, 마젠타, 및 화이트를 방출하는 서브 픽셀의 그룹을 또한 포함할 수도 있다.
렌더링 프레임 레이트보다 더 높은 프레임 레이트에서, 하나 이상의 가상 오브젝트와 연관되는 이미지를 증강 현실(AR) 환경 내에서 생성하고 투사하기 위한 기술이 설명된다. 렌더링 프레임 레이트는, 헤드 마운트형 디스플레이 디바이스(head-mounted display device; HMD)의 특정 포즈(pose)와 연관되는 이미지를 렌더링하기 위한 최소 시간과 대응할 수도 있다. 몇몇 실시형태에서, HMD는 HMD의 미래의 포지션(position) 및 방위(orientation)와 연관되는 예측 포즈(예를 들면, 8ms 또는 16ms 미래의 HMD의 예측 포즈)를 결정하고, 예측 포즈에 기초하여 사전 렌더링된 이미지(pre-rendered image)를 생성하고, 사전 렌더링된 이미지를 생성하는 것에 후속하여 HMD와 연관되는 업데이트 포즈(updated pose)를 결정하고, 업데이트 포즈 및 사전 렌더링된 이미지에 기초하여 업데이트 이미지를 생성하고, 그리고 업데이트 이미지를 HMD 상에 디스플레이할 수도 있다. 업데이트 이미지는, 사전 렌더링된 이미지의 호모그래픽 변환(homographic transformation) 및/또는 픽셀 오프셋 조정(pixel offset adjustment)을 통해 생성될 수도 있다.
이 개요는 하기의 상세한 설명에서 더 설명되는 개념의 선택을 간소화된 형태로 소개하기 위해 제공된다. 이 개요는 청구되는 주제의 주요한 특징 또는 본질적인 특징을 식별하도록 의도된 것도 아니고, 청구된 주제의 범위를 결정함에 있어서 보조로서 사용되도록 의도된 것도 아니다.
도 1은, 개시된 기술이 실시될 수 있는 네트워크화된 컴퓨팅 환경의 일 실시형태의 블록도이다.
도 2a는 제2 모바일 디바이스와 통신하는 모바일 디바이스의 일 실시형태를 묘사한다.
도 2b는 HMD의 일부의 일 실시형태를 묘사한다.
도 3a는, 코어 렌더링 파이프라인에 대한 렌더링 프레임 레이트보다 더 높은 프레임 레이트에서, 가상 오브젝트와 연관되는 이미지를 생성하고 디스플레이하기 위한 시스템의 일 실시형태를 묘사한다.
도 3b는 디스플레이의 일 실시형태를 묘사한다.
도 3c는 디스플레이의 대안적인 실시형태를 묘사한다.
도 4a는, 사전 렌더링된 이미지 및 사전 렌더링된 이미지에 기초한 업데이트 이미지의 일부의 일 실시형태를 묘사한다.
도 4b는 사전 렌더링된 이미지 및 업데이트 이미지(또는 타겟 이미지)를 생성하기 위해 사용되는 샘플링 영역의 일 실시형태를 묘사한다.
도 4c는 사전 렌더링된 이미지 및 사전 렌더링된 이미지에 대한 롤링 버퍼(rolling buffer)의 적용의 일 실시형태를 묘사한다.
도 5a는 업데이트 이미지를 생성하기 위해 렌더링된 이미지에 대해 후기 단계 그래픽 조정(late stage graphical adjustment)을 적용하는 일 실시형태를 묘사한다.
도 5b는 디스플레이와 연관되는 디스플레이 시퀀스의 일 실시형태를 묘사한다.
도 5c는 디스플레이와 연관되는 디스플레이 시퀀스의 대안적인 실시형태를 묘사한다.
도 6a는, 렌더링 프레임 레이트보다 더 높은 프레임 레이트에서, 가상 오브젝트와 연관되는 이미지를 생성하고 디스플레이하기 위한 방법의 일 실시형태를 설명하는 플로우차트이다.
도 6b는, 디스플레이와 통합되는 회로류(circuitry)를 사용하여 디스플레이에 제공되는 렌더링된 이미지에 대해 그래픽적 조정을 행하기 위한 방법의 일 실시형태를 설명하는 플로우차트이다.
도 7a는, 렌더링 프레임 레이트보다 더 높은 프레임 레이트에서, 가상 오브젝트와 연관되는 이미지를 생성하고 디스플레이하기 위한 방법의 대안적인 실시형태를 설명하는 플로우차트이다.
도 7b는 렌더링된 이미지를 생성하기 위한 프로세스의 일 실시형태를 설명하는 플로우차트이다.
도 8은 모바일 디바이스의 일 실시형태의 블록도이다.
렌더링 프레임 레이트보다 더 높은 프레임 레이트에서, 하나 이상의 가상 오브젝트와 연관되는 이미지를 증강 현실(AR) 환경 내에서 생성하고 투사하기 위한 그리고 가상 오브젝트 안정성을 향상시키기 위한 기술이 설명된다. 디스플레이된 이미지(displayed image)는, 더 높은 주파수의 포즈 추정을 통합시키기 위해, 사전 렌더링 장면(즉, 렌더링 프레임 레이트에서 렌더링되는 미리 예측된 장면)의 후기 단계 그래픽 조정을 포함할 수도 있다. 렌더링 프레임 레이트는, 헤드 마운트형 디스플레이 디바이스(HMD)의 포즈(pose)와 연관되는 이미지를 렌더링하기 위한 최소 시간과 대응할 수도 있다. 몇몇 실시형태에서, HMD는 HMD의 미래의 포지션 및 방위와 연관되는 예측 포즈(예를 들면, 10ms 또는 20ms 미래의 HMD의 예측 포즈)를 결정하고, 예측 포즈에 기초하여 사전 렌더링된 이미지를 생성하고, 사전 렌더링된 이미지를 생성하는 것에 후속하여 또는 사전 렌더링된 이미지가 생성되는 것과 동시에 HMD와 연관되는 업데이트 포즈를 결정하고, 업데이트 포즈 및 사전 렌더링된 이미지에 기초하여 업데이트 이미지를 생성하고, 그리고 업데이트 이미지를 HMD 상에 디스플레이할 수도 있다. 업데이트 이미지는, 사전 렌더링된 이미지의 호모그래픽 변환 및/또는 픽셀 오프셋 조정을 통해 생성될 수도 있다. 몇몇 경우에서, 업데이트 이미지는 디스플레이 내의 회로류에 의해 생성될 수도 있다.
몇몇 실시형태에서, 예측 포즈는 예측 포즈를 결정하기 직전의 HMD의 현재의 포지션 및 방위와 HMD의 가속도 및 속도에 기초하여 (예를 들면, 예측 포즈를 결정하기 5ms 또는 10ms 이전의 HMD의 움직임에 기초하여 예측 포즈를 외삽하는(extrapolating) 것에 의해) 결정될 수도 있다. 업데이트 포즈는, 렌더링 프레임 레이트보다 더 높은 주파수에서 포즈 추적기(pose tracker)로 제공되는 업데이트 포즈 정보에 기초하여 결정될 수도 있다. 일 예에서, 업데이트 포즈 정보는 낮은 레이턴시의 관성 측정 유닛(inertial measurement unit; IMU) 또는 IMU와 카메라 기반의 포즈 추적의 조합을 사용하여 생성될 수도 있다. 업데이트 이미지는, 예측 포즈와 업데이트 포즈 사이의 차이를 보정하기 위해(예를 들면, 사전 렌더링된 이미지를 생성할 때 부정확한 포즈 예측을 보상하기 위해), 사전 렌더링된 이미지의 적어도 일부의 이미지 회전, 병진, 리사이징(예를 들면, 확대 또는 축소), 시프팅, 또는 틸팅을 포함할 수도 있다. 업데이트 이미지는 사전 렌더링된 이미지의 호모그래픽 변환을 통해 생성될 수도 있다. 몇몇 경우에, 호모그래픽 변환은 아핀 변환(affine transformation)을 포함할 수도 있다. 업데이트 이미지는, 픽셀 오프셋 조정 또는 호모그래픽 변환과 픽셀 오프셋 조정의 조합을 사용하여 생성될 수도 있다. 몇몇 경우에서, 호모그래픽 변환 및/또는 픽셀 오프셋 조정은, (예를 들면, 디스플레이와 통합되는 컨트롤러 또는 프로세서를 사용하여) 코어 렌더링 파이프라인으로부터 하향식으로(downstream) 생성될 수도 있다. 일 실시형태에서, 픽셀 오프셋 조정은, (예를 들면, 전하 결합 소자(charge-coupled device)의 동작과 유사한) 디스플레이의 픽셀 어레이 내에서의 픽셀 값의 시프팅을 허용하기 위한 시프트 레지스터 또는 다른 회로류를 통합하는 디스플레이를 사용하여 수행될 수도 있다.
몇몇 실시형태에서, 미리 예측된 렌더링된 이미지(forward predicted rendered image)의 후기 단계 그래픽 조정을 포함하는 업데이트 이미지는, 다양한 계산적 복잡도를 갖는 다양한 이미지 재투사(reprojection) 기술을 사용하여 생성될 수도 있다. 이미지 재투사 기술은, 픽셀 단위 재투사(per pixel reprojection)(예를 들면, 렌더링된 이미지의 각각의 픽셀이 업데이트 포즈에 기초하여 재투사되는 경우), 다중 평면 호모그래피(예를 들면, 복합 업데이트 이미지를 생성하기 위해, 3D 장면 내의 다수의 평면과 연관되는 다수의 렌더링된 이미지가 사용되는 경우), 단일 평면 호모그래피(예를 들면, 업데이트 이미지를 생성하기 위해, 3D 장면 내의 단일의 평면과 연관되는 단일의 렌더링된 이미지가 사용되는 경우), 아핀 호모그래피, 및 픽셀 오프셋 기반의 조정을 포함할 수도 있다. 3D 장면 내의 2D 평면(또는 하나 이상의 2D 평면의 세트)은, HMD의 엔드 유저가 시간의 특정 기간 내에서 어떤 오브젝트에 초점을 맞추고 있는지에 기초하여 결정될 수도 있다. 일 예에서, 시간의 특정한 기간 내에서(예를 들면, 이전 50ms 또는 500ms 내에서) 가장 빈번하게 보여진(viewed) 가상 오브젝트를 결정하기 위해, 눈 추적이 사용될 수도 있다. 단일 평면의 경우, 그 단일 평면은 시간의 특정한 기간 내에서 가장 빈번하게 보여진 가상 오브젝트의 깊이에 기초하여 선택될 수도 있다(즉, 단일 평면은 증강 현실 환경 내에서 가장 빈번하게 보여진 가상 오브젝트의 로케이션(location)에 기초하여 설정될 수도 있다). 다수의 평면의 경우, 증강 현실 환경 내의 가상 오브젝트는 다수의 평면에 대한 근접도에 기초하여 복수의 그룹으로 분할될 수도 있다; 예를 들면, 근접 평면(near plane)이 제1 가상 오브젝트에 대해 가장 가까운 평면이면 제1 가상 오브젝트는 근접 평면에 매핑될 수도 있고 먼 평면(far plane)이 제2 가상 오브젝트에 대해 가장 가까운 평면이면 제2 가상 오브젝트는 먼 평면에 매핑될 수도 있다. 그 다음, 근접 평면에 기초한 제1 가상 오브젝트를 포함하는 제1 렌더링된 이미지가 생성될 수도 있고 먼 평면에 기초한 제2 가상 오브젝트를 포함하는 제2 렌더링된 이미지가 생성될 수도 있다.
몇몇 실시형태에서, 더 높은 주파수의 포즈 추정을 통합하기 위해, 사전 렌더링된 이미지의 상이한 부분에 대해 상이한 그래픽 조정이 수행될 수도 있다. 일 예에서, 사전 렌더링된 이미지의 제1 부분(사전 렌더링된 이미지의 상부 부분)에 대해, 시간의 제1 지점에서의 HMD의 제1 포즈와 연관되는 제1 호모그래픽 변환이 적용될 수도 있고, 제1 부분과는 상이한 사전 렌더링된 이미지의 제2 부분(예를 들면, 사전 렌더링된 이미지의 하부 부분)에 대해, 시간의 제1 지점에 후속하는 시간의 제2 지점에서의 HMD의 제2 포즈와 연관되는 제2 호모그래픽 변환이 적용될 수도 있다. 주사 디스플레이(scanning display) 또는 순차식 주사 디스플레이(progressive scanning display)의 경우, 제1 호모그래픽 변환은 제1 세트의 주사 라인과 연관되는 픽셀에 적용될 수도 있고 제2 호모그래픽 변환은 제1 세트의 주사 라인과는 상이한 제2 세트의 주사 라인과 연관되는 픽셀에 적용될 수도 있다. 일 실시형태, 제1 호모그래픽 변환은 단일의 제1 주사 라인에 적용될 수도 있고 제2 호모그래픽 변환은 단일의 제2 주사 라인에 적용될 수도 있다(즉, 호모그래픽 변환은 주사 라인 단위 기반으로 적용될 수도 있다).
현실성 있는 증강 현실 환경을 생성하는 것과 연관되는 한 이슈는, HMD의 특정 포즈에 대응하는 세상 고정식 가상 오브젝트(world-locked virtual object)의 이미지가 HMD의 엔드 유저에게 디스플레이되는 레이턴시 또는 시간의 양과 연관된다. 예를 들면, 엔드 유저의 머리가 특정 포즈로부터 돌아간 시간과 특정 포즈에 기초하여 가상 오브젝트의 이미지가 디스플레이되는 시간 사이에 너무 많은 시간이 경과하면, 가상 오브젝트는 증강 현실 환경 내에서의 자신의 의도된 로케이션으로부터 떨어져 부유하는 것처럼 보일 것이다(즉, 이미지가 의도된 실세계 로케이션 또는 오브젝트와 정렬되는 것으로 보이지 않을 수도 있다). 따라서, 가상 오브젝트 안정성을 향상시키기 위해 그리고 증강 현실 경험을 향상시키기 위해, 가상 이미지의 정확하게 정렬된 이미지를 엔드 유저에게 디스플레이할 필요성이 존재한다.
도 1은, 개시된 기술이 실시될 수 있는 네트워크화된 컴퓨팅 환경(100)의 일 실시형태의 블록도이다. 네트워크화된 컴퓨팅 환경(100)은 하나 이상의 네트워크(180)를 통해 상호연결되는 복수의 컴퓨팅 디바이스를 포함한다. 하나 이상의 네트워크(180)는 특정 컴퓨팅 디바이스가 다른 컴퓨팅 디바이스와 연결하는 것 및 통신하는 것을 허용한다. 묘사된 컴퓨팅 디바이스는 모바일 디바이스(11), 모바일 디바이스(12), 모바일 디바이스(19), 및 서버(15)를 포함한다. 몇몇 실시형태에서, 복수의 컴퓨팅 디바이스는 도시되지 않은 다른 컴퓨팅 디바이스를 포함할 수도 있다. 몇몇 실시형태에서, 복수의 컴퓨팅 디바이스는 도 1에 도시되는 컴퓨팅 디바이스의 수보다 더 많이 또는 더 적게 포함할 수도 있다. 하나 이상의 네트워크(180)는 보안 네트워크 예컨대 기업 사설 네트워크(enterprise private network), 비보안 네트워크 예컨대 무선 개방 네트워크, 근거리 통신망(local area network; LAN), 광역 통신망(wide area network; WAN), 및 인터넷을 포함할 수도 있다. 하나 이상의 네트워크(180)의 각각의 네트워크는, 허브, 브리지, 라우터, 스위치, 및 유선 송신 매체 예컨대 유선 네트워크 또는 직접 유선 연결(direct-wired connection)을 포함할 수도 있다.
보충 정보 서버 또는 애플리케이션 서버를 포함할 수도 있는 서버(15)는, 클라이언트가 서버로부터 정보(예를 들면, 텍스트, 오디오, 이미지, 및 비디오 파일)를 다운로드하는 것 또는 서버 상에 저장된 특정 정보에 연관되는 검색 쿼리를 수행하는 것을 허용할 수도 있다. 일반적으로, "서버"는 클라이언트-서버 관계에서 호스트로서 작용하는 하드웨어 디바이스 또는 하나 이상의 클라이언트와 리소스를 공유하는 또는 하나 이상의 클라이언트에 대한 작업을 수행하는 소프트웨어 프로세스를 포함할 수도 있다. 클라이언트-서버 관계에서 컴퓨팅 디바이스 사이의 통신은, 특정 리소스에 대한 액세스 또는 수행될 특정 작업을 요청하는 요청을 클라이언트가 서버로 전송하는 것에 의해 개시될 수도 있다. 후속하여 서버는 요청된 액션을 수행할 수도 있고 응답을 다시 클라이언트로 전송할 수도 있다.
서버(15)의 일 실시형태는, 네트워크 인터페이스(155), 프로세서(156), 메모리(157) 및 변환기(translator; 158)를 포함하는데, 이들 모두는 서로 통신한다. 네트워크 인터페이스(155)는 서버(15)가 하나 이상의 네트워크(180)에 연결하는 것을 허용한다. 네트워크 인터페이스(155)는 무선 네트워크 인터페이스, 모뎀, 및/또는 유선 네트워크 인터페이스를 포함할 수도 있다. 프로세서(156)는, 본원에서 논의되는 프로세스를 수행하기 위해, 메모리(157)에 저장된 컴퓨터 판독가능 명령어를 서버(15)가 실행하는 것을 허용한다. 변환기(158)는, 제1 파일 포맷의 제1 파일을 제2 파일 포맷의 대응하는 제2 파일로 변환하기 위한 매핑 로직을 포함할 수도 있다(즉, 제2 파일은 제1 파일의 변환된 버전일 수도 있다). 변환기(158)는, 제1 파일 포맷의 파일(또는 그 일부)을 제2 파일 포맷의 대응하는 파일로 매핑하기 위한 명령어를 제공하는 파일 매핑 명령어를 사용하여 구성될 수도 있다.
모바일 디바이스(19)의 일 실시형태는 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148), 센서(149), 및 디스플레이(150)를 포함하는데, 이들 모두는 서로 통신한다. 네트워크 인터페이스(145)는 모바일 디바이스(19)가 하나 이상의 네트워크(180)에 연결되는 것을 허용한다. 네트워크 인터페이스(145)는 무선 네트워크 인터페이스, 모뎀, 및/또는 유선 네트워크 인터페이스를 포함할 수도 있다. 프로세서(146)는, 본원에서 논의되는 프로세스를 수행하기 위해, 메모리(147)에 저장된 컴퓨터 판독가능 명령어를 모바일 디바이스(19)가 실행하는 것을 허용한다. 카메라(148)는 환경의 컬러 이미지 및/또는 깊이 이미지(depth image)를 캡쳐할 수도 있다. 모바일 디바이스(19)는, 환경의 이미지를 캡쳐하는 외향 카메라(outward facing camera) 및 모바일 디바이스의 엔드 유저의 이미지를 캡쳐하는 내향 카메라(inward facing camera)를 포함할 수도 있다. 센서(149)는 모바일 디바이스(19)와 연관되는 모션 및/또는 방위 정보를 생성할 수도 있다. 몇몇 경우에서, 센서(149)는 관성 측정 유닛(IMU)을 포함할 수도 있다. 디스플레이(150)는 디지털 이미지 및/또는 비디오를 디스플레이할 수도 있다. 디스플레이(150)는 씨쓰루(see-through) 디스플레이를 포함할 수도 있다. 디스플레이(150)는 LED 또는 OLED 디스플레이를 포함할 수도 있다.
몇몇 실시형태에서, 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148) 및 센서(149)를 포함하는 모바일 디바이스(19)의 다양한 컴포넌트는 싱글 칩 기판 상에 통합될 수도 있다. 일 예에서, 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148), 및 센서(149)는 시스템온칩(a system on a chip; SOC)으로서 통합될 수도 있다. 다른 실시형태에서, 네트워크 인터페이스(145), 프로세서(146), 메모리(147), 카메라(148), 및 센서(149)는 단일의 패키지 내에 통합될 수도 있다.
몇몇 실시형태에서, 모바일 디바이스(19)는, 카메라(148), 센서(149), 및 프로세서(146) 상에서 실행하는 제스쳐 인식 소프트웨어를 활용하는 것에 의해 내추럴 유저 인터페이스(natural user interface; NUI)를 제공할 수도 있다. 내추럴 유저 인터페이스를 통해, 사람의 신체 부위 및 움직임은, 검출되고, 해석되고, 그리고 컴퓨팅 애플리케이션의 다양한 양태를 제어하도록 사용될 수도 있다. 일 예에서, 내추럴 유저 인터페이스를 활용하는 컴퓨팅 디바이스는, 컴퓨팅 디바이스와 상호작용하는 사람의 의도를(예를 들면, 컴퓨팅 디바이스를 제어하기 위해, 엔드 유저가 특정 제스쳐를 수행했다는 것을) 추론할 수도 있다.
네트워크화된 컴퓨팅 환경(100)은 하나 이상의 컴퓨팅 디바이스에 대해 클라우드 컴퓨팅 환경을 제공할 수도 있다. 클라우드 컴퓨팅은 인터넷 기반 컴퓨팅을 지칭하는데, 클라우드 컴퓨팅에서는, 공유된 리소스, 소프트웨어, 및/또는 정보가 요청에 따라(on-demand) 인터넷(또는 다른 글로벌 네트워크)을 통해 하나 이상의 컴퓨팅 디바이스로 제공된다. 용어 "클라우드"는, 인터넷이 나타내는 기저의 인프라의 추상 개념으로서 인터넷을 묘사하기 위해 컴퓨터 네트워킹 다이어그램에서 사용되는 구름(클라우드) 그림에 기초하여, 인터넷에 대한 은유로서 사용된다.
일 예에서, 모바일 디바이스(19)는, 헤드 마운트형 디스플레이 디바이스(HMD)의 엔드 유저에게 증강 현실 환경 또는 혼합 현실 환경을 제공하는 HMD를 포함한다. HMD는 비디오 씨쓰루 및/또는 광학적 씨쓰루 시스템을 포함할 수도 있다. 엔드 유저에 의해 착용되고 있는 광학적 씨쓰루 HMD는 (예를 들면, 투명 렌즈를 통해) 현실 세계 환경의 실제의 직접적인 관찰(viewing)을 허용할 수도 있고, 동시에, 엔드 유저의 시야 안으로 가상 오브젝트의 이미지를 투사하여, 엔드 유저에 의해 인식되는 현실 세계 환경을 가상 오브젝트를 이용하여 증강시킬 수도 있다.
HMD를 이용하면, 엔드 유저는 HMD를 착용하여 현실 세계 환경(예를 들면, 거실)을 돌아 다닐 수도 있고 가상 오브젝트의 이미지가 중첩된 현실 세계의 뷰를 볼 수도 있다. 가상 오브젝트는 현실 세계 환경과의 동질적인(coherent) 공간적 관계를 유지하는 것처럼 보일 수도 있다(즉, 엔드 유저가 현실 세계 환경 내에서 그들의 머리를 돌리거나 또는 움직일 때, 가상 오브젝트가 엔드 유저에 의해 인식되는 바와 같은 현실 세계 환경 내에 존재하는 것처럼 보이도록, 엔드 유저에게 디스플레이되는 이미지는 변할 것이다). 가상 오브젝트는 또한, 엔드 유저의 시점에 대해 고정되어 보일 수도 있다(예를 들면, 엔드 유저가 현실 세계 환경 내에서 그들의 머리를 어떻게 돌리거나 움직이는지에 무관하게, 엔드 유저의 시점의 우상(top right) 코너에서 항상 보이는 가상 메뉴). 일 실시형태에서, 현실 세계 환경의 환경 매핑은 서버(15)에 의해(즉, 서버측 상에서) 수행될 수도 있고 한편 카메라 로컬라이제이션은 모바일 디바이스(19) 상에서(즉, 클라이언트측 상에서) 수행될 수도 있다. 가상 오브젝트는 현실 세계 오브젝트와 연관되는 텍스트 설명을 포함할 수도 있다.
몇몇 실시형태에서, 모바일 디바이스, 예컨대 모바일 디바이스(19)는 클라우드의 서버, 예컨대 서버(15)와 통신할 수도 있고, 서버에게, 모바일 디바이스와 연관되는 로케이션 정보(예를 들면, GPS 좌표를 통한 모바일 디바이스의 로케이션) 및/또는 이미지 정보(예를 들면, 모바일 디바이스의 시야 내에서 검출되는 오브젝트에 관한 정보)를 제공할 수도 있다. 응답으로, 서버는, 서버에게 제공되는 로케이션 정보 및/또는 이미지 정보에 기초하여 하나 이상의 가상 오브젝트를 모바일 디바이스로 송신할 수도 있다. 일 실시형태에서, 모바일 디바이스(19)는 하나 이상의 가상 오브젝트를 수신하기 위한 특정 파일 포맷을 특정할 수도 있고 서버(15)는 특정 파일 포맷의 파일 내에서 구체화되는 하나 이상의 가상 오브젝트를 모바일 디바이스(19)로 송신할 수도 있다.
몇몇 실시형태에서, 모바일 디바이스(19)와 같은 HMD는, 외향 카메라로부터 캡쳐되는 환경의 이미지를, 환경의 3D 맵에 관한 그 이미지에 대응하는 6개의 자유도(six degree of freedom; 6DOF)의 포즈를 결정하기 위해, 사용할 수도 있다. 6DOF 포즈는, 환경 내에서의 HMD의 포지션 및 방위와 연관되는 정보를 포함할 수도 있다. 6DOF 포즈는, 가상 오브젝트가 환경 내의 적절한 로케이션에 존재하는 것처럼 보이도록, HMD를 로컬라이징하기 위해 그리고 가상 오브젝트를 생성하기 위해 사용될 수도 있다. 6DOF 포즈를 결정하는 것에 관한 더 많은 정보는, 미국 특허 출원 제13/152,220호인 "Distributed Asynchronous Localization and Mapping for Augmented Reality"에서 발견될 수 있다. 모바일 디바이스에 대한 포즈 추정 및/또는 로컬라이제이션을 수행하는 것에 관한 더 많은 정보는, 미국 특허 출원 제13/017,474호인, "Mobile Camera Localization Using Depth Maps"에서 발견될 수 있다.
몇몇 실시형태에서, HMD, 예컨대 모바일 디바이스(19)는, 코어 렌더링 파이프라인 또는 렌더링 GPU에 대한 렌더링 프레임 레이트보다 더 높은 프레임 레이트에서, 가상 오브젝트의 이미지를 증강 현실(AR) 환경 내에 디스플레이할 수도 있다. HMD는, 렌더링 프레임 레이트에서 렌더링되는 사전 렌더링된 이미지 또는 미리 예측된 이미지를, 렌더링 프레임 레이트보다 더 높은 주파수에서 제공되는 업데이트 포즈 추정에 기초하여 수정할 수도 있다. 몇몇 실시형태에서, HMD는, 예측 포즈에 기초한 사전 렌더링된 이미지를 렌더링 프레임 레이트에서(예를 들면, 16ms마다) 생성하고, 사전 렌더링된 이미지를 생성하는 것에 후속하여 (예를 들면, 2ms마다) HMD와 연관되는 하나 이상의 업데이트 포즈를 결정하고, 하나 이상의 업데이트 포즈 및 사전 렌더링된 이미지에 기초하여 하나 이상의 업데이트 이미지를 생성하고, 그리고 하나 이상의 업데이트 이미지를 HMD 상에 디스플레이할 수도 있다. 몇몇 경우에서, 하나 이상의 업데이트 이미지는, 디스플레이(150)와 같은 디스플레이 내에서의 회로류를 사용하여, 호모그래픽 변환 및/또는 픽셀 오프셋 조정을 통해 생성될 수도 있다.
도 2a는 제2 모바일 디바이스(5)와 통신하는 모바일 디바이스(19)의 일 실시형태를 묘사한다. 모바일 디바이스(19)는 씨쓰루 HMD를 포함할 수도 있다. 묘사되는 바와 같이, 모바일 디바이스(19)는 유선 연결(6)을 통해 모바일 디바이스(5)와 통신한다. 그러나, 모바일 디바이스(19)는 또한, 무선 연결을 통해 모바일 디바이스(5)와 통신할 수도 있다. 모바일 디바이스(5)는, 계산 집약적인 프로세싱 작업(예를 들면, 가상 오브젝트의 렌더링)을 오프로드하기 위해 그리고 모바일 디바이스(19) 상에서 증강 현실 환경을 제공하기 위해 사용될 수도 있는 가상 오브젝트 정보 및 다른 데이터를 저장하기 위해, 모바일 디바이스(19)에 의해 사용될 수도 있다. 모바일 디바이스(5)는 또한, 모바일 디바이스(5)와 연관되는 모션 및/또는 방위 정보를 모바일 디바이스(19)로 제공할 수도 있다. 일 예에서, 모션 정보는 모바일 디바이스(5)와 연관되는 속도 및 가속도를 포함할 수도 있고 방위 정보는 오일러 각도(Euler angle)를 포함할 수도 있는데, 오일러 각도는 특정 좌표 시스템 또는 기준 프레임을 중심으로 하는 회전 정보를 제공한다. 몇몇 경우에서, 모바일 디바이스(5)는, 모바일 디바이스(5)와 연관되는 모션 및/또는 방위 정보를 획득하기 위해, 모션 및 방위 센서, 예컨대 관성 측정 유닛(IMU)을 포함할 수도 있다.
도 2b는 도 1에서의 모바일 디바이스(19)와 같은 HMD의 일부의 일 실시형태를 묘사한다. HMD(200)의 우측만이 묘사된다. HMD(200)는 우측 안경다리(202), 코다리(nose bridge; 204), 안경알(216), 및 안경 프레임(214)을 포함한다. 우측 안경다리(202)는 프로세싱 유닛(236)과 통신하는 캡쳐 디바이스(213)(예를 들면, 전면 카메라 및/또는 마이크)를 포함한다. 캡쳐 디바이스(213)는 디지털 이미지 및/또는 비디오를 기록하기 위한 하나 이상의 카메라를 포함할 수도 있고 시각적 기록물을 프로세싱 유닛(236)으로 송신할 수도 있다. 하나 이상의 카메라는 컬러 정보, IR 정보, 및/또는 깊이 정보를 캡쳐할 수도 있다. 캡쳐 디바이스(213)는 사운드를 기록하기 위한 하나 이상의 마이크를 또한 포함할 수도 있고 오디오 기록물을 프로세싱 유닛(236)으로 송신할 수도 있다.
우측 안경다리(202)는 또한, 생체 센서(220), 눈 추적용 시스템(221), 이어폰(230), 모션 및 방위 센서(238), GPS 수신기(232), 전원(239), 및 무선 인터페이스(237)를 포함하는데, 이들 모두는 프로세싱 유닛(236)과 통신한다. 생체 센서(220)는 HMD(200)의 엔드 유저와 연관되는 맥박 또는 심장 박동을 결정하기 위한 하나 이상의 전극 및 HMD(200)의 엔드 유저와 연관되는 신체 온도를 결정하기 위한 온도 센서를 포함할 수도 있다. 일 실시형태에서, 생체 센서(220)는, 엔드 유저의 관자놀이를 가압하는 맥박 측정용 센서를 포함한다. 모션 및 방위 센서(238)는 3축 자기력계, 3축 자이로, 및/또는 3축 가속도계를 포함할 수도 있다. 일 실시형태에서, 모션 및 방위 센서(238)는 관성 측정 유닛(IMU)을 포함할 수도 있다. GPS 수신기는 HMD(200)와 연관되는 GPS 로케이션을 결정할 수도 있다. 프로세싱 유닛(236)은 하나 이상의 프로세서 및 그 하나 이상의 프로세서 상에서 실행될 컴퓨터 판독가능 명령어를 저장하기 위한 메모리를 포함할 수도 있다. 메모리는 또한 하나 이상의 프로세서 상에서 실행될 다른 타입의 데이터를 저장할 수도 있다.
일 실시형태에서, 눈 추적용 시스템(221)은 하나 이상의 내향 카메라를 포함할 수도 있다. 다른 실시형태에서, 눈 추적용 시스템(221)은 눈 추적용 조명원(eye tracking illumination source) 및 연관 눈 추적용 이미지 센서를 포함할 수도 있다. 일 실시형태에서, 눈 추적용 조명원은, 미리 결정된 IR 파장 또는 일정 범위의 파장을 중심을 방출하는 하나 이상의 적외선(infrared; IR) 에미터 예컨대 적외선 발광 다이오드(light emitting diode; LED) 또는 레이저(예를 들면, VCSEL)를 포함할 수도 있다. 몇몇 실시형태에서, 눈 추적용 센서는, 글린트 포지션(glint position)을 추적하기 위한 IR 포지션 감지 검출기(position sensitive detector; PSD) 또는 IR 카메라를 포함할 수도 있다. 눈 추적용 시스템에 관한 더 많은 정보는, 2008년 7월 22일자로 발행된 발명의 명칭이 "Head Mounted Eye Tracking and Display System"인 미국 특허 제7,401,920호, 및 2011년 9월 26일자로 출원된 발명의 명칭이 "Integrated Eye Tracking and Display System"인 미국 특허 출원 제13/245,700호에서 발견될 수 있다.
일 실시형태에서, 안경알(216)은 씨쓰루 디스플레이를 포함할 수도 있는데, 이로써, 프로세싱 유닛(236)에 의해 생성되는 이미지는 씨쓰루 디스플레이 상에 투사될 수도 있고/있거나 디스플레이될 수도 있다. 씨쓰루 디스플레이는, 실리콘 액정(liquid crystal on silicon; LCOS) 디스플레이와 같은 디스플레이에 제공되는 광을 변조하는 것에 의해, 또는 OLED 디스플레이와 같은 디스플레이 내에서 광을 발생시키는 것에 의해, 가상 오브젝트의 이미지를 디스플레이할 수도 있다. 캡쳐 디바이스(213)는, 캡쳐 디바이스(213)에 의해 캡쳐되는 시야가 HMD(200)의 엔드 유저에 의해 보이는 시야와 대응하도록, 캘리브레이팅될 수도 있다. 이어폰(230)은 가상 오브젝트의 투사된 이미지와 연관되는 사운드를 출력하기 위해 사용될 수도 있다. 몇몇 실시형태에서, HMD(200)는, 전면 카메라에 의해 캡쳐되는 시야와 연관되는 입체 정보로부터 깊이를 획득하기 위해 두 개 이상의 전면 카메라(예를 들면, 각각의 안경다리에 하나씩)를 포함할 수도 있다. 두 개 이상의 전면 카메라는 또한 3D, IR, 및/또는 RGB 카메라를 포함할 수도 있다. 깊이 정보는 모션 기술로부터의 깊이를 활용하여 단일의 카메라로부터 또한 획득될 수도 있다. 예를 들면, 시간적으로 상이한 지점에서의 공간적으로 상이한 두 개의 지점과 연관되는 두 개의 이미지가 단일의 카메라로부터 획득될 수도 있다. 그 다음, 공간적으로 두 개의 상이한 지점에 관한 포지션 정보가 주어지면, 시차(parallax) 계산이 수행될 수도 있다.
몇몇 실시형태에서, HMD(200)는, 하나 이상의 사람 눈의 구성요소 예컨대 각막 중심, 안구 회전의 중심, 또는 동공 중심과 연관하여, 응시 검출 엘리먼트(gaze detection element) 및 3차원 좌표 시스템을 사용하여, 엔드 유저의 눈의 각각의 눈에 대한 응시 검출을 수행할 수도 있다. 응시 검출은, 엔드 유저가 시야 내에서 초점을 맞추고 있는 곳을 식별하기 위해 사용될 수도 있다. 응시 검출 엘리먼트의 예는, 글린트 생성용 조명기(glint generating illuminator) 및 반사된 글린트를 나타내는 데이터를 캡쳐하기 위한 센서를 포함할 수도 있다. 몇몇 경우에서, 각막의 중심은 평면 기하학(planar geometry)을 사용하여 두 개의 글린트에 기초하여 결정될 수도 있다. 각막의 중심은 동공 중심과 안구의 회전의 중심을 연결하는데, 이것은 소정의 응시 또는 뷰잉 각도에서의 엔드 유저의 눈의 광학 축을 결정하기 위한 고정된 로케이션으로서 다루어질 수도 있다.
일 실시형태에서, 프로세싱 유닛(236)은, 사전 렌더링된 이미지를 생성하기 위한 코어 렌더링 파이프라인(예를 들면, 하나 이상의 그래픽 프로세싱 유닛을 포함함)을 포함할 수도 있고 안경알(216)과 연관되는 디스플레이는, HMD(200)와 연관되는 후기 단계 포즈 정보에 기초하여 사전 렌더링된 이미지에 대해 후기 단계 그래픽 조정을 수행할 수도 있다. 코어 렌더링 파이프라인에 대한 최대 렌더링 프레임 레이트보다 더 높은 주파수로 업데이트 포즈 정보가 제공될 수도 있기 때문에, 후기 단계 그래픽 조정은 최대 렌더링 프레임 레이트보다 더 높은 주파수에서 사전 렌더링된 이미지에 적용될 수도 있다.
도 3a는, 코어 렌더링 파이프라인에 대한 렌더링 프레임 레이트보다 더 높은 프레임 레이트에서, 가상 오브젝트(또는 하나보다 많은 가상 오브젝트)와 연관되는 이미지를 생성하고 디스플레이하기 위한 시스템의 일 실시형태를 묘사한다. 묘사되는 바와 같이, 렌더링 모듈(302)은 HMD의 특정 포즈에 대응하는 사전 렌더링된 이미지를 생성할 수도 있다. 특정 포즈는 포즈 추정 모듈(312)에 의해 렌더링 모듈(302)로 제공될 수도 있다. 포즈 추정 모듈(312)은 HMD의 움직임 이력에 기초하여 HMD의 미래의 포즈를 예측할 수도 있다. 몇몇 실시형태에서, 포즈 추정 모듈(312)은 HMD의 하나보다 많은 미래의 포즈(예를 들면, HMD에 대한 세 개의 가능한 미래의 포즈)를 예측할 수도 있고 렌더링 모듈(302)은 하나보다 많은 미래의 포즈에 대응하는 복수의 사전 렌더링된 이미지를 생성할 수도 있다. 업데이트 포즈 정보가 이용가능하게 되면, 하나보다 많은 미래의 포즈 중 가장 가까운 포즈(즉, 최상으로 예측된 포즈)와 가장 가까운 포즈에 대한 대응하는 사전 렌더링된 이미지는, 가장 가까운 포즈에 대한 대응하는 사전 렌더링된 이미지에 대해 후기 단계 그래픽 조정을 적용하는 것에 의해, 업데이트 이미지를 생성하기 위해 사용될 수도 있다. 일 실시형태에서, 업데이트 포즈 정보가 이용가능하게 되면, 하나보다 많은 미래의 포즈 중 가장 가까운 포즈와 연관되는 사전 렌더링된 이미지가 선택되는 대신, 업데이트 이미지는, 하나보다 많은 미래의 포즈에 대응하는 복수의 사전 렌더링된 이미지로부터 외삽되는 및/또는 보간되는 이미지를 사용하여 생성될 수도 있다.
몇몇 경우에서, 포즈 추정 모듈(312)은, 카메라 기반의 포즈 추적용 정보 및/또는 카메라 기반의 포즈 추적용 정보와 낮은 레이턴시의 IMU 모션 정보의 조합에 기초하여 HMD의 현재의 포즈를 결정할 수도 있다. 포즈 추정 모듈(312)은, HMD의 이전 움직임(예를 들면, 현재의 포즈를 결정하기 5ms 또는 10ms 이전의 HMD의 움직임)을 외삽하는 것에 의해 HMD의 미래의 포즈를 예측할 수도 있다.
후기 단계 재투사(late stage reprojection; LSR) 모듈(308)은, 포즈 추정 모듈(312)에 의해 생성되는 업데이트된 포즈 추정 정보에 기초하여 렌더링 모듈(302)에 의해 생성되는 사전 렌더링된 이미지에 대해 후기 단계 그래픽 조정을 수행할 수도 있다. 일 실시형태에서, 렌더링 모듈(302)은 16ms마다 또는 32ms마다 사전 렌더링된 이미지를 생성할 수도 있고 LSR 모듈(308)은 2ms마다 또는 4ms마다 조정 이미지(adjusted image)를 생성할 수도 있다(즉, LSR 모듈(308)은 렌더링 모듈(302)의 최대 렌더링 프레임 레이트보다 더 높은 프레임 레이트에서 이미지를 디스플레이(310)에 제공할 수도 있다). 묘사되는 바와 같이, LSR 모듈(308)은 이미지 조정 모듈(304) 및 픽셀 조정 모듈(306)을 포함한다. 이미지 조정 모듈(304)은, 사전 렌더링된 이미지에 대해 호모그래픽 변환을 적용하는 것에 의해(예를 들면, 단일 평면 호모그래피 또는 다중 평면 호모그래피를 적용하는 것에 의해) 조정 이미지를 생성할 수도 있다. 일 예에서, 이미지 조정 모듈(304)은 사전 렌더링된 이미지에 대해 아핀 변환을 적용할 수도 있다. 픽셀 조정 모듈(306)은 이미지의 2차원 픽셀 시프팅을 수행할 수도 있다. 픽셀 조정 모듈(306)에 의해 픽셀 시프트되는 이미지는 사전 렌더링된 이미지의 부분 또는 이미지 조정 모듈(304)에 의해 생성되는 이미지의 부분을 포함할 수도 있다. 몇몇 경우에서, LSR 모듈(308)은, 사전 렌더링된 이미지에 대해 호모그래픽 변환을 적용하고, 그 다음, 호모그래픽 변환을 통해 생성되는 이미지에 대해 픽셀 오프셋 조정을 적용하는 것에 의해, 조정 이미지를 생성할 수도 있다. LSR 모듈(308)에 의해 생성되는 조정 이미지는 디스플레이(310) 상에 디스플레이될 수도 있다. 일 실시형태에서, 디스플레이(310)는 OLED 디스플레이를 포함할 수도 있다.
몇몇 실시형태에서, LSR 모듈(308)의 부분은 디스플레이(310)와 통합될 수도 있다. 일 예에서, 픽셀 조정 모듈(306)은, 디스플레이(310)의 픽셀 어레이 내에서의 픽셀 값의 시프팅을 허용하기 위한, 디스플레이(310) 내의 시프트 레지스터 또는 다른 회로류를 사용하여 수행될 수도 있다. 다른 예에서, 이미지 조정 모듈(304) 및 픽셀 조정 모듈(306) 둘 다는, 디스플레이(310)와 통합되는 컨트롤러 또는 프로세서에 의해 수행될 수도 있다.
도 3b는 도 3a에서의 디스플레이(310)의 일 실시형태를 묘사한다. 묘사되는 바와 같이, 디스플레이는 로우 드라이버(row driver)(322) 및 데이터 라인 드라이버(224)에 의해 구동되는 픽셀 어레이(320)를 포함한다. 픽셀 어레이(320)는 복수의 픽셀(321)을 포함한다. 일 실시형태에서, 각각의 픽셀(321)은 OLED 픽셀을 포함할 수도 있다. 각각의 OLED 픽셀은 OLED 및 OLED를 제어하기 위한 회로의 그룹을 포함할 수도 있다. 로우 드라이버(322)는 픽셀 어레이(320) 내에서 특정 로우의 픽셀을 선택하기 위한 그리고 데이터 라인 드라이버(324)에 대응하는 데이터 라인을 특정 로우의 픽셀의 픽셀에 연결하기 위한 로우 라인(또는 주사 라인)을 구동할 수도 있다. 로우 드라이버(322)와 연관되는 각각의 로우는 특정 로우의 픽셀의 각각의 픽셀 내의 래치용 TFT(latching TFT)에 연결될 수도 있다. 래치용 TFT는 스토리지 커패시터를, 데이터 라인 중 특정 데이터 라인(예를 들면, 픽셀 어레이의 한 칼럼의 각각의 픽셀에 연결되는 특정 칼럼 데이터 라인)으로부터 분리할 수도 있다. 스토리지 커패시터는, OLED를 구동하는 제2 TFT의 게이트를 바이어싱하기 위한 전압을 저장하기 위해 사용될 수도 있다. 컨트롤러(326)는, 로우 드라이버(322) 및 데이터 라인 드라이버(324)를 제어하는 것에 의해 픽셀 값을 픽셀 어레이(320)로 로딩할 수도 있다. 컨트롤러(326)는 버퍼(328)에 저장되는 버퍼링된 이미지에 액세스하고, 픽셀 값을 픽셀 어레이(320)로 로딩하기 이전에 이미지 조정을 수행할 수도 있다.
일 실시형태에서, 컨트롤러(326)는 버퍼(328)에 저장되는 이미지(또는 이미지의 일부)에 대해 특정한 호모그래픽 변환을 수행하고 그 다음 디스플레이를 위해 조정 이미지를 픽셀 어레이(320)로 로딩할 수도 있다. 컨트롤러(326)는 또한, 버퍼(328)에 저장되는 이미지에 대해, (예를 들면, X 방향으로 제1 픽셀 오프셋만큼 그리고 Y 방향으로 제2 픽셀 오프셋만큼 픽셀 값을 시프트하는 것에 의해), 픽셀 오프셋 조정을 수행할 수도 있다.
도 3c는 도 3a에서의 디스플레이(310)의 대안적인 실시형태를 묘사한다. 묘사되는 바와 같이, 디스플레이는 로우 드라이버(row driver)(322) 및 데이터 라인 드라이버(224)에 의해 구동되는 픽셀 어레이(330)를 포함한다. 픽셀 어레이(330)는 복수의 픽셀(331)을 포함한다. 일 실시형태에서, 각각의 픽셀(331)은 OLED 픽셀을 포함할 수도 있다. 각각의 OLED 픽셀은, OLED, OLED를 제어하기 위한 제1 그룹의 회로, 및 픽셀 어레이(330) 내에서 픽셀 시프팅을 수행하기 위한 제2 그룹의 회로를 포함할 수도 있다. 픽셀 어레이(330)는, 픽셀 어레이 내에서의 픽셀 값의 시프팅을 용이하게 하기 위한, 인접 픽셀 사이의 픽셀 배선(pixel interconnection; 333)을 포함할 수도 있다. 일 실시형태에서, 래치된 데이터 값(latched data value)은 인접한 픽셀 사이에서 수직으로(즉, 칼럼 방향으로) 및/또는 수평으로(즉, 로우 방향으로) 시프트될 수도 있다. 다른 실시형태에서, 특정 픽셀에 대한 스토리지 커패시터 상에 저장되는 데이터 값은, 픽셀 어레이(330) 내의 복수의 OLED 중 하나를 구동하기 위해 사용될 수도 있다(즉, 래치된 데이터 값을 물리적으로 시프팅하는 대신, 각각의 픽셀 내의 멀티플렉서는 자신의 대응하는 OLED에 적용할 정확한 래치된 데이터 값을 선택하기 위해 사용될 수도 있다).
로우 드라이버(322)는 픽셀 어레이(330) 내에서 특정 로우의 픽셀을 선택하기 위한 그리고 데이터 라인 드라이버(324)에 대응하는 데이터 라인을 픽셀의 특정 로우의 픽셀에 연결하기 위한 로우 라인(또는 주사 라인)을 구동할 수도 있다. 로우 드라이버(322)와 연관되는 각각의 로우는 특정 로우의 픽셀의 각각의 픽셀 내의 래치용 TFT(latching TFT)에 연결될 수도 있다. 래치용 TFT는 스토리지 커패시터를, 데이터 라인 중 특정 데이터 라인(예를 들면, 픽셀 어레이의 한 칼럼의 픽셀에 연결되는 특정 칼럼 데이터 라인)으로부터 분리할 수도 있다. 스토리지 커패시터는 OLED를 구동하는 제2 TFT를 바이어싱하기 위한(예를 들면, 제2 TFT의 게이트를 제어하기 위한) 전압을 저장하기 위해 사용될 수도 있다. 일 실시형태에서, 각각의 픽셀(331)은, 픽셀에 대한 OLED를 구동하는 TFT를 구동하기 위한 복수의 래치된 데이터 값(픽셀 어레이 내의 스토리지 커패시터 상에 각각 저장됨) 중 하나를 선택하기 위한 멀티플렉서를 포함할 수도 있다. 몇몇 경우에서, 멀티플렉서는, X 방향으로 제1 픽셀 오프셋만큼 그리고 Y 방향으로 제2 픽셀 오프셋만큼 픽셀 어레이(330) 내에서의 디스플레이된 픽셀 값의 시프팅을 허용할 수도 있다. 컨트롤러(332)는, 로우 드라이버(322) 및 데이터 라인 드라이버(324)를 제어하는 것에 의해 픽셀 값을 픽셀 어레이(330)로 로딩할 수도 있다. 컨트롤러(332)는, 픽셀 값을 픽셀 어레이(330)로 로딩하기 이전에 이미지 조정을 수행할 수도 있다. 컨트롤러(332)는 디스플레이(310)에 제공되는 이미지 정보를 버퍼링하기 위한 메모리 버퍼를 포함할 수도 있다.
일 실시형태에서, 컨트롤러(332)는 이미지에 대해 특정한 호모그래픽 변환을 수행하고 그 다음 그 이미지와 연관되는 픽셀 값을 픽셀 어레이(330)로 로딩할 수도 있다. 후속하여, 컨트롤러는, 픽셀 어레이(331) 내의 픽셀 값을 시프팅하는 것에 의해 픽셀 오프셋 조정을 수행할 수도 있다. 일 예에서, 각각의 픽셀 내의 래치된 데이터 값은, 픽셀 배선(333)을 통해 픽셀 어레이 내에서 수직으로(즉, 칼럼 방향으로) 및/또는 수평으로(즉, 로우 방향으로) 물리적으로 시프트될 수도 있다. 다른 예에서, 래치된 데이터 값은, 픽셀 어레이(330)의 각각의 픽셀(331) 내의 멀티플렉서를 통합하는 것에 의해 픽셀 어레이(330) 내의 복수의 OLED 중 하나를 구동하기 위해 사용될 수도 있다. 몇몇 경우에서, 픽셀 어레이(330)는 CMOS 백플레인(backplane)을 활용할 수도 있다. 다른 경우에서, 픽셀 어레이(330)는 CCD 백플레인을 활용할 수도 있다.
도 4a는, 사전 렌더링된 이미지(412) 및 사전 렌더링된 이미지(412)에 기초한 업데이트 이미지(414)의 일부의 일 실시형태를 묘사한다. 묘사되는 바와 같이, 사전 렌더링된 이미지(412)는 HMD에 대한 초기 포즈 추정(예를 들면, 8ms 또는 16ms 미래의 HMD의 예측 포즈)에 기초하여 렌더링될 수도 있다. 초기 포즈 추정은, 초기 포즈 추정을 결정하기 직전의 HMD의 현재의 포지션 및 방위와 HMD의 가속도 및 속도에 기초하여 결정될 수도 있다. 사전 렌더링된 이미지(412)는 초기 포즈 추정에 기초한 렌더링된 이미지를 포함할 수도 있고, 특정한 포즈가 주어지면 3차원 장면을 2차원 이미지로 렌더링하는 능력을 갖는 GPU 또는 다른 렌더링 시스템을 사용하여 렌더링될 수도 있다. 업데이트 포즈 추정은, 초기 포즈 추정의 결정에 후속하는 시간의 지점에서 획득되는 업데이트 포즈 정보에 기초하여 결정될 수도 있다. 일 예에서, 업데이트 포즈 정보는, 카메라 기반의 포즈 추적용 정보 및/또는 카메라 기반의 포즈 추적용 정보와 HMD에 대응하는 낮은 레이턴시의 IMU 모션 정보의 조합에 기초하여 생성될 수도 있다.
몇몇 실시형태에서, 업데이트 이미지(414)는, 업데이트 포즈 추정과 초기 포즈 추정 사이의 포즈 차이에 기초하여 사전 렌더링된 이미지(412)에 대해 이미지 변환을 적용하는 것에 의해 생성될 수도 있다. 일 예에서, 이미지 변환은 사전 렌더링된 이미지(412)의 적어도 일부의 이미지 회전, 병진, 리사이징(예를 들면, 확대 또는 축소), 시프팅, 또는 틸팅을 포함할 수도 있다. 업데이트 이미지(414)는 사전 렌더링된 이미지(412)의 호모그래픽 변환을 통해 생성될 수도 있다. 몇몇 경우에서, 호모그래픽 변환은 다중 평면 호모그래피, 단일 평면 호모그래피, 및/또는 아핀 호모그래피를 포함할 수도 있다.
몇몇 실시형태에서, 업데이트 이미지(414)는 사전 렌더링된 이미지(402)에 대해 픽셀 오프셋 조정을 적용하는 것에 의해 생성될 수도 있다. 픽셀 오프셋 조정의 정도는, 업데이트 포즈 추정과 초기 포즈 추정 사이의 차이에 기초할 수도 있다. 묘사되는 바와 같이, 가상 오브젝트(즉, 가상 원기둥)의 이미지(413)는 X 차원 및 Y 차원 둘 다에서(예를 들면, 4픽셀만큼 왼쪽으로 그리고 3픽셀만큼 위쪽으로) 시프트되었다. 일 실시형태에서, 업데이트 이미지(414)는, 픽셀 오프셋 조정 또는 호모그래픽 변환과 픽셀 오프셋 조정의 조합을 사용하여 생성될 수도 있다. 호모그래픽 변환 및/또는 픽셀 오프셋 조정은 디스플레이와 통합되는 컨트롤러 또는 프로세서를 사용하여 생성될 수도 있다. 몇몇 경우에서, 픽셀 오프셋 조정은, 디스플레이의 픽셀 어레이 내에서의 픽셀 값의 시프팅을 허용하는 시프트 레지스터 또는 다른 회로류를 통합하는 디스플레이를 사용하여 수행될 수도 있다.
도 4b는, 사전 렌더링된 이미지(422) 및 사전 렌더링된 이미지(422)의 일부에 기초하여 업데이트 이미지(또는 타겟 이미지)를 생성하기 위해 사용되는 샘플링 영역(424 및 426)의 일 실시형태를 묘사한다. 묘사되는 바와 같이, 사전 렌더링된 이미지(422)는 가상 오브젝트(421)(즉, 가상 원기둥)의 이미지를 포함한다. 일 실시형태에서, 샘플링 영역(424)은 제1 업데이트 이미지를 생성하기 위한 제1 호모그래픽 변환에 대응할 수도 있고, 샘플링 영역(426)은 제2 업데이트 이미지를 생성하기 위한 제2 호모그래픽 변환에 대응할 수도 있다. 호모그래픽 변환은, 사전 렌더링된 이미지(즉, 소스 이미지 또는 소스 프레임) 내의 픽셀(또는 포인트)과 업데이트 이미지(즉, 타겟 이미지 또는 타겟 프레임) 내의 포인트 사이의 가중치가 부여된 매핑(weighted mapping)을 포함할 수도 있다. 샘플링 영역의 네 모서리는 대응하는 업데이트 이미지의 네 모서리에 대응할 수도 있다. 일 실시형태에서, 샘플링 영역(424)(즉, 소스 이미지 내의 제1 서브셋의 포인트)에 연관되는 사변형의 영역은 업데이트 이미지(타겟 이미지 내의 제2 서브셋의 포인트)에 연관되는 제2 사변형 영역으로 매핑될 수도 있다. 몇몇 경우에서, 샘플링 영역(424)은 코어 렌더링 파이프라인 또는 렌더링 GPU의 프레임 버퍼 내의 이미지의 일부로부터 유래할 수도 있다. 아핀 호모그래피의 경우에, 소스 이미지 내의 제1 평행사변형 영역 내의 포인트는 타겟 이미지 내의 제2 평행사변형 내의 포인트로(또는 직사각형 영역을 포함하는 전체 타겟 이미지로) 매핑될 수도 있다.
묘사되는 바와 같이, 소스 이미지는 대응하는 타겟 이미지보다 더 클 수도 있다. 소스 이미지는 현재의 시점 또는 포즈를 넘어서는 잠재적인 머리 움직임을 고려하기 위해 오버렌더링될 수도 있다. 일 예에서, 소스 이미지는, 1920 픽셀 × 1080 픽셀인 이미지를 포함할 수도 있고 타겟 이미지는 1366 픽셀 × 768 픽셀인 이미지를 포함할 수도 있다. 1대1 매핑을 가정하면, 샘플링 영역(424 및 426) 둘 다는 1366 픽셀 × 768 픽셀인 이미지를 포함할 수도 있다. 몇몇 실시형태에서, 타겟 이미지 내의 각각의 픽셀은, 소스 이미지 내의 네 개 이상의 픽셀의 가중치가 부여된 매핑에 대응할 수도 있다. 소스 이미지의 샘플링 영역으로부터 타겟 이미지의 타겟 픽셀로의 소스 픽셀의 매핑은, 소스 픽셀의 이중 선형 필터링(bilinear filtering)(또는 다른 텍스쳐 필터링)을 포함할 수도 있다. 몇몇 경우에서, 호모그래픽 변환을 적용하기 이전에 소스 이미지에 대해 왜곡 보정 매핑이 적용될 수도 있다.
일 실시형태에서, 샘플링 영역(424)(및 제1 호모그래픽 변환)은 시간의 제1 지점에서의 HMD의 제1 포즈(또는 제1 예측 포즈)와 연관될 수도 있고, 샘플링 영역(426)(및 제2 호모그래픽 변환)은 시간의 제1 지점에 후속하는(예를 들면, 시간의 제1 지점의 2ms 또는 4ms 이후의) 시간의 제2 지점에서의 HMD의 제2 포즈(또는 제2 예측 포즈)와 연관될 수도 있다. 일 예에서, 제1 예측 포즈는, 4ms 미래의 예측 포즈에 대응할 수도 있고 제2 예측 포즈는 8ms 미래의 예측 포즈에 대응할 수도 있다. 제1 호모그래픽 변환에 대응하는 제1 업데이트 이미지는, 제2 호모그래픽 변환에 대응하는 제2 업데이트 이미지가 디스플레이되기 이전에 디스플레이될 수도 있다. 제1 업데이트 이미지는 제2 업데이트 이미지가 생성되고 있는 동안 디스플레이될 수도 있다.
일 실시형태에서, 도 4b의 샘플링 영역(424)은, 타겟 이미지의 제1 부분(예를 들면, 타겟 이미지의 상부 부분)을 생성하기 위한 제1 호모그래픽 변환에 대응할 수도 있고, 도 4b의 샘플링 영역(426)은, 타겟 이미지의 제2 부분(예를 들면, 타겟 이미지의 하부 부분)을 생성하기 위한 제2 호모그래픽 변환에 대응할 수도 있다.
도 4c는, 사전 렌더링된 이미지(422)에 대해 롤링 버퍼(432)(예를 들면, 주사 라인의 특정한 수의 로우에 걸침(spanning))가 적용되는, 도 4b의 사전 렌더링된 이미지(422)의 일 실시형태를 묘사한다. 몇몇 경우에서, 사전 렌더링된 이미지(422)는 복수의 세그먼트(예를 들면, 각각 10개의 로우에 걸침)를 포함할 수도 있고, 롤링 버퍼(432)는 시간의 특정한 지점에서 복수의 세그먼트 중 하나에 대응할 수도 있다(예를 들면, 롤링 버퍼(432)는 복수의 세그먼트의 각각의 사이에서 하향식 시퀀스(top to bottom sequence)로 이동할 수도 있다). 롤링 버퍼(432)는, 시간의 특정한 지점에서 동작될 수도 있는 사전 렌더링된 이미지(422) 내의 소스 픽셀을 결정할 수도 있다. 몇몇 경우에서, 호모그래픽 변환은 롤링 버퍼(432) 내의 소스 픽셀의 서브셋(예를 들면, 도 4b의 샘플링 영역(424)과 롤링 버퍼(432)에 의해 가리켜지는 소스 이미지 로우의 중첩부에 대응함)에 적용될 수도 있다.
롤링 버퍼를 소스 이미지에 적용하는 개념은, 타겟 이미지에 또한 적용될 수도 있다. 몇몇 실시형태에서, 호모그래픽 변환은 타겟 이미지 내의 타겟 픽셀의 서브셋에 대응할 수도 있다. 예를 들면, 롤링 버퍼는, 타겟 픽셀의 서브셋에 대해 호모그래피(또는 다른 이미지 변환)이 적용되도록, 타겟 이미지에 적용될 수도 있다. 타겟 픽셀의 서브셋은 타겟 이미지 내의 주사 라인의 세트에 대응할 수도 있다(예를 들면, 타겟 픽셀의 서브셋은 타겟 이미지의 20개의 로우에 걸치는 픽셀을 포함한다). 주사 디스플레이의 경우, 이미지 재투사 기술은, 특정한 시간 기간 내에 업데이트될 픽셀에 적용될 수도 있다(예를 들면, 호모그래픽 변환은, 다음 2ms 내에 디스플레이되거나 업데이트될 타겟 이미지 내의 픽셀에 대해서만 적용되는 것을 필요로 한다).
도 5a는 업데이트 이미지를 생성하기 위해 렌더링된 이미지에 대해 후기 단계 그래픽 조정을 적용하는 일 실시형태를 묘사한다. 업데이트 이미지는 HMD를 사용하여 디스플레이될 수도 있다. 묘사되는 바와 같이, 렌더링된 이미지(이미지 X)는 시간 T2까지 이용가능하다. 렌더링된 이미지를 렌더링하기 위한 전체 시간은, 렌더링된 이미지를 생성하기 위한 코어 렌더링 파이프라인에 따라, 예를 들면, 16ms, 30ms, 또는 60ms일 수도 있다. 시간 T2에서 렌더링된 이미지가 이용가능하게 되기 이전에, 시간 T1에서 포즈 추정(P1)이 개시될 수도 있고 렌더링된 이미지에 기초하여 시간 T2까지 업데이트 이미지(이미지 A)를 생성하기 위해 사용될 수도 있다. 업데이트 이미지(이미지 A)는 HMD의 디스플레이를 사용하여 시간 T2와 T6 사이에서 디스플레이될 수도 있다. 일 실시형태에서, 포즈 추정(P1)은 시간 T4(또는 HMD를 사용하여 이미지가 투사되는 시간의 다른 지점)에서의 HMD의 예측 포즈에 대응할 수도 있다. 몇몇 실시형태에서, 예측 포즈에 대한 시간은, 렌더링된 이미지(이미지 X)로부터 유도되는 업데이트 이미지(이미지 A)의 디스플레이에 대한 중간 디스플레이 시간에 대응할 수도 있다. 업데이트 이미지의 디스플레이에 대한 중간 디스플레이 시간은, 투사 시간의 중간 지점(midpoint) 또는 투사의 중앙 광자(center photon)에 대응할 수도 있다. 시간 T5에서, 제2 포즈 추정(P2)이 개시되고 T6까지 제2 업데이트 이미지(이미지 B)를 생성하기 위해 사용될 수도 있다. 제2 업데이트 이미지(이미지 B)는 시간 T6에서 시작하여 디스플레이될 수도 있다.
일 예에서, 디스플레이는 4ms마다(즉, T2와 T6 사이의 시간이 4ms일 수도 있다) 업데이트 이미지를 디스플레이할 수도 있다. 렌더링된 이미지(이미지 X)가 이용가능하게 되기 이전에, 업데이트 이미지에 대한 중간 디스플레이 시간에 대응하는 예측 포즈가 결정될 수도 있다. 예측 포즈가 시간 T1에서 개시되고 업데이트 이미지가 4ms 동안 디스플레이될 것이기 때문에, 예측 포즈는 시간 t1으로부터 3ms 미래의 예측 포즈에 대응할 수도 있다. 중간 디스플레이 시간으로 앞당겨 예측하는 이유는, 디스플레이 레이턴시로 인한 에러가 최소화될 수도 있거나 또는 중간 디스플레이 시간 근처에 집중될 수도 있기 때문이다.
일 실시형태에서, 디스플레이는 필드 순차 컬러 디스플레이(field-sequential color display)를 포함할 수도 있고 업데이트 이미지(이미지 A)는 제1 컬러 필드(예를 들면, 적색 이미지)에 대응할 수도 있고 제2 업데이트 이미지(이미지 B)는 제2 컬러 필드(예를 들면, 녹색 이미지)에 대응할 수도 있다. 이 경우, 포즈 추정(P1)은 제1 컬러 필드와 연관되는 업데이트 이미지(이미지 A)를 생성하기 위해 사용될 수도 있고, 제2 포즈 추정(P2)은 제2 컬러 필드와 연관되는 제2 업데이트 이미지(이미지 B)를 생성하기 위해 사용될 수도 있다. 몇몇 경우에서, 업데이트 이미지(이미지 A)는 렌더링된 이미지(이미지 X)의 픽셀 오프셋 조정을 사용하여 생성될 수도 있고, 제2 업데이트 이미지(이미지 B)는 렌더링된 이미지(이미지 X)의 호모그래픽 변환 및/또는 렌더링된 이미지(이미지 X)의 제2 픽셀 오프셋 조정을 사용하여 생성될 수도 있다. 필드 순차 컬러 디스플레이는, 예를 들면, OLED 디스플레이 또는 LCOS 디스플레이를 포함할 수도 있다.
일 실시형태에서, 디스플레이는 유니폴라 방식(unipolar fashion)으로 구동되는 LCOS 디스플레이를 포함할 수도 있는데, 구동 전압은 액정의 열화를 방지하기 위해, 이미지 투사 동안 반전될 수도 있다. 각각의 컬러 필드 투사가 정의 투사(positive projection)(예를 들면, 이미지 투사의 처음 2ms) 및 부의 투사(negative projection)(예를 들면, 이미지 투사의 마지막 2ms) 둘 다에 대응할 수도 있기 때문에, 제1 업데이트 이미지는 정의 투사 동안 투사될 수도 있고 제2 업데이트 이미지는 부의 투사 동안 투사될 수도 있고, 그로 인해 디스플레이 프레임 레이트를 효과적으로 두 배로 하게 된다. 몇몇 경우에서, 제1 업데이트 이미지는 LCOS 디스플레이와 통합되는 회로류에 의한 제1 픽셀 오프셋 조정을 통해 생성될 수도 있고, 제2 업데이트 이미지는 LCOS 디스플레이와 통합되는 회로류에 의한 제2 픽셀 오프셋 조정을 통해 생성될 수도 있다.
도 5b는 디스플레이와 연관되는 디스플레이 시퀀스의 일 실시형태를 묘사한다. 디스플레이 시퀀스는 필드 순차 컬러 디스플레이 또는 비 필드 순차(non-field-sequential) 컬러 디스플레이에 대응할 수도 있다. 일 실시형태에서, 적색, 녹색, 및 청색의 컬러 필드의 각각의 컬러 필드와 연관되는 이미지는 시간의 상이한 지점에서 디스플레이로 로딩될 수도 있다. 예를 들면, 적색의 컬러 필드에 연관되는 제1 이미지(로드 R)는 시간 T0와 T1 사이에서 디스플레이로 로딩될 수도 있고, 녹색의 컬러 필드에 연관되는 제2 이미지(로드 G)는 시간 T1과 T2 사이에서 디스플레이로 로딩될 수도 있고, 청색의 컬러 필드에 연관되는 제3 이미지(로드 B)는 시간 T2와 T3 사이에서 디스플레이로 로딩될 수도 있다. 제2 이미지(로드 G)가 디스플레이로 로딩되고 있을 때, 제1 이미지의 호모그래픽 변환에 대응하는 적색 호모그래픽 이미지(red-homographic image)(R-H) 및 이전에 로딩된 청색 이미지의 제2 픽셀 오프셋 조정에 대응하는 청색 픽셀 조정 이미지(blue-pixel-adjusted image)(B-P2)는 디스플레이 상에 디스플레이될 수도 있다. 제3 이미지(로드 B)가 디스플레이로 로딩되고 있을 때, 제2 이미지의 호모그래픽 변환에 대응하는 녹색 호모그래픽 이미지(G-H) 및 적색 호모그래픽 이미지(R-H)의 제1 픽셀 오프셋 조정에 대응하는 적색 픽셀 조정 이미지(R-P1)는 디스플레이 상에 디스플레이될 수도 있다. T3과 T4 사이에서, 적색 호모그래픽 이미지(R-H)의 제2 픽셀 오프셋 조정에 대응하는 적색 픽셀 조정 이미지(R-P2) 및 녹색 호모그래픽 이미지(G-H)의 제1 픽셀 오프셋 조정에 대응하는 녹색 픽셀 조정 이미지(G-P1)가 디스플레이되는 동안, 제3 이미지의 호모그래픽 변환에 대응하는 청색 호모그래픽 이미지(B-H)가 디스플레이될 수도 있다. 시간 T4와 T5 사이에서, 다음 번 적색의 컬러 필드 이미지가 디스플레이로 로딩되고 있을 때, 녹색 호모그래픽 이미지(G-H)의 제2 픽셀 오프셋 조정에 대응하는 녹색 픽셀 조정 이미지(G-P2) 및 청색 호모그래픽 이미지(B-H)의 제1 픽셀 오프셋 조정에 대응하는 청색 픽셀 조정 이미지(B-P1)가 디스플레이된다. 몇몇 경우에서, 디스플레이는 OLED 디스플레이를 포함할 수도 있고 T1과 T5 사이의 시간은 대략 8ms를 포함할 수도 있다.
일 실시형태에서, 로딩된 컬러 이미지에 대한 호모그래픽 변환 및 디스플레이된 이미지에 대한 임의의 픽셀 오프셋 조정은 디스플레이 내의 회로류에 의해 수행될 수도 있다. 다른 실시형태에서, 컬러 이미지에 대한 호모그래픽 변환 및 디스플레이된 이미지에 대한 임의의 픽셀 오프셋 조정은, 호스트 디바이스에 의해 수행되어 디스플레이로 송신될 수도 있다.
도 5c는 디스플레이와 연관되는 디스플레이 시퀀스의 대안적인 실시형태를 묘사한다. 디스플레이 시퀀스는 필드 순차 컬러 디스플레이 또는 비 필드 순차(non-field-sequential) 컬러 디스플레이에 대응할 수도 있다. 일 실시형태에서, 적색, 녹색, 및 청색의 컬러 필드의 각각의 컬러 필드와 연관되는 이미지는 시간의 상이한 지점에서 디스플레이로 로딩될 수도 있다. 예를 들면, 적색의 컬러 필드에 연관되는 제1 이미지(R-L)는 시간 T0와 T1 사이에서 디스플레이로 로딩될 수도 있고, 녹색의 컬러 필드에 연관되는 제2 이미지(G-L)는 시간 T1과 T2 사이에서 디스플레이로 로딩될 수도 있고, 청색의 컬러 필드에 연관되는 제3 이미지(B-L)는 시간 T2와 T3 사이에서 디스플레이로 로딩될 수도 있다. 제2 이미지(G-L)가 디스플레이로 로딩되고 있을 때, 제1 이미지의 호모그래픽 변환에 대응하는 적색 호모그래픽 이미지(R-H), 이전에 로딩된 청색 이미지의 제2 픽셀 오프셋 조정에 대응하는 청색 픽셀 조정 이미지(B-P2), 및 이전에 로딩된 녹색 이미지의 제3 픽셀 오프셋 조정에 대응하는 녹색 픽셀 조정 이미지(G-P3)는 디스플레이 상에 디스플레이될 수도 있다(즉, G-L 이미지가 디스플레이로 로딩되는 동안 G-P3 이미지는 디스플레이될 수도 있다). 제3 이미지(B-L)가 디스플레이로 로딩되고 있을 때, 제2 이미지의 호모그래픽 변환에 대응하는 녹색 호모그래픽 이미지(G-H), 적색 호모그래픽 이미지(R-H)의 제1 픽셀 오프셋 조정에 대응하는 적색 픽셀 조정 이미지(R-P1), 및 이전에 로딩된 청색 이미지의 제3 픽셀 오프셋 조정에 대응하는 청색 픽셀 조정 이미지(B-P3)는 디스플레이 상에 디스플레이될 수도 있다(즉, B-L 이미지가 디스플레이로 로딩되는 동안 B-P3 이미지는 디스플레이될 수도 있다). 시간 T3과 T4 사이에서, 적색 호모그래픽 이미지(R-H)의 제2 픽셀 오프셋 조정에 대응하는 적색 픽셀 조정 이미지(R-P2) 및 녹색 호모그래픽 이미지(G-H)의 제1 픽셀 오프셋 조정에 대응하는 녹색 픽셀 조정 이미지(G-P1)가 디스플레이되는 동안, 제3 이미지의 호모그래픽 변환에 대응하는 청색 호모그래픽 이미지(B-H)가 디스플레이될 수도 있다. 시간 T4와 T5 사이에서, 다음 번 적색의 컬러 필드 이미지가 디스플레이로 로딩되고 있을 때, 녹색 호모그래픽 이미지(G-H)의 제2 픽셀 오프셋 조정에 대응하는 녹색 픽셀 조정 이미지(G-P2), 청색 호모그래픽 이미지(B-H)의 제1 픽셀 오프셋 조정에 대응하는 청색 픽셀 조정 이미지(B-P1), 및 이전에 로딩된 적색 이미지의 제3 픽셀 오프셋 조정에 대응하는 적색 픽셀 조정 이미지(R-P3)가 디스플레이 상에 디스플레이된다(즉, 다음 번 적색 이미지가 디스플레이로 로딩되는 동안 R-P3 이미지가 디스플레이될 수도 있다). 몇몇 경우에서, 디스플레이는, 다른 이미지를 디스플레이하고 있는 동안 새로운 이미지가 로딩되는 것을 허용하기 위한 이미지 버퍼를 갖는 OLED 디스플레이를 포함할 수도 있고 시간 T1과 T5 사이의 시간은 대략 8ms 포함할 수도 있다.
일 실시형태에서, 로딩된 컬러 이미지에 대한 호모그래픽 변환 및 디스플레이된 이미지에 대한 임의의 픽셀 오프셋 조정은 디스플레이 내의 회로류에 의해 수행될 수도 있다. 다른 실시형태에서, 컬러 이미지에 대한 호모그래픽 변환 및 디스플레이된 이미지에 대한 임의의 픽셀 오프셋 조정은, 호스트 디바이스에 의해 수행되어 디스플레이로 송신될 수도 있다.
도 6a는, 렌더링 프레임 레이트보다 더 높은 프레임 레이트에서, 가상 오브젝트와 연관되는 이미지를 생성하고 디스플레이하기 위한 방법의 일 실시형태를 설명하는 플로우차트이다. 일 실시형태에서, 도 6a의 프로세스는, 도 1에서의 모바일 디바이스(19)와 같은 HMD에 의해 수행될 수도 있다.
단계 602에서, HMD와 연관되는 포즈 이력이 획득된다. 포즈 이력은 시간에 걸친 HMD의 포지션, 방위, 및 움직임을 포함할 수도 있다. 단계 604에서, HMD의 현재의 포즈가 결정된다. 현재의 포즈는 카메라 기반의 포즈 추적을 사용하여 결정될 수도 있다. 단계 606에서, HMD의 예측 포즈는 현재 포즈 및 포즈 이력에 기초하여 결정된다. 예측 포즈는 시간의 제1 지점에 대응할 수도 있다(예를 들면, 현재의 포즈가 검출된 때로부터 8ms 또는 16ms 미래).
단계 608에서, 예측 포즈에 기초하여 렌더링된 이미지가 생성된다. 렌더링된 이미지는, 예측 포즈가 주어지면 3차원 장면을 2차원 이미지로 렌더링하는 능력을 갖는 GPU 또는 다른 렌더링 시스템을 사용하여 렌더링될 수도 있다. 단계 610에서, HMD의 업데이트 포즈는 시간의 제1 지점에 대응하여 결정된다. 업데이트 포즈는 카메라 기반의 포즈 추적용 정보 및/또는 카메라 기반의 포즈 추적용 정보와 낮은 레이턴시의 IMU 모션 정보의 조합을 사용하여 결정될 수도 있다.
단계 612에서, 예측 포즈와 업데이트 포즈 사이의 포즈 차이가 결정된다. 포즈 차이는, 렌더링된 이미지를 생성할 때 부정확한 포즈 예측을 보상하기 위해, 렌더링된 이미지의 일부에 적용되는 그래픽 조정의 정도를 결정할 수도 있다.
단계 614에서, 포즈 차이에 기초하여 업데이트 이미지가 생성된다. 업데이트 이미지는 렌더링된 이미지의 일부의 호모그래픽 변환을 통해 생성될 수도 있다. 몇몇 경우에, 호모그래픽 변환은 아핀 변환을 포함할 수도 있다. 업데이트 이미지는, 픽셀 오프셋 조정 또는 호모그래픽 변환과 픽셀 오프셋 조정의 조합을 사용하여 또한 생성될 수도 있다. 몇몇 경우에서, 호모그래픽 변환 및/또는 픽셀 오프셋 조정은 HMD의 디스플레이와 통합되는 컨트롤러 또는 프로세서를 사용하여 생성될 수도 있다. 일 실시형태에서, 픽셀 오프셋 조정은, 디스플레이의 픽셀 어레이 내에서의 픽셀 값의 시프팅을 허용하는 시프트 레지스터 또는 다른 회로류를 통합하는 HMD의 디스플레이를 사용하여 수행될 수도 있다. 단계 616에서, 업데이트 이미지는 HMD 상에 디스플레이된다. 업데이트 이미지는 HMD와 통합되는 OLED 디스플레이를 사용하여 디스플레이될 수도 있다.
도 6b는, 디스플레이와 통합되는 회로류를 사용하여 디스플레이에 제공되는 렌더링된 이미지에 대해 그래픽적 조정을 행하기 위한 방법의 일 실시형태를 설명하는 플로우차트이다. 일 실시형태에서, 도 6b의 프로세스는, 도 1에서의 디스플레이(150)와 같은 디스플레이에 의해 수행될 수도 있다.
단계 632에서, 호스트로부터 이미지가 획득된다. 호스트는 가상 오브젝트의 이미지를 생성하기 위한 코어 렌더링 파이프라인을 포함할 수도 있다. 단계 634에서, 이미지에 대해 호모그래픽 변환을 적용하는 것에 의해 제1 업데이트 이미지가 생성된다. 호모그래픽 변환은 아핀 변환을 포함할 수도 있다. 단계 636에서, 제1 업데이트 이미지는 디스플레이의 픽셀 어레이로 로딩된다. 디스플레이는 OLED 디스플레이를 포함할 수도 있다. 단계 638에서, 제1 업데이트 이미지는 디스플레이를 사용하여 디스플레이될 수도 있다.
단계 640에서, 픽셀 어레이 내의 제1 업데이트 이미지를 시프트하는 것에 의해 제2 업데이트 이미지가 생성될 수도 있다. 일 실시형태에서, 픽셀 어레이 내의 래치된 데이터 값은 인접한 픽셀 사이에서 수직으로(즉, 칼럼 방향으로) 및/또는 수평으로(즉, 로우 방향으로) 시프트될 수도 있다. 다른 실시형태에서, 픽셀 어레이 내에 저장되는 데이터 값은, 픽셀 어레이 내의 복수의 LED 중 하나를 구동할 수도 있다(즉, 래치된 데이터 값을 물리적으로 시프팅하는 대신, 각각의 픽셀 내의 멀티플렉서는 자신의 대응하는 LED에 적용할 정확한 래치된 데이터 값을 선택하기 위해 사용될 수도 있다). 단계 642에서, 제2 업데이트 이미지는 디스플레이를 사용하여 디스플레이된다.
도 7a는, 렌더링 프레임 레이트보다 더 높은 프레임 레이트에서, 가상 오브젝트와 연관되는 이미지를 생성하고 디스플레이하기 위한 방법의 대안적인 실시형태를 설명하는 플로우차트이다. 일 실시형태에서, 도 7a의 프로세스는, 도 1에서의 모바일 디바이스(19)와 같은 HMD에 의해 수행될 수도 있다.
단계 702에서, HMD와 연관되는 제1 예측 포즈가 결정된다. HMD의 제1 예측 포즈는 HMD의 포즈 이력에 기초할 수도 있고, 제1 예측 포즈에 기초한 이미지가 HMD의 디스플레이를 사용하여 디스플레이되거나 투사될 수도 있는 시간의 미래의 지점에 대응할 수도 있다. 단계 704에서, 제1 예측 포즈에 기초하여 렌더링된 이미지가 생성된다. 렌더링된 이미지는, 제1 예측 포즈가 주어지면 3차원 장면을 2차원 이미지로 렌더링하는 능력을 갖는 GPU 또는 다른 렌더링 시스템을 사용하여 렌더링될 수도 있다. 몇몇 경우에서, 렌더링 시스템은 렌더링된 이미지를 렌더링하는 데 30ms 또는 60ms가 걸릴 수도 있다. 렌더링 시스템에 의해 생성되는 각각의 렌더링된 이미지는, 렌더링된 이미지가 생성되었던 특정 포즈를 식별하는 메타데이터와 연관될 수도 있다. 렌더링된 이미지를 생성하기 위한 프로세스의 일 실시형태는, 도 7b를 참조로 나중에 설명된다.
단계 706에서, HMD의 제2 예측 포즈가 결정된다. 제2 예측 포즈는 업데이트 포즈(예를 들면, 제1 예측 포즈를 결정하기 이전에 이용불가능한 HMD의 모션 정보 및 업데이트 정보에 기초한 업데이트 포즈 추정)를 포함할 수도 있다. 몇몇 경우에서, 제2 예측 포즈는, 카메라 기반의 포즈 추적용 정보 및/또는 카메라 기반의 포즈 추적용 정보와 낮은 레이턴시의 IMU 모션 정보의 조합을 외삽하는 것에 의해 결정될 수도 있다.
몇몇 실시형태에서, 제2 예측 포즈는, 렌더링된 이미지로부터 유도되는 업데이트 이미지의 디스플레이를 위한 중간 디스플레이 시간에 대응할 수도 있다. 업데이트 이미지의 중간 디스플레이 시간은, 업데이트 이미지의 투사의 중앙 광자 또는 업데이트 이미지의 투사 시간의 중간 지점에 대응할 수도 있다.
단계 708에서, 제1 예측 포즈와 제2 예측 포즈 사이의 포즈 차이가 결정된다. 포즈 차이는, 렌더링된 이미지를 생성할 때 부정확한 포즈 예측을 보상하기 위해, 렌더링된 이미지의 일부에 적용되는 그래픽 조정의 정도를 결정할 수도 있다. 몇몇 실시형태에서, 포즈 차이가 차이 임계치 미만이면, 후속하는 그래픽 조정은 픽셀 오프셋 조정을 포함할 수도 있다. 포즈 차이가 차이 임계치 이상이면, 후속 그래픽 조정은 호모그래피를 포함할 수도 있다.
단계 710에서, 렌더링된 이미지의 적어도 일부 및 포즈 차이에 기초하여 업데이트 이미지가 생성된다. 업데이트 이미지는 렌더링된 이미지의 일부의 호모그래픽 변환을 통해 생성될 수도 있다. 몇몇 경우에서, 호모그래픽 변환은 다중 평면 호모그래피, 단일 평면 호모그래피, 및/또는 아핀 호모그래피를 포함할 수도 있다. 업데이트 이미지는, 픽셀 오프셋 조정 또는 호모그래픽 변환과 픽셀 오프셋 조정의 조합을 사용하여 또한 생성될 수도 있다. 몇몇 경우에서, 호모그래픽 변환 및/또는 픽셀 오프셋 조정은, HMD의 디스플레이와 통합되는 컨트롤러 또는 프로세서를 사용하여 또는 디스플레이 내에 통합되는 커스텀 회로류(custom circuitry)를 사용하여 생성될 수도 있다. 일 실시형태에서, 픽셀 오프셋 조정은, 디스플레이의 픽셀 어레이 내에서의 픽셀 값의 시프팅을 허용하는 시프트 레지스터 또는 다른 회로류를 통합하는 HMD의 디스플레이를 사용하여 수행될 수도 있다. 단계 712에서, 업데이트 이미지는 HMD 상에 디스플레이된다. 업데이트 이미지는 HMD와 통합되는 OLED 디스플레이 또는 LCOS 디스플레이를 사용하여 디스플레이될 수도 있다.
도 7b는 렌더링된 이미지를 생성하기 위한 프로세스의 일 실시형태를 설명하는 플로우차트이다. 도 7b에서 설명되는 프로세스는 도 7a에서의 단계 704를 구현하기 위한 프로세스의 일 예이다. 일 실시형태에서, 도 7b의 프로세스는, 도 1에서의 모바일 디바이스(19)와 같은 HMD에 의해 수행될 수도 있다.
단계 722에서, HMD의 예측 포즈가 획득된다. 예측 포즈는, 도 3a에서의 포즈 추정 모듈(312)과 같은 포즈 추정 모듈에게 질의하는 것에 의해 획득될 수도 있다. 단계 724에서, HMD의 엔드 유저가 초점을 맞추고 있는 가상 오브젝트가 식별된다. 일 실시형태에서, 시간의 특정한 기간 내에 엔드 유저가 초점을 맞춘 피관찰 가상 오브젝트(viewed virtual object)의 세트를 결정하기 위해, 눈 추적이 사용될 수도 있다. 가상 오브젝트는 피관찰 가상 오브젝트의 세트 중 가장 빈번하게 보여진(viewed) 가상 오브젝트로서 식별될 수도 있다. 가상 오브젝트는 HMD로부터의 깊이 또는 거리와 연관될 수도 있다.
단계 726에서, 증강 현실 환경 내에서의 가상 오브젝트의 로케이션에 기초하여 안정화 평면(stabilization plane)이 결정된다. 안정화 평면은, 증강 현실 환경 내에서의 가상 오브젝트의 로케이션과 일치할 수도 있다. 이 경우, 안정화 평면(및 대응하는 렌더링된 이미지)은, 엔드 유저가 시간에 걸쳐 증강 현실 환경 내의 가상 오브젝트 사이에서 그들의 초점을 옮겨 갈 때 즉석에서(on-the-fly) 결정될 수도 있다(즉, 증강 현실 환경 내에서의 안정화 평면의 로케이션은, 시간의 특정한 기간 동안 증강 현실 환경 내에서 가장 빈번하게 보여진 가상 오브젝트의 로케이션에 기초하여 옮겨질 수도 있다. 단계 728에서, 렌더링된 이미지는 예측 포즈 및 안정화 평면에 기초하여 생성된다. 렌더링된 이미지는 안정화 평면 내에 2차원 이미지를 포함할 수도 있다. 단계 730에서, 렌더링된 이미지는 출력된다.
개시된 기술의 일 실시형태는 씨쓰루 디스플레이와 통신하는 하나 이상의 프로세서를 포함한다. 하나 이상의 프로세서는 모바일 디바이스의 제1 예측 포즈와 연관되는 렌더링된 이미지를 생성하고 모바일 디바이스의 제2 예측 포즈를 결정한다. 제2 예측 포즈는 제1 예측 포즈와는 상이하다. 제2 예측 포즈는, 업데이트 이미지가 디스플레이되는 시간의 지점에 대응한다. 하나 이상의 프로세서는, 제1 예측 포즈와 제2 예측 포즈 사이의 포즈 차이를 결정하고 렌더링된 이미지의 적어도 일부 및 포즈 차이에 기초하여 업데이트 이미지를 생성한다. 씨쓰루 디스플레이는 업데이트 이미지를 디스플레이한다.
개시된 기술의 일 실시형태는 모바일 디바이스의 제1 예측 포즈와 연관되는 렌더링된 이미지를 생성하는 것 및 모바일 디바이스의 제2 예측 포즈를 결정하는 것을 포함한다. 제2 예측 포즈는 제1 예측 포즈와는 상이하며, 업데이트 이미지가 모바일 디바이스 상에서 디스플레이되는 시간의 지점에 대응한다. 방법은, 제1 예측 포즈와 제2 예측 포즈 사이의 포즈 차이를 결정하는 것, 렌더링된 이미지의 적어도 일부 및 포즈 차이에 기초하여 업데이트 이미지의 적어도 일부를 생성하는 것, 및 모바일 디바이스의 디스플레이 상에 업데이트 이미지의 적어도 일부를 디스플레이하는 것을 더 포함한다.
개시된 기술의 일 실시형태는, HMD에 연관되는 제1 예측 포즈를 결정하는 것, 제1 예측 포즈에 기초하여 렌더링된 이미지를 생성하는 것, 및 제1 예측 포즈를 결정하는 것에 후속하여 HMD와 연관되는 제2 예측 포즈를 결정하는 것을 포함한다. 제2 예측 포즈는, HMD 상에 업데이트 이미지를 디스플레이하기 위한 중간 디스플레이 시간(예를 들면, 투사된 이미지에 대한 중앙 광자에 대응하는 시간)에 대응한다. 방법은, 제1 예측 포즈와 제2 예측 포즈 사이의 포즈 차이를 결정하는 것, 렌더링된 이미지의 적어도 일부 및 포즈 차이에 기초하여 업데이트 이미지를 생성하는 것, 및 HMD를 사용하여 업데이트 이미지를 디스플레이하는 것을 더 포함할 수도 있다.
도 8은, 도 1에서의 모바일 디바이스(19)와 같은 모바일 디바이스(8300)의 일 실시형태의 블록도이다. 모바일 디바이스는, 무선 수신기/송신기 기술과 통합된 랩탑 컴퓨터, 포켓 컴퓨터, 모바일 폰, HMD, 개인 휴대용 정보 단말(personal digital assistant), 및 핸드헬드 미디어 디바이스를 포함할 수도 있다.
모바일 디바이스(8300)는 하나 이상의 프로세스(8312) 및 메모리(8310)를 포함한다. 메모리(8310)는 애플리케이션(8330) 및 불휘발성 스토리지(8340)를 포함한다. 메모리(8310)는 임의의 다양한 메모리 저장 매체 타입일 수 있는데, 불휘발성 및 휘발성 메모리를 포함한다. 모바일 디바이스 오퍼레이팅 시스템은, 모바일 디바이스(8300)의 상이한 동작을 핸들링하고, 전화를 걸고 받는 것, 텍스트 메시징, 보이스메일 체킹 등등과 같은 동작에 대한 유저 인터페이스를 포함할 수도 있다. 애플리케이션(8330)은 임의의 구색(assortment)의 프로그램, 예컨대 사진 및/또는 비디오용의 카메라 애플리케이션, 주소록, 캘린더 애플리케이션, 미디어 플레이어, 인터넷 브라우저, 게임, 알람 애플리케이션, 및 다른 애플리케이션일 수 있다. 메모리(8310)에서의 불휘발성 스토리지 컴포넌트(8340)는 음악, 사진, 연락처 데이터(contact data), 스케줄링 데이터, 및 기타 파일과 같은 데이터를 포함할 수도 있다.
하나 이상의 프로세스(8312)는 씨쓰루 디스플레이(8309)와 통신한다. 씨쓰루 디스플레이(8309)는 현실 세계 환경과 연관되는 하나 이상의 가상 오브젝트를 디스플레이할 수도 있다. 하나 이상의 프로세서(8312)는 또한, 결국 안테나(8302)와 커플링되는 RF 송신기/수신기(8306)와, 적외선 송신기/수신기(8308)와, 글로벌 포지셔닝 서비스(global positioning service; GPS) 수신기(8365)와, 그리고 가속도계 및/또는 자기력계를 포함할 수도 있는 움직임/방위 센서(8314)와 통신한다. RF 송신기/수신기(8308)는, Bluetooth® 또는 IEEE 802.11 표준안과 같은 다양한 무선 기술 표준안을 통한 무선 통신에 대응할 수도 있다. 가속도계는, 유저가 제스쳐를 통해 커맨드를 입력하게 하는 지능형 유저 인터페이스 애플리케이션, 및 모바일 디바이스가 회전될 때 세로모드에서 가로모드로 디스플레이를 자동적으로 변경할 수 있는 방위 애플리케이션과 같은 애플리케이션을 가능하게 하기 위해, 모바일 디바이스에 통합된다. 가속도계는, 예를 들면, 반도체 칩 상에 구축되는 (마이크로미터 크기의) 미세한 기계적 디바이스인 마이크로 전자기계 시스템(micro-electromechanical system; MEMS)에 의해 제공될 수 있다. 가속도 방향뿐만 아니라, 방위, 진동 및 충격이 감지될 수 있다. 하나 이상의 프로세스(8312)는 또한, 링어(ringer)/진동기(8316), 유저 인터페이스 키패드/스크린(8318), 스피커(8320), 마이크(8322), 카메라(8324), 광 센서(8326) 및 온도 센서(8328)와 통신한다. 유저 인터페이스 키패드/스크린은 터치 감지 스크린 디스플레이를 포함할 수도 있다.
하나 이상의 프로세스(8312)는 무선 신호의 송신 및 수신을 제어한다. 송신 모드 동안, 하나 이상의 프로세스(8312)는 마이크(8322)로부터의 보이스 신호, 또는 다른 데이터 신호를 RF 송신기/수신기(8306)로 제공한다. 송신기/수신기(8306)는 신호를 안테나(8302)를 통해 송신한다. 링어/진동기(8316)는 유입 호출, 텍스트 메시지, 캘린더 리마인더, 알람 클록 리마인더, 또는 다른 통지를 유저에게 시그널링하기 위해 사용된다. 수신 모드 동안, RF 송신기/수신기(8306)는 안테나(8302)를 통해 원격 스테이션으로부터 보이스 신호 또는 데이터 신호를 수신한다. 수신된 보이스 신호는 스피커(8320)로 제공되고 한편 다른 수신된 데이터 신호는 적절히 프로세싱된다.
추가적으로, 배터리(8304)를 충전하기 위해, 모바일 디바이스(8300)를 외부 전원, 예컨대 AC 어댑터 또는 전력이 인가되는 도킹 스테이션에 연결하기 위해, 물리적 커넥터(8388)가 사용될 수도 있다. 물리적 커넥터(8388)는, 외부 컴퓨팅 디바이스에 대한 데이터 연결부로서 또한 사용될 수 있다. 데이터 연결부는, 모바일 디바이스 데이터를 다른 디바이스 상의 컴퓨팅 데이터와 동기화시키는 것과 같은 동작을 허용한다.
개시된 기술은, 다양한 다른 범용의 또는 특수 목적의 컴퓨팅 시스템 환경 또는 구성과 함께 동작가능하다. 본 기술과 함께 사용하기에 적합할 수도 있는 널리 공지된 컴퓨팅 시스템, 환경, 및/또는 구성의 예는, 퍼스널 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 셋탑 박스, 프로그래머블 소비자 전자장치, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 상기 시스템 또는 디바이스 중 임의의 것을 포함하는 분산형 컴퓨팅 환경 등등을 포함하지만, 그러나 이들로 제한되지는 않는다.
개시된 기술은, 컴퓨터에 의해 실행되고 있는 컴퓨터 실행가능 명령어, 예컨대 프로그램 모듈의 일반적인 맥락에서 설명될 수도 있다. 일반적으로, 본원에서 설명된 바와 같은 소프트웨어 및 프로그램 모듈은, 루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조, 및 특정 작업을 수행하거나 특정한 추상 데이터 타입을 구현하는 다른 타입의 구조를 포함한다. 하드웨어 또는 하드웨어와 소프트웨어의 조합이 본원에서 설명된 것과 같은 소프트웨어 모듈을 대체할 수도 있다.
개시된 기술은 또한, 통신 네트워크를 통해 링크되는 원격 프로세싱 디바이스에 의해 작업이 수행되는 분산형 컴퓨팅 환경에서 실시될 수도 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은, 메모리 스토리지 디바이스를 포함하는 로컬 및 원격 컴퓨터 저장 매체 둘 다에 위치될 수도 있다.
본 문서의 목적을 위해, 개시된 기술과 연관되는 각각의 프로세스는 연속적으로 그리고 하나 이상의 컴퓨팅 디바이스에 의해 수행될 수도 있다. 프로세스에서의 각각의 단계는, 다른 단계에서 사용되는 것과 동일한 또는 상이한 컴퓨팅 디바이스에 의해 수행될 수도 있고, 각각의 단계는 반드시 단일의 컴퓨팅 디바이스에 의해 수행될 필요는 없다.
본 문서의 목적을 위해, 본 명세서에서의 "한 실시형태", "일 실시형태", "몇몇 실시형태", 또는 "다른 실시형태"에 대한 언급은, 상이한 실시형태를 설명하기 위해 사용될 수도 있으며, 반드시 동일한 실시형태를 지칭하지는 않는다.
본 문서의 목적을 위해, 연결은 직접 연결이거나 또는 (예를 들면, 다른 부품을 통한) 간접 연결일 수 있다.
본 문서의 목적을 위해, 용어 오브젝트의 "세트"는, 오브젝트 중 하나 이상의 것의 "세트"를 지칭한다.
비록 본 주제가 구조적 특징 및/또는 방법론적 액트(act)에 고유한 언어로 설명되었지만, 첨부의 청구범위에서 정의되는 주제가 상기에서 설명되는 특정 특징 또는 액트로 반드시 제한되는 것은 아니다는 것이 이해되어야 한다. 오히려, 위에서 설명된 특정 특징 및 액트는 청구범위를 구현하는 예시적인 형태로서 설명된다.

Claims (15)

  1. 증강 현실 환경을 제공하는 전자 디바이스에 있어서,
    상기 전자 디바이스의 제1 예측 포즈와 연관된 렌더링된 이미지를 획득하고, 상기 제1 예측 포즈와 상기 전자 디바이스의 제2 예측 포즈 간의 차이에 기초하여 상기 렌더링된 이미지의 제1 부분에 적용될 제1 호모그래픽 변환(homographic transformation)을 식별하도록 구성된 제어 회로 - 상기 제어 회로는, 상기 렌더링된 이미지의 제1 부분에 상기 제1 호모그래픽 변환을 적용함으로써, 업데이트 이미지의 제1 부분을 생성하도록 구성됨 - ; 및
    상기 렌더링된 이미지의 제2 부분 및 상기 업데이트 이미지의 제1 부분을 동시에 디스플레이하도록 구성된 씨쓰루(see-through) 디스플레이 - 상기 씨쓰루 디스플레이는 상기 제어 회로 및 픽셀 어레이를 갖는 집적 회로를 포함하고, 상기 씨쓰루 디스플레이는, 상기 렌더링된 이미지의 제1 부분을 상기 픽셀 어레이 내에 저장하고, 상기 픽셀 어레이 내의 픽셀 값을 시프트하기 위해 상기 픽셀 어레이 내의 픽셀 간의 픽셀 상호연결을 사용하여 상기 업데이트 이미지의 제1 부분을 생성하도록 구성됨 -
    를 포함하는, 전자 디바이스.
  2. 제1항에 있어서,
    상기 렌더링된 이미지의 제1 부분은 상기 렌더링된 이미지의 제1 컬러 필드와 연관되고, 상기 렌더링된 이미지의 제2 부분은 상기 렌더링된 이미지의 제2 컬러 필드와 연관되는 것인, 전자 디바이스.
  3. 제1항에 있어서,
    상기 제1 예측 포즈는 시간의 제1 지점과 대응하고, 상기 제2 예측 포즈는 상기 시간의 제1 지점에 후속하는 시간의 제2 지점과 대응하는 것인, 전자 디바이스.
  4. 제1항에 있어서,
    상기 전자 디바이스는 헤드 마운트형 디스플레이 디바이스(head-mounted display device)를 포함하는 것인, 전자 디바이스.
  5. 증강 현실 환경을 제공하는 방법에 있어서,
    모바일 디바이스에서 렌더링된 이미지를 획득하는 단계 - 상기 렌더링된 이미지는 상기 모바일 디바이스의 제1 예측 포즈와 연관됨 - ;
    상기 모바일 디바이스의 제1 예측 포즈와 상기 모바일 디바이스의 제2 예측 포즈 간의 차이에 기초하여, 상기 렌더링된 이미지의 제1 부분에 적용될 제1 호모그래픽 변환을 결정하는 단계;
    상기 렌더링된 이미지의 제1 부분에 상기 제1 호모그래픽 변환을 적용함으로써, 업데이트 이미지의 제1 부분을 생성하는 단계 - 상기 업데이트 이미지의 제1 부분을 생성하는 단계는, 상기 모바일 디바이스의 디스플레이 내에 통합된 하나 이상의 제어 회로에 의해 수행되고, 상기 디스플레이는 픽셀 어레이를 갖는 집적 회로를 포함하고, 상기 업데이트 이미지의 제1 부분을 생성하는 단계는, 상기 렌더링된 이미지의 제1 부분을 상기 픽셀 어레이 내에 저장하는 단계, 및 상기 픽셀 어레이 내의 픽셀 값을 시프트하기 위해 상기 픽셀 어레이 내의 픽셀 간의 픽셀 상호연결을 사용하여 상기 업데이트 이미지의 제1 부분을 생성하는 단계를 포함함 - ; 및
    상기 모바일 디바이스를 사용하여 상기 렌더링된 이미지의 제2 부분 및 상기 업데이트 이미지의 제1 부분을 동시에 디스플레이하는 단계
    를 포함하는, 증강 현실 환경을 제공하는 방법.
  6. 제5항에 있어서,
    상기 렌더링된 이미지의 제1 부분은 상기 렌더링된 이미지의 제1 컬러 필드와 연관되고, 상기 렌더링된 이미지의 제2 부분은 상기 렌더링된 이미지의 제2 컬러 필드와 연관되는 것인, 증강 현실 환경을 제공하는 방법.
  7. 제5항에 있어서,
    상기 디스플레이는 OLED 디스플레이를 포함하고,
    상기 모바일 디바이스는 헤드 마운트형 디스플레이 디바이스를 포함하는 것인, 증강 현실 환경을 제공하는 방법.
  8. 제5항에 있어서,
    상기 제1 호모그래픽 변환은 아핀 변환(affine transformation)을 포함하는 것인, 증강 현실 환경을 제공하는 방법.
  9. 제5항에 있어서,
    상기 렌더링된 이미지의 제1 부분에 상기 제1 호모그래픽 변환을 적용하는 것은, 상기 렌더링된 이미지의 제1 부분 내의 복수의 픽셀에, 가중치가 부여된 매핑(weighted mapping)을 적용하는 것을 포함하는 것인, 증강 현실 환경을 제공하는 방법.
  10. 제5항에 있어서,
    상기 업데이트 이미지의 제1 부분을 생성하는 단계는, 상기 렌더링된 이미지의 제1 부분에 제1 픽셀 오프셋 조정(pixel offset adjustment)을 적용하는 단계를 포함하는 것인, 증강 현실 환경을 제공하는 방법.
  11. 제10항에 있어서,
    상기 제1 픽셀 오프셋 조정을 적용하는 단계는, 상기 렌더링된 이미지의 제1 부분과 연관된 제1 이미지를 상기 디스플레이의 픽셀 어레이로 로딩(loading)하는 단계, 및 상기 픽셀 어레이 내에 통합된 회로류(circuitry)를 사용하여 상기 제1 이미지가 상기 픽셀 어레이 내에 저장되는 동안 상기 제1 이미지를 시프트하는 단계를 포함하는 것인, 증강 현실 환경을 제공하는 방법.
  12. 제10항에 있어서,
    상기 제1 픽셀 오프셋 조정을 적용하는 단계는, 상기 렌더링된 이미지의 제1 부분과 연관된 제1 이미지를 상기 디스플레이의 버퍼로 로딩하는 단계, 및 상기 버퍼 내의 상기 제1 이미지를 시프트하는 단계를 포함하는 것인, 증강 현실 환경을 제공하는 방법.
  13. 증강 현실 환경을 제공하는 방법에 있어서,
    모바일 디바이스에서 렌더링된 이미지를 획득하는 단계 - 상기 렌더링된 이미지는, 제1 컬러 필드와 연관된 상기 렌더링된 이미지의 제1 부분, 및 제2 컬러 필드와 연관된 상기 렌더링된 이미지의 제2 부분을 포함함 - ;
    상기 렌더링된 이미지의 제1 부분에 제1 호모그래픽 변환을 적용함으로써, 업데이트 이미지의 제1 부분을 생성하는 단계 - 상기 제1 호모그래픽 변환은 상기 모바일 디바이스의 제1 포즈와 상기 모바일 디바이스의 제2 포즈 간의 차이와 연관되고, 상기 모바일 디바이스는 디스플레이를 포함하고, 상기 디스플레이는 픽셀 어레이를 포함하고, 상기 업데이트 이미지의 제1 부분을 생성하는 단계는, 상기 렌더링된 이미지의 제1 부분을 상기 픽셀 어레이 내에 저장하는 단계, 및 상기 픽셀 어레이 내의 픽셀 값을 시프트하기 위해 상기 픽셀 어레이 내의 픽셀 간의 픽셀 상호연결을 사용하여 상기 업데이트 이미지의 제1 부분을 생성하는 단계를 포함함 - ;
    상기 렌더링된 이미지의 제2 부분에 제2 호모그래픽 변환을 적용함으로써, 상기 업데이트 이미지의 제2 부분을 생성하는 단계 - 상기 제2 호모그래픽 변환은 상기 모바일 디바이스의 제1 포즈와 상기 모바일 디바이스의 제3 포즈 간의 차이와 연관됨 - ; 및
    상기 모바일 디바이스를 사용하여 상기 업데이트 이미지의 제1 부분 및 상기 업데이트 이미지의 제2 부분을 디스플레이하는 단계
    를 포함하는, 증강 현실 환경을 제공하는 방법.
  14. 제13항에 있어서,
    상기 업데이트 이미지의 제1 부분 및 상기 업데이트 이미지의 제2 부분을 디스플레이하는 단계는, 상기 업데이트 이미지의 제1 부분 및 상기 업데이트 이미지의 제2 부분을 동시에 디스플레이하는 단계를 포함하는 것인, 증강 현실 환경을 제공하는 방법.
  15. 제13항에 있어서,
    상기 모바일 디바이스는 헤드 마운트형 디스플레이 디바이스를 포함하는 것인, 증강 현실 환경을 제공하는 방법.
KR1020217008996A 2013-07-25 2014-07-23 후기 단계 재투사 KR102302102B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US13/951,351 US9514571B2 (en) 2013-07-25 2013-07-25 Late stage reprojection
US13/951,351 2013-07-25
PCT/US2014/047714 WO2015013347A1 (en) 2013-07-25 2014-07-23 Late stage reprojection
KR1020167004352A KR102234819B1 (ko) 2013-07-25 2014-07-23 후기 단계 재투사

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020167004352A Division KR102234819B1 (ko) 2013-07-25 2014-07-23 후기 단계 재투사

Publications (2)

Publication Number Publication Date
KR20210036424A KR20210036424A (ko) 2021-04-02
KR102302102B1 true KR102302102B1 (ko) 2021-09-13

Family

ID=51398854

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167004352A KR102234819B1 (ko) 2013-07-25 2014-07-23 후기 단계 재투사
KR1020217008996A KR102302102B1 (ko) 2013-07-25 2014-07-23 후기 단계 재투사

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020167004352A KR102234819B1 (ko) 2013-07-25 2014-07-23 후기 단계 재투사

Country Status (5)

Country Link
US (2) US9514571B2 (ko)
EP (1) EP3025312B1 (ko)
KR (2) KR102234819B1 (ko)
CN (1) CN105474273B (ko)
WO (1) WO2015013347A1 (ko)

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009049073A1 (de) * 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
US9443355B2 (en) 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
US9514571B2 (en) 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection
JP6353214B2 (ja) * 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
EP2937789A4 (en) * 2014-02-07 2016-05-25 Entrix Co Ltd CLOUD STREAMING SERVICE SYSTEM, METHOD FOR PROVIDING A CLOUD STREAMING SERVICE AND DEVICE THEREFOR
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
JP6417797B2 (ja) * 2014-09-03 2018-11-07 株式会社リコー 情報端末装置、情報処理方法、システムおよびプログラム
CA2979560C (en) 2015-03-05 2023-11-07 Magic Leap, Inc. Systems and methods for augmented reality
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US9779554B2 (en) 2015-04-10 2017-10-03 Sony Interactive Entertainment Inc. Filtering and parental control methods for restricting visual activity on a head mounted display
EP3292542A1 (en) * 2015-05-04 2018-03-14 Google LLC Pass-through display of captured imagery
US9588593B2 (en) 2015-06-30 2017-03-07 Ariadne's Thread (Usa), Inc. Virtual reality system with control command gestures
US9588598B2 (en) 2015-06-30 2017-03-07 Ariadne's Thread (Usa), Inc. Efficient orientation estimation system using magnetic, angular rate, and gravity sensors
US9607428B2 (en) 2015-06-30 2017-03-28 Ariadne's Thread (Usa), Inc. Variable resolution virtual reality display system
US10089790B2 (en) 2015-06-30 2018-10-02 Ariadne's Thread (Usa), Inc. Predictive virtual reality display system with post rendering correction
CN114998557A (zh) 2015-08-18 2022-09-02 奇跃公司 虚拟和增强现实系统和方法
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
CN106652004A (zh) * 2015-10-30 2017-05-10 北京锤子数码科技有限公司 基于头戴式可视设备对虚拟现实进行渲染的方法及装置
AU2016365422A1 (en) 2015-12-04 2018-06-28 Magic Leap, Inc. Relocalization systems and methods
WO2017112013A1 (en) * 2015-12-22 2017-06-29 Google Inc. System and method for performing electronic display stabilization via retained lightfield rendering
US9978180B2 (en) 2016-01-25 2018-05-22 Microsoft Technology Licensing, Llc Frame projection for augmented reality environments
WO2017139034A1 (en) * 2016-02-09 2017-08-17 Google Inc. Pixel adjusting at display controller for electronic display stabilization
KR20170096468A (ko) * 2016-02-16 2017-08-24 한국전자통신연구원 자동 음장 제어 방법 및 자동 음장 제어 장치 및 상기 자동 음장 제어 장치가 제어하는 출력 장치
CN105931272B (zh) * 2016-05-06 2019-04-05 上海乐相科技有限公司 一种运动对象追踪方法及系统
WO2017206061A1 (zh) * 2016-05-31 2017-12-07 深圳市赛亿科技开发有限公司 一种虚拟旅游风景的系统
CN106094204A (zh) * 2016-06-22 2016-11-09 马秋平 一种改进型vr眼镜
US10237531B2 (en) 2016-06-22 2019-03-19 Microsoft Technology Licensing, Llc Discontinuity-aware reprojection
US10129523B2 (en) * 2016-06-22 2018-11-13 Microsoft Technology Licensing, Llc Depth-aware reprojection
IL280983B (en) * 2016-06-30 2022-07-01 Magic Leap Inc Pose assessment in three-dimensional space
EP3264372A1 (en) * 2016-06-30 2018-01-03 Alcatel Lucent Image processing device and method
KR102317683B1 (ko) 2016-07-28 2021-10-26 삼성전자주식회사 영상을 처리하는 방법, 디바이스 및 기록매체
KR102626821B1 (ko) 2016-08-02 2024-01-18 매직 립, 인코포레이티드 고정-거리 가상 및 증강 현실 시스템들 및 방법들
JP6880174B2 (ja) * 2016-08-22 2021-06-02 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想現実、拡張現実、および複合現実システムおよび方法
US10068553B2 (en) * 2016-09-12 2018-09-04 Intel Corporation Enhanced rendering by a wearable display attached to a tethered computer
US10379611B2 (en) * 2016-09-16 2019-08-13 Intel Corporation Virtual reality/augmented reality apparatus and method
WO2018064287A1 (en) * 2016-09-28 2018-04-05 Ariadne's Thread (Usa), Inc. Predictive virtual reality display system with post rendering correction
JP2018055589A (ja) 2016-09-30 2018-04-05 セイコーエプソン株式会社 プログラム、物体の追跡方法、表示装置
DE102016221204A1 (de) * 2016-10-27 2018-05-03 Siemens Aktiengesellschaft Bestimmung mindestens eines genäherten Zwischendatensatzes für eine Echtzeitanwendung
IL302483B1 (en) * 2016-11-16 2024-02-01 Magic Leap Inc A mixed reality system with reduced use of force
US10424241B2 (en) 2016-11-22 2019-09-24 Google Llc Display panel with concurrent global illumination and next frame buffering
EP3334164B1 (en) 2016-12-09 2019-08-21 Nokia Technologies Oy A method and an apparatus and a computer program product for video encoding and decoding
US10068521B2 (en) 2016-12-19 2018-09-04 Google Llc Partial memory method and system for bandwidth and frame rate improvement in global illumination
KR20180075732A (ko) 2016-12-26 2018-07-05 엘지디스플레이 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
US10242654B2 (en) * 2017-01-25 2019-03-26 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations
US9978118B1 (en) * 2017-01-25 2018-05-22 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with data compression
US10095408B2 (en) 2017-03-10 2018-10-09 Microsoft Technology Licensing, Llc Reducing negative effects of insufficient data throughput for real-time processing
JP7055815B2 (ja) 2017-03-17 2022-04-18 マジック リープ， インコーポレイテッド 仮想コンテンツをワーピングすることを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
KR20230149347A (ko) * 2017-03-17 2023-10-26 매직 립, 인코포레이티드 컬러 가상 콘텐츠 워핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
EP3596702A4 (en) 2017-03-17 2020-07-22 Magic Leap, Inc. MIXED REALITY SYSTEM WITH MULTI-SOURCE VIRTUAL CONTENT COMPOSITION AND ASSOCIATED VIRTUAL CONTENT GENERATION PROCESS
US10698068B2 (en) * 2017-03-24 2020-06-30 Samsung Electronics Co., Ltd. System and method for synchronizing tracking points
US10514753B2 (en) * 2017-03-27 2019-12-24 Microsoft Technology Licensing, Llc Selectively applying reprojection processing to multi-layer scenes for optimizing late stage reprojection power
US10410349B2 (en) * 2017-03-27 2019-09-10 Microsoft Technology Licensing, Llc Selective application of reprojection processing on layer sub-regions for optimizing late stage reprojection power
US10255891B2 (en) * 2017-04-12 2019-04-09 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with multiple LSR processing engines
US10467456B2 (en) * 2017-04-17 2019-11-05 Htc Corporation Tracking system for tracking an object based on silhouette
US10928892B2 (en) * 2017-05-01 2021-02-23 Alibaba Technology (Israel) Ltd. Optical engine time warp for augmented or mixed reality environment
US10403029B2 (en) * 2017-05-03 2019-09-03 Microsoft Technology Licensing, Llc Methods and systems for multistage post-rendering image transformation
US10785471B1 (en) * 2017-05-12 2020-09-22 Facebook Technologies, Llc Upsampling content for head-mounted displays
EP3633627A4 (en) * 2017-05-24 2021-03-24 Furuno Electric Co., Ltd. VIDEO GENERATING DEVICE
US10139631B1 (en) 2017-06-05 2018-11-27 Microsoft Technology Licensing, Llc Apparatus and method of 1:1 matching head mounted display view to head movement that controls articulated camera
US10360832B2 (en) 2017-08-14 2019-07-23 Microsoft Technology Licensing, Llc Post-rendering image transformation using parallel image transformation pipelines
JP6711803B2 (ja) * 2017-10-13 2020-06-17 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
RU2758036C1 (ru) 2017-12-18 2021-10-25 Общество С Ограниченной Ответственностью "Альт" Способ и система для оптико-инерциального трекинга подвижного объекта
CN109085915B (zh) * 2017-12-29 2021-05-14 成都通甲优博科技有限责任公司 一种增强现实方法、系统、设备及移动终端
EP3521899A1 (en) * 2018-02-03 2019-08-07 Facebook Technologies, LLC Apparatus, system, and method for achieving intraframe image processing in head-mounted displays
EP3522150A3 (en) * 2018-02-03 2020-01-01 Facebook Technologies, LLC Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
US10559276B2 (en) 2018-02-03 2020-02-11 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
US10706813B1 (en) 2018-02-03 2020-07-07 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data
WO2019180298A1 (en) * 2018-03-20 2019-09-26 Nokia Technologies Oy Selectively controlling transparency states of pixels of a display
US11360553B2 (en) 2018-04-19 2022-06-14 Pcms Holdings, Inc. Systems and methods employing predictive overfilling for virtual reality
US10678325B2 (en) 2018-05-22 2020-06-09 Facebook Technologies, Llc Apparatus, system, and method for accelerating positional tracking of head-mounted displays
DE102018209377A1 (de) * 2018-06-12 2019-12-12 Volkswagen Aktiengesellschaft Verfahren zur Darstellung von AR-/VR-Inhalten auf einem mobilen Endgerät und mobiles Endgerät, auf dem AR-/VR-Inhalte dargestellt werden
US11151793B2 (en) * 2018-06-26 2021-10-19 Magic Leap, Inc. Waypoint creation in map detection
US11379948B2 (en) 2018-07-23 2022-07-05 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US10600236B2 (en) * 2018-08-06 2020-03-24 Valve Corporation Prediction and throttling adjustments based on application rendering performance
US10832481B2 (en) * 2018-08-21 2020-11-10 Disney Enterprises, Inc. Multi-screen interactions in virtual and augmented reality
US11308681B1 (en) * 2018-11-02 2022-04-19 Facebook Technologies, Llc. Display engine for post-rendering processing
KR102195965B1 (ko) * 2018-12-14 2020-12-28 한국전자기술연구원 3차원 재구성 방법, 이를 위한 장치 및 시스템
US10768695B2 (en) * 2019-02-01 2020-09-08 Facebook Technologies, Llc Artificial reality system having adaptive degrees of freedom (DOF) selection
US11315328B2 (en) * 2019-03-18 2022-04-26 Facebook Technologies, Llc Systems and methods of rendering real world objects using depth information
US11010921B2 (en) 2019-05-16 2021-05-18 Qualcomm Incorporated Distributed pose estimation
CN110244840A (zh) * 2019-05-24 2019-09-17 华为技术有限公司 图像处理方法、相关设备及计算机存储介质
CN110557626B (zh) * 2019-07-31 2021-06-08 华为技术有限公司 一种图像显示的方法及电子设备
KR20220013396A (ko) * 2019-09-23 2022-02-04 애플 인크. 컴퓨터 생성 현실 텍스트의 렌더링
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
CN112752119B (zh) * 2019-10-31 2023-12-01 中兴通讯股份有限公司 一种时延误差校正方法、终端设备、服务器及存储介质
KR102193776B1 (ko) * 2019-12-26 2020-12-22 성균관대학교 산학협력단 강화학습 기반 센서 데이터 관리 방법 및 시스템
US11150470B2 (en) 2020-01-07 2021-10-19 Microsoft Technology Licensing, Llc Inertial measurement unit signal based image reprojection
US11032534B1 (en) * 2020-02-20 2021-06-08 Microsoft Technology Licensing, Llc Planar deviation based image reprojection
US11099396B2 (en) 2020-04-10 2021-08-24 Samsung Electronics Company, Ltd. Depth map re-projection based on image and pose changes
US11263729B2 (en) * 2020-05-26 2022-03-01 Microsoft Technology Licensing, Llc Reprojection and wobulation at head-mounted display device
US11539931B2 (en) * 2020-06-12 2022-12-27 Microsoft Technology Licensing, Llc Dual system optical alignment for separated cameras
US11669154B2 (en) 2020-09-03 2023-06-06 Samsung Electronics Co., Ltd. Method and device for reducing performance difference between contents and devices in communication system
KR20220093985A (ko) 2020-12-28 2022-07-05 삼성전자주식회사 이미지 지연 보정 방법 및 이를 이용한 장치
US11836872B1 (en) 2021-02-01 2023-12-05 Apple Inc. Method and device for masked late-stage shift
KR20220156331A (ko) * 2021-05-18 2022-11-25 삼성전자주식회사 이미지 지연을 보정하기 위한 전자 장치 및 방법
US11822713B2 (en) * 2021-06-11 2023-11-21 Rockwell Collins, Inc. Pose augmentation of head worn display video for latency reduction
GB2608186A (en) * 2021-06-25 2022-12-28 Thermoteknix Systems Ltd Augmented reality system
US11900621B2 (en) * 2021-10-13 2024-02-13 Microsoft Technology Licensing, Llc Smooth and jump-free rapid target acquisition
US20230237692A1 (en) * 2022-01-26 2023-07-27 Meta Platforms Technologies, Llc Methods and systems to facilitate passive relocalization using three-dimensional maps
US11954786B2 (en) * 2022-05-20 2024-04-09 Microsoft Technology Licensing, Llc. Reprojection for high field rate displays
CN115454250A (zh) * 2022-09-20 2022-12-09 北京字跳网络技术有限公司 用于增强现实交互的方法、装置、设备和存储介质
US11954248B1 (en) * 2023-03-17 2024-04-09 Microsoft Technology Licensing, Llc. Pose prediction for remote rendering

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5109348A (en) * 1987-09-14 1992-04-28 Visual Information Technologies, Inc. High speed image processing computer
KR100391805B1 (ko) 1994-03-22 2003-10-22 하퍼칩, 인코포레이티드 직접대체셀(cell)을갖는결함허용(faulttolerance)아키텍쳐자료처리시스템
US5684498A (en) 1995-06-26 1997-11-04 Cae Electronics Ltd. Field sequential color head mounted display with suppressed color break-up
US5945972A (en) 1995-11-30 1999-08-31 Kabushiki Kaisha Toshiba Display device
JP3956337B2 (ja) 2001-03-16 2007-08-08 オリンパス株式会社 面順次カラー表示装置
WO2003079272A1 (en) 2002-03-15 2003-09-25 University Of Washington Materials and methods for simulating focal shifts in viewers using large depth of focus displays
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
AU2005269254B2 (en) 2004-08-03 2009-06-18 Silverbrook Research Pty Ltd Electronic stylus
US20060078215A1 (en) 2004-10-12 2006-04-13 Eastman Kodak Company Image processing based on direction of gravity
US20070273926A1 (en) 2006-05-25 2007-11-29 Matsushita Electric Industrial Co., Ltd. Device and method for switching between image data objects
US8212859B2 (en) 2006-10-13 2012-07-03 Apple Inc. Peripheral treatment for head-mounted displays
JP4857196B2 (ja) * 2007-05-31 2012-01-18 キヤノン株式会社 頭部装着型表示装置、及びその制御方法
WO2009094646A2 (en) * 2008-01-24 2009-07-30 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for image guided ablation
US8253772B2 (en) 2008-04-04 2012-08-28 Centurylink Intellectual Property Llc Method, apparatus and system for incorporating voice or video communication into a television or compatible audio capable visual display
JP5123747B2 (ja) 2008-06-18 2013-01-23 キヤノン株式会社 画像表示装置およびその制御方法
FR2933218B1 (fr) 2008-06-30 2011-02-11 Total Immersion Procede et dispositif permettant de detecter en temps reel des interactions entre un utilisateur et une scene de realite augmentee
JP5047090B2 (ja) 2008-07-31 2012-10-10 キヤノン株式会社 システム
US20100045701A1 (en) 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
KR101590331B1 (ko) * 2009-01-20 2016-02-01 삼성전자 주식회사 이동 가능한 디스플레이 장치와 이를 구비한 로봇 및 그 디스플레이 방법
KR101080040B1 (ko) * 2010-03-25 2011-11-04 동서대학교산학협력단 공간 증강 현실 기반 인터랙티브 디스플레이 방법
KR101548834B1 (ko) 2010-09-20 2015-08-31 퀄컴 인코포레이티드 클라우드 보조 증강 현실을 위한 적응적 프레임워크
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US9262950B2 (en) 2011-04-20 2016-02-16 Microsoft Technology Licensing, Llc Augmented reality extrapolation techniques
US9268406B2 (en) 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
US9420205B2 (en) 2011-11-04 2016-08-16 Datalogic Ip Tech S.R.L. Image acquisition method of object on supporting surface
US20150170418A1 (en) 2012-01-18 2015-06-18 Google Inc. Method to Provide Entry Into a Virtual Map Space Using a Mobile Device's Camera
US9443355B2 (en) 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
US9514571B2 (en) 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection
US9652893B2 (en) 2014-04-29 2017-05-16 Microsoft Technology Licensing, Llc Stabilization plane determination based on gaze location

Also Published As

Publication number Publication date
CN105474273A (zh) 2016-04-06
KR102234819B1 (ko) 2021-04-01
US20150029218A1 (en) 2015-01-29
EP3025312A1 (en) 2016-06-01
KR20210036424A (ko) 2021-04-02
EP3025312B1 (en) 2019-11-06
WO2015013347A1 (en) 2015-01-29
US20160343172A1 (en) 2016-11-24
US9747726B2 (en) 2017-08-29
US9514571B2 (en) 2016-12-06
CN105474273B (zh) 2018-06-19
KR20160033763A (ko) 2016-03-28

Similar Documents

Publication Publication Date Title
KR102302102B1 (ko) 후기 단계 재투사
US9892565B2 (en) Reprojection OLED display for augmented reality experiences
KR102358932B1 (ko) 시선 위치에 기초한 안정 평면 결정
CN108431739B (zh) 用于增强现实环境的帧投影
US10764585B2 (en) Reprojecting holographic video to enhance streaming bandwidth/quality
CN110199267B (zh) 利用数据压缩进行实时图像转换的无缺失的高速缓存结构
CN110249317B (zh) 用于实时图像变换的无未命中高速缓存结构

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant