KR20180121994A - 낮은-레이턴시 렌더링을 위한 와이드 베이스라인 스테레오 - Google Patents

낮은-레이턴시 렌더링을 위한 와이드 베이스라인 스테레오 Download PDF

Info

Publication number
KR20180121994A
KR20180121994A KR1020187029606A KR20187029606A KR20180121994A KR 20180121994 A KR20180121994 A KR 20180121994A KR 1020187029606 A KR1020187029606 A KR 1020187029606A KR 20187029606 A KR20187029606 A KR 20187029606A KR 20180121994 A KR20180121994 A KR 20180121994A
Authority
KR
South Korea
Prior art keywords
composite image
distance
generation system
eyes
image generation
Prior art date
Application number
KR1020187029606A
Other languages
English (en)
Other versions
KR102330237B1 (ko
Inventor
마이클 카스
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Publication of KR20180121994A publication Critical patent/KR20180121994A/ko
Application granted granted Critical
Publication of KR102330237B1 publication Critical patent/KR102330237B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Abstract

가상 이미지 생성 시스템 및 이를 동작시키는 방법이 제공된다. 3차원 장면의 좌측 합성 이미지 및 우측 합성 이미지는 제1 시점에 관하여 제1 좌측 초점 중심 및 제1 우측 초점 중심으로부터 각각 렌더링된다. 제1 좌측 및 제1 우측 초점 중심들은 최종 사용자의 눈 사이 거리보다 더 큰 거리로 서로 이격된다. 합성 이미지 및 우측 합성 이미지는 제1 시점과 상이한 제2 시점에 관하여 제2 좌측 초점 중심 및 제2 우측 초점 중심으로 각각 워핑된다. 제2 좌측 초점 중심 및 제2 우측 초점 중심은 최종 사용자의 눈 사이 거리와 동일한 거리로 서로 이격된다. 프레임은 좌측 및 우측 워핑된 합성 이미지들로부터 구성되고, 최종 사용자에게 디스플레이된다.

Description

낮은-레이턴시 렌더링을 위한 와이드 베이스라인 스테레오
[0001] 본 출원은 위임 도킷 번호 ML.30032.00 하에서 2016년 3월 15일에 출원되고, 발명의 명칭이 "WIDE BASELINE STEREO FOR LOW-LATENCY RENDERING"인 미국 가특허 출원 일련 번호 제 62/308,418호를 우선권으로 주장한다. 이로써, 위에서 언급된 특허 출원의 내용은 그 전체가 인용에 의해 명시적으로 포함된다.
[0002] 본 발명은 일반적으로 하나 또는 그 초과의 사용자들에 대해 상호작용하는 가상 또는 증강 현실 환경들을 가능하게 하도록 구성된 시스템들 및 방법들에 관한 것이다.
[0003] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 가능하게 하였고, 여기서 디지털적으로 재생된 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 인식될 수 있는 방식으로 사용자에게 제시된다. 가상 현실(VR) 시나리오는 통상적으로 다른 실제 실세계 시각적 입력에 대한 투명성(transparency) 없이는 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하는 반면, 증강 현실(AR) 시나리오는 통상적으로 사용자 주위 실제 세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다.
[0004] 예컨대, 도 1을 참조하면, 증강 현실 장면(4)이 묘사되고, AR 기술의 사용자는 배경 내의 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(8)을 특징으로 하는 실세계 공원형 세팅(6)을 본다. 이들 아이템들에 외에, AR 기술의 사용자는 또한, 그가 실세계 플랫폼(8) 상에 서있는 로봇 동상(10), 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화형 아바타 캐릭터(12)(비록 이들 엘리먼트들(10, 12)이 실세계에 존재하지 않을지라도)를 "보는" 것을 인식한다. 밝혀진 바와 같이, 인간 시각 인식 시스템은 매우 복잡하고, 다른 가상 또는 실세계 이미저리(imagery) 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스럽고, 풍부한 프리젠테이션을 가능하게 하는 VR 또는 AR 기술을 생성하는 것은 난제이다.
[0005] VR 및 AR 디스플레이 시스템들은 뷰어(viewer) 또는 사용자의 머리 포즈(즉, 사용자의 머리의 배향 및/또는 위치)에 대한 정보로부터 이익을 얻을 수 있다.
[0006] 예컨대, 머리 착용 디스플레이들(또는 헬멧 장착 디스플레이들, 또는 스마트 안경)은 사용자의 머리에 적어도 느슨하게 커플링되고, 따라서 사용자의 머리가 움직일 때 움직인다. 사용자의 머리 모션들이 디스플레이 시스템에 의해 검출되면, 디스플레이되는 데이터는 머리 포즈의 변화를 고려하기 위하여 업데이트될 수 있다.
[0007] 예로서, 머리 착용 디스플레이를 착용한 사용자가 디스플레이 상의 3차원(3D) 객체의 가상 표현을 보면서 3D 객체가 나타나는 영역을 둘러보면, 그 3D 객체는 각각의 시점에 대해 재렌더링될 수 있고, 이는, 사용자가 실제 공간을 차지하는 객체를 둘러본다는 인식을 사용자에게 제공한다. 머리 착용 디스플레이가 가상 공간(예컨대, 풍부한 가상 세계) 내의 다수의 객체들을 제시하는 데 사용되면, 머리 포즈의 측정들은 사용자의 동적으로 변화하는 머리 위치 및 배향과 매칭시키기 위하여 장면을 재렌더링하고 그리고 가상 공간에서의 증가된 몰입감을 제공하는 데 사용될 수 있다.
[0008] AR을 인에이블하는(즉, 실제 및 가상 엘리먼트들의 동시 보기) 머리 착용 디스플레이들은 몇몇 상이한 타입들의 구성들을 가질 수 있다. 종종 "비디오 시-스루(see-through)" 디스플레이라 지칭되는 하나의 그런 구성에서, 카메라는 실제 장면의 엘리먼트들을 캡처하고, 컴퓨팅 시스템은 가상 엘리먼트들을 캡처된 실제 장면 상에 슈퍼임포즈(superimpose)하고, 그리고 불-투명 디스플레이는 합성 이미지를 눈들에 제시한다. 다른 구성은 종종 "광학 시-스루" 디스플레이로서 지칭되고, 여기서 사용자는 디스플레이 시스템 내의 투명(또는 반-투명) 엘리먼트들을 시 스루하여 환경 내의 실제 객체들로부터의 광을 직접 볼 수 있다. 종종 "컴바이너(combiner)"로서 지칭되는 투명 엘리먼트는 디스플레이로부터의 광을 실세계의 사용자의 뷰(view) 위에 슈퍼임포즈(superimpose)한다.
[0009] 비디오 및 광학 시-스루(see-through) 디스플레이들 둘 모두에서, 머리 포즈의 검출은, 가상 객체들이 실세계의 공간을 점유하는 것으로 보이도록 디스플레이 시스템이 가상 객체들을 렌더링할 수 있게 할 수 있다. 사용자의 머리가 실세계에서 이리저리 움직일 때, 가상 객체들은 머리 포즈의 함수로써 재렌더링되어, 가상 객체들은 실세계에 관하여 안정적으로 있는 것으로 보인다. 적어도 AR 애플리케이션들에 대해, 물리적 객체들에 대한 공간적 관계로 가상 객체들의 배치(예컨대, 2차원 또는 3차원의 물리적 객체에 공간적으로 가깝게 보이도록 제시됨)는 중요한 문제일 수 있다. 예컨대, 머리 움직임은 주위 환경의 관점에서 가상 객체들의 배치를 상당히 복잡하게 할 수 있다. 이러한 경우는, 뷰가 주위 환경의 이미지로서 캡처되고 이어서 최종 사용자에게 투사되거나 디스플레이되든지 간에, 또는 최종 사용자가 주위 환경의 뷰를 직접 인식하든지 간에 그러하다. 예컨대, 머리 움직임은 최종 사용자의 시야가 변화하게 할 공산이 있을 것이고, 이는, 다양한 가상 객체들이 최종 사용자의 시야에 디스플레이되는 위치에 대한 업데이트를 요구할 공산이 있을 것이다. 부가적으로, 머리 움직임들은 매우 다양한 범위들 및 속도들 내에서 발생할 수 있다. 머리 움직임 속도는 상이한 머리 움직임들 사이에서 가변할뿐 아니라, 단일 머리 움직임의 범위 내에서 또는 그 범위에 걸쳐 가변할 수 있다. 예컨대, 머리 움직임 속도는 처음에 시작 포인트로부터 (예컨대, 선형으로 또는 비선형으로) 증가할 수 있고, 그리고 종료 포인트에 도달할 때 감소할 수 있어서, 머리 움직임의 시작 포인트와 종료 포인트 사이의 어딘가에서 최대 속도를 달성한다. 빠른 머리 움직임들은 특정 디스플레이 또는 투사 기술이 최종 사용자에게 균일하고 그리고/또는 부드러운(smooth) 모션으로 보이는 이미지들을 렌더링하는 능력을 훨씬 초과할 수 있다.
[0010] 머리 추적 정확도 및 레이턴시(latency)(즉, 사용자가 자신의 머리를 움직이는 시간과 이미지가 업데이트되고 사용자에게 디스플레이되는 시간 사이의 경과된 시간)는 VR 및 AR 시스템들에게 문제들이었다. 특히 사용자의 시각 필드의 상당 부분을 가상 엘리먼트들로 채우는 디스플레이 시스템들의 경우, 머리 추적의 정확도가 높고 그리고 머리 모션의 제1 검출로부터 디스플레이에 의해 사용자의 시각 시스템으로 전달되는 광의 업데이팅까지 전체 시스템 레이턴시가 매우 낮은 것이 중요하다. 레이턴시가 높으면, 시스템은 사용자의 전정(vestibular)과 시각 감각 시스템들 사이의 미스매칭을 일으키고, 그리고 멀미 또는 시뮬레이터 질병(simulator sickness)을 발생시킬 수 있다. 광학 시-스루 디스플레이의 경우에, 실세계의 사용자의 뷰는 본질적으로 제로 레이턴시를 가질 것이지만, 가상 객체들의 사용자의 뷰는 머리 추적 레이트, 프로세싱 시간, 렌더링 시간 및 디스플레이 프레임 레이트에 의존하는 레이턴시를 가진다. 시스템 레이턴시가 높으면, 가상 객체들의 명백한 위치는 빠른 머리 움직임들 동안 불안정하게 보일 것이다.
[0011] 머리 착용 디스플레이 시스템들 외에도, 다른 디스플레이 시스템들이 정확하고 낮은 레이턴시 머리 포즈 검출로부터 이익을 얻을 수 있다. 이들은, 디스플레이가 사용자의 몸체 상에 착용되는 것이 아니라, 예컨대 벽 또는 다른 표면상에 장착되는 머리 추적 디스플레이 시스템들을 포함한다. 머리 추적 디스플레이는 장면 위에 윈도우(window) 같이 작용하고, 그리고 사용자가 자신의 머리를 "윈도우"에 관하여 움직일 때, 장면은 사용자의 변화하는 시점과 매칭하도록 재렌더링된다. 다른 시스템들은 머리 착용 투사 시스템을 포함하고, 여기서 머리 착용 디스플레이는 광을 실세계 상으로 투사한다.
[0012] 머리 추적 정확도 및 레이턴시를 처리하기 위한 접근법들은 실제 프레임 레이트 또는 유효 프레임 레이트를 증가시키는 것(예컨대 뷰 스트로빙(strobing) 또는 플래싱(flashing) 또는 다른 기법들을 통해)을 포함할 수 있다. 예측 머리 추적은 레이턴시를 감소시키는 데 이용될 수 있다. 예측 머리 추적은 특정 최종 사용자에 대한 이력 데이터 또는 속성들을 포함하여, 매우 다양한 팩터(factor)들 또는 접근법들 중 임의의 것에 의존할 수 있다. 또한, 디스플레이 또는 프리젠테이션의 블랭킹(blanking), 예컨대 빠른 머리 움직임들 동안 블랙킹(blacking)이 효과적으로 이용될 수 있다.
[0013] 사용된 디스플레이 시스템의 타입에 무관하게, 3D 객체들은 현재 시점 또는 렌더러(render)들이 디스플레이되는 시간에서 예측된 시점으로부터 렌더링된다. 레이턴시를 최소로 유지하기 위해, 렌더링된 이미지들은 마지막 순간에 스캐닝된 디스플레이들에서 "빔 추적"으로 조정된다. 이것은 통상적으로 이미지들을 워핑(warping)함으로써 달성되고; 즉, 이미지들은 사용자가 자신의 머리를 움직이는 시간과 이미지가 업데이트되는 시간 사이의 레이턴시를 감소시키기 위해 시간 워핑된다. 예컨대, 이미지들이 60 FPS(frames per second)로만 사용자에게 제시될 수 있다는 것을 가정하면, 시간 워핑을 활용하지 못하는 이미지 렌더링 프로세스는, 이전 이미지가 렌더링되고 사용자에게 제시된 직후 사용자의 머리의 포지션을 결정할 수 있고, 그리고 이어서 그 머리 포지션에 기반하여 다음 이미지를 사용자에게 디스플레이할 수 있다. 시스템이 60 FPS(frames per second)로 이미지들을 사용자에게 제시하면, 각각의 이미지는 머리 포지션이 결정된 시간으로부터 이미지들이 사용자에게 제시되는 시간까지 16.7ms만큼 오래 걸릴 수 있고, 이는 허용가능하지 않다. 시간 워핑을 활용하는 이미지 렌더링 프로세스는, 사용자의 실제 또는 추정된 머리 포지션에서 이미 렌더링된 이미지를 워핑함으로써 이미지가 사용자에게 제시되기 전에 가능한 한 마지막 순간에 머리 포지션을 결정 또는 추정할 것이다.
[0014] 통상적으로, 이미지들은 통상적으로 시차를 사용하여 워핑된다. 즉, 시점이 변화함에 따라(즉, 사용자의 머리가 움직임에 따라) 뷰어에게 더 가까운 객체들이 뷰어로부터 더 멀리 있는 객체들보다 더 빠르게 움직이기 때문에, 워핑 프로세스는 이미지에 대해 2차원 워핑을 수행하기 위해 3차원 데이터를 활용한다. 특정 시점에서 렌더링된 장면의 이미지가 상이한 특정 시점에서 동일한 장면의 3차원 데이터 모두를 포함할 수 없기 때문에(예컨대, 렌더링 이미지에서 다른 객체 뒤에 완전히 숨겨진 하나의 객체가 상이한 시점에서 부분적으로만 숨겨질 수 있거나 또는 전혀 숨겨지지 않을 수 있음), 시차 워핑 프로세스는 상이한 깊이들의 객체들의 상이한 변위로 인한 결과적인 이미지에 홀(hole)들을 도입할 수 있다.
[0015] 따라서, 가상 현실 또는 증강 현실 환경에서 렌더링된 워핑된 이미지에서 홀들의 빈도 및 사이즈를 감소시키는 것이 필요하다.
[0016] 본 발명의 실시예들은 하나 또는 그 초과의 사용자들에 대한 가상 현실 및/또는 증강 현실 상호작용을 가능하게 하기 위한 디바이스들, 시스템들 및 방법들에 관한 것이다.
[0017] 본 발명들의 일 양상에 따라, 가상 이미지 생성 시스템을 동작시키는 방법이 제공된다. 방법은 제1 시점에 관하여 제1 좌측 초점 중심 및 제1 우측 초점 중심으로부터 3차원 장면의 좌측 합성 이미지 및 우측 합성 이미지를 각각 렌더링하는 단계를 포함한다. 제1 좌측 초점 중심 및 제1 우측 초점 중심은 최종 사용자의 눈 사이 거리보다 더 긴 거리로 서로 이격된다. 방법은 제1 시점과 상이한 제2 시점에 관하여 제2 좌측 초점 중심 및 제2 우측 초점 중심으로 좌측 합성 이미지 및 우측 합성 이미지를 각각 워핑하는 단계를 더 포함한다. 제2 좌측 초점 중심 및 제2 우측 초점 중심은 최종 사용자의 눈 사이 거리와 동일한 거리로 서로 이격된다. 방법은 좌측 워핑된 합성 이미지 및 우측 워핑된 합성 이미지로부터 프레임을 구성하는 단계, 및 프레임을 최종 사용자에게 디스플레이하는 단계를 더 포함한다.
[0018] 일 실시예에서, 좌측 합성 이미지 및 우측 합성 이미지는 3차원들로 렌더링되고 2차원들로 워핑된다. 방법은 좌측 합성 이미지 및 우측 합성 이미지에 대해 좌측 깊이 데이터 및 우측 깊이 데이터를 각각 생성하는 단계를 포함할 수 있고, 이 경우에, 좌측 합성 이미지 및 우측 합성 이미지는 좌측 깊이 데이터 및 우측 깊이 데이터를 사용하여 각각 워핑될 수 있다. 일 실시예에서, 좌측 합성 이미지 및 우측 합성 이미지는 3차원 장면의 제1 룩-엣 포인트(look-at point)에 기반하여 렌더링되고, 그리고 좌측 합성 이미지 및 우측 합성 이미지는 3차원 장면의 제2 룩-엣 포인트에 기반하여 워핑된다. 3차원 장면은 제1 시점에 관하여 제2 좌측 초점 중심 및 제2 우측 초점 중심으로부터 보이지 않고, 그리고 제1 시점에 관하여 제2 좌측 초점 중심 및 제2 우측 초점 중심으로부터 보이는 가상 객체의 적어도 일부를 포함할 수 있다. 일 실시예에서, 제1 시점의 추정은 예측되고 제2 시점은 검출된다. 다른 실시예에서, 제1 시점 및 제2 시점 각각이 검출된다.
[0019] 본 발명들의 다른 양상에 따라, 눈 사이 거리를 가진 최종 사용자가 사용하기 위한 가상 이미지 생성 시스템이 제공된다. 가상 이미지 생성 시스템은 3차원 장면을 저장하는 메모리를 포함한다. 가상 이미지 생성 시스템은 제1 시점에 관하여 제1 좌측 초점 중심 및 제1 우측 초점 중심으로부터 3차원 장면의 좌측 합성 이미지 및 우측 합성 이미지를 각각 렌더링하도록 구성된 제어 서브시스템(예컨대, GPU(graphical processing unit)를 포함하는 것)을 더 포함한다. 제1 좌측 초점 중심 및 제1 우측 초점 중심은 최종 사용자의 눈 사이 거리보다 더 큰 거리로 서로 이격된다.
[0020] 제어 서브시스템은 제1 시점과 상이한 제2 시점에 관하여 제2 좌측 초점 중심 및 제2 우측 초점 중심으로 좌측 합성 이미지 및 우측 합성 이미지를 각각 워핑하도록 추가로 구성된다. 제2 좌측 초점 중심 및 제2 우측 초점 중심은 최종 사용자의 눈 사이 거리와 동일한 거리로 서로 이격된다. 가상 이미지 생성 시스템은 선택적으로 사용자의 눈 사이 거리를 검출하도록 구성된 하나 또는 그 초과의 센서들을 더 포함할 수 있다. 가상 이미지 생성 시스템은 제1 시점의 추정을 예측하고 제2 시점을 검출하거나, 또는 대안적으로 제1 시점 및 제2 시점 각각을 검출하도록 구성된 환자 배향 모듈을 더 포함할 수 있다.
[0021] 일 실시예에서, 좌측 합성 이미지 및 우측 합성 이미지는 3차원들로 렌더링되고 2차원들로 워핑된다. 제어 서브시스템은 좌측 합성 이미지 및 우측 합성 이미지에 대해 좌측 깊이 데이터 및 우측 깊이 데이터를 각각 생성하도록 추가로 구성될 수 있고, 이 경우에, 좌측 합성 이미지 및 우측 합성 이미지는 좌측 깊이 데이터 및 우측 깊이 데이터를 사용하여 각각 워핑될 수 있다. 다른 실시예에서, 좌측 합성 이미지 및 우측 합성 이미지는 3차원 장면의 제1 룩-엣 포인트에 기반하여 렌더링되고, 그리고 좌측 합성 이미지 및 우측 합성 이미지는 3차원 장면의 제2 룩-엣 포인트에 기반하여 워핑된다. 3차원 장면은 제1 시점에 관하여 제2 좌측 초점 중심 및 제2 우측 초점 중심으로부터 보이지 않고, 그리고 제1 시점에 관하여 제2 좌측 초점 중심 및 제2 우측 초점 중심으로부터 보이는 가상 객체의 적어도 일부를 포함할 수 있다. 일 실시예에서, 제1 시점은 예측되고 제2 시점은 검출된다.
[0022] 제어 서브시스템은 좌측 워핑된 합성 이미지 및 우측 워핑된 합성 이미지로부터 프레임을 구성하도록 추가로 구성된다. 가상 이미지 생성 서브시스템은 프레임을 최종 사용자에게 디스플레이하도록 구성된 디스플레이 시스템을 더 포함한다. 디스플레이 시스템은 최종 사용자의 눈들의 전면에 포지셔닝되도록 구성될 수 있다. 일 실시예에서, 디스플레이 시스템은 투사 서브시스템 및 부분적으로 투명한 디스플레이 표면을 포함하고, 이 경우에, 투사 서브시스템은 부분적으로 투명한 디스플레이 표면상에 프레임을 투사하도록 구성될 수 있고, 그리고 부분적으로 투명한 디스플레이 표면은 최종 사용자의 눈들과 주위 환경 사이의 시야 내의 포지션이도록 구성될 수 있다. 가상 이미지 생성 시스템은 최종 사용자가 착용하도록 구성된 프레임 구조를 더 포함하고, 이 경우에, 프레임 구조는 디스플레이 시스템을 지지할 수 있다.
[0023] 본 발명의 부가적인 목적 및 다른 목적, 특징들, 및 장점들은 상세한 설명, 도면들, 및 청구항들에 설명된다.
[0001] 도면들은 본 발명의 바람직한 실시예들의 설계 및 유용성을 예시하고, 여기서 유사한 엘리먼트들은 공통 참조 번호들로 참조된다. 본 발명들의 위에서 언급된 장점들 및 다른 장점들 및 목적들이 획득되는 방법을 더 잘 인식하기 위하여, 위에서 간략하게 설명된 본 발명들의 더 특정한 설명은 첨부 도면들에 예시된 본 발명들의 특정 실시예들을 참조하여 제공될 것이다. 이들 도면들이 단지 본 발명의 통상적인 실시예들만을 묘사하고 그러므로 본 발명의 범위를 제한하는 것으로 고려되지 않는다는 것이 이해되기 때문에, 본 발명은 첨부 도면들의 사용을 통해 부가적인 특이성 및 세부사항들로 서술되고 설명될 것이다.
[0002] 도 1은 종래 기술의 증강 현실 생성 디바이스에 의해 최종 사용자에게 디스플레이될 수 있는 3차원 증강 현실 장면의 화면이다.
[0003] 도 2는 본 발명들의 일 실시예에 따라 구성된 가상 이미지 생성 시스템의 블록 다이어그램이다.
[0024] 도 3은 도 2의 가상 이미지 생성 시스템에 의해 생성된 예시적인 프레임의 평면도이다.
[0025] 도 4a는 도 2의 가상 이미지 생성 시스템을 착용하는 데 사용될 수 있는 하나의 기법의 도면이다.
[0026] 도 4b는 도 2의 가상 이미지 생성 시스템을 착용하는 데 사용될 수 있는 다른 기법의 도면이다.
[0027] 도 4c는 도 2의 가상 이미지 생성 시스템을 착용하는 데 사용될 수 있는 또 다른 하나의 기법의 도면이다.
[0028] 도 4d는 도 2의 가상 이미지 생성 시스템을 착용하는 데 사용될 수 있는 또 다른 하나의 기법의 도면이다.
[0029] 도 5는 최종 사용자의 머리가 움직인 이후에 동일한 좌측 초점 중심 및 우측 초점 중심으로 워핑되는 3차원 가상 객체의 뷰와 비교할 때, 최종 사용자의 눈 사이 거리와 정렬되는 좌측 초점 중심 및 우측 초점 중심으로부터 렌더링될 때의 3차원 가상 객체의 베이스라인(baseline) 뷰를 예시하는 다이어그램이다.
[0030] 도 6은 최종 사용자의 머리가 움직인 이후에 눈 사이 거리와 정렬된 좌측 초점 중심 및 우측 초점 중심으로 워핑되는 3차원 가상 객체의 뷰와 비교할 때, 최종 사용자의 눈 사이 거리보다 더 큰 거리로 이격된 좌측 초점 중심 및 우측 초점 중심으로부터 렌더링될 때의 3차원 가상 객체의 베이스라인 뷰를 예시하는 다이어그램이다.
[0031] 도 7은 이미지들을 렌더링 및 워핑하기 위해 도 2의 가상 이미지 생성 시스템을 동작시키는 하나의 방법을 예시하는 흐름도이다.
[0032] 도 8은 이미지들을 렌더링 및 워핑하기 위해 도 2의 가상 이미지 생성 시스템을 동작시키는 다른 방법을 예시하는 흐름도이다.
[0033] 하기의 설명은 가상 현실 및/또는 증강 현실 시스템들에 사용될 디스플레이 시스템들 및 방법들에 관한 것이다. 그러나, 본 발명이 가상 현실의 애플리케이션들에 매우 적합하지만, 본 발명이, 그의 가장 넓은 양상들에서, 그렇게 제한되지 않을 수 있다는 것이 이해될 것이다.
[0034] 도 2를 참조하면, 본 발명들에 따라 구성된 가상 이미지 생성 시스템(100)의 일 실시예가 이제 설명될 것이다. 가상 이미지 생성 시스템(100)은 최종 사용자(50)의 시야 내에 있는 물리적 객체들과 인터믹싱(intermix)되는 가상 객체들의 이미지들을 제공하는 증강 현실 시스템으로서 동작될 수 있다. 가상 이미지 생성 시스템(100)을 동작시킬 때 2개의 근본적인 접근법들이 있다. 제1 접근법은 주위 환경의 이미지들을 캡처하기 위하여 하나 또는 그 초과의 이미저(imager)들(예컨대, 카메라들)을 이용한다. 가상 이미지 생성 시스템(100)은 가상 이미지들을 주위 환경의 이미지들을 나타내는 데이터로 인터믹싱한다. 제2 접근법은, 주위 환경이 보여질 수 있고 그리고 가상 이미지 생성 시스템(100)이 가상 객체들의 이미지들을 생성하는 하나 또는 그 초과의 적어도 부분적으로 투명한 표면들을 이용한다.
[0035] 본원에 교시된 가상 이미지 생성 시스템(100), 및 다양한 기법들은 증강 현실 및 가상 현실 시스템들 이외의 애플리케이션들에 이용될 수 있다. 예컨대, 다양한 기법들은 임의의 투사 또는 디스플레이 시스템에 적용될 수 있다. 예컨대, 본원에 설명된 다양한 기법들은, 움직임이 머리보다 오히려 최종 사용자의 손에 의해 이루어질 수 있는 피코 투사기들에 적용될 수 있다. 따라서, 보통 증강 현실 시스템 또는 가상 현실 시스템의 측면에서 본원에 설명되지만, 교시들은 그런 용도들의 그런 시스템으로 제한되지 않아야 한다.
[0036] 적어도 증강 현실 애플리케이션들에 대해, 최종 사용자(50)의 시야에 있는 각각의 물리적 객체들에 관하여 다양한 가상 객체들을 공간적으로 포지셔닝하는 것이 바람직할 수 있다. 본원에서 또한 가상 태그(tag)들 또는 태그 또는 콜 아웃(call out)들로 지칭되는 가상 객체들은 매우 다양한 형태들, 기본적으로 임의의 다양한 데이터, 정보, 개념, 또는 이미지로서 나타내질 수 있는 로지컬 구성 중 임의의 것을 취할 수 있다. 가상 객체들의 비제한적 예들은: 가상 텍스트 객체, 가상 수치 객체, 가상 알파뉴메릭(alphanumeric) 객체, 가상 태그 객체, 가상 필드 객체, 가상 차트 객체, 가상 맵 객체, 가상 계측 객체, 또는 물리적 객체의 가상 시각 표현을 포함할 수 있다.
[0037] 이를 위해, 증강 현실 시스템(100)은 최종 사용자(50)에 의해 착용되는 프레임 구조(102), 디스플레이 시스템(104)(이 디스플레이 시스템(104)은, 디스플레이 시스템(104)이 최종 사용자(50)의 눈들(52)의 전면에 포지셔닝되도록 프레임 구조(102)에 의해 지지됨), 및 스피커(106)(이 스피커(106)는, 스피커(106)가 최종 사용자(50)의 외이도(ear canal)에 인접하게 포지셔닝되도록 프레임 구조(102)에 의해 휴대됨)(선택적으로, 다른 스피커(도시되지 않음)는 스테레오/성형가능 사운드 제어를 제공하도록 최종 사용자(50)의 다른 외이도에 인접하게 포지셔닝됨)를 포함한다. 디스플레이 시스템(104)은 높은-레벨들의 이미지 품질 및 3차원 인식으로, 물리적 현실성에 대한 증강들로서 편안하게 인식될 수 있을뿐 아니라, 2차원 콘텐츠를 제시할 수 있는 포토(photo)-기반 방사 패턴들을 최종 사용자(50)의 눈들(52)에 제시하도록 설계된다. 디스플레이 시스템(104)은 단일 코히어런트(coherent) 장면의 인식을 제공하는 고주파수로 프레임들의 시퀀스를 제시한다.
[0038] 예시된 실시예에서, 디스플레이 시스템(104)은 투사 서브시스템(108) 및 투사 서브시스템(108)이 이미지들을 투사하는 부분적으로 투명한 디스플레이 표면(110)을 포함한다. 디스플레이 표면(110)은 최종 사용자(50)의 눈들(52)과 주위 환경 사이의 최종 사용자(50)의 시야에 포지셔닝된다. 예시된 실시예에서, 투사 서브시스템(108)은 하나 또는 그 초과의 광섬유들(112)(예컨대, 단일 모드 광섬유)을 포함하며, 이들 각각은, 광이 수신되는 하나의 단부(112a) 및 부분적으로 투명한 디스플레이 표면(110)에 광을 제공하는 다른 단부(112b)를 가진다. 투사 서브시스템(108)은 또한, 광을 생성하고(예컨대, 정의된 패턴들로 상이한 컬러들의 광을 방출하고), 그리고 광을 광섬유(들)(112)의 다른 단부(112a)에 통신가능하게 커플링하는 하나 또는 그 초과의 광 소스들(114)을 포함할 수 있다. 광 소스(들)(114)는 매우 다양한 형태들 중 임의의 형태, 예컨대 픽셀 정보 또는 데이터의 각각의 프레임들에서 특정된 정의된 픽셀 패턴들에 따라 적색, 녹색, 및 청색 코히어런트 시준 광을 각각 생성하도록 동작가능한 RGB 레이저들(예컨대, 적색, 녹색 및 청색 광을 출력할 수 있는 레이저 다이오드들)의 세트를 취할 수 있다. 레이저 광은 높은 컬러 포화도를 제공하고 매우 에너지 효율적이다.
[0039] 디스플레이 시스템(104)은 제어 신호들에 대한 응답으로 미리결정된 패턴으로 광섬유(들)(112)를 스캔하는 스캐닝 디바이스(116)를 더 포함할 수 있다. 예컨대, 도 3을 참조하면, 픽셀 정보 또는 데이터의 프레임(118)은 하나의 예시된 실시예에 따라, 이미지, 예컨대 하나 또는 그 초과의 가상 객체들의 이미지를 제시하도록 픽셀 정보 또는 데이터를 특정한다. 프레임(118)은 수평 행들 또는 라인들(122a-122n)로 나뉘어진 셀들(120a-120m)로 개략적으로 예시된다. 프레임(118)의 각각의 셀(120)은, 셀(120)이 대응하는 각각의 픽셀에 대한 복수의 컬러들 각각에 대한 값들 및/또는 세기들을 특정할 수 있다. 예컨대, 프레임(118)은 각각의 픽셀에 대해 적색에 대한 하나 또는 그 초과의 값들(124a), 녹색에 대한 하나 또는 그 초과의 값들(124b), 및 청색에 대한 하나 또는 그 초과의 값들(124c)을 특정할 수 있다. 값들(124)은 컬러들 각각에 대한 이진 표현들로서, 예컨대 각각의 컬러에 대해 각각 4 비트 수로서 특정될 수 있다. 프레임(118)의 각각의 셀(120)은 진폭을 특정하는 값(124d)을 부가적으로 포함할 수 있다. 디스플레이 시스템(104)의 예를 설명하는 추가 세부사항들은 미국 가특허 출원 일련 번호 제 61/801,219호(위임 도킷 번호 ML-30006-US)에 제공되고, 이 가특허 출원은 인용에 의해 본원에 명시적으로 포함된다.
[0040] 다시 도 2를 참조하면, 가상 이미지 생성 시스템(100)은 최종 사용자(50)의 머리(54)의 포지션 및 움직임 및/또는 최종 사용자(50)의 눈 포지션 및 눈-사이 거리를 검출하기 위한, 프레임 구조(102)에 장착된 하나 또는 그 초과의 센서들(도시되지 않음)을 더 포함한다. 그런 센서(들)는 이미지 캡처 디바이스들(이를테면 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스들, GPS 유닛들, 라디오 디바이스들, 및/또는 자이로(gyro)들을 포함할 수 있다.
[0041] 예컨대, 일 실시예에서, 가상 이미지 생성 시스템(100)은 최종 사용자(50)의 머리(54)의 움직임을 나타내는 관성 측정치들을 캡처하기 위한 하나 또는 그 초과의 관성 트랜스듀서들을 포함하는 머리 착용 트랜스듀서 시스템(126)을 포함한다. 머리 착용 트랜스듀서 서브시스템(142)은 최종 사용자(50)의 머리 움직임들에 관한 정보를 감지하거나, 측정하거나 수집하는 데 사용될 수 있다. 예컨대, 머리 착용 트랜스듀서 서브시스템(142)은 최종 사용자(50)의 머리(54)의 측정 움직임들, 속도들, 가속도, 및/또는 포지션들을 검출하는데 사용될 수 있다. 가상 이미지 생성 시스템(100)은 전방 지향 카메라(128)를 더 포함할 수 있다. 전방 지향 카메라들(128)은, 최종 사용자(50)가 위치된 환경에 관한 정보를 캡처하는 데 사용될 수 있다. 전방 지향 카메라들(128)은 그 환경에 대해 최종 사용자(50)의 거리 및 배향 및 그 환경 내의 특정 객체들을 나타내는 정보를 캡처하는 데 사용될 수 있다. 머리에 착용될 때, 전방 지향 카메라(128)는, 최종 사용자(50)가 위치된 환경에 대해 최종 사용자(50)의 머리(54)의 거리 및 배향 및 그 환경 내의 특정 객체들을 나타내는 정보를 캡처하는 데 특히 적합하다. 전방 지향 카메라(128)는 예컨대 머리 움직임, 머리 움직임들의 속도, 및/또는 가속도를 검출하는 데 이용될 수 있다. 예컨대, 전방 지향 카메라들(128)은 예컨대 최종 사용자(50)의 머리(54)의 배향에 적어도 부분적으로 기반하여, 최종 사용자(50)의 관심의 중심을 검출하거나 추론하는 데 이용될 수 있다. 배향은 임의의 방향(예컨대, 최종 사용자(50)의 기준(reference) 프레임에 대해 상/하, 좌, 우)에서 검출될 수 있다.
[0042] 가상 이미지 생성 시스템(100)은 환자 배향 검출 모듈(130)을 더 포함한다. 환자 배향 모듈(130)은 최종 사용자(50)의 머리(54)의 순시 포지션을 검출하고 센서(들)로부터 수신된 포지션 데이터에 기반하여 최종 사용자(50)의 머리(54)의 포지션을 예측한다. 일 실시예에서, 환자 배향 모듈(130)은 최종 사용자(50)의 인 포커스(in focus) 시프트를 예측하는 것에 기반하여 머리(54)의 포지션을 예측한다. 예컨대, 환자 배향 모듈(130)은 적어도 최종 사용자(50)의 관심을 나타내는 입력에 기반하여 가상 객체를 선택하고, 그리고 최종 사용자(50)의 기준 프레임에 관하여 최종 사용자(50)의 시야 내의 가상 객체의 출현 위치를 결정할 수 있다. 다른 예로서, 환자 배향 모듈(130)은 최종 사용자(50)의 머리(54)의 포지션을 예측하기 위해 추정된 속도 및/또는 속도의 추정된 변화 또는 추정된 가속도들을 이용할 수 있다. 또 다른 예로서, 환자 배향 모듈(130)은 최종 사용자(50)의 머리(54)의 포지션을 예측하기 위해 최종 사용자(50)의 이력 속성들을 이용할 수 있다. 최종 사용자(50)의 머리 포지션을 예측하는 것을 설명하는 추가 세부사항들은 미국 특허 출원 일련 번호 제 61/801,219호(위임 도킷 번호 ML-30006-US)에 설명되고, 이 특허 출원은 이미 인용에 의해 본원에 포함되었다.
[0043] 가상 이미지 생성 시스템(100)은 매우 다양한 형태들 중 임의의 형태를 취할 수 있는 제어 서브시스템을 더 포함한다. 제어 서브시스템은 다수의 제어기들, 예컨대 하나 또는 그 초과의 마이크로제어기들, 마이크로프로세서들 또는 CPU(central processing unit)들, 디지털 신호 프로세서들, GPU(graphics processing unit)들, 다른 집적 회로 제어기들, 이를테면 ASIC(application specific integrated circuit)들, PGA(programmable gate array)들, 예컨대 FPGA(field PGA)들, 및/또는 PLU(programmable logic controller)들을 포함한다.
[0044] 예시된 실시예에서, 가상 이미지 생성 시스템(100)은 CPU(central processing unit)(132), GPU(graphics processing unit)(134), 및 하나 또는 그 초과의 프레임 버퍼들(136)을 포함한다. CPU(132)는 전체 동작을 제어하는 반면, GPU(134)는 원격 데이터 저장소(150)에 저장된 3차원 데이터로부터 프레임들을 렌더링(즉, 3차원 장면을 2차원 이미지로 변환)하고 이들 프레임들을 프레임 버퍼(들)(136)에 저장한다. 예시되지 않았지만, 하나 또는 그 초과의 부가적인 집적 회로들은 프레임 버퍼(들)(136)에 프레임들을 입력하고 그리고/또는 프레임 버퍼(들)(136)로부터 프레임들을 판독하는 것 및 디스플레이 시스템(104)의 스캐닝 디바이스의 동작을 제어할 수 있다. 프레임 버퍼(들)(146)에 입력 및/또는 프레임 버퍼(들)(146)로부터 판독은, 예컨대 프레임들이 오버-렌더링되는 동적 어드레싱을 이용할 수 있다. 가상 이미지 생성 시스템(100)은 ROM(read only memory)(138) 및 RAM(random access memory)(140)을 더 포함한다. 가상 이미지 생성 시스템(100)은, GPU(134)가 프레임들을 렌더링하기 위해 하나 또는 그 초과의 장면들의 3차원 데이터에 액세스할 수 있는 3차원 데이터베이스(142)를 더 포함한다.
[0045] 가상 이미지 생성 시스템(100)의 다양한 프로세싱 컴포넌트들은 물리적으로 분산형 시스템에 포함될 수 있다. 예컨대, 도 4a-도 4d에 예시된 바와 같이, 가상 이미지 생성 시스템(100)은 이를테면 유선 리드 또는 무선 연결성(146)에 의해 디스플레이 시스템(104) 및 센서들에 동작가능하게 커플링되는 로컬 프로세싱 및 데이터 모듈(144)을 포함한다. 로컬 프로세싱 및 데이터 모듈(144)은 다양한 구성들로 장착될 수 있는데, 이를테면 프레임 구조(102)에 고정되게 부착되거나(도 2a), 헬멧 또는 모자(56)에 고정되게 부착되거나(도 2b), 헤드폰들 내에 임베딩되거나, 최종 사용자(50)의 몸통(58)에 제거가능하게 부착되거나(도 2c), 또는 벨트-커플링 스타일 구성으로 최종 사용자(50)의 엉덩이(60)에 제거가능하게 부착(도 2d)될 수 있다. 가상 이미지 생성 시스템(100)은 이를테면 유선 리드 또는 무선 연결성(152, 154)에 의해 로컬 프로세싱 및 데이터 모듈(144)에 동작가능하게 커플링된 원격 프로세싱 모듈(148) 및 원격 데이터 저장소(150)를 더 포함하여, 이들 원격 모듈들(148, 150)은 서로 동작가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(144)에 대한 리소스들로서 이용가능하다.
[0046] 로컬 프로세싱 및 데이터 모듈(144)은 전력-효율적 프로세서 또는 제어기뿐 아니라, 디지털 메모리, 이를테면 플래시 메모리를 포함할 수 있고, 이 둘 모두는, 센서들로부터 캡처되고 그리고/또는 원격 프로세싱 모듈(148) 및/또는 원격 데이터 저장소(150)를 사용하여 획득되고 그리고/또는 프로세싱되는 데이터의 프로세싱, 캐싱 및 저장을 돕기 위해 활용될 수 있으며, 데이터는 가능하게는 그런 프로세싱 또는 리트리벌(retrieval) 이후 디스플레이 시스템(104)에 전달된다. 원격 프로세싱 모듈(148)은 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 또는 그 초과의 비교적 강력한 프로세서들 또는 제어기들을 포함할 수 있다. 원격 데이터 저장소(150)는 "클라우드" 리소스 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용가능할 수 있는 비교적 큰 규모의 디지털 데이터 저장 설비를 포함할 수 있다. 일 실시예에서, 모든 데이터는 저장되고 모든 컴퓨테이션(computation)은 로컬 프로세싱 및 데이터 모듈(144)에서 수행되고, 이는 임의의 원격 모듈들로부터 완전히 자율적인 사용을 허용한다.
[0047] 위에서 설명된 다양한 컴포넌트들 사이의 커플링들(146, 152, 154)은 유선들 또는 광학 통신들을 제공하기 위한 하나 또는 그 초과의 유선 인터페이스들 또는 포트들, 또는 이를테면 무선 통신들을 제공하기 위한 RF, 마이크로파, 및 IR을 통한 하나 또는 그 초과의 무선 인터페이스들 또는 포트들을 포함할 수 있다. 일부 구현들에서, 모든 통신들은 유선일 수 있지만, 다른 구현들에서 모든 통신들은 무선일 수 있다. 또 다른 구현들에서, 유선 및 무선 통신들의 선정은 도 4a-도 4d에 예시된 것과 상이할 수 있다. 따라서, 유선 또는 무선 통신들의 특정 선정은 제한적인 것으로 고려되지 않아야 한다.
[0048] 예시된 실시예에서, 환자 배향 모듈(130)은 로컬 프로세싱 및 데이터 모듈(144)에 포함되는 반면, CPU(132) 및 GPU(134)는 원격 프로세싱 모듈(148)에 포함되는데, 대안적인 실시예들에서, CPU(132), GPU(124) 또는 이들의 부분들은 로컬 프로세싱 및 데이터 모듈(144)에 포함될 수 있다. 3D 데이터베이스(142)는 원격 데이터 저장소(150)와 연관될 수 있다.
[0049] 본 발명들에 중요하게도, GPU(134)는, 트랜스듀서 시스템(126)으로부터 로컬 프로세싱 및 데이터 모듈(144)을 통해 획득된 최종 사용자(50)의 머리 포지션 및 머리 움직임들에 기반하여, 레이턴시(즉, 최종 사용자(50)가 자신의 머리를 움직이는 때와 프레임이 업데이트되고 최종 사용자(50)에게 디스플레이되는 시간 사이의 경과된 시간)를 최소화하면서, 또한 워핑된 이미지들에 홀들의 빈도 및 사이즈를 감소시키는 방식으로 프레임들을 렌더링 및 워핑한다.
[0050] 특히, 그리고 도 5를 참조하면, 최종 사용자(50)가 시점(V(x, y, z) = (0, 0, 0))에 관하여 포지션들(PL(x, y, z) = (-d, 0, 0) 및 PR(x, y, z) = (d, 0, 0))에 눈 초점 중심들을 가지며, 여기서 x, y 및 z가, 3차원 장면(70)이 존재하는 3차원 공간의 좌표들인 것을 고려하자. 이어서, 최종 사용자(50)의 공칭 눈 사이 거리는 2d일 것이다. 종래 기술에서, 좌측 눈(52a) 및 우측 눈(52b)이 룩-엣 포인트(PLA)로 지향되고, 3차원 장면(70)의 합성 이미지(IL(u, v)) 및 깊이 버퍼(DL(u, v))가 초점(PL(x, y, z))으로부터 구성될 수 있고, 그리고 3차원 장면(70)의 합성 이미지(IR(u, v)) 및 깊이 버퍼(DR(u, v))가 초점(PR(x, y, z))으로부터 구성될 수 있고, 여기서 u 및 v가 합성 이미지들에서 픽셀들의 좌표들인 것을 가정하자. 최종 사용자(50)의 머리 포지션이 변화하여, 시점이 포지션(V)으로부터 포지션(V')으로 변화하고, 좌측 눈(52a)이 이제 새로운 초점(PL'(x, y, z))에 위치되고, 그리고 우측 눈(52b)이 이제 새로운 초점(PR'(x, y, z))에 위치되고, 좌측 눈 및 우측 눈이 상이한 룩-엣 포인트(PLA')로 지향되는 것을 가정하자. 종래 기술에서, 합성 이미지들(IL(u, v) 및 IR(u, v))은, 새로운 초점들(PL'(x, y, z) 및 PR'(x, y, z))에 대해 3차원 장면(70)의 새로운 합성 이미지들(IL'(u, v) 및 IR'(u, v))을 생성하기 위해, 깊이 버퍼들(DL(u, v) 및 DR(u, v)), 이전 및 새로운 룩-엣 포인트들(PLA' 및 PLA)을 사용하여 종래의 방식으로 시차를 사용하여 2차원적으로 워핑된다.
[0051] 이미지 포인트들이 자신들의 깊이에 따라 상이한 양들로 움직이기 때문에, 이전 초점들(PL(x, y, z) 및 PR(x, y, z))로부터 보이지 않는 3차원 장면(70)의 포인트들은 새로운 초점들(PL'(x, y, z) 및 PR'(x, y, z))로부터 보일 수 있다. 이들 포인트들(가려지지 않은 포인트들)은 문제인데, 그 이유는 이들 포인트들이 새롭게 워핑된 합성 이미지들(IL'(u, v) 및 IR'(u, v))에 "홀들"을 생성하기 때문이다. 이들 홀들을 채우는 모든 기존 방법들은 계산적으로 비경제적이고 그리고/또는 잠재적으로 아티팩트(artifact)들을 생성한다. 예컨대, 도 5에 예시된 3차원 장면(70)에서 볼록 객체, 이를테면 구체(72)를 고려하자. 구체(72)의 상대적으로 작은 부분(72a)은 이전 초점들(PL(x, y, z) 및 PR(x, y, z))로부터 보이는 반면, 구체(72)의 상대적으로 큰 부분(72b)은 이전 초점들(PL(x, y, z) 및 PR(x, y, z))로부터 여전히 보이지 않는다. 그러나, 구체(72)의 상이한 부분(72c)은 새로운 초점들(PL'(x, y, z) 및 PR'(x, y, z))로부터 보이고, 이의 일부(72d)는 이전 초점들(PL(x, y, z) 및 PR(x, y, z))로부터 보이지 않는 구체(72)의 상대적으로 큰 부분(72b)에 포함된다. 즉, 구체(72)의 부분(72d)은, 눈들이 이전 초점들(PL(x, y, z) 및 PR(x, y, z))로부터 새로운 초점들(PL'(x, y, z) 및 PR'(x, y, z))로 이동될 때 가려지지 않았다.
[0052] 도 6을 참조하면, 본 발명들의 일 실시예에서, 좌측 눈(52a) 및 우측 눈(52b)이 룩-엣 포인트(PLA)로 지향되고, 3차원 장면(70)의 합성 이미지(IL(u, v)) 및 깊이 버퍼(DL(u, v))가 처음에 초점(WL(x, y, z))으로부터 구성되고, 그리고 3차원 장면(70)의 합성 이미지(IR(u, v)) 및 깊이 버퍼(DR(u, v))가 처음에 초점(V(x, y, z) = (0, 0, 0))에 관하여 초점(WR(x, y, z))으로부터 구성되는 것을 가정하자.
[0053] 초점들(WL(x, y, z) 및 WR(x, y, z))은 최종 사용자(50)의 눈 사이 거리보다 더 큰 더 넓은 렌더링 거리(예시적인 경우에, 2d보다 더 큼)로 서로 이격된다. 예컨대, 초점들(WL(x, y, z) 및 WR(x, y, z))은 수학식들에 따라 선택될 수 있다:
[1] WL(x, y, z) = PR(x, y, z) + k(PL(x, y, z) - PR(x, y, z)); 및
[2] WR(x, y, z) = PL(x, y, z) + k(PR(x, y, z) - PL(x, y, z));
여기서 초점들(WL(x, y, z) 및 WR(x, y, z)) 사이의 이격이 최종 사용자(50)의 눈 사이 거리보다 더 크게 세팅하기 위해 k>1이다. 초점들(WL(x, y, z) 및 WR(x, y, z))에 대한 값들은 합성 이미지 내 홀들의 사이즈 및 수를 최소화하는 것과 합성 이미지의 전체 품질 사이를 타협하도록 선택될 수 있다. 즉, 합성 이미지에서 홀들의 사이즈 및 수는 초점들(WL(x, y, z) 및 WR(x, y, z)) 사이의 거리가 증가함에 따라 감소할 것이지만; 합성 이미지의 일반적인 품질은 초점들(WL(x, y, z) 및 WR(x, y, z)) 사이의 거리가 증가함에 따라 감소할 것이다.
[0054] 최종 사용자(50)의 머리 포지션이 변화하여, 시점이 포지션(V)으로부터 포지션(V')으로 변화하고, 좌측 눈(52a)이 이제 새로운 초점(WL'(x, y, z))에 위치되고, 그리고 우측 눈(52b)이 이제 새로운 초점(WR'(x, y, z))에 위치되고, 좌측 눈 및 우측 눈이 상이한 룩-엣 포인트(PLA')로 지향되는 것을 다시 가정하자. 합성 이미지들(IL(u, v) 및 IR(u, v))은, 새로운 초점들(WL'(x, y, z) 및 WR'(x, y, z))에 대해 3차원 장면(70)의 새로운 합성 이미지들(IL'(u, v) 및 IR'(u, v))을 생성하기 위해, 깊이 버퍼들(DL(u, v) 및 DR(u, v)), 이전 및 새로운 룩-엣 포인트들(PLA' 및 PLA)을 사용하여 종래의 방식으로 시차를 사용하여 2차원적으로 워핑된다.
[0055] 중요하게도, 구체(72)의 더 큰 부분(72e)은 이전 초점들(PL(x, y, z) 및 PR(x, y, z))로부터 보여진 구체(72)의 부분(72a)에 비교할 때 이전 초점들(WL(x, y, z) 및 WR(x, y, z))로부터 보이는 반면, 구체(72)의 더 작은 부분(72f)은 이전 초점들(PL(x, y, z) 및 PR(x, y, z))로부터 보이지 않는 구체(72)의 부분(72b)과 비교할 때 이전 초점들(WL(x, y, z) 및 WR(x, y, z))로부터 보이지 않는다. 따라서, 초점들(WL(x, y, z) 및 WR(x, y, z))로부터 보이는 구체 포인트들의 장소는 초점들(PL(x, y, z) 및 PR(x, y, z))로부터의 구체 포인트들의 장소보다 더 크다. 결과적으로, 볼록 포인트들을 룩 엣할 때, 더 적고 더 작은 홀들이, 새로운 초점들(WL'(x, y, z) 및 WR'(x, y, z))에 대한 3차원 장면(70)의 새로운 이미지들(IL'(u, v) 및 IR'(u, v))을 계산하는데 사용된 2차원 이미지 워핑 이후 존재하는 것이 예상될 것이다. 예컨대, 구체(72)의 상이한 부분(72g)은 새로운 초점들(PL'(x, y, z) 및 PR'(x, y, z))로부터 보이고, 이의 일부(72h)는 이전 초점들(PL(x, y, z) 및 PR(x, y, z))로부터 보이지 않는 구체(72)의 상대적으로 큰 부분(72f)에 포함된다. 즉, 구체(72)의 부분(72d)과 비교할 때 구체(72)의 더 작은 부분(72h)은, 눈들이 이전 초점들(PL(x, y, z) 및 PR(x, y, z))로부터 새로운 초점들(PL'(x, y, z) 및 PR'(x, y, z))로 이동될 때 가려지지 않았다.
[0056] 이제 도 7을 참조하면, AR 이미지 프레임들을 최종 사용자(50)에게 디스플레이하기 위해 가상 이미지 생성 시스템(100)을 동작시키는 하나의 방법(200)이 설명될 것이다. 첫째, CPU(132)는 최종 사용자(50)의 눈 사이 거리(즉, 초점들(PL(x, y, z) 및 PR(x, y, z)) 사이의 차이)를 결정한다(단계 202). 프레임 구조(102)에 장착된 후방 지향 카메라들과 같이, 최종 사용자(50)의 눈 사이 거리는 검출될 수 있다. 대안적으로, 최종 사용자(50)의 눈 사이 거리는 가상 이미지 생성 시스템(100)에 수동으로 입력될 수 있다.
[0057] 다음으로, CPU(132)는 더 넓은 렌더링 간격(즉, 초점들(WL(x, y, z) 및 WR(x, y, z)) 사이의 차이)을 선택한다(단계 204)). 예컨대, 더 넓은 렌더링 간격은 가상 이미지 생성 시스템(100)에 수동으로 입력될 수 있다. 더 넓은 렌더링 간격은 수학식들([1] 및 [2])에 따라 선택될 수 있다.
[0058] 도 7에 예시된 방법에서, 프레임들은, 3차원 장면(70)의 이미지들이 레이턴시(즉, 최종 사용자(50)가 자신의 머리를 움직이는 시간과 프레임이 업데이트되고 최종 사용자(50)에게 디스플레이되는 시간 사이의 경과된 시간)를 최소화하도록 렌더링될 수 있는 레이트보다 더 큰 레이트로 최종 사용자(50)에게 디스플레이된다. 예컨대, 프레임들이 렌더링되는 최대 레이트가 매 15 ms마다 한번이면, 프레임들은 매 5 ms마다 한번 최종 사용자(50)에게 디스플레이될 수 있다. 이 경우에, 렌더링된 각각의 이미지에 대해, 3개의 프레임들은 최종 사용자(50)에게 디스플레이될 수 있다.
[0059] 따라서, CPU(132)는, 환자 배향 모듈(130)에게, 연관된 머리 착용 트랜스듀서 시스템(126) 및 전방 지향 카메라(128)를 사용하여, 프레임이 최종 사용자(50)에게 디스플레이될 다음 시간에서의, 최종 사용자(50)의 머리(54)의 추정된 포지션, 및 따라서, 추정된 시점(V)을 예측하도록(단계 206), 명령한다. 머리(54)의 포지션의 예측은 머리(54)의 바로 이전에 검출된 실제 포지션 및 파라미터들, 이를테면 최종 사용자(50)의 속도, 가속도 및 이력 속성들로부터 유도될 수 있다. 이어서, CPU(132)는, 추정된 시점(V)에 관하여 더 넓은 좌측 및 우측 초점 중심들(WL(x, y, z) 및 WR(x, y, z))로부터 3차원 장면(70)의 좌측 및 우측 합성 이미지들(IL(u, v) 및 IR(u, v))을 각각 렌더링하도록(단계 208) GPU(134)에게 명령한다. 바람직한 방법에서, 좌측 및 우측 합성 이미지들(IL(u, v) 및 IR(u, v))은 3차원들로 렌더링되고, 그리고 3차원 장면(70)에서 룩-엣 포인트(PLA)에 기반하여 렌더링될 수 있다. 이어서, CPU(132)는 좌측 및 우측 합성 이미지들(IL(u, v) 및 IR(u, v))을 메모리에 저장한다(단계 210). 단계들(206-210)은 머리(54)의 각각의 추정된 포지션에서 좌측 및 우측 합성 이미지들(IL(u, v) 및 IR(u, v))을 계속 렌더링하여 저장하도록 반복된다.
[0060] GPU(134)가 이들 이미지들을 렌더링 및 저장함에 따라, CPU(132)는, 다음 프레임을 최종 사용자(50)에게 디스플레이할 시간인지를 결정한다(단계 212). 만약 그 시간이면, CPU(132)는, 환자 배향 모듈(130)에게, 연관된 머리 착용 트랜스듀서 시스템(126) 및 전방 지향 카메라(128)를 사용하여, 최종 사용자(50)의 머리(54)의 실제 포지션, 및 따라서 실제 시점(V')을 검출하도록(단계 214), 명령한다.
[0061] 이어서, CPU(132)는 메모리로부터 더 넓은 좌측 및 우측 초점 중심들(WL(x, y, z) 및 WR(x, y, z))에서 렌더링된 가장 최신의 완전한 좌측 및 우측 합성 이미지들(IL(u, v) 및 IR(u, v))을 리트리빙하고(단계 216), 그리고 실제 시점(V')에 관하여 더 좁은 좌측 및 우측 초점 중심들(PL'(x, y, z) 및 PR'(x, y, z))로, 리트리빙된 좌측 및 우측 합성 이미지들(IL(u, v) 및 IR(u, v))을 각각 워핑하도록(단계 218) GPU(134)에게 명령한다. 바람직한 방법에서, 좌측 및 우측 합성 이미지들(IL(u, v) 및 IR(u, v))은 2차원들로 워핑되고, 그리고 3차원 장면에서 상이한 룩-엣 포인트(PLA')에 기반하여 렌더링될 수 있다. 좌측 및 우측 합성 이미지들(IL(u, v) 및 IR(u, v))은 좌측 및 우측 합성 이미지들(IL(u, v) 및 IR(u, v))의 렌더링 동안 생성된 좌측 깊이 데이터 및 우측 깊이 데이터를 사용하여 워핑될 수 있다. 이어서, CPU(132)는 좌측 및 우측 워핑된 합성 이미지들(IL'(u, v) 및 IR'(u, v))로부터 프레임을 구성하도록(단계 220) GPU(134)에게 명령하고, 이어서 프레임을 최종 사용자(50)에게 디스플레이하도록(단계 222) 디스플레이 시스템(104)에게 명령한다. CPU(132)는, 다음 프레임을 최종 사용자(50)에게 디스플레이할 시간인지를 주기적으로 결정하기 위해 단계(212)로 리턴한다.
[0062] 이제 도 8을 참조하면, AR 이미지 프레임들을 최종 사용자(50)에게 디스플레이하기 위해 가상 이미지 생성 시스템(100)을 동작시키는 다른 방법(300)이 설명될 것이다. 방법(300)은 일반적으로, 최종 사용자(50)가 자신의 머리(54)를 움직일 때 프레임들이 단지 3차원 장면(70)의 이미지들에서의 레이트보다 더 큰 레이트로 디스플레이된다는 점에서 방법(200)과 상이하다. 예컨대, 프레임들이 렌더링되는 최대 레이트가 매 15 ms마다 한번이면, 프레임들은, 최종 사용자(50)의 머리(54)가 안정될 때에는 매 15 ms마다 한번 최종 사용자(50)에게 디스플레이될 수 있고, 그리고 최종 사용자(50)의 머리(54)가 움직일 때에는 매 5 ms마다 한번 최종 사용자(50)에게 디스플레이될 수 있다.
[0063] 이 목적을 위해, CPU(132)는 최종 사용자(50)의 눈 사이 거리를 결정하고(단계 302), 그리고 더 넓은 렌더링 간격을 선택하며(단계 304), 이는 방법(200)의 단계들(202 및 204)에 대해 위에서 설명된 방식으로 달성될 수 있다. 다음으로, CPU(132)는, 환자 배향 모듈(130)에게, 연관된 머리 착용 트랜스듀서 시스템(126) 및 전방 지향 카메라(128)를 사용하여, 최종 사용자(50)의 머리(54)의 실제 포지션, 및 따라서 베이스라인 시점(V)을 검출하도록(단계 306) 명령한다. 이어서, CPU(132)는, 베이스라인 시점(V)에 관하여 더 넓은 좌측 및 우측 초점 중심들(WL(x, y, z) 및 WR(x, y, z))로부터 3차원 장면(70)의 좌측 및 우측 합성 이미지들(IL(u, v) 및 IR(u, v))을 각각 렌더링하도록(단계 308) GPU(134)에게 명령한다. 바람직한 방법에서, 좌측 및 우측 합성 이미지들(IL(u, v) 및 IR(u, v))은 3차원들로 렌더링되고, 그리고 3차원 장면(70)에서 룩-엣 포인트(PLA)에 기반하여 렌더링될 수 있다. 이어서, CPU(132)는 좌측 및 우측 합성 이미지들(IL(u, v) 및 IR(u, v))을 메모리에 저장한다(단계 310). 단계들(306-310)은 좌측 및 우측 합성 이미지들(IL(u, v) 및 IR(u, v))을 계속 렌더링하여 저장하도록 반복된다.
[0064] GPU(134)가 이들 이미지들을 렌더링 및 저장함에 따라, CPU(132)는, 환자 배향 모듈(130)에게, 연관된 머리 착용 트랜스듀서 시스템(126) 및 전방 지향 카메라(128)를 사용하여, 최종 사용자(50)의 머리(54)의 실제 및 예상된 움직임이 발생하는지를 결정하도록(단계 312) 명령한다. 만약 실제 또는 예상된 움직임이 발생하면, CPU(132)는, 환자 배향 모듈(130)에게, 연관된 머리 착용 트랜스듀서 시스템(126) 및 전방 지향 카메라(128)를 사용하여, 최종 사용자(50)의 머리(54)의 새로운 포지션, 및 따라서, 새로운 시점(V')을 검출하도록(단계 314) 명령한다.
[0065] 다음으로, CPU(132)는, 베이스라인 시점(V)과 새로운 시점(V') 사이에 실질적인 차이가 있는지를 결정한다(단계 316). 베이스라인 시점(V)과 새로운 시점(V') 사이에 실질적인 차이가 있다면, CPU(132)는 더 넓은 좌측 및 우측 초점 중심들(WL(x, y, z) 및 WR(x, y, z))에서 렌더링된 가장 최신의 완전한 좌측 및 우측 합성 이미지들(IL(u, v) 및 IR(u, v))을 리트리빙하고(단계 318), 그리고 실제 시점(V')에 관하여 더 좁은 좌측 및 우측 초점 중심들(PL'(x, y, z) 및 PR'(x, y, z))로 리트리빙된 좌측 및 우측 합성 이미지들(IL(u, v) 및 IR(u, v))을 각각 워핑하도록(단계 320) GPU(134)에게 명령한다. 바람직한 방법에서, 좌측 및 우측 합성 이미지들(IL(u, v) 및 IR(u, v))은 2차원들로 워핑되고, 그리고 3차원 장면에서 상이한 룩-엣 포인트(PLA')에 기반하여 렌더링될 수 있다. 좌측 및 우측 합성 이미지들(IL(u, v) 및 IR(u, v))은 좌측 및 우측 합성 이미지들(IL(u, v) 및 IR(u, v))의 렌더링 동안 생성된 좌측 깊이 데이터 및 우측 깊이 데이터를 사용하여 워핑될 수 있다. 이어서, CPU(132)는 좌측 및 우측 워핑된 합성 이미지들(IL'(u, v) 및 IR'(u, v))로부터 프레임을 구성하도록(단계 320) GPU(134)에게 명령하고, 이어서 프레임을 최종 사용자(50)에게 디스플레이하도록(단계 324) 디스플레이 시스템(104)에게 명령한다.
[0066] 단계(312)에서, 사용자(50)의 머리(54)의 실제 또는 예상된 움직임이 발생하지 않았다는 결정이 있었거나, 또는 단계(316)에서 베이스라인 시점(V)과 새로운 시점(V') 사이에 실질적인 차이가 없다는 결정이 있었다면, CPU(132)는 다음 프레임을 최종 사용자(50)에게 디스플레이할 시간인지를 결정한다(단계 226). 만약 그런 시간이면, CPU(132)는 메모리로부터 더 넓은 좌측 및 우측 초점 중심들(WL(x, y, z) 및 WR(x, y, z))에서 렌더링된 가장 최신 완전한 좌측 및 우측 합성 이미지들(IL(u, v) 및 IR(u, v))을 리트리빙하고(단계 328), 그리고 베이스라인 시점(V)에 관하여 더 좁은 좌측 및 우측 초점 중심들(PL'(x, y, z) 및 PR'(x, y, z))로, 리트리빙된 좌측 및 우측 합성 이미지들(IL(u, v) 및 IR(u, v))을 각각 워핑하도록(단계 330) GPU(134)에게 명령한다. 바람직한 방법에서, 좌측 및 우측 합성 이미지들(IL(u, v) 및 IR(u, v))은 2차원들로 워핑되고, 그리고 3차원 장면에서 상이한 룩-엣 포인트(PLA')에 기반하여 렌더링될 수 있다. 좌측 및 우측 합성 이미지들(IL(u, v) 및 IR(u, v))은 좌측 및 우측 합성 이미지들(IL(u, v) 및 IR(u, v))의 렌더링 동안 생성된 좌측 깊이 데이터 및 우측 깊이 데이터를 사용하여 워핑될 수 있다. 이어서, CPU(132)는 좌측 및 우측 워핑된 합성 이미지들(IL'(u, v) 및 IR'(u, v))로부터 프레임을 구성하도록(단계 322) GPU(134)에게 명령하고, 이어서 프레임을 최종 사용자(50)에게 디스플레이하도록(단계 324) 디스플레이 시스템(104)에게 명령한다. CPU(132)는, 최종 사용자(50)의 머리(54)의 실제 또는 예상된 움직임이 움직였는지를 결정하기 위해 단계(326)로 리턴한다.
[0067] 전술한 설명에서, 본 발명은 본 발명의 특정 실시예들을 참조하여 설명되었다. 그러나, 다양한 수정들 및 변화들이 본 발명의 더 넓은 사상 및 범위에서 벗어나지 않고 이루어질 수 있다는 것이 명백할 것이다. 예컨대, 위에서 설명된 프로세스 흐름들은 프로세스 동작들의 특정 순서를 참조하여 설명된다. 그러나, 설명된 프로세스 동작들 중 많은 동작의 순서가 본 발명의 범위 또는 동작에 영향을 주지 않고 변경될 수 있다. 따라서, 명세서 및 도면들은 제한적 의미보다 오히려 예시로 고려된다.

Claims (20)

  1. 가상 이미지 생성 시스템을 동작시키는 방법으로서,
    제1 시점에 관하여 제1 좌측 초점 중심 및 제1 우측 초점 중심으로부터 3차원 장면의 좌측 합성 이미지 및 우측 합성 이미지를 각각 렌더링하는 단계 ― 상기 제1 좌측 초점 중심 및 상기 제1 우측 초점 중심은 최종 사용자의 눈 사이 거리보다 더 큰 거리로 서로 이격됨 ―;
    상기 제1 시점과 상이한 제2 시점에 관하여 제2 좌측 초점 중심 및 제2 우측 초점 중심으로 상기 좌측 합성 이미지 및 상기 우측 합성 이미지를 각각 워핑(warping)하는 단계 ― 상기 제2 좌측 초점 중심 및 상기 제2 우측 초점 중심은 상기 최종 사용자의 눈 사이 거리와 동일한 거리로 서로 이격됨 ―;
    좌측 워핑된 합성 이미지 및 우측 워핑된 합성 이미지로부터 프레임을 구성하는 단계;
    상기 프레임을 상기 최종 사용자에게 디스플레이하는 단계
    를 포함하는,
    가상 이미지 생성 시스템을 동작시키는 방법.
  2. 제1 항에 있어서,
    상기 좌측 합성 이미지 및 상기 우측 합성 이미지는 3차원들로 렌더링되고 2차원들로 워핑되는,
    가상 이미지 생성 시스템을 동작시키는 방법.
  3. 제1 항에 있어서,
    상기 좌측 합성 이미지 및 상기 우측 합성 이미지에 대해 좌측 깊이 데이터 및 우측 깊이 데이터를 각각 생성하는 단계를 더 포함하고, 상기 좌측 합성 이미지 및 상기 우측 합성 이미지는 상기 좌측 깊이 데이터 및 상기 우측 깊이 데이터를 사용하여 각각 워핑되는,
    가상 이미지 생성 시스템을 동작시키는 방법.
  4. 제3 항에 있어서,
    상기 좌측 합성 이미지 및 상기 우측 합성 이미지는 3차원 장면의 제1 룩-엣(look-at) 포인트에 기반하여 렌더링되고, 그리고 상기 좌측 합성 이미지 및 상기 우측 합성 이미지는 3차원 장면의 제2 룩-엣 포인트에 기반하여 워핑되는,
    가상 이미지 생성 시스템을 동작시키는 방법.
  5. 제1 항에 있어서,
    상기 사용자의 눈 사이 거리를 검출하는 단계를 더 포함하는,
    가상 이미지 생성 시스템을 동작시키는 방법.
  6. 제1 항에 있어서,
    상기 제1 시점의 추정을 예측하고 상기 제2 시점을 검출하는 단계를 더 포함하는,
    가상 이미지 생성 시스템을 동작시키는 방법.
  7. 제1 항에 있어서,
    상기 제1 시점 및 상기 제2 시점 각각을 검출하는 단계를 더 포함하는,
    가상 이미지 생성 시스템을 동작시키는 방법.
  8. 제1 항에 있어서,
    상기 3차원 장면은, 상기 제1 시점에 관하여 상기 제2 좌측 초점 중심 및 상기 제2 우측 초점 중심으로부터 보이지 않고 그리고 상기 제2 시점에 관하여 상기 제2 좌측 초점 중심 및 상기 제2 우측 초점 중심으로부터 보이는 가상 객체의 적어도 일부를 포함하는,
    가상 이미지 생성 시스템을 동작시키는 방법.
  9. 눈 사이 거리를 가진 최종 사용자가 사용하기 위한 가상 이미지 생성 시스템으로서,
    3차원 장면을 저장하는 메모리;
    제1 시점에 관하여 제1 좌측 초점 중심 및 제1 우측 초점 중심으로부터 상기 3차원 장면의 좌측 합성 이미지 및 우측 합성 이미지를 각각 렌더링하도록 구성된 제어 서브시스템 ― 상기 제1 좌측 초점 중심 및 상기 제1 우측 초점 중심은 상기 최종 사용자의 눈 사이 거리보다 더 큰 거리로 서로 이격되고, 상기 제어 서브시스템은 상기 제1 시점과 상이한 제2 시점에 관하여 제2 좌측 초점 중심 및 제2 우측 초점 중심으로 상기 좌측 합성 이미지 및 상기 우측 합성 이미지를 각각 워핑하도록 추가로 구성되고, 상기 제2 좌측 초점 중심 및 상기 제2 우측 초점 중심은 상기 최종 사용자의 눈 사이 거리와 동일한 거리로 서로 이격되고, 상기 제어 서브시스템은 좌측 워핑된 합성 이미지 및 우측 워핑된 합성 이미지로부터 프레임을 구성하도록 추가로 구성됨 ―; 및
    상기 프레임을 상기 최종 사용자에게 디스플레이하도록 구성된 디스플레이 시스템
    을 포함하는,
    눈 사이 거리를 가진 최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  10. 제9 항에 있어서,
    상기 디스플레이 시스템은 상기 최종 사용자의 눈들의 전면에 포지셔닝되도록 구성되는,
    눈 사이 거리를 가진 최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  11. 제9 항에 있어서,
    상기 디스플레이 시스템은 투사 서브시스템 및 부분적으로 투명한 디스플레이 표면을 포함하고, 상기 투사 서브시스템은 상기 부분적으로 투명한 디스플레이 표면상에 프레임을 투사하도록 구성되고, 그리고 상기 부분적으로 투명한 디스플레이 표면은 상기 최종 사용자의 눈들과 주위 환경 사이의 시야 내에 포지셔닝되도록 구성되는,
    눈 사이 거리를 가진 최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  12. 제9 항에 있어서,
    상기 최종 사용자가 착용하도록 구성된 프레임 구조를 더 포함하고, 상기 프레임 구조는 상기 디스플레이 시스템을 지지하는,
    눈 사이 거리를 가진 최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  13. 제9 항에 있어서,
    상기 제어 서브시스템은 GPU(graphics control subsystem unit)를 포함하는,
    눈 사이 거리를 가진 최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  14. 제9 항에 있어서,
    상기 좌측 합성 이미지 및 상기 우측 합성 이미지는 3차원들로 렌더링되고 2차원들로 워핑되는,
    눈 사이 거리를 가진 최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  15. 제9 항에 있어서,
    상기 제어 서브시스템은 상기 좌측 합성 이미지 및 상기 우측 합성 이미지에 대해 좌측 깊이 데이터 및 우측 깊이 데이터를 각각 생성하도록 추가로 구성되고, 상기 좌측 합성 이미지 및 상기 우측 합성 이미지는 상기 좌측 깊이 데이터 및 상기 우측 깊이 데이터를 사용하여 각각 워핑되는,
    눈 사이 거리를 가진 최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  16. 제15 항에 있어서,
    상기 좌측 합성 이미지 및 상기 우측 합성 이미지는 3차원 장면의 제1 룩-엣 포인트에 기반하여 렌더링되고, 그리고 상기 좌측 합성 이미지 및 상기 우측 합성 이미지는 3차원 장면의 제2 룩-엣 포인트에 기반하여 워핑되는,
    눈 사이 거리를 가진 최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  17. 제9 항에 있어서,
    상기 사용자의 눈 사이 거리를 검출하도록 구성된 하나 또는 그 초과의 센서들을 더 포함하는,
    눈 사이 거리를 가진 최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  18. 제9 항에 있어서,
    상기 제1 시점의 추정을 예측하고 상기 제2 시점을 검출하도록 구성된 환자 배향 모듈을 더 포함하는,
    눈 사이 거리를 가진 최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  19. 제9 항에 있어서,
    상기 제1 시점 및 상기 제2 시점 각각을 검출하도록 구성된 환자 배향 모듈을 더 포함하는,
    눈 사이 거리를 가진 최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
  20. 제9 항에 있어서,
    상기 3차원 장면은, 상기 제1 시점에 관하여 상기 제2 좌측 초점 중심 및 상기 제2 우측 초점 중심으로부터 보이지 않고 그리고 상기 제2 시점에 관하여 상기 제2 좌측 초점 중심 및 상기 제2 우측 초점 중심으로부터 보이는 가상 객체의 적어도 일부를 포함하는,
    눈 사이 거리를 가진 최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
KR1020187029606A 2016-03-15 2017-03-15 낮은-레이턴시 렌더링을 위한 와이드 베이스라인 스테레오 KR102330237B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662308418P 2016-03-15 2016-03-15
US62/308,418 2016-03-15
PCT/US2017/022554 WO2017161019A1 (en) 2016-03-15 2017-03-15 Wide baseline stereo for low-latency rendering

Publications (2)

Publication Number Publication Date
KR20180121994A true KR20180121994A (ko) 2018-11-09
KR102330237B1 KR102330237B1 (ko) 2021-11-23

Family

ID=59847939

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187029606A KR102330237B1 (ko) 2016-03-15 2017-03-15 낮은-레이턴시 렌더링을 위한 와이드 베이스라인 스테레오

Country Status (10)

Country Link
US (1) US10313661B2 (ko)
EP (1) EP3430466A4 (ko)
JP (1) JP6956104B2 (ko)
KR (1) KR102330237B1 (ko)
CN (2) CN108885342B (ko)
AU (1) AU2017232507B2 (ko)
CA (1) CA3016337A1 (ko)
IL (2) IL261596B (ko)
NZ (1) NZ745793A (ko)
WO (1) WO2017161019A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
JP6654158B2 (ja) * 2017-01-23 2020-02-26 ティフォン インコーポレーテッドＴｙｆｆｏｎ Ｉｎｃ． 映像提供システム、映像提供方法及び映像提供プログラム
US10580200B2 (en) * 2017-04-07 2020-03-03 Intel Corporation Virtual reality apparatus and method including prioritized pixel shader operations, alternate eye rendering, and/or augmented timewarp
US10467796B2 (en) * 2017-04-17 2019-11-05 Intel Corporation Graphics system with additional context
KR102600011B1 (ko) * 2017-09-15 2023-11-09 인터디지털 브이씨 홀딩스 인코포레이티드 3 자유도 및 볼류메트릭 호환 가능한 비디오 스트림을 인코딩 및 디코딩하기 위한 방법들 및 디바이스들
US10853911B2 (en) * 2018-04-17 2020-12-01 Google Llc Dynamic adaptation of images for projection, and/or of projection parameters, based on user(s) in environment
US10726521B2 (en) * 2018-04-17 2020-07-28 Google Llc Dynamic adaptation of device interfaces in a voice-based system
US10916066B2 (en) * 2018-04-20 2021-02-09 Edx Technologies, Inc. Methods of virtual model modification
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US10638165B1 (en) * 2018-11-08 2020-04-28 At&T Intellectual Property I, L.P. Adaptive field of view prediction

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140133330A (ko) * 2013-05-10 2014-11-19 한국전자통신연구원 입체 디스플레이 시스템
KR20160026898A (ko) * 2013-06-28 2016-03-09 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 증강 현실 경험을 위한 재투영 oled 디스플레이

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5287437A (en) * 1992-06-02 1994-02-15 Sun Microsystems, Inc. Method and apparatus for head tracked display of precomputed stereo images
US20020001045A1 (en) * 1998-07-16 2002-01-03 Minakanagurki Ranganath Parallax viewing system
US7224382B2 (en) * 2002-04-12 2007-05-29 Image Masters, Inc. Immersive imaging system
US20120182403A1 (en) * 2004-09-30 2012-07-19 Eric Belk Lange Stereoscopic imaging
US7538876B2 (en) * 2006-06-12 2009-05-26 The Boeing Company Efficient and accurate alignment of stereoscopic displays
JP5569198B2 (ja) * 2009-07-08 2014-08-13 大日本印刷株式会社 立体画像提示方法および提示装置
GB2472444B (en) * 2009-08-07 2014-08-06 Light Blue Optics Ltd Head up displays
JP5499985B2 (ja) * 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US8845376B2 (en) * 2011-03-22 2014-09-30 The Coleman Company, Inc. Flotation vest having an integral work surface
JP2012235270A (ja) * 2011-04-28 2012-11-29 Sharp Corp 立体画像表示装置および立体画像表示方法
CN102692708B (zh) * 2012-06-15 2016-02-10 中航华东光电有限公司 双目头盔显示器光学系统的调整方法
CN103048794B (zh) * 2012-12-21 2016-04-06 Tcl通力电子（惠州）有限公司 利用激光脉冲投影实现3d显示的方法和系统
JP5845211B2 (ja) * 2013-06-24 2016-01-20 キヤノン株式会社 画像処理装置、画像処理方法
US20150312558A1 (en) 2014-04-29 2015-10-29 Quentin Simon Charles Miller Stereoscopic rendering to eye positions
US10122992B2 (en) * 2014-05-22 2018-11-06 Disney Enterprises, Inc. Parallax based monoscopic rendering
WO2016017144A1 (en) 2014-07-31 2016-02-04 Seiko Epson Corporation Display device, control method for display device, and program
US9240069B1 (en) * 2015-06-30 2016-01-19 Ariadne's Thread (Usa), Inc. Low-latency virtual reality display system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140133330A (ko) * 2013-05-10 2014-11-19 한국전자통신연구원 입체 디스플레이 시스템
KR20160026898A (ko) * 2013-06-28 2016-03-09 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 증강 현실 경험을 위한 재투영 oled 디스플레이

Also Published As

Publication number Publication date
KR102330237B1 (ko) 2021-11-23
NZ745793A (en) 2023-04-28
IL261596B (en) 2021-05-31
US10313661B2 (en) 2019-06-04
CA3016337A1 (en) 2017-09-21
CN113568170A (zh) 2021-10-29
WO2017161019A1 (en) 2017-09-21
JP6956104B2 (ja) 2021-10-27
CN108885342B (zh) 2021-06-04
US20170272729A1 (en) 2017-09-21
IL261596A (en) 2018-10-31
JP2019512798A (ja) 2019-05-16
AU2017232507B2 (en) 2021-11-11
EP3430466A4 (en) 2019-03-13
EP3430466A1 (en) 2019-01-23
AU2017232507A1 (en) 2018-09-20
CN108885342A (zh) 2018-11-23
IL283056A (en) 2021-06-30

Similar Documents

Publication Publication Date Title
KR102330237B1 (ko) 낮은-레이턴시 렌더링을 위한 와이드 베이스라인 스테레오
US11257285B2 (en) Direct light compensation technique for augmented reality system
US10176639B2 (en) Virtual/augmented reality system having dynamic region resolution
US11379948B2 (en) Mixed reality system with virtual content warping and method of generating virtual content using same
US10293252B2 (en) Image processing device, system and method based on position detection
KR20180021885A (ko) 가상 이미지 생성 시스템에서 텍스트를 더 효율적으로 디스플레이하기 위한 기법
KR102386764B1 (ko) 동적 지역 해상도를 가진 가상/증강 현실 시스템
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant