KR20180122690A - 증강 현실 시스템에 대한 직접 광 보상 기법 - Google Patents
증강 현실 시스템에 대한 직접 광 보상 기법 Download PDFInfo
- Publication number
- KR20180122690A KR20180122690A KR1020187029599A KR20187029599A KR20180122690A KR 20180122690 A KR20180122690 A KR 20180122690A KR 1020187029599 A KR1020187029599 A KR 1020187029599A KR 20187029599 A KR20187029599 A KR 20187029599A KR 20180122690 A KR20180122690 A KR 20180122690A
- Authority
- KR
- South Korea
- Prior art keywords
- augmented reality
- virtual
- overlap region
- image data
- color
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 87
- 230000003287 optical effect Effects 0.000 title description 7
- 238000000034 method Methods 0.000 claims abstract description 78
- 230000002787 reinforcement Effects 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 42
- 210000003128 head Anatomy 0.000 claims description 33
- 230000002452 interceptive effect Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 description 18
- 230000033001 locomotion Effects 0.000 description 6
- 239000000872 buffer Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000013307 optical fiber Substances 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000004886 head movement Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000001427 coherent effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011112 process operation Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/16—Using real world measurements to influence rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Optical Communication System (AREA)
Abstract
증강 현실 시스템 및 이를 동작시키는 방법이 제공된다. 최종 사용자는 주위 환경의 3차원 장면으로부터의 직사 광을 시각화하도록 허용되고, 최종 사용자의 시점으로부터 가상 이미지 데이터를 생성한다. 3차원 장면에서의 실제 객체와 가상 이미지 데이터에서의 가상 객체 사이의 공간 오버랩의 지역이 결정된다. 오버랩 지역 내의 실제 객체의 컬러 특성이 결정된다. 오버랩 지역 내의 실제 객체와 가상 객체 사이의 인식되는 콘트라스트는 오버랩 지역 내의 실제 객체의 결정된 컬러 특성에 기반하여 감소된다. 가상 이미지 데이터는, 실제 객체와 가상 객체 사이의 인식되는 콘트라스트가 감소된 이후, 시각화된 직사 광과 함께, 3차원 증강 장면을 생성하는 가상 이미지 데이터로서 디스플레이된다.
Description
[0001]
본 출원은 위임 도킷 번호 ML.30036.00 하에서 2016년 3월 15일에 출원되고, 발명의 명칭이 "DIRECT LIGHT COMPENSATION TECHNIQUE FOR AUGMENTED REALITY SYSTEM"인 미국 가특허 출원 일련 번호 제 62/308,433호를 우선권으로 주장한다. 이로써, 위에서 언급된 특허 출원의 내용은 그 전체가 인용에 의해 명시적으로 포함된다.
[0002]
본 발명은 일반적으로 하나 또는 그 초과의 사용자들에 대해 상호작용하는 증강 현실 환경들을 가능하게 하도록 구성된 시스템들 및 방법들에 관한 것이다.
[0003]
현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 가능하게 하였고, 여기서 디지털적으로 재생된 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 인식될 수 있는 방식으로 사용자에게 제시된다. 가상 현실(VR) 시나리오는 통상적으로 다른 실제 실세계 시각적 입력에 대한 투명성(transparency) 없는 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하는 반면, 증강 현실(AR) 시나리오는 통상적으로 사용자 주위 실제 세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다.
[0004]
예컨대, 도 1을 참조하면, 증강 현실 장면(2)이 묘사되고, 여기서 AR 기술의 사용자는 배경 내의 사람들(6), 나무들(8), 빌딩들(10) 및 하늘(12), 및 콘크리트 플랫폼(14)을 특징으로 하는 실세계 공원형 세팅(4)을 본다. 이들 아이템들에 외에, AR 기술의 사용자는 또한, 그가 실세계 플랫폼(14) 상에 서있는 로봇(16), 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화형 아바타 캐릭터(18)(이들 엘리먼트들(16, 18)이 실세계에 존재하지 않더라도)를 "보는" 것을 인식한다. 밝혀진 바와 같이, 인간 시각 인식 시스템은 매우 복잡하고, 다른 가상 또는 실세계 이미저리(imagery) 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스럽고, 풍부한 프리젠테이션을 가능하게 하는 VR 또는 AR 기술을 생성하는 것은 난제이다.
[0005]
VR 및 AR 디스플레이 시스템들은 뷰어(viewer) 또는 사용자의 머리 포즈(즉, 사용자의 머리의 배향 및/또는 위치)에 대한 정보로부터 이익을 얻을 수 있다.
[0006]
예컨대, 머리 착용 디스플레이들(또는 헬멧 장착 디스플레이들, 또는 스마트 안경)은 사용자의 머리에 적어도 느슨하게 커플링되고, 따라서 사용자의 머리가 움직일 때 움직인다. 사용자의 머리 모션들이 디스플레이 시스템에 의해 검출되면, 디스플레이되는 데이터는 머리 포즈의 변화를 고려하기 위하여 업데이트될 수 있다.
[0007]
예로서, 머리 착용 디스플레이를 착용한 사용자가 디스플레이 상의 3차원(3D) 객체의 가상 표현을 보면서 3D 객체가 나타나는 영역을 둘러보면, 그 3D 객체는 각각의 뷰포인트(viewpoint)에 대해 재-렌더링될 수 있고, 이는, 사용자가 실제 공간을 차지하는 객체를 둘러본다는 인식을 사용자에게 제공한다. 머리 착용 디스플레이가 가상 공간(예컨대, 풍부한 가상 세계) 내의 다수의 객체들을 제시하는 데 사용되면, 머리 포즈의 측정들은 사용자의 동적으로 변화하는 머리 위치 및 배향과 매칭시키기 위하여 장면을 재-렌더링하고 그리고 가상 공간에서의 증가된 몰입감을 제공하는 데 사용될 수 있다.
[0008]
AR을 인에이블하는(즉, 실제 및 가상 엘리먼트들의 동시 보기) 머리 착용 디스플레이들은 몇몇 상이한 타입들의 구성들을 가질 수 있다. 종종 "비디오 시-스루(see-through)" 디스플레이라 지칭되는 하나의 그런 구성에서, 카메라는 실제 장면의 엘리먼트들을 캡처하고, 컴퓨팅 시스템은 가상 엘리먼트들을 캡처된 실제 장면 상에 슈퍼임포즈(superimpose)하고, 그리고 불-투명 디스플레이는 합성 이미지를 눈들에 제시한다. 다른 구성은 종종 "광학 시-스루" 디스플레이로서 지칭되고, 여기서 사용자는 디스플레이 시스템 내의 투명(또는 반-투명) 엘리먼트들을 시 스루하여 환경 내의 실제 객체들로부터의 광을 직접 볼 수 있다. 종종 "컴바이너(combiner)"로서 지칭되는 투명 엘리먼트는 디스플레이로부터의 광을 실세계의 사용자의 뷰 위에 슈퍼임포즈한다.
[0009]
본 발명들에 가장 관련이 있는 것은 광학 시-스루 AR 디스플레이고, 광학 시-스루 AR 디스플레이는, 사용자가 실세계 환경으로부터의 주위 광을 직접 보게 한다. 일반적으로, 실세계 위에 슈퍼임포즈된 가상 객체들이 불투명하여, 사용자의 조망으로부터 가상 객체들 뒤에 있는 실제 객체들 또는 실제 객체들의 부분들이 실세계 경험을 사용자에게 제공하기 위해 완전히 보기 어렵게 되는 것이 바람직하다. 그러나, 실세계로부터의 광이 가상 세계로부터의 광과 결합되기 때문에, 가상 세계에 의해 차단되는 것과 반대로, 가상 객체들 또는 가상 객체들의 부분들은 실제 객체들을 오버랩할 때 투명하거나 반투명하게 보일 수 있다.
[0010]
따라서, 광학 시-스루 AR 시스템에서 사용자에게 디스플레이되는 가상 객체들이 가능한 한 불투명하도록 보장할 필요가 있다.
[0011]
본 발명들의 제1 양상에 따라, 증강 현실(AR) 시스템을 동작시키는 방법이 제공된다. 방법은, 최종 사용자가 주위 환경의 3차원 장면으로부터의 직사 광을 시각화하는 것을 허용하는 단계, 최종 사용자의 시점으로부터 가상 이미지 데이터를 생성하는 단계, 3차원 장면에서의 실제 객체와 가상 이미지 데이터에서의 가상 객체 사이의 공간 오버랩 지역을 결정하는 단계, 및 오버랩 지역 내의 실제 객체의 컬러 특성들을 결정하는 단계를 포함한다. 방법은 오버랩 지역 내의 실제 객체의 결정된 컬러 특성에 기반하여 오버랩 지역 내의 실제 객체와 가상 객체 사이의 인식되는 콘트라스트(contrast)(예컨대, 인식되는 컬러 콘트라스트 및/또는 인식되는 컬러 세기)를 감소시키는 단계를 더 포함한다. 방법은, 실제 객체와 가상 객체 사이의 인식되는 콘트라스트가 감소된 이후, 시각화된 직사 광과 함께, 3차원 증강 장면을 생성하는 가상 이미지로서 가상 이미지 데이터를 최종 사용자에게 디스플레이하는 단계를 더 포함한다.
[0012]
하나의 방법에서, 실제 객체와 가상 객체 사이의 인식되는 콘트라스트를 감소시키는 단계는 오버랩 지역 내의 실제 객체의 결정된 컬러 특성에 기반하여 간섭 데이터를 생성하는 단계, 및 간섭 이미지가 오버랩 지역 내의 가상 객체에 대한 배경을 생성하도록 실제 객체로부터의 직사 광과 결합하도록(예컨대, 컬러를 더함으로써), 오버랩 지역에 걸쳐 간섭 데이터를 간섭 이미지로서 최종 사용자에게 디스플레이하는 단계를 포함한다. 오버랩 지역 내의 배경은 오버랩 지역 내의 실제 객체에 비해 감소된 동적 컬러 범위를 가질 수 있다. 예컨대, 배경은 오버랩 지역에서 일반적으로 균일한 컬러(예컨대, 회색)를 가질 수 있다.
[0013]
다른 방법에서, 실제 객체와 가상 객체 사이의 콘트라스트를 감소시키는 단계는 오버랩 지역 내의 실제 객체의 결정된 컬러 특성에 기반하여 가상 이미지 데이터를 수정(예컨대, 가상 객체로부터 컬러를 뺌으로써)하는 단계를 포함한다.
[0014]
또 다른 방법은 사용자의 머리에 부착된 적어도 하나의 카메라로 실제 3차원 장면의 이미지 데이터를 캡처하는 단계, 및 캡처된 이미지 데이터를 사용자의 시점으로 워핑(warping)하는 단계를 더 포함한다. 이 경우에, 실제 객체와 가상 객체 사이의 오버랩 지역을 결정하는 단계는 워핑된 이미지 데이터에서의 대응하는 실제 객체와 가상 이미지 데이터에서의 가상 객체 사이의 공간 오버랩을 결정하는 단계를 포함하고, 그리고 오버랩 지역 내의 실제 객체의 컬러 특성을 결정하는 단계는 오버랩 지역 내의 워핑된 이미지 데이터에서의 대응하는 실제 객체의 컬러 특성을 결정하는 단계를 포함한다. 워핑된 이미지 데이터 및 가상 이미지 데이터 각각은 복수의 픽셀들을 포함하고, 복수의 픽셀들 각각은 적어도 하나의 값에 의해 정의되고, 이 경우에, 실제 객체와 가상 객체 사이의 콘트라스트를 감소시키는 단계는 오버랩 지역 내의 워핑된 이미지 데이터로부터 유도된 간섭 데이터 가상 객체 중 하나 또는 둘 모두의 픽셀의 값(들)을 수정하는 단계를 포함할 수 있다. 픽셀들 각각은 컬러 벡터(예컨대, 적색 값, 녹색 값 및 청색 값)를 정의하는 3개의 값들을 포함할 수 있고, 그리고 픽셀의 세기를 정의하는 제4 값을 더 가질 수 있다.
[0015]
본 발명들의 다른 양상에 따라, 증강 현실(AR) 시스템은 최종 사용자가 주위 환경의 3차원 장면으로부터의 직사 광을 시각화하는 것을 허용하도록 구성된 디스플레이 시스템을 포함한다. 일 실시예에서, 디스플레이 시스템은 최종 사용자의 눈들의 전면에 포지셔닝되도록 구성된다. 증강 현실 시스템은 디스플레이 시스템을 지지하고 최종 사용자가 착용하도록 구성된 프레임 구조를 더 포함할 수 있다. 디스플레이 시스템은 투사 서브시스템 및 부분적으로 투명한 디스플레이 표면을 포함할 수 있고, 투사 서브시스템은 가상 이미지를 부분적으로 투명한 디스플레이 표면상에 투사하도록 구성된다. 이 경우에, 부분적으로 투명한 디스플레이 표면은 최종 사용자의 눈들과 주위 환경 사이의 시야에 포지셔닝되도록 구성된다.
[0016]
증강 현실 시스템은 최종 사용자의 시점으로부터 가상 이미지 데이터를 생성하고, 3차원 장면에서의 실제 객체와 가상 이미지 데이터에서의 가상 객체 사이의 공간 오버랩 지역을 결정하고, 오버랩 지역 내의 실제 객체의 컬러 특성을 결정하고, 그리고 오버랩 지역의 실제 객체의 결정된 컬러 특성에 기반하여; 예컨대, 오버랩 지역 내의 실제 객체와 가상 객체 사이의 인식되는 컬러 콘트라스트를 수정하고 그리고/또는 오버랩 지역 내의 실제 객체와 가상 객체 사이의 인식되는 세기 콘트라스트를 수정함으로써, 오버랩 지역 내의 실제 객체와 가상 객체 사이의 인식되는 콘트라스트를 감소시키도록 구성된 제어 시스템(예컨대, GPU(graphical processing unit)를 포함하는 것)을 더 포함한다. 제어 시스템은, 실제 객체와 가상 객체 사이의 인식되는 콘트라스트가 감소된 이후, 시각화된 직사 광과 함께, 3차원 증강 장면을 생성하는 가상 이미지로서 가상 이미지 데이터를 최종 사용자에게 디스플레이하도록 디스플레이 시스템에게 명령하도록 추가로 구성된다.
[0017]
일 실시예에서, 제어 시스템은 오버랩 지역 내의 실제 객체의 결정된 컬러 특성에 기반하여 간섭 데이터를 생성하고, 그리고 간섭 이미지가 오버랩 지역 내의 가상 객체에 대한 배경을 생성하도록 실제 객체로부터의 직사 광과 결합하도록(예컨대, 컬러를 더함으로써), 오버랩 지역에 걸쳐 간섭 데이터를 간섭 이미지로서 최종 사용자에게 디스플레이하게 디스플레이 시스템에게 명령함으로써 실제 객체와 가상 객체 사이의 인식되는 콘트라스트를 감소시키도록 구성된다. 오버랩 지역 내의 배경은 오버랩 지역 내의 실제 객체에 비해 감소된 동적 컬러 범위를 가질 수 있다. 예컨대, 배경은 오버랩 지역에서 일반적으로 균일한 컬러(예컨대, 회색)를 가질 수 있다.
[0018]
다른 실시예에서, 제어 시스템은 오버랩 지역 내의 실제 객체의 결정된 컬러 특성에 기반하여 가상 이미지 데이터를 수정함으로써(예컨대, 가상 객체로부터 컬러를 뺌으로써) 실제 객체와 가상 객체 사이의 콘트라스트를 감소시키도록 구성된다.
[0019]
또 다른 실시예에서, 증강 현실 시스템은 사용자의 머리에 부착되도록 구성되고, 그리고 실제 3차원 장면의 이미지 데이터를 캡처하도록 추가로 구성된 적어도 하나의 카메라를 더 포함하고, 제어 시스템은 캡처된 이미지 데이터를 사용자의 시점으로 워핑하도록 구성된다. 이 경우에, 제어 시스템은 캡처된 이미지 데이터에서의 대응하는 실제 객체와 가상 이미지 데이터에서의 가상 객체 사이의 공간 오버랩을 결정함으로써 실제 객체와 가상 객체 사이의 오버랩 지역을 결정하도록 구성되고, 그리고 오버랩 지역 내의 실제 객체의 컬러 특성을 결정하는 것은 오버랩 지역 내의 워핑된 이미지 데이터에서의 대응하는 실제 객체의 컬러 특성을 결정하는 것을 포함한다.
[0020]
캡처된 이미지 데이터 및 가상 이미지 데이터 각각은 복수의 픽셀들을 포함하고, 복수의 픽셀들 각각은 적어도 하나의 값에 의해 정의되고, 이 경우에, 제어 시스템은 오버랩 지역 내의 워핑된 이미지 데이터로부터 유도된 간섭 데이터 및 가상 객체 중 하나 또는 둘 모두의 픽셀의 값(들)을 수정함으로써 실제 객체와 가상 객체 사이의 콘트라스트를 감소시키도록 구성된다. 픽셀들 각각은 컬러 벡터(예컨대, 적색 값, 녹색 값 및 청색 값)를 정의하는 3개의 값들을 포함할 수 있고, 그리고 픽셀의 세기를 정의하는 제4 값을 더 가질 수 있다.
[0021]
본 발명의 부가적인 목적들 및 다른 목적들, 특징들, 및 장점들은 상세한 설명, 도면들, 및 청구항들에 설명된다.
[0001]
도면들은 본 발명의 바람직한 실시예들의 설계 및 유용성을 예시하고, 여기서 유사한 엘리먼트들은 공통 참조 번호들로 참조된다. 본 발명들의 위에서 언급된 장점들 및 다른 장점들 및 목적들이 획득되는 방법을 더 잘 인지하기 위하여, 위에서 간략하게 설명된 본 발명들의 더 특정한 설명은 첨부 도면들에 예시된 본 발명들의 특정 실시예들을 참조하여 제공될 것이다. 이들 도면들이 단지 본 발명의 통상적인 실시예들만을 도시하고 그러므로 그 범위를 제한하는 것으로 고려되지 않는다는 것이 이해되기 때문에, 본 발명은 첨부 도면들의 사용을 통해 부가적인 특이성 및 세부사항들로 서술되고 설명될 것이다.
[0002] 도 1은 종래 기술의 증강 현실 생성 디바이스에 의해 최종 사용자에게 디스플레이될 수 있는 3차원 증강 현실 장면의 화면이다.
[0003] 도 2는 본 발명들의 일 실시예에 따라 구성된 가상 이미지 생성 시스템의 블록 다이어그램이다.
[0022] 도 3은 도 2의 가상 이미지 생성 시스템에 의해 생성된 예시적인 프레임의 평면도이다.
[0023] 도 4a는 도 2의 가상 이미지 생성 시스템을 착용하는 데 사용될 수 있는 하나의 기법의 도면이다.
[0024] 도 4b는 도 2의 가상 이미지 생성 시스템을 착용하는 데 사용될 수 있는 다른 기법의 도면이다.
[0025] 도 4c는 도 2의 가상 이미지 생성 시스템을 착용하는데 사용될 수 있는 또 다른 하나의 기법의 도면이다.
[0026] 도 4d는 도 2의 가상 이미지 생성 시스템을 착용하는데 사용될 수 있는 또 다른 하나의 기법의 도면이다.
[0027] 도 5는 도 2의 증강 현실 시스템에 의해 최종 사용자에게 디스플레이될 수 있는 3차원 증강 현실 장면의 화면이고, 여기서는 실제 객체들과 가상 객체들 사이의 오버랩 지역들이 특히 주목된다.
[0028] 도 6은 실제 객체들 위에 디스플레이될 때 가상 객체들의 불투명도를 증가시키도록 도 2의 증강 현실 시스템을 동작시키는 하나의 방법을 예시하는 흐름도이다.
[0029] 도 7은 실제 객체들 위에 디스플레이될 때 가상 객체들의 불투명도를 증가시키도록 도 2의 증강 현실 시스템을 동작시키는 다른 방법을 예시하는 흐름도이다.
[0030] 도 8은 실제 객체들 위에 디스플레이될 때 가상 객체들의 불투명도를 증가시키도록 도 2의 증강 현실 시스템을 동작시키는 다른 방법을 예시하는 흐름도이다.
[0002] 도 1은 종래 기술의 증강 현실 생성 디바이스에 의해 최종 사용자에게 디스플레이될 수 있는 3차원 증강 현실 장면의 화면이다.
[0003] 도 2는 본 발명들의 일 실시예에 따라 구성된 가상 이미지 생성 시스템의 블록 다이어그램이다.
[0022] 도 3은 도 2의 가상 이미지 생성 시스템에 의해 생성된 예시적인 프레임의 평면도이다.
[0023] 도 4a는 도 2의 가상 이미지 생성 시스템을 착용하는 데 사용될 수 있는 하나의 기법의 도면이다.
[0024] 도 4b는 도 2의 가상 이미지 생성 시스템을 착용하는 데 사용될 수 있는 다른 기법의 도면이다.
[0025] 도 4c는 도 2의 가상 이미지 생성 시스템을 착용하는데 사용될 수 있는 또 다른 하나의 기법의 도면이다.
[0026] 도 4d는 도 2의 가상 이미지 생성 시스템을 착용하는데 사용될 수 있는 또 다른 하나의 기법의 도면이다.
[0027] 도 5는 도 2의 증강 현실 시스템에 의해 최종 사용자에게 디스플레이될 수 있는 3차원 증강 현실 장면의 화면이고, 여기서는 실제 객체들과 가상 객체들 사이의 오버랩 지역들이 특히 주목된다.
[0028] 도 6은 실제 객체들 위에 디스플레이될 때 가상 객체들의 불투명도를 증가시키도록 도 2의 증강 현실 시스템을 동작시키는 하나의 방법을 예시하는 흐름도이다.
[0029] 도 7은 실제 객체들 위에 디스플레이될 때 가상 객체들의 불투명도를 증가시키도록 도 2의 증강 현실 시스템을 동작시키는 다른 방법을 예시하는 흐름도이다.
[0030] 도 8은 실제 객체들 위에 디스플레이될 때 가상 객체들의 불투명도를 증가시키도록 도 2의 증강 현실 시스템을 동작시키는 다른 방법을 예시하는 흐름도이다.
[0031]
하기의 설명은 증강 현실 시스템들에 사용될 디스플레이 시스템들 및 방법들에 관한 것이다. 그러나, 본 발명이 가상 현실의 애플리케이션에 매우 적합하지만, 본 발명이, 그의 가장 넓은 양상들에서, 그렇게 제한되지 않을 수 있다는 것이 이해될 것이다.
[0032]
도 2를 참조하면, 본 발명들에 따라 구성된 증강 현실 시스템(100)의 일 실시예가 이제 설명될 것이다. 증강 현실 시스템(100)은 최종 사용자(50)의 시야에 있는 물리적 객체들과 인터믹싱(intermix)되는 가상 객체들의 이미지들을 제공한다. 본원에 교시된 증강 현실 시스템(100), 및 다양한 교시들은 증강 현실 이외의 애플리케이션들에 이용될 수 있다. 예컨대, 다양한 기법들은 임의의 투사 또는 디스플레이 시스템에 적용될 수 있다. 또는, 본원에 설명된 다양한 기법들은, 움직임이 머리보다 오히려 최종 사용자의 손에 의해 이루어질 수 있는 피코(pico) 투사기들에 적용될 수 있다. 따라서, 증강 현실 시스템의 측면에서 종종 본원에 설명되지만, 교시들은 그런 용도들의 그런 시스템으로 제한되지 않아야 한다.
[0033]
증강 현실 시스템(100)의 경우, 최종 사용자(50)의 시야에 있는 각각의 물리적 객체들에 관하여 다양한 가상 객체들을 공간적으로 포지셔닝하는 것이 바람직할 수 있다. 본원에서 또한 가상 태그(tag)들 또는 태그 또는 콜 아웃(call out)들로 지칭되는 가상 객체들은 매우 다양한 형태들, 기본적으로 임의의 다양한 데이터, 정보, 개념, 또는 이미지로서 나타내질 수 있는 로지컬 구성 중 임의의 형태를 취할 수 있다. 가상 객체들의 비제한적 예들은: 가상 텍스트 객체, 가상 수치 객체, 가상 알파뉴메릭(alphanumeric) 객체, 가상 태그 객체, 가상 필드 객체, 가상 차트 객체, 가상 맵 객체, 가상 계측 객체, 또는 물리적 객체의 가상 시각 표현을 포함할 수 있다.
[0034]
증강 현실 시스템(100)은 실제 객체들 위에 디스플레이되는 가상 객체들의 불투명도를 보장하거나 적어도 증가시킬 수 있다. 증강 현실 시스템(100)은 실제 객체들 위에 부가적인 간섭 이미지들을 디스플레이하고 그리고/또는 가상 객체들의 디스플레이 전에 가상 이미지 데이터를 수정함으로써, 가상 객체들과 실제 객체들이 오버랩하는 지역들 내에서 이들 객체들 사이의 콘트라스트를 감소시킴으로써 이를 달성한다.
[0035]
이를 위해, 증강 현실 시스템(100)은 최종 사용자(50)에 의해 착용되는 프레임 구조(102), 디스플레이 시스템(104)(이 디스플레이 시스템(104)은, 디스플레이 시스템(104)이 최종 사용자(50)의 눈들(52)의 전면에 포지셔닝되도록 프레임 구조(102)에 의해 지지됨), 및 스피커(106)(이 스피커(106)는, 스피커(106)가 최종 사용자(50)의 외이도(ear canal)에 인접하게 포지셔닝되도록 프레임 구조(102)에 의해 휴대됨)(선택적으로, 다른 스피커(도시되지 않음)는 스테레오/성형가능 사운드 제어를 제공하도록 최종 사용자(50)의 다른 외이도에 인접하게 포지셔닝됨)를 포함한다. 디스플레이 시스템(104)은 높은-레벨들의 이미지 품질 및 3차원 인식과 함께, 물리적 현실성에 대한 증강들로서뿐 아니라, 2차원 콘텐츠를 제시할 수 있는 것으로 편안하게 인식될 수 있는 포토(photo)-기반 방사 패턴들을 최종 사용자(50)의 눈들(52)에 제시하도록 설계된다. 디스플레이 시스템(104)은 단일 코히어런트(coherent) 장면의 인식을 제공하는 고주파수로 프레임들의 시퀀스를 제시한다.
[0036]
예시된 실시예에서, 디스플레이 시스템(104)은 "광학 시-스루(see-through)" 디스플레이고, "광학 시-스루" 디스플레이를 통해, 사용자는 투명(또는 반-투명) 엘리먼트들을 통해 실제 객체들로부터의 광을 직접 볼 수 있다. 종종 "컴바이너(combiner)"로서 지칭되는 투명 엘리먼트는 디스플레이로부터의 광을 실세계의 사용자의 뷰 위에 슈퍼임포즈한다. 이를 위해, 디스플레이 시스템(104)은 투사 서브시스템(108) 및 투사 서브시스템(108)이 이미지들을 투사하는 부분적으로 투명한 디스플레이 표면(110)을 포함한다. 디스플레이 표면(110)은 최종 사용자(50)의 눈들(52)과 주위 환경 사이의 최종 사용자(50)의 시야에 포지셔닝되어, 주위 환경으로부터의 직사 광이 디스플레이 표면(110)을 통해 최종 사용자(50)의 눈들(52)로 전달된다. 예시된 실시예에서, 투사 서브시스템(108)은 하나 또는 그 초과의 광섬유들(112)(예컨대, 단일 모드 광섬유)을 포함하며, 이들 각각은, 광이 수신되는 하나의 단부(112a) 및 부분적으로 투명한 디스플레이 표면(110)에 광을 제공하는 다른 단부(112b)를 가지며, 이에 의해 주위 환경으로부터의 직접적인 광이 결합되어 디스플레이 표면(110)으로부터 사용자(50)의 눈들(52)에 전달된다. 투사 서브시스템(108)은 또한, 광을 생성하고(예컨대, 정의된 패턴들로 상이한 컬러들의 광을 방출하고), 그리고 광을 광섬유(들)(112)의 다른 단부(112a)에 통신가능하게 커플링하는 하나 또는 그 초과의 광 소스들(114)을 포함할 수 있다. 광 소스(들)(114)는 임의의 매우 다양한 형태들, 예컨대 픽셀 정보 또는 데이터에서의 각각의 프레임들에서 특정된 정의된 픽셀 패턴들에 따라 각각 적색, 녹색, 및 청색 코히어런트 시준 광을 생성하도록 동작가능한 RGB 레이저들(예컨대, 적색, 녹색 및 청색 광을 출력할 수 있는 레이저 다이오드들)의 세트를 취할 수 있다. 레이저 광은 높은 컬러 포화도를 제공하고 매우 에너지 효율적이다.
[0037]
디스플레이 시스템(104)은 제어 신호들에 대한 응답으로 미리결정된 패턴으로 광섬유(들)(112)를 스캔하는 스캐닝 디바이스(116)를 더 포함할 수 있다. 예컨대, 도 3을 참조하면, 하나의 예시된 실시예에 따라, 픽셀 정보 또는 데이터의 프레임(118)은 이미지, 예컨대 하나 또는 그 초과의 가상 객체들의 이미지를 제시하도록 픽셀 정보 또는 데이터를 특정한다. 프레임(118)은 수평 행들 또는 라인들(122a-122n)로 나뉘어진 셀들(120a-120m)로 개략적으로 예시된다. 프레임(118)의 각각의 셀(120)은, 셀(120)이 대응하는 각각의 픽셀에 대한 복수의 컬러들 각각에 대한 값들 및/또는 세기들을 특정할 수 있다. 예컨대, 프레임(118)은 각각의 픽셀에 대해 적색에 대한 하나 또는 그 초과의 값들(124a), 녹색에 대한 하나 또는 그 초과의 값들(124b), 및 청색에 대한 하나 또는 그 초과의 값들(124c)을 특정할 수 있다. 값들(124)은 컬러들 각각에 대한 이진 표현들로서, 예컨대 각각의 컬러에 대해 각각 4 비트 수로서 특정될 수 있다. 프레임(118)의 각각의 셀(120)은 세기를 특정하는 4 비트 수 형태의 값(124d)을 부가적으로 포함할 수 있다. 디스플레이 시스템(104)의 예를 설명하는 추가 세부사항들은 미국 가특허 출원 일련 번호 제 61/801,219호(위임 도킷 번호 ML-30006-US)에 제공되고, 이 가특허 출원은 인용에 의해 본원에 명시적으로 포함된다.
[0038]
다시 도 2를 참조하면, 증강 현실 시스템(100)은 최종 사용자(50)의 머리(54)의 포지션 및 움직임 및/또는 최종 사용자(50)의 눈 포지션 및 눈 사이 거리를 검출하기 위한, 프레임 구조(102)에 장착된 하나 또는 그 초과의 센서들(도시되지 않음)을 더 포함한다. 그런 센서(들)는 이미지 캡처 디바이스들(이를테면 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스들, GPS 유닛들, 라디오 디바이스들, 및/또는 자이로(gyro)들을 포함할 수 있다.
[0039]
예컨대, 일 실시예에서, 증강 현실 시스템(100)은 최종 사용자(50)의 머리(54)의 움직임을 나타내는 관성 측정들을 캡처하기 위한 하나 또는 그 초과의 관성 트랜스듀서들을 포함하는 머리 착용 트랜스듀서 시스템(126)을 포함한다. 따라서, 트랜스듀서 시스템(126)은 최종 사용자(50)의 머리 움직임들에 관한 정보를 감지하거나, 측정하거나 수집하는 데 사용될 수 있다. 예컨대, 트랜스듀서 시스템(126)은 최종 사용자(50)의 머리(54)의 측정 움직임들, 속도들, 가속도, 및/또는 포지션들을 검출하는 데 사용될 수 있다.
[0040]
중요하게도, 증강 현실 시스템(100)은 최종 사용자(50)의 머리(54)에 부착된 하나 또는 그 초과의 전방 지향 카메라들(128)을 더 포함한다. 하나의 바람직한 실시예에서, 카메라들(128)은 프레임 구조(102)에 장착된다. 전방 지향 카메라들(128)은, 최종 사용자(50)가 위치된 환경에 관한 정보를 캡처하는 데 사용될 수 있다. 전방 지향 카메라들(128)은 그 환경에 대한 최종 사용자(50)의 거리 및 배향 및 그 환경 내의 특정 객체들을 나타내는 정보를 캡처하는 데 사용될 수 있다. 머리에 착용될 때, 전방 지향 카메라들(128)은, 최종 사용자(50)가 위치된 환경에 대한 최종 사용자(50)의 머리(54)의 거리 및 배향 및 그 환경 내의 특정 객체들을 나타내는 정보를 캡처하는 데 특히 적합하다. 전방 지향 카메라들(128)은 예컨대 머리 움직임, 머리 움직임들의 속도, 및/또는 가속도를 검출하는 데 이용될 수 있다. 예컨대, 전방 지향 카메라들(128)은 예컨대 최종 사용자(50)의 머리(54)의 배향에 적어도 부분적으로 기반하여, 최종 사용자(50)의 관심의 중심을 검출하거나 추론하는 데 이용될 수 있다. 배향은 임의의 방향(예컨대, 최종 사용자(50)의 기준(reference) 프레임에 대해 상/하, 좌, 우)에서 검출될 수 있다. 보다 중요하게도, 전방 카메라들(128)은 주위 환경의 3차원 장면의 이미지 데이터를 캡처하고, 이는, 아래에서 더 논의될 바와 같이, 최종 사용자(50)의 조망으로부터 실제 객체들과 가상 객체들 사이의 오버랩을 결정하고, 그리고 실제 객체들과 가상 객체들 사이의 콘트라스트의 감소를 가능하게 하기 위해 오버랩 지역들 내의 실제 객체들의 컬러 특성을 분석하는 데 사용될 수 있다.
[0041]
증강 현실 시스템(100)은 환자 배향 검출 모듈(130)을 더 포함한다. 환자 배향 모듈(130)은 최종 사용자(50)의 머리(54)의 순시 포지션을 검출하고 센서(들)로부터 수신된 포지션 데이터에 기반하여 최종 사용자(50)의 머리(54)의 포지션을 예측한다. 일 실시예에서, 환자 배향 모듈(130)은 최종 사용자(50)의 인 포커스(in focus) 시프트를 예측하는 것에 기반하여 머리(54)의 포지션을 예측한다. 예컨대, 환자 배향 모듈(130)은 적어도 최종 사용자(50)의 관심을 나타내는 입력에 기반하여 가상 객체를 선택하고, 그리고 최종 사용자(50)의 기준 프레임에 관하여 최종 사용자(50)의 시야 내의 가상 객체의 출현 위치를 결정할 수 있다. 다른 예로서, 환자 배향 모듈(130)은 최종 사용자(50)의 머리(54)의 포지션을 예측하기 위해 추정된 속도 및/또는 추정된 속도 변화들 또는 추정된 가속도를 이용할 수 있다. 또 다른 예로서, 환자 배향 모듈(130)은 최종 사용자(50)의 머리(54)의 포지션을 예측하기 위해 최종 사용자(50)의 이력 속성들을 이용할 수 있다. 최종 사용자(50)의 머리 포지션을 예측하는 것을 설명하는 추가 세부사항들은 미국 특허 출원 일련 번호 제 61/801,219호(위임 도킷 번호 ML-30006-US)에 설명되고, 이 특허 출원은 이미 인용에 의해 본원에 포함되었다.
[0042]
증강 현실 시스템(100)은 매우 다양한 형태들 중 임의의 형태를 취할 수 있는 제어 시스템을 더 포함한다. 제어 시스템은 다수의 제어기들, 예컨대 하나 또는 그 초과의 마이크로제어기들, 마이크로프로세서들 또는 CPU(central processing unit)들, 디지털 신호 프로세서들, GPU(graphics processing unit)들, 다른 집적 회로 제어기들, 이를테면 ASIC(application specific integrated circuit)들, PGA(programmable gate array)들, 예컨대 FPGA(field PGA)들, 및/또는 PLU(programmable logic controller)들을 포함한다.
[0043]
예시된 실시예에서, 증강 현실 시스템(100)의 제어 시스템은 CPU(central processing unit)(132), GPU(graphics processing unit)(134), 및 하나 또는 그 초과의 프레임 버퍼들(136)을 포함한다. CPU(132)는 전체 동작을 제어하는 반면, GPU(134)는 원격 데이터 저장소(150)에 저장된 3차원 데이터로부터 프레임들을 렌더링(즉, 3차원 장면을 2차원 이미지로 변환)하고 이들 프레임들을 프레임 버퍼(들)(136)에 저장한다. 예시되지 않았지만, 하나 또는 그 초과의 부가적인 집적 회로들은 프레임 버퍼(들)(136)에 프레임들을 입력하고 그리고/또는 프레임 버퍼(들)(136)로부터 프레임들을 판독하는 것 및 디스플레이 시스템(104)의 스캐닝 디바이스의 동작을 제어할 수 있다. 프레임 버퍼(들)(146)에 입력 및/또는 프레임 버퍼(들)(146)로부터 판독은, 예컨대 프레임들이 오버-렌더링되는 동적 어드레싱을 이용할 수 있다. 증강 현실 시스템(100)은 ROM(read only memory)(138) 및 RAM(random access memory)(140)을 더 포함한다. 증강 현실 시스템(100)은, GPU(134)가 프레임들을 렌더링하기 위한 하나 또는 그 초과의 장면들의 3차원 데이터를 액세스할 수 있는 3차원 데이터베이스(142)를 더 포함한다.
[0044]
아래에서 더 상세히 설명될 바와 같이, CPU(132)는, 전방 지향 카메라(들)(128)로부터 수신된 데이터에 기반하여, GPU(132)에 의해 렌더링된 가상 객체들과 실제 객체들 사이의 오버랩 지역들을 결정하고, 이들 오버랩 지역들 내의 실제 객체들의 컬러 특성을 분석하고, 그리고 최종 사용자(50)에게 가상 객체들의 디스플레이 전에, 분석된 컬러 특성에 기반하여 이들 오버랩 지역들 내의 가상 객체들과 실제 객체들 사이의 콘트라스트를 감소시킨다.
[0045]
증강 현실 시스템(100)의 다양한 프로세싱 컴포넌트들은 물리적으로 분산 시스템에 포함될 수 있다. 예컨대, 도 4a-도 4d에 예시된 바와 같이, 증강 현실 시스템(100)은 이를테면 유선 리드 또는 무선 연결성(146)에 의해 디스플레이 시스템(104) 및 센서들에 동작가능하게 커플링되는 로컬 프로세싱 및 데이터 모듈(144)을 포함한다. 로컬 프로세싱 및 데이터 모듈(144)은 다양한 구성들로 장착될 수 있는데, 이를테면 프레임 구조(102)에 고정되게 부착되거나(도 4a), 헬멧 또는 모자(56)에 고정되게 부착되거나(도 4b), 헤드폰들 내에 임베딩되거나, 최종 사용자(50)의 몸통(58)에 제거가능하게 부착되거나(도 4c), 또는 벨트-커플링 스타일 구성으로 최종 사용자(50)의 엉덩이(60)에 제거가능하게 부착(도 4d)될 수 있다. 증강 현실 시스템(100)은 이를테면 유선 리드 또는 무선 연결성(150, 152)에 의해 로컬 프로세싱 및 데이터 모듈(144)에 동작가능하게 커플링된 원격 프로세싱 모듈(148) 및 원격 데이터 저장소(150)를 더 포함하여, 이들 원격 모듈들(148, 150)은 서로 동작가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(144)에 대한 리소스들로서 이용가능하다.
[0046]
로컬 프로세싱 및 데이터 모듈(144)은 전력-효율적 프로세서 또는 제어기뿐 아니라, 디지털 메모리, 이를테면 플래시 메모리를 포함할 수 있고, 이 둘 모두는, 센서들로부터 캡처되고 그리고/또는 원격 프로세싱 모듈(148) 및/또는 원격 데이터 저장소(150)를 사용하여 획득되고 그리고/또는 프로세싱되는 데이터의 프로세싱, 캐싱 및 저장을 돕기 위해 활용될 수 있으며, 데이터는 가능한 경우 그런 프로세싱 또는 리트리벌(retrieval) 이후 디스플레이 시스템(104)에 전달된다. 원격 프로세싱 모듈(148)은 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 또는 그 초과의 비교적 강력한 프로세서들 또는 제어기들을 포함할 수 있다. 원격 데이터 저장소(150)는 "클라우드" 리소스 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용가능할 수 있는 비교적 큰 규모의 디지털 데이터 저장 설비를 포함할 수 있다. 일 실시예에서, 모든 데이터는 저장되고 모든 컴퓨테이션(computation)은 로컬 프로세싱 및 데이터 모듈(144)에서 수행되고, 이는 임의의 원격 모듈들로부터 완전히 자율적인 사용을 허용한다.
[0047]
위에서 설명된 다양한 컴포넌트들 사이의 커플링들(146, 152, 154)은 유선들 또는 광학 통신들을 제공하기 위한 하나 또는 그 초과의 유선 인터페이스들 또는 포트들, 또는 이를테면 무선 통신들을 제공하기 위한 RF, 마이크로파, 및 IR을 통한 하나 또는 그 초과의 무선 인터페이스들 또는 포트들을 포함할 수 있다. 일부 구현들에서, 모든 통신들은 유선일 수 있지만, 다른 구현들에서 모든 통신들은 무선일 수 있다. 또 다른 구현들에서, 유선 및 무선 통신들의 선정은 도 4a-도 4d에 예시된 것과 상이할 수 있다. 따라서, 유선 또는 무선 통신들의 특정 선정은 제한적인 것으로 고려되지 않아야 한다.
[0048]
예시된 실시예에서, 환자 배향 모듈(130)은 로컬 프로세싱 및 데이터 모듈(144)에 포함되는 한편, CPU(132) 및 GPU(134)는 원격 프로세싱 모듈(148)에 포함된다(대안적인 실시예들에서, CPU(132), GPU(124) 또는 이들의 부분들이 로컬 프로세싱 및 데이터 모듈(144)에 포함될 수 있더라도). 3D 데이터베이스(142)는 원격 데이터 저장소(150)와 연관될 수 있다.
[0049]
본 발명들에 중요하게도, 증강 현실 시스템(100)은, 가상 객체들이 디스플레이 표면(110) 상에 슈퍼임포즈되는 실제 세계로부터의 직사 광을 보상한다. 특히, 그리고 도 5를 참조하면, 디스플레이 내의 제1 오버랩 지역(200a)이 로봇(16)의 우측 다리의 일부 및 빌딩들(10)의 일부와 일치하고, 그리고 디스플레이 내의 제2 오버랩 지역(200b)이 로봇(16)의 좌측 팔의 일부 및 하늘(12)의 일부와 일치하는 것이 주목된다. 로봇(16)의 우측 다리 부분 및 좌측 팔 부분이 불투명하여, 이들 로봇 동상 부분들 뒤에 있는 빌딩들(10) 및 하늘(12)의 부분들이 최종 사용자(50)에게 보여질 수 없는 것이 바람직하다.
[0050]
특히, 디스플레이 내의 오버랩 지역들(200a 및 200b)의 위치들은 주로 최종 사용자(50)의 뷰잉 조망 및 가상 객체들, 및 이 경우에 로봇(16)의 임의의 움직임에 의존한다. 예컨대, 최종 사용자(50)가 자신의 머리(54)를 좌측으로 움직이면, 오버랩 지역들(200a 및 200b)은 디스플레이에서 우측으로 시프트할 것이거나; 최종 사용자(50)가 자신의 머리(54)를 우측으로 움직이면, 오버랩 지역들(200a 및 200b)은 디스플레이에서 좌측으로 시프트할 것이거나; 로봇(16)이 좌측으로 움직이면, 오버랩 지역들(200a 및 200b)은 디스플레이에서 좌측으로 시프트할 것이거나; 또는 로봇(16)이 우측으로 움직이면, 오버랩 지역들(200a 및 200b)은 디스플레이에서 우측으로 시프트할 것이다.
[0051]
위에서 간략하게 논의된 바와 같이, 증강 현실 시스템(100)은 오버랩 지역들 내의 실제 객체들과 가상 객체들 사이의 인식되는 콘트라스트(예컨대, 컬러 콘트라스트 및/또는 세기 콘트라스트)를 감소시킴으로써 실제 세계로부터의 직사 광을 보상한다. 예컨대, 증강 현실 시스템(100)은 제1 오버랩 지역(200a) 내의 로봇(16)의 우측 다리와 빌딩들(10) 사이의 인식되는 콘트라스트를 감소시킬 수 있고, 그리고 제2 오버랩 지역(200b) 내의 로봇(16)의 좌측 팔과 하늘(12) 사이의 인식되는 콘트라스트를 감소시킬 수 있다. 증강 현실 시스템(100)은 다양한 방식들 중 어느 하나의 방식으로 오버랩 지역들 내의 실제 객체들과 가상 객체들 사이의 인식되는 콘트라스트를 감소시킬 수 있다.
[0052]
예컨대, 도 6을 참조하면, 하나의 방법(300)에서, 증강 현실 시스템(100)은 오버랩 지역들 내의 실제 객체들 위에 가상 이미지로부터 분리된 간섭 이미지를 디스플레이함으로써 오버랩 지역들 내의 실제 객체들과 가상 객체들 사이의 인식되는 콘트라스트를 감소시킨다. 특히, 증강 현실 시스템(100)은 최종 사용자(50)가 주위 환경, 예컨대 도 1에 예시된 실세계 공원형 세팅(4)에서 3차원 장면으로부터의 직사 광을 시각화하는 것을 허용한다(단계 302). 예시된 실시예에서, 이것은 주위 환경으로부터의 직사 광이 디스플레이 표면(110)을 통해 사용자(50)의 눈들(54)로 통과하는 것을 허용함으로써 간단히 달성된다. 다음으로, CPU(132)는 3차원 장면(4)의 이미지 데이터를 캡처하도록 전방 지향 카메라들(128)에 지시한다(단계 304). 특히, 전방 지향 카메라들(128)은 통상적으로 최종 사용자(50)의 초점들로부터 오프셋될 것이다. 예컨대, 전방 지향 카메라들(128)은 사용자의 머리(54) 옆쪽 가까이에 부착될 수 있다. 따라서, CPU(132)는 캡처된 이미지 데이터를 사용자(50)의 시야로 워핑한다(단계 306). 예시된 실시예에서, 2차원 시차(parallax) 워핑 기법은 캡처된 이미지 데이터에 대해 수행된다.
[0053]
다음으로, CPU(132)는 최종 사용자(50)의 시점으로부터의 가상 이미지 데이터를 생성하도록 GPU(134)에게 명령하고, 그리고 이 실시예에서 3차원 가상 장면으로부터 2차원 가상 이미지 데이터를 렌더링한다(단계 308). 일 실시예에서, 가상 이미지 데이터는, 예컨대 발명의 명칭이 "Wide Baseline Stereo for Low-Latency Render"인 미국 특허 출원 일련 번호 제 62/308,418호(위임 도킷 번호 ML-30032-US)(이 특허 출원은 인용에 의해 본원에 명시적으로 포함됨)에 설명된 방식으로 가상 이미지 데이터를 렌더링 및 워핑함으로써, 임의의 레이턴시(latency) 문제들을 최소화하기 위해 예측 머리 포지션들에 기반하여 생성될 수 있다.
[0054]
이어서, CPU(132)는 (3차원 장면(4)에서 실제 객체들을 획득하기 위해) 캡처된 이미지 데이터에서의 실제 객체들과 가상 이미지 데이터에서의 가상 객체들 사이의 공간 오버랩 지역들(예컨대, 오버랩 지역들(200a 및 200b))을 결정하고(단계 310), 이때 실제 객체들은 빌딩들(10) 및 하늘(12)이고, 가상 객체들은 로봇(16)의 우측 다리 및 좌측 팔이다. 특히, (워핑 이후) 가상 이미지 데이터 및 캡처된 이미지 데이터 둘 모두가 동일한 좌표 시스템(즉, 최종 사용자(50)의 동일한 시점으로부터)에 등록되기 때문에, CPU(132)는 실제 객체들 및 가상 객체들의 픽셀들의 위치들을 비교하고, 그리고 실제 및 가상 객체 픽셀들에 공통인 위치들을 식별함으로써 오버랩 지역들을 간단히 결정할 수 있다.
[0055]
다음으로, CPU(132)는 오버랩 지역들에서 최종 사용자(50)에 의해 인식되는 대응하는 실제 객체들의 컬러 특성을 결정하기 위해 오버랩 지역들 내에서 캡처된 이미지 데이터에서의 실제 객체들의 컬러 특성을 결정한다(단계 312). 일 실시예에서, 캡처된 이미지 데이터 및 가상 이미지 데이터는 복수의 픽셀들을 포함하고, 복수의 픽셀들 각각은 적어도 하나의 값에 의해 정의된다. 예컨대, 캡처된 이미지 데이터 및 가상 이미지 데이터는 도 3에 예시된 것들 같은 픽셀 데이터에서의 프레임들로서 형성될 수 있다. 예컨대, 각각의 픽셀은 적색, 녹색 및 청색의 각각에 대해 4 비트 수를 포함할 수 있고 그리고 세기에 대해 4 비트 수를 더 포함할 수 있다. 이 경우에, CPU(132)는 오버랩 지역들 내의 픽셀들 각각의 컬러 및/또는 세기 값들을 결정함으로써 캡처된 이미지 데이터에서의 대응하는 실제 객체들의 컬러 특성을 결정한다.
[0056]
다음으로, CPU(132)는 오버랩 지역들 내의 각각의 실제 객체들의 결정된 컬러 특성에 기반하여 오버랩 지역들 내의 실제 객체들과 가상 객체들 사이의 인식되는 콘트라스트(예컨대, 인식되는 컬러 콘트라스트 및/또는 인식되는 컬러 세기)를 감소시킨다. 특히, CPU(132)는 오버랩 지역들 내의 실제 객체들의 결정된 컬러 특성에 기반하여 간섭 데이터를 생성하고(단계 314), 그리고 간섭 이미지가 오버랩 지역들 내의 가상 객체들에 대한 배경을 생성하기 위해 실제 객체들로부터의 직사 광과 결합하도록, 오버랩 지역들에 걸쳐 간섭 데이터를 간섭 이미지로서 최종 사용자(50)에게 디스플레이하도록 디스플레이 시스템(104)에게 명령한다(단계 316).
[0057]
일 실시예에서, 오버랩 지역들 내의 배경들은 오버랩 지역들 내의 실제 객체들에 비해 감소된 동적 컬러 범위들을 가지며; 예컨대, 배경들은 오버랩 지역들 내에서 일반적으로 균일한 컬러, 이를테면 회색을 가질 수 있다. 예컨대, 오버랩 지역(200a) 내의 실제 객체의 컬러, 및 이 경우에 빌딩들(10)의 컬러가 픽셀들 사이에서 갈색 컬러로부터 녹색 컬러로 변화하여, 빌딩들(10)이 오버랩 지역(200a)에서 비교적 높은 동적 컬러 범위를 가지는 것을 가정하자. CPU(132)는 픽셀 단위로 빌딩들(10)에 컬러를 부가함으로써 오버랩 지역(200a)에서 인식되는 동적 컬러 범위를 감소시킬 수 있어서, 빌딩들(10)은 오버랩 지역(200a)에서 균일한 회색을 가진다. 예컨대, 배경 내의 픽셀들 각각이 균일한 회색 색조를 정의하는 컬러 벡터를 가지는 것이 바람직하고, 오버랩 지역(200a) 내의 빌딩들(10)의 제1 픽셀이 황색 색조를 정의하는 컬러 벡터를 가지며, 그리고 오버랩 지역(200a) 내의 빌딩들(10)의 제2 픽셀이 녹색 색조를 정의하는 컬러 벡터를 가지면, CPU(132)는 배경에 대한 빌딩들(10)의 픽셀들의 컬러 벡터들의 각각의 값들보다 모두가 더 큰 값들을 가진 컬러 벡터를 갖는 배경에 대해 회색 색조를 선택하고, 그리고 배경이 선택된 회색 색조이도록, 빌딩들(10)의 픽셀들에 컬러를 부가하는 간섭 데이터를 생성할 수 있다.
[0058]
예컨대, 빌딩들(10)의 제1 픽셀이 [167, 100, 67]의 컬러 벡터(즉, 적색, 녹색 및 청색에 대한 4 비트 이진 값이 각각 167, 100, 67과 같음)를 가지며, 빌딩들(10)의 제2 픽셀이 [39, 122, 62]의 컬러 벡터(즉, 적색, 녹색 및 청색에 대한 4 비트 이진 값이 각각 39, 122, 62와 같음)를 가지며, 그리고 배경에 대해 선택된 컬러 벡터가 [168, 168, 168](즉, 적색, 녹색 및 청색 각각에 대한 4 비트 이진 값이 128과 같음)이면, CPU(132)는 [1, 68, 101]의 컬러 벡터를 가진 제1 간섭 픽셀 및 [129, 46, 106]의 컬러 벡터를 가진 제2 간섭 픽셀을 생성할 수 있고, 제1 간섭 픽셀 및 제2 간섭 픽셀은, 빌딩들(10)의 제1 및 제2 픽셀들에 각각 부가될 때, [168, 168, 168]과 같을 것이다. 따라서, 간섭 이미지가 오버랩 지역들(200a 및 200b) 위에 디스플레이될 때, 간섭 이미지의 제1 및 제2 픽셀들은 가상 객체(즉, 로봇(16)의 우측 다리)의 대응하는 제1 및 제2 픽셀들에 대해 회색 배경 컬러를 생성하기 위해 빌딩들(10)의 대응하는 제1 및 제2 픽셀들과 결합할 것이다. 특히, 단지 2개의 픽셀들만이 간략성 및 예시의 목적들을 위해 오버랩 지역(200a)에 대해 예시 및 설명되었지만, 임의의 특정 오버랩 지역 내의 픽셀들의 수는 통상적으로 2를 훨씬 초과할 것이고, 따라서 생성될 필요가 있는 간섭 픽셀들의 수는 마찬가지로 2를 훨씬 초과할 것이다.
[0059]
CPU(132)는 또한 오버랩 지역들 내의 가상 객체들의 세기와 매칭하도록 오버랩 지역들 내의 실제 객체들에 세기를 부가할 수 있다. 예컨대, 빌딩들(12)의 제1 픽셀이 128의 세기 값을 가지며, 그리고 로봇(16)의 우측 다리의 대응하는 픽셀 값이 168의 세기 값을 가지면, CPU(132)는, 빌딩들(12)의 제1 픽셀의 세기 값과 결합될 때 168의 배경 픽셀 값을 생성하는, 40의 세기 값을 가진 제1 간섭 픽셀을 생성할 수 있다.
[0060]
마지막으로, CPU(132)는 실제 객체들과 가상 객체들 사이의 인식되는 콘트라스트가 감소된 이후, 시각화된 직사 광과 함께, 3차원 증강 장면을 생성하는 가상 이미지로서 가상 이미지 데이터를 최종 사용자(50)에게 디스플레이하도록 디스플레이 시스템(104)에게 명령한다(단계 318). 예컨대, 오버랩 지역(200a) 내의 빌딩들(10)의 인식되는 컬러가 (간섭 이미지를 사용하여 보상한 이후) 균일한 회색이면, 로봇(16)의 우측 다리는 오버랩 지역(200a) 내의 빌딩들(10) 위에 디스플레이될 때 아마 불투명할 것이다. 특히, 가상 이미지는 간섭 이미지와 동시에 디스플레이될 수 있고, 이 경우에, 상이한 광섬유들(112)이 가상 이미지 및 간섭 이미지를 디스플레이하는 데 각각 사용될 수 있거나; 또는 가상 이미지는, 간섭 이미지가 디스플레이된 바로 직후 디스플레이될 수 있고, 이 경우에, 최종 사용자(50)가 가상 이미지 및 간섭 이미지를 동시에 인식하도록, 동일한 광섬유(112)가, 서로 충분히 밀접하게 이격된 시간에서 가상 이미지 및 간섭 이미지를 순차적으로 디스플레이하는 데 사용될 수 있다.
[0061]
다른 예로서, 그리고 도 7을 참조하면, 하나의 방법(400)에서, 증강 현실 시스템(100)은 대안적으로, 오버랩 지역들 내의 가상 객체들을 수정함으로써 오버랩 지역들 내의 실제 객체들과 가상 객체들 사이의 인식되는 콘트라스트를 감소시킬 수 있다.
[0062]
특히, 단계들(402-412)에 대해 위에서 설명된 것과 마찬가지로, 증강 현실 시스템(100)은 최종 사용자(50)가 주위 환경의 3차원 장면, 예컨대 도 1에 예시된 실세계 공원형 세팅(4)으로부터 직사 광을 시각화하는 것을 허용하고(단계 402), 3차원 장면(4)의 이미지 데이터를 캡처하도록 전방 지향 카메라들(128)에 지시하고(단계 404), 캡처된 이미지 데이터를 사용자(50)의 시점으로 워핑하고(단계 406), 최종 사용자(50)의 시점으로부터 가상 이미지 데이터를 생성하도록 GPU(134)에게 명령하고(단계 408), (3차원 장면(4)의 실제 객체들을 획득하기 위해) 캡처된 이미지 데이터에서의 실제 객체들과 가상 이미지 데이터에서의 가상 객체들 사이의 공간 오버랩 지역들을 결정하고(단계 410), 그리고 (오버랩 지역들 내의 대응하는 실제 객체들의 컬러 특성을 결정하기 위해) 오버랩 지역들 내의 캡처된 이미지 데이터에서의 실제 객체들의 컬러 특성을 결정(단계 412)한다.
[0063]
도 6에 예시된 기법과 유사하게, 다음으로, CPU(132)는 오버랩 지역들 내의 각각의 실제 객체들의 결정된 컬러 특성에 기반하여 오버랩 지역들 내의 실제 객체들과 가상 객체들 사이의 인식되는 콘트라스트(예컨대, 인식되는 컬러 콘트라스트 및/또는 인식되는 컬러 세기)를 감소시킨다. 그러나, 이 경우에, 간섭 데이터를 생성하는 대신, CPU(132)는 오버랩 지역들 내의 실제 객체들의 결정된 컬러 특성에 기반하여 가상 이미지 데이터를 수정한다(단계 414).
[0064]
일 실시예에서, CPU(132)는, 모든 컬러가 오버랩 지역들 내의 인식되는 실제 객체들로부터 제거되도록, 가상 이미지 데이터를 수정한다. 이 경우에, 컬러는 본래의 가상 이미지 데이터로부터 빼질 수 있고, 빼진 컬러는 오버랩 지역들에서 실제 객체들을 흑색으로 만드는 데 사용된다. 이를 위해, 오버랩 지역들 내의 실제 객체들의 픽셀들의 컬러 벡터들은 가상 객체들에 사용될 수정된 가상 이미지 데이터에 대한 픽셀들의 컬러 벡터들을 획득하기 위해 오버랩 지역들 내의 가상 객체들의 대응하는 픽셀들의 컬러 벡터들로부터 빼질 수 있다. 다른 말로, 수정된 가상 객체들의 픽셀들을 실제 객체들의 대응하는 픽셀들과 결합하는 것은 본래의 가상 객체들을 산출할 것이다.
[0065]
예컨대, 오버랩 지역(200) 내의 빌딩들(10)의 제1 픽셀이 [167, 100, 67]의 컬러 벡터(즉, 적색, 녹색 및 청색에 대한 4 비트 이진 값이 각각 167, 100, 67과 동일함)를 가지며, 빌딩들(10)의 제2 픽셀이 [39, 122, 62]의 컬러 벡터(즉, 적색, 녹색 및 청색에 대한 4 비트 이진 값이 각각 39, 122, 62와 동일함)를 가지며, 로봇(16)의 우측 다리의 대응하는 제1 픽셀이 [185, 123, 80]의 컬러 벡터(즉, 적색, 녹색 및 청색에 대한 4 비트 이진 값이 각각 185, 123, 80과 동일함)를 가지며, 그리고 로봇(16)의 우측 다리의 대응하는 제2 픽셀이 [65, 140, 80]의 컬러 벡터(즉, 적색, 녹색 및 청색에 대한 4 비트 이진 값이 각각 65, 140, 80과 동일함)를 가지는 것을 가정하면, CPU(132)는 컬러 벡터들([18, 23, 13] 및 [26, 18, 18])을 가지도록 로봇(16)의 우측 다리의 제1 및 제2 픽셀들을 수정할 수 있다. 따라서, 수정된 가상 객체들의 제1 및 제2 픽셀들의 컬러 벡터들을 실제 객체들의 대응하는 제1 및 제2 픽셀들의 컬러 벡터들과 결합하는 것은 본래 가상 객체들의 제1 및 제2 픽셀들의 컬러 벡터들을 산출한다. 즉, 제1 픽셀에 대해, [18, 23, 13] + [167, 100, 67] = [185, 123, 80]이고, 그리고 제2 픽셀에 대해, [26, 18, 18] + [39, 122, 62] = [65, 140, 80]이다.
[0066]
마지막으로, 도 5에 예시된 기법과 마찬가지로, CPU(132)는 실제 객체들과 가상 객체들 사이의 인식되는 콘트라스트가 감소된 이후, 시각화된 직사 광과 함께, 3차원 증강 장면을 생성하는 가상 이미지로서 가상 이미지 데이터를 최종 사용자(50)에게 디스플레이하도록 디스플레이 시스템(104)에게 명령한다(단계 416).
[0067]
또 다른 예로서, 그리고 도 8을 참조하면, 하나의 방법(500)에서, 증강 현실 시스템(100)은 대안적으로, 오버랩 지역들 내의 실제 객체들 위에 간섭 이미지를 디스플레이하는 것 및 오버랩 지역들 내의 가상 객체들을 수정하는 것 둘 모두에 의해 오버랩 지역들 내의 실제 객체들과 가상 객체들 사이의 인식되는 콘트라스트를 감소시킬 수 있다.
[0068]
특히, 단계들(302-312)에 대해 위에서 설명된 것과 마찬가지로, 증강 현실 시스템(100)은 최종 사용자(50)가 주위 환경의 3차원 장면, 예컨대 도 1에 예시된 실세계 공원형 세팅(4)으로부터 직사 광을 시각화하는 것을 허용하고(단계 502), 3차원 장면(4)의 이미지 데이터를 캡처하도록 전방 지향 카메라들(128)에 지시하고(단계 504), 캡처된 이미지 데이터를 사용자(50)의 시점으로 워핑하고(단계 506), 최종 사용자(50)의 시점으로부터 가상 이미지 데이터를 생성하도록 GPU(134)에게 명령하고(단계 508), (3차원 장면(4)의 실제 객체들을 획득하기 위해) 캡처된 이미지 데이터에서의 실제 객체들과 가상 이미지 데이터에서의 가상 객체들 사이의 공간 오버랩 지역들을 결정하고(단계 510), 그리고 (오버랩 지역들 내의 대응하는 실제 객체들의 컬러 특성을 결정하기 위해) 오버랩 지역들 내의 캡처된 이미지 데이터에서의 실제 객체들의 컬러 특성을 결정(단계 512)한다.
[0069]
도 6 및 도 7에 예시된 기법과 유사하게, 다음으로, CPU(132)는 오버랩 지역들 내의 각각의 실제 객체들의 결정된 컬러 특성에 기반하여 오버랩 지역들 내의 실제 객체들과 가상 객체들 사이의 인식되는 콘트라스트(예컨대, 인식되는 컬러 콘트라스트 및/또는 인식되는 컬러 세기)를 감소시킨다. 그러나, 이 경우에, CPU(132)는 오버랩 지역들 또는 이의 부분들의 제1 세트에 대한 간섭 데이터를 생성할 것이고(단계 512), 그리고 오버랩 지역들 또는 이의 부분들의 상이한 제2 세트에 대한 가상 이미지 데이터를 수정할 것이다(단계 514). 예컨대, 실제 객체 위에 간섭 이미지를 디스플레이하는 것이 그 실제 객체와 가상 객체 사이의 콘트라스트를 잠재적으로 감소시키는(즉, 실제 객체에 컬러를 부가하는 것이 인식되는 콘트라스트를 감소시킬 것임) 오버랩 지역들의 이들 부분들에 대해, CPU(132)는 간섭 데이터를 생성할 것이고, 그리고 실제 객체 위에 간섭 이미지를 디스플레이하는 것이 그 실제 객체와 가상 객체 사이의 콘트라스트를 잠재적으로 감소시키지 않을(즉, 실제 객체에 컬러를 부가하는 것이 인식된 콘트라스트를 증가시킬 것임) 오버랩 지역들의 이들 부분들에 대해, CPU(132)는 간섭 데이터를 생성하는 대신 가상 이미지 데이터를 수정할 것이다.
[0070]
예컨대, 빌딩들(10)의 제1 픽셀이 [167, 100, 67]의 컬러 벡터(즉, 적색, 녹색 및 청색에 대한 4 비트 이진 값이 각각 167, 100, 67임)를 가지며, 빌딩들(10)의 제2 픽셀이 [185, 125, 139]의 컬러 벡터(즉, 적색, 녹색 및 청색에 대한 4 비트 이진 값이 각각 185, 125, 139임)를 가지며, 로봇(16)의 우측 다리의 대응하는 제1 픽셀이 [185, 123, 80]의 컬러 벡터(즉, 적색, 녹색 및 청색에 대한 4 비트 이진 값이 각각 185, 123, 80임)를 가지며, 로봇(16)의 우측 다리의 대응하는 제2 픽셀이 [39, 122, 62]의 컬러 벡터(즉, 적색, 녹색 및 청색에 대한 4 비트 이진 값이 각각 39, 122, 62임)를 가지며, 그리고 배경에 대해 선택된 컬러 벡터가 [168, 168, 168]인(즉, 적색, 녹색 및 청색 각각에 대한 4 비트 이진 값이 128임) 것을 가정하자.
[0071]
CPU(132)는, 선택된 배경을 획득하기 위해 빌딩들(10)의 제1 픽셀에 컬러가 부가될 수 있다는 것을 결정할 수 있다. 즉, 빌딩들(10)의 제1 픽셀에 대한 컬러 벡터의 값들 모두는 선택된 배경 컬러 벡터의 값들 미만이다. 따라서, CPU(132)는 [1, 68, 101]의 컬러 벡터를 가진 제1 간섭 픽셀을 생성할 수 있고, 이는 빌딩들(10)의 제1 픽셀에 부가될 때, [168, 168, 168]와 동일할 것이다. 대조적으로, CPU(132)는, 컬러가 선택된 배경을 획득하기 위해 빌딩들(10)의 제2 픽셀에 부가될 수 없다는 것을 결정할 수 있다. 즉, 제2 픽셀에 대한 컬러 벡터의 값들 중 적어도 하나는 선택된 배경 컬러 벡터의 대응하는 값(들) 미만이 아니다. 따라서, 간섭 데이터를 생성하는 대신, CPU(132)는 컬러 벡터([26, 18, 18])를 가지도록 로봇(16)의 우측 다리의 제2 픽셀을 수정할 수 있다. 따라서, 수정된 가상 객체의 제2 픽셀의 컬러 벡터를 실제 객체의 대응하는 제2 픽셀의 컬러 벡터와 결합하는 것은 본래 가상 객체의 제2 픽셀의 컬러 벡터를 산출한다. 즉, 제2 픽셀에 대해, [26, 18, 18] + [39, 122, 62] = [65, 140, 80]이다.
[0072]
마지막으로, 도 6에 예시된 기법과 마찬가지로, CPU(132)는, 간섭 이미지가 오버랩 지역들 또는 이의 부분들의 제1 세트에서 가상 객체들에 대한 배경을 생성하기 위해 실제 객체들로부터의 직사 광과 결합하도록, 오버랩 지역들 또는 이의 부분들의 제1 세트에 걸쳐 간섭 데이터를 간섭 이미지로서 최종 사용자(50)에 디스플레이하도록 디스플레이 시스템(104)에게 명령하고(단계 518), 그리고 실제 객체들과 가상 객체들 사이의 인식되는 콘트라스트가 감소된 이후, 시각화된 직사 광과 함께, 3차원 증강 장면을 생성하는 가상 이미지로서 가상 이미지 데이터를 최종 사용자(50)에게 디스플레이하도록 디스플레이 시스템(104)에게 명령한다(단계 520). 특히, 수정되지 않은 가상 이미지 데이터는 오버랩 지역들 또는 이의 부분들(즉, 간섭 이미지가 디스플레이되는 부분들)의 제1 세트 위에 디스플레이될 것이고, 그리고 수정된 가상 이미지 데이터는 오버랩 지역들 또는 이의 부분들(즉, 간섭 이미지가 디스플레이되지 않는 부분들)의 제2 세트 위에 디스플레이될 것이다.
[0073]
전술한 설명에서, 본 발명은 본 발명의 특정 실시예들을 참조하여 설명되었다. 그러나, 다양한 수정들 및 변화들이 본 발명의 더 넓은 사상 및 범위에서 벗어나지 않고 이루어질 수 있다는 것이 명백할 것이다. 예컨대, 위에서 설명된 프로세스 흐름들은 프로세스 동작들의 특정 순서를 참조하여 설명된다. 그러나, 설명된 프로세스 동작들 중 많은 동작의 순서가 본 발명의 범위 또는 동작에 영향을 주지 않고 변경될 수 있다. 따라서, 명세서 및 도면들은 제한적 의미보다 오히려 예시로 고려된다.
Claims (34)
- 증강 현실(AR) 시스템을 동작시키는 방법으로서,
최종 사용자가 주위 환경의 3차원 장면으로부터의 직사 광을 시각화하는 것을 허용하는 단계;
상기 최종 사용자의 시점으로부터 가상 이미지 데이터를 생성하는 단계;
상기 3차원 장면에서의 실제 객체와 상기 가상 이미지 데이터에서의 가상 객체 사이의 공간 오버랩(overlap) 지역을 결정하는 단계;
상기 오버랩 지역 내의 상기 실제 객체의 컬러 특성을 결정하는 단계;
상기 오버랩 지역 내의 상기 실제 객체의 결정된 컬러 특성에 기반하여 상기 오버랩 지역 내의 상기 실제 객체와 상기 가상 객체 사이의 인식되는 콘트라스트(contrast)를 감소시키는 단계; 및
상기 실제 객체와 상기 가상 객체 사이의 인식되는 콘트라스트가 감소된 이후, 시각화된 직사 광과 함께, 3차원 증강 장면을 생성하는 가상 이미지로서 상기 가상 이미지 데이터를 상기 최종 사용자에게 디스플레이하는 단계
를 포함하는,
증강 현실(AR) 시스템을 동작시키는 방법. - 제1 항에 있어서,
상기 실제 객체와 상기 가상 객체 사이의 상기 인식되는 콘트라스트를 감소시키는 단계는 상기 오버랩 지역 내의 상기 실제 객체와 상기 가상 객체 사이의 인식되는 컬러 콘트라스트를 수정하는 단계를 포함하는,
증강 현실(AR) 시스템을 동작시키는 방법. - 제2 항에 있어서,
상기 실제 객체와 상기 가상 객체 사이의 상기 인식되는 콘트라스트를 감소시키는 단계는 상기 오버랩 지역 내의 상기 실제 객체와 상기 가상 객체 사이의 인식되는 세기 콘트라스트를 수정하는 단계를 더 포함하는,
증강 현실(AR) 시스템을 동작시키는 방법. - 제1 항에 있어서,
상기 실제 객체와 상기 가상 객체 사이의 상기 인식되는 콘트라스트를 감소시키는 단계는:
상기 오버랩 지역 내의 상기 실제 객체의 결정된 컬러 특성에 기반하여 간섭 데이터를 생성하는 단계; 및
간섭 이미지가 상기 오버랩 지역 내의 상기 가상 객체에 대한 배경을 생성하기 위해 상기 실제 객체로부터의 직사 광과 결합하도록, 상기 오버랩 지역에 걸쳐 간섭 데이터를 상기 간섭 이미지로서 상기 최종 사용자에게 디스플레이하는 단계
를 포함하는,
증강 현실(AR) 시스템을 동작시키는 방법. - 제4 항에 있어서,
상기 오버랩 지역 내의 상기 배경은 상기 오버랩 지역 내의 상기 실제 객체에 비해 감소된 동적 컬러 범위를 가지는,
증강 현실(AR) 시스템을 동작시키는 방법. - 제5 항에 있어서,
상기 배경은 상기 오버랩 지역에서 일반적으로 균일한 컬러를 가지는,
증강 현실(AR) 시스템을 동작시키는 방법. - 제6 항에 있어서,
상기 일반적으로 균일한 컬러는 회색인,
증강 현실(AR) 시스템을 동작시키는 방법. - 제4 항에 있어서,
상기 간섭 이미지는 상기 오버랩 지역 내의 상기 실제 객체에 컬러를 부가하는,
증강 현실(AR) 시스템을 동작시키는 방법. - 제1 항에 있어서,
상기 실제 객체와 상기 가상 객체 사이의 콘트라스트를 감소시키는 단계는 상기 오버랩 지역 내의 상기 실제 객체의 결정된 컬러 특성에 기반하여 상기 가상 이미지 데이터를 수정하는 단계를 포함하는,
증강 현실(AR) 시스템을 동작시키는 방법. - 제9 항에 있어서,
상기 가상 이미지 데이터를 수정하는 단계는 상기 오버랩 지역 내의 상기 가상 객체로부터 컬러를 빼는 단계를 포함하는,
증강 현실(AR) 시스템을 동작시키는 방법. - 제1 항에 있어서,
상기 사용자의 머리에 부착된 적어도 하나의 카메라로 실제 3차원 장면의 이미지 데이터를 캡처하는 단계;
캡처된 이미지 데이터를 상기 사용자의 시점으로 워핑(warping)하는 단계
를 더 포함하고,
상기 실제 객체와 상기 가상 객체 사이의 상기 오버랩 지역을 결정하는 단계는 캡처된 이미지 데이터에서의 대응하는 실제 객체와 가상 이미지 데이터에서의 상기 가상 객체 사이의 공간 오버랩을 결정하는 단계를 포함하고, 그리고 상기 오버랩 지역 내의 상기 실제 객체의 컬러 특성을 결정하는 단계는 상기 오버랩 지역 내의 캡처된 이미지 데이터에서의 대응하는 실제 객체의 컬러 특성을 결정하는 단계를 포함하는,
증강 현실(AR) 시스템을 동작시키는 방법. - 제11 항에 있어서,
상기 캡처된 이미지 데이터 및 상기 가상 이미지 데이터 각각은 복수의 픽셀들을 포함하고, 복수의 픽셀들 각각은 적어도 하나의 값에 의해 정의되고, 상기 실제 객체와 상기 가상 객체 사이의 콘트라스트를 감소시키는 단계는 상기 오버랩 지역 내의 상기 캡처된 이미지 데이터로부터 유도된 간섭 데이터 및 상기 가상 객체 중 하나 또는 둘 모두의 픽셀의 적어도 하나의 값을 수정하는 단계를 포함하는,
증강 현실(AR) 시스템을 동작시키는 방법. - 제12 항에 있어서,
상기 픽셀들 각각은 컬러 벡터를 정의하는 3개의 값들을 가지는,
증강 현실(AR) 시스템을 동작시키는 방법. - 제13 항에 있어서,
상기 컬러 벡터는 적색 값, 녹색 값 및 청색 값을 포함하는,
증강 현실(AR) 시스템을 동작시키는 방법. - 제13 항에 있어서,
상기 픽셀들 각각은 상기 픽셀의 세기를 정의하는 제4 값을 가지는,
증강 현실(AR) 시스템을 동작시키는 방법. - 증강 현실(AR) 시스템으로서,
최종 사용자가 주위 환경의 3차원 장면으로부터의 직사 광을 시각화하는 것을 허용하도록 구성된 디스플레이 시스템;
상기 최종 사용자의 시점으로부터 가상 이미지 데이터를 생성하고, 상기 3차원 장면에서의 실제 객체와 상기 가상 이미지 데이터에서의 가상 객체 사이의 공간 오버랩 지역을 결정하고, 상기 오버랩 지역 내의 상기 실제 객체의 컬러 특성을 결정하고, 상기 오버랩 지역 내의 상기 실제 객체의 결정된 컬러 특성에 기반하여 상기 오버랩 지역 내의 상기 실제 객체와 상기 가상 객체 사이의 인식되는 콘트라스트를 감소시키고, 그리고 상기 실제 객체와 상기 가상 객체 사이의 상기 인식되는 콘트라스트가 감소된 이후, 시각화된 직사 광과 함께, 3차원 증강 장면을 생성하는 가상 이미지로서 상기 가상 이미지 데이터를 상기 최종 사용자에게 디스플레이하도록 상기 디스플레이 시스템에게 명령하도록 구성된 제어 시스템
을 포함하는,
증강 현실(AR) 시스템. - 제16 항에 있어서,
상기 제어 시스템은, 상기 실제 객체와 상기 가상 객체 사이의 상기 인식되는 콘트라스트를 감소시키는 것이 상기 오버랩 지역 내의 상기 실제 객체와 상기 가상 객체 사이의 인식되는 컬러 콘트라스트를 수정하는 것을 포함하도록 구성되는,
증강 현실(AR) 시스템. - 제17 항에 있어서,
상기 제어 시스템은, 상기 오버랩 지역 내의 상기 실제 객체와 상기 가상 객체 사이의 인식되는 세기 콘트라스트를 추가로 수정함으로써 상기 실제 객체와 상기 가상 객체 사이의 상기 인식되는 콘트라스트를 감소시키도록 구성되는,
증강 현실(AR) 시스템. - 제16 항에 있어서,
상기 제어 시스템은:
상기 오버랩 지역 내의 상기 실제 객체의 결정된 컬러 특성에 기반하여 간섭 데이터를 생성하고; 그리고
간섭 이미지가 상기 오버랩 지역 내의 상기 가상 객체에 대한 배경을 생성하기 위해 상기 실제 객체로부터의 직사 광과 결합하도록, 상기 오버랩 지역에 걸쳐 간섭 데이터를 상기 간섭 이미지로서 상기 최종 사용자에게 디스플레이하도록 상기 디스플레이 시스템에게 명령함으로써,
상기 실제 객체와 상기 가상 객체 사이의 상기 인식되는 콘트라스트를 감소시키도록 구성되는,
증강 현실(AR) 시스템. - 제19 항에 있어서,
상기 오버랩 지역 내의 상기 배경은 상기 오버랩 지역 내의 상기 실제 객체에 비해 감소된 동적 컬러 범위를 가지는,
증강 현실(AR) 시스템. - 제20 항에 있어서,
상기 배경은 상기 오버랩 지역에서 일반적으로 균일한 컬러를 가지는,
증강 현실(AR) 시스템. - 제21 항에 있어서,
상기 일반적으로 균일한 컬러는 회색인,
증강 현실(AR) 시스템. - 제19 항에 있어서,
상기 간섭 이미지는 상기 오버랩 지역 내의 상기 실제 객체에 컬러를 부가하는,
증강 현실(AR) 시스템. - 제16 항에 있어서,
상기 제어 시스템은 상기 오버랩 지역 내의 상기 실제 객체의 결정된 컬러 특성에 기반하여 상기 가상 이미지 데이터를 수정함으로써 상기 실제 객체와 상기 가상 객체 사이의 콘트라스트를 감소시키도록 구성되는,
증강 현실(AR) 시스템. - 제24 항에 있어서,
상기 가상 이미지 데이터를 수정하는 것은 상기 오버랩 지역 내의 상기 가상 객체로부터 컬러를 빼는 것을 포함하는,
증강 현실(AR) 시스템. - 제16 항에 있어서,
상기 사용자의 머리에 부착되도록 구성되고, 그리고 실제 3차원 장면의 이미지 데이터를 캡처하도록 추가로 구성된 적어도 하나의 카메라를 더 포함하고,
상기 제어 시스템은 캡처된 이미지 데이터를 상기 사용자의 시점으로 워핑하도록 구성되고, 그리고 상기 제어 시스템은 상기 캡처된 이미지 데이터에서의 대응하는 실제 객체와 상기 가상 이미지 데이터에서의 상기 가상 객체 사이의 공간 오버랩을 결정함으로써 상기 실제 객체와 상기 가상 객체 사이의 상기 오버랩 지역을 결정하도록 구성되고, 그리고 상기 오버랩 지역 내의 상기 실제 객체의 컬러 특성을 결정하는 것은 상기 오버랩 지역 내의 상기 캡처된 이미지 데이터에서의 대응하는 실제 객체의 컬러 특성을 결정하는 것을 포함하는,
증강 현실(AR) 시스템. - 제26 항에 있어서,
상기 캡처된 이미지 데이터 및 상기 가상 이미지 데이터 각각은 복수의 픽셀들을 포함하고, 복수의 픽셀들 각각은 적어도 하나의 값에 의해 정의되고, 상기 제어 시스템은, 상기 오버랩 지역 내의 상기 캡처된 이미지 데이터로부터 유도된 간섭 데이터 및 상기 가상 객체 중 하나 또는 둘 모두의 픽셀의 적어도 하나의 값을 수정함으로써 상기 실제 객체와 상기 가상 객체 사이의 콘트라스트를 감소시키도록 구성되는,
증강 현실(AR) 시스템. - 제27 항에 있어서,
상기 픽셀들 각각은 컬러 벡터를 정의하는 3개의 값들을 가지는,
증강 현실(AR) 시스템. - 제28 항에 있어서,
상기 컬러 벡터는 적색 값, 녹색 값 및 청색 값을 포함하는,
증강 현실(AR) 시스템. - 제28 항에 있어서,
상기 픽셀들 각각은 상기 픽셀의 세기를 정의하는 제4 값을 가지는,
증강 현실(AR) 시스템. - 제16 항에 있어서,
상기 디스플레이 시스템은 상기 최종 사용자의 눈들의 전면에 포지셔닝되도록 구성되는,
증강 현실(AR) 시스템. - 제16 항에 있어서,
상기 디스플레이 시스템은 투사 서브시스템 및 부분적으로 투명한 디스플레이 표면을 포함하고, 상기 투사 서브시스템은 상기 부분적으로 투명한 디스플레이 표면상에 가상 이미지를 투사하도록 구성되고, 그리고 상기 부분적으로 투명한 디스플레이 표면은 상기 최종 사용자의 눈들과 주위 환경 사이의 시야 내에 포지셔닝되도록 구성되는,
증강 현실(AR) 시스템. - 제16 항에 있어서,
상기 최종 사용자가 착용하도록 구성된 프레임 구조를 더 포함하고,
상기 프레임 구조는 상기 디스플레이 시스템을 지지하는,
증강 현실(AR) 시스템. - 제16 항에 있어서,
상기 제어 시스템은 GPU(graphics control system unit)를 포함하는,
증강 현실(AR) 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662308433P | 2016-03-15 | 2016-03-15 | |
| US62/308,433 | 2016-03-15 | ||
| PCT/US2017/022578 WO2017161039A1 (en) | 2016-03-15 | 2017-03-15 | Direct light compensation technique for augmented reality system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180122690A true KR20180122690A (ko) | 2018-11-13 |
| KR102180060B1 KR102180060B1 (ko) | 2020-11-17 |
Family
ID=59847083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187029599A KR102180060B1 (ko) | 2016-03-15 | 2017-03-15 | 증강 현실 시스템에 대한 직접 광 보상 기법 |
Country Status (10)
| Country | Link |
|---|---|
| US (2) | US10628996B2 (ko) |
| EP (2) | EP4156167A1 (ko) |
| JP (2) | JP6750025B2 (ko) |
| KR (1) | KR102180060B1 (ko) |
| CN (2) | CN116485929A (ko) |
| AU (2) | AU2017232527A1 (ko) |
| CA (1) | CA3016344A1 (ko) |
| IL (2) | IL261478B (ko) |
| NZ (2) | NZ786033A (ko) |
| WO (1) | WO2017161039A1 (ko) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| NZ786033A (en) * | 2016-03-15 | 2023-04-28 | Magic Leap Inc | Direct light compensation technique for augmented reality system |
| US10290120B2 (en) * | 2017-03-20 | 2019-05-14 | SK Commercial Construction, Inc. | Color analysis and control using an electronic mobile device transparent display screen |
| US10803988B2 (en) * | 2017-03-20 | 2020-10-13 | SK Commercial Construction, Inc. | Color analysis and control using a transparent display screen on a mobile device with non-transparent, bendable display screen or multiple display screen with 3D sensor for telemedicine diagnosis and treatment |
| EP3626403A4 (en) * | 2017-05-17 | 2021-03-10 | Telexistence Inc. | SENSOR DEVICE, ROBOT CONTROL SYSTEM AND ROBOT CONTROL METHOD, AND PROGRAM |
| US10859834B2 (en) | 2017-07-03 | 2020-12-08 | Holovisions | Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear |
| US10338400B2 (en) | 2017-07-03 | 2019-07-02 | Holovisions LLC | Augmented reality eyewear with VAPE or wear technology |
| KR102591582B1 (ko) * | 2018-06-22 | 2023-10-19 | 삼성전자주식회사 | 컨텐츠를 표시하는 방법 및 전자 장치 |
| TWI675583B (zh) * | 2018-07-23 | 2019-10-21 | 緯創資通股份有限公司 | 擴增實境系統及其色彩補償方法 |
| US10909373B1 (en) | 2018-08-24 | 2021-02-02 | Snap Inc. | Augmented reality system using structured light |
| CN111818326B (zh) * | 2019-04-12 | 2022-01-28 | 广东虚拟现实科技有限公司 | 图像处理方法、装置、系统、终端设备及存储介质 |
| US11004269B2 (en) * | 2019-04-22 | 2021-05-11 | Microsoft Technology Licensing, Llc | Blending virtual environments with situated physical reality |
| US11216920B2 (en) | 2019-05-31 | 2022-01-04 | Apple Inc. | Enhanced local contrast |
| CN112241199B (zh) | 2019-07-19 | 2023-03-24 | 华为技术有限公司 | 虚拟现实场景中的交互方法及装置 |
| EP3819699B1 (en) * | 2019-11-08 | 2024-02-21 | Leica Instruments (Singapore) Pte. Ltd. | Optical system and corresponding apparatus, method and computer program |
| US11645756B2 (en) * | 2019-11-14 | 2023-05-09 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
| US11545108B2 (en) * | 2020-02-03 | 2023-01-03 | Apple Inc. | Modifying rendered image data based on ambient light from a physical environment |
| US11423621B1 (en) * | 2020-05-21 | 2022-08-23 | Facebook Technologies, Llc. | Adaptive rendering in artificial reality environments |
| CN111832104B (zh) * | 2020-06-24 | 2023-07-28 | 深圳市万翼数字技术有限公司 | 三维设备模型的建立方法及相关设备 |
| US11715405B1 (en) * | 2021-02-10 | 2023-08-01 | Sivalogeswaran Ratnasingam | Chroma modification based on ambient light characteristics |
| KR20230103379A (ko) * | 2021-12-31 | 2023-07-07 | 삼성전자주식회사 | Ar 처리 방법 및 장치 |
| CN114419293B (zh) * | 2022-01-26 | 2023-06-06 | 广州鼎飞航空科技有限公司 | 一种增强现实的数据处理方法、装置及设备 |
| CN116883607B (zh) * | 2023-09-06 | 2023-12-05 | 四川物通科技有限公司 | 基于辐射传输的虚拟现实场景生成系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010177788A (ja) * | 2009-01-27 | 2010-08-12 | Brother Ind Ltd | ヘッドマウントディスプレイ |
| US20130063486A1 (en) * | 2011-09-12 | 2013-03-14 | Google Inc. | Optical Display System and Method with Virtual Image Contrast Control |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3450792B2 (ja) | 1999-03-25 | 2003-09-29 | キヤノン株式会社 | 奥行き画像計測装置及び方法、並びに複合現実感提示システム |
| JP2002148559A (ja) * | 2000-11-15 | 2002-05-22 | Mixed Reality Systems Laboratory Inc | 画像観察装置及びそれを用いた画像観察システム |
| EP2374110A4 (en) * | 2008-12-19 | 2013-06-05 | Saab Ab | SYSTEM AND METHOD FOR MIXING A SCENE AND A VIRTUAL SCENARIO |
| US8107084B2 (en) * | 2009-01-30 | 2012-01-31 | Zygo Corporation | Interference microscope with scan motion detection using fringe motion in monitor patterns |
| US9323325B2 (en) * | 2011-08-30 | 2016-04-26 | Microsoft Technology Licensing, Llc | Enhancing an object of interest in a see-through, mixed reality display device |
| US9734633B2 (en) * | 2012-01-27 | 2017-08-15 | Microsoft Technology Licensing, Llc | Virtual environment generating system |
| US9147111B2 (en) * | 2012-02-10 | 2015-09-29 | Microsoft Technology Licensing, Llc | Display with blocking image generation |
| CN103472909B (zh) * | 2012-04-10 | 2017-04-12 | 微软技术许可有限责任公司 | 用于头戴式、增强现实显示器的逼真遮挡 |
| US20130328925A1 (en) * | 2012-06-12 | 2013-12-12 | Stephen G. Latta | Object focus in a mixed reality environment |
| US9430055B2 (en) * | 2012-06-15 | 2016-08-30 | Microsoft Technology Licensing, Llc | Depth of field control for see-thru display |
| US9158114B2 (en) * | 2012-11-05 | 2015-10-13 | Exelis Inc. | Image display utilizing a variable mask to selectively block image data |
| JP6273677B2 (ja) | 2013-02-28 | 2018-02-07 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
| WO2014156033A1 (en) * | 2013-03-26 | 2014-10-02 | Seiko Epson Corporation | Head-mounted display device, control method of head-mounted display device, and display system |
| US10417824B2 (en) * | 2014-03-25 | 2019-09-17 | Apple Inc. | Method and system for representing a virtual object in a view of a real environment |
| JP6571110B2 (ja) * | 2014-07-18 | 2019-09-04 | ビュージックス コーポレーションＶｕｚｉｘ Ｃｏｒｐｏｒａｔｉｏｎ | 自己発光型マイクロディスプレイエンジンを有する接眼ディスプレイ |
| US10257494B2 (en) * | 2014-09-22 | 2019-04-09 | Samsung Electronics Co., Ltd. | Reconstruction of three-dimensional video |
| KR20240027160A (ko) * | 2014-12-22 | 2024-02-29 | 에씰로 앙터나시오날 | 사용자에게로 감각 출력 디바이스의 감각 출력 모드를 적응시키는 방법 |
| NZ786033A (en) * | 2016-03-15 | 2023-04-28 | Magic Leap Inc | Direct light compensation technique for augmented reality system |
-
2017
- 2017-03-15 NZ NZ786033A patent/NZ786033A/en unknown
- 2017-03-15 KR KR1020187029599A patent/KR102180060B1/ko active IP Right Grant
- 2017-03-15 EP EP22204618.7A patent/EP4156167A1/en active Pending
- 2017-03-15 WO PCT/US2017/022578 patent/WO2017161039A1/en active Application Filing
- 2017-03-15 AU AU2017232527A patent/AU2017232527A1/en not_active Abandoned
- 2017-03-15 EP EP17767470.2A patent/EP3430610B1/en active Active
- 2017-03-15 JP JP2018548381A patent/JP6750025B2/ja active Active
- 2017-03-15 CA CA3016344A patent/CA3016344A1/en active Pending
- 2017-03-15 NZ NZ745790A patent/NZ745790A/en unknown
- 2017-03-15 US US15/460,009 patent/US10628996B2/en active Active
- 2017-03-15 CN CN202310452721.5A patent/CN116485929A/zh active Pending
- 2017-03-15 CN CN201780017089.4A patent/CN108780578B/zh active Active
-
2018
- 2018-08-30 IL IL261478A patent/IL261478B/en unknown
-
2020
- 2020-03-08 US US16/812,343 patent/US11257285B2/en active Active
- 2020-08-12 JP JP2020136187A patent/JP7054406B2/ja active Active
-
2021
- 2021-10-18 IL IL287369A patent/IL287369B2/en unknown
-
2022
- 2022-03-09 AU AU2022201635A patent/AU2022201635A1/en not_active Abandoned
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010177788A (ja) * | 2009-01-27 | 2010-08-12 | Brother Ind Ltd | ヘッドマウントディスプレイ |
| US20130063486A1 (en) * | 2011-09-12 | 2013-03-14 | Google Inc. | Optical Display System and Method with Virtual Image Contrast Control |
Also Published As
| Publication number | Publication date |
|---|---|
| US11257285B2 (en) | 2022-02-22 |
| NZ745790A (en) | 2023-04-28 |
| NZ786033A (en) | 2023-04-28 |
| IL261478A (en) | 2018-10-31 |
| US20170270707A1 (en) | 2017-09-21 |
| AU2022201635A1 (en) | 2022-03-31 |
| IL287369B2 (en) | 2023-06-01 |
| CA3016344A1 (en) | 2017-09-21 |
| JP6750025B2 (ja) | 2020-09-02 |
| JP2020198115A (ja) | 2020-12-10 |
| KR102180060B1 (ko) | 2020-11-17 |
| CN108780578A (zh) | 2018-11-09 |
| CN116485929A (zh) | 2023-07-25 |
| EP3430610A4 (en) | 2019-02-06 |
| US10628996B2 (en) | 2020-04-21 |
| AU2017232527A1 (en) | 2018-09-20 |
| IL287369A (en) | 2021-12-01 |
| WO2017161039A1 (en) | 2017-09-21 |
| IL261478B (en) | 2021-12-01 |
| JP7054406B2 (ja) | 2022-04-13 |
| EP4156167A1 (en) | 2023-03-29 |
| EP3430610B1 (en) | 2022-12-07 |
| JP2019517012A (ja) | 2019-06-20 |
| CN108780578B (zh) | 2023-05-26 |
| EP3430610A1 (en) | 2019-01-23 |
| US20200211273A1 (en) | 2020-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102180060B1 (ko) | 증강 현실 시스템에 대한 직접 광 보상 기법 | |
| AU2021290369B2 (en) | Mixed reality system with color virtual content warping and method of generating virtual content using same | |
| US10313661B2 (en) | Wide baseline stereo for low-latency rendering | |
| US10964119B2 (en) | Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same | |
| US20180268518A1 (en) | Mixed reality system with virtual content warping and method of generating virtual content using same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |