KR20150071595A - 사전 계산된 조명으로 증강 현실 환경을 구성하는 기법 - Google Patents
사전 계산된 조명으로 증강 현실 환경을 구성하는 기법 Download PDFInfo
- Publication number
- KR20150071595A KR20150071595A KR1020130158801A KR20130158801A KR20150071595A KR 20150071595 A KR20150071595 A KR 20150071595A KR 1020130158801 A KR1020130158801 A KR 1020130158801A KR 20130158801 A KR20130158801 A KR 20130158801A KR 20150071595 A KR20150071595 A KR 20150071595A
- Authority
- KR
- South Korea
- Prior art keywords
- augmented reality
- reality image
- local environment
- physical
- virtual
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000000694 effects Effects 0.000 claims abstract description 41
- 238000005286 illumination Methods 0.000 claims description 42
- 238000012546 transfer Methods 0.000 claims description 4
- 230000001795 light effect Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
전역 조명 효과를 갖는 증강 현실 환경을 효과적으로 구성하는 것과 관련된 다양한 실시예들이 개시되어 있다. 예를 들어, 일실시예는 디스플레이 장치를 통해 증강 현실 이미지를 디스플레이하는 방법을 제공한다. 이 방법은 디스플레이 장치의 로컬 환경의 이미지를 캡처한 이미지 데이터를 수신하는 단계와, 이미지 데이터를 통해 상기 로컬 환경의 물리적 특징(physical feature)을 식별하는 단계를 포함한다. 이 방법은 사용자의 관점으로부터 물리적 특징을 갖는 공간 정합(spatial registration) 내 물리적 특징 위에 디스플레이할 가상 구조의 증강 현실 이미지를 구성하는 단계 -증강 현실 이미지는 가상 구조 특징을 형성하기 위해 인접한 위치에 배치된 복수의 모듈식 가상 구조 세그먼트를 포함하며, 각각의 모듈식 가상 구조 세그먼트는 사전 계산된 전역 조명 효과(global lighting effect)를 포함함- 와, 증강 현실을 디스플레이 장치에 출력하는 단계를 포함한다.
Description
가상 비디오 게임 환경과 같은 가상 환경에 사실적인 조명 및 음영을 추가하는 것은 계산 비용이 많이 들 수 있다. 따라서, 조명 효과를 위한 렌더링 시간이 비디오 게임을 하는 동안 사용하기에는 너무 길어 받아들이기 어려울 수 있다. 예를 들어, 가상 환경에서 사실적인 조명(예컨대, 전역 조명(global illumination)) 및 음영(라이트맵(light map))을 인코딩하는 텍스처 맵을 생성하는 것은 계산하는데에 수 시간 또는 심지어 며칠이 걸릴 수 있다. 따라서, 이러한 조명 효과는 게임을 하는 동안 실시간으로 계산되는 것이 아니라 일반적으로 가상 환경 개발 동안에 가상 환경에 대해 사전 계산된다.
동적 조명(dynamic lighting) 및 새도잉(shadowing)이 보다 빠르게 계산될 수 있다. 그러나, 동적 조명의 시각적 품질은 사전 계산된 조명 효과의 품질보다 훨씬 더 낮을 수 있다. 또한, 동적 조명은 실행시간(run-time)에 많은 자원을 이용할 수 있다.
전역 조명 효과를 갖는 증강 현실 환경을 효과적으로 구성하는 것과 관련된 다양한 실시예들이 개시되어 있다. 예를 들어, 일실시예는 디스플레이 장치를 통해 증강 현실 이미지를 디스플레이하는 방법을 제공한다. 이 방법은 디스플레이 장치의 로컬 환경의 이미지를 캡처한 이미지 데이터를 수신하는 단계와, 이미지 데이터를 통해 상기 로컬 환경의 물리적 특징(physical feature)을 식별하는 단계를 포함한다. 이 방법은 사용자의 관점으로부터 물리적 특징을 갖는 공간 정합(spatial registration) 내 물리적 특징 위에 디스플레이할 가상 구조의 증강 현실 이미지를 구성하는 단계 -증강 현실 이미지는 가상 구조 특징을 형성하기 위해 인접한 위치에 배치된 복수의 모듈식 가상 구조 세그먼트를 포함하며, 각각의 모듈식 가상 구조 세그먼트는 사전 계산된 전역 조명 효과(global lighting effect)를 포함함- 와, 증강 현실을 디스플레이 장치에 출력하는 단계를 포함한다.
본 요약부는 이하 발명의 상세한 설명에서 보다 자세히 기술될 개념들 중 선택된 것들을 단순화된 형식으로 소개하기 위해 제공되는 것이다. 본 요약부는 청구항에 기재된 청구대상의 주된 사항 또는 핵심 사항을 밝히기 위한 것이 아니며, 청구항에 기재된 청구대상의 범위를 한정하기 위한 것은 더더욱 아니다. 나아가, 청구항에 기재된 청구대상은 본 명세서로부터 파악될 수 있는 문제점을 해결하는 구현예로 한정되지 않는다.
도 1은 예시적인 사용 환경에서의 시스루(see-through) 디스플레이 장치의 일실시예를 도시한 도면.
도 2는 도 1의 예시적인 사용 환경에서의 증강 현실 이미지의 일실시예를 도시한 도면.
도 3은 모듈식 가상 구조 세그먼트 세트의 일실시예를 도시한 도면.
도 4는 모듈식 가상 구조 세그먼트의 일부분에 적용되는 사전 계산된 조명 효과의 개략도.
도 5a는 도 2의 증강 이미지에 동적 점광(point light)을 더한 것을 도시한 것이고, 도 5b는 사전 계산된 조명 효과를 갖는 모듈식 구조 세그먼트의 일부분 상에서의 동적 점광 효과의 일례를 도시한 도면.
도 6은 검출된 물리적 환경에 맞춰진 가상 환경을 구성하는 방법의 일실시예를 도시한 순서도.
도 7은 시스루 디스플레이 장치의 일실시예의 블록도.
도 8은 컴퓨팅 시스템의 일실시예의 블록도.
도 2는 도 1의 예시적인 사용 환경에서의 증강 현실 이미지의 일실시예를 도시한 도면.
도 3은 모듈식 가상 구조 세그먼트 세트의 일실시예를 도시한 도면.
도 4는 모듈식 가상 구조 세그먼트의 일부분에 적용되는 사전 계산된 조명 효과의 개략도.
도 5a는 도 2의 증강 이미지에 동적 점광(point light)을 더한 것을 도시한 것이고, 도 5b는 사전 계산된 조명 효과를 갖는 모듈식 구조 세그먼트의 일부분 상에서의 동적 점광 효과의 일례를 도시한 도면.
도 6은 검출된 물리적 환경에 맞춰진 가상 환경을 구성하는 방법의 일실시예를 도시한 순서도.
도 7은 시스루 디스플레이 장치의 일실시예의 블록도.
도 8은 컴퓨팅 시스템의 일실시예의 블록도.
전술한 바와 같이, 가상 환경에 있어서의 사실적 조명 효과는 일반적으로 가상 환경이 구성된 후에 사전 계산되며, 그 후 예컨대 가상 환경에 대한 라이트맵으로서 저장된다. 이러한 가상 환경은 보통은 사용자의 주변에 맞지 않는 고정된 기하학적 구조로 형성된다.
반면에, 증각 현실 디스플레이 시스템은 가상 이미지를 사용자의 주변에 맞도록 구성될 수 있다. 예를 들어, 증강 현실 비디오 게임은 게임 내 가상 구조를 사용자의 물리적 환경의 대응하는 물리적 구조에 맞출 수 있다. 따라서 증강 현실 이미지의 기하학적 구조는 사용자의 물리적 환경에 기초하여 변할 수 있다.
증강 현실 환경을 물리적 환경에 맞추는 것은 실시간 사용 동안 발생하므로, 환경 구축 후 그 환경에 고품질 조명 효과가 적용되면, 이 때 조명 계산도 발생할 것이다. 그러나, 이러한 조명 효과가 증강 현실 이미지를 물리적 환경에 맞춘 후에 증강 현실 환경에 대해 계산되면, 사실적인 조명 효과를 적용하기 위한 계산으로 인해, 사용자는 증강 현실 경험을 하기 위해 조명 효과를 계산하는데 사용된 특정 컴퓨팅 시스템에 따라 수시간 내지 수일을 기다려야 할 수 있다. 이것은 사용자 경험을 너무 느리게 하여 받아들이기 어려울 수 있게 한다. 또한, 이러한 오랜 지연 동안에 물리적 환경의 외양이 변할 수도 있다. 이것은 현실 세계와 가상 세계 사이를 불일치하게 만들 수 있으며, 따라서 증강 현실에 큰 영향을 줄 수 있다.
잠재적인 하나의 해결책으로, 증강 현실 환경에 대한 사전 계산된 조명 효과 대신에 동적 조명이 사용될 수 있다. 그러나, 전술한 바와 같이, 동적 조명은 사전 계산된 조명보다 더 낮은 품질을 가질 수 있으며, 따라서 양호한 사용자 경험을 제공하지 않을 수 있다. 또한, 동적 조명은 실행시간에 계산상 비용이 많이 들 수 있는데, 이는 다른 비주얼 및 게임 플레이와 같은 경험의 다른 측면들에 대한 계산 할당을 감소시킬 수 있다.
따라서, 고품질의 사전 계산된 조명 효과를 가지며 로컬 물리적 환경의 기하학적 구조에 맞는 증강 현실 환경의 효율적인 구성에 관한 실시예들이 본 명세서에 제시된다. 간단히 말하면, 개시된 실시예들은 서로 인접하게 배열될 수 있는 모듈식 가상 구조 세그먼트를 활용하여 증강 현실 이미지에 대한 가상 구조를 형성할 수 있으며, 모듈식 가상 구조 세그먼트는 고품질의 사전 계산된 조명 효과를 포함한다. 조명 효과는 각각의 모듈식 구조 세그먼트에 대해 사전 계산되므로, 조명 효과는 모듈식 가상 구조 세그먼트를 통해 구성된 가상 구조에 포함될 것이다. 또한, 일부 실시예에서는, 로컬 조명 특성이 검출될 수 있으며 모듈식 가상 구조 세그먼트의 외양을 조정하는데 사용될 수 있다. 그러한 로컬 조명 특성들의 예들로 로컬 물리적 환경 내의 광원의 위치 및 컬러 특성들이 있지만, 이들에 한정되지는 않는다.
도 1은 증강 현실 디스플레이 시스템을 위한 거실 형태의 사용 환경(100)의 예시적인 실시예를 나타낸다. 사용자(102)는 시스루 디스플레이 장치(104)를 통해 거실을 바라보고 있는 것으로 도시되어 있다. 도 1은 또한 시스루 디스플레이 장치(104)를 통해 보여질 수 있으며 따라서 이 시스루 디스플레이 장치(104)를 통해 디스플레이되는 이미지들로 증강될 수 있는 환경의 일부를 나타내는 사용자의 시야(103)를 나타내고 있다. 일부 실시예에서, 사용자의 시야(103)는 사실상 사용자의 시계(field of vision)와 동일 공간에 걸쳐 존재할 수 있는 한편, 다른 실시예에서는 사용자의 시야(103)는 사용자의 실제 시계의 보다 적은 부분을 차지할 수 있다.
이하에서 보다 자세히 설명되는 바와 같이, 시스루 디스플레이 장치(104)는 사용자가 환경을 네비게이팅함에 따라 사용 환경(100)을 나타내는 이미지 데이터(예를 들어, 컬러/그레이 스케일 이미지, 깊이 이미지/포인트 클라우드 데이터/메시 데이터 등)를 획득하도록 구성된 하나 이상의 외향(outwardly facing) 이미지 센서(예를 들어, 2차원 카메라 및/또는 깊이 카메라)를 포함할 수 있다. 이 이미지 데이터는 천장(106) 및 벽(108) 및 그 밖의 다른 특징부와 같은, 환경 및 그의 구조적 특징의 레이아웃에 관한 정보를 얻는데 사용될 수 있다.
시스루 디스플레이 장치(104)는 또한 이 장치를 통해 보여질 수 있는 물리적 객체 위에 디스플레이되는 가상 객체를 오버레이하여 증강 현실 이미지를 생성하도록 구성된다. 예를 들어, 도 2를 참조하면, 예시적인 증강 현실 이미지가 도시되어 있는데, 가상 벽 스터드(studs)(202), 헤더(204) 등과 같은 가상의 방을 구성하는 구조(200)가 사용자의 벽 상의 오버레이로서 디스플레이된다. 파이프(206), 콘딧/케이블 등과 같은 인프라구조 이미지들, 및 임의의 다른 적절한 가상 구조도 디스플레이될 수 있다. 또한 천장에 대한 (도시되어 있지 않은) 유사한 구조가 디스플레이될 수 있다. 또한, 방 내의 가구 또는 다른 비구조적 객체에 대응하고, 또한 방 내에서 빈 공간을 차지하는 이미지가 디스플레이될 수 있다. 도 2에 도시되어 있는 증강 현실 이미지는 증강 현실 환경을 보다 완전하게 나타내기 위해 도 1에 도시되어 있는 사용자의 시야에 국한되지 않음이 이해될 것이다.
도 2의 가상 벽을 구성하는 구조는 기하학적으로 기본적인 물리적 구조(예를 들어, 벽(108))에 일치한다. 각 사용자의 로컬 물리적 환경은 다를 수 있기 때문에, 각 플레이어의 로컬 물리적 환경에 대한 전체적인 가상 구조는 미리 설계되기 보다는 로컬 물리적 환경의 이미지 데이터(예를 들어, 스테레오 깊이 이미지 데이터, 구조화된 광 이미지 데이터, 이동 시간(time of flight) 이미지 데이터 또는 그 밖의 다른 깊이 이미지 데이터)를 획득할 경우 구성될 수 있다. 그에 따라, 가상 구조를 구성한 후 전역 조명 효과가 가상 구조에 적용되면, 플레이어는 활동을 할 수 있기 전에 원치 않게 긴 시간을 대기해야 할 수 있고, 게임 동안 환경을 바꾸는 것(예를 들어, 다른 방으로 걸어가는 것)을 제약받을 수 있는데, 그 이유는 새로운 환경에 조명을 구축하고 적용하는데 원치 않게 긴 시간이 소요될 수 있기 때문이다.
따라서, 전술한 바와 같이, 가상 구조(200)는 사전계산된 조명 효과를 갖는 모듈식의 가상 구조 세그먼트들의 세트로부터 조립되며, 모듈식의 가상 구조 세그먼트들의 인스턴스들은 서로 인접하게 배열될 수 있고 처리(예를 들어, 회전, 스케일링 등)되어 통합된 가상 구조의 외양을 형성할 수 있다. 도 3은 벽 스터드 세그먼트(302), 연결된 파이프를 갖는 벽 스터드 세그먼트(304), 수평 파이프를 갖는 벽 스터드 세그먼트(306), 한 쌍의 문틀 세그먼트(308,310) 및 한 쌍의 창틀 세그먼트(312,314)를 포함하는 모듈식의 가상 구조 세그먼트들의 세트(300)의 예시적인 실시예를 나타낸다. 도 2를 참조하면, 가상 구조(200)는 전적으로 각 특정 인스턴스의 배치에 기초하여 스케일링, 회전, 클립핑(clipped), 모핑(morphed) 및/또는 적절하게 처리된, 세트(300)로부터 선택된 가상 벽 세그먼트들의 인스턴스들로부터 구성될 수 있음이 이해될 것이다.
도 3에서는 비교적 간단한 모듈식의 가상 구조 세그먼트들의 세트가 도시되어 있지만, 모듈식의 가상 구조 세그먼트들의 세트는 임의의 원하는 복잡성을 갖는 임의의 적절한 개수의 선택된 세그먼트들을 구비할 수 있음이 이해될 것이다. 또한, 사전계산된 조명을 갖는 모듈식의 가상 구조 세그먼트들의 세트는, 천장, 및 가구, 벽걸이, 식물, 외부 객체, 카운터 탑, 바 탑 등과 같은 비구조적 특징을 포함하나 여기에 국한되지 않는, 벽에 맞는 가상 구조보다는 임의의 다른 원하는 물리적 특징(feature)에 맞도록 임의의 적절한 구조를 구축하는데 사용될 수 있다는 것이 이해될 것이다. 예를 들어, 사전조명된(pre-lit) 모듈식의 가상 구조 세그먼트는 일반적으로 물리적 환경에서 발견되나 다른 물리적 환경에서는 다른 형상 및/또는 외양을 가질 수 있는 사전조명된 가상 소파, 책상, 텔레비전, 거울 및 그 밖의 다른 개체를 포함할 수 있다. 몇몇 경우 이러한 개체에 대한 이러한 가상 구조 세그먼트는 단일 "세그먼트"를 포함하되, 단일 가상 구조 요소가 크기조정되고, 회전되며, 또 다른 방식으로 처리되어 인접 세그먼트들과 결합될 필요없이 원하는 물리적 구조에 맞게 하도록 할 수 있다. 또한, 물리적 환경 내의 빈 공간은 환경의 물리적 특징으로 간주될 수 있고, 모듈식의 가상 구조 세그먼트는 방 또는 그 밖의 다른 사용 환경 내에서 점유되지 않은 공간 부분 내에 가상 객체를 구성하도록 배열될 수 있음이 이해될 것이다.
몇몇 모듈식의 가상 구조 세그먼트는 세그먼트에 연결될 수 있는 다른 세그먼트들의 세트를 제한하는 연결 제약을 포함할 수 있다. 예를 들어, 도 3에서, 각 창문 세그먼트 및 문 세그먼트는 일 측(예를 들어, 창문/문 측) 상에서 또 다른 창문 또는 문 세그먼트에 연결될 수 있으나, 그 측 상에서 벽 스터드 세그먼트(302)에 연결되지 않고, 또는 세그먼트들은 부정확하게 짝을 이룰 수 있다. 또한, 연결된 파이프 세그먼트(304) 및 수평 파이프 세그먼트(306)는 상호보완적인 파이프 부분을 갖는 세그먼트에 연결되도록 제약을 받는다. 이들 연결 제약은 예시 목적으로 기술되었으며, 따라서 임의의 다른 적절한 연결 제약이 사용될 수 있음이 이해될 것이다.
임의의 적절한 사전계산된 조명 효과는 모듈식의 가상 구조 세그먼트에 적용될 수 있다. 예를 들어, 일부 실시예에서, 모듈식의 가상 구조 세그먼트들의 세트는 환경 내의 물리적인 조명의 위치를 참조하지 않고도 임의의 로컬 조명 환경에 사용되도록 의도될 수 있다. 이러한 실시예에서, 지향성 조명 효과가 사용될 수 있다. 이에 대한 예는 도 4에서 가상 벽 스터드 세그먼트의 일부(400) 상에 입사하는 지향성 광으로서 도시되어 있다. 적용된 가상 조명은 임의의 적절한 방향을 가질 수 있다. 예를 들어, 수평으로 타일형식을 갖는 조각(horizontally tiled pieces)의 경우, 조명은 수평축에 직교할 수 있는 반면, 수직으로 타일형식을 갖는 조각의 경우, 조명은 수직축에 직교할 수 있다. 또한, 수평과 수직으로 타일형식을 갖는 모듈식 조각에 대해, 조명은 양 축에 직교할 수 있다. 이것은 세그먼트들에 대해 사전 계산된 그림자 및 조명이 각 세그먼트에 대해 공통 조명 특성을 갖도록 보장하는데 도움을 줄 수 있고, 따라서, 인접 세그먼트들이 만나는 경우 시차 및/또는 다른 불연속의 등장을 방지하는데 도움을 줄 수 있다. 도 4의 실시예에서, 지향성 조명은 수직면에 대해 대략 45도로 적용되는 것으로 도시되어 있지만, 이것은 예시 목적일 뿐 임의의 다른 적절한 각도가 사용될 수 있음이 이해될 것이다.
다른 실시예에서, 모듈식 가상 구조 세그먼트들의 세트는 특정 조명 특성(예를 들어, 단일의 머리 위 점 광원, 벽에 인접한 램프 등)에 사용되도록 구성될 수 있다. 이러한 실시예에서, 조명 효과를 사전 계산하기 위해 임의의 적절한 유형의 가상 조명이 사용될 수 있다. 어떤 경우든, 조명 효과를 사전 계산한 후에, 세그먼트로 조립된 가상 구조의 이미지들이 현실적인 조명 효과를 가지도록, 계산된 조명 맵이 연관된 모듈식 가상 구조 세그먼트에 대해 상위 정보 레벨에서 저장될 수 있다.
모듈식 가상 구조 세그먼트에 대한 임의의 적절한 유형의 조명 정보가 저장될 수 있다. 예를 들어, 사전계산된 조명 효과는 조명 맵, 큐브 맵, 구면 조화 함수(예를 들어, 사전계산된 방사 휘도 전달 기능), 및/또는 임의의 적절한 형태로 저장될 수 있다. 사전계산된 방사 휘도 전달 기능을 이용하게 되면 예를 들어 도 5a에서 가상 점 광원(500)으로 도시되어 있는 가상 점 조명을 물리적 환경 내의 물리적 조명의 위치에 적용함으로써 사용 환경에서 검출된 물리적 조명 위치에 기초하여 가상 객체 상에 현실적인 조명 및 그림자가 생성되게 할 수 있다. 도 5b는 도 4에 도시되어 있는 벽 스터드 부분의 외양이 도 5a의 가상 점 광원에 기초하여 어떻게 변조될 수 있는지에 대한 예를 나타낸다. 또한, 절차적인 또는 동적 광원이 실시간으로 적용될 수 있다(예를 들어, 증강 현실 이미지에 디스플레이되는 동적 가상 객체로부터 발생하는 광).
로컬 물리적 조명 특성은 또한 모듈식 가상 구조 세그먼트의 외양을 다른 식으로 변조하는데 사용될 수 있다. 예를 들어, 모듈식 가상 구조 세그먼트에 대해 사전계산된 조명 효과는 백색광의 적용에 기초하여 계산될 수 있다. 그런 다음, 특정 물리적 환경에 대해 가상 이미지를 구축하는 경우, 물리적 환경 내의 물리적 광원의 컬러 특성은 시스루 디스플레이 장치에 의해 획득된 이미지 데이터로부터 분석될 수 있고, 판정된 컬러 특성(예를 들어, 색조, 색순도, 알베도)이 가상 조명 효과에 적용되어 가상 조명은 로컬 물리적 조명에 보다 근접하게 일치한다. 이러한 식으로, 사전조명된 가상 벽/천장 세그먼트, 사전조명된 가상 가구 및 임의의 다른 적절한 사전조명된 가상 객체의 디스플레이된 인스턴스는 물리적 환경의 외양에 보다 근접하게 일치한다.
도 6은 모듈식 가상 구조 세그먼트의 인스턴스를 검출된 물리적 구조에 적용함으로써 증강 현실 환경을 구성하는 방법(600)의 실시예를 나타낸다. 방법(600)은 시스루 디스플레이 장치의 로컬 환경의 이미지를 캡처하는 이미지 데이터를 수신하는 단계(602)를 포함한다. 이 이미지 데이터는 깊이 이미지(604) 및/또는 2차원 이미지를 포함하나 여기에 국한되지 않는 임의의 적절한 데이터를 포함할 수 있고 시스루 디스플레이 장치 상에 있거나, 또는 시스루 디스플레이 장치 외부에 있는 이미지 센서로부터 수신될 수 있다. 깊이 이미지 데이터는 스테레오 이미징 시스템, 이동 시간 이미징 시스템 및 구조화된 광 이미징 시스템을 포함하나 여기에 국한되지 않는 임의의 적절한 깊이 이미징 시스템으로부터 수신될 수 있다.
방법(600)은 이미지 데이터로부터 로컬 환경의 물리적 특징(physical feature)을 식별하는 단계(606)를 포함한다. 물리적 특징은 임의의 적절한 방식으로 식별될 수 있다. 예를 들어, 일부 실시예에서, 물리적 환경의 메시(mesh) 표현은 깊이 이미지 데이터로부터 결정되고, 메시 분석이 수행되어(단계 608), 물리적 환경 내의 주요 표면을 식별한다(단계 610). 예는 벽(612) 및 천장(614), 및 방 내에 있는 벽 및 천장의 특징들, 예를 들어, 문, 창문, 천공광, 기둥, 다른 돌출부/컷아웃(cutouts) 등을 포함하나, 여기에 국한되지는 않는다. 또한, 기하학적 구조에서 빈 공간이 식별되어, 예를 들어 원하는 가상 구조가 식별된 빈 공간에 맞도록 할 수 있다.
방법(600)은 물리적 환경의 하나 이상의 로컬 조명 특성을 식별하는 단계(616)를 포함할 수 있다. 로컬 조명 특성의 예는 로컬 광원의 컬러 특성(618) 및 위치를 포함하나 여기에 국한되지 않는다.
방법(600)은 물리적 특징을 갖는 공간 정합(spatial registration) 내 물리적 특징 위에 디스플레이할 가상 구조 특징을 포함하는 증강 현실 이미지를 구성하는 단계(622)를 더 포함한다. 앞서 설명하고 단계(624)에서 나타낸 바와 같이, 가상 구조는 각각이 사전 계산된 조명 효과를 포함하도록 복수의 모듈식 가상 구조 세그먼트를 정렬함으로써 구성될 수 있다. 가상 구조 세그먼트들은 관심 있는 물리적 기하학구조에 맞도록 조각들을 회전, 스케일링, 모핑, 클립핑 등을 포함하나 여기에 국한되지 않는 임의의 적절한 방식으로 정렬될 수 있다. 마찬가지로, 모듈식 가상 구조 세그먼트는 사전계산된 조명 효과에 관한 임의의 적절한 사전 계산된 정보를 포함할 수 있다. 예는 조명 맵(626) 및/또는 방사 휘도 전달 기능(628)을 포함하나 여기에 국한되지 않는다. 또한, 앞서 설명한 바와 같이, 상호보완적인 특징들이 인접 세그먼트들 상에서 연결되는 것을 보장하기 위해 모듈식 가상 구조 세그먼트들을 선택 및 정렬하는 경우, 선택된 모듈식 가상 구조 세그먼트에 연결될 수 있는 다른 모듈식 가상 구조 세그먼트들의 세트를 제한하는 연결 제약이 적용될 수 있다(630).
또한, 앞서 설명한 바와 같이, 증강 현실 이미지를 구성할 때 로컬 조명 특성이 이용될 수 있다. 예를 들어, 단계(632)에서 나타낸 바와 같이, 일부 실시예에서, 모듈식 가상 구조 세그먼트의 외양은 로컬 조명 특성에 기초하여 변조될 수 있다. 이 외양은 임의의 적절한 방식으로 변조될 수 있다. 예를 들어, 단계(634)에서 나타낸 바와 같이, 로컬 조명 환경의 컬러는 사전계산된 조명 효과에 적용될 수 있다. 마찬가지로, 단계(636)에서 나타낸 바와 같이, 가상 점 광원과 같은 가상 광원은 환경 내의 물리적 광원의 위치에서 적용될 수 있다.
다른 실시예에서, 모듈식 가상 구조 세그먼트의 외양을 변조하는 대신, 다른 조명 특성을 갖는 가상 모듈식 구조 세그먼트들의 복수의 다른 세트가 이용가능할 수 있다. 예를 들어, 모듈식 가상 구조 세그먼트들의 하나의 세트는 머리 위의 점 광원에 대응하는 사전계산된 조명 효과를 포함할 수 있는 한편, 다른 하나의 세트는 측창(side window)으로부터 들어오는 지향성 광에 대응하는 사전계산된 조명 효과를 포함할 수 있다. 이 경우, 단계(638)에서 표시된 바와 같이, 로컬 조명 특성이 대응하는 조명 특성을 갖는 모듈식 가상 구조 세그먼트들의 한 세트를 선택하는데 사용되어, 결과적인 가상 구조가 환경 내의 물리적 광과 유사한 조명 특성을 가질 수 있도록 할 수 있다.
증강 현실 이미지의 구성시에, 방법(600)은 증강 현실 이미지를 시스루 디스플레이 장치로 출력하는 단계(640에 도시됨)를 포함한다. 시스루 디스플레이 장치(예, 내부 및 외향 이미지 센서)로부터의 센서 데이터는 사용자의 눈 위치 및 시선 방향(gaze direction)을 검출하고, 또한 사용자의 시야(field of view) 내의 물리적 객체를 검출하며, 사용자에게 물리적 환경의 증강 현실 뷰(augmented reality view)를 제공하도록 물리적 특징과 공간 정합(spatial registration)을 이룬 대응하는 물리적 특징에 대한 가상 구조를 디스플레이하는 데 사용될 수 있다.
전술한 바와 같이, 전술한 방법은 임의의 적합한 디스플레이 장치를 통해 수행될 수 있다. 예로서 도 1의 헤드 마운티드 시스루 디스플레이 장치(104)와 같은 시스루 디스플레이 장치 및, 하나 이상의 이미지 센서를 구비하는 다른 디스플레이 장치(예, 스마트 폰 및 노트 패드 컴퓨터)를 포함하나 이에 한정되는 것은 아니다. 도 7은 시스루 디스플레이 장치의 예시적인 구성에 대한 블록도를 도시한다.
시스루 디스플레이 장치(104)는 눈에 가까운(near-eye) 시스루 디스플레이 서브시스템(704)의 일부를 형성하는 하나 이상의 렌즈(702)를 포함할 수 있다. 시스루 디스플레이 장치(104)는 사용자가 보고 있는 배경 장면의 이미지를 획득하도록 구성되는 하나 이상의 외향 이미지 센서(outward facing image sensor)(706)를 더 포함할 수 있으며, 사용자로부터의 음성 명령과 같은 사운드를 검출하도록 구성되는 하나 이상의 마이크(708)를 포함할 수 있다. 외향 이미지 센서(706)는 하나 이상의 깊이 센서(스테레오 깊이 이미징 장치(stereo depth imaging arrangements)를 포함하나 이에 한정되는 것은 아님) 및/또는 하나 이상의 이차원 이미지 센서를 포함할 수 있다.
시스루 디스플레이 장치(104)는 전술한 바와 같이, 사용자의 각각의 눈의 시선 방향을 검출하도록 구성되는 시선 검출 서브시스템(gaze detection subsystem)을 더 포함한다. 시선 검출 서브시스템(710)은 임의의 적합한 방식으로 사용자의 눈 각각의 시선 방향을 판정하도록 구성될 수 있다. 예를 들어, 도시된 실시예에서, 시선 검출 서브시스템(710)은 반짝이는 빛이 사용자의 각각의 눈의 각막으로부터 반사되게 하도록 구성되는 하나 이상의 섬광 소스(glint source)(712)(예컨대, 적외선 광원) 및 사용자의 하나 이상의 눈의 이미지를 캡쳐하도록 구성되는 하나 이상의 이미지 센서(714)를 포함한다. 이미지 센서(들)(714)를 통해 수신된 이미지 데이터로부터 판정된 반짝이는 빛(the glint) 및 동공의 이미지가 각각의 눈의 광학 축을 결정하는 데 사용될 수 있다. 시선 검출 서브시스템(710)은 임의의 적합한 수 및 배열의 광원 및 이미지 센서를 포함할 수 있다.
시스루 디스플레이 장치(104)는 추가적인 센서를 더 포함할 수 있다. 예를 들어, 시스루 디스플레이 장치(104)는 시스루 디스플레이 장치(104)의 위치가 판정되게 하는 GPS(global positioning) 서브시스템(716)을 포함할 수 있다.
사용자가 시스루 디스플레이 장치(104)를 착용하고 있는 경우에, 시스루 디스플레이 장치(104)는 추가로 사용자의 머리의 움직임을 검출하기 위한 하나 이상의 모션 센서(718)를 포함할 수 있다. 모션 데이터는 예를 들면 외향 이미지 센서(들)(706)로부터의 이미지 내의 흐릿함(blur)을 수정하는 것을 돕기 위한 이미지 안정화(image stabilization)에 사용될 수 있다. 마찬가지로, 모션 센서(718)와 마이크(들)(718) 및 시선 검출 서브시스템(710)은 또한 사용자 입력 장치로 이용될 수 있고, 이에 따라 사용자는 눈, 목 및/또는 머리의 제스처를 통해, 그리고 언어 커맨드(verbal commands)를 통해 시스루 디스플레이 시스템(704)과 상호작용할 수 있다. 도 7에 도시된 센서는 예시를 위해 도시된 것이며 임의의 방식으로 제한을 하려는 것이 아니라는 것을 이해할 수 있을 것인데, 이는 임의의 다른 적합한 센서 및/또는 센서의 조합이 사용될 수 있기 때문이다.
시스루 디스플레이 장치(104)는 추가로 로직 서브시스템(722), 센서와 통신하는 저장 서브시스템(724) 및 시선 검출 서브시스템(710)을 가진 컴퓨팅 장치(720)를 포함하고 또한 시스루 디스플레이 서브시스템(704)을 포함한다. 저장 서브시스템(724)은 로직 서브시스템(722)에 의해, 예를 들면 시스루 디스플레이 장치의 로컬 환경의 이미지를 캡쳐하는 외향 이미지 센서(706)로부터의 이미지 데이터를 수신하고, 이미지 데이터를 통해 로컬 환경의 물리적 특징을 식별하도록 실행되는 명령어를 포함한다. 또한, 명령어는 인접한 위치에 복수의 모듈식 가상 구조 세그먼트(각각의 모듈식 가상 구조 세그먼트는 사전 계산된 전역 조명 효과(pre-computed global illumination effect)를 포함함)를 배열함으로써 가상 구조의 증강 현실 이미지를 구성하고, 사용자의 관점(viewpoint)으로부터의 물리적 특징과 공간 정합을 이루는 물리적 특징 위에 증강 현실 이미지를 디스플레이하도록 실행될 수 있다. 명령어는 추가로, 로컬 조명 특성을 검출하고, 로컬 조명 특성에 기초하여 증강 현실 이미지를 모듈화하고, 시스루 디스플레이 서브시스템(704)을 통한 물리적 특징과 공간 정합을 이루는 물리적 특징 위에 증강 현실 이미지를 디스플레이하도록 실행될 수 있다.
로직 서브시스템(722)에 대한 예시적인 하드웨어에 관한 추가 정보 및 전술한 다른 컴포넌트가 도 8을 참조하여 이하에 설명된다.
도시된 시스루 디스플레이 장치(104)는 예시로서 제공된 것이고 제한을 하려는 것이 아님을 이해할 수 있을 것이다. 따라서, 디스플레이 장치는 본 명세서의 범주를 벗어나지 않는 범위에서 도시된 것 이외에 추가적인 및/또는 이에 갈음하는 센서, 카메라, 마이크, 입력 장치, 출력 장치 등을 포함할 수 있다는 것을 이해해야 할 것이다. 디스플레이 장치 및 이의 다양한 센서 및 서브컴포넌트의 물리적인 구성은 본 명세서의 범주를 벗어나지 않는 범위에서 다양한 형태를 가질 수 있다.
또한, 시스루 디스플레이 장치를 통해 증강 현실 형상(qugmented reality imagery)을 디스플레이하도록 구성되는 컴퓨팅 시스템은 헤드 마운티드 디스플레이 장치 이외의 임의의 적합한 형태를 취할 수 있으며, 본체 컴퓨터, 서버 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 홈 엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 장치, 게임 장치, 모바일 컴퓨팅 장치, 모바일 통신 장치(예, 스마트 폰), 기타 착용가능한 컴퓨터 등을 포함하나 이에 한정되지 않는다는 것을 이해할 수 있을 것이다. 또한, 전술한 방법 및 프로세스가 컴퓨터 애플리케이션 프로그램이나 서비스, 애플리케이션 프로그래밍 인터페이스(API), 라이브러리 및/또는 다른 컴퓨터 프로그램 제품으로 구현될 수 있다는 것을 이해할 수 있을 것이다.
도 8은 전술한 방법 및 프로세서 중 하나 이상을 수행할 수 있는 컴퓨팅 시스템(800)의 비 제한적인 구현예를 개략적으로 도시한다. 컴퓨팅 시스템(800)은 간략화된 형태로 도시되며, 전술한 바와 같이 임의의 적합한 장치 및/또는 장치의 조합(도 1 내지 도 9를 참조하여 전술한 것을 포함하나 이에 한정되는 것은 아님)을 나타낼 수 있다.
컴퓨팅 시스템(800)은 로직 서브시스템(802)과 저장 서브시스템(804)을 포함한다. 컴퓨팅 시스템(800)은 디스플레이 서브시스템(806), 입력 장치 서브시스템(808), 통신 서브시스템(810), 및/또는 도 8에 도시되지 않은 다른 컴포넌트를 선택적으로 포함할 수 있다. 또한, 컴퓨팅 시스템(800)은 전술한 눈 추적 시스템과, 예를 들어, 키보드, 마우스, 게임 콘트롤러, 카메라(깊이 및/또는 이차원), 마이크, 및/또는 터치 스크린 등과 같은 하나 이상의 사용자 입력 장치를 선택적으로 포함하거나 이와 상호작용할 수 있다. 이러한 사용자 입력 장치는 입력 장치 서브시스템(808)의 일부를 형성하거나 입력 장치 서브시스템(808)과 상호작용할 수 있다.
로직 서브시스템(802)은 명령어를 실행하도록 구성되는 하나 이상의 물리적 장치를 포함할 수 있다. 예를 들어, 로직 서브시스템은 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 객체, 컴포넌트, 데이터 구조, 또는 기타 논리적 구성의 일부인 기계 판독가능 명령어를 실행하도록 구성될 수 있다. 이러한 명령어는 작업을 수행하고, 데이터 유형을 구현하며, 하나 이상의 컴포넌트의 상태를 변환하고, 또는 그 밖의 원하는 결과에 이르도록 구현될 수 있다.
로직 서브시스템(802)은 소프트웨어 명령어를 실행하도록 구성되는 하나 이상의 프로세서를 포함할 수 있다. 추가적으로 또는 이에 갈음하여, 로직 서브시스템(802)은 하드웨어나 펌웨어 명령어를 실행하도록 구성되는 하나 이상의 하드웨어 또는 펌웨어 로직 머신을 포함할 수 있다. 로직 서브시스템(802)의 프로세서는 싱글코어 또는 멀티코어일 수 있고, 로직 서브시스템상에서 실행되는 프로그램은 순차, 병렬 또는 분산 처리용으로 구성될 수도 있다. 로직 서브시스템(802)은 협응 처리를 위해 배치 및/또는 구성될 수 있는, 둘 이상의 장치 사이에 분산된 개별적인 컴포넌트를 선택적으로 포함할 수 있다. 로직 서브시스템의 하나 이상의 측면은 가상화될 수도 있고 클라우드 컴퓨팅 환경에서 구성되는 원격으로 액세스 가능한 네트워크화된 컴퓨팅 장치에 의해 실행될 수도 있다.
저장 서브시스템(804)은 본 명세서에서 설명된 방법 및 프로세스를 구현하는 로직 서브시스템에 의해 실행가능한 명령어 및/또는 데이터를 보유하도록 구성되는 하나 이상의 물리적이고 비 일시적인 컴퓨터 판독가능 저장 장치일 수 있다. 이러한 방법 및 절차가 구현되는 경우에, 저장 서브시스템(804)의 상태는 (예컨대, 다른 데이터를 보유하도록) 변환될 수 있다.
저장 서브시스템(804)은 분리가능형 매체 및/또는 빌트인 장치를 포함할 수 있다. 저장 서브시스템(804)은 무엇보다도 광학 메모리 장치(예컨대, CD, DVD, HD-DVD, Blu-Ray Disc 등), 반도체 메모리 장치(예컨대, RAM, EPROM, EEPROM 등) 및/또는 자기적 메모리 장치(예컨대, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등)를 포함할 수 있다. 저장 서브시스템(804)은 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독전용, 랜덤 액세스, 순차 액세스, 위치 어드레스 지정(location addressable), 파일 어드레스 지정(file addressable) 및 콘텐트 어드레스 지정(content addressable) 장치를 포함할 수 있다. 일부 실시예에서, 로직 서브시스템(802) 및 저장 서브시스템(804)은 애플리케이션 특정 집적 회로(ASIC) 또는 시스템 온 칩과 같은 하나 이상의 공통 장치(unitary device)로 통합될 수 있다.
저장 서브시스템(804)은 하나 이상의 물리적이고 비일시적인 장치를 포함한다는 것을 이해할 수 있을 것이다. 그에 반해, 일부 실시예에서, 본 명세서에서 설명된 명령어들의 측면들은 유한한 기간에 동안에는 물리적 장치에 의해 보유되지 않는 순수한 신호(예컨대, 전자기 신호, 광학 신호 등)에 의해 일시적인 방식으로 전파될 수 있다. 더욱이, 본 발명에 관한 데이터 및/또는 다른 형태의 정보가 순수한 신호에 의해 전파될 수 있다.
"프로그램"이라는 용어는 특정한 기능을 수행하도록 구현되는 컴퓨팅 시스템(800)의 일 측면을 설명하기 위해 사용될 수 있다. 일부의 경우, 프로그램은 저장 서브시스템(804)에 의해 보유되는 명령어를 실행하는 로직 서브시스템(802)을 통해 인스턴스화될 수 있다. 상이한 프로그램은 동일한 애플리케이션, 서비스, 코드 블록, 오브젝트, 라이브러리, 루틴, API, 함수 등으로부터 인스턴스화될 수 있다는 것을 이해할 수 있을 것이다. 마찬가지로, 동일한 프로그램이 상이한 애플리케이션, 서비스, 코드 블록, 오브젝트, 루틴, API, 함수 등에 의해 인스턴스화 될 수도 있다. "프로그램"이라는 용어는 실행 가능한 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트, 데이터베이스 기록 등의 각각이나 이들의 그룹을 포괄할 수 있다.
본 명세서에서 사용된 "서비스"는 복수의 사용자 세션에 걸쳐 실행가능한 애플리케이션 프로그램이다. 서비스는 하나 이상의 시스템 컴포넌트, 프로그램 및/또는 기타 서비스에 이용가능할 수 있다. 일부 실시예에서, 서비스는 하나 이상의 서비스 컴퓨팅 장치 상에서 실행될 수 있다.
디스플레이 서브시스템(806)이 포함될 경우, 이는 저장 서브시스템(804)에 의해 보유되는 데이터의 시각적 표현을 표시하기 위해 사용될 수 있다. 이러한 시각적 표현은 그래픽 사용자 인터페이스(GUI)의 형태를 취할 수 있다. 본 명세서에서 설명된 방법 및 프로세스는 저장 서브시스템에 보유되는 데이터를 변경하고, 그에 따라 저장 서브시스템의 상태를 변환하므로, 디스플레이 서브시스템(806)의 상태도 마찬가지로 변환되어 기초 데이터에 대한 변화를 시각적으로 표현한다. 디스플레이 서브시스템(806)은 임의의 유형의 기법을 사실상 이용하는 하나 이상의 디스플레이 장치를 포함할 수 있다. 이러한 디스플레이 장치는 로직 서브시스템(802) 및/또는 저장 서브시스템(804)과 공유된 장소에서 결합될 수도 있고, 또는 이러한 디스플레이 장치는 주변 디스플레이 장치일 수도 있다.
통신 서브시스템(810)이 포함될 경우, 이는 컴퓨팅 시스템(800)을 하나 이상의 다른 컴퓨팅 장치와 통신가능하게 연결하도록 구성될 수 있다. 통신 서브시스템(810)은 하나 이상의 상이한 통신 프로토콜을 이용하여 컴파일 가능한 유선 및/또는 무선 통신 장치를 포함할 수 있다. 비제한적인 예로서, 통신 서브시스템은 무선 전화 네트워크, 무선 LAN, 유선 LAN, 무선 광역 네트워크, 유선 광역 네트워크 등을 통해 통신하도록 구성될 수 있다. 일부 실시예에서, 통신 서브시스템은 컴퓨팅 장치(800)로 하여금 인터넷과 같은 네트워크를 통해 다른 장치로/로부터 메시지를 송신 및/또는 수신하게 할 수 있다.
본 명세서에서 설명된 구성 및/또는 접근법은 사실상 예시적인 것일 뿐이고, 이들 구체적인 실시예들 또는 예시들은 다양한 변형예가 가능하므로 한정적인 의미로 고려되어서는 안 된다는 것을 이해할 것이다. 본 명세서에서 설명된 구체적인 루틴 또는 방법은 하나 이상의 임의의 개수의 프로세싱 전략을 대표한다. 이와 같이, 도시 및/또는 설명된 다양한 동작들은 도시된 순서에 따라 수행될 수도 있으나, 다른 순서에 따르거나, 병렬적이거나, 일부 경우를 생략하여 수행될 수도 있다. 마찬가지로, 전술한 프로세스들의 순서도 변경될 수 있다.
본 발명의 대상은 본 명세서에 개시된 여러 프로세스, 시스템 및 구성, 및 기타 특징, 기능, 동작, 및/또는 속성의 신규하고 비자명한 조합 및 하위조합 모두를 포함할 뿐만 아니라 이들의 모든 균등물도 포함한다.
104 : 시스루 디스플레이 시스템
722 : 로직 서브시스템
724 : 저장 서브시스템
726 : 통신 서브시스템
706 : 외향 이미지 센서
716 : GPS 시스템
708 : 마이크
718 : 모션 센서
710 : 시선 검출 서브시스템
712 : 섬광 소스
714 : 이미지 센서
704 : 시스루 디스플레이 서브시스템
702 : 렌즈
728 : 스피커
722 : 로직 서브시스템
724 : 저장 서브시스템
726 : 통신 서브시스템
706 : 외향 이미지 센서
716 : GPS 시스템
708 : 마이크
718 : 모션 센서
710 : 시선 검출 서브시스템
712 : 섬광 소스
714 : 이미지 센서
704 : 시스루 디스플레이 서브시스템
702 : 렌즈
728 : 스피커
Claims (10)
- 디스플레이 장치에서, 조명 효과를 포함하는 증강 현실 이미지(augmented reality image)를 디스플레이하는 방법으로서,
상기 디스플레이 장치의 로컬 환경의 이미지를 캡처한 이미지 데이터를 수신하는 단계와,
상기 이미지 데이터를 통해 상기 로컬 환경의 물리적 특징(physical feature)을 식별하는 단계와,
사용자의 관점으로부터 물리적 특징을 갖는 공간 정합(spatial registration) 내 물리적 특징 위에 디스플레이할 가상 구조의 증강 현실 이미지를 구성하는 단계 -상기 증강 현실 이미지는 상기 가상 구조 특징을 형성하기 위해 인접한 위치에 배치된 복수의 모듈식 가상 구조 세그먼트를 포함하고, 각각의 모듈식 가상 구조 세그먼트는 사전 계산된 전역 조명 효과(global lighting effect)를 포함함- 와,
증강 현실을 디스플레이 장치에 출력하는 단계
를 포함하는 증강 현실 이미지 디스플레이 방법.
- 제1항에 있어서,
상기 로컬 환경의 물리적 특징을 식별하는 단계는 상기 로컬 환경의 메시 분석(mesh analysis)을 수행하는 단계를 포함하는
증강 현실 이미지 디스플레이 방법.
- 제1항에 있어서,
상기 물리적 특징은 하나 이상의 벽 및 천장을 포함하는
증강 현실 이미지 디스플레이 방법.
- 제1항에 있어서,
상기 물리적 특징은 상기 로컬 환경 내에 비구조적 객체를 포함하는
증강 현실 이미지 디스플레이 방법.
- 제1항에 있어서,
상기 물리적 특징은 상기 로컬 환경 내에 빈 공간을 포함하는
증강 현실 이미지 디스플레이 방법.
- 제1항에 있어서,
상기 사전 계산된 전역 조명 효과는 사전 계산된 지향성 조명 효과(directional lighting effect)를 포함하는
증강 현실 이미지 디스플레이 방법.
- 제1항에 있어서,
상기 사전 계산된 전역 조명 효과는 사전 계산된 방사 휘도 전달 기능(pre-computed radiance transfer function)을 포함하는
증강 현실 이미지 디스플레이 방법.
- 제1항에 있어서,
상기 이미지 데이터를 통해 로컬 환경의 조명 특성을 식별하는 단계와,
상기 로컬 환경의 조명 특성에 기초하여 상기 복수의 모듈식 가상 구조 세그먼트의 외양을 조정하는 단계를 더 포함하는
증강 현실 이미지 디스플레이 방법.
- 제8항에 있어서,
상기 조명 특성은 상기 로컬 환경의 컬러 특성을 포함하고, 상기 복수의 모듈식 가상 구조 세그먼트의 외양을 조정하는 단계는 컬러 특성을 상기 모듈식 가상 구조 세그먼트에게 전달하는 단계를 포함하는
증강 현실 이미지 디스플레이 방법.
- 제8항에 있어서,
상기 조명 특성은 상기 로컬 환경 내에 물리적 광의 위치를 포함하고,
상기 복수의 모듈식 가상 구조 세그먼트의 외양을 조정하는 단계는 상기 물리적 광의 위치에서 가상 점광(virtual point light)으로부터 발생하는 광 효과를 계산하는 단계를 포함하는
증강 현실 이미지 디스플레이 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130158801A KR102197504B1 (ko) | 2013-12-18 | 2013-12-18 | 사전 계산된 조명으로 증강 현실 환경을 구성하는 기법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130158801A KR102197504B1 (ko) | 2013-12-18 | 2013-12-18 | 사전 계산된 조명으로 증강 현실 환경을 구성하는 기법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150071595A true KR20150071595A (ko) | 2015-06-26 |
| KR102197504B1 KR102197504B1 (ko) | 2020-12-31 |
Family
ID=53517842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130158801A KR102197504B1 (ko) | 2013-12-18 | 2013-12-18 | 사전 계산된 조명으로 증강 현실 환경을 구성하는 기법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102197504B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180038552A (ko) * | 2015-08-18 | 2018-04-16 | 매직 립, 인코포레이티드 | 가상 및 증강 현실 시스템들 및 방법들 |
| KR20190005642A (ko) | 2017-07-07 | 2019-01-16 | 한국전자통신연구원 | 증강현실을 위한 가상 콘텐츠 합성 방법 및 이를 위한 장치 |
| US11800218B2 (en) | 2018-02-22 | 2023-10-24 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002503854A (ja) * | 1998-02-17 | 2002-02-05 | サン・マイクロシステムズ・インコーポレーテッド | ポリゴンのためのグラフィックス・システム・パフォーマンスの推定 |
| JP2002260011A (ja) * | 2001-01-26 | 2002-09-13 | Microsoft Corp | ライティングされ、テクスチャのある球体の高速で滑らかなレンダリング |
| KR20050035069A (ko) * | 2003-10-10 | 2005-04-15 | 마이크로소프트 코포레이션 | 자연적인 조명 환경에서의 물체들의 실시간 재조명을 위한견고한 샘플링을 위한 시스템 및 방법 |
| KR20100080386A (ko) * | 2008-12-29 | 2010-07-08 | 인텔 코오퍼레이션 | 물리적 객체를 물리적 실생활에서 가상 세계로 이송하는 시스템 및 방법 |
| WO2012122133A2 (en) * | 2011-03-10 | 2012-09-13 | Microsoft Corporation | Theme-based augmentation of photorepresentative view |
| KR20130023244A (ko) * | 2010-09-30 | 2013-03-07 | 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 | 고해상도의 텍스처 추출을 위한 패턴 투영 |
-
2013
- 2013-12-18 KR KR1020130158801A patent/KR102197504B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002503854A (ja) * | 1998-02-17 | 2002-02-05 | サン・マイクロシステムズ・インコーポレーテッド | ポリゴンのためのグラフィックス・システム・パフォーマンスの推定 |
| JP2002260011A (ja) * | 2001-01-26 | 2002-09-13 | Microsoft Corp | ライティングされ、テクスチャのある球体の高速で滑らかなレンダリング |
| KR20050035069A (ko) * | 2003-10-10 | 2005-04-15 | 마이크로소프트 코포레이션 | 자연적인 조명 환경에서의 물체들의 실시간 재조명을 위한견고한 샘플링을 위한 시스템 및 방법 |
| KR20100080386A (ko) * | 2008-12-29 | 2010-07-08 | 인텔 코오퍼레이션 | 물리적 객체를 물리적 실생활에서 가상 세계로 이송하는 시스템 및 방법 |
| KR20130023244A (ko) * | 2010-09-30 | 2013-03-07 | 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 | 고해상도의 텍스처 추출을 위한 패턴 투영 |
| WO2012122133A2 (en) * | 2011-03-10 | 2012-09-13 | Microsoft Corporation | Theme-based augmentation of photorepresentative view |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180038552A (ko) * | 2015-08-18 | 2018-04-16 | 매직 립, 인코포레이티드 | 가상 및 증강 현실 시스템들 및 방법들 |
| US11481911B2 (en) | 2015-08-18 | 2022-10-25 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| KR20190005642A (ko) | 2017-07-07 | 2019-01-16 | 한국전자통신연구원 | 증강현실을 위한 가상 콘텐츠 합성 방법 및 이를 위한 장치 |
| US10388062B2 (en) | 2017-07-07 | 2019-08-20 | Electronics And Telecommunications Research Institute | Virtual content-mixing method for augmented reality and apparatus for the same |
| US11800218B2 (en) | 2018-02-22 | 2023-10-24 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102197504B1 (ko) | 2020-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10803670B2 (en) | Constructing augmented reality environment with pre-computed lighting | |
| JP6759371B2 (ja) | ３ｄプレノプティックビデオ画像を作成するためのシステムおよび方法 | |
| CN107850779B (zh) | 虚拟位置定位锚 | |
| CN107852573B (zh) | 混合现实社交交互 | |
| KR102257255B1 (ko) | 혼합 현실 스포트라이트 | |
| US10373392B2 (en) | Transitioning views of a virtual model | |
| US9361732B2 (en) | Transitions between body-locked and world-locked augmented reality | |
| US9230368B2 (en) | Hologram anchoring and dynamic positioning | |
| US20170287218A1 (en) | Virtual object manipulation within physical environment | |
| US20150317832A1 (en) | World-locked display quality feedback | |
| JP2014509759A (ja) | 没入型ディスプレイエクスペリエンス | |
| US20180182160A1 (en) | Virtual object lighting | |
| US20120120071A1 (en) | Shading graphical objects based on face images | |
| KR20140081840A (ko) | 모션으로 제어되는 리스트 스크롤 방법 | |
| CN103761763A (zh) | 使用预先计算的光照构建增强现实环境 | |
| CN111670465A (zh) | 显示经修改的立体视觉内容 | |
| KR102197504B1 (ko) | 사전 계산된 조명으로 증강 현실 환경을 구성하는 기법 | |
| JP6272687B2 (ja) | 事前計算された照明による拡張現実環境の構築 | |
| EP2887321B1 (en) | Constructing augmented reality environment with pre-computed lighting | |
| US10216982B2 (en) | Projecting a virtual copy of a remote object | |
| US10964056B1 (en) | Dense-based object tracking using multiple reference images | |
| US20240078743A1 (en) | Stereo Depth Markers | |
| US20230298278A1 (en) | 3d photos | |
| KR20230168155A (ko) | 2d 형상들 및 3d 프리미티브들을 갖는 3d 룸 플랜의 생성 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| A201 | Request for examination | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |