KR101895085B1

KR101895085B1 - 시스루 헤드 마운트 디스플레이용 불투명도 필터

Info

Publication number: KR101895085B1
Application number: KR1020137007088A
Authority: KR
Inventors: 아비 바-지브; 밥 크로코; 알렉스 아벤-아타 키프만; 존 루이스
Original assignee: 텔레폰악티에볼라겟엘엠에릭슨(펍)
Priority date: 2010-09-21
Filing date: 2011-08-24
Publication date: 2018-10-04
Also published as: EP3499294B1; EP3499292A1; DK2619622T3; US10665033B2; CA2810859C; US20150193984A1; EP3499293A1; US20180211448A1; JP2013542462A; JP5801401B2; EP3499292B1; EP3499293B1; US20190228586A1; PL2619622T3; US9286730B2; WO2012039877A1; IL225025A; CN102540463B; US10388076B2; EP2619622B1

Abstract

본 발명의 광학적 시스루 헤드 마운트 디스플레이 디바이스는, 실세계 장면으로부터의 광을 증강현실 이미지와 결합하는 한편, 불투명도 필터가 실세계 장면의 일부분을 선택적으로 차단하도록 사용되어 증강현실 이미지가 보다 또렷하게 나타나도록 하는 시스루 렌즈를 포함한다. 불투명도 필터는 예컨대 LCD 패널의 각 픽셀이 증강현실 이미지의 크기, 형태 및 위치에 기초하여 투과성 또는 불투명하도록 선택적으로 제어될 수 있는 시스루 LCD 패널일 수 있다. 시선 추적은 증강현실 이미지 및 불투명한 픽셀들의 위치를 조정하도록 사용될 수 있다. 증강현실 이미지의 뒤에 있지 않은 불투명도 필터의 주변 영역은 증강현실 이미지의 표현 또는 주변 신호를 제공하도록 활성화될 수 있다. 다른 측면에서, 불투명한 픽셀들은 증강현실 이미지가 존재하지 않을 때 제공된다.

Description

시스루 헤드 마운트 디스플레이용 불투명도 필터{OPACITY FILTER FOR SEE-THROUGH HEAD MOUNTED DISPLAY}

헤드 마운트 디스플레이(Head-mounted display)는 군대, 항공, 의학, 비디오 게임, 엔터테인먼트, 스포츠 등을 포함하는 다양한 애플리케이션에서 사용될 수 있다. 시스루(See-through) 헤드 마운트 디스플레이는 증강현실 이미지를 제공하도록 광학 소자가 하나 또는 두 개의 소형 마이크로-디스플레이로부터 사용자의 시각 경로로 광을 추가하는 동안 사용자가 자신의 주변의 물리적 세계를 관찰할 수 있게 한다. 증강현실 이미지는 사용자가 위치한 환경을 나타내는 실세계의 장면과 관련될 수 있다. 그러나, 현실적이고 풀 레인지(full range)의 색상 및 강도(intensity)를 나타낼 수 있는 증강현실 이미지를 제공하려는 다양한 시도가 이루어지고 있다.

본 발명에 따르면, 광학적 시스루 헤드 마운트 디스플레이 디바이스가 제공된다. 헤드 마운트 디스플레이 디바이스는 사용자의 눈에 도달하는 실세계 장면으로부터 광을 선택적으로 제거하도록 불투명도 필터(opacity filter)를 사용한다. 예를 들어, 필터는 증강현실 이미지가 투명해지는 것을 방지하도록 증간현실 이미지의 형태에 기초하여 광을 차단할 수 있다. 또한, 시선 추적(eye tracking) 구성요소가 증강현실 이미지 및 불투명도 필터의 증가된 불투명 픽셀의 위치를 조정하는 데에 사용될 수 있다.

일 실시예에서, 광학적 시스루 헤드 마운트 디스플레이(HMD; Head-mounted display) 디바이스는 사용자가 디스플레이 디바이스를 착용하였을 때 사용자의 눈과 실세계 장면 사이에서 펼쳐져 있는 시스루 렌즈를 포함한다. 시스루 렌즈는 자신의 불투명도를 상당한 양의 빛을 통과시키도록 하는 최소 불투명 레벨에서 매우 적은 양의 빛을 통과시키거나 빛을 통과시키지 않는 최대 불투명 레벨까지 조정하도록 제어될 수 있는 픽셀들의 격자를 갖는 불투명도 필터를 구비한다. 시스루 렌즈는 또한 디스플레이 구성요소를 구비한다. 디바이스는 또한 디스플레이 구성요소를 이용하여 사용자의 눈에 광을 방출하는 마이크로 디스플레이와 같은 적어도 하나의 증강현실 이미터(emitter)를 포함하며, 이때 광은 형태를 갖는 증강현실 이미지를 나타낸다. 또한 디바이스는 사용자 눈의 관점에서 증강현실 이미지 뒤에 있는 픽셀들에 대해 증가된 불투명도를 제공하도록 불투명도 필터를 제어하는 적어도 하나의 컨트롤을 포함한다. 불투명도가 증가된 픽셀은 증강현실 이미지의 형태에 따라서 제공된다.

시선 추적 구성요소는 프레임에 대한 사용자 눈의 위치를 추적하여 HMD 디바이스가 운반되는 프레임의 움직임이 있을 때 불투명도가 증가된 픽셀 및/또는 증강현실 이미지의 위치를 조정할 수 있도록 하기 위해 제공될 수 있다. 이러한 방식으로, 서로에 대한 정합(registration)이 유지되는 동안 식별된 픽셀 및 증강현실 이미지가 프레임의 움직임에 기초하여 이동될 수 있다.

본 요약부는 아래의 상세한 설명에서 추가로 설명되는 개념들의 선택을 간단한 형식으로 소개하고자 제공되었다. 본 요약부는 본 발명의 청구사항의 중요 특성 또는 기본 특성을 식별하기 위한 것이 아니며, 본 발명의 청구사항의 범주를 제한하는 데에 사용되기 위한 것도 아니다.

첨부된 도면들에서, 동일한 참조번호는 동일한 구성요소를 지칭하는 것이다.

도 1은 증강현실 성능을 갖는 광학적 시스루 HMD 디바이스의 예시적인 실시예를 도시한 도면.
도 2는 도 1의 HMD 디바이스의 시스템 다이어그램을 도시한 도면.
도 3(a)은 도 1의 HMD 디바이스 내에 증강현실 이미지를 제공하기 위한 프로세스를 도시한 도면.
도 3(b)은 도 3(a)의 단계(306)의 세부사항을 도시한 도면.
도 4(a)는 도 1 또는 도 4(c)의 증강현실 이미지(104)의 형태에 기초한 불투명도 필터의 예시적인 구성을 도시한 도면.
도 4(b)는 도 1의 예시적인 실세계 장면(120)을 도시한 도면.
도 4(c)는 도 1의 예시적인 증강현실 이미지(104)를 도시한 도면.
도 4(d)는 사용자에 의해 보여지는 도 1의 예시적인 이미지(132)를 도시한 도면.
도 5는 도 4(a)의 불투명도 필터의 구성을 제공하도록 불투명도 증가 영역(increased-opacity region)을 갖는 불투명도 필터를 도시한 도면.
도 6은 불투명도 필터 없이 발생할 수 있는 도 1의 예시적인 이미지의 변화를 도시한 도면.
도 7a는 도 1의 디스플레이 디바이스의 예시적인 구현을 사용자 머리에 장착한 것으로 도시한 도면.
도 7b는 도 7a의 HMD 디바이스의 추가적인 세부사항을 도시한 도면.
도 7c는 시선 추적 구성요소가 프론트 아이 글라스 프레임(front eye glass frame) 바로 위에 있는, 도 1의 디스플레이 디바이스의 다른 구현을 사용자 머리에 장착한 것으로 도시한 도면.
도 8a(1)은 사용자의 눈이 HMD 디바이스의 프레임에 대해 제 1 위치에 있을 때 불투명도 필터의 불투명도 증가 영역과 실세계 이미지의 정합(registration)을 도시한 도면.
도 8a(2)는 도 8a(1)의 실세계 장면 요소(800)의 정면 모습을 도시한 도면.
도 8a(3)는 도 8a(1)의 불투명도 필터 영역(804)의 정면도를 도시한 도면.
도 8a(4)는 도 8a(1)의 증강현실 이미지 영역(805)의 정면도를 도시한 도면.
도 8b(1)는 사용자의 눈이 HMD 디바이스의 프레임에 대해 제 2 위치에 있을 때 불투명도 필터의 불투명도 증가 영역과 실세계 이미지의 정합을 도시한 도면.
도 8b(2)는 도 8b(1)의 실세계 장면 요소(800)의 정면도를 도시한 도면.
도 8b(3)는 도 8b(1)의 불투명도 필터 영역(806)의 정면도를 도시한 도면.
도 8b(4)는 도 8b(1)의 증강현실 이미지 영역(807)의 정면도를 도시한 도면.
도 9a(1)는 사용자 눈의 시야의 증강현실 디스플레이 영역의 중심에서 불투명도 필터의 불투명도 증가 영역과 증강현실 이미지의 정합을 도시한 도면.
도 9a(2)는 도 9a(1)의 불투명도 필터 영역(902)의 정면도를 도시한 도면.
도 9a(3)는 도 9a(1)의 증강현실 이미지 영역(900)의 정면도를 도시한 도면.
도 9b(1)는 도 9a(1)의 증강현실 디스플레이 영역의 주변 경계에서 불투명도 필터의 불투명도 증가 영역과 증강현실 이미지의 정합을 도시한 도면.
도 9b(2)는 도 9b(1)의 불투명도 필터 영역(920)의 정면도를 도시한 도면.
도 9b(3)는 도 9b(1)의 증강현실 이미지 영역(922)의 정면도를 도시한 도면.
도 9c(1)는 사용자 눈의 시야의 주변 경계로부터의 거리 함수로서 불투명도의 점진적 변화를 도시한 도면.
도 9c(2)는 페이딩(fade)되지 않은 부분(931)과 도 9c(1)에서의 0과 d1 사이에서 연속적으로 페이딩된 부분(932, 933, 934)을 갖는 불투명도 필터 영역을 도시한 도면.
도 9c(3)는 페이딩되지 않은 부분(941)과 도 9c(1)에서의 0과 d3 사이에서 연속적으로 페이딩된 부분(942, 943, 944)을 갖는 불투명도 필터 영역을 도시한 도면.
도 9c(4)는 페이딩되지 않은 부분(951)과 도 9c(1)에서의 d4와 d5 사이에서 연속적으로 페이딩된 부분(952, 953, 954)을 갖는 불투명도 필터 영역을 도시한 도면.
도 9d(1)는 도 9a(1)의 증강현실 디스플레이 영역의 주변 경계에서 불투명도 필터의 불투명도 증가 영역과 증강현실 이미지의 정합을 도시한 도면으로서, 이때 추가적인 불투명도 증가 영역이 시야의 제 2 주변 영역에 제공됨.
도 9d(2)는 도 9d(1)의 불투명도 필터 영역(920, 924)의 정면도를 도시한 도면.
도 9d(3)는 도 9d(1)의 증강현실 이미지 영역(900)의 정면도를 도시한 도면.
도 9e(1)는 도 9a(1)의 증강현실 디스플레이 영역의 주변 경계에서 불투명도 필터의 불투명도 증가 영역과 증강현실 이미지의 제 1 부분의 정합을 도시한 도면으로서, 추가적인 불투명도 증가 영역이 증강현실 이미지의 제 2 컷오프 부분을 나타내도록 시야의 제 2 주변 영역에 제공됨.
도 9e(2)는 도 9e(1)의 불투명도 필터 영역(926, 928)의 정면도를 도시한 도면.
도 9e(3)는 도 9e(1)의 증강현실 이미지 영역(922, 923)의 정면도를 도시한 도면.
도 9f(1)는 증강현실 이미지가 제공되지 않을 때 시야의 제 2 주변 영역에 불투명도 필터의 불투명도 증가 영역을 도시한 도면.
도 9f(2)는 도 9f(1)의 불투명도 필터 영역(960)의 정면도를 도시한 도면.
도 9f(3)은 도 9f(1)의 증강현실 이미지의 정면도를 도시한 도면.

시스루 헤드 마운트 디스플레이(See-through head-mounted display)(HMD)는 대체로 하나 또는 두 개의 작은 마이크로-디스플레이로부터 사용자의 시각 경로에 광을 추가하도록 거울, 프리즘 및 홀로그래픽 렌즈와 같은 광학 소자를 이용한다. 고유한 특성에 의해, 이들 광학 소자는 단지 광을 추가할 수 있을 뿐 광을 제거할 수는 없다. 이는 가상 디스플레이가 순수한 검정 색상의 경우에 투명해지는 경향이 있는 어두운 색상을 디스플레이할 수는 없음을 의미하며, 증강현실 이미지와 같은 가상 객체가 반투명하거나 유령처럼 보임을 의미한다. 증강현실 또는 다른 혼합된 현실 시나리오를 불러오기 위해서, 가상 색상 이미지를 더욱 솔리드하거나 현실적으로 보이게 만드는 한편, 가상 색상 이미지가 색상 및 강도 모두의 풀 레인지(full range)를 나타낼 수 있도록 뷰로부터 자연광을 선택적으로 제거하는 능력을 갖는 것이 요구된다. 이러한 목표를 달성하기 위해서, HMD 디바이스의 렌즈에는 개별 픽셀(per-pixel) 기반으로 광을 선택적으로 전달하거나 차단하도록 제어될 수 있는 불투명도 필터(opacity filter)가 제공될 수 있다. 제어 알고리즘은 증강현실 이미지에 기초한 불투명도 필터의 강도 및/또는 색상을 구동하는 데에 사용될 수 있다. 불투명도 필터는 사용자의 눈에 증강현실 이미지를 소개하는 광학적 디스플레이 구성요소의 물리적으로 뒤쪽에 배치될 수 있다. 사용자에게 주변 신호(peripheral cue)를 제공하도록 증강현실 이미지의 시야 너머로 연장하는 불투명도 필터를 가짐으로써 추가적인 장점이 획득될 수 있다. 또한, 주변 신호, 또는 증강현실 이미지의 표현은 증강현실 이미지의 부재시에도 불투명도 필터에 의해 제공될 수 있다.

도 1은 증강현실 성능을 갖는 광학적 시스루 HMD 디바이스의 예시적인 실시예를 도시한다. 디스플레이 디바이스는 안경의 렌즈와 유사하게 사용자의 눈 앞에 위치하는 시스루 렌즈를 포함할 수 있다. 전형적으로, 한 쌍의 시스루 렌즈는 각 눈마다 하나의 렌즈가 제공된다. 렌즈는 불투명도 필터(106) 및 빔 스플리터, 예컨대 반도금(half-silvered) 미러 또는 다른 광-투과성 미러와 같은 광학적 디스플레이 구성요소(112)를 포함한다. 광선(114)과 같은 실세계 장면(120)으로부터의 광은 렌즈에 도달하여 불투명도 필터(106)에 의해 선택적으로 통과되거나 차단된다. 불투명도 필터를 통과하는 실세계 장면으로부터의 광은 디스플레이 구성요소도 통과한다.

불투명도 필터는 불투명도 필터 제어 회로(100)의 제어하에 있다. 한편, 증강현실 이미터(102)는 증강현실 이미지(104)를 나타내며 광선(110)에 의해 예시화된 광의 2차원 어레이를 방출한다. 또한 광학은 전형적으로 디스플레이 구성요소가 실제로 위치하는 눈에서 약 1인치 떨어진 곳으로부터가 아닌 눈으로부터 수 피트(feet) 떨어진 곳으로부터 시작된 것으로 보이도록 증강현실 이미지를 리포커싱(refocus)하는 데에 사용된다.

증강현실 이미지는 사용자가 이미지(132)를 보도록 광선(116)에 의해 예시화된 것과 같이 사용자의 눈(118)을 향하는 디스플레이 구성요소(112)에 의해 반영된다. 이미지(132)에서, 나무들의 숲과 같은 실세계 장면(120)의 부분이, 날고 있는 돌고래와 같은 전체 증강현실 이미지(104)와 함께 보여질 수 있다. 따라서 사용자는 이러한 엔터테인먼트 지향의 예시에서 돌고래가 나무 사이를 날고 있는 공상의 이미지를 보게 된다. 광고 경향의 예시에서, 증강현실 이미지는 사용자의 책상 위에 있는 음료수 캔으로서 나타날 수 있다. 다수의 다른 응용들이 가능하다. 일반적으로, 사용자는 실내 또는 실외를 포함하는 어느 곳에서나 HMD 디바이스를 장착할 수 있다. 어떤 유형의 증강현실 이미지가 적절한지와 디스플레이 구성요소 상에서 어디에 제공되어야 하는지를 결정하기 위해 다양한 정보가 획득될 수 있다. 예를 들어, 사용자가 실내에 있는 경우에, 사용자의 위치, 사용자가 바라보는 방향, 바닥, 벽 및 가구의 위치가 실세계 장면에의 적절한 위치 내에 증강현실 이미지를 어디에 배치해야 할지를 결정하는 데에 사용될 수 있다.

사용자가 바라보는 방향은 모션 추적 기술과 사용자의 머리에 부착된 관성 측정 유닛의 결합을 이용하여, 예컨대 증강현실 안경을 통해 사용자의 머리의 위치를 추적함으로써 결정될 수 있다. 모션 추적 기술은 사용자의 3D 모델을 획득하도록 깊이(depth) 감지 카메라를 이용한다. 깊이 감지 카메라는 바닥, 벽 및 사용자 환경의 다른 측면들의 위치를 획득하는 데에 유사하게 사용될 수 있다. 예컨대, 각각이 본 명세서에서 참조로서 포함되는 2010년 8월 5일 공개된 발명의 명칭 "Visual Target Tracking"의 US 2010/0197399, 2010년 8월 5일 공개된 발명의 명칭 "Body Scan"의 US 2010/0194872 및 2009년 4월 7일 발행된 발명의 명칭 "Head Pose Tracking System"의 US 7,515,173을 참조하여라.

사용자의 눈의 관점에서 증강현실 이미지 뒤에 있는 실세계 장면의 일부분은 불투명도 필터에 의해 사용자의 눈에 도달하는 것이 차단되어, 증강현실 이미지가 사용자에게 선명하게 나타나도록 한다. 증강현실 이미지는 1차 디스플레이를 제공하는 것으로 간주될 수 있는 한편, 불투명도 필터는 2차 디스플레이를 제공하는 것으로 간주될 수 있다. 2차 디스플레이의 강도 및/또는 색상은 1차 디스플레이 상의 이미지에 근접하게 매칭되도록 구동될 수 있으며, 이는 자연광에 유사하고자 하는 1차 디스플레이의 능력을 향상시킨다.

추적 카메라(122)는 HMD 디바이스가 장착된 프레임에 대해 사용자 눈의 위치를 식별하는 데에 사용될 수 있다. 일 접근에서, 프레임은 종래의 안경 프레임과 유사할 수 있다. 예컨대, 프레임의 예시로서 도 7a 및 7b를 참조하여라. 전형적으로, 이러한 프레임은 사용자가 착용하였을 때 사용자의 머리 위에서 미세하게 움직일 수 있으며, 예컨대 사용자의 모션으로 인해서 프레임의 브릿지가 사용자의 코 위로 미끄러지는 등의 움직임이 있을 수 있다. 추가적인 세부사항을 위해서 도 8a(1) 내지 도 8b(4)를 참조하여라. 프레임에 대한 눈의 위치와 관련된 실시간 정보를 제공함으로써, 컨트롤러는 불투명도 필터를 제어할 수 있고, 그에 따라 증강현실 이미터가 자신의 이미지를 조정할 수 있다. 예를 들어, 증강현실 이미지는 증강현실 이미지와 불투명도 필터의 불투명도가 증가된 픽셀들의 정렬 또는 정합이 유지되는 동안 보다 정적으로 나타나도록 만들어질 수 있다. 예시적인 접근에서, 추적 카메라(122)는 눈(118)을 향해서 적외선(IR) 광(128)을 방출하는 적외선 이미터(124) 및 반사된 IR 광(130)을 감지하는 IR 센서(126)를 포함한다. 눈동자의 위치는 각막의 반사를 검출하는 것과 같은 알려진 이미징 기술에 의해 식별될 수 있다. 예를 들어, 본 명세서에서 참조로서 포함되는 Ophir외 다수에 의해 2008년 7월 22일 발행된 발명의 명칭 "Head mounted eye tracking and display system"의 US 7,401,920을 참조하여라. 이러한 기술은 눈의 중심의 위치를 추적 카메라에 대해 위치시킬 수 있다. 일반적으로, 시선 추적은 눈의 이미지를 획득하는 것과 눈구멍(eye socket) 내의 눈동자의 위치를 결정하기 위해 컴퓨터 비전 기술을 이용하는 것을 포함한다. 다른 시선 추적 기술은 LED와 광 검출기의 어레이를 이용할 수 있다. 프레임 상의 추적 카메라의 알려진 장착 위치를 이용하여, 예컨대 불투명도 필터(106) 및 광학적 구성요소(112)와 같은 프레임에 대해 고정된 임의의 다른 위치에 대한 눈의 위치가 결정될 수 있다. 양쪽 눈은 같이 움직이기 때문에 일반적으로 사용자의 양쪽 눈 중에 하나의 눈의 위치만을 추적하는 것만으로 충분하다. 그러나, 각 눈을 개별적으로 추적하고 연관된 시스루 렌즈에 대해 증강현실 이미지의 위치를 결정하는 데에 각 눈의 위치를 이용하는 것 또한 가능하다.

예시적인 도면에서, 추적 카메라는 불투명도 필터 및 광학적 구성요소(112)로부터 독립적인 프레임 상의 한 측면 위치로부터 눈을 이미징한다. 그러나, 다른 접근도 가능하다. 예를 들어, 추적 카메라에 의해 사용되는 광은 광학적 구성요소(112)를 통해 운반될 수 있거나 또는 렌즈로 집적될 수 있다.

불투명도 필터는 시스루 LCD 패널, 일렉트로크로믹(electrochromic) 필름, 또는 불투명도 필터로서의 역할을 할 수 있는 유사한 디바이스일 수 있다. 이러한 시스루 LCD 패널은 종래의 LCD로부터 기판, 백라이트 및 디퓨저(diffuser)의 다양한 층을 제거함으로써 획득될 수 있다. LCD 패널은 광이 액정을 통과할 수 있게 하는 하나 이상의 광 투과성 LCD 칩을 포함할 수 있다. 이러한 칩은 예컨대 LCD 프로젝터에서 사용된다.

불투명도 필터는 렌즈 위 또는 렌즈 내부에 배치될 수 있다. 렌즈는 또한 유리, 플라스틱 또는 다른 광 투과성 재료를 포함할 수 있다. 불투명도 필터는 밀집한 픽셀들의 그리드를 포함할 수 있으며, 이때 각 픽셀의 광 투과성은 최소 투과율과 최대 투과율 사이에서 개별적으로 제어가능하다. 0-100%의 투과범위가 이상적이지만, 보다 제한된 범위 역시 허용가능하다. 예시로서, 2개보다 적은 편광 필터를 갖는 모노크롬 LCD 패널이 LCD의 해상도까지 픽셀 당 약 50% 내지 80% 또는 90%의 불투명도 범위를 제공하기에 충분하다. 50%의 최소값에서, 렌즈는 용인할 수 있는 정도로 미세하게 염색된 모습을 가질 것이다. 100% 투과율은 완벽하게 선명한 렌즈를 나타낸다. 우리는 0-100%로부터 "알파(alpha)" 스케일을 정의할 수 있는데, 이때 0%는 가장 높은 투과율(가장 적은 불투명도)이고 100%는 가장 낮은 투과율(가장 높은 불투명도). "알파" 값은 불투명도 필터 제어 회로에 의해서 각 픽셀에 대해 설정될 수 있다.

실세계 객체에 대한 프록시(proxy)를 이용한 z-버퍼링 후에, 렌더링 파이프라인으로부터 알파 값의 마스크가 사용될 수 있다. 증강현실 디스플레이에 대한 장면을 렌더링할 때, 우리는 어떤 실세계 객체가 어떤 증강현실 객체 앞에 있는지에 주목한다. 만약 증강현실 객체가 실세계 객체 앞에 있다면, 증강현실 객체의 커버리지(coverage) 영역에 대해 불투명성이 있어야만 한다. 만약 증강현실 객체가 (가상적으로) 실세계 객체 뒤에 있다면, 불투명성과 해당 픽셀에 대한 임의의 색상이 존재하지 않아야 하며, 따라서 사용자가 실제 광의 해당 영역(하나의 픽셀 또는 더 큰 크기)에 대해 실세계 객체만을 볼 것이다. 커버리지는 개별 픽셀 기반일 수 있으며, 따라서 우리가 증강현실 객체의 일부가 실세계 객체 앞에 있는 경우, 증강현실 객체의 일부가 실세계 객체 뒤에 있는 경우 및 증강현실 객체가 실세계 객체와 같은 공간에 있는 경우를 핸들링할 수 있다.

불투명도 필터로서 사용하도록 다른 목적으로 만들어진 새로운 디스플레이 유형의 형태에서 추가적인 개선이 있을 수 있다. 이러한 용도를 위해서는 낮은 비용, 전력소비 및 가벼운 무게를 갖는 0% 내지 100% 불투명도가 가능한 디스플레이가 가장 바람직하다. 또한, 불투명도 필터는 증강현실 이미지를 제공하는 광학적 구성요소(112) 주변에 광범위한 시야를 제공하도록 컬러로 렌더링될 수 있으며, 예컨대 불투명도 필터는 컬러 LCD 또는 유기 LED와 같은 다른 디스플레이를 이용할 수 있다.

불투명도 필터 제어 회로(100)는 예를 들어 마이크로-프로세서일 수 있다. 불투명도 필터 제어 회로(100) 및 증강현실 이미터(102)는 추적 카메라(122)와 통신할 수 있다. 일 선택에서, 중앙 컨트롤(도시되지 않음)은 추적 카메라(122)와 통신하며, 불투명도 필터 제어 회로(100) 및 증강현실 이미터(102)를 감시하는데에 사용된다. 구성요소(100, 102, 122) 사이의 적절한 유선 또는 무선 통신 경로가 제공될 수 있으며 HMD 디바이스의 프레임 내에 집적될 수 있다.

결과적인 HMD 디바이스는, 전형적으로 복잡한 광학을 필요로 하는 액티브 스테레오 3D 뷰잉을 위한 종래의 LCD 셔터 안경과 같은 디바이스에 비교하였을 때 비교적 간결하다. 이러한 디바이스는 3D 이미지의 일루션(illusion)을 생성하기 위해 디스플레이 스크린과 결합하여 사용되는 안경이다. 안경 렌즈에서, 액정 층은 전압이 인가되었을 때 투명한 상태에서 불투명한 상태로 전환할 수 있으며, 그에 따라 한쪽 눈에 하나의 픽셀이 효율적으로 제공된다. 이 안경은 스크린의 리프레시 비율(refresh rate)과 동기화된 무선 신호에 의해 제어될 수 있다. 또는 이와 달리 스크린은 양쪽 눈에 대해 서로 다른 관점들을 디스플레이하여, 각각의 눈에 대해 의도된 이미지만을 보게 하는 원하는 효과를 달성할 수 있다. 본 명세서에 제공된 HMD 디바이스는 불투명도 필터의 모든 픽셀들이 투명하거나 불투명하도록 제어함으로써 셔터 안경으로서 동작하게 하는 능력을 갖는다.

다른 대안에서, HMD 디바이스는 수동적인 입체적 시각을 제공할 수 있다. LCD 패널에서 사용되는 필터가 편광되었기 때문에, 우리는 오른쪽과 왼쪽 렌즈의 LCD 패널을 편광이 90도만큼 서로 다르도록 배향할 수 있다. 이것은 투과율과 불투과도가 역전되도록 회전된 LCD의 행동양상을 변화시킨다. 전압의 인가는 투과성을 발생시키고 전압을 인가하지 않는 것은 불투과성을 발생시킨다. 비회전 LCD에 있어서, 전압 인가는 불투과성을 발생시키지만 전압을 인가하지 않는 것은 투과성을 발생시킨다.

LCD와 같은 불투명도 필터는 이렇게 눈에 가까운 거리에서는 거의 완전히 초점이 나가기 때문에 일반적으로 시스루 렌즈에서 사용되지 않았다. 그러나, 본 발명을 위해서는 이러한 결과가 실제로 요구된다. 사용자는 초점 내에 있도록 설계된 가산색(additive color)을 이용하는 보통의 HMD 디스플레이를 통해 맑은(crisp) 컬러 그래픽을 갖는 증강현실 이미지를 볼 수 있다. LCD 패널은 이러한 디스플레이 "뒤에" 배치되어, 흐릿한 검정색 경계가 임의의 가상 콘텐츠를 둘러싸게 하여 콘텐츠를 원하는 것처럼 불투명하게 만든다. 우리는 대역폭 감소와 에일리어싱 제거(anti-aliasing)의 특성을 편의상 획득하기 위해 자연적인 흔들림의 결함을 변환한다. 이것은 낮은 해상도와 초점이 나간 이미지를 이용한 자연적인 결과이다. 디지털식으로 샘플링된 이미지의 효과적인 스무딩(smoothing)이 존재한다. 임의의 디지털 이미지는 에일리어싱(aliasing)을 겪으며, 이때 샘플링의 이산적 특성(discrete nature)은 광의 파장 부근에서 자연적으로 아날로그적이고 연속적인 신호에 대해 오류를 발생시킨다. 스무딩은 이상적인 아날로그 신호에 시각적으로 보다 가까움을 의미한다. 저해상도에 대한 정보 소실이 복구되지 않음에도 불구하고, 결과적인 오류는 거의 눈에 띄지 않는다.

우리는 컬러 디스플레이와 불투명도 필터가 동기에 렌더링되고 앵글-오프셋 문제를 보상하기 위한 공간에서 사용자의 정확한 위치에 대해 캘리브레이션되도록 그래픽 렌더링을 최적화한다. 시선 추적은 시야의 끝에서 정확한 이미지 오프셋을 계산하는 데에 이용될 수 있다. 불투명도 필터 또는 마스크는 또한 HMD 디바이스의 전체 렌즈를 커버하여 중심 시야 내의 증강현실 이미지의 디스플레이 구성요소 너머까지 확장하도록 커질 수 있다. 불투명도 필터는 또한 중심 시야 내의 고해상도 초점 영역을 둘러싸는 넓은 시야를 제공하기 위해서 컬러 LCD 또는 유기 LED(OLED)와 같은 다른 디스플레이를 이용하여 컬러로 렌더링될 수 있다.

도 2는 도 1의 HMD 디바이스의 시스템 다이어그램을 도시한다. 이 시스템은 버스(202) 또는 다른 통신 경로를 통해 서로 통신할 수 있는 시선 추적 카메라(122), 증강현실 이미터(102) 및 불투명도 필터 제어 회로(100)를 포함한다. 시선 추적 카메라(122)는 프로세서(212), 메모리(214), IR 이미터(216), IR 센서(218) 및 인터페이스(220)를 포함한다. 메모리(214)는 시선 추적 카메라가 본 명세서에 기술된 기능들을 수행할 수 있도록 프로세서(212)에 의해 실행되는 명령어들을 포함한다. 인터페이스는 시선 추적 카메라가 증강현실 이미터 및 불투명도 필터 제어 회로에 데이터를 전달하는 것을 가능케 하며, 이 데이터는 프레임에 대한 사용자 눈의 상대적인 위치를 나타낸다. 불투명도 필터 제어 회로는 불투명도 필터 내의 증가된 불투명도를 갖는 픽셀에 대해 상응하는 오프셋을 제공하도록 데이터를 이용할 수 있다. 유사하게, 증강현실 이미터는 증강현실 이미지를 방출하는 데에 사용되는 픽셀들에 대한 상응하는 오프셋을 제공하도록 데이터를 사용할 수 있다.

다른 접근에서, 시선 추적 카메라가 증강현실 이미터에 대한 눈 위치 데이터를 전달하는 것만으로 충분하며, 이 경우에 증강현실 이미터는 불투명도 필터의 어떤 픽셀이 증가된 불투명도를 가져야만 하는지를 나타내도록 불투명도 필터 제어 회로에 데이터를 제공한다. 또는, 시선 추적 카메라가 데이터를 증강현실 이미터에게 넘기는 불투명도 필터 제어 회로에 눈 위치 데이터를 전달할 수 있다. 또는, 눈에 대한 불투명도 필터의 근접성으로 인해 불투명도 필터의 픽셀에서의 변화가 증강현실 이미지에서의 변화보다 더 뚜렷하기 때문에 불투명도 필터 제어 회로가 눈 위치 데이터를 이용하지만 증강현실 이미터가 눈 위치 데이터를 이용하지 않는 것 역시 가능하다.

임의의 경우에서, 증강현실 이미터는 증강현실 이미지의 형태를 나타내는 데이터를 불투명도 필터 제어 회로에 제공할 수 있다. 이 형태는 페리미터(perimeter) 및 확대된 포인트들에 의해 규정될 수 있다. 이러한 데이터는 또한 일반적으로는 증강현실 이미지의 형태와 크기에 상응하여 불투명도 필터의 어떤 픽셀에게 증가된 불투명도가 제공되어야 하는지를 결정하기 위해 불투명도 필터 제어 회로에 의해 이용될 수도 있다.

증강현실 이미터는 프로세서(222), 메모리(224), 가시광을 방출하는 이미터 및 인터페이스(228)를 포함한다. 메모리(224)는 증강현실 이미터가 본 명세서에 기술된 바와 같은 기능들을 수행할 수 있도록 프로세서(222)에 의해 실행되는 명령어들을 포함할 수 있다. 이미터는 의 1/4인치 제곱과 같은 작은 영역에서 2D 컬러 이미지를 방출하는 LCD와 같은 마이크로-디스플레이일 수 있다. 인터페이스는 시선 추적 카메라 및/또는 불투명도 필터 제어 회로와 통신하는 데에 사용될 수 있다.

불투명도 필터 회로(100)는 프로세서(232), 메모리(234), 불투명도 필터 드라이버(236) 및 인터페이스(238)를 포함한다. 메모리(234)는 불투명도 필터 제어 회로가 본 명세서에 기술된 기능들을 수행할 수 있도록 하기 위해 프로세서(232)에 의해 실행되는 명령어들을 포함할 수 있다. 불투명도 필터 드라이버는 예컨대 각 픽셀을 열과 행 어드레스로 어드레싱하고 원하는 불투명도의 정도를 나타내는 전압을 최대 광 투과 레벨인 최소 레벨로부터 최대 불투명 또는 최소 광 투과 레벨인 최대 레벨까지 어드레싱함으로써 불투명도 필터(106) 내의 픽셀들을 구동할 수 있다. 일부 경우에서, 각 픽셀의 컬러가 설정된다. 인터페이스는 시선 추적 카메라 및/또는 증강현실 이미터와 통신하는 데에 사용될 수 있다. 불투명도 필터 제어 회로는 픽셀들을 구동하도록 불투명도 필터(106)와 통신한다.

프로세서(212, 222, 232) 중 하나 이상이 제어 회로로 간주될 수 있다. 또한, 메모리(214, 224, 234) 중 하나 이상이 본 명세서에 기술된 바와 같은 광학적 시스루 HMD 디바이스에서 사용되기 위한 방법을 수행하도록 적어도 하나의 프로세서 또는 제어 회로에서 프로그램하기 위한 컴퓨터 판독가능한 소프트웨어를 포함하는 실재의(tangible) 컴퓨터 판독가능한 스토리지로 간주될 수 있다.

시스템은 또한 앞서 논의된 바와 같이 예컨대 사용자가 바라보는 방향, 바닥, 벽 및 사용자의 환경의 다른 측면의 위치를 결정하기 위한 추가적인 구성요소를 포함할 수 있다.

도 3(a)은 도 1의 HMD 디바이스에서 증강현실 이미지를 제공하기 위한 프로세스를 도시한다. 단계(300)에서, 시선 추적 구성요소는 눈의 상대적인 위치와 관련된 데이터를 제공한다. 일반적으로, 이것은 1초당 수 회 수행될 수 있다. 데이터는 예컨대 눈이 정면을 바라보고 있을 때 디폴트 위치로부터의 눈의 오프셋을 나타낼 수 있다. 단계(302)에서, 증강현실 이미터는 증강현실 이미지의 크기, 형태 및 위치(및 선택적으로 컬러)와 관련된 데이터를 불투명도 필터 제어 회로에 제공한다. 위치 데이터는 눈의 상대적인 위치와 관련된 데이터에 기초할 수 있다. 증강현실 이미지는 사용되는 애플리케이션에서의 필요에 기초하여 설정되는 이미지이다. 예를 들어, 앞에서의 날고 있는 돌고래의 예시가 엔터테인먼트 애플리케이션에 대해 제공된다. 단계(304)에서, 증강현실 이미터는 증강현실 이미지를 방출하여, 그것이 하나 이상의 광학적 구성요소를 통해 사용자의 눈에 도달하게 한다. 동시에, 단계(306)에서, 불투명도 필터 제어 회로는 증강현실 이미지 뒤에 증가된 불투명도를 제공하기 위해서 불투명도 필터의 픽셀들을 구동한다. 결정 단계(310)에서, 만약 다음 증강현실 이미지가 존재하면, 프로세스는 단계(300)에서 다시 시작된다. 만약 다음 증강현실 이미지가 존재하지 않으면, 프로세스는 단계(312)에서 종료된다.

다음 증강현실 이미지는 예컨대 증강현실 이미지의 이동을 도시하기 위해 이전의 증강현실 이미지가 약간 다른 위치로 이동하는 경우와 같이, 사용자에 의해 보여지는 것과 같이, 앞서 제공된 것과 같은 동일하지만 다른 위치에 있는 증강현실 이미지를 지칭할 수 있다. 다음 증강현실 이미지는 또한 돌고래로부터 다른 유형의 객체로 전환하는 것과 같이 새로운 유형의 이미지를 지칭할 수 있다. 다음 증강현실 이미지는 또한 앞서 디스플레이된 객체가 계속해서 디스플레이되는 동안 새로운 객체가 추가되는 것을 지칭할 수도 있다. 일 접근에서, 증강현실 이미터는 고정된 프레임 속도로 비디오 이미지를 방출한다. 다른 접근에서, 고정적인 이미지가 방출되어 전형적인 비디오 프레임 주기보다 큰 시간 주기 동안 계속된다.

단계(314)는 예컨대 시야의 증강현실 디스플레이 영역의 경계 부근에 증강현실 이미지가 있을 때 증강현실 이미지 내의 점진적인 페이딩(gradual fade)을 선택적으로 제공한다. 증강현실 디스플레이 영역은 증강현실 이미터 및/또는 광학적 구성요소(112)의 한계로 인해 증강현실 이미지가 제한되는 사용자의 시야 내의 최대 각도 범위(수직 및 수평)에 의해 정의될 수 있다. 따라서, 증강현실 이미지는 증강현실 디스플레이 영역의 임의의 부분에서 나타날 수 있지만, 증강현실 디스플레이 영역 밖에서는 나타나지 않는다.

일반적으로, 불투명 정도의 시간적 또는 공간적 페이딩이 불투명도 필터에서 사용될 수 있다. 유사하게, 증강현실 이미지에서 시각적 또는 공간적 페이딩이 사용될 수 있다. 일 접근에서, 불투명도 필터의 불투명 정도의 시간적 페이딩은 증강현실 이미지의 시간적 페이딩에 상응한다. 다른 접근에서, 불투명도 필터의 불투명 정도의 공간적 페이딩은 증강현실 이미지의 공간적 페이딩에 상응한다. 바운더리(boundary)는 증강현실 디스플레이 영역의 바운더리일 수 있다. 바운더리는 예컨대 수평 방형 또는 수직 방향으로 연장하는 주변부일 수 있다. 페이딩은 예컨대 도 9c와 관련하여 추가로 논의될 것이다.

도 3(b)은 도 3(a)의 단계(306)의 세부사항을 도시한다. 단계(320)에서, 불투명도 필터 제어 회로는 예컨대 증강현실 이미지의 크기, 형태 및 위치에 기초하여 증강현실 이미지 뒤에 있는 불투명도 필터의 픽셀을 식별한다. 다양한 접근이 가능하다. 일 접근에서는, 단계(322)에서, 사용자 눈의 식별된 위치의 관점에서 증강현실 이미지 뒤에 있는 불투명도 필터의 픽셀에 대해 증가된 불투명도가 제공된다. 이러한 방식으로, 증강현실 이미지 뒤의 픽셀이 어둡게 되고, 따라서 실세계 장면의 상응하는 부분으로부터의 광이 사용자 눈에 도달하는 것이 차단된다. 이것은 증강현실 이미지가 현실적이고 컬러와 강도의 풀 레인지를 나타낼 수 있게 한다. 또한, 증강현실 이미지가 낮은 강도에서 제공될 수 있기 때문에 증강현실 이미터에 의한 전력소비가 감소된다. 불투명도 필터가 없다면, 증강현실 이미지가 구별되고 투명하지 않도록 증강현실 이미지가 실세계 장면의 상응하는 부분보다 더 밝게 충분히 높은 강도로 제공되어야할 수 있다. 불투명도 필터의 픽셀을 어둡게 할 때는, 일반적으로 증강현실 이미지의 폐쇄된 페리미터를 따르는 픽셀이 페리미터 내의 픽셀들을 따라 어두워진다. 예컨대, 도 4(d) 및 5를 참조하여라. 페리미터 밖에 있는 일부 픽셀들과 페리미터를 둘러싸는 일부 픽셀들 또한 어두워지도록 일부 오버랩(overlap)을 제공하는 것이 바람직할 수 있다. 도 4(d)의 영역(404)을 참고하여라. 이러한 오버랩하는 픽셀들은 페리미터 주변에서 균일한 두께를 갖는 어두워진 영역을 제공할 수 있다. 다른 접근에서, 예컨대 증강현실 이미지의 페리미터 밖에 있는 불투명도 필터의 전체 또는 대부분의 픽셀들을 어둡게 하는 한편 증강현실 이미지의 페리미터 내의 픽셀들이 광 투과성을 유지하도록 함으로써 흥미로운 효과가 획득될 수 있다.

단계(324)는 시야의 증강현실 디스플레이 영역 밖에 있는 불투명도 필터의 픽셀들에 대해 증가된 불투명도를 제공한다. 일반적으로, 사용자의 시야는 수직 및 수평적으로 임의의 시점에 보여지는 관찰가능한 세계의 각도의 크기이다. 인간은 거의 180도의 전방 시야를 갖는다. 그러나, 형태 및 움직임을 감지하는 능력이 시야의 주변부에서 더 큰 반면, 컬러를 감지하는 능력은 시야의 중심에서 더 크다. 또한, 전술된 바와 같이, 증강현실 이미지는 사용자의 시야의 서브셋 영역에서 제공되도록 제한된다. 예시적인 구현에서, 증강현실 이미지는 약 20도의 각도 크기를 넘는 시야의 중심에서 제공되며, 이는 눈의 중심와(fovea)를 따라 일렬로 나타난다. 이것이 시야의 증강현실 디스플레이 영역이다. 예컨대, 추가적인 세부사항을 위해 도 9a(1) 및 9b(1)(α1로 규정된 영역)를 참조하여라. 증강현실 이미지는 증강현실 이미지를 사용자 눈에 라우팅하는 데에 사용되는 광학적 구성요소의 크기와 같은 인자들에 의해 제한된다.

다른 한편으로, 불투명도 필터가 렌즈 내에 결합됨으로 인해, 불투명도 필터는 제 1 시야를 포함하여 예컨대 약 60도의 시야의 보다 넓은 범위로 확장할 수 있다. 예컨대, 추가적인 세부사항을 위해 도 9a(1) 및 9b(1)(α2로 규정된 영역)를 참조하여라. 예를 들어, 주변 방향에서 제 1 시야 밖에 있는 불투명도 필터의 픽셀에는 제 1 시야 내에 있는 불투명도 필터의 픽셀에 대해 증가된 불투명도와 동일한 증가된 불투명도가 제공될 수 있다. 예컨대, 추가적인 세부사항을 위해 도 9d(1) 내지 도 9d(3)를 참조하여라. 이것은, 예컨대 증강현실 이미지의 움직임을 강조하는 주변 신호(peripheral cue)를 제공할 때 유용할 수 있다. 예를 들어, 주변 신호는 증강현실 이미지의 그림자로서 나타날 수 있다. 주변 신호는 움직임의 감지를 개선하거나 사용자의 주의를 집중시킬 수 있다.

또한, 증강현실 이미지가 시야의 증강현실 디스플레이 영역의 바운더리 근처에 있을 때, 시야의 밖에 있는 불투명도 필터의 상응하는 픽셀들에 불균일하게 증가된, 또는 공간적으로 페이딩된 불투명도가 제공될 수 있다. 예를 들어, 불투명도가 증가된 픽셀은 바운더리에 있는 증강현실 이미지에 인접할 수 있다. 증강현실 이미지는 이미지의 제 1 부분일 수 있고, 이미지의 제 2 부분은 바운더리에서 컷오프되어 디스플레이되지 않는 부분이며, 이러한 경우에 불투명도가 증가된 픽셀은 이미지의 제 2 부분을 나타낼 수 있고, 이미지의 제 2 부분과 유사한 크기 및 형태를 가진다. 예컨대, 추가의 세부사항을 위해서 도 9e(1)-9e(3)를 참조하여라. 일부 경우에, 불투명도가 증가된 픽셀들은 이미지의 제 2 부분과 유사한 색상을 가질 수 있다.

증강현실 이미지가 바운더리에서 컷오프되지 않는다고 해도, 증강현실 이미지로부터 실세계 장면으로의 전환을 나타내기 위해서 불투명도가 증가된 픽셀이 제공될 수 있다. 일 접근에서, 불투명도가 증가된 픽셀이 페이딩되어 바운더리에서 증강현실 이미지에 더욱 가까운 불투명도 필터의 픽셀이 더욱 불투명하고, 바운더리에서 증강현실 이미지로부터 더 멀리 있는 불투명도 픽셀이 더 높은 광 투과성을 가진다.

다른 옵션은 예컨대 주변 또는 비주변(non-peripheral) 신호를 제공하기 위해, 증강현실 이미지가 존재하지 않을 때 불투명도 필터의 픽셀들에 대해 한번에 증가된 불투명도를 제공하는 것을 포함한다.

이러한 신호는 예컨대 실세계 장면에서 움직임이 있는 애플리케이션에서 유용할 수 있다. 또는, 불투명도 필터의 불투명도가 증가된 픽셀은 시야의 주변 영역 내의 증강현실 이미지의 재현을 제공할 수 있다. 예컨대, 추가적인 세부사항을 위해서 도 9f(1)-9f(3)를 참조하여라.

단계(326)는 증강현실 이미지가 증강현실 디스플레이 영역의 바운더리 부근에 있을 때 예컨대 공간 페이딩과 같은 불투명도의 점진적인 전환을 제공한다. 증강현실 이미지에서의 급격한 전환을 피하기 위해서, 증강현실 이미지에서의 공간 페이딩은 단계(314)에서 기술된 바와 같이 발생할 수 있다. 상응하는 페이딩은 불투명도 필터의 픽셀에서 발생할 수 있다. 예를 들어, 바운더리에서 멀리 있는 증강현실 이미지의 부분에 대해서보다 바운더리에 더 가까운 증강현실 이미지의 부분에 대해서, 증강현실 이미지는 보다 더 페이딩될 수 있으며, 불투명도 필터의 픽셀은 보다 적게 불투명해질 수 있다. 증강현실 이미지가 시야의 증강현실 디스플레이 영역의 바운더리에 근접하지 않았다고 할지라도 불투명도에 있어서 점진적 전환은 유사하게 제공될 수 있다.

도 4(a)는 도 4(c)의 증강현실 이미지의 형태에 기초한 불투명도 필터(400)의 예시적인 구성을 도시한다. 불투명도 필터는 불투명도가 증가된 영역(402)을 제공한다. 불투명도 증가는 일반적으로 픽셀을 어둡게 하는 것을 지칭하며, 이는 모노크롬 구조에서는 서로 다른 회색 레벨로 어둡게 하는 것, 또는 컬러 구조에서 서로 다른 컬러 레벨로 어둡게 하는 것을 포함할 수 있다.

도 4(b)는 도 1의 예시적인 실세계 장면(120)을 도시한다. 실세계 장면(120)으로부터의 광은 불투명도 필터를 통과하고, 광은 불투명도 필터(400)에 의해 증가되어, 불투명도가 증가된 영역이 실세계 장면의 상응하는 영역에 "0"을 곱하게 하며, 그에 따라 실세계 장면의 상응하는 영역이 불투명도 필터를 통해 전달되지 않는 반면, 어두워지지 않은 영역이 실세계 장면의 상응하는 영역에 "1"을 곱하게 하여, 실세계 장면의 상응하는 영역이 불투명도 필터를 통과해 전달되도록 한다.

도 4(c)는 도 1의 예시적인 증강현실 이미지(104)를 도시한다. 증강현실 이미지(104)는 이 예시에 도시되지 않은 컬러 및 텍스처로 렌더링될 수 있다.

도 4(d)는 사용자가 보는 도 1의 예시적인 이미지(132)를 도시한다. 이미지(132)는 이미지(402)와 이미지(120)를 곱하여 형성된 이미지에 이미지(104)를 추가함으로써 형성된다. 어두워진 영역(404)은 돌고래의 증강현실 이미지를 둘러싼다.

도 5는 도 4(a)의 불투명도 필터의 구성을 제공하기 위해 불투명도가 증가된 영역을 갖는 불투명도 필터(500)를 도시한다. 각각의 작은 원은 불투명도 필터의 픽셀을 나타낸다. 크기, 형태 및 증강현실 이미지의 위치에 상응하는 선택된 픽셀들은 증가된 불투명도를 갖도록 제어된다. 증강현실 이미지의 윤곽이 참고를 위해 수퍼임포즈(superimpose)된다.

도 6은 불투명도 필터가 없을 때 발생할 수 있는 도 1의 예시적인 이미지의 변화를 도시한다. 이러한 이미지(600)에서, 실세계 장면이 증강현실 이미지 뒤에서 보일 수 있도록 증강현실 이미지는 투명하거나 희미하게 나타난다. 이러한 결과물은 현실적으로 보이지 않는다.

도 7a는 사용자의 머리(700)에 착용한 도 1의 디스플레이 디바이스의 예시적인 구현을 도시한다. 이러한 예시에서, 프레임은 종래의 안경 프레임과 유사하며, 안경과 유사한 수준의 편안함으로 착용가능하다. 그러나, 사용자 머리에 헬멧, 스트랩 또는 다른 수단에 의해 장착되는 안면가리게(face shield)와 같은 다른 구현이 가능하다. 프레임은 프레임 프론트(frame front)(702) 및 안경다리(temple)(704, 705)를 포함한다. 프레임 프론트는 사용자의 왼쪽 눈에 대한 시스루 렌즈(701) 및 사용자의 오른쪽 눈에 대한 시스루 렌즈(703)를 고정한다. 왼쪽과 오른쪽 방향은 사용자의 관점에서 본 것이다. 왼편 시스루 렌즈(701)는 왼쪽 눈(706)으로 보기 위해 증강현실 이미지를 실세계 장면으로부터의 광과 혼합한 광 스플리터와 같은 광 투과성 불투명도 구성요소(722) 및 광 투과성 불투명도 필터(723)를 포함한다. 불투명도 필터 내의 개방부(opening)(724)는 시선 추적 구성요소(726)가 눈동자(707)를 포함하여 왼쪽 눈(706)을 이미징할 수 있게 하도록 제공될 수 있다. 개방부는, 예컨대 렌즈(701) 내의 구멍, 또는 불투명도 필터가 제공되지 않은 렌즈(701)의 영역일 수 있다. 불투명도 필터는 전술된 바와 같이 유리 또는 플라스틱과 같은 다른 광 투과성 렌즈 재료 내에 또는 그 위에 제공될 수 있다. 시선 추적 구성요소(726)에 의해 사용되는 적외선 광이 이러한 광 투과성 렌즈 재료를 통과할 수 있다.

시선 추적 구성요소(726)는 반사된 IR 광(732)을 감지하는 IR 센서(734) 및 IR 광(730)을 방출하는 IR 이미터(728)를 포함한다. 가능한 일 접근에서, 시선 추적 구성요소(726)는 암(arm)(736)을 통해 프레임에 장착될 수 있다.

좌측 시스루 렌즈(701)는 오른쪽 눈(718)이 보기 위해 실세계 장면으로부터의 광과 증강현실 이미지를 혼합하는 빔 스플리터와 같은 광학적 구성요소(720) 및 광 투과성 불투명도 필터(721)를 포함한다. 좌측 증강현실 이미터(716)는 암(714)을 통해 프레임에 장착되고, 우측 증강현실 이미터(708)는 암(710)을 통해 프레임에 장착된다. 불투명도 필터 제어 회로(712)는 프레임의 브릿지에 장착될 수 있고, 좌측 및 우측 불투명도 필터에 의해 공유된다. 예컨대, 프레임 내의 전도성 경로를 통해 적절한 전기 접속이 이루어질 수 있다.

도 7b는 도 7a의 HMD 디바이스의 추가적인 세부사항을 도시한다. 디스플레이 디바이스는 우측 렌즈(703)와 좌측 렌즈(701)가 도시되도록 정면을 바라보는 사용자의 관점에서 도시되었다. 우측 증강현실 이미터(716)는 픽셀들의 그리드(grid)와 같은 발광부(762)와, 발광부(762)를 제어하기 위한 회로를 포함할 수 있는 부분(760)을 포함한다. 유사하게, 우측 증강현실 이미터(708)는 발광부(742)와, 발광부(742)를 제어하기 위한 회로를 갖는 부분(740)을 포함한다. 일 접근에서, 각각의 광학적 구성요소(720, 722)는 폭 w1 및 높이 h1를 포함하는 동일한 크기를 가질 수 있다. 우측 광학적 구성요소(720)는 우측 증강현실 이미터(716)로부터 광이 들어오는 탑 표면(764)과, 광학적 구성요소(720) 내의 반 각경(angled half-mirrored) 표면(766) 및 표면(768)을 포함한다. 우측 증강현실 이미터(716)로부터의 광과 불투명도 필터(770)에 의해 차단되지 않는 실세계 장면의 부분으로부터의 광(광선(780)으로 표현됨)이 표면(768)을 통과하여 사용자의 우측 눈으로 들어간다. 유사하게, 좌측 광학 구성요소(722)는 좌측 증강현실 이미터(708)로부터 광이 들어오는 탑 표면(744)과, 광학적 구성요소(722) 내의 반 각경 표면(746) 및 표면(748)을 포함한다. 좌측 증강현실 이미터(708)로부터의 광과 불투명도 필터(750)에 의해 차단되지 않는 실세계 장면의 부분으로부터의 광(광선(771)으로 표현됨)이 표면(748)을 통과하여 사용자의 좌측 눈으로 들어간다. 일 접근에서, 각각의 불투명도 필터(750, 770)는 폭 w1보다 큰 w2 및 높이 h1보다 큰 h2를 포함하는 동일한 크기를 가질 수 있다.

예컨대 입체 효과를 위해 각 눈에 별개의 이미지를 제공하는 것이 가능하지만, 전형적으로 동일한 증강현실 이미지는 두 눈에 제공된다. 다른 구현에서, 적절한 광학적 구성요소에 의해 오직 하나의 증강현실 이미터가 양쪽 눈으로 라우팅된다.

도 7c는 사용자의 머리에 착용한 도 1의 디스플레이 디바이스의 다른 구현을 도시한 것으로, 시선 추적 구성요소(790)는 프론트 안경 프레임(702)의 바로 위 및 내부에 존재한다. 이러한 구현에서, 시선 추적 구성요소는 렌즈(701)를 통해 투영될 필요가 없다. 시선 추적 구성요소(790)는 IR 광(792)을 방출하는 IR 이미터(791) 및 반사된 IR 광(793)을 감지하는 IR 센서(794)를 포함한다.

시선 추적과 관련하여, 대부분의 경우에, 안경이 움직임 중에 흔들렸을 때 눈에 대해서 증강현실 안경의 위치가 변하였다는 것을 아는 것만으로 충분하다. 눈의 회전(예컨대, 눈구멍 내의 눈동자의 이동)은 보통 중요성이 덜하다. 불투명도 영역과 증강현실 이미지의 정렬이 눈의 위치의 함수이기도 하지만, 실제로는, 두 기준 모두에 부합하기 위해서 불투명도 이미지를 스트레치(stretch)함으로써 사용자가 왼쪽을 바라보는 것처럼 불투명도 디스플레이의 좌측을 조정할 수 있고, 동시에 사용자가 우측을 바라보는 것처럼 불투명도 디스플레이의 우측을 조정할 수 있다. 만약 이렇게 한다면, 아이 앵글(eye angle)은 무시될 수 있다. 이러한 접근법의 단점은, 사용자가 우측을 바라볼 때 좌측이 틀려지고 사용자가 좌측을 바라볼 때 우측이 틀려진다는 것이지만, 사용자는 사용자의 시야의 중심에 들어오는 부분만을 시각적으로 측정할 수 있기 때문에 눈치채지 못할 것이다.

도 8a(1)는 사용자의 눈이 HMD 디바이스의 프레임에 대해 제 1 위치에 있을 때 불투명도 필터의 불투명도 증가 영역과 실세계 이미지의 정합을 도시한 도면이다. 이는 상면도로서 도시되었다. 전술된 바와 같이, 시선 추적 구성요소는 프레임에 대한 눈의 위치를 식별하는 데에 사용될 수 있다. 이러한 예시에서, 눈(706)과 그 눈동자(707)에 대한 프레임의 수평 위치가 고려된다. 불투명도 필터(750) 및 광학적 구성요소(722)는 프레임에 장착되고, 따라서 프레임과 함께 움직인다. 여기에서, 눈(706)은 시선(802)에 의해 표현된 것과 같이, 정면으로 실세계 장면의 요소(800)를 바라보고 있다. 요소(800)는 폭 xrw를 갖는다. 불투명도 필터(750)는 증가된 불투명도를 갖는 영역(804)을 포함하는 반면, 광학적 구성요소(722)는 증강현실 이미지가 제공되는 상응하는 영역(805)을 포함한다. 영역(804, 805)은 폭 x3을 갖는 것으로 가정된다. 실제로, 불투명도 필터 영역(804)의 폭은 증강현실 이미지 부분(805)의 폭보다 약간 더 넓을 수 있다. 또한, 불투명도 필터 영역(804)은 불투명도 필터의 좌측으로부터 x1의 거리에 있고, 불투명도 필터의 우측으로부터 거리 x2에 있다. 따라서, x1+x2+x3=w2이다. 증강현실 이미지 부분(805)은 광학적 구성요소(722)의 좌측으로부터 x4의 거리에 있고, 광학적 구성요소(722)의 우측으로부터 거리 x5에 있다. 따라서, x4+x5+x3=w1이다. 실세계 장면의 요소(800)는 x3보다 큰 폭 xrw을 가지고(xrw>x3), 불투명도 필터의 영역(804)에 의해 눈(706)에 도달하는 것이 차단된다.

도 8a(2)는 도 8a(1)의 실세계 장면 요소(800)의 정면도를 도시한다.

도 8a(3)는 도 8a(1)의 불투명도 필터 영역(804)의 정면도를 도시한다. 도 8a(4)는 도 8a(1)의 증강현실 이미지 영역(805)의 정면도를 도시한다.

도 8b(1)는 사용자의 눈이 HMD 디바이스의 프레임에 대해 제 2 위치에 있을 때 불투명도 필터의 불투명도 증가 영역과 실세계 이미지의 정합을 도시한 도면이다. 이는 상면도로서 도시되었다. 예를 들어, 프레임은 눈(706)에 대해 좌측으로 이동되었다. 불투명도 필터(750)는 증가된 불투명도를 갖는 영역(806)을 포함하는 반면, 광학적 구성요소(722)는 증강현실 이미지가 제공되는 상응하는 영역(807)을 포함한다. 영역(806, 807)은 폭 x3을 갖는 것으로 가정된다. 또한, 불투명도 필터 영역(806)은 불투명도 필터의 좌측으로부터 x1보다 큰 x1'의 거리에 있고(x1'>x1), 불투명도 필터의 우측으로부터 거리 x2보다 작은 x2'에 있다(x2'<x2). 따라서, x1'+x2'+x3=w2이다. 증강현실 이미지 부분(807)은 광학적 구성요소(722)의 좌측으로부터 x4'의 거리에 있고, 광학적 구성요소(722)의 우측으로부터 거리 x5'에 있다. 따라서, x4'+x5'+x3=w1이다. 또한, 이동으로 인해, 이 예시에서 x4'>x4이고 x5'<x5이다.

실세계 장면의 요소(800)는 x3보다 큰 폭 xrw을 가지고(xrw>x3), 불투명도 필터의 영역(806)에 의해 눈(706)에 도달하는 것이 차단된다. 프레임의 움직임을 검출함으로써, 사용자가 고정된 시선을 실세계 장면에 유지하는 동안 예컨대 수평 및/또는 수직으로 이동함으로써 불투명도 영역 및/또는 증강현실 이미지의 위치가 조정될 수 있다. 이것은 증강현실 이미지가 실세계 장면에서 동일한 위치에 나타나는 것을 보장한다. 불투명도 영역과 증강현실 이미지는 계속해서 서로 그리고 실세계 장면과 정렬 또는 정합된다.

실제로는, 불투명도 필터의 불투명도 증가 영역이 멀리 포커싱된 증강현실 이미지보다 눈에 더 가까운 것으로 나타나기 때문에, 불투명도 필터의 불투명도 증가 영역의 위치의 어떠한 변화도 증강현실 이미지의 위치의 유사한 변화와 비교하여 더욱 뚜렷하다. 이것은 불투명도 필터의 불투명도 증가 영역에 대한 보다 큰 패럴락스(parallax) 효과 때문이다. 따라서, 불투명도 필터의 불투명도 증가 영역에 대해 허용가능한 결과가 획득될 수 있다. 따라서, 다양한 경우에 시선 추적에 기초하여 증강현실 이미지의 위치를 조정하지 않고도 불투명도 필터의 불투명도 증가 영역의 위치를 조정함으로써 허용가능한 결과가 획득될 수 있다. 불투명도 필터의 불투명도 증가 영역의 위치 이동은 프레임에 대한 눈의 위치 이동과 동일하거나 유사할 수 있다. 증강현실 이미지의 위치 이동은 불투명도 필터의 불투명도 증가 영역의 위치 이동의 작은 부분일 수 있다.

다른 포인트는, 사용자가 우측을 바라볼 때, 좌측 불투명도 필터가 아닌 오직 우측 불투명도 필터에 대해서, 시선 추적에 기초하여 불투명도 필터의 불투명도 증가 영역의 위치를 조정하는 것만으로 충분할 수 있도록 좌측 시스루 렌즈와 증강현실 이미지가 포커싱되지 않는다는 것이다. 유사하게, 사용자가 좌측을 바라볼 때, 우측 불투명도 필터가 아닌 오직 좌측 불투명도 필터에 대해서만, 시선 추적에 기초하여 불투명도 필터의 불투명도 증가 영역의 위치를 조정하는 것만으로 충분할 수 있도록, 우측 시스루 렌즈와 증강현실 이미지가 포커싱되지 않는다.

도 8b(2)는 도 8b(1)의 실세계 장면 요소(800)의 다른 모습을 도시한다.

도 8b(3)는 도 8b(1)의 불투명도 필터 영역(804)의 다른 모습을 도시한다. 도 8b(4)는 도 8b(1)의 증강현실 이미지 영역(805)의 다른 모습을 도시한다.

도 9a(1)는 사용자 눈의 시야의 증강현실 디스플레이 영역의 중심에서, 불투명도 필터의 불투명도 증가 영역과 증강현실 이미지의 정합을 도시한 도면이다. 이 도면은 상면도로서 도시되었다. 추가적인 세부사항을 나타내기 위해서, 도 9a(1), 9b(1), 9d(1), 9e(1) 및 9f(1)이 눈에서 멀리 있는 광학적 구성요소(722)와 불투명도 필터(750)를 배치함으로써 도 8a(1) 및 도 8b(1)의 스케일로부터 변조되었다. 전술된 바와 같이, 눈은 상대적으로 넓은 시야를 갖는다. 불투명도 필터(750)는 라인(904, 912)에 의해 경계지어진, 예컨대 약 60도인 각도범위 α2를 갖는 시야 내에 있고, 증강현실 이미지를 제공하는 광학적 구성요소(722)는 라인(906, 910)에 의해 경계지어진, 예컨대 약 20도인 각도범위 α1을 갖는 시야 내에 있다. 각도범위 α1을 갖는 시야는 증강현실 디스플레이 영역의 각도범위를 나타낸다. 라인(908)은 불투명도 증가 영역(902)과 증강현실 이미지(900)의 중심을 통과하는 시야의 정면을 나타낸다. 또한, 불투명도 필터의 부분(902)은 증가된 불투명도를 가지고 광학적 구성요소(900)의 상응하는 부분은 증강현실 이미지를 제공한다. 불투명도 필터의 불투명도 증가 부분(902)은 증강현실 이미지 뒤에 있다. 이러한 예시는 증강현실 디스플레이 영역의 중심에 있지만 증강현실 디스플레이 영역의 바운더리(라인(906, 910)에 의해 나타내어짐)에 있지는 않은 불투명도 필터의 불투명도 증가 영역과 증강현실 이미지를 도시한다.

일 접근에서, 불투명도 필터는 컬러를 제공하는 능력을 가지고, 이때 고해상도의 컬러 이미지가 시야의 중심 20도(좌우로 +/-10도씩) 내에 제공되는 반면, 주변 영역(좌우로 각각 +/-10에서 30도 사이)은 불투명도가 증가되고 해상도가 낮은 컬러를 제공하도록 불투명도 필터를 이용한다. 예를 들어, 사용자가 자신의 머리를 양옆으로 움직일 때, 우리는 돌고래가 시야의 중심 20도에서 주변 영역으로 이동할 수 있도록 날으는 돌고래와 같은 증강현실 이미지의 위치를 조정할 수 있으며, 이때 불투명도 필터는 증강현실 이미지를 나타낸다. 이것은 돌고래가 시야의 중심 20도 밖으로 이동하였을 때 돌고래가 사라졌을 때 발생할 수 있는 불연속성을 방지한다.

이러한 도면들과 아래의 도면들에서, 증강현실 이미지 및 불투명도 증가 영역은 단순화를 위해 상응하는 정사각형 또는 직사각형의 형태를 갖는 것으로 가정된다.

도 9a(2)는 도 9a(1)의 불투명도 필터 영역(902)의 정면도를 도시한다.

도 9a(3)은 도 9a(1)의 증강현실 이미지 영역(900)의 정면도를 도시한다.

도 9b(1)는 도 9a(1)의 증강현실 디스플레이 영역의 주변 바운더리에서 불투명도 필터의 불투명도 증가 영역과 증강현실 이미지의 정합을 도시한다. 여기에서, 증강현실 이미지(922)와 불투명도 필터의 불투명도 증가 영역(920)은 (둘 모두 약 d2의 폭을 갖는 것으로 가정) 증강현실 디스플레이 영역의 바운더리(906)(바운더리 라인(906, 910)에 의해 나타내어짐)에 존재한다. 라인(907)은 불투명도 증가 영역(920)과 증강현실 이미지(922)의 중심을 통과하는 시선을 나타낸다. α3은 라인(906)과 라인(907) 사이의 각도범위이다.

도 3(a) 및 도 3(b)와 관련하여 전술된 바와 같이, 예컨대 증강현실 이미지가 도 9b(1)의 경우에서와 같이 증강현실 디스플레이 영역의 바운더리에 있는 경우에, 불투명도의 점진적인 변이를 제공하는 것이 가능하다. 이러한 변이의 추가적인 세부사항을 위해서 아래를 참조하여라.

도 9b(2)는 도 9b(1)의 불투명도 필터 영역(920)의 정면도를 도시한다.

도 9b(3)은 도 9b(1)의 증강현실 이미지 영역(922)의 정면도를 도시한다.

도 9c(1)은 사용자 눈의 시야의 주변 바운더리로부터의 거리의 함수로서 불투명도의 점진적 변화를 도시한다. x축은 바운더리 라인(906)으로부터의 수평 거리를 나타내고 y축은 불투명도 필터의 상응하는 영역의 불투명도를 나타낸다. 라인(915)에 의해 나타내어진 일 옵션에서, 불투명도는 바운더리로부터의 거리 d1 내지 d2에서 최대 레벨을 가지고 바운더리(x=0)에서의 최소 레벨까지 점진적으로 감소한다. 도 9c(2)를 참조하여라. 불투명도는 증강현실 디스플레이 영역 밖의 x<0에서 최소 레벨에 있다. 라인(916)으로 나타내어진 다른 옵션에서, 불투명도는 바운더리로부터 x=0 내지 x=d2에서 최대 레벨을 가지고, 증강현실 디스플레이 영역 밖에서 바운더리로부터 거리

너머에서 최소 레벨까지 점진적으로 감소한다. 도 9c(3)을 참조하여라. 불투명도는 증강현실 디스플레이 영역 밖에서, x<d3에 대해 최소 레벨을 갖는다. 라인(917)에 의해 나타내어지는 또 다른 옵션에서, 불투명도는 x=d4 내지 x=d2에서 최대 레벨을 가지고, 증강현실 디스플레이 영역 밖에서 거리

너머에서는 최소 레벨로 점진적으로 감소한다. 도 9c(4)를 참조하여라. 불투명도는 증강현실 디스플레이 영역 밖에서 x<d5에 대해 최소 레벨을 갖는다.

도 9c(2)는 페이딩되지 않는 부분(931)과, 도 9c(1)에서 0과 d1 사이에서 연속적으로 페이딩되는 부분(932, 933, 934)을 갖는 불투명도 필터 영역을 도시한다.

도 9c(3)는 페이딩되지 않는 부분(941)과, 도 9c(1)에서 0과 d3 사이에서 연속적으로 페이딩되는 부분(942, 943, 944)을 갖는 불투명도 필터 영역을 도시한다. 도 9c(4)는 페이딩되지 않는 부분(951)과, 도 9c(1)에서 d4와 d5 사이에서 연속적으로 페이딩되는 부분(952, 953, 954)을 갖는 불투명도 필터 영역을 도시한다.

도 9d(1)는 도 9a(1)의 증강현실 디스플레이 영역의 주변 바운더리에서의 불투명도 필터의 불투명도 증가 영역과 증강현실 이미지의 정합을 도시하며, 이때 추가의 불투명도 증가 영역이 시야의 제 2 주변 영역에서 제공된다. 이 도면은 상면도로서 도시되었다. 도 9b(1)에 비교하여, 도 9d(1)는 불투명도 필터(750)의 추가 불투명도 증가 영역(924)을 추가한다. 증강현실 디스플레이 영역 밖의 추가 불투명도 증가 영역(924)은, 증강현실 이미지(922)에 대해 그림자와 같은 주변 신호를 제공할 수 있다. 그림자는 증강현실 이미지(922)와 유사한 크기 및 형태를 가질 수 있다. 추가적인 불투명도 증가 영역(924)은 증강현실 이미지(922) 및/또는 불투명도 증가 영역(920)의 위 또는 아래에 및/또는 수평적으로 동일한 레벨에 있을 수 있다. 이러한 예시에서, 불투명도 증가 영역(924)은 불투명도 필터(750)의 투과성 영역에 의해 불투명도 증가 영역(920)으로부터 분리된다.

광학적 구성요소(722)의 좌측 주변영역 상의 시야의 제 2 주변 영역은 광학적 구성요소(722)의 우측 주변영역 상의 라인(904, 906) 사이에 (α2-α1)/2의 각도범위(예컨대, 10 내지 30도)를 갖는다. 상응하는 추가 주변 영역은 광학적 구성요소(722)의 우측 주변영역 상의 라인(910, 912) 사이에 (α2-α1)/2의 각도범위를 갖는다.

도 9d(2)는 도 9d(1)의 불투명도 필터 영역(920, 924)의 정면도를 도시한다.

도 9d(3)은 도 9d(1)의 증강현실 이미지 영역(900)의 정면도를 도시한다.

도 9e(1)은 도 9a(1)의 증강현실 디스플레이 영역의 주변 바운더리에서 불투명도 필터의 불투명도 증가 영역과 증강현실 이미지의 제 1 부분의 정합을 도시한 도면으로, 이때 추가의 불투명도 증가 영역이 시야의 제 2 주변 영역 내에 제공되어, 증강현실 이미지의 제 2 컷오프 부분을 나타낸다. 이 도면은 상면도로서 도시되었다. 여기에서, 폭 d2를 갖는 증강현실 이미지 부분(922)이 증강현실 이미지의 제 1 부분을 나타내고, 불투명도 필터(750)의 불투명도 증가 영역(926)이 증강현실 이미지 부분(922) 뒤에 있다. 실제로 존재하지는 않는 폭 d2'의 증강현실 이미지 부분(923)은, 증강현실 이미지 부분(922)의 위치에 기초하여 증강현실 이미지의 제 2의 컷오프 부분이 위치될 수 있는 것을 나타낸다. 이러한 경우에, 불투명도 필터(750)의 추가의 불투명도 증가 영역(928)(불투명도 증가 영역(926)의 연속일 수 있음)은 증강현실 이미지 내의 갑작스러운 컷오프를 방지하도록 증강현실 이미지 부분(923) 뒤에 제공된다. 추가의 불투명도 증가 영역(928)은 최소 불투명도로의 단계적 변화로 종료할 수 있거나, 또는 도 9c(1)의 논의와 유사한 접근법을 이용하여 불투명도의 점진적 변화가 제공될 수 있다.

일 접근에서, 추가의 불투명도 증가 영역(928)은 증강현실 이미지 부분(923)과 동일한 크기, 형태, 위치 및/또는 컬러를 가지며, 그에 따라 기본적으로 실제로는 존재하지 않는 증강현실 이미지 부분(923)을 나타내게 한다.

도 9e(2)는 도 9e(1)의 불투명도 필터 영역(926, 928)의 정면도를 도시한다.

도 9e(3)는 도 9e(1)의 증강현실 이미지 영역(922, 923)의 정면도를 도시한다.

도 9f(1)는 증강현실 이미지가 광학적 구성요소(722)에 의해 제공되지 않을 때, 시야의 제 2 주변 영역에서 불투명도 필터(750)의 불투명도 증가 영역(960)을 도시한다. 이 도면은 상면도로서 도시되었다. 하나 이상의 불투명도 증가 영역이 우측 또는 좌측 주변 영역에서 제공될 수 있다.

전술된 바와 같이, 불투명도 증가 영역(960)은 증강현실 이미지의 저해상도의 아웃-오브-포커스(out-of-focus) 버전으로 나타낼 수 있다. 이것은, 예컨대 증강현실 이미지가 시야의 중심 20도로부터 나가서 시야의 주변 영역으로 나가도록 사용자가 자신의 머리를 옆으로 움직였을 때 유용할 수 있다. 이러한 움직임은, 증강현실 이미지(900)가 시야 중심에 있는 도 9a(1)에 이어, 증강현실 이미지(920)가 시야 중심의 바운더리에 있는 도 9b(1)에 이어, 불투명 영역(960)(증강현실 이미지를 나타냄)이 시야의 주변 영역 내에 있는 도 9f(1)의 시퀀스에 의해 나타내어질 수 있다. 사용자가 자신의 머리를 다시 시작 위치로 움직이면, 시퀀스는 역전될 수 있다.

주변 영역 내의 불투명도 필터의 불투명도 증가된 픽셀은 불투명도 픽셀이 컬러 성능을 가질 때 증강현실 이미지에 해당하는 형태 및/또는 해당하는 컬러를 가질 수 있다. 불투명도 피터의 불투명도 증가된 픽셀의 위치 및 타이밍이 증강현실 이미지의 움직임에 기초하여 완만한 변이를 제공하도록 설정될 수 있다. 예를 들어, 증강현실 이미지가 중심 시야의 바운더리에 도달할 때, 증강현실 이미지의 표현으로서 주변 영역 내의 움직임 및 해당하는 형태를 제공하도록 불투명도 필터가 활성화될 수 있다. 후속하여, 증강현실 이미지의 표현이 중심 시야의 바운더리를 향해 움직일 때, 불투명도 필터는 비활성화될 수 있고 그에 따라 증강현실 이미지는 중심 시야 내의 움직임 및 해당하는 형태를 제공하도록 활성화될 수 있다.

도 9f(2)는 도 9f(1)의 불투명도 필터 영역(960)의 정면도를 도시한다.

도 9f(3)는 도 9f(1)의 증강현실 이미지의 정면도를 도시한다.

위에서 볼 수 있는 바와 같이, 본 발명에 따라 다수의 장점이 제공된다. 예를 들어, 상대적으로 간소화된 HMD 장치가 제공된다. 또한, 시선 추적 및 시각적 지각 기술(psycho-perceptual technitue)을 이용하여 눈, 주요 컬러 디스플레이 및 불투명도 필터 사이의 캘리브레이션이 제공된다. 불투명도 필터는 가상 이미지를 제공하는 주요 디스플레이가 존재하지 않을 경우에도 주변 비전 신호를 제공하도록 사용될 수 있다. 컬러 기반의 불투명도 필터에 있어서, 우리는 보다 나은 전반적인 경험을 위해 주변 컬러 영역을 중심 초점과 균일하게 혼합할 수 있고, 초점 영역 내의 불투명도 전용 필터링(opacity-only-filtering)으로 전환할 수 있다.

본 명세서에 전술된 기술의 상세한 설명은 예시 및 설명을 위해 제시되었다. 이는 기술을 개시된 정확한 형태로 한정하는 것은 아니다. 다수의 수정 및 변경이 전술된 내용에 비추어 가능하다. 기술된 실시예들은 기술의 원리 및 그 실질적인 응용을 가장 잘 설명하고 그에 따라 당업자가 기술을 고려되는 특정한 용도에 맞춰 다양한 실시예에서 다양하게 수정하여 가장 잘 활용할 수 있도록 선택된 것이다. 본 발명의 기술의 범주는 첨부된 특허청구범위에 의해 정의된다.

Claims

광학적 시스루(see-through) 헤드 마운트 디스플레이 디바이스에 있어서,
상기 디스플레이 디바이스가 사용자에 의해 착용될 때, 상기 사용자의 눈과 실세계 장면 사이에 놓이는(extending) 시스루 렌즈로서, 상기 시스루 렌즈는 불투명도(opacity) 필터와 디스플레이 구성요소를 포함하며, 상기 불투명도 필터는 복수의 픽셀을 포함하는 패널 또는 필름을 포함하며, 각 픽셀은 실세계 장면으로부터의 광을 통과 또는 차단하기 위하여 그리고 상기 픽셀의 불투명도를 조정하기 위하여 최소 투과율과 최대 투과율 사이에서 개별적으로 제어될 수 있는 것인, 상기 시스루 렌즈와,
상기 디스플레이 구성요소를 이용하여 상기 사용자의 눈에 광을 방출하는 증강 현실 이미터(emitter)로서, 상기 증강 현실 이미터에 의해 방출된 광은 형상을 가진 증강 현실 이미지를 나타내는 것인, 상기 증강 현실 이미터와,
사용자의 눈의 관점에서, 증강 현실 이미지 뒤에 있는 상기 불투명도 필터의 픽셀에 대한 증가된 불투명도를 제공하기 위하여 상기 불투명도 필터를 제어하도록 구성되는 적어도 하나의 컨트롤로서, 상기 증강 현실 이미지 뒤에 있는 상기 불투명도 필터의 픽셀은 상기 형상의 페리미터(perimeter)를 뒤따르는 픽셀과 상기 형상의 페리미터 내에 있는 픽셀을 포함하며, 상기 적어도 하나의 컨트롤은 또한 페리미터 주위의 균일한 두께의 영역에서 상기 페리미터를 둘러싸는 불투명도 필터의 픽셀에 대한 증가된 불투명도를 제공하도록 구성되는 것인, 적어도 하나의 컨트롤을 포함하는 광학적 시스루 헤드 마운트 디스플레이 디바이스.
제1항에 있어서,
상기 시스루 렌즈는 상기 사용자의 머리에 착용된 프레임에 장착되며,
상기 광학적 시스루 헤드 마운트 디스플레이 디바이스는, 상기 프레임에 대한 상기 사용자의 눈의 위치를 추적하는 추적 구성요소를 더 포함하며,
상기 적어도 하나의 컨트롤은 상기 프레임에 대한 상기 사용자의 눈의 위치에 반응하는 것인 광학적 시스루 헤드 마운트 디스플레이 디바이스.
제2항에 있어서,
상기 추적 구성요소는, 상기 프레임에 장착되며 상기 눈의 동공의 중심을 추적하는 것인 광학적 시스루 헤드 마운트 디스플레이 디바이스.
제1항에 있어서,
상기 시스루 렌즈는 상기 사용자의 머리에 착용된 프레임의 프레임 정면에 장착되는 것인 광학적 시스루 헤드 마운트 디스플레이 디바이스.
제2항에 있어서,
상기 적어도 하나의 컨트롤은, 상기 증강 현실 이미지가 상기 프레임에 대한 사용자의 눈의 위치에 대응하는 상태로, 상기 증강 현실 이미지 뒤에 있는 상기 픽셀의 레지스트레이션(registration)을 유지하도록 구성되는 것인 광학적 시스루 헤드 마운트 디스플레이 디바이스.
제2항에 있어서,
적어도 하나의 상기 증강 현실 이미터는, 상기 프레임에 대한 사용자의 눈의 위치에 대응하는 증강 현실 이미지 뒤에 있는 픽셀들을 이용하여 상기 증강 현실 이미지의 레지스트레이션을 유지하는 것인 광학적 시스루 헤드 마운트 디스플레이 디바이스.
제1항에 있어서,
상기 디스플레이 구성요소는, 상기 실세계 장면으로부터의 광과 상기 증강 현실 이미지를 나타내는 광을 결합하는 적어도 하나의 광학 구성요소를 포함하며, 상기 디스플레이 구성요소는 상기 불투명도 필터와 상기 사용자의 눈 사이에 존재하는 것인 광학적 시스루 헤드 마운트 디스플레이 디바이스.
제1항에 있어서,
상기 불투명도 필터는, 퍼지 블랙 보더가 상기 증강 현실 이미지의 형상을 둘러싸도록, 사용자의 눈에 대하여 근거리에 있는 불투명도 필터로 인하여 사용자의 눈에 대하여 초점이 맞지 않으며,
상기 증강 현실 이미지는 사용자의 눈에 대하여 초점이 맞는 것인 광학적 시스루 헤드 마운트 디스플레이 디바이스.
제1항에 있어서,
상기 페리미터 주위의 균일한 두께의 영역에서 상기 페리미터를 둘러싸는 상기 불투명도 필터의 픽셀은 증강 현실 이미지 주위의 어두워진 영역(darkened region)을 제공하며, 상기 어두워진 영역은 상기 증강 현실 이미지의 형상에 대응하는 형상을 가지는 것인 광학적 시스루 헤드 마운트 디스플레이 디바이스.
제1항에 있어서,
상기 증강 현실 이미지는 사용자의 눈의 시야의 제1 각도 크기로 제한되며,
상기 불투명도 필터는, 상기 시야의 상기 제1 각도 크기 및 더 많은 주변 각도 크기를 포함하는 제2 각도 크기로 확장되는 것인 광학적 시스루 헤드 마운트 디스플레이 디바이스.
제10항에 있어서,
상기 적어도 하나의 컨트롤은, 증강 현실 이미지에 대한 주변 신호(cue)를 묘사하기 위하여 더 많은 주변 각도 크기에 있는 불투명도 필터의 픽셀에 대한 증가된 불투명도를 제공하도록 구성되는 것인 광학적 시스루 헤드 마운트 디스플레이 디바이스.
제10항에 있어서,
상기 적어도 하나의 컨트롤은, 상기 증강 현실 이미지의 표현을 묘사하기 위하여 더 많은 주변 각도 크기에 있는 상기 불투명도 필터의 픽셀에 대한 증가된 불투명도를 제공하도록 구성되는 것인 광학적 시스루 헤드 마운트 디스플레이 디바이스.
제1항에 있어서,
상기 불투명도 필터는 LCD 패널을 포함하는 것인 광학적 시스루 헤드 마운트 디스플레이 디바이스.
제1항에 있어서,
상기 불투명도 필터는, 일렉트로크로믹 필름을 포함하는 것인 광학적 시스루 헤드 마운트 디스플레이 디바이스.
제1항에 있어서,
상기 적어도 하나의 컨트롤은, 상기 증강 현실 이미지 뒤에 있지 않은 상기 불투명도 필터의 어둡지 않은 픽셀을 제공하기 위하여 상기 불투명도 필터를 제어하도록 구성되는 것인 광학적 시스루 헤드 마운트 디스플레이 디바이스.
제7항에 있어서,
상기 적어도 하나의 광학 구성요소는 상기 불투명도 필터에 인접한 빔 스플리터를 포함하는 것인 광학적 시스루 헤드 마운트 디스플레이 디바이스.
제1항에 있어서,
상기 증가된 불투명도는 상기 불투명도 필터의 다른 픽셀의 불투명도보다 더 불투명한 것인 광학적 시스루 헤드 마운트 디스플레이 디바이스.
광학적 시스루 헤드 마운트 디스플레이 디바이스에 있어서,
상기 디스플레이 디바이스가 사용자에 의해 착용될 때, 상기 사용자의 눈과 실세계 장면 사이에 놓이는 시스루 렌즈로서, 상기 시스루 렌즈는 불투명도 필터와 디스플레이 구성요소를 포함하며, 상기 불투명도 필터는 복수의 픽셀을 포함하며, 각 픽셀은 실세계 장면으로부터의 광을 통과 또는 차단하기 위하여 그리고 상기 픽셀의 불투명도를 조정하기 위하여 최소 투과율과 최대 투과율 사이에서 개별적으로 제어될 수 있는 것인, 상기 시스루 렌즈와,
상기 디스플레이 구성요소를 이용하여 상기 사용자의 눈에 광을 방출하는 증강 현실 이미터로서, 상기 증강 현실 이미터에 의해 방출된 광은 형상을 가진 증강 현실 이미지를 나타내는 것인, 상기 증강 현실 이미터와,
상기 형상의 페리미터 내에 있는 복수의 픽셀의 픽셀들에 대하여 그리고 상기 페리미터 주위의 균일한 두께의 영역에서 상기 페리미터를 둘러싸는 상기 불투명도 필터의 픽셀들에 대하여, 상기 형상의 페리미터를 뒤따르는 상기 불투명도 필터의 픽셀들에 대한 증가된 불투명도를 제공하기 위하여 상기 불투명도 필터를 제어하도록 구성되는 적어도 하나의 컨트롤로서, 상기 증가된 불투명도는 상기 불투명도 필터의 다른 픽셀들의 불투명도보다 더 불투명한 것인, 상기 적어도 하나의 컨트롤을 포함하는 광학적 시스루 헤드 마운트 디스플레이 디바이스.
제18항에 있어서,
상기 불투명도 필터는 패널 또는 필름을 포함하는 것인 광학적 시스루 헤드 마운트 디스플레이 디바이스.
광학적 시스루 헤드 마운트 디스플레이 디바이스에서의 사용 방법에 있어서,
시스루 렌즈의 디스플레이 구성요소를 이용하여 사용자의 눈에 광을 방출하는 단계로서, 상기 광은 형상을 가진 증강 현실 이미지를 나타내는 것인, 상기 광을 방출하는 단계와,
실세계 장면으로부터의 광을 통과 또는 차단시키기 위하여 상기 시스루 렌즈의 불투명도 필터 내의 복수의 픽셀 중 각 픽셀의 불투명도를 조정하는 단계를 포함하며,
각 픽셀은 상기 픽셀의 불투명도를 조정하기 위하여 최소 투과율과 최대 투과율 사이에서 개별적으로 제어가능하며,
상기 시스루 렌즈는, 상기 디스플레이 디바이스가 상기 사용자에 의해 착용될 때 상기 사용자의 눈과 상기 실세계 장면 사이에 놓이며,
상기 조정하는 단계는, 상기 형상의 페리미터 내에 있는 복수의 픽셀의 픽셀들에 대하여 그리고 상기 페리미터 주위의 균일한 두께의 영역에서 상기 페리미터를 둘러싸는 상기 불투명도 필터의 픽셀들에 대하여, 상기 형상의 페리미터를 뒤따르는 상기 불투명도 필터의 픽셀들에 대한 증가된 불투명도를 제공하는 단계를 포함하며,
상기 증가된 불투명도는 상기 불투명도 필터의 다른 픽셀들의 불투명도보다 더 불투명한 것인 광학적 시스루 헤드 마운트 디스플레이 디바이스에서의 사용 방법.