KR102594527B1 - 인간 시각 적응형 광 필드 디스플레이 - Google Patents

인간 시각 적응형 광 필드 디스플레이 Download PDF

Info

Publication number
KR102594527B1
KR102594527B1 KR1020207032775A KR20207032775A KR102594527B1 KR 102594527 B1 KR102594527 B1 KR 102594527B1 KR 1020207032775 A KR1020207032775 A KR 1020207032775A KR 20207032775 A KR20207032775 A KR 20207032775A KR 102594527 B1 KR102594527 B1 KR 102594527B1
Authority
KR
South Korea
Prior art keywords
eye
pencil
center
pencils
point
Prior art date
Application number
KR1020207032775A
Other languages
English (en)
Other versions
KR20200136038A (ko
Inventor
파블로 베니테즈
줄리오 씨. 차베스
후안 카를로스 미나노
바라드와지 나라시만
Original Assignee
테세랜드 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 테세랜드 엘엘씨 filed Critical 테세랜드 엘엘씨
Publication of KR20200136038A publication Critical patent/KR20200136038A/ko
Application granted granted Critical
Publication of KR102594527B1 publication Critical patent/KR102594527B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/10—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0189—Sight systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

인간의 눈을 조명하기 위한 광 필드를 생성하도록 배열된 디스플레이 장치. 광 필드는 제1 기준 표면 및 제2 기준 표면을 가상적으로 만나는 복수의 펜슬을 포함하고, 상기 제1 기준 표면은 안구 중심을 통과하는 평면이고, 머리(skull)의 전방 방향에 수직이며, 상기 제2 기준 표면은 사용자의 머리로부터 거리를 두고 위치되고 안구 중심에 중심을 둔 구의 일부이다. 상기 제2 기준 표면의 중심은 안구 중심을 통과하고 머리의 전방 방향으로 향하는 선의 교점으로서 정의된다. 각각의 펜슬은 직선의 집합이고, 상기 선의 세그먼트는 항상 대략 동일한 휘도와 색상을 갖는 눈을 조명하는 광선 궤적과 일치한다.

Description

인간 시각 적응형 광 필드 디스플레이
본 출원은 시각적 디스플레이, 특히 헤드 마운트(head-mounted) 및 헤드업 디스플레이 기술에 관한 것이다.
1. 인용된 참조문헌
아래에서 "PCT1"이라 하는 "Immersive compact display glasses"에 대한 PCT/US2015/06149인 2015년 5월 28일 간행된 WO 2015/077718
아래에서 "PCT2"라 하는 "Immersive compact display glasses"에 대한 PCT/US 2016/014151인 2016년 6월 28일 간행된 WO 2016/118640
아래에서 "PCT3"이라 하는 "Display device with total internal reflection"에 대한 PCT/US 2016/014155인 2016년 6월 28일 간행된 WO 2016/118643
아래에서 "PCT6"이라 하는 "Imaging optics adapted to the human eye resolution"에 대한 PCT/US 2016/014163인 2016년 6월 28일 간행된 WO 2016/118648
E. Peli, "Visual and optometric issues with head-mounted displays," in IS & T/OSA: Optics & Imaging in the Information Age, (The Society for Imaging Science and Technology, 1996). pp. 364-369. ("Peli 1996").
F.C. Huang, K. Chen, G. Wetzstein, "The Light Field Stereoscope: Immersive Computer Graphics via Factored Near-Eye Light Field Display with Focus Cues", ACM Transactions on Graphics(SIGGRAPH), 2015("Huang 2015").
F.C. Huang, G. Wetzstein, B.A. Barsky, R. Raskar, "Eyeglasses-free Display: Towards Correcting Visual Aberrations with Computational Light Field Displays", ACM Transactions on Graphics(SIGGRAPH), 2014("Huang 2014").
Douglas Lanman 및 David Luebke, 2013. Near-eye light field displays. In ACM SIGGRAPH 2013 Emerging Technologies(SIGGRAPH '13). ACM, New York, NY, USA, Article 11, 1 page. DOI: https://doi.org/10.1145/2503368.2503379("Lanman 2013").
G. Kramida, "Resolving the vergence-accommodation conflict in head-mounted displays", IEEE Transactions on Visualization and Computer Graphics, vol. 22, no. 7, pp. 1912-1931, 2016("Kramida 2016").
M. Lambooij 및 W. IJsselsteijn, "Visual discomfort and visual fatigue of stereoscopic displays: A review," J. Imaging Sci. Tech., vol. 53, no. 3, pp. 1-14, May 2009("Lambooij 2009").
Mali Liu, Chihao Lu, Haifeng Li, Xu Liu, "Near eye light field display based on human visual features", Optical Express, Vol. 25, No.9, 2017("Mali 2017").
C. A. Curcio, K. R. Sloan, R. E. Kalina, and A. E. Hendrickson, "Human photoreceptor topography", J. Comp. Neurol. 292, pp. 497-523, 1990 ("Curcio 1990").
http://pabloartal.blogspot.com.es/2013/09/more-on-kappa-angle-of-human-eye.html("Artal").
J.L. Kerr, Visual resolution in the periphery, Perception & Psychophysics, 1971, Vol. 9 (3B) ("Kerr").
Douglas Lanman, David Luebke, Near-Eye Light Field Displays, ACM SIGGRAPH 2013 Emerging Technologies, July 2013.
J.E. Melzer, Overcoming the Field of View: Resolution Invariant in Head Mounted Displays, SPIE Vol. 3362, 1998.
T. Tsujimura, OLED displays: Fundamentals and Applications, Wiley, 2012
전술한 문헌들의 각각은 전문이 참조에 의해 본 명세서에 포함된다.
2. 정의
3D-픽셀(3D-pixel): 자유 공간에서의 직선 궤적이 작은 지름 영역에서 가상적으로 가로지르거나 그에 매우 가까이 통과하는 광선 펜슬(ray pencil)의 집합. 이 영역은 3D 픽셀의 모든 펜슬이 동일하거나 유사한 휘도 및 색상을 공유할 때 인간의 눈에 의해 가상 발광점으로서 인지될 수 있다. 일반적으로, "3D-픽셀"은 이 가상 발광점을 말한다. 일부 3D 픽셀들은 단일 펜슬에 의해 형성되고, 따라서 이의 모든 광선은 항상 동일하거나 유사한 휘도 및 색상을 공유한다.
디지털 디스플레이(digital display): OLED 디스플레이와 같이 자체 발광하거나, 또는 LCD나 LCOS와 같은 프론트 라이트 시스템 또는 백라이트 시스템에 의해 외부적으로 조명될 수 있는, 광을 시간적 및 공간적으로 변조하는 광전자 컴포넌트.
클러스터(cluster): 동일한 렌즈릿(lenslet)에 의해 이미징되는 o 픽셀(opixel)의 집합.
눈 동공(eye pupil): 눈의 외부로부터 보이는 눈 각막을 통한 내부 홍채 에지의 이미지. 시각적 광학 기기에서, 눈의 광학계의 입력 동공(input pupil)으로 참조된다. 이의 경계는 조명 레벨에 따라 통상적으로 3 내지 7 mm 지름의 원이다.
안구(eye sphere): 눈 회전의 대략적인 중심에 중심을 두는 구이며, 그 중심까지의 눈 동공의 평균 거리와 동일한 반지름(re)을 갖는다(통상적으로 13 mm).
시야(field of view(FOV)): 시야 또는 FOV; 양안이 정면을 향하여 바라보며 쉬고 있을 때 눈 동공 중심으로부터 가상 스크린이 대하는 수평 및 수직의 전체 각도로서 정의됨.
제1 기준 표면(first reference surface): 머리(skull)의 전방 방향에 수직이고, y' 축이 수직 방향으로 있는 이의 x', y' 좌표의 원점인 안구 중심을 포함하는 평면.
고시점(fixation point): 중심와(fovea)의 중심에서 눈에 의해 이미징되는 장면의 점이며, 망막의 가장 높은 해상도 영역이다.
중심와 기준 원(foveal reference circle): 안구 중심과 동심인 3 내지 12 mm 지름의 구의 제1 기준 평면과의 교집합. 이 구는 중심와에 잠재적으로 도달하는 펜슬에 의해 가상적으로 가로지른다.
응시 벡터(gaze vector) γ: 눈 동공의 중심과 고시점을 연결하는 방향의 단위 벡터 γ.
가상 스크린의 응시 가능 영역(gazeable region of virtual screen): 동공 범위 내에서의 눈 동공의 모든 위치에 대한 고시점을 포함하는 가상 스크린의 영역. 이는 응시될 수 있는 모든 3D 픽셀의 안구로부터의 투사를 포함한다.
i 픽셀(ipixel): 펜슬의 직선의 제2 기준 평면, 즉 평면 x-y와의 교집합. 이는 펜슬의 광이 가상적으로 유래하는 가상 스크린에서의 근원(locus)이다.
렌즈릿(lenslet): 디지털 디스플레이로부터 광을 수집하고 이를 안구로 투사하는 광학 기기 어레이의 개별 광학 이미징 시스템의 각각(예를 들어, 렌즈). 렌즈릿은 이의 대응하는 o 픽셀의 광으로 펜슬을 켜도록 설계된다. 단일 렌즈릿에 의해 유도되는 o 픽셀과 펜슬 사이의 매핑은 연속적이다. 각각의 렌즈릿은 반드시 굴절성일 필요가 없는 하나 이상의 광학 표면에 의해 형성될 수 있다. 클러스터마다 하나의 렌즈릿이 있다.
o 픽셀(opixel): 디지털 디스플레이의 정보 단위. 픽셀의 모든 점은 항상 동일한 조도와 색상으로 일정한 각도 방출 패턴으로 발광한다. o 픽셀에 의해 방출된 모든 광선은 동일하거나 유사한 휘도 및 색상을 가진다.
광학 크로스토크(optical cross-talk): 하나의 o 픽셀이 2 이상의 i 픽셀 내로 이미징되는 바람직하지 않은 상황.
가상 스크린의 외부 영역(outer region of virtual screen): 가상 스크린의 응시 영역에 속하지 않는 3D-픽셀의 투사를 포함하는 가상 스크린의 영역. 즉, 이는 0보다 더 큰 주변 각도에서만 보일 수 있는 3D-픽셀에 의해 형성된다.
펜슬(pencil): 광선들이 임의의 순간에 동일한(또는 유사한) 휘도 및 색상을 갖도록, 눈을 조명하는 광선 궤도와 일치하는 세그먼트를 포함하는 직선의 집합. 또한, 이 휘도 및 색상은 펜슬에도 할당된다. 펜슬은 동공을 만나야 하며, 그렇지 않으면 보이지 않을 것이다. 펜슬의 광은 가상 스크린에 위치되는 이의 i 픽셀로부터 가상적으로 나온다. 펜슬을 형성하는 직선의 집합은 위상 공간의 연결된 영역에 의해 표현될 수 있다. 이 집합은 작은 공간 및 각도 분산을 가질 수 있다. 펜슬의 중앙부(waist)는 1 mm2보다 실질적으로 작을 수 있고, 이의 최대 각도 차이(divergence)는 ±10 mrad 아래에 있을 수 있다. 펜슬은 잘 설계된 시스템에서 동공 영역 내부의 안구를 차단한다. 동일한 정보를 포함하는 상이한 펜슬들의 합집합은 이의 모든 펜슬을 가상적으로 만나는 공간적 영역에 위치된 발광점으로서 인간의 눈에 의해 인지되는 3D 픽셀을 형성할 수 있다. 주어진 펜슬은 통상적으로 제한된 기간 동안 3D-픽셀의 일부를 형성한다.
펜슬 프린트(pencil print): 펜슬의 직선의 제1 기준 평면, 즉 평면 x'-y'와의 교집합. 이 영역은 Pp라고도 한다.
주변 각도(peripheral angle): 단위 벡터 θ를 갖는 소정의 방향과 응시 벡터 γ에 의해 형성된 각도 β. 즉, β=cos-1(θ·γ)
동공 범위(pupil range): 모든 허용된 눈 동공 위치를 포함하는 롤링하는(rolling) 동공 구의 영역. 최대 동공 범위는 전방 방향에 대하여 60도의 각도 수평 반축과 45도의 수직 반축을 갖는 타원형이지만, 설계를 위한 실용적인 동공 범위는, 동공을 찾을 가능성이 가장 높은, 40 내지 60도의 전체 각도 원뿔이다.
표면 S1: 디지털 디스플레이에 더 가까운 렌즈릿 어레이의 입력 표면.
표면 S2: 눈에 더 가까운 렌즈릿 어레이의 출력 표면.
(가상 스크린의) 시야(view): 점으로부터의 가상 스크린의 시야는 그 점에서 핀홀 카메라가 보는 가상 스크린의 이미지, 즉 펜슬이 그 점을 통과하는 i 픽셀의 집합이다.
가상 스크린(virtual screen): 눈 중심으로부터 모든 3D 픽셀의 합집합이 대하는 각도 영역, 또는 대안적으로는 큰 반지름(통상적으로 1.5 m 내지 무한대)을 갖는 안구의 중심에 중심을 둔 구 상의 대응하는 영역. 구의 이 영역은 또한 제2 기준 표면으로도 불리고, 때대로 원점이 안구 중심을 통과하고 머리의 전방 방향으로 향하는 선의 교점인 좌표 x, y를 갖는 평면에 의해 근사화된다.
3. 종래 기술
컬러 디지털 디스플레이는 이의 디스플레이 표면에 걸쳐 조도(illuminance)(평방미터당 루멘, 즉 lm/m2로 측정됨)를 제어할 수 있는 시간적 공간적 광 변조기이다. 통상적으로, 이 표면은 내부에 때때로 서브 픽셀이라 불리는 각각이 좁은 대역의 스펙트럼(통상적으로, 적색(R), 녹색(G) 또는 청색(B))을 방출하는 더 작은 영역이 있는, 픽셀이라 불리는 작은 다수의 작은 영역을 포함한다. 서브 픽셀의 상이한 점들의 조도는 대략 동일하다. 디지털 디스플레이를 이용하여 각각의 서브 픽셀의 조도를 제어하고 시간에 따라 이를 변경하는 것이 가능하다. 시간적 변동은 통상적으로 프레임 시간이라 하는 일정한 간격으로 수행된다. 픽셀의 크기 및 프레임 시간이 작다면, 임의의 순간 t에 대하여 디스플레이 표면에 걸친 임의의 점 (x, y)에 대한 서브 픽셀의 임의의 색상의 조도 함수 I(x, y, t)를 제어할 수 있다고 대략적으로 말할 수 있다. 이제부터, 달리 특정되지 않는다면, 우리는 디지털 디스플레이의 색상 및 시간 종속성을 고려하지 않을 것이다.
이상적으로, (단색) 광 필드 디스플레이(Light Field Display(LFD))는, 밝기(brightness) 또는 이의 표면에서 방출되는 광의 플렌옵틱(plenoptic) 함수라 하는, 휘도(통상적으로 nit=cd　m-2=lm　m-2　sr-1)를 제어하는 장치이다. LFD는 모든 심도 큐(depth cue)를 정확하게 재생함으로써 3차원 시각적 경험(예를 들어, 가상 현실(VR))에서 시각적 편안함을 잠재적으로 개선할 수 있고, 따라서 대부분의 스테레오 디스플레이에 본질적인 버전스(vergence)-원근 조절(accommodation) 충돌을 해결한다(예를 들어, Peli 1996", "Kramida 2016" 및 "Lambooij 2009" 참조). 플렌옵틱 또는 휘도 함수는 광선의 원점의 공간적 위치 (x, y)과 그 원점에서의 이의 각도 방향 (p, q) 모두의 함수 L(x, y, p, q)이다(p, q는 각각 직교 좌표축 x, y에 대한 광선의 방향 코사인이다). 광선의 방향은 때때로 변수 p, q 대신에 일정한 평면인 다른 z(z는 디스플레이 표면에 수직임)와의 광선의 교점 (x', y')에 의해 결정된다.
도 1은 예시적인 3D 물체(100), 기준 평면(101) (x, y) 및 다른 평면(102) (x' y')를 도시함으로써 이를 예시한다. 예시적인 광선(104)은 기준 평면(101) 상의 점(103)에서 나오고, 위치(105)에서 평면(102)에 부딪힌다. 이 경우에, L은 이 두 평면(101, 102)에서의 광선 위치 (x, y, x', y')의 함수인 L(x, y, x', y')로서 표현될 수 있다. 일반적으로, 벡터 (p, q, r) 및 (x'-x,　y'-y,　D)가 평행하고(r은 제3 방향 코사인이고, p2+q2+r2　= 1이며, D는 평면들 사이의 거리이다) 이에 따라 (x'-x)/p=(y'-y)/q=D/r이기 때문에, 양 평면은 평행하고 (p, q) 및 (x', y') 사이의 관계는 쉽게 유도될 수 있다.
실제 LFD는 규정된 4변수 함수 L(x,　y,　x',　y')를 정확히 생성할 수 없고, 단지 그에 근사한다. 도 2는 하나의 이러한 근사를 예시한다: 예를 들어, Huang의 스테레오스코프("Huang 2015")는 백라이트(207)에 의해 조명되는 2개의 적층된 액정 디스플레이(LCD)(204, 205)에 기초한다. 또한, 도 2는 가상 3D 물체(200), 백라이트(207)에서의 방출점(208), 제1 디스플레이(204) 상의 픽셀/점(201), 제2 디스플레이(205) 상의 픽셀/점(202) 및 동공 평면(206)에서의 점(203)을 도시한다. 디스플레이(204)는 디스플레이(205)로부터 거리 d만큼 떨어져 있고, 동공 평면(206)으로부터 거리 D만큼 떨어져 있다. 또한, LFD로부터의 조명을 수신하는 인간의 눈의 눈 동공(207)이 도시된다. 눈 동공(207)은 동공 평면(206)에 위치된다.
양 LCD가 이산화되기 때문에(동일한 픽셀의 모든 점이 대하여 투과율이 동일하다는 것을 의미한다), 결과적인 LFSD도 또한 광선의 얇은 펜슬의 집합들로 이산화되고, 이들 각각은 제1 디스플레이(204)의 픽셀을 제2 디스플레이(205) 상의 픽셀과 연결하는 모든 광선을 포함한다. 펜슬은, 점 (x, y)가 제1 디스플레이(204)의 주어진 픽셀에 속하고 (x', y')가 제2 디스플레이(205)의 픽셀에 속하도록, 광선 (x, y, x', y')를 포함하는 이 공간의 작은 영역에 의해 4차원 공간 x-y-x'-y'로 표현된다. 일반적인 경우에, 우리는 항상 동일한(대략적으로) 휘도 및 색상을 공유하는 광선(직선)의 집합에 대하여 펜슬 또는 광선 펜슬이라 지칭할 것이다. 이러한 펜슬은 서브 픽셀이 통상적인 디스플레이의 이미지 유닛인 것과 유사하게 LFD 유닛을 구성한다. 그러면, LFD 방출은 통상적인 디스플레이의 서브 픽셀 대신에 펜슬로 구성된다. 펜슬 정의는 매체로서의 눈 부피 공기에 도달하기 전의 공기 내에서의 광선 궤적과 일치하는 직선을 이용하여 수행되며, 이러한 직선은 궁극적으로 VR 렌즈 전에 또는 눈 후로 연장될 것이다.
Huang 2015의 예에서, LCD들 중 하나의 평면은 평면 (x, y)이고, 따라서 이의 투과율은 A(x, y)로 쓸 수 있다. 제1 LCD의 앞쪽에 깊이 간격 d를 가지면서 포개어진 다른 LCD는 투과율 B(x", y")를 가진다. 즉, A와 B는 광 필드 L(x, y, x', y')를 생성하기 위하여 이러한 LCD들에서 디스플레이되어야 하는 이미지이다. 벡터 (x"-x, y"-y, d) 및 (x"-x, y"-y, D)가 평행하기 때문에, 좌표 x" 및 y"는 x, y, x', y', d 및 D의 함수로 쓸 수 있다는 점에 주목하라. 그러면, 양 LCD 및 백라이트의 휘도는 양 투과율의 곱인 A(x, y)·B[x"(x, y, x', y'), y"(x, y, x', y')]으로 쓸 수 있고, 여기에서 우리는 백라이트(207)가 단위 휘도를 갖는 램버시안(Lambertian) 방출을 가진다고 가정한다. 따라서, Huang 2015의 접근 방식은 2개의 2변수 함수인 A 및 B의 곱으로서 4변수 함수 L(x, y, x', y')를 가능한 한 정확하게 인수분해하는 것을 포함한다. 곱 AB가 (x, y, x', y')의 함수이고, A 및 B는 모두 0과 1 사이에 있어야 한다는 것을 주시하라. 함수 A 및 B를 계산하기 위하여 Huang 2014 등이 제안하는 방식은 목표 휘도 L(x, y, x', y')(1에 정규화됨)를 곱 AB에 비교하는 변수 x, y, x', y'에 대한 적분인 가치 함수(merit function) M을 최소화한다: . 광 필드에서의 모든 광선에 대한(따라서, 모든 펜슬에 대한) 함수 A 및 B에 대한 Huang 2015의 계산은, 이것이 적분 도메인 R에 있거나, 더욱 정확하게는 영역 dxdydx'dy'의 곱에 의해 선행하는 적분에서 모든 광선에 가중치가 적용되는 경우에, 동일하게 중요하다.
다른 유형의 LFD("Lanman 2013")에서, 동일한 마이크로렌즈들의 어레이가, 대략 마이크로렌즈의 초점 길이(f)만큼 분리되어, 고해상도 디스플레이의 앞쪽에 배치된다.
도 3은 가상 3D 물체(300), 디스플레이(301), 마이크로렌즈 어레이(302), 동공 범위(303) 및 상세도(304)를 도시하는 종래 기술의 실시예를 도시한다.
마이크로렌즈 어레이의 투사된 영역은 디스플레이 활성 영역과 대략 동일하다. 마이크로렌즈의 개수 m은 픽셀의 개수보다 훨씬 적고, 따라서 디스플레이 평면 상의 각각의 마이크로렌즈의 직교 투사 하에서 k 픽셀(k >> 1)이 있다. 이 픽셀 집합을 마이크로렌즈의 클러스터라 하자. d가 마이크로렌즈 피치라면, 마이크로렌즈의 평면에서의 LFD는 d의 배수로 이산화되고, 각각의 마이크로렌즈 클러스터의 k 픽셀은 각각의 마이크로렌즈 위치마다 k개의 개별 방향으로 규정된 조명을 생성하는데 사용된다. Lanman의 LFD에서의 펜슬은 단일 픽셀에 의해 켜지는 방향을 갖는 마이크로렌즈의 개구(aperture)로부터 방출되는 광선에 의해 형성된다. 따라서, 최종적으로, 우리는 휘도가 디스플레이에 의해 제어될 m×k개의 펜슬이 있다는 것을 알게 된다. I(x, y)를 디스플레이의 정규화된 조도 함수라 하자. 그러면, 정규화된 4변수 휘도 함수 L(x, y, p, q)가 로 근사화되며, 여기에서 int(t)는 x의 정수 부분을 의미한다. 이 근사화는 정사각형 마이크로렌즈 어레이를 가정하고 있고, |f·p| < d/2; |f·q| < d/2를 충족하는 p 및 q 값에 한정된다.
HMD 애플리케이션에 대하여, 광 필드는 사용자의 하나의 눈 또는 양 눈(더 정확하게는 이들의 동공 범위)을 조명할 것이며, 안구 중심은 디스플레이에 대하여 고정된 위치에 있다. 최첨단 LFD 기술은 인간 시각의 중요한 양태들을 고려하지 않는다. 예를 들어, 인간의 눈은 중심와(망막(안구의 뒤쪽)에 위치되고, 동공 및 눈 중심과 정렬된 영역)에 초점이 맞추어진 광선에 대하여만 고해상도를 인식할 수 있다: 이 영역 외부에 초첨이 맞추어진 광선은 흐릿한 것으로 인지된다. 눈 해상도는 입사하는 방사선의 주변 각도가 증가함에 따라, 즉 망막 상의 이미지 점이 중심와로부터 더 멀어짐에 따라 악화된다. 이것은 망막에서의 광 수용체의 변동하는 밀도 때문이다("Curcio 1990").
대량 생산을 위하여 의도된 HMD 장치는 상대적으로 저렴한 광학 기기를 사용하여야 하고, 이는 일반적으로 플라스틱 사출에 의해 제조된 몇 개의 광학 부품을 의미한다. 그러면, 광학 설계에서의 자유도는 부족하며, 현명하게 사용되어야 한다. 특히, 이러한 자유도는 중심와에 결코 도달하지 않을 광선의 이미지 품질을 개선하는데 낭비되지 않아야 한다. 설계 자유도는 이들이 획득할 수 있는 망막 점의 최상의 예상 눈 해상도에 따라 사용되어야 한다.
중심와 위치에 관한 정보가 없을 때(예를 들어, 응시 추적이 없는 HMD에서), 우리는 주어진 응시 위치에 대하여 광선이 전송된 망막의 점의 평균 인간 해상도와, 그 응시 위치에서 눈을 발견할 확률을 곱한 것에 비례하도록 광선에 가중치를 부여하고, 모든 가능한 응시 위치에 대하여 평균을 구할 수 있다. 안구에 부딪히는 광선은 교점 re α(α는 단위 벡터이고, re는 안구의 반지름이다)과 이의 방향 θ(역시 단위 벡터이다)에 의해 특성화될 수 있다. γ가 (단위) 응시 벡터이고, p(γ)가 방향 γ을 응시하는 확률 밀도 함수이고, dΩγ가 입체각의 미분이라 하면, ∫p(γ)dΩγ = 1이다. 이 확률 밀도 함수는, 예를 들어, "A.Terry Bahill, Michael R. Clark, Lawrence Stark, "Dynamic overshoot in saccadic eye movements is caused by neurological control signal reversals", Experimental Neurology 48-1 (1975)"에서 연구되었다. 실용적인 목적으로, γ가 전방 방향 주위로 30도의 반각 원뿔 외부에 있고, 즉 응시 가능한 영역이 30도의 원뿔이고, 확률이 그 원뿔 내에서의 방향들 사이에서 균일하게 분포되는 경우, 종종 p(γ) = 0이라 가정된다. 이것이 FOV가 30도의 원뿔이라는 것을 의미하지 않는다는 것에 주목하라. Ve가 입사 방향과 응시 벡터에 의해 형성된 각도의 함수로서의 인간의 눈의 시력(visual acuity)이고(여기에서, 우리는 무시할 만한 카파 각도를 암시적으로 가정하고 있지만, 항상 참은 아니다. "Artal" 참조), P가 동공의 전달 함수이면(광선이 동공 내에 부딪히면 P = 1이고, 그렇지 않으면 0이다), 가중치 함수는 w(α, θ)=∫P(α·γ), Ve(θ·γ)p(γ)dΩ γ 이어야만 한다. 설계 절차에서의 자유도의 소비는 이 가중치 함수에 대략 비례하여야 하고, 따라서, 광학 설계는 나머지 광선에 대한 것보다 중심와에 잠재적으로 초점이 맞추어지는 광선에 대하여 더 나은 이미지 품질을 가진다. 이것은 잠재적으로 중심와로 가는 광선이 동공 범위에 도달하는 광선들의 작은 부분 집합을 형성하기 때문에 설계 과정에 대하여 중요하다. 인간의 눈 응답의 이 양태는 PCT1 및 PCT6에 개시된 것과 같은 비 LFD를 이용하는 HMD에서 고려된다. w(α, θ)와 유사하게 개선 또는 악화하도록 광학계 해상도가 α 및 θ의 함수일 때, 우리는 광학 해상도가 평균 눈 해상도에 일치된다 라고 말한다.
중심와 위치에 관한 정보가 있을 때, 중심와에 도달하는 광선들의 집합(망막에 잠재적으로 도달하는 광선들의 집합의 부분 집합)은 알려져 있으며, 이 정보는, 예를 들어, 중심와로 전송되는 광을 방출하는 픽셀의 디지털 디스플레이 정보를 개선함으로써, 중심와에 의해 수신되는 이미지 품질을 더 개선하는데 사용될 수 있다. 일반적으로, 주어진 순간에서의 실제 중심와 위치에 대한 정보는, 광학 기기가 중심와의 운동을 충분히 따라가도록 시간에 따라 광학 특성을 가변하는 가동(moveable) 부품 또는 컴포넌트를 가지지 않기 때문에, 광학 부품에 사용될 수 없다.
우리가 말한 바와 같이, Huang 2015 및 Lanman의 접근 방식 모두에서, 모든 펜슬은 최적화 과정 계산에 있어서 동일한 중요도를 가진다. 즉, 가중치 함수는 모든 광선에서 동일하다. 결과적으로, LFD 시스템은, 중심와에 도달할 수 있는지 또는 그 외부에 도달할 수 있는지 여부에 관계 없이, 이미지 내의 모든 펜슬에 대하여 동일한 성능을 보여준다.
Mali 2017은 최근에 Huang 2015에 유사하지만 고정된 위치에 있는 눈을 고려하고 인간의 눈 해상도에 따라 (x, y) 좌표를 불균일하게 이산화하는 인수화된 LFD를 소개하였다. 이러한 이산화가 눈에 고정되고 사용자의 머리에는 고정되지 않기 때문에, Mali의 접근 방식은 눈 추적이 구현되는 것을 필요로 한다.
대조적으로, 본 출원에서 설명된 실시예들에서, LFD는 이전에 정의된 광선 가중치 함수에 따라 최적화되고, 따라서, 중심와에 궁극적으로 부딪히는 펜슬은 설계에서 더 많은 자유도를 소비하는 것이고, 이는 보통 최성의 성능을 가져다 준다. 이렇게 함으로써, 광 필드에 의해 생성된 이미지의 품질은 실제 관찰자에 대하여 훨씬 더 양호하다. 우리는 LFD가 사용자의 머리에 대하여 고정되고, 따라서, 안구가 머리의 눈 캐비티 내부에서 회전할 수 있기 때문에, 눈 동공이나 중심와가 아닌 눈의 중심(대략적으로)에 고정된다고 가정한다. 중심와에 궁극적으로 이미징될 수 있는 광선은 눈 내로 들어가서 이 안구의 중심 부분을 향하는 것이며, 따라서, 안구에 눈이 없다고 가정하면 이는 안구 중심 근처로 지나갈 것이다. 더 정확하게는, 우리는 중심와 내로 초점이 맞추어지는 광선들에 대하여, 이들은 동공을 가로질러 가야 하고 눈에 부딪혀야 하며, 따라서 이들은 안구에 눈이 없다고 가정할 때 안구의 중심까지 눈 동공의 반지름보다 상당히 크지 않는 거리를 두고 지나갈 것이다. 눈 동공 지름은 2 내지 7 mm로 가변한다(예를 들어, Andrew B. Watson, John I. Yellott; A unified formula for light-adapted pupil size.　Journal of Vision　2012;12(10):12, doi: 10.1167/12.10.12 참조). 우리는 이를 실용적인 목적으로 4 mm로 설정할 수 있다. 수정체가 망막에서 무한대를 이미징하도록 원근 조절될 때, 중심와 영역은 대략적으로 5도의 전체 각도를 갖는 각원뿔을 커버하고, 따라서 중심와에 이미징된 광선들은 눈 캐비티가 비어있다고 가정할 경우에 작은 각도 차이(divergence)(±2.5도)를 갖는 4 mm 지름의 원뿔형 튜브를 대략적으로 형성할 것이다. 수정체가 다른 거리로 원근 조절될 때, 중심와에 이미징되는 광선들의 각도 차이는 상이한 다발이지만, 눈 캐비티 내부의 이들의 궤적은, 눈 캐비티가 비어있다고 가정할 경우에, 여전히 작은 각도 차이(거의 4 mm 지름의 원통형 튜브)를 갖는 원뿔형 튜브를 형성할 것이다.
망막의 상이한 부분들의 상대적 시력은 매우 상이하지만, 시력의 측면에서 중심와의 명확한 정의는 없다. 이 이유로, 우리는 임상적 정의 없이 소정의 레벨 위의 시력의 범위로서만 중심와란 명칭을 사용할 것이며, 결과적으로, 이의 크기는 향상 5도이지는 않을 것이고, 특정 애플리케이션에 따라 1 내지 7도일 것이다.
예를 들어, 헤드 마운트 디스플레이에서 인간의 눈에 나중에 보여지도록 샘플링되고 있거나 보여지고 있는 광 필드(플렌옵틱 또는 휘도 함수 L(x, y, p, q)를 가지며, 여기에서, x 및 y는 2개의 직교 좌표이고, p, q는 이의 해당하는 광학 방향 코사인이다)를 고려하라. 조도 분포 I(x, y)가 서브 픽셀이라 하는 일정한 조도와 색상을 갖는 작은 표면 영역(실제 또는 가상)의 집합을 이용하여 복원되는 것과 동일한 방식으로, 광 필드는 우리가 간단히 펜슬이라 부르는 광선들의 작은 펜슬들의 집합(대략 일정한 휘도와 색상을 가짐)을 이용하여 복원될 수 있다. 양 경우에서의 복원 과정은 다음의 양 경우에 수행된 이산화로 인하여 불완전하다: 샘플링하는 동안 및 디스플레이하는 동안. 종래의 디스플레이에서 이미지는 관찰자로부터 주어진 거리에 복원되며, 이는, 시간에 따라 이 거리를 변경시킬 수 있는 LFD의 경우에서와는 다르게, 시청자로부터 상이한 거리에 픽셀을 디스플레이할 수 있다. 이러한 이미지 픽셀은 3D 픽셀이라 한다. 3D 픽셀의 가상 위치는 이를 형성하는 펜슬의 광선 다발의 중앙부(waist)에 의해 제공되며, 모든 광선을 LFD와 눈 사이의 자유 공간에의 광선 궤적의 직선 부분으로부터 연장되는 직선으로 고려한다. 일반적으로, 3D 픽셀은 3D 픽셀 당 2 이상의 펜슬을 사용한다(그렇지 않으면 이의 위치는 선택될 수 없다). 주어진 응시 방향에 대하여, 펜슬은 동공에 들어가는 광선과 그렇지 않은 광선으로 분할될 수 있다. 동공에 들어간 광선(펜슬의 일부)은 중심와에 도달할 수 있거나 도달하지 않을 수 있다. 중심와에 도달하는(따라서, 눈 동공을 가로지르는) 펜슬의 부분만이 눈의 원근 조절을 통해 3D 픽셀의 위치에 기여한다. 또한, 종래의 디스플레이는 3D 픽셀의 위치와 일치하는 위치를 갖는 i 픽셀이라 하는 실제 또는 가상 표면 영역으로부터 나오는 광선에 의해 모든 펜슬이 형성되는 LFD의 특정 경우로서 고려될 수 있다. 이 특정 경우에, 3D 픽셀 당 단일 펜슬이 있으며, 물론, 그 3D 픽셀로부터 관찰자까지의 거리는 선택 가능하지 않고, 일반적으로 모든 3D 픽셀에 대하여 동일하다.
우리는 플렌옵틱 함수가 사용자의 머리에 고정된 기준 시스템 (x, y, z)에 대하여 정의되고, 따라서 인간의 눈이 기준 시스템에 대하여 이동하지만 안구 중심은 (대략적으로) 그에 고정된다고 가정한다. 본 발명은 (1) HMD에서 디스플레이될 광 필드를 샘플링, 기록, 전송 및/또는 저장하거나 (2) 광 필드를 디스플레이하는데 있어서 성공적으로 사용될 수 있는 광 필드 이산화에 특징이 있다.
(1) 광 필드를 계산, 샘플링, 기록, 전송 및/또는 저장하기 위하여, 전략은, 샘플링이 중심와로 잠재적으로 진행하고 그리고/또는 샘플링되는 장면의 중심 부분에서 있도록 사용되는 가상 스크린의 응시 가능한 영역으로부터 나오는 펜슬에 대하여 더 조밀하도록, 가변 샘플링 단계로 광 필드(실제 또는 렌더링된 장면)를 샘플링하는 것으로 구성된다. 펜슬 밀도는 중심와에 부딪힐 가능성이 감소하는 펜슬, 즉 중심와 외부의 망막 영역에 더 자주 부딪히는 펜슬에 대하여 점차 감소할 수 있다. 또한, 펜슬 밀도는 i 픽셀이 응시 가능한 영역으로부터 더 멀리 있는 것에 따라 가상 스크린의 응시 가능하지 않은 영역(보통 장면의 주변 영역)으로부터 나오는 펜슬에 대하여 점차 감소할 수 있다. 이 전략의 이점은 광 필드를 전송, 저장 또는 복구하는 데 필요한 제한된 양의 정보를 더욱 효율적으로 사용한다는 것이다.
(2) 광 필드를 디스플레이하기 위하여, 이 전략은, 중심와에 잠재적으로 초점이 맞추어지고 그리고/또는 가상 스크린의 응시 가능한 영역으로부터 나오는 펜슬이 이미지의 나머지 부분과 비교하여 최대 해상도(정상적인 인간의 눈의 망막에서 검출된 1도 당 픽셀로서 측정됨)를 획득하도록(따라서, 나머지 광선이 광학 기기 및 디스플레이 설계와 휘도 계산에 정도 차가 있는 약간의 영향을 미치게 함), LFD의 광학 기기, 디스플레이 및/또는 휘도 계산을 설계하는 것으로 구성된다. 중심와에 잠재적으로 초점이 맞추어지고 그리고/또는 가상 스크린의 응시 가능한 영역으로부터 나오는 펜슬만이 3D 픽셀 당 2 이상의 펜슬을 사용하는 3D 픽셀을 생성하는데 사용된다. 나머지 3D 픽셀은 비 광 필드 스테레오스코프에서의 i 픽셀로서의 단지 하나의 펜슬을 사용한다. 이 전략의 이점은 두 가지이다: 첫째, 광학계의 설계 자유도가 더 효율적으로 사용되어, 통상적인 인간의 눈 해상도에 일치하는 광학 해상도를 갖는 광학계를 가질 수 있게 한다. 둘째, 중심와에 잠재적으로 도달하는 광선만이 원근 조절을 위하여 사용될 수 있기 때문에, 펜슬의 개수가 최소화된다. 또한, 펜슬의 개수를 최소화하는 것은 LFD(Lanman의 아키텍처)를 공급하는 디지털 디스플레이의 픽셀의 개수를 최소화하거나, Huang 2015의 아키텍처에서 투과율의 계산을 최적화한다.
우리는 전술한 광 필드 이산화 전략을 따르는 LF를 인간 시각 적응형 광 필드(Human-Vision-Adapted Light Field(HVALF))라 한다.
전술한 양태, 특징 및 이점 및 다른 양태, 특징 및 이점은 다음의 도면과 함께 제공되는 소정의 실시예에 대한 이어지는 더 많은 특정 설명으로부터 명백하게 될 것이다. 도면에서:
도 1은 2개의 기준 평면 x, y 및 x', y'를 가로지를 때, 3D 물체 세트에 의해 생성된 일반적인 광 필드 디스플레이의 개략도를 도시한다.
도 2는 적층된 LCD를 활용하는 Huang 2015의 접근 방식에 기초한 LFD를 개략적으로 도시한다.
도 3은 디스플레이 및 마이크로렌즈 어레이를 활용하는 Lanman의 접근 방식에 기초한 LFD를 개략적으로 도시한다.
도 4는 인간이 눈이 어떻게 기능하는지를 도시한다. 눈이 이완되어 있을 때(무한대에 초점이 맞추어짐), 전방 방향과의 각도(404)가 대략 ±2.5도 이내에 있도록 동공을 가로지르는 광선은 중심와(고해상도 영역)에 도달하는 광선이다. 나머지 광선은 중심와 외부의 망막(저해상도 영역)에 도달한다.
도 5는 눈의 중심을 통과하는 평면 x', y'와 눈으로부터 먼 거리에 있는(배율에 맞추어지지 않음) 표면 x, y를 도시한다. 2개의 좌표 세트는 이들을 가로지르는 광선을 정의하는데 사용된다.
도 6은 펜슬 밀도를 측정하기 위한 장치를 도시한다.
도 7은 각도(705)(절반의 동공 범위)만큼의 동공 지름(702)의 이동과, 허용 가능한 눈 중심 위치(704)의 집합을 도시한다. 함께, 이 이동들은 눈 상자(703)를 정의한다.
도 8은 잠재적으로 중심와에 도달할 수 있는 광선 다발(bundle)을 도시한다. 이 광선들은 구에 눈이 없다고 가정하는 경우에 눈의 중심에서 구(802)를 가로지른다.
도 9는 이 예에서 전체 눈 상자를 덮는 펜슬을 도시한다.
도 10은 동공 상의 빔 프린트가 동공보다 작은 원근 조절(accommodation) 펜슬의 일례를 도시한다.
도 11은 마이크로렌즈가 눈의 중심을 향하는 축(1102) 주위로 회전 대칭성을 갖는 광 필드 디스플레이를 도시한다.
도 12는 각각의 채널에서 가변 초점 길이를 갖는 광 필드 디스플레이를 도시한다.
도 13은 도 12에 도시된 실시예의 일부 광학 특성을 도시한다.
도 14는 눈에 도달하는 광선을 정의하는데 사용되는 파라미터들을 도시한다.
도 15는 β = 상수가 x' = 상수와 어떻게 대략 동등할 수 있는지를 보여준다.
도 16은 x = 상수가 θ = 상수와 어떻게 대략 동등할 수 있는지를 보여준다.
도 17은 떨어져 있는 점(가상 이미지)으로부터 나오는 광선 다발(1702)을 도시하며, 눈이 회전함에 따라, 일부 광선(예를 들어, 1705)은 중심에 도달할 수 있는 반면, 다른 광선(예를 들어, 1708)은 그렇지 않을 수 있다.
도 18은 도 17과 유사한 상황을 도시하지만, 다른 떨어져 있는 점(가상 이미지)으로부터 나오는 다른 광선 다발(1802)에 대한 것이다.
도 19는 잠재적으로 중심와에 도달할 수 있는 광선 다발을 도시한다.
도 20은 잠재적으로 중심와에 도달할 수 있는 광선 다발이 어떻게 눈의 중심을 통과하는 축 x' 상의 영역을 가로지르는지를 도시한다.
도 21은 중심와(2102)에서 고해상도를 생성하는 것이 각도 θ 내에서 고밀도의 펜슬을 필요로 한다는 것을 도시한다.
도 22는 눈을 향하여 광선을 방출하는 광학 기기의 어퍼처를 도시한다.
도 23은 점이 2D 위상 공간에서 광선에 대응하는 다이어그램을 도시한다.
도 24는 원근 조절 과정에 관여되는 광선(2403, 2405, 2406)을 도시한다.
도 25는 원근 조절에 관여되는 광선의 위상 공간 (θ, α) 다이어그램 표현을 도시한다.
도 26은 (θ, α) 다이어그램 내의 점들이 눈이 회전할 때 잠재적으로 중심와에 도달할 수 있는 광선을 나타내는 광 필드의 이산화를 도시한다.
도 27은 광 필드의 바람직한 이산화의 실제 구현의 일례를 도시한다.
도 28은 도 27에서의 예시적인 구현에 의해 생성된 펜슬의 에지 광선을 도시한다.
도 29는 (θ, α) 다이어그램에서 펜슬이 점유하는 유한 영역을 도시한다. 이는 또한 원근 조절에 관여된 펜슬(2902)을 강조한다.
도 30은 고해상도를 나타내는 본 발명의 일 실시예에 대한 (θ, α) 다이어그램을 도시한다.
도 31은 저해상도를 나타내는 종래 기술의 일 실시예에 대한 (θ, α) 다이어그램을 도시한다.
도 32는 선 β = 0 또는 α = 0을 따라 분할된 원근 조절 펜슬을 도시하고, 이들이 원근 조절 정보를 표시하기 위하여 어떻게 사용될 수 있는지를 도시한다.
도 33은 광선의 다이어그램 표현의 측면에서 도 32의 원근 조절 펜슬 분할을 도시한다.
도 34는 도 32에서의 구성의 가능한 실제 구현예의 다이어그램 표현을 도시한다.
도 36은 도 32에서의 구성과 유사하지만, 중심와에 도달할 수 있는 펜슬의 개수가 증가하여 원근 조절을 개선하는 구성을 도시한다.
도 37은 도 36에서의 구성의 가능한 실제 구현예의 다이어그램 표현을 도시한다.
도 38은 광선의 다이어그램 표현의 측면에서 도 36의 원근 조절 펜슬 분할을 도시한다.
도 39는 상이한 동공 위치에 대한 원근 조절 펜슬의 일관된 분할이 일정한 값의 각도 β에서 어떻게 발생하는지를 도시한다.
도 40은 축 x' 상의 빔 프린트가 상이한 영역을 갖는 펜슬을 도시한다.
도 41은 도 40에서의 펜슬의 (θ, α) 표현을 도시한다.
도 42는 펜슬을 정의하는 평면 x, y 및 x', y'의 이산화를 도시한다.
도 43은 청색 또는 적색 채널보다 녹색 채널에서 더 높은 해상도를 갖는 일 실시예를 도시한다.
도 44는 가시 광선 스펙트럼에서 청색 및 적색 단부 모두가 망막으로부터 멀리 초점이 맞춰지는 눈의 색수차를 도시한다.
도 45는 다초첨 렌즈를 도시한다.
본 발명의 특징 및 이점에 대한 더 나은 이해는, 본 발명의 원리가 활용되는 예시적인 실시예를 설명하는 본 발명에 대한 이어지는 상세한 설명 및 첨부된 도면들을 참조하여 획득될 수 있다. 이러한 도면들이 고려되는 방법 및 장치의 실시예들을 도시하지만, 이들은 당해 업계에서의 통상의 기술자에게 명백한 대안적이거나 균등한 실시예를 배제하는 것으로 고려되어서는 안 된다.
설명된 실시예들은 일반적으로 2개의 고정되거나 이동하는 광 필드(Light Field)가 사용자의 눈에 투사되는 가상 현실 투사 장치의 영역 내에 있다. 바람직하게는, 심도(depth)의 입체적인 시각화(stereoscopic visualization)를 제공하기 위하여, 2개의 광 필드는 상이하다. 설명된 실시예들은 극도로 넓은 시야, 고해상도, 경량 및 작은 부피를 동시에 제공하는 것을 목적으로 한다. 넓은 시야는 머리의 움직임을 보상하기 위한 머리 추적 센서로부터의 피드백과 결합될 때, 지면에 대하여 고정된 3차원 가상 현실을 제공할 수 있게 하여, 더욱 완전한 몰입형 경험을 제공할 것이다.
효과적인 몰입형 경험을 위하여, 극도로 넓은 시야는 머리에 대한 눈 동공 배향에 독립적으로 제공되어야 한다. 이러한 접근 방식은, 바람직하게는, 눈이 회전될 때 생성되는 모든 눈 동공 범위의 합집합에 의해 형성되는 안구의 영역(더 정확하게는 롤링하는(rolling) 동공 구(pupil sphere)의 영역)으로서 정의되는, 설계 파라미터로서의 동공 범위를 고려한다. 그러면, 이는 양호한 근사에서 구형 쉘이 된다. 평균적인 인간에 대한 모든 물리적으로 액세스 가능한 동공 위치가 고려된다면, 최대 동공 범위의 경계는 전방 방향에 대하여 눈의 회전 중심에서 대하는 60도의 각도 수평 반축(semi-axis)과 45도의 수직 반축을 갖는 타원형이다. 그러나, 실용적인 몰입형 설계에 대하여, 15 내지 30도 범위 내의 반축의 타원뿔이 충분한 것으로 고려될 수 있다.
눈의 회전 대칭축이 바람직하게는 응시 벡터, 즉 눈 동공의 중심과 고시점을 연결하는 직선과 일치하여야 한다고 함축적으로 가정하였다. 이러한 직선은 눈의 회전 중심 근처를 지나가지만, 이를 정확하게 통과하지 않는다. 응시 벡터와 동공 축(입사 동공(entrance pupil)의 중심을 만나는 각막에 수직인 선) 사이에 형성된 각도는 각도 카파(kappa)라 한다. "평균적으로, 각도 카파는 시간 방향으로(temporal direction)으로 수평으로 대략 4도이다. 그러나, 일부 눈은 거의 축 상에 있고, 심지어 카파 각도가 (코 방향을 향하여) 음이며, 다른 것에서는, 시간 방향으로 8도만큼 클 수 있다. 평균적인 눈이 수직으로 중심을 두지만(카파 각도가 수직으로 0), 동일한 변동성이 4도 위에서 아래로 나타난다."("Artal") 그 외에도, 수직 및 수평 운동이 각막에 뒤쪽으로 각각 12mm 및 14mm인 상이한 회전 중심을 가지기 때문에, 눈 회전의 진정한 중심은 없다. 이것은 동공 축에 대하여 카파 각도만큼 경사진 방향으로 각막 뒤쪽으로 대략 13mm에 있는 점으로 근사화될 수 있다. 우리는 이 점을 안구의 중심이라 부른다. 숙련된 독자는 본 명세서에서의 설명으로부터 이러한 직선들이 정확히 한 점에서 만나지 않는다 점을 고려하기 위하여 설계를 어떻게 개선하는지를 이해할 것이다.
동공 범위는 눈 내로의 광선의 입사 점에 대한 공간적 경계를 제공한다. 이 경계는 동공 범위의 임의의 점에 대한 응시 벡터 주위로의 ±50도(대략적으로)의 각도 제한과 함께 망막에 잠재적으로 도달하는 광선의 완전한 위상-공간 경계를 제공한다. 망막에 실제로 초점이 맞추어지는 광선에 대하여, 이 광선은 눈 동공이 위치되는 원 내부의 동공 범위에 부딪히는 것이 추가적으로 필요하다. 망막에 잠재적으로 도달하는 광선의 완전한 집합은 플렌옵틱(plenoptic) 함수 L의 도메인을 정의한다.
HMD를 위한 LFD의 주요 관심사는 컨버전스(convergence) 기능 및 원근 조절(accommodation) 기능 사이에 나타내는 차이로 인한 시각적 피로를 방지하는 것이다. 컨버전스는 양안에 전송된 이미지들 사이의 차이와 관련된다. 원근 조절은 눈에 개별적으로 영향을 미치는 기능이다. 원근 조절 기능은 관찰 거리가 1 내지 2 mm보다 작을 때 발효된다. 인간의 시각상의 원근 조절은 "폐루프" 네가티브 피드백 제어되는 메커니즘으로서 기능하며, 망막 상에 제공되는 감각 정보는 뇌에서 처리되어 이미지의 원하는 부분에 초점이 맞추어질 때까지 눈의 광학력(optical power)을 변경시킨다(Shrikant R. Bharadwaj, "Accomodation Mechanisms" in Handbook of Visual Optics, P. Artal ed., CRC Press, 2017). LFD에서 충분한 원근 조절을 성취하기 위하여, 중심와에 이미징되는 광선의 여러 펜슬이 가상적으로 소정의 점으로부터 나오는 것이 필요하다. 모든 이러한 펜슬은 거의 평행할 것이다. 이들 사이의 차이는 눈 동공 지름과 눈까지의 가상 점 거리에 의존한다. 4mm의 눈 동공 지름을 갖는 예를 들면, 750 mm에 위치된 가상 점이 than tan -1(4/750)≒0.3 도보다 더 크지 않은 차이를 갖는 펜슬들에 의해 디스플레이될 것이다. 중요한 의문점은 얼마나 많은 이러한 펜슬이 충분한 원근 조절을 성취하는데 필요한 가이다. Huang 2014는 뇌가 충분한 원근 조절을 찾을 수 있게 하는 망막 블러의 타당한 근사화를 성취하기에는 3×3 펜슬 집합이 충분하다고 제시한다.
전술된 바와 같이, 안구에 부딪히는 모든 광선이 인간의 시각에 대하여 동일하게 중요한 것은 아니다. 가장 중요한 광선은 중심와에 초점에 맞추어진 것이며, 그 다음은 눈 동공을 가로지르는 나머지 광선이다. 나머지 광선, 즉 눈 동공 외부의 동공 범위와 부딪히는 광선은 각막에 도달하지 않기 때문에 쓸모 없다. 광선의 상대적 중요성은 광선이 부딪히는 각막의 위치의 시력(visual acuity)에 비례하여 정량화될 수 있다. 인간의 시력 대 각막 상의 위치는 잘 알려져 있는 함수이다(예를 들어, https://en.wikipedia.org/wiki/Visual_acuity 또는 Fig 5-14 in Gr
Figure 112020121504537-pct00003
sser, Gr
Figure 112020121504537-pct00004
sser-Cornehls: Physiology of vision, in: Fundamentals of Sensory Physiology, 3rd edition, 1986 또는 Linda Lundstroem and Robert Rosen, "Peripheral aberrations" in Handbook of Visual Optics, P. Artal ed, CRC Press, 2017 참조). 이 함수는 중심와의 중심에서 강한 최대 피크를 가지며 이른바 맹점(blind spot)에서 0에 도달하는 뚜렷한 노치를 가진다. 이 함수의 피크는 대략 1.5도의 매우 좁은 범위에서 1 (arc minute)-1에 도달한다. 눈의 초점이 무한대에 맞추어질 때, 시력 Ve는 대략적으로 단지 주변 각도 β = cos-1(θ·γ)의 함수이다.
눈 동공 위치를 알지 못할 때(단지, 이는 동공 범위 내에 있어야만 한다), 인간의 시각에 대한 광선의 중요도 w(x, y, x', y'와 같은 4개의 좌표를 특징으로 하거나, 대안적으로 2개의 단위 벡터 α, θ를 특징으로 할 수 있다)는 눈이 방향 γ를 응시하고 있을 때 그 광선에 대한 시력 Ve의 평균값, 그 위치 p(γ)에서 눈 동공을 발견할 확률 밀도 함수 및 동공 전달(transmission)의 곱에 비례하도록 설정될 수 있다. 우리는 시력 Ve가 입사하는 광선과 응시 벡터에 의해 형성된 각도에만, 즉 β = cos-1(θ·γ)에만 의존한다고 가정한다. 평균된 값이 동공 범위 내의 모든 가능한 동공 위치에 대하여 취해져야 하고, w(α, θ)=∫P(α·γ), Ve(θ·γ)p(γ)dΩ γ 이며, 여기에서, 전술된 바와 같이, dΩ γ 는 입체각의 미분이고, P(α·γ)는 동공의 전달 함수이다. 적분은 동공 범위에 대하여 연장된다.
45° 이상의 도약 안구 운동(saccadic eye movement)이 가능하더라도, 실제 시청에 있어서 이러한 안구 운동은 극히 드물다: 매우 작은 안구 운동(<1°)을 제외하면, 도약 안구 운동의 거의 90%는 15° 이하의 진폭을 가지며, 수평, 수직 및 사선 방향으로 유사한 패턴이 관찰된다(Andrew J. Anderson, "Eye Movements" in Handbook of Visual Optics: Fundamentals and Eye Optics, Volume One, P. Artal ed., CRC Press 2017). 또한, PCT6에 설명된 바와 같이, 눈에 가장 가까운 렌즈 표면의 출구 표면의 투명한 어퍼처에 의해 생성되는 원축 오차(vignetting) 때문에, 통상적인 HMD에서의 디지털 디스플레이의 주변 영역은 응시 가능하지 않다(주변 시각(peripheral vision)으로만 볼 수 있다). 이 결과는 우리가 더 안전하도록 보통 ±20 내지 ±30 도로 설정하는 동공 범위를 정의한다.
광학적 설계 목적으로, 우리는 일부 위치에서 눈 동공을 발견할 확률 p(γ)가 일정하거나 동공 범위 내에서 작은 변동을 가진다고 가정할 수 있다. 이 경우에, 가장 중요한 광선들은 안구와 부딪힐 때 눈의 중심 부분을 향한다는 것을 공통으로 공유하거나, 다른 말로 하면, 눈이 안구 캐비티(eye cavity) 내부에 있지 않다고 가정하면, 이러한 광선들 모두가 눈의 중심을 통과할 것이어서, 중심에 가장 가까운 것이 가장 중요한 것이 된다(대략적으로).
도 4는 인간의 눈에 대하여 전술된 특성의 일부를 도시한다. 요소(400)는 동공(502)을 통해 눈에 들어가고 안구(401)의 뒤쪽에서 중심와(403)에 초점이 맞추어지는 작은 각도(404)에 걸친 광선 번들을 방출하는 광 필드 디스플레이(LFD)이다. 중심와(403)에 초점이 맞추어지는 광선 번들(404)은 고해상도를 필요로 한다. 또한, 중심와 외부의 위치(405)에 초점이 맞추어지고 따라서 고해상도를 필요로 하지 않는 광선(406)이 도시된다.
인간 시각 적응형 광 필드(Human-Vision-Adapted Light Field(HVALF))
우리는 펜슬 밀도가 중심와 내로 잠재적으로 이미징될 수 있는 펜슬 집합에 대하여 최대이고 펜슬의 중심와에 가장 가까운 망막 이미지 점이 중심와로부터 멀어짐에 따라 감소하는 광 필드 펜슬 이산화(discretization)를 인간 시각 적응형 광 필드(HVLF)라 한다. 더 정확하게는, x, y가 가상 스크린이라고 불릴 안구 중심에 중심을 둔 큰 반지름의 구 상의 2개의 표면 좌표가 되고, x', y'가 눈 중심을 포함하고 눈의 전방 방향을 정의하는 직선에 수직인 평면 상의 다른 2개의 표면 좌표가 되도록, 공간 x-y-x'-y'를 고려한다. 이러한 좌표계는 머리에 대하여 고정된다.
플렌옵틱 함수의 정의의 도메인은 이 공간 x-y-x'-y'의 영역이다. 이 도메인은 최대로 눈이 회전하고 있을 때 망막에 잠재적으로 도달하는 광선의 완전한 집합을 나타낸다. 실제로, 이 도메인은 눈의 중심에서 FOV 각도를 대하는 x, y의 영역으로부터 나오는 (동공 범위 내의 임의의 동공 위치에 대하여) 동공을 잠재적으로 가로지르는 광선의 집합이다. 광 필드가 이산화될 때, 이 도메인은 펜슬이라 불리는 영역들로 분할되며, 이들의 각각은 광선의 4 파라미터 집합을 포함한다(각각의 광선은 x-y-x'-y' 공간의 점에 의해 표현된다). 2D 이미지가 서브 픽셀로 이산화되고 동일한 서브 픽셀로부터 방출되는 광선이 본질적으로 동일한 휘도(L) 및 색상을 갖는 종래의 디스플레이에서와 동일한 방식으로, LFD의 경우에, 플렌옵틱 함수가 펜슬에서 이산화되고, 동일한 펜슬에 속하는 광선은 본질적으로 동일한 휘도(L) 및 색상을 갖는다.
도 5는 안구의 중심(506)을 통과하고 전방 방향에 수직인 평면 x', y'와 눈으로부터 먼 거리(Δ)(501)에 있는 표면 x, y를 도시하는 구성을 도시한다. 502 또는 p를 일반적인 펜슬이라 하자. 이의 광선 표현은 점 xP,　yP,　x'P,　y'P 주위의 x-y-x'-y' 공간의 영역을 형성한다. 눈 동공(503)에 들어가는 펜슬만이 가시적일 것이며, 따라서 502는 가시적이지 않다. 눈은 도 5의 예에서 전방을 향하여 응시하고 있고, 따라서 동공은 직선(508)에 수직이다. 각각의 펜슬은 영역(504)에서 평면 x', y'를 만나고 영역(505)에서 평면 x, y를 만나는 직선의 4 파라미터 집합이다. 영역(504, 505)은 반드시 직사각형이지는 않다. 평면 x', y'와의 펜슬의 교점은 i 픽셀이라 하고, 평면 x, y와의 펜슬의 교점은 펜슬 프린트(Pp)라 한다. 교점들은 광선의 자유 공간 궤적의 적선 연장으로, 즉 눈 캐비티가 비어 있는 것처럼 계산된다.
좌표 x', y'의 원점은 눈의 중심(506)에 있고, 좌표 x, y의 원점은 평면 x', y'와 표면 x, y에 수직인 선(508) 상의 위치(507)에 있다. 동공(503)이 눈의 중심(506)에 대하여 회전할 수 있다는 점에 주목하라.
HVALF는 원점까지의 거리가 증가함에 따라 x', y' 평면 상에서 또는 x, y 가상 스크린 상에서(바람직하게는 양 표면 상에서) 펜슬 밀도가 감소하도록 하는 x, y 가상 스크린 및 x' y' 평면 상의 펜슬 분포를 갖는 광 필드 이산화이다. 펜슬 밀도가 x', y' 평면에서의 원점으로부터 감소할 분만 아니라 x, y 가상 스크린에서의 원점으로부터 감소하는 HVALF는 사용 가능한 펜슬을 더 양호하게 활용한다. 이 전략은 가상 스크린 및 동공 범위 모두에서의 펜슬의 밀도가 대략 일정한 종래의 전략에 비교할 때 동일한 개수의 펜슬에 대하여 인지된 해상도에서의 증가를 가능하게 한다.
점 xa, ya, x'a, y'a에서의 위상 공간 내의 펜슬 밀도를 위상 공간 영역 (x-xa) + (y-ya)2 ≤ R'2 및 (x'-x'a) + (y'-y'a)2 ≤ R'2의 광선 중에서 발견되는 상이한 펜슬의 개수를 이 2개의 원을 만나는 광선에 의해 정의되는 위상 공간 부피로 나눈 것으로 정의하자. R 및 R'는 상수이고, 예를 들어, R' = 2mm이고, tan-1(R/Δ) = 1.5 도이며, 여기에서 Δ는 눈의 중심으로부터 가상 스크린까지의 거리이다. 여러 펜슬 밀도가 비교된다면, R 및 R'는 자신의 값을 유지하여야 한다.
점 xa, ya, x'a, y'a에서 펜슬 밀도를 측정하기 위한 하나의 가능한 방법은 각각의 펜슬을 하나씩 조명하고 x'a, y'a에 중심이 있고 평면 x', y'에 배치된 반지름 R'를 갖는 원형 비이미징(nonimaging) 디텍터에 의해 인터셉트된 펜슬의 방사선을 수집하는 것에 의한다. 가상 스크린의 점 xa, ya에 배치된 반지름 R을 갖는 어퍼처 스톱을 또한 시뮬레이션하기 위하여, 도 6의 광학 배열이 사용될 수 있다. 요소(601)는 왼쪽으로 향하여 방출되는 펜슬을 가지며 밀도가 우리가 측정하고자 하는 것인 광 필드를 생성하는 광학 기기이다. 상기 광학 기기(601)는 가상 이미지(606)를 생성한다. 이 광학 배열은 반지름 R'의 원형 어퍼처(609)를 갖는 얇은 렌즈(604)와 함께, 실드(603) 및 얇은 렌즈(604)로부터 멀리 배치된 반지름 r'의 원형 활성 영역을 갖는 광 다이오드 센서(602)로 구성되어, 광 다이오드만이 원(608), 즉 원 (x-xa) + (y-ya)2 ≤ R2 내의 가상 스크린의 점으로부터 나오는 방사선을 수신한다. 렌즈 어퍼처(609)는 눈(605)의 중심(607)을 포함하는 평면 x', y'에 있다. 예를 들어, R' = 2 mm, tan-1(R/Δ) = 1.5 도 및 Δ = 2 m이면, 어퍼처 지름 4 mm 및 유효 초점 길이 f = 19.3 mm를 갖는 렌즈는 광 다이오드가 적합한 평면에 배치된다면, 1 mm 지름(활성 영역)의 원형 광 다이오드와 함께 원하는 성능을 성취할 것이다. 이 광 다이오드는 xa, ya의 상이한 값들을 스캔할 수 있도록 렌즈 축에 수직인 이 평면에 걸쳐 이동 가능해야 하고, 렌즈 어퍼처(609)가 상이한 x'a, y'a 값을 스캔하기 위하여 x', y' 평면에 걸쳐 이동되도록 전체 광학 배열은 이동 가능해야 한다. 여러 펜슬의 동시 검출은 상이한 초핑(chopping) 주파수를 갖는 초핑된 광으로 각각의 펜슬을 조명함으로서 수행될 수 있다. 광 다이오드의 광 전류를 분석함으로써, 예를 들어 스펙트럼 분석기를 이용하여, 수집된 방사선의 상이한 초핑 주파수를 검출하고 이에 따라 톤 디코더(tone decoder)가 검출하는 방식과 유사한 방식으로 상이한 수집된 펜슬을 검출할 수 있다.
눈 상자 허용 오차(eye box tolerance)
시청 광학 기기의 눈 상자(eye box)는 눈 동공이 디스플레이되는 이미지의 만족스러운 비전(vision)을 갖도록 위치되는 영역으로서 정의된다. 눈이 회전할 수 있기 때문에, 디스플레이에 대한 허용 가능한 눈 위치의 더 나은 특성화가 눈 중심의 허용 가능한 위치와 허용 가능한 범위의 방향을 포함하는 입체각을 결정함으로써 제공된다.
도 7은 다음과 같을 수 있는 눈 위치 허용 오차 특성의 일례를 도시한다: 허용 가능한 눈 중심 위치의 집합은 명목 눈 중심 위치에 중심을 둔 2.5 mm 반지름의 구(704)이며, 허용 가능한 응시 방향의 범위(705)는 전방 방향 주위로 30도의 반각 원뿔이다. 시야(field of view(FOV))가 주변 시각을 또한 포함하기 때문에, 허용 가능한 방향의 범위는 FOV가 아니라는 점에 주목하라. 허용 가능한 응시 방향의 범위는 무시할 만한 동공 크기에 대한 동공 범위와 일치한다. 따라서, 허용 가능한 응시 방향의 범위를 특성화하기 위한 다른 방법은 동공 범위이다(모든 인정되는 눈 동공 위치를 포함하는 롤링하는 동공 구의 범위).
도 7을 다시 참조하고, 13 mm의 눈 반지름과 2 mm의 눈 동공 반지름(702)을 고려하라. 그러면, 이전의 눈 위치 허용 오차 특성은 2×(13×sin(30)+2.5+2×cos(30))≒21.5 mm의 베이스 지름(706)과 2×2.5 = 5 mm의 높이(707)의 원통 형상을 갖는 눈 상자(703)에 대략 대응한다.
일반적으로, 눈 상자는 전방 방향(708)으로의 특정 허용 오차가 없는 표면으로서 특정된다. 이러한 사양에서, 본 예의 눈 상자는 도 7의 원통의 중심 단면에 대응하는 지름 21.5 mm의 원일 수 있다.
도 8은 어느 광선이 중심와에 잠재적으로 도달하는지를 정의하는 눈의 가능한 운동을 도시한다. 여기에서, 광선 번들(800)은 고해상도를 요구한다. 눈 동공은 상이한 방향으로 응시하기 위하여 눈이 회전함에 따라 상이한 위치(701)에 있을 수 있다. 눈 캐비티의 중심에서의 구형 요소(802)는 고해상도를 필요로 하는 광선 번들이 가로지르는 4 mm 지름의 동공에 의해 정의된다. 이 구형 요소의 지름은 다음의 여러 이유로 동공 크기에 대하여 증가된다: 1) 중심와로 전송되는 광선의 각도 차이(±2.5 도), 2) 눈 중심 허용 오차 및 3) 전술한 카파 각도. 모든 이러한 인자들은 이 구를 8 내지 12 mm까지의 지름으로 증가시킬 수 있다. 제1 기준 평면(눈 캐비티 중심을 통과하는 평면 x', y')과의 이 구의 교선은 중심와 기준 원이라 불린다.
원근 조절 및 주변 펜슬(accommodation and peripheral pencils)
도 9는 종래의 (비 LF) 디스플레이를 도시한다. 이 디스플레이는 이의 임의의 펜슬(901)이 전체 눈 상자(902)를 인터셉트하는 특정 LFD로서 고려된다. 이 예에서, 렌즈(903)는 o 픽셀(904)의 가상 이미지(905)(i 픽셀)를 형성한다. i 픽셀(905)로부터 나오고 렌즈 어퍼처(903)의 윤곽 내부를 통과하는 광선은 펜슬을 형성한다. 상기 i 픽셀(905)은 전체 눈 상자(902)로부터 가시적이다. 우리는 눈 상자 상의 점에서 핀홀 카메라가 보는 가상 스크린(906)의 이미지, 즉 펜슬이 그 점이 통과하는 i 픽셀 세트를 그 점으로부터의 가상 스크린의 뷰(view)라 부른다. 가상 스크린이 눈으로부터 멀리 있고 임의의 펜슬이 전체 눈 상자를 조명하기 때문에, 눈 상자의 점들로부터의 가상 스크린의 뷰들은 이 경우에 본질적으로 동일하다.
종래의 (비 LF) 디스플레이의 거의 모든 펜슬은 동공 범위를 완전히 커버하고 중심와 기준 원을 완전히 커버하는 펜슬 프린트를 가진다. 이러한 유형의 펜슬 중 여러 개의 합집합은 유용한 3D 픽셀을 생성하지 않으며, 따라서 이러한 유형의 펜슬은 가변 심도 원근 조절을 획득하는데 쓸모 없다.
우리는 펜슬 프린트가 중심와 기준 원의 외부에 완전히 있고 동공 범위의 상당한 영역을 인터셉트하는 펜슬을 주변 펜슬이라 부른다(동공 범위를 인터셉트하지 않는 광선은 고려되지 않는다. 일부 비 LF 디스플레이는 가끔 이러한 유형의 펜슬들을 사용한다. 예를 들어, "PCT6"에서 펜슬의 i 픽셀은 가상 스크린의 외부 영역에 있다. 이 i 픽셀은 렌즈 림이 직접적인 뷰를 차단하기 때문에 응시 가능하지 않다.
종래의 LFD 설계에서, 펜슬은 전체 눈 상자를 인터셉트하지 않으며, 결과적으로 가상 스크린의 뷰는 눈 상자의 상이한 점들에 대하여 더 이상 동일하지 않다. 눈 동공 상의 펜슬 스폿은 원근 조절 과정에 개입할 수 있도록, 즉 다른 유사한 펜슬과 함께 3D 픽셀을 형성할 수 있도록, 동공 크기보다 작아야만 한다. 눈 동공이 눈 상자의 임의의 위치에 있을 수 있기 때문에, 눈 상자 전면(또는 이에 평행한 임의의 단면) 상의 펜슬 교점의 밀도는 종래의 LFD에 대하여 일정하다. 이것은 "Lanman 2013"에 설명된 LFD의 경우이다.
우리는 펜슬 프린트가 중심와 기준 원을 부분적으로만 커버하는, 일반적으로 이 원의 작은 부분만을 커버하는 펜슬을 원근 조절 펜슬이라 부를 것이다. 이러한 부분적은 커버는 허용 오차 내의 안구의 중심의 임의의 위치에 대하여 발생하여야 한다. 그러면, 원근 조절 펜슬은 동공 범위의 작은 부분을 커버한다. 종래의 LFD에서, 가상 3D 픽셀로부터 나오는 여러 펜슬이 눈 동공을 가로지르고 중심와에 초점이 맞추어질 것을 원근 조절이 요구하기 때문에, 이의 펜슬의 전부는 원근 조절 유형이다. 이것은 단지 동공을 부분적으로만 커버하는 원근 조절 펜슬만을 이용하여 성취 가능하다. 모든 동공을 커버하는 펜슬은 원근 조절 목적을 위하여 다른 펜슬을 "가릴(blind)" 수 있다.
도 10은 눈 동공(1002) 내부로 떨어지고, 따라서 원근 조절 과정에 참여할 수 있는 원근 조절 펜슬(1001)을 도시한다. 명확성을 위하여, 눈 동공과 안구는 이 도면에서 배율에 맞게 도시되지 않는다. o 픽셀(1003)으로부터 방출되고 렌즈(1004)에 의해 재지향된 광은 동공(1002)에 들어간다. 펜슬 프린트(1005)는 동공보다 작고, 중심와 기준 원 내에 있다.
중심와에 도달하는 펜슬의 부분만이 원근 조절 과정에 개입한다. 결과적으로, 주변 각도에서 눈에 도달하는 광선(따라서, 중심와에 결코 도달하지 않는 광선)이 주변 펜슬에 속한다면, 정보량 및 전체 o 픽셀 카운트를 절약하는 것이 획득될 수 있다. 물론, 이것은 가상 스크린의 외부 영역(응시 가능한 영역이 아니며, 따라서 이의 광선은 중심와에 결코 도달하지 않을 것이다)을 커버하는 모든 광선을 포함하며, 또한 주변 영역에서 눈에 도달하는 응시 가능한 영역으로부터의 광선을 포함할 수 있다.
상이한 펜슬의 개수를 최소화하고 원근 조절 과정을 여전히 가질 목적으로, HVALF는, 펜슬의 광선 중 어느 것도 LFD의 정상적인 사용에서 중심와에 도달하지 않을 때, 이의 광선의 일부(또는 전부)가 중심와 및 주변 펜슬에 잠재적으로 도달할 수 있는 경우에 그리고 그러한 경우에만 원근 조절 펜슬을 사용한다.
만족스러운 원근 조절 과정을 위하여, 3D 픽셀 당 여러 상이한 펜슬(또는 펜슬의 부분)이 권장된다. Huang 2014는 여기에서 3D 픽셀 당 9개의 상이한 펜슬로 변환될 수 있는 9개 뷰의 최소 개수를 권장하지만, 실제로는 4개가 충분할 수 있다.
또한, 이러한 2개 종류(원근 조절 및 주변)의 펜슬은 이들이 설계되어야만 하는 눈 수용기(receptor)의 유형에서 상이하다. 원근 조절 펜슬은 원뿔에 대하여 설계되어야 하며, 주변 펜슬의 기본 수용기인 막대(rod)보다 더 높은 해상도와 더 높은 색상 감도를 갖는다. 그 다음, 펜슬의 개수의 추가 감소를 위하여, 색상이 원근 조절 펜슬에 대하여만 할당될 수 있는 반면, 주변 펜슬의 전부(또는 대부분)는 단색(백색 또는 녹색)이다. 이 상황에서, 주변 펜슬의 색 공간(color gamut)은 나머지 펜슬의 색 공간보다 작다.
적용예
g가 증가할 때 펜슬의 개수를 증가시키는 대신에, 우리는 A 및 B 함수를 계산하기 위하여 M의 적분 내부에 가중치 함수 w(x, y, x', y') 도입함으로써, 즉 에 의해, Huang 2015의 LFD(도 2 참조)에 우리의 전략을 적용할 수 있다. 이 함수 w는, 이전에 소개된 바와 같이, 광선 (x, y, x', y')의 중요도에 대략 비례하여야 한다. 그러면, 이 함수는 중심와에 도달할 수 있는 광선에 대하여 더 크고, 망막 상의 광선의 인터셉트 점과 중심와 사이의 거리가 증가함에 따라 감소한다. 이러한 방식으로, 함수 L에 대한 곱 AB의 최상의 근사화가 중심와에 도달할 수 있는 펜슬을 포함하는 도메인 R의 영역에서 얻어지고, 따라서, AB에 의한 L의 근사화에서 나타나는 해상도의 손실은 이러한 펜슬에 대하여 최소화된다. 가중치 함수 w(x, y, x', y')가 점 쌍 (x, y) = (0, 0) 및 (x', y') = (0, 0)으로부터 멀리 있는 구역에서 상대적으로 매우 낮은 값을 취하기 때문에, 그리고 노이즈가 낀 계산을 회피하기 위하여, 적분에서의 변수의 새로운 변수 u-v-u'-v'로의 변경을 고려하는 것이 유용할 수 있고, 이에 따라 새로운 변수에서 가중치 함수는 일원화된다(즉, w는 상기 변수 변경의 Jaconian의 역함수이다). 이 변수 변경이 분리되고 이에 따라 x, y가 u, v만의 함수이고 x', y'가 u', v'만의 함수이면, 변수 변경은 곡선 좌표에 대한 평면의 재매개변수화(reparametrization)에 대응할 것이다. 이의 수학적 해상도를 위한 u-v-u'-v'에서의 적분의 균일한 이산화는 x-y-x'-y'에서의 매우 불균일한 이산화를 시사할 것이며, 이는 ΔuΔvΔu'Δv' = 상수인 펜슬의 부피(또는, 역으로, 이의 밀도)는 눈의 중심와에 부딪힐 이의 가능성과 상관될 것이라는 것을 의미한다. 불균일한 이산화의 예 및 이를 생성하는 실시예가 아래에 개시될 것이다.
또한, 우리의 전략은 인지된 해상도(1도 당 검출된 픽셀로서 측정됨)가 가변적이고 이것이 렌즈가 나머지에 대한 것보다 더 긴 초점 길이를 갖는 중심와에(PCT1에서 이른바 선호 o 픽셀 또는 po 픽셀 주위로) 잠재적으로 초점이 맞는 디스플레이 픽셀에 대하여 최대가 되도록 각각의 마이크로렌즈를 최적화함으로써 Lanman의 LFD(도 3 참조)에 적용될 수 있다. 가변 배율을 갖는 렌즈의 광학적 설계는 PCT6에 개시된다. 또한, 우리의 전략은 가상 스크린의 응시 가능한 영역의 부분들을 이미징하는 마이크로렌즈의 클러스터에 더 많은 o 픽셀을 할당하고 나머지 클러스터에서의 다수의 o 픽셀을 희생함으로써 가상 스크린에서의 펜슬의 밀도에 적용될 수 있다.
도 11은 단일 표면에 의해 형성된 렌즈를 갖는 LFD 마이크로렌즈 어레이의 특정 케이스를 도시한다. 설계 자유도가 그 단일 굴절 표면으로 감소되기 때문에, 이의 프로파일은 데카르트 타원형(Cartesian Oval)(또는 이에 근접)이어야 한다. 도 11의 경우에, 마이크로렌즈 어레이(1101)는 어떠한 추가 굴절 표면 없이 디스플레이(1105)에 접합된다. 이것은 LFD에 기계적 안정성을 제공하여, 마이크로렌즈 어레이(1101)와 디스플레이(1105) 사이의 오정렬을 방지한다. 이 경우의 마이크로렌즈는 회전 대칭성을 갖지만, 그 대칭축(1102)들은 동일하지 않으며, 평행하지도 않다. 이러한 축들은 대략 클러스터의 중심 픽셀을 안구(1104)의 중심(1103)과 연결하는 직선이다. 인지된 해상도는 주변 각도가 증가함에 따라 감소하지만, 그 이유는 사용 가능한 o 픽셀의 효율적인 사용 때문이 아니라 초점이 아닌 점에 대하여 데카르트 타원형의 열악한 광학적 성능 때문이다. 마이크로렌즈의 이미지 품질을 개선하기 위하여, 공통의 단일 렌즈가 눈과 마이크로렌즈 어레이 사이에 배치되어 외부 마이크로렌즈가 디스플레이 표면에 대하여 매우 경사져서 작용하는 것을 방지할 수 있다. 그럼에도 불구하고, 이 아키텍처는 가변 배율을 가능하게 할 수 있는 가변 초점 길이를 갖기에는 충분한 자유도를 가지지 않는다.
또한, 인간의 시력과 대략 일치하는 가변 해상도를 성취하는 것이, 예를 들어, 마이크로렌즈의 광축 근처에서 더 작은 픽셀을 가지며 상기 광축으로부터 멀리 이동함에 따라 더 큰 픽셀을 갖는 디스플레이(1105)를 제조함으로써 획득될 수 있다. 이것은 각각의 채널의 주변부에서의 픽셀의 수를 감소시키고, 이에 대응하여, 계산되고 디스플레이될 정보가 감소한다.
인간의 시력과 대략 일치하는 가변 해상도를 성취하기 위한 다른 예는 디스플레이(1105)에서 모든 o 픽셀이 동일한 크기를 가지지만 각각의 채널의 광축 근처에 있을 때에만 개별적으로 이들을 어드레싱하고, 광축으로부터 멀리 이동함에 따라 예를 들어 2의 그룹으로, 더 멀리 이동함에 따라 3 픽셀의 그룹으로, 그리고 계속하여 동일한 방식으로, 픽셀을 어드레싱하는 것이다. 이 전략은 처리될 정보의 양을 감소시킨다.
이 경우에 하드웨어 수정에 의해 요구되는 다른 예는 디스플레이(1105)에서 모든 픽셀에 대하여 동일한 크기를 가지는 것이지만, 각각의 채널의 광축 근처에서만 개별적으로 이들을 배선 연결하거나 어드레싱하고, 그 다음 광축으로부터 멀리 이동함에 따라 예를 들어 2의 그룹으로, 더 멀리 이동함에 따라 3 픽셀의 그룹으로, 그리고 계속하여 동일한 방식으로, 픽셀을 배선 연결하는 것이다.
도 12는 각각의 채널이 2개의 렌즈(1204, 1203) 및 디스플레이(1201) 상에 배치된 추가 굴절 요소(1202)로 구성된 가변 초점 길이 디자인(PCT6에 개시됨)을 도시한다. 디스플레이의 모든 픽셀(o 픽셀)은 동일한 크기를 갖는다. 이러한 광학 기기들은 함께 중심 방출 방향에서 고해상도 이미지를 투사하고(작은 배율 때문에) 더 넓은 각도에서 더 낮은 해상도의 이미지를 투사하여(더 큰 배율로 인하여), 인간의 눈의 가변 시력과 일치하는 가변 배율 채널을 생성한다. 일반적으로, 이러한 광학 기기는 자유형(free-form)일 수 있으며, 이의 고해상도 방출 방향은 눈의 중심을 향할 것이다. 이러한 마이크로렌즈 어퍼처의 각각은 눈 동공보다 더 작고, 여러 펜슬이 동공에 들어가서 원근 조절(accommodation)을 가능하게 할 수 있도록 설계된다.
도 13은 도 12의 실시예의 일부 예시적인 특성을 도시한다. 곡선(1301)은 오른쪽에서 수직축(초점 길이(mm)) 상에서 측정된 각도 θ(도 12 참조)의 함수로서 광학 기기의 초점 길이 변동을 도시한다. 초점 길이는 f = dy/dθ로 정의되고, 여기에서 dy는 디스플레이(1201)를 따르는 변위이고, dθ는 각도 θ에서의 대응하는 변동이다.
곡선(1303)은 왼쪽의 수직축(RMS(㎛))에서 측정된 각도 θ의 함수로서 디스플레이(1201)에서의 제곱 평균(Root Mean Square(RMS)) 스폿 크기를 도시하고, ㎛는 미크론(10-6)을 나타낸다. 곡선(1302)은 디스플레이(1201) 상으로 "투사된(projected)" 인간의 눈의 해상도를 도시한다. 각도 θ에서 인간의 눈은 각도 Δθ를 해상하고(resolve), Δθ는 선 쌍(하나의 흑색 선과 하나의 백색 선)의 각도 폭이라고 가정하자. 곡선(1302)은 f(θ)tan(Δθ)를 나타내고, f(θ)는 각도 θ에서의 광학 기기의 초점 길이다.
응시 추적(gaze tracking)
HMD에서, 하드웨어는 일반적으로 머리에 대하야 고정된다. 이것은 광학계를 포함한다. 그 기준 시스템을 이용하면, 가능한 유일한 눈의 운동은 이의 중심 주위로의 회전이다. 임의의 순간에 눈 동공의 각도 위치를 아는 것(응시 추적)은 HMD의 성능을 증가시키는데 사용될 수 있지만, 이의 컴포넌트의 일부는 이 정보로부터 이점을 가지지 않을 수 있다. 특히, 광학계는 일반적으로 이동이 거의 없거나 없는 고체 재료로 이루어지며, 따라서, 이전에 살펴본 바와 같이, 이 운동의 통계(응시 가능한 영역, 평균 도약 운동)를 이용할 수 있지만, 눈의 순간적인 위치를 이용할 수 없다. 그럼에도 불구하고, HMD의 다른 양태들은 응식 추적을 이용할 수 있다. 예를 들면, 이미지 렌더링 컴퓨터 프로세싱이다. 이 경우에, 중심와에 도달하는 3D 픽셀(또는 시청자까지의 이미지의 거리가 렌더링되지 않는다면, 즉 원근 조절(accommodation)이 포함되지 않는다면, i 픽셀)만을 고해상도로 렌더링할 것이다. 중심와 외부의 망막에 도달하는 다른 3D 픽셀은 더 낮은 해상도로 렌더링될 수 있다. 상기 3D 픽셀은 더 넓은 각도(주변 각도)에 대한 시력에서의 감소와 일치하는 해상도로 렌더링될 수 있다. 이것은 높은 밀도의 펜슬 정보가 중심와에 대하여 요구되지만, 더 낮은 밀도의 펜슬이 중심와 외부의 망막에 도달하는 광에 대하여 사용될 수 있다는 것을 의미한다. 동공(또는 중심와) 위치를 아는 것은 프레임과 프레임 사이에 사용 가능한 제한된 시간 내에 이미지 렌더링을 위하여 리소스를 최적화하는 것을 가능하게 하지만, 이것이 프레임 레이트로 또는 그보다 더 빠르게 조정될 수 있는 부분을 가지지 않다면 광학계에 조력하지 못한다. 이러한 조정 가능한 광학 기기의 하나의 사소한 예는 동공을 완벽하게 추적하고 중심와로 지향되는 광선에 지속적으로 영향을 미치는 콘택트 렌즈이다.
광학계가 응시 추적을 가지지 않을 때, 동공 범위 내의 동공의 위치는 미지이다. 동공은 임의의 방향으로 보고 있을 수 있으며, 모든 응시 가능한 i 픽셀은 고해상도로 렌더링되어야 한다. 눈이 한 방향으로 볼 때, 이는 그 방향으로 고해상도 이미지를 본다. 고해상도 이미지의 나머지는 주변 비전의 일부가 되고, 더 넓은 각도로 동공에 들어가며, 눈에 의해 완전하게 해상되지 않는다.
본 발명의 위상 공간 설명
전술된 바와 같이, 시스템 내의 각각의 광선 위치 및 방향은 4개의 파라미터(x, y, x', y')에 의해 설명된다. 이 공간은 쉽게 표현될 수 없다. 그러나, 본 발명의 실질적인 이해는 또한, 예를 들어, 평면 (x, x'), 즉 안구 중심을 통과하고 좌우축에 수직인 평면을 통한 상기 공간의 단면만을 고려함으로써 획득될 수 있다. 이 상황에서, 이 평면 내에 포함된 각각의 광선은 2개의 파라미터에 의해 설명될 수 있다. 이들은 (x, x') 또는 일부 다른 2개의 파라미터일 수 있다. 아래의 설명은 광선을 설명하기 위하여 2개의 각도 파라미터를 사용한다. 그 이유는 눈 동공이 눈의 중심 주위로 회전하고(그 회전은 각도에 의해 설명될 수 있다), 눈 해상도는 응시 방향에 대하여 각도에 따라 변동하기 때문이다.
도 14는 광선(1401)을 설명할 때 사용되는 좌표를 도시한다. 눈은 반지름(1402)을 가지며, 각도 α는 광선(1401)이 부딪히는 안구의 표면 상의 점(1403)의 위치를 정의한다. 각도 β는 광선(1401)의 방향을 정의한다. 그러면, 각도 α 및 β는 눈에 부딪히는 광선(1401)을 완전히 정의한다. 동공(1405)은 눈의 중심(1404)으로부터 볼 때 각도 φ에 걸쳐 있다. 동공의 중심은 수평에 대하여 각도 γ만큼 경사진다. 각도 γ 및 φ는 눈 동공의 위치 및 크기를 정의한다. 광선(1401)은 수평에 대하여 각도 θ = α+β를 이룬다.
도 15는 2개의 광선 다발을 도시한다. 이 다발 중 하나는 제한된 범위의 α 값과 함께 β = βA = 상수를 가진다. 이의 광선은 원(1501)에 접하며, 제한된 범위의 α 값 때문에, 이들의 모두는 위치 x'A 근처에서 축 x'를 만난다. 따라서, β = βA인 광선은 대략 x' = x'A를 입증한다. 다른 번들은 β = βB = 상수를 가지며, 또한 동공 범위 내의 α 값을 가진다. 이의 광선은 원(1502)에 접하고, 위치 x'B 근처에서 축 x'를 만난다. 따라서, β = βB인 광선은 대략 x' = x'B를 입증한다. 이 근사를 이용하여, 광선을 식별하는데 필요한 파라미터들 중 하나로서 β 또는 x'를 이용할 수 있다.
도 16은 축 x 상의 위치 x = xA로부터 방출된 광선 번들을 도시한다. 축 x가 눈으로부터 (눈 지름에 비하여) 먼 거리(1601)에 있다면, x = xA = 상수인 광선은 대략 θ = θA = 상수를 입증한다. 이 근사화를 이용하여, 광선을 식별하는데 필요한 파라미터들 중 하나로서 θ 또는 x를 이용할 수 있다.
도 17은 적어도 전체 동공 범위를 채우는 광선 번들(1702)을 방출하는 광학 기기의 어퍼처(1701)를 도시한다. 이 예에서, 이들은 평행한 광선들이고,무한 거리에서의 3D 점으로부터 나오는 것으로 보인다. 동공이 들어오는 광선을 향하는 위치(1703)에 있을 때, 중심와는 위치(1704)에서 지름 방향으로 반대에 있게 된다. 그 경우에, 서브 번들(1705)이 동공에 들어가고 중심와(1704)에 초점이 맞추어진다. 눈이 회전하고 동공이 위치(1706)에 있을 때, 중심와는 위치(1707)에서 지름 방향으로 반대에 있게 된다. 그 경우에, 서브 다발(1708)이 동공에 들어가고, 중심와(1707)로부터 멀리 있는 위치(1709)에 초점이 맞추어진다.
도 18은 적어도 전체 동공 범위를 채우는 광선 번들(1802)을 방출하는 광학 기기의 어퍼처(1701)를 도시한다. 이 예에서, 이들은 평행한 광선들이고,무한 거리에서의 3D 점으로부터 나오는 것으로 보인다. 동공이 들어오는 광선을 향하는 위치(1803)에 있을 때, 중심와는 위치(1804)에서 지름 방향으로 반대에 있게 된다. 그 경우에, 서브 번들(1805)이 동공에 들어가고 중심와(1804)에 초점이 맞추어진다. 눈이 회전하고 동공이 위치(1806)에 있을 때, 중심와는 위치(1807)에서 지름 방향으로 반대에 있게 된다. 그 경우에, 서브 다발(1808)이 동공에 들어가고, 중심와(1807)로부터 멀리 있는 위치(1809)에 초점이 맞추어진다.
도 19는 광학 기기의 어퍼처(1701)를 포함하는 구성을 도시하며, 도 18에서의 광선(1705) 또는 도 18에서의 광선(1805)과 같이 중심와에 잠재적으로 도달할 수 있는 광선만을 고려한다. 눈이 원근 조절하기 위하여는 몇 개의 광선이 충분하며, 그 이유로, 단지 몇 개의 광선이 번들(1901, 1902, 1093)에 필요하다. 이 광선들은 위치(1904, 1905(눈의 중심), 1906) 근처에서 축 x'를 가로지른다. 따라서, 원근 조절을 가능하게 하기 위하여, 중심와에 도달할 수 있는 광선이 점들의 작은 집합(이 예에서, 1904, 1905, 1906)에서 축 x'와 가로지르게 하는 것이면 충분하다.
도 20은 도 19와 동일한 광선 다발(1901, 1902, 1903)을 도시하지만, 거기에 눈이 없다고 가정하는 경우의 이들의 궤적을 도시한다. 이 광선들은 위치(2001, 2002, 2003) 근처에서 눈의 중심을 통해 축 x'를 만난다. 중심와에 잠재적으로 도달하는 광선에 대한 원근 조절을 가능하게 하기 위하여, 축 x' 상의 몇 개의 위치를 가로지르는 광선을 기록하는 것이면 충분하다. 그러면, 광 필드는 위치(2001, 2002, 2003)에 배치된 카메라의 작은 집합에 의해 기록될 수 있다. 이 기록은 또한 주변 비전에 대하여 사용될 수 있지만, 주변 비전이 눈 캐비티 중심 근처를 통과하지 않을 것이기 때문에 그것은 근사화이다.
도 21은 동공(2101)에 들어가서 중심와(2102) 상에 떨어져 있는 물체의 이미지를 형성하는 광선 번들을 도시한다. 중심와(2102) 상에 높은 밀도의 초점들(고해상도)을 가지기 위하여는, 들어오는 광선에 대하여 높은 밀도의 방향 θ을 필요로 한다.
도 20 및 도 21에서의 구성을 조합함으로써, 중심와 상에서 원근 조절과 고해상도 이미지를 가능하게 하기 위하여, x'(또는 β - 도 15 참조)에서 낮은 밀도를 갖고 x(또는 θ - 도 16 참조)에서 높은 밀도를 갖는 파라미터 x'(또는 β) 및 x(또는 θ)에 의해 광선을 설명하는 것이 가능하다고 결론지어질 수 있다. x'(또는 β)에서의 낮은 밀도는 점(2001, 2002, 2003)에 의해 예시되고, θ(또는 x)에서의 높은 밀도는 도 21에서 각도 θ의 높은 각도 밀도에 의해 예시된다.
도 22는 어퍼처(2211)를 갖는 광학 기기 내로 바라보는 눈을 도시한다. 눈 동공은 동공 범위(2210) 내부에서 이동하며, 이는 각도 γ가 동공 범위(2210) 내에 있다는 것을 의미한다(동공 크기가 동공 범위를 γ 폭보다 약간 더 크게 만들기 때문에, 대략적이다). 눈에 도달하는 광선은 눈 중심을 통과하는 점선에 대하여 최대 각도 βM을 가진다. 또한, 광선(2201 내지 2208)이 도시된다.
가상 현실(Virtual Reality(VR)) 애플리케이션에서, 광선(2201, 2202, 2203, 2207)은 바람직하게는 어퍼처(2211)의 상부 림으로부터 나오고, 유사하게, 광선(2204, 2205, 2206, 2208)은 이 어퍼처(2211)의 하부 림으로부터 나온다. 즉, VR의 출구 표면의 상기 림은 원축 오차(vignetting)를 생성한다. 대조적으로, FOV가 통상적으로 더 작은 증강 및 혼합 현실(Augmented and Mixed Reality(AR/MR)) 애플리케이션에서, 이러한 원축 오차는 일반적으로 생성되지 않으며, 광선(2201, 2202, 2203, 2207)은 대략 평행하고(더욱 정확히는 이들은 가상 스크린 상의 이미지의 상부 에지의 i 픽셀로부터 가상적으로 나온다), 하부 에지의 i 픽셀로부터 가상적으로 나오는 2204, 2205, 2206, 2208도 대략 평행하다.
도 23은 도 22에서의 광선이 (θ, α) 다이어그램에서 점으로 표현되는 다이어그램을 도시한다. 도 23 및 도 22에서 일치하는 도면 부호는 동일한 광선에 대응한다. 도 14에 도시된 바와 같이, 동공은 수평에 대하여 각도 γ만큼 회전되고, 각도 φ에 걸쳐 있다. 그러면, 동공에 들어가는 광선은 수학식 α = γ±φ/2로 주어지는 수평선들(2301) 사이에 포함되어야 한다. 동일한 3D 점으로부터의 상이한 광선들이 원근 조절을 가능하게 하기 위하여 동공에 도달하여야만 한다. 따라서, 각각의 3D 점에 대하여, 상이한 광선들은 선들(2301) 사이에 포함되어야 한다.
눈이 무한대에 초점이 맞추어지면, 중심와에 도달하는 광선들의 각도 차이(divergence)는 2θF이다. 이 광선들은 수학식 θ = γ±θF로 주어지는 수직선들(2302) 사이에 포함된다. 2301 및 2302에 의해 바인딩되는 영역을 만나는 것으로, 동공에 들어가서 중심와에 도달하는 광선의 직사각형(2303)을 얻는다. 이 직사각형의 중심은 항상 수학식 α = θ을 갖는 직선(2305) 상에 놓인다. 이 다어이그램에서, 각도 γ가 변동할 때(눈이 회전할 때), 선(2301)은 상하로 이동하고, 영역(2303)은 선 α = θ를 따라 자신의 중심을 유지하면서 다이어그램에 걸쳐 대각선으로 이동한다. 그러면, 2303의 운동의 경계를 짓는 선(2304)은 α = θ±(θF+φ/2)로 주어진다. 동일한 β 값을 공유하는 광선들은 θ-α = β = 상수인 선을 형성하고, 따라서, 선들(2304, 2305)은 α = 0일 때 θ의 값과 동일한 상수 값인 상수 β의 선들이다. 따라서, 선들(2304)에 대하여, β2 = -β1 = θF+φ/2이다.
이 그래프에서 수직선으로 표현된 광선 번들은 동일한 θ 값을 공유하는 광선들이다. 그러면, 이러한 종류의 번들은 무한대에 있는 점에 의해 방출된 광선을 포함한다. 무한대에 있는 3D 픽셀은 무한대에 있는 방출점의 작은 집합에 의해 형성된다. 그 다음, 무한대에 있는 3D 픽셀의 광선들은 이 (θ, α) 다이어그램에서 "두꺼운" 수직선에 의해 표현된다. 무한대에서의 해상도는 단위 θ 당 선들(2302) 사이의 이러한 두꺼운 선들의 밀도로서 측정될 것이다.
3D 픽셀의 위상 공간 설명
도 24는 3D 점(2401)에 원근 조절하고 망막 상에 이미지(2402)를 형성하는 눈을 도시한다. (θ, α) 다이어그램에서, 광선(2403)은 위치 (γ-δ, α2)에 의해 정의된다. 눈의 반지름이 알려져 있기 때문에, 각도 α2는 광선(2403)이 눈에 들어가는 점(2404)의 위치를 정의한다는 점에 주목하라. 따라서, 광선(2405)은 (γ+δ, α1)에 의해 정의된다. 중심 광선(2406)은 좌표 (γ, γ)에 의해 정의된다.
눈이 점(2401)에 원근 조절하고 있을 때, 중심와에 도달하는 광선은 정확히 |θ|=≤θF인 광선은 아니지만, 나중에 검토하려고 하는 바와 같이 수직선들은 약간 경사진다. 이것은 선들(2304)에 의해 경계가 지어지는 중심와 영역 리본의 정의에 영향을 미치지 않는다.
도 25는 도 23의 영역(2303)에서의 도 24의 광선(2403, 2405, 2406)의 좌표를 도시한다. 이 광선들은 경사진 선(2501) 상의 점들로서 표현된다. 눈에 더 가까운 3D 점(2401)이 더 큰 값의 각도 δ를 가질 것이며, 수직선(2501)은 수직에 대하여 더 큰 각도를 만들 것이라는 점에 주목하라. 또한, 무한 거리에서의 3D 점(2401)은 δ = 0을 가질 것이고, 선(2501)은 수직일 것이다. 눈으로부터 유한 거리에 있는 3D 점(2401)으로부터 나온 광선 번들은 (θ, α) 평면에서 직선을 형성하지 않지만, 이것이 직사각형(2303) 내에서는 직선을 형성한다고 근사화할 수 있다. 눈으로부터 거리 D에서 각도 αD를 이루는 3D 픽셀은 중심와에 잠재적으로 도달하는 광선에 대하여 직선 (α-αD)/(θ-αD)≒-D/re에 의해 근사화될 수 있는 (θ, α) 평면 상에 표현되는 광선을 방출한다(re는 안구의 반지름).
완벽한 LFD는 눈에 잠재적으로 도달하는 임의의 광선의 밝기 및 색상을 조절할 수 있을 것이다. 물론, 이는 불가능하지 않더라도 엄청나게 복잡하다. 문제를 간소화하기 위하여, 제어된 밝기와 색상을 갖는 광선의 개수는 작은 부분 집합만을 선택함으로써 감소되고, 이 작은 집합은 펜슬이라 부르는 번들 내에 그루핑된다. 이 과정은 광선 집합을 이산화하는 것이라 불린다. 도 26은 도 23에서의 선들(2304) 사이의 영역의 이산화를 도시한다. 이들은 일부 허용 가능한 동공 위치에 대하여, 즉 가변하는 각도 γ에 대하여 중심와에 도달할 수 있는 광선이다. 각각의 펜슬은 펜슬이 포함하는 광선을 나타내는 영역 상에 위치된 작은 원에 의해 표현된다. 이 이산화는 θ = 상수 및 β = 상수인 선을 갖는 장사방형(rhomboidal) 매트릭스 내에서 수행되고, θ에서의 스텝(Δθ)은 β에서의 스텝(Δβ)보다 실질적으로 더 작다.
이 이산화를 이용하면, (θ, α) 평면에서의 표현이 수직으로 정렬된 펜슬에 동일한 밝기와 색상을 할당함으로써 무한대에서의 3D 픽셀이 재생성될 수 있다. 그러면, θ에서의 상이한 펜슬의 높은 밀도는 상이한 밝기를 갖는 가능한 θ 값의 많은 개수에 대응한다. 즉, 무한 거리에서의 이미지에 대한 높은 해상도에 대응한다. β에서의 상이한 펜슬의 적은 개수는 시스템이 제어하거나, 샘플링하거나, 저장할 필요가 있는 독립적인 펜슬의 개수를 감소시키는데 바람직하다. 더 적은 펜슬은 동영상으로 된 이미지를 디스플레이하는 동안 각각의 프레임을 생성할 때의 더 간단한 구현과 더 적은 계산을 의미한다. 그럼에도 불구하고, 동일한 θ에 대한 1보다 많은 상이한 펜슬이 적어도 유한 거리에서의 원근 조절을 가능하게 하기 위하여 필요하다. 적은 개수의 θ 값은 독립적인 펜슬의 개수를 최소화하는데 바람직하지만, 너무 적은 펜슬은 불편한 원근 조절을 초래할 수 있다(Huang 2014).
x-x' 광 필드 이산화
x-x' 이산화는 상이한 펜슬이 x = x0+Δx인 선들과 x'=x'0+Δx'인 선들에서 그루핑될 수 있는 이산화이고, x0, x'0는 상수이며, Δx 및 Δx'는 단지 각각 x 및 x'의 함수이다(일반적으로 상수이다). x가 대략 단지 θ의 함수이고(이것이 눈으로부터 멀리 있기 때문에) x'가 대략 단지 β의 함수이기 때문에, 이 이산화는 θ, β 이산화라고도 불린다.
동공 회전 γ 및 방향 θ에서의 3D 점을 고려하라. 눈으로부터 유한 거리에 있는 3D 픽셀은 (θ, α) 평면에서의 표현이 상이한 점들(광선들)을 연결하는 경사진 선들(수직에 대하여 상이한 각도를 가짐)에 정렬되는 펜슬에 동일한 밝기와 색상을 할당함으로써 재생성될 수 있다. 수직선은 D→∞에 대응한다. 도 26에 도시된 바와 같이 다른 직선 배열을 선택함으로써 우리는 거리 Di = re(L/i-1)에서의 3D 픽셀의 방출을 재생성할 수 있고, 여기에서 L = Δβ/Δθ이고 re는 안구의 반지름(≒13 mm)이다. 예를 들어, β2 = -β1 = 12도; Δβ = 3도 및 Δθ = 0.05도라고 가정하자. 그러면, L = Δβ/Δθ = 60이다. 이러한 이산화는 가상 스크린(D0→∞)에서의 이미지에 대하여 1도 당 1/Δθ = 20 i 픽셀의 해상도를 가능하게 한다. 또한, 3D 픽셀은 D1 = 767mm, D2 = 377mm, D3 = 247mm 및 더 작은 거리에서 형성될 수 있다. 거리 D0 내지 D3의 이러한 집합(또는 심지어 이의 부분 집합)은 만족스러운 원근 조절을 갖기에 충분하다(Huang 14). 임의의 거리에 대한 해상도는 각도 기준으로서 3D 픽셀의 중심 광선(θ = α = γ인 것)을 취하면 20 i 픽셀/도이다.
θ, β 이산화를 이용한 LF의 샘플링 또는 렌더링
β를 x'에 비례하는 것으로 가정하면, θ, β 이산화(도 26에 도시됨)를 이용한 LF의 샘플링 또는 렌더링은 놀랍게도 간단하다. 그렇다면, 상수 β를 갖는 펜슬 집합은 단지 상수 x'를 갖는 펜슬 집합이 된다. 그러면, 우리가 해야 할 전부는 평면 x'에 여러 핀홀 카메라를 배치하고 그로부터 보이는 이미지를 샘플링하는 것이다. 예를 들어, x' = x'1에 위치된 핀홀 카메라는 상이한 값의 θ 및 β≒tan-1(x'1/re)에 대응하는 펜슬의 밝기 및 색상을 제공할 것이고, 여기에서 re는 안구의 반지름이다. θ의 이산화 값은 단지 핀홀 카메라에만 의존하고, 일반적으로 Δ(tanθ)가 상수가 되게 하는 것이며, 이는 우리의 목적을 위하여 완벽하게 허용 가능하다. 이것은 펜슬(2602)을 정확하게 생성하지는 않을 것이지만, 이를 근사화할 것이다. 도 15를 참조하면, 파라미터 x'는 β의 근사로서 사용될 수 있고, 도 16을 참조하면, 파라미터 x 는 θ의 근사로서 사용될 수 있다.
θ, β 이산화를 이용한 LF의 디스플레이
개념적으로, θ, β 이산화(도 26에 도시됨)를 이용한 LF의 디스플레이는 예를 들어 도 27에 도시된 바와 같이 수행될 수 있다. 장치(2701)는 백라이트(2702)와 2개의 액정 디스플레이(LCD)(2703, 2704)를 포함한다. 제1 디스플레이(2703)는 백라이트(2702)와 함께 OLED 디스플레이와 같은 발광 디스플레이로 교체될 수 있다. 제2 디스플레이(2704)는 LCD 투과 유형이다. 광학 기기(2705)(굴절 또는 반사 표면을 가질 수 있거나, 양 종류를 가질 수 있다)는 눈의 중심을 통과하는 평면 x'에 디스플레이(2703)의 실제 이미지(2711)를 형성하고(눈이 존재하지 않을 때) 눈으로부터 떨어져 있는 평면 x에 디스플레이(2704)의 가상 이미지(2712)를 형성한다. 백라이트(2702)로부터 방출되고 LCD(2703, 2704)에서 점(2707, 2706)을 가로지르는 실제 광선은 2706의 가상 이미지(2710) 및 2707의 실제 이미지(2709)를 가로지르는 광선(2708)으로서 나타날 것이다. 실제로, 2706 및 2707은 점이 아닐 것이지만, 물리적 치수를 가진다. 이것은 2708이 광선이 아니고 유한 크기의 이미지(2709, 2710)에 의해 제한되는 펜슬일 것이다. 광선을 나타내는 점(2602) 대신에, 우리는 대응하는 펜슬을 나타내는 다이어그램 (θ, α)에서의 이러한 점 주위의 영역을 가진다. 이 구성에서, 상수 θ를 갖는 펜슬은 2704의 동일한 픽셀을 통과하는 광선에 의해 대략 켜지고, 상수 β를 갖는 펜슬은 2703의 동일한 픽셀을 통과하는 광선에 의해 대략 켜진다. 도 27은 단지 θ, β 이산화를 정확하게 성취하는 개략적인 시스템만을 도시한다. LF를 생성하기 위한 2703 및 2704에서의 이미지의 계산은 비음수 텐서 분해(nonnegative tensor factorization)를 이용하여 수행될 수 있지만, 뷰의 개수가 작을 때(본 명세서에 개시된 바와 같이), 분해의 품질은 충분히 양호하지 않을 수 있으며, 시간 멀티플렉싱 스킴이 이를 개선하는데 요구될 수 있다.
이러한 펜슬의 무시할 수 없는 크기는 장치가 작용하는 방식에 있어서 중요하다. 눈이 회전하여 각도 γ를 변경함에 따라, 영역(2303)은 선(2304)을 따라 이동한다. 이의 이동에 있어서, 영역(2303)은 일부 펜슬의 부분 위로 이동하고(그러면, 부분적으로 가시적이게 된다), 다른 펜슬의 부분을 벗어난다(부분적으로 시야를 벗어난다).
도 28은 도 27에서의 2709와 유사한 실제 이미지(2801)(펜슬 프린트)와 도 27에서의 2710에 유사한 가상 이미지(2802)(i 픽셀)에 의해 정의되는 펜슬(2804)을 도시한다. 펜슬의 에지 광선(2803)은 파라미터 (θ, α)에 의해 정의될 수 있다. 도시된 펜슬의 다른 에지 광선은 2801 및 2802의 에지를 가로지른다. 도면의 명료성을 위하여, 실제 및 가상 이미지(2801, 2802)의 크기 및 위치는 실제 설계에 대하여 배율이 맞지 않는다.
도 29는 도 28에 도시된 펜슬(2804)과 같은 펜슬의 (θ, α) 표현을 도시한다. 2804와 같은 각각의 펜슬은 4변형 형상(2901)에 의해 표현된다. 사변형 형상의 경사와 크기는 배율에 맞도록 도시되지 않는다.
도 29는 또한 중심와에 잠재적으로 도달할 수 있는 광선을 한정하는 선(도 23 참조)과 동공에 들어가 중심와에 도달하는 광선의 영역(2303)을 도시한다. 영역(2303)은 완전히 가시적이거나 부분적으로 가시적인 펜슬 집합을 완전히 또는 부분적으로 커버한다. 눈이 회전함에 따라, 각도 α가 변동하고, 영역(2303)은 선(2304)을 따라 이동한다. 이 이동에서, 영역(2303)은 완전히 가시적이거나 부분적으로 가시적으로 되는 일부 펜슬 위로 이동하고, 완전히 비가시적이거나 부분적으로 비가시적으로 되는 다른 펜슬을 뒤에 두고 떠난다.
주어진 거리에서(예를 들어, 도 24에서의 위치(2401)) 3D 픽셀을 디스플레이하기 위하여, 예를 들어, 경사진 선(도 26에서 2601 중 하나의 요소와 유사)을 정의하는 펜슬(2902)을 비출 수 있다. 경사진 선(2902)은 원근 조절을 가능하게 하기 위하여 여러 펜슬을 가져야만 한다. θ 축을 따르는 선들(예를 들어, 2902)의 밀도는 시스템의 해상도를 정의한다.
사람들은 전방을 바라보는 경향, 즉 작은 |γ| 각도를 가지는 경향이 있으며, 이는 일반적으로 작은 |α| 각도에서의 광선이 더 중요하다는 것을 의미한다. 따라서, |α|가 증가함에 따라, 각각의 선(2902)에서 펜슬의 개수를 감소시킬 수 있어, 원근 조절 정보를 제공하기 위한 광학계의 능력을 줄일 수 있다.
도 30은 도 29에 도시된 위상 공간의 다른 표현을 도시한다. 펜슬(3001)의 중심은 선(3002)(상수 θ)과 선(3003)(상수 β)의 교점에 있다. 전술된 바와 같이, 시스템의 해상도는 선(3002)의 밀도에 의해 주어진다.
도 31은 종래 기술(Mali 2017)의 (θ, α) 표현을 도시한다. 여기에서, 펜슬(3101)의 중심은 상수 θ의 선(3102)과 상수 α의 선(3103)의 교점에 있다. 선(3102)의 낮은 밀도로 표시되는 바와 같이, 시스템의 해상도는 도 30에서보다 낮다.
영역(2303) 내부의 점(펜슬)의 개수는 도 30에서의 실시예 및 도 31의 종래 기술에서와 대략 동일하다. 그러나, 도 30에서의 해상도는 도 31의 종래 기술에서의 해상도보다 명확하게 더 높다.
원근 조절을 위하여 사용 가능한 펜슬(요소(2601) 참조)의 개수는 도 30의 구성에서보다 더 낮지만, 해상도는 더 높다. 이것은 많은 개수의 펜슬이 원근 조절을 보장하는데 요구되지 않기 때문에 유리하다.
도 30의 구성은 다른 이점을 가진다: LF의 샘플링(또는 렌더링)이 몇 개(상이한 β = 상수가 있는 만큼)의 핀홀 카메라로 용이하게 수행될 수 있는 반면, 도 31의 종래의 기술에서는 샘플링이 더 많은(상이한 상수 α의 선(3103)이 있는 만큼) 핀홀 카메라를 필요로 한다.
원근 조절 펜슬을 이용한 광 필드 이산화
도 32는 수직 펜슬에서의 공간 (θ, α)의 이산화를 도시한다. 각각의 수직선은 α에서 매우 연장되고 θ에서 매우 좁은 펜슬을 . 3201과 같은 이러한 펜슬들 중 일부의 광선은 중심와에 잠재적으로 도달할 수 있는 광선에 의해 정의되는 리본(3202)을 결코 만나지 않으며, 따라서, 원근 조절에 개입하지 않는다. 이 펜슬들을 위하여, 3D 픽셀까지의 거리에 대한 정보를 추가할 필요는 없다. 이들은 주변 펜슬들이다.
중심와에 보여질 이미지가 M 3D 픽셀의 해상도를 가지면, 적어도 M 펜슬이 이를 보여주는데 필요하다. 원근 조절에 대한 정보(3D 픽셀까지의 거리)가 각각의 3D 픽셀에 대하여 또한 포함된다면, 3D 픽셀 당 하나의 단일 픽셀은 더 이상 충분하지 않고, 적어도 다른 하나가 필요하며, 결과적으로 적어도 전체 2M 펜슬이 필요하다(더욱 자연스러운 망막 블러를 생성하기 위하여, 4M 또는 9M이 더 보수적인 개수로 고려될 수 있다). 각각의 응시 가능한 3D 픽셀(이의 펜슬은 영역(3202) 내에 광선을 가지며, 따라서 중심와에 잠재적으로 도달할 수 있다)에 대하여, 우리는 α = θ인 중심와의 중심을 통과하는 선(3208)에 의해 분리된 2개의 펜슬(예를 들어, 3203 및 3204)을 고려한다. 이 펜슬들(3203, 3204)은 본질적으로 수직이며, 작은 범위의 각도 θ를 커버한다. 상기 펜슬들의 펜슬 프린트가 부분적으로 영역(3202) 내부에 있기 때문에 이들은 원근 조절 펜슬이다. 상기 펜슬들은 심지어 동공 범위(3205)를 넘어서 연장할 수 있지만, 동공 범위 외부의 광선들은 동공이 이 영역으로 회전하지 않을 것이기 때문에 결코 가시적이지 않을 것이다.
원근 조절 정보가 포함될 필요가 있을 때, 중심와 영역(3202) 내의 동일하거나 상이한 θ 값의 펜슬이 눈으로부터 상이한 거리에 있는 3D 픽셀을 나타내기 위하여 켜질 수 있다. 이것은 예시적인 펜슬(3206, 3207)에 의해 표현된다. 이 특정 구성에서, 3D 픽셀을 생성하기 위하여 사용 가능한 단지 2개의 펜슬만이 있다. 실제 3D 구조에서, 즉 평면 x-x'에 포함된 광선뿐만 아니라 나머지 광선을 고려할 때, 이 구성은, x'y' 평면 내의 펜슬 프린트가 중심와 영역 내로 들어가서 눈의 중심 주위로 이에 거의 접하게 있도록 2개보다 많은 원근 조절 펜슬에 의해 형성될 수 있다.
결코 응시되지 않을 주변 비전 θ(중심와 영역(3202) 외부에 있는 주변 펜슬(3201)과 같이)의 방향에 대하여, 해상도(θ 축 상의 펜슬의 밀도)는 도 32에서 감소되는 바와 같이 감소될 수 있다.
도 33은 도 32에서의 요소(3203, 3204)에 대응하는 펜슬(3303, 3304)를 도시한다. 또한, 도 33은 동공 범위(3305), 중심와(3301), 눈 동공(3302) 및 눈 중심(3307)을 도시한다. 펜슬(3303, 3304)은 광학 기기의 어퍼처(3306)로부터 방출된다. 펜슬(3303, 3304)은 동공 범위(3305)를 넘어 연장할 수 있지만, 이 광선들은 눈 동공(3302)이 이러한 극단의 위치에 도달하지 않을 것이기 때문에 보이지 않을 것이다.
광학 기기는 중심와에 도달할 수 있는 3308 또는 3310과 같은 광선에 대하여 양호한 이미지 품질을 생성하여야 한다. 그러나, 중심와에 결코 도달하지 않을 3309 또는 3311과 같은 광선에 대하여, 광학 기기에 의해 생성되는 이미지 품질은 완화될 수 있다. 원근 조절 정보는 도 32에서 펜슬(3206, 3207)로 표시된 바와 같이 상이한 각도 θ3 및 θ4를 갖는 펜슬을 선택하는 경우 광 필드 내에 인코딩된다. 펜슬(3304, 3303)의 중심 광선(예를 들어, 3308, 3310)만이 동공(3302)에 들어가 중심와(3301)에 도달하고, 이들만이 그 특정 동공 위치를 위한 원근 조절에 사용된다.
도 34는 도 32에 표현된 펜슬 분리의 가능한 구현예의 다이어그램 표현이다. 눈 내에서 외부 세계를 향하는 역방향으로 이동하는 광선을 고려하라. 광학 기기(3401)(굴절 또는 반사 표면을 가질 수 있거나, 양 종류를 가질 수 있다)는 V 형상의 거울(3402)의 정점 상으로 눈의 중심의 이미지를 형성한다. 상기 거울은 광학 기기(3405, 3406)(굴절 또는 반사 표면을 가질 수 있거나, 양 종류를 가질 수 있다)를 통해 디스플레이(3407, 3408) 상으로 광선(3403, 3404)을 분리한다. 실제 3D 기하 구조에서, 이 거울은 일반적으로 V 형상이 아닌 피라미드 형상을 가질 것이다. 예를 들어, 직사각형 베이스를 갖는 피라미드와 4개의 디스플레이를 이용하여, 3D 픽셀 당 4개의 원근 조절 펜슬을 갖는 LFD을 구현하는 것이 가능하다.
도 35는 4개의 원근 조절 펜슬/3D 픽셀을 갖는 3D 기하 구조의 다른 가능한 구성을 도시한다. 이 구성은 HMD에서 전체 유닛을 변환하기 위하여 "비-광 필드(non-light-field)" 디스플레이가 특수 디스플레이로 교체되는 종래의 HMD를 원근 조절 성능과 결합한다.
도 35에 도시된 실시예는 광학 기기(3501), 렌즈 어레이(3502) 및 특수 디스플레이(3503)를 포함한다. 종래의 HMD와의 유일한 차이는 후자에서 렌즈 어레이가 없고 디스플레이가 3502의 어퍼처 평면에 위치된다는 것이다.
광학 기기(3501)는 종래의 HMD 광학 기기가 이의 디스플레이의 가상 이미지를 형성하는 방식과 동일한 방식으로 오른 쪽으로 멀리 렌즈 어레이(3502)의 어퍼처의 가상 이미지(도시되지 않음)를 형성한다.
삽입 부분(3504)은 렌즈 어레이 및 특수 디스플레이의 상세를 도시한다. 마이크로렌즈(3505)는 이에 연관된 2개의 적색 픽셀(3506)을 갖는 클러스터를 가진다. 마이크로렌즈(3507)는 2개의 녹색 픽셀(3508)을 갖는 클러스터를 가진다. 마이크로렌즈(3509)는 2개의 청색 픽셀(3510)을 갖는 클러스터를 가진다. 이것은 렌즈 어레이(3502)와 특수 디스플레이(3503)를 따라 반복하는 집합을 형성한다.
녹색 클러스터의 중심(3511)으로부터 방출된 광선은 마이크로렌즈(3507)에 의해 콜리메이트되고, 광학 기기(3501)에 의해 수집되며, 눈(3512)의 중심에 초점이 맞추어진다. 클러스터(3508)의 상부 녹색 픽셀은 눈의 중심(3512) 아래의 축 x' 상에 이미징된다. 따라서, 클러스터(3508)의 하부 녹색 픽셀은 눈(3512)의 중심 위의 축 x' 상에 이미징된다. 이것은 눈 중심(3512) 위의 축 x'를 조명하는 녹색 에지 펜슬과 눈 중심(3512) 아래의 축 x'를 조명하는 다른 펜슬을 생성한다. 이 펜슬들은 도 32에 도시된 3203, 3204의 유형을 가진다. 동일한 추론이 적색 클러스터(3506) 및 청색 클러스터(3510)에 적용될 수 있다. 도 35는 2차원 구성을 도시한다. 3차원에서, 클러스터(3506)는 마이크로렌즈(3506) 하에서 4개의 적색 픽셀을 가질 것이다. 따라서, 각각의 대응하는 클러스터에서 4개의 녹색 픽셀 및 4개의 청색 픽셀이 있을 수 있다.
LF에서의 "비-광 필드" VR 시스템을 4개의 원근 조절 펜슬/3D 픽셀을 갖는 것으로 변환하기 위한 설계 단계는 다음과 같다:
1. 종래의 전자 디스플레이, 예를 들어, RBG 스트립 디자인을 갖는 전자 디스플레이를 사용하는 임의의 기존의 VR 렌즈 설계를 가져온다.
2. 디스플레이를 다음과 같이 제조된 새로운 디스플레이로 교체한다:
2.1 디스플레이는 원래 디스플레이와 동일한 서브 픽셀 기하 구조를 갖는 2배 더 높은 ppi 전자 디스플레이를 사용하지만, 각각의 서브 픽셀은 이제 교체하는 서브 픽셀과 동일한 색상을 갖는 4개의 인접한 픽셀로 대체되도록 한다.
2.2 각각의 클러스터의 앞쪽에 어퍼처가 클러스터와 동일한 크기와 윤곽을 갖는 마이크로렌즈를 배치한다. 각각의 마이크로렌즈가 자신의 색상(이의 서브 픽셀의 색상)을 가지며 이의 어퍼처가 단계 1의 종래의 전자 디스플레이의 서브 픽셀과 동일한 영역을 차지한다는 점에 주목하라. 그러면, 마이크로렌즈의 어레이는 단계 1의 종래의 전자 디스플레이의 해상도와 동일한 해상도(ppi 단위)를 가진다.
2.3 마이크로렌즈 프로파일이 다음의 최소 조건에 따라 설계된다: 클러스터 중심이 VR 렌즈를 통해 눈 캐비티의 중심에(즉 평면의 원점 x' = y' = 0 상에) 이미징된다. 바람직하게는, 마이크로렌즈는 또한 평면 x', y' 상의 (방출 평면에서의) 클러스터 중심의 이웃에 점을 이미징하고, 따라서, 모든 클러스터의 픽셀 패턴은 평면 x', y' 상의 펜슬 프린트로서 재생성된다.
마이크로렌즈 설계는 클러스터가 마이크로렌즈를 통해 전체 동공 범위를 조명하는 것으로 되어야 한다. 대략 40 mm의 초점 길이를 갖는 종래의 VR 렌즈에서, 이것은 마이크로렌즈가 대략 15 내지 20도의 반각을 갖는 광을 방출하여야 하고 2.5 내지 3.5 범위 내의 f-넘버를 가져야 한다는 것을 의미한다. 예를 들어, f/3 및 45 미크론의 마이크로렌즈 측을 위하여, 마이크로렌즈 초점 길이는 대략 135 미크론이 될 것이다. 한편, 클러스터의 평면과 눈의 중심을 통과하는 평면(평면 x', y') 사이의 마이크로렌즈의 배율비는 대략 초점 길이들의 비(40/0.0135)이며, 따라서 이 예에서 대략 300이다. 이것은 평면 (x', y') 상의 4 mm 디스크가 클러스터의 평면 상의 13 미크론 디스크에 대응할 것이라고 것을 의미한다. 3 내지 5 미크론의 클러스터들 사이의 격차는, 이 예에서 f/3 마이크로렌즈가 회절이 제한되는 경우 가시 스펙트럼에서 대략 3.5 미크론을 해상한다면, 양호한 설계값이어야 한다.
다른 개수의 원근 조절 펜슬/3D 픽셀을 갖는 구성은 4개의 경우에 대한 이 설명으로부터 자명하다.
유사한 전략이 단지 디스플레이를 센서로 교체하여 광 필드를 캡처하는데 사용될 수 있고, 따라서 각각의 마이크로렌즈는 자신의 색상 필터를 가진다.
도 36은 도 32에 도시된 구성과 유사한 구성을 도시하지만, 우리는 이제, 3개의 두꺼운 수직선으로 표현되는 바와 같이, 주어진 값의 θ(또는 좁은 범위의 θ 값)에 대하여 3개의 원근 조절 펜슬(3601)을 가진다. 위상 공간 중심와 영역(3602)은 이제, 원근 조절에 기여할 수 있는 전체 3개의 펜슬 중에서, 상부 및 하부 펜슬(3601)의 일부와 3601의 중심에의 완전한 펜슬을 포함한다.
중심와 영역(3602)에서 멀리 떨어진 곳에서의 해상도는 더 낮을 것이고, 짧은 펜슬(3603)에 의해 예시되는 바와 같이, 모든 펜슬들이 다이어그램 (θ, α)의 에지들까지 연장할 필요가 없어, 이러한 영역들에서의 해상도를 감소시킨다.
도 37은 도 36에 표현된 펜슬 이산화의 가능한 구현예의 다이어그램 표현을 도시한다. 눈 내에서 외부 세계를 향하는 역방향으로 이동하는 광선을 고려하라. 광학 기기(3701)(굴절 또는 반사 표면을 가질 수 있거나, 양 종류를 가질 수 있다)는 중심 부분이 광학 기기(3702)(굴절 또는 반사 표면을 가질 수 있거나, 양 종류를 가질 수 있다)에 의해 디스플레이(3703) 상으로 캡처되는 눈의 중심의 이미지를 형성한다. 눈의 중심으로부터 나오는 나머지 광선들은 거울(3704, 3705)에 의해 분할된다. 상기 거울은 광학 기기(3711, 3712)(굴절 또는 반사 표면을 가질 수 있거나, 양 종류를 가질 수 있다)를 통해 광선(3709, 3710)을 디스플레이(3706, 3707) 상으로 분할한다.
도 38은 도 36에서의 3개의 펜슬(3601)에 의해 표현되는 바와 같은 개의 펜슬(3801, 3802, 3803)을 도시한다. 또한, 이 경우에, 유한 거리에서 3D 픽셀을 생성하기 위하여, 3개의 펜슬(3801, 3802, 3803)은, 도 33에 도시된 구성에서의 경우와 같이, 상이한 θ 값을 갖도록 선택될 수 있다.
도 39는 도 36의 주어진 값의 θ에 대한 3개의 펜슬(3601)의 광선 궤적을 도시한다. 이 3개의 펜슬(3902, 3903, 3904)은 함께 다발(3901)을 형성한다. 또한, 함께 모인 펜슬(3906, 3907, 3908)은 다발(3905)을 형성한다. 상이한 동공 위치(3909)에 대하여 동공 내부에서 다발을 항상 지속적으로 분할하기 위하여, 분할이 일정한 각도 β의 광선을 따라 발생한다. 그 다음, (θ, α) 다이어그램에서, 펜슬은 도 23에서의 선(2304)과 같은 일정한 β의 선을 따라 제한된다.
도 40은 도 28에서의 구성과 유사하지만 펜슬이 x' 축 상에 상이한 크기의 빔 프린트를 갖는 구성을 도시한다. 눈의 중심 근처에서 축 x'를 만나는 4001과 같은 펜슬은 작은 빔 프린트(4002)를 가진다. 그러나, 눈의 중심으로부터 멀리 떨어져 축 x'를 만나는 4003과 같은 펜슬은 큰 빔 프린트(4004)를 가진다. 또한, 펜슬(4001, 4003)은 대응하는 i 픽셀(4005, 4006)에 의해 바인딩된다.
제한된 동공 범위 때문에 도 39에 도시된 바와 같은 각도 β에서의 이산화는 도 40에 도시된 바와 같은 좌표 x'에서의 이산화와 대략 동등하다(도 15 참조).
도 41은 도 40에 도시된 4001 또는 4003과 같은 펜슬의 (θ, α) 표현을 도시한다. 4001과 같은 축 x' 상에 작은 빔 프린트를 갖는 펜슬은 (θ, α) 다어이그램에서 4101과 같이 짧은(수직으로) 영역으로 표현된다. 4003과 같은 축 x' 상에 큰 빔 프린트를 갖는 펜슬은 (θ, α) 다어이그램에서 4102와 같이 긴(수직으로) 영역으로 표현된다. 선(4103)은 중심와에 잠재적으로 도달할 수 있는 광선에 의해 정의되는 영역의 경계를 짓는다.
3D 기하 구조
이전에 살펴본 바와 같이, 3D 기하 구조에서, 즉, x, x' 평면에 포함된 것뿐만 아니라 모든 광선을 고려할 때, 4개의 파라미터가 광선을 특성화하는데 필요하다. 이전에 설명된 개념은 3D 기하 구조에 용이하게 확장될 수 있다. 예를 들어, 도 42는 자신의 펜슬 프린트 및 자신의 i 픽셀을 정의하는 영역 내의 x', y' 및 x, y 평면의 가능한 이산화를 도시한다. 평면 x, y 상의 영역들(4201) 중 하나와 평면 x', y' 상의 영역들(4202 또는 4205) 중 하나를 가로지르는 광선 집합은 하나의 펜슬을 구성한다(평면 x, y 상의 영역(505) 및 평면 x' y' 상의 영역(504)에 의해 정의되는 펜슬(502)과 유사, 도 5 참조). 이 이산화에서의 모든 펜슬은 원근 조절 펜슬이지만, 이들의 펜슬 프린트는 매우 다르다. 평면 x', y' 상의 영역(4202)에 의해 정의되는 펜슬은 평면 x', y' 상의 영역(4205)에 의해 정의되는 펜슬보다 훨씬 더 넓다. 영역(4204)에 들어가는 펜슬의 부분은 원근 조절에 개입하고, 영역(4204)의 외부에 떨어지는 펜슬 또는 펜슬의 부분은 원근 조절에 개입하지 않는다. 일 실시예에서, 4205는 제거되고, 4202 대신에 단지 2개의 인접한 정사각형 영역만이 정의된다. 영역(4024)의 경계는 평면 x', y'와의 눈의 중심에서의 구(802)(도 8 참조)의 교선으로부터 제공된다. 또한, 눈 동공(4203)이 도 42에 도시된다. 이 표현은 펜슬의 원축 오차가 없다고 가정한다. 이 펜슬 이산화는 다소 이상적이며 펜슬의 개념을 이해하는데 도움을 준다. 일반적으로 펜슬이 이의 펜슬 프린트와 이의 i 픽셀을 연결하는 모든 광선의 집합이 아니고 단지 이의 부분 집합이라는 점을 주목하라. 그리고, 일반적으로 동일한 펜슬 프린트를 공유하는 펜슬에 대응하는 i 픽셀 분포는 다른 펜슬 프린트를 공유하는 펜슬의 i 픽셀 분포와 동일할 필요가 없다. 따라서, 일반적으로, 우리는 평면 x, y 상에 5개의 상이한 i 픽셀 분포를 가질 것이며, 이들의 각각은 x', y' 상의 펜슬 프린트 중 하나에 대응한다.
도 43은 렌즈릿(lenslet)(4301)과, 적색, 녹색 및 청색 서브 픽셀로 구성된 디스플레이 상의 이의 클러스터를 갖는 일 실시예를 도시한다. 상기 디스플레이는 청색(B) 또는 적색(R) 서브 픽셀보다 더 높은 밀도의 녹색 서브 픽셀(G)을 가진다. 인간의 눈에 의해 인지되는 해상도는 대부분 녹색에 의해 정의되고, 따라서, 이 구성은 더 높은 인지 해상도를 제공한다. 이 구성은 전술된 실시예들과 조합될 수 있다.
도 44는 다색광 하에서의 인간의 눈의 거동을 도시한다. 점(4401)으로부터 방출된 다색광은 이의 파장에 따라 눈에 의해 분할된다. 청색 광은 눈 내부의 위치(4402)에 초점이 맞추어지며, 적색 광은 눈 외부의 점(4403)을 향하여 재지향된다. 이 색상들 중 어느 것도 눈의 뒷쪽 상에 완벽하게 초점이 맞추어지지 않는다. 그러나, 이 초점 이탈(defocusing)은 눈이 정확한 거리에 원근 조절하는 단서를 제공한다. 이것은 중간의 녹색 색상이 선명한 초점으로 되게 하여, 해상도의 인지를 제공한다. 청색 및 적색 색상의 이 초점 이탈은 원하는 거리에서의 원근 조절을 유도하는데 사용될 수 있다. 원근 조절로부터 자유로운 녹색 색상은 더 높은 해상도를 가질 수 있어 더 높은 인지 해상도를 갖는 시스템을 제공한다.
도 45는 안과학 애플리케이션에 사용되는 것과 개념적으로 유사한 다초점 렌즈릿을 도시한다(예를 들어, Salerno LC, Tiveron MC, Alio JL., "Multifocal intraocular lenses: Types, outcomes, complications and how to solve them" Taiwan J Ophthalmol 2017;7:179-84 참조). 이 렌즈릿은 각각이 상이한 초점 길이를 갖는 섹션들(4501, 4502)로 분할된다. 이것은 디스플레이 상의 점(4503)으로부터 방출된 광을 취하여 가상 이미지 점(4504, 4505)을 생성한다. 일반적으로, 렌즈는 상이한 섹션들로 분할될 수 있다. 이러한 렌즈의 여러 렌즈들은 어레이로 조합될 수 있다. 따라서, 이 렌즈릿들에 의해 생성된 펜슬은 2 이상의 중앙부(waist)를 가질 것이다. 이 렌즈들은 원근 조절을 위한 상이한 심도 단서를 눈에 제공할 것이다.
HVALF의 기록 및 저장
HVALF가 동일한 인지 해상도 및 FOV를 얻기 위하여 종래의 LF보다 더 적은 펜슬을 사용하기 때문에, 이 이산화 스킴은 또한 LF 장면을 기록하고 저장하는데 이점을 가지고 사용될 수 있다.
LF 장면을 기록하는 것이 여러 핀홀 카메라(즉 입사 동공 크기가 무시할 만한 카메라)를 이용하여 수행된다고 가정하자. 펜슬은 다시 다음의 2개의 집합으로 분할된다: LF를 디스플레이할 때 중심와 상에 잠재적으로 초점이 맞는 집합(원근 조절 펜슬) 및 나머지 집합(주변 펜슬). 제1 집합은 핀홀이 원(4204) 내에 위치되는 여러 핀홀 카메라로 기록된다. 카메라가 동일하고 전방을 향하고 있다면, 이의 i 픽셀들 중 각각의 i 픽셀은 도 42의 구성과 유사한 구성을 갖는 LF에 대응하는 밝기를 기록할 것이다. 이의 센서 내의 픽셀의 상대적 위치는 펜슬의 x, y 좌표를 제공할 것이고, 카메라의 위치는 x', y' 좌표를 제공할 것이다.
또한, 주변 펜슬은 전방 방향으로 응시할 때 카메라 위치에 대한 펜슬 프린트의 중점 또는 동공의 중심을 선택하는 것과 유사한 방식으로 기록될 수 있다.
전술한 설명은 바람직한 실시예들의 상세한 설명을 제공한다. 그러나, 본 발명의 범위는, 광학 기기를 포함하는 디스플레이 장치에 관한 것으로, 디스플레이 장치는 인간의 눈을 조명하기 위하여 광 필드를 생성하도록 배열되고, 사용자의 머리(skull)에 고정되는 좌표계를 가진다. 광 필드는 제1 기준 표면과 제2 기준 표면을 가상으로 만나는 복수의 펜슬(pencil)을 포함하고, 상기 제1 기준 표면은 안구 중심을 통과하고 머리의 전방 방향에 수직인 평면이고, 상기 제2 기준 표면은 사용자의 머리로부터 거리를 두고 위치되고 중심에 중심을 둔 구의 일부이다. 상기 제2 기준 표면의 중심은 안구 중심을 통과하고 머리의 정면을 향하는 방향으로 향하는 선의 교점으로서 정의된다. 각각의 펜슬은 직선의 집합이고, 상기 선의 세그먼트는 항상 대략 동일한 휘도와 색상을 갖는 눈을 조명하는 광선 궤적과 일치한다. 각각의 광선은 광선의 제1 및 제2 기준 표면과의 가상 교점에 의해 형성되는 점 쌍(point pair)에 의해 결정된다. 안구 중심과 제2 기준 표면에 의해 형성되는 점 쌍에서의 펜슬 밀도는 적어도 그 점 쌍으로부터 떨어진 영역에서보다 더 높고, 쌍의 제1 점은 상기 제1 기준 표면에 포함되고, 쌍의 제2 점은 제2 기준 표면에 포함된다. 펜슬 밀도는 상기 2개의 점에 중심을 두고 해당하는 기준 표면에 접하는 2개의 작은 디스크를 통과하는 광선을 포함하는 펜슬의 개수를 2개의 디스크를 만나는 광선에 의해 정의되는 위상 공간 부피로 나눈 것이다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 펜슬 밀도는 상기 안구 및 제2 표면 중심들에 의해 형성된 점 쌍에서 최대이다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 제1 점이 상기 안구 중심이고, 제2 점이 상기 점을 안구 중심과 연결하는 선이 상기 머리의 전방 향하는 방향과 10도 미만 더 작은 각도를 형성하도록 위치되는 제1 점 쌍에서의 픽셀 밀도는, 제2 점이 제1 점 쌍의 제2 점과 일치고, 제1 점이 안구 중심으로부터 떨어진 영역에 위치되는 제2 점 쌍에서보다 더 높다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 제1 점 쌍에서의 펜슬 밀도는 임의의 다른 제2 점 쌍에서보다 더 높다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 안구 중심에 위치된 핀홀 카메라가 보는 이미지의 해상도는 안구 중심으로부터 떨어진 영역으로부터 떨어진 영역에 위치될 때보다 더 높다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 제1 기준 표면에 포함된 작은 디스크는 3 mm 이하의 반지름을 가진다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 제2 기준 표면에 포함된 작은 디스크는 안구 중심으로부터 3도 이하의 각도 반지름을 대한다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 원근 조절(accommodation) 부피 내의 점을 만나는 원근 조절 펜슬의 개수는 적어도 2개이고, 상기 원근 조절 펜슬은 2 내지 7 mm의 지름을 가지며 안구 중심에 중심을 두는 제1 기준 표면에 포함된 디스크를 부분적으로만 커버하는 펜슬 프린트를 갖고, 상기 펜슬 프린트는 펜슬이 상기 제1 기준 표면과 만나는 영역이고, 상기 원근 조절 부피의 모든 점은 10 cm보다 더 큰 안구 중심으로부터의 거리에서 머리의 전방에 위치되고, 상기 모든 점과 제2 기준 표면의 중심은 안구 중심으로부터 30도보다 작은 각도를 대한다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 상기 펜슬의 개수는 16보다 작다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 광 필드 내의 펜슬의 대다수는 원근 조절 펜슬이다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 상기 펜슬의 개수는 16보다 작고, 광 필드 내의 펜슬의 대다수는 원근 조절 펜슬이다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 상기 원근 조절 펜슬이 만나는 점들의 집합은 3D 픽셀을 형성하고, 3D픽셀의 집합은 원근 조절 부피 내에 분포된다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 광학 기기는 적어도 렌즈릿(lenslet) 어레이를 포함한다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 어레이 중 적어도 하나의 렌즈릿은 다초점을 가진다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 상기 어레이 중 적어도 2개의 렌즈릿은 대칭 축이 안구 중심을 통과하는 회전 대칭 광학 표면을 포함한다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 디스플레이 장치는 디스플레이를 더 포함하고, 디스플레이의 픽셀은 각각의 채널의 광축 근처에서만 개별적으로 배선 연결되거나 어드레싱된다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 디스플레이 장치는 디스플레이 및 광학 기기를 포함하고, 상기 광학 기기는 눈을 조명하여 제2 기준 표면 상에 렌즈릿 어레이 어퍼처 표면의 가상 이미지를 생성하고, 적어도 하나의 렌즈릿은 상기 광학 기기를 통해 제1 기준 표면 상에 디스플레이 표면의 실제 이미지를 생성하도록 배열되고, 상기 렌즈릿의 클러스터는 복수의 o 픽셀을 포함한다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 디스플레이 장치는 디스플레이 및 광학 기기를 더 포함하고, 상기 광학 기기는 눈을 조명하여 제2 기준 표면 상에 렌즈릿 어레이 어퍼처 표면의 가상 이미지를 생성하고, 적어도 하나의 렌즈릿은 상기 광학 기기를 통해 제1 기준 표면 상에 디스플레이 표면의 실제 이미지를 생성하도록 배열되고, 상기 렌즈릿의 클러스터는 복수의 o 픽셀을 포함한다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 상기 어레이 중 적어도 하나의 렌즈릿은 펜슬 프린트가 2 내지 7 mm의 지름을 가지며 안구 중심에 중심을 두는 제1 기준 표면에 포함된 디스크를 만나는 적어도 하나의 펜슬을 생성하도록 배열되고, 상기 펜슬의 i 픽셀의 크기는 적어도 펜슬 프린트가 상기 중심와 기준 원을 만나지 않는 상기 렌즈릿에 의해 생성된 다른 펜슬의 i 픽셀의 크기보다 작다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 디스플레이 장치는 적어도 2개의 적층된 디스플레이를 포함하고, 제1 디스플레이의 광은 안구에 도달하기 전에 상기 제2 디스플레이를 통과하고, 상기 제2 디스플레이는 투과형 액정 유형이다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 광학 기기는 제1 기준 표면 상에 제1 디스플레이의 표면의 실제 이미지를 생성하고, 제2 기준 표면 상에 제2 디스플레이의 표면의 가상 이미지를 생성한다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 펜슬은 펜슬이 모두 동시에 켜지지 않도록 시간 멀티플렉싱 스킴으로 생성된다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 광 필드는 광선 궤적을 지지하는 직선의 안구 중심까지의 거리에 따라 광선에 가중치를 부여하는 가치(merit) 함수의 최소화에 의해 계산되고, 광선의 궤적의 전파 직선의 거리가 더 길수록 더 작은 가중치가 부여된다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 가중치 함수는 상기 눈의 동공의 중심이 상기 광선의 안구와의 교점에 위치되는 상기 안구의 위치에 위치된 정상적인 인간의 눈의 시력(visual acuity)의 값에 대략 비례한다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 가중치 함수는 안구의 위치에 위치된 정상적인 인간의 눈의 시력의 평균값에 대략 비례하고, 평균값은 정상적인 인간의 눈의 캐스케이드 통계에 따라 위치된 눈의 동공을 이용하여 계산된다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 광 필드 펜슬은 변수 u, v, u', v'에서의 균일한 이산화에 의해 정의되고, 상기 변수는 역 Jaconian이 가중치 함수와 대략 동일한 변환에 대응한다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 광 필드 값은 디스플레이되기 위하여 샘플링되거나, 기록되거나, 전송되거나, 저장된다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 광 필드 값은 2 내지 7 mm의 지름을 가지며 안구 중심에 중심을 두는 제1 기준 표면에 포함된 디스크를 내에 배치된 작은 카메라 집합을 이용하여 기록되거나 렌더링된다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 인지 해상도를 증가시키기 위하여 적색 및 청색보다 더 많은 녹색 펜슬이 있다.
선택적으로, 디스플레이 장치의 각각의 실시예에서, 주변 펜슬의 색 공간(color gamut)은 나머지 펜슬의 색 공간보다 작다.
또한, 안구 중심까지의 광선의 거리가 더 길수록 가중치가 더 커지도록 상기 광선에 가중치를 부여하는 가치 함수를 최소화하는 단계를 포함하는 안구를 조명하기 위한 광 필드의 생성 방법이 개시된다.
선택적으로, 방법의 각각의 실시예에서, 디스플레이 장치의 각각의 실시예에서, 가중치 함수는 상기 눈의 동공의 중심이 상기 광선의 안구와의 교점에 위치되는 상기 안구의 위치에 위치된 정상적인 인간의 눈의 시력(visual acuity)의 값에 대략 비례한다.
선택적으로, 방법의 각각의 실시예에서, 가중치 함수는 안구의 위치에 위치된 정상적인 인간의 눈의 시력의 평균값에 대략 비례하고, 평균값은 정상적인 인간의 눈의 캐스케이드 통계에 따라 위치된 눈의 동공을 이용하여 계산된다.
본 명세서에서 인용된, 간행물, 특허 출원 및 등록 특허를 포함하는 모든 참조 문헌은, 마치 각각의 참조 문헌이 개별적이고 구체적으로 참조에 의해 포함되는 것으로 표시되고 그 전체로서 본 명세서에 설명된 것과 동일한 정도로 참조로서 여기에 포함된다.
본 발명을 설명하는 것과 연계하여 "a", "an" 및 "the"라는 용어 및 유사한 대상의 사용은, 본 명세서에서 달리 나타내거나 문맥에 의해 명백하게 모순되지 않는 한 단수와 복수 모두를 포함하는 것으로 해석되어야 한다. "포함하는(comprising)", "갖는(having)", "포함하는(including)" 및 "포함하는(containing)"이라는 용어는 달리 언급되지 않는다면, 개방형(open-ended terms) 용어(즉, "포함하지만, 그에 한정되지 않는"다는 것을 의미함)로서 해석되어야 한다. "연결된(connected)"라는 용어는, 개입하는 것이 있더라도, 부분적으로 또는 전체적으로 포함되거나, 부착되거나 또는 결합된 것으로 해석되어야 한다.
본 명세서에서의 값의 범위의 언급은, 본 명세서에서 달리 나타내지 않는다면, 단순히 범위 내에 속하는 각각의 개별 값을 개별적으로 나타내는 빠른 방법의 역할을 하도록 의도되고, 각각의 개별 값은 마치 본 명세서에서 개별적으로 언급된 것처럼 본 명세서에 포함된다.
본 명세서에서 설명된 모든 방법은 본 명세서에서 달리 나타내지 않거나 문맥에 의해 명백하게 모순되지 않는다면 임의의 적합한 순서로 수행될 수 있다. 본 명세서에 제공된 임의의 그리고 모든 예 또는 예시적인 표현(예를 들어, "~와 같은(such as)")의 사용은 단지 본 발명의 실시예들을 더 잘 밝히도록 의도되며, 달리 청구되지 않는다면 본 발명의 범위에 대한 제한을 부과하지 않는다. 다양한 실시예들 및 요소들은 필요에 따라 임의의 적합한 방식으로 상호 교환되거나 조합될 수 있다. 따라서, 본 명세서와 종속항들에 설명된 임의의 특징들은 다른 실시예들 및 다른 청구항들에 유용하고 그와 조합 가능한 것으로 이해되어야 한다.
본 명세서의 어떠한 표현도 본 발명의 실시예 필수적인 것으로 청구되지 않는 것을 나타내는 것으로 해석되어서는 안 된다.
다양한 수정과 변형이 본 발명의 사상과 범위를 벗어나지 않으면서 본 발명에 이루어질 수 있다는 것이 당해 업계의 통상의 기술자에게 명백할 것이다. 본 발명을 개시된 특정 형태 또는 형태들로 제한하려는 의도는 없으며, 대신에, 의도는 본 발명은 첨부된 청구범위 내에 정의된 본 발명의 사상 및 범위 내에 속하는 모든 수정물, 대안적인 구성 및 균등물을 포함하는 것이다. 따라서, 본 발명의 수정물 및 변형물이 첨부된 청구범위 및 이의 균등물의 범위 내에 있는 한, 본 발명은 이들을 포함하는 것으로 의도된다.
특정 실시예들이 설명되었지만, 본 발명을 실시하는 현재 고려되는 방식에 대한 전술한 설명은 한정하는 의미로 받아들여져서는 안 되며, 본 발명의 소정의 일반적인 원리를 설명하는 목적으로만 이루어진다. 전술된 특정 실시예들로부터 변형예가 가능하다. 예를 들어, 위에서 교차 참조된 특허 및 출원은 본 출원의 교시 내용과 유익하게 조합될 수 있는 시스템 및 방법을 설명한다. 특정 실시예들이 설명되었지만, 통상의 기술자는 상이한 실시예들의 특징들이 어떻게 조합될 수 있는지 이해할 것이다.
본 발명의 전체 범위는 청구범위를 참조하여 결정되어야 하며, 임의의 2 이상의 청구항의 특징들은 조합될 수 있다.

Claims (30)

  1. 광학 기기를 포함하는 디스플레이 장치에 있어서,
    상기 디스플레이 장치는 눈을 조명하기 위하여 광 필드를 생성하도록 배열되고, 사용자의 머리(skull)에 고정된 좌표계를 가지며, 상기 광 필드는 제1 기준 표면과 제2 기준 표면을 가상으로 만나는 복수의 펜슬(pencil)을 포함하고, 상기 제1 기준 표면은 안구 중심을 통과하고 전방 방향에 수직인 평면이고, 상기 제2 기준 표면은 상기 사용자의 머리로부터 거리를 두고 위치되고 상기 안구 중심에 중심을 둔 구의 일부이고, 상기 제2 기준 표면의 중심은 상기 안구 중심을 통과하고 상기 전방 방향으로 향하는 선의 교점으로서 정의되고,
    각각의 상기 펜슬은 직선의 집합이고, 상기 직선의 세그먼트는 동일한 휘도와 색상을 갖는 눈을 조명하는 광선 궤적과 일치하고,
    각각의 상기 광선은 상기 광선의 상기 제1 기준 표면과의 교점에서의 제1 점과, 상기 광선의 상기 제2 기준 표면과의 교점에서의 제2 점을 포함하는 점 쌍(point pair)으로 특징지어지고,
    상기 안구 중심 및 상기 제2 기준 표면의 중심에 의해 형성되는 점 쌍에서의 펜슬 밀도는 그 점 쌍으로부터 떨어진 영역에서보다 더 높고, 주어진 점 쌍에서의 상기 펜슬 밀도는 상기 주어진 점 쌍의 상기 제1 점 및 상기 제2 점에 중심을 두고 상기 제1 및 제2 기준 표면에 접하는 2개의 디스크를 통과하는 광선을 포함하는 펜슬의 개수를 상기 2개의 디스크를 교차하는 상기 광선에 의해 정의되는 위상 공간 부피로 나눈 것인, 디스플레이 장치.
  2. 제1항에 있어서,
    상기 펜슬 밀도는 제2 점 쌍보다 제1 점 쌍에 대해 더 낮고, 상기 제1 점 쌍의 상기 제1 점은 상기 안구 중심에 있고, 상기 제1 점 쌍의 상기 제2 점은 상기 제1 점 쌍의 상기 제2 점을 상기 안구 중심과 연결하는 선이 상기 머리의 전방 방향에 대해 10도 미만의 각도를 형성하도록 위치되고, 상기 제2 점 쌍의 상기 제2 점은 상기 제1 점 쌍의 상기 제2 점과 일치하고, 상기 제2 점 쌍의 상기 제1 점은 상기 안구 중심으로부터 떨어진 상기 영역에 위치되는, 디스플레이 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 안구 중심에 위치되고 상기 전방 방향으로 향하는 핀홀 카메라가 보는 이미지의 해상도는 상기 핀홀 카메라가 상기 안구 중심으로부터 떨어진 상기 영역에 위치될 때보다 더 높은, 디스플레이 장치.
  4. 제1항 또는 제2항에 있어서,
    상기 2개의 디스크는, 상기 제1 기준 표면에 포함되고 3 mm 이하의 반지름을 갖는 제1 디스크 및 상기 제2 기준 표면에 포함되고 상기 안구 중심으로부터 3도 이하의 각도 반지름을 대하는 제2 디스크를 포함하는, 디스플레이 장치.
  5. 제1항 또는 제2항에 있어서,
    원근 조절(accommodation) 부피 내의 점을 만나는 원근 조절 펜슬의 개수는 적어도 2개이고,
    상기 원근 조절 펜슬 각각은 2 내지 7 mm의 지름을 가지며 상기 안구 중심에 중심을 두는 상기 제1 기준 표면에 포함된 디스크를 부분적으로만 커버하는 펜슬 프린트를 갖고,
    상기 펜슬 프린트는 상기 펜슬이 상기 제1 기준 표면과 만나는 영역이고,
    상기 원근 조절 부피의 모든 점은 10 cm보다 더 큰 상기 안구 중심으로부터의 거리에서 상기 머리의 전방에 위치되고, 상기 모든 점과 상기 제2 기준 표면의 중심은 상기 안구 중심으로부터 30도보다 작은 각도를 대하는, 디스플레이 장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 광학 기기는 적어도 렌즈릿(lenslet) 어레이를 포함하는, 디스플레이 장치.
  8. 제7항에 있어서,
    상기 렌즈릿 어레이 중 적어도 하나의 렌즈릿은 다초점을 갖는 디스플레이 장치.
  9. 제7항 또는 제8항에 있어서,
    디스플레이 및 추가 광학 기기를 더 포함하고, 상기 추가 광학 기기는 상기 눈을 조명하여 상기 제2 기준 표면 상에 상기 렌즈릿 어레이의 어퍼처 표면의 가상 이미지를 생성하고, 상기 렌즈릿 어레이 중 적어도 하나의 렌즈릿은 상기 추가 광학 기기를 통해 상기 제1 기준 표면 상에 상기 디스플레이의 표면의 실제 이미지를 생성하도록 배열되고, 상기 렌즈릿의 클러스터는 복수의 o 픽셀을 포함하는, 디스플레이 장치.
  10. 제7항 또는 제8항에 있어서,
    상기 렌즈릿 어레이 중 적어도 하나의 렌즈릿은 펜슬 프린트가 2 내지 7 mm의 지름을 가지며 상기 안구 중심에 중심을 두는 상기 제1 기준 표면에 포함된 디스크를 만나는 적어도 하나의 펜슬을 생성하도록 배열되고, 상기 펜슬의 i 픽셀의 크기는 적어도 펜슬 프린트가 상기 디스크를 만나지 않는 상기 렌즈릿에 의해 생성된 다른 펜슬의 i 픽셀의 크기보다 작은, 디스플레이 장치.
  11. 제1항에 있어서,
    적어도 2개의 적층된 디스플레이를 포함하고,
    상기 2개의 적층된 디스플레이 중 제1 디스플레이의 광은 상기 안구에 도달하기 전에 상기 2개의 적층된 디스플레이 중 제2 디스플레이를 통과하고, 상기 제2 디스플레이는 투과형 액정 유형인, 디스플레이 장치.
  12. 제1항 또는 제2항에 있어서,
    상기 펜슬은 상기 펜슬이 모두 동시에 켜지지 않도록 시간 멀티플렉싱 스킴으로 생성되는, 디스플레이 장치.
  13. 제1항에 있어서,
    상기 광 필드의 값은 2 내지 7 mm의 지름을 가지며 상기 안구 중심에 중심을 두는 상기 제1 기준 표면에 포함된 디스크 내에 배치된 작은 카메라 집합을 이용하여 기록되거나 렌더링된, 디스플레이 장치.
  14. 제1항 또는 제2항에 있어서,
    인지 해상도를 증가시키기 위하여 적색 및 청색 펜슬보다 더 많은 녹색 펜슬이 있는, 디스플레이 장치.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
KR1020207032775A 2018-04-27 2019-04-26 인간 시각 적응형 광 필드 디스플레이 KR102594527B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862663753P 2018-04-27 2018-04-27
US62/663,753 2018-04-27
PCT/US2019/029472 WO2019210254A1 (en) 2018-04-27 2019-04-26 Human vision-adapted light field displays

Publications (2)

Publication Number Publication Date
KR20200136038A KR20200136038A (ko) 2020-12-04
KR102594527B1 true KR102594527B1 (ko) 2023-10-25

Family

ID=68295790

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207032775A KR102594527B1 (ko) 2018-04-27 2019-04-26 인간 시각 적응형 광 필드 디스플레이

Country Status (5)

Country Link
US (1) US11921302B2 (ko)
EP (1) EP3785066A4 (ko)
KR (1) KR102594527B1 (ko)
CN (1) CN112189161B (ko)
WO (1) WO2019210254A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021113825A1 (en) * 2019-12-05 2021-06-10 Limbak 4Pi S.L. Lenslet based ultra-high resolution optics for virtual and mixed reality
CN112652728B (zh) * 2020-12-29 2022-11-25 视涯科技股份有限公司 一种显示面板及显示装置
CN114323572A (zh) * 2021-11-30 2022-04-12 歌尔光学科技有限公司 一种光学模组Eyebox测量方法以及测量系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012054231A2 (en) 2010-10-04 2012-04-26 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
US20140002442A1 (en) 2012-06-29 2014-01-02 Mathew J. Lamb Mechanism to give holographic objects saliency in multiple spaces
US20160140773A1 (en) 2014-11-17 2016-05-19 Seiko Epson Corporation Head-mounted display device, method of controlling head-mounted display device, and computer program
US20170171533A1 (en) 2013-11-25 2017-06-15 Tesseland Llc Immersive compact display glasses

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2575908Y2 (ja) 1992-04-21 1998-07-02 富士写真光機株式会社 パッケージ兼用ステレオビュアー
US6529331B2 (en) 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
US20100277575A1 (en) 2009-04-30 2010-11-04 Tetracam, Inc. Method and apparatus for providing a 3d image via a media device
US9201270B2 (en) 2012-06-01 2015-12-01 Leia Inc. Directional backlight with a modulation layer
US20150262424A1 (en) * 2013-01-31 2015-09-17 Google Inc. Depth and Focus Discrimination for a Head-mountable device using a Light-Field Display System
US9880325B2 (en) 2013-08-14 2018-01-30 Nvidia Corporation Hybrid optics for near-eye displays
EP3114527B1 (en) 2014-03-05 2021-10-20 Arizona Board of Regents on Behalf of the University of Arizona Wearable 3d augmented reality display with variable focus and/or object recognition
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
JP2015230383A (ja) 2014-06-05 2015-12-21 キヤノン株式会社 画像表示装置および画像表示システム
JP6459262B2 (ja) 2014-07-09 2019-01-30 株式会社ニコン ヘッドマウントディスプレイ
JP6670840B2 (ja) 2015-01-21 2020-03-25 テッセランド・エルエルシーＴｅｓｓｅｌａｎｄ Ｌｌｃ ヒトの目の解像度に適合されるイメージング光学系
CN104777615B (zh) * 2015-04-17 2017-05-10 浙江大学 基于人眼跟踪的自适应高分辨近眼光场显示装置和方法
CN105589201A (zh) * 2016-02-02 2016-05-18 张国斌 一种轻小型大视场近眼显示光学系统
US10678049B2 (en) 2017-10-31 2020-06-09 Google Llc Near-eye display having lenslet array with reduced off-axis optical aberrations

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012054231A2 (en) 2010-10-04 2012-04-26 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
US20140002442A1 (en) 2012-06-29 2014-01-02 Mathew J. Lamb Mechanism to give holographic objects saliency in multiple spaces
US20170171533A1 (en) 2013-11-25 2017-06-15 Tesseland Llc Immersive compact display glasses
US20160140773A1 (en) 2014-11-17 2016-05-19 Seiko Epson Corporation Head-mounted display device, method of controlling head-mounted display device, and computer program

Also Published As

Publication number Publication date
CN112189161A (zh) 2021-01-05
CN112189161B (zh) 2022-09-13
EP3785066A4 (en) 2021-07-28
WO2019210254A1 (en) 2019-10-31
US20210149212A1 (en) 2021-05-20
EP3785066A1 (en) 2021-03-03
US11921302B2 (en) 2024-03-05
KR20200136038A (ko) 2020-12-04

Similar Documents

Publication Publication Date Title
KR102349765B1 (ko) 몰입형 컴팩트 디스플레이 안경
US11710469B2 (en) Depth based foveated rendering for display systems
US20230251492A1 (en) Depth based foveated rendering for display systems
US20230400693A1 (en) Augmented reality display comprising eyepiece having a transparent emissive display
KR102627249B1 (ko) 내부 전반사를 갖는 디스플레이
KR102428196B1 (ko) 광학 렌즈들의 효과의 복제
US20220075199A1 (en) Variable pixel density display system with mechanically-actuated image projector
US20180084232A1 (en) Optical See-Through Head Worn Display
US10948740B2 (en) Head-mounted displays having curved lens arrays and generating elemental images for displaying
KR102594527B1 (ko) 인간 시각 적응형 광 필드 디스플레이
EA010399B1 (ru) Трёхмерный дисплей, использующий переменную фокусирующую линзу
CN110187506B (zh) 光学显示系统和增强现实设备
US11506903B2 (en) Wearable near-to-eye display with unhindered primary field of view
JP7417735B2 (ja) 仮想及び複合現実のための小型レンズ基準の超高解像度の光学系
CN115699076A (zh) 增强现实用图像的影像校正装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant