KR102264765B1

KR102264765B1 - 컴팩트한 시선추적 기능의 헤드 탑재형 디스플레이

Info

Publication number: KR102264765B1
Application number: KR1020187035420A
Authority: KR
Inventors: 순유 가오; 홍 후아
Original assignee: 더 아리조나 보드 오브 리전츠 온 비핼프 오브 더 유니버시티 오브 아리조나; 아우그멘티드 비젼 인코포레이티드
Priority date: 2012-01-24
Filing date: 2013-01-24
Publication date: 2021-06-11
Also published as: CA2860701C; KR20180133937A; EP3761072A1; JP6141584B2; IL282719A; US20140361957A1; CN104204904B; EP3270194A1; AU2013212169A1; US10606080B2; AU2016259369B2; US10598939B2; CA2860701A1; US10613328B2; KR20140119144A; IL253681A0; BR112014018154A8; RU2623708C2; KR20210068614A; IL282719B

Abstract

일 양태에 있어서, 시선추적 및 이미지 표시에 동일한 광학계를 이용할 수 있는 시선추적 기능의 헤드 탑재형 디스플레이가 제공되며, 광학계의 선택된 일부는 시선추적용 광경로에 이용되고, 디스플레이 광학계의 선택된 일부는 이미지 표시용 광경로에 이용된다.

Description

컴팩트한 시선추적 기능의 헤드 탑재형 디스플레이{COMPACT EYE-TRACKED HEAD-MOUNTED DISPLAY}

관련 출원

본원은 2012년 1월 24일 출원한 미국 가출원 번호 61/632,441과, 2012년 4월 25일 출원한 미국 가출원 번호 61/687,607과, 2012년 9월 11일 출원한 미국 가출원 번호 61/699,493에 대해 우선권을 주장하며, 이들 출원의 전체 내용은 참조에 의해 본 명세서에 포함된다.

정부의 라이센스 권리

본 발명은 미국국립과학재단(National Science Foundation)에서 수여하는 계약번호 IIS1115489하의 정부 지원으로 이루어졌다. 이에 정부는 본 발명에 소정의 권리를 갖는다.

발명의 기술분야

본 발명은 전반적으로 시선추적 기능의 헤드 탑재형 디스플레이에 관한 것이며, 보다 구체적으로, 그러나 배타적이지 않게, 시선추적 및 이미지 표시에 동일한 광학계를 이용하는 시선추적 기능의 헤드 탑재형 디스플레이에 관한 것으로서, 이 광학계의 선택된 일부는 시선추적용 광경로에 이용되고, 디스플레이 광학계의 선택된 일부는 이미지 표시용 광경로에 이용된다.

헤드 탑재형 디스플레이(head-mounted display, HMD) 기술이 과학 및 공학의 광범위한 분야에 적용되고 있다. 애플리케이션의 예는 비행 시뮬레이션, 과학적 가시화, 의학, 공학적 설계, 교육 및 훈련, 웨어러블 컴퓨팅(wearable computing), 및 엔터테인먼트 시스템을 포함한다. 증강 현실 분야에 있어서, HMD는 가상 시점(virtual view)을 물리적 장면과 병합하여, 의사가 예컨대 복부 등의 해부학적 구조의 3D 렌더링 또는 환자의 해부구조 상에 겹쳐진 CT 이미지를 보는 것을 가능하게 하는 실현 기술 중 하나이다. 웨어러블 컴퓨팅 분야에 있어서, HMD는 스마트폰과 PDA 등의 다른 보급형 모바일 플랫폼보다 훨씬 더 흥미로운 화질 및 화면 크기를 제공하는 모바일 디스플레이 솔루션을 마련한다. 가까운 미래에, 그러한 모바일 디스플레이는 선글라스와 같이 세련되게 보일 수 있고, 즉시 정보를 검색하고 사람들과 접속하는 데에 있어서 많은 사람들의 일상 활동의 필수 부분이 될 수 있다.

HMD 기술과 병행하여, 다양한 시선추적 기술이 개발되어, 시력 연구(vision research), 인간-컴퓨터 인터페이스, 원격 작업(tele-operation) 환경, 및 영상 통신(visual communication)을 비롯한 여러 분야에 적용되고 있다. 다양한 방식의 인간-컴퓨터 인터페이스를 위한 시선추적의 효과 및 데이터 압축의 기술적 효과가 잘 알려져서 연구되고 있다. 예를 들어, 통신의 데이터 전송 대역폭을 효과적으로 줄이고, 중심와의 정밀도 관리 방법을 이용해 3D 장면의 렌더링 속도를 향상시키며, 와이드 FOV 고해상도 디스플레이 및 촬상 시스템을 실현하기 위해, 다중 해상도의 시선에 따른 디스플레이(multi-resolution gaze-contingent display) 및 이미지 처리 방식이 제안되어 있다.

통합형 시선추적 기능의 HMD(eyetracked HMD, ET-HMD) 시스템을 만드는 개념은 다양한 수준으로 탐구되고 있다. ET-HMD는 전통적인 HMD가 행하는 단안식(monocular) 또는 양안식(stereoscopic) 가상 이미지를 디스플레이하면서, 사용자의 시선 방향을 추가로 추적할 수 있다. 완전 일체형 ET-HMD는 기초 과학 연구뿐만 아니라 이러한 기술의 발생 애플리케이션에도 다양한 이점을 제공한다. 예를 들어, 많은 연구의 노력은 인간 사용자가 어떻게 인지하고 공간 정보를 구성하며 그러한 정보와 상호작용하고 3D 가상 공간에서 내비게이션하는지에 집중되고 있다. HMD의 시선추적 기능은 과학자들이 3D 환경과의 사용자 상호작용을 정량적으로 평가하고, 훈련, 교육 및 증강 인식 태스크를 비롯한 여러 특정 태스크에 대한 다양한 3D 가시화 기술의 효과를 연구할 수 있도록 매우 가치있는 툴 및 객관적인 메트릭을 보탠다. 기술 관점에 있어서, HMD 시스템과 통합된 시선추적 기능은 양안식 디스플레이에서 크기 및 깊이 인지 정밀도를 향상시키는데 이용될 수 있다. 시선추적 기능은 중심와에 따른 디스플레이 방식을 통해 FOV 해상도 트레이드오프에 대한 솔수션, 그리고 다초점 평면 디스플레이 방법론을 이용하여 초점-주시(accommodation-convergence) 모순에 대한 솔루션을 마련하는 것을 지원할 수 있다. 애플리케이션의 관점에 있어서, ET-HMD는 손이나 발 대신에 시선을 상호작용 및 통신의 방법으로서 이용할 경우 감각수용 장애를 가진 사람들에게 신규한 상호작용 인터페이스를 향한 유일한 기회를 제공한다.

스탠드얼론 HMD 및 시선추적 기술의 명백한 진보성 및 상업적 이용 가능성에도 불구하고, 이들 2가지 스탠드얼론 기술을 통합하는 것은, 컴팩트하고 휴대 가능하며 정밀하고 그러면서 강고한 시스템을 만드는데 있어서 상당한 난제를 부여한다. ET-HMD 기술을 개발하고 이들 2가지 기술을 체계적인 어프로치로 최적화하기 위해서 여러 선구적인 노력이 있었지만, 기존의 기술적 솔루션들 가운데서 안경 스타일 디스플레이의 폼팩터에 부합하는 사실상 휴대 가능하고 경량이며 강고한 시스템을 제공하는 것은 없다. 다수의 요구가 많은 애플리케이션의 경우, 경량성 및 컴팩트성이 결정적이다. 예를 들어, 루게릭병(Amyotrophic Lateral Sclerosis, ALS) 환자의 소통을 지원하기 위해서, 통합형 시스템은 환자가 상당히 약해진 근육과 매우 제한적인 이동성으로 중량을 감당할 수 있을 정도로 가벼워야 한다.

지난 수십년간, 시스템 성능을 향상시키기 위해 다수의 상이한 광학 설계 어프로치가 HMD 설계에 적용되어 왔다. 이들 방법은 반사굴절(catadioptric) 기술을 적용하는 것과, 비구면 등의 새로운 소자를 도입하는 것과, 홀로그래픽 및 회절성 광학 소자를 이용하는 것과, 종래의 HMD 시스템에서의 접압 또는 단안식 렌즈를 대체하기 위하여 투사 광학계를 이용하는 등의 새로운 설계 원리를 탐구하는 것과, 경사 및 편심 또는 심지어 자유 곡면을 도입하는 것을 포함한다. 이들 광학 설계 방법 중 소수만이 비침투적이며 안경 스타일의 근안(eyeglass-style near-eye) 디스플레이로서 간주될 수 있는 광각의 컴팩트하고 경량의 HMD를 제조할 수 있다. 이들 기술에 시선추적 기능을 통합하는 것은 매우 도전적이며, 상당한 중량, 부피 및 복잡성을 보태는 일이다.

HMD에 시선추적 기능을 추가하는 것은 초기에 CAE Corporation에서 고해상도의 인세트(inset) 디스플레이로서 시작되었다. 이 선구적인 작업은 모바일 컴팩트 ET-HMD 시스템을 목적으로 한 것은 아니었다. 또한, 다른 것들은 벤치 프로토타입(bench-prototype)의 양안식 디스플레이 내에서 고해상도 인세트를 이동시키기 위해 기계적 구동 장치를 사용하였다. ISCAN Corporation에서는 소프트웨어 기반의 중심와에 따른 디스플레이 방식을 연구하기 위해 ISCAN 아이트랙커(eyetracker)를 Virtual Research Corporation의 V8-HMD에 통합하려고 하였다. 상업적으로 입수 가능한 HMD와 아이트랙커를 통합하는 이 방법은, 2개의 개별 도구(instrument)가 사용 후기에 서로 결합되는 기능성 통합 어프로치(functionality integration approach)로서 칭해질 수 있다. 기능성 통합 어프로치는 개발 비용이 낮은 간단한 솔루션이라는 장점을 가지고 있지만, 일반적으로 낮은 수준의 최적화를 이용하지 않고 컴팩트성, 정밀성 및 강고성의 속성이 부족하다.

기능성 통합 어프로치와 반대로, 기초 설계 관점에서부터 단일 도구로서 시스템이 고안 및 최적화되는 체계적인 어프로치(systematic approach)는 완전히 통합된 ET-HMD 도구를 만든다는 면에서 많은 장점이 있다. 체계적인 어프로치의 중요한 이점은 디스플레이와 아이트랙커 유닛 양쪽에 대한 설계 제약 및 요건을 탐구하여 새로운 솔루션을 고안하여 컴팩트하고 강고한 시스템을 위한 설계를 최적화할 수 있는 특성을 포함한다. 선두적인 노력은 낮은 수준의 최적화로 완벽한 통합화의 가능성을 탐구하기 위해 이루어졌다. 이러한 초기의 노력에 이어서, Hua 및 Rolland가 협업하여 완전히 통합된 설계 어프로치를 추구해, ET-HMD 시스템을 위한 강력한 시선추적 방법 및 알고리즘을 개발하였고 헤드 탑재형 투사 디스플레이의 개념에 기초한 광학적 시스루(optical see-through) ET-HMD 광학 시스템을 설계하였다. 도 1은 ET-HMD 광학 시스템의 1차 레이아웃을 도시하며, 이 광학 시스템은 개념 및 스케일을 확대하기 위해 이상적인 렌즈 모듈로 단순화되어 있다. (2005년 8월 미국 샌디에고에서 열린 국제광공학회(SPIE International Society for Optical Engineering)의 회보(VOL. 5875)에 수록된 Curatu, C., Hong Hua, 및 J. P. Rolland의 "Projection-based head-mounted display with eye-tracking capabilities". 2005년 6월 캐나다 밴쿠버에서 열린 International Optical Design Conference의 회보에 수록된 Curatu, C., J. P. Rolland, 및 Hong Hua의 "Dual purpose lens for an eye-tracked projection head-mounted display".) 이 설계는 완전 통합 어프로치를 이용하였고, 디스플레이 및 시선추적용 서브시스템에 대한 광경로의 대부분을 조합하였다. 동일한 투사 광학계가 디스플레이 및 눈 촬상 기능 양쪽에 공유되었다. 그러나, 이 설계의 큰 한계는, 다른 것들보다 상당히 개선되었음에도 통합된 ET-HMD 시스템의 전체 부피가 여전히 크고 무겁다는 점이였다.

사실상 휴대 가능하고 경량이며 컴팩트한 ET-HMD 솔루션을 마련하기 위한 주요 난제는 이하의 2개의 기본 쟁점을 해결하느냐에 달려 있다. (1) 기술 및 애플리케이션 개발자 모두의 지속적인 꿈인 선글라스만큼 강력한 매력의 폼팩터로 된 HMD 시스템의 설계를 가능하게 하는 광학적 방법과, (2) 시스템에 상당한 중량 및 부피를 보태는 일 없이 시선추적 기능의 통합을 가능하게 하는 광학적 방법.

영상 기반의 특징 추적 시스템을 이용한 ET-HMD은 통상 적어도 3개의 고유한 광경로, 즉 조명 경로, 눈 촬상 경로 및 가상 디스플레이 경로를 필요로 한다. 조명 경로를 통해, 눈은, 추적을 위한 암동공 또는 명동공 및/또는 푸르키네(Purkinje) 특징 등의 촬상 특징을 형성하기 위해 통상 근적외선 발광 다이오드(NIR LED)에 의해 조명된다. 촬상 경로를 통해, 추적 특징을 가진 눈 이미지가 특징 검출 및 추적을 위해 포착된다. 디스플레이 경로를 통해, 소형의 디스플레이 장치 상에 표시된 가상 이미지가 정보 표시용 접안 광학계를 통해 형성된다. 본 발명의 혁신 중 하나는, 동일한 핵심 광학계를 통해 이들 3개의 광학 경로를 고유하게 조합할 수 있는 광학 방식이며, 그 동일한 핵심 광학계는 접안, 투사 렌즈 또는 다른 광학계 구조일 수 있다.

예를 들어, 그 양태 중 하나에 있어서, 본 발명은 시선추적용 눈 촬상 광학계를 정보 표시용 디스플레이 광학계와 고유하게 조합할 수 있는 혁신적인 광학 방식과 함께 프리폼(freeform) 광학 기술을 이용할 수 있다. (따라서, 본 발명의 설명과 관련하여 사용되는 것인 "디스플레이 광학계" 및 "촬상 광학계"란 용어는 동일한 물리적 광학계를 칭할 수 있으며, 이 물리적 광학계는 "핵심 광학계"라고도 불려질 수 있다). 선택적으로, 눈 조명 광학계도 조합될 수 있다. 이처럼, 본 발명의 장점 중 하나는, HMD용 광학 시스템과 시선추적용 경로를 구별하여 취급하고 회전 대칭 광학면을 대부분 사용하는 종래의 어프로치에 의해 부여된 한계를 피한다는 것이다. 그러나, 어쩌면 많은 한계가 있더라도, 본 발명에서 개시하는 HMD와 시선추적을 통합하는 광학 방식은 프리폼 광학계에 제한되지 않는다. 본 발명에 따른 ET-HMD 시스템용 핵심 광학계는 종래의 HDM 광학계에 적용될 수 있다.

예시적인 구성에 있어서, 본 발명은 사용자가 보는 이미지를 생성하는 마이크로디스플레이를 포함하는 시선추적 기능의 헤드 탑재형 디스플레이를 제공할 수 있으며, 이 마이크로디스플레이는 디스플레이 광경로 및 이 디스플레이 광경로와 연관된 사출 동공을 구비할 수 있다. 마이크로디스플레이에는 제1면이 배치되고, 사출 동공에는 제2면이 배치될 수 있다. 이미지 센서는 사용자의 눈으로부터 반사된 제2면으로부터의 반사 광선을 수광하도록 구성될 수 있으며, 연관된 센서 광경로를 구비할 수 있다. 또한, 시선추적 기능의 헤드 탑재형 디스플레이는, 디스플레이 광경로를 따라 마이크로디스플레이와 광통신하도록 그리고 센서 광경로를 따라 이미지 센서와 광통신하도록 배치된 디스플레이 광학계를 포함할 수 있다. 디스플레이 광학계는 마이크로디스플레이 및 이미지 센서에 최근접한 선택면을 포함할 수 있고, 마이크로디스플레이와 이미지 센서에 대해, 디스플레이 광경로 및 이미지 센서 광경로가 선택면의 각각의 상이한 부분에 침입하도록 배치될 수 있다. 디스플레이 및 이미지 센서 광경로는 선택면에서 부분적으로 겹칠 수 있다. 디스플레이 및 이미지 센서 광경로는 각각 디스플레이 광학계 및 이미지 센서에서 각각의 광축을 포함할 수 있으며, 이들 축은 동축이거나 서로에 대해 경사질 수 있다. 또한, 시선추적 기능의 헤드 탑재형 디스플레이는 제1면에 조리개를 포함할 수 있으며, 상기 조리개는 센서 광경로를 따른 장소에 배치되어 있는 적어도 하나의 개구(aperture)를 구비한다. 마찬가지로, 시선추적 기능의 헤드 탑재형 디스플레이는 센서와 선택면 사이의 센서 광경로를 따른 장소에 배치되어 있는 적어도 하나의 개구를 구비한 조리개를 포함할 수 있다. 어느 구성이라도, 조리개 또는 개구는 핀홀형 개구를 포함할 수 있다. 일 예시적인 구성에 있어서, 디스플레이 광학계는 프리폼 광학 소자, 회전 대칭 광학 소자 및/또는 프리폼 광학 프리즘을 포함할 수 있다. 디스플레이 광학계는 비구면을 포함할 수 있다.

또한, 시선추적 기능의 헤드 탑재형 디스플레이는 사용자 눈을 조명하기 위해 제2면을 조명하는 광선을 생성하는 광원을 포함할 수 있다. 디스플레이 광학계는 광원으로부터의 광선을 시준하도록 구성될 수 있다. 광원은 디스플레이 광학계의 광축으로부터의 오프축 등의 상이한 장소에 또는 제1면 내에 배치될 수 있다.

본 발명의 예시적인 실시형태에 대한 전술한 개요 및 이하의 상세한 설명은 첨부하는 도면을 참조할 경우 더 잘 이해될 것이다.
도 1은 회전 대칭 광학 기술에 기초한 종래의 시선추적 기능의 헤드 탑재형 디스플레이(eyetracked head-mounted display, ET-HMD)을 개략적으로 도시하는 도면이다.
도 2a와 도 2b는 2개의 상이한 IR 조명 전략으로부터의 이미지를 개략적으로 도시하며, 도 2a는 명안 동공의 눈 이미지로서, 4개의 NIR LED가 눈 촬상 광학계의 광축과 거의 동축으로 배치되어 있는 온축 조명 전략에서 야기되는 4개의 섬광을 도시하고, 도 2b는 암안 동공의 눈 이미지로서, 4개의 NIR LED가 눈 촬상 광학계의 광축과 떨어져 배치되어 있는 오프축 조명 전략에서 야기되는 4개의 섬광을 도시한다.
도 3a는 단안식 광학 모듈로서 나타낸, 본 발명에 따른 예시적인 광학 시스템을 개략적으로 도시하는 도면이다.
도 3b는 눈 촬상 유닛과 조명 유닛이 마이크로디스플레이 패널 주위에 배치되어 있는, 본 발명에 따른 예시적인 시스템을 개략적으로 도시하는 도면이다.
도 4는 단안식 광학 모듈로서 나타낸 본 발명에 따른, 프리폼 프리즘 기술에 기초한 예시적인 광학 시스템의 블록도를 개략적으로 도시하는 도면이다.
도 5a 내지 도 5d는 본 발명에 따른 광학 시스루 HMD의 예시적인 설계를 개략적으로 도시하는 도면으로서, 도 5a는 눈 조명 및 촬상 경로를 도시하고, 도 5b는 가상 디스플레이 경로를 도시하며, 도 5c는 눈 조명, 눈 촬상 및 가상 디스플레이 경로가 공유하는 프리폼 프리즘을 도시하고, 도 5d는 시스루 기능을 가능하게 하는, 프리폼 프리즘에 부착된 프리폼 보조 렌즈를 도시한다.
도 6은 도 5d의 2반사 프리폼 프리즘 구조를 이용한, 본 발명에 따른 예시적인 최적화 ET-HMD 구조의 광학 레이아웃과 광선추적을 개략적으로 도시하는 도면이다.
도 7은 본 발명에 따른 예시적인 ET-HMD 광학 시스템의 3D 모델을 개략적으로 도시하는 도면이다.
도 8은 도 6과 도 7의 광학 설계에 기초한, 본 발명에 따른 예시적인 양안식 ET-HMD 프로토타입의 모델을 도시하는 도면이다.
도 9a 내지 도 9d는 도 6의 설계의 4 ㎜ 중심 동공을 갖는 HMD 가상 디스플레이 경로에 있어서 시야 전체에서의 20개 샘플 필드의 다색 변조 전달 함수(MTF)를 나타내는 도면이다.
도 10은 도 6의 설계의 HMD 가상 디스플레이 경로에 있어서 시야 전체의 왜곡 그리드를 나타내는 도면이다.
도 11은 도 6의 설계의 눈 촬상 경로에 있어서 시야 전체에서의 샘플 필드의 다색 변조 전달 함수(MTF)를 나타내는 도면이다.
도 12는 도 6의 설계의 눈 촬상 경로에 있어서 시야 전체의 왜곡 그리드를 나타내는 도면이다.
도 13a 내지 도 13d는 도 6의 설계의 4 ㎜ 중심 동공을 갖는 HMD 시스루 경로에 있어서 30x22도의 중심 시야에 걸친 20개 샘플 필드의 다색 변조 전달 함수(MTF)를 나타내는 도면이다.
도 14는 도 6의 설계의 HMD 시스루 경로에 있어서 시야 전체의 왜곡 그리드를 도시하는 도면이다.
도 15a와 도 15b는 본 발명에 따른, 도 3에 도시한 광학 방식의 예시적인 설계를 도시하는 도면이다.
도 16은 회전 대칭 광학계에 기초한, 본 발명에 따른 도 3에 도시한 광학 방법의 예시적인 구현을 개략적으로 도시하는 도면이다.

이제, 같은 요소에 대해서는 전체적으로 같은 도면부호를 지정한 도면을 참조하면, 도 3a은 컴팩트한 ET-HMD 시스템을 실현하기 위한 본 발명에 따른 예시적인 시스템 레이아웃(300)을 개략적으로 도시하고 있다. 본 예시적인 레이아웃(300)에서는, 동일한 핵심 광학계(310)가 눈 촬상, 디스플레이 표시(display viewing) 및/또는 눈 조명의 기능을 수행할 수 있다. 이 단순화는 눈 조명 경로(305), 눈 촬상 경로(307) 및 디스플레이 경로(309) 내의 고유 공역면에 대한 예리한 관찰로부터 유래된다. 또한, 핵심 광학계(310)의 개구부를 따른 서로 다른 부분들이 눈 조명 경로(305), 눈 촬상 경로(307) 및 디스플레이 경로(309)에 이용될 수 있다. 예를 들어, 마이크로디스플레이에 최근접하게 배치된 핵심 광학계(310)의 선택면에서, 눈 조명 경로(305), 눈 촬상 경로(307) 및 디스플레이 경로(309) 중 2개 이상의 경로(예, 눈 촬상 경로(307) 및 디스플레이 경로(309))는 부분적 겹침은 허용되지만 선택면의 각각의 상이한 부분에 침입할 수 있다.

디스플레이 경로(309)에 있어서, 이 상황에서 디스플레이 광학계로서 기능하는 핵심 광학계(310)는 눈(10)이 보는 마이크로디스플레이(320)의 확대 가상 이미지를 형성한다. 마이크로디스플레이 유닛(320)은 이미지 소스로서 역할할 수 있는 임의 유형의 자체 발광 또는 조명하의 픽셀 어레이일 수 있는데, 이것은 LCoS(liquid crystal on silicon) 디스플레이 장치, LDC(liquid crystal display) 패널, OLED(organic light emitting display), FLCoS(ferroelectric liquid crystal on silicon) 장치, DMD(digital mirror device), 또는 이 전술한 유형 또는 다른 유형의 마이크로디스플레이 장치 상에 장착된 마이크로 프로젝터를 포함하나 이들에 한정되지 않으며, 원하거나 필요하다면 마이크로디스플레이(320)와 핵심 광학계(310) 사이에 추가 선택적인 광학계가 설치될 수도 있다. 눈(10)으로부터 무한 또는 유한 거리에 있는 것으로 보일 수 있는 확대 가상 이미지는 마이크로디스플레이(320)의 공역 초점면에 대응한다. 눈 동공(12)은 디스플레이 경로(309)의 사출 동공(312)과 같은 곳에 배치될 수 있다. 동공(12)의 중심(도 3a에 굵은 선으로 표시)을 통과한 디스플레이의 주광선은 마이크로디스플레이(320)에서 필드 높이를 규정하며, 이에 그 광선은 마이크로디스플레이 면에서 분리될 수 있다. 눈 조명 경로(305)에 있어서, 디스플레이/핵심 광학계(310)를 통해 눈을 조명하기 위해 도 3b에 도시하는 바와 같이 하나 또는 복수의 NIR LED(근적외선 발광 다이오드)(330)가 마이크로디스플레이(320) 주위에 탑재될 수 있다. 디스플레이/핵심 광학계(310)는 LED 광을 시준하고, 디스플레이/핵심 광학계(310)를 통해 형성된 복수의 가상 LED 소스를 통해 눈 영역 상에 균일하게 조명된 영역을 형성할 수 있다. 이러한 오프축 조명 구성은 암동공(dark-pupil) 효과를 만들어낼 수 있고, 전방 각막에서 벗어난 반사를 통해 NIR LED(330)의 다중 섬광 이미지를 형성할 수 있다.

눈 촬상 경로(307)에 있어서, 눈 동공(12)은 촬상되어야 하는 대상이 된다. 마이크로디스플레이(320) 주위에는 조리개(340)가 배치될 수 있다. 전술한 마이크로디스플레이(320)와 눈 동공(12)의 동공 필드 관계(pupil-field relationship)를 고려하면, 디스플레이 경로 내의 상이한 대상 필드의 주광선은 눈 촬상 경로(307) 내의 온축 대상점의 주변 광선이 되고, 이에 눈 동공(12) 상의 같은 점을 통과한 모든 광선은 IR 촬상 센서(360) 상의 같은 점에서 촬상될 것이다. 그러나, 이들 광선은 고유 장소에서 마이크로디스플레이 면과 교차한다. 그렇기 때문에, 촬상 경로(307)에 있어서, 조리개(340)는 디스플레이 경로(309)에 영향을 미치지는 않지만 눈 촬상 경로(307) 내에서 눈 이미지를 형성하기 위해 광선을 집광하기에 충분하도록 적절하게 설계되어 마이크로디스플레이(320) 주위에 배치된다. 도 3b에 도시하는 예에서는, 조리개(340)가 핀홀형의 소형 개구(350) 형태로 제공되거나 마이크로디스플레이(320)를 둘러싸는 선택 영역일 수 있다. 개별 촬상 센서(360)는 각각의 핀홀형의 개구(350)와 연관될 수 있다.

그 장점 중 하나는 2개 또는 3개의 고유 광학 기능을 조합하는 광학 레이아웃(300)이 HMD 광학계에 적합할 수 있는 사실상 모든 유형의 광학 구조에 적용될 수 있다는 점이다. 예를 들어, 회전 대칭 광학 소자에 기초한 종래의 접안 광학계를 구비한 예시적인 구성이, 도 16과 관련하여 후술하는 바와 설계되었다.

구체적으로 시선추적 기능 양태에 대하여, 시선 이동을 모니터링하는데 이용될 수 있는 여러 상이한 시선추적 기술이 존재하는데 이들은 3가지 카테고리, 즉 전기안구도(electro-oculography), 공막탐지 코일법(scleral search coil), 및 다양한 영상 기반의 특징 추적 어프로치로 구분된다. 이들 방법 중, 포착된 눈 이미지 내의 특징을 검출하여 추적하는 영상 기반의 특징 추적은 시선 이동을 추적하기에 가장 덜 강제적이고 가장 간편한 어프로치일 수 있다.

근적외선 NIR 조명하에서, 도 2a와 도 2b에 나타내는 바와 같이, 통상 눈 이미지(201, 202)는 쉽게 식별되고 측정될 수 있는 2유형의 특징을 갖고 있다. 한 특징은 제1 푸르키네 이미지 또는 섬광(6)으로서 알려져 있으며, 도 2b에 도시하는 바와 같이, 각막의 전방면에 의해 형성된 점광원의 반사 이미지이라고 칭해진다. 제2 특징은 눈 동공(12)이다. 도 2a와 도 2b는 IR 조명하의 눈 이미지(201, 202)의 예를 나타내고 있다. IR 조명기, 예컨대 NIR LED(330)의 구성에 종속하여, IR 조명기가 눈 촬상 광학계의 광축과 거의 동축으로 배열되어 있는 온축 조명 전략은 도 2a에 도시하는 명동공(2)이 되고, IR 조명기가 눈 촬상 광학계의 광축에서 떨어져 배치되어 있는 오프축 조명 전략은 도 2b에 도시하는 섬광(6)을 갖는 암동공(4)이 된다. 그래서 동공 및 섬광 특징이 시선 이동 추적에 이용될 수 있다.

영상 기반의 특징 추정 방법 중에서, 시선 이동을 동공 중심과 섬광 중심 간의 벡터차에 관련시키는 동공 각막 추적법이 ET-HMD 시스템에서 가장 적합한 어프로치일 수 있다. 이 방법에서는, 하나 또는 복수의 NIR 발광 다이오드(NIR LED), 예컨대 NIR LED(330)가 눈(10)을 조명하는데 이용될 수 있으며, 조명하의 눈(10)은 적외선 CCD 등의 촬상 센서(360)에 의해 촬상될 수 있다. 눈 동공(12), 제1 푸르키네 이미지(또는 섬광) 및/또는 홍채(11)는 동시에 또는 개별로 추적될 수 있다. 각각의 NIR LED(330)가 섬광(6) 또는 제1 푸르키네 이미지를 형성할 수 있다. 동공(12) 및 제1 푸르키네 특징은 안구 회전과 비례하여 그리고 서로 다르게 움직인다. 2개의 특징 간의 벡터차는 눈(10)의 주시점(point-of-regard)을 결정하는데 이용될 수 있다. 어느 정도까지는 이 방법이 HMD 시스템에서의 헬멧 슬리피지(helmet slippage)를 견딜 수 있는데, 이 헬멧 슬리피지는 눈(10)에 대해 촬상 센서(360)의 방위 변화를 일으켜서 시선 이동을 혼란스럽게 하는 것이다.

중요한 양태 중 다른 것에 있어서, 본 발명은 시스루 기능을 갖는 초컴팩트한 경량의 ET-HMD를 실현하기 위해 핵심 광학계(310) 내에 프리폼 광학 기술을 이용할 수 있다. 도 4는 프리폼 광학 기술에 기초한, 본 발명에 따른 컴팩트한 시선추적 기능의 HMD 설계에 대한 예시적인 어프로치의 블록도(400)를 도시한다. 일 예시적인 구현에 있어서, 쐐기형(wedge-shaped) 프리폼 프리즘(410) 또는 도광 유형의 프리폼 프리즘을 핵심 광학계(310) 내에 사용함으로써, 회전 대칭 소자를 이용한 설계와 비교하여, 광선 경로가 다면 프리즘 구조 내에서 꺽일 수 있고, 디스플레이 광학계의 전체 부피 및 중량의 감소를 돕는다. 프리폼 광학 기술을 적용함으로써, HMD 광학계 및 시선추적의 기능을 컴팩트한 형태로 완전 통합시킬 수 있다. 프리폼 프리즘(410)은 경량 및 저비용을 위해 성형 가능 플라스틱으로 구성될 수 있다.

본 어프로치에서는, 프리폼 프리즘(410)이 2개 이상의 고유 광학 기능을 수행할 수 있다. 첫째, 프리폼 프리즘(410)은 눈 촬상 경로(407) 내에서, 사용자의 NIR 조명하의 눈 이미지(410)를 포착하고 포착된 눈 이미지(410)을 이용해 시선 이동을 추적하는 핵심 소자로서 역할할 수 있다. 렌즈 구조 내에 통상 회전 대칭 광학면을 채용하고 통상 촬상 렌즈가 검출기(460)와 동일선 상에 있는 것을 필요로 하는 종래의 촬상 시스템과 달리, 프리폼 프리즘(410)은 이미지 검출기(460)가 프리폼 프리즘(410)의 측면에 배치될 수 있도록 단일 소자 내에서 광경로를 꺽는다. 둘째, 동일한 프리폼 프리즘(410)이 디스플레이 경로(409) 내의 마이크로디스플레이(420) 상에서 이미지를 표시하는 디스플레이 표시용 광학계로서 역할할 수 있다. 셋째, 프리폼 프리즘(410)은 조명 경로(305)에서, NIR LED(430)의 하나 또는 복수개로부터의 광을 시준하는 핵심 소자로서 역할할 수 있다. 이와 다르게, NIR LED는 프리즘(410)(또는 핵심 광학계(310))을 통과하는 일 없이 직접 눈 영역을 조명할 수 있다. 어떤 경우에서도, NIR LED(430)는 눈 영역을 균일하고 비침입적으로 조명할 수 있고, 시선추적을 위해 촬상되어야 하는 결정적인 특징(예, 섬광(6) 및 암동공(4))을 형성할 수 있다. 마지막으로, 광학적 시스루 ET-HMD 시스템이 실세계의 직시(direct view)가 중요한 애플리케이션에 필요하다면, 프리즘(410)은 프리폼 교정 렌즈(415)와 결합될 수 있다. 프리폼 교정 렌즈(415)는 프리즘(410)에 의해 도입되는 시선측 축편위 및 바람직하지 않은 수차를 교정할 수 있고, 실세계 뷰(411)에 대한 주위의 암측화(peripheral obscuration)를 낮게 하고 왜곡을 최소화한 시스템(400)의 시스루 기능을 가능하게 한다. 전반적으로, 본 발명의 고유 광학 방식은 동일한 프리폼 프리즘(410)을 통해, 눈 촬상(407) 및 가상 디스플레이(409) 및 선택적으로 눈 조명(405)에 대한 광학 경로의 조합을 가능하여 하고, 최소의 하드웨어 비용으로 시선추적 및 디스플레이의 기능을 달성할 수 있다.

실시예 1

본 발명에 따른 예시적인 제1 구성(500)은 도 5a 내지 도 5d에 도시하는 바와 같이, 2개의 반사면을 갖는 쐐기형의 프리폼 프리즘(510)을 이용한다. 본 실시형태에서는, 프리폼 프리즘(510)이 다음과 같이 (1) 촬상될 눈 영역을 균일하고 비침입적으로 조명하기 위해 하나 또는 복수의 NIR LED(530)로부터의 광을 시준하는 조명 광학계로서, (2) 시선 이동 추적을 가능하게 하기 위하여 NIR 조명하의 눈 이미지를 포착하는 눈 촬상 광학계의 핵심 소자로서, (3) 마이크로디스플레이(520) 상에 이미지를 표시하기 위한 HMD 시스템의 접안 광학계로서의 3가지만큼 많은 핵심 기능을 수행할 수 있다. 이들 3개의 고유 광학 경로는 시선추적 및 디스플레이의 기능을 달성하기 위하여 동일한 프리폼 프리즘(510)에 의해 조합될 수 있다. 부가적으로, 프리폼 교정 렌즈와 결합될 때의 동일한 프리즘(510)은 광학 시스루 HMD 시스템의 시스루 기능을 가능하게 한다. 이와 다르게, 프리폼 프리즘(510)은 조명광으로서의 핵심 기능을 생략할 수도 있다.

쐐기형 프리폼 프리즘(510)은 3개의 광학면을 포함할 수 있으며, 이들 중 적어도 하나는 회전 대칭성의 유무에 관계없이 비구면일 수 있다. 본 발명의 한가지 혁신은 단일 프리폼 프리즘(510)을 통해 2개 또는 3개의 고유 광학 경로(즉, 눈 조명 경로(505), 눈 촬상 경로(507), 및 디스플레이 경로(509) 중 2개 이상)를 고유하게 조합할 수 있는 광학 어프로치이다. 도 5a는 프리폼 프리즘(510)을 포함하는 눈 조명 및 촬상 광학계의 개략 설계를 도시하고 있다. 조명 경로(505)에 있어서, NIR LED(530)로부터 출사된 광선은 먼저 면(3)에서 굴절된 다음, 면(1', 2)에서 2회 연속 반사되어 마침내 면(1)을 투과하여 눈(10)에 도달한다. 면(1')에서의 반사는 내부 전반사(total internal reflection, TIR)의 조건을 만족할 수 있다. LED(530)에 의해 출사된 광은 프리즘(510)에 의해 시준되어, 눈(10)에 대해 균일한 조명이 될 수 있다. 그리고 NIR 조명하의 눈(10)은 IR 촬상 센서(560)에 의해 촬상될 수 있다. 눈 촬상 경로(507)에 있어서, 눈(10)에서 벗어나 산란된 광선은 먼저 면(1)에서 굴절된 다음, 면(2', 1)에서 2회 연속 반사되어 마침내 면(3)을 투과하여 센서(560)에 도달할 수 있다. 눈 촬상의 광학 성능을 향상시키기 위해 프리즘(510)의 면(3)과 촬상 센서(560) 사이에 추가 렌즈(562)가 삽입될 수 있다. 촬상 센서(560)에 의해 수광된 빛을 가두기 위해 소형 개구의 조리개(550)가 렌즈(562) 근방에 또는 내부에 배치될 수 있다.

도 5b는 만족할만할 시거리에서 가상 이미지를 형성하는, 마이크로디스플레이(520) 상의 이미지를 확대시키기 위해 프리폼 프리즘(510)을 사용하는 HMD 광학계의 디스플레이 경로(509)를 개괄적으로 도시하고 있다. 마이크로디스플레이(520) 상의 점에서 출사된 광선은 먼저 프리폼 프리즘(510)의 면(3)에서 굴절된 다음, 면(1', 2)에서 2회 연속 반사되어 마침내 면(1)을 투과하여 시스템(500)의 사출 동공(512)에 도달한다. 면(1')에서의 반사는 TIR의 조건을 만족할 수 있다. 다중 소자를 필요로 하는 것이 아니라, 광학 경로가 프리즘 구조 내에서 사실상 꺽여진다. 디스플레이 경로(509)의 광학 성능을 더욱 향상시키기 위해 프리즘(510)의 면(3)과 마이크로디스플레이(520) 사이에 추가 렌즈가 삽입될 수도 있다.

도 5c는 통합 시스템(500)을 개략적으로 도시하고 있으며, 이 통합 시스템은 조명, 촬상 및 디스플레이 광학계가 동일한 프리즘(510)을 포함하고, 고화질의 눈 이미지를 형성하기 위해 마이크로디스플레이(520)의 가장자리(540) 주위에 핀홀형의 조리개(550)가 배치되어 있다. 조리개 및 LED 구성의 일례가 도 5c에 예시되어 있다. 마이크로디스플레이(520)의 주위부의 다른 장소에 조리개(550)와 LED(530)가 배치될 수도 있다는 점도 주목할만 하다. 또한, 조리개(550)와 LED(530)는 마이크로디스플레이(520)와 동일한 평면에 있거나 있지 않을 수도 있다. 시스템 성능을 향상시키기 위해 조명 경로(505), 눈 촬상 경로(507) 및 디스플레이 경로(509) 중 하나 이상의 경로에 추가 렌즈가 사용될 수도 있다. 또한, 마이크로디스플레이(520)에 최근접한 면, 즉 면(3)에서, 조명 경로(505), 눈 촬상 경로(507), 및 디스플레이 경로(509)는 (부분적으로는 겹칠 수 있지만) 면(3)의 각각의 상이한 부분에 침입할 수 있다.

시스루 기능을 가능하게 하기 위해, 프리즘(510)의 면(2)은 하프 미러(half mirror)로서 코팅될 수 있다. 실세계 장면으로부터의 광선은 투과되는 반면, 마이크로디스플레이(520)로부터의 광선은 면(2)에서 반사될 수 있다. 도 5d는 2개의 프리폼 면(4, 5)으로 이루어진 프리폼 보조 렌즈(515)를 개략적으로 도시하고 있으며, 이 프리폼 보조 렌즈는 프리폼 프리즘(510)에 의해 도입되는 시선측 편위 및 수차를 실세계 뷰 경로(511)에 대해 교정하기 위해 프리즘(510)와 결합되는 것이다. 보조 렌즈(515)의 면(4)은 대개 프리즘(510)의 면(2)과 처방(prescription)이 같으며, 보조 렌즈(515)의 면(5)은 축편위 및 수차를 교정하는데 최적화되어 있다. 보조 렌즈(515)는 전체 시스템의 풋프린트 또는 중량을 현저하게 상승시키지 않는다. 전체적으로, 예시적인 시스템(500)은 경량의, 컴팩트하고, 강고하며, 시선추적 기능을 갖는 HMD 솔루션에, 기존의 어떤 HMD 어프로치가 잠재적으로 만들어 낼 수 있는 것보다 덜 거슬리고, 설계의 컴퓨터 분석을 통해 추가 검증되는 폼팩트를 제공한다.

도 6은 도 5에 도시한 2 반사의 쐐기형 프리폼 프리즘(510)에 기초한 최적화 시스템의 2차원 광학 레이아웃을 개략적으로 도시하고 있다. 본 구현에 있어서, 촬상 렌즈(562)는 눈 촬상 경로(507)의 성능을 향상시키는데 이용될 수 있다. 조리개(550)는 프리즘(510)의 면(3)에 근접하게 배치될 수 있다. 마이크로디스플레이(520) 주위에는 NIR LED(530)가 배치될 수 있다. 도 7은 도 5d의 예시적인 광학 시스템의 3D 모델(700)을 개략적으로 도시하고, 도 8은 도 6과 도 7에 도시한 광학 설계에 기초한 양안식 ET-HMD 프로토타입(800)의 3D 모델을 개략적으로 도시하고 있다. 전체 시스템의 사양은 표 1에 열거한다.

[표 1] 광학 시스템 사양

프리폼 프리즘(510)의 예시적인 광학 처방법에 대해서는 면(1, 2, 3)마다 표 2 내지 표 4에 각각 열거한다. 프리즘(510)의 3개의 광학면 중, 면(1)은 애너모픽 비구면(anamorphic aspheric surface, AAS)이다. AAS면의 새그(sag)는 다음과 같이 정의된다.

여기서, z는 국소 x, y, z 좌표계의 z축을 따라 측정된 프리폼 면의 새그이고, c_x와 c_y는 각각 x축과 y축의 정점 곡률이며, K_x와 K_y는 각각 x축과 y축의 원뿔곡선 상수(conic constant)이고, AR, BR, CR 및 DR은 원뿔곡선으로부터의 4차, 6차, 8차 및 10차 변형의 회전 대칭 성분이며, AP, BP, CP, 및 DP는 원뿔곡선으로부터의 4차, 6차, 8차 및 10차 변형의 비회전 대칭 성분이다.

프리즘(510)의 면(2)은 다음과 같이 정의되는 XY 다항식 면(polynomial surface)일 수 있다.

여기서, z는 국소 x, y, z 좌표계의 z축을 따라 측정된 프리폼 면의 새그이고, c는 정점 곡률(CUY)이며, k는 원뿔곡선 상수이고, C_j는 x^myⁿ의 계수이다.

면(3)은 회전 대칭 키노폼 회절 광학 소자를 갖는 비구면일 수 있는데, 그 비구면의 새그는 다음과 같이 정의될 수 있다.

여기서, z는 국소 x, y, z 좌표계의 z축을 따라 측정된 면의 새그이고, c는 정점 곡률이며, k는 원뿔곡선 상수이고, A 내지 J는 각각 4차, 6차, 8차, 10차, 12차, 14차, 16차, 18차 및 20차 변형 계수이다.

[표 2] 프리폼 프리즘의 면(1)의 광학면 처방

[표 3] 프리폼 프리즘(510)의 면(2)의 광학면 처방

[표 4] 프리폼 프리즘(510)의 면(3)의 광학면 처방

프리폼 교정 렌즈(515)의 면(5)의 예시적인 광학 처방에 대해서는 표 5에 열거한다. 렌즈(515)의 면(4)은 프리즘(510)의 면(2)과 처방이 같고, 렌즈(515)의 면(5)은 면(2)와 같은 수학식으로 정의된 XY 다항식 면이다.

[표 5] 프리폼 교정 렌즈의 면(5)의 광학면 처방

예시적인 설계의 디스플레이 측에 있어서, 프리즘(510)은 46도의 대각선 FOV 또는 수평 40도 및 수직 22도를 제공한다. 그것은 ~8 ㎛의 픽셀 사이즈 및 0.9" 이하의 대각선 사이즈를 갖는 마이크로디스플레이(520)를 지원한다. 제조된 프로토타입에서는, 16:9의 종횡비 및 1920x1200 픽셀의 해상도를 갖는 0.86" 마이크로디스플레이가 사용되었다.

예시적인 설계는 높은 이미지 콘트라스트 및 해상도를 실현한다. 도 9a 내지 도 9d는 4 ㎜ 중심의 동공을 갖는 HMD 경로에 있어서 시야 전체에서의 20개 샘플 필드의 다색 변조 전달 함수(MTF)를 나타내고 있다. MTF 곡선은 50 lps/㎜의 컷오프 해상도(10 ㎛ 픽셀 해상도와 등가)에서 0.2의 평균 콘트라스트와 35 lps/㎜의 컷오프 해상도(대략 15 ㎛ 픽셀 해상도와 등가)에서 0.3보다 높은 평균 콘트라스트를 나타낸다. 도 10은 가상 디스플레이 경로의 왜곡 그리드도 나타내고 있다.

눈 촬상 및 조명 측에 있어서, 프리폼 프리즘(510)을 통해 균일하게 조명된 눈 영역을 형성하기 위해 이미지 소스 주변에 하나 이상의 NIR LED(530)가 배치된다. 프리폼 프리즘(510)은 수평 및 수직 방향 각각에 있어서 대략 30 ㎜ x 20 ㎜의 눈 영역에 대해 균일한 조명을 제공하는 것이 가능하다. NIR 조명하의 눈 영역은 고해상도의 NIR 센서(460)에 의해 포착될 수 있다. 촬상된 영역은 시선 이동을 추적하기에 충분하다. 눈 촬상 경로의 해상 가능한 픽셀 크기는 약 ~10 ㎛이다. 도 11은 눈 촬상 경로의 다색 변조 전달 함수(MTF)를 나타내고 있다. MTF 곡선은 50 lps/㎜의 컷오프 해상도(10 ㎛ 픽셀 해상도와 등가)에서 0.1의 평균 콘트라스트와 30 lps/㎜의 컷오프 해상도(대략 16 ㎛ 픽셀 해상도와 등가)에서 0.25보다 높은 평균 콘트라스트를 나타낸다. 도 12는 눈 촬상 경로의 왜곡 그리드도 나타내고 있다.

시스템(500)의 시스루 측에 있어서, 결합된 프리즘(510)와 프리폼 교정 렌즈(515)는 대략 100도의 대각선 FOV, 또는 수평 80도 및 수직 50도를 제공한다. 시스루 FOV는 향상된 상황 인식을 위해 가상 디스플레이 FOV보다 훨씬 크게 설계된다. 시스루 시스템의 아이박스 사이즈는 사용 편의성 및 시각적 편안함을 더욱 향상시키기 위해 가상 디스플레이 시스템보다 더 크게 최적화되어 있다. 이 설계의 실시형태는 높은 이미지 콘트라스트 및 해상도를 실현한다. 도 13a 내지 도 13d는 4 ㎜ 중심 동공을 갖는 시스루 경로에 있어서 중심 30x22도의 시야에 걸친 20개 샘플 필드의 다색 변조 전달 함수(MTF)를 나타내고 있다. MTF 곡선은 대략의 회절 한계 성능을 나타내고 있다. 도 13a 내지 도 13d에 있어서, 0.5 사이클/min은 원호형 공간 해상도의 1분에 대응하여 20/20 비전(vision)의 분해성이며, 1 사이클/min은 원호형 공간 해상도의 0.5분에 대응하여 20/15 비전의 분해성이다. 샘플 필드 전체의 평균 MTF는 0.5 사이클/min의 컷오프 해상도(1분의 원호 각도 해상도와 등가)에서 0.5보다 크고, 평균 콘트라스트는 1 사이클/min의 컷오프 해상도(0.5분의 원호 각도 해상도와 등가)에서 0.4보다 크다. 전체 80x50 시스루 FOV에 대한 평균 MTF는 0.5 사이클/min의 컷오프 주파수에서 0.35보다 크다. 도 14는 전체 FOV에 대한 시스루 디스플레이 경로의 왜곡 그리드도 나타내고 있다. 중심 40x22도에서의 왜곡은 1% 미만이고, 전체 시야에 걸친 평균은 8% 미만이다.

실시예 2

도 15a와 도 15b는 본 발명의 제2 구성의 예시적인 설계를 개략적으로 도시하고 있는데, 이 구성에서는 촬상 시스템(1500)의 조리개(1540)가 마이크로디스플레이(1520)를 둘러쌀 수 있다. 마이크로디스플레이 평면은 3개의 영역, 즉 IR 센서(1560)에 의해 광선을 집광시켜 IR 센서(1560) 상에서 눈을 촬상하는 조리개(1540)로서 역할할 수 있는 IR 투과 영역(1527)과, IR 광선이 IR 센서(1560)에 도달하는 것을 막는 활성 디스플레이 영역에 대응하는 마이크로디스플레이(1520)의 활성 영역(비투과성)과, 역시 광선이 IR 센서(1560)에 도달하는 것을 막는 마이크로디스플레이의 물리적 프레임에 대응하는, IR 투과성 및 마이크로디스플레이 영역 사이의 제3의 비투과성 프레임(1523)으로 구분된다. 촬상 시스템(1500)에 있어서, 프리즘(1510), 마이크로디스플레이(1520), 및 IR 센서(1560)의 각각의 광축은 동축일 수 있다. 이 경우에, IR 센서(1560)는 눈 동공의 이미지를 포착하기 위해 마이크로디스플레이(1520) 뒤에 배치될 수 있다. IR 센서(1560)로부터 프리즘(1510)까지의 거리는 프리폼 프리즘(1510)를 통과한 눈 동공의 이미지 위치에 종속되며, 궁극적으로는 디스플레이 경로의 설계에 종속된다. 예를 들어, 프리폼 프리즘(1510)이 디스플레이 공간에서 텔레센트릭으로 또는 텔레센트릭에 가깝게 설계된다면, 주광선은 서로 거의 평행하고 마이크로디스플레이(1510)과 교차하기 전에 마이크로디스플레이 면에 직교할 것이다. 이것은 프리즘(1510)을 통과한 눈 동공의 이미지가 무한 거리에 또는 실질적으로 원거리에 위치하는 것을 의미한다. 이 경우에, 도 15a에 도시하는 바와 같이, 눈 촬상 경로의 전체 길이를 줄이고 양호한 화질을 달성하기 위해서는 IR 센서(1560)와 프리즘(1510) 사이에 하나 이상의 추가 촬상 렌즈(1562)가 삽입될 필요가 있다.

한편, 프리폼 프리즘(1510)이 비텔레센트릭으로 설계된다면(즉, 주광선이 프리즘(1510) 뒤에서 얼마의 단거리 점에서 집속됨), 눈 동공은 프리즘(1510)에 의해 상당히 가까운 거리에서 촬상되고 IR 센서(1560)은 추가 촬상 렌즈(1562)의 필요성 없이 프리즘(1510) 뒤에 바로 배치될 수 있다. 실제로, 텔레센트릭성 또는 근접 텔레센트릭성의 조건은, 가상 이미지가 전체 FOV에 걸쳐 더 균일하게 보이기 때문에 디스플레이 경로를 설계할 경우에 종종 바람직할 수 있다. 이 조건은 마이크로디스플레이(1520)가 협각 내에서만 광을 출사하거나 반사하는 경우(예, LCoS 유형의 마이크로디스플레이 등의 장치)에 필요할 수 있다. 마이크로디스플레이(1520)가 넓은 출사각을 제공할 경우(예, OLED), 텔레센트릭성 조건이 완화될 수 있다.

NIR LED는 도 3b에 도시한 바와 같이 마찬가지로 조리개(1540) 주위에 배치될 수도 있고, 또는 이와 다르게 NIR LED(1530)는 프리즘(1510)의 가장자리 주위에 배치되어 도 15a에 도시하는 바와 같이 눈(10)을 직접 조명할 수도 있다. 더욱이, 프리즘(1530)을 사용하지 않고서 눈(10)을 직접 조명하기 위해 프리즘(1510)의 가장자리 주위의 NIR LED(1530)는 예컨대 도 5a 내지 도 6 또는 도 16에 도시한 것을 비롯해 본 발명의 기타 구성으로 구현될 수 있다.

실시예 3

도 16은 핵심 광학계(310)에 대해 회전 대칭 광학계를 사용하는, 도 3에 도시한 광학 방식의 예시적인 설계(600)를 개략적으로 도시하고 있다. 컴팩트한 프리폼 기반의 프리즘(510)을 사용하는 대신에, 디스플레이 표시, 눈 촬상 및 눈 조명을 위한 핵심 광학계(310)로서 4개 소자의 표시용 광학계(1610)를 이용한다. 광학계(1610)의 초점면에 마이크로디스플레이(1620)가 배치될 수 있다. 이미지 소스(1620) 주위에는 하나의 광원(1630)(NIR-LED 등)이 배치될 수 있다. 촬상 센서(1660) 상에 눈 이미지를 형성하기 위해 이미지 소스(1620)의 가장자리 주위에는 핀홀형의 조리개(1640) 및 마이크로촬상 렌즈(1662)도 배치될 수 있다. 상이한 애플리케이션을 위해 필요하다면 이미지 소스(1620) 주위에 추가 광원(1630)과 촬상 서브시스템(마이크로촬상 렌즈(1662)와 촬상 센서(1660))가 배치될 수 있다. 예시적인 설계(1600)에 있어서, 디스플레이 광학계(1610)와 마이크로디스플레이(1620)의 각 광축은 동축일 수 있고, 촬상 센서(1660), 광원(1630) 및 마이크로디스플레이(1620) 중 하나 이상의 각각의 광축이 서로에 대해 경사지고/지거나 편심될 수 있다. 프리폼 구성과 마찬가지로, 마이크로디스플레이(1620)에 최근접한 면인 면(8)에 있어서, 예컨대 촬상 경로와 디스플레이 경로 사이에 나타내는 바와 같이 부분적으로는 겹쳐지지만, 조명 경로, 눈 촬상 경로, 및 디스플레이 경로는 면(8)의 각각의 상이한 부분에 침입한다.

표시용 광학계(1610)는 40도의 대각선 FOV, 2 ㎜의 눈동자 거리 및 2 ㎜의 눈동공 사이즈를 제공할 수 있으며, 0.8" 이하의 대각선 사이즈를 가진 촬상 센서(1620)를 지원할 수 있다. 표시용 광학계를 통해 균일하게 조명된 눈 영역을 형성하기 위해 마이크로디스플레이(1620) 주위에 하나 이상의 NIR LED(1630)가 배치될 수 있다. 표시용 광학계(1610)는 대략 15 ㎜ x 15 ㎜의 눈 영역에 대해 균일한 조명을 제공하는 것이 가능하다. 동일한 조명하의 영역은 고해상도의 NIR 센서(1630)에 의해 포착될 수 있다. 촬상된 영역은 시선 이동을 추적하기에 충분하다.

설계(1600)의 예시적인 광학 처방에 대해서는 표 6 내지 표 9에 열거한다.

[표 6] 표시용 광학계(1610)의 광학면 처방

[표 7] 촬상 렌즈(1662)의 광학면 처방

면(11, 12)은 다음과 같이 정의된 비구면의 새그를 갖는 비구면일 수 있다.

[표 8] 촬상 렌즈의 면(11)의 광학면 처방

[표 9] 촬상 렌즈의 면(12)의 광학면 처방

당업자에게는 본 발명의 이러한 장점들 및 기타 장점이 전술한 상세한 설명으로부터 명백해질 것이다. 따라서, 당업자라면 본 발명의 넓은 발명 개념에서 벗어나는 일 없이 전술한 실시형태에 대해 변화 또는 변형이 이루어질 수 있다고 생각할 것이다. 따라서, 본 발명은 여기에 설명한 특정 실시형태에 제한되는 것이 아니라 특허청구범위에 기재하는 본 발명의 범주 및 사상 내에 있는 모든 변화 또는 변형을 포함하는 것을 목적으로 한다.

Claims

시선추적 기능의 헤드 탑재형 디스플레이(eye-tracked head-mounted display)에 있어서,
사용자가 보는 이미지를 생성하며, 디스플레이 광경로 및 이 디스플레이 광경로와 연관된 사출 동공(exit pupil)을 구비하는 마이크로디스플레이;
상기 마이크로디스플레이에 배치된 제1면 및 상기 사출 동공에 배치된 제2면;
상기 제2면에 위치하는 사용자의 눈으로부터 반사된, 상기 제2면으로부터의 반사 광선(reflected optical radiation)을 수광하도록 구성되며, 연관된 센서 광경로를 구비하는 이미지 센서;
광선을 생성하고 사용자의 눈의 조명을 달성하기 위해 상기 제2면을 조명하도록 구성된 광원으로서, 상기 광원은 이 광원과 연관된 조명 광경로를 구비하고, 상기 제1면에 근접 배치되는 것인, 광원; 및
1) 상기 디스플레이 광경로를 따라 상기 마이크로디스플레이와, 2) 상기 조명 광경로를 따라 상기 광원과, 그리고 3) 상기 센서 광경로를 따라 상기 이미지 센서와 광통신하도록 배치되는 디스플레이 광학계로서, 상기 디스플레이 광학계는 상기 마이크로디스플레이, 상기 이미지 센서, 및 상기 광원에 최근접한 선택면을 구비하며, 상기 디스플레이 광학계는 상기 광원으로부터 광선을 수광하고 그 광선을 상기 제2면에 투과시키도록 배치되는 것인, 상기 디스플레이 광학계
를 포함하고
상기 이미지 센서 및 상기 광원은, 상기 마이크로디스플레이에 근접하고 상기 디스플레이 광학계의 상기 선택면과 대면하는 위치에 배치되고,
상기 사출 동공에 최근접하고 상기 사출 동공과 대면하여 배치된, 상기 디스플레이 광학계의 표면은, 애너모픽 비구면(anamorphic aspheric surface, AAS)을 포함하며, 상기 AAS의 새그(sag)는,

의 수학식에 의해 정의되며,
상기 수학식에서, z는 국소 x, y, z 좌표계의 z축을 따라 측정된 상기 AAS의 새그이고, c_x와 c_y는 각각 x축과 y축의 정점 곡률이고, K_x와 K_y는 각각 x축과 y축의 원뿔곡선 상수(conic constant)이고, AR, BR, CR 및 DR은 상기 원뿔곡선으로부터의 4차, 6차, 8차 및 10차 변형의 회전 대칭 성분이며, AP, BP, CP, 및 DP는 상기 원뿔곡선으로부터의 4차, 6차, 8차 및 10차 변형의 비회전 대칭 성분인 것인, 시선추적 기능의 헤드 탑재형 디스플레이.
제 1 항에 있어서,
상기 디스플레이 광경로 및 이미지 센서 광경로는 상기 선택면에서 부분적으로 겹치는 것인 시선추적 기능의 헤드 탑재형 디스플레이.
제 1 항에 있어서,
상기 디스플레이 광학계는 상기 제2면에서 보기 위한 상기 마이크로디스플레이의 가상 이미지를 생성하도록 구성되는 것인 시선추적 기능의 헤드 탑재형 디스플레이.
제 1 항에 있어서,
상기 디스플레이 광경로 및 상기 센서 광경로는 각각 상기 마이크로디스플레이 및 상기 이미지 센서에서 각각의 광축을 포함하고, 상기 광축들은 동축인 것인 시선추적 기능의 헤드 탑재형 디스플레이.
제 1 항에 있어서,
상기 디스플레이 광경로는 광축을 포함하고, 상기 이미지 센서는 상기 디스플레이 광경로의 광축에서 벗어나 배치되는 것인 시선추적 기능의 헤드 탑재형 디스플레이.
제 1 항에 있어서,
상기 제1면에 조리개(stop)를 포함하고, 상기 조리개는 상기 센서 광경로를 따른 장소에 배치되어 있는 적어도 하나의 개구(aperture)를 내부에 구비하는 것인 시선추적 기능의 헤드 탑재형 디스플레이.
제 1 항에 있어서,
상기 이미지 센서와 상기 선택면 사이의 상기 센서 광경로를 따른 장소에 배치되어 있는 적어도 하나의 개구를 내부에 구비한 조리개를 포함하는 시선추적 기능의 헤드 탑재형 디스플레이.
제 6 항에 있어서,
상기 적어도 하나의 개구는 핀홀을 포함하는 것인 시선추적 기능의 헤드 탑재형 디스플레이.
제 1 항에 있어서,
상기 디스플레이 광학계는 프리폼(freeform) 광학 소자를 포함하는 것인 시선추적 기능의 헤드 탑재형 디스플레이.
제 1 항에 있어서,
상기 디스플레이 광학계는 회전 대칭 광학 소자를 포함하는 것인 시선추적 기능의 헤드 탑재형 디스플레이.
제 1 항에 있어서,
상기 디스플레이 광학계는 프리폼 광학 프리즘을 포함하는 것인 시선추적 기능의 헤드 탑재형 디스플레이.
제 11 항에 있어서,
상기 프리폼 광학 프리즘은 쐐기형(wedge-shaped) 프리즘을 포함하는 것인 시선추적 기능의 헤드 탑재형 디스플레이.
제 11 항에 있어서,
상기 프리폼 광학 프리즘은 비구면을 포함하는 것인 시선추적 기능의 헤드 탑재형 디스플레이.
제 11 항에 있어서,
상기 프리폼 광학 프리즘은 디스플레이 공간에서 텔레센트릭인 것인 시선추적 기능의 헤드 탑재형 디스플레이.
제 11 항에 있어서,
상기 프리폼 광학 프리즘은 디스플레이 공간에서 비텔레센트릭인 것인 시선추적 기능의 헤드 탑재형 디스플레이.
제 11 항에 있어서,
상기 프리폼 광학 프리즘은 상기 마이크로디스플레이로부터의 광을 수광하고 내부 전반사시키도록 지향된 TIR(total internal reflection)면을 포함하는 것인 시선추적 기능의 헤드 탑재형 디스플레이.
제 11 항에 있어서,
상기 프리폼 광학 프리즘은 광을 상기 이미지 센서로 내부 전반사시키도록 지향된 TIR(total internal reflection)면을 포함하는 것인 시선추적 기능의 헤드 탑재형 디스플레이.
제 11 항에 있어서,
상기 프리폼 광학 프리즘과 광통신하는 프리폼 교정 렌즈를 포함하는 시선추적 기능의 헤드 탑재형 디스플레이.
제 18 항에 있어서,
상기 프리폼 교정 렌즈의 시야는 상기 디스플레이 광학계의 시야보다 큰 것인 시선추적 기능의 헤드 탑재형 디스플레이.
제 1 항에 있어서,
상기 디스플레이 광학계는 하프 미러면(half-mirrored surface)을 포함하는 것인 시선추적 기능의 헤드 탑재형 디스플레이.
제 1 항에 있어서,
상기 광원은 복수의 발광 다이오드를 포함하는 것인 시선추적 기능의 헤드 탑재형 디스플레이.
제 1 항에 있어서,
상기 디스플레이 광학계는 상기 광원으로부터의 광선을 시준하도록 구성되는 것인 시선추적 기능의 헤드 탑재형 디스플레이.
제 1 항에 있어서,
상기 디스플레이 광학계의 상기 디스플레이 광경로는 광축을 포함하고, 상기 광원은 상기 광축에서 벗어나 배치되는 것인 시선추적 기능의 헤드 탑재형 디스플레이.
제 1 항에 있어서,
상기 디스플레이 광학계는 상기 광원으로부터 광선을 수광하고 내부 전반사시키도록 지향된 TIR(total internal reflection)면을 포함하는 것인 시선추적 기능의 헤드 탑재형 디스플레이.
제 1 항에 있어서,
상기 디스플레이 광학계는, 상기 디스플레이 광경로 및 상기 센서 광경로가 상기 선택면의 각각의 상이한 부분에 침입하도록, 상기 마이크로디스플레이 및 상기 이미지 센서에 대해 배치되는 것인 시선추적 기능의 헤드 탑재형 디스플레이.