KR20230151053A

KR20230151053A - 광 스캐닝 프로젝터와 함께 눈 움직임을 추적하기 위한 방법 및 시스템

Info

Publication number: KR20230151053A
Application number: KR1020237035884A
Authority: KR
Inventors: 브라이언 티. 쇼웬게르트; 매튜 디. 왓슨; 스콧 프랭크; 찰스 데이비드 멜빌
Original assignee: 매직 립, 인코포레이티드
Priority date: 2017-03-21
Filing date: 2018-03-21
Publication date: 2023-10-31
Also published as: US10715794B2; EP3602178A4; EP3602178B1; US20180278924A1; CN110446965A; EP3602178A1; CN114755824A; US11838496B2; IL269101A; WO2018175548A1; CN110446965B; US20200366887A1; JP2023101505A; EP4235258A2; KR20190126880A; CA3056657A1; US20210344897A1; JP2020514831A; US11025897B2; JP7273720B2

Abstract

눈 추적 시스템은 광 스캐닝 프로젝터 및 광 스캐닝 프로젝터에 광학적으로 커플링된 아이피스를 포함한다. 눈 추적 시스템은 또한 광학 센서, 및 광 스캐닝 프로젝터 및 광학 센서에 커플링된 프로세서를 포함한다.

Description

광 스캐닝 프로젝터와 함께 눈 움직임을 추적하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR TRACKING EYE MOVEMENT IN CONJUNCTION WITH A LIGHT SCANNING PROJECTOR}

[0001] 본 출원은 "Method and System for Tracking Eye Movement in Conjunction with a Fiber Scanning Projector"라는 명칭으로 2017년 3월 21일자로 출원된 미국 가특허 출원번호 제62/474,497호를 우선권으로 주장하며, 이로써 이 가출원의 개시내용은 모든 목적들을 위해 그 전체가 인용에 의해 통합된다.

[0002] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 가능하게 하였고, 여기서 디지털 방식으로 재생된 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 지각될 수 있는 방식으로 뷰어에게 제시된다. 가상 현실, 또는 "VR" 시나리오는 전형적으로 다른 실제 실세계 시각적 입력에 대한 투명화(transparency) 없는 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하고; 증강 현실, 또는 "AR" 시나리오는 전형적으로 뷰어 주위의 실제 세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다.

[0003] 이러한 디스플레이 기술들에서 이루어진 진보에도 불구하고, 증강 현실 시스템들, 특히 디스플레이 시스템들과 관련된 개선된 방법들 및 시스템들에 대한 필요성이 당업계에 존재한다.

[0004] 본 발명은 일반적으로 웨어러블 디스플레이들을 포함하는 프로젝션 디스플레이 시스템들과 관련된 방법들 및 시스템들에 관한 것이다. 보다 구체적으로, 본 발명의 실시예들은 광 스캐닝 프로젝터 시스템들과 관련하여 눈의 움직임을 추적하는 방법들 및 시스템들을 제공한다. 특정 실시예에서, 시간의 함수로서 눈 배향 및 모션을 결정하기 위한 방법들 및 시스템들(즉, 눈 추적)은 섬유 스캐닝 프로젝터에 의해 구동되는 도파관 디스플레이와 함께 구현된다. 본 발명은 컴퓨터 비전 및 이미지 디스플레이 시스템들의 다양한 응용들에 적용가능하다.

[0005] 본 발명의 실시예에 따르면, 눈 추적 시스템이 제공된다. 눈 추적 시스템은 2개의 프레임들을 포함하는 안경, 및 안경에 커플링되고 광 빔을 스캐닝하도록 동작 가능한 광 스캐닝 프로젝터를 포함한다. 눈 추적 시스템은 또한 2개의 프레임들 중 하나에 장착되고 광 스캐닝 프로젝터에 광학적으로 커플링된 아이피스(eyepiece)를 포함한다. 아이피스는 광 빔의 적어도 일부를 사용자의 눈을 향해 지향시키도록 동작 가능한 출사 동공 확장기를 포함한다. 눈 추적 시스템은 안경에 커플링된 하나 이상의 광검출기들, 및 광 스캐닝 프로젝터 및 하나 이상의 광검출기들에 커플링된 프로세서를 더 포함한다.

[0006] 본 발명의 특정 실시예에 따르면, 눈 추적 시스템이 제공된다. 눈 추적 시스템은 광 스캐닝 프로젝터, 및 광 스캐닝 프로젝터에 광학적으로 커플링된 아이피스를 포함한다. 눈 추적 시스템은 또한 광학 센서, 및 광 스캐닝 프로젝터 및 광학 센서에 커플링된 프로세서를 포함한다.

[0007] 본 발명의 다른 실시예에 따르면, 광 스캐닝 프로젝터, 아이피스 및 광학 센서를 포함하는 눈 추적 시스템을 동작시키는 방법이 제공된다. 방법은, 광 스캐닝 프로젝터를 사용하여, 광학 신호를 생성하는 단계 및 광학 신호의 적어도 일부를 아이피스에 커플링하는 단계를 포함한다. 방법은 또한 사용자의 눈으로 볼 수 있는 이미지를 아이피스로부터 투사하는 단계, 광학 센서를 사용하여 사용자의 눈으로부터 반사된 광을 검출하는 단계, 및 사용자의 눈의 포지션(position)을 추적하는 단계를 포함한다.

[0008] 본 발명의 다른 특정 실시예에 따르면, 제1 배향으로부터 제2 배향으로의 눈의 움직임을 추적하는 방법이 제공된다. 방법은 비디오 이미지의 제1 이미지 프레임을 형성하기 위해 도파관 스캐닝 프로젝터의 도파관을 스캐닝하는 단계를 포함한다. 제1 일련의 픽셀들은 제1 이미지 프레임을 정의한다. 방법은 또한 제1 이미지 프레임을 복수의 평면 도파관들을 포함하는 아이피스에 커플링하는 단계, 제1 이미지 프레임의 적어도 일부를 사용자의 눈으로 송신하는 단계, 및 제1 일련의 반사된 세기들을 검출하는 단계를 포함하며, 제1 일련의 반사된 세기들 각각은 제1 일련의 픽셀들 중 하나의 픽셀과 연관된다. 방법은 제1 일련의 검출된 반사 세기들을 제1 일련의 픽셀들과 상관시키는 단계, 눈의 제1 배향을 결정하는 단계, 및 비디오 이미지의 제2 이미지 프레임을 형성하기 위해 도파관을 스캐닝하는 단계를 더 포함한다. 제2 일련의 픽셀들은 제2 이미지 프레임을 정의한다. 부가적으로, 방법은 제2 이미지 프레임을 아이피스에 커플링하는 단계, 제2 이미지 프레임의 적어도 일부를 사용자의 눈으로 송신하는 단계, 및 제2 일련의 반사 세기들을 검출하는 단계를 포함하며, 제2 일련의 반사 세기들 각각은 제2 일련의 픽셀들 중 하나의 픽셀과 연관된다. 방법은 제2 일련의 검출된 반사 세기들을 제2 일련의 픽셀들과 상관시키는 단계 및 눈의 제2 배향을 결정하는 단계를 더 포함한다.

[0009] 본 발명의 다른 특정 실시예에 따르면, 눈 배향을 특성화하는 방법이 제공된다. 방법은 비디오 이미지의 이미지 프레임의 제1 부분을 형성하기 위해 섬유 스캐닝 프로젝터의 섬유를 스캐닝하는 단계를 포함한다. 제1 일련의 픽셀들은 이미지 프레임의 제1 부분을 정의한다. 방법은 또한 이미지 프레임의 제1 부분을 복수의 평면 도파관들을 포함하는 아이피스에 커플링하는 단계, 이미지 프레임의 제1 부분의 적어도 일부를 사용자의 눈으로 송신하는 단계, 및 복수의 광학 검출기들 각각에서 시간적 반사 신호를 검출하는 단계를 포함한다. 방법은 복수의 시간적 반사 신호들을 제1 일련의 픽셀들과 상관시키는 단계, 및 비디오 이미지의 이미지 프레임의 제2 부분을 형성하기 위해 섬유를 스캐닝하는 단계를 더 포함한다. 제2 일련의 픽셀들은 이미지 프레임의 제2 부분을 정의한다. 부가적으로, 방법은 이미지 프레임의 제2 부분을 아이피스에 커플링하는 단계, 및 이미지 프레임의 제2 부분의 적어도 일부를 사용자의 눈으로 송신하는 단계를 포함한다. 방법은 복수의 광학 검출기들의 각각에서 제2 시간적 반사 신호를 검출하는 단계, 복수의 제2 시간적 반사 신호들을 제2 일련의 픽셀들과 상관시키는 단계, 및 눈 배향을 결정하는 단계를 더 포함한다.

[0010] 본 발명의 특정 실시예에 따르면, 눈 추적을 수행하는 방법이 제공된다. 방법은 광 스캐닝 프로젝터, 프레임에 장착된 아이피스, 및 프레임의 주변부 주위에 배열된 복수의 광학 검출기들을 제공하는 단계를 포함한다. 방법은 또한 광 스캐닝 프로젝터 및 아이피스를 사용하여 제1 이미지 프레임을 눈에 투사하는 단계, 복수의 광학 검출기들을 사용하여 복수의 시변 반사 신호들을 검출하는 단계, 및 제1 눈 배향을 결정하는 단계를 포함한다. 방법은 광 스캐닝 프로젝터 및 아이피스를 사용하여 제2 이미지 프레임을 눈에 투사하는 단계, 복수의 광학 검출기들을 사용하여 제2 복수의 시변 반사 신호들을 검출하는 단계, 및 제2 눈 배향을 결정하는 단계를 더 포함한다.

[0011] 종래 기술들에 비해 본 발명에 의해 많은 장점들이 달성된다. 예컨대, 본 발명의 실시예들은 작은 폼 팩터들을 갖는 도파관 디스플레이들과 함께 눈 추적을 가능하게 하는 방법들 및 시스템들을 제공한다. 부가적으로, 일부 실시예들은 디스플레이를 입력 방사(input radiation)로서 구동하기 위해 제공된 광을 활용하는데, 이러한 디스플레이 광의 반사에 기초하여 눈 추적을 수행함으로써 시스템 복잡성을 감소시킨다. 본 발명의 이들 및 다른 실시예들은 이들의 많은 장점들 및 특징들과 함께 아래의 본문 및 첨부된 도면들과 함께 더 상세하게 설명된다.

[0012] 도 1은 본 발명의 실시예에 따라, 뷰어에게 디지털 또는 가상 이미지를 제시하는 데 사용될 수 있는 VOA(viewing optics assembly)에서의 광 경로들을 개략적으로 예시한다.
[0013] 도 2는 본 발명의 실시예에 따른 눈 추적 시스템을 통합한 안경을 예시하는 간략화된 개략도이다.
[0014] 도 3은 본 발명의 실시예에 따른 여러 스펙트럼 프로파일들을 예시한 간략화된 다이어그램이다.
[0015] 도 4는 본 발명의 실시예에 따른 아이피스 층들을 예시한 간략화된 측면도이다.
[0016] 도 5는 본 발명의 다른 실시예에 따른 아이피스 층들을 예시한 간략화된 측면도이다.
[0017] 도 6은 본 발명의 실시예에 따른 눈 추적 시스템의 간략화된 개략도이다.
[0018] 도 7은 본 발명의 실시예에 따른 눈 추적 시스템을 동작시키는 방법을 예시하는 간략화된 흐름도이다.
[0019] 도 8은 본 발명의 실시예에 따라 제1 배향으로부터 제2 배향으로의 눈의 움직임을 추적하는 방법을 예시하는 간략화된 흐름도이다.
[0020] 도 9는 본 발명의 실시예에 따라 각막 글린트를 사용하는 눈 추적 시스템의 측면도를 예시하는 간략화된 개략도이다.
[0021] 도 10은 본 발명의 실시예에 따라 눈 배향을 특성화하는 방법을 예시하는 간략화된 흐름도이다.
[0022] 도 11은 본 발명의 실시예에 따라 눈 추적을 수행하는 방법을 예시하는 간략화된 흐름도이다.
[0023] 도 12a는 본 발명의 실시예에 따른 눈 추적 시스템의 측면도를 예시하는 간략화된 개략도이다.
[0024] 도 12b는 본 발명의 대안 실시예에 따른 눈 추적 시스템의 측면도를 예시하는 간략화된 개략도이다.
[0025] 도 12c는 본 발명의 대안 실시예에 따른 눈 추적 시스템의 측면도를 예시하는 간략화된 개략도이다.

[0026] 본 발명은 일반적으로 웨어러블 디스플레이들을 포함하는 프로젝션 디스플레이 시스템들과 관련된 방법들 및 시스템들에 관한 것이다. 보다 구체적으로, 본 발명의 실시예들은 광 스캐닝 프로젝터 시스템들(또한 빔 스캐닝 프로젝터 시스템들로 지칭됨)과 관련하여 눈의 움직임을 추적하는 방법들 및 시스템들을 제공한다. 특정 실시예에서, 시간의 함수로서 눈 배향 및 모션을 결정하기 위한 방법들 및 시스템들(즉, 눈 추적)은 섬유 스캐닝 프로젝터에 의해 구동되는 도파관 디스플레이와 함께 구현된다. 본 발명은 컴퓨터 비전 및 이미지 디스플레이 시스템들의 다양한 응용들에 적용가능하다.

[0027] 본원에서 설명된 바와 같이, 본 발명의 실시예들은 눈 추적을 가능하게 하기 위해 광 스캐닝 프로젝터(예컨대, 섬유 스캐닝 프로젝터)의 엘리먼트들을 레버리지(leverage)한다. 예컨대, 광 빔은 일시적으로 눈으로 스캐닝될 수 있다. 눈의 각막 또는 망막으로부터 반사된 광은 하나 이상의 검출기들을 사용하여 검출된다. 시간의 함수로서 광 빔의 포지션이 알려지기 때문에, 반사들의 시간적 변화는 눈 포지션과 상관될 수 있어서 시선 검출을 가능하게 한다.

[0028] 도 1은 본 발명의 실시예에 따라, 뷰어에게 디지털 또는 가상 이미지를 제시하는 데 사용될 수 있는 VOA(viewing optics assembly)에서의 광 경로들을 개략적으로 예시한다. VOA는 뷰어의 눈 주위에 또는 뷰어의 눈 정면에 착용될 수 있는 아이피스(100) 및 프로젝터(101)를 포함한다. 논의되는 바와 같이, 본원에서, VOA는 한 안경을 착용한 뷰어에게 디지털 또는 가상 이미지를 제시하기 위해 그 안경의 프레임들과 통합될 수 있다.

[0029] 도 1을 참조하면, 섬유 스캐닝 프로젝터(101)가 예시되어 있다. 2mm x 2mm x 7mm 정도의 치수들을 가질 수 있는 섬유 스캐닝 프로젝터(101)는 섬유 입력(110), 섬유 진동 구역(120) 및 광학 어셈블리 섹션(130)을 포함한다. 압전 액추에이터(150)는 리테이닝 칼라(retaining collar)(152)에 의해 지지되고 와이어들(미도시)로부터의 전기 신호들에 의해 구동된다. 스캐닝 섬유로 또한 지칭되는 광섬유(154)는 압전 액추에이터(150)에 기계적으로 커플링되어, 섬유 진동 구역(120)에서, 예컨대 주어진 프레임 시간 동안의 광의 투사하는 중에 각도 편향이 증가하는 나선형 구성으로 진동한다. 섬유 스캐닝 프로젝터로의 입력 광은 섬유 입력(110)을 통해 제공되고, 섬유 스캐닝 프로젝터(101)로부터의 출력 광은 광학 어셈블리 섹션(130)의 표면들 중 하나 이상의 표면을 통해 제공된다. 섬유 스캐닝 프로젝터의 다양한 엘리먼트들은 2018년 3월 21일에 출원된 미국 특허 출원 번호 __ (대리인 관리번호 101782-1075067 (003310US))에 더 완전히 설명되어 있으며, 이로써 이의 개시내용은 모든 목적들을 위해 그 전체가 인용에 의해 통합된다.

[0030] 비록 도 1이 아이피스(100)내로 직접 지향되는 것으로 섬유 스캐닝 프로젝터(101)로부터의 광을 예시하지만, 다른 실시예들에서, 선택적인 프로젝터 릴레이(103)는, 이것이 본 발명에 의해 요구되지 않고 본 발명의 실시예들에 따라 다른 광학 구성이 활용될 수 있을지라도, 활용된다. 예시된 실시예에서, 광은 섬유 스캐닝 프로젝터(101)의 기계적 인클로저(156)의 세로 축에 대체로 수직인 방향으로 광학 어셈블리 섹션에서 출사된다.

[0031] 도 1을 참조하면, 섬유 스캐닝 프로젝터(101)가 예시되어 있다. 그러나, 예컨대, 스캐닝식 도파관 시스템으로서 구현될 수 있는 다른 스캐닝식 광 시스템들 또는 스캐닝식 빔 시스템들이 본 발명의 실시예들과 함께 활용될 수 있다는 것이 인식될 것이다. 따라서, 비록 광을 도파시키기 위한 일 구현으로서 광섬유가 일부 실시예들에 예시되어 있지만, 본 발명은 섬유 스캐닝 시스템들로 제한되지 않고 다른 실시예들에 따라 다른 도파관 스캐닝 시스템이 활용될 수 있다. 다른 도파관 시스템들의 예들은 도파관 피처(feature)들, 예컨대 캔틸레버형 빔(cantilevered beam)과 통합된 실리콘 도파관을 광 스캐닝 시스템들에 통합하는 미세전자기계 시스템(microelectromechanical system: MEMS)들을 포함한다. 더욱이, 프로젝터에 의해 광 빔이 스캐닝되는 스캐닝 미러 시스템은 본원에서 설명되는 바와 같이 본 발명의 실시예들에서 활용될 수 있다. 게다가, 스캐닝 점진원(point source), 예컨대 발광 다이오드(LED) 또는 유기 LED(OLED)가 본 발명의 실시예들에서 활용될 수 있다.

[0032] 동작 중에, 압전 액추에이터(150)에 기계적으로 부착된 광섬유(154)는 섬유 진동 구역(120)에서 진동한다. 실시예에서, 압전 액추에이터(150)는 서로에 대해 90°시프트된 원주 포지션들에 분포된 4개의 전극들을 포함한다. 따라서, 압전 액추에이터의 대향 측들에 인가된 양 및 음의 전압들은 전극들의 평면에서 액추에이터 및 스캐닝 섬유를 구부릴 수 있다. 4개의 전극들 모두를 동기화하여 구동함으로써, 섬유의 진동이 달성될 수 있다. 광섬유(154)가 스캐닝될 때 광이 광섬유(154)에서 출사함에 따라, 광은 아이피스(100)를 향해 광을 재지향시키는 광학 어셈블리 섹션(130)에 커플링된다.

[0033] 섬유 스캐닝 프로젝터(101)는 풀-컬러 디스플레이(full-color display)를 형성하기 위해 3원색, 즉 적색, 녹색 및 청색(RBG)을 포함하는 다수의 컬러들을 제공할 수 있다. 따라서, 아이피스(100)은 하나 이상의 아이피스 층들을 포함할 수 있다. 일 실시예에서, 아이피스(100)는 3개의 아이피스 층들을 포함하는데, 3원색, 즉 적색, 녹색 및 청색 각각에 대해 하나의 아이피스 층이 제공된다. 다른 실시예에서, 아이피스(100)는 6개의 아이피스 층들을 포함할 수 있으며, 즉 하나의 깊이 평면에서 가상 이미지를 형성하도록 구성된 3원색 각각에 대해 한 세트의 아이피스 층들이 포함되고 다른 깊이 평면에서 가상 이미지를 형성하도록 구성된 3원색 각각에 대해 다른 세트의 아이피스 층들이 포함될 수 있다. 다른 실시예들에서, 아이피스(100)은 3개 이상의 상이한 깊이 평면들에 대한 3원색 각각에 대해 3개 이상의 아이피스 층들을 포함할 수 있다. 각각의 아이피스 층은 평면 도파관을 포함하고, 인커플링 격자(107), 직교 동공 확장기(OPE) 구역(108), 및 출사 동공 확장기(EPE) 구역(109)을 포함할 수 있다.

[0034] 도 1을 계속 참조하면, 프로젝터(101)는 아이피스 층(100)의 인커플링 격자(107) 상으로 이미지 광을 투사한다. 인커플링 격자(107)는 프로젝터(101)로부터의 이미지 광을 OPE 구역(108)을 향하는 방향으로 전파하는 평면 도파관에 커플링한다. 도파관은 내부 전반사(TIR)에 의해 이미지 광을 수평 방향으로 전파한다. 아이피스 층(100)의 OPE 구역(108)은 또한 도파관에서 전파되는 이미지 광의 일부를 EPE 구역(109)을 향해 커플링 및 재지향시키는 회절 엘리먼트를 포함한다. EPE 구역(109)은 아이피스 층(100)의 평면에 대략 수직인 방향으로 도파관에서 전파되는 이미지 광의 일부를 시청자의 눈(102)을 향해 커플링 및 지향시키는 회절 엘리먼트를 포함한다. 이러한 방식으로, 프로젝터(101)에 의해 투사된 이미지는 시청자의 눈(102)에 의해 보여질 수 있다.

[0035] 앞서 설명된 바와 같이, 프로젝터에 의해 생성된 이미지 광은 3원색, 즉 청색(B), 녹색(G) 및 적색(R)의 광을 포함할 수 있다. 이러한 이미지 광은 예컨대 시간적으로 또는 공간적으로 구성 컬러(constituent color)들로 분리될 수 있어서, 각각의 구성 컬러의 이미지 광은 아이피스의 개개의 도파관에 커플링될 수 있다.

[0036] 도 2는 본 발명의 실시예에 따른 눈 추적 시스템을 통합한 안경을 예시하는 간략화된 개략도이다. 본원에서 더 완전히 설명되는 바와 같이, 표준 안경과 비슷한 작은 폼 팩터들이 본 발명의 실시예들에 의해 가능해 진다. 본 발명의 실시예들을 활용함으로써, 원하는 시야, 분해능 깊이(depth of resolution), 통합 관성 모션 유닛(IMU)들, 카메라들, 오디오 컴포넌트들 등을 갖는 디스플레이들이 제공된다. 도 2는 안경(210) 및 프레임(212)을 예시한다. 도 2에 예시된 바와 같이, 섬유 스캐닝 프로젝터(101)는 투사된 광이 인커플링 격자들(107)을 향해 지향되도록 프레임(212)에 장착될 수 있다. 다른 실시예들에서, 프로젝터는 안경의 템플(temple)에 장착될 수 있다. 도 1과 관련하여 논의된 바와같이, 섬유 스캐닝 프로젝터(101)는 투사된 광을 사용자의 눈을 향해 지향시키기 위해 프레임(212)에 배치된 아이피스(100)와 함께 작동한다. 섬유 스캐닝 프로젝터(101)의 작은 크기는 뷰어의 눈을 향해 광을 지향시킬 수 있는 다수의 섬유 스캐닝 프로젝터들의 통합을 가능하게 하지만, 이는 본 발명에 의해 요구되는 것은 아니며, 눈마다 단일 프로젝터가 사용될 수 있다. 비록 눈 추적 시스템이 오른쪽 눈에 대해서만 논의되지만, 유사한 시스템이 다른 눈과 함께 활용될 수 있다는 것이 인식될 것이다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0037] 본 발명의 실시예들에 따르면, 프로젝터(101)를 프레임(212)에 통합하는 것에 부가하여, 뷰어의 눈의 모션을 추적하기에 적합한 눈 추적 시스템의 추가 엘리먼트들로서 하나 이상의 센서들이 안경에 통합될 수 있다. 도 2에 예시된 바와 같이, 광검출기(220)는 섬유 스캐닝 프로젝터(101)에 대향하는 프레임에 장착된다. 아래에서 더 완전히 설명되는 바와 같이, 아이피스(100)으로부터 방출된 광은 눈으로부터 반사되어, 광검출기(220)에 입사될 수 있으며, 이 광검출기는 예컨대 킬로헤르츠 레이트들, 수십 킬로헤르츠 레이트들 또는 더 높은 주파수들에서 동작하는 고속 광검출기일 수 있다. 프레임에 장착된 광학 센서들에 부가하여, 반사된 광을 하나 이상의 광학 센서들로 지향시키는 반사기 또는 폴드 미러를 포함하는 다른 광학 구성들이 본 발명의 범위 내에 포함된다. 대안적인 실시예에서, 반사된 광을 캡처하여 광학 센서로 라우팅하기 위해 굴절 엘리먼트가 활용된다. 또 다른 대안적인 실시예에서, 광섬유, 예컨대 멀티-모드 광섬유는 반사된 광을 캡처하는 데 사용될 수 있다. 이들 실시예들 모두에서는 다수의 광학 센서들이 사용될 수 있고, 본원에서 설명된 방법들 및 시스템들을 구현하기 위해 다수의 광학 엘리먼트들(예컨대, 반사기들, 폴드 미러들, 굴절 엘리먼트들, 섬유들 등)이 사용될 수 있다. 따라서, 단일 광학 엘리먼트들에 관한 앞의 설명 및 프레임에 장착된 단일 광검출기(220)의 예시는 제한적인 것이아니라 단지 예시적이다.

[0038] 섬유 스캐닝 프로젝터가 투사 경로에서 광을 방출하기 때문에, 시간의 함수로서 방출된 광의 포지션이 알려진다. 예컨대, 비디오 프레임과 연관된 나선형 스캔 패턴의 스캐닝 동안, 시간의 함수로서 방출된 광의 공간 포지션이 결정되고 기록될 수 있다. 예로서, 30Hz에서 디스플레이 프레임들의 프리젠테이션과 연관된 33ms 프레임 시간 내에서, 섬유는 수십 킬로헤르츠의 범위의 레이트들로 스캐닝되어, 33ms 프레임 시간내에서 디스플레이 프레임의 중심 부분으로부터 주변 부분으로 이동할 수 있다. 광이 눈으로부터 반사되어 광검출기에서 수신될 때, 광검출기는 시간의 함수로서 (예컨대, 수십 킬로헤르츠의 레이트들에서) 반사된 광의 세기를 측정하는 데 사용될 수 있다. 시간의 함수로서 방출된 광의 공간 포지션과 시간의 함수로서 측정된 광검출기 세기를 상관시킴으로써, 반사된 광과 연관된 공간 포지션이 결정될 수 있다. 따라서, 주어진 시간에 방출된 광의 포지션이 알려져 있기 때문에, 이 주어진 시간에 반사된 광은 포지션과 상관될 수 있다. 결과적으로, 반사된 광의 공간 맵이 생성될 수 있으며, 광을 반사하는 구조물의 광학 특성들과 상관될 수 있다. 눈의 경우에, 반사된 광의 공간 맵은 눈의 포지션 및/또는 배향과 상관될 수 있다. 섬유에 의해 방출된 광을 스캐닝하고 상이한 시간들에 공간 맵을 형성함으로써, 시스템은 시간의 함수로서 눈의 포지션을 추적할 수 있다.

[0039] 본원에서 설명된 바와 같이, 본 발명의 실시예들은 픽셀들이 한번에 하나씩 눈으로 스캐닝되는 스캐닝식 빔 시스템을 활용한다. 다시 말해서, 픽셀들은 각도의 함수로서 인코딩된다. 망막을 고려하면, 이미지들은 망막에 걸쳐 투사된다. 아이피스를 사용하여 스캐닝된 광을 사용자의 눈으로 지향시킴으로써, 이하에서 설명되는 바와같이, 가시광 및 특성화 광 둘 모두가 중첩된 방식(superimposed manner)으로 출력된다. 특성화 광의 반사는 눈의 망막 또는 다른 엘리먼트들의 이미지를 생성하는 데 사용될 수 있다. 눈의 엘리먼트, 예컨대, 중심와가 미리 결정된 픽셀과 정렬되면, 눈의 배향이 결정될 수 있다. 이러한 배향이 시간이 지남에 따라 변함에 따라, 눈의 추적이 수행된다.

[0040] 일부 구현들에서, 광 스캐닝 프로젝터는 사용자에게 이미지들을 디스플레이할 뿐만 아니라 사용자의 눈으로부터 반사된 광을 수신하기 위해 사용되며, 반사된 광은 이후 아이피스를 통해 리턴 경로(return path)로 전파되어 광학 어셈블리 섹션(130)에 충돌한다 . 따라서, 이들 실시예들에서, 광 스캐닝 프로젝터(예컨대, 섬유 스캐닝 프로젝터)는 광 스캐닝 프로젝터에 의해 생성된 광이 반사되어, 눈 추적 계산시 추후 사용을 위해 광 스캐닝 프로젝터에 의해 수신되는 눈 추적 시스템의 엘리먼트이다.

[0041] 눈으로부터 반사된 광이 섬유 스캐닝 프로젝터의 섬유에 다시 커플링되는 실시예들에서, 광은 섬유의 코어뿐만 아니라 섬유의 클래딩(cladding)에도 커플링될 수 있다.

[0042] 도 3은 본 발명의 실시예에 따른 여러 스펙트럼 프로파일들을 예시한 간략화된 다이어그램이다. 도 3에서, 방출된 광과 연관된 적색(R), 녹색(G) 및 청색(B) 스펙트럼 프로파일들은 곡선들(310, 312 및 314)로 예시되어 있다. 이러한 방출 프로파일들은 사용자에게 풀-컬러 디스플레이 경험을 제공한다. 도 3은 또한 사용자의 눈에는 보이지 않지만, 눈의 각막, 망막 또는 다른 부분들로부터 반사되는 적외선(IR) 스펙트럼 프로파일(320)을 예시한다. 섬유 스캐닝 프로젝터가 디스플레이의 시야를 통해 스캐닝함에 따라, 전자기 스펙트럼의 IR 구역의 광은 RGB 신호와 함께 투사될 수 있다. 일부 실시예들에서, 아이피스내로 투사된 광은 디스플레이 광 (예컨대, RGB 광) 및 특성화 광 (예컨대, IR 광)으로 분류될 수 있다. 특정 실시예에서, 디스플레이 광은 가시광이며, 특성화 광은 비-가시광이다. 다른 구현들에서, 상이한 파장들의 가시광은 디스플레이 광 및 특성화 광 모두를 위해 사용될 수 있다. 망막을 포함하는 눈의 안저는 포지션의 함수로서 다른 반사율로 특성화된다. 따라서, 투사된 광이 눈의 상이한 부분들에 걸쳐 스캐닝될 때, 광학 센서(들) (예컨대, 하나 이상의 고속 포토다이오드들)를 사용하여 측정된 반사된 광 세기의 변화들이 사용자의 눈의 안저 맵을 생성하는 데 사용될 수 있다.

[0043] 도 3에 예시된 바와 같은 단일 IR 대역에 부가하여, 다른 파장들은 각막에서의 반사율을 제공하기 위해 활용될 수 있다. 부가적으로, 예컨대 IR에서 다수의 대역들은 특정 응용에 대해 적절하게 활용될 수 있다.

[0044] 도 4는 본 발명의 실시예에 따른 아이피스 층들을 예시한 간략화된 측면도이다. 디스플레이 광 및 특성화 광을 아이피스에 커플링하기 위해, RGB 층들 외에 추가 아이피스 층이 제공될 수 있다. 도 4에서, 정렬된 인커플링 격자들(즉, 회절 광학 엘리먼트들)을 갖는 아이피스는 측면도로 예시되어 있다.

[0045] 뷰어의 눈에 이미지를 투사하는 데 사용될 수 있는 아이피스(400)는 제1 측면 평면에 (즉, z-축을 따라 배치된 제1 세로방향 포지션에) 포지셔닝된 제1 평면 도파관(410)을 포함한다. 제1 평면 도파관(410)은 제1 측면 포지션(즉, 제1 x-y 좌표 포지션)에 배치된 제1 회절 광학 엘리먼트(DOE)(412)를 포함한다. 제1 DOE(412)는 제1 파장 범위(예컨대, 적색 파장)와 연관되며, 이 예에서 적색 광을 제1 평면 도파관으로 회절시키도록 동작 가능하다. 제1 DOE(412)는 제1 파장을 제1 평면 도파관에 커플링하지만 실질적으로 제1 파장 범위 밖의 파장들을 통과시키는 투과 격자들을 사용하여 구현될 수 있다.

[0046] 아이피스는 또한 제1 측면 평면에 인접한 제2 측면 평면에 포지셔닝된 제2 평면 도파관(420)을 포함한다. 제2 평면 도파관은 제1 DOE(412) 아래에서 제1 측면 포지션에 배치된 제2 DOE(422)를 포함한다. 제2 DOE(422)는 제2 파장 범위(예컨대, 녹색 파장들)와 연관되며, 이 예에서 녹색 광을 제2 평면 도파관으로 회절시키도록 동작 가능하다. 제2 DOE(422)는 제2 파장을 제2 평면 도파관에 커플링하지만 실질적으로 제2 파장 범위 밖의 파장들을 통과시키는 투과 격자들을 사용하여 구현될 수 있다.

[0047] 제3 평면 도파관(430)은 제2 측면 평면에 인접한 제3 측면 평면에 포지셔닝된다. 제3 평면 도파관은 제1 DOE 및 제2 DOE 아래에서 제1 측면 포지션에 배치되며, 길이 방향을 따라 정렬되는 (즉, z-축과 정렬되는) 제3 DOE(432)를 포함한다. 제3 DOE(422)는 제3 파장 범위(예컨대, 청색 파장들)와 연관되며, 이 예에서 청색 광을 제3 평면 도파관으로 회절시키도록 동작 가능하다. 제3 DOE (432)는 제3 파장을 제3 평면 도파관에 커플링하지만 실질적으로 제3 파장 범위 밖의 파장들을 통과시키는 투과 격자들을 사용하여 구현될 수 있다. 제1 3개의 평면 도파관들을 사용하여, 가시 방사(visible radiation)가 뷰어를 향해 지향된다.

[0048] 가시 디스플레이 광을 사용자에게 지향시키는 데 사용될 수 있는 3개의 평면 도파관들(410, 420 및 430)에 부가하여, 제4 평면 도파관(440)이 도 4에 예시되어 있다. 제4 평면 도파관(440)은 제3 측면 평면에 인접한 제4 측면 평면에 포지셔닝된다. 제4 평면 도파관은 제1 DOE, 제2 DOE 및 제3 DOE 아래에서 제1 측면 포지션에 배치되며, 길이 방향을 따라 정렬되는 (즉, z-축과 정렬되는) 제4 DOE(442)를 포함한다. 제4 DOE(442)는 사용자에게 보이지 않는 제4 파장 범위(예컨대, IR 파장들)와 연관되며, 이 예에서 IR 광을 제4 평면 도파관으로 회절시키도록 동작 가능하다. 제4 DOE(432)는 제4 파장을 제4 평면 도파관에 커플링시키나, 제4 파장 범위 밖의 파장들을 실질적으로 통과시키거나 더 높은 회절 효율을 위해 미러 코팅을 갖는 반사 격자로서 구현될 수 있는 투과 격자들을 사용하여 구현될 수 있다.

[0049] 비록 도 4에 예시된 실시예에서 4개의 DOE들 모두가 정렬되지만, 이는 본 발명에 의해 요구되지 않으며, DOE들은 상이한 측면 포지션들로 공간적으로 분리될 수 있다. 더욱이, 평면 도파관들이 배열되는 순서는 특정 응용에 따라 적절하게 변경될 수 있다. 예로서, (예컨대, 녹색 광을 회절시키기 위한) 제2 DOE 는 정렬될 수 있는 제1 및 제3 DOE들로부터 공간적으로 분리될 수 있다. 이 예에서, 녹색광이 가시 스펙트럼의 중간에 있기 때문에, 그 녹색광은 다른 컬러에 대한 DOE들에서 강하게 회절되지 않는 청색 및 적색 광으로부터 공간적으로 분리되어, 청색 및 적색 DOE들이 공간적으로 정렬되는 것을 가능하게 한다. 유사하게, 제4 DOE는 적색 파장들과 연관된, 예컨대 청색 또는 녹색 DOE들과 정렬된 DOE로부터 공간적으로 분리될 수 있다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0050] 앞서 논의한 바와 같이, 이미지 프레임의 픽셀 위치들과 연관된, 시간의 함수로서 섬유 스캐닝 프로젝터에 의해 방출된 광의 공간적 위치가 주어지면, 예컨대 IR 스펙트럼에서 눈으로부터 반사된 광의 세기는 반사된 세기의 맵을 형성하기 위해 픽셀 포지션과 상관될 수 있다. 반사율이 눈에서의 포지션의 함수로서 변하기 때문에, 눈의 지문은 각각의 눈 포지션 또는 배향마다 형성될 수 있다. 따라서, 본 발명의 실시예들은 시간의 함수로서 눈의 움직임을 추적할 수 있는데, 이는 이후 가상 콘텐츠가 디스플레이되는 방식 등을 수정하는 데 사용될 수 있다. 비록 일부 실시예들이 비디오 신호(즉, 비디오 프레임들)의 이미지 프레임들의 관점에서 논의되지만, 이미지 프레임들이 본 발명에 의해 요구되지 않는다는 것이 인식될 것이다. 프레임들로 구성된 이미지들에 부가하여, 본 발명의 실시예들은 더 일반적으로 섬유 포지션들 및 광 출력들의 알려진 시퀀스에 적용 가능하다. 예컨대, 본 발명의 실시예들은 스캐닝 디스플레이에 적용 가능하며, 이는 프레임을 렌더링하는 것 대신에 시간 t에서 가상 포인트 클라우드를 활용하여 스캐너의 현재 포지션이 주어질 때 원하는 픽셀 세기를 계산한다. 시간의 함수로서 포지션 및 세기를 알면, 본원에서 설명된 바와 같은 눈 추적 센서 신호들의 해석이 가능하다.

[0051] 도 5는 본 발명의 대안 실시예에 따른 아이피스 층들을 예시한 간략화된 측면도이다. 도 5는 도 4에 예시된 엘리먼트들과 공통 엘리먼트들을 공유하며, 도 4와 관련하여 제공된 설명은 적절하게 도 5에 적용 가능하다. 도 5에 예시된 아이피스에서, 특성화 광 및 디스플레이 광의 일부는 회절 광학 엘리먼트를 통해 평면 도파관들 중 하나에 커플링된다. 도 5에 예시된 특정 실시예에서, 가시 파장 범위들 중 하나 (예컨대, 적색 파장 범위)의 광 및 비-가시 파장 범위(예컨대, IR 파장 범위)의 광은 사용자의 눈으로의 송신을 위해 제1 평면 도파관에 커플링된다.

[0052] 도 5를 참조하면, 제1 평면 도파관(510)은 특성화 파장 범위(예컨대, IR 파장들)뿐만 아니라 제1 파장 범위(예컨대, 적색 파장들)와 연관된 제1 측면 포지션에 배치되며, 제1파장 범위 및 특성화 파장 범위의 광을 제1 평면 도파관으로 회절시키도록 동작 가능한 제1 회절 광학 엘리먼트(DOE)(512)를 포함한다. 제1 DOE(512)는 제1 파장의 광과 특성화 파장 범위의 광을 제1 평면 도파관에 커플링하지만 실질적으로 제1 파장 범위 및 특성화 파장 범위 밖의 파장들을 통과시키는 투과 격자들을 사용하여 구현될 수 있다.

[0053] 아이피스는 또한 제1 측면 평면에 인접한 제2 측면 평면에 포지셔닝된 제2 평면 도파관(520)을 포함한다. 제2 평면 도파관은 제1 DOE(512) 아래에서 제1 측면 포지션에 배치된 제2 DOE(522)를 포함한다. 제2 DOE(522)는 제2파장 범위(예컨대, 녹색 파장들)와 연관되며, 이 예에서 녹색 광을 제2 평면 도파관으로 회절시키도록 동작 가능하다. 제2 DOE(522)는 제2 파장을 제2평면 도파관에 커플링하지만 실질적으로 제2 파장 범위 밖의 파장들을 통과시키는 투과 격자들을 사용하여 구현될 수 있다.

[0054] 제3 평면 도파관(530)은 제 2측면 평면에 인접한 제3 측면 평면에 포지셔닝된다. 제3 평면 도파관은 제1 DOE 및 제2 DOE 아래에서 제1 측면 포지션에 배치되고 길이 방향을 따라 정렬된 (즉, z-축과 정렬된) 제3 DOE(532)를 포함한다. 제3 DOE(522)는 제3 파장 범위(예컨대, 청색 파장들)와 연관되며, 이 예에서 청색 광을 제3 평면 도파관으로 회절시키도록 동작 가능하다. 제3 DOE(532)는 제3 파장을 제3 평면 도파관에 커플링하지만 실질적으로 제3 파장 범위 밖의 파장들을 통과시키는 투과 격자들을 사용하여 구현될 수 있다.

[0055] 이들 3개의 평면 도파관들을 사용하여, 가시 방사 및 특성화 파장 범위의 방사 둘 모두가 뷰어를 향해 지향된다. 특성화 파장 범위의 광은 뷰어의 눈에서 반사되며, 앞서 논의된 바와 같이 하나 이상의 광검출기들에 의해 캡처될 수 있다. 따라서, 본 실시예에서 3개의 평면 도파관들을 사용하여, 특성화 광 뿐만아니라 디스플레이 광이 뷰어에게 전달된다.

[0056] 도 6은 본 발명의 실시예에 따른 눈 추적 시스템의 간략화된 개략도이다. 눈 추적 시스템(600)은 이미지 프로세서(610), 적어도 하나의 섬유 스캐닝 프로젝터(620), 아이피스(630) 및 광학 센서(640)를 포함한다. 이미지 프로세서는 섬유 스캐닝 프로젝터(620)를 구동하기 위한 구동 회로(612), 눈 추적 서브시스템(614), 프로세서(616) 및 입력/출력 디바이스(618)를 포함할 수 있다. 아이피스(630)는 복수의 평면 도파관들(632)을 포함하며, 이들 각각은 회절 광학 엘리먼트(634)를 통합할 수 있다. 예시된 실시예에서, 아이피스(630)는 안경의 프레임에 장착되며, 3개의 디스플레이 파장 범위(예컨대, RGB) 및 하나의 특성화 파장 범위(예컨대, 적외선)와 함께 동작하는 4개의 평면 도파관들을 포함한다.

[0057] 도 6에 예시된 바와 같이, 구동 회로(612)는 섬유 스캐닝 프로젝터와 통신하는 전자 장치를 포함할 수 있다. 이미지 프로세서(610)는 결국에는 사용자에게 디스플레이될 가상 콘텐츠를 생성할 수 있다. 이미지 프로세서(610)는, 다수의 깊이 평면들을 제공하는 아이피스들의 사용을 통해, 가상 콘텐츠와 연관된 이미지 또는 비디오를, 3D로 사용자에게 투사될 수 있는 포맷으로 변환할 수 있다. 콘텐츠는 입력/출력 디바이스(616)를 통해 수신되고, 이미지 프로세서(610)의 프로세서(616)를 사용하여 프로세싱될 수 있다.

[0058] 일부 실시예들에서, 눈 추적 시스템(600)은 섬유 스캐닝 프로젝터(620)로부터 아이피스(630)로 광을 지향시키기 위해 커플링 광학기(optics)(650)를 활용한다. 커플링 광학기(650)는 광을 아이피스, 예컨대 각각의 평면 도파관의 회절 광학 엘리먼트로 지향시키는 데 사용되는 하나 이상의 종래의 렌즈들을 지칭할 수 있다.

[0059] 동작시, 섬유 스캐닝 프로젝터(650)로부터 출력된 광은 디스플레이 광(622) 및 특성화 광(624) 둘 모두를 포함할 수 있다. 커플링 광학기(650)를 활용하는 실시예에서, 커플링된 디스플레이 광(626) 및 커플링된 특성화 광(628)은 평면 도파관 층들(632)의 회절 광학 엘리먼트(634)에 충돌한다. 아이피스(630)의 출력은 사용자의 눈(605)으로 전파되는 아이피스 특성화 광(638) 및 이미지 디스플레이 광(636) 둘 모두를 포함한다. 비록 이미지 디스플레이 광(636) 및 아이피스 특성화 광(638) 둘 모두가 단일 광선으로 도 6에 예시될지라도, 이러한 광이 광의 발산 콘(diverging cone)으로서 아이피스(630)에서 출사될 수 있다는 것이 인식될 것이다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0060] 눈으로부터 반사되는 아이피스 특성화 광은 반사된 광(642)으로서 예시되고, 안경의 프레임에 장착될 수 있는 광학 센서(640)에 충돌한다. 눈의 형상으로 인해, 눈으로부터, 예컨대 각막으로부터 반사되는 광은 이미지 디스플레이 광(636) 또는 아이피스 특성화 광(638)과 연관된 광의 콘보다 큰 각도 범위를 갖는 광의 콘에 의해 특성화된다. 광검출기를 사용하는 응용들에서, 광검출기에 의해 출력된 전기 신호는 이미지 프로세서(610)로 송신되어, 이 전기 신호는 눈 추적 서브시스템(614) 또는 다른 적절한 프로세서들에 의해 프로세싱될 수 있다.

[0061] 시간이 지남에 따라 눈이 이동함에 따라 눈 추적이 수행될 수 있다. 예로서, 비디오 이미지의 제1 프레임 동안 눈의 제1 배향이 결정되어, 비디오 이미지의 후속 제2 프레임 동안 눈의 제2 배향과 비교될 수 있다. 따라서, 시간이 지남에 따라, 눈의 배향은 다음과 같이 결정될 수 있다.

[0062] 섬유 스캐닝 프로젝터의 섬유는 비디오 이미지의 제1 이미지 프레임을 형성하기 위해 스캐닝된다. 이러한 스캐닝은 시간의 함수로서 중심 축으로부터의 편향이 증가하는 나선형 패턴에 의해 특성화될 수 있다. 섬유가 스캐닝 패턴을 스위프 아웃(sweep out)함에 따라, 제1 이미지 프레임을 정의하는 제1 일련의 픽셀들이 생성된다. 이러한 제1 이미지 프레임은 복수의 평면 도파관들을 포함하는 아이피스에 커플링된다. 일부 실시예들에서, 디스플레이 광(예컨대, 가시광) 및 특성화 광(예컨대, 적외선 광) 둘 모두는 광을 사용자의 눈으로 지향시키는 데 사용되는 상이한 평면 도파관들 및 섬유 스캐닝 프로젝터를 사용하여 생성될 수 있다. 따라서, 실시예들은 제1 이미지 프레임의 적어도 일부를 사용자의 눈으로 송신한다. 광학 센서를 사용하여, 제1 일련의 반사 세기들이 검출된다. 이러한 일련의 반사 세기들 각각은 제1 일련의 픽셀들 중 하나의 픽셀과 연관된다.

[0063] 이미지 프레임의 픽셀들을 통해 섬유가 스캐닝될 때 그 섬유를 고려하면, 제1 시간에, 제1 픽셀이 조명될 것이다. 이러한 제1 픽셀이 디스플레이될 때, 특정량의 광이 눈에서 반사되어, 반사된 세기에 대한 제1 측정이 이루어질 것이다. 나중 시간의 제2 픽셀에 대해, 반사 세기에 대한 제2 측정이 이루어질 것이다. 따라서, 시간이 지남에 따라, 일련의 반사 세기들이 측정될 것이며, 일련의 반사 세기들 각각은 상이한 픽셀과 연관된다. 일련의 반사 세기들의 값 및 반사량은 픽셀이 디스플레이되는 각막의 형상(예컨대, 반경), 픽셀이 각막 상에 위치하는 포지션 등에 의존할 것이다.

[0064] 따라서, 섬유가 제1 이미지 프레임의 픽셀들을 정의하는 패턴을 통해 스위프할 때, 픽셀 생성 타이밍이 알려져있다. 이는 시간의 함수로서 픽셀들의 공간 매핑을 제공한다. 일련의 반사 세기들의 검출의 타이밍은 반사 세기들의 공간 맵을 생성하기 위해 픽셀 생성의 타이밍과 상관될 수 있다. 이러한 공간 맵은 제1 이미지 프레임 동안 눈의 배향을 특성화하는 데 사용될 수 있다.

[0065] 후속 이미지 프레임 (즉, 제2 이미지 프레임)에 대해, 이러한 프로세스는 제2 이미지 프레임 동안 측정된 반사 세기들의 제2 공간 맵을 생성하기 위해 반복될 수 있다. 공간 맵들이 눈 포지션에 따라 변할 것이기 때문에, 비디오가 진행됨에 따라 2개의 상이한 시간들에 수집된 공간 맵들을 비교함으로써, 눈 포지션은 시간의 함수로서 추적될 수 있다. 일부 실시예들에서, 이미지들이 디스플레이되고 시야의 다른 부분들을 보도록 사용자에게 지시하기 위해 사용되는 교정 프로세스가 사용된다. 상이한 눈 배향들 각각에서 반사된 세기들의 측정들은 상이한 눈 배향들 각각과 연관된 공간 맵들을 생성하는 데 사용될 수 있다. 이후, 공간 맵들의 이러한 라이브러리는 비디오 디스플레이 동안 언제든지 눈의 위치를 결정하기 위해 사용될 수 있다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0066] 도 7은 본 발명의 실시예에 따른 눈 추적 시스템을 동작시키는 방법이다. 눈 추적 시스템은 섬유 스캐닝 프로젝터, 아이피스 및 광학 센서를 포함한다. 방법(700)은 섬유 스캐닝 프로젝터를 사용하여 광학 신호를 생성하는 단계(710)를 포함한다. 섬유 스캐닝 프로젝터는 도 6 및 본원의 다른 도면들에 예시된 바와 같은 엘리먼트들을 활용할 수 있다. 광학 신호는 사용자에게 디스플레이된 광을 생성하기 위해 사용되는 디스플레이 신호(예컨대, 적색, 녹색 및 청색 파장들과 같은 하나 이상의 가시 파장들) 및 눈 추적에 사용하기 위한 신호를 제공하기 위해 사용되는 특성화 신호(예컨대, 적외선 파장들과 같은 하나 이상의 비-가시 파장들)를 포함할 수 있다. 도 4 및 도 5에 예시된 바와같은 아이피스는 복수의 평면 도파관들, 예컨대 3개의 가시 컬러들 및 적외선 특성화 신호를 위한 4개의 평면 도파관들을 포함할 수 있다. 일부 실시예들에서, 아이피스들의 세트들을 다른 특성들과 결합함으로써 다수의 깊이 평면들이 제공된다.

[0067] 방법은 또한 광학 신호의 적어도 일부를 아이피스에 커플링하는 단계(712) 및 사용자의 눈으로 볼 수 있는 이미지를 아이피스로부터 투사하는 단계(714)를 포함한다. 방법은 광학 센서 (예컨대, 광검출기)를 사용하여 사용자의 눈으로부터 반사된 광을 검출하는 단계(716) 및 사용자의 눈의 포지션을 추적하는 단계(718)를 더 포함한다. 비록 일부 실시예들에서 단일 광검출기가 활용되지만, 다른 실시예들은 복수의 광검출기들을 활용하며, 본 발명은 단일 광검출기의 사용으로 제한되지 않는다. 사용자의 눈의 포지션을 추적하는 것은 이미지의 일련의 픽셀들의 포지션을 사용자의 눈으로부터 반사된 일련의 광 세기들과 상관시키는 것을 포함할 수 있다.

[0068] 실시예에서, 광학 신호는 디스플레이 신호(예컨대, 하나 이상의 가시 파장들로 구성됨) 및 특성화 신호 (예컨대, 하나 이상의 비-가시 파장들, 예컨대 적외선 파장들로 구성됨)를 포함한다. 서로 인접하여 배치된 복수의 평면 도파관들을 포함하는 아이피스를 사용하여, 다양한 파장들이 파장의 함수로서 평면 도파관들에 커플링될 수 있다. 예컨대, 적색, 녹색, 청색 및 적외선 파장들에 대응하는 4개의 평면 도파관들이 활용될 수 있다.

[0069] 도 7에 예시된 특정 단계들이 본 발명의 실시예에 따라 눈 추적 시스템을 동작시키는 특정 방법을 제공한다는 것이 인식되어야 한다. 단계들의 다른 시퀀스들이 대안적인 실시예들에 따라 또한 수행될 수 있다. 예컨대, 본 발명의 대안적인 실시예들은 위에서 간단히 설명된 단계들을 다른 순서로 수행할 수 있다. 더욱이, 도 7에 예시된 개별 단계들은 개별 단계에 대해 적절하게 다양한 시퀀스들로 수행될 수 있는 다수의 하위-단계들을 포함할 수 있다. 게다가, 특정 응용들에 따라 추가 단계들이 추가되거나 제거될 수 있다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0070] 도 8은 본 발명의 실시예에 따라 제1 배향으로부터 제2 배향으로의 눈의 움직임을 추적하는 방법을 예시하는 간략화된 흐름도이다. 방법(800)은 비디오 이미지의 제1 이미지 프레임을 형성하기 위해 섬유 스캐닝 프로젝터의 섬유를 스캐닝하는 단계(810)를 포함한다. 제1 일련의 픽셀들은 제1 이미지 프레임을 정의한다. 방법은 또한 복수의 평면 도파관들을 포함하는 아이피스에 제1 이미지 프레임을 커플링하는 단계(812) 및 제1 이미지 프레임의 적어도 일부를 사용자의 눈으로 송신하는 단계(814)를 포함한다. 일례에서, 복수의 평면 도파관들은 적색 파장들에 대응하는 제1 평면 도파관, 녹색 파장들에 대응하는 제2 평면 도파관, 청색 파장들에 대응하는 제3 평면 도파관 및 적외선 파장들에 대응하는 제4 평면 도파관을 포함할 수 있다. 아이피스로의 제1 이미지 프레임의 커플링은 회절 광학 엘리먼트, 예컨대 인커플링 격자를 사용하여 제1 이미지 프레임을 평면 도파관들 중 하나 이상으로 회절시킴으로써 달성될 수 있다.

[0071] 방법은 제1 일련의 반사 세기들을 검출하는 단계(816)를 더 포함한다. 제1 일련의 반사 세기들 각각은 제1 일련의 픽셀들 중 하나의 픽셀과 연관된다. 부가적으로, 방법은 제1 일련의 검출된 반사 세기들을 제1 일련의 픽셀들과 상관시키는 단계(818) 및 눈의 제1 배향을 결정하는 단계(820)를 포함한다.

[0072] 방법은 또한 비디오 이미지의 제2 이미지 프레임을 형성하기 위해 섬유를 스캐닝하는 단계(822) ― 제2 일련의 픽셀들은 제2 이미지 프레임을 정의함―, 제2 이미지 프레임을 아이피스에 커플링하는 단계(824), 및 제2 이미지 프레임의 적어도 일부를 사용자의 눈으로 송신하는 단계(826)를 포함한다. 아이피스로의 제2 이미지 프레임의 커플링은 회절 광학 엘리먼트, 예컨대 인커플링 격자를 사용하여 제2 이미지 프레임을 평면 도파관들 중 하나 이상으로 회절시킴으로써 달성될 수 있다.

[0073] 제1 이미지 프레임의 적어도 일부를 사용자의 눈으로 송신하고 제2 이미지 프레임의 적어도 일부를 사용자의 눈으로 송신하는 것은 하나 이상의 회절 광학 엘리먼트들, 예컨대 아이피스의 평면내로 광을 회절시키도록 동작 가능한 제1 회절 광학 엘리먼트(예컨대, 직교 동공 확장기) 및 아이피스의 평면 밖으로 광을 회절시키도록 동작 가능한 제2 회절 광학 엘리먼트(예컨대, 출사 동공 확장기)를 사용하여 제1 이미지 프레임의 적어도 일부 및 제2 이미지 프레임의 적어도 일부를 회절시킴으로써 달성될 수 있다.

[0074] 방법은 제2 일련의 반사 세기들을 검출하는 단계(828) ― 제2 일련의 반사 세기들 각각은 제2 일련의 픽셀들 중 하나의 픽셀과 연관됨 ―, 제2 일련의 검출된 반사 세기들을 제2 일련의 픽셀들과 상관시키는 단계(830), 및 눈의 제2 배향을 결정하는 단계(832)를 더 포함한다. 대안적인 실시예에서, 방법은 제1 배향 및 제2 배향과 관련된 트랙을 출력하는 단계(834)를 더 포함한다.

[0075] 제1 이미지 프레임 및 제2 이미지 프레임은 비디오 이미지의 연속적인 프레임들일 수 있다. 대안적으로, 하나 이상의 추가 이미지 프레임들이 제1 이미지 프레임과 제2 이미지 프레임 사이에 포지셔닝될 수 있으며, 이들 제1 이미지 프레임과 제2 이미지 프레임은 다수의 프레임 기간들 만큼 시간적으로 분리될 수 있다.

[0076] 도 8에 예시된 방법의 구현의 일부로서, 디스플레이가, 보여질 일련의 객체들을 사용자에게 제시하는 트레이닝 프로세스가 활용될 수 있다. 사용자는 일련의 객체들을 살펴보는 임무를 맡으며, 일련의 객체들 각각은 상이한 눈 시선과 연관된다. 사용자가 일련의 객체들 각각을 보고 이에 따라 미리 결정된 눈 모션들을 초래할 때, 광 빔의 스캐닝 및 검출되는 대응하는 반사들은 시스템을 트레이닝하는 데 사용되며, 이에 따라 각각의 눈 시선에 대한 시간의 함수로서의 시변 반사들의 데이터베이스가 구축된다. 이러한 트레이닝 프로세스를 구현하기 위해, 머신 러닝 및 다른 적합한 기술들이 활용될 수 있다. 사용자가 정적 객체를 보고 있는 동안 수행되는 측정들에 부가하여, 사용자에 의해 이동하는 객체들을 추적하는 것은 트레이닝 프로세스의 컴포넌트로서 활용될 수 있다.

[0077] 도 8에 예시된 특정 단계들이 본 발명의 실시예에 따라 제1 배향으로부터 제2 배향으로의 눈의 움직임을 추적하는 특정 방법을 제공한다는 것이 인식되어야 한다. 단계들의 다른 시퀀스들이 또한 대안적인 실시예들에 따라 수행될 수 있다. 예컨대, 본 발명의 대안적인 실시예들은 위에서 간단히 설명된 단계들을 다른 순서로 수행할 수 있다. 더욱이, 도 8에 예시된 개별 단계들은 개별 단계에 대해 적절하게 다양한 시퀀스들로 수행될 수 있는 다수의 하위-단계들을 포함할 수 있다. 게다가, 특정 응용들에 따라 추가 단계들이 추가되거나 제거될 수 있다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0078] 도 9는 본 발명의 실시예에 따라 각막 글린트(corneal glint)를 사용하는 눈 추적 시스템의 측면도를 예시하는 간략화된 개략도이다. 도 9에 예시된 바와 같이, 본 발명의 실시예들은 눈으로부터의 반사광에 대한 신호 대 잡음비가 원하는 것보다 낮을 수 있는 경우, 높은 밝기 응용들에서, 예컨대 실외에서 강력한 방법들 및 시스템들을 제공한다.

[0079] 도 9를 참조하면, 눈(905)의 각막(910)은 아이피스(920)에 인접하여 포지셔닝된다. 아이피스(920)는 도 5에 예시된 아이피스(500)와 공통 엘리먼트들을 공유할 수 있다. 섬유 스캐닝 프로젝터는 아이피스를 구동하기 위해 사용되며, 아이피스(920)에서 방출된 광은 출력 광선들(922)로서 예시되며, 이는 빔렛(beamlet)들로 또한 지칭될 수 있다. 도 9에 예시된 측면도에서, 아이피스를 지지하는 안경의 프레임(930)이 도시되어 있다. 각막(910)에 충돌하는 출력 광선들(922)은 실선들로 예시되어 있으며, 각막에서 반사된 반사 광선들(924)은 명확화를 위해 점선들로 예시되어 있다.

[0080] 프레임(930)은 고속 광검출기들일 수 있는 복수의 광학 검출기들(932)을 지지한다. 복수의 광학 검출기들(932)은 프레임(930)의 대향 에지들에 포지셔닝된 검출기들(932a 및 932b)로서 도 9에 예시된 프레임의 주변부 주위에 배열된다. 비록 검출기들(932a 및 932b)이 프레임의 최상부 및 최하부에 예시되지만, 이들은 안경의 템플들 근처를 포함하여 다른 주변 부분들에 통합될 수 있음이 인식될 것이다. 출력 광선들 또는 빔렛들이 대략 구형인 각막에 충돌함에 따라, 광은 각막 표면으로부터 상이한 각도들로 아이피스/프레임/광학 검출기들을 향해 다시 반사될 것이다. 차례로, 반사된 광의 일부는 복수의 광학 검출기들에 도달할 것이고, 복수의 광학 검출기들은 프레임(930)에 내장되거나 그렇지 않으면 장착될 수 있다. 일 실시예에서, 복수의 광학 검출기들은 주변부 주위에 고정된 간격으로 배열되는 반면에, 다른 실시예들에서, 어레이 패턴은 특정 응용에 적절하게 비-고정 간격들을 사용할 수 있다. 광학 검출기들은 눈으로부터 반사된 광을 고효율로 수집하도록 배향될 수 있다. 비록 고속 광검출기들이 본원에서 광학 검출기들로서 논의되지만, 본 발명은 광검출기들 및 광섬유들로 제한되지 않는다, 멀티-모드 광섬유들 및 다른 광학 엘리먼트들이 다양한 광학 검출기들 대신에 또는 다양한 광학 검출기들과 함께 활용될 수 있다.

[0081] 비-이동 눈을 고려한다. 제1 시간 동안, 예컨대 비디오 데이터의 프레임의 제1 부분 동안, 출력 광선들에 의해 정의된, 사용자에게 제시된 이미지의 제1 부분은 복수의 광학 검출기들에서 검출되고 있는 제1 반사량을 초래할 것이다. 제2 시간 동안, 예컨대, 비디오 데이터의 프레임의 제2 부분 동안, 사용자에게 제시된 이미지의 부분 및 대응하는 출력 광선들은 이미지의 제1 부분을 정의하는 출력 광선들에 대해 변경될 것이다. 이는 아이피스를 구동시키기 위해 스캐닝 섬유 프로젝터가 활용되고 스캐닝 섬유에 의해 스위프 아웃된 각도가 시간의 함수로서 변화한다는 사실에 기인한다. 따라서, 제2 시간 동안, 복수의 광학 검출기들에서 검출된 반사량은 복수의 광학 검출기들에 의해 검출된 제1 반사량에 대해 변할 것이다. 따라서, 프레임의 주변부 주위에 배열된 복수의 광학 검출기들에 대해, 심지어 비-이동 눈에 대해, 시변량의 광이 스캔 각도의 함수로서 검출될 것이다. 스캐닝 빔의 동적 성질은 사실상 시간의 함수로서 변하는 각막으로부터의 반사들이 시간의 함수로서 변하는 글린트들로서 고려될 수 있기 때문에 동적 글린트 생성기를 제공한다. 시선 검출은 시간의 함수로서 검출된 반사들/글린트들의 패턴과 눈 시선을 상관시킴으로써 가능하게 된다.

[0082] 시스템은 교정되어, 도 8과 관련하여 위에서 논의된 바와 같이 다수의 눈 시선들 또는 배향들에 대해 지문과 유사한 고유 특성을 제공할 수 있다. 사용자가 제1 방향을 바라보게 함으로써, 복수의 광학 검출기들 각각에서 검출된 세기의 시변 변화는 이 제1 방향과 연관된 고유 특성을 정의하도록 특성화될 수 있다. 사용자가 제2의 상이한 방향을 바라볼 때, 검출된 세기의 상이한 시변 변화는 이러한 제2 방향과 연관된 제2 고유 특성을 정의하기 위해 측정되어 사용될 수 있다. 교정 프로세스는 다수의 눈 배향들에 대해 이러한 특성화를 수행할 수 있으며, 이는 고유 특성들의 눈 시선 또는 배향을 상관시키기 위한 룩업 테이블 또는 다른 적합한 패턴 식별자의 형성을 용이하게 할 수 있다. 앞서 언급된 바와 같이, 룩업 테이블에 부가하여, 계산적으로 더 효율적일 수 있는 머신 러닝 기술들이 사용될 수 있다.

[0083] 동작시, 검출된 세기의 시변 변화는 측정되어, 눈 추적을 제공하기 위해 일련의 시간들에 주어진 배향에 대한 고유 특성과 매칭될 수 있다.

[0084] 도 10은 본 발명의 실시예에 따라 각막 글린트를 사용하여 눈 추적을 수행하는 방법을 예시하는 간략화된 흐름도이다. 방법(1000)은 비디오 이미지의 이미지 프레임의 제1 부분을 형성하기 위해 광 스캐닝 프로젝터(예컨대, 섬유 스캐닝 프로젝터)의 빔을 스캐닝하는 단계(1010)를 포함한다. 제1 일련의 픽셀들은 이미지 프레임의 제1 부분을 정의한다. 방법은 또한 복수의 평면 도파관들을 포함하는 아이피스에 이미지 프레임의 제1 부분을 커플링하는 단계(1012), 이미지 프레임의 제1 부분의 적어도 일부를 사용자의 눈으로 송신하는 단계(1014), 및 복수의 광학 검출기들 각각에서, 시간 반사 신호를 검출하는 단계(1016)를 포함한다. 일부 실시예들에서, 복수의 광학 검출기들 대신에, 예컨대 아이피스를 포함하는 프레임에 인접한 템플에 장착된 단일 검출기가 활용된다.

[0085] 복수의 평면 도파관들은 적색 파장들에 대응하는 제1 평면 도파관, 녹색 파장들에 대응하는 제2 평면 도파관, 청색 파장들에 대응하는 제3 평면 도파관, 및 적외선 파장들에 대응하는 제4 평면 도파관을 포함할 수 있다. 복수의 광학 검출기들은 눈의 주변 구역 주위에 배열될 수 있는 복수의 광검출기들일 수 있다. 도 2에 예시된 바와 같이, 아이피스는 프레임에 장착될 수 있으며, 복수의 광검출기들은 프레임의 주변부 주위에 배치될 수 있다. 다른 실시예들에서, 하나 이상의 검출기들이 프레임에 연결된 템플에 장착된다. 방법은 복수의 시간적 반사 신호들을 제1 일련의 픽셀들과 상관시키는 단계(1018)를 더 포함한다.

[0086] 부가적으로, 방법은 비디오 이미지의 이미지 프레임의 제2 부분을 형성하기 위해 빔을 스캐닝하는 단계(1020)를 포함한다. 제2 일련의 픽셀들은 이미지 프레임의 제2 부분을 정의한다. 방법은 또한 이미지 프레임의 제2 부분을 아이피스에 커플링하는 단계(1022), 이미지 프레임의 제2 부분의 적어도 일부를 사용자의 눈으로 송신하는 단계(1024), 및 복수의 광학 검출기들 각각에서 제2 시간적 반사 신호를 검출하는 단계(1026)를 포함한다. 게다가, 방법은 복수의 제2 시간적 반사 신호들을 제2 일련의 픽셀들과 상관시키는 단계(1028) 및 눈 배향을 결정하는 단계(1030)를 포함한다. 앞서 논의된 바와같이, 복수의 광학 검출기들은 아이피스마다 단일 검출기, 예컨대 고속 광검출기로 대체될 수 있다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0087] 도 10에 예시된 특정 단계들이 본 발명의 실시예에 따라 눈 배향을 특성화하는 특정 방법을 제공한다는 것이 인식되어야 한다. 단계들의 다른 시퀀스들이 또한 대안적인 실시예들에 따라 수행될 수 있다. 예컨대, 본 발명의 대안적인 실시예들은 위에서 간단히 설명된 단계들을 다른 순서로 수행할 수 있다. 더욱이, 도 10에 예시된 개별 단계들은 개별 단계에 대해 적절하게 다양한 시퀀스들로 수행될 수 있는 다수의 하위-단계들을 포함할 수 있다. 게다가, 특정 응용들에 따라 추가 단계들이 추가되거나 제거될 수 있다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0088] 도 11은 본 발명의 실시예에 따라 눈 추적을 수행하는 방법을 예시하는 간략화된 흐름도이다. 방법(1100)은 섬유 스캐닝 프로젝터, 프레임에 장착된 아이피스, 및 프레임의 주변부 주위에 배열된 복수의 광학 검출기들을 제공하는 단계를 포함한다. 아이피스는 복수의 평면 도파관들을 포함할 수 있다.

[0089] 방법은 또한 섬유 스캐닝 프로젝터 및 아이피스를 사용하여 제1 이미지 프레임을 눈에 투사하는 단계(1110), 복수의 광학 검출기들을 사용하여 복수의 시변 반사 신호들을 검출하는 단계(1112), 및 제1 눈 배향을 결정하는 단계(1114)를 포함한다. 제1 이미지 프레임을 눈에 투사하는 것은 제1 이미지 프레임의 부분들을 복수의 평면 도파관들의 각각에 커플링하는 것 및 커플링된 부분들의 적어도 일부를 사용자의 눈에 송신하는 것을 포함할 수 있다.

[0090] 방법은 섬유 스캐닝 프로젝터 및 아이피스를 사용하여 제2 이미지 프레임을 눈에 투사하는 단계(1116), 복수의 광학 검출기들을 사용하여 제2 복수의 시변 반사 신호들을 검출하는 단계(1118), 및 제2 눈 배향을 결정하는 단계(1120)를 더 포함한다. 제2 이미지 프레임을 눈에 투사하는 것은 제2 이미지 프레임의 부분들을 복수의 평면 도파관들의 각각에 커플링하는 것 및 커플링된 부분들의 적어도 일부를 사용자의 눈에 송신하는 것을 포함할 수 있다. 대안적인 실시예에서, 방법은 제1 눈 배향 및 제2 눈 배향과 관련된 트랙을 출력하는 단계를 더 포함한다.

[0091] 도 10과 관련하여 논의된 바와 같이, 복수의 시변 반사 신호들은 섬유가 예컨대 프레임 동안 더 큰 각도들로 스캐닝됨에 따라 제1 이미지 프레임 동안 섬유 스캐닝 프로젝터의 증가하는 스캔 각도와 연관될 수 있다. 제2 복수의 시변 반사 신호들은 또한 제2 이미지 프레임 동안 섬유 스캐닝 프로젝터의 증가하는 스캔 각도와 연관될 수 있다. 제1 이미지 프레임 및 제2 이미지 프레임은 비디오 이미지의 연속적인 프레임들일 수 있다. 대안적으로, 하나 이상의 추가 이미지 프레임들은 제1 이미지 프레임과 제2 이미지 프레임 사이에 포지셔닝될 수 있다.

[0092] 도 11에 예시된 특정 단계들이 본 발명의 실시예에 따라 눈 추적을 수행하는 특정 방법을 제공한다는 것이 인식되어야 한다. 단계들의 다른 시퀀스들이 또한 대안적인 실시예들에 따라 수행될 수 있다. 예컨대, 본 발명의 대안적인 실시예들은 위에서 간단히 설명된 단계들을 다른 순서로 수행할 수 있다. 더욱이, 도 11에 예시된 개별 단계들은 개별 단계에 대해 적절하게 다양한 시퀀스들로 수행될 수 있는 다수의 하위-단계들을 포함할 수 있다. 게다가, 특정 응용들에 따라 추가 단계들이 추가되거나 제거될 수 있다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0093] 도 12a는 본 발명의 실시예에 따라 눈 추적 시스템의 측면도를 예시하는 간략화된 개략도이다. 도 12a에 예시된 바와 같이, 본 발명의 실시예들은 눈으로부터의 반사된 광에 대한 신호 대 잡음비가 원하는 것보다 낮을 수 있는 경우, 높은 밝기 응용들, 예컨대 실외에서 강력한 방법들 및 시스템들을 제공한다. 도 12에 예시된 엘리먼트들 및 본 발명의 실시예들은 스캐닝 레이저 검안경의 측면에서 고려될 수 있다.

[0094] 도 12a를 참조하면, 눈(1205)은 아이피스(1220)에 인접하게 포지셔닝된다. 아이피스(1220)는 도 5에 예시된 아이피스(500)와 공통 엘리먼트들을 공유할 수 있다. 섬유 스캐닝 프로젝터는 아이피스를 구동하기 위해 사용되며, 아이피스(1220)에서 방출된 광은 출력 광선들(1222)로서 예시되며, 출력 광선들(1222)은 또한 빔렛들로 지칭될 수 있다. 도 12에서 예시된 측면도에서, 아이피스를 지지하는 안경의 프레임(1230)이 도시된다. 각막(1208)을 통과하여 각막(1210)에 충돌하는 출력 광선들(1222)은 실선들로 예시되어 있으며, 망막에서 반사된 반사 광선들(1224)은 명확화를 위해 점선들로 예시되어 있다. 도 12a에 예시된 바와 같이, 수정 렌즈 및 각막(미도시)에 의한 굴절은 빔렛들이 망막상의 한 지점에 포커싱되는 결과를 초래하며, 망막상의 한 지점은 디스플레이의 픽셀과 상관된다. 만일 출력 광선들(1222)이 파장들, 예컨대 적외선 파장들(이 파장들에서 망막이 매우 반사적임)을 포함하면, 이들 파장들에서의 반사 광은 망막으로부터의 반사 후 눈과 각막을 통해 실질적으로 축상에서 전파되는 경향이 있을 것이다. 실질적으로 역방향 광학 경로를 따라, 반사 광선들(1224)은 명확화를 위해 약간 발산하는 것으로 예시되어 있다. 반사된 광선들(1224)이 출력 광선들(1222)과 실질적으로 동일한 축인 경로를 따라 전파되기 때문에, 검출기들은 바람직하게 시야의 주변보다는 시야내에 있다.

[0095] 망막(1210)으로부터의 반사 이후에, 반사된 광선들(1224)은 아이피스(1220)에 충돌하고 (예컨대, 회절에 의해) 아이피스에 커플링되며, 여기서 반사된 광선들(1224)은 내부 전반사에 의해 아이피스내에서 전파된다. 예시된 실시예에서, 프레임(1230)은 고속 광검출기들일 수 있는 하나 이상의 광학 검출기들(1232)을 지지한다. 하나 이상의 광학 검출기들(1232)은 다수의 각도들로 반사된 광을 캡처하기 위해 프레임 및 아이피스의 주변 주위에 배열될 수 있다. 광은 직교 커플링 엘리먼트, 예컨대 아웃커플링 격자를 사용하지 않고 아이피스로부터 광학 검출기로 커플링될 수 있지만, 도 12a에 도시된 바와같이 아이피스의 에지를 통해 광학 검출기로 전달될 수 있다. 따라서, 아이피스로부터 광학 검출기로 커플링하는 효율은 직교 커플링 엘리먼트를 사용하여 전형적으로 달성되는 것보다 더 높을 수 있다. 따라서, 이러한 실시예에서, 아이피스는 아이피스와 통합되고 사용자의 시야 밖에 있는 반사된 광을 검출하도록 동작 가능한 하나 이상의 광학 검출기들과 커플링될 수 있는 수집 엘리먼트로서 사용된다. 검출기들의 동작은 본원의 다른 실시예들과 관련하여 논의된 검출기들과 유사한 기능성을 공유할 수 있다.

[0096] 도 12b는 본 발명의 대안 실시예에 따라 눈 추적 시스템의 측면도를 예시하는 간략화된 개략도이다. 이러한 대안적인 실시예에서, 추가 회절 구조(1221)는 망막으로부터 하나 이상의 검출기들(1252)로 반사된 광을 회절시키기 위해 아이피스(1220)와 통합된다. 예로서, 적외선 파장들에서 효율적인 추가 회절 구조(1221)는 반사된 광(1224)을 검출기(1252a 및 1252b)로 지향시키기 위해 아이피스(1220)와 통합될 수 있다(예컨대, 아이피스의 뒷면에 적층될 수 있다). 비록 검출기들(1252a 및 1252b)이 프레임의 최상부 및 최하부에 예시되지만, 이들이 안경의 템플 근처를 포함하여 다른 주변 부분들에 통합될 수 있음이 인식될 것이다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0097] 도 12a와 관련하여 논의된 바와 같이, TIR에 의해 추가 회절 구조(1221)에서 전파되는 광은 직교 커플링 엘리먼트, 예컨대 아웃커플링 격자를 사용하지 않고 추가 회절 구조로부터 광학 검출기로 커플링될 될 수 있지만, 도 12b에 도시된 바와같이 추가 회절 구조의 에지를 통해 광학 검출기로 전달될 수 있다. 따라서, 결과적으로, 추가 회절 구조로부터 광학 검출기(1252a/1252b)로 커플링하는 효율은 직교 커플링 엘리먼트를 사용하여 전형적으로 달성되는 것보다 더 높을 수 있다.

[0098] 도 12a 및 도 12b에 예시되지 않았지만, 광학 검출기들은 아이피스(920)의 우측(즉, 아이피스(920)의 전방)에 배치될 수 있으며, 망막으로부터 반사된 광을 검출하는 데 사용될 수 있다. 부가적으로, 적외선 광을 우선적으로 반사하는 빔 스플리터들 또는 미러들(즉, 핫 미러(hot mirror)들)은 다른 파장 대역들의 반사 광으로부터 반사된 적외선 광을 분리하기 위해 활용될 수 있다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0099] 아이피스 또는 추가 회절 구조의 회절 특성들은 시스템을 이용하여 이용 가능한 정보 콘텐츠를 증가시키기 위해 공간적으로 변화될 수 있다. 회절 구조들이 이미지 중계(즉, 이미지 보존)를 할 수 있거나 또는 이미징 효과(imaging effect)들을 보존하지 않을 것임에 유의해야 한다. 예로서, 검출기에 커플링된 멀티-모드 섬유는 비-이미지 보존 응용들의 경우 주변 위치에서 아이피스에 광학적으로 커플링될 수 있다. 다른 예로서, 위에서 논의된 공간적 변화와 관련하여, 공간적으로 분리된 섬유들의 어레이는 아이피스에 광학적으로 커플링될 수 있다. 눈/각막이 회전함에 따라, 공간적으로 분리된 어레이에 충돌하는 반사 광의 분포는 변할 것이고, 눈/각막이 회전함에 따른 이러한 시간적/공간적 변화는 눈의 배향을 인코딩하는 데 사용될 수 있다.

[0100] 예컨대, 추가 회절 구조의 아이피스의 공간적 변화는 방사 섹션들의 세트로서 구현될 수 있으며, 이들 각각은 주변부에 장착되고 방사 섹션들의 각각과 연관된 검출기를 향해 광을 회절시킨다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0101] 도 12c는 본 발명의 대안 실시예에 따라 눈 추적 시스템의 측면도를 예시하는 간략화된 개략도이다. 도 12c에 예시된 실시예는 도 12a 및 도 12b에 예시된 실시예들과 공통 엘리먼트들을 공유하며, 도 12a 및 도 12b와 관련하여 제공된 설명은 적절하게 도 12c에 적용가능하다. 도 12c에 예시된 실시예에서, 회절 반사기(1240)는 망막으로부터 하나 이상의 검출기들(1252)로 반사된 광을 회절을 통해 반사시키기 위해 아이피스(1220)와 통합된다. 예로서, 적외선 파장들을 반사하는데 효율적일 수 있는 회절 반사기(1240)는 아이피스와 눈 사이의 세로방향 포지션에 (즉, z-축을 따라) 그리고 주변에 포지셔닝될 수 있는 검출기들(1252a 및 1252b)에 광(1224)을 반사시키기 위해 아이피스(1220)와 통합될 수 있다(예컨대, 아이피스의 뒷면에 적층될 수 있다). 예컨대, 검출기들(1252a 및 1252b)은 안경의 템플들에 장착될 수 있다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0102] 따라서, 도 12c에 예시된 회절 반사기는 도 12a 및 도 12b에 예시된 도파 구현들에 대한 대안을 제공한다. 부가적으로, 회절 반사기의 사용은 검출기들이 예컨대 안경의 템플들을 따라 하나 이상의 미리 결정된 포지션들에 있는 안경의 프레임으로부터 멀리 이동될 수 있기 때문에 검출기 배치에 있어서 유연성을 가능하게 한다. 앞서 논의된 바와같이, 검출기들은 이미지를 보존할 필요는 없지만, 고속 포토다이오드들로서 구현되어 시스템 복잡성 및 비용을 감소시킬 수 있다.

[0103] 본원에서 설명된 예들 및 실시예들은 단지 예시적인 목적을 위한 것이며 이들을 고려한 다양한 수정들 또는 변화들이 당업자에게 제안될 것이며 본 출원의 범위 및 사상과 첨부된 청구범위내에 포함되는 것으로 또한 이해된다.

Claims

눈 추적 시스템으로서,
광 스캐닝 프로젝터;
상기 광 스캐닝 프로젝터에 광학적으로 커플링된 아이피스(eyepiece);
광학 센서; 및
상기 광 스캐닝 프로젝터 및 상기 광학 센서에 커플링된 프로세서를 포함하는, 눈 추적 시스템.
제1항에 있어서,
상기 광 스캐닝 프로젝터는 스캐닝 점광원(point light source)을 포함하는, 눈 추적 시스템.
제2항에 있어서,
상기 광 스캐닝 프로젝터는 스캐닝 도파관 프로젝터를 포함하는, 눈 추적 시스템.
제3항에 있어서,
상기 스캐닝 도파관 프로젝터는 섬유 스캐닝 프로젝터를 포함하는, 눈 추적 시스템.
제1항에 있어서,
프레임을 갖는 안경을 더 포함하며, 상기 광 스캐닝 프로젝터, 상기 아이피스 및 상기 광학 센서는 상기 프레임에 장착되는, 눈 추적 시스템.
제1항에 있어서,
상기 아이피스는 복수의 평면 도파관들을 포함하는, 눈 추적 시스템.
제6항에 있어서,
상기 복수의 평면 도파관들은 4개의 평면 도파관들을 포함하는, 눈 추적 시스템.
제1항에 있어서,
상기 광학 센서는 광검출기를 포함하는, 눈 추적 시스템.
제1항에 있어서,
상기 광 스캐닝 프로젝터는 디스플레이 신호 및 특성화 신호(characterization signal)를 출력하도록 동작 가능한, 눈 추적 시스템.
제9항에 있어서,
상기 디스플레이 신호는 하나 이상의 가시(visible) 파장들을 포함하며, 상기 특성화 신호는 하나 이상의 비-가시(non-visible) 파장들을 포함하는, 눈 추적 시스템.
제10항에 있어서,
상기 하나 이상의 가시 파장들은 적색, 녹색 및 청색 파장들을 포함하며, 상기 하나 이상의 비-가시 파장들은 적외선 파장들을 포함하는, 눈 추적 시스템.
제11항에 있어서,
상기 아이피스는,
적색 파장들에 대응하는 제1 평면 도파관;
녹색 파장들에 대응하는 제2 평면 도파관;
청색 파장들에 대응하는 제3 평면 도파관; 및
적외선 파장들에 대응하는 제4 평면 도파관을 포함하는 복수의 평면 도파관들을 포함하는, 눈 추적 시스템.
광 스캐닝 프로젝터, 아이피스 및 광학 센서를 포함하는 눈 추적 시스템을 동작시키는 방법으로서,
상기 광 스캐닝 프로젝터를 사용하여 광학 신호를 생성하는 단계;
상기 광학 신호의 적어도 일부를 상기 아이피스에 커플링하는 단계;
상기 아이피스로부터, 사용자의 눈으로 볼 수 있는 이미지를 투사하는 단계;
상기 광학 센서를 사용하여, 상기 사용자의 눈으로부터 반사된 광을 검출하는 단계; 및
상기 사용자의 눈의 포지션을 추적하는 단계를 포함하는, 눈 추적 시스템을 동작시키는 방법.
제13항에 있어서,
상기 광 스캐닝 프로젝터는 섬유 스캐닝 프로젝터를 포함하는, 눈 추적 시스템을 동작시키는 방법.
제13항에 있어서,
상기 광학 신호는 디스플레이 신호 및 특성화 신호를 포함하는, 눈 추적 시스템을 동작시키는 방법.
제15항에 있어서,
상기 디스플레이 신호는 하나 이상의 가시 파장들을 포함하며, 상기 특성화 신호는 하나 이상의 비-가시 파장들을 포함하는, 눈 추적 시스템을 동작시키는 방법.
제16항에 있어서,
상기 하나 이상의 가시 파장들은 적색, 녹색 및 청색 파장들을 포함하며, 상기 하나 이상의 비-가시 파장들은 적외선 파장들을 포함하는, 눈 추적 시스템을 동작시키는 방법.
제13항에 있어서,
상기 아이피스는 복수의 평면 도파관들을 포함하는, 눈 추적 시스템을 동작시키는 방법.
제18항에 있어서,
상기 복수의 평면 도파관들은 4개의 평면 도파관들을 포함하는, 눈 추적 시스템을 동작시키는 방법.
제13항에 있어서,
상기 광학 센서는 광검출기를 포함하는, 눈 추적 시스템을 동작시키는 방법.
제13항에 있어서,
상기 사용자의 눈의 포지션을 추적하는 단계는 상기 이미지의 일련의 픽셀들의 포지션을 상기 사용자의 눈으로부터 반사된 일련의 광 세기들과 상관시키는 단계를 포함하는, 눈 추적 시스템을 동작시키는 방법.
제1 배향으로부터 제2 배향으로의 눈 움직임을 추적하는 방법으로서,
비디오 이미지의 제1 이미지 프레임을 형성하기 위해 광 스캐닝 프로젝터의 출력 빔을 스캐닝하는 단계 ― 제1 일련의 픽셀들은 상기 제1 이미지 프레임을 정의함― ;
복수의 평면 도파관들을 포함하는 아이피스에 상기 제1 이미지 프레임을 커플링하는 단계;
상기 제1 이미지 프레임의 적어도 일부를 사용자의 눈으로 송신하는 단계;
제1 일련의 반사 세기들을 검출하는 단계 ― 상기 제1 일련의 반사 세기들 각각은 상기 제1 일련의 픽셀들 중 하나의 픽셀과 연관됨 ―;
상기 제1 일련의 반사 세기들을 상기 제1 일련의 픽셀들과 상관시키는 단계;
상기 눈의 제1 배향을 결정하는 단계;
상기 비디오 이미지의 제2 이미지 프레임을 형성하기 위해 상기 출력 빔을 스캐닝하는 단계 ― 제2 일련의 픽셀들은 상기 제2 이미지 프레임을 정의함 ―;
상기 제2 이미지 프레임을 상기 아이피스에 커플링하는 단계;
상기 제2 이미지 프레임의 적어도 일부를 상기 사용자의 눈으로 송신하는 단계;
제2 일련의 반사 세기들을 검출하는 단계 ― 상기 제2 일련의 반사 세기들 각각은 상기 제2 일련의 픽셀들 중 하나의 픽셀과 연관됨 ―;
상기 제2 일련의 반사 세기들을 상기 제2 일련의 픽셀들과 상관시키는 단계; 및
상기 눈의 제2 배향을 결정하는 단계를 포함하는, 제1 배향으로부터 제2 배향으로의 눈 움직임을 추적하는 방법.
제22항에 있어서,
상기 제1 배향 및 상기 제2 배향과 관련된 트랙을 출력하는 단계를 더 포함하는, 제1 배향으로부터 제2 배향으로의 눈 움직임을 추적하는 방법.
제22항에 있어서,
상기 복수의 평면 도파관들은,
적색 파장들에 대응하는 제1 평면 도파관;
녹색 파장들에 대응하는 제2 평면 도파관;
청색 파장들에 대응하는 제3 평면 도파관; 및
적외선 파장들에 대응하는 제4 평면 도파관을 포함하는, 제1 배향으로부터 제2 배향으로의 눈 움직임을 추적하는 방법.
제22항에 있어서,
상기 제1 이미지 프레임 및 상기 제2 이미지 프레임은 상기 비디오 이미지의 연속적인 프레임들인, 제1 배향으로부터 제2 배향으로의 눈 움직임을 추적하는 방법.
제22항에 있어서,
하나 이상의 추가 이미지 프레임들은 상기 제1 이미지 프레임과 상기 제2 이미지 프레임 사이에 포지셔닝되는, 제1 배향으로부터 제2 배향으로의 눈 움직임을 추적하는 방법.
제22항에 있어서,
상기 아이피스에 상기 제1 이미지 프레임을 커플링하는 단계 및 상기 제2 이미지 프레임을 상기 아이피스에 커플링하는 단계는 회절 광학 엘리먼트를 사용하여 상기 제1 이미지 프레임 및 상기 제2 이미지 프레임을 회절시키는 단계를 포함하는, 제1 배향으로부터 제2 배향으로의 눈 움직임을 추적하는 방법.
제22항에 있어서,
상기 제1 이미지 프레임의 적어도 일부를 상기 사용자의 눈으로 송신하는 단계 및 상기 제2 이미지 프레임의 적어도 일부를 상기 사용자의 눈으로 송신하는 단계는 하나 이상의 회절 광학 엘리먼트들을 사용하여 상기 제1 이미지 프레임의 적어도 일부 및 상기 제2 이미지 프레임의 적어도 일부를 회절시키는 단계를 포함하는, 제1 배향으로부터 제2 배향으로의 눈 움직임을 추적하는 방법.
제28항에 있어서,
상기 하나 이상의 회절 광학 엘리먼트들은 상기 아이피스의 평면내에서 광을 회절시키도록 동작 가능한 제1 회절 광학 엘리먼트 및 상기 아이피스의 평면 밖으로 광을 회절시키도록 동작 가능한 제2 회절 광학 엘리먼트를 포함하는, 제1 배향으로부터 제2 배향으로의 눈 움직임을 추적하는 방법.
눈 배향을 특성화하는 방법으로서,
비디오 이미지의 이미지 프레임의 제1 부분을 형성하기 위해 섬유 스캐닝 프로젝터의 섬유를 스캐닝하는 단계 ― 제1 일련의 픽셀들은 상기 이미지 프레임의 제1 부분을 정의함― ;
복수의 평면 도파관들을 포함하는 아이피스에 상기 이미지 프레임의 제1 부분을 커플링하는 단계;
상기 이미지 프레임의 제1 부분의 적어도 일부를 사용자의 눈으로 송신하는 단계;
복수의 광학 검출기들의 각각에서 시간적 반사 신호를 검출하는 단계;
상기 복수의 시간적 반사 신호들을 상기 제1 일련의 픽셀들과 상관시키는 단계;
상기 비디오 이미지의 상기 이미지 프레임의 제2 부분을 형성하기 위해 상기 섬유를 스캐닝하는 단계 ― 제2 일련의 픽셀들은 상기 이미지 프레임의 제2 부분을 정의함 ―;
상기 이미지 프레임의 제2 부분을 상기 아이피스에 커플링하는 단계;
상기 이미지 프레임의 제2 부분의 적어도 일부를 상기 사용자의 눈으로 송신하는 단계;
상기 복수의 광학 검출기들의 각각에서 제2 시간적 반사 신호를 검출하는 단계;
상기 복수의 제2 시간적 반사 신호들을 상기 제2 일련의 픽셀들과 상관시키는 단계; 및
상기 눈의 배향을 결정하는 단계를 포함하는, 눈 배향을 특성화하는 방법.
제30항에 있어서,
상기 복수의 광학 검출기들은 복수의 광검출기들을 포함하는, 눈 배향을 특성화하는 방법.
제31항에 있어서,
상기 복수의 광검출기들은 상기 눈의 주변 구역 주위에 배열되는, 눈 배향을 특성화하는 방법.
제31항에 있어서,
상기 아이피스는 주변부를 갖는 프레임에 장착되는, 눈 배향을 특성화하는 방법.
제33항에 있어서,
상기 복수의 광검출기들은 상기 프레임의 주변부에 배치되는, 눈 배향을 특성화하는 방법.
제33항에 있어서,
상기 복수의 광검출기들은 상기 프레임에 커플링된 템플(temple)에 배치되는, 눈 배향을 특성화하는 방법.
제30항에 있어서,
상기 복수의 평면 도파관들은,
적색 파장들에 대응하는 제1 평면 도파관;
녹색 파장들에 대응하는 제2 평면 도파관;
청색 파장들에 대응하는 제3 평면 도파관; 및
적외선 파장들에 대응하는 제4 평면 도파관을 포함하는, 눈 배향을 특성화하는 방법.
눈 추적 시스템으로서,
2개의 프레임들을 포함하는 안경;
상기 안경에 커플링되며 광 빔을 스캐닝하도록 동작 가능한 광 스캐닝 프로젝터;
상기 2개의 프레임들 중 하나의 프레임에 장착되고 상기 광 스캐닝 프로젝터에 광학적으로 커플링된 아이피스 ― 상기 아이피스는 상기 광 빔의 적어도 일부를 사용자의 눈을 향해 지향시키도록 동작 가능한 출사 동공 확장기를 포함함 ―;
상기 안경에 커플링된 하나 이상의 광검출기들; 및
상기 광 스캐닝 프로젝터 및 상기 하나 이상의 광검출기들에 커플링된 프로세서를 포함하는, 눈 추적 시스템.
제37항에 있어서,
상기 광 스캐닝 프로젝터는 섬유 스캐닝 프로젝터를 포함하는, 눈 추적 시스템.
제37항에 있어서,
상기 안경은 템플을 포함하며, 상기 광 스캐닝 프로젝터는 상기 2개의 프레임들 중 하나에 장착되며, 상기 하나 이상의 광검출기들은 상기 템플에 장착되는, 눈 추적 시스템.
제39항에 있어서,
상기 하나 이상의 광검출기들은 상기 아이피스와 상기 사용자의 눈 사이의 세로방향 포지션에서 상기 템플에 장착되는, 눈 추적 시스템.
제37항에 있어서,
상기 아이피스는 복수의 평면 도파관들을 포함하는, 눈 추적 시스템.
제37항에 있어서,
상기 광 스캐닝 프로젝터는 디스플레이 신호 및 특성화 신호를 출력하도록 동작 가능한, 눈 추적 시스템.
제42항에 있어서,
상기 디스플레이 신호는 하나 이상의 가시 파장들을 포함하며, 상기 특성화 신호는 하나 이상의 비-가시 파장들을 포함하는, 눈 추적 시스템.
눈 추적을 수행하는 방법으로서,
광 스캐닝 프로젝터, 프레임에 장착된 아이피스, 및 상기 프레임의 주변부 주위에 배열된 하나 이상의 광학 검출기들을 제공하는 단계;
상기 광 스캐닝 프로젝터 및 상기 아이피스를 사용하여 제1 이미지 프레임을 눈에 투사하는 단계;
상기 하나 이상의 광학 검출기들을 사용하여 복수의 시변 반사 신호들을 검출하는 단계;
제1 눈 배향을 결정하는 단계;
상기 광 스캐닝 프로젝터 및 상기 아이피스를 사용하여 제2 이미지 프레임을 상기 눈에 투사하는 단계;
상기 하나 이상의 광학 검출기들을 사용하여 제2 복수의 시변 반사 신호들을 검출하는 단계; 및
제2 눈 배향을 결정하는 단계를 포함하는, 눈 추적을 수행하는 방법.
제44항에 있어서,
상기 하나 이상의 광학 검출기들은 상기 아이피스와 상기 눈 사이의 세로방향 포지션에 배치되는, 눈 추적을 수행하는 방법.
제45항에 있어서,
상기 하나 이상의 광학 검출기들은 상기 프레임에 기계적으로 커플링된 템플에 장착되는, 눈 추적을 수행하는 방법.
제44항에 있어서,
상기 제1 눈 배향 및 상기 제2 눈 배향과 관련된 트랙(track)을 출력하는 단계를 더 포함하는, 눈 추적을 수행하는 방법.
제44항에 있어서,
상기 복수의 시변 반사 신호들은 상기 제1 이미지 프레임 동안 상기 광 스캐닝 프로젝터의 증가하는 스캔 각도와 연관되는, 눈 추적을 수행하는 방법.
제44항에 있어서,
상기 제2 복수의 시변 반사 신호들은 상기 제2 이미지 프레임 동안 상기 광 스캐닝 프로젝터의 증가하는 스캔 각도와 연관되는, 눈 추적을 수행하는 방법.
제44항에 있어서,
상기 아이피스는 복수의 평면 도파관들을 포함하는, 눈 추적을 수행하는 방법.
제50항에 있어서,
상기 제1 이미지 프레임을 눈에 투사하는 단계는:
상기 제1 이미지 프레임의 부분들을 상기 복수의 평면 도파관들 각각에 커플링하는 단계; 및
상기 커플링된 부분들의 적어도 일부를 상기 눈에 송신하는 단계를 포함하는, 눈 추적을 수행하는 방법.
제50항에 있어서,
상기 제2 이미지 프레임을 상기 눈에 투사하는 단계는:
상기 제2 이미지 프레임의 부분들을 상기 복수의 평면 도파관들 각각에 커플링하는 단계; 및
상기 커플링된 부분들의 적어도 일부를 상기 눈에 송신하는 단계를 포함하는, 눈 추적을 수행하는 방법.
제44항에 있어서,
상기 제1 이미지 프레임 및 상기 제2 이미지 프레임은 비디오 이미지의 연속적인 프레임들인, 눈 추적을 수행하는 방법.
제44항에 있어서,
하나 이상의 추가 이미지 프레임들은 상기 제1 이미지 프레임과 상기 제2 이미지 프레임 사이에 포지셔닝되는, 눈 추적을 수행하는 방법.