KR20240009468A - 눈 추적 - Google Patents

눈 추적 Download PDF

Info

Publication number
KR20240009468A
KR20240009468A KR1020237043420A KR20237043420A KR20240009468A KR 20240009468 A KR20240009468 A KR 20240009468A KR 1020237043420 A KR1020237043420 A KR 1020237043420A KR 20237043420 A KR20237043420 A KR 20237043420A KR 20240009468 A KR20240009468 A KR 20240009468A
Authority
KR
South Korea
Prior art keywords
laser
eye
cornea
eye tracking
tracking device
Prior art date
Application number
KR1020237043420A
Other languages
English (en)
Inventor
이오아니스 파파도풀로스
대니엘 나예르
폴커 자골라
페란 수아레스
Original Assignee
에이엠에스 인터내셔널 에이쥐
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이엠에스 인터내셔널 에이쥐 filed Critical 에이엠에스 인터내셔널 에이쥐
Publication of KR20240009468A publication Critical patent/KR20240009468A/ko

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

사용자의 머리에 장착하기 위한 프레임(2)에 통합하기 위한 눈 추적 디바이스(1)는, 프레임에 고정하기 위한 그리고 사용 중일 때 사용자의 눈(8)의 각막(7)을 조명하기 위한 레이저 빔(6)을 제공하도록 구성되는 레이저 출력 유닛(4), 및 프레임(2)에 고정하기 위한 그리고 레이저 빔(6)의 반사를 수신하고 각막(7)의 거리 또는 속도를 결정하기 위해 사용가능한 추적 신호를 제공하도록 구성되는 수신기 유닛(4)을 포함한다. 디바이스는, 추적 신호로부터 사용자의 눈(8)의 회전을 결정하기 위한 처리 유닛(9)을 더 포함한다.

Description

눈 추적
본 개시내용은 눈 추적 디바이스들에 관한 것으로, 특히, 예컨대 AR 스마트 안경에서 사용자의 머리에 장착하기 위해 프레임에 통합하기 위한 디바이스들에 관한 것이다.
눈 추적은, 예컨대 증강 현실(AR) 애플리케이션들에서 다양한 애플리케이션 세트를 가능하게 할 수 있는 중요한 사용자 측 감지 양태이다.
최신 눈 추적 감지 양태들은, 이미징 센서를 사용한 눈 및 각막의 이미징, 및 취득된 이미지의 데이터 처리에 기반한 시선 벡터의 식별에 의존한다. 그러한 접근법들은, 높은 전력 소비, 낮은 정확도, 및/또는 느린 데이터 수집을 갖는 경향이 있다. 취득된 데이터의 품질을 최대화하는 방식으로 이미징 센서의 배치가 선택되어 베어링(bearing) 디바이스에서 시야를 가리는 배치들로 이어진다는 것이 동일하게 중요하다.
이상적인 눈 추적 솔루션은 낮은 전력 소비를 갖고, 정확하고, 빠르고, 베어링 디바이스 내의 간단한 통합과 함께 작은 폼 팩터를 가져야 한다. 현재의 시스템들은 이러한 특징들 모두를 함께 제공할 수는 없다.
이러한 문제들 중 적어도 일부를 해결하기 위해, 레이저 광을 사용하여 각막 상의 특정 지점들의 거리를 측정하고, 이러한 정보를 사용하여 눈의 회전 위치를 추론하는 디바이스가 제공된다.
본 개시내용의 제1 양상에 따르면, 사용자의 머리에 장착하기 위한 프레임에 통합하기 위한 눈 추적 디바이스(예컨대, 스마트 안경, AR 헤드셋, VR 헤드셋, 헬멧 등)가 제공되며, 이 디바이스는, 프레임에 고정하기 위한 그리고 사용 중일 때 사용자의 눈의 각막을 조명하기 위한 레이저 빔을 제공하도록 구성되는 레이저 출력 유닛을 포함한다. 디바이스는, 프레임에 고정하기 위한 그리고 레이저 빔의 반사를 수신하고 각막의 거리 또는 속도를 결정하기 위해 사용가능한 추적 신호를 제공하도록 구성되는 수신기 유닛(SMI를 사용할 때에는 레이저 출력 유닛과 동일할 수 있음), 및 추적 신호로부터 사용자의 눈의 회전을 결정하기 위한 처리 유닛을 더 포함한다. 그러므로, 눈 추적 디바이스는 눈의 이미징을 요구하지 않는다.
바람직하게는, 눈 추적 디바이스는 사용자의 눈의 각막 상의 상이한 지점들을 조명하기 위한 적어도 2개의 공간적으로 분리된 레이저 빔을 제공하며, 수신기 유닛은 레이저 빔들 둘 모두로부터 반사들을 수신하고, 수신된 반사들 각각에 대해, 각막의 개개의 지점들의 거리 또는 속도를 결정하기 위해 사용가능한 추적 신호를 제공하도록 구성된다. 2개 이상의 레이저 빔을 사용하는 것은 눈 추적의 정확도를 개선할 수 있다. 더 바람직하게는, 적어도 3개의 공간적으로 분리된 레이저 빔이 레이저 출력 유닛에 의해 제공된다. 다시, 디바이스는, 각각의 레이저 빔이 사용자의 눈의 각막 상의 상이한 지점을 조명하도록 구성된다. 수신 유닛은, 적어도 3개의 레이저 빔으로부터 반사들을 수신하고 대응하는 추적 신호를 제공하도록 구성된다. 추적 신호들은 이어서, (예컨대, 거리의 변화로부터 또는 각막의 상이한 지점들의 속도로부터) 사용자의 눈의 회전을 결정하는 데 사용될 수 있다. (3개의 레이저 소스로부터의) 적어도 3개의 레이저 빔을 사용함으로써 정확도가 추가로 개선될 수 있다.
다수의 레이저 빔들을 가질 때, 빔들은 사용자의 눈의 각막 상에 대칭적으로 분포될 수 있다. 예컨대, 3개의 레이저 빔은 정삼각형을 형성하는 각막 상의 3개의 지점을 조명할 수 있다. 일부 방향들에서 눈의 회전을 추적하는 것이 다른 방향들에서 추적하는 것보다 더 중요한(예컨대, 정확한 수평 추적이 수직 추적보다 더 중요한) 애플리케이션들에 대해, 각막 상의 레이저 빔 조명의 다른 분포들이 적절할 수 있다. 예컨대, 비-대칭적 분포가 일부 애플리케이션들에 사용될 수 있다.
레이저 소스는, 눈, 그리고 특히 각막 위에 조명 필드를 생성하기 위해 단독으로 또는 광학 요소와 함께 사용된다. 실제 기하학적 구조에 따라, 각막 표면 상의 특정 위치는 검출될 수 있는 이러한 조명 필드의 반사를 생성할 것이다. 각막이 눈의 회전 지점으로부터 오프셋된 구형 표면이므로, 눈의 임의의 회전은 각막의 변위로 이어질 것이다. 이는, 레이저 신호로 측정된 각막 표적 지점 변위를 눈의 회전에 링크한다. 제안된 방법이, 각막 상의 특정 지점의 상대 거리 변화로부터 눈 회전을 추론하기 때문에, 시작 위치 주위의 주어진 원뿔 내에서의 임의의 눈 회전은 동일한 거리 변화로 그리고 그에 따라서 측정과 회전 사이의 불확실성으로 이어진다. 이를 극복하기 위해, 추가로 그리고 바람직하게는, 상이한 위치들을 갖는 적어도 3개의 레이저 빔이 사용될 수 있다.
레이저 출력 유닛은 전형적으로 (각각의 레이저 빔마다 하나씩) 레이저 소스, 이를테면 레이저 다이오드들, 예컨대, 에지 방출 레이저들, 분산형 피드백(DFB) 레이저들, 분산형 브래그 반사기(distributed bragg reflector)(DBR) 레이저들, 또는 수직 캐비티 표면 방출 레이저(VCSEL)들을 포함한다. 대안적으로, 레이저 출력 유닛은 레이저 소스에 연결된 광 도파관을 포함할 수 있다. 도파관은 전형적으로 단일파 모드 광섬유 도파관일 것이다. 레이저 출력 유닛은, 다수(전형적으로 3개)의 레이저 빔들을 제공하기 위해 개개의 레이저 소스들에 연결된 다수의 도파관들을 포함할 수 있다. 그러므로, 실제 레이저 소스들은, 통합 디바이스에서 벗어나(즉, 프레임에서 벗어나) 위치되지만 도파관들을 통해 디바이스에 연결될 수 있다. 레이저 소스는 매우 단색(협대역)이어야 하고 정확한 거리/변위 측정들을 위해 높은 가간섭성을 가져야 한다. VCSEL들은 비교적 저렴하고 낮은 전력 소비를 갖는다는 장점을 갖는다. 레이저 소스들은, 적외선 또는 근적외선 스펙트럼들의 파장에서 동작하도록 구성될 수 있다. 예컨대, 레이저 소스들은, 850 nm 내지 1500 nm의 범위 내의, 예컨대 940 nm의 파장을 갖는 광을 방출하도록 구성될 수 있다. 더 긴 파장들은 전형적으로 눈 안전의 관점에서 더 양호하고, 따라서, 더 양호한 신호를 제공할 수 있는 비교적 더 높은 출력 전력으로 사용될 수 있다.
유리하게는, 레이저 출력 유닛은 또한 수신기 유닛이고, 추적 신호(들)는 방출된 레이저 빔과 수신된 레이저 빔 사이의 위상 차이를 측정함으로써 제공된다. 특히, 레이저 소스들에서 자기-혼합 간섭이 발생하는 자기-혼합 간섭계(SMI)가 추적 신호로서 SMI 신호를 제공하는 데 사용될 수 있다. SMI는 반사된 광을 수신하기 위한 추가의 광다이오드들을 요구함이 없이 정확한 거리/변위 측정들을 허용한다. SMI를 사용하여, 조명 광의 일부분은 각막 표면에서 반사되고 각각의 개개의 레이저 소스로 다시 들어간다. 레이저 캐비티 내로 다시 결합되는 반사된 광은 원래의 레이저 광에 간섭하여 레이저 방출 특성들의 변조로 이어진다. 레이저 방출 특성들(예컨대, 레이저 전력 출력, 접합 전압 등)의 변화들을 측정하는 것은, 원격 표적(각막 표면 상의 특정 지점들)의 상대 위치 변화에 관한 정보를 제공할 수 있다.
SMI는 광학 검출을 사용할 수 있으며, 여기서, 각각의 추적 신호는 개개의 레이저 소스의 광학적 출력으로부터 결정된다. 예컨대, 광다이오드는 레이저 소스에 가깝게 배치되어 레이저 소스의 출력 강도를 측정할 수 있다. 광다이오드는 레이저 에피택시(epitaxy)에 통합될 수 있거나, 또는 레이저 소스 뒤에 위치되고 눈 방출에 대향하는 레이저 미러 상의 전력 출력을 모니터링하도록 배열될 수 있다. 대안적으로, 각각의 추적 신호는 개개의 레이저 소스에 입력되는 전류 또는 전압으로부터 결정될 수 있다. SMI가 레이저 출력에 영향을 미치므로, SMI는 또한 거리/변위를 결정하기 위해 측정될 수 있는 레이저 소스에 대한 전력 공급에 또한 영향을 미친다.
공간적으로 분리된 레이저 빔들은, 사용 중일 때 사용자의 눈의 각막 상에서 3.5° 내지 20°의 범위 내의 각도 거리만큼 분리될 수 있다. 예컨대, 3개의 레이저 소스를 사용하는 구성에서, 레이저 빔들은 약 17°의 최소 각도 거리만큼 분리될 수 있다. 레이저 소스들의 각도 거리의 다른 값들이 또한 가능하며, 사용되는 레이저 빔들의 수에 의존할 수 있다. 공간적으로 분리된 레이저 빔들은 3개 내지 12개의 범위 내의 다수의 레이저 빔들을 포함할 수 있다. (3개의 레이저 소스로부터의) 3개의 레이저 빔이 정확한 눈 추적을 제공할 수 있지만, 눈 추적을 개선하거나 (예컨대, 하나의 레이저 소스가 고장난다면) 시스템에서 중복성(redundancy)을 제공하기 위해 더 많은 빔들이 사용될 수 있다. 그러나, 더 많은 수의 소스들은 디바이스의 복잡도 및 전력 소비를 증가시킬 수 있다.
디바이스는, 프레임에 고정되며 각막을 조명하는 레이저 빔들을 변조하도록 구성되는 하나 이상의 광학 요소를 더 포함할 수 있다. 예컨대, 하나 이상의 광학 요소는, 각막의 평면파 조명을 제공하기 위한 시준 렌즈들일 수 있다. 대안적으로, 하나 이상의 광학 요소는, 각막 상에 레이저 빔들을 집속시키기 위한 집속 렌즈들일 수 있다. 광학 요소들은 반사성 렌즈들일 수 있다. 이어서, 레이저 출력 유닛은 사용자의 머리의 측부를 따라 이어지는 프레임의 스템에 고정될 수 있다. 대안적으로, 하나 이상의 광학 요소는 투과 렌즈들일 수 있다. 레이저 출력 유닛은, 예컨대, 사용자의 눈 앞에 배치될 수 있다.
레이저는, 평면파 조명으로부터 각막 표면 상의 단일 초점 스폿까지, 각막 표면 상에 임의의 범위의 조명 필드들을 생성하도록 광학 요소(들)와 함께 사용될 수 있다. 예컨대, 이는, 렌즈와 레이저 소스 사이의 거리를 변경함으로써 달성될 수 있다. 각막의 구형 표면은 광의 일부 부분을 다시 반사할 것이며, 동일하거나 상이한 광학 요소와 상호작용하는 그 광은 수신 유닛을 향해(SMI를 사용할 때에는 레이저로 다시) 재지향될 것이다. 추적 신호에 기초하여, 원격 표적의 깊이 변화들이 추론되고 눈의 회전에 링크될 수 있다. 광학 요소(들)는, 체적-위상 홀로그래픽(volume-phase holographic)(VPH), 액정 편광 격자(LCPG), 및 핫 미러(hot mirror) 등 중의 임의의 것을 포함할 수 있다.
본 발명의 제2 양상에 따르면, 제1 양상에 따른 눈 추적 디바이스로 구현될 수 있는 눈 추적의 방법이 제공된다. 방법은, 사용자의 머리에 프레임을 장착하는 단계(예컨대, 안경을 착용하는 단계), 프레임에 고정된 레이저 출력 유닛에 의해 제공되는 레이저 빔으로 사용자의 눈의 각막을 조명하는 단계, 프레임에 고정된 수신기 유닛으로 레이저 빔의 반사를 수신하는 단계, 및 각막까지의 거리 또는 각막의 속도를 결정하기 위해 사용가능한 추적 신호(예컨대, SMI 신호)를 제공하는 단계를 포함한다. 방법은, 처리 유닛으로, 추적 신호들로부터 사용자의 눈의 회전을 결정하는 단계를 더 포함한다. 그러므로, 눈 추적의 방법은 눈의 이미징을 요구하지 않는다.
바람직하게는, 사용자의 눈의 회전을 결정하기 위해 함께 사용될 수 있는 적어도 3개의 추적 신호를 제공하기 위해 적어도 3개의 공간적으로 분리된 레이저 빔이 사용된다.
본 개시내용은, 적은 수의 조명 및 검출 요소들을 사용하여 낮은 복잡도 솔루션으로 이어지는 눈 추적 솔루션을 제공한다. 프레임 상의 광학 요소들을 사용함으로써, 감지 모듈은 (예컨대, 스템 상에서) 디바이스의 상이한 위치들 상에 유연하게 배치되어, 눈에 거슬리지 않는 눈 추적을 허용할 수 있다. (제한된 수의 광다이오드들로부터의 신호 판독에 기인한) 감소된 데이터 수집은 증가된 데이터 레이트들로 이어질 수 있다.
본 개시내용의 특정 실시예들이 첨부된 도면들을 참조하여 아래에서 설명된다.
도 1은 본 개시내용의 실시예에 따른 눈 추적 디바이스를 포함하는 스마트 안경을 묘사한다.
도 2는 실시예에 따른 눈 추적 디바이스의 일부를 묘사한다.
도 3은 사용 중일 때의 실시예에 따른 눈 추적 디바이스의 일부를 묘사한다.
도 4는 눈의 각막으로부터 반사된 레이저 빔을 묘사한다.
도 5a는 시준 투과 렌즈를 포함하는 눈 추적 디바이스의 일부를 묘사한다.
도 5b는 약한 집속 투과 렌즈를 포함하는 눈 추적 디바이스의 일부를 묘사한다.
도 5c는 강한 집속 투과 렌즈를 포함하는 눈 추적 디바이스의 일부를 묘사한다.
도 6a는 시준 반사성 렌즈를 포함하는 눈 추적 디바이스의 일부를 묘사한다.
도 6b는 약한 집속 반사성 렌즈를 포함하는 눈 추적 디바이스의 일부를 묘사한다.
도 6c는 강한 집속 반사성 렌즈를 포함하는 눈 추적 디바이스의 일부를 묘사한다.
도 7은 반사성 렌즈 상의 위치에 대한 VCSEL 레이저 소스 상의 반사된 레이저 빔의 위치를 플롯팅하는 그래프를 묘사한다.
도 8은 홀로그래픽 광학 요소(HOE) 미러를 포함하는 눈 추적 디바이스의 일부를 묘사한다.
도 9는 눈의 20° 회전에 기인한 광학 경로 차이(OPD)를 묘사한다.
도 10은 하나의 레이저 소스에 대한 OPD의 윤곽선들을 묘사한다.
도 11은 하나의 레이저 소스에 대한 회전 방향에 대한 회전의 측정들의 정확도를 플롯팅하는 그래프를 묘사한다.
도 12는 2개의 레이저 소스에 대한 OPD의 윤곽선들을 묘사한다.
도 13은 2개의 레이저 소스에 대한 회전 방향에 대한 회전의 측정들의 정확도를 플롯팅하는 그래프를 묘사한다.
도 14는 3개의 레이저 소스에 대한 OPD의 윤곽선들을 묘사한다.
도 15는 3개의 레이저 소스에 대한 회전 방향에 대한 회전의 측정들의 정확도를 플롯팅하는 그래프를 묘사한다.
도 16은 레이저 빔들 사이에 17°의 각도 거리를 갖는 3개의 레이저 소스 구성을 사용한 임의의 방향으로의 회전에 대한 그리고 x 축 및 y 축을 중심으로 한 -30° 내지 30°의 눈의 임의의 회전 위치에 대한 최소 정확도의 그래프를 묘사한다.
도 17은 3.5°의 각도 거리만큼 분리된 3개의 레이저 소스에 대한 OPD의 윤곽선들을 묘사한다.
도 18은 레이저 빔들 사이에 3.5°의 각도 거리를 갖는 3개의 레이저 소스 구성을 사용한 임의의 방향으로의 회전에 대한 그리고 x 축 및 y 축을 중심으로 한 -30° 내지 30°의 눈의 임의의 회전 위치에 대한 최소 정확도의 그래프를 묘사한다.
도 1은 스템(3)을 갖는 프레임(2)을 포함하는 안경(예컨대, AR 스마트 안경)에 통합된 눈 추적 디바이스(1)를 도시한다. 디바이스(1)는, VCSEL 레이저들인 3개의 레이저 소스를 포함하는 레이저 출력 유닛(4), 및 레이저 출력 유닛(4)으로부터의 레이저 빔들(6)을 변조하기 위한 광학 요소(5)를 포함한다. 광학 요소(5)는, 안경의 사용자/착용자의 눈(8)의 각막(7) 상에 평면파 조명 필드를 제공하는 반사 및 시준 렌즈(예컨대, 브래그 반사기)이다. 레이저 빔(6)의 일부는 각막(7)으로부터 레이저 출력 유닛(4) 내로 다시 반사된다. 그러므로, 레이저 출력 유닛(4)은 또한 반사된 광을 수신하기 위한 수신기 유닛이다. 반사된 광은 레이저의 출력을 변화시키는 소위 자기-혼합 간섭을 통해 레이저 소스의 레이저 필드에 간섭한다. 레이저의 출력 강도 또는 레이저 소스에 대한 입력 전압 또는 입력 전류를 모니터링함으로써, 각막(7)까지의 거리 및/또는 각막(7)의 속도가 결정될 수 있다. 디바이스(1)는, 자기-혼합 간섭계(SMI)에 기반하여 각막(7)까지의 거리를 결정하기 위한 처리 유닛(9)을 포함한다. 사용자의 눈(8)이 이동하는 경우 각막(7) 상의 반사 지점까지의 거리가 편이되며, 이는, 레이저 소스와 각막(7) 사이의 거리가 변하는 것을 야기한다. 그러므로, 눈 이동이 검출될 수 있다. 모든 방향에서의 눈의 회전을 정확하게 결정하기 위해, 적어도 3개의 각도 분리된 레이저 빔(6)이 사용된다. 더 정확한 눈 추적을 위해 그리고/또는 시스템에서 중복성을 제공하기 위해 더 많은 빔들이 사용될 수 있다. 그러나, 3개의 레이저 빔(6)만을 사용하는 장점은 가능한 낮은 전력 소비 및 작은 폼 팩터이다. 디바이스(1)는 또한, 레이저 출력 유닛(4)으로부터의 레이저 빔들(6)을 재지향시키기 위한 미러인 제2 광학 요소(10)를 포함한다. 추가로, 광학 요소는 레이저 출력 유닛(4)의 배치에서 더 큰 유연성을 제공할 수 있다.
다른 실시예들에서, 레이저 출력 유닛(4)은 눈(8) 앞의 프레임에 배치될 수 있고, 반사성 요소를 요구함이 없이 각막(7) 상에 직접 레이저 빔들(6)을 송신할 수 있다. 또한, 레이저 출력 유닛(4) 내에 레이저 소스들을 가질 필요는 없다. 대신에, 레이저 소스들은 디바이스에서 벗어나 배치되고, 레이저 빔들(6)을 송신하기 위한 도파관들에 연결될 수 있다.
실시예는, 각막(7) 상의 특정 지점들의 상대 깊이 변화를 측정하고 이러한 정보를 사용하여 눈(8)의 시선 방향을 추론하기 위해 적은 수의 조명 및 검출 디바이스들을 갖는 눈 추적 디바이스(1)를 제공한다. 각각의 지점의 깊이 변화를 검출하기 위해 사용되는 SMI 신호는, 레이저 소스 내의 통합된 광다이오드를 이용하여 또는 게이트 전압의 직접 측정을 통해 측정될 수 있다. 레이저 조명 및 검출의 사용은, 접안렌즈에 배치된 고도로 투명하고 효율적인 반사성 광학 컴포넌트들과 감지 모듈의 조합을 가능하게 한다. 정확히 이러한 것은, 머리 착용가능 디바이스들의 스템(3) 내의 감지 모듈의 유연한 배치를 허용하는 점이다. 다양한 조명 및 검출 소스들의 특정 기하학적 구조로의 배치와 함께 SMI 검출(관심 지점의 매우 작은 깊이 변화들을 측정하는 것이 가능함)의 조합은 전체 눈 회전 공간에 걸친 매우 높은 정확도를 가능하게 한다. 마지막으로, 최소 3개의 소스(각각의 소스는 잠재적으로 더 낮은 전력을 소비하는 VCSEL임)로 구성되는 솔루션은 전반적인 낮은 전력 소비로 이어진다.
도 2는 표적(13)(예컨대, 사용자의 눈의 각막) 상에 평면파 조명 필드(12)를 제공하기 위해 홀로그래픽 타원형 미러(11)로부터 반사된 발산 레이저 빔(6)의 개략도를 도시한다. 홀로그래픽 타원형 미러(11)는, 평면파 조명을 제공하기 위한 도 1의 눈 추적 디바이스(1)의 광학 요소로서 사용될 수 있다. 동일한 참조 번호들은 명확성을 위해 상이한 도면들에서 동등하거나 유사한 특징들을 지칭하기 위해 사용되었고, 예시된 실시예들을 제한하도록 의도되지 않는다.
도 3은 눈(8)의 각막(7)을 조명하기 위한 반사성 렌즈인 광학 요소(5)를 갖는 레이저 빔(6)을 도시한다. 광학 요소는, 평면파를 제공하기 위한 도 2에 예시된 바와 같은 홀로그래픽 타원형 미러(HOE)일 수 있다.
도 4는 반사된 레이저 빔(14)을 도시한다. 레이저 빔(14)은 각막(7)으로부터 반사된다. 각막의 곡률로 인해, 반사된 레이저 빔(14)은 발산한다. 반사된 레이저 빔(14)은 도 3에 도시된 레이저 빔(6)의 반사일 수 있다.
도 5a 내지 도 5c는 레이저 출력 유닛(4) 및 (반사성 렌즈가 아니라) 투과 렌즈인 광학 요소(5)를 갖는 실시예들에 따른 눈 추적 디바이스의 일부를 도시한다. 광학 요소는 눈(8)의 각막(7) 상에 조명 필드를 제공한다. 도 5a는 평면파 조명(15)을 제공하는 시준 렌즈를 갖는 실시예를 도시한다. 도 5b는 각막(7)의 표면 뒤에 초점을 가지며 약하게 집속된 조명(16)을 제공하는 약한 집속 렌즈를 갖는 실시예를 도시한다. 도 5c는 강하게 집속된 조명(17)을 제공하기 위해 실질적으로 각막(7)의 표면 상에 초점을 갖는 강한 집속 렌즈를 갖는 실시예를 도시한다.
도 6a 내지 도 6c는 레이저 출력 유닛(4) 및 반사성 렌즈인 광학 요소(5)를 갖는 실시예들에 따른 눈 추적 디바이스의 일부를 도시한다. 레이저 출력 유닛(4)은, 눈(8)의 각막(7) 상에 조명 필드를 제공하기 위해 광학 요소에 의해 변조되는 레이저 빔(6)을 제공한다. 도 6a는 평면파 조명(15)을 제공하는 시준 렌즈를 갖는 실시예를 도시한다. 도 6b는 각막(7)의 표면 뒤에 초점을 가지며 약하게 집속된 조명(16)을 제공하는 약한 집속 렌즈를 갖는 실시예를 도시한다. 도 6c는 강하게 집속된 조명(17)을 제공하기 위해 실질적으로 각막(7)의 표면 상에 초점을 갖는 강한 집속 렌즈를 갖는 실시예를 도시한다.
도 7은 홀로그래픽 광학 미러(HOE)인 광학 요소 상의 반사된 레이저 광의 위치에 대한 VCSEL 레이저 소스 상의 반사된 레이저 광의 위치를 플롯팅하는 그래프를 도시한다. x 축 (18) 및 y 축(19)을 따른 위치들에 대해 2개의 선(18 및 19)이 각각 플롯팅된다.
도 8은 눈(8)의 각막(7)으로부터 반사되고 HOE(22)를 통해 VCSEL 레이저 소스(21) 상에 입사되는 발산 레이저 빔(20)을 예시한다. 각막(7)의 곡률 때문에, 반사된 광은 발산하고 결국 VCSEL 평면 상의 비교적 큰 영역을 조명한다(도 7 참조). 전력 비를 추정하기 위해, VCSEL 애퍼쳐 내로 포착될 HOE 애퍼쳐의 크기가 식별되어야 한다. 전력 비는 전체 조명 애퍼쳐에 의해 분할된 회절 애퍼쳐에 의해 주어지며, 여기서, 전체 조명 애퍼쳐는 커버되는 눈 회전 범위 및 동공 간 거리(interpupillary distance)(IPD) 범위에 의해 정의된다. 전력 비는 다음에 의해 주어진다:
전력 비 = 프레넬 계수 * 회절 애퍼쳐 / 전체 조명 애퍼쳐
이 수학식을 사용하여, SMI 신호가 잡음 플로어를 초과할 주파수를 결정하기 위해 시뮬레이션들이 사용될 수 있다. 신호의 주파수는 거리/속도를 결정하기 위한 측정 시간(신호를 "보고 있는" 시간)의 역이다. 잡음은 대역폭 또는 대역폭의 제곱근에 비례한다. 그러므로, 측정이 빠를수록, 대역폭이 그리고 또한 잡음이 커진다.
광학 기하학적 구조를 각막 뒤의 초점 스폿으로 변경하는 것에 의해 전력 비가 증가할 수 있다. 예컨대, 전력 비는 4배 내지 8배만큼 증가될 수 있다. 그러나, 집속 광학기기를 사용하는 것은 복잡도를 증가시키고, 잠재적으로는, 피팅 요건들(예컨대, 동공 간 거리, 아이 릴리프(eye relief), 코 높이, 귀 위치 등)에 영향을 미칠 수 있다.
도 9는 평면파 조명을 사용할 때 눈(8)의 회전이 광학 경로를 어떻게 변화시켜 측정가능한 신호를 발생시키는지를 예시한다. 눈(8)이 제1 위치(눈 회전(α) = 0°)에 있을 때, 조명 각도(β)를 갖는 레이저 빔(6a)이 눈(8)의 각막(7) 상의 한 지점 상에 입사되고 그로부터 반사된다. 입력 각도(β)에 기반하여, 국부적 곡률로 인해, 입사 각도와 동일한 각도로 수신 유닛(도시되지 않음)으로 광을 다시 반사할 각막(7) 상의 하나의 지점이 존재한다. 이러한 지점은 눈(8)이 회전할 때 각막(7)의 중심에 대해 동일하게 유지된다. 눈(8)은 제2 위치(α = 20°)로 회전되고, 여기서, 레이저 빔(6b)은 각막(7) 상의 한 지점 상에 입사되고 그로부터 수신 유닛으로 다시 반사된다. 각막(7)과 수신기 유닛 사이에서의 반사된 레이저 빔(6a 및 6b)의 광학 경로의 거리의 변화(광학 경로 차이(OPD))는 회전 각도(α)에 의존하고, 따라서, 눈 회전을 결정하기 위해 측정될 수 있다.
도 10은 OPD가 회전 각도에 따라 어떻게 변하는지를 도시한다. 특히, OPD가 일정한 OPD의 윤곽선들(23)이 도시된다. 별 모양은 눈의 회전 공간 내의 임의적 위치(24)를 표시하고, 화살표들은 눈의 가능한 회전 방향들을 표시한다. 중심 지점(25)은 각막 상의 레이저 조명의 위치를 표시한다. 윤곽선들(23)에 수직인 방향으로의 회전에 대해 (가장 큰 OPD에 대응하는) 가장 정확한 측정들이 가능하다. 역으로, 윤곽선들(23)의 접선을 따른 회전은 OPD를 변화시키지 않고, 따라서, 가장 불량한 정확도를 갖는다.
임의의 주어진 위치로부터의 회전 각도의 함수로서의 정확도가 도 11에 예시된다. 정확도는 가장 작은 결정가능한 각도 변화로서 정의될 수 있으며, 이에 따라, 숫자가 크면 불량한 정확도(낮은 분해능)를 표시하고, 숫자가 작으면 양호한 정확도(높은 분해능)를 표시한다. 도 11로부터 알 수 있는 바와 같이, OPD 선(23)을 따른 접선 방향으로의 회전(즉, θ = 0° 또는 θ = 180°)은 가장 불량한 정확도를 갖는 반면, 수직 방향으로의 회전(즉, θ = 90° 또는 θ = 270°)은 가장 양호한 정확도를 갖는다. 회전 각도의 함수로서의 정확도는 다음의 수학식에 의해 표현될 수 있다:
정확도[deg] =
이러한 문제를 해결하기 위해, 추가적인 레이저 빔들이 제공될 수 있다. 도 12 및 13은 각막을 조명하기 위한 2개의 공간적으로 분리된 레이저 빔을 제공하는 2개의 레이저 소스에 대한 OPD 윤곽선들(23) 및 대응하는 정확도 플롯을 도시한다. 도 13의 그래프로부터 알 수 있는 바와 같이, 도시된 바와 같이 2개의 소스를 사용함으로써, 적어도 하나의 소스의 정확도가 항상 0.25 도(파선으로 표시됨) 미만일 것이다.
도 14 및 도 15는 3개의 레이저 소스를 포함하는 구성에 대한 OPD 윤곽선들(23) 및 대응하는 정확도를 도시한다. 각각의 레이저 빔은 17°의 각도만큼 분리되며, 이는, 각막 상의 임의의 위치로부터 모든 방향들에서 대략적으로 0.05 도 미만의 정확도를 제공한다.
도 16은 x 축 및 y 축을 중심으로 한 -30° 내지 30°의 눈의 임의의 회전 위치에 대한, 레이저 빔들 사이에 17° 각도를 갖는 3개의 레이저 소스 구성을 사용한 임의의 방향으로의 회전에 대한 최소 정확도를 플롯팅한다. 플롯으로부터 알 수 있는 바와 같이, 비교적 작은 영역들만이 임의의 방향으로의 이동/회전에 대해 0.05 도보다 불량한 최소 정확도를 갖는다.
도 17은 3.5°의 각도 거리만큼 분리된 3개의 레이저 빔을 제공하는 디바이스에 대한 OPD 윤곽선들(23)을 도시한다. 도 18은 x 축 및 y 축을 중심으로 한 -30° 내지 30° 내의 눈의 임의의 회전 위치로부터의 임의의 방향으로의 회전에 대한 최소 정확도의 대응하는 플롯을 도시한다. 플롯으로부터 알 수 있는 바와 같이, 정확도는 3개의 소스의 17° 구성에 대한 것만큼 양호하지 않다. 최소 정확도는 (17° 구성에 대한 0.05 도와 비교하여) 대략적으로 0.25 도이다. 그러므로, 레이저 소스들 사이의 각도를 감소시키는 것은 정확도를 악화시킨다.
특정 실시예가 위에서 설명되었지만, 청구항들은 그러한 실시예들로 제한되지 않는다. 개시된 각각의 특징은, 단독으로 또는 본원에 개시된 다른 특징들과의 적절한 조합으로, 설명된 실시예들 중 임의의 실시예에 포함될 수 있다.
참조 번호들
Figure pct00002

Claims (16)

  1. 사용자의 머리에 장착하기 위한 프레임(2)에 통합하기 위한 눈 추적 디바이스(1)로서,
    상기 프레임(2)에 고정하기 위한 그리고 사용 중일 때 상기 사용자의 눈(8)의 각막(7)을 조명하기 위한 레이저 빔(6)을 제공하도록 구성되는 레이저 출력 유닛(4);
    상기 프레임(2)에 고정하기 위한 그리고 상기 레이저 빔의 반사들을 수신하고 상기 각막(7)의 거리 또는 속도를 결정하기 위해 사용가능한 추적 신호를 제공하도록 구성되는 수신기 유닛(4); 및
    상기 추적 신호로부터 상기 사용자의 눈(8)의 회전을 결정하기 위한 처리 유닛(9)
    을 포함하는, 눈 추적 디바이스(1).
  2. 제1항에 있어서,
    상기 레이저 출력 유닛(4)은 적어도 3개의 공간적으로 분리된 레이저 빔(6)을 제공하도록 구성되고, 상기 수신기 유닛(4)은 상기 적어도 3개의 공간적으로 분리된 레이저 빔(6)의 반사들을 수신하도록 구성되는, 눈 추적 디바이스(1).
  3. 제2항에 있어서,
    상기 적어도 3개의 분리된 레이저 빔(6)은, 사용 중일 때 상기 사용자의 눈(8)의 상기 각막(7) 상에서 3.5° 내지 20°의 범위 내의 각도 거리만큼 분리되는, 눈 추적 디바이스(1).
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 레이저 출력 유닛(4)은 상기 레이저 빔을 방출하기 위한 레이저 소스를 포함하는, 눈 추적 디바이스(1).
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 레이저 출력 유닛(4)은 상기 레이저 빔을 방출하기 위한 레이저 소스에 연결되는 광 도파관을 포함하는, 눈 추적 디바이스(1).
  6. 제4항 또는 제5항에 있어서,
    상기 레이저 출력 유닛(4)은 또한 상기 수신기 유닛(4)이고, 상기 추적 신호는 상기 레이저 소스에서의 자기-혼합 간섭에 의해 제공되는, 눈 추적 디바이스(1).
  7. 제4항 내지 제6항 중 어느 한 항에 있어서,
    상기 추적 신호는 상기 레이저 소스의 광학 출력으로부터 결정되는, 눈 추적 디바이스(1).
  8. 제4항 내지 제6항 중 어느 한 항에 있어서,
    상기 추적 신호는 상기 레이저 소스에 입력되는 전류 또는 전압으로부터 결정되는, 눈 추적 디바이스(1).
  9. 제4항 내지 제8항 중 어느 한 항에 있어서,
    상기 레이저 소스는 수직 캐비티 표면 방출 레이저(VCSEL)인, 눈 추적 디바이스(1).
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 프레임(2)에 고정하기 위한, 그리고 상기 각막(7)을 조명하기 위한 상기 레이저 빔들(6)을 변조하도록 구성되는 하나 이상의 광학 요소(5, 10, 11, 22)를 더 포함하는, 눈 추적 디바이스(1).
  11. 제10항에 있어서,
    상기 하나 이상의 광학 요소(5, 10, 11, 22)는 상기 각막(7)의 평면파 조명(12, 15)을 제공하기 위한 시준 렌즈들인, 눈 추적 디바이스(1).
  12. 제10항에 있어서,
    상기 하나 이상의 광학 요소(5, 10, 11, 22)는 상기 각막(7) 상에 상기 레이저 빔들을 집속시키기 위한 집속 렌즈들인, 눈 추적 디바이스(1).
  13. 제10항 내지 제12항 중 어느 한 항에 있어서,
    상기 하나 이상의 광학 요소(5, 10, 11, 22)는 반사성 렌즈들인, 눈 추적 디바이스(1).
  14. 제13항에 있어서,
    상기 레이저 출력 유닛은 사용 중일 때 상기 사용자의 머리의 측부를 따라 이어지는 상기 프레임의 스템에 고정되도록 구성되는, 눈 추적 디바이스(1).
  15. 가상 현실(VR) 또는 증강 현실(AR) 헤드셋으로서,
    사용자의 머리에 장착하기 위한 프레임(2), 및 상기 프레임(2)에 통합된 제1항 내지 제14항 중 어느 한 항에 따른 눈 추적 디바이스(1)를 포함하는, 가상 현실(VR) 또는 증강 현실(AR) 헤드셋.
  16. 눈 추적의 방법으로서,
    사용자의 머리에 프레임을 장착하는 단계;
    상기 프레임에 고정된 레이저 출력 유닛에 의해 제공되는 레이저 빔으로 상기 사용자의 눈의 각막을 조명하는 단계;
    상기 프레임에 고정된 수신기 유닛으로 상기 레이저 빔의 반사를 수신하고, 상기 각막의 거리 또는 속도를 결정하기 위해 사용가능한 추적 신호를 제공하는 단계; 및
    처리 유닛으로, 상기 추적 신호로부터 상기 사용자의 눈의 회전을 결정하는 단계
    를 포함하는, 눈 추적의 방법.
KR1020237043420A 2021-05-20 2022-05-13 눈 추적 KR20240009468A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB2107231.9A GB202107231D0 (en) 2021-05-20 2021-05-20 Eye tracking
GB2107231.9 2021-05-20
PCT/EP2022/063018 WO2022243185A1 (en) 2021-05-20 2022-05-13 Eye tracking

Publications (1)

Publication Number Publication Date
KR20240009468A true KR20240009468A (ko) 2024-01-22

Family

ID=76637719

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237043420A KR20240009468A (ko) 2021-05-20 2022-05-13 눈 추적

Country Status (5)

Country Link
KR (1) KR20240009468A (ko)
CN (1) CN117813540A (ko)
DE (1) DE112022002732T5 (ko)
GB (1) GB202107231D0 (ko)
WO (1) WO2022243185A1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100701006B1 (ko) * 2005-05-31 2007-03-29 한국전자통신연구원 포물선 도파로형 평행광 렌즈 및 이를 포함한 파장 가변외부 공진 레이저 다이오드
DE102018214637A1 (de) * 2018-08-29 2020-03-05 Robert Bosch Gmbh Verfahren zum Ermitteln einer Blickrichtung eines Auges

Also Published As

Publication number Publication date
DE112022002732T5 (de) 2024-03-07
GB202107231D0 (en) 2021-07-07
WO2022243185A1 (en) 2022-11-24
CN117813540A (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
US11209659B2 (en) Augmented reality head-mounted display with beam shifter for pupil steering
US11868522B2 (en) Method for ascertaining a viewing direction of an eye
US20180242841A1 (en) Eye-tracker illumination
US4702575A (en) Helmet mounted eye tracker using a position sensing detector
EP3721286B1 (en) Compact multi-color beam combiner using a geometric phase lens
US7618144B2 (en) System and method for tracking eye movement
US11280603B2 (en) Optical systems and methods for measuring rotational movement
US11733774B2 (en) Eye-tracking arrangement
JPWO2019246412A5 (ko)
CN113885694A (zh) 用激光多普勒干涉测量法进行眼睛跟踪
KR20240009468A (ko) 눈 추적
EP4198607A1 (en) Eye sensing
RU2724442C1 (ru) Устройство и способ определения расстояния фокусировки глаза для наголовного устройства отображения, наголовное устройство отображения
RU2700373C1 (ru) Система слежения за поворотом глаза
WO2022243027A1 (en) Eye movement determination
CN116406449A (zh) 使用低相干干涉测量法在头戴式设备中进行眼睛追踪的系统和方法
US11269191B2 (en) Data acquisition apparatus
GB2608789A (en) Optical system for eye tracking
WO2023078689A1 (en) Retinal imaging