KR102416282B1

KR102416282B1 - 이벤트 카메라 데이터를 사용한 눈 추적을 위한 방법 및 디바이스

Info

Publication number: KR102416282B1
Application number: KR1020207008959A
Authority: KR
Inventors: 라피 에이. 베디키안; 다니엘 쿠르츠; 리 지아; 토마스 게바우어; 브란코 페틀리안스키
Original assignee: 애플 인크.
Priority date: 2017-09-28
Filing date: 2018-09-27
Publication date: 2022-07-01
Also published as: KR20200080226A; US11150469B2; JP2020536309A; CN111263925A; JP7008131B2; EP4293484A2; WO2019067731A1; US20200278539A1; US11474348B2; US20220003994A1; US20230314798A1; EP3714350A1; CN111263925B; EP3714350B1; EP4293484A3

Abstract

일 구현에서, 방법은 복수의 광원들로부터 사용자의 눈을 향해 변조 세기를 갖는 광을 방출하는 단계를 포함한다. 본 방법은 복수의 글린트들의 형태로 사용자의 눈에 의해 반사되는 복수의 글린트들의 세기를 나타내는 광 세기 데이터를 수신하는 단계, 및 광 세기 데이터에 기초하여 사용자의 눈 추적 특성을 결정하는 단계를 포함한다. 일 구현예에서, 본 방법은 복수의 각자의 위치들에 있는 복수의 광 센서들을 포함하는 이벤트 카메라를 사용하여, 복수의 이벤트 메시지들을 생성하는 단계를 포함하고, 복수의 이벤트 메시지들 각각은, 특정 광 센서가 광의 세기에서의 변화를 검출하는 것에 응답하여 생성되고 특정 광 센서의 특정 위치를 나타낸다. 본 방법은 복수의 이벤트 메시지들에 기초하여 사용자의 눈 추적 특성을 결정하는 단계를 포함한다.

Description

이벤트 카메라 데이터를 사용한 눈 추적을 위한 방법 및 디바이스

관련 출원에 대한 상호 참조

본 출원은, 2017년 9월 28일자로 출원되고 이로써 전체적으로 참조로 통합된 미국 가특허 출원 제62/564,875호에 대한 우선권을 주장한다.

기술분야

본 개시내용은 일반적으로 눈 추적에 관한 것이며, 특히 이벤트 카메라 데이터를 사용한 눈 추적을 위한 시스템들, 방법들, 및 디바이스들에 관한 것이다.

다양한 구현들에서, 머리-장착형 디바이스는 머리-장착형 디바이스의 사용자의 시선 방향을 결정하는 눈 추적 시스템을 포함한다. 눈 추적 시스템은 종종 사용자의 눈들의 이미지들을, 눈 추적을 수행하는 프로세서로 송신하는 카메라를 포함한다. 눈 추적을 가능하게 하기에 충분한 프레임 레이트에서의 이미지들의 송신은 상당한 대역폭을 갖는 통신 링크를 필요로 하고, 그러한 통신 링크를 사용하는 것은 머리-장착형 디바이스에 의한 열 발생 및 전력 소비를 증가시킨다.

본 명세서에 개시된 다양한 구현예들은 세기-변조된 광원들을 사용하여 눈 추적 특성을 결정하기 위한 디바이스들, 시스템들, 및 방법들을 포함한다. 본 방법은 복수의 광원들로부터 사용자의 눈을 향해 변조 세기를 갖는 광을 방출하는 단계를 포함한다. 본 방법은 복수의 글린트의 형태로 사용자의 눈에 의해 반사되는 방출된 광의 세기를 나타내는 광 세기 데이터를 수신하는 단계를 포함한다. 본 방법은 광 세기 데이터에 기초하여 사용자의 눈 추적 특성을 결정하는 단계를 포함한다.

본 명세서에 개시된 다양한 구현예들은 이벤트 카메라를 사용하여 눈 추적 특성을 결정하기 위한 디바이스들, 시스템들, 및 방법들을 포함한다. 본 방법은 복수의 각자의 위치들에 있는 복수의 광 센서들을 포함하는 이벤트 카메라를 사용하여, 복수의 이벤트 메시지들을 생성하는 단계를 포함하고, 복수의 이벤트 메시지들 각각은, 특정 광 센서가 광의 세기에서의 변화를 검출하는 것에 응답하여 생성되고 특정 광 센서의 특정 위치를 나타낸다. 본 방법은 복수의 이벤트 메시지들에 기초하여 사용자의 눈 추적 특성을 결정하는 단계를 포함한다.

일부 구현예들에 따르면, 디바이스는 하나 이상의 프로세서들, 비일시적 메모리, 및 하나 이상의 프로그램들을 포함하고; 하나 이상의 프로그램들은 비일시적 메모리에 저장되며 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 하나 이상의 프로그램들은 본 명세서에 설명된 방법들 중 임의의 방법을 수행하거나 또는 수행하게 하기 위한 명령어들을 포함한다. 일부 구현예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체는, 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 디바이스로 하여금, 본 명세서에 기술되는 방법들 중 임의의 방법을 수행하게 하거나 수행을 야기하는 명령어들을 내부에 저장한다. 일부 구현예들에 따르면, 디바이스는 하나 이상의 프로세서들, 비일시적 메모리, 및 본 명세서에 기술된 방법들 중 임의의 방법을 수행하거나 수행을 야기하기 위한 수단을 포함한다.

본 개시내용이 통상의 기술자에 의해 이해될 수 있도록, 더 상세한 설명이 일부 예시적인 구현예들의 양태들에 대한 참조에 의해 이루어질 수 있으며, 이들 중 일부는 첨부 도면들에 도시된다.
도 1은 일부 구현예들에 따른 예시적인 동작 환경의 블록도이다.
도 2는 일부 구현예들에 따른 예시적인 제어기의 블록도이다.
도 3은 일부 구현예들에 따른 예시적인 머리-장착형 디바이스(HMD)의 블록도이다.
도 4는 일부 구현예들에 따른 머리-장착형 디바이스의 블록도를 예시한다.
도 5a는 일부 구현예들에 따른 제1 시선 방향을 갖는 사용자의 눈을 예시한다.
도 5b는 일부 구현예들에 따른 제2 시선 방향을 갖는 사용자의 눈을 예시한다.
도 6a 내지 도 6d는 일부 구현예들에 따른 상이한 시간들에서 도 5의 사용자의 눈을 예시한다.
도 7은 일부 구현예들에 따른 이벤트 카메라의 기능 블록도를 예시한다.
도 8은 일부 구현예들에 따른 이벤트 메시지의 데이터 도면을 예시한다.
도 9a는 일부 구현예들에 따른 이벤트 카메라를 포함하는 눈 추적 시스템의 기능 블록도를 예시한다.
도 9b는 일부 구현예들에 따른 기계 학습 리그레서(regressor)를 포함하는 눈 추적 시스템의 기능 블록도를 예시한다.
도 9c는 일부 구현예들에 따른 시선 추정기를 포함하는 눈 추적 시스템의 기능 블록도를 예시한다.
도 10은 일부 구현예들에 따른 세기-변조된 글린트(glint)들을 사용하여 시선 방향을 결정하는 방법의 흐름도 표현이다.
도 11은 일부 구현예들에 따른 이벤트 카메라를 사용하여 시선 방향을 결정하는 방법의 흐름도 표현이다.
일반적인 실시에 따라, 도면에 도시된 다양한 특징부들은 축척대로 그려지지 않을 수 있다. 따라서, 다양한 특징부들의 치수는 명료함을 위해 임의대로 확대 또는 축소될 수 있다. 부가적으로, 도면들 중 일부는 주어진 시스템, 방법 또는 디바이스의 컴포넌트들 모두를 도시하지는 않을 수 있다. 마지막으로, 동일한 도면 번호들은 명세서 및 도면들 전반에 걸쳐 동일한 특징부를 나타내기 위해 사용될 수 있다.

도면들에 도시된 예시적인 구현예들의 완전한 이해를 제공하기 위해 다수의 세부사항들이 설명된다. 그러나, 도면들은 단지 본 개시내용의 일부 예시적인 양태들만을 도시할 뿐이며, 따라서 제한적인 것으로 고려되지 않는다. 통상의 기술자는 다른 효과적인 양태들 및/또는 변형들이 본 명세서에 설명되는 특정 세부사항들 모두를 포함하지는 않음을 인식할 것이다. 또한, 잘 알려진 시스템들, 방법들, 컴포넌트들, 디바이스들 및 회로들은 본 명세서에 설명되는 예시적인 구현예들의 더 적절한 양태들을 불명확하게 하지 않기 위해 철저히 상세하게 설명되지 않았다.

다양한 구현예들에서, 눈 추적은 사용자 상호작용을 가능하게 하거나, 포비티드 렌더링(foveated rendering)을 제공하거나, 또는 기하학적 왜곡을 감소시키기 위해 사용된다. 눈 추적 시스템은 광원, 카메라, 및 사용자의 눈에서 반사된 광원으로부터의 광에 관한, 카메라로부터 수신된 데이터에 대한 눈 추적을 수행하는 프로세서를 포함한다. 다양한 구현예들에서, 카메라는 특정 광 센서가 광의 세기에서의 변화를 검출하는 것에 응답하여 특정 광 센서의 특정 위치를 나타내는 이벤트 메시지를 생성하는, 복수의 각자의 위치들에 있는 복수의 광 센서들을 갖는 이벤트 카메라를 포함한다. 이벤트 카메라는 동적 비전 센서(DVS), 실리콘 망막, 이벤트-기반 카메라, 또는 프레임-리스(frame-less) 카메라를 포함할 수 있거나 또는 그것으로 지칭될 수 있다. 따라서, 이벤트 카메라는 각각의 광 센서에서의 절대 세기에 관한 더 많은 양의 데이터와는 대조적으로 광 세기에서의 변화들에 관한 데이터를 생성(및 송신)한다. 또한, 다양한 구현예들에서, 세기가 변화할 때 데이터가 생성되기 때문에, 광원은 변조 세기를 갖는 광을 방출한다.

도 1은 일부 구현예들에 따른 예시적인 동작 환경(100)의 블록도이다. 관련 특징부들이 도시되어 있지만, 당업자는 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 예시적인 구현예들의 더 많은 관련 양태들을 불명료하게 하지 않도록 하기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 동작 환경(100)은 제어기(110) 및 머리-장착형 디바이스(HMD)(120)를 포함한다.

일부 실시예들에서, 제어기(110)는 사용자에 대한 증강 현실/가상 현실(AR/VR) 경험을 관리 및 조정하도록 구성된다. 일부 실시예들에서, 제어기(110)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 제어기(110)는 도 2와 관련하여 아래에서 더욱 상세히 기술된다. 일부 실시예들에서, 제어기(110)는 장면(105)에 대해 로컬 또는 원격인 컴퓨팅 디바이스이다. 예를 들어, 제어기(110)는 장면(105) 내에 위치된 로컬 서버이다. 다른 예에서, 제어기(110)는 장면(105) 외부에 위치된 원격 서버(예컨대, 클라우드 서버, 중앙 서버 등)이다. 일부 실시예들에서, 제어기(110)는 하나 이상의 유선 또는 무선 통신 채널들(144)(예컨대, 블루투스, IEEE 802.11x, IEEE 802.16x, IEEE 802.3x 등)을 통해 HMD(120)와 통신가능하게 결합된다.

일부 실시예들에서, HMD(120)는 AR/VR 경험을 사용자에게 제시하도록 구성된다. 일부 실시예들에서, HMD(120)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. HMD(120)는 도 3와 관련하여 아래에서 더욱 상세히 기술된다. 일부 실시예들에서, 제어기(110)의 기능성들은 HMD(120)에 의해 제공되고/되거나 이와 조합된다.

일부 실시예들에 따르면, HMD(120)는 사용자가 장면(105) 내에 가상으로 및/또는 물리적으로 존재하는 동안 증강 현실/가상 현실(AR/VR) 경험을 사용자에게 제시한다. 일부 실시예들에서, 증강 현실(AR) 경험을 제시하는 동안, HMD(120)는 AR 콘텐츠를 제시하도록 그리고 장면(105)의 광학적 시스루(see-through)를 가능하게 하도록 구성된다. 일부 실시예들에서, 가상 현실(VR) 경험을 제시하는 동안, HMD(120)는 VR 콘텐츠를 제시하도록 그리고 장면(105)의 비디오 패스-스루(pass-through)를 가능하게 하도록 구성된다.

일부 실시예들에서, 사용자는 HMD(120)를 자신의 머리 상에 착용한다. 이와 같이, HMD(120)는 AR/VR 콘텐츠를 디스플레이하도록 제공되는 하나 이상의 AR/VR 디스플레이들을 포함한다. 예를 들어, HMD(120)는 사용자의 시야를 둘러싼다. 일부 실시예들에서, HMD(120)는 AR/VR 콘텐츠를 사용자에게 제시하도록 구성된 핸드헬드 전자 디바이스(예를 들어, 스마트폰 또는 태블릿)으로 대체된다. 일부 실시예들에서, HMD(120)는 사용자가 HMD(120)를 착용하거나 유지하지 않는, AR/VR 콘텐츠를 제시하도록 구성된 AR/VR 챔버, 인클로저, 또는 방으로 대체된다.

도 2는 일부 구현예들에 따른 제어기(110)의 예의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 통상의 기술자들은 본 개시내용으로부터 다양한 다른 특징부들이 간결함을 위해, 그리고 본 명세서에 개시된 구현예들의 더 적절한 양태들을 불명확하게 하지 않기 위해 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 일부 구현예들에서 제어기(110)는 하나 이상의 프로세싱 유닛들(202)(예컨대, 마이크로프로세서들, 주문형 집적 회로들(ASIC), 필드 프로그래밍가능 게이트 어레이(FPGA)들, 그래픽 프로세싱 유닛(GPU)들, 중앙 프로세싱 유닛(CPU)들, 프로세싱 코어들 등), 하나 이상의 입/출력(I/O) 디바이스들(206), 하나 이상의 통신 인터페이스들(208)(예컨대, 범용 직렬 버스(USB), FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.11x, IEEE 802.16x, GSM(global system for mobile communications), 코드 분할 다중 액세스(CDMA), 시분할 다중 액세스(TDMA), 글로벌 포지셔닝 시스템(GPS), 적외선(IR), 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예컨대, I/O) 인터페이스들(210), 메모리(220), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스(204)들을 포함한다.

일부 구현예들에서, 하나 이상의 통신 버스들(204)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 일부 구현예들에서, 하나 이상의 I/O 디바이스들(206)은 키보드, 마우스, 터치패드, 조이스틱, 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 하나 이상의 이미지 센서들, 하나 이상의 디스플레이들 등 중 적어도 하나를 포함한다.

메모리(220)는 동적 랜덤 액세스 메모리(DRAM), 정적 랜덤 액세스 메모리(SRAM), 이중 데이터 레이트 랜덤 액세스 메모리(DDR RAM), 또는 다른 랜덤 액세스 솔리드 스테이트 메모리 디바이스들과 같은 고속 랜덤 액세스 메모리를 포함한다. 일부 구현예들에서, 메모리(220)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(220)는 선택적으로, 하나 이상의 프로세싱 유닛들(202)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(220)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 구현예들에서, 메모리(220) 또는 메모리(220)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(230) 및 증강 현실/가상 현실(AR/VR) 경험 모듈(240)을 포함하는 그것들의 서브세트를 저장한다.

운영 체제(230)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 절차들을 포함한다. 일부 구현예들에서, AR/VR 경험 모듈(240)은 하나 이상의 사용자들에 대한 하나 이상의 AR/VR 경험들(예컨대, 하나 이상의 사용자들에 대한 단일 AR/VR 경험, 또는 하나 이상의 사용자들의 각자의 그룹들에 대한 다수의 AR/VR 경험들)을 관리 및 조정하도록 구성된다. 이를 위해, 다양한 구현예들에서, AR/VR 경험 모듈(240)은 데이터 획득 유닛(242), 추적 유닛(244), 조정 유닛(246), 및 데이터 송신 유닛(248)을 포함한다.

일부 구현예들에서, 데이터 획득 유닛(242)은 적어도 HMD(120)로부터 데이터(예컨대, 프리젠테이션 데이터, 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 구현예들에서, 데이터 획득 유닛(242)은 그에 대한 명령어들 및/또는 로직, 및 그를 위한 휴리스틱스(heuristics) 및 메타데이터를 포함한다.

일부 구현예들에서, 추적 유닛(244)은 장면(105)을 맵핑하도록 그리고 장면(105)에 대한 적어도 HMD(120)의 포지션/위치를 추적하도록 구성된다. 이를 위해, 다양한 구현예들에서, 추적 유닛(244)은 그에 대한 명령어들 및/또는 로직, 및 그를 위한 휴리스틱스 및 메타데이터를 포함한다.

일부 구현예들에서, 조정 유닛(246)은 HMD(120)에 의해 사용자에게 제시되는 AR/VR 경험을 관리 및 조정하도록 구성된다. 이를 위해, 다양한 구현예들에서, 조정 유닛(246)은 그에 대한 명령어들 및/또는 로직, 및 그를 위한 휴리스틱스 및 메타데이터를 포함한다.

일부 구현예들에서, 데이터 송신 유닛(248)은 데이터(예컨대, 프리젠테이션 데이터, 위치 데이터 등)를 적어도 HMD(120)로 송신하도록 구성된다. 이를 위해, 다양한 구현예들에서, 데이터 송신 유닛(248)은 그에 대한 명령어들 및/또는 로직, 및 그를 위한 휴리스틱스 및 메타데이터를 포함한다.

데이터 획득 유닛(242), 추적 유닛(244), 조정 유닛(246), 및 데이터 송신 유닛(248)이 단일 디바이스(예컨대, 제어기(110)) 상에 존재하는 것으로 도시되어 있지만, 다른 구현예들에서, 데이터 획득 유닛(242), 추적 유닛(244), 조정 유닛(246), 및 데이터 송신 유닛(248)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.

또한, 도 2는 본 명세서에 설명된 구현예들의 구조적 개략도에 반대로 특정 실시예에 존재하는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 구현예들에서, 도 2에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 실시예마다 변할 것이고, 일부 구현예들에서, 특정 실시예들에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.

도 3은 일부 구현예들에 따른 머리-장착형 디바이스(HMD)(120)의 예의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 통상의 기술자들은 본 개시내용으로부터 다양한 다른 특징부들이 간결함을 위해, 그리고 본 명세서에 개시된 구현예들의 더 적절한 양태들을 불명확하게 하지 않기 위해 예시되지 않았음을 인식할 것이다. 이를 위해, 비-제한적인 예로서, 일부 구현예들에서 HMD(120)는 하나 이상의 프로세싱 유닛들(302)(예를 들어, 마이크로프로세서들, ASIC들, FPGA들, GPU들, CPU들, 프로세싱 코어들 등), 하나 이상의 입/출력(I/O) 디바이스들 및 센서들(306), 하나 이상의 통신 인터페이스들(308)(예를 들어, USB, FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, GSM, CDMA, TDMA, GPS, IR, 블루투스, ZIGBEE, SPI, I2C, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(310), 하나 이상의 AR/VR 디스플레이들(312), 하나 이상의 내부 및/또는 외부 대면 이미지 센서 시스템들(314), 메모리(320), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(304)을 포함한다.

일부 구현예들에서, 하나 이상의 통신 버스들(304)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 일부 구현예들에서, 하나 이상의 I/O 디바이스들 및 센서들(306)은 관성 측정 유닛(inertial measurement unit, IMU), 가속도계, 자력계, 자이로스코프, 온도계, 하나 이상의 생리학적 센서들(예를 들어, 혈압 모니터, 심박수 모니터, 혈중 산소 센서, 혈당 센서 등), 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 햅틱 엔진, 하나 이상의 심도 센서들(예를 들어, 구조화된 광, 빛의 비행시간 등) 등 중 적어도 하나를 포함한다.

일부 구현예들에서, 하나 이상의 AR/VR 디스플레이들(312)은 AR/VR 경험을 사용자에게 제시하도록 구성된다. 일부 실시예들에서, 하나 이상의 AR/VR 디스플레이들(312)은 홀로그래픽, 디지털 광 프로세싱(DLP), 액정 디스플레이(LCD), 실리콘 액정(LCoS), 유기 발광 전계 효과 트랜지터리(OLET), 유기 발광 다이오드(OLED), 표면-전도 전자-방출기 디스플레이(SED), 전계-방출 디스플레이(FED), 양자점 발광 다이오드(QD-LED), 마이크로-전자기계 시스템(MEMS), 및/또는 유사 디스플레이 유형들에 대응한다. 일부 실시예들에서, 하나 이상의 AR/VR 디스플레이들(312)은 회절, 반사, 편광, 홀로그래픽 등의 도파관 디스플레이들에 대응한다. 예를 들어, HMD(120)는 단일 AR/VR 디스플레이를 포함한다. 다른 예에서, HMD(120)는 사용자의 각각의 눈에 대한 AR/VR 디스플레이를 포함한다. 일부 실시예들에서, 하나 이상의 AR/VR 디스플레이들(312)은 AR 및 VR 콘텐츠를 제시할 수 있다. 일부 실시예들에서, 하나 이상의 AR/VR 디스플레이들(312)은 AR 또는 VR 콘텐츠를 제시할 수 있다.

일부 구현예들에서, 하나 이상의 이미지 센서 시스템들(314)은 사용자의 눈들을 포함하는 사용자의 얼굴의 적어도 일부분에 대응하는 이미지 데이터를 획득하도록 구성된다. 예를 들어, 하나 이상의 이미지 센서 시스템들(314)은 하나 이상의 RGB 카메라(예를 들어, 상보형 금속-산화물-반도체(CMOS) 이미지 센서 또는 전하-결합 디바이스(CCD) 이미지 센서를 구비함), 흑백 카메라, IR 카메라, 이벤트-기반 카메라 등을 포함할 수 있다. 다양한 구현예들에서, 하나 이상의 이미지 센서 시스템들(314)은 플래시 또는 글린트 소스와 같은 사용자의 얼굴의 일부분 상에 광을 방출하는 조명원들을 추가로 포함한다.

메모리(320)는 고속 랜덤-액세스 메모리, 이를테면, DRAM, SRAM, DDR RAM, 또는 다른 랜덤-액세스 솔리드-스테이트 메모리 디바이스들을 포함한다. 일부 구현예들에서, 메모리(320)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(320)는 선택적으로, 하나 이상의 프로세싱 유닛들(302)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(320)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 구현예들에서, 메모리(320) 또는 메모리(320)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램, 모듈 및 데이터 구조, 또는 선택적인 운영 체제(330), AR/VR 프리젠테이션 모듈(340) 및 사용자 데이터 구조 저장소(360)를 포함하는 그것들의 서브세트를 저장한다.

운영 체제(330)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 절차들을 포함한다. 일부 구현예들에서, AR/VR 프리젠테이션 모듈(340)은 하나 이상의 AR/VR 디스플레이들(312)을 통해 AR/VR 콘텐츠를 사용자에게 제시하도록 구성된다. 이를 위해, 다양한 구현예들에서, AR/VR 프리젠테이션 모듈(340)은 데이터 획득 유닛(342), AR/VR 제시 유닛(344), 눈 추적 유닛(346), 및 데이터 송신 유닛(348)을 포함한다.

일부 구현예들에서, 데이터 획득 유닛(342)은 적어도 제어기(110)로부터 데이터(예컨대, 프리젠테이션 데이터, 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 구현예들에서, 데이터 획득 유닛(342)은 그에 대한 명령어들 및/또는 로직, 및 그를 위한 휴리스틱스 및 메타데이터를 포함한다.

일부 구현예들에서, AR/VR 제시 유닛(344)은 하나 이상의 AR/VR 디스플레이들(312)을 통해 AR/VR 콘텐츠를 제시하도록 구성된다. 이를 위해, 다양한 구현예들에서, AR/VR 제시 유닛(344)은 그에 대한 명령어들 및/또는 로직, 및 그를 위한 휴리스틱스 및 메타데이터를 포함한다.

일부 구현예들에서, 눈 추적 유닛(346)은 이벤트 카메라로부터 수신된 이벤트 메시지들에 기초하여 사용자의 눈 추적 특성을 결정하도록 구성된다. 이를 위해, 다양한 구현예들에서, 눈 추적 유닛(346)은 그에 대한 명령어들 및/또는 로직, 및 그를 위한 휴리스틱스 및 메타데이터를 포함한다.

일부 구현예들에서, 데이터 송신 유닛(348)은 데이터(예컨대, 프리젠테이션 데이터, 위치 데이터 등)를 적어도 제어기(110)로 송신하도록 구성된다. 이를 위해, 다양한 구현예들에서, 데이터 송신 유닛(348)은 그에 대한 명령어들 및/또는 로직, 및 그를 위한 휴리스틱스 및 메타데이터를 포함한다.

데이터 획득 유닛(342), AR/VR 제시 유닛(344), 눈 추적 유닛(346), 및 데이터 송신 유닛(348)이 단일 디바이스(예컨대, HMD(120)) 상에 존재하는 것으로 도시되어 있지만, 다른 구현예들에서, 데이터 획득 유닛(342), AR/VR 제시 유닛(344), 눈 추적 유닛(346), 및 데이터 송신 유닛(348)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.

또한, 도 3은 본 명세서에 설명된 구현예들의 구조적 개략도에 반대로 특정 실시예에 존재하는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 구현예들에서, 도 3에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 실시예마다 변할 것이고, 일부 구현예들에서, 특정 실시예들에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.

도 4는 일부 구현예들에 따른 머리-장착형 디바이스(400)의 블록도를 예시한다. 머리-장착형 디바이스(400)는 머리-장착형 디바이스(400)의 다양한 컴포넌트들을 수용하는 하우징(401)(또는 인클로저)을 포함한다. 하우징(401)은 하우징(401)의 (사용자(10)에 대한) 근위 단부에 배치되는 눈 패드(405)를 포함한다(또는 이에 결합된다). 다양한 구현예들에서, 눈 패드(405)는 (예컨대, 사용자(10)의 눈을 둘러싼) 사용자(10)의 얼굴의 적절한 위치에 머리-장착형 디바이스(400)를 편안하고 포근하게 유지하는 플라스틱 또는 고무 조각이다.

하우징(401)은 이미지를 디스플레이하여, 사용자(10)의 눈을 향해 광을 방출하는 디스플레이(410)를 수용한다. 다양한 구현예들에서, 디스플레이(410)는 디스플레이(410)에 의해 방출되는 광을 굴절시키는 아이피스(eyepiece)(도시되지 않음)를 통해 광을 방출하여, 디스플레이가 눈으로부터 디스플레이(410)까지의 실제 거리보다 더 먼 가상 거리에 있는 것으로 사용자(10)에게 보이게 한다. 사용자가 디스플레이(410)에 초점을 맞출 수 있게 하기 위해, 다양한 구현예들에서, 가상 거리는 적어도 눈의 최소 초점 거리(예컨대, 7 cm)보다 크다. 또한, 더 나은 사용자 경험을 제공하기 위해, 다양한 구현예들에서, 가상 거리는 1 m 초과이다.

도 4는 디스플레이(410) 및 눈 패드(405)를 포함하는 머리-장착형 디바이스(400)를 예시하지만, 다양한 구현예들에서, 머리-장착형 디바이스(400)는 디스플레이(410)를 포함하지 않거나, 또는 눈 패드(405)를 포함하지 않는 광학 시스루 디스플레이를 포함한다.

하우징(401)은 또한 하나 이상의 광원들(422), 카메라(424), 및 제어기(480)를 포함하는 눈 추적 시스템을 수용한다. 하나 이상의 광원들(422)은 카메라(424)에 의해 검출될 수 있는 광 패턴(예컨대, 글린트들의 원)으로서 반사하는 사용자(10)의 눈 상으로 광을 방출한다. 광 패턴에 기초하여, 제어기(480)는 사용자(10)의 눈 추적 특성을 결정할 수 있다. 예를 들어, 제어기(480)는 사용자(10)의 시선 방향 및/또는 깜박임 상태(눈 개방 또는 눈 폐쇄)를 결정할 수 있다. 다른 예로서, 제어기(480)는 동공 중심, 동공 크기, 또는 관심 포인트를 결정할 수 있다. 따라서, 다양한 구현예들에서, 광은 하나 이상의 광원들(422)에 의해 방출되고, 사용자(10)의 눈에서 반사되고, 카메라(424)에 의해 검출된다. 다양한 구현예들에서, 사용자(10)의 눈으로부터의 광은 카메라(424)에 도달하기 전에 핫 미러로부터 반사되거나 아이피스를 통과한다.

디스플레이(410)는 제1 파장 범위 내의 광을 방출하고, 하나 이상의 광원들(422)은 제2 파장 범위 내의 광을 방출한다. 유사하게, 카메라(424)는 제2 파장 범위 내의 광을 검출한다. 다양한 구현예들에서, 제1 파장 범위는 가시 파장 범위(예를 들어, 대략 400 내지 700 nm의 가시 스펙트럼 내의 파장 범위)이고, 제2 파장 범위는 근적외선 파장 범위(예컨대, 대략 700 내지 1400 nm의 근적외선 스펙트럼 내의 파장 범위)이다.

다양한 구현예들에서, 눈 추적(또는, 특히, 결정된 시선 방향)은 사용자 상호작용을 가능하게 하거나(예를 들어, 사용자(10)는 디스플레이(410) 상의 옵션을 봄으로써 이를 선택함), 포비티드 렌더링을 제공하거나(예를 들어, 사용자(10)가 보고 있는 디스플레이(410)의 영역에 더 높은 해상도를 그리고 디스플레이(410) 상의 다른 곳에 더 낮은 해상도를 제시함), (예를 들어, 디스플레이(410) 상의 객체들의 3D 렌더링에서) 기하학적 왜곡을 감소시키기 위해 사용된다.

다양한 구현예들에서, 하나 이상의 광원들(422)은 복수의 글린트들의 형태로 반사하는 사용자의 눈을 향해 광을 방출한다. 도 5a는 일부 구현예들에 따른 제1 시선 방향을 갖는 사용자의 눈(500)을 예시한다. 도 5b는 일부 구현예들에 따른 제2 시선 방향을 갖는 사용자의 눈(500)을 예시한다. 눈(500)은 홍채(554)에 의해 둘러싸인 동공(552)을 포함하며, 이들 둘 모두는 각막(550)으로 덮인다. 눈(500)은 또한 공막(556)(또한 눈(500)의 화이트로 공지됨)을 포함한다. 사용자가 (도 5a에서와 같이) 제1 시선 방향을 가질 때, 패턴(예를 들어, 원)으로 배열된 복수의 광원들(422)에 의해 방출된 광은 제1 패턴(또한 도 5a의 원)을 갖는 복수의 글린트들(510)의 형태로 각막(550)에 의해 반사된다. 사용자가 (도 5b에서와 같이) 제2 시선 방향을 가질 때, 동일한 패턴으로 배열된 복수의 광원들(422)에 의해 방출된 광은 제2 패턴(도 5b의 기울어진 타원)을 갖는 복수의 글린트들(510)의 형태로 각막(550)에 의해 반사된다. 따라서, 반사된 패턴(및, 잠재적으로, 동공 크기, 동공 형상, 및 동공 중심과 같은 다른 특징부들)에 기초하여, 사용자의 눈 추적 특성이 결정될 수 있다.

다양한 구현예들에서, (도 4의) 하나 이상의 광원들(422)은 사용자의 눈을 향한 변조 세기를 갖는 광을 방출한다. 따라서, 제1 시간에, 복수의 광원들 중 제1 광원이 제1 세기로 사용자의 눈 상에 투사되고, 제2 시간에, 복수의 광원들 중 제1 광원은 제1 세기와는 상이한 제2 세기(0, 예를 들어 오프될 수 있음)로 사용자의 눈 상에 투사된다.

도 6a 내지 도 6d는 일부 구현예들에 따른 상이한 시간들에서 도 5의 사용자의 눈(500)을 예시한다. 복수의 글린트들(610A 내지 610H)은 변조 세기를 갖는 사용자의 눈(500)을 향해 방출된(및 각막(550)에 의해 반사된) 광으로부터 도출된다. 예를 들어, 제1 시간(도 6a)에, 복수의 글린트들(610A 내지 610H) 중 제1 글린트(610A) 및 제5 글린트(610E)는 제1 세기로 사용자의 눈(500)에 의해 반사된다. (도 6b에서) 제1 시간보다 늦은 제2 시간에, 제1 글린트(610A) 및 제5 글린트(610E)의 세기는 제2 세기(예를 들어, 0)로 변조된다. 또한, 제2 시간에, 복수의 글린트들(610A 내지 610H) 중 제2 글린트(610B) 및 제6 글린트(610F)가 제1 세기로 사용자의 눈(500)으로부터 반사된다. (도 6c에서) 제2 시간보다 늦은 제3 시간에, 복수의 글린트들(610A 내지 610H) 중 제3 글린트(610C) 및 제7 글린트(610G)가 제1 세기로 사용자의 눈(500)에 의해 반사된다. (도 6d에서) 제3 시간보다 늦은 제4 시간에, 복수의 글린트들(610A 내지 610H) 중 제4 글린트(610D) 및 제8 글린트(610H)가 제1 세기로 사용자의 눈(500)으로부터 반사된다. (다시 도 6a에서) 제4 시간보다 늦은 제5 시간에, 제1 글린트(610A) 및 제5 글린트(610E)의 세기는 제1 세기로 다시 변조된다.

따라서, 다양한 구현예들에서, 복수의 글린트들(610A 내지 610H) 각각은 변조 주파수(예컨대, 600 ㎐)에서 온 및 오프로 깜박인다. 그러나, 제2 글린트(610B)의 위상은 제1 글린트(610A)의 위상으로부터 오프셋되고, 제3 글린트(610C)의 위상은 제2 글린트(610B)의 위상으로부터 오프셋되는 등등으로, 글린트들은 각막(550)을 중심으로 회전하는 것으로 보인다.

따라서, 다양한 구현예들에서, 복수의 광원들 내의 상이한 광원의 세기는 상이한 방식들로 변조된다. 따라서, 눈에 의해 반사되고 카메라(424)에 의해 검출되는 글린트가 분석될 때, 글린트의 아이덴티티 및 대응하는 광원(예컨대, 검출된 글린트를 생성한 광원)이 결정될 수 있다.

다양한 구현예들에서, (도 4a의) 하나 이상의 광원들(422)은 다양한 방식들로 차등 변조된다. 다양한 구현예들에서, 복수의 광원들 중 제1 광원이 제1 주파수에서 제1 위상 오프셋(예컨대, 도 6a의 제1 글린트(610A))으로 변조되고, 복수의 광원들 중 제2 광원이 제1 주파수에서 제2 위상 오프셋(예컨대, 도 6b의 제2 글린트(610B))으로 변조된다.

다양한 구현예들에서, 하나 이상의 광원들(422)은 상이한 변조 주파수들을 갖는 방출된 광의 세기를 변조한다. 예를 들어, 다양한 구현예들에서, 복수의 광원들 중 제1 광원은 제1 주파수(예를 들어, 600 ㎐)에서 변조되고, 복수의 광원들 중 제2 광원은 제2 주파수(예를 들어, 500 ㎐)에서 변조된다.

다양한 구현예들에서, 하나 이상의 광원들(422)은 CDMA(code-divisional multiplex access) 통신들에 사용될 수 있는 것들과 같은 상이한 직교 코드들에 따라 방출된 광의 세기를 변조한다. 예를 들어, 왈시 매트릭스의 행들 또는 열들은 직교 코드들로서 사용될 수 있다. 따라서, 다양한 구현예들에서, 복수의 광원들 중 제1 광원은 제1 직교 코드에 따라 변조되고, 복수의 광원들 중 제2 광원은 제2 직교 코드에 따라 변조된다.

다양한 구현예들에서, 하나 이상의 광원들(422)은 높은 세기 값과 낮은 세기 값 사이에서 방출된 광의 세기를 변조한다. 따라서, 다양한 시간들에서, 광원에 의해 방출된 광의 세기는 높은 세기 값 또는 낮은 세기 값이다. 다양한 구현예에서, 낮은 세기 값은 0이다. 따라서, 다양한 구현예들에서, 하나 이상의 광원들(422)은 (높은 세기 값에서의) 온 상태와 (낮은 세기 값에서의) 오프 상태 사이에서 방출된 광의 세기를 변조한다. (도 6a 내지 도 6d에서와 같은) 다양한 구현예들에서, 온 상태에 있는 복수의 광원들 중 광원들의 수는 일정하다.

다양한 구현예들에서, 하나 이상의 광원들(422)은 세기 범위(예를 들어, 10% 최대 세기와 40% 최대 세기 사이) 내에서 방출된 광의 세기를 변조한다. 따라서, 다양한 시간들에서, 광원의 세기는 낮은 세기 값, 높은 세기 값, 또는 이들 사이의 일부 값이다. 다양한 구현예들에서, 하나 이상의 광원들(422)은, 복수의 광원들 중 제1 광원이 제1 세기 범위 내에서 변조되고, 복수의 광원들 중 제2 광원이 제1 세기 범위와는 상이한 제2 세기 범위 내에서 변조되도록 차등 변조된다.

다양한 구현예들에서, 하나 이상의 광원들(422)은 시선 방향에 따라 방출된 광의 세기를 변조한다. 예를 들어, 사용자가 동공에 의해 특정 광원이 반사될 방향(예를 들어, 도 5b의 상부 좌측 글린트)으로 응시하고 있으면, 하나 이상의 광원들(422)은 이러한 지식에 기초하여 방출된 광의 세기를 변화시킨다. 다양한 구현예들에서, 하나 이상의 광원들(422)은 방출된 광의 세기를 감소시켜, 안전 예방책으로서 동공에 입사하는 근적외선 광의 양을 감소시킨다.

다양한 구현예들에서, 하나 이상의 광원들(422)은 사용자 생체 측정들에 따라 방출된 광의 세기를 변조한다. 예를 들어, 사용자가 정상보다 더 많이 깜박이고 있거나, 상승된 심박수를 갖거나, 또는 아동으로서 등록되면, 하나 이상의 광원들(422)은 방출된 광의 세기(또는 복수의 광원들에 의해 방출된 모든 광의 총 세기)를 감소시켜 눈 상의 스트레스를 감소시킨다. 다른 예로서, 하나 이상의 광원들(422)은 사용자의 눈 색상에 기초하여 방출된 광의 세기를 변조하는데, 이는 스펙트럼 반사율이 갈색 눈들에 비해 청색 눈들에 대해 상이할 수 있기 때문이다.

다양한 구현예들에서, 하나 이상의 광원들(422)은 제시된 사용자 인터페이스(예를 들어, 디스플레이(410) 상에 디스플레이된 것)에 따라 방출된 광의 세기를 변조한다. 예를 들어, 디스플레이(410)가 비정상적으로 밝으면(예컨대, 폭발의 비디오가 디스플레이되고 있는 경우), 하나 이상의 광원들(422)은 디스플레이(410)로부터의 잠재적인 간섭을 보상하기 위해 방출된 광의 세기를 증가시킨다.

다양한 구현예들에서, 카메라(424)는 소정 프레임 레이트에서 특정 시점 또는 다수의 시점들에서, 사용자(10)의 눈의 이미지를 생성하는 프레임 카메라이다. 각각의 이미지는 카메라의 광 센서들의 매트릭스의 위치들에 대응하는 이미지의 픽셀들에 대응하는 픽셀 값들의 매트릭스를 포함한다.

다양한 구현예들에서, 카메라(424)는 특정 광 센서가 광의 세기에서의 변화를 검출하는 것에 응답하여 특정 광 센서의 특정 위치를 나타내는 이벤트 메시지를 생성하는, 복수의 각자의 위치들에 있는 복수의 광 센서들(예컨대, 광 센서들의 매트릭스)을 포함하는 이벤트 카메라이다.

도 7은 일부 구현예들에 따른 이벤트 카메라(700)의 기능 블록도를 예시한다. 이벤트 카메라(700)는 메시지 생성기(770)에 각각 결합된 복수의 광 센서들(760)을 포함한다. 다양한 구현예들에서, 행들 및 열들의 매트릭스 내에 배열된 복수의 광 센서들(760), 및 그에 따른 복수의 광 센서(760)들 각각은 행 값 및 열 값과 연관된다.

복수의 광 센서들(760)은 도 7에 상세히 예시된 광 센서(701)를 포함한다. 광 센서(701)는 소스 전압과 접지 전압 사이의 저항기(721)와 직렬로 포토다이오드(710)를 포함한다. 포토다이오드(710)에 걸친 전압은 광 센서(701)에 충돌하는 광의 세기에 비례한다. 광 센서(701)는 포토다이오드(710)와 평행한 제1 커패시터(731)를 포함한다. 따라서, 제1 커패시터(731)에 걸친 전압은 (예컨대, 광 센서(701)에 의해 검출된 광의 세기에 비례하는) 포토다이오드(710)에 걸친 전압과 동일하다.

광 센서(701)는 제1 커패시터(731)와 제2 커패시터(732)사이에 결합된 스위치(740)를 포함한다. 제2 커패시터(732)는 스위치와 접지 전압 사이에 결합된다. 따라서, 스위치(740)가 폐쇄될 때, 제2 커패시터(732)에 걸친 전압은 (예컨대, 광 센서(701)에 의해 검출된 광의 세기에 비례하는) 제1 커패시터(731)에 걸친 전압과 동일하다. 스위치(740)가 개방될 때, 제2 커패시터(732)에 걸친 전압은 스위치(740)가 마지막으로 폐쇄되었을 때 제2 커패시터(732)에 걸친 전압으로 고정된다.

제1 커패시터(731)에 걸친 전압 및 제2 커패시터(732)에 걸친 전압은 비교기(750)에 공급된다. 제1 커패시터(731)에 걸친 전압과 제2 커패시터(732)에 걸친 전압 사이의 차이가 임계량보다 작을 때, 비교기(750)는 '0' 전압을 출력한다. 제1 커패시터(731)에 걸친 전압이 적어도 임계량만큼 제2 커패시터(732)에 걸친 전압보다 높을 때, 비교기(750)는 '1' 전압을 출력한다. 제-1 커패시터(731)에 걸친 전압이 적어도 임계량만큼 제2 커패시터(732)에 걸친 전압보다 낮을 때, 비교기(750)는 '-1' 전압을 출력한다.

비교기(750)가 '1' 전압 또는 '-1' 전압을 출력할 때, 스위치(740)는 폐쇄되고, 메시지 생성기(770)는 이러한 디지털 신호를 수신하고 (아래에 추가로 기술되는 바와 같이) 이벤트 메시지를 생성한다.

일례로서, 제1 시간에, 광 센서(701)에 충돌하는 광의 세기는 제1 광 값이다. 따라서, 포토다이오드(710)에 걸친 전압은 제1 전압 값이다. 마찬가지로, 제1 커패시터(731)에 걸친 전압은 제1 전압 값이다. 이러한 예의 경우, 제2 커패시터(732)에 걸친 전압은 또한 제1 전압 값이다. 따라서, 비교기(750)는 '0' 전압을 출력하고, 스위치(740)는 폐쇄되어 유지되고, 메시지 생성기(770)는 아무것도 하지 않는다.

제2 시간에, 광 센서(701)에 충돌하는 광의 세기는 제2 광 값으로 증가한다. 따라서, 포토다이오드(710)에 걸친 전압은 제2 전압 값(제1 전압 값보다 높음)이다. 마찬가지로, 제1 커패시터(731)에 걸친 전압은 제2 전압 값이다. 스위치(740)가 개방되기 때문에, 제2 커패시터(732)에 걸친 전압은 여전히 제1 전압 값이다. 제2 전압 값이 적어도 제1 전압 값보다 큰 임계 값이라고 가정하면, 비교기(750)는 '1' 전압을 출력하여, 스위치(740)를 폐쇄하고, 메시지 생성기(770)는 수신된 디지털 신호에 기초하여 이벤트 메시지를 생성한다.

스위치(740)가 비교기(750)로부터의 '1' 전압에 의해 폐쇄되면, 제2 커패시터(732)에 걸친 전압은 제1 전압 값으로부터 제2 전압 값으로 변화된다. 따라서, 비교기(750)는 '0' 전압을 출력하여 스위치(740)를 개방한다.

제3 시간에, 광 센서(701)에 충돌하는 광의 세기는 제3 광 값으로 (다시) 증가한다. 따라서, 포토다이오드(710)에 걸친 전압은 제3 전압 값(제2 전압 값보다 높음)이다. 마찬가지로, 제1 커패시터(731)에 걸친 전압은 제3 전압 값이다. 스위치(740)가 개방되기 때문에, 제2 커패시터(732)에 걸친 전압은 여전히 제2 전압 값이다. 제3 전압 값이 적어도 제2 전압 값보다 큰 임계 값이라고 가정하면, 비교기(750)는 '1' 전압을 출력하여, 스위치(740)를 폐쇄하고, 메시지 생성기(770)는 수신된 디지털 신호에 기초하여 이벤트 메시지를 생성한다.

스위치(740)가 비교기(750)로부터의 '1' 전압에 의해 폐쇄되면, 제2 커패시터(732)에 걸친 전압은 제2 전압 값으로부터 제3 전압 값으로 변화된다. 따라서, 비교기(750)는 '0' 전압을 출력하여 스위치(740)를 개방한다.

제4 시간에, 광 센서(701)에 충돌하는 광의 세기는 제2 광 값으로 다시 감소한다. 따라서, 포토다이오드(710)에 걸친 전압은 제2 전압 값(제3 전압 값보다 낮음)이다. 마찬가지로, 제1 커패시터(731)에 걸친 전압은 제2 전압 값이다. 스위치(740)가 개방되기 때문에, 제2 커패시터(732)에 걸친 전압은 여전히 제3 전압 값이다. 따라서, 비교기(750)는 '-1' 전압을 출력하여, 스위치(740)를 폐쇄하고, 메시지 생성기(770)는 수신된 디지털 신호에 기초하여 이벤트 메시지를 생성한다.

스위치(740)가 비교기(750)로부터의 '-1' 전압에 의해 폐쇄되면, 제2 커패시터(732)에 걸친 전압은 제3 전압 값으로부터 제2 전압 값으로 변화된다. 따라서, 비교기(750)는 '0' 전압을 출력하여 스위치(740)를 개방한다.

메시지 생성기(770)는 다양한 시간들에, 광의 세기의 증가('1' 전압) 또는 광의 세기의 감소('-1' 전압)를 나타내는 복수의 광 센서들(760) 각각으로부터의 디지털 신호들을 수신한다. 복수의 광 센서들(760)의 특정 광 센서로부터 디지털 신호를 수신하는 것에 응답하여, 메시지 생성기(770)는 이벤트 메시지를 생성한다.

도 8은 일부 구현예들에 따른 이벤트 메시지(800)의 데이터 도면을 예시한다. 다양한 구현예들에서, 이벤트 메시지(800)는 위치 필드(802)에서 특정 광 센서의 특정 위치를 나타낸다. 다양한 구현예들에서, 이벤트 메시지는 (예컨대, 행 필드 내의) 행 값 및 (예컨대, 열 필드 내의) 열 값과 같은 픽셀 좌표를 갖는 특정 위치를 나타낸다. 다양한 구현예들에서, 이벤트 메시지는 극성 필드(803)에서, 광의 세기에서의 변화의 극성을 추가로 나타낸다. 예를 들어, 이벤트 메시지는 광의 세기에서의 증가를 나타내기 위한 극성 필드(803) 내의 '1' 및 광의 세기에서의 감소를 나타내기 위한 극성 필드(803) 내의 '0'을 포함할 수 있다. 다양한 구현예들에서, 이벤트 메시지는, 시간 필드(801)에서, 광에서의 세기에서의 변화가 검출된 시간(예컨대, 디지털 신호가 수신된 시간)을 추가로 나타낸다. 다양한 구현예들에서, 이벤트 메시지는, 절대 세기 필드(도시되지 않음)에서, 극성에 대한 대안으로서 또는 그에 추가로, 검출된 광의 세기를 나타내는 값을 나타낸다.

도 9a는 일부 구현예들에 따른 이벤트 카메라(910)를 포함하는 눈 추적 시스템(900)의 기능 블록도를 예시한다. 눈 추적 시스템(900)은 이벤트 카메라(910)로부터 수신된 이벤트 메시지들에 기초하여 사용자의 시선 방향을 출력한다.

이벤트 카메라(910)는 복수의 각자의 위치들에 있는 복수의 광 센서들을 포함한다. 특정 광 센서가 광의 세기에서의 변화를 검출하는 것에 응답하여, 이벤트 카메라(910)는 특정 광 센서의 특정 위치를 나타내는 이벤트 메시지를 생성한다. 도 8에 관하여 전술된 바와 같이, 다양한 구현예들에서, 특정 위치는 픽셀 좌표에 의해 표시된다. 다양한 구현예들에서, 이벤트 메시지는 광의 세기에서의 변화의 극성을 추가로 나타낸다. 다양한 구현예들에서, 이벤트 메시지는 광의 세기에서의 변화가 검출된 시간을 추가로 나타낸다. 다양한 구현예들에서, 이벤트 메시지는 검출된 광의 세기를 나타내는 값을 추가로 나타낸다.

이벤트 카메라(910)로부터의 이벤트 메시지들은 다이플렉서(920)에 의해 수신된다. 다이플렉서(920)는 이벤트 메시지를 (하나 이상의 광원들의 변조의 주파수를 중심으로 하는 주파수 대역과 연관된) 타겟 주파수 이벤트 메시지들 및 (다른 주파수들과 연관된) 오프-타겟 주파수 이벤트 메시지들로 분리하며, 타겟 주파수 이벤트 메시지들을 글린트 검출기(940)에 결합된 제1 특징부 생성기(930)에 공급하고 오프-타겟 주파수 이벤트 메시지들을 동공 검출기(960)에 결합된 제2 특징부 생성기(950)에 공급한다. 일부 구현예들에서, 제1 특징부 생성기(930) 및/또는 제2 특징부 생성기(950)는 없고, 타겟 주파수 이벤트 메시지들 및/또는 오프-타겟 주파수 이벤트 메시지들은 각각 글린트 검출기(940) 및/또는 동공 검출기(960)에 직접 공급된다.

다양한 구현들에서, 다이플렉서(920)는 시간 필드 내의 타임스탬프에 기초하여 이벤트 메시지가 타겟 주파수 이벤트 메시지(또는 오프-타겟 주파수 이벤트 메시지)인 것으로 결정하며, 이는 광의 세기에서의 변화가 검출된 시간을 나타낸다. 예를 들어, 다양한 구현예들에서, 다이플렉서(920)는 이벤트 메시지가 설정된 양의 시간 내의 특정 위치를 나타내는 설정된 범위 내의 이벤트 메시지들의 수를 포함하는 세트 중 하나인 경우 이벤트 메시지가 타겟 주파수 이벤트 메시지라고 결정한다. 그렇지 않으면, 다이플렉서(920)는 이벤트 메시지가 오프-타겟 주파수 이벤트 메시지라고 결정한다. 다양한 구현예들에서, 설정된 범위 및/또는 설정된 양의 시간은 사용자의 눈을 향해 방출되는 변조된 광의 변조 주파수에 비례한다. 다른 예로서, 다양한 구현예들에서, 다이플렉서(920)는, 유사한 또는 반대 극성을 갖는 연속적인 이벤트들 사이의 시간이 설정된 범위의 시간들 내에 있으면 이벤트 메시지가 타겟 주파수 이벤트 메시지라고 결정한다.

제2 특징부 생성기(950)는 오프-타겟 주파수 이벤트 메시지들을 수신하고, 오프-타겟 주파수 이벤트 메시지들에 기초하여 하나 이상의 오프-타겟 특징부들을 생성한다. 일 실시예에서, 오프-타겟 특징부는 대략적인 세기 이미지이다. 다양한 구현예들에서, 대략적인 세기 이미지는 광 센서들의 각자의 위치들에 대응하는 각자의 복수의 픽셀들에서 복수의 픽셀 값들을 갖는 이미지를 포함한다. 특정 위치 및 포지티브 극성을 나타내는 이벤트 메시지를 수신할 때 (광의 세기가 증가되었음을 나타냄), 양(예컨대, 1)이 특정 위치에 대응하는 픽셀에서의 픽셀 값에 추가된다. 유사하게, 특정 위치 및 네거티브 극성을 나타내는 이벤트 메시지를 수신할 때 (광의 세기가 감소되었음을 나타냄), 양은 특정 위치에 대응하는 픽셀에서의 픽셀 값으로부터 감산된다. 다양한 구현예들에서, 대략적인 세기 이미지가 필터링, 예컨대 블러링된다(blurred). 일 실시예에서, 오프-타겟 특징부는 광 센서들의 각자의 위치들에 대응하는 각자의 복수의 픽셀들에서 복수의 픽셀 값들을 갖는 포지티브 타임스탬프 이미지이고, 픽셀 값들은 대응하는 광 센서가 포지티브 극성을 갖는 마지막 이벤트를 트리거링할 때를 나타내는 타임스탬프이다. 일 실시예에서, 오프-타겟 특징부는 광 센서들의 각자의 위치들에 대응하는 각자의 복수의 픽셀들에서 복수의 픽셀 값들을 갖는 네거티브 타임스탬프 이미지이고, 픽셀 값들은 대응하는 광 센서가 네거티브 극성을 갖는 마지막 이벤트를 트리거링할 때를 나타내는 타임스탬프이다. 일 실시예에서, 오프-타겟 특징부는 광 센서들의 각자의 위치들에 대응하는 각자의 복수의 픽셀들에서 복수의 픽셀 값들을 갖는 주파수 이미지이며, 여기서 픽셀 값들은 대응하는 광 센서로부터 수신된 이벤트 메시지들의 주파수의 측정치이다. 다양한 구현예들에서, 오프-타겟 특징부는 오프-타겟 주파수 이벤트 메시지들에 기초한 다른 특징부들일 수 있다.

오프-타겟 특징부는 동공 검출기(960)에 의해 수신된다. 일 실시예에서, 오프-타겟 특징부는 대략적인 세기 이미지이고, 동공 검출기(960)는 대략적인 세기 이미지에서 낮은 세기 영역을 위치설정한다. 다양한 구현예들에서, 동공 검출기(960)는 임계치보다 작은 픽셀 값들을 갖는 (적어도 임계 크기의) 영역을 위치설정한다. 다양한 구현예들에서, 이러한 영역은 사용자의 눈의 동공에 대응한다. 다양한 구현예들에서, 동공 검출기(960)는 낮은 세기 영역에 타원을 피팅하고 타원에 관한 타원 데이터를 생성한다.

다양한 구현예들에서, 동공 검출기(960)는 초기 동공 검출에 추가로 동공 추적을 수행한다. 다양한 구현예들에서, 동공 검출기(960)는 오프-타겟 주파수 이벤트 메시지들 및/또는 오프-타겟 특징부에 기초하여 하나 이상의 고-콘트라스트 에지들을 위치설정하고 하나 이상의 고-콘트라스트 에지들 및 이전 타원에 기초하여 새로운 타원을 피팅한다.

다양한 구현예들에서, 동공 검출기(960)는 새로운 타원에 관한 데이터를 타원(ellipse)하고/하거나 이전의 타원이 기하학적 분석기(970)에 제공된다. 다양한 구현예들에서, 타원 데이터는 중심(동공의 동공 크기에 대응함), 단축 크기 및 장축 크기(동공의 크기에 대응함), 및 회전 각도 중 하나 이상을 포함한다.

제1 특징부 생성기(930)는 타겟 주파수 이벤트 메시지들을 수신하고, 타겟 주파수 이벤트 메시지들에 기초하여 타겟 특징부를 생성한다. 타겟 특징부는 오프-타겟 특징부와 동일하거나 상이한 특징부를 포함하는, 오프-타겟 특징부에 대해 전술된 특징부들 중 임의의 것일 수 있다. 글린트 검출기(940)는 제1 특징부 생성기(930)로부터 타겟 특징부를 수신한다. 다양한 구현예들에서, 글린트 검출기(940)는 사용자의 눈으로부터 반사된 하나 이상의 글린트들의 위치를 결정한다. 다양한 구현예들에서, 글린트 검출기(940)는 광의 세기에서의 감소를 나타내는(예컨대, 네거티브 극성을 나타내는) 이벤트 메시지들에 기초함이 없이 광의 세기에서의 증가를 나타내는(예컨대, 포지티브 극성을 나타내는) 이벤트 메시지들에 기초하여 위치들을 결정한다. 다양한 구현예들에서, 글린트 검출기(940)는 광의 세기에서의 증가를 나타내는(예컨대, 포지티브 극성을 나타내는) 이벤트 메시지들에 기초함이 없이 광의 세기에서의 감소를 나타내는(예컨대, 네거티브 극성을 나타내는) 이벤트 메시지들에 기초하여 위치들을 결정한다.

전술된 바와 같이, 다양한 구현예들에서, 글린트들은 차등 변조로 반사된다(예컨대, 그들은 상이하게 변조된다). 따라서, 다양한 구현예들에서, 글린트 검출기(940)는 그들의 위치에 추가로 하나 이상의 글린트들의 아이덴티티를 결정한다. 따라서, 다양한 구현예들에서, 글린트 검출기(940)는 하나 이상의 글린트들에 대해, 그 글린트를 생성한 각자의 광원에 대응하는 각자의 위치 및 각자의 식별자를 나타내는 글린트 검출 메시지들을 기하학적 분석기(970)에 출력한다. 다양한 구현예들에서, 광원들 및 이벤트 카메라는 동기화되고, 변화가 검출된 시간과 광원이 트리거링되었던 시간 사이의 상대적 시간이 결정되어 그러한 식별을 허용할 수 있다.

기하학적 분석기(970)는 글린트 검출기(940)로부터의 검출된 글린트들에 관한 데이터 및 동공 검출기(960)로부터의 사용자의 눈의 동공에 관한 데이터를 수신한다. 이러한 수신된 정보에 기초하여, 기하학적 분석기(970)는 사용자의 시선 방향 및/또는 깜박임 상태와 같은 사용자의 눈 추적 특성을 결정한다.

다양한 구현예들에서, 특히 강건한 시선 추정을 위해, 기하학적 분석기(970)는 각막으로부터 반사되는 글린트들을 공막으로부터 반사되는 글린트들로부터 구별하고, 시선 방향을 추정하기 위해 각막으로부터 반사되는 글린트들만을 사용한다. 따라서, 다양한 구현예들에서, 기하학적 분석기(970)는, 예컨대 RANSAC(random sample consensus), 강건한 가중화 등과 같은 강건한 추정 기술들을 적용함으로써 이러한 구별을 수행하기 위한 측정들을 구현한다.

도 9b는 일부 구현예들에 따른 기계 학습 리그레서(980)를 포함하는 눈 추적 시스템(902)의 기능 블록도를 예시한다. 눈 추적 시스템(902)은 도 9a의 눈 추적 시스템(900)과 실질적으로 유사하지만, 글린트 검출기(940), 동공 검출기(960) 및 기하학적 분석기(970)는 타겟 특징부 및 오프-타겟 특징부에 기초하여 눈 추적 특성을 결정하는 기계 학습 리그레서(980)로 대체된다. 일부 구현예들에서, 제1 특징부 생성기(930) 및/또는 제2 특징부 생성기(950)는 없고, 타겟 주파수 이벤트 메시지들 및/또는 오프-타겟 주파수 이벤트 메시지들은 각각 기계 학습 리그레서(980)에 직접 공급된다.

다양한 구현예들에서, 기계 학습 리그레서(980)는 선형 리그레서, 랜덤 포레스트 리그레서, 적응적 부스팅 리그레서, 또는 신경망(예컨대, 콘볼루셔널 뉴럴 네트워크, 순환 신경망, 또는 장기/단기 메모리 네트워크)를 포함한다.

도 9c는 일부 구현예들에 따른 시선 추정기(990)를 포함하는 눈 추적 시스템(904)의 기능 블록도를 예시한다. 눈 추적 시스템(904)은 전술된 바와 같은 이벤트 카메라(910)를 포함한다. 이벤트 메시지들은 이벤트 메시지가 타겟 주파수 이벤트 메시지일 확률을 각각의 이벤트 메시지에 태그하는 확률 태거(925)에 공급된다. 확률 태그된 이벤트 메시지들은 오프-타겟 특징부에 대해 전술된 바와 같은 하나 이상의 특징부들을 생성하는 특징부 생성기(935) 내로 공급된다. 하나 이상의 특징부들은 하나 이상의 특징부들에 기초하여 눈 추적 특성(예컨대, 시선 방향)을 결정하는 시선 추정기(990) 내로 공급된다.

도 10은 일부 구현예들에 따른 세기-변조된 광원들을 사용하여 눈 추적 특성을 결정하는 방법(1000)의 흐름도 표현이다. 일부 구현예들에서(그리고 예로서 아래에서 상세히 설명되는 바와 같이), 방법(1000)은 머리-장착형 전자 디바이스, 예컨대 도 4의 머리 장착형 전자 디바이스(400)에 의해 수행된다. 다양한 구현예들에서, 방법(1000)은 하나 이상의 프로세서들, 비일시적 메모리, 및 하나 이상의 AR/VR 디스플레이들(예컨대, 도 3의 HMD(120))을 갖는 디바이스에 의해 수행된다. 일부 구현예들에서, 방법(1000)은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합을 포함하는 프로세싱 로직에 의해 수행된다. 일부 구현예들에서, 방법(1000)은 비일시적 컴퓨터-판독가능 매체(예를 들어, 메모리)에 저장된 프로세서 실행 코드에 의해 수행된다.

방법(1000)은, 블록(1010)에서, HMD가 복수의 광원들로부터 사용자의 눈을 향해 변조된 세기를 갖는 광을 방출하는 것으로 시작한다. 다양한 구현예들에서, 복수의 광원들 중 제1 광원은 제1 주파수에서 제1 위상 오프셋으로 변조되고, 복수의 광원들 중 제2 광원은 제1 주파수에서 제1 위상 오프셋과는 상이한 제2 위상 오프셋으로 변조된다. 다양한 구현예들에서, 복수의 광원들 중 제1 광원은 제1 주파수에서 변조되고, 복수의 광원들 중 제2 광원은 제1 주파수와는 상이한 제2 주파수에서 변조된다. 다양한 구현예들에서, 복수의 광원들 중 제1 광원은 제1 직교 코드에 따라 변조되고, 복수의 광원들 중 제2 광원은 제2 직교 코드에 따라 변조된다.

다양한 구현예들에서, 복수의 광원들 중 제1 광원은 제1 세기 범위 내에서 변조되고, 복수의 광원들 중 제2 광원은 제1 세기 범위와는 상이한 제2 세기 범위 내에서 변조된다. 다양한 구현예들에서, 복수의 광원들 중 각각의 광원은 높은 세기 값과 낮은 세기 값 사이에서 변조된다. 다양한 구현예들에서, 높은 세기 값은 온 상태이고, 낮은 세기 값은 오프 상태이다. 다양한 구현예들에서, 온 상태에 있는 복수의 광원들 중 광원들의 수는 일정하다. 다양한 구현예들에서, 세기는 이전에 결정된 눈 추적 특성, 사용자 생체 측정들, 또는 제시된 사용자 인터페이스 중 적어도 하나에 따라 변조된다.

다양한 구현예들에서, 복수의 광원들은 근적외선 파장 범위 내의 광을 방출한다.

방법(1000)은 블록(1020)에서, HMD가 복수의 글린트의 형태로 사용자의 상기 눈에 의해 반사되는 방출된 광의 세기를 나타내는 광 세기 데이터를 수신하는 것으로 계속된다. 다양한 구현예들에서, 광 세기 데이터는 사용자의 눈의 복수의 이미지들을 포함한다. 다양한 구현예들에서, 광 세기 데이터는 복수의 이벤트 메시지들을 포함한다.

방법(1000)은, 블록(1030)에서, HMD가 광 세기 데이터에 기초하여 사용자의 눈 추적 특성을 결정하는 것으로 계속된다. 다양한 구현예들에서, 눈 추적 특성은 시선 방향 및/또는 깜박임 상태를 포함한다. 다양한 구현예들에서, HMD는 변조의 주파수 범위에 따라 광 세기 데이터를 필터링하고, 필터링된 광 세기 데이터에 기초하여 사용자의 눈 추적 특성을 결정한다. 다양한 구현예에서, HMD는 광 세기 데이터에서의 변조에 기초하여 각자의 광원들을 식별하고, 각자의 광원의 식별에 기초하여 사용자의 눈 추적 특성을 결정한다.

도 11은 일부 구현예들에 따른 이벤트 카메라를 사용하여 눈 추적 특성을 결정하는 방법(1100)의 흐름도 표현이다. 일부 구현예들에서(그리고 예로서 아래에서 상세히 설명되는 바와 같이), 방법(1100)은 머리-장착형 전자 디바이스, 예컨대 도 4의 머리 장착형 전자 디바이스(400)에 의해 수행된다. 다양한 구현예들에서, 방법(1100)은 하나 이상의 프로세서들, 비일시적 메모리, 및 하나 이상의 AR/VR 디스플레이들(예컨대, 도 3의 HMD(120))을 갖는 디바이스에 의해 수행된다. 일부 구현예들에서, 방법(1100)은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합을 포함하는 프로세싱 로직에 의해 수행된다. 일부 구현예들에서, 방법(1100)은 비일시적 컴퓨터-판독가능 매체(예를 들어, 메모리)에 저장된 프로세서 실행 코드에 의해 수행된다.

방법(1100)은, 블록(1110)에서, HMD가 복수의 각자의 위치들에서 복수의 광 센서들을 포함하는 이벤트 카메라를 사용하여 복수의 이벤트 메시지들을 생성하는 것으로 시작한다. 다양한 구현예들에서, 복수의 이벤트 메시지들 각각은 특정 광 센서가 광의 세기에서의 변화를 검출하는 것에 응답하여 생성되고, 복수의 이벤트 메시지들 각각은 특정 광 센서의 특정 위치를 나타낸다.

다양한 구현예들에서, 특정 위치는 픽셀 좌표에 의해 표시된다. 다양한 구현예들에서, 복수의 이벤트 메시지들 각각은 광의 세기에서의 변화의 극성을 추가로 나타낸다. 다양한 구현예들에서, 복수의 이벤트 메시지들 각각은 광의 세기에서의 변화가 검출된 시간을 추가로 나타낸다.

방법(1100)은 블록(1120)에서, HMD가 복수의 이벤트 메시지들에 기초하여 사용자의 눈 추적 특성을 결정하는 것으로 계속된다. 다양한 구현예들에서, 눈 추적 특성은 시선 방향 및/또는 깜박임 상태를 포함한다.

다양한 구현예들에서, HMD는 사용자의 눈의 동공을 검출함으로써 눈 추적 특성을 결정한다. 예를 들어, 다양한 구현예들에서, HMD는 이벤트 카메라로부터의 이벤트 메시지들에 기초하여 사용자의 눈의 대략적인 세기 이미지를 생성하고, 사용자의 눈의 대략적인 세기 이미지에서 낮은 세기 영역을 위치설정하고, 낮은 세기 영역에 타원을 피팅한다.

다양한 구현예들에서, HMD는 사용자의 눈의 동공을 추적함으로써 눈 추적 특성을 결정한다. 예를 들어, 다양한 구현예들에서, HMD는 이벤트 카메라로부터의 이벤트 메시지들에 기초하여 하나 이상의 고-콘트라스트 에지들을 위치설정하고, 하나 이상의 고-콘트라스트 에지들 및 이전 타원에 기초하여 새로운 타원을 피팅한다.

다양한 구현예들에서, HMD는 (예컨대, 도 10의 방법(1000)에서 수행되는 바와 같이) 사용자의 눈으로부터 반사된 하나 이상의 글린트들을 검출함으로써 눈 추적 특성을 결정한다. 다양한 구현예들에서, HMD는 광의 세기에서의 감소를 나타내는 이벤트 메시지들에 기초함이 없이 광의 세기에서의 증가를 나타내는 이벤트 메시지들에 기초하여 하나 이상의 글린트들을 검출한다. 다양한 구현예들에서, HMD는 광의 세기에서의 증가를 나타내는 이벤트 메시지들에 기초함이 없이 광의 세기에서의 감소를 나타내는 이벤트 메시지들에 기초하여 하나 이상의 글린트들을 검출한다.

첨부된 청구범위의 범주 내의 구현예들의 다양한 양태들이 전술되지만, 전술된 구현들의 다양한 특징들이 매우 다양한 형태들로 구현될 수 있고 전술된 임의의 특정 구조 및/또는 기능이 단지 예시적이라는 것이 명백할 것이다. 본 개시내용에 기초하여, 당업자는 본 명세서에 기술된 양태가 임의의 다른 양태들과 독립적으로 구현될 수 있고 이들 양태들 중 둘 이상이 다양한 방식으로 조합될 수 있음을 이해해야 한다. 예를 들어, 본 명세서에 기재된 임의의 수의 양태들을 사용하여 장치가 구현될 수 있고/있거나 방법이 실시될 수 있다. 또한, 본 명세서에 기술된 양태들 중 하나 이상에 추가로 또는 그 이외의 다른 구조물 및/또는 기능을 사용하여 그러한 장치가 구현될 수 있고/있거나 그러한 방법이 실시될 수 있다.

용어들 "제1", "제2" 등이 다양한 요소들을 설명하기 위해 본 명세서에서 사용될 수 있지만, 이들 요소들은 이들 용어들에 의해 제한되어서는 안 된다는 것이 또한 이해될 것이다. 이러한 용어들은 하나의 요소를 다른 요소와 구별하는 데에만 사용된다. 예를 들어, 모든 "제1 노드"의 발생이 일관되게 재명명되고 모든 "제2 노드"의 발생이 일관되게 재명명되기만 한다면, 제1 노드는 제2 노드로 지칭될 수 있고, 유사하게, 제2 노드는 제1 노드로 지칭될 수 있으며, 이는 설명의 의미를 변경한다. 제1 노드 및 제2 노드는 둘 모두 노드들이지만, 그것들은 동일한 노드가 아니다.

본 명세서에서 사용되는 용어는 단지 특정 실시예들만을 설명하는 목적을 위한 것이고, 청구범위를 제한하도록 의도되지 않는다. 본 실시예들의 설명 및 첨부된 청구범위에 사용되는 바와 같이, 단수의 형태들("a", "an" 및 "the")은 문맥상 명백히 다르게 나타나지 않는다면 복수의 형태들도 또한 포함하는 것으로 의도된다. 또한, 본 명세서에서 사용되는 바와 같은 용어 "및/또는"은 열거되는 연관된 항목들 중 하나 이상의 항목의 임의의 그리고 모든 가능한 조합들을 나타내고 그들을 포괄하는 것임이 이해될 것이다. 본 명세서에서 사용될 때 "포함한다(include)", 및/또는 포함하는(comprising)"이라는 용어들은 진술되는 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않는다는 것이 추가로 이해될 것이다.

본 명세서에서 사용되는 바와 같이, 상황에 따라 진술된 선행 조건이 사실"인 경우(if)"라는 용어는 그가 사실"일 때(when)", 그가 사실"일 시(upon)" 또는 그가 사실"이라는 판정에 응답하여(in response to determining)" 또는 그가 사실"이라는 판정에 따라(in accordance with a determination)" 또는 그가 사실"임을 검출하는 것에 응답하여(in response to detecting)"를 의미하는 것으로 해석될 수 있다. 유사하게, "[진술된 상태 선례가 사실]로 판정되는 경우" 또는 "[진술된 상태 선례가 사실]인 경우" 또는 "[진술된 상태 선례가 사실]일 때"라는 구는 진술된 상태 선례가 상황에 따라 사실"인 것으로 판정할 시(upon determining)" 또는 그가 사실"인 것으로 판정하는 것에 응답하여(in response to determining)" 또는 그가 사실"이라는 판정에 따라(in accordance with a determination)" 또는 그가 사실"이라는 것을 검출할 시(upon detecting)" 또는 그가 사실"이라는 것을 검출하는 것에 응답하여(in response to detecting)"를 의미하는 것으로 이해될 수 있다.

Claims

전자 시스템에 의해 구현되는 방법으로서,
복수의 광원들로부터 사용자의 눈을 향해 변조 세기를 갖는 광을 방출하는 단계;
복수의 글린트(glint)의 형태로 상기 사용자의 상기 눈에 의해 반사되는 상기 방출된 광의 세기를 나타내는 광 세기 데이터를 수신하는 단계;
상기 세기의 변조의 주파수 범위에 따라 상기 광 세기 데이터를 필터링하는 단계 - 상기 광 세기 데이터를 필터링하는 단계는:
상기 세기의 변조의 상기 주파수 범위 내인 타겟 주파수 광 세기 데이터를 생성하는 단계; 및
상기 세기의 변조의 상기 주파수 범위 밖인 오프-타겟 주파수 광 세기 데이터를 생성하는 단계를 포함함 -; 및
상기 타겟 주파수 광 세기 데이터 및 상기 오프-타겟 주파수 광 세기 데이터에 기초하여 상기 사용자의 눈 추적 특성을 결정하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 복수의 광원들 중 제1 광원은 상기 주파수 범위 내의 제1 주파수에서 제1 위상 오프셋으로 변조되고, 상기 복수의 광원들 중 제2 광원은 상기 주파수 범위 내의 상기 제1 주파수에서 상기 제1 위상 오프셋과는 상이한 제2 위상 오프셋으로 변조되는, 방법.
제1항에 있어서, 상기 복수의 광원들 중 제1 광원은 상기 주파수 범위 내의 제1 주파수에서 변조되고, 상기 복수의 광원들 중 제2 광원은 상기 제1 주파수와는 상이한 상기 주파수 범위 내의 제2 주파수에서 변조되는, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 복수의 광원들 중 각각의 광원은 높은 세기 값과 낮은 세기 값 사이에서 변조되는, 방법.
제4항에 있어서, 상기 높은 세기 값은 온 상태이고, 상기 낮은 세기 값은 오프 상태인, 방법.
제5항에 있어서, 상기 온 상태에 있는 상기 복수의 광원들 중 광원들의 수는 일정한, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 세기는 이전에 결정된 눈 추적 특성, 사용자 생체 측정들, 또는 제시된 사용자 인터페이스 중 적어도 하나에 따라 변조되는, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 복수의 광원들은 근적외선 파장 범위 내의 광을 방출하는, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 광 세기 데이터는 상기 사용자의 눈의 복수의 이미지들을 포함하는, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 광 세기 데이터는 복수의 이벤트 메시지들을 포함하는, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 광 세기 데이터에서의 변조에 기초하여 각자의 광원들을 식별하는 단계를 추가로 포함하고, 상기 사용자의 상기 눈 추적 특성을 결정하는 단계는 상기 각자의 광원들의 상기 식별에 기초하는, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 눈 추적 특성을 결정하는 단계는 상기 타겟 주파수 광 세기 데이터에 기초하여 상기 복수의 글린트들 중 하나 이상의 글린트의 위치를 결정하는 단계를 포함하는, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 눈 추적 특성을 결정하는 단계는 상기 오프-타겟 주파수 광 세기 데이터에 기초하여 상기 사용자의 동공의 위치를 결정하는 단계를 포함하는, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 눈 추적 특성은 시선 방향 및/또는 깜박임 상태를 포함하는, 방법.
시스템으로서,
사용자의 눈을 향한 변조 세기를 갖는 광을 방출하기 위한 복수의 광원들;
복수의 글린트의 형태로 상기 사용자의 상기 눈에 의해 반사되는 상기 방출된 광의 세기를 나타내는 광 세기 데이터를 생성하기 위한 카메라; 및
상기 세기의 변조의 주파수 범위 내인 타겟 주파수 광 세기 데이터 및 상기 세기의 변조의 상기 주파수 범위 밖인 오프-타겟 주파수 광 세기 데이터를 생성하기 위해 상기 세기의 변조의 상기 주파수 범위에 따라 상기 광 세기 데이터를 필터링하고, 추가로 상기 타겟 주파수 광 세기 데이터 및 상기 오프-타겟 주파수 광 세기 데이터에 기초하여 상기 사용자의 눈 추적 특성을 결정하는 프로세서를 포함하는, 시스템.
제15항에 있어서, 상기 복수의 광원들 중 제1 광원은 상기 주파수 범위 내의 제1 주파수에서 제1 위상 오프셋으로 변조되고, 상기 복수의 광원들 중 제2 광원은 상기 주파수 범위 내의 상기 제1 주파수에서 상기 제1 위상 오프셋과는 상이한 제2 위상 오프셋으로 변조되는, 시스템.
제15항에 있어서, 상기 복수의 광원들 중 제1 광원은 상기 주파수 범위 내의 제1 주파수에서 변조되고, 상기 복수의 광원들 중 제2 광원은 상기 제1 주파수와는 상이한 상기 주파수 범위 내의 제2 주파수에서 변조되는, 시스템.
제15항 내지 제17항 중 어느 한 항에 있어서, 상기 프로세서는 상기 타겟 주파수 광 세기 데이터에 기초하여 상기 복수의 글린트들 중 하나 이상의 글린트의 위치를 결정함으로써 상기 눈 추적 특성을 결정하는, 시스템.
제15항 내지 제17항 중 어느 한 항에 있어서, 상기 프로세서는 오프-타겟 주파수 광 세기 데이터에 기초하여 상기 사용자의 동공의 위치를 결정함으로써 상기 눈 추적 특성을 결정하는, 시스템.
내부에 명령어들이 인코딩되어 있는 비일시적 컴퓨터 판독가능 매체로서, 상기 명령어들은 프로세서에 의해 실행될 때 상기 프로세서로 하여금,
복수의 광원들로부터 사용자의 눈을 향해 변조 세기를 갖는 광을 방출하는 단계;
복수의 글린트의 형태로 상기 사용자의 상기 눈에 의해 반사되는 상기 방출된 광의 세기를 나타내는 광 세기 데이터를 수신하는 단계;
상기 세기의 변조의 주파수 범위에 따라 상기 광 세기 데이터를 필터링하는 단계 - 상기 광 세기 데이터를 필터링하는 단계는:
상기 세기의 변조의 상기 주파수 범위 내인 타겟 주파수 광 세기 데이터를 생성하는 단계; 및
상기 세기의 변조의 상기 주파수 범위 밖인 오프-타겟 주파수 광 세기 데이터를 생성하는 단계를 포함함 -; 및
상기 타겟 주파수 광 세기 데이터 및 상기 오프-타겟 주파수 광세기 데이터에 기초하여 상기 사용자의 눈 추적 특성을 결정하는 단계를 포함하는 동작들을 수행하게 하는, 비일시적 컴퓨터 판독가능 매체.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제