KR102062658B1 - 안구 모델을 생성하기 위한 각막의 구체 추적 - Google Patents

안구 모델을 생성하기 위한 각막의 구체 추적 Download PDF

Info

Publication number
KR102062658B1
KR102062658B1 KR1020187026401A KR20187026401A KR102062658B1 KR 102062658 B1 KR102062658 B1 KR 102062658B1 KR 1020187026401 A KR1020187026401 A KR 1020187026401A KR 20187026401 A KR20187026401 A KR 20187026401A KR 102062658 B1 KR102062658 B1 KR 102062658B1
Authority
KR
South Korea
Prior art keywords
eye
user
model
sphere
hmd
Prior art date
Application number
KR1020187026401A
Other languages
English (en)
Other versions
KR20180115285A (ko
Inventor
웨렌 앤드류 헌트
로버트 대일 캐빈
Original Assignee
페이스북 테크놀로지스, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북 테크놀로지스, 엘엘씨 filed Critical 페이스북 테크놀로지스, 엘엘씨
Publication of KR20180115285A publication Critical patent/KR20180115285A/ko
Application granted granted Critical
Publication of KR102062658B1 publication Critical patent/KR102062658B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

헤드 마운트 디스플레이(HMD)는 광을 사용하여 안구 추적을 가능하게 하도록 구성된 안구 추적 시스템을 포함한다. 안구 추적 시스템은 서로에 대해 위치하는 2 이상의 조명 소스 및 각각의 안구에 대한 광학 검출기를 포함한다. 광학 검출기는 안구로부터의 반사를 사용하여 조명 소스의 이미지를 캡처하도록 구성된다. 시스템은 사용자가 HMD에서 다양한 물체를 열람할 때 데이터를 수집한다. 시스템은 3차원 공간에서 동공 형태, 중심와 오프셋 및 각막 반경 중 하나 이상을 결정하여 안구의 형태를 결정한다. 안구의 형태는 사용자의 안구의 3차원 위치뿐 아니라 응시 방향을 결정하는데 사용된다.

Description

안구 모델을 생성하기 위한 각막의 구체 추적
본 명세서는 일반적으로 안구 추적에 관한 것으로, 특히 안구 모델을 생성하기 위한 각막의 구체 추적에 관한 것이다.
안구 추적은 가상현실(VR) 응용에 사용되는 시스템을 포함하는 헤드 마운트 디스플레이(head-mounted display, HMD)에서 중요한 기능이다. 종래의 추적 시스템은 인간의 눈의 특징을 추적하며, 통상적으로 광학 경로의 품질에 의해 제한된다.　이러한 종래 시스템은 HMD 시스템에서 안구 추적에 필요한 충분한 정확도를 제공하지 못한다.
안구 모델을 생성하고 교정하기 위한 안구 추적 시스템이 개시된다. 안구 추적 시스템은 VR 시스템 환경 또는 증강 현실(AR) 시스템과 같은 다른 시스템 환경에서 사용될 수 있다.　안구 추적 시스템은 각각의 안구를 모델링하기 위한 적어도 2개의 조명 소스 및 광학 센서를 포함한다.　광학 센서 및 적어도 2개의 조명 소스는, 광학 센서가 안구의 각막으로부터의 반사(이하, "각막 반사(corneal reflections)"이라 함)를 이용하여 조명 소스의 이미지를 캡처할 수 있도록, 서로에 대해 위치가 결정된다. 시스템은 사용자가 눈을 움직일 때(예컨대, 안구 모델을 생성하는 교정 프로세스 중에 및/또는 정상 사용 중에) 데이터를 수집한다.　시스템은 수집된 데이터에 기초하여 각각의 눈에 대한 각막 구체의 반경 및 원점을 결정하여 안구를 모델링하는데, 이때 각각의 눈은 2개의 구체로 근사화되며, 하나의 구체는 전체 안구를 근사화하고(예컨대, 공막 표면의 일부), 다른 구체(즉, 각막 구체)의 일부는 각막의 일부를 근사화한다. 시스템은 안구 모델을 사용하여 가령 사용자의 시선 방향, 이향운동각/심도(vergence angle/depth) 및 조절 심도(accommodation depth)를 결정하는 것과 같은 다양한 광학 동작을 수행한다.
교정 프로세스는 다른 단계들 중에서 동공 축을 결정하는 단계 및/또는 동공 축과 각각의 눈에 대한 실제 가시선 사이의 각도 오프셋을 결정하는 단계를 포함한다. 안구 추적 시스템은 각각의 안구에 대한 각막 구체의 반경 및 원점의 정보를 포함하는 안구에 대한 안구 모델을 획득(예컨대, 그 자체를 생성하거나 안구 추적 시스템 외부로부터 수신)하는데, 이때 각각의 안구는 2개의 구체로 근사화되며, 하나의 구체는 안구의 공막 표면의 일부를 근사화하고, 다른 구체(즉, 각막 구체)의 일부는 각막의 일부를 근사화한다. 교정 프로세스는 사용자가 하나 이상의 공지된 타겟(예를 들어, VR 헤드셋의 전자식 디스플레이상의 특정 지점)을 보고 있거나 정상 동작 모드에서 HMD상에 디스플레이된 컨텐츠를 열람하는 동안 사용자의 동공의 이미지를 캡처하는 것을 포함한다. 일실시예에서, 사용자가 전자식 디스플레이상의 하나의 특정 타겟을 바라보아야만 하는 1지점 교정이 수행된다.
안구 추적 시스템은 사용자의 눈의 각각의 캡처된 이미지에서 동공의 형태를 식별한 후, 획득된 안구 모델 정보와 함께 동공의 식별된 형태를 사용하여 동공이 위치한 3차원(3D) 평면을 결정한다. 이후, 3D 평면에서 비롯하고 각막 구체의 각막 표면에 수직인 광을 식별하는 관찰 가능한 축이 도출된다. 이 축은 본 명세서에서 안구의 동공 축으로 정의된다.　또한, 시스템은 (즉, 중심와(fovea)의 위치로 표현되는) 동공 축과 눈의 실제 가시선 사이의 각도 오프셋을 결정할 수 있다. 시스템은 사용자의 안구의 비틀림 상태를 더 결정하거나 결정된 동공 축 및/또는 각도 오프셋과 함께 사용자의 홍채를 추적하여 사용자 식별을 더 결정할 수 있다. 일부 실시예에서, 동공 축 및/또는 동공 축과 사용자의 실제 가시선 사이의 각도 오프셋을 결정하기 위한 교정 프로세스는 사용자의 안구의 단일 이미지에 기초하고 오직 한번 수행된다. 예를 들어, 사용자가 VR 헤드셋을 착용하는 바로 그 첫번째 순간에 교정 프로세스가 수행되며, VR 헤드셋은 동일한 사용자에 의한 장래 사용을 위해 사용자에 대응하는 교정 데이터를 메모리에 저장한다.
본 발명에 따른 실시예들은 특히 헤드 마운트 디스플레이에 관한 첨부된 청구항들에 개시된다. 첨부된 청구항들의 인용 또는 재참조는 단지 형식상의 이유로 선택된다. 그러나, 임의의 이전의 청구항들에 대한 의도적인 재참조(특히, 다수의 종속항들)로 생성되는 임의의 발명의 내용도 또한 청구될 수 있어서, 청구항들의 임의의 조합 및 이들의 특징이 개시되며 첨부된 청구항들에서 선택된 종속항들과 관계 없이 청구될 수 있다. 청구될 수 있는 발명의 내용은 첨부된 청구항들에서 제시되는 특징들의 조합뿐 아니라 청구항들의 임의의 다른 특징들의 조합을 포함하는데, 청구항들에 언급된 각각의 특징은 청구항들 내 임의의 다른 특징 또는 다른 특징들의 조합과 결합될 수 있다. 게다가, 본 명세서에 기술되거나 도시된 임의의 실시예들 및 특징들은 별도의 청구항으로 및/또는 본 명세서에 기술되거나 도시된 임의의 실시예 또는 특징이나 첨부된 청구항들의 임의의 특징과의 임의의 조합으로 청구될 수 있다.
일실시예로, 안구 추적 시스템을 포함하는 헤드 마운트 디스플레이가 제공된다. 안구 추적 시스템은 사용자의 안구를 조명하도록 구성된 2 이상의 조명 소스, 사용자의 안구와 관련된 각막으로부터 반사된 광을 이미지로서 캡처하도록 구성된 검출기 및 제어 모듈을 포함할 수 있다.
제어 모듈은 2 이상의 조명 소스로부터의 광으로 사용자의 안구를 조명하고, 검출기에서 사용자의 안구의 하나 이상의 이미지를 캡처하며, 사용자의 안구의 하나 이상의 캡처된 이미지에 기초하여 안구의 모델을 생성하고, 생성된 안구의 모델에 일부 기초하여 광학 동작을 수행하도록 구성될 수 있다.
헤드 마운트 디스플레이의 실시예들에서, 2 이상의 조명 소스 각각은 서로 다른 파장의 광을 방출하도록 구성될 수 있다.
헤드 마운트 디스플레이의 실시예들에서, 2 이상의 조명 소스 각각에 의해 방출된 광은 서로 다른 주파수 및/또는 서로 다른 진폭으로 변조될 수 있다.
헤드 마운트 디스플레이의 실시예들에서, 2 이상의 조명 소스는 링 패턴을 형성할 수 있다.
헤드 마운트 디스플레이의 실시예들에서, 검출기는 사용자의 안구의 복수의 이미지를 캡처하도록 형성 및/또는 동작하는 광학 센서일 수 있다.
헤드 마운트 디스플레이의 실시예들에서, 생성된 모델은 안구의 공막 표면의 일부를 근사화하는 제1 구체 및 각막을 근사화하는 제2 구체를 포함할 수 있다.
헤드 마운트 디스플레이의 실시예들에서, 안구의 모델을 생성하는 것은: 하나 이상의 각막 영상을 포함하는 사용자의 안구의 하나 이상의 캡처된 이미지를 수신하고; 안구의 모델을 생성하며; 헤드 마운트 디스플레이와 관련된 데이터베이스에 생성된 모델을 저장하는 것을 포함할 수 있으며, 생성된 안구의 모델은 제1 구체에 관한 반경과 원점 및 제2 구체에 관한 반경과 원점을 포함한다.
헤드 마운트 디스플레이의 실시예들에서, 제어 모듈은 제1 구체의 원점에 대한 회전으로서 각막 운동을 모델링하도록 더 구성될 수 있다.
헤드 마운트 디스플레이의 실시예들에서, 안구의 모델을 생성하는 것은: 기준 안구의 하나 이상의 움직임과 기준 안구에 관한 각막 영상 사이의 관계를 포함하는 기준 안구의 학습 모델을 검색하고; 각막 영상을 포함하는 사용자의 안구의 하나 이상의 이미지를 캡처하며; 기준 안구의 하나 이상의 각막 영상과 캡처된 이미지에 관한 각막 영상 사이의 비교에 기초하여 안구 모델과 관련된 하나 이상의 파라미터 값을 추정하는 것을 포함할 수 있다.
헤드 마운트 디스플레이의 실시예들에서, 헤드 마운트 디스플레이는 사용자에게 이미지를 디스플레이하도록 구성된 전자식 디스플레이; 전자식 디스플레이로부터 광학 블록에 의해 수신된 광을 확대하도록 구성된 광학 블록; 및/또는 안구 추적 시스템을 포함할 수 있다. 안구 추적 시스템은 사용자의 안구의 표면을 조명하도록 구성된 2 이상의 조명 소스, 각막으로부터 반사된 광을 이미지로서 캡처하도록 구성된 검출기 및 제어 모듈을 포함할 수 있다. 제어 모듈은 사용자가 헤드 마운트 디스플레이의 공지된 위치를 보고 있는 동안 2 이상의 조명 소스로부터의 광으로 사용자의 안구를 조명하고, 검출기에서 사용자의 안구의 하나 이상의 이미지를 캡처하며, 사용자의 안구의 캡처된 하나 이상의 이미지에 기초하여 1회 1지점(one-time single point) 교정을 수행하고, 광학 동작을 수행하도록 구성될 수 있다.
헤드 마운트 디스플레이의 실시예들에서, 2 이상의 조명 소스는, 검출기가 각막으로부터 반사된 광에 기초하여 2 이상의 조명 소스의 하나 이상의 이미지를 캡처할 수 있도록, 서로에 대해 위치-결정될 수 있다.
헤드 마운트 디스플레이의 실시예들에서, 2 이상의 조명 소스는 전자식 디스플레이의 일부일 수 있다.
헤드 마운트 디스플레이의 실시예들에서, 1회 1지점 교정을 수행하는 것은: 안구의 각막 구체의 반경 및 각막 구체의 중심의 위치를 포함하는, 사용자의 안구에 대응하는 안구 모델 정보에 액세스하고; 사용자가 전자식 디스플레이의 공지된 위치를 보고 있는 동안 사용자의 안구의 동공의 이미지를 카메라에서 캡처하며; 수신된 이미지를 처리하여 동공의 형태를 결정하고; 수신된 안구 모델 정보 및 결정된 동공 형태에 기초하여 안구의 동공을 포함하는 평면을 식별하며; 상기 평면에서 비롯되고 각막 구체의 표면에 수직인 광선을 식별하여 동공에 대한 동공 축을 결정하는 것을 포함할 수 있다.
헤드 마운트 디스플레이의 실시예들에서, 동공의 형태를 결정하는 것은 검출기에 의해 캡처된 하나 이상의 이미지에서 사용자의 안구에 대한 반사 강도(reflected intensity)의 변화를 결정하는 것을 포함할 수 있다.
헤드 마운트 디스플레이의 실시예들에서, 1회 1지점 교정을 수행하는 것은 각막의 반사 왜곡을 보정하도록 결정된 동공 형태를 반복 수정하는 것을 더 포함할 수 있다.
헤드 마운트 디스플레이의 실시예들에서, 1회 1지점 교정을 수행하는 것은 안구와 관련된 실제 가시선과 동공 축 사이의 오프셋을 결정하는 것을 더 포함할 수 있다.
헤드 마운트 디스플레이의 실시예들에서, 하나 이상의 광학 동작을 수행하는 것은 사용자의 이향운동각을 결정하는 것, 사용자의 조절 심도를 결정하는 것, 사용자를 식별하는 것, 안구의 비틀림 상태를 결정하는 것, 또는 이들의 임의의 조합으로 구성된 그룹에서 선택되는 동작을 수행하는 것을 포함할 수 있다.
본 발명의 내용 중에 포함되어 있다.
도 1은 일실시예에 따른 VR 시스템을 포함하는 시스템 환경의 블록도이다.
도 2a는 일실시예에 따른 VR 헤드셋의 도면이다.
도 2b는 일실시예에 따른 도 2a의 VR 헤드셋의 전면 강체의 단면도이다.
도 3은 일실시예에 따라 안구 모델을 생성하는 안구 추적 시스템의 예를 도시한다.
도 4는 일실시예에 따라 안구 추적 시스템을 사용하여 안구 모델을 생성하는 프로세스의 예의 흐름도이다.
도 5는 일실시예에 따라 안구 모델을 사용하여 사용자의 응시 방향을 결정하는 프로세스의 예의 흐름도이다.
도 6은 일실시예에 따른 HMD 시스템용 1회 1지점 교정의 예를 도시한다.
도 7은 일실시예에 따른 HMD 시스템의 1회 1지점 교정의 프로세스의 예의 흐름도이다.
도면들은 단지 예로서 본 명세서의 다양한 실시예들을 도시한다. 통상의 기술자는 하기의 설명으로부터 본 명세서에 도시되는 구조 및 방법의 대안적 실시예가 본 명세서에 기술되는 개시내용의 원리로부터 벗어나지 않고 이용되거나 그 이점이 권유될 수 있음을 쉽게 인식할 것이다.
시스템 개요
도 1은 VR 콘솔(110)이 동작하는 VR 시스템 환경(100)의 블록도이다. 도 1에 도시된 시스템 환경(100)은 각각 VR 콘솔(110)에 결합되는 VR 헤드셋(105), 이미징 장치(135) 및 VR 입력 인터페이스(140)를 포함한다. 도 1은 하나의 VR 헤드셋(105), 하나의 이미징 장치(135) 및 하나의 VR 입력 인터페이스(140)를 포함하는 예시적인 시스템(100)을 도시하는 한편, 다른 실시예에서는 임의의 수의 이러한 컴포넌트들이 시스템(100)에 포함될 수 있다. 예컨대, 각각 연관되는 VR 입력 인터페이스(140)를 가지고 하나 이상의 이미징 장치(135)에 의해 모니터링되는 다수의 VR 헤드셋(105)이 있을 수 있고, VR 헤드셋(105), VR 입력 인터페이스(140) 및 이미징 장치(135) 각각은 VR 콘솔(110)과 통신한다. 대안적 구성으로, 상이한 컴포넌트 및/또는 추가 컴포넌트가 시스템 환경(100)에 포함될 수 있다.
VR 헤드셋(105)은 사용자에게 컨텐츠를 제시하는 HMD이다. VR 헤드셋이 제시하는 컨텐츠의 예시는 하나 이상의 이미지, 비디오, 오디오, 또는 이들의 임의의 조합을 포함한다. 일부 실시예로, 오디오는 VR 헤드셋(105), VR 콘솔(110) 또는 둘 모두로부터 오디오 정보를 수신하고 오디오 정보에 기반하여 오디오 데이터를 제시하는 외부 장치(예컨대, 스피커 및/또는 헤드폰)를 통해 제시된다. VR 헤드셋(105)의 실시예가 도 2a 및 2b와 함께 아래에서 더 기술된다. VR 헤드셋(105)은 서로 함께 강성으로 또는 비-강성으로 결합될 수 있는 하나 이상의 강체를 포함할 수 있다. 강체 사이의 강성 결합은 결합된 강체가 단일 강성 엔티티의 역할을 하도록 한다. 반면에, 강체 사이의 비-강성 결합은 강체가 서로에 상대적으로 이동할 수 있게 한다.
VR 헤드셋(105)은 전자식 디스플레이(115), 광학 블록(118), 하나 이상의 로케이터(120), 하나 이상의 위치 센서(125), 관성 측정 유닛(IMU)(130) 및 안구 추적 시스템(160)을 포함한다. 전자식 디스플레이(115)는 VR 콘솔(110)로부터 수신된 데이터에 따라 이미지를 사용자에게 디스플레이한다. 다양한 실시예로, 전자식 디스플레이(115)는 단일 전자 디스플레이 또는 다수의 전자 디스플레이(예컨대, 사용자의 각각의 눈을 위한 디스플레이)를 포함할 수 있다. 전자식 디스플레이(125)의 예시는: 액정 디스플레이(LCD), 유기 발광 다이오드(OLED) 디스플레이, 액티브 매트릭스 유기 발광 다이오드 디스플레이(AMOLED), 임의의 다른 디스플레이, 또는 이들의 임의의 조합을 포함한다.
광학 블록(118)은 전자식 디스플레이(115)로부터 수신된 광을 확대하고, 광과 연관된 광학 오차를 보정하며, 보정된 이미지 광은 VR 헤드셋(105)의 사용자에게 제시된다. 광학 요소는 개구, 프레넬(Fresnel) 렌즈, 볼록 렌즈, 오목 렌즈, 필터 또는 전자식 디스플레이(115)로부터 방출된 이미지 광에 영향을 주는 임의의 다른 적절한 광학 요소일 수 있다. 또한, 광학 블록(118)은 상이한 광학 요소들의 조합을 포함할 수 있다. 일부 실시예로, 광학 블록(118) 내 하나 이상의 광학 요소는 가령 반사-방지 코팅과 같은 하나 이상의 코팅을 가질 수 있다.
광학 블록(118)에 의한 이미지 광의 확대는 전자식 디스플레이(115)가 더 큰 디스플레이보다 물리적으로 더 작고, 무게가 덜 나가며, 더 적은 전력을 소비하도록 할 수 있다. 또한, 확대는 디스플레이되는 컨텐츠의 시야각을 증가시킬 수 있다. 예를 들어, 디스플레이되는 컨텐츠의 시야각은 디스플레이되는 컨텐츠가 사용자의 시야의 거의 전부(예컨대, 대각선으로 150도), 그리고 일부의 경우 전부를 사용하여 제시되도록 한다. 일부 실시예에서, 광학 블록(118)은 그 효과적인 초점 거리가 전자식 디스플레이(115)에 의해 투영되는 이미지 광을 확대하는 전자식 디스플레이(115)와의 간격보다 크도록 설계된다. 또한, 일부 실시예에서, 확대의 양은 광학 요소의 추가 또는 제거에 의해 조정될 수 있다.
광학 블록(118)은 고정형 패턴 잡음(즉, 스크린 도어 효과) 이외에 하나 이상의 유형의 광학 오차를 보정하도록 설계될 수 있다. 광학 오차의 예는: 2차원 광학 오차, 3D 광학 오차 또는 이들의 임의의 조합을 포함한다. 2차원 오차는 2차원으로 발생하는 광학 수차(aberration)이다. 2차원 오차의 예시적인 유형은: 배럴 왜곡(barrel distortion), 핀쿠션 왜곡(pincushion distortion), 종방향 색수차(longitudinal chromatic aberration), 횡방향 색수차, 또는 2차원 광학 오차의 임의의 다른 타입을 포함한다. 3D 오차는 3차원으로 발생하는 광학 오차이다. 3D 오차의 예시적인 유형은 구면 수차, 코마 수차(comatic aberration), 필드 곡률, - 점수차 또는 3D 광 오차의 임의의 다른 타입을 포함한다. 일부 실시예로, 디스플레이를 위해 전자식 디스플레이(115)로 제공되는 컨텐츠는 사전-왜곡되고, 광학 블록(118)은 컨텐츠에 기반하여 생성되는 전자식 디스플레이(115)로부터의 이미지 광을 수신할 때 왜곡을 보정한다.
로케이터(locator, 120)는 서로에 대하여 그리고 VR 헤드셋(105) 상의 특정 기준점에 대하여 VR 헤드셋(105) 상의 특정 위치들에 위치하는 물체이다. 로케이터(120)는 발광 다이오드(LED), 코너 튜브 반사기, 반사 마커, VR 헤드셋(105)이 동작하는 환경과 대조되는 광원 타입, 또는 이들의 임의의 조합일 수 있다. 로케이터(120)가 활성(즉, LED 또는 다른 타입의 발광 장치)인 실시예에서, 로케이터(120)는 가시광 대역(~380nm 내지 750nm), 적외선(IR) 대역(~750nm 내지 1mm), 적외선 대역(10nm 내지 380nm), 전자기 스펙트럼의 일부 다른 부분, 또는 이들의 임의의 조합 내에서 광을 방출할 수 있다.
일부 실시예로, 로케이터(120)는, 로케이터(120)에 의해 방출되거나 반사된 광의 파장에 대해 투명하거나 로케이터(120)에 의해 방출되거나 반사된 광의 파장을 실질적으로 감쇠하지 않도록 충분히 얇게 되도록 VR 헤드셋(105)의 외부 표면 아래에 위치한다. 추가로, 일부 실시예에서, VR 헤드셋(105)의 외부 표면 또는 다른 부분은 광의 파장의 가시선 대역에서 불투명하다. 따라서, 로케이터(120)는 IR 대역에서 투명하지만 가시광 대역에서 불투명한, 외부 표면 아래에서의 IR 대역의 광을 방출할 수 있다.
IMU(130)는 하나 이상의 위치 센서들(125)로부터 수신된 측정 신호에 기반하여 교정 데이터를 생성하는 전자 장치이다. 위치 센서(125)는 VR 헤드셋(105)의 움직임에 응답하여 하나 이상의 측정 신호를 생성한다. 위치 센서(125)의 예시는: 하나 이상의 가속도계, 하나 이상의 자이로스코프, 하나 이상의 자력계, 움직임을 감지하는 다른 적절한 타입의 센서, IMU(130)의 오차 보정에 사용되는 센서 타입, 또는 이들의 임의의 조합을 포함한다. 위치 센서(125)는 IMU(130)의 외부, IMU(130)의 내부, 또는 이들의 임의의 조합에 위치할 수 있다.
하나 이상의 위치 센서(125)로부터의 하나 이상의 측정 신호에 기반하여, IMU(130)는 VR 헤드셋(105)의 초기 위치에 상대적인 VR 헤드셋(105)의 추정된 위치를 표시하는 고속 교정 데이터를 생성한다. 예컨대, 위치 센서(125)는 병진 운동(전/후, 상/하, 좌/우)을 측정하는 다수의 가속도계 및 회전 운동(예컨대, 피치, 요우(yaw), 롤(roll))을 측정하는 다수의 자이로스코프를 포함한다. 일부 실시예로, IMU(130)는 빠르게 측정 신호를 샘플링하고 샘플링된 데이터로부터 VR 헤드셋(105)의 추정된 위치를 계산한다. 예컨대, IMU(130)는 속도 벡터를 추정하기 위해 가속도계로부터 수신된 측정 신호를 시간에 대해 적분하고, VR 헤드셋(105) 상의 기준점의 추정 위치를 결정하기 위해 속도 벡터를 시간에 대해 적분한다. 대안으로, IMU(130)는 고속 교정 데이터를 결정하는 VR 콘솔(110)로 샘플링된 측정 신호를 제공한다. 기준점은 VR 헤드셋(105)의 위치를 기술하는데 사용될 수 있는 포인트이다. 기준점은 일반적으로 공간에서의 한 지점으로 정의될 수 있지만, 실제로는, 기준점은 VR 헤드셋(105) 내의 지점(예를 들어, IMU(130)의 중심)으로 정의된다.
IMU(130)는 VR 콘솔(110)로부터 하나 이상의 교정 파라미터를 수신한다. 아래에서 추가로 논의되는 바와 같이, 하나 이상의 교정 파라미터는 VR 헤드셋(105)의 추적을 관리하는데 사용된다. 수신된 교정 파라미터에 기반하여, IMU(130)는 하나 이상의 IMU 파라미터(예컨대, 샘플링 속도)를 조정할 수 있다. 일부 실시예로, 특정 교정 파라미터는 IMU(130)로 하여금 기준점의 초기 위치를 업데이트하도록 하여서 기준점의 다음 교정된 위치에 대응하도록 한다. 기준점의 다음 교정된 위치로 기준점의 초기 위치를 업데이트하는 것은 결정된 추정 위치와 연관되는 누적 오차를 감소시키는데 도움을 준다. 드리프트 오차(drift error)로도 지칭되는 누적 오차는 기준점의 추정 위치가 시간에 걸쳐 기준점의 실제 위치로부터 멀리 "표류(drift)"하도록 야기한다.
안구 추적 시스템(160)은 예시적인 교정 프로세스를 사용하여 안구 모델을 생성한다. 안구 추적 시스템(160)은 안구 추적 유닛 및 제어 모듈을 포함한다. 안구 추적 유닛은 VR 헤드셋(105) 내에 위치하며, 다른 구성요소들 중에서 조명 소스 및 광학 센서를 포함한다. 안구 추적 유닛의 조명 소스(예를 들어, 포인트 광원) 및 광학 센서(예를 들어, 카메라)는 사용자가 VR 헤드셋(105)을 착용하는 동안 사용자의 안구의 모델을 결정하도록 각막 구체 추적에 사용된다. 조명 소스 및 광학 센서는 안구 모델을 생성하고 광학 동작을 수행하는데 필요한 데이터 처리를 수행하는 제어 모듈과 연결된다. 제어 모듈은 VR 헤드셋(105) 및/또는 VR 콘솔(110) 내에 위치한다.
이미징 장치(135)는 VR 콘솔(110)로부터 수신된 교정 파라미터에 따라 저속 교정 데이터를 생성한다. 저속 교정 데이터는 이미징 장치(135)가 감지할 수 있는 로케이터(120)의 관측된 위치를 보여주는 하나 이상의 이미지를 포함한다. 이미징 장치(135)는 하나 이상의 카메라, 하나 이상의 비디오 카메라, 하나 이상의 로케이터(120)를 포함하는 이미지를 캡쳐할 수 있는 임의의 다른 장치, 또는 이들의 임의의 조합을 포함할 수 있다. 추가로, 이미징 장치(135)는 (예컨대, 신호-대-노이즈 비율을 증가시키는데 사용되는) 하나 이상의 필터를 포함할 수 있다. 이미징 장치(135)는 이미징 장치(135)의 시야 내에서 로케이터(120)로부터 방출되거나 반사된 광을 감지하도록 구성된다. 로케이터(120)가 수동 소자(예컨대, 역반사기(retroreflector))를 포함하는 실시예에서, 이미징 장치(135)는 이미징 장치(135)에서 광원을 향해 광을 역반사하는, 로케이터(120)의 일부 또는 전부를 조명하는 광원을 포함할 수 있다. 저속 교정 데이터는 이미징 장치(135)로부터 VR 콘솔(110)로 통신되고, 이미징 장치(135)는 하나 이상의 이미징 파라미터(예컨대, 초점 길이, 초점, 프레임 속도, ISO, 센서 온도, 셔터 속도, 개구 등)를 조정하기 위해 VR 콘솔(110)로부터 하나 이상의 교정 파라미터를 수신한다.
VR 입력 인터페이스(140)는 VR 콘솔(110)로 동작 요청을 사용자가 전송하도록 허용하는 장치이다. 동작 요청은 동작을 수행하기 위한 요청이다. 예컨대, 동작 요청은 애플리케이션을 시작 또는 종료하거나 애플리케이션 내의 동작을 수행하는 것일 수 있다. VR 입력 인터페이스(140)는 하나 이상의 입력 장치를 포함할 수 있다. 예시적인 입력 장치는: 키보드, 마우스, 게임 컨트롤러, 동작 요청을 수신하고 수신된 동작 요청을 VR 콘솔(110)로 통신하기 위한 임의의 다른 적절한 장치를 포함한다. VR 입력 인터페이스(140)에 의해 수신된 동작 요청은 동작 요청에 대응하는 동작을 수행하는 VR 콘솔(110)로 통신된다. 일부 실시예에서, VR 입력 인터페이스(140)는 VR 콘솔(110)로부터 수신한 명령어에 따라 사용자에게 햅틱 피드백을 제공할 수 있다. 예컨대, 햅틱 피드백은 동작 요청이 수신될 때 제공되거나, VR 콘솔(110)은 VR 콘솔(110)이 동작을 수행할 때 햅틱 피드백을 생성하도록 야기하는 명령어를 VR 입력 인터페이스(140)로 통신한다.
VR 콘솔(110)은: 이미징 장치(135), VR 헤드셋(105) 및 VR 입력 인터페이스(140) 중 하나 이상으로부터 수신된 정보에 따라 사용자에게 제시하기 위해 컨텐츠를 VR 헤드셋(105)으로 제공한다. 도 1에 도시된 예시에서, VR 콘솔(110)은 애플리케이션 스토어(145), 추적 모듈(150), 및 VR 엔진(155)을 포함한다. VR 콘솔(110)의 일부 실시예는 도 1과 함께 기술된 것들과는 상이한 모듈을 가진다. 유사하게, 이하에서 추가로 기술되는 기능은 본 명세서에 기술되는 것과는 상이한 방식으로 VR 콘솔(110)의 컴포넌트들 사이에 분산될 수 있다.
애플리케이션 스토어(145)는 VR 콘솔(110)에 의한 실행을 위한 하나 이상의 애플리케이션을 저장한다. 애플리케이션은, 프로세서에 의해 실행시 사용자에게 제시하기 위한 컨텐츠를 생성하는 명령어들의 그룹이다. 애플리케이션에 의해 생성된 컨텐츠는 VR 헤드셋(105) 또는 VR 인터페이스 장치(140)의 움직임을 통해 사용자로부터 수신된 입력에 응답할 수 있다. 애플리케이션의 예시는: 게임 애플리케이션, 컨퍼런스 애플리케이션, 비디오 재생 애플리케이션, 또는 다른 적절한 애플리케이션을 포함한다.
추적 모듈(150)은 하나 이상의 교정 파라미터를 사용하여 VR 시스템(100)을 교정하고, VR 헤드셋(105)의 위치 결정에 있어서의 오차를 감소시키기 위해 하나 이상의 교정 파라미터를 조정할 수 있다. 예컨대, 추적 모듈(150)은 VR 헤드셋(105) 상의 관측된 위치에 대한 더 정확한 위치를 획득하기 위해 이미징 장치(135)의 초점을 조정한다. 또한, 추적 모듈(150)에 의해 수행되는 교정은 IMU(130)로부터 수신된 정보를 감안한다. 추가로, VR 헤드셋(105)의 추적이 손실된다면(예컨대, 이미징 장치(135)가 적어도 임계 수의 로케이터(120)에 대한 시야를 손실한다면), 추적 모듈(140)은 시스템 환경(100)의 일부 또는 전부를 다시 교정한다.
추적 모듈(150)은 이미징 장치(135)로부터 저속 교정 정보를 사용하여 VR 헤드셋(105)의 움직임을 추적한다. 추적 모듈(150)은 VR 헤드셋(105)의 모델 및 저속 교정 정보로부터 관측된 로케이터를 사용하여 VR 헤드셋(105)의 기준점의 위치를 결정한다. 추적 모듈(150)은 또한, 고속 교정 정보로부터의 위치 정보를 사용하여 VR 헤드셋(105)의 기준점의 위치를 결정한다. 추가로, 일부 실시예에서, 추적 모듈(150)은 고속 교정 정보, 저속 교정 정보, 또는 이들의 일부 조합의 부분들을 사용하여 헤드셋(105)의 미래의 위치를 예측할 수 있다. 추적 모듈(150)은 VR 헤드셋(105)의 추정 또는 예측된 미래 위치를 VR 엔진(155)으로 제공한다.
VR 엔진(155)은 시스템 환경(100) 내에서 애플리케이션을 실행하고, 추적 모듈(150)로부터 VR 헤드셋(105)의 위치 정보, 가속도 정보, 속도 정보, 예측된 미래 위치, 또는 이들의 임의의 조합을 수신한다. 수신된 정보에 기반하여, VR 엔진(155)은 사용자에게 제시하기 위해 VR 헤드셋(105)으로 제공하기 위한 컨텐츠를 결정한다. 예컨대, 수신된 정보가 사용자가 좌측을 보았다고 표시한다면, VR 엔진(155)은 가상 현실에서 사용자의 움직임을 미러링하는 VR 헤드셋(105)을 위한 컨텐츠를 생성한다. 추가로, VR 엔진(155)은 VR 입력 인터페이스(140)로부터 수신된 동작 요청에 응답하여 VR 콘솔(110) 상에서 실행되는 애플리케이션 내에서 동작을 수행하고 동작이 수행되었다는 피드백을 사용자에게 제공한다. 제공된 피드백은 VR 헤드셋(105)을 통한 시각적 또는 청각적 피드백이거나 VR 입력 인터페이스(140)를 통한 햅틱 피드백일 수 있다.
도 2a는 일실시예에 따른 VR 헤드셋의 다이어그램이다. VR 헤드셋(200)은 VR 헤드셋(105)의 일실시예이며, 전방 강체(205) 및 밴드(210)를 포함한다. 전방 강체(205)는 전자식 디스플레이(115)(도 2a에 미도시), IMU(130), 하나 이상의 위치 센서(125) 및 로케이터(120)을 포함한다. 도 2a가 도시하는 실시예에서, 위치 센서(125)는 IMU(130) 내에 위치하고, IMU(130) 또는 위치 센서(125) 모두는 사용장에게 가시적이지 않다.
로케이터(120)는 서로에 대해 그리고 기준점(215)에 대하여 전방 강체(205) 상의 고정된 위치에 위치한다. 도 2a의 예시에서, 기준점(215)은 IMU(130)의 중심에 위치한다. 각 로케이터(120)는 이미징 장치(135)가 감지할 수 있는 광을 방출한다. 로케이터(120), 또는 로케이터(120)의 부분은 도 2a의 예시에서 전방 강체(205)의 전방 측면(220A), 상부 측면(220B), 하부 측면(220C), 우측 측면(220D), 좌측 측면(220E)에 위치한다.
도 2b는 도 2a에 도시된 VR 헤드셋(200)의 실시예의 전방 강체(205)의 단면(225)이다. 도 2b에 도시된 바와 같이, 전방 강체(205)는 사출 동공(250)으로 변경된 이미지 광을 제공하는 광학 블록(230)을 포함한다. 사출 동공(250)은 전방 강체(205) 중 사용자의 눈(245)이 위치한 곳이다. 예시의 목적으로, 도 2b는 하나의 눈(245)과 연관된 단면(225)을 도시하지만, 광학 블록(230)으로부터 분리된 다른 광학 블록이 사용자의 다른 눈에 변경된 이미지 광을 제공한다.
광학 블록(230)은 전자식 디스플레이(115)의 전자 디스플레이 요소(235), 광학 블록(118) 및 안구 추적 유닛(260)을 포함한다. 전자 디스플레이 요소(235)는 광학 블록(118)을 향해 이미지 광을 방출한다. 광학 블록(118)은 이미지 광을 확대하고, 일부 실시예에서는 하나 이상의 추가적인 광학 오차(예를 들어, 왜곡, 난시 등)를 또한 보정한다.　광학 블록(118)은 사용자에게 제시하기 위해 이미지 광을 출사 동공(250)으로 향하게 한다.
VR 헤드셋(200)은 안구 추적 유닛(260)(예를 들어, 도 1의 안구 추적 시스템(160)의 안구 추적 유닛)을 포함한다. 안구 추적 유닛(260)은 조명 소스 및 광학 센서를 포함한다. 일실시예에서, 도 2a에 도시된 바와 같이, 안구 추적 유닛(260)은 각각의 눈에 대해 2개의 조명 소스(262 및 264) 및 광학 센서(266)를 포함한다. 안구 추적 유닛(260)의 조명 소스 및 광학 센서는 안구 모델을 생성하는데 필요한 데이터 처리를 수행하는 제어 모듈(도 2b에 도시되지 않음)과 결합된다. 제어 모듈은 VR 헤드셋(105) 및/또는 VR 콘솔(110) 내에 위치한다. 또한, 일부 실시예에서, 사용자의 왼쪽 눈을 위한 적어도 하나의 안구 추적 유닛(260) 및 사용자의 오른쪽 눈을 위한 적어도 하나의 안구 추적 유닛(260)이 있다.
조명 소스(262 및 264) 및 광학 센서(266)는 사용자의 눈의 각막 구체 추적에 사용된다. 안구 추적 유닛(260)은 광학 블록(230) 내에 배치되어서, 광학 센서(266)(예를 들어, 카메라)가 안구 운동의 범위에서 사용자의 눈의 이미지(그리고 특히 눈의 각막)를 캡처할 수 있다. 조명 소스(262 및 264)는 사용자가 방출된 광을 보는 동안 방출된 광이 사용자의 눈으로부터 반사될 때 광학 센서(266)가 사용자의 눈의 하나 이상의 이미지를 캡처하도록 광을 방출한다. 안구 추적 유닛(260)은 조명 소스(262 및 264)로부터 방출된 광이 광학 블록(118)을 통해 사용자의 눈에 도달하도록 광학 블록(230) 내에 배치된다.　안구 추적 유닛(260)은 (예를 들어, 도 2b에 도시된 바와 같이) 사용자의 사야의 축 상에 배치될 수 있거나 사용자의 시야로부터 축 외로 (예를 들어, 광학 블록(118)의 왼쪽으로) 배치될 수 있다.　예시적인 각막 구체 추적 시스템은 도 3와 관련하여 이하에서 더 설명된다.
안구 모델을 생성하는 안구 추적 시스템
도 3은 일실시예에 따른 안구 추적 시스템(300)의 예를 도시한다. 일부 실시예에서, 안구 추적 시스템(300)은 VR 헤드셋(105) 내 안구 추적 시스템(160)의 일부이다. 대안의 실시예에서, 안구 추적 시스템(300)은 몇몇 다른 장치(예를 들어, AR 시스템의 헤드-업 디스플레이 또는 안구 추적을 이용하는 몇몇 다른 시스템)의 일부이다. 안구 추적 시스템(300)은 다른 구성요소들 중에서 안구 추적 유닛(360) 및 제어 모듈(370)을 포함한다.　단순화를 위해, 안구 추적 시스템(300)에 대한 논의는 사용자의 하나의 안구에 관한 것이다. 그러나, 일부 실시예에서, 대응하는 안구 추적 유닛(360)은 사용자의 눈 각각을 위해 사용될 수 있다. 이러한 실시예에서, 하나의 제어 모듈(370)이 다수의 안구 추적 유닛(360)을 제어할 수 있다.
안구 추적 유닛(360)은 다른 구성요소들 중에서 2개 이상의 조명 소스(예를 들어, 조명 소스(362 및 364)) 및 하나 이상의 광학 센서(예를 들어, 광학 센서(366))를 포함한다. 안구 추적 유닛의 조명 소스들(예를 들어, 포인트 광원들) 및 광학 센서들(예를 들어, 카메라)은 사용자가 VR 헤드셋(105)을 착용하는 동안 각막 구체 추적 및 사용자의 눈 모델을 결정하는데 사용된다. 조명 소스(362 및 364)는 이상적인 포인트 광원과 같은 잘 알려진 방출 특성을 갖는다. 일실시예에서, 2개의 조명 소스가 사용된다.　대안으로, 2 이상의 조명 소스, 예컨대 조명 소스의 링이 사용된다.　예를 들어, 조명 소스의 링은 동일한 2차원 평면 또는 기준점(예를 들어, 기준점(215) 또는 HMD의 입사 동공의 위치)에 대한 임의의 위치에 위치될 수 있다.　일실시예에서, 조명 소스는 사용자의 가시선의 바깥에 위치될 수 있다.　기준점으로부터 임의로 위치된 조명 소스는 기준점으로부터 상이한 심도로 및/또는 안구 추적의 정확성을 향상시키기 위해 소스들 사이의 비-균일한 간격으로 배치될 수 있다.　
일부 실시예들에서, 2개 이상의 조명 소스는 모든 조명 소스 또는 조명 소스 사이에 상이한 특성을 포함한다. 예를 들어, 2 이상의 조명 소스로부터 발생하는 광은 상이한 주파수 또는 상이한 진폭(즉, 다양한 세기)으로 변조되고, 상이한 시점에서 2개의 광파 사이의 상관성을 설명하는 서로 다른 시간 코히어런스(temporal coherence)를 가지며, 시간 또는 주파수 도메인으로 다중화되는 상이한 파장 중 하나 이상을 포함할 수 있다.
광학 센서(366)는 각막 영상을 포착하기 위해 사용자의 눈의 이미지를 캡처한다. 예를 들어, 광학 센서(366)는 정지 화상 또는 비디오를 캡처할 수 있는 카메라이다.　광학 센서(366)는 가령 초점 길이, 초점, 프레임 속도, ISO, 센서 온도, 셔터 속도, 조리개, 해상도 등과 같은 복수의 파라미터를 갖는다. 일부 실시예에서, 광학 센서(366)는 높은 프레임 속도 및 높은 해상도를 갖는다.　광학 센서(366)는 2차원 이미지 또는 3차원 이미지를 캡처할 수 있다. 광학 센서(366)는 눈에 입사하는 조명 소스로부터의 광에 대한 각막 반사가 안구 운동의 범위(예를 들어, 가능한 최대 범위)에 걸쳐 캡처될 수 있도록 배치된다. 예를 들어, 조명 소스의 링이 눈 주위에 배치되면, 광학 센서(366)는 링의 중심 둘레의 눈을 향하여(예를 들어, 사용자의 가시선에) 배치된다. 대안으로, 광학 센서(366)는 사용자의 주된 가시선의 바깥에 있도록 축외로 배치된다.　일실시예에서, 조명 소스로부터의 광이 눈에 입사되는 동안, 눈의 각막 영상을 포착하기 위해 안구당 하나 이상의 광학 센서(366)가 사용될 수 있다. 광학 센서(366)는 가령 열 센서, 도파관 등과 같은 각막 반사의 방향을 측정할 수 있는 검출기일 수 있다.
조명 소스(362 및 364)는 각막에서 반사되는 광을 방출하고, 이후 광학 센서(366)에서 (예를 들어, 이미지로서) 캡처된다. 예를 들어, 조명 소스(362 및 364)에서 시작하는 화살표(362-I 및 364-I)로 표현된 광선은 안구에 입사한다. 광이 인간의 눈에 입사할 때, 눈은 각막의 외부 표면으로부터의 반사 및 각막의 내부 표면으로부터의 또 다른 반사와 같은 다중 반사를 생성한다. 일실시예에서, 광학 센서(366)는 캡처된 이미지에서 각막의 외부 표면으로부터 반사된 광을 캡처한다.　예를 들어, 화살표(362-R 및 364-R)로 표현된 반사 광은 광학 센서(366)에 의해 캡처된 이미지에 캡처된다. 광학 센서(366)는 각막의 내부 표면으로부터 반사된 광을 캡처할 수 있다. 각막으로부터의 반사(예를 들어, 내부 표면 및/또는 외부 표면으로부터의 반사)는 본 명세서에서 각막 반사로 지칭된다. 각막 구체 안구 추적을 사용하여 안구 모델을 생성하는 예시적인 프로세스는 도 4와 관련하여 하기에 더 설명된다.
제어 모듈(370)은 안구 모델을 생성하고 광학 동작을 수행한다. 예를 들어, 제어 모듈(370)은 사용자 눈의 하나 또는 둘 모두에 대한 안구 모델을 생성하기 위해 교정을 수행한다. 일부 실시예에서, 하나의 제어 모듈(370)은 가령 좌안에 대한 하나의 안구 추적 유닛(360) 및 우안에 대한 또 다른 안구 추적 유닛(360)과 같은 다수의 안구 추적 유닛(360)을 제어할 수 있다.
도 4와 관련하여 하기 설명되는 예시적인 교정 프로세스는 조명 소스(362 및 364)를 켜는 단계, 사용자가 VR 헤드셋(105) 상의 공지된 위치를 보고 있는 동안 광학 소스(366)에서 각막 영상을 포함하는 이미지를 캡처하는 단계 및 안구 모델을 생성하도록 캡처된 이미지를 처리하는 단계를 더 포함한다. 도 5와 관련하여 하기에 설명되는 예시적인 정상 동작 모드는 사용자가 정상 모드 동작에서 VR 헤드셋(105)의 컨텐츠를 보고 있는 동안 광학 센서(366)에서 각막 영상을 캡처하는 단계 및 가령 사용자의 응시 방향을 결정하는 것과 같이 하나 이상의 광학 동작을 수행하도록 캡처된 이미지를 처리하는 단계를 포함한다.　제어 모듈(370)은 VR 헤드셋(105) 및/또는 VR 콘솔(110)에 위치한다.　제어 모듈(370)은 조명 소스(362 및 364) 및 광학 센서(366)가 제어 모듈(370)과 통신할 수 있도록 안구 추적 유닛(360)과 결합된다.
안구 추적 시스템(300)은 사용자의 안구를 위한 모델을 생성한다. 일실시예에서, 사용자의 안구는 서로 다른 반경을 갖는 2개의 구체(305 및 310)로 모델링되는데, 이때 구체(305)는 전체 안구(예컨대, 안구의 공막 표면의 일부)를 근사화한다. 구체(310)의 일부는 안구의 각막을 근사화한다. 구체(305)의 중심(또는 원점)은 지점(306)으로 표시되고, 각막 구체(310)의 중심은 지점(311)으로 표시된다. 요소(315)는 안구의 렌즈를 나타낸다.　다른 실시예에서, 각막은 복합적인 표면으로 모델링될 수 있다.
사람의 안구는 안구의 표면의 일부를 나타내는 더 큰 구체(즉, 구체(305)) 및 안구의 각막의 일부의 근사화를 나타내는 더 작은 구체(즉, 구체(310))를 갖는 2개의 구체를 사용하여 모델링될 수 있는데, 여기서 2개의 구체는 서로 다른 반경을 가지며 그 중심은 서로 오프셋되어 있다. 각막은 안구의 작은 만곡부만을 형성하고 그 내외로 구체가 아니라는 것이 알려져 있지만, 각막은 구체의 일부로 근사화될 수 있다.　일실시예에서, 구체(305)는 약 25mm의 반경을 갖고, 각막 구체(310)는 약 8mm의 반경을 갖는다. 구체(305)와 구체(310)의 중심은 도 3에 도시된 바와 같이 서로 오프셋되어 있다. 헤드 마운트 디스플레이(예컨대, VR 헤드셋(105))로 컨텐츠를 보면서 안구가 회전할 때, 안구의 회전은 각막 구체(310)의 중심(즉, 지점(311))의 해당 변위를 야기한다. 추적 시스템(300)은 안구의 회전 동안 각막 구체(310)의 중심의 운동을 추적한다.　일부 실시예에서, 안구 추적 시스템(300)은 도 4와 관련하여 이하에서 설명되는 바와 같이 사용자의 하나의 눈에 대한 모델을 생성한다. 생성된 안구 모델은 본 명세서에서 "안구 모델 정보"로 언급되는 각막 구체(310)에 대한 반경 및 원점 정보를 포함하지만 이에 한정되지 않는 안구 정보를 포함한다.　안구 모델 정보는 안구의 공막 표면의 부분(즉, 구체(305))을 근사화하는 구체의 반경 및 원점 정보를 포함할 수 있다.　일실시예에서, 각막 운동은 구체(305)의 고정된 중심(306)에 대한 회전으로서 모델링될 수 있다. 다른 실시예에서, 구체(305)의 중심(306)은 각막 위치의 함수(비구면 안구 형상, 안구운동 근육 제어, 회전하의 변형 등의 모델링)이다. 생성된 안구 모델 정보는 시스템 환경(100) 내에 또는 시스템 환경(100) 외부에 위치한 데이터베이스에 저장된다.
제어 모듈(370)은 사용자가 컨텐츠를 보고 있는 동안 정상 동작 모드에서 하나 이상의 광학 동작(예컨대, 사용자의 한쪽 또는 양쪽 눈에 대한 응시 방향 추정)을 수행하도록 저장된 안구 모델을 사용한다. 제어 모듈(370)은 가령 사용자의 응시방향, 사용자의 이향운동각(vergence angle)(또는 이향운동 심도), 사용자의 조절 심도(accommodation depth), 사용자의 식별, 안구의 비틀림 상태(torsional state), 또는 이들의 임의의 조합을 결정하는 것과 같이 광학 동작을 수행하도록 안구 모델 정보와 함께 안구 추적 유닛(360)으로부터 안구 추적 정보를 수신한다. 제어 모듈(370)은 하드웨어, 소프트웨어 또는 이들의 임의의 조합 중 어느 하나로 구현될 수 있다.
도 4는 일실시예에 따라 안구 추적 시스템(예를 들어, 도 3의 안구 추적 시스템(300))을 사용하여 안구 모델을 생성하기 위한 예시적인 교정 프로세스(400)의 흐름도이다. 도 4의 예시적인 교정 프로세스(400)는 예컨대 VR 헤드셋(105) 및/또는 VR 콘솔(110) 또는 일부 다른 시스템(예를 들어, AR 시스템)의 일부로서 안구 추적 시스템(300)에 의해 수행될 수 있다. 다른 실시예에서 다른 엔티티들은 프로세스의 단계들의 일부 또는 전부를 수행할 수 있다. 마찬가지로, 실시예들은 상이한 단계들 및/또는 추가적 단계들을 포함하거나 상이한 순서로 단계들을 수행할 수 있다.　도 4의 예시적인 프로세스는 사용자의 안구 중 하나에 대한 안구 모델을 생성하기 위한 것이며, 또한 사용자의 다른 안구에 대한 안구 모델을 결정하기 위해(동시에 또는 순차적으로) 구현될 수 있다.　예시적인 프로세스는 안구를 모델링하기 위해 2개의 조명 소스 및 하나의 광학 센서를 사용하여 설명된다.　2개 이상의 조명 소스 및/또는 2 이상의 광학 센서를 사용하여 안구 모델이 생성될 수 있다.
안구 추적 시스템(300)은 예를 들어 광학 센서(예컨대, 광학 센서(366))에 대해 공지된 위치에 배치되는 2개의 조명 소스(예컨대, 조명 소스(362 및 364))를 켜서 사용자의 안구를 조명한다(410). 이들 조명 소스는 안구의 각막이 광을 반사하도록 사용자의 안구에 입사하는 광을 방출한다.　
안구 추적 시스템(300)은 하나 이상의 이미지로서 사용자의 안구에 입사하는 광의 각막 반사를 캡처한다(420). 일실시예에서, 안구 추적 시스템(300)은 각막 반사의 하나의 이미지를 캡처한다. 대안으로, 안구 추적 시스템(300)은 사용자가 일련의 공지된 타겟(예를 들어, 전자식 디스플레이(235)상의 특정 지점)을 볼 때 다수의 각막 반사 이미지를 캡처한다.
안구 추적 시스템(300)은 안구의 모델을 생성하는데, 이때 안구 모델은 각막 구체(310)에 대한 반경 및 원점 정보를 포함한다. 공지된 위치에서 2개의 조명 소스로부터 발생된 각막 반사광을 포함하는 캡처된 하나 이상의 이미지는 캡처된 이미지의 데이터에 맞는 각막 구체 원점 및 하나의 각막 반경을 초래한다.　일실시예에서, 안구 추적 시스템(300)은 기준 안구를 사용하는 학습 모델을 사용하여 안구 모델을 생성한다. 본 명세서에서 언급되는 기준 안구는 각각의 각막 구체(예컨대, 구체(310)) 및 안구의 공막 표면의 일부를 나타내는 구체(예컨대, 구체(305))에 대한 알려진 반경 및 원점 정보를 포함하는 기준 안구 모델을 갖는 눈이다. 학습 모델은 기준 안구가 사람의 안구 움직임의 범위를 모방하도록 회전되는 동안 기준 안구의 각막 반사 영상을 캡처하는 것을 포함한다. 학습 모델은 기준 안구의 다양한 움직임과 기준 안구의 각막 반사 사이의 관계를 포함하며, 이러한 관계는 사용자의 안구를 위한 안구 모델을 생성하는데 사용된다. 예를 들어, 단계 420에서 캡처된 사용자 안구의 각막 반사는 기준 안구의 각막 반사와 비교되어 사용자 안구의 각막 구체(310)에 대한 안구 모델(예를 들어, 반경 및 원점)에 대한 상이한 파라미터를 추정한다. 이러한 예에서, 학습 모델의 기준 안구 모델의 반경 및 원점 정보는 사용자의 안구 모델에 대한 반경 및 원점 정보를 추정하도록 외삽된다.　안구 모델에 대한 반경 및 원점을 추정하는 예시적인 방법이 하기에 설명된다.
안구 추적 시스템(300)은 적어도 2개의 조명 소스의 각막 반사를 포함하는 캡처된 이미지에 기초하여 각막 구체(310)의 반경을 결정한다(430). 각각의 이미지는 각막 반경과 각막 위치를 추정할 수 있는 충분한 정보를 제공한다. 일부 실시예에서, 안구 모델은 각막에 대해 고정된 반경의 구체만을 포함할 수 있다. 이후, 각막 반경의 추정치는 적절한 통계 모델을 이용하여 일련의 프레임을 통한 추정치를 조합하여 정제될 수 있다. 예를 들어, 각막 반경의 샘플은 일련의 이미지에서 평균에 대한 정규 분포를 형성할 수 있다. 일련의 이미지가 몇몇 이상치를 갖는 평균치에 대한 낮은 분산을 갖는 일련의 추정치를 제공할 때, 각막 반경은 이들 샘플의 평균으로 가정될 수 있다. 3개 이상의 조명 소스의 실시예에서, 2개의 조명 소스의 각각의 세트에 의해 예측되는 각막 반경의 차이는 각막 표면(예컨대, B-스플라인, 고차 표면 등)에 대한 비-구형 모델을 알리는데 사용될 수 있다. 또 다른 실시예에서, 한 세트의 프레임에서 예측되는 각막 반경의 차이는 더 복합적인 각막 모델을 알리기 위해 프레임당 예측된 응시 방향과 결합될 수 있다. 이들 시스템에서, 각막은 기준 원점(311) 및 방위로 정의된다.
안구 추적 시스템(300)은 안구 회전의 유효 중심(306) 및 안구 회전 중심과 각막 중심을 분리하는 거리(예를 들어, 중심들(306 및 311) 사이의 거리)를 결정한다. 일실시예에서, 안구 중심(306)은 고정된 지점으로 가정될 수 있다.　이 시스템에서, 사용자는 기준 위치로부터의 공지된 각도 오프셋으로 제시되는 전자식 디스플레이 요소(235) 상에 시각적 타겟을 제공받을 수 있다. 예를 들어, 타겟은 HMD의 왜곡-보정된 가상 렌더링 공간에서 원하는 각도 편차로 무한대에 접근하는 거리에 배치될 수 있다. 왜곡-보정된 가상 렌더링 공간은 HMD의 사용자로의 전자식 디스플레이 요소(235)상의 컨텐츠의 컴퓨터-생성된 3D 표현이며, 여기서 디스플레이되는 컨텐츠는 왜곡에 기반한 광학 오차가 보정된다. 안구 추적 시스템(300)은 사용자가 이들 교정 타겟 각각을 바라보는 동안 각막 구체의 위치를 결정하고 기록한다(440).　이 시스템은 사용자의 응시를 안구 센터(306)로부터 각막 중심(311)을 통해 벡터를 따라 놓여있는 것으로 모델링할 수 있다.　HMD의 가상 렌더링 공간에 대한 안구 중심(306)의 위치 및 안구의 방위는 거리(306 내지 311)가 변하지 않고 지점(206)에서 기록된 각막 중심(311)으로의 응시 벡터가 제시된 타겟 각도 오프셋과 가장 근접하게 정렬된다는 가정을 가장 잘 만족시키는 지점(306) 및 방위로 추론될 수 있다. 정확한 안구 중심(306)은 각막 위치(및/또는 더 복잡한 모델로 각막 방위)의 함수로서 모델링될 수 있다.　또 다른 실시예에서, 안구 중심(306)은 응시 방향을 결정하고 구면 안구 모델로부터의 생리학적 편차를 모델링하는데 사용된다.
안구 모델을 사용한 사용자의 응시 방향 결정
도 5는 일실시예에 따라 공지된 안구 모델을 사용하여 사용자의 응시 방향을 결정하기 위한 예시적인 프로세스의 흐름도이다. 도 5의 예시적인 프로세스(500)는 예컨대 VR 헤드셋(105)의 일부 및/또는 VR 콘솔(110) 또는 몇몇 다른 시스템(예를 들어, AR 시스템)으로서 안구 추적 시스템(300)에 의해 수행될 수 있다. 다른 실시예에서 다른 엔티티들이 프로세스의 단계들의 일부 또는 전부를 수행할 수 있다.　마찬가지로, 실시예들은 상이한 단계들 및/또는 추가적 단계들을 포함하거나 상이한 순서로 단계들을 수행할 수 있다.　예시적인 프로세스(500)는 시스템이 하나 이상의 안구 모델들에 일부 기초하여 사용자의 안구 운동을 추적하는 안구 추적 시스템(300)의 정상 동작 모드를 기술한다.　
안구 추적 시스템(300)은 각막 구체(310)의 반경 및 원점 정보를 포함하는 안구 모델 정보를 획득한다(510). 일실시예에서, 안구 추적 시스템(300)은 안구 추적 시스템(300) 내에서 안구 모델 정보를 획득한다(예를 들어, 안구 추적 시스템(300)은 도 4와 관련하여 상술한 바와 같이 안구 모델을 생성한다). 대안으로, 안구 추적 시스템(300)은 안구 추적 시스템(300) 외부(예를 들어, VR 콘솔(110) 또는 시스템 환경(100) 외부)의 안구 모델 정보를 획득한다.
안구 추적 시스템(300)은 예를 들어 광학 센서(예컨대, 광학 센서(366))에 대해 공지된 위치에 배치되는 2개의 조명 소스(예컨대, 조명 소스(362 및 364))를 켜서 사용자의 안구를 조명한다(520). 이 조명 소스는 안구의 각막이 광을 반사하도록 사용자의 안구에 입사하는 광을 방출한다.
안구 추적 시스템(300)은 시청자가 HMD(예를 들어, VR 헤드셋(105), AR 헤드셋 또는 안구 추적을 사용하는 몇몇 다른 시스템)의 컨텐츠를 보는 동안 사용자의 각막의 하나 이상의 이미지(각막 반사 영상)를 캡처한다(530). 일실시예에서, 안구 추적 시스템(300)은 각막 반사의 단일 이미지를 캡처하는데, 여기서 각막 반사는 2개 이상의 조명 소스로부터의 광의 반사를 포함한다. 대안으로, 안구 추적 시스템(300)은 각막 반사의 복수의 이미지를 캡처하는데, 여기서 각막 반사는 2 이상의 조명 소스로부터의 광의 반사를 포함한다.
안구 추적 시스템(300)은 캡처된 이미지의 각막 반사 데이터를 사용하여 사용자의 응시 방향을 결정한다(540). 일실시예에서, 안구 추적 시스템(300)은 각막 반경 및 원점 정보를 포함하는 획득된 안구 모델 정보를 사용하여 각막 반사 데이터를 추정한다. 예를 들어, 안구 추적 시스템(300)은 도출된 안구 센터(306)로부터 각막 구체(310)의 중심(311)을 통해 광선을 방출함으로써 사용자가 전자식 디스플레이(235)상에서 바라보고 있는 특정 지점의 위치 데이터를 결정한다. 이 광선의 원점과 방향은 도출된 안구의 방위를 사용하여 HMD의 왜곡-보정된 가상 렌더링 공간의 3D 좌표 공간으로 변환된다.
일부 실시예에서, 안구 추적 시스템(300)은 사용자의 응시 방향을 결정하는 것에 추가하여 또는 대안으로서 다른 광학 동작들을 수행한다. 다른 광학 동작은 예를 들어 사용자의 이향운동각(또는 이향운동 심도), 사용자의 조절 심도, 사용자의 식별, 안구의 비틀림 상태, 또는 이들의 임의의 조합을 결정하는 것을 포함한다. 예시적인 광학 동작 중 일부는 광학 동작을 수행하기 위해 사용자의 두 안구의 캡처된 각막 반사 데이터를 필요로 할 수 있고, 예시적인 프로세스(500)의 하나 이상의 단계는 또한 이런 광학 동작을 수행하도록 사용자의 다른 눈에 대해 (동시에 또는 순차적으로) 수행될 수 있다.
1회 1지점 교정(One-time Single Point Calibration)
도 6은 일실시예에 따라 안구 추적 시스템(예컨대, 안구 추적 시스템(600))에 의해 수행되는 HMD 시스템(예컨대, VR 헤드셋(105)을 포함하는 VR 시스템(100))을 위한 1회 1지점 교정의 예를 도시한다. 도 6에 도시되고 기술된 안구 추적 시스템(600)은 도 3과 관련하여 상술한 안구 추적 시스템(300)의 일실시예이다. 도 6에서, 안구 추적 시스템(600)은 안구 추적 유닛(360) 및 제어 모듈(670)을 포함한다.　여기서, 제어 모듈(670)은 도 3과 관련하여 상술한 제어 모듈(370)의 일실시 예이다. 사용자의 안구 중 하나를 교정하기 위한 도 6의 예시적인 교정 시스템이 설명된다. 하나 이상의 다른 실시예들에서, 도 6의 예시적인 교정 시스템은 또한 사용자 다른 안구를 (동시에 또는 순차적으로) 교정할 수 있다. 몇몇 실시예에서, 교정 프로세스는 각 안구에 대한 동공 축의 결정 및/또는 동공 축과 안구의 실제 가시선 사이의 각도 오프셋의 결정을 포함한다. 일부 실시예에서, HMD 시스템의 교정은 사용자의 안구의 단일 이미지에 기초하고 단지 한번 수행된다. 예를 들어, 사용자가 VR 헤드셋(105)을 착용하는 바로 그 첫번째 순간에 교정이 수행되며, VR 헤드셋(105)은 동일한 사용자에 의한 장래 사용을 위해 사용자에 대응하는 교정 데이터를 메모리에 저장한다.
도 6은 상이한 반경의 2개의 구체(305 및 310)로서 모델링된 사용자의 안구를 도시한다. 구체(305)는 안구의 공막 표면의 일부를 근사화하고 구체(310)의 일부는 안구의 각막을 근사화한다. 구체(305)의 중심은 지점(306)으로 표현되고 각막 구체(310)의 중심은 지점(311)으로 표현된다.　도 6에서, 요소(315)는 안구의 렌즈를 나타내고, 요소(616)는 안구의 동공을 나타낸다.　즉, 요소(616)는 광이 망막에 부딪히게 하는 안구의 홍채 중심의 원형 개구를 나타낸다. 도 6은 또한 요소(616)가 있는 3D 평면(615) 및 각막 구체(310)의 각막 표면(610)에 수직인 3D 평면(615)으로부터 시작되는 광선(620)을 도시한다. 광선(620)은 도 6과 함께 후술하는 교정 프로세서에 의해 결정되는 안구의 동공 축을 나타낸다.
제어 모듈(670)은 HMD 시스템에 대한 교정을 수행한다. 교정은 동공이 있는 3D 평면 및 안구의 동공 축의 결정을 포함한다. 본 명세서에 설명된 3D 평면은 동공이 있는 3D 공간의 평면이다. 3D 공간은 예를 들어 광학 센서(366)의 위치와 같은 기준점에 대해 정의된다. 교정은 각막 반사로 안구의 이미지를 캡처하고 카메라로부터 축을 벗어나 회전되는 안구의 굴절 각막을 통해 동공을 바라볼 때 (안구의 축상-보기(on-axis viewing) 위치의) 원형에서 복합적인 형태까지의 범위일 수 있는 동공의 형태를 식별하도록 캡처된 이미지를 처리하는 것을 포함한다. 예를 들어, 동공의 형태는 안구의 동공 및 홍채와 관련된 하나 이상의 광 파장에서 반사 세기의 변화를 관찰하여 동공(통상적으로 검은색)과 홍채(통상적으로 갈색, 녹갈색, 녹색, 회색 또는 청색 중 하나 또는 이들의 임의의 조합) 사이의 경계를 결정함으로써 식별될 수 있다. 3D 평면은 식별된 동공 형태 및 안구 모델 정보를 사용하여 결정된다.
일실시예에서, 동공의 3D 평면은 안구의 축상-보기 위치로부터의 안구 회전의 예측된 양에 기초하여 식별된 동공 형태를 수정함으로써 식별된다. 도 2b와 함께 상술한 바와 같이, 동공 형태는 안구의 축상-보기 위치 내 원이다. 안구 회전의 예측된 양을 결정하기 위한 예시적인 방법은 동공 학습 모델에 기초하는데, 여기서 기준 안구 모델을 갖는 기준 안구(즉, 도 3과 관련하여 상술한 기준 안구 및 기준 안구 모델)의 동공 형태는 인간의 안구 움직임의 범위를 모방하기 위해 안구가 회전하는 동안 캡처된다. 기준 안구의 다양한 움직임과 식별된 동공 형태(예컨대, 다양한 종류의 타원) 간의 관계를 학습함으로써, 사용자의 동공에 대한 3D 평면은 사용자가 VR 헤드셋(105)에서 컨텐츠를 보고 있는 동안 캡처되는 임의의 동공 형태에 대하여 추정될 수 있다. 일실시예에서, 식별된 3D 평면은 동공 학습 모델에 사용된 기준 안구 모델과 사용자의 안구에 대해 획득된 안구 모델 간의 차이를 처리하도록 수정된다. 예를 들어, 동공 학습 모델에 사용된 기준 안구 모델의 각막 구체의 반경 및 원점 그리고 사용자의 획득된 안구 모델의 반경 및 원점이 비교되어 동공의 식별된 3D 평면의 위치를 수정한다.
일부 실시예에서, 제어 모듈(670)은 결정된 동공 축(즉, 광선(620)에 의해 식별됨)과 안구의 중심와 영역의 위치에 의해 표현된 사용자의 실제 가시선 사이의 각도 오프셋을 결정한다. 도 6에서, 안구의 중심와(foveal)의 중심의 위치(예컨대, 중앙 영역)는 지점(630)으로 표현되고, 안구의 실제 가시선은 중심와(630) 및 요소(616)의 중심을 연결하는 선(635)으로 표현된다. 안구의 중심와는 안구의 실제 가시선(예리한 중심 시야 또는 중심와 시야라고도 함)의 역할을 한다.　중심와는 안구의 밀접하게 채워진 원뿔로 구성된 작은 중심 오목부이며 망막에 위치한다. 동공 축(620)이 망막으로 다시 연장되는 경우, 중심와의 위치는 동공 축(620)과 정렬되지 않기 때문에, 동공 축(620)과 안구의 실제 가시선 사이에 각도 오프셋이 존재한다.
동공 축(620) 및 오프셋 각도는 HMD 시스템의 교정 중에 결정될 수 있다. 일실시예에서, 사용자는 VR 헤드셋(105)의 디스플레이를 통해 공지된 방향으로 사용자에게 제시되는 타겟을 고정시키도록 요청받는다. 사용자가 타겟을 보고 있는 동안, 사용자의 안구의 하나 이상의 이미지가 캡처되어 동공의 형태를 캡처한다.　사용자의 안구의 위치가 알려지고(예를 들어, 각막의 구면 반경 및 원점을 갖는 안구 모델 정보 및/또는 동공의 위치를 제공하는 3D 평면 및 동공 축), 제시된 타겟의 방향도 또한 알려지면, 타겟을 보고 있는 동안 사용자의 가시선이 결정된다. 예를 들어, 사용자의 가시선은 HMD의 좌표계로 참조되는 가령 광학 센서(366)의 위치와 같이 기준점에 대한 3D 공간의 동공의 공지된 위치 및 타겟의 방향에 평행한 선에 의해 결정된다.
제어 모듈(670)은 동공 학습 모델 및 사용자의 안구 모델 정보(예컨대, 도 4와 함께 상술한 바와 같이 생성된 사용자의 안구 모델)를 사용하여 축상 위치(즉, 광학 센서(366)의 소정의 위치에 대한 광학 센서(366)의 원형 동공 형태를 초래하는 안구의 위치)에서 디스플레이에서 타겟을 보는 위치로 사용자의 안구가 만드는 예측된 회전량을 추정한다. 사용자가 타겟에 고정되어 있는 동안 동공의 캡처된 하나 이상의 이미지로부터, 동공의 형태(예컨대, 타원형)가 식별된다. 기준 안구에 대한 동공 학습 모델을 사용하여, 제어 모듈(670)은 동공의 식별된 형태에 대한 기준 안구에 대한 예측된 회전량을 추정한다. 이후, 제어 모듈은 추정된 예측 회전량에 보정 인자를 적용하여 기준 안구 모델과 사용자의 안구 모델 간의 차이를 고려한다.　이후, 예측되는 보정된 안구의 회전량이 사용자의 안구의 동공 축(620)에 적용되어 사용자가 타겟에 고정되어 있을 때의 시나리오에 대응하는 수정된 동공 축의 위치를 결정한다. 사용자가 타겟 위치에 고정되어 있을 때 수정된 동공 축과 사용자의 가시선 사이의 각도 델타(angular delta)는 동공 축(620)과 안구의 실제 가시선 사이의 각도 오프셋을 나타낸다. 동공 축 및/또는 동공 축과 사용자의 실제 가시선 사이의 각도 오프셋을 결정하는 단계를 포함하는 HMD 시스템을 교정하기 위한 예시적인 프로세스는 도 6을 참조하여 하기에 설명된다.
도 7은 일실시예에 따라 HMD 시스템(예컨대, VR 헤드셋(105)을 포함하는 VR 시스템 환경(100) 또는 AR 헤드셋을 포함하는 AR 시스템)의 1회 1지점 교정을 위한 예시적인 프로세스(700)의 흐름도이다. 도 7의 예시적인 교정 프로세스(700)를 예시한다. 도 7의 예시적인 교정 프로세스(700)는 예컨대 VR 헤드셋(105) 및/또는 VR 콘솔(110) 또는 일부 다른 시스템(예를 들어, AR 시스템)의 일부로서 안구 추적 시스템(600)에 의해 수행될 수 있다. 다른 실시예에서 다른 엔티티들이 프로세스의 단계들의 일부 또는 전부를 수행할 수 있다.　마찬가지로, 실시예들은 상이한 단계들 및/또는 추가적 단계들을 포함하거나 상이한 순서로 단계들을 수행할 수 있다. 도 7의 교정 프로세스는 사용자 안구 중 하나에 대해 HMD 시스템을 교정하기 위한 것이고, 또한 사용자의 다른 안구에 대해 HMD 시스템을 교정하도록 (동시에 또는 순차적으로) 구현될 수 있다. 일부 실시예에서, 교정 프로세스(700)는 오직 한번 수행된다. 예를 들어, 교정 프로세스(700)는 사용자가 VR 헤드셋(105)을 착용하는 바로 그 첫번째 순간에 수행되며, VR 헤드셋(105)은 동일한 사용자에 의한 장래 사용을 위해 사용자에 대응하는 교정 데이터를 메모리에 저장한다.
안구 추적 시스템(600)은 사용자의 안구의 각막 구체(310)의 반경 및 원점 정보를 포함하는 안구 모델 정보를 획득한다(170). 일실시예에서, 안구 추적 시스템(600)은 안구 추적 시스템(600)으로부터 안구 모델 정보를 획득한다(예를 들어, 안구 추적 시스템(300)은 도 4와 관련하여 상술한 바와 같이 안구 모델을 생성한다). 대안으로, 안구 추적 시스템(600)은 안구 추적 시스템(600) 외부(예를 들어, VR 콘솔(110) 또는 시스템 환경(100)의 외부)의 안구 모델 정보를 획득한다.
안구 추적 시스템(600)은 예를 들어 광학 센서(예컨대, 광학 센서(366))에 대해 알려진 위치에 배치되는 2개의 조명 소스(예컨대, 조명 소스(362 및 364))를 켜서 사용자의 안구를 조명한다(720). 이들 조명 소스는 안구의 각막이 광을 반사하도록 사용자의 안구에 입사하는 광을 방출한다.
안구 추적 시스템(600)은 사용자의 각막의 하나 이상의 이미지(즉, 각막 반사 영상)를 캡처한다(730). 각막 반사 영상을 캡처하는 이미지는 도 4와 관련하여 상술한 것과 매우 유사하다. 일실시예에서, 안구 추적 시스템(600)은 하나 이상의 이미지를 캡처한다(730). 하나 이상의 실시예에서, 사용자가 하나 이상의 공지된 타겟(예를 들어, 전자식 디스플레이(235)상의 특정 지점)을 보고 있는 동안 이미지가 캡처된다. 예를 들어, 사용자가 전자식 디스플레이(235)상의 하나의 특정 타겟을 봐야 하는 경우에만 1지점 교정이 수행된다. 대안으로, 시스템(600)은 사용자가 정상 동작 모드에서 VR 헤드셋(105) 상에 디스플레이된 컨텐츠를 보고 있을 때 이미지를 캡처한다.
안구 추적 시스템(600)은 캡처된 하나 이상의 이미지에 기초하여 안구 요소(616)의 형태를 식별한다(740). 광학 센서(366)가 축 상에 (즉, 안구의 동공 축(620)을 따라) 있도록 안구가 컨텐츠를 보고 있을 때, 동공 형태는 광학 센서(366)에 의해 캡처된 이미지에서 원으로 캡처된다. 광학 센서(366)가 축으로부터 벗어나서(즉, 안구의 동공 축(620)을 따르지 않고) 안구가 컨텐츠를 보고 있을 때, 동공 형태는 타원형으로 근사화된다. 일실시예에서, 동공 형태는 하나의 캡처된 이미지를 처리함으로써 식별된다. 예를 들어, 동공의 형태는 안구의 동공 및 홍채와 관련된 다양한 파장의 광의 반사 강도의 변화를 관찰함으로써 동공과 홍채 사이의 경계를 결정하여 식별될 수 있다.　동공은 통상 검은색이며, 홍채는 통상 갈색, 녹갈색, 녹색, 회색 또는 파란색 중 하나이다. 동공은 홍채 영역 내의 개구이기 때문에, 동공의 형태는 홍채 영역과 관련된 하나 이상의 광 파장에서 검은색 동공과 상이한 반사 강도 사이의 경계를 관찰함으로써 식별될 수 있다. 대안으로, 동공 형태는 복수의 캡처된 이미지에 대응하는 확산 조명을 처리함으로써 식별된다.
일실시예에서, 식별된 동공 형태는 수정되어 각막의 굴절 왜곡을 보정한다. 예를 들어, 각막의 굴절 왜곡에 대한 보정은 초기에 전형적인 사람의 눈에 기초하여(예컨대, 경험적 데이터에 기초하여) 구현될 수 있고 이후 사용자의 특정 안구에 대해 더 정확하게 학습될 수 있다. 일부 실시예에서, 각막은 사람의 각막(예컨대, 1.377)에 대한 전형적인 굴절률을 갖는 구체로서 근사화될 수 있다. 동공의 3차원 평면(615)은 각막 표면(610) 뒤로 전형적인 거리(예컨대, 3mm)에 위치한다고 가정될 수 있다. 각막 표면(310)의 반경 및 각막 표면(310)까지의 거리는 도 3, 4 및 5와 관련하여 상술한 프로세스를 통해 알 수 있다. 요소(616)의 가장자리에 있는 것으로 결정된 이미지 평면 내 소정의 지점에 대해, 공지된 형태, 거리 및 가정된 굴절률의 각막에 의해 굴절될 때 이 지점을 통과하는 광선이 발견될 수 있다. 이후, 굴절된 광선은 실제 동공 경계의 위치에서 평면(615)으로 표시된 동공에 부딪히도록 추가로 가정된 거리를 이동한다. 다른 구현에서, 각막의 굴절률 및 동공 평면과의 거리는 교정 중에 측정되거나 사용 과정을 통해 학습될 수 있다.
안구 추적 시스템(600)은 카메라 왜곡 및 각막 굴절에 의해 야기되는 이미지 센서 공간에서의 동공 가장자리 형태의 수차를 먼저 보정하여 동공이 존재하는 평면(615)을 식별(750)한 후, 평면상에 최상의 투영을 찾아서 정지 상태의 동공 형태(예컨대, 원)를 산출한다.
안구 추적 시스템(600)은 안구에 대한 동공 축(예컨대, 동공 축(620))을 결정(760)하는데, 이때 동공 축(620)은 평면(615)으로부터 시작하여 안구의 각막 구체(310)의 표면에 수직인 광선을 식별함으로써 도출된다. 동공의 3D 평면(예컨대, 선(615)으로 표시되는 평면)이 각막 구체의 중심(예컨대, 지점(311))으로부터 오프셋되어 있기 때문에, 동공의 3D 평면으로부터 시작하고 안구의 각막 구체(310)의 표면에 수직인 하나의 광선이 존재한다.
일실시예에서, 결정된 동공 축(620)은 안구의 중심와 중앙 영역의 중심(630)의 위치에 의해 표현되는 동공 축(620)과 안구의 실제 가시선 사이의 각도 오프셋을 결정하는데 사용된다. 각도 오프셋을 결정하는 하나의 예시적인 방법은 사용자가 VR 헤드셋(105)의 디스플레이의 공지된 위치에 있는 타겟을 고정시키도록 요청한 후, 동공 축(즉, 제시된 타겟에 고정시킬 때 사용자의 안구가 경험하는 예측 회전량에 대해 조정되는 동공 축(620))과 제시된 타겟으로의 가시선 사이의 각도 델타를 측정한다. 측정된 각도 델타는 동공 축(620)과 안구의 실제 가시선 사이의 각도 오프셋을 나타낸다.
안구 추적 시스템(600)은 결정된 동공 축(620) 및/또는 각도 오프셋에 일부 기초하여 하나 이상의 광학 동작을 수행한다(770). 예시적인 광학 동작은 사용자의 응시 방향, 사용자의 이향운동각(또는 이향운동심도), 사용자의 조절 심도, 사용자의 식별 및 안구의 비틀림 상태 또는 이들의 임의의 조합을 결정하는 것을 포함한다. 예를 들어, 사용자가 보고 있는 곳(즉, 사용자의 시선)의 결정은 사용자가 특정 방향으로 보고 있는 동안 동공의 이미지를 캡처함으로써 이루어질 수 있다. 상술한 바와 같이, 안구 추적 시스템(600)은 동공 학습 모델의 이미지의 동공 이미지와 캡처된 동공 이미지를 비교할 수 있고, 획득된 안구 모델 정보를 이용하여 사용자의 시선을 추정할 수 있다. 가령 사용자의 식별 및 안구의 비틀림 상태와 같은 다른 예시적인 동작들은 안구의 홍채를 추적함으로써 결정될 수 있다. 예를 들어, (예컨대, 하나 이상의 안구에 대한) 사용자의 홍채는 이미지로 캡처될 수 있고 메모리(예컨대, VR 헤드셋(105), VR 콘솔(110) 또는 클라우드)에 저장될 수 있다.　이후, 저장된 홍채 이미지는 추후 캡처된 홍채 이미지와 비교함으로써 사용자를 식별하는데 사용될 수 있다. 예시적인 광학 동작 중 일부는 광학 동작을 수행하기 위해 사용자의 양안의 캡처된 각막 반사 데이터 및/또는 교정 데이터(예컨대, 동공 축 및/또는 가시선과의 각도 오프셋)를 필요로 할 수 있고, 예시적인 프로세스(400, 500 및/또는 700) 중 하나 이상의 단계는 이러한 광학 동작을 수행하기 위해 사용자의 다른 안구에 대해 (동시에 또는 순차적으로) 구현될 수 있다.
추가적인 구성 정보
본 실시예들의 상술한 설명은 예시의 목적으로 제시된 것으로서, 배타적이거나 개시된 정확한 형태들로 본 특허권을 제한하고자 하는 것이 아니다. 당업자는 상술한 명세서의 관점에서 많은 변경 및 변형이 가능함을 이해할 수 있다.
본 명세서에 사용된 언어는 가독성과 지시의 목적을 위해 원칙적으로 선택된 것으로서 발명의 대상을 제한하거나 한정하도록 선택된 것이 아니다. 따라서, 본 특허권의 범위는 발명의 상세한 설명에 의해서가 아니라 본 명세서를 기초로 출원된 임의의 청구범위들에 의해 한정되는 것으로 의도된다. 따라서, 본 실시예들의 개시내용은 하기의 청구범위에 제시된 특허권의 범위를 예시하기 위한 것이며, 제한하려는 것이 아니다.

Claims (33)

  1. 안구 추적 시스템을 포함하는 헤드 마운트 디스플레이(HMD)로서,
    상기 안구 추적 시스템은:
    사용자의 안구를 조명하도록 구성된 2 이상의 조명 소스;
    2 이상의 조명 소스로부터의 조명에 응답하여 사용자의 안구의 각막으로부터 반사된 광을 포함하는 사용자의 안구의 하나 이상의 이미지를 캡처하도록 구성된 검출기; 및
    제어 모듈을 포함하고,
    상기 제어 모듈은:
    캡쳐된 사용자의 안구의 하나 이상의 이미지를 기준 안구의 학습 모델과 비교함으로써 사용자의 안구의 모델에 관한 하나 이상의 파라미터 값을 결정하고,
    하나 이상의 파라미터 값을 사용하여 사용자의 안구의 모델을 생성하고,
    제어 모듈의 프로세서에 의해, 생성된 사용자의 안구의 모델에 일부 기초하는 광학 동작을 수행하도록 구성되며,
    학습 모델은 기준 안구의 하나 이상의 움직임과 기준 안구에 관한 각막 반사 사이의 관계를 포함하고,
    생성된 모델은 사용자의 안구의 공막 면(scleral surface)의 일부를 근사화한 제1 구체 및 각막을 근사화한 제2 구체를 포함하는 헤드 마운트 디스플레이(HMD).
  2. 제 1 항에 있어서,
    2 이상의 조명 소스는, 검출기가 각막으로부터 반사된 광에 기초하여 2 이상의 조명 소스의 하나 이상의 이미지를 캡처할 수 있도록, 서로에 대해 위치-결정되는 헤드 마운트 디스플레이(HMD).
  3. 제 1 항에 있어서,
    2 이상의 조명 소스는 전자식 디스플레이의 일부인 헤드 마운트 디스플레이(HMD).
  4. 제 1 항에 있어서,
    2 이상의 조명 소스 각각은 서로 다른 파장의 광을 방출하도록 구성되는 헤드 마운트 디스플레이(HMD).
  5. 제 1 항에 있어서,
    2 이상의 조명 소스 각각에 의해 방출된 광은 서로 다른 주파수 및 서로 다른 진폭으로 변조되는 헤드 마운트 디스플레이(HMD).
  6. 제 1 항에 있어서,
    2 이상의 조명 소스는 링 패턴을 형성하는 헤드 마운트 디스플레이(HMD).
  7. 제 1 항에 있어서,
    검출기는 사용자의 안구의 복수의 이미지를 캡처할 수 있는 광학 센서인 헤드 마운트 디스플레이(HMD).
  8. 제 1 항에 있어서,
    제어 모듈은:
    하나 이상의 각막 반사를 포함하는 사용자의 안구의 하나 이상의 캡처된 이미지를 수신하고;
    안구의 모델을 생성하며;
    헤드 마운트 디스플레이(HMD)와 관련된 데이터베이스에 생성된 모델을 저장하도록 또한, 구성되고,
    생성된 안구의 모델은 제1 구체에 관한 반경과 원점 및 제2 구체에 관한 반경과 원점을 포함하는 헤드 마운트 디스플레이(HMD).
  9. 제 8 항에 있어서,
    제어 모듈은 제1 구체의 원점에 대한 회전으로서 각막 운동을 모델링하도록 더 구성되는 헤드 마운트 디스플레이(HMD).
  10. 삭제
  11. 제 1 항에 있어서,
    광학 동작은: 사용자의 이향운동각(vergence angle)을 결정하는 것, 사용자의 조절 심도(accommodation depth)를 결정하는 것, 사용자를 식별하는 것, 안구의 비틀림 상태(torsional state)를 결정하는 것, 또는 이들의 일부의 조합으로 구성된 그룹에서 선택되는 헤드 마운트 디스플레이(HMD).
  12. 사용자에게 이미지를 디스플레이하도록 구성된 전자식 디스플레이;
    전자식 디스플레이로부터 광학 블록에 의해 수신된 광을 확대하도록 구성된 광학 블록; 및
    안구 추적 시스템을 포함하는 헤드 마운트 디스플레이(HMD)로서,
    상기 안구 추적 시스템은:
    사용자의 안구의 표면을 조명하도록 구성된 2 이상의 조명 소스;
    2 이상의 조명 소스로부터의 조명에 응답하여 사용자의 안구의 각막으로부터 반사된 광을 포함하는 사용자의 안구의 하나 이상의 이미지를 캡처하도록 구성된 검출기; 및
    제어 모듈을 포함하고,
    상기 제어 모듈은:
    캡쳐된 사용자의 안구의 하나 이상의 이미지를 기준 안구의 학습 모델과 비교함으로써 사용자의 안구의 모델에 관한 하나 이상의 파라미터 값을 결정하고,
    하나 이상의 파라미터 값을 사용하여 사용자의 안구의 모델을 생성하고,
    제어 모듈의 프로세서에 의해, 생성된 사용자의 안구의 모델에 일부 기초하는 광학 동작을 수행하도록 구성되며,
    학습 모델은 기준 안구의 하나 이상의 움직임과 기준 안구에 관한 각막 반사 사이의 관계를 포함하고,
    생성된 모델은 사용자의 안구의 공막 면(scleral surface)의 일부를 근사화한 제1 구체 및 각막을 근사화한 제2 구체를 포함하는 헤드 마운트 디스플레이(HMD).
  13. 제 12 항에 있어서,
    2 이상의 조명 소스는, 검출기가 각막으로부터 반사된 광에 기초하여 2 이상의 조명 소스의 하나 이상의 이미지를 캡처할 수 있도록, 서로에 대해 위치-결정되는 헤드 마운트 디스플레이(HMD).
  14. 제 12 항에 있어서,
    2 이상의 조명 소스는 전자식 디스플레이의 일부인 헤드 마운트 디스플레이(HMD).
  15. 제 12 항에 있어서,
    제어 모듈은:
    하나 이상의 각막 반사를 포함하는 사용자의 안구의 하나 이상의 캡처된 이미지를 수신하고;
    안구의 모델을 생성하며;
    헤드 마운트 디스플레이(HMD)와 관련된 데이터베이스에 생성된 모델을 저장하도록 또한, 구성되고,
    생성된 안구의 모델은 제1 구체에 관한 반경과 원점 및 제2 구체에 관한 반경과 원점을 포함하는 헤드 마운트 디스플레이(HMD).
  16. 제 15 항에 있어서,
    제어 모듈은 제1 구체의 원점에 대한 회전으로서 각막 운동을 모델링하도록 더 구성되는 헤드 마운트 디스플레이(HMD).
  17. 삭제
  18. 제 12 항에 있어서,
    광학 동작은: 사용자의 이향운동각(vergence angle)을 결정하는 것, 사용자의 조절 심도(accommodation depth)를 결정하는 것, 사용자를 식별하는 것, 안구의 비틀림 상태(torsional state)를 결정하는 것, 또는 이들의 일부의 조합으로 구성된 그룹에서 선택되는 헤드 마운트 디스플레이(HMD).
  19. 2 이상의 조명 소스로부터의 광으로 사용자의 안구를 조명하는 단계;
    검출기에서, 2 이상의 조명 소스로부터의 조명에 응답하여 사용자의 안구의 각막으로부터 반사된 광을 포함하는 조명된 사용자의 안구의 하나 이상의 이미지를 캡처하는 단계;
    캡쳐된 사용자의 안구의 하나 이상의 이미지를 기준 안구의 학습 모델과 비교함으로써 사용자의 안구의 모델에 관한 하나 이상의 파라미터 값을 결정하는 단계;
    하나 이상의 파라미터 값을 사용하여 사용자의 안구의 모델을 생성하는 단계; 및
    제어 모듈의 프로세서에 의해, 생성된 안구의 모델에 일부 기초하는 광학 동작을 수행하는 단계를 포함하고,
    학습 모델은 기준 안구의 하나 이상의 움직임과 기준 안구에 관한 각막 반사 사이의 관계를 포함하고,
    생성된 모델은 사용자의 안구의 공막 면(scleral surface)의 일부를 근사화한 제1 구체 및 각막을 근사화한 제2 구체를 포함하는 안구 추적 방법.
  20. 제 19 항에 있어서,
    2 이상의 조명 소스는, 검출기가 각막으로부터 반사된 광에 기초하여 2 이상의 조명 소스의 하나 이상의 이미지를 캡처할 수 있도록, 서로에 대해 위치-결정되는 안구 추적 방법.
  21. 제 19 항에 있어서,
    2 이상의 조명 소스는 전자식 디스플레이의 일부인 안구 추적 방법.
  22. 제 19 항에 있어서,
    2 이상의 조명 소스로부터의 광으로 사용자의 안구를 조명하는 단계는 적어도 2개의 서로 다른 파장의 광으로 사용자의 안구를 조명하는 단계를 포함하는 안구 추적 방법.
  23. 제 19 항에 있어서,
    2 이상의 조명 소스 각각에 의해 방출된 광은 서로 다른 주파수 및 서로 다른 진폭으로 변조되는 안구 추적 방법.
  24. 제 19 항에 있어서,
    2 이상의 조명 소스는 링 패턴을 형성하는 안구 추적 방법.
  25. 제 19 항에 있어서,
    검출기는 사용자의 안구의 복수의 이미지를 캡처할 수 있는 광학 센서인 안구 추적 방법.
  26. 제 19 항에 있어서,
    하나 이상의 각막 반사를 포함하는 사용자의 안구의 하나 이상의 캡처된 이미지를 수신하는 단계;
    안구의 모델을 생성하는 단계; 및
    헤드 마운트 디스플레이(HMD)와 관련된 데이터베이스에 생성된 모델을 저장하는 단계를 더 포함하고,
    생성된 안구의 모델은 제1 구체에 관한 반경과 원점 및 제2 구체에 관한 반경과 원점을 포함하는 안구 추적 방법.
  27. 제 26 항에 있어서,
    제1 구체의 원점에 대한 회전으로서 각막 운동을 모델링하는 단계를 더 포함하는 안구 추적 방법.
  28. 삭제
  29. 제 19 항에 있어서,
    광학 동작은: 사용자의 이향운동각(vergence angle)을 결정하는 것, 사용자의 조절 심도(accommodation depth)를 결정하는 것, 사용자를 식별하는 것, 안구의 비틀림 상태(torsional state)를 결정하는 것, 또는 이들의 일부의 조합으로 구성된 그룹에서 선택되는 안구 추적 방법.
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
KR1020187026401A 2016-03-11 2017-03-10 안구 모델을 생성하기 위한 각막의 구체 추적 KR102062658B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662306758P 2016-03-11 2016-03-11
US201662306777P 2016-03-11 2016-03-11
US62/306,758 2016-03-11
US62/306,777 2016-03-11
PCT/US2017/021956 WO2017156486A1 (en) 2016-03-11 2017-03-10 Corneal sphere tracking for generating an eye model

Publications (2)

Publication Number Publication Date
KR20180115285A KR20180115285A (ko) 2018-10-22
KR102062658B1 true KR102062658B1 (ko) 2020-01-06

Family

ID=59790858

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187026401A KR102062658B1 (ko) 2016-03-11 2017-03-10 안구 모델을 생성하기 위한 각막의 구체 추적

Country Status (5)

Country Link
EP (1) EP3329316B1 (ko)
JP (1) JP6576574B2 (ko)
KR (1) KR102062658B1 (ko)
CN (1) CN108780223B (ko)
WO (1) WO2017156486A1 (ko)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10424103B2 (en) * 2014-04-29 2019-09-24 Microsoft Technology Licensing, Llc Display device viewer gaze attraction
EP3540574B1 (en) * 2018-03-15 2021-08-11 HTC Corporation Eye tracking method, electronic device, and non-transitory computer readable storage medium
WO2020016631A1 (en) 2018-07-16 2020-01-23 Bosch Car Multimedia Portugal S.a. Artificial eye for calibration of an eye-tracker, eye tracking calibration system and method thereof
EP3884333B1 (en) * 2018-11-21 2022-08-10 Telefonaktiebolaget Lm Ericsson (Publ) Calibration of mobile electronic devices connected to headsets wearable by users
ES2924701T3 (es) * 2018-12-11 2022-10-10 Tobii Ab Estimación de posición en pantalla
KR102187260B1 (ko) * 2018-12-18 2020-12-04 상명대학교산학협력단 영상멀미 민감도 측정 방법 및 장치
ES2926361T3 (es) * 2018-12-21 2022-10-25 Tobii Ab Calibración continua basada en características de la pupila
SE543240C2 (en) * 2018-12-21 2020-10-27 Tobii Ab Classification of glints using an eye tracking system
US11042034B2 (en) * 2018-12-27 2021-06-22 Facebook Technologies, Llc Head mounted display calibration using portable docking station with calibration target
CN111752383A (zh) * 2019-03-29 2020-10-09 托比股份公司 更新角膜模型
CN111757089A (zh) * 2019-03-29 2020-10-09 托比股份公司 利用眼睛的瞳孔增强调节来渲染图像的方法和系统
US10948729B2 (en) * 2019-04-16 2021-03-16 Facebook Technologies, Llc Keep-out zone for in-field light sources of a head mounted display
US11376733B2 (en) * 2019-06-11 2022-07-05 Facebook Technologies, Llc Mechanical eyeball for animatronic devices
CN112148119A (zh) * 2019-06-26 2020-12-29 托比股份公司 用于在数字图像数据中确定眼睛位置的方法、眼睛追踪器和计算机程序
CN112578556B (zh) * 2019-09-27 2023-02-21 托比股份公司 用于减少来自光学装置的不合需的反射的眼睛跟踪系统
TWI761930B (zh) * 2019-11-07 2022-04-21 宏達國際電子股份有限公司 頭戴式顯示裝置以及距離量測器
KR102240190B1 (ko) * 2019-11-29 2021-04-14 한국표준과학연구원 Ｖｒ 또는 ａｒ 기기용 렌즈와 광학계 광학특성 측정시스템
CN113010125B (zh) * 2019-12-20 2024-03-19 托比股份公司 方法、计算机程序产品和双目式头戴装置控制器
KR102359602B1 (ko) * 2020-03-10 2022-02-08 한국과학기술원 디스플레이를 위한 시선 입력 방법 및 이를 수행하는 장치들
CN111738967B (zh) * 2020-05-21 2022-01-04 完美世界(北京)软件科技发展有限公司 模型生成方法和装置、存储介质和电子装置
US11940630B2 (en) 2020-05-27 2024-03-26 Sony Group Corporation Display apparatus and display method
CN111812857B (zh) * 2020-07-20 2022-01-11 上海青研科技有限公司 显示装置、方法与应用
JPWO2022079587A1 (ko) * 2020-10-12 2022-04-21
US11523095B2 (en) * 2020-12-21 2022-12-06 Infineon Technologies Ag Mems mirror-based extended reality projection with eye-tracking
EP4279982A1 (en) * 2021-01-14 2023-11-22 Sony Group Corporation Image display device and image display system
KR102483010B1 (ko) * 2021-01-29 2022-12-30 원텍 주식회사 안구미세운동 측정장치
CN115128802A (zh) * 2021-03-24 2022-09-30 群创光电股份有限公司 影像的显示方法
US11815689B2 (en) 2021-04-30 2023-11-14 Semiconductor Energy Laboratory Co., Ltd. Electronic device
KR20240020960A (ko) * 2022-08-09 2024-02-16 삼성전자주식회사 시선 방향을 식별하는 전자 장치 및 그 작동 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130114043A1 (en) 2011-11-04 2013-05-09 Alexandru O. Balan See-through display brightness control
JP2015045782A (ja) 2013-08-29 2015-03-12 アイシン・エィ・ダブリュ株式会社 ヘッドアップディスプレイ装置
US20150070389A1 (en) 2012-03-29 2015-03-12 Sony Corporation Information processing apparatus, information processing system, and information processing method

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06319701A (ja) * 1993-05-11 1994-11-22 Fuji Xerox Co Ltd 視線認識装置
JP3453911B2 (ja) * 1995-03-02 2003-10-06 富士ゼロックス株式会社 視線認識装置
US5808802A (en) * 1996-11-15 1998-09-15 Daewoo Electronics Co. Ltd. Head-mounted display apparatus with a single image display device
JP2002143094A (ja) * 2000-11-07 2002-05-21 Nac Image Technology Inc 視線検出装置
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
JP5167545B2 (ja) * 2006-03-31 2013-03-21 国立大学法人静岡大学 視点検出装置
US7542210B2 (en) * 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
JP5030595B2 (ja) * 2007-01-09 2012-09-19 スカラ株式会社 ヘッドマウントディスプレイ
WO2009001558A1 (ja) * 2007-06-27 2008-12-31 Panasonic Corporation ヒト状態推定装置およびその方法
JP5163982B2 (ja) * 2008-06-16 2013-03-13 国立大学法人神戸大学 視線計測装置、視線計測プログラム、視線計測方法、および視線計測装置用ディスプレイ
KR101506525B1 (ko) * 2012-07-31 2015-03-27 도꾸리쯔교세이호징 가가꾸 기쥬쯔 신꼬 기꼬 주시점 검출 장치, 주시점 검출 방법, 개인 파라미터 산출 장치, 개인 파라미터 산출 방법, 프로그램, 및 컴퓨터 판독 가능한 기록 매체
US20140152558A1 (en) * 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
GB201310368D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
EP2821839A1 (de) * 2013-07-03 2015-01-07 Airbus Defence and Space GmbH HMD-Vorrichtung mit einstellbarer Eye-Tracking-Einrichtung
US10520730B2 (en) * 2013-09-04 2019-12-31 Essilor International Methods and systems for augmented reality
US9785233B2 (en) * 2014-04-11 2017-10-10 Facebook, Inc. Systems and methods of eye tracking calibration
AU2015297035B2 (en) * 2014-05-09 2018-06-28 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130114043A1 (en) 2011-11-04 2013-05-09 Alexandru O. Balan See-through display brightness control
US20150070389A1 (en) 2012-03-29 2015-03-12 Sony Corporation Information processing apparatus, information processing system, and information processing method
JP2015045782A (ja) 2013-08-29 2015-03-12 アイシン・エィ・ダブリュ株式会社 ヘッドアップディスプレイ装置

Also Published As

Publication number Publication date
EP3329316A4 (en) 2019-03-27
EP3329316A1 (en) 2018-06-06
KR20180115285A (ko) 2018-10-22
CN108780223A (zh) 2018-11-09
EP3329316B1 (en) 2023-09-20
JP2019512726A (ja) 2019-05-16
JP6576574B2 (ja) 2019-09-18
CN108780223B (zh) 2019-12-20
WO2017156486A1 (en) 2017-09-14

Similar Documents

Publication Publication Date Title
KR102062658B1 (ko) 안구 모델을 생성하기 위한 각막의 구체 추적
US10614577B1 (en) Eye tracking system with single point calibration
JP6902075B2 (ja) 構造化光を用いた視線追跡
US11016301B1 (en) Accommodation based optical correction
US10257507B1 (en) Time-of-flight depth sensing for eye tracking
US10401625B2 (en) Determining interpupillary distance and eye relief of a user wearing a head-mounted display
US9959678B2 (en) Face and eye tracking using facial sensors within a head-mounted display
US10109067B2 (en) Corneal sphere tracking for generating an eye model
US20170160798A1 (en) Focus adjustment method for a virtual reality headset
EP3252566B1 (en) Face and eye tracking and facial animation using facial sensors within a head-mounted display
CN107427208B (zh) 用于通过透镜系统提供无漂移的眼部跟踪的头戴式眼部跟踪设备和方法
KR102144040B1 (ko) 헤드 마운트 디스플레이의 얼굴 센서를 사용한 얼굴과 안구 추적 및 얼굴 애니메이션
US20180173303A1 (en) Eye tracking using a light field camera on a head-mounted display
US10430988B2 (en) Facial animation using facial sensors within a head-mounted display
CN110554501B (zh) 头戴式显示器及用于确定佩戴其的用户的视线的方法
US10859832B1 (en) Mitigating light exposure to elements of a focus adjusting head mounted display
US10623743B1 (en) Compression of captured images including light captured from locations on a device or object
CN117957479A (en) Compact imaging optics with distortion compensation and image sharpness enhancement using spatially positioned freeform optics
CN117980796A (zh) 产生用于眼动追踪的闪烁和虹膜照明的技术

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant