KR101953704B1

KR101953704B1 - 광학 흐름을 사용한 안구 추적

Info

Publication number: KR101953704B1
Application number: KR1020187011085A
Authority: KR
Inventors: 데이비드 알. 퍼렉; 워렌 앤드류 헌트; 마샬 토마스 드퓨; 로버트 데일 캐빈
Original assignee: 페이스북 테크놀로지스, 엘엘씨
Priority date: 2015-11-06
Filing date: 2016-11-04
Publication date: 2019-03-04
Also published as: WO2017079689A1; EP3371973A4; EP3371973B1; CN108352075B; US10013055B2; CN108352075A; EP3371973A1; KR20180112754A; US20170131765A1; JP2020115630A; JP2019506017A; JP6990220B2

Abstract

안구 추적 시스템은 이미징되는 표면의 질감으로부터 기인하는 광학 흐름 장을 캡처하기 위하여 사용자의 각 안구의 표면(예컨대, 공막)을 이미징한다. 안구 추적 시스템은 조명 소스(예컨대, 레이저)와 감지기(예컨대, 카메라)를 포함한다. 소스는 카메라에 이미징되는 안구의 일부를 조명한다. 안구가 움직임에 따라, 안구의 상이한 영역이 이미징되어, 안구의 일부의 맵을 생성할 수 있게 한다. 안구의 일부의 이미지는 안구의 일부에 대응하는 회절 패턴(즉, 광학 흐름)을 포함한다. 캘리브레이션 프로세스를 통하여, 광학 흐름은 안구가 보는 장소에 매핑된다.

Description

광학 흐름을 사용한 안구 추적

본 명세서는 일반적으로 가상 현실 시스템 사용자의 안구 위치를 추적하는 것에 관한 것이고, 특히 안구의 표면 상의 코히어런트 광의 회절 패턴을 사용하여 안구 위치를 추적하는 것에 관한 것이다.

가상 현실 시스템은 일반적으로 가상 현실 이미지를 표시하는 디스플레이 패널을 포함하는데, 가상 현실 환경에만 속하는 요소를 묘사할 수 있다. 디스플레이 패널은 증간 현실 애플리케이션에서와 같이 실제 요소(물리적 세계의 긴 풀)와 가상 요소(긴 풀 속에 숨은 애니메이션 동물)를 조합할 수도 있다. 가상 현실 시스템과 상호작용하기 위하여, 사용자는 가상 현실 이미지의 일부로 향하는 입력을 만든다. 일부 가상 현실 시스템은 손 및 손가락 움직임을 입력 신호로 변환하는 전용 주변 장치를 포함한다. 하지만, 전통적인 주변 장치는 인공적으로 사용자를 가상 현실 시스템과 분리시키는데, 사용자가 가상 환경에서 완전히 몰입하는 경험을 가지는 것을 방해한다. 안구 축적 시스템은 손에 드는 주변 장치에 주로 의존하는 인터페이스보다 더 몰입하는 인터페이스를 제공한다. 하지만, 기존의 안구 축적 시스템은 휴대용, 경량 및 고성능 가상 현실 헤드셋에 사용하기에 적합하지 않다.

본 발명의 내용 중에 포함되어 있다.

가상 현실(VR) 시스템 환경은 전자 디스플레이를 통해 사용자에게 컨텐츠를 표시하도록 구성된 VR 헤드셋 및 사용자에게 표시하기 위하여 컨텐츠를 생성하고 생성된 컨텐츠를 표시하기 위해 VR 헤드셋에 제공하도록 구성된 VR 콘솔을 포함한다. 표시되는 컨텐츠와의 사용자 상호작용을 향상시키기 위하여, VR 콘솔은 사용자가 어디를 보고 있는지에 기반하여 컨텐츠를 수정 또는 생성하는데, 사용자의 안구 추적에 의하여 결정된다. 따라서, VR 헤드셋은 사용자의 안구의 표면을 레이저와 같은 VR 헤드셋에 장착된(예컨대, 내부에) 코히어런트 광원으로 조명한다.

VR 헤드셋에 포함된 이미징 장치는 사용자의 안구 표면의 표면에 의해 반사된 광을 캡처한다. 일부 실시예에서, 사용자의 안구의 표면에서 반사된 광은 이미징 장치의 이미지 센서가 안구 표면에서 반사된 광을 수신하기 전에 반사성 광 편광기에 의해 편광되거나 안구 표면에서 반사된 광을 포커싱하거나 다르게 수정하는 렌즈 어셈블리에 의해 반사될 수 있다. 안구의 표면이 거칠수록, 이미징 장치의 이미징 센서에 의해 캡처된 광은 사용자의 안구의 표면의 다수의 부분에서 반사된 광의 조합으로부터 형성된 스페클 또는 회절 패턴일 수 있다.

일부 실시예에서, 이미징 장치에 의해 캡처된 광으로부터 형성되는 이미지의 콘트라스트를 향상시키기 위하여 VR 헤드셋은 하나 이상의 이미지 처리 동작을 수행한다. 이미지 처리 동작의 예시는 센서 보정(예컨대, 블랙 레벨 조정, 렌즈 왜곡 보정, 감마 보정) 및 조명 레벨 보정(예컨대, 화이트 밸런스 보정)을 포함한다. VR 헤드셋은 캡처된 광으로부터 이미지의 콘트라스트를 향상시키기 위하여 히스토그램 평활화 또는 임의의 다른 기술도 수행할 수 있다. 일부 실시예에서, VR 헤드셋은 전자 디스플레이 또는 외부 광원에 의한 사용자의 안구의 표면의 다양한 조명에 의해 야기되는 노이즈를 감소시키기 위하여 조명 레벨 보정을 수행할 수 있다. 대안적으로 또는 추가적으로, VR 콘솔은 VR 헤드셋의 이미징 장치에 의해 획득되고 VR 헤드셋으로부터 VR 콘솔로 통신되는 이미지에 하나 이상의 이미지 처리 동작을 수행한다.

VR 헤드셋은 캡처된 광으로부터 이미징 장치에 의해 캡처된 이미지 또는 캡처된 이미지로부터 도출된 데이터를 포함하는 안구 추적 데이터를 VR 콘솔로 송신한다. 예를 들어, 안구 추적 데이터는 하나 이상의 이미지 처리 동작을 통해 수정된 캡처된 이미지의 버전을 포함한다. 다른 예로, 안구 추적 데이터는 이미지 캡처 장치에 의해 캡처된 이미지 및 코히어런트 광원 외의 소스에 의한 사용자의 안구의 표면의 광을 설명하는 데이터를 포함한다. 대안적으로, VR 헤드셋은 사용자의 안구를 추적하기 위한 컴포넌트를 포함하여, VR 헤드셋은 안구 추적 데이터를 VR 콘솔로 송신하지 않는다.

일부 실시예에서, VR 콘솔은 수신된 안구 추적 데이터가 안구 위치를 정확하게 결정하는데 사용할 수 있는 유효 측정에 대응한다고 검증한다. 예를 들어, VR 콘솔은 안구 추적 데이터의 대표 성능 지수를 결정하고 대표 성능 지수를 유효성 임계치와 비교한다. 만약 대표 성능 지수가 유효성 임계치 미만이면, VR 콘솔은 수신된 안구 추적 데이터가 유효하지 않다고 결정한다. 하지만, 만약 대표 성능 지수가 유효성 임계치와 같거나 초과한다면, VR 콘솔은 수신된 안구 추적 데이터가 유효 측정에 대응한다고 검증한다. 대표 성능 지수는 이미지 데이터의 픽셀값(예컨대, 픽셀 그레이 레벨, 휘도값, 상대적 픽셀 강도)의 합, 평균, 중간값, 범위, 표준 편차 또는 다른 정량일 수 있다. 대표 성능 지수는 수신된 안구 추적 데이터에 포함된 이미지의 모든 픽셀의 성능 지수로부터 결정되거나 샘플링 기술에 의하여 수신된 안구 추적 데이터에 포함된 이미지의 픽셀의 서브셋으로부터 추정될 수 있다. 예를 들어, 사용자가 눈을 깜박일 때, 픽셀 강도값의 합이 감소하고, VR 콘솔은 상대적 픽셀 강도의 합이 유효성 임계치 미만이라고 결정하는데 응답하여 수신된 안구 추적 데이터가 유효하지 않다고 결정한다. 다양한 실시예에서, 유효성 임계치는 VR 헤드셋의 제조 동안 명시되거나 VR 헤드셋의 캘리브레이션 동안 결정된다. 상대적 픽셀 강도에 기반하여 성능 지수를 결정할 때, 상대적 강도가 결정되는 다양한 픽셀의 인덱스가 다양한 실시예에서 성능 지수의 결정에 영향을 준다. 수신된 안구 추적 데이터의 유효성을 검증할 때 변화하는 외부 조명 조건을 고려하기 위하여, 유효성 임계치는 수신된 안구 추적 데이터의 임계 시간 내에 캡처된 이전에 수신된 안구 추적 데이터의 대표 성능 지수의 트레일링 평균 또는 수신된 안구 추적 데이터의 임계 시간 내에 캡처되고 유효한 것으로 결정된 이전에 수신된 안구 추적 데이터의 대표 성능 지수의 트레일링 평균에 기반하여 동적으로 결정될 수 있다.

VR 콘솔은 수신된 안구 추적 데이터로부터 안구 위치를 결정하기 위하여 캘리브레이션 데이터에 접근한다. 캘리브레이션 데이터는 이미지 캡처 장치의 이미지 센서의 서브픽셀에 대응하는 사용자의 눈의 표면 상의 거리를 나타내는 서브픽셀 거리를 포함할 수 있다. 만약 이미지 센서의 서브픽셀이 사용자의 눈의 표면 상의 직사각형(또는 타원형) 영역에 대응한다면, 캘리브레이션 데이터는 사용자의 안구의 표면을 따르는 직교 방향에 대응하는 두 서브픽셀 거리(예컨대, 사용자의 눈의 표면 상의 영역의 길이 및 폭)를 포함할 수 있다. 서브픽셀 거리는 이미지 센서와 사용자의 눈의 표면 사이의 거리로부터 부분적으로 결정될 수 있다. 이미지 센서와 사용자의 안구의 표면 사이의 거리는 캘리브레이션 기간 동안 결정되거나 VR 헤드셋에 포함된 거리 측정 장치(예컨대, 레이저 거리계, 소나)를 통해 동적으로 결정될 수 있다. 다양한 실시예에서, VR 헤드셋은 주기적으로 이미지 센서와 사용자의 안구의 표면 사이의 거리를 결정하거나(예컨대, 초당 한번), VR 헤드셋이 켜지는데 응답하여 이미지 센서와 사용자의 안구 사이의 거리, 또는 VR 헤드셋에 포함된 위치 센서로부터 사용자의 머리의 VR 헤드셋의 조정을 가리키는 측정 신호를 수신하는데 응답하여 이미지 센서와 사용자의 안구의 표면 사이의 거리를 결정한다. 서브픽셀 거리는 이미지 캡처 장치의 속성인 픽셀에 대응하는 라디안 각도를 이미지 센서와 사용자의 안구의 표면 사이의 거리를 곱함으로써 결정될 수 있다. 서브픽셀 거리를 사용하여, VR 콘솔은 수신된 안구 추적 데이터로부터의 사용자의 안구의 표면의 두 이미지 사이의 서브픽셀 시프트로부터 안구 위치의 변화를 결정한다.

대안적으로 또는 추가적으로, VR 콘솔은 캘리브레이션 기간 동안 캡처된 참조 이미지를 포함하는 표(예컨대, 룩업 테이블)로부터 캘리브레이션 데이터에 접근한다. 참조 이미지는 알려진 안구 위치, VR 헤드셋의 전자 디스플레이 상의 특정 시선점 또는 둘 모두에 대응한다. 예시적인 캘리브레이션 기간 동안, VR 헤드셋은 사용자에게 전자 디스플레이 상의 일련의 아이콘을 응시하도록 지시하고 사용자가 각 아이콘을 응시할 때 참조 이미지를 캡처한다. 참조 이미지는 캡처시 아이콘의 시선점에 대응하고, VR 콘솔은 안구의 모델 및 VR 헤드셋에 포함된 다른 안구 추적 시스템으로부터 참조 이미지에 대응하는 안구 위치를 추론한다. VR 콘솔은 수신된 안구 추적 데이터로부터의 후속 이미지와의 매칭을 가능하게 하기 위하여 참조 이미지를 저장하거나 안구 이미지의 압축된 표현을 저장할 수 있다. 예를 들어, VR 콘솔은 각 참조 이미지에 대한 지문을 생성하거나, 각 참조 이미지로부터 특징(예컨대, 얼룩, 에지, 융선, 모서리)을 추출하거나, 둘 모두를 한다. 추출된 특징은 사용자의 안구의 표면 상의 특징의 위치, 특징의 구성 픽셀 또는 둘 모두를 식별하는 정보와 연관하여 저장될 수 있다. 참조 이미지(또는 그 압축된 표현)을 사용하여, VR 콘솔은 수신된 안구 추적 데이터로부터 단일 이미지를 참조하여 안구 위치를 결정할 수 있다.

접근된 캘리브레이션 데이터를 사용하여, VR 콘솔은 수신된 안구 추적 데이터로부터 안구 위치를 결정한다. 일부 실시예에서, VR 콘솔은 참조 안구 위치와 연관된 참조 이미지를 획득한다. 예를 들어, 이미지 캡처 장치는 다른 안구 추적 시스템(예컨대, 저속 안구 추적 시스템)이 독립적으로 참조 안구 위치를 결정하는 동시에 참조 이미지를 캡처한다. VR 콘솔은 업데이트된 이미지와 참조 이미지 간의 서브픽셀 시프트를 결정하고, 서브픽셀 시프트로부터 안구 시프트 거리를 결정하고, 참조 안구 위치와 안구 시프트 거리를 조합함으로써 업데이트된 안구 위치를 결정한다. 서브픽셀 시프트를 결정하기 위하여, VR 콘솔은 임의의 모션 추적 또는 광학 흐름 기술(예컨대, 위상 상관, 블록 매칭, 차등 광학 흐름법)을 사용할 수 있다. VR 콘솔은 결정된 서브픽셀 시프트와 접근된 캘리브레이션 데이터로부터의 서브픽셀 거리값을 곱함으로써 안구 시프트 거리를 결정한다. 서브픽셀 시프트는 2차원(예컨대, 5 서브픽셀 위, 3 서브픽셀 왼쪽)일 수 있고, 안구 시프트 거리도 2차원(예컨대, 50 마이크로미터 위, 30 마이크로미터 왼쪽)일 수 있다. 안구 시프트 거리를 사용하여, VR 콘솔은 참조 안구 위치를 안구 시프트 거리만큼 이동시킴으로써 업데이트된 안구 위치를 결정한다. 업데이트된 안구 위치를 결정할 때, VR 콘솔은: 안구의 방향과 위치를 업데이트하거나, 업데이트된 안구 회전축을 결정하거나, 전자 디스플레이 상의 새 시선 위치를 결정하거나, 그 조합을 할 수 있다.

대안적으로 또는 추가적으로, VR 콘솔은 업데이트된 이미지를 접근된 캘리브레이션 데이터로부터의 참조 이미지와 매칭시킴으로써 안구 위치를 결정한다. VR 콘솔은 매칭되는 참조 이미지를 결정하기 위하여 이미지 캡처 장치로부터의 이미지와 다양한 참조 이미지를 비교한다. VR 콘솔은 업데이트된 이미지의 매칭 정도에 기반하여 참조 이미지를 점수 매기고 가장 높은 점수를 가지는 참조 이미지를 선택함으로써 매칭되는 참조 이미지를 결정할 수 있다. 대안적으로 또는 추가적으로, 임계치를 초과하는 점수를 가지는 참조 이미지가 식별될 때까지 참조 이미지는 업데이트된 이미지와 비교되고 점수 매겨진다. 만약 이미지 캡처 장치가 안구의 1 제곱 밀리미터에 대응하는 이미지를 캡처한다면, 캘리브레이션 데이터는 안구 운동의 전체 범위에 걸쳐 이미징될 수 있는 사용자의 안구의 표면의 상이한 부분에 대응하는 약 500개의 이미지를 포함한다. 일부 실시예에서, VR 콘솔은 매칭되는 참조 이미지를 결정하기 위한 시간 및 소비 자원을 감소시키기 위하여 업데이트된 이미지의 압축된 표현(예컨대, 지문, 특징의 세트)을 생성하고 업데이트된 이미지의 압축된 표현을 참조 이미지의 압축된 표현과 비교한다. VR 콘솔이 매칭되는 참조 이미지를 결정할 때, VR 콘솔은 매칭되는 참조 이미지와 연관된 참조 위치를 업데이트된 이미지와 참조 이미지 간의 서브픽셀 시프트만큼 조정함으로써 업데이트된 위치를 결정한다.

VR 콘솔은 결정된 안구 위치에 기반하여 VR 헤드셋에 의한 표현을 위한 컨텐츠를 결정한다. 예를 들어, VR 콘솔은 결정된 안구 위치에 포함된 추정된 시선점을 가상 세계로의 입력으로 사용한다. 시선점에 기반하여, VR 콘솔은 사용자에게 표시하기 위한 컨텐츠를 선택할 수 있다(예컨대, 가상 검투 경기에서 다른 가상 애니메이션 생물에 대한 배치를 위한 시선점에 대응하는 가상 애니메이션 생물을 선택하거나, 가상 메뉴를 탐색하거나, 가상 세계에서 플레이할 구기 스포츠의 타입을 선택하거나, 판타지 스포츠 구기팀에 가입하기 위하여 악명 높은 구기 스포츠 선수를 선택).

본 발명의 내용 중에 포함되어 있다.

도 1은 일실시예에 따른 가상 현실 시스템을 포함하는 시스템 환경의 블록도이다.
도 2a는 일실시예에 따른 가상 현실 헤드셋의 다이어그램이다.
도 2b는 일실시예에 따른 도 2a의 VR 헤드셋의 전면 강체의 단면도이다.
도 3a는 일실시예에 따른 안구 추적 유닛의 예시의 다이어그램이다.
도 3b는 일실시예에 따른 편광 감응 요소를 포함하는 안구 추적 유닛의 예시의 다이어그램이다.
도 3c는 일실시예에 따른 시어 간섭 효과를 생성하기 위한 하나 이상의 요소를 포함하는 안구 추적 유닛의 예시의 다이어그램이다.
도 4a는 일실시예에 따른 안구 추적 유닛에 의해 캡처되는 이미지의 예시를 도시한다.
도 4b는 일실시예에 따른 도 4a의 이미지로부터 도출된 안구 운동과 디스플레이에 대한 안구 추적 간의 관계를 도시하는 개념도이다.
도 5는 일실시예에 따른 안구 위치를 결정하기 위한 프로세스의 예시의 흐름도이다.
도면은 오로지 예시의 목적으로 본 명세서의 실시예들을 도시한다. 통상의 기술자는 이하의 설명으로부터 본 명세서에 도시되는 구조 및 방법의 대안적 실시예가 본 명세서에 기술되는 개시내용의 원리로부터 벗어나지 않고 이용되거나 그 이점이 권유될 수 있음을 쉽게 인식할 것이다.

도 1은 일실시예에 따른 가상 현실(VR) 시스템 환경(100)의 블록도이다. 도 1에 도시된 VR 시스템 환경(100)은 각각 VR 콘솔(110)에 결합되는 VR 헤드셋(105), 외부 이미징 장치(135) 및 VR 입력 주변 장치(140)를 포함한다. 도 1은 하나의 VR 헤드셋(105), 하나의 외부 이미징 장치(135) 및 하나의 VR 입력 주변 장치(140)를 포함하는 예시적인 VR 시스템 환경(100)을 도시하는 한편, 다른 실시예에서 임의의 수의 이러한 컴포넌트들이 VR 시스템 환경(100)에 포함되거나, 임의의 컴포넌트가 생략될 수 있다. 예를 들어, VR 콘솔(110)과 통신하는 하나 이상의 외부 이미징 장치(135)에 의해 모니터링되는 다수의 VR 헤드셋(105)이 있을 수 있다. 대안적 구성으로, 상이한 컴포넌트 또는 추가 컴포넌트가 VR 시스템 환경(100)에 포함될 수 있다.

VR 헤드셋(105)은 컨텐츠를 사용자에게 표시하는 헤드 마운트 디스플레이이다. VR 헤드셋(105)이 제시하는 컨텐츠의 예시는 하나 이상의 이미지, 비디오, 오디오, 또는 이들의 임의의 조합을 포함한다. 일부 실시예로, 오디오는 VR 헤드셋(105), VR 콘솔(110) 또는 둘 모두로부터 오디오 정보를 수신하고 오디오 정보에 기반하여 오디오 데이터를 제시하는 외부 장치(예컨대, 스피커 및/또는 헤드폰)를 통해 제시된다. VR 헤드셋(105)의 실시예가 도 2a 및 도 2b와 함께 아래에서 더 기술된다. VR 헤드셋(105)은 서로 함께 강성으로 또는 비-강성으로 결합될 수 있는 하나 이상의 강체를 포함할 수 있다. 강체 사이의 강성 결합은 결합된 강체가 단일 강성 엔티티로 역할을 하도록 한다. 대조적으로, 강체 사이의 비-강성 결합은 강체가 서로에 상대적으로 이동할 수 있게 한다. 하지만, 다양한 실시예에서, VR 헤드셋(105)은 안경을 포함하여 임의의 적절한 폼 팩터로 구현될 수 있다. 나아가, 다양한 실시예에서, 본 명세서에 서술되는 기능은 VR 헤드셋(105) 외부의 환경의 이미지와 VR 콘솔(110)이나 사용자에게 표시하기 위해 컨텐츠를 생성 및 제공하는 임의의 다른 콘솔로부터 수신한 컨텐츠를 조합하는 헤드셋에 사용될 수 있다. 따라서, VR 헤드셋(105) 및 본 명세서에 서술되는 안구 추적 방법은 VR 헤드셋(105) 외부의 환경의 이미지를 생성된 컨텐츠로 증강하여 사용자에게 증강 현실을 표시할 수 있다.

다양한 실시예에서, VR 헤드셋(105)은 전자 디스플레이(115), 디스플레이 광학 블록(118), 하나 이상의 로케이터(120), 하나 이상의 위치 센서(125), 관성 측정 유닛(IMU)(130) 및 안구 추적 유닛(160)을 포함한다. VR 헤드셋(105)은 다양한 실시예에서 이들 요소 중 임의의 것을 생략하거나 추가 요소를 포함할 수 있다. 나아가, 일부 실시예에서, VR 헤드셋(105)은 도 1과 관련하여 서술된 다양한 요소의 기능을 조합하는 요소를 포함한다.

VR 디스플레이 서브시스템

전자 디스플레이(115)는 VR 콘솔(110)로부터 수신된 데이터에 따라 이미지를 사용자에게 디스플레이한다. 다양한 실시예에서, 전자 디스플레이(115)는 LCD(liquid crystal display), OLED(organic light emitting diode) 디스플레이, 활성 매트릭스 OLED 디스플레이(AMOLED), 투명 OLED 디스플레이(TOLED) 또는 일부 다른 디스플레이와 같은 하나 이상의 디스플레이 패널을 포함할 수 있다. 예를 들어, 전자 디스플레이(115)는 전면 TOLED 패널, 후면 디스플레이 패널 및 전면과 후면 디스플레이 패널 사이의 광학 컴포넌트(예컨대, 감쇠기, 편광기, 회절 또는 스펙트럼 필름)을 포함한다. 전자 디스플레이(115)는 서브픽셀을 포함하여 적색, 녹색, 청색, 백색 또는 황색과 같은 주색의 광을 발광할 수 있다. 전자 디스플레이(115)는 2차원(2D) 패널에 의해 생성된 스테레오 효과를 통해 3차원(3D) 이미지를 디스플레이하여 이미지 깊이의 주관적 인식을 생성할 수 있다. 예를 들어, 전자 디스플레이(115)는 각각 사용자의 좌측 눈 및 우측 눈 앞에 위치한 좌측 및 우측 디스플레이를 포함한다. 좌측 및 우측 디스플레이는 서로에 대해 수평으로 이동된 이미지의 복사본을 표시하여 입체 효과(즉, 이미지를 보는 사용자에 의한 이미지 깊이의 인식)를 생성한다.

디스플레이 광학 블록(118)은 전자 디스플레이(115)로부터 수신된 이미지 광을 확대하고, 광과 연관된 광학 오차를 보정하고, 보정된 이미지 광을 VR 헤드셋(105)의 사용자에게 제시한다. 다양한 실시예에서, 디스플레이 광학 블록(118)은 하나 이상의 광학 요소를 포함한다. 광학 요소의 예시는: 개구, 프레넬(Fresnel) 렌즈, 볼록 렌즈, 오목 렌즈, 필터, 또는 전자 디스플레이(115)로부터 방출된 이미지 광에 영향을 주는 임의의 다른 적절한 광학 요소를 포함한다. 디스플레이 광학 블록(118)은 조합된 광학 요소의 상대적 간격 및 방향을 유지하기 위하여 기계적 결합뿐만 아니라 상이한 광학 요소의 조합도 포함할 수 있다. 디스플레이 광학 블록(118)의 하나 이상의 광학 요소는 반사 방지 코팅과 같은 광학 코팅 또는 광학 코팅의 조합을 가진다.

디스플레이 광학 블록(118)에 의한 이미지 광의 확대는 전자 디스플레이(115)가 더 큰 디스플레이보다 물리적으로 더 작고, 무게가 덜 나가고, 더 적은 전력을 소비하도록 허용한다. 추가로, 확대는 디스플레이되는 컨텐츠의 시야각을 증가시킬 수 있다. 예컨대, 디스플레이되는 미디어의 시야는 사용자의 시야의 거의 전부 또는 전부를 사용하여(예컨대, 110도의 대각선으로) 제시되도록 한다. 일부 실시예에서, 전자 디스플레이(115)에 의해 투영되는 이미지 광을 확대하기 위하여 디스플레이 광학 블록(118)은 디스플레이 광학 블록(118)과 전자 디스플레이(115) 간의 간격보다 큰 효과적인 초점 거리를 가진다. 추가로, 디스플레이 광학 블록(118)에 의한 이미지 광의 확대의 양은 광학 요소의 추가 또는 디스플레이 광학 블록(118)로부터 제거에 의해 조정될 수 있다.

디스플레이 광학 블록(118)은 2차원 광학 오차, 3차원 광학 오차 또는 그 조합과 같은 하나 이상의 타입의 광학 오차를 보정하도록 설계될 수 있다. 2차원 오차는 2차원에서 발생하는 광학 수차(aberration)이다. 2차원 오차의 예시적인 타입은: 배럴 왜곡, 핀쿠션 왜곡, 축방향 색수차(chromatic aberration) 및 횡방향 색수차를 포함한다. 3차원 오차는 3차원에서 발생하는 광학 오차이다. 3차원 오차의 예시적인 타입은: 구면 수차, 코마 수차(comatic aberration), 필드 만곡 및 비점 수차를 포함한다. 일부 실시예로, 디스플레이를 위해 전자 디스플레이(115)로 제공되는 컨텐츠는 사전 왜곡되고, 디스플레이 광학 블록(118)은, 컨텐츠에 기반하여 생성된 전자 디스플레이(115)로부터의 이미지 광을 수신할 때 왜곡을 보정한다.

외부 VR 헤드셋 추적 서브시스템

로케이터(locator, 120)는 서로에 대하여 그리고 VR 헤드셋(105) 상의 특정 기준점에 대하여 VR 헤드셋(105) 상의 특정 위치들에 위치하는 물체이다. 가상 현실 콘솔(110)은 외부 이미징 장치(135)에 의해 캡처된 이미지에서 로케이터(120)를 식별하여 가상 현실 헤드셋의 위치, 방향 또는 둘 모두를 결정한다. 로케이터(120)는 발광 다이오드(LED), 코너 튜브 반사기, 반사 마커, VR 헤드셋(105)이 동작하는 환경과 대조되는 광원 타입, 또는 이들의 임의의 조합일 수 있다. 로케이터(120)가 활성(즉, LED 또는 다른 타입의 발광 장치)인 실시예에서, 로케이터(120)는 가시광 대역(약 380 nm 내지 750 nm), 적외선(IR) 대역(약 750 nm 내지 1mm), 적외선 대역(10nm 내지 380nm), 전자기 스펙트럼의 다른 부분, 또는 전자기 스펙트럼의 부분의 임의의 조합 내에서 광을 방출할 수 있다.

일부 실시예에서, 로케이터(120)는 VR 헤드셋(105)의 외부 표면 아래에 위치한다. 로케이터(120)와 VR 헤드셋(105) 외부의 엔티티(예컨대, 외부 이미징 장치(135), VR 헤드셋(105)의 외부 표면을 보는 사용자) 사이의 VR 헤드셋(105)의 일부는 로케이터(120)에 의해 발광 또는 반사되는 광의 파장에 투명하거나 로케이터(120)에 의해 발광 또는 반사되는 광의 파장을 실질적으로 감쇠시키지 않을 정도로 얇다. 일부 실시예에서, VR 헤드셋(105)의 외부 표면 또는 다른 부분은 광의 파장의 가시선 대역에서 불투명하다. 따라서, 로케이터(120)는 IR 대역에서 투명하지만 가시광 대역에서 불투명한, 외부 표면 아래에서의 IR 대역의 광을 방출할 수 있다.

외부 이미징 장치(135)는 VR 콘솔(110)로부터 수신된 캘리브레이션 파라미터에 따라 저속 캘리브레이션 데이터를 생성한다. 저속 캘리브레이션 데이터는 외부 이미징 장치(135)에 의해 감지 가능한 로케이터(120)의 관측된 위지를 보여주는 하나 이상의 이미지를 포함한다. 외부 이미징 장치(135)는 하나 이상의 카메라, 하나 이상의 비디오 카메라, 하나 이상의 로케이터(120)를 포함하는 이미지를 캡처할 수 있는 임의의 다른 장치, 또는 이들의 임의의 조합을 포함할 수 있다. 추가로, 외부 이미징 장치(135)는 (예컨대, 신호-대-노이즈 비율을 증가시키는데 사용되는) 하나 이상의 필터를 포함할 수 있다. 외부 이미징 장치(135)는 외부 이미징 장치(135)의 시야 내에서 로케이터(120)로부터 방출되거나 반사된 광을 감지하도록 구성된다. 로케이터(120)가 수동 소자(예컨대, 역반사기(retroreflector))를 포함하는 실시예에서, 외부 이미징 장치(135)는 외부 이미징 장치(135)에서 광원을 향해 광을 역반사하는, 로케이터(120)의 일부 또는 전부를 조명하는 광원을 포함할 수 있다. 저속 캘리브레이션 데이터는 외부 이미징 장치(135)로부터 VR 콘솔(110)로 통신되고, 외부 이미징 장치(135)는 하나 이상의 이미징 파라미터(예컨대, 초점 길이, 초점, 프레임 레이트, ISO, 센서 온도, 셔터 속도, 조리개 등)를 조정하기 위해 VR 콘솔(110)로부터 하나 이상의 캘리브레이션 파라미터를 수신한다.

내부 VR 헤드셋 추적 서브시스템

IMU(130)는 하나 이상의 위치 센서들(125)로부터 수신된 측정 신호에 기반하여 캘리브레이션 데이터를 생성하는 전자 장치이다. 위치 센서(125)는 VR 헤드셋(105)의 움직임에 응답하여 하나 이상의 측정 신호를 생성한다. 위치 센서(125)의 예시는: 가속도계 자이로스코프, 자력계, 다른 운동-감지 또는 오차 보정 센서 또는 그 임의의 조합을 포함한다. 일부 실시예에서, 다양한 위치 센서(125)가 서로 직교하게 배향된다. 위치 센서(125)는 IMU(130)의 외부, IMU(130)의 내부, 또는 이들의 임의의 조합에 위치할 수 있다.

하나 이상의 위치 센서(125)로부터의 하나 이상의 측정 신호에 기반하여, IMU(130)는 VR 헤드셋(105)의 초기 위치에 상대적인 VR 헤드셋(105)의 추정된 위치를 표시하는 고속 캘리브레이션 데이터를 생성한다. 예컨대, 위치 센서(125)는 병진 운동(전/후, 상/하, 좌/우)을 측정하는 다수의 가속도계 및 회전 운동(예컨대, 피치, 요우(yaw), 롤(roll))을 측정하는 다수의 자이로스코프를 포함한다. 일부 실시예로, IMU(130)는 빠르게 측정 신호를 샘플링하고 샘플링된 데이터로부터 VR 헤드셋(105)의 추정된 위치를 계산한다. 예컨대, IMU(130)는 속도 벡터를 추정하기 위해 가속도계로부터 수신된 측정 신호를 시간에 대해 적분하고, VR 헤드셋(105) 상의 기준점의 추정 위치를 결정하기 위해 속도 벡터를 시간에 대해 적분한다. 대안으로, IMU(130)는 고속 캘리브레이션 데이터를 결정하는 VR 콘솔(110)로 샘플링된 측정 신호를 제공한다. 다양한 실시예에서 기준점은 일반적으로 공간에서의 한 지점으로 정의될 수 있고, 기준점은 VR 헤드셋(105) 내의 지점(예를 들어, IMU(130)의 중심)으로 정의될 수 있다.

안구 추적 서브시스템

안구 추적 유닛(160)은 안구 추적 데이터를 캡처하도록 구성되는 하나 이상의 이미징 장치를 포함하는데, 안구 추적 모듈(165)이 VR 헤드셋의 사용자의 안구를 추적하기 위해 사용한다. 안구 추적 데이터는 안구 추적 유닛(160)이 출력한 데이터를 지칭한다. 안구 추적 데이터의 예시는 안구 추적 유닛(160)이 캡처한 이미지 또는 안구 추적 유닛(160)이 캡처한 이미지로부터 도출된 정보를 포함한다. 안구 추적은 VR 헤드셋(105)에 대한 안구의 방향 및 위치를 포함하여, 안구의 위치를 결정하는 것을 지칭한다. 예를 들어, 안구 추적 모듈(165)은 안구 추적 유닛(160)이 캡처한 안구의 이미지에 기반하여 안구의 피치와 요우를 출력한다. 다양한 실시예에서, 안구 추적 유닛(160)은 안구가 반사한 전자기 에너지를 측정하고 측정된 전자기 에너지를 안구 추적 모듈(165)과 통신하는데, 측정된 전자기 에너지에 기반하여 안구의 위치를 결정한다. 예를 들어, 안구 추적 유닛(160)은 가시광, 적외선 광, 라디오파, 마이크로파, 전자기 스펙트럼의 임의의 다른 부분 또는 사용자의 안구에 의해 반사된 이들의 조합과 같은 전자기파를 측정한다.

안구 추적 유닛(160)은 하나 이상의 안구 추적 시스템을 포함할 수 있다. 안구 추적 시스템은 이미징 시스템을 포함하여 하나 이상의 안구를 이미징할 수 있고 선택적으로 발광기를 포함할 수 있는데, 안구를 향하는 광을 생성하여 안구에 의해 반사된 광이 이미징 시스템에 의해 캡처될 수 있다. 예를 들어, 안구 추적 유닛(160)은 사용자의 안구에 의한 발광된 광의 반사를 캡처하는 카메라뿐만 아니라 가시 스펙트럼 또는 적외선 스펙트럼의 광을 발광하는 코히어런트 광원을 포함한다. 다른 예로, 안구 추적 유닛(160)은 미니어처 레이더 유닛에 의해 방출된 라디오파의 반사를 캡처한다. 안구 추적 유닛(160)은 안구를 손상시키거나 신체적 불편을 야기하지 않는 주파수와 강도로 발광하는 저전력 발광기를 사용한다. 안구 추적 유닛(160)은 안구 추적 유닛(160)에 의해 소비되는 전체 전력을 감소시키는 한편(예컨대, 발광기 및 안구 추적 유닛(160)에 포함된 이미징 시스템에 의해 소비되는 전력 감소) 안구 추적 유닛(160)에 의해 캡처된 안구의 이미지의 콘트라스트를 증가시키도록 배열된다. 예를 들어, 안구 추적 유닛(160)은 100 밀리와트 미만의 전력을 소비한다.

일부 실시예에서, 안구 추적 유닛(160)은 사용자의 안구 각각을 추적하기 위한 하나의 발광기와 하나의 카메라를 포함한다. 안구 추적 유닛(160)은 함께 동작하여 향상된 안구 추적 정확도 및 응답성을 제공하는 상이한 안구 추적 시스템도 포함할 수 있다. 예를 들어, 안구 추적 유닛(160)은 빠른 응답 시간을 가지는 고속 안구 추적 시스템 및 더 느린 응답 시간을 가지는 저속 안구 추적 시스템을 포함한다. 고속 안구 추적 시스템은 주기적으로 안구를 측정하여 안구 추적 모듈(165)에 의해 사용되는 데이터를 캡처하여 참조 안구 위치에 대한 안구의 위치를 결정한다. 저속 안구 추적 시스템은 독립적으로 안구를 측정하여 안구 추적 모듈(165)에 의해 사용되는 데이터를 캡처하여 이전에 결정된 안구 위치에 대한 참조 없이 참조 안구 위치를 결정한다. 저속 안구 추적 시스템이 캡처한 데이터는 고속 안구 추적 시스템이 캡처한 데이터로부터 결정된 안구의 위치보다 더 높은 정확도로 안구 추적 모듈(165)이 참조 안구 위치를 결정할 수 있게 한다. 다양한 실시예에서, 저속 안구 추적 시스템은 고속 안구 추적 시스템보다 더 낮은 빈도로 안구 추적 모듈(165)에게 안구 추적 데이터를 제공한다. 예를 들어, 저속 안구 추적 시스템은 더 느린 응답 속도를 가지거나 전원을 절약하기 위하여 덜 자주 동작한다.

VR 입력 주변기기

VR 입력 주변기기(140)는 VR 콘솔(110)로 행위 요청을 사용자가 전송하도록 허용하는 장치이다. 행위 요청은 특정 행위를 수행하기 위한 요청이다. 예컨대, 행위 요청은 애플리케이션을 시작 또는 종료하거나 애플리케이션 내의 특정 행위를 수행하는 것일 수 있다. VR 입력 주변기기(140)는 하나 이상의 입력 장치를 포함할 수 있다. 예시적인 입력 장치는: 키보드, 마우스, 게임 컨트롤러, 장갑 또는 행위 요청을 수신하고 수신된 행위 요청을 VR 콘솔(110)로 통신하기 위한 임의의 다른 적절한 장치를 포함한다. VR 입력 주변기기(140)에 의해 수신된 행위 요청은 행위 요청에 대응하는 행위를 수행하는 VR 콘솔(110)로 통신된다. 일부 실시예에서, VR 입력 주변기기(140)는 VR 콘솔(110)로부터 수신된 명령에 따라 햅틱 피드백을 사용자에게 제공할 수 있다. 예를 들어, VR 입력 주변기기(140)는 행위 요청이 수신될 때 또는 VR 콘솔(110)이 VR 입력 주변기기(140)에게 VR 콘솔(110)이 행위를 수행할 때 VR 입력 주변기기(140)가 햅틱 피드백을 생성하도록 야기하는 지시를 통신할 때 햅틱 피드백을 제공한다.

VR 콘솔

VR 콘솔(110)은: 외부 이미징 장치(135), VR 헤드셋(105) 및 VR 입력 주변기기(140) 중 하나 이상으로부터 수신된 정보에 따라 사용자에게 제시하기 위해 미디어를 VR 헤드셋(105)으로 제공한다. 도 1에 도시된 예시에서, VR 콘솔(110)은 애플리케이션 스토어(145), 헤드셋 추적 모듈(150), VR 엔진(155), 및 안구 추적 모듈(165)을 포함한다. VR 콘솔(110)의 일부 실시예는 도 1과 함께 기술된 것들과는 상이한 또는 추가 모듈을 가진다. 유사하게, 이하에서 추가로 기술되는 기능은 본 명세서에 기술되는 것과는 상이한 방식으로 VR 콘솔(110)의 컴포넌트들 사이에 분산될 수 있다.

일부 실시예에서, VR 콘솔(110)은 프로세서 및 프로세서에 의해 실행 가능한 명령어를 저장하는 비일시적 컴퓨터 판독가능한 저장 매체를 포함한다. 프로세서는 병행하여 명령어를 실행하는 다수의 프로세싱 유닛을 포함할 수 있다. 컴퓨터 판독가능한 저장 매체는 하드디스크 드라이브, 착탈식 메모리 또는 고체 상태 드라이브(예컨대, 플래시 메모리, DRAM(dynamic random access memory))와 같은 임의의 메모리일 수 있다. 다양한 실시예에서, 도 1과 관련하여 서술된 VR 콘솔(110)의 모듈은 프로세서에 의해 실행될 때, 프로세서로 하여금 더 후술되는 기능을 수행하도록 야기하는 비일시적 컴퓨터 판독가능한 저장 매체의 명령어로 인코딩된다.

애플리케이션 스토어(145)는 VR 콘솔(110)에 의한 실행을 위한 하나 이상의 애플리케이션을 저장한다. 애플리케이션은, 프로세서에 의해 실행시 사용자에게 제시하기 위한 컨텐츠를 생성하는 명령어들의 그룹이다. 애플리케이션에 의해 생성된 컨텐츠는 VR 헤드셋(105) 또는 VR 입력 주변기기(140)의 움직임을 통해 사용자로부터 수신된 입력에 응답할 수 있다. 애플리케이션의 예시는: 게임 애플리케이션, 컨퍼런스 애플리케이션, 비디오 재생 애플리케이션, 또는 다른 적절한 애플리케이션을 포함한다.

헤드셋 추적 모듈(150)은 하나 이상의 캘리브레이션 파라미터를 사용하여 VR 시스템 환경(100)을 캘리브레이션하고, VR 헤드셋(105)의 위치 결정에 있어서의 오차를 감소시키기 위해 하나 이상의 캘리브레이션 파라미터를 조정할 수 있다. 예컨대, 헤드셋 추적 모듈(150)은 VR 헤드셋(105) 상의 관측된 위치에 대한 더 정확한 위치를 획득하기 위해 외부 이미징 장치(135)의 초점을 조정한다. 또한, 헤드셋 추적 모듈(150)에 의해 수행되는 캘리브레이션은 IMU(130)로부터 수신된 정보를 감안한다. 추가로, VR 헤드셋(105)의 추적이 손실된다면(예컨대, 외부 이미징 장치(135)가 적어도 임계 수의 로케이터(120)에 대한 시야를 손실한다면), 헤드셋 추적 모듈(150)은 캘리브레이션 파라미터의 일부 또는 전부를 다시 캘리브레이션한다.

헤드셋 추적 모듈(150)은 외부 이미징 장치(135)로부터 저속 캘리브레이션 정보를 사용하여 VR 헤드셋(105)의 움직임을 추적한다. 예컨대, 헤드셋 추적 모듈(150)은 VR 헤드셋(105)의 모델 및 저속 캘리브레이션 정보로부터 관측된 로케이터를 사용하여 VR 헤드셋(105)의 기준점의 위치를 결정한다. 헤드셋 추적 모듈(150)은 또한, 고속 캘리브레이션 정보로부터의 위치 정보를 사용하여 VR 헤드셋(105)의 기준점의 위치를 결정한다. 추가로, 일부 실시예에서, 헤드셋 추적 모듈(150)은 고속 캘리브레이션 정보, 저속 캘리브레이션 정보, 또는 이들의 일부 조합의 부분들을 사용하여 VR 헤드셋(105)의 미래의 위치를 예측할 수 있다. 헤드셋 추적 모듈(150)은 VR 헤드셋(105)의 추정 또는 예측된 미래 위치를 VR 엔진(155)으로 제공한다.

VR 엔진(155)은 VR 시스템 환경(100) 내에서 애플리케이션을 실행하고, 헤드셋 추적 모듈(150)로부터 VR 헤드셋(105)의 위치 정보, VR 헤드셋(105)의 가속도 정보, VR 헤드셋(105)의 속도 정보, VR 헤드셋(105)의 예측된 미래 위치, 또는 이들의 임의의 조합을 수신한다. VR 엔진(155)은 안구 추적 모듈(165)로부터 추정된 안구 위치 및 방향 정보도 수신한다. 수신된 정보에 기반하여, VR 엔진(155)은 사용자에게 제시하기 위해 VR 헤드셋(105)으로 제공하기 위한 컨텐츠를 결정한다. 예컨대, 수신된 정보가 사용자가 좌측을 보았다고 표시한다면, VR 엔진(155)은 가상 현실에서 사용자의 움직임을 미러링하는 VR 헤드셋(105)을 위한 컨텐츠를 생성한다. 추가로, VR 엔진(155)은 VR 입력 주변기기(140)로부터 수신된 행위 요청에 응답하여 VR 콘솔(110) 상에서 실행되는 애플리케이션 내에서 행위를 수행하고 행위가 수행되었다고 표시하는 피드백을 사용자에게 제공한다. 피드백은 VR 헤드셋(105)을 통한 시각적 또는 청각적 피드백이거나 VR 입력 주변기기(140)를 통한 햅틱 피드백일 수 있다.

안구 추적 모듈(165)은 안구 추적 유닛(160)으로부터 안구 추적 데이터를 수신하고 안구에 대한 안구 추적 데이터에 기반하여 사용자의 안구의 안구 위치를 결정한다. 안구 위치는 VR 헤드셋(105)이나 그 임의의 요소에 대한 안구의 방향, 위치 또는 둘 모두를 명시한다. 안구의 회전축이 그 안와 내의 안구의 위치의 함수로 변화하기 때문에, 안와 내의 안구의 위치를 결정하는 것은 안구 추적 모듈(165)이 더 정확하게 안구 방향을 결정할 수 있게 한다. 안구 위치는 안구의 위치, 자리 또는 둘 모두로부터 결정된 안구가 초점을 맞추고 있는 전자 디스플레이(115)의 영역도 식별할 수 있다.

일부 실시예에서, 안구 추적 유닛(160)은 안구의 이미지를 포함하는 안구 추적 데이터를 출력하고, 안구 추적 모듈(165)은 이미지로부터 안구의 위치를 결정한다. 예를 들어, 안구 추적 모듈(165)은 안구 추적 유닛(160)에 의해 캡처된 이미지와 안구 위치 사이의 매핑을 저장하여 안구 추적 유닛(160)에 의해 캡처된 캡처 이미지로부터 참조 안구 위치를 결정한다. 대안적으로 또는 추가적으로, 안구 추적 모듈(165)은 참조 안구 위치가 결정된 때의 안구 추적 유닛(160)에 의해 캡처된 이미지를 업데이트된 안구 위치가 결정된 때에 캡처된 이미지와 비교함으로써 참조 안구 위치에 대한 업데이트된 안구 위치를 결정한다. 안구 추적 모듈(165)은 상이한 이미징 장치나 다른 센서로부터의 측정을 사용하여 안구 위치를 결정할 수 있다. 예를 들어, 안구 추적 모듈(165)은 저속 안구 추적 시스템으로부터의 측정을 사용하여 참조 안구 위치를 결정하고 그 후 저속 안구 추적 시스템으로부터의 측정에 기반하여 다음 참조 안구 위치를 결정할 때까지 고속 안구 추적 시스템으로부터 참조 안구 위치에 대한 업데이트된 위치를 결정한다.

안구 추적 모듈(165)은 안구 추적의 정밀도 및 정확도를 향상시키기 위하여 안구 캘리브레이션 파라미터를 결정할 수 있다. 안구 캘리브레이션 파라미터는 사용자가 VR 헤드셋(105)을 쓰거나 조정할 때마다 변화할 수 있는 파라미터를 포함한다. 안구 캘리브레이션 파라미터의 예시는 안구 추적 유닛(160)의 컴포넌트 및 안구의 중심, 동공, 각막 경계 또는 안구의 표면 상의 점과 같은 안구의 하나 이상의 부위 간의 추정된 거리를 포함한다. 안구 캘리브레이션 파라미터의 다른 예시는 특정 사용자에게 특유할 수 있고 추정된 평균 안구 반경, 평균 각막 반경, 평균 공막 반경, 안구 표면 상의 특징의 맵 및 추정된 안구 표면 윤곽을 포함한다. VR 헤드셋(105) 외부로부터의 광이 안구에 도달하는 실시예에서(일부 증강 현실 애플리케이션에서와 같이), 캘리브레이션 파라미터는 VR 헤드셋(105) 외부로부터의 광의 변화로 인한 강도 및 컬러 밸런스에 대한 보정 인자를 포함할 수 있다. 안구 추적 모듈(165)은 안구 캘리브레이션 파라미터를 사용하여 안구 추적 유닛(160)에 의해 캡처된 측정이 안구 추적 모듈(165)이 정확한 안구 위치(본 명세서에서 “유효 측정”이라고도 지칭)를 결정할 수 있게 하는 때를 결정할 수 있다. 안구 추적 모듈(165)이 정확한 안구 위치를 결정할 수 없는 유효하지 않은 측정은 VR 헤드셋(105)이 외부 광으로 인한 조명의 임계 변화 초과를 겪음뿐만 아니라 사용자의 눈 깜빡임, 헤드셋 조정 또는 헤드셋 제거로 야기될 수 있다.

VR 헤드셋

도 2a는 가상 현실(VR) 헤드셋(105)의 일실시예의 다이어그램이다. VR 헤드셋(200)은 전방 강체(205)와 밴드(210)를 포함한다. 전방 강체(205)는 전자 디스플레이(115)(도 2a에 도시되지 않음), IMU(130)(도 2a에 도시되지 않음), 하나 이상의 위치 센서(125)(도 2a에 도시되지 않음), 로케이터(120) 및 안구 추적 유닛(160)을 포함한다. 다른 실시예에서, VR 헤드셋(200)은 도 2a에 도시된 것과는 다른 컴포넌트 또는 추가 컴포넌트를 포함할 수 있다.

로케이터(120)는 서로에 대해 그리고 기준점에 대하여 전방 강체(205) 상의 고정된 위치에 위치한다. 예를 들어, 기준점은 IMU(130)의 중심에 위치한다. 각 로케이터(120)는 외부 이미징 장치(135)가 감지할 수 있는 광을 방출한다. 로케이터(120), 또는 로케이터(120)의 부분은 도 2a의 예시에서 전방 강체(205)의 전방 측면(220A), 상부 측면(220B), 하부 측면(220C), 우측 측면(220D), 좌측 측면(220E)에 위치한다.

도 2a의 예시에서, 안구 추적 유닛(160)은 VR 헤드셋(200)의 외부에서 보이지 않는다. 안구 추적 유닛(160)은 뒤에서 VR 헤드셋(200)을 보는 사용자에게 보이거나 보이지 않을 수 있다. 하지만, 안구 추적 유닛(160)은 일반적으로 사용자가 전자 디스플레이(115)를 보는 것을 방해하지 않기 위해 상부 측면(220B), 하부 측면(220C), 우측 측면(220D) 또는 좌측 측면(220E)에 위치한다. 예를 들어, 안구 추적 유닛(160)은 상부 측면(220B), 우측 측면(220D), 하부 측면(220C) 또는 좌측 측면(220E) 중 둘 사이의 모서리를 따라 VR 헤드셋의 코너(220)에 위치한다.

도 2b는 도 2a에 도시된 VR 헤드셋(200)의 실시예의 전방 강체(205)의 단면도(225)이다. 도 2b에 도시된 바와 같이, 전방 강체(205)는 전자 디스플레이(115)로부터의 광을 변화시키고 변화된 이미지 광을 안구(245)의 각막(255) 내에 위치한 안구(245)의 동공에 제공하는 디스플레이 광학 블록(118)을 포함한다. 안구 추적 유닛(160)은 디스플레이 광학 블록(118)보다 안구(245)에 더 가까이 위치한다. 다양한 실시예에서, 안구 추적 유닛(160)은 디스플레이 광학 블록(118)에 대한 및 전자 디스플레이(115)에 대한 사용자의 시선의 위, 아래, 왼쪽 또는 오른쪽에 위치한다. 예를 들어, 안구 추적 유닛(160)의 하나 이상의 컴포넌트는 디스플레이 광학 블록(118)의 코너에 인접하여 위치한다. 안구 추적 유닛(160)의 세부 사항을 설명하기 위하여, 도 2b는 VR 헤드셋의 컴포넌트 사이의 일부 거리나 각도를 과장할 수 있다. 예를 들어, 일부 실시예에서 디스플레이 광학 블록(118)과 전자 디스플레이(115) 사이의 거리는 안구(245)와 디스플레이 광학 블록(118) 사이의 거리를 초과한다. 예시의 목적으로, 도 2b는 단일 안구(245)와 연관된 단면도(225)를 도시하지만, 다른 디스플레이 광학 블록(118), 다른 전자 디스플레이(115) 또는 둘 다가 사용자의 다른 눈에 변화된 이미지 광을 제공할 수 있다. 유사하게, 다른 안구 추적 유닛(160)이 사용자의 다른 눈을 추적할 수 있다.

안구 추적 유닛(160)은 레이저(260)와 같은 코히어런트 광원뿐만 아니라 카메라(270)와 같은 이미징 시스템을 포함한다. 레이저(260)는 안구 표면(250)의 일부를 조명하고, 카메라(270)은 안구 표면(250)에 의해 반사되는 광을 측정한다. 안구 표면(250)은 안구의 공막, 홍채 또는 둘 모두의 표면을 지칭할 수 있다. 레이저(260)는 안구(245)의 표면 법선 벡터(265)에 대해 레이저 각도(275)로 장착되고, 카메라(270)는 안구(245)의 표면 법선 벡터(265)에 대해 카메라 각도(280)로 장착된다. 표면 법선 벡터(265)는 레이저(260)에 의해 조명되는 안구 표면(250)의 부분에 직교한다. 예를 들어, 레이저 각도(275)는 표면 법선 벡터(265)와 레이저(260)에 의해 조명되는 안구 표면(250)의 부분의 중심으로부터 레이저의 출력 개구의 중심으로의 선 사이에서 측정된다. 카메라 각도(280)는 표면 법선 벡터(265)와 안구 표면(250)의 조명되는 부분의 중심으로부터 카메라의 광 센서 또는 광 입력 개구의 중심으로의 선 사이에서 측정된다. 일부 실시예에서, 레이저 각도(275)와 카메라 각도(280) 간의 차이는 임계량 미만이어서 카메라(270)는 안구 표면(250)에 입사하는 광의 정반사의 이미지를 캡처하는데, 결과 이미지의 콘트라스트를 유리하게 증가시키고 광 전력 손실과 전력 소비를 감소시킨다.

다양한 실시예에서, 레이저(260)는 코히어런트 광으로 안구 표면(250)의 부분을 조명한다. 예를 들어, 레이저(260)는 832nm와 852nm 사이의 파장을 가지는 적외선 스펙트럼의 광을 방출한다. 다른 예로, 레이저(260)는 900nm와 1550nm 사이의 파장을 가지는 광을 방출한다. 대안적으로, 레이저(260)는 가시 스펙트럼의 파장을 가지는 광을 방출한다. 하지만, 일부 증강 현실 애플리케이션에서와 같이, 적외선 스펙트럼으로 안구 표면(250)을 조명하는 것이 유리하게 전자 디스플레이(115)에 의해 방출되는 가시광으로부터 또는 VR 헤드셋(200)을 통과하는 외부 가시광으로부터 간섭 및 노이즈를 감소시킨다. 레이저(260)는 안구(245)의 동공에 입사하는 광을 최소화하도록 위치할 수 있다. 나아가, 레이저(260)는 일반적으로 사용자의 불편 또는 상해를 방지하기 위하여 저전력을 가진다. 예를 들어, 레이저는 약 0.3 마이크로와트의 전력을 가지는 클래스 1 레이저이다. 다른 예로, 레이저(260)는 에지 방출 반도체 레이저 또는 VCSEL(vertical-cavity surface-emitting laser)이다.

안구 추적 유닛(160)이 일반적으로 코히어런트 광원(즉, 무시할 수 있는 위상차를 가지는 정확한 파장의 광을 방출하는 광원)을 포함하지만, 비-코히어런트 광원이 사용될 수 있다. 일부 실시예에서, 안구 추적 유닛(160)은 가시 대역 또는 적외선 대역의 파장을 가지는 광을 방출하는 LED(light emitting diode)를 포함한다. 하지만, LED는 레이저(260)에 비해 넓은 파장 대역에 걸쳐 발광하기 때문에, LED는 코히어런트 광원을 사용하여 생성되는 것보다 더 낮은 콘트라스트를 가지는 이미지를 생성할 수 있다. 일부 실시예에서, 추가 레이저(260)(또는 다른 광원)이 레이저(260)(또는 LED나 다른 광원)을 보충하고 레이저(260)(또는 다른 광원)과 상이한 파장의 광을 방출하여 안구 추적 정확도를 높인다.

카메라(270)는 레이저(260)이나 다른 코히어런트 광원이 조명하는 안구 표면(250)의 일부에 의해 반사된 광을 캡처한다. 예를 들어, 카메라(270)는 30 x 30 픽셀의 픽셀 어레이를 가지는 이미지를 캡처하는데, 픽셀은 안구 표면(250)의 15 내지 40 마이크로미터의 해상도에 대응한다. 이 예시에서, 안구 표면(250)의 이미징된 일부는 0.20과 1.44 제곱 밀리미터 사이의 영역을 가진다. 안구 표면(250)의 이미징된 일부는 레이저(260)에 의해 조명되는 안구 표면(250)의 일부의 크기의 임계량 내의 크기를 가진다.

다양한 실시예에서, 카메라(270)는 안구 추적 정밀도와 정확도를 높이기 위하여 증가된 해상도를 가진다. 예를 들어, 카메라(270)는 320 픽셀 x 240 픽셀의 픽셀 어레이를 가지는 QVGA(quarter video graphic array)를 가진다. 카메라(270)에 포함되는 픽셀의 수를 늘리는 것은 픽셀에 대응되는 안구 표면(250)의 크기가 증가될 수 있게 하거나, 카메라(270)에 의해 이미징되는 안구 표면(250)의 영역이 증가될 수 있게 하거나, 또는 이들의 조합을 가능하게 한다. 하지만, 더 적은 픽셀을 사용하는 것은 카메라(270)가 소비하는 전력을 유리하게 감소시키고, 이미징 및 조명에 대해 더 작은 영역을 사용하는 것은 레이저(260)가 소비하는 전력을 유리하게 감소시킨다. 일부 실시예에서, 카메라(270)는 광학 마우스 센서 또는 매우 높은 프레임 속도로 캡처하는 다른 센서이다. 예를 들어, 카메라(270)는 초당 약 5,000 이미지를 캡처하여 정확한 안구 추적 데이터를 제공한다.

안구 추적 유닛

도 3a는 안구 추적 유닛(160)의 일실시예의 다이어그램이다. 안구 추적 유닛(160)은 시준 렌즈(310)를 포함하는 레이저(260), 렌즈 어셈블리(320) 및 이미지 센서(330)를 포함하는 카메라(270)를 포함한다. 다른 실시예에서, 안구 추적 유닛(160)은 도 3a에 도시된 것과 상이하거나 및/또는 추가적인 구성요소를 포함할 수 있다.

시준 렌즈(310)는 레이저(260)가 방출한 광을 안구 표면(250)으로 향하는 평행 빔으로 정렬시킨다. 일부 실시예에서, 시준 렌즈(310)는 레이저(260)에 통합되어 있다. 레이저(260)가 방출한 광을 시준시키는 것은 레이저가 방출한 광이 카메라(270)에 의해 이미징되는 안구 표면(250)의 일부를 균일하게 조명하도록 한다. 안구 표면(250)의 조명되는 부분의 비균일 조명은 카메라(270)에 의해 캡처되는 이미지의 상이한 부분이 상이한 휘도 범위를 가지게 하고, 카메라(270)에 의해 캡처되는 안구 표면(250)의 이미지의 콘트라스트를 감소시킨다. 따라서, 시준 렌즈(310)는 카메라(270)에 의해 캡처되는 결과 이미지의 콘트라스트를 향상시킨다. 나아가, 시준 렌즈(310)나 다른 컴포넌트를 사용하여 레이저(260)가 방출하는 광을 시준시키는 것은 안구 표면(250)의 이미징되는 부분 외부의 안구 표면(250)에 입사하는 레이저(260)로부터의 광을 감소시킨다. 이것은 이후에 카메라(270)를 향해 반사되지 않는 레이저에 의해 방출된 광을 감소시킴으로써 레이저(260)가 소비하는 전력을 감소시킨다.

도 3a의 예시에서, 레이저(260)로부터 방출된 광은 점 A와 B 사이 및 점 B와 C 사이의 안구 표면(250)을 조명한다. 도 3a의 단면도가 레이저(260)로부터 방출된 광이 원호를 조명하는 것으로 도시하지만, 레이저(260)에 의해 방출된 시준된 광은 일반적으로 안구 표면(250)의 원형 또는 타원형 영역을 조명한다. 안구 표면(250)이 거칠기 때문에(예컨대, 모세관 또는 혹과 같은 특징 때문에), 안구 표면(250)은 입사광을 다수의 방향으로 산란시킨다. 안구 표면(250)의 상이한 부분은 상이한 배열의 특징을 가지므로, 안구 표면(250)의 일부에서 반사된 광으로부터의 회절 패턴은 부분 내의 특징의 배열을 설명하고, 그 회절 패턴으로부터 안구 표면(250)의 그 일부의 식별을 가능하게 한다. 안구 표면(250)으로의 입사광은 반사 및 회절되기 전에 안구로의 작은 거리를 굴절시키므로(예컨대, 방출광이 적외선 스펙트럼에 있을 때), 본 명세서에서 “안구 표면”의 지칭은 방출광과 반사광이 전송되는 안구의 일부도 포함한다.

렌즈 어셈블리(320)는 안구 표면(250)에 의해 이미지 센서(330)에 반사된 광을 수집 및 이미징한다. 나아가, 렌즈 어셈블리(320)는 하나 이상의 광학 에러(디스플레이 광학 블록(118)과 관련하여 서술된 것과 같은)를 보정하여 이미지 센서(330)에 의해 캡처된 이미지의 콘트라스트 및 다른 속성을 향상시킨다. 렌즈 어셈블리(320)는 일부 실시예에서, 반사광을 확대할 수 있다. 대안적으로, 렌즈 어셈블리(320)는 무시할 수 있는 확대만을 반사광에 적용한다.

이미지 센서(330)는 렌즈 어셈블리(320)에 의해 포커싱된 입사광을 캡처한다. 안구 표면(250)에서의 산란 때문에, 도 3a의 이미지 센서(330) 상의 점 D에 입사하는 광은 점 A, B 및 C와 같은 안구 표면(250)의 조명되는 부분 내의 다수의 점으로부터 반사되는 광으로부터의 간섭으로부터 기인한다. 유사하게, 도 3a의 이미지 센서(330)의 점 E와 F 모두에 입사하는 광은 안구 표면(250)의 다수의 점으로부터 반사되는 광 간의 간섭으로부터 기인한다. 따라서, 이미지 센서(330)는 안구 표면(250)의 회절 또는 스페클 패턴을 캡처한다. 각 픽셀에 대하여, 이미지 센서(330)는 픽셀 상의 입사광의 강도와 비례하여 전류 또는 전압을 출력하는 감광 회로를 포함한다.

일실시예에서, 이미지 센서(330)는 레이저(260)가 방출하는 파장을 포함하는 좁은 대역의 광 파장에 감응하여, 픽셀 또는 서브픽셀에 대응하는 감광 회로의 출력은 픽셀 또는 서브픽셀 상의 좁은 대역의 파장 내의 파장을 가지는 광의 강도에 비례한다. 다른 실시예에서, 이미지 센서(330)는 광대역 또는 다중 대역 감도를 가지므로, 픽셀이나 서브픽셀에 대응하는 감광 회로의 출력은 픽셀 또는 서브픽셀 상의 이미지 센서(330)의 광대역 범위의 파장을 가지는 광의 강도에 비례한다. 예를 들어, 이미지 센서(330)는 CMOS(complementary metal-oxide semiconductor) 어레이를 포함하는데, 약 850nm 미만의 파장을 가지는 레이저 광과 함께 사용될 수 있다. 다른 예시로, 이미지 센서(330)는 인듐 갈륨 비소(InGaAs) 합금에 기반하는 어레이를 포함한다. 이러한 이미지 센서(330)는 약 900nm 및 약 1550nm 사이의 파장을 가지는 레이저 광을 방출하는 레이저(260)와 함께 사용될 수 있다.

도 3b는 편광 감응 요소를 포함하는 안구 추적 유닛(160)의 일실시예의 다이어그램이다. 도 3b에 도시된 안구 추적 유닛(160)은 레이저(260), 시준 렌즈(310), 입사광 편광기(340), 반사광 편광기(350) 및 카메라(270)를 포함한다. 하지만 다른 실시예에서, 안구 추적 유닛(160)은 도 3b에 도시된 것과 상이하거나 및/또는 추가적인 구성요소를 포함할 수 있다. 대안적으로, 안구 추적 유닛(160)은 도 3b와 관련하여 서술된 실시예의 다수 컴포넌트에 의해 제공되는 기능을 조합하는 컴포넌트를 포함할 수 있다.

입사광 편광기(340)는 레이저(260)로부터 방출된 광을 편광시킨다. 예를 들어, 입사광 편광기(340)는 레이저(260)에 의해 방출된 광을 원형으로 편광시키는 1/4 파장판이다. 다른 예시로, 입사광 편광기(340)는 액정 소자와 같은 가변 광 편광기이다. 액정의 배향을 수정하기 위하여 전기장을 인가함으로써, 안구 추적 유닛(160)은 동적으로 안구 표면(250)에 입사하는 광의 편광 상태를 변경할 수 있다. 일부 실시예에서, 편광기(340)는 생략된다. 예를 들어, 레이저(260)는 안구 표면(250)에 의해 반사되는 광의 입사면에서 선형으로 편광된 광을 방출한다. 안구 표면(250)은 안구 표면(250)을 조명하는 레이저(260)에 의해 방출되는 광의 편광 상태(예컨대, 편광 방향, 편광 정도)를 수정한다. 안구가 일반적으로 타원형이고 거친 표면을 가지기 때문에, 안구 표면(250)의 상이한 부분을 조명하는 레이저(260)에 의해 방출된 광은 상이한 편광 상태로 상이한 각도에 반사된다.

반사광 편광기(350)는 카메라(270)를 향해 안구 표면(250)으로부터 반사되는 광을 특정 편광면으로 필터링하여, 카메라(270)는 반사광이 반사광 편광기(350)의 편광면과 일치하는 정도를 측정한다. 예를 들어, 반사광 편광기(350)는 카메라(270)에 의해 이미징되는 광을 선형으로 편광시키는 1/2 파장판이다. 카메라(270)는 안구 표면(250)에 의해 반사되는 광의 편광 상태가 반사광 편광기(350)의 편광면과 매칭되는 정도를 측정한다. 예를 들어, 반사광 편광기(350)는 안구 표면(250)에 의해 반사되는 광의 입사면으로 광을 편광시킨다. 대안적으로 또는 추가적으로, 반사광 편광기(350)는 액정 소자인데, 액정 소자의 배향을 수정하는 인가된 전기장에 따라 안구 표면(250)에 의해 반사되는 광의 편광 상태를 동적으로 변경시킬 수 있다. 다른 실시예에서, 반사광 편광기(350)는 선형으로 편광된 광을 원형으로 편광시키고 카메라(270)의 기능을 향상시키기 위하여 1/4 파장판도 포함한다. 편광된 광을 사용하는 것은 레이저(260) 외의 광원으로부터의 간섭을 감소시킨다.

카메라(270)에서 입사하는 광의 강도는 반사광 편광기(350) 상에 입사하는 광이 반사광 편광기(350)의 편광면과 일치하는 정도를 표시한다. 따라서, 카메라(270)는 픽셀의 강도가 안구 표면(250)의 특정 부분으로부터 편광 상태를 나타내고, 따라서 전자 진동의 국부적 방향 및 안구 표면(250)의 특정 부분에서 표면 법선 벡터의 방향에 대한 정보를 제공하는 이미지를 캡처한다. 안구 표면(250)에 입사하는 광의 편광 상태에 따라서, 카메라(270)에 의해 캡처된 편광 필터링된 광의 강도는 각 특정 픽셀에 대하여 로컬 최소값, 로컬 최대값 또는 그 사이의 임의의 강도값을 가질 수 있다. 안구 추적 모듈(165)은 선형 편광의 각도를 계산함으로써 이미지 픽셀의 강도로부터 안구 표면(250)의 상이한 부분의 표면 법선 벡터를 결정할 수 있다. 이들 표면 법선 벡터를 사용하여, 안구 추적 모듈(165)은 안구 표면의 윤곽의 모델을 도출한다. 대안적으로 또는 추가적으로, 안구 추적 모듈(165)은 각 픽셀의 선형 편광 정도를 결정할 수 있다. 선형 편광의 정도를 이미지의 픽셀값으로 사용하여, 도 4a 내지 5에 관해 서술되는 바와 같이 안구 추적 모듈(165)은 안구 위치를 결정하는데 사용한다.

도 3c는 시어 간섭 효과를 생성하기 위한 하나 이상의 요소를 포함하는 안구 추적 유닛(160)의 일실시예의 다이어그램이다. 도 3c의 예시에서, 안구 추적 유닛(160)은 시준 렌즈(310), 시어 플레이트(360) 및 카메라(270)와 함께 레이저(260)를 포함한다. 하지만 다른 실시예에서, 안구 추적 유닛(160)은 도 3c에 도시된 것과 상이하거나 및/또는 추가적인 구성요소를 포함할 수 있다. 대안적으로, 안구 추적 유닛(160)은 도 3c와 관련하여 서술된 실시예의 다수 컴포넌트에 의해 제공되는 기능을 조합하는 컴포넌트를 포함할 수 있다.

시어 플레이트(360)는 시어 플레이트(360)에서의 시프트된 반사 사이의 시어 간섭 효과를 생성하는데, 카메라(270)에 의해 캡처된 이미지의 콘트라스트를 증가시킨다. 시어 플레이트(360)의 전면은 안구 표면(250)으로부터 반사되는 입사광의 일부를 반사한다. 시어 플레이트(360) 상의 입사광의 다른 부분은 시어 플레이트(360)의 전면에 의해 굴절되고, 시어 플레이트(360)의 후면에 반사되고, 시어 플레이트(360)의 전면에 의해 다시 굴절된다. 따라서, 시어 플레이트(360)는 카메라(270)에 의해 캡처되는 둘 이상의 간섭 반사를 생성한다. 이들 다수의 반사 간의 간섭 패턴은 시어 플레이트(360)의 전면 및 후면의 기울기 사이의 차이에 의존한다. 예를 들어, 시어 플레이트(360)는 안구 표면(250)에 의해 반사되는 광에 대해 45°를 향하는 현미경 커버슬립인데, 카메라(270)의 감도를 최대화한다. 다른 실시예에서, 시어 플레이트(360)는 간섭 또는 에어 웨지 시어 간섭계를 야기하는 격자이다. 시어 플레이트(360) 대신 격자를 사용하는 것은 광 경로의 길이를 줄이고 소형화를 가능하게 할 수 있다.

안구 표면(250)으로부터 반사된 광은 안구 표면(250) 상의 높이 변동에 대응하는 진폭 및 위상 정보를 포함한다. 시어 플레이트(360)(또는 격자)는 안구 표면(250)에 의해 반사된 광 및 안구 표면(250)에 의해 반사된 광의 공간적으로 분리된 카피 간의 간섭을 일으킨다. 결과 이미지는 안구 표면(250)의 방향(뿐만 아니라 시어 플레이트의 전면 및 후면의 상대적 방향)에 의존한다. 시어 플레이트(360)(또는 격자)는 유리하게 결과 이미지의 콘트라스트를 증가시킨다.

설명의 목적으로 별개 실시예로 도시되었지만, 도 3a, 3b 및 3c에 도시된 요소의 임의의 조합이 안구 추적 유닛(160)의 다양한 실시예에 나타날 수 있다. 예를 들어, 안구 추적 유닛(160)은 입사광 편광기(340), 반사광 편광기(350), 시어 플레이트(360) 또는 그 임의의 조합을 포함하여 편광 감응 효과와 조합된 시어 간섭 효과를 생성할 수 있다. 안구 표면(250) 상에 입사하는 시준된 광, 카메라(270) 상에 입사하는 편광 필터링된 광 및 카메라(270) 상에 입사하는 시어 광 또는 그 조합을 사용하여, 안구 표면(250)에 의해 산란되는 광의 콘트라스트를 증가시키고, 안구 추적 유닛(160)의 정확도를 낮추지 않고 저전력 레이저의 사용을 가능하게 할 수 있다.

안구 추적

도 4a는 안구 추적 유닛(160)에 의해 캡처되는 이미지(401 및 402)의 예시를 도시한다. 카메라(270)는 초기에 안구 표면(250)의 이미지(401)를 캡처하고 이후에 안구 표면(250)의 이미지(402)를 캡처한다. 설명의 목적으로, 이미지(401 및 402)는 이미지 센서(330)에 의해 캡처된 이미지를 10 x 10 픽셀 어레이로 나타내지만, 다른 실시예는 상이한 수의 픽셀을 가질 수 있다. 도 4a에서, 상이한 색상의 픽셀은 안구 표면(250)의 다수의 점에서 산란하는 광 간의 상이한 강도의 광에 대응한다. 따라서, 이미지(401 및 402)는 안구 표면(250)의 조명되는 부분의 회절 패턴으로 해석될 수 있다.

안구의 위치 변화를 결정하기 위하여, 안구 추적 모듈(165)은 이미지(401) 및 이미지(402) 간의 서브픽셀 시프트를 결정한다. 서브픽셀 시프트를 캘리브레이션 픽셀당 거리로 곱하는 것은 안구 추적 모듈(165)이 안구 표면(250)이 초기와 이후 사이에 이동한 거리를 결정할 수 있게 한다. 예를 들어, 이미지(402)에 캡처된 패턴은 이미지(401)에 캡처된 패턴에 비해 두 서브픽셀 왼쪽으로 이동했다. 예를 들어 만약 서브픽셀이 안구 표면(250)에서 10 μm의 거리에 대응한다면, 안구 표면(250)은 이미지(401)의 초기의 그 위치에 비해 이미지(402)의 후기에 20 μm 이동했다.

대안적으로 또는 추가적으로, 안구 추적 모듈(165)은 안구의 알려진 위치를 가지는 이전 이미지와의 비교에 의하여 이미지(401 또는 402) 중 하나의 안구의 위치를 결정한다. 예를 들어, 안구 추적 모듈(165)은 각각 참조 안구 위치와 연관된 이미지의 데이터베이스를 포함한다. 이미지(402)를 저장된 이미지와 매칭시킴으로써, 안구 추적 모듈(165)은 안구가 저장된 이미지와 연관된 참조 안구 위치를 가진다고 결정한다. 일부 실시예에서, 안구 추적 모듈(165)은 캡처된 이미지(402)의 일부의 표면 특징을 식별한다. 표면 특징은 안구 표면(250)의 특정 부분과 연관된 회절 또는 광학 흐름 패턴이다. 안구 추적 모듈(165)은: 안구 특징이 참조 이미지에 캡처될 때 안구 특징과 연관된 참조 안구 위치를 검색하고; 캡처된 이미지의 표면 특징과 참조 이미지의 표면 특징 간의 서브픽셀 시프트를 결정하고; 및 캘리브레이션된 픽셀당 거리를 사용하여 결정된 서브픽셀 시프트에 따라 참조 한구 위치를 수정함으로써 안구 위치를 결정함으로써 안구 위치를 결정할 수 있다.

도 4b는 도 4a의 이미지로부터 도출된 안구 운동과 디스플레이(115)에 대한 안구 추적 간의 관계의 예시를 도시하는 개념도이다. 도 4b는 카메라(270), 안구(245) 및 전자 디스플레이(115)를 포함하는 VR 헤드셋(105)의 단순화된 단면을 도시한다. 다른 실시예는 안구의 동공과 전자 디스플레이(115) 간의 광 경로를 수정하고 따라서 도시된 예시에 주어진 관계를 수정하는 추가 요소를 포함할 수 있다.

도 4b에서, 참조점 A는 표면 특징의 참조점이고, 점 A’는 업데이트된 안구 위치에 대응하는 표면 특징의 위치이다. 안구 추적 모듈(165)은 표면 특징의 참조 위치와 표면 특징의 업데이트된 위치 사이의 차이에 대응하는 점 A와 A’ 사이의 안구 시프트 거리 x를 결정한다. 일부 실시예에서, 참조점은 이전에 캡처된 이미지(예컨대, 이미지(401))의 시점의 안구 위치이고, 안구 시프트 거리 x는 이전에 캡처된 이미지를 업데이트된 이미지(예컨대, 이미지(402))와 비교함으로써 결정된다. 일부 실시예에서, 표면 특징의 참조점은 안구 위치를 서술하는 좌표계의 축에 대응하는 안구 위치이고, 안구 시프트 거리 x는 참조 위치에서 표면 특징의 위치에 대한 업데이트된 안구 위치의 표면 특징의 변위를 나타낸다. 이 경우, 안구 시프트 거리 x는 단일 이미지로부터 결정될 수 있다(예컨대, 이미지(402)를 표면 특징의 참조 위치로부터의 안구 시프트 거리 x에 표면 특징의 위치를 포함하는 저장된 이미지에 매칭시킴으로써).

캘리브레이션 파라미터에 기반하여, 안구 추적 모듈(165)은 안구(245)의 반경 R을 검색한다. 반경 R은 점 A’ 또는 참조점 A와 연관된 국부 반경일 수 있다. 반경 R에 기반하여, 안구 추적 모듈(165)은 안구 운동각 θ를 결정하는데, 식 θ=x/R에 따라 단면의 면의 참조 위치에 대한 업데이트된 안구 위치의 각 변위를 나타낸다.

시선점 B’는 캡처된 이미지로부터 결정된 업데이트된 안구 위치에서 사용자의 시각의 초점을 나타낸다. 사용자는 각막(255) 내의 동공을 통해 전자 디스플레이(115) 상의 시선점 B’를 향한 시선(410)을 가진다. 참조 시선점 B는 사용자가 참조 위치에 있을 때 전자 디스플레이(115) 상의 사용자의 시각의 초점을 나타낸다. 예를 들어, 참조 시선점 B는 표면 특징이 참조점 A에 배향되었을 때 캘리브레이션 동안 사용자의 시각의 초점이거나, 또는 표면 특징이 참조점 A에 배향되도록 사용자의 안구가 위치될 때 이전 이미지가 캡처됐을 때 사용자의 시각의 초점. 안구가 참조 위치에 있을 때, 사용자는 전자 디스플레이(115) 상의 참조 시선점 B를 향한 참조 시선(405)을 가진다. 시선(405) 및 시선(410) 간의 각도는 안구 운동각 θ와 동일하다.

안구 추적 모듈(165)은 안구와 전자 디스플레이(115) 간의 상대적 배향에 기반하여 참조 시선점 B에 대한 시선점 B’의 시선 위치 y를 결정한다. 도 4b에 도시된 단순화된 도면에서, 안구 추적 모듈(165)은 전자 디스플레이(115)에 대해 직교하는 선(415)을 따르는 안구의 회전축과 전자 디스플레이(115) 사이의 거리 D를 획득한다. 캘리브레이션 파라미터로부터 결정된 참조 시선(405)와 선(415) 간의 각도 α에 기반하여, 안구 추적 모듈은 시선 위치를 y=D·tan(α)-D·tan(α-θ)으로 결정한다. 안구의 회전축이 안구가 움직임에 따라 변화할 수 있기 때문에, 안구 추적 모듈(165)은 최근 결정된 안구 위치에 적어도 부분적으로 기반하여 동적으로 거리 D, 각도 α 및 선(415)의 위치를 결정할 수 있다.

안구 추적

도 5는 안구 위치를 결정하는 프로세스의 일실시예의 흐름도이다. 일부 실시예에서, 방법은 도 5와 관련하여 서술되는 것과 다른 및/또는 추가 단계를 포함할 수 있다. 나아가, 일부 실시예에서, 방법은 도 5와 관련하여 서술되는 순서와 다른 순서로 단계를 수행할 수 있다.

VR 헤드셋(105)은 안구 표면(250)을 레이저(260)와 같은 VR 헤드셋(105)에 장착된(예컨대, 내부에) 코히어런트 광원으로 조명한다(510). 다양한 실시예에서, 코히어런트 광원은 VR 헤드셋(105)의 안구 추적 유닛(160)에 포함된다. 도 3a 및 3b와 관련하여 상술한 바와 같은, 안구 표면(250)을 조명하는(510) 광은 시준 렌즈(310)에 의해 시준되거나, 입사광 편광기(340)에 의해 편광되거나, 둘 다 될 수 있다.

VR 헤드셋(105)의 안구 추적 유닛(160)에 포함된 카메라(270)와 같은 이미징 장치는 안구 표면(250)에 의해 반사된 광을 캡처한다(520). 일부 실시예에서, 안구 표면(250)에서 반사된 광은 이미징 장치의 이미지 센서(330)가 안구 표면(250)에서 반사된 광을 수신하기 전에 반사광 편광기(350)에 의해 편광되거나 안구 표면(250)에서 반사된 광을 포커싱하거나 다르게 수정하는 렌즈 어셈블리(320)에 의해 반사될 수 있다. 안구 표면(250)이 거칠수록, 이미징 장치의 이미지 센서(330)에 의해 캡처된(520) 광은 안구 표면(250)의 다수의 부분에서 반사된 광의 조합으로부터 형성된 스페클 또는 회절 패턴일 수 있다.

일부 실시예에서, 이미징 장치에 의해 캡처된(520) 광으로부터 형성되는 이미지의 콘트라스트를 향상시키기 위하여 VR 헤드셋(105)은 하나 이상의 이미지 처리 동작을 수행한다. 이미지 처리 동작의 예시는 센서 보정(예컨대, 블랙 레벨 조정, 렌즈 왜곡 보정, 감마 보정) 및 조명 레벨 보정(예컨대, 화이트 밸런스 보정)을 포함한다. VR 헤드셋(105)은 캡처된 광으로부터 이미지의 콘트라스트를 향상시키기 위하여 히스토그램 평활화 또는 임의의 다른 기술도 수행할 수 있다. 일부 실시예에서, VR 헤드셋(105)은 전자 디스플레이(115) 또는 외부 광원에 의한 안구 표면(250)의 다양한 조명에 의해 야기되는 노이즈를 감소시키기 위하여 조명 레벨 보정을 수행할 수 있다. 카메라(270)가 일반적으로 코히어런트 광원의 파장에 대응하는 단일 색상의 이미지를 캡처하지만, 카메라(270)가 다중 색상의 이미지를 캡처하는 실시예에서 VR 헤드셋(105)은 색상 보정(예컨대, 디베이어, 휘도-채도 공간으로 색공간 변환)을 적용할 수 있다. 대안적으로 또는 추가적으로, VR 콘솔(110)은 VR 헤드셋(105)의 이미징 장치에 의해 획득되고 VR 헤드셋(105)으로부터 VR 콘솔(110)로 통신되는 이미지에 하나 이상의 이미지 처리 동작을 수행한다.

VR 헤드셋(105)은 캡처된 광으로부터 이미징 장치에 의해 캡처된 이미지 또는 캡처된 이미지로부터 도출된 데이터를 포함하는 안구 추적 데이터를 VR 콘솔(110)로 송신한다. 예를 들어, 안구 추적 데이터는 하나 이상의 이미지 처리 동작을 통해 수정된 캡처된 이미지의 버전을 포함한다. 다른 예로, 안구 추적 데이터는 안구 추적 유닛(160)에 의해 캡처된 이미지 및 안구 추적 유닛(160)의 코히어런트 광원 외의 소스에 의한 안구 표면(250)의 광을 설명하는 데이터를 포함한다. VR 헤드셋(105)이 안구 추적 모듈(165)와 연관된 기능을 수행하는 실시예에서, 안구 추적 데이터는 VR 콘솔(110)에 통신되지 않는다.

안구 추적 모듈(165)은 수신된 안구 추적 데이터가 안구 위치를 정확하게 결정하는데 사용할 수 있는 유효 측정에 대응한다고 검증한다(530). 예를 들어, 안구 추적 모듈(165)은 안구 추적 데이터의 대표 성능 지수를 결정하고 대표 성능 지수를 유효성 임계치와 비교한다. 만약 대표 성능 지수가 유효성 임계치 미만이면, 안구 추적 모듈(165)은 수신된 안구 추적 데이터가 유효하지 않다고 결정한다. 하지만, 만약 대표 성능 지수가 유효성 임계치와 같거나 초과한다면, 안구 추적 모듈(165)은 수신된 안구 추적 데이터가 유효 측정에 대응한다고 검증한다(530). 대표 성능 지수는 이미지 데이터의 픽셀값(예컨대, 픽셀 그레이 레벨, 휘도값, 강도값)의 합, 평균, 중간값, 범위, 표준 편차 또는 다른 정량일 수 있다. 대표 성능 지수는 수신된 안구 추적 데이터에 포함된 이미지의 모든 픽셀의 성능 지수로부터 결정되거나 샘플링 기술에 의하여 수신된 안구 추적 데이터에 포함된 이미지의 픽셀의 서브셋으로부터 추정될 수 있다. 예를 들어, 안구 추적 모듈(165)은 이미지의 다양한 픽셀의 상대적 강도를 결정하고, 상대적 강도의 합을 결정하고, 합을 유효 임계치와 비교한다. 예를 들어, 사용자가 눈을 깜박일 때, 상대적 픽셀 강도값의 합이 감소하고, 안구 추적 모듈(165)은 상대적 픽셀 강도값의 합(또는 다른 대표값)이 유효성 임계치 미만이라고 결정하는데 응답하여 수신된 안구 추적 데이터가 유효하지 않다고 결정한다. 다양한 실시예에서, 유효성 임계치는 VR 헤드셋(105)의 제조 동안 명시되거나 VR 헤드셋(105)의 캘리브레이션 동안 결정된다. 수신된 안구 추적 데이터의 유효성을 검증할 때(530) 변화하는 외부 조명 조건을 고려하기 위하여, 유효성 임계치는 수신된 안구 추적 데이터의 임계 시간 내에 캡처된 이전에 수신된 안구 추적 데이터의 대표 성능 지수의 트레일링 평균 또는 수신된 안구 추적 데이터의 임계 시간 내에 캡처되고 유효한 것으로 결정된 이전에 수신된 안구 추적 데이터의 대표 성능 지수의 트레일링 평균에 기반하여 동적으로 결정될 수 있다. 다양한 실시예에서, 트레일링 평균은 FIR(finite impulse response) 필터로 적용되거나, IIR(infinite impulse response) 또는 FIR 필터로 유사하게 다른 숫자상으로 필터링되어 시간 또는 주파수의 제어된 응답을 수신한다. 다른 실시예에서, 트레일링 평균은 지정된 응답에 대해 동조될 수 있는 임의의 FIR 필터로 적용될 수 있거나 대안적으로 임의의 다른 적절한 필터를 사용하여 적용될 수 있다.

안구 추적 모듈(165)은 수신된 안구 추적 데이터로부터 안구 위치를 결정하기 위하여 캘리브레이션 데이터에 접근한다(540). 캘리브레이션 데이터는 안구 추적 유닛(160)의 이미지 센서(330)의 서브픽셀에 대응하는 안구 표면(250) 상의 거리를 나타내는 서브픽셀 거리값을 포함할 수 있다. 만약 이미지 센서(330)의 서브픽셀이 안구 표면(250) 상의 직사각형(또는 타원형) 영역에 대응한다면, 캘리브레이션 데이터는 안구 표면(250)을 따르는 직교 방향에 대응하는 두 서브픽셀 거리값(예컨대, 안구 표면(250) 상의 영역의 길이 및 폭)를 포함할 수 있다. 서브픽셀 거리값은 이미지 센서(330)(또는 렌즈 어셈블리(320))와 안구 표면(250) 사이의 거리로부터 부분적으로 결정될 수 있다. 이미지 센서(330)와 안구 표면(250) 사이의 거리는 캘리브레이션 기간 동안 결정되거나 VR 헤드셋(105)에 포함된 거리 측정 장치(예컨대, 레이저 거리계, 소나)를 통해 동적으로 결정될 수 있다. 다양한 실시예에서, VR 헤드셋(105)은 주기적으로 이미지 센서(330)와 안구 표면(250) 사이의 거리를 결정하거나(예컨대, 초당 한번), VR 헤드셋(105)이 켜지는데 응답하여 이미지 센서(330)와 안구 표면(250) 사이의 거리, 또는 위치 센서(125)로부터 사용자의 머리의 VR 헤드셋(105)의 조정을 가리키는 측정 신호를 수신하는데 응답하여 이미지 센서(330)와 안구 표면(250) 사이의 거리를 결정한다. 서브픽셀 거리값은 카메라(230) 또는 렌즈 어셈블리(320)의 속성인 서브픽셀에 대응하는 라디안 각도를 이미지 센서(330)와 안구 표면(250) 사이의 거리를 곱함으로써 결정될 수 있다. 서브픽셀 거리값을 사용하여, 안구 추적 모듈(165)은 수신된 안구 추적 데이터로부터의 안구 표면(250)의 두 이미지 사이의 서브픽셀 시프트로부터 안구 위치의 변화를 결정한다.

대안적으로 또는 추가적으로, 안구 추적 모듈(165)은 캘리브레이션 기간 동안 캡처된 참조 이미지를 포함하는 표(예컨대, 룩업 테이블)로부터 캘리브레이션 데이터에 접근한다(540). 참조 이미지는 알려진 안구 위치, 전자 디스플레이(115) 상의 특정 시선점 또는 둘 모두에 대응한다. 예시적인 캘리브레이션 기간 동안, VR 헤드셋(105)은 사용자에게 전자 디스플레이(115) 상의 일련의 아이콘을 응시하도록 지시하고 사용자가 각 아이콘을 응시할 때 참조 이미지를 캡처한다. 참조 이미지는 캡처시 아이콘의 시선점에 대응하고, 안구 추적 모듈(165)은 안구의 모델 및 안구 추적 유닛(160)에 포함된 다른 안구 추적 시스템으로부터 참조 이미지에 대응하는 안구 위치를 추론한다. 안구 추적 모듈(165)은 수신된 안구 추적 데이터로부터의 후속 이미지와의 매칭을 가능하게 하기 위하여 참조 이미지를 저장하거나 안구 이미지의 압축된 표현을 저장할 수 있다. 예를 들어, 안구 추적 모듈(165)은 각 참조 이미지에 대한 지문을 생성하거나, 각 참조 이미지로부터 특징(예컨대, 얼룩, 에지, 융선, 모서리)을 추출하거나, 둘 모두를 한다. 추출된 특징은 안구 표면(250) 상의 특징의 위치, 특징의 구성 픽셀 또는 둘 모두를 식별하는 정보와 연관하여 저장될 수 있다. 참조 이미지(또는 그 압축된 표현)을 사용하여, 안구 추적 모듈(165)은 수신된 안구 추적 데이터로부터 단일 이미지를 참조하여 안구 위치를 결정할 수 있다.

접근된 캘리브레이션 데이터를 사용하여, 안구 추적 모듈(165)은 수신된 안구 추적 데이터로부터 안구 위치를 결정한다(550). 일부 실시예에서, 안구 추적 모듈(165)은 참조 안구 위치와 연관된 참조 이미지를 획득한다. 예를 들어, 카메라(270)는 안구 추적 유닛(160)의 다른 안구 추적 시스템(예컨대, 저속 안구 추적 시스템)이 독립적으로 참조 안구 위치를 결정하는 동시에 참조 이미지를 캡처한다. 안구 추적 모듈(165)은 업데이트된 이미지와 참조 이미지 간의 서브픽셀 시프트를 결정하고, 서브픽셀 시프트로부터 안구 시프트 거리를 결정하고, 참조 안구 위치와 안구 시프트 거리를 조합함으로써 업데이트된 안구 위치를 결정한다(550). 서브픽셀 시프트를 결정하기 위하여, 안구 추적 모듈(165)은 임의의 모션 추적 또는 광학 흐름 기술(예컨대, 위상 상관, 블록 매칭, 차등 광학 흐름법)을 사용할 수 있다. 안구 추적 모듈(165)은 결정된 서브픽셀 시프트와 접근된 캘리브레이션 데이터로부터의 서브픽셀 거리값을 곱함으로써 안구 시프트 거리를 결정한다. 서프픽셀 시프트는 2차원(예컨대, 5 픽셀 위, 3 픽셀 왼쪽)일 수 있고, 안구 시프트 거리도 2차원(예컨대, 50 마이크로미터 위, 30 마이크로미터 왼쪽)일 수 있다. 안구 시프트 거리를 사용하여, 안구 추적 모듈(165)은 참조 안구 위치를 안구 시프트 거리만큼 이동시킴으로써 업데이트된 안구 위치를 결정한다(550). 업데이트된 안구 위치를 결정할 때(550), 안구 추적 모듈(165)은: 안구의 방향과 위치를 업데이트하거나, 업데이트된 안구 회전축을 결정하거나, 전자 디스플레이(115) 상의 새 시선 위치를 결정하거나(도 4b와 관련하여 더 자세히 서술된 바와 같이), 그 조합을 할 수 있다.

대안적으로 또는 추가적으로, 안구 추적 모듈(165)은 업데이트된 이미지를 접근된 캘리브레이션 데이터로부터의 참조 이미지와 매칭시킴으로써 안구 위치를 결정한다(550). 안구 추적 모듈(165)은 매칭되는 참조 이미지를 결정하기 위하여 안구 추적 모듈(165)와 다양한 참조 이미지를 비교한다. 안구 추적 모듈(165)은 업데이트된 이미지의 매칭 정도에 기반하여 참조 이미지를 점수 매기고 가장 높은 점수를 가지는 참조 이미지를 선택함으로써 매칭되는 참조 이미지를 결정할 수 있다. 대안적으로 또는 추가적으로, 임계치를 초과하는 점수를 가지는 참조 이미지가 식별될 때까지 참조 이미지는 업데이트된 이미지와 비교되고 점수 매겨진다. 만약 카메라(270)가 안구의 1 제곱 밀리미터에 대응하는 이미지를 캡처한다면, 캘리브레이션 데이터는 안구 운동의 전체 범위에 걸쳐 이미징될 수 있는 안구 표면(250)의 상이한 부분에 대응하는 약 500개의 이미지를 포함한다. 일부 실시예에서, 안구 추적 모듈(165)은 매칭되는 참조 이미지를 결정하기 위한 시간 및 소비 자원을 감소시키기 위하여 업데이트된 이미지의 압축된 표현(예컨대, 지문, 특징의 세트)을 생성하고 업데이트된 이미지의 압축된 표현을 참조 이미지의 압축된 표현과 비교한다. 안구 추적 모듈(165)이 매칭되는 참조 이미지를 결정할 때, 안구 추적 모듈(165)은 매칭되는 참조 이미지와 연관된 참조 위치를 업데이트된 이미지와 참조 이미지 간의 서브픽셀 시프트만큼 조정함으로써 업데이트된 위치를 결정한다.

안구 추적 모듈(165)은 결정된 안구 위치를 VR 콘솔(110)의 다른 컴포넌트에게 제공한다(560). 예를 들어, 안구 추적 모듈(165)은 결정된 안구 위치에 포함된 추정된 시선점을 VR 엔진(155)에게 제공하는데(560), 시선점을 가상 세계로의 입력으로 사용한다. 시선점에 기반하여, VR 엔진(155)은 사용자에게 표시하기 위한 컨텐츠를 선택할 수 있다(예컨대, 가상 검투 경기에서 다른 가상 애니메이션 생물에 대한 배치를 위한 시선점에 대응하는 가상 애니메이션 생물을 선택하거나, 가상 메뉴를 탐색하거나, 가상 세계에서 플레이할 구기 스포츠의 타입을 선택하거나, 판타지 스포츠 구기팀에 가입하기 위하여 악명 높은 구기 스포츠 선수를 선택).

추가적인 구성 정보

실시예의 상기 서술은 설명의 목적으로 제공되고, 배타적이거나 개시된 정확한 형태들로 특허권을 제한하고자 하는 것이 아니다. 당업자는 상술한 명세서의 관점에서 많은 변경 및 변형이 가능함을 이해할 수 있다.

본 명세서의 일부는 실시예들을 정보에 대한 동작의 알고리즘 및 기호적 표현으로 설명한다. 이러한 알고리즘적 설명이나 표현은 본 기술분야에서 통상의 지식을 가진 자들에게 효과적으로 그들의 작업의 실체를 전달하기 위하여 데이터 프로세싱 기술분야에서 통상의 지식을 가진 자에 의하여 공통적으로 사용되는 것이다. 기능적으로, 계산적으로 또는 논리적으로 설명되고 있는 이들 동작은 컴퓨터 프로그램 또는 등가의 전기 회로, 마이크로 코드 등에 의해 구현되는 것으로 이해된다. 또한, 종종 이러한 동작의 배열은 일반성의 손실 없이 모듈로 언급될 수 있는 것으로 확인된다. 기술된 동작 및 그와 관련된 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 결합으로 구현될 수 있을 것이다.

본 명세서에 설명된 임의의 단계들, 동작들 또는 프로세스들은 하나 이상의 하드웨어 또는 소프트웨어 모듈들에 의해 또는 이들과 다른 장치들의 결합에 의해 수행되거나 구현될 수 있다. 일실시예에서, 소프트웨어 모듈은 기술된 단계들, 동작들 또는 프로세스들 일부 또는 전부를 수행하기 위하여 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능한 매체를 포함하는 컴퓨터 프로그램 제품으로 구현된다.

또한, 본 발명의 실시예들은 본 명세서의 동작들을 수행하기 위한 장치와 관련될 수 있다. 이 장치는 요청된 목적을 위하여 구체적으로 구성될 수 있고/있거나 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 장치를 포함할 수 있다. 이런 컴퓨터 프로그램은 비-일시적 유형의 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 시스템 버스에 결합될 수 있는 전자 명령어를 저장하기에 적절한 임의의 타입의 매체에 저장될 수 있다. 게다가, 본 명세서에서 언급된 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나, 증가한 컴퓨팅 능력을 위해 다중 프로세서 설계를 채용한 구조일 수 있다.

실시예들은 또한, 본 명세서에 기술된 컴퓨팅 프로세스에 의해 생성된 상품에 관한 것일 수 있다. 이런 제품은 컴퓨팅 프로세스의 처리 결과인 정보를 포함할 수 있으며, 여기서 정보는 비-일시적, 유형의 컴퓨터 판독가능한 저장 매체에 저장되고 본 명세서에 개시된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.

마지막으로, 본 명세서에서 사용되는 언어는 원칙적으로 가독성 및 훈시적 목적으로 선택되었으며, 특허권을 상세히 설명하거나 제한하려고 선택된 것은 아닐 수 있다. 따라서, 특허권의 범위는 본 상세한 설명에 의해서가 아니라, 이에 근거하여 본 출원이 제출하는 임의의 청구범위에 의해 한정되는 것으로 의도된다. 따라서, 실시예들에 관한 개시는 하기의 청구범위에서 제시되는 특허권의 범위의 예시가 되지만 이에 국한되지 않는 것으로 의도된다.

Claims

헤드셋으로서:
헤드셋의 사용자의 안구를 향하는 광을 방출하도록 구성되는 광원,
안구의 일부에 의해 반사되는 광원으로부터의 광의 래스터 이미지를 캡처하도록 구성되는 카메라를 포함하는 헤드셋; 및
헤드셋과 연결된 콘솔로서:
카메라에 포함된 이미지 센서의 픽셀에 대응하는 사용자의 안구의 일부의 표면 상의 거리를 나타내는 캘리브레이션 데이터 및 사용자의 안구의 일부에 의해 반사되는 광원으로부터의 광의 이전에 캡처된 하나 이상의 이미지를 저장하고;
안구의 일부에 의해 반사된 코히어런트 광원으로부터의 광의 캡처된 이미지 및 저장된 캘리브레이션 데이터에 기반하여 사용자의 안구의 안구 위치를 결정하도록 구성되는 콘솔을 포함하고,
카메라는 각각이 헤드셋의 사용자의 안구에 의해 반사되는 광원으로부터의 광을 캡처하도록 구성되는 하나 이상의 픽셀을 포함하고,
안구의 일부에 의해 반사되는 코히어런트 광원으로부터의 광의 캡처된 이미지 및 저장된 캘리브레이션 데이터에 기반하여 사용자의 안구의 위치를 결정하는 것은:
안구의 일부에 의해 반사되는 광원으로부터의 광의 캡처된 이미지로부터 표면 특징을 추출하고;
추출된 표면 특징을 적어도 사용자의 안구의 일부에 의해 반사되는 광원으로부터의 광의 이전에 캡처된 하나 이상의 이미지의 세트로부터 추출된 추가 표면 특징과 비교하고;
비교에 기반하여 참조 안구 위치와 연관된 사용자의 안구의 일부에 의해 반사되는 코히어런트 광원으로부터의 광의 이전에 캡처된 이미지를 선택하고;
사용자의 안구의 일부에 의해 반사되는 광원으로부터의 광의 캡처된 이미지의 표면 특징 및 안구의 일부에 의해 반사되는 코히어런트 광원으로부터의 광의 선택된 이전에 캡처된 이미지의 표면 특징 간의 서브픽셀 시프트를 결정하고; 및
서브픽셀 시프트 및 서브픽셀 거리의 곱으로 사용자의 안구의 위치를 결정하는 것을 포함하는 시스템.
청구항 1에 있어서,
표면 특징은 사용자의 안구의 일부의 표면의 특정 부분과 연관된 광학 흐름 패턴을 포함하는 시스템.
헤드셋으로서:
헤드셋의 사용자의 안구를 향하는 광을 방출하도록 구성되는 광원,
안구의 일부에 의해 반사되는 광원으로부터의 광의 래스터 이미지를 캡처하도록 구성되는 카메라를 포함하는 헤드셋; 및
헤드셋과 연결된 콘솔로서:
카메라에 포함된 이미지 센서의 픽셀에 대응하는 사용자의 안구의 일부의 표면 상의 거리를 나타내는 캘리브레이션 데이터 및 사용자의 안구의 일부에 의해 반사되는 광원으로부터의 광의 이전에 캡처된 하나 이상의 이미지를 저장하고;
안구의 일부에 의해 반사된 코히어런트 광원으로부터의 광의 캡처된 이미지 및 저장된 캘리브레이션 데이터에 기반하여 사용자의 안구의 안구 위치를 결정하도록 구성되는 콘솔을 포함하고,
카메라는 각각이 헤드셋의 사용자의 안구에 의해 반사되는 광원으로부터의 광을 캡처하도록 구성되는 하나 이상의 픽셀을 포함하고,
안구의 일부에 의해 반사되는 광원으로부터의 광의 캡처된 이미지 및 저장된 캘리브레이션 데이터에 기반하여 사용자의 안구의 위치를 결정하는 것은:
사용자의 안구의 일부에 의해 반사되는 코히어런트 광원으로부터의 광의 캡처된 이미지 및 사용자의 안구의 일부에 의해 반사되는 광원으로부터의 광의 이전에 캡처된 이미지 간의 서브픽셀 시프트를 결정하고; 및
서브픽셀 시프트와 서브픽셀 거리의 곱으로 사용자의 안구의 일부에 의해 반사되는 코히어런트 광원으로부터의 광의 이전에 캡처된 이미지에 대응하는 사용자의 안구의 위치에 상대적인 광원으로부터의 광의 캡처된 이미지에 대응하는 사용자의 안구의 위치를 결정하는 것을 포함하는 시스템.
헤드셋 내부에 장착된 광원으로 사용자의 안구의 일부를 조명하는 단계;
헤드셋 내부에 장착된 카메라로 안구의 일부에 의해 반사되는 광원으로부터의 광의 이미지를 캡처하는 단계;
안구의 일부에 의해 반사되는 광원으로부터의 광의 캡처된 이미지 및 카메라에 포함된 이미지 센서의 서브픽셀에 대응하는 사용자의 안구의 일부의 표면 상의 거리를 나타내는 서브픽셀 거리와 사용자의 안구의 일부에 의해 반사되는 광원으로부터의 광의 이전에 캡처된 하나 이상의 이미지를 포함하는 저장된 캘리브레이션 데이터에 기반하여 사용자의 안구의 위치 및 방향을 결정하는 단계; 및
결정된 안구 위치에 기반하여 헤드셋으로 컨텐츠를 제공하도록 구성되는 시스템 환경의 하나 이상의 컴포넌트에게 사용자의 안구의 위치 및 방향을 제공하는 단계를 포함하고,
안구의 일부에 의해 반사되는 코히어런트 광원으로부터의 광의 캡처된 이미지 및 저장된 캘리브레이션 데이터에 기반하여 사용자의 안구의 위치를 결정하는 단계는:
사용자의 안구의 일부에 의해 반사되는 코히어런트 광원으로부터의 광의 캡처된 이미지 및 사용자의 안구의 일부에 의해 반사되는 광원으로부터의 광의 이전에 캡처된 이미지 간의 서브픽셀 시프트를 결정하는 단계; 및
서브픽셀 시프트와 서브픽셀 거리의 곱으로 사용자의 안구의 일부에 의해 반사되는 코히어런트 광원으로부터의 광의 이전에 캡처된 이미지에 대응하는 사용자의 안구의 위치에 상대적인 광원으로부터의 광의 캡처된 이미지에 대응하는 사용자의 안구의 위치를 결정하는 단계를 포함하는 방법.
헤드셋 내부에 장착된 광원으로 사용자의 안구의 일부를 조명하는 단계;
헤드셋 내부에 장착된 카메라로 안구의 일부에 의해 반사되는 광원으로부터의 광의 이미지를 캡처하는 단계;
안구의 일부에 의해 반사되는 광원으로부터의 광의 캡처된 이미지 및 카메라에 포함된 이미지 센서의 서브픽셀에 대응하는 사용자의 안구의 일부의 표면 상의 거리를 나타내는 서브픽셀 거리와 사용자의 안구의 일부에 의해 반사되는 광원으로부터의 광의 이전에 캡처된 하나 이상의 이미지를 포함하는 저장된 캘리브레이션 데이터에 기반하여 사용자의 안구의 위치 및 방향을 결정하는 단계; 및
결정된 안구 위치에 기반하여 헤드셋으로 컨텐츠를 제공하도록 구성되는 시스템 환경의 하나 이상의 컴포넌트에게 사용자의 안구의 위치 및 방향을 제공하는 단계를 포함하고,
안구의 일부에 의해 반사되는 광원으로부터의 광의 캡처된 이미지 및 저장된 캘리브레이션 데이터에 기반하여 사용자의 안구의 위치를 결정하는 단계는:
안구의 일부에 의해 반사되는 광원으로부터의 광의 캡처된 이미지로부터 표면 특징을 추출하는 단계;
추출된 표면 특징을 적어도 사용자의 안구의 일부에 의해 반사되는 광원으로부터의 광의 이전에 캡처된 하나 이상의 이미지의 세트로부터 추출된 추가 표면 특징과 비교하는 단계;
비교에 기반하여 참조 안구 위치와 연관된 사용자의 안구의 일부에 의해 반사되는 코히어런트 광원으로부터의 광의 이전에 캡처된 이미지를 선택하는 단계;
사용자의 안구의 일부에 의해 반사되는 광원으로부터의 광의 캡처된 이미지의 표면 특징 및 안구의 일부에 의해 반사되는 코히어런트 광원으로부터의 광의 선택된 이전에 캡처된 이미지의 표면 특징 간의 서브픽셀 시프트를 결정하는 단계; 및
서브픽셀 시프트 및 서브픽셀 거리의 곱으로 사용자의 안구의 위치를 결정하는 단계를 포함하는 방법.
청구항 5에 있어서,
표면 특징은 사용자의 안구의 일부의 표면의 특정 부분과 연관된 광학 흐름 패턴을 포함하는 방법.
헤드셋으로서:
헤드셋의 사용자의 안구를 향하는 광을 방출하도록 구성되는 광원,
안구의 일부에 의해 반사되는 광원으로부터의 광의 래스터 이미지를 캡처하도록 구성되는 카메라를 포함하는 헤드셋; 및
헤드셋과 연결된 콘솔로서:
카메라에 포함된 이미지 센서의 픽셀에 대응하는 사용자의 안구의 일부의 표면 상의 거리를 나타내는 캘리브레이션 데이터 및 사용자의 안구의 일부에 의해 반사되는 광원으로부터의 광의 이전에 캡처된 하나 이상의 이미지를 저장하고;
안구의 일부에 의해 반사된 코히어런트 광원으로부터의 광의 캡처된 이미지 및 저장된 캘리브레이션 데이터에 기반하여 사용자의 안구의 안구 위치를 결정하도록 구성되는 콘솔을 포함하고,
카메라는 각각이 헤드셋의 사용자의 안구에 의해 반사되는 광원으로부터의 광을 캡처하도록 구성되는 하나 이상의 픽셀을 포함하고,
안구의 일부에 의해 반사되는 광원으로부터의 광의 캡처된 이미지 및 저장된 캘리브레이션 데이터에 기반하여 사용자의 안구의 위치를 결정하는 것은:
안구의 일부에 의해 반사되는 코히어런트 광원으로부터의 광의 캡처된 이미지의 대표 성능 지수를 결정하고;
대표 성능 지수를 유효성 임계치와 비교하고;
대표 성능 지수가 유효성 임계치와 같거나 초과한다는 결정에 응답하여 저장된 캘리브레이션 데이터에 접근하고;
안구의 일부에 의해 반사되는 광원으로부터의 광의 캡처된 이미지 및 저장된 캘리브레이션 데이터에 기반하여 사용자의 안구의 안구 위치를 결정하는 것을 포함하는 시스템.
청구항 7에 있어서,
콘솔은 결정된 안구 위치에 기반하여 헤드셋으로 컨텐츠를 제공하도록 더 구성되는 시스템.
청구항 7에 있어서,
대표 성능 지수는 안구의 일부에 의해 반사되는 광원으로부터의 광의 캡처된 이미지의 픽셀의 서브셋의 성능 지수 및 저장된 캘리브레이션 데이터에 기반하는 시스템.
청구항 7에 있어서,
대표 성능 지수는 안구의 일부에 의해 반사되는 광원으로부터의 광의 캡처된 이미지의 모든 픽셀의 성능 지수 및 저장된 캘리브레이션 데이터에 기반하는 시스템.
청구항 7에 있어서,
유효성 임계치는 안구의 일부에 의해 반사되는 광원으로부터의 광의 캡처된 이미지가 캡처됐을 때의 임계 시간 내에 이전에 캡처된 안구의 일부에 의해 반사되는 광원으로부터의 광의 추가 이미지의 성능 지수값의 트레일링 평균을 포함하는 시스템.
청구항 7에 있어서,
광원은 코히어런트 광원이고 헤드셋은:
카메라의 픽셀이 수정된 광을 캡처하기에 앞서 사용자의 안구의 일부에 의해 반사된 코히어런트 광을 수정하도록 구성되는 반사광 편광기를 더 포함하는 시스템.
청구항 12에 있어서,
반사광 편광기는 1/4 파장판을 포함하는 시스템.
청구항 13에 있어서,
반사광 편광기는 액정 소자의 액정의 배향을 수정하기 위하여 액정 소자에 인가되는 전기장에 따라 사용자의 안구의 일부에 의해 반사된 코히어런트 광원으로부터의 광의 편광 상태를 변경하도록 구성되는 액정 소자를 포함하는 시스템.
헤드셋 내부에 장착된 광원으로 사용자의 안구의 일부를 조명하는 단계;
헤드셋 내부에 장착된 카메라로 안구의 일부에 의해 반사되는 광원으로부터의 광의 이미지를 캡처하는 단계;
안구의 일부에 의해 반사되는 광원으로부터의 광의 캡처된 이미지 및 카메라에 포함된 이미지 센서의 서브픽셀에 대응하는 사용자의 안구의 일부의 표면 상의 거리를 나타내는 서브픽셀 거리와 사용자의 안구의 일부에 의해 반사되는 광원으로부터의 광의 이전에 캡처된 하나 이상의 이미지를 포함하는 저장된 캘리브레이션 데이터에 기반하여 사용자의 안구의 위치 및 방향을 결정하는 단계; 및
결정된 안구 위치에 기반하여 헤드셋으로 컨텐츠를 제공하도록 구성되는 시스템 환경의 하나 이상의 컴포넌트에게 사용자의 안구의 위치 및 방향을 제공하는 단계를 포함하고,
안구의 일부에 의해 반사되는 광원으로부터의 광의 캡처된 이미지 및 저장된 캘리브레이션 데이터에 기반하여 사용자의 안구의 위치를 결정하는 단계는:
안구의 일부에 의해 반사되는 광원으로부터의 광의 캡처된 이미지의 대표 성능 지수를 결정하는 단계;
대표 성능 지수를 유효성 임계치와 비교하는 단계;
대표 성능 지수가 유효성 임계치와 같거나 초과한다는 결정에 응답하여 저장된 캘리브레이션 데이터에 접근하는 단계; 및
안구의 일부에 의해 반사되는 광원으로부터의 광의 캡처된 이미지 및 저장된 캘리브레이션 데이터에 기반하여 사용자의 안구의 안구 위치를 결정하는 단계를 포함하는 방법.
청구항 15에 있어서,
대표 성능 지수는 안구의 일부에 의해 반사되는 광원으로부터의 광의 캡처된 이미지의 픽셀의 서브셋의 성능 지수 및 저장된 캘리브레이션 데이터에 기반하는 방법.
청구항 15에 있어서,
대표 성능 지수는 광원으로부터의 안구의 일부에 의해 반사되는 광의 캡처된 이미지의 모든 픽셀의 성능 지수, 및 저장된 캘리브레이션 데이터에 기반하는 방법.
청구항 15에 있어서,
유효성 임계치는 안구의 일부에 의해 반사되는 광원으로부터의 광의 캡처된 이미지가 캡처됐을 때의 임계 시간 내에 이전에 캡처된 안구의 일부에 의해 반사되는 광원으로부터의 광의 추가 이미지의 성능 지수의 트레일링 평균을 포함하는 방법.
삭제
삭제