KR102073460B1 - 렌즈 시스템을 통한 드리프트 프리 눈 추적을 제공하는 머리 장착형 눈 추적 디바이스 및 방법 - Google Patents

렌즈 시스템을 통한 드리프트 프리 눈 추적을 제공하는 머리 장착형 눈 추적 디바이스 및 방법 Download PDF

Info

Publication number
KR102073460B1
KR102073460B1 KR1020177028532A KR20177028532A KR102073460B1 KR 102073460 B1 KR102073460 B1 KR 102073460B1 KR 1020177028532 A KR1020177028532 A KR 1020177028532A KR 20177028532 A KR20177028532 A KR 20177028532A KR 102073460 B1 KR102073460 B1 KR 102073460B1
Authority
KR
South Korea
Prior art keywords
eye
user
feature
change
image
Prior art date
Application number
KR1020177028532A
Other languages
English (en)
Other versions
KR20180007349A (ko
Inventor
톰 센게로브
니스티코，왈터
니제르，마티아스
마틴 할러
월리암스，데니스
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20180007349A publication Critical patent/KR20180007349A/ko
Application granted granted Critical
Publication of KR102073460B1 publication Critical patent/KR102073460B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

본 발명은 눈(12)의 적어도 하나의 특징부를 결정하기 위한 방법 및 머리 장착형 눈 추적 디바이스(10a, 10b)에 관한 것이며, 눈 추적 디바이스(10a, 10b)는 눈(12)에 의해 반사된 광을 캡처하기 위한 캡처 디바이스(C), 및 광학 컴포넌트(14; E, E1, En, E2)를 통과하는 광의 전파 방향을 변경할 수 있는 광학 컴포넌트(14; E, E1, En, E2)를 포함한다. 눈 추적 디바이스(10a, 10b)는, 사용자의 머리에 고정될 때, 캡처 디바이스(C)에 의해 캡처된 광이 광학 컴포넌트(14; E, E1, En, E2)를 통과하고 이미지의 적어도 일부를 구성하도록 구성되며, 특징부는 눈(12)과 머리 장착형 눈 추적 디바이스(10a, 10b) 사이의 상대 위치에 관한 정보에 따라 이미지에 기초하여 결정된다.

Description

렌즈 시스템을 통한 드리프트 프리 눈 추적을 제공하는 머리 장착형 눈 추적 디바이스 및 방법
본 발명은 적어도 하나의 눈의 적어도 하나의 제1 특징부를 결정하기 위한 머리 장착형 눈 추적 디바이스에 관한 것이며, 머리 장착형 눈 추적 디바이스는 사용자의 적어도 하나의 눈에 의해 반사된 광을 캡처하기 위한 적어도 하나의 캡처 디바이스, 및 광학 컴포넌트를 통과하는 광의 전파 방향을 변경할 수 있는 적어도 하나의 광학 컴포넌트를 포함한다. 또한, 본 발명은 머리 장착형 눈 추적 디바이스에 의해 사용자의 적어도 하나의 눈의 적어도 하나의 제1 특징부를 결정하기 위한 방법에 관한 것이다.
사용자의 머리에 장착될 수 있는 프레임, 및 사용자가 그것을 통해 볼 수 있는 프레임 내로 삽입된 렌즈들을 포함할 수 있는, 종래 기술로부터 알려진 머리 장착형 눈 추적 디바이스들이 있다. 보통 눈 추적 디바이스들은 사용자의 눈의 이미지들을 캡처하고 그로부터 시선 방향을 결정하는 카메라들을 포함한다. 이 카메라들은 프레임 내에 배치되고 사용자의 눈으로의 직접 경로를 가질 수 있다. 이러한 구성들은, 카메라들이 적어도 특정 시선 방향들에 대해 눈에 대한 측면 뷰만을 갖고, 눈의 특징부들은 캡처하기가 더 어렵다는 단점이 있다. 이는 추적 정확도를 감소시킨다. 또한, 이 카메라들은 사용자에 의해 보여질 수 있으며 시야의 일부를 방해하거나 가릴 수 있다.
또한, 통합된 눈 추적 디바이스들을 구비한 머리 장착형 디스플레이들이 알려져 있다. 머리 장착형 디스플레이들은 보통, 예를 들어 프레임에 의해 사용자의 머리에 장착되는 디스플레이를 포함한다. 디스플레이들 상에 보여지는 이미지들은 렌즈들 또는 렌즈 시스템들에 의해 사용자의 눈에 투사될 수 있다. 또한, 카메라가 사용자로부터 숨겨지고 렌즈 시스템을 통해 사용자의 눈을 관찰하는, 종래 기술로부터 알려진 머리 장착형 디바이스들이 있다. 이 디바이스들은 외관 기반의, 보간 눈 추적 접근법들을 사용하며, 이는 사용자의 눈에 대한 디바이스의 상대 위치가 변화될 때, 예를 들어 머리 장착형 눈 추적 디바이스가 약간 미끄러지는 경우, 이 눈 추적 디바이스들의 교정이 무효화되는 큰 단점을 갖는다. 이는 움직임 후에 정확도의 손실을 야기한다.
따라서, 본 발명의 목적은 머리 장착형 눈 추적 디바이스에 의해 사용자의 적어도 하나의 눈의 적어도 하나의 제1 특징부를 결정하기 위한 머리 장착형 눈 추적 디바이스 및 방법을 제공하는 것이며, 이는 머리 장착형 눈 추적 디바이스의 컴포넌트들을 위치설정하는 것에 있어서 더 많은 유연성을 제공하고 동시에 추적 정확도에 대한 해로운 영향을 방지한다.
이 목적은, 독립 청구항들의 특징들을 갖는 머리 장착형 눈 추적 디바이스에 의해 사용자의 적어도 하나의 눈의 적어도 하나의 특징부를 결정하기 위한 머리 장착형 눈 추적 디바이스 및 방법에 의해 해결된다. 본 발명의 유리한 실시예들이 종속 청구항들에 제시된다.
본 발명에 따르면, 머리 장착형 눈 추적 디바이스는, 사용자의 머리에 고정될 때, 캡처 디바이스에 의해 캡처된 광이 사용자의 적어도 하나의 눈에 의해 반사되기 전 및/또는 후에 적어도 하나의 광학 컴포넌트를 통과하고 이미지의 적어도 일부를 구성하도록 구성된다. 이에 의해, 눈 추적 디바이스는 이미지에 기초하여 그리고 적어도 하나의 눈과 머리 장착형 눈 추적 디바이스 사이의 상대 위치에 관한 정보에 따라 적어도 하나의 제1 특징부를 결정하도록 구성된다.
따라서 유리하게는, 눈 추적을 수행할 때 적어도 하나의 눈과 머리 장착형 눈 추적 디바이스 사이의 상대 위치의 변화가 고려됨으로써, 상대 위치의 변화가 일어날 때 교정이 반복되지 않아도 되고 동시에 눈 추적 품질은 부정적인 영향을 받지 않는다. 또한, 캡처된 이미지는 광학 컴포넌트를 통과한 광에 의해 적어도 부분적으로 구성됨에 따라, 이 설정은 머리 장착형 눈 추적 디바이스의 컴포넌트들을 위치설정하는 데 있어서 훨씬 더 많은 유연성을 허용한다. 이에 의해, 하나 이상의 카메라 또는 이미지 센서를 포함할 수 있는 캡처 디바이스, 및/또는 머리 장착형 눈 추적 디바이스의 광원들은, 존재하는 경우, 사용자의 뷰 방향에 대하여 광학 컴포넌트의 뒤에 위치설정될 수 있다. 이는 또한, 이 다른 컴포넌트들을 사용자로부터 매우 유익한 방법으로 숨길 수 있게 한다. 또한, 이는, 이 다른 컴포넌트들이 그 위치들에 있어서 최적화됨으로써 더 높은 추적 품질 및 정확도가 달성될 수 있다는 큰 이점을 갖는다. 추가적으로 이는, 광학 컴포넌트를 사용자의 눈에 더 가깝게 위치설정할 수 있게 함으로써, 또한 사용자의 주변에 대한 시지각(visual perception) 또는 눈 추적 디바이스의 디스플레이 디바이스 상에 보여진 이미지들이 향상될 수 있다.
눈과 머리 장착형 눈 추적 디바이스 사이의 상대 위치에 관한 정보는 또한, 심지어 광원들 또는 캡처 디바이스와 같은 머리 장착형 눈 추적 디바이스의 컴포넌트들이 광학 컴포넌트 뒤에 위치설정될 때에도, 적어도 하나의 눈의 적어도 하나의 제1 특징부의 드리프트 프리 위치추정(drift free localization)을 허용한다. 또한, 적어도 하나의 눈과 머리 장착형 눈 추적 디바이스 사이의 상대 위치는 눈 전체와 눈 추적 디바이스 사이의 상대 위치로서 이해되어야 한다. 눈 추적 디바이스와 사용자의 머리 사이의 상대 위치는 동등한 특성화(equivalent characterization)일 것이므로, 눈 추적 디바이스가 이미지에 기초하여 그리고 적어도 하나의 눈과 머리 장착형 눈 추적 디바이스 사이의 상대 위치에 관한 정보에 따라 적어도 하나의 제1 특징부를 결정할 수 있는 것 대신에, 또한, 눈 추적 디바이스는 사용자의 머리와 머리 장착형 눈 추적 디바이스 사이의 상대 위치에 관한 정보에 기초하여 적어도 하나의 제1 특징부를 결정할 수 있다고 말할 수 있다.
일반적으로, 적어도 하나의 광학 컴포넌트는 렌즈, 프리즘, 구면 렌즈, 비구면 렌즈, 자유-형태 렌즈, 도파관, 렌즈 시스템, 또는 명명된 렌즈들 및/또는 프리즘들 중 하나 이상을 포함하는 광학 시스템을 포함할 수 있고/있거나 이들로서 구성될 수 있다. 적어도 하나의 광학 컴포넌트는 또한 상기 명명된 요소들 및/또는 시스템들의 임의의 조합을 포함할 수 있고/있거나 이들로서 구성될 수 있다. 특히, 적어도 하나의 광학 컴포넌트는 굴절 광학 컴포넌트 및/또는 반사 광학 요소를 포함한다. 이러한 이미징 광학체들은 피사체(object)들 및 이미지들을 수학적으로 관련시킴으로써, 예를 들어 눈과 추적 디바이스 사이의 상대 위치에 관한 정보는 또한, 수학적 관계 또는 그의 근사치 또는 일반적으로 광학 컴포넌트에 관한 적어도 하나의 정보를 알고 있을 때, 이미지 자체로부터 도출될 수 있다. 또한, 머리 장착형 눈 추적 디바이스는 적어도 하나의 광학 컴포넌트에 추가적으로 하나 이상의 추가의 광학 컴포넌트를 포함할 수 있다. 이들 추가의 광학 컴포넌트는 또한 상기 명명된 렌즈들, 프리즘, 미러들과 같은 반사 광학 요소들 등으로서 구성되거나 그들을 포함할 수 있다.
또한, 광학 컴포넌트는 눈 전방에 위치설정되는 것이 바람직하다. 따라서 사용자는 광학 컴포넌트를 통해 볼 수 있고 광학 컴포넌트는 사용자의 주변 또는 디스플레이 상의 이미지를 자신의 눈에 투사할 수 있다. 이는, 머리 장착형 눈 추적 디바이스가 동시에 머리 장착형 디스플레이로서 구성되거나 또는 다시 말해서 또한 적어도 하나의 눈에 이미지들을 디스플레이하기 위한 디스플레이를 포함하는 경우에, 특히 유리하다.
따라서, 본 발명의 바람직한 실시예는, 눈 추적 디바이스가 이미지들을 디스플레이하도록 구성된 디스플레이 디바이스를 포함하며, 바람직하게는 머리 장착형 눈 추적 디바이스가, 특히 머리 장착형 눈 추적 디바이스가 사용자의 머리에 고정될 때, 디스플레이 디바이스로부터 유래되는 광이 적어도 하나의 광학 컴포넌트를 적어도 부분적으로 통과하고 적어도 하나의 눈에 충돌하도록 구성되는 것이다. 따라서 광학 컴포넌트는 유리하게는 디스플레이 또는 디스플레이들 상에 보여진 이미지들을 사용자의 거의 전체 시야 내로 투사하는 데 사용될 수 있다. 또한, 디스플레이는, 이미지들을 동시에 디스플레이하고 캡처하도록 구성된 소위 양방향 디스플레이로서 구성될 수 있다. 따라서, 머리 장착형 눈 추적 디바이스의 디스플레이는 머리 장착형 눈 추적 디바이스의 캡처 디바이스를 포함하고/하거나 그로 구성될 수 있으며, 이는 머리 장착형 눈 추적 디바이스의 특히 콤팩트한 구성을 가능하게 한다.
또한, 상대 위치에 관한 정보는 여러 방법들로 도출될 수 있다. 이 정보를 캡처된 이미지들로부터 직접 도출하는 유리하고 간단한 방법들이 있다. 그렇게 하기 위해서는, 광학 컴포넌트의 이미징 속성들 및/또는 상기 명명된 수학적 관계 및/또는 그의 근사치와 같은, 광학 컴포넌트에 관한 무언가를 아는 것이 유익하다. 이 정보는 머리 장착형 눈 추적 디바이스에 알려지거나 정의될 수 있으며, 예를 들어 눈 추적 디바이스의 저장 디바이스 또는 눈 추적 디바이스가 결합될 수 있는 저장 디바이스에 저장되고/되거나 눈 추적을 위해 눈 추적 디바이스의 프로세싱 유닛에 의해 수행되는 알고리즘에서 구현될 수 있거나, 또는 머리 장착형 눈 추적 디바이스는 예를 들어, 교정 절차를 수행함으로써 이 정보를 도출하도록 구성될 수 있다. 상대 위치에 관한 정보는 또한 다른 식으로 결정될 수 있으며, 예를 들어, 광학 컴포넌트에 관해 아는 것이 없이 결정될 수 있다. 머리 장착형 눈 추적은, 사용자가 자신의 시선 방향을 변화시킬 때 눈 추적 디바이스에 대해 그 위치가 변화하지 않는(사용자와 눈 추적 디바이스 사이의 상대 위치가 변화하는 것을 제외하고는) 특징부들을 포함하는 사용자의 눈 및/또는 얼굴의 이미지들이 캡처될 수 있도록 구성될 수 있다. 예를 들어, 눈의 눈꼬리(eye corner)가 검출될 수 있다. 눈 추적 디바이스가 캡처된 이미지들에 기초하여 동공의 위치를 결정하는 경우, 사용자가 자신의 시선 방향을 변화시키면 이미지들에서 이 위치는 변화하지만, 눈꼬리의 위치는 시선 방향의 변화들로 인해 변화하지 않는다. 따라서, 동공의 위치의 변화가 사용자의 눈에 대한 눈 추적 디바이스의 움직임에 기인하는지(이 경우 눈꼬리의 위치도 변화했을 것이기 때문임), 또는 동공의 위치의 변화가 사용자가 자신의 뷰 방향을 변화시키는 것으로 인한 것인지(이 상황에서 눈꼬리의 위치는 변화하지 않기 때문임) 여부가 결정될 수 있다. 눈꼬리 대신에, 또한 눈썹, 코 등과 같은, 눈 또는 얼굴의 다른 특징부들이 검출될 수 있다. 머리 장착형 눈 추적 디바이스는 또한 상대 위치의 변화와 같은 상대 위치에 관한 정보를 검출하기 위한 컴포넌트, 예를 들어, 센서, 특히 근접 센서, 가속도계, 또는 관성 측정 유닛을 포함할 수 있다.
결과적으로, 눈과 눈 추적 디바이스 사이의 상대 위치에 관한 정보를 결정하고, 결정된 눈 특징부들을 교정하거나 재스케일링하기 위해 이 정보를 사용하는 간단하고 유리한 많은 방법들이 있다.
게다가, 머리 장착형 눈 추적 디바이스는 모델 기반 눈 추적 및/또는 외관 기반 눈 추적을 수행하도록 구성될 수 있다. 두 경우들 모두에서, 캡처 디바이스 및/또는 광원들이 눈 추적 품질에 대해 부정적인 영향을 주지 않으면서 광학 컴포넌트 뒤에 위치설정되는 경우, 또한 적어도 하나의 눈의 적어도 하나의 특징부를 결정하는 것이 유리하게 가능하다.
또한, 머리 장착형 눈 추적 디바이스는 적어도 하나의 눈의 동공, 공막, 연곽, 홍채, 각막, 각막 중심, 안구 중심, 동공 중심, 동공 직경, 동공 특성, 연곽 특성, 공막 특성, 홍채 특성, 혈관의 특성, 각막 특성, 안구 특성, 시선 방향, 시선의 포인트, 배향, 위치 및 눈감음(eyelid closure)의 그룹 중 적어도 하나로서 적어도 하나의 제1 특징부를 결정하도록 구성될 수 있다. 또한 이들 특징부 중 더 많은 것들은 예를 들어 먼저 시선 방향을 결정하기 위해 결정될 수 있으며 안구 중심 및 동공 중심이 결정될 수 있고, 이로부터 시선 벡터가 계산될 수 있다. 또한 상기 명명된 그룹의 특징부들의 다른 조합들 또는 상기 명명된 그룹의 단일 특징부들이 시선 방향 벡터를 계산하기 위해 사용될 수 있다.
이러한 맥락에서 시선의 포인트는 사용자가 보고 있는 포인트이다. 그것은 사용자의 각각의 눈의 시선 방향 벡터들을 교차시킴으로써 계산될 수 있다. 사용자가 보고 있는 2차원 표면이 알려져 있는 경우, 예를 들어, 머리 장착형 눈 추적 디바이스에 통합될 수 있는 스크린 또는 디스플레이를 그 사람이 보고 있는 경우, 시선의 포인트는 좌안 또는 우안의 시선 방향 또는 좌안 및 우안의 평균화된 시선 방향과 이 표면의 교차점으로서 계산될 수 있다. 또한 양안 시선 포인트를 계산하기 위한 더 진보된 방법들, 예를 들어, 통계학, 확률적 또는 고차원 모델에서 안진증 또는 사시증과 같은 사용자 외관(physiognomy) 또는 질환들을 고려하는 것이 사용될 수 있다.
본 발명의 유리한 실시예에서, 눈 추적 디바이스는, 이미지에 기초하여 눈과 눈 추적 디바이스 사이의 상대 위치에 관한 정보에 따라 적어도 하나의 눈의 제2 특징부의 위치추정을 수행하고, 그리고 적어도 하나의 제2 특징부의 위치추정에 기초하여 적어도 하나의 제1 특징부를 결정하도록 구성된다. 이미 언급된 바와 같이, 제1 특징부로서 시선 방향을 결정하기 위해, 동공, 각막 또는 안구와 같은 제2 특징부들이 그렇게 하기 위해 결정될 수 있다. 일반적으로 제2 특징부들은 또한 상기 명명된 그룹 내의 적어도 하나일 수 있다.
이 문맥에서 제2 특징부의 위치추정은 실제 공간에서의 제2 특징부의 위치추정으로서 또는 이미지에서의 제2 특징부의 위치추정으로서 이해될 수 있다. 예를 들어, 눈 추적 디바이스가 외관 기반 눈 추적 또는 보간 눈 추적을 수행하는 경우, 보통 교정 절차에서 눈 추적 디바이스는 사용자가 미리정의된 교정 포인트들을 보고 있는 동안 사용자의 눈들의 여러 이미지들을 캡처하고, 눈 추적 디바이스는 예를 들어 이미지 내의 동공 위치를 디스플레이 상의 대응하는 시선 포인트로 매핑하는 맵을 설정한다. 이에 의해, 실제 공간에서의 동공의 위치추정은 수행될 필요가 없다. 이제 눈과 눈 추적 디바이스 사이의 상대 위치에 관한 정보를 고려하는 것이 매우 유리한데, 그 이유는 이어서 눈 추적 디바이스는 이미지 내의 동공의 위치가 시선 방향의 변화로 인해 변화했든 또는 사용자의 머리에 대한 눈 추적 디바이스의 움직임으로 인해 변화했든 두 상황들을 구별할 수 있기 때문이다. 이들 두 상황 모두를 구별하기 위해 눈꼬리와 같은 눈 특징부들이, 이미 언급된 바와 같이 추가적으로 검출될 수 있다.
더욱이, 제2 특징부의 위치추정은 또한, 눈 추적 디바이스에 대한 제2 특징부의 2개 또는 3개의 실제 공간 좌표들을 결정함으로써 실제 공간에서의 제2 특징부의 위치추정으로서 수행될 수 있다.
이에 의해, 그것은 눈 추적 디바이스가 3D 위치추정으로서 위치추정을 수행하도록 구성될 때에 매우 유익하다. 이에 의해, 눈의 위치, 각막의 위치 또는 동공의 위치 또는 다른 눈 특징부들이 매우 정확하게 결정됨으로써, 시선 방향도 정확하게 계산될 수 있다.
이 3D 위치추정은 바람직하게는 모델 기반 눈 추적과 관련하여 수행된다. 따라서, 머리 장착형 눈 추적 디바이스가, 적어도 하나의 눈의 적어도 하나의 제1 특징부 및/또는 적어도 하나의 제2 특징부 및/또는 적어도 하나의 제3 특징부의 모델에 기초하여 적어도 하나의 눈의 적어도 하나의 제1 특징부를 결정하도록 구성될 때, 그것은 본 발명의 매우 유리한 다른 실시예이다. 예를 들어, 눈 배향은 동공 윤곽 또는 연곽 윤곽의 투시 변형(perspective deformation)으로부터 추론될 수 있고, 각각의 눈까지의 거리는, 연곽 장축 및 단축, 또는 안구 반경과 같이 동적으로 변화하지 않는 눈 특징부들의 이미지 내에서의 치수들로부터 계산될 수 있다. 따라서 예를 들어, 안구 반경이 모든 사용자에 대해 동일한 것으로 가정되고 알려진 경우, 이미지로부터 안구 반경을 결정함으로써 그리고 이 결정된 반경을 실제 알려진 반경에 관련하여 설정함으로써, 카메라 또는 캡처 디바이스로부터의 눈의 거리는 일반적으로 결정될 수 있다. 카메라가 적어도 하나의 광학 컴포넌트를 통해 눈을 보고 있을 경우에 대해, 광학 컴포넌트의 광학 속성들이 고려되어야 한다. 광학 컴포넌트의 초점 거리, 스케일링 인자, 또는 임의의 다른 이미징 속성이 알려져 있는 경우, 캡처된 이미지에서의 검출된 형태들 및 치수들은 대응하는 실제 형태들 및 치수들로 매핑될 수 있다. 그로부터, 예를 들어 눈의 3D-위치 및/또는 3D-배향 또는 다른 눈 특징부들이 도출될 수 있고, 이것에 의해 이들 특징부의 3D-위치추정이 수행된다.
결과적으로, 본 발명의 다른 실시예에 따르면, 머리 장착형 눈 추적 디바이스가 적어도 하나의 광학 컴포넌트의 광학 속성에 관한 정보에 기초하여 적어도 하나의 제1 특징부를 결정하고/하거나 적어도 하나의 제2 특징부의 위치추정을 수행하고/하거나 상대 위치에 관한 정보를 제공하도록 구성되는 것은, 매우 유리하다. 이 광학 속성은, 예를 들어, 광학 컴포넌트의 단일 렌즈의 초점 거리, 예를 들어, 광학 컴포넌트의 전체 광학 시스템의 유효 초점 거리, 광학 컴포넌트의 렌즈들의 스케일링 인자, 이미징 속성들, 굴절 속성들, 직경들 또는 표면 속성들일 수 있다. 이들 속성은 정확하게 알려질 필요는 없지만, 또한 광학 컴포넌트들 및/또는 그것의 단일 광학 요소들의 광학 속성들 또는 모델들의 특정 근사치들에 의해 근사화될 수 있다. 예를 들어, 광학 컴포넌트의 렌즈들 및/또는 자유 형태 렌즈들 및/또는 프리즘들의 표면 속성들은 다항식 기술(polynomial description) 및/또는 메시 표현 등에 의해 기술될 수 있다. 렌즈들의 굴절 속성들은 스넬의 법칙(Snell's law)에 의해 기술될 수 있고, 광학 컴포넌트의 얇은 렌즈들의 굴절 속성은 예를 들어, 얇은 렌즈 근사치에 의해 근사화될 수 있다. 광학 컴포넌트가 하나 초과의 광학 요소를 포함하는 경우, 또한 각각의 광학 요소에 대한 상이한 근사치들 또는 수학적 기술들이 사용될 수 있다.
광학 컴포넌트의 이들 광학적 속성은 미리-주어질(pre-given) 수 있으며, 예를 들어, 이 정보는 눈 추적에 사용되는 알고리즘에 이미 포함되어 있거나, 또는 이 정보는 눈 추적 디바이스 자체에 의해, 예를 들어, 교정 절차에 의해 도출될 수 있다. 유익하게도, 광학 컴포넌트의 광학 속성에 관한 이 정보는 또한 이미지에서의 눈 특징부들을 검색하기 위한 특징부 검색 기준에 사용되거나 포함될 수 있다. 예를 들어, 이미지 내의 동공을 검출하기 위해, 눈 추적 디바이스는 이미지에서 특정 치수들을 갖는 원형같은 피사체들 또는 타원형의 피사체들을 검색한다. 이제 이미지에서의 이 치수들이 광학 컴포넌트로 인해 변화되는 경우, 이것은, 동공 후보들을 검색할 때, 눈 추적 디바이스가 적어도 하나의 광학 컴포넌트의 광학 속성에 기초하여 재스케일링되는 치수들을 갖는 원형같은 피사체들 또는 타원형의 피사체들을 검색하도록, 고려될 수 있다. 또한 이미지 내의 피사체들의 형태들이 광학 컴포넌트의 광학 속성들로 인해 변화할 수 있으므로, 이것은 유사하게 고려될 수 있다.
결과적으로, 적어도 하나의 제1 특징부 및 또한 적어도 하나의 제2 특징부의 위치추정은 광학 컴포넌트의 광학 속성에 관한 정보를 사용하여 매우 정확하게 수행될 수 있다. 광학 속성에 관한 정보는 또한 눈과 눈 추적 디바이스 사이의 상대 위치에 관한 정보를 제공하는 데 사용될 수 있으며, 이는 특히 이 정보가 캡처된 이미지들로부터 직접 도출될 수 있기 때문이다. 눈 추적 디바이스가 광학 컴포넌트의 광학 속성에 관한 지식을 사용하여 실제 공간에서 눈 특징부들을 위치추정하도록 구성되는 경우, 눈 추적 디바이스는 결과적으로 눈과 눈 추적 디바이스 사이의 상대 위치를 결정할 수 있고 게다가 그 상대 위치의 변화들도 결정할 수 있다. 따라서 머리 장착형 눈 추적 디바이스와 사용자의 머리 사이의 변화들은 눈 추적 성능에 어떠한 부정적인 영향도 주지 않으며, 반대로, 눈 추적 디바이스의 컴포넌트들을 위치설정하는 데 있어서 그리고 특히 모델 기반 눈 추적을 수행하는 데 있어서 더 많은 유연성을 가짐으로써, 눈 추적 품질, 예를 들어 시선 정확도는 알려진 눈 추적 시스템들에 비해 훨씬 향상될 수 있다.
또한, 머리 장착형 눈 추적 디바이스는 이미지에서 적어도 하나의 제2 특징부의 위치를 매핑하고, 눈과 눈 추적 디바이스 사이의 상대 위치에 관한 정보에 따라 매핑을 수정하도록 구성될 수 있다. 특히, 눈 추적 디바이스는 이미지에서의 제2 특징부의 위치를 실제 공간에서의 제2 특징부의 위치로 매핑할 수 있으며, 예를 들어, 이미지에서 검출된 동공의 위치에 기초하여 실제 공간에서의 동공의 위치를 결정할 수 있다. 또한 시선 방향 및/또는 시선의 포인트와 같은 특징부들이 이미지에 기초하여 계산되고 실제 공간에서의 대응하는 방향 및/또는 위치로 매핑될 수 있다. 이는 예를 들어, 매핑시 광학 컴포넌트의 광학 속성을 고려함으로써 수행될 수 있다. 한편, 이미지에서의 적어도 하나의 제2 특징부의 위치는 또한 제1 특징부의 대응하는 값으로 직접 매핑될 수 있다. 예를 들어, 눈 추적 디바이스는 이미지에서의 동공의 위치를 결정하고 이 위치를 대응하는 시선 방향으로 매핑할 수 있다. 이 맵을 정의하기 위해, 예를 들어, 교정 또는 시뮬레이션 절차가 수행될 수 있다. 눈 추적 디바이스와 눈 사이의 상대 위치의 변화가 이 맵을 무효화하게 하지 않기 위하여, 눈과 눈 추적 디바이스 사이의 상대 위치에 관한 정보에 따라 매핑을 수정하는 것이 매우 유리하다. 이러한 식으로, 눈과 눈동자 추적 디바이스 사이의 상대 위치의 변화들이 일어나더라도, 맵은 항상 유효하게 유지되며 제2 특징부를 올바르게 매핑한다. 이들 변화는 예를 들어, 자이로스코프, 근접 센서, 가속도계, 또는 관성 측정 유닛, 또는 이들 센서의 임의의 조합과 같은 추가적인 센서들로 이미지 내의 눈꼬리를 결정함으로써, 그리고/또는 캡처된 이미지들에 기초하여 이 정보를 도출함으로써 검출될 수 있다.
머리 장착형 눈 추적 디바이스는 또한 적어도 하나의 눈의 적어도 하나의 제2 특징부로서 제1 시선 방향으로부터 실제 시선 방향을 결정하도록 구성될 수 있으며, 적어도 하나의 광학 컴포넌트의 광학 속성에 관한 정보는 이미지로부터 도출된 제1 시선 방향을 보정하여 눈의 제1 특징부로서 실제 시선 방향을 제공하는 데 사용된다. 유리하게는, 이것은 사용자의 시선 방향을 결정하는 매우 간단하고 쉬운 방법이다. 예를 들어, 눈 추적 디바이스는 광학 컴포넌트의 영향을 무시하는 종래의 방식으로 캡처된 이미지들에 기초하여 시선 방향을 결정하도록 구성된다. 이어서 이 결정된 제1 시선 방향은 적어도 하나의 광학 컴포넌트의 광학 속성을 고려하는 맵에 의해 실제 시선 방향으로 매핑될 수 있다. 예를 들어, 이 맵은 교정 절차에 의해 도출될 수 있거나, 또는 예를 들어 룩업 테이블로서 미리정의될 수 있다. 이 맵이 광학 컴포넌트의 광학 속성을 고려함에 따라, 눈 추적 디바이스와 눈 사이의 상대 위치의 변화들은 자동적으로 고려된다. 이것은 또한 시선 방향과는 상이한 다른 눈 특징부들에도 작용한다. 따라서 각막, 동공 위치 등과 같은 눈의 다른 특징부들도 이미지에 기초하여 결정될 수 있으며, 광학 컴포넌트의 광학 속성을 고려하는 맵을 사용하여 실제 특징부들로 매핑될 수 있다.
따라서 그것은, 머리 장착형 눈 추적 디바이스가, 캡처 디바이스에 의해 캡처된 이미지로부터 적어도 하나의 눈의 적어도 하나의 제2 특징부의 속성을 도출함으로써 적어도 하나의 눈의 적어도 하나의 제1 특징부를 결정하고/하거나 적어도 하나의 제2 특징부의 위치추정을 수행하도록 구성되며, 적어도 하나의 광학 컴포넌트의 광학 속성에 관한 정보는, 이미지로부터 도출된 적어도 하나의 제2 특징부의 속성을 매핑하여 적어도 하나의 제1 특징부 및/또는 적어도 하나의 제2 특징부의 위치추정을 제공하기 위해 사용될 때, 매우 유리하다. 이 속성은 각막 직경 또는 동공 윤곽의 형태와 같은, 제2 특징부의 치수, 위치, 및/또는 형태일 수 있다.
또한, 머리 장착형 눈 추적 디바이스는 머리 장착형 눈 추적 디바이스를 교정하기 위한 교정 절차의 교정 결과들로부터 적어도 하나의 광학 컴포넌트의 광학 속성에 관한 정보를 도출하도록 구성될 수 있다. 광학 컴포넌트가 렌즈들 또는 프리즘들 및/또는 자유 형태 렌즈들을 갖는 매우 복잡한 광학 시스템을 포함하거나, 그것이 수학적 방법으로 그렇게 쉽게 기술될 수 없거나, 또는 광학 컴포넌트를 기술하는 복잡한 수학 공식들에 기초하여 시선 방향을 계산하기 위한 계산 시간이 너무 오래 걸리게 될 경우, 교정 절차로부터 광학 속성을 도출하는 것이 매우 유익하다. 이러한 방식으로, 광학 컴포넌트의 광학 속성은 교정 절차로부터 묵시적으로(implicitly) 도출되고, 예를 들어 교정 결과들에 기초하여, 검출된 또는 결정된 특징부들을 실제 특징부들로 매핑하는 맵이 정의될 수 있다. 또한 두께 및/또는 곡률 반경에 대한 파라미터들을 갖는 렌즈 모델과 같은, 광학 컴포넌트에 대한 모델이 사용될 수 있으며, 여기서 모델의 이 파라미터들은, 모델이 실제 광학 컴포넌트의 광학 속성을 대략적으로 또는 정확하게 기술하도록, 교정 절차 동안 피팅(fitting)될 수 있다.
따라서, 머리 장착형 눈 추적 디바이스가 적어도 하나의 광학 컴포넌트의 모델로부터 적어도 하나의 광학 컴포넌트의 광학 속성에 관한 정보를 도출하도록 구성되며, 특히 적어도 하나의 광학 컴포넌트의 모델은 적어도 하나의 광학 컴포넌트를 통과하는 광의 변경을 모델링하는 것이, 본 발명의 바람직한 실시예이다. 언급된 바와 같이, 이 모델은 교정 절차 동안 모델 파라미터들을 피팅하는 데 사용될 수 있다. 그러나 더욱이, 이 모델은 예를 들어, 실제 광학 컴포넌트의 광학 속성들 및 이미징 속성들의 근사치로서 미리-주어질 수 있다. 예를 들어, 광학 컴포넌트가 곡률 반경보다 훨씬 작은 두께를 갖는 렌즈를 포함하는 경우, 얇은-렌즈 근사치가 광학 컴포넌트를 통과하는 광의 변경을 모델링하는 데 사용될 수 있다. 또한 다른 접근법들이, 그 모델이 복잡한 렌즈 시스템들을 단순화하는 데 그리고 광학 컴포넌트의 광학 속성들을 기술하는 데 사용될 수 있다.
본 발명의 추가의 실시예에 따르면, 머리 장착형 눈 추적 디바이스는, 사용자의 머리에 고정될 때, 사용자의 적어도 하나의 눈으로부터 캡처 디바이스로의 광 경로가 적어도 하나의 광학 컴포넌트에 의해 변경되도록 구성된다. 따라서 캡처 디바이스가 캡처하는 눈 특징부들의 이미지들은 광학 컴포넌트에 의해 영향을 받는다. 이미지 내의 눈 특징부들에 대한 광학 컴포넌트의 영향은, 예를 들어 이전에 기술된 방법들에 의해 보상될 수 있다. 눈으로부터 캡처 디바이스로의 광 경로가 적어도 하나의 광학 컴포넌트에 의해 변경되는 것, 또는 다시 말해서 눈으로부터 캡처 디바이스로의 광 경로 내에 광학 컴포넌트를 갖는 것은 캡처 디바이스를 위치설정하는 유연성에 대해서 매우 큰 이점들을 갖는다. 우선, 특히 머리 장착형 눈 추적 디바이스가 디스플레이 디바이스를 포함하는 경우, 가능한 한 사용자의 눈에 가깝게 광학 컴포넌트를 갖는 것이 매우 유리한데, 이는 그러면 디스플레이들 상에 보여진 이미지들의 눈에 대한 투사가 최적화될 수 있기 때문이다. 또한 더 작은 직경을 갖는 렌즈들은, 이들 렌즈가 사용자의 눈에 더 가깝게 있을 경우에 사용자의 전체 시야에 이 이미지들을 투사하기 위해 사용될 수 있다. 이러한 설정에서, 눈과 광학 컴포넌트 사이에 카메라 또는 캡처 디바이스를 위치설정하는 것은 매우 어렵다. 결과적으로, 광학 컴포넌트 뒤의 어딘가에 캡처 디바이스를 위치설정할 수 있는 것이 매우 유익하며, 눈 추적은 한편으로는 더 높은 추적 품질로 수행될 수 있고, 다른 한편으로는 광학 컴포넌트를 가능한 한 눈에 가깝게 배치할 가능성을 가지면서 수행될 수 있다. 또한, 광학 컴포넌트 뒤에 캡처 디바이스를 위치설정하는 것은, 사용자가 캡처 디바이스를 봄으로써 방해받지 않도록 캡처 디바이스를 사용자로부터 숨기는 것을 가능하게 한다.
또한, 머리 장착형 눈 추적 디바이스는 머리 장착형 눈 추적 디바이스가 사용자의 머리에 고정될 때 적어도 하나의 눈의 적어도 일부를 조명하기 위한 적어도 하나의 광원을 포함할 수 있다. 바람직하게는, 이 광원은 적어도 하나의 눈에 적어도 하나의 반사를 야기하도록 구성된다. 글린트(glint) 또는 푸르키네(Purkinje) 이미지와 같은 그러한 반사들은 특히 눈 특징부들의 위치들 및 배향들을 더 정확하게 결정하기 위한 눈 추적에 사용될 수 있다. 이들 하나 이상의 광원은 예를 들어 적외선 광을 방출할 수 있으며, 이는 사용자가 볼 수 없어서 사용자를 방해하지 않는다는 이점을 갖는다. 이 경우, 캡처 디바이스는 바람직하게는 적어도 적외선 스펙트럼 범위에 대해 감응하도록 구성된다. 캡처 디바이스는 적어도 하나의 광원에 의해 생성된 반사를 캡처하고, 예를 들어, 각막을 구면 미러로서 모델링함으로써 - 이는 해먼드(Hammond)의 원격 눈 추적(Remote Eye Tracking) 책 7장에서 설명된 바와 같이 추적 품질을 향상시킴 - 눈 또는 눈 특징부들에 대한 이 반사들의 위치를 사용하여 눈의 특징부들을 위치추정한다.
일반적으로, 머리 장착형 눈 추적 디바이스는 광 경로가 적어도 하나의 광원으로부터 적어도 하나의 눈으로 그리고 적어도 하나의 눈으로부터 적어도 하나의 캡처 디바이스로 연장되도록 구성될 수 있으며, 적어도 하나의 광학 컴포넌트는 그 광 경로 내에 위치설정되어, 특히 광 경로를 따라 전파하는 광이 적어도 하나의 광학 컴포넌트를 통과하게 한다. 따라서, 캡처 디바이스 또는 적어도 하나의 광원 또는 심지어 둘 모두가 사용자의 뷰 방향에 대하여 광학 컴포넌트 뒤에 배치되어, 눈 추적 디바이스의 컴포넌트들의 최적화된 위치설정의 유연성이 훨씬 더 향상된다.
동일한 이유로, 머리 장착형 눈 추적 디바이스는, 사용자의 머리에 고정될 때, 광 경로 상에서 적어도 하나의 광원으로부터 사용자의 적어도 하나의 눈으로 전파하는 광이 적어도 하나의 광학 컴포넌트에 의해 전파 방향이 변경되도록 구성되는 것이 바람직하다. 이 실시예에서, 광원은, 광원에 의해 방출된 광이 먼저 광학 컴포넌트를 통과하고 이어서 눈에 부딪히고 반사들을 생성하도록, 사용자의 시각에서 광학 컴포넌트 뒤에 배치된다. 또한 캡처 디바이스가 광학 컴포넌트 뒤에 배치되는 경우, 눈에 의해 반사된 광은 그것이 캡처 디바이스에 의해 캡처되기 전에 다시 광학 컴포넌트를 통과함으로써, 캡처 디바이스에 의해 캡처되고 이미지를 구성하는 광의 적어도 일부가 광학 컴포넌트를 두 번 통과하게 하였다. 또한, 캡처 디바이스는 광학 컴포넌트가 그 사이에 위치설정되어 있지 않은 상태에서 눈의 이미지들을 직접 캡처하지만 하나 이상의 광원만이 광학 컴포넌트 뒤에 배치됨으로써, 광원들에 의해 방출된 광이 광학 컴포넌트를 통과하고 이후에 눈에 의해 반사되며 이어서 캡처 디바이스에 의해 직접 검출되도록 하는 구성들이 가능하다. 이 경우, 눈에 야기된 반사들과 관련되는 캡처된 이미지의 일부만이 광학 컴포넌트에 의해 영향을 받으며, 여기서 다른 눈 특징부들은 영향을 받지 않는다. 이 경우, 광학 컴포넌트의 광학 속성에 관한 정보는, 반사들에만 관련하여 눈의 적어도 하나의 제1 특징부를 결정하는 데 사용된다. 예를 들어, 점같은 그리고/또는 원형같은 반사들이 생성되는 경우, 광학 컴포넌트는 이 반사들의 크기 및 형태 및 위치를 변화시킬 수 있으며, 이는 유리하게는 시선 방향 또는 다른 특징부들을 결정할 때 고려될 수 있다. 광원들은 또한, 눈 위에 구조화된 반사들 또는 광 패턴들을, 예를 들어, 환형 형상으로 생성하도록 구성될 수 있으며, 이는 이어서 광학 컴포넌트에 의해 그 크기, 형태 또는 위치가 유사하게 영향을 받으며, 이는 눈 특징부들을 결정할 때 다시 고려될 수 있다.
본 발명의 추가적인 실시예에 따르면, 머리 장착형 눈 추적 디바이스는 평면 광학 요소, 바람직하게는 미러, 특히 상이한 스펙트럼 범위들과 관련한 빔 분할 미러 및/또는 색선별 미러(dichroic mirror) 및/또는 핫 미러(hot mirror)를 포함하며, 머리 장착형 눈 추적 디바이스는, 사용자의 머리에 고정될 때, 사용자의 적어도 하나의 눈으로부터 캡처 디바이스로 전파하는 광의 적어도 일부가 평면 광학 요소에 의해 반사되고, 그리고 바람직하게는 평면 광학 요소에 의해 반사되기 전에 적어도 하나의 광학 컴포넌트를 통과하도록 구성된다. 이 평면 광학 요소는, 캡처 디바이스의 위치설정에 관한 훨씬 더 큰 유연성이 제공된다는 큰 이점을 갖는다. 평면 광학 요소는 눈으로부터 캡처 디바이스로의 광 경로를 방향전환할 수 있어서, 캡처 디바이스를 사용자가 볼 수 없도록 위치설정하는 것이 가능하다. 이 문맥에서, 평면 광학 요소를 색선별 미러로서, 예를 들어 핫 미러로서 갖는 것이 매우 유리하며, 이는 미리정의된 스펙트럼 범위에 대해서는 투과성이고 제2 스펙트럼 범위, 예를 들어, 제1 스펙트럼 범위와 상이한 적외선 스펙트럼 범위에 대해서는 반사성일 수 있다. 이러한 식으로, 미러가 가시 광선 파장 범위에 대해 투과성일 때, 사용자는 미러를 보지 않고 미러를 통해 볼 수 있다. 동시에, 캡처 디바이스는, 미러에 의해 반사되는 광에 의해 구성되고 이어서 유리하게는 눈의 적어도 하나의 제1 특징부를 결정하는 데 사용될 수 있는 눈의 적외선 이미지들을 캡처할 수 있다. 대안적으로 또는 추가적으로, 이 평면 광학 요소는 또한 사용자의 눈 위에 반사들을 생성하기 위해 눈 추적 디바이스의 하나 이상의 광원으로부터의 광을 방향전환하는 데 사용될 수 있다. 유사한 방식으로 또한 이 광원들은 사용자로부터 숨겨질 수 있고 이들의 위치설정에 있어서 최적화할 수 있다.
머리 장착형 눈 추적 디바이스가, 평면 광학 요소가 그렇게 위치설정될 수 있는 머리 장착형 디스플레이로서 구성되고, 디스플레이로부터 유래되는 광이 미러를 통과하고 광학 컴포넌트를 통과하고 이어서 눈에 충돌하도록 구성되어 평면 광학 요소가 사용자에서 디스플레이로의 뷰 경로 내에 위치설정되는 경우, 사용자는 디스플레이 상의 이미지를 중단없이 볼 수 있다. 또한, 미러는 광학 컴포넌트의 광축 상에 위치설정될 수 있고, 그리고 바람직하게는 미러의 표면 법선은 광축을 향하여 소정 각도로, 특히 45°로 경사진다. 이러한 방식으로 광학 경로는 평면 광학 요소에 의해 직각으로 방향전환된다.
또한, 머리 장착형 눈 추적 디바이스는, 사용자의 머리에 고정될 때, 적어도 하나의 광원으로부터 사용자의 적어도 하나의 눈으로 광 경로 상에서 전파하는 광이 평면 광학 요소에 의해 반사되고, 그리고 바람직하게는 미러에 의해 반사된 후에 적어도 하나의 광학 컴포넌트를 통과하도록 구성될 수 있다. 따라서 또한 광원들은 사용자로부터 숨겨질 수 있으며 그럼에도 불구하고 눈을 조명하기 위한 최적의 위치에 배치될 수 있다.
본 발명은 또한, 사용자의 적어도 하나의 눈에 의해 반사된 광을 캡처하기 위한 적어도 하나의 캡처 디바이스 및 적어도 하나의 광학 컴포넌트를 구비한 머리 장착형 눈 추적 디바이스에 의해 적어도 하나의 눈의 적어도 하나의 특징부를 결정하기 위한 방법에 관한 것이며, 적어도 하나의 광학 컴포넌트를 통과하는 광의 전파 방향은 변경된다. 여기에서, 머리 장착형 눈 추적 디바이스가 사용자의 머리에 고정될 때, 광이 적어도 하나의 캡처 디바이스에 의해 캡처되며, 광은 사용자의 적어도 하나의 눈에 의해 반사되기 전 및/또는 후에 광학 컴포넌트를 통과하고 이미지의 적어도 일부를 구성하며, 적어도 하나의 제1 특징부는 이미지에 기초하여 그리고 적어도 하나의 눈과 머리 장착형 눈 추적 디바이스 사이의 상대 위치에 관한 정보에 따라 결정된다.
본 발명에 따른 머리 장착형 눈 추적 디바이스와 관련하여 기술된 바람직한 실시예들 및 이점들은 그에 따라 본 발명에 따른 방법에 적용된다. 특히, 본 발명에 따른 머리 장착형 눈 추적 디바이스는 본 발명에 따른 적어도 하나의 눈으로 적어도 하나의 특징부를 결정하기 위한 방법을 수행하는 데 사용될 수 있다. 또한, 본 발명에 따른 머리 장착형 눈 추적 디바이스의 기술된 실시예들은 본 발명에 따른 방법의 추가 단계들을 구성한다.
본 발명이 사용자의 적어도 하나의 눈을 참조하여 기술되더라도, 본 발명은 양쪽 눈에도 유사하게 적용된다. 예를 들어, 눈 추적 디바이스는 각각 하나의 눈을 위한 2개의 캡처 유닛들, 또는 양쪽 눈을 위한 공통 캡처 유닛, 각각 하나의 눈을 위한 2개의 광학 컴포넌트들, 또는 공통 광학 컴포넌트를 포함할 수 있다. 또한, 적어도 하나의 제1 또는 다른 특징부들의 결정은 전술한 바와 같이 각각의 눈에 대해 수행될 수 있다.
바람직한 실시예들은 머리 장착형 눈 추적 디바이스 내에서 위치가 고정되거나 동적일 수 있는 광학 컴포넌트를 지칭한다. 광학 컴포넌트가 여러 광학 요소들을 포함하는 경우, 이들 광학 요소 각각은 그것의 위치가 고정되거나 변경가능할 수 있다. 그 위치는 위의 설명들에 따라 알려지거나 알려지지 않을 수 있다. 또한, 적어도 하나의 광학 컴포넌트, 또는 광학 컴포넌트의 적어도 하나의 광학 요소는 정적 또는 동적 특성을 가질 수 있으며, 예를 들어 렌즈의 경우 굴절력은 시간 및 공간에 따라 변화할 수 있으며(예를 들어, 유체 렌즈의 경우), 이 상태는 머리 장착형 눈 추적 디바이스에 알려지거나 알려지지 않을 수 있다.
이하에서, 본 발명의 유리한 실시예들이 첨부된 도면을 참조하여 보다 상세하게 기술된다.
이들은 다음으로 도시된다:
도 1은 본 발명의 제1 실시예에 따른 머리 장착형 눈 추적 디바이스의 개략도이다.
도 2는 본 발명의 제2 실시예에 따른 머리 장착형 눈 추적 디바이스의 개략도이다.
도 3은 본 발명의 일 실시예에 따른 머리 장착형 눈 추적 디바이스의 광학 컴포넌트의 광학 속성들을 기술하기 위해 사용되는 광선 추적(ray-tracing)의 원리의 개략도이다.
도 4는 본 발명의 일 실시예에 따른 눈 추적 디바이스에서 사용하기 위한 가상 좌표계에서 눈을 재구성하기 위한 개략도이다.
도 1은 본 발명의 제1 실시예에 따른 머리 장착형 눈 추적 디바이스(10a)의 개략도를 도시한다. 일반적으로, 머리 장착형 눈 추적 디바이스(10a)는 머리 장착형 눈 추적 디바이스(10a)를 착용한 사용자의 눈(12)의 사진들을 촬영하기 위한 하나 이상의 카메라 또는 센서를 포함할 수 있는 캡처 디바이스(C)를 포함한다. 또한, 눈 추적 디바이스(10a)는 하나 이상의 렌즈, 프리즘 또는 다른 광학 요소들을 포함할 수 있는 광학 컴포넌트(14)를 포함한다. 이 예에서, 광학 컴포넌트(14)는 렌즈(E1) 및 선택적으로 추가의 렌즈(En)를 포함하며, 추가의 렌즈(En)는 도 1의 점선으로 된 렌즈 윤곽에 의해 도시된다. 또한 선택적으로, 눈 추적 디바이스(10a)는 하나 이상의 광원(L)을 포함할 수 있으며, 그 중 2개가 예시적으로 도 1에 도시되어 있다. 추가의 선택적인 컴포넌트들로서 눈 추적 디바이스(10a)는 핫 미러(M) 및 디스플레이 디바이스(16)를 포함할 수 있다. 또한, 눈 추적 디바이스(10a)는 캡처된 이미지들을 처리하고 눈(12)의 적어도 하나의 특징부를 결정하기 위한 프로세싱 유닛(18)을 포함한다.
광학 컴포넌트(14)는 사용자의 눈(12)으로부터 캡처 디바이스(C)로의 광학 경로에 대해 캡처 디바이스(C)와 눈(12) 사이에 배치되어, 캡처 디바이스(C)에 의해 캡처된 이미지에서의 적어도 일부 눈 특징부들이 광학 컴포넌트(14)에 의해, 예를 들어 그들의 형태, 크기 및/또는 위치가 변경된다. 예를 들어, 캡처 디바이스(10)와 눈 사이의 렌즈(E1)는 캡처된 이미지에서 동공(12a)을 확대할 수 있다.
광원들(L)은, 특히 구조화된 방식으로, 예컨대 환형 형태로, 그리고/또는 점같은 방식 및/또는 원형같은 방식으로 각막 상에 반사들을 생성할 수 있다. 광원들(L)로부터 눈(12)으로의 광 경로는 이 설정에서 또한 광학 컴포넌트(14)에 의해 변경된다. 특히, 이러한 구성에서, 광원들(L)에 의해 방출된 광은 또한 미러(M)에 의해 반사되고, 광학 컴포넌트(14)를 통과하며, 눈(12)에 충돌한다. 캡처 디바이스(C)에 의해 캡처된 이미지들은 프로세싱 유닛(18)에 의해 처리되고, 눈(12)의 특징부들이 검출된다.
핫 미러(M)는 캡처 디바이스(C) 및 광원들(L)에 대해 더 많은 유연성을 가능하게 하고, 여전히 캡처 디바이스(C)의 눈에 대한 중앙 뷰를 가능하게 한다. 이것은 가상 카메라(Cv)에 의해 예시된다. 캡처 디바이스(C)의 뷰는 미러(M)가 없는 가상 카메라(Cv)의 위치에서의 카메라의 뷰에 대응한다.
본 발명의 다른 실시예들에서, 예를 들어 머리 장착형 눈 추적 디바이스(10a)의 상이한 사용에 대해, 예를 들어 의료 또는 진단 목적으로, 캡처 디바이스(C)는 또한 도시된 가상 카메라(Cv)의 위치에 배치될 수 있고, 미러(M) 및 디스플레이 디바이스(16)는 생략될 수 있다. 캡처 디바이스(C)는 또한 상이한 장소들에서 하나 초과의 카메라 또는 센서를 포함할 수 있다. 또한, 캡처 유닛(C)은 그 사이에 광학 컴포넌트(14)가 없이 눈(12)에 대한 직접 뷰를 갖도록 배치될 수 있고, 광원들(L)만이 광원들(L)으로부터 눈(12)으로의 광 경로가 광학 컴포넌트(14)를 통과하도록 배치된다. 반면에, 광원들(L)도 그 사이에 광학 컴포넌트(14)가 없이 광을 직접 조명하도록 배치될 수 있고, 캡처 디바이스(C)는 도시된 바와 같이 위치설정된다.
광원들(L) 및/또는 캡처 디바이스(C)는 심지어 광학 컴포넌트(14)의 요소들 사이에 위치될 수 있다. 따라서, 광학 속성들 및 눈 추적 품질이 최적화될 수 있는, 눈 추적 디바이스(10a)의 컴포넌트들의 최적의 위치설정을 위한 많은 가능성들이 있다.
도 2는 본 발명의 다른 실시예에 따른 머리 장착형 눈 추적 디바이스(10b)의 개략도를 도시한다. 이 실시예에서, 광학 컴포넌트(14)는 자유-형태 렌즈(E)를 포함하고, 캡처 디바이스(C)에 의해 캡처된 광은 눈(12)으로부터 자유 형태 렌즈(E)를 통해 전파하고, 핫 미러(M)에 의해 반사되고, 이어서 캡처 디바이스(C)에 의해 캡처된다. 일반적으로 임의의 종류의 광 도파관이 이 자유-형태 렌즈(E)에 추가적으로 또는 그 대신에 사용될 수 있다. 광이 광학 컴포넌트(14)를 통해 전파하는 동안, 그것은 자유-형태 렌즈(E)의 표면에 의해 내부적으로 여러 번 반사되며, 그 목적을 위해 렌즈(E)는 선택적으로 그것의 표면의 부분들 상에 반사 코팅을 포함할 수 있다. 또한, 다시 여기에서, 눈 추적 디바이스(10b)는 디스플레이 유닛(16)을 포함할 수 있으며, 디스플레이 유닛(16)으로부터의 광은 핫 미러(M)를 통과하고, 자유-형태 렌즈(E)를 통과하며, 마지막으로 눈(12)에 충돌한다. 여기에서도, 눈 추적 디바이스(10b)는, 이 경우에는 도시되지 않은 하나 이상의 광원을 선택적으로 포함할 수 있다. 이러한 선택적인 광원들은 눈(12)을 직접 그리고/또는 자유-형태 렌즈(E)를 통해 조명하도록 위치설정될 수 있다. 자유-형태 렌즈(E)를 사용하는 것은, 눈 추적 디바이스(10b)가 훨씬 더 콤팩트하게 구성될 수 있고 동시에 캡처 디바이스(C)와 같은 눈 추적 디바이스의 컴포넌트들이 사용자로부터 숨겨질 수 있다는 이점을 갖는다.
캡처 디바이스(C)가 광학 컴포넌트(14)를 통과하여 눈(12)의 이미지의 적어도 일부를 구성하는 광을 캡처하는 이러한 상황들에서, 최신의(state of the art) 눈 추적 기술들과 상이하게, 프로세싱 유닛(18)은 이제 이미지에서의 관찰된 눈(12) 또는 관찰된 글린트가 실제 눈(12)의 캡처 디바이스(C)의 센서들 상에의 직접 투사는 아니지만 광학 컴포넌트(14)에 의해 변경될 수 있다는 사실을 다루어야 한다. 이를 보상하기 위해, 캡처 디바이스(C)가 광학 컴포넌트(14) 뒤에 배치되는 설정과 관련하여 이하에서 보다 상세히 설명되는 여러 상이한 기술들이 적용될 수 있지만, 이는 광원들(L)이 광학 컴포넌트(14) 뒤에 배치되는 것에도 적용된다.
우선, 광학 컴포넌트(14)의 광학 속성들은 교정 절차를 수행함으로써 묵시적으로 고려될 수 있고, 이 교정에 기초하여, 동공의 위치와 같은 캡처된 이미지들에서의 특정 눈 특징부들의 위치들을 실제 공간에서의 동공(12a)의 위치와 같은 대응하는 실제 눈 특징부들로, 또는 시선 방향과 같은 다른 눈 특징부들로 매핑하는 맵이 정의될 수 있다. 이 접근법의 일반적인 문제점은, 사용자가 눈 추적 디바이스(10a, 10b)에 대해 사용자의 머리를 움직이면, 예를 들어 머리 장착형 눈 추적 디바이스(10a, 10b)가 약간 미끄러지는 경우, 눈 추적은 더 이상 정확하게 작동하지 않을 것이라는 것이다. 본 발명은, 눈(12)의 특징부들을 결정할 때, 눈 추적 디바이스(10a, 10b)와 눈(12) 사이의 상대 위치에 관한 적어도 하나의 정보를 고려함으로써 이 문제점을 유리하게 해결한다. 이것은, 예를 들어 눈 추적 디바이스(10a, 10b)가 사용자의 머리에 대한 그것의 위치를 변화시키는 것을 제외하고는 사용자가 자신의 시선 방향을 변화시키는 경우에 눈 추적 디바이스(10b)에 대해 움직이지 않는 눈꼬리(12b) 또는 다른 특징부들을 검출함으로써 수행될 수 있다. 이러한 움직임은, 캡처된 눈꼬리(12b)가 또한 이전에 촬영된 이미지들의 것과 상이한 위치를 포함하는 이미지들을 초래할 것이다. 예를 들어, 눈꼬리(12b)의 위치 시프트는 이미지들에서 결정될 수 있으며, 이미지에서의 동공(12a)의 검출된 위치를 다시 시프트하는 데 사용될 수 있다.
또한 광선 추적, 가상 좌표계에서 눈을 재구성하는 것, 카메라 이미지를 왜곡제거(undistort)하는 것, 가상 카메라를 사용하는 것 및/또는 가상 자극 평면 상에서 시선을 재구성하는 것과 같은 다른 방법들이 사용될 수 있으며 이하에서 설명된다. 이들 방법의 대부분은 광학 컴포넌트(14)의 모델을 사용하지만, 이것은 필수적인 것은 아니다. 광학 컴포넌트(14) 또는 그 부분들에 대한 여러 모델들, 예컨대 렌즈 또는 렌즈 시스템들 또는 다른 광학 컴포넌트(14)의 일부로서의 다른 광학 요소들에 대한 모델들이 있으며, 본 발명은 특정한 하나에 의존하지 않는다. 광학 컴포넌트(14) 또는 그것의 요소들의 굴절 속성들을 기술하거나 그들을 근사화하는 임의의 모델이 사용될 수 있다. 예를 들어, 광학 컴포넌트(14)는 단일 요소들의 세트 또는 그 조합으로서 모델링될 수 있으며, 여기서 각각의 요소는 특히 얇은 렌즈들에 대한 근축 근사를 사용하는 근축 렌즈 모델, 구면 렌즈 모델, 두꺼운 렌즈 모델, 및/또는 자유-형태 모델에 의해 기술될 수 있다. 자유-형태 모델은 폐쇄된 표면을 포함하며, 이는 다수의 형상들의 교집합, 차집합, 합집합, 클리핑 등과 같은 구조적 입체 기하학(Constructive Solid Geometry) 법칙들을 사용하여 조합되는 타원체, 평면, 상자, 포물선 등과 같은 기본 형상들의 측면에서 뿐만 아니라, 삼각형들 또는 다각형들 또는 2차 표면들의 메시를 이용한 테셀레이션(tessellation), 선형화, 근사화의 측면에서 표현될 수 있다. 그러나, 단순화된 모델로 광학 컴포넌트(14)의 전체 광학 시스템 또는 광학 컴포넌트(14)의 서브세트를 기술하는 것이 또한 가능할 수 있거나, 또는 이것이 이용가능하지 않은 경우, 광학 컴포넌트(14)에 대한 하나 이상의 특정 카메라 포즈에 대한 광선 추적과 같은, 광학 컴포넌트(14)를 통한 광 경로의 미리-계산된 또는 다른 식의 기존 표현들에 의존하는 것이 가능할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 머리 장착형 눈 추적 디바이스(10a, 10b)에서 사용하기 위한, 특히 광학 컴포넌트(14)의 광학 속성들을 고려하기 위한 광선 추적의 원리의 개략도를 도시한다. 이 방법의 아이디어는 캡처 유닛(C), 예를 들어 카메라로부터의, 또는 광원의(도 3의 참조 부호(B)에 의해 표시됨) 광선들을, 검출된 특징부들(도 3의 관찰된 포인트(P1)에 의해 표현됨)의 방향(Dir1)으로, 이들이 광학 컴포넌트(14)에 부딪힐 때까지, 추적하는 것이다. 이어서, 광학 컴포넌트(14)에서의 광선은 굴절되며, 새로운 출사 광선, 특히 굴절된 광선(이는 그 광선 상의 포인트(P2) 및 그것의 새로운 방향(Dir2)에 의해 기술될 수 있음)이 얻어진다. 굴절하는 방법은 광학 컴포넌트(14)의 모델, 예를 들어 렌즈 모델에 의존한다. 광선 추적은 또한 예를 들어, 카메라 센서 상의 알려진 포인트의 굴절된 이미지에 관심을 갖게 될 때, 다른 방향으로 유용할 수 있다. 예를 들어, 광학 컴포넌트(14)의 얇은 렌즈들의 경우, 얇은 렌즈 근사화가 광 굴절을 모델링하는 데 사용될 수 있다. 또한, 캡처 유닛(C)에 대해, 핀홀 카메라 모델이 사용될 수 있는데, 이는 캡처 유닛이 카메라 센서 및 미소 개구(infinitesimal opening)를 갖는 것으로 가정되는 어퍼처를 구비한 카메라를 포함하는 것을 의미하며, 따라서 카메라 센서의 각각의 포인트 및/또는 픽셀에 대해 하나의 광 방향이 할당될 수 있으며, 그로부터 광은 어퍼처를 통과하고 그 포인트 및/픽셀에 충돌하였다. 일 실시예에서, 얇은-렌즈 근사화는, 예를 들어, 핀홀 카메라 모델로부터 도출된 광선들을 보정하기 위해 광선들의 양방향 보정을 행할 뿐만 아니라, 적어도 하나의 광학 컴포넌트(14)를 통해 그 포인트를 관찰할 때 카메라에 의해 인지될 수 있는 방식으로 카메라 센서 상에 3D 포인트들을 투사하기 위해, 광학 컴포넌트(14)에 사용된다.
일부 실시예들에서, 광학 컴포넌트(14)의 각각의 렌즈 요소(E1, En, E), 각각의 광원(L), 및 최종적으로 미러들(M)과 같은 다른 광학 요소들의, 카메라와 같은 캡처 디바이스(C)의 공간에서의, 위치 및 배향은 알려져 있다. 다른 실시예들에서, 이러한 요소들 중 일부 또는 전부의 위치는 알려져 있지 않을 수 있으며, 그 경우, 전체 교정 오차를 최소화하는 상기 파라미터들의 알려지지 않은 값들을 찾기 위해 교정 절차가 수행될 수 있다. 이로써, 교정은 반드시 명시적일 필요는 없고, 즉 컴포넌트들의 모델을 구축함으로써 반드시 수행될 필요는 없지만, 또한 호모그래피와 같은 전역 매핑을 사용하거나 또는 심지어 사용자 교정으로부터 결정되고/되거나 도출되고/되거나 분해됨으로써 묵시적일 수 있다.
실제 세계에서의 포인트들 및/또는 방향들의 좌표들(메트릭 포인트들을 의미함)은, 일련의 광선 추적 변환들을 적용하는 것에 의해 광학 설정의 알려진 또는 교정된 그리고/또는 매핑된 좌표들 또는 속성들의 도움으로 결정된다. 이러한 변환들은, 반사 표면들에서 반사 법칙(표면 법선에 대한 입사각과 반사각은 동일하다는 것)을 적용함으로써, 그리고/또는 굴절 표면들에서 스넬의 법칙을 적용함으로써 수행될 수 있다. 캡처 디바이스(C), 예를 들어 카메라 또는 이미지 센서로부터 오는 원래의 광선을 사용하는 대신에, 그 굴절된 광선이 눈(12) 또는 눈(12)의 특징부들을 재구성하는 알고리즘에서 사용될 수 있다.
눈 추적 디바이스(10a, 10b)가 하나 또는 다수의 광원(L)을 포함하는 경우, 예를 들어 각막 위의 반사를 야기하는 가정된 직접 광 경로는 기술된 광선 추적에 의해 보정된다. 이는 광학 컴포넌트(14), 예를 들어 렌즈 시스템에 대한, 카메라들, 광원들(L), 미러들 및 눈(12)의 가능한 모든 설정들을 포함한다. 예를 들어, 캡처 디바이스(C), 예를 들어 카메라는 일 측 상에 있을 수 있고, 눈(12) 및 광원들(L)은 다른 측 상에 있을 수 있다. 그러나, 카메라 및 광원들(L)은 또한 동일한 측 상에 있을 수 있거나, 또는 심지어 광학 컴포넌트(14)의 렌즈 시스템의 중간 어딘가에 있을 수 있다.
일반적으로 3개 유형의 광선 추적이 수행될 수 있다. 첫 번째는 역방향 광선 추적이며, 이는, 예를 들어 핀홀 카메라 모델을 사용하여, 카메라 이미지 평면 상의 포인트들, 예를 들어, 글린트 또는 각막 반사의 좌표들로부터 시작함으로써 수행된다. 이어서 그러한 광선은, 그것이 광학 컴포넌트(14)의 컴포넌트들의 표면에 부딪힐 때까지 보내지고(cast), 일련의 굴절들 및 반사들을 겪는다. 두 번째는, 광원들(L) 또는 눈(12)의 특징부들로부터 직접 유래되고 일련의 굴절들 및 반사들 후에 카메라의 이미지 센서에 부딪히는 광선들에 대한, 순방향 광선 추적이다. 세 번째는 순방향 및 역방향 광선 추적이 혼합된 것이며, 여기서는 광원들(L)로부터 오는 광선들 및 이미지 내의 보이는 특징부들에 대응하는 광선들이 눈 모델의 파라미터들을 발견하기 위해 사용되고 고려된다.
이론상, 이 접근법은, 카메라로부터 오는 광선들을 광학 컴포넌트(14)에 의해 변경되는 광선들로 대체함으로써, 지금까지 사용자로의 경로 내에 광학 컴포넌트(14)를 갖는 것을 고려하지 않은 거의 모든 눈 추적 알고리즘들에 사용될 수 있다. 예로서, 우리는 광선 추적을 사용하여 실제 눈의 위치 및 시선 방향을 재구성하는 접근법을 보여준다. 역방향 광선 추적의 아이디어는 보다 일반적이며, 이 알고리즘에만 제한되지는 않는다.
예로서, 가능한 눈 상태들/가설들(예를 들어, 파티클 필터(particle filter)들)의 세트를 고려하는 것이 가능하며, 여기서 각각의 상태 가설은 모델에 포함되는 눈 컴포넌트들의 좌표들의 전체 세트, 예를 들어 시축(visual axis)에서 광축으로의 시프트 등을 포함하는 눈 위치 및 배향을 포함한다. 이어서 그것은, 각각의 상기 가설에 대해, 이미지에서 보일 것으로 예상되는 각각의 특징부에 대한 광선 추적을 수행했을 수 있다. 이러한 특징부는 동공 중심 및/또는 윤곽, 홍채 중심 및/또는 윤곽, 눈꼬리, 눈꺼풀, 각막 반사들 등일 수 있다. 따라서 (가상) 이미지에서의 상기 특징부들의 예상된 위치가 발견될 수 있다. 이어서 상기 가설의 가능성은, 통계적 측정 오차 모델을 적용하여, 실제 이미지에서의 검출된 특징부들로부터 (2D에서의) 그것의 특징부들 각각의 거리의 함수로서 계산될 수 있다.
도 4는 본 발명의 일 실시예에 따른 머리 장착형 눈 추적 디바이스(10a, 10b)에서 사용하기 위한, 특히 광학 컴포넌트(14)의 광학 속성들을 고려하기 위한, 가상 좌표계에서 눈을 재구성하는 것의 개략도를 도시한다. 이 예에서, 광학 컴포넌트(14)는 예시적으로 얇은 렌즈(E2)로서 구성된다. 이 렌즈(E2)를 통해 사용자의 눈을 카메라로 볼 때, 카메라는 머리 장착형 눈 추적 디바이스(10a, 10b) 또는 머리 장착형 디스플레이의 렌즈(E2)의 초점 거리 내에 위치설정될 때 그러한 가상 이미지를 보게 될 것이다. 이것은 도 4에 도시되어 있다. 여기서, 12c는 실제 눈(12)의 연곽을 나타내고, E2는 얇은 렌즈 근사화에서의 얇은 렌즈를 나타낸다. 또한, f는 렌즈(E2)의 초점 거리를 나타내며, 여기서 초점 거리(f)는 피사체 거리(g)보다 커서, 실제 연곽(12c)의 이미지가 이미지 거리(b)에서 가상 이미지(12c')로서 생성된다.
눈의 이미지들을 캡처하는 것에 기초하는 임의의 눈 추적 방법이 그 이미지에 적용될 수 있으며, 이는 관찰된 눈이 광학 컴포넌트(14)의 렌즈, 또는 일반적으로 광학 시스템에 의해 왜곡된다는 것을 무시한다. 그러한 알고리즘의 출력은 눈의 위치 및/또는 배향, 시선 등과 같은 눈 파라미터들일 것이며, 이들은 눈의 실제 상태를 반영하지는 않지만 가상 눈을 기술한다. 이 방법의 목표는 관찰된 가상 파라미터들로부터 대응하는 실제 눈 파라미터들을 계산하는 것이다. 원리는, 재구성된 눈의 임의의 포인트, 예를 들어 눈 중심, 각막 위치, 동공 및/또는 연곽 중심, 연곽의 윤곽 포인트 등을 가상 좌표들에서 측정하고 이들을 실제 좌표들로 변환하는 것이다. 변환은 광학 컴포넌트(14)에 의해, 예를 들어 그것의 렌즈 또는 렌즈 시스템에 의해 완전히 정의되며, 예를 들어, 룩업 테이블, (비-)선형 매핑, 또는 보간으로서 구현될 수 있다. 변환은 단순한 얇은 렌즈 모델에 대해서처럼 명시적으로 계산될 수 있거나, 또는 그것은 예를 들어 광학 컴포넌트(14)의 전체 광학 시스템의 오프라인 광선 추적 시뮬레이션을 수행함으로써 수치적으로 획득될 수 있다.
하나의 가능성은, 가능한 안구 위치들 및 눈 배향들의 범위를 정의하는 것이다. 이 세트는, 임의적인 간격 및 분포를 갖는, 유한 위치들 및/또는 배향들의 그리드에 의해 샘플링될 수 있다. 이어서 광선 추적이 각각의 샘플에 대해 수행되고, 각각의 관련된 눈 특징부의 좌표들은 시뮬레이션의 실측 자료(ground truth) 좌표들에 대하여 룩업 테이블에 저장된다. 예를 들어, 이 룩업 테이블을 가질 때, 눈의 가상 이미지를 보는 이미지 센서 상에서 결정된 2D 각막 반사들을 검색할(look up) 수 있을 있으며, 각막 중심의 대응하는 3D 좌표들을 실제 메트릭 좌표들로 얻을 수 있다.
다른 방법은 카메라 이미지를 왜곡제거하는 것이다. 광학 컴포넌트(14)를 통해, 예컨대 렌즈 또는 렌즈 시스템을 통해 보여지는 사용자의 눈의 가상 이미지는, 적어도 근접 센서들과 같은 다른 센서들을 사용하여 결정될 수 있는 광학 컴포넌트(14)로부터 눈까지의 알려진 또는 가정된 거리에 대해, 광학 컴포넌트(14), 예컨대 렌즈 또는 렌즈 시스템이 그 사이에 없을 경우에 보게 될 실제 이미지와 수학적으로 관련된다. 목표는 이 이미지를 왜곡제거하는 것이며, 즉 관찰된 가상 2D-포인트들로부터 대응하는 실제 2D-포인트들을 계산하는 것이다. 원리는, 연곽과 같은 직접 관찰가능한 눈 특징부, 또는 연곽의 윤곽 포인트와 같은 직접 볼 수 있는 눈 특징부의 일부를 가상 눈 이미지에서 결정하고, 추후에 광학 컴포넌트(14)의 하나 이상의 렌즈 또는 광학 컴포넌트(14)의 다른 광학 요소들의 속성들을 사용하여 포인트(또는 방향)를 보정하는 것이다.
다른 방법은 가상 카메라를 사용하는 것일 것이다. 관찰된 가상 이미지를 실제의(예를 들어 핀홀) 카메라에 의해 보정하는 대신에, 광학 컴포넌트(14), 예를 들어, 머리 장착형 눈 추적 디바이스(10a, 10b)의 렌즈들을 카메라의 일부로서 모델링하는 가상 카메라를 구성할 수 있다.
다른 가능성은 그러한 시뮬레이션을 사용하여 미리정의된 세트의 파라미터들에 의해 기술된 복잡한 광학 설정을 나타내는 대략적인 가상 카메라를 생성하는 것이며, 파라미터들은 가상 카메라의 가상 6D 좌표들, 수평 및 수직 시야, 주축 시프트, 가상 카메라의 광축에 대한 이미지 평면의 틸트를 포함할 수 있다. 또한, 그것은 극성 성분들을 가질 수 있는 가상 카메라의 2D 왜곡 모델, 다항식, 또는 다른 비-선형 모델에 의해 계산될 수 있다. 대안적으로, 광선 추적은 단지 테이블을 미리-계산하기 위해서 또는 모델 또는 함수의 파라미터들을 학습하기 위해서 수행될 수 있으며, 이는 눈 특징부 사이의 상대적 2D 좌표들(예를 들어 2D 동공 중심 대 2D 각막 반사 중심)을 3D 눈 위치 및/또는 눈의 배향으로 매핑한다.
추가의 방법은 가상 자극 평면 상에서 시선을 재구성하는 것이다. 광학 컴포넌트(14), 예컨대 렌즈를 보정하는 대신에, 광학 컴포넌트(14)를 무시하고, 종래의 알고리즘(렌즈를 포함하지 않음)을 통해 눈 추적이 수행된다. 이는, 변경된 이미지에 기초하여 시선이 계산되고 눈 특징부들의 최종 출력(예를 들어 시선)이 추후에 보정된다는 것을 의미한다.
이 방법은 렌즈를 너무 많이 다루지 않고도 유효한 시선 데이터를 얻는 간단한 해결책(work-around)이 될 수 있다. 또한, 이 접근법은 광학 컴포넌트(14)의 광학 요소들의 수에 제한되지 않는다. 우선, 카메라 전방에 광학 컴포넌트(14)가 있는 상태에서 눈 추적이 수행되며, 눈 위치 및 시선 배향 뿐만 아니라 모든 다른 관련된 특징부들이, 광학 컴포넌트(14)의 존재를 무시하고서 재구성된다. 후속 단계들에 필요한 경우, 계산된 '가상' 파라미터들은, 가능하게는 미리결정된 관계를 사용하여, '실제' 좌표들로 매핑될 수 있다.
변환은, 렌즈의 속성들을 고려하는 벡터 대수로 직접 수행할 수 있다. 다른 방법은 실제 좌표들에서 가상 좌표들로의 매핑을 계산하고, 직접 광선 추적에 의해 가상 자극 평면의 테셀레이션을 수행하며, 이어서 보간을 적용하는 것이다. 이 방법은 광학 컴포넌트(14)가 2개 이상의 렌즈 또는 심지어 복잡한 광학 시스템을 포함할 때에도 적용될 수 있다.
대체로 본 발명은, 머리 장착형 눈 추적 디바이스 내에서 캡처 디바이스 및 조명 소스들을 위치설정하는 것에 있어서 유연성을 얻고 컴포넌트들을 사용자로부터 숨기는 것을 가능하게 한다. 또한, 눈 추적 디바이스의 캡처 디바이스는, 눈 특징부들의 특징부 가시성이 상이한 눈 위치들 및 모션들에 대해 최적화되도록, 위치설정될 수 있다.

Claims (15)

  1. 머리 장착형 눈 추적 디바이스로서,
    제1 시간에 사용자의 눈의 제1 이미지를 캡처하고 제2 시간에 상기 사용자의 상기 눈의 제2 이미지를 캡처하는 캡처 디바이스; 및
    프로세싱 유닛을 포함하며, 상기 프로세싱 유닛은:
    상기 제1 이미지에 기초하여, 상기 제1 시간에서의, 상기 사용자의 안구 특징부의 위치 및 상기 제1 시간에서의, 상기 사용자가 시선 방향을 변화시킬 때 변화하지 않는 상기 사용자의 특징부의 위치를 결정하고;
    상기 제1 시간에서의 상기 안구 특징부의 상기 위치에 기초하여 상기 눈의 제1 시선 방향을 결정하고;
    상기 제2 이미지에 기초하여, 상기 제1 시간으로부터 상기 제2 시간으로의, 상기 안구 특징부의 상기 위치의 초기 변화를 결정하고;
    상기 제1 시간으로부터 상기 제2 시간으로의, 상기 사용자가 시선 방향을 변화시킬 때 변화하지 않는 상기 사용자의 상기 특징부의 상기 위치의 변화를 결정하고;
    상기 안구 특징부의 상기 위치의 상기 초기 변화 및 상기 사용자가 시선 방향을 변화시킬 때 변화하지 않는 상기 사용자의 상기 특징부의 상기 위치의 상기 변화에 기초하여 상기 안구 특징부의 상기 위치의 보정된 변화를 결정하고;
    상기 안구 특징부의 상기 위치의 상기 보정된 변화에 기초하여 상기 눈의 제2 시선 방향을 결정하는, 머리 장착형 눈 추적 디바이스.
  2. 제1항에 있어서, 상기 프로세싱 유닛은 상기 제1 이미지와 비교되는 상기 제2 이미지에 기초하여 상기 사용자가 시선 방향을 변화시킬 때 변화하지 않는 상기 사용자의 상기 특징부의 상기 위치의 상기 변화를 결정하는, 머리 장착형 눈 추적 디바이스.
  3. 제1항에 있어서, 상기 사용자가 시선 방향을 변화시킬 때 변화하지 않는 상기 사용자의 상기 특징부의 상기 위치의 상기 변화에 관한 정보를 검출하는 모션 센서를 추가로 포함하며, 상기 프로세싱 유닛은 상기 사용자가 시선 방향을 변화시킬 때 변화하지 않는 상기 사용자의 상기 특징부의 상기 위치의 상기 변화에 관한 상기 모션 센서로부터의 상기 정보에 기초하여 상기 사용자가 시선 방향을 변화시킬 때 변화하지 않는 상기 사용자의 상기 특징부의 상기 위치의 상기 변화를 결정하는, 머리 장착형 눈 추적 디바이스.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서, 상기 프로세싱 유닛은 적어도 하나의 굴절 광학 요소의 모델에 기초하여 상기 안구 특징부의 상기 위치의 상기 보정된 변화를 결정하는, 머리 장착형 눈 추적 디바이스.
  7. 제1항에 있어서, 상기 안구 특징부는 동공 중심 또는 홍채 중심 중 적어도 하나를 포함하는, 머리 장착형 눈 추적 디바이스.
  8. 제1항에 있어서, 상기 사용자가 시선 방향을 변화시킬 때 변화하지 않는 상기 사용자의 상기 특징부는 눈꼬리(eye corner), 및 눈썹, 또는 코 중 적어도 하나를 포함하는, 머리 장착형 눈 추적 디바이스.
  9. 제1항에 있어서,
    상기 캡처 디바이스는 추가로, 상기 제1 시간에 상기 사용자의 제2 눈의 제3 이미지 및 상기 제2 시간에 상기 사용자의 제2 눈의 제4 이미지를 캡처하며,
    상기 프로세싱 유닛은 추가로, 상기 제3 이미지에 기초하여 상기 제2 눈의 제3 시선 방향을 결정하고, 상기 제4 이미지 및 상기 사용자가 시선 방향을 변화시킬 때 변화하지 않는 상기 사용자의 상기 특징부의 상기 위치의 상기 변화에 기초하여 상기 제2 눈의 제4 시선 방향을 결정하는, 머리 장착형 눈 추적 디바이스.
  10. 제9항에 있어서, 상기 프로세싱 유닛은 추가로, 상기 눈의 상기 제2 시선 방향 및 상기 제2 눈의 상기 제4 시선 방향에 기초하여 시선의 포인트를 결정하는, 머리 장착형 눈 추적 디바이스.
  11. 방법으로서,
    제1 시간에 사용자의 눈의 제1 이미지를 캡처하는 단계;
    상기 제1 이미지에 기초하여, 상기 제1 시간에서의, 상기 사용자의 안구 특징부의 위치 및 상기 제1 시간에서의, 상기 사용자가 시선 방향을 변화시킬 때 변화하지 않는 상기 사용자의 특징부의 위치를 결정하는 단계;
    상기 제1 시간에서의 상기 안구 특징부의 상기 위치에 기초하여 상기 눈의 제1 시선 방향을 결정하는 단계;
    제2 시간에 상기 사용자의 상기 눈의 제2 이미지를 캡처하는 단계;
    상기 제2 이미지에 기초하여, 상기 제1 시간으로부터 상기 제2 시간으로의, 상기 안구 특징부의 상기 위치의 초기 변화를 결정하는 단계;
    상기 제1 시간으로부터 상기 제2 시간으로의, 상기 사용자가 시선 방향을 변화시킬 때 변화하지 않는 상기 사용자의 상기 특징부의 상기 위치의 변화를 결정하는 단계;
    시선이 변하는 특징부의 상기 위치의 상기 초기 변화 및 시선이 변화하지 않는 특징부의 상기 위치의 상기 변화에 기초하여 상기 안구 특징부의 상기 위치의 보정된 변화를 결정하는 단계; 및
    상기 안구 특징부의 상기 위치의 상기 보정된 변화에 기초하여 상기 눈의 제2 시선 방향을 결정하는 단계를 포함하는, 방법.
  12. 삭제
  13. 제11항에 있어서, 상기 안구 특징부의 상기 위치의 상기 보정된 변화에 기초하여 상기 제2 시선 방향을 결정하는 단계는 적어도 하나의 굴절 광학 요소의 굴절 속성들을 모델링하는 단계를 포함하는, 방법.
  14. 제11항에 있어서, 상기 안구 특징부는 동공 중심 또는 홍채 중심 중 적어도 하나를 포함하고, 상기 사용자가 시선 방향을 변화시킬 때 변화하지 않는 상기 사용자의 상기 특징부는 눈꼬리, 및 눈썹, 또는 코 중 적어도 하나를 포함하는, 방법.
  15. 제11항, 제13항, 제14항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 인코딩하는 컴퓨터 판독가능 매체.
KR1020177028532A 2015-03-03 2015-11-06 렌즈 시스템을 통한 드리프트 프리 눈 추적을 제공하는 머리 장착형 눈 추적 디바이스 및 방법 KR102073460B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15157451 2015-03-03
EP15157451.4 2015-03-03
PCT/EP2015/075972 WO2016138969A1 (en) 2015-03-03 2015-11-06 Head mounted eye tracking device and method for providing drift free eye tracking through a lens system

Publications (2)

Publication Number Publication Date
KR20180007349A KR20180007349A (ko) 2018-01-22
KR102073460B1 true KR102073460B1 (ko) 2020-02-04

Family

ID=52648836

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177028532A KR102073460B1 (ko) 2015-03-03 2015-11-06 렌즈 시스템을 통한 드리프트 프리 눈 추적을 제공하는 머리 장착형 눈 추적 디바이스 및 방법

Country Status (5)

Country Link
US (1) US10354136B2 (ko)
EP (1) EP3264972A1 (ko)
KR (1) KR102073460B1 (ko)
CN (1) CN107427208B (ko)
WO (1) WO2016138969A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10877556B2 (en) 2016-10-21 2020-12-29 Apple Inc. Eye tracking system
KR102564479B1 (ko) * 2016-11-22 2023-08-07 삼성전자주식회사 사용자의 눈을 위한 3d 렌더링 방법 및 장치
WO2019104413A1 (en) * 2017-12-03 2019-06-06 Frank Jones Enhancing the performance of near-to-eye vision systems
WO2020042843A1 (en) 2018-08-27 2020-03-05 Shenzhen GOODIX Technology Co., Ltd. Eye tracking based on imaging eye features and assistance of structured illumination probe light
CN110603513B (zh) * 2018-08-27 2023-08-29 深圳市汇顶科技股份有限公司 一种眼睛跟踪设备及利用光学成像跟踪眼睛的方法
CN109544637B (zh) * 2018-10-18 2024-02-27 北京伟景智能科技有限公司 双目标定验证装置
SE542887C2 (en) 2018-10-31 2020-08-11 Tobii Ab Gaze tracking using mapping of pupil center position
IL271287A (en) * 2019-12-09 2021-06-30 Eyeway Vision Ltd Systems and methods to follow the eye
GB2595909B (en) * 2020-06-11 2022-08-24 Sony Interactive Entertainment Inc Gaze tracking apparatus and systems
WO2022119679A1 (en) * 2020-12-02 2022-06-09 Daedalus Labs Llc Electronic devices with lenses
US20240103618A1 (en) * 2022-09-23 2024-03-28 Apple Inc. Corrected Gaze Direction and Origin

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015017291A1 (en) * 2013-07-30 2015-02-05 Microsoft Corporation Near-eye optic positioning in display devices

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6659611B2 (en) * 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
US6637883B1 (en) * 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
JP5065605B2 (ja) 2006-03-02 2012-11-07 Ｊｘ日鉱日石エネルギー株式会社 水素製造装置および燃料電池システム並びにその運転方法
TWI398796B (zh) * 2009-03-27 2013-06-11 Utechzone Co Ltd Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking
KR20120060978A (ko) * 2010-09-30 2012-06-12 한국기초과학지원연구원 시선 위치 추적 기반의 3차원 인간-컴퓨터 상호작용 장치 및 방법
EP2499963A1 (en) * 2011-03-18 2012-09-19 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method and apparatus for gaze point mapping
US20140099623A1 (en) 2012-10-04 2014-04-10 Karmarkar V. Amit Social graphs based on user bioresponse data
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US8235529B1 (en) * 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
JP5689850B2 (ja) 2012-05-25 2015-03-25 株式会社ソニー・コンピュータエンタテインメント 映像解析装置、映像解析方法、および注視点表示システム
WO2014043142A1 (en) 2012-09-11 2014-03-20 Augmented Vision, Inc. Compact eye imaging and eye tracking apparatus
US9619021B2 (en) * 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
KR102098277B1 (ko) * 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
CN103838378B (zh) * 2014-03-13 2017-05-31 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015017291A1 (en) * 2013-07-30 2015-02-05 Microsoft Corporation Near-eye optic positioning in display devices

Also Published As

Publication number Publication date
US10354136B2 (en) 2019-07-16
CN107427208A (zh) 2017-12-01
CN107427208B (zh) 2020-10-16
EP3264972A1 (en) 2018-01-10
KR20180007349A (ko) 2018-01-22
US20180032812A1 (en) 2018-02-01
WO2016138969A1 (en) 2016-09-09

Similar Documents

Publication Publication Date Title
KR102073460B1 (ko) 렌즈 시스템을 통한 드리프트 프리 눈 추적을 제공하는 머리 장착형 눈 추적 디바이스 및 방법
JP6902075B2 (ja) 構造化光を用いた視線追跡
KR102062658B1 (ko) 안구 모델을 생성하기 위한 각막의 구체 추적
US11042034B2 (en) Head mounted display calibration using portable docking station with calibration target
CN109558012B (zh) 一种眼球追踪方法及装置
US10115205B2 (en) Eye tracking system with single point calibration
JP2023518421A (ja) 網膜結像および追跡のためのシステムおよび方法
US10120442B2 (en) Eye tracking using a light field camera on a head-mounted display
US20160084949A1 (en) Locating method and locating system
US20160173864A1 (en) Pickup of objects in three-dimensional display
US10599215B2 (en) Off-axis eye tracker
KR101697286B1 (ko) 사용자 스타일링을 위한 증강현실 제공 장치 및 방법
KR102144040B1 (ko) 헤드 마운트 디스플레이의 얼굴 센서를 사용한 얼굴과 안구 추적 및 얼굴 애니메이션
CN116033864A (zh) 使用非球形角膜模型的眼睛跟踪
CA3085733A1 (en) System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping
US11430262B1 (en) Eye tracking using optical coherence methods
US11624907B2 (en) Method and device for eye metric acquisition
WO2020244971A1 (en) Methods, devices and systems for determining eye parameters
CN112099622B (zh) 一种视线追踪方法及装置
US10963046B1 (en) Drift corrected eye tracking
Plopski Improving Optical-See-Through Experience
CN112950688A (zh) 注视深度的确定方法、装置、ar设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant