KR102318678B1 - 헤드 장착형 안구 추적 장치를 교정하기 위한 방법 - Google Patents

헤드 장착형 안구 추적 장치를 교정하기 위한 방법 Download PDF

Info

Publication number
KR102318678B1
KR102318678B1 KR1020167015457A KR20167015457A KR102318678B1 KR 102318678 B1 KR102318678 B1 KR 102318678B1 KR 1020167015457 A KR1020167015457 A KR 1020167015457A KR 20167015457 A KR20167015457 A KR 20167015457A KR 102318678 B1 KR102318678 B1 KR 102318678B1
Authority
KR
South Korea
Prior art keywords
tracking device
eye
wearer
eye tracking
support
Prior art date
Application number
KR1020167015457A
Other languages
English (en)
Other versions
KR20160098235A (ko
Inventor
로맹 파욜
Original Assignee
에씰로 앙터나시오날
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에씰로 앙터나시오날 filed Critical 에씰로 앙터나시오날
Publication of KR20160098235A publication Critical patent/KR20160098235A/ko
Application granted granted Critical
Publication of KR102318678B1 publication Critical patent/KR102318678B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0091—Fixation targets for viewing direction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1866—Transmission gratings characterised by their structure, e.g. step profile, contours of substrate or grooves, pitch variations, materials
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
    • A61B2560/0238—Means for recording calibration data

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Eye Examination Apparatus (AREA)
  • Eyeglasses (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)

Abstract

헤드 장착형 안구 추적 장치를 교정하기 위한 방법으로서, 상기 교정 방법은, 헤드 장착형 안구 추적 장치의 착용자가 안경 렌즈 마운트에 대한 기준 방향으로 응시하고 있는 동안, 착용자의 안구 위치에 관한 안구 데이터가 안구 추적 장치에 의해 취득하는 취득 단계 S3과, - 취득 단계 동안에 취득한 안구 데이터를 기준 방향에 대응하는 응시 방향과 연관시키는 연관 단계 S4와, - 연관된 안구 데이터와 응시 방향을 기록하는 기록 단계 S5를 포함하며, 헤드 장착형 안구 추적 장치는 안과용 렌즈가 장착되는 안경 프레임을 포함하고, 기준 방향에 대응하는 응시 방향은 안과용 렌즈의 광선 굴절 기능에 기초하여 결정된다.

Description

헤드 장착형 안구 추적 장치를 교정하기 위한 방법{METHOD FOR CALIBRATING A HEAD-MOUNTED EYE TRACKING DEVICE}
본 발명은 헤드 장착형 안구 추적 장치를 교정하기 위한 방법에 관한 것이며, 본 발명에 따른 교정 방법에 의해 교정되고 있는 헤드 장착형 안구 추적 장치를 조정하기 위한 방법에 관한 것이다.
본 발명의 맥락을 설명하기 위해, 발명의 배경에 대한 논의가 본원에 포함되어 있다. 이러한 논의는, 언급된 임의의 내용이 임의의 청구항의 우선일에 공개되었거나, 공지되었거나, 흔한 일반 상식의 일부였다고 인정하는 것으로 간주되어서는 안된다.
다양한 기술 분야에서 안구 추적 장치가 갈수록 더 사용되고 있다. 헤드 장착형 안구 추적 장치는 일반적으로 착용자에 대해 침습적이며 불편하다. 또한, 기존의 안구 추적 장치는 일반적으로 무겁고, 특히, 전형적인 쌍안경 렌즈보다 훨씬 더 무겁다. 몇몇의 경우에서는, 특수한 (예컨대 적외선-반사성) 렌즈가 필요하며/필요하거나 시야의 일부가 안구 추적 장치의 요소에 의해 차단된다.
실제로, 대부분의 안구 추적 장비는 착용자의 편의보다는 추적 정밀도와 강건성을 우선시한다.
대부분의 헤드 장착형 안구 추적 장치는, 단기간 동안, 전형적으로, 착용자에 대해 몇몇 측정을 실시하는 시간 동안, 사용되도록 의도되기 때문에, 착용자의 편의는 중요한 것으로 고려되지 않는다.
그러나 안과용 렌즈 분야에서의 최근 발전으로 인하여, 장기간 동안, 심지어 하루 종일, 착용자가 안구 추적 시스템을 휴대하도록 하는 것이 관심거리가 되었다.
따라서, 안구 추적 장치의 편의성이 갈수록 더 문제가 된다. 안구 추적 장치의 전체적인 편의성을 향상시키기 위해, 안경 프레임에 안구 추적 장치를 적용하고자 하는 시도가 있었으나, 그러한 적용은 안구 추적의 정확도 면에서 불량한 결과를 제공하는 것으로 나타났다.
안경 프레임에서 장기간 동안 안구 추적기를 사용하는 것의 문제점 중 하나는, 시간이 지남에 따라 프레임이 움직이기 때문에, 시간이 지남에 따라 정확도가 감소한다는 것이다.
본 발명의 하나의 목적은 헤드 장착형 안구 추적 장치, 특히 안경 프레임에 장착되는 안구 추적 장치를 교정하기 위한 방법을 제공함으로써, 안구 추적 장치가 전술한 문제점을 야기하지 않도록 하는 것이다.
이를 위하여, 본 발명은 헤드 장착형 안구 추적 장치를 교정하기 위한 방법을 제안하며, 상기 교정 방법은,
- 헤드 장착형 안구 추적 장치의 착용자가 기준 방향으로 응시하고 있는 동안, 착용자의 안구 위치에 관한 안구 데이터를 안구 추적 장치에 의해 취득하는 취득 단계와,
- 취득 단계 동안에 취득한 안구 데이터를 기준 방향에 대응하는 응시 방향과 연관시키는 연관 단계와,
- 연관된 안구 데이터와 응시 방향을 기록하는 기록 단계를 포함하며,
헤드 장착형 안구 추적 장치는 안과용 렌즈가 장착되는 안경 프레임을 포함하고, 기준 방향에 대응하는 응시 방향은 안과용 렌즈의 광선 굴절 기능에 기초하여 결정된다.
유리하게, 본 발명에 따른 방법은 안구 추적 장치의 정확도를 향상시키는 헤드 장착형 장치의 교정을 제공한다. 본 발명자들은, 심지어 종래의 안경 프레임 상에 추가된 안구 추적 장치에 대해서도, 본 발명의 교정 방법을 사용할 경우, 안구 추적 장치의 정확도가 향상되는 것을 관찰하였다. 따라서, 본 발명의 교정 방법을 사용할 경우, 편안하며 안구 추적 면에서 정확한 결과를 제공하는, 안경 프레임에 장착되는 안구 추적 장치를 제공할 수 있을 것으로 나타난다.
단독으로 또는 조합하여 고려될 수 있는 추가적인 구현예에 따르면,
- 헤드 장착형 안구 추적 장치는 특수한 조명 조건하에서 착용자의 안구를 향해 입사광 빔을 회절시키도록 설계된 미세 구조 패턴 형태의 적어도 하나의 시각적 기준 요소를 포함하며/포함하거나;
- 상기 방법은, 취득 단계 이전에,
- 헤드 장착형 추적 장치를 착용한 착용자에게 적어도 하나의 시각적 기준 요소를 포함하는 교정 지원체가 제공되는, 교정 지원체 제공 단계와,
- 시각적 기준 요소로 기준 방향을 규정하기 위해, 착용자의 안구 및 안구 추적 장치에 대해 알려진 위치에서 착용자의 적어도 하나의 안구와 착용자의 시각적 환경 사이에 교정 지원체가 배치되는, 배치 단계를 추가로 포함하며/포함하거나;
- 교정 지원체는 복수의 시각적 기준 요소를 포함하고, 연관 단계와 기록 단계는 각각의 시각적 기준 요소에 대해 반복되며/반복되거나;
- 상기 방법은, 마지막 기록 단계 이후에, 교정 지원체가 제거되는 제거 단계를 추가로 포함하며/포함하거나;
- 교정 지원체는 빛에 대해 불투과성이며/불투과성이거나;
- 적어도 하나의 시각적 기준 요소는 교정 지원체의 광학 개구이고, 광학 개구는 빛을 안내하거나, 발광하거나, 투과하는 교정 지원체의 일부분, 예컨대 홀이며/홀이거나;
- 교정 지원체의 적어도 하나의 개구에 스위칭 가능한 광원이 부착되고, 스위칭 가능한 광원은 취득 단계 동안에 (착용자의 주의를 끌고, 글린트(glint)를 생성하며/생성하거나 착용자의 동공 직경을 제어하기 위해) 시각적 기준 요소를 강조하도록 구성되며/구성되거나;
- 교정 지원체는 가시광에 대해 투과성이고, 적어도 하나의 시각적 기준 요소는 착용자의 안구를 향해 입사광 빔을 회절시키도록 설계된 미세 구조 패턴이며/패턴이거나;
- 교정 지원체는 가상 이미지를 생성하는 광학 시스템을 포함하고, 적어도 하나의 시각적 기준 요소를 생성하기 위해 가상 디스플레이 장치가 사용되며/사용되거나;
- 안구 추적 장치는 안과용 렌즈가 장착되는 안경 프레임을 포함하고, 배치 단계 동안에, 교정 지원체는 적어도 하나의 안과용 렌즈의 적어도 하나의 표면 상에 배치되며, 기준 요소에 대응하는 응시 방향은 안과용 렌즈의 광선 굴절 기능에 기초하여 결정되며/결정되거나;
- 배치 단계에서, 교정 지원체는 양측 광학 렌즈 상에 배치되며/배치되거나;
- 교정 지원체의 개구는 0.6 ㎜ 이상 및 1 ㎜ 이하의 직경을 가지며/갖거나;
- 교정 지원체는 얇은 열성형 층이며/층이거나;
- 상기 방법은, 착용자가 착용하고 있을 때, 착용자의 얼굴에 대한 안구 추적 장치의 상대적 위치가 결정되는 안구 추적 위치 결정 단계를 추가로 포함하며/포함하거나;
- 교정 지원체는 처음에 사전 배치된 기준 요소를 구비한 얇은 디스크이며, 안경의 형상과 일치하도록 모서리 가공될 수 있다.
또한, 본 발명은 본 발명에 따른 교정 방법에 의해 교정되고 있는 헤드 장착형 안구 추적 장치를 조정하기 위한 방법에 관한 것이며, 상기 조정 방법은,
- 안구 추적 장치에 대한 착용자의 얼굴의 상대적 위치의 초기 위치로부터의 편차를 결정하는 편차 결정 단계와,
- 편차 단계에서, 결정된 편차에 기초하여 안구 추적 기능을 조정하는 조정 단계를 포함하고,
초기 위치는 교정 단계 동안에 안구 추적 장치에 대한 착용자의 얼굴의 상대적 위치에 대응한다.
단독으로 또는 조합하여 고려될 수 있는 추가적인 구현예에 따르면,
- 편차 단계와 조정 단계는 규칙적으로, 예컨대 30초마다 반복되며/반복되거나;
- 편차 단계 동안에, 안구와 안구 추적 장치 간의 거리와 안구 추적 장치에 대한 안구의 회전 중심의 상대적 위치가 결정되며/결정되거나;
- 헤드 장착형 안구 추적 장치는 착용자의 적어도 하나의 안구를 조명하도록 구성된 적어도 2개의 광원을 추가로 포함하며, 안구와 추적 장치 간의 거리는 안구 추적 카메라의 시야 내에서 동공에 대하여 광원에 의해 조명된 착용자의 안구의 각막 상에 광원의 반사에 의해 형성되는 기하학적 형상에 기초하여 결정된다.
추가적인 양태에 따르면, 본 발명은 프로세서가 접근 가능한 하나 이상의 저장된 명령 시퀀스를 포함하는 컴퓨터 프로그램 제품에 관한 것으로, 컴퓨터 프로그램 제품은, 프로세서에 의해 실행되는 경우, 본 발명에 따른 방법의 단계들을 프로세서가 실행하도록 한다.
다른 양태에 따르면, 본 발명은 컴퓨터가 본 발명의 방법을 실행하도록 하는 프로그램에 관한 것이다.
또한, 본 발명은 본 발명에 따른 컴퓨터 프로그램의 하나 이상의 명령 시퀀스가 저장된 컴퓨터 판독 가능한 매체에 관한 것이다.
추가로, 본 발명은 프로그램이 위에 기록된 컴퓨터 판독 가능한 저장 매체에 관한 것으로; 여기서, 프로그램은 본 발명의 방법을 컴퓨터가 실행하도록 한다.
본 발명은 하나 이상의 명령 시퀀스를 저장하고 본 발명에 따른 방법의 단계들 중 적어도 하나를 실행하도록 적용된 프로세서를 포함하는 장치에 관한 것이다.
본 발명의 내용에 포함됨.
이제, 첨부 도면을 참조하여, 본 발명의 비제한적인 구현예가 설명될 것이다.
도 1은 본 발명의 방법에 따라 교정될 수 있는 헤드 장착형 안구 추적 장치의 개략도이고,
도 2는 본 발명에 따른 헤드 장착형 장치를 교정하기 위한 방법의 단계들을 나타내는 흐름도이며,
도 3은 교정 지원체의 개략도이고,
도 4는 본 발명에 따른 조정 방법의 단계들을 나타내는 흐름도이며,
도 5는 가상 이미지 생성기를 이용한 교정 지원체의 개략도이다.
도면의 요소들은 간략화 및 명확화를 위해 도시되었으며, 반드시 축적대로 도시된 것은 아니다. 예를 들어, 도면에서 몇몇 요소들의 치수는 본 발명의 구현예의 이해를 향상시키는 것을 돕기 위해 다른 요소들에 비해 과장되었을 수도 있다.
도 1은 안경 프레임(12)에 장착된 헤드 장착형 안구 추적 장치(10)의 일 실시예를 나타내고 있다. 본 발명에 따른 교정 방법은, 이와 같은 유형의 헤드 장착형 장치에 한정되는 것은 아니지만, 안경 프레임에 배치된 안구 추적 장치에 대해 특히 유리한 것으로 나타났다.
실제로, 본 발명자들은, 본 발명에 따른 교정 방법이 헤드 장착형 안구 추적 장치, 특히, 안경 프레임에 배치된 안구 추적 장치의 정확도를 향상시키는 것을 관찰하였다.
도 1에 도시된 안구 추적 장치(10)는 착용자의 좌측 안구(도시되지 않음)로 지향된 3개의 카메라(20, 22, 24)를 구비한 안경 프레임(12)을 포함한다. 카메라(20, 22, 24)는 착용자의 안구의 위치 및/또는 착용자의 안구의 구조물, 예컨대 동공, 눈꺼풀, 홍채, 글린트, 및/또는 안구(들)의 영역 내의 다른 기준점을 추적하기 위해 헤드를 향해 지향되도록 배치된다.
카메라(20, 22, 24)는 전하 결합 소자(CCD), 상보형 금속 산화물 반도체(CMOS), 또는 이미지를 촬상하며/촬상하거나 이미지를 나타내는 비디오 신호를 생성하기 위해, 예컨대 직사각형 또는 선형 또는 다른 화소 어레이를 포함한, 활성 영역을 포함하는 다른 광검출기를 포함할 수 있다. 각 카메라(20, 22, 24)의 활성 영역은 임의의 원하는 형상, 예컨대 정사각형 또는 직사각형, 원형 등을 가질 수 있다. 하나 이상의 카메라의 활성 영역의 표면은, 예컨대 촬상되고 있는 안구와 주변 구조물의 인근 삼차원 곡률을 이미지 취득시 보상하기 위해 필요한 경우 휘어질 수도 있다.
안구 추적 장치(10)는 안경 프레임(12)을 착용하였을 때 착용자의 좌측 안구를 조명하도록 배치된 3개의 조명 공급원(30, 32, 34)을 추가로 포함한다.
3개의 조명 공급원(30, 32, 34)은 안경 프레임(12)에 고정된다. 예시적인 구현예에서, 조명 공급원(30, 32, 34)은 발광 다이오드(LED), 유기 LED(OLED), 레이저 다이오드, 또는 전기 에너지를 광자로 변환하는 다른 소자를 포함할 수 있다. 각 조명 공급원(30, 32, 34)은, 임의의 카메라(20, 22, 24)를 이용하여 이미지를 취득하기 위해 그리고/또는 시선 추적 정확도를 향상시키기 위한 측정의 목적으로 기준 글린트를 생성하기 위해, 안구를 조명하기 위해서 사용될 수 있다. 예시적인 구현예에서, 각 광원(30, 32, 34)은 비교적 좁거나 넓은 대역폭의 광, 예컨대 약 700 ㎚ 내지 1000 ㎚의 하나 이상의 파장의 적외선을 발광하도록 구성될 수 있다. 예를 들어, AlGaAs LED는 850㎚에서 발광 피크를 제공하고, 널리 사용되며, 저렴한 반면, 휴대 전화 및 웹캠에 사용되는 범용제품 CMOS 카메라는 이 파장에서 양호한 감도를 나타낸다.
안구 추적 장치(10)는 카메라(20, 22, 24)에 의해 수집된 이미지를 수신하도록 배치된 프로세싱 유닛(14)을 추가로 포함한다. 프로세싱 유닛은 안경 프레임의 측면들 중 하나에 배치된다.
도시되지는 않았지만, 안구 추적 장치는 전력 공급원, 예컨대 배터리 및/또는 다른 전자 장치를 추가로 포함한다. 유리하게, 안경 프레임(12) 내에서 중량을 보다 균등하게 분산시키기 위해, 전력 공급원 및/또는 다른 전자 장치는 프로세싱 유닛(14)을 포함한 측면에 대향하는 안경 프레임의 측면에 배치될 수 있다.
유리하게, 안경 프레임에 포함된 이와 같은 헤드 장착형 안구 추적 장치에서, 착용자는 방해 받지 않고 장기간 동안 안구 추적 장치를 사용할 수 있다.
도 1에는 카메라와 조명 공급원이 안경 프레임의 좌측에만 도시되어 있지만, 안구 추적 장치는 안경 프레임의 우측에 및/또는 카메라 및 조명 공급원을 매우 잘 포함할 수 있다.
유리하게, 안경 프레임의 양측에 카메라를 구비하면, 착용자의 응시 방향과 거리에 대한 정확한 정보를 제공할 수 있다.
예를 들어, 이와 같은 안구 추적 장치는 일상생활 환경에서 착용자의 시각적 거동을 정확하게 결정하기 위해 장기간 동안 사용될 수 있다.
이와 같은 안구 추적 장치는 활성 안경 렌즈와 조합될 수도 있다. 예를 들어, 착용자의 응시 방향과 거리 또는 일정기간 동안의 착용자의 이력을 이용하여, 광학 렌즈의 광학 기능이 적용될 수 있다.
본 발명의 의미에서, 광학 기능은, 각각의 응시 방향에 대하여, 광학 렌즈를 통과하는 광선에 대한 광학 렌즈의 영향을 제공하는 기능에 대응한다.
광학 기능은 광선 굴절 기능, 흡광, 편광능, 콘트라스트 용량 강화 등을 포함할 수 있다.
광선 굴절 기능은 응시 방향의 함수로서의 광학 렌즈 굴절력평균 굴절력, 비점수차 등에 대응한다.
본 발명에 따른 교정 방법은 도 1에 도시된 바와 같이 안경 프레임에 장착된 안구 추적 장치에 특히 적용된다.
대안예로서, 카메라와 조명 공급원을 이용하는 대신, 안전위도검사(electrooculography) 또는 다른 방법과 같은 임의의 다른 안구 추적법이 적어도 하나의 안구를 추적하는 데 사용될 수 있다.
도 2에 도시된 본 발명의 제1 구현예에 따르면, 헤드 장착형 안구 추적 장치를 교정하기 위한 방법은,
- 교정 지원체 제공 단계 S1,
- 배치 단계 S2,
- 취득 단계 S3,
- 연관 단계 S4 및
- 기록 단계 S5를 포함한다.
교정 지원체 제공 단계 S1 동안에, 교정하고자 하는 헤드 장착형 안구 추적 장치를 착용한 착용자에게 교정 지원체가 제공된다.
교정 지원체는 적어도 하나의 시각적 기준 요소를 포함한다.
교정 지원체의 일 실시예가 도 3에 도시되어 있다. 도 2에 도시된 교정 지원체(40)는 빛에 대해 불투과성이며, 시각적 기준 요소로서 복수의 광학 개구(42)를 포함한다. 본 발명의 일 구현예에 따르면, 광학 개구는 0.6 ㎜ 이상 및 1 ㎜ 이하의 직경을 갖는다.
본 발명의 일 구현예에 따르면, 교정 지원체의 적어도 하나의 광학 개구에 스위칭 가능한 광원이 부착될 수 있고, 스위칭 가능한 광원은 착용자의 주의를 끌며/주의를 끌거나, 각막 상에서의 반사("글린트")를 생성하며/생성하거나, 착용자의 동공 직경을 제어하기 위해 시각적 기준 요소를 강조하도록 구성될 수 있다.
본 발명의 추가적인 구현예에 따르면, 교정 지원체는, 예컨대 25 ㎛ 초과 및 1 ㎜ 미만의 두께를 가진, 얇은 열성형 층일 수 있다. 이와 같은 얇은 열성형 층은, 안구 추적 장치가 안과용 렌즈가 장착된 안경 프레임을 포함하는 경우, 특히 유리하다. 실제로, 교정 지원체는 적어도 하나의 안과용 렌즈, 예컨대 양측 안과용 렌즈의 적어도 하나의 표면 상에 용이하게 배치될 수 있다. 예를 들어, 교정 지원체는 안경 프레임에 장착된 각 안과용 렌즈의 정면에 배치된다.
추가적인 구현예에 따르면, 교정 지원체는 가시광에 대해 투과성일 수 있고, 적어도 하나의 시각적 기준 요소는 착용자의 안구를 향해 입사광 빔을 회절시키도록 설계된 미세 구조 패턴이다. 이와 같은 교정 지원체는, 예컨대 광학 렌즈 자체일 수 있다. 실제로, 안경 프레임에 장착된 광학 렌즈는 광학 렌즈의 일측 또는 양측 표면에 새겨지거나, 그 내부에 있는 미세 구조 패턴을 포함할 수 있다. 이와 같은 미세 구조 패턴은 보통의 조명 조건하에서는 착용자에게 보이지 않고, 예컨대 특수한 조명 각도를 이용하여, 특수한 조명 조건하에서는 착용자에게 나타나도록 배치된다. 유리하게, 광학 렌즈에 교정 지원체가 통합되면, 추가적인 지원체를 사용하지 않고, 보다 용이하게 본 발명에 따른 교정 방법을 구현할 수 있다.
추가적인 구현예에 따르면, 도 5에 도시된 바와 같이, 교정 지원체는, 바람직하게는, 착용자가 이를 통해 가상 이미지와 실제 세계를 모두 볼 수 있도록 하는 가상 이미지 디스플레이 장치(50)일 수 있다. 가상 이미지 디스플레이 장치는 그래픽 이미지를 표시할 수 있으며, 전자 구동 시스템(메모리+프로세서)은 그 이미지를 가상 디스플레이 이미지에 전송하여 표시되도록 한다.
바람직하게, 서로 다른 시선 방향으로 이미지를 표시할 수 있으며, 점이나 작은 원 형태의 이미지를 사용하여 서로 다른 방향에 대해 시각적 기준 요소가 연속적으로 생성된다.
배치 단계 S2 동안에, 착용자의 적어도 하나의 안구와 착용자의 시각적 환경 사이에 교정 지원체가 배치된다.
교정 지원체는 일반적으로 착용자의 안구의 회전 중심으로부터 수 ㎝의 거리에, 예컨대 착용자의 안구의 회전 중심으로부터 25 ㎜ 내지 35 ㎜에, 착용자의 안구 앞에 배치된다.
착용자의 안구에 대한 교정 지원체의 위치를 알 수 있다. 전형적으로, 착용자의 안구의 회전 중심에 대한 교정 지원체의 위치가 알려져 있다.
본 발명의 일 구현예에 따르면, 교정 지원체는 착용자의 시각적 환경과 착용자의 양측 안구 사이에 배치될 수 있으며, 예컨대 교정 지원체는 안경 프레임의 양측 광학 렌즈 상에 배치된다. 이와 같은 구현예에 따르면, 착용자의 양측 안구에 대한 교정 지원체의 위치가 알려져 있다.
또한, 안경 프레임에 대한 교정 지원체의 위치가 알려져 있으며, 특히, 안구 추적 장치에 대한 교정 지원체의 위치가 알려져 있다.
착용자의 안구 및 안경 프레임 또는 안구 추적 장치에 대해 배치된 교정 지원체의 위치를 알면, 교정 지원체의 시각적 기준 요소에 대해 기준 방향을 규정할 수 있다. 교정 지원체가 복수의 시각적 기준 요소를 포함하는 구현예에 따르면, 각각의 시각적 기준 요소는 기준 방향과 연관될 수 있다.
취득 단계 S3 동안에, 헤드 장착형 안구 추적 장치의 착용자가 기준 방향으로 응시하고 있는 동안, 착용자의 안구 위치에 관한 안구 데이터를 안구 추적 장치에 의해 취득한다.
예를 들어, 취득 단계 동안에, 착용자는 교정 지원체의 시각적 기준들 또는 그 중 하나를 응시할 필요가 있다. 착용자가 시각적 기준들 또는 그 중 하나를 응시하고 있는 동안, 착용자의 안구의 이미지가 도 1에 도시된 카메라(20, 22, 24)에 의해 기록된다.
연관 단계 S4 동안에는, 취득 단계 S3 동안에 취득한 안구 데이터를 기준 방향에 대응하는 응시 방향과 연관시킨다. 안구 데이터는 안구의 위치를 나타내며, 글린트의 위치, 동공의 위치, 홍채의 위치, (안전위도검사를 사용할 경우) 전압, 또는 안구의 위치에 대한 정보를 제공하는 임의의 물리량일 수 있다.
앞서 설명한 바와 같이, 본 발명에 따른 교정 방법은 안과용 렌즈가 장착된 안경 프레임을 포함하는 안구 추적 장치를 교정하기 위해 사용될 수 있다.
전형적으로, 배치 단계 S2 동안에, 교정 지원체는 적어도 하나의 안과용 렌즈의 적어도 하나의 표면 상에 배치되며, 연관 단계 동안에, 기준 요소에 대응하는 응시 방향은 안과용 렌즈의 광선 굴절 기능에 기초하여 결정된다.
기록 단계 S5 동안에는, 연관된 안구 데이터와 응시 방향을, 예컨대 안경 프레임의 측면들 중 하나에 포함된 메모리에 기록한다.
교정 지원체가 복수의 시각적 기준 요소를 포함하는 본 발명의 구현예에 따르면, 연관 단계와 기록 단계는 각각의 시각적 기준 요소에 대해 반복된다.
도 2에 나타낸 바와 같이, 본 발명에 따른 방법은, 마지막 기록 단계 이후에, 교정 지원체가 제거되는 제거 단계 S6을 포함할 수 있다.
본 발명에 따른 교정은 응시 방향과 관련된 안구 데이터, 예컨대 착용자의 안구 이미지의 수집을 허용한다. 이와 같은 데이터는 안구 추적 장치의 정확도를 향상시키기 위해 안구 추적시 이용될 수 있다.
본 발명자들은, 착용자의 얼굴에 대한 안구 추적 장치의 움직임을 고려하면, 안구 추적 장치의 정확도를 보다 더 향상시킬 수 있다는 것을 관찰하였다.
따라서, 본 발명의 일 구현예에 따르면, 교정 방법은, 착용자에 의해 착용되고 있을 때, 착용자의 얼굴에 대한 안구 추적 장치의 상대적 위치가 결정되는 안구 추적 위치 결정 단계를 추가로 포함한다. 바람직하게, 안구 추적 위치 결정 단계는 취득 단계 이전에 구현된다.
또한, 본 발명은 본 발명에 따른 교정 방법에 의해 교정되고 있는 헤드 장착형 안구 추적 장치를 조정하기 위한 방법에 관한 것이다.
도 4에 도시된 바와 같이, 조정 방법은,
- 편차 결정 단계 S7 및
- 조정 단계 S8을 포함한다.
편차 결정 단계 S7 동안에는, 안구 추적 장치에 대한 착용자의 얼굴의 상대적 위치의 초기 위치로부터의 편차가 결정된다.
안구 추적 장치에 대한 착용자의 얼굴의 상대적 위치의 초기 위치는 바람직하게 본 발명에 따른 교정 방법의 안구 추적 위치 결정 단계 동안에 결정된다.
착용자의 얼굴의 상대적 위치는 착용자의 안구와 안구 추적 장치의 적어도 하나의 기준점 사이의 거리, 예컨대 착용자의 각막 정점과 안구 추적 장치의 적어도 하나의 기준점 사이의 거리를 포함한다.
착용자의 얼굴의 상대적 위치는 안구 추적 장치의 적어도 하나의 기준점에 대한 안구의 회전 중심의 상대적 위치를 추가로 포함할 수 있다.
이와 같은 거리는, 바람직하게, 안구 추적 장치가 착용자의 양측 안구를 추적하도록 배치되는 경우, 착용자의 각 안구에 대해 결정된다.
도 1에 도시된 바와 같이, 헤드 장착형 안구 추적 장치는 착용자의 적어도 하나의 안구를 조명하도록 구성된 적어도 2개의 광원을 포함할 수 있다. 안구와 추적 장치 간의 거리는 광원에 의해 조명된 착용자의 안구의 각막 상에 광원의 반사에 의해 형성되는 형상에 기초하여 결정될 수 있다.
제1 구현예에 따르면, 수 개의 광원이 안경 프레임에 장착될 수 있다. 각 광원은 카메라 이미지에서 볼 수 있는 정반사("글린트")를 생성한다. 광원이 충분히 작은 경우, 글린트는 점으로 간주될 수 있다. 안구 표면은 수 개의 섹션(중앙부 또는 홍채, 공막)에서 준-구형이며, 적절하게 주의하면, 글린트들 간의 겉보기 거리는 안구 표면과 안경 사이의 거리와 직접적으로 관련될 수 있다.
추가적인 구현예에 따르면, 안경에 대한 공지된 입체각으로 안구에 광 패턴(예컨대 정사각형(들), 스트라이프, 선 격자 등)을 투사하기 위해 구조화된 광이 사용될 수 있다. 안구로부터 카메라로 반사되는 구조화된 광 패턴의 분석은 정점 거리(또는 정점 거리 변화)의 계산으로 직접적으로 이어질 수도 있다.
상술한 구현예와 조합될 수 있는 일 구현예에 따르면, 일정 기간 동안의 동공 또는 홍채의 겉보기 형상 기록의 분석은 카메라 시야에서 안구 회전 중심의 위치 파악으로 이어질 수 있다. 적절하게 주의하면, 이와 같은 유형의 기록으로부터 정점 거리를 계산할 수도 있다.
편차 결정 단계 S7 동안에 결정된 편차는 조정 단계 S8 동안에 안구 추적 장치의 안구 추적 기능을 조정하기 위해 사용된다.
본 발명의 일 구현예에 따르면, 편차 단계와 조정 단계는 규칙적으로, 예컨대 30초마다 반복된다.
안구 추적 장치가 착용자의 얼굴에 대해 상대적으로 움직일 수는 있지만, 유리하게, 본 발명의 조정 방법은 안구 추적 장치의 높은 정확도를 유지할 수 있도록 한다. 예를 들어, 안구 추적 장치가 도 1에 나타낸 유형인 경우, 안구 추적 장치는 착용자의 얼굴에 대해 상대적으로 움직일 수 있으며, 예컨대 착용자의 코 위에서 미끄러지거나, 심지어 착용자에 의해 재배치될 수도 있다. 본 발명에 따른 조정 방법은 이와 같은 움직임에 기초하여 안구 추적 기능을 조정할 수 있도록 한다.
조정의 일 실시예로서, 안구의 편차가 수평(각각의 수직)축 상에서 N ㎜이고 종축에서 M ㎜(정점 거리 변화)인 것으로 측정되면, 동공 또는 홍채 또는 글린트의 위치로 측정된 안구 응시 방향이 변경되도록, 안구 데이터가 변경될 것이다.
이와 같은 조정을 위한 간단한 해결책은 안경과 얼굴 사이의 움직임의 영향을 없애기 위해 안구 데이터를 직접적으로 변경하는 것으로 이루어진다. 기본적인 실시예에서, 안경의 병진이 안구 카메라 광축에 대해 수직한 축을 따라 발생하는 경우, 안구 추적 정확도를 변경하지 않고 초기 교정 데이터를 계속 사용하기 위해, 카메라 시계 내에서 검출된 안구 위치를 해당 거리에서 단순히 "병진"시킬 수 있다.
보다 일반적으로, 본 발명에 따른 조정 방법은 안경과 착용자의 얼굴 사이의 관찰된 움직임에 따라 렌즈 표면 상에서 예상되는 시선의 "충돌 지점"을 결정하는 것을 목적으로 한다. 그 다음에, 렌즈 상에서의 충돌 지점과 입사를 알면, 정밀도의 손실을 최소화하면서 응시 방향을 계산할 수 있다.
글린트 위치의 편차에 대한 대안예로서, 안구의 안각(canthus)의 위치의 편차, 또는 보다 일반적으로 안구 추적 장치에 대한 얼굴의 특징부의 임의의 편차, 예컨대 코, 눈썹, 피부의 점의 위치로서, 편차가 측정될 수 있다. 안구 추적 장치 자체에 의해, 또는 안구 추적 장치 상에 위치된 임의의 추가적인 카메라 또는 비접촉식 센서(예컨대 초음파 또는 비과시간 거리 센서, 광검출기 어레이, 용량성 근접 센서 등)에 의해, 편차가 측정될 수 있다.
안구 추적 장치와 안구 사이의 거리의 편차는 카메라 이미지에서 홍채 겉보기 크기의 결정에 의해 측정될 수도 있다. 이미지에서 홍채의 변경된 크기는 편차가 발생하였다는 것을 의미하고, 더 작은 크기는 안구와 안구 추적 장치 사이의 거리가 증가하였다는 것을 의미한다. 홍채 크기(대략 12 ㎜)와 카메라의 화소각 크기를 알면, 간단한 모델이 편차를 결정하는데 사용될 수 있다.
DistEtoET x tan(Npix x PixSize) = IrisSize 이므로, DistEtoET x tan(Npix x PixSize)에서,
DistEtoET는 안구와 안구 추적기 사이의 거리이고,
Npix는 안구의 이미지 상에서 측정된 홍채의 화소 단위로 표현된 크기이며,
PixSize는 안구를 촬상하는 카메라의 광학 시스템으로부터 알려진 화소각 크기이다.
IrisSize는 홍채의 크기(12 ㎜)이다.
일반적인 발명의 개념을 한정하지 않는 구현예의 도움을 받아 본 발명이 상술되었다.
단지 실시예로서 주어졌으며, 첨부된 청구항에 의해서만 결정되는 본 발명의 범위를 한정하고자 하는 의도가 없는 상기 예시적인 구현예를 참조하면, 많은 추가적인 변경 및 변화가 관련 분야의 당업자들에게 제안될 것이다.
청구항에서, "포함하는(comprising)"이라는 단어는 다른 요소 또는 단계를 배제하지 않으며, 또한 부정 관사 "하나(a)" 또는 "하나(an)"는 복수를 배제하지 않는다. 서로 다른 특징들이 서로 다른 종속항들에 기재되어 있다는 단순한 사실이, 이들 특징의 조합이 유리하게 사용될 수 없다는 것을 나타내지는 않는다. 청구항 내의 임의의 참조 부호는 본 발명의 범위를 한정하는 것으로 해석되어서는 안 된다.

Claims (18)

  1. 헤드 장착형 안구 추적 장치를 교정하기 위한 방법으로서,
    - 헤드 장착형 추적 장치를 착용한 착용자에게 적어도 하나의 시각적 기준 요소를 포함하는 교정 지원체가 제공되는, 교정 지원체 제공 단계 S1과,
    - 시각적 기준 요소로 기준 방향을 규정하기 위해, 착용자의 안구 및 안구 추적 장치에 대해 알려진 위치에서 착용자의 적어도 하나의 안구와 착용자의 시각적 환경 사이에 교정 지원체가 배치되는, 배치 단계 S2와,
    - 헤드 장착형 안구 추적 장치의 착용자가 기준 방향으로 응시하고 있는 동안, 착용자의 안구 위치에 관한 안구 데이터를 안구 추적 장치에 의해 취득하는 취득 단계 S3과,
    - 취득 단계 동안에 취득한 안구 데이터를 기준 방향에 대응하는 응시 방향과 연관시키는 연관 단계 S4와,
    - 연관된 안구 데이터와 응시 방향을 기록하는 기록 단계 S5를 포함하며,
    헤드 장착형 안구 추적 장치는 안과용 렌즈가 장착되는 안경 프레임을 포함하고, 기준 방향에 대응하는 응시 방향은 안과용 렌즈의 광선 굴절 기능에 기초하여 결정되고,
    배치 단계 동안에, 교정 지원체는 적어도 하나의 안과용 렌즈의 적어도 하나의 표면 상에 배치되며, 시각적 기준 요소에 대응하는 응시 방향은 안과용 렌즈의 광선 굴절 기능에 기초하여 결정되고,
    교정 지원체는 얇은 열성형 층이고, 교정 지원체는 안과용 렌즈 중 적어도 하나의 표면 중 적어도 하나 또는 안과용 렌즈의 두 표면 상에 배치되는, 헤드 장착형 안구 추적 장치를 교정하기 위한 방법.
  2. 제1항에 있어서,
    상기 방법의 단계들이 반복되는 방법.
  3. 제1항에 있어서,
    착용자가 서로 다른 기준 방향으로 및/또는 서로 다른 응시 거리에서 응시하고 있는 동안, 방법의 단계들이 반복되는 방법.
  4. 제1항에 있어서,
    헤드 장착형 안구 추적 장치는 특수한 조명 조건하에서 착용자의 안구를 향해 입사광 빔을 회절시키도록 설계된 미세 구조 패턴 형태의 적어도 하나의 시각적 기준 요소를 포함하는 방법.
  5. 제1항에 있어서,
    교정 지원체는 복수의 시각적 기준 요소를 포함하고, 연관 단계와 기록 단계는 각각의 시각적 기준 요소에 대해 반복되는 방법.
  6. 제1항에 있어서,
    교정 지원체는 가시광에 대해 투과성이고, 적어도 하나의 시각적 기준 요소는 착용자의 안구를 향해 입사광 빔을 회절시키도록 설계된 미세 구조 패턴인 방법.
  7. 제1항에 있어서,
    교정 지원체는 빛에 대해 불투과성인 방법.
  8. 제1항에 있어서,
    적어도 하나의 시각적 기준 요소는 교정 지원체의 광학 개구인 방법.
  9. 제1항에 있어서,
    교정 지원체의 적어도 하나의 개구에 스위칭 가능한 광원이 부착되고, 스위칭 가능한 광원은 취득 단계 동안에 시각적 기준 요소를 강조하도록 구성된 방법.
  10. 제1항에 있어서,
    교정 지원체는 가상 이미지를 생성하는 광학 시스템을 포함하고, 적어도 하나의 시각적 기준 요소를 생성하기 위해 가상 디스플레이 장치가 사용되는 방법.
  11. 제1항에 있어서,
    착용자가 착용하고 있을 때, 착용자의 얼굴에 대한 안구 추적 장치의 상대적 위치가 결정되는 안구 추적 위치 결정 단계를 추가로 포함하는 방법.
  12. 제11항에 따른 교정 방법에 의해 교정되고 있는 헤드 장착형 안구 추적 장치를 조정하기 위한 방법으로서,
    - 안구 추적 장치에 대한 착용자의 얼굴의 상대적 위치의 초기 위치로부터의 편차가 결정되는 편차 결정 단계와,
    - 편차 단계 동안에 결정된 편차에 기초하여 안구 추적 기능을 조정하는 조정 단계를 포함하고,
    초기 위치는 교정 단계 동안에 안구 추적 장치에 대한 착용자의 얼굴의 상대적 위치에 대응하는 방법.
  13. 제12항에 있어서,
    편차 단계와 조정 단계는 규칙적으로, 예컨대 30초마다 반복되는 방법.
  14. 제12항에 있어서,
    편차 단계 동안에, 안구와 안구 추적 장치 간의 거리와 안구 추적 장치에 대한 안구의 회전 중심의 상대적 위치가 결정되는 방법.
  15. 제14항에 있어서,
    헤드 장착형 안구 추적 장치는 착용자의 적어도 하나의 안구를 조명하도록 구성된 적어도 2개의 광원을 추가로 포함하며, 안구와 추적 장치 간의 거리는 광원에 의해 조명된 착용자의 안구의 각막 상에 광원의 반사에 의해 형성되는 형상에 기초하여 결정되는 방법.
  16. 프로세서가 접근 가능한 하나 이상의 저장된 명령 시퀀스를 포함하며, 프로세서에 의해 실행되는 경우, 제1항 내지 제15항 중 어느 한 항에 따른 방법의 적어도 연관 단계를 프로세서가 실행하도록 하는, 프로그램을 저장한 컴퓨터 판독 가능한 저장 매체.
  17. 삭제
  18. 삭제
KR1020167015457A 2013-12-17 2014-12-16 헤드 장착형 안구 추적 장치를 교정하기 위한 방법 KR102318678B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13306750.4A EP2886041A1 (en) 2013-12-17 2013-12-17 Method for calibrating a head-mounted eye tracking device
EP13306750.4 2013-12-17
PCT/EP2014/078098 WO2015091577A1 (en) 2013-12-17 2014-12-16 Method for calibrating a head-mounted eye tracking device

Publications (2)

Publication Number Publication Date
KR20160098235A KR20160098235A (ko) 2016-08-18
KR102318678B1 true KR102318678B1 (ko) 2021-10-28

Family

ID=49918498

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167015457A KR102318678B1 (ko) 2013-12-17 2014-12-16 헤드 장착형 안구 추적 장치를 교정하기 위한 방법

Country Status (8)

Country Link
US (1) US10307053B2 (ko)
EP (2) EP2886041A1 (ko)
JP (1) JP6656156B2 (ko)
KR (1) KR102318678B1 (ko)
CN (1) CN105828702B (ko)
BR (1) BR112016013021B1 (ko)
MX (1) MX2016007986A (ko)
WO (1) WO2015091577A1 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106030382B (zh) * 2014-02-18 2021-01-19 依视路国际公司 用于优化佩戴者的光学镜片设备的方法
CN106462895B (zh) 2014-05-15 2022-01-07 依视路国际公司 用于监测头戴式设备的配戴者的监测系统
EP3112922A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing A gaze tracking device and a head mounted device embedding said gaze tracking device
US9870049B2 (en) * 2015-07-31 2018-01-16 Google Llc Reflective lenses to auto-calibrate a wearable system
KR20230150397A (ko) 2015-08-21 2023-10-30 매직 립, 인코포레이티드 눈 포즈 측정을 사용한 눈꺼풀 형상 추정
CN108369653B (zh) * 2015-10-16 2021-12-14 奇跃公司 使用眼睛特征的眼睛姿态识别
KR101777942B1 (ko) * 2016-01-27 2017-09-14 동국대학교 산학협력단 헤드램프
US10877556B2 (en) * 2016-10-21 2020-12-29 Apple Inc. Eye tracking system
US20180157908A1 (en) * 2016-12-01 2018-06-07 Varjo Technologies Oy Gaze-tracking system and method of tracking user's gaze
US10671160B2 (en) * 2017-05-31 2020-06-02 Magic Leap, Inc. Eye tracking calibration techniques
WO2018222892A1 (en) * 2017-06-01 2018-12-06 Pogotec Inc. Releasably attachable augmented reality system for eyewear
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
JP6953247B2 (ja) * 2017-09-08 2021-10-27 ラピスセミコンダクタ株式会社 ゴーグル型表示装置、視線検出方法及び視線検出システム
CN109725418B (zh) * 2017-10-30 2020-10-16 华为技术有限公司 显示设备、用于调整显示设备的图像呈现的方法及装置
US11181977B2 (en) * 2017-11-17 2021-11-23 Dolby Laboratories Licensing Corporation Slippage compensation in eye tracking
EP3750028B1 (en) 2018-02-09 2022-10-19 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11556741B2 (en) 2018-02-09 2023-01-17 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
KR20200140822A (ko) * 2018-04-06 2020-12-16 에씰로 앙터나시오날 가상 이미지를 생성하도록 구성된 머리 장착형 장치의 커스터마이징 방법
EP3801196B1 (en) * 2018-05-31 2022-06-01 Tobii AB Method and system for glint/reflection identification
EP3582077A1 (en) * 2018-06-13 2019-12-18 Tobii AB Eye tracking device and method for manufacturing an eye tracking device
US10768451B1 (en) * 2018-06-26 2020-09-08 Snap Inc. Diffusers in wearable devices
CN111103971A (zh) * 2018-10-29 2020-05-05 托比股份公司 头戴式装置在用户上的位置的确定
ES2945789T3 (es) * 2018-11-15 2023-07-07 Tobii Ab Método y dispositivo para calibrar un oculómetro
EP3912013A1 (en) 2019-01-16 2021-11-24 Pupil Labs GmbH Methods for generating calibration data for head-wearable devices and eye tracking system
EP3979896A1 (en) 2019-06-05 2022-04-13 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
US11181978B2 (en) 2019-06-17 2021-11-23 Hemy8 Sa System and method for gaze estimation
CN110780742B (zh) * 2019-10-31 2021-11-02 Oppo广东移动通信有限公司 眼球追踪处理方法及相关装置
US20230045580A1 (en) * 2020-01-06 2023-02-09 Eyeway Vision Ltd. An eye tracking device and method thereof
CN111714081A (zh) * 2020-07-08 2020-09-29 岭南师范学院 基于多波长led光学无损特殊儿童检测仪及检测方法
WO2022187764A1 (en) * 2021-03-01 2022-09-09 Qualcomm Incorporated Movement detection of a head mounted device
CN113189769A (zh) * 2021-04-23 2021-07-30 歌尔股份有限公司 眼球追踪模组和眼镜
US20230097774A1 (en) * 2021-09-29 2023-03-30 Pixieray Oy Eyeglass lens with eye-tracking components
KR102586828B1 (ko) * 2022-12-16 2023-10-10 한국전자기술연구원 안면, 안구 형상, hmd 착용 위치 기반 고도 영상 출력 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040061831A1 (en) * 2002-09-27 2004-04-01 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US20070132841A1 (en) * 2003-11-07 2007-06-14 Neuro Kinetics, Inc. Portable video oculography system with integral calibration light
US20100053555A1 (en) * 2008-08-27 2010-03-04 Locarna Systems, Inc. Method and apparatus for tracking eye movement
US20110170065A1 (en) * 2009-11-12 2011-07-14 Toshiyasu Sugio Electro-oculography measuring device, ophthalmological diagnosis device, eye-gaze tracking device, wearable camera, head-mounted display, electronic eyeglasses, electro-oculography measuring method, and recording medium

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4582403A (en) * 1984-03-05 1986-04-15 Weinblatt Lee S Head movement correction technique for eye-movement monitoring system
JPH08563A (ja) * 1994-06-15 1996-01-09 Canon Inc 光学装置及びカメラ
US6157382A (en) * 1996-11-29 2000-12-05 Canon Kabushiki Kaisha Image display method and apparatus therefor
US6322216B1 (en) * 1999-10-07 2001-11-27 Visx, Inc Two camera off-axis eye tracker for laser eye surgery
JP3654625B2 (ja) * 2000-01-31 2005-06-02 株式会社モリタ製作所 眼球運動検査装置
JP2005245791A (ja) * 2004-03-04 2005-09-15 Olympus Corp 視線方向検出装置
EP1815289B9 (en) * 2004-11-16 2016-05-11 ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) Method for designing spectacle lenses taking into account an individual's head and eye movement
WO2009107371A1 (ja) * 2008-02-28 2009-09-03 パナソニック株式会社 視線検出装置及び視線検出方法
CN102112943A (zh) * 2008-08-07 2011-06-29 皇家飞利浦电子股份有限公司 确定用户头部运动/注视关系的方法和系统以及交互式显示系统
JP2010259605A (ja) * 2009-05-01 2010-11-18 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム
FR2970576B1 (fr) * 2011-01-19 2013-02-08 Matchic Labs Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040061831A1 (en) * 2002-09-27 2004-04-01 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US20070132841A1 (en) * 2003-11-07 2007-06-14 Neuro Kinetics, Inc. Portable video oculography system with integral calibration light
US20100053555A1 (en) * 2008-08-27 2010-03-04 Locarna Systems, Inc. Method and apparatus for tracking eye movement
US20110170065A1 (en) * 2009-11-12 2011-07-14 Toshiyasu Sugio Electro-oculography measuring device, ophthalmological diagnosis device, eye-gaze tracking device, wearable camera, head-mounted display, electronic eyeglasses, electro-oculography measuring method, and recording medium

Also Published As

Publication number Publication date
CN105828702B (zh) 2019-07-19
BR112016013021A8 (pt) 2018-08-14
EP2886041A1 (en) 2015-06-24
BR112016013021A2 (ko) 2017-08-08
JP6656156B2 (ja) 2020-03-04
CN105828702A (zh) 2016-08-03
BR112016013021B1 (pt) 2022-07-12
EP3082568A1 (en) 2016-10-26
JP2017503570A (ja) 2017-02-02
MX2016007986A (es) 2016-09-09
KR20160098235A (ko) 2016-08-18
WO2015091577A1 (en) 2015-06-25
EP3082568B1 (en) 2019-02-20
US20160302663A1 (en) 2016-10-20
US10307053B2 (en) 2019-06-04

Similar Documents

Publication Publication Date Title
KR102318678B1 (ko) 헤드 장착형 안구 추적 장치를 교정하기 위한 방법
US11016301B1 (en) Accommodation based optical correction
EP3485356B1 (en) Eye tracking based on light polarization
US10032074B2 (en) Systems and methods for high-resolution gaze tracking
JP6854647B2 (ja) 光学レンズ装置を着用者に対して最適化する方法
JP6159263B2 (ja) 照射特性を調整可能にして少なくとも１つの眼における少なくとも１つのパラメータを捕捉する光学的測定装置及び方法
US10852817B1 (en) Eye tracking combiner having multiple perspectives
WO2019126150A1 (en) Integrated augmented reality head-mounted display for pupil steering
US10599215B2 (en) Off-axis eye tracker
US20200150425A1 (en) Inconspicuous near-eye electrical components
US10379348B2 (en) Hybrid fresnel lens with increased field of view
US11914162B1 (en) Display devices with wavelength-dependent reflectors for eye tracking
US11307654B1 (en) Ambient light eye illumination for eye-tracking in near-eye display
US11415808B1 (en) Illumination device with encapsulated lens
US20230057524A1 (en) Eyeglass devices and related methods
US20230152578A1 (en) Multi-view eye tracking system with a holographic optical element combiner

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)