KR102456047B1 - 아이웨어 장착 가능 안구 추적 디바이스 - Google Patents

아이웨어 장착 가능 안구 추적 디바이스 Download PDF

Info

Publication number
KR102456047B1
KR102456047B1 KR1020177016193A KR20177016193A KR102456047B1 KR 102456047 B1 KR102456047 B1 KR 102456047B1 KR 1020177016193 A KR1020177016193 A KR 1020177016193A KR 20177016193 A KR20177016193 A KR 20177016193A KR 102456047 B1 KR102456047 B1 KR 102456047B1
Authority
KR
South Korea
Prior art keywords
shutter window
energy
detected
during
source
Prior art date
Application number
KR1020177016193A
Other languages
English (en)
Other versions
KR20170083132A (ko
Inventor
지오라 야하브
데이비드 코헨
사기 캐츠
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority to KR1020227035683A priority Critical patent/KR102561991B1/ko
Publication of KR20170083132A publication Critical patent/KR20170083132A/ko
Application granted granted Critical
Publication of KR102456047B1 publication Critical patent/KR102456047B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/04—Illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H04N5/23219—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Abstract

표준 안경에 장착될 수 있는 안구 운동 추적 디바이스가 논의된다. 디바이스는 조명 소스, TOF(time-of-flight; 전파 시간) 카메라 및 프로세서를 포함한다. 조명 소스는 사람의 안구에 가까운 위치로부터 주파수 대역 내의 에너지를 전송하여, 전송된 에너지의 적어도 제 1 부분이 사람이 착용한 아이웨어의 렌즈에서 반사되고, 그 뒤에 안구에서 반사하도록 하고, 전송된 에너지의 적어도 제 2 부분이 사람의 환경 내의 물체에서 반사하도록 렌즈를 통해 전송되게 한다. TOF 카메라는 전송된 에너지의 적어도 제 1 부분의 반사를 검출하고, TOF 원리에 기초하여, 상기 주파수 대역에서 TOF 카메라에 의해 검출된 다른 에너지와 전송된 에너지의 제 1 부분의 검출된 반사를 구별한다. 프로세서는 안구 위치를 결정하기 위해 전송된 에너지의 제 1 부분의 검출된 반사를 사용한다.

Description

아이웨어 장착 가능 안구 추적 디바이스{EYEWEAR-MOUNTABLE EYE TRACKING DEVICE}
본 발명의 적어도 하나의 실시예는 안구 추적 기술에 관한 것으로서, 보다 구체적으로, 표준 안경과 함께 사용 가능한 안구 추적 디바이스에 관한 것이다.
안구 추적(시선 추적이라고도 함) 기술은 차세대 인간-컴퓨터 인터페이스의 중요한 부분으로 진화하고 있다. 안구 추적 기술은 엔터테인먼트, 연구 및 신체적 장애가 있는 사람들을 위한 상호 작용 툴로서 많은 잠재적 응용을 갖는다.
대부분의 공지된 비디오 기반 안구 추적 시스템은 적외선(infrared; IR) 광원을 갖는 적외선(IR) 카메라를 사용하여 동공/홍채는 물론 조명으로부터의 반사광(glint)을 검출한다. 부가적으로, 이러한 시스템은 일반적으로 직접 이미징 또는 간접 이미징 중 어느 하나를 사용한다. 직접 이미징 시스템은 직접적으로 안구를 목표로 하는 하나 이상의 IR 센서들 배치함으로써 안구 영역을 직접적으로 이미지화한다. 그러나, 이들 시스템은 (예를 들어, 속눈썹으로부터) 센서를 가리는 문제는 물론 (예를 들어, 센서로부터) 사용자의 시야를 가리는 문제가 있다. 이러한 시스템은 안경을 착용하는 사람들의 안구를 추적하는데 특별한 어려움이 있는데, 적어도 부분적으로 안경이 가림을 일으키거나, 거짓 정반사를 생성하여 컴퓨터 비전 알고리즘을 방해하기 때문이다.
간접 이미징 시스템은 근적외선 한계에 대해 거울로서의 역할을 하지만, 가시 광선에 대해 통과 유리(pass-through glass)로서의 역할을 하는 소위 "핫 미러(hot mirror)" 렌즈를 통해 안구를 관찰함으로써 가림 문제를 부분적으로 다룬다. 이러한 방식으로, 센서는 사용자 시야를 가리지 않으면서 정면 위치에서 안구를 관찰할 수 있다. 그러나, 간접 이미징 접근법은 특수 안경(즉, 핫 미러 렌즈를 갖춤)을 필요로 하므로, 표준 (처방) 안경에 의존하는 사람들에게는 적합하지 않다.
여기에 소개된 기술은 표준 안경을 착용한 사용자에 대해 안구 추적을 수행하기 위해 사용될 수 있는 안구 추적 디바이스를 포함한다. 적어도 일부 실시예들에서, 디바이스는 조명 소스, TOF(time-of-flight; 전파 시간) 카메라 및 프로세서를 포함한다. 조명 소스는 사람의 안구에 가까운 위치로부터 주파수 대역 내의 에너지를 전송하여, 전송된 에너지의 적어도 제 1 부분이 사람이 착용한 아이웨어의 렌즈에서 반사되고, 그 뒤에 사람의 안구에서 반사하게 하고, 전송된 에너지의 적어도 제 2 부분이 사람의 환경 내의 물체에서 반사하도록 렌즈를 통해 전송되게 한다. TOF 카메라는 전송된 에너지의 적어도 제 1 부분의 반사를 검출하고, 반사의 전파 시간에 기초하여, 상기 주파수 대역에서 TOF 카메라에 의해 검출된 다른 에너지와 전송된 에너지의 제 1 부분의 검출된 반사를 구별한다. 프로세서는 사람의 안구의 시선 방향을 결정하기 위해 전송된 에너지의 제 1 부분의 검출된 반사를 사용하도록 구성된다. 이 기술의 다른 양태들이 첨부된 도면 및 상세한 설명으로부터 명백해질 것이다.
이 요약은 아래의 상세한 설명에서 더욱 설명되는 개념들의 선택을 간략화된 형태로 소개하기 위해서 제공된다. 요약은 주장되는 주제의 중요 특징 또는 필수 특징을 식별하기 위한 것도 아니고, 주장되는 주제의 범위를 한정하기 위해 이용되는 것도 아니다.
본 발명의 하나 이상의 실시예들이 동일한 참조 번호가 유사한 요소를 나타내는 첨부 도면의 도면들을 비제한적인 예로서 참조한다.
도 1a 및 도 1b는 여기에서 소개된 기술의 실시예에 따른 안구 추적 디바이스의 배경도를 도시한다.
도 2는 안구 추적 디바이스의 실시예의 기능적 요소들을 도시하는 블록도이다.
도 3은 한 쌍의 표준 안경에 장착된 안구 추적 디바이스의 예를 도시한다.
도 4는 전형적인 사용 시나리오에서 IR 조명의 전파를 개략적으로 예시한다.
도 5는 두 개의 조명 소스를 갖는 실시예에 대한 IR 조명 방식의 예를 예시한다.
도 6은 두 개의 조명 소스를 갖는 안구 추적 디바이스의 일 실시예를 예시한다.
도 7은 안구 추적 디바이스의 동작 프로세스의 예를 도시하는 흐름도이다.
본 명세서에서, "실시예", "일 실시예" 등에 대한 참조는 설명되는 특정한 특징, 기능, 구조 또는 특성이 여기에 소개된 기술의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 본 명세서에서 이러한 어구들의 발생은 반드시 모두 동일한 실시예를 나타내는 것은 아니다. 다른 한편으로는, 나타난 실시예들은 또한 반드시 상호 배타적인 것은 아니다.
여기에 소개된 기술은 표준 안경을 착용한 사용자에 대해 안구 추적을 수행하기 위해 사용될 수 있는 간접 이미징 아이웨어 장착용 안구 추적 디바이스를 포함한다. 그러나, 이 디바이스는 특수 목적 아이웨어 또는 헤드셋(예를 들어, 게임용 또는 가상/증강 현실 응용 프로그램용)과 같은 다른 타입의 아이웨어와 함께 사용될 수도 있다는 것을 유념한다. 이 디바이스 표준(예를 들어, 처방) 안경에 분리 가능하게 장착되고 사용자의 시야를 가리지 않는 애드온(add-on) 제품으로 포함될 수 있다. 이 디바이스는 TOF의 원리를 자신의 IR 조명에 적용하여 원하는 IR 에너지(예를 들어, 자체 소스(들)에서 전송되어 사용자의 안구에서 반사된 IR로서, 안구 추적에 사용됨)와 원하지 않는 IR 에너지(예를 들어, 주변 IR 에너지 및 소스(들)로부터 전송되어 사용자의 환경 내의 물체에서 반사된 IR)를 구별한다.
적어도 일부 실시예들에서, 안구 추적 디바이스는 IR 에너지를 방출하는 하나 이상의 IR 조명 소스들; 방출된 IR 에너지를 검출하기 위해 IR 소스(들)와 동기화된 게이티드 "고속 셔터" IR TOF 카메라(이하 간단히 "IR 카메라"); 사용자가 안구 추적 중에 보고 있는 일반적인 방향의 비디오를 생성하여 그 비디오 상에 사용자의 POR(point-of-regard)의 마킹을 가능하게 하는 인간 가시 스펙트럼(예를 들어, 레드-그린-블루(RGB)) 비디오 카메라("장면 카메라"); 전술한 카메라들에 의해 수집된 이미지 데이터를 저장하기 위한 메모리; IR 카메라(또는 디바이스 외부에 위치하는 프로세싱 유닛과 통신할 수 있는 적어도 통신 유닛)의 출력에 기초하여 사용자의 안구 위치를 계산하기 위한 프로세싱 유닛; 전술한 요소들을 적어도 부분적으로 포함하는 하우징; 및 하우징을 안경의 프레임에 분리 가능하게 장착하도록 표준 안경과 호환 가능한 패스너를 포함한다.
일부 실시예들에서, 디바이스는 근거리, 즉 사용자의 안구로부터 반사된 IR 광을 수집하고, 사용자 환경 내의 물체들로부터의 디바이스 자체 IR 조명의 반사 및 주변 IR 조명의 수집을 회피하기 위해 광학 포커싱 시스템을 사용하는 고속 셔터 IR 카메라를 사용한다. 이것은 디바이스로부터 전송된 IR 광이 IR 카메라의 센서로 되돌아오는 도중에 셔터(순수 전자 셔터일 수 있음)에 의해 차단되도록 IR 카메라의 셔터 타이밍을 설정함으로써 수행될 수 있어서, 센서의 매우 가까운 곳(예를 들어, 수 센티미터 이내)에서 물체로부터 반사되거나 발생된 IR만이 IR 카메라에 의해 캡처된다; 즉, 충분히 짧은 TOF를 갖는 에너지만이 캡처되도록 허용된다. 이것은 IR 카메라가 외부 물체로부터의 반사 없이, 안구의 이미지만을 캡처하는 것을 가능하게 한다. 따라서, 이 기능은 핫 미러의 사용을 피할 수 있다. IR 카메라는 매우 짧은 시간 내에, 예를 들어, 수 나노초마다, 반복적으로 "셔터"(예를 들어, 전자 셔터)를 닫고 열어서 시간상 거의 동일한 순간에 다수의 이미지들을 캡처할 수 있다는 점에서 "고속 셔터" 카메라이다.
이 목적을 위해 사용될 수 있는 IR 카메라의 한 타입은 "게이티드" TOF 깊이 카메라이다. 게이티드 TOF 깊이 카메라는 깊이 카메라에 의해 이미징된 장면을 조명하기 위해 일련의 광 펄스를 사용한다. 각각의 광 펄스에 대해, 깊이 카메라는 다시 "게이티드" 오프(OFF)되기 전에 특정 노광 기간 동안 "게이트드" 온(ON)이어서, 그 노광 기간 동안 장면을 이미지화한다. 장면에서 피처(feature)에 대한 거리는 피처에 의해 반사되고 노광 기간 동안 카메라 센서의 픽셀에 의해 등록되는 전송된 펄스로부터의 광의 양으로부터 결정될 수 있다. 이러한 타입의 펄스형 IR TOF 깊이 카메라가 사용될 수 있다. 대안으로, 위상 변조의 원리를 사용하는 TOF 카메라가 여기 소개된 기술의 목적을 위해 또한 사용 가능하다.
부가적으로, 디바이스는 주변 IR 조명을 필터링하기 위해 및/또는 안구로부터의 상이한 정반사(반사광)를 식별하기 위해, 상이한 조명 설정을 사용하여 거의 동시에 두 개 이상의 이러한 IR 이미지들을 획득할 수 있다. 이 특징은 디바이스가 주변 불변 안구 추적을 수행하는 것을 가능하게 한다. 즉, 디바이스가 비제어형 주변 조명을 가진 환경에서 적절하게 기능하도록 허용한다. 디바이스는 또한 제스처 인식 및/또는 다른 응용 프로그램에서 사용하기 위해 깊이를 계산할 수 있다(TOF 원리 사용).
도 1a 및 도 1b는 적어도 하나의 실시예에 따른 안경 장착용 안구 추적 디바이스를 예시한다. 도시된 바와 같이, 안구 추적 디바이스(1)는 사용자의 안구 중 하나의 안구에 가까운 두 개의 템플 프레임 피스(3) 중 어느 하나와 같은 표준 안경(2)(도 1b)의 프레임에 장착될 수 있다. 이 문맥에서 "가까운"은 약 5cm 미만과 같은 수 센티미터 이내를 의미한다. 도 1에 도시된 바와 같은 디바이스(1)의 물리적 형상은 안구 추적 디바이스가 가질 수 있는 형상들의 많은 가능한 예들 중 하나일 뿐이라는 것을 유념한다. 후술하는 바와 같이, 디바이스(1)는 하우징(4)을 갖고, 상기 하우징(4)은 전방 관측 인간 가시 스펙트럼 비디오 카메라(5)(예를 들어, RGB 비디오 카메라), 적어도 하나의 근적외선 조명 소스(6), 및 IR 센서(7)를 포함하는 게이티드 "고속 셔터" IR 카메라를 적어도 부분적으로 포함한다. 디바이스는 디바이스(1)를 안경 프레임(3)에 분리 가능하게 연결하기 위한 패스너(8)(예를 들어, 스프링 클립, 벨크로 등)를 더 포함한다. 패스너(8)는 임의의 표준 안경에 디바이스를 장착할 수 있는 "일반적" 패스너일 수 있거나, 주어진 모델 또는 제조자의 안경용으로 특별히 설계될 수 있다.
도 2는 적어도 하나의 실시예에 따른 안구 추적 디바이스의 실시예의 이러한 요소 및 다른 요소를 더 도시하는 블록도이다. 도시된 바와 같이, 디바이스(1)는 전원(21)(예컨대, 배터리), 중앙 처리 유닛(central processing unit; CPU)(22), 메모리(23), IR 센서(7)를 포함하는 게이티드 "고속 셔텨" 카메라(20), 하나 이상의 IR 조명 소스들(6), 인간 가시 스펙트럼 비디오 카메라("장면 카메라")(5), 및 통신 유닛(24)을 포함한다. 디바이스(1)는 IR 카메라와 관련된 렌즈(도시되지 않음)를 더 포함한다.
장면 카메라(5)는 임의의 종래의 비디오 카메라일 수 있다. IR 카메라(20)는 깊이 측정에서 수 센티미터 이내의 해상도를 갖는 게이티드 고속 셔터 TOF IR 카메라일 수 있다. 일부 실시예들에서, IR 카메라(20)는 이미지 캡쳐 및/또는 이미지 처리 동작을 수행하기 위해 CPU(22) 및 메모리(23)에서 분리된 자체 프로세서 및/또는 메모리(도시되지 않음)를 포함할 수 있다.
일부 실시예들에서, CPU(22)는 디바이스(1)의 다른 컴포넌트의 동작을 제어하고, 시선 방향을 결정하거나, 시선 결정과 관련된 안구 추적 계산을 수행한다. CPU(22)는 적절히 프로그램된 범용 마이크로 프로세서, 특수 목적 마이크로 프로세서 또는 디지털 신호 프로세서, 프로그램 가능 마이크로 제어기, 주문형 집적 회로(application-specific integrated circuit; ASIC), 프로그램 가능 로직 디바이스(programmable logic device; (PLD) 등과 같은 임의의 공지된 또는 편리한 형태의 프로세서 및/또는 제어기, 또는 임의의 두 개 이상의 이러한 디바이스들의 조합일 수 있거나 이들을 포함할 수 있다. 또한, CPU(22)가 프로그램 가능 마이크로 프로세서이면, 이것은 단일 코어 프로세서 또는 멀티 코어 프로세서 중 어느 하나일 수 있다.
메모리(23)는 IR 카메라에 의해 획득된 이미지 데이터, 가시 스펙트럼에 의해 획득된 이미지 데이터, CPU에 의한 실행을 위한 프로그램 코드, CPU에 의한 계산 또는 연산으로부터 생성된 중간 데이터, 또는 다른 데이터 및/또는 프로그램 코드 중 임의의 하나 이상을 저장하기 위해 사용될 수 있다. 따라서, 메모리(23)의 일부분은 실제로 CPU(22), 가시 스펙트럼 카메라(5) 또는 IR 카메라(20) 내에 있을 수 있다. 메모리(23)는 랜덤 액세스 메모리(random access memory; RAM), 판독 전용 메모리(read-only memory; ROM)(소거 가능 및 프로그램 가능할 수 있음), 플래시 메모리, 소형 하드 디스크 드라이브 또는 다른 적합한 타입의 저장 디바이스 또는 이러한 디바이스들의 조합이거나 이들을 포함할 수 있는 하나 이상의 물리적 저장 디바이스들을 포함할 수 있다.
통신 유닛(24)은 안구 추적 디바이스(1)가 컴퓨터 또는 다른 타입의 프로세싱 디바이스와 같은 외부 디바이스 또는 시스템(도시되지 않음)과 통신하는 것을 가능하게 한다. 예를 들어, 특정 실시예들에서, 안구 추적 디바이스에 의해 획득되고 통신 유닛에 의해 외부 디바이스에 전송되는 데이터에 기초하여, 안구 추적 계산 중 적어도 일부가 외부 디바이스(예를 들어, 개인용 컴퓨터)에 의해 수행될 수 있다. 이것은 CPU(22)의 프로그래밍 또는 구성이 훨씬 간단해지도록 하거나, CPU(22)가 훨씬 간단한 타입의 제어기에 의해 대체되거나, 또는 심지어 안구 추적 디바이스(1)로부터 완전히 생략되게 할 수 있다. 통신 유닛(24)은 유선 통신, 무선 통신, 또는 이 둘 모두를 수행하는 송수신기일 수 있거나 이를 포함할 수 있다. 예를 들어, 통신 유닛(24)은 범용 직렬 버스(USB) 어댑터, 이더넷 어댑터, 모뎀, Wi-Fi 어댑터, 셀룰러 송수신기, 기저 대역 프로세서, 블루투스 또는 저전력 블루투스(Bluetooth Low Energy; BLE) 송수신기 또는 이들의 조합 중 임의의 하나 이상일 수 있거나 또는 이들을 포함할 수 있다.
디바이스의 각각의 IR 소스(6)는, 예를 들어, 하나 이상의 발광 다이오드(light emitting diode; LED) 또는 확산된 레이저 소스일 수 있거나 이들을 포함할 수 있다. 제스처 인식에서 사용하기 위한 것과 같이 고품질 깊이 측정을 제공하기 위해 TOF 원리와 함께 레이저 소스가 사용될 수 있다. 후술되는 바와 같이, IR 소스(들)(6)에 의한 조명은 이미징 프레임의 각각의 셔터 윈도우마다 조명이 온 또는 오프로 설정될 수 있도록 제어된다. 하나보다 많은 IR 소스(6)가 있는 실시예들에 있어서, 디바이스(1)는 각각의 소스를 독립적으로 턴 온 또는 턴 오프할 수 있다.
도 3 및 도 4는 적어도 하나의 실시예에 따른 안구 추적 디바이스의 동작 원리를 예시한다. 도 3은 사실상 개략적인 것으로 의도되어, 실제 구현에서 소스(6) 및 센서(7)의 실제 위치는 도 3에 도시된 위치와는 상이할 수 있다는 것을 유념한다. IR 소스(6)는 안경(2)의 렌즈들(34) 중 하나의 렌즈를 향한 각도로 IR 에너지를 전송한다. 전술한 바와 같이, 안경(2)은 표준 안경인 것으로 가정하여, 렌즈는 표준 시력측정 품질 유리 또는 표준 안경 렌즈에 적합한 임의의 다른 재료로 제조된다. 전송된 IR 에너지(31)의 부분(31A)(통상적으로, 유리를 사용하는 경우 전송된 IR 에너지의 약 5 %)은 가장 가까운 렌즈(34)의 내부 표면에서 반사되어 사용자의 안구(32)에 도달한다. 전송된 IR 에너지(31)의 나머지 부분(31B)(통상적으로, 유리를 사용하는 경우 전송된 IR 에너지의 약 95 %)은 렌즈를 통해 사용자의 환경으로 완전히 전송된다. 도 3에 도시된 바와 같이, 사용자의 안구에 도달하는 IR 에너지의 적어도 일부(31C)는 각막에서 렌즈의 내부 표면으로 다시 반사되고, 그 에너지의 일부(31D)가 또한 IR 카메라(도 3 및 도 4에는 완전히 도시되지 않음)의 센서(7)로 다시 반사된다. IR 센서(7)에 도달하는 IR 에너지(31D)는 검출되어 안구 위치를 결정하기 위해 CPU(22)에 의해 (또는 대안으로 외부 디바이스에 의해) 사용된다(즉, 동공 및/또는 홍채 식별을 사용함). 일단 안구 위치가 결정되면, 시선 추적을 위해 표준 방법을 사용하여 RGB 비디오 이미지 상에서 시선 위치를 식별하는 것이 가능하다. 이를 달성하는 한 가지 방법은, 다항식을 사용하여 동공 중심 또는 동공-반사광 벡터를 RGB 좌표에 매핑하는 것이다.
또한, 렌즈를 통해 사용자의 환경으로 전송된 IR 에너지(31B)의 적어도 일부분(31E)(도 4)은 도시된 바와 같이, 환경 내의 물체(41)에서 IR 센서(7)로 다시 반사된다. 부가적으로, 환경 내의 주변 IR 에너지(32)가 (예를 들어, 물체(41)로부터) 또한 IR 센서(7)에 도달할 수 있다. 그러나, IR 카메라(20)의 TOF 원리 및 고속 셔터는 안구 추적 디바이스(1)가 센서(7)에 도달하는 사용자의 안구에서 반사된 IR 에너지의 부분(31D)을 제외한 모든 IR 에너지를 필터링할 수 있게 한다. 이것은 디바이스(1)로부터 전송된 IR 에너지가 IR 카메라의 센서(7)로 되돌아오는 도중에 셔터(전자적일 수 있음)에 의해 차단되도록 IR 카메라(20)의 셔터 타이밍을 설정함으로써 수행될 수 있어서, 센서(7)의 매우 가까운 곳(예를 들어, 수 센티미터 이내)에서 물체로부터 반사되거나 발생된 IR만이 IR 카메라(20)에 의해 캡처된다; 즉, 충분히 짧은 TOF를 갖는 에너지만이 캡처되도록 허용된다. 이것은 IR 카메라(20)가 외부 물체로부터의 반사 없이, 안구의 이미지만을 캡처하는 것을 가능하게 한다.
또한, 각각의 이미징 프레임 내에 다수의 셔터 (시간) 윈도우를 사용함으로써, 디바이스(1)로부터 발생하지 않은 IR 광으로부터의 반사를 제거하는 것, 즉 주변 IR을 필터링하는 것이 가능하다. 이를 수행하는 한 가지 방법은, 바로 이전 또는 바로 다음 셔터 윈도우 동안 획득된 IR 조명된 이미지로부터 하나의 셔터 윈도우 동안 획득된 비조명된 이미지를 차감하는 것이다.
더욱이, 각각의 프레임에서 상이한 연속적인 셔터 윈도우 동안 상이한 IR 소스들이 활성이고, 이미징 프레임마다 하나보다 많은 조명된 셔터 윈도우를 사용함으로써, 디바이스(1)는 강한 반사광 및 동공 식별을 수행하거나 이를 가능하게 할 수있다(반사광 검출이 시선 안정화를 위해 사용될 수 있어 시선 결정의 정확성을 손상시키지 않으면서 머리 위에서 카메라 움직임을 허용할 수 있다). 도 5는 소스 1 및 소스 2 라는 이름의 두 개의 IR 소스들(6)을 사용하는 예시적인 IR 조명 방식에 대한 이러한 원리를 예시한다. 예시된 방식에서, IR 카메라는 이미징 프레임마다 세 개의 셔터 윈도우, 즉 셔터 윈도우 S0, S1 및 S2를 사용하고, 이 경우 IR 소스는 다음과 같이 셔터 윈도우에 동기화되도록 (예를 들어, CPU(22)에 의해) 제어된다: 셔터 윈도우 S0 동안, 소스 1은 온이고, 소스 2는 오프이다; 셔터 윈도우 S1 동안, 소스 2는 온이고, 소스 1은 오프이며; 셔터 윈도우 S2 동안, 두 개의 IR 소스들은 모두 오프이다. 소스 1 및 소스 2 각각은 안구의 상이한 위치로부터 별도의 정반사를 생성하고, 이는 정확한 반사광 및 동공 식별을 위해 사용될 수 있다. 따라서, 본 실시예에서, IR 카메라(20)는 각각의 셔터 윈도우에 하나씩, 이미징 프레임마다 세 개의 독립적인 이미지들을 실제로 캡처하고, 모두 본질적으로 시간상 동일한 순간에 대응한다(즉, 시선 추적을 목적으로 적어도 동일함). 프레임마다의 이러한 별도의 이미지는 메모리(23)에 별도로 저장되고, 전술한 바와 같은 프로세싱을 허용하기 위해 독립적으로 검색 가능하다.
도 6은 두 개의 조명 소스를 갖는 안구 추적 디바이스의 일 실시예를 도시한다. 제 2 IR 소스(6B)는, 예를 들어, 사용자의 코의 브릿지에 가까운 안경 프레임(3) 상에 또는 그 근처에 배치될 수 있다. 제 2 IR 소스(6B)는 와이어와 같은 커넥터(61)에 의해 디바이스의 하우징에 연결될 수 있으며, 이러한 와이어는 렌즈 프레임의 윤곽을 따르도록 강성 또는 반강성일 수 있거나, 임의의 다른 적절한 연결 메커니즘에 의한 것일 수 있다.
도 7은 일부 실시예들에 따른, 안구 추적 디바이스의 동작 프로세스의 예를 도시하는 흐름도이다. 단계(701)에서, 디바이스(1)는 IR 소스(6)로부터 IR 에너지를 전송한다. 단계(702)에서, 고속 셔터 IR 카메라(20)의 IR 센서(7)는 IR 에너지를 검출한다. 그 다음, IR 카메라(20)는 자신의 TOF에 기초하여, 검출된 IR로부터 IR의 외부 반사를 필터링하기 위해, 단계(703)에서 하나 이상의 게이팅 기능들을 적용한다. IR 카메라(20)는 또한 자신의 TOF에 기초하여, 검출된 IR로부터 주변 IR을 필터링하기 위해, 단계(704)에서 하나 이상의 게이팅 기능들을 적용한다. 그 다음, CPU(23)는 단계(705)에서 사용자의 안구로부터의 반사와 같은 IR 에너지의 근처 반사에만 기초하여, 사용자의 안구 위치를 결정한다.
전술한 기계 구현 동작은 소프트웨어 및/또는 펌웨어에 의해 프로그래밍된/구성된 프로그램 가능 회로에 의해 구현되거나, 전부 특수 목적 회로에 의해 구현되거나, 또는 이러한 형태의 조합에 의해 구현될 수 있다. 이러한 특수 목적 회로(있는 경우)는, 예를 들어, 하나 이상의 주문형 집적 회로(ASIC), 프로그램 가능 로직 디바이스(PLD), 필드 프로그램 가능 게이트 어레이(Field Programmable Gate Array; FPGA), 시스템 온 칩 시스템(system-on-a-chip system; SOCs) 등의 형태일 수 있다.
여기에서 소개된 기술을 구현하기 위한 소프트웨어 또는 펌웨어는 기계 판독 가능 저장 매체에 저장될 수 있으며, 하나 이상의 범용 또는 특수 목적 프로그램 가능 마이크로 프로세서에 의해 실행될 수 있다. 본 명세서에서 사용되는 용어로서 "기계 판독 가능 매체"는 기계에 의해 액세스 가능한 형태로 정보를 저장할 수 있는 임의의 메커니즘을 포함한다(기계는, 예를 들어, 컴퓨터, 네트워크 디바이스, 셀룰러 폰, 개인 휴대 정보 단말기(PDA), 제조 도구, 하나 이상의 프로세서가 있는 임의의 디바이스 등일 수 있다). 예를 들어, 기계 액세스 가능 매체는 기록 가능/기록 불가능 매체(예를 들어, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 자기 디스크 저장 매체, 광학 저장 매체, 플래시 메모리 디바이스 등) 등을 포함한다.
특정 실시예들의 예제
본 명세서에 소개된 기술의 특정 실시예들이 다음의 번호가 매겨진 예들에 요약되어 있다:
1. 안구 운동 추적 디바이스에 있어서, 사람의 안구에 가까운 위치로부터 주파수 대역 내의 에너지를 전송하기 위한 제 1 조명 소스로서, 전송된 에너지의 적어도 제 1 부분이 사람이 착용한 아이웨어의 렌즈에서 반사되고, 그 뒤에 사람의 안구에서 반사하게 하고, 전송된 에너지의 적어도 제 2 부분이 사람의 환경 내의 물체에서 반사하도록 렌즈를 통해 전송되게 하는 것인, 제 1 조명 소스; 전송된 에너지의 적어도 제 1 부분의 반사를 검출하고, 다른 에너지 및 전송된 에너지의 제 1 부분의 반사의 전파 시간에 기초하여, 상기 주파수 대역에서 전파 시간 검출기에 의해 검출된 다른 에너지와 전송된 에너지의 제 1 부분의 검출된 반사를 구별하기 위한 전파 시간 검출기; 및 사람의 안구의 위치를 결정하기 위해 전송된 에너지의 제 1 부분의 검출된 반사를 사용하도록 구성된 프로세서를 포함하는 안구 운동 추적 디바이스.
2. 실시예 1에 따른 안구 운동 추적 디바이스에 있어서, 안구 운동 추적 디바이스가 표준 안경에 분리 가능하게 장착될 수 있게 하는 패스너를 더 포함하는 안구 운동 추적 디바이스.
3. 실시예 1 또는 실시예 2에 따른 안구 운동 추적 디바이스에 있어서, 전송된 에너지는 적외선 에너지인 것인, 안구 운동 추적 디바이스.
4. 실시예 1 내지 실시예 3 중 어느 하나에 따른 안구 운동 추적 디바이스에 있어서, 사람의 시선 방향에 대응하는 장면의 이미지를 캡처하기 위한 인간 가시 스펙트럼 카메라를 더 포함하는 안구 운동 추적 디바이스.
5. 실시예 1 내지 실시예 4 중 어느 하나에 따른 안구 운동 추적 디바이스에 있어서, 제 2 조명 소스를 더 포함하는 안구 운동 추적 디바이스.
6. 실시예 1 내지 실시예 5 중 어느 하나에 따른 안구 운동 추적 디바이스에 있어서, 제 1 조명 소스는 이미징 프레임의 제 1 셔터 윈도우 동안 에너지를 전송하고, 이미징 프레임의 제 2 셔터 윈도우 동안 에너지를 전송하지 않도록 제어되며; 상기 프로세서는 또한, 제 1 셔터 윈도우 동안 전파 시간 검출기에 의해 검출된 에너지와 제 2 셔터 윈도우 동안 전파 시간 검출기에 의해 검출된 에너지 간의 차이에 기초하여, 환경 내의 주변 에너지를 식별하고, 안구의 시선 방향의 결정이 주변 에너지에 의해 영향을 받지 않도록 주변 에너지를 필터링하도록 구성되는 것인, 안구 운동 추적 디바이스.
7. 실시예 1 내지 실시예 6 중 어느 하나에 따른 안구 운동 추적 디바이스에 있어서, 제 1 셔터 윈도우 및 제 2 셔터 윈도우는 오버랩하지 않는 것인, 안구 운동 추적 디바이스.
8. 실시예 1 내지 실시예 7 중 어느 하나에 따른 안구 운동 추적 디바이스에 있어서, 이미징 프레임의 제 3 셔터 윈도우 동안 에너지를 전송하도록 제어되는 제 2 조명 소스를 더 포함하고, 제 1 조명 소스는 제 3 셔터 윈도우 동안 전송하지 않고, 제 2 조명 소스는 제 1 셔터 윈도우 동안 전송하지 않는 것인, 안구 운동 추적 디바이스.
9. 실시예 1 내지 실시예 8 중 어느 하나에 따른 안구 운동 추적 디바이스에 있어서, 상기 프로세서는 또한, 제 3 셔터 윈도우 동안 센서에 의해 검출된 에너지와 제 1 셔터 윈도우 동안 센서에 의해 검출된 에너지를 구별하고; 제 1 셔터 윈도우 동안 센서에 의해 검출된 에너지와 제 3 셔터 윈도우 동안 센서에 의해 검출된 에너지 간의 차이에 기초하여, 안구로부터의 각막 반사광을 식별하도록 구성되는 것인, 안구 운동 추적 디바이스.
10. 실시예 1 내지 실시예 9 중 어느 하나에 따른 안구 운동 추적 디바이스에 있어서, 프로세서는 각막 반사광에 기초하여 시선 안정화를 수행하도록 구성되는 것인, 안구 운동 추적 디바이스.
11. 사람의 안구 운동을 추적하는 방법에 있어서, 사람의 안구에 가깝게 위치한 제 1 소스로부터 에너지를 전송하는 단계로서, 전송된 에너지의 적어도 제 1 부분이 사람이 착용한 아이웨어의 렌즈의 내부 표면에서 반사되고, 전송된 에너지의 적어도 제 2 부분이 사람의 환경 내의 물체에서 반사하도록 렌즈를 통해 전송되게 하는 것인, 제 1 소스로부터 에너지를 전송하는 단계; 전송된 에너지의 제 1 부분 및 제 2 부분 모두의 반사를 센서에 의해 검출하는 단계; 전송된 에너지의 제 1 부분의 검출된 반사를 전송된 에너지의 제 2 부분의 검출된 반사와 구별하기 위해 전송된 에너지의 제 1 부분 및 제 2 부분의 대응하는 전파 시간을 사용하는 단계; 및 전송된 에너지의 제 2 부분의 검출된 반사는 사용하지 않고, 전송된 에너지의 제 1 부분의 검출된 반사를 사용하여 안구의 시선 방향을 결정하는 단계를 포함하는 안구 운동 추적 방법.
12. 실시예 11에 따른 방법에 있어서, 상기 전송하는 단계 및 상기 검출하는 단계는, 사람이 착용하는 아이웨어에 제거 가능하게 장착된 장치에 의해 수행되는 것인, 안구 운동 추적 방법.
13. 실시예 11 또는 실시예 12에 따른 방법에 있어서, 제 1 소스로부터 전송된 에너지는 전자기 스펙트럼의 적외선 부분의 전자기 에너지를 포함하고, 전자기 스펙트럼의 인간 가시 부분의 에너지를 포함하지 않는 것인, 안구 운동 추적 방법.
14. 실시예 11 내지 실시예 13 중 어느 하나에 따른 방법에 있어서, 아이웨어는 종래의 처방 안경을 포함하고, 소스 및 검출기는 아이웨어에 제거 가능하게 장착되는 것인, 안구 운동 추적 방법.
15. 실시예 11 내지 실시예 14 중 어느 하나에 따른 방법에 있어서, 전송된 에너지는 적외선 광을 포함하고, 전자기 스펙트럼의 인간 가시 부분의 에너지를 포함하지 않는 것인, 안구 운동 추적 방법.
16. 실시예 11 내지 실시예 15 중 어느 하나에 따른 방법에 있어서, 상기 제 1 소스로부터 에너지를 전송하는 단계는, 복수의 순차적 이미징 프레임들 각각에서 제 1 셔터 윈도우 동안 제 1 소스로부터 에너지를 전송하는 단계를 포함하고, 제 1 소스는 복수의 순차적 이미징 프레임들 각각에서 제 2 셔터 윈도우 동안 전송하지 않으며; 상기 방법은, 복수의 이미징 프레임들 각각에서 제 1 셔터 윈도우 동안 센서에 의해 검출된 에너지와 제 2 셔터 윈도우 동안 센서에 의해 검출된 에너지 간의 차이에 기초하여, 환경 내의 주변 에너지를 식별하는 단계; 및 상기 안구의 시선 방향을 결정하는 단계가 주변 에너지에 의해 영향을 받지 않도록 주변 에너지를 필터링하는 단계를 더 포함하는 안구 운동 추적 방법.
17. 실시예 11 내지 실시예 16 중 어느 하나에 따른 방법에 있어서, 제 1 셔터 윈도우 및 제 2 셔터 윈도우는 오버랩하지 않는 것인, 안구 운동 추적 방법.
18. 실시예 11 내지 실시예 17 중 어느 하나에 따른 방법에 있어서, 복수의 순차적 이미징 프레임들 각각에서 제 3 셔터 윈도우 동안 제 2 소스로부터 에너지를 전송하는 단계를 더 포함하고; 복수의 순차적 이미징 프레임들 각각에서, 제 1 소스는 제 3 셔터 윈도우 동안 전송하지 않고, 제 2 소스는 제 1 셔터 윈도우 동안 전송하지 않으며; 상기 방법은, 복수의 순차적 이미징 프레임들 중 적어도 하나의 이미징 프레임에서, 제 3 셔터 윈도우 동안 센서에 의해 검출된 에너지와 제 1 셔터 윈도우 동안 센서에 의해 검출된 에너지를 구별하는 단계; 및 복수의 순차적 이미징 프레임들 중 상기 적어도 하나의 이미징 프레임에서, 제 1 셔터 윈도우 동안 센서에 의해 검출된 에너지와 제 3 셔터 윈도우 동안 센서에 의해 검출된 에너지 간의 차이에 기초하여, 안구로부터의 각막 반사광을 식별하는 단계를 더 포함하고, 상기 안구의 시선 방향을 결정하는 단계는, 각막 반사광을 사용하는 단계를 포함하는 것인, 안구 운동 추적 방법.
19. 안구 운동 추적 방법에 있어서, 사람이 착용한 안경에 장착된 제 1 소스로부터 적외선 광만을 전송하는 단계로서, 전송된 적외선 광의 적어도 제 1 부분이 안경의 렌즈의 내부 표면에서 반사되고, 그 뒤에 사람의 안구에서 반사되며, 전송된 적외선 광의 적어도 제 2 부분이 사람이 위치하는 환경 내의 물체에서 반사하도록 렌즈를 통해 전송되게 하는 것인, 적외선 광만을 전송하는 단계; 사람이 착용한 안경에 장착된 센서에 의해, 사람의 안구에서 반사된 전송된 적외선 광의 제 1 부분 및 환경 내의 물체에서 반사된 전송된 적외선 광의 제 2 부분 모두의 반사를 검출하는 단계; 전송된 광의 제 1 부분 및 제 2 부분의 검출된 반사의 대응하는 전파 시간을 결정하는 단계; 전송된 적외선 광의 제 1 부분 및 제 2 부분의 검출된 반사의 전파 시간에 기초하여, 전송된 적외선 광의 제 2 부분의 검출된 반사를 필터링하는 단계; 센서에 의해 검출된 광으로부터 주변 적외선 광을 필터링하는 단계; 및 전송된 적외선 광의 제 1 부분의 검출된 반사를 이용하여, 센서의 필터링된 출력에 기초하여 안구의 위치를 추적하는 단계를 포함하는 안구 운동 추적 방법.
20. 실시예 19에 따른 방법에 있어서, 상기 제 1 소스로부터 적외선 광을 전송하는 단계는, 복수의 순차적 이미징 프레임들 각각에서 제 1 셔터 윈도우 동안 제 1 소스로부터 적외선 광을 전송하는 단계를 포함하고; 제 1 소스는 복수의 순차적 이미지 프레임들 각각에서 제 2 셔터 윈도우 동안 전송하지 않으며, 제 1 셔터 윈도우 및 제 2 셔터 윈도우는 오버랩하지 않는 것인, 안구 운동 추적 방법.
21. 실시예 19 또는 실시예 20에 따른 방법에 있어서, 복수의 순차적 이미징 프레임들 각각에서 제 3 셔터 윈도우 동안 제 2 소스로부터 적외선 광을 전송하는 단계로서, 복수의 순차적 이미징 프레임들 각각에서, 제 1 소스는 제 3 셔터 윈도우 동안 전송하지 않고, 제 2 소스는 제 1 셔터 윈도우 동안 전송하지 않는 것인, 제 2 소스로부터 적외선 광을 전송하는 단계; 복수의 순차적 이미징 프레임들 각각에서, 제 1 셔터 윈도우 동안 센서에 의해 검출된 에너지와 제 2 셔터 윈도우 동안 센서에 의해 검출된 에너지 간의 차이에 기초하여, 환경 내의 주변 에너지를 식별하는 단계; 복수의 순차적 이미징 프레임들 중 적어도 하나의 이미징 프레임에서, 제 3 셔터 윈도우 동안 센서에 의해 검출된 에너지와 제 1 셔터 윈도우 동안 센서에 의해 검출된 에너지를 구별하는 단계; 및 복수의 이미징 프레임들 중 상기 적어도 하나의 이미징 프레임에서, 제 1 셔터 윈도우 동안 센서에 의해 검출된 에너지와 제 3 셔터 윈도우 동안 센서에 의해 검출된 에너지 간의 차이에 기초하여, 안구로부터의 각막 반사광을 식별하는 단계를 더 포함하고, 상기 안구의 위치를 추적하는 단계는, 각막 반사광에 기초하여 시선 안정화를 수행하는 단계를 포함하는 것인, 안구 운동 추적 방법.
22. 사람의 안구 운동을 추적하는 디바이스에 있어서, 사람의 안구 가까이에 위치한 제 1 소스로부터 에너지를 전송하는 수단으로서, 전송된 에너지의 적어도 제 1 부분이 사람이 착용한 안경의 렌즈의 내부 표면에서 반사되고 전송된 에너지의 적어도 제 2 부분이 사람의 환경 내의 물체에서 반사하도록 렌즈를 통해 전송되게 하는 것인, 제 1 소스로부터 에너지를 전송하는 수단; 전송된 에너지의 제 1 부분 및 제 2 부분 모두의 반사를 센서에 의해 검출하는 수단; 전송된 에너지의 제 1 부분의 검출된 반사를 전송된 에너지의 제 2 부분의 검출된 반사와 구별하기 위해 전송된 에너지의 제 1 부분 및 제 2 부분의 대응하는 전파 시간을 사용하는 수단; 및 전송된 에너지의 제 2 부분의 검출된 반사는 사용하지 않고, 전송된 에너지의 제 1 부분의 검출된 반사를 사용하여 안구의 시선 방향을 결정하는 수단을 포함하는 안구 운동 추적 디바이스.
23. 실시예 22에 따른 디바이스에 있어서, 디바이스는 사람이 착용한 안경에 제거 가능하게 장착 가능한 것인, 안구 운동 추적 디바이스.
24. 실시예 22 또는 실시예 23에 따른 디바이스에 있어서, 제 1 소스로부터 전송된 에너지는 전자기 스펙트럼의 적외선 부분의 전자기 에너지를 포함하고, 전자기 스펙트럼의 인간 가시 부분의 에너지를 포함하지 않는 것인, 안구 운동 추적 디바이스.
25. 실시예 22 내지 실시예 24 중 어느 하나에 따른 디바이스에 있어서, 아이웨어는 종래의 처방 안경을 포함하고, 소스 및 검출기는 아이웨어에 제거 가능하게 장착되는 것인, 안구 운동 추적 디바이스.
26. 실시예 22 내지 실시예 25 중 어느 하나에 따른 디바이스에 있어서, 전송된 에너지는 적외선 광을 포함하고, 전자기 스펙트럼의 인간 가시 부분의 에너지를 포함하지 않는 것인, 안구 운동 추적 디바이스.
27. 실시예 22 내지 실시예 26 중 어느 하나에 따른 디바이스에 있어서, 상기 제 1 소스로부터 에너지를 전송하는 수단은, 복수의 순차적 이미징 프레임들 각각에서 제 1 셔터 윈도우 동안 제 1 소스로부터 에너지를 전송하는 수단을 포함하고; 제 1 소스는 복수의 순차적 이미징 프레임들 각각에서 제 2 셔터 윈도우 동안 전송하지 않으며; 상기 디바이스는, 복수의 이미징 프레임들 각각에서 제 1 셔터 윈도우 동안 센서에 의해 검출된 에너지와 제 2 셔터 윈도우 동안 센서에 의해 검출된 에너지 간의 차이에 기초하여, 환경 내의 주변 에너지를 식별하는 수단; 및 상기 안구의 시선 방향을 결정하는 수단이 주변 에너지에 의해 영향을 받지 않도록 주변 에너지를 필터링하는 수단을 더 포함하는 안구 운동 추적 디바이스.
28. 실시예 22 내지 실시예 27 중 어느 하나에 따른 디바이스에 있어서, 제 1 셔터 윈도우 및 제 2 셔터 윈도우는 오버랩하지 않는 것인, 안구 운동 추적 디바이스.
29. 실시예 22 내지 실시예 28 중 어느 하나에 따른 디바이스에 있어서, 복수의 순차적 이미징 프레임들 각각에서 제 3 셔터 윈도우 동안 제 2 소스로부터 에너지를 전송하는 수단을 더 포함하고; 복수의 순차적 이미징 프레임들 각각에서, 제 1 소스는 제 3 셔터 윈도우 동안 전송하지 않고, 제 2 소스는 제 1 셔터 윈도우 동안 전송하지 않으며; 상기 디바이스는, 복수의 순차적 이미징 프레임들 중 적어도 하나의 이미징 프레임에서, 제 3 셔터 윈도우 동안 센서에 의해 검출된 에너지와 제 1 셔터 윈도우 동안 센서에 의해 검출된 에너지를 구별하는 수단; 및 복수의 이미징 프레임들 중 상기 적어도 하나의 이미징 프레임에서, 제 1 셔터 윈도우 동안 센서에 의해 검출된 에너지와 제 3 셔터 윈도우 동안 센서에 의해 검출된 에너지 간의 차이에 기초하여, 안구로부터의 각막 반사광을 식별하는 수단을 더 포함하고, 상기 안구의 시선 방향을 결정하는 수단은, 각막 반사광을 사용하는 수단을 포함하는 것인, 안구 운동 추적 디바이스.
30. 안구 운동 추적 디바이스에 있어서, 사람이 착용한 안경에 장착된 제 1 소스로부터 적외선 광만을 전송하는 수단으로서, 전송된 적외선 광의 적어도 제 1 부분이 안경의 렌즈의 내부 표면에서 반사되고, 그 뒤에 사람의 안구에서 반사되며, 전송된 적외선 광의 적어도 제 2 부분이 사람이 위치하는 환경 내의 물체에서 반사하도록 렌즈를 통해 전송되게 하는 것인, 제 1 소스로부터 적외선 광만을 전송하는 수단; 사람이 착용한 안경에 장착된 센서에 의해, 사람의 안구에서 반사된 전송된 적외선 광의 제 1 부분 및 환경 내의 물체에서 반사된 전송된 적외선 광의 제 2 부분 모두의 반사를 검출하는 수단; 전송된 광의 제 1 부분 및 제 2 부분의 검출된 반사의 대응하는 전파 시간을 결정하는 수단; 전송된 적외선 광의 제 1 부분 및 제 2 부분의 검출된 반사의 전파 시간에 기초하여, 전송된 적외선 광의 제 2 부분의 검출된 반사를 필터링하는 수단; 센서에 의해 검출된 광으로부터 주변 적외선 광을 필터링하는 수단; 및 전송된 적외선 광의 제 1 부분의 검출된 반사를 사용하여, 센서의 필터링된 출력에 기초하여 안구의 위치를 추적하는 수단을 포함하는 안구 운동 추적 디바이스.
31. 실시예 30에 따른 디바이스에 있어서, 상기 제 1 소스로부터 적외선 광을 전송하는 수단은, 복수의 순차적 이미징 프레임들 각각에서 제 1 셔터 윈도우 동안 제 1 소스로부터 적외선 광을 전송하는 수단을 포함하고; 제 1 소스는 복수의 순차적 이미지 프레임들 각각에서 제 2 셔터 윈도우 동안 전송하지 않으며, 제 1 셔터 윈도우 및 제 2 셔터 윈도우는 오버랩하지 않는 것인, 안구 운동 추적 디바이스.
32. 실시예 30 또는 실시예 31에 따른 디바이스에 있어서, 복수의 순차적 이미징 프레임들 각각에서 제 3 셔터 윈도우 동안 제 2 소스로부터 적외선 광을 전송하는 수단으로서, 복수의 순차적 이미징 프레임들 각각에서, 제 1 소스는 제 3 셔터 윈도우 동안 전송하지 않고, 제 2 소스는 제 1 셔터 윈도우 동안 전송하지 않는 것인, 제 2 소스로부터 적외선 광을 전송하는 수단; 복수의 순차적 이미징 프레임들 각각에서, 제 1 셔터 윈도우 동안 센서에 의해 검출된 에너지와 제 2 셔터 윈도우 동안 센서에 의해 검출된 에너지 간의 차이에 기초하여, 환경 내의 주변 에너지를 식별하는 수단; 복수의 순차적 이미징 프레임들 중 적어도 하나의 이미징 프레임에서, 제 3 셔터 윈도우 동안 센서에 의해 검출된 에너지와 제 1 셔터 윈도우 동안 센서에 의해 검출된 에너지를 구별하는 수단; 및 복수의 이미징 프레임들 중 상기 적어도 하나의 이미징 프레임에서, 제 1 셔터 윈도우 동안 센서에 의해 검출된 에너지와 제 3 셔터 윈도우 동안 센서에 의해 검출된 에너지 간의 차이에 기초하여, 안구로부터의 각막 반사광을 식별하는 수단을 더 포함하고, 상기 안구의 위치를 추적하는 수단은, 시선 안정화를 수행하기 위해 각막 반사광을 사용하는 수단을 포함하는 것인, 안구 운동 추적 디바이스.
상술한 특징들 및 기능들 중 임의의 것 또는 모든 것들이, 위에서 언급된 것과는 다른 경우이거나 임의의 이러한 실시예들이 그 기능 또는 구조에 의해 양립할 수 없는 경우를 제외하면, 서로 결합될 수 있고, 이는 당업계의 통상의 지식을 가진자에게 명백할 것이다. 물리적 가능성에 반하지 않는 한, (i) 본 명세서에 설명된 방법/단계는 임의의 순서 및/또는 임의의 조합으로 수행될 수 있으며, (ii) 각 실시예의 컴포넌트는 임의의 방식으로 조합될 수 있음을 알 수 있다.
주제가 구조적 특징 및/또는 행위에 특정한 언어로 설명되어 있지만, 첨부된 청구항들에 정의된 주제는 반드시 상술한 특정한 특징 또는 행위로 제한되는 것이 아님이 이해될 것이다. 오히려, 상술한 특정한 특징 및 행위는 청구항을 구현하는 예로서 개시되고 다른 동등한 특징 및 행위는 청구항들의 범위 내에 있는 것으로 의도된다.

Claims (14)

  1. 안구 추적(eye tracking) 디바이스에 의해 수행되는 안구 운동(eye movement)을 추적하는 방법에 있어서,
    전송된 적외선 광의 적어도 제1 부분이, 사람이 착용한 안경의 렌즈의 내부 표면에서 반사되고 후속적으로 상기 사람의 안구에서 반사되도록, 그리고 상기 전송된 적외선 광의 적어도 제2 부분이 상기 렌즈를 통해 전송되어, 상기 사람이 위치된 환경 내의 물체에서 반사되도록, 상기 사람이 착용한 상기 안경 상에 장착된 제1 소스로부터 적외선 광만을 전송하는 단계;
    상기 사람이 착용한 상기 안경 상에 장착된 센서에 의해, 상기 사람의 안구에서 반사된 상기 전송된 적외선 광의 제1 부분과 상기 환경 내의 물체에서 반사된 상기 전송된 적외선 광의 제2 부분 둘 다의 반사를 검출하는 단계;
    상기 전송된 적외선 광의 제1 부분 및 제2 부분의 검출된 반사의 대응하는 전파 시간(time of flight)을 결정하는 단계;
    상기 전송된 적외선 광의 제1 부분 및 제2 부분의 검출된 반사의 전파 시간에 기초하여 상기 전송된 적외선 광의 제2 부분의 검출된 반사를 필터링하는 단계;
    상기 센서에 의해 검출된 광으로부터 주변 적외선 광을 필터링하는 단계; 및
    상기 전송된 적외선 광의 제1 부분의 검출된 반사를 사용함으로써, 상기 센서의 필터링된 출력에 기초하여 상기 안구의 위치를 추적하는 단계
    를 포함하는, 안구 운동을 추적하는 방법.
  2. 제1항에 있어서, 상기 제1 소스로부터 적외선 광만을 전송하는 단계는, 복수의 순차적 이미징 프레임 각각 내의 제1 셔터 윈도우 동안 상기 제1 소스로부터 적외선 광을 전송하는 단계를 포함하고;
    상기 제1 소스는 상기 복수의 순차적 이미징 프레임 각각 내의 제2 셔터 윈도우 동안 전송하지 않고, 상기 제1 셔터 윈도우와 상기 제2 셔터 윈도우는 오버랩하지 않으며;
    상기 방법은,
    상기 복수의 순차적 이미징 프레임 각각 내의 제3 셔터 윈도우 동안 제2 소스로부터 적외선 광을 전송하는 단계 - 상기 복수의 순차적 이미징 프레임 각각 내에서, 상기 제1 소스는 상기 제3 셔터 윈도우 동안 전송하지 않고 상기 제2 소스는 상기 제1 셔터 윈도우 동안 전송하지 않음 - ;
    상기 복수의 순차적 이미징 프레임 각각 내에서, 상기 제1 셔터 윈도우 동안 상기 센서에 의해 검출된 에너지와 상기 제2 셔터 윈도우 동안 상기 센서에 의해 검출된 에너지 간의 차에 기초하여 상기 환경 내의 주변 에너지를 식별하는 단계;
    상기 복수의 순차적 이미징 프레임 중 적어도 하나 내에서, 상기 제1 셔터 윈도우 동안 상기 센서에 의해 검출된 에너지를 상기 제3 셔터 윈도우 동안 상기 센서에 의해 검출된 에너지로부터 구별하는 단계; 및
    상기 복수의 순차적 이미징 프레임 중 상기 적어도 하나 내에서, 상기 제1 셔터 윈도우 동안 상기 센서에 의해 검출된 에너지와 상기 제3 셔터 윈도우 동안 상기 센서에 의해 검출된 에너지 간의 차에 기초하여 상기 안구로부터의 각막 반사광(corneal glint)을 식별하는 단계 - 상기 안구의 위치를 추적하는 단계는, 상기 각막 반사광을 사용하여 시선 안정화를 수행하는 단계를 포함함 -
    를 더 포함하는, 안구 운동을 추적하는 방법.
  3. 제1항에 있어서,
    인간 가시 스펙트럼 카메라를 사용하여, 상기 사람의 시선 방향에 대응하는 장면의 이미지를 캡처하는 단계
    를 더 포함하는, 안구 운동을 추적하는 방법.
  4. 제1항에 있어서,
    안경 상에 장착된 제2 소스로부터 광을 전송하는 단계
    를 더 포함하는, 안구 운동을 추적하는 방법.
  5. 제1항에 있어서, 상기 전송하는 단계는, 이미징 프레임의 제1 셔터 윈도우 동안 에너지를 전송하고 상기 이미징 프레임의 제2 셔터 윈도우 동안 에너지를 전송하지 않도록 상기 제1 소스를 제어하는 단계를 포함하며;
    상기 센서에 의해 검출된 광으로부터 주변 적외선 광을 필터링하는 단계는, 상기 제1 셔터 윈도우 동안 전파 시간 검출기에 의해 검출된 적외선 광과 상기 제2 셔터 윈도우 동안 상기 전파 시간 검출기에 의해 검출된 적외선 광 간의 차에 기초하여 상기 환경 내의 주변 적외선 광을 식별하는 단계를 포함하는, 안구 운동을 추적하는 방법.
  6. 제5항에 있어서, 상기 제1 셔터 윈도우와 상기 제2 셔터 윈도우는 오버랩하지 않는, 안구 운동을 추적하는 방법.
  7. 제5항에 있어서,
    상기 이미징 프레임의 제3 셔터 윈도우 동안 에너지를 전송하도록 제2 소스를 제어하는 단계
    를 더 포함하며, 상기 제1 소스는 상기 제3 셔터 윈도우 동안 전송하지 않고 상기 제2 소스는 상기 제1 셔터 윈도우 동안 전송하지 않는, 안구 운동을 추적하는 방법.
  8. 제7항에 있어서,
    상기 제1 셔터 윈도우 동안 상기 센서에 의해 검출된 에너지를 상기 제3 셔터 윈도우 동안 상기 센서에 의해 검출된 에너지로부터 구별하는 단계; 및
    상기 제1 셔터 윈도우 동안 상기 센서에 의해 검출된 에너지와 상기 제3 셔터 윈도우 동안 상기 센서에 의해 검출된 에너지 간의 차에 기초하여 상기 안구로부터의 각막 반사광을 식별하는 단계
    를 더 포함하는, 안구 운동을 추적하는 방법.
  9. 제1항에 있어서,
    각막 반사광을 검출하는 단계; 및
    상기 검출된 각막 반사광에 기초하여 시선 안정화를 수행하는 단계
    를 더 포함하는, 안구 운동을 추적하는 방법.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
KR1020177016193A 2014-11-14 2015-11-10 아이웨어 장착 가능 안구 추적 디바이스 KR102456047B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227035683A KR102561991B1 (ko) 2014-11-14 2015-11-10 아이웨어 장착 가능 안구 추적 디바이스

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201414542455A 2014-11-14 2014-11-14
US14/542,455 2014-11-14
US14/610,984 2015-01-30
US14/610,984 US9568603B2 (en) 2014-11-14 2015-01-30 Eyewear-mountable eye tracking device
PCT/US2015/059803 WO2016077258A1 (en) 2014-11-14 2015-11-10 Eyewear-mountable eye tracking device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227035683A Division KR102561991B1 (ko) 2014-11-14 2015-11-10 아이웨어 장착 가능 안구 추적 디바이스

Publications (2)

Publication Number Publication Date
KR20170083132A KR20170083132A (ko) 2017-07-17
KR102456047B1 true KR102456047B1 (ko) 2022-10-17

Family

ID=54608957

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177016193A KR102456047B1 (ko) 2014-11-14 2015-11-10 아이웨어 장착 가능 안구 추적 디바이스
KR1020227035683A KR102561991B1 (ko) 2014-11-14 2015-11-10 아이웨어 장착 가능 안구 추적 디바이스

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020227035683A KR102561991B1 (ko) 2014-11-14 2015-11-10 아이웨어 장착 가능 안구 추적 디바이스

Country Status (5)

Country Link
US (2) US9568603B2 (ko)
EP (1) EP3218785A1 (ko)
KR (2) KR102456047B1 (ko)
CN (1) CN107111360A (ko)
WO (1) WO2016077258A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017096241A1 (en) * 2015-12-02 2017-06-08 Augmenteum, Inc. System for and method of projecting augmentation imagery in a head-mounted display
CN105528577B (zh) * 2015-12-04 2019-02-12 深圳大学 基于智能眼镜的识别方法
US10775605B2 (en) * 2016-06-16 2020-09-15 Intel Corporation Combined biometrics capture system with ambient free IR
US10496882B2 (en) * 2016-08-22 2019-12-03 Lenovo (Singapore) Pte. Ltd. Coded ocular lens for identification
US10627494B2 (en) * 2016-09-16 2020-04-21 Analog Devices, Inc. Interference handling in time-of-flight depth sensing
JP7018634B2 (ja) * 2016-10-11 2022-02-14 東海光学株式会社 眼球運動測定装置及び眼球運動解析システム
US10554958B2 (en) * 2017-03-13 2020-02-04 Microsoft Technology Licensing, Llc Systems and methods for interleaving multiple active camera frames
KR20190002878A (ko) 2017-06-30 2019-01-09 현대자동차주식회사 차량용 ce 모듈
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US10616470B2 (en) 2017-08-31 2020-04-07 Snap Inc. Wearable electronic device with hardware secured camera
US11567318B1 (en) * 2017-09-25 2023-01-31 Meta Platforms Technologies, Llc Determining features of a user's eye from depth mapping of the user's eye via indirect time of flight
FI20175960A1 (en) * 2017-10-30 2019-05-01 Univ Of Eastern Finland Procedure and apparatus for gaze detection
US11138301B1 (en) * 2017-11-20 2021-10-05 Snap Inc. Eye scanner for user identification and security in an eyewear device
CN108089326B (zh) * 2018-02-01 2023-12-26 北京七鑫易维信息技术有限公司 一种适配于与眼镜使用的装置
CN110338750B (zh) * 2019-07-08 2022-04-05 北京七鑫易维信息技术有限公司 一种眼球追踪设备
US11327318B2 (en) * 2019-08-13 2022-05-10 Htc Corporation Head-mounted display
CN110898404B (zh) * 2019-12-19 2021-02-26 北京联合大学 深度视觉防撞游泳眼镜
EP4202531A4 (en) * 2020-11-24 2024-03-20 Samsung Electronics Co Ltd WEARABLE ELECTRONIC DEVICE WITH AUGMENTED REALITY INCLUDING A CAMERA
EP4281829A1 (en) * 2020-12-21 2023-11-29 Viewpointsystem GmbH Eye tracking kit applicable to eye glasses

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003507081A (ja) 1998-04-27 2003-02-25 ミン ライ 光学トラッキング装置
KR102205374B1 (ko) 2012-12-06 2021-01-21 아이플루언스, 인크. 아이 트래킹 웨어러블 디바이스들 및 사용을 위한 방법들

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4145122A (en) 1977-05-31 1979-03-20 Colorado Seminary Method and apparatus for monitoring the position of the eye
US5481622A (en) 1994-03-01 1996-01-02 Rensselaer Polytechnic Institute Eye tracking apparatus and method employing grayscale threshold values
WO1997033435A1 (en) 1996-03-08 1997-09-12 Kiwisoft Programs Limited Electronic camera with fast liquid crystal shutter
ES2401132T3 (es) 2000-10-07 2013-04-17 Metaio Gmbh Dispositivo y procedimiento para la determinación de la orientación de un ojo
US6637883B1 (en) 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
JP4604190B2 (ja) 2004-02-17 2010-12-22 国立大学法人静岡大学 距離イメージセンサを用いた視線検出装置
JP5295511B2 (ja) 2007-03-23 2013-09-18 富士フイルム株式会社 測距装置及び測距方法
US8330820B2 (en) 2008-12-05 2012-12-11 Bae Systems Information And Electronic Systems Integration Inc. Fast electrostatic shutter and method of achieving offset compensation in infrared video imagers using fast shutters
US8717469B2 (en) 2010-02-03 2014-05-06 Microsoft Corporation Fast gating photosurface
US8888287B2 (en) 2010-12-13 2014-11-18 Microsoft Corporation Human-computer interface system having a 3D gaze tracker
EP2656602A1 (en) 2010-12-21 2013-10-30 Zamir Recognition Systems Ltd. A visible light and ir hybrid digital camera
US8510166B2 (en) 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US8913789B1 (en) * 2012-01-06 2014-12-16 Google Inc. Input methods and systems for eye positioning using plural glints
US9851245B2 (en) 2012-11-06 2017-12-26 Microsoft Technology Licensing, Llc Accumulating charge from multiple imaging exposure periods
GB2511868B (en) * 2013-03-15 2020-07-15 Tobii Ab Eye/gaze tracker and method of tracking the position of an eye and/or a gaze point of a subject
US20140313308A1 (en) * 2013-04-19 2014-10-23 Samsung Electronics Co., Ltd. Apparatus and method for tracking gaze based on camera array
EP2823751B1 (en) * 2013-07-09 2023-07-05 Smart Eye AB Eye gaze imaging
KR102198852B1 (ko) * 2014-03-24 2021-01-05 삼성전자 주식회사 홍채 인식 장치 및 이를 포함하는 모바일 장치
US9952323B2 (en) * 2014-04-07 2018-04-24 Samsung Electronics Co., Ltd. High resolution, high frame rate, low power image sensor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003507081A (ja) 1998-04-27 2003-02-25 ミン ライ 光学トラッキング装置
KR102205374B1 (ko) 2012-12-06 2021-01-21 아이플루언스, 인크. 아이 트래킹 웨어러블 디바이스들 및 사용을 위한 방법들

Also Published As

Publication number Publication date
KR20170083132A (ko) 2017-07-17
KR102561991B1 (ko) 2023-07-31
US10969862B2 (en) 2021-04-06
CN107111360A (zh) 2017-08-29
US20170123065A1 (en) 2017-05-04
KR20220142549A (ko) 2022-10-21
US9568603B2 (en) 2017-02-14
WO2016077258A1 (en) 2016-05-19
US20160139265A1 (en) 2016-05-19
EP3218785A1 (en) 2017-09-20

Similar Documents

Publication Publication Date Title
KR102456047B1 (ko) 아이웨어 장착 가능 안구 추적 디바이스
EP3453316B1 (en) Eye tracking using eyeball center position
CN105579884B (zh) 用于确定人的两个眼睛的瞳孔中间点的方法和眼镜
US9870050B2 (en) Interactive projection display
WO2016184107A1 (zh) 用于视线焦点定位的可穿戴设备及视线焦点定位方法
EP3371781B1 (en) Systems and methods for generating and using three-dimensional images
US10278576B2 (en) Behind-eye monitoring using natural reflection of lenses
US10775647B2 (en) Systems and methods for obtaining eyewear information
CN107562179B (zh) 一种用于眼球追踪和虹膜识别的一体化镜杯
WO2018154272A1 (en) Systems and methods for obtaining information about the face and eyes of a subject
KR20130059827A (ko) 동공인식을 이용한 안경 카메라
CN109964230B (zh) 用于眼睛度量采集的方法和设备
US20230398432A1 (en) Asynchronous dynamic vision sensor led ai tracking system and method
US20230398433A1 (en) Hybrid pixel dynamic vision sensor tracking using ir and ambient light (or depth sensor)
US20230400915A1 (en) Dynamic vision sensor based eye and/or facial tracking
US20230400911A1 (en) Dynamic vision sensor tracking based on light source occlusion
US20230401723A1 (en) Synchronous dynamic vision sensor led ai tracking system and method
JPWO2015170663A1 (ja) 眼球検出装置及び眼鏡型電子機器
WO2023239456A1 (en) Deployment of dynamic vision sensor hybrid element in method for tracking a controller and simultaneous body tracking, slam or safety shutter
JP2022113973A (ja) 表示方法、表示装置、及び、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant