KR102669768B1 - 동공 검출 및 시선 추적을 위한 이벤트 카메라 시스템 - Google Patents

동공 검출 및 시선 추적을 위한 이벤트 카메라 시스템 Download PDF

Info

Publication number
KR102669768B1
KR102669768B1 KR1020237024146A KR20237024146A KR102669768B1 KR 102669768 B1 KR102669768 B1 KR 102669768B1 KR 1020237024146 A KR1020237024146 A KR 1020237024146A KR 20237024146 A KR20237024146 A KR 20237024146A KR 102669768 B1 KR102669768 B1 KR 102669768B1
Authority
KR
South Korea
Prior art keywords
light
pulse
light source
eye
controller
Prior art date
Application number
KR1020237024146A
Other languages
English (en)
Other versions
KR20230121847A (ko
Inventor
케빈 보일
로버트 콘라드
니티시 패드마나반
Original Assignee
진 랩스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 진 랩스 인코포레이티드 filed Critical 진 랩스 인코포레이티드
Priority to KR1020247017063A priority Critical patent/KR20240093875A/ko
Publication of KR20230121847A publication Critical patent/KR20230121847A/ko
Application granted granted Critical
Publication of KR102669768B1 publication Critical patent/KR102669768B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

동공 검출을 위한 이벤트 카메라 시스템은 카메라 어셈블리와 제어기를 포함할 수 있으며, 하나 이상의 축외 광원을 포함할 수도 있다. 카메라 어셈블리는 하나 이상의 적외선(IR) 광원과 이벤트 카메라를 포함할 수 있다. 하나 이상의 IR 광원은 광 경로를 따라 아이박스를 향해 IR 광 펄스를 방출하도록 구성된다. IR 광은 아이박스의 눈에서 반사되고 반사된 광은 광 경로를 따라 이벤트 카메라를 향해 다시 전파되어 검출된다. 제어기는 이벤트 카메라에서 출력되는 데이터를 사용하여 눈의 방향을 결정하도록 구성된다.

Description

동공 검출 및 시선 추적을 위한 이벤트 카메라 시스템
본 출원은 2020년 12월 17일에 출원된 미국 가출원 제63/126,750호를 우선권으로 주장하며, 그 내용은 본 명세서에 전부 참조로 통합된다.
본 개시는 일반적으로 시선 추적(eye tracking)에 관한 것이며, 보다 구체적으로는 동공 검출 및 시선 추적을 위한 이벤트 카메라 시스템의 사용에 관한 것이다.
시선 추적 시스템은 사용자의 3D 시선, 또는 스크린 또는 일반적인 시청 거리와 같은 표면 또는 평면에 대한 시선의 2D 투영을 결정하기 위해 눈의 이미지를 캡처한다. 이는 컴퓨터 시각으로 눈 이미지를 동공, 공막, 홍채, 눈꺼풀, 눈동자 등 다양한 부분으로 세분화하여 그 특징을 보정 데이터를 기반으로 사용자의 시선을 계산하거나 동일한 목적으로 눈 모델을 생성하는 데 사용할 수 있는 파라미터로 내보내거나, 또는 라벨링된 눈 이미지 데이터베이스를 기반으로 이미지에서 직접 세분화 및/또는 사용자의 시선을 추론하는 신경망 또는 기타 머신 러닝 접근 방식에 눈 이미지를 직접 공급하여 수행된다. 기존의 컴퓨터 시각 접근 방식에서 추출한 파라미터는 다양한 저해상도로 조정될 수 있는 눈의 이미지가 있든 없든 머신 러닝 접근 방식과 함께 사용될 수 있다. 모든 경우에, 대비, 조명, 감도 등과 관련된 이미지의 품질과, 눈의 특징을 추출하거나 이미지에서 직접 시선을 추론하는 데 필요한 계산의 양이 시선 추정치의 견고성과 품질에 가장 중요한 요소이다. 이것은 특히 실내와 실외에서, 통제되지 않고 다양한 조명 조건에서 작동하도록 설계된 헤드 마운트형 모바일 시스템에서는 더욱 그렇다. 눈 이미지, 특히 중요한 동공 위치에서 정보를 추출하는 작업은 복잡하기 때문에 작업에 사용되는 컴퓨터 비전 알고리즘의 복잡도가 높아야 하며, 이러한 이미지에 대한 환경 영향에 대한 견고성은 시선 추적 시스템의 주요 과제로 남아 있다.
동공 검출 및 시선 추적을 위한 이벤트 카메라 시스템이 개시된다. 이벤트 카메라 시스템은 카메라 어셈블리 및 제어기를 포함할 수 있으며, 또한 하나 이상의 축외(off-axis) 광원을 포함할 수 있다. 일부 실시예에서, 카메라 어셈블리는 동축 정렬(co-aligned) 광원 카메라 어셈블리("동축 정렬 LSCA")를 포함할 수 있다. 일부 실시예에서, 하나 이상의 축외 광원은 이벤트 카메라 시스템의 일부가 아니며, 대신 하나 이상의 축외 광원은 주변 광의 일부 또는 전부를 생성한다. 카메라 어셈블리에는 하나 이상의 적외선(IR) 광원과 이벤트 카메라가 포함된다. 하나 이상의 IR 광원은 광 경로를 따라 아이박스(eyebox)를 향해 IR 광 펄스를 방출하도록 구성된다. IR 광은 아이박스 내에서 눈으로부터 반사되고, 반사된 광은 광 경로를 따라 이벤트 카메라를 향해 다시 전파되어 검출된다. 마찬가지로, 하나 이상의 축외 광원을 포함하는 실시예에서, 하나 이상의 축외 광원에서 방출된 광 펄스의 적어도 일부가 눈 및 주변 얼굴 영역에서 반사되어 광 경로를 따라 이벤트 카메라를 향해 전파되어 검출된다. 하나 이상의 적외선 광원에서 동공을 통해 망막에 의해 반사된 광은 이벤트를 감지하기 위해 이벤트 카메라 센서의 픽셀에서 임계값 레벨 이상으로 강도를 높일 수 있다. 반대로, 하나 이상의 축외 광원으로부터 눈 또는 눈 주변의 얼굴 특징에 의해 반사된 광은 이벤트를 생성하지 않도록 이벤트 카메라의 트리거 임계값 내에 있도록 조정될 수 있다. 일부 실시예에서, 복수의 축외 광원이 이벤트 카메라의 축을 중심으로 링 모양으로 배열된다. 각각의 축외 광원에 대해 센서로 반사되는 광은 동공 둘레의 일부에 대응할 수 있다. 이벤트 카메라 시스템은 각각의 축외 카메라의 데이터를 동공의 둘레에 해당하는 밝은 링에 결합할 수 있다. 제어기는 이벤트 카메라에서 출력된 데이터를 사용하여 눈의 배향을 결정하도록 구성된다.
일부 실시예에서, 시선 추적 시스템은 제1 적외선(IR) 광원, 이벤트 카메라, 및 제어기를 포함한다. 제1 적외선 광원은 제1 기간 동안 제1 펄스의 IR 광을 방출하도록 구성된다. 제1 펄스의 IR 광은 광 경로를 따라 (예컨대, 동축 LED 또는 빔 스플리터를 통해) 사용자의 눈을 포함한 아이박스로 향한다. 눈은 IR 광선의 제1 펄스의 일부를 광 경로를 따라 제1 밝기로 대상 영역을 향해 반사한다. 눈은 축외 IR 광원(예컨대, 시선추적 시스템의 다른 IR 광원, 사용자의 로컬 영역에서 나오는 IR 광원 등)에서 발원한 IR 광을 광 경로를 따라 제2 밝기로 대상 영역을 향해 다시 반사한다. 눈에서 벗어난 축외 IR 광원에서 이벤트 카메라로 반사되는 광은 제1 기간 동안 비교적 일정하게 유지될 수 있다. 이벤트 카메라는 대상 영역에 있다. 이벤트 카메라는 광 경로를 따라 아이박스에서 반사된 IR 광을 검출하도록 구성된다. 이벤트 카메라는 복수의 광다이오드를 포함한다. 각 광다이오드는 IR 광의 반사된 제1 펄스의 일부에 대응하는 강도 값을 검출하고, 강도 임계값에 관련된 광 다이오드에 의해 검출된 강도 값과 광다이오드에 의해 이전에 출력된 데이터 값의 차이에 적어도 부분적으로 기초하는 데이터 값을 비동기적으로 출력하도록 구성된다. 제어기는 제1 펄스로 인해 이벤트 카메라에서 출력된 데이터 값으로부터 눈의 동공을 식별하도록 구성된다. 또한, 제어기는 부분적으로 식별된 동공에 기초하여 사용자의 시선 위치를 결정하도록 구성된다.
일부 실시예에서, 방법은 이벤트 카메라의 센서에 의해, 사용자의 눈으로부터 반사되는 복수의 축외 광원으로부터 적외선을 수신하는 단계와, 이벤트 카메라로부터 출력되는 데이터 값으로부터 눈의 동공을 식별하는 단계- 식별은 동공의 둘레에 대응하는 밝은 링을 검출하는 것을 포함함 -와, 밝은 링에 기초하여, 사용자의 시선 위치를 결정하는 단계를 포함할 수 있다.
도 1은 하나 이상의 실시예에 따른 차동 동공 검출(differential pupil detection)을 위한 이벤트 카메라 시스템이다.
도 2a는 하나 이상의 실시예에 따른, 제1 기간에서의 도 1의 이벤트 카메라 시스템을 도시한다.
도 2b는 하나 이상의 실시예에 따른, 제2 기간에서의 도 1의 이벤트 카메라 시스템을 도시한다.
도 3a는 하나 이상의 실시예에 따른, 빔 스플리터를 포함하는 동축 정렬된 LSCA 및 축외 광원에 대한 광 경로를 나타내는 예이다.
도 3b는 하나 이상의 실시예에 따라, 이벤트 카메라의 광 경로에 소형화된 광원을 포함하는 동축 정렬된 LSCA 및 축외 광원에 대한 광 경로를 나타내는 예이다.
도 4a는 하나 이상의 실시예에 따른, 단일 프레임에 대한 차동 동공 검출을 위한 이벤트 카메라 시스템의 예시적인 타이밍 다이어그램이다.
도 4b는 하나 이상의 실시예에 따른, 단일 프레임에 대한 축외 광원을 포함하는 차동 동공 검출을 위한 이벤트 카메라 시스템의 예시적인 타이밍 다이어그램이다.
도 4c는 하나 이상의 실시예에 따른, 복수의 프레임에 대한 차동 동공 검출을 위한 이벤트 카메라 시스템의 예시적인 타이밍 다이어그램이다.
도 4d는 축외 광원을 포함하는 이벤트 카메라 시스템에 대한 예시적인 타이밍 다이어그램으로, IR 광원은 축외 광원에 의해 조명되는 동안 활성화된다.
도 4e는 동공에 대응하는 픽셀과 피부에 대응하는 픽셀에 대한 조도의 상대적 증가에 대한 예시적인 조도도이다.
도 5a는 하나 이상의 실시예에 따라, 복수의 축외 광원을 포함하는 차동 동공 검출을 위한 이벤트 카메라 시스템이다.
도 5b는 하나 이상의 실시예에 따라, 링 패턴의 복수의 축외 광원을 포함하는 차동 동공 검출을 위한 이벤트 카메라 시스템이다.
도 6은 하나 이상의 실시예에 따라, 차동 동공 검출을 위한 이벤트 카메라 시스템을 사용하여 눈의 배향을 결정하는 프로세스를 예시하는 흐름도이다.
도 7a는 하나 이상의 실시예에 따른, 차동 동공 검출을 위한 이벤트 카메라 시스템을 포함하는 헤드셋의 투시도이다.
도 7b는 도 7a의 헤드셋의 단면도이다.
도면은 예시의 목적으로만 다양한 실시예들을 도시한다. 당업자는 본원에 설명된 원리를 벗어나지 않고 본원에 설명된 구조 및 방법의 대체 실시예들이 사용될 수 있음을 후속하는 설명으로부터 쉽게 인식할 수 있을 것이다.
본 개시는 이벤트 카메라 시스템을 사용하여 눈의 밝은 동공 반사를 이용함으로써 배경으로부터 분할된 동공의 고대비 이미지를 생성하는 시스템이다. 일부 실시예에서, 이벤트 카메라는 동축 정렬된 광원을 포함할 수 있다. 광원이 눈에 닿으면, 동공으로 들어온 광은 곡면 망막에서 반사되어, 카메라 센서와 함께 배치될 수 있는 광원으로 되돌아간다. 이렇게 하면 동공이 높은 강도 값으로 보이는 특징적인 밝은 동공 이미지가 생성된다. 반면, 축외 광원으로부터의 광은 망막에서 반사되어 카메라에 도달하지 않고, 대신 동공이 눈의 나머지 이미지에 비해 낮은 강도 값으로 보이는 어두운 동공 이미지를 생성한다. 축외 광원으로부터의 광은 눈의 다른 부분과 주변 얼굴 특징에서 반사되어 카메라 센서에 도달한다. 눈의 다른 부분과 주변 영역에서 반사된 검출된 광은 동축 광원의 동공 조명에 따라 일정하게 유지되거나 최소량만 증가할 수 있으며, 이러한 위치에서는 이벤트가 발생하지 않을 수 있다. 밝은 동공 이미지와 어두운 동공 이미지를 빼서 동공만 포함하는 고대비 이미지를 생성할 수 있다. 기존 카메라에서는, 이 방법을 사용하려면 두 개의 개별 이미지를 캡처해야 하는데, 이는 눈동자의 빠른 움직임을 고려할 때 실제로는 동공의 뚜렷한 이미지를 충분히 빠르게 캡처할 수 없다. 이 기술을 이벤트 카메라 시스템에 결합하면, 시스템은 조명이 다양한 밝은 동공(동축 광원)과 어두운 동공(축외 광원) 조합 사이에서 전환되는 순간에서 눈 이미지의 변화만을 캡처하고 분리할 수 있다. 이는 동공 자체의 높은 대비 변화만을 보여주는 이벤트를 생성하여, 특히 이벤트 카메라 시스템 피드를 분석하는 데 일반적으로 요구되는 복잡한 아키텍처에 비해 이미지 출력의 다운스트림 처리를 크게 단순화한다.
개시된 시스템은 다양한 이점을 제공한다. 종래의 비디오 기반 시선 추적과 달리, 센서는 동등한 프레임 속도에서 동공 위치를 검출하는 데 훨씬 적은 전력을 사용할 수 있다. 또한, 프로세서는 전체 비디오 프레임을 분석하는 대신 이벤트 카메라에 의해 검출된 동공만을 포함하는 프레임을 분석하는 데 훨씬 적은 전력을 활용할 수 있다. 또한, 개시된 시스템은 동공이 부분적으로 가려지거나 마스카라, 문신, 피부 결점 등 다른 어두운 물체 근처에 있는 경우에도 동공을 추적할 수 있다. 이와 대조적으로, 기존 시스템은 어두운 물체를 동공으로 착각할 수 있다. 또한, 기존의 카메라 기반 시스템은 헤드셋이 사용자의 눈에서 가까워지거나 멀어지는 등 카메라의 초점이 맞지 않는 경우 동공을 추적하는 데 어려움을 겪는다. 이와 대조적으로, 본 발명의 시스템은 카메라 어셈블리가 사용자의 눈과 관련하여 이동하더라도 반사된 광으로 동공 위치를 검출할 수 있다.
일부 실시예에서, 시스템은 축외 광원이 활성화되는 동안에 동축 정렬된 광원을 활성화할 수 있다. 축외 광원은 동공 이외의 표면에서 반사되는 광의 높은 기준선을 생성할 수 있다. 동축 정렬된 광원이 활성화되면, 이벤트 카메라 시스템은 동공 내 위치에서 이벤트를 검출할 수 있다. 동공이 아닌 위치에서 검출된 광의 높은 기준선은 해당 위치에서 트리거되는 이벤트의 수를 줄일 수 있다.
일부 실시예에서, 시스템은 복수의 축외 광원을 포함할 수 있고, 동축 정렬된 광원은 포함하지 않을 수 있다. 축외 광원은 이벤트 카메라의 축을 중심으로 링 형태로 배열될 수 있다. 이벤트 카메라의 축에 가깝게 배치된 축외 광원은 축외 광원이 망막에서 이벤트 카메라로 부분적으로 반사되는 결과를 초래할 수 있다. 각 축외 광원에 의해 캡처된 센서 데이터는 동공 가장자리 일부에 초승달 모양을 야기할 수 있다. 모든 센서로부터의 데이터를 결합하면 동공 둘레에 밝은 고리가 생성될 수 있다. 동공의 둘레는 동공 직경, 동공 중심 및 시선 위치를 결정하는 데 사용될 수 있다.
도 1은 하나 이상의 실시예에 따른 차동 동공 검출을 위한 이벤트 카메라 시스템(100)이다. 이벤트 카메라 시스템(100)은 헤드셋(예를 들어, 도 7a 및 7b와 관련하여 아래에서 상세히 설명됨), 태블릿, 컴퓨터, 자동차 대시보드, 텔레비전, 모바일 디바이스, 시선 추적을 사용하는 다른 시스템, 또는 이들의 일부 조합 내에 통합될 수 있다. 이벤트 카메라 시스템(100)은 적어도 하나의 카메라 어셈블리(105)("어셈블리(105)"), 제어기(110)를 포함하며, 선택에 따라서는 하나 이상의 축외 광원(예컨대, 축외 광원(115))을 포함할 수 있다. 일부 실시예에서, 카메라 어셈블리(105)는 동축 정렬된 광원을 포함할 수 있고, 동축 정렬된 광원 카메라 어셈블리(LSCA)로 지칭될 수 있다.
카메라 어셈블리(105)의 광원은 광 경로(120)를 따라 광을 방출 및 수광할 수 있다. 카메라 어셈블리(105)는 하나 이상의 적외선(IR) 광원(동축 정렬된 IR 광원(들)으로 지칭될 수 있음) 및 하나 이상의 이벤트 카메라를 포함할 수 있다. 하나 이상의 IR 광원은 예를 들어, 발광 다이오드, 수직 캐비티 표면 방출 레이저(VCSEL), 일부 다른 IR 또는 근적외선 광원, 또는 이들의 일부 조합일 수 있다. 하나 이상의 IR 광원은 일반적으로 IR 및/또는 근적외선 대역에서 광을 방출하도록 구성된다. 일부 실시예에서, 복수의 IR 광원이 있고, 그 IR 광원 중 적어도 2개의 IR 광원이 서로 다른 광학 대역에서 방출한다. 하나 이상의 IR 광원은 제어기(110)의 지시에 따라 IR 광의 펄스를 방출하도록 구성된다. 방출된 광 펄스는 광 경로(120)를 따라 아이박스(125)를 향해 전파되도록 방향이 지정된다. 아이박스(125)는 사용자의 눈(130)에 의해 점유될 수 있는 공간의 영역이며, 눈(130)을 둘러싼 속눈썹 및 피부와 같은 주변 얼굴 특징도 포함할 수 있다. 일부 실시예에서, 카메라 어셈블리는 광 경로(120)에 대해 링 형상으로 배열된 복수의 IR 광원을 포함한다.
카메라 어셈블리(105)는 광학의 하나 이상의 IR 광원이 하나 이상의 이벤트 카메라에 대한 광 경로와 실질적으로 정렬된다는 의미에서 동축 정렬될 수 있다. 하나 이상의 이벤트 카메라의 광 경로와 하나 이상의 IR 광원의 광 경로 사이의 각도는 이들이 광 경로(120)를 형성하기 위해 본질적으로 겹칠 수 있도록 충분히 작게 유지된다. 하나 이상의 IR 광원에서 방출된 광은 눈(130)으로 이동하여 망막(140)에서 광 경로(120)를 따라 다시 하나 이상의 IR 광원 및 하나 이상의 이벤트 카메라로 반사된다. 광 경로는 다양한 방식으로 광 경로(120)를 형성하도록 정렬될 수 있다. 예를 들어, 카메라 어셈블리(105) 내의 빔 스플리터 또는 다른 광학 혼합 디바이스가 광 경로를 정렬하는 데 사용될 수 있고, 하나 이상의 IR 광원과 하나 이상의 이벤트 카메라가 충분히 작은 중심 대 중심 간격으로 카메라 어셈블리(105)에 나란히 장착될 수 있고, 하나 이상의 IR 광원과 하나 이상의 이벤트 카메라가 카메라 어셈블리(105) 내의 공통 기판(예를 들어, IR 조명 픽셀과 감지 픽셀이 인터리브된 기판)을 공유할 수 있으며, 하나 이상의 IR 광원은 광 경로를 따라 렌즈와 같은 광학 소자에 결합될 수 있고, 또는 이들의 일부 조합이 구현될 수 있다. 카메라 어셈블리(105)는 또한 광원의 파장에 특정한 대역 통과 필터, 인터리브 조명 및 이벤트 카메라 픽셀의 경우 공간 가변 대역 통과 필터, 또는 이들의 일부 조합을 포함하는 다양한 광학 필터를 통합할 수 있다.
IR 광은 망막(140)으로부터 반사되고, 반사된 광은 광 경로(120)를 따라 카메라 어셈블리(105) 내의 이벤트 카메라를 향해 다시 전파되어 검출된다. 하나 이상의 이벤트 카메라(일반적으로 동적 비전 센서라고도 함)는 광 경로(120)를 따라 눈(130)에서 반사된 IR 광에 대응하는 강도 값을 검출하도록 구성된다. 하나 이상의 이벤트 카메라 중의 이벤트 카메라는 복수의 광다이오드를 포함하며, 각 광다이오드는 강도 임계값에 관련된 광 다이오드에 의해 검출된 강도 값과 광다이오드에 의해 이전에 출력된 데이터 값의 차이에 적어도 부분적으로 기초하는 데이터 값을 비동기적으로 출력하도록 구성된다.
하나 이상의 축외 광원은 제어기(110)의 지시에 따라 광 경로(120)로부터 축외로 광을 방출한다. 하나 이상의 축외 광원은 축외 광원(115)을 포함한다. 축외 광원은 예를 들어, 발광 다이오드, 수직 캐비티 표면 방출 레이저(VCSEL), 일부 다른 IR 또는 근적외선 광원, 또는 이들의 일부 조합일 수 있다. 축외 광원은 적외선 및/또는 근적외선 대역에서 광을 방출하도록 구성된다. 일부 실시예에서, 하나 이상의 축외 광원은 카메라 어셈블리(105)의 하나 이상의 IR 광원과 동일한 파장에서 광을 방출한다. 일부 실시예에서, 복수의 축외 광원이 존재하고, 이 축외 광원 중 적어도 2개는 서로 다른 광학 대역에서 방출한다. 하나 이상의 축외 광원은 제어기(110)의 지시에 따라 IR 광의 펄스를 방출하도록 구성될 수 있다. 광의 방출된 펄스는 광 경로(120)와 분리된 광 경로를 따라 아이박스(125)를 향해 전파되도록 방향이 지정된다. 일부 실시예에서는, 이벤트 카메라 시스템(100)의 일부인 축외 광원이 없고, 대신 축외 광은 주변 광이며, 하나 이상의 축외 광원은 주변 광의 일부 또는 전부를 생성하는 광원이다.
제어기(110)는 이벤트 카메라 시스템(100)의 컴포넌트들을 제어한다. 예를 들어, 제어기(110)는 하나 이상의 IR 광원의 활성화 및 강도를 제어하고, 축외 광원(115)의 활성화 및 강도를 제어하고, 하나 이상의 이벤트 카메라에 대한 임계값 설정 및 프레임 캡처 활성화를 제어할 수 있다. 하나 이상의 IR 광원 및 하나 이상의 이벤트 카메라는 하나의 동축 정렬 LSAC(105)의 일부 및/또는 여러 개의 동축 정렬 LSAC(105)의 일부일 수 있다(예를 들어, 사용자의 각 눈에 대해 하나의 동축 정렬 LSAC(105)). 제어기(110)는 하나 이상의 이벤트 카메라, 하나 이상의 개별 외부 센서(예컨대, 주변 광 감지 광다이오드 또는 눈의 이미지를 캡처하는 전통적인 카메라 이미저) 또는 이들의 일부 조합으로부터의 데이터 값에 따라 동적으로 광원(즉, 하나 이상의 IR 광원 및/또는 축외 광원(115))의 강도 설정 및 하나 이상의 이벤트 카메라의 임계치 설정을 조정할 수 있다. 제어기(110)는 각 광원(즉, 하나 이상의 IR 광원 및/또는 축외 광원(115))의 활성화를 하나 이상의 이벤트 카메라의 활성화와 동기화하여, 하나 이상의 이벤트 카메라가 조명 설정의 특정 구성에 대응하는 시간 윈도우에서 데이터 값을 생성 및 출력할 수 있도록 할 수 있다.
일부 실시예에서, 제어기(110)는 광원(즉, 하나 이상의 IR 광원 및 축외 광원(115)) 및 하나 이상의 이벤트 카메라를 설정하여, 축외 광원(115)만 활성화된 상태에서 데이터 값을 캡처한다. 이러한 경우, 눈(130) 및/또는 사용자의 다른 눈의 동공(150)은 제어기(110)에 의해 처리되는 데이터 값에서 상대적으로 어둡게 나타난다. 일부 실시예에서, 제어기(110)는 광원들 및 하나 이상의 이벤트 카메라가 동축 정렬된 광원(105)만 활성화된 상태에서 데이터 값을 캡처하도록 설정한다. 이러한 경우, 눈(130) 및/또는 사용자의 다른 눈(150)의 동공(150)은 제어기(110)에 의해 처리되는 데이터 값에서 상대적으로 밝게 나타난다. 일부 실시예에서, 제어기(110)는 이 두 가지 구성 중 하나만 캡처하거나, 축외 광원(115)이 항상 켜져 있거나 항상 꺼져 있는 것을 포함하는, 다른 광원 구성을 통해 다수의 추가 이미지를 캡처할 수 있다. 일부 실시예에서, 제어기(110)는 축외 광원(115)이 활성화되고 동축 정렬된 광원(105)이 비활성화 상태에서 활성화 상태로 전환되는 동안 광원 및 하나 이상의 이벤트 카메라가 데이터 값을 캡처하도록 설정한다. 이러한 경우, 눈의 동공(150)은 제어기(110)에 의해 처리되는 데이터 값에서 상대적으로 밝게 나타난다.
제어기(110)는 하나 이상의 이벤트 카메라로부터 데이터 값을 판독한다. 제어기(110)는 눈의 동공을 식별하기 위해 데이터 값을 처리한다. 제어기(110)는 식별된 동공에 기초하여 눈의 방향 및/또는 시선 위치를 결정할 수 있다.
일부 실시예에서, 이벤트 카메라 시스템(100)은 방 내의 눈의 존재 및 위치를 검출하도록 구성될 수 있다. 예를 들어, 이벤트 카메라 시스템(100)은 방 내의 고정된 위치에 위치할 수 있다. 일부 실시예에서, 이벤트 카메라 시스템(100)은 통합된 동축 정렬 및/또는 축외 조명기를 포함할 수 있다. 일부 실시예에서, 이벤트 카메라 시스템(100)은 방 내의 상이한 위치에 있는 축외 조명기를 포함할 수 있다. 이벤트 카메라 시스템(100)은 예를 들어, 텔레비전, 전화기, 간판 또는 컴퓨터 내에 통합될 수 있다. 제어기(110)는 이벤트 카메라 시스템의 시야 내에 있는 눈의 임의의 동공을 식별하도록 구성될 수 있다. 제어기(110)는 방 내에서 검출된 동공의 수뿐만 아니라, 동공이 이벤트 카메라 시스템(100)의 방향을 바라보고 있는지 여부와 같은 동공의 전반적인 시선 방향을 결정할 수 있다. 이벤트 카메라 시스템(100)으로 밝은 눈동자를 검출하는 것은 전체 이미지를 처리하여 동공을 검출하는 것보다 훨씬 적은 처리 능력을 활용할 수 있다. 인원 계수, 주의 추적, 프라이버시 보호 조치, 또는 눈동자를 검출하는 것이 유익할 수 있는 다른 적절한 시나리오와 같은 많은 애플리케이션에 룸 스케일 추적이 사용될 수 있다.
도 2a는 하나 이상의 실시예에 따른, 제1 기간에서의 도 1의 이벤트 카메라 시스템이다. 이 제1 기간에서, 제어기(110)는 축외 광원(115)을 활성화하고 이벤트 카메라가 이미지 데이터를 출력할 수 있도록 한다. 동공(150)에 도달하여 눈(130) 후면의 곡면 망막(140)에 도달하는 축외 광원(115)으로부터의 광은 동공(150)을 통해 광원(이 경우 축외 광원(115) 위치)으로 다시 반사될 것이다. 이 광의 일부 또는 전부는 카메라 어셈블리(105)의 이벤트 카메라에 도달하지 않지만, 아이박스(125)에 도달하는 나머지 광은 카메라 어셈블리(105)에 도달하는 것을 포함하여 모든 방향으로 반사될 것이다. 전통적인 이미저에서는, 이것은 아이 박스(125)의 대부분의 특징이 밝게 조명되는 어두운 동공 이미지를 생성하지만, 곡면 망막(140)이 재귀반사기 역할을 하기 때문에 동공(150) 자체는 상대적으로 낮은 강도 값을 갖는다. 일부 실시예에서, 이벤트 카메라의 출력은 이 기간에서 폐기되는 반면, 다른 실시예에서는 축외 광원(115)은 이벤트 카메라의 출력에 변화가 나타나지 않을 정도로 충분히 오래 켜져 있을 수 있다. 상수 입력에 반응하는 이벤트 카메라의 픽셀은 데이터 값을 출력하지 않거나 변화 없는 값을 출력한다는 점에 유의한다. 일부 실시예에서, 이 기간 동안 축외 광원(115)의 활성화는 완전히 무시될 수 있다.
일부 실시예들에서, 축외 광원(115)이 활성화되는 동안, 제어기(110)는 카메라 어셈블리(105)를 비활성화 상태로부터 활성화 상태로 전환할 수 있다. 이벤트 카메라의 픽셀은 동공(150)에 의해 카메라 어셈블리(105)로 다시 반사되는 광의 변화를 검출할 수 있다. 축외 광원(115)으로부터의 광이 동공 이외의 영역에 의해 반사되기 때문에, 이벤트 카메라의 픽셀은 동공 이외의 위치에서는 이벤트를 검출하지 못할 수 있다. 따라서, 이벤트 카메라는 밝은 동공 이미지를 출력할 수 있다.
도 2b는 하나 이상의 실시예에 따른 제2 기간에서의 도 1의 이벤트 카메라 시스템이다. 이 제2 기간에서, 축외 광원(115)은 제어기(110)에 의해 비활성화되고, 카메라 어셈블리(105)의 하나 이상의 IR 광원은 제어기(110)에 의해 활성화되고, 이벤트 카메라는 데이터 값을 출력하도록 활성화된다. 동공(150)에 도달하는 하나 이상의 IR 광원으로부터의 광은 눈(130) 후면의 곡면 망막(140)에서 반사되어 광 경로(120)를 따라 동공(150)을 지나 카메라 어셈블리(105)의 하나 이상의 이벤트 카메라로 다시 전달된다. 아이박스(125)에 도달하는 나머지 광은 카메라 어셈블리(105)의 광 경로(120)를 따르는 방향을 포함하여 모든 방향으로 반사된다. 동공(150)으로 들어오는 대부분의 광이 카메라 어셈블리(105)로 다시 재귀반사되기 때문에, 기존 이미저에서는 동공(150)이 눈의 나머지 이미지에 비해 상대적으로 밝게 나타나 "밝은 동공 이미지"를 생성한다. 그러나, 이벤트 카메라에서, 축외 광원(115)의 활성화를 특징으로 하는 이전(제1) 기간의 "어두운 동공"에서, 동축 정렬된 광원의 활성화를 특징으로 하는 현재(제2) 기간의 "밝은 동공"으로의 전환은 하나 이상의 이벤트 카메라에 의해 출력되는 데이터 값에 의해 설명되는 뚜렷한 차이 이미지를 생성한다. 차이 이미지는 동공(150)을 포함하는 영역에 국한된다.
일부 실시예에서, 카메라 어셈블리(105)는 눈(130)의 표면으로부터 반사되는 하나 이상의 광원으로부터의 반짝임을 검출할 수 있다. 광원은 축외 광원(115), 카메라 어셈블리(105)의 동축 정렬된 광원, 또는 임의의 다른 적절한 광원일 수 있다. 제어기(110)는 눈(130)의 위치를 결정하기 위해 밝은 동공 이미지와 결합하여 반짝임을 분석할 수 있다. 다른 광원은 다른 주파수에서 스트로브(strobe)될 수 있다. 제어기는 제1 위치에서 검출된 반짝임의 주파수에 기초하여 제1 위치에서 검출된 반짝임이 제1 광원에 대응하는 것으로 결정할 수 있다. 유사하게, 제어기는 제2 위치에서 검출된 반짝임의 주파수에 기초하여 제2 위치에서 검출된 반짝임이 제2 광원에 대응하는 것으로 결정할 수 있다.
도 3a는 하나 이상의 실시예에 따라, 빔 스플리터(320)를 포함하는 축외 광원 및 동축 정렬된 LSCA(310)에 대한 광 경로를 나타내는 예시이다. 빔 스플리터(320)는 제1 포트(360), 제2 포트(370) 및 제3 포트(380)를 포함한다. 이 실시예에서, 빔 스플리터(320)는 제1 포트(360)에서 IR 광원(330)으로부터 광을 수신하고, 제3 포트(380)에서 빔 스플리터(320)로부터 수신된 광의 적어도 일부를 광 경로(120)를 따라 전방 방향으로 눈(130)을 향해 리디렉션한다. 눈(130)으로부터 되돌아오는 광의 일부는 제3 포트(380)에서 빔 스플리터(320)에서 수신되고, 빔 스플리터는 제2 포트(370)로부터 수신된 광의 일부를 동축 정렬된 LSCA(310)의 이벤트 카메라(340)를 향해 향하게 한다. 이러한 구성을 통해 빔 스플리터(320)의 제1 포트(360)에서의 IR 광원(330)의 광 경로(120)는 빔 스플리터(320)의 제2 입력 포트(370)에서의 이벤트 카메라(340)의 광 경로(120)와 정확히 정렬될 수 있다. 이렇게 하면, IR 광원(330)으로부터의 광이 눈의 망막(130)에서 재귀반사되고 재귀반사된 광이 이벤트 카메라(340)에 도달할 수 있다. 축외 IR 광원(320)으로부터 광은 눈(130)에서 모든 방향으로 반사되어도 이벤트 카메라(340)에 도달할 수 있다.
도시된 바와 같이, 동축 정렬된 LSCA(310)는 IR 광원(330)에 의해 방출되는 파장의 광을 포함하는 협대역 광 및 축외 IR 광원(320)에 의해 방출되는 광을 전송하고, 다른 파장의 광을 감쇠하도록 구성된 필터(350)를 포함한다. 이러한 방식으로, 필터(350)는 이벤트 카메라(340)에서 수신된 주변광을 감쇠시킨다. 그리고 이벤트 카메라(340)와 분리되어 있는 것으로 도시되어 있지만, 다른 실시예들에서, 필터(350)는 이벤트 카메라(340)에 통합될 수 있다.
다른 실시예들에서, 빔 스플리터(320)는 생략되고, IR 광원(330)과 이벤트 카메라(340)의 광 경로(120)의 정렬은, 눈(130)의 동공을 통과하여 망막으로부터 동축 정렬된 LSCA(310)로 재귀반사되는 IR 광원(330)으로부터의 광이 이벤트 카메라(340)에서도 수신되도록 충분히 작은 중심 대 중심 간격으로 IR 광원(330)과 이벤트 카메라(340)를 나란히 배치함으로써 대략 일치한다.
마찬가지로, 도 1과 관련하여 전술한 바와 같이, 일부 실시예에서 빔 스플리터(320)는 생략되고, IR 광원(330)은 감지 픽셀과 인터리브되는 복수의 IR 조명 픽셀로 대체되며, IR 조명 픽셀과 감지 픽셀은 공통의 기판을 공유한다. IR 조명 픽셀은 광 경로(120)를 따라 눈(130)을 비춘다는 점에서 IR 광원(330)과 동일한 방식으로 기능한다. 그리고, 감지 픽셀은 이벤트 카메라의 픽셀이다. 이와 같이, 이벤트 카메라(340)와 IR 광원(330)의 기능은 공통 기판 상에 감지 픽셀과 IR 조명 픽셀을 모두 포함하는 단일 디바이스에 결합 및 통합된다.
도 3b는 하나 이상의 실시예에 따라, 이벤트 카메라의 광 경로에 소형화된 광원을 포함하는 축외 광원 및 동축 정렬된 LSCA에 대한 광 경로를 나타내는 예이다. IR 광원(330)은 광학 요소(390)에 결합될 수 있다. 광학 요소(390)는 렌즈, 창, 거울, 격자 또는 다른 적합한 광학 요소를 포함할 수 있다. 일부 실시예에서, 광학 요소(390)는 렌즈이다. IR 광원(330)은 광 경로(120)의 중심 축을 따라 위치할 수 있다. IR 광원(330)은 렌즈(390) 면적의 1% 미만 또는 5% 미만을 차지하는 등, 렌즈(390)에 비해 작을 수 있다. 일부 실시예에서, IR 광원(330)은 직경이 3mm 미만, 1mm 미만, 100미크론 미만, 또는 10미크론 미만을 가질 수 있다. 따라서, IR 광원(330)은 이벤트 카메라(340)의 센서를 최소한으로만 가릴 수 있다.
도 4a는 하나 이상의 실시예에 따른, 단일 프레임에 대한 차동 동공 검출을 위한 이벤트 카메라 시스템(예컨대, 이벤트 카메라 시스템(100))에 대한 예시적인 타이밍도(400)이다. 여기서, 장면은 환경의 주변 조명으로만 시작된다. 이 경우, 축외 광원(들)은 이벤트 카메라 시스템에 의해 제어되지 않고 주변 광의 일부 또는 전부를 생성하는 광원으로 간주될 수 있다. 그런 다음, 제어기(예컨대, 제어기(110))는 카메라 어셈블리(예컨대, 카메라 어셈블리(105))의 이벤트 카메라로부터 데이터 값 출력을 활성화하고, 그런 다음, 카메라 어셈블리의 동축 정렬된 IR 광원을 활성화(켜기)하고, 나중에 이벤트 카메라로부터 데이터 값 출력을 비활성화한다. IR 광원에 대해 활성화된 펄스는 1초 미만의 펄스 폭을 가질 수 있으며, 이보다 훨씬 짧을 수도 있다. 예를 들어, 전체 시스템의 전체적인 "프레임 속도" 또는 주기는 30Hz(약 33ms 주기)일 수 있다. 이 경우, 펄스 폭은 10밀리초이고 해당 펄스 속도는 <50% 듀티 사이클에서 50 또는 100Hz이다. 일부 실시예에서, 듀티 사이클은 0%보다 크고 100%보다 작을 수 있다. 따라서, 이벤트 카메라는 동축 정렬된 IR 광원이 꺼짐에서 켜짐으로 전환되는 동안 데이터 값을 출력하며, 이 데이터 값은 밝은 동공 효과로 인해 눈의 동공을 포함하는 픽셀에서 강도 값의 큰 변화를 보여준다. 그런 다음, 제어기는 이벤트 카메라의 임계값을 설정하여 출력되는 데이터 값에서 작은 배경 변화가 이벤트 카메라에 의해 보고되지 않도록 한다. 또한, 제어기는 이벤트 카메라 활성화가 가능해진 기간의 모든 이벤트를 기존 이미지 프레임과 유사한 단일 "프레임"으로 그룹화할 수 있다. 예를 들어, 데이터 값에는 특정 시간에 특정 픽셀에서 발생한 변화의 크기에 대한 타임스탬프가 포함될 수 있으며, 제어기는 기존 카메라와 마찬가지로 이 전체 기간 동안 변화를 보고한 모든 픽셀을 포함하는 단일 2D 매트릭스로 데이터 값을 그룹화할 수 있다. 일부 실시예에서, 이벤트 카메라 활성화는 상승 에지 대신에 조명 신호의 하강 에지를 캡처하도록 구성된다.
도 4a에서, 이벤트 카메라는 IR 광원의 활성화를 포함하는 동일한 기간에 활성화된다는 점에 유의한다. 다른 실시예에서는, 이벤트 카메라가 IR 광원의 비활성화(즉, 광을 방출하는 것에서 광을 방출하지 않는 것으로 전환하는 것)를 포함하는 기간에 활성화되도록 타이밍이 수정될 수 있다.
도 4b는 하나 이상의 실시예에 따른, 단일 프레임에 대한 축외 광원(예를 들어, 축외 광원(115))을 포함하는 차동 동공 검출을 위한 이벤트 카메라 시스템(예를 들어, 이벤트 카메라 시스템(100))의 예시적인 타이밍도(440)이다. 이 경우, 제어기(예컨대, 제어기(110))는 먼저 축외 광원을 활성화(켜기)한 다음, 카메라 어셈블리(예컨대, 카메라 어셈블리(105))의 이벤트 카메라로부터 데이터 값 출력을 활성화한다. 이벤트 카메라가 활성화되어 있는 동안, 제어기는 축외 광원을 비활성화(끄기)하고 카메라 어셈블리의 IR 광원을 활성화(켜기)한다. 이렇게 하면 동공(예컨대, 동공(150))에서 어두운 동공 조명에서 밝은 동공 조명으로의 강도 값의 큰 전환을 보여주는 데이터 값 출력이 트리거된다. 그런 다음 제어기는 이벤트 카메라로부터의 데이터 값 출력을 비활성화하고 그런 다음 카메라 어셈블리의 IR 광원을 비활성화(끄기)할 수 있다. 이 기간 동안 이벤트 카메라로부터 출력되는 데이터 값은 광원의 동기화된 스위칭 동안 이미지 데이터의 변화를 설명하는 단일 "프레임"으로 함께 그룹화될 수 있다.
도 4c는 하나 이상의 실시예에 따른, 다수의 프레임에 대한 차동 동공 검출을 위한 이벤트 카메라 시스템(예컨대, 이벤트 카메라 시스템(100))의 예시적인 타이밍도(470)이다. 제어기(예컨대, 제어기(110))는 구현된 실시예에 따라 IR 광원 활성화 신호 및 이벤트 카메라 활성화 신호의 시퀀스를 반복하여 다수의 프레임을 캡처할 수 있다. 이러한 프레임은 주기적으로 조명을 스트로빙하고 이벤트 카메라 출력을 활성화하여 고정된 프레임레이트로 요청될 수도 있고, 또는 원하는 시간에 조명을 스트로빙하여 제어기(110)에 의해 동적으로 선택되는 가변 타이밍으로 요청될 수도 있다. 도시된 바와 같이, 이벤트 카메라 활성화 기간은 예를 들어, 도 4b에 도시된 이벤트 카메라 활성화 기간보다 길다는 점에 유의한다. 다른 실시예에서, 이벤트 카메라 활성화 기간은 도 4b에 도시된 것과 유사할 수 있다.
제어기는 동축 정렬된 LSAC의 IR 광원, 및 경우에 따라서는 하나 이상의 축외 IR 광원으로 하여금 각각이 제각기의 펄스 길이 및 듀티 사이클에서 복수의 펄스를 방출하게 할 수 있고, 동축 정렬된 LSAC의 이벤트 카메라가 주기적으로 데이터 값을 캡처하도록 활성화할 수 있다. 제어기는 IR 광원의 각각의 제각기의 펄스의 결과로 출력되는 데이터 값을 사용하여 이미지 프레임을 생성하고, 생성된 이미지 프레임에 부분적으로 기초하여 눈의 방향을 추적할 수 있다.
도 4d는 하나 이상의 실시예에 따른, 단일 프레임에 대한 축외 광원(예를 들어, 축외 광원(115))을 포함하는 차동 동공 검출을 위한 이벤트 카메라 시스템(예를 들어, 이벤트 카메라 시스템(100))의 예시적인 타이밍도(480)이다. 이 경우, 제어기(예컨대, 제어기(110))는 먼저 축외 광원을 활성화(켜기)하고, 그런 다음, 카메라 어셈블리(예컨대, 카메라 어셈블리(105)의 이벤트 카메라로부터 데이터 값 출력을 활성화한다. 이벤트 카메라가 활성화되어 있는 동안, 제어기는 카메라 어셈블리의 축 방향 IR 광원을 활성화(켜짐)한다. 이렇게 하면, 축외 광원으로부터의 반사광으로 인해 비동공 위치에서는 데이터 값 출력을 트리거하지 않으면서 동공(예컨대, 동공(150))에서 강도 값의 큰 전환을 보여주는 데이터 값 출력이 트리거된다. 예를 들어, 도 4e에 도시된 바와 같이, 축외 광원이 존재하는 경우, 축상 광원이 t=1에서 활성화될 때, 동공 위치에 대응하는 픽셀 조도(P)는 점 A에서 이벤트 임계값(점선으로 도시됨)을 교차한다. 그러나, 피부 위치에 대응하는 픽셀 조도(P)는 이벤트 임계값을 교차하지 않는데, 이는 축외 광원으로부터의 바이어스로 인해, 축상 광원에서 반사된 광의 양이 픽셀 조도를 임계값 레벨 이상으로 올리기에 충분하지 않기 때문이다. 일부 실시예에서, 제어기는 단일 프레임 동안 카메라 어셈블리의 강도를 여러 번 변조하여 잠재적으로 여러 이벤트를 트리거할 수 있다. 예를 들어, 카메라 어셈블리의 IR 광원의 강도는 구형파 패턴, 삼각파 패턴 또는 이들의 일부 조합으로 변조될 수 있다. 펄스의 모양에 관계없이, 펄스의 진폭은 신호의 진폭이 프레임 동안 이벤트 임계값을 한 번 이상 초과하기에 충분하도록 한 프레임 동안 한 번 이상 변조될 수 있다. 일부 실시예에서, 카메라 어셈블리의 강도는 단일 프레임 동안 경사식으로 점진적으로 증가될 수 있다. 그런 다음 제어기는 이벤트 카메라의 데이터 값 출력을 비활성화하고, 그런 다음 카메라 어셈블리의 IR 광원을 비활성화(끄기)할 수 있다. 그런 다음, 제어기는 축외 광원을 비활성화(끄기)할 수 있다. 이 기간 동안 이벤트 카메라로부터 출력되는 데이터 값은 광원의 동기화된 스위칭 동안 이미지 데이터의 변화를 설명하는 단일 "프레임"으로 함께 그룹화될 수 있다.
도 5a는 하나 이상의 실시예에 따라, 복수의 축외 광원을 포함하는 차동 동공 검출을 위한 이벤트 카메라 시스템(500)이다. 이벤트 카메라 시스템(500)은 이벤트 카메라 시스템(100)의 실시예일 수 있다. 카메라 시스템(500)은 복수의 축외 광원(520), 동축 정렬된 LSAC(510) 및 제어기(도시되지 않음)를 포함한다. 동축 정렬된 LSAC(510)는 카메라 어셈블리(105)와 실질적으로 동일하다. 축외 광원(520)은 도 1의 축외 광원의 실시예로서, 축외 광원은 동축 정렬된 LSCA(510)로부터 거리가 증가하는 위치에 배치된다. 축외 광원(520)은 시선 방향과 그에 대응하는 동공 및 눈 방향의 극단을 수용하기 위해 여러 위치에 배치될 수 있다.
일부 실시예에서, 제어기는 동축 정렬된 LSCA(510) 및 축외 광원(520)으로 하여금 순차적으로 광을 방출하도록 지시할 수 있고, 그와 동시에 동축 정렬된 LSCA(510)의 이벤트 카메라로부터 데이터 값을 수집할 수 있다. 이러한 방식으로, 서로 다른 축외 광원에 의한 눈의 동공의 조도 변화(동축 정렬된 LSCA(510)로부터의 거리 증가)로 인한 데이터 값이 캡처된다. 동축 정렬된 LSCA(510)의 동축 정렬된 IR 광원은 광이 눈(130)에서 동축 정렬된 LSAC(510)의 이벤트 카메라로 직접 반사되기 때문에 여전히 눈(130)의 밝은 동공 이미지를 생성한다는 점에 주목한다. 마찬가지로, 가장 먼 축외 광원(520c)에서 나오는 광원은 여전히 어두운 동공 이미지가 생성되게 하는데, 그 이유는 광원이 충분히 축에서 벗어나 있어 동공으로 들어오는 광이 동축 정렬된 LSCA(510)에 도달하지 않기 때문이다. 동축 정렬된 LSCA(510)에 가깝게 위치하는 축외 광원(예를 들어, 축외 광원(520a))은 이벤트 센서와 충분히 정렬되어 적절하게 정렬된 밝은 동공 이미지와 매우 유사한 이미지를 여전히 감지할 수 있지만, 이러한 극단 사이의 축외 광원(예를 들어, 축외 광원(520b))은 동공의 일부만이 주어진 축외 광원 위치에서 이벤트 카메라로 광을 반사하는 혼합된 밝은 동공 응답을 나타낸다.
제어기는 복수의 축외 광원(520)에 대한 밝은 동공 반응을 측정하여 결과 이미지가 밝은 동공 이미지, 혼합 이미지 또는 어두운 동공 이미지인지 분석할 수 있다. 밝은 동공 효과의 알려진 각도 허용 오차 및 축외 광원(520)과 동축 정렬된 LSCA(510)의 알려진 상대적 위치에 기초하여, 제어기(110)는 동축 정렬된 LSCA(510)로부터 눈(130)까지의 거리를 추정할 수 있다. 동축 정렬된 LSCA(510)로부터 눈(130)까지의 거리, 따라서 시스템의 다른 모든 고정된 부분으로부터 눈(130)까지의 거리는 이벤트 카메라 시스템의 센서와 사용자 눈의 상대적 위치에 대한 기하학적 정보를 추출하는 데 사용될 수 있다. 이 정보는 측정의 정확성을 높이기 위해 눈 모델에 통합되거나 보정 정보로 사용될 수 있다. 이벤트 카메라 고유성과 함께 이 거리는 눈(130)의 정량적 특징, 예컨대, 크기 또는 사용자의 동공 간 거리(IPD))을 계산하는 데 사용될 수 있으며, 이 정량적 특징은 눈의 버젼스 상태로부터 시선 거리를 계산하는 데 중요한 지표가 된다. 또한, 일부 실시예에서, 다수의 축외 광원은 얼굴 형상의 변화 및 시선 추적 시스템의 상대적 적합성에도 불구하고, 주어진 사용자의 눈을 적절히 비추기 위한 이상적인 개별 광원 또는 광원들을 선택하기 위해 사용될 수 있다.
도 5b는 하나 이상의 실시예에 따라, 복수의 축외 광원을 포함하는 차동 동공 검출을 위한 이벤트 카메라 시스템(550)이다. 이벤트 카메라 시스템(550)은 이벤트 카메라 시스템(100)의 실시예일 수 있다. 카메라 시스템(550)은 복수의 축외 광원(560), 카메라 어셈블리(570) 및 제어기(도시되지 않음)를 포함한다. 카메라 어셈블리(570)는 카메라 어셈블리(105)의 실시예일 수 있다. 그러나, 일부 실시예에서, 카메라 어셈블리(570)는 동축 정렬된 광원을 포함하지 않는다. 축외 광원(560)은 카메라 어셈블리(570)로부터 약간 축을 벗어난 여러 위치에 배치될 수 있다. 각 축외 광원(560)의 광은 부분적으로 망막에서 반사되어 카메라 어셈블리(570)로 다시 반사되어 동공 둘레에 초승달 모양의 패턴을 생성할 수 있다. 일부 실시예에서, 2개, 3개, 4개, 6개, 8개 또는 임의의 다른 적절한 수의 축외 광원(560)이 있을 수 있다. 축외 광원들은 카메라 어셈블리(570)의 축을 중심으로 링 형상으로 동일한 간격으로 배치될 수 있다.
일부 실시예에서, 제어기는 카메라 어셈블리(570)의 이벤트 카메라로부터 데이터 값을 수집하는 동안 축외 광원들(560)이 순차적으로 광을 방출하도록 지시할 수 있다. 이러한 방식으로, 카메라 어셈블리(570)의 축에 대해 서로 다른 각도 위치에 있는 서로 다른 축외 광원에 의해 야기되는 눈의 동공의 조명 변화로 인한 데이터 값이 캡처된다. 축외 광원(560a, 560b, 560c, 560d)은 동공의 일부만이 주어진 축외 광원 위치에서 이벤트 카메라로 광을 반사하는 혼합된 밝은 동공 응답을 나타낸다. 각 축외 광원의 응답을 결합함으로써, 제어기는 동공 가장자리에서 밝은 링을 검출할 수 있다. 일부 실시예에서, 제어기는 축외 광원(560)을 한 번에 하나씩 순서대로 스트로브하고 센서 응답을 결합할 수 있다. 일부 실시예에서, 제어기(560)는 모든 축외 광원(560)을 동시에 활성화할 수 있다. 동공 가장자리에서의 위치만 검출함으로써, 제어기는 눈(130)의 시선 방향을 추정하는 데 사용되는 처리 능력의 양을 감소시킬 수 있다. 동공의 가장자리의 위치는 동공 직경, 모양 및 중심 위치를 계산하기에 충분할 수 있다. 동공의 가장자리에서 이벤트를 검출함으로써, 이벤트 카메라 시스템(550)은 전체 동공에 비해 동공의 가장자리에 대응하는 픽셀들만을 분석함으로써 더 적은 처리 능력을 사용할 수 있다.
도 6은 하나 이상의 실시예에 따라, 차동 동공 검출을 위해 이벤트 카메라 시스템(600)을 사용하여 눈의 방향을 결정하는 프로세스를 예시하는 흐름도이다. 실시예들은 상이한 및/또는 추가 단계를 포함하거나, 상이한 순서로 단계를 수행할 수 있다. 이벤트 카메라 시스템(600)은 이벤트 카메라 시스템(100)의 실시예일 수 있다.
이벤트 카메라 시스템(600)은 카메라 어셈블리(예컨대, 카메라 어셈블리(105))의 이벤트 카메라에서, 사용자의 눈으로부터 반사되는 적어도 하나의 축외 광원으로부터의 IR 광을 수신한다(610). 눈은 이벤트 카메라 시스템(600)의 아이박스 내에 있다. 일부 실시예에서, 축외 광원은 주변광이다. 다른 실시예에서, 축외 광원은 이벤트 카메라 시스템(600)의 일부이고, 이벤트 카메라 시스템은 이벤트 카메라가 활성화되는 제2 기간과 적어도 부분적으로 겹치는 기간 동안 (예를 들어, 하나 이상의 IR 광 펄스로서) IR 광을 방출하도록 축외 광원에 이전에 지시했다. 일부 실시예에서, 축외 광원은 카메라 어셈블리의 축을 중심으로 링 형상으로 배열된 복수의 광원을 포함한다.
이벤트 카메라 시스템(600)은 선택에 따라, 동축 정렬된 적외선 광원으로부터 광 경로를 따라 제1 기간 동안 제1 펄스의 IR 광을 방출한다(620). 제1 기간은 이벤트 카메라가 활성화되는 기간과 겹치고, 축외 광원이 이벤트 카메라 시스템의 일부인 실시예에서, 제1 기간은 축외 광원이 활성화되는 기간과 약간 겹친다(예를 들어, 상기 도 4b 및 도 4c에 도시된 바와 같이). 광은 카메라 어셈블리 내에 있는 동축 정렬된 IR 광원에서 방출된다. 제1 펄스의 IR 광은 광 경로를 따라 아이박스로 향한다. 눈의 망막은 광 경로를 따라 제1 밝기로 제1 펄스의 IR 광의 일부를 다시 반사하여 목표 영역을 향하게 한다. 이 경우, IR 광은 본질적으로 눈의 망막에서 재귀반사되고, 그에 따라, 광의 밝기는 축외 광원으로부터 눈에 의해 반사된 광보다 더 밝다는 점에 유의한다.
이벤트 카메라 시스템(600)은 선택에 따라, 광 경로를 따라 아이박스에서 반사된 630개의 IR 광을 검출한다. 이벤트 카메라 시스템(600)은 이벤트 카메라를 사용하여 IR 광을 검출한다. 이벤트 카메라는 복수의 광다이오드를 포함하며, 각 광다이오드는: 반사된 IR 광의 일부에 대응하는 강도 값을 검출하고, 강도 임계값에 관련된 광다이오드에 의해 검출된 강도 값과 광다이오드에 의해 이전에 출력된 데이터 값의 차이에 적어도 부분적으로 기초하는 데이터 값을 비동기적으로 출력하도록 구성된다. 이벤트 카메라는 검출된 광의 차이를 측정하기 때문에, 이벤트 카메라는 축외 광원으로부터 눈에 의해 반사된 상대적으로 낮은 밝기의 IR 광으로부터 카메라 어셈블리 내의 IR 광원으로부터 망막에 의해 재귀반사된 상대적으로 높은 밝기의 IR 광으로의 전환에 대응하는 데이터값을 출력한다.
이벤트 카메라 시스템(600)은 이벤트 카메라로부터 출력된 데이터 값으로부터 눈의 동공을 식별한다(640). 위에서 언급한 바와 같이, 이벤트 카메라는 차이 이미지를 출력한다. 일부 실시예에서, 각 축외 광원으로부터 반사되어 센서에 의해 감지된 광은 동공의 둘레의 일부에 대응하는 초승달 모양을 생성한다. 각 축외 광원에 대한 센서 데이터를 순차적으로 또는 동시에 결합함으로써, 이벤트 카메라 시스템은 동공의 둘레에 대응하는 밝은 링 모양을 검출한다.
일부 실시예에서, 차이 이미지는 동축 정렬된 IR 광원으로부터의 광의 재귀반사로 인한 밝기의 변화와 연관된다. 이와 같이, 이벤트 센서에 의해 출력되는 데이터 값은 무엇보다도 동공의 형상을 설명한다. 동공의 모양은 눈의 방향에 따라 변화한다는 점에 유의한다. 일부 실시예에서, 제어기는 동공의 위치를 결정하기 위해 빼기, 확대, 공간 필터링 또는 타원 피팅을 포함한 일련의 저수준 이미지 작업을 수행할 수 있다. 일부 실시예에서, 이러한 저수준 이미지 작업들 중 일부 또는 전부가 하드웨어 가속 전자장치의 제어기(110)에서 구현되는 반면, 일부 작업들은 소프트웨어로 구현될 수 있다. 일부 실시예에서, 제어기는 데이터 값을 사용하여 이미지를 생성하고, 생성된 이미지에서 동공을 식별하기 위해 형상 인식을 사용한다.
이벤트 카메라 시스템(600)은 식별된 동공에 부분적으로 기초하여 사용자의 시선 위치를 결정한다(650). 일부 실시예에서, 이벤트 카메라 시스템(600)은 하나 또는 양쪽 눈의 동공의 상이한 형상을 상이한 시선 위치에 매핑하는 눈 모델을 사용한다. 이러한 맥락에서 시선 위치는 예를 들어, 양쪽 눈의 시선이 교차하는 공간의 위치(즉, 교차점)일 수 있다.
이벤트 카메라 시스템(600)은 이미지 품질 및 검출 성능을 최적화하기 위해 조명 및/또는 카메라 설정을 동적으로 조정한다(660). 예를 들어, 제어기는 광원(즉, 동축 정렬된 IR 광원 및/또는 하나 이상의 축외 광원)에 의해 방출되는 광의 밝기를 증가 또는 감소시키고, 광원이 활성화되는 기간을 조정하고, 이벤트 카메라가 활성화되는 기간을 조정하고, 하나 이상의 축외 광원 중 어느 것이 활성화되는지를 조정하고, 이벤트 카메라의 픽셀이 변화를 보고하기 위한 임계값을 조정하거나, 이들의 일부 조합을 수행할 수 있다. 이와 같이, 제어기는 상기 방법을 사용하여 동공 위치 검출을 최적화하기 위해 이미지에서 배경 노이즈를 완화하고 경우에 따라 제거할 수 있다.
도 7a는 하나 이상의 실시예에 따른, 차동 동공 검출을 위한 이벤트 카메라 시스템을 포함하는 헤드셋(700)의 투시도이다. 도 7b는 도 7a의 헤드셋의 단면도이다. 헤드셋(700)은 다양한 목적을 위해 시선 추적을 수행할 수 있다. 일부 실시예에서, 시선 추적은 사용자의 하나 이상의 건강 메트릭을 결정하기 위해 사용될 수 있다.
일부 실시예에서, 헤드셋(700)은 가변 초점 광학 시스템을 포함한다. 가변 초점 광학 시스템은 헤드셋 사용자의 예상 시선 위치에 따라 그의 초점 거리를 동적으로 조정할 수 있다. 가변 초점 광학 시스템은 각 눈에 대한 가변 초점 렌즈 어셈블리(720)를 포함할 수 있다. 가변 초점 렌즈 어셈블리(720)는 사용자의 시선 위치에 기초하여 그의 초점 거리를 동적으로 조정한다. 가변 초점 렌즈 어셈블리(720)는 가변 초점 렌즈 어셈블리가 초점 거리 범위를 갖도록 단독으로 또는 함께 작동하는 가변 초점 거리의 하나 이상의 광학 요소를 포함한다. 초점 거리의 범위는 가변 초점 렌즈 어셈블리(720)가 가변 광학 파워를 제공할 수 있게 한다. 광학 파워의 범위는 음의 광학 파워, 제로 광학 파워, 양의 광학 파워 또는 이들의 일부 조합을 포함할 수 있다. 일부 실시예에서, 광학 파워의 범위는 연속적이다(예를 들어, 0-3 디옵터). 일부 실시예에서, 광학 파워의 범위는 불연속적이다(예를 들어, 0.1 디옵터 단위로 0 내지 3 디옵터). 그리고 일부 경우, 광학 파워의 이산 범위는 사용자와의 특정 거리(예컨대, 판독 거리, 컴퓨터 거리 및 20피트 초과의 거리)에 대응하도록 설정될 수 있다. 가변 초점 거리의 광학 요소는 예를 들어, 알바레즈 렌즈, 액체 렌즈, 액정 렌즈, 동적으로 조절 가능한 초점 거리를 갖는 다른 렌즈, 또는 이들의 일부 조합일 수 있다. 일부 실시예에서, 가변 초점 렌즈 어셈블리는 또한 고정 초점 거리의 하나 이상의 광학 요소 및/또는 프리즘을 포함할 수 있다.
이벤트 카메라 시스템은 이벤트 카메라 시스템(100)의 실시예이다. 이벤트 카메라 시스템은 축외 광원(760), 카메라 어셈블리(770), 및 제어기(730)를 포함한다. 축외 광원(760), 카메라 어셈블리(770) 및 제어기(730)는 축외 광원(115), 카메라 어셈블리(105) 및 제어기(110)의 실시예이다.
일부 실시예에서, 렌즈(720)는 눈(130)의 위치에 기초하여 자동 초점이 맞춰지도록 구성될 수 있다. 사용자의 눈(130)은 눈의 렌즈의 생물학적 조정에 의해 물체에 초점을 맞춰야 하는 3D 장면을 자연스럽게 보고 있으며, 눈(130)은 각각이 물체와 동공 축이 정렬되도록 회전하고 있다. 눈(130)의 회전은 물체와의 거리를 나타내는 버전스(vergence)로 알려져 있다. 예를 들어, 도 1, 2a, 2b, 4a-c, 5a, 5b 및 6과 관련하여 전술한 바와 같이, 축외 광원(760) 및 카메라 어셈블리(770)는 동공 위치를 포함하는 눈(130)으로부터의 이미지 데이터를 수집하는 데 사용될 수 있으며, 제어기(730)는 카메라 어셈블리(770)의 이벤트 카메라가 출력하는 데이터 값으로부터 동공 위치를 계산한다. 각 눈의 동공 위치는 사용자의 시선 위치(즉, 버전스)를 계산하는 데 사용될 수 있으며, 따라서 사용자가 바라보고 있는 거리를 계산할 수 있다. 제어기(730)는 이 추정치를 사용하여 렌즈(720)의 초점 상태를 구동하여 렌즈의 광학 파워를 예상 시선 위치까지의 거리와 일치시킨다.
일부 실시예에서, 이벤트 카메라 시스템(700)은 눈 위치에 기초하여 사용자의 건강 메트릭을 획득하도록 구성된다. 예를 들어, 도 1, 2a, 2b, 4a-c, 5a, 5b, 및 6과 관련하여 전술한 바와 같이, 축외 광원(760) 및 카메라 어셈블리(770)는 동공 위치를 포함하는 눈(130)으로부터의 이미지 데이터를 수집하는 데 사용될 수 있으며, 제어기(730)는 카메라 어셈블리(770)의 이벤트 카메라가 출력하는 데이터 값으로부터 동공 위치를 계산한다. 각 눈의 동공 위치는 사용자의 시선 위치를 계산하는 데 사용될 수 있다. 제어기(730)는 이 추정치를 사용하여 적절한 목적을 위해 사용자의 시선 위치를 추적할 수 있다.
추가 구성 정보
전술한 실시예에 대한 설명은 예시를 위해 제시된 것으로, 배타적이거나 특허권을 개시된 정확한 형태로 제한하려는 의도는 아니다. 당업자는 상기의 개시를 고려하여 많은 수정 및 변형이 가능하다는 것을 인식할 수 있을 것이다.
본 명세서의 일부 부분은 정보에 대한 작업의 알고리즘 및 기호적 표현의 관점에서 실시예를 설명한다. 이러한 알고리즘 설명 및 표현은 당업자가 다른 당업자에게 작업의 실체를 효과적으로 전달하기 위해 일반적으로 사용된다. 이러한 작업은 기능적, 계산적 또는 논리적으로 설명되지만 컴퓨터 프로그램 또는 이에 상응하는 전기 회로, 마이크로코드 등에 의해 구현되는 것으로 이해된다. 또한, 이러한 작업 배열을 일반성을 잃지 않고 모듈로 지칭하는 것이 때때로 편리하다는 것이 입증되었다. 설명된 동작 및 그와 관련된 모듈은 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 임의의 조합으로 구체화될 수 있다.
본원에 설명된 단계, 동작, 또는 프로세스는 하나 이상의 하드웨어 또는 소프트웨어 모듈을 단독으로 또는 다른 디바이스와 조합하여 수행하거나 구현할 수 있다. 일 실시예에서, 소프트웨어 모듈은 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품으로 구현되며, 컴퓨터 프로세서에 의해 실행되어 설명된 단계, 동작, 또는 프로세스의 일부 또는 전부를 수행할 수 있다.
실시예들은 또한 본원의 동작을 수행하기 위한 장치와 관련될 수 있다. 이 장치는 필요한 목적을 위해 특별히 구성될 수 있고, 및/또는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 디바이스를 포함할 수 있다. 이러한 컴퓨터 프로그램은 비일시적이고 유형적인 컴퓨터 판독 가능 저장 매체 또는 컴퓨터 시스템 버스에 결합될 수 있는 전자 명령어를 저장하기에 적합한 임의의 유형의 매체에 저장될 수 있다. 또한, 본 명세서에서 언급된 컴퓨팅 시스템은 단일 프로세서를 포함할 수도 있고, 증가된 컴퓨팅 능력을 위해 복수의 프로세서 설계를 사용하는 아키텍처일 수도 있다.
실시예들은 또한 본 명세서에 설명된 컴퓨팅 프로세스에 의해 생성되는 제품과 관련될 수 있다. 이러한 제품은 컴퓨팅 프로세스에 의해 생성되는 정보를 포함할 수 있으며, 여기서 정보는 비일시적이고 유형적인 컴퓨터 판독 가능한 저장 매체에 저장되고, 본원에 설명된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.
마지막으로, 본 명세서에서 사용된 언어는 주로 가독성 및 설명 목적을 위해 선택되었으며, 특허권을 설명하거나 한정하기 위해 선택되지 않았을 수 있다. 따라서 특허권의 범위는 본 상세한 설명에 의해 제한되는 것이 아니라, 본 명세서에 기초하여 출원된 모든 청구항에 의해 제한되는 것이 바람직합니다. 따라서, 실시예의 개시는 특허권의 범위를 예시하기 위한 것이지 제한하기 위한 것이 아니며, 이는 다음 청구범위에 기재된 특허권의 범위를 한정하는 것이 아니다.

Claims (20)

  1. 시선 추적 시스템으로서,
    제1 기간 동안 제1 펄스의 적외선(IR) 광을 방출하는 제1 적외선(IR) 광원- 상기 제1 펄스의 IR 광은 광 경로를 따라 사용자의 눈을 포함하는 아이박스를 향하고, 상기 눈은 상기 제1 펄스의 IR 광의 일부를 제1 밝기로 상기 광 경로를 따라 목표 영역을 향해 반사하고, 상기 눈은 축외 IR 광원(off-axis IR light source)에서 방출된 IR 광을 제2 밝기로 상기 광 경로를 따라 상기 목표 영역을 향해 반사함 -과,
    상기 목표 영역에 위치한 이벤트 카메라- 상기 이벤트 카메라는 상기 광 경로를 따라 상기 아이박스로부터 반사된 IR 광을 검출하도록 구성되고, 상기 이벤트 카메라는 복수의 광다이오드를 포함하며, 각각의 광다이오드는:
    상기 반사된 제1 펄스의 IR 광의 일부에 대응하는 강도 값을 검출하고,
    강도 임계값에 관련된 상기 광다이오드에 의해 검출된 상기 강도 값과 상기 광다이오드에 의해 이전에 출력된 다른 데이터 값의 차이에 적어도 부분적으로 기초하는 데이터 값을 비동기적으로 출력하도록 구성됨 -와,
    제어기를 포함하되,
    상기 제어기는:
    상기 제1 펄스의 IR 광으로부터 야기되는 상기 이벤트 카메라로부터 출력된 데이터 값으로부터 상기 눈의 동공을 식별하고,
    상기 식별된 동공에 부분적으로 기초하여 상기 사용자의 시선 위치를 결정하도록 구성된,
    시선 추적 시스템.
  2. 제1항에 있어서,
    제2 펄스의 IR 광을 방출하도록 구성된 제2 IR 광원을 더 포함하되, 상기 제2 IR 광원은 상기 축외 IR 광원이고,
    상기 제어기는 제2 기간에 걸쳐 상기 제2 펄스의 IR 광을 방출할 것을 상기 제2 IR 광원에 지시하도록 더 구성되고, 상기 제1 기간과 상기 제2 기간은 부분적으로 겹치는,
    시선 추적 시스템.
  3. 제2항에 있어서,
    상기 제1 IR 광원은 상기 광 경로에 대해 축을 벗어난 방출을 하고,
    상기 시선 추적 시스템은 상기 아이박스와 상기 이벤트 카메라 사이의 상기 광 경로 내에 배치된 빔 스플리터를 더 포함하되, 상기 빔 스플리터는 실질적으로 상기 광 경로를 따라 전파되도록 상기 제1 펄스의 IR 광의 적어도 일부의 방향을 전환하고, 상기 눈에서 반사된 IR 광을 상기 광 경로를 따라 상기 이벤트 카메라를 향해 다시 전송하도록 구성된,
    시선 추적 시스템.
  4. 제1항에 있어서,
    상기 강도 임계값은 상기 제1 펄스의 IR 광으로부터 생성된 데이터 값이 상기 동공에 대응하도록 하는,
    시선 추적 시스템.
  5. 제1항에 있어서,
    상기 제어기는 상기 제1 펄스의 IR 광을 방출하도록 상기 제1 IR 광원에 지시하도록 더 구성되고, 상기 제1 펄스의 IR 광은 펄스 폭이 1 초 이하인,
    시선 추적 시스템.
  6. 제1항에 있어서,
    상기 제어기는, 0%보다 크고 100% 미만인 듀티 사이클의 펄스 레이트로 복수의 펄스의 IR 광을 방출하도록 상기 제1 IR 광원에 지시하도록 더 구성되고, 상기 복수의 펄스의 IR 광은 1 초 이하의 주기를 가지며, 상기 복수의 펄스의 IR 광은 상기 제1 펄스의 IR 광을 포함하는,
    시선 추적 시스템.
  7. 제1항에 있어서,
    상기 제어기는,
    펄스 레이트로 복수의 펄스의 IR 광을 방출하도록 상기 제1 IR 광원에 지시하고- 상기 복수의 펄스의 IR 광은 상기 제1 펄스의 IR 광을 포함함 -,
    상기 복수의 펄스의 IR 광의 각 펄스의 IR 광의 결과로 출력되는 데이터 값을 사용하여 복수의 이미지 프레임의 각각의 이미지 프레임을 생성하고,
    상기 생성된 복수의 이미지 프레임에 부분적으로 기초하여 상기 눈의 방향을 추적하도록 구성된,
    시선 추적 시스템.
  8. 제1 적외선(IR) 광원에 의해, 제1 기간 동안 제1 펄스의 IR 광을 방출하는 단계- 상기 제1 펄스의 IR 광은 광 경로를 따라 사용자의 눈을 포함하는 아이박스를 향하고, 상기 눈은 상기 제1 펄스의 IR 광의 일부를 제1 밝기로 상기 광 경로를 따라 목표 영역을 향해 반사하고, 상기 눈은 축외 IR 광원으로부터 방출된 IR 광을 상기 제1 밝기보다 낮은 제2 밝기로 상기 광 경로를 따라 상기 목표 영역을 향해 다시 반사함 -와,
    상기 목표 영역에 위치한 이벤트 카메라에 의해, 상기 광 경로를 따라 상기 아이박스로부터 반사된 IR 광을 검출하는 단계- 상기 이벤트 카메라는 복수의 광다이오드를 포함하며, 각 광다이오드는,
    상기 반사된 제1 펄스의 IR 광의 일부에 대응하는 강도 값을 검출하고,
    강도 임계값에 관련된 상기 광다이오드에 의해 검출된 상기 강도 값과 상기 광다이오드에 의해 이전에 출력된 다른 데이터 값의 차이에 적어도 부분적으로 기초하는 데이터 값을 비동기적으로 출력하도록 구성됨 -와,
    제어기에 의해, 상기 제1 펄스의 IR 광으로부터 야기되는 상기 이벤트 카메라로부터 출력된 데이터 값으로부터 상기 눈의 동공을 식별하는 단계와,
    상기 제어기에 의해, 상기 식별된 동공에 부분적으로 기초하여 상기 사용자의 시선 위치를 결정하는 단계를 포함하는,
    방법.
  9. 제8항에 있어서,
    제2 IR 광원에 의해, 제2 펄스의 IR 광을 방출하는 단계- 상기 제2 IR 광원은 상기 축외 IR 광원임 -와,
    상기 제어기에 의해, 제2 기간 동안 상기 제2 펄스의 IR 광을 방출하도록 상기 제2 IR 광원에 지시하는 단계- 상기 제1 기간과 상기 제2 기간은 부분적으로 겹침 -를 더 포함하는,
    방법.
  10. 제9항에 있어서,
    상기 아이박스와 상기 이벤트 카메라 사이의 상기 광 경로 내에 배치된 빔 스플리터에 의해, 실질적으로 상기 광 경로를 따라 전파되도록 상기 제1 펄스의 IR 광의 적어도 일부의 방향을 전환하고, 상기 눈에서 반사된 IR 광을 상기 광 경로를 따라 상기 이벤트 카메라를 향해 다시 전송하는 단계를 더 포함하는,
    방법.
  11. 제8항에 있어서,
    상기 강도 임계값은 상기 제1 펄스의 IR 광으로부터 생성된 상기 데이터 값이 상기 동공에 대응하도록 하는,
    방법.
  12. 제8항에 있어서,
    상기 제어기에 의해, 상기 제1 펄스의 IR 광을 방출하도록 상기 제1 IR 광원에 지시하는 단계를 더 포함하되, 상기 제1 펄스의 IR 광은 펄스 폭이 1 초 이하인,
    방법.
  13. 제8항에 있어서,
    상기 제어기에 의해, 0%보다 크고 100% 미만인 듀티 사이클의 펄스 레이트로 복수의 펄스의 IR 광을 방출하도록 상기 제1 IR 광원에 지시하는 단계를 더 포함하되, 상기 복수의 펄스의 IR 광은 1 초 이하의 주기를 가지며, 상기 복수의 펄스의 IR 광은 상기 제1 펄스의 IR 광을 포함하는,
    방법.
  14. 제8항에 있어서,
    상기 제어기에 의해, 펄스 레이트로 복수의 펄스의 IR 광을 방출하도록 상기 제1 IR 광원에 지시하는 단계- 상기 복수의 펄스의 IR 광은 상기 제1 펄스의 IR 광을 포함함 -와,
    상기 제어기에 의해, 상기 복수의 펄스의 IR 광의 각 펄스의 IR 광의 결과로 출력되는 데이터 값을 사용하여 복수의 이미지 프레임의 각각의 이미지 프레임을 생성하는 단계와,
    상기 제어기에 의해, 상기 생성된 복수의 이미지 프레임에 부분적으로 기초하여 상기 눈의 방향을 추적하는 단계를 더 포함하는,
    방법.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020237024146A 2020-12-17 2021-12-16 동공 검출 및 시선 추적을 위한 이벤트 카메라 시스템 KR102669768B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247017063A KR20240093875A (ko) 2020-12-17 2021-12-16 동공 검출 및 시선 추적을 위한 이벤트 카메라 시스템

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063126750P 2020-12-17 2020-12-17
US63/126,750 2020-12-17
PCT/US2021/063734 WO2022133048A1 (en) 2020-12-17 2021-12-16 Event camera system for pupil detection and eye tracking

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247017063A Division KR20240093875A (ko) 2020-12-17 2021-12-16 동공 검출 및 시선 추적을 위한 이벤트 카메라 시스템

Publications (2)

Publication Number Publication Date
KR20230121847A KR20230121847A (ko) 2023-08-21
KR102669768B1 true KR102669768B1 (ko) 2024-05-29

Family

ID=82021272

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020247017063A KR20240093875A (ko) 2020-12-17 2021-12-16 동공 검출 및 시선 추적을 위한 이벤트 카메라 시스템
KR1020237024146A KR102669768B1 (ko) 2020-12-17 2021-12-16 동공 검출 및 시선 추적을 위한 이벤트 카메라 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020247017063A KR20240093875A (ko) 2020-12-17 2021-12-16 동공 검출 및 시선 추적을 위한 이벤트 카메라 시스템

Country Status (7)

Country Link
US (2) US11543883B2 (ko)
EP (1) EP4264551A4 (ko)
JP (2) JP7507319B2 (ko)
KR (2) KR20240093875A (ko)
CA (1) CA3205624A1 (ko)
IL (1) IL303742A (ko)
WO (1) WO2022133048A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10956737B1 (en) * 2017-10-24 2021-03-23 Wells Fargo Bank, N.A. System and apparatus for improved eye tracking using a mobile device
WO2021034961A1 (en) * 2019-08-19 2021-02-25 Magic Leap, Inc. Eye tracking and gaze estimation using off-axis camera
WO2021174106A1 (en) * 2020-02-28 2021-09-02 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for event-based gaze tracking
CN114938418A (zh) * 2021-02-04 2022-08-23 佳能株式会社 具有视线检测功能的取景器单元、摄像设备和附接配件
US11853473B2 (en) * 2021-08-18 2023-12-26 Meta Platforms Technologies, Llc Differential illumination for corneal glint detection
US20230176377A1 (en) * 2021-12-06 2023-06-08 Facebook Technologies, Llc Directional illuminator and display apparatus with switchable diffuser
US12002290B2 (en) * 2022-02-25 2024-06-04 Eyetech Digital Systems, Inc. Systems and methods for hybrid edge/cloud processing of eye-tracking image data
US11912429B2 (en) * 2022-04-05 2024-02-27 Gulfstream Aerospace Corporation System and methodology to provide an augmented view of an environment below an obstructing structure of an aircraft
WO2023215112A1 (en) * 2022-05-04 2023-11-09 Apple Inc. Retinal reflection tracking for gaze alignment
US12061343B2 (en) 2022-05-12 2024-08-13 Meta Platforms Technologies, Llc Field of view expansion by image light redirection
US11995226B2 (en) 2022-06-10 2024-05-28 Sony Interactive Entertainment Inc. Dynamic vision sensor tracking based on light source occlusion
US12059609B2 (en) 2022-06-10 2024-08-13 Sony Interactive Entertainment Inc. Asynchronous dynamic vision sensor LED AI tracking system and method
US12064682B2 (en) 2022-06-10 2024-08-20 Sony Interactive Entertainment Inc. Deployment of dynamic vision sensor hybrid element in method for tracking a controller and simultaneous body tracking, slam or safety shutter
US12029971B2 (en) 2022-06-10 2024-07-09 Sony Interactive Entertainment LLC Hybrid pixel dynamic vision sensor tracking using IR and ambient light (or depth sensor)
US20230400915A1 (en) * 2022-06-10 2023-12-14 Sony Interactive Entertainment Inc. Dynamic vision sensor based eye and/or facial tracking
US20240098360A1 (en) * 2022-09-16 2024-03-21 Zinn Labs, Inc. Object tracking system using a differential camera
WO2024157647A1 (ja) * 2023-01-23 2024-08-02 キヤノン株式会社 測定装置、測定方法、およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060110008A1 (en) 2003-11-14 2006-05-25 Roel Vertegaal Method and apparatus for calibration-free eye tracking

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000506998A (ja) * 1996-03-15 2000-06-06 レティナル ディスプレイ ケイマン リミティッド 画像を見るための方法及び装置
US6433760B1 (en) * 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US9405364B2 (en) 2010-10-29 2016-08-02 IT-Universitetet i København Method of determining reflections of light
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US8970452B2 (en) 2011-11-02 2015-03-03 Google Inc. Imaging method
US8824779B1 (en) 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
US9201512B1 (en) 2012-04-02 2015-12-01 Google Inc. Proximity sensing for input detection
US10437327B2 (en) * 2015-05-08 2019-10-08 Apple Inc. Eye tracking device and method for operating an eye tracking device
WO2017154370A1 (ja) 2016-03-09 2017-09-14 アルプス電気株式会社 視線検出装置および視線検出方法
CN110914737A (zh) * 2017-05-29 2020-03-24 爱威愿景有限公司 图像投影系统
US10466779B1 (en) 2017-07-24 2019-11-05 Facebook Technologies, Llc Event camera for eye tracking
KR102416282B1 (ko) 2017-09-28 2022-07-01 애플 인크. 이벤트 카메라 데이터를 사용한 눈 추적을 위한 방법 및 디바이스
CA3084546C (en) 2017-12-03 2023-01-31 Frank Jones Enhancing the performance of near-to-eye vision systems
US11442539B2 (en) * 2018-01-24 2022-09-13 Apple Inc. Event camera-based gaze tracking using neural networks
US10845601B1 (en) 2018-02-07 2020-11-24 Apple Inc. AR/VR controller with event camera
US10976814B2 (en) * 2018-04-16 2021-04-13 Google Llc Method and system for eye tracking with glint space recalibration on wearable heads-up display
US10795435B2 (en) 2018-07-19 2020-10-06 Samsung Electronics Co., Ltd. System and method for hybrid eye tracker
WO2020064778A2 (en) * 2018-09-28 2020-04-02 Carl Zeiss Meditec, Inc. Low cost fundus imager with integrated pupil camera for alignment aid
CN114258279A (zh) 2019-08-16 2022-03-29 苹果公司 使用经调制的同轴照明的瞳孔评估
US11604367B2 (en) 2020-04-08 2023-03-14 Facense Ltd. Smartglasses with bendable temples
GB2595707B (en) 2020-06-04 2023-02-15 Sony Interactive Entertainment Inc Gaze tracking apparatus and systems
US11164019B1 (en) 2020-06-17 2021-11-02 Fotonation Limited Object detection for event cameras
GB2596541B (en) 2020-06-30 2023-09-13 Sony Interactive Entertainment Inc Video processing
GB2596588B (en) 2020-07-03 2022-10-26 Sony Interactive Entertainment Inc Data processing apparatus and method
GB2597533B (en) 2020-07-28 2022-11-23 Sony Interactive Entertainment Inc Gaze tracking system and method
CN116507267A (zh) 2020-09-22 2023-07-28 苹果公司 用于视网膜眼睛跟踪的多个注视相关照明源
US20230367393A1 (en) 2020-10-13 2023-11-16 Sony Group Corporation Line-of-sight detection device, display device, and method for sensing eyeball

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060110008A1 (en) 2003-11-14 2006-05-25 Roel Vertegaal Method and apparatus for calibration-free eye tracking

Also Published As

Publication number Publication date
WO2022133048A1 (en) 2022-06-23
IL303742A (en) 2023-08-01
JP7507319B2 (ja) 2024-06-27
JP2023550538A (ja) 2023-12-01
EP4264551A4 (en) 2024-07-24
KR20230121847A (ko) 2023-08-21
US20230195220A1 (en) 2023-06-22
JP2024111091A (ja) 2024-08-16
CA3205624A1 (en) 2022-06-23
US11543883B2 (en) 2023-01-03
US20240160012A1 (en) 2024-05-16
EP4264551A1 (en) 2023-10-25
US20220197376A1 (en) 2022-06-23
KR20240093875A (ko) 2024-06-24

Similar Documents

Publication Publication Date Title
KR102669768B1 (ko) 동공 검출 및 시선 추적을 위한 이벤트 카메라 시스템
EP3453316B1 (en) Eye tracking using eyeball center position
US7430365B2 (en) Safe eye detection
KR102561991B1 (ko) 아이웨어 장착 가능 안구 추적 디바이스
EP3042312B1 (en) Low power eye tracking system and method
US20180160079A1 (en) Pupil detection device
CN106663183B (zh) 眼睛跟踪及用户反应探测
US10585477B1 (en) Patterned optical filter for eye tracking
EP2823751B1 (en) Eye gaze imaging
EP2226703A2 (en) Wearable eye tracking system
US10452911B2 (en) Gaze-tracking system using curved photo-sensitive chip
US11243607B2 (en) Method and system for glint/reflection identification
US20190235248A1 (en) Gaze-tracking system using illuminators emitting different wavelengths
US20200187774A1 (en) Method and system for controlling illuminators
JP2019501720A (ja) 視線追跡のためのシステムおよび装置
JP6957048B2 (ja) 眼部画像処理装置
JP2023500210A (ja) 高性能な明瞳孔アイトラッキング
JP2009240551A (ja) 視線検出装置
WO2019185136A1 (en) Method and system for controlling illuminators
EP3801196B1 (en) Method and system for glint/reflection identification
US12124624B2 (en) Eye tracking system with off-axis light sources
JP6687195B2 (ja) 眼部画像処理装置
JP6370168B2 (ja) 照明撮像装置及びそれを備えた視線検出装置
US20240094811A1 (en) Tracking system using a differential camera with a co-aligned light source assembly

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent