KR102594526B1 - 피드백 루프 및 다수의 전력 상태들을 갖는 센서 시스템 아키텍처 - Google Patents
피드백 루프 및 다수의 전력 상태들을 갖는 센서 시스템 아키텍처 Download PDFInfo
- Publication number
- KR102594526B1 KR102594526B1 KR1020217030658A KR20217030658A KR102594526B1 KR 102594526 B1 KR102594526 B1 KR 102594526B1 KR 1020217030658 A KR1020217030658 A KR 1020217030658A KR 20217030658 A KR20217030658 A KR 20217030658A KR 102594526 B1 KR102594526 B1 KR 102594526B1
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- pixels
- event
- events
- subset
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
- H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
Abstract
일 구현예에서, 시스템은 픽셀 어레이를 갖는 이벤트 센서 및 이미지 파이프라인을 포함한다. 픽셀 어레이는 활성 상태의 픽셀들의 제1 서브세트 및 비활성 상태의 픽셀들의 제2 서브세트를 동작시키도록 구성된다. 이벤트 센서는 픽셀 이벤트들을 출력하도록 구성된다. 각각 각자의 픽셀 이벤트는 픽셀들의 제1 서브세트 내의 특정 픽셀이 비교기 임계치를 초과하는 광 세기의 변화를 검출하는 것에 응답하여 생성된다. 이미지 파이프라인은 픽셀 이벤트들로부터 유도된 이미지 데이터를 소비하고, 이미지 데이터에 기초하여 피드백 정보를 이벤트 센서에 통신하도록 구성된다. 피드백 정보는 픽셀들의 제1 서브세트 내의 픽셀이 활성 상태로부터 다른 상태로 전이하게 한다.
Description
관련 출원들의 상호 참조
본 출원은 2020년 3월 20일에 출원된 국제 출원 제_______________ 호에 관한 것이며, 발명의 명칭이 "HARDWARE IMPLEMENTATION OF SENSOR ARCHITECTURE WITH MULTIPLE POWER STATES"으로서, 이는 전체적으로 복제된 것과 같이 본 명세서에 참고로 포함된다.
기술분야
본 발명은 일반적으로 이미지 프로세싱 분야에 관한 것으로, 특히, 피드백 루프(feedback loop) 및 다수의 전력 상태들을 지원하도록 구성된 센서를 갖는 센서 시스템 아키텍처를 구현하기 위한 기술들에 관한 것이다.
이벤트 카메라는 동적 비전 센서(dynamic vision sensor, DVS), 실리콘 망막, 이벤트-기반 센서, 또는 프레임-리스(frame-less) 센서로 지칭되는 이미지 센서를 포함할 수 있다. 따라서, 이벤트 카메라는 각각의 픽셀에서 절대 광 세기에 관해 프레임-기반 카메라들에 의해 출력된 데이터와는 대조적으로 각각의 픽셀 센서에서 광 세기의 변화들에 관한 데이터를 생성(및 송신)한다. 달리 말하면, 프레임-기반 카메라가 그의 시야 내에 배치된 장면의 조명 레벨이 정적으로 유지될 때 각각의 픽셀에서 절대 광 세기에 관한 데이터를 계속해서 생성(및 송신)할 것인 반면, 이벤트 카메라는 조명 레벨의 변화가 검출될 때까지 데이터를 생성하거나 송신하는 것을 억제할 것이다.
일부 이미지 프로세싱 동작들은 이벤트 구동 센서에 의해 출력되는 픽셀 이벤트들로부터 유도된 이미지 데이터의 전체 세트보다 적게 이용한다. 그러한 이미지 프로세싱 동작들은 이미지 데이터를 크로핑(cropping)하고 크로핑된 이미지 데이터를 프로세싱하여 전력 등을 보존함으로써 계산 효율을 개선할 수 있다. 그러나, 크로핑된 이미지 데이터 외부의 이미지 데이터에 대응하는 이벤트 구동 센서의 픽셀들은 계속해서 동작하고, 따라서 전력을 계속해서 소비한다. 이와 같이, 이미지 프로세싱 동작들이 이벤트 구동 센서에 의해 출력되는 픽셀 이벤트들로부터 유도된 이미지 데이터의 전체 세트보다 적게 이용할 때 발생하는 이러한 비효율을 다루는 것이 바람직하다.
본 명세서에 개시된 다양한 구현예들은 피드백 루프 및 다수의 전력 상태들을 지원하도록 구성된 이벤트 구동 센서를 갖는 이벤트 카메라 시스템 아키텍처를 구현하기 위한 기술들에 관한 것이다. 일 구현예에서, 시스템은 픽셀 어레이를 갖는 이벤트 센서 및 이미지 파이프라인을 포함한다. 픽셀 어레이는 활성 상태의 픽셀들의 제1 서브세트 및 비활성 상태의 픽셀들의 제2 서브세트를 동작시키도록 구성된다. 이벤트 센서는 픽셀 이벤트들을 출력하도록 구성된다. 각각 각자의 픽셀 이벤트는 픽셀들의 제1 서브세트 내의 특정 픽셀이 비교기 임계치를 초과하는 광 세기의 변화를 검출하는 것에 응답하여 생성된다. 이미지 파이프라인은 픽셀 이벤트들로부터 유도된 이미지 데이터를 소비하고, 이미지 데이터에 기초하여 피드백 정보를 이벤트 센서에 통신하도록 구성된다. 피드백 정보는 픽셀들의 제1 서브세트 내의 픽셀이 활성 상태로부터 다른 상태로 전이하게 한다.
다른 구현예에서, 시스템은 이벤트 센서, 프로세서, 및 컴퓨터 판독가능 저장 매체를 포함한다. 이벤트 센서는 전체 전력 모드에서 동작하는 픽셀들의 활성 영역 및 셧다운 전력 모드 또는 감소된 전력 모드에서 동작하는 픽셀들의 비활성 영역을 갖도록 구성된 픽셀 어레이를 포함한다. 프로세서에 의한 실행 시에 시스템으로 하여금 동작들을 수행하게 하는 명령어들을 포함하는 컴퓨터 판독가능 저장 매체. 동작들은 이벤트 센서로부터 이미지 파이프라인으로 픽셀 이벤트들을 출력하는 것을 포함한다. 각각 각자의 픽셀 이벤트는 픽셀들의 활성 영역 내의 특정 픽셀이 비교기 임계치를 초과하는 광 세기의 변화를 검출하는 것에 응답하여 생성된다. 동작들은 픽셀 이벤트들로부터 유도된 이미지 데이터에 기초하여 이미지 파이프라인으로부터 피드백 정보를 수신하는 것을 더 포함한다. 픽셀들의 활성 영역 내의 픽셀은 피드백 정보를 수신하는 것에 응답하여 셧다운 전력 모드 또는 감소된 전력 모드에서 동작하도록 지시받는다.
다른 구현예에서, 시스템은 프로세서, 이미지 파이프라인, 및 프로세서에 의한 실행 시에 시스템으로 하여금 동작들을 수행하게 하는 명령어들을 포함하는 컴퓨터 판독가능 저장 매체를 포함한다. 동작들은, 이미지 파이프라인에 의해, 활성 상태의 픽셀들의 제1 서브세트 및 비활성 상태의 픽셀들의 제2 서브세트를 포함하는 픽셀 어레이를 갖는 이벤트 센서로부터 픽셀 이벤트들을 수신하는 것을 포함한다. 각각 각자의 픽셀 이벤트는 픽셀들의 제1 서브세트 내의 특정 픽셀이 비교기 임계치를 초과하는 광 세기의 변화를 검출하는 것에 응답하여 생성된다. 동작들은 이미지 파이프라인을 이용해 픽셀 이벤트들로부터 이미지 데이터를 유도하는 것을 더 포함한다. 이미지 파이프라인은 이미지 데이터에 기초하여 피드백 정보를 생성한다. 피드백 정보는 이벤트 센서가 픽셀들의 제1 서브세트 내의 픽셀에게 활성 상태로부터 다른 상태로 전이하도록 지시하게 한다.
본 개시내용이 당업자들에 의해 이해될 수 있도록, 더 상세한 설명이 일부 예시적인 구현예들의 양태들에 대한 참조에 의해 이루어질 수 있으며, 이들 중 일부는 첨부 도면들에 도시된다.
도 1은 일부 구현예들에 따른 이벤트 센서의 기능 블록도를 예시한다.
도 2는 활성 동작 상태, 대기 동작 상태, 및 비활성 동작 상태를 지원하도록 구성된 하드웨어 아키텍처를 갖는 이벤트 구동 센서들을 구현하기 위한 예시적인 시스템의 블록도이다.
도 3은 이미지 파이프라인이 이벤트 센서에 의해 출력된 픽셀 이벤트들로부터 유도하는 이미지 데이터의 전체 세트의 예를 예시한다.
도 4는 이미지 파이프라인이 이벤트 센서에 의해 출력된 픽셀 이벤트들로부터 유도하는 크로핑된 이미지 데이터의 예를 예시한다.
도 5는 이미지 파이프라인으로부터 수신된 피드백 정보에 기초하여 상이한 동작 상태들을 갖는 이벤트 센서의 픽셀 어레이 내의 상이한 픽셀들의 예를 예시한다.
도 6은 이미지 파이프라인으로부터 수신된 피드백 정보가 제1 시간과 제2 시간 사이에서 업데이트됨에 따라 일부 픽셀들의 동작 상태들을 변경하는 상이한 동작 상태들을 갖는 상이한 픽셀들을 갖는 픽셀 어레이의 예를 예시한다.
도 7은 이미지 파이프라인으로부터 수신된 피드백 정보가 제1 시간과 제2 시간 사이에서 업데이트됨에 따라 하나의 동작 상태로부터 다른 동작 상태로 전이하는 도 6의 픽셀 어레이 내의 픽셀들의 서브세트들을 예시한다.
도 8은 일부 구현예들에 따른, 추가 프로세싱을 위해 이벤트 센서가 출력한 픽셀 이벤트들의 예시적인 2차원("2-D") 타일들을 예시한다.
도 9는 일부 구현예들에 따른 예시적인 머리-장착형 디바이스(head-mounted device, HMD)의 블록도이다.
도 10은 피드백 루프 및 다수의 전력 상태들을 지원하도록 구성된 이벤트 구동 센서를 갖는 이벤트 카메라 시스템 아키텍처를 구현하는 방법의 예를 예시한 흐름도이다.
도 11은 피드백 루프 및 다수의 전력 상태들을 지원하도록 구성된 이벤트 구동 센서를 갖는 이벤트 카메라 시스템 아키텍처를 구현하는 방법의 다른 예를 예시한 흐름도이다.
일반적인 실시에 따라, 도면에 예시된 다양한 특징부들은 축척대로 그려지지 않을 수 있다. 따라서, 다양한 특징부들의 치수들은 명료함을 위해 임의대로 확대 또는 축소될 수 있다. 부가적으로, 도면들 중 일부는 주어진 시스템, 방법 또는 디바이스의 컴포넌트들 모두를 묘사하지는 않을 수 있다. 마지막으로, 동일한 도면 번호들은 명세서 및 도면들 전반에 걸쳐 동일한 특징부들을 나타내기 위해 사용될 수 있다.
발명의 설명
도면들에 도시된 예시적인 구현예들의 완전한 이해를 제공하기 위해 다수의 세부사항들이 설명된다. 그러나, 도면들은 단지 본 개시내용의 일부 예시적인 양태들만을 도시할 뿐이며, 따라서 제한적인 것으로 고려되지 않는다. 통상의 기술자는 다른 효과적인 양태들 또는 변형들이 본 명세서에 설명되는 특정 세부사항들 모두를 포함하지는 않음을 인식할 것이다. 또한, 잘 알려진 시스템들, 방법들, 컴포넌트들, 디바이스들 및 회로들은 본 명세서에 설명되는 예시적인 구현예들의 더 적절한 양태들을 불명확하게 하지 않기 위해 철저히 상세하게 설명되지 않았다.
예시적인 이벤트 센서(100)의 기능 블록도가 도 1에 의해 예시된다. 이벤트 센서(100)는 이벤트 센서(100)의 시야 내에 배치된 장면으로부터 광을 수신하도록 위치된 복수의 픽셀들(105)을 포함한다. 도 1에서, 복수의 픽셀들(105)은 행들 및 열들의 매트릭스(107)에 배열되고, 따라서, 복수의 픽셀들(105) 각각은 행 값 및 열 값과 연관된다. 복수의 픽셀들(105) 각각은 광검출기 회로(110) 및 이벤트 회로(180)를 포함한다.
광검출기 회로(110)는 각자의 픽셀(105)("입사 조명")에 입사하는 광의 세기를 나타내는 신호들을 생성하도록 구성된다. 이를 위해, 광검출기 회로(110)는 입사 조명의 세기에 비례하는 광전류를 생성하도록 구성된 포토다이오드(112)를 포함한다. 포토다이오드(112)에 의해 생성된 광전류는 트랜지스터들(121, 123, 125, 127)에 의해 형성되는 로그 증폭기(120) 내로 흐른다. 로그 증폭기(120)는 노드 A에서 광전류를 광전류의 값의 로그(logarithm)인 값을 갖는 전압으로 변환하도록 구성된다. 노드 A에서의 전압은 이어서 이벤트 회로(180)의 차분 회로(140)의 입력 측에 인가되기 전에 트랜지스터들(131, 133)에 의해 형성되는 버퍼 증폭기(130)에 의해 증폭된다.
픽셀(105)은 차분 회로(140), 비교기(160), 및 제어기(170)를 포함하는 이벤트 회로(180)를 더 포함한다. 차분 회로(140)는 교류("AC") 결합 커패시터(145) 및 스위치드 커패시터 증폭기(150)로 구성된다. 차분 회로(140)는 샘플링 노드 B에서 픽셀 데이터를 생성하기 위해 노드 A에서의 전압으로부터 직류("DC") 전압 성분을 제거하도록 구성된다. 노드 A에서 전압으로부터 DC 전압 성분을 제거함으로써, 샘플링 노드 B 데이터에서의 픽셀 데이터는 포토다이오드(112)에 의해 검출되는 입사 조명의 세기의 차분 값을 제공한다. 증폭기(151)에 의해 제공되는 이득은 커패시터(153)에 대한 AC 커플링 커패시터(145)의 각자의 용량성 값들에 의해 정의되는 비율에 대응한다. 리셋 스위치(155)는 리셋 신호가 제어기(170)로부터 수신될 때 활성화된다(즉, 개방 상태로부터 폐쇄 상태로 전이된다). 리셋 스위치(155)를 활성화시킴으로써, 증폭기(151)의 동작점이 비교기(160)의 임계값과 연관된 기준 전압으로 리셋된다.
비교기(160)는 샘플 노드 B로부터 수신된 픽셀 데이터의 픽셀-레벨 프로세싱을 제공하도록 구성된다. 이를 위해, 비교기(160)는, 샘플 노드 B로부터 수신된 픽셀 데이터가 포토다이오드(112)가 임계값을 위반하는 입사 조명의 세기의 변화를 검출했음을 나타낼 때, 전기적 응답(예컨대, 전압)을 출력한다. 대안적으로, 비교기(160)는, 샘플 노드 B로부터 수신된 픽셀 데이터가 포토다이오드(112)가 임계값을 위반하는 입사 조명의 세기의 변화를 검출하지 않았음을 나타낼 때, 전기적 응답을 출력하는 것을 억제한다. 일부 경우들에서, 비교기(160)에 의해 출력된 전기적 응답은 이벤트 데이터로 지칭된다.
일 구현예에서, 비교기(160)는 포지티브(positive) 이벤트들(예컨대, 포지티브 극성을 갖는 이벤트들)을 나타내는 전기적 응답을 출력하도록 구성된 제1 비교기 및 네거티브(negative) 이벤트들(예컨대, 네거티브 극성을 갖는 이벤트들)을 나타내는 전기적 응답을 출력하도록 구성된 제2 비교기를 포함하는 복수의 비교기들을 사용하여 구현된다. 일 구현예에서, 제1 비교기는, 샘플 노드 B로부터 수신된 픽셀 데이터가 포토다이오드(112)가 포지티브 임계값을 위반하는 입사 조명의 세기의 변화를 검출했음을 나타낼 때, 전기적 응답을 출력한다. 일 구현예에서, 제2 비교기는, 샘플 노드 B로부터 수신된 픽셀 데이터가 포토다이오드(112)가 네거티브 임계값을 위반하는 입사 조명의 세기의 변화를 검출했음을 나타낼 때, 전기적 응답을 출력한다.
제어기(170)는 비교기(160)에 의해 출력된 각각의 전기적 응답에 대해 이벤트 컴파일러(190)에 이벤트 신호(예컨대, 이벤트 데이터의 샘플)를 통신하기 위해 이벤트 센서(100)의 다른 컴포넌트들(예컨대, 다른 픽셀들 내의 제어기들)과 조화되도록 구성된다. 일 구현예에서, 리셋 스위치(155)는 비교기(160)가 임계값을 위반하는 샘플링 노드 B에서의 픽셀 데이터를 획득할 때마다 제어기(170)로부터 리셋 신호를 수신한다.
이벤트 컴파일러(190)는 각각이 임계값을 위반하는 입사 조명의 세기의 변화를 나타내는 복수의 픽셀들(105) 각각으로부터 이벤트 신호들(예컨대, 이벤트 데이터의 샘플들)을 수신한다. 복수의 픽셀들(105) 중 특정 픽셀로부터 이벤트 데이터의 샘플을 수신하는 것에 응답하여, 이벤트 컴파일러(190)는 픽셀 이벤트를 생성한다. 이벤트 신호가 포지티브 임계값(또는 전압)을 위반하는 입사 조명의 세기의 변화를 나타내는 픽셀 데이터와 연관된 경우에 이벤트 컴파일러(190)에 의해 생성된 픽셀 이벤트들은 "포지티브" 픽셀 이벤트들로 지칭될 수 있다. 일 구현예에서, 포지티브 픽셀 이벤트들은 상위 임계값 또는 전압("Vth")에 의해 정의된 크기를 초과하는 입사 조명의 세기의 순 증가를 나타내는 포지티브 극성을 갖는 픽셀 이벤트들이다. 이벤트 신호가 네거티브 임계값(또는 전압)을 위반하는 입사 조명의 세기의 변화를 나타내는 픽셀 데이터와 연관된 경우에 이벤트 컴파일러에 의해 생성된 픽셀 이벤트는 "네거티브" 픽셀 이벤트로 지칭될 수 있다. 일 구현예에서, 네거티브 픽셀 이벤트들은 하위 임계값 또는 전압("-Vth")에 의해 정의된 크기를 초과하는 입사 조명의 세기의 순 감소를 나타내는 네거티브 극성을 갖는 픽셀 이벤트들이다.
또한, 이벤트 컴파일러(190)는 이벤트 신호에 포함된 전기적 응답(예컨대, 전기적 응답의 값 또는 극성)을 나타내는 정보로 픽셀 이벤트를 채운다. 일 구현예에서, 이벤트 컴파일러(190)는 또한, 픽셀 이벤트가 생성된 시점에 대응하는 타임스탬프 정보 및 픽셀 이벤트를 트리거한 이벤트 신호를 전송한 특정 픽셀에 대응하는 어드레스 식별자 중 하나 이상으로 픽셀 이벤트를 채운다. 이어서, 이벤트 컴파일러(190)에 의해 생성된 각각의 픽셀 이벤트를 포함하는 픽셀 이벤트들의 스트림은, 추가 프로세싱을 위해 이벤트 센서(100)와 연관된 이미지 파이프라인(예컨대, 이미지 또는 비디오 프로세싱 회로부)(도시되지 않음)에 통신될 수 있다.
예로서, 이벤트 컴파일러(190)에 의해 생성된 픽셀 이벤트들의 스트림은 이미지 데이터를 생성하기 위해 누적되거나 그렇지 않으면 조합될 수 있다. 일부 구현예들에서, 픽셀 이벤트들의 스트림은 세기 재구성 이미지를 제공하도록 조합된다. 이 구현예에서, 세기 재구성 이미지 생성기(도시되지 않음)는 절대 세기 값들을 재구성/추정하기 위해 시간에 걸쳐 픽셀 이벤트들을 누적할 수 있다. 부가적인 픽셀 이벤트들이 누적됨에 따라, 세기 재구성 이미지 생성기는 재구성 이미지에서 대응하는 값들을 변화시킨다. 이러한 방식으로, 그것은 픽셀들 중 단지 일부만이 이벤트들을 최근에 수신했을 수 있더라도 이미지의 모든 픽셀들에 대한 값들의 업데이트된 이미지를 생성 및 유지한다.
다양한 구현예들에서, 이벤트 구동 센서들은 활성 상태, 대기 상태, 및 동작 상태들을 지원하도록 구성된 하드웨어 아키텍처로 구현된다. 일반적으로, 이는, 도 2의 예시적인 시스템(200)에서 보여지는 바와 같이, 이벤트 센서(210)가 이미지 파이프라인(220)으로 픽셀 이벤트들을 출력하고, 이에 응답하여, 이미지 파이프라인(220)으로부터 피드백 정보를 수신하는 것을 포함한다. 이미지 파이프라인(220)은 이벤트 센서(210)에 의해 출력되는 픽셀 이벤트들로부터 유도된 이미지 데이터를 소비하도록 구성된다. 이를 위해, 이미지 파이프라인(220)은 픽셀 이벤트들로부터 이미지 데이터를 유도하기 위해, 도 1에 대해 위에서 논의된 세기 재구성 이미지 생성기와 같은 하나 이상의 컴포넌트들을 포함한다. 이미지 파이프라인(220)의 하나 이상의 컴포넌트들은 하드웨어 컴포넌트들(예컨대, 애플리케이션 특정 집적 회로들, 디지털 신호 프로세서들 등) 및 소프트웨어 컴포넌트들(예컨대, 잡음 감소 프로세스들, 이미지 스케일링 프로세스들, 컬러 공간 변환 프로세스들 등)의 다양한 조합들을 이용하여 구현될 수 있다.
다양한 구현예들에서, 이미지 파이프라인(220)은 이벤트 센서(210)에 의해 출력되는 픽셀 이벤트들로부터 유도된 이미지 데이터의 전체 세트보다 적게 이용하는 일부 기능들을 달성한다. 예로서, 이미지 파이프라인(220)은 (예컨대, SIFT, KAZE 등과 같은 기술들을 사용하여) 픽셀 이벤트들로부터 유도된 이미지 데이터에 묘사된 특징을 검출하고, (예컨대, Kanade-Lucas-Tomasi 추적기, Shi-Tomasi 추적기 등과 같은 기술들을 사용하여) 시간 경과에 따라 그 특징을 추적하도록 구성된 특징 추적기를 더 포함할 수 있다. 이 예에서, 이미지 파이프라인(220)의 특징 추적기는 이벤트 센서(210)에 의해 출력되는 픽셀 이벤트들로부터 유도되는 사용자의 눈을 묘사하는 이미지 데이터를 사용하여 시선 특성들(예컨대, 동공 중심, 동공 윤곽, 반사광(glint) 위치들, 시선 방향 등)을 검출 및 추적함으로써 눈 추적 기능을 달성할 수 있다.
도 3은, 이미지 파이프라인(220)이 이벤트 센서(210)에 의해 출력된 픽셀 이벤트들로부터 유도할 수 있는 사용자의 눈을 묘사하는 이미지 데이터(300)의 전체 세트의 예를 예시한다. 눈 추적 기능을 달성하기 위해, 이미지 파이프라인(220)의 특징 추적기는 관심 영역(320) 내에 존재하는 이미지 데이터(300)의 서브세트를 사용하여 눈 내의 동공 중심("추정 동공 중심")(310)의 위치를 추정하였다. 눈 추적 기능을 달성하기 위해 이미지 데이터(300)의 전체 세트를 프로세싱하는 것은 이미지 파이프라인(220)의 특징 추적기에 대해 계산적으로 집약적일 수 있고, 과도한 전력 및 컴퓨팅 리소스들을 소비할 수 있다. 계산 효율을 개선하고 전력 소비를 감소시키기 위해, 이미지 파이프라인(220)의 특징 추적기는 관심 영역(320) 내에 존재하는 이미지 데이터의 서브세트를 프로세싱할 수 있다. 관심 영역(320)의 외부에 존재하는 이미지 데이터는 도 4에 예시된 바와 같이 크로핑된 이미지 데이터(400)를 형성하도록 크로핑될 수 있다.
관심 영역(320)의 외부에 존재하는 이미지 데이터를 크로핑하는 하나의 기술은 이미지 파이프라인(220)을 사용하여 구현될 수 있다. 이러한 기술에 따르면, 이미지 파이프라인(220)은 이벤트 센서(210)의 시야에 대응하는 픽셀 이벤트들을 수신할 수 있다. 크로핑된 이미지 데이터(400)를 형성하기 위해, 이미지 파이프라인(220)은 관심 영역(320)의 외부에 존재하는 이미지 데이터에 대응하는 픽셀 이벤트들을 무시하거나, 또는 이미지 데이터(300)의 전체 세트를 유도한 후에 관심 영역(320)의 외부에 존재하는 이미지 데이터를 크로핑할 수 있다. 그러나, 어느 경우든, 이벤트 센서(210)는 계속해서 전력을 소비하는, 관심 영역(320)의 외부에 존재하는 이미지 데이터에 대응하는 픽셀 이벤트들을 생성하는 픽셀들의 서브세트를 포함한다. 또한, 관심 영역(320)의 외부에 존재하는 이미지 데이터에 대응하는 픽셀 이벤트들은 이벤트 센서(210)와 이미지 파이프라인(220) 사이의 통신 경로의 대역폭을 계속해서 소모한다. 따라서, 이벤트 센서(210)를 포함하는, 관심 영역(320)의 외부에 존재하는 이미지 데이터를 크로핑하는 기술을 구현하는 것은 전력 및 대역폭 소비를 추가로 감소시킬 수 있다.
이를 위해, 이미지 파이프라인(220)은 도 2에 예시된 바와 같이 피드백 정보를 이벤트 센서(210)에 전달한다. 다양한 구현예들에서, 그러한 피드백 정보는 이벤트 센서(예컨대, 이벤트 센서(210))와 이미지 파이프라인(예컨대, 이미지 파이프라인(220)) 사이의 피드백 루프를 나타낸다. 아래에서 더 상세히 논의되는 바와 같이, 이미지 파이프라인은 이벤트 센서에 의해 출력된 픽셀 이벤트들로부터 유도된 이미지 데이터를 소모한다. 이미지 데이터에 기초하여, 이미지 파이프라인은 이미지 데이터의 다른 부분들보다 특정 이미지 프로세싱 동작에 더 유용할 수 있는 이미지 데이터의 서브세트(예컨대, 관심 영역)에 대응하는 피드백 정보를 생성한다. 즉, 피드백 정보는 특정 이미지 프로세싱 동작에 대해 프로세싱이 수행되는 이미지 데이터의 서브세트에 대응한다. 피드백 정보에 응답하여, 이벤트 센서의 픽셀 어레이 내의 각각의 픽셀의 동작 상태가 그에 따라 변경될 수 있다. 특히, 이벤트 센서의 픽셀 어레이 내의 상이한 픽셀들은 이미지 파이프라인으로부터 수신된 피드백 정보에 기초하여 상이한 동작 상태들을 가질 수 있다.
도 5는 상이한 동작 상태들을 지원하도록 구성된 픽셀들을 갖는 이벤트 센서의 픽셀 어레이(500)의 예를 예시한다. 픽셀 어레이(500)는 이벤트 센서의 시야 내에 배치된 장면으로부터 광을 수신하도록 위치된 복수의 픽셀들을 포함한다. 이와 같이, 복수의 픽셀들 중 각각의 픽셀의 동작 상태가 활성 상태일 때, 이벤트 센서에 의해 출력된 픽셀 이벤트들로부터 유도된 이미지 데이터는 일반적으로 이벤트 센서의 시야를 묘사한다. 본 명세서에 사용되는 바와 같이, "활성 상태"는 픽셀의 광검출기 회로 및 이벤트 회로가 각각 활성화되는(또는 완전히 기능적인) 픽셀의 동작 상태를 지칭한다. 일 구현예에서, 각각 활성화된(또는 완전히 기능적인) 이벤트 회로 및 광검출기 회로를 갖는 픽셀은 전체 전력 모드에서 동작하는 것으로 정의된다.
이벤트 센서가 특정 이미지 프로세싱 동작에 의해 이미지 데이터의 전체 세트보다 적게 프로세싱되고 있다는 피드백 정보를 이미지 파이프라인으로부터 수신하는 경우, 이벤트 센서의 일부 픽셀들은 활성 상태로부터 다른 동작 상태로 전이될 수 있다. 예를 들어, 이벤트 센서의 일부 픽셀들은 비활성 상태로 전이할 수 있다. 본 명세서에 사용되는 바와 같이, "비활성 상태"는 픽셀이 완전히 기능적인 것보다는 덜한 픽셀의 동작 상태를 지칭한다. 일 구현예에서, 비활성 상태의 픽셀의 광검출기 회로 및 이벤트 회로는 각각 비활성화된다(또는 비기능적이다). 일 구현예에서, 각각 비활성화되는(또는 비기능적인) 이벤트 회로 및 광검출기 회로를 갖는 픽셀은 셧다운 전력 모드에서 동작하는 것으로 정의된다.
일부 경우들에서, 이벤트 센서의 픽셀은 비활성 상태로부터 활성 상태로 즉각적으로 전이되지 못할 수 있다. 그러한 레이턴시 문제들을 완화하기 위해, 이벤트 센서의 일부 픽셀들은 활성 상태로부터 대기 상태로 전이할 수 있다. 본 명세서에 사용되는 바와 같이, "대기 상태"는 픽셀이 완전히 기능적인 것보다는 덜하지만 비활성 상태의 픽셀들보다는 더 기능적인 픽셀의 동작 상태를 지칭한다. 일 구현예에서, 픽셀의 이벤트 회로는 픽셀의 광검출기 회로가 활성화된(또는 완전히 기능적인) 동안 픽셀이 대기 상태로 전이할 때 비활성화된다(또는 비기능적으로 된다). 일 구현예에서, 비활성화된(또는 비기능적인) 이벤트 회로 및 활성화된(또는 완전히 기능적인) 광검출기 회로를 갖는 픽셀은 감소된 전력 모드에서 동작하는 것으로 정의된다.
예로서, 이미지 파이프라인은 도 3의 이미지 데이터(300)에 기초하여 피드백 정보를 통신할 수 있다. 그 피드백 정보에 응답하여, 픽셀 어레이(500)의 영역(520) 내의 픽셀들의 제1 서브세트는 활성 상태에 있고, 영역(510) 내의 픽셀들의 제2 서브세트는 대기 상태에 있고, 영역들(510, 520) 외부의 픽셀들의 제3 서브세트는 비활성 상태에 있다. 이 예에서, 영역(520) 내의 픽셀들의 제1 서브세트는 도 3 및 도 4의 관심 영역(320)에 대응하는 픽셀 이벤트들과 연관될 수 있다. 일 구현예에서, 영역(520)은 픽셀 어레이(500)의 활성 영역을 정의한다. 일 구현예에서, 활성 영역(예컨대, 영역(520)) 내의 픽셀들의 서브세트는 셧다운 전력 모드 또는 감소된 전력 모드에서 동작한다.
일 구현예에서, 피드백 정보는 픽셀 어레이(500) 내의 하나 이상의 영역들의 위치를 정의하는 파라미터들을 포함한다. 예를 들어, 영역(510)의 위치를 정의하는 파라미터들은 픽셀 어레이(500)의 경계들에 대해 특정된 오프셋 값들, 예컨대 x-오프셋(512), y-오프셋(514), 또는 이들의 조합을 포함할 수 있다. 다른 예로서, 영역(520)의 위치를 정의하는 파라미터들은 픽셀 어레이(500)의 경계들에 대해 특정된 오프셋 값들, 예컨대 x-오프셋(512), x-오프셋(522), y-오프셋(514), 및 y-오프셋(524)의 일부 조합을 포함할 수 있다.
일 구현예에서, 픽셀 어레이(500)의 하나 이상의 영역들은 미리정의된 크기를 갖는다. 예를 들어, 영역(510)은 폭(516) 및 높이(518)로서 특정된 미리정의된 크기를 가질 수 있다. 다른 예로서, 영역(520)은 폭(526) 및 높이(528)로서 특정된 미리정의된 크기를 가질 수 있다. 일 구현예에서, 피드백 정보는 픽셀 어레이(500) 내의 하나 이상의 영역들의 크기를 정의하는 파라미터들을 포함한다. 예를 들어, 피드백 정보의 파라미터들은 폭(516), 폭(526), 높이(518), 및 높이(528) 중 하나 이상을 정의할 수 있다.
도 6은 이미지 파이프라인으로부터 수신된 피드백 정보가 제1 시간과 제2 시간 사이에서 업데이트됨에 따라 일부 픽셀들의 동작 상태들을 변경하는, 상이한 동작 상태들을 갖는 상이한 픽셀들을 갖는 이벤트 센서 픽셀 어레이(600)의 예를 예시한다. 제1 시간에, 이미지 파이프라인은 이벤트 센서에 의해 출력된 픽셀 이벤트들로부터 유도된 이미지 데이터에 기초하여 피드백 정보를 생성할 수 있다. 제1 시간에 이미지 파이프라인에 의해 생성된 피드백 정보를 수신하는 것에 응답하여, 픽셀 어레이(600)의 영역(620A) 내의 픽셀들의 제1 서브세트는 활성 상태에 있고, 영역(610A) 내의 픽셀들의 제2 서브세트는 대기 상태에 있고, 영역들(610A, 620A) 외부의 픽셀들의 제3 서브세트는 비활성 상태에 있다.
제1 시간에 후속하여, 이미지 파이프라인은 이미지 파이프라인에 의해 프로세싱되고 있는 이미지 데이터를 변경하는 이벤트 센서로부터 부가적인 픽셀 이벤트들을 수신할 수 있다. 예를 들어, 이미지 데이터 내의 관심 특징(예컨대, 도 3의 동공 중심(310))의 위치는 이미지 데이터가 부가적인 픽셀 이벤트들에 의해 업데이트됨에 따라 변할 수 있다. 제2 시간에, 이미지 파이프라인은 부가적인 픽셀 이벤트들로부터 발생하는 이미지 데이터에서의 그러한 변화를 설명하는 피드백 정보를 생성할 수 있다. 제2 시간에 이미지 파이프라인에 의해 생성된 피드백 정보를 수신하는 것에 응답하여, 픽셀 어레이(600)의 영역(620B) 내의 픽셀들의 제1 서브세트는 활성 상태에 있고, 영역(610B) 내의 픽셀들의 제2 서브세트는 대기 상태에 있고, 영역들(610B, 620B) 외부의 픽셀들의 제3 서브세트는 비활성 상태에 있다.
제1 시간과 제2 시간 사이에서, 픽셀 어레이(600) 내의 일부 픽셀들은 이미지 파이프라인으로부터 수신된 피드백 정보에 응답하여 하나의 동작 상태로부터 다른 동작 상태로 전이한다. 예를 들어, 도 7에서 보여지는 바와 같이, 제1 시간에서 대기 상태에 있던 서브 영역(710) 내의 픽셀들은 제2 시간에 비활성 상태로 전이할 것이다. 제1 시간에서 활성 상태에 있던 픽셀 어레이(600)의 서브 영역(720) 내의 픽셀들은 제2 시간에 대기 상태로 전이할 것이다. 유사하게, 제1 시간에서 대기 상태에 있던 서브 영역(730) 내의 픽셀들은 제2 시간에 활성 상태로 전이할 것이고, 제1 시간에서 비활성 상태에 있던 서브 영역(740) 내의 픽셀들은 제2 시간에 대기 상태로 전이할 것이다.
다양한 구현예들에서, 이벤트 센서(예컨대, 도 2의 이벤트 센서(210))는 픽셀 이벤트들을 이미지 파이프라인(예컨대, 이미지 파이프라인(220))으로 출력하도록 구성될 수 있다. 도 1에 관하여 위에서 논의된 바와 같이, 다양한 구현예들에서, 이벤트 센서의 이벤트 컴파일러(예컨대, 이벤트 컴파일러(190))는 각각의 픽셀 이벤트를: (i) 각자의 픽셀 이벤트를 트리거한 이벤트 신호를 송신한 특정 픽셀에 대응하는 어드레스 식별자(예컨대, 특정 픽셀의 x/y-좌표 - [x, y]); (ii) 이벤트 신호에 포함된 전기적 응답(예컨대, 전기적 응답의 값 또는 극성 - "세기")을 나타내는 정보; 및 (iii) 각자의 픽셀 이벤트가 생성된 시점("T")에 대응하는 타임스탬프 정보의 일부 조합으로 채울 수 있다. 이벤트 센서의 이벤트 컴파일러들이 소정 개수("N")의 픽셀 이벤트들을 생성하고, 각각의 픽셀 이벤트를 모든 3개의 데이터 포인트들로 채웠다면, 그러한 N개의 픽셀 이벤트들(픽셀 이벤트들(1...N))은 하기의 픽셀 이벤트들의 목록으로서 표현될 수 있다:([x,y], 세기-1, T1), ([x,y], 세기-2, T2),…, ([x,y], 세기-N, TN). 일 구현예에서, 이벤트 센서는 그러한 픽셀 이벤트들을 픽셀 이벤트들의 빈(bin)들로서 이미지 파이프라인(예컨대, 이미지 파이프라인(220))으로 출력하도록 구성된다. 일반적으로, 픽셀 이벤트들의 빈은 픽셀 이벤트들의 집합으로 간주된다. 당업자는 비닝(binning)이 개별 데이터 값들(예컨대, 픽셀 이벤트들)을 정의된 간격들(또는 빈들)로 그룹화하는 것을 포함한다는 것을 인식할 것이다.
일 구현예에서, 그러한 간격들은 이벤트 카운트에 기초하여 정의될 수 있다. 예를 들어, 이벤트 센서는 미리정의된 개수의 픽셀 이벤트들(예컨대, 10개의 픽셀 이벤트들)이 생성된 후에 픽셀 이벤트들의 각각의 빈을 출력할 수 있다. 이러한 구현예에서, 앞선 예에서 계속하여 N = 40이라고 가정하면, 이벤트 컴파일러들에 의해 생성된 40개의 픽셀 이벤트들이 이미지 파이프라인으로의 출력을 위해 픽셀 이벤트들의 4개의 빈들로 그룹화될 수 있다. 이 예의 4개의 빈들은: 픽셀 이벤트들(1…10)을 포함하는 픽셀 이벤트들의 제1 빈; 픽셀 이벤트들(11…20)을 포함하는 픽셀 이벤트들의 제2 빈; 픽셀 이벤트들(21…30)을 포함하는 픽셀 이벤트들의 제3 빈; 및 픽셀 이벤트들(31…40)을 포함하는 픽셀 이벤트들의 제4 빈을 포함할 것이다. 일 구현예에서, 이벤트 센서의 하드웨어/소프트웨어 기반 이벤트 카운터는 하나 이상의 이벤트 컴파일러들에 의해 생성되고 있는 픽셀 이벤트들의 개수를 모니터링하고 그 개수가 픽셀 이벤트들의 미리정의된 개수에 도달할 때 이벤트 센서가 픽셀 이벤트들의 빈을 출력하게 할 수 있다.
일 구현예에서, 그러한 간격들은 주기적 기준(예컨대, 매 0.5 밀리초("ms")마다)을 사용하여 정의될 수 있다. 이러한 구현예에서, 앞선 예에서 계속하여 4 ms 기간에 걸쳐 40개의 픽셀 이벤트들 사이에서 규칙적으로 이격된 타임스탬프들을 가정하면, 40개의 픽셀 이벤트들은 픽셀 이벤트들의 8개의 빈들로 그룹화될 수 있다. 이 예의 8개의 빈들은: 4 ms 기간의 0 내지 0.5 ms 사이에서 생성된 픽셀 이벤트들을 포함하는 픽셀 이벤트들의 제1 빈(픽셀 이벤트들(1…5)); 0.5 내지 1.0 ms 사이에서 생성된 픽셀 이벤트들을 포함하는 픽셀 이벤트들의 제2 빈(픽셀 이벤트들(6…10)); 1.0 내지 1.5 ms 사이에서 생성된 픽셀 이벤트들을 포함하는 픽셀 이벤트들의 제3 빈(픽셀 이벤트들(11…15)); 1.5 내지 2.0 ms 사이에서 생성된 픽셀 이벤트들을 포함하는 픽셀 이벤트들의 제4 빈(픽셀 이벤트들(16…20)); 2.0 내지 2.5 ms 사이에서 생성된 픽셀 이벤트들을 포함하는 픽셀 이벤트들의 제5 빈(픽셀 이벤트들(21…25)); 2.5 내지 3.0 ms 사이에서 생성된 픽셀 이벤트들을 포함하는 픽셀 이벤트들의 제6 빈(픽셀 이벤트들(26…30)); 3.0 내지 3.5 ms 사이에서 생성된 픽셀 이벤트들을 포함하는 픽셀 이벤트들의 제7 빈(픽셀 이벤트들(31…35); 및 3.5 내지 4.0 ms 사이에서 생성된 픽셀 이벤트들을 포함하는 픽셀 이벤트들의 제8 빈(픽셀 이벤트들(36…40))을 포함할 것이다.
일 구현예에서, 주기적 기준은 이벤트 센서의 글로벌 판독 동작 또는 글로벌 리셋 동작과 동기화된다. 일 구현예에서, 글로벌 판독 동작은 공통(또는 실질적으로 공통) 시간에 픽셀 데이터를 프로세싱하기 위해 각자의 비교기를 트리거하는 픽셀들의 특정 서브세트(예컨대, 특정 행 또는 특정 열) 내의 각각의 픽셀의 각자의 제어기를 포함한다. 일 구현예에서, 글로벌 리셋 동작은 픽셀 데이터의 샘플이 각자의 비교기에 의해 프로세싱될 때마다 기준 값(또는 전압)(Vref)으로 리셋되는 픽셀 데이터의 값(또는 전압)을 포함한다.
일 구현예에서, 픽셀 이벤트들의 각각의 빈은 (예컨대, 위에서 제시된 픽셀 이벤트들의 목록과 유사한) 픽셀 이벤트들의 목록으로서 출력된다. 일 구현예에서, 픽셀 이벤트들의 각각의 빈은 픽셀 이벤트들의 2차원("2-D") 타일로서 출력된다. 도 8은 이벤트 센서가 이미지 파이프라인으로의 출력을 위해 발생할 수 있는 픽셀 이벤트들의 그러한 2-D 타일들의 예들을 묘사한다. 일 구현예에서, 각각의 픽셀 이벤트는 어드레스 식별자 정보를 사용하여 픽셀 이벤트들의 대응하는 2-D 타일의 특정 위치에 맵핑된다. 일 구현예에서, 각각의 2-D 타일은 픽셀 이벤트들의 대응하는 빈에 포함된 각각의 픽셀 이벤트에 의해 제공되는 전기적 응답의 값 또는 극성을 인코딩한다. 특정 2-D 타일(예컨대, 타일(810))을 수신하면, 이미지 파이프라인은 주어진 간격 내에서 입사 조명의 포지티브 변화들(예를 들어, 픽셀 이벤트들(812)) 및 주어진 간격 내에서 입사 조명의 네거티브 변화들(예를 들어, 픽셀 이벤트들(814))을 모두 감지한 특정 픽셀들을 식별할 수 있다. 일 구현예에서, 이미지 파이프라인은 2-D 타일 내에 인코딩된 전기적 응답의 값들 또는 극성을 사용하여 세기 재구성 이미지를 업데이트할 수 있다.
도 9는 일부 구현예들에 따른 머리-장착형 디바이스(900)의 블록도를 예시한다. 머리-장착형 디바이스(900)는 머리-장착형 디바이스(900)의 다양한 컴포넌트들을 수용하는 하우징(901)(또는 인클로저)을 포함한다. 하우징(901)은 머리-장착형 디바이스(900)의 사용자(10)에 대해 하우징(901)의 근위 단부에 배치된 아이 패드(eye pad)(905)를 포함한다(또는 그에 결합된다). 다양한 구현예들에서, 아이 패드(905)는 (예컨대, 사용자(10)의 눈을 둘러싼) 사용자(10)의 얼굴 상의 적절한 위치에 머리-장착형 디바이스(900)를 편안하고 포근하게 유지하는 플라스틱 또는 고무 조각이다.
일부 구현예들에서, 이미지 데이터는 하우징(901) 내에 배치된 디스플레이(910)를 통해 머리-장착형 디바이스(900)의 사용자(10)에 제시된다. 도 9는 디스플레이(910) 및 아이 패드(905)를 포함하는 머리-장착형 디바이스(900)를 예시하지만, 다양한 구현예들에서, 머리-장착형 디바이스(900)는 디스플레이(910)를 포함하지 않거나, 또는 아이 패드(905)를 포함하지 않는 광학 시스루(see-through) 디스플레이를 포함한다.
머리-장착형 디바이스(900)는 이벤트 센서(924), 제어기(980), 및 선택적으로 하나 이상의 광원들(922)을 포함하는 하우징(901) 내에 배치된 시선 추적 시스템을 더 포함한다. 일반적으로, 제어기(980)는 사용자(10)의 시선 특성들을 검출 및 추적하기 위해 이벤트 센서(924) 및 이미지 파이프라인(예컨대, 도 2의 이미지 파이프라인(220))의 특징 추적기와 상호작용하도록 구성된다. 일 구현예에서, 시스템은 광을 방출하는 하나 이상의 광원들(922)을 포함하며, 광은 사용자(10)의 눈에서 광 패턴(예컨대, 반사광들의 원)으로서 반사되어 이벤트 센서(924)에 의해 검출된다. 이를 위해, 제어기(980)는 이미지 파이프라인으로부터 수신된 정보(예컨대, 피드백 정보)에 응답하여 하나 이상의 광원들(922)을 활성화시키도록 구성된다. 광 패턴에 기초하여, 이미지 파이프라인의 특징 추적기는 사용자(10)의 시선 추적 특성(예컨대, 시선 방향, 동공 중심, 동공 크기 등)을 결정할 수 있다.
일 구현예에서, 제어기(980)는 정의된 주파수(예컨대, 300 ㎐)에서 광원(922)을 펄싱함으로써 광원(922)을 활성화시키도록 구성된다. 일 구현예에서, 정의된 주파수에서 광원(922)을 펄싱하는 것은 이벤트 센서(924) 내의 적어도 픽셀들의 서브세트(예컨대, 활성 상태의 픽셀들)가 정의된 주파수에 비례하는 속도로 이벤트 데이터를 생성하게 한다.
일 구현예에서, 어떠한 광원도 사용되지 않으며, 눈은 환경에 존재하는 광에 의해 수동적으로 조명된다. 시선 추적 특성(예컨대, 시선 방향, 동공 중심, 동공 크기 등)은 이미지를 분석하고 (예를 들어, 템플릿 매칭을 사용하거나, 모서리 또는 특징 검출기를 분류기와 조합하거나, 훈련 신경망(trained neural network)을 사용하여) 동공 위치, 외양 및 형상과 같은 추출 특징들을 분석함으로써 결정될 수 있고, 이를 홍채 윤곽(윤부) 또는 눈꺼풀 형상 및 눈꺼풀 모서리 위치와 같은 눈의 부가적인 특징들의 위치 및 형상과 관련시킬 수 있다.
도 10은 피드백 루프 및 다수의 전력 상태들을 지원하도록 구성된 이벤트 구동 센서를 갖는 이벤트 카메라 시스템 아키텍처를 구현하는 방법(1000)의 예를 예시하는 흐름도이다. 일 구현예에서, 방법(1000)은 도 2의 이벤트 센서(210)에 의해 달성된다. 블록(1002)에서, 방법(1000)은 픽셀 어레이를 갖는 이벤트 센서로부터 이미지 파이프라인으로 픽셀 이벤트들을 출력하는 단계를 포함한다. 픽셀 어레이는 전체 전력 모드에서 동작하는 픽셀들의 활성 영역 및 셧다운 전력 모드 또는 감소된 전력 모드에서 동작하는 픽셀들의 비활성 영역을 갖도록 구성된다. 각각 각자의 픽셀 이벤트는 픽셀들의 활성 영역 내의 특정 픽셀이 비교기 임계치를 초과하는 광 세기의 변화를 검출하는 것에 응답하여 생성된다.
일 구현예에서, 픽셀 이벤트들은 픽셀 이벤트들의 빈으로서 이벤트 센서로부터 출력된다. 일 구현예에서, 이벤트 센서는 주기적으로 픽셀 이벤트들의 빈들을 출력하도록 구성된다. 일 구현예에서, 주기적 기준은 이벤트 센서의 글로벌 판독 동작 또는 글로벌 리셋 동작과 동기화된다. 일 구현예에서, 픽셀 이벤트들의 빈은 미리정의된 개수의 픽셀 이벤트들이 생성된 후에 이벤트 센서로부터 출력된다. 일 구현예에서, 픽셀 이벤트들의 빈은 픽셀 이벤트들의 2-D 타일(예컨대, 도 8에 묘사된 픽셀 이벤트들의 2-D 타일들)로서 출력된다. 일 구현예에서, 픽셀 이벤트들은 픽셀 이벤트들의 목록으로서 이벤트 센서로부터 출력된다.
블록(1004)에서, 방법(1000)은 픽셀 이벤트들로부터 유도된 이미지 데이터에 기초하여 이미지 파이프라인으로부터 피드백 정보를 수신하는 단계를 포함한다. 일 구현예에서, 피드백 정보는 이미지 파이프라인이 이미지 데이터 내에서 추적하는 관심 영역에 대응하는 픽셀 어레이의 영역을 정의하는 활성 영역 오프셋이다. 블록(1006)에서, 방법(1000)은 피드백 정보를 수신하는 것에 응답하여 픽셀들의 활성 영역 내의 픽셀에게 셧다운 전력 모드 또는 감소된 전력 모드에서 동작하도록 지시하는 단계를 포함한다.
일 구현예에서, 피드백 정보는 비트마스크(bitmask)를 포함할 수 있으며, 상기 비트마스크는 각각의 개별 픽셀에 대한 목표 픽셀 상태를 인코딩하는데, 예를 들어, 센서의 나머지 부분이 준비 상태 또는 비활성 상태에 있는 동안, 상기 비트마스크는 활성 상태에 있는 원형 영역을 나타낼 수 있고, 또한, 상기 마스크가 언급된 상태들 중 하나로 설정되는 센서의 임의의 임의로 형상화된 영역 또는 영역들의 세트를 나타낼 수 있는 방법을 쉽게 알 수 있으며, 이때 가장 작은 상기 영역은 임의의 개별 픽셀이다.
도 11은 피드백 루프 및 다수의 전력 상태들을 지원하도록 구성된 이벤트 구동 센서를 갖는 이벤트 카메라 시스템 아키텍처를 구현하는 방법(1100)의 다른 예를 예시하는 흐름도이다. 일 구현예에서, 방법(1000)은 도 2의 이미지 파이프라인(220)에 의해 달성된다. 블록(1102)에서, 방법(1100)은, 이미지 파이프라인에 의해, 활성 상태의 픽셀들의 제1 서브세트 및 비활성 상태의 픽셀들의 제2 서브세트를 포함하는 픽셀 어레이를 갖는 이벤트 센서로부터 픽셀 이벤트들을 수신하는 단계를 포함한다. 각각 각자의 픽셀 이벤트는 픽셀들의 제1 서브세트 내의 특정 픽셀이 비교기 임계치를 초과하는 광 세기의 변화를 검출하는 것에 응답하여 생성된다. 일 구현예에서, 픽셀 이벤트들은 픽셀 이벤트들의 빈으로서 이벤트 센서로부터 수신된다. 일 구현예에서, 픽셀 이벤트들은 픽셀 이벤트들의 목록으로서 이벤트 센서로부터 수신된다.
블록(1104)에서, 방법(1100)은 이미지 파이프라인을 이용해 픽셀 이벤트들로부터 이미지 데이터를 유도하는 단계를 포함한다. 블록(1106)에서, 방법(1100)은 이미지 데이터에 기초하여 이미지 파이프라인을 이용해 피드백 정보를 생성하는 단계를 포함한다. 피드백 정보는 이벤트 센서가 픽셀들의 제1 서브세트 내의 픽셀에게 활성 상태로부터 다른 동작 상태로 전이하도록 지시하게 한다. 일 구현예에서, 피드백 정보는 이벤트 센서가 픽셀들의 제1 서브세트 내의 픽셀에게 활성 상태로부터 비활성 상태로 전이하도록 지시하게 한다. 일 구현예에서, 피드백 정보는 이벤트 센서가 픽셀들의 제1 서브세트 내의 픽셀에게 활성 상태로부터 대기 상태로 전이하도록 지시하게 한다. 일 구현예에서, 피드백 정보를 생성하는 것은 이미지 데이터 내의 관심 영역을 이미지 파이프라인을 이용해 추적하는 것을 포함한다. 일 구현예에서, 피드백 정보는 이미지 파이프라인이 이미지 데이터 내에서 추적하는 관심 영역에 대응하는 픽셀 어레이의 영역을 정의하는 활성 영역 오프셋이다.
일 구현예에서, 방법(1100)은 정의된 주파수에서 이벤트 센서의 시야 내에 배치된 장면을 향해 광을 방출하도록 구성된 광원을 펄싱하는 단계를 더 포함한다. 일 구현예에서, 정의된 주파수에서 광원을 펄싱하는 것은 픽셀들의 제1 서브세트 내의 픽셀들이 정의된 주파수에 비례하는 속도로 이벤트 데이터를 생성하게 한다.
본 명세서에서 "~ 하도록 적응되는(adapted to)" 또는 "~ 하도록 구성되는(configured to)"의 사용은 부가적인 태스크들 또는 단계들을 수행하도록 적응되거나 또는 구성되는 디바이스들을 배제하지 않는 개방적이고 포괄적인 언어로서 의도된다. 부가적으로, "~에 기초하여"의 사용은, 하나 이상의 인용 조건들 또는 값들"에 기초한" 프로세스, 단계, 계산, 또는 다른 작동이, 실제로, 인용된 것들 이상으로 부가적인 조건들 또는 값에 기초할 수 있다는 점에서 개방적이고 포괄적인 것으로 의도된다. 본 명세서에 포함된 표제들, 목록들, 및 번호는 단지 설명의 용이함을 위한 것이며 제한적인 것으로 의도되지 않는다.
용어들 "제1", "제2" 등이 다양한 요소들을 설명하기 위해 본 명세서에서 사용될 수 있지만, 이들 요소들은 이들 용어들에 의해 제한되어서는 안 된다는 것이 또한 이해될 것이다. 이들 용어들은 하나의 요소를 다른 요소와 구별하는 데에만 사용된다. 예를 들어, 모든 "제1 노드"의 발생이 일관되게 재명명되고 모든 "제2 노드"의 발생이 일관되게 재명명되기만 한다면, 제1 노드는 제2 노드로 지칭될 수 있고, 유사하게, 제2 노드는 제1 노드로 지칭될 수 있으며, 이는 설명의 의미를 변경한다. 제1 노드 및 제2 노드는 둘 모두 노드들이지만, 그것들은 동일한 노드가 아니다.
본 명세서에서 사용되는 용어는 단지 특정 구현예들만을 설명하는 목적을 위한 것이고, 청구범위를 제한하도록 의도되지 않는다. 본 구현예들의 설명 및 첨부된 청구범위에 사용되는 바와 같이, 단수형들("a", "an" 및 "the")은 문맥상 명확하게 달리 나타나지 않으면 복수형들도 또한 포함하도록 의도된다. 또한, 본 명세서에서 사용되는 바와 같은 용어 "또는"은 열거되는 연관된 아이템들 중 하나 이상의 아이템의 임의의 그리고 모든 가능한 조합들을 나타내고 그들을 포괄하는 것임이 이해될 것이다. 본 명세서에서 사용될 때 용어들 "포함한다(comprise)" 또는 "포함하는(comprising)"은 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들 또는 이들의 그룹들의 존재 또는 부가를 배제하지 않는다는 것이 추가로 이해될 것이다.
본 명세서에서 사용되는 바와 같이, 맥락에 의존하여, 진술된 선행 조건이 사실"인 경우(if)"라는 용어는 그가 사실"일 때(when)", 그가 사실"일 시(upon)" 또는 그가 사실"이라고 결정하는 것에 응답하여(in response to determining)" 또는 그가 사실"이라는 결정에 따라(in accordance with a determination)" 또는 그가 사실"임을 검출하는 것에 응답하여(in response to detecting)"를 의미하는 것으로 해석될 수 있다. 유사하게, 어구 "[진술된 선행 조건이 사실이라고] 결정되는 경우" 또는 "[진술된 선행 조건이 사실]인 경우" 또는 "[진술된 선행 조건이 사실]일 때"는, 맥락에 의존하여, 진술된 선행 조건이 사실"이라고 결정할 시" 또는 그가 사실"이라고 결정하는 것에 응답하여" 또는 그가 사실"이라는 결정에 따라" 또는 그가 사실"임을 검출할 시" 또는 그가 사실"임을 검출하는 것에 응답하여"를 의미하는 것으로 해석될 수 있다.
본 발명의 전술한 설명 및 발명의 내용은 모든 면에서 도시적이고 예시적이지만, 제한적이지 않은 것으로 이해될 것이며, 본 명세서에 개시된 발명의 범주는 예시적인 구현예들의 상세한 설명에만 의존하여 결정되지 않고, 특허법에서 허용되는 전체 범위에 따라 결정될 것이다. 본 명세서에 도시되고 기재된 구현예들은 단지 본 발명의 원리에 대한 예시일뿐이고, 다양한 변형예가 본 발명의 범주 및 사상을 벗어나지 않고 당업자들에 의해 구현될 수 있음이 이해될 것이다.
도 1은 일부 구현예들에 따른 이벤트 센서의 기능 블록도를 예시한다.
도 2는 활성 동작 상태, 대기 동작 상태, 및 비활성 동작 상태를 지원하도록 구성된 하드웨어 아키텍처를 갖는 이벤트 구동 센서들을 구현하기 위한 예시적인 시스템의 블록도이다.
도 3은 이미지 파이프라인이 이벤트 센서에 의해 출력된 픽셀 이벤트들로부터 유도하는 이미지 데이터의 전체 세트의 예를 예시한다.
도 4는 이미지 파이프라인이 이벤트 센서에 의해 출력된 픽셀 이벤트들로부터 유도하는 크로핑된 이미지 데이터의 예를 예시한다.
도 5는 이미지 파이프라인으로부터 수신된 피드백 정보에 기초하여 상이한 동작 상태들을 갖는 이벤트 센서의 픽셀 어레이 내의 상이한 픽셀들의 예를 예시한다.
도 6은 이미지 파이프라인으로부터 수신된 피드백 정보가 제1 시간과 제2 시간 사이에서 업데이트됨에 따라 일부 픽셀들의 동작 상태들을 변경하는 상이한 동작 상태들을 갖는 상이한 픽셀들을 갖는 픽셀 어레이의 예를 예시한다.
도 7은 이미지 파이프라인으로부터 수신된 피드백 정보가 제1 시간과 제2 시간 사이에서 업데이트됨에 따라 하나의 동작 상태로부터 다른 동작 상태로 전이하는 도 6의 픽셀 어레이 내의 픽셀들의 서브세트들을 예시한다.
도 8은 일부 구현예들에 따른, 추가 프로세싱을 위해 이벤트 센서가 출력한 픽셀 이벤트들의 예시적인 2차원("2-D") 타일들을 예시한다.
도 9는 일부 구현예들에 따른 예시적인 머리-장착형 디바이스(head-mounted device, HMD)의 블록도이다.
도 10은 피드백 루프 및 다수의 전력 상태들을 지원하도록 구성된 이벤트 구동 센서를 갖는 이벤트 카메라 시스템 아키텍처를 구현하는 방법의 예를 예시한 흐름도이다.
도 11은 피드백 루프 및 다수의 전력 상태들을 지원하도록 구성된 이벤트 구동 센서를 갖는 이벤트 카메라 시스템 아키텍처를 구현하는 방법의 다른 예를 예시한 흐름도이다.
일반적인 실시에 따라, 도면에 예시된 다양한 특징부들은 축척대로 그려지지 않을 수 있다. 따라서, 다양한 특징부들의 치수들은 명료함을 위해 임의대로 확대 또는 축소될 수 있다. 부가적으로, 도면들 중 일부는 주어진 시스템, 방법 또는 디바이스의 컴포넌트들 모두를 묘사하지는 않을 수 있다. 마지막으로, 동일한 도면 번호들은 명세서 및 도면들 전반에 걸쳐 동일한 특징부들을 나타내기 위해 사용될 수 있다.
발명의 설명
도면들에 도시된 예시적인 구현예들의 완전한 이해를 제공하기 위해 다수의 세부사항들이 설명된다. 그러나, 도면들은 단지 본 개시내용의 일부 예시적인 양태들만을 도시할 뿐이며, 따라서 제한적인 것으로 고려되지 않는다. 통상의 기술자는 다른 효과적인 양태들 또는 변형들이 본 명세서에 설명되는 특정 세부사항들 모두를 포함하지는 않음을 인식할 것이다. 또한, 잘 알려진 시스템들, 방법들, 컴포넌트들, 디바이스들 및 회로들은 본 명세서에 설명되는 예시적인 구현예들의 더 적절한 양태들을 불명확하게 하지 않기 위해 철저히 상세하게 설명되지 않았다.
예시적인 이벤트 센서(100)의 기능 블록도가 도 1에 의해 예시된다. 이벤트 센서(100)는 이벤트 센서(100)의 시야 내에 배치된 장면으로부터 광을 수신하도록 위치된 복수의 픽셀들(105)을 포함한다. 도 1에서, 복수의 픽셀들(105)은 행들 및 열들의 매트릭스(107)에 배열되고, 따라서, 복수의 픽셀들(105) 각각은 행 값 및 열 값과 연관된다. 복수의 픽셀들(105) 각각은 광검출기 회로(110) 및 이벤트 회로(180)를 포함한다.
광검출기 회로(110)는 각자의 픽셀(105)("입사 조명")에 입사하는 광의 세기를 나타내는 신호들을 생성하도록 구성된다. 이를 위해, 광검출기 회로(110)는 입사 조명의 세기에 비례하는 광전류를 생성하도록 구성된 포토다이오드(112)를 포함한다. 포토다이오드(112)에 의해 생성된 광전류는 트랜지스터들(121, 123, 125, 127)에 의해 형성되는 로그 증폭기(120) 내로 흐른다. 로그 증폭기(120)는 노드 A에서 광전류를 광전류의 값의 로그(logarithm)인 값을 갖는 전압으로 변환하도록 구성된다. 노드 A에서의 전압은 이어서 이벤트 회로(180)의 차분 회로(140)의 입력 측에 인가되기 전에 트랜지스터들(131, 133)에 의해 형성되는 버퍼 증폭기(130)에 의해 증폭된다.
픽셀(105)은 차분 회로(140), 비교기(160), 및 제어기(170)를 포함하는 이벤트 회로(180)를 더 포함한다. 차분 회로(140)는 교류("AC") 결합 커패시터(145) 및 스위치드 커패시터 증폭기(150)로 구성된다. 차분 회로(140)는 샘플링 노드 B에서 픽셀 데이터를 생성하기 위해 노드 A에서의 전압으로부터 직류("DC") 전압 성분을 제거하도록 구성된다. 노드 A에서 전압으로부터 DC 전압 성분을 제거함으로써, 샘플링 노드 B 데이터에서의 픽셀 데이터는 포토다이오드(112)에 의해 검출되는 입사 조명의 세기의 차분 값을 제공한다. 증폭기(151)에 의해 제공되는 이득은 커패시터(153)에 대한 AC 커플링 커패시터(145)의 각자의 용량성 값들에 의해 정의되는 비율에 대응한다. 리셋 스위치(155)는 리셋 신호가 제어기(170)로부터 수신될 때 활성화된다(즉, 개방 상태로부터 폐쇄 상태로 전이된다). 리셋 스위치(155)를 활성화시킴으로써, 증폭기(151)의 동작점이 비교기(160)의 임계값과 연관된 기준 전압으로 리셋된다.
비교기(160)는 샘플 노드 B로부터 수신된 픽셀 데이터의 픽셀-레벨 프로세싱을 제공하도록 구성된다. 이를 위해, 비교기(160)는, 샘플 노드 B로부터 수신된 픽셀 데이터가 포토다이오드(112)가 임계값을 위반하는 입사 조명의 세기의 변화를 검출했음을 나타낼 때, 전기적 응답(예컨대, 전압)을 출력한다. 대안적으로, 비교기(160)는, 샘플 노드 B로부터 수신된 픽셀 데이터가 포토다이오드(112)가 임계값을 위반하는 입사 조명의 세기의 변화를 검출하지 않았음을 나타낼 때, 전기적 응답을 출력하는 것을 억제한다. 일부 경우들에서, 비교기(160)에 의해 출력된 전기적 응답은 이벤트 데이터로 지칭된다.
일 구현예에서, 비교기(160)는 포지티브(positive) 이벤트들(예컨대, 포지티브 극성을 갖는 이벤트들)을 나타내는 전기적 응답을 출력하도록 구성된 제1 비교기 및 네거티브(negative) 이벤트들(예컨대, 네거티브 극성을 갖는 이벤트들)을 나타내는 전기적 응답을 출력하도록 구성된 제2 비교기를 포함하는 복수의 비교기들을 사용하여 구현된다. 일 구현예에서, 제1 비교기는, 샘플 노드 B로부터 수신된 픽셀 데이터가 포토다이오드(112)가 포지티브 임계값을 위반하는 입사 조명의 세기의 변화를 검출했음을 나타낼 때, 전기적 응답을 출력한다. 일 구현예에서, 제2 비교기는, 샘플 노드 B로부터 수신된 픽셀 데이터가 포토다이오드(112)가 네거티브 임계값을 위반하는 입사 조명의 세기의 변화를 검출했음을 나타낼 때, 전기적 응답을 출력한다.
제어기(170)는 비교기(160)에 의해 출력된 각각의 전기적 응답에 대해 이벤트 컴파일러(190)에 이벤트 신호(예컨대, 이벤트 데이터의 샘플)를 통신하기 위해 이벤트 센서(100)의 다른 컴포넌트들(예컨대, 다른 픽셀들 내의 제어기들)과 조화되도록 구성된다. 일 구현예에서, 리셋 스위치(155)는 비교기(160)가 임계값을 위반하는 샘플링 노드 B에서의 픽셀 데이터를 획득할 때마다 제어기(170)로부터 리셋 신호를 수신한다.
이벤트 컴파일러(190)는 각각이 임계값을 위반하는 입사 조명의 세기의 변화를 나타내는 복수의 픽셀들(105) 각각으로부터 이벤트 신호들(예컨대, 이벤트 데이터의 샘플들)을 수신한다. 복수의 픽셀들(105) 중 특정 픽셀로부터 이벤트 데이터의 샘플을 수신하는 것에 응답하여, 이벤트 컴파일러(190)는 픽셀 이벤트를 생성한다. 이벤트 신호가 포지티브 임계값(또는 전압)을 위반하는 입사 조명의 세기의 변화를 나타내는 픽셀 데이터와 연관된 경우에 이벤트 컴파일러(190)에 의해 생성된 픽셀 이벤트들은 "포지티브" 픽셀 이벤트들로 지칭될 수 있다. 일 구현예에서, 포지티브 픽셀 이벤트들은 상위 임계값 또는 전압("Vth")에 의해 정의된 크기를 초과하는 입사 조명의 세기의 순 증가를 나타내는 포지티브 극성을 갖는 픽셀 이벤트들이다. 이벤트 신호가 네거티브 임계값(또는 전압)을 위반하는 입사 조명의 세기의 변화를 나타내는 픽셀 데이터와 연관된 경우에 이벤트 컴파일러에 의해 생성된 픽셀 이벤트는 "네거티브" 픽셀 이벤트로 지칭될 수 있다. 일 구현예에서, 네거티브 픽셀 이벤트들은 하위 임계값 또는 전압("-Vth")에 의해 정의된 크기를 초과하는 입사 조명의 세기의 순 감소를 나타내는 네거티브 극성을 갖는 픽셀 이벤트들이다.
또한, 이벤트 컴파일러(190)는 이벤트 신호에 포함된 전기적 응답(예컨대, 전기적 응답의 값 또는 극성)을 나타내는 정보로 픽셀 이벤트를 채운다. 일 구현예에서, 이벤트 컴파일러(190)는 또한, 픽셀 이벤트가 생성된 시점에 대응하는 타임스탬프 정보 및 픽셀 이벤트를 트리거한 이벤트 신호를 전송한 특정 픽셀에 대응하는 어드레스 식별자 중 하나 이상으로 픽셀 이벤트를 채운다. 이어서, 이벤트 컴파일러(190)에 의해 생성된 각각의 픽셀 이벤트를 포함하는 픽셀 이벤트들의 스트림은, 추가 프로세싱을 위해 이벤트 센서(100)와 연관된 이미지 파이프라인(예컨대, 이미지 또는 비디오 프로세싱 회로부)(도시되지 않음)에 통신될 수 있다.
예로서, 이벤트 컴파일러(190)에 의해 생성된 픽셀 이벤트들의 스트림은 이미지 데이터를 생성하기 위해 누적되거나 그렇지 않으면 조합될 수 있다. 일부 구현예들에서, 픽셀 이벤트들의 스트림은 세기 재구성 이미지를 제공하도록 조합된다. 이 구현예에서, 세기 재구성 이미지 생성기(도시되지 않음)는 절대 세기 값들을 재구성/추정하기 위해 시간에 걸쳐 픽셀 이벤트들을 누적할 수 있다. 부가적인 픽셀 이벤트들이 누적됨에 따라, 세기 재구성 이미지 생성기는 재구성 이미지에서 대응하는 값들을 변화시킨다. 이러한 방식으로, 그것은 픽셀들 중 단지 일부만이 이벤트들을 최근에 수신했을 수 있더라도 이미지의 모든 픽셀들에 대한 값들의 업데이트된 이미지를 생성 및 유지한다.
다양한 구현예들에서, 이벤트 구동 센서들은 활성 상태, 대기 상태, 및 동작 상태들을 지원하도록 구성된 하드웨어 아키텍처로 구현된다. 일반적으로, 이는, 도 2의 예시적인 시스템(200)에서 보여지는 바와 같이, 이벤트 센서(210)가 이미지 파이프라인(220)으로 픽셀 이벤트들을 출력하고, 이에 응답하여, 이미지 파이프라인(220)으로부터 피드백 정보를 수신하는 것을 포함한다. 이미지 파이프라인(220)은 이벤트 센서(210)에 의해 출력되는 픽셀 이벤트들로부터 유도된 이미지 데이터를 소비하도록 구성된다. 이를 위해, 이미지 파이프라인(220)은 픽셀 이벤트들로부터 이미지 데이터를 유도하기 위해, 도 1에 대해 위에서 논의된 세기 재구성 이미지 생성기와 같은 하나 이상의 컴포넌트들을 포함한다. 이미지 파이프라인(220)의 하나 이상의 컴포넌트들은 하드웨어 컴포넌트들(예컨대, 애플리케이션 특정 집적 회로들, 디지털 신호 프로세서들 등) 및 소프트웨어 컴포넌트들(예컨대, 잡음 감소 프로세스들, 이미지 스케일링 프로세스들, 컬러 공간 변환 프로세스들 등)의 다양한 조합들을 이용하여 구현될 수 있다.
다양한 구현예들에서, 이미지 파이프라인(220)은 이벤트 센서(210)에 의해 출력되는 픽셀 이벤트들로부터 유도된 이미지 데이터의 전체 세트보다 적게 이용하는 일부 기능들을 달성한다. 예로서, 이미지 파이프라인(220)은 (예컨대, SIFT, KAZE 등과 같은 기술들을 사용하여) 픽셀 이벤트들로부터 유도된 이미지 데이터에 묘사된 특징을 검출하고, (예컨대, Kanade-Lucas-Tomasi 추적기, Shi-Tomasi 추적기 등과 같은 기술들을 사용하여) 시간 경과에 따라 그 특징을 추적하도록 구성된 특징 추적기를 더 포함할 수 있다. 이 예에서, 이미지 파이프라인(220)의 특징 추적기는 이벤트 센서(210)에 의해 출력되는 픽셀 이벤트들로부터 유도되는 사용자의 눈을 묘사하는 이미지 데이터를 사용하여 시선 특성들(예컨대, 동공 중심, 동공 윤곽, 반사광(glint) 위치들, 시선 방향 등)을 검출 및 추적함으로써 눈 추적 기능을 달성할 수 있다.
도 3은, 이미지 파이프라인(220)이 이벤트 센서(210)에 의해 출력된 픽셀 이벤트들로부터 유도할 수 있는 사용자의 눈을 묘사하는 이미지 데이터(300)의 전체 세트의 예를 예시한다. 눈 추적 기능을 달성하기 위해, 이미지 파이프라인(220)의 특징 추적기는 관심 영역(320) 내에 존재하는 이미지 데이터(300)의 서브세트를 사용하여 눈 내의 동공 중심("추정 동공 중심")(310)의 위치를 추정하였다. 눈 추적 기능을 달성하기 위해 이미지 데이터(300)의 전체 세트를 프로세싱하는 것은 이미지 파이프라인(220)의 특징 추적기에 대해 계산적으로 집약적일 수 있고, 과도한 전력 및 컴퓨팅 리소스들을 소비할 수 있다. 계산 효율을 개선하고 전력 소비를 감소시키기 위해, 이미지 파이프라인(220)의 특징 추적기는 관심 영역(320) 내에 존재하는 이미지 데이터의 서브세트를 프로세싱할 수 있다. 관심 영역(320)의 외부에 존재하는 이미지 데이터는 도 4에 예시된 바와 같이 크로핑된 이미지 데이터(400)를 형성하도록 크로핑될 수 있다.
관심 영역(320)의 외부에 존재하는 이미지 데이터를 크로핑하는 하나의 기술은 이미지 파이프라인(220)을 사용하여 구현될 수 있다. 이러한 기술에 따르면, 이미지 파이프라인(220)은 이벤트 센서(210)의 시야에 대응하는 픽셀 이벤트들을 수신할 수 있다. 크로핑된 이미지 데이터(400)를 형성하기 위해, 이미지 파이프라인(220)은 관심 영역(320)의 외부에 존재하는 이미지 데이터에 대응하는 픽셀 이벤트들을 무시하거나, 또는 이미지 데이터(300)의 전체 세트를 유도한 후에 관심 영역(320)의 외부에 존재하는 이미지 데이터를 크로핑할 수 있다. 그러나, 어느 경우든, 이벤트 센서(210)는 계속해서 전력을 소비하는, 관심 영역(320)의 외부에 존재하는 이미지 데이터에 대응하는 픽셀 이벤트들을 생성하는 픽셀들의 서브세트를 포함한다. 또한, 관심 영역(320)의 외부에 존재하는 이미지 데이터에 대응하는 픽셀 이벤트들은 이벤트 센서(210)와 이미지 파이프라인(220) 사이의 통신 경로의 대역폭을 계속해서 소모한다. 따라서, 이벤트 센서(210)를 포함하는, 관심 영역(320)의 외부에 존재하는 이미지 데이터를 크로핑하는 기술을 구현하는 것은 전력 및 대역폭 소비를 추가로 감소시킬 수 있다.
이를 위해, 이미지 파이프라인(220)은 도 2에 예시된 바와 같이 피드백 정보를 이벤트 센서(210)에 전달한다. 다양한 구현예들에서, 그러한 피드백 정보는 이벤트 센서(예컨대, 이벤트 센서(210))와 이미지 파이프라인(예컨대, 이미지 파이프라인(220)) 사이의 피드백 루프를 나타낸다. 아래에서 더 상세히 논의되는 바와 같이, 이미지 파이프라인은 이벤트 센서에 의해 출력된 픽셀 이벤트들로부터 유도된 이미지 데이터를 소모한다. 이미지 데이터에 기초하여, 이미지 파이프라인은 이미지 데이터의 다른 부분들보다 특정 이미지 프로세싱 동작에 더 유용할 수 있는 이미지 데이터의 서브세트(예컨대, 관심 영역)에 대응하는 피드백 정보를 생성한다. 즉, 피드백 정보는 특정 이미지 프로세싱 동작에 대해 프로세싱이 수행되는 이미지 데이터의 서브세트에 대응한다. 피드백 정보에 응답하여, 이벤트 센서의 픽셀 어레이 내의 각각의 픽셀의 동작 상태가 그에 따라 변경될 수 있다. 특히, 이벤트 센서의 픽셀 어레이 내의 상이한 픽셀들은 이미지 파이프라인으로부터 수신된 피드백 정보에 기초하여 상이한 동작 상태들을 가질 수 있다.
도 5는 상이한 동작 상태들을 지원하도록 구성된 픽셀들을 갖는 이벤트 센서의 픽셀 어레이(500)의 예를 예시한다. 픽셀 어레이(500)는 이벤트 센서의 시야 내에 배치된 장면으로부터 광을 수신하도록 위치된 복수의 픽셀들을 포함한다. 이와 같이, 복수의 픽셀들 중 각각의 픽셀의 동작 상태가 활성 상태일 때, 이벤트 센서에 의해 출력된 픽셀 이벤트들로부터 유도된 이미지 데이터는 일반적으로 이벤트 센서의 시야를 묘사한다. 본 명세서에 사용되는 바와 같이, "활성 상태"는 픽셀의 광검출기 회로 및 이벤트 회로가 각각 활성화되는(또는 완전히 기능적인) 픽셀의 동작 상태를 지칭한다. 일 구현예에서, 각각 활성화된(또는 완전히 기능적인) 이벤트 회로 및 광검출기 회로를 갖는 픽셀은 전체 전력 모드에서 동작하는 것으로 정의된다.
이벤트 센서가 특정 이미지 프로세싱 동작에 의해 이미지 데이터의 전체 세트보다 적게 프로세싱되고 있다는 피드백 정보를 이미지 파이프라인으로부터 수신하는 경우, 이벤트 센서의 일부 픽셀들은 활성 상태로부터 다른 동작 상태로 전이될 수 있다. 예를 들어, 이벤트 센서의 일부 픽셀들은 비활성 상태로 전이할 수 있다. 본 명세서에 사용되는 바와 같이, "비활성 상태"는 픽셀이 완전히 기능적인 것보다는 덜한 픽셀의 동작 상태를 지칭한다. 일 구현예에서, 비활성 상태의 픽셀의 광검출기 회로 및 이벤트 회로는 각각 비활성화된다(또는 비기능적이다). 일 구현예에서, 각각 비활성화되는(또는 비기능적인) 이벤트 회로 및 광검출기 회로를 갖는 픽셀은 셧다운 전력 모드에서 동작하는 것으로 정의된다.
일부 경우들에서, 이벤트 센서의 픽셀은 비활성 상태로부터 활성 상태로 즉각적으로 전이되지 못할 수 있다. 그러한 레이턴시 문제들을 완화하기 위해, 이벤트 센서의 일부 픽셀들은 활성 상태로부터 대기 상태로 전이할 수 있다. 본 명세서에 사용되는 바와 같이, "대기 상태"는 픽셀이 완전히 기능적인 것보다는 덜하지만 비활성 상태의 픽셀들보다는 더 기능적인 픽셀의 동작 상태를 지칭한다. 일 구현예에서, 픽셀의 이벤트 회로는 픽셀의 광검출기 회로가 활성화된(또는 완전히 기능적인) 동안 픽셀이 대기 상태로 전이할 때 비활성화된다(또는 비기능적으로 된다). 일 구현예에서, 비활성화된(또는 비기능적인) 이벤트 회로 및 활성화된(또는 완전히 기능적인) 광검출기 회로를 갖는 픽셀은 감소된 전력 모드에서 동작하는 것으로 정의된다.
예로서, 이미지 파이프라인은 도 3의 이미지 데이터(300)에 기초하여 피드백 정보를 통신할 수 있다. 그 피드백 정보에 응답하여, 픽셀 어레이(500)의 영역(520) 내의 픽셀들의 제1 서브세트는 활성 상태에 있고, 영역(510) 내의 픽셀들의 제2 서브세트는 대기 상태에 있고, 영역들(510, 520) 외부의 픽셀들의 제3 서브세트는 비활성 상태에 있다. 이 예에서, 영역(520) 내의 픽셀들의 제1 서브세트는 도 3 및 도 4의 관심 영역(320)에 대응하는 픽셀 이벤트들과 연관될 수 있다. 일 구현예에서, 영역(520)은 픽셀 어레이(500)의 활성 영역을 정의한다. 일 구현예에서, 활성 영역(예컨대, 영역(520)) 내의 픽셀들의 서브세트는 셧다운 전력 모드 또는 감소된 전력 모드에서 동작한다.
일 구현예에서, 피드백 정보는 픽셀 어레이(500) 내의 하나 이상의 영역들의 위치를 정의하는 파라미터들을 포함한다. 예를 들어, 영역(510)의 위치를 정의하는 파라미터들은 픽셀 어레이(500)의 경계들에 대해 특정된 오프셋 값들, 예컨대 x-오프셋(512), y-오프셋(514), 또는 이들의 조합을 포함할 수 있다. 다른 예로서, 영역(520)의 위치를 정의하는 파라미터들은 픽셀 어레이(500)의 경계들에 대해 특정된 오프셋 값들, 예컨대 x-오프셋(512), x-오프셋(522), y-오프셋(514), 및 y-오프셋(524)의 일부 조합을 포함할 수 있다.
일 구현예에서, 픽셀 어레이(500)의 하나 이상의 영역들은 미리정의된 크기를 갖는다. 예를 들어, 영역(510)은 폭(516) 및 높이(518)로서 특정된 미리정의된 크기를 가질 수 있다. 다른 예로서, 영역(520)은 폭(526) 및 높이(528)로서 특정된 미리정의된 크기를 가질 수 있다. 일 구현예에서, 피드백 정보는 픽셀 어레이(500) 내의 하나 이상의 영역들의 크기를 정의하는 파라미터들을 포함한다. 예를 들어, 피드백 정보의 파라미터들은 폭(516), 폭(526), 높이(518), 및 높이(528) 중 하나 이상을 정의할 수 있다.
도 6은 이미지 파이프라인으로부터 수신된 피드백 정보가 제1 시간과 제2 시간 사이에서 업데이트됨에 따라 일부 픽셀들의 동작 상태들을 변경하는, 상이한 동작 상태들을 갖는 상이한 픽셀들을 갖는 이벤트 센서 픽셀 어레이(600)의 예를 예시한다. 제1 시간에, 이미지 파이프라인은 이벤트 센서에 의해 출력된 픽셀 이벤트들로부터 유도된 이미지 데이터에 기초하여 피드백 정보를 생성할 수 있다. 제1 시간에 이미지 파이프라인에 의해 생성된 피드백 정보를 수신하는 것에 응답하여, 픽셀 어레이(600)의 영역(620A) 내의 픽셀들의 제1 서브세트는 활성 상태에 있고, 영역(610A) 내의 픽셀들의 제2 서브세트는 대기 상태에 있고, 영역들(610A, 620A) 외부의 픽셀들의 제3 서브세트는 비활성 상태에 있다.
제1 시간에 후속하여, 이미지 파이프라인은 이미지 파이프라인에 의해 프로세싱되고 있는 이미지 데이터를 변경하는 이벤트 센서로부터 부가적인 픽셀 이벤트들을 수신할 수 있다. 예를 들어, 이미지 데이터 내의 관심 특징(예컨대, 도 3의 동공 중심(310))의 위치는 이미지 데이터가 부가적인 픽셀 이벤트들에 의해 업데이트됨에 따라 변할 수 있다. 제2 시간에, 이미지 파이프라인은 부가적인 픽셀 이벤트들로부터 발생하는 이미지 데이터에서의 그러한 변화를 설명하는 피드백 정보를 생성할 수 있다. 제2 시간에 이미지 파이프라인에 의해 생성된 피드백 정보를 수신하는 것에 응답하여, 픽셀 어레이(600)의 영역(620B) 내의 픽셀들의 제1 서브세트는 활성 상태에 있고, 영역(610B) 내의 픽셀들의 제2 서브세트는 대기 상태에 있고, 영역들(610B, 620B) 외부의 픽셀들의 제3 서브세트는 비활성 상태에 있다.
제1 시간과 제2 시간 사이에서, 픽셀 어레이(600) 내의 일부 픽셀들은 이미지 파이프라인으로부터 수신된 피드백 정보에 응답하여 하나의 동작 상태로부터 다른 동작 상태로 전이한다. 예를 들어, 도 7에서 보여지는 바와 같이, 제1 시간에서 대기 상태에 있던 서브 영역(710) 내의 픽셀들은 제2 시간에 비활성 상태로 전이할 것이다. 제1 시간에서 활성 상태에 있던 픽셀 어레이(600)의 서브 영역(720) 내의 픽셀들은 제2 시간에 대기 상태로 전이할 것이다. 유사하게, 제1 시간에서 대기 상태에 있던 서브 영역(730) 내의 픽셀들은 제2 시간에 활성 상태로 전이할 것이고, 제1 시간에서 비활성 상태에 있던 서브 영역(740) 내의 픽셀들은 제2 시간에 대기 상태로 전이할 것이다.
다양한 구현예들에서, 이벤트 센서(예컨대, 도 2의 이벤트 센서(210))는 픽셀 이벤트들을 이미지 파이프라인(예컨대, 이미지 파이프라인(220))으로 출력하도록 구성될 수 있다. 도 1에 관하여 위에서 논의된 바와 같이, 다양한 구현예들에서, 이벤트 센서의 이벤트 컴파일러(예컨대, 이벤트 컴파일러(190))는 각각의 픽셀 이벤트를: (i) 각자의 픽셀 이벤트를 트리거한 이벤트 신호를 송신한 특정 픽셀에 대응하는 어드레스 식별자(예컨대, 특정 픽셀의 x/y-좌표 - [x, y]); (ii) 이벤트 신호에 포함된 전기적 응답(예컨대, 전기적 응답의 값 또는 극성 - "세기")을 나타내는 정보; 및 (iii) 각자의 픽셀 이벤트가 생성된 시점("T")에 대응하는 타임스탬프 정보의 일부 조합으로 채울 수 있다. 이벤트 센서의 이벤트 컴파일러들이 소정 개수("N")의 픽셀 이벤트들을 생성하고, 각각의 픽셀 이벤트를 모든 3개의 데이터 포인트들로 채웠다면, 그러한 N개의 픽셀 이벤트들(픽셀 이벤트들(1...N))은 하기의 픽셀 이벤트들의 목록으로서 표현될 수 있다:([x,y], 세기-1, T1), ([x,y], 세기-2, T2),…, ([x,y], 세기-N, TN). 일 구현예에서, 이벤트 센서는 그러한 픽셀 이벤트들을 픽셀 이벤트들의 빈(bin)들로서 이미지 파이프라인(예컨대, 이미지 파이프라인(220))으로 출력하도록 구성된다. 일반적으로, 픽셀 이벤트들의 빈은 픽셀 이벤트들의 집합으로 간주된다. 당업자는 비닝(binning)이 개별 데이터 값들(예컨대, 픽셀 이벤트들)을 정의된 간격들(또는 빈들)로 그룹화하는 것을 포함한다는 것을 인식할 것이다.
일 구현예에서, 그러한 간격들은 이벤트 카운트에 기초하여 정의될 수 있다. 예를 들어, 이벤트 센서는 미리정의된 개수의 픽셀 이벤트들(예컨대, 10개의 픽셀 이벤트들)이 생성된 후에 픽셀 이벤트들의 각각의 빈을 출력할 수 있다. 이러한 구현예에서, 앞선 예에서 계속하여 N = 40이라고 가정하면, 이벤트 컴파일러들에 의해 생성된 40개의 픽셀 이벤트들이 이미지 파이프라인으로의 출력을 위해 픽셀 이벤트들의 4개의 빈들로 그룹화될 수 있다. 이 예의 4개의 빈들은: 픽셀 이벤트들(1…10)을 포함하는 픽셀 이벤트들의 제1 빈; 픽셀 이벤트들(11…20)을 포함하는 픽셀 이벤트들의 제2 빈; 픽셀 이벤트들(21…30)을 포함하는 픽셀 이벤트들의 제3 빈; 및 픽셀 이벤트들(31…40)을 포함하는 픽셀 이벤트들의 제4 빈을 포함할 것이다. 일 구현예에서, 이벤트 센서의 하드웨어/소프트웨어 기반 이벤트 카운터는 하나 이상의 이벤트 컴파일러들에 의해 생성되고 있는 픽셀 이벤트들의 개수를 모니터링하고 그 개수가 픽셀 이벤트들의 미리정의된 개수에 도달할 때 이벤트 센서가 픽셀 이벤트들의 빈을 출력하게 할 수 있다.
일 구현예에서, 그러한 간격들은 주기적 기준(예컨대, 매 0.5 밀리초("ms")마다)을 사용하여 정의될 수 있다. 이러한 구현예에서, 앞선 예에서 계속하여 4 ms 기간에 걸쳐 40개의 픽셀 이벤트들 사이에서 규칙적으로 이격된 타임스탬프들을 가정하면, 40개의 픽셀 이벤트들은 픽셀 이벤트들의 8개의 빈들로 그룹화될 수 있다. 이 예의 8개의 빈들은: 4 ms 기간의 0 내지 0.5 ms 사이에서 생성된 픽셀 이벤트들을 포함하는 픽셀 이벤트들의 제1 빈(픽셀 이벤트들(1…5)); 0.5 내지 1.0 ms 사이에서 생성된 픽셀 이벤트들을 포함하는 픽셀 이벤트들의 제2 빈(픽셀 이벤트들(6…10)); 1.0 내지 1.5 ms 사이에서 생성된 픽셀 이벤트들을 포함하는 픽셀 이벤트들의 제3 빈(픽셀 이벤트들(11…15)); 1.5 내지 2.0 ms 사이에서 생성된 픽셀 이벤트들을 포함하는 픽셀 이벤트들의 제4 빈(픽셀 이벤트들(16…20)); 2.0 내지 2.5 ms 사이에서 생성된 픽셀 이벤트들을 포함하는 픽셀 이벤트들의 제5 빈(픽셀 이벤트들(21…25)); 2.5 내지 3.0 ms 사이에서 생성된 픽셀 이벤트들을 포함하는 픽셀 이벤트들의 제6 빈(픽셀 이벤트들(26…30)); 3.0 내지 3.5 ms 사이에서 생성된 픽셀 이벤트들을 포함하는 픽셀 이벤트들의 제7 빈(픽셀 이벤트들(31…35); 및 3.5 내지 4.0 ms 사이에서 생성된 픽셀 이벤트들을 포함하는 픽셀 이벤트들의 제8 빈(픽셀 이벤트들(36…40))을 포함할 것이다.
일 구현예에서, 주기적 기준은 이벤트 센서의 글로벌 판독 동작 또는 글로벌 리셋 동작과 동기화된다. 일 구현예에서, 글로벌 판독 동작은 공통(또는 실질적으로 공통) 시간에 픽셀 데이터를 프로세싱하기 위해 각자의 비교기를 트리거하는 픽셀들의 특정 서브세트(예컨대, 특정 행 또는 특정 열) 내의 각각의 픽셀의 각자의 제어기를 포함한다. 일 구현예에서, 글로벌 리셋 동작은 픽셀 데이터의 샘플이 각자의 비교기에 의해 프로세싱될 때마다 기준 값(또는 전압)(Vref)으로 리셋되는 픽셀 데이터의 값(또는 전압)을 포함한다.
일 구현예에서, 픽셀 이벤트들의 각각의 빈은 (예컨대, 위에서 제시된 픽셀 이벤트들의 목록과 유사한) 픽셀 이벤트들의 목록으로서 출력된다. 일 구현예에서, 픽셀 이벤트들의 각각의 빈은 픽셀 이벤트들의 2차원("2-D") 타일로서 출력된다. 도 8은 이벤트 센서가 이미지 파이프라인으로의 출력을 위해 발생할 수 있는 픽셀 이벤트들의 그러한 2-D 타일들의 예들을 묘사한다. 일 구현예에서, 각각의 픽셀 이벤트는 어드레스 식별자 정보를 사용하여 픽셀 이벤트들의 대응하는 2-D 타일의 특정 위치에 맵핑된다. 일 구현예에서, 각각의 2-D 타일은 픽셀 이벤트들의 대응하는 빈에 포함된 각각의 픽셀 이벤트에 의해 제공되는 전기적 응답의 값 또는 극성을 인코딩한다. 특정 2-D 타일(예컨대, 타일(810))을 수신하면, 이미지 파이프라인은 주어진 간격 내에서 입사 조명의 포지티브 변화들(예를 들어, 픽셀 이벤트들(812)) 및 주어진 간격 내에서 입사 조명의 네거티브 변화들(예를 들어, 픽셀 이벤트들(814))을 모두 감지한 특정 픽셀들을 식별할 수 있다. 일 구현예에서, 이미지 파이프라인은 2-D 타일 내에 인코딩된 전기적 응답의 값들 또는 극성을 사용하여 세기 재구성 이미지를 업데이트할 수 있다.
도 9는 일부 구현예들에 따른 머리-장착형 디바이스(900)의 블록도를 예시한다. 머리-장착형 디바이스(900)는 머리-장착형 디바이스(900)의 다양한 컴포넌트들을 수용하는 하우징(901)(또는 인클로저)을 포함한다. 하우징(901)은 머리-장착형 디바이스(900)의 사용자(10)에 대해 하우징(901)의 근위 단부에 배치된 아이 패드(eye pad)(905)를 포함한다(또는 그에 결합된다). 다양한 구현예들에서, 아이 패드(905)는 (예컨대, 사용자(10)의 눈을 둘러싼) 사용자(10)의 얼굴 상의 적절한 위치에 머리-장착형 디바이스(900)를 편안하고 포근하게 유지하는 플라스틱 또는 고무 조각이다.
일부 구현예들에서, 이미지 데이터는 하우징(901) 내에 배치된 디스플레이(910)를 통해 머리-장착형 디바이스(900)의 사용자(10)에 제시된다. 도 9는 디스플레이(910) 및 아이 패드(905)를 포함하는 머리-장착형 디바이스(900)를 예시하지만, 다양한 구현예들에서, 머리-장착형 디바이스(900)는 디스플레이(910)를 포함하지 않거나, 또는 아이 패드(905)를 포함하지 않는 광학 시스루(see-through) 디스플레이를 포함한다.
머리-장착형 디바이스(900)는 이벤트 센서(924), 제어기(980), 및 선택적으로 하나 이상의 광원들(922)을 포함하는 하우징(901) 내에 배치된 시선 추적 시스템을 더 포함한다. 일반적으로, 제어기(980)는 사용자(10)의 시선 특성들을 검출 및 추적하기 위해 이벤트 센서(924) 및 이미지 파이프라인(예컨대, 도 2의 이미지 파이프라인(220))의 특징 추적기와 상호작용하도록 구성된다. 일 구현예에서, 시스템은 광을 방출하는 하나 이상의 광원들(922)을 포함하며, 광은 사용자(10)의 눈에서 광 패턴(예컨대, 반사광들의 원)으로서 반사되어 이벤트 센서(924)에 의해 검출된다. 이를 위해, 제어기(980)는 이미지 파이프라인으로부터 수신된 정보(예컨대, 피드백 정보)에 응답하여 하나 이상의 광원들(922)을 활성화시키도록 구성된다. 광 패턴에 기초하여, 이미지 파이프라인의 특징 추적기는 사용자(10)의 시선 추적 특성(예컨대, 시선 방향, 동공 중심, 동공 크기 등)을 결정할 수 있다.
일 구현예에서, 제어기(980)는 정의된 주파수(예컨대, 300 ㎐)에서 광원(922)을 펄싱함으로써 광원(922)을 활성화시키도록 구성된다. 일 구현예에서, 정의된 주파수에서 광원(922)을 펄싱하는 것은 이벤트 센서(924) 내의 적어도 픽셀들의 서브세트(예컨대, 활성 상태의 픽셀들)가 정의된 주파수에 비례하는 속도로 이벤트 데이터를 생성하게 한다.
일 구현예에서, 어떠한 광원도 사용되지 않으며, 눈은 환경에 존재하는 광에 의해 수동적으로 조명된다. 시선 추적 특성(예컨대, 시선 방향, 동공 중심, 동공 크기 등)은 이미지를 분석하고 (예를 들어, 템플릿 매칭을 사용하거나, 모서리 또는 특징 검출기를 분류기와 조합하거나, 훈련 신경망(trained neural network)을 사용하여) 동공 위치, 외양 및 형상과 같은 추출 특징들을 분석함으로써 결정될 수 있고, 이를 홍채 윤곽(윤부) 또는 눈꺼풀 형상 및 눈꺼풀 모서리 위치와 같은 눈의 부가적인 특징들의 위치 및 형상과 관련시킬 수 있다.
도 10은 피드백 루프 및 다수의 전력 상태들을 지원하도록 구성된 이벤트 구동 센서를 갖는 이벤트 카메라 시스템 아키텍처를 구현하는 방법(1000)의 예를 예시하는 흐름도이다. 일 구현예에서, 방법(1000)은 도 2의 이벤트 센서(210)에 의해 달성된다. 블록(1002)에서, 방법(1000)은 픽셀 어레이를 갖는 이벤트 센서로부터 이미지 파이프라인으로 픽셀 이벤트들을 출력하는 단계를 포함한다. 픽셀 어레이는 전체 전력 모드에서 동작하는 픽셀들의 활성 영역 및 셧다운 전력 모드 또는 감소된 전력 모드에서 동작하는 픽셀들의 비활성 영역을 갖도록 구성된다. 각각 각자의 픽셀 이벤트는 픽셀들의 활성 영역 내의 특정 픽셀이 비교기 임계치를 초과하는 광 세기의 변화를 검출하는 것에 응답하여 생성된다.
일 구현예에서, 픽셀 이벤트들은 픽셀 이벤트들의 빈으로서 이벤트 센서로부터 출력된다. 일 구현예에서, 이벤트 센서는 주기적으로 픽셀 이벤트들의 빈들을 출력하도록 구성된다. 일 구현예에서, 주기적 기준은 이벤트 센서의 글로벌 판독 동작 또는 글로벌 리셋 동작과 동기화된다. 일 구현예에서, 픽셀 이벤트들의 빈은 미리정의된 개수의 픽셀 이벤트들이 생성된 후에 이벤트 센서로부터 출력된다. 일 구현예에서, 픽셀 이벤트들의 빈은 픽셀 이벤트들의 2-D 타일(예컨대, 도 8에 묘사된 픽셀 이벤트들의 2-D 타일들)로서 출력된다. 일 구현예에서, 픽셀 이벤트들은 픽셀 이벤트들의 목록으로서 이벤트 센서로부터 출력된다.
블록(1004)에서, 방법(1000)은 픽셀 이벤트들로부터 유도된 이미지 데이터에 기초하여 이미지 파이프라인으로부터 피드백 정보를 수신하는 단계를 포함한다. 일 구현예에서, 피드백 정보는 이미지 파이프라인이 이미지 데이터 내에서 추적하는 관심 영역에 대응하는 픽셀 어레이의 영역을 정의하는 활성 영역 오프셋이다. 블록(1006)에서, 방법(1000)은 피드백 정보를 수신하는 것에 응답하여 픽셀들의 활성 영역 내의 픽셀에게 셧다운 전력 모드 또는 감소된 전력 모드에서 동작하도록 지시하는 단계를 포함한다.
일 구현예에서, 피드백 정보는 비트마스크(bitmask)를 포함할 수 있으며, 상기 비트마스크는 각각의 개별 픽셀에 대한 목표 픽셀 상태를 인코딩하는데, 예를 들어, 센서의 나머지 부분이 준비 상태 또는 비활성 상태에 있는 동안, 상기 비트마스크는 활성 상태에 있는 원형 영역을 나타낼 수 있고, 또한, 상기 마스크가 언급된 상태들 중 하나로 설정되는 센서의 임의의 임의로 형상화된 영역 또는 영역들의 세트를 나타낼 수 있는 방법을 쉽게 알 수 있으며, 이때 가장 작은 상기 영역은 임의의 개별 픽셀이다.
도 11은 피드백 루프 및 다수의 전력 상태들을 지원하도록 구성된 이벤트 구동 센서를 갖는 이벤트 카메라 시스템 아키텍처를 구현하는 방법(1100)의 다른 예를 예시하는 흐름도이다. 일 구현예에서, 방법(1000)은 도 2의 이미지 파이프라인(220)에 의해 달성된다. 블록(1102)에서, 방법(1100)은, 이미지 파이프라인에 의해, 활성 상태의 픽셀들의 제1 서브세트 및 비활성 상태의 픽셀들의 제2 서브세트를 포함하는 픽셀 어레이를 갖는 이벤트 센서로부터 픽셀 이벤트들을 수신하는 단계를 포함한다. 각각 각자의 픽셀 이벤트는 픽셀들의 제1 서브세트 내의 특정 픽셀이 비교기 임계치를 초과하는 광 세기의 변화를 검출하는 것에 응답하여 생성된다. 일 구현예에서, 픽셀 이벤트들은 픽셀 이벤트들의 빈으로서 이벤트 센서로부터 수신된다. 일 구현예에서, 픽셀 이벤트들은 픽셀 이벤트들의 목록으로서 이벤트 센서로부터 수신된다.
블록(1104)에서, 방법(1100)은 이미지 파이프라인을 이용해 픽셀 이벤트들로부터 이미지 데이터를 유도하는 단계를 포함한다. 블록(1106)에서, 방법(1100)은 이미지 데이터에 기초하여 이미지 파이프라인을 이용해 피드백 정보를 생성하는 단계를 포함한다. 피드백 정보는 이벤트 센서가 픽셀들의 제1 서브세트 내의 픽셀에게 활성 상태로부터 다른 동작 상태로 전이하도록 지시하게 한다. 일 구현예에서, 피드백 정보는 이벤트 센서가 픽셀들의 제1 서브세트 내의 픽셀에게 활성 상태로부터 비활성 상태로 전이하도록 지시하게 한다. 일 구현예에서, 피드백 정보는 이벤트 센서가 픽셀들의 제1 서브세트 내의 픽셀에게 활성 상태로부터 대기 상태로 전이하도록 지시하게 한다. 일 구현예에서, 피드백 정보를 생성하는 것은 이미지 데이터 내의 관심 영역을 이미지 파이프라인을 이용해 추적하는 것을 포함한다. 일 구현예에서, 피드백 정보는 이미지 파이프라인이 이미지 데이터 내에서 추적하는 관심 영역에 대응하는 픽셀 어레이의 영역을 정의하는 활성 영역 오프셋이다.
일 구현예에서, 방법(1100)은 정의된 주파수에서 이벤트 센서의 시야 내에 배치된 장면을 향해 광을 방출하도록 구성된 광원을 펄싱하는 단계를 더 포함한다. 일 구현예에서, 정의된 주파수에서 광원을 펄싱하는 것은 픽셀들의 제1 서브세트 내의 픽셀들이 정의된 주파수에 비례하는 속도로 이벤트 데이터를 생성하게 한다.
본 명세서에서 "~ 하도록 적응되는(adapted to)" 또는 "~ 하도록 구성되는(configured to)"의 사용은 부가적인 태스크들 또는 단계들을 수행하도록 적응되거나 또는 구성되는 디바이스들을 배제하지 않는 개방적이고 포괄적인 언어로서 의도된다. 부가적으로, "~에 기초하여"의 사용은, 하나 이상의 인용 조건들 또는 값들"에 기초한" 프로세스, 단계, 계산, 또는 다른 작동이, 실제로, 인용된 것들 이상으로 부가적인 조건들 또는 값에 기초할 수 있다는 점에서 개방적이고 포괄적인 것으로 의도된다. 본 명세서에 포함된 표제들, 목록들, 및 번호는 단지 설명의 용이함을 위한 것이며 제한적인 것으로 의도되지 않는다.
용어들 "제1", "제2" 등이 다양한 요소들을 설명하기 위해 본 명세서에서 사용될 수 있지만, 이들 요소들은 이들 용어들에 의해 제한되어서는 안 된다는 것이 또한 이해될 것이다. 이들 용어들은 하나의 요소를 다른 요소와 구별하는 데에만 사용된다. 예를 들어, 모든 "제1 노드"의 발생이 일관되게 재명명되고 모든 "제2 노드"의 발생이 일관되게 재명명되기만 한다면, 제1 노드는 제2 노드로 지칭될 수 있고, 유사하게, 제2 노드는 제1 노드로 지칭될 수 있으며, 이는 설명의 의미를 변경한다. 제1 노드 및 제2 노드는 둘 모두 노드들이지만, 그것들은 동일한 노드가 아니다.
본 명세서에서 사용되는 용어는 단지 특정 구현예들만을 설명하는 목적을 위한 것이고, 청구범위를 제한하도록 의도되지 않는다. 본 구현예들의 설명 및 첨부된 청구범위에 사용되는 바와 같이, 단수형들("a", "an" 및 "the")은 문맥상 명확하게 달리 나타나지 않으면 복수형들도 또한 포함하도록 의도된다. 또한, 본 명세서에서 사용되는 바와 같은 용어 "또는"은 열거되는 연관된 아이템들 중 하나 이상의 아이템의 임의의 그리고 모든 가능한 조합들을 나타내고 그들을 포괄하는 것임이 이해될 것이다. 본 명세서에서 사용될 때 용어들 "포함한다(comprise)" 또는 "포함하는(comprising)"은 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들 또는 이들의 그룹들의 존재 또는 부가를 배제하지 않는다는 것이 추가로 이해될 것이다.
본 명세서에서 사용되는 바와 같이, 맥락에 의존하여, 진술된 선행 조건이 사실"인 경우(if)"라는 용어는 그가 사실"일 때(when)", 그가 사실"일 시(upon)" 또는 그가 사실"이라고 결정하는 것에 응답하여(in response to determining)" 또는 그가 사실"이라는 결정에 따라(in accordance with a determination)" 또는 그가 사실"임을 검출하는 것에 응답하여(in response to detecting)"를 의미하는 것으로 해석될 수 있다. 유사하게, 어구 "[진술된 선행 조건이 사실이라고] 결정되는 경우" 또는 "[진술된 선행 조건이 사실]인 경우" 또는 "[진술된 선행 조건이 사실]일 때"는, 맥락에 의존하여, 진술된 선행 조건이 사실"이라고 결정할 시" 또는 그가 사실"이라고 결정하는 것에 응답하여" 또는 그가 사실"이라는 결정에 따라" 또는 그가 사실"임을 검출할 시" 또는 그가 사실"임을 검출하는 것에 응답하여"를 의미하는 것으로 해석될 수 있다.
본 발명의 전술한 설명 및 발명의 내용은 모든 면에서 도시적이고 예시적이지만, 제한적이지 않은 것으로 이해될 것이며, 본 명세서에 개시된 발명의 범주는 예시적인 구현예들의 상세한 설명에만 의존하여 결정되지 않고, 특허법에서 허용되는 전체 범위에 따라 결정될 것이다. 본 명세서에 도시되고 기재된 구현예들은 단지 본 발명의 원리에 대한 예시일뿐이고, 다양한 변형예가 본 발명의 범주 및 사상을 벗어나지 않고 당업자들에 의해 구현될 수 있음이 이해될 것이다.
Claims (20)
- 시스템으로서,
활성 상태의 픽셀들의 제1 서브세트, 비활성 상태의 픽셀들의 제2 서브세트 및 대기 상태의 픽셀들의 제3 서브세트를 동작시키도록 구성된 픽셀 어레이를 갖는 이벤트 센서 - 상기 이벤트 센서는 픽셀 이벤트들을 출력하도록 구성되고, 각각 각자의 픽셀 이벤트는 상기 픽셀들의 제1 서브세트 내의 특정 픽셀이 비교기 임계치를 초과하는 광 세기의 변화를 검출하는 것에 응답하여 생성되며, 상기 활성 상태의 픽셀들은 상기 픽셀 어레이의 영역을 차지하고, 상기 대기 상태의 픽셀들 및 상기 비활성 상태의 픽셀들은 상기 픽셀 어레이의 상기 영역의 외부에 있음 -; 및
상기 픽셀 이벤트들로부터 유도된 이미지 데이터를 소비하고 상기 이미지 데이터에 기초하여 피드백 정보를 상기 이벤트 센서에 통신하도록 구성된 이미지 파이프라인을 포함하며, 상기 피드백 정보는 상기 픽셀들의 제1 서브세트 내의 픽셀이 상기 활성 상태로부터 다른 상태로 전이하게 하는, 시스템. - 제1항에 있어서, 상기 피드백 정보는 상기 이미지 데이터 내의 상기 이미지 파이프라인에 의해 추적되는 관심 영역에 대응하는, 시스템.
- 제1항에 있어서, 상기 픽셀들의 제2 서브세트 내의 각각의 픽셀은 셧다운 전력 모드에서 동작하는, 시스템.
- 제1항에 있어서, 상기 픽셀들의 제3 서브세트 내의 각각의 픽셀은 감소된 전력 모드에서 동작하는, 시스템.
- 제4항에 있어서, 상기 피드백 정보는 상기 픽셀들의 제1 서브세트 내의 상기 픽셀이 상기 대기 상태로 전이하게 하는, 시스템.
- 시스템으로서,
전체 전력 모드에서 동작하는 픽셀들의 활성 영역, 셧다운 전력 모드에서 동작하는 픽셀들의 비활성 영역, 및 감소된 전력 모드에서 동작하는 픽셀들의 대기 영역을 갖도록 구성된 픽셀 어레이를 갖는 이벤트 센서 - 상기 픽셀들의 대기 영역은 상기 픽셀 어레이 내의 상기 픽셀들의 활성 영역과 상기 픽셀들의 비활성 영역 사이임 -;
프로세서; 및
상기 프로세서에 의한 실행 시에 상기 시스템으로 하여금 동작들을 수행하게 하는 명령어들을 포함하는 컴퓨터 판독가능 저장 매체를 포함하며,
상기 동작들은:
상기 이벤트 센서로부터 이미지 파이프라인으로 픽셀 이벤트들을 출력하는 것 - 각각 각자의 픽셀 이벤트는 상기 픽셀들의 활성 영역 내의 특정 픽셀이 비교기 임계치를 초과하는 광 세기의 변화를 검출하는 것에 응답하여 생성됨 -;
상기 픽셀 이벤트들로부터 유도된 이미지 데이터에 기초하여 상기 이미지 파이프라인으로부터 피드백 정보를 수신하는 것; 및
상기 피드백 정보를 수신하는 것에 응답하여 상기 픽셀들의 활성 영역 내의 픽셀에게 상기 셧다운 전력 모드 또는 상기 감소된 전력 모드에서 동작하도록 지시하는 것을 포함하는, 시스템. - 삭제
- 삭제
- 시스템으로서,
전체 전력 모드에서 동작하는 픽셀들의 활성 영역 및 셧다운 전력 모드 또는 감소된 전력 모드에서 동작하는 픽셀들의 비활성 영역을 갖도록 구성된 픽셀 어레이를 갖는 이벤트 센서 - 상기 픽셀들의 활성 영역 내의 픽셀들의 서브세트는 상기 셧다운 전력 모드 또는 상기 감소된 전력 모드에서 동작함 -;
프로세서; 및
상기 프로세서에 의한 실행 시에 상기 시스템으로 하여금 동작들을 수행하게 하는 명령어들을 포함하는 컴퓨터 판독가능 저장 매체를 포함하며,
상기 동작들은:
상기 이벤트 센서로부터 이미지 파이프라인으로 픽셀 이벤트들을 출력하는 것 - 각각 각자의 픽셀 이벤트는 상기 픽셀들의 활성 영역 내의 특정 픽셀이 비교기 임계치를 초과하는 광 세기의 변화를 검출하는 것에 응답하여 생성됨 -;
상기 픽셀 이벤트들로부터 유도된 이미지 데이터에 기초하여 상기 이미지 파이프라인으로부터 피드백 정보를 수신하는 것; 및
상기 피드백 정보를 수신하는 것에 응답하여 상기 픽셀들의 활성 영역 내의 픽셀에게 상기 셧다운 전력 모드 또는 상기 감소된 전력 모드에서 동작하도록 지시하는 것을 포함하는, 시스템. - 시스템으로서,
전체 전력 모드에서 동작하는 픽셀들의 활성 영역 및 셧다운 전력 모드 또는 감소된 전력 모드에서 동작하는 픽셀들의 비활성 영역을 갖도록 구성된 픽셀 어레이를 갖는 이벤트 센서;
프로세서; 및
상기 프로세서에 의한 실행 시에 상기 시스템으로 하여금 동작들을 수행하게 하는 명령어들을 포함하는 컴퓨터 판독가능 저장 매체를 포함하며,
상기 동작들은:
상기 이벤트 센서로부터 이미지 파이프라인으로 픽셀 이벤트들을 출력하는 것 - 각각 각자의 픽셀 이벤트는 상기 픽셀들의 활성 영역 내의 특정 픽셀이 비교기 임계치를 초과하는 광 세기의 변화를 검출하는 것에 응답하여 생성되고, 상기 픽셀 이벤트들을 출력하는 것은: 상기 이벤트 센서로부터 상기 이미지 파이프라인으로 픽셀 이벤트들의 빈(bin)들을 출력하는 것을 포함함 -;
상기 픽셀 이벤트들로부터 유도된 이미지 데이터에 기초하여 상기 이미지 파이프라인으로부터 피드백 정보를 수신하는 것; 및
상기 피드백 정보를 수신하는 것에 응답하여 상기 픽셀들의 활성 영역 내의 픽셀에게 상기 셧다운 전력 모드 또는 상기 감소된 전력 모드에서 동작하도록 지시하는 것을 포함하는, 시스템. - 제10항에 있어서, 상기 픽셀 이벤트들의 빈들은 주기적 기준으로 상기 이벤트 센서로부터 출력되는, 시스템.
- 제11항에 있어서, 상기 주기적 기준은 상기 이벤트 센서의 글로벌 판독 동작 또는 글로벌 리셋 동작과 동기화되는, 시스템.
- 제10항에 있어서, 상기 이벤트 센서는 미리정의된 개수의 픽셀 이벤트들이 생성된 후에 픽셀 이벤트들의 각각의 빈을 출력하는, 시스템.
- 제10항에 있어서, 픽셀 이벤트들의 각각의 빈은 픽셀 이벤트들의 2차원 타일로서 출력되는, 시스템.
- 제10항에 있어서, 픽셀 이벤트들의 각각의 빈은 픽셀 이벤트들의 목록으로서 상기 이벤트 센서로부터 출력되는, 시스템.
- 시스템으로서,
프로세서;
이미지 파이프라인;
상기 이벤트 센서의 시야 내에 배치된 장면을 향해 광을 방출하도록 구성된 광원; 및
상기 프로세서에 의한 실행 시에 상기 시스템으로 하여금 동작들을 수행하게 하는 명령어들을 포함하는 컴퓨터 판독가능 저장 매체를 포함하며,
상기 동작들은,
상기 이미지 파이프라인에 의해, 활성 상태의 픽셀들의 제1 서브세트 및 비활성 상태의 픽셀들의 제2 서브세트를 포함하는 픽셀 어레이를 갖는 이벤트 센서로부터 픽셀 이벤트들을 수신하는 것 - 각각 각자의 픽셀 이벤트는 상기 픽셀들의 제1 서브세트 내의 특정 픽셀이 비교기 임계치를 초과하는 광 세기의 변화를 검출하는 것에 응답하여 생성됨 -;
정의된 주파수에서 상기 광원을 펄싱하여 상기 픽셀들의 제1 서브세트 내의 픽셀들이 상기 정의된 주파수에 비례하는 속도로 이벤트 데이터를 생성하게 하는 것;
상기 이미지 파이프라인을 이용해 상기 픽셀 이벤트들로부터 이미지 데이터를 유도하는 것; 및
상기 이미지 데이터에 기초하여 상기 이미지 파이프라인을 이용해 피드백 정보를 생성하는 것을 포함하며, 상기 피드백 정보는 상기 이벤트 센서가 상기 픽셀들의 제1 서브세트 내의 픽셀에게 상기 활성 상태로부터 다른 상태로 전이하도록 지시하게 하는, 시스템. - 제16항에 있어서, 상기 피드백 정보를 생성하는 것은
상기 이미지 파이프라인을 이용해 상기 이미지 데이터 내의 관심 영역을 추적하는 것을 포함하는, 시스템. - 삭제
- 삭제
- 제16항에 있어서, 상기 피드백 정보는 상기 이미지 파이프라인이 상기 이미지 데이터 내에서 추적하는 관심 영역에 대응하는 상기 픽셀 어레이의 영역을 정의하는 활성 영역 오프셋인, 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962824493P | 2019-03-27 | 2019-03-27 | |
| US62/824,493 | 2019-03-27 | ||
| PCT/US2020/023750 WO2020197956A1 (en) | 2019-03-27 | 2020-03-20 | Sensor system architecture with feedback loop and multiple power states |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210130778A KR20210130778A (ko) | 2021-11-01 |
| KR102594526B1 true KR102594526B1 (ko) | 2023-10-25 |
Family
ID=70285954
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217030658A KR102594526B1 (ko) | 2019-03-27 | 2020-03-20 | 피드백 루프 및 다수의 전력 상태들을 갖는 센서 시스템 아키텍처 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11831981B2 (ko) |
| EP (1) | EP3949381A1 (ko) |
| KR (1) | KR102594526B1 (ko) |
| CN (1) | CN113647095A (ko) |
| WO (1) | WO2020197956A1 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113647095A (zh) | 2019-03-27 | 2021-11-12 | 苹果公司 | 具有反馈回路和多个功率状态的传感器系统架构 |
| WO2020197972A1 (en) | 2019-03-27 | 2020-10-01 | Ocelot Laboratories Llc | Hardware implementation of sensor architecture with multiple power states |
| US11694304B2 (en) * | 2019-11-26 | 2023-07-04 | Samsung Electronics Co., Ltd. | Jointly learning visual motion and confidence from local patches in event cameras |
| US11405580B2 (en) * | 2020-09-09 | 2022-08-02 | Fotonation Limited | Event camera hardware |
| CN112738755B (zh) * | 2020-12-31 | 2023-09-15 | 上海遨有信息技术有限公司 | 电力物联网领域无线通信模组与传感器交互的方法 |
| CN114339089A (zh) * | 2021-12-29 | 2022-04-12 | 深圳锐视智芯科技有限公司 | 一种事件图像输出方法、装置、设备及可读存储介质 |
| CN114827467A (zh) * | 2022-04-22 | 2022-07-29 | 深圳锐视智芯科技有限公司 | 一种事件型图像传感器及控制方法 |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3890210B2 (ja) | 2000-08-11 | 2007-03-07 | キヤノン株式会社 | 画像撮影装置及び画像撮影装置の制御方法 |
| US7807955B2 (en) * | 2008-05-30 | 2010-10-05 | Eastman Kodak Company | Image sensor having reduced well bounce |
| US8508612B2 (en) * | 2010-09-30 | 2013-08-13 | Apple Inc. | Image signal processor line buffer configuration for processing ram image data |
| US9521338B2 (en) * | 2011-11-08 | 2016-12-13 | Rambus Inc. | Image sensor sampled at non-uniform intervals |
| US10609285B2 (en) | 2013-01-07 | 2020-03-31 | Ultrahaptics IP Two Limited | Power consumption in motion-capture systems |
| US9503641B2 (en) * | 2013-02-19 | 2016-11-22 | Microsoft Technology Licensing, Llc | Energy-proportional image sensor |
| GB2513579A (en) * | 2013-04-29 | 2014-11-05 | Tobii Technology Ab | Power efficient image sensing apparatus, method of operating the same and eye/gaze tracking system |
| US10863098B2 (en) * | 2013-06-20 | 2020-12-08 | Microsoft Technology Licensing. LLC | Multimodal image sensing for region of interest capture |
| WO2015038569A2 (en) * | 2013-09-10 | 2015-03-19 | Rambus Inc. | Oversampled image sensor with conditional pixel readout |
| US9952323B2 (en) * | 2014-04-07 | 2018-04-24 | Samsung Electronics Co., Ltd. | High resolution, high frame rate, low power image sensor |
| US9521349B2 (en) * | 2014-06-19 | 2016-12-13 | Rambus Inc. | Image sensor architecture with power saving readout |
| KR102205702B1 (ko) * | 2014-07-30 | 2021-01-21 | 삼성전자주식회사 | 이미지 센서 및 이미지 센서를 구동하는 방법, 그리고 이를 이용한 영상 촬영 장치 |
| JP2016184843A (ja) * | 2015-03-26 | 2016-10-20 | ソニー株式会社 | イメージセンサ、処理方法、及び、電子機器 |
| KR102523136B1 (ko) * | 2015-09-01 | 2023-04-19 | 삼성전자주식회사 | 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀 |
| KR20180056962A (ko) | 2016-11-21 | 2018-05-30 | 삼성전자주식회사 | 전원 제어 회로를 포함하는 이벤트 기반 센서 |
| KR102612194B1 (ko) * | 2016-12-14 | 2023-12-11 | 삼성전자주식회사 | 이벤트 기반 센서 및 이벤트 기반 센싱 방법 |
| CN108574793B (zh) * | 2017-03-08 | 2022-05-10 | 三星电子株式会社 | 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备 |
| US10395376B2 (en) * | 2017-07-19 | 2019-08-27 | Qualcomm Incorporated | CMOS image sensor on-die motion detection using inter-pixel mesh relationship |
| US10845601B1 (en) * | 2018-02-07 | 2020-11-24 | Apple Inc. | AR/VR controller with event camera |
| JP2022028982A (ja) * | 2018-12-05 | 2022-02-17 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置、信号処理チップ、および、電子機器 |
| CN113647095A (zh) | 2019-03-27 | 2021-11-12 | 苹果公司 | 具有反馈回路和多个功率状态的传感器系统架构 |
| WO2020197972A1 (en) | 2019-03-27 | 2020-10-01 | Ocelot Laboratories Llc | Hardware implementation of sensor architecture with multiple power states |
-
2020
- 2020-03-20 CN CN202080024705.0A patent/CN113647095A/zh active Pending
- 2020-03-20 KR KR1020217030658A patent/KR102594526B1/ko active IP Right Grant
- 2020-03-20 WO PCT/US2020/023750 patent/WO2020197956A1/en unknown
- 2020-03-20 EP EP20719019.0A patent/EP3949381A1/en active Pending
-
2021
- 2021-08-12 US US17/400,502 patent/US11831981B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US11831981B2 (en) | 2023-11-28 |
| KR20210130778A (ko) | 2021-11-01 |
| CN113647095A (zh) | 2021-11-12 |
| US20210377453A1 (en) | 2021-12-02 |
| EP3949381A1 (en) | 2022-02-09 |
| WO2020197956A1 (en) | 2020-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102594526B1 (ko) | 피드백 루프 및 다수의 전력 상태들을 갖는 센서 시스템 아키텍처 | |
| US20210011548A1 (en) | Fast wake-up in a gaze tracking system | |
| KR102467771B1 (ko) | 이벤트-기반 비전 센서를 위한 데이터 레이트 제어 | |
| US11856305B2 (en) | Hardware implementation of sensor architecture with multiple power states | |
| CN110114739B (zh) | 具有低延迟和低功率的眼睛跟踪系统 | |
| US8803978B2 (en) | Computer vision-based object tracking system | |
| EP2226703B1 (en) | Wearable eye tracking system | |
| KR102523510B1 (ko) | 이벤트 카메라를 이용한 정적 이미지들의 생성 | |
| CN113316755B (zh) | 使用基于事件的视觉传感器的环境模型保持 | |
| KR20200100667A (ko) | 이벤트 기반 센서로부터 신호를 출력하는 방법 및 이러한 방법을 사용하는 이벤트 기반 센서 | |
| KR20170014491A (ko) | 움직임 인식 방법 및 움직임 인식 장치 | |
| KR20170014823A (ko) | 임계 전압 제어 방법 및 임계 전압 제어 장치 | |
| US20220229491A1 (en) | Eye event detection | |
| TW201608423A (zh) | 可調整取樣週期之導航裝置 | |
| CN108965730A (zh) | 一种亮度调节方法及装置 | |
| KR20230017273A (ko) | 시선 추적 장치, 시선 추적 방법 및 컴퓨터 판독가능 매체 | |
| US11682368B1 (en) | Method of operating a mobile device | |
| WO2020197961A1 (en) | Processing of signals using a recurrent state estimator | |
| Zhang et al. | Eye detection for electronic map control application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |