KR20220079972A - 저전력 동기식 판독을 이용하는 센서 - Google Patents

저전력 동기식 판독을 이용하는 센서 Download PDF

Info

Publication number
KR20220079972A
KR20220079972A KR1020227016050A KR20227016050A KR20220079972A KR 20220079972 A KR20220079972 A KR 20220079972A KR 1020227016050 A KR1020227016050 A KR 1020227016050A KR 20227016050 A KR20227016050 A KR 20227016050A KR 20220079972 A KR20220079972 A KR 20220079972A
Authority
KR
South Korea
Prior art keywords
event
pixels
implementations
pixel
data
Prior art date
Application number
KR1020227016050A
Other languages
English (en)
Inventor
니콜라이 이. 보크
에마누엘레 만델리
겐나디 에이. 마노킨
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20220079972A publication Critical patent/KR20220079972A/ko

Links

Images

Classifications

    • H04N5/378—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/74—Circuitry for scanning or addressing the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H04N5/341—
    • H04N5/351—
    • H04N5/3745—
    • H04N5/376—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 명세서에 개시된 다양한 구현예들은 센서에 의한 복수의 프레임들의 동기식 판독 동안 디바이스 메모리에 이벤트들을 버퍼링하는 디바이스들, 시스템들, 및 방법들을 포함한다. 본 명세서에 개시된 다양한 구현예들은 버퍼링된 이벤트들이 센서에 의한 송신에 충분할 때까지 센서 통신 링크를 디스에이블하는 디바이스들, 시스템들, 및 방법들을 포함한다. 일부 구현예들에서, 동기식 판독을 사용하는 센서는 픽셀들 중 얼마나 많은 픽셀들이 이벤트들을 검출하고 있는지에 기초하여 하나 이상의 프레임들에 대한 판독 모드를 선택할 수 있다. 일부 구현예들에서, 이벤트들을 갖는 낮은 백분율의 픽셀들에 대한 데이터만을 판독하는 제1 모드는 디바이스 메모리를 사용하고, 제2 모드는 높은 백분율의 픽셀들이 이벤트들을 검출하는 것과 같은 축적 기준들에 기초하여 디바이스 메모리를 우회한다. 제2 모드에서, 픽셀당 더 적은 데이터가 판독될 수 있다.

Description

저전력 동기식 판독을 이용하는 센서
본 개시내용은 일반적으로, 예를 들어, 제한된 전력을 갖는 상황들에서 센서들을 사용하는 시스템들, 방법들, 및 디바이스들에 관한 것이다.
다양한 상황들에서, 센서들은 감소된 전력 소비로 동작할 필요가 있다. 따라서, 개선된 센서 입력/출력 방법들 및 시스템들에 대한 필요성이 존재한다.
본 명세서에 개시된 다양한 구현예들은 센서에 의한 복수의 프레임들의 동기식 판독 동안 디바이스 메모리에 이벤트들을 버퍼링하는 디바이스들, 시스템들, 및 방법들을 포함한다. 본 명세서에 개시된 다양한 구현예들은 버퍼링된 이벤트들이 센서에 의한 송신에 충분할 때까지 센서 통신 링크를 디스에이블하는 디바이스들, 시스템들, 및 방법들을 포함한다. 일부 구현예들에서, 동기식 판독을 사용하는 센서는, 예를 들어 높은 데이터 레이트 조건들 동안 디바이스 메모리를 우회할 수 있다. 일부 구현예들에서, 동기식 판독을 사용하는 센서는 픽셀들 중 얼마나 많은 픽셀들이 이벤트들을 검출하고 있는지에 기초하여 하나 이상의 프레임들에 대한 판독 모드를 선택할 수 있다. 일부 구현예들에서, 이벤트들을 갖는 픽셀들에 대한 데이터만을 판독하는 제1 모드는, 임계 백분율(예를 들어, 20%) 미만의 픽셀들이 이벤트들을 검출하고 있을 때 디바이스 메모리와 함께 사용될 수 있는 반면, 모든 픽셀에 대한 데이터를 판독하는 제2 모드는 임계 백분율 초과의 픽셀들이 이벤트들을 검출하고 있을 때 디바이스 메모리를 우회할 수 있다. 제2 모드에서, 픽셀당 더 적은 데이터가 판독될 수 있다. 일부 구현예들에서, 유연한 이벤트 인코딩/판독이 더 효율적이거나, 전력을 감소시키거나, 이미지 품질을 개선시키거나, 또는 센서의 판독 회로를 오버로딩하는 것을 피할 수 있다. 일부 구현예들에서, 판독 모드는 프레임(또는 프레임의 일부)이 센서에 의해 판독되기 전에 선택된다.
본 개시내용이 당업자들에 의해 이해될 수 있도록, 더 상세한 설명이 일부 예시적인 구현예들의 양태들에 대한 참조에 의해 이루어질 수 있으며, 이들 중 일부는 첨부 도면들에 도시된다.
도 1은 일부 구현예들에 따른 예시적인 시스템의 블록도이다.
도 2는 일부 구현예들에 따른 예시적인 제어기의 블록도이다.
도 3은 일부 구현예들에 따른 예시적인 전자 디바이스의 블록도이다.
도 4는 일부 구현예들에 따른, 픽셀 인코딩 당 이벤트 카메라 비트들과 프레임 당 이벤트들의 수 사이의 예시적인 관계를 도시하는 도면이다.
도 5는 일부 구현예들에 따른, 이벤트 카메라에 대한 희소/조밀 조건의 예시적인 검출을 도시하는 블록도이다.
도 6은 일부 구현예들에 따른, 이벤트 카메라에 대한 희소/조밀 조건의 다른 예시적인 검출을 도시하는 블록도이다.
도 7은 일부 구현예들에 따른, 이벤트 카메라에 대한 희소/조밀 행(row) 조건의 예시적인 검출을 도시하는 블록도이다.
도 8은 일부 구현예들에 따른, 이벤트 카메라에 대한 희소/조밀 프레임 조건의 예시적인 검출을 도시하는 블록도이다.
도 9는 일부 구현예들에 따른, 저전력 동기식 판독을 사용하는 예시적인 이벤트 카메라를 도시하는 도면이다.
도 10은 일부 구현예들에 따른, 이벤트 카메라에 대한 픽셀 센서들의 블록도 및 픽셀 센서의 예시적인 회로도이다.
일반적인 실시에 따라, 도면에 예시된 다양한 특징부들은 축척대로 그려지지 않을 수 있다. 따라서, 다양한 특징부들의 치수들은 명료함을 위해 임의대로 확대 또는 축소될 수 있다. 부가적으로, 도면들 중 일부는 주어진 시스템, 방법 또는 디바이스의 컴포넌트들 모두를 도시하지는 않을 수 있다. 마지막으로, 동일한 도면 번호들은 명세서 및 도면들 전반에 걸쳐 동일한 특징부들을 나타내기 위해 사용될 수 있다.
도면들에 도시된 예시적인 구현예들의 완전한 이해를 제공하기 위해 다수의 세부사항들이 설명된다. 그러나, 도면들은 단지 본 개시내용의 일부 예시적인 양태들만을 도시할 뿐이며, 따라서 제한적인 것으로 고려되지 않는다. 당업자들은 다른 효과적인 양태들 또는 변형들이 본 명세서에 설명되는 특정 세부사항들 모두를 포함하지는 않음을 인식할 것이다. 게다가, 잘 알려진 시스템들, 방법들, 컴포넌트들, 디바이스들 및 회로들은 본 명세서에 설명되는 예시적인 구현예들의 더 적절한 양태들을 불명확하게 하지 않기 위해 포괄적으로 상세하게 설명되지 않았다.
본 명세서에 개시된 다양한 구현예들은, 출력 링크로의 송신 전에 희소 이벤트 데이터를 임시로 저장하고 이벤트 카메라에 의한 프레임(또는 프레임의 일부)의 판독 동안 조밀 이벤트 데이터를 출력 링크에 직접 송신하는 디바이스들, 시스템들, 및 방법들을 포함한다. 일부 구현예들에서, 시스템은 픽셀들의 매트릭스 배열을 포함하며, 여기서 픽셀들 각각은 광검출기에서 수신된 광에서 임계치를 초과하는 광 세기의 변화를 검출하는 것에 기초하여 이벤트를 검출하도록 구성된다. 일부 구현예들에서, 이벤트 버퍼는 축적 기준들에 기초하여 발생하는 이벤트들에 대해 매트릭스 배열의 픽셀들로부터 이벤트 데이터를 축적하도록 구성되고, 송신 회로는 이벤트 버퍼로부터 이벤트 데이터를 판독하고 이벤트 데이터를 송신하도록 구성된다. 일부 구현예들에서, 송신 회로는 송신들 사이에서 디스에이블되는 통신 링크를 포함한다. 일부 구현예들에서, 송신 회로는 이벤트 버퍼가 축적된 이벤트 데이터로부터 얼마나 가득 차 있는지에 기초하여 이벤트 데이터를 판독하거나 전송할 수 있다. 일부 구현예들에서, 송신 회로는 축적 기준들에 기초하여 이벤트 버퍼를 우회한다. 일부 구현예들에서, 축적 기준들은 픽셀들의 매트릭스 배열로부터의 데이터의 하나 이상의 동기식 프레임들에서의 이벤트들의 수, 이벤트 밀도, 또는 이벤트 백분율 점유를 포함한다.
본 명세서에 개시된 다양한 구현예들은 프레임(또는 프레임의 일부)의 동기식 판독이 이벤트 카메라에 의해 수행되기 전에 이벤트 밀도를 검출하는 디바이스들, 시스템들, 및 방법들을 포함한다. 일부 구현예들에서, 시스템은 픽셀들의 복수의 행들의 매트릭스 배열을 포함하며, 여기서 픽셀들 각각은 광검출기 및 광검출기에 커플링된 이벤트 검출기를 포함한다. 이벤트 검출기는 광검출기에서 수신된 광의 변화 임계치를 초과하는 광 세기의 변화를 검출하는 것에 기초하여 이벤트를 검출하도록 구성된다. 일부 구현예들에서, 이벤트 밀도 검출기는 픽셀들의 서브세트로부터 수신된 입력들 및 밀도 임계치에 기초하여 매트릭스 배열의 픽셀들의 서브세트에서 검출된 이벤트들의 이벤트 밀도를 결정하도록 구성된다. 이어서, 판독 회로는 이벤트 밀도 검출기에 기초하여 판독 모드를 결정하고 판독 모드에 기초하여 이벤트 데이터를 판독하도록 구성된다.
도 1은 일부 구현예들에 따른 예시적인 동작 환경(100)의 블록도이다. 비제한적인 예로서, 동작 환경(100)은 제어기(110) 및 전자 디바이스(예를 들어, 랩톱)(120)를 포함하며, 이들 중 하나 또는 모두는 물리적 설정(105) 내에 있을 수 있다.
일부 구현예들에서, 제어기(110)는 세기 및 콘트라스트 변화를 검출하도록 구성될 수 있다. 일부 구현예들에서, 제어기(110)는 소프트웨어, 펌웨어, 또는 하드웨어의 적합한 조합을 포함한다. 제어기(110)는 도 2에 관해 아래에서 더 상세히 설명된다. 일부 구현예들에서, 제어기(110)는 물리적 설정(105)에 대해 로컬 또는 원격인 컴퓨팅 디바이스이다.
일 예에서, 제어기(110)는 물리적 설정(105) 내에 위치된 로컬 서버이다. 다른 예에서, 제어기(110)는 물리적 환경(105)의 외부에 위치된 원격 서버(예를 들어, 클라우드 서버, 중앙 서버 등)이다. 일부 구현예들에서, 제어기(110)는 하나 이상의 유선 또는 무선 통신 채널들(144)(예를 들어, 블루투스, IEEE 802.11x, IEEE 802.16x, IEEE 802.3x 등)을 통해 대응하는 전자 디바이스(120)와 통신가능하게 커플링된다.
일부 구현예들에서, 제어기(110) 및 대응하는 전자 디바이스(예를 들어, 120)는 세기 및 콘트라스트 변화를 함께 검출하도록 구성된다.
일부 구현예들에서, 전자 디바이스(120)는 세기 및 콘트라스트 변화를 검출하도록 구성된다. 일부 구현예들에서, 전자 디바이스(120)는 소프트웨어, 펌웨어, 또는 하드웨어의 적합한 조합을 포함한다. 전자 디바이스(120)는 도 3에 관해 아래에서 더 상세히 설명된다. 일부 구현예들에서, 대응하는 제어기(110)의 기능들은, 예를 들어 독립형 유닛으로서 기능하는 전자 디바이스의 경우, 전자 디바이스(120)에 의해 제공되거나 그와 조합된다.
도 2는 일부 구현예들에 따른 제어기(110)의 일 예의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 다양한 다른 특징부들이 간결함을 위해 그리고 본 명세서에 개시된 구현예들의 더 적절한 양태들을 불명확하게 하지 않도록 하기 위해 예시되지 않았음을 이해할 것이다. 이를 위해, 비-제한적인 예로서, 일부 구현예들에서, 제어기(110)는 하나 이상의 프로세싱 유닛들(202)(예를 들어, 마이크로프로세서들, 주문형 집적 회로(ASIC)들, 필드-프로그래밍가능 게이트 어레이(FPGA)들, 그래픽 프로세싱 유닛(GPU)들, 중앙 프로세싱 유닛(CPU)들, 프로세싱 코어들 등), 하나 이상의 입력/출력(I/O) 디바이스들(206), 하나 이상의 통신 인터페이스들(208)(예를 들어, 범용 직렬 버스(USB), FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, 모바일 통신들을 위한 글로벌 시스템(GSM), 코드 분할 다중 액세스(CDMA), 시분할 다중 액세스(TDMA), 글로벌 포지셔닝 시스템(GPS), 적외선(IR), 블루투스, 지그비, 또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(210), 메모리(220), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(204)을 포함한다.
일부 구현예들에서, 하나 이상의 통신 버스들(204)은 시스템 컴포넌트들 사이의 통신들을 상호연결시키고 제어하는 회로부를 포함한다. 일부 구현예들에서, 하나 이상의 I/O 디바이스들(206)은 키보드, 마우스, 터치패드, 조이스틱, 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 하나 이상의 이미지 캡처 디바이스들 또는 다른 센서들, 하나 이상의 디스플레이들 등 중 적어도 하나를 포함한다.
메모리(220)는 동적-랜덤 액세스 메모리(DRAM), 정적 랜덤-액세스 메모리(SRAM), 더블-데이터-레이트 랜덤-액세스 메모리(DDR RAM), 또는 다른 랜덤-액세스 솔리드-스테이트(solid-state) 메모리 디바이스들과 같은 고속 랜덤-액세스 메모리를 포함한다. 일부 구현예들에서, 메모리(220)는 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(220)는 선택적으로, 하나 이상의 프로세싱 유닛들(202)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(220)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 구현예들에서, 메모리(220) 또는 메모리(220)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(230) 및 검출 모듈(240)을 포함하는 그들의 서브세트를 저장한다.
운영 체제(230)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 절차들을 포함한다. 일부 구현예들에서, 검출 모듈(240)은, 예를 들어 이벤트 카메라를 사용하여 콘트라스트 변화를 검출하도록 구성된다. 게다가, 도 2는 본 명세서에 설명된 구현예들의 구조적 개략도와는 대조적으로 특정 구현예들에 존재하는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 구현예들에서, 도 2에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 구현예들에서, 특정 구현예들에 대해 선택된 하드웨어, 소프트웨어, 또는 펌웨어의 특정 조합에 부분적으로 의존한다.
도 3은 일부 구현예들에 따른 전자 디바이스(120)의 일 예의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 다양한 다른 특징부들이 간결함을 위해 그리고 본 명세서에 개시된 구현예들의 더 적절한 양태들을 불명확하게 하지 않도록 하기 위해 예시되지 않았음을 이해할 것이다. 이를 위해, 비제한적인 예로서, 일부 구현예들에서 전자 디바이스(120)는 하나 이상의 프로세싱 유닛들(302)(예를 들어, 마이크로프로세서들, ASIC들, FPGA들, GPU들, CPU들, 프로세싱 코어들 등), 하나 이상의 입력/출력(I/O) 디바이스들 및 센서들(306), 하나 이상의 통신 인터페이스들(308)(예를 들어, USB, FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, GSM, CDMA, TDMA, GPS, IR, 블루투스, ZIGBEE, SPI, I2C, 또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(310), 하나 이상의 디스플레이들(312), 하나 이상의 내부 또는 외부 대향 센서 시스템들(314), 메모리(320), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(304)을 포함한다.
일부 구현예들에서, 하나 이상의 통신 버스들(304)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 일부 구현예들에서, 하나 이상의 I/O 디바이스들 및 센서들(306)은 관성 측정 유닛(IMU), 가속도계, 자력계, 자이로스코프, 온도계, 하나 이상의 생리학적 센서들(예를 들어, 혈압 모니터, 심박수 모니터, 혈중 산소 센서, 혈당 센서 등), 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 햅틱 엔진, 하나 이상의 심도 센서들(예를 들어, 구조화된 광, 빛의 비행시간(time-of-flight) 등) 등 중 적어도 하나를 포함한다.
일부 구현예들에서, 하나 이상의 디스플레이들(312)은 콘텐츠를 사용자에게 제시하도록 구성된다. 일부 구현예들에서, 하나 이상의 디스플레이들(312)은 홀로그래픽, 디지털 광 프로세싱(digital light processing, DLP), 액정 디스플레이(LCD), 실리콘 액정 표시장치(liquid-crystal on silicon, LCoS), 유기 발광 전계 효과 트랜지스터(organic light-emitting field-effect transitory, OLET), 유기 발광 다이오드(OLED), 표면-전도 전자-방출기 디스플레이(surface-conduction electron-emitter display, SED), 전계-방출 디스플레이(FED), 양자점 발광 다이오드(quantum-dot light-emitting diode, QD-LED), 마이크로-전자-기계 시스템(micro-electro-mechanical system, MEMS), 등의 디스플레이 유형들에 대응한다. 일부 구현예들에서, 하나 이상의 디스플레이들(312)은 회절, 반사, 편광, 홀로그래픽 등의 도파관 디스플레이들에 대응한다. 예를 들어, 전자 디바이스는 단일 디스플레이를 포함할 수 있다. 다른 예에서, 전자 디바이스는 사용자의 각각의 눈을 위한 디스플레이를 포함할 수 있다.
일부 구현예들에서, 하나 이상의 내부 또는 외부 대향 이미지 센서 시스템들(314)은 이미지 데이터를 캡처하는 이미지 캡처 디바이스 또는 어레이(예를 들어, 프레임 카메라 또는 이벤트 카메라), 또는 오디오 데이터를 캡처하는 오디오 캡처 디바이스 또는 어레이(예를 들어, 마이크로폰)를 포함한다.
메모리(320)는 DRAM, SRAM, DDR RAM, 또는 다른 랜덤-액세스 솔리드-스테이트 메모리 디바이스들과 같은 고속 랜덤-액세스 메모리를 포함한다. 일부 구현예들에서, 메모리(320)는 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(320)는 선택적으로, 하나 이상의 프로세싱 유닛들(302)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(320)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 구현예들에서, 메모리(320) 또는 메모리(320)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(330) 및 검출 모듈(340)을 포함하는 그들의 서브세트를 저장한다.
운영 체제(330)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 절차들을 포함한다. 일부 구현예들에서, 검출 모듈(340)은, 예를 들어 이벤트 카메라를 사용하여 콘트라스트 변화를 검출하도록 구성된다. 게다가, 도 3은 본 명세서에 설명된 구현예들의 구조적 개략도와는 대조적으로 특정 구현예들에 존재하는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 구현예들에서, 도 3에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 구현예들에서, 특정 구현예들에 대해 선택된 하드웨어, 소프트웨어, 또는 펌웨어의 특정 조합에 부분적으로 의존한다.
이벤트 카메라들은 물리적 설정에서의 시간적 콘트라스트 변화들에 응답하여 이벤트들을 생성한다. 일반적으로, 이벤트 카메라 판독은 비동기식이며, 이는 각각의 픽셀이 그 특정 픽셀에서 콘트라스트 변화가 검출될 때마다 이벤트를 생성할 수 있고, 빠른 이벤트-구동 응답을 제공한다는 것을 의미한다. 비동기식 이벤트 카메라 판독에서, 비동기식 이벤트 인코딩은 x 및 y 좌표들 및 타임 스탬프를 포함한다. 일반적으로 이벤트들은 희소하며, 따라서, 이벤트 카메라의 비동기식 출력 데이터 레이트는 프레임 기반 이미지 센서들과 비교할 때 매우 낮다. 이러한 경우의 희소 이벤트들에서, 비동기식 인코딩은 이벤트 카메라의 높은 대역폭 판독을 요구하지 않는다. 그러나, 다수의 이벤트들이 생성될 때 비동기식 이벤트 카메라 판독은 오버로딩될 수 있다.
비동기식 이벤트 카메라 판독에서, 이벤트 카메라에 대한 전형적인 픽셀 패킷은 극성 비트(예를 들어, 포지티브 또는 네거티브 콘트라스트 변화), X 및 Y 픽셀 좌표들, 및 타임 스탬프를 포함할 수 있다. 일부 구현예들에서, 타임 스탬프는 16 비트일 수 있다. 일부 구현예들에서, X 및 Y 픽셀 좌표들은 (예를 들어, 비디오 그래픽 어레이(VGA) 센서에 대해) 9/10 비트일 수 있다. 그러나, 급작스러운 백그라운드 광 세기 변화들 또는 빠른 이동 장면들은 비동기식 이벤트 카메라 판독 파이프라인을 오버로딩할 잠재성으로 상당한 수의 픽셀들이 트리거되게 할 수 있다.
본 명세서에 개시된 다양한 구현예들은 이벤트 카메라에 대한 동기식 판독을 사용하여 전자 디바이스에 의해 구현되는 디바이스들, 시스템들, 및 방법들을 포함한다. 본 명세서에 개시된 다양한 구현예들은 이벤트 카메라에서 이벤트들의 수(예를 들어, 희소하거나 조밀함)를 검출하는 전자 디바이스에 의해 구현되는 디바이스들, 시스템들, 및 방법들을 포함한다. 본 명세서에 개시된 다양한 구현예들은 이벤트 카메라에서의 이벤트들의 검출된 수(예를 들어, 조밀 행 신호 또는 조밀 프레임 신호)에 기초하여 동기식 프레임(또는 프레임의 일부) 판독을 변경시키는 디바이스들, 시스템들, 및 방법들을 포함한다. 일부 구현예들에서, 프레임(또는 프레임의 일부)의 동기식 판독이 이벤트 카메라에 의해 수행되기 전에 조밀 행 신호 또는 조밀 프레임 신호가 생성된다. 일부 구현예들에서, 이벤트 카메라는 픽셀 어레이로부터의 판독 전에 픽셀 어레이에 의해 생성된 조밀/희소 제어 신호(예를 들어, 행 또는 프레임)에 기초하여 제1 판독 모드 또는 제2 판독 모드에서 동작한다.
다양한 구현예들에서, 이벤트 카메라는 이벤트들(예를 들어, 콘트라스트 변화)을 검출할 수 있는 복수의 픽셀들(예를 들어, 픽셀들의 매트릭스)을 포함한다.
일부 구현예들에서, 이벤트 카메라는 전통적인 롤링 셔터 카메라와 유사한 동기식 래스터 모드에서 판독될 수 있으며, 여기서 각각의 행은 프레임 당 한번씩 순차적으로 스캔된다. 일부 구현예들에서, 동기식 모드에서, 타임 스탬프는 프레임 헤더로서 프레임마다 한번씩 송신될 수 있고, 행 번호는 판독 행 헤더로서 인코딩될 수 있으며, 픽셀 인코딩은 극성 및 X 좌표(예를 들어, 1 비트 + 10 비트 = 11 비트)를 포함할 수 있다. 이러한 경우, 이벤트들을 갖는 픽셀들만이 송신되었다.
일부 구현예들에서, 이벤트 카메라는 동기식 원시(raw) 래스터 모드에서 판독될 수 있으며, 여기서 각각의 픽셀은 2 비트(예를 들어, 포지티브 이벤트, 네거티브 이벤트 또는 이벤트 없음)로 인코딩된다.
일부 구현예들에서, 동기식 판독 모드, 및 동기식 원시 래스터 판독 모드는 이벤트 카메라의 일부를 판독하는 데 사용될 수 있다. 따라서, 판독 모드들은 이벤트 카메라 내의 픽셀 어레이의 각각의 행, 각각의 프레임, 또는 임의의 서브세트에 대해 사용될 수 있다.
일부 구현예들에서, 이벤트 카메라 판독 모드들에서 데이터(예를 들어, 11 비트 패킷들 또는 2 비트 패킷들)를 압축하기 위해 다양한 알려진 기법들이 사용될 수 있다. 추가로, 일부 구현예들에서, 판독 모드들에서의 패킷들의 비트 크기들은 변할 수 있다.
도 4는 일부 구현예들에 따른, 픽셀 인코딩 당 이벤트 카메라 비트들과 프레임 당 이벤트들의 수 사이의 예시적인 관계를 도시하는 도면이다. 일부 구현예들에서, 픽셀 인코딩 당 비트들과 패킷 판독을 위한 프레임 당 이벤트들의 수 사이의 트레이드오프가 이벤트 카메라에 대해 평가 또는 밸런싱(balance)될 수 있다. 일부 구현예들에서, 픽셀 인코딩 당 더 높은 비트(예를 들어, 픽셀 인코딩 당 11 비트)는 임계치 미만의 이벤트 점유에 대해 효율적이고, 픽셀 인코딩 당 더 낮은 비트(예를 들어, 픽셀 인코딩 당 2 비트)는 임계치 초과에서 더 효율적이다. 일부 구현예들에서, 임계치는 인코딩 비트 크기, 픽셀 어레이 크기, 판독 회로, 이벤트 카메라 출력 회로부 등에 기초하여 설정된다. 일부 구현예들에서, 픽셀 인코딩 당 11 비트는 20% 미만의 이벤트 점유에 대해 효율적이고(예를 들어, 20% 미만의 픽셀들은 각각의 프레임에 대한 이벤트를 생성함), 픽셀 인코딩 당 2 비트는 20% 초과의 이벤트 점유에 대해 사용된다(예를 들어, 도 4 참조). 일부 구현예들에서, 2개 이상의 임계치들을 사용하는 것은 픽셀 인코딩 당 비트가 3개 이상의 상이한 인코딩들(예를 들어, 픽셀 당 상이한 비트들 또는 데이터)을 가변적으로 사용할 수 있게 한다.
다양한 구현예들에서, 이벤트 카메라 센서들은 인입 데이터가 (예를 들어, 미리 설정된 임계치에 대해) 조밀한지 또는 희소한지를 결정하도록 인에이블된다. 일부 구현예들에서, 이벤트 카메라는 이벤트 카메라에 대한 판독의 시작 전에, 데이터의 인입 프레임이 희소한지 또는 조밀한지를 표시하는 제어 신호를 포함한다. 일부 구현예들에서, 이벤트 카메라는, 이벤트 카메라에 대한 판독의 시작 전에, 데이터의 인입 프레임이 희소한지 또는 조밀한지를 결정하도록 구성된 제어 로직 또는 제어 회로부를 포함한다. 일부 구현예들에서, 제어 신호 또는 제어 로직은 더 높은 비트 인코딩(예를 들어, 극성, X 좌표; 11 bpp) 또는 더 낮은 비트 인코딩(예를 들어, 포지티브, 네거티브 또는 이벤트 없음; 2 bpp)으로 정보 패킷들을 송신하기 위해 이벤트 카메라의 결정을 실행한다. 일부 구현예들에서, 제어 신호 또는 제어 로직은 프레임 단위 기반, 행 단위 기반으로, 또는 이벤트 카메라 픽셀 어레이의 임의의 서브세트에 기초하여 희소 이벤트들 또는 조밀 이벤트들을 검출할 수 있다.
도 5는 일부 구현예들에 따른, 이벤트 카메라에 대한 희소/조밀 조건의 예시적인 검출을 도시하는 블록도이다. 도 5에 도시된 바와 같이, 이벤트 카메라(500)는 복수의 픽셀들(520a, 520b, ..., 520n)을 포함하는 픽셀 어레이(510)를 포함한다. 일부 구현예들에서, 복수의 픽셀들(520a, 520b, ..., 520n) 각각은 이벤트가 대응하는 픽셀에 존재할 때 인에이블될 수 있는 검출기(550a, 550b, ..., 550n)를 포함한다. 일부 구현예들에서, 하나의 검출기가 2개 이상의 픽셀들에 대해 사용된다(예를 들어, 검출기(550a)가 픽셀들(520a, 520b)과 함께 사용된다). 이어서, 프레임, 행, 또는 판독 구역 내의 각각의 픽셀에 대한 검출들은 프레임, 행, 또는 판독 구역에 대한 희소/조밀 제어 신호(S/D 플래그)(540)의 값을 결정하기 위해 기준과 비교된다. 도 5에 도시된 바와 같이, 프레임, 행, 또는 판독 구역 내의 각각의 픽셀에 대한 검출기들(550a, 550b, ..., 550n)로부터의 검출들은 입력(560)으로서 결합되고, 이벤트 밀도 검출기(530)에 의해 임계치(532)와 비교되어, 희소/조밀 제어 신호(S/D 플래그)(540)를 결정한다.
도 6은 일부 구현예들에 따른, 이벤트 카메라에 대한 희소/조밀 조건의 다른 예시적인 검출을 도시하는 블록도이다. 도 6에 도시된 바와 같이, 이벤트 카메라(600)는, 이벤트가 대응하는 픽셀에 존재할 때 인에이블될 수 있는 전류 소스(650a, 650b, ..., 650n)를 갖는 복수의 픽셀들(520a, 520b, ..., 520n)을 포함하는 픽셀 어레이(510)를 포함한다. 일부 구현예들에서, 하나의 전류 소스가 2개 이상의 픽셀들에 대해 사용된다(예를 들어, 전류 소스(650a)가 픽셀들(520a 내지 520d)과 함께 사용된다). 프레임, 행, 또는 판독 구역 내의 픽셀들에 대한 전류들은 전류 적분기(current integrator)(630)에 대한 입력(660)으로서 결합된다. 일부 구현예들에서, 전류 적분기(630)는 리셋되고, 이어서, 결정된 시간의 양 동안 입력 전류들(660)을 적분한다. 일부 구현예들에서, 전류 적분기(630)는 인입 전류들에 비례하는 전압(634)을 출력하며, 그 전압은 프레임, 행, 또는 판독 구역에 대한 희소/조밀 제어 신호(S/D 플래그)(540)를 결정하기 위해 비교기(635)에서 전압 임계치(632)와 비교될 수 있다. 일부 구현예들에서, 이벤트 밀도 검출기(630)는 전류 비교기이다.
도 7은 일부 구현예들에 따른, 이벤트 카메라에 대한 희소/조밀 행 조건의 예시적인 검출을 도시하는 블록도이다. 도 7에 도시된 바와 같이, 이벤트 카메라(700)는 이벤트 카메라 2D 픽셀 어레이의 픽셀들(720a, 720b, ..., 720N)의 행을 포함하며, 여기서, 전류 소스들(I1, I2,..IN)은 행에 픽셀 당 하나씩 배치된다. 일부 구현예들에서, 각각의 전류 소스(I1, I2,..IN)는 단일 트랜지스터 스위치이다.
도 7에 도시된 바와 같이, 트랜지스터(T2)(예를 들어, 소스 팔로워(follower) 트랜지스터)는 트랜지스터(T1)의 제2 전극에 커플링된 제2 전극(예를 들어, 드레인) 전극, 비교기(A1)의 전류 소스 픽셀 메모리 출력 또는 Vin 입력에 커플링된 제1 전극(예를 들어, 소스), 및 제2 기준 전압(704)(예를 들어, 공급 전압 또는 더 높은 전압)에 커플링된 게이트를 포함한다. 도 7에 도시된 바와 같이, 트랜지스터(T1)는 제3 기준 전압(706)에 커플링된 제1 전극, 및 픽셀들(720a, 720b, ..., 720N)의 행의 전류 소스들(I1, I2,..IN)에 의해 이벤트 밀도 검출을 인에이블(또는 디스에이블)시키기 위한 제어 신호를 수신하도록 커플링된 게이트를 갖는다. 일부 구현예들에서, 제2 기준 전압(704)은 제3의 제2 기준 전압(706)보다 작다.
일부 구현예들에서, 임의의 특정 픽셀(720a, 720b, ..., 720N)이 이벤트를 가질 때, 대응하는 전류 소스들(I1, I2,..IN)(예를 들어, 단일 트랜지스터 스위치)은 턴 온되고, 전류는 대응하는 전류 소스들(I1, I2,..IN)(예를 들어, 단일 트랜지스터 스위치)을 통해 흐른다. 도 7에 도시된 바와 같이, 픽셀들(720a, 720b, ..., 720N)의 행 내의 더 많은 이벤트들은 트랜지스터(T2)에 대한 더 많은 부하를 생성하며, VIN 전위는 픽셀들(720a, 720b, ..., 720N)의 행 내의 이벤트들의 수가 증가함에 따라 떨어진다. VIN 전위가 조밀 행 플래그 DR을 생성하거나 인에이블시키기 위해 임계 전압 VTH에 도달할 때, 비교기(A1)가 플립(flip)된다. 이벤트 카메라(700)의 행 내의 이벤트들의 수가 임의의 임계 수에 도달할 때 비교기(A1)가 플립되기 위한 임계 전압 VTH이 설정된다. 일부 구현예들에서, 임의의 임계 수는 픽셀들(720a, 720b, ..., 720N)의 행에서의 10%, 20%, 30%, 40% 점유 레벨이다. 일부 구현예들에서, 각각의 전류 소스(I1, I2,..IN)는, 접지 기준 전압에 커플링된 제1 전극, 픽셀 내의 비교기 또는 픽셀 메모리 출력에 커플링된 게이트, 및 비교기(A1)로의 Vin 입력에 커플링된 제2 전극을 갖는 단일 트랜지스터 스위치이다. 일부 구현예들에서, 하나의 전류 소스가 2개 이상의 픽셀들에 대해 사용된다(예를 들어, 전류 소스(I2)가 픽셀들(720a, 720b)과 함께 사용된다).
도 8은 일부 구현예들에 따른, 이벤트 카메라에 대한 희소/조밀 프레임 조건의 예시적인 검출을 도시하는 블록도이다. 도 8에 도시된 바와 같이, 이벤트 카메라(800)는 이벤트 카메라 2D 픽셀 어레이의 픽셀들(820a, 820b, ..., 820n)의 복수의 행들(8501, 8502, ..., 850N)을 포함하는 픽셀 어레이(810)를 포함하며, 여기서, 이벤트가 대응하는 픽셀에 존재할 때 인에이블될 수 있는 전류 소스들(I1, I2,..IN)은 행들(8501, 8502, ..., 850N) 각각에 픽셀 당 하나씩 배치된다. 일부 구현예들에서, 각각의 전류 소스(I1, I2,..IN)는 단일 트랜지스터 스위치이다. 일부 구현예들에서, 픽셀 어레이(810)에서 이벤트들의 수를 증가시키는 것은 복수의 행들(8501, 8502, ..., 850N) 내의 대응하는 픽셀들에서 대응하는 전류 소스들(I1, I2,..IN)을 턴 온시킨다. 모든 인에이블된 전류들(In)의 합은 공통 게이트 구성된 부하 트랜지스터(T2)를 통해 흐르고, 전압(VIN-F)으로 변환된다. VIN-F 전위가 조밀 프레임 플래그 DF를 생성하거나 인에이블시키기 위해 임계 전압(VTH-F) 아래로 떨어질 때, 비교기(A2)가 플립된다. 일부 구현예들에서, 픽셀 어레이(810) 내의 픽셀의 10%, 20%, 30%, 40%가 이벤트들을 가질 때, 임계 전압(VTH-F)에 도달된다. 도 8에 도시된 바와 같이, 일부 구현예들에 따르면, 트랜지스터(T1)의 게이트는 프레임의 판독이 이벤트 카메라(800)에 의해 수행되기 전에 픽셀 어레이(810)의 (예를 들어, 전류 소스들(I1, I2,..IN)에 의한) 프레임 이벤트 밀도 검출을 인에이블(또는 디스에이블)시키기 위한 제어 신호를 수신하도록 커플링된다.
도 7 내지 도 8이 예시적인 아날로그 회로들을 예시하지만, 예를 들어, 행별/프레임별 판독 모드를 위한 다른 방법들 또는 구현예들은 디지털 회로들을 사용할 수 있다. 일부 구현예들에서, 이벤트 존재 비트들은 (예를 들어, 오프-칩으로 송신되기 전에) 합산되고 디지털 임계치와 비교되어, 이벤트 카메라 픽셀 어레이의 임의의 서브세트에 대한 희소/조밀 조건(예를 들어, DR, DF)을 결정할 수 있다.
본 명세서에 개시된 다양한 구현예들은, 출력 링크로의 송신 전에 희소 이벤트 데이터를 임시로 저장하고 프레임(또는 프레임의 일부)의 판독 동안 조밀 이벤트 데이터를 출력 링크에 직접 송신하는 디바이스들, 시스템들, 및 방법들을 포함한다. 일부 구현예들에서, 이벤트 카메라의 복수의 프레임들에 대한 희소 이벤트 데이터는 출력 링크로의 송신 전에 저장된다. 예를 들어, 이벤트 카메라의 40개의 프레임들로부터의 이벤트 데이터는 단일 송신 발생으로 함께 송신되기 전에 저장될 수 있다. 일부 구현예들에서, 시스템은 픽셀들의 매트릭스 배열을 포함하며, 여기서 픽셀들 각각은 광검출기에서 수신된 광에서 임계치를 초과하는 광 세기의 변화를 검출하는 것에 기초하여 이벤트를 검출하도록 구성된다. 일부 구현예들에서, 이벤트 버퍼는 축적 기준들에 기초하여 발생하는 이벤트들에 대해 매트릭스 배열의 픽셀들로부터 이벤트 데이터를 축적하도록 구성되고, 송신 회로는 이벤트 버퍼로부터 이벤트 데이터를 판독하고 이벤트 데이터를 송신하도록 구성된다. 일부 구현예들에서, 송신 회로는 송신들 사이에서 디스에이블되는 출력 링크를 포함한다. 일부 구현예들에서, 송신 회로는 이벤트 버퍼가 축적된 이벤트 데이터로부터 얼마나 가득 차 있는지에 기초하여 이벤트 데이터를 판독하거나 전송할 수 있다. 일부 구현예들에서, 송신 회로는, 픽셀들의 매트릭스 배열에서 발생하는 이벤트들이 이벤트 밀도 기준들을 만족시키는 것을 포함하는 축적 기준들에 기초하여 이벤트 버퍼를 우회한다. 일부 구현예들에서, 송신 회로는 프레임이 이벤트 카메라에 의해 판독되기 전에 이벤트 버퍼를 사용하거나 우회하기로 결정한다. 일부 구현예들에서, 이벤트 카메라는 하나 이상의 동기식 판독 모드들을 사용한다. 일부 구현예들에서, 송신 회로는 축적 기준들에 기초하여, 제1 판독 모드에서 픽셀들의 매트릭스 배열로부터 이벤트 데이터를 판독하도록 구성되고, 제2 판독 모드에서 이벤트 버퍼로부터 이벤트 데이터를 판독하도록 구성된다. 일부 구현예들에서, 축적 기준들은 픽셀들의 매트릭스 배열로부터의 데이터의 하나 이상의 동기식 프레임들에서의 이벤트들의 수, 이벤트 밀도, 또는 이벤트 백분율 점유를 포함한다.
일부 구현예들에서, 이벤트 카메라에 의해 캡처된 물리적 환경의 시간적 콘트라스트 변화는 이벤트들의 대응하는 스트림을 생성한다. 일부 구현예들에서, 이벤트 카메라 픽셀 어레이에 대한 더 작은 픽셀들은 더 큰 픽셀 어레이들 및 그에 따른 증가된 수의 이벤트들을 초래한다. 일부 구현예들에서, 더 작은 픽셀들을 갖는 이벤트 카메라 픽셀 어레이는 동기식 판독을 사용한다. 일부 구현예들에서, 이벤트 카메라 픽셀 어레이에 대한 동기식 판독은 행 단위로 발생한다. 일부 구현예들에서, 이벤트 카메라 픽셀 어레이에 대한 더 작은 픽셀들은 이벤트들의 정확한 판독을 보존하기 위해 타이밍 또는 핸드쉐이킹(handshaking) 동기화를 생성한다. 일부 구현예들에서, 이벤트 검출 및 출력의 정확도를 개선시키기 위해, 동기식 판독 속도가 증가되고, 이벤트 카메라 출력 링크는 증가된 판독 속도(예를 들어, 빠른 행 판독)와 동기화되어야 한다.
그러나, 이벤트 카메라 출력 링크(예를 들어, 980 PHY)는 상당한 전력 소비의 소스이다. 이벤트 카메라 출력 링크의 예들은 저전력 디스플레이 포트, 카메라 통신 링크 등을 포함한다. 일부 구현예들에서, 이벤트 카메라 출력 링크 전력 소비는 감소된 또는 최소 전력 소비로 출력 링크(예를 들어, 이벤트 카메라 인터페이스)를 통해 어떻게 송신하는지(예를 들어, 어떻게 데이터를 패킹하고 송신할지)에서 딜레마를 생성한다.
일부 구현예들에서, 희소 이벤트들은 희소 이벤트 채우기로부터의 데이터가 주어진 크기 또는 특정 레벨에 도달하기 전에 이벤트 카메라 디바이스(예를 들어, 메모리)에 축적되거나 저장된다. 일부 구현예들에서, 동기식 판독으로부터의 희소 이벤트들은, (예를 들어, 메모리 버퍼(960)에 임시로 저장된) 희소 이벤트 데이터의 버스트가 송신될 때까지 이벤트 카메라 디바이스 내의 메모리(예를 들어, 메모리 버퍼(960))에 축적되거나 저장된다. 일부 구현예들에서, 동기식 희소 이벤트 픽셀 인코딩(예를 들어, 희소 이벤트 데이터)은 각각의 행에 대응하는 타임 스탬프(예를 들어, 정밀한 타임 스탬프(992))를 갖는 이벤트의 좌표 및 극성을 포함한다. 일부 구현예들에서, 이벤트 카메라 픽셀 어레이의 동기식 판독에서의 희소 이벤트 데이터의 축적은 이벤트 카메라 출력 링크(예를 들어, 센서 링크)가 희소 이벤트 데이터의 버스트 사이에서 디스에이블되게 허용하며, 이는 이벤트 카메라의 전력 소비를 감소시킨다. 예를 들어, (예를 들어, 이벤트 버퍼(960) 내의) 축적된 희소 데이터의 제1 버스트가 송신된 이후, 축적된 희소 데이터의 후속 또는 제2 또는 버스트를 송신하도록 인에이블될 때까지 출력 링크가 디스에이블된다.
일부 구현예들에서, 조밀 이벤트들 또는 고밀도 이벤트 프레임은, 이벤트 카메라의 이벤트 축적(예를 들어, 메모리 버퍼(960))을 우회하는 (예를 들어, 2 bpp 인코딩(942)을 이용한) 원시 래스터 이미지로서 (예를 들어, 덜 빈번하게) 송신되어야 한다. 일부 구현예들에서, 고밀도 이벤트 행 인코딩은 부착된 y 좌표(예를 들어, 행 번호)와 함께 픽셀 원시 데이터 당 2 비트를 포함한다. 일부 구현예들에서, 희소 이벤트 프레임 판독 또는 고밀도 이벤트 프레임 판독(예를 들어, 조밀 행, 프레임, 또는 픽셀 어레이의 서브세트)은 이벤트 카메라 픽셀 어레이 판독이 발생하기 전에 미리 결정된다. 일부 구현예들에서, 희소 이벤트 프레임 판독 또는 고밀도 이벤트 프레임 판독은 데이터의 동기식 프레임에서의 축적 기준들(예를 들어, 이벤트들의 수, 이벤트 밀도 또는 점유 백분율)에 기초하여 결정된다(예를 들어, 적어도 도 4 참조). 조밀 프레임 신호(예를 들어, 954) 또는 조밀 행 신호(예를 들어, 952)는 디지털 도메인 또는 아날로그 도메인에서 생성될 수 있다(도 5 내지 도 8 참조).
도 9는 일부 구현예들에 따른, 동기식 판독을 사용하는 예시적인 이벤트 카메라 아키텍처를 도시하는 도면이다. 도 9에 도시된 바와 같이, 이벤트 카메라 아키텍처(900)는 저전력 동기식 판독을 사용한다. 일부 구현예들에서, 이벤트 카메라 아키텍처(900)는 메모리 버퍼(960)를 포함한다. 일부 구현예들에서, 제1 동기식 (예를 들어, 희소 이벤트) 판독 모드 동안, 픽셀 어레이(910)에 의해 검출된 이벤트들은 메모리 버퍼(960)에 축적된다. 제1 동기식 판독 모드 동안, 픽셀 어레이(910)에 의해 검출된 이벤트들은 인코딩 층(940)에 의해 인코딩되고, 메모리 버퍼(960)(예를 들어, 제1 경로)를 통해 패킷화 층(970) 및 출력 링크(980)에 송신된다. 일부 구현예들에서, 제1 동기식 (예를 들어, 희소 이벤트) 판독 모드 동안, 픽셀 어레이(910)에 의해 검출된 이벤트들은 인코딩 층(940)에 의해 인코딩되고, 임시 저장을 위해 메모리 버퍼(960)에 송신된다. 일부 구현예들에서, 제1 동기식 판독 모드는 행(예를 들어, Y 좌표)에 부착된 이벤트 데이터를 인코딩하기 위해 극성 비트 및 X 좌표(예를 들어, 11 비트)를 사용한다. 일부 구현예들에서, 메모리 버퍼(960)는 데이터의 수퍼 프레임을 저장한다. 일부 구현예들에서, 수퍼 프레임이 메모리 버퍼(960)에 축적되고 있는 동안 출력 링크(980)가 전력 소비를 절약하기 위해 턴오프될 수 있도록, 데이터의 수퍼 프레임은 데이터의 단일 프레임(예를 들어, 픽셀 어레이(910)의 모든 픽셀들)만큼 빈번하게 송신되지는 않는다. 일부 구현예들에서, 데이터의 수퍼 프레임은 픽셀 어레이(910)로부터 출력된 데이터(예를 들어, 희소 이벤트 데이터)의 복수의 동기식 프레임들로부터 이벤트들을 저장할 수 있다. 일부 구현예들에서, 데이터의 수퍼 프레임은 픽셀 어레이(910)에 의해 출력된 10개 초과의 동기식 프레임들, 20개 초과의 동기식 프레임들, 100개 초과의 동기식 프레임들로부터 이벤트들(예를 들어, 희소 이벤트들)을 저장할 수 있다. 일부 구현예들에서, 메모리 버퍼(960)에 데이터의 수퍼 프레임에 의해 저장된 데이터의 희소 이벤트 프레임들의 수는 희소 이벤트 프레임들의 이벤트 밀도에 기초한다. 일부 구현예들에서, 송신 회로(예를 들어, 통신 링크)는 메모리 버퍼(960)에 저장된 이벤트 데이터(예를 들어, 수퍼 프레임)가 출력 링크(980)를 사용하여 송신 또는 출력되고 있을 때를 제외하고는 제1 동기식 판독 모드에서 디스에이블된다. 따라서, 일단 이벤트 버퍼(960)로부터의 축적된 이벤트 데이터가 이벤트 카메라로부터 송신되면, 송신 회로는 디스에이블된다. 일부 구현예들에서, 송신 회로는 메모리 버퍼(960)에 저장된 축적된 이벤트 데이터의 다른 세트를 송신하도록 인에이블될 때까지 디스에이블된다.
일부 구현예들에서, 픽셀 어레이(910)에 의해 캡처된 프레임들은 많은 이벤트들(예를 들어, 광 세기 변화, 이동 장면들, 플리커링, 또는 다른 원인들에 의해 야기됨)을 갖는다. 일부 구현예들에서, 제2 동기식 (예를 들어, 조밀 이벤트, 원시 래스터 이미지, 2 bpp) 판독 모드 동안, 픽셀 어레이(910)에 의해 검출된 이벤트들은 패킷화 층(970)에 직접 송신된다. 제2 동기식 (예를 들어, 조밀 이벤트) 판독 모드 동안, 픽셀 어레이(910)에 의해 검출된 이벤트들은 인코딩 층(940) 의해 인코딩되고, 패킷화 층(970)(예를 들어, 제2 경로)에 송신된다. 일부 구현예들에서, 제2 동기식 판독 모드는 픽셀 어레이(910)에 의해 캡처된 고밀도 이벤트 프레임(예를 들어, 20% 초과의 점유)에 대해 사용된다. 일부 구현예들에서, 제2 동기식 판독 모드는 픽셀 원시 데이터 당 2 비트를 사용한다. 일부 구현예들에서, 제2 동기식 판독 모드는 픽셀 인코딩 당 2 비트로서 포지티브 이벤트, 네거티브 이벤트, 또는 이벤트 없음을 사용한다. 일부 구현예들에서, 송신 회로(예를 들어, 통신 링크)는 제2 동기식 판독 모드에서 계속 인에이블된다.
일부 구현예들에서, 제1 동기식 판독 모드 또는 제2 동기식 판독 모드의 결정은 축적 기준들을 사용하여 이루어진다. 일부 구현예들에서, 제1 동기식 판독 모드 또는 제2 동기식 판독 모드의 결정은 데이터의 프레임이 픽셀 어레이(910)로부터 판독되기 전에 이루어진다. 일부 구현예들에서, 제1 동기식 판독 모드 또는 제2 동기식 판독 모드의 결정은 픽셀 어레이(910)에 의해 캡처된 프레임(예를 들어, 또는 프레임의 일부)의 이벤트 점유에 기초하여 이루어진다. 일부 구현예들에서, 제1 동기식 판독 모드 또는 제2 동기식 판독 모드의 결정은 이벤트 밀도 검출기(950)에 의해 출력된 조밀 행(DR) 신호(952) 또는 조밀 프레임(DF) 신호(954)에 기초하여 이루어진다(예를 들어, 도 4 내지 도 8 참조). 일부 구현예들에서, 제2 동기식 판독 모드는 조밀 프레임(DF) 신호(954)가 인에이블될 때에만 사용된다. 일부 구현예들에서, 인코딩 층(940)은 제1 판독 모드에서 이벤트 데이터를 인코딩하여 메모리 버퍼(960)에 송신하고, 제2 판독 모드에서 이벤트 데이터를 인코딩하여 패킷화 층(970)에 직접 송신하며, 이는 DR 신호(952) 또는 DF 신호(954)에 기초하여 이루어진다.
일부 구현예들에서, 패킷화 층(970)은 수신 디바이스(920)에 대한 부가적인 정보(예를 들어, 조밀 또는 희소 동기식 데이터)로 메모리 버퍼(960)(예를 들어, 수퍼 프레임) 또는 인코딩 층(940)(인코딩)에 의해 출력된 데이터를 캡슐화한다. 일부 구현예들에서, 패킷화 층(970)은 메모리 버퍼(960) 또는 인코딩 층에 의해 출력된 데이터를 프레임 헤더로 캡슐화한다. 일부 구현예들에서, 디바이스(920)는 도 1 내지 도 3의 제어기(100) 또는 전자 디바이스(120)와 같은 전자 디바이스이다.
일부 구현예들에서, 희소 이벤트가 픽셀 어레이(910)에 의해 출력될 때마다, 정밀한 타임 스탬프(992)가 할당된다. 일부 구현예들에서, 이벤트가 동기식 판독 모드들에서 픽셀 어레이(910)에 의해 출력될 때마다 행 번호에 기초하여 정밀한 타임 스탬프(992)가 할당된다. 일부 구현예들에서, 정밀한 타임 스탬프(992)는 16 비트, 18 비트, 또는 24 비트이다.
일부 구현예들에서, 대략적인 타임 스탬프(994)가 데이터의 각각의 프레임에 대해 패킷화 층(970)으로 출력된다. 일부 구현예들에서, 프레임이 제2 동기식 판독 모드에서 픽셀 어레이(910)에 의해 출력될 때마다 대략적인 타임 스탬프(994)가 할당된다. 일부 구현예들에서, 대략적인 타임 스탬프(994)는 5 비트 또는 6 비트이다.
일부 구현예들에서, 시스템은 픽셀들의 복수의 행들의 매트릭스 배열, 이벤트 밀도 검출기, 및 판독 회로를 포함한다. 픽셀들 각각은 광검출기, 및 광검출기에 커플링된 이벤트 검출기를 포함하며, 이벤트 검출기는 광검출기에서 수신된 광의 변화 임계치를 초과하는 광 세기의 변화를 검출하는 것에 기초하여 이벤트를 검출하도록 구성된다. 일부 구현예들에서, 각각의 픽셀은 각각의 픽셀에 의해 수신된 광의 시간적 콘트라스트 변화들에 기초하여 이벤트들을 검출하는 동적 비전 센서이다. 일부 구현예들에서, 이벤트 밀도 검출기는 픽셀들의 서브세트로부터 수신된 입력들 및 밀도 임계치에 기초하여 매트릭스 배열의 픽셀들의 서브세트에서 검출된 이벤트들의 이벤트 밀도를 결정하도록 구성된다. 예를 들어, 각각의 이벤트 검출기는, 이러한 신호들의 결합이 밀도 임계치, 예를 들어, 마지막 판독 이후 이벤트를 수신한 픽셀들의 행, 프레임, 또는 다른 서브세트에서 20% 초과의 픽셀들을 초과하는지 여부를 결정하는 이벤트 밀도 검출기에 신호를 제공한다. 이어서, 판독 회로는 이벤트 밀도 검출기에 기초하여 판독 모드(예를 들어, 저밀도 또는 고밀도)를 결정하고 판독 모드에 기초하여 이벤트 데이터를 판독하도록 구성된다. 저밀도 이벤트 모드에 대한 일 예에서, 픽셀 이벤트가 발생하는 각각의 픽셀에 대한 이벤트 데이터(예를 들어, 픽셀 당 11 비트)가 전송되고, (예를 들어, 행 번호로부터 알려진 Y 좌표가 아니라) 극성 및 X 좌표만을 포함한다. 고밀도 이벤트 모드에 대한 다른 예에서, 각각의 픽셀에 대한 이벤트 데이터(예를 들어, 픽셀 당 2 비트)는 픽셀에서 이벤트가 발생했는지 여부에 관계없이 전송되며, 이벤트 데이터는, 데이터가 순차적이라는 것 및 데이터가 모든 픽셀에 대해 전송된다는 사실에 기초하여 X 및 Y 좌표들이 알려지기 때문에 포지티브 이벤트, 네거티브 이벤트, 또는 이벤트 없음만을 포함한다. 일부 구현예들에서, 판독 회로는 한번에(예를 들어, 한번에 하나의 행씩) 픽셀 데이터의 블록을 판독/전송할 수 있으며, 행이 (예를 들어, 행 헤더에서 인코딩된 행 번호로부터) 알려져 있거나 또는 하나의 타임 스탬프가 프레임에 대해 사용되기 때문에, 이벤트가 발생하는 각각의 픽셀에 대해 송신된 이벤트 데이터는 이벤트가 발생하지 않았을 경우의 각각의 픽셀에 대한 이벤트 데이터보다 작을 수 있다.
도 10은 일부 구현예들에 따른, 예시적인 이벤트 카메라 또는 동적 비전 센서(DVS)에 대한 픽셀 센서들의 블록도 및 픽셀 센서의 예시적인 회로도이다. 도 10에 의해 예시된 바와 같이, 픽셀 센서들(1015)은 행들 및 열들의 2D 매트릭스(1010)로 픽셀 센서들(1015)을 배열함으로써 전자 디바이스(예를 들어, 도 1의 전자 디바이스(120))에 대한 알려진 위치들에서 이벤트 카메라 상에 배치될 수 있다. 도 10의 예에서, 픽셀 센서들(1015) 각각은 하나의 행 값 및 하나의 열 값에 의해 정의된 어드레스 식별자와 연관된다.
도 10은 또한 픽셀 센서(1015)를 구현하기에 적합한 회로(1020)의 예시적인 회로도를 도시한다. 도 10의 예에서, 회로(1020)는 포토다이오드(1021), 저항기(1023), 커패시터(1025), 커패시터(1027), 스위치(1029), 비교기(1031), 및 이벤트 컴파일러(1032)를 포함한다. 동작 시에, 픽셀 센서에 입사하는 광의 세기에 비례하는 전압이 포토다이오드(1021)에 걸쳐 발생한다. 커패시터(1025)는 포토다이오드(1021)와 병렬로 있으며, 결과적으로 커패시터(1025)에 걸친 전압은 포토다이오드(1021)에 걸친 전압과 동일하다.
회로(1020)에서, 스위치(1029)는 커패시터(1025)와 커패시터(1027) 사이에 개재된다. 따라서, 스위치(1029)가 폐쇄 위치에 있을 때, 커패시터(1027)에 걸친 전압은 커패시터(1025) 및 포토다이오드(1021)에 걸친 전압과 동일하다. 스위치(1029)가 개방 위치에 있을 때, 커패시터(1027)에 걸친 전압은 스위치(1029)가 마지막으로 폐쇄 위치에 있었을 때의 커패시터(1027)에 걸친 이전 전압으로 고정된다. 비교기(1031)는 입력 측 상의 커패시터(1025) 및 커패시터(1027)에 걸친 전압을 수신하고 비교한다. 커패시터(1025)에 걸친 전압과 커패시터(1027)에 걸친 전압 사이의 차이가 임계량("비교기 임계치")을 초과하면, 픽셀 센서에 입사하는 광의 세기를 표시하는 전기 응답(예를 들어, 전압)이 비교기(1031)의 출력 측 상에 존재한다. 그렇지 않으면, 비교기(1031)의 출력 측 상에 전기 응답이 존재하지 않는다.
전기 응답이 비교기(1031)의 출력 측 상에 존재할 때, 스위치(1029)는 폐쇄 위치로 전환되고, 이벤트 컴파일러(1032)는 전기 응답을 수신한다. 전기 응답을 수신할 시에, 이벤트 컴파일러(1032)는 픽셀 이벤트를 생성하고, 전기 응답을 표시하는 정보(예를 들어, 전기 응답의 값 또는 극성)로 픽셀 이벤트를 채운다. 일 구현예에서, 이벤트 컴파일러(1032)는 또한, 픽셀 이벤트가 생성되었던 시점에 대응하는 타임스탬프 정보 및 픽셀 이벤트를 생성했던 특정 픽셀 센서에 대응하는 어드레스 식별자 중 하나 이상으로 픽셀 이벤트를 채운다.
이벤트 카메라는 일반적으로, 비교 임계치를 초과하는 광 세기의 변화들을 검출하는 것에 응답하여 픽셀 이벤트를 각각 출력하는 픽셀 센서(1015)와 같은 복수의 픽셀 센서들을 포함한다. 집성될 때, 복수의 픽셀 센서에 의해 출력되는 픽셀 이벤트들은 이벤트 카메라에 의해 출력되는 픽셀 이벤트들의 스트림을 형성한다. 일부 구현예들에서, 이벤트 카메라에 의해 출력되는 픽셀 이벤트들의 스트림으로부터 획득된 광 세기 데이터는 다양한 애플리케이션들을 구현하는 데 사용된다.
다수의 특정 세부사항들은 주제 내용의 철저한 이해를 제공하기 위해 본 명세서에 기재된다. 그러나, 당업자들은 주제 내용이 이들 특정 세부사항들 없이 실시될 수 있음을 이해할 것이다. 다른 경우들에서, 당업자에 의해 알려진 방법들, 장치들 또는 시스템들은 주제 내용을 불명료하게 하지 않기 위해 상세히 설명되지 않았다.
구체적으로 달리 언급되지 않는다면, 본 명세서 전반에 걸쳐 "프로세싱", "컴퓨팅", "계산", "결정", 및 "식별" 등과 같은 용어들을 이용하는 논의들은, 메모리들, 레지스터들, 또는 컴퓨팅 플랫폼의 다른 정보 저장 디바이스들, 송신 디바이스들, 또는 디스플레이 디바이스들 내에서 물리적 전자 또는 자기 양들로서 표현되는 데이터를 조작 또는 변환하는, 하나 이상의 컴퓨터들 또는 유사한 전자 컴퓨팅 디바이스 또는 디바이스들과 같은 컴퓨팅 디바이스의 작동들 또는 프로세스들을 지칭한다는 것이 이해된다.
본 명세서에 논의된 시스템 또는 시스템들은 임의의 특정 하드웨어 아키텍처 또는 구성에 제한되지 않는다. 컴퓨팅 디바이스는 하나 이상의 입력들에 반응하는 결과를 제공하는 컴포넌트들의 임의의 적합한 배열을 포함할 수 있다. 적합한 컴퓨팅 디바이스들은 범용 컴퓨팅 장치로부터 본 주제 내용의 하나 이상의 구현예들을 구현하는 특수 컴퓨팅 장치까지 컴퓨팅 시스템을 프로그래밍 또는 구성하는, 저장된 소프트웨어에 액세스하는 다목적 마이크로프로세서-기반 컴퓨터 시스템들을 포함한다. 임의의 적합한 프로그래밍, 스크립팅, 또는 다른 유형의 언어 또는 언어들의 조합들은 본 명세서에 포함된 교시들을, 컴퓨팅 디바이스를 프로그래밍 또는 구성하는 데 사용될 소프트웨어로 구현하는 데 사용될 수 있다.
본 명세서에 개시된 방법들의 구현예들은 이러한 컴퓨팅 디바이스들의 동작에서 수행될 수 있다. 위의 예들에서 제시된 블록들의 순서는 달라질 수 있는데, 예를 들어 블록들이 재정렬되거나, 조합되거나, 그리고/또는 하위-블록들로 나뉠 수 있다. 소정의 블록들 또는 프로세스들은 병렬로 수행될 수 있다.
본 명세서에서 "~ 하도록 적응되는(adapted to)" 또는 "~ 하도록 구성되는(configured to)"의 사용은 부가적인 태스크들 또는 단계들을 수행하도록 적응되거나 또는 구성되는 디바이스들을 배제하지 않는 개방적이고 포괄적인 언어로서 의도된다. 부가적으로, "~에 기초하여"의 사용은, 하나 이상의 인용 조건들 또는 값들"에 기초한" 프로세스, 단계, 계산, 또는 다른 작동이, 실제로, 인용된 것들 이상으로 부가적인 조건들 또는 값에 기초할 수 있다는 점에서 개방적이고 포괄적인 것으로 의도된다. 본 명세서에 포함된 표제들, 목록들, 및 번호는 단지 설명의 용이함을 위한 것이며 제한적인 것으로 의도되지 않는다.
용어들 "제1", "제2" 등이 다양한 요소들을 설명하기 위해 본 명세서에서 사용될 수 있지만, 이들 요소들은 이들 용어들에 의해 제한되어서는 안 된다는 것이 또한 이해될 것이다. 이러한 용어들은 하나의 요소를 다른 요소와 구별하는 데에만 사용된다. 예를 들어, 모든 "제1 노드"의 발생이 일관되게 재명명되고 모든 "제2 노드"의 발생이 일관되게 재명명되기만 한다면, 제1 노드는 제2 노드로 지칭될 수 있고, 유사하게, 제2 노드는 제1 노드로 지칭될 수 있으며, 이는 설명의 의미를 변경한다. 제1 노드 및 제2 노드는 둘 모두 노드들이지만, 그것들은 동일한 노드가 아니다.
본 명세서에서 사용되는 용어는 단지 특정 구현예들만을 설명하는 목적을 위한 것이고, 제한하려는 것으로 의도되지 않는다. 구현예들의 설명에서 사용된 바와 같이, 단수의 형태들("a", "an" 및 "the")은 문맥상 명백히 다르게 나타나지 않는다면 복수의 형태들도 또한 포함하는 것으로 의도된다. 또한, 본 명세서에서 사용되는 바와 같은 용어 "및/또는"은 열거되는 연관된 항목들 중 하나 이상의 항목들의 임의의 및 모든 가능한 조합들을 나타내고 그들을 포괄하는 것임이 이해될 것이다. 본 명세서에서 사용될 때 "포함한다(comprise)" 및/또는 "포함하는(comprising)"이라는 용어들은 진술되는 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들 및/또는 이들의 그룹들의 존재 또는 부가를 배제하지 않는다는 것이 추가로 이해될 것이다.
본 명세서에서 사용된 바와 같이, 용어 "~라면(if)"은 맥락에 의존하여, 언급된 선행 조건이 사실일 "때" 또는 그 조건이 사실일 "시에" 또는 그 조건이 사실이라고 "결정하는 것에 응답하여" 또는 그 조건이 사실이라는 "결정에 따라" 또는 그 조건이 사실이라는 것을 "검출하는 것에 응답하여"를 의미하는 것으로 해석될 수 있다. 유사하게, 어구 "[언급된 선행 조건이 사실이라고] 결정하면" 또는 "[언급된 선행 조건이 사실]이면" 또는 "[언급된 선행 조건이 사실]일 때"는 맥락에 의존하여, 언급된 선행 조건이 사실"이라고 결정할 시에" 또는 그 조건이 사실"이라고 결정하는 것에 응답하여" 또는 그 조건이 사실"이라는 결정에 따라" 또는 그 조건이 사실"이라는 것을 검출할 시에" 또는 그 조건이 사실"이라는 것을 검출하는 것에 응답하여를 의미하는 것으로 해석될 수 있다.
본 발명의 전술한 설명 및 발명의 내용은 모든 면에서 도시적이고 예시적이지만, 제한적이지 않은 것으로 이해될 것이며, 본 명세서에 개시된 발명의 범주는 예시적인 구현예들의 상세한 설명에만 의존하여 결정되지 않고, 특허법에서 허용되는 전체 범위에 따라 결정될 것이다. 본 명세서에 도시되고 기재된 구현예들은 단지 본 발명의 원리에 대한 예시일뿐이고, 다양한 변형예가 본 발명의 범주 및 사상을 벗어나지 않고 당업자들에 의해 구현될 수 있음이 이해될 것이다.

Claims (20)

  1. 시스템으로서,
    픽셀들의 매트릭스 배열 - 상기 픽셀들 각각은 광검출기에서 수신된 광에서 임계치를 초과하는 광 세기의 변화를 검출하는 것에 기초하여 이벤트를 검출하도록 구성됨 -;
    축적 기준들에 기초하여 상기 검출된 이벤트들에 대해 상기 픽셀들의 매트릭스 배열로부터 데이터를 축적하도록 구성된 이벤트 버퍼; 및
    상기 이벤트 버퍼로부터 이벤트 데이터를 판독하고 상기 이벤트 데이터를 송신하도록 구성된 송신 회로를 포함하며,
    상기 송신 회로는 송신들 사이에서 디스에이블되는 통신 링크를 포함하는, 시스템.
  2. 제1항에 있어서,
    상기 이벤트 버퍼는 상기 픽셀들의 매트릭스 배열의 복수의 프레임들에 대해 상기 검출된 이벤트들을 축적하는, 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 축적 기준들은 이벤트 밀도 기준들을 포함하며,
    상기 송신 회로는 상기 픽셀들의 매트릭스 배열에서 발생하는 상기 검출된 이벤트들이 이벤트 밀도 기준들을 만족시키는 것에 기초하여 상기 이벤트 버퍼를 우회하는, 시스템.
  4. 제3항에 있어서,
    상기 송신 회로는 상기 픽셀들의 매트릭스 배열에서 발생하는 상기 검출된 이벤트들이 상기 이벤트 밀도 기준들을 만족시키는 것에 기초하여 고밀도 이벤트 프레임을 송신하는, 시스템.
  5. 제3항 또는 제4항에 있어서,
    상기 고밀도 이벤트 프레임을 판독하는 것에 앞서 상기 이벤트 밀도 기준들의 결정이 상기 송신 회로에 의해 이루어지는, 시스템.
  6. 제3항 내지 제5항 중 어느 한 항에 있어서,
    상기 이벤트 밀도 기준들은, 상기 픽셀들의 매트릭스 배열의 픽셀들의 서브세트 내의 10%, 20%, 또는 30% 초과의 픽셀들이 상기 픽셀들의 서브세트 내의 상기 픽셀들의 직전 판독 이후 이벤트를 수신하는 것, 조밀 행 제어 신호, 또는 조밀 프레임 제어 신호에 기초하는, 시스템.
  7. 제6항에 있어서,
    상기 픽셀들의 서브세트는 픽셀들의 행, 픽셀들의 복수의 행들, 프레임, 픽셀들의 복수의 행들의 일부, 또는 픽셀들의 다른 서브세트를 포함하는, 시스템.
  8. 제7항에 있어서,
    상기 픽셀들의 서브세트로부터 수신된 입력들 및 밀도 임계치에 기초하여 상기 매트릭스 배열에서 검출된 이벤트들의 이벤트 밀도를 결정하도록 구성된 이벤트 밀도 검출기를 더 포함하며,
    상기 이벤트 밀도 검출기는,
    복수의 밀도 검출기들 - 각각의 밀도 검출기는 상기 픽셀들의 서브세트 중 하나 이상의 픽셀들에 커플링됨 -; 및
    상기 복수의 밀도 검출기들로부터 결합된 입력을 수신하기 위해 상기 복수의 밀도 검출기들에 커플링된 비교기를 포함하고,
    상기 비교기는 상기 복수의 검출기들로부터의 상기 결합된 입력을 상기 밀도 임계치와 비교하도록 구성되는, 시스템.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 송신 회로는 상기 축적 기준들에 기초하여, 제1 판독 모드에서 상기 픽셀들의 매트릭스 배열로부터 이벤트 데이터를 판독하도록 구성되고, 제2 판독 모드에서 상기 이벤트 버퍼로부터 이벤트 데이터를 판독하도록 구성되는, 시스템.
  10. 제9항에 있어서,
    상기 제1 판독 모드에서의 상기 송신 회로는 상기 픽셀들의 매트릭스 배열에서 각각의 픽셀에 대한 제1 이벤트 데이터를 판독하도록 구성되고, 상기 제2 판독 모드는 상기 픽셀들의 매트릭스 배열에서 적어도 하나의 픽셀에 대한 제2의 상이한 이벤트 데이터를 판독하는, 시스템.
  11. 제9항 또는 제10항에 있어서,
    상기 제1 판독 모드에서의 상기 송신 회로는 상기 픽셀들의 행의 각각의 픽셀에 대한 데이터의 양을 감소시키기 위해 상기 픽셀들의 매트릭스 배열의 한번에 하나의 행으로부터 제1 픽셀 데이터를 판독하도록 구성되며,
    상기 제1 이벤트 데이터는 포지티브 이벤트 데이터, 네거티브 이벤트 데이터, 또는 이벤트 데이터 없음을 표시하는 픽셀 당 2 비트를 포함하는, 시스템.
  12. 제9항 또는 제10항에 있어서,
    상기 제2 판독 모드에서의 상기 송신 회로는 상기 픽셀들의 행의 각각의 픽셀에 대한 이벤트 데이터의 양을 감소시키기 위해 상기 픽셀들의 서브세트의 한번에 하나의 행으로부터 제2 픽셀 데이터를 판독하도록 구성되며,
    상기 제2 이벤트 데이터는 픽셀 이벤트의 극성, 및 상기 픽셀 이벤트를 검출했던 상기 적어도 하나의 픽셀에 대한 X 좌표를 표시하는 픽셀 당 11 비트를 포함하는, 시스템.
  13. 제9항 내지 제12항 중 어느 한 항에 있어서,
    상기 송신 회로는 상기 제2 판독 모드보다 더 많이 상기 제1 판독 모드에서 동작하도록 구성되는, 시스템.
  14. 제9항 내지 제13항 중 어느 한 항에 있어서,
    상기 송신 회로가 상기 제1 판독 모드 또는 상기 제2 판독 모드에서 동작하는 것에 앞서 이벤트 밀도 결정이 이루어지는, 시스템.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    각각의 픽셀은 상기 각각의 픽셀에서 수신된 상기 광의 시간적 콘트라스트 변화들에 기초하여 이벤트들을 검출하는 동적 비전 센서인, 시스템.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    상기 송신 회로의 상기 판독 모드는 동기식 판독 모드에서 동작하도록 구성되는, 시스템.
  17. 제1항 내지 제16항 중 어느 한 항에 있어서,
    상기 통신 링크는 송신의 완료에 응답하여 디스에이블되고, 이어서, 상기 축적 기준들의 만족에 응답하여 다시 인에이블되는, 시스템.
  18. 제1항 내지 제17항 중 어느 한 항에 있어서,
    상기 축적 기준들은 상기 픽셀들의 매트릭스 배열의 픽셀들의 서브세트로부터의 데이터의 하나 이상의 판독들에서의 이벤트들의 수, 이벤트 밀도, 또는 이벤트 백분율 점유를 포함하는, 시스템.
  19. 방법으로서,
    프로세서를 갖는 전자 디바이스에서,
    픽셀들의 매트릭스 배열을 제공하는 단계 - 상기 픽셀들 각각은 광검출기에서 수신된 광에서 임계치를 초과하는 광 세기의 변화를 검출하는 것에 기초하여 이벤트를 검출하도록 구성됨 -;
    축적 기준들에 기초하여 상기 검출된 이벤트들에 대해 상기 픽셀의 매트릭스 배열로부터 데이터를 이벤트 버퍼에 축적하는 단계; 및
    상기 이벤트 버퍼로부터 이벤트 데이터를 판독하고 통신 링크를 통해 상기 이벤트 데이터를 송신하는 단계를 포함하며,
    상기 통신 링크는 송신들 사이에서 디스에이블되는, 방법.
  20. 동작들을 수행하도록 컴퓨터 상에서 컴퓨터-실행가능한 프로그램 명령어들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 동작들은,
    프로세서를 갖는 전자 디바이스에서,
    픽셀들의 매트릭스 배열을 제공하는 것 - 상기 픽셀들 각각은 광검출기에서 수신된 광에서 임계치를 초과하는 광 세기의 변화를 검출하는 것에 기초하여 이벤트를 검출하도록 구성됨 -;
    축적 기준들에 기초하여 상기 검출된 이벤트들에 대해 상기 픽셀의 매트릭스 배열로부터 데이터를 이벤트 버퍼에 축적하는 것; 및
    상기 이벤트 버퍼로부터 이벤트 데이터를 판독하고 통신 링크를 통해 상기 이벤트 데이터를 송신하는 것을 포함하며,
    상기 통신 링크는 송신들 사이에서 디스에이블되는, 비일시적 컴퓨터 판독가능 저장 매체.
KR1020227016050A 2019-11-12 2020-11-10 저전력 동기식 판독을 이용하는 센서 KR20220079972A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962934259P 2019-11-12 2019-11-12
US62/934,259 2019-11-12
US202062986849P 2020-03-09 2020-03-09
US62/986,849 2020-03-09
PCT/US2020/059772 WO2021096825A1 (en) 2019-11-12 2020-11-10 Sensor with low power synchronous readout

Publications (1)

Publication Number Publication Date
KR20220079972A true KR20220079972A (ko) 2022-06-14

Family

ID=73740499

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227016050A KR20220079972A (ko) 2019-11-12 2020-11-10 저전력 동기식 판독을 이용하는 센서

Country Status (4)

Country Link
US (1) US20230008550A1 (ko)
KR (1) KR20220079972A (ko)
CN (1) CN114667725A (ko)
WO (1) WO2021096825A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021096744A1 (en) * 2019-11-12 2021-05-20 Qsinx Management Llc Sensor data encoding with synchronous readout
FR3125665B1 (fr) * 2021-07-26 2023-11-10 Commissariat Energie Atomique Circuit de lecture rapide pour un réseau matriciel de pixels événementiels

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5446282B2 (ja) * 2009-01-21 2014-03-19 ソニー株式会社 固体撮像素子およびカメラシステム
JP5233828B2 (ja) * 2009-05-11 2013-07-10 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および電子機器
KR101792866B1 (ko) * 2011-04-06 2017-11-20 삼성전자주식회사 이벤트 센서와 칼라 센서를 이용한 동작 인식 장치 및 그 방법
KR102357965B1 (ko) * 2015-01-12 2022-02-03 삼성전자주식회사 객체 인식 방법 및 장치
KR102523136B1 (ko) * 2015-09-01 2023-04-19 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀
US10257456B2 (en) * 2017-09-07 2019-04-09 Samsung Electronics Co., Ltd. Hardware friendly virtual frame buffer
EP3506622A1 (en) * 2017-12-26 2019-07-03 Prophesee Method for outputting a signal from an event based sensor, and event-based sensor using such method
WO2019175734A1 (en) * 2018-03-14 2019-09-19 Insightness Ag Event-based vision sensor with direct memory control
WO2019209358A1 (en) * 2018-04-26 2019-10-31 Google Llc Systems and methods of power-management on smart devices
JP2020096347A (ja) * 2018-11-29 2020-06-18 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Also Published As

Publication number Publication date
WO2021096825A1 (en) 2021-05-20
US20230008550A1 (en) 2023-01-12
CN114667725A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
JP7442560B2 (ja) 事象ベースの視覚センサのためのデータ速度制御
CN107018357B (zh) 关于图像形成的动态视觉传感器的事件采样的方法和设备
KR102373261B1 (ko) 이벤트 카메라 데이터 프로세싱을 위한 시스템 및 방법
US11317045B2 (en) Event-based image sensor and operating method thereof
KR102627794B1 (ko) 이벤트 기반 센서로부터 신호를 출력하는 방법 및 이러한 방법을 사용하는 이벤트 기반 센서
KR20220079972A (ko) 저전력 동기식 판독을 이용하는 센서
US10972691B2 (en) Dynamic vision sensor, electronic device and data transfer method thereof
US20220141403A1 (en) Intensity and contrast change detection capable pixels with shared photodetector
US20220394196A1 (en) Sensor data encoding with synchronous readout
KR101689665B1 (ko) 이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치
US20220120610A1 (en) Photoelectric conversion device, method of controlling photoelectric conversion device, and information processing apparatus
KR101418892B1 (ko) 전단 이벤트 감지장치 및 이를 이용한 저전력 카메라 시스템
KR102544622B1 (ko) 무프레임 랜덤 액세스 이미지 감지
WO2024001970A1 (zh) 一种事件数据处理方法及相关设备
CN220156599U (zh) 脉冲序列式图像传感器的像素电路、图像传感器和设备
KR102493107B1 (ko) 영상 프레임과 함께 주변 장치의 제어신호에 대한 정보를 저장하는 프레임 그래버 시스템 및 그 제어방법, 컴퓨터 프로그램 및 컴퓨터 판독가능 기록 매체
CN106937157B (zh) 跨时钟域视频自动同步的装置及其操作方法
US20150022502A1 (en) Method for reading out a light sensor control unit and a device for reading out a light sensor control unit
US20240107188A1 (en) Vision sensor and image processing device including the same
CN117835081A (zh) 脉冲序列式图像传感器的像素电路、图像传感器和设备
KR20240090196A (ko) 화상 센서, 데이터 처리 장치, 및 화상 센서 시스템
KR20220076943A (ko) 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
CN118044221A (zh) 图像传感器、数据处理装置和图像传感器系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal