KR20220054592A - 이벤트 기반 비전 센서들에서의 지연 균등화 - Google Patents

Abstract

이벤트 기반 픽셀 센서 시스템은 상이하게 조명된 픽셀들 사이의 지연 균등화를 채용한다.

Description

이벤트 기반 비전 센서들에서의 지연 균등화

관련 출원들

본 출원은 2019년 9월 4일자로 출원된 미국 가출원 제62/895,709호의 이익을 35 USC 119(e) 하에서 주장하고, 이는 그 전체가 참고로 본 명세서에 포함된다.

오늘날, 머신 비전은 대부분 종래의 카메라들 및 그들의 연관된 프레임 기반의, 공간 분해 광학 센서(spatially resolved optical sensor)들을 기반으로 한다. 일부 머신 비전 태스크들, 예컨대 객체 인식의 경우, 그 이미지 기반 광학 센서들을 갖는 이들 종래의 프레임 기반 카메라들이 훨씬 적합하다. 그러나, 다른 태스크들, 예컨대 모니터링, 추적 또는 포지션 및 모션 추정의 경우, 종래의 이미지 센서들은 단점들을 갖는다.

주요 단점은, 종래의 카메라들이, 캡처되어야 하고, 통신되어야 하며 처리되어야 하는 상당한 양의 중복된 그리고 불필요한 데이터를 생성한다는 것이다. 이러한 높은 데이터 부하는 시간 해상도(temporal resolution)를 감소시킴으로써 반응 시간을 늦추고, 전력 소비를 증가시키며, 머신 비전 시스템들의 크기와 비용을 증가시킨다. 추가로, 대부분의 이미지 센서들은 제한된 동적 범위, 열악한 로우라이트 성능(low-light performance) 및 모션 블러를 겪는다.

반면에, 소위 동적 비전 센서(Dynamic Vision Sensor, DVS)들은 프레임 기반 인코딩의 한계들을 극복한다. 발명의 명칭이 "Photoarray for Detecting Time-Dependent Image Data"인, Lichtsteiner 등에 의한 미국 특허출원 공개 번호 US 2008/0135731호를 참조하며, 이 출원은 이러한 참고로 본 명세서에 통합되어 있다. 이들 공간 분해 광학 센서들은 픽셀 내 데이터 압축을 사용하여 데이터 중복성을 제거한다. 또한, 그들은 모션 블러가 거의 없는 높은 시간 해상도, 짧은 레이턴시, 낮은 전력 소비, 및 높은 동적 범위를 달성할 수 있다. 따라서, DVS 유형의 광학 센서는, 특히 태양열 또는 배터리 동력형 압축 감지에, 또는 시스템 위치가 추정되어야 하는 그리고 제한된 배터리 용량으로 인해 처리 능력이 제한되는 모바일 머신 비전 애플리케이션들에 매우 적합하다.

DVS는 시각적 정보를 국부적으로 사전 처리한다. 선명한 이미지(crisp image)들을 생성하는 대신에, DVS는 컴퓨터 애플리케이션들을 위한 스마트 데이터를 생성한다. 종래의 이미지 센서들이 영화를 일련의 스틸 이미지들로서 캡처하는 반면에, DVS는 장면 내의 위치 변화들을 검출하여 이들만을 송신한다. 그것은 픽셀 내 데이터 압축을 채용함으로써 종래의 카메라들보다 훨씬 더 효율적으로 시각적 정보를 인코딩한다. 이는, 더 적은 리소스들, 더 낮은 순 전력(net power)을 사용하고 더 빠른 시스템 반응 시간으로 데이터의 처리가 가능함을 의미한다. 높은 시간 해상도는 시각적 특징들을 계속적으로 추적할 수 있게 하고, 그에 의해 대응 문제를 극복한다. 추가적으로, DVS의 아키텍처는 높은 동적 범위 및 우수한 로우라이트 성능을 허용한다.

이벤트 기반 비전 센서(Event-based vision sensor, EBVS)들은 종종, 원래 DVS 아키텍처들의 변형들이지만, 항상 그러한 것은 아니다. 일반적으로, (EBVS)의 픽셀들은 주기적 샘플링 속도 없이 그들의 픽셀들의 적어도 일부분들에서 비동기적으로 동작하고, 그들이 조정가능 임계치를 초과하는 휘도 변화를 감지하자마자 소위 DVS 어드레스 이벤트를 방출한다. 다른 예들에서, 그들은 이원(또는 삼원) 이미지들을 생성한다. 온(ON) 이벤트들은 임계치를 초과하는 휘도의 증가와 연관되고; 오프(OFF) 이벤트들은 주어진 픽셀에서 임계치를 초과하는 휘도의 감소와 연관된다.

이벤트 기반 비전 센서 픽셀들은 전형적으로, 대수 프론트엔드 회로(logarithmic front-end circuit)를 사용할 것이다. 프론트엔드 픽셀 커패시턴스(때때로, Cm으로 지정됨)는 대개, 회피할 수 없는 기생 커패시턴스이다. 결과적으로, 그들은 대체적으로 광 입력 변화에서부터 이벤트 생성까지의 지연을 경험한다. 다른 기생 커패시턴스들이 또한, 지연에 영향을 줄 수 있다. 대체적으로, 지연은 포토다이오드에서의 전류에 반비례하고, Cm에 비례한다. 포토다이오드에 대한 고정 전압의 경우, 포토다이오드에서의 전류는 각각의 픽셀 상으로 하강하는 광 강도에 비례한다. 결과적으로, 상이하게 조명되는 픽셀들 사이에 상이한 지연들이 존재하고, 이는, 특히 관성 측정 유닛(inertial measurement unit, IMU)과 같은 다른 센서들이 포함되는 경우 데이터를 처리하는 소프트웨어에 어려움들을 야기할 수 있다.

본 발명은 상이하게 조명되는 픽셀들 사이의 지연들을 균등화하는 것에 관련된다.

대체적으로, 일 양태에 따르면, 본 발명은 이벤트 기반 픽셀 센서를 특징으로 한다. 그것은 조명에서의 변화들과 연관된 이벤트들을 검출하기 위한 이벤트 기반 픽셀 어레이 및 픽셀들 사이의 지연들을 균등화하는 하나 이상의 회로들을 포함한다.

종종, 지연 회로들은 대응하는 픽셀들에 의해 수신된 조명의 레벨들에 기초하여 상이한 양들의 지연을 인가한다. 예를 들어, 지연은 대응하는 픽셀들에 의해 수신된 조명에서의 증가들에 기초하여 증가될 수 있다.

일부 예들에서, 지연 회로들은 픽셀들 각각에 제어된 커패시턴스를 포함한다.

다른 예들에서, 지연 회로들은 디지털 지연 회로 또는 아날로그 지연 회로를 포함한다.

다른 예들에서, 지연 회로들은 이벤트 기반 픽셀 어레이로부터 판독된 이벤트 데이터에 지연들을 인가하는 지연 블록을 포함할 수 있다. 여기서, 지연 블록은 이벤트 기반 픽셀 어레이로부터 판독된 그레이 스케일 이미지에 기초하여 제어될 수 있다.

대체적으로, 다른 양태에 따르면, 본 발명은 이벤트 기반 픽셀 센서의 동작 방법을 특징으로 하고, 본 방법은, 이벤트 기반 픽셀 어레이에서의 조명의 변화들과 연관된 이벤트들을 검출하는 단계 및 픽셀들 사이의 지연들을 균등화하는 단계를 포함한다.

구성 및 부품들의 조합들에 대한 다양한 신규 상세사항들을 포함하는 본 발명의 상기 및 다른 특징들, 및 다른 이점들이, 이제 첨부 도면들을 참조하여 더 구체적으로 설명되고 청구범위에서 언급될 것이다. 본 발명을 구현하는 특정 방법 및 디바이스는 본 발명의 제한이 아니라 예시의 방식으로 도시되어 있음이 이해될 것이다. 본 발명의 원리들 및 특징들은 본 발명의 범주를 벗어나지 않고서 다양한 그리고 많은 실시예들에서 채용될 수 있다.

첨부 도면들에서, 참조 문자들은 상이한 도면들에 걸쳐 동일한 부분들을 지칭한다. 도면들은 반드시 실척대로 그려진 것은 아니고; 본 발명의 원리들을 예시할 때 대신 강조가 주어져 있다. 도면들 중에서:
도 1은 최신 기술의 이벤트 기반 이미지 센서를 도시하는 블록도이다: 센서는 픽셀들의 조명 변화들과 연관된 광 검출 픽셀 어레이로부터의 데이터(이벤트들)를 생성하고 이러한 데이터를 외부로 송신하고; 전형적으로, 데이터를 수신하고 저장하는 처리 유닛은 또한, 동일한 데이터에 대한 정교화를 수행하는 디바이스이다.
도 2는, 예컨대 PCT/IB2017/058526 (그 전체가 참고로 본 명세서에 포함되어 있는 국제 공개 번호 WO 2018/122798 A1호) 및 미국 공개 번호 US 2018/0191972 A1호(이는, 그 전체가 참고로 본 명세서에 포함되어 있음), 또는 미국 특허 번호 7,728,269 B2호(이는, 그 전체가 참고로 본 명세서에 포함되어 있음)에 따른, 이벤트 기반 이미지 센서에 대한 최신 픽셀 구현을 도시하는 회로도이다.
도 3은 기생 커패시턴스(Cm)를 갖는 널리 사용되는 대수 프론트엔드 회로의 일례를 도시하는 회로도이다.
도 4, 도 5, 및 도 6은 본 발명에 따른, 픽셀들에 대한 프론트엔드 회로들을 도시하는 회로도들이다.
도 7 및 도 8은 본 발명에 따른, 지연 회로들을 갖는 픽셀들에 대한 프론트엔드 회로들을 도시하는 회로도들이다.
도 9는 예시적인 지연 회로를 도시하는 회로도이다.
도 10은 본 발명에 따른, 이벤트 기반 픽셀 어레이를 도시하는 개략도이다.
도 11a, 도 11b, 및 도 11c는 대안적인 프론트엔드 회로들의 예들을 도시하는 회로도들이다.

본 발명은 이제, 본 발명의 예시적인 실시예들이 도시되는 첨부 도면들을 참조하여 이하에서 더 완전히 설명될 것이다. 그러나, 본 발명은 많은 상이한 형태들로 구현될 수 있고 본 명세서에 기재된 실시예들에 제한되는 것으로 해석되지 않아야 하고; 오히려, 이들 실시예들은 본 개시내용이 철저하고 완전하도록, 그리고 본 발명의 범주가 본 기술분야의 통상의 기술자에게 충분히 전달되도록 제공된다.

본 명세서에 사용된 바와 같이, "및/또는"이라는 용어는 연관된 열거된 항목들 중 임의의 것 또는 이들의 하나 이상의 모든 조합들을 포함한다. 또한, 단수 형태들 및 관사들("a", "an" 및 "the")은, 달리 명시적으로 언급되지 않으면 또한, 복수 형태들을 포함하도록 의도된다. 본 명세서에서 사용될 때 포함하다(includes, comprises), 포함하는(including 및/또는 comprising)이라는 용어들은 언급된 특징들, 정수들, 단계들, 동작들, 요소들 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들, 및/또는 그의 그룹들의 존재 또는 추가를 배제하지 않는 것이 추가로 이해될 것이다. 또한, 컴포넌트 또는 서브시스템을 포함하는 요소가 다른 요소에 접속되거나 커플링되는 것으로 언급되고/되거나 도시될 때, 그것이 다른 요소에 직접 접속되거나 커플링될 수 있다는 것 또는 개재 요소들이 존재할 수 있다는 것이 이해될 것이다.

"제1" 및 "제2"와 같은 용어들이 다양한 요소들을 설명하기 위해 본 명세서에 사용되지만, 이들 요소들은 이들 용어들에 의해 제한되지 않아야 한다는 것이 이해될 것이다. 이들 용어들은 단지, 하나의 요소를 다른 요소로부터 구별하는 데 사용된다. 따라서, 후술되는 요소가 제2 요소로 칭해질 수 있고, 유사하게 본 발명의 교시로부터 벗어나지 않고서 제2 요소가 제1 요소로 칭해질 수 있다.

달리 정의되지 않으면, 본 명세서에 사용된 모든 용어들(기술 용어 및 과학 용어를 포함함)은, 본 발명이 속하는 본 기술분야의 통상의 기술자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 일반적으로 사용되는 사전들에 정의된 바와 같은 용어들이 관련 기술 분야의 맥락에서 그 의미와 일치하는 의미를 갖는 것으로 해석되어야 하고, 본 명세서에 명시적으로 그렇게 정의되지 않으면 이상적이거나 과도하게 형식적인 의미로 해석되지 않을 것이 추가로 이해될 것이다.

정의들

이벤트 기반 픽셀 어레이(EBPA)는 감광 디바이스들 및 감광 디바이스들의 출력 신호를 입력으로서 취하는 픽셀 회로들을 포함하는 픽셀들의 어레이이고; 이들 픽셀들(감광 디바이스들 및 픽셀 회로들을 결합함)은, 공간적으로 및/또는 시간적으로 서로 독립적으로, 그들이 닿는 광 방사선의 함수로서 이산화된 데이터를 생성한다.

이벤트 기반 비전 센서(EBVS)는 EBPA로부터 추출되고/되거나 정교화된 데이터를 출력하는 센서이다.

판독 회로(RO): 이벤트 기반 픽셀 어레이(EBPA)로부터 이벤트들(또는 이벤트 데이터)을 추출하는 회로부.

픽셀 어드레스(k): 픽셀 어레이에서의 픽셀의 위치를 나타내는 숫자, 또는 숫자들의 리스트.

메모리 주소(m): 메모리에서의 위치를 나타내고 데이터를 판독하거나 기입하기 위해 메모리의 해당 위치에 액세스하는 데 사용될 수 있는 숫자, 또는 숫자들의 리스트.

최신 기술

도 1은 이벤트 기반 비전 센서(EBVS)에 대한 최신 기술을 도시한다. 그것은, 이벤트 기반 픽셀 어레이(EBPA)의 픽셀 회로들(100), EBPA를 제어하기 위한 제어기(60), 및 어레이(EBPA)에 의해 생성된 이벤트들을 판독하고 그들을 이벤트 데이터 스트림의 형태로 외부 처리 유닛으로 출력하는 판독 회로부(RO)를 포함한다. 이러한 데이터 스트림은 전형적으로, 이러한 데이터를 메모리에 저장하고 있는 처리 유닛(processing unit, PU)(예컨대, CPU, 마이크로제어기, 디지털 신호 프로세서(digital signal processor, DSP))에 의해 수신되고, 이는 이어서 액세스되어, 전형적으로 데이터를 맨 처음에 수신했던 동일한 처리 유닛에 의해 데이터 정교화를 수행할 것이다. 종종, 센서(EBVS)로부터 수신된 이벤트 데이터는 메모리에 저장되기 전에 처리 유닛(PU)에 의해 정교화되어, 그것을 메모리와 또는 후속 정교화 단계들과 호환가능한 포맷으로 변환해야 한다.

이벤트 데이터는 종종, 광 변화를 검출했던 픽셀들(100)의 픽셀 어드레스들의 형태이다. 이들 픽셀 어드레스들 각각은 어레이 내의 픽셀의 위치를 x-y 좌표들을 나타내는 2개의 숫자들의 형태로 인코딩한다. 이러한 이벤트 데이터는 처리 디바이스(PU)로 전송된다. 일부 경우들에서, 처리 유닛에 의해 유지되는 메모리의 메모리 어드레스들과 픽셀 어드레스들 사이에 (일대일과 같은) 명시적 맵핑이 존재한다.

도 2는 전술된 시스템에서의 EBVS의 EBPA의 픽셀의 일례를 도시한다. 그것은, PCT/IB2017/058526 및 미국 공개 번호 2018/0191972호로부터 취해지고, 이들 특허는 그 전체가 참고로 본 명세서에 포함된다. 그러나, 제안된 발명의 핵심 개념들은 아래에 설명된 특정 픽셀 아키텍처와 같은, 사용된 임의의 특정 픽셀 아키텍처에 의존하지 않는, 집적 회로로서 실현된 사실상 임의의 이벤트 기반 비전 센서에 적용될 수 있다.

픽셀 회로의 주요 컴포넌트들은 아래에 열거된다.

픽셀 회로(100)의 프론트엔드는 대개, 아날로그 회로이다. 프론트엔드는 충돌 광(impinging light)(9)을 측정하고 광 강도를 전류(Iphoto)로 변환하기 위한 포토다이오드(PD), 또는 다른 포토센서; 광 강도에 의존하는 광수용기 신호(Vpr)를 생성하기 위한 광수용기 회로(PRC); 및 과거의 광수용기 신호를 기억하기 위한 메모리 커패시터(C1)를 포함한다.

메모리 커패시터(C1)는 광수용기 신호(Vpr)를 수신하여, 커패시터의 제1 플레이트가 광수용기 신호(Vpr)에 응답하는 전하 및 그에 따라 광센서(PD)에 의해 수신된 광을 운반하게 하고, 프론트엔드를 더 많은 디지털 도메인에서 동작하는 픽셀의 백엔드(backend, BE)에 접속시킨다.

메모리 커패시터(C1)의 제2 플레이트는 비교기(A1)의 비교기 노드(반전 입력)에 접속된다. 따라서, 비교기 노드의 전압(Vdiff)은 광수용기 신호(Vpr)에서의 변화들에 따라 변한다.

비교기(A1)는 현재 광수용기 신호(Vpr)와 과거 광수용기 신호 사이의 차이를 제어기(60)에 의해 공급된 임계치와 비교하고, 이벤트 검출기의 일부이다. 이러한 비교기(A1)는 각각의 픽셀에 있거나, 또는 픽셀들의 하위세트(예를 들어, 컬럼(column)) 사이에 공유될 수 있다. 바람직한 실시예에서, 비교기는 픽셀에 통합될 것인데, 이때 각각의 픽셀은 전용 비교기(A1)를 갖는다.

픽셀 메모리(50)는 제어기(60)로부터의 샘플 신호에 기초하여 비교기 출력을 저장한다. 메모리는 샘플링 회로(예를 들어, 스위치 및 기생 또는 명시적 커패시터) 또는 디지털 메모리 회로(래치 또는 플립 플롭(flip-flop))일 수 있다. 일 실시예에서, 메모리는 샘플링 회로일 것이고 각각의 픽셀은 1개 또는 2개의 1비트 메모리들을 가질 것이다.

조건부 리셋 회로(R1)가 사용되어 전압(Vdiff)을 리셋한다. 리셋을 위한 조건은 메모리(50)에 보유된 메모리화된 비교기 출력의 상태와 제어기(60)에 의해 인가된 리셋 신호의 조합이다.

다른 구현예들에서, 비교기(A1) 및 메모리(50)는 주변 회로들에(픽셀 회로 외부에) 위치될 수 있다. 그럼에도 불구하고, 비교기(A1)에 임계 신호들을 인가하고, 제어 신호들을 메모리(50)로 전송하며, 조건부 리셋 회로(R1)가 활성상태가 될 때의 시간들을 선택하는 제어기(60)는 전형적으로, 공통 임계치(Vb) 및 글로벌리셋(GlobalReset) 신호들을 갖는 픽셀 어레이(EBPA)의 픽셀들 모두를 제어하기 위해 주변 회로들에만 위치될 것이다.

주변 회로들은 또한, 전형적으로 판독 회로(RO)를 포함하는데, 이는 메모리(50)의 콘텐츠를 판독하고, 주어진 픽셀에 대한 광 강도가 증가되었는지, 감소되었는지, 또는 변화되지 않았는지를 결정하며, 출력(현재 메모리 값으로부터 컴퓨팅됨)을 프로세서로 전송한다.

픽셀 회로(100) 및 제어기(60)는 다음과 같이 동작한다.

광센서(PD)에 의해 수신된 광 강도에서의 변화는 광수용기 신호(Vpr)에서의 변화로 변환될 것이다. 리셋 회로(R1)가 도통하지 않을 때, Vpr에서의 변화들은 또한, 비교기(A1)에 대한 반전 입력(-)으로 비교기 노드의 전압(Vdiff)에 반영될 것이다. 이는, 메모리 커패시터(C1)를 가로지르는 전압이 일정하게 유지되기 때문에 발생한다.

제어기(60)에 의해 선택된 시간들에서, 비교기(A1)는 메모리 커패시터(C1)의 제2 단자에서 비교기 노드에서의 전압(Vdiff)을 비교기(A1)의 비-반전 입력(+)에 인가된 (제어기로부터의) 임계 전압(Vb)과 비교한다.

제어기(60)는 픽셀 메모리(50)를 동작시켜 비교기 출력(Vcomp)을 저장한다. 메모리(50)는 전형적으로, 도시된 바와 같은 픽셀 회로(100)의 일부로서 구현된다. 그러나, 다른 실시예들에서, 메모리(50)는 컬럼 논리 회로의 일부(주변 회로, 픽셀 어레이의 각각의 컬럼당 하나)로서 구현된다.

오프 이벤트들의 경우, Vdiff는 임계치(Vb)보다 더 낮고, 비교기 출력은 높으며, 이러한 레벨은 메모리에 저장된다. 이는, 감소가 검출됨을 의미한다.

온 이벤트의 경우, 낮은 비교기 출력은 조명에서의 증가를 의미한다. 따라서, 판독부(RO)는 메모리 콘텐츠 및 어느 임계치가 인가되었는지를 알아야 한다.

메모리(50)에 보유된 저장된 비교기 출력의 상태가 광 강도에서의 변화를 나타내고(AND) 제어기(60)로부터의 글로벌 리셋 신호(GlobalReset 신호)가 활성상태인 경우, 조건부 리셋 회로(R1)가 도통된다. 여기서, "AND"는 논리적 AND 연산자를 나타낸다. 조건부 리셋 회로(R1)가 전도 상태에 있으면, 비교기(A1)의 반전 입력에서 비교기 노드에서의 전압(Vdiff)은 알려진 레벨로 리셋된다. 따라서, 그것은 메모리 커패시터(C1) 상에 현재 광수용기 신호(Vpr)를 저장한다.

도 3은 이벤트 기반 비전 센서 픽셀의 예시적인 프론트엔드를 도시한다.

더 상세히, 광수용기 회로(PRC)는 제1 NMOS 트랜지스터(T1) 및 제2 NMOS 트랜지스터(T2)를 포함한다. 트랜지스터(T2)의 게이트는 트랜지스터(T1)의 소스, 및 포토다이오드(PD)의 캐소드에 접속된다. 트랜지스터(T1)의 게이트는 트랜지스터(T2)의 드레인 및 바이어싱 PMOS 트랜지스터(T3)의 드레인에 접속되고, 이러한 노드는 또한, 백엔드(BE)로의 출력이다.

이와 같이, 이러한 프론트엔드는 대체적으로 광 입력 변화에서부터 이벤트 생성까지의 지연을 경험한다. 커패시턴스(Cm)(이는, 대개 회피할 수 없는 기생 커패시턴스임)가 지연에 대한 주요 원인이다. 그러나, 다른 기생 커패시턴스들이 또한, 지연에 영향을 줄 수 있다.

지연은 포토다이오드(PD)의 전류에 반비례하고, Cm에 비례한다.

포토다이오드(PD)에 대한 고정된 전압의 경우, 포토다이오드에서의 전류는 각각의 픽셀 상으로 하강하는 광 강도에 비례한다.

상이하게 조명되는 픽셀들과 더 큰 시스템의 관성 측정 유닛(IMU)과 같은 다른 센서들 사이의 상이한 지연들은 데이터를 처리하는 소프트웨어에 어려움을 야기할 수 있다.

현재 접근법은 상이하게 조명된 픽셀들 사이의 지연들을 균등화하는 것과 관련된다. 이러한 접근법은, 지연이 물리적 이유들을 갖고 방지될 수 없기 때문에 취해진다.

지연 균등화를 구현하기 위한 2개의 일반적 방안들이 존재한다:

- 프론트엔드 뒤에 가변 지연을 추가함, 높은 조명을 갖는 픽셀들로부터의 이벤트들은 픽셀 어레이에 대한 지연 회로가 있는 중간 조명을 갖는 픽셀들보다 더 오래 지연되어야 함.

- 각각의 픽셀의 회로들과 지연을 균등화하기 위해 프론트엔드 회로의 대역폭을 조정함. 이는, 지연에 영향을 주는 물리적 파라미터들 중 적어도 하나가 광 강도의 함수로서 조정되어야 함을 의미한다.

도 4는 픽셀 내의, 지연이 발생하는 곳에서 그것을 직접 제어하는 지연 능력을 갖는 광수용기 회로(PRC)의 일 실시예를 도시한다.

명시적 가변 커패시터(Cm)가 광 강도의 함수로서 제어된다. 구체적으로, 픽셀 제어 회로(PCC)는 광수용기 회로(PRC)로부터의 출력을 모니터링하고, 이어서 가변 커패시터(Cm)의 커패시턴스를 제어한다.

높은 조명 시나리오에서 지연을 증가시키기 위해, Cm은 증가되어야 한다. 높은 조명에서 Cm을 증가시키는 것의 추가적인 이점은, 회로가 더 안정적이라는 것이다.

그러한 실시예에서, 지연은 모든 가능한 조명 값들에 대해 반드시 완벽하게 균등화되지 않을 수 있다는 것에 유의해야 한다. 조명은 몇 배의 크기에 걸쳐 변할 수 있고, 그러한 넓은 범위에 걸쳐 변할 수 있는 가변 커패시터를 실현하는 것은 어렵다. 이것은 또한, 도 5 및 도 6에 도시된 실시예들에 적용된다. 그러나, 부분 균등화도 매우 유용할 수 있다.

도 5는 Cm을 직접 제어하는 대신에, Cm에 직렬 접속되는 저항기(MOSFET NMOS 트랜지스터(T4)에 의해 구현됨)를 제어하는 지연 능력을 갖는 광수용기 회로(PRC)의 다른 실시예를 도시한다. 대체적으로, 이것은 Cm을 직접 제어하는 것보다 구현하기가 더 쉽다. 제어 회로(PCC)로 트랜지스터(T4)의 게이트 전압을 제어함으로써, T4의 드레인-소스 저항이 변경된다. 그러한 실시예에서, 높은 조명의 경우 T4의 저항은 낮아야 하는데, 이는 높은 게이트 전압과 같은 한편, 낮은 조명의 경우 T4의 저항은 높아야 하는데, 이는 T4 상의 낮은 게이트 전압과 같다. 따라서, T4 상의 게이트 전압은 PRC의 출력 전압(Vpr)을 따를 수 있고, 잠재적으로 레벨 시프터 또는 소스 팔로어(source-follower)를 사용하여 증폭되고/되거나 시프트될 수 있다.

도 6은 도 4 및 도 5의 실시예들로부터의 원리들을 조합하는 지연 능력을 갖는 광수용기 회로(PRC)의 다른 실시예를 도시한다. 광 레벨에 따라, 상이한 커패시터-저항기 직렬 접속들이 인에이블된다. 구체적으로, 2개의 MOSFET NMOS 트랜지스터(T5, T6)는 각자의 커패시턴스들(Cm1, Cm2)에 직렬 접속된다. 픽셀 제어 회로(PCC)는 광수용기 회로(PRC)로부터의 출력을 모니터링하고, 이어서 2개의 커패시턴스들(Cm1, Cm2)을 선택적으로 인에이블하도록 트랜지스터(T5, T6)를 스위칭함으로써 커패시턴스를 제어한다. 이러한 회로는 또한 2개 초과의 커패시터들(Cm)로 구현될 수 있다.

도 7은 디지털 지연 회로(DL)로 지연을 선택적으로 추가하는 일 실시예를 도시한다. 디지털 지연 회로(DL)는 광수용기 회로(PRC)의 출력 노드에서 광 강도를 나타내는 평가값 또는 판독값에 기초하여 제어된다. 판독값은 광수용기 회로(PRC)에 의해 보고된 광 강도를 디지털화하는 아날로그-디지털 변환기(ADC)에 의해 생성된다. 검출된 강도는 이어서, 디지털 지연 회로(DL)에 의해 인가된 지연을 제어하는 데 사용된다.

하나의 가능한 구현예는, WIPO 공개 번호 WO2018/122800 A1호 및 미국 특허 공개 번호 US2018/0189959 A1호에 설명된 바와 같은 픽셀을 사용할 때 카운트 시간-빈들을 수반한다. 임계치를 초과하는 경우, 아날로그-디지털 변환기(ADC)가 사용되어 카운터의 시작 값을 정의한다. 이어서, 카운터가 0에 도달하는 경우, 이벤트가 통신된다.

도 8은 아날로그 지연 회로(ADL)로 지연을 선택적으로 추가하는 일 실시예를 도시한다. 아날로그 디지털 지연(ADL)은 광수용기 회로(PRC)의 출력 노드에서 광 강도를 나타내는 평가값 또는 판독값에 기초하여 제어된다. 이는 아날로그 제어 회로(ACC)에 의해 수행된다.

도 9는 도 8의 실시예에서 사용하기 위한 아날로그 지연 회로(ADL)의 예를 도시한다. 그것은, 입력으로부터 출력까지의 디지털 신호에 지연을 추가하는 커패시터를 갖는 스타브드 인버터(starved inverter)를 채용한다. 바이어스 전압(BIAS)을 변경함으로써, 회로의 지연이 아날로그 제어 회로(ACC)에 의해 넓은 범위에 걸쳐 조정될 수 있다.

도 10은 이벤트 기반 픽셀 어레이를 도시한다. 이는 픽셀 회로가 미국 공개 번호 US 2014/0326854 A1호에 제안된 바와 같은 경우들에서 적용되고, 이 특허는 그 전체가 참고로 본 명세서에 포함된다. 그것은 또한, 이미지들(그레이 스케일 이미지들 또는 컬러 이미지들) 및 이벤트들을 조합하는 유사한 회로가 사용되는 어레이들에도 적용된다.

각각의 픽셀 위치에서의 이미지 값이 강도 값의 함수로서 지연을 추가하기 위해 사용된다. 구체적으로, 각각의 픽셀은, 각각의 픽셀에 의해 수신되고 그의 포토다이오드(PD)에 의해 검출된 레벨 조명을 분해하기 위한 회로(GS)를 포함한다. 그것은 단색 또는 컬러(RGB) 또는 임의의 다른 컬러 필터 배열일 수 있다. 추가로, 각각의 픽셀(100)은 또한, 광수용기 회로(PRC) 및 순환하는 온 및 오프 이벤트들에 대한 픽셀의 백엔드(BE)를 포함한다.

더 상세히, 이벤트들은 전술된 바와 같이 이벤트 판독부(RO)에 의해 이벤트 기반 픽셀 어레이(EBPA)로부터 판독된다.

추가로, 각각의 픽셀(100)의 검출된 조명은 이미지 판독부(GRO)에 의해 추가적으로 판독된다. 이는, 맵(GM)에 저장되는 이미지를 야기한다. 이어서, 이미지는 각각의 픽셀에 대한 조명과 연관된 대응하는 지연을 계산하거나 검색하는 지연 맵 회로(DM)에 의해 사용된다. 이어서, 이러한 지연은 지연 회로 블록(DB)에 의해 이벤트 데이터에 픽셀 단위로 인가된다.

반면에, PCT/IB2017/058526에서 제안된 바와 같은 픽셀 회로가 사용되거나 이와 유사한 회로가 사용되는 경우, 센서 시간 해상도는 전역 조명에 따라 적응될 수 있다.

도 11a, 도 11b, 및 도 11c는 이전에 설명된 실시예와 함께 사용될 수 있는 대안적인 프론트엔드 회로들의 상이한 예들을 도시한다.

도 11a는 여분의 PMOS 피드백 트랜지스터(T6)를 갖는 광수용기 회로(PRC)를 도시한다.

도 11b는 2개의 추가 트랜지스터들(T7, T8)을 갖는 광수용기 회로(PRC)를 도시한다.

도 11c는 PMOS 피드백 트랜지스터(T8)를 갖는 광수용기 회로(PRC)를 도시한다.

본 발명은 그의 바람직한 실시예들을 참조하여 구체적으로 도시되고 설명되었지만, 첨부된 청구범위에 의해 포함되는 본 발명의 범주를 벗어나지 않고서 형태 및 상세사항들에서의 다양한 변경들이 이루어질 수 있다는 것이 본 기술분야의 통상의 기술자에 의해 이해될 것이다.

Claims (16)

1. 이벤트 기반 픽셀 센서로서,
   조명에서의 변화들과 연관된 이벤트들을 검출하기 위한 이벤트 기반 픽셀 어레이; 및
   픽셀들 사이의 지연들을 균등화하는 하나 이상의 회로들을 포함하는, 이벤트 기반 픽셀 센서.
2. 제1항에 있어서,
   상기 하나 이상의 회로들은 대응하는 픽셀들에 의해 수신된 조명의 레벨들에 기초하여 상이한 양들의 지연을 인가하는, 시스템 센서.
3. 제1항 또는 제2항에 있어서,
   상기 하나 이상의 회로들은 상기 대응하는 픽셀들에 의해 수신된 상기 조명에서의 증가들에 기초하여 지연들을 증가시키는, 시스템 센서.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 하나 이상의 회로들은 상기 픽셀들 각각에 제어된 커패시턴스를 포함하는, 시스템 센서.
5. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 하나 이상의 회로들은 디지털 지연 회로를 포함하는, 시스템 센서.
6. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 하나 이상의 회로들은 아날로그 지연 회로들을 포함하는, 시스템 센서.
7. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 하나 이상의 회로들은 상기 이벤트 기반 픽셀 어레이로부터 판독된 이벤트 데이터에 지연들을 인가하는 지연 블록을 포함하는, 시스템 센서.
8. 제7항에 있어서,
   상기 지연 블록은 상기 이벤트 기반 픽셀 어레이로부터 판독된 이미지에 기초하여 제어되는, 시스템 센서.
9. 이벤트 기반 픽셀 센서의 동작 방법으로서,
   이벤트 기반 픽셀 어레이에서의 조명의 변화들과 연관된 이벤트들을 검출하는 단계; 및
   픽셀들 사이의 지연들을 제어하는 단계를 포함하는, 방법.
10. 제9항에 있어서, 대응하는 픽셀들에 의해 수신된 조명의 레벨들에 기초하여 상이한 양들의 지연을 인가하는 단계를 추가로 포함하는, 방법 센서.
11. 제9항 또는 제10항에 있어서,
    상기 대응하는 픽셀들에 의해 수신된 상기 조명에서의 증가들에 대한 지연들을 증가시키는 단계를 추가로 포함하는, 방법.
12. 제9항 내지 제11항 중 어느 한 항에 있어서,
    제어 지연에 대한 픽셀들 각각에서 커패시턴스들을 제어하는 단계를 추가로 포함하는, 방법.
13. 제9항 내지 제11항 중 어느 한 항에 있어서,
    디지털 지연 회로들로 지연들을 제어하는 단계를 추가로 포함하는, 방법.
14. 제9항 내지 제11항 중 어느 한 항에 있어서,
    아날로그 지연 회로로 지연들을 제어하는 단계를 추가로 포함하는, 방법.
15. 제9항 내지 제11항 중 어느 한 항에 있어서,
    상기 이벤트 기반 픽셀 어레이로부터 판독된 이벤트 데이터에 지연들을 인가하는 지연 블록으로 지연들을 제어하는 단계를 추가로 포함하는, 방법.
16. 제15항에 있어서,
    상기 지연 블록은 상기 이벤트 기반 픽셀 어레이로부터 판독된 그레이 스케일 이미지에 기초하여 제어되는, 방법.

Images