KR102578417B1 - 직접 메모리 제어를 갖는 이벤트-기반 비전 센서 - Google Patents

Abstract

이벤트-기반 비전 센서 시스템은 광을 검출하는 픽셀들을 포함하는 이벤트-기반 픽셀 어레이, 각각의 픽셀에 의해 수신된 광 및 각각의 픽셀이 상기 어레이에서 점유하는 위치와 연관된 이벤트들을 판독하기 위한 판독 회로, 및 메모리의 소정의 주소에 소정의 픽셀과 연관되는 각각의 이벤트, 또는 이벤트-관련 데이터를 기입할 수 있게 하는 메모리 제어기를 포함한다.

Description

직접 메모리 제어를 갖는 이벤트-기반 비전 센서

본 출원은 2018년 3월 14일에 출원된 미국 가출원 번호 62/642,842호의 35 USC 119(e) 하에서의 이익을 주장하고, 본 출원은 그 전체가 인용에 의해 본원에 통합된다.

머신 비전 시스템(machine vision system)들의 중요한 장점은 광이 수신되는 순간과 데이터 정교화가 그 결과들을 전달하는 순간 사이에서 지나가는 시간인 대기 시간이다.

이벤트-기반 비전 센서는 주로, 데이터 스트림을 고유하게 압축하고 이에 따라 센서에 연결된 프로세싱 유닛이 수행할 필요가 있는 데이터 정교화의 양을 감소시킴으로써 머신 비전 애플리케이션에 많은 장점들을 제공한다.

현재 최신 기술의 핵심 양상은, 센서들에 연결되는 프로세싱 유닛이 센서들로부터 수신된 이벤트-관련 데이터를 정교화할 뿐 아니라, 제1 단계로서 데이터 스트림을 수신하고, 최종적으로 이를 변환하고, 이를 메모리에 저장하는 작업을 갖는 것이다.

제안된 본 발명은 이 작업을 센서에 내장하여, 프로세싱 유닛이 데이터를 수신하는 작업을 완화하고, 그 후 데이터를 정교화를 수행하는 데 사용되는 메모리에 유지한다.

이벤트-기반 비전 센서를 포함하는 시스템들의 핵심 요건은 낮은 대기 시간이다. 오늘날의 해결책들은 센서에 의해 생성된 데이터를 저장하는 메모리의 콘텐츠를 기입 및 유지하기 위해, 센서로부터의 데이터의 정교화를 담당하는 프로세싱 유닛의 계산 대역폭의 일부를 사용할 필요가 있다. 센서가 메모리의 콘텐츠를 직접 기입 및 업데이트할 수 있게 하는 것은 데이터를 메모리에 릴레이하기 전에 프로세싱 유닛이 데이터를 해석하는 작업을 완화함으로써 대기 시간, 전력 소비 및 계산 자원들을 감소시킨다. 임의의 픽셀이 이벤트를 생성하는 마지막 타임스탬프(timestamp)를 포함하는 메모리 맵을 유지함으로써, 정상 흐름의 계산 같은 기본 계산들은 상당히 가속화될 수 있다.

일반적으로, 일 양상에 따라, 본 발명은 광을 검출하는 픽셀들을 포함하는 이벤트-기반 픽셀 어레이를 포함하는 이벤트-기반 비전 센서 시스템, 각각의 픽셀에 의해 수신된 광 및 어레이에서 각각의 픽셀이 점유하는 위치와 연관된 이벤트들을 판독하기 위한 판독 회로 및 메모리의 소정의 주소에 소정의 픽셀과 연관되는 각각의 이벤트, 또는 이벤트-관련 데이터의 기입을 가능하게 하는 메모리 제어기를 특징으로 한다.

일 실시예에서, 메모리 제어기는, 해당 이벤트 또는 이벤트-관련 데이터가 기입되는 메모리의 해당 주소의 위치가 해당 이벤트를 생성한 픽셀에 의해 점유되는 픽셀 어레이의 위치의 함수인 것을 보장한다. 바람직하게, 메모리는 메모리 제어기에 의해 기입되고 외측으로부터 독립적으로 판독될 수 있다.

시스템은 3-차원 집적 회로로서 구현될 수도 있다.

통상적으로, 메모리 제어기는 이벤트-기반 픽셀 어레이의 픽셀들과 메모리의 주소들 사이의 일-대-일 매핑을 구현한다.

종종, 메모리 제어기는 이벤트-기반 픽셀 어레이와 동일한 칩 상에 있다.

일부 예들에서, 메모리 제어기는 메모리에 타임스탬프들을 저장하고 메모리에 또한 저장된 마지막 타임스탬프 맵에 대한 버퍼 인덱스(buffer index)를 메모리에 유지하는 것이 또한 가능하다.

동작 시, 메모리 제어기는 타임스탬프들을 전송한 다음, 메모리에 대한 변화를 검출한 픽셀들의 주소들을 전송한다.

일반적으로, 다른 양상에 따라, 본 발명은 이벤트-기반 비전 센서 시스템의 동작 방법을 특징으로 한다. 본 방법은 이벤트-기반 픽셀 어레이로 광을 검출하는 단계, 판독 회로를 사용하여, 각각의 픽셀에 의해 수신된 광 및 어레이에서 각각의 픽셀이 점유하는 위치와 연관된 이벤트들을 판독하는 단계, 및 메모리 제어기가 메모리의 상이한 주소에 각각의 픽셀과 연관되는 각각의 이벤트, 또는 이벤트-관련 데이터를 기입하는 단계를 포함한다.

구성 및 부품들의 조합들의 다양한 신규 세부 사항들, 및 다른 장점들을 포함하는 본 발명의 상기 및 다른 특징들은 이제 첨부 도면들을 참조하여 보다 구체적으로 설명되고 청구항들에서 지적될 것이다. 본 발명을 구현하는 특정 방법 및 장치가 본 발명의 제한이 아닌 예시로서 도시되는 것이 이해될 것이다. 본 발명의 원리들 및 특징들은 본 발명의 범위에서 벗어나지 않고 다양하고 다수의 실시예에서 이용될 수 있다.

첨부 도면들에서, 참조 문자들은 상이한 도면들에 걸쳐 동일한 부분들을 지칭한다. 도면들은 필수적으로 실척이지 않고; 본 발명의 원리들을 예시할 때 대신 강조가 주어진다.
도 1은 최신 이벤트-기반 이미지 센서로서; 여기서 현재 이벤트-기반 이미지 센서의 통상적인 구현이 도시되고; 센서는 광 검출 픽셀 어레이로부터 데이터(이벤트들)를 생성하고 이 데이터를 외측으로 송신하고; 통상적으로, 데이터를 수신 및 저장하는 프로세싱 유닛은 또한 동일한 데이터의 정교화를 수행하는 것과 동일하다.
도 2는 현재 최신 기술의 예로서: 프로세싱 유닛으로서 기능하는 PC와 함께 사용되는 DVS 타입의 센서에 대한 구현이다.
도 3은 본 발명의 실시예에 따른 이벤트-기반 이미지 센서이다.
도 4는 제안된 본 발명에 대한 다른 실시예로서: 센서는 또한 임의의 외부 데이터 프로세싱 파이프라인에 의해 액세스될 수 있는 이벤트 데이터를 저장하기 위한 메모리를 포함한다.
도 5a는 센서의 판독 회로의 동작을 나타내는 흐름도이다.
도 5b는 센서의 메모리 제어기의 동작을 나타내는 흐름도이다.
도 6a는 "마지막 타임스탬프 맵"을 메모리에 기입하는 구현의 예로서, 여기서 도 6a는 이 구현에 사용되는 실시예를 도시한다(클럭 소스(clock source)는 센서 내부 또는 외부에 있을 수 있음).
도 6b는 도 6a에 제시된 센서의 메모리 제어기의 동작을 나타내는 흐름도이다(판독 회로는 이벤트-기반 애플리케이션에 통상적으로 사용된 것들 중 임의의 것일 수 있고, 이벤트 주소 스트림을 생성함).
도 6c는 메모리 인덱스 버퍼가 추가된 도 6a의 실시예의 향상된 버전이다.
도 6d는 도 6c에 제시된 센서의 메모리 제어기의 동작을 도시하는 흐름도이다.
도 7은 센서 상에 통합된 FIFO 메모리를 갖는 실시예이다.
도 8a는 3-차원 집적 회로(3D IC) 애플리케이션을 도시하기 위한 실시예로서: 적층된 웨이퍼들의 일부의 수직 섹션이 도시된다. 여기서, 2 개의 웨이퍼가 함께 적층되는 프로세스가 도시되고: 하나의 웨이퍼는 이벤트-기반 이미지 센서를 구현하는 데 사용되고, 다른 하나는 메모리 IC이고; 함께 적층된 2 개의 웨이퍼는 3-차원 집적 회로를 형성한다.
도 8b는 3-차원 집적 회로 구현을 도시하는 다른 실시예로서: 3 개의 웨이퍼(또는 다이)는 함께 적층되고; 적층된 웨이퍼들의 일부의 수직 섹션이 도시된다. 하나의 웨이퍼는 단지 포토-다이오드들용이고; 중간 웨이퍼는 포토-다이오드들, 판독 회로 및 메모리 제어기를 동작시키는 데 필요한 회로를 구현하고; 하단 웨이퍼는 메모리 집적 회로이다.
도 9는 '통상적인' 아키텍처에서 제안된 본 발명의 애플리케이션을 도시하는 실시예로서: 이 경우 대기 시간 측면에서 이점은, 프로세싱 유닛이 이벤트 데이터 및 픽셀 주소들을 메모리 주소들 및 값들로 변환하는 데 필요한 계산을 수행할 필요가 없을 것이라는 사실에 의해 제공될 것이다.
도 10은 예컨대 PCT/IB2017/058526호 및 예컨대 미국 공개 번호 2018/0191972호에 따라, 이벤트-기반 이미지 센서에 대한 최신(SOA) 픽셀 구현을 도시하는 회로도이다.

본 발명은 이제 본 발명의 예시적인 실시예들을 도시하는 첨부 도면들을 참조하여 이후 보다 완전하게 설명될 것이다. 그러나, 본 발명은 많은 상이한 형태들로 구현될 수 있고 본원에 설명된 실시예들로 제한되는 것으로 해석되지 않아야 하고; 오히려, 이들 실시예는, 본 개시내용이 철저하고 완전하도록 제공되고, 본 발명의 범위를 통상의 기술자들에게 완전히 전달할 것이다.

본원에 사용된 바와 같이, "및/또는"이라는 용어는 연관되어 열거된 항목들 중 하나 이상의 항목 중 임의의 항목 및 모든 조합들을 포함한다. 또한, 단수 형태들 및 관사들("a", "an" 및 "the")은, 명시적으로 다르게 언급되지 않으면, 또한 복수의 형태를 포함하도록 의도된다. 본 명세서에서 사용될 때 포함하다(includes, comprises), 포함하는(including 및/또는 comprising)이라는 용어들이 언급된 특징들, 정수들, 단계들, 동작들, 엘리먼트들 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 엘리먼트, 컴포넌트, 및/또는 이의 그룹들의 존재 또는 추가를 배제하지 않는 것이 추가로 이해될 것이다. 또한, 컴포넌트 또는 서브시스템을 포함하는 엘리먼트가 다른 엘리먼트에 연결 또는 커플링되는 것으로 언급 및/또는 도시될 때, 엘리먼트가 다른 엘리먼트에 직접 연결되거나 커플링될 수 있거나 개재 엘리먼트들이 존재할 수 있다는 것이 이해될 것이다.

달리 정의되지 않으면, 본원에 사용된 모든 용어들(기술 용어 및 과학 용어를 포함함)은, 본 발명이 속하는 통상의 기술자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 일반적으로 사용되는 사전들에서 정의된 바와 같은 용어들이 관련 기술 분야의 맥락에서 그 의미와 일치하는 의미를 갖는 것으로 해석되어야 하고 본원에서 명시적으로 그렇게 정의되지 않으면 이상적이거나 과도하게 형식적인 의미로 해석되지 않을 것이 추가로 이해될 것이다.

정의들

이벤트-기반 픽셀 어레이(EBPA)는 감광 디바이스들 및 감광 디바이스들의 출력 신호를 입력으로서 취하는 픽셀 회로들을 포함하는 픽셀들의 어레이이고; 공간적으로 및/또는 시간적으로 서로 독립적으로 이들 픽셀들(감광 디바이스들 및 픽셀 회로들을 결합)은 이들이 닿는 광 방사선의 함수로서 이산화된 데이터를 생성한다.

이벤트-기반 비전 센서(EBVS)는 EBPA로부터 추출 및/또는 정교화된 데이터를 출력하는 센서이다.

시스템 대기 시간은 광 변화와 데이터 정교화의 출력 사이의 시간으로서 정의된다.

판독 회로(RO): EBPA로부터 이벤트들(또는 이벤트 데이터)을 추출하는 회로.

메모리 제어기(MC): 특정 데이터가 기입되는 메모리의 특정 주소를 선택하는 능력을 갖는 데이터를 메모리에 기입하는 회로.

픽셀 주소(k): 픽셀 어레이에서 픽셀의 위치를 나타내는 숫자, 또는 숫자들의 리스트.

메모리 주소(m): 메모리의 위치를 나타내고 데이터를 판독 또는 기입하기 위해 메모리의 해당 위치에 액세스하는 데 사용될 수 있는 숫자, 또는 숫자들의 리스트.

최신 기술

도 1에 도시된 바와 같이, 이벤트-기반 비전 센서(EBVS)에 대한 최신 기술은 이벤트-기반 픽셀 어레이(EBPA), 및 어레이(EBPA)에 의해 생성된 이벤트들을 판독하고 이들을 이벤트 데이터 스트림의 형태로 외부 프로세싱 유닛에 출력하는 판독 회로(RO)를 갖는다. 이 데이터 스트림은 통상적으로 이 데이터를 메모리에 저장하는 프로세싱 유닛(예컨대, CPU, 마이크로제어기, 디지털 신호 프로세서(DSP))에 의해 수신되고, 이어서 통상적으로 처음에 데이터를 수신한 동일한 프로세싱 유닛에 의해 데이터 정교화를 수행하도록 액세스될 것이다. 종종, 센서로부터 수신된 이벤트 데이터는, 메모리 또는 후속 정교화 단계들과 호환가능한 포맷으로 변환하기 위해 메모리에 저장되기 전에 프로세싱 유닛에 의해 정교화되어야 한다.

이런 접근법의 구현은 도 2에 도시된다. 이벤트-기반 픽셀 어레이(EBPA)는 이벤트-기반 변화 검출 센서들 또는 픽셀들(100)(이를테면 PCT/IB2017/058526호 또는 US7728269B2호 또는/및 미국 공개 번호 2018/0191972호에 제안됨)의 2 차원 어레이를 포함하고; 광 변화를 검출한 픽셀들(100)의 주소들의 형태로 이벤트 데이터를 생성한다. (예시적인 픽셀 아키텍처는 도 10의 설명과 관련하여 아래에 제공된다). 이들 주소 각각은 x-y 좌표들을 나타내는 2 개의 숫자 형태로 어레이에서의 픽셀의 위치를 인코딩한다. 이어서, 이 데이터는 이벤트 데이터를 버퍼 메모리에 저장하는 외부 디바이스(EX), 통상적으로 FPGA(field programmable gate array), CPLD(complex programmable logic device) 또는 DSP에 의해 수집되고, 이어서 이벤트 데이터는 카메라(CAM)에 온-보드(on-board)된 통신 제어기(CC1)에 의해 프로세싱 디바이스(PU)(예컨대, 퍼스널 컴퓨터(PC))에 전송된다. 프로세싱 측에서, 통신 채널(예컨대, USB)을 통해 전송된 데이터는 제2 통신 제어기(CC2)에 의해 수신된다. 프로세싱 유닛(PU)의 중앙 처리 유닛(CPU)은 프로세싱 유닛의 메모리(MEM)에 데이터의 전송뿐 아니라 후속 데이터 정교화를 처리한다.

이런 접근법에서 시스템 대기 시간의 주 소스들 중 하나는, 이벤트 데이터 스트림이 통상적으로 데이터를 정교화할 동일한 디바이스에 의해 데이터를 정교화하기 전에 수신, 디코딩 및 저장되어야 한다는 사실에 의해 제공된다. 본원에서 대기 시간은 광 변화의 검출과 데이터 정교화의 출력 사이의 시간으로서 정의된다.

도 3은 본 발명의 원리들에 따라 구성된 센서를 도시한다.

본원에서 제안된 센서(EBVS)는 이벤트-기반 픽셀 어레이(EBPA) 및 판독 회로(RO)를 포함한다. 픽셀들은 아래의 도 10과 관련하여 설명된 바와 같을 수 있다. 메모리 제어 유닛(MC)은 판독 회로(RO)로부터 이벤트-관련 데이터를 수신하고, 외부 디바이스가 메모리를 동작시킬 필요 없이 이벤트-관련 데이터를 프로세싱 유닛(PU)의 메모리(MEM)에 직접 기입한다.

통상적인 이벤트-기반 데이터 스트림의 성질을 고려해 볼 때, 이런 접근법은 특히 편리하고 많은 장점들을 제공한다. 이벤트들의 데이터 스트림은 통상적으로, (데이터-속도가 고정되고 장면에 무관한 프레임-기반 데이터 스트림과 대조적으로) 데이터-속도가 픽셀 어레이에 의해 캡처된 장면에 의존한다는 점에서 희박하다. 이것은, 프로세싱 유닛이 데이터 수신 및 저장을 완화하는 것에 의해 정교화 속도가 관찰된 장면에 덜 의존하게 한다는 것을 의미한다. 또한, 이벤트-관련 정보의 모든 단일 조각은 통상적으로 작고, 메모리의 작은 부분에 저장될 수 있고; 이는, 메모리 주소 계산에 대한 오버헤드(overhead)가 저장할 데이터의 양과 비교하여 클 수 있고, 이어서 프로세싱 유닛에 대한 작업 부하를 상당히 증가시킬 수 있다는 것을 의미한다.

따라서, 도 1 또는 도 2에 도시된 것 같은 최신 구현에서, 프로세싱 유닛의 로드는 픽셀-어레이의 출력의 데이터-속도에 의존하고, 이는, 시스템 대기 시간이 관찰되는 특정 장면에 심하게 의존하는 것을 의미한다.

제안된 본 발명의 주요 장점은, 종종 이벤트-기반 데이터 스트림이 이벤트를 검출한 이들 픽셀들의 주소와, 임의로 해당 픽셀에 대한 일부 추가 정보를 포함한다는 사실로부터 발생한다. 센서에서 메모리 인터페이스를 처리하는 것은 데이터의 추가 압축을 허용하고: 메모리 제어기(MC)는 각각의 이벤트에 대해 메모리의 주소를 픽셀 어레이에서 생성한 픽셀의 주소에 관련시킬 수 있다. 이런 매핑 접근법은 픽셀 어레이(EBPA)의 각각의 픽셀(100)을 그 자체가 메모리 엘리먼트들의 어레이인 메모리(MEM)에 토폴로지적으로 매핑하게 한다. 그런 매핑 단계는 종종 이벤트-기반 비전 시스템들의 데이터 정교화 파이프라인의 일부이고, 본 발명에 의해 센서에서 효과적으로 구현될 수 있다.

더 상세하게, 어레이(EBPA)의 각각의 픽셀(100)은 고유 주소(k)를 갖는다. 판독 회로는 픽셀로부터 이벤트(또는 이벤트-관련 데이터)를 판독하고 이를 픽셀(p)의 주소(k)와 함께 메모리 제어기(MC)에 전송한다. 메모리 제어기는, 이벤트 데이터가 기입되는 메모리 주소(m)가, 이벤트가 발생하는 픽셀(p)의 주소(k)의 함수인 것을 보장한다. 통상적으로, 어레이(EBPA)의 각각의 픽셀(100)과 메모리 위치(m) 또는 메모리(MEM)의 주소들 사이에 일-대-일 고유 매핑이 존재한다.

이것은 하기 식에 의해 표현될 수 있다:

m = f(k).

도 4에 도시된 실시예는 도 3의 실시예와 유사하지만, 센서(EBVS)는 또한 온-보드 메모리(MEM)를 포함한다. 이것은 시스템 대기 시간을 추가로 최적화하고 센서의 진보된 웨이퍼 적층 구현을 허용할 것이다(도 8a 및 도 8b 참조). 센서(EBVS) 상의 메모리(MEM)는 또한 센서(EBVS)에도 물론 있는 메모리 제어기(MC)에 의해 기입되고, 외부 디바이스에 의한 판독을 위해 액세스될 수 있어야 한다.

일 실시예에서, 메모리(MEM)는, 메모리가 어레이(EBPA)와 동일한 실리콘 칩 또는 다이 상에 위치된다는 점에서 온-보드이다. 그럼에도 불구하고, 핵심은, 센서의 출력이 메모리의 출력이도록 감지 디바이스 및 메모리가 전용 통신 인터페이스와 직접 연결된다는 것이다.

다른 한편, 일부 경우들에서, 자신의 목적을 위해 최상의 기술로 각각 제조되지만, 이어서 PU에 의해 프로세싱되어야 하는 이 시스템(=이 센서)의 출력이 메모리의 출력이도록 직접 연결되는 2 개의 분리된 실리콘 또는 칩의 조각들로 픽셀 어레이 및 메모리를 구현하는 것이 바람직할 것이다. 이들 2 개의 실리콘 칩은 바람직하게 동일한 패키지(예컨대, 3D IC 또는 SIP)에 위치될 것이다.

또한 클록 소스(CLK)가 도시된다. 클록 소스는 이벤트들의 타임스탬프들을 제공한다. 일반적으로, 클록 소스는 센서(EBVS) 내부 또는 외부에 있을 수 있다.

도 5a는 판독 회로(RO)의 동작의 일 구현을 도시하는 흐름도이다.

더 상세히, 판독 회로(RO)는, 단계들(512, 514, 516, 및 518)에서 체크된 마지막 시간 이후 픽셀들 중 임의의 픽셀이 이벤트를 생성하였는지를 검출하기 위해 픽셀 어레이를 통해 주기적으로 스캐닝함으로써 픽셀 어레이로부터 이벤트들을 판독한다. 이런 스캐닝 사이클의 시작에서, 판독 회로는 타임스탬프를 판독하고 단계(510)의 다음 스캐닝 사이클 때까지 이를 저장한다. 이어서, 픽셀 어레이를 스캔하고, 이전 스캐닝 사이클 이후(즉, 이전 타임스탬프가 판독된 이후) 픽셀들 중 어느 것이 이벤트를 생성하였는지를 검출한다. 픽셀 중 적어도 하나가 단계(514)에서 결정된 바와 같이 이벤트를 생성하였으면, 판독 회로는 단계(520)에서 타임스탬프를 메모리 제어기를 향해 출력한 다음, 이벤트를 생성하는 픽셀들의 모든 주소들(x,y 좌표들 형태임)을 단계들(522, 524, 526, 528, 및 530)에서 출력한다. 이들 정보 항목들(타임스탬프들 또는 픽셀 주소들) 각각은 이벤트 데이터의 패키지이다. 이런 방식으로 판독 회로에 의해 출력된 패키지들의 스트림은 2 개의 연속적인 타임스탬프 사이에 이벤트들을 생성한 픽셀의 주소들(즉, 어레이에서 픽셀들의 위치)에 의해 인터리빙(interleave)된 타임스탬프들의 리스트를 포함한다.

US7728269B2호에서 설명된 바와 같은 판독 회로의 상이한 구현은 통신을 개시할 수 있는 비동기 픽셀들을 사용하고, 판독 회로는 동시에 픽셀들을 요청하는 것과 순차적으로 요청 픽셀들의 주소들을 전송하는 것 사이의 중재를 맡는다.

도 5b는 메모리 제어기(MC)의 동작의 일 구현을 도시하는 흐름도이다. 메모리 제어기(MC)는 이들 패키지들을 메모리(MEM)에 순차적으로 기입하는 작업을 가진다; 예컨대 링 버퍼 구조에서:

더 상세히, 메모리 주소는 단계(550)에서 초기화되고 메모리 제어기(MC)는 단계(552)에서 다음 이벤트 데이터를 기다린다.

이어서, 패키지가 단계(554)에서 수신될 때마다, 메모리 주소는 단계(556)에서 1 씩 증가되고 패키지는 단계(558)에서 그 주소를 갖는 메모리의 위치의 콘텐츠가 된다. 메모리 주소(m)가 배정된 메모리 공간의 최대 인덱스에 도달할 때마다, 배정된 메모리 공간의 가장 작은 주소로 래핑(wrap)되어 링 버퍼를 구현한다.

이어서, 메모리(MEM)는 픽셀 어레이로부터 이미 수신되고 메모리에 저장된 이벤트 데이터에 대해 정교화를 쉽게 수행할 수 있는 다른 디바이스, 예컨대 DSP 같은 프로세싱 유닛(PU)에 의해 판독-모드에서 액세스된다. 이 목적을 위해, 판독-전용 프로세스가 또한 기입 포인터로서 알려진 현재 메모리 주소(k)에 액세스할 필요가 있다.

일반적으로, 프로세싱 유닛에 의한 이런 정교화는 센서에 의해 검출된 정보, 즉 센서에 닿는 광에 관한 정보를 수집하고, 센서에 의해 직접적으로 캡처되는 것이 아니라, 이런 정교화 이후 이용가능한 추가 정보를 추출하기 위해 상기 정보에 대한 계산 또는 조작을 수행하는 것을 포함한다. 하나의 특정 예에서, 정교화는 이미지 센서에 닿는 광에 의해 수집된 정보에 기반하여 2 개의 객체 사이의 거리 또는 객체의 속도 또는 객체의 인식을 추정하는 것을 포함한다.

도 6a는 마지막-타임스탬프 맵이라 칭해지는 메모리(MEM)에 대한 메모리 맵(TM)의 구현을 도시한다. 이는 제안된 본 발명을 사용하여 센서(EBVS)에 의해 직접적으로 수행될 수 있는 데이터 정교화 동안 일반적으로 빈번하게 행해지는 동작 타입이다.

이 구현의 특정 특징은 메모리 제어기(MC)가 동작되는 방식에 있다. 소정의 이벤트-관련 데이터 패키지가 저장된 메모리 주소(m)는 데이터 패키지가 참조하는 해당 이벤트를 생성한 픽셀의 주소(k)(즉, 어레이에서 기하학적 위치)의 함수이다.

이벤트들의 타임스탬프들을 제공하는 클록 소스(CLK)는 센서(EBVS) 내부 또는 외부에 있을 수 있다.

이 경우, 판독 회로(RO)는 이벤트를 생성하는 이들 픽셀들의 주소들을 픽셀 어레이(EBPA)로부터 연속으로 수집하고, 상기 주소들을 (x,y 좌표들의 형태로) 출력하는 것만을 맡는다.

도 6b의 흐름도에 도시된 바와 같이, 제1 단계에서, 메모리 제어기(MC)는 단계(610)에서 다음 이벤트 데이터를 기다릴 것이고, 이어서 단계(612)에서 판독(RO)으로부터 해당 이벤트 데이터를 수신할 것이다. 단계(614 및 616)에서, 메모리 제어기(MC)는 클록 소스(CLK)로부터 유도된 타임스탬프를 판독 회로(RO)로부터 수신된 모든 주소에 할당한다. 이어서, 판독 회로로부터 상기 주소를 수신할 때, 타임스탬프가 연관된 픽셀 주소(k)(즉, 어레이에서의 위치)의 함수로서, 해당 타임스탬프가 기입될 메모리 주소(m)를 계산한다. 마지막으로, 단계(618)에서, 메모리 제어기(MC)는 타임스탬프를 결정된 메모리 주소에 기입할 것이다.

이런 방식으로, EBPA의 각각의 픽셀 주소는, 임의의 픽셀의 가장 최근 타임스탬프가 어레이에 매핑되도록 메모리(MEM)에 잘-정의된 주소를 갖는다. 이런 이유 때문에, 메모리 제어기(MC)가 메모리에 유지하는 픽셀 어레이의 맵은 마지막-타임스탬프 맵이라 칭해진다.

메모리(MEM)는, DSP 또는 CPU 같은 외부 정교화 디바이스가 메모리 제어기(예컨대, 이중-액세스 메모리)에 의해 수행되는 기입과 무관하게 판독을 위해 액세스하게 하는 방식으로 구현될 수 있다. 프로세싱 유닛은 처음에 맵을 유지하지 않고도 마지막-타임스탬프 맵에 대해 정교화를 수행할 수 있다.

마지막-타임스탬프 맵의 특정 경우에, 메모리 주소를 픽셀 주소에 관련시키는 함수는 바람직하게 바이유니보컬(biunivocal)이지만(메모리(MEM)의 모든 주소가 이벤트 베이스 픽셀 어레이(EBPA)의 하나 및 단지 하나의 픽셀과 연관됨), 다른 타입들의 매핑들도 가능하고, 여기서 이 함수는, 예컨대 픽셀 어레이의 소정 영역이 단일 주소 또는 주소들의 세트에 매핑되는 경우 바이유니보컬이 아닐 수 있다.

도 6c에서는, 도 6a의 실시예의 향상된 버전이 도시된다. 인덱스 버퍼(ID)에는 프로세싱 유닛(PU)이 판독되는 마지막 시간 이후 변화된 맵(TM)의 부분들에 관한 정보를 유지하는 기능이 추가된다.

이런 기능은 메모리 인덱스 버퍼로서 링-버퍼 타입을 사용하여 구현될 수 있다. 타임스탬프가 마지막 타임스탬프 맵(TM)에서 업데이트될 때마다, 그 타임스탬프가 기입된 위치의 메모리 주소는 인덱스 버퍼(ID)에 추가된다.

도 6d의 흐름도에 도시된 바와 같이, 메모리 제어기(MC)는 단계(680)에서 다음 이벤트 데이터를 기다릴 것이고, 이어서 단계(682)에서 판독(RO)으로부터 해당 이벤트 데이터를 수신할 것이다. 메모리 제어기(MC)는 클록 소스(CLK)로부터 판독된 타임스탬프(단계 686)를 판독 회로(RO)로부터 수신된 모든 주소에 할당한다. 이어서, 판독 회로로부터 상기 주소를 수신할 때, 타임스탬프가 연관된 픽셀 주소(k)(즉, 어레이에서의 위치)의 함수로서, 단계(684)에서 해당 타임스탬프가 기입될 메모리 주소(m)를 계산한다. 단계(690)에서, 메모리 제어기(MC)는 타임스탬프를 타임스탬프 맵(TM)에서 결정된 메모리 주소에 기입할 것이다. 마지막으로, 단계에서 메모리 제어기(MC)는 메모리 주소를 인덱스 버퍼(IB)에 추가한다.

다른 한편, 프로세싱 유닛(PU)는 최신 타임스탬프들을 얻기 위해 판독되어야 하는 메모리 주소들을 이 버퍼(ID)로부터 판독할 것이고, 이는 이 인덱스 버퍼(ID)의 판독 포인터를 판독되었던 마지막 메모리 주소로 업데이트한다. 따라서, 센서가 마지막 타임스탬프 맵 및 인덱스 버퍼를 업데이트하는 동안 정교화가 수행될 수 있다. 이어서, 프로세싱 유닛(PU)이 맵으로부터 더 많은 데이터를 추출할 준비가 될 때, 판독 포인터를 업데이트한 마지막 시간 이후 맵(TM)으로부터 판독될 필요가 있는 메모리 주소들(이는 단지 변경된 것들임)을 인덱스 버퍼로부터 판독하기 시작할 수 있다. 이런 방식으로 프로세싱 유닛(PU)은, 매번 전체 맵을 판독할 필요 없이, 일부 데이터가 추출된 마지막 시간 이후 변경된 맵(TM)의 영역들을 빠르게 액세스함으로써 맵의 판독을 가속할 수 있다.

도 7에는 메모리가 센서(EBVS)에도, 바람직하게는 동일한 IC 또는 칩에 위치되는 본 발명의 실시예가 제시된다. 픽셀 어레이(EBPA)는 변화-검출 픽셀들(100)을 가지며, 변화-검출 픽셀들(100) 각각은 자신에게 닿는 광의 변화가 검출되는 경우 이벤트를 생성할 수 있다. 판독 회로(RO)는, 픽셀들이 체크된 마지막 시간 이후(즉, 이전 스캔 사이클에서) 픽셀들 중 임의의 픽셀이 광 변화를 검출하였는지를 검출하기 위해 어레이(EBPA)를 통해 주기적으로 스캔한다. 각각의 스캐닝 사이클의 시작에서, 타임스탬프는 클록 소스(CLK)로부터 판독되어 저장된다.

또한 위에서 언급된 바와 같이, 판독 회로의 다른 구현들이 사용될 수 있다. 예컨대, 소위 비동기 판독 방법들이 사용될 수 있고, 여기서 픽셀들은, 이벤트 데이터가 송신될 준비가 되었을 때 통신을 개시한다.

픽셀들 중 적어도 하나에서 광 변화가 검출되면, 어레이 판독 사이클의 시작에서 판독된 타임스탬프가 송신된 다음, 광 변화를 검출한 모든 픽셀들의 주소들을 송신한다. 이어서, 새로운 타임스탬프가 판독되고 어레이는 다시 스캔되고, 기타 등등이 수행된다. 이런 특정 구현에서, 클록 소스(CLK)는 센서 외부에 있다.

메모리 제어기(MC)는 이벤트 데이터 패키지들(타임스탬프들 및 주소들)의 스트림을 수신하고 이들을 순차적으로 메모리(MEM)에 기입한다. 메모리 주소는, 타임스탬프 또는 픽셀 주소가 수신될 때마다 1 씩 증가된다. 메모리의 주소는 타임스탬프 값 또는 픽셀 주소 값을 저장할 수 있다.

도 5a의 경우와 같이, 이런 방식으로 기입된 메모리는 2 개의 연속적인 타임스탬프 사이에서 이벤트들을 생성한 픽셀들의 주소들(즉, 어레이에서의 위치들)에 의해 인터리빙된 타임스탬프들의 리스트를 포함한다.

메모리(MEM)는 바람직하게 센서(EBVS) 내부에 있고 메모리 제어기(MC)의 기입 동작들과 무관하게 외부 프로세싱 유닛(PU)에 의해 판독 모드에서 액세스될 수 있다. 이런 특정 경우에서, 메모리는 바람직하게 이중-액세스 또는 이중 포트 FIFO이다. FIFO("선입, 선출"의 두문자어)는 기입될 제1 데이터 패키지가 먼저 판독되고, 후속 판독 동작들이 가장 최근에 기입된 데이터 패키지를 먼저 얻는 메모리 구현 타입이다. 이는, 기입 동작들이 데이터 패키지들을 꼬리에 첨부하는 반면, 판독 동작들이 헤드로부터 데이터 패키지들을 얻어서, 하나가 판독된 이후 헤드를 다음 데이터 패키지로 이동시키는 리스트로 보여질 수 있다. 구체적으로, 다음 데이터 패키지가 기입될 메모리의 주소를 정의하는 기입 포인터는, 새로운 패키지가 저장될 때마다 증가되고; 다음 패키지가 판독될 주소를 정의하는 판독 포인터는 또한, 패키지가 판독될 때마다 증가된다. 이 메모리가 이중-액세스이므로, 판독-포인터는 데이터를 판독하는 외부 디바이스에 의해 증가되는 반면, 기입 포인터는 메모리 제어기에 의해 증가된다.

특정 애플리케이션 예들: 3D IC

도 8a는 제안된 본 발명의 구현의 예를 3D IC(3-차원 집적 회로) 프로세스로 도시한다. 3-차원 집적 회로는 웨이퍼들 또는 다이들을 수직으로 적층하고 예컨대 관통-실리콘 비아들 또는 본딩 패드들과 함께 납땜을 사용하여, 예컨대 Cu-Cu 연결들을 사용하여 이들을 수직으로 상호연결함으로써 구현된 집적 회로이다. 이 접근법의 장점들은 많고; 특히: 더 작은 영역 점유; 대역폭 개선 및 전력 감소를 허용하는 감소된 상호연결 길이; 단일 디바이스에서 상이한 기술 프로세스들의 이종 통합; 구체적으로 수광기 타입의 애플리케이션에서, 주 장점들 중 하나는 필-팩터(fill-factor)(감광 디바이스에 의해 점유되는 픽셀 영역의 퍼센티지)의 최대화에 의한 양자 효율(QE)의 최대화이고, 이는 예컨대 후면 조명(BSI)의 사용으로 인해 가능하다.

도 8a에서, 3D 적층 프로세스의 예가 도시되고, 여기서 2 개의 다이는 수직으로 적층되고 함께 본딩된다. (적층된 웨이퍼들을 다이들로 절단하기 전) 적층된 웨이퍼들의 수직 섹션의 일부가 표현된다. 관통-실리콘 비아들은 외부 연결들에 대한 하단 웨이퍼에 대한 액세스를 제공하는 데 사용될 수 있다. 상단 웨이퍼는 수직으로 뒤집혀져서, 이 기판은 상단 상에 있고 라인의 후단은 기판이 하단을 향하는 하단 웨이퍼의 라인의 후단을 향한다. 이어서 2 개의 웨이퍼의 본딩 패드는 Cu-Cu 연결들을 사용하여 함께 직접 본딩될 수 있다. 이 표현에서, 상단 웨이퍼는 자신의 기판 측 상에 제조된 상호연결들 및 본딩 패드들을 위한 금속의 추가 층들을 갖는다.

상단 웨이퍼는 웨이퍼의 후면으로부터 광을 수신(BSI 프로세스: 후면 조명)하는 포토-다이오드들로서 구현되도록 상정된 감광 디바이스들, 포토-다이오드들을 바이어스 및 동작시키기 위한 픽셀 회로, 판독 회로 및 메모리 제어기를 포함하고; 하단 웨이퍼는 전용 다이 상에 메모리를 포함한다. 아마도, 메모리 다이들을 포함하는 웨이퍼는 감광 디바이스들을 포함하는 것과 상이한 프로세스로 제조되는 데, 그 이유는 이들 2 개의 타입의 전자 디바이스가 통상적으로 상이한 기술 요건들을 가지기 때문이다.

이런 프로세스로부터 발생하는 디바이스는 하나 초과의 다이로 만들어진 집적 회로이고, 이들 다이 모두는 적층되고 수직으로 상호연결된다.

도 8b에서, 제안된 본 발명을 구현하기 위한 3D IC의 다른 예가 도시된다. 여기서, 적층 프로세스는 3 개의 분리된 웨이퍼(또는 다이)를 결합한다. 기판이 상단을 향하는 상단 웨이퍼는 단지 후면 조명 포토다이오드들, 기판 측 상의 본딩 패드들 및 하단 웨이퍼들을 외부 연결부들에 노출시키기 위한 관통-실리콘 비아들을 포함한다. 기판이 하단을 향하는 중간 웨이퍼는 포토-다이오드들을 바이어스 및 동작시키기 위한 픽셀 회로, 판독 회로 및 메모리 제어기를 포함한다. 도 8a의 예에서와 같이 하단 웨이퍼는 전용 다이 상에 메모리를 포함하고, 하단 웨이퍼는 관통-실리콘 비아들을 사용하여 상단 웨이퍼 및 외부에 연결된다.

종래 아키텍처들에서의 애플리케이션

도 9는, 메모리 제어기(MC)가 센서에 통합되고, 메모리(MEM)에 직접적으로 기입할 수 없는 대신, 데이터가 프로세싱 유닛(PU)을 통과해야 하는 실시예를 도시한다. 그런 실시예에서도, 본 발명은 장점들을 갖는다. 구체적으로, 프로세싱 유닛(PU)이 데이터를 메모리에 기입해야 할지라도, 데이터 패키지가 기입되어야 하는 메모리 주소를 결정하기 위해 계산을 수행할 필요가 없을 것이다. 이것은 특히 매핑 애플리케이션들에서 편리하다. 통상적으로, 이벤트-관련 데이터가 픽셀들의 위치에 따라 메모리에 매핑될 때, 일부 수학적 연산들이 수행되어야 한다. 예컨대, 픽셀 주소가 2 개의 숫자로 주어지는 경우, 하나의 숫자는 x 위치를 나타내고 하나는 y 위치를 나타내고, 곱셈 및 합은 메모리 주소를 계산하기 위해 수행되어야 한다. 이것이 센서에서 이미 수행된 경우, 프로세싱 유닛은 단지 수신하는 주소에 데이터 패키지만을 기입하여야 하며, 결과적으로 메모리의 시작 주소가 조정되어야 하는 경우 오프셋을 추가해야 하지만, 곱셈을 수행할 필요가 없다.

도 10은 위에서 설명된 시스템에서 EBVS의 EBPA의 픽셀의 예를 도시한다. 이는 그 전체가 인용에 의해 본원에 통합되는 PCT/IB2017/058526호 및 미국 공개 번호 2018/0191972로부터 취해진다. 그러나, 제안된 본 발명의 핵심 개념들은 사용되는 임의의 특정 픽셀 아키텍처에 의존하지 않고, IC로서 구현되는 사실상 임의의 이벤트-기반 비전 센서에 적용될 수 있다.

픽셀 회로의 주 컴포넌트들은 아래에 열거된다.

1. 광수용기 모듈. 도면에 도시된 바와 같이, 픽셀 회로(100)는 충돌하는 광(9)을 측정하고 광 강도를 전류(Iphoto)로 변환하기 위해 포토다이오드(PD), 또는 다른 광센서; 광 강도에 의존하는 광수용기 신호(Vpr)를 생성하기 위한 광수용기 회로(PRC); 및 과거의 광수용기 신호를 기억하는 메모리 커패시터(C1)를 포함한다. 광센서(PD) 및 광수용기 회로(PRC)는 광수용기 모듈(PR)을 구성한다.

2. 메모리 커패시터(C1): 커패시터의 제1 플레이트가 광수용기 신호(Vpr)에 응답하는 전하 및 따라서 광센서(PD)에 의해 수신되고 이벤트 검출기(ED)의 일부인 광을 전달하도록 광수용기 신호(Vpr)를 수신한다. 메모리 커패시터(C1)의 제2 플레이트는 A1의 비교기 노드(인버팅 입력)에 연결된다. 따라서, 비교기 노드의 전압(Vdiff)은 광수용기 신호(Vpr)의 변화들에 따라 가변한다.

3. 비교기(A1): 이것은 현재 광수용기 신호(Vpr)와 과거 광수용기 신호 사이의 차이를 임계치에 비교하기 위한 수단이고 이벤트 검출기(ED)의 일부이다. 이 비교기(A1)는 각각의 픽셀에 있거나, 또는 픽셀들의 서브세트(예컨대 열) 사이에 공유될 수 있다. 바람직한 실시예에서, 비교기는 픽셀에 통합될 것이고, 각각의 픽셀은 전용 비교기(A1)를 갖는다.

4. 픽셀 메모리: 픽셀 메모리(50)는 제어기(60)로부터의 샘플 신호에 기반하는 비교기 출력을 저장하고 이벤트 검출기(ED)의 일부이다. 메모리는 샘플링 회로(예컨대 스위치 및 기생 또는 명시적 커패시터) 또는 디지털 메모리 회로(래치 또는 플립-플롭)일 수 있다. 일 실시예에서, 메모리는 샘플링 회로일 것이고 각각의 픽셀은 2 개의 메모리를 가질 것이다.

5. 조건부 리셋 회로(R1): 리셋을 위한 조건은 메모리화된 비교기 출력의 상태와 제어기(60)에 의해 인가된 리셋 신호의 조합이고 이벤트 검출기(ED)의 일부이다.

6. 주변 회로 컴포넌트들: 비교기(A1) 및 메모리(50)는 픽셀 또는 주변 회로들(픽셀 회로 외측)에 위치될 수 있다.

주변 회로들은 임계 신호들을 비교기(A1)에 인가하고, 제어 신호들을 메모리(50)에 전송하고 조건부 리셋 회로(R1)가 활성화되는 시간들을 선택하는 제어기(60)를 포함한다.

주변 회로들은 또한 판독 회로를 포함할 수 있고, 판독 회로는 메모리(50)의 콘텐츠를 판독하고, 주어진 픽셀에 대한 광 강도가 증가되었는지, 감소되었는지, 또는 변경되지 않았는지를 결정하고, (현재 메모리 값으로부터 계산된) 출력을 프로세서에 전송한다.

더 상세히, 비교기는, 광이 증가/감소되었는지를 말한다. 오프(Off) 이벤트의 경우: Vdiff가 (Vb 상에서) 임계치(Voff)보다 더 낮으면, 비교기 출력은 하이(high)이고 이 레벨은 메모리에 저장된다. 이것은 감소가 검출된 것을 의미한다. Vdiff가 임계치보다 낮지 않으면, 비교기 출력은 로우(low)이고: 어떠한 감소도 검출되지 않는다.

유일한 어려움은, 온(On) 이벤트의 경우, 로우 비교기 출력이 증가를 의미하지만 하이가 변화 없음을 의미하고; 그러나 오프 이벤트의 경우, 하이 비교기 출력이 감소를 의미하지만 로우가 변화 없음을 의미하는 것이다.

따라서, 판독은 메모리 콘텐츠 및 어느 임계치가 적용되는지를 알아야만 한다.

픽셀 회로(100) 및 제어기(60)는 다음과 같이 동작한다.

광센서(PD)에 의해 수신된 광 강도의 변화는 광수용기 신호(Vpr)의 변화로 해석될 것이다. 리셋 회로(R1)가 도통되지 않을 때, Vpr의 변화들은 비교기(A1)에 대한 인버팅 입력(-)에서 비교기 노드의 전압(Vdiff)에 또한 반영될 것이다. 이것은, 메모리 커패시터(C1) 양단 전압이 일정하게 유지되기 때문에 발생한다.

제어기(60)에 의해 선택된 시간들에서, 비교기(A1)는 메모리 커패시터(C1)의 제2 단자에 있는 비교기 노드에서의 전압(Vdiff)을 비교기(A1)의 비-인버팅 입력(+)에 인가된 (제어기로부터의) 임계 전압(Vb)에 비교한다.

제어기(60)는 비교기 출력(Vcomp)을 저장하기 위해 픽셀 메모리(50)를 동작시킨다. 메모리(50)는 통상적으로 도시된 바와 같이 픽셀 회로(100)의 일부로서 구현된다. 그러나, 다른 실시예들에서, 메모리(50)는 열 논리 회로(주변 회로, 픽셀 어레이의 각각의 열당 하나)의 일부로서 구현된다.

메모리(50)에 유지된 저장된 비교기 출력의 상태가 광 강도의 변화를 나타내고 제어기(60)로부터의 글로벌리셋(GlobalReset) 신호가 활성화되면, 조건부 리셋 회로(R1)가 도통된다. 여기서 "AND"는 논리 AND 연산자를 나타낸다. 도통 상태의 조건부 리셋 회로(R1)에 의해, 비교기(A1)의 인버팅 입력에서의 비교기 노드의 전압(Vdiff)은 알려진 레벨로 리셋된다. 따라서, 메모리 커패시터(C1)에 현재 광수용기 신호(Vpr)를 저장한다.

본 발명이 본 발명의 바람직한 실시예들을 참조하여 특히 도시 및 설명되었지만, 형태 및 세부 사항들의 다양한 변화들이 첨부된 청구항들에 의해 포함된 본 발명의 범위에서 벗어나지 않고 본원에서 이루어질 수 있다는 것이 통상의 기술자들에 의해 이해될 것이다.

Claims (24)

1. 이벤트-기반 비전 센서 시스템(event-based vision sensor system)으로서,
   광을 검출하는 픽셀들을 포함하는 이벤트-기반 픽셀 어레이;
   각각의 픽셀에 의해 수신된 광 및 각각의 픽셀이 상기 어레이에서 점유하는 위치와 연관된 이벤트들을 판독하기 위한 판독 회로;
   메모리의 소정의 주소에 소정의 픽셀과 연관되는 각각의 이벤트, 또는 이벤트-관련 데이터를 기입할 수 있게 하는 메모리 제어기 - 상기 이벤트들은 각각의 픽셀에서 온(On) 이벤트들 또는 오프(Off) 이벤트들이 발생하는지 여부에 관련됨 -; 및
   상기 메모리에 액세스하고 상기 메모리에 저장된 상기 이벤트들에 정교화를 수행하는 프로세싱 유닛
   을 포함하고,
   상기 메모리 제어기는 상기 이벤트-기반 픽셀 어레이와 동일한 칩 상에 있고,
   상기 이벤트 또는 이벤트-관련 데이터와 상기 메모리 제어기로부터의 리셋 신호에 따라 비교기의 인버팅 입력에서의 비교기 노드의 전압이 소정의 레벨로 리셋되고,
   상기 프로세싱 유닛에 의해 수행되는 상기 정교화는 상기 이벤트들로부터 2개의 객체 사이의 거리를 추정하는 것을 포함하는, 시스템.
2. 제1항에 있어서, 상기 메모리 제어기는, 해당 이벤트 또는 이벤트-관련 데이터가 기입되는 상기 메모리의 상기 주소가 해당 이벤트를 생성한 픽셀에 의해 점유되는 상기 픽셀 어레이의 위치의 함수인 것을 보장하는, 시스템.
3. 제1항에 있어서, 상기 메모리는 상기 메모리 제어기에 의해 기입되고 외측으로부터 독립적으로 판독될 수 있는, 시스템.
4. 제1항에 있어서, 3-차원 집적 회로로서 구현되는, 시스템.
5. 제1항에 있어서, 상기 메모리 제어기는 상기 이벤트-기반 픽셀 어레이의 픽셀들과 상기 메모리의 주소들 사이의 일-대-일 매핑을 구현하는, 시스템.
6. 제1항에 있어서, 상기 메모리는 상기 이벤트-기반 픽셀 어레이와 동일한 칩 상에 있는, 시스템.
7. 제1항에 있어서, 상기 메모리 제어기는 상기 메모리에 타임스탬프들을 저장하는, 시스템.
8. 제1항에 있어서, 상기 메모리 제어기는 상기 메모리에 또한 저장된 마지막 타임스탬프 맵에 대한 버퍼 인덱스를 상기 메모리에 유지하는, 시스템.
9. 제1항에 있어서, 상기 메모리 제어기는 타임스탬프들을 전송한 다음, 상기 메모리에 대한 변화를 검출한 픽셀들의 주소들을 전송하는, 시스템.
10. 이벤트-기반 비전 센서 시스템의 동작 방법으로서,
    이벤트-기반 픽셀 어레이로 광을 검출하는 단계;
    판독 회로에 의해 각각의 픽셀에 의해 수신된 광 및 각각의 픽셀이 상기 어레이에서 점유하는 위치와 연관된 이벤트들을 판독하는 단계;
    메모리 제어기가 메모리의 상이한 주소에 각각의 픽셀과 연관되는 각각의 이벤트, 또는 이벤트-관련 데이터를 기입하는 단계 - 상기 이벤트들은 각각의 픽셀에서 온(On) 이벤트들 또는 오프(Off) 이벤트들이 발생하는지 여부에 관련됨 -; 및
    상기 메모리에 액세스하고 상기 메모리에 저장된 상기 이벤트들에 정교화를 수행하는 단계
    를 포함하고,
    상기 메모리 제어기는 상기 이벤트-기반 픽셀 어레이와 동일한 칩 상에 있고,
    상기 이벤트 또는 이벤트-관련 데이터와 상기 메모리 제어기로부터의 리셋 신호에 따라 비교기의 인버팅 입력에서의 비교기 노드의 전압이 소정의 레벨로 리셋되고,
    상기 정교화는 상기 이벤트들로부터 2개의 객체 사이의 거리를 추정하는 것을 포함하는, 방법.
11. 제10항에 있어서, 상기 메모리 제어기가, 해당 이벤트 또는 이벤트-관련 데이터가 기입되는 상기 메모리의 해당 주소의 위치가 해당 이벤트를 생성한 픽셀에 의해 점유되는 상기 픽셀 어레이의 위치의 함수인 것을 보장하는 단계를 더 포함하는, 방법.
12. 제10항에 있어서, 상기 메모리는 상기 메모리 제어기에 의해 기입되고 외측으로부터 독립적으로 판독될 수 있는, 방법.
13. 제10항에 있어서, 3-차원 집적 회로로서 구현되는, 방법.
14. 제10항에 있어서, 상기 메모리 제어기가 일-대-일에 기반하여 상기 이벤트-기반 픽셀 어레이의 픽셀들과 상기 메모리의 주소들 사이를 매핑하는 단계를 더 포함하는, 방법.
15. 제10항에 있어서, 상기 메모리는 상기 이벤트-기반 픽셀 어레이와 동일한 칩 상에 있는, 방법.
16. 제10항에 있어서, 상기 메모리 제어기가 상기 메모리에 타임스탬프들을 저장하는 단계를 더 포함하는, 방법.
17. 제10항에 있어서, 상기 메모리 제어기가 상기 메모리에 또한 저장된 마지막 타임스탬프 맵에 대한 버퍼 인덱스를 상기 메모리에 유지하는 단계를 더 포함하는, 방법.
18. 제10항에 있어서, 상기 메모리 제어기가 타임스탬프들을 전송한 다음, 상기 메모리에 대한 변화를 검출한 픽셀들의 주소들을 전송하는 단계를 더 포함하는, 방법.
19. 이벤트-기반 비전 센서 시스템으로서,
    광을 검출하는 픽셀들을 포함하는 이벤트-기반 픽셀 어레이;
    각각의 픽셀에 의해 수신된 광 및 각각의 픽셀이 상기 어레이에서 점유하는 위치와 연관된 이벤트들을 판독하기 위한 판독 회로;
    상기 이벤트-기반 픽셀 어레이의 픽셀들과 메모리의 주소들 사이의 일-대-일 매핑과 함께 상기 메모리의 소정의 주소에 소정의 픽셀과 연관되는 각각의 이벤트, 또는 이벤트-관련 데이터를 기입할 수 있게 하는 메모리 제어기; 및
    상기 메모리에 액세스하고 상기 메모리에 저장된 상기 이벤트들에 정교화를 수행하는 프로세싱 유닛
    을 포함하고,
    상기 메모리 제어기는 상기 이벤트-기반 픽셀 어레이와 동일한 칩 상에 있고, 상기 메모리는 상기 메모리 제어기에 의해 기입되고 외측으로부터 독립적으로 판독될 수 있고,
    상기 이벤트 또는 이벤트-관련 데이터와 상기 메모리 제어기로부터의 리셋 신호에 따라 비교기의 인버팅 입력에서의 비교기 노드의 전압이 소정의 레벨로 리셋되고,
    상기 프로세싱 유닛에 의해 수행되는 상기 정교화는 상기 이벤트들로부터 2개의 객체 사이의 거리를 추정하는 것을 포함하는, 시스템.
20. 제1항에 있어서,
    상기 메모리 제어기는, 최대 인덱스에 도달하면 가장 작은 주소로 래핑(wrap)하는 연속적인 주소들에 상기 판독 회로로부터 수신된 이벤트들의 패키지들이 저장되는 링 버퍼를 포함하는, 시스템.
21. 삭제
22. 삭제
23. 제1항에 있어서,
    상기 메모리 제어기는 이벤트들을 기다리고, 이어서 상기 판독 회로로부터 상기 이벤트들을 수신하며, 상기 메모리 제어기는 클록 소스로부터 판독된 타임스탬프(timestamp)들을 상기 판독 회로로부터 수신된 상기 이벤트들 각각에 할당하고, 상기 이벤트-기반 픽셀 어레이의 픽셀들과 상기 메모리의 주소들 사이의 일-대-일 매핑에 따라 상기 이벤트들에 대한 상기 타임스탬프들이 기입되는 상기 메모리의 주소들을 계산하는, 시스템.
24. 제1항에 있어서,
    상기 메모리 제어기는 주소들을 인덱스 버퍼에 추가하고, 프로세싱 유닛은 상기 인덱스 버퍼를 판독하여 최신 타임스탬프들을 얻고, 상기 인덱스 버퍼의 판독 포인터를 판독된 마지막 메모리 주소로 업데이트하는, 시스템.

Images