KR20220027197A - 이벤트 기반 비전 센서들을 위한 동적 관심 영역(roi) - Google Patents

Abstract

이벤트 기반 픽셀 센서 시스템은 변경 이벤트들을 분리하고 비관심 이벤트들로부터의 데이터를 감소시키기 위해, 바람직하게는 동적인 관심 영역들 또는 비관심 영역들을 이용한다.

Description

이벤트 기반 비전 센서들을 위한 동적 관심 영역(ROI)

관련 출원

본 출원은 35 USC 119(e) 하에서 2019년 7월 1일자로 출원된 미국 가출원 번호 제62/869,311호의 우선권을 주장하고, 이는 그 전체가 본원에 참조로 포함된다.

오늘날, 머신 비전은 대부분 종래의 카메라들 및 그들의 연관된 프레임 기반 공간 분해 광학 센서들에 기초한다. 일부 머신 비전 태스크들, 예컨대 물체 인식의 경우, 그 이미지 기반 광학 센서들을 갖는 이러한 종래의 프레임 기반 카메라들이 매우 적합하다. 그러나, 다른 태스크들, 예컨대, 모니터링, 추적, 또는 위치 및 모션 추정의 경우, 종래의 이미지 센서들은 단점들을 갖는다.

주요 단점은 종래의 카메라들이 캡처, 통신, 및 프로세싱될 필요가 있는 상당한 양의 중복적이고 불필요한 데이터를 생성한다는 것이다. 이러한 높은 데이터 부하는 시간 해상도를 감소시킴으로써 반응 시간을 늦춰서 전력 소비를 증가시키고, 머신 비전 시스템들의 크기 및 비용을 증가시킨다. 추가하여, 대부분의 이미지 센서들은 제한된 동적 범위, 열악한 저조도 성능, 및 모션 블러로 인해 어려움을 겪는다.

다른 한편으로, 소위 동적 비전 센서(Dynamic Vision Sensor)(DVS)들은 프레임 기반 인코딩의 제한들을 극복한다. 발명의 명칭이 "Photoarray for Detecting Time-Dependent Image Data"인 Lichtsteiner 등에 의한 미국 특허 출원 공개 번호 제US 2008/0135731호를 참조하고, 이는 이 참조로 본원에 포함된다. 이러한 공간 분해 광학 센서들은 픽셀내 데이터 압축을 사용하여 데이터 중복성을 제거한다. 이들은 또한, 모션 블러가 거의 없이, 높은 시간 해상도, 낮은 레이턴시, 낮은 전력 소비, 및 높은 동적 범위를 달성할 수 있다. 따라서, DVS 타입의 광학 센서는, 특히, 태양열 또는 배터리 구동식 압축 감지, 또는 시스템의 위치가 추정되어야 하고, 제한된 배터리 용량으로 인해 프로세싱 능력이 제한되는 모바일 머신 비전 애플리케이션들에 매우 적합하다.

DVS는 시각적 정보를 국부적으로 사전 프로세싱한다. 선명한 이미지들을 생성하는 대신에, DVS는 컴퓨터 애플리케이션들을 위한 스마트 데이터를 생성한다. 종래의 이미지 센서들이 영화를 일련의 정지 이미지들로서 캡처하는 반면, DVS는 장면 내의 변화들의 위치를 검출하고 그 변화들의 위치만을 송신한다. DVS는 종래의 카메라들보다 훨씬 더 효율적으로 시각적 정보를 인코딩하는데, 그 이유는 DVS가 픽셀내 데이터 압축에 의해 이를 행하기 때문이다. 이는 데이터의 프로세싱이 더 적은 자원들, 더 낮은 순 전력을 사용하여, 그리고 더 빠른 시스템 반응 시간으로 가능하다는 것을 의미한다. 높은 시간 해상도는 시각적 피처들을 지속적으로 추적할 수 있게 하여 대응 문제를 극복할 수 있게 한다. 추가적으로, DVS의 아키텍처는 높은 동적 범위 및 양호한 저조도 성능을 가능하게 한다.

이벤트 기반 비전 센서(Event-based vision sensor)(EVBS)들은 반드시 그런 것은 아니지만 대개 원래의 DVS 아키텍처들의 변형들이다. 일반적으로, EVBS들의 픽셀들은 주기적 샘플링 레이트 없이 적어도 그들의 픽셀들의 부분들에서 비동기적으로 동작하고, 이들이 조정가능 임계치를 초과하는 휘도 변화를 인지하자마자 소위 DVS 어드레스 이벤트를 방출한다. 다른 예들에서, 이들은 이진(또는 삼진) 이미지들을 생성한다. ON 이벤트들은 임계치를 초과하는 휘도의 증가와 연관되고; OFF 이벤트들은 주어진 픽셀에서의 임계치를 초과하는 휘도의 감소와 연관된다.

이벤트 기반 비전 센서들은 프로세싱 효율을 가능하게 하는데, 그 이유는 이들이 장면 내의 변화들에 관한 데이터만을 송신하기 때문이다. 결과로서, 이벤트 기반 비전 센서들은 움직이는 또는 변화되는 물체들을 추적하는 데 특히 우수하다. 그러나, 대개, 장면의 모든 물체들 및 다른 피처들이 관심 대상은 아니고/추가의 프로세싱을 위해 사용되는 것은 아니다. 본 발명은 전체 시스템 성능 및 효율을 개선하기 위해 비관심 장면 피처들의 데이터의 송신을 피하는 것에 관한 것이다.

일 양태에 따르면, 본 발명의 센서는 전체 이벤트 기반 픽셀 어레이보다 더 작은 하나의(또는 여러 개의) 동적 관심 영역(dROI) 내의 어드레스들을 갖는 이벤트들만을 송신한다. dROI의 위치는 전형적으로 (일부 종류의 활동 추적 및/또는 물체 추적 알고리즘을 사용하여) 활동에 따를 것이다. 일반적으로, dROI의 위치는 제어기에 의해 때때로 제어/교정될 수 있다. 이 제어기는 센서와 동일한 칩 상에 위치될 수 있거나, 시스템 온 칩으로 위치될 수 있거나, 시스템 인 패키지로 위치될 수 있거나, 또는 별개의 디바이스/구성요소에 구현될 수 있다. 더욱이, 제어기는 프로세서 상에서 실행되는 소프트웨어 코드로서 구현될 수 있거나 또는 하드웨어로 구현될 수 있다. dROI의 위치는 칼만 필터와 같은 예측 알고리즘에 의해 업데이트될 수 있다. 그리고, dROI의 위치는 매우 빈번하게 업데이트되는 단순한 알고리즘과 덜 빈번하게 실행되는 더 정교한 알고리즘의 조합에 의해 제어될 수 있다. 추가하여, dROI의 크기는 추적될 물체의 위치의 불확실성이 증가됨에 따라 종종 증가될 것이다. 일반적으로, dROI는 임의의 형상 및 해상도를 가질 수 있고, 연속적일 수 있거나 또는 연속적이지 않을 수 있다.

일반적으로, 본 발명은, 변경 이벤트들을 분리하고 비관심 이벤트들로부터의 데이터를 감소시키기 위해, 바람직하게는 동적인 관심 영역들 및/또는 비관심 영역들을 이용하는 이벤트 기반 픽셀 센서 시스템을 특징으로 한다.

일반적으로, 일 양태에 따르면, 본 발명은, 변경 이벤트들을 검출하는 이벤트 기반 픽셀들을 포함하는 이벤트 기반 픽셀 어레이, 및 변경 이벤트들을 분리하기 위해 어레이 내의 하나 이상의 영역을 정의하는 동적 관심 영역 블록을 포함하는 이벤트 기반 픽셀 센서 시스템을 특징으로 한다.

일부 예들에서, 동적 관심 영역 블록은 변경 이벤트들이 프로세싱되는 하나 이상의 관심 영역을 정의하고/하거나 변경 이벤트들이 무시되는 하나 이상의 비관심 영역을 정의한다.

다수의 EBVS의 특성인 바와 같이, 픽셀들 각각은 광을 검출하기 위한 광수용기 및 광수용기의 출력을 기준 전압과 비교하기 위한 비교기를 포함한다. 대개, 픽셀들 각각은 광수용기로부터의 과거 신호를 기억하기 위한 커패시터를 더 포함한다. 동작 시, 픽셀들 각각은 ON 변경 이벤트들 및/또는 OFF 변경 이벤트들을 리졸빙(resolve)한다.

일부 예들에서, 동적 관심 영역 블록은, 하나 이상의 영역에 기초하여, 이벤트 기반 픽셀 어레이로부터 판독된 변경 이벤트들을 필터링한다.

다수의 경우에서, 하나 이상의 영역을 업데이트하기 위해, 동적 관심 영역 블록 및/또는 별개의 프로세싱 유닛에 구현된 하나 이상의 활동 추적기가 사용된다.

바람직하게, 동적 관심 영역 블록은 이벤트 기반 픽셀 어레이와 동일한 칩에 구현된다. 이러한 방식으로, 이벤트들은 센서에서 필터링되고, 이는, 예컨대, 프로세싱 유닛에 의해 수행되어야 하는 프로세싱을 감소시킨다.

일반적으로, 일 양태에 따르면, 본 발명은 이벤트 기반 픽셀 센서 시스템을 위한 방법을 특징으로 한다. 이 방법은 이벤트 기반 픽셀 어레이에서 변경 이벤트들을 검출하는 단계, 및 변경 이벤트들을 분리하기 위해 어레이 내의 하나 이상의 영역을 정의하는 단계를 포함한다.

이제, 구성 및 부분들의 조합들의 다양한 신규 세부사항들을 포함하는 본 발명의 상기된 및 다른 피처들, 및 다른 이점들은 첨부 도면들을 참조하여 더 구체적으로 설명되고 청구항들에서 지적될 것이다. 본 발명을 구현하는 특정 방법 및 디바이스는 본 발명의 제한이 아닌 예시로서 도시된다는 것을 이해할 것이다. 본 발명의 원리들 및 피처들은 본 발명의 범위로부터 벗어나지 않으면서 다양한 및 다수의 실시예에서 이용될 수 있다.

첨부 도면들에서, 참조 부호들은 상이한 도면들 전체에 걸쳐 동일한 부분들을 지칭한다. 도면들은 반드시 실척대로 도시된 것은 아니고; 대신에, 본 발명의 원리들을 예시하는 것에 중점을 둔다.
도 1은 이벤트 기반 광학 센서 시스템을 개략적으로 도시한다: 이벤트 기반 광학 센서는 광 검출 픽셀 어레이로부터 데이터(변경 이벤트들)를 생성하고, 이 데이터를 프로세싱 유닛으로 송신하고, 그 프로세싱 유닛은 데이터를 수신 및 저장하고, 또한, 동일한 데이터에 대해 정교화를 수행하는 동일한 프로세싱 유닛이다. 이 이벤트 기반 광학 센서 시스템은 변경 이벤트들을 분리하기 위해 EBVS의 일부인 동적 관심 영역 블록(DRB)을 이용한다.
도 2는 프로세싱 유닛(PU) 상에 구현된 정교한 활동 추적기와 함께 작동하는 EBVS의 일부인 동적 관심 영역 블록(DRB)을 이용하는 이벤트 기반 광학 센서 시스템을 개략적으로 도시한다.
도 3은, 예컨대, 제PCT/IB2017/058526호 및 미국 공개 번호 제2018/0191972호에 따른, 이벤트 기반 광학 센서를 위한 최신 기술의 픽셀 구현을 도시하는 회로도이다.
도 4a는 동적 관심 영역 블록(DRB)이 활동 추적기(312) 및 dROI 이벤트 필터(310)로 구현되는 센서 시스템을 도시하는 개략도이다. 판독 회로로부터의 출력은 활동 추적기, 및 활동 추적기에 의해 제어되는 dROI 이벤트 필터에 의해 프로세싱된다.
도 4b는 판독 회로로부터의 출력이 활동 추적기에 의해 프로세싱되는 센서 시스템의 다른 실시예를 도시하는 개략도이다. 이 실시예에서, 활동 추적기의 위치 및 크기는 센서의 출력이다.
도 5는 판독 회로로부터의 출력이 활동 추적기, 및 활동 추적기에 의해 제어되는 동적 비관심 영역(dRONI) 이벤트 필터에 의해 프로세싱되는 센서 시스템을 도시하는 개략도이다.
도 6은 이벤트들이 패킷들로 프로세싱될 때 본 발명의 원리들에 따르는 동적 관심 영역을 갖는 EBVS의 기본 동작을 도시하는 흐름도이다.
도 7은 2개의 활동 추적기를 갖는 EBVS의 동작을 도시하는 흐름도이다.
도 8은 이벤트들이 패킷들로 프로세싱될 때 본 발명의 원리들에 따르는 동적 비관심 영역을 갖는 EBVS의 기본 동작을 도시하는 흐름도이다.
도 9는 EBPA가 dROI 이벤트 필터와 상호작용하는 방법 및 단순한 활동 추적 프로세스 및 프로세싱 유닛 상에서 실행되는 정교한 활동 추적 프로세스를 도시하는 시퀀스 스윔레인 도면(sequence swimlane diagram)이다.
도 10a는 단순한 활동 추적 프로세스의 동작을 도시하는 흐름도이다.
도 10b는 단순한 활동 추적 프로세스의 다른 예의 동작을 도시하는 흐름도이다.
도 11은 픽셀들(100) 각각이 연관된 픽셀을 인에이블 및 디스에이블하기 위한 래치(L)를 포함하는 EBVS의 EBPA를 도시하는 개략도이다. 이러한 래치들(L)은 래치 프로그래머(LP)에 의해 프로그래밍된다.
도 12는 dROI 영역의 선형 예측을 위한 프로세스를 도시하는 흐름도이다.
도 13은 판독 회로로부터의 출력이 정교한 활동 추적기, 및 활동 추적기에 의해 제어되는 dROI 이벤트 필터에 의해 프로세싱되는 센서 시스템을 도시하는 개략도이다. 이 실시예에서, 정교한 활동 추적기는 EBVS 상에 구현된다.
도 14는 판독 회로로부터의 출력이 활동 추적기에 의해 제어되는 dROI 이벤트 필터에 의해 프로세싱되는 센서 시스템을 도시하는 개략도이다.
도 15는 어레이가 선택적으로 판독되는 센서 시스템을 도시하는 개략도이다.

이제, 본 발명은 본 발명의 예시적인 실시예들이 도시된 첨부 도면들을 참조하여 이하에서 더 완전히 설명될 것이다. 그러나, 본 발명은 다수의 상이한 형태로 구현될 수 있고, 본원에서 제시되는 실시예들로 제한되는 것으로 해석되지 않아야 하고; 오히려, 이러한 실시예들은, 본 개시내용이 철저하고 완전하게 되고, 관련 기술분야의 통상의 기술자에게 본 발명의 범위를 충분히 전달하도록 제공된다.

본원에서 사용되는 바와 같이, "및/또는"이라는 용어는 연관된 열거된 아이템들 중 하나 이상의 아이템의 임의의 및 모든 조합들을 포함한다. 추가로, 단수 형태들 및 관사들 "a", "an" 및 "the"는, 명시적으로 달리 언급되지 않는 한, 복수 형태들도 포함하는 것으로 의도된다. 본 명세서에서 사용될 때, 구비한다, 포함한다, 구비하는, 및/또는 포함하는이라는 용어들은 명시된 피처들, 정수들, 단계들, 동작들, 요소들, 및/또는 구성요소들의 존재를 지정하지만, 하나 이상의 다른 피처, 정수, 단계, 동작, 요소, 구성요소, 및/또는 이들의 그룹의 존재 또는 추가를 배제하는 것은 아니라는 것을 추가로 이해할 것이다. 추가로, 구성요소 또는 서브시스템을 포함하는 요소가 다른 요소에 "연결" 또는 "커플링"되어 있는 것으로 언급 및/또는 도시될 때, 요소는 다른 요소에 직접적으로 연결 또는 커플링될 수 있거나 또는 개재 요소들이 존재할 수 있다는 것을 이해할 것이다.

"제1" 및 "제2"와 같은 용어들이 다양한 요소들을 설명하기 위해 본원에서 사용되지만, 이러한 요소들은 이러한 용어들에 의해 제한되지 않아야 한다는 것을 이해할 것이다. 이러한 용어들은 하나의 요소를 다른 요소와 구별하기 위해서만 사용된다. 따라서, 아래에서 논의되는 요소는 제2 요소로 지칭될 수 있고, 유사하게, 제2 요소는 본 발명의 교시들로부터 벗어나지 않으면서 제1 요소로 지칭될 수 있다.

달리 정의되지 않는 한, 본원에서 사용되는 모든 용어들(기술적 및 과학적 용어들을 포함함)은 본 발명이 속해 있는 관련 기술분야의 통상의 기술자에 의해 일반적으로 이해되는 의미와 동일한 의미를 갖는다. 일반적으로 사용되는 사전들에서 정의되는 용어들과 같은 용어들은 관련 기술의 정황에서의 이들의 의미와 일치하는 의미를 갖는 것으로 해석되어야 하고, 본원에서 명백히 정의되지 않는 한, 이상적이거나 또는 과도하게 공식적인 의미로 해석되지 않을 것이라는 것을 추가로 이해할 것이다.

정의들

이벤트 기반 픽셀 어레이(Event-Based Pixel Array)(EBPA)는 감광성 디바이스들 및 감광성 디바이스들의 출력 신호를 입력으로서 취하는 픽셀 회로들을 포함하는 픽셀들의 어레이이고; 이러한 픽셀들(감광성 디바이스들과 픽셀 회로들을 조합함)은, 서로 공간적으로 및/또는 시간적으로 독립적으로, 그들에게 충돌하는 광 복사의 함수로서 이산화된 데이터를 생성한다.

이벤트 기반 비전 센서(EBVS)는 EBPA로부터 추출되고/되거나 정교화된 데이터를 출력하는 센서이다.

시스템 레이턴시는 광 변화와 데이터 정교화의 출력 사이의 시간으로서 정의된다. 이벤트들은 패킷들로 그룹화될 것으로 예상된다. 각각의 패킷 내의 이벤트의 수는 임의적이고 제로 또는 1일 수 있다. 패킷은 일부 시간 윈도우 내에 속하는 모든 이벤트들을 포함할 수 있다. 구체적으로, 이벤트들이 개별적으로 전송되는 모든 실시예들은 하나의 이벤트의 크기를 갖는 패킷들로서 포함되고 이해될 것이다.

판독 회로(RO): EBPA로부터 이벤트들(또는 이벤트 데이터)을 추출하는 회로.

메모리 제어기(MC): 특정 데이터가 기입되는 메모리의 특정 어드레스를 선택하는 능력을 갖고 데이터를 메모리에 기입하는 회로.

픽셀 어드레스(k): 픽셀 어레이 내의 픽셀의 위치를 나타내는 수 또는 수들의 리스트.

메모리 어드레스(m): 메모리 내의 위치를 나타내고, 데이터를 판독 또는 기입하기 위해 메모리의 그 위치에 액세스하는 데 사용될 수 있는 수 또는 수들의 리스트.

도 1은 본 발명에 따른 이벤트 기반 비전 센서(EBVS)를 도시한다.

센서(EBVS)는 이벤트 기반 픽셀 어레이(EBPA) 및 판독 회로(RO)를 갖고, 판독 회로(RO)는 어레이(EBPA)에 의해 생성된 이벤트들을 판독하고, 이들을 이벤트 데이터 스트림의 형태로 프로세싱 유닛(PU)으로 출력한다.

이벤트 기반 픽셀 어레이(EBPA)는 (PCT/IB2017/058526(국제 공개 번호 제WO 2018/122798 A1호로서 공개됨) 또는 미국 특허 번호 제7,728,269 B2호 또는 미국 공개 번호 제2018/0191972호(이들은 그 전체가 이 참조로 본원에 포함됨)에서 제안된 바와 같은) 이벤트 기반 변화 검출 센서들 또는 픽셀들(100)의 2차원 어레이를 포함한다. 이벤트 기반 픽셀 어레이(EBPA)는, 예컨대, 광 변화를 검출한 픽셀들(100)의 어드레스들의 형태로 이벤트 데이터를 생성한다. 이러한 어드레스들 각각은, 대개 x-y 좌표들을 나타내는 2개의 수의 형태로, 어레이 내의 픽셀의 위치를 인코딩한다. 데이터의 다른 가능한 출력 포맷은 이진(또는 삼진) 이미지이고, 여기서, 이벤트를 갖는 픽셀들은 논리 1로 마킹되는 한편, 이벤트를 검출하지 않은 픽셀들은 논리 0으로 마킹된다. 또는 ON 이벤트와 OFF 이벤트를 구별하는 것이 요구되는 경우, ON 이벤트를 갖는 픽셀은 1로 마킹될 수 있고, OFF 이벤트를 갖는 픽셀은 -1로 마킹된다.

본 문서 전체에 걸쳐, EBVS의 출력 데이터는 어드레스들의 형태로 인코딩되는 것으로 가정한다. 그럼에도 불구하고, 기본 원리들은 다른 포맷들과 함께 이진 또는 삼진 이미지들을 생성하는 시스템들에 동일하게 적용가능하다.

프로세싱 유닛(PU)은 다수의 상이한 형태를 취할 수 있다: 프로세싱 유닛(PU)은 대개 애플리케이션 프로세서, 임베디드 제어기, 이를테면 마이크로제어기, 또는 주문형 집적 회로(ASIC)일 것이다. 다른 예들에서, 프로세싱 유닛(PU)은 이 데이터를 메모리에 저장하고 있는 외부 디바이스, 이를테면, 중앙 프로세싱 유닛(CPU), 별개의 마이크로제어기, 별개의 디지털 신호 프로세서(DSP)이다. 프로세싱 유닛(PU)은 EBVS에 직접적으로 연결되고 동일한 인쇄 회로 보드 상에 위치될 수 있거나, 또는 PU는, 몇몇 예들을 열거하자면, USB 또는 이더넷(IEEE 802.3 프로토콜 인터페이스)과 같은 일부 유선 인터페이스 또는 WiFi(IEEE 802.11 프로토콜 인터페이스)와 같은 무선 인터페이스를 통해 연결될 수 있다. 하나의 특정 예에서, 프로세싱 유닛은 모바일 컴퓨팅 디바이스(이를테면, 스마트폰 또는 태블릿 컴퓨팅 디바이스), 로봇, 또는 자율 드론 또는 차량의 중앙 프로세싱 유닛 또는 이미지 또는 그래픽 코프로세싱 유닛이다.

프로세싱 유닛(PU)은 이벤트 데이터를 메모리에 저장할 수 있고, 이어서, 메모리는 전형적으로는 처음에 데이터를 수신한 동일한 프로세싱 유닛(PU)에 의해 데이터 정교화(예컨대, 얼굴 추적, 동시 로컬화 및 맵핑, 또는 랜드마크 추적일 수 있음)를 수행하기 위해 액세스된다. 대개, 센서로부터 수신된 이벤트 데이터는 그 이벤트 데이터를 메모리 또는 후속 정교화 단계들과 호환가능한 포맷으로 변환하기 위해, 메모리에 저장되기 전에, 프로세싱 유닛에 의해 정교화되어야만 한다.

본 발명에 따르면, 이벤트 기반 비전 센서(EBVS)는 동적 관심 영역 프로세싱 블록(dynamic region of interest processing block)(DRB)을 포함하고, 동적 관심 영역 프로세싱 블록(DRB)은 이벤트 기반 픽셀 어레이(EBPA)의 출력을 필터링하고/하거나 EBPA를 제어하고/하거나 판독(RO)을 제어하여, 프로세싱 유닛(PU)으로 송신되어야 하는 데이터의 양을 감소시킨다. DRB는 관심 영역 외부에 있는 이벤트들을 필터링하도록 구성되고, 여기서, 이 관심 영역은 EBPA에서 검출되는 활동에 따른다.

본 발명의 다수의 실시예에 따르면, 동적 관심 영역 프로세싱 블록(DRB)은 DRB와 EBVS가 동일한 칩 및 공통 칩 패키지에 있다는 점에서 이벤트 기반 비전 센서(EBVS)의 일부이다. 이어서, 이러한 칩 패키지는 인쇄 회로 보드 상에 설치된다. 사실, 다수의 예에서, 동적 관심 영역 프로세싱 블록(DRB)은 이벤트 기반 비전 센서(EBVS)의 일부이고, 이벤트 기반 픽셀 어레이(EBPA), 판독 회로(RO), 및 제어기(60)와 동일한 실리콘 다이 상에 제작된다. 이러한 실리콘 다이는 전형적으로, 광이 이벤트 기반 픽셀 어레이(EBPA)에 도달하는 것을 허용하지만 동적 관심 영역 프로세싱 블록(DRB)의 논리 회로들을 보호하는 윈도우형 패키지에 패키징된다. 그럼에도 불구하고, 다른 예들에서, 이벤트 기반 픽셀 어레이(EBPA) 및 동적 관심 영역 프로세싱 블록(DRB)은 별개의 실리콘 다이들에 제작된 후에, 인쇄 회로 보드 상에 탑재되는 동일한 칩들 내에 적층 또는 다른 방식으로 공동 패키징된다.

도 2는 프로세싱 유닛(PU)에 연결된 이벤트 기반 비전 센서(EBVS)를 도시한다. 이전에 설명된 바와 같이, EBVS는 동적 관심 영역 프로세싱 블록(DRB)을 포함하고, 동적 관심 영역 프로세싱 블록(DRB)은 출력을 필터링하고, 따라서 프로세싱 PU로 송신되어야 하는 데이터의 양을 감소시킨다. DRB는 관심 영역 외부에 있는 이벤트들을 필터링하도록 구성되고, 여기서, 이 관심 영역은 EBPA에서 검출되는 활동에 따른다.

이 실시예에서, 정교한 활동 추적기(314)가 프로세싱 유닛(PU) 상에 구현된다. 이 정교한 활동 추적기는 추적 정확도를 개선하기 위해 동적 관심 영역 프로세싱 블록(DRB)을 구성하고 업데이트한다. 전형적으로, 정교한 활동 추적기(314)는 프로세싱 유닛(PU) 상에서 실행되는 프로세싱 스레드이거나, 또는 그의 프로세싱 코어들 중 하나이거나, 또는 정교한 활동 추적기(314)는 프로세싱 유닛의 운영 체제 상에서 실행되는 앱 또는 다른 프로그램의 일부일 수 있다. 이러한 방식으로, 동적 관심 영역 프로세싱 블록(DRB)의 동작은 센서(EBVS)로부터 외부에서 제어된다.

도 3은 위에서 설명된 시스템들에서의 EBVS의 EBPA의 픽셀의 예를 도시한다. 이는 제PCT/IB2017/058526호 및 미국 공개 번호 제2018/0191972호로부터 취해지고, 이는 그 전체가 이 참조로 본원에 포함된다. 그러나, 제안되는 발명의 핵심 개념들은 아래에서 설명되는 특정 픽셀 아키텍처와 같은 사용된 임의의 특정 픽셀 아키텍처에 따르지 않고 집적 회로로서 실현되는 거의 모든 이벤트 기반 비전 센서에 적용될 수 있다.

픽셀 회로(100)의 주요 구성요소들이 아래에서 열거된다.

1. 광수용기 모듈. 도면에 도시된 바와 같이, 픽셀 회로(100)는 충돌 광(9)을 측정하고 광 강도를 전류(Iphoto)로 변환하기 위한 포토다이오드(PD) 또는 다른 포토센서; 광 강도에 따라 광수용기 신호(Vpr)를 생성하기 위한 광수용기 회로(PRC); 및 과거의 광수용기 신호를 기억하기 위한 메모리 커패시터(C1)를 포함한다. 포토센서(PD) 및 광수용기 회로(PRC)는 광수용기 모듈(PR)을 구성한다.

2. 메모리 커패시터(C1): 커패시터의 제1 플레이트가 광수용기 신호(Vpr) 및 그에 따라 포토센서(PD)에 의해 수신된 광에 응답하는 전하를 운반하도록 광수용기 신호(Vpr)를 수신하고, 이벤트 검출기(ED)의 일부이다. 메모리 커패시터(C1)의 제2 플레이트는 A1의 비교기 노드(반전 입력)에 연결된다. 따라서, 비교기 노드의 전압(Vdiff)은 광수용기 신호(Vpr)의 변화들에 따라 변화된다.

3. 비교기(A1): 이는 현재의 광수용기 신호(Vpr)와 과거의 광수용기 신호 사이의 차이를 임계치와 비교하기 위한 수단이고, 이벤트 검출기(ED)의 일부이다. 이 비교기(A1)는 각각의 픽셀에 있을 수 있거나, 또는 픽셀들의 서브세트(예컨대, 열) 사이에서 공유될 수 있다. 바람직한 실시예에서, 비교기는 픽셀과 일체화될 것이고, 각각의 픽셀은 전용 비교기(A1)를 갖는다.

4. 픽셀 메모리: 픽셀 메모리(50)는 제어기(60)로부터의 샘플 신호에 기초하여 비교기 출력을 저장하고, 이벤트 검출기(ED)의 일부이다. 메모리는 샘플링 회로(예컨대, 스위치 및 기생 또는 명시적 커패시터) 또는 디지털 메모리 회로(래치 또는 플립-플롭)일 수 있다. 일 실시예에서, 메모리는 샘플링 회로일 것이고, 각각의 픽셀은 2개의 메모리를 가질 것이다.

5. 조건부 리셋 회로(R1): 리셋을 위한 조건은 기억된 비교기 출력의 상태와 제어기(60)에 의해 인가된 리셋 신호의 조합이고, 이벤트 검출기(ED)의 일부이다.

6. 주변 회로 구성요소들: 비교기(A1) 및 메모리(50)는 픽셀 또는 주변 회로들(픽셀 회로 외부에 있음)에 위치될 수 있다.

주변 회로들은 이벤트 기반 픽셀 어레이(EBPA)에 대한 제어 논리를 나타내는 제어기(60)를 포함한다. 제어기(60)는 임계치 신호들을 비교기(A1)에 인가하고, 제어 신호들을 메모리(50)로 전송하고, 조건부 리셋 회로(R1)가 활성 상태가 되는 시간들을 선택한다.

전형적으로, 주변 회로들은 또한 판독 회로를 포함할 것이고, 그 판독 회로는 메모리(50)의 내용을 판독하고, 주어진 픽셀에 대한 광 강도가 증가되었는지, 감소되었는지, 또는 변화되지 않았는지를 결정하고, (현재의 메모리 값으로부터 컴퓨팅된) 출력을 프로세서로 전송한다.

더 구체적으로, 비교기는 광이 증가/감소되었는지를 판별한다. OFF 이벤트의 경우: Vdiff가 (Vb 상의) 임계치(Voff)보다 더 낮은 경우, 비교기 출력은 하이이고, 이 레벨은 메모리에 저장된다. 이는 감소가 검출된 것을 의미한다. Vdiff가 임계치보다 더 낮지 않은 경우, 비교기 출력은 로우이고: 감소가 검출되지 않은 것이다.

유일한 어려움은, ON 이벤트의 경우, 로우 비교기 출력은 증가를 의미하는 한편, 하이 출력은 변화가 없는 것을 의미하지만; OFF 이벤트의 경우, 하이 비교기 출력은 감소를 의미하는 한편, 로우는 변화가 없는 것을 의미한다는 것이다.

그에 따라, 판독은 메모리 내용 및 적용된 임계치를 알아야만 한다.

픽셀 회로(100) 및 제어기(60)는 다음과 같이 동작한다.

포토센서(PD)에 의해 수신된 광 강도의 변화는 광수용기 신호(Vpr)의 변화로 변환될 것이다. 리셋 회로(R1)가 도통되고 있지 않을 때, Vpr의 변화들은 비교기(A1)에 대한 반전 입력(-)에 있는 비교기 노드에서의 전압(Vdiff)에 또한 반영될 것이다. 이는 메모리 커패시터(C1) 양단의 전압이 일정하게 유지되기 때문에 발생한다.

제어기(60)에 의해 선택된 시간들에서, 비교기(A1)는 메모리 커패시터(C1)의 제2 단자에 있는 비교기 노드에서의 전압(Vdiff)을 비교기(A1)의 비반전 입력(+)에 인가된 (제어기로부터의) 임계치 전압(Vb)과 비교한다.

제어기(60)는 비교기 출력(Vcomp)을 저장하도록 픽셀 메모리(50)를 동작시킨다. 메모리(50)는 도시된 바와 같이 픽셀 회로(100)의 일부로서 전형적으로 구현된다. 그러나, 다른 실시예들에서, 메모리(50)는 열 논리 회로(픽셀 어레이의 각각의 열마다 하나씩 있는 주변 회로)의 일부로서 구현된다.

메모리(50)에 유지되는 저장된 비교기 출력의 상태가 광 강도의 변화를 표시하고, 제어기(60)로부터의 글로벌 리셋 신호(GlobalReset 신호)가 활성인 경우, 조건부 리셋 회로(R1)는 도통된다. 여기서, "AND"는 논리 AND 연산자를 표시한다. 조건부 리셋 회로(R1)가 도통 상태에 있으면, 비교기(A1)의 반전 입력에 있는 비교기 노드에서의 전압(Vdiff)은 알려진 레벨로 리셋된다. 따라서, 이는 메모리 커패시터(C1) 상에 현재의 광수용기 신호(Vpr)를 저장한다.

관심 영역들

본 발명의 실시예들은 EBPA 내의 하나 이상의 관심 영역의 생성에 관한 것이다. 이는 시스템이 관심 없는 피처들의 데이터의 송신을 감소시켜서 전체 시스템 성능 및 효율을 개선할 수 있게 한다.

도 4a는 활동 추적기(312) 및 이벤트 필터(310)를 포함하는 동적 관심 영역 블록(DRB)을 구현하는 EBVS의 블록도를 도시한다. 활동 추적기(312)는 EBPA의 출력에서 활동을 추적하고, 활동 추적기에 의해 정의된 영역 내부에서 발생한 이벤트들만을 통과시키는 이벤트 필터(310)를 구성한다.

여기서, 이벤트 필터링은 어레이로부터 이벤트들을 판독한 후에 수행된다. 즉, 모든 이벤트들은 판독 회로(RO)에 의해 이벤트 기반 픽셀 어레이(EBPA)로부터 판독된다. 그러나, dROI 내에 있는 이벤트들만이 추가로 프로세싱되고, EBVS 칩에서 벗어나 프로세싱 유닛(PU)으로 전송된다. 판독을 갖는 픽셀 어레이(EBPA)에 추가하여, 이벤트 기반 비전 센서(EBVS)는 활동 추적기(312) 및 이벤트 필터(310)를 포함하고, 이들은 전형적으로, 비전 센서(EBVS), 동일한 칩, 및 가능하게는 심지어 동일한 실리콘 다이 상에 구현된다. 필터를 갖는 이 실시예는 직사각형 dROI 형상들로 가장 쉽게 구현된다(dROI는 소수의 파라미터들로 파라미터화가능함).

그럼에도 불구하고, 일부 실시예들에서, 정교한 활동 추적기(314)는 요구될 때 및/또는 주기적으로 동적 관심 영역들(dROI)에 대한 업데이트들을 푸시 다운하기 위해 프로세싱 유닛 상에서 실행된다.

도 4b는 판독 회로(RO)로부터의 출력이 활동 추적기(312)에 의해 프로세싱되는 다른 실시예를 도시하는 개략도이다.

여기서, 이벤트 필터링은 어레이로부터 이벤트들을 판독한 후에 수행된다. 판독을 갖는 픽셀 어레이에 추가하여, 시스템은 활동 추적기를 포함한다. 필터링된 이벤트들을 출력하는 대신에, dROI 위치(및 임의로 크기)만이 판독 회로로부터의 이벤트들과 함께 출력된다. 이 예에서, 프로세싱 유닛은 이벤트들과 dROI 위치 및 크기 둘 모두를 수신할 것이다. 그 후, 프로세싱 유닛은 이어서 관심 영역에 기초하여 이벤트들을 제거할 것인데, 이를테면, 하나 이상의 관심 영역 외부에 있는 이벤트들을 제거할 것이다. 이 실시예는 이벤트 기반 비전 센서(EBVS)와 프로세싱 유닛 사이의 통신 대역폭을 다른 실시예들만큼 효율적으로 보존하지 않지만, 실시예는 여전히 관심 영역 파라미터들에 기초한 필터링을 허용함으로써 프로세싱 유닛 상의 이벤트 프로세싱을 보존한다.

도 5는 EBVS의 EBPA를 도시하는 개략도이고, 여기서, 판독 회로(RO)로부터의 출력은 활동 추적기, 및 활동 추적기에 의해 제어되는 동적 "비관심 영역"(dRONI) 이벤트 필터(310-N)에 의해 프로세싱된다. 따라서, 윈도우 내에 있는 이벤트들을 통과시키는 대신에, 필터는 윈도우 내의 이벤트들을 차단한다.

도 6은 이벤트들이 패킷들로 프로세싱될 때 본 발명의 원리들에 따라 동작하는 EBVS의 기본 동작을 도시하는 흐름도이다. 그러나, 이벤트 패키지가 단일 이벤트만을 포함할 수 있다는 것에 유의해야 한다.

단계(210)에서, 이벤트 기반 픽셀 어레이(EBPA)로부터 동적 ROI 블록(DRB)에 의해 다음 이벤트가 판독된다. 단계(212)에서, DRB는 이벤트가 관심 영역에 있는지 여부를 결정한다. 이벤트가 관심 영역에 있는 경우, 단계(214)에서, 이벤트는 출력 및/또는 저장된다. 관심 영역에 있지 않은 이벤트들의 경우, 그러한 이벤트들은 스킵된다. 단계(216)에서 최종 이벤트가 발견될 때까지 이 프로세스에서 모든 이벤트들이 평가된다.

단계(218)에서, 동적 ROI 블록(DRB)은 이벤트 기반 픽셀 어레이 내의 관심 영역의 위치가 프로세싱에 의해 업데이트되어야 하는지 여부를 결정한다. 전형적으로, 활동 추적기(312)는 동적 관심 영역 내의 이벤트들의 위치를 분석한 후에, 이벤트들이 그 영역의 중심에 놓이도록 동적 관심 영역의 위치를 업데이트할 것이다. 일부 경우들에서, 이벤트들이 어레이를 가로지르는 궤적을 나타내는 경우, 활동 추적기(312)는 다음 이벤트들이 나타날 것으로 예상되는 동적 관심 영역을 찾는다.

단계(220)에서, 활동 추적기(312)는 동적 관심 영역 불확실성이 변화되었는지 여부를 결정한다. 불확실성은 어레이 내의 다음 이벤트들의 위치를 예측하는 활동 추적기(312)의 능력과 관련된다. 높은 정도의 불확실성이 있는 경우, 활동 추적기(312)는 전형적으로 동적 관심 영역을 더 크게 만들 것이다. 다른 한편으로, 불확실성이 낮고 활동 추적기(312)가 다음 이벤트들의 위치를 잘 예측할 수 있는 경우, 동적 관심 영역은 더 작게 만들어진다. 이러한 경우들에서, 이어서 단계(222)에서, 동적 관심 영역의 크기가 변화된다. 이어서, 마지막으로, 단계(224)에서, 시스템은 단계(224)에서 새로운 이벤트 패킷이 수신될 때까지 대기한다.

이러한 방식으로, 동적 관심 영역(dROI) 내에 속하는 이벤트들만이 출력으로서 제공된다.

dROI의 위치가 추가적으로 업데이트되는 방법이 또한 도시된다. 추가하여, dROI의 크기가 업데이트된다.

일반적으로, dROI는 관심 있는 물체들 또는 장면의 부분들(예컨대, 제스처 시스템에서의 사용자의 손 또는 다른 움직이는 물체)에 의해 생성된 이벤트들을 식별하기 위해 이용된다. dROI는 전형적으로 이벤트들(예컨대, 단순한 추적기)에 의해 업데이트되고, 여기서, 각각의 이벤트는 dROI의 중심을 그의 방향으로 약간 이동시킨다. dROI의 위치는 일부 실시예들에서는 칼만 필터와 같은 예측 알고리즘에 의해 업데이트될 수 있다. 더욱이, 일부 경우들에서, dROI는 정사각형, 직사각형, 원형, 또는 장방형이다. 즉, 다른 예들에서, dROI는 임의의 형상 및 해상도를 가질 수 있고, 연속적일 수 있거나 또는 연속적이지 않을 수 있다.

도 7은 2개의 활동 추적기를 갖는 EBVS의 동작을 도시하는 흐름도이다.

더 구체적으로, 이전에 설명된 바와 같이, 단계(218)에서, dROI의 위치 및 크기가 업데이트된다.

그러나, 후속 단계(240)에서, 더 정교한 업데이트 알고리즘이 트리거되어야 하는지 여부가 결정된다. 더 정교한 알고리즘이 트리거될 시간들은 타임아웃이 발생했을 때, dROI 크기가 임계치 아래로 또는 위로 증가되었을 때를 포함한다.

이어서, 단계(242)에서, dROI의 위치 및 크기를 업데이트하기 위해 더 정교한 알고리즘이 실행된다. 그러한 더 정교한 알고리즘의 예들은, 예컨대, 칼만 필터 또는 키포인트 추적기를 포함한다.

도 8은, 이벤트들이 패킷들로 프로세싱되고 동적 비관심 영역(dRONI) 외부에 속하는 이벤트들만이 EBVS로부터 출력될 때, 본 발명의 원리들에 따라 동작하는 EBVS의 기본 동작을 도시하는 흐름도이다.

동적 "비관심 영역"(dRONI)은 관심 없는 물체들 또는 장면의 부분들(예컨대, 무시되어야 하는 물체들 또는 깜박거리는 광들)에 의해 생성된 이벤트들을 차단하기 위해 이용된다. 구체적으로, 활동 추적기는, 단계(212-N)에서, 이벤트들이 dRONI 외부에 있는지 여부를 결정하고, 그에 따라, 단계(214)에서, 이러한 외부 이벤트들만이 출력된다. dRONI의 위치는 이벤트들(예컨대, 단순한 추적기)에 의해 업데이트될 수 있고, 여기서, 각각의 비관심 이벤트는 dRONI의 중심을 그의 방향으로 약간 이동시킨다. dRONI의 위치는, 단계(222-N)에서, 비관심 이벤트들과 연관된 EBPA의 영역들을 추적하는 데 사용되는 칼만 필터와 같은 예측 알고리즘에 의해 업데이트될 수 있다. 유사하게, 일부 경우들에서, dRONI는 정사각형, 직사각형, 원형, 또는 장방형이다. 즉, 다른 예들에서, dROI는 임의의 형상 및 해상도를 가질 수 있고, 연속적일 수 있거나 또는 연속적이지 않을 수 있다.

정교한 활동 추적기

추가하여, 시스템은 단순한 활동 추적 알고리즘과 정교한 활동 추적 알고리즘의 조합을 사용할 수 있다. 단순한 활동 추적기는 빈번하게 업데이트되고, 정교한 활동 추적기는 계산 부하를 절약하기 위해 덜 빈번하게 업데이트된다. 전형적으로, 단순한 활동 추적기는 이벤트 기반 비전 센서(EBVS) 상에 구현되는 반면, 정교한 활동 추적기는 도 2에 도시된 바와 같이 프로세싱 유닛(PU)에 의해 구현된다.

그럼에도 불구하고, 정교한 활동 추적기는 EBVS 내에 통합될 수 있고, 그에 따라, EBPA와 동일한 칩 상에 통합되거나 또는 센서 칩에 포함된 프로세서에 통합될 수 있다.

더 정교한 활동 추적 알고리즘은 정기적인 시간 간격들 또는 어떤 다른 기준들로 트리거될 수 있다(예컨대, 칼만 필터의 불확실성은 일부 임계치보다 더 큼).

도 9는 EBPA가 dROI 이벤트 필터와 상호작용하는 방법 및 동적 ROI 프로세싱 블록(DRB)의 단순한 활동 추적 프로세스 및 프로세싱 유닛 상에서 실행되는 정교한 활동 추적 프로세스를 도시하는 시퀀스도이다.

구체적으로, 이벤트 기반 픽셀 어레이(EBPA)는 판독 회로(RO)와 함께 새로운 이벤트 패킷(250)을 생성한다. 동적 관심 영역 이벤트 필터(310)는 동적 관심 영역 내에 있는 출력 이벤트들(252)을 생성한다. 이러한 이벤트들은 단순한 활동 추적기(312)로 전달된다. 전형적으로, 이 추적기는, 불확실성이 너무 크거나 또는 타임아웃 기간이 경과되지 않는 한, dROI의 업데이트된 위치 및 크기를 생성한다(254). 이 경우, 이어서 출력 이벤트들은 동적 관심 영역의 영역과 크기 둘 모두를 업데이트하는 정교한 활동 추적기(314)로 전달된다(256).

출력 이벤트들이 정교한 활동 추적기(314)로 전달될 때, 대개, 현재의 이벤트들 모두가 전달된다. 따라서, 예컨대, 도 4a의 실시예에서, 이벤트 필터(310)는 일시적으로 비활성화되고, 그에 따라, 이벤트 기반 픽셀 어레이로부터의 모든 이벤트들이 프로세싱 유닛으로 포워딩되고, 그에 따라, 프로세싱 유닛 상에서 실행되는 정교한 활동 추적기가 모든 최근의 이벤트들을 알게 될 것이고, 그에 따라, 이는 동적 관심 영역의 영역과 크기 둘 모두의 업데이트들(256)을 이벤트 기반 비전 센서(EBVS)의 활동 추적기(312)로 다시 강제한다.

도 9에서, 활동 추적기(312)는 필터링된 이벤트들(252)(ROI 내의 이벤트들)만을 수신한다. 대안적으로, 활동 추적기(312)는 또한 모든 이벤트들을 갖는 이벤트 패킷(250)을 수신할 수 있다.

도 10a는 단순한 활동 추적 프로세스의 동작을 도시하는 흐름도이다. 이 흐름도의 프로세스는 먼저, 단계들(260 및 262)에서, 인입 이벤트(258)가 dROI 내에 속하는지를 체크한다. 그렇지 않은 경우, 이벤트는 무시된다. 예인 경우, 단계(264)에서, 중간 추적기 알고리즘에 따라 dROI 위치가 업데이트된다.

도 10b는 단순한 활동 추적 프로세스의 다른 예의 동작을 도시하는 흐름도이다. 이벤트들은 패킷들로 프로세싱된다. 각각의 이벤트에 대해, 먼저, 단계들(260 및 262)에서, 각각의 이벤트가 dROI 내에 속하는지가 체크된다. 그렇지 않은 경우, 이벤트는 무시되고, 단계들(266 및 258)을 통해 다음 패킷이 프로세싱된다. 예인 경우, 단계(264)에서, 중간 추적기 알고리즘에 따라 dROI 위치가 업데이트된다. 패킷으로부터의 모든 이벤트들이 프로세싱된 후에, 단계(268)에서, 추적 윈도우 크기가 증가된다. 단계(270)에서 미리 정의된 수의 이벤트 패킷이 카운터로 추적되고, 카운터에 기초하여 판정 단계(272)가 수행된 후에, 단계(274)에서, 더 정교한 추적 알고리즘이 트리거되고, 추적 윈도우 크기가 미리 정의된 크기로 리셋되고, 패킷 카운터가 제로로 설정된다.

도 11은 EBVS의 EBPA를 도시하는 개략도이다. 동적 ROI 프로세싱 블록(DBR)의 이벤트 필터(310)는 연관된 픽셀을 인에이블 및 디스에이블하기 위한 래치(L)를 포함하는 픽셀들(100) 각각에 의해 구현된다. 이러한 래치들(L)은 활동 추적기(312)의 제어 하에서 이벤트 필터의 래치 프로그래머(LP)에 의해 프로그래밍된다.

전략은 각각의 픽셀(100)에 래치(L)를 추가하는 것이다. 래치(L)는 "디스에이블된" 픽셀들이 이벤트들을 통신하는 것을 방지하기 위해 사용되는 인에이블/디스에이블 비트를 유지한다. 이러한 방식으로, dROI 필터(310)는 EBPA의 하드웨어 내에 통합된다. 일부 예들에서, 픽셀들(100) 내의 래치들(L)은 프로세싱 유닛(PU)에 의해 제어/구성/업데이트되는 활동 추적기에 의해 제어된다. 이러한 방식으로, 래치 프로그래머(LP)는 dROI 위치/크기를 업데이트하기 위한 예측 알고리즘을 구현한다.

이 구성의 이점은 래치들 및 그들의 제어로 인해 픽셀 크기가 약간 증가되는 단점에 있지만 어레이로부터 비관심 이벤트들을 판독하는 전력 소비를 피할 수 있다는 것이다.

이 실시예에서, dROI 필터는 인에이블/디스에이블될 수 있다(스위칭은 초기화 또는 새로운 ROI들의 발견에 유용할 수 있음). 더욱이, 래치 프로그래머(LP)는 임의로 복잡할 수 있다. 예컨대, 이는 업데이트들 사이에서 최적의 ROI들을 갖기 위해 ROI가 어떻게 이동하는지를 예측하는 단순한 선형 외삽 또는 칼만 필터를 구현할 수 있다. 이 경우, 윈도우 폭이 또한 불확실성의 증가를 나타내도록 자동으로 업데이트될 수 있다.

실시예 1 dROI 위치 예측 예:

단순한 선형 dROI 예측(예컨대, 래치 프로그래머에서 구현됨):

도 12는 선형 예측을 위한 프로세스를 도시하는 흐름도이다. 이 예에서, 단순한 이벤트 추적기(312)는 이벤트 기반 픽셀 어레이에 대해 구현된다. 다른 한편으로, 정교한 이벤트 추적기(314)는 전형적으로 프로세싱 유닛(PU) 상에서 실행된다. 흐름도에서 설명되는 프로세스는 단계들(276, 280, 281)에서 이벤트들의 패킷들을 프로세싱한다. 먼저, 각각의 이벤트에 대해, 이는, 단계(278)에서, 이벤트가 dROI 내에 속하는지를 체크한다. 아니오인 경우, 이벤트는 무시된다. 패킷들 내의 모든 이벤트들을 프로세싱한 후에, 단계(282)에서, 프로세스는 카운터(k)를 참조하여 미리 정의된 시간이 경과되었는지를 체크한다. 예인 경우, 단계(284)에서, 정교한 추적 알고리즘이 트리거되고, 단계(286)에서, 카운터(k)가 리셋된다. 아니오인 경우, 단계(290)에서, 선형 예측 알고리즘이 실행되고, 단계(292)에서, 카운터(k)가 증분된다. 선형 예측 알고리즘은 더 정교한 추적 알고리즘에 의해 정의된 방향으로 추적 윈도우를 선형적으로 이동시킨다.

도 13은 EBVS의 EBPA를 도시하는 개략도이고, 여기서, 판독 회로로부터의 출력은 활동 추적기, 및 활동 추적기(314)에 의해 제어되는 dROI 이벤트 필터(310)에 의해 프로세싱된다. 본 실시예에서, 정교한 활동 추적기는 EBVS 상에 직접적으로 구현된다.

도 14는 EBVS의 EBPA를 도시하는 개략도이고, 여기서, 판독 회로(RO)로부터의 출력은 하나 이상의 활동 추적기(312, 314)에 의해 제어되는 dROI 이벤트 필터(310)에 의해 프로세싱된다.

이 실시예는 메모리(MEM)에 저장된 명시적 이벤트 필터 기능에서의 판독 후의 필터링을 이용한다. 따라서, 이는 임의의 형상의 dROI의 구현을 허용한다. 활동 추적기/dROI 관리는 센서의 일부일 수 있거나 또는 별개의 프로세서에서 구현될 수 있다. 메모리(MEM)는 바람직하게는 이벤트 기반 비전 센서(EBVS)의 이벤트 기반 픽셀 어레이(EBPA)와 동일한 칩 및 가능하게는 심지어 동일한 다이 상에 구현된다.

메모리(MEM)의 2개의 상세한 구현이 존재한다. 하나의 상세한 구현에서, 메모리 내의 각각의 비트는 픽셀 어레이의 하나의 픽셀을 인에이블/디스에이블한다. 다른 하나의 상세한 구현에서, 메모리는 dROI의 일부인 픽셀들의 픽셀 어드레스들을 포함한다.

도 15는 EBVS의 EBPA를 도시하는 개략도이고, 여기서, 이벤트 필터(310)를 구현하기 위해 EBPA의 픽셀들이 선택적으로 판독된다.

이 실시예는 판독에서 필터링을 이용한다. 일 예에서, 이벤트 필터(310)는 필터 기능 또는 형상을 저장하는 메모리(MEM)로부터 유래하는 인에이블 신호들과 픽셀로부터 유래하는 요청을 그것들이 판독 회로(RO) 내에 진입하기 전에 AND 연산함으로써 구현된다. 메모리 크기는 픽셀 어레이의 크기와 동일하다(비트 수 == 픽셀 수). 이 예는 또한 임의의 형상의 dROI를 허용한다. 추가로, 메모리는 픽셀 어레이와 동일한 다이/디바이스 상에 구현될 수 있다. 프로세서가 또한, 픽셀 어레이와 동일한 다이/디바이스 상에 구현될 수 있다.

관련 예에서, 메모리는 어레이보다 더 작다. 필터 메모리는 픽셀 어레이보다 더 작다(예컨대, 비트 수 == (픽셀 수)/4). 이어서, 각각의 비트는 다수의 픽셀에 대한 판독을 인에이블/디스에이블한다.

본 발명이 본 발명의 바람직한 실시예들을 참조하여 구체적으로 도시 및 설명되었지만, 관련 기술분야의 통상의 기술자는 첨부 청구항들에 의해 포함되는 본 발명의 범위로부터 벗어나지 않으면서 그 실시예들에서 형태 및 세부사항들의 다양한 변화들이 이루어질 수 있다는 것을 이해할 것이다.

Claims (16)

1. 이벤트 기반 픽셀 센서 시스템으로서,
   변경 이벤트들을 검출하는 이벤트 기반 픽셀들을 포함하는 이벤트 기반 픽셀 어레이; 및
   변경 이벤트들을 분리하기 위해 상기 어레이 내의 하나 이상의 영역을 정의하는 동적 관심 영역 블록
   을 포함하는, 시스템.
2. 제1항에 있어서,
   상기 동적 관심 영역 블록은 변경 이벤트들이 프로세싱되는 하나 이상의 관심 영역을 정의하는, 시스템.
3. 제1항 또는 제2항에 있어서,
   상기 동적 관심 영역 블록은 변경 이벤트들이 무시되는 하나 이상의 비관심 영역을 정의하는, 시스템.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 픽셀들 각각은,
   광을 검출하기 위한 광수용기; 및
   상기 광수용기의 출력을 기준 전압과 비교하기 위한 비교기
   를 포함하는, 시스템.
5. 제4항에 있어서,
   상기 픽셀들 각각은 상기 광수용기로부터의 과거 신호를 기억하기 위한 커패시터를 더 포함하는, 시스템.
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   상기 픽셀들 각각은 ON 변경 이벤트들 및 OFF 변경 이벤트들을 리졸빙(resolve)하는, 시스템.
7. 제1항 내지 제6항 중 어느 한 항에 있어서,
   상기 동적 관심 영역 블록은, 상기 하나 이상의 영역에 기초하여, 상기 이벤트 기반 픽셀 어레이로부터 판독된 변경 이벤트들을 필터링하는, 시스템.
8. 제1항 내지 제7항 중 어느 한 항에 있어서,
   상기 하나 이상의 영역을 업데이트하기 위해, 상기 동적 관심 영역 블록 및/또는 별개의 프로세싱 유닛에 구현된 하나 이상의 활동 추적기를 더 포함하는, 시스템.
9. 제1항 내지 제8항 중 어느 한 항에 있어서,
   상기 동적 관심 영역 블록은 상기 이벤트 기반 픽셀 어레이와 동일한 칩에 구현되는, 시스템.
10. 이벤트 기반 픽셀 센서 시스템을 위한 방법으로서,
    이벤트 기반 픽셀 어레이에서 변경 이벤트들을 검출하는 단계; 및
    변경 이벤트들을 분리하기 위해 상기 어레이 내의 하나 이상의 영역을 정의하는 단계
    를 포함하는, 방법.
11. 제9항에 있어서,
    변경 이벤트들이 프로세싱되는 하나 이상의 관심 영역을 정의하고/하거나 변경 이벤트들이 무시되는 하나 이상의 비관심 영역을 정의하는 단계를 더 포함하는, 방법.
12. 제10항 또는 제11항에 있어서,
    상기 이벤트 기반 픽셀 어레이의 각각의 픽셀은,
    광을 검출하기 위한 광수용기; 및
    상기 광수용기의 출력을 기준 전압과 비교하기 위한 비교기
    를 포함하는, 방법.
13. 제12항에 있어서,
    상기 픽셀들 각각은 상기 광수용기로부터의 과거 신호를 기억하기 위한 커패시터를 더 포함하는, 방법.
14. 제10항 내지 제13항 중 어느 한 항에 있어서,
    상기 변경 이벤트들은 ON 변경 이벤트들 및 OFF 변경 이벤트들을 포함하는, 방법.
15. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 하나 이상의 영역에 기초하여, 상기 이벤트 기반 픽셀 어레이로부터 판독된 변경 이벤트들을 필터링하는 단계를 더 포함하는, 방법.
16. 제10항 내지 제15항 중 어느 한 항에 있어서,
    상기 하나 이상의 영역을 업데이트하기 위해, 동적 관심 영역 블록 및/또는 별개의 프로세싱 유닛에 하나 이상의 활동 추적기를 구현하는 단계를 더 포함하는, 방법.

Images