KR20160038693A

KR20160038693A - 픽셀 클러스터들을 포함하는 다이나믹 비전 센서, 그것의 동작 방법 및 그것을 포함하는 시스템

Info

Publication number: KR20160038693A
Application number: KR1020150049727A
Authority: KR
Inventors: 이빙 미쉘 왕; 쩡핑 지; 일리아 오브시안니코브
Original assignee: 삼성전자주식회사
Priority date: 2014-09-30
Filing date: 2015-04-08
Publication date: 2016-04-07
Also published as: US20160093273A1

Abstract

비전 센서는 복수의 픽셀 클러스터들(clusters)을 포함하되, 상기 복수의 픽셀 클러스터들의 각각은, 수신된 휘도를 대응하는 전기 신호로 변환하는 NxN 광 수용기들, 상기 NxN 광 수용기들과 연결되고, 상기 NxN 광 수용기들의 각각으로부터 대응하는 전기 신호를 수신하고, 미분기 유닛별 리셋 레벨(reset level)로부터 상기 대응하는 전기 신호의 편차를 나타내는 광 수용기별 차분 신호를 생성하는 클러스터별 미분기 유닛, 상기 클러스터별 미분기 유닛과 연결되고, 상기 NxN 광 수용기들에 의해 공유되고, 상기 NxN 광 수용기들의 각각에 대해, 상기 광 수용기별 차분 신호를 수신하고, 상기 수신된 휘도와 대조적인 변화를 나타내는 대응 픽셀 이벤트(event) 신호를 발생하는 클러스터별 비교기 유닛 및 상기 복수의 픽셀 클러스터들과 연결되고, 상기 클러스터별 비교기 유닛으로부터 상기 픽셀 이벤트 신호를 순차적으로 독출하는 디지털 제어 모듈을 포함한다.

Description

픽셀 클러스터들을 포함하는 다이나믹 비전 센서, 그것의 동작 방법 및 그것을 포함하는 시스템{DYNAMIC VISION SENSOR INCLUDING PIXEL CLUSTERS, OPERATION METHOD THEREOF AND SYSTEM HAVING THE SAME}

본 발명은 비전 센서들(vision sensors)에 관한 것이다. 구체적으로, 본 발명은 실시 예들로서, 픽셀들의 복수의 클러스터들로 구성된 다이나믹 비전 센서(Dynamic Vision Sensor, DVS)를 직접적으로 개시한다. 픽셀들의 각각의 클러스터는 시분할 다중화를 사용하는 복수의 광 수용기들 사이에서 일반적인 미분기 유닛 및 비교기 유닛과 공유한다.

이벤트 구동(Event-Driven) 비전 감지는 프레임이 없는 방식으로 시각적인 현실은 감지하는 새로운 방법이다. 이벤트 구동 비전 센서들은 주어진 “프레임 속도”에서 제공되는 정지된 이미지들의 시퀀스들(sequences)을 제공하는 일반적인 비디오 시스템들과는 상당히 다른 시각 정보를 제공한다. 이벤트 구동 비전 센서에서, 각각의 픽셀은 프레임의 개념 없이 의미 있는 무언가가 발생됨이 감지될 때, 자율적으로 그리고 비동기로 “이벤트” 또는 스파이크(spike)를 전송한다. 이벤트 구동 센서의 특별한 유형은 오직 장면의 동작을 감지하는 이미지 센서인 다이나믹 비전 센서(DVS)이다.

DVS는 각각의 픽셀이 빛 또는 “시간 대비”의 상대적인 변화를 계산하는 픽셀들의 어레이를 포함한다. 각각의 픽셀은 영역 관련 강도가 글로벌(global) 임계값을 초과하는 경우, 어드레스 이벤트(Address Event, AE)(또는, “이벤트”)를 출력한다. DVS에서, 쓸데없이 고정 프레임 속도로 전체 이미지를 전송하는 영역 픽셀 레벨(level) 변화는 발생과 동시에 송신되는 장면의 동작으로부터 야기된다. 이와 같이, DVS의 출력은 장면에서 움직이는 물체들을 대표하는 픽셀의 연속적인 흐름으로 구성된다. 이러한 픽셀 이벤트들은 마이크로세컨드(microsecond) 시간의 해상도에서 제공되거나, 초당 수천 개의 프레임들에서 시행되는 일반적인 고속 비전 센서들보다 동등하거나 더 낫다. 이러한 이벤트들은 이벤트(회선) 프로세서들의 캐스케이드(cascade)로부터 처리될 수 있다. 결론적으로, 프로세서에서 입력 및 출력 이벤트 흐름은 거의 일치하고, 개체들은 DVS가 충분히 의미 있는 이벤트들을 공급하자마자 인식될 수 있다.

DVS에서, 각각의 픽셀은 감지된 빛의 일반적인 시간 도함수를 자체적으로 계산하고, 도함수가 사전에 설정된 임계값 대비 초과할 때, 픽셀의 (x, y) 좌표를 포함하는 출력 이벤트를 공급한다. 또한, DVS는 DVS가 프레임이 없는 이벤트 구동 비동기 낮은 데이터 속도 시각 정보를 공급하기 때문에, “비동기 시간 비전 대비 센서”로 나타내어진다. 특정 통합 시간을 감안할 때, DVS 센서는 장면 반사율 변화들을 즉시 인코딩하여(encode) 픽셀 AE들의 비동기 스트림(stream)을 출력한다. 일반적인 카메라들과 달리, DVS 카메라는 시간 적으로 휘도 차이가 있는 픽셀들에만 응답한다. 결과적으로 DVS 카메라들은 전력, 데이터 저장, 동작 감지의 처리와 관련된 계산 요구를 크게 감소시킬 수 있고, 사후 처리 단계의 효율을 크게 향상시킬 수 있다.

DVS 센서의 동적 범위는 영역 처리에 의한 크기의 순서에 의해 증가될 수 있다. DVS 카메라들은 매우 넓은 조도 변화에 따른 코딩 대조, 빠른 자극의 마이크로세컨드 지연 응답, 및 낮은 출력 데이터 전송률과 같은 고유 특징들을 포함한다. 이러한 카메라는 특별한 조명 조건들 없이 매우 빠른 물체들을 추적할 수 있다. 이와 같이, DVS 카메라들은 교통/공장 감시 분야, 주변 온도 감지, 움직임 분석(동작 감지, 얼굴/머리 검출 및 감지, 자동차 또는 다른 물체 감지, 사용자 감지, 사람 또는 동물 움직임 분석), 빠른 로봇, 및 미세한 동적 관찰(입자 추적 및 유체 역학)과 같은 어플리케이션들(applications)을 찾을 수 있다.

본 발명의 목적은 NxN 픽셀을 공유하는 다이나믹 비전 센서, 그것의 동작 방법 및 그것을 포함하는 시스템을 제공하는 데에 있다.

본 발명의 실시 예에 따른 비전 센서는 복수의 픽셀 클러스터들(clusters)을 포함하되, 상기 복수의 픽셀 클러스터들의 각각은, 수신된 휘도를 대응하는 전기 신호로 변환하는 NxN 광 수용기들, 상기 NxN 광 수용기들과 연결되고, 상기 NxN 광 수용기들의 각각으로부터 대응하는 전기 신호를 수신하고, 미분기 유닛별 리셋 레벨(reset level)로부터 상기 대응하는 전기 신호의 편차를 나타내는 광 수용기별 차분 신호를 생성하는 클러스터별 미분기 유닛, 상기 클러스터별 미분기 유닛과 연결되고, 상기 NxN 광 수용기들에 의해 공유되고, 상기 NxN 광 수용기들의 각각에 대해, 상기 광 수용기별 차분 신호를 수신하고, 상기 수신된 휘도와 대조적인 변화를 나타내는 대응 픽셀 이벤트(event) 신호를 발생하는 클러스터별 비교기 유닛 및 상기 복수의 픽셀 클러스터들과 연결되고, 상기 클러스터별 비교기 유닛으로부터 상기 픽셀 이벤트 신호를 순차적으로 독출하는 디지털 제어 모듈을 포함한다.

실시 예로서, 상기 복수의 픽셀 클러스터들의 각각에 대해, 상기 클러스터별 미분기 유닛 및 상기 클러스터별 비교기 유닛은 시분할 다중화를 사용한 상기 NxN 광 수용기들의 각각에 의해 공유된다.

실시 예로서, 상기 복수의 픽셀 클러스터들의 각각에 대해, 상기 디지털 제어 모듈은 상기 클러스터별 미분기 유닛과 순차적으로 연결하여, 상기 NxN 광 수용기들의 각각으로부터 상기 대응하는 전기 신호를 수신하고, 상기 연결은 선택의 고정된 순서 또는 선택의 의사 난수 순서를 기반으로 수행된다.

실시 예로서, 상기 디지털 제어 모듈은 상기 복수의 픽셀 클러스터의 각각에서 한번에 하나의 픽셀만 선택함으로써, 상기 픽셀 이벤트 신호의 독출 시간 동안, 상기 비전 센서의 모든 픽셀들 중 쿼터(quarter)만을 사용한다.

실시 예로서, 상기 디지털 제어 모듈은 어드레스 이벤트 대표(Address Event Representation, AER) 논리 유닛들을 포함하되, 각각의 어드레스 이벤트 대표(AER) 논리 유닛은 상기 NxN 광 수용기들 중 대응하는 하나와 연결된다.

실시 예로서, 상기 픽셀 이벤트 신호들은 제1 비교기 임계값 이상의 상기 수신된 휘도의 증가를 나타내는 온(ON) 이벤트 신호 및 제2 비교기 임계값 이상의 상기 수신된 휘도의 감소를 나타내는 오프(OFF) 이벤트 신호 중 하나이다.

본 발명의 실시 예로서, 픽셀 클러스터는 수신 휘도를 대응하는 전기 신호로 변환하는 NxN 광 수용기들, 상기 NxN 광 수용기들과 연결되고, 상기 NxN 광 수용기들의 각각으로부터 상기 대응하는 전기 신호를 수신하고, 미분기 단위별 리셋 레벨로부터 상기 대응하는 전기 신호의 편차를 나타내는 광 수용기별 차분 신호를 생성하는 신호 미분기 유닛 및 상기 신호 미분기 유닛과 연결되고, 상기 NxN 광 수용기들에 의해 공유되고, 상기 NxN 광 수용기들의 각각으로부터, 상기 광 수용기별 차분 신호를 수신하고, 상기 수신 휘도의 대조적인 변화를 나타내는 픽셀 이벤트 신호를 생성하는 신호 비교기 유닛을 포함한다.

본 발명의 실시 예에 따른 시스템은 복수의 픽셀 클러스터들을 포함하는 다이나믹 비전 센서(Dynamic Vision Sensor, DVS)를 포함하고, 상기 다이나믹 비전 센서는 복수의 픽셀 클러스터들을 포함하고, 상기 복수의 픽셀 클러스터들의 각각은, 수신 휘도를 대응하는 전기 신호로 변환하는 각각의 광수용기를 포함하는 2x2 광 수용기들, 상기 2x2 광 수용기들과 연결되고, 상기 2x2 광 수용기들의 각각으로부터 상기 대응하는 전기 신호를 수신하고, 미분기 유닛별 리셋 레벨로부터 상기 대응하는 전기 신호의 편차를 나타내는 광 수용기별 차분 신호를 생성하는 클러스터별 미분기 유닛 및 상기 클러스터별 미분기 유닛과 연결되고, 상기 2x2 광 수용기들로부터 공유되고, 상기 광 수용기별 차분 신호를 수신하고, 상기 수신 휘도에 대조적인 변화를 나타내는 픽셀 이벤트 신호를 생성하는 클러스터별 비교기 유닛을 포함하고, 상기 시스템은, 프로그램 명령들을 저장하기 위한 메모리 및 상기 메모리 및 상기 DVS와 연결되고, 상기 프로그램 명령들을 실행하고, 각각의 클러스터별 비교기 유닛으로부터 상기 픽셀 이벤트 신호들을 수신하기 위해 구동되는 프로세서를 더 포함한다.

실시 예로서, 상기 다이나믹 비전 센서는 상기 복수의 픽셀 클러스터들에 연결된 디지털 제어 모듈을 더 포함하고, 상기 디지털 제어 모듈은 상기 클러스터별 비교기 유닛으로부터 상기 픽셀 이벤트 신호들을 독출하고, 상기 프로세서로 상기 픽셀 이벤트 신호들을 전송한다.

본 발명의 실시 예에 따른 다이나믹 비전 센서를 이용하여 장면의 움직임을 감지하는 방법은 시분할 다중화를 사용하여 클러스터별 미분기 유닛 및 클러스터별 비교기 유닛과 공유되는 복수의 2x2 광 수용기들을 포함하는 픽셀 클러스터들을 포함하는 픽셀 어레이를 포함하는 다이나믹 비전 센서(Dynamic Vision Sensor, DVS)를 사용하는 단계, 상기 복수의 픽셀 클러스터들의 각각에 대해, 상기 장면으로부터 수신된 휘도에 대조적인 변화를 가리키는 광 수용기별 픽셀 이벤트 신호를 상기 복수의 2x2 광 수용기들의 각각으로부터 수집하기 위해, 상기 클러스터별 미분기 유닛 및 상기 클러스터별 비교기 유닛을 연속적으로 연결하는 단계, 상기 픽셀 어레이의 상기 픽셀 클러스터들의 각각으로부터 상기 광 수용기별 픽셀 이벤트 신호의 수집하는 것을 기반으로 하고, 상기 픽셀 어레이의 픽셀들의 쿼터(quarter)들 중 하나와 관련된 상기 장면 관련 데이터를 순차적으로 분할하는 단계 및 상기 픽셀 어레이의 상기 픽셀들의 상기 쿼터들 중 다른 하나와 관련된 상기 장면 관련 데이터의 비교를 기반으로 하는 상기 장면 움직임을 감지하는 단계를 포함한다.

본 발명은 NxN 픽셀을 공유되는 다이나믹 비전 센서는 픽셀의 피치(pitch)를 줄임으로써, 증가된 공간 해상도를 제공한다.

도 1은 8x8 픽셀 어레이를 포함하는 DVS를 보여주는 사시도이다.
도 2는 도 1에 도시된 픽셀 어레이의 각각의 픽셀의 구조를 보여주는 회로도이다.
도 3은 본 발명의 실시 예에 따른 DVS를 보여주는 블록도이다.
도 4는 본 발명의 실시 예에 따른 도 3의 DVS의 2x2 픽셀 클러스터의 구조적인 배치를 보여주는 사시도이다.
도 5A 및 도 5B는 본 발명의 실시 예에 따른 도3의 픽셀 어레이의 픽셀 스위칭 패턴들(pixel switching patterns)을 보여주는 사시도이다.
도 6A 내지 도 6C는 본 발명의 실시 예에 따른 2x2 픽셀 공유의 출력의 결과를 비교하는 제스처(gesture) 인식 플롯들(plots)을 보여주는 그래프이다.
도 7은 본 발명의 실시 예에 따른 픽셀 출력 스킴(scheme) 및 2x2 픽셀 스킴의 결과에 대한 이벤트 데이터 카운트들(counts)의 모의실험을 보여주는 사시도이다.
도 8은 본 발명의 실시 예에 따른 TDM 기반의 2x2 픽셀을 공유하는 경우 및 픽셀의 저해상도 서브-샘플링(sub-sampling)한 경우의 이벤트의 수를 비교하는 그래프이다.
도 9는 본 발명의 실시 예에 따른 장면에서 모션을 감지하는 방법을 보여주는 순서도이다.
도 10은 데이터의 선형 분류의 소프트 마진(soft margin) 기반의 서포트 벡터 머신(Support Vector Machine, SVM) 모델(model)을 보여주는 예시적인 플롯(plot)이다.
도 11A-11D는 본 발명의 실시 예에 따른 DVS 해상도 스킴의 세 가지 유형들을 위한 데이터 분리에 대한 절충 매개 변수 C의 상이한 값의 효과를 보여주는 시뮬레이션(simulation) 플롯이다.
도 12는 본 발명의 실시 예에 따른 도 3의 DVS를 포함하는 예시적인 시스템 또는 장치를 보여준다.

다음의 상세한 설명에서, 복수의 특정 세부 사항들은 발명의 완전한 이해를 돕기 위해 제공된다. 그러나, 개시된 발명의 양상들이 이러한 특정 세부 사항 없이도 실시될 수 있음을 당업자는 이해할 것이다. 다른 경우에 있어서, 본 발명을 모호하게 하지 않도록 잘 알려진 방법, 절차 구성 요소 및 회로는 상세하게 설명되지 않았다. 추가적으로, 비록 본 발명이 8x8 픽셀 어레이(pixel array)를 갖는 DVS의 문맥에서 설명되지만, 설명된 본 발명의 양태는 다른 크기의 DVS들로 구현될 수 있다.

본 명세서에서 “일 실시 예” 또는 “실시 예”로 표기된 참조는 특정한 특징, 구조 또는 본 발명의 적어도 하나의 일 실시 예를 포함하는 실시 예와 관련하여 기술된 특징을 의미한다. 이와 같이, “일 실시 예에서” 또는 “실시 예에서” 또는 “하나의 실시 예에 따라서”(또는 유사한 의미를 갖는 다른 구절들)과 같은 구절들은 모드 동일한 실시 예를 참조하여 본 명세서의 전반에 걸쳐 사용된다. 더 나아가, 특정한 특징들, 구조들 또는 성질들은 하나 이상의 적절한 방법으로 결합될 수 있다. 또

한, 본원에서 논의된 문맥에 따라, 단수 용어는 복수 형태를 포함할 수 있으며, 복수 용어는 단수 형태를 포함할 수 있다. 유사하게, 하이픈으로 연결된(hyphenated) 용어(예를 들어”사전에-결정된” 또는 “클러스터-별”)는 하이픈 되지 않은 형태(예를 들어, “사전에 결정된” 또는 “클러스터별”)로 통합되어 사용될 수 있다. 그리고, 대문자로 표기된 용어(예를 들어, “시분할 다중화(Time Division Multiplexing)” 또는 “다이나믹 비전 센서(Dynamic Vision Sensor)”) 는 대문자를 사용하지 않은 버전(version)(예를 들어, 시분할 다중화(time division multiplexing)” 또는 “다이나믹 비전 센서(dynamic vision sensor)”로 상호 교환하여 사용될 수 있다. 이러한 교환 가능한 사용들은 서로 불일치로 간주되지 않는다. “연결된”, “ 전기적으로 연결된” “연결” “작동 가능하게 연결된”과 같은 용어들로 시작하는 표기는 일반적으로 작동 방법에서 전기/전자적으로 연결된 상태를 나타내기 위해 상호 교환적으로 사용된다.

유사하게, 제1 개체(entity)가 정소 신호들(주소, 데이터 또는 제어 정보의 포함여부)을 유형(아날로그 또는 디지털)에 상관없이 제2 개체로/로부터 전기적으로 전송 및/또는 수신할 때, 제1 개체는 제2 개체와 “연결”되었다고 간주된다. 또한, 본 명세서에서 도시되고 설명되는 다양한 도면들(성분 다이어그램들(diagrams)을 포함하는)은 예시적인 목적이며, 일정한 비율로 확대/축소하여 그려지지 않는다.

본 명세서에 사용된 “제1”, “제2”와 같은 용어들은 선행 명사의 라벨들(labels)로써 사용된다. 그리고, 용어들은 명시적으로 정의하지 않은 순서(예를 들어, 공간적, 시간적, 논리적 등) 중 임의의 유형을 의미하지 않는다.

일반적인 비전 또는 이미지(image) 센서들은 일반적인 비디오 및 컴퓨터 비전 시스템들(video and computer vision systems)에서 일련의 정지 프레임들(frames)을 수집한다. 각각의 “프레임”은 픽셀 어레이의 미리 정의된 사이즈와 관련 있고, 일반적으로, 이미지 센서의 모든 픽셀들은 감지된 휘도에 노출된다. 이해를 돕기 위해, “픽셀”은 이미지 센서의 기본 유닛이고, 이미지 센서의 가장 작은 제어 가능한 요소로써 간주될 수 있다.

일반적인 이미지 센서들에서, 연속적인 프레임들은 수 많은 중복된 정보들을 포함하고, 메모리 공간, 에너지, 계산 능력 및 시간을 낭비한다. 게다가, 프레임 기반 감지 접근에서, 각각의 프레임은 프레임의 모든 픽셀에 대해 동일한 노출 시간을 부과하고, 그렇게 함으로써, 매우 어둡고 매우 밝은 영역을 포함하는 장면들을 처리하는데 어려움이 있다.

도 1은 8x8 픽셀 어레이(15)를 포함하는 DVS(12)를 보여주는 사시도이다. 픽셀 어레이(15)는 64 개의 픽셀들 또는 픽셀 영역들을 포함한다. 픽셀 어레이(15)의 각각의 픽셀의 일반적으로 동일한 구조 때문에, 픽셀 어레이(15)의 각각의 픽셀 또는 픽셀 영역은 설명의 편의를 위해, 동일한 참조 부호(18)를 이용하여 식별된다.

도 2는 도 1에 도시된 픽셀 어레이(15)의 각각의 픽셀(18)의 구조를 보여주는 회로도이다. 도 2를 참조하면, 각각의 픽셀 또는 픽셀 영역(18)은 광 수용기(20), 미분기 유닛(21), 및 비교기 유닛(22)들을 포함할 수 있다.

픽셀(18)은 잘 매치된 자체 타이밍(self-timed) 스위치드 커패시터(switched-capacitor) 미분 증폭기 유닛(21)에 뒤이어 활성 연속 시간 로그 광 수용기(20)를 사용한다. 시간 대비 계산을 위하여, DVS(12)의 각각의 픽셀(18)은 변화에 대한 광 전류를 순차적으로 감시한다. 입사 광에 의한 휘도(24)는 포토다이오드(photodiode)(26)로부터 수신되고, 대응하는 광 전류(Iph)를 차례로 생성한다. 모든 광전류(∑Iph)는 광 수용기 출력 전압(Vph)으로 인버터(inverter)(28)에 의해 대수적으로 암호화된 샘플링(sampling) 주기(logIph) 동안 생성된다.

소스 팔로워 버퍼(source follower buffer)(30)는 광 수용기(20)를 다음 스테이지(stage)(21)로부터 격리시킨다. 이와 같이, 광 수용기(20)는 수신 휘도/광 신호를 대응하는 전기 전압(Vph)으로 변환하기 위한 변환기로써 작용한다. 자체 타이밍 스위치드 커패시터 미분기 유닛(21)은 미분기 유닛별 지난 리셋 레벨(level)로부터 광전류의 로그 강도(logIph)의 편차를 증폭한다.

커패시터들(C1, C2)(각각 참조 부호 32 및 34로 식별된다.)의 매칭(matching)은 로그 강도의 변화를 증폭하기 위해 정확하게 정의된 이득을 미분기 유닛(21)에 제공한다. 반전 증폭기(36)로부터 출력되는 차분 전압(Vdiff)은 Vdiff = A.d(logIph)로부터 주어질 수 있다. 여기서, A는 미분기 유닛(21)의 증폭 이득을 나타낸다. 그리고, d(logIph)는 로그 강도의 편차이다.

비교기 유닛(22)은 양자화 및 비교를 통해 로그 강도의 양 및 음의 변화를 검출한다. 비교기 유닛(22)은 두 개의 비교기들(38, 40)을 포함하고, 각각의 비교기는 비교를 위해 두 개의 임계값들 중 하나를 제공한다. 두 비교기 임계치들이 교차 되자마자, 어드레스 이벤트(Address Event, AE)(또는, 간단하게 이벤트) 픽셀별 어드레스 이벤트 대표(Address Event Representation, AER) 로직 유닛(42)과 통신되고, 다음 샘플링 간격까지 새로운 휘도 레벨을 저장하기 위해, 미분기 유닛(21)은 리셋(스위치(43)로 도시된)된다. 이와 같이, 픽셀(18)은 데이터 중심의 아날로그 디지털(Analog to Digital, AD) 변환을 수행한다.

입사 광(24)의 강도의 증가는 "ON 이벤트"를 유도한다. 반면에 입사 광(24)의 강도의 감소는 "OFF 이벤트"를 유도한다. 도 2를 참조하면, 제1 비교기(38)는 비교기별 가변 임계값을 초과하는 수신 휘도의 증가할 때 "ON 이벤트" 신호(44)에 응답한다. 유사하게, 제2 비교기(40)는 비교기별 가변 임계값을 초과하는 수신 휘도가 감소할 때 "OFF 이벤트"신호(45)에 응답한다. ON 및 OFF 이벤트들은 AER을 사용하는 DVS(12)의 디지털 제어 모듈(미 도시)과 비동기적으로 전달된다. 변화를 감지하지 못한 픽셀들이 반응하지 않는 동안, 이벤트들(44, 45)은 즉시 전달되기 때문에, 이러한 접근은 AER 프로토콜(protocol)을 효율적으로 사용한다.

DVS(12)의 각각의 픽셀(18)에 대해, 디지털 제어 모듈(미 도시)은 ARE 로직 유닛(42)과 같은 유닛을 포함한다. DVS 이벤트들(44, 45)과 통신하기 위해서, 센서(12)는 디지털 제어 모듈로써 워드 시리얼 버스트 모드(word serial burst mode) AER 회로들을 사용할 수 있다. 만약 차분 전압(Vdiff)이 비교기들(38, 40) 중 하나의 임계값을 초과한다면, 픽셀(18)은 행 방향으로 제1 요청을 할 수 있다. 디지털 제어 모듈의 중재 회로(미 도시)는 모든 행 요청 중에서 선택할 수 있고, 한번에 하나의 행을 인정할 수 있다. 이런 선택된 행에 있어서, 임계값(ON 이벤트 또는 OFF 이벤트에 대해)을 초과하는 모든 픽셀들은 열 방향의 대응하는 요청 신호를 주장할 수 있다. 열 각각에 있는 약간의 비동기 상태 머신은 요청 라인들(lines)의 상태를 래치(latch)할 수 있다.

단순화된 중재 회로는 제일 왼쪽의 열 및 순차적으로 독출되는 요청 열들의 모든 주소들을 선택할 수 있다. 이와 같이, 열 버스트의 모든 이벤트들은 마이크로 해상도에서 동일한 타임스탬프(timestamp)를 받는다. 다른 행들은 움직임 감지 수행하는 샘플링 간격 동안 순차적으로 선택될 수 있다. 주어진 특정 통합 시간에서, 센서(12)의 출력은 감시/감지되는 장면의 반사율의 변화를 즉시 암호화하는 픽셀 어드레스 이벤트들의 비동기 스트림(stream)을 방지한다.

도 2에 도시된 픽셀(18)은 사이즈를 줄이기 힘든 트랜지스터들을 포함한다. 이런 이유로, 일반적인 DVS(12)의 픽셀(18)의 공간 해상도를 증가시키는 것은 어렵다. 이러한 단점은 동작 감지 또는 사용자 인식과 같은 어플리케이션(application)에 대한 일반적인 DVS(12)의 이용에 불리한 영향을 준다.

도 3은 본 발명의 실시 예에 따른 DVS(50)를 보여주는 블록도이다. DVS(50)는 픽셀의 피치(pitch)를 줄임으로써, 증가된 공간 해상도 제공한다. DVS(50)는 디지털 제어 모듈(54)에 연결된 픽셀 어레이(52)를 포함할 수 있다. 도 3에서, 설명의 편의를 위해 8x8 픽셀 어레이(52)가 도시되었다. 하지만, 픽셀 어레이(52)는 디자인에 따라 다른 어떤 크기도 될 수 있다.

픽셀 어레이(52) 내의 각각의 픽셀의 실질적인 동일 구성 때문에, 픽셀 어레이(52)의 각각의 픽셀 또는 픽셀 영역은 동일한 참조 부호 "56"를 이용하여 식별된다. 도 1의 일반적인 DVS(12)의 픽셀 어레이(15)와 대조하여, 픽셀 어레이(52)의 각각의 픽셀 영역(56)은 복수의 픽셀들(NxN 픽셀들의 클러스터(58))로 구성된다. 픽셀 어레이(52)의 픽셀(56)은 단일 픽셀로 구성되지 않는 것으로 간주될 수 있다. 하지만, "픽셀" 및 "서브 픽셀(sub-pixel)"이란 용어들은 픽셀 어레이(52)의 각각의 픽셀 영역(56)의 NxN 픽셀 클러스터의 하나의 픽셀을 기본적으로 참조하기 위해 상호 교환적으로 사용될 수 있다. 일 실시 예로서, N=2일 때, 픽셀 어레이(52)의 각각의 픽셀(56)의 기본적인 2x2 픽셀 클러스터가 도 4에 도시된다. N=2일 때, 8x8 픽셀 어레이(52)에는 총 256개의 개별 픽셀들을 포함할 수 있다.

각각의 NXN 픽셀 클러스터(58)는 블록 클러스터별 공유 미분기 유닛 및 클러스터별 공유 비교기 유닛(60)을 포함할 수 있다. 픽셀 클러스터의 모든 픽셀들은 픽셀 피치를 줄이기 위해, 공통 미분기 및 공통 비교기를 공유한다. 일 실시 예에서, 픽셀 클러스터의 각각의 픽셀은 픽셀 데이터의 연속적인 분할 및 공간 해상도를 향상시키기 위해 시분할 다중화(Time Division Multiplexing, TDM) 기술을 사용하여 미분기 유닛 및 비교기 유닛(60)을 공유할 수 있다.

디지털 제어 모듈(54)은 복수의 클러스터별 AER 로직 유닛들(62)를 포함할 수 있다. 이와 같이, 픽셀별 AER 로직 유닛(도 2의 42) 대신에 클러스터별 AER 로직 유닛(62)은 대응하는 픽셀 클러스터의 모든 픽셀들 사이에서 공유된다. 픽셀이 공유되는 디자인(design) 때문에, 8x8 픽셀 어레이(56)가 차지하는 물리적 크기 또는 칩(chip) 면적은 일반적인 DVS(12)의 8x8 픽셀 어레이(15)와 동일할 수 있다. 그러나, 픽셀 어레이(15)의 하나의 픽셀(18)과 픽셀 영역(15)의 복수의 공유된 픽셀들(58)을 비교하면, 픽셀 피치가 감소됨을 알 수 있다.

도 4는 본 발명의 실시 예에 따른 도 3의 DVS(50)의 2x2 픽셀 클러스터의 구조적인 배치를 보여주는 사시도이다. 도 4의 2x2 픽셀 클러스터는 도 3의 NxN 픽셀 클러스터(58)에서 N=2일 때를 나타낸다. 따라서, 설명의 용이성을 위해, 동일한 참조 부호"56"은 도 4의 2x2 픽셀 클러스터를 설명하기 위해 사용된다. 2x2 픽셀 클러스터(58)는 네 개의 픽셀들 또는 서브 픽셀들(64~67)을 포함한다. 픽셀/서브 픽셀들(64~67)은 픽셀별 광 수용기 유닛들(70~73)을 각각 포함한다. 이와 같이, 2x2 형태의 픽셀 클러스터(58)는 4 개의 광 수용기들(70~73)을 포함한다. 일반적으로, 본 발명의 실시 예에 따른 NxN 픽셀 클러스터(58)는 NxN 광 수용기들을 포함할 수 있다.

설명의 편의를 위해 픽셀들(또는 서브 픽셀들)(64~67)은 정사각형으로 도시되어 있다. 하지만, 픽셀들(64~67)의 실제 물리적 형태는 정사각형, 직사각형, 원, 육각형, 또는 다른 적절한 형태일 수 있다. 더 나아가, 설명의 편의를 위해, 2x2 픽셀 클러스터(58)는 하나의 실시 예로서 사용되었다.

일 실시 예로서, 광 수용기들(70~73) 각각은 도 2의 광 수용기(20)와 유사한 구조의 회로를 포함한다. 이런 이유로, 광 수용기(20)에 의해 설명된 내용은 광 수용기들(70~73)의 설명에서 추가적으로 제공되지 않는다.

도 4를 참조하면, 광 수용기들(70~73) 각각은 클러스터별 미분기 유닛 및 클러스터별 비교기 유닛(도 3의 60)을 공유한다. 일 실시 예로서, 공통 미분기 유닛은 도 2의 미분기 유닛(21)과 유사한 구조의 회로를 포함할 수 있다. 그리고, 공통 비교기 유닛은 도 2의 비교기 유닛(22)과 유사한 구조의 회로를 포함할 수 있다. 그러므로, 공유된 미분기 및 비교기 유닛(60)의 추가적인 설명은 간략화를 위해 생략된다. 복수의 인접한 광 수용기들은 동일한 비교기 및 미분기 유닛들을 TDM 방식으로 공유하기 때문에, DVS(50)의 공간 해상도가 향상된다.

이와 같이, 도 1의 픽셀(18)과 같이 광 수용기(20)에 일대일로 대응하는 전용 미분기 유닛(21) 및 전용 비교기 유닛(22)을 사용하는 대신에, 픽셀 어레이(52)의 공유된 픽셀은 클러스터별 미분기 및 비교기 유닛(60)을 복수의 광 수용기들(90~93)에 다대일로 대응하게 사용한다.

도 4를 참조하면, 픽셀들(64~67) 각각은 픽셀 클러스터(58)에서 다른 픽셀들과 공유된다. 공유된 부분은 클러스터별 미분기 및 비교기 유닛(60)을 포함한다. 이런 이유로, 본 발명의 실시 예에 따라 DVS(50)에서 픽셀 어레이(52)는 효율적인 "공유된 픽셀들"로서 간주된다.

일 실시 예로서, TDM 때문에, 한번에 픽셀 클러스터(58)의 광 수용기들(70~73) 중 하나만이 공유된 미분기 및 비교기 유닛(60)에 연결될 수 있다. 이는 픽셀 어레이(52)의 각각의 픽셀 클러스터에 적용할 수 있다. 이런 이유로, 도 5A 및 도 5B에 좀 더 자세히 설명된 실시 예들처럼, 전체 픽셀 어레이(52)의 쿼터(quarter)만이 동시에 사용할 수 있다.

일 실시 예로서, 디지털 제어 모듈(54)은 픽셀 이벤트(event) 신호들의 독출 시간 동안, 모든 픽셀들 중 쿼터만 사용하기 위해서, 픽셀 어레이(52)의 각각의 픽셀 클러스터(58)로부터 한 번에 하나의 픽셀을 선택할 수 있다. 픽셀 출력들의 선택을 기반으로 하는 TDM을 완료하기 위해, 디지털 제어 모듈(54)은 픽셀 클러스터(58)의 각각의 광 수용기로부터 대응하는 전기 신호를 수신하기 위해 2x2 광 수용기들(70~73)을 하나씩 클러스터별 미분기 및 비교기 유닛(60)과 순차적으로 연결할 수 있다.

특정 실시 예들로서, 연속적인 연결은 선택의 고정된 순서(예시적으로, 도 5A에 도시된 바와 같이) 또는 선택의 의사 랜덤(pseudo random)(예시적으로, 도 5B에 도시된 바와 같이)을 기반으로 할 수 있다. 디지털 제어 모듈(54)은 주기적인 방식으로, 2x2 광 수용기들(70~73)과 클러스터별 미분기 및 비교기 유닛(60)을 연결할 수 있다.

클러스터별 공유된 미분기 및 비교기 유닛(60)의 공통 미분기는 2x2 광 수용기들(70~73) 중 하나와 각각 순차적으로 연결하는 동안 리셋될 수 있다. 특정 실시 예들로서, 디지털 제어 모듈(54)은 (1) 미리 설정된 시간 간격(예시적으로, 1ms 시간 간격) 후에, 주기적으로 또는 (2)클러스터별 공유된 미분기 및 비교기 유닛(60)의 클러스터별 비교기가 디지털 제어 모듈(54)-더 자세하게는, 픽셀 클러스터(58)와 관련된 디지털 제어 모듈(54)의 클러스터별 AER 로직 유닛(52)-로 픽셀 이벤트 신호를 전달할 때와 같은, 두 가지 방법 중 하나에 따라 클러스터별 미분기 및 비교기 유닛(60)을 리셋할 수 있다. 도 4에서, 부호"75"는 공유된 클러스터별 비교기 유닛(60)으로부터 디지털 제어 모듈(54)의 클러스터별 AER 로직 유닛(62)으로의 통신을 나타낸다.

일 실시 예로서, 픽셀 어레이(52)의 모든 클러스터별 비교기들은 주기적으로 전체적으로 리셋될 수 있다. 전체적인 리셋 후, 디지털 제어 모듈(54)은 검출 픽셀들의 또 다른 분기의 클러스터별 비교기들로 전환할 수 있다.

도 3 및 도 4는 픽셀 영역(56)마다 더 작은 픽셀들(픽셀 피치가 감소된)의 특정 실시 예로 하는 픽셀 공유 방법을 보여준다. 더 작은 픽셀들은 높은 공간 해상도를 가질 수 있다. 더 나아가, 클러스터링(clustering) 및 TDM 기반의 픽셀 공유는, 일반적인 픽셀 어레이(15)와 관련된 AER 로직 유닛(42)의 경우로서, 하나의 픽셀(18) 대신에, 2x2 픽셀 클러스터(58)의 네 개의 상이한 픽셀들(64~67)에 접근하기 위한, 디지털 제어 모듈(54)의 AER 로직 유닛(62)에 의해 동일한 행/열 어드레스가 사용되는 점에서, 픽셀 당 AER 대역폭의 감소를 초래할 수 있다. 도 3 및 도 4의 일 실시 예들로서, 각 클러스터별 AER 로직 유닛(62)은 하나의 유닛과 연결한다(즉 전환 방식으로 클러스터별 공유된 미분기 및 비교기 유닛(60)과 공유하는 픽셀들의 전체 수와 무관하게, 대응하는 클러스터별 공유된 미분기 및 비교기 유닛(60)과 연결한다.). 이런 이유로, 픽셀 당 AER 대역폭은 감소된다.

도 5A 및 도 5B는 본 발명의 실시 예에 따른 도 3의 픽셀 어레이의 픽셀 샘플링 패턴들(pixel sampling patterns)을 보여주는 사시도이다. 픽셀 샘플링 패턴들 중 하나는 가능한 픽셀 신호를 수집하는 픽셀 어레이(52)의 픽셀들을 샘플링하는 디지털 제어 모듈(54)에 의해 채택된다. 픽셀은 보고할 이벤트가 없기 때문에, 광 수용기별 픽셀 이벤트 신호(도 4의 출력(75)과 같은)를 출력할 수 없다.

그러나, 도 5A 및 도 5B에 도시된 샘플링 패턴들을 통해, "비 보고" 픽셀의 광 수용기는 광 수용기별 픽셀 이벤트 신호를 수신하기 위해, 디지털 제어 모듈(54)을 사용할 수 있게, 클러스터별 공통 미분기 및 비교기 유닛(60)에 주기적으로 연결될 수 있다.

설명의 편의를 위해, 각 픽셀은 도 5A 및 도 5B에 개별적으로 개시되고 픽셀 어레이(52)의 여덟 개의 2x2 픽셀 클러스터들(총 256 개의 픽셀들) 대신에, 도 5A 및 도 5B에는 네 개의 2x2 픽셀 클러스터들(총 64 개의 픽셀들)을 나타낸다. 그러나, 도 5A 및 도 5B의 픽셀 어레이(52)의 일부분뿐만 아니라, 픽셀 어레이(52)의 모든 픽셀에 샘플링 패턴들이 적용됨을 알 수 있다. 도 4의 픽셀 클러스터(58)과 같은 예시적인 2x2 픽셀 클러스터는 도 5A 및 도 5B에서 부호"78"에 의해 식별된다.

도 5A의 일 실시 예에서, 픽셀 클러스터의 픽셀들은 선택의 고정된 순서를 사용하는 규칙적인 패턴과 함께 공간적으로 스파스(sparse) 샘플링 된다(여기서, 각 픽셀 클러스터의 좌상 픽셀부터 선택의 순서가 시계방향으로 시작된다.). 픽셀 클러스터(78)의 경우, 좌상 픽셀은 부호"79"에 의해 식별된다. 도 5A의 샘플링의 진행은 각각 시간 인스턴스들(instances)(t0, t1(=t0+△t), t2(=t1+△t) 및 t3(=t2+△t))과 관련된 패턴들(81~84)에 의해 식별된다. 도 5A 및 도 5B에서, 샘플링된 픽셀들은 어두운 정사각형들로 나타내어진다. 기타 샘플링 패턴들은 픽셀 어레이(52)의 모든 픽셀들을 적절하게 샘플링하기 위해 고안될 수 있다.

별개의 또는 다른 픽셀은 각각의 샘플링 기간 동안 순차적으로 샘플링되는 것이 도 5A 및 도 5B를 통해 관찰된다. 다시 말해서, 샘플링 위치는 미리 정의된 시간 간격(△t) 후에 변화될 수 있다. 그래서, 빈약한 샘플들(픽셀들의 각각의 분기들로부터 수집된)은 시간 영역에서 보상된다. 앞서 언급한 바와 같이, 시 분할 다중화(TDM) 때문에, 픽셀 어레이(52)의 픽셀들 중 하나의 분기만이 동시에 사용될 수 있다. 이런 이유로, 도 5A 및 도 5B에 예시적으로 도시된 정기 순차적인 샘플링(△t의 시간 간격 후에)은, 빈약한 샘플들이 시간 영역에서 보상되기 위해, 디지털 제어 모듈(54)로부터 수행될 수 있다.

TDM에 의해, 주어진 시간에서 사용하는 픽셀들의 하나의 쿼터 때문에, AER 로직 유닛들(62)의 픽셀 데이터 대역폭은, 예를 들어, 모든 사용 가능한 픽셀들의 샘플링과 비교하여 감소될 수 있다. 더 나아가, 특정 샘플링 기간 동안 기록되는 이벤트들이 더 적을 수 있고, 본 발명의 특정 실시 예에 따른 TDM 기반의 DVS가 채택되었을 때, AER 어드레스들 또한 더 적은 비트들로 할당될 수 있다.

일 실시 예로서, 각각의 샘플링 간격(△t) 후에, 각각의 픽셀 클러스터의 공통 미분기는 2x2 광 수용기들 중 다른 하나에 다음으로 이어지는 연결 동안, 디지털 제어 모듈(54)로부터 리셋될 수 있다. 이와 같이, 모든 픽셀 어레이(52)의 클러스터별 미분기들은 주기적으로 전체적으로 리셋된다. 모든 전체적인 리셋 후에, 디지털 제어 모듈(54)은 감지 픽셀들의 또 다른 분기의 클러스터별 미분기들을 전환할 수 있다.

도 6A 내지 도 6C는 본 발명의 실시 예에 따른 2x2 픽셀 공유의 출력의 결과를 비교하는 제스처(gesture) 인식 플롯들(93~95)을 보여주는 그래프이다. 도 6A 내지 도 6C의 플롯들(93~95) 각각은 33.33ms(밀리세컨즈, milliseconds)의 통합 시간을 사용하여 픽셀 이벤트들/출력들로부터 수집된다. 도 6A의 플롯(93)의 수집된 손동작은 본 발명의 실시 예에 따른 DVS(50)로써 동일한 수의 픽셀들을 갖는 DVS 디자인으로부터 전체 해상도에서 한 번에 통합 출력되는 시뮬레이션과 관련된다.

이와 같이, 도 6A에서, 모든 픽셀들로부터의 출력들은 손동작의 전체 해성도 출력의 결과로써 수집되고, 통합된다. 플롯(93)은 DVS(50)와 같은 감소된 픽셀 피치를 갖는 DVS에 대해 시뮬레이션 한다는 의미에서 "이상적인" 플롯을 나타낼 수 있다. 하지만, 증가된 공간 해상도를 수용하기 위해 픽셀 공유를 필요로 하지 않는다.

반면, 도 6B의 플롯(94)은 도 3의 DVS(50)와 같은 TDM 기반의 DVS 디자인의 픽셀들의 미리 정의된 분기와 같은 하나로부터 통합 픽셀 이벤트들로부터 수집된 손동작과 관련 있다. 도 6B의 저 해상도 플롯(94)에서, 픽셀 스위칭은 수행되지 않는다. 그런 이유로, 누락된 픽셀들과 관련된 이벤트들(즉, 출력이 통합되지 않은 3 개의 쿼터들)은 누락된 픽셀들과 관련된 영역들은 2진법의 0 비트로 표시된다. 실질적으로, 저 해상도 플롯(94)은 본 발명에 따라, DVS(도 3의 DVS(50)와 같은)의 2x2 픽셀 클러스터를 기반으로 하는 픽셀 어레이와 비교하여 픽셀 어레이는 픽셀들 중 4분의 1을 포함하는 일반적인 DVS(도 1의 DVS)의 출력을 나타낼 수 있다.

마지막으로, 도 6C의 손동작 플롯(95)은 도 4의 2x2 픽셀 클러스터들(58)을 포함하는 도 3의 픽셀 어레이(52)와 같은 2x2 픽셀 클러스터들을 포함하는 픽셀 어레이의 모든 픽셀들로부터 시분할 다중화 방법에 의해 통합된 픽셀 이벤트들과 관련 있다. 시분할 다중화는 도 5A의 규칙적인 픽셀 스위칭 패턴 또는 도 5B의 의사 랜덤(pseudo random) 픽셀 스위칭 패턴을 사용하여 수행될 수 있다.

비록, 본 발명의 실시 예에 따르는 2x2 픽셀 공유 시킴이 도 6A의 "이상적인" 출력과 비교하여 열등한 해상도(도 6C의 플롯(95))를 갖는 DVS 디자인을 제공하더라도, 2x2 픽셀 공유 스킴은 도 6B의 저 해상도 출력(일반적인 DVS의 출력을 나타내는)과 비교하여 향상된 해상도(그리고, 향상된 정보)를 제공한다.

도 7은 본 발명의 실시 예에 따른 픽셀 출력 스킴(scheme) 및 2x2 픽셀 스킴의 결과에 대한 이벤트 데이터 카운트들(counts)의 모의실험을 보여주는 사시도이다. 전체 해상도 스킴은 도 6A를 참조하여 앞서 언급한 것과 동일하다. 즉, 전체 해상도 스킴은 DVS(50)와 같이 감소된 픽셀 피치를 갖는 "이상적인" DVS를 나타낼 수 있다. 하지만, 증가된 공간 해상도를 수용하기 위해 픽셀 공유를 필요로 하지는 않는다.

도 7에서, 리스트(listing)(97)는 상이한 (x, y) 좌표들을 갖는 픽셀들로부터 전체 해상도 스킴을 위해 수집된 픽셀 이벤트들을 언급한다. 시간(ms)은 대응하는 픽셀이 이벤트를 보고하는 시간을 나타낸다. "evt" 열은 "-1" 값은 "오프(OFF) 이벤트", "1" 값은 "온(ON) 이벤트"로 픽셀로부터 보고된 이벤트의 유형을 나타낸다. 리스트(99)는 도 2의 2x2 픽셀 클러스터들을 포함하는 도 3의 DVS(50)의 경우, 픽셀 이벤트들의 TDM을 기반으로 한 샘플링을 채용한 2x2 픽셀 공유 스킴의 디지털 제어 모듈(56)과 같은 제어 모듈로부터 보고받는 픽셀 이벤트들을 나타낸다.

이는 리스트(97)의 비료로부터 관찰되고, 리스트(99)에서 포함된 이벤트들은 리스트(97)에서, 직사각형 블록들(블록(100)과 같은)을 사용하여 강조된 것들만을 포함한다. 다시 말해서, 몇몇 이벤트들은 픽셀 공유 및 본 발명의 실시 예에 따라 채택된 TDM을 기반으로 하는 샘플링을 할 때, 손실될 수 있다. 그러나, 손실된 이벤트들은 도 6A 내지 도 6C의 비교를 통해 이전의 논의로부터 보여진 바와 같이 성능에 크게 부정적인 영향을 미치지 않는다.

도 8은 본 발명의 실시 예에 따른 TDM 기반의 2x2 픽셀을 공유하는 경우 및 픽셀의 저해상도 서브-샘플링(sub-sampling)한 경우의 이벤트의 수를 비교하는 그래프이다. 참조 번호 "112"로 표기된 그래프는 2x2 픽셀 공유 스킴과 관련 있고, 참조 번호 "114"로 표기된 그래프는 저해상도 샘플링 접근법과 관련 있다. 저해상도 접근법은 도 6B을 참조하여 앞서 언급된 것과 유사하다(즉, 픽셀 출력들의 하나의 쿼터가 연속적인 샘플링 없이 기록될 때/ 픽셀들의 나머지 세 쿼터들 중 선택할 때). 각각의 경우에서 손실된 이벤트들은 서브 샘플링된 이벤트들 또는 원래의 이벤트들 사이의 차이점을 기반으로 계산될 수 있다.

예시적으로, 도 7은 전체 해상도 스킴에 대해 기록된 원래 이벤트들과 비교될 때 2x2 픽셀 공유 스킴에서 손실된 이벤트들을 설명한다. 도 8의 손실된 이벤트들의 비율은 집적시간이 길어지면 감소한다. 상이한 통합 시간은 도 8의 x축을 따라 밀리세컨즈로 각각 표기된다. 도 8을 참조하면, 븐 발명의 특정 실시 예로서 2x2 픽셀 공유 스킴이 레스 이벤트들(less events)은 이벤트들의 저 해상도 서브 샘플링보다 원래의 이벤트들로 사용될 때, 손실될 수 있다(예를 들어, 더 많은 시각 정보 또는 콘텐츠 유지).

도 9는 본 발명의 실시 예에 따른 장면에서 모션을 감지하는 방법을 보여주는 순서도이다. 블록(122)에서 설명된 바와 같이, 방법은 도 4의 픽셀 클러스터(58)와 같은 복수의 2x2 픽셀 클러스터들로 구성된 픽셀 어레이(52)와 같은 픽셀 어레이를 포함하는 도 3의 DVS(50)과 같은 DVS를 사용하는 단계를 포함한다. 이전에 설명된 바와 같이, DVS(50)의 각각의 픽셀 클러스터(58)는 시분할 다중화(TDM)을 사용한 클러스터별 미분기 및 비교기(60)와 공유하는 2x2 광 수용기들(70~73)을 포함한다.

블록(124)에서, 각각의 픽셀 클러스터들에 대해, 방법은 픽셀 클러스터의 각각의 광 수용기로부터 광 수용기별 픽셀 이벤트 신호를 수집함으로써, 2x2 광 수용기들의 다른 광 수용기와 클러스터별 미분기 및 비교기 유닛(60)을 순차적으로 연결하는 단계를 포함한다. 이전에 언급된 바와 같이, 일 실시 예로서, 픽셀 어레이(52)와 같은 픽셀 어레이의 2x2 픽셀 클러스터들의 픽셀들의 TDM을 기반으로 하는 샘플링은 특정 샘플링 시간 동안 픽셀 어레이의 픽셀들의 하나의 쿼터의 선택의 결과일 수 있다.

이런 이유로, 블록 (126)에서, 방법은 픽셀 어레이(52)의 각 개별 쿼터와 관련된 장면 관련 데이터를 선형으로 분리하는 단계를 포함한다. 장면 관련 데이터는 픽셀 어레이(52)의 각각의 픽셀 클러스터로부터 모든 광 수용기별 픽셀 이벤트 신호들의 수집을 기반으로 할 수 있다. 일 실시 예에서, 블록(126)에서 선형 분리는 도 10 및 도 11에서 논의되는 서포트 벡터 머신(SVM)을 사용하여 수행될 수 있다.

블록(128)에서, 장면에서 동작은 픽셀 어레이의 픽셀들의 하나의 쿼터와 관련된 장면 관련 데이터 및 픽셀 어레이의 픽셀들의 다른 쿼터들 중 각각에 관련된 장면 관련 데이터의 비교를 기반으로 감지될 수 있다.

도 9의 방법은 도 12(아래에서 설명되는)에 도시된 시스템(165)과 같은 시스템을 기반으로 하는 비전 센서의 일부분인 DVS를 사용함으로써 수행될 수 있다. 이러한 시스템의 일부분에서, 블록들(124, 126 및 128) 단계들은 도 3의 디지털 제어 모듈(54)과 같은 DVS의 디지털 제어 모듈로부터 수행될 수 있다. 디지털 제어 모듈(54)은 원하는 작업을 수행하기 위한 하드웨어(hardware) 및/또는 소프트웨어(software)로 적절하게 구성될 수 있다. 대신에, 일 실시 예에서, DVS(50)를 포함하는 시스템은 블록들(122, 124, 126 및 128)에서 설명된 단계들을 수행하는 DVS(50)와 통신하는 하드웨어 및/또는 소프트웨어로 적절하게 구성된 프로세서(processor)(도 12의 프로세서(167))를 포함할 수 있다. 순서도(120)에서 방법 단계들을 수행할 수 있는 다른 방법은 설계 고려 사항에 따라서 고안될 수 있다.

도 9에 도시된 다양한 단계들은 디지털 제어 모듈 및/또는 프로세서에 의해 "수행"될 수 있다고 앞서 논의되었지만, 이들 외에 다른 엔티티들(entities) 또한 포함될 수 있다. 모든 "참여" 유닛들은 대응하는 단계들을 "수행"을 가능하게 하기 위한 적절한 하드웨어(및 필요하다면, 마이크로 코드(microcode)와 같은 소프트웨어)일 수 있다. 반면에 단일 엔티티는 도 9에 도시된 모든 또는 여러 개의 양태들을 수행할 수 있다. 이와 같이, 특정 처리 단계와 관련된 DVS와 연관된 엔티티 또는 유닛 각각은 정확하게 식별하기 위해 특정 실시 예들을 만족하지 않을 수 있다. 오히려, 도 9에 도시된 처리 단계들을 "수행"하는 시스템(도 12의 시스템(165) 및/또는 DVS(도 3의 DVS(50))에서 인식하는 것이 더 적절하다.

도 10은 데이터의 선형 분류의 소프트 마진(soft margin) 기반의 서포트 벡터 머신(Support Vector Machine, SVM) 모델(model)을 보여주는 예시적인 플롯(plot)이다. 플롯(130)은 두 개의 라벨(label)로부터 예시적인 데이터로 보여진다(동작 감지를 위한 샘플들의 두 개의 다른 부류를 통해). 일 실시 에로서, 이러한 SVM 모델은 도 9의 블록(126) 단계의 방법과 같은 선형 개별 픽셀을 출력하는데 사용될 수 있다.

기계 학습에서, 서포트 벡터 머신들은 데이터 분석 및 선형 분류를 사용하는 패턴들을 감지하는데 사용되는 트레이닝알고리즘들(training algorithms)과 관련된 학습 모델들을 감독한다. 주어진 트레이닝 예시들을 세트에서, SVM 트레이닝 알고리즘은 이진법의 선형 분리기를 만들고, 하나의 카테고리(category) 또는 그 새로운 예들을 할당하는 SVM 모델을 구축한다.

결정의 바운더리는 다른 카테고리에 속하는 샘플들을 분리하는 것이 가능한 만큼 넓고 명확한 차이(도 10에서 “소프트 마진(soft margin)이라고 불리는)에 의해 결정된다.

SVM 모델이 “트레이닝”된 후, 새로운 예들을 그들이 속하는 결정 바운더리의 어느 쪽을 기준으로 하여 하나의 범주에 속하는 것으로 예측된다. 도 10에서, 샘플들의 하나의 클래스(class)는 데이터 포인트들(132)(어두운 육각형들)로 표시되어 있고, 샘플들의 다른 클래스는 데이터 포인트들(134)(밝은 육각형들)로 표시되어 있다. 이러한 샘플들 사이의 “차이” 또는 “소프트 마진”은 참조 부호 “136”을 사용하여 표시된다. 일 실시 예로서, 이러한 “샘플들” 은 도 3의 픽셀 어레이(52)와 같은 NxN 픽셀 클러스터들의 픽셀 어레이로부터 픽셀들의 TDM 출력일 수 있다.

SVM 모델에서, 최대 마진 초평면(hyperplane)은 데이터 포인트들의 두 클래스 사이의 가장 큰 분류 또는 마진을 나타낸다. 데이터를 보다 선형적으로 분리하기 위해, 초평면 양쪽에서 가장 가까운 데이터 포인트까지 거리가 최대가 되도록 초평면을 선택하는 것이 바람직하다. SVM에서 소프트 마진 방법은 가장 가까운 명확하게 분리된 예시들까지의 거리를 계속 최대화하는 동안에, 가능한 명확하게 예시들 또는 데이터 포인트들을 분리하는 초평면을 선택할 수 있다.

도 10에서, 예시적인 최대 소프트 마진을 기반으로 하는 초평면은 선(138)으로 부터 확인된다. 초평면(138)은 데이터 포인트들(132, 134)의 두 클래스를 최대한 분리한다. 소프트 마지 방법은 데이터 포인트들(140, 141)의 오 분류의 정도를 측정하기 위한 음이 아닌 여유 변수(ξi)를 사용할 수 있다. 마진의 샘플들/데이터 포인트들은 도 10의 초평면(138)의 서포트 벡터들을 정의할 수 있다. 데이터 포인트(148)이 서포트 벡터(150)을 정의하는 반면에, 데이터 포인트들(143 및 144)은 서포트 벡터(146)를 정의한다.

복수의 학습 매개 변수들은 SV 기계들을 구성하는데 사용될 수 있다. 패널티(penalty) 매개 변수”C”는 학습 매개 변수들 중 하나이고, 사용자로부터 선택될 수 있다. 매개 변수 C는 트레이닝 샘플의 오 분류를 제어하고, 이것은 트레이닝 샘플/ 데이터 포인트들의 오 분류를 방지하는 방법인 SVM 모델을 알려준다. 전술한 바와 같이, SVM 모델에서, 샘플들(132, 134)와 같은 두 가지 샘플들로 선형으로 최대한 분리될 수 있는 초평면(138)과 같이 초평면 마진을 최대화 하는 것이 바람직하다.

마진 초평면이 서서히 증가할 경우, 샘플들은 점점 잘못 분류되기 시작할 수 있다. C의 큰 값의 경우, SVM 모델은 만약 초평면이 올바르게 분류된 모든 트레이닝 샘플들을 모으는 작업을 더 잘 수행하는 경우, 더 작은 마진 초평면을 도출할 수 있다. 역으로, C의 작은 값은 초평면이 더 많은 포인트들(트레이닝 오류를 증가시키는)을 오 분류 하더라도 더 큰 마진 초평면을 기대할 수 있는 SVM 모델을 야기할 수 있다. 이와 같이, C의 매우 작은 값들에서, SVM 모델은 트레이닝 데이터가 선형적으로 분류되더라도 오 분류된 예시들을 제공할 수 있다.

전술된 바로부터, 매개 변수 C는 허용되는 복수의 오류들을 제어하는 것이 관찰된다. 매개 변수 C는 SVM 모델의 복잡성과 트레이닝 에러 사이의 상충 관계에 영향을 미친다. 이와 같이, 실제로, C의 적절한 값은 복잡성과 SVM 모델의 오버로딩(overloading)없이 데이터 포인트들(예를 들어, 픽셀 이벤트 데이터)의 최적의 선형 분리를 제공하는 초평면을 얻기 위해 사용자로부터 선택될 수 있다.

도 11A-11D는 본 발명의 실시 예에 따른 DVS 해상도 스킴의 세 가지 유형들을 위한 데이터 분리에 대한 절충 매개 변수 C의 상이한 값의 효과를 보여주는 시뮬레이션(simulation) 플롯이다.

매개 변수 C의 값을 선택하기 위해, 각각의 플롯은 장면과 관련된 픽셀 데이터가 초당 30 프레임(fps) 속도로 D1 내지 D4서로 다른 거리들(먼 곳부터 가까운 곳까지의 센서 거리를 나타내는)로 부터 수집될 때, -데이터 분리 에러들의 백분율에 관하여 측정함으로써- DVS 결과의 스킴의 수행을 보여준다. 알 수 있는 바와 같이, C의 값은 도 11A의 “0.01” 값에서 도 11D의 최대 “1” 값까지 변화된다. 각각의 플롯(152~154)에서, 제1 그래프(158)(어두운 원으로 표시된)은 본 발명의 시시 예에 따른 2x2 픽셀 공유 스킴(예를 들어, 도 6C를 참조하여 설명된 픽셀 공유 스킴)과 관련 있고, 제2 그래프(159)(어두운 사각형으로 표시된)는 높은 해상도 스킴(예를 들어, 도 6A를 참조하여 논의된 픽셀 공유를 제외한 전체 해상도 스킴)과 관련 있고, 제3 그래프(160)(밝은 원으로 표시된)는 저 해상도 스킴(도 6B를 참조하여 논의된 픽셀 스위칭을 제외한 픽셀들을 기반으로 하는 스킴의 하나의 쿼터)과 관련 있다.

상호 교환 매개 변수 C의 동일한 값에 대해, 감소된 해상도 스킴 및 고 해상도 스킴을 위한 실직적으로 비슷한 선형 분리를 수행하는 본 발명의 특정 실시 예들에 따른 픽셀 공유 스킴은 도 11A 내지 도 11D의 그래프들(158~160)을 통해 알 수 있다. 특정 실시 예들에서, 픽셀 공유 스킴은 도 10을 참조하여 사전에 논의된 최대 소프트 마진 접근법을 기반으로 하는 SVM을 사용할 수 있다. 긴 거리는 최대 소프트 마진 접근법을 사용하는 데이터를 분리하기 하는 데에 더 큰 어려움들을 제시할 수 있다. 그러나, 픽셀 공유 스킴의 수행은 여전히 고 해상도 방식에 비슷하게 남아있다. 셀 공유 스킴은 픽셀들의 시간적 샘플링/스위칭이 더 나은 데이터 분리에 유용한 더 많은 이벤트들을 유지하게 하는, TDM 때문에 감소되는 해상도 스킴과 비교되는 더 나은 데이터 분리를 제공할 수 있다.

도 12는 본 발명의 실시 예에 따른 도 3의 DVS를 포함하는 예시적인 시스템 또는 장치를 보여준다. 앞에서 설명한 바와 같이, DVS(50)는 본 발명의 실시 예에 따라 픽셀을 기반으로 하는 동작 검출을 수행하기 위해 도 3 및 도 4에 예시적으로 도시된 하드웨어를 포함할 수 있다. 시스템(165)은 복수의 외부 장치들과 통신하도록 구성된 DVS(50)와 연결된 프로세서(167)를 포함한다. DVS(50)는 추가 처리를 위해 프로세서(167)에 데이터 입력들(픽셀 이벤트 데이터의 형태로)제공하기 위한 입력 장치로써 기능할 수 있다. 시스템(165)은 컴퓨터 또는 컴퓨팅 유닛(computing unit)이고, 프로세서(167)는 컴퓨터 키보드(computer keyboard), 터치 패드(touchpad) 및/또는 컴퓨터 마우스/포인팅 장치(computer mouse/pointing device)와 같은 입력 장치들(미 도시)로부터 입력들을 수신할 수 있다.

도 12에서, 프로세서(167)는 시스템 메모리(169), 주변 저장 유닛(171), 적어도 하나 이상의 출력 장치들(172), 및 네트워크 인터페이스 유닛(174)과 연결될 수 있다. 도 12에서, 디스플레이 유닛(display unit)은 출력 장치(172)로 나타내어진다. 몇몇 실시 예들로서, 시스템(165)은 장치들의 적어도 하나 이상의 인스턴스를 포함할 수 있다. 몇몇 실시 예들에서, 시스템(155)은 컴퓨터 시스템(computer system)(데스크톱(desktop) 또는 랩탑(laptop)), 태블릿 컴퓨터(tablet computer), 모바일(mobile) 장치, 휴대전화, 비디오 게임 유닛 또는 콘솔(video gaming unit or console), 머신-투-머신(machine-to machine)(M2M) 통신 유닛, 스테이트 레스 "씬" 클라이언트 시스템(stateless "thin" client system) 또는 다른 타입의 컴퓨팅 또는 데이터 처리 장치들을 포함할 수 있다. 다양한 실시 예들에서, 시스템(165)은 랙-마운터블 서버 시스템(rack-mountable server system), 단독형 시스템 또는 다른 적절한 형태의 요소들로 구성될 수 있다. 몇몇 실시 예에서, 시스템(165)은 서버 시스템보다 클라이언트 시스템으로 구성될 수 있다.

특정 실시 예들에서, 시스템(165)은 적어도 하나 이상의 프로세서를 포함할 수 있다. 시스템(165)이 멀티프로세서 시스템(multiprocessor system)일 때, 프로세서(167)의 적어도 하나 이상의 인스턴스가 있을 수 있고, 각각의 일관된 프로세서 인터페이스들(미 도시)을 통해 프로세서(167)에 결합된 다수의 프로세서들이 있을 수 있다.

다양한 실시 예들로서, 시스템 메모리(169)은 FB-DIMM, DDR/DDR2/DDR3/DDR4 SDRAM(Double Data Rate 2/3/4 Synchronous Dynamic Random Access Memory), Rambus® DRAM, 플래시 메모리, 다양한 종류의 읽기 전용 메모리(ROM)와 같은 적절한 타입의 메모리로 구성될 수 있다. 일 실시 예에서, 시스템 메모리(157)는 다수의 메모리 인터페이스들(46)(도 1)을 제공하는 프로세서(10)의 실시 예에서 개별 메모리 인터페이스에 의해 제어되는 메모리의 다수의 분리된 뱅크를 포함할 수 있다. 또한, 몇몇 실시 예들에서, 시스템 메모리(57)는 메모리의 단일 유형과 대조적으로, 복수의 다른 타입들의 메모리를 포함할 수 있다. 다른 실시 예들로서, 시스템 메모리(169)는 비일시적인 데이터 저장 매체일 수 있다.

다양한 실시 예들에서, 주변 저장 유닛(171)은 자기, 광학, 광자기 또는 하드 드라이브, 광 디스크(CD 또는 DVD)와 같은 고체 상태 저장 미디어, 비 휘발성 RAM 장치 등에 대한 지원을 포함할 수 있다. 몇몇 실시 예들에서, 주변 저장 유닛(171)은 더 복잡한 디스크 어레이(dist array)(적절한 복수 배열 독립 디스크(RAID)) 또는 기억 영역 네트워크(SANs)와 같은 소형 컴퓨터 시스템 인터페이스(SCSI), 파이버 채널 인터페이스(Fibre Channel interface), 파이어 와이어(Firewire®)(IEEE 1394) 인터페이스, 또는 다른 적절한 인터페이스를 통해 프로세서(167)와 연결된 저장 장치들/시스템들을 포함할 수 있다. 이러한 다양한 저장 장치들은 비 일시적인 데이터 저장 매체일 수 있다.

디스플레이 유닛(172)은 그래픽/디스플레이(graphic/display) 장치, 컴퓨터 스크린(screen), 오디오 스피커(audio speaker), 알람 시스템(alarm system), CAD/CAM(Computer Aided Design/Computer Aided Machining) 시스템, 비디오 게임 스테이션(station), 또는 어떤 다른 타입의 데이터 출력 또는 프로세스 제어 장치를 포함할 수 있다.

일 실시 예에서, 네트워크 인터페이스(174)는 네트워크(미 도시)와 연결된 시스템(165)을 활성화하기 위해 프로세서(167)와 통신할 수 있다. 다른 실시 예에서, 네트워크 인터페이스(174)는 생략될 수 있다. 네트워크 인터페이스(171)는 어떤 적절한 장치들, 미디어 및/또는 유선 또는 무선 네트워크를 위한 시스템(155)을 연결하기 위한 프로토콜 콘텐츠를 포함할 수 있다. 다양한 실시 예들에서, 네트워크는 근거리 통신망(LANs), 광대역 통신망(WANs), 유선 또는 무선 이더넷, 전기 통신망 또는 다른 적절한 타입의 네트워크들을 포함할 수 있다.

시스템(165)은 도 12에 도시된 다양한 시스템 요소들에 전력을 공급하기 위한 온-보드 파워 공급 유닛(on-board power supply unit)(165)을 포함한다. 파워 공급 유닛(175)은 배터리를 수신할 수 있고, AC 전원 콘센트에 접속될 수 있다. 일 실시 예에서, 파워 공급 유닛(175)은 태양 에너지를 전력으로 변환할 수 있다.

일 실시 예로서, DVS(50)는 범용 직렬 버스 2.0 또는 3.0(Universal Serial Bus 2.0 or 3.0, USB2.0 or 3.0) 인터페이스, 개인용 컴퓨터(PC) 또는 휴대용 컴퓨터와 같은 고속 인터페이스와 통합될 수 있다. 시스템 메모리(169) 또는 CD/DVD와 같은 주변 데이터 저장 유닛과 같은 비 일시적, 컴퓨터 판독 가능 데이터 저장 매체는 프로그램 코드 또는 소프트웨어를 저장할 수 있다. 프로세서(167)가 DVS(50)로부터 픽셀 이벤트 신호들을 수신 및 처리하고, DVS(50)로부터 감지된 장면의 움직임을 감지하고, 디스플레이 유닛(172)을 통해 감지된 움직임을 표시하도록 동작하도록 프로세서(167)는 프로그램 코드를 실행할 수 있다.

프로그램 코드 또는 소프트웨어는 정확한 타이밍을 이용하여 픽셀 이벤트들을 수집하기 위한 프로세서(167)를 활성화 처리해, 다양한 형식을 렌더링하고(render), 이를 재생할 수 있는, 프로세서(167)로부터 실행되는 독점 소프트웨어 또는 오픈 소스 소프트웨어(open source software)일 수 있다. 앞서 설명된 바와 같이, 특정 실시 예들로서, DVS(50)의 디지털 제어 모듈(54)은 추가적인 처리 및 움직임 감지/표시를 위해 프로세서(167)로 픽셀 출력 데이터가 전송되기 전에 픽셀 이벤트 신호들의 일부 처리를 수행할 수 있다. 다른 실시 예들로서, 프로세서(167)는 디지털 제어 모듈(54)의 기능을 수행할 수 있고, 이러한 경우, 디지털 제어 모듈(54)는 DVS(50)에 포함되지 않는다.

앞의 설명에서, 제한이 아닌 설명의 목적으로, 특정 세부 사항들이 개시된 기술의 이해를 제공하기 위해 개시되었다(특정 구조 또는 기술로써). 그러나, 개시된 기술은 이러한 특정 상세 사항으로부터 벗어난 다른 실시 예에서 실시될 수 있음은 당업자에게 명백할 것이다. 즉 본 명세서에서 명시적으로 기술되거나 도시, 개시된 기술의 원리를 구현하는 것은 아니지만, 당업자는 어떤 다양한 어레인지먼트들(arrangements)을 고안할 수 있다. 불필요한 세부 개시된 기술의 설명을 모호하게 하지 않도록 일부 예에서, 잘 알려진 장치, 회로 및 방법의 상세한 설명은 생략한다. 모든 언급은 본 발명의 구조적 및 기능적 균등물을 포함하도록 의도된다. 또한 그러한 균등물은 미래에 개발 및 현재 알려진 등가물을 포함하는 것으로 의도된다.

이와 같이, 예를 들어, 본 발명의 다이어그램 블록(도 3 및 도 4)은 예시적인 회로 또는 기술의 원리를 구현하는 다른 기능 유닛의 개념도를 나타냄으로써 높이 평가될 것이다. 유사하게, 도 9의 순서도들은 프로세서(도 12 의 프로세서(167))로부터 주로 수행되는 다양한 프로세스들을 나타냄으로써 높이 평가될 것이다.

예시적으로, 프로세서는 범용 프로세서, 특수 목적 프로세서, 재래식 프로세서, 디지털 신호 프로세서(DSP), 복수의 마이크로프로세서들, DSP 코어와 관련된 적어도 하나 이상의 마이크로프로세서들, 컨트롤러, 마이크로 컨트롤러, 주문형 반도체들(ASICs), 필드 프로그램 가능 게이트 어레이(Field Programmable Gate Arrays)(FPGAs) 회로들, 임의의 다른 유형의 집적 회로(IC), 및/또는 상태 기계를 포함할 수 있다. 도 3 내지 도 11의 맥락에서 전술된 몇몇 또는 전체 기능들은 바람직하게는 CPU 코어와 같은 하드웨어를 사용하는 프로세서로부터 공급될 수 있다.

특정 발명의 측면은 소프트웨어 기반의 처리를 필요로 하는 경우, 소프트웨어 또는 프로그램 코드는 컴퓨터 판독 가능 데이터 저장 매체에 존재할 수 있다. 앞서 설명된 바와 같이, 데이터 저장 매체는 주변 저장 장치(171), 시스템 메모리(169) 또는 프로세서(167)의 내부 메모리(미 도시)의 일부일 수 있다. 프로세서(167) 는 소프트웨어 기반의 처리를 수행하기 위해 이러한 매체에 저장된 명령들을 실행할 수 있다. 컴퓨터 판독 가능 데이터 저장 매체는 컴퓨터 프로그램, 소프트웨어, 펌웨어, 또는 상기 언급된 프로세서 또는 범용 컴퓨터로부터 실행하기 위한 마이크로드를 포함하는 비 일시적인 데이터 저장 매체일 수 있다.

컴퓨터 판독 가능 데이터 저장 매체의 예시들은 읽기 전용 메모리(ROM), 임의 추출 기억 장치(RAM), 디지털 레지스터(digital register), 캐시 메모리, 반도체 기억 장치, 자기 탭스(tapes) 및 이동식 디스크, 자기광학 매체, CDROM 디지털 다기능 디스크(DVDs)와 같은 자기 매체를 포함할 수 있다.

본 발명의 실시 예에 따라 TDM을 기반으로 하는 픽셀들의 샘플링 및 픽셀들과 공유되는 DVS의 대안적인 실시 예는 추가적인 기능을 제공하는 본 발명의 교시에 따라 해결책을 지원하기 위해 식별된 기능성 및/또는 임의의 필요한 기능 중 하나를 포함할 추가 구성요소를 포함할 수 있다. 특징 및 요소가 특정 조합으로 상술 되었지만, 각각의 특징 또는 구성 요소는 다른 특징 및 요소들 또는 다양한 조합들 또는 다른 특징들 없이 단독으로 사용될 수 있다.

전에 언급된 바와 같이, DVS의 픽셀 피치는 공간 해상도의 증가시키기 위해 감소된다. DVS는 더 높은 공간 해상도 및 더 나은 데이터의 선형 분리를 위해 TDM을 채용한 공유된 픽셀들을 포함한다. DVS의 픽셀 어레이는 복수의 NxN 픽셀 클러스터들로 구성될 수 있다. 클러스터 각각의 NxN 픽셀들은 TDM을 사용한 동일한 미분기 및 동일한 비교기를 공유한다. 픽셀 피치는 시분할 다중화 방식으로 동일한 미분기 및 비교기 유닛들을 공유하는 복수의 인접한 포토 다이오드들(photodiodes)/광 수용기들로부터 감소될 수 있다.

DVS에서, 전체 픽셀 어레이 중 오직 하나의 쿼터만이 동시에 사용될 수 있다. 글로벌 리셋은 감지를 위해, 픽셀들의 하나의 쿼터로부터 다른 쿼터들로 주기적으로 스위칭될 수 있다. 높은 공간 해상도 때문에, DVS 출력을 기반으로 하는 동작 인식 또는 사용자 인식과 같은 어플리케이션들은 향상된 수행을 수반한다.

이상에서와 같이 도면과 명세서에서 최적 실시 예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

12: DVS 70~73: 픽셀별 광 수용기 유닛
15: 8x8 픽셀 어레이 81~84, 86~89: 패턴들
18: 픽셀 93~95: 동작 인식 플롯
20: 광 수용기 165: 시스템
21: 미분기 유닛 167: 프로세서
22: 비교기 유닛 169: 시스템 메모리
42: 로직 유닛 171: 주변 저장 유닛
50: DVS 172: 출력 장치
52: 8x8 픽셀 어레이 174: 네트워크 인터페이스 유닛
54: 디지털 제어 모듈 175: 파워 공급 유닛
58: NxN 픽셀 클러스터
60: 미분기 및 비교기 유닛

Claims

복수의 픽셀 클러스터들(clusters)을 포함하되,
상기 복수의 픽셀 클러스터들의 각각은,
수신된 휘도를 대응하는 전기 신호로 변환하는 NxN 광 수용기들;
상기 NxN 광 수용기들과 연결되고, 상기 NxN 광 수용기들의 각각으로부터 대응하는 전기 신호를 수신하고, 미분기 유닛별 리셋 레벨(reset level)로부터 상기 대응하는 전기 신호의 편차를 나타내는 광 수용기별 차분 신호를 생성하는 클러스터별 미분기 유닛;
상기 클러스터별 미분기 유닛과 연결되고, 상기 NxN 광 수용기들에 의해 공유되고, 상기 NxN 광 수용기들의 각각에 대해, 상기 광 수용기별 차분 신호를 수신하고, 상기 수신된 휘도와 대조적인 변화를 나타내는 대응 픽셀 이벤트(event) 신호를 발생하는 클러스터별 비교기 유닛; 및
상기 복수의 픽셀 클러스터들과 연결되고, 상기 클러스터별 비교기 유닛으로부터 상기 픽셀 이벤트 신호를 순차적으로 독출하는 디지털 제어 모듈을 포함하는 비전 센서.
제 1 항에 있어서,
상기 복수의 픽셀 클러스터들의 각각에 대해, 상기 클러스터별 미분기 유닛 및 상기 클러스터별 비교기 유닛은 시분할 다중화를 사용한 상기 NxN 광 수용기들의 각각에 의해 공유되는 비전 센서.
제 2 항에 있어서,
상기 복수의 픽셀 클러스터들의 각각에 대해, 상기 디지털 제어 모듈은 상기 클러스터별 미분기 유닛과 순차적으로 연결하여, 상기 NxN 광 수용기들의 각각으로부터 상기 대응하는 전기 신호를 수신하고,
상기 연결은 선택의 고정된 순서 또는 선택의 의사 난수 순서를 기반으로 수행되는 비전 센서.
제 1 항에 있어서,
상기 디지털 제어 모듈은 상기 복수의 픽셀 클러스터의 각각에서 한번에 하나의 픽셀만 선택함으로써, 상기 픽셀 이벤트 신호의 독출 시간 동안, 상기 비전 센서의 모든 픽셀들 중 쿼터(quarter)만을 사용하는 비전 센서.
제 1 항에 있어서,
상기 디지털 제어 모듈은 어드레스 이벤트 대표(Address Event Representation, AER) 논리 유닛들을 포함하되, 각각의 어드레스 이벤트 대표(AER) 논리 유닛은 상기 NxN 광 수용기들 중 대응하는 하나와 연결된 비전 센서.
제 1 항에 있어서,
상기 픽셀 이벤트 신호들은
제1 비교기 임계값 이상의 상기 수신된 휘도의 증가를 나타내는 온(ON) 이벤트 신호; 및
제2 비교기 임계값 이상의 상기 수신된 휘도의 감소를 나타내는 오프(OFF) 이벤트 신호 중 하나인 비전 센서.
수신 휘도를 대응하는 전기 신호로 변환하는 NxN 광 수용기들;
상기 NxN 광 수용기들과 연결되고, 상기 NxN 광 수용기들의 각각으로부터 상기 대응하는 전기 신호를 수신하고, 미분기 단위별 리셋 레벨로부터 상기 대응하는 전기 신호의 편차를 나타내는 광 수용기별 차분 신호를 생성하는 신호 미분기 유닛; 및
상기 신호 미분기 유닛과 연결되고, 상기 NxN 광 수용기들에 의해 공유되고, 상기 NxN 광 수용기들의 각각으로부터, 상기 광 수용기별 차분 신호를 수신하고, 상기 수신 휘도의 대조적인 변화를 나타내는 픽셀 이벤트 신호를 생성하는 신호 비교기 유닛을 포함하는 픽셀 클러스터.
시스템에 있어서:
복수의 픽셀 클러스터들을 포함하는 다이나믹 비전 센서(Dynamic Vision Sensor, DVS);
프로그램 명령들을 저장하기 위한 메모리; 및
상기 메모리 및 상기 다이나믹 비전 센서(DVS)와 연결되고, 상기 프로그램 명령들을 실행하는 프로세서를 포함하되,
상기 다이나믹 비전 센서(DVS)의 상기 복수의 픽셀 클러스터들의 각각은,
수신 휘도를 대응하는 전기 신호로 변환하는 각각의 광수용기를 포함하는 2x2 광 수용기들;
상기 2x2 광 수용기들과 연결되고, 상기 2x2 광 수용기들의 각각으로부터 상기 대응하는 전기 신호를 수신하고, 미분기 유닛별 리셋 레벨로부터 상기 대응하는 전기 신호의 편차를 나타내는 광 수용기별 차분 신호를 생성하는 클러스터별 미분기 유닛; 및
상기 클러스터별 미분기 유닛과 연결되고, 상기 2x2 광 수용기들로부터 공유되고, 상기 광 수용기별 차분 신호를 수신하고, 상기 수신 휘도에 대조적인 변화를 나타내는 픽셀 이벤트 신호를 생성하는 클러스터별 비교기 유닛을 포함하고,
상기 프로세서는 상기 클러스터별 비교기 유닛으로부터 상기 픽셀 이벤트 신호들을 수신하기 위해 구동되는 시스템.
제 8 항에 있어서,
상기 다이나믹 비전 센서는 상기 복수의 픽셀 클러스터들에 연결된 디지털 제어 모듈을 더 포함하고, 상기 디지털 제어 모듈은 상기 클러스터별 비교기 유닛으로부터 상기 픽셀 이벤트 신호들을 독출하고, 상기 프로세서로 상기 픽셀 이벤트 신호들을 전송하는 시스템.
다이나믹 비전 센서를 이용하여 장면의 움직임을 감지하는 방법에 있어서:
시분할 다중화를 사용하여 클러스터별 미분기 유닛 및 클러스터별 비교기 유닛과 공유되는 복수의 2x2 광 수용기들을 포함하는 픽셀 클러스터들을 포함하는 픽셀 어레이를 포함하는 다이나믹 비전 센서(Dynamic Vision Sensor, DVS)를 사용하는 단계;
상기 복수의 픽셀 클러스터들의 각각에 대해, 상기 장면으로부터 수신된 휘도에 대조적인 변화를 가리키는 광 수용기별 픽셀 이벤트 신호를 상기 복수의 2x2 광 수용기들의 각각으로부터 수집하기 위해, 상기 클러스터별 미분기 유닛 및 상기 클러스터별 비교기 유닛을 연속적으로 연결하는 단계;
상기 픽셀 어레이의 상기 픽셀 클러스터들의 각각으로부터 상기 광 수용기별 픽셀 이벤트 신호의 수집하는 것을 기반으로 하고, 상기 픽셀 어레이의 픽셀들의 쿼터(quarter)들 중 하나와 관련된 상기 장면 관련 데이터를 순차적으로 분할하는 단계; 및
상기 픽셀 어레이의 상기 픽셀들의 상기 쿼터들 중 다른 하나와 관련된 상기 장면 관련 데이터의 비교를 기반으로 하는 상기 장면 움직임을 감지하는 단계를 포함하는 방법.