KR20230162789A - 고상 촬상 디바이스 및 고상 촬상 디바이스의 동작 방법 - Google Patents

Abstract

고상 촬상 디바이스(100)는 복수의 촬상 화소들(111)을 포함하는 화소 어레이(110)와, 제어 유닛(115)을 포함하고, 복수의 촬상 화소들(111) 각각은 촬상 화소(111) 상에 떨어지는 광의 강도에 따라 촬상 신호를 생성할 수 있고, 각각의 미리 결정된 임계치보다 큰 광 강도의 양의 또는 음의 변화를 이벤트로서 검출할 수 있으며, 제어 유닛(115)은, 촬상 화소들(111)의 적어도 하나의 그룹 내에서 발생하는 이벤트들의 수를 계수하고, 그에 따라 계수된 이벤트들의 수가 미리 결정된 판독 임계 이상인 경우, 그룹들 중 하나 내의 촬상 화소들(111)의 촬상 신호들을 판독하도록 구성된다.

Description

고상 촬상 디바이스 및 고상 촬상 디바이스의 동작 방법

본 발명은 고상 촬상 디바이스(solid-state imaging device) 및 그 동작 방법에 관한 것이다. 특히, 본 발명은 동적 비전 센서들(dynamic vision sensors)(DVS)과 같은 광 강도의 변화들에 응답하는 이벤트 검출 센서들의 분야에 관한 것이다.

컴퓨터 비전은 기계들 및 컴퓨터들이 어떻게 디지털 화상들 또는 비디오들로부터 높은 레벨의 이해를 얻을 수 있는지를 다룬다. 전형적으로, 컴퓨터 비전 방법들은, 화상 센서를 통해 취득된 원시 화상 데이터로부터, 기계들 또는 컴퓨터들이 다른 작업들을 위해 사용하는 그 유형의 정보를 발췌하는 것을 목표로 한다.

기계 제어, 처리 모니터링 또는 감시 작업과 같은 많은 응용들은 촬상된 장면 내의 객체들의 움직임의 평가에 기초한다. 화소들의 어레이로 구성된 복수의 화소들을 갖는 종래의 화상 센서들은 정지 화상들(프레임들)의 시퀀스를 전달한다. 프레임들의 시퀀스에서 움직이는 객체들을 검출하는 것은 전형적으로 정교하고 값비싼 화상 처리 방법들을 수반한다.

DVS와 같은 이벤트 검출 센서들은 촬상된 장면 내의 변화들의 위치에 관한 정보만을 전달함으로써 동작 검출의 문제를 해결한다. 프레임들에서 많은 양의 화상 정보를 전송하는 화상 센서들과는 달리, 변하지 않는 화소들에 관한 정보의 전송은 생략될 수 있고, 일종의 화소 단위의 데이터 압축(in-pixel data compression)을 야기한다. 화소 단위의 데이터 압축은 데이터 과잉 중복(redundancy)을 제거하고, 동작 흐려짐(motion blur)이 거의 없이, 높은 시간적 해상도(temporal resolution), 낮은 대기 시간(latency), 낮은 전력 소비 및 높은 다이내믹 레인지(dynamic range)를 용이하게 한다. 따라서, DVS는 특히 태양 또는 전지 전력식 압축 감지, 또는 화상 센서를 포함하는 시스템의 동작이 추정되어야 하고 제한된 전지 용량으로 인해 처리 전력이 제한되는 이동식 기계 비전 응용에 매우 적합하다. 원칙적으로, DVS의 아키텍처는 높은 다이내믹 레인지 및 우수한 저광 성능을 가능하게 한다.

광 수신기 모듈들(photoreceptor modules), DVS와 같은 이벤트 검출에 적합한 화상 센서들의 고유의 높은 다이내믹 레인지, 높은 시간적 해상도 및 우수한 저광 성능을 추가로 이용하고 더욱 발전시키는 것이 바람직하다.

이벤트 검출이 상기 언급된 이점들을 제공하지만, 이벤트는 많은 정보를 운반하지 않고, 이벤트들의 그룹을 처리함으로써 컨텍스트(context)로 설정될 필요가 있다. 이를 위해, 전체 강도 신호들(full intensity signals)을 판독하는 것 및 이벤트 검출의 집합(aggregation)은 변화가 발생한 각각의 전체 강도 프레임 내의 영역들을 검출하는 데 사용될 수 있다. 그러나, 이것은 전력 소비 및 대역폭 사용의 불필요한 오버헤드(overhead)를 야기할 수 있다.

본 발명은 전체 강도 신호 판독 및 이벤트 검출의 종래의 집합의 단점들을 완화시킨다.

이를 위해, 각각이 화소 상에 떨어지는 광의 강도에 따라 촬상 신호를 생성할 수 있고, 각각의 미리 결정된 임계치보다 큰 광 강도의 양의 또는 음의 변화를 이벤트로서 검출할 수 있는 복수의 촬상 화소들을 포함하는 화소 어레이, 및 촬상 화소들의 적어도 하나의 그룹 내에서 발생하는 이벤트들의 수를 계수(count)하고, 그에 따른 계수된 이벤트들의 수가 미리 결정된 판독 임계치 이상인 경우, 그룹들 중 하나 내의 촬상 화소들의 촬상 신호들을 판독하도록 구성되는 제어 유닛을 포함하는 고상 촬상 디바이스가 제공된다.

또한, 각각이 촬상 화소 상에 떨어지는 광의 강도에 따라 촬상 신호를 생성시킬 수 있고, 각각의 미리 결정된 임계치보다 큰 광 강도의 양의 또는 음의 변화를 이벤트로서 검출할 수 있는 복수의 촬상 화소들을 포함하는 화소 어레이를 포함하는 고상 촬상 디바이스를 동작시키기 위한 방법이 제공되며, 방법은 촬상 화소들의 적어도 하나의 그룹 내에서 발생하는 이벤트들의 수를 계수하는 단계; 및 그에 따른 계수된 이벤트들의 수가 미리 결정된 판독 임계치 이상인 경우에 그룹들 중 하나 내의 촬상 화소들의 촬상 신호들을 판독하는 단계를 포함한다.

이에 의해, 전체 강도 프레임들은 충분히 많은 수의 이벤트들이 계수되었을 때에만, 판독되는 촬상 화소들의 그룹들로 분리된다. 이러한 방식으로, 포착된 장면의 변화들이 발생한 프레임의 영역들에 속하는 강도 촬상 신호들만이 처리되는 것이 보장된다. 이에 의해, 과잉 중복의 촬상 신호들의 처리가 생략될 수 있고, 이는 전력 소비 및 대역폭 사용의 감소로 이어진다. 이에 의해, 고상 촬상 디바이스에 전력을 공급하기 위한 더 긴 전지 지속 시간 또는 더 작은 전지들의 사용 가능성이 달성될 수 있다. 또한, 증가된 시간적 해상도와 같은 DVS와 같은 이벤트 검출 시스템의 이점이 강도 촬상 신호의 판독으로 전달될 수 있다.

도 1a는 화소 어레이를 포함하는 고상 촬상 디바이스의 이벤트 검출 회로부의 간략화 된 블록도이다.
도 1b는 도 1a에 나타낸 화소 어레이의 간략화 된 블록도이다.
도 1c는 도 1a의 고상 촬상 디바이스의 촬상 신호 판독 회로부의 간략화 된 블록도이다.
도 2는 도 1a 내지 도 1c의 고상 촬상 디바이스의 다른 간략화 된 블록도이다.
도 3은 화소 어레이에 대한 이벤트 계수(event count)의 결과를 간략화 된 방식으로 도시한다.
도 4는 판독을 위한 촬상 화소들의 선택을 간략화 된 방식으로 도시한다.
도 5a 내지 도 5c는 판독 프레임들의 구성을 간략화 된 방식으로 도시한다.
도 6a 내지 도 6c는 판독 프레임들의 다른 구성을 간략화 된 방식으로 도시한다.
도 7a 및 도 7b는 선행 기술에 대한 촬상 신호들의 판독의 차이를 간략화 된 방식으로 도시한다.
도 8a 내지 도 8c는 촬상 신호 판독의 간략화 된 타이밍도들을 도시한다.
도 9는 촬상 신호 판독의 다른 간략화 된 타이밍도를 도시한다.
도 10은 판독을 위한 촬상 신호들을 선택하는 방법의 간략화 된 처리 흐름이다.
도 11은 이벤트들의 위치 데이터를 얻기 위한 데이터 취득 유닛의 간략화 된 블록도이다.
도 12a 및 도 12b는 이벤트 계수 회로부의 간략화 된 블록도들이다.
도 13은 이벤트 계수를 위한 저장 및 계수 유닛의 간략화 된 블록도이다.
도 14는 이벤트 계수의 개략 타이밍도이다.
도 15는 판독을 위한 촬상 신호들을 선택하는 방법의 간략화 된 처리 흐름이다.
도 16은 데이터 취득 유닛과 저장 및 계수 유닛의 상호작용의 간략화 된 블록도이다.
도 17은 데이터 취득 유닛과 저장 및 계수 유닛의 상호작용의 다른 간략화 된 블록도이다.
도 18은 본 발명의 일 실시예에 따른 적층 구조를 갖는 고상 촬상 디바이스의 간략화 된 사시도이다.
도 19는 본 발명에 따른 기술이 적용될 수 있는 다층 고상 촬상 디바이스의 구성예들의 간략도들을 나타낸다.
도 20은 운송수단 제어 시스템의 개략적인 구성의 예를 도시하는 블록도이다.
도 21은 도 20의 운송수단 제어 시스템의 운송수단 외부 정보 검출부 및 촬상부의 설치 위치들의 일례를 설명하는 것을 돕는 도면이다.

도 1a는 이벤트 기반 변화 검출을 사용하는 고상 촬상 디바이스(100)의 블록도이다. 고상 촬상 디바이스(100)는 하나 이상의 촬상 화소들(111)을 갖는 화소 어레이(110)를 포함하고, 각각의 화소(111)는 광전 변환 요소 PD를 포함한다. 화소 어레이(110)는 모든 화소의 광전 변환 요소 PD가 직선 또는 구불구불한 선(선 센서)을 따라 배열된 1차원 화소 어레이일 수 있다. 특히, 화소 어레이(110)은 2차원 어레이일 수 있고, 여기서 화소들(111)의 광전 변환 요소들 PD는 직선 또는 구불구불한 행들과 직선 또는 구불구불한 선들을 따라 배열될 수 있다.

예시된 실시예는 화소들(111)의 2차원 배열을 도시하며, 화소들(111)은 직선 행들을 따라 그리고 행들에 직교하여 이어지는 직선 열들을 따라 배열된다. 각각의 화소(111)는 입사광을 입사광 강도를 나타내는 촬상 신호, 및 광 강도의 변화, 예를 들어, 적어도 상위 임계량만큼의 증가 및/또는 적어도 하위 임계량만큼의 감소를 나타내는 이벤트 신호로 변환한다. 필요하다면, 강도 및 이벤트 검출에 관한 각각의 화소(111)의 기능은 분할될 수 있고, 동일한 입체각을 관찰하는 상이한 화소들이 각각의 기능을 구현할 수 있다. 이 상이한 화소들은 부분 화소들(subpixels)일 수 있고 회로부의 일부를 공유하도록 구현될 수 있다. 상이한 화소들은 또한 상이한 화상 센서들의 일부일 수 있다. 본 발명에 대해, 촬상 신호 및 이벤트 신호를 생성할 수 있는 화소로 언급될 때마다, 이것은 또한 전술한 바와 같이 이러한 기능들을 개별적으로 수행하는 화소들의 조합을 포함하는 것으로 이해되어야 한다.

제어기(120)는 화소 어레이(110) 내의 처리의 흐름 제어를 수행한다. 예를 들어, 제어기(120)는 화소 어레이(110) 내의 개별 화소들(111)에 대한 임계치들을 결정하고 공급하는 임계치 생성 회로(130)를 제어할 수 있다. 판독 회로(140)는 개별 화소들(111)을 어드레싱(addressing)하기 위한 제어 신호들을 제공하고, 이벤트를 나타내는 이러한 화소들(111)의 위치에 관한 정보를 출력한다. 고상 촬상 디바이스(100)는 이벤트 기반 변화 검출을 사용하기 때문에, 판독 회로(140)는 단위 시간당 가변량의 데이터를 출력할 수 있다.

도 1b는 도 1a의 촬상 화소들(111)의 이벤트 검출 능력이 관련되는 범위까지의 촬상 화소들의 예시적인 상세들을 도시한다. 물론, 이벤트들의 검출을 허용하는 임의의 다른 구현이 사용될 수 있다. 각각의 화소(111)는 광 수신기 모듈 PR을 포함하고 화소 백-엔드(300)에 할당되며, 여기서 각각의 완전한 화소 백-엔드(300)는 하나의 단일 광 수신기 모듈 PR에 할당될 수 있다. 대안으로서, 화소 백-엔드(300) 또는 그 일부는 2개 이상의 광 수신기 모듈 PR에 할당될 수 있고, 여기서 화소 백-엔드(300)의 공유된 부분은 할당된 광 수신기 모듈들 PR에 다중화된 방식으로 순차적으로 연결될 수 있다.

광 수신기 모듈 PR은 광전 변환 요소 PD, 예를 들어, 포토다이오드 또는 다른 유형의 광센서를 포함한다. 광전 변환 요소 PD는 충돌 광(impinging light)(9)을 광전 변환 요소 PD를 통해 광전류Iphoto로 변환시키며, 여기서 광전류 Iphoto의 양은 충돌 광(9)의 광 강도의 함수이다.

광 수신기 회로 PRC는 광전류 Iphoto를 광 수신기 신호 Vpr로 변환시킨다. 광 수신기 신호 Vpr의 전압은 광전류 Iphoto의 함수이다.

메모리 캐패시터(310)는 전하를 저장하고, 과거의 광 수신기 신호 Vpr에 의존하는 양을 갖는 전압을 유지한다. 특히, 메모리 캐패시터(310)는 광 수신기 신호 Vpr를 수신하고, 그에 의해 메모리 캐패시터(310)의 제1 노드는 광 수신기 신호 Vpr에 응답하는 전하 및 그에 따라 광전 변환 요소 PD에 의해 수신된 광을 운반한다. 메모리 캐패시터 C1의 제2 노드는 비교기 회로(340)의 비교기 노드(반전 입력)에 연결된다. 따라서 비교기 노드의 전압 Vdiff는 광 수신기 신호 Vpr의 변화에 따라 변한다.

비교기 회로(340)는 현재의 광 수신기 신호 Vpr와 과거의 광 수신기 신호 간의 차이를 임계치와 비교한다. 비교기 회로(340)는 각각의 화소 백-엔드(300)에 있거나, 화소들의 부분 집합(예를 들어, 열) 사이에 공유될 수 있다. 예에 따르면, 각각의 화소(111)는 비교기 회로(340)를 포함하는 화소 백-엔드(300)를 포함하고, 그에 의해 비교기 회로(340)는 촬상 화소(111)에 통합되고 각각의 촬상 화소(111)는 전용 비교기 회로(340)를 갖는다.

메모리 요소(350)는 제어기(120)로부터의 샘플 신호에 응답하여 비교기 출력을 저장한다. 메모리 요소(350)는 샘플링 회로(예를 들어, 스위치 및 기생 또는 명시적 캐패시터) 및/또는 래치 또는 플립-플롭(flip-flop)과 같은 디지털 메모리 회로를 포함할 수 있다. 일 실시예에서, 메모리 요소(350)는 샘플링 회로일 수 있다. 메모리 요소(350)는 1개, 2개 또는 그 이상의 이진 비트를 저장하도록 구성될 수 있다.

리셋 회로(380)의 출력 신호는 비교기 회로(340)의 반전 입력을 미리 정의된 전위(potential)로 설정할 수 있다. 리셋 회로(380)의 출력 신호는 메모리 요소(350)의 내용에 응답하여 그리고/또는 제어기(120)로부터 수신된 전역 리셋 신호에 응답하여 제어될 수 있다.

고상 촬상 디바이스(100)는 다음과 같이 동작한다: 입사 방사(9)의 광 강도의 변화는 광 수신기 신호 Vpr의 변화로 변환된다. 제어기(120)에 의해 지정된 시간들에서, 비교기 회로(340)는 반전 입력(비교기 노드)에서의 Vdiff를 그의 비반전 입력에 인가되는 임계값 Vb와 비교한다. 동시에, 제어기(120)는 비교기 출력 신호 Vcomp를 저장하기 위해 메모리 요소(350)를 작동한다. 메모리 요소(350)는 화소 회로(111) 또는 도 1a에 도시된 판독 회로(140)에 위치할 수 있다.

저장된 비교기 출력 신호의 상태가 광 강도의 변화를 나타내고 또한 전역 리셋 신호 GlobalReset(제어기(120)에 의해 제어됨)가 활성이면, 조건부 리셋 회로(380)는 Vdiff를 알려진 레벨로 리셋하는 리셋 출력 신호를 출력한다.

메모리 요소(350)는 화소(111)에 의해 검출된 광 강도의 임계값 초과의 변화를 나타내는 정보를 포함할 수 있다.

고상 촬상 디바이스(120)는 광 강도 변화가 검출된 화소들(111)의 주소들(화소(111)의 주소는 그것의 행과 열 번호에 대응함)을 출력할 수 있다. 주어진 화소에서의 검출된 광 강도 변화는 이벤트라고 불린다. 보다 구체적으로, '이벤트'라는 용어는, 화소의 광 강도를 표현하면 그것의 함수인 광 수신기 신호가 임계치 생성 회로(130)를 통해 제어기에 의해 인가되는 임계치 이상의 양만큼 변화한 것을 의미한다. 이벤트를 전송하기 위해, 대응하는 화소(111)의 주소는 광 강도 변화가 양인지 음인지를 나타내는 데이터와 함께 전송된다. 광 강도 변화가 양인지 음인지를 나타내는 데이터는 하나의 단일 비트를 포함할 수 있다.

현재 시간 인스턴스와 이전 시간 인스턴스 사이의 광 강도 변화를 검출하기 위해, 각각의 화소(111)는 이전 시간 인스턴스에서의 광 강도의 표현을 저장한다.

더 구체적으로, 각각의 화소(111)는 관련 화소(111)에 등록된 최종 이벤트 시의 광 수신기 신호와 이 화소(111)에서의 현재의 광 수신기 신호 사이의 차이를 나타내는 전압 Vdiff를 저장한다.

이벤트들을 검출하기 위해, 비교기 노드에서의 Vdiff가 광 강도의 증가(ON-이벤트)를 검출하기 위해 제1 임계치와 먼저 비교될 수 있고, 비교기 출력이(명시적 또는 기생) 캐패시터 상에 샘플링되거나 플립-플롭에 저장된다. 이어서 비교기 노드에서의 Vdiff가 광 강도의 감소(OFF-이벤트)를 검출하기 위해 제2 임계치와 비교되고, 비교기 출력이(명시적 또는 기생) 캐패시터 상에서 샘플링되거나 플립-플롭에 저장된다.

전역 리셋 신호는 모든 화소들(111)에 송신되고, 각각의 화소(111)에서 이 전역 리셋 신호는 이벤트가 검출된 화소들만을 리셋하기 위해 샘플링된 비교기 출력과 논리적으로 AND 연산된다. 이어서 샘플링된 비교기 출력 전압들이 판독되고, 대응하는 화소 주소들이 데이터 수신 장치로 전송된다.

도 1c는 액티브 화소 센서(active pixel sensor) APS 형태의 강도 촬상 신호들의 판독에 사용되는 화상 센서 조립체(10)를 포함하는 고상 촬상 디바이스(100)의 구성예를 도시한다. 여기서, 도 1c는 순전히 예시적인 것이다. 촬상 신호들의 판독은 또한 임의의 다른 공지된 방식으로 구현될 수 있다. 전술한 바와 같이, 화상 센서 조립체(10)는 동일한 화소들(111)을 사용할 수 있거나, 각각의 동일한 입체각들을 관찰하는 추가 화소들로 이러한 화소들(111)을 보완할 수 있다. 이하의 설명에서 동일한 화소 어레이(110)를 사용하는 예시적인 경우가 선택된다.

화상 센서 조립체(10)는 화소 어레이(110), 주소 디코더(12), 화소 타이밍 구동 유닛(13), ADC(아날로그-디지털 변환기)(14), 및 센서 제어기(15)를 포함한다.

화소 어레이(110)는 행들 및 열들로 매트릭스 형상으로 배열된 복수의 화소 회로들(11P)을 포함한다. 각각의 화소 회로(11P)는 감광 요소, 및 감광 요소에 의해 출력되는 신호를 제어하기 위한 FET들(전계 효과 트랜지스터)을 포함한다.

주소 디코더(12) 및 화소 타이밍 구동 유닛(13)은 화소 어레이(110)에 배치된 각각의 화소 회로(11P)의 구동을 제어한다. 즉, 주소 디코더(12)는 센서 제어기(15)로부터 공급된 주소, 래치 신호 및 그와 유사한 것에 따라 구동될 화소 회로(11P)를 지정하는 제어 신호 또는 그와 유사한 것을 화소 타이밍 구동 유닛(13)에 공급한다. 화소 타이밍 구동 유닛(13)은 센서 제어기(15)로부터 공급된 구동 타이밍 신호들 및 주소 디코더(12)로부터 공급된 제어 신호에 따라 화소 회로(11P)의 FET들을 구동한다. 화소 회로들(11P)의 전기 신호들(화소 출력 신호들, 촬상 신호들)은 수직 신호선들VSL을 통해 ADC들(14)에 공급되고, 각각의 ADC는(14)는 수직 신호선들 VSL 중 하나에 연결되고, 각각의 수직 신호선 VSL은 화소 어레이 유닛(11)의 한 열의 모든 화소 회로(11P)에 연결된다. 각각의 ADC(14)는 화소 어레이 유닛(11)의 열로부터 연속적으로 출력된 화소 출력 신호들에 대해 아날로그-디지털 변환을 수행하고 디지털 화소 데이터 DPXS를 신호 처리 유닛(19)에 출력한다. 이 목적을 위해, 각각의 ADC(14)는 비교기(23), 디지털-아날로그 변환기(DAC)(22) 및 카운터(24)를 포함한다.

센서 제어기(15)는 화상 센서 조립체(10)를 제어한다. 즉, 예를 들어, 센서 제어기(15)는 주소 및 래치 신호를 주소 디코더(12)에 공급하고, 구동 타이밍 신호를 화소 타이밍 구동 유닛(13)에 공급한다. 또한, 센서 제어기(15)는 ADC(14)를 제어하기 위한 제어 신호를 공급할 수 있다.

화소 회로(11P)는 감광 요소로서 광전 변환 요소 PD를 포함한다. 광전 변환 요소 PD는, 예를 들어, 포토다이오드를 포함할 수 있거나 그것으로 구성될 수 있다. 하나의 광전 변환 요소 PD에 대하여, 화소 회로(11P)는 능동 요소들로서 기능하는 4개의 FET들, 즉, 전송 트랜지스터(transfer transistor) TG, 리셋 트랜지스터(reset transistor) RST, 증폭 트랜지스터(amplification transistor) AMP, 및 선택 트랜지스터(selection transistor) SEL을 가질 수 있다.

광전 변환 요소 PD는 입사광을 전하들(여기서는 전자들)로 광전 변환한다. 광전 변환 요소 PD에서 발생한 전하량은 입사광의 양에 대응한다.

전송 트랜지스터 TG는 광전 변환 요소 PD와 플로팅 디퓨전 영역 FD 사이에 연결된다. 전송 트랜지스터 TG는 광전 변환 요소 PD로부터 플로팅 디퓨전 영역 FD에 전하를 전송하기 위한 전송 요소로서 기능한다. 플로팅 디퓨전 영역 FD은 일시적인 국부적 전하 스토리지의 역할을 한다. 제어 신호로서 기능하는 전송 신호는 전송 제어선을 통해 전송 트랜지스터 TG의 게이트(전송 게이트)에 공급된다.

따라서, 전송 트랜지스터 TG는 광전 변환 요소 PD에 의해 광전 변환된 전자들을 플로팅 디퓨전 FD에 전송할 수 있다.

리셋 트랜지스터 RST는 플로팅 디퓨전 FD와 양 공급 전압 VDD이 공급되는 전력 공급선 사이에 연결된다. 리셋 제어선을 통해 제어 신호로서 기능하는 리셋 신호가 리셋 트랜지스터 RST의 게이트에 공급된다.

따라서, 리셋 요소로서 기능하는 리셋 트랜지스터 RST는 플로팅 디퓨전 FD의 전위를 전력 공급선의 전위로 리셋한다.

플로팅 디퓨전 FD는 증폭 요소로서 기능하는 증폭 트랜지스터 AMP의 게이트에 연결된다. 즉, 플로팅 디퓨전 FD는 증폭 요소로서 기능하는 증폭 트랜지스터 AMP의 입력 노드로서 기능한다.

증폭 트랜지스터 AMP 및 선택 트랜지스터 SEL은 전력 공급선 VDD와 수직 신호선 VSL 사이에 직렬로 연결된다.

따라서, 증폭 트랜지스터 AMP는 선택 트랜지스터 SEL을 통해 신호선 VSL에 연결되고 ADC(14)의 일부로서 도시된 정전류원(21)을 갖는 소스-팔로워(source-follower) 회로를 구성한다.

그 후, 주소 신호에 대응하는 제어 신호로서 기능하는 선택 신호가 선택 제어선을 통해 선택 트랜지스터 SEL의 게이트에 공급되고, 선택 트랜지스터 SEL이 턴 온된다.

선택 트랜지스터 SEL이 턴 온되면, 증폭 트랜지스터 AMP는 플로팅 디퓨전 FD의 전위를 증폭하고 플로팅 디퓨전 FD의 전위에 대응하는 전압을 신호선 VSL에 출력한다. 신호선 VSL은 화소 회로(11P)로부터의 화소 출력 신호를 ADC(14)에 전송한다.

전송 트랜지스터 TG, 리셋 트랜지스터 RST 및 선택 트랜지스터 SEL의 각각의 게이트들은, 예를 들어, 행들 단위로 연결되기 때문에, 이들 동작은 1행의 화소 회로들(11P) 각각에 대해 동시에 수행된다. 또한, 단일 화소 또는 화소군을 선택적으로 판독하는 것도 가능하다.

ADC(14)는 DAC(22), 수직 신호선 VSL에 연결된 정전류원(21), 비교기(23) 및 카운터(24)를 포함할 수 있다.

수직 신호선 VSL, 정전류원(21), 및 화소 회로(11P)의 증폭기 트랜지스터 AMP는 소스-팔로워 회로에 결합된다.

DAC(22)는 기준 신호를 생성하여 출력한다. 규칙적인 간격들로, 예를 들어, 1만큼 증가된 디지털 신호의 디지털-아날로그 변환을 수행함으로써, DAC(22)는 기준 전압 램프(ramp)를 포함하는 기준 신호를 생성할 수 있다. 전압 램프 내에서, 기준 신호는 시간 단위마다 지속적으로 증가한다. 증가는 선형이거나 선형이 아닐 수 있다.

비교기(23)는 2개의 입력 단자들을 갖는다. DAC(22)로부터 출력된 기준 신호는 제1 캐패시터 C1을 통해 비교기(23)의 제1 입력 단자에 공급된다. 수직 신호선 VSL을 통해 전송된 화소 출력 신호는 제2 캐패시터 C2를 통해 비교기(23)의 제2 입력 단자에 공급된다.

비교기(23)는 2개의 입력 단자들에 공급되는 화소 출력 신호와 기준 신호를 서로 비교하고, 비교 결과를 나타내는 비교기 출력 신호를 출력한다. 즉, 비교기(23)는 화소 출력 신호와 기준 신호 사이의 크기 관계를 나타내는 비교기 출력 신호를 출력한다. 예를 들어, 비교기 출력 신호는 화소 출력 신호가 기준 신호보다 높을 때 하이 레벨을 가질 수 있고, 그렇지 않으면 로우 레벨을 가질 수 있거나, 그 반대일 수 있다. 비교기 출력 신호 VCO는 카운터(24)에 공급된다.

카운터(24)는 미리 결정된 클락(clock)에 동기하여 계수 값을 계수한다. 즉, 카운터(24)는 DAC(22)가 기준 신호를 감소시키기 시작할 때 P 위상 또는 D 위상의 시작으로부터 계수 값의 계수를 시작하고, 화소 출력 신호와 기준 신호 사이의 크기 관계가 변하고 비교기 출력 신호가 반전될 때까지 계수 값을 계수한다. 비교기 출력 신호가 반전되면, 카운터(24)는 계수 값의 계수를 정지하고, 그때의 계수 값을 화소 출력 신호의 AD 변환 결과(디지털 화소 데이터 DPXS)로서 출력한다.

전술한 구조들은 이벤트 검출로부터 취득된 이벤트 데이터를 참조함으로써 강도 촬상 신호들의 판독에서 오버헤드들을 감소시키기 위해 조합된 방식으로 사용될 수 있다. 이러한 조합 사용을 위한 고상 촬상 디바이스(100)의 최상위 레벨 구조가 도 2에 개략적으로 나타낸다.

도 2에 도시된 바와 같이, 고상 촬상 디바이스(100)는 화소 어레이(110), 및 고상 촬상 디바이스(100)의 모든 제어 및 처리 기능을 수행하는 제어 유닛(115)을 포함한다. 특히, 화소 어레이(110) 이외의 도 2에 도시된 고상 촬상 디바이스(100)의 모든 요소들은 제어 유닛(115)의 일부이다. 제어 유닛(115)은 반드시 칩, 회로부 또는 프로세서와 같은 단일 요소일 필요는 없고, 여러 개의 부합하는 하드웨어 요소들 및/또는 소프트웨어 기능들에 의해 구성될 수 있다. 또한, 도 2에 나타난 바와 같은 상이한 요소들로의 분리는 단지 예시적인 것이다. 제어 유닛(115)은 본 명세서에 설명된 기능을 수행할 수 있는 한 임의의 구조를 가질 수 있다.

전술한 바와 같이, 화소 어레이(110)의 촬상 화소(111)는 화소에 떨어지는 광의 강도에 따라 촬상 신호를 생성할 수 있다. 제어 유닛(115)은 촬상 신호가 판독을 위해 각각의 ADC들(14)에 전달되는 순서를 선택할 수 있다.

동시에 제어 유닛(115)은, 예를 들어, 이벤트 제어 신호 생성 유닛(116)의 일부일 수 있는, 도 1a의 임계치 생성 회로(130)에 대하여 설명한 바와 같이 이벤트가 발생했는지 여부를 판정하기 위한 임계치들을 포함하는 이벤트 제어 신호 생성 유닛(116)으로부터 제공되는 이벤트 제어 데이터에 기초하여 이벤트 검출을 제어할 수 있다. 이벤트들은, 예를 들어, 도 1b에 대하여 기재된 바와 같이, 데이터 취득 유닛(117)에 의해 판독될 수 있다. 여기서부터, 검출된 이벤트들은 위쪽을 가리키는 화살표로 나타낸 바와 같이 상이한 목적들을 위해 출력될 수 있다. 또한, 이벤트들은 후술되는 바와 같이 더 처리되기 전에 배경 활동 또는 깜빡임 효과들(flicker effects)를 제거하기 위해 필터링될 수 있다.

비-과잉 중복 화상 신호들의 선택을 위해 이벤트 데이터를 사용하기 위해, 제어 유닛(115)은 이벤트의 수를 계수하고 화소 어레이(110)의 어느 부분이 판독되는지를 결정한다. 이를 위해, 제어 유닛(115)은 적어도 하나의 복수의 촬상 화소들(111)을 그룹으로 그룹화하고, 이 그룹에서 얼마나 많은 이벤트들이 발생했는지를 결정한다. 그룹에 대해 계수된 이벤트들의 수가 미리 결정된 판독 임계치를 넘는 경우, 제어 유닛(115)은, 예를 들어, 도 1c와 관련하여 기재된 회로부를 통해, 적어도 이 그룹 내의 화소들의 판독을 개시한다.

화소 어레이(110)은, 예를 들어, 가장 관심 있는 영역에서, 단일 그룹만을 포함할 수 있지만, 전체 화소 어레이(110)를 그러한 그룹들로 분할하는 것이 바람직하다. 그룹들은 중첩되거나 중첩되지 않을 수 있다. 또한, 그룹들의 화소들(111)은 화소 어레이를 완전히 커버할 수 있거나, 임의의 그룹에 속하지 않는 화소들(111)을 포함하는 간극들이 있을 수 있다. 단일 그룹은 임의의 형태를 가질 수 있고, 예를 들어, NxM 화소 매트릭스일 수 있다. 예를 들어, 전체 화소 어레이(110)는 16x16 화소 그룹들로 분할될 수 있다.

특정 그룹에 대한 판독 임계치가 넘겨졌다고 결정된 후에, 대응하는 화소들(111)의 판독이 수행된다. 이것은 전체 화소 영역 중에서 포착된 장면이 변경된, 즉, 새로운 정보가 이용가능한 부분들만이 판독되는 것을 보장한다. 따라서 과잉 중복 정보의 판독이 실질적으로 회피될 수 있어, 전력 소비 및 대역폭 사용의 감소로 이어진다. 미리 결정된 시간 간격들 후의 전체 프레임 판독 대신에, 화소 어레이는 패치별(patch-wise) 방식으로 판독된다. 따라서, 결과적인 화상에서, 풀 프레임 데이터에 기초하여 전체 화상을 새로 드로잉하는 대신에 새로 판독된 패치들만이 업데이트된다. 또한 이는 처리 부담의 감소로 이어진다.

또한, 판독 임계치를 적절히 설정함으로써, 촬상 신호 판독의 선택을 위해 이벤트 데이터를 이용하더라도, 작은 변화량만을 갖는 그룹들은 판독되지 않는 것이 보장될 수 있다. 또한, 판독을 고정된 시간 간격 동안의 이벤트들의 수에 기초하지 않고, 판독 임계치의 위반(transgression)에 기초함으로써, 하나의 패치 내의 변화들이 충분히 커지자마자 판독이 시작되는 것이 보장된다. 따라서, 2개의 고정된 이벤트 계수 기간들에 걸쳐 이어지는 이벤트 시리즈가 판독을 트리거하기에 불충분한 것으로 밝혀지는 상황들이 회피될 수 있고, 그에 의해 정보의 손실을 방지한다.

따라서, 이벤트 임계치 기반 패치별 판독은 중요한 정보가 손실되지 않는 것을 동시에 보장하면서 과잉 중복 정보의 처리를 회피한다.

이 절차의 가능한 구현이 도 2의 우측 부분에 도시되어 있다. 점선들로 도시된 바와 같이, 검출된 이벤트들 및 화소 어레이 내의 그들의 위치는 스마트 액티브 화소 트리거 유닛(118)에 제공된다. 여기서, 화소당 및/또는 그룹당 이벤트들의 수는 계수되고 위치 정보와 함께 저장된다. 여기서, 양 극성 이벤트들, 음 극성 이벤트들 및/또는 어느 한 극성의 이벤트들의 합이 계수되고 저장된다. 판독 임계치가 넘겨진 그룹들에 속하는 촬상 화소들의 판독을 위한 제어 신호들은, 예를 들어, 도 1c와 관련하여 기재된 바와 같은 판독 회로부, 예를 들어, 센서 제어기(15) 및 ADC(14)에 제공된다. 여기서, 판독 촬상 신호들은 상이한 판독 화상 패치들로부터의 전체 프레임 화상을 함께 봉합하는 것을 가능하게 하는 추가 주소 정보를 제공 받는다.

스마트 액티브 화소 트리거 유닛(118) 및 센서 제어기(15)에서의 판독 제어 신호들의 생성은 화소들 각각의 전체 행 및 열 주소에 기초할 수 있다. 그러나, 촬상 화소들(111) 각각에서 또는 그룹들 각각에서 발생한 이벤트들의 수를 하나의 플래그로 나타내는 화소 어레이(110)의 플래그 표현을 사용하는 것도 가능하며, 여기서 촬상 화소들(111) 또는 화소 어레이(110) 내의 그룹들의 위치들과 플래그 표현 내의 이벤트들 수의 표시의 위치들 사이에 일대일 맵이 존재한다.

플래그 표현(200)으로 이어지는 이벤트 계수의 예가 도 3에 개략적으로 나타난다. 도 3은 판독 임계치가 넘겨진 화소 어레이(110) 내의 화소들(111)의 다양한 그룹들(112)을 빗금친 블록들로서 도시한다. 도 3의 화소 어레이(110)의 우측 하부 코너에 있는 6개의 그룹들은 하나의 이러한 그룹(112)을 포함하는 반면, 5개의 그룹들에서는 이벤트들의 수가 판독 임계치 미만이다. 이들 6개의 그룹들에 대해, 이벤트 플래그 표현(200)에 대한 이벤트 계수가 한 유형의 극성에 대해, 예를 들어, 양 극성 이벤트들 또는 음 극성 이벤트들에 대해 도시되어 있다. 물론, 단지 하나의 극성에 초점을 맞추는 대신에 임의의 극성의 이벤트들의 수를 이용하는 것도 가능할 것이다.

도 3의 예에서, 그룹들 각각은 4x4 촬상 화소(111)의 어레이로 구성된다. 이러한 화소들(111) 각각에 대해, 이벤트 계수의 마지막 리셋 이후 발생한 이벤트들의 수는 저장 위치로부터 화소 어레이(110) 내의 위치를 검색하는 것을 허용하는 일대일 맵에 저장된다. 이것은 그룹들을 형성하는 촬상 화소들(111)의 매트릭스에 정확히 대응하는 이벤트 수들의 매트릭스에 의해 도 3에 표현된다.

이 예에서, 좌측 상부 그룹의 이벤트들 합이 71까지인 반면, 다른 그룹들은 8, 4, 8, 5, 및 3의 누적 이벤트 수들을 갖는다. 예를 들어, 10, 20, 또는 50의 판독 임계치를 사용하면, 좌측 상부 그룹만이 임계치를 넘는다. 다음으로, 이 그룹 내의 화소들(111)의 대응하는 행 및 열 주소는 각각의 이벤트 계수들의 저장 위치들로부터 간단히 추론될 수 있다. 따라서, 특정 시간에 판독될 촬상 화소들(111)은 "0" 및 "1"의 문자열로서 전달될 수 있으며, 각각의 "1"은 문자열 내의 "1"의 위치에 대응하는 화소 위치가 판독되어야 한다는 것을 표시한다.

대안적으로, 전체 그룹 위치들은 예를 들어, 그룹의 좌측 상부 화소 및 알려진 그룹 크기만을 참조함으로써 동일한 방식으로 할당될 수 있다. 더 나아가 대안적으로, 제1 그룹 및 연속적인 그룹들의 수만을 참조함으로써, 또는 예를 들어, 그룹들 중 하나를 포함하는 전체 행들을 판독하는 것과 같은, 그 수에 대한 암시적 지식을 사용함으로써 몇몇 연속적인 그룹의 판독이 또한 표시될 수 있다. 각각의 촬상 화소(111)에 각각의 이벤트 계수를 할당하는 표현을 사용하는 대신에, 전체 그룹들에 대한 이벤트들만을 저장하는 것이 또한 가능하다. 도 3의 마지막 6개의 그룹들의 예에서, 이것은 각각의 그룹들에 대한 71, 8, 4, 8, 5 및 3의 엔트리들을 야기하여, 예를 들어, 1, 0, 0, 0, 0, 0의 플래그 문자열로 이어질 것이다. 다시, 이것은 화소 어레이(110) 내의 그룹들의 위치들을 검색하는 것을 허용한다.

물론, 촬상 화소(111) 주소 표시의 임의의 다른 방법이 가능할 것이다. 예를 들어, 대역폭이 허용하는 경우, 판독될 각각의 화소의 전체 행 및 열 주소도 센서 제어기(15)로 전달될 수 있다.

도 4는 판독 흐름의 예를 제공한다. 도 4의(a) 는 판독 임계치 위에 있는 이벤트 계수들을 갖는 그룹들(112)의 수를 도시한다. 도 4의 예에서, 대응하는 행들(113)을 빗금친 방식으로 도시하는 도 4의(b)에 개략적으로 나타낸 바와 같이 그룹들(112)의 행 주소들만을 전달함으로써 추가적인 대역폭 감소가 달성된다. 이러한 행 주소들에 기초하여, 촬상 신호들이 판독된다. 여기서, 도 4의(c)에 도시된 바와 같이 전체 행들(113)을 판독하거나, 도 4의(d)에 도시된 바와 같이 플래그 표현(200)에 의해 제공되는 맵에 기초하여 그룹들(112)의 촬상 화소들만을 더 선택하는 것이 가능하다. 여기서, 촬상 신호들에 더하여 플래그 표현(200)도 결과적인 화상 프레임에서 상이한 후속 촬상 신호들의 위치의 재구성을 허용하기 위해 제1 선으로서 출력된다.

도 4의(c)의 변형은 일정한 선 길이 및 그에 따라서 처리될 일정한 양의 데이터를 갖는 장점을 가지며, 이는 화상 처리를 용이하게 한다. 한편, 도 4의(d)의 변형은 화소 어레이(110) 중 이벤트 계수가 판독 임계차를 넘는 이들 부분들만이 진정으로 판독되는 장점을 가지며, 이는 과잉 중복의 감소를 증가시킨다.

촬상 신호들의 이벤트 계수 기반 선택으로 판독 프레임들을 구성하기 위한 추가 예가 도 5a 내지 도 5c에 도시되며, 여기에 전술한 두 가지 장점들이 조합되며, 즉, 판독 임계치를 초과하는 이벤트 계수를 갖는 그룹들(112)의 촬상 화소들(111)만이 판독되면서 판독 프레임의 선당(per line) 일정한 양의 데이터가 달성될 수 있다.

이를 위해, 화소 어레이(110)은 동일한 크기의 그룹들로, 예를 들어, 16x16=256 촬상 화소(111)의 그룹들로 분할된다. 동시에, 판독 프레임의 선 길이는 그룹들 각각 내의 촬상 화소들(111)의 수로 설정된다. 따라서, 16x16 화소들의 그룹들에 대해, 256개의 촬상 신호들이 판독 프레임의 하나의 선에 포함될 것이다. 이것은 판독 임계치를 넘는 그룹들(112)의 촬상 화소들(111)로, 일대일 방식으로 판독 프레임의 선들을 연속적으로 채우는 것을 허용한다.

예를 들어, 도 5a는 도 3 및 도 4a와 동일한 판독용 그룹들(112)을 도시한다. 이들 그룹들(112)의 촬상 화소들(111)은 도 5c에 도시된 바와 같이 한 행씩 판독되어 판독 프레임(210)을 생성한다. 한 그룹의 화소수가 판독 프레임(210)의 선 길이와 일치하기 때문에, 판독 프레임(210)의 한 선은 그룹들(112)의 M개 행을 판독한 후에 채워질 것이며, 여기서 M은 한 그룹에 포함된 행들의 수이다. 따라서, 16x16 크기의 그룹들에 대해, 그룹들(112)의 16개의 행이 판독된 후에 하나의 선이 채워질 것이다.

이는 도 5b 및 도 5c에 예시적으로 나타난다. 도 5b는 도 5a의 화소 어레이(110)의 동일한 행들에 위치한 처음 5개의 그룹들(112)을 도시한다. 여기서, 이들 5개의 그룹들(112) 중 처음 3개의 행들을 판독하는 것은 15개의 그룹 행들로 이어진다. 따라서, 판독 프레임(210)의 하나의 선을 채우기 위해, 최좌측 그룹(112)의 하나의 추가 행이 판독될 것이다. 판독 프레임의 이러한 행들 및 대응하는 선은 도 5b 및 도 5c에서 흑색으로 나타난다.

다음으로, 동일한 행 내의 다음 4개의 그룹들의 촬상 신호들이 판독되어, 4개의 판독 그룹 행들로 이어질 것이다. 이에 이어서, 5개의 그룹들 모두의 2개의 행들을 따라 완전 판독하여, 다른 10개의 그룹 행들을 제공한다. 나머지 2개의 그룹 행들은 도 5b에 도시된 5개의 그룹들 중 최좌측 2개로부터 취해진다. 이것은 합산하여 최대 16개의 그룹 행들, 즉, 판독 프레임(210)의 한 선에 맞는 256개의 촬상 신호들로 된다. 판독행들 및 대응하는 선은 도 5b 및 도 5c에서 조밀하지 않게 점을 찍는 방식으로 보여진다. 도 5b의 5개의 그룹들(112)의 나머지 행들은 3x1+5x9=48개의 그룹 행들에 이르며, 이는 도 5c의 3개의 조밀하게 점을 찍은 선들로 이어진다. 도 5a의 남은 그룹들(112)은 도 5a 및 도 5c의 빗금에 의해 표시된 바와 같이 판독 프레임의 선들에 끼워 맞춰진다.

따라서, 용이한 처리를 위해 판독 프레임(210)의 선당 일정한 데이터량을 여전히 유지하면서, 판독 임계치 이상의 이벤트 계수들을 갖는 그룹들(112)에 대응하는 촬상 신호들만을 판독할 수 있다. 도 4에 대해 설명된 바와 같이, 또한 이 예에 따르면, 판독 프레임(210) 내의 촬상 신호들의 화소 주소들을 포함하는 선은, 예를 들어, 판독 프레임(210)의 제1 선에 플래그 표현(200)을 포함함으로써 판독 프레임(210)에 포함될 수 있다.

판독 프레임(210) 내의 촬상 신호들의 또 다른 배열이 도 6a 내지 도 6c에 예시적으로 도시된다. 여기서, 플래그 표현(200)을 사용하는 대신에, 하나의 프레임에 포함된 촬상 신호들을 생성하는 촬상 화소들(111)의 행 및 열 주소들은 판독 프레임(210) 내의 추가적인 헤더들로서 표시된다. 특히, 판독 프레임(210)은 원칙적으로 통상의 기술자에게 공지된 바와 같이 프레임 시작 및 프레임 종료를 표시하는 프레임 정보(212), 및 선 시작 및 선 종료를 표시하는 선 정보(214)를 포함할 수 있다. 또한, 판독 프레임(210)에 관한 내장된 정보(216)가 제공될 수 있다. 그러나, 주소 정보(220)는 선 정보(214) 사이에 포함된 데이터(218)에 더하여 또는 추가선으로서 제공될 수 있고, 이 주소 정보(220)는 동일한 선에 포함된 촬상 신호들의 주소들(도 6a 및 도 6b), 또는 판독 프레임(210)에 포함된 모든 촬상 신호들의 주소들(도 6c)을 포함한다. 여기서도, 도 6a에 나타난 바와 같이 고정된 데이터 길이를 이용하거나 도 6b및 도 6c에 도시된 바와 같이 가변 데이터 길이들을 사용할 수 있다. 선당 어드레싱을 사용하는 장점은 선 순서가 추가 처리 없이 분류되지 않을 수 있다는 것인 반면, 플래그 표현(200) 또는 주소들의 전역 표시자에 대해서는 분류되지 않은 선들의 순서는 전역 주소 표시에서 반영되어야 한다.

전술한 방식으로, 판독 프레임들은 하나 또는 다수의 그룹들(112)이 판독 임계치를 넘는 이벤트 계수를 가질 때마다 생성될 수 있다.

도 7a 및 도 7b에 개략적으로 도시된 바와 같이, 전체 촬상 프레임의 화소들을 판독하기 위한 큰 유연성을 초래한다. 특히, 도 7a에 도시된 바와 같이, 선행 기술에 따르면, 전체 강도 화상 프레임들은 미리 결정된 프레임 속도로, 즉, 미리 결정된 시간 간격 후에 판독된다. 대조적으로, 상기 방법에 의해, 화상 패치들은, 포착된 장면의 대응하는 부분에서 관심사가 발생할 때마다, 특히 화상의 이러한 부분에 움직이는 객체가 있는 경우에 판독된다. 이것은 충분한 양의 관찰된 장면이 발생한 강도 화상의 부분들을 업데이트함으로써 강도 화상의 패치별 생성을 초래한다.

이것은 원칙적으로 전체 강도 프레임들을 판독할 필요 없이 수행될 수 있지만, 주어진 상황들 하에서 전체 강도 프레임들의 판독으로, 즉, 화소 어레이 내의 모든 촬상 화소들(111)의 모든 촬상 신호들의 판독으로 순수 이벤트 계수 기반 접근법을 보완하는 것이 유리할 수 있다. 그러나, 이 경우에도, 예를 들어, 도 7b에 나타난 바와 같이, 충분한 양의 과잉 중복 감소가 얻어질 수 있다. 여기서, 모든 촬상 화소들(111)은, 예를 들어, 미리 결정된 시간 간격 후에 미리 결정된 타이밍으로 판독된다. 추가로, 계수된 이벤트들의 수가 미리 결정된 판독 임계치 이상인 그룹들(112) 내의 촬상 화소들(111)의 촬상 신호들이 판독된다.

따라서, 때때로 전체 촬상 범위에 관한, 즉, 전체 화소 어레이(110)로부터의 정보가 취득된다. 또한, 포착된 장면이 언제 어디서나 변경될 때마다 화상 정보를 적응시키기 위해 더 높은 빈도로 패치별 정보가 취득된다. 이러한 방식으로, 화상 재생을 위한 기초를 형성하는 전체 정보 또는 베이스 프레임들을 취득하는 것 사이의 시간은 화상의 부분들을 업데이트하기 위한 패치별 정보 또는 내부 프레임들로 채워진다.

여기서, 도 7b에서 이러한 방식으로 예시가 나타났음에도 불구하고 베이스 프레임들은 또한 내부 프레임들과 인터리브된(interleaved) 방식으로, 즉, 전체 화소 정보가 시간적으로 신장된 방식으로 취득될 수 있다는 점에 유의해야 하며, 이는 그럼에도 불구하고 본 발명의 맥락에서 미리 결정된 타이밍으로서 이해되어야 한다.

이는 도 8a 내지 도 8c에 예시적인 방식으로 나타난다. 도 8a는 시간에 따른 화소 어레이(110)의 행들을 따른 판독 순서를 도시한다. 도 8a의 각각의 블록은 화소 어레이의 한 행의 판독에 대응한다. 여기서, 수직으로 빗금친 블록들은 베이스 프레임(410)의 일부로서 판독되는 행들에 대응하는 반면, 모든 다른 블록은 내부 프레임들(420)의 행들, 즉, 이벤트 계수가 판독 임계치를 넘는 화소 그룹(112)을 포함하는 행들에 대응하며, 행 위치는 블록들(430)에 의해 좌측에 표시된다. 화살표들 A 및 B에 의해 표시된 바와 같이, 다수의 N개의 베이스 프레임 행들(도 8a의 예에서 N=2)의 판독 후에, 다수의 M개의 내부 프레임 행들(도 8b의 예에서 M=3)이 판독되며, 이는 상이한 프레임 행들을 연결하는 일련의 화살표 C에 의해 제1 판독 프레임(210)에 대해 나타난다.

이러한 방식으로, 베이스 프레임(410)에 속하는 행들 및 내부 프레임들(420)의 행들로 구성되는 판독 프레임들(210)이 도 8b에 도시된 바와 같이 형성된다. 따라서, 베이스 프레임(410)에 의해 제공되는 전체 화소 어레이(110)에 관한 완전한 정보는 반드시 단일 판독 프레임(210)으로서 제공되는 것이 아니라, 수 개의 판독 프레임들(210)에 걸쳐 분산될 수 있다. 하지만 베이스 프레임 행들(410)이 롤링(rolling) 방식으로 판독되기 때문에, 이벤트들이 검출되지 않더라도, 전체 화상은 미리 결정된 타이밍으로 업데이트될 것이다. 그러나, 이러한 업데이트는 종래의 화상 센서들에서 사용되는 것보다 더 낮은 프레임 속도로 수행될 수 있는데, 그 이유는 포착된 장면들에서의 실질적인 변화의 발생이 이러한 상황에서 추가로 취득될 내부 프레임들에 의해 커버될 것이기 때문이다.

베이스 프레임(410)의 연속적으로 판독되는 행들의 수 N 및 내부 프레임들(420)의 연속적으로 판독되는 행의 수 M 둘 다는 고상 촬상 디바이스(100)의 성능을 미세 조정(tune)하도록 조절 가능할 수 있다. 게다가, 판독 프레임(210)을 생성하기 위해 이용가능한 시간 간격은 가변적일 수 있고 발생하는 내부 프레임들의 수에 의존할 수 있거나, 모든 M개의 내부 프레임 행들의 판독을 허용하기에 충분히 길고 고정될 수 있다.

예를 들어, 도 8a에서, 취득을 위한 시간 간격은 가변적이고, 예를 들어, 화소 어레이의 마지막 행이 판독된 경우에만 종료한다. 한편, 도 8b는 고정된, 그러나 모든 M=8개의 내부 프레임 행들(420)의 판독을 가능하게 하기에 충분히 긴 시간 간격들을 갖는 예를 도시한다.

상기는 판독 행들의 레벨에서 설명되었지만, 마찬가지의 것이 화소 그룹에 대해 또는 심지어 화소 단위로, 즉, 임계치에서 또는 그 위에서 그룹들(112)에 속하는 화소들(111)의 촬상 신호들과 함께 상이한 판독 프레임들에 포함된 단일 화소들(111)의 촬상 신호들에 의해 베이스 프레임을 구성함으로써 수행될 수 있다.

마찬가지로, 베이스 프레임 행들(410) 및 내부 프레임 행들(420)의 인터리브는 필요하지 않다. 대신에, 도 7b 및 도 9에 도시된 바와 같이, 내부 프레임들의 판독을 시작하기 전에 단일 베이스 프레임(410)의 판독을 먼저 완료하는 것도 가능하다. 도 9에 도시된 바와 같이, 이 구현에서 내부 프레임들은 베이스 프레임보다 높은 프레임 속도로 판독된다.

판독할 촬상 화소들(111)을 선택하기 위해 제어 유닛(115)에 의해 수행되는 전체 처리 흐름은 도 10에 개략적으로 나타난다. S101에서, 그룹들 내의 다양한 촬상 화소들(111)의 이벤트 데이터가 취득된다. S102에서, 이벤트들이 계수되고 계수의 결과가 저장된다. S103에서, 주어진 화소 그룹에 대한 이벤트들의 계수된 수가 미리 결정된 판독 임계치 초과인지(또는 임계치인지)가 결정된다. 그렇지 않은 경우(N), 처리는 S101로 복귀한다. 판독 임계치를 넘는 경우(Y), 판독 임계치 초과의 이벤트 계수들을 갖는 각각의 그룹 또는 모든 그룹들의 화소들의 촬상 신호들의 판독이 S104에서 수행된다.

여기서, 이벤트 데이터의 취득은 데이터 취득 유닛(117)에 의해 수행될 수 있다. 데이터 취득 유닛(117)은 이벤트 스트림, 즉, 예를 들어, 도 1b와 관련하여 전술한 방식으로 취득된 이벤트의 발생을 나타내는 데이터(117a)를 수신한다. 각각의 이벤트에 대해 열 및 행 주소는 주소 추출 유닛(117b)에서 추출된다. 주소 추출 유닛(117b)은 Read_Mem_Valid 신호(117d)를 메모리 유닛(510)에, 그리고 행 및 열 주소에 기초하여 이벤트 계수를 메모리 유닛(510)에 저장하기 위한 주소를 계산하는 메모리 어드레싱 유닛(117c)에 전달한다. 이러한 방식으로, 메모리 어드레싱 유닛(117c)은, 예를 들어, 플래그 표현(200)을 확립하는 데 필요한 화소 어레이(110) 내의 촬상 화소 위치들에 계수 값들을 관련시키기 위한 맵을 제공한다. 메모리 어드레싱 유닛(117c)은 Read_Address 신호(117e)와 Write_Address 신호(117f)를 메모리 유닛(510)에 전달한다. 또한, 주소 추출 유닛(117b)은 다양한 그룹들의 이벤트 수들의 계수를 제어하는 데 필요할 수 있는 다양한 제어 신호(117g)를 출력한다. 제어 신호들(117)은, 예를 들어, 화소 그룹들의 각각의 행에 대한 또는 각각의 화소 그룹에 대한 이벤트 처리의 완료에 관한 정보를 포함할 수 있다. 또한, 제어 신호(117b)는 도 13과 관련하여 기재되는 바와 같이 계수를 위해 사용되는 캐시들(caches)로의 판독 및 기입을 위한 인에이블 신호들을 포함할 수 있다.

S102에서 수행되는 이벤트 계수는 스마트 활성 화소 트리거 유닛(118)에서 수행될 수 있다. 물론, 계수는 제어 유닛(115)의 임의의 다른 부분에서도 수행될 수 있다.

도 12a에 도시된 바와 같이, 화소 어레이(110) 내의 그룹들의 각각의 행(112a)에 대해, 그룹당 이벤트들은 카운터 Cnt에 의해 열별(column-wise)로 계수되고 메모리 유닛(510)에 저장될 수 있다. 이것은 패치 행들에 대한 이벤트들의 총 수의 병렬 계산을 허용하지만, 다수의 카운터 Cnt의 존재로 인한 면적 오버헤드의 단점이 있다. 또한, 대기 시간 감소는 메모리 유닛(510)에서의 동시 기입의 수에 의해 제한될 수 있다.

대안적으로, 도 12b에 도시된 바와 같이, 하나의 행의 그룹들 각각에서 발생하는 이벤트들의 순차적 계수가 수행될 수 있다. 여기서, 촬상 화소들(111)의 주소들은 단일 그룹들에 대해 순차적인 방식으로 데이터 취득 유닛(117)에 전달되고, 이는 메모리 유닛(510)에 메모리 주소들을 생성하고, 복수 발생의 주소들을 인식하고 이러한 방식으로 취득된 이벤트 계수 값을 메모리 유닛(510)에 저장하는 저장 및 계수 유닛(520)을 제어한다.

추가의 대안으로서, 이벤트들은 화소 그룹들에 대한 시프트 레지스터들을 사용함으로써 계수될 수 있다. 그룹들 중 하나에서 이벤트가 발생할 때마다, (그렇지 않으면 "0" 엔트리들만을 포함하는) 시프트 레지스터 내의 "1"의 엔트리가 이동된다. "1"의 엔트리가 판독 임계값에 대응하는 시프트 레지스터 내의 미리 결정된 위치에 도달하면, 대응하는 화소 그룹의 판독을 트리거하는 플래그가 설정된다. 이것은 계수 결과들을 저장하기 위한 추가 메모리가 필요하지 않다는 이점을 갖는다. 그러나, 도 12b에 대해 전술한 바와 같이 카운터 및 화소 주소들을 이용하는 것은 더 효율적인 방식으로 계수를 수행하는 것을 가능하게 한다.

저장 및 계수 유닛(520)의 예가 도 13에 개략적으로 나타나 있다. 주요 구성요소들로서, 저장 및 계수 유닛(520)은 메모리 유닛(510)과 관련하여 동작하는 제1 캐시(521), 제2 캐시(522), 증분 유닛(523) 및 이벤트 비교기(524)를 포함한다. 또한, 저장 및 계수 유닛(520)은 제1 멀티플렉서(525), 제2 멀티플렉서(526), 제3 멀티플렉서(527) 및 디멀티플렉서(528)를 포함한다.

제1 멀티플렉서(525)는 메모리 유닛(510)의 대응하는 위치로부터 화소 그룹의 계수 값을 수신하는 하나의 엔트리, 및 증분 유닛(523)으로 이어지는 출력을 갖는다. 증분 유닛의 출력은 한편으로는 제1 멀티플렉서(525)의 다른 엔트리에 피드백되고, 다른 한편으로는 디멀티플렉서(528)의 엔트리에 제공된다. 제1 멀티플렉서가 데이터 취득 유닛(117)으로부터 Read_Mem_Valid 신호(117d)를 수신하면, 메모리 유닛(510)으로부터의 입력이 전달되고, 그렇지 않으면 피드백 루프의 엔트리가 입력된다.

디멀티플렉서(528)는 데이터 취득 유닛(117)으로부터의 제어 신호들(117d)에 기초하여, 증분 유닛(523)으로부터의 신호를 제1 캐시(521) 또는 제2 캐시(521)에 제공한다. 예를 들어, 그룹들의 행이 완전히 트레딩되었다(treaded)는 것이 표시되면, 제1 캐시(521) 또는 제2 캐시(522)는 그에 따른 제어 신호에 기초하여 선택될 수 있다.

계수 값들이 2개의 캐시들(521, 522) 중 하나에 저장되는 동안, 값들은 다른 캐시(521, 522)로부터 판독되어 메모리 유닛에 피드백되고 판독 임계값(524a)과 비교된다. 이것은, 제2 멀티플렉서(526)가 데이터 취득 유닛(117)의 제어 신호들(117g)에 의해 제어됨으로써 실행된다. 예를 들어, 어느 캐시로부터 판독할 것인지는, 캐시들(521, 522) 중 하나를 선택하는 캐시 제어에 관해, 화소 어레이(210) 내의 모든 화소들(111), 즉, 단일의 완전한 프레임의 완전한 처리에 관해, 메모리 유닛으로부터의 판독이 가능한지 여부, 및 그룹의 처리 완료에 의해 결정된다.

판독을 위해 인에이블 된 캐시들(521, 522)로부터 출력된 계수 값은 이벤트 비교기(524)에서 판독 임계값(524a)과 비교된다. 비교의 이진 결과는 제3 멀티플렉서의 선택 입력으로서 사용된다. 계수가 행해지는 그룹이 판독 임계치를 초과하면, 화소 어레이(110) 내의 대응하는 주소(527)는 대응하는 촬상 신호들의 판독을 위해 출력된다. 그렇지 않다면, 마지막 출력 주소가 출력으로서 반복되는데, 예를 들어, 데이터 유효 신호(data valid signal)가 출력 주소와 함께 전송되어 출력 데이터가 업데이트되는 시기(유효 신호 1)와 그것이 반복되는 시기(유효 신호 0)를 결정할 수 있다.

여기서, 화소 그룹들 각각의 계수 값들을 저장하는 데 사용되는 메모리 유닛(510)은 단일-포트 SRAM으로서 구현될 수 있는 반면, 도시된 이중 포트 캐시들(521, 522)은 중간 계수 값들을 저장하는 데 사용된다. 단일-포트 SRAM 메모리 유닛(510)은, 특히 이중 포트 대응물에 비해, 비교적 적은 면적만이 필요하다는 이점을 갖는다. 단일-포트 SRAM들에 대한 메모리 액세스에 대한 제한들로 인해, 예를 들어, 플립-플롭 기반 이중-포트 캐시들이 도입되고, 이는 또한 면적 오버헤드를 감소시키기에 충분히 작게 형성될 수 있다. 물론, 단일-포트 SRAM 대신에 임의의 다른 유형의 스토리지가 메모리 유닛(510)으로서 사용될 수 있다. 또한, 이중--포트 캐시들(521, 522)은 그들의 설명된 기능들이 구현될 수 있는 한 임의의 형태의 저장 요소에 의해 구현될 수 있다.

도 13에 도시된 저장 및 계수 유닛(520)의 구현에 의해, 예를 들어, 화소 어레이(110)의 행들을 따라 촬상 화소(111)당 이벤트들의 수를 계수하는 것이 가능하다. M개의 열들 및 N개의 행들을 갖는 그룹들에 대해, 그룹들의 제1 행의 계수는 화소 어레이의 처음 N개의 행들에 대한 동작 후에 완료될 것이다. 처음 N개의 행들을 끝낸 후에, 메모리 유닛(510)의 내용이 업데이트되고, 즉, 최종 계수 값들이 저장된다. 이와 동시에, 제1 캐시(521)와 제2 캐시(522) 사이에서 판독 및 기입이 전환된다. 따라서, 처음 N개의 행들에 대해, 예를 들어, 제1 캐시(521)가 대응하는 화소 그룹들의 증분 계수 값들을 저장한 동안, 두번째 N개의 행들에 대해, 제2 캐시(522)는 중간 계수 값들의 저장을 인계받을 것인 반면, 제1 캐시(521)는 그 안에 저장된 계수 값들을 최종 저장을 위해 메모리 유닛(510)에 전달할 것이다. 두번째 N개의 행들 후에, 역할들은 다시 전환하여, 전체 화소 어레이(110)에 대한 이벤트 계수가 종료될 때까지 이 전환을 반복할 것이다. 그 후, 그 동안 계수 값들의 리셋이 발생하지 않는 한, 화소(111) 당 이벤트의 계수는 메모리 유닛(510)의 이전에 저장된 계수 값들을 시작 포인트들로서 사용하여 새로 시작할 것이다.

이러한 방식으로, 이벤트 계수, 및 판독을 위한 화소 면적 영역들의 이에 따른 선택이 효율적인 방식으로 수행될 수 있다. 물론, 필요하다면 2개 보다 많은 캐시들을 이용하는 것도 가능할 것이다. 또한, 이벤트 수에 기초한 촬상 영역들의 선택이 가능한 한, 이벤트 계수 및 이벤트 데이터의 저장은 상이한 방식으로 수행될 수 있다는 것을 이해해야 한다.

도 14는 이벤트 계수의 예시적인 타이밍도를 개략적으로 나타낸다. 도면의 제3 선에서 알 수 있는 바와 같이, 주어진 행에 대한 이벤트 데이터가 열별로 취득된다. 대응하는 주소들은 제4 선에 표시된 바와 같이 생성된다. 선 D에서의 "patch_j"의 "patch_k"로의 변경으로부터 알 수 있는 바와 같이, "EventData" 선의 제2 행의 열 이벤트들은 2개의 상이한 화소 그룹들에 속한다. 제5 선은, 제6 선 "MemData"에 표시된 바와 같이 단일 화소 그룹들의 메모리 데이터의 판독을 허용하는 Read_Mem_Valid 신호를 도시한다.

또한, Read_Mem_Valid 신호 후에, 메모리에 저장된 계수 숫자들은 제7 선 "Count"에 도시된 바와 같이 인출된다. 다음 2개의 선들은 제1 캐시(521)(제8 선, "cache 0") 및 제2 캐시(제9 선, "cache 1")의 각각의 엔트리들을 나타낸다. 여기서, 먼저 제1 캐시(521)는 증가하는 계수 값들을 저장한다. 이들 계수 값들은 제10 선에 도시된 판독 임계치와 비교된다. 하나의 그룹에 대한 계수가 종료된 후에(도 14의 선 D) 계수 숫자가 판독 임계치 이상이면, 이 화상 패치의 대응하는 행 및 열 주소는 제12 선 "APS_Out"에 표시된 바와 같이 판독을 위해 출력된다. 제1 캐시(521)의 계수 값은 "n"에 남아 있는 반면, 제2 캐시(522)의 계수 값은 선 "Count"의 증가에 따라 증가하는, 캐시들 사이의 스위칭(선 E 이후)이 또한 개략적으로 표시된다는 점에 유의해야 한다.

상기의 추가 수정들이 도 15 내지 도 17에 대하여 이하에서 설명될 것이다. 여기서, 변형되지 않은 부분 및 기능의 설명은 간결성을 위해 생략된다.

도 15는 상이한 화소 그룹들에 대한 촬상 신호들의 선택 및 이벤트 계수를 구현하는 가능한 방식들을 나타내는 개략적인 처리 흐름을 나타낸다. 여기서, 상이한 화소 그룹들의 이벤트들을 계수하는 것을 참조하는 도 10과 관련하여 전술한 바와 같은 2개의 처리 흐름들이 도시된다. S103에서 판독 임계값들을 넘는다고 결정되면, 각각의 그룹에 대한 카운터는 점선 화살표 F 및 G에 의해 나타난 바와 같이 리셋될 수 있다. 즉, 판독 임계치를 넘는 그룹의 촬상 신호들이 판독되고 나면, 각각의 메모리 주소의 내용이 리셋되기 때문에, 이 그룹에 대한 이벤트 계수는 0부터 새로 시작된다.

추가적으로 또는 대안적으로, 상이한 그룹들에 걸친 계수 값의 리셋은 S105 및 화살표 H에 의해 표시된 바와 같이 수행될 수 있다. 예를 들어, 단일 그룹의 판독 임계치를 넘는 경우, 모든 카운터들의 값이 리셋될 수 있다. 이것은 충분한 양의 변화가 처음으로 발생한 후에, 모든 이벤트 계수들이 리셋되고, 다음 화소 그룹은 충분한 양의 변화가 다시 발생할 때까지만 판독된다는 것을 의미한다. 이는 증가된 대역폭 감소를 초래할 것이다. 추가의 대안(도시되지 않음)은 이 전역 리셋에 대해 판독 임계치를 넘는 그룹들의 수를 나타내는 리셋 임계치가 구현되는 것이다. 그러면, 판독된 그룹들의 수가 리셋 임계치 이상인 경우에만 전역 리셋이 수행될 것이다.

추가적으로 또는 대안적으로, 그룹들의 전부 또는 일부의 계수 값들은 전역적으로 또는 국부적으로 조절가능하거나 조절가능하지 않을 수 있는 미리 결정된 시간 간격들 후에 리셋될 수 있다. 이것은, 이벤트 계수들이 때때로 0으로 설정되기 때문에, 더 긴 기간에 걸쳐 누적되는 변화들은 판독을 트리거하지 않는 반면, 비교적 짧은 기간들 동안에 발생하는 변화들만이 판독을 트리거하는 것을 보장한다.

이들 기능을 구현하는 방법의 예들은, 취득 유닛(117)과 저장 및 계수 유닛(520)을 도시하는 도 16에서 점선들로 표시되어 있고, 그들의 기능들은 전술된 바와 같다. 단일 그룹에 대한 계수 값을 국부적으로 리셋하기 위해, 이벤트 비교기(524)의 출력에 의해 제어되는 제4 멀티플렉서(529)가 사용될 수 있다. 이 그룹의 계수 값이 미리 결정된 임계값(524a)을 넘으면, "0"이 제4 멀티플렉서(529)에 의해 출력된다. 그렇지 않으면, 캐시들(521, 522)로부터 판독된 계수 값은 메모리 유닛(510)에 전달된다. 이러한 방식으로, 단일 화소 그룹에 대한 계수 값들을 국부적으로 리셋하는 것이 가능하다.

또한, 화살표 I로 표시된 바와 같이, 이벤트 비교기(524)의 출력은 메모리 유닛(510) 내의 모든 계수 값들에 대한 리셋 신호로서 데이터 취득 유닛(117)에 공급될 수 있다. 또한, 나타나지는 않았지만, 데이터 취득 유닛(117)은 판독 임계치 위의 화소 그룹들의 수를 리셋 임계치와 비교하고, 리셋 임계치를 넘는 경우에만 리셋을 실시하는 논리를 포함할 수 있다.

또한, 데이터 취득 유닛(117)은 미리 결정된 또는 조절 가능한 시간 간격들 후에 계수 값들의 국부적 또는 전역 리셋을 수행할 수 있는 하나 또는 복수의 타이머들(117i)을 포함할 수 있다.

계수 값을 리셋하는 다양한 가능성들에 더하여, 판독될 촬상 신호들의 선택은 또한 상이한 화소 그룹들에 대해 상이한 판독 임계치를 허용함으로써 더 유연하게 될 수 있다. 이것은 S103에서 상이한 임계치들 A 및 B를 참조함으로써 도 15에 나타나며, 전용 저장 요소(530)에 의해 또는 메모리 유닛(510)을 이용하여 도 16에 예시적으로 도시된 바와 같이 구현될 수 있다. 상이한 화소 그룹들에 대한 상이한 판독 임계치는 더 많은 유연성을 허용하지만, 메모리 오버헤드는 너무 많은 양의 상이한 임계치에 대해 증가하며, 이는 화소 그룹들의 수 및 따라서 이벤트 기반 판독의 입상도(granularity)를 제한할 수 있다.

전술한 방법들 및 장치들은 과잉 중복 정보의 판독을 감소시키지만, 특정 상황들에서는 촬상 신호들의 판독을 화소 어레이(110)의 특정 관심 영역들에만, 예를 들어, 화소 어레이(110)의 중심 영역에만 초점을 맞추는 것이 유리할 수 있다. 이는 또한 전력 소비의 추가 감소를 가능하게 한다. 이를 위해, S106에서 추가 질의(query)가 구현될 수 있고, 여기서 당면한 화소 그룹이 관심 영역에 속하는지가 문의된다. 그렇다면(Y), 처리는 전술한 바와 같이 S101로 시작한다. 그렇지 않다면(N), 이벤트 계수는 그 화소 그룹에 대해 디스에이블된다(End).

이를 구현하기 위한 하나의 예시적인 방식이 도 17에 도시되어 있으며, 여기서 데이터 취득 유닛(117) 및 저장 및 계수 유닛(520)의 관련 부분들이 도시되어 있다. 여기서, 데이터 취득 유닛(117)은 화소 그룹들 각각에 대한 인에이블/디스에이블 플래그들을 저장하는 인에이블 플래그 레지스터(117j)를 포함한다. 이들 플래그들은 영역 제어 데이터(117k)에 의해 미리 결정된 시간 간격들 후에 업데이트될 수 있다. 영역 제어 데이터(117k)를 제4 멀티플렉서(529)에 접속함으로써, 이것은 화소 그룹의 계수 값이 제로로 설정되는 국부적 리셋에 대해서뿐만 아니라, 일단 화소 그룹이 디스에이블된 후에도 실시될 수 있다.

이 처리에서, 메모리 어드레싱 유닛(117c)은 당면한 촬상 화소들(111)의 열 및 행 값들을 참조하여 각각의 인에이블/디스에이블 플래그에 대한 메모리 주소를 계산하고, 이를 인에이블 플래그 레지스터(117j)에 송신한다. 화소 그룹이 관심 영역에 속하는 영역 제어 데이터(117k)에 부합하는 경우, 대응하는 활성 비트가 인에이블 플래그 레지스터에 설정되고, 메모리 유닛(510)에 대한 판독 유효 신호(117d)로서 기능한다. 화소 그룹에 대한 플래그가 디스에이블 되는 경우, 메모리 유닛(510)으로부터 더 이상의 데이터가 판독되지 않을 것이고, 계수 동작이 일시정지될 것이며, 계수 값이 전술한 바와 같이 0으로 설정될 것이다. 이러한 방식으로, 특정 관심 영역들에 초점을 맞추는 것이 달성될 수 있고, 이는 에너지 소비 및 처리 능력의 추가적인 감소로 이어질 수 있다.

도 18은 상술한 기능들이 구현될 수 있는 매트릭스 형상으로 배열된 복수의 화소들을 갖는 고상 촬상 디바이스(23020)의 적층 구조의 일례를 도시하는 사시도이다. 각각의 화소는 적어도 하나의 광전 변환 요소를 포함한다.

고상 촬상 디바이스(23020)는 제1 칩(상부 칩)(910)과 제2 칩(하부 칩)(920)의 적층 구조를 갖는다.

적층된 제1 및 제2 칩(910, 920)은 제1 칩(910)에 형성된 TC(S)V들(관통 접촉 실리콘 노드들)(Through Contact(Silicon) Vias)을 통해 서로 전기적으로 접속될 수 있다.

고상 촬상 디바이스(23020)는 제1 및 제2 칩(910, 920)이 웨이퍼 레벨에서 함께 접합되고 다이 형성에 의해 절단되는 방식으로 적층 구조를 갖도록 형성될 수 있다.

상위 및 하위 2개의 칩의 적층된 구조에서, 제1 칩(910)은, 각각의 화소의 적어도 하나의 아날로그 구성요소, 예를 들어, 어레이 형태로 배열된 광전 변환 요소들을 포함하는 아날로그 칩(센서 칩)일 수 있다. 예를 들어, 제1 칩(910)은 광전 변환 요소들만을 포함할 수 있다.

대안적으로, 제1 칩(910)은 각각의 광 수신기 모듈의 추가 요소들을 포함할 수 있다. 예를 들어, 제1 칩(910)은, 광전 변환 요소들 외에도, 광 수신기 모듈들의 n-채널 MOSFET들의 적어도 일부 또는 전부를 포함할 수 있다. 대안으로서, 제1 칩(910)은 광 수신기 모듈들의 각각의 요소를 포함할 수 있다.

제1 칩(910)은 또한 화소 백-엔드들(300)의 부분들을 포함할 수 있다. 예를 들어, 제1 칩(910)은 메모리 캐패시터들을 포함할 수 있거나, 메모리 캐패시터들에 더하여, 메모리 캐패시터들과 이벤트 검출 비교기 회로들 사이에 전기적으로 연결된 샘플(sample)/홀드(hold) 회로들 및/또는 버퍼(buffer) 회로들을 포함할 수 있다. 대안적으로, 제1 칩(910)은 완전한 화소 백-엔드들을 포함할 수 있다. 도 1a를 참조하면, 제1 칩(910)은 또한 판독 회로(140), 임계치 생성 회로(130) 및/또는 제어기(120) 또는 전체 제어 유닛의 부분들을 적어도 포함할 수 있다.

제2 칩(920)은 주로 제1 칩(910) 상의 회로들을 고상 촬상 디바이스(23020)에 보완하는 요소들을 포함하는 논리 칩(디지털 칩)일 수 있다. 제2 칩(920)은 또한 아날로그 회로들, 예를 들어, TCV들을 통해 제1 칩(910)으로부터 전송된 아날로그 신호들을 양자화하는 회로들을 포함할 수 있다.

제2 칩(920)은 하나 이상의 본딩 패드 BPD들을 가질 수 있고, 제1 칩(910)은 제2 칩(920)에 와이어-본딩(wire-bonding)하는 데 사용하기 위한 개구들 OPN을 가질 수 있다.

2개의 칩들(910, 920)의 적층된 구조를 갖는 고상 촬상 디바이스(23020)는 다음과 같은 특성 구성을 가질 수 있다:

제1 칩(910)과 제2 칩(920) 사이의 전기적 접속은, 예를 들어, TCV들을 통해 수행된다. TCV들은 칩 단부들에 또는 패드 영역과 회로 영역 사이에 배열될 수 있다. 제어 신호들을 전송하고 전력을 공급하기 위한 TCV들은, 예를 들어, 고상 촬상 디바이스(23020)의 4개의 코너들에 주로 집중될 수 있고, 이에 의해 제1 칩(910)의 신호 배선 면적이 감소될 수 있다.

전형적으로, 제1 칩(910)은 p-형 기판을 포함하고, p-채널 MOSFET들의 형성은 전형적으로 p-채널 MOSFET들의 p-형 소스 및 드레인 영역을 서로로부터 및 추가의 p-형 영역들로부터 분리하는 n-도핑된 웰들(wells)의 형성을 암시한다. 따라서, p-채널 MOSFET들의 형성을 회피하는 것은 제1 칩(910)의 제조 처리를 단순화할 수 있다.

도 19는 고상 촬상 디바이스들(23010, 23020)의 개략적인 구성예들을 나타낸다.

도 19의 A부분에 나타난 단층 고상 촬상 디바이스(23010)는 단일 다이(반도체 기판)(23011)를 포함한다. 화소 영역(23012)(광전 변환 요소들), 제어 회로(23013)(판독 회로, 임계치 생성 회로, 제어기, 제어 유닛), 및 논리 회로(23014)(화소 백-엔드)가 단일 다이(23011) 상에 탑재 및/또는 형성된다. 화소 영역(23012)에서, 화소들을 어레이 형태로 배치된다. 제어 회로(23013)는 화소들의 구동 제어를 포함하는 각종 제어를 수행한다. 논리 회로(23014)는 신호 처리를 수행한다.

도 19의 B 및 C 부분은 적층 구조를 갖는 다층 고상 촬상 디바이스들(23020)의 개략 구성예들을 나타낸다. 도 19의 B 및 C 부분에 나타난 바와 같이, 고상 촬상 디바이스(23020)에는 2개의 다이들(칩들), 즉, 센서 다이(23021)(제1 칩) 및 논리 다이(23024)(제2 칩)이 적층되어 있다. 이들 다이들은 전기적으로 접속되어 단일 반도체 칩을 형성한다.

도 19의 B부분을 참조하면, 화소 영역(23012) 및 제어 회로(23013)는 센서 다이(23021) 상에 형성되거나 장착되고, 논리 회로(23014)는 논리 다이(23024) 상에 형성되거나 장착된다. 논리 회로(23014)는 화소 백-엔드들의 적어도 부분들을 포함할 수 있다. 화소 영역(23012)은 적어도 광전 변환 요소들을 포함한다.

도 19의 C 부분을 참조하면, 화소 영역(23012)은 센서 다이(23021) 상에 형성되거나 장착되는 반면, 제어 회로(23013) 및 논리 회로(23014)는 논리 다이(23024) 상에 형성되거나 장착된다.

다른 예(도시되지 않음)에 따르면, 화소 영역(23012) 및 논리 회로(23014), 또는 화소 영역(23012) 및 논리 회로(23014)의 부분들은 센서 다이(23021) 상에 형성되거나 장착될 수 있고, 제어 회로(23013)는 논리 다이(23024) 상에 형성되거나 장착된다.

복수의 광 수신기 모듈들 PR을 갖는 고상 촬상 디바이스 내에서, 모든 광 수신기 모듈들 PR은 동일한 모드에서 동작할 수 있다. 대안적으로, 광 수신기 모듈들 PR의 제1 서브세트는 낮은 SNR 및 높은 시간적 해상도를 갖는 모드에서 동작할 수 있고, 광 수신기 모듈의 제2 상보적 서브세트는 높은 SNR 및 낮은 시간적 해상도를 갖는 모드에서 동작할 수 있다. 제어 신호는 또한 조명 조건들의 함수가 아니라, 예를 들어, 사용자 설정들의 함수일 수 있다.

<이동체에의 응용예>

본 발명에 따른 기술은 예를 들어, 자동차, 전기 운송수단, 하이브리드 전기 운송수단, 오토바이, 자전거, 개인형 이동장치, 비행기, 드론, 선박, 또는 로봇과 같은 임의의 유형의 이동체에 장착된 장치로서 실현될 수 있다.

도 20은 본 발명의 실시예에 따른 기술이 적용될 수 있는 이동체 제어 시스템의 예로서 운송수단 제어 시스템의 개략적인 구성의 예를 도시하는 블록도이다.

운송수단 제어 시스템(12000)은 통신 네트워크(12001)를 통해 서로 접속된 복수의 전자 제어 유닛들을 포함한다. 도 20에 도시된 예에서, 운송수단 제어 시스템(12000)은 구동 시스템 제어 유닛(12010), 본체 시스템 제어 유닛(12020), 운송수단 외부 정보 검출 유닛(12030), 운송수단 내부 정보 검출 유닛(12040) 및 통합 제어 유닛(12050)을 포함한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로컴퓨터(12051), 소리/화상 출력부(12052), 및 운송수단 탑재형 네트워크 인터페이스(I/F)(12053)가 도시되어 있다.

구동 시스템 제어 유닛(12010)은 다양한 종류의 프로그램들에 따라 운송수단의 구동 시스템에 관련된 장치의 동작을 제어한다. 예를 들어, 구동 시스템 제어 유닛(12010)은 내연 기관, 구동 모터 또는 그와 유사한 것과 같은 운송수단의 구동력을 발생시키기 위한 구동력 발생 장치, 바퀴들에 구동력을 전달하기 위한 구동력 전달 기구, 운송수단의 조향각을 조정하기 위한 조향 기구, 운송수단의 제동력을 발생시키기 위한 제동 장치, 및 그와 유사한 것을 위한 제어 장치로서 기능한다.

본체 시스템 제어 유닛(12020)은 다양한 종류의 프로그램들에 따라 차체에 제공되는 다양한 종류의 장치들의 동작을 제어한다. 예를 들어, 본체 시스템 제어 유닛(12020)은 키리스 엔트리 시스템(keyless entry system), 스마트 키 시스템(smart key system), 파워 윈도우 디바이스(power window device), 또는 헤드 램프(headlamp), 백업 램프(backup lamp), 제동 램프(brake lamp), 방향 지시 램프(turn signal), 안개 램프(fog lamp) 또는 그와 유사한 것과 같은 다양한 종류의 램프들을 위한 제어 장치로서 기능한다. 이 경우, 다양한 종류의 스위치들의 신호들 또는 열쇠에 대한 대안으로서 이동 장치로부터 송신된 전파가 본체 시스템 제어 유닛(12020)에 입력될 수 있다. 본체 시스템 제어 유닛(12020)은 이러한 입력 전파들 또는 신호들을 수신하고, 운송수단의 도어록 디바이스, 파워 윈도우 디바이스, 램프들 또는 그와 유사한 것을 제어한다.

운송수단 외부 정보 검출 유닛(12030)은 운송수단 제어 시스템(12000)을 포함하는 운송수단의 외부에 관한 정보를 검출한다. 예를 들어, 운송수단 외부 정보 검출 유닛(12030)은 촬상부(12031)와 연결된다. 운송수단 외부 정보 검출 유닛(12030)은 촬상부(12031)가 운송수단 외부의 화상을 촬상하게 하고, 촬상된 화상을 수신한다. 수신된 화상에 기초하여, 운송수단 외부 정보 검출 유닛(12030)은 사람, 운송수단, 장애물, 표지판, 노면 상의 문자 또는 그와 유사한 것과 같은 물체를 검출하는 처리, 또는 거기까지의 거리를 검출하는 처리를 수행할 수 있다.

촬상부(12031)는 본 발명에 따른 이벤트 검출 및 광 수신기 모듈들을 갖는 고상 촬상 센서이거나 이를 포함할 수 있다. 촬상부(12031)는 이벤트를 검출한 화소들을 식별하는 위치 정보로서 전기 신호를 출력할 수 있다. 촬상부(12031)에 의해 수광된 광은 가시광일 수 있거나, 적외선 또는 그와 유사한 것과 같은 비-가시광일 수 있다.

운송수단 내부 정보 검출 유닛(12040)은 운송수단의 내부에 관한 정보를 검출하고, 본 발명에 따른 이벤트 검출 및 광 수신기 모듈들을 갖는 고상 촬상 센서이거나 이를 포함할 수 있다. 운송수단 내부 정보 검출 유닛(12040)은, 예를 들어, 운전자의 상태를 검출하는 운전자 상태 검출부(12041)와 연결된다. 운전자 상태 검출부(12041)는, 예를 들어, 운전자에 초점을 맞춘 카메라를 포함한다. 운전자 상태 검출부(12041)로부터 입력된 검출 정보에 기초하여, 운송수단 내부 정보 검출 유닛(12040)은 운전자의 피로 정도 또는 운전자의 집중도를 계산할 수 있거나, 운전자가 졸고 있는지를 결정할 수 있다.

마이크로컴퓨터(12051)는 운송수단 외부 정보 검출 유닛(12030) 또는 운송수단 내부 정보 검출 유닛(12040)에 의해 취득된 정보인 운송수단의 내부 또는 외부에 관한 정보에 기초하여 구동력 발생 장치, 조향 기구, 또는 제동 장치에 대한 제어 목표값을 계산하고, 제어 명령을 구동 시스템 제어 유닛(12010)에 출력할 수 있다. 예를 들어, 마이크로컴퓨터(12051)는 고급 운전자 보조 시스템(advanced driver assistance system)(ADAS)의 기능들을 구현하도록 의도된 협력 제어를 수행할 수 있으며, 그러한 기능들은 운송수단에 대한 충돌 회피 또는 충격 완화, 추종(following) 거리에 기초한 추종 구동, 운송수단 속도 유지 주행, 운송수단의 충돌 경고, 차선으로부터의 운송수단의 이탈 경고 또는 그와 유사한것을 포함한다.

또한, 마이크로컴퓨터(12051)는 운송수단 외부 정보 검출 유닛(12030) 또는 운송수단 내부 정보 검출 유닛(12040)에 의해 취득되는 정보인 운송수단의 외부 또는 내부에 관한 정보에 기초하여 구동력 발생 장치, 조향 기구, 제동 장치 또는 그와 유사한 것을 제어함으로써, 운전자의 조작 또는 그와 유사한 것에 의존하지 않고 자율적으로 운송수단이 주행하게 하는 자동 운전을 위해 의도된 협력 제어를 수행할 수 있다.

또한, 마이크로컴퓨터(12051)는 운송수단 외부 정보 검출 유닛(12030)에 의해 취득된 정보인 운송수단의 외부에 관한 정보에 기초하여 본체 시스템 제어 유닛(12020)에 제어 명령을 출력할 수 있다. 예를 들어, 마이크로컴퓨터(12051)는, 예를 들어, 운송수단 외부 정보 검출 유닛(12030)에 의해 검출된 선행 운송수단 또는 다가오는 운송수단의 위치에 따라, 하이 빔으로부터 로우 빔으로 변경하도록 헤드 램프를 제어함으로써 눈부심을 방지하도록 의도된 협력 제어를 수행할 수 있다.

소리/화상 출력부(12052)는 소리 또는 화상 중 적어도 하나의 출력 신호를, 운송수단의 탑승자 또는 운송수단의 외부에 정보를 시각적으로 또는 청각적으로 통지할 수 있는 출력 장치에 전송한다. 도 20의 예시에서는, 출력 장치로서 오디오 스피커(12061), 표시부(12062), 및 계기판(12063)이 나타나 있다. 표시부(12062)는, 예를 들어, 내장 시현기(on-board display) 또는 전방 시현기(head-up display) 중 적어도 하나를 포함할 수 있다.

도 21은 촬상부(12031)의 설치 위치의 예를 도시하는 도면이며, 촬상부(12031)는 촬상부들(12101, 12102, 12103, 12104, 및 12105)을 포함할 수 있다.

촬상부들(12101, 12102, 12103, 12104, 및 12105)은, 예를 들어, 운송수단(12100)의 전방 노즈(front nose), 사이드-뷰 미러들(side-view mirrors), 후방 범퍼(rear bumper), 및 후방 도어(back door) 상의 위치뿐만 아니라 운송수단의 내부 내의 앞유리(windshield)의 상부 부분 상의 위치에도 배치된다. 전방 노즈에 제공된 촬상부(12101) 및 운송수단의 내부 내의 앞유리의 상부 부분에 제공된 촬상부(12105)는 주로 운송수단(12100)의 전방의 화상을 취득한다. 사이드-뷰 미러들에 제공된 촬상부들(12102 및 12103)은 운송수단(12100)의 측면의 화상을 주로 취득한다. 후방 범퍼 또는 후방 문에 제공된 촬상부(12104)는 주로 운송수단(12100)의 후방의 화상을 취득한다. 운송수단의 내부 내의 앞유리의 상부 부분에 제공된 촬상부(12105)는 주로 선행 운송수단, 보행자, 장애물, 신호, 교통 표지, 차선 또는 그와 유사한 것을 검출하기 위해 사용된다.

부수적으로, 도 21은 촬상부들(12101 내지 12104)의 촬영 범위들의 예시를 도시한다. 촬상 범위(12111)는 전방 노즈에 제공된 촬상부(12101)의 촬상 범위를 나타낸다. 촬상 범위들(12112 및 12113)는 각각 사이드-뷰 미러들에 제공된 촬상부들(12102 및 12103)의 촬상 범위들을 나타낸다. 촬상 범위(12114)는 후방 범퍼 또는 후방 문에 제공된 촬상부(12104)의 촬상 범위를 나타낸다. 위에서 본 운송수단(12100)의 조감도 화상은 예를 들어, 촬상부들(12101 내지 12104)에 의해 촬상된 화상 데이터를 중첩함으로써 얻어진다.

촬상부들(12101 내지 12104) 중 적어도 하나는 거리 정보를 취득하는 기능을 가질 수 있다. 예를 들어, 촬상부들(12101 내지 12104) 중 적어도 하나는 복수의 촬상 요소들로 구성된 스테레오 카메라(stereo camera)일 수 있거나, 위상차 검출을 위한 화소들을 갖는 촬상 요소일 수 있다.

예를 들어, 마이크로컴퓨터(12051)는 촬상부들(12101 내지 12104)로부터 얻어진 거리 정보에 기초하여 촬상 범위들(12111 내지 12114) 내의 각각의 3차원 물체까지의 거리 및 거리의 시간적 변화(운송수단(12100)에 대한 상대 속도)를 결정할 수 있고, 이에 의해 특히 운송수단(12100)의 주행 경로 상에 존재하고 미리 결정된 속도(예를 들어, 0 km/시간 이상)에서 운송수단(12100)과 실질적으로 동일한 방향으로 주행하는 가장 가까운 3차원 물체를 선행 운송수단으로서 추출할 수 있다. 또한, 마이크로컴퓨터(12051)는 선행 운송수단의 전방에 유지될 추종 거리를 미리 설정하고, 자동 제동 제어(추종 정지 제어를 포함함), 자동 가속 제어(추종 시동 제어를 포함함) 또는 그와 유사한 것을 수행할 수 있다. 따라서, 운전자의 조작 또는 그와 유사한 것에 의존하지 않고 자율적으로 운송수단이 주행하게 하는 자동 운전을 위해 의도된 협력 제어를 수행하는 것이 가능하다.

예를 들어, 마이크로컴퓨터(12051)는 촬상부들(12101 내지 12104)로부터 취득된 거리 정보에 기초하여 3차원 물체에 대한 3차원 물체 데이터를 이륜 운송수단, 표준 크기 운송수단, 대형 운송수단, 보행자, 전신주(utility pole), 및 다른 3차원 물체의 3차원 물체 데이터로 분류하고, 분류된 3차원 물체 데이터를 추출하고, 장애물의 자동 회피를 위해 추출된 3차원 물체 데이터를 사용할 수 있다. 예를 들어, 마이크로컴퓨터(12051)는 운송수단(12100) 주위의 장애물들을 운송수단(12100)의 운전자가 시각적으로 인식할 수 있는 장애물들 및 운송수단(12100)의 운전자가 시각적으로 인식하기 어려운 장애물들로 식별한다. 그 후, 마이크로컴퓨터(12051)는 각각의 장애물과의 충돌의 위험을 나타내는 충돌 위험을 결정한다. 충돌 리스크가 설정값 이상이고 따라서 충돌의 가능성이 있는 상황에서, 마이크로컴퓨터(12051)는 오디오 스피커(12061) 또는 표시부(12062)를 통해 운전자에게 경고를 출력하고, 구동 시스템 제어 유닛(12010)을 통해 강제 감속 또는 회피 조향을 수행한다. 마이크로컴퓨터(12051)는 이에 의해 충돌을 회피하기 위해 구동을 보조할 수 있다.

촬상부들(12101 내지 12104) 중 적어도 하나는 적외선들을 검출하는 적외선 카메라일 수 있다. 마이크로컴퓨터(12051)는, 예를 들어, 촬상부들(12101 내지 12104)의 촬상 화상들에 보행자가 있는지의 여부를 판정함으로써 보행자를 인식할 수 있다. 이러한 보행자의 인식은, 예를 들어, 적외선 카메라들로서의 촬상부들(12101 내지 12104)의 촬상 화상 내의 특징점들을 추출하는 절차와, 물체의 윤곽을 나타내는 일련의 특징점에 대하여 패턴 매칭 처리(pattern matching processing)를 행함으로써 보행자인지의 여부를 판정하는 절차에 의해 행해진다. 마이크로컴퓨터(12051)가 촬상부들(12101 내지 12104)의 촬상 화상에 보행자가 있다고 판정하여 보행자를 인식하면, 소리/화상 출력부(12052)는 강조를 위한 정사각형 윤곽선이 인식된 보행자에 중첩되어 표시되도록 표시부(12062)를 제어한다. 소리/화상 출력부(12052)는 또한 보행자를 나타내는 아이콘 또는 그와 유사한 것이 원하는 위치에 표시되도록 표시부(12062)를 제어할 수 있다.

본 발명에 따른 기술이 적용가능한 운송수단 제어 시스템의 예시가 위에서 설명되었다. 이벤트에 의해 트리거된 화상 정보를 취득하기 위해 광 수신기 모듈들을 적용함으로써, 통신 네트워크를 통해 전송되는 화상 데이터가 감소될 수 있고, 운전 지원에 악영향을 미치지 않고 전력 소비를 감소시키는 것이 가능할 수 있다.

또한, 본 기술의 실시예들은 상술한 실시예들에 한정되지 않고, 본 기술의 요지를 일탈하지 않으며 본 기술의 범위 내에서 다양한 변경이 가능하다.

본 발명에 따른 고상 촬상 디바이스는 가시광, 적외선 광, 자외선 광 및 X선들과 같은 방사를 분석 및/또는 처리하는 데 사용되는 임의의 장치일 수 있다. 예를 들어, 고상 촬상 디바이스는 교통 분야, 가전 제품들 분야, 의료 및 건강관리 분야, 보안 분야, 미용 분야, 스포츠 분야, 농업 분야, 화상 재생 분야 또는 그와 유사한 것의 임의의 전자 장치일 수 있다.

구체적으로는, 화상 재생 분야에서, 고상 촬상 디바이스는, 디지털 카메라, 스마트폰, 또는 카메라 기능을 갖는 휴대 전화 디바이스와 같이, 인식을 위해 제공될 화상을 포착하기 위한 장치일 수 있다. 교통 분야에서, 예를 들어, 고상 촬상 디바이스는 자동 정지, 운전자의 상태의 인식 또는 그와 유사한 것과 같은 안전한 운전을 위해 운송수단의 전방, 후방, 주변들, 내부 등을 포착하는 운송수단 내부 센서에, 주행 운송수단들 및 도로들을 감시하는 모니터링 카메라에, 또는 운송수단들 사이의 거리 또는 그와 유사한 것을 측정하는 거리 측정 센서에 통합될 수 있다.

가전 제품들 분야에서, 고상 촬상 디바이스는 TV 수신기들, 냉장고들, 및 에어컨들과 같은 가전 제품들을 위해 제공되는 디바이스들에 사용될 수 있는 임의의 유형의 센서에 통합되어 사용자들의 제스처들을 포착하고 제스처들에 따라 장치 작동들을 수행할 수 있다. 따라서, 고상 촬상 디바이스는 TV 수신기들, 냉장고들, 및 에어컨들과 같은 가전 제품들 및/또는 가전 제품들을 제어하는 디바이스들에 통합될 수 있다. 더욱이, 의료 및 건강관리의 분야에서, 고상 촬상 디바이스는 임의의 유형의 센서, 예를 들어, 내시경 또는 적외선 광을 수신함으로써 혈관조영술(angiography)을 수행하는 디바이스와 같은, 의료 및 건강관리에 사용하기 위해 제공되는 고상 화상 디바이스에 통합될 수 있다.

보안 분야에서, 고상 촬상 디바이스는 범죄 방지를 위한 모니터링 카메라 또는 사람 인증 사용(person authentication use)을 위한 카메라와 같은, 보안에 사용하기 위해 제공된 디바이스에 통합될 수 있다. 또한, 미용 분야에서는, 피부를 포착하는 피부 측정 장치 또는 탐침을 포착하는 현미경과 같은, 미용을 위해 제공된 장치에 고상 촬상 디바이스가 사용될 수 있다. 스포츠 분야에서, 고상 촬상 디바이스는 스포츠용 액션 카메라 또는 웨어러블(wearable) 카메라 또는 그와 유사한 것과 같은, 스포츠에서 사용하기 위해 제공되는 디바이스에 통합될 수 있다. 더욱이, 농업 분야에서, 고상 촬상 디바이스는 현장들 및 농작물들의 상태를 감시하기 위한 카메라와 같은, 농업에서 사용하기 위해 제공된 디바이스에 사용될 수 있다.

본 기술은 또한 이하와 같이 구성될 수 있다:

(1) 고상 촬상 디바이스로서,

복수의 촬상 화소들을 포함하는 화소 어레이 - 복수의 촬상 화소들 각각은 촬상 화소 상에 떨어지는 광의 강도에 따라 촬상 신호를 생성하고, 각각의 미리 결정된 임계치보다 큰 광 강도의 양의 또는 음의 변화를 이벤트로서 검출할 수 있음 -; 및

제어 유닛

을 포함하고, 제어 유닛은,

촬상 화소들의 적어도 하나의 그룹 내에서 발생하는 이벤트들의 수를 계수하고;

그에 따른 계수된 이벤트들의 수가 미리 결정된 판독 임계치 이상이면, 그룹들 중 하나 내의 촬상 화소들의 촬상 신호들을 판독하도록 구성되는,

고상 촬상 디바이스.

(2) (1)에 따른 고상 촬상 디바이스로서,

제어 유닛은 촬상 화소들 각각에서 또는 촬상 화소들의 그룹들 각각에서 발생한 이벤트들의 수를 표시하는 화소 어레이의 플래그 표현을 생성하도록 구성되고, 화소 어레이 내의 촬상 화소들 또는 그룹들의 위치들과 플래그 표현 내의 이벤트들의 수의 표시의 위치들 사이에 일대일 맵이 존재하고;

제어 유닛은 플래그 표현을 참조함으로써 판독 임계치를 넘는 그룹들의 촬상 신호들의 판독을 트리거하도록 구성되는, 고상 촬상 디바이스.

(3) (1) 또는 (2) 중 어느 하나에 따른 고상 촬상 디바이스로서,

제어 유닛은 그룹들 중 하나의 그룹의 촬상 화소들에 속하는 판독된 촬상 신호들에 주소 정보를 할당하도록 구성되며, 주소 정보는 화소 어레이 내의 화소들의 그룹의 위치를 찾는 것을 허용하는, 고상 촬상 디바이스.

(4) (1) 내지 (3) 중 어느 하나에 따른 고상 촬상 디바이스로서,

화소 어레이는 화소 매트릭스를 형성하고;

제어 유닛은 매트릭스 중에서, 그룹들 중 판독 임계치를 넘는 것에 속하는 촬상 화소를 포함하는 모든 행을 판독하도록 구성되는, 고상 촬상 디바이스.

(5) (1) 내지 (3) 중 어느 하나에 따른 고상 촬상 디바이스로서,

판독 임계치를 넘는 그룹들의 촬상 화소들을 판독할 때, 이 그룹들의 촬상 화소들만이 판독되는, 고상 촬상 디바이스.

(6) (5)에 따른 고상 촬상 디바이스로서,

모든 그룹들은 동일한 수의 촬상 화소들을 포함하고;

판독 임계치를 넘는 그룹들의 촬상 화소들의 모든 촬상 신호들은 그룹들 각각 내의 촬상 화소들의 수와 동일한 일정한 길이를 갖는 판독 선들에 배열되는, 고상 촬상 디바이스.

(7) (1) 내지 (6) 중 어느 하나에 따른 고상 촬상 디바이스로서, 제어 유닛은

미리 결정된 타이밍으로 모든 촬상 화소의 촬상 신호들을 판독하고;

계수된 이벤트들의 수가 미리 결정된 판독 임계치 이상인 그룹들 내의 촬상 화소들의 촬상 신호들을 더 판독하도록

구성되는, 고상 촬상 디바이스.

(8) (7)에 따른 고상 촬상 디바이스로서,

판독 임계치를 넘는 그룹들 내의 촬상 화소들의 촬상 신호들의 추가 판독은 미리 결정된 타이밍으로 모든 촬상 화소들의 촬상 신호들의 판독과 인터리브되는, 고상 촬상 디바이스.

(9) (1) 내지 (8) 중 어느 하나에 따른 고상 촬상 디바이스로서,

화소 어레이는 NxM개의 촬상 화소들의 비-중첩(non-overlapping) 그룹들에 의해 완전히 커버되는 행들을 갖는 화소 매트릭스를 형성하고;

제어 유닛은 하나의 행의 그룹들 각각에서 발생하는 이벤트들을 순차적으로 또는 병렬로 계수하여 그룹들 각각에 대해 판독 임계치를 넘었는지를 결정하도록 구성되는, 고상 촬상 디바이스.

(10) (9)에 따른 고상 촬상 디바이스로서,

그룹들 각각에 대한 최종 계수 값들을 저장하도록 구성된 메모리 유닛; 및

그룹들의 중간 계수 값들을 교대로 저장하고 최종 계수 값들을 메모리 유닛에 전송하도록 구성된 복수의 저장 요소들

을 더 포함하는, 고상 촬상 디바이스.

(11) (1) 내지 (10) 중 어느 하나에 따른 고상 촬상 디바이스로서,

제어 유닛은 하나의 그룹에 대해 판독 임계치를 넘는 경우 또는 미리 결정된 수의 그룹들이 판독 임계치를 넘는 경우 모든 그룹들에 대해 전역적으로, 또는 판독 임계치를 넘는 하나의 그룹에 대해 국부적으로, 및/또는 미리 결정된 시간 간격 후에, 계수된 이벤트들의 수를 리셋하도록 구성되는, 고상 촬상 디바이스.

(12) (1) 내지 (11) 중 어느 하나에 따른 고상 촬상 디바이스로서,

그룹들 중 적어도 2개의 그룹에 대한 판독 임계치들이 상이하거나,

모든 그룹들이 동일한 판독 임계치를 갖는, 고상 촬상 디바이스.

(13) (1) 내지 12) 중 어느 하나에 따른 고상 촬상 디바이스로서,

제어 유닛은 화소 어레이의 구성가능한 영역들(configurable regions) 내의 촬상 화소들에 대한 이벤트 계수를 중단(suspend)하도록 구성되는, 고상 촬상 디바이스.

(14) (1) 내지 (13) 중 어느 하나에 따른 고상 촬상 디바이스로서,

제어 유닛은 카운터에 의해 또는 시프트 레지스터에 의해 이벤트들의 수를 계수하도록 구성되는, 고상 촬상 디바이스.

(15) (1) 내지 (14) 중 어느 하나에 따른 고상 촬상 디바이스를 동작시키기 위한 방법으로서, 특히 복수의 촬상 화소들을 포함하는 화소 어레이를 포함하는 고상 촬상 디바이스를 동작시키기 위한 방법으로서,

복수의 촬상 화소들 각각은 촬상 화소 상에 떨어지는 광의 강도에 따라 촬상 신호를 생성하고, 각각의 미리 결정된 임계치보다 큰 광 강도의 양의 또는 음의 변화를 이벤트로서 검출할 수 있고, 방법은,

촬상 화소들의 적어도 하나의 그룹 내에서 발생하는 이벤트들의 수를 계수하는 단계; 및

그에 따른 계수된 이벤트들의 수가 미리 결정된 판독 임계치 이상인 경우, 그룹들 중 하나의 그룹 내의 촬상 화소들의 촬상 신호들을 판독하는 단계

를 포함하는, 방법.

Claims (15)

1. 고상 촬상 디바이스(solid-state imaging device)(100)로서,
   복수의 촬상 화소들(111)을 포함하는 화소 어레이(110) - 상기 복수의 촬상 화소들(111) 각각은 상기 촬상 화소(111) 상에 떨어지는 광의 강도에 따라 촬상 신호를 생성하고, 각각의 미리 결정된 임계치보다 큰 광 강도의 양의 또는 음의 변화를 이벤트로서 검출할 수 있음 -; 및
   제어 유닛(115)
   을 포함하고, 상기 제어 유닛(115)은,
   촬상 화소들(111)의 적어도 하나의 그룹 내에서 발생하는 이벤트들의 수를 계수(count)하고,
   그에 따른 계수된 이벤트들의 수가 미리 결정된 판독 임계치 이상이면, 상기 그룹들 중 하나 내의 상기 촬상 화소들(111)의 촬상 신호들을 판독하도록 구성되는,
   고상 촬상 디바이스.
2. 제1항에 있어서,
   상기 제어 유닛(115)은 상기 촬상 화소들(111) 각각에서 또는 상기 촬상 화소들(111)의 그룹들 각각에서 발생한 이벤트들의 수를 표시하는 상기 화소 어레이(110)의 플래그 표현(200)을 생성하도록 구성되고, 상기 화소 어레이(110) 내의 상기 촬상 화소들(111) 또는 그룹들의 위치들과 상기 플래그 표현(200) 내의 상기 이벤트들의 수의 표시의 위치들 사이에 일대일 맵이 존재하고;
   상기 제어 유닛(115)은 상기 플래그 표현(200)을 참조함으로써 상기 판독 임계치를 넘는 상기 그룹들의 상기 촬상 신호들의 판독을 트리거하도록 구성되는, 고상 촬상 디바이스.
3. 제1항에 있어서,
   상기 제어 유닛(115)은 상기 그룹들 중 하나의 그룹의 상기 촬상 화소들(111)에 속하는 판독된 촬상 신호들에 주소 정보를 할당하도록 구성되며, 상기 주소 정보는 상기 화소 어레이(110) 내의 상기 화소들(111)의 그룹의 위치를 찾는 것을 허용하는, 고상 촬상 디바이스.
4. 제1항에 있어서,
   상기 화소 어레이(110)는 화소 매트릭스를 형성하고;
   상기 제어 유닛(115)은 상기 화소 매트릭스 중에서, 상기 그룹들 중 상기 판독 임계치를 넘는 것에 속하는 촬상 화소(111)를 포함하는 모든 행을 판독하도록 구성되는, 고상 촬상 디바이스.
5. 제1항에 있어서,
   상기 판독 임계치를 넘는 그룹들의 촬상 화소들(111)을 판독할 때, 이 그룹들의 촬상 화소들만이 판독되는, 고상 촬상 디바이스.
6. 제5항에 있어서,
   모든 그룹들은 동일한 수의 촬상 화소들(111)을 포함하고;
   상기 판독 임계치를 넘는 상기 그룹들의 상기 촬상 화소들(111)의 모든 촬상 신호들은 상기 그룹들 각각 내의 촬상 화소들(111)의 수와 동일한 일정한 길이를 갖는 판독 선들에 배열되는, 고상 촬상 디바이스.
7. 제1항에 있어서, 상기 제어 유닛(115)은
   미리 결정된 타이밍으로 모든 촬상 화소들(111)의 촬상 신호들을 판독하고;
   상기 계수된 이벤트들의 수가 상기 미리 결정된 판독 임계치 이상인 그룹들 내의 촬상 화소들(111)의 촬상 신호들을 추가로 판독하도록
   구성되는, 고상 촬상 디바이스.
8. 제7항에 있어서,
   상기 판독 임계치를 넘는 그룹들 내의 촬상 화소들(111)의 촬상 신호들의 추가 판독은 미리 결정된 타이밍으로 모든 촬상 화소들(111)의 촬상 신호들의 판독과 인터리브되는(interleaved), 고상 촬상 디바이스.
9. 제1항에 있어서,
   상기 화소 어레이(110)은 NxM개의 촬상 화소들(111)의 비-중첩(non-overlapping) 그룹들에 의해 완전히 커버되는 행들을 갖는 화소 매트릭스를 형성하고;
   상기 제어 유닛(115)은 하나의 행의 그룹들 각각에서 발생하는 이벤트들을 순차적으로 또는 병렬로 계수하여, 상기 그룹들 각각에 대해 상기 판독 임계치를 넘었는지를 결정하도록 구성되는, 고상 촬상 디바이스.
10. 제9항에 있어서,
    상기 그룹들 각각에 대한 최종 계수 값들을 저장하도록 구성된 메모리 유닛(510); 및
    상기 그룹들의 중간 계수 값들을 교대로 저장하고 최종 계수 값들을 상기 메모리 유닛(510)에 전송하도록 구성된 복수의 저장 요소들(521, 522)
    을 더 포함하는, 고상 촬상 디바이스.
11. 제1항에 있어서,
    상기 제어 유닛(115)은 하나의 그룹에 대해 상기 판독 임계치를 넘는 경우 또는 미리 결정된 수의 그룹들이 상기 판독 임계치를 넘는 경우 모든 그룹들에 대해 전역적으로, 또는 상기 판독 임계치를 넘는 하나의 그룹에 대해 국부적으로, 및/또는 미리 결정된 시간 간격 후에, 계수된 이벤트들의 수를 리셋하도록 구성되는, 고상 촬상 디바이스.
12. 제1항에 있어서,
    상기 그룹들 중 적어도 2개의 그룹들에 대한 판독 임계치들이 상이하거나,
    모든 그룹들이 동일한 판독 임계치를 갖는, 고상 촬상 디바이스.
13. 제1항에 있어서,
    상기 제어 유닛(115)은 상기 화소 어레이(110)의 구성가능한 영역들(configurable regions) 내의 촬상 화소들(111)에 대한 이벤트 계수를 중단(suspend)하도록 구성되는, 고상 촬상 디바이스.
14. 제1항에 있어서,
    상기 제어 유닛(115)은 카운터에 의해 또는 시프트 레지스터에 의해 상기 이벤트들의 수를 계수하도록 구성되는, 고상 촬상 디바이스.
15. 복수의 촬상 화소들(111)을 포함하는 화소 어레이(110)을 포함하는 고상 촬상 디바이스(100)를 동작시키기 위한 방법으로서,
    상기 복수의 촬상 화소들(111) 각각은 상기 촬상 화소(111) 상에 떨어지는 광의 강도에 따라 촬상 신호를 생성하고, 각각의 미리 결정된 임계치보다 큰 광 강도의 양의 또는 음의 변화를 이벤트로서 검출할 수 있고, 상기 방법은,
    촬상 화소들(111)의 적어도 하나의 그룹 내에서 발생하는 이벤트들의 수를 계수하는 단계; 및
    그에 따른 계수된 이벤트들의 수가 미리 결정된 판독 임계치 이상이면, 상기 그룹들 중 하나의 그룹 내의 상기 촬상 화소들(111)의 촬상 신호들을 판독하는 단계
    를 포함하는, 방법.

Images