KR20140005421A

KR20140005421A - 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템

Info

Publication number: KR20140005421A
Application number: KR1020120072462A
Authority: KR
Inventors: 김태찬; 김무영
Original assignee: 삼성전자주식회사
Priority date: 2012-07-03
Filing date: 2012-07-03
Publication date: 2014-01-15
Also published as: US20140009648A1; CN103533263A; US9001220B2; KR101887988B1; CN103533263B

Abstract

이미지 센서 칩의 동작 방법이 개시된다. 컬러 센서 픽셀과 대상의 동작을 감지할 수 있는 DVS(dynamic vision sensor) 픽셀을 포함하는 이미지 센서 칩의 동작 방법은 모드 선택 신호에 따라, 상기 컬러 센서 픽셀과 상기 DVS 픽셀 중에서 어느 하나를 활성화시키는 단계 및 활성화된 어느 하나로부터 출력된 픽셀 신호를 처리하는 단계를 포함한다.

Description

이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템{IMAGE SENSOR CHIP, OPERATION METHOD THEREOF, AND SYSTEM HAVING THE SAME}

본 발명의 개념에 따른 실시 예는 이미지 센서 칩에 관한 것으로, 특히 상기 이미지 센서 칩에 포함된 컬러 센서 픽셀과 모션 센서 픽셀 중에서 어느 하나로부터 출력된 픽셀 신호에 기초하여 이미지 데이터를 얻기 위한 방법과 이를 이용하는 장치들에 관한 것이다.

CMOS 이미지 센서는 상보형 금속산화반도체(Complementary Metal-Oxide Semiconductor, CMOS)를 이용한 센싱 소자이다. CMOS 이미지 센서는 고전압 아날로그 회로를 가지는 CCD 이미지 센서와 비교해 제조 단가가 낮고 소자의 크기가 작아서 소비 전력이 적다는 장점이 있다. 또한, 개발 초기보다 CMOS 이미지 센서의 성능이 향상되어 스마트폰, 디지털 카메라 등의 휴대용 기기를 비롯한 가전 제품에 주로 CMOS 이미지 센서가 탑재되고 있다.

최대한 전력 소모를 줄여야 하는 모바일 환경에서 CMOS 이미지 센서의 전력 소모를 줄이기 위한 연구가 활발히 진행되고 있다. 전력 소모와 성능은 서로 상반 관계(trade-off)에 있으므로, CMOS 이미지 센서의 성능을 저해하지 않는 범위에서 최대한 전력 소모를 줄일 것이 요구된다.

본 발명이 이루고자 하는 기술적인 과제는 이미지 센서 칩에 포함된 컬러 센서 픽셀과 모션 센서 픽셀 중에서 어느 하나로부터 출력된 픽셀 신호에 기초하여 이미지 데이터를 얻음으로써, 효율적으로 동작할 수 있는 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템을 제공하는 것이다.

본 발명의 실시예에 따른 컬러 센서 픽셀과 대상의 동작을 감지할 수 있는 DVS 픽셀을 포함하는 이미지 센서 칩의 동작 방법은 모드 선택 신호에 따라, 상기 컬러 센서 픽셀과 상기 DVS 픽셀 중에서 어느 하나를 활성화시키는 단계 및 활성화된 어느 하나로부터 출력된 픽셀 신호를 처리하는 단계를 포함할 수 있다.

실시예에 따라 상기 활성화시키는 단계 이전에, 상기 DVS 픽셀을 디폴트로 활성화시키는 단계 및 디폴트로 활성화된 DVS 픽셀로부터 출력된 픽셀 신호에 기초하여 상기 모드 선택 신호의 레벨을 변경하는 단계를 더 포함할 수 있다.

실시예에 따라 상기 모드 선택 신호의 레벨을 변경하는 단계는, 디폴트로 활성화된 상기 DVS 픽셀로부터 출력된 픽셀 신호의 처리 결과에 따라 생성된 코드가 모드 변경 코드와 일치하는 경우에 상기 모드 선택 신호의 레벨을 변경할 수 있다.

실시예에 따라 상기 활성화시키는 단계 이전에, 사용자의 입력을 분석하는 단계 및 분석 결과에 따라 상기 모드 선택 신호를 생성하는 단계를 더 포함할 수 있다.

실시예에 따라 상기 컬러 센서 픽셀은 레드 픽셀, 그린 픽셀 및 블루 픽셀 중 어느 하나이고 베이어 패턴(bayer pattern)으로 배치될 수 있다.

본 발명의 다른 실시예에 따른 컬러 센서 픽셀과 대상의 동작을 감지할 수 있는 DVS 픽셀을 포함하는 이미지 센서 칩의 동작 방법은 상기 DVS 픽셀을 활성화시키는 단계, 모드 선택 신호에 따라, 상기 컬러 센서 픽셀의 활성화 여부를 결정하는 단계 및 결정 결과와 상기 모드 선택 신호에 기초하여, 상기 DVS 픽셀과 상기 컬러 센서 픽셀 중에 어느 하나로부터 출력된 픽셀 신호를 처리하는 단계를 포함할 수 있다.

실시예에 따라 상기 픽셀 신호를 처리하는 단계는, 상기 컬러 센서 픽셀이 활성화되는 경우 상기 컬러 센서 픽셀로부터 출력된 픽셀 신호를 처리하고, 상기 컬러 센서 픽셀이 활성화되지 않은 경우 상기 DVS 픽셀로부터 출력된 픽셀 신호를 처리할 수 있다.

본 발명의 실시예에 따른 이미지 센서 칩은 복수의 컬러 센서 픽셀들을 포함하는 컬러 센서 픽셀 그룹과 각각이 대상의 동작을 감지할 수 있는 복수의 DVS 픽셀들을 포함하는 DVS 픽셀 그룹을 포함하는 픽셀 어레이, 모드 선택 신호에 따라, 상기 컬러 센서 픽셀 그룹과 상기 DVS 픽셀 그룹 중에서 어느 하나를 활성화시키기 위한 컨트롤 회로 및 활성화된 어느 하나로부터 출력된 픽셀 신호들을 처리하기 픽셀 신호 처리 회로를 포함할 수 있다.

실시예에 따라 상기 컨트롤 회로의 제어에 따라, 상기 DVS 픽셀 그룹으로 공급되는 전원을 제어하기 위한 모션 센서 픽셀 활성화 컨트롤러를 더 포함할 수 있다.

실시예에 따라 상기 픽셀 신호 처리 회로는, 상기 복수의 DVS 픽셀들 각각으로부터 생성된 복수의 이벤트 신호들 중 적어도 하나를 처리할 수 있는 로우 AER(address event representation) 및 상기 복수의 DVS 픽셀들 각각으로부터 생성된 복수의 이벤트 신호들 중 적어도 다른 하나를 처리할 수 있는 컬럼 AER을 포함하고, 상기 로우 AER은 상기 복수의 컬러 센서 픽셀들 각각을 활성화시키기 위한 로우 드라이버의 반대 쪽에 배치될 수 있다.

실시예에 따라 상기 픽셀 신호 처리 회로는, 상기 복수의 DVS 픽셀들 각각으로부터 생성된 복수의 이벤트 신호들 중 적어도 하나를 처리할 수 있는 로우 AER 및 상기 복수의 DVS 픽셀들 각각으로부터 생성된 복수의 이벤트 신호들 중 적어도 다른 하나를 처리할 수 있는 컬럼 AER을 포함하고, 상기 로우 AER은 상기 복수의 컬러 센서 픽셀들 각각을 활성화시키기 위한 로우 드라이버와 같은 쪽에 배치될 수 있다.

실시예에 따라 상기 DVS 픽셀 그룹과 상기 컬러 센서 픽셀 그룹은 서로 분리되어 배치될 수 있다.

실시예에 따라 상기 복수의 DVS 픽셀들 각각은, 상기 컬러 센서 픽셀들 사이에 배치될 수 있다.

실시예에 따라 상기 복수의 DVS 픽셀들은, 상기 컬러 센서 픽셀 그룹의 가장 자리들에 배치될 수 있다.

실시예에 따라 상기 복수의 DVS 픽셀들과 상기 복수의 컬러 센서 픽셀들은 로우 방향을 따라 번갈아(alternatively) 배치될 수 있다.

실시예에 따라 상기 복수의 DVS 픽셀들과 상기 복수의 컬러 센서 픽셀들은 컬럼 방향을 따라 번갈아(alternatively) 배치될 수 있다.

실시예에 따라 상기 복수의 DVS 픽셀들 각각과 상기 복수의 컬러 센서 픽셀들 각각은 서로 크기가 다를 수 있다.

실시예에 따라 상기 복수의 DVS 픽셀들과 상기 복수의 컬러 센서 픽셀들 중에서 동일한 컬럼 어드레스를 가지는 DVS 픽셀과 컬러 센서 픽셀은 적어도 하나의 신호 라인을 공유할 수 있다.

실시예에 따라 상기 픽셀 신호 처리 회로는 DVS 픽셀 그룹으로부터 출력된 픽셀 신호들을 처리하기 위한 모션 센서 픽셀 신호 처리 회로 및 컬러 센서 픽셀 그룹으로부터 출력된 픽셀 신호들을 처리하기 위한 컬러 센서 픽셀 신호 처리 회로를 포함할 수 있다.

실시예에 따라 상기 모션 센서 픽셀 신호 처리회로의 출력과 상기 컬러 센서 픽셀 신호 처리 회로의 출력 중의 어느 하나를 선택하기 위한 출력 선택 회로를 더 포함할 수 있다.

본 발명의 실시예에 따른 SoC(system on chip)는 상기 이미지 센서 칩, 상기 이미지 센서로부터 출력된 이미지 데이터를 처리하기 위한 ISP(image signal processor) 및 처리된 이미지 데이터를 상기 ISP로부터 수신하고, 상기 처리된 이미지 데이터에 기초하여 모드 선택 신호를 생성하기 위한 모드 선택 회로를 포함할 수 있다.

본 발명의 실시예에 따른 이미지 센서 칩은 컬러 센서 픽셀, 깊이 센서 픽셀과 DVS 픽셀을 포함하는 픽셀 어레이, 모드 선택 신호에 따라 상기 컬러 센서 픽셀 및 상기 깊이 센서 픽셀로부터 전송된 신호와 상기 DVS 픽셀로부터 전송된 신호 중의 어느 하나를 선택하고, 선택된 신호를 출력하기 위한 출력 선택 회로를 포함할 수 있다.

실시예에 따라 상기 컬러 센서 픽셀은 레드 픽셀, 그린 픽셀 및 블루 픽셀 중 어느 하나이고, 상기 컬러 센서 픽셀과 상기 깊이 센서 픽셀은 베이어 패턴(bayer pattern)으로 배치될 수 있다.

실시예에 따라 상기 출력 선택 회로는 멀티플렉서(multiplexer)를 포함할 수 있다.

본 발명의 실시 예에 따른 방법과 장치는 경우에 따라 컬러 센서 픽셀로부터 출력된 픽셀 신호에 기초하여 이미지 데이터를 얻음으로써 대상의 2차원 컬러 이미지를 정밀하게 인식할 수 있는 효과가 있다.

또한, 본 발명의 실시 예에 따른 방법과 장치는 경우에 따라 모션 센서 픽셀로부터 출력된 픽셀 신호에 기초하여 이미지 데이터를 얻음으로써 전력 소모를 줄일 수 있는 효과가 있다.

즉, 본 발명의 실시 예에 따른 방법과 장치는 경우에 따라 대상의 2차원 컬러 이미지를 정밀하게 인식할지 전력 소모를 줄일지 여부를 선택할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시 예에 따른 이미지 처리 시스템의 블록도이다.
도 2는 도 1에 도시된 이미지 센서의 일 실시 예에 따른 블록도이다.
도 3은 도 2에 도시된 픽셀 신호 처리 회로의 일 실시 예를 포함하는 이미지 센서의 블록도이다.
도 4는 도 2에 도시된 픽셀 어레이의 일 실시 예에 따른 픽셀 배열을 나타내는 도면이다.
도 5는 도 2에 도시된 픽셀 어레이의 다른 실시 예에 따른 픽셀 배열을 나타내는 도면이다.
도 6은 도 2에 도시된 픽셀 어레이의 또 다른 실시 예에 따른 픽셀 배열을 나타내는 도면이다.
도 7은 도 2에 도시된 픽셀 어레이의 또 다른 실시 예에 따른 픽셀 배열을 나타내는 도면이다.
도 8a는 도 2에 도시된 픽셀 어레이의 또 다른 실시 예에 따른 픽셀 배열을 나타내는 도면이다.
도 8b는 도 2에 도시된 픽셀 어레이의 또 다른 실시 예에 따른 픽셀 배열을 나타내는 도면이다.
도 9a는 도 2에 도시된 픽셀 어레이의 또 다른 실시 예에 따른 픽셀 배열을 나타내는 도면이다.
도 9b는 도 2에 도시된 픽셀 어레이의 또 다른 실시 예에 따른 픽셀 배열을 나타내는 도면이다.
도 10은 도 4에 도시된 픽셀 어레이의 배선의 일 실시 예를 나타내는 도면이다.
도 11은 도 4에 도시된 픽셀 어레이의 배선의 다른 실시 예를 나타내는 도면이다.
도 12a는 도 10에 도시된 컬러 센서 픽셀의 일 실시예에 따른 회로도이다.
도 12b는 도 10에 도시된 컬러 센서 픽셀의 다른 실시예에 따른 회로도이다.
도 12c는 도 10에 도시된 컬러 센서 픽셀의 또 다른 실시예에 따른 회로도이다.
도 12d는 도 10에 도시된 컬러 센서 픽셀의 또 다른 실시예에 따른 회로도이다.
도 12e는 도 10에 도시된 컬러 센서 픽셀의 또 다른 실시예에 따른 회로도이다.
도 13은 도 10에 도시된 모션 센서 픽셀의 일 실시예를 나타내는 도면이다.
도 14는 도 1에 도시된 이미지 센서의 다른 실시 예에 따른 블록도이다.
도 15는 도 1에 도시된 이미지 센서의 또 다른 실시 예에 따른 블록도이다.
도 16은 도 1에 도시된 이미지 센서의 또 다른 실시 예에 따른 블록도이다.
도 17은 도 2에 도시된 픽셀 신호 처리 회로의 다른 실시 예를 포함하는 이미지 센서의 블록도이다.
도 18은 도 2에 도시된 픽셀 신호 처리 회로의 또 다른 실시 예를 포함하는 이미지 센서의 블록도이다.
도 19는 도 18에 도시된 픽셀 신호 처리 회로의 변형 예의 블록도이다.
도 20은 도 2에 도시된 픽셀 신호 처리 회로의 또 다른 실시 예를 포함하는 이미지 센서의 블록도이다.
도 21은 도 15에 도시된 픽셀 신호 처리 회로의 일 실시 예를 포함하는 이미지 센서의 블록도이다.
도 22는 도 15에 도시된 픽셀 신호 처리 회로의 다른 실시 예를 포함하는 이미지 센서의 블록도이다.
도 23은 도 15에 도시된 픽셀 신호 처리 회로의 또 다른 실시 예를 포함하는 이미지 센서의 블록도이다.
도 24는 도 15에 도시된 픽셀 신호 처리 회로의 또 다른 실시 예를 포함하는 이미지 센서의 블록도이다.
도 25는 본 발명의 일 실시 예에 따른 이미지 센서 칩의 동작 방법의 플로우 차트이다.
도 26은 본 발명의 다른 실시 예에 따른 이미지 센서 칩의 동작 방법의 플로우 차트이다.
도 27은 본 발명의 또 다른 실시 예에 따른 이미지 센서 칩의 동작 방법의 플로우 차트이다.
도 28은 도 1에 도시된 이미지 센서를 포함하는 일 실시 예에 따른 전자 시스템의 블록도이다.
도 29는 도 1에 도시된 이미지 센서를 포함하는 일 실시 예에 따른 시스템의 블록도이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.

본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 다수개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.

도 1은 본 발명의 일 실시 예에 따른 이미지 처리 시스템의 블록도이다.

도 1을 참조하면, 이미지 처리 시스템(image processing system, 10)은 이미지 센서(image sensor, 100), 이미지 신호 프로세서(Image Signal Processor, 200), 디스플레이 유닛(display unit, 205), CPU(Central Processing Unit, 210) 및 주변 회로(peripheral circuit, 220)를 포함할 수 있다. 이미지 처리 시스템(10)은 시스템 온 칩(System on Chip; SoC)의 형태로 구현될 수 있다.

이미지 처리 시스템(10)은 대상의 컬러 이미지 데이터(color image data)를 획득할 수 있는 컬러 센서(color sensor)와 대상의 동작을 감지하여 모션 이미지 데이터(motion image data)를 획득할 수 있는 모션 센서(motion sensor)의 기능을 함께 가질 수 있다.

실시예에 따라 모션 센서는 프레임(frame) 별로 연속적으로 촬상되는 이미지를 분석하고, 분석된 상기 프레임의 음영 정보를 디지털 코드(digital code)로 프레임 메모리(frame memory, 미도시)에 저장할 수 있다. 상기 모션 센서는 상기 프레임 메모리(미도시)에 저장된 이전 프레임의 음영 정보와 새로 입력되는 현재 프레임의 음영 정보를 비교하여 대상의 동작을 감지할 수 있다.

또한, 상기 모션 센서는 하나의 픽셀에 대한 음영 정보를 획득할 때, 인접하는 픽셀들(예컨대, 상, 하, 좌 및 우의 4개 픽셀)의 음영 정보를 함께 처리하여 음영의 이동 방향을 계산할 수 있다.

다른 실시예에 따라 모션 센서는 픽셀 내부에 신호 저장 소자(예컨대, 커패시터)를 구비할 수 있다. 상기 모션 센서는 이전 프레임의 픽셀 신호에 해당하는 전압 값을 저장하고 새로 입력되는 현재 프레임의 픽셀 신호에 해당하는 전압 값을 비교하여 대상의 동작을 감지할 수 있다.

이미지 센서(100)는 적어도 하나 이상의 컬러 센서 픽셀(미도시)로부터 출력되는 컬러 이미지 데이터(color image data) 또는 적어도 하나 이상의 모션 센서 픽셀(미도시)로부터 출력되는 모션 이미지 데이터(motion image data)를 생성하여 디지털 형태의 이미지 데이터(IDATA)를 이미지 신호 프로세서(200)로 전송할 수 있다.

이미지 센서(100)는 CPU(210)로부터 수신된 모드 선택 신호(MSEL)에 따라 컬러 이미지 데이터 또는 모션 이미지 데이터 중 어느 하나에 해당하는 이미지 데이터(IDATA)를 출력할 수 있다.

예컨대, 이미지 센서(100)는 모드 선택 신호(MSEL)가 로우 레벨(low level)일 경우 모션 이미지 데이터에 해당하는 이미지 데이터(IDATA)를 출력할 수 있고, 하이 레벨(high level)일 경우 컬러 이미지 데이터에 해당하는 이미지 데이터(IDATA)를 출력할 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.

다른 실시예에 따라, 이미지 센서(100)는 적어도 하나 이상의 깊이 센서 픽셀(미도시)을 포함하여, 컬러 이미지 데이터와 함께 깊이 이미지 데이터를 출력할 수 있다.

이미지 센서(100)는 별개의 칩으로 구현될 수 있다. 이미지 센서(100)는 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서로 구현될 수 있다.

이미지 신호 프로세서(200)는 이미지 데이터(IDATA)를 수신하고, 수신된 이미지 데이터(IDATA)를 처리하여 처리된 이미지 데이터(IDATA')를 생성할 수 있다. 예컨대, 이미지 신호 프로세서(200)는 이미지 데이터(IDATA)를 프레임 단위로 구성할 수 있다. 또한, 이미지 신호 프로 세서(200)는 이미지 데이터(IDATA)의 명암, 대비, 채도 등을 보정할 수 있다.

이미지 신호 프로세서(200)는 이미지 데이터(IDATA)에 깊이 이미지 데이터가 포함된 경우, ToF(Time of Flight) 방식으로 깊이 센서 픽셀(미도시)의 깊이 정보를 생성하여 상기 깊이 정보를 처리된 이미지 데이터(IDTA’)에 포함시킬 수 있다.

실시예에 따라 이미지 신호 프로세서(200)는 프레임 메모리를 구비하여 이전 프레임의 음영 정보와 현재 프레임의 음영 정보를 비교하여, 비교 결과에 따라 모션 이미지 데이터를 생성할 수 있다.

다른 실시예에 따라 이미지 신호 프로세서(200)는 하나의 픽셀에 대한 음영 정보와 인접하는 픽셀에 대한 음영 정보를 함께 처리하여 음영의 이동 방향을 계산할 수 있다.

또한, 이미지 신호 프로 세서(200)는 처리된 이미지 데이터(IDATA')를 디스플레이 유닛(205)과 CPU(210)로 전송할 수 있다.

실시예에 따라 이미지 신호 프로세서(200)는 이미지 센서(100)에 포함된 컨트롤 레지스터 블록(control register block; 미도시)을 제어하여 이미지 센서(100)의 전반적인 동작을 제어할 수 있다.

실시예에 따라 이미지 신호 프로세서(200)는 이미지 센서(100) 외부에 구현되는 것으로 도시하였으나, 본 발명의 범위는 이에 한정되지 않는다. 예컨대, 상기 이미지 신호 프로세서(200)는 이미지 센서(100) 내부에 구현될 수도 있다.

디스플레이 유닛(205)은 처리된 이미지 데이터(IDATA')를 디스플레이할 수 있으며, 영상을 출력할 수 있는 모든 장치일 수 있다. 예컨대, 디스플레이 유닛(205)은 컴퓨터, 휴대폰, 또는 카메라 등을 포함하는 전자 장치로 구현될 수 있다.

CPU(210)는 이미지 신호 프로세서(200)로부터 처리된 이미지 데이터(IDATA')를 수신하고, 상기 처리된 이미지 데이터(IDATA')에 기초하여 모드 선택 신호(MSEL)를 생성할 수 있다. CPU(210)는 생성된 모드 선택 신호(MSEL)를 이미지 센서(100)로 전송할 수 있다.

이미지 처리 시스템(10)에 전원이 인가될 때, CPU(210)는 디폴트(default)로 정해진 레벨, 예컨대 로우 레벨의 모드 선택 신호(MSEL)를 출력할 수 있다. 만일 CPU(210)가 처리된 이미지 데이터(IDATA')에 기초하여 모드 변경이 필요하다고 판단한 경우 변경된 레벨, 예컨대 하이 레벨의 모드 선택 신호(MSEL)를 출력할 수 있다.

실시예에 따라 CPU(210)는 상기 처리된 이미지 데이터(IDATA')를 미리 저장된 모드 변경 코드(mode modification code)와 비교하여 모드 선택 신호(MSEL)를 생성할 수 있다. 상기 비교 결과 상기 처리된 이미지 데이터(IDATA')가 모드 변경 코드와 일치하는 경우 모드 선택 신호(MSEL)의 레벨을 변경할 수 있다.

예컨대, 상기 모드 변경 코드는 사람의 지문, 얼굴 등의 특정 2차원 이미지, 깊이 정보를 포함한 3차원 이미지 또는 손의 제스쳐(gesture) 등의 연속적인 동작인 기준 모션 이미지에 해당할 수 있다.

실시예에 따라 모드 변경 코드가 사람의 손가락이 동그라미를 그리는 형태의 모션 이미지일 수 있다. 이 경우, CPU(210)는 상기 처리된 이미지 데이터(IDATA')가 사람의 손가락이 동그라미를 그리는 형태의 모션 이미지에 해당하는지 판단하여, 판단 결과에 따라 모드 선택 신호(MSEL)를 생성할 수 있다. 본 발명의 범위는 모드 변경 코드의 형태에 의해 한정 해석되어서는 안된다.

다른 실시예에 따라 디폴트(default)로 모션 센서 만이 동작하고 있고 컬러 센서 픽셀(미도시)이 슬립 모드(sleep mode)에 있어 비활성화되었다고 가정한다. 유저(user)의 특정 모션이 입력되어 상기 특정 모션이 모드 변경 코드와 일치할 때, CPU(210)는 상기 컬러 센서 픽셀(미도시)을 활성화시키거나 이미지 처리 시스템(10)에 연결된 다른 시스템, 예컨대 전원 시스템, 음향 시스템, 특정 어플리케이션 등을 활성화시킬 수 있다.

모드 변경 코드는 유저(user)의 요청에 따라 변경될 수 있다. 또한, 상기 모드 변경 코드는 디폴트(default)로 값으로 설정될 수 있다.

또한, CPU(210)는 주변 회로(220)로부터 수신된 신호(또는 데이터)에 기초하여 모드 선택 신호(MSEL)를 생성하고, 생성된 모드 선택 신호(MSEL)를 이미지 센서(100)로 전송할 수 있다.

이미지 센서(100)는 수신된 모드 선택 신호(MSEL)에 따라 컬러 이미지 데이터 또는 모션 이미지 데이터 중 어느 하나에 해당하는 이미지 데이터(IDATA)를 출력할 수 있다.

주변 회로(220)는 시스템 상태 또는 각종 입력에 따라 발생된 신호(또는 데이터)를 CPU(210)로 제공할 수 있다.

실시예에 따라 주변 회로(220)는 입출력 인터페이스(I/O interface)로 구현될 수 있다. 이 경우 입출력 인터페이스로 구현된 주변 회로(220)는 유저의 입력에 따라 발생된 신호를 CPU(210)로 전달할 수 있다. 상기 입출력 인터페이스는 외부 입력 버튼, 터치 스크린 또는 마우스 등의 모든 입출력 장치에 해당할 수 있다.

다른 실시예에 따라 주변 회로(220)는 전원 모니터링 모듈(power monitoring module)로 구현될 수 있다. 이 경우, 전원 모니터링 모듈로 구현된 주변 회로는 시스템의 전원이 부족하다고 판단되면, 판단 결과에 따른 신호를 CPU(210)로 전달할 수 있다.

또 다른 실시예에 따라 주변 회로(220)는 어플리케이션 실행 모듈로 구현될 수 있다. 이 경우, 어플리케이션 실행 모듈로 구현된 주변 회로(220)는 특정 어플리케이션이 실행되면, 이에 따라 발생된 신호를 CPU(210)로 전달할 수 있다. 예컨대, 상기 특정 어플리케이션은 카메라 촬영 또는 증강 현실 어플리케이션일 수 있으며, 그 외에도 기타 카메라 이미지가 필요한 어플리케이션 등에 해당할 수 있다.

도 2는 도 1에 도시된 이미지 센서의 일 실시 예에 따른 블록도이다.

도 2를 참조하면, 도 1에 도시된 이미지 센서(100)의 일 실시 예에 따른 이미지 센서(100A)는 픽셀 어레이(110), 컨트롤 로직(control logic 또는 컨트롤 회로; 120), 로우 드라이버(row driver; 130), 모션 센서 픽셀 활성화 컨트롤러(motion pixel enable controller;140), 픽셀 신호 처리 회로(pixel signal processing circuit;150)를 포함할 수 있다.

픽셀 어레이(110)는 각각이 대상의 컬러 이미지 데이터(color image data)를 얻기 위한 복수의 컬러 센서 픽셀들(color sensor pixels;C)과 각각이 상기 대상의 동작을 감지할 수 있는 복수의 모션 센서 픽셀들(motion sensor pixels;M)을 포함한다.

실시 예에 따라, 픽셀 어레이(110)는 특정한 파장의 빛을 통과시키기 위한 복수의 컬러 필터 층(color fliter layer, 미도시)으로 구성된 컬러 필터 어레이(color filter array; 미도시)를 더 포함할 수 있다.

다른 실시 예에 따라, 픽셀 어레이(110)는 대상의 깊이 정보(depth information)를 얻기 위한 깊이 센서 픽셀(depth senor pixel; 미도시)들을 더 포함할 수 있다. 깊이 센서 픽셀(미도시)의 픽셀 신호가 TOF(time-of-flight) 방식으로 처리되는 경우, 이미지 센서(100A)는 제어 로직(120)에 의해 제어되는 적외선 광원(미도시)과 상기 적외선 광원으로부터 출력되어 대상에 반사된 반사광 외의 빛을 필터링하기 위한 적외선 통과 필터(미도시)를 더 포함할 수 있다.

실시 예에 따라. 복수의 모션 센서 픽셀들 각각은 DVS(dynamic vision sensor) 픽셀로 구현될 수 있으며 이에 한정되지 않는다.

제어 로직(120)은 모드 선택 신호(MSEL)에 기초하여, 이미지 센서(100A)의 전반적인 동작을 제어할 수 있다.

제어 로직(120)은 로우 드라이버(130), 모션 센서 픽셀 활성화 컨트롤러(140), 및 픽셀 신호 처리 회로(150) 각각을 제어할 수 있다.

로우 드라이버(130)는 제어 로직(120)의 제어에 따라 복수의 컬러 센서 픽셀들(C)을 로우(row) 단위로 활성화시킬 수 있다.

모션 센서 픽셀 활성화 컨트롤러(140)는 제어 로직(120)의 제어에 따라 복수의 모션 센서 픽셀들(M)을 활성화시킬 수 있다. 실시 예에 따라 모션 센서 픽셀 활성화 컨트롤러(140)는 제어 로직(120)의 제어에 따라 복수의 모션 센서 픽셀들로 공급되는 전원을 제어할 수 있다.

실시 예에 따라, 제어 로직(120)은 모드 선택 신호(MSEL)에 기초하여, 복수의 컬러 센서 픽셀들(C)을 포함하는 컬러 센서 픽셀 그룹(color sensor pixel group)과 복수의 모션 센서 픽셀들(M)을 포함하는 모션 센서 픽셀 그룹(motion sensor pixel group) 중에서 어느 하나가 활성화되도록 로우 드라이버(130)와 모션 센서 픽셀 활성화 컨트롤러(140)를 제어할 수 있다.

이 경우, 픽셀 신호 처리 회로(150)는 픽셀 어레이(110)로부터 출력된 픽셀 신호(예컨대, 모션 센서 픽셀(M)로부터 출력된 픽셀 신호 또는 컬러 센서 픽셀(C)로부터 출력된 픽셀 신호)를 처리하여, 처리 결과를 이미지 데이터(IDATA)로 출력할 수 있다.

다른 실시 예에 따라, 제어 로직(120)은 복수의 모션 센서 픽셀들(M)을 포함하는 모션 센서 픽셀 그룹이 활성화되어 있는 상태에서, 모드 선택 신호(MSEL)에 따라 복수의 컬러 센서 픽셀들(C)을 포함하는 컬러 센서 픽셀 그룹의 활성화 여부만을 제어할 수 있다.

이 경우, 픽셀 신호 처리 회로(150)는 제어 로직(120)의 제어에 따라, 모션 센서 픽셀(M)로부터 출력된 픽셀 신호와 컬러 센서 픽셀(C)로부터 출력된 픽셀 신호 중에서 어느 하나를 선택하고, 선택 결과에 기초하여 이미지 데이터(IDATA)를 출력할 수 있다.

실시 예에 따라, 복수의 모션 센서 픽셀들(M) 각각이 DVS(dynamic vision sensor) 픽셀로 구현되는 경우, 픽셀 신호 처리 회로(150)는 AER(address event representation; 미도시)을 포함할 수 있다.

상기 AER은 광량의 변화가 감지됨에 따라 복수의 모션 센서 픽셀들(M) 각각으로부터 출력되는 이벤트 신호(event signal)를 처리하고, 상기 이벤트 신호가 발생된 모션 센서 픽셀을 리셋시키기 위한 신호를 상기 모션 센서 픽셀로 전송할 수 있다. 상기 AER의 배치에 대해서는 도 3, 도 17, 도 18, 및 도 20을 참조하여 상세히 설명된다.

다른 실시예에 따라, 픽셀 어레이(110)가 깊이 센서 픽셀들(미도시)을 더 포함하는 경우, 깊이 센서 픽셀들(미도시)의 활성화 제어, 깊이 센서 픽셀들(미도시)로부터 출력된 픽셀 신호의 처리는 컬러 센서 픽셀들(C)의 활성화 제어, 컬러 센서 픽셀들(C)로부터 출력된 픽셀 신호의 처리와 실질적으로 동일하다.

도 3은 도 2에 도시된 픽셀 신호 처리 회로의 일 실시 예를 포함하는 이미지 센서의 블록도이다.

도 3은 복수의 모션 픽셀들(M) 각각이 DVS(dynamic vision sensor) 픽셀로 구현된 경우의 이미지 센서(100A-1)를 나타낸다.

도 2와 도3을 참조하면, 도 2에 도시된 픽셀 신호 처리 회로(150)의 일 실시 예에 따른 픽셀 신호 처리 회로(150A)는 컬럼 AER(column AER(address event representation); 154)과 리드아웃 회로(read-out circuit; 156), 로우 AER(row AER;158) 및 출력 선택 회로(output selection circuit;160)를 포함할 수 있다.

픽셀 어레이(110)에 포함된 복수의 모션 센서 픽셀들(M) 각각은 광량의 변화에 따라 이벤트 신호를 출력할 수 있다. 상기 이벤트 신호에 대해서는 도 13을 참조하여 상세히 설명된다. 이 경우, 컬럼 AER(154)은 상기 이벤트 신호를 수신하고 수신된 이벤트 신호에 기초하여 상기 이벤트 신호가 발생 된 모션 센서 픽셀의 컬럼 어드레스 값을 출력할 수 있다.

리드아웃 회로(156)는 픽셀 어레이(110)에 포함된 복수의 컬러 센서 픽셀들(C) 각각으로부터 출력된 픽셀 신호를 수신하고, 수신된 픽셀 신호를 처리할 수 있다.

실시 예에 따라, 리드아웃 회로(156)는 컬럼 디코더(column decoder; 미도시), 컬럼 드라이버(column driver; 미도시), CDS 블록(Correlated Double Sampling block; 미도시), ADC 블록(Analog Digital Converter block; 미도시), 출력 버퍼(output buffer; 미도시) 등을 포함할 수 있다.

컬럼 AER(154)과 리드아웃 회로(156) 각각은 별개의 회로로 구현될 수 있다.

로우 AER(158)은 모션 센서 픽셀들(M) 각각으로부터 출력된 이벤트 신호를 수신하고 수신된 이벤트 신호에 기초하여 상기 이벤트 신호가 발생 된 모션 센서 픽셀의 로우 어드레스 값을 출력할 수 있다. 상기 로우 어드레스 값은 출력 선택 회로(160)로 전송될 수 있다.

로우 AER(158)은 로우 드라이버(130)의 반대 쪽에 구현될 수 있다.

출력 선택 회로(160)는 제어 로직(120)의 제어에 따라 컬럼 AER(154)의 출력, 로우 AER(158)의 출력, 및 리드아웃 회로(156)의 출력 중에서 적어도 어느하나를 선택하여, 선택 결과에 기초하여 이미지 데이터(IDATA)를 출력할 수 있다.

실시 예에 따라, 출력 선택 회로(160)는 제어 로직(120)의 제어에 따라 컬럼 AER(154)의 출력과 로우 AER(158)의 출력을 선택하고, 선택 결과에 기초하여 이미지 데이터(IDATA)를 출력할 수 있다.

다른 실시 예에 따라, 출력 선택 회로(160)는 제어 로직(120)의 제어에 따라 리드아웃 회로(156)의 출력을 선택하고, 선택 결과에 기초하여 이미지 데이터(IDATA)를 출력할 수 있다.

출력 선택 회로(160)는 복수의 입력 신호들 중에서 어느 하나를 선택하기 위한 유닛, 예컨대 멀티 플렉서(muiltiplexer)로 구현될 수 있으며 이에 한정되는 것은 아니다.

실시 예에 따라, 복수의 컬러 센서 픽셀들(C)을 포함하는 컬러 센서 픽셀 그룹과 복수의 모션 센서 픽셀들(M)을 포함하는 모션 센서 픽셀 그룹 중에서 어느 하나로부터 신호가 출력되는 경우, 출력 선택 회로(160)는 상기 신호를 바이 패스(by-pass)할 수 있다.

다른 실시예에 따라, 픽셀 어레이(110)가 깊이 센서 픽셀들(미도시)을 포함하는 경우, 출력 선택 회로(160)는 모드 선택 신호(MSEL)에 따라 상기 컬러 센서 픽셀(C) 및 상기 깊이 센서 픽셀(미도시)로부터 전송된 픽셀 신호와 모션 센서 픽셀(M)로부터 전송된 픽셀 신호 중의 어느 하나를 선택하고, 선택된 신호를 출력할 수 있다.

도 4는 도 2에 도시된 픽셀 어레이의 일 실시 예에 따른 픽셀 배열을 나타내는 도면이다. 도 5는 도 2에 도시된 픽셀 어레이의 다른 실시 예에 따른 픽셀 배열을 나타내는 도면이다. 도 6은 도 2에 도시된 픽셀 어레이의 또 다른 실시 예에 따른 픽셀 배열을 나타내는 도면이다. 도 7는 도 2에 도시된 픽셀 어레이의 또 다른 실시 예에 따른 픽셀 배열을 나타내는 도면이다. 도 8a는 도 2에 도시된 픽셀 어레이의 또 다른 실시 예에 따른 픽셀 배열을 나타내는 도면이다. 도 8b는 도 2에 도시된 픽셀 어레이의 또 다른 실시 예에 따른 픽셀 배열을 나타내는 도면이다. 도 9a는 도 2에 도시된 픽셀 어레이의 또 다른 실시 예에 따른 픽셀 배열을 나타내는 도면이다. 도 9b는 도 2에 도시된 픽셀 어레이의 또 다른 실시 예에 따른 픽셀 배열을 나타내는 도면이다.

도 4 내지 도 7에서는 설명의 편의를 위하여 픽셀 어레이(110)는 각각 5개의 로우와 컬럼을 가지는 5x5 매트릭스 형태로 가정하며, 이에 한정되지 않는다.

도 2와 도 4 내지 도 7을 참조하면, 픽셀 어레이(110)는 복수의 컬러 센서 픽셀들(C)을 포함하는 컬러 센서 픽셀 그룹(color sensor pixel group)과 복수의 모션 센서 픽셀들(M)을 포함하는 모션 센서 픽셀 그룹(motion sensor pixel group)으로 구성될 수 있다. 예컨대, 모션 센서 픽셀 그룹은 DVS 픽셀들을 포함할 수 있으며, DVS 픽셀들은 컬러 센서 픽셀들(C)에 비해 저전력으로 동작할 수 있다.

실시 예에 따라 컬러 센서 픽셀 그룹과 모션 센서 픽셀 그룹은 모드 선택 신호(MSEL)에 따라 선택적으로 또는 동시에 활성화될 수 있다.

예컨대, 저전력으로 동작할 수 있는 모션 센서 픽셀 그룹이 디폴트로 활성화되고 컬러 픽셀 그룹이 슬립 모드(sleep mode) 상태일 때, 유저(user)의 특정 모션이 모드 변경 코드와 일치할 경우 모드 선택 신호(MSEL)에 따라 컬러 센서 픽셀 그룹이 활성화될 수 있다.도 4에 도시된 픽셀 어레이(110)의 일 실시 예에 따른 픽셀 배열(110-1)에 포함된 컬러 센서 픽셀들(C) 각각은 모션 센서 픽셀들(M) 사이에 배치될 수 있다.

실시 예에 따라, 인접하는 컬러 센서 픽셀들(C) 사이에 복수의 모션 센서 픽셀들(M)이 배치될 수 있으며, 본 발명의 범위는 이에 한정되지 않는다.

다른 실시 예에 따라, 컬러 센서 픽셀들(C)과 모션 센서 픽셀들(M)이 일정하지 않은 간격으로 배치될 수 있다.

도 5에 도시된 픽셀 어레이(110)의 다른 실시 예에 따른 픽셀 배열(110-2)은 내부에 형성되는 컬러 센서 픽셀 그룹과 상기 컬러 센서 픽셀 그룹의 가장 자리들에 형성되는 모션 센서 픽셀들(M)을 포함할 수 있다.

즉, 모션 센서 픽셀들(M)로 구성된 모션 센서 픽셀 그룹은 컬러 센서 픽셀들(C)로 구성된 컬러 센서 픽셀 그룹의 테두리에 배치될 수 있다.

실시 예에 따라, 컬러 센서 픽셀들(C)이 모션 센서 픽셀들(M)의 가장 자리들에 배치될 수 있다.

또한, 도 5에서는 모션 센서 픽셀들(M)이 컬러 센서 픽셀들(C)의 가장 자리에 하나의 픽셀 라인(line)으로 배치되어 있으나, 복수의 라인으로 배치될 수도 있다.

도 6에 도시된 픽셀 어레이(110)의 또 다른 실시 예에 따른 픽셀 배열(110-3)에 포함된 컬럼들 각각은 컬러 센서 픽셀들(C) 또는 모션 센서 픽셀들(M)로만 구성될 수 있다.

즉, 상기 복수의 모션 센서 픽셀들(M)과 상기 복수의 컬러 센서 픽셀들(C)은 컬럼 방향을 따라 번갈아(alternatively) 배치될 수 있다.

도 6에서는 컬러 센서 픽셀 그룹에 해당하는 컬럼과 모션 센서 픽셀 그룹에 해당하는 컬럼이 번갈아 배치되어 있으나, 컬러 센서 픽셀들(C)로 구성되고 인접한 컬럼들 사이에 모션 센서 픽셀들(M)로 구성된 복수의 컬럼들이 배치될 수도 있다.

실시 예에 따라, 컬러 센서 픽셀들(C)을 포함하는 컬럼과 모션 센서 픽셀들(M)을 포함하는 컬럼은 불규칙한 간격으로 배치될 수도 있다.

실시 예에 따라, 컬러 센서 픽셀들(C)을 포함하는 컬럼과 모션 센서 픽셀들(M)을 포함하는 컬럼은 로우 노이즈(row noise)를 제거하기 위한 L-OB(Line-Optical Black) 픽셀들이 함께 형성될 수 있다. 예컨대, 컬러 센서 픽셀들(C)을 포함하는 컬럼들과 모션 센서 픽셀들(M)을 포함하는 컬럼들이 배치된 영역의 좌우 양 끝에 L-OB 픽셀들을 포함하는 컬럼들이 형성될 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.

로우 노이즈는 컬러 센서 픽셀들(C)이 출력하는 각각의 픽셀 신호에 포함되는 노이즈이다. 상기 로우 노이즈는 이미지 데이터(IDATA)에 가로 줄무늬의 모양의 잡음을 일으킬 수 있다.

또한, 로우 노이즈는 주로 이미지 센서(100)에 공급되는 파워(power)의 변화, 로우 드라이버(130)의 구동 시 발생하는 노이즈 등이 주원인이 되며, 시간에 따라 달라지는 특성(time-variant)을 갖는다.

ISP(200)는 컬러 센서 픽셀(C)이 출력하는 픽셀 신호로부터 컬러 센서 픽셀(C)과 동일한 로우에 속한 L-OB 픽셀의 픽셀 신호를 감산하여 로우 노이즈를 제거하여 처리된 이미지 데이터(IDATA’)를 생성할 수 있다.

L-OB 픽셀은 입사광을 차단하는 차광막(미도시)을 포함할 수 있다.

도 7에 도시된 픽셀 어레이(110)의 또 다른 실시 예에 따른 픽셀 배열(110-4)은 로우 각각이 컬러 센서 픽셀들(C) 또는 모션 센서 픽셀들(M)로만 구성될 수 있다.

즉, 상기 복수의 모션 센서 픽셀들(M)과 상기 복수의 컬러 센서 픽셀들(C)은 로우 방향을 따라 번갈아(alternatively) 배치될 수 있다.

도 7에서는 컬러 센서 픽셀 그룹에 해당하는 로우와 모션 센서 픽셀 그룹에 해당하는 로우가 번갈아 배치되어 있으나, 컬러 센서 픽셀들(C)로 구성되고 인접한 로우들 사이에 모션 센서 픽셀들(M)로 구성된 복수의 로우들이 배치될 수도 있다.

실시 예에 따라, 컬러 센서 픽셀들(C)을 포함하는 로우와 모션 센서 픽셀들(M)을 포함하는 로우는 불규칙한 간격으로 배치될 수도 있다.

실시 예에 따라, 컬러 센서 픽셀들(C)을 포함하는 로우와 모션 센서 픽셀들(M)을 포함하는 로우는 로우 노이즈(row noise)를 제거하기 위한 L-OB(Line-Optical Black) 픽셀들이 함께 형성될 수 있다.

도 8a 내지 도 9b를 참조하면, 모션 센서 픽셀(M)과 컬러 센서 픽셀(C)의 상대적인 크기에 따른 픽셀 어레이(110)의 픽셀 배열(110-5a, 110-6a)이 나타나 있다. 또한, 픽셀 어레이(110)가 깊이 센서 픽셀(Z)을 포함할 경우의 픽셀 어레이(110)의 픽셀 배열(110-5b, 110-6b)이 나타나 있다.

도 8a에 도시된 픽셀 어레이(110)의 또 다른 실시 예에 따른 픽셀 배열(110-5a)은 모션 센서 픽셀(M)의 크기가 RGB 컬러 센서 픽셀(R,G,B)과 동일한 경우를 나타낸다. 하나의 모션 센서 픽셀(M)의 크기가 RGB 컬러 센서 픽셀(R, G, B)과 동일하므로 2x2로 구성되는 픽셀 어레이(110)의 픽셀 배열은 RGB 컬러 센서 픽셀(R, G, B)들 및 모션 센서 픽셀(M) 하나씩으로 구성될 수 있다.

도 8b에 도시된 픽셀 어레이(110)의 또 다른 실시 예에 따른 픽셀 배열(110-5b)은 하나씩의 RGB 컬러 센서 픽셀(R,G,B)과 함께 깊이 센서 픽셀(Z)이 베이어 패턴(bayer pattern)으로 배치될 수 있다. 즉, RGB 컬러 센서 픽셀(R,G,B)들과 깊이 센서 픽셀(Z)들은 3D(three-dimension) 센서 픽셀 그룹을 형성할 수 있다. 상기 베이어 패턴 주변에 적어도 하나 이상의 모션 센서 픽셀(M)이 배치될 수 있다.

도 9a에 도시된 픽셀 어레이(110)의 또 다른 실시 예에 따른 픽셀 배열(110-6a)은 모션 센서 픽셀(M)의 크기가 RGB 컬러 센서 픽셀들(R, G, B) 4개의 크기와 동일한 경우를 나타낸다. 하나의 모션 센서 픽셀(M)의 크기가 베이어 패턴으로 배열된 RGB 컬러 센서 픽셀들(R, G, B) 4개의 크기와 동일하므로 상기 4개의 RGB 컬러 센서 픽셀들(R, G, B)과 하나의 모션 센서 픽셀(M) 간의 픽셀 배열은 도 4 내지 도 7에 도시된 픽셀 배열들 중 어느 하나에 해당할 수 있다.

도 9b에 도시된 픽셀 어레이(110)의 또 다른 실시 예에 따른 픽셀 배열(110-6b)은 모션 센서 픽셀(M)의 크기가 3D 센서 픽셀 그룹에 포함된 하나의 베이어 패턴의 크기와 동일하다. 이때, 상기 하나의 베이어 패턴으로 배열된 3D 센서 픽셀 그룹과 모션 센서 픽셀(M) 간의 픽셀 배열은 도 4 내지 도 7에 도시된 픽셀 배열들 중 어느 하나에 해당할 수 있다.

또한, 실시예에 따라 모션 센서 픽셀(M)과 컬러 센서 픽셀(C)의 상대적인 크기는 다양하게 변형될 수 있다.

도 10은 도 4에 도시된 픽셀 어레이의 배선의 일 실시 예를 나타내는 도면이다.

도 4 및 도 10을 참조하면, 도 4에 도시된 픽셀 어레이(110)의 일부(112) 및 각각 별개의 회로로 구현된 컬럼 AER(154)과 리드아웃 회로(156)가 나타나 있다. 픽셀 어레이(110)의 일부(112)는 컬러 센서 픽셀(C), 제1 모션 센서 픽셀(112-1) 및 제2 모션 센서 픽셀(112-2)을 포함한다.

제1 모션 센서 픽셀(112-1)은 컬러 센서 픽셀(C)과 동일한 로우 어드레스를 가지며, 제2 모션 센서 픽셀(112-2)은 컬러 센서 픽셀(C)과 동일한 컬럼 어드레스를 가진다.

로우 방향으로 형성되는 배선은 선택 신호 라인(SEL), 리셋 신호 라인(RS), 전송 신호 라인(TG), 로우 AER 이벤트 신호 라인(REQY) 및 로우 AER 리셋 신호 라인(ACKY)를 포함할 수 있다.

선택 신호 라인(SEL)은 로우 드라이버(130)와 컬러 센서 픽셀(C)에 접속될 수 있다. 로우 드라이버(130)는 선택 신호 라인(SEL)을 통해 선택 신호를 컬러 센서 픽셀들(C)로 전송할 수 있다.

리셋 신호 라인(RS)과 전송 신호 라인(TG) 각각은 로우 드라이버(130)와 컬러 센서 픽셀(C)에 접속될 수 있다. 로우 드라이버(130)는 리셋 신호 라인(RS)과 전송 신호 라인(TG) 각각을 통해 리셋 신호와 전송 신호 각각을 컬러 센서 픽셀들(C)로 전송할 수 있다.

로우 AER 이벤트 신호 라인(REQY)은 로우 AER(158)과 제1 모션 센서 픽셀(112-1)에 접속될 수 있다. 제1 모션 센서 픽셀(112-1)은 로우 AER 이벤트 신호 라인(REQY)을 통해 온/오프 이벤트 신호를 로우 AER(158)로 전송할 수 있다.

로우 AER 리셋 신호 라인(ACKY)은 로우 AER(158)과 제1 모션 센서 픽셀(112-1)에 접속될 수 있다. 로우 AER(158)은 로우 AER 이벤트 신호 라인(REQY)을 통해 제1 DVS리셋 신호를 제1 모션 센서 픽셀(112-1)로 전송할 수 있다.

컬럼 방향으로 형성되는 배선은 픽셀 신호 라인(PIXEL), 컬럼 AER 온 이벤트 신호 라인(REQX_ON), 컬럼 AER 오프 이벤트 신호 라인(REQX_OFF) 및 컬럼 AER 리셋 신호 라인(ACKX)를 포함할 수 있다.

픽셀 신호 라인(PIXEL)은 리드 아웃 회로(156)와 컬러 센서 픽셀(C)에 접속될 수 있다. 컬러 센서 픽셀(C)은 픽셀 신호 라인(PIXEL)을 통해 픽셀 신호를 리드 아웃 회로(156)로 전송할 수 있다.

컬럼 AER 온 이벤트 신호 라인(REQX_ON)은 컬럼 AER(154)과 제2 모션 센서 픽셀(112-2)에 접속될 수 있다. 제2 모션 센서 픽셀(112-2)은 컬럼 AER 온 이벤트 신호 라인(REQX_ON)을 통해 온 이벤트 신호를 컬럼 AER(154)로 전송할 수 있다.

컬럼 AER 오프 이벤트 신호 라인(REQX_OFF)은 컬럼 AER(154)과 제2 모션 센서 픽셀(112-2)에 접속될 수 있다. 제2 모션 센서 픽셀(112-2)은 컬럼 AER 온 이벤트 신호 라인(REQX_ON)을 통해 오프 이벤트 신호를 컬럼 AER(154)로 전송할 수 있다.

컬럼 AER 리셋 신호 라인(ACKX)은 컬럼 AER(154)과 제2 모션 센서 픽셀(112-2)에 접속될 수 있다. 컬럼 AER(154)은 컬럼 AER 리셋 신호 라인(ACKX)을 통해 제2 DVS 리셋 신호를 제2 모션 센서 픽셀(112-2)로 전송할 수 있다.

다른 실시 예에 따라, 픽셀 어레이(110)가 깊이 센서 픽셀들(Z)을 포함하는 경우, 상기 깊이 센서 픽셀들(Z)의 배선 구조는 도 10에 도시된 컬러 센서 픽셀(C)의 배선 구조와 실질적으로 동일하다.

도 10에 도시된 각각의 신호 라인을 통해 전송되는 신호들은 도 12a 내지 도 13을 참조하여 상세히 설명된다.

도 11은 도 4에 도시된 픽셀 어레이의 배선의 다른 실시 예를 나타내는 도면이다.

도 4 및 도 11을 참조하면, 픽셀 어레이(110)의 컬럼 방향의 배선에 있어서 도 10에 도시된 픽셀 신호 라인(PIXEL)과 컬럼 AER 리셋 신호 라인(ACKX)이 하나의 공유 신호 라인(ACKX&PIXEL)으로 구현될 수 있다.

즉, 공유 신호 라인(ACKX&PIXEL)은 컬러 센서 픽셀(C), 모션 센서 픽셀(M) 및 신호 경로 선택 회로(170)에 함께 접속될 수 있다.

신호 경로 선택 회로(170)는 제어 로직(120)의 제어에 따라 공유 신호 라인(ACKX&PIXEL)을 리드 아웃 회로(156)에 접속시키거나 컬럼 AER(154)에 접속시킬 수 있다. 예컨대, 신호 경로 선택 회로(170)는 디멀티플렉서(demultiplexer)로 구현될 수 있다.

실시예에 따라 모드 선택 신호(MSEL)가 제1 레벨, 예컨대 로우 레벨일 경우 제어 로직(120)은 신호 경로 선택 회로(170)가 공유 신호 라인(ACKX&PIXEL)을 컬럼 AER(154)에 접속시키도록 제어할 수 있다. 이에 따라 공유 신호 라인(ACKX&PIXEL)은 컬럼 AER 리셋 신호 라인(ACKX)으로 동작할 수 있다.

실시예에 따라 모드 선택 신호(MSEL)가 제2 레벨, 예컨대 하이 레벨일 경우 제어 로직(120)은 신호 경로 선택 회로(170)가 공유 신호 라인(ACKX&PIXEL)을 리드 아웃 회로(156)에 접속시키도록 제어할 수 있다. 이에 따라 공유 신호 라인(ACKX&PIXEL)은 픽셀 신호 라인(PIXEL)으로 동작할 수 있다.

도 10과 도 11에서는 설명의 편의상 컬러 센서 픽셀(C), 제1 모션 센서 픽셀(112-1) 및 제2 모션 센서 픽셀(112-2)로 예를 들어 설명하였으나, 도 10 또는 도 11에 도시된 픽셀 어레이(110)의 배선들은 픽셀 어레이(110)에 포함된 각각의 모션 센서 픽셀들(M)과 컬러 센서 픽셀들(C)에 적용될 수 있다.

도 12a는 도 10에 도시된 컬러 센서 픽셀의 일 실시예에 따른 회로도이다. 도 12b는 도 10에 도시된 컬러 센서 픽셀의 다른 실시예에 따른 회로도이다. 도 12c는 도 10에 도시된 컬러 센서 픽셀의 또 다른 실시예에 따른 회로도이다. 도 12d는 도 10에 도시된 컬러 센서 픽셀의 또 다른 실시예에 따른 회로도이다. 도 12e는 도 10에 도시된 컬러 센서 픽셀의 또 다른 실시예에 따른 회로도이다.

도 12a를 참조하면, 단위 컬러 센서 픽셀(115a)은 포토 다이오드(PD), 트랜스퍼 트랜지스터(Tx), 플로팅 디퓨젼 노드 (FD), 리셋 트랜지스터(Rx), 드라이브 트랜지스터(Dx) 및 선택 트랜지스터(Sx)를 포함할 수 있다.

여기서, 포토 다이오드(PD)는 광전 변환 소자의 예시로서, 포토트랜지스터(photo transistor), 포토 게이트(photo gate), 핀드 포토다이오드(pinned photo diode(PPD)) 및 이들의 조합 중에서 적어도 하나일 수 있다.

도 12a에서는 하나의 포토다이오드(PD)와 4개의 MOS트랜지스터들(Tx, Rx, Dx, 및 Sx)을 포함하는 4T 구조의 단위 컬러 센서 픽셀을 예시하고 있지만, 본 발명에 따른 실시 예가 이에 한정되는 것은 아니며, 드라이브 트랜지스터(Dx)와 셀렉트 트랜지스터(Sx)를 포함하는 적어도 3개의 트랜지스터들과 포토다이오드(PD)를 포함하는 모든 회로들에 본 발명에 따른 실시 예가 적용될 수 있다.

단위 컬러 센서 픽셀(115a)의 동작을 살펴보면, 포토 다이오드(PD)는 입사되는 광의 세기에 따라 가변되는 광전하를 생성한다. 전송 트랜지스터(Tx)는 로우 드라이버(130)로부터 출력되어 전송 신호 라인(TG)을 통해 수신되는 전송 신호에 따라 상기 생성된 광전하를 플로팅 디퓨젼 노드(FD)로 전송할 수 있다.

상기 플로팅 디퓨젼 노드(FD)에 축적된 광전하에 따른 전위에 따라 드라이브 트랜지스터(Dx)는 선택 트랜지스터(Sx)로 상기 광전하를 증폭하여 전송할 수 있다.

선택 트랜지스터(Sx)는 드레인 단자가 상기 드라이브 트랜지스터(Dx)의 소스 단자에 연결되고, 로우 드라이버(130)로부터 출력되어 선택 신호 라인(SEL)을 통해 수신되는 선택 신호에 따라 단위 컬러 센서 픽셀(115a)에 연결된 픽셀 신호 라인(PIXEL)으로 픽셀 신호를 출력할 수 있다.

리셋 트랜지스터(Rx)는 로우 드라이버(130)로부터 출력되어 리셋 신호 라인(RS)을 통해 수신되는 리셋 신호에 따라 플로팅 디퓨젼 노드(FD)를 VDD로 리셋할 수 있다.

단위 컬러 센서 픽셀(115a)은 컬러 필터 층(color fliter layer, 미도시)을 통해 입사광을 수신하며, 상기 컬러 필터 층(미도시)은 적어도 하나 이상의 레드 필터(red filter), 적어도 하나 이상의 그린 필터(green filter) 및 적어도 하나 이상의 블루 필터(blue filter)를 포함하거나, 또는 적어도 하나 이상의 마젠타 필터(magenta filter), 적어도 하나 이상의 시안 필터(cyan filter) 및 적어도 하나 이상의 옐로우 필터(yellow filter)를 포함할 수 있다. 단위 컬러 센서 픽셀(115a)은 컬러 필터 층의 종류에 따라 레드 픽셀(R), 그린 픽셀(G), 블루 픽셀(B) 등으로 구분될 수 있다.

따라서, 단위 컬러 센서 픽셀(115a)은 컬러 필터 층(미도시)에 따라 서로 다른 파장의 입사광을 센싱할 수 있고, 이미지 신호 프로세서(200)는 각각의 단위 컬러 센서 픽셀(115a)로부터 출력된 픽셀 신호를 처리하여 2차원 이미지를 생성할 수 있다.

단위 컬러 센서 픽셀의 다른 실시 예가 도 2b 내지 도 2e에 도시된다.

도 12b에 도시된 단위 컬러 센서 픽셀(115b)은 3-트랜지스터(3T) 구조의 단위 컬러 센서 픽셀로서, 포토다이오드(PD), 리셋 트랜지스터(Rx), 드라이브 트랜지스터(Dx) 및 선택 트랜지스터(Sx)를 포함할 수 있다. 상기 포토다이오드(PD)가 생성한 광전하는 바로 플로팅 디퓨젼 노드(FD)에 축적될 수 있고, 드라이브 트랜지스터(Dx) 및 선택 트랜지스터(Sx)의 동작에 따라 픽셀 신호 라인(PIXEL)으로 픽셀 신호를 출력할 수 있다.

도 12c에 도시된 단위 컬러 센서 픽셀(115c)은 3-트랜지스터(3T) 구조의 단위 컬러 센서 픽셀로서, 포토다이오드(PD), 전송 트랜지스터(Tx), 리셋 트랜지스터(Rx) 및 드라이브 트랜지스터(Tx)를 포함할 수 있다. 상기 리셋 트랜지스터(Rx)는 n 채널 디프레션형 트랜지스터(n-channel depression type transistor)로 구현될 수 있다. 상기 리셋 트랜지스터(Rx)는 로우 드라이버(130)로부터 출력되는 리셋 제어 신호(RS)에 따라 플로팅 디퓨젼 노드(FD)를 VDD로 리셋하거나, 로우 레벨(예컨대, 0V)로 셋팅하여 선택 트랜지스터(Sx)와 유사한 기능을 수행할 수 있다. 실시예에 따라 상기 리셋 제어 신호(RS)는 선택 신호 라인(SEL)을 통해 수신될 수 있다.

도 12d에 도시된 단위 컬러 센서 픽셀(115d)은 5-트랜지스터(5T) 구조의 단위 컬러 센서 픽셀로서, 포토다이오드(PD)와, 리셋 트랜지스터(Rx)와, 드라이브 트랜지스터(Dx) 및 선택 트랜지스터(Sx)를 포함하며, 이외에 하나의 트랜지스터(Gx)를 더 포함한다.

도 12e에 도시된 단위 컬러 센서 픽셀(115e)은 5-트랜지스터 단위 컬러 센서 픽셀로서, 포토다이오드(PD)와, 리셋 트랜지스터(Rx)와, 드라이브 트랜지스터(Dx)와, 선택 트랜지스터(Sx)를 포함하며, 이외에 한 개의 트랜지스터(Px)를 더 포함한다.

다른 실시 예에 따라, 픽셀 어레이(110)가 깊이 센서 픽셀들(Z)을 포함하는 경우, 단위 깊이 센서 픽셀들(미도시)의 내부 구조는 도 12a 내지 도 12e에 도시된 컬러 센서 픽셀(C)의 내부 구조와 실질적으로 동일하다. 또한, 단위 깊이 센서 픽셀들(미도시)은 도 12a 내지 도 12e에 도시된 컬러 센서 픽셀(C)의 내부 구조와 실질적으로 동일한 1-탭(1-tap) 구조 뿐 아니라 2-탭(2-tap) 구조로도 구현될 수 있다.

도 13은 도 10에 도시된 모션 센서 픽셀의 일 실시예를 나타내는 도면이다.

도 10 및 도 13을 참조하면, 도 10에 도시된 모션 센서 픽셀(112-1, 112-2)은 예컨대, DVS 픽셀일 수 있다. 도 13에서는 모션 센서 픽셀(112-1, 112-2)이 DVS 픽셀인 경우 모션 센서 픽셀(M)의 구체적인 동작이 설명된다.

단위 DVS 픽셀(117)은 포토 다이오드(PD, 117-1), 전류/전압 변환기(I/V converter, 117-2), 증폭 회로(amplifier circuit, 117-3), 비교 회로(comparator circuit, 117-4) 및 디지털 로직(digital logic, 117-5)을 포함할 수 있다.

포토 다이오드(117-1)는 광전 변환 소자의 예시로서, 포토트랜지스터(photo transistor), 포토 게이트(photo gate), 핀드 포토다이오드(pinned photo diode(PPD)) 및 이들의 조합 중에서 적어도 하나일 수 있다. 포토 다이오드(PD)는 입사광의 세기에 따라 광 전류(I)를 생성할 수 있다.

전류/전압 변환기(117-2)는 변환 트랜지스터(converting transistor, Cx) 및 인버터(INV)를 포함할 수 있다. 변환 트랜지스터(Cx)는 모션 센서 픽셀 활성화 컨트롤러(140)로부터 전원을 공급받을 수 있다.

예컨대, 모션 센서 픽셀 그룹이 비활성화될 경우 모션 센서 픽셀 활성화 컨트롤러(140)는 변환 트랜지스터(Cx)에 일정 레벨 이하의 전압을 공급하여 변환 트랜지스터(Cx)가 동작하지 않도록 제어할 수 있다. 인버터(INV)는 포토 다이오드(117-1) 일측단의 전압을 반전시켜 제1 전압(Vin)으로 출력할 수 있다.

즉, 전류/전압 변환기(117-2)는 포토 다이오드(PD)를 흐르는 광 전류(I)를 센싱하여 광 전류(I)에 대응하는 제1 전압(Vin)을 출력할 수 있다.

증폭 회로(117-3)는 제1 커패시터(C1), 제2 커패시터(C2), 증폭기(AMP) 및 리셋 스위치(SW)를 포함할 수 있다. 증폭 회로(117-3)는 제1 전압(Vin)에 기초하여 제1 전압(Vin)의 시간에 따른 변화량에 연관된 제2 전압(Vout)을 출력할 수 있다.

리셋 스위치(SW)는 디지털 로직(117-5)의 제어에 따라 제2 전압(Vout)을 리셋 전압으로 리셋할 수 있다.

비교 회로(117-4)는 제1 비교기(COMP1) 및 제2 비교기(COMP2)를 포함할 수 있다. 제1 비교기(COMP1)는 제2 전압(Vout)을 온-임계 전압(on-threshold voltage)와 비교하고, 비교 결과에 따라 온 이벤트 신호를 생성할 수 있다. 제2 비교기(COMP2)는 제2 전압(Vout)을 오프-임계 전압(off-threshold voltage)와 비교하고, 비교 결과에 따라 오프 이벤트 신호를 생성할 수 있다.

즉, 비교 회로(117-4)는 단위 DVS 픽셀(117)에 해당하는 음영의 변화가 일정 변화 수준 이상일 경우 온 이벤트 신호 또는 오프 이벤트 신호를 생성할 수 있다.

예컨대, 온 이벤트 신호는 단위 DVS 픽셀(117)에 해당하는 음영이 일정 크기 이상 밝아지는 경우에 하이 레벨이 될 수 있다. 상기 오프 이벤트 신호는 단위 DVS 픽셀(117)에 해당하는 음영이 일정 크기 이상 어두워지는 경우에 하이 레벨이 될 수 있다.상기 온 이벤트 신호와 상기 오프 이벤트 신호는 디지털 로직(117-5)으로 전송될 수 있다.

디지털 로직(117-5)은 비교 회로(117)로부터 출력된 온 이벤트 신호와 오프 이벤트 신호에 따라 이벤트 신호를 생성할 수 있다.

예컨대, 디지털 로직(117-5)은 OR 게이트를 포함하여 온 이벤트 신호와 오프 이벤트 신호를 수신하고, 온 이벤트 신호와 오프 이벤트 신호 중 어느 하나가 하이 레벨이 된 경우 온/오프 이벤트 신호를 생성할 수 있다. 상기 온/오프 이벤트 신호는 로우 AER 이벤트 신호 라인(REQY)을 통해 로우 AER(158)로 전송될 수 있다. 실시예에 따라 상기 OR 게이트는 DVS 픽셀 외부, 예컨대 로우 AER(158) 내부에 구현될 수 있다.

디지털 로직(117-5)은 수신된 온 이벤트 신호를 컬럼 AER 온 이벤트 신호 라인(REQX_ON)을 통해 컬럼 AER(154)로 전송할 수 있다. 디지털 로직(117-5)은 수신된 오프 이벤트 신호를 컬럼 AER 오프 이벤트 신호 라인(REQX_OFF)을 통해 컬럼 AER(154)로 전송할 수 있다.

또한, 디지털 로직(117-5)은 비교 회로(117-4)로부터 출력된 온 이벤트 신호와 오프 이벤트 신호에 따라 리셋 스위치 신호(RS_SW)를 생성할 수 있다.

예컨대, 디지털 로직(117-5)은 OR 게이트를 포함하여 온 이벤트 신호와 오프 이벤트 신호를 수신하고, 온 이벤트 신호와 오프 이벤트 신호 중 어느 하나가 하이 레벨이 된 경우 리셋 스위치 신호(RS_SW)를 생성할 수 있다. 리셋 스위치(SW)는 리셋 스위치 신호(RS_SW)에 따라 제2 전압(Vout)을 리셋할 수 있다. 실시예에 따라 상기 OR 게이트는 DVS 픽셀 외부에 구현될 수 있다.

다른 실시예에 따라 이벤트 신호를 생성하는 OR 게이트와 리셋 스위치 신호(RS_SW)를 생성하는 OR 게이트는 동일한 OR 게이트로 구현될 수 있다.

디지털 로직(117-5)은 로우 AER 리셋 신호 라인(ACKY)과 컬럼 AER 리셋 신호 라인(ACKX) 각각을 통해 각각 제1 DVS 리셋 신호와 제2 DVS 리셋 신호 각각을 수신할 수 있다. 디지털 로직(117-5)은 로우 AER(158)으로부터 전송된 제1 DVS 리셋 신호와 컬럼 AER(154)으로부터 전송된 제2 DVS 리셋 신호에 따라 리셋 스위치 신호(RS_SW)를 생성할 수 있다.

예컨대, 디지털 로직(117-5)은 AND 게이트를 포함하여, 로우 AER(158)으로부터 전송된 제1 DVS 리셋 신호와 컬럼 AER(154)으로부터 전송된 제2 DVS 리셋 신호가 모두 하이 레벨일 경우, 리셋 스위치 신호(RS_SW)를 생성할 수 있다. 실시예에 따라 상기 AND 게이트는 DVS 픽셀 외부에 구현될 수 있다.

도 13에 도시된 단위 DVS 픽셀(117)은 예시적인 것이며, 본 발명의 범위는 이에 한정되지 않는다. 본 발명의 실시예에 따른 모션 센서 픽셀(M)은 대상의 동작을 감지할 수 있는 모든 픽셀에 적용될 수 있다.

도 14는 도 1에 도시된 이미지 센서의 다른 실시 예에 따른 블록도이다.

도 1과 도 14를 참조하면, 도 1에 도시된 이미지 센서(100)의 다른 실시 예에 따른 이미지 센서(100B)는 컬러 센서 픽셀들(C)로만 구성된 컬러 센서 픽셀 어레이(110A)와 모션 센서 픽셀들(M)로만 구성된 모션 센서 픽셀 어레이(110B)를 포함할 수 있다.

이 경우, 로우 드라이버(130)는 컨트롤 로직(120)의 제어에 따라 컬러 센서 픽셀 어레이(110A)에 포함된 컬러 센서 픽셀들(C)을 활성화할 수 있다.

모션 센서 픽셀 활성화 컨트롤러(140)는 컨트롤 로직(120)의 제어에 따라 모션 센서 픽셀 어레이(110B)에 포함된 모션 센서 픽셀들(M)을 활성화 여부를 제어할 수 있다.

도 15는 도 1에 도시된 이미지 센서의 또 다른 실시 예에 따른 블록도이다. 도 16은 도 1에 도시된 이미지 센서의 또 다른 실시 예에 따른 블록도이다.

도 1, 도 15, 및 도 16을 참조하면, 도 1에 도시된 이미지 센서(100)의 또 다른 실시 예에 따른 이미지 센서(100C 또는 100D)는 모션 센서 픽셀 활성화 컨트롤러(140)를 포함하지 않을 수 있다.

실시 예에 따라, 픽셀 신호 처리 회로(150)는 제어 로직(120)의 제어 하에서 복수의 모션 센서 픽셀들(M) 각각의 출력을 제어할 수 있다.

즉, 복수의 모션 센서 픽셀들(M)은 활성화되어 있는 상태에서, 픽셀 신호 처리 회로(150)에 의해 컬러 센서 픽셀(C)과 모션 센서 픽셀(M) 각각의 출력만 제어될 수 있다.

실시 예에 따라, 복수의 모션 센서 픽셀들(M) 각각이 DVS 픽셀로 구현되는 경우, 복수의 모션 센서 픽셀들(M) 각각은 픽셀 신호 처리 회로(150)로부터 전송된 신호에 따라 이벤트 신호를 출력하지 않을 수 있다.

도 17은 도 2에 도시된 픽셀 신호 처리 회로의 다른 실시 예를 포함하는 이미지 센서의 블록도이다. 도 18은 도 2에 도시된 픽셀 신호 처리 회로의 또 다른 실시 예를 포함하는 이미지 센서의 블록도이다.

도 2, 도 17, 및 도 18을 참조하면, 도 2에 도시된 이미지 센서(100A)의 다른 실시 예에 따른 이미지 센서(100A-2 또는 100A-3)는 모션 센서 픽셀(M)이 DVS 픽셀로 구현된 경우를 나타낼 수 있다.

도 17을 참조하면, 도 2에 도시된 픽셀 신호 처리 회로(150)의 또 다른 실시 예에 따른 픽셀 신호 처리 회로(150B)에 포함된 컬럼 AER(154)과 리드아웃 회로(156) 각각은 별개의 회로로 구현될 수 있다.

또한, 픽셀 신호 처리 회로(150B)에 포함된 로우 AER(158)은 로우 드라이버(130)와 같은 쪽에 구현될 수 있다.

로우 AER & 로우 드라이버 블록(132)은 로우 드라이버(130)와 로우 AER(158)을 포함할 수 있다.

로우 AER & 로우 드라이버 블록(132)은 기능 및 논리적으로 로우 AER(158)과 로우 드라이버(130)로 분리될 수도 있음을 나타내며, 반드시 별도의 물리적 장치로 구분되는 것을 의미하는 것은 아니다.

도 18을 참조하면, 도 3에 도시된 픽셀 신호 처리 회로(150)의 일 실시 예에 따른 픽셀 신호 처리 회로(150C)는 컬럼 AER & 리드아웃 회로 블록(column AER(address event representation) & read-out circuit block; 152)과 로우 AER(158)를 포함할 수 있다.

컬럼 AER & 리드아웃 회로 블록(152)은 컬럼 AER(154)과 리드아웃 회로(156)를 포함할 수 있다.

컬럼 AER & 리드아웃 회로 블록(152)은 기능 및 논리적으로 컬럼 AER(154)과 리드아웃 회로(156)로 분리될 수도 있음을 나타내며, 별도의 물리적 장치로 구분되는 것을 의미하는 것은 아니다.

실시 예에 따라, 컬럼 AER & 리드아웃 회로 블록(152)은 모션 센서 픽셀(M)로부터 출력된 이벤트 신호와 컬러 센서 픽셀(C)로부터 출력된 픽셀 신호를 하나의 방법(또는 로직)으로 처리할 수 있으며, 이 경우 컬러 센서 픽셀(C)로부터 출력된 상기 픽셀 신호를 아날로그-디지털 변환(analoge-digital converting)하기 위한 별도의 블록이 컬럼 AER & 리드아웃 회로 블록(152)의 내부 또는 외부에 구현될 수 있다. 이에 대해서는 도 19를 참조하여 상세히 설명된다.

광량의 변화에 따라 이벤트 신호가 발생 된 모션 센서 픽셀의 로우 어드레스 값은 로우 AER(158)로부터 컬럼 AER & 리드아웃 회로 블록(152)으로 전송될 수 있다.

도 19는 도 18에 도시된 픽셀 신호 처리 회로의 변형 예의 블록도이다.

도 18과 도 19를 참조하면, 도 18에 도시된 픽셀 신호 처리 회로(150C)의 변형 예에 따른 픽셀 신호 처리 회로(150C')는 컬럼 AER & AFE 회로 블록(columnn AER & analog front end(AFE) circuit block;152'), 로우 AER(158), 출력 선택 회로(160'), 및 ADC 블록(analog-digital converter block;172)을 포함할 수 있다.

컬럼 AER & AFE 회로 블록(152')은 컬럼 AER(154)와 AFE 회로(170)를 포함할 수 있다.

AFE 회로(170)는 리드아웃 회로(156)에 포함된 구성 중에서 아날로그-디지털 변환을 수행하기 이전 단계의 구성들을 포함하는 회로를 의미할 수 있다.

컬럼 AER & AFE 회로 블록(152')은 기능 및 논리적으로 컬럼 AER(154)과 AFE 회로(170)로 분리될 수도 있음을 나타내며, 반드시 별도의 물리적 장치로 구분되는 것을 의미하는 것은 아니다.

실시 예에 따라, 컬럼 AER & AFE 회로 블록(152')은 모션 센서 픽셀(M)로부터 출력된 이벤트 신호와 컬러 센서 픽셀(C)로부터 출력된 픽셀 신호를 하나의 방법(또는 로직)으로 처리할 수 있다.

컬럼 AER & AFE 회로 블록(152')은 모션 센서 픽셀(M)로부터 출력된 이벤트 신호와 컬러 센서 픽셀(C)로부터 출력된 픽셀 신호를 처리할 수 있다. 컬럼 AER & AFE 회로 블록(152')은 처리 결과에 따라 아날로그-디지털 변환이 필요한 처리 결과(예컨대, 컬러 센서 픽셀(C)로부터 출력된 픽셀 신호의 처리 결과)를 ADC 블록(172)으로 전송하고, 아날로그-디지털 변환이 필요 없는 처리 결과(예컨대, 모션 센서 픽셀(M)로부터 출력된 이벤트 신호의 처리 결과)를 출력 선택 회로(160')로 전송할 수 있다.

ADC 블록(172)은 컬럼 AER & AFE 회로 블록(152')으로부터 전송된 처리 결과(예컨대, 컬러 센서 픽셀(C)로부터 출력된 픽셀 신호의 처리 결과)를 아날로그 디지털 변환하여, 변환된 디지털 신호를 출력 선택 회로(160')로 전송할 수 있다.

실시 예에 따라 ADC 블록(172)은 상관 이중 샘플링 회로(correlated double sampling(CDS) circuit; 미도시)), 램프 신호 생성기(ramp signal generator;미도시), 비교기(comparator; 미도시), 및 카운터(counter; 미도시) 등을 포함할 수 있으며, 컨트롤 로직(120)의 제어에 따라 아날로그 디지털 변환 동작을 수행할 수 있다.

출력 선택 회로(160')는 컬럼 AER & AFE 회로 블록(152')으로부터 전송된 신호와 ADC 블록(172)으로부터 전송된 신호를 컨트롤 로직(120)의 제어에 따라 선택 및 처리하여 이미지 데이터(IDATA)로서 출력할 수 있다.

도 20은 도 2에 도시된 픽셀 신호 처리 회로의 또 다른 실시 예를 포함하는 이미지 센서의 블록도이다.

도 20을 참조하면, 도 2에 도시된 픽셀 신호 처리 회로(150)의 다른 실시 예에 따른 픽셀 신호 처리 회로(150D)를 포함하는 이미지 센서(100A-4)가 나타나 있다.

이미지 센서(100A-4)에 포함된 로우 AER(158)는 로우 드라이버(130)와 같은 쪽에 구현될 수 있다.

로우 AER & 로우 드라이버 블록(132)은 기능 및 논리적으로 로우 AER(158)과 로우 드라이버(130)로 분리될 수도 있음을 나타내며, 별도의 물리적 장치로 구분되는 것을 의미하는 것은 아니다.

도 21은 도 15에 도시된 픽셀 신호 처리 회로의 일 실시 예를 포함하는 이미지 센서의 블록도이다. 도 22는 도 15에 도시된 픽셀 신호 처리 회로의 다른 실시 예를 포함하는 이미지 센서의 블록도이다. 도 23은 도 15에 도시된 픽셀 신호 처리 회로의 또 다른 실시 예를 포함하는 이미지 센서의 블록도이다. 도 24는 도 15에 도시된 픽셀 신호 처리 회로의 또 다른 실시 예를 포함하는 이미지 센서의 블록도이다.

도 15와 도 21 내지 도 24를 참조하면, 도 15에 도시된 이미지 센서(100C)의 일 실시 예에 따른 이미지 센서(100C_1 내지 100C_4)는 모션 센서 픽셀(M)이 DVS 픽셀로 구현된 경우를 나타내며, 이미지 센서(100C_1 내지 100C_4)는 모션 센서 픽셀 활성화 컨트롤러(도 2의 140)를 포함하지 않는다.이미지 센서(100C_1 내지 100C_4)의 픽셀 어레이(110)에 포함된 복수의 모션 센서 픽셀들(M)의 활성화된 상태는 유지되며, 컬럼 AER(154) 및 로우 AER(158)에 의해 출력이 제어될 수 있다.

도 13과 도 21 내지 도 24를 참조하면, 컬럼 AER(154) 및 로우 AER(158)은 컨트롤 로직(120)의 제어에 따라, 모션 센서 픽셀들(M)의 이벤트 신호를 발생시키는 기준이 되는 노드의 전압(Vout)을 초기 상태(예컨대, 리셋 상태)로 유지시켜 모션 센서 픽셀들(M)로부터 출력(예컨대, 이벤트 신호)가 발생하지 않도록 할 수 있다.

예컨대, 모드 선택 신호(MSEL)에 따라 컬러 센서 픽셀들(C)이 활성화된 경우, 컬럼 AER(154) 및 로우 AER(158)은 컨트롤 로직(120)의 제어에 따라, 모션 센서 픽셀들(M)로부터 출력(예컨대, 이벤트 신호)이 발생하지 않도록 할 수 있다.

도 21 내지 도 24에 도시된 픽셀 신호 처리 회로들(150A, 150B, 150C 및 150D) 각각의 구조 및 동작은 상기 차이점들을 제외하고 도 3, 도 17, 도 18 및 도 20에 도시된 픽셀 신호 처리 회로들(150A, 150B, 150C 및 150D) 각각의 구조 및 동작과 실질적으로 동일하다.

도 25는 본 발명의 일 실시 예에 따른 이미지 센서 칩의 동작 방법의 플로우 차트이다.

도 1 내지 도 3, 도 14 내지 도 25를 참조하면, 제어 로직(120)은 모드 선택 신호(MSEL)에 기초하여 컬러 센서 픽셀(C)과 모션 센서 픽셀(M) 중에서 어느 하나를 활성화 시킬 수 있다(S10).

실시 예에 따라, 모드 선택 신호(MSEL)는 주변 회로(220), 예컨대 입력 인터페이스를 통하여 입력된 사용자의 입력의 분석 결과에 따라 CPU(210)에서 생성된 것일 수 있다.

실시 예에 따라, 제어 로직(120)은 로우 드라이버(130)를 제어하여 컬러 센서 픽셀(C)을 활성화시키고, 제어 로직(120)은 모션 센서 픽셀 활성화 컨트롤러(140)을 제어하여 모션 센서 픽셀(M)을 활성화시킬 수 있다.

픽셀 신호 처리 회로(150)는 컬러 센서 픽셀(C)과 모션 센서 픽셀(M) 중에서 활성화된 어느 하나로부터 출력된 픽셀 신호를 처리할 수 있다(S12).

도 26은 본 발명의 다른 실시 예에 따른 이미지 센서 칩의 동작 방법의 플로우 차트이다.

도 1 내지 도 3, 도 14 내지 도 26을 참조하면, 이미지 처리 시스템(10)에 전원이 인가될 때, CPU(210)는 디폴트(default)로 정해진 레벨의 모드 선택 신호(MSEL)를 출력할 수 있다. 컨트롤 로직(120)은 상기 모드 선택 신호(MSEL)에 기초하여 모션 센서 픽셀(M)을 디폴트로 활성화시킬 수 있다(S20).

활성화된 모션 센서 픽셀(M)로부터 출력된 픽셀 신호는 픽셀 신호 처리 회로(150)에서 처리되어, 이미지 데이터(IDATA)로서 ISP(200)로 공급될 수 있으며, ISP(200)는 이미지 데이터(IDATA)를 처리하여 처리된 이미지 데이터(IDATA')를 CPU(210)로 전송할 수 있다. CPU(210)는 처리된 이미지 데이터(IDATA')에 기초하여 모드 선택 신호의 레벨을 변경할 수 있다(S22).

즉, CPU(210)는 모션 센서 픽셀로부터 출력된 픽셀 신호에 기초하여 모드 선택 신호(MSEL)의 레벨을 변경할 수 있다.

S24 단계 및 S26 단계는 도 25의 S10 단계 및 S12 단계와 실질적으로 동일하므로, 이에 대한 설명은 생략한다.

도 27은 본 발명의 또 다른 실시 예에 따른 이미지 센서 칩의 동작 방법의 플로우 차트이다.

도 2, 도 3, 도 14 내지 도 24, 및 도 27을 참조하면, 모션 센서 픽셀 활성화 컨트롤러(140)는 모션 센서 픽셀(M)을 활성화시킬 수 있다(S30).

제어 로직(120)은 모드 선택 신호(MSEL)에 기초하여, 컬러 센서 픽셀(C)의 활성화 여부를 결정할 수 있다(S32).

픽셀 신호 처리 회로(150)는 모션 센서 픽셀(M)과 컬러 센서 픽셀(C) 중의 어느 하나로부터 출력된 픽셀 신호를 처리할 수 있다(S34).

실시 예에 따라, 컬러 센서 픽셀(C)이 활성화되는 경우, 픽셀 신호 처리 회로(150)는 컬러 센서 픽셀(C)로부터 출력된 픽셀 신호를 처리하고, 컬러 센서 픽셀(C)이 활성화되지 않은 경우, 픽셀 신호 처리 회로(150)는 모션 센서 픽셀(M)로부터 출력된 픽셀 신호를 처리할 수 있다.

다른 실시 예에 따라, 컬러 센서 픽셀(C)이 활성화되는 경우, 출력 선택 회로(160)는 모션 센서 픽셀(M)로부터 출력된 픽셀 신호와 컬러 센서 픽셀(C)로부터 출력된 픽셀 신호 중에서 어느 하나를 선택 및 처리하여 이미지 데이터(IDATA)로서 출력할 수 있다.

도 28은 도 1에 도시된 이미지 센서를 포함하는 일 실시 예에 따른 전자 시스템의 블록도이다.

도 1과 도 28을 참조하면, 전자 시스템(1000)은 MIPI 인터페이스(mobile industry processor interface)를 사용 또는 지원할 수 있는 데이터 처리 장치, 예컨대 이동 전화기, PDA(personal digital assistants), PMP(portable multimedia player), IPTV(internet protocol television) 또는 스마트 폰(smart phone)으로 구현될 수 있다.

상기 전자 시스템(1000)은 이미지 센서(100),어플리케이션 프로세서(application processor;1010), 및 디스플레이(1050)를 포함한다.

어플리케이션 프로세서(1010)에 구현된 CSI 호스트(camera serial interface(CSI) host; 1012)는 카메라 시리얼 인터페이스를 통하여 이미지 센서(100)의 CSI 장치(1041)와 시리얼 통신할 수 있다. 이때, 예컨대, CSI 호스트(1012)는 광 디시리얼라이저(deserializer(DES))를 포함할 수 있고, CSI 장치(1041)는 광 시리얼라이저(serializer(SER))를 포함할 수 있다.

어플리케이션 프로세서(1010)에 구현된 DSI 호스트(1011)는 디스플레이 시리얼 인터페이스(display serial interface(DSI))를 통하여 디스플레이(1050)의 DSI 장치(1051)와 시리얼 통신할 수 있다. 이때, 예컨대, DSI 호스트(1011)는 광 시리얼라이저(SER)를 포함할 수 있고, DSI 장치(1051)는 광 디시리얼라이저(DES)를 포함할 수 있다.

실시 예에 따라, 전자 시스템(1000)은 어플리케이션 프로세서(1010)와 통신할 수 있는 RF 칩(1060)을 더 포함할 수 있다. 어플리케이션 프로세서(1010)에 포함된 PHY(PHYsical channel; 1013)와 RF 칩(1060)에 포함된 PHY(1061)는 MIPI DigRF에 따라 데이터를 주고받을 수 있다.

실시 예에 따라, 전자 시스템(1000)은 GPS(1020), 스토리지(storage; 1070), 마이크(microphone(MIC); 1080), DRAM(dynamic random access memory; 1085) 및 스피커(speaker; 1090)를 더 포함할 수 있으며, 상기 전자 시스템(1000)은 Wimax(world interoperability for microwave access; 1030), WLAN(wireless lan; 1100) 및/또는 UWB(ultra wideband; 1110) 등을 이용하여 통신할 수 있다.

도 29는 도 1에 도시된 이미지 센서를 포함하는 일 실시 예에 따른 시스템의 블록도이다.

도 1과 도 29를 참조하면, 이미지 처리 시스템(image processing system; 1100)은 이미지 센서(100), 프로세서(processor; 1110), 메모리(memory; 1120), 디스플레이 유닛(display unit; 1130) 및 인터페이스(interface; 1140)를 포함할 수 있다.

프로세서(1110)는 이미지 센서(100)의 동작을 제어할 수 있다. 예컨대, 프로세서(1110)는 이미지 센서(100)로부터 컬러 정보, 깊이 정보와 모션 정보에 기초하여 2차원, 3차원 및/또는 모션 이미지 데이터를 생성할 수 있다.

메모리(1120)는 프로세서(1110)의 제어에 따라 버스(1150)를 통하여 이미지 센서(100)의 동작을 제어하기 위한 프로그램과 프로세서(1110)에서 생성된 이미지를 저장할 수 있고, 프로세서(1110)는 저장된 정보를 액세스하여 상기 프로그램을 실행시킬 수 있다. 메모리(1120)는 예컨대, 비휘발성 메모리(non-volatile memory)로 구현될 수 있다.

이미지 센서(100)는 프로세서(1110)의 제어 하에 각 디지털 픽셀 신호(예컨대, 컬러 정보, 깊이 정보 또는 모션 정보)에 기초하여 2차원, 3차원 및/또는 모션 이미지 데이터를 생성할 수 있다.

디스플레이 유닛(1130)은 상기 생성된 이미지를 프로세서(1110) 또는 메모리(1120)로부터 수신하여 디스플레이(예컨대, LCD(Liquid Crystal Display), AMOLED(Active Matrix Organic Light Emitting Diodes))를 통하여 디스플레이할 수 있다.

인터페이스(1140)는 2차원 또는 3차원 이미지를 입출력하기 위한 인터페이스로 구현될 수 있다. 실시 예에 따라, 인터페이스(1140)는 무선 인터페이스로 구현될 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 본 발명에 따른 객체 정보 추정 방법을 수행하기 위한 프로그램 코드는 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 전송될 수도 있다.

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

이미지 처리 시스템(10)
이미지 센서(100)
이미지 신호 프로세서(200)
디스플레이 유닛(205)
CPU(210)
주변 회로(220)

Claims

컬러 센서 픽셀과 대상의 동작을 감지할 수 있는 DVS(dynamic vision sensor) 픽셀을 포함하는 이미지 센서 칩의 동작 방법에 있어서,
모드 선택 신호에 따라, 상기 컬러 센서 픽셀과 상기 DVS 픽셀 중에서 어느 하나를 활성화시키는 단계; 및
활성화된 어느 하나로부터 출력된 픽셀 신호를 처리하는 단계를 포함하는 이미지 센서 칩의 동작 방법.
제1항에 있어서, 상기 활성화시키는 단계 이전에,
상기 DVS 픽셀을 디폴트로 활성화시키는 단계; 및
디폴트로 활성화된 DVS 픽셀로부터 출력된 픽셀 신호에 기초하여 상기 모드 선택 신호의 레벨을 변경하는 단계를 더 포함하는 이미지 센서 칩의 동작 방법.
제2항에 있어서, 상기 모드 선택 신호의 레벨을 변경하는 단계는,
디폴트로 활성화된 상기 DVS 픽셀로부터 출력된 픽셀 신호의 처리 결과에 따라 생성된 코드가 모드 변경 코드와 일치하는 경우에 상기 모드 선택 신호의 레벨을 변경하는 이미지 센서 칩의 동작 방법.
제1항에 있어서, 상기 활성화시키는 단계 이전에,
사용자의 입력을 분석하는 단계; 및
분석 결과에 따라 상기 모드 선택 신호를 생성하는 단계를 더 포함하는 이미지 센서 칩의 동작 방법.
제1항에 있어서,
상기 컬러 센서 픽셀은 레드 픽셀, 그린 픽셀 및 블루 픽셀 중 어느 하나이고 베이어 패턴(bayer pattern)으로 배치되는 이미지 센서 칩의 동작 방법.
컬러 센서 픽셀과 대상의 동작을 감지할 수 있는 DVS(dynamic vision sensor) 픽셀을 포함하는 이미지 센서 칩의 동작 방법에 있어서,
상기 DVS 픽셀을 활성화시키는 단계;
모드 선택 신호에 따라, 상기 컬러 센서 픽셀의 활성화 여부를 결정하는 단계; 및
결정 결과와 상기 모드 선택 신호에 기초하여, 상기 DVS 픽셀과 상기 컬러 센서 픽셀 중에 어느 하나로부터 출력된 픽셀 신호를 처리하는 단계를 포함하는 이미지 센서 칩의 동작 방법.
제6항에 있어서, 상기 픽셀 신호를 처리하는 단계는,
상기 컬러 센서 픽셀이 활성화되는 경우 상기 컬러 센서 픽셀로부터 출력된 픽셀 신호를 처리하고,
상기 컬러 센서 픽셀이 활성화되지 않은 경우 상기 DVS 픽셀로부터 출력된 픽셀 신호를 처리하는 이미지 센서 칩의 동작 방법.
제6항에 있어서,
상기 컬러 센서 픽셀은 레드 픽셀, 그린 픽셀 및 블루 픽셀 중 어느 하나이고 베이어 패턴(bayer pattern)으로 배치되는 이미지 센서 칩의 동작 방법.
복수의 컬러 센서 픽셀들을 포함하는 컬러 센서 픽셀 그룹과 각각이 대상의 동작을 감지할 수 있는 복수의 DVS 픽셀들을 포함하는 DVS 픽셀 그룹을 포함하는 픽셀 어레이;
모드 선택 신호에 따라, 상기 컬러 센서 픽셀 그룹과 상기 DVS 픽셀 그룹 중에서 어느 하나를 활성화시키기 위한 컨트롤 회로; 및
활성화된 어느 하나로부터 출력된 픽셀 신호들을 처리하기 픽셀 신호 처리 회로를 포함하는 이미지 센서 칩.
제9항에 있어서,
상기 컨트롤 회로의 제어에 따라, 상기 DVS 픽셀 그룹으로 공급되는 전원을 제어하기 위한 모션 센서 픽셀 활성화 컨트롤러를 더 포함하는 이미지 센서 칩.
제9항에 있어서,
상기 픽셀 신호 처리 회로는,
상기 복수의 DVS 픽셀들 각각으로부터 생성된 복수의 이벤트 신호들 중 적어도 하나를 처리할 수 있는 로우 AER(address event representation); 및
상기 복수의 DVS 픽셀들 각각으로부터 생성된 복수의 이벤트 신호들 중 적어도 다른 하나를 처리할 수 있는 컬럼 AER을 포함하고,
상기 로우 AER은 상기 복수의 컬러 센서 픽셀들 각각을 활성화시키기 위한 로우 드라이버의 반대 쪽에 배치되는 이미지 센서 칩.
제9항에 있어서,
상기 픽셀 신호 처리 회로는,
상기 복수의 DVS 픽셀들 각각으로부터 생성된 복수의 이벤트 신호들 중 적어도 하나를 처리할 수 있는 로우 AER; 및
상기 복수의 DVS 픽셀들 각각으로부터 생성된 복수의 이벤트 신호들 중 적어도 다른 하나를 처리할 수 있는 컬럼 AER을 포함하고,
상기 로우 AER은 상기 복수의 컬러 센서 픽셀들 각각을 활성화시키기 위한 로우 드라이버와 같은 쪽에 배치되는 이미지 센서 칩.
제9항에 있어서,
상기 DVS 픽셀 그룹과 상기 컬러 센서 픽셀 그룹은 서로 분리되어 배치되는 이미지 센서 칩.
제9항에 있어서,
상기 복수의 DVS 픽셀들 각각과 상기 복수의 컬러 센서 픽셀들 각각은 서로 크기가 다른 이미지 센서 칩.
제9항에 있어서,
상기 복수의 DVS 픽셀들과 상기 복수의 컬러 센서 픽셀들 중에서 동일한 컬럼 어드레스를 가지는 DVS 픽셀과 컬러 센서 픽셀은 적어도 하나의 신호 라인을 공유하는 이미지 센서 칩.
제9항에 있어서, 상기 픽셀 신호 처리 회로는
DVS 픽셀 그룹으로부터 출력된 픽셀 신호들을 처리하기 위한 모션 센서 픽셀 신호 처리 회로; 및
컬러 센서 픽셀 그룹으로부터 출력된 픽셀 신호들을 처리하기 위한 컬러 센서 픽셀 신호 처리 회로를 포함하는 이미지 센서 칩.
제16항에 있어서,
상기 모션 센서 픽셀 신호 처리회로의 출력과 상기 컬러 센서 픽셀 신호 처리 회로의 출력 중의 어느 하나를 선택하기 위한 출력 선택 회로를 더 포함하는 이미지 센서 칩.
제9항의 이미지 센서 칩;
상기 이미지 센서로부터 출력된 이미지 데이터를 처리하기 위한 ISP(image signal processor); 및
처리된 이미지 데이터를 상기 ISP로부터 수신하고, 상기 처리된 이미지 데이터에 기초하여 모드 선택 신호를 생성하기 위한 CPU를 포함하는 SoC(system on chip).
컬러 센서 픽셀, 깊이 센서 픽셀과 DVS 픽셀을 포함하는 픽셀 어레이;
모드 선택 신호에 따라 상기 컬러 센서 픽셀 및 상기 깊이 센서 픽셀로부터 전송된 신호와 상기 DVS 픽셀로부터 전송된 신호 중의 어느 하나를 선택하고, 선택된 신호를 출력하기 위한 출력 선택 회로를 포함하는 이미지 센서 칩.
제19항에 있어서,
상기 컬러 센서 픽셀은 레드 픽셀, 그린 픽셀 및 블루 픽셀 중 어느 하나이고,
상기 컬러 센서 픽셀과 상기 깊이 센서 픽셀은 베이어 패턴(bayer pattern)으로 배치되는 이미지 센서 칩.