KR20140044289A

KR20140044289A - 촬상 장치, 촬상 소자, 촬상 제어 방법 및 프로그램

Info

Publication number: KR20140044289A
Application number: KR1020137021144A
Authority: KR
Inventors: Tomoo Mitsunaga
Original assignee: 소니 주식회사
Priority date: 2011-02-18
Filing date: 2012-01-26
Publication date: 2014-04-14
Also published as: MX2013009298A; CA2823028A1; WO2012111401A1; RU2013137453A; EP2677739A1; US20130308044A1; AU2012218816A1; JP2012175234A; CN103370930A; BR112013020495A2; US9060134B2

Abstract

화소 그룹 단위가 서로 다른 노광 제어를 실행하는 촬상 장치, 방법을 제공한다. 촬상 소자의 촬상면의 복수의 화소를 분할한 화소 그룹 단위의 휘도 평가를 실행하고, 평가 결과에 따라서, 화소 그룹 단위의 노광 제어값을 산출한다. 촬상 소자는, 산출된 화소 그룹 단위의 노광 제어값에 따른 제어 신호를 화소 그룹 각각의 구성 화소로 출력하여 화소 그룹 단위의 노광 제어를 실행한다. 제어 신호로서, 예를 들어 화소 그룹 내의 복수 화소에 대하여 동일 패턴을 포함하는 노광 제어 신호를 시계열로 순차 출력하고, 하나의 화소 그룹에 속하는 복수 화소의 노광 시간을 동일하게 한 그룹 단위의 노광 제어를 실현한다.

Description

촬상 장치, 촬상 소자, 촬상 제어 방법 및 프로그램{IMAGE CAPTURING DEVICE, IMAGE CAPTURING ELEMENT, METHOD FOR CONTROLLING IMAGE CAPTURING, AND PROGRAM}

본 발명은 촬상 장치, 촬상 소자 및 촬상 제어 방법과 프로그램에 관한 것이다. 더 상세하게는, 영역 단위의 노광 제어를 행하는 촬상 장치, 촬상 소자 및 촬상 제어 방법과 프로그램에 관한 것이다.

촬상 장치에 있어서 화상 데이터 취득을 위한 촬상 소자(이미지 센서)로서, CMOS(Complementary Metal Oxide Semiconductor) 등, 반도체를 이용한 광전 변환 소자에 의한 에리어 촬상 소자(이미지 센서) 디바이스가 널리 이용되고 있다.

촬상 소자(이미지 센서)의 성능축의 하나로서 다이내믹 레인지가 있다. 다이내믹 레인지란 유효한 화상 신호로서 변환할 수 있는 입사광의 밝기 폭이다. 다이내믹 레인지가 크다는 것은, 어두운 광으로부터 밝은 광까지 화상 신호로 변환할 수 있음을 의미하며, 성능이 좋은 촬상 소자임을 의미한다. 촬상 소자(이미지 센서)의 다이내믹 레인지를 확대하기 위한 고안은 지금까지도 수많이 제안되어 왔지만, 그 중에 화소마다 서로 다른 노광 제어를 행하는 방법이 있다.

통상의 촬상 소자(이미지 센서)의 화소의 각각에는 포토 다이오드(PD: Photo Diode)가 설치되고, 각 화소 대응의 포토 다이오드(PD)에 대한 입사광이 광전 변환에 의해 전하로 변환된다. 각 화소의 PD는 축적할 수 있는 전하량이 정해져 있으므로, 너무 강한 입사광에 대해서는 전하 넘침이 발생하여 그 이상의 신호가 축적이 아닌 포화 상태로 되어, 결과로서 포화 레벨 이상의 신호는 추출할 수 없다. 또한, 화소 및 판독을 위한 회로에서 발생하는 노이즈 때문에, 너무 약한 입사광에 대해서는 발생한 전하가 노이즈에 매립되어 신호를 추출할 수 없다.

유효한 화상 신호를 획득하기 위해서는 적절한 강도의 광이 촬상 소자의 각 화소에 입사하도록 노광을 조절할 필요가 있다. 이 노광을 장소마다의 광강도에 맞춰 화소마다 조절할 수 있는 구조를 만들면, 촬상 소자(이미지 센서)의 다이내믹 레인지를 확대할 수 있다.

이와 같은 고안에 기초한 기술로서, 예를 들어 특허문헌 1(일본 특허 공표 제2003-527775호 공보)에 기재된 기술이 있다. 이것은, 1 노광 기간을 복수의 서브 기간으로 분할하고, 각 서브 기간의 노광 신호를 적분할지 여부의 바이너리 신호를, 행(Row) 방향, 및 열(Column) 방향의 프로그램(Prg) 신호선에 의해 각 화소로 배신하는 구성을 갖는다. 이 구성에 의해 화소마다의 노광 제어를 실현하고 있다.

또한, 비특허문헌 1(하마모토 다카유키, 아이자와 기요하루, "적응 축적 시간 촬상 소자(이미지 센서)의 설계와 시작", 영상 정보 미디어 학회지: 영상 정보 미디어, 55(2), 271-278, February, 2001)은 화소마다 노광 도중의 축적 전하를 화소마다 비파괴 상태로 하여 검증하고, 포화되었다고 판정한 화소에 대해서는 즉시 전하의 리셋을 행함으로써 화소마다의 노광 제어를 실현하는 구성을 개시하고 있다.

또한, 특허문헌 2(일본 특허 공개 제2010-136205호 공보)는 촬상 소자(이미지 센서)의 출력에 기초하여, 초시간이나 단시간의 2종류의 노광 시간 중 어느 한쪽을 화소마다 결정하는 수단과, 리셋 및 전하 전송의 타이밍을 화소마다 제어할 수 있도록 한 화소 회로에 의해 화소마다의 노광 제어를 실현하는 구성을 개시하고 있다.

일본 특허 공표 제2003-527775호 공보 일본 특허 공개 제2010-136205호 공보

하마모토 다카유키, 아이자와 기요하루, "적응 축적 시간 촬상 소자(이미지 센서)의 설계와 시작", 영상 정보 미디어 학회지: 영상 정보 미디어, 55(2), 271-278, February, 2001

전술한 종래 기술에는, 이하에 설명하는 바와 같이, 배선의 곤란함이라 하는 공통의 문제가 있다. 화소마다 서로 다른 노광 제어를 행하기 위해서는, 노광 제어에 관한 정보를 화소마다 별도로 전달할 필요가 있으며, 신호 전달을 위한 배선수가 증가하게 된다. 이와 같은 화소 대응의 배선을 부가하는 구성은, 화소수가 적은 종래의 촬상 소자에서는 가능하지만, 화소수가 비약적으로 증가하고 있는 작금의 촬상 소자에서는 대응하는 것이 극히 곤란하다는 것이 현 상황이다.

예를 들어, 전술한 특허문헌 1에 개시된 기술에 있어서는, 화소마다의 전하 축적을 제어하기 위해서, 통상의 촬상 소자(이미지 센서)에는 없는 특별한 제어 신호선을 복수 추가할 필요가 있었다. 특히 전술한 행(Row) 방향 및 열(Column) 방향의 프로그램(Prg) 신호선을 이용한 구성에 있어서, 하나의 서브 노광 기간 내라고 하는 극히 짧은 시간 내에 전체 화소에 대하여 다음 서브 노광 기간에서의 제어 신호를 전달하는 신호 전달의 고속성이 요구된다.

또한, 특허문헌 1의 기술에 의하면 노광 제어를 다단계로 하는 것은 원리적으로 가능하지만, 그것을 위해서는 노광 제어를 부호화한 센서의 화소수와 동일한 비트맵을 행(Row) 방향 및 열(Column) 방향의 프로그램(Prg) 신호에 대하여 시계열로 부호화한 신호를 프레임마다 센서 내에서 생성하거나, 그 시계열을 프레임마다 센서 외로부터 공급하는 구성이 필요해진다. 이와 같은 신호 생성 혹은 공급을 단시간에 실행하는 것은, 고화소수의 센서로는 거의 불가능하다.

또한, 비특허문헌 1에 개시된 기술에 있어서는, 화소마다의 포화 판정 및 리셋 제어를 각 열(Colum) 병렬로 행함에 따른 배선 경감 구성을 개시하고 있다. 그러나, 화소수가 증가하면, 복수열을 병렬로 제어해도 제어를 제시간에 맞출 수 없게 될 것이 예상된다.

또한, 특허문헌 2에 개시된 구성은, 특허문헌 1의 기술보다 자유도가 낮은 만큼, 보다 심플한 화소 제어 구조로 화소마다의 노광 제어를 실현할 수 있도록 되어 있다. 그로 인해, 촬상면 전체에서 각 화소가 2단계(장/단시간 노광의 2단계) 중 어느 쪽이든지 제어는 비교적 간단하게 할 수 있다.

그러나 특허문헌 2의 기술에서도 다단계의 제어를 행하려고 하면 전술한 특허문헌 1의 기술과 마찬가지로, 전체 화소의 노광 시간 정보를 Row 및 Column 방향의 리셋 및 전송 신호 시계열로 부호화한 신호가 타이밍 제너레이터로부터 공급될 필요가 있다. 그 데이터량은 프레임당 전체 화소수×2이면서, 신호 판독보다도 노광 제어 쪽이 보다 병렬성의 필요성이 큰 점을 고려하면, 이와 같은 신호를 센서로 공급하는 것은 극히 곤란하다고 생각된다.

이상으로 설명한 바와 같이 촬상 소자(이미지 센서)의 다이내믹 레인지 향상을 위해 화소마다 서로 다른 노광 제어를 하는 종래의 기술은, 그 제어 신호를 각 화소로 확실하게 전달하는 배선이나 제어 구성이 어려워서, 작금의 고화소수의 촬상 소자(이미지 센서)에 적용하기에는 적합하지 않다고 생각된다.

본 발명은 이와 같은 상황을 감안하여 이루어진 것으로, 작금의 고화소수의 촬상 소자에도 적용 가능한 영역 단위의 노광 제어를 실현하는 촬상 장치, 촬상 소자 및 촬상 제어 방법과 프로그램을 제공하는 것을 목적으로 한다.

본 발명의 제1 측면은,

복수 화소로 구성되는 화소 그룹 단위의 휘도 평가를 실행하는 휘도 평가부와,

상기 휘도 평가부의 평가 결과에 따라서, 상기 화소 그룹 단위의 노광 제어값을 산출하는 노광 제어값 산출부와,

상기 노광 제어값 산출부의 산출된 화소 그룹 단위의 노광 제어값에 따른 제어 신호를 화소 그룹 각각의 구성 화소로 출력하여 화소 그룹 단위의 노광 제어를 실행하는 촬상 소자를 갖는 촬상 장치에 있다.

또한, 본 발명의 촬상 장치의 일 실시 형태에 있어서, 상기 촬상 소자는, 상기 제어 신호로서, 상기 화소 그룹 내의 복수 화소에 대하여 동일 패턴을 포함하는 노광 제어 신호를 시계열로 순차 출력하는 처리를 행하고, 하나의 화소 그룹에 속하는 복수 화소의 노광 시간을 동일하게 한 노광 제어를 행한다.

또한, 본 발명의 촬상 장치의 일 실시 형태에 있어서, 상기 촬상 소자는, 상기 제어 신호로서, 행(로우: Row) 단위의 제어 신호와, 열(컬럼: Column) 단위의 제어 신호를 조합하여, 제어 대상의 화소를 특정한 제어 처리를 실행한다.

또한, 본 발명의 촬상 장치의 일 실시 형태에 있어서, 상기 촬상 소자는, 노광 처리의 개시 타이밍을 나타내는 노광 개시 제어 신호와, 판독 처리의 개시 타이밍을 나타내는 판독 개시 제어 신호를 화소 그룹 단위로 설정하여, 화소 그룹 단위의 노광 제어를 실행한다.

또한, 본 발명의 촬상 장치의 일 실시 형태에 있어서, 상기 촬상 소자는, 행(Row) 방향으로 설정된 화소 그룹에 대한 노광 제어 신호를 출력하는 복수의 Row 라인 셀렉터와, 상기 복수의 Row 라인 셀렉터에 대한 제어 신호 출력 타이밍을 지시하는 제어 신호를 출력하는 Row 그룹 셀렉터의 계층 구성을 갖는다.

또한, 본 발명의 촬상 장치의 일 실시 형태에 있어서, 상기 Row 라인 셀렉터는, 상기 Row 그룹 셀렉터로부터의 제어 신호 출력 타이밍을 지시하는 제어 신호에 따라서, 제어 대상으로 하는 화소 그룹 단위로 제어 신호를 출력한다.

또한, 본 발명의 촬상 장치의 일 실시 형태에 있어서, 상기 Row 라인 셀렉터는, 각 화소의 노광 처리를 실행시키는 노광 패턴 신호를 출력하는 셔터 제어 신호 생성부와, 각 화소의 판독 처리를 실행시키는 판독 패턴 신호를 출력하는 판독 제어 신호 생성부를 갖고, 상기 Row 그룹 셀렉터로부터의 제어 신호 출력 타이밍을 지시하는 제어 신호의 종류에 따라서, 상기 셔터 제어 신호 생성부 또는 상기 판독 제어 신호 생성부의 생성하는 제어 신호의 선택적인 출력 처리를 실행한다.

또한, 본 발명의 촬상 장치의 일 실시 형태에 있어서, 상기 촬상 소자는, 촬상 소자의 1행(Row)의 화소 신호에 대하여 병렬로 AD 변환을 실행하는 컬럼(Column) ADC를 갖고, 화소 그룹 단위의 제어 신호를 생성하는 컬럼(Column) 그룹 셀렉터와, 화소 그룹 단위의 제어 신호를 받아서 화소 그룹 내의 제어 신호를 생성하는 복수의 컬럼(Column) 라인 셀렉터의 계층 구조를 더 갖는, 컬럼(Column) 셀렉터를 갖는다.

또한, 본 발명의 촬상 장치의 일 실시 형태에 있어서, 상기 화소 그룹은 인접 화소 집합을 포함하는 화소 그룹이다.

또한, 본 발명의 촬상 장치의 일 실시 형태에 있어서, 상기 화소 그룹은 복수의 이격 영역에 있는 화소 집합을 포함하는 화소 그룹이다.

또한, 본 발명의 제2 측면은,

촬상면의 복수의 화소를 분할한 화소 그룹 단위로 설정된 노광 제어값에 따른 제어 신호를 화소 그룹 각각의 구성 화소로 출력하여 화소 그룹 단위의 노광 제어를 실행하는 촬상 소자에 있다.

또한, 본 발명의 촬상 소자의 일 실시 형태에 있어서, 상기 제어 신호로서, 상기 화소 그룹 내의 복수 화소에 대하여 동일 패턴을 포함하는 노광 제어 신호를 시계열로 순차 출력하는 처리를 행하고, 하나의 화소 그룹에 속하는 복수 화소의 노광 시간을 동일하게 한 노광 제어를 행한다.

또한, 본 발명의 촬상 소자의 일 실시 형태에 있어서, 상기 제어 신호로서, 행(로우: Row) 단위의 제어 신호와, 열(컬럼: Column) 단위의 제어 신호를 조합하여, 제어 대상의 화소를 특정한 제어 처리를 실행한다.

또한, 본 발명의 촬상 소자의 일 실시 형태에 있어서, 노광 처리의 개시 타이밍을 나타내는 노광 개시 제어 신호와, 판독 처리의 개시 타이밍을 나타내는 판독 개시 제어 신호를 화소 그룹 단위로 설정하여, 화소 그룹 단위의 노광 제어를 실행한다.

또한, 본 발명의 제3 측면은,

촬상 장치에서 실행하는 촬상 제어 방법으로서,

휘도 평가부가, 복수 화소로 구성되는 화소 그룹 단위의 휘도 평가를 실행하는 휘도 평가 스텝과,

노광 제어값 산출부가, 상기 휘도 평가 스텝에서의 평가 결과에 따라서, 상기 화소 그룹 단위의 노광 제어값을 산출하는 노광 제어값 산출 스텝과,

촬상 소자가, 상기 노광 제어값 산출 스텝에 있어서 산출된 화소 그룹 단위의 노광 제어값에 따른 제어 신호를 화소 그룹 각각의 구성 화소로 출력하여 화소 그룹 단위의 노광 제어를 실행하는 촬상 스텝을 갖는 촬상 제어 방법에 있다.

또한, 본 발명의 제4 측면은,

촬상 장치에서 촬상 제어 처리를 실행시키는 프로그램으로서,

휘도 평가부에, 복수 화소로 구성되는 화소 그룹 단위의 휘도 평가를 실행시키는 휘도 평가 스텝과,

노광 제어값 산출부에, 상기 휘도 평가 스텝에서의 평가 결과에 따라서, 상기 화소 그룹 단위의 노광 제어값을 산출시키는 노광 제어값 산출 스텝과,

촬상 소자에, 상기 노광 제어값 산출 스텝에 있어서 산출된 화소 그룹 단위의 노광 제어값에 따른 제어 신호를 화소 그룹 각각의 구성 화소로 출력하여 화소 그룹 단위의 노광 제어를 실행시키는 촬상 스텝을 실행시키는 프로그램에 있다.

또한, 본 발명의 프로그램은, 예를 들어 다양한 프로그램·코드를 실행 가능한 화상 처리 장치나 컴퓨터·시스템에 대하여 컴퓨터 가독 형식으로 제공하는 기억 매체, 통신 매체에 의해 제공 가능한 프로그램이다. 이와 같은 프로그램을 컴퓨터 가독한 형식으로 제공함으로써, 정보 처리 장치나 컴퓨터·시스템상에서 프로그램에 따른 처리가 실현된다.

본 발명의 또 다른 목적, 특징이나 이점은, 후술하는 본 발명의 실시예나 첨부하는 도면에 기초하는 보다 상세한 설명에 의해 밝혀질 것이다. 또한, 본 명세서에 있어서 시스템이란, 복수 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 케이싱 내에 있는 것으로는 한정하지 않는다.

본 발명의 일 실시예의 구성에 의하면, 촬상 소자의 촬상면의 복수 화소를 분할한 화소 그룹 단위가 서로 다른 노광 제어를 실행하는 구성이 실현된다.

복수 화소로 구성되는 화소 그룹 단위의 휘도 평가를 실행하고, 평가 결과에 따라서, 화소 그룹 단위의 노광 제어값을 산출한다. 촬상 소자는, 산출된 화소 그룹 단위의 노광 제어값에 따른 제어 신호를 화소 그룹 각각의 구성 화소로 출력하여 화소 그룹 단위의 노광 제어를 실행한다. 제어 신호로서, 예를 들어 화소 그룹 내의 복수 화소에 대하여 동일 패턴을 포함하는 노광 제어 신호를 시계열로 순차 출력하고, 하나의 화소 그룹에 속하는 복수 화소의 노광 시간을 동일하게 한 그룹 단위의 노광 제어를 실현한다.

도 1은 촬상 장치의 전체 구성예에 대하여 설명하는 도면이다.
도 2는 촬상 장치에서 실행하는 노광 제어 처리의 실행 구성에 대하여 설명하는 도면이다.
도 3은 촬상 소자(이미지 센서)의 구성예에 대하여 설명하는 도면이다.
도 4는 촬상 소자(이미지 센서) 내의 하나의 화소의 구성예를 설명하는 등가 회로를 나타낸 도면이다.
도 5의 (a)는 노광 처리 「SHUTTER(셔터)」에 기초하는 전하 축적 처리와, (b)는 판독 처리 「READ(리드)」에 기초하는 축적 전하 출력 처리의 2가지 처리 동작 시의 제어 신호 패턴을 설명하는 도면이다.
도 6은 Row 셀렉터의 내부 구성과, 촬상 소자(103)로 설정된 블록(화소 그룹)의 대응 관계예에 대하여 설명하는 도면이다.
도 7은 도 6 중에 도시한 하나의 Row 라인 셀렉터(124)의 내부 구성을 설명하는 블록도이다.
도 8은 노광 처리 개시를 지시하는 SHUTTER(셔터) 제어 개시를 나타내는 제어 신호 SHy가 입력된 경우의 Row 라인 셀렉터의 동작을 설명하는 타이밍도이다.
도 9는 판독 처리 개시를 지시하는 READ(판독) 제어 개시를 나타내는 제어 신호 RDy가 입력된 경우의 Row 라인 셀렉터의 동작을 설명하는 도면이다.
도 10은 통상의 전체면 균일한 노광 시간의 노광 제어(셔터 제어)에 의한 촬상을 행하는 경우의 Row 그룹 셀렉터의 제어를 설명하는 타이밍도이다.
도 11은 화소 그룹마다 서로 다른 노광 시간으로 한 노광 제어(셔터 제어)에 의한 촬상을 행하는 경우의 Row 그룹 셀렉터의 제어를 설명하는 타이밍도이다.
도 12는 도 11에 도시한 제어 결과로서 촬상면 전체에 설정되는 셔터 시간의 예에 대하여 설명하는 도면이다.
도 13은 컬럼 ADC를 이용한 촬상 소자(이미지 센서)의 구성을 설명하는 도면이다.
도 14는 제2 실시예의 Column 셀렉터의 구성예에 대하여 설명하는 도면이다.
도 15는 도 13의 Row 셀렉터(132) 내부의 하나의 Row 라인 셀렉터에 대하여 노광 처리 개시를 지시하는 SHUTTER(셔터) 제어 개시를 나타내는 제어 신호 SHy가 입력된 경우의 Row 라인 셀렉터의 동작을 설명하는 타이밍도이다.
도 16은 도 13의 Row 셀렉터(132) 내부의 하나의 Row 라인 셀렉터에 대하여 판독 처리 개시를 지시하는 READ(판독) 제어 개시를 나타내는 제어 신호 RDy가 입력된 경우의 Row 라인 셀렉터의 동작에 대하여 설명하는 타이밍도이다.
도 17은 서로 영역이 오버랩되는 화소 그룹을 형성하는 Row 셀렉터의 계층 구조를 설명하는 도면이다.
도 18은 서로 영역이 오버랩되는 화소 그룹을 형성하는 Row 셀렉터의 계층 구조를 설명하는 도면이다.

이하, 도면을 참조하면서 본 발명의 촬상 장치, 촬상 소자 및 촬상 제어 방법과 프로그램의 상세에 대하여 설명한다. 설명은 이하의 항목에 따라서 행한다.

1. 촬상 장치의 구성예에 대하여

2. 노광 평가 및 노광 제어값 산출 처리에 대하여

3. 촬상 소자(이미지 센서)의 구성 및 노광 제어 기구에 대하여

4. 제1 노광 제어 동작예: 통상의 균일 셔터 동작

5. 제2 노광 제어 동작예: 화소 그룹마다 서로 다른 셔터 동작

6. 제2 실시예: 컬럼 ADC와의 공존

7. 제3 실시예: 화소 그룹의 설정 구성과 화소 그룹 위치의 오버랩 구성에 대하여

8. 본 발명의 구성과 효과의 정리

[1. 촬상 장치의 구성예에 대하여]

이하, 본 발명의 실시예에 대하여 설명한다. 이하, 본 발명의 일 실시예로서 디지털 비디오 카메라의 예에 대하여 설명한다.

처음에 카메라의 구성과 동작에 대하여 설명하고, 그 후, 촬상 소자(이미지 센서 디바이스)의 구성예와 촬상 소자를 이용한 노광 제어의 상세에 대하여 설명한다.

우선, 도 1을 참조하여 촬상 장치(디지털 비디오 카메라)의 구성에 대하여 설명한다. 도 1에 도시한 바와 같이, 촬상 장치는 렌즈(101), 조리개(102), 촬상 소자(103: 이미지 센서), DSP 블록(104), LCD 드라이버(105), LCD(106), CODEC(107), 메모리(108), CPU(109), 입력 디바이스(110)로 구성된다.

여기서, 입력 디바이스(110)는 카메라 본체에 있는 셔터 버튼 등의 조작 버튼류에 의해 구성된다. 또한, DSP 블록(104)은 신호 처리용 프로세서와, 촬상 소자(103)로부터 출력되는 촬영 화상을 일시적으로 저장하는 화상용 RAM을 갖는 블록이다. DSP 블록(104)에 있어서는, 신호 처리용 프로세서가 화상용 RAM에 저장된 화상 데이터에 대하여 미리 프로그램된 화상 처리를 행한다. 이하 DSP 블록을 단순히 DSP라 부른다.

광학계를 통과하여 촬상 소자(103: 이미지 센서)에 도달한 입사광은, 촬상 소자(103: 이미지 센서)에 있어서 화상 데이터로 변환되고, DSP(104) 중의 화상 메모리에 일시 저장된다. 촬상 중의 상태에 있어서는, 촬상 소자(103: 이미지 센서)가 일정한 프레임 레이트로 화상 데이터를 출력하도록 제어된다. DSP(104)로 일정한 레이트로 화상 데이터가 보내지고, 그곳에서 적절한 화상 처리가 행해진 후, 화상 데이터는 LCD 드라이버(105) 또는 CODEC(107) 혹은 그 양쪽으로 보내진다.

LCD 드라이버(105)는 DSP(104)로부터 보내지는 화상 데이터를 아날로그 신호로 변환하고, 그것을 LCD(106)로 출력하여 표시시킨다. 이 LCD(106)는 본 실시예에 있어서 카메라의 파인더 역할을 담당하고 있다. 또한, CODEC(107)은 DSP(104)로부터 보내지는 화상 데이터의 부호화를 행하고, 부호화된 화상 데이터는 메모리(108)에 기록된다. 여기서, 메모리(108)는 예를 들어 반도체, 자기 기록 매체, 광자기 기록 매체, 광기록 매체 등을 이용한 기록 장치 등이다.

또한, CPU(109), DSP(140)에서는, 예를 들어 메모리(108)에 미리 기록된 프로그램에 따라서 다양한 처리를 실행 가능하며, 이하에 설명하는 처리도 프로그램에 따라서 실행 가능한 처리이다.

[2. 노광 평가 및 노광 제어값 산출 처리에 대하여]

촬상 소자(103: 이미지 센서)는, 촬상 소자에 설치된 화소의 영역마다 서로 다른 노광, 즉 영역 단위가 서로 다른 노광 시간을 설정하여 하나의 화상을 촬영할 수 있다. 예를 들어, 촬영하는 하나의 신(scene) 내에서 어두운 피사체가 존재하는 영역은 밝은 노광, 즉 장시간 노광 영역으로 하고, 한편 밝은 피사체가 존재하는 영역에서는 어두운 노광, 즉 단시간 노광 영역으로 하여 촬영하고 하나의 화상 데이터를 출력한다.

이와 같이 각 영역 단위에서, 피사체의 밝기에 따른 최적 노광으로 촬영을 실행함으로써 노이즈나 포화가 적은 화상 데이터를 생성할 수 있다.

이하, 촬상 소자(이미지 센서)의 영역 단위가 서로 다른 노광 제어를 행하기 위한 구체적인 구성과 처리에 대하여 설명한다.

도 2는 본 실시예의 노광 평가 및 노광 제어값 산출을 위한 처리 구성을 설명하는 블록도이다.

또한, 도 2에 있어서, 블록 평균 휘도(114), 노광 제어값(116), 노광 제어값(117) 등, 평행한 수평 2개 선으로 나타내는 도형은 데이터 또는 데이터를 저장하는 메모리를 나타낸다. 또한, 이미지 센서(103) 등의 직사각형으로 나타낸 도형은, 처리의 실행부 또는 처리를 나타낸다.

또한, 도 2에 도시한 구성에 의해 행해지는 노광 평가 처리 및 노광 제어값 산출 처리는, 도 1에 도시한 DSP(104)에 있어서 실행되는 처리이며, 도 2에 도시한 구성은, DSP(104) 내로 설정되는 구성이다.

촬상 소자(103: 이미지 센서)로부터 출력된 화상 데이터는 영역마다 서로 다른 노광으로 촬영된다.

따라서, 도 1에 도시한 촬상 소자(103: 이미지 센서)로부터 출력되는 화상 데이터 그대로는 영역마다 서로 다른 노광 시간의 설정에 기초하는 신호 출력이 이루어진 상태이므로, 각 노광 시간의 차이를 보상하여 최종적인 출력값을 설정할 필요가 있다. 또한, 촬상 소자(103: 이미지 센서)로부터 출력되는 화상 데이터가 촬영된 시점에서의 노광 제어값은 노광 제어값(117)으로서, DSP(104) 내의 메모리에 저장된다.

촬상 소자(103: 이미지 센서)로부터 출력되는 화상 데이터는, 메모리에 저장된 노광 제어값(117)에 기초하여, 노광 보상 승산기(111)에 의해 화소마다 최종적인 화소값으로서의 출력값을 산출하는 보상 처리를 실행한다. 그 후, 화상 데이터는 신호 처리부(112)로 보내지고, 신호 처리부(112)에 있어서, 화이트 밸런스 조정, 디모자이크, 리니어 매트릭스, 감마 보정, 애퍼쳐 보정 등의 카메라 신호 처리가 실시되어, 카메라 촬영 화상으로서 출력할 수 있는 데이터로 된다.

한편, 촬상 소자(103: 이미지 센서)로부터 출력되는 화상 데이터는 블록 휘도 평가부(113)에도 입력된다. 블록 휘도 평가부(113)는 화상을 직사각형으로 분할한 블록 영역마다 휘도 평균값을 평가한다. 평가된 블록마다의 휘도 평균값은 블록 평균 휘도(114)로서 메모리에 저장된다.

또한, 이하의 실시예에서는, 노광 제어 단위로서 규정하는 블록(화소 그룹)을 직사각형 영역으로 한 예를 설명하지만, 블록은 직사각형 영역으로 한정되는 것은 아니다.

노광 제어값 산출부(115)는 블록 평균 휘도(114)에 기초하여 촬상 소자(103: 이미지 센서)로 입력하는 노광 제어값을 산출한다. 노광 제어값은, 각 블록의 평균 휘도와 미리 설정되어 있는 타깃 휘도값에 의해 산출된다. 타깃 휘도값은, 노광 제어에 의해 기대하는 촬상 소자(103: 이미지 센서)로부터의 출력 휘도값이며, 통상은 백색 레벨의 18％ 내지 20％ 정도의 휘도 레벨로 설정된다.

이와 같이, 촬상 소자(103: 이미지 센서)는, 촬상면을 직사각형으로 구획한 영역인 블록마다 노광 제어를 행한다. 노광 제어값 산출부(115)는 그 블록 영역에 차례로 하나하나 대응하도록 노광 제어값을 산출하고, 산출된 노광 제어값을 노광 제어값(116)으로서 메모리에 저장한다.

촬상 소자(103: 이미지 센서)는, 메모리에 저장된 블록 대응의 노광 제어값(116)에 기초하여 다음 프레임의 화상 데이터를 촬영한다. 또한, 도 2에 도시한 또 하나의 노광 제어값(117)은 노광 제어값(116)의 카피 데이터이며, 다음으로 촬상 소자(103: 이미지 센서)로부터 출력되는 화상 데이터에 대하여 노광 보상을 행하기 위한 정보로서 이용된다.

노광 제어값 산출부(115)가 블록마다 노광 제어값을 산출하는 구체적인 방법에 대하여 설명한다.

촬상 소자(103: 이미지 센서)의 각 구성 화소로부터의 출력 휘도값을 I라 한다.

출력 휘도값: I는,

입사광량: L,

조리개 구경의 2승: A²,

셔터 시간: T, 및

센서 감도: S,

이들에 비례한다.

따라서, 촬상 소자(103: 이미지 센서)의 각 구성 화소로부터의 출력 휘도값 I는, 이하의 산출식(식 1)에 의해 산출할 수 있다.

<식 1>

I=k·L·A²·T·S

상기 식 1에 있어서,

k는 비례 계수이다.

상기 식으로부터 밝혀진 바와 같이, 입사광량 L, 조리개 A와 감도 S가 일정한 경우에는, 출력 휘도값 I는 셔터 시간 T에 비례한다. 또한, 셔터 시간이란 노광 시간에 상당한다.

따라서, 소정의 타깃 휘도값 It를 얻기 위한 셔터 시간 Tt는, 현재의 출력 휘도값 I와 셔터 시간 T를 이용하여, 이하의 식 2에 따라서 산출할 수 있다.

<식 2>

Tt=T(It/I)

상기 식 1, 식 2는 촬상 소자(103: 이미지 센서)의 각 구성 화소의 화소 단위의 출력 휘도값: I와, 소정의 타깃 휘도값 It를 얻기 위한 셔터 시간 Tt의 산출식이지만, 본 발명의 구성에서는, 복수의 화소로 구성되는 블록(화소 그룹) 단위로 처리를 행한다.

즉,

현재의 블록(화소 그룹) 평균 휘도를 I,

각 블록(화소 그룹)의 현재 셔터 시간을 T,

이와 같은 블록(화소 그룹) 단위에서의 산출 구성으로 함으로써, 블록(화소 그룹)마다, 상기 식 2에 의해 Tt(소정의 타깃 휘도값 It를 얻기 위한 셔터 시간 Tt)를 산출하고, 그것을 블록(화소 그룹)마다의 노광 시간, 즉 노광 제어값으로서 이용한다.

이와 같이 본 발명의 구성에서는, 화소 단위의 휘도에 기초하는 화소 단위의 노광 제어가 아니라, 복수 화소를 포함하는 블록(화소 그룹) 단위의 평균 휘도에 기초하여 블록 단위의 노광 제어를 실행한다.

[3. 촬상 소자(이미지 센서)의 구성 및 노광 제어 기구에 대하여]

다음으로, 촬상 소자(103: 이미지 센서)의 구성과 내부의 노광 제어 기구에 대하여 설명한다.

도 3은 본 실시예의 촬상 소자(이미지 센서)의 구성을 설명하는 도면이다. 도면 중의 작은 정사각형의 각각이, 촬상면에 2차원 격자형으로 배치된 화소를 나타낸다. 즉 광전 변환 소자를 갖는 화소를 나타낸다. 각 화소는, 수평 방향으로 연장하는 3종류의 제어선을 통해 제어 신호 RSr, TRr, SLr을 입력하고, 또한 수직 방향으로 연장되는 1종의 제어선을 통해 제어 신호 RSTRc를 입력한다.

또한, 수직 방향으로 연장되는 신호선을 통해 화소 신호 SIGc, 즉 각 화소가 입사광에 따라서 축적한 전하를 출력하도록 되어 있다.

수평 방향의 3종류의 제어 신호(RSr, TRr, SLr)를 전송하는 제어선은 모두 Row 셀렉터(119: 행 셀렉터)에 접속하고, Row 셀렉터(119)로부터 제어 신호가 각 화소로 전달된다.

또한 수직 방향의 제어선은 모두 Column 셀렉터(120: 열 셀렉터)에 접속하고, Column 셀렉터(120)로부터 제어 신호가 각 화소로 전달된다.

Row 셀렉터(119) 및 Column 셀렉터(120)는 타이밍 제너레이터(118: TG)에 접속하고, 타이밍 제너레이터(118: TG)는 촬상 소자(103: 이미지 센서)에 대하여 외부로부터의 노광 제어 신호의 입력을 접수하도록 되어 있다.

여기서 외부로부터 입력하는 노광 제어 신호란, 도 2를 참조하여 설명한 노광 제어값(116), 즉 블록 단위의 노광 제어값이다.

타이밍 제너레이터(118: TG)는, 블록 단위의 노광 제어값을 블록 단위의 셔터 제어의 타이밍 정보로 변환하고, 그것을 Row 셀렉터(119) 및 Column 셀렉터(120)로 전달한다. Row 셀렉터(119) 및 Column 셀렉터(120)는 그것을 받아서 Row마다 및 Column마다의 제어 신호를 발생시켜서, 제어 신호 RSr, TRr, SLr 및 RSTRc를 각 화소로 전달한다.

각 화소로부터 출력되는 출력 화소 신호 SIGc는 Column 단위로 선택하기 위한 스위치를 통과하도록 되어 있다. 스위치는 Column 셀렉터(120)에 의한 Column 선택 신호 SLc에 의해 개폐된다. Column 선택 신호 SLc에 의해 선택된 Column의 각 화소로부터의 화소 신호 SIGc는, CDS(121: Correlated Double Sampling 회로)에 입력되고, 그곳에서 리셋 노이즈가 억제되어, 다음으로 ADC(Analog-Digital Converter 회로)에 입력하고, 그곳에서 아날로그 신호로부터 디지털 신호로 변환된 후, 화상 출력으로서 촬상 소자(이미지 센서)로부터 출력된다.

도 4는 본 실시예의 촬상 소자(이미지 센서) 내의 하나의 화소의 구성예를 설명하는 등가 회로이다. 도 4의 파선의 사각형으로 둘러싸인 부분이 1 화소에 상당하는 구성이다. 하나의 화소는 수평으로 연장하는 3종류의 제어선으로부터 각 제어 신호 RSr, TRr, SLr을 입력한다.

이들 제어 신호 RSr, TRr, SLr에 대해서는, 동일한 Row(행)에 속하는 화소는 모두 동일한 제어선으로부터 입력하도록 되어 있다. 또한, 하나의 화소는 수직으로 연장하는 제어선을 통해 제어 신호 RSTRc를 입력한다. 이 제어 신호 RSTRc는 동일한 Column(열)에 속하는 화소는 모두 동일한 제어선으로부터 입력하도록 되어 있다.

화소에 광이 입사되면 포토 다이오드 PD에 있어서 광전 변환에 의해 광량에 따른 전하가 발생한다. 포토 다이오드 PD에 축적한 전하는 트랜지스터 M2를 통해 플로팅 디퓨전 FD로 전송된다. 트랜지스터 M2의 게이트는 트랜지스터 M1을 통해, 제어 신호 TRr과 RSTRc에 의해 제어된다. 트랜지스터 M4는, 그것이 통전함으로써, 플로팅 디퓨전 FD에 축적된 전하를 리셋하는 동작을 행한다. 트랜지스터 M4의 게이트는 트랜지스터 M3을 통해, 제어 신호 RSr과 RSTRc에 의해 제어된다. 플로팅 디퓨전 FD에 축적된 전하는 트랜지스터 M5에 의해 증폭되고, 트랜지스터 M6을 통해 출력 화소 신호 SIGc가 출력된다. 트랜지스터 M6의 게이트는 제어 신호 SLr에 의해 제어된다.

본 실시예에서는, 화소는 이하의 2가지 패턴의 동작, 즉

(a) 노광 처리 「SHUTTER(셔터)」에 기초하는 전하 축적 처리

(b) 판독 처리 「READ(리드)」에 기초하는 축적 전하 출력 처리

이들 2가지 처리를 행한다.

상기 (a), (b) 중 어느 한쪽의 동작도 행하지 않을 때는, 노광한 전하를 축적한 상태를 유지하고 있다.

도 5에,

(a) 노광 처리 「SHUTTER(셔터)」에 기초하는 전하 축적 처리

이들 2가지 처리 동작 시의 제어 신호 패턴을 설명하는 타이밍 차트를 나타낸다.

횡축은 시간이다.

Column(열) 방향의 제어 신호 RSTRc는, 상기 Column의 화소가 화소 제어 기간에 있을 때 active 상태를 유지함으로써, 그 화소가 제어 가능한 상태를 만든다.

또한, 노광 처리 「SHUTTER」 동작에 있어서는, RSTRc가 active인 동안에Row(행) 방향의 제어 신호 RSr과 TRr이 동시에 active가 된다. 그것에 의해, 도 4에서의 트랜지스터 M2 및 M4가 동시에 개방 상태로 되어 포토 다이오드 PD 및 플로팅 디퓨전 FD의 축적 전하가 리셋, 즉 전자 셔터에 의한 노광 개시의 동작으로 된다.

또한, 판독 처리 「READ」 동작에 있어서는, 화소 제어 기간에 제어 신호 RSTRc와 동시에 Row 방향의 제어 신호 SLr이 active 상태를 유지한다. 그리고 그 동안에, 우선 제어 신호 RSr이 먼저, 다음으로 제어 신호 TRr이 순차 active가 되도록 동작한다. 제어 신호 RSr이 active가 됨으로써 트랜지스터 M4가 개방 상태로 되고, 플로팅 디퓨전 FD의 전하가 리셋됨과 동시에, 제어 신호 SLr에 의해 트랜지스터 M6이 개방 상태로 되어 있으므로, 리셋된 상태의 출력 화소 신호 SIGc가 출력된다.

그리고 제어 신호 TRr이 active가 됨으로써 트랜지스터 M2가 개방 상태로 되고, 포토 다이오드 PD에 축적된 전하가 플로팅 디퓨전 FD로 전송된다. 이 시점에서 트랜지스터 M4는 폐쇄 상태, 트랜지스터 M6은 계속해서 개방 상태로 되어 있기 때문에, 전송된 전하에 따른 출력 화소 신호 SIGc가 신호선을 통해 출력된다. READ 동작에 의해 순차 출력된 리셋 상태 및 축적 상태의 신호는 각각 CDS 내에 유지된 후, CDS 내의 차분 검출 동작에 의해 리셋 노이즈가 캔슬된 만큼의 신호가 생성된다.

도 6을 참조하여, Row 셀렉터의 내부 구성과, 촬상 소자(103)로 설정된 블록(화소 그룹)의 대응 관계예에 대하여 설명한다.

본 발명을 실현하는 촬상 소자(103: 이미지 센서)는, 복수의 화소를 포함하는 화소 그룹마다 서로 다른 노광 시간(셔터 시간)으로 되도록 제어하는 것이 하나의 특징이다.

여기서 설명하는 실시예에서는, 촬상 소자(103: 이미지 센서)의 촬상면을 직사각형 블록 형상으로 분할한 영역마다 블록(화소 그룹)을 형성하고, 블록(화소 그룹) 각각에 서로 다른 노광 시간(셔터 시간)으로 하는 제어를 행하는 예이다.

도 6에는 촬상 소자(103)로 설정되는 직사각형의 블록(화소 그룹)을 파선 사각형으로 나타내고 있다.

도 6에 있어서는, 하나의 블록은 P행(Row), Q열(Column)의 화소에 의해 구성된 예를 일례로서 나타내고 있다. 또한, 블록 설정은 다양한 설정이 가능하다.

촬상 소자 전체의 화소열(Column)의 총 수는 W열이라 한다.

블록(화소 그룹)은 수평 방향을 x 방향, 수직 방향을 y 방향이라 하고, 예를 들어 도 6의 좌측 상단의 블록(화소 그룹)의 블록 식별자(어드레스)를 (x1, yi)라 한다.

블록(x1, yi)의 우측 옆의 블록은 블록(x2, yi)이다.

블록(x1, yi)의 아래에 인접하는 블록은 블록(x1, yi+1)이다.

블록(x1, yi)의 수평 방향의 우단의 블록은 블록(xN, yi)이며, 하나의 블록의 수평 방향에는 (x1, yi) 내지 (xN, yi)의 N개의 블록이 설정된다.

블록(화소 그룹) 단위의 노광 시간의 제어, 즉 셔터 제어를 실현하기 위해서, 본 실시예의 Row 셀렉터(119: 행 셀렉터)의 내부 구성은, 도 6에 도시한 구성을 갖는다.

도 6에 도시한 바와 같이, Row 셀렉터(119: 행 셀렉터)는, 블록(화소 그룹) 단위의 제어 신호(SHy, RDy)를 생성하는 Row 그룹 셀렉터(123)와, Row 그룹 셀렉터(123)로부터 블록(화소 그룹) 단위의 제어 신호(SHy, RDy)를 입력하여, 블록(화소 그룹) 내의 화소로 출력하는 제어 신호를 생성하는 복수의 Row 라인 셀렉터(124)의 계층 구조로 되어 있다.

Row 그룹 셀렉터(123)는 각 Row 라인 셀렉터(124)에 대하여,

(a) SHUTTER 제어 개시(SHy), 또는

(b) READ 제어 개시(RDy),

상기의 2종류의 제어 신호를 선택하여 전달한다.

(a) SHUTTER 제어 개시(SHy),

(b) READ 제어 개시(RDy),

이들 제어 신호는, 블록(화소 그룹) 단위에서의 (a) 노광 개시 또는 (b) 판독 개시의 타이밍 전달임과 동시에, 하나의 Row 라인 셀렉터(124)가 담당하는 수평 방향으로 배열한 복수의 블록(화소 그룹) 중 어느 것에 대한 제어인지 지정 정보를 포함하고 있다. Row 라인 셀렉터(124)는 Row 그룹 셀렉터(123)로부터의 제어 신호 SHy 또는 RDy를 입력하여, 입력 제어 신호에 포함되는 블록 지정 정보에 해당하는 블록(화소 그룹)의 전체 화소에 대하여, 앞에서 도 5를 참조하여 설명한,

(a) 노광 처리 「SHUTTER(셔터)」에 기초하는 전하 축적 처리

이들 2가지 처리 중 어느 하나의 제어 신호 패턴을 전달한다.

하나의 블록(화소 그룹)에는, 수행(Row) 및 수열(Column)에 걸치는 복수의 블록이 포함된다. 예를 들어 도 6에 도시한 예에서는 P×Q의 화소가 하나의 블록에 포함된다. 따라서, 하나의 블록(화소 그룹)의 동작을 완결시키기 위해서는, 블록 내의 각 화소에 제공하는 제어 신호를, 적절히 시간을 어긋나게 하여 제공할 필요가 있다. 도 6에 도시한 Row 라인 셀렉터(124)는 화소 그룹 내의 전체 화소가 적절한 타이밍으로 동작하도록 제어 신호를 생성한다.

덧붙여 말하자면, 본 실시예에서는, Column 방향(열 방향)에는 Column 단위로 순차 주사하는 것만의 동작을 행하므로, Column 셀렉터의 계층 구조는 필요 없다.

도 7은, 도 6 중에 도시한 하나의 Row 라인 셀렉터(124)의 내부 구성을 설명하는 블록도이다. 하나의 Row 라인 셀렉터는, N개의 라인 셀렉터(125, 126, …, 127)와 SHUTTER(셔터) 제어 신호 제너레이터(128)와 READ(판독) 제어 신호 제너레이터(129)와, P개의 Row 선택 스위치(130)에 의해 구성된다.

여기서, 라인 셀렉터의 수에 상당하는 N은 동일한 Row 라인 셀렉터가 담당하는 수평 방향으로 배열하는 블록(화소 그룹)의 개수이다.

또한, Row 선택 스위치(130)의 수에 상당하는 P는 동일한 Row 라인 셀렉터가 담당하는 Row(행)의 개수이다.

각 라인 셀렉터(125, 126, …, 127)는 Row 그룹 셀렉터(123)로부터의 제어 신호인,

(a) SHUTTER 제어 개시(SHy), 또는

(b) READ 제어 개시(RDy),

이들 제어 신호를 받아서, 그것이 각자가 담당하는 블록(화소 그룹)에 대한 제어 신호인 경우에, 각 화소로 제어 신호를 보내는 타이밍 신호를 생성하고, 타이밍 신호를 SHUTTER 제어 신호 제너레이터(128)와 READ 제어 신호 제너레이터(129)와 P개의 Row 선택 스위치(130)로 출력하여 이들을 제어한다.

즉, N개의 라인 셀렉터(125, 126, …, 127)의 각각은, 수평 방향의 N개의 블록(화소 그룹) 각각에 대하여 설정되고, 각 블록에 대응하는 제어 신호의 출력 타이밍을 설정한다.

SHUTTER 제어 신호 제너레이터(128)와 READ 제어 신호 제너레이터(129)는 각각 도 5의 (a)와 도 5의 (b)에 도시한 화소 제어 패턴을 발생시키는 회로이다.

SHUTTER 제어 신호 제너레이터(128)는,

(a) 노광 처리로서의 「SHUTTER」 처리에 있어서 이용되는 도 5의 (a)에 도시한 화소 제어 패턴을 발생시키는 회로이다.

READ 제어 신호 제너레이터(129)는,

(b) 판독 처리로서의 「READ」 처리에 있어서 이용되는 도 5의 (b)에 도시한 화소 제어 패턴을 발생시키는 회로이다.

라인 셀렉터(125, 126, …, 127) 중 어느 하나, active로 동작 중인 라인 셀렉터로부터의 제어 신호(타이밍 신호)를 입력하여, 상기 (a), (b), 즉, 도 5의 (a), (b)의 제어 신호를 발생시켜서, 그 출력을 전체 Row로 출력한다. 그 제어 신호는 일단 Row마다 Row 선택 스위치(130)를 통과하도록 되어 있으며, Row 선택 스위치(130)는 N개의 라인 셀렉터(125, 126, …, 127) 중 어느 하나로부터 출력되는 제어 신호(타이밍 신호)에 의해 개방 상태로 되고, 상기 Row에 대하여 화소 제어 신호를 전달하도록 되어 있다.

도 7에 도시한 하나의 Row 라인 셀렉터(124)에 대하여 노광 처리 개시를 지시하는 SHUTTER(셔터) 제어 개시를 나타내는 제어 신호 SHy가 입력된 경우의 Row 라인 셀렉터(124)의 동작을 설명하는 타이밍도를 도 8에 나타내었다.

이 도 8은, i번째의 Row 라인 셀렉터(yi)의 제어 대상으로 되는 블록(화소 그룹)인 (x1, yi) 내지 (xN, yi)의 블록 중 가장 좌측 블록(화소 그룹)(x1)에 대한 SHUTTER(셔터) 개시 제어 신호(SHy)의 입력 시의 처리예이다.

도 8에 도시한 타이밍 차트에 있어서, 횡축은 시간이며, 각 라인은 위에서부터 순서대로,

(1) yi번째의 Row 라인 셀렉터(124: 도 6 참조)로의 제어 신호 SHy,

(2) Column 셀렉터(120: 도 3 참조)가 제어하는 RSTRc 제어 신호(위에서부터 c1번째, c2번째, …, cQ번째, c(Q+1)번째, …, cW번째의 Column),

(3) yi번째의 Row 라인 셀렉터(124: 도 6 참조)가 담당하는,

(3-1) r1번째의 Row로의 RSr, TRr, SLr 제어 신호,

(3-2) r2번째의 Row로의 RSr, TRr, SLr 제어 신호,

…,

(3-P) rP번째의 Row로의 RSr, TRr, SLr 제어 신호

를 나타낸다.

여기서,

Q는 i번째의 Row 라인 셀렉터(yi)의 제어 대상으로 되는 블록(화소 그룹)인 (x1, yi) 내지 (xN, yi)의 x1번째의 블록(화소 그룹)인 블록(x1, yi)에 속하는 Column수(열수)이다.

W는 촬상 소자(이미지 센서)의 전체 Column수(열수)이다.

P는 블록(x1, yi)에 속하는 Row수(행수)이다.

Column 셀렉터(120)는 노광 제어 입력에 관계없이, 항상 촬상 소자(103)의 Column(열) 단위의 순차 주사를, 촬상 소자의 모든 Column(열): c1 내지 cW에 대하여 반복하는 동작을 행한다. 즉, Column의 제어 신호 RSTRc는 c1 내지 cW까지 순차 active가 되는 주기를 반복한다. RSTRc가 하나의 Column에 active 상태를 유지하는 기간이 화소 제어 기간에 상당한다.

Row 그룹 셀렉터(123)가 블록(x1, yi)의 화소 그룹에 대하여 제어 신호 SHy, 즉 SHUTTER 동작의 개시 신호를 내는 경우, x1은 가장 좌측의 화소 그룹이므로, 제어 신호 SHy는 RSTRc1에 동기하여 yi번째의 Row 라인 셀렉터(124)로 전달된다.

제어 신호 SHy를 받은 yi번째의 Row 라인 셀렉터에서는, 우선, x1번째의 라인 셀렉터가 바로 active한 상태로 되고, 우선 SHUTTER 제어 신호 제너레이터(128)를 active로 하여 SHUTTER 제어 신호의 발생을 개시시킨다.

또한 각 화소에 제어 신호를 전달하는 타이밍으로, 도 7에 도시한 각 Row 선택 스위치(130)를 제어하고, SHUTTER 제어 신호가, 제어 대상 블록의 각 Row(행): r1행 내지 rP행으로 전달되도록 제어한다.

그 결과로서, 우선 도 8의 (3-1)에 도시한 바와 같이,

r1번째의 Row(도 6에 도시한 r1행)에 대한 SHUTTER 제어 신호(RSyir1과 TRyir1의 신호)가 Q회, RSTRc1 내지 RSTRcQ에 동기하여 전달된다.

이것은, 제어 대상으로 하는 블록, 예를 들어 도 6에 도시한 좌측 상단의 블록(x1, yi)의 제1행(r1행)의 Q개의 화소(c1열 내지 cQ열) 각각에 대응하는 제어 신호이다.

그 후 RSTRc(Q+1) 내지 RSTRcW의 기간은 해당하는 Column이 아니므로 제어 신호를 발생시키지 않는다. 즉, 도 6에 도시한 좌측 상단의 블록(x1, yi)의 화소 그룹 내의 Column에 대응하는 처리 기간이 아니므로, 도 8의 (3-1)에 도시한 r1번째의 Row(행)로의 제어 신호[=SHUTTER 제어 신호(RSyir1과 TRyir1의 신호)]는 발생시키지 않는다.

다음으로, 도 8의 (3-2)에 도시한 바와 같이,

r2번째의 Row(도 6에 도시한 r2행)에 대한 SHUTTER 제어 신호(RSyir2와 TRyir2의 신호)가 Q회, RSTRc1 내지 RSTRcQ에 동기하여 전달된다.

이것은, 제어 대상으로 하는 블록, 예를 들어 도 6에 도시한 좌측 상단의 블록(x1, yi)의 제2행(r2행)의 Q개의 화소(c1열 내지 cQ열) 각각에 대응하는 제어 신호이다.

그 후 RSTRc(Q+1) 내지 RSTRcW의 기간은 해당하는 Column이 아니므로 제어 신호를 발생시키지 않는다.

이후, 도 8의 (3-1) 내지 (3-P)에 도시한 바와 같이, 마찬가지의 동작을 rP까지 반복한다. 즉, 도 6에 도시한 좌측 상단의 블록(x1, yi)의 제P행(rP행)까지, 마찬가지의 처리를 행한다. 이에 의해, 제어 대상으로 하는 블록(화소 그룹), 예를 들어 도 6에 도시한 좌측 상단의 블록(x1, yi) 중의 전체 화소에 대한 SHUTTER 동작이 완료되므로, 제어 신호 SHy 입력에 대한 동작을 완료한다. 또한, 이 일련의 타이밍 제어를 실현시키기 위해서는, Row 라인 셀렉터는 카운터 등으로 구성되는 간단한 패턴 발생 회로이면 된다.

다음으로, 도 9에 도시한 타이밍 차트를 참조하여, 도 7에 도시한 하나의 Row 라인 셀렉터(124)에 대하여 판독 처리 개시를 지시하는 READ(판독) 제어 개시를 나타내는 제어 신호 RDy가 입력된 경우의 Row 라인 셀렉터(124)의 동작을 설명한다.

이 도 9도, 앞에서 설명한 도 8과 마찬가지로, i번째의 Row 라인 셀렉터(yi)의 제어 대상으로 되는 블록(화소 그룹)인 (x1, yi) 내지 (xN, yi)의 블록 중 가장 좌측 블록(화소 그룹)(x1)에 대한 READ(판독) 개시 제어 신호(RDy)의 입력 시의 처리예이다.

도 9에 도시한 타이밍 차트에 있어서, 횡축은 시간이며, 각 라인은 위에서부터 순서대로,

(1) yi번째의 Row 라인 셀렉터(124: 도 6 참조)로의 제어 신호 RDy,

(3) yi번째의 Row 라인 셀렉터(124: 도 6 참조)가 담당하는,

(3-1) r1번째의 Row로의 RSr, TRr, SLr 제어 신호,

(3-2) r2번째의 Row로의 RSr, TRr, SLr 제어 신호,

…,

(3-P) rP번째의 Row로의 RSr, TRr, SLr 제어 신호

를 나타낸다.

여기서,

W는 촬상 소자(이미지 센서)의 전체 Column수(열수)이다.

P는 블록(x1, yi)에 속하는 Row수(행수)이다.

Column 셀렉터(120)는 노광 제어 입력에 관계없이, 항상 촬상 소자(103)의 Column(열) 단위의 순차 주사를, 촬상 소자의 모든 Column(열): c1 내지 cW에 대하여 반복하는 동작을 행한다. 즉, Column의 제어 신호 RSTRc는, c1 내지 cW까지 순차 active가 되는 주기를 반복한다. RSTRc가 하나의 Column에 active 상태를 유지하는 기간이 화소 제어 기간에 상당한다.

Row 그룹 셀렉터(123)가 블록(x1, yi)의 화소 그룹에 대하여 제어 신호 RDy, 즉 READ 동작의 개시 신호를 내는 경우, x1은 가장 좌측의 화소 그룹이므로, 제어 신호 RDy는 RSTRc1에 동기하여 yi번째의 Row 라인 셀렉터(124)로 전달된다.

제어 신호 RDy를 받은 yi번째의 Row 라인 셀렉터에서는, 우선 x1번째의 라인 셀렉터가 바로 active한 상태로 되고, 우선 READ 제어 신호 제너레이터(129)를active로 하여 READ 제어 신호의 발생을 개시시킨다.

또한 각 화소에 제어 신호를 전달하는 타이밍으로, 도 7에 도시한 각 Row 선택 스위치(130)를 제어하고, READ 제어 신호가, 제어 대상 블록의 각 Row(행): r1행 내지 rP행으로 전달되도록 제어한다.

그 결과로서, 우선 도 9의 (3-1)에 도시한 바와 같이,

r1번째의 Row(도 6에 도시한 r1행)에 대한 READ 제어 신호(RSyir1과 TRyir1과 SLyir1의 신호)가 Q회, RSTRc1 내지 RSTRcQ에 동기하여 전달된다.

그 후 RSTRc(Q+1) 내지 RSTRcW의 기간은 해당하는 Column이 아니므로 제어 신호를 발생시키지 않는다. 즉, 도 6에 도시한 좌측 상단의 블록(x1, yi)의 화소 그룹 내의 Column에 대응하는 처리 기간이 아니므로, 도 9의 (3-1)에 도시한 r1번째의 Row(행)로의 제어 신호[=READ 제어 신호(RSyir1과 TRyir1과 SLyir1의 신호)]는 발생시키지 않는다.

다음으로, 도 9의 (3-2)에 도시한 바와 같이,

r2번째의 Row(도 6에 도시한 r2행)에 대한 READ 제어 신호(RSyir2와 TRyir2와 SLyir2의 신호)가 Q회, RSTRc1 내지 RSTRcQ에 동기하여 전달된다.

이후, 도 9의 (3-1) 내지 (3-P)에 도시한 바와 같이, 마찬가지의 동작을 rP까지 반복한다. 즉, 도 6에 도시한 좌측 상단의 블록(x1, yi)의 제P행(rP행)까지, 마찬가지의 처리를 행한다. 이에 의해, 제어 대상으로 하는 블록(화소 그룹), 예를 들어 도 6에 도시한 좌측 상단의 블록(x1, yi) 중의 전체 화소에 대한 READ 동작이 완료되므로, 제어 신호 RDy 입력에 대한 동작을 완료한다. 또한, 이 일련의 타이밍 제어를 실현시키기 위해서는, Row 라인 셀렉터는 카운터 등으로 구성되는 간단한 패턴 발생 회로이면 된다.

이상의 구성을 갖는 촬상 소자(이미지 센서)와 그에 대한 블록 단위의 노광 제어 입력이 있으면, 블록마다 서로 다른 셔터로 촬영하는 동작이 가능해진다.

이하, 촬상 소자(103: 이미지 센서)의 전체 노광 제어 동작예에 대하여 설명한다.

[4. 제1 노광 제어 동작예: 통상의 균일 셔터 동작]

우선 제1 노광 제어 동작예로서, 종래의 촬상 소자(이미지 센서)와 마찬가지로, 촬상 소자의 촬상면의 전체면 균일한 노광 기간 설정으로 한 셔터 제어 촬영이 가능한 점을 설명한다.

또한, 설명의 간략화를 위해, 전제로서 촬상 소자(이미지 센서) 내의 블록(화소 그룹)의 수를 수평 방향으로 3(x1 내지 x3), 수직 방향으로 3(y1 내지 y3)이라 하고, 또한 각 블록(화소 그룹)은 2개의 Row(r1 내지 r2)를 갖는 구성으로 한다.

도 10에, 통상의 전체면 균일한 노광 시간의 노광 제어(셔터 제어)에 의한 촬상을 행하는 경우의 Row 그룹 셀렉터의 제어를 설명하는 타이밍도를 나타낸다.

횡축은 시간이며, 수직의 파선으로 나타내는 구간은 1 블록(1 화소 그룹)의 폭에 상당하는 Q개의 화소 제어 기간을 나타낸다. 즉 이 구간에서 화소 그룹의 제어 기간이 전환되므로, 대응하는 화소 그룹(x1, x2, x3 중 어느 하나)의 제어 기간임을 알기 쉽도록, 도면 상부에 3종류로 구분 도포한 영역을 설정하고 있다.

(1) 흑색=x1

(2) 사선=x2

(3) 백색=x3

이들 수평 방향으로 배열한 3개의 블록에 대응한다.

도 10에 도시한 타이밍도에서는, 촬상 소자의 블록을 수평 방향 3개, 수직 방향 3개, 즉 블록 식별자로서,

(x1, y1), (x2, y1), (x3, y1)

(x1, y2), (x2, y2), (x3, y2)

(x1, y3), (x2, y3), (x3, y3)

이들 9개의 블록을 제어 대상으로 한 예이다.

수평 방향의 블록(화소 그룹)은 3개가 전제이므로, 3 구간에서 1Row=전체 Column분으로 된다. 도면의 상반부에 도시한 6개의 라인은, Row 그룹 셀렉터(123)가 각 Row 라인 셀렉터(124)로 출력하는 제어 신호를 나타내고 있다.

위에서부터 순서대로,

(a1) y1번째의 Row 라인 셀렉터로의 SHy[SHUTTER(셔터(노광)) 개시 제어 신호],

(a2) y2번째의 Row 라인 셀렉터로의 SHy[SHUTTER(셔터(노광)) 개시 제어 신호],

(a3) y3번째의 Row 라인 셀렉터로의 SHy[SHUTTER(셔터(노광)) 개시 제어 신호],

(b1) y1번째의 Row 라인 셀렉터로의 RDy[READ(판독) 개시 제어 신호],

(b2) y2번째의 Row 라인 셀렉터로의 RDy[READ(판독) 개시 제어 신호],

(b3) y3번째의 Row 라인 셀렉터로의 RDy[READ(판독) 개시 제어 신호]

이들 신호이다.

통상의 전체면 균일한 셔터 제어를 행하는 경우에는 (a1) 내지 (a3)에 도시한 셔터 제어 신호 SHy를 이용하지 않고 (b1) 내지 (b3)에 도시한 판독 제어 신호 RDy를 이용하는 것만의 시퀀스로 실현한다.

처음에, 도 10의 (b1)에 도시한 바와 같이, y1번째의 Row 라인 셀렉터에 대하여 READ 개시 제어 신호 (RDy)를 x1, x2, x3의 화소 그룹을 향해 연속하여 제공한 후, 1Row분만큼 휴지한다.

다음으로, 도 10의 (b2)에 도시한 바와 같이, y2번째의 Row 라인 셀렉터에 대하여 READ 개시 제어 신호(RDy)를 x1, x2, x3의 화소 그룹을 향해 연속하여 제공한 후, 1Row분만큼 휴지한다.

다음으로, 도 10의 (b3)에 도시한 바와 같이, y3번째의 Row 라인 셀렉터에 대하여 READ 개시 제어 신호(RDy)를 x1, x2, x3의 화소 그룹을 향해 연속하여 제공한 후, 1Row분만큼 휴지한다.

이후에는 동일한 시퀀스를 반복한다.

이와 같은 시퀀스로 제어를 하면, 각 Row 라인 셀렉터가 앞에서 도 9를 참조하여 설명한 동작을 행하므로, 수평 방향으로 화소 순차 그리고 수직 방향으로 라인 순차로 화소의 READ 동작이 행해진다.

그 모습을, 도 10의 하반부의 (c)에 나타내었다.

도 10의 (c)에 도시한 각 라인은, 블록(화소 그룹)을 Row마다 더 분할한 단위에서의 화소의 동작 상태를 나타내고 있다. 위에서부터,

x1y1r1: 블록(x1, y1)의 화소 그룹의 r1번째의 Row,

x2y1r1: 블록(x2, y1)의 화소 그룹의 r1번째의 Row,

x3y1r1: 블록(x3, y1)의 화소 그룹의 r1번째의 Row,

x1y1r2: 블록(x1, y1)의 화소 그룹의 r2번째의 Row,

x2y1r2: 블록(x2, y1)의 화소 그룹의 r2번째의 Row,

x3y1r2: 블록(x3, y1)의 화소 그룹의 r2번째의 Row,

x1y2r1: 블록(x1, y2)의 화소 그룹의 r1번째의 Row,

:

x1y3r2: 블록(x1, y3)의 화소 그룹의 r2번째의 Row,

x2y3r2: 블록(x2, y3)의 화소 그룹의 r2번째의 Row,

x3y3r2: 블록(x3, y3)의 화소 그룹의 r2번째의 Row,

이와 같이, Row마다 분할한 단위에서의 화소의 동작 상태를 나타내고 있다.

[실선 구간]은 READ 동작(판독)을 행하는 기간임을 나타낸다.

[파선 구간]은 노광 기간 중임을 나타낸다.

앞에서 도 5의 (b)를 참조하여 설명한 바와 같이 화소의 READ 동작은 포토 다이오드 PD의 전하 리셋도 겸하고 있으므로, READ 동작 종료 시점에서, 그대로 다음 노광 기간으로 들어갈 수 있다.

예를 들어, (c)에 도시한 최상단의 (x1y1r1)은 블록(x1, y1)의 제1행(r1)의 노광 처리(SHUTTER)와 판독 처리(READ)의 시퀀스를 나타내고 있다.

(c)에 도시한 최상단의 (x1y1r1)의 처음의 실선 구간에서 규정되는 판독 처리(READ)는 (b1)에 도시한 판독 개시(RDy1) 신호(s1)에 따라서 실행된다. 이 신호(s1)에 기초하여, 도 5의 (b)에 도시한 신호 패턴이 블록(x1, y1)의 제1행(r1)의 화소에 제공되고, 신호 판독이 실행된다.

이 신호 판독이 종료하면, 노광 처리(SHUTTER)가 개시된다. 도면에 도시한 파선 구간이다. 이어서, 또한 (b1)에 도시한 판독 개시(RDy1) 신호(s2)에 따라서, 노광 처리 기간에 축적된 전하가 화소 신호로서 판독된다.

도 10의 (c)에 도시한 바와 같이, 모든 행 x1y1r1 내지 x3y3r2에 있어서, 노광 기간을 나타내는 파선 구간은, 모두 동일한 기간으로 된다. 즉, 선행하는 READ 동작으로부터 다음 READ 동작까지로 하여 설정되는 노광 기간은 모든 화소로 동일하게 설정되기 때문에, 전체 화소가 동일한 노광 기간(셔터 기간)에서 노광되도록 된다.

[5. 제2 노광 제어 동작예: 화소 그룹마다 서로 다른 셔터 동작]

다음으로, 제2 노광 제어 동작예로서, 블록(화소 그룹) 단위가 서로 다른 노광 기간(셔터 기간)을 설정한 촬영이 가능한 점을 설명한다.

도 10을 참조하여 설명한 통상의 전체면 균일한 셔터에 의한 촬상예와 마찬가지로, 전제로서 촬상 소자(이미지 센서) 내의 화소 그룹의 수를 수평 방향으로 3(x1 내지x3), 수직 방향으로 3(y1 내지 y3)이라 하고, 또한 각 블록(화소 그룹)은 2개의 Row(r1 내지 r2)를 갖는 구성으로 한다.

도 11에, 화소 그룹마다 서로 다른 노광 시간으로 한 노광 제어(셔터 제어)에 의한 촬상을 행하는 경우의 Row 그룹 셀렉터의 제어를 설명하는 타이밍도를 나타낸다.

횡축은 시간이며, 수직이 파선으로 나타내는 구간은 1 블록(1 화소 그룹)의 폭에 상당하는 Q개의 화소 제어 기간을 나타낸다. 즉 이 구간에서 화소 그룹의 제어 기간이 전환되므로, 대응하는 화소 그룹(x1, x2, x3 중 어느 하나)의 제어 기간임을 알기 쉽도록, 도면의 상부에 3종류로 구분 도포한 영역을 설정하고 있다.

(1) 흑색=x1

(2) 사선=x2

(3) 백색=x3

이들 수평 방향으로 배열한 3개의 블록에 대응한다.

도 11에 도시한 타이밍도에서는, 촬상 소자의 블록을 수평 방향 3개, 수직 방향 3개, 즉 블록 식별자로서,

(x1, y1), (x2, y1), (x3, y1)

(x1, y2), (x2, y2), (x3, y2)

(x1, y3), (x2, y3), (x3, y3)

이들 9개의 블록을 제어 대상으로 한 예이다.

수평 방향의 블록(화소 그룹)은 3개가 전제이므로, 3 구간에서 1Row=전체 Column분으로 된다. 도면의 상반부에 나타내는 6개의 라인은, Row 그룹 셀렉터(123)가 각 Row 라인 셀렉터(124)로 출력하는 제어 신호를 나타내고 있다.

위에서부터 순서대로,

이들 신호이다.

블록(화소 그룹)마다 서로 다른 노광 시간으로 하는 노광 제어(셔터 제어)에 의한 촬상은, 전체면 균일한 셔터 제어의 경우와 마찬가지의 전체 화소 그룹에 동일한 간격의 (b1) 내지 (b3)에 도시한 판독 제어 신호 RDy를 제공하는 시퀀스 외에, 화소 그룹마다 서로 다른 타이밍으로, (a1) 내지 (a3)에 도시한 셔터 제어 신호 SHy를 제공하는 시퀀스를 가함으로써 실현한다.

(a1) 내지 (a3)에 도시한 셔터 제어 신호 SHy는, 제어 신호 RDy가 제공되고나서 동일한 화소 그룹에 대하여 다음 제어 신호 RDy가 제공되는 기간의 어딘가에서, 그 블록(화소 그룹)에 대응하는 제어 기간에 동기하여 제공할 수 있다. 도 11에 도시한 예에 있어서는, 수직 방향의 블록(화소 그룹)의 분할 수가 3이며, 1 화소 그룹이 2Row를 포함하므로, 제어 신호 RDy로부터 다음 제어 신호 RDy까지의 간격은 6Row 기간이며, 1Row 기간에 1회의 대응하는 화소 그룹 제어 기간이 있으므로, 제어 신호 SHy를 제공하는 기회는 5회 있다(노광 기간(셔터)의 길이의 변형은 6이지만, 그 중 1회는 제어 신호 RDy의 타이밍과 겹치므로 제어 신호 SHy를 제공할 필요가 없음). 즉 셔터 시간 설정은, 1 프레임 기간을 촬상 소자(이미지 센서)의 Row수로 분할한 것만의 분해능을 갖고, 각 화소 그룹은 그 분해능의 범위에서, 입력되는 노광 제어값에 기초한 셔터 시간을 선택할 수 있다.

각 Row 라인 셀렉터에 셔터 제어 신호 SHy가 제공되면, 도 8을 참조하여 설명한 동작에 의해, 그 Row 라인 셀렉터가 담당하는 화소로 노광 처리로서의 SHUTTER 동작이 행해지고, 화소에 축적된 전하가 리셋되므로, 그 시점부터 새로운 노광 기간이 개시되게 된다.

도 11의 상반부에 도시한 (a) 제어 신호 SHy와, (b) RDy를 제공하였을 때의 각 화소의 동작 상태를 도 11의 하반부의 (c)에 나타내었다.

도 11의 (c)에 도시한 각 라인은, 블록(화소 그룹)을 Row마다 더 분할한 단위에서의 화소의 동작 상태를 나타내고 있다. 위에서부터,

x1y1r1: 블록(x1, y1)의 화소 그룹의 r1번째의 Row,

x2y1r1: 블록(x2, y1)의 화소 그룹의 r1번째의 Row,

x3y1r1: 블록(x3, y1)의 화소 그룹의 r1번째의 Row,

x1y1r2: 블록(x1, y1)의 화소 그룹의 r2번째의 Row,

x2y1r2: 블록(x2, y1)의 화소 그룹의 r2번째의 Row,

x3y1r2: 블록(x3, y1)의 화소 그룹의 r2번째의 Row,

x1y2r1: 블록(x1, y2)의 화소 그룹의 r1번째의 Row,

:

x1y3r2: 블록(x1, y3)의 화소 그룹의 r2번째의 Row,

x2y3r2: 블록(x2, y3)의 화소 그룹의 r2번째의 Row,

x3y3r2: 블록(x3, y3)의 화소 그룹의 r2번째의 Row,

실선 구간은 READ 동작(판독)을 행하는 기간임을 나타내고 있다.

파선 구간은 노광 기간 중임을 나타낸다.

균일 노광 처리예로서 설명한 도 10과는 달리, 제어 신호 SHy에 의해 노광 기간이 리셋되므로, 화소 그룹마다 서로 다른 길이의 노광 기간(=파선 구간)에 의해 촬상된다.

그러나, 도 8에서 설명한, 제어 신호 SHy에 대한 Row 라인 셀렉터의 동작에 의해, 동일한 화소 그룹 내의 화소는 서로 다른 Row이더라도 동일한 노광 시간이 되도록 제어된다.

(c)에 도시한 최상단의 (x1y1r1)의 처음 실선 구간에서 규정되는 판독 처리(READ)는 (b1)에 도시한 판독 개시(RDy1) 신호(s1)에 따라서 실행된다. 이 신호(s1)에 기초하여, 도 5의 (b)에 도시한 신호 패턴이 블록(x1, y1)의 제1행(r1)의 화소에 제공되고, 신호 판독이 실행된다.

도 11에 도시한 예에서는, 균일 노광 처리예로서 설명한 도 10과는 달리, 제어 신호 SHy에 의해 노광 기간이 리셋되고, 이 리셋 후에 다음 노광 기간이 개시된다.

(c)에 도시한 최상단의 (x1y1r1)은 (a1) 제어 신호 SHy의 입력 신호(s2)에 따라, 노광 처리가 개시된다. (c)에 도시한 최상단의 (x1y1r1)의 노광 기간은, 이 (s2) 위치로부터, 다음 (b1)에 도시한 판독 개시(RDy1) 신호(s3)의 위치까지의 기간으로 제어된다.

이와 같이, 노광(SHUTTER) 제어 신호와 판독(READ) 제어 신호를 각 블록 단위로 설정함으로써, 블록 단위의 임의의 노광 기간의 설정을 가능하게 하고 있다.

도 11에 도시한 제어 결과, 촬상면 전체에서는 도 12에 도시된 바와 같은 노광 시간(셔터 시간)으로 제어된다. 도 12에 도시한 9개의 블록은, 수평 방향을 x, 수직 방향을 y라 하고, 좌측 상단부의 블록을 블록(x1, y1), 우측 하단부의 블록을 블록(x3, y3)이라 하여, 블록(x1, y1) 내지 (x3, y3)의 9개의 블록(화소 그룹)을 나타내고 있다.

각 블록 내의 수치 1 내지 4는 노광 기간(셔터 시간)의 상대적인 값을 나타내고 있다. 수치 4가 설정된 블록은, 수치 1이 설정된 블록의 4배의 노광 기간이 설정되어 있는 것을 나타내고 있다.

본 실시예의 제어 기구를 이용함으로써 이 도 12에 도시한 바와 같이 블록(화소 그룹)마다 서로 다른 노광 기간으로 한 셔터 제어를 행하여도, 각 화소로부터의 신호 판독은 센서의 좌측 상단으로부터 동일한 시간 간격으로 순차 행해지므로, 1 프레임분의 화상 데이터를 정렬시키는데 외부에 프레임 메모리나 딜레이 라인 등을 설치할 필요는 없다. 즉, 축적 전하의 판독 처리는, 도 11에 도시한 라인(201a, 201b)을 따라서 실행되고, 종래의 판독 처리 시퀀스와 마찬가지로 실행 됨으로써, 판독 처리를 위한 새로운 메모리 등의 구성은 필요해지지 않는다.

[6. 제2 실시예: 컬럼 ADC와의 공존]

여기까지, 복수 화소를 포함하는 블록(화소 그룹)마다 서로 다른 노광 기간을 설정하는 노광 기간 제어(셔터 제어)를 행하여 화상 촬영을 실행하는 촬상 소자(이미지 센서)에 대하여, 화소 순차 판독을 행하는 촬상 소자(이미지 센서)를 예로서 설명하였다.

촬상 소자(이미지 센서)의 각 화소의 축적 전하의 판독 처리는, 전술한 바와 같은 화소 순차 판독 구성 외에, 화소로부터 병렬로 신호를 판독하는 컬럼 ADC 구성이 있다. 본 발명의 노광 제어 구성은, 이 컬럼 ADC의 판독 구성에도 적용 가능하다.

이하, 이 구성예에 대하여 설명한다. 또한, 본 실시예에 있어서도, 촬상 장치의 전체 구성은, 앞에서 설명한 실시예와 마찬가지로, 도 1의 구성이 적용 가능하다.

촬상 소자(103: 이미지 센서)의 구성과 처리가 상이해진다.

도 13은, 컬럼 ADC를 이용한 촬상 소자(이미지 센서)의 구성을 설명하는 도면이다. 도면 중 작은 정사각형의 각각이, 촬상면에 2차원 격자형으로 배치된 화소를 나타낸다. 즉 광전 변환 소자로서의 화소를 나타낸다. 각 화소는, 수평 방향으로 연장하는 3종류의 제어선을 통해 제어 신호 RSr, TRr, SLr과 수직 방향으로 연장되는 1종의 제어선을 통해 제어 신호 RSTRc를 입력하도록 접속된다.

또한, 수직 방향으로 연장되는 신호선을 통해 화소 신호 SIGc를 출력하도록 되어 있다.

수평 방향의 3종류의 제어 신호(RSr, TRr, SLr)를 전송하는 제어선은 모두 Row 셀렉터(132: 행 셀렉터)에 접속하고, Row 셀렉터(132)로부터 제어 신호가 각 화소로 전달된다.

또한 수직 방향의 제어선은 모두 Column 셀렉터(133: 열 셀렉터)에 접속하고, Column 셀렉터(133)로부터 제어 신호가 각 화소로 전달된다.

Row 셀렉터(132) 및 Colum 셀렉터(133)는 타이밍 제너레이터(131: TG)에 접속하고, 타이밍 제너레이터(131: TG)는 촬상 소자(103: 이미지 센서) 밖으로부터의 노광 제어 신호의 입력을 접수하도록 되어 있다.

타이밍 제너레이터(131: TG)는, 블록 단위의 노광 제어값을 블록 단위의 셔터 제어의 타이밍 정보로 변환하고, 그것을 Row 셀렉터(132) 및 Colum 셀렉터(133)로 전달한다. Row 셀렉터(132) 및 Colum 셀렉터(133)는 그것을 받아서 Row마다 및 Column마다의 제어 신호를 발생시켜서, 제어 신호 RSr, TRr, SLr 및 RSTRc를 각 화소로 전달한다.

각 화소로부터 출력되는 출력 화소 신호 SIGc는, 제1 실시예와는 달리, 복수의 Column에 병렬로 동작하는 컬럼 ADC(134)에 접속되고, 화소로부터의 신호는 컬럼 ADC(134)에 취득되도록 되어 있다. 본 실시예에서는, 각 화소로부터 출력되는 출력 화소 신호 SIGc는, 블록(화소 그룹) 단위에서 병렬로 판독되고, 컬럼 ADC(134) 내에 신호가 유지된다.

컬럼 ADC(134)는 1Row분의 신호가 정렬될 때 병렬로 A-D 변환 동작을 행하고, 1Row분의 아날로그 화소 신호를 디지털값으로 변환한다.

디지털화된 화소 신호는, Column 선택 제어 신호 SLc의 제어에 의해, 순차 촬상 소자(이미지 센서)로부터 출력된다.

또한, 이 제2 실시예에 있어서도, 촬상 소자(이미지 센서) 내의 하나의 화소 구성으로서는, 도 4를 참조하여 설명한 구성과 동일한 화소 구성을 이용할 수 있다. 마찬가지로, 도 5를 참조하여 설명한 2개의 화소 동작 실행용의 신호 패턴, 즉

(a) 노광 처리 「SHUTTER(셔터)」에 기초하는 전하 축적 처리

이들 2가지 처리를 위한 신호 패턴도 마찬가지의 패턴 이용이 가능하다.

또한, Row 셀렉터의 계층적인 내부 구성 및 Row 라인 셀렉터의 구성에 대해서도, 전술한 도 6과 도 7을 참조하여 설명한 구성을 이용할 수 있다.

단, Column 셀렉터에 대해서는, 이 컬럼 ADC를 이용한 제2 실시예에서는, 전술한 실시예 1과는 다른 구성으로 되므로 이하에 설명한다.

제2 실시예에서는 컬럼 ADC에 의해 복수의 화소의 화소 신호(축적 전하)를 병렬로 판독하는 것이 가능해진다. 따라서 제2 실시예의 Column 셀렉터는 도 14에 도시한 바와 같은 계층 구조로 함으로써, 화소 그룹마다 복수의 화소를 동시에 제어할 수 있도록 한다.

도 14에 도시한 바와 같이, 본 실시예의 Column 셀렉터(133)의 내부 구성은, 블록(화소 그룹) 단위의 제어 신호를 생성하는 Column 그룹 셀렉터(135)와, 블록(화소 그룹) 단위의 제어 신호를 받아서 블록(화소 그룹) 내의 제어 신호를 생성하는 복수의 Column 라인 셀렉터(136)의 계층 구조로 되어 있다.

Column 그룹 셀렉터(135)는 제어 신호 SLx에 의해, 각 Column 라인 셀렉터(136)에 대하여 블록(화소 그룹) 단위의 제어 기간의 개시를 전달한다. Column 라인 셀렉터(136)는 Column 그룹 셀렉터(135)로부터의 제어 신호 SLx를 받아서, 담당하는 화소 그룹의 전체 Column을 향해 병렬로 제어 신호 RSTRc를 전달한다.

덧붙여 말하자면, Column 라인 셀렉터(136)의 동작은 단순하여, Column 그룹 셀렉터(135)로부터의 제어 신호 SLx를 화소로 전달하는 제어 신호 RSTRc로 변환하고, 복수 Column에 병렬로 전달하는 것뿐이다.

도 15에, 도 13의 Row 셀렉터(132) 내부의 하나의 Row 라인 셀렉터에 대하여 노광 처리 개시를 지시하는 SHUTTER(셔터) 제어 개시를 나타내는 제어 신호 SHy가 입력된 경우의 Row 라인 셀렉터의 동작을 설명하는 타이밍도를 나타낸다.

또한, 전술한 바와 같이, 본 실시예 2에서의 Row 셀렉터(132)의 구성은, 앞에서 설명한 실시예 1과 마찬가지의 구성이며, 도 6, 도 7을 참조하여 설명한 구성을 갖는다.

이 도 15는, i번째의 Row 라인 셀렉터(yi)의 제어 대상으로 되는 블록(화소 그룹)인 (x1, yi) 내지 (xN, yi)의 블록 중 가장 좌측의 블록(화소 그룹)(x1)에 대한 SHUTTER(셔터) 개시 제어 신호(SHy)의 입력 시의 처리예이다.

도 15에 도시한 타이밍 차트에 있어서, 횡축은 시간이며, 각 라인은 위에서부터 순서대로,

(1) yi번째의 Row 라인 셀렉터(도 13, 도 6 참조)로의 제어 신호 SHy,

(2) Column 셀렉터(133: 도 13 참조)가 제어하는 SLx 제어 신호(위에서부터 x1번째, x2번째, …, x(N-1)번째, xN번째의 블록(화소 그룹)),

(3) Column 셀렉터(133: 도 13 참조)가 제어하는 RSTRc 제어 신호(위에서부터 x1번째, x2번째, …, x(N-1)번째, xN번째의 블록(화소 그룹)),

(4) yi번째의 Row 라인 셀렉터(124: 도 6 참조)가 담당하는,

(4-1) r1번째의 Row로의 RSr, TRr, SLr 제어 신호,

(4-2) r2번째의 Row로의 RSr, TRr, SLr 제어 신호,

…,

(4-P) rP번째의 Row로의 RSr, TRr, SLr 제어 신호

를 나타낸다.

여기서,

N은 수평 방향의 블록(화소 그룹)수이다.

P는 (x1, yi)에 속하는 Row수(행수)이다.

Column 셀렉터(133)는 노광 제어 입력에 관계없이, 항상 블록(화소 그룹) 단위의 순차 주사를 반복하는 동작을 행한다. Column 그룹 셀렉터의 제어 신호 SLx는 수평 방향의 화소 그룹, 즉 블록(x1, yi) 내지 (xN, yi)까지 순차 active가 되는 주기를 반복한다. Column 라인 셀렉터의 제어 신호 RSTRx는 그 제어 신호 SLx에 동기하고, 수평 방향의 화소 그룹, 즉 블록(x1, yi) 내지 (xN, yi)까지 순차active가 되는 주기를 반복한다.

도 15의 (3)에 도시한 RSTRx가 active 상태를 유지하는 기간은 각 블록(화소 그룹)의 제어 기간이며, 병렬로 행해지는 복수의 화소 제어 기간에도 상당한다. Row 그룹 셀렉터가 x1yi번째의 화소 그룹에 대하여 SHy 즉 SHUTTER 동작의 개시 신호를 내는 경우, x1은 가장 좌측의 화소 그룹이므로, 제어 신호 SHy는 RSTRx1에 동기하여 yi번째의 Row 라인 셀렉터로 전달된다.

제어 신호 SHy를 받은 yi번째의 Row 라인 셀렉터에서는, 우선, x1번째의 라인 셀렉터가 바로 active한 상태로 되고, 우선 SHUTTER 제어 신호 제너레이터(도 7 참조)를 active로 하여 SHUTTER 제어 신호의 발생을 개시시킨다.

그 결과로서, 우선, 도 15의 (4-1)에 도시한 바와 같이,

r1번째의 Row(예를 들어 도 6에 도시한 r1행)에 대한 SHUTTER 제어 신호(RSyir1과 TRyir1의 신호)가 1회, RSTRx1에 동기하여 전달된다.

그 후, RSTRx2 내지 RSTRxN의 기간은 해당하는 Column이 아니므로 제어 신호를 발생시키지 않는다. 즉, 도 6에 도시한 좌측 상단부의 블록(x1, yi)에 대응하는 처리 기간이 아니므로, 도 15의 (4-1)에 도시한 r1번째의 Row(행)로의 제어 신호[=SHUTTER 제어 신호(RSyir1과 TRyir1의 신호)]는 발생시키지 않는다.

다음으로, 도 15의 (4-2)에 도시한 바와 같이,

r2번째의 Row(예를 들어 도 6에 도시한 r2행)에 대한 SHUTTER 제어 신호(RSyir2와 TRyir2의 신호)가 1회, RSTRx1에 동기하여 전달된다.

그 후 RSTRc2 내지 RSTRxN의 기간은 해당하는 Column이 아니므로 제어 신호를 휴지한다.

이후, 도 15의 (4-1) 내지 (4-P)에 도시한 바와 같이, 마찬가지의 동작을 rP까지 반복한다. 즉, 예를 들어 도 6에 도시한 좌측 상단의 블록(x1, yi)의 제P행(rP행)까지, 마찬가지의 처리를 행한다. 이에 의해, 제어 대상으로 하는 블록(화소 그룹), 예를 들어 도 6에 도시한 좌측 상단의 블록(x1, yi) 중 전체 화소에 대한 SHUTTER 동작이 완료되므로, 제어 신호 SHy 입력에 대한 동작을 완료한다. 또한, 이 일련의 타이밍 제어를 실현시키기 위해서는, Row 라인 셀렉터는 카운터 등으로 구성되는 간단한 패턴 발생 회로이면 된다.

다음으로, 도 13의 Row 셀렉터(132) 내부의 하나의 Row 라인 셀렉터에 대하여 판독 처리 개시를 지시하는 READ(판독) 제어 개시를 나타내는 제어 신호 RDy가 입력된 경우의 Row 라인 셀렉터의 동작에 대하여, 도 16에 도시한 타이밍도를 참조하여 설명한다.

이 도 16도, 앞에서 설명한 도 15와 마찬가지로, i번째의 Row 라인 셀렉터(yi)의 제어 대상으로 되는 블록(화소 그룹)인 (x1, yi) 내지 (xN, yi)의 블록 중 가장 좌측의 블록(화소 그룹)(x1)에 대한 READ(판독) 개시 제어 신호(RDy)의 입력 시의 처리예이다.

도 16에 도시한 타이밍 차트에 있어서, 횡축은 시간이며, 각 라인은 위에서부터 순서대로,

(1) yi번째의 Row 라인 셀렉터(124: 도 13, 도 6 참조)로의 제어 신호 RDy,

(4) yi번째의 Row 라인 셀렉터(124: 도 6 참조)가 담당하는,

(4-1) r1번째의 Row로의 RSr, TRr, SLr 제어 신호,

(4-2) r2번째의 Row로의 RSr, TRr, SLr 제어 신호,

…,

(4-P) rP번째의 Row로의 RSr, TRr, SLr 제어 신호

를 나타낸다.

여기서,

N은 수평 방향의 블록(화소 그룹)수이다.

P는 (x1, yi)에 속하는 Row수(행수)이다.

Column 셀렉터(133)는 노광 제어 입력에 관계없이, 항상 촬상 소자의 블록(화소 그룹) 단위의 순차 주사를 반복하는 동작을 행한다. Column 그룹 셀렉터의 제어 신호 SLx는 수평 방향의 화소 그룹, 즉 블록(x1, yi) 내지 (xN, yi)까지 순차active가 되는 주기를 반복한다. Column 라인 셀렉터의 제어 신호 RSTRx는 그 제어 신호 SLx에 동기하고, 수평 방향의 화소 그룹, 즉 블록(x1, yi) 내지 (xN, yi)까지 순차 active가 되는 주기를 반복한다.

도 16의 (3)에 도시한 RSTRx가 active 상태를 유지하는 기간은 각 블록(화소 그룹)의 제어 기간이며, 병렬로 행해지는 복수의 화소 제어 기간에도 상당한다. Row 그룹 셀렉터가 x1yi번째의 화소 그룹에 대하여 RDy 즉 READ 동작의 개시 신호를 내는 경우, x1은 가장 좌측의 화소 그룹이므로, 제어 신호 RDy는 RSTRx1에 동기하여 yi번째의 Row 라인 셀렉터로 전달된다.

제어 신호 SHy를 받은 yi번째의 Row 라인 셀렉터에서는, 우선 x1번째의 라인 셀렉터가 바로 active한 상태로 되고, 우선 READ 제어 신호 제너레이터(도 7 참조)를 active로 하여 READ 제어 신호의 발생을 개시시킨다.

또한 도 7에 도시한 각 Row 선택 스위치(130)를 제어하고, READ 제어 신호가, 제어 대상 블록의 각 Row(행): r1행 내지 rP행으로 전달되도록 제어한다.

그 결과로서, 우선 도 16의 (4-1)에 도시한 바와 같이,

r1번째의 Row(예를 들어 도 6에 도시한 r1행)에 대한 READ 제어 신호(RSyir1과 TRyir1과 SLyir1의 신호)가 1회, RSTRx1에 동기하여 전달된다.

그 후, RSTRx2 내지 RSTRxN의 기간은 해당하는 Column이 아니므로 제어 신호를 발생시키지 않는다.

다음으로, 도 16의 (4-2)에 도시한 바와 같이,

r2번째의 Row(예를 들어 도 6에 도시한 r2행)에 대한 READ 제어 신호(RSyir2와 TRyir2와 SLyir2의 신호)가 1회, RSTRx1에 동기하여 전달된다. 그 후 RSTRc2 내지 RSTRxN의 기간은 해당하는 Column이 아니므로 제어 신호를 휴지한다.

이후, 도 16의 (4-1) 내지 (4-P)에 도시한 바와 같이, 마찬가지의 동작을 rP까지 반복한다. 즉, 예를 들어 도 6에 도시한 좌측 상단의 블록(x1, yi)의 제P행(rP행)까지, 마찬가지의 처리를 행한다. 이에 의해, 제어 대상으로 하는 블록(화소 그룹), 예를 들어 도 6에 도시한 좌측 상단의 블록(x1, yi) 중 전체 화소에 대한 READ 동작이 완료되므로, 제어 신호 RDy 입력에 대한 동작을 완료한다. 또한, 이 일련의 타이밍 제어를 실현시키기 위해서는, Row 라인 셀렉터는 카운터 등으로 구성되는 간단한 패턴 발생 회로이면 된다.

이상으로 설명한 제2 실시예의 구성을 이용하면, 본 발명은 컬럼 ADC와의 공존도 가능해진다. 또한, 촬상 소자(이미지 센서) 전체의 노광 제어 동작에 관해서는, 제1 실시예에서 설명한 도 10과 도 11의 동작과 마찬가지이므로, 설명을 생략한다.

[7. 제3 실시예: 화소 그룹의 설정 구성과 화소 그룹 위치의 오버랩 구성에 대하여]

전술한 실시예에서는, 촬상 소자에 포함되는 다수의 화소에 대하여, 직사각형의 블록(화소 그룹)을 설정하여, 직사각형의 블록(화소 그룹) 단위에서의 노광 기간 제어를 행하는 예에 대하여 설명하였다.

그러나, 노광 기간의 제어는, 이와 같은 직사각형의 블록 단위로 하는 것은 필수가 아니다. 예를 들어, Row 라인 셀렉터가 산출하는 제어 타이밍을 억지로 어긋나게 하거나, 간격을 바꾸거나 함으로써, 수평 방향 또는 수직 방향으로 1 화소 내지 수 화소 간격을 둔 스트라이프형의 화소 그룹을 형성하거나, 직사각형이 아니라 비스듬하게 찌부러진 평행사변형의 화소 그룹을 형성하고, 이들 다양한 형상을 갖는 화소 그룹 단위에서의 노광 기간 설정을 행하는 것이 가능하다.

또한, 하나의 화소가 복수의 화소 그룹에 속하여 서로 다른 제어를 받을 수는 없지만, 상기와 같이 스트라이프형 등 간격을 둔 화소 그룹 형상을 이용함으로써, 복수의 화소 그룹이 촬상면 위에서 그 범위를 서로 오버랩되도록 형성하는 것도 가능하다. 그 간단한 예에 대하여 도 17을 참조하여 구체적으로 설명한다.

도 17은, 서로 영역이 오버랩되는 블록(화소 그룹)을 형성하는 Row 셀렉터의 계층 구조를 설명하는 도면이다. Row 셀렉터(137)가 화소 그룹 단위의 제어 신호를 배치하는 Row 그룹 셀렉터(138)와, Row 그룹 셀렉터(138)로부터의 제어 신호에 기초하여, 각 화소 그룹에 대응하고, 각 Row로의 제어 신호를 배치하는 복수의 Row 라인 셀렉터(139, 140)에 의한 계층 구조를 이루는 것에 관해서는, 앞에서 도 6을 참조하여 설명한 제1 및 제2 실시예의 Row 셀렉터와 동일하다.

도 17에 도시한 촬상 소자의 특징은, 하나의 Row 라인 셀렉터는 제어하는 Row가 1Row 걸러 있는 것이다.

예를 들어 Row 라인 셀렉터(139)는 1개 걸러 있는 Row의 화소 영역(a-r1), (a-r2), (a-r3),…의 각 화소에 대하여 제어선을 연장시키고, 이들 화소의 제어를 실행한다.

또한, Row 라인 셀렉터(140)는 1개 걸러 있는 Row의 화소 영역(b-r1), (b-r2), (b-r3),…의 각 화소에 대하여 제어선을 연장시키고, 이들 화소의 제어를 실행한다.

서로 담당하는 화소가 교대로 됨으로써, 거시적으로 보면 이 영역은, Row 라인 셀렉터(139)에 의한 셔터와 Row 라인 셀렉터(140)에 의한 셔터의 2종류의 노광 제어가 가능해진다.

하나의 영역에서 복수의 셔터가 가능해진다고 함은, 예를 들어 밝은 피사체와 어두운 피사체가 동일 영역에 혼재하는 화상에 있어서 유효한 노광 제어가 실현된다.

똑같은 방법으로, Column을 분할하여 화소 그룹을 서로 오버랩시키는 것도 가능하다.

이 경우에는, 도 18에 도시한 바와 같이, Column 셀렉터(141)의 구조를 변경하고, Column 그룹 셀렉터(142)와, 복수의 Column 라인 셀렉터를 설치한다. 예를 들어 도면 중의 Column 라인 셀렉터(143)와, Column 라인 셀렉터(144)가 1 각 열(Column) 걸러 제어하도록 하여, 제어하는 Column을 교대로 하는 구조를 취하면 된다.

예를 들어 Column 라인 셀렉터(143)는 1개 걸러 있는 Column의 화소 영역(a-c1), (a-c2), (a-c3),…의 각 화소에 대하여 제어선을 연장시키고, 이들 화소의 제어를 실행한다.

또한, Column 라인 셀렉터(144)는 1개 걸러 있는 Column의 화소 영역(b-c1), (b-c2), (b-c3),…의 각 화소에 대하여 제어선을 연장시키고, 이들 화소의 제어를 실행한다.

이와 같은 설정으로 하는 것도 가능하다.

[8. 본 발명의 구성과 효과의 정리]

전술한 복수의 실시예에 있어서 설명한 바와 같이, 본 발명의 촬상 장치에서는, 화소마다가 아니라, 촬상 면 내에서 서로 가까운 위치에 있는 복수의 화소로 구성되는 블록(화소 그룹)마다 노광 기간을 설정한 노광 제어를 행한다. 이 구성에 의해 촬상 소자(이미지 센서) 내부의 제어 회로를 과도하게 대규모로 하지 않고, 영역마다의 적응적인 노광 제어를 실현할 수 있다.

또한, 화소 그룹에 대응한 수의 노광 제어값을 접수하는 입력 I/F를 설치함으로써, 노광 제어값 입력의 대역도 낮게 억제되고, 그 산출도 소규모의 연산으로 실현할 수 있다. 또한, 노광 제어값을 화소 제어 신호로 변환하는 기구를 계층 구조로 하고, 화소 그룹으로의 제어 신호를 생성하는 수단과, 화소 그룹 내의 화소로의 제어 신호를 생성하는 수단을 분리한 구성으로 하고 있다. 화소 그룹으로의 제어 신호는 신(scene)에 의존하여 제어 신호 시계열의 양상은 크게 변화하지만 저대역에서 작은 데이터량인 특징이 있고, 한편 화소 그룹 내의 제어 신호는 고대역에서 높은 데이터량이지만 그 시계열은 정형적으로 만들 수 있다. 이와 같이 제어 신호의 생성 수단을 계층적으로 분할함으로써 실장이 용이해진다.

또한, 본 발명은 복수의 Row에 걸쳐 있어도, 동일한 화소 그룹에 속하는 화소의 노광 시간을 동일하게 하기 위한 제어 기구를 실현하고 있다. 또한, 화소 신호의 판독에 대해서는, 종래의 롤링 셔터 제어와 마찬가지로 Row 순차로 판독하는 제어 기구를 실현한다. 종래 기술의 화소마다의 제어 기구를 그대로 화소 그룹에 응용하여도, 화소 그룹 내의 화소가 전부 동기하여 동작하기 때문에, 신호 판독 레이트가 불균일하게 되어, 센서 외부에 데이터 버퍼를 갖고 재배열 처리를 행하지 않으면 후단의 파이프 라인 처리로 데이터를 출력할 수 없다고 하는 문제가 발생한다. 본 발명의 제어 기구에 의하면, 화소 신호의 판독은 항상 일정하여, 데이터 재배열도 필요가 없다.

또한, 본 발명은 예를 들어 직사각형을 이루는 블록(화소 그룹)에 대하여 자유로운 노광 제어를 행하는 기구를 실현한다. 그 구조는, 복수의 직사각형의 집합인 영역에 대해서도 확장 가능하며, 그것에 의해, 실질적으로 영역의 오버랩을 가능하게 한다. 이에 의해, 하나의 영역을 복수의 노광 시간으로 촬영하는 것도 가능하며, 모든 신(scene)에 대응 가능한, 실용성이 높은 노광 제어 기구를 실현할 수 있다

이상, 특정한 실시예를 참조하면서, 본 발명에 대하여 상세히 설명하였다. 그러나, 본 발명의 요지를 일탈하지 않는 범위에서 당업자가 실시예의 수정이나 대용을 할 수 있음은 명백하다. 즉, 예시라고 하는 형태로 본 발명을 개시한 것이므로, 한정적으로 해석되어서는 안 된다. 본 발명의 요지를 판단하기 위해서는, 특허청구범위의 란을 참작해야 한다.

또한, 명세서 중에서 설명한 일련의 처리는 하드웨어 또는 소프트웨어, 혹은 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우에는, 처리 시퀀스를 기록한 프로그램을, 전용의 하드웨어에 내장된 컴퓨터 내의 메모리에 인스톨하여 실행시키거나, 또는 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨하여 실행시키는 것이 가능하다. 예를 들어, 프로그램은 기록 매체에 미리 기록해 둘 수 있다. 기록 매체로부터 컴퓨터에 인스톨하는 외에, LAN(Local Area Network), 인터넷 등의 네트워크를 통해 프로그램을 수신하고, 내장되는 하드디스크 등의 기록 매체에 인스톨할 수 있다.

또한, 명세서에 기재된 각종 처리는, 기재에 따라서 시계열로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 또는 필요에 따라 병렬적으로 또는 개별로 실행되어도 된다. 또한, 본 명세서에 있어서 시스템이란, 복수 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 케이싱 내에 있는 것으로는 한정되지 않는다.

이상, 설명한 바와 같이, 본 발명의 일 실시예의 구성에 의하면, 촬상 소자의 촬상면의 복수의 화소를 분할한 화소 그룹 단위가 서로 다른 노광 제어를 실행하는 구성이 실현된다.

101: 렌즈
102: 조리개
103: 촬상 소자(이미지 센서)
104: DSP 블록
105: LCD 드라이버
106: LCD
107: CODEC
108: 메모리
109: CPU
110: 입력 디바이스
111: 노광 보상 승산기
112: 신호 처리부
113: 블록 휘도 평가값
115: 노광 제어값 산출부
118: 타이밍 제너레이터(TG)
119: Row 셀렉터
120: Column 셀렉터
121: CDS
122: ADC
123: Row 그룹 셀렉터
124: Row 라인 셀렉터
125 내지 127: 라인 셀렉터
128: 셔터 제어 신호 제너레이터
129: READ(판독) 제어 신호 제너레이터
130: Row 선택 스위치
131: 타이밍 제너레이터(TG)
132: Row 셀렉터
133:Column 셀렉터
134: ADC
135: Column 그룹 셀렉터
136: Column 라인 셀렉터
137: Row 셀렉터
138: Row 그룹 셀렉터
139: Row 라인 셀렉터
140: Row 라인 셀렉터
141: Column 셀렉터
142: Column 그룹 셀렉터
143: Column 라인 셀렉터
144: Column 라인 셀렉터

Claims

촬상 장치로서,
복수 화소로 구성되는 화소 그룹 단위의 휘도 평가를 실행하는 휘도 평가부와,
상기 휘도 평가부의 평가 결과에 따라서, 상기 화소 그룹 단위의 노광 제어값을 산출하는 노광 제어값 산출부와,
상기 노광 제어값 산출부의 산출된 화소 그룹 단위의 노광 제어값에 따른 제어 신호를 화소 그룹 각각의 구성 화소로 출력하여 화소 그룹 단위의 노광 제어를 실행하는 촬상 소자를 갖는, 촬상 장치.
제1항에 있어서,
상기 촬상 소자는,
상기 제어 신호로서, 상기 화소 그룹 내의 복수 화소에 대하여 동일 패턴을 포함하는 노광 제어 신호를 시계열로 순차 출력하는 처리를 행하고, 하나의 화소 그룹에 속하는 복수 화소의 노광 시간을 동일하게 한 노광 제어를 행하는, 촬상 장치.
제1항에 있어서,
상기 촬상 소자는,
상기 제어 신호로서, 행(로우: Row) 단위의 제어 신호와, 열(컬럼: Column) 단위의 제어 신호를 조합하여, 제어 대상의 화소를 특정한 제어 처리를 실행하는, 촬상 장치.
제1항에 있어서,
상기 촬상 소자는,
노광 처리의 개시 타이밍을 나타내는 노광 개시 제어 신호와, 판독 처리의 개시 타이밍을 나타내는 판독 개시 제어 신호를 화소 그룹 단위로 설정하여, 화소 그룹 단위의 노광 제어를 실행하는, 촬상 장치.
제1항에 있어서,
상기 촬상 소자는,
행(Row) 방향으로 설정된 화소 그룹에 대한 노광 제어 신호를 출력하는 복수의 Row 라인 셀렉터와,
상기 복수의 Row 라인 셀렉터에 대한 제어 신호 출력 타이밍을 지시하는 제어 신호를 출력하는 Row 그룹 셀렉터의 계층 구성을 갖는, 촬상 장치.
제5항에 있어서,
상기 Row 라인 셀렉터는,
상기 Row 그룹 셀렉터로부터의 제어 신호 출력 타이밍을 지시하는 제어 신호에 따라서, 제어 대상으로 하는 화소 그룹 단위로 제어 신호를 출력하는, 촬상 장치.
제5항에 있어서,
상기 Row 라인 셀렉터는,
각 화소의 노광 처리를 실행시키는 노광 패턴 신호를 출력하는 셔터 제어 신호 생성부와,
각 화소의 판독 처리를 실행시키는 판독 패턴 신호를 출력하는 판독 제어 신호 생성부를 갖고,
상기 Row 그룹 셀렉터로부터의 제어 신호 출력 타이밍을 지시하는 제어 신호의 종류에 따라서, 상기 셔터 제어 신호 생성부 또는 상기 판독 제어 신호 생성부의 생성하는 제어 신호의 선택적인 출력 처리를 실행하는, 촬상 장치.
제1항에 있어서,
상기 촬상 소자는,
촬상 소자의 1행(Row)의 화소 신호에 대하여 병렬로 AD 변환을 실행하는 컬럼(Column) ADC를 갖고,
화소 그룹 단위의 제어 신호를 생성하는 컬럼(Column) 그룹 셀렉터와,
화소 그룹 단위의 제어 신호를 받아서 화소 그룹 내의 제어 신호를 생성하는 복수의 컬럼(Column) 라인 셀렉터의 계층 구조를 더 갖는
컬럼(Column) 셀렉터를 갖는, 촬상 장치.
제1항에 있어서,
상기 화소 그룹은 인접 화소 집합을 포함하는 화소 그룹인, 촬상 장치.
제1항에 있어서,
상기 화소 그룹은 복수의 이격 영역에 있는 화소 집합을 포함하는 화소 그룹인, 촬상 장치.
촬상면의 복수의 화소를 분할한 화소 그룹 단위로 설정된 노광 제어값에 따른 제어 신호를 화소 그룹 각각의 구성 화소로 출력하여 화소 그룹 단위의 노광 제어를 실행하는 촬상 소자.
제11항에 있어서,
상기 제어 신호로서, 상기 화소 그룹 내의 복수 화소에 대하여 동일 패턴을 포함하는 노광 제어 신호를 시계열로 순차 출력하는 처리를 행하고, 하나의 화소 그룹에 속하는 복수 화소의 노광 시간을 동일하게 한 노광 제어를 행하는, 촬상 소자.
제11항에 있어서,
상기 제어 신호로서, 행(로우: Row) 단위의 제어 신호와, 열(컬럼: Column) 단위의 제어 신호를 조합하여, 제어 대상의 화소를 특정한 제어 처리를 실행하는, 촬상 소자.
제11항에 있어서,
노광 처리의 개시 타이밍을 나타내는 노광 개시 제어 신호와, 판독 처리의 개시 타이밍을 나타내는 판독 개시 제어 신호를 화소 그룹 단위로 설정하여, 화소 그룹 단위의 노광 제어를 실행하는, 촬상 소자.
촬상 장치에서 실행하는 촬상 제어 방법으로서,
휘도 평가부가, 복수 화소로 구성되는 화소 그룹 단위의 휘도 평가를 실행하는 휘도 평가 스텝과,
노광 제어값 산출부가, 상기 휘도 평가 스텝에서의 평가 결과에 따라서, 상기 화소 그룹 단위의 노광 제어값을 산출하는 노광 제어값 산출 스텝과,
촬상 소자가, 상기 노광 제어값 산출 스텝에 있어서 산출된 화소 그룹 단위의 노광 제어값에 따른 제어 신호를 화소 그룹 각각의 구성 화소로 출력하여 화소 그룹 단위의 노광 제어를 실행하는 촬상 스텝을 갖는, 촬상 제어 방법.
촬상 장치에서 촬상 제어 처리를 실행시키는 프로그램으로서,
휘도 평가부에, 복수 화소로 구성되는 화소 그룹 단위의 휘도 평가를 실행시키는 휘도 평가 스텝과,
노광 제어값 산출부에, 상기 휘도 평가 스텝에서의 평가 결과에 따라서, 상기 화소 그룹 단위의 노광 제어값을 산출시키는 노광 제어값 산출 스텝과,
촬상 소자에, 상기 노광 제어값 산출 스텝에 있어서 산출된 화소 그룹 단위의 노광 제어값에 따른 제어 신호를 화소 그룹 각각의 구성 화소로 출력하여 화소 그룹 단위의 노광 제어를 실행시키는 촬상 스텝을 실행시키는, 프로그램.