WO2004110057A1

WO2004110057A1 - 広ダイナミックレンジイメージセンサ

Info

Publication number: WO2004110057A1
Application number: PCT/JP2004/007869
Authority: WO
Inventors: Shoji Kawahito
Original assignee: Shoji Kawahito
Priority date: 2003-06-02
Filing date: 2004-05-31
Publication date: 2004-12-16
Also published as: US20070103569A1; US7889253B2; JP2004363666A; JP4392492B2

Abstract

この発明は、明るい部分と暗い部分とが同時に存在している場合に、良好な撮像を行うために、ダイナミックレンジを広くしたCMOSイメージセンサに関する。イメージセンサの画素部から長時間の蓄積による低照度信号と、短時間の蓄積による中照度信号と、超短時間の蓄積による高照度信号とを取り出すことにより、高照度における光電荷の飽和を防止してダイナミックレンジを広げることができる。また、複数の短時間蓄積信号のそれぞれ異なる蓄積時間の組み合わせからなる広ダイナミックレンジ撮像条件を動的に変更することにより、さらにダイナミックレンジの適応的制御が行える。

Description

明細書広ダイナミックレンジイメージセンサ技術分野

この発明は、イメージセンサにおけるダイナミックレンジの拡大に関する。背景技術

非常に明るい部分と暗い部分が同時に存在している場合でも良好に撮像を行うことができる広いダイナミックレンジを持ったイメージセンサの従来技術は数多く存在する。 C M O Sイメージセンサ上でダイナミックレンジを高照度側へ拡大する処理として多くの方式が存在する。

これには（1 ) 特開平 7-274072号で提示されている、画素回路内に比較器と係数器を配置して、フォトダイオードが外部から設定したしきい値に達するまでのクロック数を計測する方式、（2 ) 特開 2000-253320号で提示されている、画素回路内に比較器と係数器を配置して、一フレーム期間内にフォトダイオードが、外部から設定したしきい値に達した回数を計測する方式、（3 ) 特開 2001-169184号ならびに（4 )特開 200 186414号に提示されている、 4トランジスタ型画素回路において、フォトダイォ一ドのブルーミング電荷を 1垂直期間より十分短い期間、フローティングディフュージョンに蓄積する方式、ならびに信号レベルとリセットレベルの差分と、信号検出部で一垂直期間より十分短い期間蓄積した信号分から求める方式、（5 ) Yibing (Michelle) Wang他によって the 2001 IEEE Workshop on Charge-Coupled Devices and Advanced Image Sensors, ppl37-140で発表さ 7こ" A High Dynamic Range CMOS APS Image Sensor" で説明されているような、 4トランジスタ型画素回路のフローティングディフュージョンを、高照度用の感度の低い光電変換素子として利用する方式、（6 ) 米国特許公報 6175383 号、 6369737 号、 2002/0027606号および、 IEEE Journal of Solid State Circuits, Vol.35, No.5の" 100000-Pixel, 120-dB Imager in TFA Technology" に記載されている、蓄積時間と読み出し信号レベルから浮動小数点表現により画素値を求める方式、（7 ) 特開 2000-83198ならびに特開 2002-77733で提示されている、入射光量に対して対数的に信号電圧が変化する対数圧縮型画素回路を利用する方式、（8 ) CMOS イメージセンサにおいて、 n行目の信号読みだしを行う際に、 Δだけずれた行の信号の読みだしも行うことで、長時間蓄積信号と短時間蓄積信号を獲得し、これらを合成して広ダイナミックレンジ化を図る方式 (US Patent 6115065)、などがある。発明の開示

一般的な C MO Sイメージセンサの信号蓄積と信号読みだしタイミングを図 1 ( a )に、パースト読みだし（集中読みだし）を行う CMO Sイメージセンサの信号蓄積及ぴ読みだしタイミングを図（b )に示す。これは垂直方向の画素数が 5画素の場合であり、垂直プランキング期間は考慮していない。

一般的な CMO Sイメージセンサの場合には、垂直方向の画素数が Nvの場合、 1フレームの時間 T _Fを Nvで割った時間をかけて 1水平ライン分の信号の読みだしを行い、すべての画素からの信号読みだしを 1フレームの時間をかけて読み出す。

これに対して、バースト読みだしでは、 1水平ラインの信号の読みだし時間を短くし、すべての画素からの信号読みだしを集中的に短時間に行う。このような読みだし方をすると、信号を高速に読み出さなければならないため、消費電力が大きくなるなどの問題があるが、信号電荷の蓄積開始時点のタィミングのずれが、比較的従来の方法に比べて少ないため、動きの大きい対象物を撮像したときのひずみが比較的小さいという利点がある。従来の技術の（8 )は、図 1 ( a )の読みだし方法に基づき、長時間蓄積を行った n行目の信号読みだしを行う際に、その行から既に読み出した方向に Δ行だけずれた行の信号の読み出しも行うことによって、 Δ Χ Τ Η ( 1水平ラインの読みだし時間）に相当する短時間蓄積の信号をも読みだし、それらを合成することで、広ダイナミックレンジのイメージセンサを実現しようとするものである。

しかしながら、このような読みだし方向では、動きの大きい対象物を撮像したときに、動きひずみが大きいという問題がある。また、最も短時間の蓄積時間は、 Δ = 1の場合であり、これ以下にはできないため、拡大できるダイナミックレンジの最大値がこれによつて制限されてしまう。また、長時間蓄積の信号と短時間蓄積の信号の読みだしを同時並行で行うので、例えば長時間蓄積を行った全画素の情報から、短時間蓄積と読みだしを行うかどうかをリアルタイムに判断したりする適応的な処理はできない。

本発明は、信号のバースト読みだし（集中読みだし）に基づく広ダイナミックレンジイメージセンサに関するものであり、かつ、ァダプティブマルチプルサンプリング方式についても提案する。

本発明は、イメージセンサから長時間蓄積を行った信号を高速にパースト読み出しし、その後、短時間蓄積を行った信号をバースト読み出しする。さらにその後、より短時間の蓄積を行った信号をバースト読み出しする。必要であれば、これらをさらに繰り返す。これらの蓄積時間の異なる信号を読み出して合成することで広ダイナミックレンジ化をはかったイメージセンサである。

さらに、バースト読み出しにより、長時間蓄積、短時間蓄積の画像情報がフレーム単位で得られることを利用し、信号の最大値、飽和しているかどうカヒストグラムの情報を元に、読み出し回路の利得と、短時間蓄積、極短時間蓄積とバースト読み出しを行うかどう力 \ またそれらの蓄積時間をリアルタイムに判断しながら設定し、最適のダイナミックレンジに設定しながら撮像を行うことができる適応ダイナミックレンジイメージセンサである。図面の簡単な説明

第 1図は、一般的な C MO Sイメージセンサの信号蓄積と読みだしのタイミングと、バースト読みだしにおける信号蓄積と読みだしのタイミング（垂直画素数 5の場合、 LA :信号蓄積期間、 LR :信号読み出し期間）を示す図である。第 2図は、信号の蓄積と、読み出しのタイミング (垂直画素数 5の場合を示す。 LA _:長時間蓄積信号蓄積期間、 SA _:短時間蓄積信号蓄積期間、 VSA :極短時間蓄積信号蓄積期間、 LR _:長時間蓄積信号読み出し期間、 SR :短時間蓄積信号読み出し期間、 VSR：極短時間蓄積信号読み出し期間、数字は、イメージァレイの対応する行番号）を示す図である。

第 3図は、広ダイナミックレンジイメージセンサのプロック図である。

第 4図は、垂直画素数が 4画素の場合の制御信号タイミングを示す図である。第 5図は、読みだし回路を 2系統もつ場合の構成図である。

第 6図は、原色フィルタの 4成分を並列に出力する場合の広ダイナミックレンジィメ一ジセンサの構成図である。

第 7図は、各状態における撮像条件とダイナミックレンジの例（NS = 3, NR =3, Nv=480の場合、 LA, S A 1 , SA2， S A 3はそれぞれ長時間蓄積時間， 1回目， 2回目， 3回目の蓄積時間である。 1>はフレーム周期）を示す図である。

第 8図は、適応的ダイナミックレンジ設定のための状態遷移図の例を示す図である。

第 9図は、ダイナミックレンジを適応的に変化させる処理回路のプロック図である。

第 10図は、 1倍と 4倍のゲインを選択できるカラムノイズキャンセル回路 H である。

第 1 1図は、ゲイン設定のための状態遷移図である。

第 1 2図は、長時間蓄積信号 L A及び 3種類の短時間蓄積信号 (SA1, SA2, SA3) を用レ、た非線形応答特性の合成を示す図である。

第 1 3図は、図 1 2の変換特性を得るための処理のブロック図である。

第 1 4図は、メモリへの書き込み及び読み出しの動作を示す図である。

第 1 5図は、映像信号と蓄積時間を表すゾーン番号を書き込む場合の処理プロック図である。発明を実施するための最良の形態

本発明は、従来技術の問題を解決する特徴を備えた広ダイナミックレンジィメージセンサを提供するものである。まず、本発明は、図 1の（b )に示すバースト読みだしに基づいている。これに基づき、長時間蓄積、短時間蓄積、より短時間の蓄積といった複数の蓄積時間による信号を読みだし、合成することで広ダイナミックレンジイメージセンサを実現する。本発明による広ダイナミックレンジィメージセンサの信号の蓄積と読みだしのタイミング図を図 2に示す。この例では、垂直方向の画素数が 5画素の場合を示している。長時間蓄積を行った信号を読み出すトータルの時間を Τ _Κとする。各画素毎に関しフレーム周期から長時間蓄積を行った時間を差し引いた時間の全部、あるいは、その一部の時間、信号蓄積を行つた信号を短時間蓄積信号とし、同じ T Rの時間をかけて読み出す。また、残された時間の一部を用いて、さらに、より短時間の蓄積を行い、同じの時間をかけて読み出す。さらに短時間の蓄積を行った信号読み出しを行う場合も同様であり、このようにして複数の蓄積時間の信号を読み出すことができる。

長時間蓄積の信号を短時間で集中読み出し後に、短時間蓄積信号の読み出しを行うためには、全画素に対する集中読み出しの時間は、長くともフレーム周期の 1/2以下でなければならない。実際の構成としては、フレーム周期の 1/4または 1/6が実用的価値が高いと考えられる。例えば、フレーム周期の 1/4の場合には、 2種類までの短時間蓄積、フレーム周期の 1/6の場合には、 3種類までの短時間蓄積を行うのが適しており、この範囲内で短時間蓄積を行うかどうかと、短時間蓄積の時間を適応的に変化させながら、広ダイナミックレンジの画像の撮像を行うことができる。

いま、短時間蓄積信号のバースト読みだし数を、 Nsとする。図 2の例では、短時間蓄積とより短時間蓄積の信号の 2回バースト読みだしするので、 Ns= 2である。また、長時間信号蓄積時間と、 T_Rの比、つまり、 T_AI-/T_Rを N_Rとする。フレーム周期を T_Fとして

次式の関係がある。

【数 1】

ァ — ^ r

¹ R 一

m回（m種類）の短時間信号蓄積を行う場合を考え、 m回目の信号蓄積時間を T_AS(m)とする。その最長の値を、 Τ_Λ3ΜΛΧ(ηι)とする。図 2 より、 Τ_Α3ΜΛΧ(ηι) =Τκである。その蓄積時間はこれを最大値として任意に選ぶことができる。ただし、その制御を容易にするため、以下のように蓄積時間を設定する。

垂直方向の画素数を Ννとすると、 1水平ラインを読み出す時間 ΤΗは、垂直プランキング期間を ΤΒとして、

【数 2】

η ― R ― Β

TV, である。 TBを、 THの整数倍にえらび、 TB-NBX THとする。これを用いて短時間蓄積時間を以下のように選ぶ。

ここで、 ηは整数であり、 0≤η^Νν + Ν_Βである。この方法により可能な最短の蓄積時間を、 T_ASMIN(m)とすると、これは n= 1の場合であり、

TASMIN (m) = Γπとる。

これより、長時間蓄積を 1フレーム周期にわたり行う一般的なイメージセンサに対する最大のダイナミックレンジ拡大率は、 T_F/T_ASMIN(m)であり、以下のようになる。

【数 3】

^Tf =(N_V N具 +N_R)

ASMN 例えば、 Ns=3,

484の場合、 3388倍、すなわち約 71 dB までの拡大が可能である。同じ計算を、従来技術の（8)に対して行うと、従来技術では、ダイナミックレンジの拡大率は、垂直画素数倍つまり、 Nvであるので、 480倍、すなわち約 54 dB である。本発明の方が、ダイナミックレンジ拡大に対して有利であることがわかる。

次に、このような原理に基づく広ダイナミックレンジイメージセンサの回路構成について説明する。図 3に、そのブロック図を示す。

また、図 3において、

2の場合の制御信号のタイミングを図 4に示す。 T_AS(1) = T_Rとし、 T_AS(2) = 2 T"としている。

長時間蓄積を行った信号に対して、最初の T_Rの期間にパースト読みだしを行う。この期間を用いて、短時間（T_AS(1)の時間）蓄積を行い、次のの期間にバースト読みだしを行う。この期間の一部を用いてより短時間（ T _A s ( 2 )の時間）蓄積を行い、次の TRの期間にパースト読みだしを行う。

このような動作を行わせるために、垂直シフトレジスタ（図 3では、 Dの記号でかいたフリップフ口ップのチェーン）に与える 2つのトリガ信号（VTRG 1 , VTRG 2)を図 4に示したように与える。 VTRG 1は、バースト読みだしのためのトリガであり、 VTRG 2は、 T_Rよりも短い時間蓄積を行うためのリセット信号を発生するために専用に設けた垂直シフトレジスタに与えるトリガ信号である。図 4に示したようなタイミングで VTRG2を与えることで、 Τ_Λ5(2)=Τ_Η + 2 THとなる。

バースト読みだしでは、読みだし速度が高速になるため、消費電力が増大する可能性がある。特に A/D変換器の消費電力が増大する。しかし、 1フレーム周期の中で読みだしを行っている時間以外は、読みだし回路及び A/D変換器は動作させる必要がないので、投入電力をカツトして低消費電力化を図ることができる。具体的には、例えば通常動作のための電流値から、スタンバイ時には、電流を 1/ 10程度にしぼった電流値を設定することで、回路を不安定にすることなく、スタンバイ時の電力を大きく低減することができる。

また、読みだし速度が高速になるために、 1つの読みだし回路だけでは動作速度がおいつかなくなる場合があり、その場合は、図 5に示すように、読みだし回路を 2系統、あるいは図 6のように 4系統設ける方法も考えられる。カラーフィルタを用いた単板式力ラ一^ fメージセンサの場合、例えばべィヤー配列の原色フィルタの R, B, Gl, G 2成分を 4系統の読み出し回路にそれぞれ読み出して、並列に水平読み出しを行うことができる。この場合、 4つの読み出し回路の特性のずれの補正を、色信号に対する処理を行う際に同時に行うことができ、無駄がない。図 6中の ADCは A/D変換器である。

なお、以上は、 3 トランジスタ画素回路の場合を示しているが、画素内電荷転送を用いた 4 トランジスタ画素回路など、他の画像回路を用いることも可能である。例えば、 4トランジスタの画素回路の場合には、図 4 , 図 5において V T R G 2によって、リセット信号だけでなく、電荷転送の制御信号についても発生するようにすればよい。

このようなバースト読みだしによる広ダイナミックレンジイメージセンサでは、動きひずみを少なくすることと、広ダイナミックレンジ画像が得られるという 2 点を両立できるため、車載用など、撮像対象の動きが大きく、広ダイナミックレンジが必要な応用に適する。

この方式のもう 1つの利点は、長時間蓄積、短時間蓄積の画像を独立して得ることができるので、長時間蓄積により得た画像情報を元にして短時間蓄積撮像の条件設定、あるいは短時間蓄積撮像が必要かどうかの判断をリアルタイムに行うことができることである。

バースト読みだしでは、全画素の信号を完全に読み終わつてから、次の短時間蓄積の読みだしを行うかどう力 \ またそのための画素部の電荷の初期化動作を行うかどうかを決定することができる。このことを利用すると、撮像している対象にあわせて最適なダイナミックレンジにリアルタイムに設定しながら撮像することができる。つまり、適応的ダイナミックレンジ撮像が可能である。

図 7に、撮像条件の異なる 1 0の状態と、それぞれにおいて得られるダイナミックレンジの値をしめす。 S Oは、長時間信号蓄積と読みだしのみを行う場合であり、各状態におけるダイナミックレンジは、このときのダイナミックレンジを基準として取ってある。 L Sは長時間蓄積信号、 S A 1 , S A 2 , S A 3は短時間蓄積信号を意味しているが、図 7の中の値は、 S A 1については L Aに対する、 S A 2は S A 1に対する、また S A 3は S A 2に対する蓄積時間の比を表している。なお、短時間蓄積信号を読み出すと、その分長時間蓄積の時間がその分短くなり、その分感度が低下するので、その効果をダイナミックレンジの計算に入れている。また、長時間信号に対してのみ、イメージセンサのカラムで G = 4のゲインで増幅する場合についても示している。 G== 1の場合のダイナミックレンジ Do= 66 dB、 G = 4の場合のダイナミックレンジ D。， = 60 dB とすると、最大 (状態 S 9の場合）でそれぞれ 123 dB， 29 dBまで拡大可能である。

図 7において、短時間蓄積を 2回まで行う場合、すなわち S 0から S 6までを用いる場合について、ダイナミックレンジをリアルタイムに最適値に設定しながら撮像する場合の状態遷移図を図 8に示す。これは、長時間蓄積信号及び 1回目、 2回目の短時間蓄積信号が、极える最大振幅を超えているかどうかを表すオーバ一フローフラグ OF。, OF 〇F₂また、 1回目及び 2回目の短時間蓄積信号の最大値が、扱える最大振幅と比べて十分小さいかどうかを表す、アンダーフローフラグ UFi, UF₂を用いて、撮像条件を動的に設定する。

図 8に、動的ダイナミックレンジ設定のための処理のブロック図を示す。まずオーバーフローフラグについては、 A/D変換器（ADC)の出力 Yに対して、設定したしきい値 Tュと比較し、を越えている画素の数をカウンタで計数する。これを N(Y, T_L)とし、これが、設定したしきい値 T ₃以上であれば、オーバーフローフラグを 1にする。式で表せば、

【数 4】

0 (Ν(Υ^)<Τ₂)

OF;二 (1)

1 (Ν(Υ,Τ_{)≥Τ₃)

となる。ここで、〇？丄の 1は、 i = 0, 1， 2をとり、 OF,， OF₂, OF ₃は、それぞれ長時間蓄積信号， 1回目の短時間蓄積信号， 2回目の短時間蓄積信号に対するオーバーフローフラグである。

また、アンダーフローフラグについては、 ADCの出力 Yに対して、設定したしきい値 T₂と比較し、 Τ₂を越えている画素の数をカウンタで計数する。これを N (Y， T ₂)とし、これが、設定したしきい値 T ₃以下であれば、アンダーフローフラグを 1にする。式で表せば、

【数 5】

(Ν(Υ, Τ₂) > Τ₃)

二

1 (N{Y, T₂)≤T₃) ⁽²⁾

となる。ここで、 11 1の 1は、 i = l， 2をとり、 U F i , U F ₂は、それぞれ 1回目の短時間蓄積信号、 2回目の短時間蓄積信号に対する Yから判断した、ァンダーフローフラグである。

これらのフラグを用いて、図 8の状態遷移図のように、ダイナミックレンジを適応的に変化させながら、信号がほぼ飽和しない最適の条件での撮像を行うことができる。

特にバースト読みだしでは、例えば、全体に照度の低い状態で長時間蓄積信号だけで撮像を続けている状態から、急に明るくなつたとしても、長時間蓄積信号が飽和しているかどうかを判断し、直後に短時間蓄積信号の読みだし状態に移行することができ、飽和をさせないで画像を取得することができる。

なお、このような広ダイナミックレンジの撮像条件がフレーム毎に頻繁に変化することにより、ちらつきを感じる等問題が生じる場合には、式（1 )や式（2 )の中に示した条件が、何フレームかにわたって継続して起こった場合にのみ、ォーバーフロー、アンダーフローのフラグを発生させたり、実際の状態遷移を、フレーム毎に行うのではなく、複数フレームに対して 1回だけ行うようにする。

また、イメージセンサのカラムにおいてノイズキャンセルを行いながら、小さいゲインと大きなゲインを切り替えることで、低照度において低雑音で信号の読みだしノイズを低くすることで、低照度側へのダイナミックレンジ拡大が可能である。ゲインを 1倍と 4倍で切り替えるカラムノイズキャンセル回路の例を図 1 oに示す。反転増幅器を用いたスィツチトキャパシタ型のノイズキャンセル回路であり、 Gain入力に 1が与えられると入力側に接続される容量が 4 Cになり、反転増幅器の入出力間に接続される容量 Cとの比により 4倍の増幅がなされる。 Gain入力に 0が与えられると入力の 3 Cが切り離され、容量比は 1になるため、 1倍の増幅がなされる。また、この回路は入力に画素からのリセットレベルと信号レベルが交互に与えられる。図 3に示すような 3 トランジスタの画素回路の場合は、先に信号レベルが与えられ、そのとき、図 1 0の φ 1で制御されるスイツチをオンにしておき、入力の容量に信号レベルをサンプルする。その後、 φ ΐで制御されるスィッチをオフにし、入力にリセットレベルを与えることで、入カレベルとリセットレベルの差が増幅されて出力され、ノイズキャンセル動作がなされる。なお、埋め込みフォトダイオードを用いて画素内部で電荷転送を行う 4 トランジスタの場合は、先にリセットレベルが与えられ、その後信号レベルが与えられる点が異なるだけで、同様に適用可能である。

4倍のゲインの設定は、長時間蓄積信号の読みだし、短時間蓄積信号の読みだしどちらに対しても用いることができるが、特に低照度領域の感度を向上する意味では長時間蓄積信号に対して適用するのが有効である。長時間蓄積信号に対して、ゲインを 1倍と 4倍で切り替える方法としては、 1フレーム前の長時間蓄積信号を全画素読みだして得た信号から計算したヒストグラムを用いるのが有効である。そのための処理回路の構成を図 9に示す。その方法について説明する。 A D Cの出力 Yに対し、 N階調の画像を M個の領域に分割する。まず、 i二 0 , ■· · , M— 1に対して、ヒストグラム H ( i )を初期化する。すなわち、

H ( i ) = 0 ( i = 0 , · ' ·, M— 1 )

全ての画素出力に対して、以下を実行する。

( i = 0 , · ··, M— 1 )に対し、【数 6】

H(i) + l (if =0

N

M

H(j) (if Y ≠

N ここで [ X ]は、 Xの小数点以下を切り捨てた整数を意味するのようにして得たヒストグラムの平均値を計算する。

【数 7】

これを用いて、カラム増幅器のゲインを図 1 1に示すような状態遷移図に従い、ゲインをフレーム単位で設定する。

これは、以下の様な動作をする。現在のカラム増幅器のゲイン Gを 1として、ヒストグラムの平均値があるしきい値 T よりも小さければ、カラム増幅器のゲイン Gを 4にし、 T_L以上であれば、 G=lのままとする。これは、新しいフレームの画像の読みだしを行う以前に設定を完了しておく。そのフレームに対して同様にヒストグラムの平均値を計算し、それが、べつのしきい値 T_Hよりも小さければ、 G= 4のままとする。もし THを超えていたら、 G= lに戻す。なお、図 9においては、 G= lの場合は、 G 1を 1に設定し、 G= 4の場合には G 4を 1に設定する。この 2つの制御信号が、図 1 0のカラムノイズキャンセルアンプのゲインを設定するための R Sフリップフ口ップに与えられ、 G 1と G 4がともに 0の場合には設定状態を保持する。

このようにすることで、 1つ前のフレームの輝度分布を見ながら、次のフレームの画像信号の読みだしのゲインを最適にコントロールすることができる。この場合、あるフレームから急激に明るくなつた場合には、 G = 4に設定することで、長時間蓄積信号が飽和するかもしれない。しかし、その場合には短時間蓄積信号を読み出すことで飽和した画素信号を短時間蓄積信号で置き換えることができる。このようにカラム増幅器のゲインを可変にするのは、長時間蓄積を行つた信号だけに対して行うこともできるが、短時間蓄積の信号に対しても同様に行ってもよい。また、次のフレームの長時間蓄積信号の読みだしの際のカラム増幅器のゲインを決めるためのヒストグラムとして、現フレームの長時間蓄積信号から求める方法と、短時間蓄積信号から求める方法の両方が考えられる。

また、このようなゲインの設定の変更をフレーム毎に行うとちらつきを感じるなどの問題がある場合には、図 1 1の状態遷移のための条件判定を、複数フレームにわたつて満たされた場合にのみ行うようにしたり、複数フレームに対して 1 回だけ行うように状態遷移の頻度を低くすることも考えられる。

上記のようにして求めた短時間蓄積信号に対するヒストグラムの平均値は、カラムの増幅器のゲインの設定だけでなく、適応的ダイナミックレンジ設定のためにも用いることができる。この場合、式（2 )において、次式のように変更する。

【数 8】

0 (H(Y) > T_L )

二

1 (H(Y)≤T_L)

【数 9】

は、輝度信号 Yに対して求めたヒストグラムの平均値を意味する。これが、設定したしきい値 TL以下であるかどうかでアンダーフローフラグを発生する。

次に、フレームメモリを節約しながら、長時間蓄積信号と複数種類の短時間蓄積信号をメモリに効率よく書き込み、またメモリから読み出すことで、ディジタル化された映像信号の周波数を低くして出力するための方法について説明する。ここでは、長時間蓄積信号と 3種類の短時間蓄積信号をイメージセンサから読み出す場合について説明する。

まず、全体のフルスケール F Sに対し、各領域の配分の比率を決める。長時間蓄積信号、及び 3つの短時間蓄積信号を、図 7に示した記号 LA， SA 1， S A 2, S A 3で表し、それらの蓄積時間それぞれを、 TL, T_S,， TS2, T s 3とする。また T L >T S. >T S2 >T S3とする。

それらに対する配分割合を F_L, FSI, FS2, FS3とする。ここで、

である。

なお、各蓄積信号に対する F Sとしては、図 1 2に示したように、完全に飽和するレベルではなく、それよりもやや低い値に設定する。

まず長時間蓄積信号 LAの出力 Yに対して、メモリに書き込む出力 Z を、次式のように定める。

Sであり、長時間蓄積信号に対するゲイン定数である。つまり、まず長時間蓄積信号に一定のゲインをかけたものを出力の候補とする。

次に、最初の短時間蓄積信号 SA 1の出力 Yと、メモリに記憶された値 Z M に対して、メモリに書き込む出力 Z。_υτを、次式のように定める。【数 1 0】

二で、

【数 1 ι】

SI

\9Ί

FS - 0 SI 及び

【数 1 2】

S I

o_s、 ⁼ FS

7\ L は、 1番目の短時間蓄積信号に対するゲイン定数及びオフセットである。これは、もし、メモリに書き込まれた値が Fしを越えていなければ、長時間蓄積信号をメモリに再び書き込み、越えていれば短時間蓄積信号で置き換えることを意味する。このとき、 2つの領域を連続的につなぐため、 Yからオフセットを引いたものにゲインをかけ、 Fしだけシフトする。

同様に、 2番目の短時間蓄積信号 S A 2の出力 Yと、メモリに記憶された値 Z Mに対して、メモリに書き込む出力 Z _ουτを、次式のように定める。

【数 1 3】 ¾ ( <F_L+F_S〗）

ここで、

【数 14】

A - ¹ S2

ΛΞ2 ―

FS-O S2

及ぴ

【数 1 5】

S2

S₂ = FS

は、 2番目の短時間蓄積信号に対するゲイン定数及びオフセットである c さらに、 3番目の短時間蓄積信号 S A 3の出力 Yに対しても同様に、【数 1 6】

,+F_S2) 二こで、

【数 1 ]

K S3

S3 ⁼

及ぴ

【数 1 8】

' S2 は、 3番目の短時間蓄積信号に対するゲイン定数及びオフセットである。

以上の処理により、入射光量 P 0に対する出力の応答特性は、図 12のようになる。このような処理を行うための処理回路の構成を図 1 3に示す。

このようにすることで、ダイナミックレンジを圧縮した信号をリアルタイムに計算しながら、メモリに格納することができる。図中のレジスタ 1, 2, 3は、 (1)，（2)，（3), (4)の順に、長時間蓄積信号、 1番目、 2番目、 2番目の短時間蓄積信号に対して枠内に書かれた値を出力する。比較器は、入力 A, Bに対して、出力 Cとして次式のような値を出力する。

【数 19】 (3)

また、マルチプレクサは、制御入力、つまり比較器の出力 Cが 1ならば、 A側を、 C=0ならば、 B側を選択する。

図 13では、フレームメモリを 2枚用いて、ディジタル出力の速度を、ィメージセンサの画素クロック周波数にあわせている。その動作を図 14 (a)に示す。図中、 LAは、長時間蓄積信号、 SA1, S A2, S A3は短時間蓄積信号のメモリへの書き込みの期間を意味し、このとき、対応する画素信号に対してフレームメモリに既に書き込まれた信号をレジスタ 4にまず読み出し、その演算結果を再びフレームメモリの同じ画素信号に対して書き込む動作を行う。フレームメモリから外部への出力は、 1フレームの時間をかけて行う。 2枚のフレームメモリに対して、偶数フレームと奇数フレームを表す制御信号 ODと EVを用いて、図 14 (a)のように切り替えを行うことで、イメージセンサとの間の書き込み ·読み出し動作とメモリからの外部への出力を相補的に行うことで、フレームメモリ力外部への出力を lフレームかけて読み出すことを可能にしている。

なお、フレームメモリを 1枚だけ用いて、出力を高速に出力することも可能であり、この場合、図 1 4 ( b )のように、イメージセンサが長時間信号の蓄積動作を行っており、信号が出力されない期間を用いて、フレームメモリから読み出して出力する。

また、このような広ダイナミックレンジ画像に合成を行わないで、原信号とその蓄積時間を表すゾーン番号を画像メモリに格納することも可能である。その場合の処理のブロック図を図 1 5に示す。

まず A/D変換器として、 N ビットとし、そのフルスケールを越えている場合 1、越えていない場合 0の値をとる飽和フラグ D sを出力する機能を有するものとする。ゾーンを表す 2ビットのコードに D sの値を加算したコードを、イメージセンサの出力 Yと併せてメモリに書き込む。最初の長時間蓄積信号については、 Y の値とゾーンコード（0 0 )に D sを加算したコードをメモリに書き込む。比較器の A入力には（0 0 )が与えられるのでマルチプレクサは常に、センサ出力側（A 側）を選択する。次に、最初の短時間蓄積信号については、レジスタ 1の値と、メモリに記憶された長時間蓄積信号のゾーンコードを比較する。

このとき、長時間蓄積信号が飽和していれば、（0 1 )が読み出されるので、比較器が、式（3 )で与えられる動作をするとすれば、比較出力 Cは 1になり、マルチプレクサによりセンサ出力側が選択されて、メモリの値が更新される。もし、長時間蓄積信号が飽和していなければ、（0 0 )が読み出され、（0 1 )と比較される結果、 c = oとなり、マルチプレクサにより、メモリ出力側が選択されるので、同じ値が再び書き込まれて、メモリ記憶値の更新がなされず、長時間蓄積信号が記憶されたままとなる。

2番目の短時間蓄積信号、 3番目の短時間蓄積信号についても同様である。ただし、 3番目の短時間蓄積信号の読み出しに対しては、 D sの値は常に 0としておく。これよりもより短時間の蓄積信号を読み出さないので、飽和しているどうかの情報は必要ない。もし、 2番目の短時間蓄積信号が飽和していれば、メモリから読み出されたゾーンコードは（1 1 )であるので、センサ出力側が選択され、メモリの値が更新される。

図 1 5の場合、 A/D変換された原信号をそのまま記憶できる利点がある。た : し、広ダイナミックレンジ画像として表示するためには、後に図 1 2に示したような変換処理が必要である。

なお、メモリに記憶された蓄積信号が飽和していない場合には、マルチプレクサによりメモリ出力側を選択して同じ値を書き込むと説明したが、この場合には書き込み動作自体を行わないようにしてもよいことは明らかである。産業上の利用可能性

以上述べた構成により、以下の効果が得られる。

( 1 ) 高速に読み出すことで、全画素のシャツタタイミングを従来の C MO Sィメージセンサのローリングシャツタに比べて軽減される。このため、動物体を撮像した際の歪が軽減されるため、車載用にも適する。

( 2 ) 画素部の構成にはなんら制約がない。このため、高感度の C MO Sィメージセンサデバイスが利用可能。これによつて、低照度領域にもダイナミックレンジ拡大が可能。

( 3 ) 高速に読み出すことで、その後の信号処理を即座に開始することができる。そのため、リアルタイム処理が要求される車載用に適する。

( 4 ) カラムにゲインを一斉に、多段階で変更するアンプを用いる。これによつて、機械的なアイリス制御を一切用いずに感度範囲を可変にすることができる。夜間の使用のために、ゲインを大きくして感度アップしても、もともと広いダイナミックレンジを持っているので、十分な広いダイナミックレンジを確保できる。昼間から夜間までの広い照度条件で使用される車载用として適する。

( 5 ) 長時間蓄積、短時間蓄積、極短時間蓄積の信号をバースト読み出しすることで、ダイナミックレンジを適応的に切り替える広ダイナミックレンジイメージセンサが実現できる。

Claims

請求の範囲

1 . イメージアレイセンサと、前記イメージアレイセンサに長時間蓄積された光電荷による信号を全画素に対してフレーム周期の 1 / 2よりも短時間に集中読み出しを行う手段と、各画素毎の信号に関し、フレーム周期から長時間蓄積期間を差し引いた残余期間の全部またはその一部を利用して n回（nは 1以上の整数）の短時間蓄積を行う手段と、前記長時間蓄積された光電荷による信号の全画素短時間集中読み出し完了後に第 1番目の短時間蓄積の光電荷による信号を全画素に対してフレーム周期の 1 / 2よりも短時間に集中読み出しを行う手段と、 nが 2 以上の場合に、同様に i番目（i = l， · ·', p— 1 ； ρは整数であり、かつ p≤ n ) の短時間蓄積の光電荷による信号の全画素短時間集中読み出し完了後に、 i + 1番目の短時間蓄積の光電荷による信号を全画素に対してフレーム周期の 1 / 2よりも短時間に集中読み出しを行う手段と、前記長時間蓄積の光電荷による信号および前記 i番目（i = l , · · ·, p )の短時間蓄積の光電荷による信号を合成する手段とからなる広ダイナミックレンジイメージセンサ。

2 . さらに、垂直走査開始信号との時間差が外部から制御可能なリセット信号により前記短時間蓄積の光電荷の初期化を行い、任意時間の短時間蓄積を可能とするリセット手段を備えてなる請求の範囲第 1項記載の広ダイナミック

3 . さらに、長時間蓄積信号がその線形範囲を超えて飽和しているかどうかを判定し、飽和している場合には短時間蓄積信号の読み出しを行い、飽和していない場合には読み出しを行わないという適応的制御手段を備えてなる請求の範囲第 1 項記載の広ダイナミックレンジイメージセンサ。

4 . 前記適応的制御手段は、さらに、 i番目の短時間蓄積信号がその線形範囲を超えて飽和しているかどうかを判定し、飽和している場合には i + 1番目の短時間蓄積信号の読み出しを行い、飽和していない場合には読み出しを行わないものである請求の範囲第 3項記載の広ダイナミックレンジイメージセンサ。

5 . さらに、それ以前に取得した長時間蓄積信号及び短時間蓄積信号が飽和しているかどうかを表すオーバーフロ一信号作成手段と、短時間蓄積信号の振幅の最大値が設定したしきい値よりも小さいかどうかを表すアンダーフ口一信号作成手段と、前記オーバーフロ一信号および前記アンダーフ口一信号を用いて短時間蓄積信号の数及びそれぞれの蓄積時間の組み合わせを動的に変更する手段とを備えてなる請求の範囲第 1項記載の広ダイナミックレンジィメージセンサ。

6 . 前記オーバーフロー信号作成手段は、各蓄積信号が飽和しているかどうかを、複数画素におけるしきい値を越えている画素の数により判定して信号作成するものであり、前記アンダーフロー信号作成手段は、その振幅の最大値が設定したしきい値よりも小さいかどうかを、複数画素におけるしきい値を越えている画素の数により判定して信号作成するものである請求の範囲第 5項記載の広ダイナミツクレンジィメ一ジセンサ。

7 . 前記アンダーフロー信号作成手段は、それ以前に取得した短時間蓄積信号に対して得たヒストグラムの平均値が、設定したしきい値よりも小さいかどうかを判定して信号作成するものである請求の範囲第 5項記載の広ダイナミック

8 . さらに、既に読み出した長時間蓄積による映像信号または短時間蓄積による映像ごとのヒストグラムを求める手段と、そのヒストグラムの平均値が、あるしきレ、値以下の場合には高レ、ゲインに設定し、また高ゲインに設定して読み出した信号に対しては、ヒストグラムの平均値が別に設けたしきい値を越えている場合には、低いゲインの設定に戻すゲイン可変の増幅器をカラムに備えてなる請求の範囲第 1項記載の広ダイナミックレンジイメージセンサ。

9 . さらに、信号を短時間に高速に読み出すために、並列に信号の水平転送を行う複数の読み出し回路を力ラムに設けてなる請求の範囲第 1項乃至第 5項記載の広ダイナミックレンジイメージセンサ。

1 0 . さらに、並列に信号の水平転送を行うために、カラーフィルタの画素成分毎に分けた画素成分毎の読み出し回路をカラムに設けてなる請求の範囲第 1項乃至第 5項記載の広ダイナミックレンジイメージセンサ。

1 1 . イメージアレイセンサと、前記イメージアレイセンサから長時間蓄積信号を得る手段と、前記イメージアレイセンサから複数種類の短時間蓄積信号を得る手段と、既に画像メモリに書き込まれた信号を読み出して、それが設定したしきい値を越える場合には、演算を施したイメージセンサからの読み出し信号を画像メモリの対応する画素位置において上書きをするという動作を、前記長時間蓄積信号と複数種類の短時間蓄積信号とを蓄積時間の長い順に読み出した映像信号に対して繰り返し行うことにより合成する手段とを備えてなる広ダイナミックレン

1 2 . イメージアレイセンサと、前記イメージアレイセンサから長時間蓄積信号を得る手段と、前記イメージアレイセンサから複数種類の短時間蓄積信号を得る手段と、蓄積時間の種類を表すために蓄積時間の長い信号から短い信号に向かつて順次増加するようにゾーン番号を割り当てる手段と、前記長時間蓄積信号と複数種類の短時間蓄積信号のうちいずれか 1つを、前記ゾーン番号とともに記憶する画像メモリと、前記イメージアレイセンサから読み出した長時間蓄積信号が飽和していない場合にはゾーン番号をそのまま書き込むとともに長時間蓄積信号を画像メモリに書き込み、飽和している場合にはゾーン番号を 1つ大きな値にして書き込む第 1の書き込み制御手段と、次に書き込むべき短時間蓄積信号のゾーン番号と、既に前記画像メモリに記憶されたゾーン番号とを比較し、既に記憶されている画像信号が飽和していると判断した場合には、次に書き込むべき短時間蓄積信号を新画像信号として前記画像メモリに書き込み、飽和していないと判断した場合には、画像信号及びゾーン番号の更新を行わない第 2の書き込み制御手段とを備えてなる広ダイナミックレンジイメージセンサ。