JP4026127B2 - イメージセンサの出力補正装置 - Google Patents
イメージセンサの出力補正装置 Download PDFInfo
- Publication number
- JP4026127B2 JP4026127B2 JP2002200615A JP2002200615A JP4026127B2 JP 4026127 B2 JP4026127 B2 JP 4026127B2 JP 2002200615 A JP2002200615 A JP 2002200615A JP 2002200615 A JP2002200615 A JP 2002200615A JP 4026127 B2 JP4026127 B2 JP 4026127B2
- Authority
- JP
- Japan
- Prior art keywords
- output
- sensor
- sensor signal
- pixel
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Input (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、イメージセンサから出力する各画素のセンサ信号を、イメージセンサによる撮影画像を画面に写し出す表示領域に即するように補正するイメージセンサの出力補正装置に関する。
【０００２】
【従来の技術】
従来、ＭＯＳ型のイメージセンサにあっては、その１画素分の光センサ回路が、図１に示すように、入射光Ｌｓの光量に応じたセンサ電流を生ずる光電変換素子としてのフォトダイオードＰＤと、フォトダイオードＰＤに流れるセンサ電流を弱反転状態で対数出力特性をもって電圧信号Ｖｐｄに変換させるトランジスタＱ１と、その電圧信号Ｖｐｄを増幅するトランジスタＱ２と、読出し信号Ｖｓのパルスタイミングでもってセンサ信号Ｖｏを出力するトランジスタＱ３とからなり、対数出力特性をもたせることによってダイナミックレンジを拡大して光信号の検出を高感度で行わせることができるようにしている。
【０００３】
このような構成によるイメージセンサでは、各画素の光センサ回路におけるフォトダイオードＰＤに充分な光量をもって入射光Ｌｓが当たっているときには、トランジスタＱ１には充分なセンサ電流が流れることになり、そのトランジスタＱ１の抵抗値もさほど大きくないことから、イメージセンサとして残像を生ずることがないような充分な応答速度をもって光信号の検出を行わせることができる。
【０００４】
しかし、フォトダイオードＰＤの入射光Ｌｓの光量が少なくなってトランジスタＱ１に流れる電流が小さくなると、トランジスタＱ１はそれに流れる電流が１桁小さくなるとその抵抗値が１桁大きくなるように動作するように設定されていることから、トランジスタＱ１の抵抗値が増大し、フォトダイオードＰＤの寄生容量Ｃとの時定数が大きくなってその寄生容量Ｃに蓄積された電荷を放電するのに時間がかかるようになる。そのため、入射光Ｌｓの光量が少なくなるにしたがって、残像が長時間にわたって観測されることになる。
【０００５】
図６は、フォトダイオードＰＤのセンサ電流が１Ｅ−１０Ａから１Ｅ−１５Ａまで急激に変化した場合の電圧信号Ｖｐｄの変化特性を示している。
【０００６】
この特性から、フォトダイオードＰＤへの入射光Ｌｓの光量が少ない１Ｅ−１２Ａ程度のセンサ電流では、１／３０ｓｅｃごとにセンサ信号Ｖｏを出力させるようにする場合、その時間内では電圧信号Ｖｐｄが飽和しないことがわかる。
【０００７】
したがって、フォトダイオードＰＤの入射光Ｌｓの光量が少ないときのセンサ電流に応じた電圧信号Ｖｐｄの飽和時間が長くなるため、図８に示すような読出し信号Ｖｓのパルスタイミングでセンサ信号Ｖｏの読み出しを行うと、当初ほど大きなレベルの出力が残像となってあらわれる。なお、図８中、Ｖｐｄ′は増幅用のトランジスタＱ２によって反転増幅された電圧信号を示している。
【０００８】
そのため従来では、撮影時の入射光量に応じて光電変換素子に流れるセンサ電流をＭＯＳ型トランジスタを用いて弱反転状態で対数出力特性をもって電圧信号に変換するようにした光センサ回路を画素単位として、複数の画素をマトリクス状に配設したイメージセンサにあって、撮影に先がけて各光センサ回路におけるトランジスタＱ１のドレイン電圧ＶＤを所定時間だけ撮影時の定常値よりも低く設定することにより、フォトダイオードＰＤの寄生容量Ｃに蓄積された残留電荷を排出して初期化することにより、センサ電流に急激な変化が生じても即座にそのときの入射光Ｌｓの光量に応じた電圧信号Ｖｐｄが得られるようにして、入射光量が少ない場合でも残像が生ずることがないようにしている（特開２０００−３２９６１６号公報参照）。
【０００９】
このような光センサ回路にあっては、図３に示すように、入射光量に応じてフォトダイオードＰＤに流れるセンサ電流が多いときには対数出力特性を示すが、センサ電流が少ないときにはフォトダイオードＰＤの寄生容量Ｃの充電に応答遅れを生じてほぼ線形の非対数出力特性を示すようになっている。図中、ＷＡは非対数応答領域を示し、ＷＢは対数応答領域を示している。
【００１０】
このような光センサ回路を画素に用いたイメージセンサを車両に搭載して、車両の自動走行の制御のために走行中の道路前方の白線検出を行わせるような場合に、昼夜にわたる撮影や、暗いトンネル内からトンネル出口の明るい部分または明るいトンネル入口からトンネル内の暗い部分を撮影するような苛酷な条件下でも、広いダイナミックレンジをもって路面に対して白線をコントラスト良く写し出すことができるようになる。
【００１１】
しかし、このような対数出力特性をもった光センサ回路を画素に用いたイメージセンサでは、図９に示すように、各画素のセンサ信号の出力範囲がイメージセンサによって撮影された画像を画面に写し出す表示領域ＤＡよりも狭いと、ワイドダイナミックレンジの特性が充分にいかされなくなってしまう。
【００１２】
【発明が解決しようとする課題】
解決しようとする問題点は、画素構成によるイメージセンサ、特に対数出力特性をもった光センサ回路を画素に用いたイメージセンサでは、各画素のセンサ信号の出力範囲がイメージセンサによって撮影された画像を画面に写し出す表示領域よりも狭いと、ワイドダイナミックレンジの特性が充分にいかされなくなってしまうことである。
【００１３】
【課題を解決するための手段】
本発明によるイメージセンサの出力補正装置は、イメージセンサから出力する各画素のセンサ信号をイメージセンサによる撮影画像を画面に写し出す表示領域に即するように応答遅れを生ずることなくリアルタイムで補正できるようにするべく、イメージセンサから順次出力する１画素分の各画素のセンサ信号を画像メモリに一時集中的に蓄積する手段と、イメージセンサによって撮影された画像を画面に写し出す表示領域におけるイメージセンサから出力する各画素のセンサ信号の最小値および最大値を検出する手段と、センサ信号における非対数応答領域に対応する部分にのみフィルタをかけてノイズ除去を行うフィルタ手段と、その検出されたセンサ信号の最小値が表示領域の下限値になるように前記画像メモリから読み出される各対応する画素のセンサ信号をオフセットする手段と、検出されたセンサ信号の最小値から最大値までの出力幅が表示領域における最大幅または所定幅になるように前記画像メモリから読み出される各対応する画素のセンサ信号のゲイン調整を行う手段とをとるようにしている。
【００１４】
【実施例】
本発明に係るイメージセンサにあっては、基本的に、前述した図１に示す光センサ回路を画素単位に用いている。
【００１５】
そして、その光センサ回路にあって、撮影に先がけて、対数特性変換用のトランジスタＱ１のドレイン電圧ＶＤを所定時間だけ撮影特の定常値よりも低く設定して、フォトダイオードＰＤの寄生容量Ｃに蓄積された電荷を排出して初期化するようにしている。
【００１６】
図２は、そのときの光センサ回路における各部信号のタイムチャートを示している。ここで、ｔ１は初期化のタイミングを、ｔ２は光信号検出のタイミングを示している。トランジスタＱ１のドレイン電圧ＶＤを定常値（ハイレベルＨ）から低い電圧（ローレベルＬ）に切り換える所定時間ｔｍとしては、例えば１画素分の読出し速度が１００ｎｓｅｃ程度の場合に５μｓｅｃ程度に設定される。図中、ＴはフォトダイオードＰＤの寄生容量Ｃの蓄積期間を示しており、その蓄積期間ＴはＮＴＳＣ信号の場合１／３０ｓｅｃ（または１／６０ｓｅｃ）程度となる。
【００１７】
このようなものにあって、初期化時にＭＯＳトランジスタＱ１のドレイン電圧ＶＤがローレベルＬに切り換えられると、そのときのゲート電圧ＶＧとドレイン電圧ＶＤとの間の電位差がトランジスタＱ１のしきい値よりも大きければトランジスタＱ１が低抵抗状態になる。それにより、そのときのソース側の電位がドレイン電圧ＶＤと同じになり（実際にはしきい値分の電位差が残る）、フォトダイオードＰＤの接合容量Ｃが放電状態になる。
【００１８】
図４は、初期化時におけるトランジスタＱ１の電荷ｑの流れによる動作状態を模擬的に示している。
【００１９】
そして、ｔｍ時間の経過後にそのドレイン電圧ＶＤが定常のハイレベルＨに切り換えられて光信号の検出が行われると、ソース側の電位がドレイン電圧ＶＤよりも低くなって、そのときのゲート電圧ＶＧとドレイン電圧ＶＤとの間の電位差がしきい値よりも大きければＭＯＳトランジスタＱ１が低抵抗状態になり、フォトダイオードＰＤの接合容量Ｃが充電状態になる。
【００２０】
図５は、光信号検出時におけるトランジスタＱ１の電荷ｑの流れによる動作状態を模擬的に示している。
【００２１】
このように光信号の検出に先がけてフォトダイオードＰＤの接合容量Ｃを放電させて初期化したのちにその接合容量Ｃを充電させるようにすると、その初期化のタイミングから一定の時間経過した時点での出力電圧（フォトダイオードＰＤの端子電圧）Ｖｐｄは入射光Ｌｓの光量に応じた値となる。すなわち、初期化後には入射光Ｌｓの光量の変化に追随した一定の時定数による放電特性が得られるようになる。
【００２２】
その際、長時間放置すればドレイン電圧ＶＤからトランジスタＱ１を通して供給される電流とフォトダイオードＰＤを流れる電流とは同じになるが、前に残った電荷がなければ常に同じ放電特性が得られるので残像が生ずることがなくなる。
【００２３】
したがって、初期化してから一定の時間を定めて光信号を検出するようにすれば、入射光Ｌｓの光量に応じた残像のないセンサ信号Ｖｏを得ることができるようになる。
【００２４】
図６はフォトダイオードＰＤのセンサ電流が１Ｅ−１０Ａから１Ｅ−１５Ａまで急激に変化した場合の電圧信号Ｖｐｄの変化特性にあって、初期化してから一定の時間１／３０ｓｅｃ経過後に光信号の検出のタイミングを設定したときを示している。
【００２５】
図７は、１／３０ｓｅｃのタイミングで光信号の読み出しをくり返し行わせたときの電圧信号Ｖｐｄの増幅信号の特性を示している。これによれば、１／３０ｓｅｃごとに得られる信号特性はフォトダイオードＰＤへの入射光Ｌｓの光量に応じたセンサ電流に即したものとなり、残像の影響がないことがわかる。
【００２６】
図１０は、このような光センサ回路を画素単位として、画素をマトリクス状に複数配設して、各画素のセンサ信号の時系列的な読出し走査を行わせるようにしたイメージセンサの具体的な構成例を示している。
【００２７】
そのイメージセンサは、その基本的な構成が、例えば、Ｄ１１〜Ｄ４４からなる４×４の画素をマトリクス状に配設して、各１ライン分の画素列を画素列選択回路１から順次出力される選択信号ＬＳ１〜ＬＳ４によって選択し、その選択された画素列における各画素を、画素選択回路２から順次出力される選択信号ＤＳ１〜ＤＳ４によってスイッチ群３における各対応するスイッチＳＷ１〜ＳＷ４が逐次オン状態にされることによって各画素のセンサ信号Ｖｏが時系列的に読み出されるようになっている。図中、４は各画素における前記トランジスタＱ１のゲート電圧ＶＧ用電源であり、６はドレイン電圧ＶＤ用電源である。
【００２８】
そして、そのイメージセンサにあって、各１ライン分の画素列の選択に際して、その選択された画素列における各画素の前記トランジスタＱ１のドレイン電圧ＶＤを所定のタイミングをもって定常時のハイレベルＨおよび初期化時のローレベルＬに切り換える電圧切換回路５が設けられている。
【００２９】
このように構成されたイメージセンサの動作について、図１１に示す各部信号のタイムチャートとともに、以下説明をする。
【００３０】
まず、画素列選択信号ＬＳ１がハイレベルＨになると、それに対応するＤ１１，Ｄ１２，Ｄ１３，Ｄ１４からなる第１の画素列が選択される。そして、ＬＳ１がハイレベルＨになっている一定期間Ｔ１のあいだ画素選択信号ＤＳ１〜ＤＳ４が順次ハイレベルＨになって、各画素Ｄ１１，Ｄ１２，Ｄ１３，Ｄ１４のセンサ信号Ｖｏが順次読み出される。
【００３１】
次いで、画素列選択信号ＬＳ１がローレベルＬになった時点で次のＬＳ２がハイレベルＨになると、それに対応するＤ２１，Ｄ２２，Ｄ２３，Ｄ２４からなる第２の画素列が選択される。そして、ＬＳ２がハイレベルＨになっている一定期間Ｔ１のあいだ画素選択信号ＤＳ１〜ＤＳ４が順次ハイレベルＨになって、各画素Ｄ２１，Ｄ２２，Ｄ２３，Ｄ２４のセンサ信号Ｖｏが順次読み出される。
【００３２】
以下同様に、画素列選択信号ＬＳ３およびＬＳ４が連続的にハイレベルＨになって各対応する第３および第４の画素列が順次選択され、ＬＳ３およびＬＳ４がそれぞれハイレベルＨになっている一定期間Ｔ１のあいだ画素選択信号ＤＳ１〜ＤＳ４が順次ハイレベルＨになって、各画素Ｄ３１，Ｄ３２，Ｄ３３，Ｄ３４およびＤ４１，Ｄ４２，Ｄ４３，Ｄ４４のセンサ信号Ｖｏが順次読み出される。
【００３３】
また、画素列選択信号ＬＳ１がＴ１期間後にローレベルＬに立ち下がった時点で、そのとき選択されている第１の画素列における各画素Ｄ１１，Ｄ１２，Ｄ１３，Ｄ１４のドレイン電圧ＶＤ１をそれまでのハイレベルＨからローレベルＬに所定時間Ｔ２のあいだ切り換えることによって各画素の初期化が行われ、１サイクル期間Ｔ３の経過後に行われる次サイクルにおけるセンサ信号の読出しにそなえる。
【００３４】
次いで、画素列選択信号ＬＳ２がＴ１期間後にローレベルＬに立ち下がった時点で、そのとき選択されている第２の画素列における各画素Ｄ２１，Ｄ２２，Ｄ２３，Ｄ２４のドレイン電圧ＶＤ１をそれまでのハイレベルＨからローレベルＬに所定時間Ｔ２のあいだ切り換えることによって各画素の初期化が行われ、１サイクル期間Ｔ３の径過後に行われる次サイクルにおけるセンサ信号の読出しにそなえる。
【００３５】
以下同様に、画素列選択信号ＬＳ３およびＬＳ４がそれぞれＴ１期間後にローレベルＬに立ち下がった時点で、そのとき選択されている第３および第４の画素列にそれぞれ対応するドレイン電圧ＶＤ３をローレベルＬに切り換えて各画素の初期化が行われ、１サイクル期間Ｔ３の径過後に行われる次サイクルにおけるセンサ信号の読出しにそなえる。
【００３６】
なお、ここでは画素列選択信号ＬＳＸ（Ｘ＝１〜４）がＴ１期間後にローレベルＬに立ち下がった時点でドレイン電圧ＶＤＸをローレベルＬに切り換えて初期化を行わせるようにしているが、その初期化のタイミングは画素列選択信号ＬＳＸがローレベルＬ状態にある画素列選択の休止期間Ｔ４中であればよい。
【００３７】
本発明は、このように構成されたイメージセンサにあって、図１２（ａ）に示すように、各画素のセンサ信号の出力範囲がイメージセンサによって撮影された画像を画面に写し出す表示装置の表示領域ＤＡよりも狭いと、ワイドダイナミックレンジの特性が充分にいかされなくなってしまうので、図１２（ｂ）に示すように、センサ信号の範囲が表示領域ＤＡの全領域にわたるように、イメージセンサから出力する各センサ信号のオフセットおよびゲイン調整を行わせるようにしている。そして、そのイメージセンサから出力する各センサ信号のオフセットおよびゲイン調整を、応答遅れを生ずることなくリアルタイムで行わせることができるようにしている。
【００３８】
そのため、本発明によるイメージセンサの出力補正装置は、イメージセンサから順次出力する各画素のセンサ信号を画像メモリに一時集中的に蓄積する手段と、イメージセンサによって撮影された画像を画面に写し出す表示領域におけるイメージセンサから出力する各画素のセンサ信号の最小値Ｖｏｍｉｎおよび最大値Ｖｏｍａｘを検出する手段と、その検出されたセンサ信号の最小値Ｖｏｍｉｎが表示領域ＤＡの下限値ＶＬになるように前記画像メモリから読み出される各対応する画素のセンサ信号をオフセットする手段と、検出されたセンサ信号の最小値Ｖｏｍｉｎから最大値Ｖｏｍａｘまでの出力幅ＶＷが表示領域ＤＡにおける最大幅ＷＭになるように前記画像メモリから読み出される各対応する画素のセンサ信号のゲイン調整を行う手段とをとるようにしている。
【００３９】
なお、その場合、センサ信号の範囲が表示領域ＤＡの全領域にわたるようにセンサ信号のゲイン調整を行うだけではなく、その表示領域ＤＡの任意の範囲にわたるようにするべく、センサ信号の最小値から最大値までの出力幅が表示領域における予め設定された所定の幅になるようにセンサ信号のゲイン調整を行うようにすることも可能である。
【００４０】
図１３は、本発明によるイメージセンサの出力補正装置の具体的な一構成例を示している。
【００４１】
ここでは、イメージセンサ８から時系列的に出力する１画面分の各画素のセンサ信号Ｖｏを画像メモリ１８に一時集中的に蓄積したうえで、その画像メモリ１８から読み出した各画素のセンサ信号Ｖｏをそのオフセットおよびゲイン調整を行う出力補正装置１５に与えるようにしている。そして、その出力補正装置１５は、イメージセンサ８から出力する各画素のセンサ信号Ｖｏの最大値Ｖｏｍａｘを検出する最大値検出回路１５１およびセンサ信号Ｖｏの最小値Ｖｏｍｉｎを検出する最小値検出回路１５２と、その検出された最大値Ｖｏｍａｘの数画面分を記憶して急峻な変化を吸収して平均化するローパスフィルタ１５３および検出された最小値Ｖｏｍｉｎの数フレーム分を記憶して急峻な変化を吸収して平均化するローパスフィルタ１５４と、画像メモリ１８から所定のタイミングをもって読み出された処理対象となる対応の画素のセンサ信号Ｖｏからその平均化された最小値Ｖｏｍｉｎを減ずることによってセンサ信号Ｖｏのオフセットを行わせるオフセット補正回路１５５と、その平均化された最小値Ｖｏｍｉｎ′から最大値Ｖｏｍａｘ′までの出力幅ＶＷを求める減算回路１５６と、その求められたセンサ信号の出力幅ＶＷを平均化するローパスフィルタ１５７と、その平均化されたセンサ信号の出力幅ＶＷ′に応じた所定のゲイン補正値Ｇを読み出すルックアップ用のメモリ１５８と、オフセット補正されたセンサ信号Ｖｏｏにその読み出されたゲイン補正値Ｇを乗ずることによってゲイン調整を行うゲイン補正回路１５９とによって構成されている。Ｖｏａは、センサ信号Ｖｏのオフセットおよびゲイン調整された補正信号を示している。なお、画像メモリ１８に対するセンサ信号Ｖｏの書込みおよび読出しは、装置全体の制御を行うＥＣＵ（図示せず）の制御下において行われる。
【００４２】
このように、イメージセンサ８から出力する各画素のセンサ信号Ｖｏを画像メモリ１８に蓄積したうえで、適宜タイミングをもってその画像メモリ１８から各対応する画素のセンサ信号Ｖｏを読み出して出力補正装置１５に与えてそのオフセットおよびゲイン調整を行わせることによって、出力補正装置１５において応答遅れを生ずることなくリアルタイムでの処理を行わせることができるようになる。
【００４３】
ローパスフィルタ１５３，１５４および１５７としては、ＦＩＲフィルタ、ＩＩＲフィルタまたは移動平均フィルタなどが用いられる。ローパスフィルタ１５７は、特にこれを設けなくともよい。
【００４４】
ルックアップ用のメモリ１５８には、予めセンサ信号の出力幅ＶＷ′に応じて、その出力幅ＶＷ′が表示領域ＤＡの全領域にわたるようにゲイン調整を行うためのゲイン補正値Ｇの特性がテーブル設定されている。
【００４５】
その際、センサ信号Ｖｏの出力幅ＶＷ′が表示領域ＤＳの任意の範囲にわたるようにする場合には、そのようにゲイン調整を行うためのゲイン補正値Ｇの特性がテーブル設定されている。
【００４６】
メモリ１５８にテーブル設定されたセンサ信号の出力幅ＶＷ′に応じた所定のゲイン補正値Ｇの特性を任意に設定することによって、ゲイン調整されるセンサ信号のカーブを適宜変化させることができるようになる。
【００４７】
ルックアップ用のメモリ１５８を用いる代わりに除算器を用いて、表示領域における最大幅をセンサ信号の出力幅ＶＷ′によって除算することによって、ゲイン補正値Ｇを演算処理によって求めるようにすることも可能である。
【００４８】
また、本発明は、図１４に示すように、センサ信号の出力幅ＶＷを予め設定されたしきい値Ｖｓで分割して（同図ａ）、各分割領域ごとにセンサ信号のオフセットおよびゲイン調整を行わせるようにしている（同図ｂ）。
【００４９】
図１５は、その場合におけるイメージセンサの出力補正装置の構成例を示している。
【００５０】
ここでは、イメージセンサ８から出力する各画素のセンサ信号Ｖｏを信号分割回路１６において所定のしきい値Ｖｓによって分割して、その一方の分割信号Ｖｏ１を画像メモリ１８Ａに蓄積したうえで、図１３と同じ構成による出力補正装置１５Ａに与えてオフセットおよびゲイン調整を行わせるようにしている。そして、他方の分割信号Ｖｏ２を画像メモリ１８Ｂに蓄積したうえで、図１３と同じ構成による出力補正装置１５Ｂによってオフセットおよびゲイン調整を行わせるようにしている。そして、そのそれぞれ補正された各分割信号Ｖｏ１′およびＶｏ２′を合成回路１７によって合成するようにしている。
【００５１】
その際、出力補正装置１５Ａにおいて一方の分割信号Ｖｏ１のオフセットおよびゲイン調整を行わせる場合、その分割信号Ｖｏ１の最大値がしきい値Ｖｓとなる。また、出力補正装置１５Ｂにおいて他方の分割信号Ｖｏ２のオフセットおよびゲイン調整を行わせる場合、その分割信号Ｖｏ２の最小値がしきい値Ｖｓとなる。
【００５２】
さらに、本発明は、図１６に示すように、センサ信号をいったんオフセットおよびゲイン調整したうえで、その補正がなされたセンサ信号の出力幅ＶＷ′を予め設定されたしきい値Ｖｓ′で分割して（同図ｂ）、各分割領域ごとにセンサ信号のオフセットおよびゲイン調整を行わせるようにしている（同図ｃ）。
【００５３】
図１７は、その場合におけるイメージセンサの出力補正装置の構成例を示している。
【００５４】
ここでは、まず、イメージセンサ８から出力する各画素のセンサ信号Ｖｏを画像メモリ１８Ａに蓄積したうえで、図１３と同じ構成による出力補正装置１５Ａによってオフセットおよびゲイン調整を行わせる。次いで、その補正されたセンサ信号Ｖｏａを信号分割回路１６において所定のしきい値Ｖｓ′によって分割して、その一方の分割信号Ｖｏ１′を画像メモリ１８Ｂに蓄積したうえで、図１３と同じ構成による出力補正装置１５Ｂによってオフセットおよびゲイン調整を行わせ、他方の分割信号Ｖｏ２′を画像メモリ１８Ｃに蓄積したうえで、図１３と同じ構成による出力補正装置１５Ｃによってオフセットおよびゲイン調整を行わせるようにしている。そして、そのそれぞれ補正された各分割信号Ｖｏ１″およびＶｏ２″を合成回路１７によって合成するようにしている。
【００５５】
その際、出力補正装置１５Ｂにおいて一方の分割信号Ｖｏ１′のオフセットおよびゲイン調整を行わせる場合、その分割信号Ｖｏ１′の最大値がしきい値Ｖｓ′となる。また、出力補正装置１５Ｃにおいて他方の分割信号Ｖｏ２′のオフセットおよびゲイン調整を行わせる場合、その分割信号Ｖｏ２′の最小値がしきい値Ｖｓ′となる。
【００５６】
また、本発明では、図３に示す出力特性をもった光センサ回路を画素に用いるのでは、非対数応答領域ＷＢがあるために低照度時に対数出力特性が失われてコントラストが低下してしまうので、その非対数応答領域ＷＢの出力特性を対数特性に変換する手段を設けて、全領域にわたって対数出力特性が得られるように変換されたセンサ信号を、前述したようにオフセットおよびゲイン調整するようにしている。
【００５７】
具体的には、図１８に示すように、イメージセンサ８から時系列的に読み出される各画素のセンサ信号ＶｏをＡＤ変換器１３によってデジタル信号に変換したうえで、予めそのデジタル信号の値に応じて所定の出力が得られるように入出力特性の変換テーブルが設定されたルックアップ用のメモリ１４を用いて非対数応答領域の出力特性を対数特性に変換するようにしている。
【００５８】
図１９は、光センサ回路から出力するセンサ信号Ｖｏの非対数応答領域の出力特性を対数特性に変換して、低照度から高照度までの全領域にわたって対数特性を示すように補正したセンサ信号Ｖｏ′を示している。
【００５９】
また、センサ信号Ｖｏのデジタル値に応じてルックアップメモリ１４を用いて非対数応答領域の出力特性を対数特性に変換するに際して、例えばその変換データを１バイト（８ビット）で表現する系統の場合、８ビットで表現可能な領域ごとに分割するようにする。
【００６０】
その場合、図示しないコントローラの制御下において、各分割した信号にそれぞれ識別符号を付すことによって、変換された信号を利用する側からも各分割された信号を識別することができるようにする。また、そのコントローラの制御下で、信号利用側からの求めに応じて分割する領域を切り換えることができるようにしている。
【００６１】
図２０は、光センサ回路から出力するセンサ信号Ｖｏを、任意の入射光量を境として、２つに分割してそれぞれ特性をＶｏｌ′，Ｖｏ２′に切り替えた場合を示している。
【００６２】
また、センサ信号Ｖｏの非対数応答領域の感度を上げて出力特性を対数特性に変換するようにすると、センサ信号Ｖｏに含まれるノイズも増幅されて、ノイズが強調されたセンサ信号に変換されてしまう。
【００６３】
その際、対数特性に変換されたセンサ信号Ｖｏにフィルタをかけてノイズを除去することが考えられるが、その際全領域にわたってフィルタをかけると、イメージセンサの出力画像の全体がぼやけたものになってしまう。
【００６４】
そのため、本発明では、センサ信号Ｖｏ′における対数特性に変換された低照度時の出力信号の部分、すなわちもとのセンサ信号Ｖｏにおける非対数応答領域に対応する部分のみにフィルタをかけてノイズ除去を行うようにしている。
【００６５】
このようなフィルタ処理を行うことによって、センサ信号Ｖｏの非対数応答領域の感度を上げて出力特性を対数特性に変換する際して増幅されたノイズ成分が有効に除去される。したがって、それ以外のノイズが増幅されていない部分に同様のフィルタ処理が不必要に行われず、イメージセンサの出力画像の全体がぼやけるようなことがなくなり、ノイズ成分が有効に除去されたコントラストの良い処理画像が得られるようになる。
【００６６】
また、本発明は、センサ信号Ｖｏ′における対数特性に変換された低照度時の出力信号の部分のみにフィルタをかけてノイズ除去を行わせるに際して、光センサ回路における非対数応答領域の出力特性を対数特性に変換する度合、すなわち入出力特性変換用のメモリ１４における増幅率に応じてフィルタ特性を変化させるようにしている。
【００６７】
このように、メモリ１４の増幅率に即したフィルタ特性をもってノイズ除去を行わせることにより、ノイズ除去の過不足を生ずることなく、センサ信号Ｖｏの入出力特性変換時に増幅されたノイズ成分を適切に除去することができるようになる。
【００６８】
また、入出力特性変換時の増幅率が大きいと、図２１に示すように、デジタル信号による各隣接する画素間のセンサ信号が離散的となってイメージセンサの出力画像の画質が悪くなってしまうが、このフィルタ処理を行わせることによって、各隣接する画素間のセンサ信号が平滑化されてセンサ信号の連続性が良くなる。
【００６９】
本発明のフィルタ処理には、一般的なノイズ除去のためのフィルタが広く用いられる。
【００７０】
図２２は、ＩＩＲローパスフィルタの一例を示している。他にもＦＩＲフィルタ等が用いられる。
【００７１】
図２３は、隣り合う画素の出力の平均値を求めて高周波成分を除去する方式（移動平均処理）によるフィルタ処理回路の一例を示している。画像信号は連続性を有していることから、隣接する画素と比較して急峻に変化する信号はノイズとして扱うことが可能である。
【００７２】
図２４は、フレームメモリＦＭを複数用いて、同一位置の画素の出力に対してフィルタ処理するようにしたものである。使用するフィルタとしては、図２２や図２３に示すものが用いられる。
【００７３】
図２５ないし図２８は、センサ信号Ｖｏ′における対数特性に変換された低照度時の出力信号の部分のみにフィルタをかけてノイズ除去を行わせるようにしたときの具体的なフィルタ処理回路の構成例をそれぞれ示している。
【００７４】
図２５に示すフィルタ処理回路では、比較回路２１に予め入出力変換されたセンサ信号Ｖｏ′の切替点となる信号値が設定されており、イメージセンサの各画素から時系列的に送られてくるセンサ信号Ｖｏ′の値によって信号切替回路２２の切り替えを行いながら、対数特性に変換された低照度時の出力信号のみをローパスフィルタ２３によって処理した信号と、センサ信号Ｖｏ′における他の部分における何らフィルタ処理しない信号とを選択的に出力するように構成している。
【００７５】
図２６に示すフィルタ処理回路では、ローパスフィルタ２３によって処理した信号の値と比較回路２１に設定された値とを比較して信号の切り替えを行わせるようにしている。
【００７６】
また、図２７および図２８にそれぞれ示すフィルタ処理回路では、入出力特性変換時の増幅率に応じてフィルタ特性を変化させながら、センサ信号Ｖｏ′における対数特性に変換された低照度時の出力信号の部分のみのフィルタ処理を行わせることができるようにしている。
【００７７】
図２７に示すフィルタ処理回路では、比較回路２１′に複数の値が設定されており、その各設定値とセンサ信号Ｖｏ′とをそれぞれ比較して、信号切替回路２２においてそれぞれフィルタ特性の異なる複数のローパスフィルタ２３−１〜２３−４による各処理信号のうちの一つを選択的に出力する構成となっている。
【００７８】
図２８に示すフィルタ処理回路では、複数設けられたローパスフィルタ２３−１〜２３−４のうちの特定のローパスフィルタ２３−３によって処理された信号の値と比較回路２１に設定された値とを比較して、信号切替回路２２においてそれぞれフィルタ特性の異なる複数のローパスフィルタ２３−１〜２３−４による各処理信号のうちの一つを選択的に出力する構成となっている。
【００７９】
なお、図２７および図２８に示すフィルタ処理回路ではそれぞれフィルタ特性の異なる複数のローパスフィルタ２３−１〜２３−４による各処理信号のうちの一つを選択的に出力するようにしているが、１つのローパスフィルタ２３におけるフィルタ特性の定数を切り換えるようにしてもよい。
【００８０】
以上の説明ではイメージセンサにおける各画素の出力特性が揃っているものとして取り扱ったが、実際には図１に示すような光センサ回路を画素単位に用いたイメージセンサでは、図２９に示すように、各画素の構造上からくる出力特性のバラツキを生じてしまい、その出力特性が揃うように各画素の出力補正を行う必要があるものになっている。図中、Ｉｏは入射光がないときにフォトダイオードＰＤに流れる暗電流に応じた暗時のセンサ電流を示している。
【００８１】
各画素の出力特性のバラツキの要因としては、主として、トランジスタＱ１のサブスレッショルド領域の特性を利用して入射光Ｌｓの光量に応じた電圧信号Ｖｐｄを生じさせるに際して、そのトランジスタＱ１のサブスレッショルド値が画素ごとに異なるためである。また、各画素にあって対数変換された電圧信号を高インピーダンスをもって増幅して出力させる必要があるが、その増幅用トランジスタＱ２の特性の不揃いも各画素の出力のバラツキの要因となっている。
【００８２】
各画素の出力特性のバラツキを補正する手段が本願と同一の出願人によって提案されている（特願２０００−４０４９３１、特願２０００−４０４９３３、特願２００１−７５０３５、特願２００１−７５０３６）。
【００８３】
本発明では、各画素の出力特性のバラツキを補正したうえで、前述した各画素から時系列的に出力するセンサ信号Ｖｏを前述のようにオフセットおよびゲイン調整するようにしている。
【００８４】
あるいはまた、各画素の出力特性のバラツキを補正したうえで、前述のように完全な対数特性に変換する処理を行い、その変換されたセンサ信号Ｖｏ′をオフセットおよびゲイン調整するようにしている。
【００８５】
図３０はその場合の具体的な構成例を示すもので、ここではイメージセンサ８から時系列的に出力する１画面分の各画素のセンサ信号Ｖｏが画像メモリ１９に一時集中的に蓄積され、その画像メモリ１９から読み出した各画素のセンサ信号Ｖｏが各画素の出力特性のバラツキを補正する補正回路１２に与えられる。その各画素の出力特性のバラツキが補正された１画面分の各画素のセンサ信号Ｖｏｐが画像メモリ１９に再蓄積されるとともに、補正回路１２によって補正された各画素のセンサ信号Ｖｏｐが出力補正装置１５における最大値検出回路１５１および最小値検出回路１５２にそれぞれ与えられる。そして、画像メモリ１９に再蓄積された各画素のセンサ信号Ｖｏｐが所定のタイミングをもって読み出されて出力補正装置１５に与えられて、前述のようにオフセットおよびゲイン調整が行われるように構成されている。
【００８６】
したがって、補正回路１２によって補正された各画素のセンサ信号Ｖｏｐを直接に出力補正装置１５に与えて最大値、最小値を求めるなどの処理を行わせ、画像メモリ１９に再蓄積された各画素のセンサ信号Ｖｏｐを所定のタイミングをもって読み出して出力補正装置１５に与えてオフセットおよびゲイン調整を行わせることにより、出力補正装置１５において応答遅れを生ずることなくリアルタイムでの処理を行わせることができるようになる。
【００８７】
なお、イメージセンサ８から時系列的に出力する１画面分の各画素のセンサ信号Ｖｏをいったん画像メモリ１９に蓄積することによって、イメージセンサ８の走査クロックと外部機器の要求するビデオ信号のクロックとが異なるような場合にも接続が可能になる。
【００８８】
また、図３１は他の構成例を示すもので、ここでは、イメージセンサ８から時系列的に出力する１画面分の各画素のセンサ信号Ｖｏが第１の画像メモリ１９に一時集中的に蓄積され、その画像メモリ１９から読み出した各画素のセンサ信号Ｖｏが各画素の出力特性のバラツキを補正する補正回路１２に与えられる。その各画素の出力特性のバラツキが補正された１画面分の各画素のセンサ信号Ｖｏｐが第２の画像メモリ２０に蓄積されるとともに、補正回路１２によって補正された各画素のセンサ信号Ｖｏｐが出力補正装置１５における最大値検出回路１５１および最小値検出回路１５２にそれぞれ与えられる。そして、第２の画像メモリ２０に蓄積された各画素のセンサ信号Ｖｏｐが所定のタイミングをもって読み出されて出力補正装置１５に与えられて、前述のようにオフセットおよびゲイン調整が行われるように構成されている。
【００８９】
図３２は、イメージセンサにおける各画素の出力特性のバラツキを補正するための具体的な構成例を示している。
【００９０】
それは、イメージセンサ８および各画素のセンサ信号を時系列的に読み出すための駆動制御を行うＥＣＵ９と、イメージセンサ８から時系列的に出力する各画素のセンサ信号Ｖｏをデジタル信号に変換するＡＤ変換器１０と、予め各画素の特性に応じたオフセット補正値ＯＦＳおよびゲイン補正のための乗数ＭＬＴが設定されており、ＥＣＵ９から与えられるセンサ信号読出し時における画素のアドレス（Ｘ，Ｙ）の信号ＡＤＤＲＥＳＳに応じて所定のオフセット補正値ＯＦＳおよび乗数ＭＬＴを読み出すメモリ１１と、そのメモリ１１から読み出されたオフセット補正値ＯＦＳおよび乗数ＭＬＴにもとづいてデジタル信号に変換されたセンサ信号ＤＳのオフセット補正およびゲイン補正の各演算処理を行う出力補正回路１２とによって構成されている。
【００９１】
イメージセンサ８から時系列的に出力する各画素のセンサ信号Ｖｏとしては、前述したように、各画素におけるトランジスタＱ１のゲート電圧ＶＧが撮影時の定常値よりも高い値に切り換えられたときの暗時の出力と、光をしゃ断した状態での各画素におけるトランジスタＱ１のゲート電圧ＶＧおよびドレイン電圧ＶＤが撮影時の定常値よりも低い値にそれぞれ切り換えられたときの明時の出力とが採用される。
【００９２】
図３４は、３つの画素の構成上からくる各センサ信号Ａ，Ｂ，Ｃの出力特性のバラツキ状態の一例を示している。ここで、画素出力のしきい値Ｈに応じたセンサ電流の値Ｉｍは各画素のセンサ信号信号Ａ，Ｂ，Ｃが非対数応答領域ＷＡから対数応答領域ＷＢに切り換わる点を示している。また、Ｉｏは暗時のセンサ電流を示している。
【００９３】
ここでは、このような非対数応答領域ＷＡにおける各画素のセンサ信号の出力特性の形状がほぼ同一で、対数応答領域ＷＢにおける各画素のセンサ信号の出力特性の傾きがそれぞれ異なるときのイメージセンサの出力補正を行わせる場合を示している。各画素のパラメータとして、それぞれの各センサ信号が非対数応答領域ＷＡから対数応答領域ＷＢに切り換わる点の情報と、暗時の画素出力とを用いている。
【００９４】
図３３は、出力補正回路１２における処理のフローを示している。
【００９５】
メモリ１１には、センサ電流がＩｍの値のときに画素出力がＨとなるようなオフセット補正値ＯＦＳが設定されている。そして、オフセット補正部１２１において、そのオフセット補正値ＯＦＳを用いた加減算処理をなすことによって各画素のデジタル信号に変換されたセンサ信号ＤＳのオフセット補正を行わせると、図３５に示すように、各画素のセンサ信号Ａ，Ｂ，Ｃにおける非対数応答領域ＷＡの特性が一致するようになる。
【００９６】
次に、そのオフセット補正されたセンサ信号ＤＳ１にもとづき、ゲイン補正部１２２において、しきい値Ｈ以上の対数応答領域ＷＢに対してゲイン補正のための乗算処理を行う。
【００９７】
具体的には、オフセット補正されたセンサ信号ＤＳ１がしきい値Ｈ以上であるか否かを判断して、しきい値Ｈ以上であれば、すなわちセンサ信号ＤＳ１が対数応答領域ＷＢにあれば、メモリ１０から読み出されたゲイン補正のなめの所定の乗数ＭＬＴを用いて、
出力←Ｈ＋（センサ信号ＤＳ１−Ｈ）×乗数
なる演算を行って、その演算結果を出力補正されたセンサ信号ＤＳ２として出力する。
【００９８】
このような各画素のセンサ信号Ａ，Ｂ，Ｃのゲイン補正が行われた結果、図３６に示すように、対数応答領域ＷＢの特性が一致するようになる。
【００９９】
また、その際、オフセット補正されたセンサ信号ＤＳ１がしきい値Ｈよりも小さければ、すなわちセンサ信号ＤＳ１が非対数応答領域ＷＡにあれば、そのままオフセット補正されたセンサ信号ＤＳ１を出力補正されたセンサ信号ＤＳ２として出力する。
【０１００】
図３８は、３つの画素の構成上からくる各センサ信号Ａ，Ｂ，Ｃの出力特性のバラツキ状態の他の例を示している。
【０１０１】
ここでは、このような対数応答領域ＷＢにおける各センサ信号の出力特性の傾きがほぼ同一で、非対数応答領域ＷＡにおける各センサ信号の出力特性の形状がそれぞれ異なるときにイメージセンサの出力補正を行わせる場合を示している。
【０１０２】
図３７は、出力補正回路１２における処理のフローを示している。
【０１０３】
メモリ１１には、センサ電流がＩｍの値のときに画素出力がＨとなるようなオフセット補正値ＯＦＳが設定されている。そして、オフセット補正部１２１において、そのオフセット補正値ＯＦＳを用いた加減算処理をなすことによって各画素のデジタル信号に変換されたセンサ信号ＤＳのオフセット補正を行わせると、図３９に示すように、各画素のセンサ信号Ａ，Ｂ，Ｃにおける対数応答領域ＷＢの特性が一致するようになる。
【０１０４】
次に、そのオフセット補正されたセンサ信号ＤＳ１にもとづき、ゲイン補正部１１２において、しきい値Ｈ以下の非対数応答領域ＷＡに対してゲイン補正のための乗算処理を行う。
【０１０５】
具体的には、オフセット補正されたセンサ信号ＤＳ１がしきい値Ｈ以下であるか否かを判断して、しきい値Ｈ以下であれば、すなわちセンサ信号ＤＳ１が非対数応答領域ＷＡにあれば、メモリ１０から読み出されたゲイン補正のための所定の乗数ＭＬＴを用いて、
出力←Ｈ−（Ｈ−センサ信号ＤＳ１）×乗数
なる演算を行って、その演算結果を出力補正されたセンサ信号ＤＳ２として出力する。
【０１０６】
このような各画素のセンサ信号Ａ，Ｂ，Ｃのゲイン補正が行われた結果、図４０に示すように、非対数応答領域ＷＡの特性が一致するようになる。
【０１０７】
また、その際、オフセット補正されたセンサ信号ＤＳ１がしきい値Ｈよりも大きければ、すなわちセンサ信号ＤＳ１が対数応答領域ＷＢにあれば、そのままオフセット補正されたセンサ信号ＤＳ１を出力補正されたセンサ信号ＤＳ２として出力する。
【０１０８】
図４２は、イメージセンサ８における各画素の構成上からくるセンサ信号Ａ，Ｂ，Ｃの出力特性のバラツキ状態のさらに他の例を示している。
【０１０９】
ここでは、対数応答領域ＷＢにおける各センサ信号Ａ，Ｂ，Ｃの出力特性の傾きがそれぞれ異なるとともに、非対数応答領域ＷＡにおける各センサ信号Ａ，Ｂ，Ｃの出力特性の形状がそれぞれ異なる場合を示している。
【０１１０】
このような場合には、図４１の出力補正回路１２における処理のフローに示すように、前述した図３３および図３７に示す各処理を組み合せて行わせることによって、各センサ信号Ａ，Ｂ，Ｃのオフセット補正およびゲイン補正が逐次なされて最終的に非対数応答領域ＷＡおよび対数応答領域ＷＢの特性が一致したセンサ信号ＤＳ２′が得られるようになる。
【０１１１】
【発明の効果】
以上、本発明によるイメージセンサの出力補正装置は、イメージセンサから順次出力する１画素分の各画素のセンサ信号を画像メモリに一時集中的に蓄積する手段と、イメージセンサによって撮影された画像を画面に写し出す表示領域におけるイメージセンサから出力する各画素のセンサ信号の最小値および最大値を検出する手段と、センサ信号における非対数応答領域に対応する部分にのみフィルタをかけてノイズ除去を行うフィルタ手段と、その検出されたセンサ信号の最小値が表示領域の下限値になるように前記画像メモリから読み出される各対応する画素のセンサ信号をオフセットする手段と、検出されたセンサ信号の最小値から最大値までの出力幅が表示領域における最大幅または所定幅になるように前記画像メモリから読み出される各対応する画素のセンサ信号のゲイン調整を行う手段とをとるようにしたもので、イメージセンサから出力する各画素のセンサ信号を、イメージセンサによる撮影画像を画面に写し出す表示領域に即するように補正することができ、ダイナミックレンジの広い特性をもったイメージセンサによる撮影画像を充分にいかしたコントラストの良い画像を画面に表示させることができるという利点を有している。
【０１１２】
また、本発明は、センサ信号の出力幅を予め設定されたしきい値で分割して、各分割領域ごとにオフセットおよびゲイン調整を行わせるか、または、センサ信号をいったんオフセットおよびゲイン調整したうえで、その補正されたセンサ信号の出力幅を予め設定されたしきい値で分割して、各分割領域ごとにオフセットおよびゲイン調整を行わせるようにしたもので、何ら応答遅れを生ずることなく、各分割領域ごとに表示領域に即するように任意の対数特性をもったセンサ信号に変換することができるという利点を有している。
【図面の簡単な説明】
【図１】本発明に係るイメージセンサに用いられる１画素分の光センサ回路を示す電気回路図である。
【図２】光センサ回路における各部信号のタイムチャートである。
【図３】光センサ回路の初期化を行わせたときの入射光量に応じたセンサ電流に対するセンサ信号の出力特性を示す図である。
【図４】光センサ回路の初期化時におけるトランジスタＱ１の電荷ｑの流れによる動作状態を模擬的に示す図である。
【図５】光センサ回路の光信号検出時におけるトランジスタＱ１の電荷ｑの流れによる動作状態を模擬的に示す図である。
【図６】光センサ回路におけるフォトダイオードＰＤのセンサ電流が変化したときの各電圧信号Ｖｐｄの変化特性を示す図である。
【図７】光センサ回路において所定のタイミングで光信号の読み出しをくり返し行わせたときの電圧信号Ｖｐｄの増幅信号の特性を示す図である。
【図８】初期化を行わないときの光センサ回路における入射光量が少ないときに所定のタイミングで読み出される画信号の出力特性を示す図である。
【図９】表示装置の表示領域における光センサ回路から出力するセンサ信号の出力範囲を示す特性図である。
【図１０】本発明に係るイメージセンサの具体的な構成例を示すブロックである。
【図１１】そのイメージセンサにおける各部信号のタイムチャートである。
【図１２】本発明によって光センサ回路からのセンサ信号の出力範囲が表示装置における表示領域の全域にわたるように補正するときのセンサ信号の処理状態の一例を示す特性図である。
【図１３】本発明によるイメージセンサの出力補正装置の一実施例を示すブロック構成図である。
【図１４】本発明によって光センサ回路からのセンサ信号の出力範囲がその分割領域ごとに表示装置における表示領域の全域にわたるように補正するときのセンサ信号の処理状態の他の例を示す特性図である。
【図１５】本発明によるイメージセンサの出力補正装置の他の実施例を示すブロック構成図である。
【図１６】本発明によって光センサ回路からのセンサ信号の出力範囲がその分割領域ごとに表示装置における表示領域の全域にわたるように補正するときのセンサ信号の処理状態のさらに他の例を示す特性図である。
【図１７】本発明によるイメージセンサの出力補正装置のさらに他の実施例を示すブロック構成図である。
【図１８】図３に示すセンサ回路から出力するセンサ信号を全領域にわたって対数出力特性に変換するための具体的な構成例を示すブロック図である。
【図１９】光センサ回路から出力するセンサ信号を全領域にわたって対数特性に変換した特性図である。
【図２０】光センサ回路から出力するセンサ信号を任意の点で分割してそれぞれ対数特性に変換した特性図である。
【図２１】イメージセンサにおける各画素のデジタル化されたセンサ信号が離散的になっている状態の一例を示す図である。
【図２２】一般的なローパスフィルタの一構成例を示す電気回路図である。
【図２３】隣接画素の出力の平均値を求めて高周波成分を除去する方式によるフィルタ処理を行うときの一構成例を示すブロック図である。
【図２４】複数のフレームメモリを用いて、同一画素についてフィルタ処理を行うときの一構成例を示すブロック図である。
【図２５】対数特性に変換されたセンサ信号のフィルタ処理を行うときの一構成例を示すブロック図である。
【図２６】対数特性に変換されたセンサ信号のフィルタ処理を行うときの他の構成例を示すブロック図である。
【図２７】対数特性に変換されたセンサ信号をフィルタ特性を変化させながらフィルタ処理するときの一構成例を示すブロック図である。
【図２８】対数特性に変換されたセンサ信号をフィルタ特性を変化させながらフィルタ処理するときの他の構成例を示すブロック図である。
【図２９】イメージセンサにおける各画素の出力特性のバラツキ状態の一例を示す図である。
【図３０】イメージセンサにおける各画素の出力特性のバラツキを補正するようにしたときの本発明によるイメージセンサの出力補正装置の構成例を示すブロック図である。
【図３１】イメージセンサにおける各画素の出力特性のバラツキを補正するようにしたときの本発明によるイメージセンサの出力補正装置の他の構成例を示すブロック図である。
【図３２】イメージセンサにおける各画素の出力のバラツキを補正するための具体的な構成例を示すブロック図である。
【図３３】図３２の構成における出力補正回路における処理のフローの一例を示す図である。
【図３４】イメージセンサにおける各画素の構成上からくるセンサ信号の出力特性のバラツキ状態の一例を示す特性図である。
【図３５】図３４に示す出力特性のバラツキをもった各画素のセンサ信号をオフセット補正した結果を示す特性図である。
【図３６】図３２に示す出力特性のバラツキをもった各画素のセンサ信号をオフセット補正およびゲイン補正した結果を示す特性図である。
【図３７】図３２の出力補正回路における処理のフローの他の例を示す図である。
【図３８】イメージセンサにおける各画素の構成上からくるセンサ信号の出力特性のバラツキ状態の他の例を示す特性図である。
【図３９】図３８に示す出力特性のバラツキをもった各画素のセンサ信号をオフセット補正した結果を示す特性図である。
【図４０】図３８に示す出力特性のバラツキをもった各画素のセンサ信号をオフセット補正およびゲイン補正した結果を示す特性図である。
【図４１】図３２の出力補正回路における処理のフローのさらに他の例を示す図である。
【図４２】イメージセンサにおける各画素の構成上からくるセンサ信号の出力特性のバラツキ状態のさらに他の例を示す特性図である。
【符号の説明】
８ イメージセンサ
１２ 出力特性のバラツキの補正回路
１５ 出力補正装置
１５１ 最大値検出回路
１５２ 最小値検出回路
１５３ ローパスフィルタ
１５４ ローパスフィルタ
１５５ オフセット補正回路
１５６ 減算回路
１５７ ローパスフィルタ
１５８ ルックファップ用メモリ
１５９ ゲイン補正回路
１５Ａ 出力補正装置
１５Ｂ 出力補正装置
１６ 信号分割回路
１７ 合成回路
１８ 画像メモリ
１８Ａ 画像メモリ
１８Ｂ 画像メモリ
１８Ｃ 画像メモリ
１９ 第１の画像メモリ
２０ 第２の画像メモリ
【産業上の利用分野】
本発明は、イメージセンサから出力する各画素のセンサ信号を、イメージセンサによる撮影画像を画面に写し出す表示領域に即するように補正するイメージセンサの出力補正装置に関する。
【０００２】
【従来の技術】
従来、ＭＯＳ型のイメージセンサにあっては、その１画素分の光センサ回路が、図１に示すように、入射光Ｌｓの光量に応じたセンサ電流を生ずる光電変換素子としてのフォトダイオードＰＤと、フォトダイオードＰＤに流れるセンサ電流を弱反転状態で対数出力特性をもって電圧信号Ｖｐｄに変換させるトランジスタＱ１と、その電圧信号Ｖｐｄを増幅するトランジスタＱ２と、読出し信号Ｖｓのパルスタイミングでもってセンサ信号Ｖｏを出力するトランジスタＱ３とからなり、対数出力特性をもたせることによってダイナミックレンジを拡大して光信号の検出を高感度で行わせることができるようにしている。
【０００３】
このような構成によるイメージセンサでは、各画素の光センサ回路におけるフォトダイオードＰＤに充分な光量をもって入射光Ｌｓが当たっているときには、トランジスタＱ１には充分なセンサ電流が流れることになり、そのトランジスタＱ１の抵抗値もさほど大きくないことから、イメージセンサとして残像を生ずることがないような充分な応答速度をもって光信号の検出を行わせることができる。
【０００４】
しかし、フォトダイオードＰＤの入射光Ｌｓの光量が少なくなってトランジスタＱ１に流れる電流が小さくなると、トランジスタＱ１はそれに流れる電流が１桁小さくなるとその抵抗値が１桁大きくなるように動作するように設定されていることから、トランジスタＱ１の抵抗値が増大し、フォトダイオードＰＤの寄生容量Ｃとの時定数が大きくなってその寄生容量Ｃに蓄積された電荷を放電するのに時間がかかるようになる。そのため、入射光Ｌｓの光量が少なくなるにしたがって、残像が長時間にわたって観測されることになる。
【０００５】
図６は、フォトダイオードＰＤのセンサ電流が１Ｅ−１０Ａから１Ｅ−１５Ａまで急激に変化した場合の電圧信号Ｖｐｄの変化特性を示している。
【０００６】
この特性から、フォトダイオードＰＤへの入射光Ｌｓの光量が少ない１Ｅ−１２Ａ程度のセンサ電流では、１／３０ｓｅｃごとにセンサ信号Ｖｏを出力させるようにする場合、その時間内では電圧信号Ｖｐｄが飽和しないことがわかる。
【０００７】
したがって、フォトダイオードＰＤの入射光Ｌｓの光量が少ないときのセンサ電流に応じた電圧信号Ｖｐｄの飽和時間が長くなるため、図８に示すような読出し信号Ｖｓのパルスタイミングでセンサ信号Ｖｏの読み出しを行うと、当初ほど大きなレベルの出力が残像となってあらわれる。なお、図８中、Ｖｐｄ′は増幅用のトランジスタＱ２によって反転増幅された電圧信号を示している。
【０００８】
そのため従来では、撮影時の入射光量に応じて光電変換素子に流れるセンサ電流をＭＯＳ型トランジスタを用いて弱反転状態で対数出力特性をもって電圧信号に変換するようにした光センサ回路を画素単位として、複数の画素をマトリクス状に配設したイメージセンサにあって、撮影に先がけて各光センサ回路におけるトランジスタＱ１のドレイン電圧ＶＤを所定時間だけ撮影時の定常値よりも低く設定することにより、フォトダイオードＰＤの寄生容量Ｃに蓄積された残留電荷を排出して初期化することにより、センサ電流に急激な変化が生じても即座にそのときの入射光Ｌｓの光量に応じた電圧信号Ｖｐｄが得られるようにして、入射光量が少ない場合でも残像が生ずることがないようにしている（特開２０００−３２９６１６号公報参照）。
【０００９】
このような光センサ回路にあっては、図３に示すように、入射光量に応じてフォトダイオードＰＤに流れるセンサ電流が多いときには対数出力特性を示すが、センサ電流が少ないときにはフォトダイオードＰＤの寄生容量Ｃの充電に応答遅れを生じてほぼ線形の非対数出力特性を示すようになっている。図中、ＷＡは非対数応答領域を示し、ＷＢは対数応答領域を示している。
【００１０】
このような光センサ回路を画素に用いたイメージセンサを車両に搭載して、車両の自動走行の制御のために走行中の道路前方の白線検出を行わせるような場合に、昼夜にわたる撮影や、暗いトンネル内からトンネル出口の明るい部分または明るいトンネル入口からトンネル内の暗い部分を撮影するような苛酷な条件下でも、広いダイナミックレンジをもって路面に対して白線をコントラスト良く写し出すことができるようになる。
【００１１】
しかし、このような対数出力特性をもった光センサ回路を画素に用いたイメージセンサでは、図９に示すように、各画素のセンサ信号の出力範囲がイメージセンサによって撮影された画像を画面に写し出す表示領域ＤＡよりも狭いと、ワイドダイナミックレンジの特性が充分にいかされなくなってしまう。
【００１２】
【発明が解決しようとする課題】
解決しようとする問題点は、画素構成によるイメージセンサ、特に対数出力特性をもった光センサ回路を画素に用いたイメージセンサでは、各画素のセンサ信号の出力範囲がイメージセンサによって撮影された画像を画面に写し出す表示領域よりも狭いと、ワイドダイナミックレンジの特性が充分にいかされなくなってしまうことである。
【００１３】
【課題を解決するための手段】
本発明によるイメージセンサの出力補正装置は、イメージセンサから出力する各画素のセンサ信号をイメージセンサによる撮影画像を画面に写し出す表示領域に即するように応答遅れを生ずることなくリアルタイムで補正できるようにするべく、イメージセンサから順次出力する１画素分の各画素のセンサ信号を画像メモリに一時集中的に蓄積する手段と、イメージセンサによって撮影された画像を画面に写し出す表示領域におけるイメージセンサから出力する各画素のセンサ信号の最小値および最大値を検出する手段と、センサ信号における非対数応答領域に対応する部分にのみフィルタをかけてノイズ除去を行うフィルタ手段と、その検出されたセンサ信号の最小値が表示領域の下限値になるように前記画像メモリから読み出される各対応する画素のセンサ信号をオフセットする手段と、検出されたセンサ信号の最小値から最大値までの出力幅が表示領域における最大幅または所定幅になるように前記画像メモリから読み出される各対応する画素のセンサ信号のゲイン調整を行う手段とをとるようにしている。
【００１４】
【実施例】
本発明に係るイメージセンサにあっては、基本的に、前述した図１に示す光センサ回路を画素単位に用いている。
【００１５】
そして、その光センサ回路にあって、撮影に先がけて、対数特性変換用のトランジスタＱ１のドレイン電圧ＶＤを所定時間だけ撮影特の定常値よりも低く設定して、フォトダイオードＰＤの寄生容量Ｃに蓄積された電荷を排出して初期化するようにしている。
【００１６】
図２は、そのときの光センサ回路における各部信号のタイムチャートを示している。ここで、ｔ１は初期化のタイミングを、ｔ２は光信号検出のタイミングを示している。トランジスタＱ１のドレイン電圧ＶＤを定常値（ハイレベルＨ）から低い電圧（ローレベルＬ）に切り換える所定時間ｔｍとしては、例えば１画素分の読出し速度が１００ｎｓｅｃ程度の場合に５μｓｅｃ程度に設定される。図中、ＴはフォトダイオードＰＤの寄生容量Ｃの蓄積期間を示しており、その蓄積期間ＴはＮＴＳＣ信号の場合１／３０ｓｅｃ（または１／６０ｓｅｃ）程度となる。
【００１７】
このようなものにあって、初期化時にＭＯＳトランジスタＱ１のドレイン電圧ＶＤがローレベルＬに切り換えられると、そのときのゲート電圧ＶＧとドレイン電圧ＶＤとの間の電位差がトランジスタＱ１のしきい値よりも大きければトランジスタＱ１が低抵抗状態になる。それにより、そのときのソース側の電位がドレイン電圧ＶＤと同じになり（実際にはしきい値分の電位差が残る）、フォトダイオードＰＤの接合容量Ｃが放電状態になる。
【００１８】
図４は、初期化時におけるトランジスタＱ１の電荷ｑの流れによる動作状態を模擬的に示している。
【００１９】
そして、ｔｍ時間の経過後にそのドレイン電圧ＶＤが定常のハイレベルＨに切り換えられて光信号の検出が行われると、ソース側の電位がドレイン電圧ＶＤよりも低くなって、そのときのゲート電圧ＶＧとドレイン電圧ＶＤとの間の電位差がしきい値よりも大きければＭＯＳトランジスタＱ１が低抵抗状態になり、フォトダイオードＰＤの接合容量Ｃが充電状態になる。
【００２０】
図５は、光信号検出時におけるトランジスタＱ１の電荷ｑの流れによる動作状態を模擬的に示している。
【００２１】
このように光信号の検出に先がけてフォトダイオードＰＤの接合容量Ｃを放電させて初期化したのちにその接合容量Ｃを充電させるようにすると、その初期化のタイミングから一定の時間経過した時点での出力電圧（フォトダイオードＰＤの端子電圧）Ｖｐｄは入射光Ｌｓの光量に応じた値となる。すなわち、初期化後には入射光Ｌｓの光量の変化に追随した一定の時定数による放電特性が得られるようになる。
【００２２】
その際、長時間放置すればドレイン電圧ＶＤからトランジスタＱ１を通して供給される電流とフォトダイオードＰＤを流れる電流とは同じになるが、前に残った電荷がなければ常に同じ放電特性が得られるので残像が生ずることがなくなる。
【００２３】
したがって、初期化してから一定の時間を定めて光信号を検出するようにすれば、入射光Ｌｓの光量に応じた残像のないセンサ信号Ｖｏを得ることができるようになる。
【００２４】
図６はフォトダイオードＰＤのセンサ電流が１Ｅ−１０Ａから１Ｅ−１５Ａまで急激に変化した場合の電圧信号Ｖｐｄの変化特性にあって、初期化してから一定の時間１／３０ｓｅｃ経過後に光信号の検出のタイミングを設定したときを示している。
【００２５】
図７は、１／３０ｓｅｃのタイミングで光信号の読み出しをくり返し行わせたときの電圧信号Ｖｐｄの増幅信号の特性を示している。これによれば、１／３０ｓｅｃごとに得られる信号特性はフォトダイオードＰＤへの入射光Ｌｓの光量に応じたセンサ電流に即したものとなり、残像の影響がないことがわかる。
【００２６】
図１０は、このような光センサ回路を画素単位として、画素をマトリクス状に複数配設して、各画素のセンサ信号の時系列的な読出し走査を行わせるようにしたイメージセンサの具体的な構成例を示している。
【００２７】
そのイメージセンサは、その基本的な構成が、例えば、Ｄ１１〜Ｄ４４からなる４×４の画素をマトリクス状に配設して、各１ライン分の画素列を画素列選択回路１から順次出力される選択信号ＬＳ１〜ＬＳ４によって選択し、その選択された画素列における各画素を、画素選択回路２から順次出力される選択信号ＤＳ１〜ＤＳ４によってスイッチ群３における各対応するスイッチＳＷ１〜ＳＷ４が逐次オン状態にされることによって各画素のセンサ信号Ｖｏが時系列的に読み出されるようになっている。図中、４は各画素における前記トランジスタＱ１のゲート電圧ＶＧ用電源であり、６はドレイン電圧ＶＤ用電源である。
【００２８】
そして、そのイメージセンサにあって、各１ライン分の画素列の選択に際して、その選択された画素列における各画素の前記トランジスタＱ１のドレイン電圧ＶＤを所定のタイミングをもって定常時のハイレベルＨおよび初期化時のローレベルＬに切り換える電圧切換回路５が設けられている。
【００２９】
このように構成されたイメージセンサの動作について、図１１に示す各部信号のタイムチャートとともに、以下説明をする。
【００３０】
まず、画素列選択信号ＬＳ１がハイレベルＨになると、それに対応するＤ１１，Ｄ１２，Ｄ１３，Ｄ１４からなる第１の画素列が選択される。そして、ＬＳ１がハイレベルＨになっている一定期間Ｔ１のあいだ画素選択信号ＤＳ１〜ＤＳ４が順次ハイレベルＨになって、各画素Ｄ１１，Ｄ１２，Ｄ１３，Ｄ１４のセンサ信号Ｖｏが順次読み出される。
【００３１】
次いで、画素列選択信号ＬＳ１がローレベルＬになった時点で次のＬＳ２がハイレベルＨになると、それに対応するＤ２１，Ｄ２２，Ｄ２３，Ｄ２４からなる第２の画素列が選択される。そして、ＬＳ２がハイレベルＨになっている一定期間Ｔ１のあいだ画素選択信号ＤＳ１〜ＤＳ４が順次ハイレベルＨになって、各画素Ｄ２１，Ｄ２２，Ｄ２３，Ｄ２４のセンサ信号Ｖｏが順次読み出される。
【００３２】
以下同様に、画素列選択信号ＬＳ３およびＬＳ４が連続的にハイレベルＨになって各対応する第３および第４の画素列が順次選択され、ＬＳ３およびＬＳ４がそれぞれハイレベルＨになっている一定期間Ｔ１のあいだ画素選択信号ＤＳ１〜ＤＳ４が順次ハイレベルＨになって、各画素Ｄ３１，Ｄ３２，Ｄ３３，Ｄ３４およびＤ４１，Ｄ４２，Ｄ４３，Ｄ４４のセンサ信号Ｖｏが順次読み出される。
【００３３】
また、画素列選択信号ＬＳ１がＴ１期間後にローレベルＬに立ち下がった時点で、そのとき選択されている第１の画素列における各画素Ｄ１１，Ｄ１２，Ｄ１３，Ｄ１４のドレイン電圧ＶＤ１をそれまでのハイレベルＨからローレベルＬに所定時間Ｔ２のあいだ切り換えることによって各画素の初期化が行われ、１サイクル期間Ｔ３の経過後に行われる次サイクルにおけるセンサ信号の読出しにそなえる。
【００３４】
次いで、画素列選択信号ＬＳ２がＴ１期間後にローレベルＬに立ち下がった時点で、そのとき選択されている第２の画素列における各画素Ｄ２１，Ｄ２２，Ｄ２３，Ｄ２４のドレイン電圧ＶＤ１をそれまでのハイレベルＨからローレベルＬに所定時間Ｔ２のあいだ切り換えることによって各画素の初期化が行われ、１サイクル期間Ｔ３の径過後に行われる次サイクルにおけるセンサ信号の読出しにそなえる。
【００３５】
以下同様に、画素列選択信号ＬＳ３およびＬＳ４がそれぞれＴ１期間後にローレベルＬに立ち下がった時点で、そのとき選択されている第３および第４の画素列にそれぞれ対応するドレイン電圧ＶＤ３をローレベルＬに切り換えて各画素の初期化が行われ、１サイクル期間Ｔ３の径過後に行われる次サイクルにおけるセンサ信号の読出しにそなえる。
【００３６】
なお、ここでは画素列選択信号ＬＳＸ（Ｘ＝１〜４）がＴ１期間後にローレベルＬに立ち下がった時点でドレイン電圧ＶＤＸをローレベルＬに切り換えて初期化を行わせるようにしているが、その初期化のタイミングは画素列選択信号ＬＳＸがローレベルＬ状態にある画素列選択の休止期間Ｔ４中であればよい。
【００３７】
本発明は、このように構成されたイメージセンサにあって、図１２（ａ）に示すように、各画素のセンサ信号の出力範囲がイメージセンサによって撮影された画像を画面に写し出す表示装置の表示領域ＤＡよりも狭いと、ワイドダイナミックレンジの特性が充分にいかされなくなってしまうので、図１２（ｂ）に示すように、センサ信号の範囲が表示領域ＤＡの全領域にわたるように、イメージセンサから出力する各センサ信号のオフセットおよびゲイン調整を行わせるようにしている。そして、そのイメージセンサから出力する各センサ信号のオフセットおよびゲイン調整を、応答遅れを生ずることなくリアルタイムで行わせることができるようにしている。
【００３８】
そのため、本発明によるイメージセンサの出力補正装置は、イメージセンサから順次出力する各画素のセンサ信号を画像メモリに一時集中的に蓄積する手段と、イメージセンサによって撮影された画像を画面に写し出す表示領域におけるイメージセンサから出力する各画素のセンサ信号の最小値Ｖｏｍｉｎおよび最大値Ｖｏｍａｘを検出する手段と、その検出されたセンサ信号の最小値Ｖｏｍｉｎが表示領域ＤＡの下限値ＶＬになるように前記画像メモリから読み出される各対応する画素のセンサ信号をオフセットする手段と、検出されたセンサ信号の最小値Ｖｏｍｉｎから最大値Ｖｏｍａｘまでの出力幅ＶＷが表示領域ＤＡにおける最大幅ＷＭになるように前記画像メモリから読み出される各対応する画素のセンサ信号のゲイン調整を行う手段とをとるようにしている。
【００３９】
なお、その場合、センサ信号の範囲が表示領域ＤＡの全領域にわたるようにセンサ信号のゲイン調整を行うだけではなく、その表示領域ＤＡの任意の範囲にわたるようにするべく、センサ信号の最小値から最大値までの出力幅が表示領域における予め設定された所定の幅になるようにセンサ信号のゲイン調整を行うようにすることも可能である。
【００４０】
図１３は、本発明によるイメージセンサの出力補正装置の具体的な一構成例を示している。
【００４１】
ここでは、イメージセンサ８から時系列的に出力する１画面分の各画素のセンサ信号Ｖｏを画像メモリ１８に一時集中的に蓄積したうえで、その画像メモリ１８から読み出した各画素のセンサ信号Ｖｏをそのオフセットおよびゲイン調整を行う出力補正装置１５に与えるようにしている。そして、その出力補正装置１５は、イメージセンサ８から出力する各画素のセンサ信号Ｖｏの最大値Ｖｏｍａｘを検出する最大値検出回路１５１およびセンサ信号Ｖｏの最小値Ｖｏｍｉｎを検出する最小値検出回路１５２と、その検出された最大値Ｖｏｍａｘの数画面分を記憶して急峻な変化を吸収して平均化するローパスフィルタ１５３および検出された最小値Ｖｏｍｉｎの数フレーム分を記憶して急峻な変化を吸収して平均化するローパスフィルタ１５４と、画像メモリ１８から所定のタイミングをもって読み出された処理対象となる対応の画素のセンサ信号Ｖｏからその平均化された最小値Ｖｏｍｉｎを減ずることによってセンサ信号Ｖｏのオフセットを行わせるオフセット補正回路１５５と、その平均化された最小値Ｖｏｍｉｎ′から最大値Ｖｏｍａｘ′までの出力幅ＶＷを求める減算回路１５６と、その求められたセンサ信号の出力幅ＶＷを平均化するローパスフィルタ１５７と、その平均化されたセンサ信号の出力幅ＶＷ′に応じた所定のゲイン補正値Ｇを読み出すルックアップ用のメモリ１５８と、オフセット補正されたセンサ信号Ｖｏｏにその読み出されたゲイン補正値Ｇを乗ずることによってゲイン調整を行うゲイン補正回路１５９とによって構成されている。Ｖｏａは、センサ信号Ｖｏのオフセットおよびゲイン調整された補正信号を示している。なお、画像メモリ１８に対するセンサ信号Ｖｏの書込みおよび読出しは、装置全体の制御を行うＥＣＵ（図示せず）の制御下において行われる。
【００４２】
このように、イメージセンサ８から出力する各画素のセンサ信号Ｖｏを画像メモリ１８に蓄積したうえで、適宜タイミングをもってその画像メモリ１８から各対応する画素のセンサ信号Ｖｏを読み出して出力補正装置１５に与えてそのオフセットおよびゲイン調整を行わせることによって、出力補正装置１５において応答遅れを生ずることなくリアルタイムでの処理を行わせることができるようになる。
【００４３】
ローパスフィルタ１５３，１５４および１５７としては、ＦＩＲフィルタ、ＩＩＲフィルタまたは移動平均フィルタなどが用いられる。ローパスフィルタ１５７は、特にこれを設けなくともよい。
【００４４】
ルックアップ用のメモリ１５８には、予めセンサ信号の出力幅ＶＷ′に応じて、その出力幅ＶＷ′が表示領域ＤＡの全領域にわたるようにゲイン調整を行うためのゲイン補正値Ｇの特性がテーブル設定されている。
【００４５】
その際、センサ信号Ｖｏの出力幅ＶＷ′が表示領域ＤＳの任意の範囲にわたるようにする場合には、そのようにゲイン調整を行うためのゲイン補正値Ｇの特性がテーブル設定されている。
【００４６】
メモリ１５８にテーブル設定されたセンサ信号の出力幅ＶＷ′に応じた所定のゲイン補正値Ｇの特性を任意に設定することによって、ゲイン調整されるセンサ信号のカーブを適宜変化させることができるようになる。
【００４７】
ルックアップ用のメモリ１５８を用いる代わりに除算器を用いて、表示領域における最大幅をセンサ信号の出力幅ＶＷ′によって除算することによって、ゲイン補正値Ｇを演算処理によって求めるようにすることも可能である。
【００４８】
また、本発明は、図１４に示すように、センサ信号の出力幅ＶＷを予め設定されたしきい値Ｖｓで分割して（同図ａ）、各分割領域ごとにセンサ信号のオフセットおよびゲイン調整を行わせるようにしている（同図ｂ）。
【００４９】
図１５は、その場合におけるイメージセンサの出力補正装置の構成例を示している。
【００５０】
ここでは、イメージセンサ８から出力する各画素のセンサ信号Ｖｏを信号分割回路１６において所定のしきい値Ｖｓによって分割して、その一方の分割信号Ｖｏ１を画像メモリ１８Ａに蓄積したうえで、図１３と同じ構成による出力補正装置１５Ａに与えてオフセットおよびゲイン調整を行わせるようにしている。そして、他方の分割信号Ｖｏ２を画像メモリ１８Ｂに蓄積したうえで、図１３と同じ構成による出力補正装置１５Ｂによってオフセットおよびゲイン調整を行わせるようにしている。そして、そのそれぞれ補正された各分割信号Ｖｏ１′およびＶｏ２′を合成回路１７によって合成するようにしている。
【００５１】
その際、出力補正装置１５Ａにおいて一方の分割信号Ｖｏ１のオフセットおよびゲイン調整を行わせる場合、その分割信号Ｖｏ１の最大値がしきい値Ｖｓとなる。また、出力補正装置１５Ｂにおいて他方の分割信号Ｖｏ２のオフセットおよびゲイン調整を行わせる場合、その分割信号Ｖｏ２の最小値がしきい値Ｖｓとなる。
【００５２】
さらに、本発明は、図１６に示すように、センサ信号をいったんオフセットおよびゲイン調整したうえで、その補正がなされたセンサ信号の出力幅ＶＷ′を予め設定されたしきい値Ｖｓ′で分割して（同図ｂ）、各分割領域ごとにセンサ信号のオフセットおよびゲイン調整を行わせるようにしている（同図ｃ）。
【００５３】
図１７は、その場合におけるイメージセンサの出力補正装置の構成例を示している。
【００５４】
ここでは、まず、イメージセンサ８から出力する各画素のセンサ信号Ｖｏを画像メモリ１８Ａに蓄積したうえで、図１３と同じ構成による出力補正装置１５Ａによってオフセットおよびゲイン調整を行わせる。次いで、その補正されたセンサ信号Ｖｏａを信号分割回路１６において所定のしきい値Ｖｓ′によって分割して、その一方の分割信号Ｖｏ１′を画像メモリ１８Ｂに蓄積したうえで、図１３と同じ構成による出力補正装置１５Ｂによってオフセットおよびゲイン調整を行わせ、他方の分割信号Ｖｏ２′を画像メモリ１８Ｃに蓄積したうえで、図１３と同じ構成による出力補正装置１５Ｃによってオフセットおよびゲイン調整を行わせるようにしている。そして、そのそれぞれ補正された各分割信号Ｖｏ１″およびＶｏ２″を合成回路１７によって合成するようにしている。
【００５５】
その際、出力補正装置１５Ｂにおいて一方の分割信号Ｖｏ１′のオフセットおよびゲイン調整を行わせる場合、その分割信号Ｖｏ１′の最大値がしきい値Ｖｓ′となる。また、出力補正装置１５Ｃにおいて他方の分割信号Ｖｏ２′のオフセットおよびゲイン調整を行わせる場合、その分割信号Ｖｏ２′の最小値がしきい値Ｖｓ′となる。
【００５６】
また、本発明では、図３に示す出力特性をもった光センサ回路を画素に用いるのでは、非対数応答領域ＷＢがあるために低照度時に対数出力特性が失われてコントラストが低下してしまうので、その非対数応答領域ＷＢの出力特性を対数特性に変換する手段を設けて、全領域にわたって対数出力特性が得られるように変換されたセンサ信号を、前述したようにオフセットおよびゲイン調整するようにしている。
【００５７】
具体的には、図１８に示すように、イメージセンサ８から時系列的に読み出される各画素のセンサ信号ＶｏをＡＤ変換器１３によってデジタル信号に変換したうえで、予めそのデジタル信号の値に応じて所定の出力が得られるように入出力特性の変換テーブルが設定されたルックアップ用のメモリ１４を用いて非対数応答領域の出力特性を対数特性に変換するようにしている。
【００５８】
図１９は、光センサ回路から出力するセンサ信号Ｖｏの非対数応答領域の出力特性を対数特性に変換して、低照度から高照度までの全領域にわたって対数特性を示すように補正したセンサ信号Ｖｏ′を示している。
【００５９】
また、センサ信号Ｖｏのデジタル値に応じてルックアップメモリ１４を用いて非対数応答領域の出力特性を対数特性に変換するに際して、例えばその変換データを１バイト（８ビット）で表現する系統の場合、８ビットで表現可能な領域ごとに分割するようにする。
【００６０】
その場合、図示しないコントローラの制御下において、各分割した信号にそれぞれ識別符号を付すことによって、変換された信号を利用する側からも各分割された信号を識別することができるようにする。また、そのコントローラの制御下で、信号利用側からの求めに応じて分割する領域を切り換えることができるようにしている。
【００６１】
図２０は、光センサ回路から出力するセンサ信号Ｖｏを、任意の入射光量を境として、２つに分割してそれぞれ特性をＶｏｌ′，Ｖｏ２′に切り替えた場合を示している。
【００６２】
また、センサ信号Ｖｏの非対数応答領域の感度を上げて出力特性を対数特性に変換するようにすると、センサ信号Ｖｏに含まれるノイズも増幅されて、ノイズが強調されたセンサ信号に変換されてしまう。
【００６３】
その際、対数特性に変換されたセンサ信号Ｖｏにフィルタをかけてノイズを除去することが考えられるが、その際全領域にわたってフィルタをかけると、イメージセンサの出力画像の全体がぼやけたものになってしまう。
【００６４】
そのため、本発明では、センサ信号Ｖｏ′における対数特性に変換された低照度時の出力信号の部分、すなわちもとのセンサ信号Ｖｏにおける非対数応答領域に対応する部分のみにフィルタをかけてノイズ除去を行うようにしている。
【００６５】
このようなフィルタ処理を行うことによって、センサ信号Ｖｏの非対数応答領域の感度を上げて出力特性を対数特性に変換する際して増幅されたノイズ成分が有効に除去される。したがって、それ以外のノイズが増幅されていない部分に同様のフィルタ処理が不必要に行われず、イメージセンサの出力画像の全体がぼやけるようなことがなくなり、ノイズ成分が有効に除去されたコントラストの良い処理画像が得られるようになる。
【００６６】
また、本発明は、センサ信号Ｖｏ′における対数特性に変換された低照度時の出力信号の部分のみにフィルタをかけてノイズ除去を行わせるに際して、光センサ回路における非対数応答領域の出力特性を対数特性に変換する度合、すなわち入出力特性変換用のメモリ１４における増幅率に応じてフィルタ特性を変化させるようにしている。
【００６７】
このように、メモリ１４の増幅率に即したフィルタ特性をもってノイズ除去を行わせることにより、ノイズ除去の過不足を生ずることなく、センサ信号Ｖｏの入出力特性変換時に増幅されたノイズ成分を適切に除去することができるようになる。
【００６８】
また、入出力特性変換時の増幅率が大きいと、図２１に示すように、デジタル信号による各隣接する画素間のセンサ信号が離散的となってイメージセンサの出力画像の画質が悪くなってしまうが、このフィルタ処理を行わせることによって、各隣接する画素間のセンサ信号が平滑化されてセンサ信号の連続性が良くなる。
【００６９】
本発明のフィルタ処理には、一般的なノイズ除去のためのフィルタが広く用いられる。
【００７０】
図２２は、ＩＩＲローパスフィルタの一例を示している。他にもＦＩＲフィルタ等が用いられる。
【００７１】
図２３は、隣り合う画素の出力の平均値を求めて高周波成分を除去する方式（移動平均処理）によるフィルタ処理回路の一例を示している。画像信号は連続性を有していることから、隣接する画素と比較して急峻に変化する信号はノイズとして扱うことが可能である。
【００７２】
図２４は、フレームメモリＦＭを複数用いて、同一位置の画素の出力に対してフィルタ処理するようにしたものである。使用するフィルタとしては、図２２や図２３に示すものが用いられる。
【００７３】
図２５ないし図２８は、センサ信号Ｖｏ′における対数特性に変換された低照度時の出力信号の部分のみにフィルタをかけてノイズ除去を行わせるようにしたときの具体的なフィルタ処理回路の構成例をそれぞれ示している。
【００７４】
図２５に示すフィルタ処理回路では、比較回路２１に予め入出力変換されたセンサ信号Ｖｏ′の切替点となる信号値が設定されており、イメージセンサの各画素から時系列的に送られてくるセンサ信号Ｖｏ′の値によって信号切替回路２２の切り替えを行いながら、対数特性に変換された低照度時の出力信号のみをローパスフィルタ２３によって処理した信号と、センサ信号Ｖｏ′における他の部分における何らフィルタ処理しない信号とを選択的に出力するように構成している。
【００７５】
図２６に示すフィルタ処理回路では、ローパスフィルタ２３によって処理した信号の値と比較回路２１に設定された値とを比較して信号の切り替えを行わせるようにしている。
【００７６】
また、図２７および図２８にそれぞれ示すフィルタ処理回路では、入出力特性変換時の増幅率に応じてフィルタ特性を変化させながら、センサ信号Ｖｏ′における対数特性に変換された低照度時の出力信号の部分のみのフィルタ処理を行わせることができるようにしている。
【００７７】
図２７に示すフィルタ処理回路では、比較回路２１′に複数の値が設定されており、その各設定値とセンサ信号Ｖｏ′とをそれぞれ比較して、信号切替回路２２においてそれぞれフィルタ特性の異なる複数のローパスフィルタ２３−１〜２３−４による各処理信号のうちの一つを選択的に出力する構成となっている。
【００７８】
図２８に示すフィルタ処理回路では、複数設けられたローパスフィルタ２３−１〜２３−４のうちの特定のローパスフィルタ２３−３によって処理された信号の値と比較回路２１に設定された値とを比較して、信号切替回路２２においてそれぞれフィルタ特性の異なる複数のローパスフィルタ２３−１〜２３−４による各処理信号のうちの一つを選択的に出力する構成となっている。
【００７９】
なお、図２７および図２８に示すフィルタ処理回路ではそれぞれフィルタ特性の異なる複数のローパスフィルタ２３−１〜２３−４による各処理信号のうちの一つを選択的に出力するようにしているが、１つのローパスフィルタ２３におけるフィルタ特性の定数を切り換えるようにしてもよい。
【００８０】
以上の説明ではイメージセンサにおける各画素の出力特性が揃っているものとして取り扱ったが、実際には図１に示すような光センサ回路を画素単位に用いたイメージセンサでは、図２９に示すように、各画素の構造上からくる出力特性のバラツキを生じてしまい、その出力特性が揃うように各画素の出力補正を行う必要があるものになっている。図中、Ｉｏは入射光がないときにフォトダイオードＰＤに流れる暗電流に応じた暗時のセンサ電流を示している。
【００８１】
各画素の出力特性のバラツキの要因としては、主として、トランジスタＱ１のサブスレッショルド領域の特性を利用して入射光Ｌｓの光量に応じた電圧信号Ｖｐｄを生じさせるに際して、そのトランジスタＱ１のサブスレッショルド値が画素ごとに異なるためである。また、各画素にあって対数変換された電圧信号を高インピーダンスをもって増幅して出力させる必要があるが、その増幅用トランジスタＱ２の特性の不揃いも各画素の出力のバラツキの要因となっている。
【００８２】
各画素の出力特性のバラツキを補正する手段が本願と同一の出願人によって提案されている（特願２０００−４０４９３１、特願２０００−４０４９３３、特願２００１−７５０３５、特願２００１−７５０３６）。
【００８３】
本発明では、各画素の出力特性のバラツキを補正したうえで、前述した各画素から時系列的に出力するセンサ信号Ｖｏを前述のようにオフセットおよびゲイン調整するようにしている。
【００８４】
あるいはまた、各画素の出力特性のバラツキを補正したうえで、前述のように完全な対数特性に変換する処理を行い、その変換されたセンサ信号Ｖｏ′をオフセットおよびゲイン調整するようにしている。
【００８５】
図３０はその場合の具体的な構成例を示すもので、ここではイメージセンサ８から時系列的に出力する１画面分の各画素のセンサ信号Ｖｏが画像メモリ１９に一時集中的に蓄積され、その画像メモリ１９から読み出した各画素のセンサ信号Ｖｏが各画素の出力特性のバラツキを補正する補正回路１２に与えられる。その各画素の出力特性のバラツキが補正された１画面分の各画素のセンサ信号Ｖｏｐが画像メモリ１９に再蓄積されるとともに、補正回路１２によって補正された各画素のセンサ信号Ｖｏｐが出力補正装置１５における最大値検出回路１５１および最小値検出回路１５２にそれぞれ与えられる。そして、画像メモリ１９に再蓄積された各画素のセンサ信号Ｖｏｐが所定のタイミングをもって読み出されて出力補正装置１５に与えられて、前述のようにオフセットおよびゲイン調整が行われるように構成されている。
【００８６】
したがって、補正回路１２によって補正された各画素のセンサ信号Ｖｏｐを直接に出力補正装置１５に与えて最大値、最小値を求めるなどの処理を行わせ、画像メモリ１９に再蓄積された各画素のセンサ信号Ｖｏｐを所定のタイミングをもって読み出して出力補正装置１５に与えてオフセットおよびゲイン調整を行わせることにより、出力補正装置１５において応答遅れを生ずることなくリアルタイムでの処理を行わせることができるようになる。
【００８７】
なお、イメージセンサ８から時系列的に出力する１画面分の各画素のセンサ信号Ｖｏをいったん画像メモリ１９に蓄積することによって、イメージセンサ８の走査クロックと外部機器の要求するビデオ信号のクロックとが異なるような場合にも接続が可能になる。
【００８８】
また、図３１は他の構成例を示すもので、ここでは、イメージセンサ８から時系列的に出力する１画面分の各画素のセンサ信号Ｖｏが第１の画像メモリ１９に一時集中的に蓄積され、その画像メモリ１９から読み出した各画素のセンサ信号Ｖｏが各画素の出力特性のバラツキを補正する補正回路１２に与えられる。その各画素の出力特性のバラツキが補正された１画面分の各画素のセンサ信号Ｖｏｐが第２の画像メモリ２０に蓄積されるとともに、補正回路１２によって補正された各画素のセンサ信号Ｖｏｐが出力補正装置１５における最大値検出回路１５１および最小値検出回路１５２にそれぞれ与えられる。そして、第２の画像メモリ２０に蓄積された各画素のセンサ信号Ｖｏｐが所定のタイミングをもって読み出されて出力補正装置１５に与えられて、前述のようにオフセットおよびゲイン調整が行われるように構成されている。
【００８９】
図３２は、イメージセンサにおける各画素の出力特性のバラツキを補正するための具体的な構成例を示している。
【００９０】
それは、イメージセンサ８および各画素のセンサ信号を時系列的に読み出すための駆動制御を行うＥＣＵ９と、イメージセンサ８から時系列的に出力する各画素のセンサ信号Ｖｏをデジタル信号に変換するＡＤ変換器１０と、予め各画素の特性に応じたオフセット補正値ＯＦＳおよびゲイン補正のための乗数ＭＬＴが設定されており、ＥＣＵ９から与えられるセンサ信号読出し時における画素のアドレス（Ｘ，Ｙ）の信号ＡＤＤＲＥＳＳに応じて所定のオフセット補正値ＯＦＳおよび乗数ＭＬＴを読み出すメモリ１１と、そのメモリ１１から読み出されたオフセット補正値ＯＦＳおよび乗数ＭＬＴにもとづいてデジタル信号に変換されたセンサ信号ＤＳのオフセット補正およびゲイン補正の各演算処理を行う出力補正回路１２とによって構成されている。
【００９１】
イメージセンサ８から時系列的に出力する各画素のセンサ信号Ｖｏとしては、前述したように、各画素におけるトランジスタＱ１のゲート電圧ＶＧが撮影時の定常値よりも高い値に切り換えられたときの暗時の出力と、光をしゃ断した状態での各画素におけるトランジスタＱ１のゲート電圧ＶＧおよびドレイン電圧ＶＤが撮影時の定常値よりも低い値にそれぞれ切り換えられたときの明時の出力とが採用される。
【００９２】
図３４は、３つの画素の構成上からくる各センサ信号Ａ，Ｂ，Ｃの出力特性のバラツキ状態の一例を示している。ここで、画素出力のしきい値Ｈに応じたセンサ電流の値Ｉｍは各画素のセンサ信号信号Ａ，Ｂ，Ｃが非対数応答領域ＷＡから対数応答領域ＷＢに切り換わる点を示している。また、Ｉｏは暗時のセンサ電流を示している。
【００９３】
ここでは、このような非対数応答領域ＷＡにおける各画素のセンサ信号の出力特性の形状がほぼ同一で、対数応答領域ＷＢにおける各画素のセンサ信号の出力特性の傾きがそれぞれ異なるときのイメージセンサの出力補正を行わせる場合を示している。各画素のパラメータとして、それぞれの各センサ信号が非対数応答領域ＷＡから対数応答領域ＷＢに切り換わる点の情報と、暗時の画素出力とを用いている。
【００９４】
図３３は、出力補正回路１２における処理のフローを示している。
【００９５】
メモリ１１には、センサ電流がＩｍの値のときに画素出力がＨとなるようなオフセット補正値ＯＦＳが設定されている。そして、オフセット補正部１２１において、そのオフセット補正値ＯＦＳを用いた加減算処理をなすことによって各画素のデジタル信号に変換されたセンサ信号ＤＳのオフセット補正を行わせると、図３５に示すように、各画素のセンサ信号Ａ，Ｂ，Ｃにおける非対数応答領域ＷＡの特性が一致するようになる。
【００９６】
次に、そのオフセット補正されたセンサ信号ＤＳ１にもとづき、ゲイン補正部１２２において、しきい値Ｈ以上の対数応答領域ＷＢに対してゲイン補正のための乗算処理を行う。
【００９７】
具体的には、オフセット補正されたセンサ信号ＤＳ１がしきい値Ｈ以上であるか否かを判断して、しきい値Ｈ以上であれば、すなわちセンサ信号ＤＳ１が対数応答領域ＷＢにあれば、メモリ１０から読み出されたゲイン補正のなめの所定の乗数ＭＬＴを用いて、
出力←Ｈ＋（センサ信号ＤＳ１−Ｈ）×乗数
なる演算を行って、その演算結果を出力補正されたセンサ信号ＤＳ２として出力する。
【００９８】
このような各画素のセンサ信号Ａ，Ｂ，Ｃのゲイン補正が行われた結果、図３６に示すように、対数応答領域ＷＢの特性が一致するようになる。
【００９９】
また、その際、オフセット補正されたセンサ信号ＤＳ１がしきい値Ｈよりも小さければ、すなわちセンサ信号ＤＳ１が非対数応答領域ＷＡにあれば、そのままオフセット補正されたセンサ信号ＤＳ１を出力補正されたセンサ信号ＤＳ２として出力する。
【０１００】
図３８は、３つの画素の構成上からくる各センサ信号Ａ，Ｂ，Ｃの出力特性のバラツキ状態の他の例を示している。
【０１０１】
ここでは、このような対数応答領域ＷＢにおける各センサ信号の出力特性の傾きがほぼ同一で、非対数応答領域ＷＡにおける各センサ信号の出力特性の形状がそれぞれ異なるときにイメージセンサの出力補正を行わせる場合を示している。
【０１０２】
図３７は、出力補正回路１２における処理のフローを示している。
【０１０３】
メモリ１１には、センサ電流がＩｍの値のときに画素出力がＨとなるようなオフセット補正値ＯＦＳが設定されている。そして、オフセット補正部１２１において、そのオフセット補正値ＯＦＳを用いた加減算処理をなすことによって各画素のデジタル信号に変換されたセンサ信号ＤＳのオフセット補正を行わせると、図３９に示すように、各画素のセンサ信号Ａ，Ｂ，Ｃにおける対数応答領域ＷＢの特性が一致するようになる。
【０１０４】
次に、そのオフセット補正されたセンサ信号ＤＳ１にもとづき、ゲイン補正部１１２において、しきい値Ｈ以下の非対数応答領域ＷＡに対してゲイン補正のための乗算処理を行う。
【０１０５】
具体的には、オフセット補正されたセンサ信号ＤＳ１がしきい値Ｈ以下であるか否かを判断して、しきい値Ｈ以下であれば、すなわちセンサ信号ＤＳ１が非対数応答領域ＷＡにあれば、メモリ１０から読み出されたゲイン補正のための所定の乗数ＭＬＴを用いて、
出力←Ｈ−（Ｈ−センサ信号ＤＳ１）×乗数
なる演算を行って、その演算結果を出力補正されたセンサ信号ＤＳ２として出力する。
【０１０６】
このような各画素のセンサ信号Ａ，Ｂ，Ｃのゲイン補正が行われた結果、図４０に示すように、非対数応答領域ＷＡの特性が一致するようになる。
【０１０７】
また、その際、オフセット補正されたセンサ信号ＤＳ１がしきい値Ｈよりも大きければ、すなわちセンサ信号ＤＳ１が対数応答領域ＷＢにあれば、そのままオフセット補正されたセンサ信号ＤＳ１を出力補正されたセンサ信号ＤＳ２として出力する。
【０１０８】
図４２は、イメージセンサ８における各画素の構成上からくるセンサ信号Ａ，Ｂ，Ｃの出力特性のバラツキ状態のさらに他の例を示している。
【０１０９】
ここでは、対数応答領域ＷＢにおける各センサ信号Ａ，Ｂ，Ｃの出力特性の傾きがそれぞれ異なるとともに、非対数応答領域ＷＡにおける各センサ信号Ａ，Ｂ，Ｃの出力特性の形状がそれぞれ異なる場合を示している。
【０１１０】
このような場合には、図４１の出力補正回路１２における処理のフローに示すように、前述した図３３および図３７に示す各処理を組み合せて行わせることによって、各センサ信号Ａ，Ｂ，Ｃのオフセット補正およびゲイン補正が逐次なされて最終的に非対数応答領域ＷＡおよび対数応答領域ＷＢの特性が一致したセンサ信号ＤＳ２′が得られるようになる。
【０１１１】
【発明の効果】
以上、本発明によるイメージセンサの出力補正装置は、イメージセンサから順次出力する１画素分の各画素のセンサ信号を画像メモリに一時集中的に蓄積する手段と、イメージセンサによって撮影された画像を画面に写し出す表示領域におけるイメージセンサから出力する各画素のセンサ信号の最小値および最大値を検出する手段と、センサ信号における非対数応答領域に対応する部分にのみフィルタをかけてノイズ除去を行うフィルタ手段と、その検出されたセンサ信号の最小値が表示領域の下限値になるように前記画像メモリから読み出される各対応する画素のセンサ信号をオフセットする手段と、検出されたセンサ信号の最小値から最大値までの出力幅が表示領域における最大幅または所定幅になるように前記画像メモリから読み出される各対応する画素のセンサ信号のゲイン調整を行う手段とをとるようにしたもので、イメージセンサから出力する各画素のセンサ信号を、イメージセンサによる撮影画像を画面に写し出す表示領域に即するように補正することができ、ダイナミックレンジの広い特性をもったイメージセンサによる撮影画像を充分にいかしたコントラストの良い画像を画面に表示させることができるという利点を有している。
【０１１２】
また、本発明は、センサ信号の出力幅を予め設定されたしきい値で分割して、各分割領域ごとにオフセットおよびゲイン調整を行わせるか、または、センサ信号をいったんオフセットおよびゲイン調整したうえで、その補正されたセンサ信号の出力幅を予め設定されたしきい値で分割して、各分割領域ごとにオフセットおよびゲイン調整を行わせるようにしたもので、何ら応答遅れを生ずることなく、各分割領域ごとに表示領域に即するように任意の対数特性をもったセンサ信号に変換することができるという利点を有している。
【図面の簡単な説明】
【図１】本発明に係るイメージセンサに用いられる１画素分の光センサ回路を示す電気回路図である。
【図２】光センサ回路における各部信号のタイムチャートである。
【図３】光センサ回路の初期化を行わせたときの入射光量に応じたセンサ電流に対するセンサ信号の出力特性を示す図である。
【図４】光センサ回路の初期化時におけるトランジスタＱ１の電荷ｑの流れによる動作状態を模擬的に示す図である。
【図５】光センサ回路の光信号検出時におけるトランジスタＱ１の電荷ｑの流れによる動作状態を模擬的に示す図である。
【図６】光センサ回路におけるフォトダイオードＰＤのセンサ電流が変化したときの各電圧信号Ｖｐｄの変化特性を示す図である。
【図７】光センサ回路において所定のタイミングで光信号の読み出しをくり返し行わせたときの電圧信号Ｖｐｄの増幅信号の特性を示す図である。
【図８】初期化を行わないときの光センサ回路における入射光量が少ないときに所定のタイミングで読み出される画信号の出力特性を示す図である。
【図９】表示装置の表示領域における光センサ回路から出力するセンサ信号の出力範囲を示す特性図である。
【図１０】本発明に係るイメージセンサの具体的な構成例を示すブロックである。
【図１１】そのイメージセンサにおける各部信号のタイムチャートである。
【図１２】本発明によって光センサ回路からのセンサ信号の出力範囲が表示装置における表示領域の全域にわたるように補正するときのセンサ信号の処理状態の一例を示す特性図である。
【図１３】本発明によるイメージセンサの出力補正装置の一実施例を示すブロック構成図である。
【図１４】本発明によって光センサ回路からのセンサ信号の出力範囲がその分割領域ごとに表示装置における表示領域の全域にわたるように補正するときのセンサ信号の処理状態の他の例を示す特性図である。
【図１５】本発明によるイメージセンサの出力補正装置の他の実施例を示すブロック構成図である。
【図１６】本発明によって光センサ回路からのセンサ信号の出力範囲がその分割領域ごとに表示装置における表示領域の全域にわたるように補正するときのセンサ信号の処理状態のさらに他の例を示す特性図である。
【図１７】本発明によるイメージセンサの出力補正装置のさらに他の実施例を示すブロック構成図である。
【図１８】図３に示すセンサ回路から出力するセンサ信号を全領域にわたって対数出力特性に変換するための具体的な構成例を示すブロック図である。
【図１９】光センサ回路から出力するセンサ信号を全領域にわたって対数特性に変換した特性図である。
【図２０】光センサ回路から出力するセンサ信号を任意の点で分割してそれぞれ対数特性に変換した特性図である。
【図２１】イメージセンサにおける各画素のデジタル化されたセンサ信号が離散的になっている状態の一例を示す図である。
【図２２】一般的なローパスフィルタの一構成例を示す電気回路図である。
【図２３】隣接画素の出力の平均値を求めて高周波成分を除去する方式によるフィルタ処理を行うときの一構成例を示すブロック図である。
【図２４】複数のフレームメモリを用いて、同一画素についてフィルタ処理を行うときの一構成例を示すブロック図である。
【図２５】対数特性に変換されたセンサ信号のフィルタ処理を行うときの一構成例を示すブロック図である。
【図２６】対数特性に変換されたセンサ信号のフィルタ処理を行うときの他の構成例を示すブロック図である。
【図２７】対数特性に変換されたセンサ信号をフィルタ特性を変化させながらフィルタ処理するときの一構成例を示すブロック図である。
【図２８】対数特性に変換されたセンサ信号をフィルタ特性を変化させながらフィルタ処理するときの他の構成例を示すブロック図である。
【図２９】イメージセンサにおける各画素の出力特性のバラツキ状態の一例を示す図である。
【図３０】イメージセンサにおける各画素の出力特性のバラツキを補正するようにしたときの本発明によるイメージセンサの出力補正装置の構成例を示すブロック図である。
【図３１】イメージセンサにおける各画素の出力特性のバラツキを補正するようにしたときの本発明によるイメージセンサの出力補正装置の他の構成例を示すブロック図である。
【図３２】イメージセンサにおける各画素の出力のバラツキを補正するための具体的な構成例を示すブロック図である。
【図３３】図３２の構成における出力補正回路における処理のフローの一例を示す図である。
【図３４】イメージセンサにおける各画素の構成上からくるセンサ信号の出力特性のバラツキ状態の一例を示す特性図である。
【図３５】図３４に示す出力特性のバラツキをもった各画素のセンサ信号をオフセット補正した結果を示す特性図である。
【図３６】図３２に示す出力特性のバラツキをもった各画素のセンサ信号をオフセット補正およびゲイン補正した結果を示す特性図である。
【図３７】図３２の出力補正回路における処理のフローの他の例を示す図である。
【図３８】イメージセンサにおける各画素の構成上からくるセンサ信号の出力特性のバラツキ状態の他の例を示す特性図である。
【図３９】図３８に示す出力特性のバラツキをもった各画素のセンサ信号をオフセット補正した結果を示す特性図である。
【図４０】図３８に示す出力特性のバラツキをもった各画素のセンサ信号をオフセット補正およびゲイン補正した結果を示す特性図である。
【図４１】図３２の出力補正回路における処理のフローのさらに他の例を示す図である。
【図４２】イメージセンサにおける各画素の構成上からくるセンサ信号の出力特性のバラツキ状態のさらに他の例を示す特性図である。
【符号の説明】
８ イメージセンサ
１２ 出力特性のバラツキの補正回路
１５ 出力補正装置
１５１ 最大値検出回路
１５２ 最小値検出回路
１５３ ローパスフィルタ
１５４ ローパスフィルタ
１５５ オフセット補正回路
１５６ 減算回路
１５７ ローパスフィルタ
１５８ ルックファップ用メモリ
１５９ ゲイン補正回路
１５Ａ 出力補正装置
１５Ｂ 出力補正装置
１６ 信号分割回路
１７ 合成回路
１８ 画像メモリ
１８Ａ 画像メモリ
１８Ｂ 画像メモリ
１８Ｃ 画像メモリ
１９ 第１の画像メモリ
２０ 第２の画像メモリ
Claims (6)
- イメージセンサから時系列的に読み出される各画素のセンサ信号をＡＤ変換器によってデジタル信号に変換したうえで、予めそのデジタル信号の値に応じて所定の出力が得られるように入出力特性の変換テーブルが設定されたルックアップ用のメモリーを用いて非対数応答領域の出力特性を対数特性に変換するイメージセンサにおいて、イメージセンサから順次出力する１画素分の各画素のセンサ信号を画像メモリに一時集中的に蓄積する手段と、イメージセンサによって撮影された画像を画面に写し出す表示領域におけるイメージセンサから出力する各画素のセンサ信号の最小値および最大値を検出する手段と、センサ信号における非対数応答領域に対応する部分にのみフィルタをかけてノイズ除去を行うフィルタ手段と、その検出されたセンサ信号の最小値が表示領域の下限値になるように前記画像メモリから読み出される各対応する画素のセンサ信号をオフセットする手段と、検出されたセンサ信号の最小値から最大値までの出力幅が表示領域における最大幅または所定幅になるように前記画像メモリから読み出される各対応する画素のセンサ信号のゲイン調整を行う手段とによって構成されたイメージセンサの出力補正装置。
- イメージセンサから時系列的に読み出される各画素のセンサ信号をＡＤ変換器によってデジタル信号に変換したうえで、予めそのデジタル信号の値に応じて所定の出力が得られるように入出力特性の変換テーブルが設定されたルックアップ用のメモリを用いて非対数応答領域の出力特性を対数特性に変換するイメージセンサにおいて、イメージセンサから順次出力する１画素分の各画素のセンサ信号を第１の画像メモリに一時集中的に蓄積する手段と、その第１の画像メモリから読み出される各画素のセンサ信号にもとづいて各画素の出力特性のバラツキを補正する手段と、その補正された各画素のセンサ信号を第２の画像メモリに一時集中的に蓄積する手段と、メージセンサによって撮影された画像を画面に写し出す表示領域における前記補正された各画素のセンサ信号のセンサ信号の最小値および最大値を検出する手段と、センサ信号における非対数応答領域に対応する部分にのみフィルタをかけてノイズ除去を行うフィルタ手段と、その検出されたセンサ信号の最小値が表示領域の下限値になるように第２の画像メモリから読み出される各対応する画素のセンサ信号をオフセットする手段と、検出されたセンサ信号の最小値から最大値までの出力幅が表示領域における最大幅または所定幅になるように第２の画像メモリから読み出される各対応する画素のセンサ信号のゲイン調整を行う手段とによって構成されたイメージセンサの出力補正装置。
- センサ信号の出力幅に応じたゲイン補正値の特性がテーブル設定されたメモリを用いて、センサ信号のゲイン調整を行うようにしたことを特徴とする請求項１または請求項２の記載によるイメージの出力補正装置。
- ゲイン調節されたセンサ信号が任意の特性になるように、メモリにセンサ信号の出力幅に応じたゲイン補正値の特性がテーブル設定されていることを特徴とする請求項３の記載によるイメージセンサの出力補正装置。
- 除算器により表示領域における最大幅または所定幅をセンサ信号の出力幅で除算することによってゲイン補正値を求めて、センサ信号のゲイン調整を行うようにしたことを特徴とする請求項１または請求項２の記載によるイメージセンサの出力補正装置。
- 撮影に先がけて、イメージセンサにおける各画素の光電変換素子の寄生容量に過剰電荷を注入させて初期化するようにしたことを特徴とする請求項１または請求項２の記載によるイメージセンサの出力補正装置。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002200615A JP4026127B2 (ja) | 2002-06-05 | 2002-06-05 | イメージセンサの出力補正装置 |
| TW092108500A TWI220365B (en) | 2002-05-02 | 2003-04-14 | Output correcting device for image sensor |
| AU2003236261A AU2003236261A1 (en) | 2002-05-02 | 2003-04-14 | Image sensor output correction device |
| US10/512,936 US7667760B2 (en) | 2002-05-02 | 2003-04-14 | Image sensor output correction device |
| PCT/JP2003/004726 WO2003094110A1 (fr) | 2002-05-02 | 2003-04-14 | Dispositif de correction de la sortie d'un capteur d'image |
| US10/512,811 US20050278369A1 (en) | 2002-05-02 | 2004-03-03 | Information processing system, information processing apparatus, method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002200615A JP4026127B2 (ja) | 2002-06-05 | 2002-06-05 | イメージセンサの出力補正装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004015790A JP2004015790A (ja) | 2004-01-15 |
| JP4026127B2 true JP4026127B2 (ja) | 2007-12-26 |
Family
ID=30437248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002200615A Expired - Fee Related JP4026127B2 (ja) | 2002-05-02 | 2002-06-05 | イメージセンサの出力補正装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4026127B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101142815A (zh) * | 2005-03-15 | 2008-03-12 | 欧姆龙株式会社 | 摄像装置、信号处理装置和信号处理方法 |
-
2002
- 2002-06-05 JP JP2002200615A patent/JP4026127B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004015790A (ja) | 2004-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7889253B2 (en) | Wide dynamic range image sensor | |
| US8023004B2 (en) | Imaging apparatus, imaging method, and program for selectively controlling gain in a normal imaging mode and a combined imaging mode | |
| JP3882128B2 (ja) | イメージセンサの出力補正装置 | |
| JP3539901B2 (ja) | フリッカ検出・補正装置およびフリッカ検出・補正方法 | |
| WO2003094110A1 (fr) | Dispositif de correction de la sortie d'un capteur d'image | |
| JP2004104741A (ja) | イメージセンサ | |
| JP3975396B2 (ja) | イメージセンサの出力補正装置 | |
| JP2000175108A (ja) | イメ―ジセンサの出力補正回路 | |
| JP4026127B2 (ja) | イメージセンサの出力補正装置 | |
| JP3882129B2 (ja) | イメージセンサの出力補正装置 | |
| US8169503B2 (en) | Image pickup apparatus and control method for selecting a flicker control method | |
| JP3861244B2 (ja) | 画像処理装置 | |
| JP2004229257A (ja) | イメージセンサ | |
| JP2003324657A (ja) | イメージセンサの出力補正装置 | |
| JP3963008B2 (ja) | イメージセンサの出力補正装置 | |
| JP4432017B2 (ja) | イメージセンサの出力補正装置 | |
| JP4616527B2 (ja) | イメージセンサの出力補正装置 | |
| JP4658388B2 (ja) | イメージセンサの出力補正装置 | |
| JP2004242264A (ja) | イメージセンサ | |
| JP2005323073A (ja) | イメージセンサの出力補正装置 | |
| JP2002312781A (ja) | 画像処理装置 | |
| JP4884423B2 (ja) | 画像信号の固定パターンノイズ除去装置及び方法 | |
| JP2664577B2 (ja) | ビデオカメラ | |
| JP2004140767A (ja) | イメージセンサ | |
| JP2005229307A (ja) | 撮像装置、撮像装置の制御方法及び撮像装置の制御プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070515 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070711 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070925 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070927 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070711 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111019 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111019 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121019 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131019 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |