JP3975396B2 - イメージセンサの出力補正装置 - Google Patents
イメージセンサの出力補正装置 Download PDFInfo
- Publication number
- JP3975396B2 JP3975396B2 JP2002167861A JP2002167861A JP3975396B2 JP 3975396 B2 JP3975396 B2 JP 3975396B2 JP 2002167861 A JP2002167861 A JP 2002167861A JP 2002167861 A JP2002167861 A JP 2002167861A JP 3975396 B2 JP3975396 B2 JP 3975396B2
- Authority
- JP
- Japan
- Prior art keywords
- output
- sensor
- sensor signal
- signal
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000015654 memory Effects 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 230000003071 parasitic effect Effects 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 37
- 230000004044 response Effects 0.000 description 35
- 230000003287 optical effect Effects 0.000 description 33
- 206010047571 Visual impairment Diseases 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 239000008186 active pharmaceutical agent Substances 0.000 description 4
- 230000003321 amplification Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
Images
Landscapes
- Picture Signal Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Facsimile Heads (AREA)
- Facsimile Image Signal Circuits (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Image Input (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、イメージセンサから出力する各画素のセンサ信号を、イメージセンサによる撮影画像を画面に写し出す表示領域に即するように補正するイメージセンサの出力補正装置に関する。
【０００２】
【従来の技術】
従来、ＭＯＳ型のイメージセンサにあっては、その１画素分の光センサ回路が、図１に示すように、入射光Ｌｓの光量に応じたセンサ電流を生ずる光電変換素子としてのフォトダイオードＰＤと、フォトダイオードＰＤに流れるセンサ電流を弱反転状態で対数出力特性をもって電圧信号Ｖｐｄに変換させるトランジスタＱ１と、その電圧信号Ｖｐｄを増幅するトランジスタＱ２と、読出し信号Ｖｓのパルスタイミングでもってセンサ信号Ｖｏを出力するトランジスタＱ３とからなり、対数出力特性をもたせることによってダイナミックレンジを拡大して光信号の検出を高感度で行わせることができるようにしている。
【０００３】
このような構成によるイメージセンサでは、各画素の光センサ回路におけるフォトダイオードＰＤに充分な光量をもって入射光Ｌｓが当たっているときには、トランジスタＱ１には充分なセンサ電流が流れることになり、そのトランジスタＱ１の抵抗値もさほど大きくないことから、イメージセンサとして残像を生ずることがないような充分な応答速度をもって光信号の検出を行わせることができる。
【０００４】
しかし、フォトダイオードＰＤの入射光Ｌｓの光量が少なくなってトランジスタＱ１に流れる電流が小さくなると、トランジスタＱ１はそれに流れる電流が１桁小さくなるとその抵抗値が１桁大きくなるように動作するように設定されていることから、トランジスタＱ１の抵抗値が増大し、フォトダイオードＰＤの寄生容量Ｃとの時定数が大きくなってその寄生容量Ｃに蓄積された電荷を放電するのに時間がかかるようになる。そのため、入射光Ｌｓの光量が少なくなるにしたがって、残像が長時間にわたって観測されることになる。
【０００５】
図６は、フォトダイオードＰＤのセンサ電流が１Ｅ−１０Ａから１Ｅ−１５Ａまで急激に変化した場合の電圧信号Ｖｐｄの変化特性を示している。
【０００６】
この特性から、フォトダイオードＰＤへの入射光Ｌｓの光量が少ない１Ｅ−１２Ａ程度のセンサ電流では、１／３０ｓｅｃごとにセンサ信号Ｖｏを出力させるようにする場合、その時間内では電圧信号Ｖｐｄが飽和しないことがわかる。
【０００７】
したがって、フォトダイオードＰＤの入射光Ｌｓの光量が少ないときのセンサ電流に応じた電圧信号Ｖｐｄの飽和時間が長くなるため、図８に示すような読出し信号Ｖｓのパルスタイミングでセンサ信号Ｖｏの読み出しを行うと、当初ほど大きなレベルの出力が残像となってあらわれる。なお、図８中、Ｖｐｄ′は増幅用のトランジスタＱ２によって反転増幅された電圧信号を示している。
【０００８】
そのため従来では、撮影時の入射光量に応じて光電変換素子に流れるセンサ電流をＭＯＳ型トランジスタを用いて弱反転状態で対数出力特性をもって電圧信号に変換するようにした光センサ回路を画素単位として、複数の画素をマトリクス状に配設したイメージセンサにあって、撮影に先がけて各光センサ回路におけるトランジスタＱ１のドレイン電圧ＶＤを所定時間だけ撮影時の定常値よりも低く設定することにより、フォトダイオードＰＤの寄生容量Ｃに蓄積された残留電荷を排出して初期化することにより、センサ電流に急激な変化が生じても即座にそのときの入射光Ｌｓの光量に応じた電圧信号Ｖｐｄが得られるようにして、入射光量が少ない場合でも残像が生ずることがないようにしている（特開２０００−３２９６１６号公報参照）。
【０００９】
このような光センサ回路にあっては、図３に示すように、入射光量に応じてフォトダイオードＰＤに流れるセンサ電流が多いときには対数出力特性を示すが、センサ電流が少ないときにはフォトダイオードＰＤの寄生容量Ｃの充電に応答遅れを生じてほぼ線形の非対数出力特性を示すようになっている。図中、ＷＡは非対数応答領域を示し、ＷＢは対数応答領域を示している。
【００１０】
このような光センサ回路を画素に用いたイメージセンサを車両に搭載して、車両の自動走行の制御のために走行中の道路前方の白線検出を行わせるような場合に、昼夜にわたる撮影や、暗いトンネル内からトンネル出口の明るい部分または明るいトンネル入口からトンネル内の暗い部分を撮影するような苛酷な条件下でも、広いダイナミックレンジをもって路面に対して白線をコントラスト良く写し出すことができるようになる。
【００１１】
しかし、このような対数出力特性をもった光センサ回路を画素に用いたイメージセンサでは、図９に示すように、各画素のセンサ信号の出力範囲がイメージセンサによって撮影された画像を画面に写し出す表示領域ＤＡよりも狭いと、ワイドダイナミックレンジの特性が充分にいかされなくなってしまう。
【００１２】
【発明が解決しようとする課題】
解決しようとする問題点は、画素構成によるイメージセンサ、特に対数出力特性をもった光センサ回路を画素に用いたイメージセンサでは、各画素のセンサ信号の出力範囲がイメージセンサによって撮影された画像を画面に写し出す表示領域よりも狭いと、ワイドダイナミックレンジの特性が充分にいかされなくなってしまうことである。
【００１３】
【課題を解決するための手段】
本発明によるイメージセンサの出力補正装置は、イメージセンサから出力する各画素のセンサ信号をイメージセンサによる撮影画像を画面に写し出す表示領域に即するように補正するべく、イメージセンサによって撮影された画像を画面に写し出す表示領域におけるイメージセンサから出力する各画素のセンサ信号の最小値および最大値を検出する手段と、前記最小値の数フレーム分を記憶して平均化する第１のローパスフィルタと、前記最大値の数フレーム分を記憶して平均化する第２のローパスフィルタと、前記各画素のセンサ信号から前記平均化された最小値を減ずることによってセンサ信号のオフセットを行うオフセット手段と、前記平均化された最小値から最大値までの出力幅を求める減算回路と、前記求められたセンサ信号の出力幅を平均化する第３のローパスフィルタと、前記平均化されたセンサ信号の出力幅が表示領域における最大値または所定値になるようにゲイン補正値をテーブル設定するメモリと、前記オフセットされたセンサ信号に前記ゲイン補正値を乗ずることによってセンサ信号のゲイン調整を行う手段とをとるようにしている。
【００１４】
【実施例】
本発明に係るイメージセンサにあっては、基本的に、前述した図１に示す光センサ回路を画素単位に用いている。
【００１５】
そして、その光センサ回路にあって、撮影に先がけて、対数特性変換用のトランジスタＱ１のドレイン電圧ＶＤを所定時間だけ撮影特の定常値よりも低く設定して、フォトダイオードＰＤの寄生容量Ｃに蓄積された電荷を排出して初期化するようにしている。
【００１６】
図２は、そのときの光センサ回路における各部信号のタイムチャートを示している。ここで、ｔ１は初期化のタイミングを、ｔ２は光信号検出のタイミングを示している。トランジスタＱ１のドレイン電圧ＶＤを定常値（ハイレベルＨ）から低い電圧（ローレベルＬ）に切り換える所定時間ｔｍとしては、例えば１画素分の読出し速度が１００ｎｓｅｃ程度の場合に５μｓｅｃ程度に設定される。図中、ＴはフォトダイオードＰＤの寄生容量Ｃの蓄積期間を示しており、その蓄積期間ＴはＮＴＳＣ信号の場合１／３０ｓｅｃ（または１／６０ｓｅｃ）程度となる。
【００１７】
このようなものにあって、初期化時にＭＯＳトランジスタＱ１のドレイン電圧ＶＤがローレベルＬに切り換えられると、そのときのゲート電圧ＶＧとドレイン電圧ＶＤとの間の電位差がトランジスタＱ１のしきい値よりも大きければトランジスタＱ１が低抵抗状態になる。それにより、そのときのソース側の電位がドレイン電圧ＶＤと同じになり（実際にはしきい値分の電位差が残る）、フォトダイオードＰＤの接合容量Ｃが放電状態になる。
【００１８】
図４は、初期化時におけるトランジスタＱ１の電荷ｑの流れによる動作状態を模擬的に示している。
【００１９】
そして、ｔｍ時間の経過後にそのドレイン電圧ＶＤが定常のハイレベルＨに切り換えられて光信号の検出が行われると、ソース側の電位がドレイン電圧ＶＤよりも低くなって、そのときのゲート電圧ＶＧとドレイン電圧ＶＤとの間の電位差がしきい値よりも大きければＭＯＳトランジスタＱ１が低抵抗状態になり、フォトダイオードＰＤの接合容量Ｃが充電状態になる。
【００２０】
図５は、光信号検出時におけるトランジスタＱ１の電荷ｑの流れによる動作状態を模擬的に示している。
【００２１】
このように光信号の検出に先がけてフォトダイオードＰＤの接合容量Ｃを放電させて初期化したのちにその接合容量Ｃを充電させるようにすると、その初期化のタイミングから一定の時間経過した時点での出力電圧（フォトダイオードＰＤの端子電圧）Ｖｐｄは入射光Ｌｓの光量に応じた値となる。すなわち、初期化後には入射光Ｌｓの光量の変化に追随した一定の時定数による放電特性が得られるようになる。
【００２２】
その際、長時間放置すればドレイン電圧ＶＤからトランジスタＱ１を通して供給される電流とフォトダイオードＰＤを流れる電流とは同じになるが、前に残った電荷がなければ常に同じ放電特性が得られるので残像が生ずることがなくなる。
【００２３】
したがって、初期化してから一定の時間を定めて光信号を検出するようにすれば、入射光Ｌｓの光量に応じた残像のないセンサ信号Ｖｏを得ることができるようになる。
【００２４】
図６はフォトダイオードＰＤのセンサ電流が１Ｅ−１０Ａから１Ｅ−１５Ａまで急激に変化した場合の電圧信号Ｖｐｄの変化特性にあって、初期化してから一定の時間１／３０ｓｅｃ経過後に光信号の検出のタイミングを設定したときを示している。
【００２５】
図７は、１／３０ｓｅｃのタイミングで光信号の読み出しをくり返し行わせたときの電圧信号Ｖｐｄの増幅信号の特性を示している。これによれば、１／３０ｓｅｃごとに得られる信号特性はフォトダイオードＰＤへの入射光Ｌｓの光量に応じたセンサ電流に即したものとなり、残像の影響がないことがわかる。
【００２６】
図１０は、このような光センサ回路を画素単位として、画素をマトリクス状に複数配設して、各画素のセンサ信号の時系列的な読出し走査を行わせるようにしたイメージセンサの具体的な構成例を示している。
【００２７】
そのイメージセンサは、その基本的な構成が、例えば、Ｄ１１〜Ｄ４４からなる４×４の画素をマトリクス状に配設して、各１ライン分の画素列を画素列選択回路１から順次出力される選択信号ＬＳ１〜ＬＳ４によって選択し、その選択された画素列における各画素を、画素選択回路２から順次出力される選択信号ＤＳ１〜ＤＳ４によってスイッチ群３における各対応するスイッチＳＷ１〜ＳＷ４が逐次オン状態にされることによって各画素のセンサ信号Ｖｏが時系列的に読み出されるようになっている。図中、４は各画素における前記トランジスタＱ１のゲート電圧ＶＧ用電源であり、６はドレイン電圧ＶＤ用電源である。
【００２８】
そして、そのイメージセンサにあって、各１ライン分の画素列の選択に際して、その選択された画素列における各画素の前記トランジスタＱ１のドレイン電圧ＶＤを所定のタイミングをもって定常時のハイレベルＨおよび初期化時のローレベルＬに切り換える電圧切換回路５が設けられている。
【００２９】
このように構成されたイメージセンサの動作について、図１１に示す各部信号のタイムチャートとともに、以下説明をする。
【００３０】
まず、画素列選択信号ＬＳ１がハイレベルＨになると、それに対応するＤ１１，Ｄ１２，Ｄ１３，Ｄ１４からなる第１の画素列が選択される。そして、ＬＳ１がハイレベルＨになっている一定期間Ｔ１のあいだ画素選択信号ＤＳ１〜ＤＳ４が順次ハイレベルＨになって、各画素Ｄ１１，Ｄ１２，Ｄ１３，Ｄ１４のセンサ信号Ｖｏが順次読み出される。
【００３１】
次いで、画素列選択信号ＬＳ１がローレベルＬになった時点で次のＬＳ２がハイレベルＨになると、それに対応するＤ２１，Ｄ２２，Ｄ２３，Ｄ２４からなる第２の画素列が選択される。そして、ＬＳ２がハイレベルＨになっている一定期間Ｔ１のあいだ画素選択信号ＤＳ１〜ＤＳ４が順次ハイレベルＨになって、各画素Ｄ２１，Ｄ２２，Ｄ２３，Ｄ２４のセンサ信号Ｖｏが順次読み出される。
【００３２】
以下同様に、画素列選択信号ＬＳ３およびＬＳ４が連続的にハイレベルＨになって各対応する第３および第４の画素列が順次選択され、ＬＳ３およびＬＳ４がそれぞれハイレベルＨになっている一定期間Ｔ１のあいだ画素選択信号ＤＳ１〜ＤＳ４が順次ハイレベルＨになって、各画素Ｄ３１，Ｄ３２，Ｄ３３，Ｄ３４およびＤ４１，Ｄ４２，Ｄ４３，Ｄ４４のセンサ信号Ｖｏが順次読み出される。
【００３３】
また、画素列選択信号ＬＳ１がＴ１期間後にローレベルＬに立ち下がった時点で、そのとき選択されている第１の画素列における各画素Ｄ１１，Ｄ１２，Ｄ１３，Ｄ１４のドレイン電圧ＶＤ１をそれまでのハイレベルＨからローレベルＬに所定時間Ｔ２のあいだ切り換えることによって各画素の初期化が行われ、１サイクル期間Ｔ３の経過後に行われる次サイクルにおけるセンサ信号の読出しにそなえる。
【００３４】
次いで、画素列選択信号ＬＳ２がＴ１期間後にローレベルＬに立ち下がった時点で、そのとき選択されている第２の画素列における各画素Ｄ２１，Ｄ２２，Ｄ２３，Ｄ２４のドレイン電圧ＶＤ１をそれまでのハイレベルＨからローレベルＬに所定時間Ｔ２のあいだ切り換えることによって各画素の初期化が行われ、１サイクル期間Ｔ３の径過後に行われる次サイクルにおけるセンサ信号の読出しにそなえる。
【００３５】
以下同様に、画素列選択信号ＬＳ３およびＬＳ４がそれぞれＴ１期間後にローレベルＬに立ち下がった時点で、そのとき選択されている第３および第４の画素列にそれぞれ対応するドレイン電圧ＶＤ３をローレベルＬに切り換えて各画素の初期化が行われ、１サイクル期間Ｔ３の径過後に行われる次サイクルにおけるセンサ信号の読出しにそなえる。
【００３６】
なお、ここでは画素列選択信号ＬＳＸ（Ｘ＝１〜４）がＴ１期間後にローレベルＬに立ち下がった時点でドレイン電圧ＶＤＸをローレベルＬに切り換えて初期化を行わせるようにしているが、その初期化のタイミングは画素列選択信号ＬＳＸがローレベルＬ状態にある画素列選択の休止期間Ｔ４中であればよい。
【００３７】
本発明は、このように構成されたイメージセンサにあって、図１２（ａ）に示すように、各画素のセンサ信号の出力範囲がイメージセンサによって撮影された画像を画面に写し出す表示装置の表示領域ＤＡよりも狭いと、ワイドダイナミックレンジの特性が充分にいかされなくなってしまうので、図１２（ｂ）に示すように、センサ信号の範囲が表示領域ＤＡの全領域にわたるように、イメージセンサから出力する各センサ信号のオフセットおよびゲイン調整を行わせるようにしている。
【００３８】
そのため、本発明によるイメージセンサの出力補正装置は、イメージセンサによって撮影された画像を画面に写し出す表示領域におけるイメージセンサから出力する各画素のセンサ信号の最小値Ｖｏｍｉｎおよび最大値Ｖｏｍａｘを検出する手段と、その検出されたセンサ信号の最小値Ｖｏｍｉｎが表示領域ＤＡの下限値ＶＬになるようにセンサ信号をオフセットする手段と、検出されたセンサ信号の最小値Ｖｏｍｉｎから最大値Ｖｏｍａｘまでの出力幅ＶＷが表示領域ＤＡにおける最大幅ＷＭになるようにセンサ信号のゲイン調整を行う手段とをとるようにしている。
【００３９】
なお、その場合、センサ信号の範囲が表示領域ＤＡの全領域にわたるようにセンサ信号のゲイン調整を行うだけではなく、その表示領域ＤＡの任意の範囲にわたるようにするべく、センサ信号の最小値から最大値までの出力幅が表示領域における予め設定された所定の幅になるようにセンサ信号のゲイン調整を行うようにすることも可能である。
【００４０】
図１３は、本発明によるイメージセンサの出力補正装置の具体的な一構成例を示している。
【００４１】
ここでは、その出力補正装置１５が、イメージセンサ８から出力する各画素のセンサ信号Ｖｏの最大値Ｖｏｍａｘを検出する最大値検出回路１５１およびセンサ信号Ｖｏの最小値Ｖｏｍｉｎを検出する最小値検出回路１５２と、その検出された最大値Ｖｏｍａｘの数フレーム分を記憶して急峻な変化を吸収して平均化するローパスフィルタ１５３および検出された最小値Ｖｏｍｉｎの数フレーム分を記憶して急峻な変化を吸収して平均化するローパスフィルタ１５４と、センサ信号Ｖｏからその平均化された最小値Ｖｏｍｉｎを減ずることによってセンサ信号Ｖｏのオフセットを行わせるオフセット補正回路１５５と、その平均化された最小値Ｖｏｍｉｎ′から最大値Ｖｏｍａｘ′までの出力幅ＶＷを求める減算回路１５６と、その求められたセンサ信号の出力幅ＶＷを平均化するローパスフィルタ１５７と、その平均化されたセンサ信号の出力幅ＶＷ′に応じた所定のゲイン補正値Ｇを読み出すルックアップ用のメモリ１５８と、オフセット補正されたセンサ信号Ｖｏｏにその読み出されたゲイン補正値Ｇを乗ずることによってゲイン調整を行うゲイン補正回路１５９とによって構成されている。Ｖｏａは、センサ信号Ｖｏのオフセットおよびゲイン調整された補正信号を示している
【００４２】
ローパスフィルタ１５３，１５４および１５７としては、ＦＩＲフィルタ、ＩＩＲフィルタまたは移動平均フィルタなどが用いられる。ローパスフィルタ１５７は、特にこれを設けなくともよい。
【００４３】
ルックアップ用のメモリ１５８には、予めセンサ信号の出力幅ＶＷ′に応じて、その出力幅ＶＷ′が表示領域ＤＡの全領域にわたるようにゲイン調整を行うためのゲイン補正値Ｇの特性がテーブル設定されている。
【００４４】
その際、センサ信号Ｖｏの出力幅ＶＷ′が表示領域ＤＳの任意の範囲にわたるようにする場合には、そのようにゲイン調整を行うためのゲイン補正値Ｇの特性がテーブル設定されている。
【００４５】
メモリ１５８にテーブル設定されたセンサ信号の出力幅ＶＷ′に応じた所定のゲイン補正値Ｇの特性を任意に設定することによって、ゲイン調整されるセンサ信号のカーブを適宜変化させることができるようになる。
【００４６】
ルックアップ用のメモリ１５８を用いる代わりに除算器を用いて、表示領域における最大幅をセンサ信号の出力幅ＶＷ′によって除算することによって、ゲイン補正値Ｇを演算処理によって求めるようにすることも可能である。
【００４７】
また、本発明は、図１４に示すように、センサ信号の出力幅ＶＷを予め設定されたしきい値Ｖｓで分割して（同図ａ）、各分割領域ごとにセンサ信号のオフセットおよびゲイン調整を行わせるようにしている（同図ｂ）。
【００４８】
図１５は、その場合におけるイメージセンサの出力補正装置の構成例を示している。
【００４９】
ここでは、イメージセンサ８から出力する各画素のセンサ信号Ｖｏを信号分割回路１６において所定のしきい値Ｖｓによって分割して、その一方の分割信号Ｖｏ１を図１３と同じ構成による出力補正装置１５Ａによってオフセットおよびゲイン調整を行わせ、他方の分割信号Ｖｏ２を図１３と同じ構成による出力補正装置１５Ｂによってオフセットおよびゲイン調整を行わせるようにしている。そして、そのそれぞれ補正された各分割信号Ｖｏ１′およびＶｏ２′を合成回路１７によって合成するようにしている。
【００５０】
その際、出力補正装置１５Ａにおいて一方の分割信号Ｖｏ１のオフセットおよびゲイン調整を行わせる場合、その分割信号Ｖｏ１の最大値がしきい値Ｖｓとなる。また、出力補正装置１５Ｂにおいて他方の分割信号Ｖｏ２のオフセットおよびゲイン調整を行わせる場合、その分割信号Ｖｏ２の最小値がしきい値Ｖｓとなる。
【００５１】
さらに、本発明は、図１６に示すように、センサ信号をいったんオフセットおよびゲイン調整したうえで、その補正がなされたセンサ信号の出力幅ＶＷ′を予め設定されたしきい値Ｖｓ′で分割して（同図ｂ）、各分割領域ごとにセンサ信号のオフセットおよびゲイン調整を行わせるようにしている（同図ｃ）。
【００５２】
図１７は、その場合におけるイメージセンサの出力補正装置の構成例を示している。
【００５３】
ここでは、イメージセンサ８から出力する各画素のセンサ信号Ｖｏを図１３と同じ構成による出力補正装置１５Ａによってオフセットおよびゲイン調整を行わせたうえで、その補正されたセンサ信号Ｖｏａを信号分割回路１６において所定のしきい値Ｖｓ′によって分割して、その一方の分割信号Ｖｏ１′を図１３と同じ構成による出力補正装置１５Ｂによってオフセットおよびゲイン調整を行わせ、他方の分割信号Ｖｏ２′を図１３と同じ構成による出力補正装置１５Ｃによってオフセットおよびゲイン調整を行わせるようにしている。そして、そのそれぞれ補正された各分割信号Ｖｏ１″およびＶｏ２″を合成回路１７によって合成するようにしている。
【００５４】
その際、出力補正装置１５Ｂにおいて一方の分割信号Ｖｏ１′のオフセットおよびゲイン調整を行わせる場合、その分割信号Ｖｏ１′の最大値がしきい値Ｖｓ′となる。また、出力補正装置１５Ｃにおいて他方の分割信号Ｖｏ２′のオフセットおよびゲイン調整を行わせる場合、その分割信号Ｖｏ２′の最小値がしきい値Ｖｓ′となる。
【００５５】
また、本発明では、図３に示す出力特性をもった光センサ回路を画素に用いるのでは、非対数応答領域ＷＢがあるために低照度時に対数出力特性が失われてコントラストが低下してしまうので、その非対数応答領域ＷＢの出力特性を対数特性に変換する手段を設けて、全領域にわたって対数出力特性が得られるように変換されたセンサ信号を、前述したようにオフセットおよびゲイン調整するようにしている。
【００５６】
具体的には、図１８に示すように、イメージセンサ８から時系列的に読み出される各画素のセンサ信号ＶｏをＡＤ変換器１３によってデジタル信号に変換したうえで、予めそのデジタル信号の値に応じて所定の出力が得られるように入出力特性の変換テーブルが設定されたルックアップ用のメモリ１４を用いて非対数応答領域の出力特性を対数特性に変換するようにしている。
【００５７】
図１９は、光センサ回路から出力するセンサ信号Ｖｏの非対数応答領域の出力特性を対数特性に変換して、低照度から高照度までの全領域にわたって対数特性を示すように補正したセンサ信号Ｖｏ′を示している。
【００５８】
また、センサ信号Ｖｏのデジタル値に応じてルックアップメモリ１４を用いて非対数応答領域の出力特性を対数特性に変換するに際して、例えばその変換データを１バイト（８ビット）で表現する系統の場合、８ビットで表現可能な領域ごとに分割するようにする。
【００５９】
その場合、図示しないコントローラの制御下において、各分割した信号にそれぞれ識別符号を付すことによって、変換された信号を利用する側からも各分割された信号を識別することができるようにする。また、そのコントローラの制御下で、信号利用側からの求めに応じて分割する領域を切り換えることができるようにしている。
【００６０】
図２０は、光センサ回路から出力するセンサ信号Ｖｏを、任意の入射光量を境として、２つに分割してそれぞれ特性をＶｏ１′，Ｖｏ２′に切り替えた場合を示している。
【００６１】
また、センサ信号Ｖｏの非対数応答領域の感度を上げて出力特性を対数特性に変換するようにすると、センサ信号Ｖｏに含まれるノイズも増幅されて、ノイズが強調されたセンサ信号に変換されてしまう。
【００６２】
その際、対数特性に変換されたセンサ信号Ｖｏにフィルタをかけてノイズを除去することが考えられるが、その際全領域にわたってフィルタをかけると、イメージセンサの出力画像の全体がぼやけたものになってしまう。
【００６３】
そのため、本発明では、センサ信号Ｖｏ′における対数特性に変換された低照度時の出力信号の部分、すなわちもとのセンサ信号Ｖｏにおける非対数応答領域に対応する部分のみにフィルタをかけてノイズ除去を行うようにしている。
【００６４】
このようなフィルタ処理を行うことによって、センサ信号Ｖｏの非対数応答領域の感度を上げて出力特性を対数特性に変換する際して増幅されたノイズ成分が有効に除去される。したがって、それ以外のノイズが増幅されていない部分に同様のフィルタ処理が不必要に行われず、イメージセンサの出力画像の全体がぼやけるようなことがなくなり、ノイズ成分が有効に除去されたコントラストの良い処理画像が得られるようになる。
【００６５】
また、本発明は、センサ信号Ｖｏ′における対数特性に変換された低照度時の出力信号の部分のみにフィルタをかけてノイズ除去を行わせるに際して、光センサ回路における非対数応答領域の出力特性を対数特性に変換する度合、すなわち入出力特性変換用のメモリ１４における増幅率に応じてフィルタ特性を変化させるようにしている。
【００６６】
このように、メモリ１４の増幅率に即したフィルタ特性をもってノイズ除去を行わせることにより、ノイズ除去の過不足を生ずることなく、センサ信号Ｖｏの入出力特性変換時に増幅されたノイズ成分を適切に除去することができるようになる。
【００６７】
また、入出力特性変換時の増幅率が大きいと、図２１に示すように、デジタル信号による各隣接する画素間のセンサ信号が離散的となってイメージセンサの出力画像の画質が悪くなってしまうが、このフィルタ処理を行わせることによって、各隣接する画素間のセンサ信号が平滑化されてセンサ信号の連続性が良くなる。
【００６８】
本発明のフィルタ処理には、一般的なノイズ除去のためのフィルタが広く用いられる。
【００６９】
図２２は、ＩＩＲローパスフィルタの一例を示している。他にもＦＩＲフィルタ等が用いられる。
【００７０】
図２３は、隣り合う画素の出力の平均値を求めて高周波成分を除去する方式（移動平均処理）によるフィルタ処理回路の一例を示している。画像信号は連続性を有していることから、隣接する画素と比較して急峻に変化する信号はノイズとして扱うことが可能である。
【００７１】
図２４は、フレームメモリＦＭを複数用いて、同一位置の画素の出力に対してフィルタ処理するようにしたものである。使用するフィルタとしては、図２２や図２３に示すものが用いられる。
【００７２】
図２５ないし図２８は、センサ信号Ｖｏ′における対数特性に変換された低照度時の出力信号の部分のみにフィルタをかけてノイズ除去を行わせるようにしたときの具体的なフィルタ処理回路の構成例をそれぞれ示している。
【００７３】
図２５に示すフィルタ処理回路では、比較回路２１に予め入出力変換されたセンサ信号Ｖｏ′の切替点となる信号値が設定されており、イメージセンサの各画素から時系列的に送られてくるセンサ信号Ｖｏ′の値によって信号切替回路２２の切り替えを行いながら、対数特性に変換された低照度時の出力信号のみをローパスフィルタ２３によって処理した信号と、センサ信号Ｖｏ′における他の部分における何らフィルタ処理しない信号とを選択的に出力するように構成している。
【００７４】
図２６に示すフィルタ処理回路では、ローパスフィルタ２３によって処理した信号の値と比較回路２１に設定された値とを比較して信号の切り替えを行わせるようにしている。
【００７５】
また、図２７および図２８にそれぞれ示すフィルタ処理回路では、入出力特性変換時の増幅率に応じてフィルタ特性を変化させながら、センサ信号Ｖｏ′における対数特性に変換された低照度時の出力信号の部分のみのフィルタ処理を行わせることができるようにしている。
【００７６】
図２７に示すフィルタ処理回路では、比較回路２１′に複数の値が設定されており、その各設定値とセンサ信号Ｖｏ′とをそれぞれ比較して、信号切替回路２２においてそれぞれフィルタ特性の異なる複数のローパスフィルタ２３−１〜２３−４による各処理信号のうちの一つを選択的に出力する構成となっている。
【００７７】
図２８に示すフィルタ処理回路では、複数設けられたローパスフィルタ２３−１〜２３−４のうちの特定のローパスフィルタ２３−３によって処理された信号の値と比較回路２１に設定された値とを比較して、信号切替回路２２においてそれぞれフィルタ特性の異なる複数のローパスフィルタ２３−１〜２３−４による各処理信号のうちの一つを選択的に出力する構成となっている。
【００７８】
なお、図２７および図２８に示すフィルタ処理回路ではそれぞれフィルタ特性の異なる複数のローパスフィルタ２３−１〜２３−４による各処理信号のうちの一つを選択的に出力するようにしているが、１つのローパスフィルタ２３におけるフィルタ特性の定数を切り換えるようにしてもよい。
【００７９】
図１に示すような光センサ回路を画素単位に用いたイメージセンサでは、図２９に示すように、各画素の構造上からくる出力特性のバラツキを生じてしまい、その出力特性が揃うように各画素の出力補正を行う必要があるものになっている。図中、Ｉｏは入射光がないときにフォトダイオードＰＤに流れる暗電流に応じた暗時のセンサ電流を示している。
【００８０】
各画素の出力特性のバラツキの要因としては、主として、トランジスタＱ１のサブスレッショルド領域の特性を利用して入射光Ｌｓの光量に応じた電圧信号Ｖｐｄを生じさせるに際して、そのトランジスタＱ１のサブスレッショルド値が画素ごとに異なるためである。また、各画素にあって対数変換された電圧信号を高インピーダンスをもって増幅して出力させる必要があるが、その増幅用トランジスタＱ２の特性の不揃いも各画素の出力のバラツキの要因となっている。
【００８１】
各画素の出力特性のバラツキを補正する手段が本願と同一の出願人によって提案されている（特願２０００−４０４９３１、特願２０００−４０４９３３、特願２００１−７５０３５、特願２００１−７５０３６）。
【００８２】
本発明では、各画素の出力特性のバラツキを補正したうえで、前述した各画素から時系列的に出力するセンサ信号Ｖｏを前述のようにオフセットおよびゲイン調整するようにしている。
【００８３】
あるいはまた、各画素の出力特性のバラツキを補正したうえで、前述のように完全な対数特性に変換する処理を行い、その変換されたセンサ信号Ｖｏ′をオフセットおよびゲイン調整するようにしている。
【００８４】
図３０は、イメージセンサにおける各画素の出力特性のバラツキを補正するための具体的な構成を示している。
【００８５】
それは、イメージセンサ８および各画素のセンサ信号を時系列的に読み出すための駆動制御を行うＥＣＵ９と、イメージセンサ８から時系列的に出力する各画素のセンサ信号Ｖｏをデジタル信号に変換するＡＤ変換器１０と、予め各画素の特性に応じたオフセット補正値ＯＦＳおよびゲイン補正のための乗数ＭＬＴが設定されており、ＥＣＵ９から与えられるセンサ信号読出し時における画素のアドレス（Ｘ，Ｙ）の信号ＡＤＤＲＥＳＳに応じて所定のオフセット補正値ＯＦＳおよび乗数ＭＬＴを読み出すメモリ１１と、そのメモリ１１から読み出されたオフセット補正値ＯＦＳおよび乗数ＭＬＴにもとづいてデジタル信号に変換されたセンサ信号ＤＳのオフセット補正およびゲイン補正の各演算処理を行う出力補正回路１２とによって構成されている。
【００８６】
イメージセンサ８から時系列的に出力する各画素のセンサ信号Ｖｏとしては、前述したように、各画素におけるトランジスタＱ１のゲート電圧ＶＧが撮影時の定常値よりも高い値に切り換えられたときの暗時の出力と、光をしゃ断した状態での各画素におけるトランジスタＱ１のゲート電圧ＶＧおよびドレイン電圧ＶＤが撮影時の定常値よりも低い値にそれぞれ切り換えられたときの明時の出力とが採用される。
【００８７】
図２６は、３つの画素の構成上からくる各センサ信号Ａ，Ｂ，Ｃの出力特性のバラツキ状態の一例を示している。ここで、画素出力のしきい値Ｈに応じたセンサ電流の値Ｉｍは各画素のセンサ信号信号Ａ，Ｂ，Ｃが非対数応答領域ＷＡから対数応答領域ＷＢに切り換わる点を示している。また、Ｉｏは暗時のセンサ電流を示している。
【００８８】
ここでは、このような非対数応答領域ＷＡにおける各画素のセンサ信号の出力特性の形状がほぼ同一で、対数応答領域ＷＢにおける各画素のセンサ信号の出力特性の傾きがそれぞれ異なるときのイメージセンサの出力補正を行わせる場合を示している。各画素のパラメータとして、それぞれの各センサ信号が非対数応答領域ＷＡから対数応答領域ＷＢに切り換わる点の情報と、暗時の画素出力とを用いている。
【００８９】
図３１は、出力補正回路１２における処理のフローを示している。
【００９０】
メモリ１１には、センサ電流がＩｍの値のときに画素出力がＨとなるようなオフセット補正値ＯＦＳが設定されている。そして、オフセット補正部１２１において、そのオフセット補正値ＯＦＳを用いた加減算処理をなすことによって各画素のデジタル信号に変換されたセンサ信号ＤＳのオフセット補正を行わせると、図３３に示すように、各画素のセンサ信号Ａ，Ｂ，Ｃにおける非対数応答領域ＷＡの特性が一致するようになる。
【００９１】
次に、そのオフセット補正されたセンサ信号ＤＳ１にもとづき、ゲイン補正部１２２において、しきい値Ｈ以上の対数応答領域ＷＢに対してゲイン補正のための乗算処理を行う。
【００９２】
具体的には、オフセット補正されたセンサ信号ＤＳ１がしきい値Ｈ以上であるか否かを判断して、しきい値Ｈ以上であれば、すなわちセンサ信号ＤＳ１が対数応答領域ＷＢにあれば、メモリ１０から読み出されたゲイン補正のための所定の乗数ＭＬＴを用いて、
出力←Ｈ＋（センサ信号ＤＳ１−Ｈ）×乗数
なる演算を行って、その演算結果を出力補正されたセンサ信号ＤＳ２として出力する。
【００９３】
このような各画素のセンサ信号Ａ，Ｂ，Ｃのゲイン補正が行われた結果、図３４に示すように、対数応答領域ＷＢの特性が一致するようになる。
【００９４】
また、その際、オフセット補正されたセンサ信号ＤＳ１がしきい値Ｈよりも小さければ、すなわちセンサ信号ＤＳ１が非対数応答領域ＷＡにあれば、そのままオフセット補正されたセンサ信号ＤＳ１を出力補正されたセンサ信号ＤＳ２として出力する。
【００９５】
図３６は、３つの画素の構成上からくる各センサ信号Ａ，Ｂ，Ｃの出力特性のバラツキ状態の他の例を示している。
【００９６】
ここでは、このような対数応答領域ＷＢにおける各センサ信号の出力特性の傾きがほぼ同一で、非対数応答領域ＷＡにおける各センサ信号の出力特性の形状がそれぞれ異なるときにイメージセンサの出力補正を行わせる場合を示している。
【００９７】
図３５は、出力補正回路１２における処理のフローを示している。
【００９８】
メモリ１１には、センサ電流がＩｍの値のときに画素出力がＨとなるようなオフセット補正値ＯＦＳが設定されている。そして、オフセット補正部１２１において、そのオフセット補正値ＯＦＳを用いた加減算処理をなすことによって各画素のデジタル信号に変換されたセンサ信号ＤＳのオフセット補正を行わせると、図３７に示すように、各画素のセンサ信号Ａ，Ｂ，Ｃにおける対数応答領域ＷＢの特性が一致するようになる。
【００９９】
次に、そのオフセット補正されたセンサ信号ＤＳ１にもとづき、ゲイン補正部１１２において、しきい値Ｈ以下の非対数応答領域ＷＡに対してゲイン補正のための乗算処理を行う。
【０１００】
具体的には、オフセット補正されたセンサ信号ＤＳ１がしきい値Ｈ以下であるか否かを判断して、しきい値Ｈ以下であれば、すなわちセンサ信号ＤＳ１が非対数応答領域ＷＡにあれば、メモリ１０から読み出されたゲイン補正のための所定の乗数ＭＬＴを用いて、
出力←Ｈ−（Ｈ−センサ信号ＤＳ１）×乗数
なる演算を行って、その演算結果を出力補正されたセンサ信号ＤＳ２として出力する。
【０１０１】
このような各画素のセンサ信号Ａ，Ｂ，Ｃのゲイン補正が行われた結果、図３８に示すように、非対数応答領域ＷＡの特性が一致するようになる。
【０１０２】
また、その際、オフセット補正されたセンサ信号ＤＳ１がしきい値Ｈよりも大きければ、すなわちセンサ信号ＤＳ１が対数応答領域ＷＢにあれば、そのままオフセット補正されたセンサ信号ＤＳ１を出力補正されたセンサ信号ＤＳ２として出力する。
【０１０３】
図４０は、イメージセンサ８における各画素の構成上からくるセンサ信号Ａ，Ｂ，Ｃの出力特性のバラツキ状態のさらに他の例を示している。
【０１０４】
ここでは、対数応答領域ＷＢにおける各センサ信号Ａ，Ｂ，Ｃの出力特性の傾きがそれぞれ異なるとともに、非対数応答領域ＷＡにおける各センサ信号Ａ，Ｂ，Ｃの出力特性の形状がそれぞれ異なる場合を示している。
【０１０５】
このような場合には、図３９の出力補正回路１２における処理のフローに示すように、前述した図３１および図３５に示す各処理を組み合せて行わせることによって、各センサ信号Ａ，Ｂ，Ｃのオフセット補正およびゲイン補正が逐次なされて最終的に非対数応答領域ＷＡおよび対数応答領域ＷＢの特性が一致したセンサ信号ＤＳ２′が得られるようになる。
【０１０６】
【発明の効果】
以上、本発明によるイメージセンサの出力補正装置は、イメージセンサによって撮影された画像を画面に写し出す表示領域におけるイメージセンサから出力する各画素のセンサ信号の最小値および最大値を検出する手段と、前記最小値の数フレーム分を記憶して平均化する第１のローパスフィルタと、前記最大値の数フレーム分を記憶して平均化する第２のローパスフィルタと、前記各画素のセンサ信号から前記平均化された最小値を減ずることによってセンサ信号のオフセットを行うオフセット手段と、前記平均化された最小値から最大値までの出力幅を求める減算回路と、前記求められたセンサ信号の出力幅を平均化する第３のローパスフィルタと、前記平均化されたセンサ信号の出力幅が表示領域における最大値または所定値になるようにゲイン補正値をテーブル設定するメモリと、前記オフセットされたセンサ信号に前記ゲイン補正値を乗ずることによってセンサ信号のゲイン調整を行う手段とをとるようにしたもので、イメージセンサから出力する各画素のセンサ信号を、イメージセンサによる撮影画像を画面に写し出す表示領域に即するように補正することができ、ダイナミックレンジの広い特性をもったイメージセンサによる撮影画像を充分にいかしたコントラストの良い画像を画面に表示させることができるという利点を有している。
【０１０７】
また、本発明は、センサ信号の出力幅を予め設定されたしきい値で分割して、各分割領域ごとにオフセットおよびゲイン調整を行わせるか、または、センサ信号をいったんオフセットおよびゲイン調整したうえで、その補正されたセンサ信号の出力幅を予め設定されたしきい値で分割して、各分割領域ごとにオフセットおよびゲイン調整を行わせるようにしたもので、各分割領域ごとに表示領域に即するように任意の対数特性をもったセンサ信号に変換することができるという利点を有している。
【図面の簡単な説明】
【図１】本発明に係るイメージセンサに用いられる１画素分の光センサ回路を示す電気回路図である。
【図２】光センサ回路における各部信号のタイムチャートである。
【図３】光センサ回路の初期化を行わせたときの入射光量に応じたセンサ電流に対するセンサ信号の出力特性を示す図である。
【図４】光センサ回路の初期化時におけるトランジスタＱ１の電荷ｑの流れによる動作状態を模擬的に示す図である。
【図５】光センサ回路の光信号検出時におけるトランジスタＱ１の電荷ｑの流れによる動作状態を模擬的に示す図である。
【図６】光センサ回路におけるフォトダイオードＰＤのセンサ電流が変化したときの各電圧信号Ｖｐｄの変化特性を示す図である。
【図７】光センサ回路において所定のタイミングで光信号の読み出しをくり返し行わせたときの電圧信号Ｖｐｄの増幅信号の特性を示す図である。
【図８】初期化を行わないときの光センサ回路における入射光量が少ないときに所定のタイミングで読み出される画信号の出力特性を示す図である。
【図９】表示装置の表示領域における光センサ回路から出力するセンサ信号の出力範囲を示す特性図である。
【図１０】本発明に係るイメージセンサの具体的な構成例を示すブロックである。
【図１１】そのイメージセンサにおける各部信号のタイムチャートである。
【図１２】本発明によって光センサ回路からのセンサ信号の出力範囲が表示装置における表示領域の全域にわたるように補正するときのセンサ信号の処理状態の一例を示す特性図である。
【図１３】本発明によるイメージセンサの出力補正装置の一実施例を示すブロック構成図である。
【図１４】本発明によって光センサ回路からのセンサ信号の出力範囲がその分割領域ごとに表示装置における表示領域の全域にわたるように補正するときのセンサ信号の処理状態の他の例を示す特性図である。
【図１５】本発明によるイメージセンサの出力補正装置の他の実施例を示すブロック構成図である。
【図１６】本発明によって光センサ回路からのセンサ信号の出力範囲がその分割領域ごとに表示装置における表示領域の全域にわたるように補正するときのセンサ信号の処理状態のさらに他の例を示す特性図である。
【図１７】本発明によるイメージセンサの出力補正装置のさらに他の実施例を示すブロック構成図である。
【図１８】図３に示すセンサ回路から出力するセンサ信号を全領域にわたって対数出力特性に変換するための具体的な構成例を示すブロック図である。
【図１９】光センサ回路から出力するセンサ信号を全領域にわたって対数特性に変換した特性図である。
【図２０】光センサ回路から出力するセンサ信号を任意の点で分割してそれぞれ対数特性に変換した特性図である。
【図２１】イメージセンサにおける各画素のデジタル化されたセンサ信号が離散的になっている状態の一例を示す図である。
【図２２】一般的なローパスフィルタの一構成例を示す電気回路図である。
【図２３】隣接画素の出力の平均値を求めて高周波成分を除去する方式によるフィルタ処理を行うときの一構成例を示すブロック図である。
【図２４】複数のフレームメモリを用いて、同一画素についてフィルタ処理を行うときの一構成例を示すブロック図である。
【図２５】対数特性に変換されたセンサ信号のフィルタ処理を行うときの一構成例を示すブロック図である。
【図２６】対数特性に変換されたセンサ信号のフィルタ処理を行うときの他の構成例を示すブロック図である。
【図２７】対数特性に変換されたセンサ信号をフィルタ特性を変化させながらフィルタ処理するときの一構成例を示すブロック図である。
【図２８】対数特性に変換されたセンサ信号をフィルタ特性を変化させながらフィルタ処理するときの他の構成例を示すブロック図である。
【図２９】イメージセンサにおける各画素の出力特性のバラツキ状態の一例を示す図である。
【図３０】イメージセンサにおける各画素の出力のバラツキを補正するための具体的な構成例を示すブロック図である。
【図３１】図３０の構成における出力補正回路における処理のフローの一例を示す図である。
【図３２】イメージセンサにおける各画素の構成上からくるセンサ信号の出力特性のバラツキ状態の一例を示す特性図である。
【図３３】図３２に示す出力特性のバラツキをもった各画素のセンサ信号をオフセット補正した結果を示す特性図である。
【図３４】図３０に示す出力特性のバラツキをもった各画素のセンサ信号をオフセット補正およびゲイン補正した結果を示す特性図である。
【図３５】図３０の出力補正回路における処理のフローの他の例を示す図である。
【図３６】イメージセンサにおける各画素の構成上からくるセンサ信号の出力特性のバラツキ状態の他の例を示す特性図である。
【図３７】図３６に示す出力特性のバラツキをもった各画素のセンサ信号をオフセット補正した結果を示す特性図である。
【図３８】図３６に示す出力特性のバラツキをもった各画素のセンサ信号をオフセット補正およびゲイン補正した結果を示す特性図である。
【図３９】図３０の出力補正回路における処理のフローのさらに他の例を示す図である。
【図４０】イメージセンサにおける各画素の構成上からくるセンサ信号の出力特性のバラツキ状態のさらに他の例を示す特性図である。
【符号の説明】
８ イメージセンサ
１５ 出力補正装置
１５１ 最大値検出回路
１５２ 最小値検出回路
１５３ ローパスフィルタ
１５４ ローパスフィルタ
１５５ オフセット補正回路
１５６ 減算回路
１５７ ローパスフィルタ
１５８ ルックファップ用メモリ
１５９ ゲイン補正回路
１５Ａ 出力補正装置
１５Ｂ 出力補正装置
１６ 信号分割回路
１７ 合成回路
【産業上の利用分野】
本発明は、イメージセンサから出力する各画素のセンサ信号を、イメージセンサによる撮影画像を画面に写し出す表示領域に即するように補正するイメージセンサの出力補正装置に関する。
【０００２】
【従来の技術】
従来、ＭＯＳ型のイメージセンサにあっては、その１画素分の光センサ回路が、図１に示すように、入射光Ｌｓの光量に応じたセンサ電流を生ずる光電変換素子としてのフォトダイオードＰＤと、フォトダイオードＰＤに流れるセンサ電流を弱反転状態で対数出力特性をもって電圧信号Ｖｐｄに変換させるトランジスタＱ１と、その電圧信号Ｖｐｄを増幅するトランジスタＱ２と、読出し信号Ｖｓのパルスタイミングでもってセンサ信号Ｖｏを出力するトランジスタＱ３とからなり、対数出力特性をもたせることによってダイナミックレンジを拡大して光信号の検出を高感度で行わせることができるようにしている。
【０００３】
このような構成によるイメージセンサでは、各画素の光センサ回路におけるフォトダイオードＰＤに充分な光量をもって入射光Ｌｓが当たっているときには、トランジスタＱ１には充分なセンサ電流が流れることになり、そのトランジスタＱ１の抵抗値もさほど大きくないことから、イメージセンサとして残像を生ずることがないような充分な応答速度をもって光信号の検出を行わせることができる。
【０００４】
しかし、フォトダイオードＰＤの入射光Ｌｓの光量が少なくなってトランジスタＱ１に流れる電流が小さくなると、トランジスタＱ１はそれに流れる電流が１桁小さくなるとその抵抗値が１桁大きくなるように動作するように設定されていることから、トランジスタＱ１の抵抗値が増大し、フォトダイオードＰＤの寄生容量Ｃとの時定数が大きくなってその寄生容量Ｃに蓄積された電荷を放電するのに時間がかかるようになる。そのため、入射光Ｌｓの光量が少なくなるにしたがって、残像が長時間にわたって観測されることになる。
【０００５】
図６は、フォトダイオードＰＤのセンサ電流が１Ｅ−１０Ａから１Ｅ−１５Ａまで急激に変化した場合の電圧信号Ｖｐｄの変化特性を示している。
【０００６】
この特性から、フォトダイオードＰＤへの入射光Ｌｓの光量が少ない１Ｅ−１２Ａ程度のセンサ電流では、１／３０ｓｅｃごとにセンサ信号Ｖｏを出力させるようにする場合、その時間内では電圧信号Ｖｐｄが飽和しないことがわかる。
【０００７】
したがって、フォトダイオードＰＤの入射光Ｌｓの光量が少ないときのセンサ電流に応じた電圧信号Ｖｐｄの飽和時間が長くなるため、図８に示すような読出し信号Ｖｓのパルスタイミングでセンサ信号Ｖｏの読み出しを行うと、当初ほど大きなレベルの出力が残像となってあらわれる。なお、図８中、Ｖｐｄ′は増幅用のトランジスタＱ２によって反転増幅された電圧信号を示している。
【０００８】
そのため従来では、撮影時の入射光量に応じて光電変換素子に流れるセンサ電流をＭＯＳ型トランジスタを用いて弱反転状態で対数出力特性をもって電圧信号に変換するようにした光センサ回路を画素単位として、複数の画素をマトリクス状に配設したイメージセンサにあって、撮影に先がけて各光センサ回路におけるトランジスタＱ１のドレイン電圧ＶＤを所定時間だけ撮影時の定常値よりも低く設定することにより、フォトダイオードＰＤの寄生容量Ｃに蓄積された残留電荷を排出して初期化することにより、センサ電流に急激な変化が生じても即座にそのときの入射光Ｌｓの光量に応じた電圧信号Ｖｐｄが得られるようにして、入射光量が少ない場合でも残像が生ずることがないようにしている（特開２０００−３２９６１６号公報参照）。
【０００９】
このような光センサ回路にあっては、図３に示すように、入射光量に応じてフォトダイオードＰＤに流れるセンサ電流が多いときには対数出力特性を示すが、センサ電流が少ないときにはフォトダイオードＰＤの寄生容量Ｃの充電に応答遅れを生じてほぼ線形の非対数出力特性を示すようになっている。図中、ＷＡは非対数応答領域を示し、ＷＢは対数応答領域を示している。
【００１０】
このような光センサ回路を画素に用いたイメージセンサを車両に搭載して、車両の自動走行の制御のために走行中の道路前方の白線検出を行わせるような場合に、昼夜にわたる撮影や、暗いトンネル内からトンネル出口の明るい部分または明るいトンネル入口からトンネル内の暗い部分を撮影するような苛酷な条件下でも、広いダイナミックレンジをもって路面に対して白線をコントラスト良く写し出すことができるようになる。
【００１１】
しかし、このような対数出力特性をもった光センサ回路を画素に用いたイメージセンサでは、図９に示すように、各画素のセンサ信号の出力範囲がイメージセンサによって撮影された画像を画面に写し出す表示領域ＤＡよりも狭いと、ワイドダイナミックレンジの特性が充分にいかされなくなってしまう。
【００１２】
【発明が解決しようとする課題】
解決しようとする問題点は、画素構成によるイメージセンサ、特に対数出力特性をもった光センサ回路を画素に用いたイメージセンサでは、各画素のセンサ信号の出力範囲がイメージセンサによって撮影された画像を画面に写し出す表示領域よりも狭いと、ワイドダイナミックレンジの特性が充分にいかされなくなってしまうことである。
【００１３】
【課題を解決するための手段】
本発明によるイメージセンサの出力補正装置は、イメージセンサから出力する各画素のセンサ信号をイメージセンサによる撮影画像を画面に写し出す表示領域に即するように補正するべく、イメージセンサによって撮影された画像を画面に写し出す表示領域におけるイメージセンサから出力する各画素のセンサ信号の最小値および最大値を検出する手段と、前記最小値の数フレーム分を記憶して平均化する第１のローパスフィルタと、前記最大値の数フレーム分を記憶して平均化する第２のローパスフィルタと、前記各画素のセンサ信号から前記平均化された最小値を減ずることによってセンサ信号のオフセットを行うオフセット手段と、前記平均化された最小値から最大値までの出力幅を求める減算回路と、前記求められたセンサ信号の出力幅を平均化する第３のローパスフィルタと、前記平均化されたセンサ信号の出力幅が表示領域における最大値または所定値になるようにゲイン補正値をテーブル設定するメモリと、前記オフセットされたセンサ信号に前記ゲイン補正値を乗ずることによってセンサ信号のゲイン調整を行う手段とをとるようにしている。
【００１４】
【実施例】
本発明に係るイメージセンサにあっては、基本的に、前述した図１に示す光センサ回路を画素単位に用いている。
【００１５】
そして、その光センサ回路にあって、撮影に先がけて、対数特性変換用のトランジスタＱ１のドレイン電圧ＶＤを所定時間だけ撮影特の定常値よりも低く設定して、フォトダイオードＰＤの寄生容量Ｃに蓄積された電荷を排出して初期化するようにしている。
【００１６】
図２は、そのときの光センサ回路における各部信号のタイムチャートを示している。ここで、ｔ１は初期化のタイミングを、ｔ２は光信号検出のタイミングを示している。トランジスタＱ１のドレイン電圧ＶＤを定常値（ハイレベルＨ）から低い電圧（ローレベルＬ）に切り換える所定時間ｔｍとしては、例えば１画素分の読出し速度が１００ｎｓｅｃ程度の場合に５μｓｅｃ程度に設定される。図中、ＴはフォトダイオードＰＤの寄生容量Ｃの蓄積期間を示しており、その蓄積期間ＴはＮＴＳＣ信号の場合１／３０ｓｅｃ（または１／６０ｓｅｃ）程度となる。
【００１７】
このようなものにあって、初期化時にＭＯＳトランジスタＱ１のドレイン電圧ＶＤがローレベルＬに切り換えられると、そのときのゲート電圧ＶＧとドレイン電圧ＶＤとの間の電位差がトランジスタＱ１のしきい値よりも大きければトランジスタＱ１が低抵抗状態になる。それにより、そのときのソース側の電位がドレイン電圧ＶＤと同じになり（実際にはしきい値分の電位差が残る）、フォトダイオードＰＤの接合容量Ｃが放電状態になる。
【００１８】
図４は、初期化時におけるトランジスタＱ１の電荷ｑの流れによる動作状態を模擬的に示している。
【００１９】
そして、ｔｍ時間の経過後にそのドレイン電圧ＶＤが定常のハイレベルＨに切り換えられて光信号の検出が行われると、ソース側の電位がドレイン電圧ＶＤよりも低くなって、そのときのゲート電圧ＶＧとドレイン電圧ＶＤとの間の電位差がしきい値よりも大きければＭＯＳトランジスタＱ１が低抵抗状態になり、フォトダイオードＰＤの接合容量Ｃが充電状態になる。
【００２０】
図５は、光信号検出時におけるトランジスタＱ１の電荷ｑの流れによる動作状態を模擬的に示している。
【００２１】
このように光信号の検出に先がけてフォトダイオードＰＤの接合容量Ｃを放電させて初期化したのちにその接合容量Ｃを充電させるようにすると、その初期化のタイミングから一定の時間経過した時点での出力電圧（フォトダイオードＰＤの端子電圧）Ｖｐｄは入射光Ｌｓの光量に応じた値となる。すなわち、初期化後には入射光Ｌｓの光量の変化に追随した一定の時定数による放電特性が得られるようになる。
【００２２】
その際、長時間放置すればドレイン電圧ＶＤからトランジスタＱ１を通して供給される電流とフォトダイオードＰＤを流れる電流とは同じになるが、前に残った電荷がなければ常に同じ放電特性が得られるので残像が生ずることがなくなる。
【００２３】
したがって、初期化してから一定の時間を定めて光信号を検出するようにすれば、入射光Ｌｓの光量に応じた残像のないセンサ信号Ｖｏを得ることができるようになる。
【００２４】
図６はフォトダイオードＰＤのセンサ電流が１Ｅ−１０Ａから１Ｅ−１５Ａまで急激に変化した場合の電圧信号Ｖｐｄの変化特性にあって、初期化してから一定の時間１／３０ｓｅｃ経過後に光信号の検出のタイミングを設定したときを示している。
【００２５】
図７は、１／３０ｓｅｃのタイミングで光信号の読み出しをくり返し行わせたときの電圧信号Ｖｐｄの増幅信号の特性を示している。これによれば、１／３０ｓｅｃごとに得られる信号特性はフォトダイオードＰＤへの入射光Ｌｓの光量に応じたセンサ電流に即したものとなり、残像の影響がないことがわかる。
【００２６】
図１０は、このような光センサ回路を画素単位として、画素をマトリクス状に複数配設して、各画素のセンサ信号の時系列的な読出し走査を行わせるようにしたイメージセンサの具体的な構成例を示している。
【００２７】
そのイメージセンサは、その基本的な構成が、例えば、Ｄ１１〜Ｄ４４からなる４×４の画素をマトリクス状に配設して、各１ライン分の画素列を画素列選択回路１から順次出力される選択信号ＬＳ１〜ＬＳ４によって選択し、その選択された画素列における各画素を、画素選択回路２から順次出力される選択信号ＤＳ１〜ＤＳ４によってスイッチ群３における各対応するスイッチＳＷ１〜ＳＷ４が逐次オン状態にされることによって各画素のセンサ信号Ｖｏが時系列的に読み出されるようになっている。図中、４は各画素における前記トランジスタＱ１のゲート電圧ＶＧ用電源であり、６はドレイン電圧ＶＤ用電源である。
【００２８】
そして、そのイメージセンサにあって、各１ライン分の画素列の選択に際して、その選択された画素列における各画素の前記トランジスタＱ１のドレイン電圧ＶＤを所定のタイミングをもって定常時のハイレベルＨおよび初期化時のローレベルＬに切り換える電圧切換回路５が設けられている。
【００２９】
このように構成されたイメージセンサの動作について、図１１に示す各部信号のタイムチャートとともに、以下説明をする。
【００３０】
まず、画素列選択信号ＬＳ１がハイレベルＨになると、それに対応するＤ１１，Ｄ１２，Ｄ１３，Ｄ１４からなる第１の画素列が選択される。そして、ＬＳ１がハイレベルＨになっている一定期間Ｔ１のあいだ画素選択信号ＤＳ１〜ＤＳ４が順次ハイレベルＨになって、各画素Ｄ１１，Ｄ１２，Ｄ１３，Ｄ１４のセンサ信号Ｖｏが順次読み出される。
【００３１】
次いで、画素列選択信号ＬＳ１がローレベルＬになった時点で次のＬＳ２がハイレベルＨになると、それに対応するＤ２１，Ｄ２２，Ｄ２３，Ｄ２４からなる第２の画素列が選択される。そして、ＬＳ２がハイレベルＨになっている一定期間Ｔ１のあいだ画素選択信号ＤＳ１〜ＤＳ４が順次ハイレベルＨになって、各画素Ｄ２１，Ｄ２２，Ｄ２３，Ｄ２４のセンサ信号Ｖｏが順次読み出される。
【００３２】
以下同様に、画素列選択信号ＬＳ３およびＬＳ４が連続的にハイレベルＨになって各対応する第３および第４の画素列が順次選択され、ＬＳ３およびＬＳ４がそれぞれハイレベルＨになっている一定期間Ｔ１のあいだ画素選択信号ＤＳ１〜ＤＳ４が順次ハイレベルＨになって、各画素Ｄ３１，Ｄ３２，Ｄ３３，Ｄ３４およびＤ４１，Ｄ４２，Ｄ４３，Ｄ４４のセンサ信号Ｖｏが順次読み出される。
【００３３】
また、画素列選択信号ＬＳ１がＴ１期間後にローレベルＬに立ち下がった時点で、そのとき選択されている第１の画素列における各画素Ｄ１１，Ｄ１２，Ｄ１３，Ｄ１４のドレイン電圧ＶＤ１をそれまでのハイレベルＨからローレベルＬに所定時間Ｔ２のあいだ切り換えることによって各画素の初期化が行われ、１サイクル期間Ｔ３の経過後に行われる次サイクルにおけるセンサ信号の読出しにそなえる。
【００３４】
次いで、画素列選択信号ＬＳ２がＴ１期間後にローレベルＬに立ち下がった時点で、そのとき選択されている第２の画素列における各画素Ｄ２１，Ｄ２２，Ｄ２３，Ｄ２４のドレイン電圧ＶＤ１をそれまでのハイレベルＨからローレベルＬに所定時間Ｔ２のあいだ切り換えることによって各画素の初期化が行われ、１サイクル期間Ｔ３の径過後に行われる次サイクルにおけるセンサ信号の読出しにそなえる。
【００３５】
以下同様に、画素列選択信号ＬＳ３およびＬＳ４がそれぞれＴ１期間後にローレベルＬに立ち下がった時点で、そのとき選択されている第３および第４の画素列にそれぞれ対応するドレイン電圧ＶＤ３をローレベルＬに切り換えて各画素の初期化が行われ、１サイクル期間Ｔ３の径過後に行われる次サイクルにおけるセンサ信号の読出しにそなえる。
【００３６】
なお、ここでは画素列選択信号ＬＳＸ（Ｘ＝１〜４）がＴ１期間後にローレベルＬに立ち下がった時点でドレイン電圧ＶＤＸをローレベルＬに切り換えて初期化を行わせるようにしているが、その初期化のタイミングは画素列選択信号ＬＳＸがローレベルＬ状態にある画素列選択の休止期間Ｔ４中であればよい。
【００３７】
本発明は、このように構成されたイメージセンサにあって、図１２（ａ）に示すように、各画素のセンサ信号の出力範囲がイメージセンサによって撮影された画像を画面に写し出す表示装置の表示領域ＤＡよりも狭いと、ワイドダイナミックレンジの特性が充分にいかされなくなってしまうので、図１２（ｂ）に示すように、センサ信号の範囲が表示領域ＤＡの全領域にわたるように、イメージセンサから出力する各センサ信号のオフセットおよびゲイン調整を行わせるようにしている。
【００３８】
そのため、本発明によるイメージセンサの出力補正装置は、イメージセンサによって撮影された画像を画面に写し出す表示領域におけるイメージセンサから出力する各画素のセンサ信号の最小値Ｖｏｍｉｎおよび最大値Ｖｏｍａｘを検出する手段と、その検出されたセンサ信号の最小値Ｖｏｍｉｎが表示領域ＤＡの下限値ＶＬになるようにセンサ信号をオフセットする手段と、検出されたセンサ信号の最小値Ｖｏｍｉｎから最大値Ｖｏｍａｘまでの出力幅ＶＷが表示領域ＤＡにおける最大幅ＷＭになるようにセンサ信号のゲイン調整を行う手段とをとるようにしている。
【００３９】
なお、その場合、センサ信号の範囲が表示領域ＤＡの全領域にわたるようにセンサ信号のゲイン調整を行うだけではなく、その表示領域ＤＡの任意の範囲にわたるようにするべく、センサ信号の最小値から最大値までの出力幅が表示領域における予め設定された所定の幅になるようにセンサ信号のゲイン調整を行うようにすることも可能である。
【００４０】
図１３は、本発明によるイメージセンサの出力補正装置の具体的な一構成例を示している。
【００４１】
ここでは、その出力補正装置１５が、イメージセンサ８から出力する各画素のセンサ信号Ｖｏの最大値Ｖｏｍａｘを検出する最大値検出回路１５１およびセンサ信号Ｖｏの最小値Ｖｏｍｉｎを検出する最小値検出回路１５２と、その検出された最大値Ｖｏｍａｘの数フレーム分を記憶して急峻な変化を吸収して平均化するローパスフィルタ１５３および検出された最小値Ｖｏｍｉｎの数フレーム分を記憶して急峻な変化を吸収して平均化するローパスフィルタ１５４と、センサ信号Ｖｏからその平均化された最小値Ｖｏｍｉｎを減ずることによってセンサ信号Ｖｏのオフセットを行わせるオフセット補正回路１５５と、その平均化された最小値Ｖｏｍｉｎ′から最大値Ｖｏｍａｘ′までの出力幅ＶＷを求める減算回路１５６と、その求められたセンサ信号の出力幅ＶＷを平均化するローパスフィルタ１５７と、その平均化されたセンサ信号の出力幅ＶＷ′に応じた所定のゲイン補正値Ｇを読み出すルックアップ用のメモリ１５８と、オフセット補正されたセンサ信号Ｖｏｏにその読み出されたゲイン補正値Ｇを乗ずることによってゲイン調整を行うゲイン補正回路１５９とによって構成されている。Ｖｏａは、センサ信号Ｖｏのオフセットおよびゲイン調整された補正信号を示している
【００４２】
ローパスフィルタ１５３，１５４および１５７としては、ＦＩＲフィルタ、ＩＩＲフィルタまたは移動平均フィルタなどが用いられる。ローパスフィルタ１５７は、特にこれを設けなくともよい。
【００４３】
ルックアップ用のメモリ１５８には、予めセンサ信号の出力幅ＶＷ′に応じて、その出力幅ＶＷ′が表示領域ＤＡの全領域にわたるようにゲイン調整を行うためのゲイン補正値Ｇの特性がテーブル設定されている。
【００４４】
その際、センサ信号Ｖｏの出力幅ＶＷ′が表示領域ＤＳの任意の範囲にわたるようにする場合には、そのようにゲイン調整を行うためのゲイン補正値Ｇの特性がテーブル設定されている。
【００４５】
メモリ１５８にテーブル設定されたセンサ信号の出力幅ＶＷ′に応じた所定のゲイン補正値Ｇの特性を任意に設定することによって、ゲイン調整されるセンサ信号のカーブを適宜変化させることができるようになる。
【００４６】
ルックアップ用のメモリ１５８を用いる代わりに除算器を用いて、表示領域における最大幅をセンサ信号の出力幅ＶＷ′によって除算することによって、ゲイン補正値Ｇを演算処理によって求めるようにすることも可能である。
【００４７】
また、本発明は、図１４に示すように、センサ信号の出力幅ＶＷを予め設定されたしきい値Ｖｓで分割して（同図ａ）、各分割領域ごとにセンサ信号のオフセットおよびゲイン調整を行わせるようにしている（同図ｂ）。
【００４８】
図１５は、その場合におけるイメージセンサの出力補正装置の構成例を示している。
【００４９】
ここでは、イメージセンサ８から出力する各画素のセンサ信号Ｖｏを信号分割回路１６において所定のしきい値Ｖｓによって分割して、その一方の分割信号Ｖｏ１を図１３と同じ構成による出力補正装置１５Ａによってオフセットおよびゲイン調整を行わせ、他方の分割信号Ｖｏ２を図１３と同じ構成による出力補正装置１５Ｂによってオフセットおよびゲイン調整を行わせるようにしている。そして、そのそれぞれ補正された各分割信号Ｖｏ１′およびＶｏ２′を合成回路１７によって合成するようにしている。
【００５０】
その際、出力補正装置１５Ａにおいて一方の分割信号Ｖｏ１のオフセットおよびゲイン調整を行わせる場合、その分割信号Ｖｏ１の最大値がしきい値Ｖｓとなる。また、出力補正装置１５Ｂにおいて他方の分割信号Ｖｏ２のオフセットおよびゲイン調整を行わせる場合、その分割信号Ｖｏ２の最小値がしきい値Ｖｓとなる。
【００５１】
さらに、本発明は、図１６に示すように、センサ信号をいったんオフセットおよびゲイン調整したうえで、その補正がなされたセンサ信号の出力幅ＶＷ′を予め設定されたしきい値Ｖｓ′で分割して（同図ｂ）、各分割領域ごとにセンサ信号のオフセットおよびゲイン調整を行わせるようにしている（同図ｃ）。
【００５２】
図１７は、その場合におけるイメージセンサの出力補正装置の構成例を示している。
【００５３】
ここでは、イメージセンサ８から出力する各画素のセンサ信号Ｖｏを図１３と同じ構成による出力補正装置１５Ａによってオフセットおよびゲイン調整を行わせたうえで、その補正されたセンサ信号Ｖｏａを信号分割回路１６において所定のしきい値Ｖｓ′によって分割して、その一方の分割信号Ｖｏ１′を図１３と同じ構成による出力補正装置１５Ｂによってオフセットおよびゲイン調整を行わせ、他方の分割信号Ｖｏ２′を図１３と同じ構成による出力補正装置１５Ｃによってオフセットおよびゲイン調整を行わせるようにしている。そして、そのそれぞれ補正された各分割信号Ｖｏ１″およびＶｏ２″を合成回路１７によって合成するようにしている。
【００５４】
その際、出力補正装置１５Ｂにおいて一方の分割信号Ｖｏ１′のオフセットおよびゲイン調整を行わせる場合、その分割信号Ｖｏ１′の最大値がしきい値Ｖｓ′となる。また、出力補正装置１５Ｃにおいて他方の分割信号Ｖｏ２′のオフセットおよびゲイン調整を行わせる場合、その分割信号Ｖｏ２′の最小値がしきい値Ｖｓ′となる。
【００５５】
また、本発明では、図３に示す出力特性をもった光センサ回路を画素に用いるのでは、非対数応答領域ＷＢがあるために低照度時に対数出力特性が失われてコントラストが低下してしまうので、その非対数応答領域ＷＢの出力特性を対数特性に変換する手段を設けて、全領域にわたって対数出力特性が得られるように変換されたセンサ信号を、前述したようにオフセットおよびゲイン調整するようにしている。
【００５６】
具体的には、図１８に示すように、イメージセンサ８から時系列的に読み出される各画素のセンサ信号ＶｏをＡＤ変換器１３によってデジタル信号に変換したうえで、予めそのデジタル信号の値に応じて所定の出力が得られるように入出力特性の変換テーブルが設定されたルックアップ用のメモリ１４を用いて非対数応答領域の出力特性を対数特性に変換するようにしている。
【００５７】
図１９は、光センサ回路から出力するセンサ信号Ｖｏの非対数応答領域の出力特性を対数特性に変換して、低照度から高照度までの全領域にわたって対数特性を示すように補正したセンサ信号Ｖｏ′を示している。
【００５８】
また、センサ信号Ｖｏのデジタル値に応じてルックアップメモリ１４を用いて非対数応答領域の出力特性を対数特性に変換するに際して、例えばその変換データを１バイト（８ビット）で表現する系統の場合、８ビットで表現可能な領域ごとに分割するようにする。
【００５９】
その場合、図示しないコントローラの制御下において、各分割した信号にそれぞれ識別符号を付すことによって、変換された信号を利用する側からも各分割された信号を識別することができるようにする。また、そのコントローラの制御下で、信号利用側からの求めに応じて分割する領域を切り換えることができるようにしている。
【００６０】
図２０は、光センサ回路から出力するセンサ信号Ｖｏを、任意の入射光量を境として、２つに分割してそれぞれ特性をＶｏ１′，Ｖｏ２′に切り替えた場合を示している。
【００６１】
また、センサ信号Ｖｏの非対数応答領域の感度を上げて出力特性を対数特性に変換するようにすると、センサ信号Ｖｏに含まれるノイズも増幅されて、ノイズが強調されたセンサ信号に変換されてしまう。
【００６２】
その際、対数特性に変換されたセンサ信号Ｖｏにフィルタをかけてノイズを除去することが考えられるが、その際全領域にわたってフィルタをかけると、イメージセンサの出力画像の全体がぼやけたものになってしまう。
【００６３】
そのため、本発明では、センサ信号Ｖｏ′における対数特性に変換された低照度時の出力信号の部分、すなわちもとのセンサ信号Ｖｏにおける非対数応答領域に対応する部分のみにフィルタをかけてノイズ除去を行うようにしている。
【００６４】
このようなフィルタ処理を行うことによって、センサ信号Ｖｏの非対数応答領域の感度を上げて出力特性を対数特性に変換する際して増幅されたノイズ成分が有効に除去される。したがって、それ以外のノイズが増幅されていない部分に同様のフィルタ処理が不必要に行われず、イメージセンサの出力画像の全体がぼやけるようなことがなくなり、ノイズ成分が有効に除去されたコントラストの良い処理画像が得られるようになる。
【００６５】
また、本発明は、センサ信号Ｖｏ′における対数特性に変換された低照度時の出力信号の部分のみにフィルタをかけてノイズ除去を行わせるに際して、光センサ回路における非対数応答領域の出力特性を対数特性に変換する度合、すなわち入出力特性変換用のメモリ１４における増幅率に応じてフィルタ特性を変化させるようにしている。
【００６６】
このように、メモリ１４の増幅率に即したフィルタ特性をもってノイズ除去を行わせることにより、ノイズ除去の過不足を生ずることなく、センサ信号Ｖｏの入出力特性変換時に増幅されたノイズ成分を適切に除去することができるようになる。
【００６７】
また、入出力特性変換時の増幅率が大きいと、図２１に示すように、デジタル信号による各隣接する画素間のセンサ信号が離散的となってイメージセンサの出力画像の画質が悪くなってしまうが、このフィルタ処理を行わせることによって、各隣接する画素間のセンサ信号が平滑化されてセンサ信号の連続性が良くなる。
【００６８】
本発明のフィルタ処理には、一般的なノイズ除去のためのフィルタが広く用いられる。
【００６９】
図２２は、ＩＩＲローパスフィルタの一例を示している。他にもＦＩＲフィルタ等が用いられる。
【００７０】
図２３は、隣り合う画素の出力の平均値を求めて高周波成分を除去する方式（移動平均処理）によるフィルタ処理回路の一例を示している。画像信号は連続性を有していることから、隣接する画素と比較して急峻に変化する信号はノイズとして扱うことが可能である。
【００７１】
図２４は、フレームメモリＦＭを複数用いて、同一位置の画素の出力に対してフィルタ処理するようにしたものである。使用するフィルタとしては、図２２や図２３に示すものが用いられる。
【００７２】
図２５ないし図２８は、センサ信号Ｖｏ′における対数特性に変換された低照度時の出力信号の部分のみにフィルタをかけてノイズ除去を行わせるようにしたときの具体的なフィルタ処理回路の構成例をそれぞれ示している。
【００７３】
図２５に示すフィルタ処理回路では、比較回路２１に予め入出力変換されたセンサ信号Ｖｏ′の切替点となる信号値が設定されており、イメージセンサの各画素から時系列的に送られてくるセンサ信号Ｖｏ′の値によって信号切替回路２２の切り替えを行いながら、対数特性に変換された低照度時の出力信号のみをローパスフィルタ２３によって処理した信号と、センサ信号Ｖｏ′における他の部分における何らフィルタ処理しない信号とを選択的に出力するように構成している。
【００７４】
図２６に示すフィルタ処理回路では、ローパスフィルタ２３によって処理した信号の値と比較回路２１に設定された値とを比較して信号の切り替えを行わせるようにしている。
【００７５】
また、図２７および図２８にそれぞれ示すフィルタ処理回路では、入出力特性変換時の増幅率に応じてフィルタ特性を変化させながら、センサ信号Ｖｏ′における対数特性に変換された低照度時の出力信号の部分のみのフィルタ処理を行わせることができるようにしている。
【００７６】
図２７に示すフィルタ処理回路では、比較回路２１′に複数の値が設定されており、その各設定値とセンサ信号Ｖｏ′とをそれぞれ比較して、信号切替回路２２においてそれぞれフィルタ特性の異なる複数のローパスフィルタ２３−１〜２３−４による各処理信号のうちの一つを選択的に出力する構成となっている。
【００７７】
図２８に示すフィルタ処理回路では、複数設けられたローパスフィルタ２３−１〜２３−４のうちの特定のローパスフィルタ２３−３によって処理された信号の値と比較回路２１に設定された値とを比較して、信号切替回路２２においてそれぞれフィルタ特性の異なる複数のローパスフィルタ２３−１〜２３−４による各処理信号のうちの一つを選択的に出力する構成となっている。
【００７８】
なお、図２７および図２８に示すフィルタ処理回路ではそれぞれフィルタ特性の異なる複数のローパスフィルタ２３−１〜２３−４による各処理信号のうちの一つを選択的に出力するようにしているが、１つのローパスフィルタ２３におけるフィルタ特性の定数を切り換えるようにしてもよい。
【００７９】
図１に示すような光センサ回路を画素単位に用いたイメージセンサでは、図２９に示すように、各画素の構造上からくる出力特性のバラツキを生じてしまい、その出力特性が揃うように各画素の出力補正を行う必要があるものになっている。図中、Ｉｏは入射光がないときにフォトダイオードＰＤに流れる暗電流に応じた暗時のセンサ電流を示している。
【００８０】
各画素の出力特性のバラツキの要因としては、主として、トランジスタＱ１のサブスレッショルド領域の特性を利用して入射光Ｌｓの光量に応じた電圧信号Ｖｐｄを生じさせるに際して、そのトランジスタＱ１のサブスレッショルド値が画素ごとに異なるためである。また、各画素にあって対数変換された電圧信号を高インピーダンスをもって増幅して出力させる必要があるが、その増幅用トランジスタＱ２の特性の不揃いも各画素の出力のバラツキの要因となっている。
【００８１】
各画素の出力特性のバラツキを補正する手段が本願と同一の出願人によって提案されている（特願２０００−４０４９３１、特願２０００−４０４９３３、特願２００１−７５０３５、特願２００１−７５０３６）。
【００８２】
本発明では、各画素の出力特性のバラツキを補正したうえで、前述した各画素から時系列的に出力するセンサ信号Ｖｏを前述のようにオフセットおよびゲイン調整するようにしている。
【００８３】
あるいはまた、各画素の出力特性のバラツキを補正したうえで、前述のように完全な対数特性に変換する処理を行い、その変換されたセンサ信号Ｖｏ′をオフセットおよびゲイン調整するようにしている。
【００８４】
図３０は、イメージセンサにおける各画素の出力特性のバラツキを補正するための具体的な構成を示している。
【００８５】
それは、イメージセンサ８および各画素のセンサ信号を時系列的に読み出すための駆動制御を行うＥＣＵ９と、イメージセンサ８から時系列的に出力する各画素のセンサ信号Ｖｏをデジタル信号に変換するＡＤ変換器１０と、予め各画素の特性に応じたオフセット補正値ＯＦＳおよびゲイン補正のための乗数ＭＬＴが設定されており、ＥＣＵ９から与えられるセンサ信号読出し時における画素のアドレス（Ｘ，Ｙ）の信号ＡＤＤＲＥＳＳに応じて所定のオフセット補正値ＯＦＳおよび乗数ＭＬＴを読み出すメモリ１１と、そのメモリ１１から読み出されたオフセット補正値ＯＦＳおよび乗数ＭＬＴにもとづいてデジタル信号に変換されたセンサ信号ＤＳのオフセット補正およびゲイン補正の各演算処理を行う出力補正回路１２とによって構成されている。
【００８６】
イメージセンサ８から時系列的に出力する各画素のセンサ信号Ｖｏとしては、前述したように、各画素におけるトランジスタＱ１のゲート電圧ＶＧが撮影時の定常値よりも高い値に切り換えられたときの暗時の出力と、光をしゃ断した状態での各画素におけるトランジスタＱ１のゲート電圧ＶＧおよびドレイン電圧ＶＤが撮影時の定常値よりも低い値にそれぞれ切り換えられたときの明時の出力とが採用される。
【００８７】
図２６は、３つの画素の構成上からくる各センサ信号Ａ，Ｂ，Ｃの出力特性のバラツキ状態の一例を示している。ここで、画素出力のしきい値Ｈに応じたセンサ電流の値Ｉｍは各画素のセンサ信号信号Ａ，Ｂ，Ｃが非対数応答領域ＷＡから対数応答領域ＷＢに切り換わる点を示している。また、Ｉｏは暗時のセンサ電流を示している。
【００８８】
ここでは、このような非対数応答領域ＷＡにおける各画素のセンサ信号の出力特性の形状がほぼ同一で、対数応答領域ＷＢにおける各画素のセンサ信号の出力特性の傾きがそれぞれ異なるときのイメージセンサの出力補正を行わせる場合を示している。各画素のパラメータとして、それぞれの各センサ信号が非対数応答領域ＷＡから対数応答領域ＷＢに切り換わる点の情報と、暗時の画素出力とを用いている。
【００８９】
図３１は、出力補正回路１２における処理のフローを示している。
【００９０】
メモリ１１には、センサ電流がＩｍの値のときに画素出力がＨとなるようなオフセット補正値ＯＦＳが設定されている。そして、オフセット補正部１２１において、そのオフセット補正値ＯＦＳを用いた加減算処理をなすことによって各画素のデジタル信号に変換されたセンサ信号ＤＳのオフセット補正を行わせると、図３３に示すように、各画素のセンサ信号Ａ，Ｂ，Ｃにおける非対数応答領域ＷＡの特性が一致するようになる。
【００９１】
次に、そのオフセット補正されたセンサ信号ＤＳ１にもとづき、ゲイン補正部１２２において、しきい値Ｈ以上の対数応答領域ＷＢに対してゲイン補正のための乗算処理を行う。
【００９２】
具体的には、オフセット補正されたセンサ信号ＤＳ１がしきい値Ｈ以上であるか否かを判断して、しきい値Ｈ以上であれば、すなわちセンサ信号ＤＳ１が対数応答領域ＷＢにあれば、メモリ１０から読み出されたゲイン補正のための所定の乗数ＭＬＴを用いて、
出力←Ｈ＋（センサ信号ＤＳ１−Ｈ）×乗数
なる演算を行って、その演算結果を出力補正されたセンサ信号ＤＳ２として出力する。
【００９３】
このような各画素のセンサ信号Ａ，Ｂ，Ｃのゲイン補正が行われた結果、図３４に示すように、対数応答領域ＷＢの特性が一致するようになる。
【００９４】
また、その際、オフセット補正されたセンサ信号ＤＳ１がしきい値Ｈよりも小さければ、すなわちセンサ信号ＤＳ１が非対数応答領域ＷＡにあれば、そのままオフセット補正されたセンサ信号ＤＳ１を出力補正されたセンサ信号ＤＳ２として出力する。
【００９５】
図３６は、３つの画素の構成上からくる各センサ信号Ａ，Ｂ，Ｃの出力特性のバラツキ状態の他の例を示している。
【００９６】
ここでは、このような対数応答領域ＷＢにおける各センサ信号の出力特性の傾きがほぼ同一で、非対数応答領域ＷＡにおける各センサ信号の出力特性の形状がそれぞれ異なるときにイメージセンサの出力補正を行わせる場合を示している。
【００９７】
図３５は、出力補正回路１２における処理のフローを示している。
【００９８】
メモリ１１には、センサ電流がＩｍの値のときに画素出力がＨとなるようなオフセット補正値ＯＦＳが設定されている。そして、オフセット補正部１２１において、そのオフセット補正値ＯＦＳを用いた加減算処理をなすことによって各画素のデジタル信号に変換されたセンサ信号ＤＳのオフセット補正を行わせると、図３７に示すように、各画素のセンサ信号Ａ，Ｂ，Ｃにおける対数応答領域ＷＢの特性が一致するようになる。
【００９９】
次に、そのオフセット補正されたセンサ信号ＤＳ１にもとづき、ゲイン補正部１１２において、しきい値Ｈ以下の非対数応答領域ＷＡに対してゲイン補正のための乗算処理を行う。
【０１００】
具体的には、オフセット補正されたセンサ信号ＤＳ１がしきい値Ｈ以下であるか否かを判断して、しきい値Ｈ以下であれば、すなわちセンサ信号ＤＳ１が非対数応答領域ＷＡにあれば、メモリ１０から読み出されたゲイン補正のための所定の乗数ＭＬＴを用いて、
出力←Ｈ−（Ｈ−センサ信号ＤＳ１）×乗数
なる演算を行って、その演算結果を出力補正されたセンサ信号ＤＳ２として出力する。
【０１０１】
このような各画素のセンサ信号Ａ，Ｂ，Ｃのゲイン補正が行われた結果、図３８に示すように、非対数応答領域ＷＡの特性が一致するようになる。
【０１０２】
また、その際、オフセット補正されたセンサ信号ＤＳ１がしきい値Ｈよりも大きければ、すなわちセンサ信号ＤＳ１が対数応答領域ＷＢにあれば、そのままオフセット補正されたセンサ信号ＤＳ１を出力補正されたセンサ信号ＤＳ２として出力する。
【０１０３】
図４０は、イメージセンサ８における各画素の構成上からくるセンサ信号Ａ，Ｂ，Ｃの出力特性のバラツキ状態のさらに他の例を示している。
【０１０４】
ここでは、対数応答領域ＷＢにおける各センサ信号Ａ，Ｂ，Ｃの出力特性の傾きがそれぞれ異なるとともに、非対数応答領域ＷＡにおける各センサ信号Ａ，Ｂ，Ｃの出力特性の形状がそれぞれ異なる場合を示している。
【０１０５】
このような場合には、図３９の出力補正回路１２における処理のフローに示すように、前述した図３１および図３５に示す各処理を組み合せて行わせることによって、各センサ信号Ａ，Ｂ，Ｃのオフセット補正およびゲイン補正が逐次なされて最終的に非対数応答領域ＷＡおよび対数応答領域ＷＢの特性が一致したセンサ信号ＤＳ２′が得られるようになる。
【０１０６】
【発明の効果】
以上、本発明によるイメージセンサの出力補正装置は、イメージセンサによって撮影された画像を画面に写し出す表示領域におけるイメージセンサから出力する各画素のセンサ信号の最小値および最大値を検出する手段と、前記最小値の数フレーム分を記憶して平均化する第１のローパスフィルタと、前記最大値の数フレーム分を記憶して平均化する第２のローパスフィルタと、前記各画素のセンサ信号から前記平均化された最小値を減ずることによってセンサ信号のオフセットを行うオフセット手段と、前記平均化された最小値から最大値までの出力幅を求める減算回路と、前記求められたセンサ信号の出力幅を平均化する第３のローパスフィルタと、前記平均化されたセンサ信号の出力幅が表示領域における最大値または所定値になるようにゲイン補正値をテーブル設定するメモリと、前記オフセットされたセンサ信号に前記ゲイン補正値を乗ずることによってセンサ信号のゲイン調整を行う手段とをとるようにしたもので、イメージセンサから出力する各画素のセンサ信号を、イメージセンサによる撮影画像を画面に写し出す表示領域に即するように補正することができ、ダイナミックレンジの広い特性をもったイメージセンサによる撮影画像を充分にいかしたコントラストの良い画像を画面に表示させることができるという利点を有している。
【０１０７】
また、本発明は、センサ信号の出力幅を予め設定されたしきい値で分割して、各分割領域ごとにオフセットおよびゲイン調整を行わせるか、または、センサ信号をいったんオフセットおよびゲイン調整したうえで、その補正されたセンサ信号の出力幅を予め設定されたしきい値で分割して、各分割領域ごとにオフセットおよびゲイン調整を行わせるようにしたもので、各分割領域ごとに表示領域に即するように任意の対数特性をもったセンサ信号に変換することができるという利点を有している。
【図面の簡単な説明】
【図１】本発明に係るイメージセンサに用いられる１画素分の光センサ回路を示す電気回路図である。
【図２】光センサ回路における各部信号のタイムチャートである。
【図３】光センサ回路の初期化を行わせたときの入射光量に応じたセンサ電流に対するセンサ信号の出力特性を示す図である。
【図４】光センサ回路の初期化時におけるトランジスタＱ１の電荷ｑの流れによる動作状態を模擬的に示す図である。
【図５】光センサ回路の光信号検出時におけるトランジスタＱ１の電荷ｑの流れによる動作状態を模擬的に示す図である。
【図６】光センサ回路におけるフォトダイオードＰＤのセンサ電流が変化したときの各電圧信号Ｖｐｄの変化特性を示す図である。
【図７】光センサ回路において所定のタイミングで光信号の読み出しをくり返し行わせたときの電圧信号Ｖｐｄの増幅信号の特性を示す図である。
【図８】初期化を行わないときの光センサ回路における入射光量が少ないときに所定のタイミングで読み出される画信号の出力特性を示す図である。
【図９】表示装置の表示領域における光センサ回路から出力するセンサ信号の出力範囲を示す特性図である。
【図１０】本発明に係るイメージセンサの具体的な構成例を示すブロックである。
【図１１】そのイメージセンサにおける各部信号のタイムチャートである。
【図１２】本発明によって光センサ回路からのセンサ信号の出力範囲が表示装置における表示領域の全域にわたるように補正するときのセンサ信号の処理状態の一例を示す特性図である。
【図１３】本発明によるイメージセンサの出力補正装置の一実施例を示すブロック構成図である。
【図１４】本発明によって光センサ回路からのセンサ信号の出力範囲がその分割領域ごとに表示装置における表示領域の全域にわたるように補正するときのセンサ信号の処理状態の他の例を示す特性図である。
【図１５】本発明によるイメージセンサの出力補正装置の他の実施例を示すブロック構成図である。
【図１６】本発明によって光センサ回路からのセンサ信号の出力範囲がその分割領域ごとに表示装置における表示領域の全域にわたるように補正するときのセンサ信号の処理状態のさらに他の例を示す特性図である。
【図１７】本発明によるイメージセンサの出力補正装置のさらに他の実施例を示すブロック構成図である。
【図１８】図３に示すセンサ回路から出力するセンサ信号を全領域にわたって対数出力特性に変換するための具体的な構成例を示すブロック図である。
【図１９】光センサ回路から出力するセンサ信号を全領域にわたって対数特性に変換した特性図である。
【図２０】光センサ回路から出力するセンサ信号を任意の点で分割してそれぞれ対数特性に変換した特性図である。
【図２１】イメージセンサにおける各画素のデジタル化されたセンサ信号が離散的になっている状態の一例を示す図である。
【図２２】一般的なローパスフィルタの一構成例を示す電気回路図である。
【図２３】隣接画素の出力の平均値を求めて高周波成分を除去する方式によるフィルタ処理を行うときの一構成例を示すブロック図である。
【図２４】複数のフレームメモリを用いて、同一画素についてフィルタ処理を行うときの一構成例を示すブロック図である。
【図２５】対数特性に変換されたセンサ信号のフィルタ処理を行うときの一構成例を示すブロック図である。
【図２６】対数特性に変換されたセンサ信号のフィルタ処理を行うときの他の構成例を示すブロック図である。
【図２７】対数特性に変換されたセンサ信号をフィルタ特性を変化させながらフィルタ処理するときの一構成例を示すブロック図である。
【図２８】対数特性に変換されたセンサ信号をフィルタ特性を変化させながらフィルタ処理するときの他の構成例を示すブロック図である。
【図２９】イメージセンサにおける各画素の出力特性のバラツキ状態の一例を示す図である。
【図３０】イメージセンサにおける各画素の出力のバラツキを補正するための具体的な構成例を示すブロック図である。
【図３１】図３０の構成における出力補正回路における処理のフローの一例を示す図である。
【図３２】イメージセンサにおける各画素の構成上からくるセンサ信号の出力特性のバラツキ状態の一例を示す特性図である。
【図３３】図３２に示す出力特性のバラツキをもった各画素のセンサ信号をオフセット補正した結果を示す特性図である。
【図３４】図３０に示す出力特性のバラツキをもった各画素のセンサ信号をオフセット補正およびゲイン補正した結果を示す特性図である。
【図３５】図３０の出力補正回路における処理のフローの他の例を示す図である。
【図３６】イメージセンサにおける各画素の構成上からくるセンサ信号の出力特性のバラツキ状態の他の例を示す特性図である。
【図３７】図３６に示す出力特性のバラツキをもった各画素のセンサ信号をオフセット補正した結果を示す特性図である。
【図３８】図３６に示す出力特性のバラツキをもった各画素のセンサ信号をオフセット補正およびゲイン補正した結果を示す特性図である。
【図３９】図３０の出力補正回路における処理のフローのさらに他の例を示す図である。
【図４０】イメージセンサにおける各画素の構成上からくるセンサ信号の出力特性のバラツキ状態のさらに他の例を示す特性図である。
【符号の説明】
８ イメージセンサ
１５ 出力補正装置
１５１ 最大値検出回路
１５２ 最小値検出回路
１５３ ローパスフィルタ
１５４ ローパスフィルタ
１５５ オフセット補正回路
１５６ 減算回路
１５７ ローパスフィルタ
１５８ ルックファップ用メモリ
１５９ ゲイン補正回路
１５Ａ 出力補正装置
１５Ｂ 出力補正装置
１６ 信号分割回路
１７ 合成回路
Claims (5)
- イメージセンサによって撮影された画像を画面に写し出す表示領域におけるイメージセンサから出力する各画素のセンサ信号の最小値および最大値を検出する手段と、前記最小値の数フレーム分を記憶して平均化する第１のローパスフィルタと、前記最大値の数フレーム分を記憶して平均化する第２のローパスフィルタと、前記各画素のセンサ信号から前記平均化された最小値を減ずることによってセンサ信号のオフセットを行うオフセット手段と、前記平均化された最小値から最大値までの出力幅を求める減算回路と、前記求められたセンサ信号の出力幅を平均化する第３のローパスフィルタと、前記平均化されたセンサ信号の出力幅が表示領域における最大値または所定値になるようにゲイン補正値をテーブル設定するメモリと、前記オフセットされたセンサ信号に前記ゲイン補正値を乗ずることによってセンサ信号のゲイン調整を行う手段とによって構成されたイメージセンサの出力補正装置。
- センサ信号の出力幅を予め設定されたしきい値で分割して、各分割領域ごとにセンサ信号のオフセットおよびゲイン調整を行わせるようにしたことを特徴とする請求項１の記載によるイメージの出力補正装置。
- センサ信号をいったんオフセットおよびゲイン調整したうえで、その補正がなされたセンサ信号の出力幅を予め設定されたしきい値で分割して、各分割領域ごとにセンサ信号のオフセットおよびゲイン調整を行わせるようにしたことを特徴とする請求項１の記載によるイメージの出力補正装置。
- イメージセンサにおける各画素が、撮影時の入射光量に応じて光電変換素子に流されるセンサ電流をトランジスタのサブスレッシュ領域の特性を利用した弱反転状態で対数特性をもって電圧信号に変換して、その変換された電圧信号に応じたセンサ信号を出力するものであることを特徴とする請求項１に記載によるイメージセンサの出力補正装置。
- 撮影に先がけて、イメージセンサにおける各画素の光電変換素子の寄生容量に過剰電荷を流入させて初期化するようにしたことを特徴とする請求項１に記載によるイメージセンサの出力補正装置。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002167861A JP3975396B2 (ja) | 2002-05-02 | 2002-05-02 | イメージセンサの出力補正装置 |
| US10/512,936 US7667760B2 (en) | 2002-05-02 | 2003-04-14 | Image sensor output correction device |
| AU2003236261A AU2003236261A1 (en) | 2002-05-02 | 2003-04-14 | Image sensor output correction device |
| TW092108500A TWI220365B (en) | 2002-05-02 | 2003-04-14 | Output correcting device for image sensor |
| PCT/JP2003/004726 WO2003094110A1 (fr) | 2002-05-02 | 2003-04-14 | Dispositif de correction de la sortie d'un capteur d'image |
| US10/512,811 US20050278369A1 (en) | 2002-05-02 | 2004-03-03 | Information processing system, information processing apparatus, method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002167861A JP3975396B2 (ja) | 2002-05-02 | 2002-05-02 | イメージセンサの出力補正装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003323608A JP2003323608A (ja) | 2003-11-14 |
| JP3975396B2 true JP3975396B2 (ja) | 2007-09-12 |
Family
ID=29545910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002167861A Expired - Fee Related JP3975396B2 (ja) | 2002-05-02 | 2002-05-02 | イメージセンサの出力補正装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3975396B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4595330B2 (ja) * | 2004-01-19 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| WO2006098374A1 (ja) * | 2005-03-15 | 2006-09-21 | Omron Corporation | 撮像装置、信号処理装置及び信号処理方法 |
| JP4626888B2 (ja) * | 2005-11-18 | 2011-02-09 | 富士ゼロックス株式会社 | 原稿判定装置、原稿読み取り装置、画像形成装置及び原稿判定方法 |
| FR2914464B1 (fr) * | 2007-03-30 | 2009-05-01 | Commissariat Energie Atomique | Procede de correction de bruit spatial de capteur d'image par bornage des luminances. |
| EP2432016A1 (de) * | 2010-09-16 | 2012-03-21 | Siemens Aktiengesellschaft | Verfahren und Vorrichtung zum Messen einer Belichtungsdifferenz |
-
2002
- 2002-05-02 JP JP2002167861A patent/JP3975396B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003323608A (ja) | 2003-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7889253B2 (en) | Wide dynamic range image sensor | |
| US8023004B2 (en) | Imaging apparatus, imaging method, and program for selectively controlling gain in a normal imaging mode and a combined imaging mode | |
| US20090278945A1 (en) | Method and apparatus for image stabilization using multiple image captures | |
| JP3803924B2 (ja) | イメージセンサ | |
| JPWO2002045414A1 (ja) | イメージセンサの出力補正装置 | |
| WO2003094110A1 (fr) | Dispositif de correction de la sortie d'un capteur d'image | |
| JP3975396B2 (ja) | イメージセンサの出力補正装置 | |
| JP2000175108A (ja) | イメ―ジセンサの出力補正回路 | |
| CN113728619A (zh) | 摄像装置以及图像调整方法 | |
| JP4026127B2 (ja) | イメージセンサの出力補正装置 | |
| US8169503B2 (en) | Image pickup apparatus and control method for selecting a flicker control method | |
| JP3861244B2 (ja) | 画像処理装置 | |
| JPWO2002091736A1 (ja) | イメージセンサの出力補正装置 | |
| JP2004229257A (ja) | イメージセンサ | |
| JP2003324657A (ja) | イメージセンサの出力補正装置 | |
| JP2021005775A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4616527B2 (ja) | イメージセンサの出力補正装置 | |
| JP3963008B2 (ja) | イメージセンサの出力補正装置 | |
| JP4432017B2 (ja) | イメージセンサの出力補正装置 | |
| JP4658388B2 (ja) | イメージセンサの出力補正装置 | |
| JP2005323073A (ja) | イメージセンサの出力補正装置 | |
| JP2004242264A (ja) | イメージセンサ | |
| JP4884423B2 (ja) | 画像信号の固定パターンノイズ除去装置及び方法 | |
| JP2002312781A (ja) | 画像処理装置 | |
| JP2004140767A (ja) | イメージセンサ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070123 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070323 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070522 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070606 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3975396 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130629 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130629 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140629 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |