JP4884423B2 - 画像信号の固定パターンノイズ除去装置及び方法 - Google Patents

Description

本発明は、線形および非線形の入出力特性を有する撮像装置で得られた画像信号から固定パターンノイズを除去する装置及び方法に関する。

図１８は、ＭＯＳ型イメージセンサを構成する複数の画素のうちの１画素の回路を示している。ＰＤは入射光量に応じたセンサ電流を発生するフォトダイオード、ＣはフォトダイオードＰＤの寄生容量である。Ｑ１は、サブスレショールド領域（ゲート電圧Ｖｇが閾値以下の領域）でフォトダイオードＰＤに流れるセンサ電流を対数出力特性をもって電圧に変換するトランジスタ、Ｑ２は対数変換された電圧を増幅するトランジスタ、Ｑ３はゲートに与えられる読み出し信号Ｖｓのタイミングで出力電圧Ｖｏを出力するトランジスタである。ＶｄはトランジスタＱ１のドレイン電圧である。

このようなイメージセンサにおいて、フォトダイオードＰＤに充分な光量の光が入射しているときは、トランジスタＱ１に充分な電流が流れるので、残像が生じないような充分な応答速度で光信号の検出を行うことができる。しかし、フォトダイオードＰＤの入射光の光量が少なくなって、トランジスタＱ１に流れる電流が小さくなると、トランジスタＱ１の抵抗値が増大し、当該抵抗とフォトダイオードＰＤの寄生容量Ｃとによる時定数が大きくなる結果、寄生容量Ｃに蓄積された電荷を放電するのに時間がかかる。このため、入射光の光量が少なくなるに従って、残像が長時間にわたって生じることになる。

そこで、従来は、撮影前に各画素におけるトランジスタＱ１のドレイン電圧Ｖｄを所定時間だけ撮影時の定常値よりも低く設定し、フォトダイオードＰＤの寄生容量Ｃの残留電荷を排出して初期化することにより、センサ電流に急激な変化が生じても、即座にそのときの入射光の光量に応じた出力電圧Ｖｏが得られるようにして、入射光量が少ない場合でも残像が生じないようにしている（特許文献１参照）。

ところで、図１８の回路において、フォトダイオードＰＤに十分なセンサ電流が流れる場合は、図１９のように、センサ電流と出力電圧は対数出力特性を示すが、センサ電流が少ない場合は、フォトダイオードＰＤの寄生容量Ｃの充電に応答遅れが生じて、センサ電流と出力電圧は非対数出力特性を示す。

上述したような画素から構成されるイメージセンサを車両に搭載し、自動走行制御を行うために道路前方の白線検出を行う場合、昼夜を通しての撮影や、暗いトンネル内からトンネル出口の明るい部分の撮影、または明るいトンネル入口からトンネル内の暗い部分の撮影を行うような苛酷な条件下でも、コントラスト良く白線を写し出すことが可能な広いダイナミックレンジが要求される。

この場合、路面と白線との間には昼夜を問わず常に一定の輝度差が存在することから、センサ電流に対して出力電圧を対数で取り扱える場合は、どの明るさでも常に一定の信号差が存在するため、コントラストを確保することができる。しかるに、残像の発生を抑制するために前述のような初期化を行った場合は、入射光量に応じてフォトダイオードＰＤに流れるセンサ電流が少ないとき、すなわち低照度時に、フォトダイオードＰＤの寄生容量Ｃの充電に応答遅れが生じて、対数出力特性が失われる。この結果、低照度時のコントラストが低下して、鮮明な画像を得ることが難しくなる。

さらに、イメージセンサでは、撮像画面中の定まった位置に現れる白点、黒点、縦すじ、ムラのような固定パターンノイズが問題となる。固定パターンノイズは、画素を構成するトランジスタＱ１〜Ｑ３の特性ばらつきや、入射光が無い状態でフォトダイオードＰＤに流れる暗電流などに起因して発生するノイズで、ＳＮ比を低下させ画質の劣化を招く。そこで、固定パターンノイズを抑制し、良好な画質を得るために、画像信号の固定パターンノイズを除去する技術が必要となる。

そこで、特許文献２および特許文献４に記載のイメージセンサの出力補正装置では、イメージセンサから時系列的に読み出される各画素のセンサ信号（出力電圧）をデジタル信号に変換し、予めそのデジタル信号の値に応じて所定の出力が得られるように入出力特性の変換テーブルが設定されたルックアップ用のメモリを用いて、非対数応答領域の出力特性を対数特性に変換する。そして、対数特性に変換されたセンサ信号の低照度時の出力信号部分、すなわち、もとのセンサ信号の非対数応答領域に対応する部分のみにフィルタをかけることで、出力画像全体がぼやけることなく、ノイズ成分が有効に除去されたコントラストの良い画像が得られるようにしている。

また、特許文献３に記載の光センサ信号処理装置では、入射光量に応じて直線特性と対数特性を出力する複数の光センサからなるイメージセンサと、このイメージセンサを構成する複数の光センサの出力値を補正するための補正データを記憶した記憶手段とが設けられる。そして、各光センサの出力特性がばらついていても、補正データによりばらつきを補正し、出力特性を標準特性に一致させることで、特性のばらつきに起因する固定パターンノイズを抑制するようにしている。

特開２０００−３２９６１６号公報 特開２００３−３２４６５７号公報 特開平１１−２９８７９９号公報 特開２００４−１５７９０号公報

しかしながら、非線形特性を持つ画像信号から固定パターンノイズを除去するためには、演算が非常に複雑になったり、メモリに膨大な記憶容量が必要となったりするなどの問題点がある。

本発明は、上述した問題点に鑑み、簡単な処理により非線形特性を持つ画像信号の固定パターンノイズを除去できる装置及び方法を提供することを目的としている。

本発明に係る画像信号の固定パターンノイズ除去装置は、入出力特性に線形領域および非線形領域を有する撮像装置で得られた非線形特性を持つ画像信号から固定パターンノイズを除去する装置であって、前記画像信号に対してオフセット補正を行う第１の補正手段と、第１の補正手段によりオフセット補正された非線形特性を持つ画像信号を、線形特性を持つ画像信号に変換する第１の変換手段と、第１の変換手段により得られた線形特性を持つ画像信号に対してオフセット補正を行う第２の補正手段と、第２の補正手段によりオフセット補正された線形特性を持つ画像信号を、非線形特性を持つ画像信号に変換する第２の変換手段と、を備える。

また、本発明に係る画像信号の固定パターンノイズ除去方法は、入出力特性に線形領域および非線形領域を有する撮像装置で得られた非線形特性を持つ画像信号から固定パターンノイズを除去する方法であって、前記画像信号に対して第１のオフセット補正を行うステップと、第１のオフセット補正がされた非線形特性を持つ前記画像信号を、線形特性を持つ画像信号に変換するステップと、この変換により得られた線形特性を持つ前記画像信号に対して第２のオフセット補正を行うステップと、第２のオフセット補正がされた線形特性を持つ前記画像信号を、非線形特性を持つ画像信号に変換するステップと、を備える。

このように、非線形特性を持つ画像信号を、オフセット補正を行った後に線形特性を持つ画像信号に変換し、この画像信号に対して更にオフセット補正を行った後、当該画像信号を非線形特性の画像信号に変換することによって、固定パターンノイズを複雑な演算をすることなく簡単に除去することができる。

本発明においては、第１のオフセット補正を行った後、出力レベルが所定値以下の画像信号に対しては、非線形特性から線形特性への変換、第２のオフセット補正、および線形特性から非線形特性への変換を行い、出力レベルが所定値を超える画像信号に対しては、これらの変換および第２のオフセット補正を行わないようにしてもよい。これによると、出力レベルが所定値を超える画像信号については、線形・非線形の変換処理や第２のオフセット補正を行うためのデータが不要となるので、メモリ容量を節約することができる。

本発明によれば、簡単な処理により非線形特性を持つ画像信号の固定パターンノイズを除去できる装置及び方法を提供することができる。

以下、本発明の実施形態につき、図面を参照しながら説明する。

図１は、本発明の実施形態に係る固定パターンノイズ除去装置のブロック図である。固定パターンノイズ除去装置２０は、撮像装置を構成するイメージセンサ１と、このイメージセンサ１から１０ビット画像信号を入力し、後述する処理を行って１０ビット画像信号を出力するＡＳＩＣ（Application Specific Integrated Circuit）２とを備える。イメージセンサ１は複数の画素を有しており、各画素は図１８で示したような回路から構成される。但し、これは一例であって、図１８以外の回路構成からなる画素を用いてもよい。イメージセンサ１の入出力特性、すなわち入射光強度に対する出力信号レベルの感度特性は、後で示すように線形領域と非線形領域を有している。ＡＳＩＣ２はイメージ処理部３とレジスタ１０とを備える。イメージ処理部３は、入力特性調整部４と、ＦＰＮ（Fixed Pattern Noise；固定パターンノイズ）除去部５と、スポットノイズ除去部６と、ストレッチ処理部７と、フラッシュメモリ８及びＲＯＭ９を備える。

入力特性調整部４は、入力された画像信号に対して、後述するＳＴＥＰ１及び２の処理を行う。ＦＰＮ除去部５は、入力特性調整部４からの出力信号に対して、後述するＳＴＥＰ３〜１０の処理を行う。このＦＰＮ除去部５は、本発明における第１の補正手段、第１の変換手段、第２の補正手段、および第２の変換手段の実施形態である。スポットノイズ除去部６は、ＦＰＮ除去部５からの出力信号に対して、ノイズ除去用のメディアンフィルタを用いて、白スポットノイズと黒スポットノイズの除去処理を行う。ストレッチ処理部７は、スポットノイズ除去部６からの出力信号に対して、輝度値のヒストグラム分布の偏りを是正してダイナミックレンジを拡大するヒストグラムストレッチ処理を行う。入力特性調整部４およびＦＰＮ除去部５は、処理を行うにあたり、フラッシュメモリ８及びＲＯＭ９から後述する各種データを取得する。ＲＯＭ９には、補正用のデータ等が記憶されたルックアップテーブル（以下、「ＬＵＴ」と記す）が格納されている。

図２は、本発明の実施形態に係る固定パターンノイズ除去方法の手順を示したフローチャートである。図３〜図１７は、図２の各ステップの処理内容を説明するための概念図である。以下、図２および図３〜図１７を参照して、固定パターンノイズ除去装置２０によるノイズ除去の方法を説明する。

図２のＳＴＥＰ１では、イメージセンサ１の出力レベルを一定に保つ処理を行う。すなわち、イメージセンサ１の出力値は温度の変化に応じて変化するため、温度に対するオフセット値が記憶されたＲＯＭ９のＬＵＴを参照して、例えば１℃ごとに、イメージセンサ１から入力された出力値に対してオフセット値による加減算を行い、センサ出力を温度に影響されずに一定レベルとする。なお、図１では図示を省略しているが、ＡＳＩＣ２には、外部の温度センサからの温度情報が入力される。

図３は、ＳＴＥＰ１の処理を説明するための概念図である。横軸にイメージセンサ１の入力（光の強さ）を対数（ＬＯＧ）スケールでとり、縦軸にイメージセンサ１の出力をとった場合、センサの感度特性は、高入力領域Ｚ２（光強度の大きい領域）では対数特性（非線形特性）を示し、低入力領域Ｚ１（光強度の小さい領域）では非対数特性（線形特性）を示す。ＳＴＥＰ１の処理により、感度特性は図３（ａ）から図３（ｂ）のように是正される。図において、実線は出力平均値を、点線は出力のばらつきをそれぞれ表している（以降の図においても同様）。なお、出力のばらつきは撮像素子の個体差に基因しており、主にＡＤ変換器における入出力特性のばらつきによる。是正前の図３（ａ）では、センサの出力レベルが温度により変動し一定していないので、以降のノイズ処理を行うことができない。一方、是正後の図３（ｂ）では、各センサの出力のレベルが一定しており、ノイズ処理が可能となる。

次に、ＳＴＥＰ２では、対数領域（高入力領域）の感度のなまりを補正する。あらかじめ、対数領域における感度曲線のなまりに対する補正値を求めておき、これをＲＯＭ９のＬＵＴに格納しておく。このＬＵＴを参照してなまりの補正を行う。

図４は、ＳＴＥＰ２の処理を説明するための概念図である。横軸にイメージセンサ１の入力（光の強さ）を対数（ＬＯＧ）スケールでとり、縦軸にイメージセンサ１の出力をとった場合、センサの感度特性は、図４（ａ）から図４（ｂ）のように是正される。是正後の図４（ｂ）では、感度曲線は、ＬＵＴの補正値に基づき高入力領域Ｚ２でのなまり（図４（ａ）の一点鎖線で囲んだ部分）がなくなって、直線になるように補正されている。この補正により、演算のオーバーフローが発生しうるため、演算用メモリは１０ｂｉｔ幅から１１ｂｉｔ幅に拡張される。なお、このＳＴＥＰ２の処理は、感度の補正だけでなく、輝度の違いによる縦ラインノイズの発生を防ぐ効果もある。

次に、ＳＴＥＰ３では、縦すじノイズの除去を行う。フラッシュメモリ８には、例えば１０℃ステップで補正用のデータが格納されており、温度に該当する格納データを選択して、縦すじノイズに対する補正処理を行う。この処理では、補正用データにより各温度ごとにオフセット補正が行われる。

図５は、ＳＴＥＰ３の処理を説明するための概念図である。横軸にイメージセンサ１の入力（光の強さ）を対数（ＬＯＧ）スケールでとり、縦軸にイメージセンサ１の出力をとった場合、センサの感度特性は、補正処理によって図５（ａ）から図５（ｂ）のように是正される。是正後の図５（ｂ）では、縦すじノイズが除去された結果、点線で示される出力のばらつきが減少している。この処理を以降の処理の前に行うことで、固定パターンノイズ除去のために必要なメモリ容量を削減できる効果がある。

次に、ＳＴＥＰ４では、対数領域の画像信号に対するオフセット補正を行う。フラッシュメモリ８に画素ごとの補正用データが格納されており、各画素に該当する格納データを選択して、補正処理を行う。これにより、高出力領域の固定パターンノイズが除去される。高出力領域は、対数領域（非線形領域）に相当する。なお、フラッシュメモリ８に、例えば１０℃ごとに補正用データを格納しておき、計測した温度に該当する格納データを選択して、補正処理を行うようにしてもよい。このＳＴＥＰ４の処理は、本発明における第１の補正手段によるオフセット補正に相当する。

図６は、ＳＴＥＰ４の処理を説明するための概念図である。横軸にイメージセンサ１の入力（光の強さ）を対数（ＬＯＧ）スケールでとり、縦軸にイメージセンサ１の出力をとった場合、センサの感度特性は、補正処理によって図６（ａ）から図６（ｂ）のように是正される。是正後の図６（ｂ）では、高入力領域Ｚ２において、固定パターンノイズが除去された結果、出力のばらつきが解消されている。

次に、ＳＴＥＰ５では、「かさ上げ」と「場合分け」の各処理を行う。

図７は、ＳＴＥＰ５の処理を説明するための概念図である。横軸にイメージセンサ１の入力（光の強さ）を対数（ＬＯＧ）スケールでとり、縦軸にイメージセンサ１の出力をとった場合、センサの感度特性は、まず、かさ上げにより、図７（ａ）から図７（ｂ）のように、全体の出力レベルが補正量Ａだけ上がるように補正される。この補正量Ａを調整することによって、露光時間の変更に対応することができる。図１８において、トランジスタＱ１を飽和領域（ゲート電圧Ｖｇが閾値を超える領域）で動作させて、寄生容量Ｃの電荷をリセットした後、トランジスタＱ３をオンさせて蓄積電荷を読み出すまでの時間が、ここでいう露光時間に相当する。露光時間が長い場合は補正量Ａを大きくし、露光時間が短い場合は補正量Ａを小さくすることにより、後述するＳＴＥＰ７において、より多くのノイズを除去することができる。なお、この処理では、露光時間が変更されたときに、ＡＳＩＣ２が自動演算して補正量Ａを決定する。また、自動演算のほかに、レジスタ１０（１０ｂｉｔレジスタ）を使って補正量Ａを外部入力することも可能である。

次に、場合分けにより、図７（ｃ）のように、出力レベル（ｄｉｇｉｔ値）が１０２４以上か１０２３以下かによって、画像信号に対する処理内容が２つに分けられる。出力が１０２３以下の画像信号に対しては、後述するＳＴＥＰ６の処理を行う。一方、出力が１０２４以上の画像信号に対しては、ＳＴＥＰ６〜ＳＴＥＰ９の処理を行う必要がなく、ＳＴＥＰ１０の処理を行う。これにより、出力が１０２４以上の画像信号を処理するためのデータが不要となるので、メモリ容量の節約が可能になる。

なお、場合分けに際して、図８に示すように、出力レベルをかさ上げせずに、ある固定値（図では６４０）でそのまま場合分けすることも考えられるが、本発明では、露光時間の変更等に対応するため、図７のように一旦かさ上げしてから、場合分けをしている。

次に、ＳＴＥＰ６では、ＳＴＥＰ５においてかさ上げされた対数特性を持つ画像信号のうち、出力が１０２３以下の画像信号を、変換テーブル（ＬＵＴ）を用いて、線形特性を持つ画像信号に変換する。このＳＴＥＰ６での変換は、本発明における第１の変換手段による変換に相当する。

図９は、ＳＴＥＰ６の処理を説明するための概念図である。横軸にイメージセンサ１の入力（光の強さ）を対数（ＬＯＧ）スケールでとり、縦軸にイメージセンサ１の出力をとった場合、センサの感度特性は、図９（ａ）から図９（ｂ）のように変換される。変換前の図９（ａ）では、出力レベルは、特性曲線の屈曲点Ｘより小さい部分が線形（ＬＩＮＥＲ）特性で、屈曲点Ｘより大きい部分が対数（ＬＯＧ）特性であったが、変換後の図９（ｂ）では、出力レベルの全領域が線形（ＬＩＮＥＲ）特性に変換されている。

図１０は、図９の横軸の対数（ＬＯＧ）スケールを線形（ＬＩＮＥＲ）スケールに置き換えた場合の参考図である。図１０（ｂ）のように、実線で示される出力平均値、および、点線で示される出力のばらつきは、互いに平行な直線となる。

次に、ＳＴＥＰ７では、線形領域の画像信号に対するオフセット補正を行う。フラッシュメモリ８に画素ごとの補正用データが格納されており、各画素に該当する格納データを選択して、補正処理を行う。これにより、低出力領域の固定パターンノイズおよび暗電流によるノイズが除去される。低出力領域は、非対数領域（線形領域）に相当する。このＳＴＥＰ７の処理は、本発明における第２の補正手段によるオフセット補正に相当する。

図１１は、ＳＴＥＰ７の処理を説明するための概念図である。横軸にイメージセンサ１の入力（光の強さ）を対数（ＬＯＧ）スケールでとり、縦軸にイメージセンサ１の出力をとった場合、センサの感度特性は、図１１（ａ）から図１１（ｂ）のように是正される。是正後の図１１（ｂ）では、低入力領域Ｚ１において、固定パターンノイズや暗電流によるノイズが除去された結果、出力のばらつきが解消されている。

図１２は、図１１の横軸の対数（ＬＯＧ）スケールを線形（ＬＩＮＥＲ）スケールに置き換えた場合の参考図である。

ところで、非線形特性と線形特性の入出力特性を有する撮像装置においては、屈曲点がどこにあるかを、画像処理を行うアプリケーションが把握する必要がある。特に、画像中の物体を検出するアプリケーションでは、主に温度の変化によって、屈曲点の位置が異なる。このため、温度変化による屈曲点の位置を補正する必要がある。そこで、次のＳＴＥＰ８では、出力（感度曲線）を調整するための処理を行う。この処理内容は従来と同じであり、所定の調整値を用いて出力レベルをシフトさせる処理が行われる。

図１３は、ＳＴＥＰ８の処理を説明するための概念図である。横軸にイメージセンサ１の入力（光の強さ）を対数（ＬＯＧ）スケールでとり、縦軸にイメージセンサ１の出力をとった場合、センサの感度特性は、図１３（ａ）から図１３（ｂ）のように補正される。補正後の図１３（ｂ）では、感度曲線全体が調整値αだけレベルの高い方向にシフトされ、出力の調整が行われている。

また、非線形特性の画像信号と線形特性の画像信号とを区別して処理するアプリケーション（例えば、単純に撮像した画像を表示するアプリケーション）が存在することから、線形特性の部分を非線形特性に変更するために、上述したＳＴＥＰ８を使用する。ある特定の値が入力されると、非常に暗い部分を除いて、すべて非線形特性に変換され、対数特性に近づけることができる。

さらに、入出力特性は屈曲点の前後で非線形特性と線形特性に分かれ、屈曲点の前後で圧縮率が大きく異なる。特に、アプリケーションで使用するマイクロコンピュータ等における画像のデータ長（例えば、８ｂｉｔ）が、撮像装置におけるデータ長（１０ｂｉｔ）より小さい場合、撮像装置のデータを圧縮する必要がある。その際、撮像装置の出力データ全体を圧縮する場合と、出力の一部を圧縮する場合とがある。後者の場合は、前述のＳＴＥＰ８を使用して屈曲点の位置を変更することで、部分的に線形領域を非線形領域に圧縮することができる。

図１４は、図１３の横軸の対数（ＬＯＧ）スケールを線形（ＬＩＮＥＲ）スケールに置き換えた場合の参考図である。

次に、ＳＴＥＰ９では、ＳＴＥＰ８で出力調整された線形特性を持つ画像信号を、変換テーブル（ＬＵＴ）を用いて、対数特性を持つ画像信号に変換する。このＳＴＥＰ９での変換は、本発明における第２の変換手段による変換に相当する。

図１５は、ＳＴＥＰ９の処理を説明するための概念図である。横軸にイメージセンサ１の入力（光の強さ）を対数（ＬＯＧ）スケールでとり、縦軸にイメージセンサ１の出力をとった場合、センサの感度特性は、図１５（ａ）から図１５（ｂ）のように変換される。変換前の図１５（ａ）では、出力レベルの全領域が線形（ＬＩＮＥＲ）特性であったが、変換後の図１５（ｂ）では、出力レベルは、特性曲線の屈曲点Ｙより小さい部分が線形（ＬＩＮＥＲ）特性のままで、屈曲点Ｙより大きい部分が対数（ＬＯＧ）特性に変換されている。変換後の図１５（ｂ）では、元の入出力特性に戻っている。

図１６は、図１５の横軸の対数（ＬＯＧ）スケールを線形（ＬＩＮＥＲ）スケールに置き換えた場合の参考図である。

次に、ＳＴＥＰ１０では、結合処理と出力調整処理を行う。図１７は、ＳＴＥＰ１０の処理を説明するための概念図である。

まず、結合処理では、ＳＴＥＰ５で場合分けされた、出力が１０２４以上の対数特性を持つ部分（図７（ｃ））と、ＳＴＥＰ９で処理された、出力が１０２３以下の対数特性を持つ部分（図１５（ｂ））とを結合する。図１７において、横軸にイメージセンサ１の入力を対数（ＬＯＧ）スケールでとり、縦軸にイメージセンサ１の出力をとった場合、センサの感度特性は、図１７（ａ）から図１７（ｂ）のように結合される。

長いデータ長（１１ｂｉｔ）を短いデータ長（１０ｂｉｔ）に変換するために、出力調整処理では、ＳＴＥＰ５においてかさ上げした際の補正量Ａだけ、感度曲線全体を出力レベルの低い方向にシフトする。ここでは、入力レベルと出力レベルとを一致させるために、シフトさせる量に補正量Ａを使用している。これにより、センサの感度特性は、図１７（ｂ）から図１７（ｃ）のように補正される。

以上により、ＦＰＮ除去部５での処理は終了し、ＦＰＮ除去部５からは、図１７（ｃ）の感度特性を持った画像信号が出力される。この画像信号に対して、スポットノイズ除去部６とストレッチ処理部７で前述したような処理を行う。その結果、ＡＳＩＣ２からは、ノイズの少ない画質の良好な画像信号が出力される。

上述したように、本発明では、対数領域についてオフセット補正（ＳＴＥＰ４）を行った後、一旦出力特性を線形特性に変換する（ＳＴＥＰ６）。そして、線形領域についてオフセット補正（ＳＴＥＰ７）と出力調整（ＳＴＥＰ８）を行った後、対数特性への逆変換を行う（ＳＴＥＰ９）。これにより、複雑な演算が不要となって、処理を簡略化することができる。また、温度変化や露光時間の変更等に速やかに追従することが可能となる。

本発明では、以上述べた以外にも種々の実施形態を採用することができる。例えば、上記実施形態では、非線形特性として対数特性を有するイメージセンサを使用したが、対数特性以外の非線形特性を有する撮像装置を使用してもよい。

また、上記実施形態以外の処理を追加してもよく、また、処理順序も上記実施形態の順序に限定されるものではない。

本発明の実施形態に係る固定パターンノイズ除去装置のブロック図である。 本発明の実施形態に係る固定パターンノイズ除去方法の手順を示したフローチャートである。 ＳＴＥＰ１の処理を説明するための概念図である。 ＳＴＥＰ２の処理を説明するための概念図である。 ＳＴＥＰ３の処理を説明するための概念図である。 ＳＴＥＰ４の処理を説明するための概念図である。 ＳＴＥＰ５の処理を説明するための概念図である。 ＳＴＥＰ５の処理の比較例を説明するための概念図である。 ＳＴＥＰ６の処理を説明するための概念図である。 図９の横軸の対数スケールを線形スケールに置き換えた場合の参考図である。 ＳＴＥＰ７の処理を説明するための概念図である。 図１１の横軸の対数スケールを線形スケールに置き換えた場合の参考図である。 ＳＴＥＰ８の処理を説明するための概念図である。 図１３の横軸の対数スケールを線形スケールに置き換えた場合の参考図である。 ＳＴＥＰ９の処理を説明するための概念図である。 図１５の横軸の対数スケールを線形スケールに置き換えた場合の参考図である。 ＳＴＥＰ１０の処理を説明するための概念図である。 ＭＯＳ型イメージセンサにおける１画素の回路を示した図である。 センサ電流と出力電圧との関係を表すグラフである。

符号の説明

１ イメージセンサ
２ ＡＳＩＣ
３ イメージ処理部
４ 入力特性調整部
５ ＦＰＮ除去部
６ スポットノイズ除去部
７ ストレッチ処理部
８ フラッシュメモリ
９ ＲＯＭ
１０ レジスタ
２０ 固定パターンノイズ除去装置

Claims (4)

1. 入出力特性に線形領域および非線形領域を有する撮像装置で得られた非線形特性を持つ画像信号から固定パターンノイズを除去する装置であって、
   前記画像信号に対してオフセット補正を行う第１の補正手段と、
   前記第１の補正手段によりオフセット補正された非線形特性を持つ画像信号を、線形特性を持つ画像信号に変換する第１の変換手段と、
   前記第１の変換手段により得られた線形特性を持つ画像信号に対してオフセット補正を行う第２の補正手段と、
   前記第２の補正手段によりオフセット補正された線形特性を持つ画像信号を、非線形特性を持つ画像信号に変換する第２の変換手段と、
   を備えたことを特徴とする画像信号の固定パターンノイズ除去装置。
2. 請求項１に記載の画像信号の固定パターンノイズ除去装置において、
   前記第１の補正手段によるオフセット補正を行った後、
   出力レベルが所定値以下の画像信号に対しては、前記第１の変換手段による非線形特性から線形特性への変換、前記第２の補正手段によるオフセット補正、および前記第２の変換手段による線形特性から非線形特性への変換を行い、
   出力レベルが所定値を超える画像信号に対しては、前記第１の変換手段による非線形特性から線形特性への変換、前記第２の補正手段によるオフセット補正、および前記第２の変換手段による線形特性から非線形特性への変換を行わないことを特徴とする画像信号の固定パターンノイズ除去装置。
3. 入出力特性に線形領域および非線形領域を有する撮像装置で得られた非線形特性を持つ画像信号から固定パターンノイズを除去する方法であって、
   前記非線形特性を持つ画像信号に対して第１のオフセット補正を行うステップと、
   前記第１のオフセット補正がされた非線形特性を持つ前記画像信号を、線形特性を持つ画像信号に変換するステップと、
   前記変換により得られた線形特性を持つ前記画像信号に対して第２のオフセット補正を行うステップと、
   前記第２のオフセット補正がされた線形特性を持つ前記画像信号を、非線形特性を持つ画像信号に変換するステップと、
   を備えたことを特徴とする画像信号の固定パターンノイズ除去方法。
4. 請求項３に記載の画像信号の固定パターンノイズ除去方法において、
   前記第１のオフセット補正を行った後、
   出力レベルが所定値以下の画像信号に対しては、前記非線形特性から線形特性への変換、前記第２のオフセット補正、および前記線形特性から非線形特性への変換を行い、
   出力レベルが所定値を超える画像信号に対しては、前記非線形特性から線形特性への変換、前記第２のオフセット補正、および前記線形特性から非線形特性への変換を行わないことを特徴とする画像信号の固定パターンノイズ除去方法。

Images