JP5521460B2 - 撮像装置および方法、電子機器、並びにプログラム - Google Patents

Description

本発明は、撮像装置および方法、電子機器、並びにプログラムに関し、特に、半導体により形成したCMOS（Complementary Metal Oxide Semiconductor）の固体撮像素子において、使用される個々のトランジスタの特性により、特異なレベルの信号をランダムに出力する欠陥画素に起因するノイズを低減できるようにした撮像装置および方法、電子機器、並びにプログラムに関する。

常に一定レベルの信号を出力する固定パターンノイズであれば、画素毎のノイズ出力を撮像画像から減算し、画像を補正することが可能である。しかしながら、ランダムノイズのような、特異なレベルの信号がランダムに出力される欠陥では、固定パターンノイズの補正方法である特定値の減算を行うと、ランダムノイズが発生していない場合には不要な補正を加えてしまう問題となる。

また、特定領域における画素値を領域内で比較し、特異な出力レベルをもつ画素をノイズであると判断し、平滑化することでノイズを除去する方法も提案されている（特許文献１参照）。

また、平滑化とは別に、連写画像における簡易的な背景画像の作成方法（特許文献２参照）が提案されており、その副次的な効果として背景画像のランダムノイズの除去が可能であると考えられている。具体的には、連写画像の画素値をヒストグラムにし、背景画像の画素毎の最頻値を採用することで簡単に背景を作成するという方法である。

特開２００７−１４３１２０号公報 特開２００３−２３００４５号公報

しかしながら、特許文献１の場合、隣接画素との差分によりランダムノイズの有無が判定されることから、ランダムノイズが発生している画素であっても隣接画素と差分が小さいとき、閾値を超えないことがあり、ランダムノイズとして判定されないことがあった。逆に、ランダムノイズを含む画素値の隣接画素との差分が閾値よりも大きい場合、ランダムノイズを判定することはできるものの、ランダムノイズを含む画素は平滑化により補正されるため、ランダムノイズを含んだまま平滑化されて補正値が求められる。この結果、完全にノイズを除去することができず、また、解像度を落とす原因となる恐れがあった。

また、特許文献２の場合、隣接画素同士の画素値の差分に対する閾値を設定し、差分が閾値を超える画素は動きのある領域の画素とみなし、閾値を超えない画素は動きのない背景画像であるものと判定されている。したがって、動きのある領域は、最頻値を採用する演算処理の対象から外れてしまい、仮に、ランダムノイズが生じた場合、そのまま出力されてしまう。また、背景画像においても、連写速度と２値を取るランダムノイズの時定数が同じような場合、最頻値が採用されると、振幅分の出力が加算、または、減算された画像が出力されてしまい、結局、この方法でも完全にはランダムノイズを除去することができない。

本発明はこのような状況に鑑みてなされたものであり、特に、半導体により形成したCMOSの固体撮像素子において、使用される個々のトランジスタの特性により、特異なレベルの信号をランダムに出力する欠陥画素に起因するノイズを低減できるようにするものである。

本発明の一側面の撮像装置は、撮像素子を用いて画像を撮像する撮像手段と、前記撮像手段により撮像された画像を構成する画像信号のゲインを制御するゲイン制御手段と、前記撮像手段により撮像された、暗時の画像を、前記ゲイン制御手段により前記ゲインを様々に変化させながら複数枚取得する画像取得手段と、前記画像取得手段により取得された画像を構成する画素の画素値、および前記画素値を用いた統計処理値を生成する生成手段と、前記生成手段により生成された前記画素値、および、前記統計処理値に基づいて特異な信号を発する画素を検出する検出手段と、前記画像取得手段により取得された画像において、前記検出手段により特異な信号を発する画素を特定するアドレスに対応付けて、前記特異な信号を含む画素の振幅をデータベースとして登録する登録手段と、前記撮像手段により撮像された撮像画像について、前記データベースに登録されているアドレスに対応する画素を処理対象画素とした場合、前記処理対象画素の振幅が、前記データベースに登録されている振幅と一致または類似するか否かに基づいて、前記処理対象画素が特異な信号を含む画素であるか否かを判定する判定手段と、前記判定手段により前記処理対象画素が前記特異な信号を含む画素であると判定された場合、前記処理対象画素と前記処理対象画素の周辺画素との画素値の差分、および、前記処理対象の画素の前記振幅の値を利用して、前記処理対象画素の画素値を補正する補正手段とを含む。

前記画像取得手段には、前記撮像手段により、低温時に暗時の画像を複数枚取得させるようにすることができる。

前記判定手段には、前記データベースに登録されているアドレスに対応する画素を処理対象画素としたとき、前記処理対象画素の隣接画素間の画素値の差分が所定の閾値を超えているか否か、または前記処理対象画素に対応して所定の位置関係となっているパターンの画素間の差分が所定の閾値を超えているか否かに加えて、前記処理対象画素の振幅が前記データベースに登録されている振幅と一致または類似するか否かに基づいて、前記特異な信号の有無を判定させ、さらに、連写時および動画時には、前記処理対象画素に対応するフレーム間、若しくはフィールド間の画素間の差分が所定の閾値を越えているか否かに加えて、前記処理対象画素の前記振幅および時定数が、前記データベースに登録されたものと一致または類似するか否かに基づいて、前記特異な信号の有無を判定させるようにすることができる。

前記補正手段には、前記データベースに登録された振幅の値を使用し、輝度により補正した補正値を用いた加減算処理、隣接画素の画素値との入替、隣接画素の出力の加減算、空間的平均化、時間的平均化、または、所定値へのクリップ処理により前記特異な信号有りと判定された画素の画素値を補正させるようにすることができる。

前記画像取得手段には、前記撮像素子における転送ゲートをオフの状態にして暗時の画像を複数枚取得させ、前記生成手段には、前記画像取得手段により取得された画像において、カラム単位で画素の画素値および、前記画素値を用いた統計処理値を生成させ、前記検出手段には、前記生成手段により生成されたカラム単位の画素値、および、統計処理値に基づいて特異な信号を発する画素を検出させ、前記登録手段には、前記検出手段により検出された特異な信号が検出されたカラム単位で、前記画素を特定するアドレスに対応付けて、前記特異な信号を含む画素の振幅、および前記特異な信号が発生する時定数をデータベースとして登録させるようにすることができる。
前記画像取得手段には、前記撮像手段により、低温時に暗時の画像を複数枚取得させるようにすることができる。
前記判定手段には、前記データベースに登録されているアドレスに対応するカラムの画素を処理対象カラムの画素としたとき、前記データベースにアドレスに対応付けて登録された情報に基づいて、前記処理対象カラムの画素の画素値が、隣接するカラムである隣接カラムの同一位置の画素間の画素値の差分が所定の閾値を超えているか否かに加えて、前記処理対象カラムの画素の振幅が前記データベースに登録されている振幅と一致または類似するか否かに基づいて、前記特異な信号の有無を判定させ、さらに、連写時、および動画時には、フレーム間、若しくはフィールド間のカラムの画素間の差分が所定の閾値を超えているか否かに加えて、前記処理対象カラムの画素の前記振幅および前記時定数が、前記データベースに登録されたものと一致または類似するか否かに基づいて、前記特異な信号の有無を判定させるようにすることができる。
前記補正手段には、前記特異な信号有りと判定された前記カラム単位の画素、または前記カラム単位の画素における前記特異な信号の発生箇所の画素の画素値を補正させるようにすることができる。

前記補正手段は、前記データベースに登録された情報に基づいて、前記特異な信号有りと判定された前記カラム単位の画素を、隣接カラムと補完するか、または、前記データベースに登録された振幅を使用して加減算処理することにより画素値を補正する。

前記補正手段には、前記カラム単位の画素の特異な信号の発生箇所に対する補正において、隣接カラムの同一箇所との補完、隣接カラムの同一箇所の出力の加減算、空間的平均化、時間的平均化、特定の値へのクリップ処理により前記特異な信号有りと判定された画素の画素値を補正させるようにすることができる。

請求項１に記載の前記登録手段により、特異な信号が検出された画素を特定するアドレスに対応付けて、前記特異な信号を含む画素の振幅、および前記特異な信号が発生する時定数が登録されたデータベースと、請求項１に記載の前記撮像手段により撮像された撮像画像について、前記データベースに登録されているアドレスに対応する画素を処理対象としたとき、前記処理対象画素に対応して所定の位置関係を有する画素の画素値の分布、または、隣接画素間の画素値の差分に基づいて、前記特異な信号の有無を判定する判定手段と、前記判定手段により特異な信号有りと判定された画素の画素値を補正する補正手段とを含ませるようにすることができる。

本発明の一側面の撮像方法は、撮像素子を用いて画像を撮像する撮像ステップと、前記撮像ステップの処理により撮像された画像を構成する画像信号のゲインを制御するゲイン制御ステップと、前記撮像ステップの処理により撮像された、暗時の画像を、前記ゲイン制御ステップの処理により前記ゲインを様々に変化させながら複数枚取得する画像取得ステップと、前記画像取得ステップの処理により取得された画像を構成する画素の画素値、および前記画素値を用いた統計処理値を生成する生成ステップと、前記生成ステップの処理により生成された前記画素値、および、前記統計処理値に基づいて特異な信号を発する画素を検出する検出ステップと、前記画像取得ステップの処理により取得された画像において、前記検出ステップの処理により特異な信号を発する画素を特定するアドレスに対応付けて、前記特異な信号を含む画素の振幅、および前記特異な信号が発生する時定数をデータベースとして登録する登録ステップと、前記撮像ステップの処理により撮像された撮像画像について、前記データベースに登録されているアドレスに対応する画素を処理対象画素とした場合、前記処理対象画素の振幅が、前記データベースに登録されている振幅と一致または類似するか否かに基づいて、前記処理対象画素が特異な信号を含む画素であるか否かを判定する判定ステップと、前記判定ステップの処理により前記処理対象画素が前記特異な信号を含む画素であると判定された場合、前記処理対象画素と前記処理対象画素の周辺画素との画素値の差分、および、前記処理対象画素の前記振幅の値を利用して、前記処理対象画素の画素値を補正する補正ステップとを含む。

本発明の一側面のプログラムは、撮像素子を用いて画像を撮像する撮像ステップと、前記撮像ステップの処理により撮像された画像を構成する画像信号のゲインを制御するゲイン制御ステップと、前記撮像ステップの処理により撮像された、暗時の画像を、前記ゲイン制御ステップの処理により前記ゲインを様々に変化させながら複数枚取得する画像取得ステップと、前記画像取得ステップの処理により取得された画像を構成する画素の画素値、および前記画素値を用いた統計処理値を生成する生成ステップと、前記生成ステップの処理により生成された前記画素値、および、前記統計処理値に基づいて特異な信号を発する画素を検出する検出ステップと、前記画像取得ステップの処理により取得された画像において、前記検出ステップの処理により特異な信号を発する画素を特定するアドレスに対応付けて、前記特異な信号を含む画素の振幅、および前記特異な信号が発生する時定数をデータベースとして登録する登録ステップと、前記撮像ステップの処理により撮像された撮像画像について、前記データベースに登録されているアドレスに対応する画素を処理対象画素とした場合、前記処理対象画素の振幅が、前記データベースに登録されている振幅と一致または類似するか否かに基づいて、前記処理対象画素が特異な信号を含む画素であるか否かを判定する判定ステップと、前記判定ステップの処理により前記処理対象画素が前記特異な信号を含む画素であると判定された場合、前記処理対象画素と前記処理対象画素の周辺画素との画素値の差分、および、前記処理対象画素の前記振幅の値を利用して、前記処理対象画素の画素値を補正する補正ステップとを含む処理をコンピュータに実行させる。

本発明の電子機器は、撮像素子を用いて画像を撮像する撮像手段と、前記撮像手段により撮像された画像を構成する画像信号のゲインを制御するゲイン制御手段と、前記撮像手段により撮像された、暗時の画像を、前記ゲイン制御手段により前記ゲインを様々に変化させながら複数枚取得する画像取得手段と、前記画像取得手段により取得された画像を構成する画素の画素値、および前記画素値を用いた統計処理値を生成する生成手段と、前記生成手段により生成された前記画素値、および、前記統計処理値に基づいて特異な信号を発する画素を検出する検出手段と、前記画像取得手段により取得された画像において、前記検出手段により特異な信号を発する画素を特定するアドレスに対応付けて、前記特異な信号を含む画素の振幅、および前記特異な信号が発生する時定数をデータベースとして登録する登録手段と、前記撮像手段により撮像された撮像画像について、前記データベースに登録されているアドレスに対応する画素を処理対象画素とした場合、前記処理対象画素の振幅が、前記データベースに登録されている振幅と一致または類似するか否かに基づいて、前記処理対象画素が特異な信号を含む画素であるか否かを判定する判定手段と、前記判定手段により前記処理対象画素が前記特異な信号を含む画素であると判定された場合、前記処理対象画素と前記処理対象画素の周辺画素との画素値の差分、および、前記処理対象の画素の前記振幅の値を利用して、前記処理対象画素の画素値を補正する補正手段とを含む。

本発明の撮像装置は、独立した装置であっても良いし、撮像処理を行うブロックであっても良い。

本発明によれば、半導体により形成したCMOSの固体撮像素子において、使用される個々のトランジスタの特性により、特異なレベルの信号をランダムに出力する欠陥画素が生じ、この欠陥画素に起因するノイズを低減することが可能となる。

本発明を適用した撮像装置の構成例を示す図である。 ノイズデータベース登録処理を説明するフローチャートである。 画像取得処理を説明するフローチャートである。 ランダムノイズ検出処理を説明する図である。 振幅と時定数を説明する図である。 撮像処理を説明するフローチャートである。 ランダムノイズ判定処理を説明するフローチャートである。 ランダムノイズ補正処理を説明するフローチャートである。 ノイズデータベースのみをパーソナルコンピュータに格納して処理する例を説明する図である。 パーソナルコンピュータの構成例を説明する図である。

以下、発明を実施するための最良の形態（以下実施の形態とする）について説明する。尚、説明は以下の順序で行う。

１．第１の実施の形態（撮像装置のみ）
２．第２の実施の形態（撮像装置と情報処理装置）

＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本発明を適用した一実施の形態の構成例を示す撮像装置である。

図１の撮像装置１は、予め暗時相当の画像を撮像し、その際に撮像される画像から特異な信号であるランダムノイズを検出し、ノイズデータベースとして登録しておく。そして、撮像装置１は、通常の画像を撮像する際、ランダムノイズが検出されると、ノイズデータベースに登録されたランダムノイズの情報を用いてランダムノイズを補正する。結果として、撮像装置１により撮像された画像は、特異な信号であるランダムノイズが低減された画像となる。

撮像装置１は、レンズ１１、シャッタ１２、撮像素子１３、CDS（Correlated Double Sampling：相関２重サンプリング）部１４、AD（Analog Digital）変換部１５、ノイズデータ取得部１６、ノイズデータベース１７およびノイズ補正部１８より構成されている。レンズ１１は、図示せぬ被写体からの光を光学的に処理してシャッタ１２に入射させる。シャッタ１２は、開放、または閉塞の速度を変化させることにより撮像素子１３に入射させる光量を制御する。撮像素子１３は、CMOS（Complementary Metal Oxide Semiconductor）からなる撮像素子であり、シャッタ１２を介して入射される光を光電変換により発生する微弱電流を増幅し、電圧信号として出力する。CDS部１４は、撮像素子１３より入力される電圧信号に相関2重サンプリング処理を施し、ノイズを除去してAD変換部１５に出力する。AD変換部１５は、CDS部１４より入力される電圧信号をアナログ信号からデジタル信号に変換し、ノイズデータ取得部１６、およびノイズ補正部１８に出力する。

ノイズデータ取得部１６は、ノイズデータベース１７にランダムノイズの情報を登録する。より詳細には、ノイズデータ取得部１６は、暗時相当の画像（暗時、または、擬似的に暗時の状態の画像）からランダムノイズを検出し、検出した画素のアドレスに対応付けて、ノイズの振幅、および時定数を登録する。ノイズ補正部１８は、通常の状態で撮像された画像を構成する画素のうち、ノイズデータベース１７により登録されたアドレスの画素、またはカラムのみを監視し、ランダムノイズを検出する。そして、ノイズ補正部１８は、ランダムノイズを検出した場合、ノイズデータベース１７に登録されているノイズの振幅および時定数に基づいた処理、またはその他の処理により、画素値を補正し、表示部２に出力して表示させる。

次に、撮像素子１３の詳細な構成について説明する。

撮像素子１３は、複数のフォトセンサ３１−１乃至３１−ｎ、転送ゲート３２−１乃至３２−ｎ、増幅トランジスタ３３−１乃至３３−ｎ、および列選択スイッチ３４−１乃至３４−ｎを備える。さらに、撮像素子１３は、負荷ＭＯＳ電流源４１、比較器４２、およびカウンタ４３を備える。尚、以降において、フォトセンサ３１−１乃至３１−ｎのそれぞれについて特に区別する必要がない場合、単にフォトセンサ３１と称するものとし、その他の構成についても同様に称するものとする。

フォトセンサ３１−１乃至３１−ｎは、ｎ個のフォトセンサ３１から構成された１列分のフォトセンサ３１を示すものであり、実際には、さらに多くの列のフォトセンサ３１により構成される。ただし、図１においては、１列分の構成のみが示されている。すなわち、フォトセンサ３１は、列単位で信号が転送される。そして、負荷ＭＯＳ電流源４１、比較器４２、およびカウンタ４３は、各列に設けられる。したがって、負荷ＭＯＳ電流源４１、比較器４２、およびカウンタ４３についても、列数分だけ存在する。

フォトセンサ３１は、シャッタ１２より入射されてくる光を光電変換し、微弱な電流を発生する。フォトセンサ３１には、それぞれ冷却部３１ａ−１乃至３１ａ−ｎが設けられており、低温撮像のときにフォトセンサ３１を冷却する。尚、冷却部３１ａについては、図１においては、フォトセンサ３１にそれぞれ設けられている構成となっているが、実際には、フォトセンサ３１を全体として冷却するものである。また、この冷却部３１ａは、出荷時に低温撮像される際に使用されるのみであるので、実際には、工場等での試験にのみ使用されるものであり、通常装備されるものではない。しかしながら、ここでは、説明の便宜上フォトセンサ３１上に設けた構成としてある。

転送ゲート３２は、通常、転送時にのみオンの状態で使用され、フォトセンサ３１により生じる微弱な電流を増幅トランジスタ３３に転送し、暗時相当の画像を取得する際にのみ、ノイズデータ取得部１６によりオフの状態に固定制御される。増幅トランジスタ３３は、ゲイン調整部３３ａ−１乃至３３ａ−ｎにより増幅率が制御されており、転送ゲート３２より転送されてきた微弱電流を増幅して出力電圧を生成する。列選択スイッチ３４は、通常、列転送時にのみオンの状態で使用され、増幅トランジスタ３３により発生される電圧を比較部４２に出力し、暗時相当の画像を取得する際にのみ、ノイズデータ取得部１６によりオフの状態に固定制御される。

負荷ＭＯＳ電流源４１は、各列の電流値を一定とする定電流源として機能する。比較器４２は、ランプ波と各画素の出力電圧とを比較し、カウンタ４３に出力する。カウンタ４３は、比較器４２より供給されてくる比較結果に基づいて信号をカウントし、カウントしたカウント値をアナログの画素値として出力する。

次に、ノイズデータ取得部１６の詳細な構成について説明する。

ノイズデータ取得部１６は、画像取得部６１、画像記憶部６２、時系列画素値情報生成部６３、画像取得条件選択部６４、および画素単位処理部６５、およびカラム単位処理部６６を備えている。画像取得部６１は、ＡＤ変換部１５より供給されてくるデジタル信号からなる画像信号を取得し、画像記憶部６２に記憶させる。時系列画素値情報生成部６３は、画素単位で時系列に画素値をプロットさせた情報を生成する。

画像取得条件選択部６４は、転送ゲート制御部７１、列選択スイッチ制御部７２、低温制御部７３、およびゲイン制御部７４を備えており、予めノイズデータベース１７にランダムノイズの情報を登録するとき撮像する暗時相当の画像を撮像する条件を選択する。転送ゲート制御部７１は、撮像素子１３の転送ゲート３２をオフにすることで、フォトセンサ３１からの信号の転送を遮断し、暗時相当の画像を撮像できるようにして、増幅トランジスタ３３以降で発生するランダムノイズだけが後段に転送されるようにする。列選択スイッチ制御部７２は、撮像素子１３の列選択スイッチ３４をオフにすることで、増幅トランジスタ３３からの信号の転送を遮断し、暗時相当の画像を撮像できるようにすることで、比較器４２以降で発生するランダムノイズだけが後段に転送されるようにする。低温制御部７３は、シャッタ１２を閉塞状態にし、フォトセンサ３１を冷却する冷却部３１ａをオンの状態に制御し、フォトセンサ温度特性を抑制した状態におけるフォトセンサ３１そのもののランダムノイズを含む暗時の画像を撮像できるようにする。ゲイン制御部７４は、シャッタ１２を閉塞状態に制御し、増幅トランジスタ３３のゲインを調整するゲイン調整部３３ａを制御し、異なる複数のゲインにより発生するランダムノイズを含む暗時画像を撮像できるようにする。

画素単位処理部６５は、画素単位データ処理部８１、画素単位統計処理部８２、画素単位統計値生成部８３、および画素値ランダムノイズ検出部８４を備えており、画素単位でランダムノイズを検出し、ノイズデータベース１７に登録する。画素単位データ処理部８１は、画素単位の画素値の頻度に基づいた標準偏差を求める。画素単位統計処理部８２は、画素単位の画素値ごとの標準偏差のヒストグラムを生成する。画素単位統計値生成部８３は、画素単位の画素値に対する標準偏差の累積ヒストグラムを生成する。画素値ランダムノイズ検出部８４は、標準偏差のヒストグラム、および標準偏差の累積ヒストグラムに基づいて、画素単位でランダムノイズを検出する。そして、画素値ランダムノイズ検出部８４は、ランダムノイズが検出された画素については、ランダムノイズの情報をノイズデータベース１７に登録する。

より詳細には、画素値ランダムノイズ検出部８４は、アドレス検出部９１、振幅検出部９２、および時定数検出部９３を備えている。アドレス検出部９１は、ランダムノイズが発生している画素位置に対応するアドレスを検出する。振幅検出部９２は、ランダムノイズが発生している画素の時系列の画素値の振幅を検出する。時定数検出部９３は、ランダムノイズが発生している画素の時系列の画素値の時定数を検出する。そして、画素値ランダムノイズ検出部８４は、ランダムノイズが発生している画素のアドレスに対応付けて、検出した振幅と時定数の情報をノイズデータベース１７に登録する。

カラム単位処理部６６は、カラム単位データ処理部１０１、カラム単位統計処理部１０２、カラム単位統計値生成部１０３、およびカラムランダムノイズ検出部１０４を備えている。カラム単位処理部６６は、カラム単位（縦方向の列単位）で画素のランダムノイズを検出し、ノイズデータベース１７に登録する。カラム単位データ処理部１０１は、カラム単位の画素の画素値の頻度に基づいた標準偏差を求める。カラム単位統計処理部１０２は、カラム単位の画素の画素値ごとの標準偏差のヒストグラムを生成する。カラム単位統計値生成部１０３は、カラム単位の画素の画素値に対する標準偏差の累積ヒストグラムを生成する。カラムランダムノイズ検出部１０４は、カラム単位での標準偏差のヒストグラム、および標準偏差の累積頻度のヒストグラムに基づいて、カラム単位でランダムノイズを検出する。そして、カラムランダムノイズ検出部１０４は、ランダムノイズを検出した画素を含むカラムについては、ランダムノイズの情報をノイズデータベース１７に登録する。

より詳細には、カラムランダムノイズ検出部１０４は、アドレス検出部１１１、振幅検出部１１２、および時定数検出部１１３を備えている。アドレス検出部１１１は、ランダムノイズが発生しているカラム位置に対応するアドレスを検出する。振幅検出部１１２は、ランダムノイズが発生しているカラムの画素の時系列の画素値の振幅を検出する。時定数検出部１１３は、ランダムノイズが発生しているカラムの画素の時系列の画素値の時定数を検出する。そして、カラムランダムノイズ検出部１０４は、ランダムノイズを検出したカラムのアドレスに対応付けて、振幅と時定数の情報をノイズデータベース１７に登録する。

次に、ノイズ補正部１８の詳細な構成について説明する。

ノイズ補正部１８は、画像取得部１５１、画像記憶部１５２、画像単位処理部１５３、およびカラム単位処理部１５４を備えており、ＡＤ変換部１５より供給されてくる画像におけるランダムノイズを補正して、表示部２に表示させる。

画像取得部１５１は、ＡＤ変換部１５より供給されてくるデジタル信号からなる画像信号を取得し、画像記憶部１５２に記憶させる。

画素単位処理部１５３は、予めノイズデータベース１７に登録されているランダムノイズを検出した画素を監視し、ランダムノイズが発生した場合、ノイズデータベース１７に登録されている画素単位のランダムノイズの情報を適宜使用して画素値を補正する。

画素単位処理部１５３は、隣接画素比較ノイズ検出部１７１、エリア画素比較ノイズ検出部１７２、画素パターン比較ノイズ検出部１７３、フレーム間比較ノイズ検出部１７４、時定数比較ノイズ検出部１７５、および振幅比較ノイズ検出部１７６を備えている。さらに、画素単位処理部１５３は、画素ノイズ振幅加減算補正部１７７、画素入替補正部１７８、画素加減算補正部１７９、画素空間平均化補正部１８０、画素時間平均化補正部１８１、および画素クリップ補正部１８２を備えている。

隣接画素比較ノイズ検出部１７１は、ノイズデータベース１７に登録されたランダムノイズが検出された画素が、隣接する周辺の画素との画素値の差分が所定の閾値よりも大きい場合、ランダムノイズを検出する。エリア画素比較ノイズ検出部１７２は、ノイズデータベース１７に登録されたランダムノイズが検出された画素と、その画素と対応して設定される所定のエリア内の画素との画素値の差分が所定の閾値よりも大きい場合、ランダムノイズを検出する。画素パターン比較ノイズ検出部１７３は、ノイズデータベース１７に登録されたランダムノイズが検出された画素と増幅トランジスタ３３を共有している画素との画素値の差分のパターンが所定の閾値より大きいか否かによりランダムノイズを検出する。

フレーム間比較ノイズ検出部１７４は、連写時や動画像などにおいて、ノイズデータベース１７に登録されたランダムノイズが検出された画素の、直前のフレームにおける画素値との差分を比較し、所定の閾値よりも大きいか否かによりランダムノイズを検出する。尚、この例においては、直前のフレームを用いているが、数フレーム前のものでもよいし、さらに、前後のフレームを用いるようにしてもよい。さらに、フレームの代わりに、フィールドを使用するようにしてもよい。時定数比較ノイズ検出部１７５は、ノイズデータベース１７に登録されたランダムノイズが検出された画素において、上述した検出結果によりランダムノイズが検出された場合、ノイズデータベース１７に登録されている時定数と一致するか否かによりノイズを検出する。振幅比較ノイズ検出部１７６は、ノイズデータベース１７に登録されたランダムノイズが検出された画素において、上述した検出結果によりランダムノイズが検出された場合、ノイズデータベース１７に登録された振幅が一致するか否かによりノイズを検出する。

画素ノイズ振幅加減算補正部１７７は、ノイズが検出された画素の画素値に対して、ノイズデータベース１７に登録されているノイズの振幅を加減算することにより画素値を補正する。画素入替補正部１７８は、ノイズが検出された画素の画素値を、周辺のいずれかの画素の画素値、平均値、または中央値に入れ替えて画素値を補正する。画素加減算補正部１７９は、ノイズが検出された画素の画素値に対して、周辺のいずれかの画素の画素値、平均値、または中央値と加減算することにより画素値を補正する。画素空間平均化補正部１８０は、ノイズが検出された画素の画素値に対して、周辺の画素を含めた平均値とすることにより画素値を補正する。画素時間平均化補正部１８１は、ノイズが検出された画素の画素値に対して、直前の数フレーム分の画素を含めた平均値とすることにより画素値を補正する。画素クリップ補正部１８２は、ノイズが検出された画素の画素値に対して、周辺の画素より求められた画素値にクリップすることにより画素値を補正する。

カラム単位処理部１５４は、予めノイズデータベース１７に登録されているランダムノイズを検出したカラムを監視し、ランダムノイズが発生した場合、ノイズデータベース１７に登録されているカラム単位のランダムノイズの情報を適宜使用して補正する。

カラム単位処理部１５４は、隣接カラム比較ノイズ検出部２０１、エリアカラム比較ノイズ検出部２０２、フレーム間比較ノイズ検出部２０３、時定数比較ノイズ検出部２０４、および振幅比較ノイズ検出部２０５を備えている。さらに、カラム単位処理部１５４は、カラムノイズ振幅加減算補正部２０６、カラム入替補正部２０７、カラム加減算補正部２０８、カラム空間平均化補正部２０９、カラム時間平均化補正部２１０、およびカラムクリップ補正部２１１を備えている。

隣接カラム比較ノイズ検出部２０１は、ノイズデータベース１７に登録されたランダムノイズが検出されたカラムが、隣接する周辺のカラムの画素との画素値の差分が所定の閾値よりも大きい場合、ランダムノイズを検出する。エリアカラム比較ノイズ検出部２０２は、ノイズデータベース１７に登録されたランダムノイズが検出された画素と、そのカラムと対応して設定される所定のエリア内のカラムの画素との画素値の差分が所定の閾値よりも大きい場合、ランダムノイズを検出する。

フレーム間比較ノイズ検出部２０３は、連写時、または、動画像などにおいて、ノイズデータベース１７に登録されたランダムノイズが検出されたカラムの、直前のフレームにおけるカラムの画素値との差分を比較し、所定の閾値よりも大きいか否かによりランダムノイズを検出する。時定数比較ノイズ検出部２０４は、ノイズデータベース１７に登録されたランダムノイズが検出されたカラムにおいて、上述した検出結果によりランダムノイズが検出された場合、ノイズデータベース１７に登録されている時定数と一致するか否かによりノイズを検出する。振幅比較ノイズ検出部２０５は、ノイズデータベース１７に登録されたランダムノイズが検出されたカラムにおいて、上述した検出結果によりランダムノイズが検出された場合、ノイズデータベース１７に登録された振幅が一致するか否かによりノイズを検出する。

カラムノイズ振幅加減算補正部２０６は、ノイズが検出されたカラムの画素の画素値に対して、ノイズデータベース１７に登録されているノイズの振幅を加減算することによりカラム単位で画素値を補正する。カラム入替補正部２０７は、ノイズが検出されたカラムの画素の画素値を、周辺のいずれかのカラムの画素の画素値、平均値、または中央値に入れ替えて画素値を補正する。カラム加減算補正部２０８は、ノイズが検出されたカラムの画素の画素値に対して、周辺のいずれかのカラムの画素の画素値、平均値、または中央値と加減算することにより画素値を補正する。カラム空間平均化補正部２０９は、ノイズが検出されたカラムの画素の画素値に対して、周辺のカラムの画素を含めた平均値とすることにより画素値を補正する。カラム時間平均化補正部２１０は、ノイズが検出されたカラムの画素の画素値に対して、直前の数フレーム分のカラムの画素を含めた平均値とすることにより画素値を補正する。カラムクリップ補正部２１１は、ノイズが検出されたカラムの画素の画素値に対して、周辺のカラムの画素より求められた画素値にクリップすることにより画素値を補正する。

［ノイズデータベース登録処理について］
次に、図２のフローチャートを参照して、暗時相当の画像、または暗時の画像を撮像し、撮像した画像からランダムノイズを検出し、ノイズデータベース１７に登録する処理について説明する。

ステップＳ１１において、ノイズデータ取得部１６は、画像取得処理を実行し、条件を変化させて暗時相当の画像、または、暗時の画像を撮像し、撮像した画像を取得する。

［画像取得処理について］
ここで、図３のフローチャートを参照して、画像取得処理について説明する。

ステップＳ２１において、画像取得条件選択部６４は、転送ゲート３２をオフにして暗時相当の画像を撮像するように設定されていたか否かを判定する。例えば、図示せぬ設定操作により転送ゲート３２をオフにして暗時相当の画像を撮像するように設定されていた場合、処理は、ステップＳ２２に進む。

ステップＳ２２において、画像取得条件選択部６４は、転送ゲート制御部７１を制御して、転送ゲート３２をオフにするように制御する。この処理により、撮像素子１３の転送ゲート３２は、オフに制御される。結果として、撮像素子１３の各フォトセンサ３１からの信号がカットされ、増幅トランジスタ３３以降のノイズを含む、暗時相当の画像信号のみがＡＤ変換部１５からノイズデータ取得部１６に供給される。

ステップＳ２３において、画像取得部６１は、撮像素子１３の各フォトセンサ３１からの信号がカットされ、増幅トランジスタ３３以降のノイズを含む、暗時相当の画像信号を画像記憶部６２に記憶する。

ステップＳ２４において、画像取得部６１は、所定枚数の画像が取得されたか否かを判定し、所定枚数の画像が取得されていない場合、処理は、ステップＳ２３に戻る。すなわち、所定枚数の画像が取得されるまで、ステップＳ２３乃至Ｓ２４の処理が繰り返される。そして、ステップＳ２４において、所定枚数の画像が取得された場合、処理は、ステップＳ２５に進む。

ステップＳ２５において、転送ゲート制御部７１は、転送ゲート３２をオンの状態、すなわち、オフに固定された状態ではなく、通常の制御状態に制御し、転送ゲート３２をオフにした状態における暗時相当画像の取得処理を終了する。

すなわち、ステップＳ２２乃至Ｓ２５の処理により、転送ゲート３２がオフにされ、フォトセンサ３１からの信号がカットされた状態における暗時相当の画像が画像記憶部６２に蓄積されることになる。

一方、ステップＳ２１において、転送ゲート３２をオフにする設定がなされていない場合、ステップＳ２２乃至Ｓ２５の処理がスキップされて、処理は、ステップＳ２６に進む。

ステップＳ２６において、画像取得条件選択部６４は、列選択スイッチ３４をオフにして暗時相当の画像を撮像するように設定されていたか否かを判定する。例えば、図示せぬ設定操作により列選択スイッチ３４をオフにして暗時相当の画像を撮像するように設定されていた場合、処理は、ステップＳ２７に進む。

ステップＳ２７において、画像取得条件選択部６４は、列選択スイッチ制御部７２を制御して、列選択スイッチ３４をオフにするように制御する。この処理により、撮像素子１３の列選択スイッチ３４は、オフに制御される。結果として、増幅トランジスタ３３からの信号がカットされ、比較器４２以降のノイズを含む、暗時相当の画像信号のみがＡＤ変換部１５からノイズデータ取得部１６に供給される。

ステップＳ２８において、画像取得部６１は、撮像素子１３の各増幅トランジスタ３３からの信号がカットされ、比較器４２以降のノイズを含む、暗時相当の画像信号を画像記憶部６２に記憶する。

ステップＳ２９において、画像取得部６１は、所定枚数の画像が取得されたか否かを判定し、所定枚数の画像が取得されていない場合、処理は、ステップＳ２８に戻る。すなわち、所定枚数の画像が取得されるまで、ステップＳ２８乃至Ｓ２９の処理が繰り返される。そして、ステップＳ２９において、所定枚数の画像が取得された場合、処理は、ステップＳ３０に進む。

ステップＳ３０において、列選択スイッチ制御部７２は、列選択スイッチ３４をオンの状態、すなわち、オフに固定された状態ではなく、通常の制御状態に制御し、列選択スイッチ３４をオフにした状態における暗時相当画像の取得処理を終了する。

すなわち、ステップＳ２７乃至Ｓ３０の処理により、列選択スイッチ３４がオフにされ、増幅トランジスタ３３からの信号がカットされた状態における暗時相当の画像が画像記憶部６２に蓄積されることになる。

一方、ステップＳ２６において、列選択スイッチ３４をオフにする設定がなされていない場合、ステップＳ２７乃至Ｓ３０の処理がスキップされて、処理は、ステップＳ３１に進む。

ステップＳ３１において、画像取得条件選択部６４は、シャッタ１２を閉塞し、冷却部３１ａをオンにして暗時の画像を撮像するように設定されていたか否かを判定する。例えば、図示せぬ設定操作によりシャッタ１２を閉塞し、冷却部３１ａをオンにして暗時の画像を撮像するように設定されていた場合、処理は、ステップＳ３２に進む。

ステップＳ３２において、画像取得条件選択部６４は、低温制御部７３を制御して、シャッタ１２を閉塞し、冷却部３１ａをオンにするように制御する。この処理により、シャッタ１２が閉塞され、撮像素子１３のフォトセンサ３１の冷却部３１ａがオンにされる。結果として、フォトセンサ３１が冷却されることにより、温度上昇に伴う熱ノイズが低減された画像、すなわち、暗時の低温撮像された画像信号のみがＡＤ変換部１５からノイズデータ取得部１６に供給される。

ステップＳ３３において、画像取得部６１は、暗時の低温撮像された画像信号を画像記憶部６２に記憶する。

ステップＳ３４において、画像取得部６１は、所定枚数の画像が取得されたか否かを判定し、所定枚数の画像が取得されていない場合、処理は、ステップＳ３３に戻る。すなわち、所定枚数の画像が取得されるまで、ステップＳ３３乃至Ｓ３４の処理が繰り返される。そして、ステップＳ３４において、所定枚数の画像が取得された場合、処理は、ステップＳ３５に進む。

ステップＳ３５において、低温制御部７３は、シャッタ１２の開放可能な状態にすると共に、冷却部３１ａをオフの状態とし、通常の制御状態に制御し、低温撮像による暗時画像の取得処理を終了する。

すなわち、ステップＳ３２乃至Ｓ３５の処理により、シャッタ１２が閉塞された状態で、冷却部３１ａがオンにされ、低温撮像による暗時の画像が画像記憶部６２に蓄積されることになる。

一方、ステップＳ３１において、シャッタ１２を閉塞し、冷却部３１ａをオンにするように設定がなされていない場合、ステップＳ３２乃至Ｓ３５の処理はスキップされて、処理は、ステップＳ３６に進む。

ステップＳ３６において、画像取得条件選択部６４は、シャッタ１２を閉塞し、増幅トランジスタ３３のゲイン調整部３３ａを制御して、複数のゲインの暗時の画像を撮像するように設定されていたか否かを判定する。例えば、図示せぬ設定操作によりシャッタ１２を閉塞し、増幅トランジスタ３３のゲイン調整部３３ａを制御して、複数のゲインの暗時の画像を撮像するように設定されていた場合、処理は、ステップＳ３７に進む。

ステップＳ３７において、画像取得条件選択部６４は、ゲイン制御部７４を制御して、シャッタ１２を閉塞し、増幅トランジスタ３３のゲイン調整部３３ａを制御して、ゲインを切り替えるように制御する。この処理により、シャッタ１２が閉塞され、増幅トランジスタ３３のゲイン調整部３３ａが制御されて、ゲインが切り替えられる。結果として、様々なゲインにより、暗時撮像された画像信号のみがＡＤ変換部１５からノイズデータ取得部１６に供給される。

ステップＳ３８において、画像取得部６１は、暗時のゲインが調整された状態で撮像された画像信号を画像記憶部６２に記憶する。

ステップＳ３９において、画像取得部６１は、所定枚数の画像が取得されたか否かを判定し、所定枚数の画像が取得されていない場合、処理は、ステップＳ３７に戻る。すなわち、所定枚数の画像が取得されるまで、ステップＳ３７乃至Ｓ３９の処理が繰り返される。そして、ステップＳ３９において、所定枚数の画像が取得された場合、処理は、ステップＳ４０に進む。

ステップＳ４０において、ゲイン制御部７４は、シャッタ１２の開放可能な状態にすると共に、ゲイン調整部３３ａによりゲインを元の状態とし、通常の制御状態に制御し、複数のゲインでの撮像による暗時画像の取得処理を終了する。

すなわち、ステップＳ３７乃至Ｓ３９の処理により、シャッタ１２が閉塞され、ゲイン調整部３３ａにより様々に調整された状態で、暗時の画像が画像記憶部６２に蓄積されることになる。

一方、ステップＳ３６において、シャッタ１２を閉塞し、ゲイン調整部３３ａにより様々なゲインに調整するように設定がなされていない場合、ステップＳ３７乃至Ｓ４０の処理はスキップされて、処理は、終了する。

以上の処理により、転送ゲート３２がオフにされた状態における暗時相当の画像、列選択スイッチ３４がオフにされた状態における暗時相当の画像、フォトセンサ３１を冷却した状態におけるシャッタ１２が閉塞状態にされたときの暗時画像、およびゲイン調整部３３ａにより増幅トランジスタ３３のゲインが複数に調整された状態における暗時画像のいずれか、または、それら全てを画像記憶部６２に記憶させることが可能となる。尚、図３のフローチャートにおいては、いずれの暗時相当画像、および暗時画像をも撮像しない状態があり得るが、ここでは、少なくともいずれか１種類の暗時相当画像、または暗時画像が撮像されるものとする。

ここで、図２のフローチャートの説明に戻る。

ステップＳ１１において、画像取得処理が終了すると、ステップＳ１２において、ノイズデータ取得部１６が、ランダムノイズ取得処理を実行し、取得された暗時相当、または暗時の画像よりランダムノイズを取得し、ノイズデータベース１７に登録する。

［ランダムノイズ検出処理について］
ここで、図４のフローチャートを参照して、ランダムノイズ検出処理について説明する。

ステップＳ７１において、時系列画素値情報生成部６３は、各画素について時系列に画素値を取得しプロットする。

ステップＳ７２において、画素単位処理部６５は、画素単位データ処理部８１を制御し、画素単位で画素値による標準偏差を求めさせる。尚、ここでいう標準偏差とは、全時系列の画素の画素値の平均値に対して、各画素の画素値の差分の２乗和を総数で除した値の平方根である。

ステップＳ７３において、画素単位統計処理部８２は、画素単位で、求められた標準偏差によるヒストグラムを生成する。

ステップＳ７４において、画素単位統計値生成部８３は、画素単位で、求められたヒストグラムによる累積ヒストグラムを生成する。

ステップＳ７５において、画素値ランダムノイズ検出部８４は、撮像素子１３のうち処理対象となる画素のうち、未処理の画素を処理対象の画素に設定する。

ステップＳ７６において、画素値ランダムノイズ検出部８４は、標準偏差のヒストグラム、または累積ヒストグラムに基づいて、所定の閾値よりも大きな画素値であるか否かによりランダムノイズを含む画素であるか否かを判定する。より詳細には、暗時画像のノイズは、画素値の小さな値にについては、正規分布に含まれるサーマルノイズや1/fノイズによるものが多く、画素値の大きさに応じて、ランダムノイズは指数関数的に変化する傾向がある。このため、画素値ランダムノイズ検出部８４は、指数関数的に変化する（正規分布から外れる）画素値の画素についてはランダムノイズが含まれるものとみなす。指数関数的に変化する正規分布から外れる画素としては、例えば、正規分布のピーク付近の所定数以外の画素、累積相対度数が極小さい画素（例えば、0.1%以下の画素など）、および、３値以上の離散値となる画素値をとる画素である。ここで、画素値が、３値の離散値を取る画素とは、例えば、図５で示されるような波形である。すなわち、暗時相当画像、または暗時画像であるから、理想的には画素値は一定の値となるはずであるが、３値以上の離散値を取るということは、ランダムノイズの影響があると考えられる。図５においては、時系列に画素値がプロットされた波形であり、波形が、画素値Ｌ１，Ｌ２，Ｌ３の３値のみから構成されていることが示されている。

ステップＳ７６において、ランダムノイズを含む画素であると判定された場合、処理は、ステップＳ７７に進む。ステップＳ７７において、振幅検出部９２は、時系列に画素値がプロットされた結果より、ランダムノイズの振幅を検出する。すなわち、ランダムノイズの振幅とは、例えば、図５で示されるように、波形が３値以上の離散値を取るので、各離散値の差分となる値がノイズの振幅となる。図５においては、画素値Ｌ１とＬ２との差分よりも大きい、画素値Ｌ２とＬ３の差分が振幅とされているが、いずれか小さい方としてもよいし、平均値とするようにしてもよい。

ステップＳ７８において、時定数検出部９３は、時系列に画素値がプロットされた結果より、ランダムノイズの時定数τを検出する。すなわち、ランダムノイズの時定数τとは、例えば、図５における画素値Ｌ３を維持した状態を継続する時刻ｔ１乃至ｔ２の時間τである。尚、この時定数についても、同一の画素値をとる時間の長さは様々であるので、最大値、最小値、平均値、または中央値などを使用するようにしてもよいものである。

ステップＳ７９において、アドレス検出部９１は、処理対象となっている画素のアドレスを取得すると共に、ノイズデータベース１７にアクセスして、アドレスに対応付けて、振幅、および時定数をノイズデータとして登録する。

一方、ステップＳ７６において、ランダムノイズが含まれていないと判定された場合、ステップＳ７７乃至Ｓ７９の処理はスキップされて、処理は、ステップＳ８０に進む。

ステップＳ８０において、画素値ランダムノイズ検出部８４は、撮像素子１３のうち処理対象となる画素のうち、未処理の画素が存在するか否かを判定し、未処理の画素がある場合、処理は、ステップＳ７５に戻る。すなわち、未処理の画素がなくなるまで、ステップＳ７５乃至Ｓ８０の処理が繰り返される。そして、ステップＳ８０において未処理の画素がないと判定された場合、処理は、ステップＳ８１に進む。

以上のように、ステップＳ７１乃至Ｓ８０の処理により、画素単位でランダムノイズの有無が判定されて、含まれている場合、画素を特定するアドレスに対応付けて、ランダムノイズの振幅、および時定数がノイズデータベース１７に登録される。

ステップＳ８１において、時系列画素値情報生成部６３は、各カラムについて時系列に画素値の平均値を取得しプロットする。尚、ここでは、カラムに含まれる画素の画素値の平均値を用いるものとするが、カラムの画素の画素値の傾向が掴めるものであればよいので、平均値に限らず、例えば、最大値、最小値、または中央値などであってもよいものである。

ステップＳ８２において、カラム単位処理部６６は、カラム単位データ処理部１０１を制御し、カラム単位で画素値による標準偏差を求めさせる。尚、ここでいう標準偏差とは、カラムを構成する画素の平均値をカラム単位の画素値とし、全時系列のカラム単位の画素値の平均値に対して、各カラムの画素値の差分の２乗和を総数で除した値の平方根である。

ステップＳ８３において、カラム単位統計処理部１０２は、カラム単位で、求められた標準偏差によるヒストグラムを生成する。

ステップＳ８４において、カラム単位統計値生成部１０３は、カラム単位で、求められたヒストグラムによる累積ヒストグラムを生成する。

ステップＳ８５において、カラムランダムノイズ検出部１０４は、撮像素子１３のうち処理対象となるカラムのうち、未処理のカラムを処理対象のカラムに設定する。

ステップＳ８６において、カラムランダムノイズ検出部１０４は、標準偏差のヒストグラム、または累積ヒストグラムに基づいて、所定の閾値よりも大きな画素値であるか否かによりランダムノイズを含むカラムであるか否かを、画素単位の処理と同様に判定する。

ステップＳ８６において、ランダムノイズを含むカラムであると判定された場合、処理は、ステップＳ８７に進む。ステップＳ８７において、振幅検出部１１２は、時系列にカラム単位で画素値がプロットされた結果より、カラム単位のランダムノイズの振幅を画素単位の処理と同様に検出する。

ステップＳ８８において、時定数検出部１１３は、カラム単位で時系列に画素値がプロットされた結果より、ランダムノイズの時定数τを画素単位の処理と同様に検出する。

ステップＳ８９において、アドレス検出部１１１は、処理対象となっているカラムのアドレスを取得すると共に、ノイズデータベース１７にアクセスして、カラム単位でアドレスに対応付けて、振幅、および時定数をノイズデータとして登録する。

一方、ステップＳ８６において、ランダムノイズが含まれていないと判定された場合、ステップＳ８７乃至Ｓ８９の処理はスキップされて、処理は、ステップＳ９０に進む。

ステップＳ９０において、カラムランダムノイズ検出部１０４は、撮像素子１３のうち処理対象となるカラムのうち、未処理のカラムが存在するか否かを判定し、未処理のカラムがある場合、処理は、ステップＳ８５に戻る。すなわち、未処理のカラムがなくなるまで、ステップＳ８５乃至Ｓ９０の処理が繰り返される。そして、ステップＳ９０において未処理のカラムがないと判定された場合、処理は、終了する。

以上のように、ステップＳ８１乃至Ｓ９０の処理により、カラム単位でランダムノイズの有無が判定されて、含まれている場合、カラムを特定するアドレスに対応付けて、ランダムノイズの振幅、および時定数がノイズデータベース１７に登録される。

ここで、図２のフローチャートの説明に戻る。

ステップＳ１２における、ランダムノイズ検出処理が終了することにより、ノイズデータベース１７には、ランダムノイズが検出された画素単位、およびカラム単位でノイズの振幅、および時定数が登録される。

結果として、暗時相当の画像、または暗時画像により撮像素子１３が様々な状態において検出され得るランダムノイズの情報をデータベースとして登録しておくことが可能となる。

尚、以上においては、転送ゲート３２がオフにされた状態における暗時相当の画像、列選択スイッチ３４がオフにされた状態における暗時相当の画像、フォトセンサ３１を冷却した状態におけるシャッタ１２が閉塞状態にされたときの暗時画像、およびゲイン調整部３３ａにより増幅トランジスタ３３のゲインが複数に調整された状態における暗時画像のいずれか、または、それら全てを画像記憶部６２に記憶させ、それらの画像について、画素単位、およびカラム単位でランダムノイズを検出し、検出された場合、画素単位、およびカラム単位のアドレスに対応付けて振幅および時定数をノイズデータベース１７に登録させる例について説明してきた。しかしながら、これら全ての撮像条件の暗時相当の画像および暗時画像を必ずしも撮像する必要はなく、少なくとも１の条件で撮像できればよいものである。また、ノイズデータベース１７へのノイズデータの登録についても、画素単位、またはカラム単位のいずれかのみであってもよいものである。

［撮像処理について］
次に、図６のフローチャートを参照して、上述した処理により生成されたノイズデータベース１７を利用して、撮像した画像を補正するようにした撮像処理について説明する。

ステップＳ１０１において、図示せぬ撮像操作により、シャッタ１２が開放され、レンズ１１を介して入射した光に基づいて撮像素子１３により画像信号が発生されることにより画像が撮像される。そして、撮像素子１３により撮像された画像信号が、ＣＤＳ部１４およびＡＤ変換部１５を介してノイズ補正部１８に供給される。画像取得部１５１は、ＡＤ変換部１５より供給されてくる画像を取得し、画像記憶部１５２に一旦記憶させる。

ステップＳ１０２において、ノイズ補正部１８は、画像記憶部１５２に記憶されている画像情報を用いて、ノイズ判定処理を実行し、撮像された画像の各画素、または各カラム単位でランダムノイズの発生を判定する。

［ノイズ判定処理について］
ここで、図７を参照して、ノイズ判定処理について説明する。

ステップＳ１１１において、ノイズ補正部１８は、図示せぬ設定操作により、ノイズ補正が画素単位であるか、またはカラム単位であるのかを判定する。ステップＳ１１１において、図示せぬ設定操作により、例えば、画素単位で補正がなされるように設定されていた場合、処理は、ステップＳ１１２に進む。

ステップＳ１１２において、画素単位処理部１５３は、ノイズデータベース１７にアクセスし、ランダムノイズが発生した画素として登録されているアドレスに対応する画素のうち、未処理のアドレスに対応する画素を処理対象の画素に設定する。

ステップＳ１１３において、隣接画素比較ノイズ検出部１７１は、処理対象となる画素の画素値と、隣接する複数の画素の画素値との差分を求め、その差分の平均値が所定の閾値よりも大きいか否かを判定する。例えば、隣接する複数の画素との画素値の差分の平均値が所定の閾値よりも大きい場合、隣接画素比較ノイズ検出部１７１は、画素値の信号値のみではなく、ランダムノイズを含むものと見なし、処理は、ステップＳ１１９に進む。

ステップＳ１１９において、振幅比較ノイズ検出部１７６は、処理対象となっている画素の周辺画素の画素値との比較から、ランダムノイズとして付加されている振幅が、ノイズデータベース１７に登録されている振幅と略一致する（または類似する）か否かを判定する。ステップＳ１１９において、略一致すると判定された場合、処理は、ステップＳ１２０に進む。

ステップＳ１２０において、画素単位処理部１５３は、隣接画素比較ノイズ検出部１７１の判定結果に基づいて、処理対象となっている画素にはランダムノイズが発生しているものとして認識する。

また、ステップＳ１１９において、処理対象となっている画素の周辺画素の画素値との比較から、ランダムノイズとして付加されている振幅が、ノイズデータベース１７に登録されている振幅と一致しないと判定された場合、処理は、ステップＳ１１８に進む。

ステップＳ１１８において、画素単位処理部１５３は、隣接画素比較ノイズ検出部１７１の判定結果に基づいて、処理対象となっている画素にはランダムノイズが発生していないものとして認識する。

一方、ステップＳ１１３において、隣接する複数の画素との画素値の差分の平均値が所定の閾値よりも大きくなく、隣接画素間の画素値の差分においてはランダムノイズの発生が検出されないと判定された場合、処理は、ステップＳ１１４に進む。

ステップＳ１１４において、エリア画素比較ノイズ検出部１７２は、処理対象画素の画素値と、処理対象画素に対して特定の位置関係となる周辺のエリアにおける画素の画素値との差分を求め、それらの平均値が所定の閾値よりも大きいか否かを判定する。例えば、処理対象画素と特定の位置関係となるエリアの複数の画素との画素値の差分の平均値が所定の閾値よりも大きい場合、画素値の信号値のみではなく、ランダムノイズを含むものと見なし、処理は、ステップＳ１１９に進む。

一方、ステップＳ１１４において、処理対象画素の画素値と、処理対象画素に対して特定の位置関係となる周辺のエリアにおける画素の画素値との差分の平均値が所定の閾値よりも大きくない場合、処理は、ステップＳ１１５に進む。

ステップＳ１１５において、画素パターン比較ノイズ検出部１７３は、処理対象となる画素と増幅トランジスタ３３を共有する複数の画素間の差分を求め、その差分のパターンが所定のパターンと一致するか否かを判定する。例えば、処理対象となる画素と増幅トランジスタ３３を共有する複数の画素間の差分を求め、その差分のパターンが所定のパターンと一致する場合、処理は、ステップＳ１１９に進む。

一方、ステップＳ１１５において、処理対象となる画素と増幅トランジスタ３３を共有する複数の画素間の差分を求め、その差分のパターンが所定のパターンと一致しない場合、処理は、ステップＳ１１６に進む。

ステップＳ１１６において、フレーム間比較ノイズ検出部１７４は、処理対象となっている画素の画像が、連写画像であるか、または、動画像であるか否かを判定する。ステップＳ１１６において、連写画像であるか、または、動画像であった場合、処理は、ステップＳ１１７に進む。ステップＳ１１７において、フレーム間比較ノイズ検出部１７４は、処理対象となっている画素の画素値と、直前のフレームにおける同位置の画素の画素値との差分を計算し、所定の閾値よりも大きいか否かを判定する。例えば、ステップＳ１１７において、所定の閾値よりも大きいと判定された場合、ランダムノイズが発生してしているものとみなされて、処理は、ステップＳ１２２に進む。

ステップＳ１２２において、時定数比較ノイズ検出部１７５は、処理対象となっている画素の前後のフレームの情報からランダムノイズが発生している時間が、ノイズデータベース１７に登録されている時定数τと略一致するか否かを判定する。ステップＳ１２２において、処理対象となっている画素の前後のフレームの情報からランダムノイズが発生している時間が時定数と一致する場合、処理は、ステップＳ１１９に進む。

一方、ステップＳ１１７において、処理対象となっている画素の画素値と、直前のフレームにおける同位置の画素の画素値との差分が所定の閾値よりも大きくない場合、処理は、ステップＳ１１８に進む。また、ステップＳ１２２において、処理対象となっている画素の前後のフレームの情報からランダムノイズが発生している時間が時定数と一致しない場合、処理は、ステップＳ１１８に進む。

すなわち、処理対象画素は、隣接画素間との差分が小さく、特定エリアの周辺画素との画素値の差分が小さく、共有の増幅トランジスタ３３を用いる画素間の差分が所定のパターンであり、振幅が一致しない場合にランダムノイズなしと判定される。ただし、連写画像、または、動画像の場合、さらに、フレーム間差分が閾値よりも小さく、時定数τも一致しない場合、ランダムノイズなしと判定される。また、処理対象画素は、隣接画素間との差分が大きいか、特定エリアの周辺画素との画素値の差分が大きいか、または、共有の増幅トランジスタ３３を用いる画素間の差分が所定のパターンでないかのいずれかのいずれかであり、かつ、振幅が一致する場合にランダムノイズありと判定される。ただし、連写画像、または、動画像の場合、さらに、フレーム間差分が閾値よりも大きく、時定数τも一致する場合、ランダムノイズありと判定される。

ステップＳ１２１において、画素単位処理部１５３は、未処理の画素が存在するか否かを判定し、存在する場合、処理は、ステップＳ１１２に戻り、それ以降の処理が繰り返される。また、ステップＳ１２１において、未処理の画素が存在しない場合、処理は、終了する。

一方、ステップＳ１１１において、画素単位処理ではなく、すなわち、カラム単位の処理である場合、処理は、ステップＳ１２３に進む。

ステップＳ１２３において、カラム単位処理部１５４は、ノイズデータベース１７にアクセスし、ランダムノイズが発生したカラムとして登録されているアドレスに対応するカラムのうち、未処理のアドレスに対応するカラムを処理対象のカラムに設定する。

ステップＳ１２４において、隣接カラム比較ノイズ検出部２０１は、処理対象となるカラムの複数の画素の画素値と、隣接するカラムの複数の画素の画素値との差分を求め、その差分の平均値が所定の閾値よりも大きいか否かを判定する。例えば、隣接するカラムの複数の画素との画素値の差分の平均値が所定の閾値よりも大きい場合、画素値の信号値ではなく、ランダムノイズであるものと見なし、処理は、ステップＳ１２９に進む。

ステップＳ１２９において、振幅比較ノイズ検出部２０５は、処理対象のカラムの周辺のカラムの画素間の比較から、ランダムノイズとして付加されている振幅が、ノイズデータベース１７に登録されている振幅と略一致する（または類似する）か否かを判定する。ステップＳ１２９において、略一致すると判定された場合、処理は、ステップＳ１３０に進む。

ステップＳ１３０において、カラム単位処理部１５４は、隣接カラム比較ノイズ検出部２０１の判定結果に基づいて、処理対象となっているカラムにはランダムノイズが発生しているものとして認識する。

また、ステップＳ１２９において、処理対象となっているカラムの周辺のカラムの画素間の比較から、ランダムノイズとして付加されている振幅が、ノイズデータベース１７に登録されている振幅と一致しないと判定された場合、処理は、ステップＳ１２８に進む。

ステップＳ１２８において、カラム単位処理部１５４は、隣接カラム比較ノイズ検出部２０１の判定結果に基づいて、処理対象となっているカラムにはランダムノイズが発生していないものとして認識する。

一方、ステップＳ１２４において、隣接するカラム間の複数の画素間との画素値の差分の平均値が所定の閾値よりも大きくなく、隣接カラム間の画素値の差分においてはランダムノイズの発生が検出されないと判定された場合、処理は、ステップＳ１２５に進む。

ステップＳ１２５において、エリアカラム比較ノイズ検出部２０２は、処理対象カラムの画素の画素値と、処理対象カラムに対して特定の位置関係となる周辺のエリアのカラムの画素の画素値との差分を求め、それらの平均値が所定の閾値よりも大きいか否かを判定する。例えば、処理対象カラムと特定の位置関係となるエリアの複数のカラムとの画素値の差分の平均値が所定の閾値よりも大きい場合、画素値の信号値のみではなく、ランダムノイズを含むものと見なし、処理は、ステップＳ１２９に進む。

一方、ステップＳ１２５において、処理対象カラムの画素値と、処理対象カラムに対して特定の位置関係となる周辺のエリアにおけるカラムの画素値との差分の平均値が所定の閾値よりも大きくない場合、処理は、ステップＳ１２６に進む。

ステップＳ１２６において、フレーム間比較ノイズ検出部２０３は、処理対象となっているカラムの画像が、連写画像であるか、または、動画像であるか否かを判定する。ステップＳ１２６において、連写画像であるか、または、動画像であった場合、処理は、ステップＳ１２７に進む。

ステップＳ１２７において、フレーム間比較ノイズ検出部２０３は、処理対象となっているカラムの画素値と、直前のフレームにおける同位置のカラムの画素値との差分の平均値を計算し、所定の閾値よりも大きいか否かを判定する。例えば、ステップＳ１２７において、所定の閾値よりも大きいと判定された場合、ランダムノイズが発生してしているものとみなされて、処理は、ステップＳ１３２に進む。

ステップＳ１３２において、時定数比較ノイズ検出部２０４は、処理対象となっているカラムの前後のフレームの情報からランダムノイズが発生している時間が、ノイズデータベース１７に登録されている時定数τと略一致するか否かを判定する。ステップＳ１３２において、処理対象となっている画素の前後のフレームの情報からランダムノイズが発生している時間が時定数と略一致する場合、処理は、ステップＳ１２９に進む。

さらに、ステップＳ１３２において、処理対象となっているカラムの前後のフレームの情報からランダムノイズが発生している時間が、ノイズデータベース１７に登録されている時定数τと一致しないと判定された場合、やはり、処理は、ステップＳ１２８に進む。

一方、ステップＳ１２７において、処理対象となっているカラムの画素値と、直前のフレームにおける同位置のカラムの画素値との差分の平均値が所定の閾値よりも大きくない場合、処理は、ステップＳ１２８に進む。

すなわち、処理対象カラムは、隣接カラム間との差分が小さく、特定エリアの周辺カラムとの画素値の差分が小さく、振幅が一致しない場合にランダムノイズなしと判定される。ただし、連続画像、または動画像の場合、さらに、フレーム間差分が閾値よりも小さく、時定数も一致しないとき、ランダムノイズなしと判定される。また、処理対象カラムは、隣接カラム間との画素間差分が大きいか、または、特定エリアの周辺カラムとの画素値の差分が大きいかのいずれかであり、かつ、振幅が一致する場合にランダムノイズありと判定される。ただし、連写画像、または動画像の場合、さらに、フレーム間のカラム間の画素間差分が閾値よりも大きく、時定数が一致するとき、ランダムノイズありと判定される。

ステップＳ１３１において、カラム単位処理部１５４は、未処理のカラムが存在するか否かを判定し、存在する場合、処理は、ステップＳ１２３に戻り、それ以降の処理が繰り返される。また、ステップＳ１３１において、未処理のカラムが存在しない場合、処理は、終了する。

以上の処理により、ノイズデータベース１７のノイズ情報に基づいて、予め登録されたアドレスに対応する画素単位、またはカラム単位を監視し、ランダムノイズを含むか否かが判定されることになる。

ここで、図６のフローチャートの説明に戻る。

ステップＳ１０２において、画素単位、または、カラム単位でノイズ判定処理が実行されてると、処理は、ステップＳ１０３に進む。

ステップＳ１０３において、ノイズ補正部１８は、ノイズ補正処理を実行し、ノイズデータベース１７に登録されたアドレスの画素単位、またはカラム単位でランダムノイズが検出された画素を補正する。

［ノイズ補正処理について］
ここで、図８のフローチャートを参照して、ノイズ補正処理について説明する。

ステップＳ１４１において、ノイズ補正部１８は、図示せぬ設定操作により、ノイズ補正が画素単位であるか、またはカラム単位であるのかを判定する。ステップＳ１４１において、図示せぬ設定操作により、例えば、画素単位で補正がなされるように設定されていた場合、処理は、ステップＳ１４２に進む。

ステップＳ１４２において、画素単位処理部１５３は、ノイズデータベース１７にアクセスし、ランダムノイズが発生した画素として登録されているアドレスに対応する画素のうち、未処理のアドレスに対応する画素を処理対象の画素に設定する。

ステップＳ１４３において、画素入替補正部１７８は、画素入替補正が指示されているか否かを判定する。ステップＳ１４３において、例えば、図示せぬ設定操作により、画素入替補正が指示されている場合、画素入替補正部１７８は、例えば、処理対象画素の上下左右、および右上右下左上左下にそれぞれ隣接する合計８画素の任意の１画素と、処理対象画素の画素値を入替える。または、画素入替補正部１７８は、例えば、隣接する合計８画素の平均画素値と、処理対象画素の画素値を入替える。さらに、または、画素入替補正部１７８は、例えば、隣接する合計８画素の画素値の中央値と、処理対象画素の画素値を入替える。この場合、画素入替補正部１７８は、実質的にメディアンフィルタとして機能する。画素値が補正されると、処理は、ステップＳ１５５に進む。

ステップＳ１４３において、画素入替補正が指示されていない場合、ステップＳ１４５において、画素加減算補正部１７９は、画素加減算補正が指示されているか否かを判定する。ステップＳ１４５において、例えば、図示せぬ設定操作により、画素加減算補正が指示されている場合、処理は、ステップＳ１４６に進む。

ステップＳ１４６において、画素加減算補正部１７９は、例えば、処理対象画素の上下左右、および右上右下左上左下にそれぞれ隣接する合計８画素の任意の１画素と、処理対象画素の画素値を加算または減算する。尚、ここでいう加算、または減算とは、振幅に応じたものであり、振幅が正であれば減算され、負であれば加算される。または、画素加減算補正部１７９は、例えば、隣接する合計８画素の平均画素値と、処理対象画素の画素値を加減算する。さらに、または、画素加減算補正部１７９は、例えば、隣接する合計８画素の画素値の中央値と、処理対象画素の画素値を加減算する。画素値が補正されると、処理は、ステップＳ１５５に進む。

ステップＳ１４５において、画素加減算補正が指示されていない場合、ステップＳ１４７において、画素空間平均化補正部１８０は、空間平均化補正が指示されているか否かを判定する。ステップＳ１４７において、例えば、図示せぬ設定操作により、画素空間平均化補正が指示されている場合、処理は、ステップＳ１４８に進む。

ステップＳ１４８において、画素空間平均化補正部１８０は、例えば、処理対象画素の上下左右、および右上右下左上左下にそれぞれ隣接する合計８画素と、処理対象画素の画素値の空間的な平均値を処理対象画素の画素値に補正する。すなわち、この場合、画素空間平均化補正部１８０は、実質的にLPF（Low Pass Filter）として機能する。または、画素空間平均化補正部１８０は、例えば、ノイズの振幅に応じて、隣接する合計８画素の平均画素値と、さらに、隣接する１６画素と処理対象画素の空間的平均値に補正する。すなわち、ノイズの振幅に応じて、空間的平均値が求められる処理対象画素を含む範囲を変化させる。このように、画素値が補正されると、処理は、ステップＳ１５５に進む。

また、ステップＳ１４７において、画素空間平均化補正が指示されていない場合、ステップＳ１４９において、画素時間平均化補正部１８１は、時間平均化補正が指示されているか否かを判定する。ステップＳ１４９において、例えば、図示せぬ設定操作により、画素時間平均化補正が指示されている場合、処理は、ステップＳ１５０に進む。

ステップＳ１５０において、画素時間平均化補正部１８１は、例えば、処理対象画素の前後に隣接するフレームの同位置の画素と、処理対象画素の画素値の時間的な平均値で処理対象画素の画素値を補正する。または、画素空間平均化補正部１８０は、例えば、ノイズの振幅に応じて、隣接する２以上のフレームの同位置の画素の平均画素値で処理対象画素を補正する。画素値が補正されると、処理は、ステップＳ１５５に進む。

さらに、ステップＳ１４９において、画素時間平均化補正が指示されていない場合、ステップＳ１５１において、画素クリップ補正部１８２は、画素クリップ補正が指示されているか否かを判定する。ステップＳ１５１において、例えば、図示せぬ設定操作により、画素クリップ補正が指示されている場合、処理は、ステップＳ１５２に進む。

ステップＳ１５２において、画素クリップ補正部１８２は、例えば、画像が暗時画像であるような場合、処理対象画素の画素値を黒レベルの最大値などに補正する。または、画素クリップ補正部１８２は、例えば、隣接する８画素の平均値、または画像内の全画素の画素値の標準偏差の中央値近傍の画素値などに処理対象となる画素の画素値をクリップする。画素値が補正されると、処理は、ステップＳ１５５に進む。

また、ステップＳ１５１において、画素クリップ補正が指示されていない場合、ステップＳ１５３において、画素ノイズ振幅加減算補正部１７７は、振幅加減算補正が指示されているか否かを判定する。ステップＳ１５３において、例えば、図示せぬ設定操作により、振幅加減算補正が指示されている場合、処理は、ステップＳ１５４に進む。

ステップＳ１５４において、画素ノイズ振幅加減算補正部１７７は、例えば、処理対象画素について、ノイズデータベース１７に登録されている振幅を加減算して補正する。または、画素ノイズ振幅加減算補正部１７７は、例えば、処理対象画素の画素値と、周辺画素の画素値との差分が所定値よりも大きいとき、ノイズデータベース１７に登録されているノイズの振幅を加減算して補正する。画素値が補正されると、処理は、ステップＳ１５５に進む。

さらに、ステップＳ１５３において、振幅加減算補正が指示されていない場合、処理は、ステップＳ１５５に進む。

ステップＳ１５５において、画素単位処理部１５３は、ノイズデータベース１７にランダムノイズが発生した画素として登録されているアドレスに対応する画素のうち、未処理のアドレスに対応する画素が存在するか否かを判定する。ステップＳ１５５において、例えば、未処理の画素が存在すると判定された場合、処理は、ステップＳ１４２に戻る。すなわち、ランダムノイズが発生した画素として登録されているアドレスに対応する画素のうち、未処理のアドレスに対応する画素がなくなるまで、ステップＳ１４２乃至Ｓ１５５の処理が繰り返される。そして、ステップＳ１５５において、未処理の画素が存在しないと判定された場合、処理は終了する。

一方、ステップＳ１４１において、図示せぬ設定操作により、例えば、画素単位で補正がなされるように設定されておらず、カラム単位で補正がなされるように設定されていた場合、処理は、ステップＳ１５６に進む。

ステップＳ１５６において、カラム単位処理部１５４は、ノイズデータベース１７にアクセスし、ランダムノイズが発生したカラムとして登録されているアドレスに対応するカラムのうち、未処理のアドレスに対応するカラムを処理対象のカラムに設定する。

ステップＳ１５７において、カラム入替補正部２０７は、カラム入替補正が指示されているか否かを判定する。ステップＳ１５７において、例えば、図示せぬ設定操作により、カラム入替補正が指示されている場合、処理は、ステップＳ１５８に進む。

カラム入替補正部２０７は、例えば、処理対象カラムの左右のいずれかに隣接する画素と、処理対象カラムの画素の画素値を入替える。または、カラム入替補正部２０７は、例えば、隣接する合計３カラムの各画素の平均画素値と、処理対象カラムの画素値を入替える。さらに、または、カラム入替補正部２０７は、例えば、隣接する複数のカラムの画素の画素値の中央値と、処理対象カラムの画素の画素値とを入替える。この場合、カラム入替補正部２０７は、実質的にメディアンフィルタとして機能する。画素値が補正されると、処理は、ステップＳ１６９に進む。

ステップＳ１５７において、カラム入替補正が指示されていない場合、ステップＳ１５９において、カラム加減算補正部２０８は、カラム加減算補正が指示されているか否かを判定する。ステップＳ１５９において、例えば、図示せぬ設定操作により、カラム加減算補正が指示されている場合、処理は、ステップＳ１６０に進む。

ステップＳ１６０において、カラム加減算補正部２０８は、例えば、処理対象カラムの左右と、隣接するカラムを含む合計３カラムの任意の１カラムと、処理対象カラムの画素値を加算または減算する。または、カラム加減算補正部２０８は、例えば、隣接するカラムを含む合計３カラムの平均画素値と、処理対象カラムの画素値を加減算する。さらに、または、カラム加減算補正部２０８は、例えば、隣接する合計３カラムの画素値の中央値と、処理対象カラムの画素値を加減算する。画素値が補正されると、処理は、ステップＳ１６９に進む。

ステップＳ１５９において、カラム加減算補正が指示されていない場合、ステップＳ１６１において、カラム空間平均化補正部２０９は、カラム空間平均化補正が指示されているか否かを判定する。ステップＳ１６１において、例えば、図示せぬ設定操作により、カラム空間平均化補正が指示されている場合、処理は、ステップＳ１６２に進む。

ステップＳ１６２において、カラム空間平均化補正部２０９は、例えば、処理対象カラムと、それぞれ隣接するカラムの合計３カラムと、処理対象カラムの画素値の空間的な平均値を処理対象カラムの画素値に補正する。この場合、カラム空間平均化補正部２０９は、実質的にLPFとして機能する。または、カラム空間平均化補正部２０９は、例えば、ノイズの振幅に応じて、隣接するカラム数を変えて求められる平均画素値によりカラム空間的平均値に補正する。画素値が補正されると、処理は、ステップＳ１６９に進む。

また、ステップＳ１６１において、カラム空間平均化補正が指示されていない場合、ステップＳ１６３において、カラム時間平均化補正部２１０は、カラム時間平均化補正が指示されているか否かを判定する。ステップＳ１６３において、例えば、図示せぬ設定操作により、カラム時間平均化補正が指示されている場合、処理は、ステップＳ１６４に進む。

ステップＳ１６４において、カラム時間平均化補正部２１０は、例えば、処理対象カラムの前後に隣接するフレームの同位置のカラムと、処理対象カラムの画素値の時間的な平均値で処理対象カラムの画素値を補正する。または、カラム空間平均化補正部２０９は、例えば、ノイズの振幅に応じて、隣接する２以上のフレームの同位置のカラムの平均画素値で処理対象カラムを補正する。画素値が補正されると、処理は、ステップＳ１６９に進む。

さらに、ステップＳ１６３において、カラム時間平均化補正が指示されていない場合、ステップＳ１６５において、カラムクリップ補正部２１１は、カラムクリップ補正が指示されているか否かを判定する。ステップＳ１６５において、例えば、図示せぬ設定操作により、カラムクリップ補正が指示されている場合、処理は、ステップＳ１６６に進む。

ステップＳ１６６において、カラムクリップ補正部２１１は、例えば、画像が暗時画像であるような場合、処理対象カラムの画素値を黒レベルの最大値などに補正する。または、カラムクリップ補正部２１１は、例えば、隣接するカラムを含む合計３カラムの平均値、または画像内の全カラムの画素値の標準偏差の中央値近傍の画素値などに処理対象となるカラムの画素値をクリップする。画素値が補正されると、処理は、ステップＳ１６９に進む。

また、ステップＳ１６５において、カラムクリップ補正が指示されていない場合、ステップＳ１６７において、カラムノイズ振幅加減算補正部２０６は、カラム振幅加減算補正が指示されているか否かを判定する。ステップＳ１６７において、例えば、図示せぬ設定操作により、カラム振幅加減算補正が指示されている場合、処理は、ステップＳ１６８に進む。

ステップＳ１６８において、カラムノイズ振幅加減算補正部２０６は、例えば、処理対象カラムについて、ノイズデータベース１７に登録されている振幅を加減算して補正する。または、カラムノイズ振幅加減算補正部２０６は、例えば、処理対象カラムの画素値と、周辺カラムの画素値との差分の平均値が所定値よりも大きいとき、ノイズデータベース１７に登録されているノイズの振幅を加減算して補正する。画素値が補正されると、処理は、ステップＳ１６９に進む。

さらに、ステップＳ１６７において、カラム振幅加減算補正が指示されていない場合、処理は、ステップＳ１６９に進む。

ステップＳ１６９において、カラム単位処理部１５４は、ノイズデータベース１７にランダムノイズが発生したカラムとして登録されているアドレスに対応する画素のうち、未処理のアドレスに対応するカラムが存在するか否かを判定する。ステップＳ１６９において、例えば、未処理のカラムが存在すると判定された場合、処理は、ステップＳ１５６に戻る。すなわち、ランダムノイズが発生した画素として登録されているアドレスに対応する画素のうち、未処理のアドレスに対応する画素がなくなるまで、ステップＳ１５６乃至Ｓ１６９の処理が繰り返される。そして、ステップＳ１６９において、未処理のカラムが存在しないと判定された場合、処理は終了する。

以上の処理により、ノイズデータベース１７に登録されているランダムノイズが検出された画素、またはカラムのみが監視され、ランダムノイズが検出された場合、画素単位、またはカラム単位で、画素入替補正、加減算補正、空間平均化補正、時間平均化補正、クリップ補正、振幅加減算補正、または補正なしの状態で出力することが可能となる。また、図８のフローチャートにおいては、補正なしでも出力される場合も含まれるものであるが、いずれかの状態に必ず補正されるようにしてもよい。

ここで、図６のフローチャートの説明に戻る。

ステップＳ１０４において、ノイズ補正部１８は、ノイズ補正処理を実行することによりノイズを除去した画像を表示部２に出力し表示し、処理は、終了する。

以上の処理により、予め暗時相当、または暗時の画像を撮像して、ノイズデータベース１７を画素単位、またはカラム単位で登録するようにし、撮像する際、ランダムノイズが発生しても、ノイズデータベース１７の情報に基づいて適切に画素、またはカラムを補正することができるので、ランダムノイズを低減することが可能となる。

＜２．第２の実施の形態＞
また、以上においては、撮像装置１は、ノイズデータベース１７を生成し、自らが撮像した画像を自らで補正する例について説明してきたが、図９で示されるように、ノイズデータベース１７を撮像装置１以外の、例えば、パーソナルコンピュータ３０２に記憶させ、パーソナルコンピュータ３０２上で補正させるようにしてもよい。すなわち、図９の撮像装置３０１は、図１における撮像装置１よりノイズデータ取得部１６、ノイズデータベース１７、およびノイズ補正部１８を除いた構成である。また、パーソナルコンピュータ３０２は、ノイズデータベース１７と同様に生成されたノイズデータベース３１１とノイズ補正部１８が設けられている。このため、撮像装置３０１は、撮像した画像をパーソナルコンピュータ３０２に出力する。そして、パーソナルコンピュータ３０２のノイズ補正部１８は、撮像装置３０１より供給されてきた画像をノイズデータベース３１１を利用して補正し、表示部２に表示する。

尚、図９の撮像装置３０１およびパーソナルコンピュータ３０２においては、図１の撮像装置１と同様の機能を備える構成については、同一の符号を付している。また、具体的な撮像処理については、上述した撮像装置１のみの場合と同様であるので、その説明は省略する。

以上によれば、半導体により形成したCMOSの固体撮像素子において、使用される個々のトランジスタの特性により、特異なレベルの信号をランダムに出力する欠陥画素に起因するノイズ、すなわち、ランダムノイズを予め測定し、ノイズデータベースを生成する。そして、撮像された画像をノイズデータベースの情報に基づいて補正するようにしたので、ランダムノイズを低減させることが可能となる。

ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１０は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

１ 撮像装置， １３ 撮像素子， １６ ノイズデータ取得部， １７ ノイズデータベース， １８ ノイズ補正部， ３１，３１−１乃至３１−ｎ フォトセンサ， ３１ａ，３１ａ−１乃至３１ａ−ｎ 冷却部， ３２，３２−１乃至３２−ｎ 転送ゲート， ３３ 増幅トランジスタ， ３３ａ，３３ａ−１乃至３３ａ−ｎ ゲイン調整部， ３４，３４−１乃至３４−ｎ 列選択スイッチ

Claims (15)

1. 撮像素子を用いて画像を撮像する撮像手段と、
   前記撮像手段により撮像された画像を構成する画像信号のゲインを制御するゲイン制御手段と、
   前記撮像手段により撮像された、暗時の画像を、前記ゲイン制御手段により前記ゲインを様々に変化させながら複数枚取得する画像取得手段と、
   前記画像取得手段により取得された画像を構成する画素の画素値、および前記画素値を用いた統計処理値を生成する生成手段と、
   前記生成手段により生成された前記画素値、および、前記統計処理値に基づいて特異な信号を発する画素を検出する検出手段と、
   前記画像取得手段により取得された画像において、前記検出手段により特異な信号を発する画素を特定するアドレスに対応付けて、前記特異な信号を含む画素の振幅をデータベースとして登録する登録手段と、
   前記撮像手段により撮像された撮像画像について、前記データベースに登録されているアドレスに対応する画素を処理対象画素とした場合、前記処理対象画素の振幅が、前記データベースに登録されている振幅と一致または類似するか否かに基づいて、前記処理対象画素が特異な信号を含む画素であるか否かを判定する判定手段と、
   前記判定手段により前記処理対象画素が前記特異な信号を含む画素であると判定された場合、前記処理対象画素と前記処理対象画素の周辺画素との画素値の差分、および、前記処理対象の画素の前記振幅の値を利用して、前記処理対象画素の画素値を補正する補正手段と
   を含む撮像装置。
2. 前記画像取得手段は、前記撮像素子における転送ゲートをオフの状態にして、暗時の画像を複数枚取得し、
   前記登録手段は、前記検出手段により検出された前記特異な信号が検出された画素単位で、前記画素を特定するアドレスに対応付けて、前記特異な信号を含む画素の振幅、および前記特異な信号が発生する時定数をデータベースとして登録する
   請求項１に記載の撮像装置。
3. 前記画像取得手段は、前記撮像手段により、低温時に暗時の画像を複数枚取得する
   請求項２に記載の撮像装置。
4. 前記判定手段は、前記データベースに登録されているアドレスに対応する画素を処理対象画素としたとき、前記処理対象画素の隣接画素間の画素値の差分が所定の閾値を超えているか否か、または前記処理対象画素に対応して所定の位置関係となっているパターンの画素間の差分が所定の閾値を超えているか否かに加えて、前記処理対象画素の振幅が前記データベースに登録されている振幅と一致または類似するか否かに基づいて、前記特異な信号の有無を判定し、さらに、連写時および動画時には、前記処理対象画素に対応するフレーム間、若しくはフィールド間の画素間の差分が所定の閾値を越えているか否かに加えて、前記処理対象画素の前記振幅および時定数が、前記データベースに登録されたものと一致または類似するか否かに基づいて、前記特異な信号の有無を判定する
   請求項１に記載の撮像装置。
5. 前記補正手段は、前記データベースに登録された振幅の値を使用し、輝度により補正した補正値を用いた加減算処理、隣接画素の画素値との入替、隣接画素の出力の加減算、空間的平均化、時間的平均化、または、所定値へのクリップ処理により前記特異な信号有りと判定された画素の画素値を補正する
   請求項１に記載の撮像装置。
6. 前記画像取得手段は、前記撮像素子における転送ゲートをオフの状態にして暗時の画像を複数枚取得し、
   前記生成手段は、前記画像取得手段により取得された画像において、カラム単位で画素の画素値および、前記画素値を用いた統計処理値を生成し、
   前記検出手段は、前記生成手段により生成されたカラム単位の画素値、および、統計処理値に基づいて特異な信号を発する画素を検出し、
   前記登録手段は、前記検出手段により検出された特異な信号が検出されたカラム単位で、前記画素を特定するアドレスに対応付けて、前記特異な信号を含む画素の振幅、および前記特異な信号が発生する時定数をデータベースとして登録する
   請求項１に記載の撮像装置。
7. 前記画像取得手段は、前記撮像手段により、低温時に暗時の画像を複数枚取得する
   請求項６に記載の撮像装置。
8. 前記判定手段は、前記データベースに登録されているアドレスに対応するカラムの画素を処理対象カラムの画素としたとき、前記データベースにアドレスに対応付けて登録された情報に基づいて、前記処理対象カラムの画素の画素値が、隣接するカラムである隣接カラムの同一位置の画素間の画素値の差分が所定の閾値を超えているか否かに加えて、前記処理対象カラムの画素の振幅が前記データベースに登録されている振幅と一致または類似するか否かに基づいて、前記特異な信号の有無を判定し、さらに、連写時、および動画時には、フレーム間、若しくはフィールド間のカラムの画素間の差分が所定の閾値を超えているか否かに加えて、前記処理対象カラムの画素の前記振幅および前記時定数が、前記データベースに登録されたものと一致または類似するか否かに基づいて、前記特異な信号の有無を判定する
   請求項６に記載の撮像装置。
9. 前記補正手段は、前記特異な信号有りと判定された前記カラム単位の画素、または前記カラム単位の画素における前記特異な信号の発生箇所の画素の画素値を補正する
   請求項６に記載の撮像装置。
10. 前記補正手段は、前記データベースに登録された情報に基づいて、前記特異な信号有りと判定された前記カラム単位の画素を、隣接カラムと補完するか、または、前記データベースに登録された振幅を使用して加減算処理することにより画素値を補正する
    請求項６に記載の撮像装置。
11. 前記補正手段は、前記カラム単位の画素の特異な信号の発生箇所に対する補正において、隣接カラムの同一箇所との補完、隣接カラムの同一箇所の出力の加減算、空間的平均化、時間的平均化、特定の値へのクリップ処理により前記特異な信号有りと判定された画素の画素値を補正する
    請求項６に記載の撮像装置。
12. 請求項１に記載のデータベースと、
    請求項１に記載の補正手段と
    を含む情報処理装置。
13. 撮像素子を用いて画像を撮像する撮像ステップと、
    前記撮像ステップの処理により撮像された画像を構成する画像信号のゲインを制御するゲイン制御ステップと、
    前記撮像ステップの処理により撮像された、暗時の画像を、前記ゲイン制御ステップの処理により前記ゲインを様々に変化させながら複数枚取得する画像取得ステップと、
    前記画像取得ステップの処理により取得された画像を構成する画素の画素値、および前記画素値を用いた統計処理値を生成する生成ステップと、
    前記生成ステップの処理により生成された前記画素値、および、前記統計処理値に基づいて特異な信号を発する画素を検出する検出ステップと、
    前記画像取得ステップの処理により取得された画像において、前記検出ステップの処理により特異な信号を発する画素を特定するアドレスに対応付けて、前記特異な信号を含む画素の振幅、および前記特異な信号が発生する時定数をデータベースとして登録する登録ステップと、
    前記撮像ステップの処理により撮像された撮像画像について、前記データベースに登録されているアドレスに対応する画素を処理対象画素とした場合、前記処理対象画素の振幅が、前記データベースに登録されている振幅と一致または類似するか否かに基づいて、前記処理対象画素が特異な信号を含む画素であるか否かを判定する判定ステップと、
    前記判定ステップの処理により前記処理対象画素が前記特異な信号を含む画素であると判定された場合、前記処理対象画素と前記処理対象画素の周辺画素との画素値の差分、および、前記処理対象画素の前記振幅の値を利用して、前記処理対象画素の画素値を補正する補正ステップと
    を含む撮像方法。
14. 撮像素子を用いて画像を撮像する撮像ステップと、
    前記撮像ステップの処理により撮像された画像を構成する画像信号のゲインを制御するゲイン制御ステップと、
    前記撮像ステップの処理により撮像された、暗時の画像を、前記ゲイン制御ステップの処理により前記ゲインを様々に変化させながら複数枚取得する画像取得ステップと、
    前記画像取得ステップの処理により取得された画像を構成する画素の画素値、および前記画素値を用いた統計処理値を生成する生成ステップと、
    前記生成ステップの処理により生成された前記画素値、および、前記統計処理値に基づいて特異な信号を発する画素を検出する検出ステップと、
    前記画像取得ステップの処理により取得された画像において、前記検出ステップの処理により特異な信号を発する画素を特定するアドレスに対応付けて、前記特異な信号を含む画素の振幅、および前記特異な信号が発生する時定数をデータベースとして登録する登録ステップと、
    前記撮像ステップの処理により撮像された撮像画像について、前記データベースに登録されているアドレスに対応する画素を処理対象画素とした場合、前記処理対象画素の振幅が、前記データベースに登録されている振幅と一致または類似するか否かに基づいて、前記処理対象画素が特異な信号を含む画素であるか否かを判定する判定ステップと、
    前記判定ステップの処理により前記処理対象画素が前記特異な信号を含む画素であると判定された場合、前記処理対象画素と前記処理対象画素の周辺画素との画素値の差分、および、前記処理対象画素の前記振幅の値を利用して、前記処理対象画素の画素値を補正する補正ステップと
    を含む処理をコンピュータに実行させるプログラム。
15. 撮像素子を用いて画像を撮像する撮像手段と、
    前記撮像手段により撮像された画像を構成する画像信号のゲインを制御するゲイン制御手段と、
    前記撮像手段により撮像された、暗時の画像を、前記ゲイン制御手段により前記ゲインを様々に変化させながら複数枚取得する画像取得手段と、
    前記画像取得手段により取得された画像を構成する画素の画素値、および前記画素値を用いた統計処理値を生成する生成手段と、
    前記生成手段により生成された前記画素値、および、前記統計処理値に基づいて特異な信号を発する画素を検出する検出手段と、
    前記画像取得手段により取得された画像において、前記検出手段により特異な信号を発する画素を特定するアドレスに対応付けて、前記特異な信号を含む画素の振幅、および前記特異な信号が発生する時定数をデータベースとして登録する登録手段と、
    前記撮像手段により撮像された撮像画像について、前記データベースに登録されているアドレスに対応する画素を処理対象画素とした場合、前記処理対象画素の振幅が、前記データベースに登録されている振幅と一致または類似するか否かに基づいて、前記処理対象画素が特異な信号を含む画素であるか否かを判定する判定手段と、
    前記判定手段により前記処理対象画素が前記特異な信号を含む画素であると判定された場合、前記処理対象画素と前記処理対象画素の周辺画素との画素値の差分、および、前記処理対象の画素の前記振幅の値を利用して、前記処理対象画素の画素値を補正する補正手段と
    を含む電子機器。

Images