JP4424068B2 - ノイズ除去装置、ノイズ除去プログラム、ノイズ除去方法、および電子カメラ - Google Patents

Description

本発明は、電子カメラの長秒時撮影において生じるノイズを画像データから除去するノイズ除去装置、ノイズ除去プログラム、およびノイズ除去方法に関する。
また、本発明は、このノイズ除去装置を搭載した電子カメラに関する。

一般に、電子カメラにおいて長秒時撮影を行うと、画像データに固定パターンノイズが現れる。この種の固定パターンノイズを除去する装置として、特許文献１の従来装置が知られている。
この従来装置では、まず、通常に撮像された画像データと、シャッタを閉じて撮像した暗黒画像データとを用意する。従来装置は、この画像データから暗黒画像データを画素単位に減算することにより、両画像に共通する固定パターンノイズを同相除去する。

特開２０００−１２５２０４号公報（請求項１，２など）

ところで、長秒時撮影された暗黒画像データには、固定パターンノイズの他に、ランダムノイズも含まれる。上述した従来装置の減算処理では、このランダムノイズを逆相にして、画像データに加算してしまうため、画像データのノイズがかえって増加してしまうという問題点があった。
そこで、本発明では、長秒時撮影のノイズ除去において、固定パターンノイズとランダムノイズとを選別して、ランダムノイズの増加を抑える技術を提供することを目的とする。

《請求項１》
請求項１のノイズ除去装置は、画像記憶部、レベル選別部、変動抑制部、および減算部を備える。
画像記憶部は、被写界を撮像素子で撮像して得た画像データを取り込んで記憶する。
レベル選別部は、遮蔽状態の撮像素子で撮像して得た暗黒画像データを取り込み、予め定められた閾値以下の低レベル画素を、この暗黒画像データから選別する。
変動抑制部は、選別された低レベル画素について、暗黒画像データの画面内の高域空間周波数成分を抑制することにより、暗黒画像データ中の固定パターンノイズを保ちつつ、ランダムノイズを低減する。
減算部は、変動抑制部により処理された暗黒画像データを、画像データから減算することにより、画像データのノイズを低減する。

《請求項２》
請求項２のノイズ除去装置は、請求項１に記載のノイズ除去装置において、レベル選別部が、暗黒画像データから、予め定められた下限値以上かつ閾値以下の低レベル画素を選別して低レベル画素とする。

《請求項３》
請求項３のノイズ除去装置は、請求項１または請求項２に記載のノイズ除去装置において、変動抑制部が、低レベル画素を対象にして、最大値を制限した周辺画素を用いて平滑化処理を施すことによって、低レベル画素の高域空間周波数成分を抑制する。

《請求項４》
請求項４のノイズ除去装置は、請求項１ないし請求項３のいずれか１項に記載のノイズ除去装置において、暗黒画像データの撮像時の電荷蓄積時間が、画像データの撮像時の電荷蓄積時間よりも短く設定される。一方、減算部は、この暗黒画像データを増幅することで、電荷蓄積時間の短縮分による固定パターンノイズのレベル低下を補償する。減算部は、このレベル低下を補償した暗黒画像データを、画像データから減算することにより、画像データのノイズを低減する。

《請求項５》
請求項５のノイズ除去プログラムは、コンピュータを、請求項１ないし請求項４のいずれか１項に記載の画像記録部、レベル選別部、変動抑制部、および減算部として機能させることを特徴とする。

《請求項６》
請求項６のノイズ除去方法は、下記のステップを有する。
（１）被写界を撮像素子で撮像して得た画像データを取り込んで画像記憶部に記憶するステップ。
（２）遮蔽状態の撮像素子で撮像して得た暗黒画像データを取り込み、暗黒画像データから予め定められた閾値以下の低レベル画素を選別するステップ。
（３）選別された低レベル画素について、暗黒画像データの画面内の高域空間周波数成分を抑制することにより、暗黒画像データ中の固定パターンノイズを保ちつつ、ランダムノイズを低減するステップ。
（４）ランダムノイズを低減した暗黒画像データを、画像データから減算することにより、画像データのノイズを低減するステップ。

《請求項７》
請求項７の電子カメラは、次の構成要件を有する。
（１）請求項１ないし請求項４のいずれか１項に記載のノイズ除去装置。
（２）撮像素子。
（３）撮像素子を遮蔽する遮蔽機構。
（４）撮像素子を制御して被写界の画像データを生成し、かつ遮蔽機構を駆動して撮像素子を遮蔽して暗黒画像データを生成する制御部。

（請求項１，請求項６）
請求項１および請求項６の発明では、遮蔽状態で撮像された暗黒画像データを取り込む。この暗黒画像データには、画像本来の情報は含まれず、次の三種類のノイズを主として含む。
（１）固定パターンノイズ
（２）ランダムノイズ
（３）暗電流オフセット

これらノイズの内、固定パターンノイズは、画面内に固定パターンのノイズを発生し、電荷蓄積時間にほぼ比例して増加する。
一方、ランダムノイズは、画面内に略一様なバラツキを示す高域ノイズとなる。このランダムノイズのオフセット分が、暗電流オフセットであり、暗電流などの蓄積に従って画像データの黒レベルを押し上げるものである。暗電流オフセットはランダムノイズに比較して、低い空間周波数成分を有する。また、暗電流オフセットのレベルは電荷蓄積時間と共に上昇するが、その上昇分は固定パターンノイズのレベル上昇に比較して格段に小さい。

そのため、電荷蓄積時間が長くなるに従って、固定パターンノイズとその他のノイズとの信号レベルはどんどん乖離する。この乖離した信号レベルの間に閾値を設けることによって、『局所的にレベル突出した固定パターンノイズ』と、『画面全体に一様なバラツキで低レベルなランダムノイズおよび暗電流オフセット』とを切り分けることができる。

そこで、本発明では、まず、暗黒画像データから、予め定められた閾値以下の低レベル画素を選別する。このようにして選別された低レベル画素には、主としてランダムノイズと暗電流オフセットとが残存するようになる。

この内、ランダムノイズは画素単位にレベルがランダムにばらつくため、空間周波数の高い成分となる。そこで、本発明では、この低レベル画素について画像空間（画面）上の高域空間周波数成分を抑制する。この抑制処理によって高域のランダムノイズが優先的に除かれる。その結果、低レベル画素の信号値は、低域の暗電流オフセットを極めて正確に示すようになる。

一方、低レベル画素の選別に漏れた画素（以下『高レベル画素』という）については、高域空間周波数成分の抑制処理は為されず、主として固定パターンノイズをそのまま示す。

本発明では、このような処理を終えた暗黒画像データを、通常に撮像された画像データから減算する。このとき、低レベル画素の領域については、暗黒画像データ中から予めランダムノイズが除かれているため、ランダムノイズが逆相で画像データに加算されるといった従来の不具合は生じない。その結果、減算処理後の画像データにおいてランダムノイズは殆ど増えない。
さらに、高レベル画素が示す固定パターンノイズは、高域抑制の影響を受けずに、画像データから減算される。そのため、長秒時撮影による固定パターンノイズを正確に除去することができる。

（請求項２）
請求項２の発明では、予め定められた下限値から閾値までを、低レベル画素として選別する。この下限値未満の画素については、信号レベルが小さいため、ランダムノイズのレベルも小さい。したがって、このような画素は、ランダムノイズの処理対象から除外しても、最終画像のランダムノイズ増加は無視できる。また、このようにして低レベル画素の数が減ることにより、ノイズ除去の処理コストを低減することもできる。

（請求項３）
請求項３の発明は、低レベル画素に対して周辺画素を用いた平滑化処理を施すことにより、低レベル画素の高域空間周波数成分を抑制する。この平滑化処理では、周辺画素の最大値を制限することにより、周辺画素の固定パターンノイズを簡易的に除く。
したがって、平滑化処理によって周辺画素から低レベル画素へ、固定パターンノイズが混入するといった弊害を未然に防ぐことができる。
したがって、この平滑化後の低レベル画素は、固定パターンノイズの影響を殆ど受けず、極めて正確な暗電流オフセットの値を示すようになる。
このように処理された暗黒画像データを画像データから減算することにより、画像データの暗電流オフセットを正確に打ち消し、黒レベルを忠実に再現した画像データを得ることが可能となる。

（請求項４）
請求項４の発明では、暗黒画像データの電荷蓄積時間を短縮する代わりに、暗黒画像データを増幅する。このような増幅処理では、暗黒画像データのランダムノイズが比例して増加する。このような暗黒画像データを画像データから減算した場合、画像データのランダムノイズが顕著に増えてしまう。
しかしながら、本発明では、暗黒画像データからランダムノイズを低減するので、増幅処理を行っても暗黒画像データのランダムノイズを小さく保つことができる。したがって、暗黒画像データの電荷蓄積時間を短縮しても、減算後の画像データにランダムノイズはさほど増えない。
このようにランダムノイズがさほど増えないことから、電子カメラ側では、暗黒画像データの電荷蓄積時間を更に短縮することが可能になる。その結果、電子カメラを暗黒画像データの撮影処理から逸早く開放することが可能となり、一段と使い勝手のよい電子カメラを実現できる。

（請求項５）
請求項５のノイズ除去プログラムをコンピュータで実行することにより、コンピュータを請求項１ないし請求項４のいずれか１項に記載のノイズ除去装置として機能させることが可能になる。

（請求項７）
請求項７の電子カメラは、請求項１ないし請求項４のいずれか１項に記載のノイズ除去装置を搭載する。したがって、上述したノイズ除去動作を、電子カメラ内において実施することができる。

《本実施形態の構成説明》
図１は、本実施形態における電子カメラ１１の構成を示す図である。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、シャッタ１３および撮像素子１４が配置される。これらシャッタ１３および撮像素子１４は、制御部１１ａによって駆動制御される。

撮像素子１４の画像出力信号は、信号処理部１５を介してデジタル化処理などを施された後、画像メモリ１６に一時記憶される。画像メモリ１６内には、通常撮像された画像データＡと、シャッタ１３を遮蔽した状態で撮像された暗黒画像データＢとを記憶する記憶領域がそれぞれ用意される。
暗黒画像加工部２０は、この暗黒画像データＢに対して加工処理を施す。この暗黒画像加工部２０は、下記の構成要件を備える。

（１）レベル選別部２１・・暗黒画像データＢをレベル判定して、低レベル画素を選別する。
（２）周辺画素レベル制限部２２・・低レベル画素の周辺画素を読み出し、読み出した周辺画素の信号レベルの最大値を制限する。
（３）平滑化処理部２３・・最大値を制限された周辺画素を用いて、低レベル画素に平滑化処理を施す。
（４）ゲイン・オフセット調整部２４・・暗黒画像データの電荷蓄積時間Ｔｂの短縮を補償するため、暗黒画像データのゲイン・オフセットを調整する。

一方、同相除去部１７は、加工後の暗黒画像データＢを、画像データＡから画素単位に減算し、固定パターンノイズおよび暗電流オフセットを同相除去する。減算処理後の画像データは、画像処理部１８において圧縮処理などが施された後、メモリカード１９に記録保存される。

《発明との対応関係》
以下、発明と本実施形態との対応関係について説明する。なお、ここでの対応関係は、参考のために一解釈を例示するものであり、本発明を徒らに限定するものではない。
請求項記載の画像記憶部は、画像メモリ１６に対応する。
請求項記載のレベル選別部は、レベル選別部２１に対応する。
請求項記載の変動抑制部は、周辺画素レベル制限部２２、および平滑化処理部２３に対応する。
請求項記載の減算部は、同相除去部１７、およびゲイン・オフセット調整部２４に対応する。
請求項記載の撮像素子は、撮像素子１４に対応する。
請求項記載の遮蔽機構は、シャッタ１３に対応する。
請求項記載の制御部は、制御部１１ａに対応する。

《本実施形態の動作説明》
図２は、電子カメラ１１における固定パターンノイズの除去処理を説明する流れ図である。
以下、図２に示すステップ番号に沿って、この処理動作を説明する。

［ステップＳ１］ ユーザーのレリーズ操作に応じて、制御部１１ａは、シャッタ１３を開き、撮影レンズ１２を介して得られる被写体像を撮像素子１４の撮像面に結像させる。この状態で、制御部１１ａは、撮像素子１４に電荷蓄積時間Ｔａの画像データＡを生成させる。
撮像素子１４は、制御部１１ａから与えられる駆動パルスに従って、この画像データＡを出力する。出力された画像データＡは、信号処理部１５を介して、画像メモリ１６に一時記憶される。

［ステップＳ２］ 制御部１１ａは、電荷蓄積時間Ｔａや温度に基づいて、暗黒画像データＢの電荷蓄積時間Ｔｂを決定する。この電荷蓄積時間Ｔｂは、電荷蓄積時間Ｔａと固定パターンノイズの発生状況（レベル）がほぼ比例関係に保たれる「下限の電荷蓄積時間」を予め実験的に求めた値である。
制御部１１ａは、画像データＡの生成直後、シャッタ１３を閉じて遮光状態を維持し、電荷蓄積時間Ｔｂの暗黒画像データＢを撮像素子１４に生成させる。
撮像素子１４は、制御部１１ａから与えられる駆動パルスに従って、この暗黒画像データＢを出力する。出力された暗黒画像データＢは、信号処理部１５を介して、画像メモリ１６に一時記憶される。

［ステップＳ３］ レベル選別部２１は、画像メモリ１６から暗黒画像データＢを画素単位に読み出し、閾値以下の低レベル画素を選別する。
この閾値は、暗黒画像画面内の固定パターンノイズのレベルバラツキの下限側と、暗黒画像画面内のランダムノイズのレベルバラツキの上限側とを複数の暗黒画像データから実験的に求め、これら２つの値の中間値に定めることが好ましい。
また、この閾値は、撮像感度や温度の条件を変えて実験的に複数定めておき、撮像時の撮像感度や温度に応じて選択使用することが好ましい。
このようなレベル選別により、固定パターンノイズの発生箇所を除いて、低レベルなランダムノイズの発生箇所が、低レベル画素として抽出される。
なお、予め定められた下限値未満を低レベル画素の選別から省いてもよい。この場合の下限値については、ノイズ除去後の画像データＡのランダムノイズが増加しないことを実験的に確認して定めればよい。
このような前述の低レベル画素のうちの前記閾値より更に低いレベル（予め定められた下限値）未満のレベルの画素の選別を省略することにより、後述する平滑化処理の処理回数を、画質に影響がない範囲で減らすことが可能になり、ノイズ除去の処理コストや処理時間を低減することができる。

［ステップＳ４］ 周辺画素レベル制限部２２は、選別された低レベル画素について、その周辺に位置する周辺画素を暗黒画像データＢから参照する。この周辺画素の参照範囲は、ランダムノイズの周期以上の広さに設定すればよい。例えば、３×３画素範囲に設定すればよい。
周辺画素レベル制限部２２は、この周辺画素の各値について最大値を制限することにより、局所的に突出する固定パターンノイズを周辺画素から簡易的に除く。
ここでの最大値の制限方法としては、周辺画素の最大値を、二番目に大きな値に置き換えても良い。また例えば、ステップＳ３で低レベル画素の選別に用いた閾値を最大値として、周辺画素の各値をこの閾値以下にレベル制限してもよい。また例えば、ステップＳ３で低レベル画素の選別に用いた閾値を最大値として、閾値を超える周辺画素を、後述するステップＳ５で実行される平滑化処理の参照範囲から除いてもよい。

［ステップＳ５］ 平滑化処理部２３は、周辺画素レベル制限部２２において最大値が制限された周辺画素と、低レベル画素とを加重加算してデジタルフィルタ処理を実行する。例えば、加重比率は全て１にすることが好ましい。
なお、加重加算の代わりに、周辺画素および低レベル画素からメディアン値を算出して、低レベル画素と置き換えてもよい。
これらの平滑化処理により、低レベル画素の高域空間周波数成分すなわちランダムノイズが抑えられ、低レベル画素の値は、低域の暗電流オフセットを正確に示すようになる。

［ステップＳ６］ ゲイン・オフセット調整部２４は、平滑化処理部２３の処理を完了した暗黒画像データＢに対して、信号レベルを（Ｔａ／Ｔｂ）倍に増幅する。
なお、電荷蓄積時間と固定パターンノイズとの間に非線形性がある場合には、その非線形性を補償する係数αを実験的に予め求め、暗黒画像データＢの信号レベルを（Ｔａ／Ｔｂ）α倍にすることが好ましい。

［ステップＳ７］ 続いて、ゲイン・オフセット調整部２４は、『増幅後の暗黒画像データＢ』と『画像データＡ』との間で、暗電流オフセットの信号レベルが略一致するように、暗黒画像データＢの信号レベルをオフセット調整する。ここで、画像データＡの暗電流オフセットは、例えば、撮像素子のＯＢ領域（有効画面外側の遮蔽領域）の出力レベルと、ゼロレベルとの差を求めることによって算出される。
このような処理を終えた暗黒画像データＢは、画像メモリ１６内に再び記憶される。

［ステップＳ８］ 上述した暗黒画像データＢの加工後、同相除去部１７は、画像データＡから、暗黒画像データＢを画素単位に減算する。この減算処理により、固定パターンノイズおよび暗電流オフセットが、画像データＡから同相除去される。

［ステップＳ９］ 同相除去部１７で処理された画像データＡは、画像処理部１８に与えられる。画像処理部１８は、この画像データＡに対して、ホワイトバランス調整、色補間処理、および画像圧縮処理などを施す。このような処理後、画像データＡはメモリカード１９に記録保存される。
本実施形態においては、画像データＡおよび暗黒画像データＢについて暗電流オフセットのレベルを揃えた上で、画像データＡから暗黒画像データＢを減算している。しかしながら、本発明はこれに限定されるものではない。例えば、画像データＡおよび暗黒画像データＢそれぞれについて暗電流オフセットの減算処理をまず実行し、その後に、画像データＡから暗黒画像データＢを減算してもよい。

《本実施形態の効果など》
以上説明したように、本実施形態では、暗黒画像データＢから低レベル画素を選別し、これら低レベル画素に対して平滑化処理を施す。したがって、暗黒画像データＢの低レベル画素において、ランダムノイズを強力に抑制できる。

さらに、本実施形態では、平滑化処理において参照する周辺画素の最大値制限を行う。そのため、平滑化処理によって、低レベル画素に固定パターンノイズがかえって混入してしまうといった事態を未然に防止できる。

このような低レベル画素の処理によってランダムノイズが除去されることにより、低レベル画素は、暗電流オフセットを正確に示すようになる。一方、局所的に突出する固定パターンノイズのレベルはランダムノイズに比較して高く、低レベル画素以外の画素（高レベル画素）は固定パターンノイズを忠実に示す。

このような加工後の暗黒画像データＢを、画像データＡから減算することにより、減算後の画像データＡからは、固定パターンノイズおよび暗電流オフセットを正確に除去することが可能になる。その一方、暗黒画像データＢのランダムノイズを強力に除去するため、減算後の画像データにおいて、ランダムノイズは殆ど増加しない。

さらに、本実施形態では、極端に低レベルな画素を、低レベル画素の選別から省いている。したがって、低レベル画素の個数を減らすことが可能になり、ノイズ除去の処理コストを効率的に低減できる。

また、本実施形態では、電荷蓄積時間と固定パターンノイズの信号レベルが略比例する範囲で、暗黒画素データの電荷蓄積時間Ｔｂを短縮する。したがって、電子カメラ１１が暗黒画像データの撮像に占有される時間を短縮することが可能になり、電子カメラ１１の使い勝手が向上する。

《実施形態の補足事項》
なお、上述した実施形態では、電子カメラ１１内でノイズ除去を実施する場合について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、図２に示すノイズ除去処理をプログラム化してもよい（請求項６に対応）。このノイズ除去プログラムをコンピュータ上で実行することにより、コンピュータをノイズ除去装置として機能させることができる。

また、インターネット上の画像処理サーバーにおいて、ユーザーから伝送される画像データおよび暗黒画像データに対して、上述したノイズ除去方法（請求項５に対応）をサービス提供してもよい。

以上説明したように、本発明は、長秒時撮影の画像からノイズを除去する装置やプログラムなどに利用可能な技術である。

本実施形態における電子カメラ１１の構成を示す図である。 電子カメラ１１のノイズ除去処理を説明する流れ図である。

符号の説明

１１ 電子カメラ
１１ａ 制御部
１２ 撮影レンズ
１３ シャッタ
１４ 撮像素子
１５ 信号処理部
１６ 画像メモリ
１７ 同相除去部
１８ 画像処理部
１９ メモリカード
２０ 暗黒画像加工部
２１ レベル選別部
２２ 周辺画素レベル制限部
２３ 平滑化処理部
２４ ゲイン・オフセット調整部

Claims (7)

1. 被写界を撮像素子で撮像して得た画像データを取り込んで記憶する画像記憶部と、
   遮蔽状態の前記撮像素子で撮像して得た暗黒画像データを取り込み、予め定められた閾値以下の低レベル画素を前記暗黒画像データから選別するレベル選別部と、
   選別された前記低レベル画素について、前記暗黒画像データの画面内の高域空間周波数成分を抑制することにより、前記暗黒画像データ中の固定パターンノイズを保ちつつ、ランダムノイズを低減する変動抑制部と、
   前記変動抑制部により処理された前記暗黒画像データを、前記画像データから減算することにより、前記画像データのノイズを低減する減算部と
   を備えたことを特徴とするノイズ除去装置。
2. 請求項１に記載のノイズ除去装置において、
   前記レベル選別部は、前記暗黒画像データから、予め定められた下限値以上かつ前記閾値以下の画素を、低レベル画素として選別する
   ことを特徴とするノイズ除去装置。
3. 請求項１または請求項２に記載のノイズ除去装置において、
   前記変動抑制部は、
   前記低レベル画素に対して、最大値を制限した周辺画素を用いて平滑化処理を施すことにより、前記低レベル画素の高域空間周波数成分を抑制する
   ことを特徴とするノイズ除去装置。
4. 請求項１ないし請求項３のいずれか１項に記載のノイズ除去装置において、
   前記暗黒画像データの撮像時の電荷蓄積時間は、前記画像データの撮像時の電荷蓄積時間よりも短く設定され、
   前記減算部は、前記暗黒画像データを増幅して前記電荷蓄積時間の短縮分による固定パターンノイズのレベル低下を補償し、補償後の前記暗黒画像データを、前記画像データから減算することにより、前記画像データのノイズを低減する
   ことを特徴とするノイズ除去装置。
5. コンピュータを、請求項１ないし請求項４のいずれか１項に記載の前記画像記録部、前記レベル選別部、前記変動抑制部、および減算部として機能させるためのノイズ除去プログラム。
6. 被写界を撮像素子で撮像して得た画像データを取り込んで画像記憶部に記憶するステップと、
   遮蔽状態の前記撮像素子で撮像して得た暗黒画像データを取り込み、前記暗黒画像データから予め定められた閾値以下の低レベル画素を選別するステップと、
   選別された低レベル画素について、前記暗黒画像データの画面内の高域空間周波数成分を抑制することにより、前記暗黒画像データ中の固定パターンノイズを保ちつつ、ランダムノイズを低減するステップと、
   該ランダムノイズを低減した前記暗黒画像データを、前記画像データから減算することにより、前記画像データのノイズを低減するステップと
   を備えたことを特徴とするノイズ除去方法。
7. 請求項１ないし請求項４のいずれか１項に記載のノイズ除去装置と、
   撮像素子と、
   前記撮像素子を遮蔽する遮蔽機構と、
   前記撮像素子を制御して被写界の画像データを生成し、前記遮蔽機構を駆動して前記撮像素子を遮蔽して前記暗黒画像データを生成する制御部と
   を備えたことを特徴とする電子カメラ。

Images