JP4765387B2 - ノイズ抑制装置、電子カメラおよびノイズ抑制プログラム - Google Patents

Description

本発明は、ノイズ抑制装置、電子カメラおよびノイズ抑制プログラムに関する。

一般に、電子カメラにおいて長秒時撮影を行うと、画像データに固定パターンノイズが現れる。この種のノイズを除去する装置として、特許文献１の従来装置が知られている。
この従来装置では、まず、通常に撮像された画像データと、シャッタを閉じて撮像した暗黒画像データとを用意する。従来装置は、この画像データから暗黒画像データを画素単位に減算することにより、固定パターンノイズを同相除去する。
特開２０００−１２５２０４号公報（請求項１，２など）

ところで、長秒時撮影された暗黒画像データには、固定パターンノイズの他に、ランダムノイズも含まれる。上述した従来装置の減算処理では、このランダムノイズを逆相にして、画像データに加算してしまうため、画像データのランダムノイズを逆に増やしてしまうという問題点があった。

本発明のノイズ抑制装置は、光像を撮像して得た画像データと、遮光状態で撮像して得た複数の暗黒画像データとを取り込む画像データ取込部と、前記複数の暗黒画像データを参照して、前記複数の暗黒画像データのうち少なくとも２つの暗黒画像データ間における同一の走査位置の信号レベルのレベル差を算出するレベル差算出部と、前記複数の暗黒画像データに基づいてノイズ抑制用暗黒画像データを生成するノイズ抑制用ノイズ抑制用暗黒画像データ生成部と、前記ノイズ抑制用暗黒画像データに基づいて前記画像データのノイズを抑制するノイズ抑制部とを備え、前記レベル差算出部により算出された前記レベル差が第１閾値以上のとき、前記ノイズ抑制用暗黒画像データ生成部は、前記ノイズ抑制用暗黒画像データにおける前記走査位置の信号レベルが、前記複数の暗黒画像データそれぞれにおける前記走査位置の信号レベルに基づいて算出される信号レベルとは異なる信号レベルとなるように補正することを特徴とする。

本発明の電子カメラは、本発明のノイズ抑制装置と、光電変換を行う撮像部と、前記撮像部を遮光する遮光機構と、前記遮光機構で遮光されていない状態の前記撮像部により撮像することで画像データを生成させ、前記遮光機構で遮光された状態の前記撮像部により複数回撮像することで複数の暗黒画像データを生成させる制御部とを備え、前記ノイズ抑制装置は、前記画像データと前記複数の暗黒画像データとを取り込み、前記画像データのノイズを抑制することを特徴とする。

本発明のノイズ抑制プログラムは、光像を撮像して得た画像データと、遮光状態で撮像して得た複数の暗黒画像データとを取り込む画像データ取込ステップと、前記複数の暗黒画像データを参照して、前記複数の暗黒画像データのうち少なくとも２つの暗黒画像データ間における同一の走査位置の信号レベルのレベル差を算出するレベル差算出ステップと、前記複数の暗黒画像データに基づいてノイズ抑制用暗黒画像データを生成するノイズ抑制用暗黒画像データ生成ステップと、前記ノイズ抑制用暗黒画像データに基づいて前記画像データのノイズを抑制するノイズ抑制ステップとをコンピュータに実行させるノイズ抑制プログラムであって、前記レベル差算出ステップにより算出された前記レベル差が第１閾値以上のとき、前記ノイズ抑制用暗黒画像データ生成ステップは、前記ノイズ抑制用暗黒画像データにおける前記走査位置の信号レベルが、前記複数の暗黒画像データそれぞれにおける前記走査位置の信号レベルに基づいて算出される信号レベルとは異なる信号レベルとなるように補正することを特徴とする。

本発明によれば、画像データ中の固定パターンノイズを適切に抑制できる。

《本実施形態の構成説明》
図１は、電子カメラ１１を示すブロック図である。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。レンズ制御部１２ａは、この撮影レンズ１２のフォーカス駆動や絞り制御などを実施する。この撮影レンズ１２の像空間には、遮蔽機構１２ｂを介して撮像素子１３の受光面が配置される。この遮蔽機構１２ｂは、機械式シャッタまたは絞りを兼用するものでもよいし、あるいは専用の遮蔽機構でもよい。遮蔽機構１２ｂは、撮像制御部１４からの信号で撮影レンズ１２の入射光路を遮断することにより、撮像素子１３の受光面を遮光する機能を有する。

一方、撮像素子１３は、撮像制御部１４によって駆動される。撮像素子１３から出力される画像データは、信号処理部１５、およびＡ／Ｄ変換部１６を介して処理された後、メモリ１７に一時蓄積される。
このメモリ１７は、バス１８に接続される。このバス１８には、レンズ制御部１２ａ、撮像制御部１４、マイクロプロセッサ１９、画像処理部２０、記録部２２、およびモニタ表示部２３も接続される。
上記のマイクロプロセッサ１９には、レリーズ釦などの操作部１９ａが接続される。また、上記の記録部２２には、記録媒体２２ａが装着される。

《本実施形態の動作説明》
図２は、本実施形態の動作を説明する流れ図である。
以下、図２に示すステップ番号に沿って、動作説明を行う。

ステップＳ１： マイクロプロセッサ１９は、ユーザーからのレリーズ指示を操作部１９ａなどで検出すると、撮像制御部１４に撮像動作の開始を指示する。撮像制御部１４は、遮蔽機構１２ｂを開いた状態で、撮像素子１３に被写体像の光電変換を開始させ、予め設定された電荷蓄積時間の経過を待って、撮像素子１３から画像データを読み出す。この画像データは、信号処理部１５およびＡ／Ｄ変換部１６を介してデジタル化された後、メモリ１７に一時蓄積される。

ステップＳ２： マイクロプロセッサ１９は、画像データの電荷蓄積時間に対応して、複数の暗黒画像データの生成スケジュールを決定し、撮像制御部１４に暗黒画像データの生成を指示する。
例えば、Ｎ個（Ｎ≧２）の暗黒画像データを生成する場合に、画像データの電荷蓄積時間の１／Ｎ倍を暗黒画像データ１つ分の電荷蓄積時間に設定することが好ましい。
また例えば、Ｎ個の暗黒画像データを生成する場合に、暗黒画像データの総合電荷蓄積時間の時間短縮率をＲ（０＜Ｒ＜１）とする。この場合、画像データの電荷蓄積時間のＲ／Ｎ倍を暗黒画像データ１つ分の電荷蓄積時間に設定することが好ましい。
また例えば、Ｎ個の暗黒画像データを生成する場合に、暗黒画像データの総合電荷蓄積時間の時間延長率をＥ（Ｅ＞１）とする。この場合、画像データの電荷蓄積時間のＥ／Ｎ倍を暗黒画像データ１つ分の電荷蓄積時間に設定することが好ましい。
また例えば、Ｎ個の暗黒画像データの内、全部または一部の電荷蓄積時間を意図的にずらして設定することも好ましい。特にこの場合は、異なる電荷蓄積時間と、発生する固定パターンノイズとの時間軸上の関係に対して数式近似や回帰分析などの解析を行うことで、両者の線形性または非線形な関係を特定できる。その結果、画像データの電荷蓄積時間における固定パターンノイズをより高精度に推定できるようになる。

ステップＳ３： 撮像制御部１４は、暗黒画像データの生成指示に応じて、遮蔽機構１２ｂを遮蔽し、撮像素子１３の受光面を暗黒状態に保つ。

ステップＳ４： 撮像制御部１４は、この暗黒状態の撮像素子１３を駆動し、生成スケジュールに従って、電荷蓄積・画像読み出しを少なくとも２回実施する。このとき生成される複数の暗黒画像データは、信号処理部１５およびＡ／Ｄ変換部１６を介して順次に処理された後、メモリ１７に蓄積される。

ステップＳ５： マイクロプロセッサ１９は、予め記憶された対応関係を暗黒画像データの電荷蓄積時間などで参照することにより、設定値Ｌ，Ｊ，Ｋを決定する。この設定値Ｌ，Ｊ，Ｋは、画像処理部２０にパラメータ設定される。
この設定値Ｌは、暗黒画像データ中から、固定パターンノイズが明らかに発生していない微小レベル箇所を弁別するための閾値である。このような設定値Ｌは、撮像素子１３のノイズ特性、電荷蓄積時間、または撮像感度などによって変動する。そこで、暗黒画像データの電荷蓄積時間、または撮像感度などに対応付けて、実験的に予め求めておくことが好ましい。なお、設定値Ｌとしては、『（ａ）固定パターンノイズの下限閾値』、『（ｂ）ランダムノイズの上限閾値』、または（ａ）（ｂ）の低い方の値を採用することが好ましい。また、複数の暗黒画像データの電荷蓄積時間や撮像感度が異なる場合には、暗黒画像データごとに設定値Ｌを決定することが好ましい。
また、設定値Ｊは、暗黒画像データ間において信号レベルが相関しているか否かを弁別するための閾値である。このような設定値Ｊは、撮像素子１３のノイズ特性、電荷蓄積時間、または撮像感度などによって変動する。そこで、暗黒画像データの電荷蓄積時間、または撮像感度などに対応付けて、実験的に予め求めておくことが好ましい。なお、設定値Ｊとしては、個々の暗黒画像データ（電荷蓄積時間が異なる場合は正規化係数をかけて平均信号レベルを揃えたもの）の固定パターンノイズのばらつき幅を統計的に求めた値（標準偏差σに応じた値など）を採用することが好ましい。
さらに、設定値Ｋは、暗黒画像データＢ（後述）において、ランダムノイズの影響を受けない場合の仮想信号レベルを示す値である。この設定値Ｋは、複数の暗黒画像データの全体電荷蓄積時間、または撮像感度などに対応付けて、実験的に予め求めておくことが好ましい。なお、この設定値Ｋは、ステップＳ４で得た暗黒画像データから直流レベルなどを検出して決定してもよい。

ステップＳ６： 画像処理部２０は、暗黒画像データの走査位置[i,j]を[0,0]に初期化し、複数の暗黒画像データから走査位置[i,j]の値をそれぞれ読み出す。

ステップＳ７： 画像処理部２０は、複数の暗黒画像データの走査位置[i,j]の値が、いずれも設定値Ｌ以下か否かを判定する。
全ての暗黒画像データにおいて走査位置[i,j]が、対応する設定値Ｌ以下の場合、画像処理部２０は、固定パターンノイズを含まない微小レベル箇所であると判断して、ステップＳ９に動作を移行する。
それ以外の場合、画像処理部２０は、ステップＳ８に動作を移行する。

ステップＳ８： 画像処理部２０は、複数の暗黒画像データ間において、走査位置[i,j]のレベル差（絶対値）を算出する。なお、暗黒画像データが３つ以上の場合は、走査位置[i,j]の最大値と最小値との差や、走査位置[i,j]の標準偏差や、個別間のレベル差を平均した値などを求めて、レベル差とすることが好ましい。
次に、画像処理部２０は、求めたレベル差が設定値Ｊ未満か否かを判定する。
ここで、レベル差が設定値Ｊ未満の場合、相関性が高い箇所なので走査位置[i,j]は固定パターンノイズであると判断できる。この場合、画像処理部２０は、ステップＳ１０に動作を移行する。
一方、レベル差が設定値Ｊ以上の場合、非相関箇所であるから、走査位置[i,j]はランダムノイズであると判断できる。この場合、画像処理部２０は、ステップＳ９に動作を移行する。

なお、複数の暗黒画像データを１枚ずつ逐次処理する場合には、１枚目の暗黒画像データについては差を取る比較対象が無いので、無条件でステップＳ１０に移行することが好ましい。この場合、２枚目以降の暗黒画像データから、ステップＳ８の判断を開始することになる。
また、１つ以上の暗黒画像データにおいて、設定値Ｌ以下となった走査位置[i,j]については、ステップＳ８の判断をせずに、ステップＳ７からステップＳ９に動作を移行してもよい。このような動作により、処理時間を短縮することが可能になる。

ステップＳ９： 画像処理部２０は、暗黒画像データＢ（メモリ容量を節約するため、メモリ１７内の暗黒画像データの一つとすることが好ましい）の走査位置[i,j]を設定値Ｋに置き換える。この処理の後、ステップＳ１１に動作を移行する。

ステップＳ１０： 画像処理部２０は、複数の暗黒画像データについて走査位置[i,j]の値を加算して加算値を求め、暗黒画像データＢの走査位置[i,j]に格納する。

ステップＳ１１： 画像処理部２０は、暗黒画像データの走査が完了したか否かを判定する。もし、走査が完了していなければ、ステップＳ１２に動作を移行する。一方、走査が完了した場合は、ステップＳ１３に動作を移行する。

ステップＳ１２： 画像処理部２０は、走査位置[i,j]を次に進める。画像処理部２０は、複数の暗黒画像データから、新たな走査位置[i,j]の値をそれぞれ読み出す。この処理の後、画像処理部２０はステップＳ７に動作を戻す。

ステップＳ１３： 画像処理部２０は、暗黒画像データの電荷蓄積時間ＢＴの総和Ｓと、画像データの電荷蓄積時間ＰＴとに基づいて、暗黒画像データＢの補償ゲインを決定する。もしも固定パターンノイズのレベルが電荷蓄積時間に対して線形変化するならば、『ＰＴ／Ｓ倍』を補償ゲインとすればよい。もしも非線形ならば、ＳおよびＰＴ（或いはＢＴおよびＰＴ）に対応する補償ゲインを求めればよい。
画像処理部２０は、求めた補償ゲインを暗黒画像データＢにかけて、暗黒画像データＢと画像データと間で、固定パターンノイズのレベルをほぼ揃える。

ステップＳ１４： 画像処理部２０は、メモリ１７内の画像データから、暗黒画像データＢを画素単位に減算する。この減算処理により、固定パターンノイズを抑制した画像データを得る。

《本実施形態の効果など》
以上説明したように、本実施形態では、暗黒画像データを複数生成する。
固定パターンノイズは、規則的に発生するため、複数の暗黒画像データ間において高い相関性を示す。一方、ランダムノイズは不規則に発生するため、複数の暗黒画像データ間において非相関性を示す。そこで、本実施形態のように、複数の暗黒画像データ間において非相関箇所を抑制することにより、ランダムノイズを低減した暗黒画像データが得られる。この暗黒画像データを基準に画像ノイズを抑制することにより、ランダムノイズの影響を抑えた固定パターンノイズの抑制が実現する。

さらに、本実施形態では、複数の暗黒画像データがいずれも微小レベルとなる微小レベル箇所を検出する。この微小レベル箇所は、レベルが上昇しやすい固定パターンノイズではあり得ない箇所である。このような微小レベル箇所は、ランダムノイズのみを含む箇所であって、固定パターンノイズの除去において害あって利のない箇所と判断できる。したがって、微小レベル箇所をレベル抑圧することによって、ランダムノイズの影響を更に抑制することが可能になる。その結果、ランダムノイズの影響を抑えた固定パターンノイズの抑制が実現する。

このようにランダムノイズの影響を抑制できるので、従来に比べて暗黒画像データのランダムノイズを許容することが可能になる。したがって、暗黒画像データの総合電荷蓄積時間を時間短縮するなどの設定が実現可能になる。この場合、電子カメラ１１を暗黒画像データの撮像シーケンスから早く解放することが可能になり、使い勝手に優れた電子カメラ１１を実現することが可能になる。

《実施形態の補足事項》
なお、上述した実施形態では、画像データから暗黒画像データを減算することにより、固定パターンノイズを除去している。しかしながら、実施形態はこれに限定されるものではない。

例えば、画像処理部２０が、複数の暗黒画像データの相関性を評価して、相関性の高い固定パターンノイズの発生箇所を検出する（あるいは非相関性を示すランダムノイズの発生箇所を除くことで、固定パターンノイズの発生箇所を検出する）。次に、画像処理部２０は、この発生箇所に対応する画像データ中の画素位置に対し、周辺画素などを参照したノイズ抑制処理を実施する。このような処理では、暗黒画像データ中の固定パターンノイズとランダムノイズとを相関性の違いから正確に弁別することが可能になる。その結果、この処理においても画像データに対するランダムノイズの影響を抑制することが可能になる。

なお、上述した実施形態では、暗黒画像データ中の非相関箇所を設定値Ｋに置き換えることにより、非相関性のランダムノイズを抑制している。しかしながら、実施形態はこれに限定されるものではない。
例えば、３つ以上の暗黒画像データを生成する場合には、３つ以上の暗黒画像データに中間値演算（メディアン）を施す画像合成により、非相関性のランダムノイズを抑制することもできる。

また例えば、３つ以上の暗黒画像データを生成する場合には、レベル差の大きな画素値を除いて平均するなどの画像合成により、非相関性のランダムノイズを抑制することもできる。

なお、上述した実施形態では、先に画像データを生成し、後から暗黒画像データを生成している。しかしながら、実施形態はこれに限定されるものではない。複数の暗黒画像データの一部または全部を画像データより先に生成してもよい。また、電源投入時などのように画像データの撮影と独立したタイミングで、複数の暗黒画像データの一部または全部を生成してもよい。このような動作では、画像データの撮影後に、暗黒画像データの撮影シーケンスを時間短縮または省くことが可能となる。

また、上述した実施形態では、電子カメラ１１（ノイズ抑制装置を含む）について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、電子カメラとは独立にノイズ抑制装置を構成してもよい。また例えば、上述したノイズ抑制処理（例えば図２中に示す）をソフトウェア化して、画像処理プログラムを作成してもよい。この画像処理プログラムをコンピュータで実行することにより、コンピュータ上でノイズ抑制装置を実現することができる。

なお、上述した実施形態では、電子カメラで生成したデータに対して、ノイズ抑制処理を実施するケースについて説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、スキャナー装置などの画像生成装置で作成した画像データおよび暗黒画像データを用いて、上述したノイズ抑制処理を実施することも可能である。

さらに、このようなインターネット上のサーバ（画像アルバムサーバなど）において、ユーザーから伝送される画像データおよび暗黒画像データを用いて、ノイズ抑制サービスを提供してもよい。

なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。

以上説明したように、本発明は、画像のノイズ抑制などに利用可能な技術である。

電子カメラ１１を示すブロック図である。 本実施形態の動作を説明する流れ図である。

符号の説明

１１…電子カメラ，１２…撮影レンズ，１２ｂ…遮蔽機構，１３…撮像素子，１４…撮像制御部，１７…メモリ，１９…マイクロプロセッサ，２０…画像処理部

Claims (5)

1. 光像を撮像して得た画像データと、遮光状態で撮像して得た複数の暗黒画像データとを取り込む画像データ取込部と、
   前記複数の暗黒画像データを参照して、前記複数の暗黒画像データのうち少なくとも２つの暗黒画像データ間における同一の走査位置の信号レベルのレベル差を算出するレベル差算出部と、
   前記複数の暗黒画像データに基づいてノイズ抑制用暗黒画像データを生成するノイズ抑制用ノイズ抑制用暗黒画像データ生成部と、
   前記ノイズ抑制用暗黒画像データに基づいて前記画像データのノイズを抑制するノイズ抑制部とを備え、
   前記レベル差算出部により算出された前記レベル差が第１閾値以上のとき、前記ノイズ抑制用暗黒画像データ生成部は、前記ノイズ抑制用暗黒画像データにおける前記走査位置の信号レベルが、前記複数の暗黒画像データそれぞれにおける前記走査位置の信号レベルに基づいて算出される信号レベルとは異なる信号レベルとなるように補正する
   ことを特徴とするノイズ抑制装置。
2. 請求項１に記載のノイズ抑制装置において、
   前記複数の暗黒画像データ間における同一の走査位置の信号レベルがいずれも前記第１閾値とは異なる第２閾値以下のとき、前記ノイズ抑制用暗黒画像データ生成部は、前記ノイズ抑制用暗黒画像データにおける前記走査位置の信号レベルが、前記複数の暗黒画像データそれぞれにおける前記走査位置の信号レベルに基づいて算出される信号レベルとは異なる信号レベルとなるように補正する
   ことを特徴とするノイズ抑制装置。
3. 請求項１または請求項２に記載のノイズ抑制装置において、
   前記複数の暗黒画像データの総合電荷蓄積時間を前記画像データの電荷蓄積時間よりも時間短縮して設定したとき、前記ノイズ抑制用暗黒画像データ生成部は、前記時間短縮に伴う固定パターンノイズのゲイン低下を補償する補償ゲインを前記ノイズ抑制用暗黒画像データにかける
   ことを特徴とするノイズ抑制装置。
4. 請求項１から請求項３のいずれか１項に記載のノイズ抑制装置と、
   光電変換を行う撮像部と、
   前記撮像部を遮光する遮光機構と、
   前記遮光機構で遮光されていない状態の前記撮像部により撮像することで画像データを生成させ、前記遮光機構で遮光された状態の前記撮像部により複数回撮像することで複数の暗黒画像データを生成させる制御部とを備え、
   前記ノイズ抑制装置は、前記画像データと前記複数の暗黒画像データとを取り込み、前記画像データのノイズを抑制する
   ことを特徴とする電子カメラ。
5. 光像を撮像して得た画像データと、遮光状態で撮像して得た複数の暗黒画像データとを取り込む画像データ取込ステップと、
   前記複数の暗黒画像データを参照して、前記複数の暗黒画像データのうち少なくとも２つの暗黒画像データ間における同一の走査位置の信号レベルのレベル差を算出するレベル差算出ステップと、
   前記複数の暗黒画像データに基づいてノイズ抑制用暗黒画像データを生成するノイズ抑制用暗黒画像データ生成ステップと、
   前記ノイズ抑制用暗黒画像データに基づいて前記画像データのノイズを抑制するノイズ抑制ステップとをコンピュータに実行させるノイズ抑制プログラムであって、
   前記レベル差算出ステップにより算出された前記レベル差が第１閾値以上のとき、前記ノイズ抑制用暗黒画像データ生成ステップは、前記ノイズ抑制用暗黒画像データにおける前記走査位置の信号レベルが、前記複数の暗黒画像データそれぞれにおける前記走査位置の信号レベルに基づいて算出される信号レベルとは異なる信号レベルとなるように補正する
   ことを特徴とするノイズ抑制プログラム。

Images