JP5561112B2

JP5561112B2 - 画像処理装置、撮像装置およびプログラム

Info

Publication number: JP5561112B2
Application number: JP2010251823A
Authority: JP
Inventors: 英康国場; 英明松田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-11-10
Filing date: 2010-11-10
Publication date: 2014-07-30
Anticipated expiration: 2030-11-10
Also published as: JP2012105063A

Description

本発明は画像処理装置、撮像装置およびプログラムに関する。

ＣＭＯＳイメージセンサでは、ＭＯＳトランジスタのチャネル内を移動するキャリアの１つがゲート絶縁膜などに存在するトラップ準位に捕獲されることによって、点状のランダムテレグラフシグナルノイズ（以下、ＲＴＳノイズと称する）が画像に生じうることが知られている。

また、画像のノイズ低減処理の一般的な手法として、平滑化フィルタやメディアンフィルタによる処理や、周辺画素との画素値の突出点を補正する処理（例えば特許文献１参照）も従来から知られている。

特開２００４−２０１２０７号公報

ところで、従来のノイズ低減処理による場合、例えば高輝度の点状の被写体をノイズとして誤って補正してしまう場合もあり、画像から適切にＲＴＳノイズの成分を除去する手法が望まれている。

上記事情に鑑み、画像からＲＴＳノイズの成分をより精度よく低減できる技術を提供する。

一の態様の画像処理装置は、記憶部と、代表値算出部と、判定部と、ノイズ低減部とを備える。記憶部は、撮像素子の各画素でのＲＴＳノイズのノイズレベルを記憶する。代表値算出部は、撮像素子で撮影された画像に対して、注目画素の周囲画素の画素値を用いて代表値を算出する。判定部は、注目画素の画素値と代表値との差と、注目画素に対応する記憶部のＲＴＳノイズのノイズレベルとを用いて、注目画素でＲＴＳノイズの影響があるか否かを判定する。ノイズ低減部は、判定部がＲＴＳノイズの影響があると判定したときに、注目画素の画素値からＲＴＳノイズの成分を低減させる。

上記の一の態様において、判定部は、撮影時の撮影感度および画像の明るさに応じてショットノイズのノイズレベルを推定してもよい。そして、判定部は、注目画素でのＲＴＳノイズのノイズレベルがショットノイズのノイズレベルよりも大きいときに、注目画素でＲＴＳノイズの影響があると判定してもよい。

上記の一の態様において、ノイズ低減部は、記憶部のＲＴＳノイズのノイズレベルに基づいて、注目画素の画素値からＲＴＳノイズのノイズ成分をキャンセルしてもよい。

上記の一の態様において、ノイズ低減部は、注目画素の画素値を、注目画素と同色の周囲画素から抽出した最大画素値または最小画素値のいずれか近い方の値と置換してもよい。

上記の一の態様において、ノイズ低減部は、注目画素の画素値を、注目画素と同色の周囲画素から求めた代表値と置換してもよい。

上記の一の態様において、代表値算出部は、周囲画素について複数方向で画素値の相関を求め、相関の高い方向の画素値を用いて代表値を算出してもよい。

なお、上記の画像処理装置を撮像素子とともに備える撮像装置や、コンピュータを上記の画像処理装置として動作させるプログラムや、当該プログラムを記憶した記憶媒体や、上記の画像処理装置の動作を方法のカテゴリで表現したものは、いずれも本発明の具体的態様として有効である。

注目画素の画素値と周囲画素の代表値との差と、注目画素のＲＴＳノイズのノイズレベルとを用いて、ＲＴＳノイズの影響があると判定されたときに注目画素の画素値からＲＴＳノイズの成分を低減させる。これにより、注目画素にＲＴＳノイズの影響があるときのみノイズ低減処理が行われるので、画像からＲＴＳノイズの成分をより精度よく低減できる。

一の実施形態での電子カメラの構成例を示す図撮像素子の構成例を示す図特定の画素でのＲＴＳノイズの分布例を示す図標本画像の画素値の例を示す図一の実施形態での電子カメラの動作例を示す流れ図一の実施形態での画像処理装置の構成例を示す図他の実施形態での画像処理装置の動作例を示す流れ図

＜一の実施形態の説明＞
図１は、画像処理装置および撮像装置の一例である一の実施形態での電子カメラの構成例を示す図である。電子カメラは、撮影レンズ１１と、撮像素子１２と、Ａ／Ｄ変換部１３と、信号処理部１４と、第１メモリ１５と、画像処理部１６と、記録Ｉ／Ｆ１７と、ＣＰＵ１８と、操作部１９と、第２メモリ２０と、バス２１とを備えている。ここで、第１メモリ１５、画像処理部１６、記録Ｉ／Ｆ１７、ＣＰＵ１８、第２メモリ２０は、バス２１を介してそれぞれ接続されている。また、撮像素子１２および操作部１９は、それぞれＣＰＵ１８と接続されている。

撮像素子１２は、撮影レンズ１１による結像を撮像する撮像デバイスである。一実施形態での撮像素子１２は、任意の受光素子の画像信号をランダムアクセスで読み出し可能なＣＭＯＳ型の固体撮像素子である。なお、撮像素子１２の出力はＡ／Ｄ変換部１３に接続されている。

図２は、撮像素子１２の構成例を示す図である。撮像素子１２の受光面上には、複数の画素ＰＸがマトリクス状に配列されている。図２では画素ＰＸの配列を簡略化して示すが、実際の固体撮像素子の受光面にはさらに多数の画素が配列されることはいうまでもない。

撮像素子１２の各画素ＰＸには、赤色（Ｒ）、緑色（Ｇｒ，Ｇｂ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列で配置されている。撮像素子１２の各画素ＰＸは、カラーフィルタでの色分解によって各色に対応する画像信号を出力する。これにより、撮像素子１２は、撮影時にカラーの画像を取得できる。

また、図２では、撮像素子１２の回路のうち、画素ＰＸと、画素配列の各列に配置される垂直信号線１２ａと、各垂直信号線１２ａに設けられるカラムアンプ１２ｂと、信号読出回路１２ｃとを図示する（簡単のため、図２では、水平信号線および水平走査回路の図示を省略する）。各垂直信号線１２ａは、図２の垂直方向（縦方向）に並ぶ画素群から信号電流を読み出す。カラムアンプ１２ｂは、画素の信号電流を受け取って、当該信号電流に応じた画像信号を出力するＭＯＳトランジスタである。一の実施形態では、ＣＰＵ１８の指示に基づくカラムアンプ１２ｂでの信号増幅により、ＩＳＯ感度に相当する撮影感度の調整が行われる。また、信号読出回路１２ｃは、画像信号を図２の水平方向（横方向）に向けて読み出す回路である。

図１に戻って、Ａ／Ｄ変換部１３は、撮像素子１２から出力された画像信号のＡ／Ｄ変換を行う回路である。信号処理部１４は、Ａ／Ｄ変換部１３から出力された画像信号に欠陥画素補正や黒レベル補正などの信号処理を施す回路である。この信号処理部１４は、色補間されていないＲＡＷ形式のカラー画像データ（ＲＡＷ画像のデータ）を第１メモリ１５に出力する。

第１メモリ１５は、画像処理の前工程や後工程で画像のデータを一時的に記憶する。例えば、第１メモリ１５は、揮発性の記憶媒体であるＳＤＲＡＭである。

画像処理部１６は、上記のＲＡＷ画像のデータに各種の画像処理（色補間処理、階調変換処理、ホワイトバランス調整、輪郭強調処理、色変換処理など）を施す回路である。なお、画像処理部１６での画像処理により、ベイヤ配列構造のモザイク状画像であるＲＡＷ画像は、写真に相当する色再現画像（例えばＪＰＥＧ画像）に変換される。

記録Ｉ／Ｆ１７は、不揮発性の記憶媒体２２を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ１７は、コネクタに接続された記憶媒体２２に対して画像のデータの書き込み／読み込みを実行する。上記の記憶媒体２２は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２２の一例としてメモリカードを図示する。

ＣＰＵ１８は、電子カメラの動作を統括的に制御するプロセッサである。例えば、ＣＰＵ１８は、被写体の撮影を行う撮影モードにおいて、ユーザの撮影指示入力に応じて、不揮発性の記憶媒体２２への記録を伴う静止画像の撮影処理を実行する。なお、ＣＰＵ１８は、自動露出演算（ＡＥ演算）の結果やユーザの入力に応じて、撮像素子１２に対して撮影感度の変更を指示する。

また、一の実施形態でのＣＰＵ１８は、ＲＡＷ画像のデータに対してＲＴＳノイズの低減処理を施す。このとき、ＣＰＵ１８は、プログラムの実行により、代表値算出部２３、判定部２４およびノイズ低減部２５として動作する（代表値算出部２３、判定部２４およびノイズ低減部２５の各動作については後述する）。

操作部１９は、ユーザの操作を受け付ける複数のスイッチを有している。この操作部１９は、例えば、記録用の静止画像の撮影指示を受け付けるレリーズ釦や、十字状のカーソルキーや、決定釦などを含む。

第２メモリ２０は、例えばフラッシュメモリなどの不揮発性のメモリである。この第２メモリ２０は、ＣＰＵ１８によって実行されるプログラムやＲＴＳノイズのノイズ情報を記憶している。

上記のノイズ情報は、撮像素子１２の各画素でのＲＴＳノイズのノイズレベル（ノイズの大きさ）を記憶した情報である。ＲＴＳノイズはランダムノイズであって、特定の画素に着目するとＲＴＳノイズが発生するかが否かは撮影毎に異なる。しかし、特定の画素でのＲＴＳノイズの大きさはほぼ一定である。かかるＲＴＳノイズの特性に鑑みれば、画素ごとにＲＴＳノイズの大きさを予め調べてノイズ情報として記録できることが分かる。

図３に、特定の画素でのＲＴＳノイズの分布例を示す。図３の横軸は画素値であり、図３の縦軸はノイズの発生頻度である。撮像素子１２の一般的なノイズ成分は正規分布となり、画素値の平均値をピークとして±３σの範囲内にその殆どが含まれる。一方、ＲＴＳノイズの成分は、画素値の平均値から正負の各方向でそれぞれ一定量離れたところに分布のピークが小さく現れる。

ここで、上記のノイズ情報は例えば以下の（Ａ１）〜（Ａ５）の方法で生成される。なお、ノイズレベル情報は、電子カメラの製造者が製造工程で生成してもよく、電子カメラのユーザが生成してもよい。

（Ａ１）まず、遮光状態で撮像素子１２を駆動させて複数枚（例えば１２枚程度）の標本画像を取得する。なお、標本画像で他のノイズとＲＴＳノイズとのレベル差を大きくして、ＲＴＳノイズを検出しやすくするために、標本画像はできるだけ高い撮影感度（例えば最高撮影感度）で取得することが好ましい。

（Ａ２）上記（Ａ１）の標本画像間で同一位置の画素値を平均して、１枚の平均画像を生成する。

（Ａ３）平均画像と各標本画像とで各画素の差分をとる。この工程により、標本画像の枚数分だけ各画素の差分値が取得される。

（Ａ４）上記の差分値を用いて、各画素でのＲＴＳノイズのノイズレベルを求める。

一例として、上記の各差分値の絶対値を求め、その絶対値のうちで閾値（ショットノイズの範囲）以下のものを除外する（図４参照）。そして、ショットノイズ以上の値を示す差分値の絶対値を平均化することで、各画素でＲＴＳノイズのノイズレベルを求めることができる。

また、他の例として、上記の例で説明したショットノイズ以上の値を示す差分値の絶対値を用いて、一般的なＲＴＳノイズの分布曲線とのフィッティング処理を実行し、その画素でのＲＴＳノイズのピークを探索してもよい。そして、上記演算で求めたＲＴＳノイズのピークをＲＴＳノイズのノイズレベルとしてもよい。

なお、各画素において、上記（Ａ３）の差分値の絶対値の平均値や、上記（Ａ３）の差分値の絶対値の中央値を、ＲＴＳノイズのノイズレベルとしてもよい。

（Ａ５）上記（Ａ４）で求めたＲＴＳノイズのノイズレベルにキャリブレーション用の補正係数を乗算し、各画素の最終的なＲＴＳノイズのノイズレベルの値を求める。これにより、上記のノイズ情報が生成される。補正係数は、導出されたノイズレベルをそのまま閾値とした場合に、過補正・あるいは補正不足になることを防ぐためのものである。なお、補正係数は、例えば、カメラの機種ごとに主観評価で決定された値が用いられる。

次に、図５の流れ図を参照しつつ、一の実施形態での電子カメラの動作例を説明する。図５の流れ図の処理は、ユーザからの静止画像の撮影開始指示（レリーズ釦の全押し操作）に応じてＣＰＵ１８が開始する。

ステップ＃１０１：ＣＰＵ１８は、ＡＥ演算やユーザの入力に応じて選択された撮影感度に応じて、撮像素子１２のカラムアンプ１２ｂのアンプゲインを調整する。なお、＃１０１の処理は撮影前に予めＣＰＵ１８が行っていてもよい。

ステップ＃１０２：ＣＰＵ１８は、撮像素子１２を駆動させて被写体の像を撮影する。撮像素子１２から出力された画像信号は、Ａ／Ｄ変換部１３、信号処理部１４をパイプライン式に通過する。そして、第１メモリ１５には、処理対象となるＲＡＷ画像のデータが記憶される。なお、一の実施形態では、ＲＡＷ画像のデータに対してＣＰＵ１８がＲＴＳノイズの低減処理を施す。

ステップ＃１０３：ＣＰＵ１８は、ＲＡＷ画像（＃１０２）のうちから、ＲＴＳノイズの低減処理を行う注目画素を指定する。一例として、＃１０３でのＣＰＵ１８は、ＲＡＷ画像の左上隅を起点として１行ずつ左から右の順で、全ての画素を順次注目画素に指定するものとする。

ステップ＃１０４：代表値算出部２３は、注目画素と同じ色成分の周囲画素の画素値を用いて代表値を算出する。

例えば、注目画素が緑色画素（図２のＧ₂₄）であるとき、代表値算出部２３は、下式（１）または下式（２）で代表値Ｇ_aを求めればよい。

例えば、注目画素が赤色画素（図２のＲ₃₄）であるとき、代表値算出部２３は、下式（３）または下式（４）で代表値Ｒ_aを求めればよい。

例えば、注目画素が青色画素（図２のＢ₄₅）であるとき、代表値算出部２３は、下式（５）または下式（６）で代表値Ｂ_aを求めればよい。

なお、本明細書で「ｍｅｄｉａｎ（Ａ〜Ｚ）」は、画素値Ａ〜Ｚのうちの中央値を返す関数を意味する。なお、代表値算出部２３は、式（１）、（３）、（５）の組み合わせまたは式（２）、（４）、（６）の組み合わせで代表値を求めるものとする。

ステップ＃１０５：代表値算出部２３は、注目画素の画素値と上記の代表値（＃１０４）との差分値Ｄを求める。なお、差分値Ｄは、注目画素の画素値と代表値との大小関係に応じて正負のいずれの値もとりうる。

ステップ＃１０６：ＣＰＵ１８は、第２メモリ２０のノイズ情報から注目画素に対応するＲＴＳノイズのノイズレベルを取得する。

ステップ＃１０７：判定部２４は、注目画素の画素値と代表値との差分値Ｄ（＃１０５）と、注目画素に対応するＲＴＳノイズのノイズレベル（＃１０６）とを用いて、注目画素でＲＴＳノイズの影響があるか否かを判定する。注目画素でＲＴＳノイズの影響があると判定された場合（ＹＥＳ側）、＃１０８に処理が移行する。一方、注目画素でＲＴＳノイズの影響がないと判定された場合（ＮＯ側）、＃１０９に処理が移行する。なお、＃１０７でＮＯ側の場合、現在の注目画素でＲＴＳノイズの低減処理は行われない。

ここで、＃１０７での判定部２４は、以下の２つの条件がともに成立するときに、注目画素でＲＴＳノイズの影響があると判定する。

（条件１）
現在の撮影感度でのＲＴＳノイズレベルｎ_RTSが、現在の撮影感度でのショットノイズレベルｎ_sよりも大きい（ｎ_RTS＞ｎ_s）。

すなわち、撮影条件によりショットノイズよりもＲＴＳノイズの方が小さくなる場合、ＲＴＳノイズが画質に与える影響は無視できる。よって、条件１を満たさない場合には注目画素でＲＴＳノイズを除去する必要がないので、現在の注目画素を補正対象とはしない。

例えば、基準撮影感度Ｅ₀、基準画素値ｖ₀でのショットノイズレベルをｎ_s0とすると、現在の撮影感度Ｅ、撮影時の明るさｖでのショットノイズレベルｎ_sは、下式（７）で求めることができる。

上記の基準撮影感度Ｅ₀、基準画素値ｖ₀およびショットノイズレベルｎ_s0の各値は、予め実測して得た条件値を用いればよい。また、撮影時の明るさｖには、＃１０４で得た周囲画素の代表値を用いればよい。

一方、ノイズ情報を取得したときの撮影感度Ｅ_hにおけるＲＴＳノイズレベル（ノイズ情報に記録されているＲＴＳノイズレベル）をｎ_RTShとしたとき、現在の撮影感度ＥでのＲＴＳノイズレベルｎ_RTSは、下式（８）で求めることができる。

なお、上記のｎ_RTSの値は、撮像素子１２の画素内部にあるアンプ（不図示）のゲインや、カラムアンプ１２ｂのゲインに応じて調整してもよい。

（条件２）
差分値Ｄの大きさが現在の撮影感度でのＲＴＳノイズレベルｎ_RTSよりも大きい（Ｄ＞ｎ_RTS）。

ステップ＃１０８：ノイズ低減部２５は、注目画素の画素値からＲＴＳノイズの成分を低減させるノイズ低減処理を行う。例えば、ノイズ低減部２５は、以下の（Ｂ１）から（Ｂ３）のいずれかの処理を実行する。

（Ｂ１）ノイズ低減部２５は、上記のＲＴＳノイズレベルｎ_RTSを用いて、注目画素の画素値からＲＴＳノイズのノイズ成分をキャンセルする。差分値Ｄが正の場合には、ノイズ低減部２５は注目画素の画素値からＲＴＳノイズレベルｎ_RTSを減算する。また、差分値Ｄが負の場合には、ノイズ低減部２５は注目画素の画素値にＲＴＳノイズレベルｎ_RTSを加算する。

（Ｂ２）ノイズ低減部２５は、注目画素の画素値を、注目画素と同色の周囲画素から抽出した最大画素値または最小画素値と置換する。差分値Ｄが正の場合には、ノイズ低減部２５は注目画素の画素値を上記の最大画素値と置換する。また、差分値Ｄが負の場合には、ノイズ低減部２５は注目画素の画素値を上記の最小画素値と置換する。

（Ｂ３）ノイズ低減部２５は、注目画素の画素値を、注目画素と同色の周囲画素から求めた代表値（＃１０４で求めたもの）と置換する。

ステップ＃１０９：ＣＰＵ１８は、全ての画素が注目画素として指定されたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）、＃１１０に処理が移行する。なお、＃１０９のＹＥＳ側の場合、ＲＡＷ画像全体でＲＴＳノイズの低減処理が終了した状態にある。一方、上記要件を満たさない場合（ＮＯ側）、ＣＰＵ１８は＃１０３に戻って、次の画素を注目画素に指定して上記動作を繰り返す。

ステップ＃１１０：画像処理部１６は、ＲＡＷ画像のデータに画像処理を施して、色再現画像のデータを生成する。そして、ＣＰＵ１８は、記録Ｉ／Ｆ１７を介して色再現画像のデータを記憶媒体２２に記録する。以上で、図５の流れ図の説明を終了する。

以下、一の実施形態の作用効果を述べる。一の実施形態の電子カメラは、注目画素の画素値と周囲画素の代表値との差分値Ｄと、予め求めたＲＴＳノイズのノイズ情報とを用いて、注目画素にＲＴＳノイズの影響があるか否かを判定する（＃１０７）。そして、電子カメラは、注目画素にＲＴＳノイズの影響があると判定されたときに注目画素の画素値からＲＴＳノイズの成分を低減させる（＃１０８）。

これにより、注目画素にＲＴＳノイズの影響があるときのみノイズ低減処理が行われるので、画像からＲＴＳノイズの成分をより精度よく低減できる。一例として、星空を撮影した画像を補正する場合を考えると、一の実施形態ではＲＴＳノイズの生じない箇所では補正が行われないので、星の輝点を誤って消してしまうようなことはない。

＜一の実施形態の変形例＞
一の実施態様の＃１０４の処理において、代表値算出部２３は、周囲画素について複数方向で画素値の相関を求め、相関の高い方向の画素値を用いて代表値を算出してもよい。例えば、代表値算出部２３は、水平方向の周囲画素の値ｄ_hと、垂直方向の周囲画素の値ｄ_vとを求める。そして、代表値算出部２３は、ｄ_hおよびｄ_vの差と閾値ｄ_tとの関係に応じて、代表値の算出方法を変化させる。

例えば、注目画素が緑色画素（図２のＧ₂₄）であるとき、代表値算出部２３はｄ_hおよびｄ_vを下式（９）、（１０）で求める。

そして、代表値算出部２３は以下の条件に応じて代表値Ｇ_aを求めればよい。

例えば、注目画素が赤色画素（図２のＲ₃₄）であるとき、代表値算出部２３はｄ_hおよびｄ_vを下式（１１）、（１２）で求める。

そして、代表値算出部２３は以下の条件に応じて代表値Ｒ_aを求めればよい。

例えば、注目画素が青色画素（図２のＢ₄₅）であるとき、代表値算出部２３はｄ_hおよびｄ_vを下式（１３）、（１４）で求める。

そして、代表値算出部２３は以下の条件に応じて代表値Ｂ_aを求めればよい。

この変形例では、によれば、＃１０８のノイズ低減処理で（Ｂ３）の補正を行うときに、注目画素の画素値は相関が高い方向から得た代表値と置換される。そのため、この変形例によれば、画像のエッジ部で誤補正が発生するおそれをより低減させることができる。

＜他の実施形態の説明＞
図６は、他の実施形態での画像処理装置の構成例を示す図である。他の実施形態での画像処理装置は、ＲＡＷ画像のデータに画像処理を施して色再現画像に変換するプログラムがインストールされたパーソナルコンピュータである。

図６に示すコンピュータ３１は、データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６、バス３７を有している。データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６は、バス３７を介して相互に接続されている。さらに、コンピュータ３１には、入出力Ｉ／Ｆ３６を介して、入力デバイス３８（キーボード、ポインティングデバイスなど）とモニタ３９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ３６は、入力デバイス３８からの各種入力を受け付けるとともに、モニタ３９に対して表示用のデータを出力する。

データ読込部３２は、上記のＲＡＷ画像のデータや、プログラムを外部から読み込むときに用いられる。例えば、データ読込部３２は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）である。

記憶装置３３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置３３には、プログラムや、一の実施形態と同様のノイズ情報が記録される。なお、記憶装置３３には、データ読込部３２から読み込んだＲＡＷ画像のデータや、画像処理後の色再現画像のデータを記憶しておくこともできる。

ＣＰＵ３４は、コンピュータ３１の各部を統括的に制御するプロセッサである。このＣＰＵ３４は、プログラムの実行によって、代表値算出部２３、判定部２４およびノイズ低減部２５として動作する。

メモリ３５は、プログラムでの各種演算結果を一時的に記憶する。このメモリ３５は、例えば揮発性のＳＤＲＡＭなどである。

次に、図７の流れ図を参照しつつ、他の実施形態での画像処理装置の動作例を説明する。
図７の流れ図の処理は、ユーザからのプログラム実行指示に応じてＣＰＵ３４が開始する。

ステップ＃２０１：ＣＰＵ３４は、処理対象となるＲＡＷ画像のデータと、ＲＡＷ画像を撮影した電子カメラのノイズ情報とをデータ読込部３２から取得する。そして、ＣＰＵ３４は、上記の各データを記憶装置３３に記録する。なお、他の実施形態のＲＡＷ画像のデータも色補間処理が施されていないことを前提とする。また、ＲＴＳノイズの特性は撮像素子ごとに異なるので、他の実施形態では個々の電子カメラについてノイズ情報を取得する必要がある。

ステップ＃２０２：ＣＰＵ３４は、ＲＡＷ画像（＃２０１）のうちから、ＲＴＳノイズの低減処理を行う注目画素を指定する。なお、＃２０２の処理は、図５の＃１０３の処理に対応するので重複説明は省略する。

ステップ＃２０３：代表値算出部２３は、注目画素と同じ色成分の周囲画素の画素値を用いて代表値を算出する。なお、＃２０３の処理は、図５の＃１０４の処理（または変形例の処理）に対応するので重複説明は省略する。

ステップ＃２０４：代表値算出部２３は、注目画素の画素値と上記の代表値（＃２０３）との差分値Ｄを求める。

ステップ＃２０５：ＣＰＵ３４は、記憶装置３３のノイズ情報から注目画素に対応するＲＴＳノイズのノイズレベルを取得する。

ステップ＃２０６：判定部２４は、注目画素の画素値と代表値との差分値Ｄ（＃２０４）と、注目画素に対応するＲＴＳノイズのノイズレベル（＃２０５）とを用いて、注目画素でＲＴＳノイズの影響があるか否かを判定する。注目画素でＲＴＳノイズの影響があると判定された場合（ＹＥＳ側）、＃２０７に処理が移行する。一方、注目画素でＲＴＳノイズの影響がないと判定された場合（ＮＯ側）、＃２０８に処理が移行する。なお、＃２０６の処理は、図５の＃１０７の処理に対応するので重複説明は省略する。

ステップ＃２０７：ノイズ低減部２５は、注目画素の画素値からＲＴＳノイズの成分を低減させるノイズ低減処理を行う。なお、＃２０７の処理は、図５の＃１０８の処理に対応するので重複説明は省略する。

ステップ＃２０８：ＣＰＵ３４は、全ての画素が注目画素として指定されたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）、＃２０９に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）、ＣＰＵ３４は＃２０２に戻って、次の画素を注目画素に指定して上記動作を繰り返す。

ステップ＃２０９：ＣＰＵ３４は、ＲＡＷ画像のデータに画像処理を施して、色再現画像のデータを生成する。このとき、ＣＰＵ３４は、モニタ３９に色再現画像を再生表示してもよい。そして、ＣＰＵ３４は、色再現画像のデータを記憶装置３３に記録する。以上で、図７の流れ図の説明を終了する。この他の実施形態では、撮影後に電子カメラの外部でＲＡＷ画像を現像する画像処理装置においても、一の実施形態と同様にＲＴＳノイズの低減処理を行うことができる。

＜実施形態の補足事項＞
（ａ）上記実施形態では、代表値算出部２３、判定部２４およびノイズ低減部２５の機能をプログラムによってソフトウエア的に実現する例を説明した。しかし、本発明では、ＡＳＩＣを用いて上記の各部をハードウエア的に実現してもかまわない。

（ｂ）一の実施形態の電子カメラでは、ＣＰＵ１８がＲＴＳノイズの低減処理を行う例を説明したが、信号処理部１４または画像処理部１６がＲＴＳノイズの低減処理を行うようにしてもよい。

（ｃ）上記実施形態のノイズ情報は、全画素のＲＴＳノイズレベルを記憶したものでなくともよい。例えば、ノイズ情報は、ＲＴＳノイズレベルが閾値以上となる画素のみ、ＲＴＳノイズレベルを記憶するようにしてもよい。

（ｄ）上記実施形態でのノイズ情報は、遮光状態で撮影された画像から生成される例を説明した。しかし、非遮光状態で一様な被写体を撮影した複数の標本画像からノイズ情報を生成してもよい。なお、この場合には、撮像素子のマイクロレンズによる周辺減光や、撮像素子の感度ムラを補正して各標本画像を取得することが好ましい。

（ｅ）上記実施形態の例では、全ての画素について周辺画素の代表値の算出を行い（＃１０４，＃２０３）、ＲＴＳノイズの影響を判別している（＃１０７，＃２０６）。しかし、周辺画素の代表値算出の前のステップにおいて、注目画素のノイズレベルをノイズ情報から取得し、その値が一定値以下の場合は、ＲＴＳノイズの発生しない画素であるとみなし、その画素の処理をスキップして次の画素に移行しても良い。それにより、処理時間を短縮することが出来る。

（ｆ）上記実施形態では、撮像素子はアナログ出力で、外部にＡＤ変換器を配置する例を説明した。しかし、ＡＤ変換器を内蔵したデジタル出力の撮像素子でもよい。

（ｇ）上記実施形態の式（２）、式（４）、式（６）では、注目画素を除いた同色周囲画素の中央値を代表値として求める。しかし、上記の式（２）、式（４）、式（６）において、中央値を求めるときに注目画素の画素値をさらに含めるようにしてもよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１１…撮影レンズ、１２…撮像素子、１３…Ａ／Ｄ変換部、１４…信号処理部、１５…第１メモリ、１６…画像処理部、１７…記録Ｉ／Ｆ、１８…ＣＰＵ、１９…操作部、２０…第２メモリ、２１…バス、２２…記憶媒体、２３…代表値算出部、２４…判定部、２５…ノイズ低減部、３１…コンピュータ、３２…データ読込部、３３…記憶装置、３４…ＣＰＵ、３５…メモリ、３６…入出力Ｉ／Ｆ、３７…バス、３８…入力デバイス、３９…モニタ

Claims

撮像素子の各画素でのランダムテレグラフシグナル（ＲＴＳ）ノイズのノイズレベルを記憶する記憶部と、
前記撮像素子で撮影された画像に対して、注目画素の周囲画素の画素値を用いて代表値を算出する代表値算出部と、
前記注目画素の画素値と前記代表値との差と、前記注目画素に対応する前記記憶部のＲＴＳノイズのノイズレベルとを用いて、前記注目画素で前記ＲＴＳノイズの影響があるか否かを判定する判定部と、
前記判定部がＲＴＳノイズの影響があると判定したときに、前記注目画素の画素値からＲＴＳノイズの成分を低減させるノイズ低減部と、
を備える画像処理装置。
請求項１に記載の画像処理装置において、
前記判定部は、撮影時の撮影感度および画像の明るさに応じてショットノイズのノイズレベルを推定し、前記注目画素でのＲＴＳノイズのノイズレベルが前記ショットノイズのノイズレベルよりも大きいときに、前記注目画素で前記ＲＴＳノイズの影響があると判定する画像処理装置。
請求項１または請求項２に記載の画像処理装置において、
前記ノイズ低減部は、前記記憶部のＲＴＳノイズのノイズレベルに基づいて、前記注目画素の画素値から前記ＲＴＳノイズのノイズ成分をキャンセルする画像処理装置。
請求項１または請求項２に記載の画像処理装置において、
前記ノイズ低減部は、前記注目画素の画素値を、前記注目画素と同色の周囲画素から抽出した最大画素値または最小画素値のいずれか近い方の値と置換する画像処理装置。
請求項１または請求項２に記載の画像処理装置において、
前記ノイズ低減部は、前記注目画素の画素値を、前記注目画素と同色の周囲画素から求めた代表値と置換する画像処理装置。
請求項１から請求項５のいずれか１項に記載の画像処理装置において、
前記代表値算出部は、前記周囲画素について複数方向で画素値の相関を求め、前記相関の高い方向の画素値を用いて前記代表値を算出する画像処理装置。
撮像素子と、
請求項１から請求項６のいずれか１項に記載の画像処理装置と、を備える撮像装置。
撮像素子の各画素でのランダムテレグラフシグナル（ＲＴＳ）ノイズのノイズレベルを記憶する記憶部から、注目画素に対応する前記ＲＴＳノイズのノイズレベルを取得する処理と、
前記撮像素子で撮影された画像に対して、前記注目画素の周囲画素の画素値を用いて代表値を算出する代表値算出処理と、
前記注目画素の画素値と前記代表値との差と、前記注目画素に対応する前記ＲＴＳノイズのノイズレベルとを用いて、前記注目画素で前記ＲＴＳノイズの影響があるか否かを判定する判定処理と、
前記判定処理でＲＴＳノイズの影響があると判定したときに、前記注目画素の画素値からＲＴＳノイズの成分を低減させるノイズ低減処理と、
をコンピュータに実行させるプログラム。