JP4441321B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関し、特に、画素単位でノイズの有無の判断処理とノイズ低減処理を行うことにより、最適なノイズ低減が可能な画像処理装置、画像処理方法及びプログラムに関する。

撮像素子とその撮像素子に付随するアナログ回路およびアナログ・デジタル（以下、A/Dと略す）コンバータから得られるデジタル化された信号中に含まれるノイズ成分は、ランダム性及びスパイク性のノイズに大別できる。ランダム性のノイズは撮像素子およびアナログ回路で発生するもので、ホワイトノイズに近い特性を有する。一方、スパイク性のノイズは欠陥画素などに代表されるように主に撮像素子に起因する。

ランダム性のノイズに関しては、例えば特開2001-157057号公報に示されるように、輝度ノイズ量を信号レベルに対して関数化し、この関数から信号レベルに対する輝度ノイズ量を推定し、輝度ノイズ量に基づきフィルタリングの周波数特性を制御する手法が開示されている。これにより、信号レベルに対してランダム性のノイズ低減処理が行われることになる。

また、スパイク性のノイズに関しては、例えば特開平5-41867号公報に示されるように、各画素を周辺画素の最大値または最小値と比較することでスパイク性のノイズを検出し、スパイク性のノイズと判断された場合に最大値または最小値と置換する手法が開示されている。これにより、スパイク性のノイズ低減処理が行われることになる。
特開2001-157057号公報 特開平5-41867号公報

しかし、上述した２つの手法によると、最適なノイズ量の判断及び低減処理ができず、高品位な画像信号を得ることができないという課題がある。

ランダム性のノイズについて、特開2001-157057号公報では、ランダム性のノイズ量をN、濃度値に変換した信号レベルをDとした場合に、ノイズ量は、N=ab^cDにより関数化されていた。ここで、a,b,cは定数項であり、静的に与えられる。

しかしながら、ランダム性のノイズ量は撮影時の温度，露光時間，ゲインなどの要因により動的に変化する。すなわち、撮影時のノイズ量に合わせた関数化に対応することができず、ランダム性のノイズ量の推定精度が劣るという課題がある。また、ランダム性のノイズ量に基づきフィルタリングの周波数特性が制御されるが、このフィルタリングは平坦部分もエッジ部分も区別することなく同等に処理される。このため、信号レベルからランダム性のノイズ量が大と推定された領域にあるエッジ部は劣化することになる。すなわち、原信号とランダム性のノイズを区別した処理に対応することができず、原信号の保存性が悪いという課題がある。

また、特開平5-41867号公報では、スパイク性のノイズと判断された場合に周辺画素の最大値または最小値と置換する。この場合、周辺画素にはランダム性のノイズが含まれており、置換後の画素にもランダム性のノイズが残存することになる。すなわち、特開平5-41867号公報に開示の手法では、スパイク性のノイズとランダム性のノイズの両者を考慮した処理対応することができず、高精度なノイズ低減処理ができないという課題がある。

本発明は、以上のような課題に鑑みてなされたものであり、最適なノイズ量の判断及び低減処理を行い、高品位な画像信号を得ることができる画像処理装置を提供することを目的とする。

さらに、本発明は、信号レベルのみならず撮影時の温度，ゲインなどの動的に変化する要因に対応したランダム性のノイズ量のモデル化を行うと共に、スパイク性のノイズ量の推定を独立に行う機能を持たせることにより、撮影状況に応じて最適化されたランダム性およびスパイク性のノイズ量の高精度な推定を可能とする画像処理装置を提供することを目的とする。

また、ノイズ低減処理はランダム性のノイズとスパイク性のノイズの両者に対して共通化することで、二種類のノイズに対する連続性を確保した低減処理を実現することにより、両者のノイズを高精度に低減し、高品位な画像を生成する画像処理装置を提供することを目的とする。

本発明の画像処理装置は、撮像素子によって撮像されデジタル化された画像信号中に含まれるノイズ成分を低減する画像処理装置であって、上記画像信号中の注目画素ごとに、該注目画素の画像信号が所定のノイズ範囲に属するか否かの判断を行う判断手段と、上記判断結果に基づき上記注目画素のノイズを低減するノイズ低減手段とを有し、上記判断手段は、ランダム性のノイズ量を推定する第１のノイズ推定手段と、スパイク性のノイズ量を推定する第２のノイズ推定手段と、上記第１のノイズ推定手段によって推定された上記ランダム性のノイズ量と、上記第２のノイズ推定手段によって推定された上記スパイク性のノイズ量とに基づき上記ノイズ範囲を算出する範囲算出手段と、上記ノイズ範囲に上記注目画素の信号レベルが属するか否かを検査する検査手段と、を有することを特徴とする。

本発明によれば、最適なノイズ量の判断及び低減処理を行い、高品位な画像信号を得ることができる画像処理装置を実現することができる。

以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施の形態）
（構成）
まず、本実施の形態に係わる撮像システムの構成について説明する。この撮像システムは、スチルカメラ等の撮像装置であり、後述する画像処理装置を搭載、アドオン等されている。図１は、本実施の形態に係わる撮像システムの構成を示す構成図である。図２は、ノイズ判断部の構成図である。図３は、ノイズ判断部で用いられる局所領域を説明するための図である。図４は、振幅補正部で用いられる補正関数を説明するための図である。図５は、第１ノイズ推定部の構成を示す構成図である。図６及び図７は、ランダム性のノイズ量の定式化を説明するための図である。図６は、信号レベルに対するノイズ量の関係を説明するための図である。図７は、信号レベル、温度及びゲインに対するノイズ量の関係を説明するための図である。図８から図１０は、ランダム性のノイズ量算出に用いるパラメータを説明するための図である。図１１は、第２ノイズ推定部の構成を示す構成図である。図１２は、ノイズ低減部の構成を示す構成図である。

図１に示すように、対物レンズとしての複数のレンズからなる光学系100は、絞り101を有する。光学系100を透過した光は、ローパスフィルタ102を通して白黒用の固体撮像素子である電荷結合装置（Charge Coupled Device：以下、CCDという）103の撮像面上に結像する。CCD103の出力信号は、相関二重サンプリング (Correlated Double Sampling：以下、CDSという)回路104においてサンプリングされ、増幅回路105にて増幅され、A/D変換回路106によってデジタル信号へ変換される。

A/D変換回路106の出力信号は、画像用バッファ回路107を介して、測光評価部108、合焦点検出部109、ノイズ判断部111及びノイズ低減部112へ転送される。測光評価部108は、絞り101、CCD103及び増幅回路105に接続されている。合焦点検出部109は、自動焦点（以下、AFという）用モータであるAFモータ110に接続されている。

判断手段であるノイズ判断部111は、ノイズ低減手段であるノイズ低減部112に接続されている。ノイズ低減部112は、信号処理部113を経由してメモリーカードなどの出力部114に接続されている。マイクロコンピュータ等の制御部115は、CDS回路104、増幅回路105、A/D変換回路106、測光評価部108、合焦点検出部109、ノイズ判断部111、ノイズ低減部112、信号処理部113、及び出力部114と双方向に信号の送受信ができるように接続されている。さらに、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備えた外部I/F部116も制御部115と双方向に信号の送受信ができるように接続している。撮影者が設定したISO感度等の撮影条件のデータは、外部I/F116から、制御部115に入力される。

（作用）
次に、図１の撮像システムにおける信号の流れを説明する。なお、図において、太い実線は、画像信号の流れを示し、細い実線は、制御信号の流れを示し、点線はその他の信号の流れを示す。外部I/F部116を介してISO感度などの撮影条件を設定した後、撮影者がシャッターボタンを半押しにすることにより、撮像システムはプリ撮像モードに入る。レンズ系100、絞り101、ローパスフィルタ102及びCCD103を介して撮影されて得られた画像信号は、CDS104によって公知の相関二重サンプリングによりアナログ信号として読み出される。なお、本実施の形態においてCCD103は白黒用のCCDを想定する。そのアナログ信号は、増幅回路105において所定量だけ増幅され、A/D変換回路106にてデジタル信号へ変換されて画像用バッファ107へ転送される。

画像用バッファ107内の画像信号のデータ（以下、単に画像信号ともいう）には、測光評価部108及び合焦点検出部109へ転送される。測光評価部108では、設定されたISO感度、手ぶれ限界のシャッター速度などを加味して、画像中の輝度レベルを求めて適正露光となるよう絞り101、CCD103の電子シャッター速度、増幅回路105の増幅率などを制御する。また、合焦点検出部109では画像中のエッジ強度を検出し、エッジ強度が最大となるようにAFモータ110を制御することによって、合焦画像が得られる。

次に、外部I/F部116を介してシャッターボタンが全押されたことが検出されると、本撮影が行われ、画像信号はプリ撮像と同様に画像用バッファ107へ転送される。本撮影は、測光評価部108にて求められた露光条件と、合焦点検出部109にて求められた合焦条件とに基づき行われ、これらの撮影時の条件は制御部115へ転送される。画像用バッファ107内の画像信号はノイズ判断部111へ転送される。

ノイズ判断部111へは、制御部115を介して測光評価部108にて求められた露光条件、及び外部I/F部116において設定されたISO感度などの撮影条件もあわせて転送される。ノイズ判断部111は、これら条件の情報と画像信号に基づき画素単位で各画像信号がノイズ範囲に属するか否かの判断を行う。各画像信号がノイズ範囲に属するか否かの判断の結果、及びノイズ範囲に関する情報は、ノイズ低減部112へ転送される。ノイズ低減部112は、ノイズ判断部111における判断の結果およびノイズ範囲に関する情報に基づき、画像用バッファ107内の画像信号に対してノイズ低減処理を行い、ノイズ低減処理後の画像信号を信号処理部113へ転送する。ノイズ判断部111とノイズ低減部112の処理動作は、制御部115の制御に基づき画素単位で同期して行われる。信号処理部113は、制御部115の制御に基づき所定の画素数、例えば8×8画素のノイズ低減処理が完了した後、公知の強調処理や圧縮処理などを行い、処理された画像信号を順次出力部114へ転送する。出力部114は、メモリーカードなどへ画像信号を記録保存する。

図２は、ノイズ判断部111の構成の一例を示すもので、ノイズ判断部111は、第１ノイズ推定部200、第２ノイズ推定部201、振幅値設定部202、振幅値補正部203、及び検査部204からなる。画像用バッファ107は、第１ノイズ推定部200、 第２ノイズ推定部201及び検査部204に接続されている。第１ノイズ推定部200は、振幅値設定部202およびノイズ低減部112に接続され、第２ノイズ推定部201は、振幅値補正部203に接続されている。振幅値設定部202は、振幅値補正部203に接続され、振幅値補正部203は、検査部204及びノイズ低減部112に接続されている。検査部204は、ノイズ低減部112に接続されている。制御部115は、第１ノイズ推定部200、第２ノイズ推定部201、振幅値設定部202、振幅値補正部203、及び検査部204と双方向に信号の送受信ができるように接続されている。

それぞれが推定手段である第１ノイズ推定部200と第２ノイズ推定部201は、制御部115の制御に基づき画像用バッファ107から注目画素を包含する所定サイズの局所領域、例えば本実施の形態では3×3画素単位の局所領域の画像信号を順次読み込む。

図３は、3×3画素単位の局所領域の複数の画素を示すもので、局所領域は、注目画素P₁₁および周辺画素P₀₀,P₁₀,P₂₀,P₀₁,P₂₁,P₀₂,P₁₂,P₂₂の画素からなる。第１ノイズ推定部200は注目画素に関するランダム性のノイズ量N_Rを推定し、第２ノイズ推定部201は注目画素に関するスパイク性のノイズ量N_Sを推定する。第１ノイズ推定部200は、推定されたランダム性のノイズ量N_Rおよび局所領域の複数の画像信号の平均値AV_Aなどの関連情報を振幅値設定部202及びノイズ低減部112へ転送する。第２ノイズ推定部201は、推定されたスパイク性のノイズ量N_Sを振幅値補正部203へ転送する。振幅値設定手段である振幅値設定部202は、制御部115の制御に基づき第１ノイズ推定部200からのランダム性のノイズ量N_Rおよび局所領域の複数の画像信号の平均値AV_Aから実空間におけるノイズ範囲Rangeを次の式(1)を用いて算出する。

Range = AV_A ± N_R 式(1)
算出されたノイズ範囲Rangeのデータは振幅値補正部203へ転送される。振幅値補正手段である振幅値補正部203は、制御部115の制御に基づき振幅値設定部202からのノイズ範囲Rangeを第２ノイズ推定部201からのスパイク性のノイズ量N_Sに基づき次の式(2)を用いて補正する。振幅値設定部202と振幅値補正部203が、範囲算出手段を構成する。

Range’ = AV_A ± f(N_S)N_R = AV_A ± k N_R 式(2)
式(2)において、f()はスパイク性のノイズ量N_Sに対する補正係数kを導出する関数で、例えば図４に示されるようなN_S=0の場合に1.0を出力する単調増加関数である。補正されたノイズ範囲Range’及び補正されたランダム性のノイズ量k N_Rなどの関連情報は、検査部204及びノイズ低減部112へ転送される。検査手段である検査部204は、制御部115の制御に基づき画像用バッファ107から注目画素を抽出し、注目画素の画像信号が上記補正されたノイズ範囲Range’内に属するか否かの判断を行う。判断は、「ノイズ範囲内に属している」、「ノイズ範囲を上回っている」、「ノイズ範囲を下回っている」の三通りがあり、この判断結果はノイズ低減部112へ転送される。制御部115は、上記過程を画像用バッファ107上のすべての画素に対して順次行うよう制御する。

図５は、第１ノイズ推定部200の構成の一例を示すものであり、第１ノイズ推定部200は、抽出部300、バッファ301、平均算出部302、ゲイン算出部303、標準値付与部304、係数算出部305、パラメータ用ROM306、関数算出部307、及びノイズ記録部308からなる。画像用バッファ107は、抽出部300とバッファ301を介して平均算出部302に接続されている。平均算出部302、ゲイン算出部303、標準値付与部304及びパラメータ用ROM306は、係数算出部305に接続されている。係数算出部305は関数算出部307に接続され、関数算出部307は、ノイズ記録部308、振幅値設定部202及びノイズ低減部112に接続されている。ノイズ記録部308は、振幅値設定部202及びノイズ低減部112に接続されている。制御部115は、抽出部300、平均算出部302、ゲイン算出部303、標準値付与部304、係数算出部305、関数算出部307及びノイズ記録部308と双方向に信号の送受信ができるように接続されている。

抽出手段である抽出部300は、制御部115の制御に基づき画像用バッファ107から、所定位置の、かつ所定サイズの局所領域の画像信号を抽出しバッファ301へ転送する。本実施の形態では、図３に示す3×3の画素P_ij(i=0〜2, j=0〜2)からなる局所領域で画像全面を順次走査しながら抽出が行われる。平均算出部302は、制御部115の制御に基づきバッファ301上の信号を読み出し、局所領域の画像信号の平均値AV_Aを次の式(3)を用いて算出し、係数算出部305へ転送する。

AV_A = ΣP_ij / 9 (i=0〜2, j=0〜2) 式(3)
ゲイン算出部303は、制御部115から転送されるISO感度などの露光条件に関する情報に基づき増幅回路105におけるゲインを求め、係数算出部305へ転送する。平均算出部302、ゲイン算出部303及び制御部115が、パラメータ算出手段を構成する。さらに、標準パラメータ値付与手段である標準値付与部304は、撮像素子の標準的な温度の値を示す温度情報を係数算出部305へ転送する。標準値付与部304は、ランダムノイズ量算出手段でもある。係数算出部305は、平均算出部302からの平均値AV_A、ゲイン算出部303からのゲイン、標準値付与部304からの温度情報に基づき、ランダム性のノイズ量N_Rを推定するのに必要な係数値を算出する。算出された係数値を用いて、ランダム性のノイズ量N_Rの推定が行われる。この推定にはランダム性のノイズに対する定式化が前提となる。図６と図７は、ランダム性のノイズ量N_Rの定式化に関する説明図である。図６は、信号レベルに対するノイズ量N_Rをプロットしたものを示し、ノイズ量N_Rは、平均値AV_Aのベキ乗の関数または２次関数で近似できる。いま、信号レベルを平均値AV_Aとすると、ランダム性のノイズ量N_Rは、次の式(4)又は式(5)によって定式化することができる。

N_R = aAV_A ^b + c 式(4)
または
N_R = aAV_A ² + bAV_A + c 式(5)
ここで、係数a,b,cは定数である。しかしながら、ノイズ量は信号レベルだけではなく、撮影時の撮像素子の温度やゲインによっても変化する。図７は、信号レベル、温度及びゲインに対するノイズ量をプロットしたグラフである。図７は、信号レベル、温度及びゲインのそれぞれの値を軸とする３次元の関数を示し、かつノイズ量は、ゲインに応じても変化することを示している。個々の曲線は式(4)または式(5)に示される形態をしているが、これらの係数は撮像素子の温度及びゲインにより異なる。温度をT、ゲインをGとし、上記を考慮した形で定式化を行うと、ランダム性のノイズ量N_Rは、次の式(6)又は式(7)に示すように表すことができる。

N_R = a(T,G)AV_A ^b(T,G) + c(T,G) 式(6)
または
N_R = a(T,G)AV_A ² + b(T,G)AV_A + c(T,G) 式(7)
ここで、a(),b(),c()は温度T、ゲインGをパラメータとする関数である。図８、図９及び図１０は、式(6)における３つの関数a(),b(),c()の特性を示すグラフである。これらの３つの関数a(),b(),c()は、温度T、ゲインGを入力パラメータとし、各々の定数a,b,cの係数値を出力する。

これらの関数は、事前に撮像素子系の特性を測定することによって、容易に得ることができる。上記３つの関数a(),b(),c()はパラメータ用ROM306に記録される。

係数算出部305は、温度TとゲインGを入力パラメータとし、パラメータ用ROM306に記録される３つの関数に基づき定数項a,b,cを算出し、関数算出部307へ転送する。係数算出部305とパラメータ用ROM306が、係数算出手段を構成する。関数演算手段である関数算出部307は、式(6)または式(7)に従いランダム性のノイズ量N_Rを算出し、式(3)の局所領域の平均値AV_Aと共に振幅値設定部202およびノイズ低減部112へ転送する。

なお、温度TとゲインGなどのパラメータは撮影ごとに求める必要はない。任意のパラメータを標準値付与部304に記録させておき、その算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。

係数算出部305、パラメータ用ROM306及び関数算出部307は、ランダムノイズ量算出手段を構成する。

さらに、関数算出部307は、制御部115の制御に基づき算出されたランダム性のノイズ量N_Rおよび局所領域の平均値AV_Aをノイズ記録部308へ転送し、一時的に記録させることができる。制御部115は、所定の画素間隔でランダム性のノイズ量N_Rを算出するよう制御し、算出しない場合にはノイズ記録部308上のランダム性のノイズ量N_Rを振幅値設定部202およびノイズ低減部112へ転送させる。制御部115は、新たにランダム性のノイズ量を算出するか、あるいは上記記録されたランダム性のノイズ量を用いるかの選択を行う選択手段を構成する。これにより、より一層の高速処理や省電力化などが実現できる。

図１１は、第２ノイズ推定部201の構成の一例を示すもので、第２ノイズ推定部201は、抽出部400、バッファ401、比較部402、平均算出部403、及び差分算出部404からなる。画像用バッファ107は、抽出部400及びバッファ401を介して比較部402、平均算出部403及び差分算出部404に接続されている。平均算出部403は、差分算出部404を介して振幅値補正部203に接続されている。制御部115は、抽出部400、比較部402、平均算出部403及び差分算出部404と双方向に信号の送受信ができるように接続されている。

抽出手段である抽出部400は、制御部115の制御に基づき画像用バッファ107から、所定位置の、かつ所定サイズの局所領域の画像信号を抽出しバッファ401へ転送する。本実施の形態では、図３に示す3×3の画素P_ij(i=0〜2, j=0〜2)からなる局所領域で画像全面を順次走査しながら抽出を行う。スパイクノイズ検査手段である比較部402は、注目画素P₁₁と上下左右の周辺画素P₁₀,P₁₂,P₀₁,P₂₁との比較を行う。注目画素P₁₁が上下左右の周辺画素P₁₀,P₁₂,P₀₁,P₂₁の何れよりも大きいか小さい場合に、注目画素P₁₁の画像信号は、スパイク性のノイズ成分を含むと判断する。

P_11＞P₁₀ and P_11＞P₁₂ and P_11＞P₀₁ and P_11＞P₂₁ 式(8)
P_11＜P₁₀ and P_11＜P₁₂ and P_11＜P₀₁ and P_11＜P₂₁ 式(9)
すなわち、注目画素P₁₁の画像信号は、式(8)又は式(9)の条件を満たさない場合は、スパイク性のノイズを含まないと判断する。上記判断結果は、制御部115へ転送される。制御部115は、注目画素P₁₁の画像信号がスパイク性のノイズ成分を含まないと判断された場合、差分算出部404を制御し振幅値補正部203へスパイク性のノイズ量N_Sとして0を出力させる。一方、注目画素P₁₁の画像信号がスパイク性のノイズ成分を含むと判断された場合は、平均算出部403を動作させる。

平均値算出手段である平均算出部403は、制御部115の制御に基づき画像用バッファ107から注目画素P₁₁の周辺画素P₀₀,P₁₀,P₂₀,P₀₁,P₂₁,P₀₂,P₁₂,P₂₂を読み込み、次の式(10)から、これら周辺画素の平均値AV_Nを算出する。

AV_N = ΣP_ij / 8 (i=0〜2, j=0〜2, 但しP₁₁は含まず) 式(10)
すなわち、局所領域の画像信号の中で注目画素P₁₁を含まない周辺画素P₀₀,P₁₀,P₂₀,P₀₁,P₂₁,P₀₂,P₁₂,P₂₂についての平均値AV_Nが算出される。式(10)の周辺画素の平均値AV_Nは、差分算出部404へ転送される。差分算出手段である差分算出部404は、制御部115の制御に基づき比較手段である比較部402が、注目画素P₁₁の画像信号がスパイク性のノイズを含むと判断した場合に、平均算出部403から周辺画素の平均値AV_Nを受け取り、次の式(11)から、画像用バッファ107から抽出した注目画素P₁₁の差の絶対値をスパイク性のノイズ量N_Sとして算出する。平均算出部403と差分算出部404が、スパイクノイズ量算出手段を構成する。

N_S = |AV_N - P₁₁| 式(11)
式(11)のスパイク性のノイズ量N_Sは、振幅値補正部203へ転送される。

図１２は、ノイズ低減部112の構成の一例を示すもので、ノイズ低減部112は、抽出部500、バッファ501、選択部502、第１スムージング部503及び第２スムージング部504からなる。画像用バッファ107は、抽出部500、バッファ501、及び選択部502を介して第１スムージング部503と第２スムージング部504に接続されている。第１スムージング部503及び第２スムージング部504は、信号処理部113へ接続している。ノイズ判断部111は、選択部502、第１スムージング部503及び第２スムージング部504に接続されている。制御部115は、抽出部500、選択部502、第１スムージング部503及び第２スムージング部504と双方向に信号の送受信ができるように接続されている。抽出部500は、制御部115の制御に基づき画像用バッファ107から、所定位置の、かつ所定サイズの局所領域を抽出しバッファ501へ転送する。

本実施の形態では、ノイズ判断部111に同期して、図３に示す3×3の画素P_ij(i=0〜2, j=0〜2)からなる局所領域で画像全面を順次走査しながら抽出を行う。選択部502は、ノイズ判断部111からの判断結果に基づき、バッファ501上の局所領域の画像信号を、スムージング手段である第１スムージング部503または第２スムージング部504へ転送する。ノイズ判断部111からの判断結果は、上記したように、画像信号が「ノイズ範囲内に属している」、「ノイズ範囲を上回っている」及び「ノイズ範囲を下回っている」の三通りである。注目画素P₁₁の画像信号が、「ノイズ範囲内に属している」場合は第１スムージング部503へ、それ以外は第２スムージング部504へ転送する。第１スムージング部503は、次の式(12)を用いて、ノイズ判断部111からの局所領域の平均値AV_Aを注目画素P₁₁へ代入する処理を行う。すなわち、第１スムージング部503は、ノイズ範囲に属すると判断された注目画素にノイズ範囲に対応する振幅成分を吸収する平滑化処理を行う。

P₁₁’ = AV_A 式(12)
一方、注目画素P₁₁の画像信号が「ノイズ範囲を上回っている」場合は、第２スムージング部504は、ノイズ判断部111からの補正されたランダム性のノイズ量k N_Rに基づき注目画素P₁₁を式(13)に基づき補正する。第２スムージング部504は、属さないと判断された注目画素に振幅成分を補正する補正処理を行う。

P₁₁’ = P₁₁ - k N_R/2 式(13)
また、注目画素P₁₁の画像信号が「ノイズ範囲を下回っている」場合は、第２スムージング部504は、ノイズ判断部111からの補正されたランダム性のノイズ量k N_Rに基づき注目画素P₁₁を式(14)に基づき補正する。

P₁₁’ = P₁₁ + k N_R/2 式(14)
式(12)または式(13)または式(14)による処理後の注目画素P₁₁’の画像信号は、順次信号処理部113へ出力される。

上記構成により、画素単位で注目画素がノイズ範囲に属するか否かの判断処理と、ノイズ低減処理を行うため、最適なノイズ低減が可能な画像処理装置を実現することができる。具体的には、画素単位で性質の異なる二種類のノイズ量を個別に推定し、両者を併せてノイズ範囲を設定することができ、多様なノイズに対して高精度な判断が可能となり、エッジ部のぼけなどの副作用の少ない最適なノイズ低減処理が可能となる。

また、ランダム性のノイズ量を、撮影毎に異なる条件、例えば、信号値レベルおよび撮影時の温度、シャッター速度、ゲインなどの動的に変化する要因に対応した推定が可能となる。さらに、撮影時に必要となるパラメータが得られない場合でもランダム性のノイズ量の推定が可能となり、安定したノイズ低減効果が得られる。

さらにまた、ランダム性のノイズ量の算出に関数を用いているため必要となるメモリ量が少なく、低コスト化が可能となる。さらに、一部のパラメータ算出を意図的に省略することや、以前に推定したランダム性のノイズ量を代用することにより、低コストかつ省電力化を可能とするシステムが提供できる。

一方、スパイク性のノイズは、簡便な周囲画素との比較処理に基づき、注目画素がスパイク性のノイズ成分を含むと判断された画素のみ算出処理を行うため、無駄な演算を省略でき効率的かつ高速化の可能なシステムが提供できる。また、ノイズ低減処理は実空間での処理のため、実装が比較的容易で低コストでシステムを提供できる。

また、性質の異なる二種類のノイズに対して同一のノイズ低減処理で対応するため、不連続性の発生を防止し、高品位な画像が得られる。

なお、上記実施例では3×3画素単位でノイズ量の推定および低減処理を行ったが、このような構成に限定される必要はない。例えば、2×2画素など、より小さな領域で処理する構成も可能である。この場合、精度は低下するが、より高速な処理が実現できる。逆に、5×5，8×8画素など、より大きな領域で処理する構成も可能である。この場合、処理速度は低下するが、より高精度なノイズ推定処理が実現できる。さらに、ノイズ量の推定と低減処理とで異なる局所領域サイズを用いる構成も可能である。

また、本実施形態例において撮像素子の温度を平均的な値で代用していたが、これに限定される必要はない。例えば温度センサーなどを用いて、実測値を用いることも可能である。これにより、ノイズ量推定の精度を向上できる。

（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。本実施の形態は、第１の実施の形態に、色フィルタ600、プレホワイトバランス（以下、PreWBと略す）部601及び分離部602が追加された構成になっている。基本構成は第１の実施の形態と同等であるので、同一の構成要素には同一の符号を付して、説明は省略する。以下、異なる部分のみ説明する。

（構成）
図１３は、本発明の第２の実施の形態の撮像システムの構成図である。図１４及び図１５は、本実施の形態に係わる色信号の分離に関する説明図である。図１６は、本実施の形態に係わるノイズ判断部の構成図である。図１７と図１８は、制御値の算出に用いられる関数の説明図である。図１９は、本実施の形態に係わる第１ノイズ推定部の構成図である。図２０は、本実施の形態に係わるノイズ低減部の構成図である。

図１３に示すように、CCD103の前面には、色フィルタ600が配置されている。画像用バッファ107は、PreWB部601とも接続されており、PreWB部601は増幅回路105と接続されている。画像用バッファ107は、分離手段である分離部602にも接続されており、分離部602は、ノイズ判断部111及びノイズ低減部112に接続されている。制御部115は、PreWB部601及び分離部602とも双方向に信号の送受信ができるように接続されている。

（作用）
基本的な作用は、第１の実施の形態例と同等であり、異なる部分のみ説明する。図１３における信号の流れを説明する。撮影者がシャッターボタンを半押しにすることによって撮像システムはプリ撮像モードに入る。レンズ系100、絞り101、ローパスフィルタ102、色フィルタ600及びCCD103を介して撮影されて得られた画像信号は、画像用バッファ107へ転送される。なお、本実施の形態において、CCD103は原色系の色フィルタを全面に有する単板CCDを想定する。また、色フィルタ600の配置としては、図１４に示されるBayer型の配置を想定する。原色Bayer型は2×2画素を基本単位とし、赤(R)、緑(Gr,Gb)、及び青(B)の各フィルタが配置される。なお、緑フィルタは同一なものであるが、本実施の形態では処理の便宜上、これをGrとGbに区別するものとする。

画像用バッファ107内の画像信号は、PreWB部601へ転送される。PreWB部601では画像信号中の所定の輝度レベルの信号を色信号ごとに積算することによって、簡易ホワイトバランス係数を算出する。この係数を増幅回路105へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。

次に、本撮影が行われると、画像信号はプリ撮像と同様に画像用バッファ107へ転送される。本撮影は、測光評価部108において求められた露光条件と合焦点検出部109にて求められた合焦条件とPreWB部601で求められたホワイトバランス係数とに基づき行われ、これらの撮影時の条件は制御部115へ転送される。画像用バッファ107内の画像信号は、所定サイズの局所領域単位、例えば、図１４に示される10×10画素単位で分離部602へ転送される。

分離部602は、図１５に示されるようにR,Gr,Gb,Bの４種類の色フィルタごとに、画像用バッファ107内の画像信号を5×5画素単位に分離することになる。この分離は、制御部115の制御に基づき行われ、ノイズ判断部111とノイズ低減部112の処理と同期して行われることになる。ノイズ低減部112で処理された各色信号は統合され信号処理部113へ転送される。信号処理部113は、制御部115の制御に基づきノイズ低減後の画像信号に対して、公知の補間処理、強調処理、圧縮処理などを行い、出力部114へ転送する。出力部114は、メモリーカードなどへ信号を記録保存する。

図１６は、ノイズ判断部111の構成の一例を示すもので、ノイズ判断部111は、第１ノイズ推定部200、第２ノイズ推定部201、制御値設定部700、制御値補正部701及び検査部204からなる。基本構成は図２に示す第１の実施の形態例と同等であり、同一の構成には同一の符号と名称を付し、説明は省略する。分離部602は、第１ノイズ推定部200と第２ノイズ推定部201に接続されている。第１ノイズ推定部200は、制御値設定部700に接続され、第２ノイズ推定部201は、制御値補正部701に接続されている。制御値設定部700は、制御値補正部701に接続され、制御値補正部701は検査部204に接続されている。検査部204は、ノイズ低減部112に接続されている。制御部115は、第１ノイズ推定部200、第２ノイズ推定部201、制御値設定部700、制御値補正部701及び検査部204と双方向に信号の送受信ができるように接続されている。

第１ノイズ推定部200と第２ノイズ推定部201は、制御部115の制御に基づき分離部602から色信号ごとに注目画素を包含する所定サイズの局所領域の画像信号を読み込む。本実施の形態では、図１５に示されるR,Gr,Gb,Bの４種の色信号ごとに４つの注目画素R₂₂,Gr₂₂,Gb₂₂,B₂₂を包含する5×5画素単位の局所領域の画像信号を順次読み込む。

第１ノイズ推定部200は、注目画素に関するランダム性のノイズ量N_Rをルックアップテーブルを用いて推定し、第２ノイズ推定部201は、注目画素に関するスパイク性のノイズ量N_Sを第１の実施の形態と同様の方法により推定する。第１ノイズ推定部200は、推定されたランダム性のノイズ量N_Rを制御値設定部700へ転送する。第２ノイズ推定部201は、推定されたスパイク性のノイズ量N_Sを制御値補正部701へ転送する。制御値設定手段である制御値設定部700は、制御部115の制御に基づき第１ノイズ推定部200からのランダム性のノイズ量N_Rから周波数空間におけるノイズ制御値Cntを、次の式(15)から算出する。制御値設定部700と制御値補正部701が、範囲算出手段を構成する。

Cnt = g(N_R) 式(15)
式(15)において、g()はランダム性のノイズ量N_Rに対する周波数空間でのフィルタ種類Typeを識別する識別関数で、図１７に示されるようなランダム性のノイズ量N_Rを複数の区間、例えば４つに分類し、各区間に対応するフィルタ種類Type=1〜4を与えるものである。なお、フィルタの周波数特性としては、フィルタ種類Typeの値が大きくなるほど高周波成分を遮断する特性が強まるように設定されている。

算出されたノイズ制御値Cntは、制御値補正部701へ転送される。制御値補正手段である制御値補正部701は、制御部115の制御に基づき制御値設定部700からのノイズ制御値Cntを第２ノイズ推定部201からのスパイク性のノイズ量N_Sに基づき、次の式(16)を用いて補正する。

Cnt’ = Cnt + h(N_S) = Cnt + h 式(16)
式(16)において、h()はスパイク性のノイズ量N_Sに対する補正係数hを導出する補正関数で、例えば図１８に示されるようなスパイク性のノイズ量N_Sを複数の区間、例えば３つに分類し、各区間に対応する補正係数h=0〜2を与えるものである。なお、式(16)の補正において、ノイズ制御値Cnt’の最大値はフィルタ種類の最大値、本実施の形態では4、を想定しているが、４を超える場合は最大値に置き換えるものとする。

補正されたノイズ制御値Cnt’は、検査部204及びノイズ低減部112へ転送される。検査部204は、制御部115の制御に基づき制御値補正部701からの補正されたノイズ制御値Cnt’から注目画素の画像信号がノイズ範囲に属するか否かの判断を行う。判断は、Cnt’=1の場合は注目画素の画像信号が「ノイズ範囲に属していない」、それ以外は注目画素の画像信号が「ノイズ範囲内に属している」の二通りがあり、この判断結果はノイズ低減部112へ転送される。制御部115は、上記判断処理を画像用バッファ107上のすべての画素に対して順次行うよう制御する。

図１９は、第１ノイズ推定部200の構成の一例を示すもので、第１ノイズ推定部200は、抽出部300、バッファ301、平均算出部302、ゲイン算出部303、標準値付与部304、ノイズ記録部308及びルックアップテーブル部800からなる。基本構成は、図５に示す第１の実施の形態と同等であり、同一の構成には同一の符号と名称を付して説明は省略する。

分離部602は、抽出部300及びバッファ301を介して平均算出部302に接続されている。平均算出部302、ゲイン算出部303及び標準値付与部304は、ルックアップテーブル部800に接続されている。ルックアップテーブル手段であるルックアップテーブル部800は、ノイズ記録部308と制御値設定部700にも接続されている。記録手段であるノイズ記録部308は、制御値設定部700に接続されている。制御部115は、抽出部300、平均算出部302、ゲイン算出部303、標準値付与部304、ノイズ記録部308及びルックアップテーブル部800と双方向に信号の送受信ができるように接続されている。

抽出部300は、制御部115の制御に基づき分離部602から、所定の色信号に関して所定位置の、かつ所定サイズの局所領域の画像信号を抽出しバッファ301へ転送する。本実施の形態では、図１５に示す5×5の画素C_ij(C=R,Gr,Gb,B, i=0〜4, j=0〜4)からなる局所領域で画像全面を順次走査しながら抽出を行う。平均算出部302は、制御部115の制御に基づきバッファ301上の信号を読み出し、局所領域の平均値AV_Aを算出し、信号値レベルとしてルックアップテーブル部800へ転送する。ルックアップテーブル部800は、ランダムノイズ量算出手段を構成する。

AV_A = ΣC_ij / 25 (i=0〜4, j=0〜4) 式(17)
ゲイン算出部303は、制御部115から転送されるISO感度などの露光条件及びホワイトバランス係数に関する情報に基づき増幅回路105におけるゲインを求め、ルックアップテーブル手段であるルックアップテーブル部800へ転送する。さらに、標準値付与部304は、撮像素子の標準的な温度情報をルックアップテーブル部800へ転送する。ルックアップテーブル部800は、温度、信号値レベル、ゲインとランダム性のノイズ量間の関係を記録したルックアップテーブルで、第１の実施の形態と同等の手法により構築される。

ルックアップテーブル部800からのランダム性のノイズ量N_Rは、制御部115の制御に基づき制御値設定部700またはノイズ記録部308へ転送される。制御部115は、所定の画素間隔でランダム性のノイズ量N_Rを算出するよう制御し、算出しない場合にはノイズ記録部308上のランダム性のノイズ量N_Rを制御値設定部700へ転送させる。これにより高速処理や省電力化などが実現できる。

図２０は、ノイズ低減部112の構成の一例を示すもので、ノイズ低減部112は、抽出部900、バッファ901、選択部902、第１フィルタリング部903、第２フィルタリング部904及び係数用ROM905からなる。分離部602は、抽出部900、バッファ901及び選択部902を介して第１フィルタリング部903と第２フィルタリング部904に接続されている。第１フィルタリング部903及び第２フィルタリング部904は、信号処理部113に接続されている。係数用ROM905は、第１フィルタリング部903に接続されている。ノイズ判断部111は、選択部902及び第１フィルタリング部903に接続されている。制御部115は、抽出部900、選択部902、第１フィルタリング部903及び第２フィルタリング部904と双方向に信号の送受信ができるように接続されている。

抽出部900は、制御部115の制御に基づき分離部602から、所定位置の、かつ所定サイズの局所領域の画像信号を抽出しバッファ901へ転送する。本実施の形態では、ノイズ判断部111に同期して、図１５に示す5×5の画素C_ij(C=R,Gr,Gb,B, i=0〜4, j=0〜4)からなる局所領域で画像全面を順次走査しながら抽出を行う。

選択部902は、ノイズ判断部111からの判断結果に基づき、バッファ901上の局所領域の画像信号を第１フィルタリング部903または第２フィルタリング部904へ転送する。ノイズ判断部111からの判断結果は、上記したように注目画素の画像信号が「ノイズ範囲内に属している」と「ノイズ範囲に属していない」の二通りであり、局所領域の画像信号が「ノイズ範囲内に属している」場合は第１フィルタリング部903へ転送され、「ノイズ範囲に属していない」場合は第２フィルタリング部904へ転送する。

第１フィルタリング部903は、制御部115の制御に基づきノイズ判断部111から補正されたノイズ制御値Cnt’を読み込む。本実施の形態においてはCnt’=1〜4であり、第１フィルタリング部903が選択される場合は2〜4の値となっている。係数用ROM905は、局所領域のサイズ、本実施の形態においては5×5のフィルタに対応する係数がノイズ制御値Cnt’ごとに記録されている。上記係数は、ノイズ制御値Cnt’の値が大きくなるほど周波数特性的に高周波成分を遮断する特性が強まるように設定されている。

第１フィルタリング部903は、係数用ROM905からノイズ制御値Cnt’に対応するフィルタ係数を読み込み、選択部902からの局所領域に対してフィルタリング処理を行う。すなわち、第１フィルタリング部903と係数用ROM905が、ノイズ範囲に属すると判断された注目画素にノイズ範囲に対応する周波数成分を吸収する平滑化処理を行うスムージング手段を構成する。処理後の結果は、信号処理部113へ転送される。

一方、スムージング手段である第２フィルタリング部904は、制御部115の制御に基づきCnt’=1対応するフィルタ係数で選択部902からの局所領域に対してフィルタリング処理を行う。このフィルタ周波数特性は高周波成分を遮断する特性が最も弱く設定されている。第２フィルタリング部904は、属さないと判断された注目画素に周波数成分を補正する補正処理を行う。処理後の結果は、信号処理部113へ転送される。制御部115は、上記処理を色信号ごとに繰り返すよう制御する。

上記構成により、画素単位で注目画素がノイズ範囲に属するか否かの判断処理と、ノイズ低減処理を行うため、最適なノイズ低減が可能な画像処理装置を実現することができる。具体的には、画素単位で性質の異なる二種類のノイズ量を個別に推定し、両者を併せてノイズ範囲を設定することができ、多様なノイズに対して高精度な判断が可能となり、エッジ部のぼけなどの副作用の少ない最適なノイズ低減処理が可能となる。従って、撮像素子系に起因するランダム性及びスパイク性の２つのノイズの発生量を動的に推定することにより、撮影条件に影響されずにノイズ成分のみを高精度に低減する撮像システムを実現することができる。

また、色フィルタごとの色信号に分離するため、原色，補色や単板，二板，三板など多様な撮像系に対して柔軟に適用可能なシステムを提供できる。また、ランダム性のノイズを、撮影毎に異なる条件、例えば、信号値レベルおよび撮影時の温度、シャッター速度、ゲイン等の動的に変化する要因に対応した推定が可能となる。

さらに、撮影時に必要となるパラメータが得られない場合でもランダム性のノイズ量の推定が可能となり、安定したノイズ低減効果が得られる。また、ランダム性のノイズ量の算出にテーブルを用いているため高速な処理が可能となる。さらに、一部のパラメータ算出を意図的に省略することや、以前に推定したランダム性のノイズ量を代用することで低コスト，省電力化を可能とするシステムが提供できる。

また、ノイズ低減処理は周波数特性での処理のため、ノイズ低減処理の制御の自由度が高く、使い勝手の良いシステムを提供できる。なお、上記実施例では5×5画素単位でノイズ量の推定および低減処理を行ったが、このような構成に限定される必要はない。任意の領域サイズで処理する構成も可能である。また、上記実施の形態では原色Bayer型の単板CCDを例に説明したがこれに限定される必要はない。例えば、補色系の色差線順次方式にも同様に適応可能であるし、二板，三板CCDにも適用可能である。従って、本実施の形態に係わる画像処理装置は、原色、補色、単板、二板、三板等多様な撮像系に対して柔軟に適用可能である。

（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。本実施の形態は、再生システムに関連する。本実施の形態は、第１の実施の形態の構成に、入力部1000とヘッダ情報解析部1001が追加され、第１の実施の形態の構成から、レンズ系100、絞り101、ローパスフィルタ102、白黒用のCCD103、CDS104、増幅回路105、A/D変換回路106、測光評価部108、合焦点検出部109及びAFモータ110が削除された構成となっている。なお、ノイズ低減処理などに関して基本構成は、第１の実施の形態と同等であるので、同一の構成要素には同一の符号と名称を付して、説明は省略する。以下、異なる部分のみ説明する。
図２１は、第３の実施の形態に係るシステムの構成図である。

（構成）
図２１において、メモリーカードなどの記録媒体に保存された画像信号及びヘッダ情報は、入力部1000によって読み出され、それぞれ画像用バッファ107及びヘッダ情報解析部1001へ転送される。ヘッダ情報解析部1001は、ノイズ判断部111に接続されている。制御部115は、入力部1000及びヘッダ情報解析部1001と双方向に信号の送受信ができるように接続されている。

（作用）
図２１における信号の流れを説明する。例えばユーザが、マウス、キーボードなどの外部I/F部116を介して画像信号の再生操作を行うことにより、記憶装置である記録媒体に保存された画像信号及びヘッダ情報が入力部1000によって読み出される。本実施の形態においては記録媒体に保存された画像信号及びヘッダ情報として、それぞれ、例えば第１の実施の形態におけるCCD103からの信号である未処理のままのRawデータ、及び、制御部115からの撮影時の撮像素子の温度、ゲインなどの情報を想定する。入力部1000からの画像信号は画像用バッファ107へ転送され、ヘッダ情報はヘッダ情報解析部1001へ転送される。

ヘッダ情報解析部1001は、ヘッダ情報から撮影時の温度、ゲインなどノイズ量の推定に必要となる情報を抽出してノイズ判断部111へ転送する。ノイズ判断部111へは、画像用バッファ107内の画像信号も転送される。ノイズ判断部111は、第１の実施の形態と同様に、ヘッダ情報解析部1001からの情報と画像信号に基づき画素単位で局所領域の画像信号がノイズ範囲に属するか否かの判断を行う。ノイズ判断部111における判断の結果及びノイズ範囲に関する情報は、ノイズ低減部112へ転送される。

ノイズ低減部112は、ノイズ判断部111における判断の結果及びノイズ範囲に関する情報に基づき、画像用バッファ107内の画像信号に対してノイズ低減処理を行い、ノイズ低減処理後の画像信号を信号処理部113へ転送する。ノイズ判断部111とノイズ低減部112の動作は、制御部115の制御に基づき画素単位で同期して行われる。信号処理部113は、制御部115の制御に基づき所定の画素数、例えば8×8画素のノイズ低減処理が完了した後、公知の強調処理などを行い順次出力部114へ転送する。出力部114は、モニターなどへ信号を出力する。
上記構成により、再生時においても最適なノイズ低減処理が可能となる。

なお、上述した実施の形態では、白黒用のCCDからの信号を処理する形態となっていたが、このような構成に限定される必要はない。第２の実施の形態と同様に各色信号への分離を行うことでカラー用の単板CCDや二板，三板CCDにも適用可能である。

さらに、上述した３つの実施の形態では、ハードウエアによる信号処理を前提としていたが、このような構成に限定される必要はない。中央処理装置（ＣＰＵ）を利用して別途ソフトウエアによって上述した処理が実行される構成も可能である。

図２２は、ノイズ低減処理をソフトウエアで実現した場合の処理の流れの例を示すフローチャートである。ステップ（Step）1にて、画像信号と、温度、ゲイン等のヘッダー情報を読み込む。Step2にて、所定のサイズ、例えば3×3画素単位で局所領域の画像信号を抽出する。Step3にて、ランダム性のノイズを算出するかを判断し、算出する場合はStep4へ、算出しない場合はStep9へ移行する。

Step4にて、式(3)に示されるように局所領域の画像信号の平均値を算出する。Step5にて、読み込まれたヘッダ情報から温度、ゲイン等のパラメータを求める。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。

Step6にて、図８から図１０に示されるランダム性のノイズ算出に用いられる関数情報を読み込む。Step7にて、式(7)に示されるようにランダム性のノイズ量を算出する。Step8にて、必要に応じてStep7で算出されたランダム性のノイズ量を出力保存する。

一方、Step9においてはStep7で出力保存されたランダム性のノイズ量を読み込む。Step10にて、式(8)及び式(9)に示される条件に基づきスパイク性のノイズに関する検査を行う。Step11にて、Step10の検査からスパイク性のノイズであると判断された場合はStep12へ、ないと判断された場合はStep14へ移行する。

Step12にて、式(10)に示されるように周辺画素の平均値を算出する。Step13にて、式(11)に示されるようにスパイク性のノイズ量を算出する。一方、Step14においてはスパイク性のノイズ量として0を設定する。Step15にて、Step7またはStep9からのランダム性のノイズ量とStep13またはStep14からのスパイク性のノイズ量に基づき、式(1)と式(2)に示されるノイズ範囲を算出する。Step16にて、注目画素がノイズ範囲に属するか否かの判断を行い、属する場合にはStep17へ、属さない場合にはStep18へ移行する。

Step17にて、注目画素に対して式(12)に示される局所領域の平均値への代入処理が行われる。Step18にて、注目画素に対して式(13)又は式(14)に示される補正処理が行われる。Step19にて、全局所領域が完了したかを判断し、完了していない場合はStep2へ、完了した場合はStep20へ移行する。Step20にて、公知の強調処理などが行われる。Step21にて、処理後の信号が出力され終了する。

以上説明したように、上述した第１から第３の実施の形態に係る画像処理装置によれば、画素単位で、ノイズの有無の判断と、ノイズ低減処理を行うので、最適なノイズ低減が可能となる。

なお、以上説明した画像処理動作を実行するプログラムは、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ等の可搬媒体や、ハードディスク等の記憶装置等に、その全体あるいは一部が記録され、あるいは記憶されている。そのプログラムがコンピュータにより読み取られて、動作の全部あるいは一部が実行される。あるいは、そのプログラムの全体あるいは一部を通信ネットワークを介して流通または提供することができる。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本発明の画像処理装置を撮像システムあるいは再生システムにおいて実現することができる。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明は、静止画の処理だけでなく、動画における画像信号すなわち映像信号に対しても適用することができる。

本発明の第１の実施の形態に係わる撮像システムの構成を示す構成図である。 第１の実施の形態に係わるノイズ判断部の構成図である。 第１の実施の形態に係わるノイズ判断部で用いられる局所領域を説明するための図である。 第１の実施の形態に係わる振幅補正部で用いられる補正関数を説明するための図である。 第１の実施の形態に係わる第１ノイズ推定部の構成を示す構成図である。 第１の実施の形態に係わるランダム性のノイズ量の定式化を説明するための図であり、信号レベルに対するノイズ量の関係を示すグラフである。 第１の実施の形態に係わるランダム性のノイズ量の定式化を説明するための図であり、信号レベル、温度及びゲインに対するノイズ量の関係を示すグラフである。 第１の実施の形態に係わるランダム性のノイズ量算出に用いるパラメータを説明するための図であり、式(6)における関数a()の特性を示すグラフである。 第１の実施の形態に係わるランダム性のノイズ量算出に用いるパラメータを説明するための図であり、式(6)における関数b()の特性を示すグラフである。 第１の実施の形態に係わるランダム性のノイズ量算出に用いるパラメータを説明するための図であり、式(6)における関数c()の特性を示すグラフである。 第１の実施の形態に係わる第２ノイズ推定部の構成を示す構成図である。 第１の実施の形態に係わるノイズ低減部の構成を示す構成図である。 本発明の第２の実施の形態の撮像システムの構成図である。 第２の実施の形態に係わる色信号の分離に関する説明図である。 第２の実施の形態に係わる４種類の色フィルタに応じて、画像用バッファ内の画像信号が分離されることを説明するための図である。 第２の実施の形態に係わるノイズ判断部の構成図である。 第２の実施の形態に係わる制御値であるフィルタの種類の算出に用いられる関数の説明図である。 第２の実施の形態に係わる制御値である補正係数の算出に用いられる関数の説明図である。 第２の実施の形態に係わる第１ノイズ推定部の構成図である。 第２の実施の形態に係わるノイズ低減部の構成図である。 本発明の第３の実施の形態に係るシステムの構成図である。 本発明に係るノイズ低減処理の流れの例を示すフローチャートである。

符号の説明

１００ 光学系、１０１ 絞り、１０２ ローパスフィルタ、１０３ 電荷結合装置、１０４ 相関二重サンプリング回路、１０５ 増幅回路、１０６ A/D変換回路、１０７ 画像用バッファ回路、１０８ 測光評価部、１０９ 合焦点検出部、１１０ AFモータ、１１１ ノイズ判断部、１１２ ノイズ低減部、１１３ 信号処理部、１１４ 出力部、１１５ 制御部、１１６ 外部I/F部
代理人 弁理士 伊 藤 進

Claims (15)

1. 撮像素子によって撮像されデジタル化された画像信号中に含まれるノイズ成分を低減する画像処理装置であって、
   上記画像信号中の注目画素ごとに、該注目画素の画像信号が所定のノイズ範囲に属するか否かの判断を行う判断手段と、
   上記判断結果に基づき上記注目画素のノイズを低減するノイズ低減手段と、
   を有し、
   上記判断手段は、
   ランダム性のノイズ量を推定する第１のノイズ推定手段と、
   スパイク性のノイズ量を推定する第２のノイズ推定手段と、
   上記第１のノイズ推定手段によって推定された上記ランダム性のノイズ量と、上記第２のノイズ推定手段によって推定された上記スパイク性のノイズ量とに基づき上記ノイズ範囲を算出する範囲算出手段と、
   上記ノイズ範囲に上記注目画素の信号レベルが属するか否かを検査する検査手段と、
   を有することを特徴とする画像処理装置。
2. 上記第１のノイズ推定手段は、
   上記画像信号から上記注目画素を包含する局所領域を抽出する抽出手段と、
   上記抽出手段によって抽出された上記局所領域の平均値、上記撮像素子の温度、及び上記画像信号に対するゲインのうち少なくとも１つ以上の情報に基づきパラメータを求めるパラメータ算出手段と、
   上記パラメータに基づき上記注目画素のランダム性のノイズ量を求めるランダムノイズ量算出手段と、
   を有することを特徴とする請求項１に記載の画像処理装置。
3. 上記ランダムノイズ量算出手段は、
   上記パラメータ算出手段から得られなかったパラメータに関して標準のパラメータ値を付与する標準パラメータ値付与手段と、
   上記パラメータ算出手段または上記標準パラメータ値付与手段から得られる上記画像信号を撮像する撮像手段の温度T, 上記画像信号に対するゲインGをパラメータとする３つの関数a(T,G), b(T,G), c(T,G)から各々の係数A,B,Cを求める係数算出手段と、
   上記ランダム性のノイズ量Nを上記局所領域の平均値Lと上記係数A,B,Cから次の関数式に基づき求める関数演算手段と、
   を有することを特徴とする請求項２に記載の画像処理装置。
   ここで、関数式は、N=AL ^B +CまたはN=AL ² +BL+C。
4. 上記ランダムノイズ量算出手段は、
   上記パラメータ算出手段から得られなかったパラメータに関して標準のパラメータ値を付与する標準パラメータ値付与手段と、
   上記パラメータ算出手段または上記標準パラメータ値付与手段から得られる上記各色信号の平均値, 上記撮像素子系の温度, 上記映像信号に対するゲインを入力しランダム性のノイズ量を求めるルックアップテーブル手段と、
   を有することを特徴とする請求項２に記載の画像処理装置。
5. 上記第１のノイズ推定手段は、
   上記算出されたランダム性のノイズ量を記録する記録手段と、
   新たにランダム性のノイズ量を算出するか、あるいは上記記録されたランダム性のノイズ量を用いるかの選択を行う選択手段と、
   を有することを特徴とする請求項１に記載の画像処理装置。
6. 上記第２のノイズ推定手段は、
   上記画像信号から注目画素を包含する局所領域を抽出する抽出手段と、
   上記注目画素がスパイク性のノイズ成分を含むか否かを検査するスパイクノイズ検査手段と、
   上記スパイクノイズ検査手段による検査結果に基づきスパイク性のノイズが含まれると判断された場合に上記局所領域内の注目画素およびその他の周辺画素に基づき上記注目画素のスパイク性のノイズ量を求めるスパイクノイズ量算出手段と、
   を有することを特徴とする請求項１から請求項５のいずれかに記載の画像処理装置。
7. 上記スパイクノイズ検査手段は、上記局所領域内の注目画素およびその他の周辺画素間の比較を行う比較手段を有することを特徴とする請求項６に記載の画像処理装置。
8. 上記スパイクノイズ量算出手段は、
   上記局所領域内の周辺画素間の平均値を求める平均値算出手段と、
   上記注目画素と上記平均値間の差分を求める差分算出手段と、
   を有することを特徴とする請求項６に記載の画像処理装置。
9. 上記範囲算出手段は、
   上記ランダム性のノイズ量に基づき振幅値を設定する振幅値設定手段と、
   上記スパイク性のノイズ量に基づき上記振幅値を補正する振幅値補正手段と、
   を有することを特徴とする請求項１から請求項８のいずれかに記載の画像処理装置。
10. 上記範囲算出手段は、
    上記ランダム性のノイズ量に基づき平滑化処理の周波数特性を制御する制御値を設定する制御値設定手段と、
    上記スパイク性のノイズ量に基づき上記制御値を補正する制御値補正手段と、
    を有することを特徴とする請求項１から請求項８のいずれかに記載の画像処理装置。
11. 上記ノイズ低減手段は、
    上記判断結果がノイズ範囲に属する場合に上記注目画素の平滑化を行う第１のスムージング手段と、
    上記判断結果がノイズ範囲に属さない場合に上記注目画素の補正を行う第２のスムージング手段と、
    を有することを特徴とする請求項１から請求項８のいずれかに記載の画像処理装置。
12. 上記ノイズ低減手段は、
    上記補正された振幅値内の振幅成分を吸収する第１のスムージング手段と、
    上記補正された振幅値外の振幅成分を補正する第２のスムージング手段と、
    を有することを特徴とする請求項９に記載の画像処理装置。
13. 上記ノイズ低減手段は、
    上記制御値から特定周波数帯域を低減する第１のスムージング手段と、
    所定の周波数帯域を低減する第２のスムージング手段と、
    を更に有することを特徴とする請求項１０に記載の画像処理装置。
14. 撮像素子によって撮像されデジタル化された画像信号中に含まれるノイズ成分を低減する画像処理方法であって、
    ランダム性のノイズ量を推定する第１のノイズ推定手段によって推定された上記ランダム性のノイズ量と、スパイク性のノイズ量を推定する第２のノイズ推定手段によって推定された上記スパイク性のノイズ量とに基づき所定のノイズ範囲を算出し、
    上記画像信号中の注目画素ごとに、上記ノイズ範囲に上記注目画素の信号レベルが属するか否かを検査することによって、上記注目画素の画像信号が所定のノイズ範囲に属するか否かを判断し、
    上記判断に基づき上記注目画素のノイズを低減することを特徴とする画像処理方法。
15. 撮像素子によって撮像されデジタル化された画像信号中に含まれるノイズ成分を低減する画像処理のためのプログラムであって、
    ランダム性のノイズ量を推定する第１のノイズ推定機能と、
    スパイク性のノイズ量を推定する第２のノイズ推定機能と、
    上記第１のノイズ推定機能によって推定された上記ランダム性のノイズ量と、上記第２のノイズ推定機能によって推定された上記スパイク性のノイズ量とに基づき所定のノイズ範囲を算出する範囲算出機能と、
    上記画像信号中の注目画素ごとに、上記ノイズ範囲に上記注目画素の信号レベルが属するか否かを検査することによって、上記注目画素の画像信号が所定のノイズ範囲に属するか否かの判断を行う機能と、
    上記判断に基づき上記注目画素のノイズを低減する機能と、
    をコンピュータに実現させるためのプログラム。

Images