JP5758908B2 - 画像処理装置、画像処理方法及び集積回路 - Google Patents

Description

本発明は、画像処理で行われるノイズ除去の技術に関する。

従来、画像信号に対して簡単な構成でノイズ除去処理を実現できる方法として、εフィルタが知られている。εフィルタは、ノイズ除去対象の領域に存在する画素のうち画素値がある閾値εで定まる範囲内に存在する画素に対して平均値フィルタを施すものである。

通常、ノイズモデルは、図２２（ａ）に示すように、画像信号レベル対応した標準偏差（正規分布）で表現される。例えば、注目画素の画素値ｘに対して、ｘ±εに含まれる画素値に対して平均値フィルタを実施する（図２２（ｂ）を参照）。そこで、ノイズ削減効果を得るためには、ｘ±εに含まれる画素値を増やすことが重要である。従って、εフィルタにおいては、適切な閾値±εを与えないとノイズ除去効果が得られない、もしくはエッジや細部がぼけてしまう。

適切な閾値±εを与える技術として、特許文献１では、画像信号の彩度または色レベルに応じてεフィルタの閾値を制御する構成が開示されている。また特許文献２では、入力された画像信号を分析して得られたノイズモデルに従ってεフィルタの閾値を制御する構成も開示されている。

特開２００６−６０７４４号公報 特開２００９−１１１５４１号公報

εフィルタでは、区間ｘ±εの確率密度の積分値が大きいほど処理対象画素数を増やす確率が高くなる。ところで、図２２の（ｂ）と（ｃ）を比較した場合に区間ｘ±εの確率密度の積分値すなわち斜線部の面積が大きい図２２(b)の方がより処理対象画素数を増やすことができる。そこで、図２２の（ｃ）のように注目画素の画素値ｘが正規分布の端に位置する場合には、確率密度の積分値を増やすために閾値εを大きくすることが考えられる。そうすると、エッジや細部の画素を選択する可能性が高くなり、その結果、エッジや細部ぼけを引き起こす場合がある。また、例えば画素値ｘが図２２（ｃ）で示すような位置にある場合には、当該画素値で示される画素は、当該画素を含むある物体と他の物体との境界（エッジ）付近であることが考えられる。なぜなら、通常、当該画素の画素値は正規分布の中央の値に近いものとなるはずであるが、他の物体の画素の画素値の影響を受けることで中央の値から外れたものとなっているからである。そのため、画素値ｘが図２２（ｃ）で示すような位置にある状況で、閾値εを変更しない場合であっても、少なからず他の物体の画素の影響を受けるので、エッジや細部ぼけを引き起こす可能性はある。

そこで、本発明は、上記の問題に鑑みて、エッジや細部ぼけを防ぎつつ、適切なノイズ処理を行うことのできる画像処理装置、画像処理方法及び集積回路を提供することを目的とする。

上記目的を達成するために、本発明は、画像に含まれるノイズを除去するよう当該画像に含まれる画素の画素値を補正する画像処理装置であって、正規分布で示される画像のノイズモデルから注目画素に対する画素値を中央値とする基準範囲を特定し、当該注目画素を含む局所領域に存在する各画素について、前記基準範囲のうち前記中央値を基準とする値の上位方向側の第１部分範囲内に画素値を持つ画素の分布数と、前記中央値を基準とする値の下位方向側の第２部分範囲内に画素値を持つ画素の分布数とを特定し、分布数が他方に比べて少ない部分範囲を他方の部分範囲よりも相対的に狭くなるよう補正して、補正後の部分範囲と前記他方の部分範囲からなる選択範囲を決定する決定手段と、前記局所領域を少なくとも含むノイズ除去対象の領域に存在する画素の画素値のうち前記選択範囲に属する各画素値を用いて、当該ノイズ除去対象の領域に対してノイズを除去するために前記ノイズ除去対象の領域に含まれる各画素に対する画素値を補正して補正画素値を生成する生成手段とを備えることを特徴とする。

上記に示す構成によると、画像処理装置は、注目画素の画素値を中央値とする基準範囲内における第１部分範囲と第２部分範囲とのそれぞれに属する画素の画素値の分布数に応じて、何れかの部分範囲を他方の部分範囲よりも相対的に狭くなるよう補正している。これにより、他の物体の画素の影響を受けた画素を選択、つまりエッジや細部の画素をノイズ除去の対象とする可能性が低くなるので、エッジや細部をぼかすことなくノイズを除去することができる。

画像処理装置１０の構成を示すブロック図である。 信号レベルと標準偏差（閾値Ｔｈ）との関係を示す図である。 第１画素選択部で処理対象となる画素の領域３００を示す図である。 第１ノイズ除去部で処理対象となる画素の領域４００を示す図である。 第１ノイズ除去部で利用するフィルタ係数の一例を示す図である。 第２ノイズ除去部で処理対象となる画素の領域６００を示す図である。 画像処理装置１０における画像処理の動作を示す流れ図である。 Ｔｈ１Ｌ、Ｔｈ１Ｕの決定処理の動作を示す流れ図である。図９へ続く。 Ｔｈ１Ｌ、Ｔｈ１Ｕの決定処理の動作を示す流れ図である。図８から続く。 画像処理装置１０００の構成を示すブロック図である。 ノイズ除去処理部１０１０の構成を示すブロック図である。 （ａ）は平坦度とｇａｉｎとの関係を示す図であり、（ｂ）は平坦度とｃｇａｉｎとの関係を示す図である。 画像処理装置１０００における画像処理の動作を示す流れ図である。 画像処理装置２０００の構成を示すブロック図である。 （ａ）は輝度レベルとｆａｃｔｏｒ０との関係を示す図であり、（ｂ）は平坦度とｆａｃｔｏｒ１との関係を示す図であり、（ｃ）はグレー度合とｆａｃｔｏｒ２との関係を示す図である。 画像処理装置２０００における画像処理の動作を示す流れ図である。 画像処理装置３０００の構成を示すブロック図である。 第１画像処理部３１００の構成を示すブロック図である。 （ａ）は青色色差成分からなる出力画像信号と赤色色差成分からなる出力画像信号との関係を示し、（ｂ）はノルムｒとｒ’との関係を示す図である。 補整部３１０２における処理の動作を示す図である。 ノイズ除去前の画素値とノイズ除去後の画素値の推移を示す図である。 εフィルタにおける閾値εの範囲を説明する図である。

以下本発明の実施の形態について、図面を参照しながら説明する。

１．第１の実施の形態
ここでは、図面を参照して本発明に係る第１の実施の形態について説明する。

１．１ 画像処理装置１０の構成
画像処理装置１０は、図１に示すように、閾値格納部１０１、第１画素選択部１０２、第１ノイズ除去部１０３、第２画素選択部１０４及び第２ノイズ除去部１０５から構成されている。

（１）閾値格納部１０１
閾値格納部１０１は、図２に示すように画像の信号レベル（画素値ｘ）に対応した閾値Ｔｈ（標準偏差）を格納している。ここで、画素値ｘは０から２５５の範囲内の値である。

例えば、閾値Ｔｈは、暗電流ショットノイズ、光ショットノイズ、Ｆｌｏａｔｉｎｇ Ｄｅｆｆｕｓｉｏｎ(以下ＦＤと呼ぶ)のリセットノイズ、ＦＤアンプノイズなどのイメージセンサーにおけるランダム系のノイズを考慮した画像の信号レベルに対応した標準偏差または分散となる。

（２）第１画素選択部１０２
第１画素選択部１０２は、入力画像の信号の信号レベルを基にして閾値格納部１０１から取得した閾値Ｔｈに所定のゲインを施し補整を行うものである。

具体的には、第１画素選択部１０２は、図３に示す注目画素Ｄの画素値に対応した閾値Ｔｈを閾値格納部１０１から取得し、取得した閾値Ｔｈに所定のゲイン（例えば、値“３”）を乗算し、注目画素Ｄの周辺３×３領域（局所領域）３００に含まれる画素（図３では、画素０〜７）に対して、注目画素Ｄの値を平均、閾値Ｔｈを偏差とした正規分布において確率密度が最も大きくなる信号レベルとの大小を推定する。第１画素選択部１０２は、推定した結果に基づいて閾値格納部１０１から取得した閾値Ｔｈを補整し、閾値Ｔｈ１ＬとＴｈ１Ｕを決定する。さらに図４に示す注目画素Ｄの周辺５×５領域４００に含まれる画素の画素値が（ｘ−Ｔｈ１Ｌ）以上（ｘ＋Ｔｈ１Ｕ）以下を満たす場合に、第１画素選択部１０２は、第１ノイズ除去部１０３へ入力する画像信号が有効であることを示す選択信号を出力する。ここで、値ｘは注目画素Ｄの画素値である。

（３）第１ノイズ除去部１０３
第１ノイズ除去部１０３は、第１画素選択部１０２が出力した選択信号に従って注目画素Ｄを含む領域４００のうち画素値が（ｘ−Ｔｈ１Ｌ）以上（ｘ＋Ｔｈ１Ｕ）以下である周辺画素を取得し、フィルタ処理を施して、その結果を第２画素選択部１０４へ出力する。

具体的には、第１ノイズ除去部１０３は、選択信号に従って入力画像信号が図４に示す注目画素Ｄを含む領域４００に含まれ、かつ画素値が（ｘ−Ｔｈ１Ｌ）以上（ｘ＋Ｔｈ１Ｕ）以下である画素に対して、図５に示すような係数（濃淡が重みを表す）を用いた加重平均を行うことでフィルタ処理を施し、その結果を第２画素選択部１０４へ出力する。例えば、図５に示すように、濃淡に応じて、係数１から５の何れかが対応付けられている。この係数と対応する濃淡（画素値）とから領域４００に対してノイズ除去（加重平均）が施される。

（４）第２画素選択部１０４
第２画素選択部１０４は、第１ノイズ除去部１０３の処理結果を基に閾値格納部１０１から取得した閾値Ｔｈ’に所定のゲインを施し補整を行う。

具体的には、第２画素選択部１０４は、第１ノイズ除去部１０３の処理結果の値（処理後の注目画素Ｄの画素値ｘ’）に対応した閾値Ｔｈ’を閾値格納部１０１から取得し、取得した閾値Ｔｈ’に第１画素選択部１０２で施したゲインより比較的小さいゲイン（例えば、値“２．５”）を乗算する。第２画素選択部１０４は、第１ノイズ除去部１０３の処理対象領域４００より比較的大きい図６に示すような注目画素Ｄの周辺９×９領域６００に対して、第１画素選択部１０２で行われた推定方法と同様の方法を用いて、閾値格納部１０１から取得した閾値Ｔｈ’を補整し、閾値Ｔｈ２ＬとＴｈ２Ｕを決定する。第２画素選択部１０４は、注目画素Ｄの周辺９×９領域６００に含まれる画素の画素値が（ｘ’−Ｔｈ２Ｌ）以上（ｘ’＋Ｔｈ２Ｕ）以下である場合に第２ノイズ除去部１０５へ入力する画像信号が有効であることを示す選択信号を出力する。ここで、値ｘ’は、第１ノイズ除去部１０３による処理後の注目画素Ｄの画素値である。

（５）第２ノイズ除去部１０５
第２ノイズ除去部１０５は、入力画像信号に対して、第２画素選択部１０４が出力した選択信号に従って注目画素Ｄを含む領域６００のうち画素値が（ｘ’−Ｔｈ２Ｌ）以上（ｘ’＋Ｔｈ２Ｕ）以下である周辺画素を取得し、フィルタ処理を施して、出力画像信号を出力する。

具体的には、第２ノイズ除去部１０５は、選択信号に従って注目画素Ｄの周辺９×９領域内で形成される円形の領域６００に含まれ、かつ画素値が（ｘ’−Ｔｈ２Ｌ）以上（ｘ’＋Ｔｈ２Ｕ）以下である画素に対して、平均値フィルタを施すことで出力画像信号を得る。なお図６に示す領域６００の形状は、円形以外に、矩形（ここでは、９×９領域そのもの）、楕円などであってもよい。

１．２ 動作
ここでは、画像処理装置１０の動作について説明する。

（１）概要
まず、画像処理装置１０の処理概要について、図７に示す流れ図を用いて説明する。

第１画素選択部１０２は、入力画素Ｄ（図３における注目画素Ｄ）の画素値ｘに基づいて、閾値Ｔｈ１Ｌ、Ｔｈ１Ｕの決定処理を行い、閾値Ｔｈ１Ｌ、Ｔｈ１Ｕを取得する（ステップＳ５）。

第１ノイズ除去部１０３は、画素Ｄの周辺領域４００内において、（ｘ−Ｔｈ１Ｌ）以上（ｘ＋Ｔｈ１Ｕ）以下である各画素に対して、ノイズ除去を施して、画素Ｄについてノイズ除去後の画素値ｘ’を取得する（ステップＳ１０）。

第２画素選択部１０４は、入力画素Ｄについてのノイズ除去後の画素値ｘ’に基づいて、閾値Ｔｈ２Ｌ、Ｔｈ２Ｕの決定処理を行い、閾値Ｔｈ２Ｌ、Ｔｈ２Ｕを取得する（ステップＳ１５）。

第２ノイズ除去部１０３は、画素Ｄの周辺領域６００内において、（ｘ’−Ｔｈ２Ｌ）以上（ｘ’＋Ｔｈ２Ｕ）以下である各画素に対して、ノイズ除去を施して、画素Ｄについて出力対象の画素値を取得する（ステップＳ２０）。

（２）Ｔｈ１Ｌ、Ｔｈ１Ｕの決定処理
ここでは、図７のステップＳ５で行われるＴｈ１Ｌ、Ｔｈ１Ｕの決定処理の詳細について、図８に示す流れ図を用いて説明する。

第１画素選択部１０２は、変数ｃｏｕｎｔ＿Ｒとｃｏｕｎｔ＿Ｌとを０に初期化する（ステップＳ１００）。

第１画素選択部１０２は、入力画素Ｄの画素値ｘに対応した閾値Ｔｈを取得し（ステップＳ１０５）、取得した閾値Ｔｈにゲインｇを乗算し、Ｔｈ１ＬとＴｈ１Ｕとに代入する（ステップＳ１１０）。

図３に示す注目画素Ｄの周辺画素０〜７について検査を行うために、第１画素選択部１０２は、周辺画素を特定するための変数ｎを０に設定する（ステップＳ１１５）。

第１画素選択部１０２は、変数ｎが７より大きいか否か、つまり７個の周辺画素全ての検査が終了したか否かを判断する（ステップＳ１２０）。

変数ｎが７より大きくない、つまり検査が終了していないと判断する場合（ステップＳ１２０における「Ｎｏ」）、第１画素選択部１０２は、画素ｎの画素値がＴｈ＊ｇ以下であるか否かを判断する（ステップＳ１２５）。

画素ｎの画素値がＴｈ＊ｇ以下であると判断する場合には（ステップＳ１２５における「Ｙｅｓ」）、第１画素選択部１０２は、画素ｎの画素値が入力画素Ｄの画素値ｘより大きいか否かを判断する（ステップＳ１３０）。

画素ｎの画素値が入力画素Ｄの画素値ｘより大きいと判断する場合（ステップＳ１３０における「Ｙｅｓ」）、第１画素選択部１０２は、変数ｃｏｕｎｔ＿Ｒを１インクリメントする（ステップＳ１３５）。画素ｎの画素値が入力画素Ｄの画素値ｘより大きくないと判断する場合（ステップＳ１３０における「Ｎｏ」）、第１画素選択部１０２は、変数ｃｏｕｎｔ＿Ｌを１インクリメントする（ステップＳ１４０）。その後、第１画素選択部１０２は、変数ｎを１インクリメントし（ステップＳ１４５）、ステップＳ１２０へ戻る。

画素ｎの画素値がＴｈ＊ｇ以下でないと判断する場合には（ステップＳ１２５における「Ｎｏ」）、第１画素選択部１０２は、ステップＳ１４５を実行する。

変数ｎが７より大きい、つまり検査が終了したと判断する場合（ステップＳ１２０における「Ｙｅｓ」）、第１画素選択部１０２は、変数ｃｏｕｎｔ＿Ｒとｃｏｕｎｔ＿Ｌとの差分ｄｉｆｆ、及び加算結果ｔｏｔａｌを算出する（ステップＳ１５０）。

第１画素選択部１０２は、差分ｄｉｆｆの値が、予め定められた値Ｐ０以上であるか否かを判断する（ステップＳ１５５）。

差分ｄｉｆｆが値Ｐ０以上であると判断する場合（ステップＳ１５５における「Ｙｅｓ」）、第１画素選択部１０２は、Ｔｈ１Ｌに値αを乗算する（ステップＳ１６０）。ここで、値αは１より小さい正の数であり、例えば、０．８である。

差分ｄｉｆｆが値Ｐ０以上でないと判断する場合（ステップＳ１５５における「Ｎｏ」）、第１画素選択部１０２は、差分ｄｉｆｆの値が、予め定められた値Ｐ１以下であるか否かを判断する（ステップＳ１６５）。

差分ｄｉｆｆが値Ｐ１以下であると判断する場合（ステップＳ１６５における「Ｙｅｓ」）、第１画素選択部１０２は、Ｔｈ１Ｕに値βを乗算する（ステップＳ１７０）。ここで、値βは１より小さい正の数であり、例えば、０．８である。

差分ｄｉｆｆが値Ｐ１以下でないと判断する場合（ステップＳ１６５における「Ｎｏ」）、第１画素選択部１０２は、加算結果ｔｏｔａｌが予め定められた値Ｐ２以下であるか否かを判断する（ステップＳ１７５）。

加算結果ｔｏｔａｌが値Ｐ２以下であると判断する場合（ステップＳ１７５における「Ｙｅｓ」）、第１画素選択部１０２は、Ｔｈ１Ｌに値γ０を、Ｔｈ１Ｕに値γ１を、それぞれ乗算する（ステップＳ１８０）。ここで、値γ０、γ１それぞれは、１より大きい数であり、例えば、１．２である。

（３）Ｔｈ２Ｌ、Ｔｈ２Ｕの決定処理
Ｔｈ２Ｌ、Ｔｈ２Ｕの決定処理は、Ｔｈ１Ｌ、Ｔｈ１Ｕの決定処理と同様の処理の流れであり、Ｔｈ１Ｌ、Ｔｈ１Ｕの決定処理で用いた値ｇ、Ｐ０、Ｐ１、Ｐ２、α、β、γ０及びγ１を変更し、ノイズ処理が施された後の画素値ｘ’を用いればよいので、ここでの説明は省略する。または、値ｇのみを変更し、他の値Ｐ０、Ｐ１、Ｐ２、α、β、γ０及びγ１は同じものであってもよい。

また、Ｔｈ２Ｌ、Ｔｈ２Ｕの決定処理では９×９領域の画素のうち注目画素を除く他の画素について図８で示すステップＳ１１５から１４５を繰り返し行う。そのため、Ｔｈ２Ｌ、Ｔｈ２Ｕの決定処理における変数ｎは０以上７９以下の範囲の値をとるので、ステップＳ１２０の判断の条件が変更される。具体的には、変数ｎの値が８０、つまり７９より大きい値であるか否かを判断し、大きいと判断する場合には処理はステップＳ１５０へ遷移し、７９以下であると判断する場合には処理はステップＳ１２５へ遷移する。

１．３ 変形例
本発明は上記の実施の形態に限られない。例えば、以下のような変形例が考えられる。

（１）上記実施の形態において、閾値格納部１０１は、入力信号レベルをインデックスとしたルックアップテーブルまたは、入力信号レベルに対応した折れ線データに基づいて線形補間信号を生成する手段で実現してもよい。

（２）上記実施の形態において、第１ノイズ除去部１０３は、加重平均を用いたノイズ除去を行ったが、これに限定されない。

第１ノイズ除去部１０３は、ガウシアンフィルタ、εフィルタ、平均値フィルタ、メディアンフィルタ、バイラテラルフィルタ、ウェーブレット変換を利用したフィルタなど他のフィルタ方式であってもよい。

（３）上記実施の形態では、注目画素Ｄの周辺領域として、３×３、５×５、９×９領域を用いているが、それに限定するものではなくＭ×Ｎ（ＭとＮは、３以上の整数）であってもよい。

（４）上記実施の形態及び変形例を組み合わせてもよい。

１．４ まとめ
以上のように本実施の形態によれば、ノイズモデルが正規分布で表現されている場合において、注目画素Ｄの画素値が分布の端に位置するときには、その位置に応じて画素Ｄの画素値を基準とする閾値“＋Ｔｈ１”分の範囲及び閾値“−Ｔｈ１”分の範囲のうち当該画素値よりも更に端に位置する値が属する範囲を他方の範囲よりも相対的に狭くなるよう制御している。これにより、エッジや細部についてノイズ除去、つまり平滑化が過度に行われることは無いので、画像処理装置は、エッジや細部をぼかさずにノイズを除去することが可能となる。

２．第２の実施の形態
ここでは、第２の実施の形態に係る画像処理装置１０００について説明する。

２．１ 構成
画像処理装置１０００は、図１０に示すように、ノイズ除去処理部１０１０、減算器１０２０、整形部１０３０及び加算器１０４０から構成されている。

（１）ノイズ除去処理部１０１０
ノイズ除去処理部１０１０は、第１の実施の形態に示す画像処理装置１０に相当するものである。

ノイズ除去処理部１０１０は、図１１に示すように、閾値格納部１１０１、第１画素選択部１１０２、第１ノイズ除去部１１０３、第２画素選択部１１０４及び第２ノイズ除去部１１０５から構成されている。

なお、第１画素選択部１１０２、第１ノイズ除去部１１０３及び第２ノイズ除去部１１０５のそれぞれは、第１の実施の形態に示す第１画素選択部１０２、第１ノイズ除去部１０３及び第２ノイズ除去部１０５と同様であるので、ここでの説明は省略し、閾値格納部１１０１、第２画素選択部１１０４について説明する。

（閾値格納部１１０１）
閾値格納部１１０１は、第１の実施の形態と同様に、図２に示すように画像の信号レベル（画素値）に対応した閾値Ｔｈ（標準偏差）を格納している。

また、閾値格納部１１０１は、図１２（ａ）、（ｂ）に示すように平坦度に対応した閾値ｇａｉｎ、ｃｇａｉｎを格納している。ここで、閾値ｇａｉｎ、ｃｇａｉｎはとり得る値の範囲は０以上１以下の範囲である。なお図１２(a)、(b)は、平坦度をインデックスとしたルックアップテーブルまたは、平坦度に対応した折れ線データに基づいて線形補間した値で代用してもよい。

（第２画素選択部１１０４）
第２画素選択部１１０４は、第１の実施の形態で示す第２画素選択部１０４と同様の機能の他、以下の機能を備える。

第２画素選択部１１０４は、画像の平坦度を示す信号（以下、平坦度信号という。）を整形部１０３０へ出力する。ここで、平坦度とは、画像信号のバラツキ度合を示すものであり、第２画素選択部１１０４に入力される画像信号における分散、偏差、若しくは第２画素選択部１１０４から第２ノイズ除去部１１０５へ出力される選択信号で示される有効な画素の数で表現されるものである。

（２）減算器１０２０
減算器１０２０は、入力画像信号（画素値）からノイズ除去処理部１０１０でノイズ除去された画像信号（画素値）を減算することにより、入力画像信号に含まれるノイズ成分を取得する。

（３）整形部１０３０
整形部１０３０は、ノイズ除去処理部１０１０から出力される平坦度信号を基にノイズ成分を整形するものである。

整形部１０３０は、平坦度に対応した閾値ｇａｉｎ、ｃｇａｉｎを取得する。

整形部１０３０は、０から２５５の範囲のうち予め定められた一の値（ｃｏｒｅ）と、ノイズ成分との大小関係に応じて特定されたコア値（ｃｇ）とリシェイプ値（ｄｆ）それぞれに対して、取得したｇａｉｎ及びｃｇａｉｎを乗算して、ノイズ除去後の画像信号に付加すべき付加成分を取得する。

ここで、コア値とは、ノイズ成分と一の値（ｃｏｒｅ）とのうち小さい値であり、これら２値のうち小さい方に抑圧された値にｃｇａｉｎを乗算して補正が行われる。また、リシェイプ値とは、ノイズ成分のうちｃｏｒｅが示す値よりも余分に存在する値であり、この値にｇａｉｎを乗算して補正が行われる。

（４）加算器１０４０
加算器１０４０は、ノイズ除去処理部１０１０から出力された信号に、整形部１０３０で取得された付加成分を加算し、その結果を出力画像信号として外部へ出力する。

２．２ 動作
ここでは、画像処理装置１０００の動作について、図１３に示す流れ図を用いて説明する。

ノイズ除去処理部１０１０は、ノイズ除去処理を実行する（ステップＳ３００）。ここで、ノイズ除去処理は、図７に示す処理を同様であるので、ここでの詳細な説明は省略する。

減算器１０２０は、入力画像信号（入力画素値）と、ノイズ除去処理部１０１０でノイズ除去された画像信号（画素値）との差分ｄｉｆｆを算出する（ステップＳ３０５）。

整形部１０３０は、ノイズ除去処理部１０１０から出力された平坦度信号に基づいて、ｇａｉｎ、ｃｇａｉｎを取得する（ステップＳ３１０）。ｇａｉｎ、ｃｇａｉｎは、図１３の(a)、(b)のそれぞれが示すように平坦度に合わせて変動する。なお図１３(a)、(b)は、平坦度をインデックスとしたルックアップテーブルまたは、平坦度に対応した折れ線データに基づいて線形補間した値で代用してもよい。

整形部１０３０は、差分ｄｉｆｆがｃｏｒｅより大きいか否かを判断する（ステップＳ３１５）。

差分ｄｉｆｆがｃｏｒｅより大きいと判断する場合（ステップＳ３１５における「Ｙｅｓ」）、整形部１０３０は、変数ｃｇにｃｏｒｅの値を、変数ｄｆに“ｄｉｆｆ−ｃｏｒｅ”で得られる値をそれぞれ代入する（ステップＳ３２０）。差分ｄｉｆｆがｃｏｒｅより大きくない、つまり差分ｄｉｆｆがｃｏｒｅ以下であると判断する場合（ステップＳ３１５における「Ｎｏ」）、整形部１０３０は、変数ｃｇにｄｉｆｆの値を、変数ｄｆに値“０”をそれぞれ代入する（ステップＳ３２５）。

整形部１０３０は、演算“ｃｇ＊ｃｇａｉｎ＋ｄｆ＊ｇａｉｎ”の結果を変数ｄｆへ代入する（ステップＳ３３０）。

整形部１０３０は、ステップＳ３３０で得られたｄｆの値に対して飽和処理を施す（ステップＳ３３５）。ここで、飽和処理については既知の技術であるので、ここでの説明は省略する。

加算器１０４０は、ノイズ除去後の画素値に、飽和処理後の変数ｄｆの値を加算して、出力対象の画素値を取得する（ステップＳ３４０）。

２．３ まとめ
以上のように本実施の形態によれば、入力画像とノイズ除去後の差分で示されるノイズ量を平坦度に応じて制御することによって、ノイズ成分と同じレベルのエッジや細部を復元することが可能となる。

３．第３の実施の形態
ここでは、第３の実施の形態に係る画像処理装置２０００について説明する。

３．１ 構成
画像処理装置２０００は、図１４に示すように、閾値格納部２１０１、第１画素選択部２１０２、第１ノイズ除去部２１０３、第２画素選択部２１０４及び第２ノイズ除去部２１０５から構成されている。

（１）閾値格納部２１０１
閾値格納部２１０１は、画像についての輝度成分からなる画素の信号レベル（画素値）に対応した閾値Ｔｈ（標準偏差）を格納している。ここで、輝度成分からなる画素の画素値と閾値との関係は、図２に示すグラフの形状と同様である。

また、閾値格納部２１０１は、図１５（ａ）に示すように輝度レベルに応じた閾値の補正係数（ｆａｃｔｏｒ０）、及び図１５（ｂ）に示すように平坦度に応じた閾値の補正係数（ｆａｃｔｏｒ１）を格納している。

また、閾値格納部２１０１は、図１５（ｃ）に示すように、グレー度合に応じた閾値の補正係数（ｆａｃｔｏｒ２）を格納している。

（２）第１画素選択部２１０２
第１画素選択部２１０２は、輝度成分からなる入力画像信号の注目画素の画素値に対応する閾値Ｔｈを閾値格納部２１０１から取得する。

また、第１画素選択部２１０２は、輝度成分からなる注目画素の周辺領域（例えば、図３に示す局所領域３００）を参照して、平坦度を取得する。

第１画素選択部２１０２は、入力画像信号の輝度レベルに対応する係数ｆａｃｔｏｒ０を、取得した平坦度に対応する係数ｆａｃｔｏｒ１を、それぞれ閾値格納部２１０１から取得する。

第１画素選択部２１０２は、取得した閾値Ｔｈに所定のゲインｇと、取得したｆａｃｔｏｒ０とfactor1とを乗算し、乗算結果を補整して、閾値Ｔｈ１ＬとＴｈ１Ｕを決定する。さらに、例えば図４に示す注目画素Ｄの周辺５×５領域４００に含まれる、色差成分からなる画素の画素値が（ｘ−Ｔｈ１Ｌ）以上（ｘ＋Ｔｈ１Ｕ）以下を満たす場合に、第１画素選択部２１０２は、第１ノイズ除去部２１０３へ入力する画像信号が有効であることを示す選択信号を出力する。ここで、値ｘは注目画素Ｄの画素値である。なお、閾値Ｔｈ１ＬとＴｈ１Ｕの決定方法は、第１の実施の形態における決定方法と、閾値Ｔｈ１ＬとＴｈ１Ｕの初期値が異なる以外は同様であるので、ここでの説明は省略する。

（３）第１ノイズ除去部２１０３
第１ノイズ除去部２１０３は、色差成分からなる入力画像信号から第１画素選択部２１０２から出力された選択信号に従って、周辺領域４００のうち色差成分からなる画素値が（ｘ−Ｔｈ１Ｌ）以上（ｘ＋Ｔｈ１Ｕ）以下である周辺画素を取得し、フィルタ処理を施して、その結果を第２画素選択部２１０４へ出力する。

また、第１ノイズ除去部２１０３は、周辺領域４００に対するグレー度合を示す信号を第２画素選択部２１０４へ出力する。なおグレー度合を示す信号の生成は、注目画素の周辺画素を参照できる箇所であればよいため第１画素選択部２１０２でも実施可能である。

（４）第２画素選択部２１０４
第２画素選択部２１０４は、輝度成分からなる入力画像信号の注目画素の画素値に対応する閾値Ｔｈを閾値格納部２１０１から取得する。

また、第２画素選択部２１０４は、第１ノイズ除去部２１０３から出力されたグレー度合に対応する係数ｆａｃｔｏｒ２を閾値格納部２１０１から取得する。

第２画素選択部２１０４は、入力画像信号の輝度レベルに対応する係数ｆａｃｔｏｒ０を閾値格納部２１０１から取得する。

第２画素選択部２１０４は、取得した閾値Ｔｈに所定のゲインｇと、取得したｆａｃｔｏｒ０とfactor２とを乗算し、乗算結果を補整して、閾値Ｔｈ２ＬとＴｈ２Ｕを決定する。

さらに、例えば図６に示す注目画素Ｄの周辺９×９領域６００に含まれる色差成分からなる画素の画素値が（ｘ’−Ｔｈ１Ｌ）以上（ｘ’＋Ｔｈ１Ｕ）以下を満たす場合に、第２画素選択部２１０４は、第２ノイズ除去部２１０５へ入力する画像信号が有効であることを示す選択信号を出力する。ここで、値ｘ’は、第１ノイズ除去部２１０３によるノイズ除去後の注目画素Ｄの画素値である。なお、閾値Ｔｈ２ＬとＴｈ２Ｕの決定方法は、第１の実施の形態における決定方法と、閾値Ｔｈ２ＬとＴｈ２Ｕの初期値が異なる以外は同様であるので、ここでの説明は省略する。

（５）第２ノイズ除去部２１０５
第２ノイズ除去部２１０５は、色差成分からなる入力画像信号に対して、第２画素選択部２１０４が出力した選択信号に従って注目画素Ｄを含む領域６００のうち画素値が（ｘ’−Ｔｈ２Ｌ）以上（ｘ’＋Ｔｈ２Ｕ）以下である周辺画素を取得し、フィルタ処理を施して、出力画像信号を出力する。

３．２ 動作
（１）概要
まず、画像処理装置２０００の処理概要について、図１６に示す流れ図を用いて説明する。

第１画素選択部２１０２は、輝度成分からなる入力画素Ｄ（図３における注目画素Ｄ）の画素値ｘに基づいて、閾値Ｔｈ１Ｌ、Ｔｈ１Ｕの決定処理を行い、閾値Ｔｈ１Ｌ、Ｔｈ１Ｕを取得する（ステップＳ４００）。

第１ノイズ除去部２１０３は、画素Ｄの周辺領域４００内において、（ｘ−Ｔｈ１Ｌ）以上（ｘ＋Ｔｈ１Ｕ）以下である色差成分からなる各画素に対して、ノイズ除去を施して、画素Ｄについてノイズ除去後の色差成分からなる画素値ｘ’を取得する（ステップＳ４０５）。

第２画素選択部２１０４は、入力画素Ｄについてのノイズ除去後の画素値ｘ’に基づいて、閾値Ｔｈ２Ｌ、Ｔｈ２Ｕの決定処理を行い、閾値Ｔｈ２Ｌ、Ｔｈ２Ｕを取得する（ステップＳ４１０）。

第２ノイズ除去部２１０３は、画素Ｄの周辺領域６００内において、（ｘ’−Ｔｈ２Ｌ）以上（ｘ’＋Ｔｈ２Ｕ）以下である色差成分からなる各画素に対して、ノイズ除去を施して、画素Ｄについて出力対象となる色差成分からなる画素値を取得する（ステップＳ４１５）。

（２）Ｔｈ１Ｌ、Ｔｈ１Ｕの決定処理
ここでは、図１６のステップＳ４００で行われる決定処理について、第１の実施の形態の図８、９で示す決定処理との相違点を中心に説明する。

本実施の形態での処理では、図８に示すステップＳ１０５を、第１画素選択部２１０２が、輝度成分からなる入力画像信号の注目画素の画素値に対応する閾値Ｔｈと、入力画像信号の輝度レベルに対応する係数ｆａｃｔｏｒ０と、平坦度に対応する係数ｆａｃｔｏｒ１とを、それぞれ閾値格納部２１０１から取得するよう変更する。

また、図８に示すステップＳ１１０を、“Ｔｈ１Ｌ＝Ｔｈ１Ｕ＝Ｔｈ＊ｇ＊ｆａｃｔｏｒ０＊ｆａｃｔｏｒ１”に変更する。

なお、図８、９に示すステップＳ１１５以降の動作については、値Ｐ０、Ｐ１、Ｐ２、α、β、γ０及びγ１の数値の変更が少なくともあるのみで、処理の流れ自体には変更はない。

（３）Ｔｈ２Ｌ、Ｔｈ２Ｕの決定処理
本実施の形態におけるＴｈ２Ｌ、Ｔｈ２Ｕの決定処理について、本実施の形態におけるＴｈ１Ｌ、Ｔｈ１Ｕの決定処理の処理内容と異なる点について説明する。

本実施の形態での処理では、図８に示すステップＳ１０５を、第２画素選択部２１０４が、輝度成分からなる入力画像信号の注目画素の画素値に対応する閾値Ｔｈと、入力画像信号の輝度レベルに対応する係数ｆａｃｔｏｒ０と、グレー度合に対応する係数ｆａｃｔｏｒ２とを、それぞれ閾値格納部２１０１から取得するよう変更する。

また、図８に示すステップＳ１１０を、“Ｔｈ１Ｌ＝Ｔｈ１Ｕ＝Ｔｈ＊ｇ＊ｆａｃｔｏｒ０＊ｆａｃｔｏｒ２”に変更する。

なお、図８、９に示すステップＳ１１５以降の動作については、値Ｐ０、Ｐ１、Ｐ２、α、β、γ０及びγ１の数値の変更が少なくともあるのみで、処理の流れ自体には変更はない。

３．３ 変形例
本発明は上記の実施の形態に限られない。例えば、以下のような変形例が考えられる。

（１）上記実施の形態において、図１４(a)、(b)、(c)で示す輝度レベル、平坦度及びグレー度合は、インデックスとしたルックアップテーブルまたは、それぞれに対応した折れ線データに基づいて線形補間した値で代用してもよい。

３．４ まとめ
以上説明したように、本実施の形態によれば、ノイズモデルが正規分布で表現されている場合において、色差成分からなる注目画素Ｄの画素値が分布の端に位置するときには、その位置に応じて画素Ｄの画素値を基準とする閾値“＋Ｔｈ１”分の範囲及び閾値“−Ｔｈ１”分の範囲のうち当該画素値よりも更に端に位置する値が属する範囲を他方の範囲よりも相対的に狭くなるよう制御している。これにより、エッジや細部についてノイズ除去、つまり平滑化が過度に行われることは無いので、画像処理装置は、エッジや細部をぼかさずにノイズを除去することが可能となる。

また、本実施の形態における輝度成分からなる入力画像信号は、第１の実施の形態で説明した画像処理を施した後の信号であればさらに良好な結果が得られる。

４．第４の実施の形態
ここでは、第４の実施の形態に係る画像処理装置３０００について説明する。

４．１ 構成
画像処理装置３０００は、図１７に示すように、第１画像処理部３１００、第２画像処理部３１０１及び補整部３１０２から構成されている。

（１）第１画像処理部３１００
第１画像処理部３１００は、輝度成分からなる入力画像信号（Ｙ）を基に、青色色差成分からなる入力画像信号（Ｃｂ）に対してノイズ除去処理を行い、色差Ｃｂに対してノイズ除去処理が施された後の信号（以下、第１出力画像信号という。）を出力するものである。

第１画像処理部３１００は、図１８に示すように、ノイズ除去処理部２０００ａ、減算器１０２０ａ、整形部１０３０ａ及び加算器１０４０ａから構成されている。

ノイズ除去処理部２０００ａは、第３の実施の形態で示す画像処理装置２０００と同様の処理機能を有するので、ここでの説明は省略する。

また、減算器１０２０ａ、整形部１０３０ａ及び加算器１０４０ａについては、第２の実施の形態で示す減算器１０２０、整形部１０３０及び加算器１０４０と同様であるので、これらの構成要素についても説明は省略する。

（２）第２画像処理部３１０１
第２画像処理部３１０１は、輝度成分からなる入力画像信号（Ｙ）を基に、赤色色差成分からなる入力画像信号（Ｃｒ）に対してノイズ除去処理を行い、色差Ｃｒに対してノイズ除去処理が施された後の信号（以下、第２出力画像信号という。）を出力するものである。

第２画像処理部３１０１の構成要素は、第１画像処理部３１００の構成要素と同様であり、扱う信号が赤色色差成分からなる入力画像信号（Ｃｒ）となる点が異なるので、ここでの説明は省略する。

（３）補整部３１０２
補整部３１０２は、第１出力画像信号及び第２出力画像信号を入力とし、それぞれ補整処理を行って、青色色差成分からなる出力画像信号（Ｃｂ）と赤色色差成分からなる出力画像信号（Ｃｒ）を出力する。

具体的には、図１９(a)に示すようにベクトル（Ｃｂ、Ｃｒ）=(第１出力画像信号のレベル、第２出力画像信号のレベル) に対してノルムｒを｜Ｃｂ｜＋｜Ｃｒ｜と定義する。また、同様に補整後のＣｂ’，Ｃｒ’についてもベクトル（Ｃｂ’，Ｃｒ’）、ノルムｒ’を｜Ｃｂ’｜＋｜Ｃｒ’｜と定義する。

ここで、ｒとｒ’との関係は、例えば、図１９（ｂ）に示すようなグラフＧ１００で示される。具体的には、ｒが区間［０、ｃ０］に存在する値をとる場合には、ｒ’はある値（ここでは、０）にクリップし、ｒが区間［ｃ０、ｃ１］に存在する値をとる場合には、ｒ’は単調増加する曲線で得られる値をとる。また、ｒが区間［ｃ１、∞］に存在する値をとる場合には、ｒ’はｒ’＝ｒとなる直線に従うものとする。従ってノルムｒに対して一意に決まったｒ’より、ＣｂとＣｒはそれぞれｒ’ｃｏｓθとr’ｓｉｎθで決定される。θは、ベクトル（Ｃｂ，Ｃｒ）で決まる角度である。

補整部３１０２は、ｒ’ｃｏｓθで得られた値をＣｂの信号レベルとする青色色差成分からなる出力画像信号（Ｃｂ）を、r’ｓｉｎθで得られた値をＣｒの信号レベルとする赤色色差成分からなる出力画像信号（Ｃｒ）を、それぞれ出力する。

４．２ 動作
ここでは、画像処理装置３０００の動作について説明する。

なお、ノイズ除去に係る動作、つまりノイズ除去処理部２０００ａについては第３の実施の形態で、整形部１０３０ａの動作については第２の実施の形態でそれぞれ説明しているので、ここでは、補整部３１０２に係る動作の処理について、図２０に示す流れ図を用いて説明する。

補整部３１０２は、第１画像処理部３１００から第１出力画像信号（Ｃｂ）を、第２画像処理部３１０１から第２出力画像信号（Ｃｒ）をそれぞれ受け取る（ステップＳ５００）。

補整部３１０２は、取得したＣｂ、Ｃｒに基づいてノルムｒを算出する（ステップＳ５０５）。

補整部３１０２は、算出したノルムｒと、図１９（ｂ）に示すグラフＧ１００とから、ノルムの補正値ｒ’を取得する（ステップＳ５１０）。

補正部３１０２は、第１出力画像信号（Ｃｂ）と第２出力画像信号（Ｃｒ）とからなるベクトル（Ｃｂ、Ｃｒ）で定まる角度θと、取得した補正値ｒ’とから、第１出力画像信号（Ｃｂ）と第２出力画像信号（Ｃｒ）それぞれの補正値Ｃｂ’、Ｃｒ’を算出する（ステップＳ５１５）。

４．３ 変形例
本発明は上記の実施の形態に限られない。例えば、以下のような変形例が考えられる。

（１）本実施の形態においては、1−ノルムで説明したが、これに限定されない。２−ノルムを用いてもよい。

この場合、ノルムｒを“（Ｃｂ＾２＋Ｃｒ＾２）＾（１／２）”と、つまりＣｂの２乗とＣｒの２乗との和の平方根で定義する。

（２）図１９（ｂ）は、ノルムｒをインデックスとしたルックアップテーブルまたは、ノルムｒに対応した折れ線データに基づいて線形補間した値で代用してもよい。

（３）本実施の形態では、Ｃｂによる青色色差成分からなる画像信号、及びＣｒによる赤色色差成分からなる画像信号を用いたが、これに限定されない。

Ｐｂによる青色色差成分からなる画像信号、及びＰｒによる赤色色差成分からなる画像信号を用いてもよい。この場合、輝度成分からなる入力画像信号（Ｙ）は、Ｐｂ及びＰｒから定まる。

（４）上記実施の形態及び変形例を組み合わせてもよい。

４．４ まとめ
以上説明したように、本実施の形態によれば、色差成分からなる画素に対してもノイズ量を制御することによって、ノイズ成分と同じレベルのエッジや細部を復元することが可能であり、ＣｂとＣｒを連動して補整することによって色ずれを抑止できるなど、より好適な画像を得ることが可能となる。

５．変形例
以上、各実施の形態に基づいて説明したが、本発明は上記の各実施の形態に限られない。例えば、以下のような変形例が考えられる。

（１）上記各実施の形態において、２段階のノイズ除去処理による形態を説明したが、これに限定されない。画像処理装置は、ノイズ除去処理を２回以上の複数段階にて実施してもよい。

例えば、図２１（a）に示すように注目画素の画素値ｘは、正規分布で示されるノイズモデルにおいて、中央より右端に近い位置にあるものとする。

この場合、第１画素選択部により画素値ｘを基準として値の上位側に位置する範囲（ここでは、＋ａ’）は、画素値ｘを基準として値の下位側に位置する範囲（ここでは、−ａ）よりも狭いものとなっている。このような状態で、第１ノイズ除去部によるノイズ除去が行われると、ノイズ処理後の画素値ｘ’は、画素値ｘよりも下位側、つまり正規分布の凸部に位置する中央値（真値）に近い値となる（図２１（ｂ）参照）。

この画素値ｘ’に対して、第２画素選択部により、画素値ｘ’を基準として値の上位側に位置する範囲（ここでは、＋ｂ’）は、画素値ｘ’を基準として値の下位側に位置する範囲（ここでは、−ｂ）よりも狭いものとなっている。このような状態で、第２ノイズ除去部によるノイズ除去が行われると、ノイズ処理後の画素値ｘ’’は、画素値ｘ’よりも下位、つまり正規分布の凸部に位置する中央値（真値）に近い値となる（図２１（ｃ）参照）。

さらに、３回目のノイズ除去を行う場合には、画素値ｘ’’に対して、第３画素選択部により、画素値ｘを基準として値の上位側に位置する範囲（ここでは、＋ｃ’）は、画素値ｘ’’を基準として値の下位側に位置する範囲（ここでは、−ｃ）よりも狭いものとなっている。このような状態で、第３ノイズ除去部によるノイズ除去が行われると、ノイズ処理後の画素値は、画素値ｘ’’よりも下位、つまり正規分布の凸部に位置する中央値（真値）に近い値となる。

このように、ノイズ除去処理について段階を経る毎に確率密度が高くなる値、すなわち確率的に真値と予想される値へと収束し、よりノイズ除去効果が得られることになる。

２段階のノイズ除去処理では、１回目のノイズ除去処理で使用したゲインの値（例えば、３）よりも、２回目のノイズ除去処理で使用するゲインの値を小さくした（例えば、２．５）。さらに、ノイズ除去の画素領域については、１回目のノイズ除去処理で使用した画素領域（３×３画素領域）よりも、２回目のノイズ除去処理で使用する領域を広くした（５×５画素領域）。多段階のノイズ除去処理においても同様に、ｎ回目（ｎは１以上の整数）のノイズ除去処理で使用したゲインの値よりも、ｎ＋１回目のノイズ除去処理で使用するゲインの値を小さくする。さらに、ノイズ除去の画素領域については、ｎ回目のノイズ除去処理で使用した画素領域よりも、ｎ＋１回目のノイズ除去処理で使用する画素領域の範囲を広くする。ノイズ除去処理の回数を重ねる毎に、ゲインの値を小さくすることでノイズ除去の対象となる画素の画素値の範囲を小さくすることができる。さらに、ノイズ除去処理の回数を重ねる毎に、ノイズ除去の対象となる画素の画素値の範囲を小さくする一方で、ノイズ除去対象の領域を広くすることができる。これにより、ｎ＋１回目のノイズ除去処理において、ｎ回目のノイズ除去処理よりも広範囲の領域に対して処理を施しても、処理対象となる画素の画素値の範囲がｎ回目の範囲より小さいので、エッジや細部のぼけを防ぐことができる。

（２）上記各実施の形態において、Ｔｈ１Ｌ、Ｔｈ１Ｕの決定処理において、注目画素Ｄの画素値が正規分布の端に位置するときには、画素Ｄの画素値を基準とする閾値“＋Ｔｈ１”分の範囲及び閾値“−Ｔｈ１”分の範囲のうち当該画素値よりも更に端に位置する値が属する範囲を他方の範囲よりも狭くなるよう制御したが、これに限定されない。

閾値“＋Ｔｈ１”分の範囲及び閾値“−Ｔｈ１”分の範囲のうち当該画素値よりも中央値に近い位置する値が属する範囲を他方の範囲よりも広くなるように制御してもよい。

このように制御した場合であっても、画素Ｄの画素値を基準とする閾値“＋Ｔｈ１”分の範囲及び閾値“−Ｔｈ１”分の範囲のうち当該画素値よりも更に端に位置する値が属する範囲を他方の範囲よりも相対的に狭くなるので、得られる効果は各実施の形態と同様である。

（３）上記各実施の形態において、Ｔｈ１Ｌ、Ｔｈ１Ｕの決定処理において、注目画素Ｄの画素値が正規分布の端に位置するときには、画素Ｄの画素値を基準とする閾値“＋Ｔｈ１”分の範囲及び閾値“−Ｔｈ１”分の範囲のうち当該画素値よりも更に端に位置する値が属する範囲を他方の範囲よりも狭くなるよう制御したが、これに限定されない。

注目画素Ｄの画素値が正規分布の端に位置するときでも、画素Ｄの画素値を基準とする閾値“＋Ｔｈ１”分の範囲及び閾値“−Ｔｈ１”分の範囲を変更することなく、ノイズ除去処理を行ってもよい。

この場合、画像処理装置は、ｎ回目（ｎは１以上の整数）のノイズ除去処理で使用したゲインの値よりも、ｎ＋１回目のノイズ除去処理で使用するゲインの値を小さくする。さらに、ノイズ除去の画素領域については、ｎ回目のノイズ除去処理で使用した画素領域よりも、ｎ＋１回目のノイズ除去処理で使用する画素領域の範囲を広くする。これにより、ｎ＋１回目のノイズ除去処理において、ｎ回目のノイズ除去処理よりも広範囲の領域に対して処理を施しても、処理対象となる画素の画素値の範囲がｎ回目の範囲より小さいので、エッジや細部のぼけを防ぐことができる。

（４）上記の各実施の形態にかかる各構成は、集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。これらの構成は、１チップ化されても良いし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩと表現したが、回路の集積度の違いによっては、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称呼されることもある。また、集積回路化の手法は、ＬＳＩに限られるものではなく、専用回路または汎用プロセッサで集積回路化を行ってもよい。また、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー（ＲｅＣｏｎｆｉｇｕｒａｂｌｅ Ｐｒｏｃｅｓｓｏｒ）を用いてもよい。あるいは、これらの機能ブロックの演算は、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを用いて演算することもできる。さらに、これらの処理ステップはプログラムとして記録媒体に記録して実行することで処理することもできる。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックを集積化してもよい。バイオ技術の適応などが可能性としてあり得る。

（５）上記の実施の形態で説明した手法の手順を記述したプログラムをメモリに記憶しておき、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などがメモリからプログラムを読み出して、読み出したプログラムを実行することによって、上記の手法が実現されるようにしてもよい。

また、当該手法の手順を記述したプログラムを記録媒体に格納して、頒布するようにしてもよい。

（６）上記実施の形態及び変形例を組み合わせるとしてもよい。

６．補足
（１）本発明の一実施態様である、画像に含まれるノイズを除去するよう当該画像に含まれる画素の画素値を補正する画像処理装置は、正規分布で示される画像のノイズモデルから注目画素に対する画素値を中央値とする基準範囲を特定し、当該注目画素を含む局所領域に存在する各画素について、前記基準範囲のうち前記中央値を基準とする値の上位方向側の第１部分範囲内に画素値を持つ画素の分布数と、前記中央値を基準とする値の下位方向側の第２部分範囲内に画素値を持つ画素の分布数とを特定し、分布数が他方に比べて少ない部分範囲を他方の部分範囲よりも相対的に狭くなるよう補正して、補正後の部分範囲と前記他方の部分範囲からなる選択範囲を決定する決定手段と、前記局所領域を少なくとも含むノイズ除去対象の領域に存在する画素の画素値のうち前記選択範囲に属する各画素値を用いて、当該ノイズ除去対象の領域に対してノイズを除去するために前記ノイズ除去対象の領域に含まれる各画素に対する画素値を補正して補正画素値を生成する生成手段とを備えることを特徴とする。

上記に示す構成によると、画像処理装置は、注目画素の画素値を中央値とする基準範囲内における第１部分範囲と第２部分範囲とのそれぞれに属する画素の画素値の分布数に応じて、何れかの部分範囲を他方の部分範囲よりも相対的に狭くなるよう補正している。これにより、他の物体の画素の影響を受けた画素を選択、つまりエッジや細部の画素をノイズ除去の対象とする可能性が低くなるので、エッジや細部をぼかすことなくノイズを除去することができる。

（２）ここで、前記画像処理装置は、さらに、前記補正画素値に基づいて、前記ノイズ除去対象の領域を少なくとも含む拡大後のノイズ除去対象領域について、ノイズ除去を施して、当該ノイズ除去が施された後の画素値に基づく画像を出力する出力手段とを備えるとしてもよい。

この構成によると、画像処理装置は、生成手段でノイズ除去を行った後、拡大後のノイズ除去対象領域についてノイズ除去を行うので、さらなるノイズを除去することができる。また、この場合、生成手段でノイズ除去が行われることにより、注目画素に対する補正画素値は、補正前の画素値よりも正規分布における真値に近づいているので、正規分布の端に存在する画素の画素値を選択する可能性が低くなっている。そのため、画像処理装置は、出力手段においても、エッジや細部をぼかすことなくノイズを除去することができる。

（３）ここで、前記出力手段は、さらに、前記拡大後のノイズ除去対象領域における各画素の画素値を用いて、前記拡大後のノイズ除去対象領域に対する平坦度を取得し、前記画像処理装置は、さらに、前記平坦度を用いて、外部から当該画像処理装置に入力された画像と前記出力手段が出力する画像とから定まる除去成分の一部を取得する取得手段と、前記除去成分のうち取得した一部を、前記出力手段から出力された画像へ加算する加算手段とを備えるとしてもよい。

この構成によると、画像処理装置は、入力画像とノイズ除去後の差分から平坦度に応じてノイズ成分と同じレベルの付加成分を取得するので、ノイズによって除去された付加成分からなる画像（例えば、エッジや細部）を復元することができる。

（４）ここで、前記画像に含まれる画素は、色差成分と輝度成分とからなるものであり、前記ノイズモデルは、画像値と標準偏差とを対応付けたものであり、前記決定手段は、前記注目画素の画素値に対する標準偏差を前記ノイズモデルから特定し、前記標準偏差、前記注目画素の輝度レベルに応じた第１の値及び前記第１の領域における平坦度に応じた第２の値から前記基準範囲を特定し、前記生成手段は、前記ノイズ除去対象の領域に存在する、色差に基づく画素の画素値のうち前記選択範囲に属する各画素の画素値を用いて、当該ノイズ除去対象の領域に対してノイズを除去するため前記ノイズ除去対象の領域に含まれる各画素に対する画素値を補正して補正画素値を生成するとしてもよい。

この構成によると、画像処理装置は、色差成分からなる画素についても、エッジや細部をぼかすことなくノイズを除去することができる。

（５）ここで、前記出力手段は、前記補正画素値に対する標準偏差を前記ノイズモデルから特定し、前記補正画素値に対する標準偏差、前記第１の値及び前記ノイズ除去対象の領域を少なくとも含む補正後領域におけるグレー度合に応じた第３の値とから前記補正画素値を中央値とする補正後基準範囲を特定し、前記補正後領域に属する各画素について、前記基準範囲のうち前記補正後画素値を基準とする値の上位方向側の第３部分範囲内に画素値を持つ画素の分布数と、前記補正後画素値を基準とする値の下位方向側の第４部分範囲内に画素値を持つ画素の分布数とを特定し、前記第３部分範囲及び前記第４部分範囲について分布数が他方に比べて少ない部分範囲を他方の部分範囲よりも相対的に狭くなるように補正して、補正後の部分範囲と前記他方の部分範囲からなる補正後選択範囲を決定し、前記補正後領域を少なくとも含む前記新たな領域に存在する画素の画素値のうち前記補正後選択範囲に属する各画素値を用いて、当該ノイズ除去対象の領域に対してノイズ除去を施して前記注目画素に対して出力対象の画素値を生成するとしてもよい。

この構成によると、画像処理装置の出力手段についても、色差成分からなる画素に対してエッジや細部をぼかすことなくノイズを除去することができる。

（６）ここで、前記色差成分は、第１の色差成分と第２の色差成分とからなり、前記決定手段は、前記画像の第１の色差成分による画素の画素値の基づく第１の選択範囲を決定する第１の決定部と、前記画像の第２の色差成分による画素の画素値の基づく第２の選択範囲を決定する第２の決定部とを有し、前記生成手段は、ノイズ除去対象の領域に存在する、第１の色差成分による画素の画素値のうち前記第１の選択範囲に属する各画素値を用いて、当該ノイズ除去対象の領域に対してノイズを除去するために、第１の色差成分による前記注目画素の画素値を補正して第１の補正画素値を生成する第１の生成部と、ノイズ除去対象の領域に存在する、第２の色差成分による画素の画素値のうち前記第２の選択範囲に属する各画素値を用いて、当該ノイズ除去対象の領域に対してノイズを除去するために、第２の色差成分による前記注目画素の画素値を補正して第２の補正画素値を生成する第１の生成部とを有し、前記出力手段は、前記第１の補正画素値に基づいて、拡張領域についてノイズ除去を施して、当該ノイズ除去が施された後の第１の色差成分による画素の画素値に基づく画像を出力する第１の出力部と、前記第２の補正画素値に基づいて、拡張領域についてノイズ除去を施して、当該ノイズ除去が施された後の第２の色差成分による画素の画素値に基づく画像を出力する第２の出力部とを有し、前記画像処理装置は、さらに、前記第１の出力部で出力された第１の色差成分による画素の画素値と前記第２の出力部で出力された第２の色差成分による画素の画素値とに対してノルム処理を施して、第１の色差成分による画素の画素値及び第２の色差成分による画素の画素値それぞれを補整する補整手段とを備えるとしてもよい。

この構成によると、画像処理装置は、色差成分からなる画素に対して、ノイズが除去された第１の色差成分及び第２の色差成分にノルム処理を施すことでこれらの色差成分を補整するので、色ずれを抑止でき、より好適な画像を得ることができる。

（７）ここで、前記出力手段は、正規分布で示される画像のノイズモデルから注目画素に対する前記補正後画素値を新たな中央値とし、前記基準範囲より狭い範囲である新たな基準範囲を特定し、前記拡大後のノイズ除去対象領域に存在する各画素について、新たな中央値、前記新たな基準範囲、及び前記決定手段を用いて新たな選択範囲を決定し、前記拡大後のノイズ除去対象領域に存在する画素のうち前記新たな選択範囲に属する各画素値を用いてノイズ除去処理を施すとしてもよい。

この構成によると、画像処理装置は、出力手段によるノイズ除去処理においても、他の物体の画素の影響を受けた画素を選択、つまりエッジや細部の画素をノイズ除去の対象とする可能性が低くなるので、エッジや細部をぼかすことなくノイズを除去することができる。

（８）また、本発明の一態様である、画像に含まれるノイズを除去するよう当該画像に含まれる画素の画素値を補正する画像処理装置は、正規分布で示される画像のノイズモデルから注目画素に対する画素値を中央値とする第１の範囲を特定し、前記注目画素を含むノイズ除去対象領域に存在する画素の画素値のうち、前記第１の範囲内に属する各画素値を用いて、当該ノイズ除去対象領域に対してノイズ除去処理を施して、ノイズが除去された画素値を生成する第１のノイズ除去手段と、正規分布で示される画像のノイズモデルから前記注目画素についてノイズが除去された画素値を中央値とし、前記第１の範囲より小さい第２の範囲を特定し、前記第１のノイズ除去対象領域を少なくとも含む拡大後のノイズ除去対象領域に存在する画素の画素値のうち、前記第２の範囲内に属する各画素値を用いて、当該拡大後のノイズ除去対象領域に対してノイズ除去処理を施す第２のノイズ除去手段とを備えることを特徴とする。

この構成によると、画像処理装置は、第１のノイズ除去手段で用いられる第１の範囲よりも第２のノイズ除去手段で用いられる第２の範囲の方が小さく、且つ第１のノイズ除去手段で用いられるノイズ除去の領域よりも第２のノイズ除去手段で用いられる領域の方が広いので、第２のノイズ除去手段でノイズ除去処理を施しても、エッジや細部のぼけを防ぐことができる。

本発明にかかる画像処理装置は、エッジや細部をぼかさずにノイズを除去するので、デジタルカメラなどの撮像系のシステムのみならず、ディジタルテレビやビデオシステムなどへ適用が可能である。

１０ 画像処理装置
１０１ 閾値格納部
１０２ 画素選択部
１０３ ノイズ除去部
１０４ 画素選択部
１０５ ノイズ除去部

Claims (10)

1. 画像に含まれるノイズを除去するよう当該画像に含まれる画素の画素値を補正する画像処理装置であって、
   正規分布で示される画像のノイズモデルから注目画素に対する画素値を中央値とする基準範囲を特定し、当該注目画素を含む局所領域に存在する各画素について、前記基準範囲のうち前記中央値を基準とする値の上位方向側の第１部分範囲内に画素値を持つ画素の分布数と、前記中央値を基準とする値の下位方向側の第２部分範囲内に画素値を持つ画素の分布数とを特定し、分布数が他方に比べて少ない部分範囲を他方の部分範囲よりも相対的に狭くなるよう補正して、補正後の部分範囲と前記他方の部分範囲からなる選択範囲を決定する決定手段と、
   前記局所領域を少なくとも含むノイズ除去対象の領域に存在する画素の画素値のうち前記選択範囲に属する各画素値を用いて、当該ノイズ除去対象の領域に対してノイズを除去するために前記ノイズ除去対象の領域に含まれる各画素に対する画素値を補正して補正画素値を生成する生成手段とを備える
   ことを特徴とする画像処理装置。
2. 前記画像処理装置は、さらに、
   前記補正画素値に基づいて、前記ノイズ除去対象の領域を少なくとも含む拡大後のノイズ除去対象領域について、ノイズ除去を施して、当該ノイズ除去が施された後の画素値に基づく画像を出力する出力手段とを備える
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記出力手段は、さらに、
   前記拡大後のノイズ除去対象領域における各画素の画素値を用いて、前記拡大後のノイズ除去対象領域に対する平坦度を取得し、
   前記画像処理装置は、さらに、
   前記平坦度を用いて、外部から当該画像処理装置に入力された画像と前記出力手段が出力する画像とから定まる除去成分の一部を取得する取得手段と、
   前記除去成分のうち取得した一部を、前記出力手段から出力された画像へ加算する加算手段とを備える
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記画像に含まれる画素は、色差成分と輝度成分とからなるものであり、
   前記ノイズモデルは、画像値と標準偏差とを対応付けたものであり、
   前記決定手段は、
   前記注目画素の画素値に対する標準偏差を前記ノイズモデルから特定し、
   前記標準偏差、前記注目画素の輝度レベルに応じた第１の値及び第１の領域における平坦度に応じた第２の値から前記基準範囲を特定し、
   前記生成手段は、
   前記ノイズ除去対象の領域に存在する、色差に基づく画素の画素値のうち前記選択範囲に属する各画素の画素値を用いて、当該ノイズ除去対象の領域に対してノイズを除去するため前記ノイズ除去対象の領域に含まれる各画素に対する画素値を補正して補正画素値を生成する
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記出力手段は、
   前記補正画素値に対する標準偏差を前記ノイズモデルから特定し、
   前記補正画素値に対する標準偏差、前記第１の値及び前記ノイズ除去対象の領域を少なくとも含む補正後領域におけるグレー度合に応じた第３の値とから前記補正画素値を中央値とする補正後基準範囲を特定し、
   前記補正後領域に属する各画素について、前記基準範囲のうち前記補正画素値を基準とする値の上位方向側の第３部分範囲内に画素値を持つ画素の分布数と、前記補正画素値を基準とする値の下位方向側の第４部分範囲内に画素値を持つ画素の分布数とを特定し、
   前記第３部分範囲及び前記第４部分範囲について分布数が他方に比べて少ない部分範囲を他方の部分範囲よりも相対的に狭くなるように補正して、補正後の部分範囲と前記他方の部分範囲からなる補正後選択範囲を決定し、
   前記補正後領域を少なくとも含む新たな領域に存在する画素の画素値のうち前記補正後選択範囲に属する各画素値を用いて、当該ノイズ除去対象の領域に対してノイズ除去を施して前記注目画素に対して出力対象の画素値を生成する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記色差成分は、第１の色差成分と第２の色差成分とからなり、
   前記決定手段は、
   前記画像の第１の色差成分による画素の画素値の基づく第１の選択範囲を決定する第１の決定部と、
   前記画像の第２の色差成分による画素の画素値の基づく第２の選択範囲を決定する第２の決定部とを有し、
   前記生成手段は、
   ノイズ除去対象の領域に存在する、第１の色差成分による画素の画素値のうち前記第１の選択範囲に属する各画素値を用いて、当該ノイズ除去対象の領域に対してノイズを除去するために、第１の色差成分による前記注目画素の画素値を補正して第１の補正画素値を生成する第１の生成部と、
   ノイズ除去対象の領域に存在する、第２の色差成分による画素の画素値のうち前記第２の選択範囲に属する各画素値を用いて、当該ノイズ除去対象の領域に対してノイズを除去するために、第２の色差成分による前記注目画素の画素値を補正して第２の補正画素値を生成する第１の生成部とを有し、
   前記出力手段は、
   前記第１の補正画素値に基づいて、拡張領域についてノイズ除去を施して、当該ノイズ除去が施された後の第１の色差成分による画素の画素値に基づく画像を出力する第１の出力部と、
   前記第２の補正画素値に基づいて、拡張領域についてノイズ除去を施して、当該ノイズ除去が施された後の第２の色差成分による画素の画素値に基づく画像を出力する第２の出力部とを有し、
   前記画像処理装置は、さらに、
   前記第１の出力部で出力された第１の色差成分による画素の画素値と前記第２の出力部で出力された第２の色差成分による画素の画素値とに対してノルム処理を施して、第１の色差成分による画素の画素値及び第２の色差成分による画素の画素値それぞれを補整する補整手段とを備える
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記出力手段は、
   正規分布で示される画像のノイズモデルから注目画素に対する補正画素値を新たな中央値とし、前記基準範囲より狭い範囲である新たな基準範囲を特定し、前記拡大後のノイズ除去対象領域に存在する各画素について、新たな中央値、前記新たな基準範囲、及び前記決定手段を用いて新たな選択範囲を決定し、
   前記拡大後のノイズ除去対象領域に存在する画素のうち前記新たな選択範囲に属する各画素値を用いてノイズ除去処理を施す
   ことを特徴とする請求項２に記載の画像処理装置。
8. 画像に含まれるノイズを除去するよう当該画像に含まれる画素の画素値を補正する画像処理装置で用いられる画像処理方法であって、
   正規分布で示される画像のノイズモデルから注目画素に対する画素値を中央値とする基準範囲を特定し、当該注目画素を含む局所領域に存在する各画素について、前記基準範囲のうち前記中央値を基準とする値の上位方向側の第１部分範囲内に画素値を持つ画素の分布数と、前記中央値を基準とする値の下位方向側の第２部分範囲内に画素値を持つ画素の分布数とを特定し、分布数が他方に比べて少ない部分範囲を他方の部分範囲よりも相対的に狭くなるよう補正して、補正後の部分範囲と前記他方の部分範囲からなる選択範囲を決定する決定ステップと、
   前記局所領域を少なくとも含むノイズ除去対象の領域に存在する画素の画素値のうち前記選択範囲に属する各画素値を用いて、当該ノイズ除去対象の領域に対してノイズを除去するために前記ノイズ除去対象の領域に含まれる各画素に対する画素値を補正して補正画素値を生成する生成ステップとを含む
   ことを特徴とする画像処理方法。
9. 画像に含まれるノイズを除去するよう当該画像に含まれる画素の画素値を補正する画像処理装置で用いられる集積回路であって、
   正規分布で示される画像のノイズモデルから注目画素に対する画素値を中央値とする基準範囲を特定し、当該注目画素を含む局所領域に存在する各画素について、前記基準範囲のうち前記中央値を基準とする値の上位方向側の第１部分範囲内に画素値を持つ画素の分布数と、前記中央値を基準とする値の下位方向側の第２部分範囲内に画素値を持つ画素の分布数とを特定し、分布数が他方に比べて少ない部分範囲を他方の部分範囲よりも相対的に狭くなるよう補正して、補正後の部分範囲と前記他方の部分範囲からなる選択範囲を決定する決定手段と、
   前記局所領域を少なくとも含むノイズ除去対象の領域に存在する画素の画素値のうち前記選択範囲に属する各画素値を用いて、当該ノイズ除去対象の領域に対してノイズを除去するために前記ノイズ除去対象の領域に含まれる各画素に対する画素値を補正して補正画素値を生成する生成手段とを備える
   ことを特徴とする集積回路。
10. 画像に含まれるノイズを除去するよう当該画像に含まれる画素の画素値を補正する画像処理装置であって、
    正規分布で示される画像のノイズモデルから注目画素に対する画素値を中央値とする第１の範囲を特定し、前記注目画素を含むノイズ除去対象領域に存在する画素の画素値のうち、前記第１の範囲内に属する各画素値を用いて、当該ノイズ除去対象領域に対してノイズ除去処理を施して、ノイズが除去された画素値を生成する第１のノイズ除去手段と、
    正規分布で示される画像のノイズモデルから前記注目画素についてノイズが除去された画素値を中央値とし、前記第１の範囲より小さい第２の範囲を特定し、前記第１のノイズ除去手段の処理対象領域を少なくとも含む拡大後のノイズ除去対象領域に存在する画素の画素値のうち、前記第２の範囲内に属する各画素値を用いて、当該拡大後のノイズ除去対象領域に対してノイズ除去処理を施す第２のノイズ除去手段とを備える
    ことを特徴とする画像処理装置。

Images