JP5693743B2 - 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及び記録媒体 - Google Patents

Description

本発明は、画像信号中のノイズ成分を抑圧する画像処理技術に関し、特に、歪んだ画像を示す画像信号中のノイズ成分の抑圧と当該画像の歪みの補正とを行う画像処理技術に関する。

画像信号中のノイズ成分を抑圧するために、ノイズ成分以外の空間周波数成分を画像信号から抽出するローパスフィルタが広く採用されているが、ローパスフィルタは、画像信号における被写体画像のエッジ成分をも抑圧させるという欠点がある。たとえば、特開２００７−１８８３４６号公報（特許文献１）には、被写体画像のエッジ成分を保持しつつ画像信号中のノイズ成分を抑圧することができる画像処理装置が開示されている。

図１は、特許文献１に開示されている画像処理装置１００の構成を示す機能ブロック図である。図１に示されるように、画像処理装置１００は、入力画像信号に対してフィルタリングを実行するローパスフィルタ１０１，１０２，１０３と、差分器１０４，１０５，１０６と、ベースノイズクリップ回路１０７，１０８，１０９と、加算器１１０とを備えている。差分器１０４は、入力画像信号とローパスフィルタ１０１の出力との間の差分を出力し、差分器１０５は、ローパスフィルタ１０１，１０２の出力間の差分を出力し、差分器１０６は、ローパスフィルタ１０２，１０３の出力間の差分を出力する。ローパスフィルタ１０１，１０２，１０３は、注目画素を中心とした互いに異なる範囲の画素を参照してフィルタリングを実行するので、差分器１０４，１０５，１０６は、互いに異なる空間周波数成分の信号を出力し得る。ベースノイズクリップ回路１０７，１０８，１０９は、これら差分器１０４，１０５，１０６の出力信号を入力とし、入力値が閾値（クリップレベル）で規定される所定範囲内にあるときにそれぞれ一定値を出力する。そして、加算器１１０は、これらベースノイズクリップ回路１０７，１０８，１０９の出力を加算して注目画素に対応する画素を生成する。ベースノイズクリップ回路１０７，１０８，１０９におけるクリップレベルを適切に設定することで、被写体画像のエッジ成分を保持しつつ入力画像信号中のノイズ成分を効果的に抑圧することができる。

特開２００７−１８８３４６号公報（図１，段落０００９〜００２２）

ところで、ディジタルカメラでは、レンズなどの撮像光学系の歪曲収差などに起因して撮像画像に歪曲歪み（ディストーション）が生ずることがある。この歪曲歪みは、撮像光学系により結像された像において画角中心軸付近とその周辺部とで結像倍率（特に、横倍率）が異なることに起因して生じるものである。歪曲収差が発生した場合、撮像画像においては画像中心（撮像光学系の画角中心軸に相当する画素）から周辺部に向かうにつれて歪曲歪みの量は大きくなる傾向がある。そこで、その歪曲歪みの量に応じた倍率で撮像画像を局所的に拡大または縮小することで歪み補正を行うことが可能である。

しかしながら、撮像画像にノイズが重畳されていた場合にそのような歪み補正が実行されると、そのノイズが引き伸ばされて画質を劣化させるという問題がある。たとえば、撮像光学系として魚眼レンズ（超広角レンズ）を使用する場合には、撮像画像の周辺部をその中心部よりも拡大することで、魚眼レンズの歪曲収差に起因する歪曲歪みを補正することができる。この場合、画像中心から当該周辺部に向かうにつれて拡大倍率が高くなるように設定される。ここで、画像中心から放射線方向（径方向）の歪曲歪み量は、同心円方向（周方向）の歪曲歪み量とは異なるので、歪み補正のための放射線方向の拡大倍率と同心円方向の拡大倍率との間に差が生じる。それ故、撮像画像にノイズが重畳されたときには、歪み補正により当該ノイズが特定方向に引き伸ばされ、あたかも被写体画像の背景が流れているかのような視覚的に不自然な補正画像が生成されてしまう。

上記特許文献１の画像処理装置１００の場合にも、出力画像信号に対して歪み補正が実行されると、重畳ノイズが引き伸ばされて画質が劣化するおそれがある。

上記に鑑みて本発明の目的は、歪曲歪みを有する画像に重畳されたノイズが歪み補正により引き伸ばされることに起因する画質劣化を抑制することができる画像処理装置、撮像装置、画像処理方法、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体を提供することである。

本発明の第１の態様による画像処理装置は、入力画像中の注目画素を含む参照範囲内の複数画素に対して空間フィルタリングを実行してノイズ低減画像を生成するノイズ抑圧部と、前記ノイズ低減画像の局所的な歪曲歪み量に応じた倍率で前記ノイズ低減画像を局所的に変形することで前記ノイズ低減画像の歪曲歪みを補正する歪補正処理部と、前記倍率に応じて前記参照範囲の広さを動的に変更するフィルタリング制御部とを備え、前記フィルタリング制御部は、前記倍率が大きい程、前記倍率の適用方向であり、前記入力画像の画像中心から延びる径方向に前記参照範囲を狭くすることを特徴とする。

本発明の第２の態様による撮像装置は、前記第１の態様による画像処理装置を含むことを特徴とする。

本発明の第３の態様による画像処理方法は、入力画像中の注目画素を含む参照範囲内の複数画素に対して空間フィルタリングを実行してノイズ低減画像を生成するステップと、前記ノイズ低減画像の局所的な歪曲歪み量に応じた倍率で前記ノイズ低減画像を局所的に変形することで前記ノイズ低減画像の歪曲歪みを補正するステップと、前記倍率に応じて前記参照範囲の広さを動的に変更するステップとを備え、前記参照範囲を動的に変更する当該ステップでは、前記倍率が大きい程、前記倍率の適用方向であり、前記入力画像の画像中心から延びる径方向に前記参照範囲を狭くすることで前記参照範囲が動的に変更されることを特徴とする。

本発明の第４の態様によるコンピュータプログラムは、メモリから読み出されて、前記第３の態様による画像処理方法が備えるステップをプロセッサに実行させることを特徴とする。

本発明の第５の態様による記録媒体は、前記第４の態様によるコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体である。

本発明の第１乃至第５の態様によれば、歪曲歪み量が大きい程、参照範囲が狭くなるように変更されるので、歪曲歪みを有する画像に重畳されたノイズが歪み補正により引き伸ばされることに起因する画質劣化を抑制することができる。

特許文献１に開示されている画像処理装置の構成を示す機能ブロック図である。 本発明に係る実施の形態１の画像処理装置の構成を概略的に示す機能ブロック図である。 出力画像の画像中心と処理対象画素との間の関係を示す図である。 （Ａ）は、歪曲歪み量αと画像中心からの距離Ｌとの間の関係の一例を示すグラフであり、（Ｂ）は、線形補間法により歪曲歪み量を算出する方法を説明するための図である。 線形補間法により参照座標（ｘ_０，ｙ_０）の画素値を加重平均で補間する方法を説明するための図である。 パラメータ演算処理部による処理手順を概略的に示すフローチャートである。 入力画像中の注目画素と画像中心との間の関係を示す図である。 実施の形態１のノイズ抑圧処理部の基本構成を概略的に示す機能ブロック図である。 （Ａ），（Ｂ）は、基準参照範囲ＳＡを例示する図である。 実施の形態１のベースノイズクリップ処理部の入出力特性の一例を示す図である。 実施の形態１のハイクリップ処理部の入出力特性の一例を示す図である。 実施の形態１のノイズ抑圧処理部の一例を概略的に示す機能ブロック図である。 （Ａ）〜（Ｅ）は、ローパスフィルタに適用されるべき３×３画素の候補参照範囲を示す図である。 （Ａ）〜（Ｃ）は、候補参照範囲に適用されるべき重み係数（フィルタ係数）の例を示す図である。 （Ａ）〜（Ｉ）は、ローパスフィルタに適用されるべき候補参照範囲を示す図である。 （Ａ）〜（Ｉ）は、ローパスフィルタに適用されるべき候補参照範囲を示す図である。 ローパスフィルタに適用されるべき参照範囲を選択するためのルックアップテーブルの一例を示す図である。 ローパスフィルタに適用されるべき参照範囲を選択するためのルックアップテーブルの他の例を示す図である。 方向パラメータｓ，ｔと角度θとの関係を示す図である。 本発明に係る実施の形態２の基準参照範囲の一例を概略的に示す図である。 本発明に係る実施の形態３のノイズ抑圧処理部の構成を概略的に示す図である。 実施の形態３のルックアップテーブルを表す図である。 本発明に係る実施の形態４の撮像装置の概略構成を示すブロック図である。

以下、本発明に係る実施の形態について図面を参照しつつ説明する。

実施の形態１．
図２は、本発明に係る実施の形態１の画像処理装置２１の構成を概略的に示す機能ブロック図である。図２に示されるように、画像処理装置２１は、パラメータ演算処理部２２、ノイズ抑圧処理部２３及び歪補正処理部２４を備える。

ノイズ抑圧処理部２３は、パラメータ演算処理部２２から供給されたノイズ抑圧パラメータＲ，ｓ，ｔを用いて、入力画像Ｉｓに対して空間フィルタリングとクリップ処理とノイズ抑圧強度調整処理とを実行することにより入力画像Ｉｓ中のノイズ成分を低減させる機能を有する。パラメータ演算処理部２２は、入力画像Ｉｓを構成する画素の座標位置情報に基づいてノイズ抑圧パラメータＲ，ｓ，ｔを算出する。

歪補正処理部２４は、ノイズ抑圧処理部２３からノイズ低減画像ＮＲｓを受信する。歪補正処理部２４は、このノイズ低減画像ＮＲｓの局所的な歪曲歪み量αに応じた倍率Ｒでノイズ低減画像ＮＲｓを局所的に変形（拡大または縮小）することでノイズ低減画像ＮＲｓの歪曲歪みを補正する機能を有する。倍率Ｒは、ノイズ抑圧パラメータの１つである。後述するように、ｓ，ｔは、倍率Ｒの適用方向を示すベクトル（ｓ，ｔ）の値（方向パラメータ）を意味する。

本実施の形態では、入力画像Ｉｓは、撮像装置の撮像光学系により結像された光学像を固体撮像素子が光電変換することで得られたデジタル画像である。歪曲歪み量αは、撮像光学系の歪曲収差に起因して発生し、撮像光学系の画角中心からの像高及び撮影条件に応じて予め測定されたものである。歪曲歪み量αのデータは、歪補正処理部２４の内部または外部の不揮発性メモリ（図示せず）に格納されており、歪補正処理部２４は、この不揮発性メモリを参照して注目画素の座標位置に対応する歪曲歪み量αを取得することができる。

歪補正処理部２４は、まず、歪曲歪みが補正された理想的な画像である出力画像ＤＲｓの画素の各々を注目画素とし、図３に示されるようにこの注目画素と画角中心に対応する画像中心との間の距離Ｌを算出する。距離Ｌは、撮像光学系の画角中心からの理想的な像高（歪曲収差が無い場合の像高）に対応する量である。図３において、出力画像ＤＲｓ中の任意の画素の座標は、原点座標（０，０）に対して水平方向のＸ座標と垂直方向のＹ座標との組で与えられる。当該注目画素の座標を（ｘ，ｙ）とし、画像中心の座標を（Ｘ_Ｃ，Ｙ_Ｃ）とするとき、距離Ｌは、次式（１）に従って算出される。

次に、歪補正処理部２４は、算出された距離Ｌに対応する歪曲歪み量αを当該注目画素の歪曲歪み量として取得する。図４（Ａ）は、歪曲歪み量αと画像中心からの距離Ｌとの間の関係の一例を示すグラフである。図４（Ａ）は、画角中心から離れる程、歪曲歪み量αが小さくなる例を示している。図４（Ａ）に示されるように、歪曲歪み量αは、単位距離ｎの間隔の離散的な点（座標）の距離Ｌ_０（＝０），Ｌ_１，Ｌ_２，Ｌ_３，…にそれぞれ対応する離散的な値α_０，α_１，α_２，α_３，…として与えられている。離散的な点と点との間の任意の点に対応する歪曲歪み量αは、補間により算出することができる。たとえば線形補間法を使用する場合、距離Ｌ_ｋ，Ｌ_ｋ＋１の間の内分点の距離Ｌに対応する歪曲歪み量α＝α（ｋ，ｋ＋１，Δ）は、次式（２）で与えられる。

上式（２）において、Δは、距離Ｌの点と距離Ｌ_ｋの点との間の距離であり、ｎ−Δは、距離Ｌの点と距離Ｌ_ｋ＋１の点との間の距離である（図４（Ｂ））。なお、上記方法に代えて、Ｎ次の補間多項式（Ｎは２以上の整数）を用いて任意の点に対応する歪曲歪み量αを算出することも可能である。

次に、歪補正処理部２４は、当該注目画素の画素値を算出するためにノイズ低減画像ＮＲｓ内の参照すべき画素の参照座標（ｘ_０，ｙ_０）を算出する。歪曲歪みが補正された出力画像ＤＲｓの座標（ｘ，ｙ）と、実際に撮像されたノイズ低減画像ＮＲｓの参照座標（ｘ_０，ｙ_０）との間には歪曲収差に起因するズレが生じている。本実施の形態では、歪曲収差は、撮像光学系の画角中心からの距離（像高）のみに依存するものと想定されている。参照座標（ｘ_０，ｙ_０）は、当該座標（ｘ，ｙ）に対応する歪曲歪み量αを用いて次式（３）により算出される。

参照座標の値ｘ_０，ｙ_０は、ノイズ低減画像ＮＲｓ内に実存する画素の座標値と一致するとは限らない。言い換えれば、参照座標の値ｘ_０，ｙ_０は、必ずしも整数値にならない。このため、歪補正処理部２４は、参照すべき画素もしくはその周辺画素の画素値をサンプリングし、サンプリングした画素値を用いた補間処理を行うことにより出力画像ＤＲｓの注目画素の画素値Ｇ（ｘ，ｙ）を算出することができる。図５は、線形補間法により参照座標（ｘ_０，ｙ_０）の画素値を加重平均で補間する方法を説明するための図である。図５に示されるように、参照座標（ｘ_０，ｙ_０）に対する周辺画素の座標（ｉ，ｊ），（ｉ＋１，ｊ），（ｉ，ｊ＋１），（ｉ＋１，ｊ＋１）の画素値を用いて参照座標（ｘ_０，ｙ_０）の画素値すなわち注目画素の画素値を補間することができる。参照座標（ｘ_０，ｙ_０）は、左上の座標（ｉ，ｊ）から水平方向にδｘだけ離間し、垂直方向にδｙだけ離間しているものとする。ノイズ低減画像ＮＲｓにおける任意座標（ｐ，ｑ）の画素値をｇ（ｐ，ｑ）と表し、出力画像ＤＲｓにおける注目画素の画素値をＧ（ｘ，ｙ）と表すとき、注目画素の画素値Ｇ（ｘ，ｙ）は、次式（４）を用いて算出される。

以上に説明したように歪補正処理部２４は、歪曲歪み量αに応じた倍率でノイズ低減画像ＮＲｓを局所的に変形（拡大または縮小）することでノイズ低減画像ＮＲｓの歪曲歪みを補正することができる。ここで、ノイズ低減画像ＮＲｓにおける注目画素の画像中心からの距離をＨで表すとすると、この距離Ｈは、実像高に対応する量であり、理想的な像高に対応する距離Ｌとこれに対応する歪曲歪み量αとの積で与えられる（すなわち、Ｈ＝α×Ｌ）。前述の通り、本実施の形態では、歪曲収差は、撮像光学系の画角中心からの距離（像高）のみに依存するものと想定されているので、距離Ｈは、距離Ｌを独立変数とする関数Ｈ＝ｆ（Ｌ）と表現することができる。よって、歪曲歪みを補正するための局所的な変形（拡大または縮小）倍率をＲで表すとすると、倍率Ｒは、Ｌに関するＨの１次微分の逆数として表現することができる。このとき、倍率Ｒは、次式（５）で与えられる。

ここで、Ｒ＝１の場合は、等倍、すなわち拡大縮小を行わない場合を意味する。Ｒの値が１より大きい場合は、歪み補正処理によって注目画素を中心する局所的な画素領域が拡大されることを意味し、Ｒの値が１より小さい場合は、歪み補正処理によって注目画素を中心する局所的な画素領域が縮小されることを意味する。

次に、パラメータ演算処理部２２の動作について説明する。

まず、パラメータ演算処理部２２は、図６に示されるように、入力画像Ｉｓ中の注目画素と画像中心との間の距離Ｌｉを算出する。注目画素の座標を（ｘｉ，ｙｉ）とし、画像中心の座標を（Ｘ_Ｃ，Ｙ_Ｃ）とするとき、次式（６）に従って距離Ｌｉを算出することができる。

次に、パラメータ演算処理部２２は、算出された距離Ｌｉに基づいて倍率Ｒを算出するとともに、倍率Ｒの適用方向（拡大または縮小が発生する方向）を示すベクトル（ｓ，ｔ）のベクトル値ｓ，ｔを算出する。

ところで、倍率Ｒは、上式（５）と同様の次式（７）で表現することができる。

よって、距離Ｌｉを、距離Ｌを独立変数とする多項式関数などの関数Ｌｉ＝ｆ（Ｌ）として与えることができれば、その一次微分関数を用いて倍率Ｒを算出することができる。あるいは、上式（７）の近似式を用いて倍率Ｒを算出することも可能である。図４に例示されるように、歪曲歪み量αが離散的な値α_０，α_１，α_２，…として与えられている場合には、単位距離ｎが微小であるので、Ｌ＝Ｌ_ｋ（＝ｎ×ｋ）のとき、上式（７）から以下の近似式を導出することができる。

よって、次の近似式（７ａ）を導出することができる。

図７は、近似式（７ａ）を用いて倍率Ｒを算出する手順を示すフローチャートである。図７に示されるように、パラメータ演算処理部２２は、まず、変数ｋを「１」に設定し（ステップＳ１１）、距離Ｌｉが、距離Ｌ_ｋに対応する歪み補正前の距離α_ｋ・Ｌ_ｋ未満であるか否かを判定する（ステップＳ１２）。距離Ｌｉが距離α_ｋ・Ｌ_ｋ未満ではない場合（ステップＳ１２のＮＯ）、パラメータ演算処理部２２は、変数ｋを１だけインクリメントし（ステップＳ１３）、その後、ステップＳ１２に処理を戻す。距離Ｌｉが距離α_ｋ・Ｌ_ｋ未満となった場合は（ステップＳ１２のＹＥＳ）、最初にＬｉ＜α_ｋ・Ｌ_ｋの式を満たす距離Ｌ_ｋが検出される。このとき、上式（７ａ）に従って倍率Ｒが算出される（ステップＳ１４）。

一方、パラメータ演算処理部２２は、次式（８）に従って、倍率Ｒの適用方向（拡大または縮小が発生する方向）を示すベクトル（ｓ，ｔ）のベクトル値ｓ，ｔを算出することができる。

なお、倍率Ｒとベクトル値ｓ，ｔとを算出する順序は逆であってもよい。パラメータ演算処理部２２は、算出された倍率Ｒとベクトル（ｓ，ｔ）とをノイズ抑圧処理部２３に供給する。

次に、ノイズ抑圧処理部２３の動作について説明する。図８は、ノイズ抑圧処理部２３の基本構成を概略的に示す機能ブロック図である。図８に示されるように、ノイズ抑圧処理部２３は、フィルタリング制御部２９とノイズ抑圧部３０とを有する。

ノイズ抑圧部３０は、ローパスフィルタ３１_１〜３１_Ｑ（Ｑは３以上の整数）からなる空間フィルタ部３１と、差分器３２_１〜３２_Ｑと、ベースノイズクリップ回路３３_１〜３３_Ｑと、ハイクリップ処理部３４_１〜３４_Ｑと、ノイズ抑圧強度調整部３５_１〜３５_Ｑ＋１とを含む。

ローパスフィルタ３１_１〜３１_Ｑの各々は、入力画像Ｉｓ中の注目画素を含む参照範囲（サンプリング範囲）内の複数画素に対して空間フィルタリングを実行する。本実施の形態では、空間フィルタリングとして平滑化（ローパスフィルタリング）が実行される。ローパスフィルタ３１_１〜３１_Ｑは、互いに異なる広さの基準設定範囲を有し、フィルタリング制御部２９はこの基準設定範囲を基準として参照範囲を可変に設定することができる。

図９（Ａ），（Ｂ）は、基準参照範囲ＳＡを示す図である。図９（Ａ），（Ｂ）に示されるように、基準参照範囲ＳＡは、座標（ｘ，ｙ）での注目画素Ｐｃ（ｘ，ｙ）を中心とする（２Ｍ＋１）×（２Ｎ＋１）画素のマトリクス状配列からなる。ここで、Ｎ，Ｍは、１以上の整数である。ローパスフィルタ３１_１〜３１_Ｑは、互いに異なる広さの基準参照範囲を有するので、ローパスフィルタ毎にＮ，Ｍの値は異なる。ローパスフィルタ３１_１〜３１_Ｑの各々は、基準参照範囲ＳＡ内の画素値ｇ（ｘ−ｉ，ｙ−ｊ）に重み係数（フィルタ係数）Ｋ（ｉ，ｊ）を乗算し、その乗算結果ｇ（ｘ−ｉ，ｙ−ｊ）×Ｋ（ｉ，ｊ）を基準参照範囲ＳＡ内の全ての画素について加算することでフィルタ画像の画素値Ｄ（ｘ，ｙ）を算出する。具体的には、次式（９）に従って注目画素Ｐｃ（ｘ，ｙ）に対応するフィルタ画像の画素値Ｄ（ｘ，ｙ）を算出することができる。

ここで、重み係数Ｋ（ｉ，ｊ）の値は、全て正の値であり、重み係数Ｋ（ｉ，ｊ）の総和は１である。また、注目画素Ｐｃ（ｘ，ｙ）の画素値ｇ（ｘ，ｙ）に乗ずるべき重み係数Ｋ（０，０）は、他の重み係数よりも大きな値を有するように設定される。

フィルタリング制御部２９は、重み係数Ｋ（ｉ，ｊ）の設定値を変えることでローパスフィルタ３１_１〜３１_Ｑの参照範囲を変更することが可能である。たとえば、重み係数Ｋ（ｉ，ｊ）の全ての値が非零のとき、参照範囲は基準参照範囲ＳＡと一致し、参照範囲の広さは最大となる。重み係数Ｋ（ｉ，ｊ）のいくつかの値を零とすることで参照範囲の広さを基準参照範囲ＳＡよりも狭くすることができる。ローパスフィルタ３１_１〜３１_Ｑの参照範囲の広さは互いに異なる。本実施の形態では、ローパスフィルタ３１_１〜３１_Ｑの参照範囲は、ローパスフィルタ３１_ｑのフィルタ番号ｑが大きい程、広くなるように設定される。言い換えれば、任意の２つのローパスフィルタ３１_ｒ，３１_ｓ（ｒ＜ｓ）について、フィルタ番号の大きい方のローパスフィルタ３１_ｓの参照範囲は、フィルタ番号の小さい方のローパスフィルタ３１_ｓの参照範囲よりも広い。したがって、ローパスフィルタ３１_１〜３１_Ｑの出力（フィルタ画像）の空間周波数成分は同一とはならない。

差分器３２_１は、入力画像Ｉｓから、ローパスフィルタ３１_１により出力されたフィルタ画像の空間周波数成分を除去して差分画像Ｄ_１を生成し、この差分画像Ｄ_１をベースノイズクリップ処理部３３_１に供給する。他の差分器３２_２〜３２_Ｑは、ローパスフィルタ３１_１〜３１_Ｑ−１により出力されたフィルタ画像から、ローパスフィルタ３１_２〜３１_Ｑにより出力されたフィルタ画像の空間周波数成分をそれぞれ除去して差分画像Ｄ_２〜Ｄ_Ｑを生成する。これら差分画像Ｄ_２〜Ｄ_Ｑは、ベースノイズクリップ処理部３３_２〜３３_Ｑにそれぞれ供給される。すなわち、ｍ番目の差分器３２_ｍ（ｍは２以上Ｑ以下の正整数）は、ｍ−１番目のローパスフィルタ３１_ｍにより出力されたフィルタ画像から、ｍ番目のローパスフィルタ３１_ｍにより出力されたフィルタ画像の空間周波数成分を除去して差分画像Ｄ_ｍを生成し、この差分画像Ｄ_ｍをｍ番目のベースノイズクリップ処理部３３_ｍに供給する。

ベースノイズクリップ処理部３３_１〜３３_Ｑの各々は、正の閾値ＴＨｂ以下の振幅範囲内の入力信号レベルをこの閾値ＴＨｂよりも低い振幅の出力信号レベルに変換するクリップ処理機能を有する。これにより、ローパスフィルタ３１_１〜３１_Ｑと差分器３２_１〜３２_Ｑとで周波数帯域ごとに分離された信号のうち振幅の小さい信号成分をカットしてノイズ成分の抑圧を行うことができる。図１０は、ベースノイズクリップ処理部３３_１〜３３_Ｑの入出力特性の一例を示す図である。図１０に示されるように、入力信号振幅が閾値ＴＨｂ以下となる低振幅範囲内の入力信号レベル（−ＴＨｂ〜＋ＴＨｂの信号レベル範囲内の入力信号レベル）を零に変換することでノイズ成分の抑圧が行われている。なお、閾値ＴＨｂは、ベースノイズクリップ処理部３３_１〜３３_Ｑのそれぞれについて個別に設定することができる。

ハイクリップ処理部３４_１〜３４_Ｑは、ベースノイズクリップ処理部３３_１〜３３_Ｑの出力をそれぞれ入力とし、閾値ＴＨｂよりも大きな閾値ＴＨｈ以上の振幅範囲内の入力信号レベルを一定振幅の出力信号レベルに変換するクリップ処理機能を有する。このように一定の振幅以上の信号をクリップすることで、特定の周波数帯域で強度の強いノイズ抑圧を行うことができる。図１１は、ハイクリップ処理部３４_１〜３４_Ｑの入出力特性の一例を示す図である。図１１に示されるように、入力信号振幅が閾値ＴＨｈ以上となる高振幅範囲内の入力信号レベルをそれぞれ一定の出力信号レベルに変換することが行われている。すなわち、＋ＴＨｈ以上の信号レベル範囲内の入力信号レベルが一定の出力信号レベル（＝＋Ｍｓ）に変換され、−ＴＨｈ以下の信号レベル範囲内の入力信号レベルが一定の出力信号レベル（＝−Ｍｓ）に変換されている。なお、閾値ＴＨｈは、ハイクリップ処理部３４_１〜３４_Ｑのそれぞれについて個別に設定することができる。

ノイズ抑圧強度調整部３５_１〜３５_Ｑは、ハイクリップ処理部３３_１〜３３_Ｑの出力をそれぞれ入力とし、ハイクリップ処理部３３_１〜３３_Ｑの出力に補正係数を個別に乗算する機能を有する。一方、ノイズ抑圧強度調整部３５_Ｑ＋１は、ローパスフィルタ３１_Ｑの出力に補正係数を乗算する機能を有する。このように、ローパスフィルタ３１_１〜３１_Ｑと差分器３２_１〜３２_Ｑとで周波数帯域ごとに分離された信号に対して個別に補正係数を適用することで、特定の周波数帯域で強度の強いノイズ抑圧を行うことができる。そして、加算器３６は、ノイズ抑圧強度調整部３５_１〜３５_Ｑ＋１のＱ＋１個の出力を加算することでノイズ低減画像ＮＲｓを生成する。

フィルタリング制御部２９は、上記倍率Ｒが大きい程、ローパスフィルタ３１_１〜３１_Ｑの参照範囲（サンプリング範囲）を個別に狭くし、且つ、倍率Ｒの適用方向（ｓ，ｔ）とは平行な方向にその参照範囲を狭くする機能を有する。図２の歪補正処理部２４は、ノイズ低減画像ＮＲｓにおける当該参照範囲に相当する画素範囲を変形（拡大または縮小）することで当該画素範囲の歪曲歪みを補正することができる。フィルタリング制御部２９は、ローパスフィルタ３１_１〜３１_Ｑの各々について、注目画素の位置に関わらず、その変形後の当該画素範囲の広さが基準参照範囲の広さと略等しくなるように当該参照範囲を定める。これは、歪み補正処理後のノイズ特性を均一化するためである。

また、フィルタリング制御部２９は、ノイズ抑圧パラメータＲ，ｓ，ｔの値の組み合わせとローパスフィルタ３１_１〜３１_Ｑの候補参照範囲との対応関係を示すルックアップテーブルを有しており、これらルックアップテーブルを参照して、複数の候補参照範囲の中からノイズ抑圧パラメータＲ，ｓ，ｔの現在値に対応する参照範囲を動的に選択することができる。

以下、ローパスフィルタ３１_１〜３１_Ｑの個数が３個の場合のノイズ抑圧処理部２３の構成について説明する。図１２は、３個のローパスフィルタ３１_１〜３１_３からなる空間フィルタ部３１を有するノイズ抑圧処理部２３の構成を概略的に示す図である。

図１３（Ａ）〜（Ｅ）は、図１２のローパスフィルタ３１_１に適用されるべき３×３画素の候補参照範囲ＳＡ１１，ＳＡ１２，ＳＡ１３，ＳＡ１４，ＳＡ１５を示す図である。図１３（Ａ）の候補参照範囲ＳＡ１１がローパスフィルタ３１_１の基準参照範囲であり、歪曲歪みが零である場合に選択される参照範囲である。図１３（Ａ）〜（Ｅ）において、注目画素Ｐ（ｘ，ｙ）に対して斜線でハッチングされた領域は、参照範囲から除かれた画素領域であることを意味する。図１４（Ａ）〜（Ｃ）は、候補参照範囲ＳＡ１１，ＳＡ１２，ＳＡ１３に適用されるべき重み係数（フィルタ係数）の例を示す図である。次に、図１５（Ａ）〜（Ｉ）は、図１２のローパスフィルタ３１_２に適用されるべき候補参照範囲ＳＡ２１，ＳＡ２２，ＳＡ２３，ＳＡ２４，ＳＡ２５，ＳＡ２６，ＳＡ２７，ＳＡ２８，ＳＡ２９を示す図であり、図１６（Ａ）〜（Ｉ）は、図１２のローパスフィルタ３１_３に適用されるべき候補参照範囲ＳＡ３１，ＳＡ３２，ＳＡ３３，ＳＡ３４，ＳＡ３５，ＳＡ３６，ＳＡ３７，ＳＡ３８，ＳＡ３９を示す図である。ここで、候補参照範囲ＳＡ２１がローパスフィルタ３１_２の基準参照範囲であり、候補参照範囲ＳＡ３１がローパスフィルタ３１_３の基準参照範囲である。これら、候補参照範囲ＳＡ２１，ＳＡ３１は、歪曲歪みが零である場合に選択される。図１４（Ａ）〜（Ｉ）及び図１５（Ａ）〜（Ｉ）において、注目画素Ｐ（ｘ，ｙ）に対して斜線でハッチングされた領域は、参照範囲から除かれた画素領域であることを意味する。

図１７は、図１２のローパスフィルタ３１_１に適用されるべき参照範囲を選択するために予め用意されたルックアップテーブルの一例を示す図である。また、図１８は、図１２のローパスフィルタ３１_２，３１_３の双方に適用されるべき参照範囲を選択するために予め用意されたルックアップテーブルの一例を示す図である。ここで、θは、図１９に示されるように、ベクトル値ｓ，ｔをＸＹ直交座標系にプロットした際の、原点に対する座標（ｓ，ｔ）の角度を、Ｘ軸正方向を０°、半時計周りの角度を正として、−１８０°から１８０°の範囲で表した値とする。図１７及び図１８のルックアップテーブルには、図１３（Ａ）〜（Ｅ），図１５（Ａ）〜（Ｉ）及び図１６（Ａ）〜（Ｉ）における候補参照範囲の符号が記載されている。

図１２のフィルタリング制御部２９は、図１７及び図１８のルックアップテーブルを参照して、ノイズ抑圧パラメータＲ，ｓ，ｔの現在値の組み合わせに対応する参照範囲を複数の候補参照範囲の中から動的に選択することができる。また、図１７及び図１８のルックアップテーブルに示されるように、倍率Ｒが大きくなる程、ローパスフィルタ３１_１〜３１_３の参照範囲（サンプリング範囲）はそれぞれ段階的に狭くなることが分かる。たとえば、図１７に示されるように、−１８０°＜θ＜−１５７．５°の範囲では、ローパスフィルタ３１_１の適用範囲は、Ｒ≦２．０のときに適用範囲ＳＡ１１が選択され、Ｒ＞２．０のときには、適用範囲ＳＡ１１よりも狭い適用範囲ＳＡ１２が選択される。また、倍率Ｒが大きくなると、ローパスフィルタ３１_１〜３１_３の参照範囲は、主に、倍率Ｒの適用方向（ｓ，ｔ）とは平行な方向に段階的に狭くなることも分かる。たとえば、図１８に示されるように、θ＝０°を中心とする−２２．５°＜θ＜＋２２．５°の範囲内では、ローパスフィルタ３１_２の参照範囲は、倍率Ｒが大きくなる程、基準参照範囲ＳＡ２１から候補参照範囲ＳＡ２２にあるいは候補参照範囲ＳＡ２２から候補参照範囲ＳＡ２３に切り換えられ、θ＝０°の角度方向（±Ｘ軸方向）に段階的に狭くなる。

次に、実施の形態１の効果について説明する。

上記したように本実施の形態の画像処理装置２１では、フィルタリング制御部２９は、倍率Ｒに応じて空間フィルタ部３１の参照範囲（サンプリング範囲）の広さを動的に変更し、倍率Ｒが大きい程、参照範囲を狭くする。これにより、画像のノイズが視覚的に目立ちやすくなる倍率Ｒの大きい部分に対して局所的にノイズ抑圧処理の強度を上げることができる。よって、図２の歪補正処理部２４で歪み補正処理が行われる場合でも、歪曲歪みを有する入力画像Ｉｓに重畳されたノイズが歪み補正処理により引き伸ばされることに起因する画質劣化を効果的に抑制することができる。しかも、フィルタリング制御部２９は、主に、倍率Ｒの適用方向（ベクトル（ｓ，ｔ）の方向）とは平行な方向に参照範囲を狭くするので、ノイズ成分が特定方向に引き伸ばされて視覚的に不自然な特性となることを防ぐことができる。

図２の歪補正処理部２４は、ノイズ低減画像ＮＲｓにおける当該参照範囲に相当する画素範囲を変形（拡大または縮小）することで当該画素範囲の歪曲歪みを補正するところ、フィルタリング制御部２９は、ローパスフィルタ３１_１〜３１_Ｑの各々について、注目画素の位置に関わらず、変形後の当該画素範囲の広さが基準参照範囲の広さと略等しくなるように当該参照範囲を定めることができる。特に、フィルタリング制御部２９は、歪補正処理部２４での変形方向とは平行な方向に、倍率Ｒの逆数の倍率となるように参照範囲の幅を狭くしている。これにより、歪み補正処理により画素ごとに倍率Ｒで変形される方向が異なることに起因する不自然なノイズの発生を効果的に抑制することができる。したがって、歪み補正処理後のノイズ特性を均一化することが可能となる。

実施の形態２．
次に、本発明に係る実施の形態２について説明する。本実施の形態の画像処理装置の構成は、図８のフィルタリング制御部２９の一部の動作を除いて、実施の形態１の画像処理装置２１の構成と同じである。このため、図２及び図８を参照しつつ実施の形態２について説明する。上記実施の形態１では、フィルタリング制御部２９は、ルックアップテーブルを参照してローパスフィルタ３１_１〜３１_Ｑの参照範囲を動的に決定していたが、本実施の形態のフィルタリング制御部２９は、倍率Ｒと方向パラメータｓ，ｔとを入力として、ローパスフィルタ３１_１〜３１_Ｑの参照範囲を定める画素位置を演算処理により算出する。

図２０は、本実施の形態の基準参照範囲ＳＡの一例を概略的に示す図である。この基準参照範囲ＳＡは、注目画素Ｐｃを中心とする（２Ｍ＋１）×（２Ｎ＋１）画素のマトリクス状配列からなる。ここで、Ｍ，Ｎは、１以上の整数である。実施の形態１の場合と同様に、ローパスフィルタ３１_１〜３１_Ｑは、互いに異なる基準参照範囲を有するので、ローパスフィルタ毎にＮ，Ｍの値は異なる。また、図２０には、各画素に局所的な座標が示されている。注目画素Ｐｃの座標は（０，０）である。

フィルタリング制御部２９は、ローパスフィルタ３１_１〜３１_Ｑの各々について、基準参照範囲ＳＡ内の全ての画素の座標（ａ，ｂ）（ａは、−Ｍ〜＋Ｍの範囲内の整数であり、ｂは、−Ｎ〜＋Ｎの範囲内の整数である。）を次の変換式（１０）に従って座標（ｐ，ｑ）に変換する。

式（１０）において、Ｒ（θ）は、拡大縮小の方向がＸ軸と一致するように座標の回転を行う回転行列であり、Ｓ（１／Ｒ）は、Ｘ軸方向に倍率Ｒの逆倍率１／Ｒで座標位置を変化させる行列であり、Ｒ（−θ）は、Ｒ（θ）の逆行列である。

上式（１０）を整理すると、次式（１０ａ）が得られる。

フィルタリング制御部２９は、上式（１０ａ）を用いて算出された座標の集合｛（ｐ，ｑ）｝で特定される範囲を参照範囲として指定する。これにより、フィルタリング制御部２９は、倍率Ｒと方向パラメータｓ，ｔとに応じて空間フィルタ部３１の参照範囲（サンプリング範囲）の広さを動的に変更し、倍率Ｒが大きい程、参照範囲を狭くすることができる。

また、フィルタリング制御部２９は、歪補正処理部２４での変形方向に対し垂直な方向については参照範囲を変形せず、倍率Ｒの適用方向（ベクトル（ｓ，ｔ）の方向）とは平行な方向に参照範囲を狭くすることができる。さらには、図２の歪補正処理部２４は、ノイズ低減画像ＮＲｓにおける当該参照範囲に相当する画素範囲を変形（拡大または縮小）することで当該画素範囲の歪曲歪みを補正するところ、フィルタリング制御部２９は、ローパスフィルタ３１_１〜３１_Ｑの各々について、注目画素の位置に関わらず、変形後の当該画素範囲の広さが基準参照範囲の広さと略等しくなるように当該参照範囲を定めることができる。

したがって、実施の形態２でも、実施の形態１の場合と同様に、歪曲歪みを有する画像に重畳されたノイズが歪み補正処理により引き伸ばされることに起因する画質劣化を抑制することができる。

また、変換式（１０ａ）を使用して参照範囲が動的に決定されるので、実施の形態１の場合のようにルックアップテーブルのデータを予め用意し保持する必要がないという利点がある。

実施の形態３．
次に、本発明に係る実施の形態３について説明する。図２１は、実施の形態３のノイズ抑圧処理部２３Ｂの構成を概略的に示す図である。本実施の形態の画像処理装置の構成は、ノイズ抑圧処理部２３Ｂの構成を除いて、上記実施の形態１の画像処理装置２１の構成と同じである。

図２１に示されるように、ノイズ抑圧処理部２３Ｂは、上記実施の形態１のノイズ抑圧処理部２３と同様にフィルタリング制御部２９とノイズ抑圧部３０とを有する。ノイズ抑圧処理部２３Ｂは、さらにノイズ抑圧制御部３７を有する。このノイズ抑圧制御部３７は、倍率Ｒに応じて、ベースノイズクリップ処理部３３_１〜３３_Ｑ及びハイクリップ処理部３４_１〜３４_Ｑにおける閾値ＴＨｂ，ＴＨｈを動的に変更するとともに、ノイズ抑圧強度調整部３５_１〜３５_Ｑ＋１における補正係数を動的に変更する機能を有する。

図２２は、Ｑ＝３の場合の、倍率Ｒと、ベースノイズクリップ閾値ＴＨｂ、ハイクリップ閾値ＴＨｈ及び補正係数の組み合わせとの対応関係を示すルックアップテーブルを表す図である。図２２には、ベースノイズクリップ回路３３_１〜３３_３とハイクリップ処理部３４_１〜３４_３とノイズ抑圧強度調整部３５_１〜３５_４との符号が示されている。ノイズ抑圧制御部３７は、図２２のルックアップテーブルを参照して、倍率Ｒの現在値に対応するベースノイズクリップ閾値ＴＨｂ、ハイクリップ閾値ＴＨｈ及び補正係数を得ることができる。図２２によれば、ベースノイズクリップ処理部３３_１，３３_２，３３_３に対するベースクリップ閾値ＴＨｂは、倍率Ｒが大きくなる程、段階的に高くなる。また、ハイクリップ処理部３４_１，３４_２，３４_３に対するハイクリップ閾値ＴＨｈは、倍率Ｒが大きくなる程、段階的に低くなる。ノイズ抑圧強度調整部３５_１，３５_２，３５_３に対する補正係数は、倍率Ｒが大きくなる程、段階的に小さくなるが、ノイズ抑圧強度調整部３５_４に対する補正係数は、倍率Ｒの値に関わらず、一定値（＝１．０）である。

上記のように実施の形態３では、倍率Ｒの現在値に応じてノイズ抑圧処理のパラメータを変動させることにより、画像のノイズが視覚的に目立ちやすくなる倍率Ｒの大きい部分に対して局所的にノイズ抑圧処理の強度を上げ、歪み補正処理後の出力画像ＤＲｓの画質を向上させることができる。

実施の形態４．
次に、本発明に係る実施の形態４について説明する。図２３は、実施の形態４の撮像装置１の概略構成を示すブロック図である。図２３に示されるように、撮像装置１は、撮像光学系（レンズ機構）１１、ＣＣＤ画像センサ１２、フロントエンド部１３、Ａ／Ｄ変換器（ＡＤＣ）１４及び制御回路２を有している。制御回路２は、信号処理部２０、画像処理部２１Ｂ、制御部４０、メモリ４１及び外部インタフェース部（外部Ｉ／Ｆ部）４２を有する。これら処理ブロック２０，２１Ｂ，４０，４１，４２は、バス４３を介して相互に接続されている。制御部４０は、制御回路２の全体動作を制御するＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。画像処理部２１Ｂは、上記実施の形態１〜３の画像処理装置のいずれかと同じ構成を有する。

撮像光学系（レンズ機構）１１は、前側レンズ１１０、開口絞り１１１及び後側レンズ１１２を有する。ＣＣＤ画像センサ１２は、単板式の固体撮像素子であり、単一の色フィルタアレイ１２１と単一のＣＣＤ素子１２２とを有する。色フィルタアレイ１２１は、互いに異なるＮ個の波長域の色の光をそれぞれ透過させるＮ種類の色フィルタ（Ｎは２以上の正整数）を周期的に且つ面状に配列してなるものであればよい。本実施の形態では、色フィルタアレイ１２１の色フィルタ配列として原色系のベイヤ配列を使用することができるが、これに限定されるものではなく、補色系のベイヤ配列を使用してもよい。なお、ＣＣＤ画像センサに代えて、ＣＭＯＳ画像センサなどの他の固体撮像素子を使用してもよい。

タイミングジェネレータ１６は、駆動タイミング信号を発生して駆動回路１５に供給する。駆動回路１５は、タイミングジェネレータ１６から出力された駆動タイミング信号に応じてＣＣＤ画像センサ１２を駆動するための駆動信号を生成する。ＣＣＤ画像センサ１２は、この駆動信号に基づいて、光電変換及び電荷転送を行う。

撮像光学系１１は、被写体の光学像をＣＣＤ画像センサ１２の撮像面上に合焦させる。ＣＣＤ画像センサ１２で光電変換して得られた撮像信号は、フロントエンド部１３に転送される。フロントエンド部１３は、撮像信号に対して、相関二重サンプリング（ＣＤＳ：Ｃｏｒｒｅｌｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）処理やプログラマブル利得増幅（ＰＧＡ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｉｎ Ａｍｐｌｉｆｉｃａｔｉｏｎ）を実行し、その結果得られたアナログ信号をＡＤＣ１４に出力する。ここで、ＣＤＳ処理は、ＣＣＤ画像センサ１２から出力される撮像信号からノイズなどの不要な成分を除去する処理である。ＡＤＣ１４は、フロントエンド部１３の出力信号をデジタル信号に変換し、このデジタル信号を制御回路２の信号処理部２０に供給する。

信号処理部２０は、ＡＤＣ１４の出力信号に、色同時化処理、階調補正処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理及び色補正処理などを施して得られる映像信号をバス４３に出力する。バス４３は、制御部４０による制御を受けて、当該映像信号をメモリ４１のＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４１Ｂに転送する。画像処理部２１Ｂは、ＲＡＭ４１Ｂから映像信号を読み出して、上記の空間フィルタリングとクリップ処理とノイズ抑圧強度調整処理とを実行することができる。

なお、上記画像処理部２１Ｂの機能の全部または一部は、ハードウェア構成で実現されてもよいし、あるいは、マイクロプロセッサにより実行されるコンピュータプログラムで実現されてもよい。たとえば、マイクロプロセッサを有するＭＰＵ４０が不揮発性メモリであるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４１Ａからコンピュータプログラムをロードし実行することによって画像処理部２１Ｂの機能を実現することができる。

実施の形態１〜４の変形例．
以上、図面を参照して本発明に係る種々の実施の形態について述べたが、これらは本発明の例示であり、上記以外の様々な形態を採用することもできる。たとえば、ベースノイズクリップ処理部３３_１〜３３_Ｑ及びハイクリップ処理部３４_１〜３４_Ｑに代えて、ルックアップテーブル回路を用いてもよい。

また、上記実施の形態１〜３では、歪曲歪み量αは、図４に例示したように距離Ｌに対応する値として与えられるものであったが、これに代えて、Ｘ座標値とＹ座標値との組に対応する値として与えられてもよい。

１ 撮像装置、 ２ 制御回路、 １１ 撮像光学系、 １２ ＣＣＤ画像センサ、 １３ フロントエンド部（アナログ信号処理部）、 １４ Ａ／Ｄ変換器（ＡＤＣ）、 １５ 駆動回路、 １６ タイミングジェネレータ、 ２０ 信号処理部、 ２１，２１Ｂ 画像処理装置、 ２２ パラメータ演算処理部、 ２３ ノイズ抑圧処理部、 ２４ 歪補正処理部、 ２９ フィルタリング制御部、 ３０ ノイズ抑圧部、 ３１ 空間フィルタ部、 ３１_１〜３１_Ｑ ローパスフィルタ、 ３２_１〜３２_Ｑ 差分器、 ３３_１〜３３_Ｑ ベースノイズクリップ処理部、 ３４_１〜３４_Ｑ ハイクリップ処理部、 ３５_１〜３５_Ｑ＋１ ノイズ抑圧強度調整部、 ３６ 加算器、 ３７ ノイズ抑圧制御部。

Claims (19)

1. 入力画像中の注目画素を含む参照範囲内の複数画素に対して空間フィルタリングを実行してノイズ低減画像を生成するノイズ抑圧部と、
   前記ノイズ低減画像の局所的な歪曲歪み量に応じた倍率で前記ノイズ低減画像を局所的に変形することで前記ノイズ低減画像の歪曲歪みを補正する歪補正処理部と、
   前記倍率に応じて前記参照範囲の広さを動的に変更するフィルタリング制御部と
   を備え、
   前記フィルタリング制御部は、前記倍率が大きい程、前記倍率の適用方向であり、前記入力画像の画像中心から延びる径方向に前記参照範囲を狭くする
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記参照範囲は、前記歪曲歪み量が零のときに所定の基準参照範囲に設定され、
   前記歪補正処理部は、前記ノイズ低減画像における前記参照範囲に相当する画素範囲を変形することで前記画素範囲の歪曲歪みを補正し、
   前記フィルタリング制御部は、当該変形された画素範囲の広さが前記基準参照範囲の広さと等しくなるように前記参照範囲を定める
   ことを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記倍率の複数の値と複数の候補参照範囲との間の対応関係を示すルックアップテーブルをさらに備え、
   前記フィルタリング制御部は、前記ルックアップテーブルを参照して、前記複数の候補参照範囲の中から、前記倍率の現在値に対応する候補参照範囲を前記参照範囲として選択する
   ことを特徴とする画像処理装置。
4. 請求項１または２に記載の画像処理装置であって、
   前記フィルタリング制御部は、前記倍率の現在値に基づいて、前記参照範囲を定める画素位置を演算処理により算出する
   ことを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置であって、
   前記倍率の値と前記適用方向を示す方向パラメータの値との組の複数個と複数の候補参照範囲との間の対応関係を示すルックアップテーブルをさらに備え、
   前記フィルタリング制御部は、前記ルックアップテーブルを参照して、前記複数の候補参照範囲の中から、前記倍率の現在値と該現在値の適用方向との組に対応する候補参照範囲を前記参照範囲として選択する
   ことを特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置であって、前記フィルタリング制御部は、前記倍率の現在値と該現在値の適用方向とに基づいて、前記参照範囲を定める画素位置を演算処理により算出することを特徴とする画像処理装置。
7. 請求項１から６のうちのいずれか１項に記載の画像処理装置であって、
   前記参照範囲は、互いに異なる広さの第１乃至第Ｑ（Ｑは３以上の正整数）の参照範囲からなり、
   前記ノイズ抑圧部は、
   前記第１乃至第Ｑの参照範囲に対して個別に前記空間フィルタリングを実行することで第１乃至第Ｑのフィルタ画像をそれぞれ生成する第１乃至第Ｑの空間フィルタと、
   前記入力画像から前記第１のフィルタ画像の空間周波数成分を除去して第１の差分画像を生成する第１の差分器と、
   前記第１乃至第Ｑ−１のフィルタ画像から前記第２乃至第Ｑのフィルタ画像の空間周波数成分をそれぞれ除去して第２乃至第Ｑの差分画像をそれぞれ生成する第２乃至第Ｑの差分器と、
   前記第１乃至第Ｑの差分画像における指定された振幅範囲内の入力信号レベルを一定の振幅の出力信号レベルにそれぞれ変換するクリップ処理を実行して第１乃至第Ｑのクリップ画像をそれぞれ生成する第１乃至第Ｑのクリップ処理部と、
   前記第１乃至第Ｑのクリップ画像と前記第Ｑのフィルタ画像とを加算して前記ノイズ低減画像を生成する加算器と
   を有する
   ことを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置であって、前記第１乃至第Ｑの参照範囲の広さは、この順番で次第に大きくなるように設定されていることを特徴とする画像処理装置。
9. 請求項７または８に記載の画像処理装置であって、前記第１乃至第Ｑのクリップ処理部の各々は、前記振幅範囲のうち第１閾値以下の低振幅範囲内の入力信号レベルを前記第１閾値よりも低い振幅の第１の出力信号レベルに変換するベースクリップ処理部を含むことを特徴とする画像処理装置。
10. 請求項９に記載の画像処理装置であって、前記第１乃至第Ｑのクリップ処理部の各々は、前記振幅範囲のうち前記第１閾値よりも大きな第２閾値以上の高振幅範囲内の入力信号レベルを一定の振幅の第２の出力信号レベルに変換するハイクリップ処理部をさらに含むことを特徴とする画像処理装置。
11. 請求項７から１０のうちのいずれか１項に記載の画像処理装置であって、前記倍率に応じて、前記クリップ処理部における前記振幅範囲を動的に変更するノイズ抑圧制御部をさらに備えることを特徴とする画像処理装置。
12. 請求項１１に記載の画像処理装置であって、
    前記第１乃至第Ｑのクリップ画像の信号と前記第Ｑのフィルタ画像の信号とにそれぞれ補正係数を乗算するノイズ抑圧強度調整部をさらに備え、
    前記ノイズ抑圧制御部は、前記倍率に応じて前記補正係数を動的に変更する
    ことを特徴とする画像処理装置。
13. 請求項１から１２のうちのいずれか１項に記載の画像処理装置であって、前記空間フィルタリングは、ローパスフィルタリングであることを特徴とする画像処理装置。
14. 請求項１から１３のうちのいずれか１項に記載の画像処理装置であって、
    前記入力画像は、光学系により結像された光学像を光電変換することで得られた画像であり、
    前記歪曲歪み量は、前記撮像光学系の歪曲収差に起因するものである
    ことを特徴とする画像処理装置。
15. 請求項１から１４のうちのいずれか１項に記載の画像処理装置を含むことを特徴とする撮像装置。
16. 入力画像中の注目画素を含む参照範囲内の複数画素に対して空間フィルタリングを実行してノイズ低減画像を生成するステップと、
    前記ノイズ低減画像の局所的な歪曲歪み量に応じた倍率で前記ノイズ低減画像を局所的に変形することで前記ノイズ低減画像の歪曲歪みを補正するステップと、
    前記倍率に応じて前記参照範囲の広さを動的に変更するステップと
    を備え、
    前記参照範囲を動的に変更する当該ステップでは、前記倍率が大きい程、前記倍率の適用方向であり、前記入力画像の画像中心から延びる径方向に前記参照範囲を狭くすることで前記参照範囲が動的に変更される
    ことを特徴とする画像処理方法。
17. 請求項１６に記載の画像処理方法であって、
    前記参照範囲は、前記歪曲歪み量が零のときに所定の基準参照範囲に設定され、
    前記歪曲歪みを補正する当該ステップでは、前記ノイズ低減画像における前記参照範囲に相当する画素範囲を変形することで前記画素範囲の歪曲歪みが補正され、
    前記参照範囲を動的に変更する当該ステップは、当該変形された画素範囲が前記基準参照範囲と等しくなるように前記参照範囲を定めるステップを含む
    ことを特徴とする画像処理方法。
18. メモリから読み出されて、請求項１６または１７に記載の画像処理方法が備えるステップをプロセッサに実行させることを特徴とするコンピュータプログラム。
19. 請求項１８に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images