JP6708378B2 - 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 - Google Patents

Description

本発明は、画像に含まれるモアレ成分を補正する画像処理装置に関する。

撮像光学系により撮影された被写体は、撮像光学系で発生する回折や収差等の影響により、１点から発生した光が１点に収束することができなくなるため微小な広がりを持つこととなる。このような微小な広がりを持った分布をＰＳＦ（点像強度分布）と呼ぶ。このような撮像光学系の影響により、撮影画像にはＰＳＦが畳み込まれて形成されることになり、画像がぼけて解像度が劣化する。

被写体像（光学像）をデジタル画像として取得する際において、光学像は撮像素子により画素ピッチ間隔で離散化される。このとき、光学像の周波数応答が撮像素子のナイキスト周波数を超えた周波数帯域まで応答を持つと、エリアシングが発生する。エリアシングの発生により、デジタル画像にモアレ（周期的なパターン）が発生する。デジタルカメラなどの撮像装置では、一般的にモアレの発生は好まれず、特に色モアレは偽色などとも呼ばれる。モアレの発生を低減するための方法として、光学ローパスフィルタを挿入して撮像素子のナイキスト周波数近傍の周波数応答を減衰させる方法が知られている。

一方、特許文献１には、光学レンズ（撮像光学系）を微小に駆動させて複数の画像を撮影することにより、モアレが発生していない画像を取得する撮像装置が開示されている。特許文献２には、印刷時のドット密度と画像自体の面密度との関係からモアレが発生する周波数を記憶し、画像の周波数特性からモアレが発生する画像内の領域を特定する画像処理方法が開示されている。非特許文献１には、画像の局所領域の色成分間には線形性があり、カラーノイズなどが発生した場合に色成分間の線形性を向上させることにより、カラーノイズを低減させる方法が開示されている。非特許文献２には、カラーノイズなどの色成分間の線形性を崩す現象を低減する方法が開示されている。

特開２０１４―５３８８３号公報 特開２００６―２６２０８１号公報

Ｃｏｌｏｒ Ｌｉｎｅｓ：Ｉｍａｇｅ Ｓｐｅｃｉｆｉｃ Ｃｏｌｏｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ． Ａ Ｃｏｎｖｅｘ Ｒｅｇｕｌａｒｉｚｅｒ ｆｏｒ Ｒｅｄｕｃｉｎｇ Ｃｏｌｏｒ Ａｒｔｉｆａｃｔ ｉｎ Ｃｏｌｏｒ Ｉｍａｇｅ Ｒｅｃｏｖｅｒｙ

しかしながら、特許文献１の撮像装置では、撮像光学系を微小駆動させて、複数の画像を撮影する必要があり、撮像装置の構成が複雑化する。
特許文献２の画像処理方法は、画像を印刷する際の画像処理に限定される。非特許文献１および非特許文献２の方法では、色成分間の線形性を向上させるための補正量について記載されていないため、画像に含まれるモアレ成分を効果的に補正することができない。

そこで本発明は、画像に含まれるモアレ成分を効果的に補正可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理装置は、光学特性情報に基づいて画像に含まれるモアレ成分を推定する推定手段と、推定されたモアレ成分に基づいて補正量を決定する決定手段と、前記補正量に基づいて、前記画像に含まれる前記モアレ成分を低減するように該画像を補正する補正手段とを有し、前記補正手段は、前記補正量に基づいて、画像における３つの色成分を示す３軸のカラーラインマトリクスに前記画像の各画素をプロットした際の線形性を調整する。

本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換して画像信号を出力する撮像素子と、光学特性情報に基づいて、前記画像信号から生成される画像に含まれるモアレ成分を推定する推定手段と、推定されたモアレ成分に基づいて補正量を決定する決定手段と、前記補正量に基づいて、前記画像に含まれる前記モアレ成分を低減するように該画像を補正する補正手段とを有し、前記補正手段は、前記補正量に基づいて、画像における３つの色成分を示す３軸のカラーラインマトリクスに前記画像の各画素をプロットした際の線形性を調整する。

本発明の他の側面としての画像処理方法は、光学特性情報に基づいて画像に含まれるモアレ成分を推定するステップと、推定されたモアレ成分に基づいて補正量を決定するステップと、前記補正量に基づいて、前記画像に含まれる前記モアレ成分を低減するように該画像を補正するステップとを有し、前記補正するステップは、前記補正量に基づいて、画像における３つの色成分を示す３軸のカラーラインマトリクスに前記画像の各画素をプロットした際の線形性を調整することにより行われる。

本発明の他の側面としての画像処理プログラムは、光学特性情報に基づいて画像に含まれるモアレ成分を推定するステップと、推定されたモアレ成分に基づいて補正量を決定するステップと、前記補正量に基づいて、前記画像に含まれる前記モアレ成分を低減するように該画像を補正するステップとを有し、前記補正するステップは、前記補正量に基づいて、画像における３つの色成分を示す３軸のカラーラインマトリクスに前記画像の各画素をプロットした際の線形性を調整することにより行われる画像処理方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、画像に含まれるモアレ成分を効果的に補正可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

実施例１における画像処理方法のフローチャートである。 実施例１におけるカラーラインマトリクスの一例を示す図である。 実施例１におけるモアレ補正処理前およびモアレ補正処理後のカラーラインマトリクスの各列の線形性を示す図である。 実施例１におけるモアレ発生量の推定領域を示す図である。 実施例１におけるモアレ補正処理前およびモアレ補正処理後の画像の一例である。 実施例２における画像処理方法のフローチャートである。 実施例３における画像処理システムの構成図である。 実施例４における撮像装置のブロック図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、図１を参照して、本発明の実施例１における画像処理方法について説明する。図１は、本実施例における画像処理方法のフローチャートである。図１の各ステップは、画像処理装置の各部により実行される。

まずステップＳ１０１において、本実施例の画像処理装置（取得部）は、画像回復処理の対象となる画像（撮影画像）を取得する。続いてステップＳ１０２において、画像処理装置（取得部）は、ステップＳ１０１にて取得された画像に対してモアレ補正処理を開始するため、撮影条件（撮影条件情報）を取得する。本実施例において、画像処理装置は、ステップＳ１０１にて取得された画像に付随する、例えばＥｘｉｆ情報などから撮影条件を取得するか、または、撮影条件を直接取得する。本実施例において、撮影条件は、撮影時のレンズを特定するためのレンズ識別番号（レンズＩＤ）、撮影時の焦点距離、Ｆ値、被写体距離、光学ローパスフィルタの有無やその特性、および、撮像素子のナイキスト周波数に関する情報を含む。

続いてステップＳ１０３において、画像処理装置（取得部）は、ステップＳ１０２にて取得した撮影条件に基づいて、光学特性情報を取得する。すなわち画像処理装置は、前述の組み合わせからなる撮影条件に対応した光学特性情報を取得（特定）する。本実施例において、光学特性情報は、光学伝達関数（ＯＴＦ）またはＯＴＦの絶対値である変調伝達関数（ＭＴＦ）である。

本実施例の画像処理装置は、画像の全体を垂直方向にＳ分割、水平方向にＴ分割して画像処理を行う。以下の説明では、画像内の垂直方向にｓ番目、水平方向にｔ番目のブロック（画像内の領域）を（ｓ，ｔ）と表し、（ｓ，ｔ）番目のブロックに関して説明する。

インコヒーレント結像系において、実空間（ｘ，ｙ）上で、撮影対象の物体をｆ（ｘ，ｙ）、点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）、光学像をｇ（ｘ，ｙ）とすると、これらの関係は、以下の式（１）のように表される。

ｇ（ｘ，ｙ）＝∫∫ｆ（Ｘ，Ｙ）＊ｈ（ｘ−Ｘ，ｙ−Ｙ）ｄＸｄＹ … （１）
式（１）に対してフーリエ変換を施し、実空間（ｘ，ｙ）から周波数空間（ｕ，ｖ）への変換を行うと、式（１）は以下の式（２）のように表すことができる。

Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＊Ｈ（ｕ，ｖ） … （２）
式（２）において、Ｆ（ｕ，ｖ）、Ｇ（ｕ，ｖ）、Ｈ（ｕ，ｖ）はそれぞれ、ｆ（ｘ，ｙ）、ｇ（ｘ，ｙ）、ｈ（ｘ，ｙ）のフーリエ変換である。

ＯＴＦは、式（２）に示されるＨ（ｕ，ｖ）に相当する。ＭＴＦは、Ｈ（ｕ，ｖ）の絶対値｜Ｈ（ｕ，ｖ）｜に相当する。ここで、光学ローパスフィルタや画素形状の周波数特性などを考慮してＯＴＦを決定してもよい。ＯＴＦは、像高や色（波長）に応じて大きく変化する。このため本実施例において、周波数空間（ｕ，ｖ）に加えて、画像内のブロック（ｓ，ｔ）、すなわち像高を考慮し、ＯＴＦをＨ（ｕ，ｖ，ｓ，ｔ）と表す。なお本実施例において、色（波長）に関する変数を加えることが好ましいが、この説明は省略する。

続いてステップＳ１０４において、画像処理装置（推定部）は、ステップＳ１０３にて取得した光学特性情報、すなわちＨ（ｕ，ｖ，ｓ，ｔ）として表されるＯＴＦに基づいて、モアレ発生量を推定する。そしてステップＳ１０５において、画像処理装置（決定部）は、ステップＳ１０４にて推定されたモアレ発生量に基づいて、補正量を決定する。Ｈ（ｕ，ｖ，ｓ，ｔ）は、物体（被写体）とは無関係な特性である。実際の像（光学像）は、式（２）に示されるようにＧ（ｕ，ｖ，ｓ，ｔ）に対応するが、Ｈ（ｕ，ｖ，ｓ，ｔ）からモアレ発生量を推定することができる。すなわち、実際の物体スペクトルＦ（ｕ，ｖ，ｓ，ｔ）の特性に関わらず、ＯＴＦとしてのＨ（ｕ，ｖ，ｓ，ｔ）が乗算された特性が取得されるため、Ｈ（ｕ，ｖ，ｓ，ｔ）のナイキスト周波数に応答があればモアレが発生する可能性がある。このため画像処理装置は、｜Ｈ（ｕ，ｖ，ｓ，ｔ）｜のナイキスト周波数（より具体的には、例えば、ナイキスト周波数の最大値、合計値、または、平均値）に基づいて、モアレ発生量を推定することができる。

本実施例の画像処理装置は、画像内の任意の領域におけるＲＧＢ成分のそれぞれを列ベクトルとして、図２に示されるように、カラーラインマトリクスとしての行列Ｍ＝（Ｍ１，Ｍ２，Ｍ３）を生成する。図２は、カラーラインマトリクスの一例を示す図である。Ｍ１、Ｍ２、Ｍ３はそれぞれ、ｍ行の行ベクトルであり、ｍは画像内の任意の領域の画素数と一致する。また、ｉ行目は第ｉ画素に対応する。Ｍ１、Ｍ２、Ｍ３はそれぞれ、画像のＲＧＢ成分と対応付けされている。

本実施例において、画像処理装置は、行列Ｍに対して特異値分解を行う。特異値分解により、Ｍ＝ＵΣＶ^＊が得られる。ここで、Ｖ^＊はＶの随伴行列である。このとき、特異行列Σの特異値σ１、σ２、σ３に関して、それぞれ、β１＝ｍａｘ｛（σ１−γ１），０｝、β２＝ｍａｘ｛（σ２−γ２），０｝、β３＝ｍａｘ｛（σ３−γ３），０｝とする。ここで、γ１、γ２、γ３はそれぞれ補正量であり、詳細は後述する。ｍａｘ｛Ａ，Ｂ｝は、ＡとＢのうち大きいほうの値をとることを意味する。以下、σ１≧σ２≧σ３の場合、すなわち最大特異値がσ１の場合について説明する。

最大特異値σ１と特異値σ２、σ３との比率が大きいほど、Ｍ１、Ｍ２、Ｍ３のベクトル間の線形性が高い。特に色モアレが発生すると、この比率は低下する。このため、σ１、σ２、σ３を前述のβ１、β２、β３に置き換えることにより、この比率を向上させてＭ１、Ｍ２、Ｍ３の線形性を向上させることができる。

本実施例において、補正量γ１、γ２、γ３は、それぞれ、γ１＝ｗ１＊λ１、γ２＝ｗ２＊λ２、γ３＝ｗ３＊λ３のように定義される。右辺のλ１、λ２、λ３は、それぞれ、モアレ発生量の推定値（推定されたモアレ成分）であり、Ｈ（ｕ，ｖ，ｓ，ｔ）から算出される。また、右辺のｗ１、ｗ２、ｗ３は、各特異値に関するウェイト（重み係数）として用いられる基準ウェイトである。例えば、（ｗ１，ｗ２，ｗ３）＝（０．０１，１，１）または（ｗ１，ｗ２，ｗ３）＝（０．１，１，１）のように、最大特異値σ１に関するウェイトｗ１を、特異値σ２、σ３のウェイトｗ２、ｗ３と比較して小さく設定すればよい。これは、最大特異値σ１に関する補正量を小さくし、特異値σ２、σ３の２つの特異値に対する補正量を大きくすることを意味する。

ここで、ウェイトＷ１を決定（算出）する手法の一例を説明する。まず、Ｈ（ｕ，ｖ，ｓ，ｔ）に関し、ｕ＝ｕＮ、ｖ＝ｖＮをそれぞれ、周波数空間（ｕ、ｖ）におけるナイキスト周波数とする。このナイキスト周波数は、使用する撮像素子に応じて決定されるパラメータである。そして、α１、α２、α３、α４を、それぞれ、ｕ＝ｕＮにおけるｖ軸上の最大値、ｕ＝−ｕＮにおけるｖ軸上の最大値、ｖ＝ｖＮにおけるｕ軸上の最大値、ｖ＝−ｖＮにおけるｕ軸上の最大値と定義する。すなわち、α１＝ｍａｘ｛｜Ｈ（ｕＮ，ｖ，ｓ，ｔ）｜｝、α２＝ｍａｘ｛｜Ｈ（−ｕＮ，ｖ，ｓ，ｔ）｜｝、α３＝ｍａｘ｛｜Ｈ（ｕ，ｖＮ，ｓ，ｔ）｜｝、α４＝ｍａｘ｛｜Ｈ（ｕ，−ｖＮ，ｓ，ｔ）｜｝である。ここで、ｍａｘ｛Ａ｝は、Ａの最大値を意味する。

ここで、ｗ１＝Ｗ＊（α１＋α２＋α３＋α４）／４とする。Ｗは、システムの最大補正量である。このためＷは、使用する撮像装置（カメラ）ごとに実際にＣＺＰチャートなどを測定して予め算出することができる。本実施例において、Ｗは１０〜１００程度であることが好ましい。なお本実施例では、ウェイトｗ１の算出方法について代表的に説明したが、ウェイトｗ２、ｗ３についても同様に算出することができる。なお、ユーザがモアレ補正処理の強さを変更したい場合、決定されたウェイトｗ１、ｗ２、ｗ３を基準としてそれぞれの値を変更することができる。

続いてステップＳ１０６において、画像処理装置（補正部）は、ステップＳ１０５にて決定された補正量に基づいて、ステップＳ１０１にて取得した撮影画像（画像）に含まれるモアレ成分を低減するように画像を補正する（モアレ補正処理を行う）。そしてステップＳ１０７において、画像処理装置は、モアレ補正処理後の画像を現像する。

図３は、モアレ補正処理前およびモアレ補正処理後のカラーラインマトリクスの各列の線形性を示す図である。図３（ａ）は、モアレ補正処理を実行する前の色モアレが発生している画像に関し、カラーラインマトリックスを軸とした３次元ダイアグラムを示している。図３（ｂ）は、モアレ補正処理を実行した後のカラーラインマトリクスを軸とした３次元ダイアグラムを示している。図３（ａ）、（ｂ）を比較すると、最大特異値の比率が大きくなるように補正され、カラーラインマトリクスの列成分ごとの線形性が向上していることがわかる。これにより、モアレ成分（特に色モアレ）が低減された画像を取得することができる。

なお本実施例において、ナイキスト周波数の光学特性情報に基づいてモアレ発生量を推定しているが、これに限定されるものではない。例えば、モアレ発生量の推定領域がｕＮ／２≦ｕ≦ｕＮ、ｖＮ／２≦ｖ≦ｖＮの範囲となるように、ナイキスト周波数を基準とした所定の幅を持たせてもよい。

図４は、像高ごとのモアレ発生量の推定領域を示す図である。図４（ａ）は画像内の領域（像高）ごとの像高分割点（ｍ，ｎ）を示し、図４（ｂ）は図４（ａ）における画像内の第二象限の領域に関し、対応する光学特性を示している。本実施例では、図４（ｂ）に示されるように、外側と内側の２つの黒枠に挟まれた領域をモアレ発生量の推定領域とする。画像処理装置は、像高分割点（ｍ，ｎ）ごとにモアレ発生量を推定する。そして画像処理装置は、推定されたモアレ発生量を用いて、像高分割点（ｍ，ｎ）に対応する領域ごとにモアレ補正処理を行う。

図５は、本実施例におけるモアレ補正処理前およびモアレ補正処理後の画像の一例である。図５（ａ）はモアレ補正処理前の画像、図５（ｂ）はモアレ補正処理後の画像を、それぞれＲＧＢ成分ごとに示している。図５からわかるように、本実施例のモアレ補正処理により、画像に含まれるモアレ成分を効果的に補正することができる。

次に、図６を参照して、本発明の実施例２における画像処理方法について説明する。図６は、本実施例における画像処理方法のフローチャートである。図６の各ステップは、画像処理装置の各部により実行される。本実施例は、ユーザにより指定された領域に対してモアレ補正処理を行う方法について説明する。

本実施例の画像処理方法は、ユーザにより指定された領域（処理領域）を取得するステップ（図６のステップＳ６０４）を有する点で、図１を参照して説明した実施例１の画像処理方法とは異なる。本実施例における他のステップ（図６のステップＳ６０１〜Ｓ６０３、Ｓ６０５〜Ｓ６０８）は、図１のステップＳ１０１〜Ｓ１０７とそれぞれ同様であるため、これらの詳細な説明は省略する。

まずステップＳ６０１、Ｓ６０２、Ｓ６０３において、画像処理装置は、撮影画像、撮影条件、および、光学特性情報をそれぞれ取得する。続いてステップＳ６０４において、画像処理装置は、ステップＳ１０１にて取得した画像（撮影画像）のうち、ユーザにより指定されたモアレ補正処理を行う対象となる領域（処理領域）を取得する。そしてステップＳ６０５において、画像処理装置は、ステップＳ６０３にて取得した光学特性情報に基づいて、ステップＳ６０５にて取得した処理領域に関するモアレ発生量を推定する。本実施例において、画像処理装置は、ステップＳ６０３にて処理領域に関する光学特性情報（すなわち、ユーザに指定された処理領域に合致する光学特性情報）を取得することができない場合、その処理領域の近傍の領域に関する光学特性情報を取得する。好ましくは、この場合、画像処理装置は、その処理領域に最も近い像高に対応する領域の光学特性情報を取得する。または、画像処理装置は、処理領域の近傍の領域（近傍の像高）に対応する光学特性情報を用いて、その処理領域に関する光学特性情報を補間生成してもよい。

そしてステップＳ６０４において、画像処理装置は、ユーザにより指定された領域（処理領域）に対応する画像内のブロック（ｓ，ｔ）を特定する。本実施例において、例えばＳ＝２０、Ｔ＝３０である場合に、ｓ＝４、ｔ＝１０のように設定される。処理領域に合致する光学特性情報がない場合、画像処理装置は、ｓ＝４、５、ｔ＝１０、１１のように処理領域の近傍の領域に関する光学特性情報を用いて算出することができる。

続いてステップＳ６０５において、画像処理装置は、一例として、光学特性情報であるＨ（ｕ，ｖ，４，１０）に基づいて、モアレ発生量を推定する。そしてステップＳ６０６において、画像処理装置は、ステップＳ６０５にて推定されたモアレ発生量に基づいて、補正量を決定する。本実施例において、画像処理装置は、｜Ｈ（ｕ，ｖ，４，１０）｜のナイキスト周波数の最大値、合計値、または、平均値などに基づいてモアレ発生量を決定する。また実施例１と同様に、Ｈ（ｕ，ｖ，４，１０）に関し、ｕ＝ｕＮ，ｖ＝ｖＮを周波数空間（ｕ，ｖ）におけるナイキスト周波数とする。また実施例１と同様に、α１＝ｍａｘ｛｜Ｈ（ｕＮ，ｖ，４，１０）｜｝、α２＝ｍａｘ｛｜Ｈ（−ｕＮ，ｖ，４，１０）｜｝、α３＝ｍａｘ｛｜Ｈ（ｕ，ｖＮ，４，１０）｜｝、α４＝ｍａｘ｛｜Ｈ（ｕ，−ｖＮ，４，１０）｜｝である。

続いてステップＳ６０７において、画像処理装置は、ステップＳ６０６にて決定された補正量に基づいて、ステップＳ６０１にて取得した撮影画像（画像）に含まれるモアレ成分を補正する（モアレ補正を行う）。そしてステップＳ６０８において、画像処理装置は、モアレ補正処理後の画像を現像する。

次に、図７を参照して、本発明の実施例３における画像処理システム（画像処理装置）について説明する。図７は、本実施例における画像処理システム７００の構成図である。画像処理システム７００は、画像処理装置７０１（情報処理装置としてのハードウエア）、表示装置７０２（モニタ）、および、入力装置７０３（キーボードなどの入力手段）を備えて構成される。本実施例は、実施例１、２の画像処理方法を画像処理システム７００（パソコンのソフトウエア）上で動作させる場合について説明する。

まず、実施例１、２の画像処理方法を画像処理装置７０１において動作させるため、画像処理方法を実行するソフトウエア（画像処理プログラム）を画像処理装置７０１（パソコン）にインストールする。ソフトウエアは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのメディア７０４（記憶媒体）からインストールすることができる。または、ソフトウエアを、ネットワーク（インターネット）を通じてダウンロードしてインストールしてもよい。また画像処理装置７０１には、撮像光学系の複数の光学伝達関数（光学伝達関数データ）が格納されている。ここで、画像処理装置７０１に格納される複数の光学伝達関数は、例えば、撮像光学系の種々の撮影条件（撮影条件情報）ごとの光学伝達関数の全てである。光学伝達関数に関しても、メディア７０４やネットワークを通じてダウンロードすることにより、画像処理装置７０１に格納される。本実施例において、ソフトウエア（画像処理プログラム）、光学伝達関数情報、および、撮影条件情報などの各データは、画像処理装置７０１内のハードディスクなどの記憶部に記憶される。また画像処理装置７０１は、少なくとも一部のデータを、外部のサーバからネットワークを通じて取得するように構成してもよい。

画像処理装置７０１は、インストールされたソフトウエアを起動し、撮影画像に対してモアレ補正処理を行う。ソフトウエア上では、画像の内の所定の領域（所定の対象領域）にのみモアレ補正処理を実行するなど、種々の設定（パラメータの設定）が可能である。このようなパラメータは、ユーザが表示装置７０２上で回復処理後の画像を確認しつつ変更可能であることが好ましい。

次に、図８を参照して、本発明の実施例４における撮像装置の概略構成について説明する。図８は、本実施例における撮像装置８００のブロック図である。撮像装置８００は、前述の各実施例の画像処理方法を実行可能な画像処理部８０４（画像処理装置）を備えている。

撮像装置８００において、被写体（不図示）は、絞り８０１ａ（または遮光部材）およびフォーカスレンズ８０１ｂを含む撮像光学系８０１（光学系）を介して撮像素子８０２に結像する。本実施例において、撮像光学系８０１は、撮像素子８０２を有する撮像装置本体に着脱可能な交換レンズ（レンズ装置）である。ただし本実施例は、これに限定されるものではなく、撮像装置本体と撮像光学系８０１とが一体的に構成された撮像装置にも適用可能である。

絞り値（Ｆ値）は、絞り８０１ａまたは遮光部材により決定される。撮像素子８０２は、撮像光学系８０１を介して形成された被写体像（光学像）を光電変換して画像信号（撮影画像データ）を出力する。撮像素子８０２から出力された電気信号は、Ａ／Ｄ変換器８０３に出力される。Ａ／Ｄ変換器８０３は、撮像素子８０２から入力された電気信号（アナログ信号）をデジタル信号に変換し、デジタル信号（撮影画像）を画像処理部８０４に出力する。なお、撮像素子８０２およびＡ／Ｄ変換器８０３により、撮像光学系８０１を介して形成された光学像（被写体像）を光電変換して撮影画像を出力する撮像手段が構成される。

画像処理部８０４は、Ａ／Ｄ変換器８０３から出力されたデジタル信号（撮像素子８０２から出力された画像信号から生成された画像）に対して、状態検知部８０７および記憶部８０８の各情報を用いて所定の画像処理を行う。特に、本実施例の画像処理部８０４は、撮影画像に対してモアレ補正処理を行い、補正画像（モアレ補正画像）を出力する。画像処理部８０４は、取得部８０４ａ（取得手段）、推定部８０４ｂ（推定手段）、決定部８０４ｃ（決定手段）、および、補正部８０４ｄ（補正手段）を有する。取得部８０４ａは、撮影画像、撮影条件情報、および、光学特性情報を取得する。推定部８０４ｂは、撮影画像に含まれるモアレ成分（モアレ発生量）を推定する。決定部８０４ｃは、推定されたモアレ発生量に基づいて補正量を決定する。補正部８０４ｃは、決定された補正量に基づいて撮影画像に含まれるモアレ成分を低減するように撮影画像を補正する（モアレ補正処理を行う）。

記憶部８０８（記憶手段）は、撮影条件（撮影条件情報）ごと（撮影時の焦点距離、Ｆ値、撮影距離、および、像高の組み合わせごと）に、撮像光学系８０１の光学伝達関数（光学伝達関数データ）を記憶する。記憶部８０８は、図６に示される光学伝達関数記憶部６０３と同様の機能を含む。撮影条件は、例えば、撮像光学系制御部８０６または状態検知部８０７により取得される。本実施例において、画像処理部８０４および記憶部８０８により画像処理装置が構成される。ただし本実施例において、光学伝達関数記憶部の機能を、画像処理部８０４の外部に設けられた記憶部８０８に代えて、画像処理部８０４の内部に含めてもよい。

画像処理部８０４は、光学伝達関数からモアレ発生量を推定し、推定したモアレ発生量に基づいて補正量を決定し、決定された補正量に基づいてモアレ補正処理を実行する。また画像処理部８０４は、画像内の所定の領域（所定の対象領域）にのみモアレ補正処理を実行するなど、種々の設定（パラメータの設定）が可能である。このようなパラメータは、ユーザが表示装置５０２上で回復処理後の画像を確認しつつ変更可能であることが好ましい。

画像処理部８０４で処理された出力画像（モアレ補正画像）は、画像記録媒体８０９に所定のフォーマットで記録される。表示部８０５には、本実施例における画像処理後の画像に表示用の所定の処理を行った画像が表示される。また表示部８０５は、高速表示のために簡易的な処理を行った画像を表示してもよい。また表示部８０５は、ユーザが画像回復モードまたは通常撮影モードを選択するためのＧＵＩを表示する。表示部８０５のＧＵＩを介して、ユーザにより画像回復モードが選択されると、システムコントローラ８１０は、実施例１、２の画像処理方法を実行するように画像処理部８０４を制御する。

システムコントローラ８１０は、ＣＰＵやＭＰＵなどにより構成され、撮像装置８００の全体の制御を司る。より具体的には、システムコントローラ８１０は、画像処理部８０４、表示部８０５、撮像光学系制御部８０６、状態検知部８０７、および、画像記録媒体８０９の各部を制御する。撮像光学系制御部８０６は、撮像光学系８０１の動作を制御する。状態検知部８０７は、撮像光学系制御部８０６の情報から撮像光学系８０１の状態を検知する。なお撮像装置８００は、前述の画像処理方法を実現するソフトウエア（画像処理プログラム）を、ネットワークまたは記憶媒体を介してシステムコントローラ８１０に供給し、システムコントローラ８１０がそのプログラムを読み出して実行することもできる。

このように各実施例において、画像処理装置（例えば画像処理部８０４）は、推定手段（推定部８０４ｂ）、決定手段（決定部８０４ｃ）、および、補正手段（補正部８０４ｄ）を有する。推定手段は、光学特性情報に基づいて画像に含まれるモアレ成分（モアレ発生量）を推定する。決定手段は、推定されたモアレ成分に基づいて補正量を決定する。補正手段は、補正量に基づいて、画像に含まれるモアレ成分を低減するように画像を補正する。

好ましくは、補正手段は、補正量に基づいて画像の色成分の線形性を調整する。より好ましくは、決定手段は、補正量として、画像の複数の領域ごとに色成分の線形性を調整するための調整量を決定する。そして補正手段は、調整量に基づいて、複数の領域ごとに色成分の線形性を調整する。

好ましくは、決定手段は、光学特性情報と撮像素子のナイキスト周波数とに基づいて補正量を決定する。また好ましくは、推定手段は、ナイキスト周波数に関する光学特性情報に基づいて、モアレ成分を推定する。また好ましくは、推定手段は、ナイキスト周波数を基準とした所定の周波数範囲に関する光学特性情報に基づいて、モアレ成分を推定する。また好ましくは、光学特性情報は、光学伝達関数に関する情報（ＯＴＦまたはＭＴＦ）である。

好ましくは、画像処理装置は、画像および画像に関する撮影条件情報を取得する取得手段（取得部８０４ａ）を有する。より好ましくは、取得手段は、画像および撮影条件情報に基づいて光学特性情報を取得する。より好ましくは、取得手段は、光学特性情報として、画像の複数の領域に応じた複数の光学特性情報を取得する。また好ましくは、決定手段は、画像の複数の領域に応じた複数の光学特性情報にそれぞれに基づいて補正量を決定する。また好ましくは、取得手段は、画像のうちユーザにより指定された領域に対応する光学特性情報を取得する。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、画像に含まれるモアレ成分を効果的に補正可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

８０４ 画像処理部（画像処理装置）
８０４ｂ 推定部（推定手段）
８０４ｃ 決定部（決定手段）
８０４ｄ 補正部（補正手段）

Claims (15)

1. 光学特性情報に基づいて画像に含まれるモアレ成分を推定する推定手段と、
   推定されたモアレ成分に基づいて補正量を決定する決定手段と、
   前記補正量に基づいて、前記画像に含まれる前記モアレ成分を低減するように該画像を補正する補正手段と、を有し、
   前記補正手段は、前記補正量に基づいて、画像における３つの色成分を示す３軸のカラーラインマトリクスに前記画像の各画素をプロットした際の線形性を調整することを特徴とする画像処理装置。
2. 前記決定手段は、前記補正量として、前記画像の複数の領域ごとに前記線形性を調整するための調整量を決定し、
   前記補正手段は、前記調整量に基づいて、前記線形性を調整する、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記光学特性情報と撮像素子のナイキスト周波数とに基づいて前記補正量を決定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記推定手段は、ナイキスト周波数に関する前記光学特性情報に基づいて、前記モアレ成分を推定することを特徴とする請求項１または２に記載の画像処理装置。
5. 前記推定手段は、ナイキスト周波数を基準とした所定の周波数範囲に関する前記光学特性情報に基づいて、前記モアレ成分を推定することを特徴とする請求項１または２に記載の画像処理装置。
6. 前記光学特性情報は、光学伝達関数に関する情報であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記画像および該画像に関する撮影条件情報を取得する取得手段を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記取得手段は、前記画像および前記撮影条件情報に基づいて前記光学特性情報を取得することを特徴とする請求項７に記載の画像処理装置。
9. 前記取得手段は、前記光学特性情報として、前記画像の複数の領域に応じた複数の光学特性情報を取得することを特徴とする請求項８に記載の画像処理装置。
10. 前記決定手段は、前記画像の複数の領域に応じた前記複数の光学特性情報にそれぞれに基づいて前記補正量を決定することを特徴とする請求項９に記載の画像処理装置。
11. 前記取得手段は、前記画像のうちユーザにより指定された領域に対応する光学特性情報を取得することを特徴とする請求項８に記載の画像処理装置。
12. 撮像光学系を介して形成された光学像を光電変換して画像信号を出力する撮像素子と、
    光学特性情報に基づいて、前記画像信号から生成される画像に含まれるモアレ成分を推定する推定手段と、
    推定されたモアレ成分に基づいて補正量を決定する決定手段と、
    前記補正量に基づいて、前記画像に含まれる前記モアレ成分を低減するように該画像を補正する補正手段と、を有し、
    前記補正手段は、前記補正量に基づいて、画像における３つの色成分を示す３軸のカラーラインマトリクスに前記画像の各画素をプロットした際の線形性を調整することを特徴とする撮像装置。
13. 光学特性情報に基づいて画像に含まれるモアレ成分を推定するステップと、
    推定されたモアレ成分に基づいて補正量を決定するステップと、
    前記補正量に基づいて、前記画像に含まれる前記モアレ成分を低減するように該画像を補正するステップと、を有し、
    前記補正するステップは、前記補正量に基づいて、画像における３つの色成分を示す３軸のカラーラインマトリクスに前記画像の各画素をプロットした際の線形性を調整することにより行われることを特徴とする画像処理方法。
14. 光学特性情報に基づいて画像に含まれるモアレ成分を推定するステップと、
    推定されたモアレ成分に基づいて補正量を決定するステップと、
    前記補正量に基づいて、前記画像に含まれる前記モアレ成分を低減するように該画像を補正するステップとを有し、
    前記補正するステップは、前記補正量に基づいて、画像における３つの色成分を示す３軸のカラーラインマトリクスに前記画像の各画素をプロットした際の線形性を調整することにより行われる画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。
15. 請求項１４に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。