JP6603493B2 - 撮像装置、画像処理装置、撮像装置が実行する撮像方法、画像処理装置が実行する画像処理方法、及びプログラム - Google Patents

Description

本発明は、撮像装置、画像処理装置、撮像装置が実行する撮像方法、画像処理装置が実行する画像処理方法、及びプログラムに関する。

一般にナイキストの定理により、撮像装置によりサンプリング周波数Ｎの１／２より高い空間周波数を有する被写体像を撮影した場合、折り返し歪み（モアレ）が撮影画像に発生してしまう。このモアレの防止策として、Ｎ／２より高い周波数をカットする光学ローパスフィルタを撮像素子の撮像面に配置することが行われている。

しかし、光学ローパスフィルタのカットオフ特性を急峻にすることには限界があるため、Ｎ／２より低い周波数も減衰してしまう。そのため、光学ローパスフィルタの使用には、画面全体の解像度が低下し、撮像素子の本来の画素数に相当する高画質の画像を得ることができないというデメリットが伴う。例えば、規則性のある人工物が存在しない自然風景のようなシーンでは、大きなモアレが発生する可能性は低いため、解像度低下のデメリットが、モアレ防止（低減）のメリットを上回る可能性がある。そのため、近年、光学ローパスフィルタを装備しないカメラが多く登場している。この場合、シーンによっては大きなモアレが発生する可能性があるため、撮影時に必要に応じてモアレを低減するための技術が提案されている。

例えば、カメラの一般的な撮影技術として、撮影時の絞り値を大きくして回折現象を発生させ、Ｎ／２より高い周波数を撮像素子の前で減衰させる技術が知られている。図４は、回折限界曲線の説明図であり、横軸は空間周波数、縦軸はＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）をそれぞれ示している。図４に示されるように、Ｆナンバーが大きくなるほど遮断周波数が低周波数側にシフトするため、絞り値を大きくすることによりモアレを低減することができる。しかしながら、絞り値を大きくすると、光学ローパスフィルタを使用する場合と同等以上に画面全体の解像度が低下してしまう。

これに対して、特許文献１では、合焦状態で撮像された画像から輝度信号を生成し、合焦状態から所定量だけデフォーカスされた状態で撮像された画像から色信号を生成する技術が提案されている。この技術によれば、高精細かつ色モアレの抑制された画像を得ることができる。しかしながら、画面全体の色解像度が低下してしまう可能性が高い。また、デフォーカス時に別の被写体に合焦し、最初に合焦した領域とは別の領域に色モアレが発生する可能性がある。

特開平１０−２４８０６８号公報

一般的に、モアレは高い空間周波数を有する被写体が存在する領域で発生するため、必ずしも画面全体に大きなモアレが発生する訳ではない。しかしながら、モアレを低減するための従来の技術はいずれも、モアレが小さい領域も含めて画面全体の解像度を低下させる可能性があるものである。

本発明はこのような状況に鑑みてなされたものであり、解像度低下を抑制しつつ、モアレを低減する技術を提供することを目的とする。

上記課題を解決するために、本発明は、第１の撮影条件で被写体を撮影することにより得られた第１の画像と、前記第１の撮影条件に比べて前記被写体の光学像の高周波成分が減少する第２の撮影条件で前記被写体を撮影することにより得られた第２の画像の領域ごとの差分を算出する算出手段と、前記差分に基づく混合率で、前記第１の画像と前記第２の画像を混合して、第３の画像を生成する混合手段と、を備え、前記第２の画像は、前記第１の撮影条件における絞り値が所定値未満である場合に、得られる画像であり、前記混合手段は、前記差分が第１の値である場合の、前記第１の画像に対する前記第２の画像の比率が、前記差分が前記第１の値より小さい第２の値である場合の、前記第１の画像に対する前記第２の画像の比率よりも大きくなるように、前記混合率を設定することを特徴とする画像処理装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、解像度低下を抑制しつつ、モアレを低減することが可能となる。

撮像装置１００の基本構成を示すブロック図。 第１の実施形態に係る信号処理部４ａの構成を示すブロック図。 モアレ低減処理のフローチャート。 回折限界曲線の説明図。 ＣＺＰチャートを示す図。 本画像の例を示す図。 図６の本画像のラインプロファイルを示す図。 小絞り画像の例を示す図。 図８の小絞り画像のラインプロファイルを示す図。 第１の実施形態に係る差分信号のラインプロファイルを示す図（ローパスフィルタ処理前）。 第１の実施形態に係る差分信号のラインプロファイルを示す図（ローパスフィルタ処理後）。 差分信号ｄと混合率αの関係を表すグラフ（モアレ低減を重視する場合）。 差分信号ｄと混合率αの関係を表すグラフ（解像度保持を重視する場合）。 図６の本画像と図８の小絞り画像とを混合して得られた出力画像（モアレ低減画像）を示す図。 図１４の出力画像（モアレ低減画像）のラインプロファイルを示す図。 第２の実施形態に係る信号処理部４ａの構成を示すブロック図。 第２の実施形態に係る差分信号のラインプロファイルを示す図（ローパスフィルタ処理後）。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

［第１の実施形態］
（モアレ低減処理の概要）
図１は、第１の実施形態に係る撮像装置１００の基本構成を示すブロック図である。撮像装置１００は、モアレを低減するために、通常の撮影条件で被写体を撮影すること（本撮影）に加えて、通常よりも絞り値が大きい撮影条件で同一の被写体を撮影する（小絞り撮影）。以下、本撮影により生成される画像を「本画像」と呼び、小絞り撮影により生成される画像を「小絞り画像」と呼ぶ。

ここで、「撮影条件」は、例えば、絞り値、シャッタースピード、ＩＳＯ感度、焦点距離、フォーカスレンズ位置、及び撮影距離などを含む。レンズユニット１が撮像装置１００本体（カメラ本体）に対して着脱可能なように構成されている場合、「撮影条件」は、レンズＩＤ及びカメラＩＤも含む。また、「通常の撮影条件」とは、一般的にユーザが意図する画像を得るのに適していると考えられる撮影条件を意味する。例えば、「通常の撮影条件」は、ユーザがマニュアルで設定した撮影条件であってもよいし、撮像装置１００が撮影シーンなどに基づいて自動的に設定した撮影条件であってもよい。

小絞り画像は、絞りによる回折現象の影響により、本画像よりも解像度が低下する可能性がある。その代わりに、本画像においては大きなモアレが発生している領域であっても、小絞り画像においてはモアレが小さいことが期待できる。そこで、撮像装置１００は、モアレが小さい領域については本画像の比率が大きくなり、モアレが大きい領域については小絞り画像の比率が大きくなるように、本画像と小絞り画像とを混合する。これにより、解像度低下を抑制しつつ、モアレが低減された画像を生成することができる。

なお、本実施形態においては、本画像（第１の画像）に対して混合する画像（第２の画像）として小絞り画像を例に説明を行うが、本画像に対して混合する画像は、小絞り画像に限定されない。通常の撮影条件（第１の撮影条件）に比べてモアレが低減する撮影条件（第２の撮影条件）での撮影により生成される画像であれば、いかなる画像であっても、小絞り画像の場合と同様の効果を得ることができる。例えば、撮像装置１００は、小絞り画像の代わりに、本画像よりもぼけた画像（ボケ画像）を生成してもよい。ボケ画像は、通常の撮影条件に比べて被写体からデフォーカスした撮影条件（即ち、被写体に合焦しない撮影条件）で撮影を行うことにより生成可能である。或いは、撮像装置１００が、撮像素子２の撮像面に対して光学ローパスフィルタを挿入したり除去したりする機構（不図示）を備える場合を考える。この場合、撮像装置１００は、光学ローパスフィルタを除去する撮影条件（即ち、撮像素子２に至る光路に光学ローパスフィルタを配置しない撮影条件）で本画像を生成する。そして、撮像装置１００は、本画像に対して混合する画像として、光学ローパスフィルタを挿入する撮影条件（即ち、撮像素子２に至る光路に光学ローパスフィルタを配置する撮影条件）で画像（フィルタ画像）を生成する。

小絞り画像、ボケ画像、及びフィルタ画像はいずれも、通常の撮影条件に比べて、撮像素子２に結像する被写体の光学像の高周波成分が減少する撮影条件で被写体を撮影することにより生成されるものである。そのため、これらの画像は、本画像に比べて解像度は低下するが、モアレが小さいことが期待できる。

（撮像装置１００の基本構成）
図１に示すように、撮像装置１００は、レンズユニット１及び撮像素子２を備える。撮像装置１００を用いた撮影を行う場合、被写体光は、レンズユニット１の撮像光学系により撮像素子２に結像する。レンズユニット１は、絞り１ａ及びフォーカスレンズ１ｂを含む。レンズユニット制御部６は、レンズユニット１の制御及びデータ通信を行なう。具体的には、レンズユニット制御部６は、Ｆナンバーの撮影状態設定に従い、絞り１ａの開口径を制御する。また、レンズユニット制御部６は、被写体の距離に応じてピント調整を行うために、オートフォーカス（ＡＦ）やマニュアルフォーカスに基づき、フォーカスレンズ１ｂの位置を制御する。

撮影条件決定部７は、レンズユニット制御部６を通じ、本撮影における撮像光学系の焦点距離、撮影距離、絞り値等の撮影条件を得る。また、撮影条件決定部７は、回折現象が発生する小絞り撮影の撮影条件を決定する。

撮像素子２は、結像光を電気信号に変換する。Ａ／Ｄコンバータ３は、撮像素子２により得られた電気信号をデジタル画像信号に変換し、信号／ファイル処理部４に出力する。信号／ファイル処理部４は、信号処理部４ａ及び画像ファイル処理部４ｂを有する。

図２は、信号処理部４ａの構成を示すブロック図である。信号処理部４ａは、入力端子２０１、画像処理部２０３、差分算出部２０４、ローパスフィルタ部２０５、混合率算出部２０６、混合部２０７、入力端子２０８、及び出力端子２０９を有する。デジタル画像信号は、入力端子２０１を介して信号処理部４ａに入力される。画像処理部２０３は、デジタル画像信号に対して、画素補間処理、輝度信号処理、及び色信号処理などの一連の現像処理を行う。差分算出部２０４は、画像処理部２０３から出力された現像済みの小絞り画像と、入力端子２０８を介して入力された現像済みの本画像との間の差分信号を算出する。ローパスフィルタ部２０５は、フィルタ処理によって差分信号の高周波成分をカットもしくは減衰させ、低周波成分を通過させる。混合率算出部２０６は、ローパスフィルタ処理された差分信号に基づいて画素毎にモアレを検知し、画像処理部２０３から出力された現像済みの小絞り画像と入力端子２０８を介して入力されたデジタル画像信号の混合率を算出する。混合部２０７は、混合率に従って、画像処理部２０３から出力されたデジタル画像信号と入力端子２０８を介して入力された現像済みの本画像とを混合することにより、モアレが低減されたデジタル画像信号（モアレ低減画像）を出力端子２０９に供給する。

図１に戻り、画像ファイル処理部４ｂは、信号処理部４ａから出力されたモアレ低減画像などのデジタル画像信号に対してリサイズ処理や圧縮処理などの画像ファイル生成処理を行い、記録媒体９に保存する。

記憶部８には、撮像素子２の画素ピッチなどの各種情報が保存される。信号／ファイル処理部４、撮影条件決定部７、及び制御部１０は、記憶部８にアクセスして取得した各種情報に基づき、各種機能を実現する。

表示部５は、モアレ低減画像に対して表示用の所定の処理を行い、処理後の画像を表示する。また、表示部５は、本画像や小絞り画像などを表示することもできる。

制御部１０は、撮像装置１００の各部の処理を制御する。例えば、レンズユニット制御部６によるレンズユニット１の制御は、制御部１０の指示に従って行われる。

（モアレ低減処理の詳細）
次に、図３を参照して、撮像装置１００が実行するモアレ低減処理の詳細について説明する。本実施形態では、一般的にモアレ評価及び解像度評価に用いられるＣＺＰチャートを被写体とする。図５に、ＣＺＰチャートを示す。

例えば、ユーザが操作部（不図示）を操作して撮像装置１００に対して撮影実行を指示すると、図３のフローチャートの処理が開始する。図３に示す各ステップの処理は、特に断らない限り、制御部１０が撮像装置１００の各部を制御することにより実現される。

Ｓ３０１で、撮影条件決定部７は、本撮影の撮影条件（通常の撮影条件）を取得する。前述の通り、本撮影の撮影条件は、ユーザがマニュアルで設定した撮影条件であってもよいし、撮像装置１００が撮影シーンなどに基づいて自動的に設定した撮影条件であってもよい。ここでは一例として、絞り値はＦ５．６であり、シャッタースピードは１／２５０秒であり、ＩＳＯ感度はＩＳＯ１００であるものとする。但し、本実施形態は、この撮影条件に限定されるものではない。

Ｓ３０２で、撮影条件決定部７は、本撮影の撮影条件に基づき、小絞り撮影の撮影条件を決定する。撮影条件決定部７は、絞り値を小絞り撮影用の所定値（回折現象の影響でモアレが低減されることが期待される絞り値）に決定し、Ｓ３０１で取得した本撮影の撮影条件と同じ露出が得られるように、シャッタースピードとＩＳＯ感度を決定する。その他の撮影条件（焦点距離及びフォーカスレンズ位置など）は、本撮影の撮影条件と同じ値を用いるものとする。ここでは、小絞り撮影用の絞り値は、Ｆ１６であるものとする。また、撮影条件決定部７は、本撮影の撮影条件と同じ露出が得られるように、シャッタースピードを１／３０秒に落とし、ＩＳＯ感度は本撮影と同じＩＳＯ１００とする。

なお、小絞り撮影の撮影条件は、上記の例に限定されるものではなく、小絞り撮影用の絞り値は、撮像光学系の収差量や撮像素子２の画素ピッチに応じて適宜変更可能である。例えば、以下の条件式（１）で表される絞り値を、小絞り撮影用の絞り値として使用することができる。

Ｆ≧ａ（ｐ／λ） … （１）
ここで、ＦはＦナンバー（絞り値）、ｐは画素ピッチ、λは可視光の波長帯域に含まれる所定の波長である。或いは、λを、撮像素子２が受光可能な波長帯域の中心波長としてもよい。ａはモアレ抑制係数である。ａ＝１の時、絞り値に応じて決定される回折による遮断周波数が、撮像素子２の画素ピッチで決定されるサンプリング周波数Ｎと等しくなる。ａ＝２の時、回折による遮断周波数がＮ／２と等しくなる。一例として、本実施形態では、画素ピッチｐ＝４．４０μｍ、λ＝５５０ｎｍであるものとする。この時、ａ＝１とすると、絞り値はＦ＝８となるが、周波数Ｎ／２のコントラストが約５０％残っているため、モアレを十分に低減することができない。一方、ａ＝２とすると、絞り値はＦ＝１６となり、Ｎ／２より高い周波数帯域のコントラストが約０％となるため、モアレを十分に低減することができる。

なお、小絞り撮影用の絞り値がａ（ｐ／λ）以上であることは、必須ではない。小絞り撮影用の絞り値がａ（ｐ／λ）未満であっても、本撮影用の絞り値よりも大きい限り、ある程度のモアレ低減効果は期待できる。

Ｓ３０３で、制御部１０は、本撮影を行う。この時、撮影条件決定部７は、制御部１０の指示に基づいて、Ｓ３０１で取得した本撮影の撮影条件のうち、絞り値Ｆ５．６、シャッタースピード１／２５０秒、及びフォーカスレンズ位置Ｐを、レンズユニット制御部６に送る。また、撮影条件決定部７は、ＩＳＯ１００に相当するゲイン値を撮像素子２に送る。レンズユニット制御部６は、絞り値Ｆ５．６で絞り１ａを駆動し、また、シャッタースピード１／２５０秒でメカニカルシャッターを駆動することによって電荷蓄積時間を決定する。また、レンズユニット制御部６は、フォーカスレンズ１ｂをフォーカスレンズ位置Ｐに移動することによって、合焦点へとフォーカスレンズ１ｂを駆動する。この状態で、被写体の撮影が行われる。なお、シャッタースピードの制御には、メカニカルシャッターの代わりに、撮像素子２の電荷蓄積時間を制御する電子シャッターを用いてもよい。

本撮影の間、撮像素子２の撮像面上の結像光によって、撮像素子２で電荷が蓄積され、垂直、水平方向に電荷の転送が行われ、ＩＳＯ１００に相当するゲイン値によって電荷が増幅される。その後、Ａ／Ｄコンバータ３においてデジタル画像信号への変換が行われる。以上の手順により、本画像に相当するデジタル画像信号が信号処理部４ａに供給される。

信号処理部４ａは、本画像の現像処理を行う。画像処理部２０３は、入力端子２０１を介して入力される本画像に対して、画素補間処理、輝度信号処理、及び色信号処理などの一連の現像処理を行い、現像済みの本画像を混合部２０７に出力する。混合部２０７は、現像済みの本画像をスルーして、出力端子２０９に供給する。

Ｓ３０４で、制御部１０は、モアレ低減処理の必要性を判定する。例えば、本撮影の絞り値が、前述の小絞り撮影用の絞り値（Ｆ１６）より小さい場合、本画像にモアレが発生する可能性が高い。そのため、制御部１０は、モアレ低減処理を行う必要性があると判断する。この場合、制御部１０は、出力端子２０９から出力される本画像を記憶部８に保存する制御を行い、処理をＳ３０５に進める。モアレ低減処理を行う必要性がない場合、制御部１０は、処理をＳ３１０に進める。

ここで、図６に、被写体であるＣＺＰチャート（図５）の本撮影により得られた本画像を示す。また、図７に、図６の本画像の画面左下から右上に向かって引いたラインプロファイルを示す。図６及び図７から理解できるように、画面右上部分の高周波領域において、被写体（図５）には存在していなかったモアレが発生し、画質を損ねている。

Ｓ３０５で、制御部１０は、小絞り撮影を行う。この時、撮影条件決定部７は、制御部１０の指示に基づいて、Ｓ３０２で決定した小絞り撮影の撮影条件のうち、絞り値Ｆ１６、シャッタースピード１／３０秒、及びフォーカスレンズ位置Ｐを、レンズユニット制御部６に送る。また、撮影条件決定部７は、ＩＳＯ１００に相当するゲイン値を撮像素子２に送る。レンズユニット制御部６は、絞り値Ｆ１６で絞り１ａを駆動し、また、シャッタースピード１／３０秒でメカニカルシャッターを駆動することによって電荷蓄積時間を決定する。また、レンズユニット制御部６は、フォーカスレンズ１ｂをフォーカスレンズ位置Ｐに移動することによって、合焦点へとフォーカスレンズ１ｂを駆動する。この状態で、被写体の撮影が行われる。以下、Ｓ３０３における本撮影と同様の手順によって小絞り画像が生成され、デジタル画像信号として信号処理部４ａに供給される。

信号処理部４ａは、小絞り画像の現像処理を行う。画像処理部２０３は、入力端子２０１を介して入力される小絞り画像に対して、画素補間処理、輝度信号処理、及び色信号処理などの一連の現像処理を行い、現像済みの小絞り画像を差分算出部２０４及び混合部２０７に出力する。

Ｓ３０６で、差分算出部２０４は、記憶部８から読み出した現像済みの本画像と、画像処理部２０３から入力された現像済みの小絞り画像の、各画素に対応する差分信号を算出する。差分信号の算出は、画素単位で行ってもよいし、２以上の画素から構成される画素グループの単位で行ってもよい。画素グループの単位の場合であっても、各画素に対応する差分信号として各画素が所属する画素グループの差分信号が算出されるので、結局は各画素に対応する差分信号が算出される。なお、現像済みの本画像は、入力端子２０８を通じて、記憶部８から信号処理部４ｂへと入力される。

本実施形態における小絞り撮影では、回折現象によってＮ／２より高い周波数のコントラストが約０％に減衰するため、どんな被写体を撮影しても小絞り画像にモアレが発生する可能性は低い。

ここで、図８に、被写体であるＣＺＰチャート（図５）の小絞り撮影により得られた小絞り画像を示す。また、図９に、図８の小絞り画像の画面左下から右上に向かって引いたラインプロファイルを示す。図８及び図９から理解できるように、画面右上部分の高周波領域において、本画像（図６）に発生していたモアレが消えている。そのため、本画像と小絞り画像との差分が大きい領域は、本画像にモアレが発生している可能性が高いと考えられる。

本実施形態における差分信号は、例えば、Ｇ、Ｒ−Ｇ、Ｂ−Ｇの各プレーンについて、それぞれ本画像から小絞り画像を減算した値を用いる。図１０に、差分信号のラインプロファイルを示す。但し、本実施形態はこれに限定されるものではなく、例えば、ＹＵＶフォーマットを利用し、ＹＵＶの各プレーンについて求めた差分信号を用いてもよい。

Ｓ３０７で、ローパスフィルタ部２０５は、差分算出部２０４から入力された差分信号にローパスフィルタ処理を施す。ローパスフィルタ部２０５は、記憶部８に保存されたフィルタを読み出して使用する。回折現象は、モアレだけでなく被写体のコントラストも併せて減衰させる。そのため、図８及び図９に示すように、本実施形態における小絞り画像は、被写体にＮ／２付近の高い周波数帯域を持つ領域が存在する場合、その領域のコントラストが０％近くまで下がる。そのため、図１０に示すように、本画像と小絞り画像との差分信号のコントラストを用いてモアレと高周波帯域を持つ被写体とを判別することは困難である。一方、例えばＮ／４よりも低い周波数におけるコントラストの減衰は小さいため、低周波数帯域まで折り返ったモアレと低周波帯域を持つ被写体の判別は容易である。そのため、本実施形態では、フィルタ係数を１４６４１とした２次元のガウシアンフィルタを差分信号に適用する。

図１１に、ガウシアンフィルタを適用した差分信号のラインプロファイルを示す。これによって、低周波数帯域まで折り返ったモアレのコントラストだけが大きく残るため、モアレを正確に検知することが可能となる。

なお、本実施形態は、ガウシアンフィルタに限定されるものではなく、検知したいモアレの周波数帯域、被写体の周波数帯域、及び入力信号のフォーマットなどに応じて任意の適切なフィルタを選択してもよい。また、ローパスフィルタ処理を行わなくてもよい。

Ｓ３０８で、混合率算出部２０６は、ローパスフィルタ部２０５から入力された差分信号ｄの大きさに基づき、本画像に対する小絞り画像の混合率αを算出する。本実施形態では、差分信号ｄは８ビットであるものとし、ｄ＝０、１０、２０、３０のとき、それぞれ、α＝α_０、α_１０、α_２０、α_３０とする。また、差分信号ｄがこれらの値以外の場合は、近傍の値から線形補間によって混合率αを算出する。

例えば、モアレ低減を重視する場合は、混合率αを次のように設定する。

α_０＝０
α_１０＝０．５
α_２０＝１
α_３０＝１
このときの差分信号ｄと混合率αの関係を表すグラフを図１２に示す。混合率算出部２０６は、図１２のグラフに従い、差分信号ｄに対する混合率αの値を算出する。

なお、本実施形態は図１２のグラフに限定されるものではなく、差分信号ｄと混合率αの関係を変更することによって、モアレの低減度合いと本画像の解像度保持のバランスを調整することが可能である。例えば、本画像の解像度保持を重視する場合は、混合率αを次のように設定する。

α_０＝０
α_１０＝０
α_２０＝０．５
α_３０＝１
このときの差分信号ｄと混合率αの関係を表すグラフを図１３に示す。図１３のグラフに従って混合率αを算出した場合、差分の小さな領域については小絞り画像が混合されない。そのため、モアレは低減されないが、解像度も低下しない。

本実施形態では、混合率算出部２０６は、Ｇ、Ｒ−Ｇ、Ｂ−Ｇの各プレーンの差分信号であるｄＧ、ｄＲＧ、ｄＢＧのそれぞれについて、混合率αＧ、αＲＧ、αＢＧを求めるものとする。この時、各プレーンについて、差分信号ｄと混合率αとの間にそれぞれ異なる関係を定めてもよい。例えば、ＧについてはｄＧの値に関わらず常にαＧの値を０とすることで、輝度信号のモアレは低減せずに輝度信号の解像度保持を優先することができる。また、ｄＲＧ及びｄＢＧについては図１２を用いてαＲＧ及びαＢＧの値を算出することにより、微小な色解像度の保持よりも色モアレの低減を優先することができる。但し、本実施形態はこれに限定されるものではない。

Ｓ３０９で、混合部２０７は、混合率算出部２０６から出力された混合率に従い、入力端子２０８を介して記憶部８から入力された現像済みの本画像と、画像処理部２０３から出力された現像済みの小絞り画像とを混合する。本実施形態では、混合部２０７は、例えば以下の式（２）から式（４）に従って、本画像と小絞り画像とを混合して出力画像を生成する。生成された出力画像は、出力端子２０９を介して画像ファイル処理部４ｂへ出力される。

中間画像１＝（本画像×（１−αＧ））＋（小絞り画像×αＧ） … （２）
中間画像２＝（中間画像１×（１−αＲＧ））＋（小絞り画像×αＲＧ） … （３）
出力画像＝（中間画像２×（１−αＢＧ））＋（小絞り画像×αＢＧ） … （４）
本実施形態では、本画像及び小絞り画像にＲＧＢフォーマットの画像を用い、ＲＧＢ全プレーンについて上記の式（２）から式（４）を適用することで輝度モアレと色モアレをバランス良く低減することができる。

図１４に、図６の本画像と図８の小絞り画像とを混合して得られた出力画像を示す。図１４の出力画像は、ｄＧ、ｄＲＧ、及びｄＢＧの全てについて図１２のグラフに従ってαＧ、αＲＧ、及びαＢＧを算出し、式（２）から式（４）に従って本画像と小絞り画像とを混合することにより得られる画像である。図１２及び式（２）から式（４）から理解できるように、本画像と小絞り画像の混合は、対応する差分信号が大きい画素ほど小絞り画像の比率が大きくなるように行われる。また、図１５に、図１４の出力画像の画面左下から右上に向かって引いたラインプロファイルを示す。本画像との比較から理解できるように、出力画像においては、画面左下から画面真ん中にある被写体の解像度低下を抑制しつつ、画面右上に発生するモアレが低減されている。

なお、本実施形態はこれに限定されるものではなく、例えば、ＹＵＶフォーマットの画像を入力し、ＵＶ信号だけに上記の式（２）から式（４）を適用することで、輝度信号には一切の影響を与えずに色モアレだけを低減するようにしてもよい。

また、混合部２０７は、式（２）から式（４）の代わりに、以下の式（５）から式（８）に従って本画像と小絞り画像とを混合してもよい。

中間画像１＝（本画像×（１−αＧ））＋（小絞り画像×αＧ） … （５）
中間画像２＝（本画像×（１−αＲＧ））＋（小絞り画像×αＲＧ） … （６）
中間画像３＝（本画像×（１−αＢＧ））＋（小絞り画像×αＢＧ） … （７）
出力画像＝（中間画像１＋中間画像２＋中間画像３）／３ … （８）
式（５）から式（８）を用いる場合、式（２）から式（４）を用いる場合よりもモアレ低減効果は低下するが、解像度低下が抑制される。

Ｓ３０９に続き、Ｓ３１０で、画像ファイル処理部４ｂは、混合部２０７により生成され出力端子２０９から出力されたモアレ低減画像について、所定のフォーマットによる画像ファイル生成処理を行う。Ｓ３１１で、画像ファイル処理部４ｂは、モアレ低減画像の画像ファイルを、記録媒体９に保存する。

一方、Ｓ３０４からＳ３１０へ処理が移行した場合、Ｓ３１０において、画像ファイル処理部４ｂは、Ｓ３０３において出力端子２０９から出力された本画像について、所定のフォーマットによる画像ファイル生成処理を行う。そして、Ｓ３１１で、画像ファイル処理部４ｂは、本画像の画像ファイルを、記録媒体９に保存する。換言すると、本撮影の絞り値が小絞り撮影用の絞り値以上（所定値以上）の場合、本画像にモアレが発生する可能性が低いため、撮像装置１００は小絞り画像を撮影せず、モアレ低減処理を行わない。

なお、Ｓ３０４における判定処理は、本画像に対して混合する画像として（小絞り画像ではなく）ボケ画像又はフィルタ画像を生成する場合にも、本撮影の絞り値が小絞り撮影用の絞り値未満（所定値未満）であるか否かに基づいて行うことができる。なぜなら、本画像に対して混合する画像の種類に関わらず、本撮影の絞り値が小絞り撮影用の絞り値未満であれば本画像においてモアレが発生する可能性が低いと考えられるからである。

また、図３においては、Ｓ３０３において本撮影が先に行われ、その後、Ｓ３０５において小絞り撮影が行われているが、本撮影と小絞り撮影の順序は逆でもよい。

以上説明したように、第１の実施形態によれば、撮像装置１００は、本画像と小絞り画像とを、各画素に対応する差分に基づく混合率に従って混合する。これにより、解像度低下を抑制しつつ、モアレを低減することが可能となる。

なお、本実施形態のモアレ低減処理は、撮像装置１００とは異なる画像処理装置において実行することも可能である。この場合、画像処理装置は、本画像及び小絞り画像を撮像装置１００などの外部装置から取得し、取得した本画像及び小絞り画像について、差分に基づく混合を行う。

［第２の実施形態］
第２の実施形態では、回折ボケ（絞り１ａにおける回折に起因する画質劣化）の補正（回折補正）を併用してモアレ低減処理を行う構成について説明する。本実施形態において、撮像装置１００の構成は、信号処理部４ａの構成を除き、第１の実施形態と同様である（図１参照）。以下、第１の実施形態との相違点について主に説明する。

図１６は、第２の実施形態に係る信号処理部４ａの構成を示すブロック図である。図１６において、図２と同一又は同様の構成要素には同一の符号を付す。本実施形態の信号処理部４ａは、画像処理部２０３の前に、光学補正部２０２を更に備える。光学補正部２０２は、入力端子２０１を介して入力されるデジタル画像信号に対して回折補正を行い、撮像光学系の光学特性による画質劣化を補正する。回折補正には、例えば特開２０１３−０５１５２４号公報（特に、段落０００２〜段落００１３）に記載された画像回復フィルタによる補正など、任意の公知の技術を使用可能である。

本実施形態のモアレ低減処理は、図３のＳ３０５における小絞り撮影を除き、第１の実施形態と同様である。なお、Ｓ３０３の本撮影の際には、光学補正部２０２による補正は行われない。

Ｓ３０５において、光学補正部２０２は、現像前の小絞り画像に対して画像回復フィルタを適用して回折補正を行う。例えば、光学補正部２０２は、記憶部８から、小絞り撮影用の絞り値に対応する画像回復フィルタを取得し、これを小絞り画像に適用することで回折補正を行う。但し、本実施形態はこれに限定されるものではなく、例えば、回折補正としてアンシャープマスク等のエッジ強調処理を用いてもよい。その後の処理（ローパスフィルタ部２０５によるローパスフィルタ処理など）は、第１の実施形態と同様である。

小絞り画像に回折補正を施すと、被写体のコントラストが向上して本画像のコントラストに近づき、被写体領域の差分信号が小さくなる。一方、モアレを発生させるＮ／２より高い周波数帯域のコントラストは小絞り撮影時に回折現象によって約０％まで減衰しているため、回折補正による向上効果はなく、モアレ領域の差分信号は大きいままで変化しない。よって、小絞り画像に回折補正を施すことにより、差分信号におけるモアレ領域と被写体領域の判別が容易になる。

図１７に、本画像と回折補正を施した小絞り画像との差分信号のラインプロファイルを示す。図１１（回折補正を行わない場合）の差分信号と比較すると、モアレ領域と被写体領域のコントラスト差が大きくなり、より効果的にモアレを低減できることが期待できる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ａ…絞り、２…撮像素子、４ａ…信号処理部、１００…撮像装置、２０３…画像処理部、２０４…差分算出部、２０５…ローパスフィルタ部、２０６…混合率算出部、２０７…混合部

Claims (16)

1. 第１の撮影条件で被写体を撮影することにより得られた第１の画像と、前記第１の撮影条件に比べて前記被写体の光学像の高周波成分が減少する第２の撮影条件で前記被写体を撮影することにより得られた第２の画像の領域ごとの差分を算出する算出手段と、
   前記差分に基づく混合率で、前記第１の画像と前記第２の画像を混合して、第３の画像を生成する混合手段と、
   を備え、
   前記第２の画像は、前記第１の撮影条件における絞り値が所定値未満である場合に、得られる画像であり、
   前記混合手段は、前記差分が第１の値である場合の、前記第１の画像に対する前記第２の画像の比率が、前記差分が前記第１の値より小さい第２の値である場合の、前記第１の画像に対する前記第２の画像の比率よりも大きくなるように、前記混合率を設定する
   ことを特徴とする画像処理装置。
2. 前記差分に対してローパスフィルタ処理を適用する処理手段を更に備え、
   前記混合手段は、前記ローパスフィルタ処理が適用された前記差分に基づいて前記混合率を設定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記撮影に用いる撮像素子の画素ピッチをｐ、可視光の波長帯域に含まれる所定の波長をλとすると、前記所定値は、２×（ｐ／λ）である
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第２の撮影条件は、絞り値が前記所定値以上である撮影条件である
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記第２の撮影条件は、絞り値が前記第１の撮影条件よりも大きい撮影条件である
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 第１の撮影条件で被写体を撮影することにより得られた第１の画像と、前記第１の撮影条件に比べて前記被写体の光学像の高周波成分が減少する第２の撮影条件で前記被写体を撮影することにより得られた第２の画像の領域ごとの差分を算出する算出手段と、
   前記差分に基づく混合率で、前記第１の画像と前記第２の画像を混合して、第３の画像を生成する混合手段と、
   を備える画像処理装置であって、
   前記第２の撮影条件は、絞り値が前記第１の撮影条件よりも大きい撮影条件であり、
   前記画像処理装置は、絞りにおける回折に起因する前記第２の画像の画質劣化を補正する補正手段を更に備え、
   前記算出手段は、前記補正手段により補正された前記第２の画像に基づいて前記差分を算出し、
   前記混合手段は、前記差分が第１の値である場合の、前記第１の画像に対する前記第２の画像の比率が、前記差分が前記第１の値より小さい第２の値である場合の、前記第１の画像に対する前記第２の画像の比率よりも大きくなるように、前記混合率を設定する
   ことを特徴とする画像処理装置。
7. 前記第２の撮影条件は、前記撮影に用いる撮像素子に至る光路に光学ローパスフィルタを配置する撮影条件であり、
   前記第１の撮影条件は、前記光路に前記光学ローパスフィルタを配置しない撮影条件である
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
8. 前記第１の撮影条件は、前記被写体に合焦する撮影条件であり、
   前記第２の撮影条件は、前記被写体に合焦しない撮影条件である
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
9. 第１の撮影条件で被写体を撮影することにより第１の画像を生成し、前記第１の撮影条件における絞り値が所定値未満である場合に、前記第１の撮影条件に比べて前記被写体の光学像の高周波成分が減少する第２の撮影条件で前記被写体を撮影することにより第２の画像を生成する生成手段と、
   前記第１の画像と前記第２の画像の領域ごとの差分を算出する算出手段と、
   前記差分に基づく混合率で、前記第１の画像と前記第２の画像を混合して、第３の画像を生成する混合手段と、
   を備え、
   前記混合手段は、前記差分が第１の値である場合の、前記第１の画像に対する前記第２の画像の比率が、前記差分が前記第１の値より小さい第２の値である場合の、前記第１の画像に対する前記第２の画像の比率よりも大きくなるように、前記混合率を設定する
   ことを特徴とする撮像装置。
10. 第１の撮影条件で被写体を撮影することにより第１の画像を生成し、前記第１の撮影条件に比べて前記被写体の光学像の高周波成分が減少する第２の撮影条件で前記被写体を撮影することにより第２の画像を生成する生成手段と、
    前記第１の画像と前記第２の画像の領域ごとの差分を算出する算出手段と、
    前記差分に基づく混合率で、前記第１の画像と前記第２の画像を混合して、第３の画像を生成する混合手段と、
    を備える撮像装置であって、
    前記第２の撮影条件は、絞り値が前記第１の撮影条件よりも大きい撮影条件であり、
    前記撮像装置は、絞りにおける回折に起因する前記第２の画像の画質劣化を補正する補正手段を更に備え、
    前記算出手段は、前記補正手段により補正された前記第２の画像に基づいて前記差分を算出し、
    前記混合手段は、前記差分が第１の値である場合の、前記第１の画像に対する前記第２の画像の比率が、前記差分が前記第１の値より小さい第２の値である場合の、前記第１の画像に対する前記第２の画像の比率よりも大きくなるように、前記混合率を設定する
    ことを特徴とする撮像装置。
11. 画像処理装置が実行する画像処理方法であって、
    第１の撮影条件で被写体を撮影することにより得られた第１の画像と、前記第１の撮影条件に比べて前記被写体の光学像の高周波成分が減少する第２の撮影条件で前記被写体を撮影することにより得られた第２の画像の領域ごとの差分を算出する算出工程と、
    前記差分に基づく混合率で、前記第１の画像と前記第２の画像を混合して、第３の画像を生成する混合工程と、
    を備え、
    前記第２の画像は、前記第１の撮影条件における絞り値が所定値未満である場合に、得られる画像であり、
    前記混合工程では、前記差分が第１の値である場合の、前記第１の画像に対する前記第２の画像の比率が、前記差分が前記第１の値より小さい第２の値である場合の、前記第１の画像に対する前記第２の画像の比率よりも大きくなるように、前記混合率を設定する
    ことを特徴とする画像処理方法。
12. 画像処理装置が実行する画像処理方法であって、
    第１の撮影条件で被写体を撮影することにより得られた第１の画像と、前記第１の撮影条件に比べて前記被写体の光学像の高周波成分が減少する第２の撮影条件で前記被写体を撮影することにより得られた第２の画像の領域ごとの差分を算出する算出工程と、
    前記差分に基づく混合率で、前記第１の画像と前記第２の画像を混合して、第３の画像を生成する混合工程と、
    を備え、
    前記第２の撮影条件は、絞り値が前記第１の撮影条件よりも大きい撮影条件であり、
    前記画像処理方法は、絞りにおける回折に起因する前記第２の画像の画質劣化を補正する補正工程を更に備え、
    前記算出工程では、前記補正工程により補正された前記第２の画像に基づいて前記差分を算出し、
    前記混合工程では、前記差分が第１の値である場合の、前記第１の画像に対する前記第２の画像の比率が、前記差分が前記第１の値より小さい第２の値である場合の、前記第１の画像に対する前記第２の画像の比率よりも大きくなるように、前記混合率を設定する
    ことを特徴とする画像処理方法。
13. 撮像装置が実行する撮像方法であって、
    第１の撮影条件で被写体を撮影することにより第１の画像を生成し、前記第１の撮影条件における絞り値が所定値未満である場合に、前記第１の撮影条件に比べて前記被写体の光学像の高周波成分が減少する第２の撮影条件で前記被写体を撮影することにより第２の画像を生成する生成工程と、
    前記第１の画像と前記第２の画像の領域ごとの差分を算出する算出工程と、
    前記差分に基づく混合率で、前記第１の画像と前記第２の画像を混合して、第３の画像を生成する混合工程と、
    を備え、
    前記混合工程では、前記差分が第１の値である場合の、前記第１の画像に対する前記第２の画像の比率が、前記差分が前記第１の値より小さい第２の値である場合の、前記第１の画像に対する前記第２の画像の比率よりも大きくなるように、前記混合率を設定する
    ことを特徴とする撮像方法。
14. 撮像装置が実行する撮像方法であって、
    第１の撮影条件で被写体を撮影することにより第１の画像を生成し、前記第１の撮影条件に比べて前記被写体の光学像の高周波成分が減少する第２の撮影条件で前記被写体を撮影することにより第２の画像を生成する生成工程と、
    前記第１の画像と前記第２の画像の領域ごとの差分を算出する算出工程と、
    前記差分に基づく混合率で、前記第１の画像と前記第２の画像を混合して、第３の画像を生成する混合工程と、
    を備え、
    前記第２の撮影条件は、絞り値が前記第１の撮影条件よりも大きい撮影条件であり、
    前記撮像方法は、絞りにおける回折に起因する前記第２の画像の画質劣化を補正する補正工程を更に備え、
    前記算出工程では、前記補正工程により補正された前記第２の画像に基づいて前記差分を算出し、
    前記混合工程では、前記差分が第１の値である場合の、前記第１の画像に対する前記第２の画像の比率が、前記差分が前記第１の値より小さい第２の値である場合の、前記第１の画像に対する前記第２の画像の比率よりも大きくなるように、前記混合率を設定する
    ことを特徴とする撮像方法。
15. コンピュータを、請求項１乃至８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
16. コンピュータを、請求項９又は１０に記載の撮像装置の各手段として機能させるためのプログラム。