JP5744161B2 - 画像処理装置 - Google Patents

Description

本発明は、被写界深度の深い画像を撮影することができる撮像装置における画像処理装置に関する。

被写体のフォーカスの合う奥行き方向の距離である被写界深度の深い画像を得る技術として、異なるフォーカス位置で複数の画像を撮像し、画像の各位置について、複数の画像のうちフォーカスの合った画像を選択して合成することで、被写界深度の深い画像を生成する技術が知られている。フォーカス位置を変えて撮影すると、フォーカス位置の変化に伴い画角が変化し、複数の画像間の対応する位置がずれる場合がある。また、複数の画像間で撮影時間が異なるため、撮像中の撮像装置の位置の移動や、被写体の移動に起因するずれが生じる。したがって、ずれのない画像を生成するためには、上述のずれを補正し、複数の画像間で対応する位置を一致させた上で、フォーカスの合った画像を選択する必要がある。

ずれを補正して合成する技術として、特許文献１には、フォーカス位置の異なる複数の画像の１枚を基準画像として選択し、基準画像から特徴点を抽出し、基準画像の特徴点に対応する点を基準画像以外の画像から探索し、基準画像以外の画像の対応点が、基準画像の特徴点と一致するよう基準画像以外の画像を補正する技術が記載されている。また、特許文献２には、複数の画像の位置合わせの精度を向上させるため、抽出された特徴点のうち、複数の画像間で位置の移動のない点を利用して補正量を算出する技術が記載されている。

特開２００８−２７１２４０号公報 特開平１１−１８５０１８号公報

しかしながら、特許文献１に記載の画像処理方法は、以下の課題を有している。図２２は、異なるフォーカス位置で撮影した３枚の画像を示している。図２２（Ａ）は近景の被写体（人）３００１にフォーカスが合っており、図２２（Ｂ）は中景の被写体（ビル）３００２にフォーカスが合っており、図２２（Ｃ）は遠景の被写体（山）３００３にフォーカスが合っている。特許文献１に記載の方法において、図２２（Ｂ）または図２２（Ｃ）を基準画像に設定する場合、図２２（Ａ）の画角が図２２（Ｂ）、（Ｃ）よりも小さいため、基準画像に一致するよう図２２（Ａ）を補正すると、画像の端部分が画角外となり、合成に図２２（Ａ）を用いることが出来ない。また、図２２（Ａ）を基準画像に設定する場合は、上述の画角の問題は解決されるが、図２２（Ａ）は近景にフォーカスの合った画像であり、図２２（Ｃ）は遠景にフォーカスの合った画像であり、両画像はぼけ方が大きく異なるため、図２２（Ａ）の特徴点に対応する点を図２２（Ｃ）から探索することは困難であり、位置合わせの精度が低下する可能性が高くなる。

また、特許文献２に記載の画像処理方法は、以下の課題を有している。被写界深度を拡大するために、フォーカス位置を変えて撮影した複数の画像を合成する場合、フォーカス位置の変化に伴い画角が変化する場合は、複数の画像を比較すると、画像中央を中心に放射方向に拡大または縮小されて撮像されるため、複数の画像間で対応する点が、画像中央以外は移動することになる。特許文献２では、複数の画像間で位置の移動のない点を利用することから、フォーカス位置の変化に伴い画角が変化する場合は、画像中央の点を利用することになる。しかしながら、画像中央の点は、フォーカス位置の変化に伴う画角の変化や回転により位置が移動しない点であるため、並進、回転、拡大縮小倍率などの補正量算出に関して、位置が移動する点と比較して情報が少ない。

また、特許文献２に記載の画像処理方法は、以下の課題も有している。特許文献２では、画像内の小さな領域内の画素値分散を計算し、分散の大きな領域を特徴点として抽出している。しかしながら、分散を用いる場合、位置合わせを行うための特徴点として相応しくない点を選択する可能性がある。例えば、暗部など、ノイズが多く特徴の少ない領域を選択する可能性がある。また、繰り返しパターンのような領域を選択する可能性がある。特徴の少ない領域は、対応点を探索するのが困難であり、繰り返しパターンのような領域は、類似度の高い点が複数存在し、共に、正しい対応点を探索出来るとは限らない。

本発明は上記の点に鑑みてなされたものであり、異なるフォーカス位置で撮像された複数の画像を、各画像の対応する位置が精度よく一致するよう補正し、被写界深度の深い画像を合成することができる画像処理装置を提供することを目的とする。

本発明は上記の課題を解決するためになされたものであり、
異なるフォーカス位置で撮像されたＮ（Ｎは３以上の整数）枚の画像の位置合わせを行う画像処理装置であって、
前記Ｎ枚の画像から特徴点を抽出する特徴点抽出部と、
前記Ｎ枚の画像間で、前記特徴点に対応する対応点を探索する対応点探索部と、
前記特徴点と前記対応点の位置関係に基づき、前記Ｎ枚の画像間の位置合わせを行う画像補正部と、を備え、
前記Ｎ枚の画像のうちＮ／２枚の画像を、前記特徴点を抽出する特徴点抽出画像とし、
フォーカス位置順とした前記Ｎ枚の画像の隣接する２枚の画像のうち少なくとも１枚は前記特徴点抽出画像であり、
前記画像補正部は、前記Ｎ枚の画像のうち、最も画角の狭い画像を基準に他の画像を補正すること
を特徴とする。

本発明の他の態様は、上述の画像処理装置であって、
前記Ｎ／２枚の特徴点抽出画像は、前記Ｎ枚の画像のうち、最も近景側のフォーカス位置で撮像された画像と、最も遠景側のフォーカス位置で撮像された画像の２枚を除く、Ｎ−２枚の画像から設定すること
を特徴とする。

本発明の他の態様は、上述の画像処理装置であって、
前記特徴点抽出部は、前記特徴点抽出画像の画像端と画像中央を除く領域から前記特徴点を抽出し、かつ、前記特徴点抽出画像の４隅からの距離が近い特徴点を抽出すること
を特徴とする。

本発明の他の態様は、上述の画像処理装置であって、
前記画像補正部で位置合わせを行ったＮ枚の画像から、合焦度の高い画像の画素を選択または加重平均して合成することで、被写界深度の深い画像を合成する画像合成部を備え、
前記画像合成部は、前記特徴点と前記対応点の位置関係に基づいて、位置合わせの精度が低い画像を除いて合成すること
を特徴とする。

本発明の他の態様は、上述の画像処理装置であって、
前記画像補正部で位置合わせを行ったＮ枚の画像から、合焦度の高い画像の画素を選択または加重平均して合成することで、被写界深度の深い画像を合成する画像合成部を備え、
前記画像合成部は、前記Ｎ枚の画像に、略同一フォーカス位置で撮像された画像が複数含まれる場合に、前記略同一フォーカス位置で撮像された画像のうち少なくとも１枚を除いて合成すること
を特徴とする。

本発明によれば、異なるフォーカス位置で撮像された複数の画像を、対応する点が精度よく一致するよう補正し、被写界深度の深い画像を合成することができる。

本発明の実施形態に係る画像処理装置を含む撮像装置の構成を示す概略図である。 本発明の実施形態に係る画像処理装置の一構成例を示す機能フロック図である。 本発明の実施形態に係る画像処理のフローチャートである。 フォーカス位置を変えて撮像した３枚の画像を示す図である。 ４枚の画像から特徴点抽出画像を設定した図である。 ５枚、７枚の画像から特徴点抽出画像を設定した図である。 ６枚の画像から特徴点抽出画像を設定した図である。 特徴点抽出画像と特徴量評価領域を示す図である。 特徴点抽出画像と特徴量評価領域を示す図である。 特徴量評価領域を並進させた場合の画素値分布の変化を示す図である。 特徴点抽出画像と対応点探索画像を示す図である。 画角の変化を考慮した対応点探索範囲を示す図である。 対応点探索範囲を示す図である。 対応点探索範囲を限定した一例を示す図である。 対応点探索範囲の設定例を示す図である。 撮像装置の移動に伴う被写体位置のずれを示す図である。 特徴点または対応点間の距離を示す図である。 拡大率を補正した対応点の補正（回転と並進）を示す図である。 撮像装置の回転に伴う被写体位置のずれを示す図である。 画角の変化に伴う被写体のずれを示す図である。 合焦度を評価するコントラスト算出領域を示す図である。 フォーカス位置と被写体位置の関係を示す図である。 フォーカス位置を変えて撮像した３枚の画像を示す図である。

（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。図１Ａは、本実施形態に係る画像処理装置（画像処理部１０４）を含む撮像装置１０の構成を示す概略図である。

撮像装置１０は、制御装置１００、撮像部１０１、画像表示部１０２を含んで構成される。
制御装置１００は、制御部１０３、画像処理部１０４、記憶装置１０５を含んで構成される。
撮像部１０１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ、電荷結合素子）等の撮像デバイスやレンズ、レンズ駆動部などを含んで構成される。

画像表示部１０２は、制御装置１００から出力された出力画像信号が示す画像を表示する。画像表示部１０２は、例えば、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）である。画像表示部１０２は、タッチパネル機能を備えていてもよい。タッチパネルとは、表示画面に表示された絵や領域に触れることを感知して外部へ情報信号として出力する装置である。タッチパネルには、操作した位置の電圧を感知する抵抗膜方式や、指先と導電膜の間での静電容量の変化を捉えて位置を検出する静電容量方式などがあり、操作者の画面上での位置情報や操作に対応した動作を行なう。

制御部１０３は、撮像部１０１のレンズ（図示せず）の駆動や、電源ボタンやシャッタボタンなどの入力装置（図示せず）からの入力信号の受信、画像表示部１０２への画像表示などの制御を行う。制御部１０３は、撮像装置１０に備えられたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のハードウェアがプログラムを実行することで実現される。

制御部１０３は、図１Ａ（ｂ）に示すように、フォーカス制御部１０３−１と、被写体選択受付部１０３−２と、撮像制御部１０３−３とを有している。画像処理部１０４は、入力された複数の入力画像に対して鮮鋭度などを解析し、解析結果に基づいて１枚の画像を合成する。また、画像処理部１０４は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアで実現することができる。

図２は、本実施形態において、異なるフォーカス位置で撮像された複数の画像から被写界深度の深い画像を合成する画像処理フローを示している。撮像部１０１で撮像されたフォーカス位置の異なる複数の画像は、画像処理部１０４に入力される（Ｓ２０１）。次に、複数の画像の中から、特徴点抽出用の画像が設定され、特徴点が抽出される（Ｓ２０２）。特徴点が抽出されると、特徴点を抽出した画像以外の画像から、Ｓ２０２で抽出された特徴点に対応する対応点を探索する（Ｓ２０３）。対応点が探索されると、特徴点と対応点の位置関係から、複数の画像間の回転量や並進量やフォーカス位置の変化に伴う拡大縮小率を算出し、複数の画像間で対応する位置を一致させる補正パラメータを算出する（Ｓ２０４）。補正パラメータが算出されると、合成時に基準とする画像に、他の画像が一致するよう、他の画像を補正する（Ｓ２０５）。各画像の対応する位置が一致するよう補正されると、各画像の合焦度を評価する（Ｓ２０６）。そして、画像の各領域について、各画像の合焦度に基づいて、フォーカスの合っている画像の画素値を選択して合成することで、被写界深度の拡大した画像を生成する（Ｓ２０７）。尚、Ｓ２０１〜Ｓ２０７までは、図１Ｂに示すように、機能部として、撮像部１０１、特徴点抽出部１０４−１、対応点探索部１０４−２、補正パラメータ算出部１０４−３、画像補正部１０４−４、合焦度評価部１０４−５、画像合成部１０４−６として設けられていても良い。

次に、図２に示したフローチャートの各ステップの詳細について述べる。
Ｓ２０１では、異なるフォーカス位置で複数の画像を撮像する。各画像のフォーカス位置は、隣接するフォーカス位置間に位置する被写体が大きくぼけない程度の間隔に設定すれば、後述するＳ２０７の画像合成において不自然にぼけた領域が存在しない、好適な被写界深度拡大画像が得られる。また、フォーカス位置はユーザに指定させることで、以下の効果が得られる。例えば、撮像装置に備える表示画面に撮像するシーンのプレビュー画面を表示し、ユーザに最も近景に存在する被写体を選択させ、その選択された被写体の位置を基準に他の画像のフォーカス位置を決定すると、近景が必ず鮮明に撮像された被写界深度拡大画像を合成することができる。また、ユーザに最も鮮明に撮像したい被写体を選択させてもよい。ユーザに選択された被写体の位置情報に基づいて、少なくとも１枚は選択された被写体にフォーカスが合うようフォーカス位置を設定すれば、ユーザの最も鮮明に撮像したい被写体が鮮明に撮像された被写界深度拡大画像を合成することができる。また、オートフォーカス機能により１枚のフォーカス位置を決定してもよい。オートフォーカス機能により算出されたフォーカス位置情報に基づいて、少なくとも１枚はオートフォーカス機能により算出されたフォーカス位置で撮像するようフォーカス位置を設定すれば、通常のオートフォーカスでフォーカスの合う被写体が鮮明に撮像された被写界深度拡大画像を合成することができる。オートフォーカス機能のフォーカス情報に基づいてフォーカス位置を設定すれば、撮像時のユーザの操作は、通常のオートフォーカス機能を用いて１枚の画像を撮像する場合と同様の操作となり、ユーザへの負担が小さい。また、フォーカス位置を変えて複数枚撮像する際に、フォーカス位置の移動方法を同一方向にすることで、以下の効果がある。後述のＳ２０２、２０３の特徴点抽出、対応点探索において、特徴点に対応する対応点を探索する場合、複数の画像間の類似度が高い方が探索しやすい。フォーカス位置を同一方向に変化させて撮像する場合、フォーカス位置が隣接する画像間の撮像間隔が短いことから、被写体位置のずれが小さく、精度の高い対応点探索が可能になる。

次に、Ｓ２０２、Ｓ２０３における特徴点抽出方法と対応点探索方法について述べる。Ｓ２０２では、まず、特徴点を抽出するための画像を設定する。以下では、特徴点を抽出するための画像を「特徴点抽出画像」とする。また、特徴点抽出画像の特徴点に対応する点を探索する画像を「対応点探索画像」とする。図３は、フォーカス位置を変えて撮像した３枚の画像を示している。図３（Ａ）は近景の被写体３０１（人物）に、図３（Ｂ）は中景の被写体３０２（ビル）に、図３（Ｃ）は遠景の被写体３０３（山）にフォーカスを合わせて撮像した画像を示している。図３（Ａ）、（Ｂ）、（Ｃ）の３枚の画像の位置合わせを行う場合、図３（Ｂ）を特徴点抽出画像に設定するのが好適である。特徴点抽出後に、Ｓ２０３で対応点探索画像の対応点を探索する際、比較する２つの画像の類似度が高い方が、対応点を探索しやすい。図３に示すように、異なるフォーカス位置で撮像された画像を比較する場合、ぼけ方の異なる画像を比較することになり、ぼけが大きく異なる画像を比較すると、画像間の類似度が低く、対応点探索が困難になるためである。図３（Ｂ）を特徴点抽出画像に設定すると、図３（Ａ）と図３（Ｂ）はぼけ方が大きくは異ならず、図３（Ｃ）と図３（Ｂ）もぼけ方が大きくは異ならないため、図３（Ａ）と図３（Ｂ）の位置関係、図３（Ｂ）と図３（Ｃ）の位置関係をそれぞれ精度良く算出でき、それぞれの位置関係から、３枚の画像の位置関係を精度良く算出でき、３枚の画像を精度良く位置合わせすることができる。一方、図３（Ａ）または図３（Ｃ）を特徴点抽出画像に設定した場合は、図３（Ａ）と図３（Ｃ）を比較する場合に、両画像のぼけ方が大きく異なるため、精度の高い対応点探索が困難になる。したがって、図３（Ａ）、（Ｂ）、（Ｃ）の中では、図３（Ｂ）が特徴点抽出画像として最も好適である。すなわち、３枚の場合には、フォーカス位置が中間である中景の被写体に合焦している画像を特徴点抽出画像とすることが好ましい。

次に、画像が４枚の場合の特徴点抽出画像設定方法について述べる。図４は、異なるフォーカス位置で撮像された４枚の画像を示しており、画像４０１、４０２、４０３、４０４は、各画像のフォーカス位置の順に近景側から並んでいる。４枚の画像の位置合わせを行う場合、１枚の画像だけを特徴点抽出画像に設定すると、Ｓ２０３で対応点探索を行う際に、特徴点抽出画像以外の３枚の画像のうち少なくとも１枚が、特徴点抽出画像のフォーカス位置と大きく異なるフォーカス位置で撮像された画像となるため、対応点探索が困難になる。そこで、画像が４枚の場合は、２枚の画像を特徴点抽出画像として設定する。４枚から２枚を選択する場合、６通りの選択方法があるが、４０１と４０２、４０１と４０４、４０３と４０４のいずれかの組み合わせでは、フォーカス位置の順に並んだ画像の中に、特徴点抽出画像ではない画像が連続して存在することになるため、対応点探索が困難になる画像が存在することになる。そこで、フォーカス位置の順に並んだ画像の中に、特徴点抽出画像でない画像が連続して存在しないように、特徴点抽出画像を設定する。図４（Ａ）、（Ｂ）、（Ｃ）は、４枚の画像の特徴点抽出画像でない画像が連続して存在しないように、特徴点抽出画像を設定した場合を示しており、グレーで示す画像が特徴点抽出画像、白で示す画像が特徴点抽出画像以外の画像を示している。

図４（Ａ）、（Ｂ）、（Ｃ）に示すように特徴点抽出画像を設定することで、隣接するフォーカス位置の画像（４０１と４０２、４０２と４０３、４０３と４０４）間の位置関係を、少なくとも一方を特徴点抽出画像として求めることができ、精度良く対応点を探索することができる。更に、図４に示す３つの特徴点抽出画像設定方法のうち、図４（Ｃ）は、より好適な対応点探索が可能となる。画像４０１は最も近景にフォーカスを合わせて撮像された画像であるため、遠景被写体は大きくぼけて撮像されることになり、画像４０４は最も遠景にフォーカスを合わせて撮像された画像であるため、近景被写体は大きくぼけて撮像されることになるため、画像４０１と画像４０４は、画像の中に大きくぼけた領域が存在する可能性が高くなる。したがって、画像４０１や画像４０４を特徴点抽出画像に設定すると、後述する特徴点抽出方法により特徴点を抽出する際に、特徴点を抽出出来ない領域が存在する可能性が高くなる。一方、画像４０２や画像４０３は中景にフォーカスを合わせて撮像された画像であるため、フォーカスの合っていない近景被写体や遠景被写体のぼけ方はそれほど大きくなく、画像４０１と画像４０４に比べると、特徴点を抽出出来ない領域が存在する可能性が低く、特徴点抽出画像として好適である。つまり、画像４０１と画像４０４を特徴点抽出画像としない図４（Ｃ）の特徴点抽出画像設定方法が最も好適である。すなわち、４枚の場合には、フォーカス位置が中間である方の２枚の中景の被写体に合焦している画像を特徴点抽出画像とすることが好ましい。

次に、画像が５枚以上の場合の特徴点抽出画像設定方法について述べる。画像の枚数をＮ枚の場合、Ｎ／２枚（整数：小数点以下は切り捨て）の画像を特徴点抽出画像に設定する。例えば、５枚の場合は２枚、６枚の場合は３枚、７枚の場合は３枚、８枚の場合は４枚を特徴点抽出画像に設定する。図５（Ａ）は画像が５枚の場合の特徴点抽出画像設定方法、図５（Ｂ）は画像が７枚の場合の特徴点抽出画像設定方法を示している。それぞれ、グレーで示す画像５０２、画像５０４、画像５０７、画像５０９、画像５１１を特徴点抽出画像に設定している。図５に示すように、画像の枚数が奇数の場合、Ｎ枚の画像をフォーカス位置の順に並べた場合に、２×ｉ（ｉはＮ／２以下の正の整数）番目の画像を特徴点抽出画像とすることで、特徴点抽出画像でない画像が連続して存在しないように特徴点抽出画像を設定することができる。

図５において、画像５０３、画像５０８、画像５１０も特徴点抽出画像として好適なフォーカス位置で撮像された画像であるが、画像５０３、画像５０８、画像５１０を特徴点抽出画像に含んで、かつ、特徴点抽出画像でない画像が連続して存在しないように特徴点抽出画像を設定すると、５枚の場合は３枚を、７枚の場合は４枚以上を特徴点抽出画像に設定することになり、２×ｉ番目のみを特徴点抽出画像に設定する場合と比較して、特徴点抽出画像の枚数が増加する。特徴点抽出画像の枚数が増加すると、特徴点抽出に要する処理量が増加するため、２×ｉ番目の画像を特徴点抽出画像に設定する方法が、処理量が少ないという点で好適である。図６は、画像が６枚の場合の特徴点抽出画像設定方法を示している。６枚の場合は３枚の画像を特徴点画像に設定することで、特徴点抽出画像でない画像が連続して存在しないように特徴点抽出画像を設定することができる。

図６は、３枚の特徴点抽出画像の設定方法を示しており、図６（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）の４通りの方法がある。いずれも、特徴点抽出画像でない画像が連続して存在せず、後述するＳ２０３の対応点探索において、精度良く対応点を探索することができる。さらに、図６（Ａ）〜（Ｄ）の中でも、図６（Ｃ）、（Ｄ）はより好適な特徴点抽出画像選択方法である。図６（Ｃ）と（Ｄ）は、画像６０１や６０６を特徴点抽出画像に含まない。画像６０１は最も近景にフォーカスを合わせて撮像された画像であるため、遠景被写体は大きくぼけて撮像されることになり、画像６０６は最も遠景にフォーカスを合わせて撮像された画像であるため、近景被写体は大きくぼけて撮像されることになるため、画像６０１と画像６０６は、画像の中に大きくぼけた領域が存在する可能性が高くなる。したがって、画像６０１や画像６０６を特徴点抽出画像に設定すると、後述する特徴点抽出方法により特徴点を抽出する際に、特徴点を抽出出来ない領域が存在する可能性が高くなる。したがって、画像６０１や画像６０６を特徴点抽出画像に含まない図６（Ｃ）、（Ｄ）はより好適な特徴点抽出画像の設定方法である。

以上述べたように、Ｎ（Ｎは３以上の整数）枚の画像をフォーカス位置の順に並べた場合に、１）特徴点抽出画像でない画像が連続して存在しないようにＮ／２枚の画像を特徴点抽出画像に設定することで、精度の高い対応点探索が可能となる。さらに、２）特徴点抽出画像は、最も遠景にフォーカスを合わせて撮像された画像と最も近景にフォーカスを合わせて撮像された画像を除くＮ−２枚の画像の中から設定することで、より好適な特徴点抽出が可能となり、精度の高い対応点探索が可能となる。なお、３）上記条件を満たす特徴点抽出画像設定方法は、Ｎが奇数の場合は１通りに決まり、２×ｉ（ｉはＮ／２以下の正の整数）番目の画像を特徴点抽出画像に設定することになる。一方、Ｎが偶数の場合は、図４や図６に示すように、複数の特徴点抽出画像設定方法が存在する。

次に、Ｓ２０２の特徴点抽出方法について述べる。図７は特徴点抽出画像７０１と、画像中の特徴点を探索するための特徴量評価領域７０２を示している。特徴点を抽出するために、特徴量評価領域７０２を、特徴点抽出画像７０１内を移動させながら、各位置での特徴量評価領域７０２内の特徴量を算出し、算出した特徴量に基づいて、その位置が対応点探索に好適な特徴点であるかを判定する。特徴量評価領域の大きさは、例えば、特徴点抽出画像の解像度の３％という形で、特徴点抽出画像の大きさに基づいて決定すればよい。

本発明では、特徴量として形状を評価し、対応点探索に好適な形状を持つ領域の位置を、特徴点として抽出する。例えば、コーナー形状は、特徴点として好適である。図８は、特徴点抽出画像８０１と特徴量評価領域８０２を示しており、特徴量評価領域８０２にはコーナーが含まれる。図９は、特徴量評価領域８０２を、図８に示す位置から縦、横、斜め方向に並進した位置に移動した場合の、領域内の画素値の分布を示している。図９（Ｅ）が図８の特徴量評価領域８０２の位置を示す。図９に示すように、特徴量評価領域にコーナーが含まれる場合、特徴量評価領域の位置を並進させると、いずれの方向に並進させた場合も、領域内の画素値の分布が大きく変化する。したがって、８０２のような位置を特徴点として、対応点を探索すれば、類似度の高い位置が１点に決まる可能性が高く、信頼度の高い対応点探索が可能となる。コーナー形状を特徴点として抽出する場合は、モラベックのコーナー検出法やハリスのコーナー検出法など既知のコーナー検出法により特徴量評価領域を評価し、抽出することができる。また、コーナー形状と同様に、Ｔ字や十字、エッジの先端といった形状も、位置が各方向に並進した場合の領域内の画素値分布が大きく変化することから、特徴点として好適である。なお、画像の解像度が大きい場合、特徴量評価領域の解像度も相対的に大きくなり、処理量が増大するため、画像の解像度に応じて画像を縮小し、縮小した画像上で特徴点抽出することで、処理量を削減することができる。

次に、Ｓ２０３の対応点探索について述べる。複数の画像間で対応する位置を探索する方法として、例えば、ブロックマッチング法がある。ブロックマッチング法とは、画像間の類似度を評価する方法であり、一方の画像からある領域を選択し、その領域と最も類似度の高い領域を比較する画像から選択する方法である。類似度の評価には様々な評価関数が用いられる。例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）と言われる、両画像の画素値や輝度値の差異の絶対値の総和が最小となる領域を最も類似度の高い領域として選択する方法がある。

図１０（Ａ）は特徴点抽出画像、図１０（Ｂ）は対応点探索画像を示しており、図１０（Ａ）中の領域１００１が、特徴点として選択されている。対応点探索をする場合、探索範囲を適切に設定する必要がある。フォーカス位置の変化に伴いに画角が変化する場合は、複数の画像が画像中央を中心に放射方向に拡大または縮小されて撮像される。したがって、各画像のフォーカス位置が既知であれば、比較する画像のフォーカス位置関係から、フォーカス位置の変化に起因する対応点の移動方向がわかるため、移動方向を考慮した探索範囲を設定することができる。

例えば、図１１（Ａ）は特徴点抽出画像、図１１（Ｂ）は対応点探索画像を示しており、１１０１は特徴点の位置を示す領域を示している。図１１（Ｂ）は図１１（Ａ）より拡大されて撮像されているため、画像上部に位置する１１０１に対応する点は、図１１（Ｂ）上ではより画像上部に撮像されることになる。したがって、１１０１の対応点探索範囲は、図１１（Ｂ）の破線で囲う領域１１０２のように、１１０１の中心より上部側を広く設定する方が好適である。また、ユーザが手に持って撮影する場合など、撮像装置を固定せずに撮影する場合は、フォーカス位置の変化に伴う画角の変化に加え、並進や回転などの撮像位置の移動に伴う対応点の移動があるため、その影響を考慮して対応点探索範囲を設定する必要がある。

以上述べたように、フォーカスを変えて撮像した複数の画像間の対応点を探索する場合、フォーカスの変化に伴う拡大、縮小、回転、並進が生じる可能性があるため、それらの影響を考慮して対応点探索領域を設定すればよい。さらに、Ｓ２０２で特徴点を抽出する際も、画像間の拡大、縮小、回転、並進を考慮する必要がある。特徴点を極端に画面の端から選択すると、その特徴点に対応する点が、他の画像の画角外となり、画像上に存在しない可能性が生じる。したがって、Ｓ２０２では画面端を除く領域から特徴点を抽出する方が好適である。また、対応点探索の結果を利用して、更に信頼度を向上させることができる。上述のブロックマッチング法において、例えば、ＳＡＤで評価する場合、ＳＡＤ値が最も小さくなる位置が、特徴点と最も類似度の高い対応点であると考えられるが、繰り返しパターンを持つ領域が特徴点として抽出されている場合は、ＳＡＤ値が複数の極小値を持つ可能性があり、２つの極小値が近い値となる場合は、誤った対応点を選択する可能性がある。

また、特徴量評価領域を並進させても画素値分布の変化が小さい方向が存在する領域が特徴点として抽出されている場合も、ＳＡＤ値の最小値に近い値が複数存在する可能性があり、誤った対応点を選択する可能性がある。そこで、近い値の極小値が複数存在する場合や、最小値に近い値が複数存在する場合は、信頼度が低いと考え、その特徴点と対応点を後述する補正パラメータ算出には用いず、他の信頼度の高い特徴点と対応点を利用することで、精度の高い位置合わせが可能となる。ＳＡＤに用いる画素値は、画像のＲＧＢ値を用いることができる。また、ＲＧＢ値のうち、代表して１色だけ用いることで、ＲＧＢ３色用いる場合と比較して処理量を低減することができる。また、ＹＵＶ形式の画像であれば、Ｙ値を用いてもよい。Ｙ値を用いることで、ＲＧＢ３色用いる場合と比較して処理量を低減することができる。また、ＲＧＢ値からＹ値を算出して用いてもよい。ＲＧＢ値からＹ値の算出は、例えば、以下の式で算出することができる。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ

なお、ブロックマッチング法で対応点探索を行う場合のブロックサイズは、Ｓ２０２で抽出した特徴点の対応点を探索するため、Ｓ２０２で設定した特徴量評価領域の領域を包含するよう対応点探索のブロックサイズを設定すればよい。例えば、Ｓ２０２で特徴量評価領域を画像の解像度の３％と設定していれば、対応点探索のブロックサイズを画像の解像度の１０％と設定すればよい。画像の解像度が大きい場合、対応点探索時の解像度も相対的に大きくなり、処理量が増大する。そこで、画像の解像度に応じて画像を縮小し、縮小した画像上で対応点を探索し、縮小画像上で算出した対応点の位置に基づいて、原画像上での対応点探索を行うことで、処理量の大きな原画上での対応点探索時の探索範囲を狭く設定することができ、処理量を削減することができる。

次に、Ｓ２０４の補正パラメータ算出を考慮した特徴点抽出について述べる。フォーカスを変えて撮像した画像間に生じるずれの原因は、画角の変化に伴う拡大縮小、並進（Ｘ方向、Ｙ方向、Ｚ方向）や回転（ヨー、ピッチ、ロール）などの撮像装置の移動がある。撮像装置の移動がなければ、並進や回転に伴うずれは生じないが、画角の変化に伴う拡大縮小は必ず生じる。したがって、拡大率を補正するパラメータを精度良く算出するためには、少なくとも拡大縮小に起因するずれ量算出に適した特徴点を抽出し、その対応点を探索する必要がある。拡大縮小に起因するずれ量算出には、画面中央からの距離が遠い点の方が好適である。例えば、画面中央から１０画素離れた位置では、画像が１％拡大されて撮像されると、１０．１画素の位置に撮像される。一方、画面中央から１０００画素離れた位置では、画像が１％拡大されて撮像されると、１０１０画素の位置に撮像される。両位置ともに１％拡大されて撮像されるが、画面中央から１０画素の位置では、拡大縮小に起因するずれ量を算出するためには、０．１画素の精度で対応点を探索する必要がある。

上述のブロックマッチング法で０．１画素の精度で正確に対応点を探索するのは容易ではなく、フォーカス位置が異なりぼけ方の異なる画像の比較において０．１画素の精度で正確に対応点を探索するのは困難である。一方、画面中央から１０００画素の位置では、拡大縮小に起因するずれが１０画素あるため、１画素の精度で対応点を探索すればよい。したがって、Ｓ２０２で抽出する特徴点は画面中央からの距離が遠い点の方が好適である。Ｓ２０２の特徴点抽出方法として、例えば、画面の４隅から最も近い特徴点を抽出することで、精度の高い拡大率を算出することができる。ただし、極端に画面の端から特徴点を抽出すると、その特徴点に対応する点が、他の画像の画角外となる可能性があるため、画面端を除く領域内において、画面４隅から最も近い特徴点を抽出すればよい。図１２は、特徴点抽出画像１２０１と、４隅の点１２０２、１２０３、１２０４、１２０５と、破線で囲う特徴点探索範囲１２０６を示している。

次に、画面４隅から最も近い特徴点を抽出する場合の、探索順序について述べる。１つの探索順序として、画面左上から右下に向かってラスタスキャンする順序があるが、画面下部に達するまで時間を要するため、処理に時間を要する可能性がある。そこで、４隅から最も近い特徴点の探索を、それぞれの探索開始位置・方向を異ならせて行う。図１２において、点１２０２に最も近い特徴点の探索は、点１２０７を開始位置とし、左上から右下の方向に探索を行う。同様に、点１２０３については点１２０８を開始位置とし右上から左下の方向に、点１２０４については点１２０９を開始位置とし左下から右上の方向に、点１２０５については点１２１０を開始位置とし右下から左上の方向に、それぞれ探索を行う。上述の方法で探索を行うと、４隅それぞれの点から近い点から探索を行うことが出来るため、探索初期に目的の特徴点を抽出出来る可能性が高くなり、処理量を低減することができる。また、更に処理量を低減する方法として、探索範囲を限定する方法がある。例えば、図１３は、図１２における４隅の点１２０２〜１２０５に最も近い特徴点を探索する範囲をそれぞれ、領域１３０１、１３０２、１３０３、１３０４に限定した図を示している。図１３に示すように、探索範囲を限定することで、処理量を低減する効果はある。

しかし、図１３に示すようにそれぞれの探索領域を小さく設定すると、処理量は低減されるが、領域内に特徴点が存在しない可能性が高くなる。フォーカスを変えて複数の画像を撮像するシーンにおいては、カメラからの距離が大きく異なる被写体が共存している可能性が高く、フォーカスを変えて撮像したそれぞれの画像には、フォーカスの合っていない被写体が含まれる可能性が高い。例えば、図３（Ａ）の画像は、画像右側が全体的にぼけており、このような領域からコーナー形状といった特徴点を抽出するのは困難である。また、青空のような特徴のない被写体を撮像している場合、フォーカスが合っていても特徴点の抽出は困難である。したがって、特徴点探索領域は広く設定する方が好適である。

図１４は特徴点探索領域設定方法の一例を示す図である。点１２０２に最も近い特徴点探索領域を領域１４０１とし、同様に、点１２０３に最も近い特徴点は領域１４０２から、点１２０４に最も近い特徴点は領域１４０３から、点１２０５に最も近い特徴点は領域１４０４から探索する。図１４において、４つの探索領域のいずれもが画面中央部を含まない理由は、画面中央の特徴点は、拡大率算出に適さないためである。また、図１４において、領域１４０１と領域１４０３、領域１４０２と領域１４０４は一部が重複している。各探索領域を十分に広く設定することで、特徴点を抽出出来ない可能性を低減することができる。また、領域を広く設定する場合においても、各領域、４隅に近い位置から探索を行うため、探索初期に特徴点が抽出されれば、処理量は少なくなり、４隅の近くに特徴点がない場合も、対応点探索は特徴点が抽出されるまで行わないため、処理量が多くなることもない。

以上述べたように、画像の４隅に近い特徴点を抽出することで、精度良く拡大率を算出することができる。また、抽出される特徴点の位置が画像の一部に偏る可能性が低く、後述するＳ２０５の画像補正において画像全体のずれが小さくなるように補正可能なパラメータを算出することができる。また、特徴点探索領域を重複させて広く設定する場合、画像内にぼけた領域や平坦領域などの特徴点のない領域が存在すると、抽出される特徴点の位置に偏りが生じる可能性があるが、特徴点はフォーカスの合っている領域から抽出されるため、その特徴点から算出した補正パラメータで後述する画像補正を行うと、フォーカスの合っている領域については精度よく補正される。特徴点の抽出されなかった領域については、補正精度が落ちる可能性はあるが、特徴のない領域は、後述する画像合成において補正精度が不十分であっても画質劣化につながる可能性は低い。

したがって、特徴点探索領域を広く設定して抽出した画像の４隅から近い特徴点は、画像補正に好適な特徴点であると言える。また、設定した特徴点探索範囲に全く特徴点が存在しない場合は、抽出された特徴点のみで補正パラメータを算出すればよい。前述のように、全く特徴のない領域は、画像合成時に必要な補正精度が特徴のある領域に比べて低いためである。

次に、並進や回転の影響について述べる。撮像装置が回転（ロール）した場合、回転中心に近い領域の変化量は小さいが、回転中心から離れた領域の変化量は大きくなる。したがって、回転に起因するずれ量を算出する場合も、拡大縮小と同様、画面中央部からの距離が遠い点の方が補正パラメータ算出に好適であると言える。また、撮像装置が回転（ピッチ、ヨー）した場合や並進（Ｘ方向、Ｙ方向、Ｚ方向）した場合は、被写体までの距離に応じてずれ量が異なる。例えば、図１５の上図と下図は、撮像装置を並進させて撮像した２枚の画像を示しており、近景の被写体１５０１と遠景の被写体１５０２が撮像されている。図１５の上図と下図を比較すると、近景の被写体１５０１（１５０１ａ）の位置はずれているが、遠景の被写体１５０２（１５０２ａ）はずれていない。この違いは、撮像装置から２つの被写体までの距離が異なるために生じている。したがって、撮像装置が移動する場合は、被写体までの距離に応じてずれ量が変化するため、１つの補正パラメータで画像全体を補正すると、一致しない領域が発生することになる。

図１５においては、被写体１５０１を精度良く合わせると、被写体１５０２のずれが大きくなり、被写体１５０２を精度良く合わせると、被写体１５０１のずれが大きくなる。画像の各位置での補正量を個別に算出すれば、すべての位置で精度の良い補正ができるが、処理量が増加してしまう。そこで、１つの補正パラメータで画像を補正する場合に、精度の高い補正を実現するためには、画像内から偏りなく特徴点を抽出し、すべての特徴点のずれが大きくならないような補正パラメータを算出すればよい。例えば、特徴点の位置と補正後の対応点の位置のずれの和が最小となるような補正パラメータを算出することで、画像全体のずれを小さくすることができる。また、特徴点の位置と補正後の対応点の位置のずれの二乗の和が最小となるような補正パラメータを算出してもよい。

次に、Ｓ２０４の補正パラメータの算出方法とＳ２０５の画像補正の方法について述べる。前述のように、撮像装置の位置が移動する場合は、被写体の距離によってずれ量が異なるため、１つの補正パラメータでずれなく補正することは難しい。しかし、撮像装置の移動量が大きくない場合は、画像全体を１つのパラメータで拡大縮小、回転、並進することで、精度良く補正することができる。まず、拡大率、回転量、並進量のうち、拡大率を求める。画像内で回転や並進があっても、２点間の距離は変化しないため、拡大率は回転、並進の影響を受けない。したがって、各画像の特徴点（または対応点）間の距離から拡大率を求めることが出来る。

図１６（Ａ）は特徴点抽出画像１６０１と抽出された特徴点１６０２、１６０３、１６０４、１６０５を示しており、図１６（Ｂ）は対応点探索画像１６０６と特徴点１６０２〜１６０５に対応する対応点１６０７、１６０８、１６０９、１６１０を示している。拡大率は、２点間の距離の比から算出することができる。例えば、点１６０２の座標を（Ｘ１、Ｙ１）、点１６０３の座標を（Ｘ２、Ｙ２）とすると、２点間の距離Ｄ１は、
Ｄ１＝（（Ｘ１−Ｘ２）^２＋（Ｙ１−Ｙ２）^２）^０．５
となる。同様に、点１６０７の座標を（Ｘ３、Ｙ３）、点１６０８の座標を（Ｘ４、Ｙ４）とすると、２点間の距離Ｄ２は、
Ｄ２＝（（Ｘ３−Ｘ４）^２＋（Ｙ３−Ｙ４）^２）^０．５
となり、画像１６０６の１６０１に対する拡大率Ｓ１は、
Ｓ１＝Ｄ２／Ｄ１
となる。拡大縮小中心を画像中央とすると、対応点の補正後の座標、例えば、点１６０７の補正後の座標（Ｘ３’、Ｙ３’）は、
Ｘ３’＝Ｘ３／Ｓ１
Ｙ３’＝Ｙ３／Ｓ１
となる。拡大率を補正することで、補正後の各画像の特徴点または対応点間距離はほぼ等しくなり、例えば、拡大率補正後の点１６０７と点１６０８間の距離Ｄ２’（図示せず）は点１６０２と点１６０３間の距離Ｄ１とほぼ等しくなる。

上述のように、撮像装置の移動による影響は各特徴点の位置（被写体までの距離）によって異なり、また、例えば、対応点探索を１画素精度で行えば１画素以下の誤差が生じる可能性があるなど、選択した特徴点（対応点）によって、算出される拡大率が異なる可能性がある。そこで、異なる組み合わせの２つの特徴点（対応点）からそれぞれ拡大率を算出し、それらを平均化することで、すべての特徴点（対応点）のずれが大きくならないような拡大率を算出することができる。また、算出した複数の拡大率を昇順または降順に並べ替え、最大値と最小値を除く拡大率を平均化することで、大きくずれた拡大率が算出されている場合に、その値を除外して算出することができる。また、特徴点（対応点）間の距離が小さい場合は、拡大縮小に伴う画像間の位置のずれ量が小さく、対応点探索の精度によっては、算出される拡大率の誤差が大きくなる可能性があるため、２点間の距離が小さい場合は拡大率算出に用いず、２点間の距離が大きな特徴点間の距離の比率を拡大率算出に用いることで、算出精度を向上させることができる。

次に、回転量と並進量の算出方法について述べる。回転量と並進量は拡大率を補正した特徴点と対応点の位置関係から算出する。図１７は、拡大率を補正した対応点１７０１（Ｘ５、Ｙ５）と、回転中心１７０３（ＲＸ、ＲＹ）を中心に点１７０１を角度θ回転し、更にＸ軸方向にＤＸ、Ｙ方向にＤＹそれぞれ並進した補正後の対応点１７０２（Ｘ６、Ｙ６）を示している。点１７０１と点１７０２の座標の関係は、
Ｘ６＝（Ｘ５−ＲＸ）×ｃｏｓθ−（Ｙ５−ＲＹ）×ｓｉｎθ＋ＲＸ＋ＤＸ
Ｙ６＝（Ｘ５−ＲＸ）×ｓｉｎθ＋（Ｙ５−ＲＹ）×ｃｏｓθ＋ＲＹ＋ＤＹ
となる。上記式で補正した対応点の座標と特徴点の座標の位置のずれが小さくなるような補正パラメータを決定する。また、回転中心を画像中央として回転量と並進量を算出することで、計算量を削減することができる。例えば、図１８に示すように、回転中心が画像から十分に遠い左側の点１８０１に位置する場合、回転方向が時計回りの場合は、画像上の点１８０２、１８０３は画像上をほぼ同様に下向きに移動する。この移動に関して、回転中心を画像中央に設定すると、図１８に示す点１８０２、１８０３の移動は、回転はなく、下向きへの並進と等価になる。つまり、厳密に回転中心を算出しなくても、回転中心を画像中央として回転量と並進量を算出することで、精度良く補正することができる。回転中心を画像中央とすると、対応点の補正後の座標は、
Ｘ６＝Ｘ５×ｃｏｓθ−Ｙ５×ｓｉｎθ＋ＤＸ
Ｙ６＝Ｘ５×ｓｉｎθ＋Ｙ５×ｃｏｓθ＋ＤＹ
となり、より計算が簡単になる。後述の画像補正においては、対応点だけでなく、画像全体に対して補正を行うため、回転中心を画像中央として補正量を算出すれば、処理量削減効果が得られる。なお、特徴点と補正後の対応点のずれ量が非常に大きい場合は、位置合わせの精度が低いと考えられ、合成画像の画質が劣化する可能性が高くなる。そこで、特徴点と補正後の対応点のずれ量が所定の値より大きい場合は、画像合成を行わず、撮影画像のいずれかを保存してもよい。また、画質劣化が生じる可能性が高いことをユーザに知らせ、合成処理を行うか否かをユーザに選択させてもよい。

以上の方法で算出した補正パラメータを用いて、すべての画像が一致するよう補正する。画像の補正は、画角の最も小さな画像を基準に、他の画像を補正する。以下では、複数の画像を用いて合成するために画像を補正する際に基準とする画像を、補正基準画像とする。図１９（Ａ）、（Ｂ）はフォーカスを変えて撮像した２枚の画像を示しており、Ａの画角の方が小さく、すなわち、被写体が大きく撮像されている。図１９において、画角の大きなＢを基準にＡを補正すると、図１９（Ｃ）に示すようになり、灰色で示す画像端の領域１９０１は、Ａの画角外となってしまうため、合成する際に画像Ｂの情報しか得られない。一方、画角の小さなＡを基準にＢを補正すると、図１９（Ｄ）に示すようになり、画像全体に渡って、画像Ａ、Ｂ共に情報が得られる。したがって、画角の異なる画像の位置合わせを行う場合は、最も画角の小さな画像を基準に、他の画像を補正すればよい。近景にフォーカスを合わせた方が画角が小さいと仮定すると、図４の場合は画像４０１を、図５の場合は画像５０１や画像５０６を、図６の場合は画像６０１を補正基準画像とすればよい。前述のように、特徴点と対応点の関係は、隣接する画像間について算出するため、補正基準画像に対する補正パラメータを直接算出していない画像も存在する可能性はあるが、隣接する画像間の補正量が既知であるため、それらの関係に基づいて、すべての画像について補正基準画像に対する補正量を算出することができる。

次に、Ｓ２０６の合焦度評価方法について述べる。合焦度は画像のコントラストで評価することができる。コントラストは、例えば、注目画素を中心とする所定の領域内における、隣接画素間の画素値の差から算出することができる。フォーカスが合わず画像がぼけていれば、ぼけにより平均化され隣接画素の画素値の差は小さくなるため、隣接画素間の画素値の差が大きいほどフォーカスが合っていると判断することができる。コントラスト算出に用いる画素値は、例えば、ＲＧＢ値を用いることができる。また、ＲＧＢ値のうち、いずれか１色だけ用いることで処理量を削減することができる。また、Ｙ値を用いることで、ＲＧＢ３色用いる場合と比較して処理量を削減することができる。また、上述の対応点探索時に用いた値を再度利用すれば、新たに計算する必要がなく好適である。各画素において、コントラストを算出する領域の大きさは、例えば、画像の大きさの１％という形で設定すればよい。コントラストを算出する領域をある程度の大きさに設定することで、後述する画像合成時の画素選択において好適である。

図２０（Ａ）は補正基準画像、図２０（Ｂ）は図２０（Ａ）に一致するよう補正した画像を示しており、画像Ａでは被写体２００１にフォーカスが合って撮像されており、画像Ｂでは被写体２００１はフォーカスがずれて撮像されており、両画像の被写体２００１には若干の位置のずれが生じている。また、領域２００２、２００３、２００４、２００５はコントラスト算出領域を示している。領域２００２、２００３と比較すると、２００２の方がコントラストの高い領域が含まれるため、画像合成時に画像Ａの方を選択される可能性が高い。一方、領域２００４と２００５を比較すると、領域２００４は平坦領域であるため、領域２００５のコントラストの方が高くなり、画像合成時に画像Ｂが選択される可能性が高い。領域２００４は補正基準画像上では被写体が存在しない領域であるため、領域２００５が選択されると、二重像になるなど、画質が劣化する可能性があるが、領域２００２、２００３のようにある程度の大きさのコントラスト算出領域を設定しておけば、図２０のように画像補正の精度が低い場合であっても、合成画像の画質劣化の可能性を低減することができ好適である。なお、Ｓ２０６の合焦度評価に関して、補正基準画像と補正基準画像に一致するよう補正した画像について評価を行う手順で述べたが、補正前の撮影画像のコントラストを算出しておき、算出したコントラストを、画像の補正パラメータを用いて補正してもよい。

次に、Ｓ２０７の画像合成について述べる。Ｓ２０７では、Ｓ２０６で算出した各画像の合焦度に基づいて、画像の各位置において最も合焦度の高い画像の画素を選択して合成することで、被写界深度の深い画像を合成する。青空などの平坦領域については、どのフォーカス位置で撮像した画像もコントラストが小さく画像間のコントラストの差がない。そのような領域は、補正基準画像の画素値を選択してもよいし、複数の画像を平均化してもよい。平均化することで、ノイズが低減される効果が得られる。また、被写体の位置によっては、複数の画像のコントラストがほぼ等しくなる領域も存在する。

図２１は、２つの画像のフォーカス位置２１０１と２１０２と、その間に位置する被写体２１０３を示している。被写体２１０３は、フォーカス位置２１０１で撮像された画像ではわずかにぼけて撮像され、フォーカス位置２１０２で撮像された画像でもわずかにぼけて撮像され、両画像間の違いは小さくなる。図２１に示すように、複数の画像のコントラストがほぼ等しい場合は、合成画像の画素値を平均化して算出すればよい。また、複数の画像のコントラストが近い場合は、その大きさに基づいた重み付けを行い、合成画像の画素値を算出すればよい。

以上説明したように、本実施の形態によれば、異なるフォーカス位置で撮像されたＮ枚の画像をフォーカス位置の順に並べた場合に、隣接する２枚の画像のうち少なくとも１枚は特徴点抽出画像となるようＮ／２枚の画像を特徴点抽出画像に設定し、特徴点抽出画像から抽出した特徴点に対応する点を他の画像から探索し、特徴点と対応点の位置関係からＮ枚の画像の対応する位置を一致させる補正パラメータを算出し、Ｎ枚の画像のうち最も画角の狭い画像を基準に他の画像を補正し、対応点の一致した各画像の合焦度を算出し、合焦度の高い画像の画素を選択して合成することで、被写界深度の深い画像を合成することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態では、画像の補正精度に基づいて、画像合成に用いる画像を選択する。

Ｓ２０４では、Ｓ２０２で抽出した特徴点とＳ２０３で探索した対応点が一致するよう補正パラメータを算出するが、複数の特徴点と対応点がすべてずれなく一致する可能性は低い。しかしながら、前述のように、Ｓ２０７の画像合成部にてコントラストの高い画像の画素値を選択するため、小さなずれであれば、合成画像の画質が劣化する可能性は低い。そこで、特徴点と対応点のずれ量の関する閾値を設定し、ずれ量が閾値以下の画像のみを合成に用いる。例えば、撮影途中に被写体が動いてしまった場合や、撮影途中にユーザが撮像装置の位置を大きく動かしてしまった場合などは、途中の画像までは精度の高い補正が出来る可能性がある。そのような場合、例えば、５枚の画像のうち、画角の小さな方から３枚はずれ量が小さい場合は、１、２、３枚目のみを画像合成に用いる。

すなわち、画像合成部１０４−６は、画像補正部１０４−４での位置合わせの結果に基づいて、Ｎ枚の画像のうち位置合わせの精度の低い画像を除外し、位置合わせの精度の高い画像から合焦度の高い画像の画素を選択または加重平均して被写界深度の深い画像を合成する。

上述の構成により、フォーカスを変えて撮像した複数の画像中にずれ量の大きな画像が含まれる場合においても、ずれ量の小さな画像のみを用いて合成することで、撮像されたそれぞれの画像より被写界深度の拡大された合成画像を得ることができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第３の実施形態では、画像のフォーカス位置情報に基づいて、画像合成に用いる画像を選択する。

Ｓ２０４では、各画像の拡大率を算出する。フォーカス位置によって画角が変化する撮像装置の場合、フォーカス位置を変えて撮像すれば、各画像の拡大率は変化する。したがって、フォーカス位置を変えて撮像しているにも関わらず同じ拡大率の画像が存在すれば、その画像は、ほぼ同じフォーカス位置で撮像した画像であると考えられる。同じフォーカス位置で撮像された画像は、合成しても被写界深度は拡大出来ず、画像補正にずれがある場合は画像合成時の画質劣化のリスクとなる。したがって、ほぼ同じフォーカス位置で撮像した画像を画像合成に用いないことで、画質劣化のリスクを低減し、好適な合成画像を生成することが出来る。

各画像のフォーカス位置を得る方法として、各画像の拡大率から判断する方法について述べたが、撮像装置のフォーカス制御情報に基づいて判断することもできる。上述の構成により、フォーカスを変えて撮像した複数の画像中にフォーカス位置の近い画像が複数含まれる場合においても、適切な間隔で離れたフォーカス位置で撮像された画像のみを用いて合成することで、撮像されたそれぞれの画像より被写界深度の拡大された合成画像を得ることができる。また、必要な枚数のみで合成処理を行うため、すべての画像を用いる場合と比較して、処理量を低減することができる。

すなわち、画像合成部１０４−６は、Ｎ枚の画像に略同一フォーカス位置で撮像された画像が複数含まれる場合に、略同一フォーカス位置で撮像された画像のうち少なくとも１枚を除外した画像から、合焦度の高い画像の画素を選択または加重平均して被写界深度の深い画像を合成する。

本発明の実施形態によれば、異なるフォーカス位置で撮像された複数の画像を、対応する点が精度よく一致するよう補正し、被写界深度の深い画像を合成することができる。

処理および制御は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によるソフトウェア処理、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によるハードウェア処理によって実現することができる。

また、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

（付記）
本発明は、以下の開示を含む。
（１）
異なるフォーカス位置で撮像されたＮ（Ｎは３以上の整数）枚の画像の位置合わせを行う画像処理装置であって、
前記Ｎ枚の画像から特徴点を抽出する特徴点抽出部と、
前記Ｎ枚の画像間で、前記特徴点に対応する対応点を探索する対応点探索部と、
前記特徴点と前記対応点との位置関係に基づき、前記Ｎ枚の画像間の位置合わせを行う画像補正部と、を備え、
前記Ｎ枚の画像のうちＮ／２枚（小数点以下を切り捨てた整数）の画像を、前記特徴点を抽出する特徴点抽出画像とし、
フォーカス位置順とした前記Ｎ枚の画像のうち隣接する２枚の画像のうち少なくとも１枚を前記特徴点抽出画像とし、
前記画像補正部は、
前記Ｎ枚の画像のうち、最も画角の狭い画像を基準に他の画像を補正すること
を特徴とする画像処理装置。
これにより、異なるフォーカス位置で撮像されたＮ枚の画像をフォーカス位置の順に並べた場合に、隣接する２枚の画像のうち少なくとも１枚は特徴点抽出画像となるようＮ／２枚の画像を特徴点抽出画像に設定し、特徴点抽出画像から抽出した特徴点に対応する対応点を他の画像から探索し、特徴点と対応点の位置関係からＮ枚の画像の対応する位置を一致させる補正パラメータを算出し、Ｎ枚の画像のうち最も画角の狭い画像を基準に他の画像を補正し、特徴点と対応点の一致した各画像の合焦度を算出し、合焦度の高い画像の画素を選択して合成することで、被写界深度の深い画像を合成することができる。
（２）
前記Ｎ／２枚の特徴点抽出画像は、
前記Ｎ枚の画像のうち、最も近景側のフォーカス位置で撮像された画像と、最も遠景側のフォーカス位置で撮像された画像との２枚を除く、Ｎ−２枚の画像から設定することを特徴とする（１）に記載の画像処理装置。
フォーカスの合っていない近景被写体や遠景被写体のぼけ方はそれほど大きくなく、特徴点を抽出出来ない領域が存在する可能性が低く、特徴点抽出画像として好適である。
（３）
前記特徴点抽出部は、
前記特徴点抽出画像の画像端と画像中央を除く領域から前記特徴点を抽出し、かつ、前記特徴点抽出画像の４隅からの距離が近い特徴点を抽出すること
を特徴とする（１）または（２）に記載の画像処理装置。
画像中央の点に比べ、補正量算出に関して得られる情報が多く特徴点として好適である。また、４隅からの距離が近い点は画角の変化に伴うずれの大きいため、拡大率算出に好適である。また、４隅それぞれの点から近い点から探索を行うことが出来るため、探索初期に目的の特徴点を抽出出来る可能性が高くなり、処理量を低減することができる。
（４）
前記画像補正部で位置合わせを行ったＮ枚の画像から、合焦度の高い画像の画素を選択または加重平均して合成することで、被写界深度の深い画像を合成する画像合成部を備え、
前記画像合成部は、前記特徴点と前記対応点の位置関係に基づいて、位置合わせの精度が低い画像を除いて合成すること
を特徴とする（１）から（３）までのいずれか１に記載の画像処理装置。
フォーカスを変えて撮像した複数の画像中にずれ量の大きな画像が含まれる場合においても、ずれ量の小さな画像のみを用いて合成することで、ずれに起因する画質劣化が少なく、撮像されたそれぞれの画像より被写界深度の拡大された合成画像を得ることができる。
（５）
前記画像補正部で位置合わせを行ったＮ枚の画像から、合焦度の高い画像の画素を選択または加重平均して合成することで、被写界深度の深い画像を合成する画像合成部を備え、
前記画像合成部は、前記Ｎ枚の画像に、略同一フォーカス位置で撮像された画像が複数含まれる場合に、前記略同一フォーカス位置で撮像された画像のうち少なくとも１枚を除いて合成すること
を特徴とする（１）から（３）までのいずれか１に記載の画像処理装置。
略同一フォーカス位置で撮像された画像が複数含まれる場合においても、ずれに起因する画質劣化のリスクを低減し、異なるフォーカス位置で撮像された複数の画像から被写界深度の深い画像を合成することができる。
（６）
前記画像補正部は、
異なる組み合わせの２つの特徴点からそれぞれ拡大率を算出し、それらを平均化することで、すべての特徴点（対応点）のずれが大きくならないような拡大率を算出することを特徴とする（３）に記載の画像処理装置。
撮像装置の移動による影響は各特徴点の位置（被写体までの距離）によって異なり、また、例えば、対応点探索を１画素精度で行えば１画素以下の誤差が生じる可能性があるなど、選択した特徴点（対応点）によって、算出される拡大率が異なる場合に対応できる。
（７）
前記画像補正部は、
また、算出した複数の拡大率を昇順または降順に並べ替え、最大値と最小値を除く拡大率を平均化することで、大きくずれた拡大率が算出されている場合に、その値を除外して算出することを特徴とする（３）に記載の画像処理装置。
（８）
前記画像補正部は、
特徴点（対応点）間の距離が小さい場合は、２点間の距離が小さい場合は拡大率算出に用いず、２点間の距離が大きな特徴点間の距離の比率を拡大率算出に用いることを特徴とする（３）に記載の画像処理装置。
拡大縮小に伴う画像間の位置のずれ量が小さく、対応点探索の精度によっては、算出される拡大率の誤差が大きくなる可能性があるため、この影響を抑制することができる。
（９）
（１）から（８）までのいずれか１に記載の画像処理装置を備えた撮像装置。
（１０）
異なるフォーカス位置で撮像されたＮ（Ｎは３以上の整数）枚の画像の位置合わせを行う画像処理方法であって、
前記Ｎ枚の画像から特徴点を抽出する特徴点抽出ステップと、
前記Ｎ枚の画像間で、前記特徴点に対応する対応点を探索する対応点探索ステップと、
前記特徴点と前記対応点との位置関係に基づき、前記Ｎ枚の画像間の位置合わせを行う画像補正ステップと、を備え、
前記Ｎ枚の画像のうちＮ／２枚（小数点以下を切り捨てた整数）の画像を、前記特徴点を抽出する特徴点抽出画像とし、
フォーカス位置順とした前記Ｎ枚の画像のうち隣接する２枚の画像のうち少なくとも１枚を前記特徴点抽出画像とし、
前記画像補正ステップは、
前記Ｎ枚の画像のうち、最も画角の狭い画像を基準に他の画像を補正すること
を特徴とする画像処理方法。

本発明は、画像処理装置に利用できる。

１０ 撮像装置
１００ 制御装置
１０１ 撮像部
１０２ 画像表示部
１０３ 制御部
１０４ 画像処理部
１０４−１ 特徴点抽出部
１０４−２ 対応点探索部
１０４−３ 補正パラメータ算出部
１０４−４ 画像補正部
１０４−５ 合焦度評価部
１０４−６ 画像合成部
１０５ 記憶装置
１０３−１ フォーカス制御部
１０３−２ 被写体選択受付部
１０３−３ 撮像制御部

Claims (10)

1. 異なるフォーカス位置で撮像されたＮ（Ｎは３以上の整数）枚の画像の位置合わせを行う画像処理装置であって、
   前記Ｎ枚の画像から特徴点を抽出する特徴点抽出部と、
   前記Ｎ枚の画像間で、前記特徴点に対応する対応点を探索する対応点探索部と、
   前記特徴点と前記対応点との位置関係に基づき、前記Ｎ枚の画像間の位置合わせを行う画像補正部と、を備え、
   前記Ｎ枚の画像のうちＮ／２枚（小数点以下を切り捨てた整数）の画像を、前記特徴点を抽出する特徴点抽出画像とし、
   フォーカス位置順とした前記Ｎ枚の画像のうち隣接する２枚の画像のうち少なくとも１枚を前記特徴点抽出画像とし、
   前記画像補正部は、
   前記Ｎ枚の画像のうち、最も画角の狭い画像を基準に他の画像を補正すること
   を特徴とする画像処理装置。
2. 前記Ｎ／２枚の特徴点抽出画像は、
   前記Ｎ枚の画像のうち、最も近景側のフォーカス位置で撮像された画像と、最も遠景側のフォーカス位置で撮像された画像との２枚を除く、Ｎ−２枚の画像から設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記特徴点抽出部は、
   前記特徴点抽出画像の画像端と画像中央を除く領域から前記特徴点を抽出し、かつ、前記特徴点抽出画像の４隅からの距離が近い特徴点を抽出すること
   を特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記画像補正部で位置合わせを行ったＮ枚の画像から、合焦度の高い画像の画素を選択または加重平均して合成することで、被写界深度の深い画像を合成する画像合成部を備え、
   前記画像合成部は、前記特徴点と前記対応点の位置関係に基づいて、位置合わせの精度が低い画像を除いて合成すること
   を特徴とする請求項１から請求項３までのいずれか１項に記載の画像処理装置。
5. 前記画像補正部で位置合わせを行ったＮ枚の画像から、合焦度の高い画像の画素を選択または加重平均して合成することで、被写界深度の深い画像を合成する画像合成部を備え、
   前記画像合成部は、前記Ｎ枚の画像に、略同一フォーカス位置で撮像された画像が複数含まれる場合に、前記略同一フォーカス位置で撮像された画像のうち少なくとも１枚を除いて合成すること
   を特徴とする請求項１から請求項３までのいずれか１項に記載の画像処理装置。
6. 前記画像補正部は、
   異なる組み合わせの２つの特徴点からそれぞれ拡大率を算出し、それらを平均化することを特徴とする請求項３に記載の画像処理装置。
7. 前記画像補正部は、
   異なる組み合わせの２つの特徴点からそれぞれ拡大率を算出し、算出した複数の拡大率を昇順または降順に並べ替え、最大値と最小値を除く拡大率を平均化することを特徴とする請求項３に記載の画像処理装置。
8. 前記画像補正部は、
   異なる組み合わせの２つの特徴点からそれぞれ拡大率を算出し、２つの特徴点間の距離が小さな２点間の距離の比率は拡大率算出に用いず、２つの特徴点間の距離が大きな２点間の距離の比率を拡大率算出に用いることを特徴とする請求項３に記載の画像処理装置。
9. 請求項１から８までのいずれか１項に記載の画像処理装置を備えた撮像装置。
10. 異なるフォーカス位置で撮像されたＮ（Ｎは３以上の整数）枚の画像の位置合わせを行う画像処理方法であって、
    前記Ｎ枚の画像から特徴点を抽出する特徴点抽出ステップと、
    前記Ｎ枚の画像間で、前記特徴点に対応する対応点を探索する対応点探索ステップと、
    前記特徴点と前記対応点との位置関係に基づき、前記Ｎ枚の画像間の位置合わせを行う画像補正ステップと、を備え、
    前記Ｎ枚の画像のうちＮ／２枚（小数点以下を切り捨てた整数）の画像を、前記特徴点を抽出する特徴点抽出画像とし、
    フォーカス位置順とした前記Ｎ枚の画像のうち隣接する２枚の画像のうち少なくとも１枚を前記特徴点抽出画像とし、
    前記画像補正ステップは、
    前記Ｎ枚の画像のうち、最も画角の狭い画像を基準に他の画像を補正すること
    を特徴とする画像処理方法。

Images