JP4560441B2 - 画像合成装置、画像合成方法、及び画像合成プログラム - Google Patents

Description

本発明は、複数の画像から合成画像を作成する技術に関するものである。

複数の画像を対応づけて合成する技術において、画像間の対応づけを検出したあとの合成方法には次のような技術があった。

(技術文献１)
複数の画像の対応づけを行い、不要物体を除去するなどの合成を行う技術である。画像中の置き換えを行う部分の指定や、どの画像をマスターとするかなどは、自動ではなく、指定して行う(例えば、非特許文献１参照。)。

この技術文献１では、不要物体が静止している場合にも適用することは可能であるが、この場合に、どちらの画像が不要を物体を含み、どちらが含まないのか（どちらを合成画像に残すか）の自動選択はできなかった。

(技術文献２)
１枚の画像から、フェンスの周期性を利用してフェンス部分を除去する技術であるが、背景が複雑な場合には適用できない(例えば、非特許文献２参照。)。
Ａｓeｅｍ Ａｇａｒｗａｌａ， Ｍｉｒａ Ｄｏｎｔｃｈｅｖａ， Ｍａｎｅｅｓｈ Ａｇｒａｗａｌａ， Ｓｔｅｖｅｎ Ｄｒｕｃｋｅｒ， Ａｌｅｘ Ｃｏｌｂｕｒｎ， Ｂｒｉａｎ Ｃｕｒｌｅｓｓ， Ｄａｖｉｄ Ｓａｌｅｓｉｎ， Ｍｉｃｈａｅｌ Ｃｏｈｅｎ， 「Ｉｎｔｅｒａｃｔｉｖｅ Ｄｉｇｉｔａｌ Ｐｈｏｔｏｍｏｎｔａｇｅ．」 ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ ２００４），２００４． 鈴木博，玉木徹、山本正信，「画像復元のための周期的な遮へい物体の抽出」、電子情報通信学会論文誌Ｄ−ＩＩ、ＶＯＬ．Ｊ８７‐Ｄ‐ＩＩ，Ｎｏ。５，ｐｐ．１１８９−１１９２、２００４年５月

上記従来技術では、２枚の画像しかない場合や、３枚以上の画像があっても不要物体が静止している場合には、画像の組の特徴点を対応づけして、変化のあった箇所についてどちらが動体を含む又は動体を多く含む画像で、どちらが動体を含まない又は動体を少ししか含まず、背景部分のみ又は背景部分を多く含む画像なのかを自動的に決定して合成することができなかった。

本発明の目的は、撮影対象とカメラとの間に静止の又は動いている障害物があるとき、最低２枚の画像から撮影対象が映った画像を合成するための画像処理技術を提供することにある。

そこで、上記課題を解決するために、請求項１に記載の発明は、撮影範囲の一部が共通する２枚の画像を用いて、当該画像中に含まれる対象物の合成画像を作成する画像合成装置であって、撮影範囲の一部が共通する２枚の画像を入力する画像入力部と、前記入力画像を小領域に分割する領域分割部と、前記画像の小領域ごとに、画像間の「変化の有無」の判定を行い、当該判定が「変化あり」であったものについては「ぼけの程度」を算出し、当該「変化あり」と判定した小領域群から対象物領域を推定し、当該対象物領域の「ぼけの程度」に基づいて前記各画像についてベース画像と参照画像とを決定し、当該ベース画像の「変化あり」の小領域について当該参照画像中から対応する小領域を検索してこれらの位置ずれ量マップを作成し、当該ベース画像中の対象物領域の「ぼけの程度」が規定値よりも大きいと判定された小領域と当該参照画像中の対応する小領域とを当該位置ずれ量マップに基づいて決定する領域分類部と、前記決定したベース画像の小領域と参照画像中の対応する小領域と置換して合成画像を作成する画像合成部と、を有することを特徴とする。

また、請求項２に記載の発明は、前記領域分類部は、前記画像の小領域ごとに、画像間の「変化の有無」の判定を行い、当該判定が「変化あり」であったものについては「ぼけの程度」を算出する変化有無判定部と、前記判定により「変化あり」と判定された小領域群であって前記画像中において規定した範囲内に位置する規定値以上の大きさのものを対象領域と判定する属性領域判定部と、前記画像間で前記対象領域を比較して、当該対象領域中の「ぼけの程度」が小さい画像をベース画像とし、他方の画像を参照画像とするベース画像選択部と、前記ベース画像中の「変化あり」の小領域について前記参照画像中から対応する小領域を検索してこれらの位置ずれ量マップを作成し、当該ベース画像中の対象物領域の「ぼけの程度」が規定値よりも大きいと判定された小領域と当該参照画像中の対応する小領域とを当該位置ずれ量マップに基づいて決定する対応マップ作成部と、を有することを特徴とする。

また、請求項３に記載の発明は、前記画像合成装置は、前記作成した合成画像の対象物領域の「ぼけの程度」を算出する合成画像判断部と、前記合成画像の対象物領域の「ぼけの程度」から修正が必要と判断したときは、前記画像入力部に追加画像の入力を指示し、当該合成画像中の規定値以上の「ぼけの程度」を有する小領域について、当該追加画像中の対応する小領域を検索し、当該小領域と置換して修正合成画像を作成する合成画像修正部と、をさらに有することを特徴とする。

また、請求項４に記載の発明は、撮影範囲の一部が共通する複数枚の画像を用いて、当該画像中に含まれる対象物の合成画像を作成する画像合成装置であって、撮影範囲の一部が共通する複数枚の画像を入力する画像入力部と、前記入力画像を小領域に分割する領域分割部と、前記画像の小領域ごとに、各画像間の「変化の有無」の判定を行い、当該判定が「変化あり」であったものについては「ぼけの程度」を算出する変化有無判定部と、前記判定により「変化あり」と判定された小領域群であって前記画像中において規定した範囲内に位置する規定値以上の大きさのものを対象領域と判定する属性領域判定部と、前記画像間で前記対象領域を比較して、当該対象領域中の「ぼけの程度」が最も小さい画像をベース画像とし、「ぼけの程度」が二番目に小さい画像を参照画像とするベース画像選択部と、前記ベース画像中の「変化あり」の小領域について前記参照画像中から対応する小領域を検索してこれらの位置ずれ量マップを作成し、当該ベース画像中の対象物領域の「ぼけの程度」が規定値よりも大きいと判定された小領域と当該参照画像中の対応する小領域とを当該位置ずれ量マップに基づいて決定する対応マップ作成部と、前記決定したベース画像の小領域と参照画像中の対応する小領域と置換して合成画像を作成する画像合成部と、を有することを特徴とする。

また、請求項５に記載の発明は、前記画像合成装置は、前記作成した合成画像の対象物領域の「ぼけの程度」を算出する合成画像判断部と、前記合成画像の対象物領域の「ぼけの程度」から修正が必要と判断したときは、前記ベース画像選択部において「ぼけの程度」が三番目に小さいと判断された画像を追加画像とし、当該合成画像中の規定値以上の「ぼけの程度」を有する小領域について、当該追加画像中の対応する小領域を検索し、当該小領域と置換して修正合成画像を作成する合成画像修正部と、をさらに有することを特徴とする。

また、請求項６に記載の発明は、前記領域分類部が前記対象物領域を推定できない場合には、前記画像中の「変化あり」の小領域中の「ぼけの程度」の平均値を算出して、当該平均値が小さいものベース画像として選択し、前記ベース画像中の「ぼけの程度」が規定値よりも大きいと判定された小領域と決定した参照画像中の対応する小領域とを前記位置ずれ量マップに基づいて決定することを特徴とする。

また、請求項７に記載の発明は、前記「変化の有無」は前記小領域間の相関値に基づいて判断することを特徴とする。

また、請求項８に記載の発明は、前記「ぼけの程度」は前記小領域内の輝度値の分散、又は前記小領域内の各画素についての微分値から判断することを特徴とする。

また、請求項９に記載の発明は、前記請求項１〜８いずれかに記載の画像合成装置の各処理を実行する画像合成方法である。

また、請求項１０に記載の発明は、前記請求項１〜８いずれかに記載の画像合成装置の各処理を実行可能なプログラムである。

なお、「ぼけの程度」とは、小領域が障害物を含むかどうかの判定に用いるものである。ぼけの程度を評価するには小領域内の輝度値の分散や、各画素についての微分値の大小を用いることができる。

請求項１及び２に記載の発明では、２枚の画像について、対象物領域の「ぼけの程度」に基づいて合成画像の基となるベース画像、及びベース画像中の「ぼけの程度」が大きい小領域と置換するための参照画像を決定して、置換を行うことで合成画像を作成する。

請求項３に記載の発明では、合成画像の対象物領域について「ぼけの程度」から修正が必要かを判断し、修正を行うときは合成画像中の「ぼけの程度」が大きい小領域と置換するための追加画像を入力して、置換を行うことで修正合成画像を作成する。

請求項４に記載の発明では、２枚以上の画像中から、対象物領域の「ぼけの程度」に基づいて合成画像の基となるベース画像、及びベース画像中の「ぼけの程度」が大きい小領域と置換するための参照画像を決定して、置換を行うことで合成画像を作成する。

請求項５に記載の発明では、合成画像の対象物領域について「ぼけの程度」から修正が必要かを判断し、修正を行うときは、入力した画像中でベース画像中及び参照画像のいずれでもない画像中から、合成画像中の「ぼけの程度」が大きい小領域と置換するための追加画像を決定して、置換を行うことで修正合成画像を作成する。

請求項６に記載の発明では、対象物領域を決定できない場合でも、ベース画像、及び参照画像を決定して、置換により合成画像を作成する。

請求項１及び２に記載の発明によれば、２枚の画像から合成画像の基となる画像、及び置換のための参照画像を自動的に決定することが可能となる。

請求項３に記載の発明によれば、合成画像の対象物領域について不要物等が含まれているときは、追加画像を入力して修正合成画像を作成できる。

請求項４に記載の発明によれば、２枚以上の画像中から合成画像の基となる画像、及び置換のための参照画像を自動的に決定することが可能となる。

請求項５に記載の発明によれば、合成画像の対象物領域について不要物等が含まれているときは、追加画像を入力しなくとも修正合成画像を作成できる。

請求項６に記載の発明によれば、対象物領域を決定できない場合でも、請求項１〜５に記載の発明の実施が可能となる。

以下に実施形態を図面を用いて説明する。

まず図１を用いて本実施形態の画像合成装置の構成を説明する。ここでは、画像が２枚の場合について説明する。

図１に示すように、本実施形態の画像合成装置は、画像入力部１０、領域分割部２０、領域分類部３０、及び画像合成部４０を有している。

画像入力部１０は、カメラによって撮影された１組（２枚）の画像を入力して対応検出部２０へ送る。

領域分割部２０は、各画像をそれぞれ小領域に分割する。

領域分類部３０は、小領域ごとに１組の画像間の類似度を計算し、類似度の高さによって、「変化なし」、又は「変化あり」に分類する。また、「変化あり」の領域のうち、障害物が含まれる領域を検出する。さらに、一枚の画像をベース画像として選択し、もう一方の画像を参照画像とする。

画像合成部４０では、領域分類部３０で分割された各小領域をつなぎ合わせた画像を生成する。

次に、各部の詳細な処理等について説明する。

まず、画像入力部１０に入力される画像について説明する。画像入力部１０から入力される１組の画像とは、次のような手段で撮影された画像が考えられる。例えば、２眼のカメラ若しくは複数台のカメラで撮影した１組の画像、又は、１眼のカメラでカメラ位置に対して平行移動して同一対象を撮影した１組の画像である。

このとき、カメラのフォーカスは（撮影者がその画像を得ようと意図している）被写体に合っており、不要物体はぼけているものとする。又は一様の物体であることが条件である。

被写体が動いている場合には、２眼のカメラで２枚の画像を同時に撮影した画像を用いることができる。

被写体が静止している場合には、２眼のカメラによる撮影画像、及び１眼のカメラによる撮影画像を用いることができる。

ここで、カメラのフォーカスが被写体に合っており、不要物体はぼけているという状況が考えられる被写体及び不要物体の例を挙げる。

被写体としてはケージの中で飼っている動物など、又はフェンスの向こうの風景や物体が考えられる。

不要物体としてはケージの柵、又はフェンスの金網が考えられる。

なお、これ以外に、被写体として遠方の風景、不用物体として近距離にある電柱など、といった例が考えられる。

画像分割部２０は、画像入力部１０によって入力された一組の画像を小領域に分割する。このとき、小領域のサイズは、障害物のパターンのサイズよりも小さくなるように設定する。

例えば、障害物が柵やフェンスであるとき、その柵やフェンスを構成する針金の太さと同程度以下の画素数を一辺とする正方領域を設定する。この小領域の大きさは、手動で与えてもよいし、段階的にあらかじめ設定された大きさで何通りかの処理を行い、最終的にもっとも良い結果を利用者が選択してもよい。

次に、図２、及び図３を用いて、領域分類部３０を説明する。

図２に示すように領域分類部３０は、変化有無判定部３１、領域属性判定部３２、ベース画像選択部３３、及び対応マップ作成部３４を有する。

変化有無判定部３１は、小領域ごとに１組の画像間の類似度を計算する。そして、類似度の高さによって、「変化なし」の領域、又は「変化あり」の領域に分類する。

類似度は、小領域どうしの相関値などを用いることができる。例えば、相関値の高さが一定以上であれば、「変化なし」、一定以下であれば「変化あり」とすることが可能である。

また、変化有無判定部３１は、「変化あり」の領域について、領域内の画素のぼけの程度の評価値を求める。これは、領域属性判定部３２において、領域が障害物を含むかどうかの判定に用いる。

ぼけの程度を評価するには、小領域内の輝度値の分散、及び小領域内の各画素についての微分値の大小等を用いることができる。

分散を用いた場合には、分散の大きいほうの画像からの小領域を選択する。例えば、ケージの中の動物を撮影した画像の場合、動物の一部がうつっていれば、テクスチャが細かいため、分散値が大きい。ケージの柵のみでフォーカスが合っていない領域は、分散値が小さい。

微分値を用いた場合には、これが大きい値をもつかどうかで、被写体を含むのか、又は不要物体を含むのかを判定することができる。

以下では、分散値を用いた場合について説明する。

変化有無判定部３１は、各小領域に対して、類似度及び分散値を算出して出力する。具体的に変化有無判定部３１は、上記の処理を一組の画像をずらしながら行い、画像同士をぴったり重ねて計算した場合の処理結果を領域属性判定部３２へ出力し、ずらしながら計算した結果を対応マップ作成部３４へ出力する。

この処理の流れを図３に示す。図３に示すように変化有無判定部３１から処理結果を受信した領域属性判定部３２は、「変化あり」の領域のうち、対象物の領域及び障害物が含まれる領域を判定する。

まず、対象物の領域の判定方法を説明する。対象物は画像の中央付近にあると仮定すると、変化有無判定部３１の出力の「変化あり」の領域のうち、中央付近の塊が対象物の領域であると推定できる。例えば、変化有無判定部３１の出力の「変化あり」の領域に対して、モホロジなどにより細線除去や膨張処理を組み合わせることで、中央付近の塊を検出することが可能である。

次に、障害物の領域の推定方法を説明する。変化有無判定部３１の出力である領域内の画素の分散値に基づいて、分散値が小さい領域は、障害物の内部であると判定する。これは、柵やフェンスの針金のように、障害物内部にはテクスチャが少ないことを利用している。

次にベース画像選択部３３の処理について説明する。ベース画像選択部３３は、１組の画像のそれぞれについて、障害物の推定領域と対象物の推定領域との重なりを調べ、重なりの面積の少ないほうをベース画像として選択する。

対象物の領域が検出できない場合には、一組の画像のうち、どちらか一方をベース画像と決めるだけでよい。なお、もう一方の画像は参照画像となる。なお、画像中の「変化あり」の小領域中の「ぼけの程度」の平均値を算出して、平均値が小さいものベース画像として選択し、他方を参照領域としてもよい。

対応マップ作成部３４は、「変化あり」と判定されたベース画像の各小領域について、参照画像の各小領域との相関値を計算し、最大の相関をもつ小領域との位置ずれ量をマップとして記憶する。

次に、対応マップ作成部３４は、領域属性判定部３２において対象物領域として推定された領域のうち、ベース画像選択部３３においてぼけの程度の高い（障害物を含む）と判定された小領域について、参照画像の対応する場所を決定する。

ベース画像の個々の小領域と最も相関の高い参照画像の小領域との位置ずれ量のマップがそれぞれ対応マップ作成部３４において作成されているので、隣接領域で矛盾が生じないように、ベース画像のぼけの程度の高い（障害物を含む）と判定された小領域と参照画像の対応小領域との位置ずれの平均値を求め、その位置ずれ量を画像合成部４０へ送る。

次に、図４を用いて、画像合成部４０の構成及び処理について説明する。図４に示すように画像合成部４０は、領域貼り付け部４１、及び修正部４２を有している。

領域貼り付け部４１は、ベース画像中の障害物の領域に参照画像の対応する箇所を貼り付ける（上書きする）。

修正部４２は、貼り付けを行った結果小領域と小領域の境目とにおける色や輝度の段差をなくすため、小領域同士の境目を数画素程度の範囲でぼかし処理を行う。

ここで上記構成における処理フローの具体例を図５を用いて説明する。

図５に示す（Ａ−１）、及び（Ｂ−１）は、画像入力部１０から入力される、同じ画像を２つのわずかに異なる視点から撮影した画像である。

図５に示す（Ａ−２）、及び（Ｂ−２）は、領域分類部３０において、（Ａ−１）と（Ｂ−１）とをずらしながら重なった部分の類似度を計算することを示す。（Ｂ−２）に重なっている点線は、（Ａ−２）（（Ａ−１）に同じ）を示している。このときのｘ方向、及びｙ方向へのずらし量をｓ_i＝（ｘ_i、ｙ_i）とする。

図５に示す（Ａ−３）、及び（Ｂ−３）は、領域分類部３０において、（Ａ−１）、及び（Ｂ−１）の変化ありと判定された領域にハッチをかけたものである。中小領域Ａ_i［ｎ］は、画像（Ａ−２）と画像（Ｂ−２）とのずらし量がｓ_iのときの、ｎ番目の小領域である。矢印は、対応先を示す。

Ａ_i［ｎ］は、この類似度の値を配列として保存する。ずらし量ｓ_iは、例えば５×５の範囲で１画素ずつｓ₀＝（０、０）〜ｓ₁＝（１、０）〜ｓ₅＝（５、０）〜ｓ₂₅＝（５、５）などとして、それぞれのずらし量の場合の類似度Ａ₀［ｎ］〜Ａ₂₅［ｎ］を求める。

ここで、ｎの値は、０からＮ（小領域の数）である。Ａ₀［ｎ］は領域属性判定部３２へ、Ａ₂₅［ｎ］は対応マップ作成部３４へ送られる。Ａ−４は画像合成部４０で合成され、障害物がなくなった画像を示す。

次に、図６に示す実際の処理画像の例を用いて、変化有無判定部３１の詳細を説明する。図６に示す画像１、及び画像２は同じ対象を、わずかにカメラを平行移動した２つの位置から撮影したものであり、同じ対象（ケージの中の動物）に対して、ケージの柵の位置がずれた状態の２枚の画像である。

画像３は、変化有無判定部３１において、画像１を小領域に分割して、画像２と重ねて小領域内の類似度を求め、変化ありと判定された領域を表示したものである。

画像４は、画像３について、収縮処理及び膨張処理をかけ、対象物の候補領域を抽出した結果である。柵の細い線がなくなり、変化領域が大きな塊に分かれている。ここで、塊のうち、中央付近にある領域が対象物の領域である。

画像５は、画像３の領域のうち、変化有無判定部３１の出力である小領域内の分散値が小さい領域を、障害物の領域として抽出し、収縮及び膨張処理によっておおまかに孤立点を除去した結果である。

画像６は、領域分類部３０で障害物の領域と判定された領域に、参照画像の対応領域を貼り付けて合成を行った結果である。

画像合成部４０では、領域分類部３０で選択された各小領域をつなぎ合わせた画像を生成する。つなぎ合わせた後画像のつなぎ目部分において、つなぎ目に直交する方向の輝度の微分値を計算し、その絶対値がしきい値を超えていた場合には、誤りがあったとして、修正を行う。画像のつなぎ目に不自然さが生じないための修正として、つなぎ目をぼかす処理などがある。上記実施形態によれば不要物体を除去した画像を得ることが可能となる。

ここまでは、画像の組が２枚として説明した。この場合には不要物体によるオクルージョンのない被写体の全体を合成するためには、被写体の各部は撮影された画像の組のいずれかには映っている必要がある。すなわち被写体の一部が撮影された画像の組のいずれにも映っていない場合には、合成した画像にも不要物体の像が残ることになる。

これについては、画像の枚数を３枚以上に増やせば、被写体の一部を合成できる可能性がある。つまり、合成画像に残ってしまった不要物体に隠されている被写体の一部に該当する、合成画像作成に用いられていない画像の小領域を合成画像に用いる。具体的には合成画像作成に用いられていない画像の不要物体について領域分類部３０でぼけの程度の評価値を求め、ぼけの度合いの低い小領域を合成画像の不要物の部分に用いることができる。

なお、はじめに２組の画像を入力したときは、作成した合成画像の対象物領域の「ぼけの程度」を算出する合成画像判断部、及び合成画像の対象物領域の「ぼけの程度」から修正が必要と判断したときは、画像入力部１０に追加画像の入力を指示し、合成画像中の規定値以上の「ぼけの程度」を有する小領域について、追加画像中の対応する小領域を検索し、当該小領域と置換して修正合成画像を作成する合成画像修正部をさらに有する構成にしてもよい。

最初から画像が３枚以上得られている場合には、そのうち２枚を選択し、上記２枚の場合と同様の処理を行うことができる。画像が３枚の場合には、６通りの選び方があり、領域分類部３０でぼけの程度が低い画像から選択することが可能である。画像合成部４０では、選択された小領域同士を合成する。

なお、最初から画像が３枚以上得られている場合には、ベース画像選択部３３が画像間で対象領域を比較して、当該対象領域中の「ぼけの程度」が最も小さい画像をベース画像とし、「ぼけの程度」が二番目に小さい画像を参照画像とすることができる。

さらに、作成した合成画像の対象物領域の「ぼけの程度」を算出する合成画像判断部を有し、合成画像の対象物領域の「ぼけの程度」から修正が必要と判断したときは、ベース画像選択部３３が「ぼけの程度」が三番目に小さいと判断された画像を追加画像とし、かつ合成画像中の規定値以上の「ぼけの程度」を有する小領域について、追加画像中の対応する小領域を検索し、当該小領域と置換して修正合成画像を作成する合成画像修正部をさらに有する構成にしてもよい。

また、上記実施形態において、画像合成装置は、例えば、画像合成装置を構成するコンピュータ装置が有するＣＰＵによって実現され、領域分割処理、領域分類処理、画像合成処理などをアプリケーションプログラムとして搭載することができる。

また、領域分割処理、領域分類処理、画像合成処理などで行った処理結果、計算結果、当該処理に必要な情報等のデータを内部メモリ、バッファ、外部記憶装置等に書き込み・読み出しができるようにしてもよい。

また、画像合成装置の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム、又は装置に供給し、そのシステム、又は装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することも可能である。この場合、記憶媒体から読み出されたプログラムコード自体が上記実施形態の機能を実現することになり、このプログラムコードを記憶した記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、及びＨＤＤ等がある。

画像合成装置の構成図。 領域分類部の構成図。 領域分類部の処理フロー図。 画像合成部の構成図。 画像合成装置の処理具体例を示す図。 画像合成装置の処理具体例を示す図。

符号の説明

１０…画像入力部
２０…領域分割部
３０…領域分類部
３１…変化有無判定部
３２…領域属性判定部
３３…ベース画像選択部
３４…対応マップ作成部
４０…画像合成部
４１…領域貼り付け部
４２…修正部

Claims (10)

1. 撮影範囲の一部が共通する２枚の画像を用いて、当該画像中に含まれる対象物の合成画像を作成する画像合成装置であって、
   撮影範囲の一部が共通する２枚の画像を入力する画像入力部と、
   前記入力画像を小領域に分割する領域分割部と、
   前記画像の小領域ごとに、画像間の「変化の有無」の判定を行い、当該判定が「変化あり」であったものについては「ぼけの程度」を算出し、当該「変化あり」と判定した小領域群から対象物領域を推定し、当該対象物領域の「ぼけの程度」に基づいて前記各画像についてベース画像と参照画像とを決定し、当該ベース画像の「変化あり」の小領域について当該参照画像中から対応する小領域を検索してこれらの位置ずれ量マップを作成し、当該ベース画像中の対象物領域の「ぼけの程度」が規定値よりも大きいと判定された小領域と当該参照画像中の対応する小領域とを当該位置ずれ量マップに基づいて決定する領域分類部と、
   前記決定したベース画像の小領域と参照画像中の対応する小領域と置換して合成画像を作成する画像合成部と、を有することを特徴とする画像合成装置。
2. 前記領域分類部は、
   前記画像の小領域ごとに、画像間の「変化の有無」の判定を行い、当該判定が「変化あり」であったものについては「ぼけの程度」を算出する変化有無判定部と、
   前記判定により「変化あり」と判定された小領域群であって前記画像中において規定した範囲内に位置する規定値以上の大きさのものを対象領域と判定する属性領域判定部と、
   前記画像間で前記対象領域を比較して、当該対象領域中の「ぼけの程度」が小さい画像をベース画像とし、他方の画像を参照画像とするベース画像選択部と、
   前記ベース画像中の「変化あり」の小領域について前記参照画像中から対応する小領域を検索してこれらの位置ずれ量マップを作成し、当該ベース画像中の対象物領域の「ぼけの程度」が規定値よりも大きいと判定された小領域と当該参照画像中の対応する小領域とを当該位置ずれ量マップに基づいて決定する対応マップ作成部と、を有することを特徴とする請求項１に記載の画像合成装置。
3. 前記画像合成装置は、
   前記作成した合成画像の対象物領域の「ぼけの程度」を算出する合成画像判断部と、
   前記合成画像の対象物領域の「ぼけの程度」から修正が必要と判断したときは、前記画像入力部に追加画像の入力を指示し、当該合成画像中の規定値以上の「ぼけの程度」を有する小領域について、当該追加画像中の対応する小領域を検索し、当該小領域と置換して修正合成画像を作成する合成画像修正部と、をさらに有することを特徴とする請求項１又は２に記載の画像合成装置。
4. 撮影範囲の一部が共通する複数枚の画像を用いて、当該画像中に含まれる対象物の合成画像を作成する画像合成装置であって、
   撮影範囲の一部が共通する複数枚の画像を入力する画像入力部と、
   前記入力画像を小領域に分割する領域分割部と、
   前記画像の小領域ごとに、各画像間の「変化の有無」の判定を行い、当該判定が「変化あり」であったものについては「ぼけの程度」を算出する変化有無判定部と、
   前記判定により「変化あり」と判定された小領域群であって前記画像中において規定した範囲内に位置する規定値以上の大きさのものを対象領域と判定する属性領域判定部と、
   前記画像間で前記対象領域を比較して、当該対象領域中の「ぼけの程度」が最も小さい画像をベース画像とし、「ぼけの程度」が二番目に小さい画像を参照画像とするベース画像選択部と、
   前記ベース画像中の「変化あり」の小領域について前記参照画像中から対応する小領域を検索してこれらの位置ずれ量マップを作成し、当該ベース画像中の対象物領域の「ぼけの程度」が規定値よりも大きいと判定された小領域と当該参照画像中の対応する小領域とを当該位置ずれ量マップに基づいて決定する対応マップ作成部と、
   前記決定したベース画像の小領域と参照画像中の対応する小領域と置換して合成画像を作成する画像合成部と、を有することを特徴とする画像合成装置。
5. 前記画像合成装置は、
   前記作成した合成画像の対象物領域の「ぼけの程度」を算出する合成画像判断部と、
   前記合成画像の対象物領域の「ぼけの程度」から修正が必要と判断したときは、前記ベース画像選択部において「ぼけの程度」が三番目に小さいと判断された画像を追加画像とし、当該合成画像中の規定値以上の「ぼけの程度」を有する小領域について、当該追加画像中の対応する小領域を検索し、当該小領域と置換して修正合成画像を作成する合成画像修正部と、をさらに有することを特徴とする請求項４に記載の画像合成装置。
6. 前記領域分類部が前記対象物領域を推定できない場合には、
   前記画像中の「変化あり」の小領域中の「ぼけの程度」の平均値を算出して、当該平均値が小さいものベース画像として選択し、
   前記ベース画像中の「ぼけの程度」が規定値よりも大きいと判定された小領域と決定した参照画像中の対応する小領域とを前記位置ずれ量マップに基づいて決定することを特徴とする請求項１〜５いずれかに記載の画像合成装置。
7. 前記「変化の有無」は前記小領域間の相関値に基づいて判断することを特徴とする請求項１〜６いずれかに記載の画像合成装置。
8. 前記「ぼけの程度」は前記小領域内の輝度値の分散、又は前記小領域内の各画素についての微分値から判断することを特徴とする請求項１〜７いずれかに記載の画像合成装置。
9. 前記請求項１〜８いずれかに記載の画像合成装置の各処理を実行する画像合成方法。
10. 前記請求項１〜８いずれかに記載の画像合成装置の各処理を実行可能なプログラム。