JP6415228B2 - 画像合成装置および画像合成装置の制御方法 - Google Patents

Description

本発明は画像合成装置および画像合成装置の制御方法に関し、特に、複数枚の画像の手ブレを補正し合成画像を生成する撮像装置に用いて好適な技術に関する。

近年、テレビジョンカメラ、デジタルカメラ等の画像の取り込み手段として、ＣＣＤ撮像素子、ＣＭＯＳ撮像素子等の固体撮像素子が多く使用されている。この固体撮像素子の手持ち撮影時の手ぶれの抑制を目的として、同一シーンにおける複数枚の画像を撮影し、この複数の画像を何らかの演算で合成する手法が提案されている。特に、奥行きのあるシーンにおいて手ブレが発生した場合、基準画像に対して距離毎に手ブレによって発生した画像変形量を補正する必要が発生する。

例えば、複数枚の画像を撮影する時に、撮影時の被写体距離を求め、その情報を用いて撮影画像の近接被写体の領域を決定し、近接被写体の領域と近接被写体以外の領域を分けて幾何変形処理を行い合成する手法が提案されている（特許文献１）。
また、主被写体が所定の被写体距離よりも近い場合に主被写体以外の領域で位置合わせの幾何変換係数を算出し、合成する手法が提案されている（特許文献２）。

特開２０１２−１９１４８６号公報 特開２００４−３５７２０２号公報 特開平０７−３１８７９３号公報 特開２０１２−１６９７５３号公報 特開２００４−１０４４２５号公報

しかしながら、前述の特許文献１に開示された従来技術では、撮像時の測距情報を基に領域を分けて、分けた領域それぞれに位置を合わせる幾何変形係数を算出するため、測距情報の精度に位置合わせの精度が依存してしまう。
また、特許文献２では、主被写体以外の背景と判定された領域自体に奥行きが発生している場合には、正しい幾何変形処理を行うことができない問題点があった。
本発明は前述の問題点に鑑み、撮像時の測距情報の精度を改善し、奥行きがあるシーンにおいても良好な位置合わせを実現できるようにすることを目的とする。

本発明の画像合成装置は、複数の画像を撮像する撮像手段と、前記撮像手段から被写体までの距離情報である被写体距離情報を取得する距離情報取得手段と、前記撮像手段により撮影された画像間の移動量を算出する移動量算出手段と、前記移動量算出手段で算出された移動量と被写体距離情報から、複数の距離グループを生成する距離グループ生成手段と、前記距離グループ生成手段により生成された距離グループに属する前記移動量に基づいて距離グループ毎に変換係数を算出する幾何変形係数算出手段と、前記距離グループ毎に求めた変換係数で画像の幾何変形を行う幾何変形手段と、前記幾何変形手段により幾何変形した後の画像を距離グループ毎に応じた領域で合成する合成手段とを有することを特徴とする。

本発明によれば、距離情報の精度による位置合わせの影響を改善し、奥行きがあるシーンに対する手ブレを補正した合成画像を生成できる。

本発明の実施形態に係るデジタルカメラの機能構成を示したブロック図である。 本発明の実施形態に係る図１の画像処理部の構成例を示したブロック図である。 本発明の実施形態に係る距離情報を説明するための図である。 本発明の実施形態に係る距離グループ分け処理を説明するための図である。 本発明の実施形態に係る位置ズレ補正画像の生成を説明するための図である。 本発明の実施形態に係る全体フローを説明するための図である。 本発明の実施形態に係る代表ベクトルを説明するための図である。 本発明の実施形態に係る合成比率を説明するための図である。

［第１の実施形態］
本発明の好適な実施形態の一例として、以下に図面を用いて説明する。なお、以下に説明する一実施形態は、画像合成装置の一例である。第１の実施形態では、２枚の画像を連続して撮像した場合に、本発明を適用した例を説明する。
図１は、本発明の実施形態に係るデジタルカメラの機能構成を示すブロック図である。
システム制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックの動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することによりデジタルカメラ１００が備える各ブロックの動作を制御する。

ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

光学系１０４は、被写体像を撮像部１０５に結像する。光学系１０４には絞りも含まれており、光学系の開口径を調節することで撮影時の光量調節を行う。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０４により撮像素子に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像データをＲＡＭ１０３に出力して記憶させる。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データを処理する。記録媒体１０８は着脱可能なメモリカード等であり、ＲＡＭ１０３に記憶されている画像処理部１０７で処理された画像やＡ／Ｄ変換部１０６でＡ／Ｄ変換された画像などが、記録画像として記録される。バス１０９は、各ブロックの間で信号のやり取りを行うために用いられる。

本実施形態中の主要な処理を行う図１の画像処理部１０７の構成例を図２〜図５、図７を用いて説明する。
図２において、２０１は、図１のＲＡＭ１０３を示し、２０２は、図１の画像処理部１０７を示す。
２０２に示したように、画像処理部１０７は、距離情報取得部２２１、ベクトル算出部２２２、距離グループ判定部２２３、距離グループの幾何変形係数算出部２２４、位置合わせ部２２５、合成部２２６で構成している。

距離情報取得部２２１では、撮影処理を行った際に距離取得用データを用いてデジタルカメラから各被写体までの距離情報である被写体距離情報を取得する。
図３を用いて距離情報を説明する。図３(Ａ)は、撮像画像として取得した画像で３０１〜３０３までは主要な被写体情報を示している。図３(Ａ)の撮像画像について、デジタルカメラから各被写体までの距離を示したものが図３(Ｃ)である。

図３(Ｃ)の３２２〜３２４の被写体は、図３(Ａ)の３０１〜３０３の被写体に対応している。それぞれの被写体までの距離を、デジタルカメラの位置３２１から被写体３２２までの距離がＳ_w1、被写体３２３までの距離がＳ_w2、被写体３２４までの距離がＳ_w3を表わしている。このＳ_w1〜Ｓ_w3を所定の閾値処理で判定した結果が、図３（Ｄ）である。

図３（Ｄ）では、各被写体が含まれる距離範囲を区分けした距離情報（ＲＡＮＧＥ１〜ＲＡＮＧＥ３）を距離情報取得部２２１で算出する。それぞれ３３１〜３３４は、３２１〜３２４に対応している。撮像画像上でこの距離情報を表現した図を図３（Ｂ）で示す。図３（Ｂ）の３１２は、図３（Ｄ）のＲＡＮＧＥ１に対応する領域となり、同様に３１３はＲＡＮＧＥ２、３１４はＲＡＮＧＥ３に対応した領域となる。

距離情報の算出方法としては、以下の方法が挙げられる。
１つ目が、撮像素子が瞳分割撮像素子であれば、撮像素子から取得される視差画像（距離取得用データ）の相関演算から算出されるデフォーカス両量から算出する方法（特許文献３）である。
２つ目が、合焦面を変化させて撮像した複数画像（距離取得用データ）の相関演算から算出されるデフォーカス量を用いる方法（特許文献４）である。
３つ目が、撮像部が複眼構成であれば、複眼画像（距離取得用データ）の相関演算から算出されるデフォーカス量を用いる方法（特許文献５）である。なお、どの方法も距離情報を取得するための手段であり、本実施形態の構成を限定するものではない。

ベクトル算出部２２２では、基準画像２１３と位置合わせ対象画像２１２対応の位置を探索しベクトル（画像間の移動量）を算出する。基準画像とは、最終的に出力する画角の基準となる画像で、例えば複数撮影した際の１枚目の画像となる。位置合わせ対象画像とは、基準となる画像に位置を合わせる画像である。ベクトルの算出の方法は、一般的なベクトル検出の手法を用いればよい。例えば、画像を任意のサイズの小ブロックに分割して、小ブロック毎に画像信号（輝度等）のＳＡＤ（Sum Of Absolute Difference）が最小となる対応点を算出して、動きベクトルを算出する。

距離グループ判定部２２３では、距離情報取得部２２１で算出した距離情報とベクトル算出部２２２で算出したベクトルを用いて距離グループを判定する。図４を用いて詳しく説明する。
図４（Ａ）は、距離情報取得部２２１から出力された距離情報によって被写体の領域分けを行った画像である。また、図４（Ｂ）は、ベクトル算出部２２２で出力したベクトル（図４（Ｂ）図中の矢印４２１〜４２３）を撮影した画像の位置上に示したものである。

図４（Ｂ）のベクトルは、例えば方向や大きさによって複数のグループ（黒色の矢印４２１、灰色の矢印４２２、白色の矢印４２３）に分けられる。ユーザが複数枚の画像を撮影する場合に発生する手ブレによる画像間のズレ量は、被写体までの距離である被写体距離によって変わる。そのため、ベクトルは距離差によって複数に分類できる。

距離グループ判定部２２３は、図４（Ａ）の距離情報の領域分け結果に対し、図４（Ｂ）のベクトル結果のベクトルの大きさや向きを判定し、所定範囲内誤差のベクトルの領域をグループ分けの領域にする処理を行い、距離グループ生成を行う。距離グループ判定された結果として、例えば３つの距離グループ判定を行った結果が図４（Ｃ）である。それぞれ別の距離グループとして判定された結果として白色（遠景）４３３、灰色（近景と遠景の間）４３２、黒色（近景）４３１の領域で示されている。具体的な判定方法を説明する。

図４（Ｃ）の領域４３４は、図４（Ａ）の４１１の距離情報の領域に含まれており、図４（Ｂ）のベクトル結果では、４２２のベクトルは灰色のベクトルを示している。
一方、図４（Ｃ)の領域４３１の領域は距離情報の領域では４３４と異なり、黒色の領域と判定されている。従って、図４（Ｃ)の領域４３１は、領域４３４と同じ図４（Ａ）の距離情報の領域４１１に含まれているが、領域のベクトルは黒色のグループとなるため最終的な距離グループ判定では、別のグループと判定される。

距離グループの幾何変形係数算出部２２４では、距離グループ判定部２２３で算出した遠景〜近景のそれぞれの距離グループ毎に分けられた領域に含まれるベクトルから幾何変形係数をそれぞれ算出する。例えば、遠景の幾何変形係数を求める時には、図４（Ｃ）の白色（遠景）領域に含まれるベクトルを用いて変換係数を算出する。

位置合わせ部２２５では、距離グループの幾何変形係数算出部２２４で算出された距離グループ毎に算出された幾何変形係数を用いて、算出された幾何変数の数だけ位置合わせ対象画像２１２の幾何変形処理を行う。

幾何変形前後の画像について一例を図５（Ａ）〜（Ｅ）に示す。
図５（Ａ）は基準画像、図５（Ｂ）は位置合わせ対象画像を示す。各距離グループの変換係数で幾何変形した画像を図５（Ｃ）〜（Ｅ）で示す。遠景の距離グループの変換係数で幾何変形処理を行った図５（Ｃ）の画像では、遠景の被写体５２３が図５（Ａ）の基準画像の５０３の被写体と位置が合う画像となっている。

近景と遠景の間の距離グループの変換係数で幾何変形処理を行った図５（Ｄ）は、５３２の被写体が図５（Ａ）の５０２と位置が合う画像となっている。近景の距離グループの変換係数で幾何変形処理を行った図５（Ｅ）は５４１の被写体が図５（Ａ）の５０１と位置が合う画像となっている。この時、幾何変形する画像の領域は画像全体で説明したが、距離グループ毎の変換係数に対応する画像の領域のみを幾何変形処理してもよい。

合成部２２６では、距離グループ毎の変換係数で幾何変形した位置合わせ対象画像を合成し、基準画像と位置が合う１枚の画像になるように合成処理を行う。合成処理では、位置合わせ部２２５で幾何変形を行った図５（Ｃ）〜（Ｅ）の画像を、距離グループ判定された領域内の被写体の位置が基準画像の各被写体に位置が合う領域を出力するように合成を行う。

図５（Ｆ）は、距離グループ判定部２２３によって判定された距離分け領域を基準画像に重ねて濃淡表示（５５１〜５５３の領域に対応）したものである。合成処理を行う時に、５５１の領域は図５（Ｅ）を出力し、５５２の領域は図５（Ｄ）を出力し、５５３の領域は図５（Ｃ)を出力するように合成する。図５（Ｃ）〜（Ｅ）の画像の合成境界は、自然に繋がるように距離評価値や距離グループからの画像座標の距離に基づいて図５（Ｃ）〜（Ｅ）の画像の合成割合を決定する。

図８を用いて詳しく説明する。
図８（ａ）は、各距離グループの境界となる画像座標位置（図５（Ｃ）〜（Ｅ）の画像の合成境界位置）に対する距離評価値による合成比率を表わしている。また図８（ｂ）は、合成境界位置から最も近い距離グループからの画像座標上の距離を合成比率に変換したものを表わしている。そして、図８（ａ）と（ｂ）を加算（もしくは乗算、大値選択）することで距離差と画像座標上の位置関係から各距離グループの幾何変形量の影響を受ける割合を計算した合成比率を算出できる（図８（ｃ））。

この被写体距離と画像座標上の被写体の位置関係を加味した合成比率で合成境界を合成することで合成境界を自然につなぎ合わせることができる。また、図８（ａ）と（ｂ）のどちらかの合成比率を独立して使うことも可能である。
別の方法としては、例えば単純に５５１と５５２の境界の画像座標位置を５０％の合成比率にする。そして、その位置から離れるに従って５５１（より５５１の内側の合成を行う時）または５５２（より５５２の内側の合成を行う時）の比率を高くするように加重平均を行いながら合成する処理を行うことも可能である。

このように、図５（Ｃ）〜（Ｅ）までの画像を合成処理を行い、位置合わせ対象画像を基準画像の被写体位置に位置合わせを行い、距離差による位置ズレ補正画像を生成する（図５（Ｇ））。その後、基準画像（図５（Ａ））と位置ズレ補正画像（図５（Ｇ)）を例えば下記のような式で加重平均を行い合成する。
合成画像IMG(x,y)=0.5*基準画像IMG(x,y)+0.5*距離差による位置ズレ 補正画像IMG(x,y)・・・（１）
式（１）において、xは画像の水平座標を表わし、ｙは画像の垂直座標を表わす。それぞれの画像の全ての座標で式（１）を行い合成する。
以上、図１の画像処理部１０７について説明を行った。

このような構成をもつ本実施形態のデジタルカメラ１００の処理について、図６のフローチャートを用いて全体の処理を説明する。図６のフローチャートの処理は、図１のシステム制御部１０１の制御処理によって実現される。本全体処理は、例えばデジタルカメラ１００において撮影の指示がなされた際に開始されるものとして説明する。

Ｓ６０１では、撮像部１０５は基準画像と位置合わせ対象画像の撮像を行う。例えば、評価測光を行い適正な露出値を決定し、その適正露出値から均等に分割した露出値で撮影設定値を決定する。例えば、適正のシャッタースピードが1/10になる場合には、1/20のシャッタースピードで２枚の画像を撮影する。

Ｓ６０２では、距離情報取得部２２１は、距離情報を取得し、位置合わせ対象画像を複数の距離の領域に分ける距離情報を取得する。
Ｓ６０３では、ベクトル算出部２２２は、基準画像と位置合わせ対象画像の間のズレ量をベクトルとして算出する、移動量算出処理を行う。

Ｓ６０４では、距離グループ判定部２２３は、Ｓ６０２で算出した距離情報とＳ６０３で算出したベクトル情報を基に距離グループを判定する。この時、同じ距離の領域内の代表画像間の移動量（以下、代表ベクトル）との向きや大きさの差を比較し、所定誤差内のベクトルを持つ領域を最終的な距離グループの領域にする。所定誤差を超えたベクトルは、他距離の領域の代表ベクトルに近い場合には、別の距離グループに加える処理を行う。

代表となるベクトルの求め方は、カメラフォーカスが合っている位置や、主被写体として検出された領域に位置するベクトルを代表ベクトルとする方法がある。その他には、領域内でベクトルの大きさや角度を分類し（図７（ａ）の７０１〜７０３）、最大頻度を持つベクトルを代表ベクトル（図７（ｂ）の７０４）にする方法がある。また、分類したベクトルの分布に偏りがある場合にはその距離の領域内で平均的な角度や大きさを持つベクトルを代表ベクトルに選ぶ方法を行う。

Ｓ６０５では、距離グループの幾何変形係数算出部２２４は、Ｓ６０４で求めた距離グループ毎のベクトルを用いて各距離グループ毎の幾何変形係数を算出する。
Ｓ６０６では、位置合わせ部２２５は、Ｓ６０５で求めた各距離グループ毎の幾何変形係数それぞれで、位置合わせ対象画像の幾何変形処理を行う。

Ｓ６０７では、合成部２２６は、Ｓ６０６で各距離グループごとに幾何変形した画像を、距離グループの判定領域で合成し位置ズレ補正画像を生成する。
Ｓ６０８では、合成部２２６は、Ｓ６０７で生成した位置ズレ補正画像と基準画像の合成を行い、合成画像を生成する。

以上、図６のフローチャートを用いて位置合わせ対象画像の距離による位置ズレ量を補正し、基準画像と合成する処理について説明した。本実施形態中の処理を行うことで、撮影した被写体の中に距離差が発生している場合にも距離差の影響を補正した位置合わせ処理を行うことができる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も発明に含まれる。

本実施形態中、基準画像と位置合わせ対象画像の２枚を合成する構成について説明したが、２枚以上の合成を行ってもよい。適正露出値にするために長秒のシャッタースピードを求められる場合がある時には、撮影枚数を増やし時分割露光撮影を行い、画像合成を行うことで手ブレを軽減できる。その場合には、合成する枚数に応じて合成元画像と合成する画像との合成する比率を合成回数によって変更すればよい。

例えば、３枚合成する場合には、１枚の基準画像に対し、残りの２枚の位置合わせ対象画像は本実施形態の処理を行い、１回目の合成では基準画像と１枚目の位置ズレ補正画像を均等の割合(1/2の比率）で合成し合成画像を生成する。２回目の合成では、合成画像と２枚目の位置ズレ補正画像を合成画像に重みを付けた割合（2/3と1/3の比率)で合成することで実現できる。

本実施形態では、距離情報取得部２２１で取得した距離情報を所定の閾値（第１の閾値）で分ける閾値処理を行うことで距離ごとに領域を分ける処理を行った。この他に、各距離グループの幾何変形係数から分ける距離グループの分割数を決定することを行うことも可能である。まず、距離情報から第１の閾値で領域分けを行い、それぞれの距離の領域で幾何変形係数（各距離グループの幾何変換係数）を算出する。距離の領域の境界で隣接する各距離グループの幾何変形量が所定値以上の差が発生するかどうかを判定する。

所定値以上の差が発生する場合には、第１の閾値で作成した距離グループよりもさらに細かい分解能の距離グループを作る処理を行う。例えば、各距離グループの境界の画素位置に対し、隣接する各距離グループの幾何変形量が所定値以下の差となるように距離グループの分割数を決定する処理を行う。具体的には、第１の閾値よりも小さな第２の閾値を設定し、距離情報から更に細かな距離グループに分ける。
以上の処理を行うことで位置合わせ対象画像を各距離グループの幾何変形係数で幾何変形して位置ズレ補正画像を生成する時に、距離の領域のつなぎ目が自然となる位置ズレ補正画像を生成することができる。

本実施形態では、距離情報取得部２２１では距離評価値から、所定の閾値を用いて被写体の距離領域を複数に分割する領域分けを行っていたが、さらに色情報を加味し領域分けを行うことも可能である。距離評価値によって領域分けした境界の領域に対して更に、赤、青、緑の画像信号値や、画像信号値から色差成分を抽出し色情報を取得し、色情報が似ている領域を更に同じ距離の領域に加えることを行う。

本実施形態では、位置合わせ対象画像について距離グループごとの幾何変形を行った画像を距離グループの境界で合成する構成について説明した。しかし、シーンによっては距離グループごとの幾何変形を行わず、画面一様の幾何変形を行い位置ズレ補正画像を生成することを行ってもよい。この場合に、距離グループごとの幾何変形を行うかどうかの判定は、以下のやり方を行えば容易に実現できる。距離グループ毎の面積が小さい場合（ベクトルが必要数求まらない）、低コントラスト領域が多くベクトルの精度が出ない場合、距離グループ内で同じと分類できるベクトル数が少ない場合を判定して距離グループごとの幾何変形を行うかを判定する。

（その他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又はコンピュータ読み取り可能な記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ システム制御部
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 光学系
１０５ 撮像部
１０６ Ａ／Ｄ変換部
１０７ 画像処理部
１０８ 記録媒体
１０９ バス

Claims (11)

1. 複数の画像を撮像する撮像手段と、
   前記撮像手段から被写体までの距離情報である被写体距離情報を取得する距離情報取得手段と、
   前記撮像手段により撮影された画像間の移動量を算出する移動量算出手段と、
   前記移動量算出手段で算出された移動量と被写体距離情報から、複数の距離グループを生成する距離グループ生成手段と、
   前記距離グループ生成手段により生成された距離グループに属する前記移動量に基づいて距離グループ毎に変換係数を算出する幾何変形係数算出手段と、
   前記距離グループ毎に求めた変換係数で画像の幾何変形を行う幾何変形手段と、
   前記幾何変形手段により幾何変形した後の画像を距離グループ毎に応じた領域で合成する合成手段とを有することを特徴とする画像合成装置。
2. 前記距離グループ生成手段は、被写体距離が所定範囲内の領域をそれぞれの距離領域として判定し、画像間において所定範囲内の移動量を持つ領域を同じ距離グループの領域として距離領域を補正することを特徴とする請求項１に記載の画像合成装置。
3. 前記距離グループ生成手段は、前記被写体距離情報と画像間の移動量に加え、さらに画像間の色情報を用いて距離グループの領域を決定することを特徴とする請求項１に記載の画像合成装置。
4. 前記距離グループ生成手段は、前記被写体距離情報の閾値処理によって領域分けされた距離領域からその距離領域を代表する代表画像間の移動量を求め、前記代表画像間の移動量と、それぞれの算出した画像間の移動量の比較を行い距離グループを生成することを特徴とする請求項１に記載の画像合成装置。
5. 前記被写体距離情報の閾値処理によって領域分けされた距離領域の中で合焦している領域の画像間の移動量を代表画像間の移動量とすることを特徴とする請求項１〜４の何れか１項に記載の画像合成装置。
6. 前記被写体距離情報の閾値処理によって領域分けされた距離領域の中の画像間の移動量で最も多い頻度を持つ画像間の移動量を代表画像間の移動量とすることを特徴とする請求項１〜４の何れか１項に記載の画像合成装置。
7. 前記被写体距離情報の閾値処理によって領域分けされた距離領域の中の画像間の移動量の大きさや方向が平均に近いと分類した画像間の移動量を代表画像間の移動量とすることを特徴とする請求項１〜４の何れか１項に記載の画像合成装置。
8. 前記距離グループ生成手段は、各距離グループの境界の画素位置に対し、隣接する各距離グループの幾何変形量が所定値以下の差となるように距離グループの分割数を決定することを特徴とする請求項１に記載の画像合成装置。
9. 前記合成手段は、各距離グループの境界に対して前記被写体距離情報の評価値を合成比率に変換し、前記合成比率を用いて幾何変形した後の画像の合成を行うことを特徴とする請求項１に記載の画像合成装置。
10. 複数の画像を撮像する撮像手段から被写体までの距離情報である被写体距離情報を取得する距離情報取得工程と、
    前記撮像手段により撮影された画像間の移動量を算出する移動量算出工程と、
    前記移動量算出工程で算出された移動量と被写体距離情報から、複数の距離グループを生成する距離グループ生成工程と、
    前記距離グループ生成工程において生成された距離グループに属する前記移動量に基づいて距離グループ毎に変換係数を算出する幾何変形係数算出工程と、
    前記距離グループ毎に求めた変換係数で画像の幾何変形を行う幾何変形工程と、
    前記幾何変形工程において幾何変形した後の画像を距離グループ毎に応じた領域で合成する合成工程とを有することを特徴とする画像合成装置の制御方法。
11. 複数の画像を撮像する撮像手段から被写体までの距離情報である被写体距離情報を取得する距離情報取得工程と、
    前記撮像手段により撮影された画像間の移動量を算出する移動量算出工程と、
    前記移動量算出工程で算出された移動量と被写体距離情報から、複数の距離グループを生成する距離グループ生成工程と、
    前記距離グループ生成工程において生成された距離グループに属する前記移動量に基づいて距離グループ毎に変換係数を算出する幾何変形係数算出工程と、
    前記距離グループ毎に求めた変換係数で画像の幾何変形を行う幾何変形工程と、
    前記幾何変形工程において幾何変形した後の画像を距離グループ毎に応じた領域で合成する合成工程とをコンピュータに実行させることを特徴とするプログラム。