JP5091098B2 - 画像合成装置、画像合成方法および画像合成プログラム - Google Patents

Description

本発明は、時間的に連続して撮像された複数の画像を、画像ブレのないように合成する画像処理に関する。

デジタルカメラなどの撮像装置において、シャッタスピードが遅くなり手ブレの影響が強く出るようなシーンでは、特許文献１および２に示されるように、適正露光期間よりも短い露光期間で複数回撮影し、得られた複数の画像をそれぞれ位置合わせし合成することで、手ブレの影響がない画像を得ることができる。

画像の位置合わせには一般的に以下のような手法が用いられる。例えば、図１０のように時間的に連続して撮像された５枚の画像（Ｐ１〜Ｐ５）がある場合を考える。これらの画像は、撮像者の手ブレ等によって画像間に動き（ブレ）が生じており、そのまま四辺を揃えて合成した場合には、図１１Ａのように画像ブレが残されたまま合成される。

そこで、５枚の画像のうち画像Ｐ３を基準画像として、この基準画像から特徴点を抽出する。特徴点とは、コーナーなどの画像間で対応を取りやすい点のことを指し、例えばＨａｒｒｉｓ法、Ｓｈｉ−Ｔｏｍａｓｉ法、Ｍｏｒａｖｅｃ法等により抽出される。続いて、特徴点に対応する基準画像以外の画像上の点（対応点）を検出する。対応点の検出方法についても様々な手法が存在し、例えばブロックマッチング法、Ｌｕｃａｓ−ｋａｎａｄｅ法等が代表的である。特徴点とこの特徴点に対応する対応点とを結ぶベクトルは、いわゆる動きベクトルと呼ばれるものであり、画像間に生じた動き（ブレ）を示すものである。

次に、特徴点ごとの動きベクトルを解析して、対応点の検出の対象となった画像の非動体領域と基準画像の非動体領域とが大部分で重ね合わさるように、基準画像以外の画像（Ｐ１、Ｐ２、Ｐ４およびＰ５。以下、変形対象画像という。）を変形するための変形パラメータを算出する。例えば、画像の変形には、回転、拡大・縮小、平行移動といったカメラワークによって画像間に発生しうる動きを表現可能なアフィン変換が多く用いられる。この場合、変形パラメータとは、アフィン変換パラメータを指す。

求めた変形パラメータを用いて、変形対象画像を変形し位置合わせをした上で画像を合成することにより、図１１Ｂのように、画像ブレのない合成画像が得られる。ここで、本例のようなシーンでは、シーン中に鳥が存在しているため、合成画像には鳥が残像のように残る。
特開２００７−１２９４７６号公報 特開２００７−３６７４２号公報

しかしながら、特許文献１および２に示される方法では、重ねあわせにおいて撮像領域に動体が含まれる画像を排除しているため、常に動体が存在するような場合すべての画像が重ね合わせに適さない画像であると判定され、合成処理を行うことができない。

また、上記の例ついて、変形パラメータを算出する際、特徴点の数や対応点の数が少なく変換パラメータの算出に失敗したり、算出されたとしてもカメラワークによる自由度からは考えられない異常値を示すことがあり、この場合対象となる画像を変形できないことがある。例えば、図１０に示す画像Ｐ１〜Ｐ５のうち画像Ｐ４について変形パラメータの算出に失敗した場合、残りの４枚について合成すると図１１Ｃのように、鳥（動体）に不連続性が生じ、違和感のある画像となってしまう。

本発明は上記問題に鑑みてなされたものであり、時間的に連続して撮像された複数の画像に動体が存在するシーンにおいても、合成画像上で動体の連続性が保たれる違和感のない画像の合成を可能とする画像合成装置、画像合成方法および画像合成プログラムを提供することを目的とするものである。

上記課題を解決するために、本発明に係る第１の画像合成装置は、
時間的に連続して撮像された複数の画像の合成に用いられる画像合成装置であって、
複数の画像のうち１の画像を基準画像とし、基準画像以外の画像をそれぞれ変形対象画像とする基準画像選択手段と、
基準画像の特徴点と変形対象画像の特徴点に対応する対応点とに基づいて、それぞれの変形対象画像における非動体領域の一部がこの一部に対応する基準画像における非動体領域の一部と重なるように、変形対象画像を変形するための変形パラメータをそれぞれの変形対象画像について算出する変形パラメータ算出手段と、
複数の画像の撮像領域に動体領域が含まれるか否かを判定する動体判定手段と、
動体領域の判定により動体領域が含まれると判定された場合には、変形パラメータの算出に成功した変形対象画像および基準画像のうち、時間的に連続している複数の画像のみを合成対象画像として選択する合成対象選択手段と、
合成対象画像について、基準画像については当該画像を、変形対象画像については変形パラメータに基づきそれぞれ変形した変形画像を、位置合わせをして合成する画像合成手段とを備えることを特徴とするものである。

ここで、「時間的に連続して撮像された」複数の画像とは、通常１回の露光により撮像を行うところを、複数回に分割して露光行われ、複数回の露光にそれぞれ対応して撮像された複数の画像を意味するものとする。

「基準画像」とは、時間的に連続して撮像された複数の画像のうち、画像を変形するための変形パラメータ算出する際に基準となる画像を意味するものとする。つまり、他の画像がこの基準画像に重なるように変形パラメータが算出される。

「変形対象画像」とは、時間的に連続して撮像された複数の画像のうち、基準画像以外の画像を意味するものとする。つまり、この変形対象画像が変形パラメータに基づいて上記基準画像に重なるように変形される。

「特徴点」とは、コントラスト等の観点から画像の特徴を表している点であり、画像間で対応を取りやすい点を意味するものとする。本発明においては、基準画像の特徴点が動きベクトルの始点となる。

「対応点」とは、基準画像の特徴点に対応する変形対象画像の特徴点を意味するものとする。ここで、基準画像の特徴点と変形対象画像の特徴点とが「対応する」とは、それぞれの点が画像中の同一の被写体の同一の部分を指していることをいう。

「動体領域」とは、画像の撮像領域のうち、撮像時の撮像素子に対して相対的に動いている被写体が撮像されている領域を意味するものとする。つまり、この動体領域の捉え方は、撮影者の主観により様々である。

「非動体領域」とは、画像の撮像領域のうち、動体領域以外の領域を意味するものとする。

変形対象画像について「変形パラメータの算出に成功」するとは、撮像時における撮影者のカメラワークによる自由度から考え得る範囲の値が算出されることを意味するものとする。つまり、たとえ算出されたとしてもカメラワークによる自由度からは考えられない異常値が算出された場合は含まれない。

画像が「時間的に連続している」とは、画像が変形パラメータの算出に失敗した画像を含まず、時間的に連続して撮像された順番に連続していることを意味するものとする。

「合成対象画像」とは、最終的に合成に用いられる画像を意味するものとする。

さらに、本発明に係る画像合成装置において、合成対象選択手段は、変形パラメータの算出に成功した変形対象画像および基準画像のうち、基準画像と基準画像から時間的に連続している変形対象画像からなる複数の画像を合成対象画像として選択するものであることが好ましい。或いは、合成対象選択手段は、変形パラメータの算出に成功した変形対象画像および基準画像のうち、時間的に連続している画像の枚数が最も多くなるような複数の画像を合成対象画像として選択するものであることが好ましい。

そして、少なくとも変形パラメータの算出に成功した変形対象画像および基準画像について、それぞれの撮像領域に占める動体領域の割合を算出する動体領域算出手段を備え、
合成対象選択手段は、この割合が所定値以下である場合には、変形パラメータの算出に失敗した変形対象画像の直近の前後にある、変形パラメータの算出に成功した変形対象画像または基準画像を、時間的に連続しているものとみなすものであることが好ましい。

また、合成対象選択手段は、動体領域の判定により動体領域が含まれないと判定された場合には、すべての変形パラメータの算出に成功した変形対象画像および基準画像を合成対象画像として選択するものであることが好ましい。

さらに、本発明に係る画像合成方法は、
時間的に連続して撮像された複数の画像を合成する画像合成方法であって、
複数の画像のうち１の画像を基準画像とし、基準画像以外の画像をそれぞれ変形対象画像とし、
基準画像の特徴点と変形対象画像の特徴点に対応する対応点とに基づいて、それぞれの変形対象画像における非動体領域の一部がこの一部に対応する基準画像における非動体領域の一部と重なるように、変形対象画像を変形するための変形パラメータをそれぞれの変形対象画像について算出し、
複数の画像の撮像領域に動体領域が含まれるか否かを判定し、
動体領域の判定により動体領域が含まれると判定された場合には、変形パラメータの算出に成功した変形対象画像および基準画像のうち、時間的に連続している複数の画像のみを合成対象画像として選択し、
合成対象画像について、基準画像については当該画像を、変形対象画像については変形パラメータに基づきそれぞれ変形した変形画像を、位置合わせをして合成することを特徴とするものである。

そして、本発明に係る画像合成方法において、変形パラメータの算出に成功した変形対象画像および基準画像のうち、基準画像と基準画像から時間的に連続している変形対象画像からなる複数の画像を合成対象画像として選択することが好ましい。或いは、変形パラメータの算出に成功した変形対象画像および基準画像のうち、時間的に連続している画像の枚数が最も多くなるような複数の画像を合成対象画像として選択することが好ましい。

また、少なくとも変形パラメータの算出に成功した変形対象画像および基準画像について、それぞれの撮像領域に占める動体領域の割合を算出し、
この割合が所定値以下である場合には、変形パラメータの算出に失敗した変形対象画像の直近の前後にある、変形パラメータの算出に成功した変形対象画像または基準画像を、時間的に連続しているものとみなすことが好ましい。

さらに、動体領域の判定により動体領域が含まれないと判定された場合には、すべての変形パラメータの算出に成功した変形対象画像および基準画像を合成対象画像として選択することが好ましい。

そして、本発明に係る他の画像合成装置は、
時間的に連続して撮像された、画像の撮像領域に動体領域を含む複数の画像の合成に用いられる画像合成装置であって、
複数の画像のうち１の画像を基準画像とし、基準画像以外の画像をそれぞれ変形対象画像とする基準画像選択手段と、
基準画像の特徴点と変形対象画像の特徴点に対応する対応点とに基づいて、それぞれの変形対象画像における非動体領域の一部がこの一部に対応する基準画像における非動体領域の一部と重なるように、変形対象画像を変形するための変形パラメータをそれぞれの変形対象画像について算出する変形パラメータ算出手段と、
変形パラメータの算出に成功した変形対象画像および基準画像のうち、時間的に連続している複数の画像のみを合成対象画像として選択する合成対象選択手段と、
合成対象画像について、基準画像については当該画像を、変形対象画像については変形パラメータに基づきそれぞれ変形した変形画像を、位置合わせをして合成する画像合成手段とを備えることを特徴とするものである。

また、本発明に係る他の画像合成方法は、
時間的に連続して撮像された、画像の撮像領域に動体領域を含む複数の画像を合成する画像合成方法であって、
複数の画像のうち１の画像を基準画像とし、基準画像以外の画像をそれぞれ変形対象画像とし、
基準画像の特徴点と変形対象画像の特徴点に対応する対応点とに基づいて、それぞれの変形対象画像における非動体領域の一部がこの一部に対応する基準画像における非動体領域の一部と重なるように、変形対象画像を変形するための変形パラメータをそれぞれの変形対象画像について算出し、
変形パラメータの算出に成功した変形対象画像および基準画像のうち、時間的に連続している複数の画像のみを合成対象画像として選択し、
合成対象画像について、基準画像については当該画像を、変形対象画像については変形パラメータに基づきそれぞれ変形した変形画像を、位置合わせをして合成することを特徴とするものである。

さらに、本発明に係る画像合成方法をコンピュータに実行させるための画像合成プログラムとして提供してもよい。

本発明に係る画像合成装置、方法及びプログラムは、時間的に連続して撮像された複数の画像の合成において、複数の画像の撮像領域に動体領域が含まれる場合、合成に使用可能な画像のうち、時間的に連続している画像のみを合成対象画像として使用している。これにより、時間的に連続して撮像された複数の画像に動体が存在するシーンにおいても、合成画像上で動体の連続性が保たれる違和感のない画像の合成が可能となる。

以下、本発明の実施形態について図面を用いて説明するが、本発明はこれに限られるものではない。

「画像合成装置、方法およびプログラム」
＜第１の実施形態＞
まず、第１の実施形態に係る画像合成装置（以下、単に画像合成装置）の構成について説明する。ただし、説明の便宜のため画像合成装置は、図３に示すように、撮像装置（デジタルカメラ）の一部を構成しているものとする。例えば、画像合成装置は、図３に示す画像処理部３１、内部メモリ３５、フレームメモリ２６、動体検出部３６、合成部３７、特徴点検出部３０および変形パラメータ算出部３２により構成される。

図１および図２は、画像合成装置を構成要素に含むデジタルカメラ１の外観を示す図である。図１および図２に示すように、このデジタルカメラ１の上部には、レリーズボタン２、電源ボタン３およびズームレバー４が備えられている。

レリーズボタン２は、２段階の押下により２種類の動作を指示できる構造となっている。例えば、自動露出調整機能（ＡＥ：Auto Exposure）、自動焦点調節機能（ＡＦ：Auto Focus）を利用した撮影では、デジタルカメラ１は、レリーズボタン２が軽く押下される第１の押下操作（半押しともいう）がなされたときに、露出調整、焦点合わせ等の撮影準備を行う。その状態で、レリーズボタン２が強く押下される第２の押下操作（全押しともいう）がなされると、デジタルカメラ１は露光を開始し、露光により得られた１画面分の画像データを記録メディアに記録する。

デジタルカメラ１の背面には、液晶等のモニタ５、撮影モード等の設定に利用されるモードダイヤル６、および後各種操作ボタン８が備えられている。なお、本実施形態においては、撮影を行う撮影モード、および記録メディアに記録された画像をモニタ５に再生する再生モード等を設定可能とされている。また、撮影モードとしては、例えば通常の撮影を行うための通常撮影モードの他、手ブレ補正を行うための手ブレ補正モード等が設定可能とされている。

次いで、デジタルカメラ１の内部構成について説明する。図３は、画像合成装置を構成要素に含むデジタルカメラの内部構成を示す概略ブロック図である。図３に示すように、デジタルカメラ１は撮像系９を有する。

撮像系９は、被写体にピントを合わせるためのフォーカスレンズ１０ａおよびズーム機能を実現するためのズームレンズ１０ｂからなる撮影レンズ１０を有する。各々のレンズは、モータとモータドライバとからなるフォーカスレンズ駆動部１１およびズームレンズ駆動部１２によって光軸方向に移動可能である。フォーカスレンズ駆動部１１は後述するＡＦ処理部２８からの指示に基づいて、ズームレンズ駆動部１２はズームレバー４の操作に応じたＣＰＵ４０からの指示に基づいて、各々のレンズの移動を制御する。

絞り１４は、複数の絞り羽根からなる。絞り駆動部１５は、ステッピングモータ等小型のモータで、ＡＥ処理部２９から出力される絞り値データに応じて、絞りの開口サイズが目的に適ったサイズになるように絞り羽根の位置を調整する。

シャッタ１６はメカニカルシャッタであり、シャッタ駆動部１７によって駆動される。シャッタ駆動部１７は、レリーズボタンの押下により発生する信号と、ＡＥ処理部２９から出力されるシャッタスピードデータとに応じて、シャッタ１６の開閉の制御を行う。

また、デジタルカメラ１は、シャッタ１６の後方に撮像素子１８を有している。本実施形態において、撮像素子１８は例えばＣＭＯＳタイプの素子である。撮像素子１８は、多数の受光素子を２次元的に配列した光電面を有しており、撮影レンズ１０等の光学系を通過した被写体光がこの光電面に結像し、光電変換される。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタアレイとが配置されている。撮像素子１８は、撮像素子制御部１９から供給される読み出し信号に同期して、画素毎に蓄積された電荷を１画素ずつアナログ撮影信号として出力する。なお、各画素において電荷を蓄積する時間、すなわち露光時間は、撮像素子制御部１９から与えられる電子シャッタ駆動信号によって決定される。この露光時間は、後述するＡＥ処理部２９により設定される。また、撮像素子１８は撮像素子制御部１９により、あらかじめ定められた大きさのアナログ撮像信号が得られるようにゲインが調整されている。

撮像素子１８から読み出されたアナログ撮影信号は、アナログフロントエンド（ＡＦＥ）２０に入力される。ＡＦＥ２０は、アナログ信号のノイズを除去する相関２重サンプリング回路（ＣＤＳ）と、アナログ信号のゲインを調節するオートゲインコントローラ（ＡＧＣ）と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。このデジタル信号に変換された画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＲＡＷデータである。

タイミングジェネレータ２１は、同期信号を発生させるものであり、このタイミング信号をシャッタ駆動部１７、撮像素子制御部１９、およびＡＦＥ２０に供給することにより、レリーズボタンの操作、シャッタ１６の開閉、撮像素子１８からの電荷の読み出し、およびＡＦＥ２０の処理の同期をとっている。なお、撮像素子１８からの電荷の読み出しの最高値（最高電荷読み出し時間）は、撮像素子１８およびタイミングジェネレータ２１の仕様によりあらかじめ定められている。

また、デジタルカメラ１は撮影時において必要なときに発光されるフラッシュ２４を有する。フラッシュ２４は、発光制御部２３によりその発光が制御される。

また、デジタルカメラ１は、データバス４１を介してＡＦＥ２０が出力した画像データを他の処理部に転送する画像入力コントローラ２５、および画像入力コントローラ２５から転送された画像データを一時記憶するフレームメモリ２６を備える。フレームメモリ２６は、画像データに対して後述の各種処理を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)が使用される。

表示制御部２７は、フレームメモリ２６に格納された画像データをスルー画像としてモニタ５に表示させたり、再生モード時に記録メディア３４に保存されている画像をモニタ５に表示させたりするためのものである。なお、スルー画像は、撮影モードが選択されている間、タイミングジェネレータ２１が発生する同期信号に同期して、所定時間間隔で撮像系９により撮影される。

ＡＦ処理部２８およびＡＥ処理部２９は、プレ画像に基づいて撮影条件を決定する。このプレ画像とは、レリーズボタンが半押しされることによって発生する半押し信号を検出したＣＰＵ４０が撮像素子１８にプレ撮影を実行させた結果、フレームメモリ２６に格納された画像データにより表される画像である。ＡＦ処理部２８は、プレ画像に基づいてフォーカスレンズ１０ａの合焦位置を検出する。合焦位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するＴＴＬ方式を用いる。ＡＥ処理部２９は、プレ画像に基づいて被写体輝度を測定し、測定した被写体輝度に基づいて絞り値およびシャッタスピードを露出設定値として設定して出力する（ＡＥ処理）。ここで、シャッタスピードが撮像素子１８の露光時間に相当する。

本実施形態によるデジタルカメラ１においては、通常撮影モードに設定されている場合には、１回のレリーズボタンの全押し操作により１回の露光による撮影が行われる。一方、手ブレ補正モードに設定されている場合には、通常１回の露光により撮影を行うところを、複数回に分割して露光が行われ、複数回の露光にそれぞれ対応する複数の画像が取得される。このようにして得られた複数の画像が、「時間的に連続して撮像された」画像となる。そして、この時間的に連続して撮像された複数の画像に基づいて、合成画像が生成される。このため、手ブレ補正モードでは、ＡＥ処理部２９は、プレ画像に基づいて設定したシャッタスピード、すなわち露光時間（Ｔ０とする）に基づいて、分割後の１回分の露光時間（Ｔ１とする）および露光回数ｎを算出する。

通常撮影モードによる撮影時においては、ＡＥ処理部２９が設定したシャッタスピードによりシャッタ１６が開放して、撮像素子１８がシャッタスピードに対応する露光時間Ｔ０だけ露光される。一方、手ブレ補正モードによる撮影時においては、レリーズボタンの押下後、設定された露光回数ｎの撮影が行われるまでの間シャッタ１６は開放とされ、その間、設定された露光時間Ｔ１の間隔により撮像素子１８から繰り返し電荷が読み出される。例えば、分割しての撮影を行わない場合（通常撮影モード時）の露光時間Ｔ０が１／７．５秒である場合、分割しての撮影を行う場合（手ブレ補正モード時）の露光時間Ｔ１が１／４８０秒であるとすると、手ブレ補正モード時においては露光時間Ｔ１が１／４８０秒の露光が６４回行われることとなる。

画像処理部３１は、本画像の画像データに対して、明るさ補正、階調補正、シャープネス補正、および色補正等の画質補正処理、並びにＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータおよび赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。この本画像とは、レリーズボタンが全押しされることによって実行される本撮影により撮像素子１８から取り込まれ、ＡＦＥ２０、画像入力コントローラ２５経由でフレームメモリ２６に格納された画像データにより表される画像である。さらに、本実施形態において、時間的に連続して撮像された複数の画像のうち基準画像以外の画像（変形対象画像）を、後述する変形パラメータ算出部により算出された変形パラメータに基づいて変形する処理も行う。

メディア制御部３３は、不図示のメディアスロットルに着脱自在にセットされた記録メディア３４にアクセスして、画像ファイルの書き込みと読み込みの制御を行う。

内部メモリ３５は、デジタルカメラ１において設定される各種定数、ルックアップテーブル、およびＣＰＵ４０が実行するプログラム等を記憶する。

特徴点検出部３０は、撮像された画像からその特徴を表している特徴点を検出する。特徴点の検出は、特徴点は画像全体にわたって行われることが好ましい。例えば、特徴点の検出方法は、密度を保ったまま画像全体をブロックに分割してそれぞれから特徴点を抽出する方法や、画面全体から特徴点らしさ（信号勾配の強さ等）の評価値を出して高い順に１００点選ぶ方法等が挙げられる。検出された特徴点は、例えば内部メモリ３５に記憶される。

変形パラメータ算出部３２は、上記特徴点検出部によって検出され抽出された基準画像の特徴点およびこの特徴点に対応する変形対象画像の対応点に基づいて、変形対象画像を変形するための変形パラメータを算出する。算出された変形パラメータは、例えば内部メモリ３５に記憶される。

動体検出部３６は、画像に含まれる動体を検出する。具体的には、手ブレ補正モードによる撮影により取得された複数の画像のそれぞれの間において、動きが大きい画素を求め、その画素からなる領域を動体として検出する。例えば、手ブレ補正モードの撮影により図１０に示すように５つの画像Ｐ１〜Ｐ５が取得された場合、動きが大きい被写体は鳥となる。このため、動体検出部３６は鳥を動体として検出する。なお、動体の検出は、デジタルカメラ１のブレを検出する加速度センサによって画像全体の動きベクトルを算出し、この画像全体の動きベクトルを差し引いて検出するようにしてもよい。

合成部３７は、手ブレ補正モードの撮影により取得された複数の画像を、非動体領域の位置が同じ位置になるように重ね合わせることにより合成して、合成画像を生成する。なお、合成は複数の画像について、非動体領域の位置合わせを行った後に、複数の画像間の対応する画素値の平均値を算出することにより行えばよい。ここで、位置合わせは、複数の画像から１つの基準画像を選択し、基準画像に含まれる非動体領域の位置に他の画像における非動体領域の位置が一致するように、他の画像を回転、拡大縮小等、変形することにより行えばよい。これにより、図６に示す４つの変形画像Ｐ１〜Ｐ３およびＰ５から生成された（ここで、Ｐ４は後述するように変形画像が生成されていない。）、動体の連続性が保たれる違和感のない合成画像が得られる（図７）。

ＣＰＵ４０は、レリーズボタン２、操作ボタン８およびＡＥ処理部２９等の各種処理部からの信号に応じてデジタルカメラ１の本体各部を制御する。

データバス４１は、図３に示すように、各種処理部、フレームメモリ２６およびＣＰＵ４０等に接続されており、画像データおよび各種指示等のやり取りを可能とする。

次に、本実施形態の画像合成において行われる処理について説明する。図４Ａおよび４Ｂは、本実施形態において行われる処理を示すフローチャートである。なお、本発明は手ブレ補正モードにおける撮影の処理に特徴を有するため、以下の説明においては、手ブレ補正モードが設定されている場合の処理について説明する。

本実施形態に係る画像合成方法は、図４Ａおよび４Ｂに示すように、デジタルカメラ１によって時間的に連続して撮像された複数の画像（ＳＴ１）のうち１の画像を基準画像と設定して（ＳＴ２）この基準画像の特徴点を抽出し（ＳＴ３）、一方基準画像以外の画像をそれぞれ変形対象画像として設定して（ＳＴ４）これらの変形対象画像について上記特徴点に対応する対応点をそれぞれ抽出し（ＳＴ５）、特徴点とこれに対応する対応点とに基づいて、それぞれの変形対象画像における非動体領域の一部がこの一部に対応する基準画像における非動体領域の一部と重なるように、変形対象画像を変形するための変形パラメータをそれぞれの変形対象画像について算出し（ＳＴ６）、変形パラメータの算出に成功した場合（ＳＴ７）、変形対象画像をこの変形対象画像についての変形パラメータに基づいて変形し（ＳＴ８）、変形した変形対象画像を変形画像としてフレームメモリに記憶し（ＳＴ９）、このような変形を変形パラメータの算出に成功したすべての変形対象画像について繰り返した後（ＳＴ１０）、基準画像または変形画像の撮像領域に動体領域が含まれるか否かを判定し（ＳＴ１１およびＳＴ１２）、動体領域の判定により動体領域が含まれると判定された場合には、基準画像および変形画像のうち、時間的に連続している複数の画像のみを合成対象画像として選択し、この合成対象画像について基準画像または変形画像を、位置合わせをして合成する（ＳＴ１３およびＳＴ１４）ものである。また、画像合成方法は、変形パラメータの算出に失敗した場合（ＳＴ７）には、変形画像を生成しない。そして、画像合成方法は、撮像領域に動体領域が存在しない場合には、基準画像およびすべての変形画像を合成対象画像として選択し、この合成対象画像について基準画像または変形画像を、位置合わせをして合成し（ＳＴ１５）、さらに動体領域が含まれると判定された後時間的に連続している複数の画像が存在しない場合には、画像合成を行わないものである。

例えば、前述した例と同様の例について、図１０に示す時間的に連続して撮像されたＰ１〜Ｐ５の５枚の画像を用いて、以下具体的に説明する。すなわち、時間的に連続して５回の撮像を行い、５枚の画像が得られた場合について説明する。

５枚の画像のうち画像Ｐ３を基準画像として選択し、特徴点検出部にて基準画像から特徴点を検出する。ここでは、特徴点を検出する際、画像を複数のブロックに分割して、各ブロックから１つの特徴点を検出するようにする。なお、変形対象画像の設定は、基準画像の設定と同時に行ってもよい。

特徴点が検出された後、基準画像以外の画像（Ｐ１、Ｐ２、Ｐ４およびＰ５）を変形対象画像として設定し、上記特徴点に対応する変形対象画像の特徴点（対応点）を検出する。このプロセスも特徴点検出部にて行われる。この結果、図５に示すように、各ブロック毎に特徴点を始点とし対応点を終点とするいわゆる動きベクトルが得られる。図５中の矢印が動きベクトルを表し、図中には矢印Ａと矢印Ｂの２種類の動きベクトルが示されている。

上記のように特徴点および対応点が検出された後、これらの座標値を解析することにより変形パラメータが算出される。なお、変形パラメータの算出は、基準画像の特徴点および対応点を一通り抽出した後に行ってもよい。ここでは、変形手法としてアフィン変換を用いることとするが、特に限定されるものではなく、ヘルマート変換や射影変換等も用いることができる。アフィン変換は以下の式で表される。

ここで、上記式中（ｘ，ｙ）は変換前の座標、すなわち対応点の座標を表し、（ｘ’，ｙ’）は変換後の座標、すなわち対応点の変換されるべき座標（基準画像の特徴点）を表し、ａ，ｂ，ｃ，ｄ，ｓおよびｔはアフィン変換パラメータを表す。

また、ここでは、アフィン変換パラメータの算出は、複数の対応点の座標値を用いて最小二乗法にて行うものとする。つまり下記式のＥｘ、Ｅｙが最小となるように最適なａ，ｂ，ｃ，ｄ，ｓおよびｔが求められる。

ここで、上記式中ｉは各対応点についての添え字であり、Σは複数の対応点について和をとることを表す。

最小二乗法にてアフィン変換パラメータを算出する場合、以下のように実施するのが好ましい。シーン中に動体が存在しない場合カメラによる手ブレの影響によりある２枚の画像間にブレが生じたとすると、理想的にはこの２枚の画像間のすべての動きベクトルは画面全体の動きに従ったものとなる。ところが、特徴点（或いは対応点）検出の精度等の問題により、基準画像の特徴点に対応する対応点の位置が誤って算出された場合、この対応点に基づく動きベクトルは画面全体の動きに従わない。また、シーンに動体が存在する場合には尚更である。このように、画面全体の動きを表す動きベクトルと、これとは性質の大きく異なる動きベクトルが混在している場合、すべての動きベクトルを用いて最小二乗法によるアフィン変換パラメータの算出を行うと、画面全体のブレを表す本来のパラメータとは大きく異なる値のものが算出される恐れがある。そこで、最小二乗法を行う前に、各動きベクトルの信頼性を判断し、最小二乗法に用いる動きベクトルを選択する。動きベクトルの選択方法としては具体的に、ある動きベクトルに着目し、この動きベクトルの周囲の動きベクトルとの相関性を判断する等の方法が挙げられる。

そして、アフィン変換パラメータ（変形パラメータ）が算出されれば、この変形パラメータを用いて変形対象画像を変形し、この変形後の画像を変形画像としてフレームメモリに記録する。ここで、変形パラメータについて、特徴点の数や対応点の数が少なく算出に失敗した場合や、算出されたとしてもカメラワークによる自由度からは考えられない異常値を示した場合には、変形対象画像を変形できないため変形画像は生成されない。

また、上記に述べた対応点の検出、変形パラメータの算出、画像の変形の処理を、すべての変換対象画像について行うことによって、図６に示すように最終的に画像合成に用いることができる画像（つまり、基準画像および変形画像）を選択および形成することができる。ここで、図６は、画像Ｐ４について変形パラメータの算出に失敗したため変形画像を生成することができなかった例を表している。

その後、基準画像および変形画像のシーンについて動体が撮像されているか否か、つまり撮像領域に動体領域が存在するか否かを判定する。動体領域の検出は、特徴点およびこれに対応する対応点と変形パラメータを用いて、画面全体の動き以外の動きが撮像領域内から検出されるか否かにより判定し、動体領域の検出は、動体検出部にて行われる。例えば、図５の場合、画面全体の動きと考えられる上向きの矢印Ａに囲まれた右上向きの矢印Ｂが存在し、この矢印Ｂが矢印Ａとの相関性から動体領域であると検出される。また、相関性を判断する範囲は、例えば直近の周囲の８ブロックまでとしてもよいし、さらに１ブロック広げた周囲の２４ブロックまでとしてもよい。ここで、相関性を判断する範囲は、より広いほうがより正確に動体領域の検出を行うことができる。

そして、動体領域が存在するか否かが判定された後、画像合成が行われる。ここで、画像合成は、基準画像および変形画像の時間的な連続性と動体領域の存在の有無とにより、場合別けされて行われる。

動体領域が存在する場合には、動体の連続性を勘案し基準画像および変形画像の連続性を考慮する。具体的には、基準画像および変換画像のうち、時間的に連続している複数の画像のみが合成対象画像として選択され、この合成対象画像について画像合成が行われる。図６の場合、画像Ｐ４について変換画像が生成されなかったため、残りの画像（Ｐ１〜Ｐ３およびＰ５）をすべて合成すると、前述したように動体（鳥）に不連続性が生じ、違和感のある画像となってしまう。そこで、本発明においてはこのような場合、時間的に連続している画像（Ｐ１〜Ｐ３）のみを合成する。この結果、図７に示すように合成画像上で動体の連続性が保たれる違和感のない画像が生成される。ここで、合成画像の明るさは通常撮影モードと同等になるように適宜調整される。また、時間的に連続している複数の画像が存在しない場合には、画像の合成は行われない。この場合、基準画像および変形画像ののうち１の画像を選択し、明るさを通常撮影モードと同等になるように適宜調整される。

一方、動体領域が存在しない場合には、基準画像および変形画像の連続性を考慮せずこれらの画像をすべて合成する。動体が存在しない場合、動体の不連続性が問題とならないためである。また、合成に使用する画像の枚数は多い方が、合成によるランダムノイズの低減効果を有効に得ることができるためである。

以上のように、本実施形態に係る画像合成装置および方法では、時間的に連続して撮像された複数の画像の合成において、複数の画像の撮像領域に動体領域が含まれる場合、合成に使用可能な画像のうち、時間的に連続している画像のみを合成対象画像として使用している。これにより、時間的に連続して撮像された複数の画像に動体が存在するシーンにおいても、合成画像上で動体の連続性が保たれる違和感のない画像の合成が可能となる。また、動体領域が含まれない場合、時間的な連続性を考慮することなく画像を合成することで、合成によるランダムノイズの低減効果を有効に得ることが可能となる。

＜第２の実施形態＞
次に、第２の実施形態に係る画像合成装置（以下、単に画像合成装置）の構成について説明する。図８Ａおよび８Ｂは、本実施形態において行われる処理を示すフローチャートである。本実施形態は、画像合成の処理において撮像領域に動体領域が存在する場合、この動体領域の撮像領域中の割合について判定する点で第１の実施形態と異なる。したがって、その他の構成要素は、第１の実施形態と同様のであるため、特に必要のない限り同様の要素についての説明は省略する。

本実施形態に係る画像合成方法は、図８Ａおよび８Ｂに示すように、デジタルカメラによって時間的に連続して撮像された複数の画像（ＳＴ２１）のうち１の画像を基準画像と設定して（ＳＴ２２）この基準画像の特徴点を抽出し（ＳＴ２３）、一方基準画像以外の画像をそれぞれ変形対象画像として設定して（ＳＴ２４）これらの変形対象画像について上記特徴点に対応する対応点をそれぞれ抽出し（ＳＴ２５）、特徴点とこれに対応する対応点とに基づいて、それぞれの変形対象画像における非動体領域の一部がこの一部に対応する基準画像における非動体領域の一部と重なるように、変形対象画像を変形するための変形パラメータをそれぞれの変形対象画像について算出し（ＳＴ２６）、変形パラメータの算出に成功した場合（ＳＴ２７）、変形対象画像をこの変形対象画像についての変形パラメータに基づいて変形し（ＳＴ２８）、変形した変形対象画像を変形画像としてフレームメモリに記憶し（ＳＴ２９）、このような変形を変形パラメータの算出に成功したすべての変形対象画像について繰り返した後（ＳＴ３０）、基準画像または変形画像の撮像領域に動体領域が含まれるか否かを判定し（ＳＴ３１およびＳＴ３２）、動体領域の判定により動体領域が含まれると判定された場合にはさらにその動体領域の撮像領域中の割合を算出し、この割合が所定値以上であるか否かを判定し（ＳＴ３３）、この割合が所定値以上である場合には基準画像および変形画像のうち、時間的に連続している複数の画像のみを合成対象画像として選択し、この合成対象画像について基準画像または変形画像を、位置合わせをして合成する（ＳＴ３４およびＳＴ３５）ものである。また、画像合成方法は、変形パラメータの算出に失敗した場合（ＳＴ２７）には、変形画像を生成しない。そして、画像合成方法は、撮像領域に動体領域が存在しない場合、或いは撮像領域に動体領域が存在する場合でもその面積の割合が所定値以下の場合には、基準画像およびすべての変形画像を合成対象画像として選択し、この合成対象画像について基準画像または変形画像を、位置合わせをして合成する（ＳＴ３６）。さらに、画像合成方法は、動体領域が含まれると判定された後時間的に連続している複数の画像が存在しない場合には、画像合成を行わないものである。つまり、撮像領域に動体領域が存在するか否かを判定するまでは、第１の実施形態と同様の流れである。

動体領域の撮像領域中の割合の算出は、動体検出部にて行われる。この割合の算出は、動体領域の検出と同時に行ってもよい。例えば、図５のような動きベクトルマップが得られている場合、動体領域の面積を９ブロックとして全体のブロック数からその割合を算出してもよい。ここで、この割合の算出方法は上記したものに限られない。

そして、動体領域が存在するか否かが判定された後、画像合成が行われる。ここで、画像合成は、基準画像および変形画像の時間的な連続性と動体領域の存在の有無と動体領域の大きさとにより、場合別けされて行われる。

動体領域が存在する場合には、動体の連続性を勘案し、基準画像および変形画像の連続性と、動体領域の大きさとを考慮する。具体的には、動体領域の撮像領域中の割合が所定値以上ならば、基準画像および変換画像のうち、時間的に連続している複数の画像のみが合成対象画像として選択され、この合成対象画像について画像合成が行われる。この結果、第１の実施形態と同様に合成画像上で動体の連続性が保たれる違和感のない画像が生成される。一方、動体領域の撮像領域中の割合が所定値以下ならば、動体の不連続性は画像中において認識されづらくなるため、基準画像および変形画像の連続性を考慮せずこれらの画像をすべて合成する。ここで、合成画像の明るさは通常撮影モードと同等になるように適宜調整される。また、時間的に連続している複数の画像が存在しない場合には、画像の合成は行われない。この場合、基準画像および変形画像ののうち１の画像を選択し、明るさを通常撮影モードと同等になるように適宜調整される。

一方、動体領域が存在しない場合には、第１の実施形態と同様に、基準画像および変形画像の連続性を考慮せずこれらの画像をすべて合成する。

以上のように、本実施形態に係る画像合成装置および方法では、時間的に連続して撮像された複数の画像の合成において、複数の画像の撮像領域に動体領域が含まれる場合、合成に使用可能な画像のうち、時間的に連続している画像のみを合成対象画像として使用している。したがって、第１の実施形態と同様の効果を奏する。

＜第３の実施形態＞
次に、第３の実施形態に係る画像合成装置（以下、単に画像合成装置）の構成について説明する。図９Ａおよび９Ｂは、本実施形態において行われる処理を示すフローチャートである。本実施形態は、画像合成の処理において複数の画像中に動体領域が存在することを前提としている点で第１の実施形態と異なる。したがって、その他の構成要素は、第１の実施形態と同様のであるため、特に必要のない限り同様の要素についての説明は省略する。

本実施形態に係る画像合成方法は、図９Ａおよび９Ｂに示すように、デジタルカメラによって時間的に連続して撮像された、画像の撮像領域に動体領域を含む複数の画像（ＳＴ４１）のうち１の画像を基準画像と設定して（ＳＴ４２）この基準画像の特徴点を抽出し（ＳＴ４３）、一方基準画像以外の画像をそれぞれ変形対象画像として設定して（ＳＴ４４）これらの変形対象画像について上記特徴点に対応する対応点をそれぞれ抽出し（ＳＴ４５）、特徴点とこれに対応する対応点とに基づいて、それぞれの変形対象画像における非動体領域の一部がこの一部に対応する基準画像における非動体領域の一部と重なるように、変形対象画像を変形するための変形パラメータをそれぞれの変形対象画像について算出し（ＳＴ４６）、変形パラメータの算出に成功した場合（ＳＴ４７）、変形対象画像をこの変形対象画像についての変形パラメータに基づいて変形し（ＳＴ４８）、変形した変形対象画像を変形画像としてフレームメモリに記憶し（ＳＴ４９）、このような変形を変形パラメータの算出に成功したすべての変形対象画像について繰り返した後（ＳＴ５０）、基準画像および変形画像のうち、時間的に連続している複数の画像のみを合成対象画像として選択し、この合成対象画像について基準画像または変形画像を、位置合わせをして合成する（ＳＴ５１およびＳＴ５２）ものである。また、画像合成方法は、変形パラメータの算出に失敗した場合（ＳＴ４７）には、変形画像を生成しない。さらに、画像合成方法は、時間的に連続している複数の画像が存在しない場合には、画像合成を行わないものである。つまり、すべての変形対象画像について変形パラメータの算出を試みるまでは、第１の実施形態と同様の流れである。

そして、すべての変形対象画像について変形パラメータの算出を試みた後、画像合成が行われる。ここで、画像合成は、基準画像および変形画像の時間的な連続性により場合別けされて行われる。具体的には、基準画像および変換画像のうち、時間的に連続している複数の画像が存在する場合、これらの画像のみが合成対象画像として選択され、この合成対象画像について画像合成が行われる。ここで、合成画像の明るさは通常撮影モードと同等になるように適宜調整される。また、時間的に連続している複数の画像が存在しない場合には、画像の合成は行われない。この場合、基準画像および変形画像ののうち１の画像を選択し、明るさを通常撮影モードと同等になるように適宜調整される。

以上のように、本実施形態に係る画像合成装置および方法では、時間的に連続して撮像された複数の画像の合成において、複数の画像の撮像領域に動体領域が含まれる場合、合成に使用可能な画像のうち、時間的に連続している画像のみを合成対象画像として使用している。したがって、第１の実施形態と同様の効果を奏する。

（第３の実施形態の設計変更）
第３の実施形態について上記では、動体領域の撮像領域中の割合について考慮せずに説明したが、本実施形態についても動体領域の撮像領域中の割合をさらに判定しても構わない。

（第１〜３の実施形態の設計変更）
以上、本発明に係る画像合成装置および方法について説明したが、コンピュータを、上記のＡＥ処理部２９、特徴点検出部３０、画像処理部３１、変形パラメータ算出部３２、動体検出部３６および合成部３７に対応する手段として機能させ、図４Ａおよび４Ｂ、図８Ａおよび８Ｂ並びに図９Ａおよび９Ｂに示すような処理を行わせるプログラムも本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も本発明の実施形態の１つである。

また、本発明に係る画像合成装置は、前述したようなデジタルカメラに搭載する態様以外に、すでに撮像された複数の画像を合成処理するコンピュータ等に搭載しても構わない。

第１の実施形態による画像合成装置を搭載したデジタルカメラの外観を示す図（正面側） 第１の実施形態による画像合成装置を搭載したデジタルカメラの外観を示す図（背面側） 第１の実施形態による画像合成装置を搭載したデジタルカメラの内部構成を示す概略ブロック図 第１の実施形態において行われる処理を示すフローチャート（その１） 第１の実施形態において行われる処理を示すフローチャート（その２） 分割されたブロック毎の動きベクトルを示す概略図 時間的に連続して撮像された画像の変形後の画像を示す概略図 時間的に連続している画像のみを合成した画像を示す概略図 第２の実施形態において行われる処理を示すフローチャート（その１） 第２の実施形態において行われる処理を示すフローチャート（その２） 第３の実施形態において行われる処理を示すフローチャート（その１） 第３の実施形態において行われる処理を示すフローチャート（その２） 時間的に連続して撮像された画像を示す概略図 時間的に連続して撮像された画像の合成後の画像を示す概略図（その１） 時間的に連続して撮像された画像の合成後の画像を示す概略図（その２） 時間的に連続して撮像された画像の合成後の画像を示す概略図（その３）

符号の説明

１ デジタルカメラ
２ レリーズボタン
３ 電源ボタン
４ ズームレバー
５ モニタ
６ モードダイヤル
８ 操作ボタン
９ 撮像系
１０ 撮影レンズ
１１ フォーカスレンズ駆動部
１２ ズームレンズ駆動部
３０ 特徴点検出部
３１ 画像処理部
３２ 変形パラメータ算出部
３５ 内部メモリ
３６ 動体検出部
３７ 合成部
４１ データバス
Ｐ１〜Ｐ５ 時間的に連続して撮像された画像

Claims (15)

1. 時間的に連続して撮像された複数の画像の合成に用いられる画像合成装置であって、
   前記複数の画像のうち１の画像を基準画像とし、該基準画像以外の画像をそれぞれ変形対象画像とする基準画像選択手段と、
   前記基準画像の特徴点と前記変形対象画像の前記特徴点に対応する対応点とに基づいて、それぞれの前記変形対象画像における非動体領域の一部が該一部に対応する前記基準画像における非動体領域の一部と重なるように、前記変形対象画像を変形するための変形パラメータをそれぞれの変形対象画像について算出する変形パラメータ算出手段と、
   前記複数の画像の撮像領域に動体領域が含まれるか否かを判定する動体判定手段と、
   該動体領域の判定により動体領域が含まれると判定された場合には、前記変形パラメータの算出に成功した前記変形対象画像および前記基準画像のうち、時間的に連続している複数の画像のみを合成対象画像として、時間的に連続している画像の枚数が最も多くなるように選択する合成対象選択手段と、
   前記合成対象画像について、前記基準画像については当該画像を、前記変形対象画像については前記変形パラメータに基づきそれぞれ変形した変形画像を、位置合わせをして合成する画像合成手段とを備えることを特徴とする画像合成装置。
2. 時間的に連続して撮像された複数の画像の合成に用いられる画像合成装置であって、
   前記複数の画像のうち１の画像を基準画像とし、該基準画像以外の画像をそれぞれ変形対象画像とする基準画像選択手段と、
   前記基準画像の特徴点と前記変形対象画像の前記特徴点に対応する対応点とに基づいて、それぞれの前記変形対象画像における非動体領域の一部が該一部に対応する前記基準画像における非動体領域の一部と重なるように、前記変形対象画像を変形するための変形パラメータをそれぞれの変形対象画像について算出する変形パラメータ算出手段と、
   前記複数の画像の撮像領域に動体領域が含まれるか否かを判定する動体判定手段と、
   該動体領域の判定により動体領域が含まれると判定された場合には、前記変形パラメータの算出に成功した前記変形対象画像および前記基準画像のうち、時間的に連続している複数の画像のみを合成対象画像として選択する合成対象選択手段と、
   前記合成対象画像について、前記基準画像については当該画像を、前記変形対象画像については前記変形パラメータに基づきそれぞれ変形した変形画像を、位置合わせをして合成する画像合成手段と、
   少なくとも前記変形パラメータの算出に成功した前記変形対象画像および前記基準画像について、それぞれの撮像領域に占める動体領域の割合を算出する動体領域算出手段を備え、
   前記合成対象選択手段が、前記割合が所定値以下である場合には、前記変形パラメータの算出に失敗した前記変形対象画像の直近の前後にある、前記変形パラメータの算出に成功した前記変形対象画像または前記基準画像を、時間的に連続しているものとみなすものであることを特徴とする画像合成装置。
3. 前記合成対象選択手段が、前記変形パラメータの算出に前記成功した変形対象画像および前記基準画像のうち、該基準画像と該基準画像から時間的に連続している前記変形対象画像からなる複数の画像を前記合成対象画像として選択するものであることを特徴とする請求項２に記載の画像合成装置。
4. 前記合成対象選択手段が、前記変形パラメータの算出に成功した前記変形対象画像および前記基準画像のうち、時間的に連続している画像の枚数が最も多くなるような複数の画像を前記合成対象画像として選択するものであることを特徴とする請求項２に記載の画像合成装置。
5. 前記合成対象選択手段が、前記動体領域の判定により動体領域が含まれないと判定された場合には、すべての前記変形パラメータの算出に成功した前記変形対象画像および前記基準画像を前記合成対象画像として選択するものであることを特徴とする請求項１から４いずれかに記載の画像合成装置。
6. 時間的に連続して撮像された複数の画像を合成する画像合成方法であって、
   前記複数の画像のうち１の画像を基準画像とし、該基準画像以外の画像をそれぞれ変形対象画像とし、
   前記基準画像の特徴点と前記変形対象画像の前記特徴点に対応する対応点とに基づいて、それぞれの前記変形対象画像における非動体領域の一部が該一部に対応する前記基準画像における非動体領域の一部と重なるように、前記変形対象画像を変形するための変形パラメータをそれぞれの変形対象画像について算出し、
   前記複数の画像の撮像領域に動体領域が含まれるか否かを判定し、
   該動体領域の判定により動体領域が含まれると判定された場合には、前記変形パラメータの算出に成功した前記変形対象画像および前記基準画像のうち、時間的に連続している複数の画像のみを合成対象画像として、時間的に連続している画像の枚数が最も多くなるように選択し、
   該合成対象画像について、前記基準画像については当該画像を、前記変形対象画像については前記変形パラメータに基づきそれぞれ変形した変形画像を、位置合わせをして合成することを特徴とする画像合成方法。
7. 時間的に連続して撮像された複数の画像を合成する画像合成方法であって、
   前記複数の画像のうち１の画像を基準画像とし、該基準画像以外の画像をそれぞれ変形対象画像とし、
   前記基準画像の特徴点と前記変形対象画像の前記特徴点に対応する対応点とに基づいて、それぞれの前記変形対象画像における非動体領域の一部が該一部に対応する前記基準画像における非動体領域の一部と重なるように、前記変形対象画像を変形するための変形パラメータをそれぞれの変形対象画像について算出し、
   前記複数の画像の撮像領域に動体領域が含まれるか否かを判定し、
   該動体領域の判定により動体領域が含まれると判定された場合には、少なくとも前記変形パラメータの算出に成功した前記変形対象画像および前記基準画像について、それぞれの撮像領域に占める動体領域の割合を算出し、該割合が所定値以下である場合には、前記変形パラメータの算出に失敗した前記変形対象画像の直近の前後にある、前記変形パラメータの算出に成功した前記変形対象画像または前記基準画像を、時間的に連続しているものとみなして、前記変形パラメータの算出に成功した前記変形対象画像および前記基準画像のうち、時間的に連続している複数の画像のみを合成対象画像として選択し、
   該合成対象画像について、前記基準画像については当該画像を、前記変形対象画像については前記変形パラメータに基づきそれぞれ変形した変形画像を、位置合わせをして合成することを特徴とする画像合成方法。
8. 前記変形パラメータの算出に成功した前記変形対象画像および前記基準画像のうち、該基準画像と該基準画像から時間的に連続している前記変形対象画像からなる複数の画像を前記合成対象画像として選択することを特徴とする請求項７に記載の画像合成方法。
9. 前記変形パラメータの算出に成功した前記変形対象画像および前記基準画像のうち、時間的に連続している画像の枚数が最も多くなるような複数の画像を前記合成対象画像として選択することを特徴とする請求項７に記載の画像合成方法。
10. 前記動体領域の判定により動体領域が含まれないと判定された場合には、すべての前記変形パラメータの算出に成功した前記変形対象画像および前記基準画像を前記合成対象画像として選択することを特徴とする請求項６から９いずれかに記載の画像合成方法。
11. 時間的に連続して撮像された複数の画像を合成する画像合成方法をコンピュータに実行させるための画像合成プログラムであって、
    前記複数の画像のうち１の画像を基準画像とし、該基準画像以外の画像をそれぞれ変形対象画像とし、
    前記基準画像の特徴点と前記変形対象画像の前記特徴点に対応する対応点とに基づいて、それぞれの前記変形対象画像における非動体領域の一部が該一部に対応する前記基準画像における非動体領域の一部と重なるように、前記変形対象画像を変形するための変形パラメータをそれぞれの変形対象画像について算出し、
    前記複数の画像の撮像領域に動体領域が含まれるか否かを判定し、
    該動体領域の判定により動体領域が含まれると判定された場合には、前記変形パラメータの算出に成功した前記変形対象画像および前記基準画像のうち、時間的に連続している複数の画像のみを合成対象画像として、時間的に連続している画像の枚数が最も多くなるように選択し、
    該合成対象画像について、前記基準画像については当該画像を、前記変形対象画像については前記変形パラメータに基づきそれぞれ変形した変形画像を、位置合わせをして合成する画像合成方法を実行させることを特徴とする画像合成プログラム。
12. 時間的に連続して撮像された複数の画像を合成する画像合成方法をコンピュータに実行させるための画像合成プログラムであって、
    前記複数の画像のうち１の画像を基準画像とし、該基準画像以外の画像をそれぞれ変形対象画像とし、
    前記基準画像の特徴点と前記変形対象画像の前記特徴点に対応する対応点とに基づいて、それぞれの前記変形対象画像における非動体領域の一部が該一部に対応する前記基準画像における非動体領域の一部と重なるように、前記変形対象画像を変形するための変形パラメータをそれぞれの変形対象画像について算出し、
    前記複数の画像の撮像領域に動体領域が含まれるか否かを判定し、
    該動体領域の判定により動体領域が含まれると判定された場合には、少なくとも前記変形パラメータの算出に成功した前記変形対象画像および前記基準画像について、それぞれの撮像領域に占める動体領域の割合を算出し、該割合が所定値以下である場合には、前記変形パラメータの算出に失敗した前記変形対象画像の直近の前後にある、前記変形パラメータの算出に成功した前記変形対象画像または前記基準画像を、時間的に連続しているものとみなして、前記変形パラメータの算出に成功した前記変形対象画像および前記基準画像のうち、時間的に連続している複数の画像のみを合成対象画像として選択し、
    該合成対象画像について、前記基準画像については当該画像を、前記変形対象画像については前記変形パラメータに基づきそれぞれ変形した変形画像を、位置合わせをして合成する画像合成方法を実行させることを特徴とする画像合成プログラム。
13. 時間的に連続して撮像された、画像の撮像領域に動体領域を含む複数の画像の合成に用いられる画像合成装置であって、
    前記複数の画像のうち１の画像を基準画像とし、該基準画像以外の画像をそれぞれ変形対象画像とする基準画像選択手段と、
    前記基準画像の特徴点と前記変形対象画像の前記特徴点に対応する対応点とに基づいて、それぞれの前記変形対象画像における非動体領域の一部が該一部に対応する前記基準画像における非動体領域の一部と重なるように、前記変形対象画像を変形するための変形パラメータをそれぞれの変形対象画像について算出する変形パラメータ算出手段と、
    前記変形パラメータの算出に成功した前記変形対象画像および前記基準画像のうち、時間的に連続している複数の画像のみを合成対象画像として選択する合成対象選択手段と、
    前記合成対象画像について、前記基準画像については当該画像を、前記変形対象画像については前記変形パラメータに基づきそれぞれ変形した変形画像を、位置合わせをして合成する画像合成手段とを備えることを特徴とする画像合成装置。
14. 時間的に連続して撮像された、画像の撮像領域に動体領域を含む複数の画像を合成する画像合成方法であって、
    前記複数の画像のうち１の画像を基準画像とし、該基準画像以外の画像をそれぞれ変形対象画像とし、
    前記基準画像の特徴点と前記変形対象画像の前記特徴点に対応する対応点とに基づいて、それぞれの前記変形対象画像における非動体領域の一部が該一部に対応する前記基準画像における非動体領域の一部と重なるように、前記変形対象画像を変形するための変形パラメータをそれぞれの変形対象画像について算出し、
    前記変形パラメータの算出に成功した前記変形対象画像および前記基準画像のうち、時間的に連続している複数の画像のみを合成対象画像として選択し、
    該合成対象画像について、前記基準画像については当該画像を、前記変形対象画像については前記変形パラメータに基づきそれぞれ変形した変形画像を、位置合わせをして合成することを特徴とする画像合成方法。
15. 時間的に連続して撮像された、画像の撮像領域に動体領域を含む複数の画像を合成する画像合成方法をコンピュータに実行させるための画像合成プログラムであって、
    前記複数の画像のうち１の画像を基準画像とし、該基準画像以外の画像をそれぞれ変形対象画像とし、
    前記基準画像の特徴点と前記変形対象画像の前記特徴点に対応する対応点とに基づいて、それぞれの前記変形対象画像における非動体領域の一部が該一部に対応する前記基準画像における非動体領域の一部と重なるように、前記変形対象画像を変形するための変形パラメータをそれぞれの変形対象画像について算出し、
    前記変形パラメータの算出に成功した前記変形対象画像および前記基準画像のうち、時間的に連続している複数の画像のみを合成対象画像として選択し、
    該合成対象画像について、前記基準画像については当該画像を、前記変形対象画像については前記変形パラメータに基づきそれぞれ変形した変形画像を、位置合わせをして合成する画像合成方法を実行させることを特徴とする画像合成プログラム。

Images