JP4905144B2

JP4905144B2 - 画像合成装置、画像合成プログラム及び画像合成方法

Info

Publication number: JP4905144B2
Application number: JP2007007543A
Authority: JP
Inventors: 博清水
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2007-01-17
Filing date: 2007-01-17
Publication date: 2012-03-28
Anticipated expiration: 2027-01-17
Also published as: JP2008176430A

Description

本発明は、撮像により順次得られる複数のフレーム画像を結合して合成したパノラマ画像を生成する画像合成装置、画像合成プログラム及び画像合成方法に関する。

従来、１つの撮影フレームで撮影可能な画角以上の画角を得るために複数の撮影フレームの各画像を合成してパノラマ画像を合成する撮像装置が提案されている。このパノラマ画像を合成するに際しては、撮影した画像の特徴点を抽出してその座標を検出し、次に撮影した隣接する画像の同じ特徴点の座標を検出する。そして、これら検出した特徴点が一致するように、隣接する画像を結合合成してパノラマ画像を得るようにしている（特許文献１参照）。
特開平１１−２８２１００号公報

このように従来の撮像装置においては、画像の特徴点を抽出し、この特徴点を隣接する画像で一致させて結合合成することによりパノラマ画像を得るようにしている。したがって、パノラマ画像中には画像を結合させた際の継ぎ目が、ユーザの意図とは無関係に生じてしまうこととなる。このため、パノラマ画像中の中心人物等のユーザが意図した主要被写体上に継ぎ目が形成されてしまう場合が生じ、ユーザが意図した部分に継ぎ目が生ずることのないパノラマ画像を得ることが困難となるものであった。

本発明は、かかる従来の課題に鑑みなされたものであり、ユーザが意図する部分に画像合成による継ぎ目を生じさせることなくパノラマ画像を合成することのできる画像合成装置、画像合成プログラム及び画像合成方法を提供することを目的とする。

前記課題を解決するために請求項１記載の発明に係る画像合成装置にあっては、撮像して複数のフレーム画像を順次取得する取得手段と、この撮像手段により順次フレーム画像が取得されている間にこれら順次取得されているフレーム画像のいずれかを選択する選択手段と、この選択手段による選択の後、前記取得手段により取得された各フレーム画像から部分画像を抽出し、各部分画像の端部が整合するように順次結合して合成する第１の画像合成手段と、この第１の画像合成手段により生成された合成画像の対応する画像部分に、前記選択手段より選択されたフレーム画像を上書き合成する第２の画像合成手段とを備えることを特徴とする。

また、請求項２記載の発明に係る画像合成装置にあっては、前記選択手段は、前記取得手段がフレーム画像を順次取得する際に、所定の操作に応答して操作タイミングに対応するフレーム画像を選択することを特徴とする。

また、請求項３記載の発明に係る画像合成装置にあっては、前記所定の操作は、前記取得手段にフレーム画像の取得を開始させるための操作と同一の操作であることを特徴とする。

また、請求項４記載の発明に係る画像合成装置にあっては、前記第１の画像合成手段は、前記取得手段により順次取得された各フレーム画像における所定領域の特徴量を算出する特徴量算出手段と、この特徴量算出手段により算出された前記特徴量に基づいて、当該特徴量が算出された第１のフレーム画像と所定の時間的対応関係を有する第２のフレーム画像の移動ベクトルを順次算出する移動ベクトル算出手段と、この移動ベクトル算出手段により算出された移動ベクトルの大きさに応じて、画像の抽出幅を設定する設定手段と、この設定手段により設定された前記抽出幅の部分画像を、前記第１及び／又は第２のフレーム画像から抽出する画像抽出手段と、この画像抽出手段により抽出された部分画像を順次結合して合成する画像合成手段とを備え、前記画像抽出手段は、前記設定手段により設定された抽出幅の部分画像を前記フレーム画像における所定の基準線から前記移動ベクトルに応じた方向に抽出することを特徴とする。

また、請求項５記載の発明に係る画像合成装置にあっては、前記画像抽出手段は、前記設定手段により設定された抽出幅の部分画像を前記フレーム画像における所定の基準線から前記移動ベクトルに応じた方向に抽出することを特徴とする。

また、請求項６記載の発明に係る画像合成装置にあっては、前記基準線は、フレーム画像の中心部付近に設定されることを特徴とする。

また、請求項７記載の発明に係る画像合成プログラムにあっては、撮像して複数のフレーム画像を順次取得する取得手段を有する画像合成装置が備えるコンピュータを、この撮像手段により順次フレーム画像が取得されている間にこれら順次取得されているフレーム画像のいずれかを選択する選択手段、この選択手段による選択の後、前記取得手段により取得された各フレーム画像から部分画像を抽出し、各部分画像の端部が整合するように順次結合して合成する第１の画像合成手段、この第１の画像合成手段により生成された合成画像の対応する画像部分に、前記選択手段より選択されたフレーム画像を上書き合成する第２の画像合成手段、として機能させることを特徴とする。

また、請求項８記載の発明に係る画像合成方法にあっては、撮像して複数のフレーム画像を順次取得する取得ステップと、この撮像ステップにて順次フレーム画像が取得されている間にこれら順次取得されているフレーム画像のいずれかを選択する選択ステップと、この選択ステップでの選択の後、前記取得ステップにて取得された各フレーム画像から部分画像を抽出し、各部分画像の端部が整合するように順次結合して合成する第１の画像合成ステップと、この第１の画像合成ステップにて生成された合成画像の対応する画像部分に、前記選択ステップにて選択されたフレーム画像を上書き合成する第２の画像合成ステップとを含むことを特徴とする。

本発明によれば、ユーザが意図する部分に画像合成による継ぎ目を生じさせることなくパノラマ画像を合成することができる。

以下、本発明の一実施の形態を図に従って説明する。
（第１の実施の形態）
図１は、本発明の各実施の形態に共通する電子カメラ１の概略構成を示すブロック図である。この電子カメラ１は、所定の画角からなるフレーム画像を撮影する機能を有するのみならず、複数のフレーム画像の各画像部分を合成してパノラマ画像を合成するパノラマ撮影機能を備えたものであって、図示しない光学系の光軸上に配置されたＣＣＤ２と、ＤＳＰ／ＣＰＵ３とを有している。ＤＳＰ／ＣＰＵ３は、ＪＰＥＧ方式による画像のデータの圧縮・伸張を含む各種デジタル信号処理機能を有するとともに電子カメラ１の各部を制御するワンチップマイコンである。ＤＳＰ／ＣＰＵ３には、ＣＣＤ２を駆動するＴＧ（Timing Generator）４が接続されており、ＴＧ４には、ＣＣＤ２から出力される被写体の光学像に応じたアナログの撮像信号が入力するユニット回路５が接続されている。ユニット回路５は、入力した撮像信号を保持するＣＤＳと、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤ）から構成されており、ＣＣＤ２の出力信号はユニット回路５を経てデジタル信号としてＤＳＰ／ＣＰＵ３に送られる。

また、ＤＳＰ／ＣＰＵ３には、表示装置６、キー入力部７、時計部８が接続されるとともに、アドレス・データバス９を介してＤＲＡＭ１０、内蔵フラッシュメモリ１１、カード・インターフェイス１２が接続されている。カード・インターフェイス１２には、図示しないカメラ本体のカードスロットに着脱自在に装着されたメモリ・カード１３が接続されている。

ＤＲＡＭ１０は、撮影待機モードの設定時にＣＣＤ２によって撮像され、デジタル化された被写体の画像データを一時保存するバッファであるとともに、ＤＳＰ／ＣＰＵ３のワーキングメモリとしても使用される。ＤＲＡＭ１０に一時保存された画像データは圧縮され、最終的にはメモリ・カード１３に記録される。内蔵フラッシュメモリ１１には、ＤＳＰ／ＣＰＵ３の動作プログラムや各部の制御に使用する各種データが記憶されており、ＤＳＰ／ＣＰＵ３は、前記動作プログラムに従い動作することにより本発明の選択手段、第１の画像合成手段、第２の画像合成手段等として機能する。

表示装置６はカラーＬＣＤとその駆動回路とを含み、撮影待機状態にあるときにはＣＣＤ２によって撮像された被写体画像をスルー画像として表示し、記録画像の再生時にはメモリ・カード１３から読み出され伸張された記録画像を表示する。キー入力部７は、シャッターキー、パノラマ撮影開始キーと終了キー、電源キー、モード選択キー、十字キー等の複数の操作キーを含み、使用者によるキー操作に応じたキー入力信号をＤＳＰ／ＣＰＵ３に出力する。時計部８は日付及び時刻をカウントするカレンダー機能と時計機能とを有しており、撮影動作時等に必要に応じて日付データ及び時刻データをＤＳＰ／ＣＰＵ３へ送る。

以上の構成からなる電子カメラ１において、ＤＳＰ／ＣＰＵ３は、前記プログラムに従って、図２に示すフローチャートに示すように処理を実行する。すなわち、ユーザによるキー入力部７における前記モード選択キーの操作により、パノラマ撮影モードが選択されると、撮影処理を実行した後（ステップＳ１）、画像合成処理を実行する（ステップＳ１）。

図３は、前記撮影処理（ステップＳ１）の手順を示すフローチャートである。先ず、スルー画像の表示を開始し（ステップＳ１０１）、このステップＳ１０１での処理により、表示装置６にはスルー画像が表示される。次に、パノラマ撮影開始キーが操作されたか否かを判断する（ステップＳ１０２）。パノラマ撮影開始キーが操作されたならば、撮影・記録処理を実行してＣＣＤ２からフレーム画像を取り込んでＤＲＡＭ１０に保存する（ステップＳ１０３）。

次に、シャッターキーが操作されたか否かを判断する（ステップＳ１０４）。操作されない場合には、ステップＳ１０５の処理を実行することなくステップＳ１０６に進み、パノラマ撮影終了キーが操作されたか否かを判断する（ステップＳ１０４）。パノラマ撮影終了キーが操作されない場合には、所定時間（本実施の形態においては、１／１６秒）が経過したか否かを判断し（ステップＳ１０７）、所定時間が経過した時点で、ステップＳ１０３からの処理を繰り返す。したがって、パノラマ撮影終了キーが操作されるまで、所定時間（１／１６秒）間隔でステップＳ１０５からの処理が繰り返されることとなる。

このパノラマ撮影中においては、ユーザは電子カメラ１を所望の方向に回動させながら撮影を行うが、このとき中心人物等のユーザが意図した主要被写体がファインダー内に到来した時点（好ましくは、ファインダーの中央に到来した時点）でシャッターキーを操作する。すると、ステップＳ１０４の判断がＹＥＳとなる。したがって、ステップＳ１０４からステップＳ１０５に進み、ユーザがシャッターキーを操作した時点でＤＲＡＭ１０に記憶されたフレーム画像に、他のフレーム画像と識別するための選択識別子を付加する。

そして、ユーザがパノラマ撮影終了キーを操作するとステップＳ１０６の判断がＹＥＳとなり、図２に示したゼネラルフローにリターンする。したがって、ＤＲＡＭ１０には、ユーザがパノラマ撮影開始キーを操作してからパノラマ撮影開始キーを操作するまでに所定時間（１／１６秒）間隔で撮影された複数枚のフレーム画像が記憶される。このとき、ユーザはパノラマ撮影を行うべく電子カメラ１を所望の方向、例えば右方向に回動させながら撮影を行ったとすると、ＤＲＡＭ１０には、電子カメラ１の回動方向とは逆方向の被写体が移動した複数のフレーム画像が記憶されることとなる。

また、パノラマ撮影中にシャッターキーを操作した場合には、当該操作時点で撮影されたフレーム画像には、前記選択識別子が付加されることとなる。

図４は、前記画像合成処理（ステップＳ２）の処理手順を示すフローチャートである。なお、ここでは、前述のように電子カメラを右方向に回動させて撮影を行うことで得た複数のフレーム画像に対して画像合成処理を行う場合について説明する。つまり、各フレーム画像間では、時間を追うに従って、被写体画像が左方向に移動していくように見える複数のフレーム画像に対して画像合成処理を行う場合について説明する。

先ず、ＤＲＡＭ１０から記憶された順序でフレーム画像を選択する（ステップＳ２０１）。つまり、フレーム画像を撮影された順に従って選択する。

次に、この選択したフレーム画像の特徴量を算出する（ステップＳ２０２）。この特徴量の算出に際しては、図５（Ａ）に示すように、ステップＳ２０１で選択した今フレーム画像Ｘの中央付近（中央領域）に設定された複数のブロックを注目画像とする。この複数のブロックにおいて各々特徴量を算出し、特徴量が所定値以上となっているブロックを抽出する。この特徴量の算出においては、演算式としてＨＡＲＲＩＳ演算子を用いる。つまり、例えば当該ブロック内における各微小領域間の輝度変化パターン（高周波成分）を示す変数を特徴量として用いる。

次に、この抽出したブロック毎に、当該ブロックに対応する特徴量を有するブロックを図５（Ｂ）に示す次フレーム（後フレーム）画像Ｘ＋１内にて探索する（ステップＳ２０３）。つまり、今フレームから抽出したブロック毎に、当該ブロックとしての注目画像に対応する画像領域を次フレーム（後フレーム）画像Ｘ＋１内にて探索する。ここで、次フレーム（後フレーム）画像Ｘ＋１は、今フレーム画像Ｘの次に記憶された（撮影された）フレーム画像である。そして、今フレーム画像Ｘと次フレーム画像Ｘ＋１において、各共通の特徴量を有する対応するブロック毎にそれぞれの移動ベクトル（Ｘ軸成分、Ｙ軸成分）を検出する。さらに、この検出した各移動ベクトルの例えば平均値を算出することにより、フレーム全体の移動ベクトルを算出する（ステップＳ２０４）。つまり、今フレーム画像Ｘから次フレーム画像Ｘ＋１への被写体画像の移動ベクトルとして算出する。

次に、抽出する部分画像の幅である抽出幅を設定する（ステップＳ２０５）。この抽出幅の設定は、前記フレーム全体の移動ベクトルから予め設定されている移動方向成分を抽出し、この抽出した移動方向成分に基づいて、図６（Ｃ）に示す内蔵フラッシュメモリ１１に予め記憶されている変換テーブル１１２から読み出すことで行われる。

本実施の形態の場合、左右方向のパノラマ合成画像を生成するものとし、前記フレーム全体の移動ベクトルから左右方向成分（Ｘ軸方向成分）、つまり、例えば被写体画像の左方向への移動量を抽出し、この移動量に対応する抽出幅Ｗを読み出すことにより行う。

引き続き、今フレーム画像Ｘの所定の中心線を基準として、今フレーム画像Ｘから前記抽出幅で画像を抽出する（ステップＳ２０６）。すなわち、図６（Ｂ）に示すように、先ずフレームの中心点を通る直線であって、前記抽出された移動方向成分と直交する方向（ここではＹ軸方向）に走る中心線Ｃを今フレーム画像Ｘ上に設定する。そして、今フレーム画像Ｘにおいて前記中心線Ｃから、移動ベクトルとは逆方向である電子カメラ１の回動方向（ここでは右方向）に前記抽出幅Ｗ分の画像の部分画像ＸＰを抽出する。つまり、今フレーム画像から部分画像を抽出する場合には、中心線Ｃ（中心軸Ｃ）を基準として、移動ベクトルとは逆方向（電子カメラ１の回動方向）に部分画像ＸＰを抽出する。

しかる後に、図６（Ａ）に示すように、この抽出した部分画像ＸＰをこの時点までに合成されているパノラマ合成画像ＸＳの移動ベクトルとは逆方向の後端部、つまり電子カメラ１の回動方向の後端部（ここでは右側）に結合させて合成する（ステップＳ２０７）。

引き続き、ＤＲＡＭ１０に記憶された最後−１のフレーム画像まで以上の特徴量算出にかかる処理を行ったか否かを判断し（ステップＳ２０８）、最後−１までのフレーム画像に対しての処理が終了するまで、ステップＳ２０１からの処理を繰り返す。

このようなパノラマ画像合成を行うことにより、光学系により結像される画像において、両側の歪みがある部分が抽出されることなく、歪みのない中央部の画像部分を抽出して合成することができる。その結果、パノラマ合成画像ＸＳを全域に亙って歪みのないものにすることができる。

また、各フレーム画像から基準となる同一の中心線Ｃから移動ベクトルの大きさに応じた抽出幅で抽出すれば、時間的に隣接するフレーム画像間において、抽出された前のフレーム画像からの抽出画像の終端縁と、次のフレーム画像からの抽出画像の始端縁とにおける画像を精度よく合致させることができる。したがって、時間的に隣接して撮影された画像を精度よく結合してパノラマ画像を合成することができる。

なお、ステップＳ２０７における画像合成において、パノラマ合成画像ＸＳに抽出した部分画像ＸＰの端部を結合合成する際の、上下方向の位置合わせは、移動ベクトルの上下方向成分に応じて部分画像ＸＰを上下に移動調整することにより行う。したがって、ユーザが電子カメラ１を構えて右方向に回動させた場合であっても、当該電子カメラ１には不可避的に上下方向の振動が生ずるときには、パノラマ合成画像ＸＳは図７（Ａ）に示すように上下にずれた部分画像の結合体となる。

また、以上に説明したパノラマ合成画像ＸＳの生成に際しては、ＤＲＡＭ１０に記憶された複数のフレーム画像をコピーして用い、元のフレーム画像はそのままＤＲＡＭ１０に保存しておく。若しくは、少なくとも識別子が付加されたフレーム画像に関しては、コピーして保存しておく。

そして、最後−１のフレーム画像までステップＳ２０１〜Ｓ２０７が実行されることによりステップＳ２０８の判断がＹＥＳとなると、ＤＲＡＭ１０に保存されたフレーム画像において前記選択識別子が付加された画像があるか否かを判断する（ステップＳ２０９）。選択識別子が付加されたフレーム画像がない場合には、ステップＳ２１０〜Ｓ２１２の処理を実行することなく、ステップＳ２１３に進み切り出し・記憶処理を実行する。この切り出し・記憶処理においては、図７（Ａ）に示すように、最後のステップＳ２０７の処理までに結合合成されたパノラマ合成画像ＸＳ（後述するステップＳ２１２の処理が行われた場合には、当該処理が行われたパノラマ合成画像ＸＳ（図７（Ｂ））から、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分を最終的なパノラマ合成画像ＸＥ１として、メモリ・カード１３に記録する。

つまり、前述のように、ユーザが電子カメラ１を構えて右方向に回動させた場合であっても、当該電子カメラ１には不可避的に上下方向の振動が生ずることから、パノラマ合成画像ＸＳは図７（Ａ）に示すように上下にずれた部分画像の結合体となる。したがって、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分を最終的なパノラマ合成画像ＸＥ１として、メモリ・カード１３に記録することにより、周部に凹凸のないパノラマ合成画像ＸＥ１を記録保存することができる。

他方、ステップＳ２０９の判断がＹＥＳであった場合、つまり前述したパノラマ撮影中にシャッターキーが操作されて、ユーザが意図した主要被写体が撮影されたフレーム画像が選択されている場合には、選択識別子が付加されている選択フレーム画像の特徴量を抽出する（ステップＳ２１０）。この特徴量の算出に際しては、前述したステップＳ２０２の処理と同様、図５（Ａ）に示すように、選択フレーム画像ＸＦの中央付近（中央領域）に設定された複数のブロックを注目画像とする。この複数のブロックにおいて各々特徴量を算出し、特徴量が所定以上であるブロックを抽出する。この特徴量の算出においては、演算式としてＨＡＲＲＩＳ演算子を用いる。

次に、この算出した特徴量が所定以上である各ブロックと、共通の特徴量を有するブロックを、ステップＳ２０８がＹＥＳとなるまで合成された合成画像内にて探索する（ステップＳ２１１）。そして、このステップＳ２１１で探索した合成画像内の共通の特徴量を有するブロックと、前記ステップＳ２１０で各々特徴量を算出したブロックとが合致するように、選択フレーム画像を合成済み画像に上書きする（ステップＳ２１２）。これにより、図７（Ｂ）に示すように、選択フレーム画像ＸＦがパノラマ合成画像ＸＳ上に上書きされる。

そして、前述したステップＳ２１３での処理より、図７（Ｂ）に示すように、ステップＳ２１２の処理が行われたパノラマ合成画像ＸＳから、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分が最終的なパノラマ合成画像ＸＥ２として、メモリ・カード１３に記録されることとなる。

この最終的なパノラマ合成画像ＸＳ２にあっては、ユーザが意図したフレーム画像である選択フレーム画像ＸＦが分断されることなく含まれていることから、ユーザが意図する部分に画像合成による継ぎ目を生じさせることなくパノラマ画像合成した画像を得ることができる。

また、前述のように、中心線Ｃを基準として部分画像ＸＰを抽出して合成する短冊合成を行うと、光学系により結像される画像において、両側の歪みがある部分が抽出されることなく、歪みのない中央部の画像部分を抽出して合成することができる。しかし、その反面、パノラマ撮合成画像には複数の継ぎ目が不可避的に形成されてしまう。しかるに、本実施の形態によれば、パノラマ合成画像ＸＳ２には選択フレーム画像ＸＦが分断されることなく含まれことから、継ぎ目を減少させることができる。

よって、選択フレーム画像ＸＦを除く部分については、短冊合成によりパノラマ合成画像を歪みのないものにしつつ、ユーザが意図する部分については継ぎ目のないパノラマ合成画像を得ることができる。

しかも、本実施の形態においてはシャッターキーが操作された際に撮影されたフレーム画像を選択フレーム画像とすることから、ユーザがシャッターチャンスとしてシャッターキーを操作した時点のフレーム画像に継ぎ目を生じさせることなくパノラマ画像合成した画像を得ることができる。

（第２の実施の形態）
図８は、本発明の第２の実施の形態における前記撮影処理（ステップＳ１）の手順を示すフローチャートである。先ず、スルー画像の表示を開始し（ステップＳ１２１）、このステップＳ１２１での処理により、表示装置６にはスルー画像が表示される。次に、シャッターキー（１回目）が操作されたか否かを判断する（ステップＳ１２２）。シャッターキーが操作されたならば、撮影・記録処理を実行してＣＣＤ２からフレーム画像を取り込んでＤＲＡＭ１０に保存する（ステップＳ１２３）。

次に、シャッターキー（２回目以降）が操作されたか否かを判断する（ステップＳ１２４）。操作されない場合には、ステップＳ１２５の処理を実行することなくステップＳ１２６に進み、所定枚数撮影したか否かを判断する（ステップＳ１２４）。所定枚数撮影していない場合には、所定時間（本実施の形態においては、１／１６秒）が経過したか否かを判断し（ステップＳ１２７）、所定時間が経過した時点で、ステップＳ１２３からの処理を繰り返す。したがって、所定枚数撮影されるまで、所定時間（１／１６秒）間隔でステップＳ１２５からの処理が繰り返されることとなる。

このパノラマ撮影中においては、ユーザは電子カメラ１を所望の方向に回動させながら撮影を行うが、このとき中心人物等のユーザが意図した主要被写体がファインダー内に到来した時点（好ましくは、ファインダーの中央に到来した時点）でシャッターキーを操作する（２回目以降の操作）。すると、ステップＳ１２４の判断がＹＥＳとなる。したがって、ステップＳ１２４からステップＳ１２５に進み、ユーザが２回目以降のシャッターキーを操作した時点でＤＲＡＭ１０に記憶されたフレーム画像に、他のフレーム画像と識別するための選択識別子を付加する。

そして、所定枚数のフレーム画像が撮影、記録されるとステップＳ１２６の判断がＹＥＳとなり、図２に示したゼネラルフローにリターンする。したがって、ＤＲＡＭ１０には、ユーザが１回目のシャッターキーを操作後において所定時間（１／１６秒）間隔で撮影された所定枚数のフレーム画像が記憶される。このとき、ユーザはパノラマ撮影を行うべく電子カメラ１を所望の方向、例えば右方向に回動させながら撮影を行ったとすると、ＤＲＡＭ１０には、電子カメラ１の回動方向とは逆方向の被写体が移動した複数のフレーム画像が記憶されることとなる。

また、パノラマ撮影中にさらにシャッターキー操作を行った場合には、当該操作時点で撮影されたフレーム画像には、前記選択識別子が付加されることとなる。

したがって、この実施の形態においては、別途パノラマ撮影開始キーや終了キーを設けることなく、シャッターキーのみでパノラマ撮影の開始及び終了と、所望のフレーム画像の選択とを行うことができる。

なお、この第２の実施の形態における画像合成処理（ステップＳ２）は、図４のフローチャートに示した第１の実施の形態と同様の手順で行えばよい。

（第３の実施の形態）
図９は、本発明の第３の実施の形態における前記撮影処理（ステップＳ１）の手順を示すフローチャートである。先ず、スルー画像の表示を開始し（ステップＳ１３１）、このステップＳ１３１での処理により、表示装置６にはスルー画像が表示される。次に、シャッターキーが押下されたか否かを判断する（ステップＳ１３２）。シャッターキーが押下されたならば、撮影・記録処理を実行してＣＣＤ２からフレーム画像を取り込んでＤＲＡＭ１０に保存する（ステップＳ１３３）。

次に、前記シャッターキーの押下が解除されたか否かを判断する（ステップＳ１３４）。シャッターキーの押下が解除されない場合には、所定時間（本実施の形態においては、１／１６秒）が経過したか否かを判断し（ステップＳ１３５）、所定時間が経過した時点で、ステップＳ１３３からの処理を繰り返す。したがって、前記シャッターキーの押下が解除されない状態においては、所定時間（１／１６秒）間隔でステップＳ１３５からの処理が繰り返されることとなる。

よって、ユーザが繰り返しシャッターキーを操作することなく、シャッターキーの押下を継続すれば、ＤＲＡＭ１０に所定時間をフレームレートとする複数枚分のフレーム画像が記憶させることができる。

そして、ユーザが押下しているシャッターキーを解除するとステップＳ１３４がＹＥＳとなり、図２に示したゼネラルフローにリターンする。したがって、ＤＲＡＭ１０には、ユーザがシャッターキーを押下してから解除するまでに所定時間（１／１６秒）間隔で撮影された複数枚のフレーム画像が記憶される。このとき、ユーザはパノラマ撮影を行うべく電子カメラ１を所望の方向、例えば右方向に回動させながら撮影を行ったとすると、ＤＲＡＭ１０には、電子カメラ１の回動方向とは逆方向の被写体が移動した複数のフレーム画像が記憶されることとなる。

図１０は、本実施形態における前記画像合成処理（ステップＳ２）の処理手順を示すフローチャートである。なお、ここでは、電子カメラを右方向に回動させて撮影を行うことで得た複数のフレーム画像に対して画像合成処理を行う場合について説明する。つまり、各フレーム画像間では、時間を追うに従って、被写体画像が左方向に移動していくように見える複数のフレーム画像に対して画像合成処理を行う場合について説明する。

先ず、ＤＲＡＭ１０から記憶された順序でフレーム画像を選択する（ステップＳ２３１）。つまり、フレーム画像を撮影された順に従って選択する。

次に、この選択したフレーム画像の特徴量を算出する（ステップＳ２３２）。この特徴量の算出に際しては、図５（Ａ）に示すように、ステップＳ２３１で選択した今フレーム画像Ｘの中央付近（中央領域）に設定された複数のブロックを注目画像とする。この複数のブロックにおいて各々特徴量を算出し、特徴量が所定値以上となっているブロックを抽出する。この特徴量の算出においては、演算式としてＨＡＲＲＩＳ演算子を用いる。つまり、例えば当該ブロック内における各微小領域間の輝度変化パターン（高周波成分）を示す変数を特徴量として用いる。

次に、この抽出したブロック毎に、当該ブロックに対応する特徴量を有するブロックを図５（Ｂ）に示す次フレーム（後フレーム）画像Ｘ＋１内にて探索する（ステップＳ２３３）。つまり、今フレームから抽出したブロック毎に、当該ブロックとしての注目画像に対応する画像領域を次フレーム（後フレーム）画像Ｘ＋１内にて探索する。ここで、次フレーム（後フレーム）画像Ｘ＋１は、今フレーム画像Ｘの次に記憶された（撮影された）フレーム画像である。そして、今フレーム画像Ｘと次フレーム画像Ｘ＋１において、各共通の特徴量を有する対応するブロック毎にそれぞれの移動ベクトル（Ｘ軸成分、Ｙ軸成分）を検出する。さらに、この検出した各移動ベクトルの例えば平均値を算出することにより、フレーム全体の移動ベクトルを算出する（ステップＳ２３４）。つまり、今フレーム画像Ｘから次フレーム画像Ｘ＋１への被写体画像の移動ベクトルとして算出する。

次に、抽出する部分画像の幅である抽出幅を設定する（ステップＳ２３５）。この抽出幅の設定は、前記フレーム全体の移動ベクトルから予め設定されている移動方向成分を抽出し、この抽出した移動方向成分に基づいて、図６（Ｃ）に示す内蔵フラッシュメモリ１１に予め記憶されている変換テーブル１１２から読み出すことで行われる。

引き続き、今フレーム画像Ｘの所定の中心線を基準として、今フレーム画像Ｘから前記抽出幅で画像を抽出する（ステップＳ２３６）。すなわち、図６（Ｂ）に示すように、先ずフレームの中心点を通る直線であって、前記抽出された移動方向成分と直交する方向（ここではＹ軸方向）に走る中心線Ｃを今フレーム画像Ｘ上に設定する。そして、今フレーム画像Ｘにおいて前記中心線Ｃから、移動ベクトルとは逆方向である電子カメラ１の回動方向（ここでは右方向）に前記抽出幅Ｗ分の画像の部分画像ＸＰを抽出する。つまり、今フレーム画像から部分画像を抽出する場合には、中心線Ｃを基準として、移動ベクトルとは逆方向（電子カメラ１の回動方向）に部分画像ＸＰを抽出する。

しかる後に、図６（Ａ）に示すように、この抽出した部分画像ＸＰをこの時点までに合成されているパノラマ合成画像ＸＳの移動ベクトルとは逆方向の後端部、つまり電子カメラ１の回動方向の後端部（ここでは右側）に結合させて合成する（ステップＳ２３７）。

引き続き、ＤＲＡＭ１０に記憶された最後−１のフレーム画像まで以上の特徴量算出にかかる処理を行ったか否かを判断し（ステップＳ２３８）、最後−１までのフレーム画像に対しての処理が終了するまで、ステップＳ２３１からの処理を繰り返す。

なお、ステップＳ２３７における画像合成において、パノラマ合成画像ＸＳに抽出した部分画像ＸＰの端部を結合合成する際の、上下方向の位置合わせは、移動ベクトルの上下方向成分に応じて部分画像ＸＰを上下に移動調整することにより行う。したがって、ユーザが電子カメラ１を構えて右方向に回動させた場合であっても、当該電子カメラ１には不可避的に上下方向の振動が生ずるときには、パノラマ合成画像ＸＳは図７（Ａ）に示すように上下にずれた部分画像の結合体となる。

また、以上に説明したパノラマ合成画像ＸＳの生成に際しては、ＤＲＡＭ１０に記憶された複数のフレーム画像をコピーして用い、元のフレーム画像はそのままＤＲＡＭ１０に保存しておく。

そして、最後−１のフレーム画像までステップＳ２３１〜Ｓ２３７が実行されることによりステップＳ２３８の判断がＹＥＳとなると、以上の処理により合成されたパノラマ撮合成画像ＸＳを表示装置６に表示させる（ステップＳ２３９）。ユーザは、この表示装置６に表示されたパノラマ合成画像を目視して、パノラマ画像中の中心人物等のユーザが意図した主要被写体上に継ぎ目が形成されていないか否かを確認する。主要被写体上に継ぎ目が形成されていない場合には、後述する指定操作を行わなくてもよい。

この指定操作を行わない場合には、ステップＳ２４０の判断がＮＯとなり、ステップＳ２４１〜Ｓ２４４の処理を実行することなくステップＳ２４５に進み切り出し・記憶処理を実行する。この切り出し・記憶処理においては、図７（Ａ）に示すように、最後のステップＳ２３７の処理までに結合合成されたパノラマ合成画像ＸＳ（後述するステップＳ２４４の処理が行われた場合には、当該処理が行われたパノラマ合成画像ＸＳ（図７（Ｂ））から、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分を最終的なパノラマ合成画像ＸＥ１として、メモリ・カード１３に記録する。

他方、前記ステップＳ２３８で表示装置６に表示されたパノラマ合成画像を目視して、パノラマ画像中の中心人物等のユーザが意図した主要被写体上に継ぎ目が形成されていた場合や、主要被写体が撮影されたフレーム画像全体をパノラマ撮影画像に含めたい場合には、ユーザはキー入力部７に設けられている十字キー等を操作して、表示装置６に表示されているカーソル等により、（継ぎ目を避けて）主要被写体を指定する。すると、ステップＳ２４０の判断がＹＥＳとなる。

したがって、ステップＳ２４０からステップＳ２４１に進み、パノラマ画像中の指定された画像部分を含む部分画像ＸＰに対応するフレーム画像をＤＲＡＭ１０に保存されている複数のフレーム画像から選択する（ステップＳ４１）。このとき、図６（Ａ）（Ｂ）において説明したように、パノラマ合成画像ＸＳを構成する部分画像ＸＰは、中心線Ｃから抽出された部分であることから、中心線Ｃ付近、つまりフレーム画像のほぼ中央部に指定された主要被写体が存在するフレーム画像を選択することができる。

次に、このステップＳ２４１で選択された選択フレーム画像の特徴量を抽出する（ステップＳ２４２）。この特徴量の算出に際しては、前述したステップＳ２３２の処理と同様、図５（Ａ）に示すように、選択フレーム画像ＸＦの中央付近（中央領域）に設定された複数のブロックを注目画像とする。この複数のブロックにおいて各々特徴量を算出し、特徴量が所定以上であるブロックを抽出する。この特徴量の算出においては、演算式としてＨＡＲＲＩＳ演算子を用いる。

引き続き、この算出した特徴量が所定以上である各ブロックと、共通の特徴量を有するブロックを、ステップＳ２３８がＹＥＳとなるまで合成された合成画像内にて探索する（ステップＳ２４３）。そして、このステップＳ２４３で探索した合成画像内の共通の特徴量を有するブロックと、前記ステップＳ２４２で各々特徴量を算出したブロックとが合致するように、選択フレーム画像を合成済み画像に上書きする（ステップＳ２４４）。これにより、図７（Ｂ）に示すように、選択フレーム画像ＸＦがパノラマ合成画像ＸＳ上に上書きされる。そして、前述したステップＳ２４５での処理より、図７（Ｂ）に示すように、ステップＳ２４２の処理が行われたパノラマ合成画像ＸＳから、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分が最終的なパノラマ合成画像ＸＥ２として、メモリ・カード１３に記録されることとなる。

したがって、本実施の形態によれば、パノラマ撮影を終了した後に時間的余裕を持ってフレーム画像を選択することができることから、より確実に、ユーザが意図する部分に画像合成による継ぎ目を生じさせることなくパノラマ画像合成した画像を得ることができる。

（第４の実施の形態）
図１１は、本発明の第４の実施形態における前記画像合成処理（ステップＳ２）の処理手順を示すフローチャートである。なお、ここでは、例えば本発明の第３の実施形態で図９に基づいて説明したような、電子カメラを右方向に回動させて撮影を行うことで得た複数のフレーム画像に対して、画像合成処理を行う場合について説明する。つまり、各フレーム画像間では、時間を追うに従って、被写体画像が左方向に移動していくように見える複数のフレーム画像に対して画像合成処理を行う場合について説明する。

先ず、ＤＲＡＭ１０から記憶された順序でフレーム画像を選択する（ステップＳ２５１）。つまり、フレーム画像を撮影された順に従って選択する。

次に、この選択したフレーム画像の特徴量を算出する（ステップＳ２５２）。この特徴量の算出に際しては、図５（Ａ）に示すように、ステップＳ２５１で選択した今フレーム画像Ｘの中央付近（中央領域）に設定された複数のブロックを注目画像とする。この複数のブロックにおいて各々特徴量を算出し、特徴量が所定値以上となっているブロックを抽出する。この特徴量の算出においては、演算式としてＨＡＲＲＩＳ演算子を用いる。つまり、例えば当該ブロック内における各微小領域間の輝度変化パターン（高周波成分）を示す変数を特徴量として用いる。

次に、この抽出したブロック毎に、当該ブロックに対応した特徴量を有するブロックを図５（Ｂ）に示す次フレーム（後フレーム）画像Ｘ＋１内にて探索する（ステップＳ２５３）。つまり、今フレームから抽出したブロック毎に、当該ブロックとしての注目画像に対応する画像領域を次フレーム（後フレーム）画像Ｘ＋１内にて探索する。ここで、次フレーム（後フレーム）画像Ｘ＋１は、今フレーム画像Ｘの次に記憶された（撮影された）フレーム画像である。そして、今フレーム画像Ｘと次フレーム画像Ｘ＋１において、各共通の特徴量を有する対応するブロック毎にそれぞれの移動ベクトル（Ｘ軸成分、Ｙ軸成分）を検出する。さらに、この検出した各移動ベクトルの例えば平均値を算出することにより、フレーム全体の移動ベクトルを算出する（ステップＳ２５４）。つまり、今フレーム画像Ｘから次フレーム画像Ｘ＋１への被写体画像の移動ベクトルとして算出する。

次に、抽出する部分画像の幅である抽出幅を設定する（ステップＳ２５５）。この抽出幅の設定は、前記フレーム全体の移動ベクトルから予め設定されている移動方向成分を抽出し、この抽出した移動方向成分に基づいて、図６（Ｃ）に示す内蔵フラッシュメモリ１１に予め記憶されている変換テーブル１１２から読み出すことで行われる。

引き続き、今フレーム画像Ｘの所定の中心線を基準として、今フレーム画像Ｘから前記抽出幅で画像を抽出する（ステップＳ２５６）。すなわち、図６（Ｂ）に示すように、先ずフレームの中心点を通る直線であって、前記抽出された移動方向成分と直交する方向（ここではＹ軸方向）に走る中心線Ｃを今フレーム画像Ｘ上に設定する。そして、今フレーム画像Ｘにおいて前記中心線Ｃから、移動ベクトルとは逆方向である電子カメラ１の回動方向（ここでは右方向）に前記抽出幅Ｗ分の画像の部分画像ＸＰを抽出する。つまり、今フレーム画像から部分画像を抽出する場合には、中心線Ｃを基準として、移動ベクトルとは逆方向（電子カメラ１の回動方向）に部分画像ＸＰを抽出する。

しかる後に、図６（Ａ）に示すように、この抽出した部分画像ＸＰをこの時点までに合成されているパノラマ合成画像ＸＳの移動ベクトルとは逆方向の後端部、つまり電子カメラ１の回動方向の後端部（ここでは右側）に結合させて合成する（ステップＳ２５７）。

引き続き、ＤＲＡＭ１０に記憶された最後−１のフレーム画像まで以上の特徴量算出にかかる処理を行ったか否かを判断し（ステップＳ２５８）、最後−１までのフレーム画像に対しての処理が終了するまで、ステップＳ２５１からの処理を繰り返す。

なお、ステップＳ２５７における画像合成において、パノラマ合成画像ＸＳに抽出した部分画像ＸＰの端部を結合合成する際の、上下方向の位置合わせは、移動ベクトルの上下方向成分に応じて部分画像ＸＰを上下に移動調整することにより行う。したがって、ユーザが電子カメラ１を構えて右方向に回動させた場合であっても、当該電子カメラ１には不可避的に上下方向の振動が生ずるときには、パノラマ合成画像ＸＳは図７（Ａ）に示すように上下にずれた部分画像の結合体となる。

そして、最後−１のフレーム画像までステップＳ２５１〜Ｓ２５７が実行されることによりステップＳ２５８の判断がＹＥＳとなると、以上の処理により合成されたパノラマ撮合成画像ＸＳを表示装置６に表示させる（ステップＳ２５９）。ユーザは、この表示装置６に表示されたパノラマ合成画像を目視して、パノラマ画像中の中心人物等のユーザが意図した主要被写体上に継ぎ目が形成されていないか否かを確認する。主要被写体上に継ぎ目が形成されていない場合には、後述する指定操作を行わなくてもよい。

この指定操作を行わない場合には、ステップＳ２６０の判断がＮＯとなり、ステップＳ２６１及びＳ２６２の処理を実行することなくステップＳ２６３に進み切り出し・記憶処理を実行する。この切り出し・記憶処理においては、図７（Ａ）に示すように、最後のステップＳ２５７の処理までに結合合成されたパノラマ合成画像ＸＳ（後述するステップＳ２６２の処理が行われた場合には、当該処理が行われたパノラマ合成画像ＸＳ（図７（Ｂ））から、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分を最終的なパノラマ合成画像ＸＥ１として、メモリ・カード１３に記録する。

他方、前記ステップＳ２５８で表示装置６に表示されたパノラマ合成画像を目視して、パノラマ画像中の中心人物等のユーザが意図した主要被写体上に継ぎ目が形成されていた場合や、主要被写体が撮影されたフレーム画像全体をパノラマ撮影画像に含めたい場合には、ユーザはキー入力部７に設けられている十字キー等を操作して、表示装置６に表示されているカーソル等により、（継ぎ目を避けて）主要被写体を指定する。すると、ステップＳ２６０の判断がＹＥＳとなる。

したがって、ステップＳ２６０からステップＳ２６１に進み、指定された画像部分を含む部分画像を抽出したフレーム画像をＤＲＡＭ１０に保存されている複数のフレーム画像から選択する（ステップＳ２６１）。つまりパノラマ合成画像ＸＳは、各フレーム画像から抽出した部分画像の結合画像であるから、指定された画像部分を含む部分画像はいずれかのフレーム画像から抽出したものである。したがって、指定された画像部分を含む部分画像を抽出した抽出した元となったフレーム画像をＤＲＡＭ１０に保存されている複数のフレーム画像から選択する。よって、図７（Ａ）に示す部分画像ＸＰが指定された画像部分を含む部分画像であるとすると、図７（Ｂ）に示す部分画像ＸＰを抽出した元のフレーム画像ＸＦが選択フレーム画像として選択されることとなる。

次に、このステップＳ２６１で選択された選択フレーム画像をパノラマ合成画像ＸＳの前記指定された画像部分を含む部分画像に合致させて上書きする。つまり、図７（Ａ）に示すパノラマ合成画像ＸＳ中の部分画像ＸＰと、図７（Ｂ）に示す選択フレーム画像ＸＰが有する当該部分画像ＸＰとを合致させて、選択フレーム画像ＸＰをパノラマ合成画像ＸＳに上書きする。

そして、前述したステップＳ２６３での処理より、図７（Ｂ）に示すように、ステップＳ２６２の処理が行われたパノラマ合成画像ＸＳから、結合方向に沿った所定幅の画像部分を切り出し、この切り出した画像部分が最終的なパノラマ合成画像ＸＥ２として、メモリ・カード１３に記録する。

したがって、本実施の形態によれば、前述した第３の実施の形態のように、特徴量を算出したり、共通の特徴量を有するブロックを合成画像内にて探索する処理を実行することなく簡単な処理により、選択フレーム画像ＸＰを精度よく合致させてパノラマ合成画像ＸＳ上に上書きすることができる。

無論、第３の実施の形態と同様に、パノラマ撮影を終了した後に時間的余裕を持ってフレーム画像を選択することができることから、より確実に、ユーザが意図する部分に画像合成による継ぎ目を生じさせることなくパノラマ画像合成した画像を得ることができる。

なお、各実施の形態においては、フレームの中心点を通る直線である中心線Ｃを基準に合成する部分画像の抽出を行うようにしたが、基準線は中心線Ｃに限ることなく、中心部付近であれば、側部に若干ずれた位置であってもよい。特に、ユーザに電子カメラを回動させる方向を予め定めていて、更に、上述したように、今フレーム画像における特徴量を用いて次フレーム内を探索した移動ベクトルに基づいて今フレーム画像内から部分画像を抽出するような場合には、基準線は、電子カメラの回動方向とは逆方向にずれた位置に予め設定しておくことが好ましい。つまり、今フレーム画像から部分画像を抽出する場合には、中心線Ｃを基準として、移動ベクトルとは逆方向（電子カメラ１の回動方向）に部分画像ＸＰを抽出するため、基準線を電子カメラの回動方向とは逆方向にずれた位置に予め設定しておけば、フレーム画像の中心領域を部分画像に含むように抽出することができる。
なお、ユーザに電子カメラを回動させる方向は、ユーザがキー入力部７により予め任意に設定できる構成としていてもよい。

また、本実施の形態においては、今フレーム画像Ｘから合成する部分画像の抽出を行うようにしたが、次フレーム画像Ｘ＋１から前記抽出幅で抽出してもよい。なお、次フレーム画像Ｘ＋１から前記抽出幅で抽出する場合には、次フレーム画像Ｘ＋１の所定の中心線を基準として、次フレーム画像Ｘ＋１から前記抽出幅で画像を抽出するが、このとき、次フレーム画像Ｘ＋１において前記中心線Ｃから、移動ベクトルの方向、即ち、電子カメラ１の回動方向とは逆方向（ここでは左方向）に前記抽出幅Ｗ分の画像の部分画像ＸＰを抽出する。そして、特に、ユーザに電子カメラを回動させる方向を予め定めている場合には、基準線は、電子カメラの回動方向にずれた位置に予め設定しておくことが好ましい。つまり、次フレーム画像から部分画像を抽出する場合には、中心線Ｃを基準として、移動ベクトルの方向（電子カメラ１の回動方向とは逆方向）に部分画像ＸＰを抽出するため、基準線を電子カメラの回動方向にずれた位置に予め設定しておけば、フレーム画像の中心領域を部分画像に含むように抽出することができる。なお、ユーザに電子カメラを回動させる方向は、ユーザがキー入力部７により予め任意に設定できる構成としていてもよい。

また、上述の各実施の形態においては、左右方向のパノラマ合成画像を生成するものとして説明したが、上下方向のパノラマ合成画像を生成する場合にも適用できる。

また、各実施の形態においては、図４及び図１０のフローチャートに示したように、ＤＲＡＭ１０に記憶された最初のフレーム画像から合成対象として画像合成処理を開始するようにした。しかし、画像合成処理の冒頭において特徴量の算出及び移動ベクトルの算出を実行し、所定以上の移動ベクトルが最初に算出されたことを条件として、ステップＳ２０１以降の処理、あるいはステップＳ２５１以降の処理を実行するようにしてもよい。

これにより、ユーザが電子カメラ１を回動させたか否か、つまりユーザがパノラマ撮影を開始する意図を持って電子カメラ１を回動し始めたか検出することができる。よって、ユーザがパノラマ撮影を開始する意図を持って電子カメラ１を回動し始める前の不要な画像を用いてパノラマ画像合成処理等が実行される不都合を未然に防止することができる。

なお、このとき、検出された所定以上の移動ベクトルの方向に基づいて、電子カメラの回動方向が、上下左右方向の何れであるかを検出し、この検出された電子カメラの回動方向に応じたパノラマ合成画像の生成処理を行う構成としてもよい。つまり、例えば、電子カメラの回動方向が左方向または右方向であったときには、左右方向のパノラマ合成画像を生成し、上方向または下方向であったときには、上下方向のパノラマ合成画像を生成する構成としてもよい。

また、各実施の形態においては、図４及び図１０のフローチャートに示したように、最後−１のフレーム画像を選択した時点で画像合成処理を終了するようした。しかし、前記最初に算出された移動ベクトルを記憶しておき、この移動ベクトルとは異なる方向（例えば、反対方向）の移動ベクトルが検出された時点で、画像合成処理を終了するようにしてもよい。

これにより、前記ステップＳ１０６で説明したパノラマ撮影終了キーの操作や、前記ステップＳ１３４で説明したシャッターキーの操作を解除せずとも、パノラマ撮影を行うべく回動させた電子カメラ１を当該回動方向とは異なる方向に回動させる簡単な操作により、実質的にパノラマ撮影を終了させることができる。

さらに、各実施の形態においては、撮影処理を実行してＤＲＡＭに複数のフレーム画像を記憶させた後、画像合成処理を実行するようにしたが、撮影処理によりフレーム画像が取得される都度、順次画像合成処理を実行し、しかる後に選択フレーム画像の上書きを行うようにしてもよい。

本発明の一実施の形態に係る電子カメラのブロック図である。本発明の第１〜第４の実施の形態に共通するゼネラルフローチャートである。第１の実施の形態における撮影処理の処理手順を示すフローチャートである。第１の実施の形態における画像合成処理の処理手順を示すフローチャートである。移動ベクトルの算出手順を示す説明図である。今フレーム画像から合成する部分画像を抽出する処理と、合成処理の手順を示す説明図である。（Ａ）はパノラマ合成画像のトリミング領域を示す説明図、（Ｂ）はパノラマ合成画像のトリミング領域とフレーム画像の合成状態を示す説明図である。第２の実施の形態における撮影処理の処理手順を示すフローチャートである。第３の実施の形態における撮影処理の処理手順を示すフローチャートである。第３の実施の形態における画像合成処理の処理手順を示すフローチャートである。第４の実施の形態における画像合成処理の処理手順を示すフローチャートである。

符号の説明

１電子カメラ
２ＣＣＤ
３ＤＳＰ／ＣＰＵ
４ＴＧ
５ユニット回路
６表示装置
７キー入力部
９データバス
１０ＤＲＡＭ
１１内蔵フラッシュメモリ

Claims

撮像して複数のフレーム画像を順次取得する取得手段と、
この撮像手段により順次フレーム画像が取得されている間にこれら順次取得されているフレーム画像のいずれかを選択する選択手段と、
この選択手段による選択の後、前記取得手段により取得された各フレーム画像から部分画像を抽出し、各部分画像の端部が整合するように順次結合して合成する第１の画像合成手段と、
この第１の画像合成手段により生成された合成画像の対応する画像部分に、前記選択手段より選択されたフレーム画像を上書き合成する第２の画像合成手段と
を備えることを特徴とする画像合成装置。
前記選択手段は、前記取得手段がフレーム画像を順次取得する際に、所定の操作に応答して操作タイミングに対応するフレーム画像を選択することを特徴とする請求項１記載の画像合成装置。
前記所定の操作は、前記取得手段にフレーム画像の取得を開始させるための操作と同一の操作であることを特徴とする請求項２記載の画像合成装置。
前記第１の画像合成手段は、
前記取得手段により順次取得された各フレーム画像における所定領域の特徴量を算出する特徴量算出手段と、
この特徴量算出手段により算出された前記特徴量に基づいて、当該特徴量が算出された第１のフレーム画像と所定の時間的対応関係を有する第２のフレーム画像の移動ベクトルを順次算出する移動ベクトル算出手段と、
この移動ベクトル算出手段により算出された移動ベクトルの大きさに応じて、画像の抽出幅を設定する設定手段と、
この設定手段により設定された前記抽出幅の部分画像を、前記第１及び／又は第２のフレーム画像から抽出する画像抽出手段と、
この画像抽出手段により抽出された部分画像を順次結合して合成する画像合成手段とを備え、
前記画像抽出手段は、前記設定手段により設定された抽出幅の部分画像を前記フレーム画像における所定の基準線から前記移動ベクトルに応じた方向に抽出することを特徴とする請求項１から３のいずれかに記載の画像合成装置。
前記画像抽出手段は、前記設定手段により設定された抽出幅の部分画像を前記フレーム画像における所定の基準線から前記移動ベクトルに応じた方向に抽出することを特徴とする請求項４記載の画像合成装置。
前記基準線は、フレーム画像の中心部付近に設定されることを特徴とする請求項４記載の画像合成装置。
撮像して複数のフレーム画像を順次取得する取得手段を有する画像合成装置が備えるコンピュータを、
この撮像手段により順次フレーム画像が取得されている間にこれら順次取得されているフレーム画像のいずれかを選択する選択手段、
この選択手段による選択の後、前記取得手段により取得された各フレーム画像から部分画像を抽出し、各部分画像の端部が整合するように順次結合して合成する第１の画像合成手段、
この第１の画像合成手段により生成された合成画像の対応する画像部分に、前記選択手段より選択されたフレーム画像を上書き合成する第２の画像合成手段、
として機能させることを特徴とする画像合成プログラム。
撮像して複数のフレーム画像を順次取得する取得ステップと、
この撮像ステップにて順次フレーム画像が取得されている間にこれら順次取得されているフレーム画像のいずれかを選択する選択ステップと、
この選択ステップでの選択の後、前記取得ステップにて取得された各フレーム画像から部分画像を抽出し、各部分画像の端部が整合するように順次結合して合成する第１の画像合成ステップと、
この第１の画像合成ステップにて生成された合成画像の対応する画像部分に、前記選択ステップにて選択されたフレーム画像を上書き合成する第２の画像合成ステップと
を含むことを特徴とする画像合成方法。