WO2011033968A1 - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

　本発明は、より効果的に撮像された被写体の画像を表示することができる画像処理装置および方法、並びにプログラムに関する。　撮像装置１１は、回動中心Ｃ１１を中心として回動している状態で、複数の撮像画像Ｐ（１）乃至Ｐ（Ｎ）を撮像する。撮像装置１１は、得られた複数の撮像画像のそれぞれから、撮像画像における所定の基準位置により定まる領域を短冊画像として切り出して、それらの短冊画像を並べて合成することにより、撮像空間上の所定の領域を被写体とするパノラマ画像を生成する。撮像装置１１は、撮像画像からの短冊画像の切り出し位置をずらしながら、複数のパノラマ画像を生成することで、複数のパノラマ画像からなるパノラマ動画像を得る。このパノラマ動画像によれば、撮像画像中の被写体を、動きを持たせて表示させることができる。本発明は、カメラに適用することができる。

Description

画像処理装置および方法、並びにプログラム

　本発明は画像処理装置および方法、並びにプログラムに関し、特に、パノラマ画像上の被写体に動きを持たせることができるようにした画像処理装置および方法、並びにプログラムに関する。

　近年、デジタルスチルカメラの普及により、多くの写真を撮像するユーザが増えてきている。また、撮像された大量の写真を効果的に提示する方法も求められている。

　例えば、撮像された写真の効果的な提示方法として、いわゆるパノラマ画像が知られている。パノラマ画像は、撮像装置を所定方向にパンさせながら撮像して得られた複数の静止画像を、それらの静止画像上の同じ被写体が重なるように並べることにより得られる１枚の静止画像である（例えば、特許文献１参照）。

　このようなパノラマ画像によれば、通常の撮像装置による１枚分の静止画像の撮像範囲（画角）よりも、より広い範囲の空間を被写体として表示させることができるので、より効果的に撮像された被写体の画像を表示することができる。

特許第３１６８４４３号公報

　ところで、パノラマ画像を得るために、撮像装置をパンさせながら複数の静止画像を撮像した場合には、いくつかの静止画像に、同じ被写体が含まれていることがある。そのような場合において、異なる静止画像上の同じ被写体は、互いに異なる時刻に撮像された被写体であるから、パノラマ画像を生成するために撮像した静止画像群は、被写体の動きに関する情報を持っているということができる。

　しかしながら、上述したパノラマ画像では、パノラマ画像に含まれる被写体の動きを表現することはできないので、撮像された被写体の画像を充分効果的に表示できているとはいえなかった。

　本発明は、このような状況に鑑みてなされたものであり、撮像された被写体の画像をより効果的に表示することができるようにするものである。

　本発明の一側面の画像処理装置は、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、異なる前記撮像画像に含まれる同じ被写体が重なるように、複数の前記撮像画像を所定の平面上に並べたときの前記撮像画像のぞれぞれの相対的な位置関係を示す位置情報を生成する位置情報生成手段と、複数の前記撮像画像のそれぞれについて、前記位置情報に基づいて複数の前記撮像画像を前記平面上に並べた場合に、前記撮像画像上の所定の基準位置から、前記平面上で前記撮像画像と重ねて並べられた他の撮像画像の前記基準位置までの前記撮像画像上の領域を切り出して、前記領域を含む短冊画像を生成する短冊画像生成手段と、複数の前記撮像画像から得られた前記短冊画像のそれぞれを並べて合成することにより、１つのパノラマ画像を生成するパノラマ画像生成手段とを備え、前記短冊画像生成手段は、複数の前記撮像画像について、前記撮像画像上の前記領域を所定方向にずらしながら、前記撮像画像から複数の前記短冊画像を生成し、前記パノラマ画像生成手段は、前記領域の位置ごとに前記パノラマ画像を生成することで、撮像空間上の同じ領域の画像が表示される複数の前記パノラマ画像からなる画像群を生成する。

　画像処理装置には、複数の前記パノラマ画像を所定の時間間隔で順番に表示させる表示制御手段をさらに設けることができる。

　前記位置情報生成手段には、前記撮像画像上の予め定められた複数のブロック領域を用いて、前記撮像画像よりも前の時刻に撮像された撮像画像から、複数の前記ブロック領域と対応するブロック対応領域のそれぞれを探索することにより、前記位置情報を生成させることができる。

　前記位置情報生成手段には、複数の前記ブロック領域の相対的な位置関係と、複数の前記ブロック対応領域の相対的な位置関係とに基づいて、動きのある被写体が含まれる前記ブロック領域を検出させ、前記動きのある被写体が含まれる前記ブロック領域が検出された場合、複数の前記ブロック領域のうち、検出された前記ブロック領域とは異なる前記ブロック領域を用いて前記ブロック対応領域を探索することにより、前記位置情報を生成させることができる。

　画像処理装置には、前記撮像画像と、その前記撮像画像よりも前の時刻に撮像された前記撮像画像とを用いて、前記撮像画像から動きを検出する動き検出手段と、前記動きが検出されなかった場合、第１の時間間隔で前記撮像画像が撮像され、前記動きが検出された場合、前記第１の時間間隔よりも短い第２の時間間隔で前記撮像画像が撮像されるように、前記撮像手段を制御する撮像制御手段とをさらに設けることができる。

　画像処理装置には、前記撮像画像と、その前記撮像画像よりも前の時刻に撮像された前記撮像画像とを用いて、前記撮像画像から動きを検出する動き検出手段と、前記動きの検出されなかった前記撮像画像を破棄する破棄手段とをさらに設け、破棄された前記撮像画像は、前記短冊画像の生成には用いられないようにすることができる。

　画像処理装置には、前記撮像画像と、その前記撮像画像よりも前の時刻に撮像された前記撮像画像とを用いて、前記撮像画像から動きを検出する動き検出手段と、前記動きの検出結果に応じた速度で前記撮像手段を移動させる移動手段とをさらに設けることができる。

　前記短冊画像生成手段には、第１の位置を前記基準位置として前記撮像画像から第１の短冊画像を生成させるとともに、第１の位置とは異なる第２の位置を前記基準位置として前記撮像画像から第２の短冊画像を生成させ、前記パノラマ画像生成手段には、複数の前記撮像画像から得られた前記１の短冊画像および前記第２の短冊画像に基づいて、互いに視差を有する第１のパノラマ画像群および第２のパノラマ画像群を生成させることができる。

　本発明の一側面の画像処理方法またはプログラムは、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、異なる前記撮像画像に含まれる同じ被写体が重なるように、複数の前記撮像画像を所定の平面上に並べたときの前記撮像画像のぞれぞれの相対的な位置関係を示す位置情報を生成する位置情報生成ステップと、複数の前記撮像画像のそれぞれについて、前記位置情報に基づいて複数の前記撮像画像を前記平面上に並べた場合に、前記撮像画像上の所定の基準位置から、前記平面上で前記撮像画像と重ねて並べられた他の撮像画像の前記基準位置までの前記撮像画像上の領域を切り出して、前記領域を含む短冊画像を生成する短冊画像生成ステップと、複数の前記撮像画像から得られた前記短冊画像のそれぞれを並べて合成することにより、１つのパノラマ画像を生成するパノラマ画像生成ステップとを含み、前記短冊画像生成ステップにおいて、複数の前記撮像画像について、前記撮像画像上の前記領域を所定方向にずらしながら、前記撮像画像から複数の前記短冊画像を生成させ、前記パノラマ画像生成ステップにおいて、前記領域の位置ごとに前記パノラマ画像を生成することで、撮像空間上の同じ領域の画像が表示される複数の前記パノラマ画像からなる画像群を生成させる。

　本発明の一側面においては、撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、異なる前記撮像画像に含まれる同じ被写体が重なるように、複数の前記撮像画像を所定の平面上に並べたときの前記撮像画像のぞれぞれの相対的な位置関係を示す位置情報が生成され、複数の前記撮像画像のそれぞれについて、前記位置情報に基づいて複数の前記撮像画像を前記平面上に並べた場合に、前記撮像画像上の所定の基準位置から、前記平面上で前記撮像画像と重ねて並べられた他の撮像画像の前記基準位置までの前記撮像画像上の領域を切り出して、前記領域を含む短冊画像が生成され、複数の前記撮像画像から得られた前記短冊画像のそれぞれを並べて合成することにより、１つのパノラマ画像が生成される。このとき、複数の前記撮像画像について、前記撮像画像上の前記領域が所定方向にずらされながら、前記撮像画像から複数の前記短冊画像が生成され、前記領域の位置ごとに前記パノラマ画像を生成することで、撮像空間上の同じ領域の画像が表示される複数の前記パノラマ画像からなる画像群が生成される。

　本発明の一側面によれば、撮像された被写体の画像を、より効果的に表示することができる。

本発明を適用した撮像装置の一実施の形態の構成例を示す図である。 信号処理部の構成例を示す図である。 撮像画像の撮像方法を説明する図である。 パノラマ動画生成処理を説明するフローチャートである。 撮像画像の位置合わせについて説明する図である。 中心座標の算出について説明する図である。 短冊画像の切り出しについて説明する図である。 パノラマ動画像の生成について説明する図である。 信号処理部の他の構成例を示す図である。 パノラマ動画生成処理を説明するフローチャートである。 信号処理部の他の構成例を示す図である。 パノラマ動画生成処理を説明するフローチャートである。 撮像画像の撮像方法について説明する図である。 信号処理部の他の構成例を示す図である。 パノラマ動画生成処理を説明するフローチャートである。 視差について説明する図である。 短冊画像の切り出しについて説明する図である。 立体パノラマ動画像の生成について説明する図である。 撮像装置の他の構成例を示す図である。 信号処理部の他の構成例を示す図である。 立体パノラマ動画生成処理を説明するフローチャートである。 コンピュータの構成例を示す図である。

　以下、図面を参照して、本発明を適用した実施の形態について説明する。

〈第１の実施の形態〉
［撮像装置の構成］
　図１は、本発明を適用した撮像装置の一実施の形態の構成例を示す図である。

　撮像装置１１は、例えばカメラなどからなり、撮像装置１１が移動している状態で、撮像装置１１が連続的に撮像した複数の撮像画像から、１つのパノラマ動画像を生成する。

　パノラマ動画像は、撮像装置１１が１度の撮像により撮像することができる実空間上の撮像範囲（画角）よりも、より広い範囲の領域が被写体として表示される複数のパノラマ画像からなる画像群である。したがって、パノラマ動画像は、パノラマ動画像を構成する各パノラマ画像を１フレーム分の画像と考えれば１つの動画像であるということもできるし、パノラマ動画像を構成する各パノラマ画像を１枚の静止画像と考えれば静止画像群であるということもできる。以下では、説明を簡単にするため、パノラマ動画像が、動画像であるものとして説明を続ける。

　撮像装置１１は、操作入力部２１、撮像部２２、撮像制御部２３、信号処理部２４、バス２５、バッファメモリ２６、圧縮伸張部２７、ドライブ２８、記録媒体２９、表示制御部３０、および表示部３１から構成される。

　操作入力部２１はボタンなどからなり、ユーザの操作を受けて、その操作に応じた信号を信号処理部２４に供給する。撮像部２２は、光学レンズや撮像素子などからなり、被写体からの光を光電変換することにより撮像画像を撮像して、撮像制御部２３に供給する。撮像制御部２３は撮像部２２による撮像を制御するとともに、撮像部２２から取得した撮像画像を信号処理部２４に供給する。

　信号処理部２４は、バス２５を介してバッファメモリ２６乃至ドライブ２８、および表示制御部３０と接続されており、操作入力部２１からの信号に応じて撮像装置１１の全体を制御する。例えば、信号処理部２４は、撮像制御部２３からの撮像画像を、バス２５を介してバッファメモリ２６に供給したり、バッファメモリ２６から取得した撮像画像からパノラマ動画像を生成したりする。

　バッファメモリ２６は、SDRAM（Synchronous Dynamic Random Access Memory）などからなり、バス２５を介して供給された撮像画像等のデータを一時的に記録する。圧縮伸張部２７は、バス２５を介して供給された画像を所定の方式によりエンコードしたり、デコードしたりする。

　ドライブ２８は、バス２５から供給されたパノラマ動画像を記録媒体２９に記録させたり、記録媒体２９に記録されているパノラマ動画像を読み出してバス２５に出力したりする。記録媒体２９は、撮像装置１１に着脱可能な不揮発性のメモリからなり、ドライブ２８の制御に従ってパノラマ動画像を記録する。

　表示制御部３０は、バス２５を介して供給されたパノラマ動画像を表示部３１に供給して表示させる。表示部３１は、例えばLCD（Liquid Crystal Display）などからなり、表示制御部３０の制御に従ってパノラマ動画像を表示する。

［信号処理部の構成］
　また、図１の信号処理部２４は、より詳細には図２に示すように構成される。

　すなわち、信号処理部２４は、動き推定部６１、短冊画像生成部６２、およびパノラマ動画生成部６３から構成される。

　動き推定部６１は、バス２５を介して供給された、撮像時刻の異なる２つの撮像画像を用いて動き推定（Motion Estimation）を行う。また、動き推定部６１は、座標算出部７１を備えている。

　座標算出部７１は、動き推定の結果に基づいて、２つの撮像画像上の同じ被写体が重なるように、それらの撮像画像を、所定の平面上に並べて配置したときの各撮像画像の相対的な位置関係を示す情報を生成する。具体的には、所定の平面上に２次元のｘｙ座標系をとったときの撮像画像の中心の位置の座標（以下、中心座標と称する）が、撮像画像の相対的な位置関係を示す情報として算出される。

　短冊画像生成部６２は、バス２５を介して供給された撮像画像および中心座標を用いて、撮像画像上の所定の領域を切り出して短冊画像とし、パノラマ動画生成部６３に供給する。パノラマ動画生成部６３は、短冊画像生成部６２からの短冊画像を合成して複数のパノラマ画像を生成することで、パノラマ画像群であるパノラマ動画像を生成する。ここで、１フレーム分のパノラマ動画像、つまり１つのパノラマ画像は、撮像画像の撮像時に撮像対象となった実空間上の所定の範囲（領域）が被写体として表示される画像である。

［パノラマ動画像の生成時の撮像方法の説明］
　ところで、ユーザが撮像装置１１にパノラマ動画像を生成させようとする場合、ユーザは撮像装置１１を操作して、パノラマ動画像の生成に用いられる撮像画像を撮像させる。

　例えば、図３に示すように撮像画像の撮像時には、ユーザは、撮像装置１１の光学レンズを図中、手前側に向けて、回動中心Ｃ１１を中心として撮像装置１１を図中、右から左方向に回動（パン）させながら連続して被写体を撮像させる。このとき、ユーザは、静止している同じ被写体が、連続して撮像される複数の撮像画像に含まれるように、撮像装置１１の回動速度を調整する。

　このように撮像装置１１を移動させながら撮像画像を撮像させることで、Ｎ枚の撮像画像Ｐ（１）乃至撮像画像Ｐ（Ｎ）が得られる。

　ここで、撮像画像Ｐ（１）は、Ｎ枚の撮像画像のうち最も撮像時刻の古い画像、つまり最初に撮像された画像であり、撮像画像Ｐ（Ｎ）はＮ枚の撮像画像のうち、最も撮像時刻の新しい、最後に撮像された画像である。以下では、ｎ番目（但し、１≦ｎ≦Ｎ）に撮像された撮像画像を撮像画像Ｐ（ｎ）とも称することとする。

　なお、各撮像画像は、連写された静止画像であってもよいし、撮影された動画像の１フレーム分の画像であってもよい。

　このようにしてＮ枚の撮像画像が得られると、撮像装置１１は、これらの撮像画像を用いてパノラマ動画像を生成し、表示する。

　また、図３において、撮像装置１１自体を９０度だけ回転させ、つまり撮像装置１１を横向きにして撮像を行った方が、図中、縦方向により長い撮像画像を得ることができる場合には、撮像装置１１を横向きにして撮像画像の撮像を行うようにしてもよい。そのような場合、撮像画像が撮像装置１１と同じ方向に９０度だけ回転されて、パノラマ動画像の生成が行われる。

［パノラマ動画生成処理の説明］
　次に、図４のフローチャートを参照して、撮像装置１１が撮像画像を撮像してパノラマ動画像を生成するパノラマ動画生成処理について説明する。このパノラマ動画生成処理は、ユーザにより操作入力部２１が操作され、パノラマ動画像の生成が指示されると開始される。

　ステップＳ１１において、撮像部２２は、図３に示したように撮像装置１１が移動している状態で、被写体を撮像する。これにより、１枚（以下、１フレームと称する）の撮像画像が得られる。撮像部２２で撮像された撮像画像は、撮像部２２から撮像制御部２３を介して信号処理部２４に供給される。

　ステップＳ１２において、信号処理部２４は、撮像部２２から供給された撮像画像を、バス２５を介してバッファメモリ２６に供給し、一時的に記録させる。このとき、信号処理部２４は、記録させる撮像画像が何番目に撮像された撮像画像であるかを特定できるように、撮像画像にフレーム番号を付して記録させる。

　なお、以下、ｎ番目に撮像された撮像画像Ｐ（ｎ）を、フレームｎの撮像画像Ｐ（ｎ）とも称することとする。

　ステップＳ１３において、動き推定部６１は、バス２５を介してバッファメモリ２６から現フレームｎと、その直前のフレーム（ｎ－１）の撮像画像を取得し、動き推定により撮像画像の位置合わせを行う。

　例えば、直前のステップＳ１２においてバッファメモリ２６に記録された撮像画像が、ｎ番目に撮像された撮像画像Ｐ（ｎ）である場合、動き推定部６１は、現フレームｎの撮像画像Ｐ（ｎ）と、直前のフレーム（ｎ－１）の撮像画像Ｐ（ｎ－１）を取得する。

　そして、動き推定部６１は、図５に示すように、撮像画像Ｐ（ｎ）上の９個のブロックBL(n)－1乃至ブロックBR(n)－3と同じ画像が、直前のフレームの撮像画像Ｐ（ｎ－１）上のどの位置にあるかを探索することで、位置合わせを行う。

　ここで、ブロックBC(n)－1乃至ブロックBC(n)－3は、撮像画像Ｐ（ｎ）のほぼ中央に位置する図中、縦方向の仮想的な直線である境界CL－n上に、図中縦方向に並んでいる矩形領域である。

　また、ブロックBL(n)－1乃至ブロックBL(n)－3は、撮像画像Ｐ（ｎ）の図中、境界CL－nの左側に位置する、縦方向の仮想的な直線である境界LL－n上に、図中縦方向に並んでいる矩形領域である。同様に、ブロックBR(n)－1乃至ブロックBR(n)－3は、撮像画像Ｐ（ｎ）の図中、境界CL－nの右側に位置する、縦方向の仮想的な直線である境界RL－n上に、図中縦方向に並んでいる矩形領域である。これらの９個のブロックBL(n)－1乃至ブロックBR(n)－3の位置は、予め定められている。

　動き推定部６１は、撮像画像Ｐ（ｎ）上の９個の各ブロックについて、そのブロックと同じ形状および大きさである撮像画像Ｐ（ｎ－１）上の領域であって、ブロックとの差分の最も小さい領域（以下、ブロック対応領域と称する）を探索する。ここで、ブロックとの差分は、処理対象のブロック、例えばブロックBL(n)－1と、ブロック対応領域の候補とされている領域との同じ位置の画素の画素値の差分絶対値の和などとされる。

　このような動き推定を行うと、理想的には撮像画像Ｐ（ｎ）上のブロックBL(n)－1乃至ブロックBR(n)－3のそれぞれに対して、それらのブロックの相対的な位置関係と同じ位置関係で撮像画像Ｐ（ｎ－１）上に位置するブロック対応領域が得られることになる。

　撮像画像Ｐ（ｎ）上の処理対象のブロックに対応する、撮像画像Ｐ（ｎ－１）のブロック対応領域は、撮像画像Ｐ（ｎ－１）上において、処理対象のブロックとの差分が最も小さい領域である。そのため、ブロック対応領域には、処理対象のブロックと同じ画像が表示されているものと推定される。

　したがって、ブロックBL(n)－1乃至ブロックBR(n)－3と、対応するブロック対応領域とが重なるように所定平面上に撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ－１）とを重ねて並べれば、それらの撮像画像上の同じ被写体が重なるはずである。

　しかしながら、実際には、ブロックとブロック対応領域とが全く同じ位置関係とはならないことがある。そのため、より詳細には動き推定部６１は、全てのブロックとブロック対応領域とがほぼ重なるように、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ－１）とを平面上に並べて、その結果を撮像画像の位置合わせの結果とする。

　なお、撮像画像上に動きのある被写体があり、その被写体が撮像画像Ｐ（ｎ）上のブロック内に含まれる場合には、得られた９個のブロック対応領域は、ブロックBL(n)－1乃至ブロックBR(n)－3と同じ位置関係とはならなくなる。

　そこで、動き推定部６１は、得られたブロック対応領域のそれぞれの相対的な位置関係が、撮像画像Ｐ（ｎ）上のブロックの相対的な位置関係と異なる場合には、動きのある被写体が含まれると推定されるブロックを除外し、再度、動き推定による位置合わせを行う。つまり、他のブロック対応領域と相対的な位置関係が異なるブロック対応領域が検出され、検出されたブロック対応領域に対応する撮像画像Ｐ（ｎ）上のブロックが処理対象から除外されて、残りのブロックのみが用いられて再度、動き推定が行われる。

　具体的には、ブロックBL(n)－1乃至ブロックBR(n)－3が距離ＱＬの間隔で、図５中、縦横等間隔に並んでいるとする。例えば、互いに隣り合うブロックBL(n)－1とブロックBL(n)－2との距離、およびブロックBL(n)－1とブロックBC(n)－1との距離は、ともにＱＬとなる。この場合、動き推定部６１は、各ブロックに対応する対応ブロック領域の相対的な位置関係に基づいて、撮像画像Ｐ（ｎ）上の動きのあるブロックを検出する。

　すなわち、動き推定部６１は、ブロックBR(n)－3に対応するブロック対応領域と、ブロックBC(n)－3に対応するブロック対応領域など、互いに隣接するブロック対応領域同士の距離ＱＭを求める。

　その結果、ブロックBR(n)－2とブロックBC(n)－3については、それらのブロック対応領域と、ブロックBR(n)－3のブロック対応領域を除く、他の隣接するブロック対応領域との距離ＱＭと距離ＱＬの差の絶対値が、予め定められた閾値以下であったとする。また、ブロックBR(n)－2およびブロックBC(n)－3に対応するブロック対応領域と、ブロックBR(n)－3に対応するブロック対応領域との距離ＱＭと距離ＱＬの差の絶対値は、閾値以上であったとする。

　この場合、ブロックBR(n)－3とは異なる他のブロックのブロック対応領域は、各ブロックの相対的な位置関係と同じ位置関係で並んでいる。ところが、ブロックBR(n)－3のブロック対応領域だけは、他のブロック対応領域に対して、各ブロックの位置関係とは異なる位置関係となっている。このような検出結果が得られた場合、動き推定部６１はブロックBR(n)－3に、動きのある被写体が含まれているとする。

　なお、動きのあるブロックの検出には、互いに隣接するブロック対応領域同士の距離だけでなく、注目するブロック対応領域の隣接する他のブロック対応領域に対する回転角度などが用いられてもよい。つまり、例えば他のブロック対応領域に対して、所定の角度以上、傾いているブロック対応領域があれば、そのブロック対応領域に対応するブロックに、動きのある被写体が含まれているとされる。

　このようにして、動きのあるブロックが検出されると、動き推定部６１は、その動きのあるブロックを除く残りのブロックを用いた動き推定により、再度、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ－１）との位置合わせを行う。

　このように、動きのある被写体が含まれるブロックを除外し、動きのない被写体、つまりいわゆる背景のみが含まれるブロックだけを用いて位置合わせを行うことで、より正確に位置合わせを行うことができる。この位置合わせの結果に従って撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ－１）を並べれば、動きのない被写体が重なるように、それらの撮像画像を重ねて並べることができる。

　位置合わせが行われると、次に座標算出部７１は、これまでに撮像された撮像画像Ｐ（１）乃至撮像画像Ｐ（ｎ）を、各フレームの位置合わせの結果に従って所定の平面上、つまりｘｙ座標系上に並べたときの撮像画像Ｐ（ｎ）の中心座標を算出する。

　例えば、図６に示すように、撮像画像Ｐ（１）の中心がｘｙ座標系の原点の位置となり、かつ撮像画像に含まれる同じ被写体が重なるように、各撮像画像が並べられる。なお、図中、横方向はｘ方向を示しており、縦方向はｙ方向を示している。また、撮像画像Ｐ（１）乃至撮像画像Ｐ（ｎ）上の各点Ｏ（１）乃至点Ｏ（ｎ）は、それらの撮像画像の中心の位置を示している。

　例えば、処理対象の現フレームの撮像画像が撮像画像Ｐ（ｎ）であるとすると、撮像画像Ｐ（１）乃至撮像画像Ｐ（ｎ－１）のそれぞれの中心の点Ｏ（１）乃至Ｏ（ｎ－１）の中心座標が既に求められて、バッファメモリ２６に記録されている。

　座標算出部７１は、バッファメモリ２６から撮像画像Ｐ（ｎ－１）の中心座標を読み出して、読み出した中心座標と、撮像画像Ｐ（ｎ）および撮像画像Ｐ（ｎ－１）の位置合わせの結果とから、撮像画像Ｐ（ｎ）の中心座標を求める。つまり、点Ｏ（ｎ）のｘ座標およびｙ座標が中心座標として求められる。

　図４のフローチャートの説明に戻り、ステップＳ１３において位置合わせが行われ、撮像画像Ｐ（ｎ）の中心座標が求められると、処理はステップＳ１４に進む。

　ステップＳ１４において、動き推定部６１は、得られた撮像画像Ｐ（ｎ）の中心座標をバッファメモリ２６に供給し、撮像画像Ｐ（ｎ）と関連付けて記録させる。

　ステップＳ１５において、信号処理部２４は、予め定められた所定枚数の撮像画像を撮像したか否かを判定する。例えば、図３に示したように、所定の空間上の領域を、Ｎ回に分けて撮像する場合、Ｎ枚の撮像画像が撮像されたときに、所定枚数の撮像画像を撮像したと判定される。

　なお、撮像装置１１にジャイロセンサなど、撮像装置１１が回動した角度を検出できる機器が設けられている場合には、撮像画像を撮像した枚数ではなく、撮像画像の撮像を開始してから撮像装置１１が所定の角度だけ回動したかが判定されるようにしてもよい。この場合であっても、所定の空間上の特定の領域が被写体とされて、撮像画像の撮像が行われたか否かを特定することができる。

　ステップＳ１５において、まだ所定枚数の撮像画像を撮像していないと判定された場合、処理はステップＳ１１に戻り、次のフレームの撮像画像が撮像される。

　これに対して、ステップＳ１５において、所定枚数の撮像画像を撮像したと判定された場合、処理はステップＳ１６に進む。

　ステップＳ１６において、短冊画像生成部６２は、バッファメモリ２６から、Ｎ枚の撮像画像とその中心座標を取得し、取得した撮像画像および中心座標に基づいて、各撮像画像の所定の領域を切り出して、短冊画像を生成する。

　例えば、短冊画像生成部６２は、図７に示すように撮像画像Ｐ（ｎ）上の境界CL－nを基準として定まる領域を、短冊画像Ｔ－ｎとして切り出す。なお、図７にいて図５における場合と対応する部分には同一の符号を付してあり、その説明は省略する。

　図７では、連続して撮像された撮像画像Ｐ（ｎ）および撮像画像Ｐ（ｎ＋１）が、それらの中心座標に基づいて、同じ被写体が重なるように並べられている。撮像画像Ｐ（ｎ＋１）上の境界CL－（n＋1）は、撮像画像Ｐ（ｎ）における境界CL－nに対応する境界である。つまり、境界CL－nおよび境界CL－（n＋1）は、撮像画像Ｐ（ｎ）および撮像画像Ｐ（ｎ＋１）上の同じ位置にある図中、縦方向の仮想的な直線である。

　また、図中、縦方向の直線である境界ML（C）－nおよび境界MR（C）－nは、撮像画像Ｐ（ｎ）上の境界CL－n近傍にある直線であって、それぞれ境界CL－nの左側および右側に、予め定められた距離だけ離れて位置している。

　同様に、図中、縦方向の直線である境界ML（C）－（n＋1）および境界MR（C）－（n＋1）は、撮像画像Ｐ（ｎ＋１）上の境界CL－（n＋1）近傍にある直線であって、それぞれ境界CL－（n＋1）の左側および右側に、予め定められた距離だけ離れて位置している。

　例えば、短冊画像生成部６２は、撮像画像Ｐ（ｎ）から短冊画像Ｔ－ｎを切り出す場合、撮像画像Ｐ（ｎ）上における、境界ML（C）－nから、境界MR（C）－（n＋1）の位置までの領域を短冊画像Ｔ－ｎとして切り出す。ここで、撮像画像Ｐ（ｎ）上における境界MR（C）－（n＋1）の位置とは、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ＋１）を並べたときに、境界MR（C）－（n＋1）と重なる撮像画像Ｐ（ｎ）上の位置である。

　同様に、撮像画像Ｐ（ｎ－１）から短冊画像Ｔ－（ｎ－１）が切り出される場合には、撮像画像Ｐ（ｎ－１）上における、境界ML（C）－（n－1）から、境界MR（C）－nの位置までの領域が短冊画像Ｔ－（ｎ－１）として切り出される。

　したがって、短冊画像Ｔ－ｎにおいて、境界ML（C）－nから境界MR（C）－nの位置までの領域の被写体は、短冊画像Ｔ－（n－1）における、境界ML（C）－nから境界MR（C）－nの位置までの領域の被写体と基本的には同じ被写体となる。但し、短冊画像Ｔ－ｎおよび短冊画像Ｔ－（n－1）は、それぞれ撮像画像Ｐ（ｎ）および撮像画像Ｐ（ｎ－１）から切り出された画像であるので、同じ被写体であっても撮像された時刻は異なる。

　同様に、短冊画像Ｔ－ｎにおいて、境界ML（C）－（n＋1）から境界MR（C）－（n＋1）の位置までの領域の被写体は、短冊画像Ｔ－（n＋1）における、境界ML（C）－（n＋1）から境界MR（C）－（n＋1）の位置までの領域の被写体と基本的に同じとなる。

　このように、撮像画像から、撮像画像上のほぼ中央の境界を基準として定まる領域を切り出して短冊画像とし、各撮像画像から切り出した短冊画像を並べれば、Ｎ枚の撮像画像の撮像時に撮像対象となった実空間上の所定の範囲（領域）が表示されることになる。各撮像画像から得られた短冊画像を並べて合成することで得られる１つの画像が、パノラマ動画像を構成する１フレーム分のパノラマ画像とされる。

　短冊画像生成部６２は、各撮像画像から短冊画像を生成すると、得られた短冊画像と、各撮像画像の中心座標とをパノラマ動画生成部６３に供給する。

　ステップＳ１７において、パノラマ動画生成部６３は、短冊画像生成部６２から供給された短冊画像および中心座標に基づいて、各フレームの短冊画像を並べて合成し、パノラマ動画像の１フレーム分の画像データ、つまり１つのパノラマ画像を生成する。

　パノラマ動画生成部６３は、例えば短冊画像Ｔ－ｎおよび短冊画像Ｔ－（ｎ－１）を合成するにあたり、それらの短冊画像における境界ML（C）－nから境界MR（C）－nの位置までの領域については、重み付き加算によりパノラマ画像の画素の画素値を求める。

　つまり、中心座標に基づいて短冊画像Ｔ－ｎおよび短冊画像Ｔ－（ｎ－１）を並べると、それらの短冊画像における境界ML（C）－nから境界MR（C）－nの位置までの領域が互いに重なることになる。パノラマ動画生成部６３は、短冊画像Ｔ－ｎおよび短冊画像Ｔ－（ｎ－１）の互いに重なっている画素の画素値を重み付き加算し、その結果得られた値を、それらの画素に対応する位置のパノラマ画像の画素の画素値とする。

　なお、短冊画像Ｔ－ｎと短冊画像Ｔ－（ｎ－１）における、境界ML（C）－nから境界MR（C）－nの位置までの領域の画素の重み付き加算時の重みは、次のような特徴を有するように定められる。

　すなわち、境界CL－nから境界MR（C）－nまでの位置の画素については、画素の位置が境界CL－nから境界MR（C）－nの位置により近くなるにしたがって、パノラマ画像の生成に対する短冊画像Ｔ－ｎの画素の寄与率がより高くなるようにされる。逆に、境界CL－nから境界ML（C）－nまでの位置の画素については、画素の位置が境界CL－nから境界ML（C）－nの位置により近くなるにしたがって、パノラマ画像の生成に対する短冊画像Ｔ－（ｎ－１）の画素の寄与率がより高くなるようにされる。

　また、パノラマ画像の生成時において、短冊画像Ｔ－ｎの境界MR（C）－nから境界ML（C）－（n＋1）までの領域は、その領域がそのままパノラマ画像とされる。

　さらに、短冊画像Ｔ－ｎと短冊画像Ｔ－（ｎ＋１）との合成時には、それらの短冊画像における境界ML（C）－（n＋1）から境界MR（C）－（n＋1）の位置までの領域については、重み付き加算によりパノラマ画像の画素の画素値が求められる。

　すなわち、境界CL－（n＋1）から境界MR（C）－（n＋1）までの位置の画素については、画素の位置が境界CL－（n＋1）から境界MR（C）－（n＋1）の位置により近くなるにしたがって、パノラマ画像の生成に対する短冊画像Ｔ－（ｎ＋１）の画素の寄与率がより高くなるようにされる。逆に、境界CL－（n＋1）から境界ML（C）－（n＋1）までの位置の画素については、画素の位置が境界CL－（n＋1）から境界ML（C）－（n＋1）の位置により近くなるにしたがって、パノラマ画像の生成に対する短冊画像Ｔ－ｎの画素の寄与率がより高くなるようにされる。

　このように、短冊画像の合成にあたり、連続するフレームの短冊画像の端近傍の領域を重み付き加算してパノラマ画像の画素の画素値とすることにより、単に短冊画像を並べて１つの画像とする場合と比べて、より自然な画像を得ることができる。

　例えば、単に短冊画像を並べてパノラマ画像とする場合、短冊画像の端付近の被写体の輪郭が歪になってしまったり、連続するフレームの短冊画像の明るさが異なると、パノラマ画像の領域ごとに明るさのむらが生じたりする恐れがある。

　そこで、パノラマ動画生成部６３では、短冊画像の端近傍の領域を重み付き加算により合成することで、被写体の輪郭が歪になったり、明るさのむらが生じたりすることを防止し、より自然なパノラマ画像を得ることができる。

　また、撮像画像の位置合わせ時に、動き推定部６１が撮像画像に基づいて、撮像部２２を構成する光学レンズによるレンズ歪みを検出しておき、短冊画像の合成時に、短冊画像生成部６２が、レンズ歪みの検出結果を用いて短冊画像を補正するようにしてもよい。すなわち、レンズ歪みの検出結果に基づいて、短冊画像に生じた歪みが画像処理により補正される。

　以上のようにして得られた１フレーム分のパノラマ動画像は、撮像画像の撮像時に撮像対象となった空間の所定の領域が被写体として表示される画像である。パノラマ動画生成部６３は、１フレーム分のパノラマ動画像を生成すると、生成したパノラマ動画像の画像データを、バス２５を介して圧縮伸張部２７に供給する。

　ステップＳ１８において、圧縮伸張部２７は、パノラマ動画生成部６３から供給されたパノラマ動画像の画像データを、例えばJPEG（Joint Photographic Experts Group）方式でエンコードし、バス２５を介してドライブ２８に供給する。

　ドライブ２８は、圧縮伸張部２７からのパノラマ動画像の画像データを記録媒体２９に供給し、記録させる。画像データの記録時においては、画像データには、パノラマ動画生成部６３によりフレーム番号が付与される。

　ステップＳ１９において、信号処理部２４は、予め定められた所定フレーム分だけパノラマ動画像の画像データを生成したか否かを判定する。例えば、Ｍフレームの画像データからなるパノラマ動画像が生成されると定められている場合には、Ｍフレーム分の画像データが得られたときに、所定フレーム分のパノラマ動画像を生成したと判定される。

　ステップＳ１９において、まだ所定フレーム分のパノラマ動画像を生成していないと判定された場合、処理はステップＳ１６に戻り、パノラマ動画像の次のフレームの画像データが生成される。

　例えば、パノラマ動画像の１フレーム目の画像データが生成される場合、図７を参照して説明したように、撮像画像Ｐ（ｎ）の境界ML（C）－nから、境界MR（C）－（n＋1）の位置までの領域が切り出されて撮像画像Ｐ（ｎ）の短冊画像Ｔ－ｎとされる。

　そして、パノラマ動画像の２フレーム目以降の画像データが生成される場合、撮像画像Ｐ（ｎ）からの短冊画像Ｔ－ｎの切り出し位置が、境界CL－nから境界CL－（n＋1）までの幅ＣＷの分ずつ図７中、左方向にずらされていく。

　つまり、パノラマ動画像のｍフレーム目の短冊画像Ｔ－ｎを、短冊画像Ｔ（ｍ）－ｎ（但し、１≦ｍ≦Ｍ）とする。この場合、ｍフレーム目の短冊画像Ｔ（ｍ）－ｎの切り出し位置は、短冊画像Ｔ（１）－ｎの切り出し位置から図７中、左側に幅ＣＷの（ｍ－１）倍の距離だけずれた位置とされる。

　したがって、例えば２フレーム目の短冊画像Ｔ（２）－ｎが切り出される領域は、撮像画像Ｐ（ｎ）上の図７における短冊画像Ｔ－ｎと同じ形状および大きさの領域であって、その右端の位置が境界MR（C）－nの位置となる領域とされる。

　ここで、短冊画像の切り出し領域がずらされる方向は、撮像画像の撮像時に撮像装置１１を回動させる方向に応じて、予め定められる。例えば、図７の例においては、所定のフレームの撮像画像の中心位置に対して、その次のフレームの撮像画像の中心位置が、常に図中、右側に位置するように、撮像装置１１が回動されることが前提とされている。

　撮像装置１１の移動に伴う撮像画像の中心位置の移動の方向と反対方向に、短冊画像の切り出し位置をフレームごとにずらしていけば、パノラマ動画像を構成する各パノラマ画像において、動きのない同じ被写体は、同じ位置に表示されることになるからである。

　このように、短冊画像の切り出し位置をフレームごとにずらしながら、パノラマ動画像の各フレームの画像データを生成すると、例えば図８に示すようなパノラマ動画像が得られる。なお、図８において図中、横方向は図７における横方向に対応している。例えば、図８における横方向はｘｙ座標系のｘ方向に対応する。

　図８の例では、（Ｒ－１）枚の撮像画像Ｐ（１）乃至撮像画像Ｐ（Ｒ－１）（但し、Ｒ≦Ｎ）のそれぞれから、短冊画像Ｔ（１）－１乃至短冊画像Ｔ（１）－（Ｒ－１）が生成され、それらの短冊画像が合成されてパノラマ画像Ｗ（１）が得られる。

　同様に、（Ｒ－１）枚の撮像画像Ｐ（２）乃至撮像画像Ｐ（Ｒ）のそれぞれから、短冊画像Ｔ（２）－１乃至短冊画像Ｔ（２）－（Ｒ－１）が生成され、それらの短冊画像が合成されてパノラマ画像Ｗ（２）が得られる。

　ここで、パノラマ画像Ｗ（１）およびパノラマ画像Ｗ（２）は、それぞれパノラマ動画像の１フレーム目および２フレーム目を構成する画像である。また、例えば撮像画像Ｐ（２）における短冊画像Ｔ（２）－１の切り出し領域は、短冊画像Ｔ（１）－２の切り出し領域を図中、左側に幅ＣＷだけずらした位置の領域とされる。この幅ＣＷの大きさは、撮像画像のフレームごとに変化する。さらに、例えば短冊画像Ｔ（１）－１と短冊画像Ｔ（２）－１とには、異なる時刻の同じ被写体が表示されることになる。

　したがって、パノラマ画像Ｗ（１）とパノラマ画像Ｗ（２）には、異なる時刻の同じ被写体が表示されることになる。また、１フレーム分のパノラマ動画像は、異なる複数のフレームの撮像画像から得られた短冊画像が合成されて生成されるため、１つのパノラマ画像であっても、各領域に表示される被写体は、それぞれ撮像された時刻が異なる。

　なお、パノラマ画像に表示される被写体は、Ｎ枚の撮像画像の撮像時に撮像対象（被写体）となった撮像空間の領域全体とされてもよいし、撮像空間の一部の領域とされてもよい。

　図４のフローチャートの説明に戻り、ステップＳ１９において、所定フレーム分のパノラマ動画像を生成したと判定された場合、信号処理部２４は、ドライブ２８を介して記録媒体２９からパノラマ動画像を構成する各フレームのパノラマ画像を読み出す。そして、信号処理部２４は、読み出したパノラマ画像を圧縮伸張部２７に供給して、デコードを指示し、処理はステップＳ２０に進む。

　ステップＳ２０において、圧縮伸張部２７は信号処理部２４から供給されたパノラマ動画像の画像データ、つまり各パノラマ画像を、例えばJPEG方式でデコードし、表示制御部３０に供給する。

　そして、ステップＳ２１において、表示制御部３０は、圧縮伸張部２７からのパノラマ動画像を、表示部３１に供給して表示させる。つまり、表示制御部３０はパノラマ動画像を構成するパノラマ画像を、所定の時間間隔で、それらのパノラマ画像に付与されたフレーム番号の順番に表示させる。

　これにより、表示部３１には、パノラマ動画像の各フレームが、所定の時間間隔で順番に表示される。つまり、Ｎ枚の撮像画像の撮像時に撮像対象となった撮像空間の領域の全体または一部を被写体とする動画像が表示される。このようにして表示されるパノラマ動画像の各フレームを構成するパノラマ画像自体は静止画像であるが、同じ空間上の領域が被写体とされるため、パノラマ動画像の各領域に表示される個々の被写体は、動きを持つことになる。パノラマ動画像が表示されると、パノラマ動画生成処理は終了する。

　このようにして、撮像装置１１は、異なる時刻に撮像された複数の撮像画像のそれぞれから、切り出し領域をずらしながら複数の短冊画像を生成し、短冊画像を合成して、パノラマ動画像の各フレームを構成するパノラマ画像を生成する。

　このようにして生成されたパノラマ動画像によれば、撮像された被写体に動きを持たせ、その動きを表現することができるので、撮像された被写体の画像をより効果的に表示することができる。しかも、１つのパノラマ画像上の各領域の被写体は、それぞれ異なる時刻のものとなるので、より面白味のある画像を提示することができる。つまり、撮像された被写体をさらに効果的に表示することができる。

　なお、以上においては、Ｎ枚の撮像画像を撮像し、一旦、全ての撮像画像をバッファメモリ２６に記録させてから、それらの撮像画像を用いてパノラマ動画像を生成すると説明したが、撮像画像の撮像を行いながら、同時にパノラマ動画像の生成を行ってもよい。また、パーソナルコンピュータ等の装置に、撮像画像からパノラマ動画像を生成する機能を設け、カメラにより撮像された撮像画像からパノラマ動画像を生成させるようにしてもよい。

〈第２の実施の形態〉
［信号処理部の構成］
　さらに、パノラマ動画像を生成する場合に、撮像画像から動きを検出し、その検出結果に応じて撮像画像の撮像間隔、つまり撮像画像のフレームレートを制御するようにしてもよい。そのような場合、信号処理部２４は図９に示すように構成される。なお、図９において、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図９の信号処理部２４では、動き検出部１１１および撮像間隔制御部１１２が新たに設けられている。そして、動き推定部６１において得られた撮像画像の中心座標と、撮像画像とは、動き推定部６１から動き検出部１１１にも供給される。

　動き検出部１１１は、動き推定部６１からの撮像画像と中心座標とに基づいて、連続する２フレームの撮像画像をｘｙ座標系に並べた場合に、互いに重なる部分の差分を求めることにより撮像画像から動きを検出し、その検出結果を撮像間隔制御部１１２に供給する。

　撮像間隔制御部１１２は、動き検出部１１１からの検出結果に基づいて、撮像制御部２３に、撮像画像の撮像間隔を制御させる。

［パノラマ動画生成処理の説明］
　次に、図１０のフローチャートを参照して、信号処理部２４が図９に示す構成とされる場合におけるパノラマ動画生成処理について説明する。なお、ステップＳ５１乃至ステップＳ５４の処理のそれぞれは、図４のステップＳ１１乃至ステップＳ１４のそれぞれと同様であるので、その説明は省略する。

　なお、ステップＳ５３において、動き推定部６１は、連続する２つのフレームの撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ－１）の位置合わせを行い、撮像画像Ｐ（ｎ）の中心座標を求める。すると、動き推定部６１は、撮像画像Ｐ（ｎ）および撮像画像Ｐ（ｎ－１）と、それらの撮像画像の中心座標とを動き検出部１１１に供給する。

　ステップＳ５５において、動き検出部１１１は、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ－１）の重なる部分の各画素の差分を求め、その各画素の差分の絶対値の合計値を求めて撮像間隔制御部１１２に供給する。

　すなわち、動き検出部１１１は、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ－１）の中心座標に基づいて、それらの撮像画像をｘｙ座標系上に並べ、それらの撮像画像の互いに重なる領域を処理対象とする。動き検出部１１１は、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ－１）の処理対象の領域内の全ての画素について、撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ－１）の重なる画素の画素値の差分を求め、画素ごとの差分の絶対値の合計値を求める。

　ステップＳ５６において、撮像間隔制御部１１２は、動き検出部１１１からの合計値に基づいて、撮像画像に動きが検出されたか否かを判定する。

　例えば、差分の絶対値の合計値が予め定められた閾値以上である場合、撮像画像Ｐ（ｎ）に動きが検出されたと判定される。

　撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ－１）の重なる部分に、動きのある被写体が含まれると、その被写体が表示される位置はフレームによって異なるため、差分の絶対値の合計値はより大きくなるはずである。そこで、撮像間隔制御部１１２では、合計値が閾値以上である場合に、動きのある被写体が検出されたとされる。

　ステップＳ５６において、動きが検出されなかったと判定された場合、ステップＳ５７において、撮像間隔制御部１１２は撮像部２２による撮像画像の撮像間隔を、予め定められた標準の撮像間隔とする。そして、撮像間隔制御部１１２は、撮像制御部２３に定めた標準の撮像間隔での撮像画像の撮像の制御をさせ、その後、処理はステップＳ５９に進む。

　一方、ステップＳ５６において、動きが検出されたと判定された場合、ステップＳ５８において、撮像間隔制御部１１２は、撮像部２２による撮像画像の撮像間隔を、予め定められた標準の撮像間隔よりも短い撮像間隔とする。そして、撮像間隔制御部１１２は、撮像制御部２３に、定めた短い撮像間隔での撮像画像の撮像の制御をさせ、その後、処理はステップＳ５９に進む。

　ステップＳ５７またはステップＳ５８において撮像間隔が定められると、その後、ステップＳ５９乃至ステップＳ６５の処理が行われてパノラマ動画生成処理は終了する。なお、これらの処理は図４のステップＳ１５乃至ステップＳ２１の処理と同様であるので、その説明は省略する。

　このようにして、撮像装置１１は、撮像画像から動きを検出し、その検出結果に応じて撮像画像を撮像する時間間隔を制御する。すなわち、撮像装置１１では、撮像画像から動きが検出されていない場合には、標準の撮像間隔で撮像画像の撮像が行われ、動きが検出されると、標準よりもより短い撮像間隔で撮像画像の撮像が行われる。そして、動きが検出された状態から、再び動きが検出されない状態に戻ると、撮像画像の撮像間隔も標準の撮像間隔に戻ることになる。

　動きが検出された場合に、通常の時間間隔よりもよりも短い時間間隔で撮像画像を撮像することで、パノラマ動画像に動きのある被写体が表示されるときには、フレーム間の被写体の動き量をより小さくすることができる。つまり、パノラマ動画像のフレームレートを実質的により高くすることができる。

　これにより、パノラマ動画像上における被写体の動きをより滑らかにし、パノラマ動画像の品質を向上させることができる。しかも、動きが検出されない場合には、通常の撮像間隔で撮像画像が撮像されるため、無駄に撮像画像の枚数が多くなることもなく、処理量の増加を防止することができる。

〈第３の実施の形態〉
［信号処理部の構成］
　ところで、撮像画像の撮像時においては、連続するフレームの撮像画像が互いに充分重なりを持つように、つまり同じ被写体を含む部分が多く、ｘｙ座標系上に並べた場合に重なる部分が充分大きくなるように撮像が行われる。

　そのため、撮像画像に動きのある被写体が含まれない場合には、連続して撮像された複数の撮像画像のうちのいくつかをパノラマ動画像の生成に用いないようにしてもよい。このようにすることで、パノラマ動画像の生成時の処理量を低減させることができる。

　不要な撮像画像をパノラマ動画像の生成に用いないようにする場合、例えば、信号処理部２４は、図１１に示すように構成される。なお、図１１において、図９における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図１１の信号処理部２４では、図９の撮像間隔制御部１１２に代えて記録制御部１４１が新たに設けられている。そして、撮像部２２により撮像された撮像画像は、撮像制御部２３を介して動き推定部６１に供給される。

　また、動き検出部１１１は、動き推定部６１から撮像画像と中心座標との供給を受け、撮像画像から動きを検出するとともに、その検出結果と、撮像画像および中心座標とを記録制御部１４１に供給する。記録制御部１４１は、動き検出部１１１からの検出結果に応じて、撮像画像および中心座標のバッファメモリ２６への記録を制御する。

［パノラマ動画生成処理の説明］
　次に、図１２のフローチャートを参照して、信号処理部２４が図１１に示す構成とされる場合におけるパノラマ動画生成処理について説明する。

　なお、ステップＳ９１の処理は、図４のステップＳ１１の処理と同様であるので、その説明は省略する。撮像部２２により撮像された撮像画像は、撮像制御部２３を介して信号処理部２４の動き推定部６１に供給される。

　ステップＳ９２において、動き推定部６１は、バッファメモリ２６から直前のフレームの撮像画像および中心座標を取得し、動き推定により撮像画像の位置合わせを行う。そして、ステップＳ９３において、座標算出部７１は、動き推定による位置合わせの結果に基づいて、撮像された現フレームの撮像画像の中心座標を求める。

　ステップＳ９２およびステップＳ９３における動き推定による位置合わせ、および中心座標の算出では、図４のステップＳ１３の処理と同様の処理が行われる。

　現フレームの撮像画像の中心座標が求められると、動き推定部６１は、現フレームと、その現フレームの直前のフレームの撮像画像および中心座標を、動き検出部１１１に供給する。

　ステップＳ９４において、動き検出部１１１は、動き推定部６１からの撮像画像および中心座標に基づいて、それらの撮像画像の重なる部分の各画素の差分を求め、その各画素の差分の絶対値の合計値を求める。そして動き検出部１１１は、差分の絶対値の合計値と、現フレームの撮像画像および中心座標とを記録制御部１４１に供給する。

　なお、ステップＳ９４において行われる合計値の算出は、図１０のステップＳ５５の処理と同様であるため、その詳細な説明は省略する。

　ステップＳ９５において、記録制御部１４１は、動き検出部１１１からの合計値に基づいて、撮像画像に動きが検出されたか否かを判定する。例えば、差分の絶対値の合計値が予め定められた閾値以上である場合、動きが検出されたと判定される。

　ステップＳ９５において、動きが検出されたと判定された場合、記録制御部１４１は、動き検出部１１１から供給された現フレームの撮像画像および中心座標を、バス２５を介してバッファメモリ２６に供給し、ステップＳ９６に進む。

　ステップＳ９６において、バッファメモリ２６は、記録制御部１４１から供給された現フレームの撮像画像と中心座標とを関連付けて記録する。このとき記録制御部１４１は、撮像画像にフレーム番号を付して記録させる。

　例えば、バッファメモリ２６に記録されている現フレームの直前のフレーム、つまり最もフレーム番号の大きいフレームに、フレーム番号（ｎ－１）が付与されている場合、現フレームのフレーム番号として「ｎ」が付与される。そして、撮像画像および中心座標が記録されると、その後、処理はステップＳ９８に進む。

　一方、ステップＳ９５において、動きが検出されなかったと判定された場合、ステップＳ９７において、記録制御部１４１は、動き検出部１１１から供給された現フレームの撮像画像および中心座標を破棄する。そして、撮像画像および中心座標が破棄されると、その後、処理はステップＳ９８に進む。

　ステップＳ９６またはステップＳ９７において、撮像画像が記録されるか、または破棄されると、その後、ステップＳ９８乃至ステップＳ１０４の処理が行われてパノラマ動画生成処理は終了する。なお、これらの処理は図４のステップＳ１５乃至ステップＳ２１の処理と同様であるので、その説明は省略する。

　なお、位置合わせの結果、現フレームと直前のフレームの撮像画像をｘｙ座標系上に並べたときに、撮像画像の重なる部分の面積が、所定の大きさ以下である場合には、動きの検出結果によらず、現フレームの撮像画像と中心座標が記録されるようにしてもよい。これにより、各撮像画像をｘｙ座標系上に並べたときに、隣接する撮像画像同士が互いに重ならなくなってしまい、撮像空間上の特定の領域の画像が欠落してしまうことを防止することができる。

　このようにして、撮像装置１１は、撮像画像から動きを検出し、その検出結果に応じて撮像画像および中心座標の記録を制御する。動きが検出されない場合には、撮像された撮像画像と中心座標を破棄し、パノラマ動画像の生成に用いないようにすることで、撮像画像の一時的な記録に必要となるバッファメモリ２６の記録容量を削減するとともに、処理量を低減させることができる。

〈第４の実施の形態〉
［撮像画像の撮像方法の説明］
　なお、以上においては、ユーザが撮像装置１１を移動させながら撮像画像の撮像を指示すると説明したが、撮像装置１１が機器により移動されている状態で、撮像画像の撮像が行われるようにしてもよい。

　そのような場合、例えば、図１３に示すように撮像装置１１はターンテーブル１７１上に固定され、回動する。すなわち、ターンテーブル１７１は、所定の台等に配置される固定部１８１と、固定部１８１に対して回動する回転台１８２とから構成される。

　図１３の例では、撮像装置１１が回転台１８２上に固定され、回転台１８２が所定の回動速度で図中、矢印方向に回動することにより、撮像装置１１が撮像対象の被写体に対して動いている（移動している）状態となる。

［信号処理部の構成］
　このように、ターンテーブル１７１により撮像装置１１を回動させる場合、例えば、撮像装置１１の信号処理部２４は、図１４に示すように構成され、信号処理部２４とターンテーブル１７１とは電気的に接続される。

　なお、図１４において、図９における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図１４の信号処理部２４では、図９の撮像間隔制御部１１２に代えて回動速度制御部２０１が新たに設けられている。回動速度制御部２０１は、動き検出部１１１からの動きの検出結果に応じて、ターンテーブル１７１の回動速度を制御する。

［パノラマ動画生成処理の説明］
　次に、図１５のフローチャートを参照して、信号処理部２４が図１４に示す構成とされる場合におけるパノラマ動画生成処理について説明する。

　なお、ステップＳ１３１乃至ステップＳ１３５の処理は、図１０のステップＳ５１乃至ステップＳ５５と同様であるので、その説明は省略する。動き検出部１１１により動きが検出されると、その検出結果として、連続するフレームの撮像画像の差分の絶対値の合計値が、動き検出部１１１から回動速度制御部２０１に供給される。

　ステップＳ１３６において、回動速度制御部２０１は、動き検出部１１１からの合計値に基づいて、撮像画像に動きが検出されたか否かを判定する。例えば、差分の絶対値の合計値が予め定められた閾値以上である場合、撮像画像に動きが検出されたと判定される。

　ステップＳ１３６において、動きが検出されなかったと判定された場合、ステップＳ１３７において、回動速度制御部２０１は、ターンテーブル１７１の回動速度を、予め定められた標準の回動速度とする。そして、回動速度制御部２０１は、ターンテーブル１７１を制御し、定めた標準の回動速度でターンテーブル１７１を回動させ、その後、処理はステップＳ１３９に進む。

　一方、ステップＳ１３６において、動きが検出されたと判定された場合、ステップＳ１３８において、回動速度制御部２０１は、ターンテーブル１７１の回動速度を、予め定められた標準の回動速度よりも遅い回動速度とする。そして、回動速度制御部２０１は、ターンテーブル１７１を制御し、標準よりも遅い回動速度でターンテーブル１７１を回動させ、その後、処理はステップＳ１３９に進む。

　ステップＳ１３７またはステップＳ１３８において回動速度が定められると、その後、ステップＳ１３９乃至ステップＳ１４５の処理が行われてパノラマ動画生成処理は終了する。なお、これらの処理は図４のステップＳ１５乃至ステップＳ２１の処理と同様であるので、その説明は省略する。

　このようにして、撮像装置１１は、撮像画像から動きを検出し、その検出結果に応じてターンテーブル１７１の回動速度を制御する。すなわち、撮像装置１１は、撮像画像から動きが検出されていない場合には、標準の回動速度でターンテーブル１７１を回動させ、動きが検出されると、標準よりもより遅い回動速度でターンテーブル１７１を回動させる。そして、動きが検出された状態から、再び動きが検出されない状態に戻ると、ターンテーブル１７１の回動速度は、標準の回動速度に戻ることになる。

　動きが検出された場合に、より遅い回動速度で撮像装置１１を回動させることにより、実質的にパノラマ動画像のフレームレートを高くすることができる。これにより、パノラマ動画像上における被写体の動きをより滑らかにし、パノラマ動画像の品質を向上させることができる。

〈第５の実施の形態〉
［視差と立体パノラマ動画像の説明］
　ところで、図１６に示すように、回動中心Ｃ１１を中心として、図中、矢印方向に撮像装置１１を回動させながら撮像画像を撮像したときに、位置ＰＴ１および位置ＰＴ２において、撮像画像が撮像されたとする。

　この場合、撮像装置１１が位置ＰＴ１と位置ＰＴ２のそれぞれにあるときに撮像された撮像画像には、同じ被写体Ｈ１１が含まれるが、それらの撮像画像は撮像位置、つまり被写体Ｈ１１の観察位置が異なるので、視差が生じることになる。撮像装置１１が一定の回動速度で回動する場合には、回動中心Ｃ１１から撮像装置１１までの距離が長いほど、例えば回動中心Ｃ１１から位置ＰＴ１の距離が長いほど、視差は大きくなる。

　このようにして生じる視差を利用して、観察位置の異なる（視差を有する）２つのパノラマ動画像を生成し、それらのパノラマ動画像を同時に再生すれば、ユーザに立体的なパノラマ動画像を提示することができる。

　なお、以下、観察位置の異なる２つのパノラマ動画像のうち、ユーザの右眼により観察されるように表示させるパノラマ動画像を右眼用のパノラマ動画像と称し、ユーザの左眼により観察されるように表示させるパノラマ動画像を左眼用のパノラマ動画像と称する。また、右眼用および左眼用の２つのパノラマ動画像のセットを立体パノラマ動画像とも称することとする。

　立体パノラマ動画像を生成する場合、撮像された撮像画像からは、右眼用および左眼用のそれぞれについて、パノラマ動画像の生成に用いられる短冊画像が切り出されることになる。ここで、右眼用および左眼用のそれぞれのパノラマ動画像の生成に用いられる短冊画像を、右眼用の短冊画像、および左眼用の短冊画像と呼ぶこととすると、それらの短冊画像は図１７に示すように、撮像画像上の所定の基準位置により定まる領域から切り出される。

　なお、図１７において、図５における場合と対応する部分には、同一の符号を付してあり、その説明は適宜、省略する。

　図１７では、図中、縦方向の直線である境界ML（L）－nおよび境界MR（L）－nは、撮像画像Ｐ（ｎ）上の境界LL－n近傍にある直線であって、それぞれ境界LL－nの左側および右側に、予め定められた距離だけ離れて位置している。同様に、図中、縦方向の直線である境界ML（R）－nおよび境界MR（R）－nは、撮像画像Ｐ（ｎ）上の境界RL－n近傍にある直線であって、それぞれ境界RL－nの左側および右側に、予め定められた距離だけ離れて位置している。

　これらの境界ML（L）－nおよび境界ML（R）－nと、境界MR（L）－nおよび境界MR（R）－nとは、それぞれ図７の境界ML（C）－nおよび境界MR（C）－nに対応する境界である。

　例えば、撮像画像Ｐ（ｎ）から右眼用および左眼用の１フレーム目のパノラマ動画像の生成に用いる短冊画像が切り出される場合、撮像画像Ｐ（ｎ）上の境界CL－nの図中、左右に位置する境界LL－nおよび境界RL－nが基準とされる。

　すなわち、撮像画像Ｐ（ｎ）上の境界LL－nおよび境界RL－nを基準として定まる領域が、それぞれ右眼用の短冊画像ＴＲ（ｎ）および左眼用の短冊画像ＴＬ（ｎ）として切り出される。

　より詳細には、右眼用の短冊画像ＴＲ（ｎ）とされる領域は、撮像画像Ｐ（ｎ）上の境界ML（L）－nから、境界MR（L）－（n＋1）の位置までの領域である。

　ここで、境界MR（L）－（n＋1）は、撮像画像Ｐ（ｎ＋１）上において、撮像画像Ｐ（ｎ）上の境界MR（L）－nと同じ位置にある、境界MR（L）－nに対応する境界である。また、撮像画像Ｐ（ｎ）上の境界MR（L）－（n＋1）の位置とは、中心座標に基づいてｘｙ座標系上に撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ＋１）とを並べた場合に、撮像画像Ｐ（ｎ＋１）の境界MR（L）－（n＋1）と重なる撮像画像Ｐ（ｎ）上の位置をいう。

　同様に、左眼用の短冊画像ＴＬ（ｎ）とされる領域は、撮像画像Ｐ（ｎ）上の境界ML（R）－nから、境界MR（R）－（n＋1）の位置までの領域である。ここで、境界MR（R）－（n＋1）は、境界MR（R）－nに対応する撮像画像Ｐ（ｎ＋１）上の境界である。また、撮像画像Ｐ（ｎ）上の境界MR（R）－（n＋1）の位置とは、ｘｙ座標系上に撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ＋１）を並べた場合に、撮像画像Ｐ（ｎ＋１）の境界MR（R）－（n＋1）と重なる撮像画像Ｐ（ｎ）上の位置をいう。

　さらに、各撮像画像からは、右眼用および左眼用の１フレーム目のパノラマ動画像の生成に用いる短冊画像だけでなく、それ以降のフレームを生成するための短冊画像も切り出される。

　例えば、右眼用のパノラマ動画像のｍフレーム目の短冊画像ＴＲ（ｎ）を短冊画像ＴＲ（ｎ）－ｍとし、ｘｙ座標系上に撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ＋１）を並べたときの境界LL－nから境界LL－（n＋1）までの距離をＬＷとする。なお、境界LL－（n＋1）は、撮像画像Ｐ（ｎ）の境界LL－nに対応する撮像画像Ｐ（ｎ＋１）上の境界である。

　この場合、ｍフレーム目の短冊画像ＴＲ（ｎ）－ｍの切り出し位置は、１フレーム目の短冊画像ＴＲ（ｎ）の切り出し位置から図１７中、左側に距離ＬＷの（ｍ－１）倍の距離だけずれた位置とされる。

　同様に、左眼用のパノラマ動画像のｍフレーム目の短冊画像ＴＬ（ｎ）を短冊画像ＴＬ（ｎ）－ｍとし、ｘｙ座標系上に撮像画像Ｐ（ｎ）と撮像画像Ｐ（ｎ＋１）を並べたときの境界RL－nから境界RL－（n＋1）までの距離をＲＷとする。なお、境界RL－（n＋1）は、撮像画像Ｐ（ｎ）の境界RL－nに対応する撮像画像Ｐ（ｎ＋１）上の境界である。

　この場合、ｍフレーム目の短冊画像ＴＬ（ｎ）－ｍの切り出し位置は、１フレーム目の短冊画像ＴＬ（ｎ）の切り出し位置から図１７中、左側に距離ＲＷの（ｍ－１）倍の距離だけずれた位置とされる。

　このように、短冊画像の切り出し位置をフレームごとにずらしながら、パノラマ動画像の各フレームの画像データを生成すると、例えば図１８に示すような立体パノラマ動画像が得られる。なお、図１８において図中、横方向は図１７における横方向に対応している。例えば、図１８における横方向はｘｙ座標系のｘ方向に対応する。

　図１８の例では、各フレームの撮像画像から切り出された短冊画像ＴＬ（１）－１乃至短冊画像ＴＬ（３）－１などから、左眼用のパノラマ動画像の１フレーム目を構成するパノラマ画像ＷＰＬ－１が生成される。また、それらの短冊画像から左にずれた位置から切り出された、短冊画像ＴＬ（２）－２、短冊画像ＴＬ（３）－２などから、左眼用のパノラマ動画像の２フレーム目を構成するパノラマ画像ＷＰＬ－２が生成される。

　同様に、撮像画像から切り出された短冊画像ＴＲ（ｍ－１）－１乃至短冊画像ＴＲ（ｍ＋１）－１などから、右眼用のパノラマ動画像の１フレーム目を構成するパノラマ画像ＷＰＲ－１が生成される。また、それらの短冊画像から左にずれた位置から切り出された、短冊画像ＴＲ（ｍ）－２、短冊画像ＴＲ（ｍ＋１）－２などから、右眼用のパノラマ動画像の２フレーム目を構成するパノラマ画像ＷＰＲ－２が生成される。

［撮像装置の構成］
　このように、右眼用および左眼用のパノラマ動画像からなる立体パノラマ動画像を生成する撮像装置１１は、例えば図１９に示すように構成される。なお、図１９において、図１における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。

　図１９の撮像装置１１では、図１の信号処理部２４および表示部３１に代えて、新たに信号処理部２３１および表示部２３２が設けられている。

　信号処理部２３１は、撮像装置１１の全体を制御し、例えばバッファメモリ２６から撮像画像を読み出して、立体パノラマ動画像を生成する。表示部２３２は、例えばLCDやレンチキュラレンズからなり、レンチキュラ方式で立体画像を表示する。

［信号処理部の構成］
　また、図１９の信号処理部２３１は、より詳細には、図２０に示すように構成される。なお、図２０において、図２における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。

　短冊画像生成部２４１は、バス２５を介して供給された撮像画像および中心座標を用いて、撮像画像上の所定の領域を切り出して短冊画像とし、パノラマ動画生成部２４２に供給する。短冊画像生成部２４１には、右眼用の短冊画像を生成する右眼用短冊画像生成部２５１と、左眼用の短冊画像を生成する左眼用短冊画像生成部２５２が設けられている。

　パノラマ動画生成部２４２は、短冊画像生成部２４１からの短冊画像を合成してパノラマ動画像を生成する。パノラマ動画生成部２４２には、右眼用の短冊画像から右眼用のパノラマ動画像を生成する右眼用パノラマ動画生成部２５３と、左眼用の短冊画像から左眼用のパノラマ動画像を生成する左眼用パノラマ動画生成部２５４とが設けられている。

［立体パノラマ動画生成処理の説明］
　次に、図２１のフローチャートを参照して、図１９の撮像装置１１により行われる立体パノラマ動画生成処理について説明する。

　なお、ステップＳ１７１乃至ステップＳ１７５の処理は、図４のステップＳ１１乃至ステップＳ１５の処理と同様であるので、その説明は省略する。すなわち、撮像により得られた撮像画像と、中心座標とがバッファメモリ２６に記録される。

　ステップＳ１７６において、右眼用短冊画像生成部２５１および左眼用短冊画像生成部２５２は、バッファメモリ２６から、Ｎ枚の撮像画像とその中心座標を取得し、取得した撮像画像および中心座標に基づいて、右眼用および左眼用の短冊画像を生成する。

　すなわち、図４のステップＳ１６の処理と同様の処理が行われて、右眼用および左眼用の短冊画像が生成される。なお、短冊画像の切り出し位置は、図１７を参照して説明したように、フレームごとに図１７中、左方向に所定の距離だけずらされていく。例えば、１フレーム目のパノラマ動画像の生成に用いる短冊画像であれば、撮像画像Ｐ（ｎ）からは、右眼用の短冊画像ＴＲ（ｎ）および左眼用の短冊画像ＴＬ（ｎ）が切り出される。

　右眼用短冊画像生成部２５１および左眼用短冊画像生成部２５２は、各撮像画像から短冊画像を生成すると、得られた短冊画像と各撮像画像の中心座標とをパノラマ動画生成部２４２に供給する。

　ステップＳ１７７において、右眼用パノラマ動画生成部２５３および左眼用パノラマ動画生成部２５４は、短冊画像生成部２４１から供給された短冊画像および中心座標に基づいて、各フレームの短冊画像を合成し、１フレーム分の立体パノラマ動画像を生成する。

　すなわち、右眼用パノラマ動画生成部２５３は、図４のステップＳ１７の処理と同様の処理を行って、各右眼用の短冊画像を並べて合成し、１フレーム分の右眼用のパノラマ動画像の画像データを生成する。このとき、ステップＳ１７の処理の場合と同様に、右眼用の短冊画像ＴＲ（ｎ）における境界ML（L）－nから境界MR（L）－nまでの領域については、短冊画像ＴＲ（ｎ－１）の端部分の領域との重み付き加算により、パノラマ画像の画素の画素値が求められる。

　また、左眼用パノラマ動画生成部２５４は、図４のステップＳ１７の処理と同様の処理を行って、各左眼用の短冊画像を並べて合成し、１フレーム分の左眼用のパノラマ動画像の画像データを生成する。このとき、ステップＳ１７の処理の場合と同様に、左眼用の短冊画像ＴＬ（ｎ）における境界ML（R）－nから境界MR（R）－nまでの領域については、短冊画像ＴＬ（ｎ－１）の端部分の領域との重み付き加算により、パノラマ画像の画素の画素値が求められる。

　このようにして、右眼用および左眼用のパノラマ動画像の画像データからなる、１フレーム分の立体パノラマ動画像が生成されると、それらのパノラマ動画像のデータは、パノラマ動画生成部２４２から、圧縮伸張部２７に供給される。

　そして、その後、ステップＳ１７８乃至ステップＳ１８０の処理が行われるが、これらの処理は、図４のステップＳ１８乃至ステップＳ２０の処理と同様であるので、その説明は省略する。なお、ステップＳ１８０においてデコードされたパノラマ動画像は、圧縮伸張部２７から表示制御部３０に供給される。

　ステップＳ１８１において、表示制御部３０は、圧縮伸張部２７からの各フレームの右眼用および左眼用のパノラマ動画像を、レンチキュラ方式により、所定の時間間隔で順番に表示部２３２に供給して、立体パノラマ動画像を表示させる。

　すなわち、表示部２３２は、各フレームの右眼用および左眼用のパノラマ動画像をいくつかの短冊状の画像に分割し、分割した右眼用の画像および左眼用の画像を所定の方向に交互に並べて表示することにより、立体パノラマ動画像を表示する。このようにして分割されて表示された右眼用のパノラマ動画像と、左眼用のパノラマ動画像の光は、それぞれ表示部２３２を構成するレンチキュラレンズにより、表示部２３２を見るユーザの右眼および左眼に導かれ、結像する。これにより、ユーザの目には、立体的なパノラマ動画像が観察される。

　表示部２３２に立体パノラマ動画像が表示（再生）されると、立体パノラマ動画生成処理は終了する。

　このようにして、撮像装置１１は、異なる時刻に撮像された複数の撮像画像のそれぞれから、切り出し領域をずらしながら複数の右眼用および左眼用の短冊画像を生成し、短冊画像を合成して各フレームの立体パノラマ動画像を生成する。

　このようにして生成された立体パノラマ動画像によれば、撮像された被写体に動きを持たせ、その動きを表現することができるだけでなく、被写体を立体的に表示することができるので、撮像された被写体の画像をより効果的に表示することができる。

　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

　図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。

　バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインターフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。

　以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

　そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

　１１　撮像装置，　２２　撮像部，　２４　信号処理部，　６１　動き推定部，　６２　短冊画像生成部，　６３　パノラマ動画生成部，　７１　座標算出部，　１１１　動き検出部，　１１２　撮像間隔制御部，　１４１　記録制御部，　２０１　回動速度制御部，　２３１　信号処理部，　２３２　表示部，　２５１　右眼用短冊画像生成部，　２５２　左眼用短冊画像生成部，　２５３　右眼用パノラマ動画生成部，　２５４　左眼用パノラマ動画生成部

Claims (10)

1. 　撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、異なる前記撮像画像に含まれる同じ被写体が重なるように、複数の前記撮像画像を所定の平面上に並べたときの前記撮像画像のぞれぞれの相対的な位置関係を示す位置情報を生成する位置情報生成手段と、
   　複数の前記撮像画像のそれぞれについて、前記位置情報に基づいて複数の前記撮像画像を前記平面上に並べた場合に、前記撮像画像上の所定の基準位置から、前記平面上で前記撮像画像と重ねて並べられた他の撮像画像の前記基準位置までの前記撮像画像上の領域を切り出して、前記領域を含む短冊画像を生成する短冊画像生成手段と、
   　複数の前記撮像画像から得られた前記短冊画像のそれぞれを並べて合成することにより、１つのパノラマ画像を生成するパノラマ画像生成手段と
   　を備え、
   　前記短冊画像生成手段は、複数の前記撮像画像について、前記撮像画像上の前記領域を所定方向にずらしながら、前記撮像画像から複数の前記短冊画像を生成し、
   　前記パノラマ画像生成手段は、前記領域の位置ごとに前記パノラマ画像を生成することで、撮像空間上の同じ領域の画像が表示される複数の前記パノラマ画像からなる画像群を生成する
   　画像処理装置。
2. 　複数の前記パノラマ画像を所定の時間間隔で順番に表示させる表示制御手段をさらに備える
   　請求項１に記載の画像処理装置。
3. 　前記位置情報生成手段は、前記撮像画像上の予め定められた複数のブロック領域を用いて、前記撮像画像よりも前の時刻に撮像された撮像画像から、複数の前記ブロック領域と対応するブロック対応領域のそれぞれを探索することにより、前記位置情報を生成する
   　請求項１に記載の画像処理装置。
4. 　前記位置情報生成手段は、複数の前記ブロック領域の相対的な位置関係と、複数の前記ブロック対応領域の相対的な位置関係とに基づいて、動きのある被写体が含まれる前記ブロック領域を検出し、前記動きのある被写体が含まれる前記ブロック領域が検出された場合、複数の前記ブロック領域のうち、検出された前記ブロック領域とは異なる前記ブロック領域を用いて前記ブロック対応領域を探索することにより、前記位置情報を生成する
   　請求項３に記載の画像処理装置。
5. 　前記撮像画像と、その前記撮像画像よりも前の時刻に撮像された前記撮像画像とを用いて、前記撮像画像から動きを検出する動き検出手段と、
   　前記動きが検出されなかった場合、第１の時間間隔で前記撮像画像が撮像され、前記動きが検出された場合、前記第１の時間間隔よりも短い第２の時間間隔で前記撮像画像が撮像されるように、前記撮像手段を制御する撮像制御手段と
   　をさらに備える請求項１に記載の画像処理装置。
6. 　前記撮像画像と、その前記撮像画像よりも前の時刻に撮像された前記撮像画像とを用いて、前記撮像画像から動きを検出する動き検出手段と、
   　前記動きの検出されなかった前記撮像画像を破棄する破棄手段と
   　をさらに備え、
   　破棄された前記撮像画像は、前記短冊画像の生成には用いられない
   　請求項１に記載の画像処理装置。
7. 　前記撮像画像と、その前記撮像画像よりも前の時刻に撮像された前記撮像画像とを用いて、前記撮像画像から動きを検出する動き検出手段と、
   　前記動きの検出結果に応じた速度で前記撮像手段を移動させる移動手段と
   　をさらに備える請求項１に記載の画像処理装置。
8. 　前記短冊画像生成手段は、第１の位置を前記基準位置として前記撮像画像から第１の短冊画像を生成するとともに、第１の位置とは異なる第２の位置を前記基準位置として前記撮像画像から第２の短冊画像を生成し、
   　前記パノラマ画像生成手段は、複数の前記撮像画像から得られた前記１の短冊画像および前記第２の短冊画像に基づいて、互いに視差を有する第１のパノラマ画像群および第２のパノラマ画像群を生成する
   　請求項１に記載の画像処理装置。
9. 　撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、異なる前記撮像画像に含まれる同じ被写体が重なるように、複数の前記撮像画像を所定の平面上に並べたときの前記撮像画像のぞれぞれの相対的な位置関係を示す位置情報を生成する位置情報生成手段と、
   　複数の前記撮像画像のそれぞれについて、前記位置情報に基づいて複数の前記撮像画像を前記平面上に並べた場合に、前記撮像画像上の所定の基準位置から、前記平面上で前記撮像画像と重ねて並べられた他の撮像画像の前記基準位置までの前記撮像画像上の領域を切り出して、前記領域を含む短冊画像を生成する短冊画像生成手段と、
   　複数の前記撮像画像から得られた前記短冊画像のそれぞれを並べて合成することにより、１つのパノラマ画像を生成するパノラマ画像生成手段と
   　を備える画像処理装置の画像処理方法であって、
   　前記位置情報生成手段が、複数の前記撮像画像から前記位置情報を生成し、
   　前記短冊画像生成手段が、複数の前記撮像画像について、前記撮像画像上の前記領域を所定方向にずらしながら、前記撮像画像から複数の前記短冊画像を生成し、
   　前記パノラマ画像生成手段が、前記領域の位置ごとに前記パノラマ画像を生成することで、撮像空間上の同じ領域の画像が表示される複数の前記パノラマ画像からなる画像群を生成する
   　ステップを含む画像処理方法。
10. 　撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、異なる前記撮像画像に含まれる同じ被写体が重なるように、複数の前記撮像画像を所定の平面上に並べたときの前記撮像画像のぞれぞれの相対的な位置関係を示す位置情報を生成する位置情報生成ステップと、
    　複数の前記撮像画像のそれぞれについて、前記位置情報に基づいて複数の前記撮像画像を前記平面上に並べた場合に、前記撮像画像上の所定の基準位置から、前記平面上で前記撮像画像と重ねて並べられた他の撮像画像の前記基準位置までの前記撮像画像上の領域を切り出して、前記領域を含む短冊画像を生成する短冊画像生成ステップと、
    　複数の前記撮像画像から得られた前記短冊画像のそれぞれを並べて合成することにより、１つのパノラマ画像を生成するパノラマ画像生成ステップと
    　を含む処理をコンピュータに実行させ、
    　前記短冊画像生成ステップにおいて、複数の前記撮像画像について、前記撮像画像上の前記領域を所定方向にずらしながら、前記撮像画像から複数の前記短冊画像を生成させ、　前記パノラマ画像生成ステップにおいて、前記領域の位置ごとに前記パノラマ画像を生成することで、撮像空間上の同じ領域の画像が表示される複数の前記パノラマ画像からなる画像群を生成させる
    　プログラム。

Images