JP5116416B2 - パノラマ映像生成装置及び方法 - Google Patents

Description

本発明は、パノラマ映像の生成に係り、特に色々な方向で撮影された複数の映像を迅速かつ正確に連結してパノラマ映像を生成する技法に関する。

パノラマ映像とは、色々な方向で撮影された一連の映像を適切に連結することによって生成された映像を意味する。かかるパノラマ映像は、単一方向で撮影された一つの映像に比べて、撮影者周囲の場面に対するより広い視野（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）を提供することによって、観察者がより事実的な映像に没入可能にする。

パノラマ映像の生成のために使われる複数の撮影された映像は、互いに一部分が重なる。具体的に、直前に撮影された映像の一側と現在撮影された映像の他側とは互いに重なる。このように重なった部分が互いに正確に重なった状態で映像が連結されるように、さらに現実感のあるパノラマ映像を期待できる。

従来のパノラマ映像生成装置は、カメラが三脚架に固定されたままで３６０°回転し、複数回撮影した複数の映像を利用することによって最も現実感のあるパノラマ映像を生成できる。これは、従来のパノラマ映像生成装置は、互いに隣接した映像のうち少なくとも一つの映像を固定的な一方向に移動させて、その重なった部分を互いに重ねるためである。もし、撮影者がカメラを手に握ったままで腕をある経路に沿って動かし、色々な方向に向かって複数回撮影するならば、撮影者が意図した経路と腕が実際に動いた経路とは微細に異なり、指で撮影ボタンを押す時、意図しない方向にカメラがすこしでも回転するので、従来のパノラマ映像生成装置は、互いに隣接した映像の重なった部分を互いに正確に重ねないという問題点を有する。

これにより、移動して複数回撮影することによって複数の映像を獲得するカメラの移動経路が複数の方向性を有する場合でも、互いに隣接した映像の重なった部分を互いに正確に重ねるパノラマ映像生成方案が要求されている。一方、その新たに要求される方案によれば、パノラマ映像の生成に多くの演算量と長時間を要求する恐れがあるので、それを取り除く方案も共に要求されている実情である。かかる恐れは、パノラマ映像生成装置が携帯用端末器に採用された場合にさらに目立つ。

本発明が解決しようとする課題は、互いに連結しようとする映像の重なった部分を正確に重ねるパノラマ映像生成装置を提供するところにある。

本発明が解決しようとする他の課題は、互いに連結しようとする映像の重なった部分を正確に重ねるパノラマ映像生成方法を提供するところにある。

本発明が解決しようとするさらに他の課題は、互いに連結しようとする映像の重なった部分を正確に重ねるコンピュータプログラムを保存するコンピュータで読み取り可能な記録媒体を提供するところにある。

前記課題を解決するために、本発明によるパノラマ映像生成装置は、直前に撮影された映像と現在撮影された映像とを既定の曲面に投影して第１及び第２マッピング映像を生成するマッピング部と、
各方向ごとに、前記直前に撮影された映像及び前記現在撮影された映像のうち少なくとも一つまたは前記第１マッピング映像及び前記第２マッピング映像のうち少なくとも一つを移動させ、前記直前に撮影された
映像及び前記現在撮影された映像、または前記第１マッピング映像及び前記第２マッピング映像の重なった色相情報間の類似度を演算し、演算された類似度が最大になる適正移動量を決定する演算部と、前記第１及び第２マッピング映像と前記決定された適正移動量とを利用してパノラマ映像を生成する映像整列部と、を備えることが望ましい。

前記課題を解決するために、本発明によるパノラマ映像生成方法は、直前に撮影された映像と現在撮影された映像とを既定の曲面に投影して第１及び第２マッピング映像を生成する（ａ）ステップと、各方向ごとに、前記直前に撮影された映像及び前記現在撮影された映像のうち少なくとも一つまたは前記第１マッピング映像及び前記第２マッピング映像のうち少なくとも一つを移動させる（ｂ）ステップと、前記直前に撮影された映像及び前記現在撮影された映像、または前記第１マッピング映像及び前記第２マッピング映像の重なった色相情報間の類似度を演算する（ｃ）ステップと、演算された類似度が最大になる適正移動量を決定する（ｄ）ステップと、前記第１及び第２マッピング映像と前記決定された適正移動量とを利用してパノラマ映像を生成する（ｅ）ステップと、を含むことが望ましい。

前記さらに他の課題を解決するために、本発明によるコンピュータで読み取り可能な記録媒体は、直前に撮影された映像と現在撮影された映像とを既定の曲面に投影して第１及び第２マッピング映像を生成する（ａ）ステップと、各方向ごとに、前記直前に撮影された映像及び前記現在撮影された映像のうち少なくとも一つまたは前記第１マッピング映像及び前記第２マッピング映像のうち少なくとも一つを移動させる（ｂ）ステップと、前記直前に撮影された映像及び前記現在撮影された映像、または前記第１マッピング映像及び前記第２マッピング映像の重なった色相情報間の類似度を演算する（ｃ）ステップと、演算された類似度が最大になる適正移動量を決定する（ｄ）ステップと、前記第１及び第２マッピング映像と前記決定された適正移動量とを利用してパノラマ映像を生成する（ｅ）ステップと、を行うコンピュータプログラムを保存することが望ましい。

本発明によるパノラマ映像生成装置及び方法は、撮影者がカメラを手に握ったままで腕を所定の経路に沿って動かし、色々な方向で複数回撮影する場合のように、移動しつつ複数回撮影することによって複数の映像を獲得するカメラの移動経路が複数の方向性を有する場合でも、互いに隣接した映像の重なった部分を互いに正確に重ねる。

さらに、本発明は、互いに連結しようとする映像それぞれの適正移動量の演算において、適正移動量が演算されたことがある映像の適正移動量は再度演算しないことによって、パノラマ映像を迅速に生成する。たとえ、本発明が、適正移動量が演算されたことがある映像の適正移動量を再度演算しても、本発明は、ｘ軸、ｙ軸、ｚ軸のような３個の軸を中心に回転する３個の回転角で表現される移動量を、二つの軸を中心に回転する３個の回転角に変えて表現することによって、パノラマ映像を迅速に生成する。

特に、広域パノラマ映像を生成する本発明は、複数の映像の連結において、隣接した二つの映像のうち一つの映像をローリング方向またはパンニング方向のように一つの方向に移動させれば、二つの映像間に少なくとも一部が重なる場合（例えば、同一形状、同一面積の二つの映像の中心がいずれも赤道または経度上に位置する場合）に限って二つの映像それぞれの適正移動量を演算し、隣接した二つの映像のうち一つの映像をローリング方向及びパンニング方向のように複数の方向に移動させて初めて、二つの映像間に少なくとも一部が重なる場合（例えば、同一形状、同一面積の二つの映像の中心が赤道に平行な線上に位置する場合）には、二つの映像の適正移動量を演算しないことによって、適正移動量を迅速に演算するので、窮極的にパノラマ映像をさらに迅速に生成する。これにより、前述した第５実施形態において、第１部分映像（図示せず）と第２部分映像（図示せず）との連結、第３部分映像（図示せず）と第４部分映像（図示せず）との連結は、広域パノラマ映像を生成するための過程のうち一つである一方、第１部分映像（図示せず）と第４部分映像（図示せず）との連結は、広域パノラマ映像を生成するための過程のうちどこにも属しない。

また、本発明は、適正移動量をローリング方向、パンニング方向、垂直方向のように色々な方向それぞれに演算するに当って、特定の方向、例えばローリング方向への適正移動量は、低解像度の映像に対して演算し、他の特定の方向、例えばパンニング方向、垂直方向それぞれへの適正移動量は、高解像度の映像に対して演算するなど方向別に映像の解像度を異ならせて演算できる。結局、本発明によれば、演算量が少ないと予想され、正確な数値が要求される適正移動量は、高解像度の映像に対して演算することによって、正確な適正移動量の演算を図り、演算量が少ないと予想され、多少不正確な数値であってもよい適正移動量は、低解像度の映像に対して演算することによって、迅速な適正移動量の演算を図る。

一方、本発明は、メモリ（例えば、映像保存部２１４）に保存された直前に撮影された映像と現在撮影された映像とを利用してパノラマ映像を生成すれば、その直前に撮影された映像をメモリから削除するので、複数の映像を利用してパノラマ映像の生成に要求されるメモリ量を最小化する。

このように、本発明によるパノラマ映像生成装置及び方法は、さらに現実感のあるパノラマ映像を迅速に生成することはいうまでもなく、最小限のメモリ量を要求するので、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）のような一般的なコンピュータに比べて演算能力及び保存能力が不足な携帯用端末機にも無理なく採用される。

また、本発明は、直前に撮影された映像の所定部分を表示部の一部領域に表示すると共に、現在撮影された映像として撮影可能な映像を、表示部の他の領域を含む領域に表示することによって撮影者の撮影を案内するので、撮影しようとする方向を目積もりで決定する撮影者に撮影便宜を提供する。

本発明と、本発明の動作上の利点及び本発明の実施によって達成される目的を十分に理解するためには、本発明の望ましい実施形態を例示する添付図面及び添付図面を説明する内容を参照せねばならない。

以下、本発明によるパノラマ映像生成装置及び方法を、添付した図面を参照して次のように説明する。

図１Ａは、撮影装備１００を示す図である。撮影装備１００とは、デジタルカメラ、撮影機能を有する携帯電話のように撮影機能を有する装備を意味する。本発明は、撮影装備１００が撮影した複数の映像（すなわち、写真）を利用してパノラマ映像を生成する。

図１Ａに示したように、ｘ軸、ｙ軸、ｚ軸は互いに直交することが望ましい。かかるｘ軸、ｙ軸、ｚ軸は、図１Ａに示したものと異なって設定されることもあるが、説明の便宜上、図１Ａに示したように設定されると仮定する。かかる仮定下で、ｚ軸は、撮影しようとする方向を意味する。ここで、撮影しようとする方向は、シャッタ１０２が指す方向となりうる。識別記号Ｏは、ｘ軸、ｙ軸、ｚ軸の交差点を意味する。

本明細書において、ピッチ方向１０４、パンニング方向１０６、ローリング方向１０８それぞれは、ｘ軸を中心に回転する方向、ｙ軸を中心に回転する方向、ｚ軸を中心に回転する方向それぞれを意味する。さらに、本明細書において、ピッチ角度、パンニング角度、ローリング角度それぞれは、ピッチ方向１０４に移動した移動量、パンニング方向１０６に移動した移動量、ローリング方向１０８に移動した移動量それぞれを意味する。以下、ピッチ方向１０４、パンニング方向１０６、ローリング方向１０８それぞれの正の方向は、図１Ａに示した方向の逆方向でもあるが、説明の便宜上、図１Ａに示した方向と仮定する。

図１Ｂ、図１Ｃ及び図１Ｄは、水平パノラマ映像を説明するための図であり、図１Ｅ及び図１Ｆは、広域パノラマ映像を説明するための図である。

水平パノラマ映像及び広域パノラマ映像は、本発明により生成されるパノラマ映像の一例であるところ、本明細書では、本発明の説明に当って、水平パノラマ映像を生成する場合と広域パノラマ映像を生成する場合とを区分しようとする。

水平パノラマ映像とは、‘撮影装備１００を手に握っている撮影者’、‘撮影者の身体一部（例えば、撮影装備１００を手に握っている腕）’または‘撮影装備１００’が固定された位置Ｃを中心に回転することによって、撮影方向を直線軌跡に沿って変更させつつ複数回撮影した一連の映像１１０，１１２，１１４，１１６を利用して生成されたパノラマ映像を意味する。

図１Ｂに示したように、符号１１０，１１２，１１４，１１６それぞれは、第ｍ（ただし、ｍは自然数）撮影映像、第ｍ＋１撮影映像、第ｍ＋２撮影映像、第ｍ＋３撮影映像それぞれを意味し、第ｍ＋３撮影映像、第ｍ＋２撮影映像、第ｍ＋１撮影映像、第ｍ撮影映像それぞれを意味することもあり、以下、説明の便宜上、第１撮影映像、第２撮影映像、第３撮影映像、第４撮影映像それぞれと仮定する。本明細書において、撮影映像とは、撮影された映像、すなわち写真を意味し、第ｍ撮影映像は、ｍ番目に撮影された映像を意味する。

図１Ｃに示したように、符号Ｃは、色々な方向で撮影された一連の映像を獲得するために要求される回転移動経路の中心を意味する。例えば、撮影装備１００が回転運動する三脚架に固定されたままで複数回撮影するならば、符号Ｃは、三脚架を意味し、不動の撮影者が撮影装備１００を手に握ったままで腕をある経路に沿って動かしつつ色々な方向で複数回撮影するならば、符号Ｃは、撮影者（厳密には、動く腕側の肩）を意味する。

図１Ｄに示したように、符号１１１，１１３，１１５，１１７は、第ｍ投影映像、第ｍ＋１投影映像、第ｍ＋２投影映像、第ｍ＋３投影映像を意味することもあり、第ｍ＋３投影映像、第ｍ＋２投影映像、第ｍ＋１投影映像、第ｍ投影映像を意味することもあり、以下、説明の便宜上、第１投影映像ないし第４投影映像と仮定する。本明細書において、マッピング映像とは、撮影映像が既定の曲面に投影された結果を意味し、第ｍ投影映像とは、第ｍ撮影映像がその曲面に投影されて生成されたマッピング映像を意味する。

水平パノラマ映像は、撮影映像１１０，１１２，１１４，１１６を既定の曲面に投影してマッピング映像１１１，１１３，１１５，１１７を生成し、生成されたマッピング映像１１１，１１３，１１５，１１７を互いに連結することによって生成される。ここで、既定の曲面は、‘円筒の横面’（以下、‘円筒面’）の少なくとも一部である。このとき、円筒は、図１Ｃに示したように断面積の一定な円柱であってもよく、図１Ｃに示したものと異なり、断面積の一定でない円柱であってもよい。

図１Ｄに示した円は、円筒面の断面を表す。図１Ｄに示したように、撮影映像１１０，１１２，１１４または１１６は、中心が円筒面上に存在し、マッピング映像１１１，１１３，１１５または１１７は、あらゆる領域が円筒面上に存在する。

広域パノラマ映像とは、‘撮影装備１００を手に握っている撮影者’、‘撮影者の身体一部（例えば、撮影装備１００を手に握っている腕）’または‘撮影装備１００’が固定された位置Ｃを中心に回転することによって、撮影方向を曲線軌跡に沿って変更させ、複数回撮影した一連の映像１５０，１５２，１５４，１５６を利用して生成されたパノラマ映像を意味する。

図１Ｅ及び図１Ｆに示したように、符号１５０ないし１５７それぞれは、第ｎ（ただし、ｎは自然数）撮影映像、第ｎ投影映像、第ｎ＋１撮影映像、第ｎ＋１投影映像、第ｎ＋２撮影映像、第ｎ＋２投影映像、第ｎ＋３撮影映像、第ｎ＋３投影映像それぞれを意味し、第ｎ＋１撮影映像、第ｎ＋１投影映像、第ｎ＋２撮影映像、第ｎ＋２投影映像、第ｎ＋３撮影映像、第ｎ＋３投影映像、第ｎ撮影映像、第ｎ投影映像それぞれを意味することもあり、第ｎ＋２撮影映像、第ｎ＋２投影映像、第ｎ＋３撮影映像、第ｎ＋３投影映像、第ｎ撮影映像、第ｎ投影映像、第ｎ＋１撮影映像、第ｎ＋１投影映像それぞれを意味することもあり、第ｎ＋３撮影映像、第ｎ＋３投影映像、第ｎ撮影映像、第ｎ投影映像、第ｎ＋１撮影映像、第ｎ＋１投影映像、第ｎ＋２撮影映像、第ｎ＋２投影映像それぞれを意味することもあり、以下、説明の便宜上、第１撮影映像、第１投影映像、第２撮影映像、第２投影映像、第３撮影映像、第３投影映像、第４撮影映像、第４投影映像それぞれと仮定する。

広域パノラマ映像は、撮影映像１５０，１５２，１５４，１５６を既定の曲面に投影してマッピング映像１５１，１５３，１５５，１５７を生成し、生成されたマッピング映像１５１，１５３，１５５，１５７を連結することによって生成される。ここで、既定の曲面は、‘球の表面’（以下、‘球面’）の少なくとも一部である。図１Ｆに示したように、撮影映像１５０，１５２，１５４または１５６は、中心が球面上に存在し、マッピング映像１５１，１５３，１５５または１５７は、あらゆる領域が球面上に存在する。

図１Ｆに示したように、符号Ｃは、図１Ｃ及び図１Ｄに示したＣと同じであり、Ｐ，Ｑ，Ｅ，Ｖ１，Ｖ２，Ｐ１，Ｐ２，Ｐ３，Ｐ４，α，θそれぞれは、球の北極、球の南極、球の赤道、球のいずれか一つの経度、球の他の経度、第１撮影映像１５０の中心（または、第１投影映像１５１の中心）、第２撮影映像１５２の中心（または、第２投影映像１５３の中心）、第３撮影映像１５４の中心（または、第３投影映像１５５の中心）、第４撮影映像１５６の中心（または、第４投影映像１５７の中心）、第２撮影映像１５２（または、第２投影映像１５３）と第３撮影映像１５４（または、第３投影映像１５５）との間に存在するパンニング角度、第１撮影映像１５０と第２撮影映像１５２（または、第３撮影映像１５４と第４撮影映像１５６）との間に存在するピッチ角度それぞれを意味する。図１Ｆに示したように、Ｐ２，Ｐ３は、赤道Ｅ上に位置し、Ｐ１，Ｐ４は、赤道Ｅに平行な線に位置する。

以下、本発明により水平パノラマ映像を生成する原理は、図１Ｂに示した撮影映像１１０，１１２，１１４，１１６を利用して説明し、本発明により広域パノラマ映像を生成する原理は、図１Ｅに示した撮影映像１５０，１５２，１５４，１５６を利用して説明する。このとき、説明の便宜上、４個の撮影映像を利用してパノラマ映像を生成するだけであり、パノラマ映像の生成時に利用される撮影映像の個数は４個に制限されない。

図２は、本発明によるパノラマ映像生成装置を説明するためのブロック図であって、パノラマ映像生成装置は、表示部２１０、撮影部２１２、映像保存部２１４、案内映像生成部２１６、読み取り部２１８、マッピング部２２０、演算部２２２、映像整列部２２４及び映像削除部２２６を備える。表示部２１０ないし映像削除部２２６は、いずれも図１に示した撮影装備１００に備えられることが望ましい。

表示部２１０は、撮影しようとする映像を表示する。具体的に、表示部２１０は、撮影装備１００の外部の映像（以下、原本映像）のうち、撮影装備１００に備えられたレンズ（図示せず）を通じて見られる映像を表示する。

撮影者は、表示される映像を観察するうちに撮影しようとする映像を発見でき、この場合、撮影装備１００に備えられた撮影ボタン１０１を操作する。このとき、操作は、加圧であってもよく、接触であってもよい。

このように撮影ボタン１０１が操作されれば、撮影部２１２は、撮影ボタン１０１が操作される当時に表示部２１０に表示されていた映像を撮影し、映像保存部２１４は、撮影された映像を保存する。

案内映像生成部２１６は、撮影部２１２が最近に撮影した映像を利用して案内映像を生成し、生成された案内映像を表示部２１０に提供する。この場合、表示部２１０は、‘提供された案内映像’と‘現在撮影可能な映像’とを共に表示する。これにより、案内映像は、撮影者が‘撮影しようとする方向’を決定するのに役に立つ。一方、このように案内映像に助けられて映像を撮影しても、表示されていた原本映像のみが撮影され、案内映像は撮影されない。

読み取り部２１８は、映像保存部２１４に保存された映像を読み取り、マッピング部２２０は、読み取られた映像を既定の曲面に投影してマッピング映像を生成する。または、マッピング部２２０は、撮影部２１２から入力された撮影映像を既定の曲面に投影してマッピング映像を生成することもできる。前述したように、既定の曲面は、円筒面を意味してもよく、球面を意味してもよい。

マッピング部２２０は、直前に撮影された映像と現在撮影された映像とを既定の曲面に投影して、第１マッピング映像と第２マッピング映像とを生成する。本明細書において、第１マッピング映像とは、直前に撮影された映像のマッピング映像を意味し、第２マッピング映像とは、現在撮影された映像のマッピング映像を意味し、直前に撮影された映像と現在撮影された映像とは、第ｐ（ただし、ｐは自然数）撮影映像と第ｐ＋１撮影映像とを意味し、第１マッピング映像と第２マッピング映像とは、第ｐ投影映像と第ｐ＋１投影映像とを意味する。

演算部２２２は、‘第１マッピング映像と第２マッピング映像との重なった色相情報間の類似度を最大にする移動量’（以下、‘適正移動量’）を既定の各方向別に演算する。ここで、移動量は、撮影映像の移動量であってもよく、マッピング映像の移動量であってもよい。すなわち、移動量は、直前に撮影された映像と現在撮影された映像のうち少なくとも一つの移動量であってもよく、第１マッピング映像と第２マッピング映像のうち少なくとも一つの移動量であってもよい。移動量が撮影映像の移動量であるか、またはマッピング映像の移動量であるかは、どの方向の移動量であるかによって変わる。

一方、撮影方向を異ならせて撮影された映像の間には、重なったピクセルが存在できないので（図１Ｃ、図１Ｄ及び図１Ｆを参照）、撮影映像の適正移動量を演算しようとする演算部２２２は、直前に撮影された映像と現在撮影された映像のうち一方を他方が属する平面に投影した後、適正移動量を演算することが望ましい。このとき、演算部２２２により行われる投影は、撮影装備１００の焦点距離と関係なく行われ、投影により映像の形状及び面積が変わらない。

適正移動量の候補は、各方向ごとに既定されていることが望ましい。この場合、演算部２２２は、各方向ごとに一つの候補を選択し、直前に撮影された映像と現在撮影された映像のうち少なくとも一つ（または、第１マッピング映像と第２マッピング映像のうち少なくとも一つ）をその選択された候補ほど移動させたと仮定し、直前に撮影された映像と現在撮影された映像（または、第１マッピング映像と第２マッピング映像）との重なった色相情報間の類似度を演算し、演算された類似度が最大になる候補を適正移動量と決定する。

本明細書において、重なった色相情報間の類似度が最大ということは、重なったピクセルそれぞれにその重なった色相情報間の類似度を演算した結果、その演算された類似度が最大であることを意味する。ここで、演算された類似度が最大ということは、ある一定な類似度、例えば９０％以上の類似度が演算されたピクセルが全体の重なったピクセルのうち占める比率が最大であることを意味してもよく、演算された類似度の平均値が最大であることを意味してもよい。

例えば、第１マッピング映像の右側を構成する１００個のピクセルと、第２マッピング映像の左側を構成する１００個のピクセルとが互いに重なるならば、演算部２２２は、既定の各方向ごとに適正移動量として一つの候補を選択し、第１マッピング映像と第２マッピング映像それぞれをその選択された候補ほど移動させたと仮定し、１００個のピクセルそれぞれにその重なった色相情報間の類似度を演算し、演算された類似度の平均値が最大になる候補を探し、探した候補を適正移動量と決定する。

演算部２２２は、直前に撮影された映像と現在撮影された映像それぞれの適正移動量を演算してもよく、第１マッピング映像と第２マッピング映像それぞれの適正移動量を演算してもよい。ここで、撮影映像別に適正移動量を演算するということは、直前に撮影された映像の適正移動量と現在撮影された映像の適正移動量とが異なることを意味する。同様に、マッピング映像別に適正移動量を演算するということは、第１マッピング映像の適正移動量と第２マッピング映像の適正移動量とが異なることを意味する。

すなわち、撮影部２１２が第１撮影映像１１０または１５０、第２撮影映像１１２または１５２を獲得すれば、演算部２２２は、第１撮影映像１１０または１５０及び第２撮影映像１１２または１５２（または、第１投影映像１１１または１５１及び第２投影映像１１３または１５３）それぞれの適正移動量を演算する。次いで、撮影部２１２が第３撮影映像１１４または１５４を獲得すれば、演算部２２２は、第２撮影映像１１２または１５２及び第３撮影映像１１４または１５４（または、第２投影映像１１３または１５３及び第３投影映像１１５または１５５）それぞれの適正移動量を演算する。このように、第２撮影映像１１２または１５２（または、第２投影映像１１３または１５３）の適正移動量が再度演算されれば、直前に演算された数値は、その再度演算された数値に更新される。同様に、撮影部２１２が第４撮影映像１１６または１５６を獲得すれば、演算部２２２は、第３撮影映像１１４または１５４及び第４撮影映像１１６または１５６（または、第３投影映像１１５または１５５及び第４投影映像１１７または１５７）それぞれの適正移動量を演算する。このように、第３撮影映像１１４または１５４（または、第３投影映像１１５または１５５）の適正移動量が再度演算されれば、直前に演算された数値は、その再度演算された数値に更新される。

一方、直前に撮影された映像が第１撮影映像１１０または１５０でなければ、演算部２２２は、直前に撮影された映像または第１マッピング映像の適正移動量は演算せず、現在撮影された映像または第２マッピング映像のみの適正移動量を演算することもできる。すなわち、演算部２２２は、既に適正移動量が演算されたことがある撮影映像（または、マッピング映像）の適正移動量は再度演算しない。

この場合、撮影部２１２が第１撮影映像１１０または１５０、第２撮影映像１１２または１５２を獲得すれば、演算部２２２は、第１撮影映像１１０または１５０及び第２撮影映像１１２または１５２（または、第１投影映像１１１または１５１及び第２投影映像１１３または１５３）それぞれの適正移動量を演算する。次いで、撮影部２１２が第３撮影映像１１４または１５４を獲得すれば、演算部２２２は、第３撮影映像１１４または１５４（または、第３投影映像１１５または１５５）の適正移動量を演算する。同様に、撮影部２１２が第４撮影映像１１６または１５６を獲得すれば、演算部２２２は、第４撮影映像１１６または１５６（または、第４投影映像１１７または１５７）の適正移動量を演算する。

映像整列部２２４は、第１マッピング映像と第２マッピング映像とをそれぞれ適正移動量ほど移動させた後で連結してパノラマ映像を生成する。本明細書において、連結とは、ステッチング、すなわち合成を意味する。

映像整列部２２４が第１マッピング映像と第２マッピング映像とを連結してパノラマ映像を生成すれば、映像削除部２２６は、映像保存部２１４に保存された‘直前に撮影された映像’を削除する。

本発明による映像保存部２１４、読み取り部２１８及び映像削除部２２６は、図２に示したものと異なって設けられないこともある。

以下、マッピング部２２０、演算部２２２及び映像整列部２２４の動作をさらに具体的に実施形態別に説明する。参考までに、第１実施形態ないし第３実施形態は、本発明により水平パノラマ映像を生成する場合の実施形態であり、第４実施形態及び第５実施形態は、本発明により広域パノラマ映像を生成する場合の実施形態である。

本発明の第１実施形態によるマッピング部２２０、演算部２２２及び映像整列部２２４の動作は、次の通りである。

演算部２２２は、直前に撮影された映像及び現在撮影された映像（または、第１マッピング映像及び第２マッピング映像）それぞれの適正移動量を各方向別に演算する。ここで、方向は、ピッチ方向であってもよく、パンニング方向であってもよく、ローリング方向であってもよい。すなわち、移動量は、ピッチ角度、パンニング角度及びローリング角度の組み合わせとして表現される。以下、適正ピッチ角度、適正パンニング角度、適正ローリング角度それぞれは、適正移動量としてのピッチ角度、適正移動量としてのパンニング角度、適正移動量としてのローリング角度それぞれを意味する。

具体的に、演算部２２２は、直前に撮影された映像及び現在撮影された映像それぞれの適正ローリング角度と適正ピッチ角度とを演算する。また、演算部２２２は、第１マッピング映像及び第２マッピング映像それぞれの適正パンニング角度を演算する。
一方、適正移動量の候補は、ピッチ角度、パンニング角度、ローリング角度それぞれに既定されている。例えば、適正ピッチ角度の候補としては、−３°，−２°，−１°，０°，１°，２°，３°があり、適正パンニング角度の候補としては、−１０°，−９°，…，０°，…，９°，１０°があり、適正ローリング角度の候補としては、−４°，−３°，−２°，−１°，０°，１°，２°，３°，４°がある。

これにより、演算部２２２は、直前に撮影された映像と現在撮影された映像のうち一方を他方が属する平面に投影した後、直前に撮影された映像及び現在撮影された映像それぞれに、適正ローリング角度の候補のうち一つの候補を選択しつつ、適正ピッチ角度の候補のうちでも一つの候補を選択し、撮影映像を適正ローリング角度のその選択された候補ほど回転させ、適正ピッチ角度のその選択された候補ほど回転させる場合、重なる色相情報間の類似度を最大にする候補を探し、探した候補を適正ローリング角度及び適正ピッチ角度と決定する。

この場合、映像整列部２２４は、直前に撮影された映像及び現在撮影された映像それぞれを適正ローリング角度ほど回転させ、適正ピッチ角度ほど回転させる。次いで、マッピング部２２０は、直前に撮影された映像及び現在撮影された映像それぞれを既定の円筒面に投影して、第１マッピング映像と第２マッピング映像とを生成する。

この場合、演算部２２２は、第１マッピング映像及び第２マッピング映像それぞれに適正パンニング角度の候補のうち一つの候補を選択し、選択された候補ほどマッピング映像を回転させる場合、重なる色相情報間の類似度を最大にする候補を探し、探した候補を適正パンニング角度と決定する。次いで、映像整列部２２４は、第１マッピング映像及び第２マッピング映像それぞれを適正パンニング角度ほど回転させた後、第１マッピング映像と第２マッピング映像とを連結してパノラマ映像を生成する。

本発明の第２実施形態によるマッピング部２２０、演算部２２２及び映像整列部２２４の動作は、次の通りである。

演算部２２２は、直前に撮影された映像の適正移動量を各方向別に演算する。ここで、適正移動量は、適正ピッチ角度、適正パンニング角度及び適正ローリング角度の組み合わせとして表現される。一方、適正移動量の候補は、前述したようにピッチ角度、パンニング角度、ローリング角度それぞれに既定されている。

これにより、演算部２２２は、直前に撮影された映像と現在撮影された映像のうち一方を他方が属する平面に投影した後、直前に撮影された映像ごとに、適正ローリング角度の候補のうち一つの候補を選択し、適正ピッチ角度の候補のうち一つの候補を選択すると共に、適正パンニング角度の候補のうち一つの候補を選択する。このように、選択は、あらゆる方向に対して同時に行われうる。

この場合、演算部２２２は、直前に撮影された映像を適正ローリング角度の選択された候補（例えば、ｃ）ほど回転させたと仮定し、直前に撮影された映像を適正ピッチ角度の選択された候補（例えば、ｂ）ほど回転させたと仮定し、直前に撮影された映像を適正パンニング角度の選択された候補（例えば、ａ）ほど回転させたと仮定し、直前に撮影された映像と現在撮影された映像との重なった色相情報間の類似度を演算する。

直前に撮影された映像をなすいずれか一つのピクセルの位置を（Ｘ，Ｙ，Ｚ）＝（ｘ１，ｙ１，ｚ１）とするとき、そのピクセルの位置は、直前に撮影された映像がその選択された候補ｃ，ｂ，ａほど回転するにつれて（Ｘ，Ｙ，Ｚ）＝（ｘ２，ｙ２，ｚ２）に変更される（このとき、Ｘ軸、Ｙ軸、Ｚ軸で構成された座標系は、撮影装備１００の位置と関係なく固定された座標系、すなわち絶対座標系である）。これは、次のような式（１）により表現される。

このように、演算部２２２は、直前に撮影された映像を３回の回転移動（Ｒｚ,ｃ，Ｒｙ,ｂ，Ｒｘ,ａ）させて初めて、直前に撮影された映像と現在撮影された映像との重なった色相情報間の類似度を演算できる。これは、相当な時間がかかる恐れがあるので、本発明の第２実施形態は、３回の回転移動にかかる時間を２回の回転移動にかかる時間に短縮させることによって、適正移動量をさらに迅速に演算できる方案を次のように提案する。

１９８０年に発刊されたＨｅｒｂｅｒｔ Ｇｏｌｄｓｔｅｉｎ著、“Ｃｌａｓｓｉｃａｌ Ｍｅｃｈａｎｉｃｓ（２ｎｄ Ｅｄｉｔｉｏｎ）”（Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ Ｓｅｒｉｅｓ ｉｎ Ｐｈｙｓｉｃｓ）の６０６ページによれば、３個の軸を中心とする３個の角度は、二つの軸を中心とする３個の角度として表現可能である。これによれば、ｘ軸、ｙ軸、ｚ軸を中心とする３個の角度であるａ，ｂ，ｃは、ｙ軸、ｚ軸を中心とする二つの角度であるｗ，Ｙ１，Ｙ２で表現される。

このとき、ａ，ｂ，ｃとｗ，Ｙ１，Ｙ２との間には、次の式（２）による関係が存在する。

かかる式（２）は、次の式（３）を展開した結果である。

結局、Ｘ２とＸ１との関係は、次の式（４）で表現される。

X2=Rz,γ2 * Ry,w * Rz,γ1 * X1 （４）
かかる式（４）の両辺に行列Ｒｚ，−γ２をかければ、式（４）は、次の式（５）で表現される。

Rz,-γ2 * X2=Ry,w * Rz,γ1 * X1 （５）
結局、‘直前に撮影された映像をなすピクセルのうち、（Ｘ，Ｙ，Ｚ）＝（ｘ２，ｙ２，ｚ２）に位置したピクセルの色相情報（＝直前に撮影された映像をなすピクセルのうち、（Ｘ，Ｙ，Ｚ）＝（ｘ１，ｙ１，ｚ１）を３回の回転移動（Ｒｚ,γ２*Ｒｙ,ｗ*Ｒｚ,γ１）させた位置に位置したピクセルの色相情報）’と、‘現在撮影された映像をなすピクセルのうち、（Ｘ，Ｙ，Ｚ）＝（ｘ２，ｙ２，ｚ２）に位置したピクセルの色相情報’との類似度は、‘直前に撮影された映像をなすピクセルのうち（Ｘ，Ｙ，Ｚ）＝（ｘ１，ｙ１，ｚ１）を２回の回転移動（Ｒｙ,ｗ*Ｒｚ,γ１）させた位置に位置したピクセルの色相情報’と、‘現在撮影された映像をなすピクセルのうち（Ｘ，Ｙ，Ｚ）＝（ｘ２，ｙ２，ｚ２）を１回の回転移動（Ｒｚ,−γ２）させた位置に位置したピクセルの色相情報’との類似度と一致する。

この点を利用して、演算部２２２は、適正移動量をさらに迅速に演算する。

具体的に、演算部２２２は、直前に撮影された映像を２回の回転移動（Ｒｙ,ｗ*Ｒｚ,γ１）させ、現在撮影された映像をその２回の回転移動が行われる間に１回の回転移動（Ｒｚ,−γ２）させ、直前に撮影された映像と現在撮影された映像との重なった色相情報間の類似度を演算できる。

すなわち、式（１）による場合、演算部２２２は、直前に撮影された映像を３回の回転移動（Ｒｚ,ｃ，Ｒｙ,ｂ，Ｒｘ,ａ）させて初めて、直前に撮影された映像と現在撮影された映像との重なった色相情報間の類似度を演算できる一方、式（５）による場合、演算部２２２は、直前に撮影された映像を２回の回転移動（Ｒｙ,ｗ*Ｒｚ,γ１）させた後、直前に撮影された映像と現在撮影された映像との重なった色相情報間の類似度を演算できる。直前に撮影された映像の２回の回転移動（Ｒｙ,ｗ*Ｒｚ,γ１）が完了したとき、現在撮影された映像の１回の回転移動（Ｒｚ，−γ２）は既に完了した状態である。

（ｃ，ｂ，ａ）を（ｗ，Ｙ１，Ｙ２）に変換するのにかかる時間は、Ｒｙ,ｗ*Ｒｚ,γ１*Ｘ１をもう一回回転移動（Ｒｚ，γ２）するのにかかる時間に比べて無視できるという点で、本発明の第２実施形態による演算部２２２は、式（１）よりは式（５）を利用する時に動作をさらに迅速に完了する。

演算部２２２が適正ローリング角度Ｙ１，Ｙ２、適正パンニング角度ｗを演算すれば、映像整列部２２４は、直前に撮影された映像をローリング方向に適正ローリング角度Υ１ほど回転させた後、パンニング方向に適正パンニング角度ｗほど回転させる。次いで、マッピング部２２０は、直前に撮影された映像を既定の円筒面に投影して第１マッピング映像を生成する。

例えば、演算部２２２が第１撮影映像１１０の適正ローリング角度Ｙ１−１及び適正パンニング角度ｗ１、第２撮影映像１１２の適正ローリング角度Ｙ２−２を演算すれば、映像整列部２２４は、第１撮影映像１１０をＹ１−１、ｗ１ほど回転させ、マッピング部２２０は、第１撮影映像１１０を利用して第１投影映像１１１を生成する。本明細書において、Ｙ１−ｉは、直前に撮影された映像が第ｉ撮影映像（ただし、ｉは自然数）である場合のその第ｉ撮影映像の適正ローリング角度を意味し、Ｙ２−ｉは、現在撮影された映像が第ｉ撮影映像である場合のその第ｉ撮影映像の適正ローリング角度を意味する。

同様に、演算部２２２が第２撮影映像１１２の適正ローリング角度Ｙ１−２及び適正パンニング角度ｗ２、第３撮影映像１１４の適正ローリング角度Ｙ２−３を演算すれば、映像整列部２２４は、第２撮影映像１１２をＹ１−２、ｗ２ほど回転させ、マッピング部２２０は、第２撮影映像１１２を利用して第２投影映像１１３を生成する。

これと同様に、演算部２２２が第３撮影映像１１４の適正ローリング角度Ｙ１−３及び適正パンニング角度ｗ３、第４撮影映像１１６の適正ローリング角度Ｙ２−４を演算すれば、映像整列部２２４は、第３撮影映像１１４をＹ１−３、ｗ３ほど回転させ、第４撮影映像１１６をＹ２−４ほど回転させ、マッピング部２２０は、第３撮影映像１１４、第４撮影映像１１６を利用して第３投影映像１１５と第４投影映像１１７とを生成する。

次いで、映像整列部２２４は、第１投影映像１１１と第２投影映像１１３とを連結し、第２投影映像１１３と第３投影映像１１５とを連結し、第３投影映像１１５と第４投影映像１１７とを連結してパノラマ映像を生成する。

前述した第１実施形態及び第２実施形態では、ピッチ方向１０４を言及したが、後述する第３実施形態では、ピッチ方向１０４を考慮しない。すなわち、本発明の第３実施形態は、撮影者が撮影ボタン１０１を操作するとき、撮影装備１００がパンニング方向１０６やローリング方向１０８には微細に回転することが一般的であるが、ピッチ方向１０４には回転量を無視できるという現実を考慮した実施形態である。

本発明の第３実施形態によるマッピング部２２０、演算部２２２及び映像整列部２２４の動作は、次の通りである。

演算部２２２は、直前に撮影された映像及び現在撮影された映像（または、第１マッピング映像及び第２マッピング映像）それぞれの適正移動量を各方向別に演算する。ここで、方向は、パンニング方向であってもよく、ローリング方向であってもよく、垂直方向であってもよい。このとき、垂直方向とは、円柱の軸と平行な方向を意味する。‘垂直変位’、すなわち‘垂直方向への移動量’は、長さの単位として表現されてもよく、ピクセルの個数として表現されてもよい。以下、適正垂直変位は、垂直方向への適正移動量を意味する。

具体的に、演算部２２２は、直前に撮影された映像及び現在撮影された映像それぞれの適正ローリング角度を演算する。また、演算部２２２は、第１マッピング映像及び第２マッピング映像それぞれの適正パンニング角度と適正垂直変位とを演算する。

一方、適正移動量の候補は、ローリング角度、パンニング角度、垂直変位それぞれに既定されている。例えば、適正ローリング角度の候補としては、−４°，−３°，−２°，−１°，０°，１°，２°，３°，４°があり、適正パンニング角度の候補としては、−１０°，−９°，…，０°，…，９°，１０°があり、適正垂直変位の候補としては、−ピクセル二つの長さ、−ピクセル一つの長さ、０、ピクセル一つの長さ、ピクセル二つの長さがある。

これにより、演算部２２２は、直前に撮影された映像と現在撮影された映像のうち一方を他方が属する平面に投影した後、直前に撮影された映像及び現在撮影された映像それぞれに、適正ローリング角度の候補のうち一つの候補を選択し、選択された候補ほど撮影映像を回転させる場合、重なる色相情報間の類似度を最大にする候補を探し、探した候補を適正ローリング角度と決定する。

この場合、映像整列部２２４は、直前に撮影された映像及び現在撮影された映像それぞれを適正ローリング角度ほど回転させる。次いで、マッピング部２２０は、直前に撮影された映像及び現在撮影された映像それぞれを既定の円筒面に投影して、第１マッピング映像と第２マッピング映像とを生成する。

この場合、演算部２２２は、第１マッピング映像及び第２マッピング映像それぞれに、適正パンニング角度の候補のうち一つの候補を選択しつつ、適正垂直変位の候補のうち一つの候補を選択する。演算部２２２は、マッピング映像を適正パンニング角度のその選択された候補ほど回転させ、適正垂直変位のその選択された候補ほど移動させる場合、重なる色相情報間の類似度を最大にする候補を探し、探した候補を適正パンニング角度及び適正垂直変位と決定する。

これにより、映像整列部２２４が第１マッピング映像及び第２マッピング映像それぞれを適正パンニング角度ほど回転させ、適正垂直変位ほど移動させ、第１マッピング映像と第２マッピング映像とを連結してパノラマ映像を生成する。

本発明による第３実施形態をさらに具体的に説明すれば、次の通りである。

演算部２２２は、第１撮影映像１１０及び第２撮影映像１１２それぞれの適正ローリング角度を演算し、映像整列部２２４は、第１撮影映像１１０及び第２撮影映像１１２それぞれを適正ローリング角度ほど回転させる。次いで、マッピング部２２０は、第１投影映像１１１と第２投影映像１１３とを生成し、演算部２２２は、第１投影映像１１１及び第２投影映像１１３それぞれの適正パンニング角度と適正垂直変位とを演算し、映像整列部２２４は、第１投影映像１１１及び第２投影映像１１３それぞれを適正パンニング角度ほど回転させ、適正垂直変位ほど移動させる。

これと同じ論理により、演算部２２２は、第２撮影映像１１２及び第３撮影映像１１４それぞれの適正ローリング角度を演算し、第２投影映像１１３及び第３投影映像１１５それぞれの適正パンニング角度と適正垂直変位とを演算できる。また、映像整列部２２４は、第２撮影映像１１２及び第３撮影映像１１４それぞれを適正ローリング角度ほど回転させ、第２投影映像１１３及び第３投影映像１１５それぞれを適正パンニング角度ほど回転させ、適正垂直変位ほど移動させる。このように、第２撮影映像１１２（または、第２投影映像１１３）の適正移動量が既に演算されたとしても、演算部２２２は、第２撮影映像１１２（または、第２投影映像１１３）の適正移動量を再度演算できる。この場合、第２撮影映像１１２（または、第２投影映像１１３）の当初演算された適正移動量は、再度演算された適正移動量に更新される。

同様に、演算部２２２は、第３撮影映像１１４及び第４撮影映像１１６それぞれの適正ローリング角度を演算し、第３投影映像１１５及び第４投影映像１１７それぞれの適正パンニング角度と適正垂直変位とを演算できる。また、映像整列部２２４は、第３撮影映像１１４及び第４撮影映像１１６それぞれを適正ローリング角度ほど回転させ、第３投影映像１１５及び第４投影映像１１７それぞれを適正パンニング角度ほど回転させ、適正垂直変位ほど移動させる。このように、第３撮影映像１１４（または、第３投影映像１１５）の適正移動量が既に演算されたとしても、演算部２２２は、第３撮影映像１１４（または、第３投影映像１１５）の適正移動量を再度演算できる。この場合、第３撮影映像１１４（または、第３投影映像１１５）の当初演算された適正移動量は、再度演算された適正移動量に更新される。

次いで、映像整列部２２４は、第１投影映像１１１と第２投影映像１１３とを連結し、第２投影映像１１３と第３投影映像１１５とを連結し、第３投影映像１１５と第４投影映像１１７とを連結してパノラマ映像を生成する。

一方、本発明の第３実施形態によっても、演算部２２２は、既に適正移動量が演算された撮影映像（または、マッピング映像）の適正移動量は再度演算しない。これによる場合、本発明の第３実施形態は、次のように説明される。

演算部２２２は、第１撮影映像１１０及び第２撮影映像１１２それぞれの適正ローリング角度を演算し、映像整列部２２４は、第１撮影映像１１０及び第２撮影映像１１２それぞれを適正ローリング角度ほど回転させる。次いで、マッピング部２２０は、第１投影映像１１１と第２投影映像１１３とを生成し、演算部２２２は、第１投影映像１１１及び第２投影映像１１３それぞれの適正パンニング角度と適正垂直変位とを演算し、映像整列部２２４は、第１投影映像１１１及び第２投影映像１１３それぞれを適正パンニング角度ほど回転させ、適正垂直変位ほど移動させる。次いで、映像整列部２２４は、第１投影映像１１１と第２投影映像１１３とを連結する。

次いで、演算部２２２は、第３撮影映像１１４の適正ローリング角度を演算し、映像整列部２２４は、第３撮影映像１１４を適正ローリング角度ほど回転させる。次いで、マッピング部２２０は、第３投影映像１１５を生成し、演算部２２２は、第３投影映像１１５の適正パンニング角度と適正垂直変位とを演算し、映像整列部２２４は、第３投影映像１１５を適正パンニング角度ほど回転させ、適正垂直変位ほど移動させる。次いで、映像整列部２２４は、第２投影映像１１３と第３投影映像１１５とを連結する。

次いで、演算部２２２は、第４撮影映像１１６の適正ローリング角度を演算し、映像整列部２２４は、第４撮影映像１１６を適正ローリング角度ほど回転させる。次いで、マッピング部２２０は、第４投影映像１１７を生成し、演算部２２２は、第４投影映像１１７の適正パンニング角度と適正垂直変位とを演算し、映像整列部２２４は、第４投影映像１１７を適正パンニング角度ほど回転させ、適正垂直変位ほど移動させる。次いで、映像整列部２２４は、第３投影映像１１５と第４投影映像１１７とを連結する。

これにより、第１撮影映像１１０ないし第４撮影映像１１６を利用したパノラマ映像が生成される。

本発明の第４実施形態によるマッピング部２２０、演算部２２２及び映像整列部２２４の動作は、次の通りである。

マッピング部２２０は、第１マッピング映像と第２マッピング映像とを生成する。

演算部２２２は、第１マッピング映像及び第２マッピング映像それぞれの適正移動量を各方向別に演算する。ここで、方向は、ピッチ方向であってもよく、パンニング方向であってもよく、ローリング方向であってもよい。すなわち、移動量は、ピッチ角度、パンニング角度及びローリング角度の組み合わせとして表現される。

一方、適正移動量の候補は、ピッチ角度、パンニング角度、ローリング角度それぞれに既定されている。例えば、適正ピッチ角度の候補としては、−３°，−２°，−１°，０°，１°，２°，３°があり、適正パンニング角度の候補としては、−１０°，−９°，…，０°，…，９°，１０°があり、適正ローリング角度の候補としては、−４°，−３°，−２°，−１°，０°，１°，２°，３°，４°がある。

演算部２２２は、第１マッピング映像及び第２マッピング映像それぞれに、適正ローリング角度の候補のうち一つの候補を選択し、選択された候補ほどマッピング映像を回転させる場合、重なる色相情報間の類似度を最大にする候補を探し、探した候補を適正ローリング角度と決定する。

この場合、映像整列部２２４は、第１マッピング映像及び第２マッピング映像それぞれを適正ローリング角度ほど回転させる。次いで、演算部２２２は、第１マッピング映像及び第２マッピング映像それぞれに適正ピッチ角度の候補のうち一つの候補を選択し、選択された候補ほどマッピング映像を回転させる場合、重なる色相情報間の類似度を最大にする候補を探し、探した候補を適正ピッチ角度と決定する。

この場合、映像整列部２２４は、第１マッピング映像及び第２マッピング映像それぞれを適正ピッチ角度ほど回転させる。次いで、演算部２２２は、第１マッピング映像及び第２マッピング映像それぞれに適正パンニング角度の候補のうち一つの候補を選択し、選択された候補ほどマッピング映像を回転させる場合、重なる色相情報間の類似度を最大にする候補を探し、探した候補を適正パンニング角度と決定する。

これにより、映像整列部２２４は、第１マッピング映像及び第２マッピング映像それぞれを適正パンニング角度ほど回転させた後、第１マッピング映像と第２マッピング映像とを連結してパノラマ映像を生成する。

結局、本発明の第４実施形態によれば、マッピング部２２０は、第１投影映像１５１ないし第４投影映像１５７を生成し、演算部２２２は、第１投影映像１５１及び第２投影映像１５３それぞれの適正移動量を各方向別に演算し、第２投影映像１５３及び第３投影映像１５５それぞれの適正移動量を各方向別に演算し、第３投影映像１５５及び第４投影映像１５７それぞれの適正移動量を各方向別に演算する。ここで、第２投影映像１５３の適正移動量は再度演算されることによって、直前に演算された数値は、その再度演算された数値に更新され、第３投影映像１５５の適正移動量は、再度演算されることによって、直前に演算された数値は、その再度演算された数値に更新される。一方、映像整列部２２４は、第１投影映像１５１と第２投影映像１５３とを連結し、第２投影映像１５３と第３投影映像１５５とを連結し、第３投影映像１５５と第４投影映像１５７とを連結することによって、パノラマ映像を生成する。

かかる本発明の第４実施形態によれば、演算しようとする移動量が球面上での移動量であるので、適正移動量の演算に当って要求される演算量が相当なところ、広域パノラマ映像を生成するための適正移動量を最小限の演算量で演算する方案を以下の第５実施形態で開示する。

本発明の第５実施形態によるマッピング部２２０、演算部２２２及び映像整列部２２４の動作は、次の通りである。

マッピング部２２０は、第１撮影映像１５０と第２撮影映像１５２とを第１所定の円筒面に投影して、第１部分映像（図示せず）と第２部分映像（図示せず）とを生成する。ここで、第１所定の円筒面は、第１所定の円筒の横面を意味し、第１所定の円筒は、円筒の上面と下面とを貫通する軸が球面の軸（Ｐ−Ｑ線）と平行な円筒を意味する。このとき、第１所定の円筒の軸及び球面の軸にいずれも垂直な垂線のうち、Ｐ１は、ある一つの垂線上に存在し、Ｐ２は、他の垂線上に存在することが望ましい。本明細書において、第ｒ（ただし、ｒは自然数）部分映像は、マッピング映像の一種である。

同様に、マッピング部２２０は、第３撮影映像１５４と第４撮影映像１５６とを第２所定の円筒面に投影して、第３部分映像（図示せず）と第４部分映像（図示せず）とを生成する。ここで、第２所定の円筒面は、第２所定の円筒の横面を意味し、第２所定の円筒は、円筒の上面と下面とを貫通する軸が球面の軸（Ｐ−Ｑ線）と平行な円筒を意味する。このとき、第２所定の円筒の軸及び球面の軸にいずれも垂直な垂線のうち、Ｐ３は、ある一つの垂線上に存在し、Ｐ４は、他の垂線上に存在することが望ましい。

演算部２２２は、第１部分映像（図示せず）及び第２部分映像（図示せず）それぞれの第１所定の円筒面上での適正移動量を第１整合量として演算するが、各方向別に演算する。このとき、方向は、パンニング方向であってもよく、垂直方向であってもよい。これと同様に、演算部２２２は、第３部分映像（図示せず）及び第４部分映像（図示せず）それぞれの第２所定の円筒面上での適正移動量を第２整合量として演算するが、各方向別に演算する。このとき、方向は、パンニング方向であってもよく、垂直方向であってもよい。

映像整列部２２４は、第１部分映像（図示せず）及び第２部分映像（図示せず）それぞれを第１整合量ほど移動させた後、第１部分映像と第２部分映像とを連結して第１結合映像（図示せず）を生成する。これと同様に、映像整列部２２４は、第３部分映像（図示せず）及び第４部分映像（図示せず）それぞれを第２整合量ほど移動させた後、第３部分映像と第４部分映像とを連結して第２結合映像（図示せず）を生成する。

次いで、マッピング部２２０は、第１結合映像（図示せず）を第１整合平面に投影して第５部分映像（図示せず）を生成する。ここで、第１整合平面とは、‘球面の軸（Ｐ−Ｑ線）に垂直であり、Ｐ２を経る線’に垂直であり、かつＰ２に接する平面を意味することが望ましい。これと同様に、マッピング部２２０は、第２結合映像（図示せず）を第２整合平面に投影して第６部分映像（図示せず）を生成する。ここで、第２整合平面とは、‘球面の軸（Ｐ−Ｑ線）に垂直であり、Ｐ３を経る線’に垂直であり、かつＰ３に接する平面を意味することが望ましい。一般的なマッピング映像（例えば、前述した第１部分映像ないし第４部分映像、後述する第７部分映像及び第８部分映像）と異なり、第５部分映像と第６部分映像とは平面上に存在する。

一方、マッピング部２２０は、第５部分映像（図示せず）と第６部分映像（図示せず）とを第３所定の円筒面に投影して、第７部分映像（図示せず）と第８部分映像（図示せず）とを生成する。ここで、第３所定の円筒面は、第３所定の円筒の横面を意味し、第３所定の円筒は、円筒の上面と下面とを貫通する軸が球面の赤道Ｅの接線と平行な円筒を意味する。

次いで、演算部２２２は、第７部分映像（図示せず）及び第８部分映像（図示せず）それぞれの第３所定の円筒面上での適正移動量を第３整合量として演算するが、各方向別に演算する。このとき、方向は、パンニング方向であってもよく、垂直方向であってもよい。

映像整列部２２４は、第７部分映像（図示せず）及び第８部分映像（図示せず）それぞれを第３整合量ほど移動させた後、第７部分映像と第８部分映像とを連結することによってパノラマ映像を生成する。

前述したように、本発明の第５実施形態によれば、広域パノラマ映像の生成に当って、球面上での移動量を演算せず、円筒面上での移動量を演算する。これにより、本発明の第５実施形態は、広域パノラマ映像を第４実施形態より迅速に生成する構成を提供する。

図３Ａないし図３Ｄは、図２に示した表示部２１０、撮影部２１２及び案内映像生成部２１６の動作を説明するための図である。説明の便宜上、表示部２１０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）３１０を備える。

図３Ａは、原本映像３００、ＬＣＤ ３１０、直前に撮影された映像３２０、現在撮影された映像３３０の関係を示す図である。

図３Ｂは、案内映像生成部２１６の動作を説明するための図である。

案内映像生成部２１６は、直前に撮影された映像３２０を利用して案内映像を生成する。

具体的に、案内映像生成部２１６は、直前に撮影された映像３２０のうち所定部分３４０以外の映像を除去することによって、案内映像を生成する。ここで、所定部分３４０の面積は、既定されることが望ましい。

一方、所定部分３４０の撮影映像３２０での位置は、撮影装備１００の移動方向、さらに具体的には、撮影方向の移動方向に適応的に決定される。例えば、撮影部２１２が映像を撮影した後、撮影方向が図３Ａに示したように右側に移動するならば、案内映像生成部２１６は、直前に撮影された映像３２０のうち右側部分３４０（このとき、右側部分の面積は、既定の面積である）以外の映像を除去することによって、案内映像を生成する。同様に、撮影部２１２が映像を撮影した後、撮影方向が図３Ａに示したことと異なって上側に移動するならば、案内映像生成部２１６は、直前に撮影された映像３２０のうち上側部分（このとき、上側部分の面積は、既定の面積である）以外の映像を除去することによって、案内映像を生成する。

これと異なり、所定部分３４０の撮影映像３２０での位置は、撮影方向の移動方向と関係なく決定されることもある。

具体的に、撮影装備１００が水平パノラマ映像の生成モードによって動作中であれば、案内映像生成部２１６は、直前に撮影された映像３２０のうち一定部分、例えば右側部分（このとき、右側部分の面積は、既定の面積である）以外の映像を除去することによって、案内映像を生成する。この場合、水平パノラマ映像を製作しようとする撮影者は、撮影方向を右側に移動させ、複数の映像を撮影することを要求される。

一方、撮影装備１００が広域パノラマ映像生成モードによって動作中であれば、案内映像生成部２１６が案内映像を生成する度に所定部分３４０の撮影映像３２０での位置が一定順序によって変更される。例えば、所定部分３４０の撮影映像３２０での位置は、下側部分→右側部分→上側部分の順に変更される。この場合、案内映像生成部２１６は、第１撮影映像１５０のうち下側部分（このとき、下側部分の面積は、既定の面積である）以外の映像を除去することによって、第１案内映像を生成し、第２撮影映像１５２のうち右側部分（このとき、右側部分の面積は、既定の面積である）以外の映像を除去することによって、第２案内映像を生成し、第３撮影映像１５４のうち上側部分（このとき、上側部分の面積は、既定の面積である）以外の映像を除去することによって、第３案内映像を生成する。

図３Ｃ及び図３Ｄは、‘案内映像’と‘現在撮影された映像として撮影可能な映像’とを共に表示する表示部２１０の動作を説明するための図である。図３Ｃまたは図３Ｄに示したように、表示部２１０は、生成された案内映像を第１所定の領域３４５または３４７に表示し、レンズ（図示せず）を通じて見られる映像を第２所定の領域３５０に表示する。ここで、第１所定の領域３４５は、第２所定の領域３５０の一部と重なってもよく、第１所定の領域３４７は、第２所定の領域３５０により取り囲まれてもよい。このとき、レンズ（図示せず）を通じて見られる映像とは、現在撮影された映像３３０として撮影可能な映像を意味する。

図３Ｃに示したように、第１所定の領域３４５が第２所定の領域３５０の一部と重なる場合、所定部分３４０の面積と第１所定の領域３４５の面積とは同じであり、所定部分３４０の撮影映像３２０での位置と第１所定の領域３４５のＬＣＤ ３１０上での位置とは互いに対称であることが望ましい。例えば、所定部分３４０が、図３Ｂに示したように撮影映像３２０の右側部分（このとき、右側部分の面積は、既定の面積である）であれば、第１所定の領域３４５は、図３Ｃに示したようにＬＣＤ ３１０上で左側領域（このとき、左側領域の面積は、その右側部分の面積と同じである）であることが望ましい。これと関連して、第１所定の領域３４５のＬＣＤ ３１０上での位置は、撮影方向の移動方向に適応的に決定される。例えば、撮影部２１２が映像を撮影した後、撮影方向が図３Ａに示したように右側に移動するならば、表示部２１０は、案内映像をＬＣＤ ３１０の左側領域（このとき、左側領域の面積は、既定の面積である）に表示する。一方、第１所定の領域３４５のＬＣＤ ３１０上での位置は、撮影方向の移動方向と関係なく決定されることもある。例えば、撮影装備１００が水平パノラマ映像生成モードによって動作中であれば、表示部２１０は、案内映像をＬＣＤ ３１０の左側領域（このとき、左側領域の面積は、既定の面積である）に表示する。

図３Ｃに示したように、表示部２１０は、案内映像の輝度を本来の輝度より低め、レンズ（図示せず）を通じて見られる映像の輝度も本来の輝度より低めた後、案内映像とレンズとを通じて見られる映像をいずれも表示できる。

図３Ｄに示したように、第１所定の領域３４７が第２所定の領域３５０に取り囲まれる場合、第１所定の領域３４７の面積は、所定部分３４０の面積より小さい。この場合、表示部２１０は、案内映像の一部のみを表示せざるを得ない。このために、表示部２１０は、案内映像をなすピクセルそれぞれを変換平面に投影する。ここで、変換平面は、現在撮影された映像３３０を表すと予想される平面を意味する。例えば、水平パノラマ映像を生成するために複数の映像１１０，１１２，１１４，１１６の撮影に当って、撮影者が映像１１０，１１２または１１４を撮影した後、撮影方向をパンニング方向にｑ（ただし、ｑは自然数）°ほど移動させてから映像１１２，１１４または１１６を撮影しようとすれば、変換平面は、直前に撮影された映像１１０，１１２または１１４をパンニング方向にｑ°ほど移動させた場合、その直前に撮影された映像１１０，１１２または１１４を表す平面を意味する。この場合、直前に撮影された映像１１０，１１２または１１４内の位置が（ｘ，ｙ）＝（ｕ１，ｖ１）であるピクセルを変換平面に投影すれば、投影されたピクセルの変換平面上での位置は、（ｘ，ｙ）＝（ｕ２，ｖ２）となり、（ｕ１，ｖ１）と（ｕ２，ｖ２）との間には、次の式（６）のような関係が成立する。

ここで、ｆは、撮影装備１００の焦点距離を意味する。

表示部２１０は、式（６）によって（ｕ２，ｖ２）を演算し、演算された（ｕ２，ｖ２）が第１所定の領域３４７に含まれるか否かを検査する。もし、演算された（ｕ２，ｖ２）が第１所定の領域３４７に含まれないと検査されれば、表示部２１０は、演算された（ｕ２，ｖ２）に該当する（ｕ１，ｖ１）の色相情報を表示しない。これに対し、演算された（ｕ２，ｖ２）が第１所定の領域３４７に含まれると検査されれば、表示部２１０は、演算された（ｕ２，ｖ２）に該当する（ｕ１，ｖ１）の色相情報を表示する。

このように、表示部２１０が第１所定の領域３４５のＬＣＤ ３１０上での位置を撮影方向の移動方向に適応的に決定するか、または案内映像を第２所定の領域３５０により取り囲まれた第１所定の領域３４７に表示するならば、広域パノラマ映像の生成時に使われる複数の映像１５０，１５２，１５４，１５６の望ましい撮影順序を次のように提案できる。

表示部２１０は、‘案内映像’と‘現在撮影された映像として撮影可能な映像’とを共に表示するにおいて、‘直前に撮影された映像’の位置と‘現在撮影された映像として撮影される映像’の位置との関係を考慮せねばならない。したがって、その位置間の関係が複雑であるほど、表示部２１０は、案内映像を迅速に表示し難い。

符号１５２が表す映像の位置は、符号１５０が表す映像の位置を一方向（すなわち、ピッチ方向）にのみ移動させても得られ、符号１５４が表す映像の位置は、符号１５２が表す映像の位置を一方向（すなわち、パンニング方向）にのみ移動させても得られ、符号１５６が表す映像の位置は、符号１５４が表す映像の位置を一方向（すなわち、ピッチ方向）にのみ移動させても得られる一方、符号１５６（または、符号１５０）が表す映像の位置は、符号１５０（または、符号１５６）が表す映像の位置を二方向（すなわち、パンニング方向とピッチ方向）にいずれも移動させて初めて得られる。この場合、二方向を考慮して案内映像を表示するときより一方向のみを考慮して案内映像を表示するとき、案内映像がさらに迅速に表示されることは自明である。

したがって、直前に撮影された映像及び現在撮影された映像は、符号１５６が表す映像及び符号１５０が表す映像であるよりは、符号１５０が表す映像及び符号１５２が表す映像であるか、または符号１５２が表す映像及び符号１５４が表す映像であるか、または符号１５４が表す映像及び符号１５６が表す映像であることが望ましい。

同様に、直前に撮影された映像及び現在撮影された映像は、符号１５０が表す映像及び符号１５６が表す映像であるよりは、符号１５６が表す映像及び符号１５４が表す映像であるか、または符号１５４が表す映像及び符号１５２が表す映像であるか、または符号１５２が表す映像及び符号１５０が表す映像であることが望ましい。

すなわち、符号１５０，１５２，１５４，１５６それぞれは、第ｎ撮影映像、第ｎ＋１撮影映像、第ｎ＋２撮影映像、第ｎ＋３撮影映像それぞれを意味するか、または第ｎ＋３撮影映像、第ｎ＋２撮影映像、第ｎ＋１撮影映像、第ｎ撮影映像それぞれを意味することが、第ｎ＋１撮影映像、第ｎ＋２撮影映像、第ｎ＋３撮影映像、第ｎ撮影映像それぞれを意味するか、または第ｎ＋２撮影映像、第ｎ＋３撮影映像、第ｎ撮影映像、第ｎ＋１撮影映像それぞれを意味することより望ましい。

図４は、図２に示したマッピング部２２０の動作を説明するための参考図である。

マッピング部２２０は、撮影映像４１０を既定の曲面（例えば、円筒面または球面）に投影してマッピング映像４３０を生成する。このとき、マッピング部２２０により行われる投影は、撮影装備１００の焦点距離を考慮して行われるので、撮影映像４１０は、四角形を有する一方、マッピング映像４３０は、両端部が切断された楕円形を有することが一般的である。

ただし、マッピング部２２０は、曲面上のいずれかの映像を平面に投影してマッピング映像を生成することもできる。前述した第５部分映像（図示せず）と第６部分映像（図示せず）とは、かかるマッピング映像の一例である。

図５は、図２に示したマッピング部２２０を説明するためのブロック図であって、位置情報保存部５１０及び色相割当部５２０を備える。

前述したように、マッピング映像４３０は、‘撮影映像４１０’と‘撮影装備１００の焦点距離’とを利用した計算過程を通じて生成される。ただし、マッピング部２２０がかかる計算過程を撮影映像４１０のあらゆるピクセルに毎度行えば、マッピング部２２０に相当な負荷がかかる恐れがある。

これを改善するために、本発明は、撮影映像４１０をなす各ピクセルの撮影映像４１０での位置を、マッピング映像４３０をなす各ピクセルの投影曲面４２０での位置とあらかじめマッチングさせることを提案する。この場合、マッピング部２２０は、入力される撮影映像１１０，１１２，１１４または１１６をなす各ピクセルの色相情報をそのピクセルとマッチングされた位置に割り当てることによって、マッピング映像１１１，１１３，１１５または１１７を、前述した計算過程を経ずに自動的に生成する。ここで、投影曲面４２０は、既定の曲面（例えば、円筒面）の一部であり、投影曲面４２０の面積は、撮影映像４１０の面積と同じであることが望ましい。

具体的に、位置情報保存部５１０は、‘撮影映像４１０をなす各ピクセルの撮影映像４１０での位置情報’と、‘マッピング映像４３０をなす各ピクセルの投影曲面４２０での位置情報’とをマッチングして保存する。

色相割当部５２０は、入力端子ＩＮ１を通じて撮影部２１２または読み取り部２１８から入力された撮影映像１１０，１１２，１１４または１１６をなすピクセルの撮影映像１１０，１１２，１１４または１１６での位置情報とマッチングされた位置情報を位置情報保存部５１０で読み取り、読み取られた位置情報に表れた位置にそのピクセルの色相情報を割り当てる。色相割当部５２０は、かかる動作を、撮影映像１１０，１１２，１１４または１１６をなすあらゆるピクセルそれぞれに対して行うことによって、マッピング映像１１１，１１３，１１５または１１７を生成し、生成されたマッピング映像１１１，１１３，１１５または１１７を、出力端子ＯＵＴ１を通じて演算部２２２または映像整列部２２４に出力する。

図６は、図２に示した演算部２２２、特に第３実施形態によって動作する演算部２２２を説明するためのブロック図であって、解像度変換部６１０、第１移動量演算部６２０及び第２移動量演算部６３０を備える。

解像度変換部６１０は、入力端子ＩＮ２を通じて撮影部２１２や読み取り部２１８から撮影映像を入力されてもよく、マッピング部２２０からマッピング映像を入力されてもよい。説明の便宜上、入力端子ＩＮ２を通じて入力される撮影映像やマッピング映像の解像度は、第Ｋ解像度（ただし、Ｋは、２以上の整数）と仮定する。

この場合、解像度変換部６１０は、撮影映像（または、マッピング映像）を処理して、撮影映像（または、マッピング映像）の解像度を第ｋ解像度（ただし、ｋは、ｋ＜Ｋである自然数、第ｋ解像度＜第ｋ＋１解像度）に低める。

第１移動量演算部６２０は、第ｋ解像度の直前に撮影された映像及び現在撮影された映像それぞれの適正ローリング角度（例えば、−３°）を演算し、第２移動量演算部６３０は、第ｋ解像度の第１マッピング映像及び第２マッピング映像それぞれの適正パンニング角度（例えば、８°）と適正垂直変位（例えば、ピクセル一つの長さ）とを演算する。

次いで、解像度変換部６１０は、その第ｋ解像度の第１マッピング映像と第２マッピング映像とを処理して、第１マッピング映像と第２マッピング映像との解像度を第ｋ＋１解像度に高め、第２移動量演算部６３０は、その第ｋ＋１解像度の第１マッピング映像及び第２マッピング映像それぞれの適正パンニング角度と適正垂直変位とを再度演算する。このとき、直前に演算された適正パンニング角度（８°）と適正垂直変位（ピクセル一つの長さ）とが考慮される。例えば、第２移動量演算部６３０は、その第ｋ＋１解像度の第１マッピング映像及び第２マッピング映像それぞれのパンニング角度として７．６°，７．８°，８°，８．２°，８．４°のうち一つを選択し、その第ｋ＋１解像度の第１マッピング映像及び第２マッピング映像それぞれの適正垂直変位としてピクセル０．８個の長さ、ピクセル一個の長さ、ピクセル１．２個の長さのうち一つを選択する。この場合、選択可能な場合の数は、５*３＝１５個である。その１５回の選択を経て、第２移動量演算部６３０は、その第ｋ＋１解像度の第１マッピング映像及び第２マッピング映像それぞれの適正パンニング角度（例えば、８．２°）と適正垂直変位（例えば、ピクセル０．８個の長さ）とを演算する。この場合、直前に演算された適正パンニング角度（８°）と適正垂直変位（ピクセル一つの長さ）とは、最近に演算された適正パンニング角度（８．２°）と適正垂直変位（ピクセル０．８個の長さ）とに更新される。

もし、第ｋ＋１解像度が第Ｋ解像度でなければ、解像度変換部６１０及び第２移動量演算部６３０は、適正パンニング角度と適正垂直変位とを前述したような論理で再度演算できる。すなわち、第ｋ＋１解像度が第Ｋ解像度でなければ、解像度変換部６１０は、その第ｋ＋１解像度の第１マッピング映像と第２マッピング映像とを処理して、第１マッピング映像と第２マッピング映像との解像度を第ｋ＋２解像度に高め、第２移動量演算部６３０は、その第ｋ＋２解像度の第１マッピング映像及び第２マッピング映像それぞれの適正パンニング角度と適正垂直変位とを再度演算できる。このとき、直前に演算された適正パンニング角度（８．２°）と適正垂直変位（ピクセル０．８個の長さ）とが考慮される。

図７は、本発明によるパノラマ映像の生成方法を説明するためのフローチャートであって、撮影案内を受けて複数の映像を撮影し、その複数の映像を利用してパノラマ映像を生成するステップ（ステップ７１０ないし７２０）を含む。

ステップ７１０で、案内映像生成部２１６は、直前に撮影された映像を利用して案内映像を生成し、表示部２１０は、‘生成された案内映像’と‘現在撮影された映像として撮影可能な映像’とを共に表示する。撮影者は、ステップ７１０で表示される映像を観察するうち撮影しようとする映像を発見して撮影ボタン１０１を操作して、現在撮影された映像を獲得する。

ステップ７２０で、マッピング部２２０は、直前に撮影された映像と現在撮影された映像とを利用して第１マッピング映像と第２マッピング映像とを生成し、演算部２２２は、第１マッピング映像及び第２マッピング映像それぞれの適正移動量を求め、映像整列部２２４は、第１マッピング映像及び第２マッピング映像それぞれをその求められた適正移動量ほど移動させた後、第１マッピング映像と第２マッピング映像とを連結してパノラマ映像を生成する。

図８は、図７に示したステップ７１０を説明するためのフローチャートであって、直前に撮影された映像を利用して案内映像を生成するステップ（ステップ８１０ないし８７０）を含む。

ステップ８１０で、撮影部２１２は、第１撮影映像１１０または１５０を獲得する。

ステップ８２０で、案内映像生成部２１６は、ステップ８１０で獲得された第１撮影映像１１０または１５０を利用して第１案内映像を生成する。本明細書において、第ｓ（ただし、ｓは自然数）案内映像とは、第ｓ撮影映像を利用して生成された案内映像を意味する。

ステップ８２０後に、撮影者が原本映像と第１案内映像とをＬＣＤ ３１０を通じて観察するうち撮影しようとする原本映像を発見して撮影ボタン１０１を操作すれば、ステップ８３０で、撮影部２１２は、第２撮影映像を獲得する。

ステップ８４０で、案内映像生成部２１６は、ステップ８３０で獲得された第２撮影映像を利用して第２案内映像を生成する。

ステップ８４０後に、撮影者が原本映像と第２案内映像とをＬＣＤ ３１０を通じて観察するうち撮影しようとする原本映像を発見して撮影ボタン１０１を操作すれば、ステップ８５０で、撮影部２１２は、第３撮影映像を獲得する。

ステップ８６０で、案内映像生成部２１６は、ステップ８５０で獲得された第３撮影映像を利用して第３案内映像を生成する。

ステップ８６０後に、撮影者が原本映像と第３案内映像とをＬＣＤ ３１０を通じて観察するうち撮影しようとする原本映像を発見して撮影ボタン１０１を操作すれば、ステップ８７０で、撮影部２１２は、第４撮影映像を獲得する。

図９Ａ及び図９Ｂは、水平パノラマ映像を生成するための図７に示したステップ７２０を説明するためのフローチャートであって、第１撮影映像１１０ないし第４撮影映像１１６を利用して水平パノラマ映像を生成するステップ（ステップ９１０ないし９４０）を含み、説明の便宜上、第３実施形態に基づいて説明する。

演算部２２２は、第１撮影映像１１０及び第２撮影映像１１２それぞれの適正ローリング角度を求め（ステップ９１０）、映像整列部２２４は、第１撮影映像１１０及び第２撮影映像１１２それぞれを、ステップ９１０で求められた適正ローリング角度ほど回転させる（ステップ９１２）。

ステップ９１２後に、マッピング部２２０は、ステップ９１２で回転された第１撮影映像１１０と第２撮影映像１１２とを既定の円筒面に投影して、第１投影映像１１１と第２投影映像１１３とを生成する（ステップ９１４）。

ステップ９１４後に、演算部２２２は、第１投影映像１１１及び第２投影映像１１３それぞれの適正パンニング角度と適正垂直変位とを求め（ステップ９１６）、映像整列部２２４は、第１投影映像１１１と第２投影映像１１３とをステップ９１６で求められた適正パンニング角度と適正垂直変位ほど移動させる（ステップ９１８）。

ステップ９１８後に、演算部２２２は、第３撮影映像１１４の適正ローリング角度を求め（ステップ９２０）、映像整列部２２４は、第３撮影映像１１４をステップ９２０で求められた適正ローリング角度ほど回転させる（ステップ９２２）。

ステップ９２２後に、マッピング部２２０は、ステップ９２２で回転された第３撮影映像１１４をその円筒面に投影して、第３投影映像１１５を生成する（ステップ９２４）。

ステップ９２４後に、演算部２２２は、第３投影映像１１５の適正パンニング角度と適正垂直変位とを求め（ステップ９２６）、映像整列部２２４は、第３投影映像１１５をステップ９２６で求められた適正パンニング角度と適正垂直変位ほど移動させる（ステップ９２８）。

ステップ９２８後に、演算部２２２は、第４撮影映像１１６の適正ローリング角度を求め（ステップ９３０）、映像整列部２２４は、第４撮影映像１１６をステップ９３０で求められた適正ローリング角度ほど回転させる（ステップ９３２）。

ステップ９３２後に、マッピング部２２０は、ステップ９３２で回転された第４撮影映像１１６をその円筒面に投影して、第４投影映像１１７を生成する（ステップ９３４）。

ステップ９３４後に、演算部２２２は、第４投影映像１１７の適正パンニング角度と適正垂直変位とを求め（ステップ９３６）、映像整列部２２４は、第４投影映像１１７を、ステップ９３６で求められた適正パンニング角度と適正垂直変位ほど移動させる（ステップ９３８）。

ステップ９３８後に、映像整列部２２４は、第１投影映像１１１と第２投影映像１１３とを連結し、第２投影映像１１３と第３投影映像１１５とを連結し、第３投影映像１１５と第４投影映像１１７とを連結することによって、水平パノラマ映像を生成する（ステップ９４０）。

ただし、マッピング映像間の連結は、ステップ９４０に示したものと異なって行われることもある。すなわち、第１投影映像１１１と第２投影映像１１３との連結は、ステップ９１８後に行われ、第２投影映像１１３と第３投影映像１１５との連結は、ステップ９２８後に行われ、第３投影映像１１５と第４投影映像１１７との連結は、ステップ９３８後に行われることもある。

図１０Ａ及び図１０Ｂは、広域パノラマ映像を生成するための図７に示したステップ７２０を説明するためのフローチャートであって、第１撮影映像１５０ないし第４撮影映像１５６を利用して広域パノラマ映像を生成するステップ（ステップ１０１０ないし１０９０）を含み、説明の便宜上、第５実施形態に基づいて説明する。

マッピング部２２０は、第１撮影映像１５０と第２撮影映像１５２とを第１所定の円筒面に投影して、第１部分映像（図示せず）と第２部分映像（図示せず）とを生成する（ステップ１０１０）。同様に、マッピング部２２０は、第３撮影映像１５４と第４撮影映像１５６とを第２所定の円筒面に投影して、第３部分映像（図示せず）と第４部分映像（図示せず）とを生成する（ステップ１０２０）。ステップ１０２０は、図１０に示したようにステップ１０１０後に行われてもよく、図１０に示したものと異なってステップ１０１０前に行われるか、またはステップ１０１０と同時に行われてもよい。

演算部２２２は、ステップ１０１０で生成された第１部分映像（図示せず）及び第２部分映像（図示せず）それぞれの第１整合量を求め、ステップ１０２０で生成された第３部分映像（図示せず）及び第４部分映像（図示せず）それぞれの第２整合量を求める（ステップ１０３０）。

映像整列部２２４は、ステップ１０１０で生成された第１部分映像（図示せず）及び第２部分映像（図示せず）それぞれを、ステップ１０３０で求められた第１整合量ほど移動させた後、第１部分映像と第２部分映像とを連結して第１結合映像を生成する（ステップ１０４０）。

映像整列部２２４は、ステップ１０２０で生成された第３部分映像（図示せず）及び第４部分映像（図示せず）それぞれをステップ１０３０で求められた第２整合量ほど移動させた後、第３部分映像と第４部分映像とを連結して第２結合映像を生成する（ステップ１０５０）。

ステップ１０５０は、図１０に示したようにステップ１０４０後に行われてもよく、図１０に示したものと異なってステップ１０４０の前に行われるか、またはステップ１０４０と同時に行われてもよい。

マッピング部２２０は、ステップ１０４０で生成された第１結合映像を第１整合平面に投影して第５部分映像（図示せず）を生成し、ステップ１０５０で生成された第２結合映像を第２整合平面に投影して第６部分映像（図示せず）を生成する（ステップ１０６０）。

ステップ１０６０後に、マッピング部２２０は、ステップ１０６０で生成された第５部分映像（図示せず）と第６部分映像（図示せず）とを第３所定の円筒面に投影して、第７部分映像（図示せず）と第８部分映像（図示せず）とを生成する（ステップ１０７０）。

ステップ１０７０後に、演算部２２２は、ステップ１０７０で生成された第７部分映像（図示せず）及び第８部分映像（図示せず）それぞれの第３整合量を求め（ステップ１０８０）、映像整列部２２４は、ステップ１０７０で生成された第７部分映像（図示せず）及び第８部分映像（図示せず）それぞれをステップ１０８０で求められた第３整合量ほど移動させた後、第７部分映像と第８部分映像とを連結する（ステップ１０９０）。

本発明は、また、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムにより読み取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、またキャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。

以上、図面と明細書で最適の実施形態が開示された。ここで、特定の用語が使われたが、これは単に、本発明を説明するための目的で使われたものであり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。したがって、当業者であれば、これから多様な変形及び均等な他の実施形態が可能であるという点を理解できるであろう。したがって、本発明の真の技術的な保護範囲は、特許請求の範囲の技術的思想により決まらねばならない。

本発明は、パノラマ映像生成関連の技術分野に適用可能である。

撮影装備を説明するための図である。 水平パノラマ映像を説明するための図である。 水平パノラマ映像を説明するための図である。 水平パノラマ映像を説明するための図である。 広域パノラマ映像を説明するための図である。 広域パノラマ映像を説明するための図である。 本発明によるパノラマ映像生成装置を説明するためのブロック図である。 図２に示した表示部、撮影部及び案内映像生成部の動作を説明するための図である。 図２に示した表示部、撮影部及び案内映像生成部の動作を説明するための図である。 図２に示した表示部、撮影部及び案内映像生成部の動作を説明するための図である。 図２に示した表示部、撮影部及び案内映像生成部の動作を説明するための図である。 図２に示した表示部、撮影部及び案内映像生成部の動作を説明するための図である。 図２に示したマッピング部の動作を説明するための参考図である。 図２に示したマッピング部を説明するためのブロック図である。 図２に示した演算部を説明するためのブロック図である。 本発明によるパノラマ映像の生成方法を説明するためのフローチャートでる。 図７に示したステップ７１０を説明するためのフローチャートである。 水平パノラマ映像を生成するための図７に示したステップ７２０を説明するためのフローチャートである。 水平パノラマ映像を生成するための図７に示したステップ７２０を説明するためのフローチャートである。 広域パノラマ映像を生成するための図７に示したステップ７２０を説明するためのフローチャートである。 広域パノラマ映像を生成するための図７に示したステップ７２０を説明するためのフローチャートである。

符号の説明

２１０ 表示部
２１２ 撮影部
２１４ 映像保存部
２１６ 案内映像生成部
２１８ 読み取り部
２２０ マッピング部
２２２ 演算部
２２４ 映像整列部
２２６ 映像削除部
３００ 原映像
３１０ ＬＣＤ
３２０ 直前に撮影された映像
３３０ 現在撮影された映像
３４０ 所定部分
３４５、３４７ 第１所定の領域
３５０ 第２所定の領域
４１０ 撮影映像
４２０ 投影映像
４３０ マッピング映像
５１０ 位置情報保存部
５２０ 色相割当部
６１０ 解像度変換部
６２０ 第１移動量演算部
６３０ 第２移動量演算部

Claims (20)

1. 直前に撮影された映像と現在撮影された映像とを既定の曲面に投影して第１及び第２マッピング映像を生成するマッピング部と、
   各方向ごとに、前記直前に撮影された映像及び前記現在撮影された映像のうち少なくとも一つまたは前記第１マッピング映像及び前記第２マッピング映像のうち少なくとも一つを移動させ、前記直前に撮影された映像及び前記現在撮影された映像、または前記第１マッピング映像及び前記第２マッピング映像の重なった色相情報間の類似度を演算し、演算された類似度が最大になる適正移動量を決定する演算部と、
   前記第１及び第２マッピング映像と前記決定された適正移動量とを利用してパノラマ映像を生成する映像整列部と、を備えることを特徴とするパノラマ映像生成装置。
2. 前記直前は、最初ではなく、前記演算部は、前記第２マッピング映像または前記現在撮影された映像の前記適正移動量を演算することを特徴とする請求項１に記載のパノラマ映像生成装置。
3. 前記演算部は、前記第１及び第２マッピング映像それぞれ、または前記直前に撮影された映像及び前記現在撮影された映像それぞれの前記適正移動量を演算することを特徴とする請求項１に記載のパノラマ映像生成装置。
4. 前記演算部は、前記直前に撮影された映像と前記現在撮影された映像、または前記第１及び第２マッピング映像の解像度を前記方向によって調整した後、前記適正移動量を演算することを特徴とする請求項１に記載のパノラマ映像生成装置。
5. 前記演算部は、前記適正移動量を演算した後、前記解像度を高め、最近に演算された前記適正移動量を考慮して前記適正移動量を再度演算することを特徴とする請求項４に記載のパノラマ映像生成装置。
6. 前記演算部は、
   前記直前に撮影された映像と前記現在撮影された映像のうち少なくとも一つの第１所定方向への前記適正移動量を演算する第１移動量演算部と、
   前記第１及び第２マッピング映像のうち少なくとも一つの第２所定方向への前記適正移動量を演算する第２移動量演算部と、を備えることを特徴とする請求項１に記載のパノラマ映像生成装置。
7. 第ｎ（ただし、ｎは自然数）撮影映像の位置は、第ｎ＋１撮影映像の位置を一つの前記方向に移動させた結果であり、かつ第ｎ＋３撮影映像の位置を複数の前記方向に移動させた結果であり、第ｎ＋２撮影映像の位置は、第ｎ＋１撮影映像の位置または第ｎ＋３撮影映像の位置を一つの前記方向に移動させた結果であることを特徴とする請求項１に記載のパノラマ映像生成装置。
8. 前記マッピング部は、前記第ｎ及び第ｎ＋１撮影映像を第１所定の円筒面に投影して第１及び第２部分映像を生成し、前記第ｎ＋２及び第ｎ＋３撮影映像を第２所定の円筒面に投影して第３及び第４部分映像を生成し、第１結合映像を第１整合平面に投影して第５部分映像を生成し、第２結合映像を第２整合平面に投影して第６部分映像を生成し、生成された第５及び第６部分映像を第３所定の円筒面に投影して第７及び第８部分映像を生成し、
   前記演算部は、前記第１及び前記第２部分映像の重なった色相情報間の類似度を最大にする前記第１所定の円筒面上での移動量を第１整合量として演算し、前記第３及び第４部分映像の重なった色相情報間の類似度を最大にする前記第２所定の円筒面上での移動量を第２整合量として演算し、前記第７及び第８部分映像の重なった色相情報間の類似度を最大にする前記第３所定の円筒面上での移動量を第３整合量として演算し、
   前記映像整列部は、前記第１及び第２部分映像を前記演算された第１整合量ほど移動させた後で連結して前記第１結合映像を生成し、前記第３及び第４部分映像を前記演算された第２整合量ほど移動させた後で連結して前記第２結合映像を生成し、前記第７及び第８部分映像を前記演算された第３整合量ほど移動させた後で連結して前記パノラマ映像を生成することを特徴とする請求項７に記載のパノラマ映像生成装置。
9. 前記パノラマ映像生成装置は、
   前記直前に撮影された映像の所定部分を一部領域に表示すると共に、前記現在撮影された映像として撮影可能な映像を他の一部領域を含む領域に表示する表示部をさらに備えることを特徴とする請求項１に記載のパノラマ映像生成装置。
10. 前記撮影可能な映像は、前記他の一部領域に表示されることを特徴とする請求項９に記載のパノラマ映像生成装置。
11. 前記撮影可能な映像の少なくとも一部及び前記所定の部分は、前記一部領域に共に表示されることを特徴とする請求項９に記載のパノラマ映像生成装置。
12. 前記パノラマ映像生成装置は、
    前記撮影された映像を保存する映像保存部と、
    前記パノラマ映像が生成された場合、前記直前に撮影された映像を前記映像保存部から削除する映像削除部と、をさらに備えることを特徴とする請求項１に記載のパノラマ映像生成装置。
13. 前記マッピング部は、
    前記撮影された映像をなす各ピクセルの前記撮影された映像内での位置情報と前記曲面上での位置情報とをマッチングして保存する位置情報保存部と、
    前記ピクセルとマッチングされた位置情報を読み取り、読み取られた位置情報が表す位置に前記ピクセルの色相情報を割り当てる色相割当部と、を備えることを特徴とする請求項１に記載のパノラマ映像生成装置。
14. （ａ）直前に撮影された映像と現在撮影された映像とを既定の曲面に投影して第１及び第２マッピング映像を生成するステップと、
    （ｂ）各方向ごとに、前記直前に撮影された映像及び前記現在撮影された映像のうち少なくとも一つまたは前記第１マッピング映像及び前記第２マッピング映像のうち少なくとも一つを移動させるステップと、
    （ｃ）前記直前に撮影された映像及び前記現在撮影された映像、または前記第１マッピング映像及び前記第２マッピング映像の重なった色相情報間の類似度を演算するステップと、
    （ｄ）演算された類似度が最大になる適正移動量を決定するステップと、
    （ｅ）前記第１及び第２マッピング映像と前記決定された適正移動量とを利用してパノラマ映像を生成するステップと、を含むことを特徴とするパノラマ映像生成方法。
15. 前記直前は、最初ではなく、前記（ｄ）ステップは、前記第２マッピング映像または前記現在撮影された映像の前記適正移動量を求めることを特徴とする請求項１４に記載のパノラマ映像生成方法。
16. 前記（ｄ）ステップは、前記直前に撮影された映像と前記現在撮影された映像、または前記第１及び第２マッピング映像の解像度を前記方向によって調整した後、前記適正移動量を求めることを特徴とする請求項１４に記載のパノラマ映像生成方法。
17. 前記（ｂ）ステップは、
    （ｂ１）前記直前に撮影された映像と前記現在撮影された映像のうち少なくとも一つの第１所定方向へ移動させるステップと、
    （ｂ２）前記第１及び第２マッピング映像のうち少なくとも一つの第２所定方向へ移動させるステップと、を含むことを特徴とする請求項１４に記載のパノラマ映像生成方法。
18. 第ｎ（ただし、ｎは自然数）撮影映像の位置は、第ｎ＋１撮影映像の位置を一つの前記方向に移動させた結果であり、かつ第ｎ＋３撮影映像の位置を複数の前記方向に移動させた結果であり、第ｎ＋２撮影映像の位置は、第ｎ＋１撮影映像の位置または第ｎ＋３撮影映像の位置を一つの前記方向に移動させた結果であることを特徴とする請求項１４に記載のパノラマ映像生成方法。
19. 前記（ａ）ステップは、
    （ａ１）前記第ｎ及び第ｎ＋１撮影映像を第１所定の円筒面に投影して第１及び第２部分映像を生成し、前記第ｎ＋２及び第ｎ＋３撮影映像を第２所定の円筒面に投影して第３及び第４部分映像を生成するステップと、
    （ａ２）第１結合映像を第１整合平面に投影して第５部分映像を生成し、第２結合映像を第２整合平面に投影して第６部分映像を生成し、生成された第５及び第６部分映像を第３所定の円筒面に投影して第７及び第８部分映像を生成するステップと、を含み、
    前記（ｄ）ステップは、
    （ｄ１）前記（ａ１）ステップ後に、前記第１及び第２部分映像の重なった色相情報間の類似度を最大にする前記第１所定の円筒面上での移動量を第１整合量として求め、前記第３及び第４部分映像の重なった色相情報間の類似度を最大にする前記第２所定の円筒面上での移動量を第２整合量として求めるステップと、
    （ｄ２）前記（ａ２）ステップ後に、前記第７及び前記第８部分映像の重なった色相情報間の類似度を最大にする前記第３所定の円筒面上での移動量を第３整合量として求めるステップと、を含み、
    前記（ｅ）ステップは、
    （ｅ１）前記（ｄ１）ステップ後に、前記第１及び第２部分映像を前記求められた第１整合量ほど移動させた後で連結して前記第１結合映像を生成し、前記第３及び前記第４部分映像を前記求められた第２整合量ほど移動させた後で連結して前記第２結合映像を生成し、前記（ａ２）ステップに進むステップと、
    （ｅ２）前記（ｄ２）ステップ後に、前記第７及び第８部分映像を前記求められた第３整合量ほど移動させた後で連結して前記パノラマ映像を生成するステップと、を含むことを特徴とする請求項１８に記載のパノラマ映像生成方法。
20. （ａ）直前に撮影された映像と現在撮影された映像とを既定の曲面に投影して第１及び第２マッピング映像を生成するステップと、
    （ｂ）各方向ごとに、前記直前に撮影された映像及び前記現在撮影された映像のうち少なくとも一つまたは前記第１マッピング映像及び前記第２マッピング映像のうち少なくとも一つを移動させるステップと、
    （ｃ）前記直前に撮影された映像及び前記現在撮影された映像、または前記第１マッピング映像及び前記第２マッピング映像の重なった色相情報間の類似度を演算するステップと、
    （ｄ）演算された類似度が最大になる適正移動量を決定するステップと、
    （ｅ）前記第１及び第２マッピング映像と前記決定された適正移動量とを利用してパノラマ映像を生成するステップと、を含むことを特徴とするパノラマ映像生成方法を行うコンピュータプログラムを保存するコンピュータで読み取り可能な記録媒体。