WO2013183346A1

WO2013183346A1 - 画像処理装置、画像処理方法、プログラム

Info

Publication number: WO2013183346A1
Application number: PCT/JP2013/060182
Authority: WO
Inventors: 篤史木村
Original assignee: ソニー株式会社
Priority date: 2012-06-06
Filing date: 2013-04-03
Publication date: 2013-12-12
Also published as: CN104365083A; JP2015156523A; CN110177211A; US20150124049A1; US11102402B2; US10091417B2; CN104365083B; US20180249077A1; CN110177211B

Abstract

　画像処理装置は、撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを用いて生成されたパノラマ画像データが、全周パノラマ画像と判断される場合に、該パノラマ画像データと、該パノラマ画像データが全周パノラマ画像であることを示す情報とを関連付ける関連付け部を備えるようにする。

Description

画像処理装置、画像処理方法、プログラム

　本開示は画像処理装置、画像処理方法、及びそれらを実現するプログラムに関し、特にパノラマ画像データの表示に適した画像処理に関する。

特開２０１０－１６１５２０号公報

　上記特許文献１に示されるように、複数枚の画像から１枚のパノラマ画像を生成する画像処理が知られている。
　例えばユーザがカメラを水平にスイープさせながら多数の撮像画像（フレーム画像データ）を得、これを合成することで、いわゆるパノラマ画像を得ることができる。
　なお「スイープ」とは、パノラマ画像生成のための複数のフレーム画像データを得るために、撮像時に撮像装置の回転運動による撮像方向移動の動作をいう。例えば水平方向に撮像方向を移動させる場合、スイープ方向とは水平方向を指す。

　パノラマ画像について再生表示を行う場合、いわゆるシングルビュー表示を行うことやスクロール表示を行うことが一般的であった。
　シングルビュー表示とは、１枚の静止画表示としてパノラマ画像データの全体を縮小して表示するものである。この場合、パノラマ画像全体を見ることができるが、縮小により迫力のある画像とはなりにくい。
　スクロール表示は、パノラマ画像データの一部を順次切り出してスクロールさせながら表示させていくものである。スクロール表示により、画面上で、パノラマ画像を部分毎に大きく見ることができる。

　しかしながら、スクロール表示は、例えば円筒面などに投影された状態のパノラマ画像データを単に順次切り出して表示するものであり、例えば水平線や建物等の直線部分が大きく湾曲するなど、ユーザ視点からの光景を必ずしも的確に反映するものではない。
　これに対し、円筒面等に投影されたパノラマ画像を平面スクリーンに再度投影して表示画像とすることで、高い臨場感、没入感が得られる再生手法がある。このような再生表示の手法を、説明上「投影表示」ということとする。
　例えばQuickTime VR . An Image-Based Approach to Virtual Environment
Navigation[Apple Computer, Inc.]などが知られている。
　このような投影表示を用いると、パノラマ画像の表示を見るユーザの満足度を高めることができると考えられるが、単にスクロール表示に代えて投影表示を行うことは次の点で困難となる。

　投影表示を行うためのオーサリングにはパノラマ画像の画角が必要であるが、通常、ユーザがデジタルスチルカメラのパノラマモードで撮像したパノラマ画像の画角が正確にわかることは少ない。例えばパノラマ画像には、１２０°くらいの画角の画像や１８０°くらいの画角の画像から、３６０°画角の全周画像など、多様な画像がある。そして３６０°画角以外では、位置合わせ誤差、スイープ半径、歪曲収差などの影響により、パノラマ画像データから画角を求めようとしてもその計算が不正確になり、正確な画角を求めることができない。
　このようにパノラマ画像データのみでは画角がわからず、投影表示のオーサリングを行うことができない。投影表示のために画角をわかるようにするには、例えばパノラマ撮像時にユーザが大まかに画角を見積もっておき、オーサリング時に画角を手動入力する必要がある。これは一般ユーザには困難な作業となる。また入力した画角が実際とは大きく食い違っていると、投影表示画像に歪みが生ずる結果となる。
　このようなことから、投影表示が実使用上、或いは表示品質上、必ずしも常に最適な表示方式とはならない。

　本開示では、例えば専門家用、業務用から一般消費者向けの機器までを広く想定して、パノラマ画像の表示、特に高品質の投影表示を、手軽にかつ適切に実行できるようにするための画像処理を実現することを目的とする。

　本開示の画像処理装置は、撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを用いて生成されたパノラマ画像データが、全周パノラマ画像と判断される場合に、該パノラマ画像データと、該パノラマ画像データが全周パノラマ画像であることを示す情報とを関連付ける関連付け部を備える。

　本開示の画像処理方法は、撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを用いて生成されたパノラマ画像データが、全周パノラマ画像と判断される場合に、該パノラマ画像データと、該パノラマ画像データが全周パノラマ画像であることを示す情報とを関連付ける処理を行う。
　本開示のプログラムは、上記画像処理方法の処理を演算処理装置に実行させるプログラムである。

　このような本開示では、複数のフレーム画像データから合成されて生成されたパノラマ画像データについて、再生表示の際などの全周パノラマ画像であるか否かを判別できる情報を加える。つまり少なくとも或るパノラマ画像データが全周パノラマ画像と判断される場合には、そのパノラマ画像データと、全周パノラマ画像であることを示す情報を関連付ける。このようにすると、例えば後の再生表示の際には、全周パノラマ画像であるか否かにより、表示処理方式を選択できることになる。
　ここで、全周パノラマ画像とは、画角が３６０°（又はほぼ３６０°）であると判定できる場合である。つまり投影表示を行う際に、画角が確定できる場合である。

　本開示によればパノラマ画像データが全周パノラマ画像である場合は、そのことを示す情報が関連付けられる。従って再生表示の際には、全周パノラマ画像であるか否かにより、適切な表示処理方式を選択できるという効果がある。例えば全周パノラマ画像の場合には、画角が３６０°であるとして、適切な投影表示を実行することなどが可能となる。

本開示の実施の形態で行われるパノラマ撮像の説明図である。実施の形態で行われるパノラマ画像合成の説明図である。実施の形態のパノラマ画像の説明図である。実施の形態の合成用投影処理と表示用投影処理の説明図である。実施の形態のスクロール表示と投影表示の説明図である。実施の形態の３６０°パノラマ画像の投影表示の説明図である。実施の形態のシングルビュー表示とリスト表示の説明図である。実施の形態の画像処理装置のブロック図である。実施の形態の画像処理装置搭載機器の構成例のブロック図である。実施の形態の画像処理装置搭載機器の構成例のブロック図である。実施の形態の第１構成例の説明図である。実施の形態の第１構成例における処理のフローチャートである。実施の形態の第２構成例の説明図である。実施の形態の第２構成例における処理のフローチャートである。実施の形態の第３構成例の説明図である。実施の形態の第３構成例における処理のフローチャートである。実施の形態の第４構成例の説明図である。実施の形態の第４構成例における処理のフローチャートである。実施の形態の第５構成例の撮像装置のブロック図である。実施の形態の撮像装置に搭載されたパノラマ合成部と関連付け部の機能構成のブロック図である。画角が３６０°でない場合及び位置合わせが行われていないパノラマ画像の説明図である。実施の形態の位置合わせが行われたパノラマ画像の説明図である。実施の形態のパノラマ画像の位置合わせの説明図である。実施の形態のパノラマ撮像時の処理のフローチャートである。実施の形態の表示モード遷移の説明図である。実施の形態の撮像装置に搭載された表示画像生成部の機能構成のブロック図である。実施の形態の表示処理のフローチャートである。実施の形態のコンピュータ装置のブロック図である。

　以下、実施の形態を次の順序で説明する。
　なお、実施の形態における関連付け部１１を少なくとも有する機器が請求項でいう画像処理装置となる。
＜１．パノラマ合成及び再生表示の概要＞
＜２．画像処理装置構成例＞
＜３．第１構成例（メタデータ）＞
＜４．第２構成例（専用プログラム）＞
＜５．第３構成例（ファイルリンク情報）＞
＜６．第４構成例（専用フォーマット）＞
＜７．第５構成例（撮像装置への適用例）＞
　［７－１：撮像装置の構成］
　［７－２：パノラマ合成及び関連付け処理］
　［７－３：パノラマ画像表示］
＜８．第６構成例（コンピュータ装置への適用例及びプログラム）＞
＜９．変形例＞

＜１．パノラマ合成及び再生表示の概要＞
　まずパノラマ合成についての概要を説明する。
　後述する実施の形態の撮像装置５０や、近年の一般的な撮像装置（デジタルスチルカメラ）は、撮像者がある回転軸で撮像装置５０を回転運動させながら撮像して得られた複数枚の静止画像（フレーム画像データ）に対し、合成処理を行うことによってパノラマ画像を生成することができる。
　特に実施の形態の撮像装置５０では、画角が３６０°の全周パノラマ画像を生成できる
ものである。

　図１Ａは、パノラマ撮像時の撮像装置５０の動きを示したものである。パノラマ撮像時には遠景、近景の視差が合成時のつなぎ目の不自然さを生じさせるため、撮像時の回転中心は、ノーダルポイント（Nodal Point）と呼ばれる視差を生じないレンズ固有の点を回転中心にすることが望ましい。パノラマ撮像時の撮像装置５０の回転運動のことを「スイープ」と呼ぶ。

　図１Ｂは、撮像装置５０のスイープによって得られた複数枚の静止画像に対して、適切に位置合わせを行ったときの概念図である。この図では撮像で得られる各静止画像を、撮像の時間的な順序で示している。即ち時刻０～時刻（ｎ－１）までに撮像されたフレーム画像データを、フレーム画像データＦＭ＃０、ＦＭ＃１・・・ＦＭ＃（ｎ－１）としている。
　ｎ枚の静止画像からパノラマ画像を生成する場合は、図示するように連続して撮像された一連のｎ個のフレーム画像データＦＭ＃０～ＦＭ＃（ｎ－１）について合成処理を行うこととなる。

　この図１Ｂに示すように、撮像された各フレーム画像データは隣接するフレーム画像データと必ず重なり部分を持つ必要があるので、撮像装置５０の各フレーム画像データの撮像時間間隔と、撮像者がスイープする速度の上限値は適切に設定しなければならない。
　そして、このように位置合わせされたフレーム画像データ群は多くの重なり部分を持つため、各フレーム画像データに対して最終的なパノラマ画像に使用する領域を決定する必要がある。これは言い換えると、パノラマ合成処理における画像のつなぎ目（シーム：seam)を決めていることと同一である。

　図２Ａ、図２Ｂでは、シームＳＭの例を示している。
　シームには、図２Ａに示すようにスイープ方向に垂直な直線や、図２Ｂに示すように非直線（曲線など）とすることができる。
　この図２Ａ、図２Ｂにおいて、シームＳＭ０はフレーム画像データＦＭ＃０，ＦＭ＃１間のつなぎ目、シームＳＭ１はフレーム画像データＦＭ＃１，ＦＭ＃２間のつなぎ目、・・・シームＳＭ（ｎ－２）はフレーム画像データＦＭ＃（ｎ－２），ＦＭ＃（ｎ－１）間のつなぎ目として示している。
　なお、これらシームＳＭ０～ＳＭ（ｎ－２）が合成時の隣接画像間のつなぎ目とされることで、各フレーム画像データにおいて斜線部とした部分は、最終的なパノラマ画像に使用されない画像領域となる。

　また、パノラマ合成を行う際には、シーム付近の画像の不自然さを低減することを目的とし、シーム付近の画像領域についてブレンド処理することも行われる場合もある。
　そして、各フレーム画像データの共通部分を広範囲にブレンド処理することによって接合させる場合や、パノラマ画像に寄与する画素を共通部分から画素毎に選択する場合もあり、これらの場合には、つなぎ目は明確には存在しないが、本明細書においてはこの広範囲な接合部分もシームとして同一視するものとする。

　また図１Ｂに示したように、各フレーム画像データの位置合わせの結果、一般的にスイープ方向だけでなく、スイープと垂直な方向にも若干の移動が認められる。これは撮像者のスイープ時の手振れ等によって生じるズレである。

　各フレーム画像データのシームを決定し、その境界領域で接合、又はブレンド処理することによる接合を行い、最終的に手振れ量を考慮してスイープと垂直な方向な不要な部分をトリミングすることによって、図３に示すような、スイープ方向を長辺方向とする、広
画角のパノラマ画像を得ることができる。
　図３では縦線がシームを示しており、ｎ個のフレーム画像データＦＭ＃０～ＦＭ＃（ｎ－１）がシームＳＭ０～ＳＭ（ｎ－２）でそれぞれ接合されてパノラマ画像が生成されている状態を模式的に示している。

　このようなパノラマ画像を得るためにユーザが撮像装置５０を用いて行うパノラマ撮像の具体的操作例を説明する。

　まず第一に、撮像装置５０をパノラマ撮像モードに設定し、さらに最大撮像画角を設定する。最大撮像画角としては例えば１２０°、１８０°、３６０°などが選択可能であり、３６０°を選択した場合は、周囲の全風景をすべて写真に収めるいわゆる全周撮像ができる。なお、パノラマ撮像モードにおいて最大撮像画角を３６０°に設定した場合は「３６０°パノラマ撮像モード」、最大撮像画角を１８０°に設定した場合は「１８０°パノラマ撮像モード」などの表現を用いる。

　次に撮像者は撮像装置５０のシャッターボタンを押下することによってパノラマ撮像を開始するとともに、スイープ動作を行う。その後、パノラマ撮像の終了条件が満たされた場合にパノラマ撮像が完了する。終了条件は例えば以下の通りである。
・あらかじめ設定された最大撮像画角に到達した場合
・ユーザによるスイープ動作が停止した場合
・ユーザがシャッターボタンを再び押下した場合
・ユーザがシャッターボタンから指を離した場合（パノラマ撮像中にはシャッターボタンを押し続けるという仕様において）
・何らかのエラーが発生した場合

　撮像完了後は自動的にパノラマ合成処理が開始され、或る時間経過後にパノラマ画像の合成が完了するとともに、そのパノラマ画像データが記録デバイスに保存される。
　その後は通常の静止画像と同様に一覧し、表示することができる。

　このように生成されるパノラマ画像データと、その表示態様について説明する。
　図４Ａは、パノラマ合成時の投影処理の概念図である。パノラマ合成時の処理方式は多様であるが、例えば円筒面、球面、立方体などに投影する処理が行われることが多い。説明上「合成用投影処理」と呼び、後述の投影表示のために行う「表示用投影処理」と区別する。
　この図４Ａでは、パノラマ撮像動作時にスイープしながら撮像される多数のフレーム画像データＦＭを示している。フレーム画像データＦＭ、つまり通常の写真撮影と同じ撮像画像は、三次元の光景を平面（例えばカメラのイメージャ平面）に投影したものといえる。このような多数のフレーム画像データＦＭから図３のようなパノラマ画像データを生成する際には、合成用投影処理として、例えば円筒面ＦＲに各フレーム画像データＦＭを投影した状態とする。図では模式的に投影されたフレーム画像データＦＭｐｄを円筒面ＦＲに沿わして示している。
　このような合成用投影処理されたフレーム画像データＦＭｐｄをつなぎ合わせて図４Ｂのようにパノラマ画像データＰＤを生成する。パノラマ画像データＰＤは投影中心ＣＴからみて円筒面ＦＲ上に再投影された画像データということができる。

　本実施の形態では、このようなパノラマ画像データＰＤについての表示態様としては、シングルビュー表示、リスト表示、スクロール表示、投影表示が実行可能である。表示態様を図５，図６，図７で例示する。

　図５はスクロール表示と投影表示の概念を模式的に示している。
　スクロール表示は、上述のように円筒面などに投影された画像であるパノラマ画像データＰＤの一部を、そのまま切り出し、自動的に、もしくは手動操作に応じて、上下左右にスクロールさせて表示するものである。

　一方、投影表示は、スクロール表示とは異なり、円筒面、球面、立方体などに投影されたパノラマ画像データＰＤを、仮想的な平面スクリーンＶＳに再度の投影（表示用投影処理）を行った画像を表示するものである。
　即ちこの場合、表示用投影処理として、パノラマ画像生成時の投影面上に投影された状態のパノラマ画像データを、平面投影する処理を行う。そして平面投影された画像を表示画像データとする。
　これにより撮像時の画像を再現することができ、スクロール表示でみられる円筒投影、球面投影に起因する投影歪が解消され、臨場感、没入感が向上する表示が実現される。

　例えば図６は、３６０°パノラマ撮像モードで得られたパノラマ画像データＰＤの投影表示を模式的に示している。パノラマ画像データＰＤは、投影中心ＣＴの周囲の３６０°の円筒面ＦＲに投影された画像データである。このパノラマ画像データＰＤを、各角度に応じた仮想的な平面スクリーンＶＳ０・・・ＶＳ４５・・・等に投影させる。例えば平面スクリーンＶＳ０は、投影中心ＣＴから０°方向を中心とした平面スクリーン、平面スクリーンＶＳ４５は、投影中心ＣＴから４５°方向を中心とした平面スクリーンとして示している。図ではさらに１３５°方向、１８０°方向、２２５°方向、３１５°方向の各平面スクリーンＶＳ１３５，ＶＳ１８０、ＶＳ２２５，ＶＳ３１５を例示している。
　投影表示では、このような投影中心ＣＴから視線方向に設定した平面スクリーンＶＳに投影した画像を表示させる。投影中心ＣＴから平面スクリーンＶＳへのベクトル、距離を、自動的もしくは手動操作に応じて適切に設定することによって、視線方向の変更、ズームイン・ズームアウトが可能である。
　例えば平面スクリーンＶＳ０の投影画像、平面スクリーンＶＳ１（１°方向）、平面スクリーンＶＳ２（２°方向）・・・平面スクリーンＶＳ４５・・・平面スクリーンＶＳ１３５・・・平面スクリーンＶＳ３１５・・・平面スクリーンＶＳ０への投影画像を順次表示させていけば、投影中心ＣＴから周りを全周見渡していくような表示が可能となる。
　また平面スクリーンＶＳの位置を投影中心ＣＴから遠ざけたり、投影中心ＣＴに近づけたりすることで、表示画像はズームイン／ズームアウトされる。

　ただし、３６０°パノラマ撮像モードで撮像した全周パノラマ画像以外では、パノラマ画像データの画角が正確には求めることができない。すると表示用投影処理を行う時の３次元モデルを厳密に定義できない。このため、３６０°のパノラマ画像データ以外は、投影表示には適さない。

　次に図７Ａは、シングルビュー表示の例を、また図７Ｂではリスト表示の例を示している。
　シングルビュー表示は、単にパノラマ画像データＰＤの全体を含む表示画像データを生成し、それを表示するもので、通常の表示動作である。パノラマ画像は例えば横長の画像となり、表示画面のアスペクト比との違いに合わせて、図７Ａのように画面上の一部（この例の場合は上領域と下領域）が無表示の領域となる場合が多い。
　リスト表示は、図７Ｂのように、再生表示可能な画像データを、一覧表示するものである。例えばユーザはリスト表示上で画像指定を行うことで、上述のスクロール表示や投影処理を行うパノラマ画像データＰＤを選択することができる。
　なお図７Ｂのリスト表示の画像は、例えば横長のパノラマ画像の全体を縮小した画像ではないが、パノラマ画像データＰＤをリスト表示上に表す場合、パノラマ画像の一部を切り出して縮小し、図示のように表示すればよい。もちろん、例えば横長のパノラマ画像の全体を縮小して、複数個並べるようなリスト表示態様もある。

＜２．画像処理装置構成例＞
　実施の形態の画像処理装置の構成例を説明する。
　図８Ａは、生成されたパノラマ画像データについての関連付け部１１を備えた画像処理装置１と、パノラマ合成部１０を有する構成例を示している。関連付け部１１とパノラマ合成部１０は同一機器内に一体に設けられてもよいし、別体機器にそれぞれ設けられてもよい。
　また図８Ｂはパノラマ画像データを表示するための表示画像生成部２０を備えた画像処理装置２と、表示部２１を有する構成例を示している。表示画像生成部２０と表示部２１は同一機器内に一体に設けられてもよいし、別体機器にそれぞれ設けられてもよい。

　図８Ａの構成において、パノラマ合成部１０は、入力画像群ＦＭＳからパノラマ画像データＰＤを生成する。入力画像群ＦＭＳとは、撮像者がパノラマ撮像モードにおいてスイープさせながらの撮像動作を行うことで得られる一連のフレーム画像データＦＭのことである。パノラマ合成部１０は、入力画像群ＦＭＳとしての複数のフレーム画像データＦＭを用いて、上記図１～図３で説明したようにパノラマ画像データＰＤを生成する。
　そしてパノラマ合成部１０は、生成したパノラマ画像データＰＤを関連付け部１１に供給する。なお、パノラマ合成部１０の詳細な処理例については実施の形態の第５構成例の説明において述べる。

　またパノラマ合成部１０は、パノラマ画像データＰＤの生成処理における各種のパノラマ処理情報Ｉｐも関連付け部１１に供給する。
　パノラマ処理情報Ｉｐとは、パノラマ合成処理の過程で発生される各種の情報を総称している。

　パノラマ処理情報Ｉｐの内容としては、例えば３６０°パノラマ撮像モードや１８０°パノラマ撮像モードなどのモード種別を示す情報（以下、パノラマモード種別情報）が考えられる。

　またパノラマ処理情報Ｉｐの内容としては、パノラマ画像データＰＤが３６０°画角を有するか否かの判定結果を示す情報（以下、３６０°画角判定情報）が考えられる。例えば正確に３６０°画角であるか否かを判定した結果の情報である。なお大まかに略３６０°画角を有するか否かを判定した結果としてもよい。

　またパノラマ処理情報Ｉｐの内容としては、パノラマ画像データＰＤが３６０°画角を有し、両端位置合わせが行われたものであるか否かを示す情報（以下、両端位置合わせ情報）が考えられる。両端位置合わせについては実施の形態の第５構成例の説明において述べるが、簡単に言えば、パノラマ画像の０°と３６０°の位置、つまりパノラマ画像の両端で、垂直方向及び水平方向に画像のズレが無いように調整する処理である。

　またパノラマ処理情報Ｉｐの内容としては、合成用投影処理の投影面の情報（以下、合成用投影面情報）が考えられる。例えば円筒面、球面、多角形面、平面などを示す情報である。

　またパノラマ処理情報の内容としては、パノラマ画像データＰＤの水平画角、垂直画角を示す情報（以下、水平垂直画角情報）が考えられる。

　関連付け部１１は、生成されたパノラマ画像データＰＤが、全周パノラマ画像と判断さ
れる場合に、そのパノラマ画像データＰＤと、そのパノラマ画像データＰＤが全周パノラマ画像であることを示す情報を関連付ける処理（関連付け処理）を行う。関連付け処理としての具体的な処理例は、実施の形態の第１構成例～第４構成例で説明する。
　そして関連付け部１１は、記録又は送信のためのパノラマ画像データを出力する。説明上の区別のため、関連付け部１１が出力する記録又は送信のためのパノラマ画像データを、特に「パノラマ画像ファイルＰＤｒ」と呼ぶこととする。
　このパノラマ画像ファイルＰＤｒは、記録媒体に記録されたり、他の機器に送信されたりするパノラマ画像データである。特にパノラマ画像データＰＤが略３６０°画角（もしくは正確に３６０°画角）を有する場合には、全周パノラマ画像であることを示す情報が関連付けられた状態の１又は複数のデータファイルである。

　続いて図８Ｂの構成において、表示画像生成部２０は、パノラマ画像ファイルＰＤｒを取り込む。
　例えば上述の関連付け部１１から出力されて記録媒体に記録されたパノラマ画像ファイルＰＤｒが、記録媒体から読み出されて表示画像生成部２０に供給される。或いは関連付け部１１から出力されて送信出力されたパノラマ画像ファイルＰＤｒが、受信されて表示画像生成部２０に供給される。
　表示画像生成部２０は、例えば上述のシングルビュー表示、リスト表示、スクロール表示、投影表示のための表示画像データＰＤｄｓｐを生成する。特には、表示対象として選択されたパノラマ画像ファイルＰＤｒのパノラマ画像が、全周パノラマ画像と判断される場合に、表示用投影処理を行って投影表示のための表示画像データＰＤｄｓｐを生成する。
　そして表示画像生成部２０は表示画像データＰＤｄｓｐを表示部２１に供給する。表示画像生成部２０の具体的な処理例は、実施の形態の第１構成例～第４構成例で説明する。

　表示部２１は、液晶パネル、有機ＥＬ（Electroluminescence）パネル、プラズマディスプレイパネル、ＣＲＴ（Cathode
Ray Tube）その他の表示デバイスと、その表示デバイスに対する表示駆動部を有し、各種の表示を行う。この表示部２１には、表示画像生成部２０から表示画像データＰＤｄｓｐが供給されて、その表示画像データＰＤｄｓｐに基づく表示動作を実行することとなる。例えばパノラマ画像に関してシングルビュー表示、リスト表示、スクロール表示、投影表示が行われる。
　本例の場合、表示対象として選択されたパノラマ画像ファイルＰＤｒのパノラマ画像が、全周パノラマ画像と判断された場合に、表示画像生成部２０で表示用投影処理を行って表示画像データＰＤｄｓｐが生成されて表示部２１に供給される。例えば図６の仮想的な平面スクリーンＶＳに投影された画像が順次供給されることになり、この場合、表示部２１で投影表示が実行されることとなる。

　以上のような関連付け部１１を備えた画像処理装置１や、表示画像生成部２０を備えた画像処理装置２を有する電子機器としては、多様な構成例が考えられる。電子機器としての各種の装置構成例を図９，図１０に例示する。

　図９Ａは、撮像機能を備えた装置ＤＶＣ１において、画像処理装置１及び画像処理装置２が構成される例である。
　この例の装置ＤＶＣ１は、撮像部１２、パノラマ合成部１０、関連付け部１１、記録再生部１３、表示画像生成部２０、表示部２１を有する。
　撮像部１２は、例えばパノラマ画像データの撮像動作により、パノラマ画像を生成するための一連の複数のフレーム画像データＦＭを得る。この複数のフレーム画像データＦＭが入力画像群ＦＭＳとしてパノラマ合成部１０に供給される。パノラマ合成部１０は入力画像群ＦＭＳからパノラマ画像データＰＤを生成し、パノラマ画像データＰＤ及びパノラマ処理情報Ｉｐを出力する。関連付け部１１は上述の関連付け処理を行い、パノラマ画像
ファイルＰＤｒを出力する。パノラマ画像ファイルＰＤｒは記録再生部１３において記録媒体に記録される。
　記録再生部１３において記録媒体から読み出されたパノラマ画像ファイルＰＤｒは表示画像生成部２０に供給され、表示画像データＰＤｄｓｐが生成される。この表示画像データＰＤｄｓｐは表示部２１に供給され、投影表示等の表示が実行される。
　このように装置ＤＶＣ１は、パノラマ撮像機能、記録再生機能、表示機能を備えるものであり、例えばデジタルスチルカメラ、ビデオカメラ、携帯電話機、コンピュータ装置などが想定される。

　図９Ｂは、外部からの画像データ入力機能を備えた装置ＤＶＣ２において、画像処理装置１及び画像処理装置２が構成される例である。
　この例の装置ＤＶＣ２は、入力部１４、パノラマ合成部１０、関連付け部１１、記録再生部１３、表示画像生成部２０、表示部２１を有する。即ち上記図９Ａと比べると、撮像部１２に代わって入力部１４が設けられる場合である。
　入力部１４は、例えば外部の撮像装置におけるパノラマ画像データの撮像動作により得られた、パノラマ画像を生成するための一連の複数のフレーム画像データＦＭを入力する。この複数のフレーム画像データＦＭが入力画像群ＦＭＳとしてパノラマ合成部１０に供給される。以降の各部の動作は図９Ａと同様である。
　このように装置ＤＶＣ２は、外部の撮像装置で得られたフレーム画像データＦＭを用いてパノラマ画像生成を行い、またパノラマ画像の表示を行う機器である。例えばデジタルスチルカメラ等の撮像装置に有線又は無線で接続されて使用される画像編集機、記録再生装置、テレビジョン受像器、携帯電話機、コンピュータ装置などが想定される。

　図９Ｃの装置ＤＶＣ３は、表示部２１を有さない機器として画像処理装置１及び画像処理装置２が構成される例である。
　この例の装置ＤＶＣ３は、入力部１４（又は撮像部１２）、パノラマ合成部１０、関連付け部１１、記録再生部１３、表示画像生成部２０を有する。この場合の表示部２１は装置ＤＶＣ３に接続される外部機器となる。各部の動作は図９Ａ又は図９Ｂと同様であるが、表示画像生成部２０は生成した表示画像データＰＤｄｓｐを外部の表示部２１に送信し、投影表示等の表示を実行させる。
　このように画像処理装置１及び画像処理装置２は、表示機能を有しない機器としても実現可能である。

　図１０Ａは、画像処理装置１となる装置ＤＶＣ４と、画像処理装置２となる装置ＤＶＣ５の例である。
　装置ＤＶＣ４は、撮像部１２（又は入力部１４）、パノラマ合成部１０、関連付け部１１、記録部１３Ｒを有する。
　記録部１３Ｒは、関連付け部１１からのパノラマ画像ファイルＰＤｒを可搬性記録媒体９０に記録する。可搬性記録媒体９０としては、メモリカード、光ディスク、磁気ディスクなどが想定される。
　装置ＤＶＣ５は、再生部１３Ｐ、表示画像生成部２０、表示部２１を有する。
　再生部１３Ｐは、可搬性記録媒体９０からパノラマ画像ファイルＰＤｒを再生し、表示画像生成部２０に供給する。表示画像生成部２０はパノラマ画像ファイルＰＤｒに基づいて表示画像データＰＤｄｓｐを生成し、表示部２１に供給してパノラマ画像の表示を実行させる。
　この例のように、画像処理装置１となる装置ＤＶＣ４と、画像処理装置２となる装置ＤＶＣ５が別体の構成として、可搬性記録媒体９０によりパノラマ画像ファイルＰＤｒが受け渡される構成も考えられる。なお、装置ＤＶＣ５において表示部２１を設けず、外部の表示部２１を用いる例も考えられる。

　図１０Ｂは、画像処理装置１となる装置ＤＶＣ６と、画像処理装置２となる装置ＤＶＣ７の例である。
　装置ＤＶＣ６は、撮像部１２（又は入力部１４）、パノラマ合成部１０、関連付け部１１、通信部１５を有する。
　通信部１５は、関連付け部１１からのパノラマ画像ファイルＰＤｒを外部に送信する。
　装置ＤＶＣ７は、通信部１６、表示画像生成部２０、表示部２１を有する。
　通信部１６は、装置ＤＶＣ６から送信されてくるパノラマ画像ファイルＰＤｒを受信し、表示画像生成部２０に供給する。表示画像生成部２０はパノラマ画像ファイルＰＤｒに基づいて表示画像データＰＤｄｓｐを生成し、表示部２１に供給してパノラマ画像の表示を実行させる。
　この例のように、画像処理装置１となる装置ＤＶＣ６と、画像処理装置２となる装置ＤＶＣ７が別体の構成として、通信によりパノラマ画像ファイルＰＤｒが受け渡される構成も考えられる。
　通信部１５、１６の間の通信は、有線通信、無線通信のいずれも考えられる。また通信は、機器間のケーブル接続による通信、ＵＳＢ（Universal Serial Bus）等による通信、ＬＡＮ（Local Area
Network）通信、インターネット等の公衆ネットワークを利用した通信など、あらゆる通信形態が想定される。さらには、通信部１５はインターネット上のサーバ等にパノラマ画像ファイルＰＤｒをアップロードする通信を行い、また通信部１６はサーバからパノラマ画像ファイルＰＤｒをダウンロードする通信を行うものでもよい。また通信部１５，１６はクラウドコンピューティングを想定した通信を行ってもよい。
　なお、装置ＤＶＣ７においても表示部２１を設けず、外部の表示部２１を用いる例も考えられる。

　以上、機器構成例を示したが、画像処理装置１，２を実現する機器構成はさらに多様に考えられる。
　例えばクラウドコンピューティングシステムを想定した場合、関連付け部１１や表示画像生成部２０が、ユーザ使用機器ではなくネットワーク上に配置されることも考えられる。
　また上述してきたパノラマ画像ファイルＰＤｒは、パノラマ画像データＰＤと、そのパノラマ画像データＰＤが全周パノラマ画像であることを示す情報を関連付ける処理を行ったデータである。このパノラマ画像ファイルＰＤｒとしては、全周パノラマ画像であることを示す情報（例えば後述するメタデータや専用プログラム）と、パノラマ画像データＰＤを組み込んだファイルとするということが考えられるが、さらにパノラマ画像データＰＤと、全周パノラマ画像であることを示す情報が別ファイルとして設けられ、それらがなんかの情報で関連付けられるという形態もある。

＜３．第１構成例（メタデータ）＞
　以下、図８に示した関連付け部１１及び表示画像生成部２０としての具体的な構成例を説明していく。第１構成例は、関連付け部１１がメタデータを用いた関連付け処理を行う例である。

　図１１Ａは、画像処理装置１におけるパノラマ合成部１０と関連付け部１１を示している。この第１構成例では、関連付け部１１はメタデータ生成部１１ａとデータ統合部１１ｂを有する。

　パノラマ合成部１０はパノラマ画像データＰＤを生成するとともにパノラマ処理情報Ｉｐを出力する。

　パノラマ処理情報Ｉｐはメタデータ生成部１１ａに供給される。メタデータ生成部１１ａはパノラマ処理情報Ｉｐを反映したメタデータＭＴを生成する。上述のようにパノラマ処理情報Ｉｐの内容としては、パノラマモード種別情報、３６０°画角判定情報、両端位置合わせ情報、合成用投影面情報、水平垂直画角情報などがある。
　このうちパノラマモード種別情報、３６０°画角判定情報、或いは両端位置合わせ情報は、生成されたパノラマ画像データＰＤが、全周パノラマ画像と判断される場合に、そのパノラマ画像データＰＤが全周パノラマ画像であることを示す情報となり得る。

　データ統合部１１ｂは、パノラマ合成部１０で生成されたパノラマ画像データＰＤと、メタデータ生成部１１ａで生成されたメタデータＭＴを統合してパノラマ画像ファイルＰＤｒを生成する。例えばパノラマ画像ファイルＰＤｒは図１１Ｂのような構造となる。即ちヘッダ、パノラマ画像データＰＤ、メタデータＭＴを含むデータファイル構造である。
　図９，図１０で例示した各装置ＤＶＣ１～ＤＶＣ３、ＤＶＣ４、ＤＶＣ６では、このようなパノラマ画像ファイルＰＤｒが、記録媒体に記録されたり、送信出力されたりする。

　図１１Ｃは、画像処理装置２における表示画像生成部２０を示している。この第１構成例では、表示画像生成部２０はデータ分離部２０ａ、メタデータ解釈部２０ｂ、画像生成処理部２０ｃを有する。
　データ分離部２０ａには、記録媒体から再生されたり、或いは受信されたりしたパノラマ画像ファイルＰＤｒが入力される。データ分離部２０ａは、このパノラマ画像ファイルＰＤｒからメタデータＭＴとパノラマ画像データＰＤを分離する。
　メタデータＭＴはメタデータ解釈部２０ｂで解釈され、パノラマ処理情報Ｉｐ（パノラマモード種別情報、３６０°画角判定情報、両端位置合わせ情報、合成用投影面情報、水平垂直画角情報）として画像生成処理部２０ｃに供給される。
　画像生成処理部２０ｃはパノラマ画像データＰＤに基づいて表示画像データＰＤｄｓｐを生成して出力する。このときに、パノラマ処理情報Ｉｐの内容に応じて、投影表示のための表示画像データＰＤｄｓｐ生成を行うか否かを決定する。即ち表示対象のパノラマ画像データＰＤが全周パノラマ画像と判断される場合に、投影表示のための処理を行い、全周パノラマ画像ではない場合は、他の表示、例えばスクロール表示やシングルビュー表示のための処理を行う。
　そして生成した表示画像データＰＤｄｓｐを図示しない表示部や、表示部を有する機器に供給し、表示を実行させる。
　図９，図１０で例示した各装置ＤＶＣ１～ＤＶＣ３、ＤＶＣ５、ＤＶＣ７では、この表示画像データＰＤｄｓｐが表示部２１に供給されてパノラマ画像表示が行われる。

　以上の画像処理装置１、画像処理装置２の処理例を図１２に示す。
　図１２Ａは画像処理装置１としてパノラマ合成部１０及び関連付け部１１の処理を示している。
　ステップＦ１でパノラマ合成部１０は入力画像群ＦＭＳを取り込む。
　ステップＦ２でパノラマ合成部１０がパノラマ合成処理を行って、パノラマ画像データＰＤを生成する。パノラマ合成部１０は、このパノラマ合成処理過程で得られたパノラマ処理情報Ｉｐを関連付け部１１（メタデータ生成部１１ａ）に供給する。
　ステップＦ３では、関連付け部１１（メタデータ生成部１１ａ）がパノラマ処理情報Ｉｐに基づいてメタデータＭＴを生成する。
　ステップＦ４では関連付け部１１（データ統合部１１ｂ）が、パノラマ画像データＰＤとメタデータＭＴを統合し、例えば図１１Ｂのようなパノラマ画像ファイルＰＤｒを生成する。
　ステップＦ５では、パノラマ画像ファイルＰＤｒが、図示していない記録再生部で記録媒体に記録されたり、或いは図示していない通信部により外部機器、ネットワーク等に送信出力されたりする。

　図１２Ｂでは、画像処理装置２の表示画像生成部２０の処理を示している。
　ステップＦ５１で表示画像生成部２０（データ分離部２０ａ）は、図示しない記録再生部で再生されたり、又は図示しない通信部で受信されたりしたパノラマ画像ファイルＰＤｒを取り込む。
　ステップＦ５２で表示画像生成部２０（データ分離部２０ａ、メタデータ解釈部２０ｂ）が、パノラマ画像ファイルＰＤｒからパノラマ画像データＰＤとメタデータＭＴを分離し、メタデータＭＴを抽出し、これを解釈してパノラマ処理情報Ｉｐを得る。
　ステップＦ５３では、表示画像生成部２０（画像生成処理部２０ｃ）は、今回の表示対象のパノラマ画像データＰＤが３６０°画角の全周パノラマ画像であるか否かで処理を分岐する。

　パノラマ画像データＰＤが全周パノラマ画像であるか否かの判断は各種考えられる。
　パノラマ処理情報Ｉｐにおける３６０°画角判定情報を参照することで、パノラマ画像データＰＤが正確に３６０°画角を有しているか否かを判断できる。このため、正確に３６０°画角を有する場合に全周パノラマ画像と判断してもよい。

　またパノラマ処理情報Ｉｐにおける両端位置合わせ情報を参照することで、パノラマ画像データＰＤが３６０°画角を有し、かつ両端位置合わせ処理が行われたものであるか否かを判断できる。このため、３６０°画角を有し、かつ両端位置合わせが行われていることを条件として、全周パノラマ画像と判断するようにしてもよい。

　またパノラマ処理情報Ｉｐにおけるパノラマモード種別情報を参照することで、パノラマ画像データＰＤが３６０°パノラマ撮像モードで撮像されたものであるか否か、つまりほぼ３６０°画角を有するか否かを判断できる。このため、３６０°パノラマ撮像モードで撮像されたものであれば全周パノラマ画像と判断するようにしてもよい。
　なお、３６０°パノラマ撮像モードで撮像されたパノラマ画像データＰＤは、必ずしも正確な３６０°画角を有するものとはいえない。３６０°パノラマ撮像モードでは、撮像時に３６０°のスイープで得られたフレーム画像データＦＭからパノラマ画像データＰＤを生成するが、スイープはユーザが行うものであり、必ず正確に３６０°画角とはならないためである。ユーザが、３６０°に至る前にスイープをやめる場合もある。従って、３６０°パノラマ撮像モードで撮像されたパノラマ画像データＰＤは、略３６０°画角と推定される画像ということとなる。

　ステップＦ５３で以上のいずれかの判断手法が用いられ、全周パノラマ画像と判断された場合、表示画像生成部２０（画像生成処理部２０ｃ）は、ステップＦ５４に進んで、表示用投影処理を行って表示画像データＰＤｄｓｐを生成し、ステップＦ５５でその表示画像データＰＤｄｓｐを出力する処理を行う。このステップＦ５４，Ｆ５５の処理を、ステップＦ５６で、ユーザ操作や自動処理により表示終了となるまで継続する。これによって、表示部では、投影表示として、例えば全周を見渡すような表示や、任意の方向の表示などが実行される。

　ここで投影表示を行うための表示用投影処理では、パノラマ画像の画角の情報が必要である。本例の場合、ステップＦ５４の処理対象となるパノラマ画像データＰＤは、上述のように全周パノラマ画像と判断されたものであり、従って画像生成処理部２０ｃはパノラマ画像データＰＤが画角３６０°のものとして表示用投影処理を行えばよいこととなる。これによって画像歪みの少ない高品質な投影表示を行うことができる。

　また表示用投影処理では、パノラマ合成時において投影面（円筒面、球面、多角形面等）に投影が行われたパノラマ画像データＰＤを仮想的な平面スクリーンＶＳに再投影する
。このためにはパノラマ画像データＰＤの投影面の情報が必要になる。本例ではパノラマ処理情報Ｉｐにおける合成用投影面情報を参照することで、画像生成処理部２０ｃは正確に平面スクリーンＶＳへの再投影処理を行うことができる。

　また、投影表示では、仮想的な平面スクリーンＶＳの水平垂直角度を変えていくことで、スクロール表示と同様に周囲を水平垂直方向に見渡していく表示を行うことができる。例えば水平方向には３６０°画角であることで、水平方向には無制限にスクロールを行うことができるが垂直方向には限度がある。この場合に、画像生成処理部２０ｃは、パノラマ処理情報Ｉｐにおける水平垂直画角情報を参照して、垂直方向のスクロール可能範囲を制限することができる。
　なお、水平垂直画角情報は、表示用に平面スクリーンＶＳへの投影処理自体に使用するものではなく、単に表示範囲の制限のために使用する情報であればよい。従って精度の高い画角の値を示すものでなくてよい。パノラマ画像データＰＤの生成時に、高精度の水平垂直画角を求めるという困難な演算を行うことを必要とするものではない。

　ステップＦ５３で全周パノラマ画像ではないと判断された場合は、表示画像生成部２０（画像生成処理部２０ｃ）はステップＦ５７で、他の方式の表示画像データ生成処理を行う。例えばスクロール表示、或いはシングルビュー表示としての表示画像データＰＤｄｓｐを生成する。そしてステップＦ５８で表示画像データＰＤｄｓｐを出力する処理を行う。このステップＦ５７，Ｆ５８の処理を、ステップＦ５９で表示終了と判断されるまで継続する。これによって表示部では、投影表示以外のスクロール表示やシングルビュー表示が実行される。
　全周パノラマ画像ではない場合、画角が正確にわからず、投影表示が高品質に実行できない。そこで、スクロール表示やシングルビュー表示を行うものである。

　以上のように第１構成例では、画像処理装置１においては、関連付け部１１は、全周パノラマ画像であることを示す情報を含むメタデータＭＴを、パノラマ画像データＰＤに関連付けてパノラマ画像ファイルＰＤｒを生成する。
　メタデータＭＴには、パノラマ画像生成時のフレーム画像データの投影面の種別を示す合成用投影面情報や、パノラマ画像データＰＤの３６０°画角判定情報、両端位置合わせ情報、パノラマモード情報、水平垂直画角情報が含まれる。
　一方で画像処理装置２では、表示画像生成部２０は、パノラマ画像データＰＤが全周パノラマ画像であると判断されるときに表示用投影処理を行って表示画像データを生成し、投影表示を実行させるようにしている。全周パノラマ画像の判断はメタデータＭＤとして関連付けられている情報を用いている。

　このような構成により適切な投影表示が実行できる全周パノラマ画像については投影表示が自動的に実行されることになり、ユーザに対して臨場感のある表示を提供できる。一方で、全周パノラマ画像でなく画角が正確に特定できないときは、他の表示方式で表示を行うことで、低品質な投影表示を行うことがないように表示動作の切り替えができる。
　またメタデータＭＴとしてパノラマモード種別情報、３６０°画角判定情報、両端位置合わせ情報等が含まれており、これらがパノラマ画像データＰＤと関連付けられていることで、全周パノラマ画像か否かの判断を容易かつ正確に実行できる。つまり表示方式の選択が容易かつ正確となる。
　またメタデータＭＴに合成用投影面情報が含まれていることで、表示用投影処理が正確に実行できる。

＜４．第２構成例（専用プログラム）＞
　実施の形態の第２構成例を説明する。第２構成例は、画像処理装置１の関連付け部１１は、全周パノラマ画像であることを示す情報として、全周パノラマ画像の表示に用いる表示処理プログラム（専用プログラム）を、パノラマ画像データＰＤに関連付けるものである。
　また画像処理装置２の表示画像生成部２０は、パノラマ画像データＰＤに表示処理プログラムが関連付けられていることにより、全周パノラマ画像であると判断し、その表示処理プログラムに基づいて表示用投影処理を行って表示画像データを生成するようにする。

　図１３Ａは、画像処理装置１におけるパノラマ合成部１０と関連付け部１１を示している。この第２構成例では、関連付け部１１は表示処理プログラム発生部１１ｄとデータ統合部１１ｅを有する。

　パノラマ処理情報Ｉｐは表示処理プログラム発生部１１ｄに供給される。表示処理プログラム発生部１１ｄは、パノラマ処理情報Ｉｐに基づいて表示処理プログラムＰＧを発生させる。表示処理プログラム発生部１１ｄはパノラマ処理情報Ｉｐにおけるパノラマモード種別情報、３６０°画角判定情報、両端位置合わせ情報のいずれかにより、パノラマ画像データＰＤが全周パノラマ画像か否かを判断して、全周パノラマ画像の場合に、表示処理プログラムＰＧを発生させる。
　表示処理プログラムＰＧとしては、例えばFlash(Adobe)、QuickTimeVR(Apple)、ＨＴＭＬ５で記述されたもので、広範囲の表示装置で再生表示が可能である。

　データ統合部１１ｅは、パノラマ合成部１０で生成されたパノラマ画像データＰＤと、表示処理プログラム発生部１１ｄで発生された表示処理プログラムＰＧを統合してパノラマ画像ファイルＰＤｒを生成する。例えばパノラマ画像ファイルＰＤｒは図１３Ｂのような構造となる。即ちヘッダ、パノラマ画像データＰＤ、表示処理プログラムＰＧを含むデータファイル構造である。
　図９，図１０で例示した各装置ＤＶＣ１～ＤＶＣ３、ＤＶＣ４、ＤＶＣ６では、このようなパノラマ画像ファイルＰＤｒが、記録媒体に記録されたり、送信出力されたりする。
　なおパノラマ画像ファイルＰＤｒとしては図示のように、パノラマ画像データＰＤは通常のパノラマ保存形式とし、表示処理プログラムＰＧを加えてもよいが、表示処理プログラム自体にパノラマ画像データＰＤを埋め込む形式としてもよい。

　図１３Ｃは、画像処理装置２における表示画像生成部２０を示している。この第２構成例では、表示画像生成部２０はデータ分離部２０ｆ、画像生成処理部２０ｃを有する。
　データ分離部２０ｆには、記録媒体から再生されたり、或いは受信されたりしたパノラマ画像ファイルＰＤｒが入力される。データ分離部２０ａは、このパノラマ画像ファイルＰＤｒからパノラマ画像データＰＤと表示処理プログラムＰＧを分離して画像生成処理部２０ｃへ供給する。
　なお、パノラマ画像データＰＤが全周パノラマ画像ではなかった場合、パノラマ画像ファイルＰＤｒには表示処理プログラムＰＧは含まれていないため、データ分離部２０ｆはパノラマ画像データＰＤのみを画像生成処理部２０ｃへ供給する。

　画像生成処理部２０ｃはパノラマ画像データＰＤに基づいて表示画像データＰＤｄｓｐを生成して出力する。このときに、表示処理プログラムＰＧが存在すれば、表示処理プログラムＰＧに基づいた処理を行って、投影表示のための表示画像データＰＤｄｓｐ生成を行う。パノラマ画像データＰＤが全周パノラマ画像ではなく、表示処理プログラムＰＧが抽出されない場合は、他の表示、例えばスクロール表示やシングルビュー表示のための処
理を行う。
　そして生成した表示画像データＰＤｄｓｐを図示しない表示部や、表示部を有する機器に供給し、表示を実行させる。
　図９，図１０で例示した各装置ＤＶＣ１～ＤＶＣ３、ＤＶＣ５、ＤＶＣ７では、この表示画像データＰＤｄｓｐが表示部２１に供給されてパノラマ画像表示が行われる。

　以上の画像処理装置１、画像処理装置２の処理例を図１４に示す。
　図１４Ａは画像処理装置１としてパノラマ合成部１０及び関連付け部１１の処理を示している。
　ステップＦ１１でパノラマ合成部１０は入力画像群ＦＭＳを取り込む。
　ステップＦ１２でパノラマ合成部１０がパノラマ合成処理を行って、パノラマ画像データＰＤを生成する。パノラマ合成部１０は、このパノラマ合成処理過程で得られたパノラマ処理情報Ｉｐを関連付け部１１（表示処理プログラム発生部１１ｄ）に供給する。
　ステップＦ１３では、関連付け部１１（表示処理プログラム発生部１１ｄ）がパノラマ処理情報Ｉｐを確認し、生成されたパノラマ画像データＰＤが全周パノラマ画像か否かの判断を行う。
　全周パノラマ画像か否かの判断は、第１構成例で述べたものと同様に、パノラマ処理情報Ｉｐにおける３６０°画角判定情報を参照する方式、両端位置合わせ情報を参照する方式、パノラマモード種別情報を参照する方式などが考えられる。

　全周パノラマ画像の場合は、ステップＦ１４からＦ１５に進み、関連付け部１１（表示処理プログラム発生部１１ｄ）は表示処理プログラムＰＧを発生させる。
　ステップＦ１６では関連付け部１１（データ統合部１１ｂ）が、表示処理プログラムＰＧが発生された場合は、パノラマ画像データＰＤと表示処理プログラムＰＧを統合し、例えば図１３Ｂのようなパノラマ画像ファイルＰＤｒを生成する。表示処理プログラムＰＧが発生されなかった場合、つまり全周パノラマ画像ではない場合は、パノラマ画像データＰＤを含むパノラマ画像ファイルＰＤｒを生成する。
　ステップＦ１７では、パノラマ画像ファイルＰＤｒが、図示していない記録再生部で記録媒体に記録されたり、或いは図示していない通信部により外部機器、ネットワーク等に送信出力されたりする。

　図１４Ｂでは、画像処理装置２の表示画像生成部２０の処理を示している。
　ステップＦ６０で表示画像生成部２０（データ分離部２０ｆ）は、図示しない記録再生部で再生されたり、又は図示しない通信部で受信されたりしたパノラマ画像ファイルＰＤｒを取り込む。
　ステップＦ６１で表示画像生成部２０（データ分離部２０ｆ）が、パノラマ画像ファイルＰＤｒの分離処理を行い、表示処理プログラムＰＧが含まれているか否かを確認する。
　表示画像生成部２０はステップＦ６２で、表示処理プログラムＰＧの有無に応じて処理を分岐する。

　表示処理プログラムＰＧが存在した場合は、ステップＦ６３で表示処理プログラムＰＧを取り込んで、画像生成部２０ｃが表示画像生成のためのプログラムとして使用する状態とする。
　そして表示画像生成部２０（画像生成処理部２０ｃ）は、ステップＦ６４に進んで、表示処理プログラムＰＧに従って表示用投影処理を行って表示画像データＰＤｄｓｐを生成し、ステップＦ６５でその表示画像データＰＤｄｓｐを出力する処理を行う。このステップＦ６４，Ｆ６５の処理を、ステップＦ６６で、ユーザ操作や自動処理により表示終了となるまで継続する。これによって、表示部では、投影表示として、例えば全周を見渡すような表示や、任意の方向の表示などが実行される。
　なお、パノラマ画像データＰＤが３６０°画角であることや、パノラマ画像データＰＤ
の投影面の情報は、さらにはスクロール制限のための水平垂直画角情報などは、表示処理プログラムＰＧ内に記述されていればよい。

　ステップＦ６２で表示処理プログラムＰＧが存在しないと判断された場合は、表示画像生成部２０（画像生成処理部２０ｃ）はステップＦ６７で、既存の表示処理プログラムに基づく表示画像データ生成処理を行う。例えば画像生成処理部２０ｃにはスクロール表示やシングルビュー表示としての表示処理プログラムが記憶されているとすると、それらを用いてスクロール表示、或いはシングルビュー表示としての表示画像データＰＤｄｓｐを生成する。そしてステップＦ６８で表示画像データＰＤｄｓｐを出力する処理を行う。このステップＦ６７，Ｆ６８の処理を、ステップＦ６９で表示終了と判断されるまで継続する。これによって表示部では、投影表示以外のスクロール表示やシングルビュー表示が実行される。つまり全周パノラマ画像ではない場合はスクロール表示やシングルビュー表示が行われる。

　以上のように第２構成例では、画像処理装置１においては、関連付け部１１は、全周パノラマ画像に対応した投影表示を実行するための表示処理プログラムＰＧを、パノラマ画像データＰＤに関連付けてパノラマ画像ファイルＰＤｒを生成する。
　一方で画像処理装置２では、表示画像生成部２０は、表示処理プログラムＰＧが存在すれば、その表示処理プログラムＰＧに基づいて表示用投影処理を行って投影表示のための表示画像データＰＤｄｓｐを生成する。

　このような構成により適切な投影表示が実行できる全周パノラマ画像については投影表示が自動的に実行されることになり、ユーザに対して臨場感のある表示を提供できる。一方で、全周パノラマ画像でなく画角が正確に特定できないときは、他の表示方式で表示を行うことで、低品質な投影表示を行うことがないように表示動作の切り替えができる。

＜５．第３構成例（ファイルリンク情報）＞
　実施の形態の第３構成例を説明する。第３構成例は、画像処理装置１の関連付け部１１は、全周パノラマ画像であることを示す情報を含むデータファイルと、パノラマ画像データＰＤを含むデータファイルを関連付ける処理を行う。
　また画像処理装置２の表示画像生成部２０は、パノラマ画像データＰＤを含むデータファイルから関連付けられたデータファイルを確認し、情報を取得して、全周パノラマ画像であるか否かを判断する。そして全周パノラマ画像の場合には表示用投影処理を行って表示画像データを生成する。

　図１５Ａは、画像処理装置１におけるパノラマ合成部１０と関連付け部１１を示している。この第３構成例では、関連付け部１１はメタデータ生成部１１ａと関連付け情報付加部１１ｃを有する。

　パノラマ合成部１０はパノラマ画像データＰＤを生成するとともにパノラマ処理情報Ｉｐを出力する。パノラマ処理情報Ｉｐ（パノラマモード種別情報、３６０°画角判定情報、両端位置合わせ情報、合成用投影面情報、水平垂直画角情報など）はメタデータ生成部１１ａに供給される。

　メタデータ生成部１１ａはパノラマ処理情報Ｉｐを反映したメタデータＭＴを生成する。
　関連付け情報付加部１１ｃは、図１５Ｂに示すように、パノラマ画像データＰＤを含むパノラマ画像ファイルＰＤｒ１を生成するとともに、メタデータＭＴを含むデータファイ
ルＰＤｒ２を生成する。この場合にパノラマ画像ファイルＰＤｒ１とデータファイルＰＤｒ２には、それぞれファイルリンク情報ＬＫ１，ＬＫ２を付加し、互いに関連付けられるようにする。ファイルリンク情報ＬＫ１はデータファイルＰＤｒ２を指定する情報で、ファイルリンク情報ＬＫ２はパノラマ画像ファイルＰＤｒ１を指定する情報である。なお、パノラマ画像ファイルＰＤｒ１とデータファイルＰＤｒ２の一方のみに他方を指定するファイルリンク情報が付加されてもよい。
　図９，図１０で例示した各装置ＤＶＣ１～ＤＶＣ３、ＤＶＣ４、ＤＶＣ６では、このようなパノラマ画像ファイルＰＤｒ１とデータファイルＰＤｒ２が、記録媒体に記録されたり、送信出力されたりする。各ファイルが記録される記録媒体は別の記録媒体でもよい。また各ファイルが別の機器やネットワークサーバ等に送信されてもよい。

　図１５Ｃは、画像処理装置２における表示画像生成部２０を示している。この第３構成例では、表示画像生成部２０は関連付け情報抽出部２０ｄ、対応データ取得部２０ｅ、メタデータ解釈部２０ｂ、画像生成処理部２０ｃを有する。
　関連付け情報抽出部２０ｄには、記録媒体から再生されたり、或いは受信されたりしたパノラマ画像ファイルＰＤｒ１が入力される。関連付け情報抽出部２０ｄは、このパノラマ画像ファイルＰＤｒ１からファイルリンク情報ＬＫ１を抽出して対応データ取得部２０ｅに供給するとともに、パノラマ画像データＰＤを画像生成処理部２０ｃに供給する。

　対応データ取得部２０ｅはファイルリンク情報ＬＫ１を用いてアクセスＡＣＬＫを行い、関連付けられたデータファイルＰＤｒ２を取得する。例えば所定の記録媒体にアクセスしてデータファイルＰＤｒ２を読み出す。或いは所定の外部機器、ネットワークサーバ等にアクセスしてデータファイルＰＤｒ２を受信する。そして対応データ取得部２０ｅはデータファイルＰＤｒ２を取得したら、メタデータＭＴを抽出し、メタデータ解釈部２０ｂに供給する。即ち今回の表示対象のパノラマ画像データＰＤに関連付けられたメタデータＭＴが得られたことになる。
　メタデータＭＴはメタデータ解釈部２０ｂで解釈され、パノラマ処理情報Ｉｐ（パノラマモード種別情報、３６０°画角判定情報、両端位置合わせ情報、合成用投影面情報、水平垂直画角情報）として画像生成処理部２０ｃに供給される。

　画像生成処理部２０ｃはパノラマ画像データＰＤに基づいて表示画像データＰＤｄｓｐを生成して出力する。このときに、パノラマ処理情報Ｉｐの内容に応じて、投影表示のための表示画像データＰＤｄｓｐ生成を行うか否かを決定する。即ち表示対象のパノラマ画像データＰＤが全周パノラマ画像と判断される場合に、投影表示のための処理を行い、全周パノラマ画像ではない場合は、他の表示、例えばスクロール表示やシングルビュー表示のための処理を行う。
　そして生成した表示画像データＰＤｄｓｐを図示しない表示部や、表示部を有する機器に供給し、表示を実行させる。
　図９，図１０で例示した各装置ＤＶＣ１～ＤＶＣ３、ＤＶＣ５、ＤＶＣ７では、この表示画像データＰＤｄｓｐが表示部２１に供給されてパノラマ画像表示が行われる。

　以上の画像処理装置１、画像処理装置２の処理例を図１６に示す。
　図１６Ａは画像処理装置１としてパノラマ合成部１０及び関連付け部１１の処理を示している。
　ステップＦ２１でパノラマ合成部１０は入力画像群ＦＭＳを取り込む。
　ステップＦ２２でパノラマ合成部１０がパノラマ合成処理を行って、パノラマ画像データＰＤを生成する。パノラマ合成部１０は、このパノラマ合成処理過程で得られたパノラマ処理情報Ｉｐを関連付け部１１（メタデータ生成部１１ａ）に供給する。
　ステップＦ２３では、関連付け部１１（メタデータ生成部１１ａ）がパノラマ処理情報Ｉｐに基づいてメタデータＭＴを生成する。
　ステップＦ２４では関連付け部１１（関連付け情報付加部１１ｃ）が、パノラマ画像データＰＤとファイルリンク情報ＬＫ１を含むパノラマ画像ファイルＰＤｒ１を生成し、またメタデータＭＴとファイルリンク情報ＬＫ２を含むデータファイルＰＤｒ２を生成する。
　ステップＦ２５では、パノラマ画像ファイルＰＤｒ１とデータファイルＰＤｒ２が、図示していない記録再生部で記録媒体に記録されたり、或いは図示していない通信部により外部機器、ネットワーク等に送信出力されたりする。

　図１６Ｂは画像処理装置２の表示画像生成部２０の処理を示している。
　ステップＦ７１で表示画像生成部２０（関連付け情報抽出部２０ｄ）は、図示しない記録再生部で再生されたり、又は図示しない通信部で受信されたりしたパノラマ画像ファイルＰＤｒ１を取り込む。
　ステップＦ７２で表示画像生成部２０（関連付け情報抽出部２０ｄ、対応データ取得部２０ｅ、メタデータ解釈部２０ｂ）が、パノラマ画像ファイルＰＤｒ１から抽出したリンク情報ＬＫ１を用いてアクセスを行い、データファイルＰＤｒ２を取得する。そしてデータファイルＰＤｒ２からメタデータＭＴを抽出し、これを解釈してパノラマ処理情報Ｉｐを得る。
　ステップＦ７３では、表示画像生成部２０（画像生成処理部２０ｃ）は、今回の表示対象のパノラマ画像データＰＤが３６０°画角の全周パノラマ画像であるか否かで処理を分岐する。

　パノラマ画像データＰＤが全周パノラマ画像であるか否かの判断は、第１構成例で説明したように、パノラマ処理情報Ｉｐにおけるパノラマモード種別情報、３６０°画角判定情報、両端位置合わせ情報のいずれかにより可能である。
　ステップＦ７３で全周パノラマ画像と判断された場合、表示画像生成部２０（画像生成処理部２０ｃ）は、ステップＦ７４に進んで、表示用投影処理を行って表示画像データＰＤｄｓｐを生成し、ステップＦ７５でその表示画像データＰＤｄｓｐを出力する処理を行う。このステップＦ７４，Ｆ７５の処理を、ステップＦ７６で、ユーザ操作や自動処理により表示終了となるまで継続する。これによって、表示部では、投影表示として、例えば全周を見渡すような表示や、任意の方向の表示などが実行される。

　なおこの場合、パノラマ画像データＰＤは全周パノラマ画像であるので、表示用投影処理で用いる画角は３６０°とすればよい。
　またパノラマ処理情報Ｉｐにおける合成用投影面情報を参照することで、画像生成処理部２０ｃは正確に平面スクリーンＶＳへの再投影処理を行うことができる。

　ステップＦ７３で全周パノラマ画像ではないと判断された場合は、表示画像生成部２０（画像生成処理部２０ｃ）はステップＦ７７で、他の方式の表示画像データ生成処理を行う。例えばスクロール表示、或いはシングルビュー表示としての表示画像データＰＤｄｓｐを生成する。そしてステップＦ７８で表示画像データＰＤｄｓｐを出力する処理を行う。このステップＦ７７，Ｆ７８の処理を、ステップＦ７９で表示終了と判断されるまで継続する。これによって表示部では、投影表示以外のスクロール表示やシングルビュー表示が実行される。つまりパノラマ画像データＰＤが全周パノラマ画像ではなく、画角が正確にわからない場合、スクロール表示やシングルビュー表示を行うようにする。

　以上のように第３構成例では、画像処理装置１においては、関連付け部１１は、全周パノラマ画像であることを示す情報を含むメタデータＭＴを含むデータファイルＰＤｒ２と、パノラマ画像データＰＤを含むパノラマ画像ファイルＰＤｒ１を生成し、これらをファイルリンク情報ＬＫ１、ＬＫ２で関連付ける。
　一方で画像処理装置２では表示画像生成部２０は、ファイルリンク情報を用いてパノラ
マ画像データＰＤに関連付けられたメタデータＭＴを取得し、メタデータＭＴからパノラマ画像データＰＤが全周パノラマ画像か否かを判断する。そしてパノラマ画像データＰＤが全周パノラマ画像であると判断されるときに表示用投影処理を行って表示画像データを生成し、投影表示を実行させるようにしている。

　なお、図１５，図１６ではメタデータＭＴを用いる例で説明したが、第２構成例で述べた表示処理プログラムＰＧを利用することも考えられる。
　例えば図１５Ｂに示したデータファイルＰＤｒ２には、メタデータＭＴではなく表示処理プログラムＰＧが含まれるようにする。表示画像生成部２０は、関連付けられたデータファイルＰＤｒ２に表示処理プログラムＰＧが含まれていれば、その表示処理プログラムＰＧを用いて投影表示のための表示画像データＰＤｄｓｐの生成処理を行うようにする例である。
　以上のようにパノラマ画像データＰＤと、全周パノラマ画像であることを示す情報が別ファイルとして設けられ、それらが関連付けられるという形態は多様に考えられる。関連づけの手法の１つとして、例えば映像編集データ上で映像素材を参照する情報としてＵＭＩＤ（Unique Material Identifier）が知られている（例えば特開２００４－３１２２３３号公報参照）。例えば図１５ＢのデータファイルＰＤｒ２は、ＵＭＩＤのような形態で、メタデータＭＴを、別ファイルであるパノラマ画像ファイルＰＤｒ１におけるパノラマ画像データＰＤに関連付けるものでもよい。

＜６．第４構成例（専用フォーマット）＞
　実施の形態の第４構成例を説明する。第４構成例は、画像処理装置１の関連付け部１１は、全周パノラマ画像であることを示す情報として、パノラマ画像データ自体を特定フォーマットのデータとする。
　また画像処理装置２の表示画像生成部２０は、パノラマ画像データが特定のフォーマットのデータとされていることにより、全周パノラマ画像であると判断し、表示用投影処理を行って表示画像データを生成する。

　図１７Ａは、画像処理装置１におけるパノラマ合成部１０と関連付け部１１を示している。この第４構成例では、関連付け部１１はフォーマット処理部１１ｆを有する。

　パノラマ合成部１０はパノラマ画像データＰＤを生成するとともにパノラマ処理情報Ｉｐを出力する。
　フォーマット処理部１１ｆは、パノラマ処理情報Ｉｐにおけるパノラマモード種別情報、３６０°画角判定情報、両端位置合わせ情報のいずれかにより、パノラマ画像データＰＤが全周パノラマ画像か否かを判断する。そして、全周パノラマ画像の場合に、専用フォーマットのパノラマ画像データＰＤを含むパノラマ画像ファイルＰＤｒを生成する。全周パノラマ画像でない場合は、一般的な通常フォーマットのパノラマ画像データＰＤを含むパノラマ画像ファイルＰＤｒを生成する。
　なお、通常フォーマットのパノラマ画像データＰＤとは、例えばＪＰＥＧ（Joint Photographic Experts Group）フォーマットなど通常使用されている画像データ形式である。一方で専用フォーマットとは、全周パノラマ画像専用の新規のデータフォーマットとする。

　図１７Ｂは、画像処理装置２における表示画像生成部２０を示している。この第４構成例では、表示画像生成部２０はフォーマット判定部２０ｇ、画像生成処理部２０ｃを有する。
　フォーマット判定部２０ｇには、記録媒体から再生されたり、或いは受信されたパノラマ画像ファイルＰＤｒが入力される。フォーマット判定部２０ｇは、パノラマ画像ファイルＰＤｒに含まれているパノラマ画像データＰＤが専用フォーマットであるか一般フォーマットであるかを判定する。そして抽出したパノラマ画像データＰＤとフォーマット判定情報ＦＭを画像生成処理部２０ｃに供給する。

　画像生成処理部２０ｃはパノラマ画像データＰＤに基づいて表示画像データＰＤｄｓｐを生成して出力する。このときに、フォーマット判定情報ＦＭにより全周パノラマ画像であるか否かを判断し、全周パノラマ画像であれば投影表示のための表示画像データＰＤｄｓｐの生成を行う。パノラマ画像データＰＤが全周パノラマ画像ではない場合は、他の表示、例えばスクロール表示やシングルビュー表示のための処理を行う。
　そして生成した表示画像データＰＤｄｓｐを図示しない表示部や、表示部を有する機器に供給し、表示を実行させる。

　以上の画像処理装置１、画像処理装置２の処理例を図１８に示す。
　図１８Ａは画像処理装置１としてパノラマ合成部１０及び関連付け部１１の処理を示している。
　ステップＦ４１でパノラマ合成部１０は入力画像群ＦＭＳを取り込む。
　ステップＦ４２でパノラマ合成部１０がパノラマ合成処理を行って、パノラマ画像データＰＤを生成する。パノラマ合成部１０は、パノラマ画像データＰＤと、パノラマ合成処理過程で得られたパノラマ処理情報Ｉｐを関連付け部１１（フォーマット処理部１１ｆ）に供給する。
　ステップＦ４３では、関連付け部１１（フォーマット処理部１１ｆ）がパノラマ処理情報Ｉｐを確認し、生成されたパノラマ画像データＰＤが全周パノラマ画像か否かの判断を行う。全周パノラマ画像か否かの判断は、第１構成例で述べたものと同様に、パノラマ処理情報Ｉｐにおける３６０°画角判定情報を参照する方式、両端位置合わせ情報を参照する方式、パノラマモード種別情報を参照する方式などが考えられる。

　全周パノラマ画像の場合は、ステップＦ４４からＦ４５に進み、関連付け部１１（フォーマット処理部１１ｆ）はパノラマ画像データＰＤを専用フォーマットへ変換してパノラマ画像ファイルＰＤｒを生成する。
　全周パノラマ画像ではない場合は、ステップＦ４４からＦ４６に進み、関連付け部１１（フォーマット処理部１１ｆ）は通常フォーマットのパノラマ画像データＰＤを含むパノラマ画像ファイルＰＤｒを生成する。
　ステップＦ４７では、パノラマ画像ファイルＰＤｒが、図示していない記録再生部で記録媒体に記録されたり、或いは図示していない通信部により外部機器、ネットワーク等に送信出力される。

　図１８Ｂは、画像処理装置２の表示画像生成部２０の処理を示している。
　ステップＦ８１で表示画像生成部２０（フォーマット判定部２０ｇ）は、図示しない記録再生部で再生されたり、又は図示しない通信部で受信されたパノラマ画像ファイルＰＤｒを取り込む。
　ステップＦ８２で表示画像生成部２０（フォーマット判定部２０ｇ）が、パノラマ画像ファイルＰＤｒに含まれるパノラマ画像データＰＤのフォーマットを判定する。
　そして表示画像生成部２０はステップＦ８３で、フォーマット判定結果に応じて処理を分岐する。

　専用フォーマットと判定された場合は、表示画像生成部２０（画像生成処理部２０ｃ）は、ステップＦ８４に進んで、表示用投影処理を行って表示画像データＰＤｄｓｐを生成し、ステップＦ８５でその表示画像データＰＤｄｓｐを出力する。このステップＦ８４，Ｆ８５の処理を、ステップＦ８６で、ユーザ操作や自動処理により表示終了となるまで継続する。これによって、表示部では、投影表示として、例えば全周を見渡すような表示や、任意の方向の表示などが実行される。
　なお、表示用投影処理での投影演算で使用するパノラマ画像データＰＤの画角は３６０°とすればよい。
　またパノラマ画像データＰＤの投影面の情報やスクロール制限のための水平垂直画角情報などは、専用フォーマットのデータ形式内に埋め込まれているようにすることが考えられる。

　ステップＦ８３で専用フォーマットではないと判断された場合は、表示画像生成部２０（画像生成処理部２０ｃ）はステップＦ８７で、他の方式、例えばスクロール表示、或いはシングルビュー表示としての表示画像データＰＤｄｓｐを生成する。そしてステップＦ８８で表示画像データＰＤｄｓｐを出力する処理を行う。このステップＦ８７，Ｆ８８の処理を、ステップＦ８９で表示終了と判断されるまで継続する。これによって表示部では、投影表示以外のスクロール表示やシングルビュー表示が実行される。

　以上のように第４構成例では、画像処理装置１においては、関連付け部１１は、全周パノラマ画像の場合は専用フォーマット化する。
　一方で画像処理装置２では、表示画像生成部２０は、専用フォーマットであればパノラマ画像データＰＤは全周パノラマ画像と判断して、表示用投影処理を行って投影表示のための表示画像データＰＤｄｓｐを生成する。
　このような構成により適切な投影表示が実行できる全周パノラマ画像については投影表示が自動的に実行されることになり、ユーザに対して臨場感のある表示を提供できる。一方で、全周パノラマ画像でなく画角が正確に特定できないときは、他の表示方式で表示を行うことで、低品質な投影表示を行うことがないように表示動作の切り替えができる。

＜７．第５構成例（撮像装置への適用例）＞
　［７－１：撮像装置の構成］
　続いて実施の形態の第５構成例として、本開示の画像処理装置１，２を備えた機器のより具体的な例として、撮像装置５０を説明する。
　図１９は撮像装置５０の構成例を示している。
　撮像装置５０はレンズユニット１００、撮像素子１０１、画像処理部１０２、制御部１０３、表示部１０４、メモリ部１０５、記録デバイス１０６、操作部１０７、センサー部１０８、通信部１０９を備える。

　レンズユニット１００は、被写体の光画像を集光する。レンズユニット１００は制御部１０３からの指示に従い、適切な画像を得られるように、焦点距離、被写体距離、絞りなどを調整する機構を持つ。また光学的に画像のブレを抑止するための手ブレ補正機構も持つ。
　撮像素子１０１は、レンズユニット１００で集光された光画像を光電変換して電気信号に変換する。具体的には、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary
Metal Oxide Semiconductor）イメージセンサなどにより実現される。

　画像処理部１０２は、撮像素子１０１からの電気信号をサンプリングするサンプリング
回路、アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル信号に所定の画像処理を施す画像処理回路などから構成される。ここでは、この画像処理部１０２は、撮像素子１０１での撮像によるフレーム画像データを得る処理を行うとともに、パノラマ画像を合成する処理も行うものとして示している。
　この画像処理部１０２は、専用のハードウエア回路のみではなく、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal
Processor）を備え、柔軟な画像処理に対応するためにソフトウエア処理を行うことができる。

　制御部１０３は、ＣＰＵ及び制御プログラムからなり、撮像装置５０の各部の制御を行う。制御プログラム自体は実際にはメモリ部１０５に格納され、ＣＰＵによって実行される。
　上述の各構成例で説明したパノラマ合成部１０や関連付け部１１の処理、さらには表示画像生成部２０の処理は、制御部１０３と画像処理部１０２によって実行される。従って本開示の画像処理装置１，２は、制御部１０３と画像処理部１０２によって実現される。

　表示部１０４は、画像処理部１０２によって処理され、メモリ部１０５に格納されている画像データをアナログ化するＤ／Ａ変換回路と、アナログ化された画像信号を後段の表装置に適合する形式のビデオ信号にエンコードするビデオエンコーダと、入力されるビデオ信号に対応する画像を表示する表示装置とから構成される。
　表示装置は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）パネル等により実現され、ファインダとしての機能も有する。

　メモリ部１０５は、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリから構成され、画像処理部１０２で処理された画像データ、制御部１０３における制御プログラム及び各種データなどが一時記録される。

　記録デバイス１０６は、フラッシュメモリ（Flash Memory）などの半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクなどの記録媒体と、それらの記録媒体に対する記録再生系回路・機構により構成される。
　撮像装置５０による撮像時には、画像処理部１０２でＪＰＥＧ（Joint Photographic Experts Group）形式にエンコードされ、メモリ部１０５に格納されたＪＰＥＧ画像データを記録メディアに記録する。
　再生時には、記録媒体に保存されたＪＰＥＧ画像データをメモリ部１０５に読み込み、画像処理部１０２でデコード処理を行う。デコードされた画像データは、表示部１０４で表示させたり、或いは通信部１０９により外部機器に送信出力することも可能である。

　操作部１０７は、シャッターボタン、上下左右矢印キー、決定キー、キャンセルキーななどのハードウエアキー、操作ダイアル、タッチパネル、ズームレバーなどの入力デバイスを備え、撮像者（ユーザ）の入力操作を検出し、制御部１０３に伝達する。制御部１０３はユーザの入力操作に応じて撮像装置５０の動作を決定し、各部が必要な動作を行うように制御する。
　センサー部１０８は、ジャイロセンサー、加速度センサー、地磁気センサー、ＧＰＳ（Global Positioning System）センサーなどで構成され、各種情報の検出を行う。これらの情報は、撮像された画像データに対して、メタデータとして付加されるほか、各種画像処理、制御処理にも利用される。

　通信部１０９は外部機器との通信やネットワーク通信を行う。具体的には通信部１０９はＵＳＢ通信部、ＬＡＮ通信部、インターネット等の公衆ネットワーク通信部、特定機器との専用通信部など、多様な例が考えられる。また伝送路の形態も、電波、赤外線等による無線伝送路や、ケーブル接続による有線伝送路のいずれでもよい。信号形態もデジタル
電気信号通信、アナログ電気信号通信、光通信などが想定される。

　画像処理部１０２、制御部１０３、表示部１０４、メモリ部１０５、記録デバイス１０６、操作部１０７、センサー部１０８、及び通信部１０９は、バス１１０を介して相互に接続され、画像データや制御信号等がやりとりされる。

　［７－２：パノラマ合成及び関連付け処理］
　次に、本実施の形態の撮像装置５０のパノラマ合成処理及び関連付け処理についての詳細を説明する。
　図２０はパノラマ合成処理及び関連付け処理のために画像処理部１０２及び制御部１０３において実行される処理を、機能構成として示し、それらの機能構成部位によって実行される処理を示している。
　なお、ここでは関連付け処理としては、上述の第１構成例で述べたメタデータを用いる例で説明する。

　機能構成としては、図２０に一点鎖線で示すように、パノラマ合成部１０、関連付け部１１を備える。つまり画像処理部１０２又は制御部１０３にソフトウエア等により少なくとも関連付け部１１としての機能が設けられることで、撮像装置５０内に画像処理装置１が形成されることとなる。

　まずパノラマ合成部１０としての機能で実行される処理機能を説明する。図２０ではパノラマ合成部１０として実行される処理（アルゴリズムフロー）を各ブロックで示している。即ちパノラマ合成部１０では前処理２００、画像レジストレーション処理２０１、動被写体検出処理２０２、検出・認識処理２０３、３６０°撮像判定処理２０４、３６０°最適化処理２０５、合成用投影処理２０６、シーム決定処理２０７、スティッチ処理２０８が行われる。

　各処理について説明する。
　前処理２００の対象となる入力画像群ＦＭＳとは、図１で説明したように、撮像者が撮像装置５０でパノラマ撮像を実行しているときに順次得られるフレーム画像データＦＭ＃０、ＦＭ＃１、ＦＭ＃２・・・である。
　パノラマ合成部１０では、まず撮像者のパノラマ撮像操作によって撮像された画像（各フレーム画像データ）に対してパノラマ合成のための前処理２００を行う。なおここでのフレーム画像データＦＭは、通常の撮像時と同様の画像処理は行われているものとする。
　入力された画像はレンズユニット１００の特性に基づく収差の影響を受けている。特にレンズの歪曲収差は、画像レジストレーション処理２０１に悪影響を与え、位置合わせの精度を低下させる。さらに合成されたパノラマ画像のシーム付近にアーティファクトも発生させるため、この前処理２００において歪曲収差の補正を行う。歪曲収差の補正によって、動被写体検出処理２０２、検出・認識処理２０３の精度を向上させる効果もある。

　次にパノラマ合成部１０では、前処理２００を行ったフレーム画像データに対して、画像レジストレーション処理２０１、動被写体検出処理２０２、検出・認識処理２０３を行う。
　パノラマ合成時には複数のフレーム画像データを単一の座標系に座標変換する必要があるが、この単一の座標系をパノラマ座標系と呼ぶことにする。
　画像レジストレーション処理２０１は、２枚の連続するフレーム画像データを入力し、パノラマ座標系での位置合わせを行う処理である。２枚のフレーム画像データについての画像レジストレーション処理２０１によって得られる情報は、あくまで２枚の画像座標間
の相対関係であるが、複数枚の画像座標系のうち一つ（例えば最初のフレーム画像データの座標系）を選び、パノラマ座標系に固定することによって、すべてのフレーム画像データの座標系をパノラマ座標系に変換することができる。

　画像レジストレーション処理２０１で行う具体的な処理は、以下の二つに大別される。１．画像内のローカルな動きを検出する。
２．上記で求めたローカルな動き情報から、画像全体のグローバルな動きを求める。

　上記１の処理では一般的に、
・ブロックマッチング
・Ｈａｒｒｉｓ，Ｈｅｓｓｉａｎ，ＳＩＦＴ，ＳＵＲＦ，ＦＡＳＴなどの特徴点抽出及び特徴点マッチング
　などが用いられ、画像の特徴点のローカルベクトルを求める。

　上記２の処理では、上記１の処理で求められたローカルベクトル群を入力として、
・最小二乗法
・Ｍ－Ｅｓｔｉｍａｔｏｒ
・最小メジアン法（ＬＭｅｄＳ）
・ＲＡＮＳＡＣ（RANdom SAmple Consensus）
　などのロバスト推定手法が用いられ、２枚間の座標系の関係を記述する最適なアフィン変換行列や射影変換行列（Homography）を求める。本明細書では、これらの情報を画像レジストレーション情報と呼ぶことにする。

　また、パノラマ合成処理は、複数枚のフレーム画像データを合成するという特性上、撮像シーンに動被写体が存在すると動被写体の一部が分断されたり、ぼやけるなどの画像の破綻や画質の低下の原因となる。そのため動被写体を検出した上で、動被写体を避けてパノラマのシームを決定することが好ましい。

　動被写体検出処理２０２は、２枚以上の連続するフレーム画像データを入力し、動被写体の検出を行う処理である。具体的な処理の例は、画像レジストレーション処理２０１によって得られた画像レジストレーション情報により、実際に位置合わせを行った２枚のフレーム画像データの画素の差分値がある閾値以上の場合に、その画素を動被写体と判定するものである。
　あるいは、画像レジストレーション処理２０１のロバスト推定時に外れ値（アウトライア）として判断された、特徴点情報を利用して判定を行っても良い。

　検出・認識処理２０３では、撮像されたフレーム画像データ内の人間の顔や身体、動物などの位置情報を検出する。人間や動物は動被写体である可能性が高く、仮に動いていなかったとしても、その被写体上にパノラマのシームが決定された場合、他の物体と比べて視覚上の違和感を生じることが多いので、これらの物体を避けてシームを決定することが好ましい。つまりこの検出・認識処理２０３で得られた情報は、動被写体検出処理２０２の情報を補うために利用される。
　動被写体検出処理２０２および検出・認識処理２０３で得られた情報をもとに、後述するシーム決定処理２０７においてシーム（つなぎ目）が決定される。

　３６０°撮像判定処理２０４、３６０°最適化処理２０５は、３６０°の全周撮像に特化した処理を行う。
　ここで、これらの処理の理解のために、３６０°撮像時の諸問題について説明しておく。

　図２１Ａ、図２１Ｂ、図２２は、各場合におけるパノラマ画像の例である。なおこれらの図では、パノラマ画像の左端、右端の連続性を確認するために、それぞれのパノラマ画像の右端（境界線ＢＤの右側）に、パノラマ画像の左端領域の一部をコピーして示している（画像ＲＣＰ）。画像ＲＣＰを除いた画像部分、つまり出力されるパノラマ画像の範囲ＲＰで示す部分が、最終的な１枚のパノラマ画像である。
　３６０°全周パノラマの場合、この境界線ＢＤの両側でズレが無く連続性をもって自然に画像がつながっていることが望ましい。

　複数の静止画像を合成するパノラマ画像において、一般的にパノラマ画角を正確に知ることは困難である。通常、撮像装置のレンズの焦点距離（ｆ：画素換算値）、パノラマ画像のスイープ方向の画素数（ｌ）、パノラマ画角（θ）は以下の関係がある。
　ｌ＝ｆθ
　しかし現実には、
・スイープする際の回転半径
・歪曲収差の補正誤差
・レジストレーション処理の誤差などの影響を受けるため、実際の風景の画角と大幅に異なることがあり得る。
　撮像装置の処理性能のために、レジストレーション処理を平行移動のみに限定したり、投影処理を省略するなどのアルゴリズム上の簡略化を行っている場合には、その誤差はより顕著になる。

　図２１Ａは上式から３６０°相当のパノラマ画素数を決定し、合成処理を行ったパノラマ画像の例である。誤差のために３６０°を大きく超えて合成されており、パノラマ画像の左端と右端（境界線ＢＤ部分）の連続性はない。
　このように一般的にパノラマ画角を正確に決定することは難しいが、３６０°全周撮像の場合には、パノラマの右端と左端の連続性が得られるという拘束条件を考慮することにより画角の決定が可能である。

　図２３を参照する。図２３は３６０°パノラマ撮像によって得られた画像群（フレーム画像データＦＭ＃０～ＦＭ＃（ｎ－１））の概念図である。
　スイープ方向を左から右と仮定し、パノラマ左端に使用した先頭のフレーム画像データＦＭ＃０を０°の位置としたとき、３６０°の先の位置にある、これと全く同じ画像のフレーム画像データＦＭ＃０Ａと、パノラマ画像の右端に使用される最終のフレーム画像データＦＭ＃（ｎ－１）については、具体的には以下の条件が成立する。
・ＦＭ＃０ＡとＦＭ＃（ｎ－１）は重なり領域を持つ
・ＦＭ＃（ｎ－１）は、ＦＭ＃０Ａよりも左側にある最もＦＭ＃０Ａに近接した画像である

　この条件を満たす最終画像としてのフレーム画像データＦＭ＃（ｎ－１）を探索することにより、３６０°の位置を確定することができる。
　本例の撮像装置５０において、この処理は３６０°撮像判定処理２０４によって行われる。
　３６０°撮像判定処理２０４では、上記２つの条件を満たす最終のフレーム画像データＦＭ＃（ｎ－１）を確定できた場合は、合成処理中のパノラマ画像データが３６０°撮像による全周パノラマ画像であると判定する。逆に上記２つの条件を満たす最終のフレーム画像データＦＭ＃（ｎ－１）を確定できなかった場合は、合成処理中のパノラマ画像データが全周パノラマ画像ではないと判定する。
　この判定結果が、上述したパノラマ処理情報Ｉｐの１つである３６０°画角判定情報となる。３６０°撮像判定処理２０４では、関連付け部１１に対して３６０°画角判定情報を出力する処理も行う。

　なお、この３６０°撮像判定処理２０４は、パノラマ撮像が、３６０°パノラマ撮像モードで実行された場合に行えばよい。３６０°パノラマ撮像モード以外（例えば１８０°パノラマ撮像モードなど）の場合は、この３６０°撮像判定処理２０４を行うこと必要は無い。なお、その場合は、３６０°画角判定情報としては、非全周パノラマ画像を示す情報とすればよい。
　また、この３６０°撮像判定処理２０４の過程で、水平垂直画角情報や、パノラマモード種別情報を発生させて関連付け部１１に出力してもよい。

　図２１Ｂは、３６０°撮像判定処理２０４で決定した最終画像、つまり上記２つの条件に合致するフレーム画像データＦＭ＃（ｎ－１）までを合成した結果の一例である。
　３６０°撮像判定処理２０４において３６０°位置を確定したため、パノラマ画像としては３６０°の画像となっている。しかしながらこの例は、図２１Ａの例と同様にパノラマの左端と右端の連続性はない。この例においては水平方向の位置はあっているが、垂直方向の位置がずれている。

　これは各画像の位置合わせを隣接画像間で行っているため、レジストレーション処理における誤差が累積することによって発生しているものである。
　すなわち図２３でいうと、連続性のある全周パノラマとなるために３６０°の先の先頭画像のあるべき位置（フレーム画像データＦＭ＃０Ｂとして示す位置）が、レジストレーション処理の累積誤差のためにフレーム画像データＦＭ＃０Ａとして示す位置に計算されてしまう現象である。

　次の３６０°最適化処理２０５では、この現象に対処するために、３６０°撮像判定処理２０４において３６０°全周撮像と判定された場合に、画像レジストレーション処理２０１から入力された画像レジストレーション情報と、３６０°撮像判定処理２０４によって確定した最終画像情報を用いて、画像レジストレーション情報を最適化し、３６０°全周パノラマとして適切なものに修正する。

　この処理が先に述べた両端位置合わせの処理である。つまりパノラマ画像の０°と３６０°の位置であるパノラマ画像の両端で、垂直方向及び水平方向に画像のズレが無いように画像レジストレーション情報を調整する。
　図２３で説明すると、フレーム画像データＦＭ＃０Ａの位置がフレーム画像データＦＭ＃０Ｂの位置に一致するように、すべてのフレーム画像データＦＭ＃０～ＦＭ＃（ｎ－１）の位置を最適化、修正するということになる。

　具体的には累積した誤差をすべての画像レジストレーション情報に単純分配する手法や、最小二乗法を用い元の画像レジストレーション情報をできる限り損なうことなく最適化を行う手法などがある。
　例えば単純分配する手法を簡単に述べると次のようになる。フレーム画像データＦＭ＃０Ａの位置とフレーム画像データＦＭ＃０Ｂの位置には図２３に示すように水平方向の誤差ΔＸと垂直方向の誤差ΔＹがある。パノラマ画像を構成するｎ個のフレーム画像データＦＭ＃０～ＦＭ＃（ｎ－１）のｘ座標位置とｙ座標位置を、それぞれ、ΔＸ／ｎ、ΔＹ／ｎずつずらしていく。これにより、各フレーム画像データＦＭで少しずつ誤差を吸収していき、先頭のフレーム画像データＦＭ＃０と同様の画像としての仮想的なフレーム画像データＦＭ＃０Ａの位置が、フレーム画像データＦＭ＃０Ｂとして示す位置に一致するようにする。
　各フレーム画像データＦＭ＃０～ＦＭ＃（ｎ－１）は、それぞれ本来の座標位置よりわずかにずれることになるが、全体としての画像品質は殆ど劣化しない。

　図２２は３６０°最適化処理２０５において以上のような両端位置合わせが行われて修正された画像レジストレーション情報を用いてパノラマ合成を行った結果の一例である。３６０°撮像判定処理２０４、３６０°最適化処理２０５によって、出力されるパノラマ画像の範囲ＲＰとしては、パノラマの両端で水平垂直のズレがなく、自然に画像がつながっていることが確認できる。

　以上のような３６０°最適化処理２０５により、両端位置合わせが実行されたか否かの情報が、パノラマ処理情報Ｉｐの一つである両端位置合わせ情報となる。
　３６０°最適化処理２０５では、両端位置合わせ情報を関連付け部１１へ出力する処理も行う。

　次に、合成用投影処理２０４では、画像レジストレーション処理２０１によって得られた画像レジストレーション情報（又は３６０°最適化処理２０５で修正された画像レジストレーション情報）に基づき、すべてのフレーム画像データを単一の平面、あるいは円筒面、球面などの単一の曲面に投影処理を行う。また同時に、動被写体情報、検出・認識情報についても同一平面もしくは曲面に投影処理を行う。投影面は撮像時の画角などから自動的に選択してもよいし、ユーザ操作に応じて設定してもよい。
　フレーム画像データの合成用投影処理２０４は、ピクセル処理の最適化を考慮して、スティッチ処理２０８の前段処理として、もしくはスティッチ処理２０８の一部として行ってもよい。また簡易的に画像レジストレーション処理２０１の前、例えば前処理２００の一部として行ってもよい。またさらに簡略化して、処理そのものを行わず円筒投影処理の近似として扱ってもよい。

　なお、この合成用投影処理２０６での投影面の種別の情報が、パノラマ処理情報Ｉｐの一つである合成用投影面情報となる。
　合成用投影処理２０６では、合成用投影面情報を関連付け部１１へ出力する処理も行う。

　シーム決定処理２０７は、合成用投影処理２０６からの画像データ、画像レジストレーション処理２０１からの画像レジストレーション情報、動被写体検出処理２０２からの動被写体情報、検出・認識処理２０３からの検出・認識情報を入力とし、パノラマ画像として破綻の少ない、適切なシームＳＭ（図２、図３で説明したシームＳＭ０～ＳＭ（ｎ－２））を決定する処理である。

　シーム決定処理２０７では、まず入力した情報から隣接するフレーム画像データ間の重なり領域に対するコスト関数を定義する。
　例えば重なり領域の各画素に対して動被写体検出処理２０２からの動被写体情報、検出・認識処理２０３からの検出・認識情報のそれぞれに適当な重みを付けた合計値を関数値とすればよい。
　この場合、コスト関数値が高いほど、その点上には動被写体や人体などの物体が多く存在することを意味するため、パノラマ画像における破綻を最小限に抑えるためには、コスト関数値の低い点の集合をシームとすればよい。

　パノラマ画像合成に用いる画像（フレーム画像データ）がｎ枚の場合、その重なり領域の数はｎ－１個になり、コスト関数もｎ－１個定義されることになる。よってパノラマ画像全体として最適なシームを選ぶためには、これらｎ－１個のコスト関数を最小化する組み合わせを求めることになる。これは一般に組み合わせ最適化問題と呼ばれ、以下のような解法が知られている。
・厳密解を求める解法
　－分枝限定法
　－Memoization
　－動的計画法(Dynamic Programming)
　－グラフカット
・近似解を求める解法
　－局所探索法（山登り法）
　－焼きなまし法(Simulated Annealing)
　－タブーサーチ
　－遺伝的アルゴリズム(Genetic Algorithm)
　以上のいずれかの解法によりすべてのシームＳＭ１～ＳＭ（ｎ－２）を求めることができる。

　スティッチ処理２０８では、以上のように決定した全てのシームＳＭ１～ＳＭ（ｎ－２）と、各フレーム画像データＦＭ＃０～ＦＭ＃（ｎ－１）を使用して、最終的にパノラマ画像を合成する。
　シーム周辺の領域に対しては、つなぎ目の不自然さを低減するためにブレンド処理を行い、それ以外の領域に対しては、単純な画素値のコピー、あるいはパノラマ座標系への再サンプリングのみを行い、すべての画像を接合する。
　最終的に手振れ量を考慮してスイープと垂直な方向の不要な部分をトリミングすることによって、スイープ方向を長辺方向とするような、広画角のパノラマ画像（パノラマ画像データＰＤ）を得ることができる。

　以上がパノラマ合成部１０の処理となる。
　本実施の形態の場合、パノラマ合成部１０で生成されたパノラマ画像データＰＤについて関連付け部１１の処理がさらに行われる。

　本例の撮像装置５０における図２０の機能構成例では、先に第１構成例として図１１Ａの機能構成を採用したものとしている。関連付け部１１はメタデータ生成処理３０１とデータ統合処理３０２を行う。

　パノラマ合成部１０から関連付け部１１に対して各種のパノラマ処理情報Ｉｐが供給される。即ち３６０°撮像判定処理２０４で得られる３６０°画角判定情報、３６０°最適化処理２０５で得られる両端位置合わせ情報、合成用投影処理２０６で得られる合成用投影面情報が、関連付け部１１に供給される。
　なお、さらにパノラマモード種別情報や、水平垂直画角情報も供給されるようにしてもよい。

　関連付け部１１はメタデータ生成処理３０１として、パノラマ処理情報Ｉｐを反映したメタデータＭＴを生成する。
　なお、メタデータＭＴは、少なくとも後述する表示画像生成部２０の処理で全周パノラマ画像か否かの判断を行うため、及び表示用投影処理を行うために用いるという観点からは、３６０°画角判定情報、両端位置合わせ情報、合成用投影面情報、パノラマモード種別情報、水平垂直画角情報の全てを含む必要はない。
　第１構成例～第４構成例で説明したが、表示画像生成部２０が全周パノラマ画像か否かの判断は、３６０°画角判定情報、両端位置合わせ情報、パノラマモード種別情報のいずれかを参照すればよい。但し、表示用投影処理を適切に行うためには合成用投影面情報が必要である。
　そこで、パノラマ合成部１０が発生し、メタデータ生成部１１ａがメタデータ化するパノラマ処理情報Ｉｐとしては、
・３６０°画角判定情報と合成用投影面情報
・両端位置合わせ情報と合成用投影面情報
・パノラマモード種別情報と合成用投影面情報
のいずれかを少なくとも含むものとすればよい。

　関連付け部１１は、データ統合処理３０２では、パノラマ合成部１０で生成されたパノラマ画像データＰＤと、メタデータ生成処理３０１で生成されたメタデータＭＴを統合してパノラマ画像ファイルＰＤｒを生成する。
　例えばパノラマ画像ファイルＰＤｒは図１１Ｂで説明したような画像データとメタデータを有する構造となる。より具体的にはＥＸＩＦ（Exchangeable Image File Format）のようにメタデータを画像データ内に埋め込む例が考えられる。なお、パノラマ画像データＰＤとメタデータＭＴを独立したファイルとしてもよい。

　本例の撮像装置５０では、画像処理部１０２、制御部１０３において、以上のパノラマ合成部１０、関連付け部１１としての処理が行われ、その結果のパノラマ画像ファイルＰＤｒが記録デバイス１０６に記録される。
　なおパノラマ画像ファイルＰＤｒが通信部１０９から外部送信されてもよい。

　以上のパノラマ合成部１０及び関連付け部１１の処理を含む、パノラマ撮像から記録までの一連の処理の一例を図２４に示す。

　ステップＦ１００の画像撮像は、パノラマ撮像モードにて１枚の静止画像を撮像し、撮像装置１内で１枚のフレーム画像データとして取り込む処理を意味する。即ち制御部１０３の制御により、撮像素子部１０１で得られる撮像信号が画像処理部１０２で撮像信号処理され、１枚のフレーム画像データとなる。
　このフレーム画像データは、そのまま画像処理部１０２でのパノラマ合成処理（図２０のパノラマ合成部１０の処理）に供されても良いし、一旦メモリ部１０５に取り込まれた後、１個のフレーム画像データとして画像処理部１０２でのパノラマ合成処理に供されてもよい。

　画像処理部１０２及び制御部１０３によって実現される図２０のパノラマ合成部１０では、ステップＦ１００に基づくフレーム画像データの入力に応じて、ステップＦ１０１以降の処理を行う。
　ステップＦ１０１でパノラマ合成部１０は前処理２００を行う。
　ステップＦ１０２でパノラマ合成部１０は、画像レジストレーション処理２０１を行う。
　ステップＦ１０３でパノラマ合成部１０は、動被写体検出処理２０２を行う。
　ステップＦ１０４でパノラマ合成部１０は、検出・認識処理２０３を行う。
　なお、これらの各処理で得られる画像のピクセル情報、画像レジストレーション情報、動被写体情報、検出・認識情報などは、それぞれ処理対象のフレーム画像データに対応する情報としてメモリ部１０５に一時記憶される。
　以上の処理は、ステップＦ１０５で撮像終了とされるまで、各フレーム画像データについて行われる。

　取り込まれた全てのフレーム画像データＦＭについて以上の処理を終えたら、ステップＦ１０６でパノラマ合成部１０は、３６０°撮像判定処理２０４を行う。
　ステップＦ１０７でパノラマ合成部１０は、３６０°最適化処理２０５を行う。
　そしてステップＦ１０８でパノラマ合成部１０は、３６０°最適化処理２０５で調整された画像レジストレーション情報等を用いて、合成用投影処理２０６を行う。

　ステップＦ１０９でパノラマ合成部１０は、シーム決定処理２０７を行って、シームＳＭ０～ＳＭ（ｎ－２）を決定する。
　ステップＦ１１０ではパノラマ合成部１０はスティッチ処理２０８を実行する。即ち各シームＳＭ０～ＳＭ（ｎ－２）で、各フレーム画像データをつなぎ合わせる。つなぎ合わせる際にはブレンド処理も行う。以上で、図３Ａに示したような１つのパノラマ画像データＰＤが生成される。

　続いて関連付け部１１はメタデータ生成処理３０１を行う。即ちパノラマ合成部１０から供給されたパノラマ処理情報Ｉｐを反映したメタデータＭＴを生成する。
　そしてステップＦ１１２で関連付け部１１はデータ統合処理３０２を行ってパノラマ画像ファイルＰＤｒを生成する。

　制御部１０３は、このようにパノラマ合成部１０及び関連付け部１１としての処理で生成されたパノラマ画像ファイルＰＤｒを、記録デバイス１０６に記録させる制御を行う。
　以上の処理で、パノラマ画像データＰＤとメタデータＭＴを含むパノラマ画像ファイルＰＤｒが記録され、その後の再生表示等が可能となる。

　［７－３：パノラマ画像表示］
　続いて、撮像装置５０において上記のように記録したパノラマ画像ファイルＰＤｒを選択して表示する場合の動作を説明する。

　まず撮像装置５０の表示部１０４で行われる表示動作モードについて図２５で説明する。
　撮像装置５０では、上述したシングルビュー表示、リスト表示、スクロール表示、投影表示の４つの表示モードの表示動作が実行可能であるとする。図２５は４つの表示モードの状態遷移を示している。

　説明の簡略化のため、記録デバイス１０６には複数のパノラマ画像ファイルＰＤｒのみが記録されているとする。
　まずユーザが操作部１０７のキー等を用いて再生表示を指示すると、制御部１０３は撮像装置５０を再生表示状態に設定する。このとき初期状態からシングルビュー表示モードに遷移する。ここでは、例えば最新のパノラマ画像ファイルＰＤｒの画像が例えば図７Ａのように表示される。このシングルビュー表示モードでは、例えばユーザが操作部１０７の右矢印キーおよび左矢印キーを押下することによって他のパノラマ画像ファイルＰＤｒの画像に切り替えることができる。

　またシングルビュー表示において、上矢印キーが押下されると図７Ｂのようなリスト表示に状態が遷移し、画像の一覧表示が行われる。
　このリスト表示画面上で、ユーザが上下左右矢印キーを用いて目的の画像を選択し、決定キーを押下することによって、再びシングルビュー表示に状態が遷移し、選択したパノラマ画像ファイルＰＤｒの画像が表示される。

　シングルビュー表示において例えば決定キーが押下された場合、拡大表示を行う。なおここでいう拡大表示とはスクロール表示又は投影表示のことである。
　制御部１０３は、表示しているパノラマ画像ファイルＰＤｒの画像のメタデータを参照し、パノラマ画像ファイルＰＤｒが全周パノラマ画像である場合には、投影表示モードに状態遷移し、投影表示を実行する。この場合、メタデータとして記録されている合成時投影面情報に応じて、投影処理を行い、投影表示が開始される。
　この投影表示モードにおいては、ユーザは、上下左右矢印キーを用いての視線方向の変更や、ズームレバーを用いてのズームイン、ズームアウトの指示が可能である。またこの
場合に、視線方向、ズーム値については、メタデータに水平垂直画角情報が記録されていることで、パノラマ画像としての水平画角、垂直画角によって制限を行うため、画像外を参照してしまうことはない。
　一定時間キー操作がない場合には、自動で視線変更を行うこともメニュー設定により可能である。
　この投影表示モードにおいて、ユーザがキャンセルキーを押下するとシングルビュー表示状態に遷移し、再びシングルビュー表示が行われる。

　シングルビュー表示において決定キーが押下された場合であって、表示しているパノラマ画像ファイルＰＤｒの画像が全周パノラマ画像ではない場合には、スクロール表示モードに状態遷移し、スクロール表示を実行する。
　スクロール表示モードにおいては、自動的にパノラマの長辺方向にスクロールが開始されるが、ユーザは上下左右矢印キーを用いて任意の方向へのスクロール、ズームレバーを用いてのズームイン、ズームアウトの指示も可能である。
　スクロール表示モードにおいて、ユーザがキャンセルキーを押下するとシングルビュー表示状態に遷移し、再びシングルビュー表示が行われる。

　以上の表示モード遷移のように本実施の形態の撮像装置５０では、全周パノラマ画像であれば投影表示が行われ、全周パノラマ画像でなければスクロール表示が行われるという表示動作の自動切り替えが行われる。
　全周パノラマ画像であれば、ユーザに対して自動的に高品質な投影表示が提供される。一方で全周パノラマ画像でない場合は、投影表示を行うと画歪等が生じる可能性があり、高品質な表示を保証できない。そこでスクロール表示でパノラマ画像の表示を行う。つまりパノラマ画像に応じて適切な表示モードが選択されるものである。

　このような表示を行うための構成及び処理を図２６，図２７で説明する。
　図２６は表示画像データＰＤｄｓｐの生成処理のために制御部１０３に設けられる表示画像生成部２０おいて実行される処理を示している。
　なお、表示画像生成部２０の処理としては、上述の第１構成例で述べたメタデータを用いる例に準じた例としている。

　制御部１０３においてソフトウエアで実現される表示画像生成部２０は、図示のようにデータ分離処理４０１、メタデータ解釈処理４０２、画像生成処理４０３を行うこととなる。

　表示画像生成部２０は、記録デバイス１０６から読み出された表示対象のパノラマ画像ファイルＰＤｒに対して、データ分離処理４０１として、メタデータＭＴとパノラマ画像データＰＤを分離する。
　分離されたメタデータＭＴはメタデータ解釈処理４０２で解釈され、パノラマ処理情報Ｉｐ（パノラマモード種別情報、３６０°画角判定情報、両端位置合わせ情報、合成用投影面情報、水平垂直画角情報）として画像生成処理４０３に供される。

　画像生成処理４０３では、表示モード情報Ｍｄに応じて表示画像データＰＤｄｓｐを生成し、表示部１０４に出力する。
　画像生成処理４０３としては、表示方式選択処理４０３ａ、シングルビュー表示処理４０３ｂ、リスト表示処理４０３ｃ、スクロール表示処理４０３ｄ、投影表示処理４０３ｅを行う。

　表示方式選択処理４０３ａでは、ユーザ操作等に基づく上記の表示モード遷移に応じた表示モード情報Ｍｄに基づいて、いずれの表示を実行するかを選択する処理を行う。また
シングルビュー表示モードの状態のときにスクロール表示モード又は投影表示モードに移行する際には、メタデータ解釈処理４０２で解釈されたパノラマ処理情報Ｉｐを参照して、スクロール表示モードと投影表示モードを選択する。

　シングルビュー表示処理４０３ｂでは、供給されたパノラマ画像データＰＤについてシングルビュー表示としての表示画像データＰＤｄｓｐを生成する。
　リスト表示処理４０３ｂでは、例えば記録デバイス１０６から読み出された各パノラマ画像ファイルＰＤｒのサムネイル画像などからリスト画像を生成し、それをリスト表示としての表示画像データＰＤｄｓｐとする処理を行う。
　スクロール表示処理４０３ｄでは、供給されたパノラマ画像データＰＤについてスクロール表示としての表示画像データＰＤｄｓｐを生成する。
　投影表示処理４０３ｅでは、供給されたパノラマ画像データＰＤについて表示用投影処理を行い、投影表示としての表示画像データＰＤｄｓｐを生成する。
　これらのいずれかの処理で生成された表示画像データＰＤｄｓｐが表示部１０４に供給されて画面表示される。

　図２７は、図２５の表示モード遷移に応じた制御部１０３（表示画像生成部２０）の処理例を示している。

　ユーザ操作等に従って再生表示が開始されると、表示画像生成部２０はステップＦ２０１で、シングルビュー表示モードの処理を行う。例えば表示画像生成部２０は最新のパノラマ画像ファイルＰＤｒを記録デバイス１０６から読み出し、シングルビュー表示処理４０３ｂを行って表示画像データＰＤｄｓｐを生成して表示部１０４に供給する。
　シングルビュー表示モードの期間は、表示画像生成部２０はステップＦ２０２，Ｆ２０３，Ｆ２０６でモード遷移或いは表示終了のトリガを監視している（表示方式選択処理４０３ａ）。

　表示画像生成部２０は終了トリガを検知したら、ステップＦ２０２から再生表示動作を終了させる。

　表示画像生成部２０は、リスト表示モードへの操作を検知するとステップＦ２０３からＦ２０４に進み、リスト表示処理４０３ｃを行う。例えば記録デバイス１０６から各パノラマ画像ファイルＰＤｒのサムネイル画像を読み出してリスト画像を生成し、表示画像データＰＤｄｓｐとして表示部１０４に供給する。
　ステップＦ２０５では表示画像生成部２０はリスト表示終了のトリガを監視する（表示方式選択処理４０３ａ）。リスト表示終了の場合はステップＦ２０１に戻ってシングルビュー表示処理４０３ｂを行う。例えばリスト上で選択されたパノラマ画像について、シングルビュー表示としての表示画像データＰＤｄｓｐを生成して表示部１０４に供給する。

　シングルビュー表示状態で拡大表示（スクロール表示又は投影表示）が指示されると、表示画像生成部２０はステップＦ２０６からＦ２０７に進み、まずパノラマ処理情報Ｉｐを確認する。即ち現在シングルビュー表示している画像が全周パノラマ画像であるか否かを判断する。この場合表示画像生成部２０は、パノラマ処理情報Ｉｐにおけるパノラマモード種別情報、３６０°画角判定情報、両端位置合わせ情報のいずれかにより、パノラマ画像データＰＤが全周パノラマ画像か否かを判断できる。

　全周パノラマ画像である場合は、表示画像生成部２０はステップＦ２０８からＦ２１１に進み、投影表示処理４０３ｅを行って、表示画像データＰＤｄｓｐを生成し、表示部１０４に供給する。
　表示画像生成部２０はステップＦ２１２では、投影表示モードの終了を監視し、終了と
なったらステップＦ２０１のシングルビュー表示処理４０３ｂに戻る。

　全周パノラマ画像ではない場合は、表示画像生成部２０はステップＦ２０８からＦ２０９に進み、スクロール表示処理４０３ｄを行って、表示画像データＰＤｄｓｐを生成し、表示部１０４に供給する。
　表示画像生成部２０はステップＦ２１２では、投影表示モードの終了を監視し、終了となったらステップＦ２０１のシングルビュー表示処理４０３ｂに戻る。

　以上の処理により図２５に示したモード遷移で各種表示が実行される。
　即ち撮像装置５０においては、制御部１０３（表示画像生成部２０）は、表示対象とされたパノラマ画像データＰＤが、全周パノラマ画像と判断される場合に、表示用投影処理を行って表示画像データＰＤｄｓｐを生成して投影表示を実行させる。
　全周パノラマ画像ではないと判断される場合に、表示用投影処理を行わないで、パノラマ画像データＰＤを合成時の投影面から順次切り出すのみのスクロール表示処理で表示画像データＰＤｄｓｐを生成してスクロール表示を実行させる。

　なお、この処理の変形例として、全周パノラマ画像ではないと判断される場合に、表示用投影処理を行わない表示処理として、シングルビュー表示処理を行うようにしてもよい。例えばシングルビュー表示処理で拡大表示の指示がなされても、全周パノラマ画像以外では拡大表示を行わない例である。

　またこの実施の形態の第５構成例としての撮像装置５０では、上記第１構成例に沿った画像処理装置１，２が搭載される例としたが、上記第２～第４構成例に沿った画像処理装置１，２が搭載される例も当然想定される。

＜８．第６構成例（コンピュータ装置への適用例及びプログラム）＞
　第６構成例として、コンピュータ装置への適用例及びプログラムについて説明する。上述した画像処理装置１，２としての処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。

　実施の形態のプログラムは、上述の実施の形態で示した処理を、例えばＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal
Processor）等の演算処理装置に実行させるプログラムである。
　即ち画像処理装置１を実現するプログラムは、撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを用いて生成されたパノラマ画像データが、全周パノラマ画像と判断される場合に、該パノラマ画像データと、全周パノラマ画像であることを示す情報を関連付ける処理を演算処理装置に実行させるプログラムである。
　具体的には、このプログラムは、図１２Ａ、図１４Ａ、図１６Ａ、図１８Ａ、又は図２４に示した処理を演算処理装置に実行させるプログラムとすればよい。

　また画像処理装置２を実現するプログラムは、表示対象とされたパノラマ画像データが、全周パノラマ画像と判断される場合に、表示用投影処理を行って表示画像データを生成する処理を演算処理装置に実行させるプログラムである。
　具体的には、このプログラムは、図１２Ｂ、図１４Ｂ、図１６Ｂ、図１８Ｂ、又は図２７に示した処理を演算処理装置に実行させるプログラムとすればよい。

　これらのプログラムにより、上述した画像処理装置１，２を、演算処理装置を用いて実現できる。
　このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
　あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet
optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray（登録商標） Disc）、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

　またこのようなプログラムによれば、実施の形態の画像処理装置１，２の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該携帯型情報処理装置等を、画像処理装置１，２とすることができる。
　例えば、図２８に示されるようなコンピュータ装置において、実施の形態の画像処理装置１，２と同様の処理が実行されるようにすることもできる。

　図２８において、コンピュータ装置７０のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７８からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インターフェース７５も接続されている。

　入出力インターフェース７５には、キーボード、マウスなどよりなる入力部７６、ＣＲＴ（Cathode Ray Tube）やＬＣＤ、或いは有機ＥＬパネルなどよりなるディスプレイ、並びにスピーカなどよりなる出力部７７、ハードディスクなどより構成される記憶部７８、モデムなどより構成される通信部７９が接続されている。通信部７９は、インターネットを含むネットワークを介しての通信処理を行う。

　入出力インターフェース７５にはまた、必要に応じてドライブ８０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７８にインストールされる。

　上述した画像処理装置１，２の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
　この記録媒体は、例えば図２８に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布されるリムーバブルメディア８１により構成される。リムーバブルディスク８１は、例えばプログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（ブルーレイディスク、ＣＤ－ＲＯＭ、ＤＶＤを含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなる。
　或いは記録媒体は、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７２や、記憶部７８に含まれるハードディスクなどでも構成される。

　このようなコンピュータ装置７０は、通信部７９による受信動作や、或いはドライブ８
０（リムーバブルメディア８１）もしくは記録部７８での再生動作等により、パノラマ画像生成のためのｎフレームのフレーム画像データＦＭ＃０～ＦＭ＃（ｎ－１）を入力した際に、ＣＰＵ７１がプログラムに基づいて、画像処理装置１の機能を実現し、上述の関連付け部１１としての処理を実行する。
　これにより入力されたｎフレームのフレーム画像データＦＭ＃０～ＦＭ＃（ｎ－１）から１枚のパノラマ画像データが生成される。
　またパノラマ画像の表示のために、ＣＰＵ７１がプログラムに基づいて、画像処理装置２の機能を実現し、上述の表示画像生成部２０としての処理を実行する。

＜９．変形例＞
　以上、実施の形態について説明してきたが、本開示の画像処理装置は多様な変形例が考えられる。

　第１構成例～第４構成例は、複合的に採用することもできる。
　例えば第１構成例と第２構成例を合わせて、関連付け処理としてメタデータと専用プログラムを付加することや、第１構成例と第４構成例を合わせて、関連付け処理としてメタデータと専用フォーマット化の処理を行うことなどが考えられる。
　第５構成例の撮像装置５０としては、関連付け部１１及び表示画像生成部２０の両方の機能を備えた例としたが、例えば関連付け部１１と表示画像生成部２０のうちの一方の機能のみを設ける例も考えられる。

　実施の形態のでは全周パノラマ画像ではないパノラマ画像データＰＤについては投影表示の対象にはしていないが、特定の操作により、投影表示が行われるようにしてもよい。ただしこの場合には、正確な３次元モデルを構築することができないため、投影表示画像に歪みが生ずるなどの弊害が出る可能性があるが、特別なモードとしてそれを許容するという考え方もある。

　本開示の画像処理装置は、上述の撮像装置５０やコンピュータ装置７０に搭載するほか、撮像機能を有する携帯電話機、ゲーム機、ビデオ機器、撮像機能を有さないがフレーム画像データを入力する機能を有する携帯電話機、ゲーム機、ビデオ機器、情報処理装置に搭載することも有用である。

　なお本技術は以下のような構成も採ることができる。
　（１）撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを用いて生成されたパノラマ画像データが、全周パノラマ画像と判断される場合に、該パノラマ画像データと、該パノラマ画像データが全周パノラマ画像であることを示す情報とを関連付ける関連付け部を備える画像処理装置。
　（２）上記全周パノラマ画像と判断される場合とは、
　パノラマ画像データが、３６０°画角を有する場合である上記（１）に記載の画像処理装置。
　（３）上記全周パノラマ画像と判断される場合とは、
　パノラマ画像データが、３６０°画角を有し、画像両端の位置合わせ処理が行われたものである場合である上記（１）又は（２）に記載の画像処理装置。
　（４）上記全周パノラマ画像と判断される場合とは、
　パノラマ画像データが、撮像方向を略３６０°変位させながらの撮像動作によって得られる複数のフレーム画像データを用いてパノラマ画像データ生成する、３６０°パノラマ撮像モード動作によって得られた場合である上記（１）に記載の画像処理装置。
　（５）上記関連付け部は、上記全周パノラマ画像であることを示す情報としてのメタデ
ータを、パノラマ画像データに関連付ける上記（１）乃至（４）のいずれかに記載の画像処理装置。
　（６）上記関連付け部は、上記全周パノラマ画像であることを示す情報として、全周パノラマ画像の表示に用いる表示処理プログラムを、パノラマ画像データに関連付ける上記（１）乃至（４）のいずれかに記載の画像処理装置。
　（７）上記関連付け部は、上記全周パノラマ画像であることを示す情報として、パノラマ画像データ自体を特定フォーマットのデータとする上記（１）乃至（４）のいずれかに記載の画像処理装置。
　（８）上記関連付け部は、上記全周パノラマ画像であることを示す情報を含むデータファイルと、パノラマ画像データを含むデータファイルを関連付ける上記（１）乃至（４）のいずれかに記載の画像処理装置。
　（９）上記メタデータには、パノラマ画像生成時のフレーム画像データの投影面の種別を示す情報が含まれる上記（５）に記載の画像処理装置。
　（１０）上記投影面の種別を示す情報は、曲面又は平面の投影面の種別として、単一平面、円筒面、球面、立方体のいずれかを示す情報である上記（９）に記載の画像処理装置。
　（１１）上記メタデータには、パノラマ画像データの３６０°画角判定結果の情報が含まれる上記（５）、（９）又は（１０）のいずれかに記載の画像処理装置。
　（１２）上記メタデータには、パノラマ画像データの画像両端の位置合わせ処理の結果を示す情報が含まれる上記（５）、（９）、（１０）又は（１１）のいずれかに記載の画像処理装置。
　（１３）上記メタデータには、パノラマ画像データが、撮像方向を略３６０°変位させながらの撮像動作によって得られる複数のフレーム画像データを用いてパノラマ画像データ生成する、３６０°パノラマ撮像モード動作によって得られたか否かを示す情報が含まれる上記（５）、（９）、（１０）、（１１）又は（１２）のいずれかに記載の画像処理装置。
　（１４）上記メタデータには、パノラマ画像データの水平画角及び垂直画角の情報が含まれる上記（５）、（９）、（１０）、（１１）、（１２）又は（１３）のいずれかに記載の画像処理装置。
　（１５）撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを合成してパノラマ画像データを生成するパノラマ合成部を、さらに備え上記（１）乃至（１４）のいずれかに記載の画像処理装置。

Claims

　撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを用いて生成されたパノラマ画像データが、全周パノラマ画像と判断される場合に、該パノラマ画像データと、該パノラマ画像データが全周パノラマ画像であることを示す情報とを関連付ける関連付け部を備える画像処理装置。
　上記全周パノラマ画像と判断される場合とは、
　パノラマ画像データが、３６０°画角を有する場合である請求項１に記載の画像処理装置。
　上記全周パノラマ画像と判断される場合とは、
　パノラマ画像データが、３６０°画角を有し、画像両端の位置合わせ処理が行われたものである場合である請求項１に記載の画像処理装置。
　上記全周パノラマ画像と判断される場合とは、
　パノラマ画像データが、撮像方向を略３６０°変位させながらの撮像動作によって得られる複数のフレーム画像データを用いてパノラマ画像データ生成する、３６０°パノラマ撮像モード動作によって得られた場合である請求項１に記載の画像処理装置。
　上記関連付け部は、上記全周パノラマ画像であることを示す情報としてのメタデータを、パノラマ画像データに関連付ける請求項１に記載の画像処理装置。
　上記関連付け部は、上記全周パノラマ画像であることを示す情報として、全周パノラマ画像の表示に用いる表示処理プログラムを、パノラマ画像データに関連付ける請求項１に記載の画像処理装置。
　上記関連付け部は、上記全周パノラマ画像であることを示す情報として、パノラマ画像データ自体を特定フォーマットのデータとする請求項１に記載の画像処理装置。
　上記関連付け部は、上記全周パノラマ画像であることを示す情報を含むデータファイルと、パノラマ画像データを含むデータファイルを関連付ける請求項１に記載の画像処理装置。
　上記メタデータには、パノラマ画像生成時のフレーム画像データの投影面の種別を示す情報が含まれる請求項５に記載の画像処理装置。
　上記投影面の種別を示す情報は、曲面又は平面の投影面の種別として、単一平面、円筒面、球面、立方体のいずれかを示す情報である請求項９に記載の画像処理装置。
　上記メタデータには、パノラマ画像データの３６０°画角判定結果の情報が含まれる請求項５に記載の画像処理装置。
　上記メタデータには、パノラマ画像データの画像両端の位置合わせ処理の結果を示す情報が含まれる請求項５に記載の画像処理装置。
　上記メタデータには、パノラマ画像データが、撮像方向を略３６０°変位させながらの撮像動作によって得られる複数のフレーム画像データを用いてパノラマ画像データ生成する、３６０°パノラマ撮像モード動作によって得られたか否かを示す情報が含まれる請求項５に記載の画像処理装置。
　上記メタデータには、パノラマ画像データの水平画角及び垂直画角の情報が含まれる請求項５に記載の画像処理装置。
　撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを合成してパノラマ画像データを生成するパノラマ合成部を、さらに備えた請求項１に記載の画像処理装置。
　撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを用いて生成されたパノラマ画像データが、全周パノラマ画像と判断される場合に、該パノラマ画像データと、該パノラマ画像データが全周パノラマ画像であることを示す情報とを関連付ける処理を行う画像処理方法。
　撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを用いて生成されたパノラマ画像データが、全周パノラマ画像と判断される場合に、該パノラマ画像データと、該パノラマ画像データが全周パノラマ画像であることを示す情報とを関連付ける処理を演算処理装置に実行させるプログラム。