JP6337888B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

Description

本技術は画像処理装置、画像処理方法、及びそれらを実現するプログラムに関し、特にパノラマ画像データのサムネール表示に適した画像処理に関する。

特開２０１２−９９９０６号公報

例えばユーザがカメラを水平にスイープさせながら多数の撮像画像（フレーム画像データ）を得、これを合成することで、いわゆるパノラマ画像を得ることができる。
なお「スイープ」とは、パノラマ画像生成のための複数のフレーム画像データを得るために、撮像時に撮像装置の回転運動による撮像方向移動の動作をいう。例えば水平方向に撮像方向を移動させる場合、スイープ方向とは水平方向を指す。
デジタルスチルカメラ等の撮像装置では、パノラマ画像についても、通常の静止画と同様にサムネール画像を生成し、例えば一覧表示等を行うようにされている。
サムネール表示に関しては、上記特許文献１に示されるように、３Ｄ（three dimensions）画像のサムネールを表示する手法も提案されている。

パノラマ画像は、通常の静止画に比べて著しく横長（或いは縦長）の画像となっている。このため、画像アスペクト比を保ったまま単純に縮小（解像度変換）してサムネール画像を生成すると、特に複数のサムネールの一覧表示の際に、ユーザの視認性が著しく悪化することがある。但し、解像度変換によるサムネール画像は、パノラマ画像内容の全体を表しているとはいえる。
一方で、上記特許文献１の３Ｄサムネール画像ような手法をとれば、一覧表示の場合も、それぞれが見やすいサムネール画像とすることができる。ところがそのままではパノラマ画像内容全体が現れているものではなく、３Ｄサムネール画像を回転させるなど、処理負担の大きな表示制御が必要になる。

また、サムネール画像の表示画面や表示領域の縦横比、サイズ、サムネール画像数等に応じて、ユーザが認識しやすいサムネール画像が、どのような画像であるかは一概に決めることは難しい。

このような事情に鑑みて本技術では、パノラマ画像データについてのサムネール画像がユーザに対してより適切に提示されるようにすることを目的とする。

第１に、本技術に係る画像処理装置は、複数の撮像画像を合成して生成されたパノラマ画像データを解像度変換することにより第１のサムネール画像データを生成する第１のサムネール生成部と、前記パノラマ画像データに対してアスペクト比調整処理を行って第２のサムネール画像データを生成する第２のサムネール生成部と、を備えたものである。
１つのパノラマ画像データに対して、解像度変換による第１のサムネール画像データと、アスペクト比調整処理による第２のサムネール画像データを生成するようにしておくことで、表示の際の各種事情に応じて適切な方のサムネール画像表示に対応できる。

第２に、本技術に係る画像処理装置においては、前記第２のサムネール生成部は、複数のアスペクト比調整処理のうちで、処理選択条件に基づいてアスペクト比調整処理の種別を決定し、決定したアスペクト比調整処理による前記第２のサムネール画像データを生成することが望ましい。
アスペクト比調整処理としては各種の処理方式が考えられるため、パノラマ画像データの生成方式やパノラマ画像データの画角などを処理選択条件として、適切なアスペクト比調整処理が選定できるようにする。

第３に、本技術に係る画像処理装置においては、前記第２のサムネール生成部は、それぞれ異なるアスペクト比調整処理により、複数の前記第２のサムネール画像データを生成することが望ましい。
つまり第１のサムネール画像データと、複数の第２のサムネール画像データとして３以上のサムネール画像データを生成する。
第４に、本技術に係る画像処理装置においては、前記第２のサムネール生成部は、同一種類のアスペクト比調整処理により、パノラマ画像データに対しての視点位置が異なる複数の前記第２のサムネール画像データを生成することが望ましい。
視点位置の異なる複数のサムネール画像データを生成しておけば、元のパノラマ画像データを異なる視点位置で見たサムネールを切り換えて表示することが可能な状態にできる。
第５に、本技術に係る画像処理装置においては、前記第２のサムネール生成部は、パノラマ画像データ内の被写体判定を行って視点位置を設定し、該視点位置に応じたアスペクト比調整処理により前記第２のサムネール画像データを生成することが望ましい。
被写体判定を行うことで、パノラマ画像データ内で重要な被写体を判定し、それに応じてサムネール画像の視点位置を設定できる。
第６に、本技術に係る画像処理装置においては、サムネール生成対象の画像データが通常撮像による画像データである場合は、前記第１のサムネール生成部が第１のサムネール画像データの生成を行い、サムネール生成対象の画像データが前記パノラマ画像データである場合は、前記第１のサムネール生成部が第１のサムネール画像データの生成を行い、かつ前記第２のサムネール生成部が前記第２のサムネール画像データの生成を行うことが望ましい。
これにより、通常撮像に対応する場合とパノラマ撮像に対応する場合とでそれぞれ適切にサムネール画像データ生成を行うことができる。

第７に、本技術に係る画像処理装置においては、前記第２のサムネール生成部が実行する前記アスペクト比調整処理は、パノラマ画像データの投影面の三次元モデルに対してパノラマ画像をテクスチャマッピングした画像をレンダリングする処理、パノラマ画像に対し極座標変換を施す処理、パノラマ画像内の画素重要度判定結果を用いた縮小を行う処理、のいずれかであることが望ましい。
これらの処理によれば、単純な切り出し等によるアスペクト比調整処理を行った画像よりも視覚的効果の高いサムネール画像データを生成できる。
第８に、本技術に係る画像処理装置においては、前記パノラマ画像データに対応するサムネール画像データとして、前記第１のサムネール画像データ、前記第２のサムネール画像データの両方を記録媒体に記録する処理を行うことが望ましい。
これにより、その後の表示の際に、生成した第１，第２のサムネール画像データを用いることができる。

本技術に係る画像処理方法は、複数の撮像画像を合成して生成されたパノラマ画像データを解像度変換することにより第１のサムネール画像データを生成する第１のサムネール生成手順と、前記パノラマ画像データに対してアスペクト比調整処理を行って第２のサムネール画像データを生成する第２のサムネール生成手順と、を備える。
本技術に係るプログラムは、当該各手順の処理を演算処理装置に実行させるプログラムである。
これらにより、１つのパノラマ画像データに対して、解像度変換による第１のサムネール画像データと、アスペクト比調整処理による第２のサムネール画像データを生成する装置を実現できる。

本技術よれば、１つのパノラマ画像データに対して、解像度変換による第１のサムネール画像データと、アスペクト比調整処理による第２のサムネール画像データを生成することで、サムネール表示の際の事情に応じて適切な方のサムネール画像表示を行うという表示方式に対応でき、ユーザのサムネール認識性の向上に寄与できる。

本技術の実施の形態で行われるパノラマ撮像の説明図である。 実施の形態で行われるパノラマ画像合成の説明図である。 実施の形態のパノラマ画像の説明図である。 実施の形態のパノラマ画像についてのサムネール画像表示の説明図である。 実施の形態の画像処理装置のブロック図である。 実施の形態の画像処理装置の処理のフローチャートである。 実施の形態の撮像装置のブロック図である。 実施の形態の撮像装置のパノラマ画像生成処理の説明図である。 実施の形態の撮像装置のサムネール画像生成処理の説明図である。 実施の形態の円柱投影及び球面投影におけるサムネール画像生成の際の視点位置の説明図である。 実施の形態のアスペクト比調整サムネール画像の説明図である。 実施の形態のアスペクト比調整サムネール画像の説明図である。 実施の形態のサムネール生成処理例のフローチャートである。 実施の形態のサムネール生成処理例のフローチャートである。 実施の形態のサムネール生成処理例のフローチャートである。 実施の形態で判断する撮像装置の姿勢の説明図である。 実施の形態のサムネール画像の一覧表示例の説明図である。 実施の形態のサムネール画像の１枚表示例の説明図である。 実施の形態で判断する表示領域の説明図である。 実施の形態の表示処理例のフローチャートである。 実施の形態の表示処理例のフローチャートである。 実施の形態の表示処理例のフローチャートである。 実施の形態の表示処理例のフローチャートである。 実施の形態のコンピュータ装置のブロック図である。

以下、実施の形態を次の順序で説明する。
なお、実施の形態として、画像処理装置、画像処理装置を内蔵する撮像装置、画像処理装置として機能するコンピュータ装置、及びプログラムの各例を説明する。
＜１．パノラマ合成及び再生表示の概要＞
＜２．第１の実施の形態（画像処理装置）＞
＜３．第２の実施の形態（撮像装置）＞
［３−１：撮像装置の構成］
［３−２：パノラマ合成処理］
［３−３：サムネール画像生成及び種別］
［３−４：画像処理例］
［３−５：サムネール表示領域］
［３−６：サムネール表示処理例］
＜４．第３の実施の形態（コンピュータ装置及びプログラム）＞
＜５．変形例＞

＜１．パノラマ合成及び再生表示の概要＞
まずパノラマ合成についての概要を説明する。
後述する実施の形態の撮像装置５０や、近年の一般的な撮像装置（デジタルスチルカメラ）は、撮像者がある回転軸で撮像装置５０を回転運動させながら撮像して得られた複数枚の静止画像（フレーム画像データ）に対し、合成処理を行うことによって最大３６０°の広画角のパノラマ画像を生成することができる。

図１Ａは、パノラマ撮像時の撮像装置５０の動きを示したものである。パノラマ撮像時には遠景、近景の視差が合成時のつなぎ目の不自然さを生じさせるため、撮像時の回転中心は、ノーダルポイント（Nodal Point）と呼ばれる視差を生じないレンズ固有の点を回転中心にすることが望ましい。パノラマ撮像時の撮像装置５０の回転運動のことを「スイープ」と呼ぶ。

図１Ｂは、撮像装置５０のスイープによって得られた複数枚の静止画像に対して、適切に位置合わせを行ったときの概念図である。
この図では撮像で得られる各静止画像を、撮像の時間的な順序で示している。即ち時刻０〜時刻（ｎ−１）までに撮像されたフレーム画像データを、フレーム画像データＦＭ＃０、ＦＭ＃１・・・ＦＭ＃（ｎ−１）としている。
ｎ枚の静止画像からパノラマ画像を生成する場合は、図示するように連続して撮像された一連のｎ個のフレーム画像データＦＭ＃０〜ＦＭ＃（ｎ−１）について合成処理を行うこととなる。
各フレーム画像データの位置合わせの結果、一般的にスイープ方向だけでなく、スイープ方向と垂直な方向にも若干の移動が認められる。これは撮像者のスイープ時の手振れによって生じるズレである。

この図１Ｂに示すように、撮像された各フレーム画像データは隣接するフレーム画像データと必ず重なり部分を持つ必要があるので、撮像装置５０の各フレーム画像データの撮像時間間隔と、撮像者がスイープする速度の上限値は適切に設定しなければならない。
そして、このように位置合わせされたフレーム画像データ群は多くの重なり部分を持つため、各フレーム画像データに対して最終的なパノラマ画像に使用する領域を決定する必要がある。これは言い換えると、パノラマ合成処理における画像のつなぎ目（シーム：seam)を決めていることと同一である。

図２Ａ、図２Ｂでは、シームＳＭの例を示している。
シームには、図２Ａに示すようにスイープ方向に垂直な直線や、図２Ｂに示すように非直線（曲線など）とすることができる。
この図２Ａ、図２Ｂにおいて、シームＳＭ０はフレーム画像データＦＭ＃０，ＦＭ＃１間のつなぎ目、シームＳＭ１はフレーム画像データＦＭ＃１，ＦＭ＃２間のつなぎ目、・・・シームＳＭ（ｎ−２）はフレーム画像データＦＭ＃（ｎ−２），ＦＭ＃（ｎ−１）間のつなぎ目として示している。
なお、これらシームＳＭ０〜ＳＭ（ｎ−２）が合成時の隣接画像間のつなぎ目とされることで、各フレーム画像データにおいて斜線部とした部分は、最終的なパノラマ画像に使用されない画像領域となる。

また、パノラマ合成を行う際には、シーム付近の画像の不自然さを低減することを目的とし、シーム付近の画像領域についてブレンド処理することも行われる場合もある。
そして、各フレーム画像データの共通部分を広範囲にブレンド処理することによって接合させる場合や、パノラマ画像に寄与する画素を共通部分から画素毎に選択する場合もあり、これらの場合には、つなぎ目は明確には存在しないが、本明細書においてはこの広範囲な接合部分もシームとして同一視するものとする。

各フレーム画像データのシームを決定し、その境界領域で接合、又はブレンド処理することによる接合を行い、最終的に手振れ量を考慮してスイープと垂直な方向な不要な部分をトリミングすることによって、図３に示すような、スイープ方向を長辺方向とする、広画角のパノラマ画像を得ることができる。
図３では縦線がシームを示しており、ｎ個のフレーム画像データＦＭ＃０〜ＦＭ＃（ｎ−１）がシームＳＭ０〜ＳＭ（ｎ−２）でそれぞれ接合されてパノラマ画像が生成されている状態を模式的に示している。

このようなパノラマ画像を得るためにユーザが撮像装置５０を用いて行うパノラマ撮像の具体的操作例を説明する。
まず第一に、撮像装置５０をパノラマ撮像モードに設定し、さらに最大撮像画角を設定する。最大撮像画角としては例えば１２０°、１８０°、３６０°などが選択可能であり、３６０°を選択した場合は、周囲の全風景をすべて写真に収めるいわゆる全周撮像ができる。

次に撮像者は撮像装置５０のシャッターボタンを押下することによってパノラマ撮像を開始するとともに、スイープ動作を行う。その後、パノラマ撮像の終了条件が満たされた場合にパノラマ撮像が完了する。終了条件は例えば以下の通りである。
・あらかじめ設定された最大撮像画角に到達した場合
・ユーザによるスイープ動作が停止した場合
・ユーザがシャッターボタンを再び押下した場合
・ユーザがシャッターボタンから指を離した場合（パノラマ撮像中にはシャッターボタンを押し続けるという仕様において）
・何らかのエラーが発生した場合

撮像完了後は自動的にパノラマ合成処理が開始され、或る時間経過後にパノラマ画像の合成が完了するとともに、そのパノラマ画像データが記録デバイスに保存される。
またパノラマ画像データから例えば解像度変換による縮小処理などでサムネール画像データが生成され、パノラマ画像データと対応づけられて記録デバイスに保存される。
その後は通常の静止画像と同様にパノラマ画像データを表示したり、サムネール画像による一覧表示を行うことができる。
図４Ａは撮像装置５０の表示パネル１０５ａにおいてパノラマ画像の通常表示を行っている例で、図４Ｂは複数のサムネール画像ＴＭ１による一覧表示を行っている例である。

ここで図４Ｂの例は、解像度変換による縮小処理で生成した多数のサムネール画像ＴＭ１によって一覧表示を行っているが、図からわかるように、サムネール画像ＴＭ１は横長（又は縦長）のパノラマ画像データを縮小したものを画面上で並べている。このため、かなりパノラマ画像内容の視認性が悪化している。
そこで後述する実施の形態の画像処理装置１，２、撮像装置５０、コンピュータ装置７０は、図４Ｃのように、アスペクト比調整処理を行って生成したサムネール画像ＴＭ２を用いて一覧表示ができるようにする。詳しくは後述するが、アスペクト比調整処理が施されたサムネール画像ＴＭ２とは、以下のようなものである。
・パノラマ画像データの投影面の三次元モデルに対してパノラマ画像をテクスチャマッピングした画像をレンダリングする処理を行って生成したサムネール画像
・パノラマ画像に対し極座標変換を施す処理を行って生成したサムネール画像
・パノラマ画像内の画素重要度判定結果を用いた縮小を行う処理を行って生成したサムネール画像
・パノラマ画像から切り出し（トリミング）を行って生成したサムネール画像

これらのアスペクト比調整処理を行って生成したサムネール画像ＴＭ２は、元のパノラマ画像データとは、画像のアスペクト比が異なるサムネール画像であって、これらを総称して「アスペクト比調整サムネール画像」と呼ぶこととする。
一方、解像度変換によって生成するサムネール画像ＴＭ１については、区別のため「通常サムネール画像」と呼ぶ。
なお説明の便宜上、アスペクト比調整サムネール画像の表示のための画像データも、符号ＴＭ２を用いて、「アスペクト比調整サムネール画像データＴＭ２」と表記する場合もある。同様に通常サムネール画像の表示のための画像データも、符号ＴＭ１を用いて、「通常サムネール画像データＴＭ１」と表記する場合もある。

ここで図４Ｂは、通常サムネール画像ＴＭ１の視認性が悪化している状態を示しているが、表示領域の事情（画面のアスペクト比、表示装置の姿勢、表示領域サイズ、一覧表示するサムネール数等）によっては、通常サムネール画像ＴＭ１の視認性がよい場合もある。また通常サムネール画像ＴＭ１は、元のパノラマ画像の単純な縮小であって、元のパノラマ画像の画像内容全体を含んでいる。
これに対してアスペクト比調整サムネール画像ＴＭ２は、視認性向上のためにアスペクト比を調整したものであるが、一見して元のパノラマ画像全体を見ることができるものではない。
このため、各種の状況下において、通常サムネール画像ＴＭ１の方が表示に適している場合と、アスペクト比調整サムネール画像ＴＭ２の方が表示に適している場合とが想定される。
そこで本実施の形態では、状況に応じて通常サムネール画像ＴＭ１とアスペクト比調整サムネール画像ＴＭ２とを使い分けられるようにする。

＜２．第１の実施の形態（画像処理装置）＞
実施の形態の画像処理装置１，２の構成例を説明する。
画像処理装置１は、パノラマ画像データＰＤから通常サムネール画像ＴＭ１とアスペクト比調整サムネール画像ＴＭ２の両方を生成する装置である。
画像処理装置２は、通常サムネール画像ＴＭ１とアスペクト比調整サムネール画像ＴＭ２を選択的に用いて表示データＤｄを生成する装置である。

まず図５Ａは、パノラマ合成部１０と画像処理装置１を示している。パノラマ合成部１０と画像処理装置１は同一機器内に一体に設けられてもよいし、別体機器にそれぞれ設けられてもよい。
パノラマ合成部１０は、入力画像群ＦＭＳからパノラマ画像データＰＤを生成する。入力画像群ＦＭＳとは、撮像者がパノラマ撮像モードにおいてスイープさせながらの撮像動作を行うことで得られる一連のフレーム画像データＦＭのことである。パノラマ合成部１０は、入力画像群ＦＭＳとしての複数のフレーム画像データＦＭを用いて、上記図１〜図３で説明したようにパノラマ画像データＰＤを生成する。

画像処理装置１は、通常サムネール生成部１ａとアスペクト比調整サムネール生成部１ｂを備える。
通常サムネール生成部１ａは、複数の撮像画像を合成して生成されたパノラマ画像データＰＤを解像度変換することにより第１のサムネール画像データ（通常サムネール画像データＴＭ１）を生成する。
アスペクト比調整サムネール生成部１ｂは、パノラマ画像データＰＤに対してアスペクト比調整処理を行って第２のサムネール画像データ（アスペクト比調整サムネール画像データＴＭ２）を生成する。
この構成により、画像処理装置１は、１つのパノラマ画像データＰＤから通常サムネール画像データＴＭ１と、アスペクト比調整サムネール画像データＴＭ２の両方を生成して出力する。

図６Ａは画像処理装置１の処理例を示している。
画像処理装置１はステップＦ１でパノラマ合成部１０からのパノラマ画像データＰＤを取り込む。
ステップＦ２で画像処理装置１は、通常サムネール生成部１ａの機能により、通常サムネール画像データＴＭ１を生成する。
ステップＦ３で画像処理装置１は、アスペクト比調整サムネール生成部１ｂの機能により、アスペクト比調整サムネール画像データＴＭ２を生成する。
そしてステップＦ４で画像処理装置１は、生成した通常サムネール画像データＴＭ１とアスペクト比調整サムネール画像データＴＭ２を、記録又は送信のために出力する。例えば図示しない通信部から外部装置にサムネール画像データＴＭ１、ＴＭ２を送信出力したり、図示しない記録装置に供給して記録媒体に記録させる。

このような画像処理装置１によれば、表示の際の各種事情に応じて適切なサムネール画像表示が実行できるように、通常サムネール画像データＴＭ１と、アスペクト比調整サムネール画像データＴＭ２を用意しておくことができる。

図５Ｂは記憶部１１、画像処理装置２、表示部１２を有する構成例を示している。記憶部１１、画像処理装置２、表示部１２はそれぞれ同一機器内に一体に設けられてもよいし、別体機器に設けられてもよい。
記憶部１１には、例えば１つのパノラマ画像データＰＤに対応して、図５Ａの画像処理装置１で生成された通常サムネール画像データＴＭ１と、アスペクト比調整サムネール画像データＴＭ２が記憶されている。

画像処理装置２は、サムネール選択部２ａと表示データ生成部２ｂを備える。
サムネール選択部２ａは、複数の撮像画像を合成して生成されたパノラマ画像データＰＤの解像度変換により生成される通常サムネール画像データＴＭ１と、パノラマ画像データＰＤに対するアスペクト比調整処理により生成されるアスペクト比調整サムネール画像データＴＭ２のうちで、いずれをサムネール表示に用いるかを選択する処理を行う。
表示データ生成部２ｂは、サムネール選択部２ａの選択に応じて、通常サムネール画像データＴＭ１又はアスペクト比調整サムネール画像データＴＭ２のいずれかを用いてサムネール表示を実行させるための表示データＤｄを生成する。
特に表示データ生成部２ｂは、サムネール選択部２ａで選択された、通常サムネール画像データＴＭ１又はアスペクト比調整サムネール画像データＴＭ２のいずれかを記憶部１１から読み出し、読み出したサムネール画像データを用いて表示データＤｄを生成する。

表示部２１は、液晶パネル、有機ＥＬ（Electroluminescence）パネル、プラズマディスプレイパネル、ＣＲＴ（Cathode Ray Tube）その他の表示デバイスと、その表示デバイスに対する表示駆動部を有し、各種の表示を行う。
この表示部２１には、画像処理装置２から表示データＤｄが供給されて、その表示データＤｄに基づく表示動作が行われる。例えば表示部１２は表示データＤｄに基づいてサムネール画像を含む表示を実行する。例えば複数のサムネール画像の一覧表示や、１つのサムネール画像の表示等を行う。

図６Ｂは画像処理装置２の処理例を示している。
画像処理装置２はステップＦ１０で、サムネール選択部２ａの機能により、選択基準情報を確認する。例えば表示部１２を有する表示装置の姿勢（姿勢に応じた表示領域のアスペクト比）、表示画面のアスペクト比、表示領域のアスペクト比、表示領域サイズ、一覧表示するサムネール数等の所定の選択基準情報を確認する。そしてステップＦ１１で、選択基準情報に応じて、表示に用いるサムネール画像を通常サムネール画像データＴＭ１とするか、或いはアスペクト比調整サムネール画像データＴＭ２とするかを選択する。
ステップＦ１２で画像処理装置２は、ステップＦ１１で選択されたサムネール画像データ（ＴＭ１，ＴＭ２のいずれか）を記憶部１１から読み出す。そして表示データ生成部２ｂの機能により、ステップＦ１３で表示データＤｄを生成する。即ち記憶部１１から読み出したサムネール画像データを用いて表示データＤｄを生成することになる。
そしてステップＦ１４で画像処理装置２は、生成した表示データＤｄを、表示部１２に出力する。

これにより、パノラマ画像データについてのサムネール画像データを表示する際の各種事情に応じて、解像度変換による第１のサムネール画像データと、アスペクト比調整処理による第２のサムネール画像データのうちで適切な方でサムネール画像表示を実行できる。
即ちサムネール選択部２ａが、選択基準情報としての表示部１２を有する表示装置の姿勢（姿勢に応じた表示領域のアスペクト比）、表示画面のアスペクト比、表示領域のアスペクト比、表示領域サイズ、一覧表示するサムネール数等に応じて、選択を行うことで、表示状況に適したサムネール表示が実行できる。
そしてこの場合は、図５Ｂのような画像処理装置１で生成された通常サムネール画像データＴＭ１とアスペクト比調整サムネール画像データＴＭ２が記憶部１１に記憶されていることを前提とすることで、表示データ生成部２ｂは、選択されたサムネール画像データを読み出せばよく、画像処理装置２の処理負担は小さい。

図５Ｃは、図５Ｂと同様に記憶部１１、画像処理装置２、表示部１２を有する構成例を示している。但し記憶部１１にはパノラマ画像データＰＤが記憶されているとする。
画像処理装置２においてサムネール選択部２ａの動作は同様であるが、表示データ生成部２ｂは、サムネール選択部２ａで選択された、通常サムネール画像データＴＭ１又はアスペクト比調整サムネール画像データＴＭ２のいずれかを、パノラマ画像データＰＤを用いて生成し、生成したサムネール画像データを用いてサムネール表示を実行させるための表示データＤｄを生成する。

この場合の画像処理装置２の処理例を図６Ｃに示している。
画像処理装置２はステップＦ２０で、サムネール選択部２ａの機能により、選択基準情報を確認する。そしてステップＦ２１で、選択基準情報に応じて、表示に用いるサムネール画像を通常サムネール画像データＴＭ１とするか、或いはアスペクト比調整サムネール画像データＴＭ２とするかを選択する。
ステップＦ２２で画像処理装置２は、表示データ生成部２ｂの機能により、ステップＦ２１で選択されたサムネール画像データ（ＴＭ１，ＴＭ２のいずれか）を生成する。つまり記憶部１１からパノラマ画像データＰＤを読み出し、当該パノラマ画像データＰＤについて解像度変換処理、もしくはアスペクト比調整処理のいずれかを行って、サムネール画像データ（ＴＭ１，ＴＭ２のいずれか）を生成する。このように生成したサムネール画像データを用いてステップＦ２３で表示データＤｄを生成する。
そしてステップＦ２４で画像処理装置２は、生成した表示データＤｄを、表示部１２に出力する。

この構成によれば、図５Ａの画像処理装置１による２種類のサムネール画像データＴＭ１、ＴＭ２の生成動作を前提とせずに、表示状況に適したサムネール表示が実行できる。

なお、図５に示した画像処理装置１、画像処理装置２は、単体の装置として構成する他、例えばデジタルスチルカメラ、ビデオカメラ、携帯電話機、コンピュータ装置、携帯型情報処理装置、画像編集装置、画像再生装置、画像記録装置などに内蔵されるものとすることなどが想定される。
また例えばクラウドコンピューティングシステムを想定した場合、画像処理装置１、画像処理装置２が、ユーザ使用機器ではなくネットワーク上に配置されることも考えられる。

＜３．第２の実施の形態（撮像装置）＞
［３−１：撮像装置の構成］
続いて第２の実施の形態として、上述の画像処理装置１，２に相当する構成を備えた撮像装置５０を説明する。
図７は撮像装置５０の構成例を示している。
撮像装置５０はレンズユニット１００、撮像素子１０１、画像処理部１０２、グラフィックス処理部１０３、記録デバイス部１０４、表示部１０５、通信部１０６、記憶部１０７、制御部１０８、操作部１０９、センサー部１１０を備える。

画像処理部１０２、グラフィックス処理部１０３、記録デバイス部１０４、表示部１０５、通信部１０６、記憶部１０７、制御部１０８、操作部１０９、及びセンサー部１１０は、バス１１１を介して相互に接続され、画像データや制御信号等がやりとりされる。

レンズユニット１００は、被写体の光画像を集光する。レンズユニット１００は制御部１０３からの指示に従い、適切な画像を得られるように、焦点距離、被写体距離、絞りなどを調整する機構を持つ。また光学的に画像のブレを抑止するための手ブレ補正機構も持つ。
撮像素子１０１は、レンズユニット１００で集光された光画像を光電変換して電気信号に変換する。具体的には、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどにより実現される。

画像処理部１０２は、撮像素子１０１からの電気信号をサンプリングするサンプリング回路、アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル信号に所定の画像処理を施す画像処理回路などから構成される。ここでは、この画像処理部１０２は、撮像素子１０１での撮像によるフレーム画像データを得る処理を行うとともに、パノラマ画像を合成する処理やサムネール画像データ（ＴＭ１、ＴＭ２）の生成処理も行うものとして示している。
この画像処理部１０２は、専用のハードウエア回路のみではなく、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）を備え、柔軟な画像処理に対応するためにソフトウエア処理を行うことができる。

グラフィックス処理部１０３は、２Ｄおよび３Ｄのグラフィックスを高速に生成するためのハードウェアであり、一般的にＧＰＵ（Graphics Processing Unit）と呼ばれる。ＧＰＵは特定機能専用のハードウェア回路だけではなく、プログラマブルなプロセッサーを備えており、柔軟なグラフィックス処理を行うことができる。またプログラマブルな特徴を生かして、グラフィックス以外の目的にＧＰＵの計算能力を使用することも可能であり、このようなＧＰＵの利用法を一般的にＧＰＧＰＵ（General Purpose computing on GPU）と呼ぶ。

記録デバイス部１０４は、フラッシュメモリ（Flash Memory）などの半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクなどの記録媒体と、それらの記録媒体に対する記録再生系回路・機構により構成される。
この記録デバイス部１０４は、撮像装置５０による撮像時には、画像処理部１０２でＪＰＥＧ（Joint Photographic Experts Group）形式にエンコードされ、記憶部１０７に格納されたＪＰＥＧ画像データを記録媒体に記録する。
また再生時には、記録デバイス部１０４は記録媒体に保存されたＪＰＥＧ画像データを読み出す。このＪＰＥＧ画像データは記憶部１０７に読み込まれ、画像処理部１０２でデコード処理が行われる。デコードされた画像データは、表示部１０５で表示させたり、或いは通信部１０６により外部機器に送信出力することも可能である。

表示部１０５は、画像処理部１０２によって処理され、記憶部１０７に格納されている画像データをアナログ化するＤ／Ａ変換回路と、アナログ化された画像信号を後段の表示装置に適合する形式のビデオ信号にエンコードするビデオエンコーダと、入力されるビデオ信号に対応する画像を表示する表示パネル（図４の表示パネル１０５ａ）とから構成される。
表示パネル１０５ａは、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）パネル等により実現され、ファインダとしての機能も有する。

通信部１０６は外部機器との通信やネットワーク通信を行う。具体的には通信部１０６は３Ｇ，４Ｇ通信などと呼ばれる携帯電話系の移動通信システムやＩＥＥＥ８０２．１１シリーズなどによる無線ＬＡＮ（Local Area Network）などの無線通信、あるいは有線ＬＡＮやＵＳＢ（Universal Serial Bus）、Thunderboltなどの有線通信を行うモジュールから構成される。これにより外部のパーソナルコンピュータや携帯電話、スマートフォン、タブレットなどのデバイスや、インターネットを経由した各種サーバーとのデータの受け渡しが可能となる。
なお通信部１０６が行う通信の伝送路の例は各種考えられ、例えば電波、赤外線等による無線伝送路や、ケーブル接続による有線伝送路のいずれでもよい。信号形態もデジタル電気信号通信、アナログ電気信号通信、光通信などが想定される。

記憶部１０７は、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリから構成され、画像処理部１０２で処理された画像データ、制御部１０８における制御プログラム及び各種データなどが一時記録される。

制御部１０８は、ＣＰＵ及び制御プログラムからなり、撮像装置５０の各部の制御を行う。制御プログラム自体は実際にはメモリ部１０５に格納され、ＣＰＵによって実行される。
なお上述の画像処理装置１、２としての処理（サムネール生成やサムネール表示のための処理）は、制御部１０８、画像処理部１０２、グラフィックス処理部１０３によって実行される。つまり撮像装置５０としての実施の形態では、上述の画像処理装置１，２に相当する構成が制御部１０８、画像処理部１０２、グラフィックス処理部１０３によって実現される。

操作部１０９は、シャッターボタン、上下左右矢印キー、決定キー、キャンセルキーなどのハードウエアキー、操作ダイアル、タッチパネル、ズームレバーなどの入力デバイスを備え、撮像者（ユーザ）の入力操作を検出し、制御部１０８に伝達する。制御部１０８はユーザの入力操作に応じて撮像装置５０の動作を決定し、各部が必要な動作を行うように制御する。
センサー部１１０は、ジャイロセンサー、加速度センサー、地磁気センサー、ＧＰＳ（Global Positioning System）センサーなどで構成され、各種情報の検出を行う。これらの情報は、撮像された画像データに対して、メタデータとして付加されるほか、各種画像処理、制御処理にも利用される。

［３−２：パノラマ合成処理］
次に、撮像装置５０のパノラマ合成処理についての詳細を説明する。
図８はパノラマ合成処理のために画像処理部１０２及び制御部１０８において実行される処理を機能構成として示し、それらの機能構成部位によって実行される処理（アルゴリズムフロー）を示している。
図示のように、パノラマ合成処理のために、前処理２００、画像レジストレーション処理２０１、動被写体検出処理２０２、検出・認識処理２０３、再投影処理２０４、シーム決定処理２０５、スティッチ処理２０６が行われる。

各処理について説明する。
前処理２００の対象となる入力画像群ＦＭＳとは、図１で説明したように、撮像者が撮像装置５０でパノラマ撮像を実行しているときに順次得られるフレーム画像データＦＭ＃０、ＦＭ＃１、ＦＭ＃２・・・である。
パノラマ合成部１０では、まず撮像者のパノラマ撮像操作によって撮像された画像（各フレーム画像データ）に対してパノラマ合成のための前処理２００を行う。なおここでのフレーム画像データＦＭは、通常の撮像時と同様の画像処理は行われているものとする。
入力された画像はレンズユニット１００の特性に基づく収差の影響を受けている。特にレンズの歪曲収差は、画像レジストレーション処理２０１に悪影響を与え、位置合わせの精度を低下させる。さらに合成されたパノラマ画像のシーム付近にアーティファクトも発生させるため、この前処理２００において歪曲収差の補正を行う。歪曲収差の補正によって、動被写体検出処理２０２、検出・認識処理２０３の精度を向上させる効果もある。

次に前処理２００を行ったフレーム画像データに対して、画像レジストレーション処理２０１、動被写体検出処理２０２、検出・認識処理２０３を行う。
パノラマ合成時には複数のフレーム画像データを単一の座標系に座標変換する必要があるが、この単一の座標系をパノラマ座標系と呼ぶことにする。
画像レジストレーション処理２０１は、２枚の連続するフレーム画像データを入力し、パノラマ座標系での位置合わせを行う処理である。２枚のフレーム画像データについての画像レジストレーション処理２０１によって得られる情報は、あくまで２枚の画像座標間の相対関係であるが、複数枚の画像座標系のうち一つ（例えば最初のフレーム画像データの座標系）を選び、パノラマ座標系に固定することによって、すべてのフレーム画像データの座標系をパノラマ座標系に変換することができる。

画像レジストレーション処理２０１で行う具体的な処理は、以下の二つに大別される。
１．画像内のローカルな動きを検出する。
２．上記で求めたローカルな動き情報から、画像全体のグローバルな動きを求める。

上記１の処理では一般的に、
・ブロックマッチング
・Ｈａｒｒｉｓ，Ｈｅｓｓｉａｎ，ＳＩＦＴ，ＳＵＲＦ，ＦＡＳＴなどの特徴点抽出及び特徴点マッチング
などが用いられ、画像の特徴点のローカルベクトルを求める。

上記２の処理では、上記１の処理で求められたローカルベクトル群を入力として、
・最小二乗法
・Ｍ−Ｅｓｔｉｍａｔｏｒ
・最小メジアン法（ＬＭｅｄＳ）
・ＲＡＮＳＡＣ（RANdom SAmple Consensus）
などのロバスト推定手法が用いられ、２枚間の座標系の関係を記述する最適なアフィン変換行列や射影変換行列（Homography）を求める。本明細書では、これらの情報を画像レジストレーション情報と呼ぶことにする。

また、パノラマ合成処理は、複数枚のフレーム画像データを合成するという特性上、撮像シーンに動被写体が存在すると動被写体の一部が分断されたり、ぼやけるなどの画像の破綻や画質の低下の原因となる。そのため動被写体を検出した上で、動被写体を避けてパノラマのシーム（つなぎ目）を決定することが好ましい。

動被写体検出処理２０２は、２枚以上の連続するフレーム画像データを入力し、動被写体の検出を行う処理である。具体的な処理の例は、画像レジストレーション処理２０１によって得られた画像レジストレーション情報により、実際に位置合わせを行った２枚のフレーム画像データの画素の差分値がある閾値以上の場合に、その画素を動被写体と判定するものである。
あるいは、画像レジストレーション処理２０１のロバスト推定時に外れ値（アウトライア）として判断された、特徴点情報を利用して判定を行っても良い。

検出・認識処理２０３では、撮像されたフレーム画像データ内の人間の顔や身体、動物などの位置情報を検出する。人間や動物は動被写体である可能性が高く、仮に動いていなかったとしても、その被写体上にパノラマのシームが決定された場合、他の物体と比べて視覚上の違和感を生じることが多いので、これらの物体を避けてシームを決定することが好ましい。つまりこの検出・認識処理２０３で得られた情報は、動被写体検出処理２０２の情報を補うために利用される。
動被写体検出処理２０２および検出・認識処理２０３で得られた情報をもとに、後述するシーム決定処理２０７においてシームが決定される。

再投影処理２０４では、画像レジストレーション処理２０１によって得られた画像レジストレーション情報に基づき、すべてのフレーム画像データを単一の平面、あるいは円筒面、球面などの単一の曲面に投影処理を行う。また同時に、動被写体情報、検出・認識情報についても同一平面もしくは曲面に投影処理を行う。投影面は撮像時の画角などから自動的に選択してもよいし、ユーザ操作に応じて設定してもよい。
フレーム画像データの再投影処理２０４は、ピクセル処理の最適化を考慮して、スティッチ処理２０６の前段処理として、もしくはスティッチ処理２０６の一部として行ってもよい。また簡易的に画像レジストレーション処理２０１の前、例えば前処理２００の一部として行ってもよい。またさらに簡略化して、処理そのものを行わず円筒投影処理の近似として扱ってもよい。

シーム決定処理２０５は、再投影処理２０４からの画像データ、画像レジストレーション処理２０１からの画像レジストレーション情報、動被写体検出処理２０２からの動被写体情報、検出・認識処理２０３からの検出・認識情報を入力とし、パノラマ画像として破綻の少ない、適切なシームＳＭ（図２、図３で説明したシームＳＭ０〜ＳＭ（ｎ−２））を決定する処理である。

シーム決定処理２０５では、まず入力した情報から隣接するフレーム画像データ間の重なり領域に対するコスト関数を定義する。
例えば重なり領域の各画素に対して動被写体検出処理２０２からの動被写体情報、検出・認識処理２０３からの検出・認識情報のそれぞれに適当な重みを付けた合計値を関数値とすればよい。
この場合、コスト関数値が高いほど、その点上には動被写体や人体などの物体が多く存在することを意味するため、パノラマ画像における破綻を最小限に抑えるためには、コスト関数値の低い点の集合をシームとすればよい。

パノラマ画像合成に用いる画像（フレーム画像データ）がｎ枚の場合、その重なり領域の数はｎ−１個になり、コスト関数もｎ−１個定義されることになる。よってパノラマ画像全体として最適なシームを選ぶためには、これらｎ−１個のコスト関数を最小化する組み合わせを求めることになる。これは一般に組み合わせ最適化問題と呼ばれ、以下のような解法が知られている。
・厳密解を求める解法
−分枝限定法
−Memorization
−動的計画法(Dynamic Programming)
−グラフカット
・近似解を求める解法
−局所探索法（山登り法）
−焼きなまし法(Simulated Annealing)
−タブーサーチ
−遺伝的アルゴリズム(Genetic Algorithm)
以上のいずれかの解法によりすべてのシームＳＭ１〜ＳＭ（ｎ−２）を求めることができる。

スティッチ処理２０６では、以上のように決定した全てのシームＳＭ１〜ＳＭ（ｎ−２）と、各フレーム画像データＦＭ＃０〜ＦＭ＃（ｎ−１）を使用して、最終的にパノラマ画像を合成する。
シーム周辺の領域に対しては、つなぎ目の不自然さを低減するためにブレンド処理を行い、それ以外の領域に対しては、単純な画素値のコピー、あるいはパノラマ座標系への再サンプリングのみを行い、すべての画像を接合する。
最終的に手振れ量を考慮してスイープと垂直な方向の不要な部分をトリミングすることによって、スイープ方向を長辺方向とするような、広画角のパノラマ画像（パノラマ画像データＰＤ）を得ることができる。

［３−３：サムネール画像生成及び種別］
次にサムネール画像データ（ＴＭ１，ＴＭ２）の生成について説明する。
上述のように生成したパノラマ画像データＰＤに関しては、パノラマ画像を高速に簡易表示、縮小表示するためのサムネール画像データを作成する。特に本実施の形態では１つのパノラマ画像データＰＤに対して通常サムネール画像データＴＭ１、アスペクト比調整サムネール画像データＴＭ２を作成する。撮像装置５０の場合、主に画像処理部１０２、グラフィックス処理部１０３、制御部１０８で図９の処理を行うことで、サムネール画像データＴＭ１、ＴＭ２を生成することができる。或いは必要に応じてサムネール画像データＴＭ１、ＴＭ２のうちの一方を生成するようにすることもできる。

図９は、サムネール作成フローの概要を示す。
図９Ａに示すように、パノラマ画像データＰＤに対して、縮小処理３００によって、高解像度のパノラマ画像データＰＤを簡易表示、縮小表示に利用しやすい解像度に縮小する処理を行い、通常サムネール画像データＴＭ１を作成する。
一般的なアスペクト比である４：３，１６：９，３：２などの比率を考慮し、例えば６４０画素×４８０画素や、１９２０画素×１０８０画素に格納可能なようにサムネール解像度を規定する。
作成する通常サムネール画像データＴＭ１は１つであってもよいし、利用目的に応じて様々な解像度の通常サムネール画像を複数作成してもよい。

こうして作成された通常サムネール画像データＴＭ１は、表示の際には一般的なアスペクト比である４：３，１６：９，３：２などの表示領域で表示されるが、パノラマ画像は短辺、長辺の画素数が大きく異なるために、図４Ｂに示したように非常に細長く小さい画像となり、視認性が悪い。また何も表示されない領域が多いために、表示領域の利用効率も悪い。
そのような場合に対応できるようにするため、本実施の形態ではアスペクト比調整サムネール画像データＴＭ２も作成する。
即ち図９Ａに示すように、パノラマ画像データＰＤに対しアスペクト比調整用変換処理３０１を行う。アスペクト比調整用変換処理３０１は、例えば縦横比が非常に大きいパノラマ画像データＰＤを、４：３、１６：９、３：２、１：１などの適度なアスペクト比の画像に変換する処理である。
以下、アスペクト比調整用変換処理３０１としてのいくつかの具体例を述べる。

・処理例Ｉ
まず、パノラマ画像データの投影面の三次元モデルに対してパノラマ画像をテクスチャマッピングした画像をレンダリングする処理がある。
上述の再投影処理２０４で利用した円筒面、球面などの再投影面の３Ｄモデルに、パノラマ画像のテクスチャマッピングを行い、４：３などの一般的アスペクト比のスクリーンにレンダリング処理を行うことによって、アスペクト比が変換された画像を得ることができる。
レンダリング時の視点位置は３Ｄモデルの外部から俯瞰するような位置に設定する。例えば図１０Ａ、図１０Ｂはそれぞれ円筒投影時、球面投影時の３Ｄモデル配置の概念図である。円筒投影時には図１０Ａの視点位置Ｐ１としてレンダリングを行うことで、図１１Ａのような一般的アスペクト比の画像を作成できる。また球面投影時には図１０Ｂの視点位置Ｐ１としてレンダリングを行うことで、図１１Ｂのような一般的アスペクト比の画像を作成できる。

・処理例II
パノラマ画像に対し極座標変換を施す処理も考えられる。
パノラマ画像の座標系を直交座標系（ｘ，ｙ）から極座標変換（ｒ，θ）の正方形画像に変換することで、パノラマ画像を図１１Ｃのような惑星状の画像に変換できることが知られている。この処理によってパノラマ画像を１：１のアスペクト比に変換できる。

・処理例III
パノラマ画像内の画素重要度判定結果を用いた縮小を行う処理も考えられる。
Seam Carving for Content-Aware Image Resizing(ACM Transactionson Graphics-Proceedings of ACM SIGGRAPH 2007,Volume26 Issue 3,July 2007)では、画素の重要度をエネルギー関数(Energy Function)として定義し、エネルギー損失を最小化するように画素を除去することにより、内容を保持したまま解像度を縮小する技術が提示されている。
この技術を用いることにより、パノラマ画像の内容を損なわずにアスペクト比を４：３などに変更した画像を作成することができる。
図１２Ａのパノラマ画像に対して、この処理によってアスペクト比を４：３に変更したアスペクト比調整済み画像の例を図１２Ｂに示す。これは単純な縮小ではなく、重要度が高い被写体画素がなるべく保持され、一方、空や地面などの特徴の乏しい画素部分が優先して除去されるようにする。これによって画像内容の特徴的な部分が反映された縮小画像となっている。

・処理例IV
アスペクト比調整処理は、上記の処理例Ｉ〜IIIのように、パノラマ画像全体の情報を保持した上でアスペクト比を変更することが望ましいが、これらの処理には一定の計算リソースが必要である。アスペクト比変換処理に計算リソースを割けない状況では、パノラマ画像の一部を所望のアスペクト比の領域で切り出すことによってアスペクト比調整済みの画像を作成することもできる。
例えば図１２Ａのパノラマ画像から一部を切り出して（トリミング）、図１２Ｃのような画像を作成する処理である。
なお、このトリミング画像の場合は、パノラマ画像全体の情報を保持できないが、顔検出、人体検出、一般物体検出、主要被写体検出などの処理によって検出された領域を含むように切り出すことによって、できる限り重要と思われる領域を含むトリミング画像を生成することが可能である。

以上、処理例Ｉ〜IVとしてアスペクト比調整用変換処理３０１の具体例を挙げたが、いずれの例においても、一般的な表示デバイスのアスペクト比である４：３，１６：９，３：２などに調整された画像データを得ることができる。
また処理例Ｉ、II、IIIによれば、単純な切り出し等によるアスペクト比調整処理を行った画像よりも視覚的効果の高いサムネール画像データを生成できる。

このようなアスペクト比調整用変換処理３０１で生成された画像データについては、続いて図９Ａの縮小処理３０２が施される。
縮小処理３０２では、アスペクト比調整用変換処理３０１で処理された画像データを縮小し、アスペクト比調整サムネール画像データＴＭ２を作成する。縮小解像度については縮小処理３００と同様である。

以上の図９Ａの処理により、通常サムネール画像データＴＭ１、アスペクト比調整サムネール画像データＴＭ２を生成する。
なお、図９Ｂのような処理としてもよい。即ちアスペクト比調整サムネール画像データＴＭ２の生成のために、まず縮小処理３０２でパノラマ画像データＰＤを縮小してから、アスペクト比調整用変換処理３０１を行うようにしてもよい。

また、アスペクト比調整用変換処理３０１の具体例を複数説明したが、単一のアスペクト比調整サムネール画像データＴＭ２を作成してもよいし、目的に応じて複数種類のアスペクト比調整サムネール画像データＴＭ２を作成してもよい。例えば処理例Ｉによるアスペクト比調整サムネール画像データＴＭ２と、処理例IIIによるアスペクト比調整サムネール画像データＴＭ２を作成するなどである。
また、通常サムネール画像データＴＭ１と同様に、同種のアスペクト比調整サムネール画像データＴＭ２として或る解像度のものを１つ生成してもよいし、異なる解像度で複数生成してもよい。

またアスペクト比調整用変換処理３０１としての処理例Ｉの３Ｄモデルによるサムネール画像は、ある特定視点からのレンダリング画像であるが、さらにパノラマ画像全体の認識容易性を向上させるために、連続的に視点を移動させた時のレンダリング画像を複数作成してもよい。例えば図１０の視点位置Ｐ１，Ｐ２・・・など、複数の視点位置でのアスペクト比調整サムネール画像データＴＭ２を生成する。
これによりサムネール画像のみで、３Ｄモデルの回転が可能になり、パノラマ画像全体の視認性が向上する。

撮像装置５０では、以上のようにパノラマ合成処理によって作成されたパノラマ画像データＰＤ、およびサムネール生成処理によって生成された通常サムネール画像データＴＭ１やアスペクト比調整サムネール画像データＴＭ２を、ＪＰＥＧ形式などの適切な圧縮方式のデータに変換し、記録デバイス部１０４に記録を行う。その際に再投影処理２０４において選択された投影面の種別（円筒面、球面などの種別）をメタデータとして記録する。メタデータの記録に際しては、ＥＸＩＦ（Exchangeable Image File Format）のように画像データに埋め込むものでもよいし、画像データと独立したファイルとして記録するものでもよい。

［３−４：画像処理例］
以下では、上述のパノラマ生成、サムネール生成を含む処理として、撮像装置５０において制御部１０８の制御に基づいて実行される各種画像処理例を図１３、図１４、図１５で説明していく。以下の各図の例は制御部１０８の制御処理として示している。

図１３Ａの処理例を説明する。
制御部１０８は、ステップＦ１０１でパノラマ撮像処理の制御を行う。ユーザがパノラマ撮像操作を行うことで、画像処理部１０２には入力画像群ＦＭＳが得られるが、この入力画像群ＦＭＳに対して、制御部１０８の制御及び画像処理部１０２の動作により、図８で説明した処理が行われ、パノラマ画像データＰＤが生成される。

ステップＦ１０２で制御部１０８は通常サムネール画像データＴＭ１の生成制御を行う。即ち制御部１０８の制御に従って画像処理部１０２、グラフィックス処理部１０３の処理として例えば図９Ａの縮小処理３００が実行されて通常サムネール画像データＴＭ１が生成される。
ステップＦ１０３で制御部１０８はアスペクト比調整サムネール画像データＴＭ２の生成制御を行う。即ち制御部１０８の制御に従って画像処理部１０２、グラフィックス処理部１０３の処理として例えば図９Ａのアスペクト比調整用変換処理３０１及び縮小処理３０２が実行されてアスペクト比調整サムネール画像データＴＭ２が生成される。なお、ステップＦ１０２，Ｆ１０３の順序は逆でもよいし並列的に行われてもよい。

ステップＦ１０４で制御部１０８は、以上の各ステップで作成されたパノラマ画像データＰＤ、通常サムネール画像データＴＭ１、アスペクト比調整サムネール画像データＴＭ２を、記録デバイス部１０４において記録媒体に記録させる。
なお、この処理例では、ステップＦ１０４で記録媒体に記録させるものとしたが、ステップＦ１０１，Ｆ１０２，Ｆ１０３で、それぞれ生成したパノラマ画像データＰＤ、通常サムネール画像データＴＭ１、アスペクト比調整サムネール画像データＴＭ２を、その都度、記録媒体に記録させるようにしてもよい。
また、ステップＦ１０４では、記録デバイス部１０４での記録媒体への記録ではなく、各画像データ（ＰＤ、ＴＭ１，ＴＭ２）を通信部１０６から外部機器に送信するようにしてもよい。例えば通信先の機器で記録媒体に記録させるなどである。

この図１３Ａのように、１つのパノラマ画像データＰＤとともにサムネール画像データＴＭ１、ＴＭ２を生成することで、表示の際の各種事情に応じて適切な方を選択できるように複数種類のサムネール画像データを用意できることになる。
またパノラマ画像データＰＤに対応するサムネール画像データとして、通常サムネール画像データＴＭ１、アスペクト比調整サムネール画像データＴＭ２の両方を記録媒体に記録する処理を行うことで、その後の表示の際に、通常サムネール画像データＴＭ１とアスペクト比調整サムネール画像データＴＭ２を選択できるように用意ができる。
そしてこのような処理により、サムネール表示の際の事情に応じて適切な方のサムネール画像表示を行うという表示方式に対応でき、ユーザのサムネール認識性の向上に寄与できる。

図１３Ｂの処理例を説明する。
なお以降のフローチャートの説明では、既述の処理と同様の処理は同一ステップ番号を付し、説明を省略する。
この図１３Ｂの処理は、図１３Ａの処理にステップＦ１１０を加えたものである。ステップＦ１１０で制御部１０８は、生成するアスペクト比調整サムネール画像データＴＭ２の種別を決定する。つまり図９のアスペクト比調整用変換処理３０１としては上述の処理例Ｉ〜IVのように各種の例が考えられるが、ステップＦ１１０では、これらのうちでどのような処理を用いるかを選択するものである。

具体的には制御部１０８は処理選択条件についての判定を行い、例えば処理例Ｉ〜IVのいずれかを選択する。
処理選択条件としては、例えば投影処理種別条件、パノラマ画角条件、被写体条件、ユーザ設定条件、或いはこれらの組み合わせの条件などが想定される。これらの処理選択条件に応じたステップＦ１１０の処理の例を挙げる。

処理選択条件として投影処理種別条件を用いる場合は、再投影処理２０４で用いた投影面に応じてアスペクト比調整サムネール画像データＴＭ２を生成する。
例えばパノラマ画像データＰＤが、その生成時に再投影処理２０４において円筒面に投影処理を行ったものであれば、処理例Ｉとして、円筒面の三次元モデルに対してパノラマ画像をテクスチャマッピングした画像をレンダリングする処理を選択とし、図１１Ａのようなアスペクト比調整サムネール画像データＴＭ２を生成するものとする。
また、パノラマ画像データＰＤが、その生成時に再投影処理２０４において球面に投影処理を行ったものであれば、同じく処理例Ｉとして述べたが、球面の三次元モデルに対してパノラマ画像をテクスチャマッピングした画像をレンダリングする処理を選択とし、図１１Ｂのようなアスペクト比調整サムネール画像データＴＭ２を生成するものとする。

処理選択条件としてパノラマ画角条件を用いる場合としては、例えばパノラマ画像データＰＤの画角が３６０°か否かにより、処理を選択することが考えられる。
例えば画角３６０°である場合は、処理例Ｉにより、図１１Ａ又は図１１Ｂのようなアスペクト比調整サムネール画像データＴＭ２を生成するものとする。或いは処理例IIで極座標変換を用いるものとしてもよい（図１１Ｃ参照）
一方、画角が３６０°でなければ、処理例III又は処理例IVを用いる。画角が３６０°未満の場合は、図１１Ａ，図１１Ｂのような処理例Ｉによるサムネール画像は、被写体が存在しない部分が含まれて、画像品質が低下する可能性があるためである。

処理選択条件として被写体条件を用いる場合としては、例えば被写体として人の顔や人体が含まれているかによって処理を選択することが考えられる。
ある程度以上のサイズで人の顔や人体が含まれている場合、その部分が特徴となってユーザが画像内容を識別しやすいという事情がある。そこで、例えば処理例III、処理例IVを行って、その顔部分等が表出するアスペクト比調整サムネール画像データＴＭ２を生成する。一方、顔や人体が存在しない風景のみの場合、或いは人や顔が映り込んでいてもかなり小さいサイズである場合などは、処理例Ｉや処理例IIを選択する。

処理選択条件としてユーザ設定条件を用いる場合、ユーザの設定操作に応じて処理例Ｉ〜IVのいずれかを選択する。

制御部１０８は、例えばこのように処理選択条件に応じて、図９のアスペクト比調整用変換処理３０１の方式を決定する。そして図１３のステップＦ１０３で、選択した処理方式を実行してアスペクト比調整サムネール画像データＴＭ２を生成する。そしてステップＦ１０４で、作成されたパノラマ画像データＰＤ、通常サムネール画像データＴＭ１、アスペクト比調整サムネール画像データＴＭ２を、記録デバイス部１０４において記録媒体に記録させる。

以上のように図１３Ｂの例は、複数のアスペクト比調整処理のうちで、処理選択条件に基づいてアスペクト比調整処理（この場合、アスペクト比調整用変換処理３０１）の種別を決定し、決定したアスペクト比調整処理により、アスペクト比調整サムネール画像データＴＭ２を生成する。
アスペクト比調整用変換処理３０１としては各種の処理方式が考えられるが、上記例のような処理選択条件として、適切なアスペクト比調整処理を選定することで、サムネール画像として、処理の簡易性を重視したり、画像品質を保つことを重視したり、ユーザのパノラマ画像内容の認識性を重視したり、ユーザの好みを重視したりするなど、適切なサムネール生成が実現される。

図１４Ａの処理例を説明する。
この図１４Ａの処理は、異なるアスペクト比調整処理により、複数のアスペクト比調整サムネール画像データＴＭ２を生成する例である。
即ち図１３Ａと同様のステップＦ１０１，Ｆ１０２の処理の後、ステップＦ１０３Ａにおいて制御部１０８は、複数種類のアスペクト比調整サムネール画像データＴＭ２を生成する。例えば処理例Ｉによる図１０Ａのアスペクト比調整サムネール画像データＴＭ２と、処理例IIによる図１０Ｃのアスペクト比調整サムネール画像データＴＭ２などである。そしてステップＦ１０４Ａで、作成されたパノラマ画像データＰＤ、通常サムネール画像データＴＭ１、及び複数種類のアスペクト比調整サムネール画像データＴＭ２を、記録デバイス部１０４において記録媒体に記録させる。

アスペクト比調整サムネール画像データＴＭ２を複数種類生成して用意しておくことで、表示の際の各種事情に応じた選択の幅を広げることができる。
なお、処理例Ｉ〜IIIのいずれかによるアスペクト比調整サムネール画像データＴＭ２を、上述の処理選択条件で選択して生成し、それに加えて処理例IVのトリミングによるアスペクト比調整サムネール画像データＴＭ２を生成するようにしてもよい。処理例IVは単純な切り出し処理であり、複数種類のアスペクト比調整サムネール画像データＴＭ２を生成する場合の処理負担増はさほど生じないからである。

ところでステップＦ１０３Ａでは、異なるアスペクト比調整処理により複数のアスペクト比調整サムネール画像データＴＭ２を生成するとしたが、この処理を、「同一のアスペクト比調整処理により複数のアスペクト比調整サムネール画像データＴＭ２を生成する」とする例も考えられる。
例えばパノラマ画像データに対しての視点位置が異なる複数のアスペクト比調整サムネール画像データＴＭ２を生成する。先に述べたように、処理例Ｉの３Ｄモデルによるサムネール画像として、例えば図１０の視点位置Ｐ１，Ｐ２・・・など、複数の視点位置でのアスペクト比調整サムネール画像データＴＭ２を生成する。
視点位置の異なる複数のサムネール画像データを生成しておけば、元のパノラマ画像データＰＤを異なる視点位置で見たサムネールを切り換えて表示することが可能な状態にできる。例えばサムネール画像のみで、３Ｄモデルの回転が可能になり、パノラマ画像全体の視認性が向上する。またその表示はサムネール画像を切り換えるのみであり回転のための処理負担はさほど増大しない。

図１４Ｂの処理例を説明する。
この図１４Ｂの処理は、パノラマ画像データＰＤ内の被写体判定を行って視点位置を設定し、該視点位置に応じたアスペクト比調整処理によりアスペクト比調整サムネール画像データＴＭ２を生成する例である。
制御部１０８はステップＦ１２０において重要被写体判定を行う。例えば被写体として人の顔や人体を重要被写体とし、パノラマ画像データＰＤ内に重要被写体が含まれているか否かを判定する。
そしてステップＦ１２１で制御部１０８は、重要被写体の存在有無に応じて視点位置を設定する。例えば重要被写体が存在していなければ、視点位置として所期設定位置を設定するが、重要被写体が存在していれば、当該被写体の位置を基準に視点位置を設定する。また重要被写体が複数存在していれば、それぞれの重要被写体位置を基準にして複数の視点位置を設定する。或いは複数の重要被写体の中央位置を基準にして視点位置を設定する。

ステップＦ１０３Ｂで制御部１０８は、設定した１又は複数の視点位置を用いて、例えば処理例Ｉ或いは処理例IVで、１又は複数のアスペクト比調整サムネール画像データＴＭ２を生成する。
そしてステップＦ１０４Ｂで、作成されたパノラマ画像データＰＤ、通常サムネール画像データＴＭ１、及び１又は複数のアスペクト比調整サムネール画像データＴＭ２を、記録デバイス部１０４において記録媒体に記録させる。

このように被写体判定を行うことで、パノラマ画像データＰＤ内で重要な被写体を判定し、それに応じてサムネール画像の視点位置を設定でき、生成される１又は複数のアスペクト比調整サムネール画像データＴＭ２は、重要被写体を適切にユーザに提示できる画像
となる。これによりアスペクト比調整サムネール画像データＴＭ２は、ユーザのパノラマ画像内容の表現に適した画像となる。
なお重要被写体検出は、顔検出、人体検出だけでなく、一般物体検出、動体検出、主要被写体検出などを行ってもよい。

図１５の処理例を説明する。
この図１５の処理は、サムネール生成対象の画像データが通常撮像による画像データ（非パノラマ画像）である場合は、通常サムネール画像データＴＭ１の生成を行い、サムネール生成対象の画像データがパノラマ画像データＰＤである場合は、通常サムネール画像データＴＭ１とアスペクト比調整サムネール画像データＴＭ２の両方の生成を行う例である。

ステップＦ１３０で制御部１０８は、通常の静止画撮像又はパノラマ撮像処理の制御を行う。通常の静止画撮像の場合は、ステップＦ１３１からＦ１３２に進み、通常サムネール画像データＴＭ１の生成制御を行う。
そしてステップＦ１３３で制御部１０８は、通常の静止画としての画像データと、通常サムネール画像データＴＭ１を、記録デバイス部１０４において記録媒体に記録させる。
ステップＦ１３０でパノラマ撮像が行われた場合は、制御部１０８はステップＦ１３１からＦ１０２、Ｆ１１０、Ｆ１０３、Ｆ１０４の処理に進み、図１３Ｂと同様の処理を行う。

この処理により、通常撮像に対応する場合とパノラマ撮像に対応する場合とでそれぞれ適切にサムネール画像データ生成を行うことができ、特にパノラマ撮像の場合のみにアスペクト比調整サムネール画像データＴＭ２を生成するという処理を実現できる。

［３−５：サムネール表示領域］
続いて上述のように生成したサムネール画像（ＴＭ１，ＴＭ２）の表示について説明していく。
本実施の形態の撮像装置５０では、パノラマ画像データＰＤに対応して記録された複数のサムネール画像（ＴＭ１，ＴＭ２）のうちでいずれかを選択して表示させる。このために上述したように、図５Ｂ又は図５Ｃに示した画像処理装置２Ｂに相当する機能部位が制御部１０８、画像処理部１０２、グラフィックス処理部１０３によって実現される。
即ち、通常サムネール画像データＴＭ１とアスペクト比調整サムネール画像データＴＭ２のいずれをサムネール表示に用いるかを選択するサムネール選択部と、サムネール選択部の選択に応じて、通常サムネール画像データＴＭ１、アスペクト比調整サムネール画像データＴＭ２のいずれかを用いてサムネール表示を実行させるための表示データを生成する表示データ生成部とが、制御部１０８、画像処理部１０２、グラフィックス処理部１０３の動作により実現される。

そして上記サムネール選択部に相当する動作としては、例えば表示領域のアスペクト比、表示領域のサイズ、表示データに含むサムネール画像データの数になど応じて、いずれのサムネール画像（ＴＭ１，ＴＭ２の一方）を表示させるかを選択する。
状況に応じて適切なサムネール画像を選択して表示させることで、表示領域の利用効率や視認性を向上させる。

処理の説明に先立って、ここでは選択的な表示の例について説明しておく。
図１６，図１７は、表示領域のアスペクト比に応じた表示例である。ここでは表示領域とは、撮像装置５０の表示パネル１０５ａの全体を指すものとする。つまり表示パネル１０５ａの全体で、サムネール画像の一覧表示や１枚表示を行う場合として説明する。

表示パネル１０５ａの全体をサムネール画像の表示領域とする場合、通常は表示領域のアスペクト比は固定である。例えば横縦比が１２８０：７２０などである。ところがユーザが視認する横縦比は、撮像装置５０の姿勢（ユーザの持ち方）によって変わる。
図１６Ａは正姿勢、図１６Ｂは逆姿勢、図１６Ｃは左９０°姿勢、図１６Ｄは右９０°姿勢を示している。ユーザは撮像装置５０を任意の姿勢で持つため、このように各姿勢をとることになり、図１６Ｃ、図１６Ｄのように表示領域が縦長となる場合もある。
即ちユーザが視認する表示領域のアスペクト比（横縦比）は、例えば１２８０：７２０になったり７２０：１２８０になったりする。

このような表示領域のアスペクト比の変動に応じたサムネール画像の一覧表示の例を図１７に示す。
図１７Ａは、表示領域が横長のアスペクト比となった状態であり、この場合、アスペクト比調整サムネール画像データＴＭ２を選択して一覧表示を行う。アスペクト比調整サムネール画像データＴＭ２は、例えば４：３や１：１のアスペクト比となっていることで、図のように縦横に並べる状態で一覧表示できる。
図１７Ｂは、表示領域が縦長のアスペクト比となった状態であり、この場合、通常サムネール画像データＴＭ１を選択して一覧表示を行う。通常サムネール画像データＴＭ１が横長の画像である場合、図のように各サムネール画像が縦に並ぶように表示させることで、比較的大きな画像で多数のサムネールを表示できる。
これら図１７Ａ，図１７Ｂはいずれも、表示領域を効率的に利用し、かつユーザにとってサムネール画像内容が見やすいものとなっている。

次に、図１８は表示パネル１０５ａにサムネール画像を１枚表示させた例である。ここではアスペクト比調整サムネール画像データＴＭ２を選択して表示させている。なお通常サムネール画像データＴＭ１を選択して表示させたとすると図４Ａのようになる。
この場合、図１８の方が、例えば１２８０：７２０というアスペクト比の表示領域を効率利用した表示となるとともに、面白みのある画像となる。

以上は、表示パネル１０５ａの全体をサムネール画像の表示領域とした例であるが、表示パネル１０５ａの一部を用いてサムネール画像を表示する場合もある。
図１９Ａ、図１９Ｂは、表示パネル１０５ａ上に、アプリケーション画像（メニュー表示ウインドウなど）が表示され、その一部の斜線を付した領域１０５ｂがサムネール画像の表示領域とされる場合である。
例えばこのように表示パネル１０５ａの一部が用いられる場合は、サムネール画像の表示領域のアスペクト比は、多様に変化する。例えば図１９Ａのように縦長の場合は、例えば通常サムネール画像データＴＭ１が適しており、図１９Ｂのように横長の場合は、例えばアスペクト比調整サムネール画像データＴＭ２が適しているなどが生ずる。

例えば以上のユーザが視認する表示領域のアスペクト比など、表示の際の各種事情に応じて表示するサムネール画像（ＴＭ１，ＴＭ２）を選択することで、表示領域の有効利用やユーザの視認性等に適したサムネール表示を実現できる。

［３−６：サムネール表示処理例］
以下では、サムネール画像表示処理として、撮像装置５０において制御部１０８の制御に基づいて実行される各種画像処理例を図２０、図２１、図２２、図２３で説明していく。以下の各図の例は制御部１０８の制御処理として示している。

図２０Ａの処理例を説明する。これは撮像装置５０における表示パネル１０５ａの表示領域のアスペクト比に応じてサムネール画像を選択して表示させる例である。特には撮像装置５０の表示パネル１０５ａの全面を使用してサムネール画像の一覧表示を行うとともに、図１６の撮像装置５０の各姿勢に応じてサムネール画像選択を行う場合の処理例としている。

制御部１０８は、ステップＦ２０１で撮像装置５０の縦横判別を行う。これはユーザがどのような向きで撮像装置５０を保持しているか、つまり撮像装置５０の姿勢を判定する処理となる。制御部１０８は、例えば図７のセンサー部１１０の加速度センサーの検出情報を確認することで撮像装置５０の姿勢を判断できる。この処理によって、正姿勢（図１６Ａ）、逆姿勢（図１６Ｂ）、左９０°姿勢（図１６Ｃ）、右９０°姿勢（図１６Ｄ）のいずれかであるかが確定する。

ステップＦ２０２で制御部１０８は、ステップＦ２０１の判別結果と、撮像装置５０の表示パネル１０５ａの解像度から、サムネール画像表示を行う表示領域のアスペクト比を取得する。例えば表示パネル１０５ａが横１２８０画素×縦７２０画素の液晶パネルである場合、正姿勢と判断した場合のアスペクト比は１２８０：７２０、右９０°姿勢と判断した場合のアスペクト比は７２０：１２８０となる。

ステップＦ２０３で制御部１０８は、サムネール画像の表示モードを決定する。ここでいう表示モードとは、通常サムネール画像データＴＭ１を用いる表示モードか、アスペクト比調整サムネール画像データＴＭ２を用いる表示モードかのことである。
具体的には、ステップＦ２０１，Ｆ２０２の結果、表示領域のアスペクト比が縦長と判断された場合は“通常サムネール表示モード”、横長と判断された場合は“アスペクト比調整サムネール表示モード”とする。

ステップＦ２０４では、決定された表示モードに従って処理を分岐する。“通常サムネール表示モード”ではステップＦ２０５に進み、記録デバイス部１０４における記録媒体から、通常サムネール画像データＴＭ１を読み出して、表示処理のために記憶部１０７に読み込む。
“アスペクト比調整サムネール表示モード”ではステップＦ２０６に進み、記録デバイス部１０４における記録媒体から、アスペクト比調整サムネール画像データＴＭ２を読み出して、表示処理のために記憶部１０７に読み込む。
そしてステップＦ２０７で制御部１０８は、記憶部１０７に読み込んだサムネール画像データ（ＴＭ１又はＴＭ２）のＪＰＥＧデータをデコードし、表示データバッファに書き込む。

ステップＦ２０８では制御部１０８は、一覧表示として表示すべき画像をすべて表示データバッファに書き込んで、表示データとしての準備が整ったかを判断する。まだ処理していない画像がある場合は、ステップＦ２０４に戻って、順次処理していく。
すべてのサムネール画像を表示データに反映させたら、ステップＦ２０８からＦ２０９に進み、表示データバッファにセットされた各画像を表示データとして表示部１０５に出力して一覧表示を実行させる。

このような処理により、例えば撮像装置５０の姿勢に応じて、図１７Ａ又は図１７Ｂのサムネール一覧表示が実行され、ユーザにとって見やすく、かつ表示パネル１０５ａの表示領域を有効利用した一覧表示とすることができる。

なお、制御部１０８が撮像装置５０の表示パネル１０５ａで表示を行う場合、表示パネル１０５ａのアスペクト比は既知の値であるため、必ずしもステップＦ２０２の処理は行わなくてもよい。例えばステップＦ２０１の縦長姿勢／横長姿勢の判定のみに基づいてステップＦ２０３の表示モード決定を行うようにしてもよい。
一方、図１９のように、表示パネル１０５ａの一部（領域１０５ｂ）を使用して、サムネール一覧表示を行う場合は、その時点の表示領域のアスペクト比をステップＦ２０２で検知することが必要になる。これは制御部１０８が実行している表示アプリケーション上でサムネール表示領域として割り当てられた表示領域の縦横画素数と、撮像装置５０の姿勢に基づいて、実際にユーザが視認する表示領域が縦長か横長かを判定し、表示モード決定を行えばよい。

また、撮像装置５０が通信部１０６等で接続された外部表示装置に表示データを送信する場合は、ステップＦ２０２で、当該外部表示装置の表示領域のアスペクト比を取得し、それに応じて表示モード決定を行うことが適切である。後述の各処理例でも同様である。即ち各処理例において、サムネール表示を別体の表示装置で実行することも可能である。

図２０Ｂの処理例を説明する。
これは図２０Ａと同じく、撮像装置５０における表示パネル１０５ａの表示領域のアスペクト比に応じてサムネール画像を選択して表示させる例であるが、表示パネル１０５ａの全面を使用してサムネール画像の１枚表示を行う場合の処理例である。
各ステップＦ２０１〜Ｆ２０９は図２０Ａと同様の処理である。図２０Ｂは図２０ＡのステップＦ２０８の判断及びそれによるステップＦ２０４〜Ｆ２０７のループ処理が設けられないものである。各ステップの詳細説明は省略する。
つまりこの図２０Ｂの処理は、１つのパノラマ画像データＰＤについてのサムネール画像を、撮像装置５０の姿勢と表示領域のアスペクト比により決定した表示モードに基づいて選択し、その選択したサムネール画像データ（ＴＭ１又はＴＭ２）を記録媒体から読み出して、表示データを生成する処理となる。

この処理によりサムネール画像の１枚表示の場合も、ユーザが視認する表示領域のアスペクト比に応じて表示されるサムネール画像が選択されることになる。
例えばユーザが視認する表示領域が縦長の場合はアスペクト比調整サムネール画像データＴＭ２、横長の場合は通常サムネール画像データＴＭ１を選択して表示させるというような処理が可能となる。

なお、１枚表示の場合、例えばユーザの操作に応じて、図１８のようなアスペクト比調整サムネール画像データＴＭ２による表示と、図４Ａのような通常サムネール画像データＴＭ１による表示を切り替えるようにしてもよい。例えば最初は表示領域のアスペクト比に応じて選択された方を表示させ、その後ユーザが任意に切り換えられるようにすることが考えられる。

図２１Ａ、図２１Ｂの処理をそれぞれ説明する。
図２１Ａ、図２１Ｂは、それぞれ図２０Ａ、図２０Ｂと同様にサムネール画像の一覧表示の場合と１枚表示の場合について処理例であるが、ステップＦ２０５，Ｆ２０６に代えてステップＦ２１０，Ｆ２１１を実行する。他は同様である。

図２１Ａ、図２１Ｂのそれぞれにおいて、ステップＦ２０３で“通常サムネール表示モード”と決定された場合、制御部１０８はステップＦ２１０に進み、通常サムネール画像データＴＭ１の生成制御を行う。即ち制御部１０８、画像処理部１０２、グラフィックス処理部１０３の動作により、対象のパノラマ画像データＰＤから、図９Ａ又は図９Ｂで説明した縮小処理３００を実行して通常サムネール画像データＴＭ１を生成する。
またステップＦ２０３で“アスペクト比調整サムネール表示モード”と決定された場合、制御部１０８はステップＦ２１１に進み、アスペクト比調整サムネール画像データＴＭ２の生成制御を行う。即ち制御部１０８、画像処理部１０２、グラフィックス処理部１０３の動作により、対象のパノラマ画像データＰＤから、図９Ａ又は図９Ｂで説明したアスペクト比調整用変換処理３０１、縮小処理３０２を実行してアスペクト比調整サムネール画像データＴＭ２を生成する。
そしてステップＦ２０７に進む。

即ちこの図２１Ａ又は図２１Ｂの処理は、サムネール画像の表示を行う際に、表示領域のアスペクト比に応じて、通常サムネール画像データＴＭ１とアスペクト比調整サムネール画像データＴＭ２のいずれか一方を選択して生成する例となる。

図２２の処理例を説明する。これは表示領域のサイズに応じて一覧表示させるサムネール画像を選択する例である。
制御部１０８はステップＦ２２０で表示領域のサイズを取得する。そしてステップＦ２０３Ａで表示モードを決定する。この場合、例えば表示領域のサイズが所定以上か否かで“アスペクト比調整サムネール表示モード”か“通常サムネール表示モード”かを決定する。
例えば表示領域のサイズが小さい場合は、なるべく視認性を向上させるために“アスペクト比調整サムネール表示モード”を選択し、表示領域のサイズが所定以上で余裕がある場合は“通常サムネール表示モード”を選択する。
以降のステップＦ２０４〜Ｆ２０９は図２０Ａと同様である。なおステップＦ２０５，Ｆ２０６に代えて図２１Ａに示したステップＦ２１０，Ｆ２１１を実行してもよい。

図２３の処理例を説明する。これは表示させるサムネール画像の数に応じてサムネール画像を選択する例である。
制御部１０８はステップＦ２３０で、まず実行する表示動作が一覧表示か１枚表示かで処理を分岐する。１枚表示の場合は、ステップＦ２０５に進み、通常サムネール画像データＴＭ１を記録媒体から読み出して表示データを生成し、ステップＦ２０７→Ｆ２０８→Ｆ２０９と進んで１枚表示を実行させる。

一覧表示を実行する場合は、制御部１０８はステップＦ２３１で表示するサムネール画像数を確認する。そしてステップＦ２０３Ｂで表示モードを決定する。この場合、例えば表示数が所定数以上か否かで“アスペクト比調整サムネール表示モード”か“通常サムネール表示モード”かを決定する。
例えば表示するサムネール画像数が所定値未満の場合は、通常サムネール画像データＴＭ１でもさほど視認性は阻害されないため、“通常サムネール表示モード”を選択する。一方、表示するサムネール画像数が所定値以上の場合は、なるべく視認性を向上させるために“アスペクト比調整サムネール表示モード”を選択する。
以降のステップＦ２０４〜Ｆ２０９は図２０Ａと同様である。但しステップＦ２０５，Ｆ２０６に代えて図２１Ａに示したステップＦ２１０，Ｆ２１１を実行してもよい。

なお図２３では１枚表示の場合は無条件に通常サムネール画像データＴＭ１が選択されるものとしたが、１枚表示の場合に無条件にアスペクト比調整サムネール画像データＴＭ２を利用するようにしてもよい。また、１枚表示の場合は図２０Ｂ又は図２１Ｂの処理が行われるようにしてもよい。

以上、各種表示処理例を説明した。
各例で明らかなように、パノラマ画像データＰＤについてのサムネール画像データを表示する際には、各種事情に応じて、解像度変換による通常サムネール画像データＴＭ１と、アスペクト比調整サムネール画像データＴＭ２のうちで適切な方でサムネール画像表示を実行できる。例えば一覧表示や１枚表示の際に、ユーザにとって視認性がよい表示や、表示領域を有効利用した表示を実現できる。

また図２０Ａ、図２０Ｂ、図２２、図２３のステップＦ２０５，Ｆ２０６のように、表示モードの決定に応じて選択されたサムネール画像（ＴＭ１又はＴＭ２）を記録媒体から読み出して表示データ生成を行うことで、表示データを簡易な処理で作成でき、表示の際の処理負担の軽減や迅速な表示が可能となる。
一方で、図２１Ａ、図２１ＢのステップＦ２１０，Ｆ２１１のように、表示モードの決定に応じて選択されたサムネール画像（ＴＭ１又はＴＭ２）を、生成する処理を行うようにしてもよい。この場合、図９で説明した処理を例えばパノラマ撮像時にあらかじめ行っておく必要はなくなる。また複数のサムネール画像（ＴＭ１，ＴＭ２）を記録媒体に記録しておく必要はないため記録媒体の容量消費を低減できる。

また、表示領域のアスペクト比に応じて表示させるサムネール画像（ＴＭ１又はＴＭ２）を選択することで表示領域の事情（縦長、横長）に応じて見やすい表示を実現できる。特に撮像装置５０の姿勢についても判断することで、ユーザが実際に視認する状況に応じた視認性向上を実現できる。
表示領域に関しては、表示パネル１０５ａの画面全体の場合を用いることで、比較的広い領域を用いてサムネール画像表示が実行でき、しかも撮像装置５０の姿勢に応じた視認性向上が実現できる。
一方、表示領域として表示パネル１０５ａの一部を用いる場合も考慮し、その一部が縦長であるか横長であるかで選択することによれば、表示上のデザインやアプリケーション上の都合、或いはユーザの表示領域設定などにも対応して視認性のよいサムネール画像表示が可能となる。

また表示領域のサイズに応じて表示させるサムネール画像（ＴＭ１又はＴＭ２）を選択することで、表示領域サイズに応じた見やすいサムネール画像表示が実現できる。
また表示させるサムネール画像の数に応じて表示させるサムネール画像（ＴＭ１又はＴＭ２）を選択することで、サムネール画像数に応じた見やすいサムネール画像表示が実現できる。

以上のことから、本実施の形態では、パノラマ画像データについてのサムネール画像表示の際に、表示の際の事情に応じて適切なサムネール画像表示を行うことができ、ユーザのサムネール認識性を向上させる。さらに、解像度は低いがパノラマ画像全体を見せることのできる通常サムネール画像データＴＭ１の利点と、アスペクト比が表示に適切で面白みのあるアスペクト比調整サムネール画像データＴＭ２の利点とを、状況に応じて使い分けることができる。

なお、先に図１４Ａ、図１４Ｂで、複数のアスペクト比調整サムネール画像データＴＭ２を生成することについて述べた。表示処理の際に表示モードが“アスペクト比調整サムネール表示モード”とされた場合において、対象のパノラマ画像データＰＤについて記録媒体に複数のアスペクト比調整サムネール画像データＴＭ２が記憶されている場合、どれを読み出すかは多様に考えられる。
例えばアスペクト比が異なる複数のアスペクト比調整サムネール画像データＴＭ２が記憶されている場合、現在の表示領域に最も適したものを選択して読み出すことが考えられる。
解像度が異なる複数のアスペクト比調整サムネール画像データＴＭ２が記憶されている場合、当該サムネール画像表示に割り当てられた表示領域にサイズや、表示するサムネール画像数などに応じて適したものを選択して読み出すとよい。
アスペクト比が同一の複数種類のアスペクト比調整サムネール画像データＴＭ２が記憶されている場合、ランダム選択、ユーザによる優先表示する種別の設定などに応じて選択してもよい。
視点位置が異なる複数種類のアスペクト比調整サムネール画像データＴＭ２が記憶されている場合、パノラマ画像データＰＤの中心に近い視点位置のものを選択し、その後ユーザの操作に応じて視点位置の異なるサムネール画像に切り換えられるようにしてもよい。

このような複数のアスペクト比調整サムネール画像データＴＭ２からの表示すべきアスペクト比調整サムネール画像データＴＭ２の選択は、図２１のステップＦ２１１の場合にも応用できる。つまりステップＦ２１１において、図１３ＢのステップＦ１１０，Ｆ１０３の処理を行い、処理選択条件として、表示領域のアスペクト比、サイズ、表示サムネール数に応じて用いる。そして処理選択条件に応じたアスペクト比調整サムネール画像データＴＭ２を生成する。このようにすればあらかじめアスペクト比調整サムネール画像データＴＭ２を生成しておかなくても、表示の機会毎に、そのときの表示状況に適したアスペクト比調整サムネール画像ＴＭ２を表示させることができる。

＜４．第３の実施の形態（コンピュータ装置及びプログラム）＞
第３の実施の形態として、コンピュータ装置への適用例及びプログラムについて説明する。上述した画像処理装置１，２としての処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。

実施の形態のプログラムは、上述の実施の形態で示した処理を、例えばＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）等の演算処理装置に実行させるプログラムである。
即ち画像処理装置１を実現するプログラムは、複数の撮像画像を合成して生成されたパノラマ画像データＰＤを解像度変換することにより第１のサムネール画像データ（通常サムネール画像データＴＭ１）を生成する第１のサムネール生成処理と、パノラマ画像データＰＤに対してアスペクト比調整処理を行って第２のサムネール画像データ（アスペクト比調整サムネール画像データＴＭ２）を生成する第２のサムネール生成処理とを演算処理装置に実行させるプログラムである。
具体的には、このプログラムは、図６Ａ、図１３Ａ、図１３Ｂ、図１４Ａ、図１４Ｂ、又は図１５に示した処理を演算処理装置に実行させるプログラムとすればよい。

また画像処理装置２を実現するプログラムは、複数の撮像画像を合成して生成されたパノラマ画像データＰＤの解像度変換により生成される第１のサムネール画像データ（通常サムネール画像データＴＭ１）と、パノラマ画像データＰＤに対するアスペクト比調整処理により生成される第２のサムネール画像データ（アスペクト比調整サムネール画像データＴＭ２）のうちで、いずれをサムネール表示に用いるかを選択するサムネール選択処理と、このサムネール選択手順での選択に応じて、第１のサムネール画像データ又は前記第２のサムネール画像データのいずれかを用いてサムネール表示を実行させるための表示データを生成する表示データ生成処理とを演算処理装置に実行させるプログラムである。
具体的には、このプログラムは、図６Ｂ、図６Ｃ、図２０Ａ、図２０Ｂ、図２１Ａ、図２１Ｂ、図２２、又は図２３に示した処理を演算処理装置に実行させるプログラムとすればよい。

これらのプログラムにより、上述した画像処理装置１，２を、演算処理装置を用いて実現できる。
このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
またプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

またこれらのプログラムによれば、実施の形態の画像処理装置１，２の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該携帯型情報処理装置等を、画像処理装置１，２とすることができる。
例えば、図２４に示されるようなコンピュータ装置において、実施の形態の画像処理装置１，２と同様の処理が実行されるようにすることもできる。

図２４において、コンピュータ装置７０のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７８からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インターフェース７５も接続されている。

入出力インターフェース７５には、キーボード、マウスなどよりなる入力部７６、ＣＲＴ（Cathode Ray Tube）やＬＣＤ、或いは有機ＥＬパネルなどよりなるディスプレイ、並びにスピーカなどよりなる出力部７７、ハードディスクなどより構成される記憶部７８、モデムなどより構成される通信部７９が接続されている。通信部７９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インターフェース７５にはまた、必要に応じてドライブ８０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７８にインストールされる。

上述した画像処理装置１，２の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば図２４に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布されるリムーバブルメディア８１により構成される。リムーバブルメディア８１は、例えばプログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（ブルーレイディスク、ＣＤ−ＲＯＭ、ＤＶＤを含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなる。
或いは記録媒体は、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７２や、記憶部７８に含まれるハードディスクなどでも構成される。

このようなコンピュータ装置７０は、通信部７９による受信動作や、或いはドライブ８０（リムーバブルメディア８１）もしくは記録部７８での再生動作等により、パノラマ画像データＰＤを入力した際に、ＣＰＵ７１がプログラムに基づいて、画像処理装置１の通常サムネール生成部１ａ、アスペクト比調整サムネール生成部１ｂの機能を実現し、サムネール画像データＴＭ１、ＴＭ２の生成処理を実行する。
またパノラマ画像についてのサムネール表示のために、ＣＰＵ７１がプログラムに基づいて、画像処理装置２のサムネール選択部２ａ、表示データ生成部２ｂの機能を実現し、状況に応じたサムネール画像データＴＭ１、ＴＭ２の選択的な表示処理を実行する。

＜５．変形例＞
以上、実施の形態について説明してきたが、本開示の画像処理装置は多様な変形例が考えられる。
撮像装置５０としては、画像処理装置１，２の両方の機能を搭載するものとしたが、例えば画像処理装置１の機能のみを搭載し、他の再生装置、表示装置等で画像処理装置２の機能を搭載するような構成も考えられる。コンピュータ装置７０でも同様である。

画像処理装置１、撮像装置５０、コンピュータ装置７０において、アスペクト比調整サムネール画像データＴＭ２としては、処理例Ｉ〜IV以外の手法で生成してもよい。
また通常サムネール画像データＴＭ１として、複数の解像度により複数個生成してもよい。

なお本技術は以下のような構成も採ることができる。
（１）複数の撮像画像を合成して生成されたパノラマ画像データを解像度変換することにより第１のサムネール画像データを生成する第１のサムネール生成部と、
前記パノラマ画像データに対してアスペクト比調整処理を行って第２のサムネール画像データを生成する第２のサムネール生成部と、を備えた
画像処理装置。
（２）前記第２のサムネール生成部は、複数のアスペクト比調整処理のうちで、処理選択条件に基づいてアスペクト比調整処理の種別を決定し、決定したアスペクト比調整処理による前記第２のサムネール画像データを生成する
上記（１）に記載の画像処理装置。
（３）前記第２のサムネール生成部は、それぞれ異なるアスペクト比調整処理により、複数の前記第２のサムネール画像データを生成する
上記（１）又は（２）に記載の画像処理装置。
（４）前記第２のサムネール生成部は、同一種類のアスペクト比調整処理により、パノラマ画像データに対しての視点位置が異なる複数の前記第２のサムネール画像データを生成する
上記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）前記第２のサムネール生成部は、パノラマ画像データ内の被写体判定を行って視点位置を設定し、該視点位置に応じたアスペクト比調整処理により前記第２のサムネール画像データを生成する
上記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）サムネール生成対象の画像データが通常撮像による画像データである場合は、前記第１のサムネール生成部が第１のサムネール画像データの生成を行い、
サムネール生成対象の画像データが前記パノラマ画像データである場合は、前記第１のサムネール生成部が第１のサムネール画像データの生成を行い、かつ前記第２のサムネール生成部が前記第２のサムネール画像データの生成を行う
上記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）前記第２のサムネール生成部が実行する前記アスペクト比調整処理は、
パノラマ画像データの投影面の三次元モデルに対してパノラマ画像をテクスチャマッピングした画像をレンダリングする処理、パノラマ画像に対し極座標変換を施す処理、パノラマ画像内の画素重要度判定結果を用いた縮小を行う処理、のいずれかである
上記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）前記パノラマ画像データに対応するサムネール画像データとして、前記第１のサムネール画像データ、前記第２のサムネール画像データの両方を記録媒体に記録する処理を行う
上記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）複数の撮像画像を合成して生成されたパノラマ画像データを解像度変換することにより第１のサムネール画像データを生成する第１のサムネール生成手順と、
前記パノラマ画像データに対してアスペクト比調整処理を行って第２のサムネール画像データを生成する第２のサムネール生成手順と、を備えた
画像処理方法。
（１０）複数の撮像画像を合成して生成されたパノラマ画像データを解像度変換することにより第１のサムネール画像データを生成する第１のサムネール生成処理と、
前記パノラマ画像データに対してアスペクト比調整処理を行って第２のサムネール画像データを生成する第２のサムネール生成処理と、
を演算処理装置に実行させるプログラム。

１，２…画像処理装置、１ａ…通常サムネール生成部、１ｂ…アスペクト比調整サムネール生成部、２ａ…サムネール選択部、２ｂ…表示データ生成部、１０…パノラマ合成部、１１…記憶部、１２…表示部、５０…撮像装置、７０…コンピュータ装置、１０２…画像処理部、１０３…グラフィックス処理部、１０４…記録デバイス部、１０５…表示部、１０７…記憶部、１０８…制御部

Claims (11)

1. パノラマ画像データを解像度変換することにより第１のサムネール画像データを生成する第１のサムネール生成部と、
   複数のアスペクト比調整処理のうちで、処理選択条件に基づいてアスペクト比調整処理の種別を決定し、前記パノラマ画像データに対して決定したアスペクト比調整処理を行って第２のサムネール画像データを生成する第２のサムネール生成部と、を備えた
   画像処理装置。
2. 前記パノラマ画像データは、複数の撮像画像を合成して生成される、請求項１に記載の画像処理装置。
3. 前記第２のサムネール生成部は、それぞれ異なるアスペクト比調整処理により、複数の前記第２のサムネール画像データを生成する
   請求項１または２に記載の画像処理装置。
4. 前記第２のサムネール生成部は、同一種類のアスペクト比調整処理により、パノラマ画像データに対しての視点位置が異なる複数の前記第２のサムネール画像データを生成する
   請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記第２のサムネール生成部は、パノラマ画像データ内の被写体判定を行って視点位置を設定し、該視点位置に応じたアスペクト比調整処理により前記第２のサムネール画像データを生成する
   請求項１〜４のいずれか一項に記載の画像処理装置。
6. サムネール生成対象の画像データが通常撮像による画像データである場合は、前記第１のサムネール生成部が第１のサムネール画像データの生成を行い、
   サムネール生成対象の画像データが前記パノラマ画像データである場合は、前記第１のサムネール生成部が第１のサムネール画像データの生成を行い、かつ前記第２のサムネール生成部が前記第２のサムネール画像データの生成を行う
   請求項１〜５のいずれか一項に記載の画像処理装置。
7. 前記第２のサムネール生成部が実行する前記アスペクト比調整処理は、
   パノラマ画像データの投影面の三次元モデルに対してパノラマ画像をテクスチャマッピングした画像をレンダリングする処理、パノラマ画像に対し極座標変換を施す処理、パノラマ画像内の画素重要度判定結果を用いた縮小を行う処理、のいずれかである
   請求項１〜６のいずれか一項に記載の画像処理装置。
8. 前記パノラマ画像データに対応するサムネール画像データとして、前記第１のサムネール画像データ、前記第２のサムネール画像データの両方を記録媒体に記録する処理を行う
   請求項１〜７のいずれか一項に記載の画像処理装置。
9. パノラマ画像データを解像度変換することにより第１のサムネール画像データを生成する第１のサムネール生成処理と、
   複数のアスペクト比調整処理のうちで、処理選択条件に基づいてアスペクト比調整処理の種別を決定し、前記パノラマ画像データに対して決定したアスペクト比調整処理を行って第２のサムネール画像データを生成する第２のサムネール生成処理と、
   を演算処理装置に実行させるプログラム。
10. パノラマ画像データを解像度変換することにより第１のサムネール画像データを生成する第１のサムネール生成部と、
    前記パノラマ画像データに対してアスペクト比調整処理を行って、パノラマ画像全体の情報を保持した上でアスペクト比を変更した第２のサムネール画像データを生成する第２のサムネール生成部と、
    を備えた、画像処理装置。
11. パノラマ画像データを解像度変換することにより第１のサムネール画像データを生成する第１のサムネール生成部と、
    前記パノラマ画像データに対してアスペクト比調整処理を行って互いに視点位置が異なる複数種類の第２のサムネール画像データを生成する第２のサムネール生成部と、
    複数種類の前記第２のサムネール画像データそれぞれの視点位置に応じて、表示部に表示させる当該第２のサムネール画像データを選択するサムネール選択部と、
    を備えた、画像処理装置。

Images