JPWO2020070801A1 - 情報処理装置 - Google Patents

Abstract

広角パノラマ画像のサムネイル表示に際して、歪みや傾きずれなどを軽減したサムネイル画像をスクロール表示させることにより、視認性を向上させる。情報処理装置１００は、画像補正情報生成部、制御部１０１、および表示部１０８を有する。画像補正情報生成部は、画像歪み割り出し処理部１０５および水平鉛直方向割り出し処理部１０６からなり、広角パノラマ画像の任意の画像領域からなる部分画像を補正する補正情報を生成する。制御部１０１は、画像補正情報生成部が生成した補正情報に基づいて、部分画像を補正する。表示部１０８は、画像を表示する。そして、制御部１０１は、補正した部分画像をサムネイル画像として表示部１０８に表示させる。

Description

本発明は、情報処理装置に関し、特に、広角パノラマ画像のサムネイル表示に有効な技術に関する。

デジタルカメラやスマートフォンなどのカメラ付き携帯情報端末などによって撮影された複数の画像を視認検索する際には、例えば情報処理装置などを用いて複数の画像のサムネイルを作成して一覧表示することが広く行われている。

情報処理装置によるサムネイルの一覧表示は、例えば、縦３列×横３列の計９枚のサムネイルを表示画面に並べるものがある。この場合、１枚の表示領域としては、カメラ画角に相当した縦横比３：４あるいは縦横比９：１６の矩形のサムネイルを想定したものが一般的である。

しかしながら、縦横比の大きく異なる広角パノラマ画像においても、サムネイルを表示する際には、縦横比３：４や縦横比９：１６の領域に表示しなければならず、その場合、縮小率を上げたサムネイル表示となってしまい、画像を視認しにくいという問題があった。

この種のサムネイル画像における視認性を向上させる技術としては、画像がパノラマ画像の場合に３Ｄ画像のサムネイルを生成し、画像用３Ｄサムネイルを回転させながら表示するものがある（例えば特許文献１参照）。

その他の技術としては、選択された表示すべき画像データがパノラマ表示である場合に該パノラマ画像をスクロールして表示領域に表示するもの（例えば特許文献２参照）や、サムネイルに歪みを補正した切り出し画像を一緒に表示するものなどがある（例えば特許文献３参照）。

特開２０１２−９９９０６号公報 特開２０００−１５２１６８号公報 特開２０１７−１１８４７２号公報

上述した特許文献１および特許文献２の技術では、パノラマ画像を回転したりスクロールさせながらサムネイル表示することについての記載はあるが、広角に撮影された広角パノラマ画像の周辺部などに生ずる画像歪みなどについての考慮がされていない。

よって、歪みのある広角に撮影されたパノラマ画像をそのまま回転あるいはスクロールさせて表示することになり、写っているものが見づらくなり、画像の判別が困難になってしまうという問題がある。

また、特許文献３の技術では、特定の被写体に対して歪み補正されたサムネイルを表示するだけであり、広角画像全体を隅々まで明確に視認することが困難であるという問題がある。

本発明の目的は、広角パノラマ画像のサムネイル表示に際して、歪みや傾きずれなどを軽減したサムネイル画像をスクロール表示させることにより、視認性を向上させることのできる技術を提供することにある。

本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

すなわち、代表的な情報処理装置は、画像補正情報生成部、制御部、および表示部を有する。画像補正情報生成部は、広角パノラマ画像の任意の画像領域からなる部分画像を補正する補正情報を生成する。制御部は、画像補正情報生成部が生成した補正情報に基づいて、部分画像を補正する。表示部は、画像を表示する。

そして、制御部は、補正した部分画像をサムネイル画像として表示部にスクロール表示させる。

特に、画像補正情報生成部は、水平鉛直方向割り出し処理部および画像歪み割り出し処理部を備える。水平鉛直方向割り出し処理部は、広角パノラマ画像の水平および鉛直方向の傾きを示す第１のセンサ情報に基づいて、広角パノラマ画像の任意の画像領域からなる部分画像の水平方向および鉛直方向のずれを補正する水平鉛直方向情報を生成して、生成した水平鉛直方向情報を補正情報として制御部に出力する。

画像歪み割り出し処理部は、撮影用レンズに起因する撮影歪みの状態を示す第２のセンサ情報に基づいて、部分画像の画像歪みを補正する画像歪み情報を生成して、生成した画像歪み情報を補正情報として制御部に出力する。

制御部は、水平鉛直方向割り出し処理部が生成した水平鉛直方向情報および画像歪み割り出し処理部が生成した画像歪み情報に応じて、部分画像における水平方向および鉛直方向のずれと画像歪みとを補正する。

画像補正情報生成部、水平鉛直方向割り出し処理部、画像歪み割り出し処理部は、プログラムとしてメモリ部に格納され、制御部により処理を実行する。画像補正情報生成、水平鉛直方向割り出し処理、画像歪み割り出し処理を行う専用のハードウェアを実装した場合は、専用ハードウェアによって各処理を実行してもよい。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

サムネイル表示において、広角パノラマ画像の視認性を向上させることができる。

実施の形態による情報処理装置における構成の一例を示す説明図である。 図１の情報処理装置による広角パノラマ画像におけるスクロール表示処理の一例を示す説明図である。 図２に示した広角パノラマ画像のサムネイル表示としてスクロール表示される広角パノラマ画像の各部分画像の表示例を示す説明図である。 図１の情報処理装置による広角パノラマ画像におけるスクロール表示処理の他の例を示す説明図である。 図４に示した広角パノラマ画像のサムネイルとして、被写体の特徴点を中心にスクロール表示される広角パノラマ画像の部分画像の表示例を示す説明図である。 図１の情報処理装置による広角パノラマ画像のサムネイルをスクロール表示する際の動作処理の一例を示すフローチャートである。 図６に続くフローチャートである。 図７に続くフローチャートである。 図１の情報処理装置によるサムネイル表示される部分画像における表示の一例を示す説明図である。 実施の形態２による情報処理装置における構成の一例を示す説明図である。 図１０の情報処理装置が有するカメラ部によって撮影された広角パノラマ画像をスクロール表示する際の表示の一例を示す説明図である。 図１１に示した広角パノラマ画像の部分画像におけるスクロール表示の一例を示す説明図である。 図１０の情報処理装置が有するカメラ部によって撮影された広角パノラマ画像をスクロール表示する際の他の表示例を示す説明図である。 図１３に示した広角パノラマ画像の部分画像におけるスクロール表示の一例を示す説明図である。

実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

（実施の形態１）
以下、実施の形態を詳細に説明する。

〈情報処理装置の構成例〉
図１は、本実施の形態による情報処理装置１００における構成の一例を示す説明図である。

情報処理装置１００は、図１に示すように、制御部（コントローラ）１０１、メモリ部１０４、画像歪み割り出し処理部（画像歪み割り出し処理プログラム）１０５、水平鉛直方向割り出し処理部（水平鉛直方向割り出し処理プログラム）１０６、特徴点割り出し処理部１０７、表示部（ディスプレイ）１０８、入力操作部（入力操作インターフェース）１０９、音声入出力処理部（音声入出力インターフェース）１１０、外部インターフェース部（外部インターフェース）１１１、および外部入出力端子（入出力インターフェース）１１２などから構成されている。

これら制御部１０１、メモリ部（メモリ）１０４、画像歪み割り出し処理部１０５、水平鉛直方向割り出し処理部１０６、特徴点割り出し処理部１０７、表示部１０８、入力操作部１０９、音声入出力処理部１１０、および外部インターフェース部１１１は、バス１１３を介して相互に接続されている。

メモリ部１０４は、画像データおよび画像情報記憶領域１０２および動作制御用プログラムなどが格納されるプログラム記憶領域１０３などの記憶領域を有する。画像データおよび画像情報記憶領域１０２には、元画像データ、後述する第１のセンサ情報、および後述する第２のセンサ情報などの情報を格納する領域である。プログラム記憶領域１０３は、情報処理装置１００の動作を制御するプログラムなどの動作制御用プログラムを格納する領域である。

外部入出力端子１１２には、例えばデジタルカメラやカメラ付き携帯情報端末などの外部装置が接続される。デジタルカメラやカメラ付き携帯情報端末などにて撮影された画像は、外部入出力端子１１２を経由して外部インターフェース部１１１に入力される。入力された画像は、メモリ部１０４における画像データおよび画像情報記憶領域１０２に元画像として格納される。

ここで、デジタルカメラやカメラ付き携帯情報端末などにて撮影された画像は、例えばカメラ画角に相当した縦横比３：４や縦横比９：１６などの標準画像あるいは広角にて撮影された広角パノラマ画像などである。

画像補正情報生成部（画像補正情報生成プログラム）である水平鉛直方向割り出し処理部１０６は、元画像としてメモリ部１０４に保存された広角パノラマ画像に対して、該メモリ部１０４から読み出された元画像の任意の領域の画像である各部分画像にて水平方向あるいは鉛直方向の少なくともいずれかの方向を割り出して水平鉛直方向情報を生成する。

あるいは水平鉛直方向割り出し処理部１０６は、元画像に写されている被写体等から水平方向または鉛直方向の少なくともいずれかの方向をパターン認識することによって水平方向または鉛直方向を割り出してもよい。

また、情報処理装置１００に入力される元画像のデータに水平方向あるいは鉛直方向という撮影状態を示す第１のセンサ情報が含まれている場合には、該第１のセンサ情報を用いて水平方向あるいは鉛直方向を割り出すようにしてもよい。この場合、第１のセンサ情報は、メモリ部１０４の画像データおよび画像情報記憶領域１０２に格納される。

画像補正情報生成部である画像歪み割り出し処理部１０５は、メモリ部１０４から読み出した広角パノラマ画像の元画像の各部分画像で画像歪みを割り出して画像歪み情報を生成する。この場合、制御部１０１は、元画像内に写されている被写体などをパターン認識することにより画像歪みを割り出してもよい。

また、デジタルカメラやカメラ付き携帯情報端末などの撮影機器にて撮影された元画像に対して、カメラレンズなどよって生じる撮影歪み状態を示す第２のセンサ情報が元画像のデータに含まれている場合、画像歪み割り出し処理部１０５は、第２のセンサ情報を用いて画像歪みを割り出してもよい。

この場合、第２のセンサ情報は、メモリ部１０４の画像データおよび画像情報記憶領域１０２に格納される。この第２のセンサ情報は、カメラレンズを含めた光学系の静的な歪み情報、いわゆるレンズプロファイルなどを含む情報であってもよい。

制御部１０１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などからなる。制御部１０１は、メモリ部１０４に格納されているＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や動作制御用プログラムなどのプログラムを実行することによって、各機能ブロックを制御して、情報処理装置１００全体の動作制御処理を行う。

この制御部１０１は、水平鉛直方向割り出し処理部１０６にて生成された水平鉛直方向情報に応じて元画像の水平方向あるいは鉛直方向のずれを補正するとともに、画像歪み割り出し処理部１０５にて生成された画像歪み情報に応じて元画像の画像歪みを補正する。

そして、制御部１０１は、水平方向や鉛直方向の傾きずれおよび画像歪みを補正した画像を表示部１０８にてスクロール表示するように制御する。この場合、画像は、標準画像の画角にて該画像の水平方向に表示が移動するようにスクロール表示がなされる。

メモリ部１０４は、フラッシュメモリに例示される不揮発性メモリなどからなり、上述したように制御部１０１が使用する各種プログラムや元画像などの画像データ、および画像データに付随する情報である第１のセンサ情報や第２のセンサ情報などの画像情報が格納される。

表示部１０８は、液晶パネルなどによって構成されており、画像に加えて、ユーザへのアラート、表示状態、あるいは表示内容などを示す通知情報を表示する。また、表示部１０８は、図１に示すように、サムネイル１２１〜１２９などを表示する。

図１において、サムネイル１２１は、広角パノラマ画像のサムネイルであり、サムネイル１２２〜１２９は、標準画像のサムネイルである。広角パノラマ画像は、一般的に標準画像よりも広角で横長または縦長の画像であり、標準画像の縦横比で表示するためには縮小、トリミングなどの処理が必要となる画像である。

入力操作部１０９は、各種の情報を入力する入力部であり、例えばキーボードやマウスなどからなり、ユーザが入力したい情報を設定入力することができる。また、入力操作部１０９は、表示部１０８に備えられる構成としてもよい。

その場合、表示部１０８は、例えば静電容量式などのタッチパッド機能を有する。タッチパッドは、表示部１０８に表示され、指やタッチペンなどによる接近または接触操作を検出して情報が入力される。

音声入出力処理部１１０は、入出力される音声を処理する。この音声入出力処理部１１０は、外部の音声を入力するマイクや外部に対して音声を出力するスピーカなどを含んでおり、各種メッセージなどを音声にて通知する。

特徴点割り出し処理部１０７は、入力操作部１０９にて設定入力された被写体の特徴点、例えば特徴点として顔など、の部分画像を割り出して抽出し、該特徴点が写っている画像部分を示す特徴点保有部分画像情報を生成する。

そして、制御部１０１は、特徴点割り出し処理部１０７が生成した特徴点保有部分画像情報に応じて特徴点を有する部分画像を強調しながら表示部１０８にサムネイルをスクロール表示するように制御する。

以上の構成により、広角パノラマ画像におけるサムネイル表示に際して、元画像の各部分画像で水平方向、鉛直方向の傾きずれ、および画像歪みが補正された画像を用いて標準画像の画角にて広角パノラマ画像を水平方向に移動させながらスクロール表示することができる。

それによって、サムネイル表示の際に、元画像である広角パノラマ画像に写っている被写体を隅々まで傾きや歪みが補正された状態の画像でスクロール表示させることができる。その結果、ユーザがサムネイル表示を容易かつ的確に識別することが可能となり、視認性を大幅に向上させることができる。

また、元画像である広角パノラマ画像に写っている顔などの特徴点を中心に傾きや歪みが補正された画像を強調してスクロール表示することができるので、ユーザが見たい箇所をゆがみや歪みが補正された画像にて容易に視認することができる。

〈サムネイル画像の処理例〉
続いて、情報処理装置１００の動作について説明する。

図２は、図１の情報処理装置１００による広角パノラマ画像２００におけるスクロール表示処理の一例を示す説明図である。

図２に示す元画像である広角パノラマ画像２００は、カメラの撮影時の傾きや撮影用カメラレンズの歪曲状態などにより、水平方向や鉛直方向の傾きずれおよび部分的な画像歪みを有している例を示している。

広角パノラマ画像２００のサムネイル表示の際には、図２の上方から下方にかけて３つのスクロール軌跡２０１〜２０３に沿ってスクロール表示が行われる。また、図２に示す位置ｐ２１〜ｐ２５は、各々のスクロール軌跡２０１〜２０３において、広角パノラマ画像２００をスクロール表示する部分画像の位置をそれぞれ示している。

広角パノラマ画像２００をサムネイル表示する場合、まず、制御部１０１は、スクロール軌跡２０１にて示すように、広角パノラマ画像２００の左側の最上段から水平鉛直方向情報に基づいて、広角パノラマ画像２００の水平方向に沿って、右方向にスクロールしながら、画像歪み情報に応じて画像の傾きずれや画像歪みを補正した部分画像を表示する。ここで、表示する部分画像は、標準画角とする。

上述したように水平鉛直方向情報は、水平鉛直方向割り出し処理部１０６にて生成される情報であり、画像歪み情報は、画像歪み割り出し処理部１０５にて生成される情報である。

スクロール軌跡２０１において、広角パノラマ画像２００の右端までスクロール表示した後、制御部１０１は、スクロール軌跡２０２における左側から、スクロール軌跡２０１と同様に、広角パノラマ画像２００の右水平方向にスクロールしながら補正後の部分画像を表示する。

スクロール軌跡２０２におけるスクロール表示が終了すると、スクロール軌跡２０３において、広角パノラマ画像２００の左側から、スクロール軌跡２０１，２０２と同様に、広角パノラマ画像の右水平方向にスクロールしながら補正した部分画像を表示する。

以上により、広角パノラマ画像の全画面を画像内の傾きずれや歪みなどを補正した標準画角の部分画像によってスクロール表示する。

〈サムネイルの表示例〉
図３は、図２に示した広角パノラマ画像２００のサムネイル表示としてスクロール表示される広角パノラマ画像の各部分画像の表示例を示す説明図である。

この図３は、図２に示した広角パノラマ画像２００の各位置ｐ２１〜ｐ２５において順次スクロール表示される部分画像を模式的に示したものである。

図３に示す画像Ｓ１〜Ｓ５は、図２に示すスクロール軌跡２０１にてスクロールしながら表示される補正後の部分画像である。これら画像Ｓ１〜Ｓ５は、図２に示すスクロール軌跡２０１における各々の位置ｐ２１，ｐ２２，ｐ２３，ｐ２４，ｐ２５における各部分画像である。

図３に示す画像Ｓ６〜Ｓ１０は、図２に示すスクロール軌跡２０２にてスクロールしながら表示される補正後の部分画像である。これら画像Ｓ６〜Ｓ１０は、図２に示すスクロール軌跡２０２における各々の位置ｐ２１，ｐ２２，ｐ２３，ｐ２４，ｐ２５における各部分画像である。

図３に示す画像Ｓ１１〜Ｓ１５は、図２に示すスクロール軌跡２０３にてスクロールしながら表示される補正後の部分画像である。これら画像Ｓ１１〜Ｓ１５は、図２に示すスクロール軌跡２０３における各々の位置ｐ２１，ｐ２２，ｐ２３，ｐ２４，ｐ２５における各部分画像である。

このように、水平方向や鉛直方向の傾きずれおよび部分的な画像歪みなどが補正された標準画角の部分画像である画像Ｓ１〜Ｓ１５を連続して表示することによって、該広角パノラマ画像２００をあたかも水平方向にスクロールする動画のように表示することが可能となる。

これにより、元画像である広角パノラマ画像２００全体を隅々まで的確に視認することができる。

上述の例では、元画像である広角パノラマ画像２００全体を上下方向に３分割したスクロール軌跡２０１〜２０３毎にそれぞれ右側から水平方向にスクロール表示した場合について説明したが、スクロール軌跡の分割数は、元画像のサイズなどに応じて、１つでもよいし、あるいは３つ以外の複数回に分けるようにしてもよい。また。スクロール方向は、図２とは逆方向、すなわち広角パノラマ画像２００の左側から右側にかけての方向であってもよい。

さらに、制御部１０１による広角パノラマ画像２００のスクロール表示は、該広角パノラマ画像２００の水平方向にスクロールしながら、徐々に広角パノラマ画像２００の垂直方向にずれるよう表示してもよい。

これにより、広角パノラマ画像２００における画像の全体を大まかに素早く視認することができる。

なお、図３の例では、部分画像にビルや背景などの非被写体的な物体が含まれている例について示したが、このような非被写体的な物体を部分画像として表示させないようにしてもよい。

例えば広角パノラマ画像２００の上側が空と雲のみの場合は、空と雲以外の被写体が写っている箇所からスクロール表示を開始するようにしてもよい。あるいは、同様に広角パノラマ画像２００の下側が地面のみ写っている場合は、地面手前でスクロール表示を終了、または上側にリピートしてスクロール表示するようにしてもよい。すなわち、非被写体的なものを除いた形でスクロール表示を行うようにしてもよい。

〈サムネイルの他の表示例〉
続いて、情報処理装置１００による広角パノラマ画像２００における他の表示動作について説明する。

図４は、図１の情報処理装置１００による広角パノラマ画像２００におけるスクロール表示処理の他の例を示す説明図である。

この図４は、情報処理装置１００に入力された元画像である広角パノラマ画像２００を被写体の特徴点を中心にスクロール表示する例を示したものである。

広角パノラマ画像２００内に写っている被写体の特徴点としては、例えば人の顔、ピントの合っている所、色の急激な変化のある所、などが挙げられる。ここでは、特徴点を例えば「人の顔」とした場合について説明する。

まず、入力操作部１０９において「人の顔」を特徴点として設定する入力を行う。特徴点割り出し処理部１０７は、入力操作部１０９にて設定入力された被写体の特徴点である「人の顔」を有する部分画像を割り出し、該特徴点が写っている部分画像を示す特徴点保有部分画像情報を生成する。

そして、図４に示した広角パノラマ画像２００のサムネイル表示に際して、制御部１０１は、スクロール軌跡４０１に示すように、特徴点割り出し処理部１０７にて生成された特徴点保有部分画像情報に応じて、傾きずれや歪みを補正した後の特徴点である「人の顔」を有する部分画像を繋ぐように広角パノラマ画像２００の左端から右方向にスクロール表示する。

これによって、広角パノラマ画像２００の全画面の中から「人の顔」という特徴点を的確に捕まえて、傾きずれや画像歪みなどを補正した標準画角の部分画像を中心としてスクロール表示することができる。これによって、ユーザは、サムネイル表示の際に特徴点をより明確に視認することができる。

図５は、図４に示した広角パノラマ画像２００のサムネイルとして、被写体の特徴点を中心にスクロール表示される広角パノラマ画像の部分画像の表示例を示す説明図である。

この図５は、図４に示した広角パノラマ画像２００の各々の位置ｐ４１〜ｐ４５にて順次スクロール表示される部分画像を模式的に示したものである。

図４のスクロール軌跡４０１における位置ｐ４１，ｐ４２，ｐ４３，ｐ４４，ｐ４５では、図５に示すように、画像Ｓ１６，Ｓ１７，Ｓ１８，Ｓ１９，Ｓ２０の部分画像がスクロール表示される。また、位置ｐ４１，ｐ４３，ｐ４５では、特徴点である「人の顔」を有する部分画像が画像Ｓ１６，Ｓ１８，Ｓ２０としてスクロール表示される。

また、画像Ｓ１６〜Ｓ２０は、図３と同様に、制御部１０１が水平鉛直方向割り出し処理部１０６にて生成された水平鉛直方向情報に応じて元画像の水平方向あるいは鉛直方向のずれを補正するとともに、画像歪み割り出し処理部１０５にて生成された画像歪み情報に応じて元画像の画像歪みを補正したものである。

これにより、水平方向や鉛直方向の傾きずれおよび部分的な画像歪みが補正された標準画角の部分画像によって、元画像である広角パノラマ画像２００における特徴点を中心にスクロール表示することができる。その結果、広角パノラマ画像２００の抽出した特徴点を容易かつ的確に視認することができる。

また、特徴点が写っている部分画像がスクロール表示されると、制御部１０１は、表示部１０８にて「特徴点表示」を示すメッセージを表示したり、音声入出力処理部１１０にて「特徴点表示」を示す音声などの情報を発してもよい。これらの通知により、使い勝手を向上させることができる。

人を主とした特徴点としては、複数の人が写り込んでいる場合、群衆の中心に近い人を例えば主人公と判断して選択してもよい。また、撮影者自身が写っている場合には、撮影者自身を特定の人物として指定してもよいし、撮影者の視線が向いている先にあるものを特徴点としてもよい。

特徴点をより明確に視認するためには、特徴点の表示時間を長くしてもよいし、特徴点の部分で表示を一時停止してもよいし、特徴点を有する画像を大きく表示するようにしてもよい。

特徴点が顔の場合には、顔を拡大リサイズして表示してもよいし、胸から上を写すバストアップなどを表示してもよい。例えば、図４および図５にて説明した例の場合には、特徴点である「人の顔」が表示されている図５の画像Ｓ１６，Ｓ１８，Ｓ２０の表示時間を長くしたり、一時停止したり、さらには一旦「人の顔」を中心にクローズアップするように大きく表示したりしてもよい。これらにより、視認性を一層向上させることができる。

また、特徴点が複数ある場合には、特徴点の中で特に重要なものを主被写体として識別して、他の特徴点に対して表示時間を長くするなどのように区別してもよい。

ここでは、元画像が広角パノラマ画像２００の場合について説明したが、元画像が広角パノラマ画像ではなく、標準画角の画像である標準画像の場合であっても、広角パノラマ画像の場合と同様に、標準画角の部分画像を用いて水平方向に移動させながらスクロール表示することができる。この場合においても、部分画像は、水平方向や鉛直方向の傾きやずれ、および部分的な画像歪みなどが補正された標準画角の画像である。

それに加えて、広角パノラマ画像２００と同様に、標準画像を例えば２つのスクロール軌跡に分割した部分画像をスクロール表示するようにしてもよい。これによって、より的確にサムネイル画像を識別することが可能となり、視認性を大幅に向上させることができる。

〈情報処理装置の動作例〉
続いて、情報処理装置１００の動作について詳しく説明する。

図６は、図１の情報処理装置１００による広角パノラマ画像のサムネイルをスクロール表示する際の動作処理の一例を示すフローチャートである。図７は、図６に続くフローチャートである。図８は、図７に続くフローチャートである。

まず、図６において、ユーザの操作によって画像閲覧プログラムが起動すると（ステップＳ１０１）、制御部１０１は、メモリ部１０４に格納されている設定データから起動時画面選択設定値を読み出し、サムネイル一覧画面を表示する設定であるか否かを判断する（ステップＳ１０２）。

サムネイル一覧画面を表示する設定であると判断した際には、図７に示すステップＳ１０５〜Ｓ１１０の処理に移行してサムネイル一覧画面を表示する。サムネイル一覧画面を表示する設定でない場合、制御部１０１は、画像閲覧プログラムの起動時画面などにサムネイル一覧画面への切り替えボタンなどを表示する（ステップＳ１０３）。

入力操作部１０９からユーザがサムネイル一覧画面への切り替えボタンを押した場合には（ステップＳ１０４）、制御部１０１は、図７に示すステップＳ１０５〜Ｓ１１０の処理に移行してサムネイル一覧画面の表示を行う。

設定データの起動時画面選択設定値は、画像閲覧プログラムの作成時に決定した初期値を画像閲覧プログラムのインストール時にメモリ部１０４に書き込んでもよい。あるいは、画像閲覧プログラムの初回起動時にユーザが選択した設定値をメモリ部１０４に書き込んでもよい。または画像閲覧プログラムやＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）などの動作によってユーザが設定値を書き換えられるようにしてもよい。

続いて、図７において、制御部１０１は、画像閲覧プログラムの設定データに設定されている表示選択指定リストに基づいて、表示選択指定された元画像データをメモリ部１０４から読み出す（ステップＳ１０５）。ここで元画像データは、撮影した画像データなどであり、フルスクリーンなどによって鑑賞する画像データである。

なお、表示選択指定リストは、画像閲覧プログラムの起動時に、ユーザに選択を促すダイアログを制御部１０１が表示部１０８に表示させて、リストに加える元画像データを選択させてもよいし、あるいは特定のフォルダ内のすべての元画像データをリストとして選択してもよい。また、前回ユーザが選択したリストを記憶して次回起動時に使用してもよい。

その後、制御部１０１は、メモリ部１０４から読み出した元画像データが広角パノラマ画像であるか否かを判定する（ステップＳ１０６）。読み出した元画像データが広角パノラマ画像の場合、制御部１０１は、広角パノラマ画像用サムネイルの作成を行う（ステップＳ１０７）。

ステップＳ１０６の処理における元画像データが広角パノラマ画像であることの判断は、元画像データに撮影時あるいは加工時などにおいて事前に付加された画像情報を参照して判断を行う。

あるいは、メモリ部１０４のプログラム記憶領域１０３に格納される動作制御用プログラムによって、画像の歪み、縦横比などの画像の特徴を解析して広角パノラマ画像であるか否を判断するようにしてもよいし、専用のハードウェアなどによって判断してもよい。

読み出した元画像データが広角パノラマ画像でない場合、制御部１０１は、読み出した元画像データの画像処理を行い、元画像データと対になるサムネイルを作成する（ステップＳ１０８）。

ステップＳ１０５の処理にて読み出した元画像ファイルの処理が終了すると（ステップＳ１０９）、制御部１０１は、ステップＳ１０７の処理またはステップＳ１０８の処理にて作成したサムネイル画像を用いてサムネイル一覧画面を表示する（ステップＳ１１０）。

なお、サムネイルの一覧画像は、予め作成されたサムネイル画像を用いて生成して表示するようにしてもよい。その場合、ステップＳ１０７の処理およびステップＳ１０８の処理では、元画像データに紐付けられてメモリ部１０４に格納されているサムネイル画像データが読み出されて、読み出した該サムネイル画像からサムネイルの一覧画像が表示される。

また、制御部１０１が広角パノラマ画像と判断しなかった元画像データに対しても、入力操作部１０９などによってユーザが指定した際には、制御部１０１によって広角パノラマ画像用サムネイルの作成を行い、それらの画像を用いてサムネイル一覧画面を表示するようにしてもよい。

さらに、ユーザが広角パノラマ画像であると指定した元画像データは、ユーザ指定の広角パノラマ画像であることを元画像データに付随する画像情報に記録する。または画像閲覧プログラムの設定ファイルなどに記録して、次回の表示時においても広角パノラマ画像用サムネイルを表示してもよい。サムネイル一覧画面は、広角パノラマ画像用サムネイルと、通常のサムネイルとに分けて表示してもよいし、混在して表示してもよい。

サムネイル一覧画面において、画像閲覧プログラムを終了する操作が行われた場合（ステップＳ１１１）、制御部１０１は、画像閲覧プログラムの動作を終了する。画像閲覧プログラムの終了操作および終了処理は、サムネイル一覧画面以外の画面から行ってもよい。

画像閲覧プログラムを終了する操作が行われなかった場合（ステップＳ１１１）、制御部１０１は、広角パノラマ画像用サムネイルの選択操作がされたか否かの判定を行う（ステップＳ１１２）。

この場合、選択操作は、ユーザが広角パノラマ画像用サムネイルを入力操作部１０９による選択する動作であり、例えば入力操作部１０９がマウスの場合には、クリックなどによる選択が行われる。

ステップＳ１１２の処理にて、選択操作があった場合、図８において、制御部１０１は、元画像データをフルスクリーンにて表示する（ステップＳ１１３）。このフルスクリーン表示時において、サムネイル一覧画面表示ボタンなどがユーザにより押された場合（ステップＳ１１４，Ｓ１１５）には、図７のステップＳ１１０の処理に戻り、サムネイル一覧画面を表示する。

ここでは、サムネイルの１回目の入力操作として、例えばクリックによって元画像データをフルスクリーン表示する例について説明したが、他の例として後述する動作を行い、表示する部分を変更した後にフルスクリーン表示を行ってもよい。

広角パノラマ画像用サムネイルの１回目のクリックなどの入力操作にて、サムネイルのスクロール表示を一時停止、いわゆる再生ポーズして、ユーザからの次の操作を待つ。次の操作として、サムネイル上で指をスライドさせた場合は、スライドさせた方向にサムネイル画像内の表示部分をスクロールすることによって、一時停止時に表示されていた部分と異なる周囲の別の部分を表示する。

上述した動作を図３を用いて説明すると、スクロール表示中に図３の画像Ｓ８にて一時停止し、該画像Ｓ８のサムネイルが表示部１０８に表示された状態において例えば指を左側にスライドさせる。

この動作によって、サムネイル画面内の表示は、指の動きに応じて移動して指が停止した部分の部分画像を表示する。例えば停止した部分が図３の画像Ｓ７である場合には、該画像Ｓ７を表示する。スライドすることが可能な方向は、スクロール表示の向きに制限してもよい。

上記した動作によって、ユーザがスクロール表示時に表示された部分の表示順番を記憶している場合に、異なる向きへの移動を制限することによって、記憶にある部分を探しやすくすることができる。

また、スクロール表示の向きの制限をなくして、自由に移動可能としてもよい。例えば画像Ｓ８から下にスライドすることによって、図３の画像Ｓ１３を表示してもよい。

この動作では、図３の画像Ｓ８に示すように、サムネイル画像に建物が表示されていて、該建物の下方向を表示させたい、といった場合に、簡単な操作で直接移動させることができる、これにより、直感的に任意の表示部分に移動させることができる。

また、スクロール表示の向き以外の方向に移動する場合には、スクロール表示の向きから外れたことをユーザが認識できるようにしてもよい。例えば、指をスライドしてからサムネイル表示が移動を始める前に、一定時間を空ける、または振動や音により告知するなどの動作である。

クリックなどの１回目の入力操作でサムネイルのスクロール表示を一時停止した際に、２回目の入力操作、例えばクリック、長押し、ダブルクリック、あるいはダブルタップにてスクロールを再開させてもよい。クリック、スライドなどの入力操作の方法については、適宜変更してもよい。

〈部分画像の表示例〉
図９は、図１の情報処理装置１００によるサムネイル表示される部分画像における表示の一例を示す説明図である。

図９（ａ）に示すサムネイル一覧画面７００において、ユーザが例えばクリックなどの第１の入力操作を行うことによって任意のサムネイル１２１を選択すると、制御部１０１は、サムネイル１２１の元画像データをメモリ部１０４から読み込む。

そして、制御部１０１は、図９（ｂ）に示す元画像データのサムネイルで表示されている画像７０１を、図９（ｃ）示すように、表示部１０８にフルスクリーンにて表示する。

図９（ａ）に示すサムネイル一覧画面７００にて、ユーザが例えばダブルクリックなどの第２の入力操作によってサムネイル１２１の選択を行うと、制御部１０１は、該第２の入力操作、すなわちダブルクリックされたクリック位置を中心として被写体に応じた範囲を調整した画像をフルスクリーンにて表示する。

この場合、例えば、図９（ｄ）に示すようにダブルクリックのクリック位置が「人の顔」を選択する位置７０３であると、図９（ｄ）に示す顔が含まれる領域７０４、もしくは図９（ｅ）に示すバストアップの画像が表示部１０８にフルスクリーンにて表示される。

あるいは、ダブルクリックの際に、図９（ａ）に示すサムネイル１２１の表示領域に領域７０４の画像を表示するようにしてもよい。図９（ｆ）は、図９（ａ）に示すサムネイル１２１の表示領域に領域７０４の画像が表示されている例を示している。

このように、ダブルクリックなどの第２の入力操作にて指定した位置に写っている被写体、例えば「人の顔」などを中心に切り出して拡大した画像をフルスクリーン画面、またはサムネイル表示画面などに大きく表示することによって、ユーザは指定した被写体を明確に識別することができる。その結果、サムネイルの視認性を高めることができる。

また、サムネイル一覧画面７００において、ユーザが例えばトリプルクリックなどの第３の入力操作によって任意のサムネイルの選択を行った場合、制御部１０１は、図９（ｇ）に示すようにトリプルクリックされた位置７０６を中心にしてフルスクリーン表示の縦横比の範囲に収まる最大の長方形の領域７０７の画像を、図９（ｈ）に示すようにフルスクリーン表示する。あるいは、図９（ｉ）に示すように、領域７０７の画像は、図９（ａ）のサムネイル１２１が表示される領域に表示するようにしてもよい。

また、例えば顔の一部がサムネイル内に表示されていない場合、制御部１０１は、表示されていない部分が元画像データに存在するのであれば、現在のサムネイルの表示範囲に入っていなくても顔が入る範囲、もしくはバストアップの状態で表示される範囲の画像を元画像データから生成して、フルスクリーン表示するようにしてもよい。

さらに、上述した第１の入力操作、第２の入力操作、あるいは第３の入力操作と異なる第４の入力操作によってサムネイルを選択した場合には、サムネイルの表示範囲に関係なく、元画像全体を表示するようにしてもよい。

元画像全体を表示する場合は、入力操作を行った時のサムネイルの場所が元画像の中央となるよう画像処理を行って表示してもよい。元画像データが、例えば３６０度全天球画像などの視線方向を自由に再設定できる画像の場合、制御部１０１は、画像処理を行うことによって、中央に表示する場所を変更して表示することが可能である。

入力操作の方法については、適宜変更可能とする。例えば、第１の入力操作をダブルクリックとしてもよい。入力操作の方法は、画面上での操作に限定されるものではなく、例えば物理的なボタンや、その他の入力装置などを用いる操作であってもよい。

入力操作の方法およびその動作の組み合わせは、設定値としてメモリ部１０４に格納するようにしてもよい。制御部１０１は、次回の起動時にその設定値をメモリ部１０４から読み出して、前回と同じ組み合わせにて使用できるようにしてもよい。

また、同じ入力操作に対して、制御部１０１は、サムネイル画像の画像内容を判断して動作を変更するようにしてもよい。例えば、同じ入力操作であっても、図９（ｄ）に示すように、主要被写体である人を選択した場合は、被写体が中心に選択される領域７０４を図９（ｅ）のようにフルスクリーン表示する。

図９（ｇ）の位置７０６のように、主要被写体以外、例えば背景などが選択された場合は、縦横比で選択した図９（ｇ）の領域７０７を図９（ｈ）のようにフルスクリーン表示するなどの動作変更を行う。

以上により、広角パノラマ画像のサムネイル表示に際して、視認性の良好なサムネイル画像を提供することができる。

（実施の形態２）
〈情報処理装置の構成例〉
図１０は、本実施の形態２による情報処理装置１００における構成の一例を示す説明図である。

この場合、図１０に示す情報処理装置１００は、例えばスマートフォンやタブレットなどのカメラ機能を有する携帯情報端末などからなる。図１０の情報処理装置１００は、図１の情報処理装置１００が有する制御部１０１、メモリ部１０４、画像歪み割り出し処理部１０５、水平鉛直方向割り出し処理部１０６、特徴点割り出し処理部１０７、表示部１０８、入力操作部１０９、音声入出力処理部１１０、外部インターフェース部１１１、および外部入出力端子１１２に加えて、カメラ部（カメラ）１５０，１５１、加速度センサ部（加速度センサ）１５２、ジャイロセンサ部（ジャイロセンサ）１５３、地磁気センサ部（地磁気センサ）１５４、ＧＰＳ受信部（ＧＰＳ受信器）１５５、基地局通信部（基地局通信器）１５６、および無線通信部（無線通信器）１５７が新たに設けられた構成となっている。

これら新たに設けられた各機能ブロックについても、図１と同様に、バス１１３を介して相互に接続されている。その他の接続構成については、図１と同様であるので説明は省略する。

カメラ部１５０は、前面撮像部１５０ａおよび撮影用レンズ１５０ｂから構成されている。撮影用レンズ１５０ｂは、情報処理装置１００の前面側に設けられている。前面撮像部１５０ａは、撮影用レンズ１５０ｂが取り込んだ光景を撮影ずる。

撮影用レンズ１５０ｂは、広角レンズであり、例えば魚眼レンズなどであってもよい。魚眼レンズは、上下左右方向のほぼ１８０度にわたる範囲の光景を取り込むことができる。これによって、前面側全景を広角に撮影することが可能となる。

カメラ部１５１は、背面撮像部１５１ａおよび撮影用レンズ１５１ｂから構成されている。撮影用レンズ１５１ｂは、情報処理装置１００の背面側に設けられている。背面撮像部１５１ａは、撮影用レンズ１５１ｂが取り込んだ光景を撮影する。

撮影用レンズ１５１ｂについても、広角レンズであり、撮影用レンズ１５０ｂと同様に、例えば魚眼レンズなどであってもよい。これによっても、背面側全景を広角に撮影することが可能となる。

また、前面撮像部１５０ａは、撮影用レンズ１５０ｂに起因する撮影歪み状態を示す第２のセンサ情報を生成して、画像歪み割り出し処理部１０５に出力する。同様に、背面撮像部１５１ａは、撮影用レンズ１５１ｂに起因する撮影歪み状態を示す第２のセンサ情報を生成して、画像歪み割り出し処理部１０５に出力する。

画像歪み割り出し処理部１０５は、前面撮像部１５０ａおよび背面撮像部１５１ａがそれぞれ生成した第２のセンサ情報を用いて、カメラ部１５０，１５１によって撮影された画像の歪みを割り出す処理を行う。

なお、画像歪み割り出し処理部１０５による撮影画像の歪を割り出して補正する処理は、画像処理において一般的に用いられている周知技術を利用すればよい。例えば魚眼レンズの場合には、仮想球面モデル上の任意の点で接する平面をスクリーンとして、仮想球面モデル上の点を平面スクリーン上の点に座標変換することにより、魚眼レンズによる画像の歪を補正する技術が知られている。

加速度センサ部１５２は、加速度を検出するセンサであり、重力を検出することができる。この加速度センサ部１５２による重力の検出によって情報処理装置１００の鉛直方向の傾きを検出することができる。

よって、加速度センサ部１５２は、カメラ部１５０，１５１にて撮影された画像の水平鉛直方向の傾きを検出することができる。具体的には、加速度センサ部１５２は、カメラ部１５０あるいはカメラ部１５１にて撮影された画像の水平方向や鉛直方向の傾きなどの撮影状態を示す第１のセンサ情報を生成して、水平鉛直方向割り出し処理部１０６に出力する。

ジャイロセンサ部１５３は、情報処理装置１００の回転方向の角速度を検出するセンサである。地磁気センサ部１５４は、地球の磁力を検出するセンサであり、情報処理装置１００の方向を検出する。

ＧＰＳ受信部１５５は、上空にあるＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星からの信号を受信して情報処理装置１００の現在位置を検出する。これら各種センサなどによって、情報処理装置１００の位置や動きなどを詳細に検出することができる。

基地局通信部１５６は、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）やＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）（登録商標）などの基地局と遠距離の無線通信を行う通信インターフェースであり、図示しない送受信アンテナを介して情報の送受信あるいは音声通信を行う。

無線通信部１５７は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）によりルータなどと無線通信を行う通信インターフェースであり、該ルータなどを介して外部ネットワークに接続して情報の送受信を行う。

なお、情報処理装置１００のカメラ部１５０，１５１によって撮影されていない元画像をサムネイル表示する場合、図１では、元画像である広角パノラマ画像が外部入出力端子１１２を経由して外部インターフェース部１１１に入力される例を示したが、図１０の情報処理装置１００においては、基地局通信部１５６および無線通信部１５７を経由して元画像を入力するようにしてもよい。

このように、第１のセンサ情報を生成する加速度センサ部１５２および第２のセンサ情報を生成する前面撮像部１５０ａおよび背面撮像部１５１ａを設けることによって、元画像の水平や鉛直方向の傾きずれおよび画像歪みなどを正確に補正してサムネイル表示することができる。それにより、広角パノラマ画像のサムネイル表示に際して、一層高度な視認性を可能にすることができる。

〈サムネイル画像の処理例〉
続いて、図１０の情報処理装置１００の動作について説明する。

図１１は、図１０の情報処理装置１００が有するカメラ部１５０またはカメラ部１５１によって撮影された広角パノラマ画像１１００をスクロール表示する際の表示の一例を示す説明図である。

この図１１は、広角パノラマ画像１１００が魚眼レンズである撮影用レンズ１５０ｂまたは１５１ｂを用いて撮影された例を示しており、その撮影範囲は、図示するように水平方向３６０度、垂直方向１８０度に達した球形３６０度の広角パノラマ画像１１００となる。

図１１において、ポイント１１０１は、球形３６０度の広角パノラマ画像１１００の中心位置を示しており、ポイント１１０２は、広角パノラマ画像１１００の天頂位置を示している。この場合、情報処理装置１００の傾きによって天頂位置であるポイント１１０２が画像の中心位置であるポイント１１０１からずれている例を示している。

図１１に示した球形３６０度の広角パノラマ画像１１００のサムネイル表示に際しては、まず制御部１０１がポイント１１０２を中心としたスクロール軌跡１１０３にて、広角パノラマ画像１１００の水平方向に沿って、該広角パノラマ画像１１００の反時計回り方向にスクロールしながら各部分画像を動画のように表示する。水平方向は、水平鉛直方向割り出し処理部１０６が第１のセンサ情報から割り出して生成された水平鉛直方向情報から判定する。

この際、部分画像は、画像の傾きやずれおよび画像歪みなどが補正された標準画角が順次表示される。表示される部分画像は、制御部１０１が水平鉛直方向情報および画像歪み情報から画像の傾きやずれおよび画像歪みなどが補正される。

上述したように、水平鉛直方向情報は、水平鉛直方向割り出し処理部１０６が第１のセンサ情報に応じて生成し、画像歪み情報は、画像歪み割り出し処理部１０５が第２のセンサ情報に応じて生成する。

制御部１０１は、スクロール軌跡１１０３にて広角パノラマ画像１１００を周回してスクロール表示した後、スクロール軌跡１１０３の外周を覆うスクロール軌跡であるスクロール軌跡１１０４にて、広角パノラマ画像１１００の反時計回り方向にスクロールしながら補正後の標準画角の部分画像をサムネイル表示する。

続いて、制御部１０１は、スクロール軌跡１１０３の外周を覆うスクロール軌跡であるスクロール軌跡１１０５によって、スクロール軌跡１１０３，１１０４と同様に、広角パノラマ画像１１００の反時計回り方向にスクロールしながら補正後の部分画像を標準画角にてスクロール表示する。

これにより、広角パノラマ画像１１００の全画面を画像内の傾きずれや歪みなどを補正した標準画角の部分画像によってスクロール表示することができるので、視認性を大幅に向上させることができる。

なお、スクロール表示における回転方向、すなわちスクロール軌跡１１０３，１１０４，１１０５のスクロール方向は、反時計回り方向とは逆の時計回り方向であってもよい。また、回転方向の開始位置はどの位置からでもよい。

〈スクロール表示例〉
図１２は、図１１に示した広角パノラマ画像１１００の部分画像におけるスクロール表示の一例を示す説明図である。

この図１２は、図１１に示した球形３６０度の広角パノラマ画像１１００をスクロール表示する際に順次表示される部分画像を模式的に示したものである。

図１２に示す画像Ｓ２０〜Ｓ２３は、図１１に示すスクロール軌跡１１０３にてスクロールしながら表示される補正後の部分画像である。これら画像Ｓ２０〜Ｓ２３は、図１１に示すスクロール軌跡１１０３における広角パノラマ画像１１００の各々の位置ｐ１１１，ｐ１１２，ｐ１１３，ｐ１１４における各部分画像である。

図１２に示す画像Ｓ２４〜Ｓ２７は、図１１に示すスクロール軌跡１１０４にてスクロールしながら表示される補正後の部分画像である。これら画像Ｓ２４〜Ｓ２７は、図１１に示すスクロール軌跡１１０４における広角パノラマ画像１１００の各々の位置ｐ１１１，ｐ１１２，ｐ１１３，ｐ１１４における各部分画像である。

図１２に示す画像Ｓ２８〜Ｓ３１は、図１１に示すスクロール軌跡１１０５にてスクロールしながら表示される補正後の部分画像である。これら画像Ｓ２８〜Ｓ３１は、図１１に示すスクロール軌跡１１０５における広角パノラマ画像１１００の各々の位置ｐ１１１，ｐ１１２，ｐ１１３，ｐ１１４における各部分画像である。

このように、スクロール軌跡１１０３では、図１２に示す画像Ｓ２０，Ｓ２１，Ｓ２２，Ｓ２３の各部分画像がそれぞれスクロール表示される。スクロール軌跡１１０４では、図１２に示す画像Ｓ２４，Ｓ２５，Ｓ２６，Ｓ２７の各部分画像がそれぞれスクロール表示される。スクロール軌跡１１０５では、図１２に示す画像Ｓ２８，Ｓ２９，Ｓ３０，Ｓ３１の各部分画像がそれぞれスクロール表示される。

水平方向や鉛直方向の傾きずれおよび部分的な画像歪みなどが補正された標準画角の部分画像である画像Ｓ２０〜Ｓ３１を連続して水平方向にスクロール表示することによって、サムネイル表示をあたかも動画のように表示することができる。

それによって、元画像である球形３６０度の広角パノラマ画像１１００全体を隅々まで、被写体が正確に見やすい状態によって視認することができる。

なお、部分画像の表示順は、上述した画像Ｓ２０〜画像Ｓ３１の順に制限されるものではない。例えば広角パノラマ画像１１００全体における部分画像の位置の把握を容易にするように、画像Ｓ２０、画像Ｓ２１、画像Ｓ２２、画像Ｓ２３、画像Ｓ２７、画像Ｓ２４、画像Ｓ２５、画像Ｓ２６、画像Ｓ３０、画像Ｓ３１、画像Ｓ２８、画像Ｓ２９の順などで表示するようにしてもよい。

あるいは、画像Ｓ２０〜画像Ｓ２４までの水平方向３６０度の間で、部分画像の縦の長さ分だけ下に移動するようにらせん状に表示してもよい。水平３６０度の間の縦移動の長さを部分画像の縦の長さ未満にして、一部を重複してらせん状に表示してもよい。

〈スクロール表示の他の例〉
図１３は、図１０の情報処理装置１００が有するカメラ部１５０またはカメラ部１５１によって撮影された広角パノラマ画像１１００をスクロール表示する際の他の表示例を示す説明図である。

この図１３では、球形３６０度の広角パノラマ画像１１００を図１１で示した方向とは異なる垂直方向にスクロール表示する場合の例を示したものである。すなわち、スクロール軌跡が図１１と異なっている。

広角パノラマ画像１１００のサムネイル表示に際して、図１３に示すように、まずスクロール軌跡１３０１では、広角パノラマ画像１１００の位置ｐ１３１における最上部の天頂位置から真下、言い換えれば広角パノラマ画像１１００の外周に向けて垂直方向にスクロール表示する。

その後、スクロール軌跡１３０２では、図１３の位置を右回りに移動した位置ｐ１３２にて、同様に、最上部の天頂位置から真下までスクロール表示を行う。同様に、スクロール軌跡１３０３では、広角パノラマ画像１１００の位置ｐ１３３における天頂位置から真下、言い換えれば広角パノラマ画像１１００の外周に向けて垂直方向にスクロール表示する。

その後、スクロール軌跡１３０４では、広角パノラマ画像１１００の位置ｐ１３４における最上部の天頂位置から真下、言い換えれば広角パノラマ画像１１００の外周に向けて垂直方向にスクロール表示する。

これによって、高い建物や人物など上下方向に伸びた被写体などの場合に、対象の被写体を外すことなく、その被写体を中心に水平垂直方向の傾きずれや画像歪みが補正された部分画像をスクロール表示することができる。

図１４は、図１３に示した広角パノラマ画像１１００の部分画像におけるスクロール表示の一例を示す説明図である。

この図１４は、図１３に示した球形３６０度の広角パノラマ画像１１００をスクロール表示する際に順次表示される部分画像を模式的に示したものである。

図１３に示す広角パノラマ画像１１００の各位置ｐ１３１，ｐ１３２，ｐ１３３，ｐ１３４において、スクロール軌跡１３０１では、画像Ｓ３０から画像Ｓ３２にて示す補正後の各部分画像がそれぞれスクロール表示される。

スクロール軌跡１３０２では、画像Ｓ３３から画像Ｓ３５において示す補正後の部分画像がそれぞれスクロール表示さる。スクロール軌跡１３０３では、画像Ｓ３６から画像Ｓ３８にて示す補正後の各部分画像がそれぞれスクロール表示され、スクロール軌跡１３０４では、画像Ｓ３９から画像Ｓ４１によって示す補正後の各部分画像がそれぞれスクロール表示される。

このように、水平方向や鉛直方向の傾きずれおよび部分的な画像歪みなどが補正された標準画角の部分画像である画像Ｓ３０〜Ｓ４１を連続して垂直方向に表示することにより、スクロール表示をあたかも動画のように表示することができる。

これにより、広角パノラマ画像１１００の被写体が上下方向に伸びた被写体であっても、視認性よく隅々まで的確に視認することができる。

なお、スクロール表示の左右の移動方向としては左回りにしてもよいし、移動方向の開始位置はどの位置であってもよい。スクロール表示方向としては、真下から天頂位置に向けて垂直方向にスクロール表示してもよい。また、ある位置で真下から上側、すなわち天頂方向にスクロール表示して、さらに天頂位置を通過して反対側の真下までスクロール表示してもよい。

この場合、例えば教会などの建物内にあって、天井の模様風景などを途切れることなく的確に視認できるという効果がある。

なお、図１０に示した情報処理装置１００によるカメラ部１５０またはカメラ部１５１にて撮影された画像データおよび画像データに付随する第１のセンサ情報および第２のセンサ情報は、外部インターフェース部１１１から外部入出力端子１１２を経由して図１の情報処理装置１００に出力することもできる。

あるいは第１のセンサ情報および第２のセンサ情報は、基地局通信部１５６や無線通信部１５６を介して図１の情報処理装置１００に出力してもよい。この場合、図１の情報処理装置１００にて、図１０に示す情報処理装置１００と同様の作用、効果が得られることは明白である。

また、元画像として静止画を例に説明したが、元画像は、動画であってもよい。元画像が動画である場合は、特徴的な場面を静止画として切り出して、切り出した部分画像をサムネイル表示する。あるいは、動画の時系列の中で特徴となる画像が映った場面を抜き出してそれらを組み合わせてサムネイル表示してもよい。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。

１００ 情報処理装置
１０１ 制御部
１０２ 画像データおよび画像情報記憶領域
１０３ プログラム記憶領域
１０４ メモリ部
１０５ 画像歪み割り出し処理部
１０６ 水平鉛直方向割り出し処理部
１０７ 特徴点割り出し処理部
１０８ 表示部
１０９ 入力操作部
１１０ 音声入出力処理部
１１１ 外部インターフェース部
１１２ 外部入出力端子
１１３ バス
１５０ カメラ部
１５０ａ 前面撮像部
１５０ｂ 撮影用レンズ
１５１ カメラ部
１５１ａ 背面撮像部
１５１ｂ 撮影用レンズ
１５２ 加速度センサ部
１５３ ジャイロセンサ部
１５４ 地磁気センサ部
１５５ ＧＰＳ受信部
１５６ 基地局通信部
１５７ 無線通信部

Claims (15)

1. 広角パノラマ画像の任意の画像領域からなる部分画像を補正する補正情報を生成する画像補正情報生成部と、
   前記画像補正情報生成部が生成した前記補正情報に基づいて、前記部分画像を補正する制御部と、
   画像を表示する表示部と、
   を有し、
   前記制御部は、補正した前記部分画像をサムネイル画像として前記表示部にスクロール表示させる、情報処理装置。
2. 請求項１記載の情報処理装置において、
   前記画像補正情報生成部は、
   広角パノラマ画像の水平および鉛直方向の傾きを示す第１のセンサ情報に基づいて、前記広角パノラマ画像の任意の画像領域からなる部分画像の水平方向および鉛直方向のずれを補正する水平鉛直方向情報を生成して、生成した前記水平鉛直方向情報を補正情報として前記制御部に出力する水平鉛直方向割り出し処理部と、
   撮影用レンズに起因する撮影歪みの状態を示す第２のセンサ情報に基づいて、前記部分画像の画像歪みを補正する画像歪み情報を生成して、生成した画像歪み情報を前記補正情報として前記制御部に出力する画像歪み割り出し処理部と、
   を備え、
   前記制御部は、前記水平鉛直方向割り出し処理部が生成した前記水平鉛直方向情報および前記画像歪み割り出し処理部が生成した前記画像歪み情報に応じて、前記部分画像における水平方向および鉛直方向のずれと画像歪みとを補正する、情報処理装置。
3. 請求項１記載の情報処理装置において、
   前記制御部は、前記広角パノラマ画像の水平方向に沿って補正した前記部分画像をスクロール表示させる、情報処理装置。
4. 請求項２記載の情報処理装置において、
   前記第１のセンサ情報および前記第２のセンサ情報は、前記広角パノラマ画像の画像データに付随する撮影情報である、情報処理装置。
5. 請求項１記載の情報処理装置において、
   前記制御部は、前記表示部に表示させる前記サムネイル画像は、縦横比が３：４または縦横比が９：１６からなる、情報処理装置。
6. 請求項２記載の情報処理装置において、
   前記広角パノラマ画像から予め設定される特徴点を割り出して抽出する特徴点割り出し処理部を有し、
   前記特徴点割り出し処理部は、前記広角パノラマ画像から抽出した前記特徴点を保有する画像部分を示す特徴点保有部分画像情報を生成し、
   前記制御部は、前記特徴点割り出し処理部が生成した前記特徴点保有部分画像情報に応じて、前記特徴点を有する複数の前記部分画像を前記表示部にスクロール表示させる、情報処理装置。
7. 請求項１記載の情報処理装置において、
   操作情報が入力される入力操作部を有し、
   前記入力操作部は、第１の入力操作および第２の入力操作によって操作情報をそれぞれ入力し、
   前記第１の入力操作は、スクロール表示されている任意の前記部分画像を選択指定する入力操作であり、
   前記第２の入力操作は、前記第１の入力操作にて選択した前記部分画像を拡大表示する入力操作であり、
   前記制御部は、前記入力操作部から前記第２の入力操作による操作情報が入力された際に前記入力操作部によって指定された位置を中心として、被写体に応じた範囲を調整した画像を拡大して表示する、情報処理装置。
8. 請求項１記載の情報処理装置において、
   操作情報を入力する入力操作部を有し、
   前記入力操作部は、第１の入力操作および第２の入力操作によって操作情報をそれぞれ入力し、
   前記第１の入力操作は、スクロール表示されている任意の前記部分画像を選択指定する入力操作であり、
   前記第２の入力操作は、前記第１の入力操作にて選択した前記部分画像を拡大表示する入力操作であり、
   前記制御部は、前記入力操作部から前記第２の入力操作による操作情報が入力された際に前記入力操作部によって指定された位置に近い被写体の画像を拡大して前記表示部に表示する、情報処理装置。
9. 広角パノラマ画像を撮影するカメラ部と、
   前記カメラ部の鉛直方向の傾きを検出する加速度センサ部と、
   前記広角パノラマ画像の任意の画像領域からなる部分画像を補正する補正情報を生成する画像補正情報生成部と、
   前記画像補正情報生成部が生成した前記補正情報に基づいて、前記部分画像を補正する制御部と、
   画像を表示する表示部と、
   を有し、
   前記加速度センサ部は、前記カメラ部が撮影した際の前記広角パノラマ画像の水平および鉛直方向の傾きを示す第１のセンサ情報を生成し、
   前記カメラ部は、前記カメラ部が備える撮影用レンズに起因する撮影歪みを示す第２のセンサ情報を生成し、
   前記画像補正情報生成部は、前記第１のセンサ情報および前記第２のセンサ情報に応じて、前記補正情報を生成し、
   前記制御部は、補正した前記部分画像をサムネイル画像として前記表示部にスクロール表示させる、情報処理装置。
10. 請求項９記載の情報処理装置において、
    前記画像補正情報生成部は、
    前記第１のセンサ情報に基づいて、前記広角パノラマ画像の任意の画像領域からなる部分画像の水平方向および鉛直方向のずれを補正する水平鉛直方向情報を生成して、生成した前記水平鉛直方向情報を補正情報として前記制御部に出力する水平鉛直方向割り出し処理部と、
    前記第２のセンサ情報に基づいて、前記部分画像の画像歪みを補正する画像歪み情報を生成して、生成した画像歪み情報を前記補正情報として前記制御部に出力する画像歪み割り出し処理部と、
    を備え、
    前記制御部は、前記水平鉛直方向割り出し処理部が生成した前記水平鉛直方向情報および前記画像歪み割り出し処理部が生成した前記画像歪み情報に応じて、前記部分画像における水平方向および鉛直方向のずれと画像歪みとを補正する、情報処理装置。
11. 請求項９記載の情報処理装置において、
    前記制御部は、前記広角パノラマ画像の水平方向に沿って補正した前記部分画像をスクロール表示させる、情報処理装置。
12. 請求項９記載の情報処理装置において、
    前記制御部は、前記表示部に表示させる前記サムネイル画像は、縦横比が３：４または縦横比９：１６である、情報処理装置。
13. 請求項１０記載の情報処理装置において、
    前記広角パノラマ画像から予め設定される特徴点を割り出す特徴点割り出し処理部を有し、
    前記特徴点割り出し処理部は、前記広角パノラマ画像から抽出した前記特徴点を保有する画像部分を示す特徴点保有部分画像情報を生成し、
    前記制御部は、前記特徴点割り出し処理部が生成した前記特徴点保有部分画像情報に応じて、前記特徴点を有する複数の前記部分画像を前記表示部にスクロール表示させる、情報処理装置。
14. 請求項９記載の情報処理装置において、
    操作情報を入力する入力操作部を有し、
    前記入力操作部は、第１の入力操作および第２の入力操作によって操作情報をそれぞれ入力し、
    前記第１の入力操作は、スクロール表示されている任意の前記部分画像を選択指定する入力操作であり、
    前記第２の入力操作は、前記第１の入力操作にて選択した前記部分画像を拡大表示する入力操作であり、
    前記制御部は、前記入力操作部から前記第２の入力操作による操作情報が入力された際に前記入力操作部によって指定された位置に近い被写体の画像を拡大して前記表示部に表示する、情報処理装置。
15. 請求項９記載の情報処理装置において、
    操作情報を入力する入力操作部を有し、
    前記入力操作部は、第１の入力操作および第３の入力操作によって操作情報をそれぞれ入力し、
    前記第１の入力操作は、スクロール表示されている任意の前記部分画像を選択指定する入力操作であり、
    前記第３の入力操作は、前記第１の入力操作にて選択した前記部分画像を拡大表示するの入力操作であり、
    前記制御部は、前記入力操作部から前記第３の入力操作による操作情報が入力された際に前記入力操作部によって指定された位置を中心として画像を拡大して前記表示部に表示する、情報処理装置。

Images