JP7352672B2 - 撮像表示方法 - Google Patents

Description

本発明は、撮像装置及び表示装置の技術に関し、撮像画像の画面表示技術に関する。

従来、撮影方向や画角が異なる複数の画像を撮像する機能を有する撮像装置等の電子機器として、デジタルカメラやスマートフォン等がある。また、それらの複数の画像を再生表示する機能を持つ表示装置等の電子機器として、テレビジョン受像機（以下、「テレビ」と記載する場合がある）やノートＰＣ等がある。上記画像は、静止画または動画である。撮影方向は、例えば方位角及び仰角で規定できる。画角（angle of view）は、画像範囲を角度で表し、視野角とも呼ばれ、例えば、方位角に対応する水平画角、及び仰角に対応する垂直画角で規定できる。

画角が異なる画像としては、相対的に広角で撮影された画像（以下、「広角画像」等と記載する場合がある）と、相対的に狭角で撮影された画像（以下、「狭角画像」等と記載する場合がある）とが挙げられる。広角の例としては、水平画角で１２０°や、１８０°以上の画角が挙げられる。なお、１８０°の場合には半天球画像、３６０°の場合には全天球画像と呼ばれる場合もある。狭角の例としては、水平画角で５０°以下の画角が挙げられる。以下、角度の単位として度（°）で表すが、ラジアン等の単位に換算可能である。

撮像画像の画面表示に関する先行技術例として、特開２０００－９２４３９号公報（特許文献１）が挙げられる。特許文献１には、電子スチルカメラ等として、以下の旨が記載されている。その電子スチルカメラは、電源オフが指示された場合に、記録用メモリに記録された記録画像を外部装置で一覧表示可能とする画像一覧表示用ファイルを生成する。そのファイルを用いた画像検索によって表示される一覧表示画面において、複数の縮小画像が一覧表示される。

特開２０００－９２４３９号公報

撮影者であるユーザが、撮像装置を用いて、同じような場所や日時において、撮影方向や画角が異なる複数の画像を撮像する場合がある。例えば、ユーザが、同じ日に同じ公園において、ある撮影方向及び画角で広角画像を撮影し、別の撮影方向及び画角で狭角画像を撮影する。そのような場合、それらの複数の画像は、場所や日時、撮影方向や画角等に関して所定の関係を持っている関連した画像群であると言える。

従来の撮像装置や表示装置は、表示画面において複数の画像を例えば撮影日時やファイル名等の順序で一覧及び並列配置で表示する機能を有する。例えば、特許文献１の場合、一覧表示画面において複数の縮小画像が縦横に並列配置で表示される。

しかし、従来技術では、ユーザが表示画面に表示される全画像のうち所定の関係を持つ複数の画像を直感的に認識することは難しい。例えば、同じような場所や日時で撮影された広角画像や狭角画像を含む複数の画像が混在している場合にも、ユーザは一覧表示画面でそれらの複数の画像の相互関係を把握しにくい。従来技術では、関係を持つ複数の画像を関連付けて再生表示するような機能を有していない。従来技術では、表示画面にある画像を表示している状態から、その画像と関係を持つ他の画像を参照して表示する機能等も有していない。従来技術では、複数の画像に関するユーザによる編集及び管理の作業にも手間がかかる。

即ち、従来技術は、関係を持つ複数の画像の好適な閲覧がしにくく、使い勝手の点で改善余地がある。

本発明の目的は、撮像装置及び表示装置に関して、複数の画像の関係を把握しやすく、より良い使い勝手を実現できる技術を提供することである。

本発明のうち代表的な実施の形態は、撮像装置等であって、以下に示す構成を有することを特徴とする。

一実施の形態の撮像装置は、静止画または動画の画像を撮像して画像データを得る撮像部と、前記画像データに基づいて前記画像を表示画面に再生表示する表示部と、を備え、前記画像の撮影方向として方位角及び仰角の少なくとも一方と、前記画像の画角または前記画角を計算可能である画角関連情報の少なくとも一方と、を含む第１情報を取得し、前記撮像された複数の画像について、第１画像の第１撮影方向の第１画角の範囲内またはその外に延長された閾値画角範囲内に、第２画像の第２撮影方向または一部画角が含まれている場合に、前記第１画像に前記第２画像を関連付け、ユーザの操作に基づいて選択された前記第１画像または前記第１画像を表す第１図形を前記表示画面内の背景領域上に表示すると共に、前記撮影方向に対応した位置関係で、前記第１画像に関連付けられる前記第２画像または前記第２画像を表す第２図形を表示する。

本発明のうち代表的な実施の形態によれば、撮像装置及び表示装置に関して、複数の画像の関係を把握しやすく、より良い使い勝手を実現できる。

本発明の実施の形態１の撮像装置及び表示装置を含んで構成される撮像表示システムの構成を示す図である。 実施の形態１の撮像装置の構成を示す図である。 実施の形態１の表示装置の構成を示す図である。 実施の形態１の撮像装置の外観を示す図である。 実施の形態１の撮像装置で管理情報及びメタデータの構成を示す図である。 実施の形態１の撮像装置で複数の画像の関係の管理について示す図である。 実施の形態１の撮像装置で、複数の画像に関する撮影方向や画角、特に方位角及び水平画角について示す説明図である。 実施の形態１の撮像装置で、特に仰角及び垂直画角について示す説明図である。 実施の形態１の撮像装置で、画角関連情報について示す説明図である。 実施の形態１の撮像装置で、表示画面の表示モードの遷移を示す図である。 実施の形態１の変形例の撮像装置で、第２表示モード画面例を示す図である。 実施の形態１の変形例の撮像装置で、第２表示モード画面例を示す図である。 実施の形態１の撮像装置で、第２表示モード画面の別画像例を示す図である。 実施の形態１の撮像装置で、第２表示モード画面の別画像例を示す図である。 実施の形態１の撮像装置で、第２表示モード画面の別画像例を示す図である。 実施の形態１の撮像装置で、第２表示モード画面のスクロール等の例を示す図である。 実施の形態１の撮像装置で、第２表示モード画面の拡大縮小等の例を示す図である。 実施の形態１の撮像装置で、第２表示モード画面例を示す図である。 実施の形態１の撮像装置で、第２表示モード画面例を示す図である。 実施の形態１の撮像装置で、第４表示モード画面例を示す図である。 実施の形態１の撮像装置で、地図表示モード画面例を示す図である。 実施の形態１の撮像装置で、撮像時の制御処理のフローを示す図である。 実施の形態１の撮像装置及び表示装置で、再生表示時の制御処理のフローを示す図である。 実施の形態１の撮像装置で、第１選択方式を示す説明図である。 実施の形態１の撮像装置で、第２選択方式を示す説明図である。 実施の形態１の撮像装置で、第３選択方式を示す説明図である。 実施の形態１の撮像装置で、関連付けの条件等を示す説明図である。 実施の形態１の変形例の撮像装置で、第２表示モード画面例を示す図である。 実施の形態１の変形例の撮像装置で、第２表示モード画面例を示す図である。 本発明の実施の形態２の撮像装置における、撮影モードについて示す説明図である。 実施の形態２の撮像装置で、撮影メニュー画面を示す図である。 本発明の実施の形態３の撮像装置における、撮影モードのモニタ画像の表示画面を示す図である。 実施の形態３の変形例の撮像装置における、撮影モードのモニタ画像の表示画面を示す図である。 本発明の実施の形態４の撮像装置で、第１編集機能の表示画面例を示す図である。 実施の形態４の撮像装置で、第２編集機能の表示画面例を示す図である。 本発明の実施の形態５の撮像装置における、全天球画像について示す説明図である。 実施の形態５の撮像装置で、撮像部に係わる構成を示す図である。 実施の形態５の撮像装置で、外観構成を示す図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、その繰り返しの説明は省略する。

（実施の形態１）
図１～図２９を用いて、本発明の実施の形態１の撮像装置及び表示装置について説明する。実施の形態１の撮像装置及び表示装置は、撮影時の撮影方向や画角が異なる複数の画像を関連付けた状態で表示する機能を有する。

［撮像表示システム］
図１は、実施の形態１の撮像装置及び表示装置を含んで構成されるシステムである撮像表示システムの構成を示す。図１の撮像表示システムは、実施の形態１の撮像装置１である第１撮像装置１Ａ及び第２撮像装置１Ｂと、実施の形態１の表示装置２である第１表示装置２Ａ及び第２表示装置２Ｂと、サーバ３とが、通信網４を介して接続されている。通信網４は、無線通信網やインターネットを含む。

撮像装置１は、少なくとも撮像機能及び表示機能を有する電子機器である。表示装置２は、少なくとも表示機能を有する電子機器である。撮影者であるユーザは、自身が所有するまたは使用権限を持つ電子機器として、第１撮像装置１Ａ及び第２撮像装置１Ｂと、第１表示装置２Ａ及び第２表示装置２Ｂと、を有する。例えば、第１撮像装置１Ａはデジタルカメラであり、第２撮像装置１Ｂはスマートフォンであり、第１表示装置２Ａはテレビであり、第２表示装置２ＢはノートＰＣである。

第１撮像装置１Ａや第２撮像装置１Ｂは、少なくとも、自機器で撮像した画像の画像データを、自機器内の記憶手段に保持する機能を有する。また、第１撮像装置１Ａや第２撮像装置１Ｂは、自機器で撮像した画像の画像データを、サーバ３へ送信してサーバ３の画像データＤＢに蓄積、登録する機能を有してもよい。また、第１撮像装置１Ａや第２撮像装置１Ｂは、ユーザ操作に基づいて、自機器で撮像した画像の画像データを、第１表示装置２Ａや第２表示装置２Ｂへ送信する機能を有してもよい。

第１表示装置２Ａや第２表示装置２Ｂは、外部の機器である撮像装置１またはサーバ３等から、画像データを受信、入力し、自機器内の記憶手段に保持する機能を有する。例えば、第１表示装置２Ａは、第１撮像装置１Ａや第２表示装置２Ｂから、通信により画像データを受信する。例えば、第２表示装置２Ｂは、第１撮像装置１Ａや第２撮像装置１Ｂから、通信により画像データを受信する。また、第１表示装置２Ａや第２表示装置２Ｂは、画像データ表示部を有する。画像データ表示部は、画像データに基づいて表示画面に画像を表示する。また、例えば、第２表示装置２Ｂは、画像データ編集部を有する。画像データ編集部は、表示画面に対するユーザ操作に基づいて、画像データの情報や内容を編集する。

サーバ３は、例えば事業者が管理するサーバ装置であり、ユーザの機器から画像データを預かり、画像データＤＢ内に蓄積する。これにより、画像データのバックアップや一元管理等を実現する。なお、サーバ３と画像データＤＢは別の機器で実装されてもよい。

［撮像装置］
図２は、撮像装置１の構成を示す。撮像装置１は、制御部１０１、記憶部１０２、撮像部１０３、表示装置１０４、操作入力部１０５、記録部１０６、記録媒体１０７、通信インタフェース部１０８、撮影方向計測部１１１、内部時計１１２、位置検出部１１３、センサ群１１４、マイク１１５、スピーカ１１６、インタフェース回路部１３１、信号処理部１３２、メモリ１３３等を備える。それらの各部は、バス等を介して相互に接続されており、制御部１０１の制御に基づいて高速に連携する。

制御部１０１は、撮像装置１の全体を制御する。制御部１０１は、プロセッサやＲＯＭやＲＡＭ等の制御回路を含む。制御部１０１は、制御回路の処理により実現される処理部として、撮像制御部１１、表示制御部１２、タッチ検出部１３、設定部１４、関連付け部１５を有する。

制御部１０１は、動作モードに応じて、撮像部１０３等の各部を制御して、撮像や表示を実現する。動作モードは、撮像モード、再生表示モード等がある。制御部１０１は、動作モードや状態に応じて、信号処理部１３２やメモリ１３３経由で、撮像部１０３、表示装置１０４、記録部１０６等を制御する。

制御部１０１は、操作入力部１０５やタッチセンサ４２を通じたユーザ入力操作に基づいて、撮像の撮影方向や画角等の設定を制御する。制御部１０１は、撮像部１０３を通じた画像の撮影に伴い、画像データ２３と共にメタデータ２２を作成し、メタデータ２２及び画像データ２３を含む画像ファイル２４として、記憶部１０２に記憶、または記録部１０６の記録媒体１０７に記録する。また、制御部１０１は、画像ファイル２４に関する管理情報２１を作成して管理する。

記憶部１０２は、制御部１０１の制御に基づいて、複数の画像ファイル２４、及び管理情報２１を含む各種のデータや情報を記憶する。なお、記憶部１０２が制御部１０１内に統合された形態、記憶部１０２と記録部１０６が１つに統合された形態等でもよい。

撮像部１０３は、撮像制御部１１からの制御に基づいて、画像を撮像する。撮像部１０３は、駆動部３１、レンズ部３２を含む。駆動部３１は、駆動回路を含み、撮像制御部１１からの駆動制御に基づいて、レンズ部３２の撮像素子及びレンズを駆動する。レンズ部３２は、電子ズームまたは光学ズームに対応したレンズを含む、複数のレンズによる光学系を含む。例えば、駆動部３１は、フォーカスレンズの位置を制御して焦点距離を変えるフォーカシング動作を行う。レンズ部３２のレンズは、交換不要で固定された、電子ズームに対応したズームレンズの方式でもよいし、着脱により交換可能である光学レンズの方式でもよい。

撮像部１０３は、ＣＭＯＳやＣＣＤ等の撮像素子を含む。撮像素子の撮像面には、光電変換素子が２次元で配列されている。撮像部１０３は、レンズ部３２を介して入射されて撮像素子の撮像面に結像された被写体の光学像を、光電変換して撮像信号に変換する。撮像部１０３には、アナログ信号をデジタル信号に変換するＡＤ変換回路が内蔵されており、デジタル化された撮像信号を出力する。撮像部１０３では、位相差オートフォーカス用の画素を配置した撮像素子を用いて、オートフォーカスの高速化を図ってもよいし、メモリを内蔵して、撮像信号の入出力の高速化を図ってもよい。撮像部１０３の外部にＡＤ変換回路等が設けられてもよい。撮像部１０３の撮像方式については限定しない。

表示装置１０４は、例えばタッチパネルであり、表示部４１及びタッチセンサ４２を含む。タッチパネルは、表示手段かつ操作入力手段である。表示部４１は、表示ドライバを含み、ユーザに対して表示画面を表示する。表示部４１は、例えば液晶表示部であるが、有機ＥＬ表示部等でもよい。表示部４１の方式やタッチセンサ４２の方式については限定しない。表示装置１０４は複数備えられてもよいし、タッチセンサ４２を備えないものでもよい。実施の形態１では、主となる表示装置１０４であるタッチパネルに加え、後述するが撮影モニタ用の表示装置を有する。

タッチセンサ４２は、表示部４１の表示画面の領域に対応させて配置されており、表示画面に対するタッチ入力操作を受け付ける。タッチセンサ４２は、例えば静電容量方式であり、指等の近接や接触による静電容量変化を電気信号として検出し、タッチ検出信号を制御部１０１のタッチ検出部１３へ出力する。タッチパネルは、例えば液晶表示部にタッチセンサ４２が内蔵されており、前面側にガラス保護カバーが配置され、背面側にバックライトが配置されている。なお、表示装置１０４は、一定時間の非使用状態等に基づいて自動的にバックライト消灯により非表示状態にされる制御がされてもよい。タッチパネルは感圧方式等でもよい。

タッチ検出部１３は、タッチセンサ４２から得られるタッチ検出信号に基づいて、表示画面でのタッチ有無やタッチ位置座標等を検出し、また、タップやスワイプやピンチ等の操作を検出する。ユーザは、タッチパネルの表示画面に対するタッチ入力操作により、撮像装置１に対する指示入力や、表示画面内で任意位置にフォーカスを合わせる操作等、各種の操作が可能である。

インタフェース回路部１３１は、動作モードに応じて、制御部１０１の制御に基づいて、制御部１０１からの駆動制御信号を、撮像部１０３へ転送する。また、インタフェース回路部１３１は、制御に基づいて、撮像部１０３からの撮像信号を、信号処理部１３２またはメモリ１３３へ出力する。なお、インタフェース回路部１３１に複数の撮像部１０３が接続される形態としてもよい。

信号処理部１３２は、画像音声信号処理回路、及び符号化復号化回路を含み、制御部１０１の制御に従い、画像信号処理、音声信号処理、符号化処理及び復号化処理、等の各種の信号処理を行う機能を有する。信号処理部１３２の信号処理は、撮像部１０３からの撮像信号に対する信号処理や、画像データ２３に対する信号処理や、表示装置１０４に映像を表示する際の信号処理を含む。信号処理部１３２は、信号処理により、記録用あるいは表示用の映像信号を生成する。この映像信号は、画像データ２３の静止画や動画を含む。

信号処理部１３２は、例えば、撮像信号に、フィルタリング、感度設定に応じた増幅、ホワイトバランス補正、等の信号処理を行う。信号処理部１３２は、画像データ２３を画像ファイル２４として記録媒体１０７に記録する際等には、元データに対して、そのための所定の形式の符号化処理を行う。この符号化は、データ圧縮を含む。信号処理部１３２は、記録媒体１０７から画像データ２３を読み出す際等には、対応する復号化処理を行い、元データへ復元する。信号処理部１３２は、画像データ２３に基づいて表示装置１０４に画像を再生表示する際には、そのための信号処理を行う。信号処理部１３２は、マイク１１５からの音声入力信号やスピーカ１１６への音声出力信号に対する音声信号処理を行う。

メモリ１３３は、信号処理部１３２の信号処理の際にバッファメモリとして使用され、各信号やデータが格納される。メモリ１３３は、例えばＤＲＡＭやフラッシュメモリ等により構成される。

操作入力部１０５は、ユーザによる入力操作を可能とする各種のハードウェアボタン等を含む。ユーザは、操作入力部１０５を通じて、指示入力可能であり、設定部１４に対し画角関連情報等を設定可能である。

設定部１４は、操作入力部１０５やタッチパネルを通じてユーザにより入力される設定を受け付けて、撮影や表示に係わる情報を設定する。設定部１４には、撮影に係わる設定情報として、撮像部１０３のレンズに関する電子ズーム倍率、焦点距離、画角等が設定可能である。撮像制御部１１は、設定部１４の設定情報に基づいて、画角等を自動調整するように、撮像部１０３を駆動制御する。

記録部１０６は、記録再生回路等を含み、記録媒体１０７が着脱可能に設けられている。記録媒体１０７は、例えばＳＤカードである。記録部１０６は、制御部１０１の制御に基づいて、記憶部１０２またはメモリ１３３等の画像データ２３を含む画像ファイル２４を、記録媒体１０７に記録する。記録部１０６は、制御部１０１の制御に基づいて、記録媒体１０７から画像ファイル２４を読み出して記憶部１０２またはメモリ１３３等に格納する。ユーザは、記録媒体１０７を取り外して持ち運びや交換が可能である。なお、画像ファイル２４には、画像データ２３と共に音声データが含まれてもよい。

通信インタフェース部１０８は、無線通信インタフェース部を含む。通信インタフェース部１０８は、制御部１０１の制御に基づいて、無線アクセスポイント等を介して通信網４に接続し、外部の装置との間で通信処理を行う。例えば、図１のように、撮像装置１は、通信網４を介してサーバ３または表示装置２または自機器以外の撮像装置１と通信し、自機器の画像ファイル２４を送信する、あるいは外部の機器から画像ファイル２４を受信する。その際、通信インタフェース部１０８は、画像ファイル２４の通信データを転送する。通信インタフェース部１０８は、電話網通信機能、ＬＡＮ通信機能、近距離通信機能等を備えていてもよい。

撮影方向計測部１１１は、電子コンパス、ジャイロセンサ、加速度センサ等のセンサを含み、それらを用いて撮像装置１の撮影方向を計測し、撮影方向の情報を制御部１０１へ出力する。撮影方向計測部１１１は、撮影方向として、方位角及び仰角を計測する。また、撮影方向計測部１１１は、撮像装置１の姿勢の検出に基づいて、撮像時の画像の回転角を検出する。画像の回転角は、水平方向及び鉛直方向に対する、画像の矩形の横線及び縦線の成す角度で表わされる。

内部時計１１２は、現在日時を計測する。これにより、制御部１０１は、撮影日時を得ることができる。位置検出部１１３は、ＧＰＳ受信部を含み、衛星からの信号を用いて、撮像装置１の位置を検出する。位置検出部１１３は、位置情報として、｛緯度，経度，標高（海抜高度）｝を検出する。標高は省略でもよい。センサ群１１４は、他のセンサ群であり、例えば近接センサや照度センサが挙げられる。マイク１１５は音声入力機器であり、スピーカ１１６は音声出力機器である。

撮像制御部１１は、撮像装置１の動作モードに応じて、撮像時に撮像部１０３等を制御して画像を撮像し、画像データ２３を得る。撮像制御部１１は、画像データ２３を画像ファイル２４として記憶部１０２等に格納する。撮像部１０３及び撮像制御部１１は、広角画像及び狭角画像の両方の画像の撮像を可能とする機能を有する。撮像制御部１１は、撮像部１０３の光学系に関するズーム制御を行う。ズーム制御は、電子ズームまたは光学ズームの制御である。撮像制御部１１は、設定部１４の画角関連情報等の設定情報に基づいて、撮像部１０３のレンズに関する電子ズーム倍率、焦点距離、画角等を把握及び調整する。

撮像部１０３において焦点距離等が異なる光学レンズに交換可能である場合、例えば、ユーザは、狭角画像を撮影する際には焦点距離が相対的に長い光学レンズに交換し、広角画像を撮影する際には焦点距離が相対的に短い光学レンズに交換する。ユーザが撮像部１０３のレンズを交換した場合、設定部１４は、自動的にその交換を検出し、交換後のレンズの焦点距離等を検出してもよい。あるいは、交換後、ユーザが、設定部１４に対して交換後のレンズの焦点距離等を入力設定してもよい。そして、撮像制御部１１は、設定部１４から更新後の設定情報を取得して焦点距離等を把握する。

表示制御部１２は、表示装置１０４の表示部４１等を制御して、表示部４１の表示画面に画像や情報を表示する。表示制御部１２は、管理情報２１や画像ファイル２４に基づいて、表示画面に、フォルダ情報や画像を表示する。表示制御部１２は、ユーザに対するグラフィカルユーザインタフェースとなる各種の画面を提供する。表示制御部１２は、再生表示モードに応じた画面の切り替えを制御する。表示制御部１２は、メニュー画面や設定画面等も提供する。

関連付け部１５は、撮像制御部１１や表示制御部１２と連携して、所定の関係を持つ複数の画像を関連付ける関連付け処理を行う。関連付け部１５は、後述する関連付け方式に従い、撮像時または再生表示時等の所定のタイミング及び契機で、関連付け処理を行う。関連付け部１５は、関連付け処理における第１処理として、記憶部１０２等の複数の画像データ２３を対象として、関連付けのための判断を行う。この第１処理の判断では、後述する選択方式に従い、撮影場所等の条件に基づいて、関連付けの候補となる画像を選択する。関連付け部１５は、第２処理として、候補となる複数の画像において、撮影方向及び画角の条件に基づいて、関連付ける第１画像及び第２画像を決定する。関連付け部１５は、判断の結果、第１画像及び第２画像を関連付けるように、メタデータ２２または管理情報２１を作成する。

表示制御部１２は、画像の再生表示の際、関連付け部１５の判断結果、または、関連付け済みである画像ファイル２４のメタデータ２２または管理情報２１の参照確認に基づいて、所定の関係を持つ第１画像及び第２画像を特定する。表示制御部１２は、それらの第１画像及び第２画像を含む複数の画像を、表示画面内に関連付けた状態で表示する。

なお、撮像装置１の制御部１０１や信号処理部１３２等の各処理部や各機能のハードウェア構成としては、各処理部や各機能が個別のＬＳＩ等の回路で実装された形態でもよいし、１つの統合されたＬＳＩ等の回路で実装された形態でもよい。

［表示装置］
図３は、表示装置２の構成を示す。表示装置２は、撮像装置１に対して主に異なる構成としては、撮像部１０３及び撮像に係わる処理部を備えない。表示装置２の構成要素のうち撮像装置１の構成要素と同様のものについては説明を省略する。表示装置２は、制御部２０１、記憶部２０２、表示部２０４、操作入力部２０５、記録部２０６、記録媒体２０７、通信インタフェース部２０８、センサ群、マイク、スピーカ等を備える。それらの各部は、バス等を介して相互に接続されており、制御部２０１の制御に基づいて高速に連携する。

制御部２０１は、表示装置２の全体を制御する。制御部２０１は、制御回路の処理により実現される処理部として、表示制御部２１２、関連付け部２１５を有する。制御部２０１は、操作入力部２０５を通じたユーザ入力操作に基づいて、表示部２０４の表示画面での表示を制御する。

記憶部２０２は、制御部２０１の制御に基づいて、複数の画像ファイル２４、及び管理情報２１を含む各種のデータや情報を記憶する。画像ファイル２４及び管理情報２１は、自機器で作成したものでもよいし、外部の機器から取得したものでもよい。

表示部２０４は、表示ドライバを含み、ユーザに対して表示画面を表示する。表示部２０４はタッチパネルとしてもよい。

操作入力部２０５は、ユーザによる入力操作を可能とする各種のハードウェアボタン等を含む。操作入力部２０５は、リモコン及びリモコン受光部を備えてもよい。ユーザは、操作入力部２０５を通じて、指示入力やユーザ設定が可能である。

記録部２０６は、記録再生回路等を含み、記録媒体２０７が着脱可能に設けられている。記録部２０６は、制御部２０１の制御に基づいて、記憶部２０２の画像データ２３を含む画像ファイル２４を、記録媒体２０７に記録する。記録部２０６は、制御部２０１の制御に基づいて、記録媒体２０７から画像ファイル２４を読み出して記憶部２０２に格納する。

通信インタフェース部２０８は、制御部２０１の制御に基づいて、通信網４に接続し、外部の装置との間で通信処理を行う。例えば、図１のように、表示装置２は、通信網４を介してサーバ３または撮像装置１または自機器以外の表示装置２と通信し、自機器の画像ファイル２４を送信する、あるいは外部の機器から画像ファイル２４を受信する。その際、通信インタフェース部２０８は、画像ファイル２４の通信データを転送する。

表示制御部２１２は、表示部２０４等を制御して、表示部２０４の表示画面に画像や情報を表示する。表示制御部２１２は、画像ファイル２４や管理情報２１に基づいて、表示部２０４の表示画面に、フォルダ情報や画像を再生表示する。表示制御部２１２は、再生表示モードに応じた画面の切り替えを制御する。

関連付け部２１５は、表示制御部２１２と連携して、所定の関係を持つ複数の画像を関連付ける関連付け処理を行う。関連付け部２１５は、外部の機器から取得した画像ファイル２４を対象に関連付け処理を行うこともできる。関連付け部２１５の関連付け処理は、関連付け部１５の関連付け処理と同様である。

表示制御部２１２は、画像の再生表示の際、関連付け部２１５の判断結果、または、関連付け済みである画像ファイル２４のメタデータ２２または管理情報２１の参照確認に基づいて、所定の関係を持つ第１画像及び第２画像を特定する。表示制御部２１２は、それらの第１画像及び第２画像を含む複数の画像を、表示画面内に関連付けた状態で表示する。

以下、主に撮像装置１を主体として説明するが、撮像に係わる機能や動作以外については、表示装置２を主体として同様に実現できる。

［撮像装置－外観］
図４は、撮像装置１の外観の構成例を示す。図４の左側には、撮像装置１の筐体４００の背面から見た構成を示し、右側には筐体４００の右側面から見た構成を示す。背面は表示部４１の表示画面４０１が設けられた方の面とし、前面は撮像部１０３のレンズ４０２が設けられた方の面とする。

側面の構成において、筐体４００の正面中心位置には、レンズ部３２のレンズ４０２が配置されている。また、主要な筐体４００に対して例えば上方に張り出す状態で電子ビューファインダ（ＥＶＦ）４０３が設けられている。ＥＶＦ４０３は表示装置１０４の１つである。

背面の構成において、前述のタッチパネルに対応する矩形の表示画面４０１が配置されており、情報表示やタッチ入力操作が可能となっている。また、ＥＶＦ４０３は、表示画面４０４及び近接センサ４０５を有する。ＥＶＦ４０３は、撮影の際にレンズ及び撮像素子を介して入力されている信号に基づいて、被写体の画像をモニタ画像として表示する。ユーザは、ＥＶＦ４０３のモニタ画像を確認しながら撮影が可能である。表示画面４０４には、絞り値等の情報を重ね合わせて表示してもよい。近接センサ４０５は、物体の近接を検出する。近接センサ４０５は、静電容量方式、光学方式等がある。例えば、制御部１０１は、近接センサ４０５を通じて近接の有無の検出により、ユーザによるＥＶＦ４０３の使用有無を判断する。制御部１０１は、その判断に応じて、表示画面４０１での表示と、ＥＶＦ４０３の表示画面４０４でのモニタ画像の表示とを自動的に切り替える。なお、ＥＶＦ４０３に限らず、光学ファインダを搭載する形態でもよい。また、表示画面４０１にモニタ画像を表示するモードも設定可能である。

筐体４００には、操作入力部１０５として、モード設定ダイヤル４３１、シャッターボタン４３２、十字キー４３３、再生表示モードボタン４３４、電源ボタン４３５、等が設けられている。十字キー４３３には、上下左右ボタンや中心ボタンを含み、表示画面４０１内の所望の位置の情報の選択、決定やキャンセル等の入力に用いることができる。表示画面４０１では、所定の入力操作に基づいて、メニュー表示も可能である。

モード設定ダイヤル４３１は、動作モードの設定に用いられる。シャッターボタン４３２は、撮影の際に押下される。再生表示モードボタン４３４は、表示画面４０１に再生表示する際に用いられ、再生表示モードの切り替えも可能である。電源ボタン４３５は、電源オン／オフ等に用いられる。ユーザは、表示画面４０１または表示画面４０４にモニタ画像を表示して、所望の位置にタッチしてフォーカスを合わせる等、各種の入力操作が可能である。

［撮像装置－動作モード］
撮像装置１の動作モードとして撮影モードの動作概要については以下である。ユーザが電源ボタン４３５を押して電源オン状態にすると、通常撮影モードが起動される。制御部１０１は、通常撮影モードに応じて、撮像部１０３等を駆動制御する。通常撮影モードでは、画像として静止画や動画の撮影が可能である。撮影時、制御部１０１は、撮像部１０３から所定の周期で撮像信号を読み出し、インタフェース回路部１３１を経て、信号処理部１３２で所定の信号処理を施し、表示用の形式の映像信号に変換する。制御部１０１は、その映像信号に基づいて、表示装置１０４のタッチパネルの表示画面４０１またはＥＶＦ４０３の表示画面４０４に、リアルタイムでモニタ画像を表示する。ユーザは、表示画面４０１または表示画面４０４のモニタ画像を確認しながら以下のように撮影を行う。

ユーザは、操作入力部１０５を通じて設定部１４に撮影条件として画角関連情報等を設定する。静止画を撮影する場合、ユーザは、シャッターボタン４３２を押す。撮像制御部１１は、シャッターボタン４３２の押下を検出し、設定されている撮影条件に従って、絞り値やシャッター速度やフォーカス等を決定する。シャッターボタン４３２は、例えば半押し、全押しの状態がある。撮像制御部１１は、半押し状態の時にフォーカス等を設定し、全押し状態の時に撮像を開始するように制御する。

撮像部１０３によって撮像された静止画の撮像信号は、信号処理部１３２及びメモリ１３３を用いて、静止画用の所定の信号処理が施される。その際の符号化方式としては例えばＪＰＥＧを適用するが、他の方式としてＭＰＥＧや高画質のＲＡＷ形式等を適用してもよい。符号化された静止画データに対応する画像ファイル２４は、例えば記録部１０６で記録媒体１０７に記録される。

動画を撮影する場合、ユーザは、動画撮影ボタンを押下して動画撮影を開始し、動画撮影ボタンを再度押下して動画撮影を停止する。動画の撮像信号は、動画用の所定の方式の信号処理が施される。その方式としては、例えばＨ２６４やＨ２６５等のＭＰＥＧ、その他の形式が適用される。符号化された動画データは、同様に例えば記録媒体１０７に記録される。

再生表示モードの動作概要については以下である。制御部１０１は、再生表示モードボタン４３４により再生表示モードに設定されたことを検出すると、記録部１０６の記録媒体１０７から画像ファイル２４を読み出して記憶部１０２に格納する。表示制御部１２は、画像データ２３から、信号処理部１３２を用いて、復号化処理により画像の元データを復元し、表示画面に画像等を表示するための映像データを生成する。表示制御部１２は、映像データに基づいて表示装置１０４を制御し、表示画面に画像等を表示する。

［管理情報及び画像ファイル］
図５は、記憶部１０２の管理情報２１及び画像ファイル２４の構成例を示す。管理情報２１は、画像ファイル管理情報と、関連付け管理情報とを含む。画像ファイル管理情報は、公知のファイルシステムにより管理する情報であり、例えばファイル名、更新日時、種類、サイズ等の情報を含む。関連付け管理情報は、複数の画像の関係を管理するために作成される特有の情報である。関連付け管理情報は、例えば、種別識別子、参照識別子、設定文字列を含む。

種別識別子は、画像ファイル２４毎に、その画像の種別を識別するための識別子である。画像の種別は、例えば、広角画像と狭角画像との２つがある。参照識別子は、複数の画像間での関連付けの参照のための識別子である。参照識別子は、例えば、第１画像とそれに関連付けられる第２画像とがある場合に、第１画像に持つ参照識別子として、参照先の第２画像の画像ファイル２４のファイル名である。また、第２画像に持つ参照識別子として、参照元の第１画像の画像ファイル２４のファイル名である。参照識別子は、第１画像及び第２画像が属するグループの識別子を持たせてもよい。設定文字列は、ユーザ操作に基づいてユーザが任意に設定可能である文字列である。ユーザは、画像の編集及び管理作業の際に、画像に例えば撮影場所を表す文字列を設定可能である。なお、関連付け管理情報内に設定文字列を設けているが、メタデータ２２内に設定文字列を設けてもよい。

画像ファイル２４は、メタデータ２２と、画像データ２３とを含む。画像ファイル２４のヘッダ部にメタデータ２２を有し、ボディ部に画像データ２３を有する。画像データ２３は、静止画または動画のデータであり、記録用の場合には符号化データである。メタデータ２２は、画像データ２３に関する各種の属性値を含む情報を管理するデータであり、言い換えると、付属情報、属性情報である。メタデータ２２は、情報項目として、撮影日時、撮影場所、機種、解像度、撮影方向、画角、画角関連情報、回転角、サムネイルを含む。

撮影日時は例えば年月日時分秒である。撮影場所は、位置情報または設定文字列を含む。位置情報は、位置検出部１１３により検出された位置座標｛緯度，経度，標高｝を含む。設定文字列は、ユーザにより設定された撮影場所を表す文字列である。機種は、撮像装置１の種類を一意に表す情報である。機種は、レンズ種類等を含んでもよい。解像度は、画像データ２３の画像の解像度を表す。

撮影方向は、方位角（θとする）、仰角（φとする）を含む情報である。画角は、水平画角（Ａｈとする）、垂直画角（Ａｖとする）を含む情報である。画角関連情報は、電子ズーム倍率（ｎとする）、焦点距離（ｆとする）、撮像素子の撮像面の寸法、等の情報である。焦点距離ｆは、３５ｍｍ換算焦点距離である。寸法は｛水平サイズｓｗ，垂直サイズｓｈ，対角サイズｓｄ｝とする。なお、メタデータ２２において、画角項目と画角関連情報項目との一方のみを設ける形式としてもよい。

回転角は、言い換えると撮像時のレンズの光軸を軸とした回転であり、撮像時の画像の回転を表す角度である。例えば、図４のように撮像装置１を水平面に対して筐体４００の横方向が一致する状態を基準とした角度や方向である。いわゆる横撮りの場合、その基準の状態に対応して回転角が０度に近い状態となる。画角の比として水平画角が垂直画角よりも大きい画像の場合には、横長の画像となる。いわゆる縦撮りの場合、その基準の状態に対して回転角が９０度に近い状態となる。

サムネイルは、画像の元データに基づいた縮小画像である。サムネイルは、画像の解像度や種別等に応じて構成され、符号化有りまたは符号化無しで記録される。サムネイルが予め作成及び保持される場合には、再生表示の際に高速にサムネイルが表示可能である。サムネイルは、異なる解像度等で複数の種類のサムネイルが作成及び保持されてもよい。サムネイルは、省略でもよいし、メタデータ２２とは別に管理されてもよい。表示制御部１２は、再生表示の都度にサムネイルを作成して表示してもよい。

なお、メタデータ２２は、所定の形式、例えばＥｘｉｆ（Exchangeable image file format）に基づいて拡張した形式であるが、これに限定しない。Ｅｘｉｆは、デジタルカメラの写真用の形式である。Ｅｘｉｆでは、機種や撮影条件情報を、メタデータとして画像データに埋め込む。画像表示や画像編集のソフトウェアは、このメタデータを参照でき、また、ユーザはメタデータの情報を編集可能である。従来のＥｘｉｆの画像ファイルのメタデータには、画角等の情報は含まれていない。実施の形態１では、拡張した形式として、メタデータ２２の中に、特有の情報項目として、画角、画角関連情報等の項目を設けている。

メタデータ２２は、画像ファイル２４のヘッダ部として作成及び管理されているが、画像データファイルとは別に、メタデータファイルとして作成及び管理されてもよい。また、メタデータ２２を用いて特有の情報を管理する形態に限らず、管理情報２１の中で同様の情報をまとめて管理する形態としてもよい。なお、動画の場合、メタデータ２２等の各種情報については、例えば所定の時間間隔の画像フレーム毎に記述されてもよい。その時間間隔は一定でもよいし、画角等に変化があった時のみとしてもよい。

［複数の画像の関係の管理］
図６は、複数の画像の関係に関する関連付け管理について示す。制御部１０１は、例えば、図５の管理情報２１のうちの関連付け管理情報において、図６のような関係を管理する。説明上、基準側画像を第１画像とし、第１画像に対して関係を持つ参照側画像を第２画像とする。図６の例では、第１画像として、画像Ｇ１，Ｇ２，Ｇ３，Ｇ４等を有する。第１画像が広角画像の場合もあるし狭角画像の場合もある。第２画像が広角画像の場合もあるし、狭角画像の場合もある。

画像Ｇ１は、種別が狭角である狭角画像であり、方位角θ１、仰角φ１、水平画角Ａｈ１、垂直画角Ａｖ１等を持つ。画像Ｇ１に関連付けられている第２画像として、画像ｇ１１，ｇ１２，ｇ１３を有する。画像ｇ１１，ｇ１２，ｇ１３は、種別が狭角である狭角画像である。例えば画像ｇ１１は、方位角θ１１、仰角φ１１、水平画角Ａｈ１１、垂直画角Ａｖ１１等を持つ。これらの画像Ｇ１及び画像ｇ１１，ｇ１２，ｇ１３は、所定の関係を持つ複数の画像として関連付けられている。これらの画像は、同じグループ、例えば第１グループに属する画像群として関連付けられている。

画像Ｇ２は、種別が広角である広角画像であり、方位角θ２、仰角φ２、水平画角Ａｈ２、垂直画角Ａｖ２等を持つ。画像Ｇ２に関連付けられている第２画像として、画像ｇ２１，ｇ２２，ｇ２３を有する。画像ｇ２１，ｇ２２，ｇ２３は狭角画像である。例えば画像ｇ２１は、方位角θ２１、仰角φ２１、水平画角Ａｈ２１、垂直画角Ａｖ２１等を持つ。これらの画像は、第２グループに属する。

画像Ｇ３は、狭角画像であり、方位角θ３、仰角φ３、水平画角Ａｈ３、垂直画角Ａｖ３等を持つ。画像Ｇ３に関連付けられている第２画像として、画像ｇ３１，ｇ３２を有する。画像ｇ３１は広角画像、画像ｇ３２は狭角画像である。これらの画像は、第３グループに属する。

画像Ｇ４は、広角画像であり、方位角θ４、仰角φ４、水平画角Ａｈ４、垂直画角Ａｖ４等を持つ。画像Ｇ４に関連付けられている第２画像として、画像ｇ４１，ｇ４２を有する。画像ｇ４１は広角画像、画像ｇ４２は狭角画像である。これらの画像は、第４グループに属する。

なお、例えば画像ｇ１１を基準側の第１画像としてみた場合、画像Ｇ１の方が参照側の第２画像となる。また、例えば画像ｇ１１を基準側の第１画像として、その画像ｇ１１に対して更に他の画像が第２画像として関連付けられている場合もある。

関連付け情報の例としては、第１画像の画像ファイルに持たせる参照識別子として、各第２画像の画像ファイル名を有する。また、各第２画像の画像ファイルに持たせる参照識別子として、第１画像の画像ファイル名を有する。また、関連付けられる各画像に持つ参照識別子として、グループ識別子を有する。これらにより、関係を持つ画像間で相互に参照可能である。

なお、１つの表示モードとして、表示画面に、図６のような複数の画像の関係を表す情報を表示してもよい。その際、図６のように第１画像と第２画像とをツリー構造で表示してもよいし、図示しないが第１画像のノードの周りに第２画像のノードをリンク線で接続した状態で表示してもよい。

実施の形態１では、画像の種別として、画角に関する広角と狭角とを区別する。撮像装置１は、閾値に基づいて画角を絶対値で区別する。画角に関する閾値が設定されている。制御部１０１は、撮像した画像の画角が、閾値の画角以上である場合には、種別として広角画像とし、閾値の画角未満である場合には狭角画像とする。これに限らず、画角の種別は、３種類以上を設けてもよい。

［画像の撮影方向及び画角］
図７は、複数の画像の具体例として、広角画像及び狭角画像に関する撮影方向や画角の関係について、概念を簡易的に示す。図７では、特に方位角及び水平画角について示す。本例では、画像６ａ、画像６ｂ、画像６ｃ、画像６ｄを有する。画像６ａ，６ｂ，６ｃは狭角画像、画像６ｄは広角画像である。これらの画像は、ユーザにより撮像装置１を用いて同じ場所である撮影地点である点Ｐ０で撮影された画像とする。各画像は、例えば画像６ｄ、画像６ａ、画像６ｂ、画像６ｃの順で近い日時に撮影されたとする。各画像の撮影日時は、例えば、画像６ｄが２０１６年１月５日１３時１０分０秒、画像６ａが同日１３時１１分３０秒、画像６ｂが同日１３時１４分４０秒、画像６ｃが同日１３時１５分５０秒である。

画像６ａは、方位角θａで示す撮影方向７ａ、水平画角Ａｈａに対応する撮影範囲７０１を有する。画像６ｂは、方位角θｂで示す撮影方向７ｂ、水平画角Ａｈｂに対応する撮影範囲７０２を有する。画像６ｃは、方位角θｃで示す撮影方向７ｃ、水平画角Ａｈｃに対応する撮影範囲７０３を有する。画像６ｄは、撮影方向が画像６ａの撮影方向７ａと同じであり、水平画角Ａｈｄに対応する撮影範囲７０４を有する。図７では、画像の撮影方向のうち、方位角θで規定される撮影方向を、一点鎖線で示している。

点Ｐ０は、特に撮像部１０３のレンズ４０２の中心点を示す。球面６００は、全天球の球面を示し、無限遠点を捨象した仮想的な球面である。球面６００は、特に、方位角θ及びＸ－Ｙ平面に対応する円周の部分を示す。Ｎは北向き、Ｅは東向き、Ｓは南向き、Ｗは西向きを示す。Ｘ方向が東向き、Ｙ方向が北向きに対応しており、Ｚ方向は天頂方向に対応している。方位角θは、Ｎを基準の０°として、時計回りを正方向として、Ｅが＋９０°、Ｓが＋１８０°、Ｗが＋２７０°（－９０°）として示す。

球面６００上の円弧で示す撮影範囲７０１は、画像６ａのうちの水平画角Ａｈａに対応する部分を示し、点Ｐ０から見た球面６００に投影される領域に相当する。本例では、球面６００上、画像に写される風景として、山６１１や空、塔６１２やビル６１３等がある場合を簡易的に示す。画像６ｂは塔６１２を撮影した例、画像６ｃはビル６１３を撮影した例である。

各画像の方位角θ、仰角φ、水平画角Ａｈ、垂直画角Ａｖの値の具体例は以下である。画像６ａの方位角θａ、仰角φａ、水平画角Ａｈａ、垂直画角Ａｖａとし、画像６ｂの方位角θｂ、仰角φｂ、水平画角Ａｈｂ、垂直画角Ａｖｂとし、画像６ｃの方位角θｃ、仰角φｃ、水平画角Ａｈｃ、垂直画角Ａｖｃとする。また、画像６ｄの方位角θｄ＝θａ、仰角φｄ＝φａ、水平画角Ａｈｄ、垂直画角Ａｖｄとする。
θａ＝＋１０°， φａ＝０°， Ａｈａ＝２１°， Ａｖａ＝１４°
θｂ＝＋４５°， φｂ＝０°， Ａｈｂ＝２１°， Ａｖｂ＝１４°
θｃ＝－２０°， φｃ＝－１０°， Ａｈｃ＝２１°， Ａｖｃ＝１４°
θｄ＝＋１０°， φｄ＝０°， Ａｈｄ＝１２０°， Ａｖｄ＝８０°

図８は、図７と同様に、特に仰角φ及び垂直画角Ａｖについて示す説明図である。図８では、別の画像６ｅである狭角画像の例で示す。図８では、Ｘ方向が水平方向、Ｚ方向が鉛直方向に対応している。Ｚ方向における正方向が頭、天頂方向に対応し、負方向が足元の方向に対応する。仰角φは、水平方向を基準として０°とし、Ｚ方向の天頂方向では＋９０°、足元の方向では－９０°とする。画像６ｅの方位角θｅ、仰角φｅ、水平画角Ａｖｅ、垂直画角Ａｈｅとする。画像６ｅの垂直画角Ａｖｅに対応する撮影範囲７０５を示す。画像６ｅの撮影方向７ｅは、仰角φｅに対応する部分を示す。

［画角及び画角関連情報］
図９は、画角及び画角関連情報について簡易的に示す。また、図９では、設定部１４に設定情報として画角及び画角関連情報が記憶される場合を示す。画像の画角として｛水平画角Ａｈ，垂直画角Ａｖ｝を示す。また、画像における水平画角Ａｈに対応する水平サイズＳｈ、及び垂直画角Ａｖに対応する垂直サイズＳｖを示す。水平サイズＳｈは、画像フレーム内水平方向における右端から左端までのサイズである。垂直サイズＳｖは、画像フレーム内垂直方向における上端から下端までのサイズである。なお、実施の形態１では、水平画角Ａｈ及び垂直画角Ａｖを用いるが、これに限らず、対角画角Ａｄを含め、少なくとも１つの画角を用いればよい。

画角関連情報として、光学ズームを考慮したレンズの焦点距離ｆと、電子ズーム倍率ｎと、撮像素子の撮像面の寸法｛水平サイズｓｗ，垂直サイズｓｈ，対角サイズｓｄ｝とを用いる。寸法の代わりに、機種を用いてもよい。焦点距離ｆは、３５ｍｍ換算焦点距離である。

画角は、画角関連情報を用いて、関係式に基づいて計算して得ることも可能である。制御部１０１は、画角を計算するのに十分な画角関連情報がある場合、画角関連情報から画角を計算して求めてもよい。画角は、例えば撮像素子の寸法と、焦点距離ｆと、電子ズーム倍率ｎとを用いて計算可能である。例えば３５ｍｍ換算焦点距離あるいは撮像素子の寸法等の情報を用いて、逆正接（ａｒｃｔａｎ）として一意に決まる関係式から画角が計算できる。

画角関連情報から画角を計算する場合には以下である。撮像制御部１１は、画像に関する画角関連情報を参照する。撮像制御部１１は、画角関連情報を、前述の設定部１４の設定情報、あるいはメタデータ２２または管理情報２１に記述されている情報から把握可能である。画角｛水平画角Ａｈ，垂直画角Ａｖ，対角画角Ａｄ｝は、例えば以下の式から計算可能である。
Ａｈ＝２×ａｒｃｔａｎ（ｓｗ／（２×ｎ×ｆ）） ・・・（１）
Ａｖ＝２×ａｒｃｔａｎ（ｓｈ／（２×ｎ×ｆ）） ・・・（２）
Ａｄ＝２×ａｒｃｔａｎ（ｓｄ／（２×ｎ×ｆ）） ・・・（３）

例えば、電子ズーム倍率ｎ、焦点距離ｆ、寸法｛水平サイズｓｗ，垂直サイズｓｈ｝が与えられると、水平画角Ａｈ１及び垂直画角Ａｖ１が決まる。制御部１０１は、その画角の情報を、メタデータ２２の画角項目、または管理情報２１内に記述する。また、画角関連情報から画角が計算可能であるため、撮像装置１は、メタデータ２２等の１つとして、上記画角を保存する代わりに、上記画角関連情報を保存してもよい。また、機種から画角関連情報の撮像素子の寸法等が把握可能であるため、撮像装置１は、メタデータ２２等の１つとして、撮像素子の寸法等の代わりに、機種を保存してもよい。例えば、撮像装置１は、予め、機種と画角関連情報との対応関係を表す情報を保持している。あるいは、撮像装置１は、通信により、外部の装置から、その対応関係を表す情報を参照可能である。撮像装置１は、その情報に基づいて、機種から画角関連情報を得ることができる。

撮像装置１は、画像を撮像した際、撮影日時、撮影方向｛方位角θ，仰角φ｝、画角｛水平画角Ａｈ，垂直画角Ａｖ｝等を含む情報を作成する。撮像制御部１１は、内部時計１１２により撮影日時を得る。撮像制御部１１は、位置検出部１１３により位置情報｛緯度，経度，標高｝を得る。撮像制御部１１は、撮影方向計測部１１１により撮影方向｛方位角θ及び仰角φ｝を得る。撮像制御部１１は、設定部１４の設定情報または計算により、画角｛水平画角Ａｈ，垂直画角Ａｖ｝を得る。そして、撮像装置１は、それらの情報を、図５のメタデータ２２の対応する項目に記述し、画像データ２３と共に、画像ファイル２４として作成する。

［表示画面－表示モード］
図１０は、表示部４１の表示画面４０１の表示モード及びその遷移について示す。撮像装置１は、再生表示モードである表示モードとして、少なくとも、第１表示モード、第２表示モード、第３表示モードを有する。撮像装置１は、例えば、最初は第１表示モードで表示し、ユーザ操作に基づいて、表示モードを切り替える。

撮像装置１は、後述するが、撮影後または再生表示の際に、画像の撮影場所や撮影日時等の判断や、撮影方向及び画角等の判断に基づいて、複数の画像の関連付けを行い、複数の画像にグループを設定し、関連付け管理情報を作成する。撮像装置１は、画像の再生表示の際、メタデータ２２（少なくとも撮影方向情報）や関連付け管理情報に基づいて、関係を持つ同じグループの複数の画像を、以下のように表示画面４０１内に関連付けた状態で表示する。

［第１表示モード－第１画面］
第１表示モードは、全画像の情報に関する一覧表示を行うモードであり、フォルダ画面を表示するモードである。第１表示モードの第１画面では、フォルダの複数の画像の情報を、例えばファイル名や日時等をキーとした順序で一覧表示する。本例では、複数の画像として画像ｊ１，ｊ２，ｊ３等の情報を、上から順に並べて表示している。各画像の行では、画像のアイコンまたはサムネイル、ファイル名、撮影日時、種別、その他の情報を表示している。本例では画像ｊ１，ｊ２，ｊ３の種別が狭角である。その他の情報としては、撮影方向｛方位角θ，仰角φ｝や画角｛水平画角Ａｈ，垂直画角Ａｖ｝等の属性値を表示してもよい。ユーザは、第１画面に表示しきれない情報については、スクロール等させて表示可能である。第１画面は、このようなフォルダ画面に限らず、公知の各種の方式が可能である。例えば、複数の画像のサムネイルを所定方向または縦横等の２次元状に並列配置して表示する画面等が可能である。

第１画面で、ユーザにより所望の第１画像、例えば画像ｊ１が選択操作される。画像ｊ１は図６の画像Ｇ１や、図７の画像６ａに相当するとする。撮像装置１は、選択された第１画像に関連付けられる第２画像が存在する場合、第２表示モードの第２画面へ遷移させる。画像ｊ１には、例えば画像ｊ２，ｊ３等が関連付けられるとする。画像ｊ２，ｊ３等は、図６の画像ｇ１１，ｇ１２や、図７の画像６ｂ，６ｃに相当するとする。画像ｊ１～ｊ３の関係は、図６の第１グループに相当するとする。
［第２表示モード－第２画面（１）－サムネイル、第１グループ］

第２表示モードは、複数の画像における関連付け表示を行う特有のモードである。表示制御部１２は、画像ファイル２４及び管理情報２１に基づいて、第２画面を表示する。第２表示モードの第２画面では、まず全体的に所定の背景領域５０が設けられている。背景領域５０は、黒色領域等であり、ユーザ設定可能である。背景領域５０は、表示画面４０１の縦横のサイズ以上のサイズを持ち、複数の画像の画角範囲を包含する十分な大きさを持つ。

表示制御部１２は、表示画面４０１内の背景領域５０上に、関係を持つ複数の画像を関連付けた状態で表示する。表示画面４０１及び背景領域５０の中心点を点ｐ０とする。背景領域５０上の点ｐ０には、選択された第１画像である画像ｊ１を表す図形６１が表示される。図形６１の中心点ｐ１が点ｐ０に配置される。実施の形態１では、第１画像の図形６１はサムネイルである。背景領域５０上、画像ｊ１の図形６１の周りには、関係を持つ第２画像を表す図形として、画像ｊ２を表す図形６２、画像ｊ３を表す図形６３が表示されている。図形６２の中心点ｐ２、図形６３の中心点ｐ３を示す。第２画像の図形６２や図形６３は、例えばサムネイルである。第２画像の図形６２等の表示位置は、第１画像の図形６１の表示位置に対し、撮影方向及び画角の関係に応じて決められている。また、各サムネイルの表示サイズは、画角に対応したサイズに決定されている。

第２画面では、ユーザ操作に従い、スクロールや拡大縮小等の動作によって表示状態を変更できる。例えば、第２画面内のスワイプ等の操作により、背景領域５０に対応した範囲でのスクロールや拡大縮小ができる。表示状態の変更の際には、複数の画像の位置関係等が維持される。

第２画面でユーザにより所望の第１画像または第２画像の図形が選択操作される。選択操作は、例えば図形のタップ等である。その場合、撮像装置１は、選択された画像を表示する第３表示モードの第３画面へ遷移させる。本例では第２画像である画像ｊ２の図形６２が選択された場合を示す。また、第２画面で、第１表示モードへ戻るための所定の操作が行われた場合、撮像装置１は、第１表示モードの第１画面へ戻す。所定の操作は、例えば、第１表示モード指定入力、戻るボタン押下、背景領域５０のタップ等である。

このように、第２画面では、関係を持つ複数の画像が、サムネイルの状態で、相互の位置関係、撮影方向や画角等を含む関係が一目瞭然なように表示される。ユーザは、複数の画像の関係を直感的に把握でき、第１画像から第２画像を容易に参照できる。なお、説明上図示している中心点や中心線等については非表示とするが、それらを閲覧補助情報として画面内に表示してもよい。

［第３表示モード－第３画面］
第３表示モードは、指定された単一の画像である狭角画像または広角画像に関する詳細表示を行うモードである。本例では、第３画面で狭角画像である画像ｊ２を全体に拡大表示する例を示している。単一の広角画像の表示も同様に可能である。最初、表示画面４０１の中心の点ｐ０に、対象画像である画像ｊ２の撮影方向（θ，φ）に対応する中心点ｐ２が配置された状態で表示される。表示制御部１２は、表示画面４０１内に画像の全体が表示できない場合には、画像の一部、即ち画角の一部の状態で表示してもよいし、縮小して全体が収まる状態として表示してもよい。第３画面で、ユーザ操作に従い、スクロールや拡大縮小等により表示状態を変更できる。広角画像の表示の場合、広角画像の全体が表示しきれない場合には、最初に広角画像の撮影方向を点ｐ０に合わせて広角画像の一部が表示され、その後、スクロール等に応じて表示状態が変更される。同様に、第２画面で第１画像である画像ｊ１の図形６１が選択された場合、撮像装置１は、第３画面で画像ｊ１のみを詳細表示する。

第３画面で、所定の操作、例えば第２表示モード指定入力、戻るボタン押下、画像領域のタップ等がされた場合、撮像装置１は、第２表示モードの第２画面に戻す。なお、第２表示モードから第３表示モードへの遷移に限らず可能である。第１表示モードから所定の操作により第２表示モードを経由せずに直接的に第３表示モードに遷移させる動作モードも可能であり、ユーザ設定等に応じて動作モードを選択可能である。

［第２表示モード－第２画面（２）－マーク］
図１１は、変形例として、第２表示モードの第２画面の別の表示例を示す。この第２画面では、第１画像の図形６１は同じくサムネイルとし、第２画像を表す図形として、所定のマークとしている。マークは、特に吹き出し形状の場合を示す。マークは、ユーザ設定に基づいて可変である。例えば、中心点ｐ２には画像ｊ２を表すマーク７２、中心点ｐ３には画像ｊ３を表すマーク７３が表示されている。ユーザがマークを選択操作すると、そのマークに対応する画像が、第３表示モードの第３画面で表示される。あるいは、マークの選択操作に応じて、その位置にサムネイル等を表示するようにしてもよい。各マークの表示位置は、画像の撮影方向（方位角θ，仰角φ）に応じて決定されている。このようにマークを表示する形態では、画面表示内容がシンプルになる。

［第２表示モード－第２画面（３）－透過枠］
図１２は、変形例として、第２表示モードの第２画面の別の表示例を示す。この第２画面では、第１画像の図形６１は同じくサムネイルとし、第２画像を表す図形として、透過枠としている。透過枠は、矩形の四辺が線及び色で表示され、その内部は透過領域となっており、背景領域５０の部分がそのまま表示される。例えば、中心点ｐ２には画像ｊ２を表す透過枠８２、中心点ｐ３には画像ｊ３を表す透過枠８３が表示されている。ユーザが透過枠を選択操作すると、その透過枠に対応する画像が、第３表示モードの第３画面で表示される。あるいは、透過枠の選択操作に応じて、その位置にサムネイル等を表示するようにしてもよい。透過枠の表示位置は、画像の撮影方向に応じて決定されており、透過枠の表示サイズは、画像の画角に対応させて決定されている。

第２画面で拡大縮小等がされる場合、表示制御部１２は、変更後の表示状態に対応させるように、サムネイルや透過枠の表示サイズを更新する。このようにサムネイルや透過枠を表示する形態では、複数の画像における画角の関係が把握しやすい。

また、図１２では、第２画像の回転角に関する例を、点ｐ４にある狭角画像を表す透過枠８４で示している。この狭角画像は、回転角として、ｘ方向に対する角度αを有する。

また、表示制御部１２は、第２画面内で、第２画像の図形に対する所定の操作、例えばダブルタップ等に応じて、その第２画像が新たな第１画像として表示画面４０１の中央に来るように表示状態を切り替えてもよいし、それと共に新たな第２画像を参照して表示するようにしてもよい。

［第２表示モード－第２画面（４）－第２グループ］
図１３は、第２画面の別の表示例として、他の複数の画像の場合を示す。本例では、第１画面で選択された第１画像である画像ｊ５が広角画像である。第１画像に関連付けられている第２画像として、画像ｊ６，ｊ７を有し、狭角画像である。本例の複数の画像の関係は、図６の第２グループに相当する。

背景領域５０上の中心の点ｐ０に、画像ｊ５の撮影方向に対応する中心点ｐ５が配置されるようにして、画像ｊ５を表す図形６５であるサムネイルが表示されている。図形６５のサムネイルの表示サイズは、その広角画像の画角に応じて決定されている。本例では、表示画面４０１及び背景領域５０内に、図形６５のサムネイルの全体が収まる場合を示している。図形６５のサムネイルの全体が収まらない場合、広角画像の一部の画角に対応する、サムネイルの一部が表示される。スクロール等に応じて、図形６５のサムネイルの全体が表示可能である。

図形６５上、中心点ｐ６には画像ｊ６を表す図形である透過枠８６が重なるように表示されており、中心点ｐ７には画像ｊ７を表す図形である透過枠８７が重なるように表示されている。このように、第１画像が広角、第２画像が狭角の場合にも、第２画面でそれらの複数の画像の関係を把握できる。

［第２表示モード－第２画面（５）－第３グループ］
図１４は、第２画面の別の表示例として、他の画像の場合を示す。本例では、第１画面で選択された第１画像である画像ｊ１が狭角画像である。第１画像に関連付けられている第２画像として、画像ｊ８，ｊ９を有し、画像ｊ８は広角画像である。本例の複数の画像の関係は、図６の第３グループに相当する。

背景領域５０上の中心の点ｐ０に、画像ｊ１を表す図形６１であるサムネイルが表示されている。背景領域５０上、中心点ｐ８には画像ｊ８を表す図形である透過枠８８が表示されている。中心点ｐ９には画像ｊ９を表す図形である透過枠８９が表示されている。本例では、画像ｊ１のサムネイルの外側に、画像ｊ８の透過枠８８が広がっている。画像ｊ８の透過枠８８は、表示画面４０１内に収まらず、一部が背景領域５０上に表示されている場合を示す。スクロール等に応じて、透過枠８８の他の一部が表示可能である。このように、第１画像が狭角、第２画像が広角の場合にも、第２画面でそれらの複数の画像の関係を把握できる。

［第２表示モード－第２画面（６）－第４グループ］
図１５は、第２画面の別の表示例として、他の画像の場合を示す。本例では、第１画面で選択された第１画像である画像ｊ５が広角画像である。第１画像に関連付けられている第２画像として、画像ｊ８，ｊ９を有し、画像ｊ８は広角画像である。本例の複数の画像の関係は、図６の第４グループに相当する。

背景領域５０上の中心の点ｐ０に、画像ｊ５を表す図形６５であるサムネイルが表示されている。背景領域５０上、中心点ｐ８には画像ｊ８を表す図形である透過枠８８が表示されている。本例では、画像ｊ５のサムネイルと画像ｊ８の透過枠８８とが部分的に重なっている。画像ｊ８の透過枠８８は、表示画面４０１内に収まらず、一部が背景領域５０上に表示されている場合を示す。このように、第１画像、第２画像が共に広角の場合にも、第２画面でそれらの複数の画像の関係を把握できる。

［第２表示モード－第２画面（７）－スクロール］
図１６は、第２表示モードの第２画面の別の表示例として、スクロール例を示す。この第２画面では、背景領域５０は、方位角θ及び水平画角Ａｈとして３６０°の範囲に対応したｘ方向の幅を有する。表示画面４０１内には、背景領域５０の一部の画角範囲に対応する部分が表示され、ｘ方向のスクロール等により表示状態の変更が可能である。背景領域５０上には、複数の画像が、撮影方向及び画角に応じた位置に配置されている。最初、第１画像の図形６１が点ｐ０に配置されて表示される。図１６の背景領域５０の右端はθ＝１８０°、左端は－１８０°に対応しており、左右端は表示がループするようにつながっていてもよい。表示画面４０１ｂは、ｘ方向のスクロール後の例を示す。これにより、表示画面４０１ｂでは、背景領域５０の一部に含まれている画像の図形、例えば図形１６１等が表示される。

［第２表示モード－第２画面（８）－拡大縮小］
図１７は、第２表示モードの第２画面の別の表示例として、拡大縮小例を示す。図１７の上側は拡大前の状態、下側は拡大後の状態を示す。上側の第２画面において、背景領域５０上、中心の点ｐ０に、第１画像である画像ｒ１の図形１７０１としてサムネイルが表示されている。第１画像に関連付けられる第２画像として、例えば画像ｒ２，ｒ３，ｒ４がある。画像ｒ２は、画像ｒ１と撮影方向が同じである広角画像であり、点ｐ０に図形１７０２として透過枠が配置されている。画像ｒ３は、画像ｒ１と撮影方向が近い狭角画像であり、中心点ｐｒ３に図形１７０３が配置されている。第１画像のサムネイルに対して画像ｒ３が重なる部分が大きくなるので、画像ｒ３の図形１７０３を透過枠としている。中心点ｐｒ４には、画像ｒ４の図形１７０４として透過枠が配置されている。各図形の表示サイズは、画角及び拡大縮小率に基づいて決定されている。

上記状態から、ユーザのピンチ等の操作に応じて、所望の部分が拡大表示される。拡大する部分を枠１７００で示す。下側の第２画面において、枠１７００の部分が表示画面４０１の全体に表示されている。各画像は、画角等の関係が維持されたまま拡大表示されている。画像ｒ１の図形１７０１は、拡大により、サムネイルではなく拡大画像１７０１ｂとして表示されている。拡大画像１７０１ｂは、画像ｒ１の元の画像データ２３またはサムネイルに基づいて生成され、高精細表示の場合には元の画像データ２３を用いて生成される。

［第２表示モード－第２画面（９）－全天球背景］
図１８は、実施の形態１の第２表示モードの第２画面の別の表示例を示す。この第２画面では、表示画面４０１内に、背景領域５０として、矩形ではなく、半天球の球面に対応する円形の領域が設けられている。第２画面の円形の背景領域５０内に、関係を持つ複数の画像が表示される。関係を持つ複数の画像の例として、画像Ｊ１～Ｊ５を有する。背景領域５０の円形の中心点を点Ｏとする。点Ｏには、最初、第１画像、例えば画像Ｊ１を表す図形６０１としてサムネイルが表示される。点Ｏは、第１画像の撮影方向（方位角θ，仰角φ）に対応する点である。背景領域５０の半天球の球面における任意の位置の点を、（方位角θ，仰角φ）で表すことができる。本例では、点Ｏが（θ＝０°，φ＝０°）の場合を示す。また、背景領域５０の円形の上端、下端、左端、右端には、閲覧補助のための方位情報を表示しているが、省略してもよい。本例では、方位情報として、球面内の視点方向に応じて変わる方位角度を表示している。上端の点は（０°，９０°）、下端の点は（０°，－９０°）、右端の点は（９０°，０°）、左端の点は（０°，－９０°）に対応する。

撮像装置１は、関係を持つ複数の画像における各画像について、撮影方向及び画角等の情報に基づいて、撮影位置から視点方向に応じて背景領域５０の球面に投影した投影画像領域を、その画像を表す図形として生成する。本例では、画像Ｊ１に関連付けられる第２画像として画像Ｊ２～Ｊ５を有し、各第２画像を表す図形６０２～６０５を示す。図形６０２～６０５は、例えばサムネイルであるが、前述の透過枠やマーク等にしてもよい。

ユーザは、第２画面での操作に応じて、任意の視点方向から全天球の球面を見ることができる。撮像装置１は、その視点変更の操作に応じて、公知の画像処理により、背景領域５０の半天球内の複数の画像の表示状態をリアルタイムに変更する。視点変更の操作は、背景領域５０内のスワイプ等によるスクロールとしてもよいし、背景領域５０外にある上下左右のスクロールボタン操作や同様のハードウェアボタン操作等としてもよい。また、ピンチ等の操作に応じて背景領域５０の画像の拡大縮小も可能である。この第２画面で、ユーザは、背景領域５０の全天球の球面を所望の視線方向でみた状態で、複数の画像の関係を閲覧できる。

表示画面４０１の左上には、現在の表示モードが第２表示モードであることや、中心の第１画像が画像Ｊ１であることを示す情報が表示されている。表示画面４０１の左下には、関連画像である第２画像の表示を切り替える項目が設けられている。この項目のオン状態では図示するように第１画像及び第２画像を表示し、オフ状態では第２画像を非表示として第１画像のみを表示する。表示画面４０１の右下には、戻るボタンや表示モード切り替えボタンが設けられている。戻るボタンにより第１画面の元の状態へ戻ることができ、表示モード切り替えボタンにより表示モードを選択して遷移することができる。この第２画面でも、単一画像の選択操作に応じて第３表示モードの第３画面で詳細表示可能であり、第３画面での所定の操作に応じて第２画面の元の状態に戻ることができる。

画像Ｊ１～Ｊ５の撮影方向及び画角の具体例は以下である。画像Ｊ１は、（θ，φ）＝（０°，０°）、｛水平画角Ａｈ，垂直画角Ａｖ｝＝｛７４°，５３°｝である。同様に、画像Ｊ２は（０°，４０°）、｛１４°，７°｝である。画像Ｊ３は（４５°，０°）、｛５４°，３８°｝である。画像Ｊ４は（３４０°，－３０°）、｛２７°，４０°｝である。画像Ｊ５は（３１０°，２０°）、｛１７°，１１°｝である。画像Ｊ１は、図７の北向き、図８の水平向きで撮影した画像であり、３５ｍｍ換算で２４ｍｍ相当の焦点距離ｆで、横撮り（回転角＝０°）をした画像である。画像Ｊ４は、縦撮り（回転角＝９０°）をした画像である。

背景領域５０上に表示される各画像のサムネイルや透過枠の表示サイズは、その画像の画角情報に基づいて、画角に比例した大きさ等、所定の関係式に基づいて決定される。但し、焦点距離が大きくなり画角が小さくなると、サムネイルのサイズも小さくなる。そのため、サムネイル等の表示サイズには予め最小値を設定しておき、表示サイズをその最小値以上となるように決定してもよい。

なお、背景領域５０の半球面に表示される投影画像の図形は、正確には矩形ではなく、半径方向に応じて歪みを持つ図形、即ち円周方向の円弧を持つ図形となる。本例では投影画像の図形を簡易的に矩形で図示している。投影画像の図形は、本例のように矩形の表示としてもよいし、正確に歪みを持つ図形の表示としてもよい。歪みを持つ図形の表示とする場合の処理方法は以下である。表示制御部１２は、背景領域５０の半球面に表示する図形の生成の際に、対象画像の画像データ２３またはメタデータ２２内のサムネイルをメモリ１３３に読み出す。表示制御部１２は、その画像データまたはサムネイルに基づいて、信号処理部１３２を用いて、公知の画像処理により、半球面への投影画像を生成する。表示制御部１２は、その投影画像またはその外枠線に対応した透過枠を表示する。投影画像の図形を簡易的に矩形の表示とする場合の処理方法は以下である。表示制御部１２は、上記投影画像の生成処理を省略し、背景領域５０の半球面に画像の図形を表示するための中心点の位置座標を、その画像の撮影方向（θ，φ）に基づいて算出する。表示制御部１２は、算出した中心点に、その画像のサムネイルまたは透過枠を張り付け表示する。

図１９は、上記円形の背景領域５０を持つ第２画面の別の表示例として、視点方向を天頂方向とした場合の表示状態を示す。関係を持つ複数の画像の例として、画像Ｋ１，Ｋ２，Ｋ３を有する。例えば、画像Ｋ１は、撮影方向の方位角θが０°、画像Ｋ２はθ＝９０°、画像Ｋ３はθ＝２２５°とする。この第２画面では、最初、選択された第１画像のサムネイルが、例えば北向きのθ＝０°に対応する位置に配置されて表示される。画像Ｋ２が第１画像として選択された場合には、円形の背景領域５０の上端をθ＝９０°とするように、複数の画像の画角の関係を維持したまま、方位角θを－９０°回転させた状態で表示される。この表示状態の場合、複数の画像の方位角θの関係が認識しやすい。

なお、上述した複数の表示例の構成は、適宜組み合わせた構成としてもよいし、複数の表示例の間で遷移させる構成としてもよい。例えば、図１６の第２表示モードの第２画面のスクロールの表示例や、図１７の拡大縮小の表示例は、第２画面や第３画面のうちの任意画面において適用可能である。また、第２画面において縮小表示操作することにより、狭角の範囲の表示から次第に広角の範囲の表示の状態に遷移し、更に連続的に、図１９の第２画面の全天球背景の表示状態に遷移させるようにしてもよい。逆に、図１９の全天球背景の表示状態から、拡大表示操作に従って、次第に広角の範囲の表示状態に遷移させてもよい。

また、図１６の第２画面では、画面内に表示していない画像をスクロールにより画面内に表示できるが、これに代えて以下としてもよい。撮影方向計測部１１１等を表示モード中でも動作させて、撮像装置１または表示装置２の向きを検知する。これにより、その装置の向きに応じて、その装置の向きと画像の撮影方向とが一致する表示状態となるように、その画像を表示させる。言い換えると、その装置の向きに合わせるように自動的にスクロールを行わせる。

［第４表示モード－第４画面］
図２０は、変形例として、第４表示モードの第４画面を示す。第４表示モードは第１表示モードの変形例である。例えば、図１８等の第２画面で、表示モード切り替えボタン等の所定の操作により第４表示モードが指定された場合、第４画面が表示される。この第４画面は、関係を持つ複数の画像、例えば画像Ｊ１～Ｊ５のサムネイルを、縦横の配列で一覧表示する。例えば、左上には画像Ｊ１のサムネイル、その右隣には画像Ｊ２のサムネイルが表示されている。前述の第１画面では、画像間の関係に係わらず、全画像の情報を一覧表示しているが、第４画面では、同じグループの関係を持つ複数の画像のみを一覧表示している。第４画面からユーザ操作に応じて第１画面、第２画面、第３画面等に遷移可能である。

また、第１画面や第４画面で、広角画像と狭角画像が混在している場合、広角画像のサムネイルと狭角画像のサムネイルを縦横に配置して表示してもよい。その際、サムネイルの表示サイズについては、画像の画角の大きさに応じて決定される異なる表示サイズとしてもよい。例えば、広角画像の水平画角が１８０°以上と大きいパノラマ画像である場合、その広角画像のサムネイルが１行に表示され、その下の行に、複数の狭角画像のサムネイルが並列に表示されてもよい。並列配置の画像数は、一方向において２枚、３枚、４枚等、可変である。

［地図表示モード］
図２１は、変形例として、表示モードの１つとして地図表示モードを設ける場合の表示画面を示す。撮像装置１は、通信網４を通じて外部から地図情報を取得するか、あるいは予め内部に保持している地図情報を用いる。撮像装置１は、地図表示モードに対応する画面として、表示画面４０１内の背景領域５０に地図情報を表示する。撮像装置１は、対象画像である第１画像及び第２画像のメタデータ２２の位置情報に基づいて、背景領域５０の地図上に、各対象画像を表す図形を表示する。例えば、中心の点ｐ０には、その位置が撮影地点である第１画像である画像ｍ１を表す図形６１１としてサムネイルが表示されている。この図形６１１は透過枠やマークとしてもよい。また、点ｐ０の近くにある各点では、その位置で撮影された第２画像を表す図形が例えばマークで表示されている。例えば、点ｐｍ２には第２画像である画像ｍ２を表すマーク６１２が表示されている。これらの複数の画像は、所定の距離範囲内にある関連付けられた画像である。この画面で、ユーザの所定の操作に応じて、他の表示モードの画面に切り替え可能である。また、この画面で、所望の位置の図形が選択操作された場合、第３表示モードの第３画面で詳細表示するようにしてもよいし、その位置にサムネイルを表示するようにしてもよい。

［関連付け方式］
関連付け方式として、関連付けを行うタイミング等に関して、第１方式、第２方式を有する。第１方式は、撮像時に関連付けを行う方式であり、第２方式は、再生表示時に関連付けを行う方式である。実施の形態１では、撮像装置１は、第１方式を用い、表示装置２は、第２方式を用いる。

第１方式では、撮像装置１は、画像を撮像した直後に、関連付け部１５を用いて関連付け処理を行い、その結果、関連付け情報を、メタデータ２２または管理情報２１に記述する。撮像装置１は、その画像を再生表示する際には、メタデータ２２または管理情報２１の関連付け情報の参照から、複数の画像の関係を把握でき、表示画面に第２表示モードで表示する。

第２方式では、表示装置２は、画像ファイル２４に基づいて表示画面に再生表示する際に、関連付け部１５を用いて関連付け処理を行い、その結果、表示画面に第２表示モードで表示する。第２方式で、表示装置２は、再生表示の都度に関連付け処理を行うことにより、メタデータ２２や管理情報２１への関連付け情報の記述を省略してもよい。あるいは、第２方式で、表示装置２は、ある画像の再生表示の初回に関連付け処理を行って、メタデータ２２や管理情報２１に関連付け情報を記述し、その後、その画像の２回目以降の再生表示の際には、関連付け情報を参照して関連付け処理を省略するようにしてもよい。

他の実施の形態の撮像装置１では、第２方式を採用してもよい。いずれの関連付け方式を採用するかについては、実装上固定である形態としてもよいし、ユーザ設定に応じて関連付け方式を選択及び設定可能である形態としてもよい。

［処理フロー（１）］
図２２及び図２３は、実施の形態１の撮像装置１及び表示装置２の処理フローを示す。図２２は、撮像装置１における画像の撮像時の制御処理のフローを示す。図２２はステップS101～S106を有する。画像の撮像毎に同様の処理の繰り返しである。以下、ステップの順に説明する。

（S101） 制御部１０１は、ユーザ操作に基づいて、設定部１４に対し画角等を設定する。撮像制御部１１は、設定部１４の設定情報に基づいて、画角等を把握する。

（S102） ユーザ操作に基づいて、撮像制御部１１は、撮像部１０３を制御して画像を撮像し、画像データ２３を得て記憶部１０２に格納する。撮像制御部１１は、画角または画角関連情報を、画像ファイル２４のメタデータ２２、または管理情報２１に記述する。

（S103） 撮像時に関連付けを行う第１方式か再生表示時に関連付けを行う第２方式かで分岐を行う。第１方式の場合にはS104へ、第２方式の場合にはS106へ進む。即ち、実施の形態１の撮像装置１では第１方式を採用するためS104へ進み、他の実施の形態の撮像装置１で第２方式を採用する場合にはS106へ進む。

（S104） 関連付け部１５は、所定の関連付け処理を行う。これにより、第１画像及び第２画像を含む複数の画像を関連付ける。

（S105） 関連付け部１５は、関連付け処理の結果、関連付け情報を作成し、画像ファイル２４のメタデータ２２、または管理情報２１に記述する。撮像制御部１１は、画像ファイル２４を記憶部１０２に格納し、記録部１０６の記録媒体１０７に記録させる。

（S106） 撮像制御部１１は、この時点では関連付けを行わないので、関連付け情報を含まないメタデータ２２や管理情報２１を作成する。制御部１０１は、画像ファイル２４を記憶部１０２に格納し、記録部１０６の記録媒体１０７に記録させる。

［処理フロー（２）］
図２３は、撮像装置１または表示装置２における、画像の再生表示時の制御処理のフローを示す。図２３の制御は、図１０のように表示モードを遷移させる制御に対応する。図２３はステップS201～S209を有する。以下、ステップの順に説明する。以下、撮像装置１が主体である場合で説明するが、表示装置２が主体である場合も同様である。

（S201） 制御部１０１は、ユーザ操作に基づいて、表示制御部１２により、表示装置１０４の表示部４１の表示画面４０１に、図１０のように第１表示モードの第１画面を表示する。表示制御部１２は、ユーザ入力操作に応じて、第１画面内の画像の選択等を受け付ける。選択された画像を、基準側である第１画像とする。

（S202） 表示制御部１２は、第１方式か第２方式かによって分岐を行う。第２方式の場合にはS203へ、第１方式の場合にはS205へ進む。即ち、実施の形態１の撮像装置１の場合には第１方式であるためS205へ進み、表示装置２の場合には第２方式であるためS203へ進む。

（S203） 表示制御部１２は、再生表示の直前に、関連付け部１５を用いて、複数の画像の関連付け処理を行う。

（S204） 表示制御部１２は、S203の結果、第１画像に関連付けられる第２画像がある場合、その第２画像の画像データ２３を読み出す。

（S205） 第１方式の場合、既に関連付け処理が行われている。表示制御部１２は、第１画像の画像ファイル２４のメタデータ２２または管理情報２１における、関連付け情報を参照して、関連付けを確認する。表示制御部１２は、第１画像に関連付けられている第２画像の画像データ２３を読み出す。

（S206） 表示制御部１２は、S204またはS205の結果の画像データ２３を用いて、表示画面に第２表示モードで第１画像及び第２画像を含む複数の画像を表示する。即ち、表示制御部１２は、図１０の第２画面の例のように、背景領域５０上の中心位置に第１画像の図形を表示し、その周りに第２画像の図形を表示する。表示制御部１２は、ユーザ入力操作に応じて、第２画面内の第１画像や第２画像の図形の選択等を受け付ける。例えば、第１画像のみの閲覧の場合あるいは第２画像のみの閲覧の場合には、対応する図形の選択操作がされる。第１画面に戻る場合には、所定の操作がされる。

（S207） 表示制御部１２は、第２表示モードの第２画面で第１画像または第２画像の図形が選択されたか、あるいは戻る等の操作がされたかによって、分岐を行う。第１画像または第２画像が選択された場合にはS208へ進む。他の操作、例えば戻るボタン押下、第１表示モード指定、背景領域５０のタップ等の操作である場合にはS201へ戻る。

（S208） 表示制御部１２は、S207で選択された図形に対応する画像の画像データ２３を用いて、第３表示モードで第３画面にその画像を詳細表示する。表示制御部１２は、第３画面でのユーザ入力操作を受け付ける。例えば、第２画面に戻る場合には、戻るボタン押下、第２表示モード指定、画像領域のタップ等がされる。

（S209） 表示制御部１２は、第３表示モードの第３画面で、戻る等の操作が有る場合には、Ａ１で示すようにS206へ戻り、無い場合には、S208で第３表示モードの表示を継続する。なお、第３表示モードから、所定の操作に応じて、第１表示モードの第１画面へ戻るようにしてもよい。

［関連付け処理（１）］
関連付け部１５は、複数の画像の関連付け処理を行う。関連付け処理は、第１処理、第２処理を含む。第１処理は、所定の選択方式の選択条件に基づいて、関連付けの候補となる画像を選択する処理である。所定の選択方式として、以下に示す第１選択方式、第２選択方式、第３選択方式等がある。実施の形態１では、第１方式を用いる。変形例では、第２選択方式または第３選択方式を用いる。なお、どの選択方式を採用するかについては、実装上固定の形態でもよいし、ユーザ設定により可変に選択できる形態としてもよい。

［第１選択方式－撮影場所］
図２４は、第１選択方式について示す説明図である。第１選択方式は、選択条件として、撮影場所に関する条件を用いる。第１選択方式では、撮影場所が概略的に同じであると判断される画像を候補として選択する。第１選択方式では、撮影場所の判断のために、位置検出部１１３による位置情報｛緯度，経度，標高｝を用いる。関連付け部１５は、関連付けの際、例えば撮像時にメタデータ２２の撮影場所項目に記述されている位置情報｛緯度，経度｝を参照する。｛緯度，経度｝を｛ＬＡ，ＬＯ｝で表す。

図２４のように、関連付け部１５は、第１画像を基準として、空間、例えばＸ－Ｙ平面において、第１画像の撮影場所を表す位置２４１を中心点としてとる。第１画像を画像ｋ１、第２画像である各画像を画像ｋ２～ｋ４とする。位置２４１は｛ＬＡ１，ＬＯ１｝で表される。位置範囲２４０は、条件の閾値に相当し、位置２４１を中心点とした、所定の半径距離による円領域を示す。なお、位置範囲２４０を規定する半径距離は、設計上の固定の設定値でもよいし、ユーザ設定で可変できる設定値としてもよい。位置範囲２４０は、円に限らず可能である。

関連付け部１５は、第１画像の位置２４１に対し、第２画像である各画像の位置を比較する。本例では、第１画像の周りに、画像ｋ２の位置２４２｛ＬＡ２，ＬＯ２｝、画像ｋ３の位置２４３｛ＬＡ３，ＬＯ３｝、画像ｋ４の位置２４４｛ＬＡ４，ＬＯ４｝がある場合を示す。関連付け部１５は、第１画像の位置２４１に対し、位置範囲２４０内に含まれる画像を探す。本例では、位置範囲２４０内に、画像ｋ２の位置２４２、及び画像ｋ３の位置２４３が含まれ、画像ｋ４の位置２４４は含まれていない。関連付け部１５は、位置範囲２４０内に位置が含まれている第２画像を、第１画像と概略的に同じ撮影場所で撮像された画像であると判断し、関連付けの候補として選択する。同じ撮影場所の例としては、ユーザが、ある展望台において、手すりに沿って円周を周回しながら３６０°の各方向を撮影した場合が挙げられる。

同じ撮影場所の判断のための手段としては、ＧＰＳ位置情報を用いる方式に限らず、ＢｌｕｅＴｏｏｔｈ（登録商標）等の近距離通信インタフェースの位置情報を用いる方式や、屋内測位システム等の位置情報を用いる方式等も適用可能である。例えば、施設等に、近距離通信インタフェースに対応する機器が設置されており、撮像装置１は、その機器との通信により位置情報を取得する。これにより、高精度の位置把握が可能である。
［第２選択方式－撮影日時］

図２５は、第２選択方式について示す説明図である。第２選択方式は、選択条件として、撮影日時に関する条件を用いる。第２選択方式では、撮影日時が概略的に同じであると判断される画像を候補として選択する。関連付け部１５は、関連付けの際、例えばメタデータ２２の撮影日時項目に記述されている撮影日時（年月日時分秒）を参照する。

関連付け部１５は、撮影日時の時系列において、第１画像を基準として、第１画像の撮影日時を表す時点ｔ１をとる。本例では、時点ｔ１は、日時ＤＴ３であるとする。日時範囲２５０は、条件の閾値に相当し、時点ｔ１を中心点としてその前後を含む、所定の時間による範囲を示す。なお、日時範囲２５０を規定する時間は、設計上の固定の設定値でもよいし、ユーザ設定で可変できる設定値でもよい。日時範囲２５０は、例えば１日（２４時間）、１時間、５分等、設定可能である。

関連付け部１５は、第１画像の撮影日時の時点ｔ１に対し、所定の日時範囲２５０内に含まれる第２画像を検索する。関連付け部１５は、第１画像の撮影日時の時点ｔ１に対し、第２画像である各画像の撮影日時を比較する。本例では、時点ｔ１の付近に、画像ｋ２の撮影日時の時点ｔ２、画像ｋ３の時点ｔ３、画像ｋ４の時点ｔ４がある場合を示す。本例では、日時範囲２５０内に、画像ｋ２の時点ｔ２、及び画像ｋ３の時点ｔ３が含まれ、画像ｋ４の時点ｔ４は含まれていない。制御部１０１は、日時範囲２５０内に時点が含まれている第２画像を、第１画像と概略的に同じ撮影日時に撮像された画像であると判断し、関連付けの候補として選択する。

［第３選択方式－設定文字列］
図２６は、第３選択方式について示す説明図である。第３選択方式は、選択条件として、ユーザにより任意に設定可能である設定文字列に関する条件を用いる。第３選択方式では、設定文字列が概略的に同じであると判断される画像を候補として選択する。関連付け部１５は、関連付けの際、例えば撮像後に関連付け管理情報の設定文字列として設定されている文字列を参照する。

図２６では、第１表示モードの第１画面での複数の画像の情報の一覧表示の例を示す。この例では、各画像について、情報として、ファイル名、撮影日時、タグ、種別等を表示している。「タグ」項目は、設定文字列に相当する。ユーザは、編集作業で「タグ」項目に任意に文字列を設定することができる。本例では、ユーザは、「タグ」項目に撮影場所を表す文字列を設定している。例えば、画像ｋ１，ｋ２，ｋ３は、同じ公園で撮影された画像であり、文字列「Ａ公園」が設定されている。画像ｋ４，ｋ５は、同じ展望台で撮影された画像であり、文字列「Ｂ展望台」が設定されている。なお、「種別」項目は、その画像の画角の種別として「広角」または「狭角」を表示している。

関連付け部１５は、ユーザにより選択された第１画像、例えば画像ｋ１を基準として、その第１画像の「タグ」項目の設定文字列を参照する。関連付け部１５は、第１画像の設定文字列に対し、他の第２画像であるそれぞれの画像の設定文字列を参照して比較し、例えば同じ文字列を含んでいる設定文字列を持つ画像を探す。例えば、画像ｋ１，ｋ２，ｋ３の設定文字列が同じである。関連付け部１５は、それらの画像を、同じ撮影場所で撮像された画像であると判断し、関連付けの候補として選択する。

変形例として、制御部１０１は、撮像時等に、ユーザ操作に依らずに、自動的に、撮影場所を表す文字列を設定してもよい。例えば、制御部１０１は、位置情報｛緯度，経度｝に基づいて、撮影場所を表す文字列を決定してもよい。制御部１０１は、画像の「ファイル名」項目等に文字列を設定してもよい。

上記選択方式は、組み合わせでも適用可能である。例えば、第１選択方式の撮影場所の条件と、第２選択方式の撮影日時の条件とを組み合わせた条件としてもよい。その条件として例えば「同じ撮影場所で過去１年前まで」等と指定可能である。

［第４選択方式－被写体の種類］
他の選択方式として以下の第４選択方式も可能である。撮像装置１は、画像認識処理により、被写体の種類を判断する。被写体の種類は、風景、建物、人物、動物等が挙げられる。判断できる被写体の種類は、画像認識処理の精度等に応じる。撮像装置１は、判断した被写体の種類に応じて、同じ被写体の種類を持つ複数の画像を、関係を持つグループであると推定して、候補として選択する。

また、撮像装置１は、判断した被写体の種類を、複数の画像の関係の判断のための基準として用いてもよい。撮像装置１は、被写体の種類に応じて、例えば第１選択方式の閾値である位置範囲等を調整する。例えば、被写体の種類が風景である場合、焦点距離が大きく、撮影地点の位置の違いが大きくても、画像変化の影響が小さい。よって、この場合、位置範囲を相対的に大きく設定する。これにより、その大きな位置範囲内に含まれる画像群が関連付けられる。被写体の種類が人物である場合、焦点距離が小さく、撮影地点の位置の違いが大きいと、画像変化への影響が大きい。よって、この場合、位置範囲を相対的に小さく設定する。

同様に、撮像装置１は、被写体との距離の判断や、撮影モードの違いに応じて、位置範囲等の閾値を調整してもよい。例えば、撮影モードが、風景撮影に適したマクロモード等に設定されている場合には、閾値である位置範囲を相対的に大きくする。

［関連付け処理（２）］
関連付け部１５の関連付け処理における第２処理については以下である。第２処理では、第１処理で候補として選択された画像について、撮影方向及び画角の情報を用いて、関連付けの判断を行い、その判断結果に従って関連付けを行う。関連付け部１５は、各画像ファイル２４のメタデータ２２、または管理情報２１における、撮影方向及び画角の情報を参照する。関連付け部１５は、第１条件として、基準となる第１画像の画角｛水平画角Ａｈ，垂直画角Ａｖ｝の範囲内に、候補の画像の撮影方向（方位角θ，仰角φ）が含まれているか否かを判断する。関連付け部１５は、この第１条件を満たす画像を、関連付ける画像として決定する。また、関連付け部１５は、第２条件として、基準となる第１画像の画角｛水平画角Ａｈ，垂直画角Ａｖ｝の範囲外に延長された、所定の画角範囲内に、候補の画像の撮影方向（方位角θ，仰角φ）が含まれているか否かを判断してもよい。関連付け部１５は、この第２条件を満たす画像を、関連付ける画像として決定する。関連付けの第２処理では、第１条件または第２条件を適用する。

第１条件を満たす例は以下である。第１画像の例として図７の広角画像である画像６ｄとする。画像６ｄの水平画角Ａｈｄは１２０°であり、その水平画角Ａｈｄの撮影範囲７０４は、右端位置が７０°、左端位置が－５０°である。その撮影範囲７０４内には、画像６ｂの撮影方向７ｂの方位角θｂ＝４５°、及び画像６ｃの撮影方向７ｃの方位角θｃ＝－２０°が含まれている。また、図示しないが、画像６ｄの垂直画角Ａｖｄの範囲内に、画像６ｂの撮影方向７ｂの仰角φｂ、及び画像６ｃの撮影方向７ｃの仰角φｃが含まれている。これにより、第１条件を満たし、画像６ｄには画像６ｂ及び画像６ｃが関連付けられる。

図２７は、複数の画像の関係の判断の際の第１条件、第２条件等についての説明図を示す。表示画面４０１内の全体の背景領域５０において、方位角θに対応した画面内水平方向をｘ方向、仰角φに対応する画面内垂直方向をｙ方向とする。表示画面４０１のｘ方向の横幅をＷ、ｙ方向の縦幅をＨとする。表示画面４０１の中心の点ｐ０を位置座標（ｘ０，ｙ０）で表す。表示画面４０１の全体には同じ大きさ以上の背景領域５０が設定されているとする。

基準である第１画像として、第１狭角画像である画像ｑ１を例にする。画像ｑ１の撮影方向（θ，φ）に対応する点を中心点ｐ１とする。本例では中心点ｐ１の（θ，φ）を（０°，０°）とする。画像ｑ１を表す図形２７１は、中心点ｐ１が点ｐ０に合わせて配置されている。図形２７１は、ここでは矩形とし、実線枠で示す。画像ｑ１の水平画角Ａｈ１を２１°、垂直画角Ａｖ１を１４°とする。画像ｑ１の図形２７１は、その水平画角Ａｈ１に対応させた水平サイズＳｈ１、及び垂直画角Ａｖ１に対応させた垂直サイズＳｖ１を有する。図形２７１のｘ方向右端を位置ｘ１１、左端を位置ｘ１２で示し、それぞれ方位角θでは１０．５°，－１０．５°である。図形２７１のｙ方向上端を位置ｙ１１、下端を位置ｙ１２で示し、それぞれ仰角φでは７°，－７°である。

第２画像として、第２狭角画像である画像ｑ２を例にする。画像ｑ２の撮影方向（θ，φ）に対応する点を中心点ｐ２とする。本例では中心点ｐ２の（θ，φ）を（１６°，－６°）とする。画像ｑ２を表す図形２７２は、中心点ｐ２に配置され、同じく実線枠で示す。画像ｑ２の水平画角Ａｈ２及び垂直画角Ａｖ２は、画像ｑ１と同じく２１°，１４°とする。画像ｑ２の図形２７２は、その水平画角Ａｈ２に対応させた水平サイズＳｈ２、及び垂直画角Ａｖ２に対応させた垂直サイズＳｖ２を有する。図形２７２のｘ方向右端を位置ｘ２１、左端を位置ｘ２２で示し、それぞれ方位角θでは２６．５°，５．５°である。図形２７２のｙ方向上端を位置ｙ２１、下端を位置ｙ２２で示し、それぞれ仰角φでは１°，－１３°である。

第１条件の例としては、画像ｑ１の撮影方向を中心とした水平画角Ａｈ１及び垂直画角Ａｖ１の範囲内に、画像ｑ２の撮影方向（θ，φ）が含まれていることであり、言い換えると画像ｑ１の水平サイズ及び垂直サイズの範囲内に、画像ｑ２の中心点ｐ２が含まれていることである。特に、方位角θと仰角φとの両方が条件を満たす必要があるとする。本例では、画像ｑ２の方位角θ＝１６°は、画像ｑ１の水平画角Ａｈ１の範囲（－１０．５°～１０．５°）の外にあり、仰角φ＝－６°は、垂直画角Ａｖ１の範囲（－７°～７°）の内にある。そのため、画像ｑ２は、第１条件を満たしていない。

第２条件のために、第１画像である画像ｑ１の撮影方向を中心とした水平画角Ａｈ１及び垂直画角Ａｖ１の範囲外に、延長した閾値範囲２７３を設定する。閾値範囲２７３を、破線枠で示す。閾値範囲２７３は、実装上の固定の設定値としてもよいし、ユーザ設定値としてもよい。閾値範囲２７３は、特に、背景領域５０の大きさに合わせたものとしてもよい。また、特に、閾値範囲２７３は、第１画像の画角の大きさに基づいて、所定の計算式により得た範囲、例えば所定の画角を加算した範囲や、所定率を乗算した範囲としてもよい。本例では、閾値範囲２７３は、第１画像の画角の範囲に対して３倍の大きさの範囲としており、水平画角Ａｈｔ＝６３°、垂直画角Ａｖｔ＝４２°とする。閾値範囲２７３のｘ方向右端が位置ｘ３１、左端が位置ｘ３２であり、方位角θで３１．５°，－３１．５°である。閾値範囲２７３のｙ方向上端が位置ｙ３１、下端が位置ｙ３２であり、仰角φで２１°，－２１°である。

第２条件の例として、画像ｑ１の画角に基づいた閾値範囲２７３内に、画像ｑ２の撮影方向（θ，φ）が含まれていることである。特に、方位角θと仰角φとの両方が条件を満たす必要があるとする。本例では、画像ｑ２の方位角θ＝１６°が閾値範囲２７３の水平画角Ａｈｔの範囲内にあり、仰角φ＝－６°が垂直画角Ａｖｔの範囲内にある。そのため、画像ｑ２は、第２条件を満たしている。これにより、第２条件を用いる場合、画像ｑ２は、画像ｑ１に関連付けられる。

他の条件として以下も可能である。第３条件として、第１画像の画角範囲内に、第２画像の画角範囲の一部が重なっていることとする。第４条件として、第１画像の画角範囲外の閾値範囲内に、第２画像の画角範囲の一部が重なっていることとする。例えば、画像ｑ１の画角範囲内には、画像ｑ２の画角範囲の一部が重なっている。言い換えると、画像ｑ２の左端の位置ｘ２２は、画像ｑ１の右端の位置ｘ１１よりも左にある。よって、画像ｑ１に画像ｑ２が関連付けられる。

第５条件として、第１画像の撮影方向の角度（θまたはφ）と、第２画像の撮影方向の対応する角度（θまたはφ）との差分値が、所定の閾値角度以内であることとする。言い換えると、第１画像の中心点の位置座標と第２画像の中心点との距離を計算し、その距離が所定の閾値距離以内であることとする。例えば、画像ｑ１の中心点ｐ１と画像ｑ２の中心点ｐ２との方位角θの差分値ｄθが１６°、仰角φの差分値ｄφが－６°である。閾値角度を（ｄθｔ，ｄφｔ）とする。ｄθ≦ｄθｔである場合、または、ｄφ≦ｄφｔである場合、条件を満たすとする。

第１画像が広角画像である場合や、第２画像が広角画像である場合にも、上記のような条件を同様に適用して関連付けの判断が可能である。また特に、第１画像が広角画像である場合には第１条件を適用し、第１画像が狭角画像である場合には第２条件を適用してもよい。このように、画像の種別等に応じて条件を選択する形態や、複数の条件を組み合わせて適用する形態でもよい。

［動画］
上記では主に静止画の場合を説明したが、動画の場合にも基本的に同様に適用可能である。撮像制御部１１は、動画を撮影する場合、連続した撮影モードにおいて、電子ズーム倍率及び画角等を変更しながら撮影して動画の画像データ２３を得る。撮像制御部１１は、その動画の画像ファイル２４について、時点に応じた電子ズーム倍率及び画角等の情報を、メタデータ２２または管理情報２１に記述する。

表示制御部１２は、第２表示モードの第２画面で、動画を再生表示する場合には、メタデータ２２等に記述されている撮影日時、位置情報、及び時刻に応じて変化する撮影方向等に基づいて、図形の表示位置を決定する。その表示位置は、例えば、動画を構成する最初の画像フレームの撮影方向等に応じて１つの固定の表示位置としてもよいし、複数の画像フレームの統計値から決定した表示位置としてもよい。その表示位置は、画像フレームに応じて変化する撮影方向に対応した表示位置としてもよい。

［効果等］
上記のように、実施の形態１の撮像装置１及び表示装置２によれば、広角画像及び狭角画像を含む複数の画像の関係を把握しやすく、より良い使い勝手を実現できる。表示画面で、例えば広角画像の付近に、関係を持つ狭角画像が自動的に重ね合わせて表示されるので、ユーザは、関係を持つ複数の画像を容易に認識でき、直感的に把握でき、好適に閲覧することができる。ユーザは、広角画像と狭角画像との関係も把握しやすい。ユーザは、第１画像を閲覧している状態から、関係を持つ第２画像を素早く参照できる。ユーザは、表示モードを切り替えながら多数の画像を好適に閲覧できる。

実施の形態１の変形例として以下が挙げられる。変形例として、画像の種別に関して、画角の関係を相対的に判断してもよい。即ち、撮像装置１または表示装置２は、複数の画像における画角を参照し、それらのうちで最大の画角を持つ画像を、広角画像とし、その広角画像以外の画像を、狭角画像とする。

［変形例（１）－第２画面］
図２８は、実施の形態１の変形例の撮像装置１における第２表示モードの第２画面の例を示す。表示画面４０１内で、主要な領域２８１と、主要な領域２８１以外の領域、本例では右辺の領域２８２や下辺の領域２８３と、を有する。主要な領域２８１には、背景領域上、中心位置に第１画像の図形２８４としてサムネイルが表示され、その周りに関連付けられている第２画像の図形が表示される。第１画像及び第２画像の図形は、画像の種別や撮影日時等の違いに応じて異なる図形が表示されてもよい。本例では、図形として、円形、菱形、星形のマークを示す。画像の種別としては、例えば画角の違いに応じた種別がユーザ設定に基づいて設定されてもよい。また、図形には、情報が付与されて表示されてもよい。本例では、マークに識別番号が付与されている。第１画像のサムネイルには、識別番号が１のマークが一緒に表示されている。第２画像の図形として、識別番号が２以下のマークが表示されている。また、図形には、情報として、メタデータ２２または管理情報２１に基づいた属性値が表示されてもよいし、属性値のみが表示されてもよい。

右辺の領域２８２では、関連付けられている全ての複数の画像の情報、例えばマーク及び属性値等が、並列に表示されている。領域２８１では、ユーザ操作に基づいた表示状態として、一部の画像の図形が表示され、他の画像の図形が表示されていない状態となる。領域２８２には、領域２８１には表示されていない画像の情報も表示される。領域２８１または領域２８２で画像の図形が選択された場合に、第３表示モードへ遷移させてもよい。また、右下の領域には、最後に選択された画像のサムネイルがプレビューとして表示されている。

下辺の領域２８３には、表示モードの情報、第１画像の属性値の情報が表示されている。また、第２表示モードのマークの表示と非表示とを切り替えるための操作ボタンが設けられている。オン状態ではマークが表示され、オフ状態ではマークが非表示にされる。また、第１表示モードに戻るための戻るボタン等が設けられている。

また、第２画面内で、背景領域上の概略的に同じ位置、同じ領域内に、関連付けられている複数の第２画像が密集して存在する場合に、個々の図形を重ねて表示するのではなく、１つの代表マークを表示する。本例では、代表マークとして星形としている。ユーザが、代表マークを選択操作すると、代表マークの位置に関連付けられている複数の第２画像の情報が表示される。その際には、例えばポップアップ領域２８５を表示し、ポップアップ領域２８５に複数の第２画像の情報を表示する。ユーザがポップアップ領域２８５で所望の第２画像を選択操作すると、選択された第２画像を詳細表示する第３表示モードへ遷移させる。

他の方式としては、右辺の領域２８２等に、代表マークに関連付けられている複数の第２画像の情報を表示してもよい。また、代表マークの選択に応じて、所定の領域に、関連付けられている複数の第２画像を順次に表示、即ちスライドショー表示してもよい。例えば、同じ場所、同じ撮影方向で、異なる撮影日時に撮影した複数の画像が存在する場合に、それらの画像を関連付けて連続的に再生表示することができる。また、代表マークの選択操作に応じて、複数の第２画像が密集している領域を拡大表示して、複数の第２画像の図形が区別できる表示状態にしてもよい。

［変形例（２）－傾き操作］
変形例として、撮像装置１の筐体の傾き及び回転を表す傾き角度を、撮影方向計測部１１１のセンサ等を用いて検出する。撮像装置１は、検出した傾き角度の状態に応じて、表示モードの切り替えや、第２画面内の複数の画像のスクロール等を制御する。所定の操作に応じて、この機能が有効な表示モードと無効な表示モードとを切り替え可能とする。通常、無効な表示モードでは、撮像装置１の傾き角度に依らずに、第２画面の表示内容を固定して表示する。そして、前述の所定の操作に応じて、スクロールや拡大縮小等による表示状態の変更が可能である。

図２９は、有効な表示モードにおいて、撮像装置１の筐体４００の表示画面４０１が、Ｘ－Ｚ面に配置されている状態を示す。筐体４００及び表示画面４０１の方向について、ｙ軸に関する傾ける操作及びその傾き角度２９１と、ｘ軸に関する傾ける操作及びその傾き角度２９２とを示す。第２画面の例として、図１０の第２画面と同様の例を示す。第２画面の背景領域５０上で、中央には第１画像の図形６１、近くには第２画像の図形６２が表示されている。

この状態で、ユーザ操作として、筐体４００を傾ける操作がされる。例えば、ｙ軸に関する右側の正方向に傾ける操作がされる。撮像装置１は、その際の傾き角度２９１を検出し、その傾き角度２９１に応じて、第２画面内の表示状態を、右方向へのスクロールにより変更する。これにより、第２画面内において各画像は左方向へ移動され、それと共に画面外の右にある情報が画面内に表示される。この表示モードでは、ユーザは、傾ける操作のみで容易に表示状態を変更でき、少ない手間で複数の画像を閲覧できる。同様に、傾き操作に応じて拡大縮小を制御する形態としてもよい。

［変形例（３）－外部機器連携］
撮像装置１や表示装置２は、外部の機器へ画像ファイル２４を保存してもよいし、外部の機器から画像ファイル２４を読み込んで再生表示してもよい。撮像装置１や表示装置２は、外部の機器へ送信する画像ファイル２４を対象として関連付け処理を行い、関連付け情報を含む画像ファイル２４を外部の機器へ送信してもよい。また、撮像装置１や表示装置２は、外部の機器から受信した画像ファイル２４を対象として関連付け処理を行い、関連付け情報に基づいて関連付けた状態で再生表示してもよい。即ち、前述の第１方式及び第２方式以外の関連付け方式として、外部の機器へ画像ファイル２４を送信する前に関連付けを行う方式や、外部の機器から画像ファイル２４を受信する後に関連付けを行う方式を採用してもよい。また、撮像装置１や表示装置２は、外部の機器へ複数の画像ファイル２４を送信する場合、画像ファイル２４毎のメタデータ２２として画角情報や関連付け情報を記述してもよいし、複数の画像ファイル２４とは別の管理ファイルに記述して提供してもよい。

例えば、図１のシステムで、撮像装置１は、撮像した複数の画像について、サーバ３へ送信する前に、関連付け処理を行い、画角や関連付け情報を含む画像ファイル２４を作成し、通信網４を通じてサーバ３へ送信して画像データＤＢに保存させる。撮像装置１または表示装置２は、通信網４を通じてサーバ３にアクセスし、サーバ３の画像データＤＢから、その画像ファイル２４を取得する。なお、その際には、検索条件として例えば撮影日時や撮影場所等を指定して複数の画像ファイル２４をまとめて取得可能である。撮像装置１または表示装置２は、取得した複数の画像ファイル２４の画像データ２３について、関連付け情報の参照に基づいて、関連付けた状態で再生表示する。

また、例えば、撮像装置１は、撮像した複数の画像について、関連付け処理を行わずに、画角を含み関連付け情報を含まない画像ファイル２４を、サーバ３へ送信して画像データＤＢに保存させる。撮像装置１または表示装置２は、通信網４を通じてサーバ３にアクセスし、サーバ３の画像データＤＢからその画像ファイル２４を取得する。撮像装置１または表示装置２は、取得した複数の画像ファイル２４について、関連付け処理を行い、画角及び関連付け情報に基づいて、関連付けた状態で再生表示する。

また、サーバ３が、画像データＤＢの複数の画像データ２３を対象として関連付け処理を行ってもよい。サーバ３は、その関連付け処理を行って、関連付け情報を含む画像ファイル２４として保存する。撮像装置１または表示装置２は、サーバ３から取得した複数の画像ファイル２４について、関連付け情報の参照に基づいて再生表示する。

また、例えば、撮像装置１は、撮像した複数の画像について、関連付け処理を行い、画角及び関連付け情報を含む画像ファイル２４を、表示装置２へ送信する。表示装置２は、その画像ファイル２４を取得し、取得した画像ファイル２４の画像データ２３を、関連付け情報の参照に基づいて、関連付けた状態で再生表示する。

また、例えば、撮像装置１は、撮像した複数の画像について、関連付けを行わずに、画角を含み関連付け情報を含まない画像ファイル２４を、表示装置２へ送信する。表示装置２は、その画像ファイル２４を取得し、取得した画像ファイル２４の画像データ２３について、関連付け処理を行い、関連付け情報に基づいて、関連付けた状態で再生表示する。

また、撮像装置１や表示装置２は、同じユーザの複数の機器から、それぞれの画像ファイル２４を読み込んで、それらを統合して管理するようにしてもよい。例えば、図１の第１撮像装置１Ａ及び第２撮像装置１Ｂは、それぞれ、撮像した画像の画像ファイル２４を、関連付けを行わずに、第１表示装置２Ａへ送信する。第１表示装置２Ａは、それらの画像ファイル２４について、関連付け処理を行い、関連付けた状態で再生表示する。

この変形例によれば、複数の機器が連携するシステムで関連付け表示機能を実現でき、ユーザは多数の画像の関連付けや保存等を実現できる。

（実施の形態２）
図３０、図３１を用いて、本発明の実施の形態２の撮像装置及び表示装置について説明する。以下、実施の形態２の構成における実施の形態１の構成とは異なる部分について説明する。実施の形態２の撮像装置１では、複数の画像の関連付けを行うための特有の撮影モードを設ける。

［撮影モード］
実施の形態２の撮像装置１は、撮影モードとして、通常の撮影モードである第１撮影モードと、関連付けを行うためのグループ撮影モードである第２撮影モードとを有する。撮像装置１は、ユーザ入力操作やユーザ設定に基づいて、撮影モードの切り替えを行う。ユーザは、操作入力部１０５等を通じて、任意のタイミングで、第１撮影モードと第２撮影モードとを切り替える所定の操作を行う。所定の操作は、例えばモード切り替えボタンの押下としてもよい。

図３０は、実施の形態２の撮像装置１における、時間軸における撮影モードの切り替え等を示す。撮像装置１は、最初、第１撮影モードの状態とし、第１撮影モードで撮像された個々の画像については、関連付け処理を行わない。例えば、時点ｔ１１で撮像された画像は、関連付けが行われず、メタデータ２２等には関連付け情報が記述されない。

ユーザは、所望のタイミング、例えば時点Ｔ２で、第１撮影モードから第２撮影モードへ切り替える操作を行う。撮像装置１は、第２撮影モードの状態では、その期間に撮像された個々の画像を対象にして、自動的にグループとして関連付ける。例えば、第２撮影モード中の時点ｔ１～ｔ４でそれぞれ画像が撮像されている。制御部１０１は、関連付け部１５により、それらの画像に関して関連付け処理を行い、メタデータ２２または管理情報２１に関連付け情報を記述する。本例では、時点ｔ１～ｔ４の各画像が１つのグループとして関連付けられている。それらの画像の画像ファイル２４または管理情報２１にはグループ識別子が記述される。グループ識別子は、第２撮影モードの期間の開始日時及び終了日時等を用いた文字列としてもよい。

ユーザは、所望のタイミング、例えば時点Ｔ４で、第２撮影モードから第１撮影モードへ切り替える操作を行う。撮像装置１は、第１撮影モードで撮像された個々の画像、例えば時点ｔ１２で撮像された画像については、関連付けを行わない。制御部１０１は、第１撮影モードに戻った時点で関連付け処理を実行してもよい。表示制御部１２は、再生表示の際には、画像ファイル２４や管理情報２１におけるグループ識別子等の参照に基づいて、関連付けを確認して関連付け表示を行う。

［メニュー画面］
図３１は、撮像装置１の表示画面の例として、撮影モードに関するメニュー画面を示す。このメニュー画面は、例えば図４の十字キー４３３の中心ボタンの押下により表示される。このメニュー画面は、撮影メニュー３１１、再生メニュー３１２、設定メニュー３１３を有する。撮影メニュー３１１は、撮影モードに関する設定項目を有し、再生メニュー３１２は、再生表示モードに関する設定項目を有し、設定メニュー３１３は、設定モードの設定項目を有する。各モードの各設定項目でユーザにより設定可能である。例えば、撮影メニュー３１１において、設定項目として、グループ撮影３１４、サイズ、画質、フォーカスモード、手振れ補正等を有する。サイズや画質等は公知の設定項目である。

ユーザは、メニュー画面で、タップ等の操作に応じて、撮影メニュー３１１のグループ撮影３１４の設定項目を選択し、オンボタンを選択することにより、撮影モードとして、グループ撮影モードが設定される。オフボタンを選択した場合にはグループ撮影モードが解除される。グループ撮影モードのオン／オフは、専用のハードウェアボタンで実現してもよい。また、撮像装置１は、グループ撮影モードのオン状態で電源オフされた場合には、自動的にグループ撮影モードをオフ状態に切り替えてもよい。また、撮像装置１は、グループ撮影モードがオン状態になった時点や、撮影モードで画像を撮影した時点から、所定時間が経過した場合に、自動的にグループ撮影モードをオフ状態に切り替えてもよい。

［効果等］
上記のように、実施の形態２によれば、ユーザが自分の判断で撮影モードを切り替えて複数の画像を容易に関連付けることができる。実施の形態２は、前述の第２選択方式の撮影日時に関する判断を、特有の撮影モードを用いて自動化する形態に相当する。

（実施の形態３）
図３２を用いて、本発明の実施の形態３の撮像装置及び表示装置について説明する。以下、実施の形態３の構成における実施の形態１の構成とは異なる部分について説明する。実施の形態３の撮像装置１では、撮影モードにおいて表示画面に表示されるモニタ画像において、撮影済みの画像を関連付けて表示する機能を有する。この機能により、ユーザによる撮影方向等の決定を含む撮影動作を支援するアシスト機能を実現する。また特に、実施の形態３では、実施の形態２のグループ撮影モードを併用する。撮影モードとしてグループ撮影モード中に、モニタ画像を表示しつつ、撮影された画像を第２画像として関連付けて表示する。

［撮影モニタ］
図３２は、実施の形態３で、第１モニタ方式における、前述の図４のＥＶＦ４０３の表示画面４０４を示す。表示制御部１２は、表示画面４０４に、撮影モードのモニタ画像を表示すると共に、関連付けられる画像を表示する。第１モニタ方式では、モニタ画像を背景領域５０及び第１画像と捉え、モニタ画像上に、第２画像の図形を表示する。撮像装置１は、表示画面４０４の全体の背景領域５０に対応させて、撮影中の撮影方向及び画角等に応じたモニタ画像４１１を表示する。表示画面４０４の中心の点ｐ０と、モニタ画像４１１の中心点とが一致している。

ユーザは、グループ撮影モードにして撮影を開始する。撮像装置１は、所定の操作に応じてグループ撮影モードにする。撮像装置１は、実施の形態２と同様に、グループ撮影モード中に撮像された画像をグループとして関連付け、関連付けられた第２画像の情報を記憶部１０２等に保持する。

表示制御部１２は、モニタ画像４１１を第１画像として、関連付けられる第２画像を判断する。特に、グループ撮影モード中に撮影済みの第２画像が関連付けられる。表示制御部１２は、モニタ画像とその第２画像とにおいて、撮影方向及び画角に関する条件を判断し、その第２画像を表示対象とするかを決める。その際の条件は、実施の形態１と同様の条件を適用できる。表示制御部１２は、例えば第１条件を用い、モニタ画像４１１の画角範囲内に、第２画像の撮影方向（θ，φ）が含まれる場合には、その第２画像を表示対象に決定する。

表示制御部１２は、表示対象の第２画像を表す図形を、モニタ画像４１１の領域内に重畳表示する。本例では、図形としてマークとする。点ｐｓ１には、第２画像である画像ｓ１の撮影方向があり、画像ｓ１を表すマーク３２１が表示されている。点ｐｓ２には、第２画像である画像ｓ２の撮影方向があり、画像ｓ２を表すマーク３２２が表示されている。ユーザは、モニタ画像４１１内のマークにより、モニタ画像の画角内の撮影済み画像の有無や位置を容易に認識できる。ユーザは、その認識に基づいて、新たに撮影する画像の好適な撮影方向や画角等を決定できる。

図３３は、変形例として、第２モニタ方式の表示画面の例を示す。第２モニタ方式では、表示画面４０４の背景領域５０内に、モニタ画像４１２を第１画像として表示し、モニタ画像４１２内及びその周辺に、第２画像の図形を表示する。表示画面４０４の中心の点ｐ０に、表示画面４０４よりも小さい大きさのモニタ画像４１２が表示される。モニタ画像４１２の大きさは、画角等の状態に応じて変更されてもよい。表示制御部１２は、モニタ画像４１２に対し、同様に、第２画像の関連付けや条件を判断し、第２画像の図形を表示する。表示制御部１２は、例えば第２条件を用い、モニタ画像４１２の画角範囲外に延長された閾値範囲内に、第２画像の撮影方向または画角の一部が含まれている場合、その第２画像を表示対象にする。本例では、点ｐｓ３に、第２画像である画像ｓ３の撮影方向があり、画像ｓ３を表す透過枠３３１が表示されている。また、表示画面４０４外で背景領域５０上の図示しない点には、第２画像である画像ｓ４があり、表示画面４０４内に画像ｓ４を表す透過枠３３２の一部が表示されている。画像ｓ４は広角画像である。ユーザは、モニタ画像４１２の付近の透過枠により、モニタ画像４１２の画角の付近の撮影済み画像の有無や位置や画角を容易に認識でき、新たな画像の好適な撮影方向や画角を決定できる。

また、図３３のようなモニタ画像４１２の表示状態で撮影方向等を決定した後、撮影実行の際には、所定の入力操作に基づいて、図３２のように表示画面４０４の全体にモニタ画像４１１を表示する状態へ遷移させてもよい。また、所定の入力操作に応じて、第２画像の図形の表示と非表示とを切り替えるようにしてもよい。また、このようにモニタ画像に関連付け表示を行う否かについては、ユーザ設定に応じて変更可能とする。モニタ画像の表示画面内には、表示モード切り替えボタン等が設けられてもよい。

また、表示画面４０４でモニタ画像に関連付けて表示された撮影済みの第２画像を表す図形を、タップやピンチ等の所定の操作により選択することにより、再撮影の指示を可能としてもよい。撮像装置１は、再撮影が指示された第２画像について、表示画面４０４内に拡大して新たなモニタ画像として表示すると共に、自動的にズーム制御を行って焦点等を調整する。撮像装置１は、その状態の撮影方向及び画角で撮影を実行する。

［効果等］
上記のように、実施の形態３によれば、アシスト機能により、ユーザは、モニタ画像において撮影済み画像の有無や位置等を容易に認識でき、ユーザは、撮影済み画像を参考にして、次に撮影する画像に関する好適な撮影方向及び画角等を決定しやすい。ユーザは、例えば未撮影の撮影方向及び画角を選択して撮影ができる。

実施の形態３の変形例として以下が挙げられる。変形例として、タッチパネルの表示画面４０１でも上記と同様に適用可能である。また、変形例として、グループ撮影モードとの併用に限らず実現可能であり、モニタ画像の表示中に、実施の形態１と同様に関連付けの確認処理等を行えばよい。また、モニタ画像と第２画像との関連付けを、一時的な関連付けとし、モニタ画像の表示終了後に関連付けを自動的に解除するようにしてもよい。

（実施の形態４）
図３４、図３５を用いて、本発明の実施の形態４の撮像装置及び表示装置について説明する。以下、実施の形態４の構成における実施の形態１の構成とは異なる部分について説明する。実施の形態４では、画像の編集機能を有する。この編集機能は、複数の画像の関連付けをユーザが判断して手動で設定、編集することができる機能である。ユーザは、編集機能を用いて、表示画面内で、関連付ける画像の追加や削除や変更が可能である。また、編集機能として、トリミングにより合成画像を生成する機能を有する。

［編集機能（１）］
図３４は、撮像装置１の第２表示モードの第２画面の例を示す。以下は編集機能を持つ撮像装置１の場合を示すが、編集機能を持つ表示装置２の場合も同様である。ユーザ操作に応じて、編集が有効なオン状態と無効なオフ状態とを切り替え可能である。撮像装置１は、オン状態の場合、第２表示モードの第２画面で、第１画像に対する第２画像の関連付け、及び第２画像の図形の表示位置等を、ユーザ入力操作に基づいて可変に設定する。制御部１０１は、第２画像の図形の表示位置を、メタデータ２２または管理情報２１の１つとして保存及び管理する。制御部１０１は、再生表示の際には、その情報を参照して図形の表示位置を決める。

本例では、第２画像の図形として透過枠を表示する場合を示す。最初、撮像装置１は、実施の形態１と同様に、背景領域５０上、第１画像及び第２画像の図形の表示位置を自動的に決定して表示する。例えば、中心の点ｐ０には、第１画像の図形３４１であるサムネイルが表示されている。また、第２画像として、点ｐ２ａには、ある狭角画像の図形３４２ａである透過枠が表示されている。ユーザは、第２画像の図形の表示位置を変更したい場合、その図形を例えばタッチして所望の位置へ移動させる。制御部１０１は、そのユーザ操作に従ってその図形の表示位置を移動させるように表示状態を更新する。本例では、図形３４２ａの透過枠の移動後の状態を、移動後の点ｐ２ｂにある図形３４２ｂとして示している。制御部１０１は、第２画像の図形の移動後の位置を、新たな表示位置として保存する。

また、編集機能として、関連付ける第２画像を追加する機能、及び第２画像の関連付けを解除する機能を有する。追加の場合、ユーザは、背景領域５０上の所望の位置、例えば点ｐ３をタッチし、ポップアップ領域の追加ボタンを押し、追加する第２画像を選択する。制御部１０１は、選択された第２画像に関する図形をその位置に表示し、表示位置を保存し、第１画像とその第２画像との関連付けを行う。

解除の場合、ユーザは、背景領域５０上に表示されている第２画像の図形を選択し、解除を指定する。例えば、ユーザは、点ｐ４にある図形３４４をタッチし、ポップアップ領域の解除ボタンを押す。制御部１０１は、解除が指定されたその第２画像と第１画像との関連付けを解除し、その図形の表示を消去する。

［編集機能（２）］
更に、編集機能として、トリミングにより合成画像を生成する機能を有する。この機能により、元画像よりも大きい画角を持つパノラマ画像の生成や、元画像よりも小さい画角を持つ画像の生成等が可能である。まず、実施の形態１等と同様に、撮像装置１は、撮影された複数の画像の画像ファイル２４等を得る。撮像装置１は、前述の第２表示モードの第２画面で、複数の画像を関連付けて表示し、ユーザ操作に応じて編集機能のトリミング機能をオン状態にする。切り替えは、表示モード切り替えボタンや再生メニューでのモード選択等により可能である。

図３５の上側は、編集機能のトリミング機能のオン状態での第２画面の表示例であり、画像ｖ１，ｖ２，ｖ３，ｖ４の４枚の画像が表示されている。背景領域５０の中心の点ｐ０に、第１画像である画像ｖ１の中心点ｐｖ１が配置されるように、画像ｖ１を表す図形３５１であるサムネイルが表示されている。画像ｖ１のサムネイルの周りには、点ｐｖ２に第２画像である画像ｖ２の図形３５２であるサムネイル、点ｐｖ３に画像ｖ３の図形３５３であるサムネイル、点ｐｖ４に画像ｖ４の図形３５４であるサムネイルが表示されている。

また、本例では、各画像のサムネイルは、重なる部分を有し、重なる部分の枠線を破線で示している。重なる部分については、複数の画像の上下の配置に応じて、上側にある画像のサムネイルの部分が表示される。画像の上下の配置は、例えば、第１画像が最上位層に表示され、その下位層に第２画像が表示される。複数の第２画像は、例えば、撮影日時に応じた順序またはユーザに指定された順序で上下層に配置される。画像の選択操作等に応じて複数の画像の上下配置関係を変更できる。本例では、上位層から順に画像ｖ１，ｖ２，ｖ３，ｖ４が配置されている。この状態でユーザ操作に応じて所望のスクロールや拡大縮小がされる。例えば、スクロールにより、画像ｖ１の点ｐｖ１が点ｐｖ１ｂに来るように、全体が移動されるとする。

図３５の下側は、表示状態の変更後の第２画面を示す。この第２画面では、背景領域５０上、複数の画像よりも上位層に、トリミング枠３５０が表示される。トリミング枠３５０は、ユーザ操作、例えばタッチしてドラッグする操作等に応じて、位置や縦横のサイズ、回転角等が変更できる。ユーザは、画像上の所望の位置に所望の状態のトリミング枠３５０を配置する。その状態で、所定の操作により、画像のトリミングが実行できる。所定の操作は、例えば、シャッターボタン押下、トリミング実行指定入力等である。これにより、撮像装置１は、そのトリミング枠３５０内に含まれている画像の画角範囲を含むトリミング画像の画像データを新たに生成し、記憶部１０２等に記憶する。

撮像装置１は、トリミング実行の際、本例のようにトリミング枠３５０内に複数の画像に渡って各画角範囲が含まれている場合、それらの複数の画像の画角範囲を合成して、１枚のトリミング画像として生成する。トリミング画像の生成の際、撮像装置１は、各画像（ｖ１，ｖ２，ｖ３）に対応する画像データ２３をメモリ１３３に読み出し、公知の画像処理であるスティッチング処理等により、合成する。これにより、トリミング枠３５０に対応した合成画像が得られる。本例では、合成画像として、トリミング枠３５０の横サイズに対応した水平画角を持つパノラマ画像が得られる。上記例に限らず、トリミングにより、広角画像の画角範囲の中から所望の画角範囲を取り出した画像等が生成できる。

［効果等］
上記のように、実施の形態４によれば、編集機能により、ユーザは、第２表示モードの複数の画像の関連付け表示に関して、自分が見やすい状態や把握しやすい状態となるように自由に編集可能である。また、従来では、例えばパノラマ画像を生成したい場合、カメラをパンしながら撮影する等の操作が必要であった。それに対し、実施の形態４によれば、編集機能により、ユーザが撮影後の複数の画像を確認しながら、所望のパノラマ画像や所望の画角の画像を容易に得ることができる。

（実施の形態５）
図３６～図３８を用いて、本発明の実施の形態５の撮像装置及び表示装置について説明する。以下、実施の形態５の構成における実施の形態１の構成とは異なる部分について説明する。実施の形態５の撮像装置１では、広角画像として全天球画像を撮像する機能を有し、その広角画像を第１画像または第２画像として関連付け表示する機能を有する。

［全天球画像］
本明細書では、図７等のように、撮像装置及び撮影者であるユーザの位置を中心点として設定した仮想の球面６００を、全天球と称する。本明細書では、全天球画像とは、水平画角及び垂直画角の少なくとも一方の画角として３６０°を持つ画像とする。

図３６は、実施の形態５における全天球画像について水平画角で示す。全天球に対応する球面６００において、第１広角画像６Ａと、第２広角画像６Ｂと、狭角画像６Ｃと、を有する。第１広角画像６Ａは、撮像装置１の前面カメラ側から前方の撮影方向（例えば北向き）で見た水平画角で１８０°の撮影範囲３６１を持つ広角画像である。第２広角画像６Ｂは、背面カメラ側から後方の撮影方向（例えば南向き）で見た水平画角で１８０°の撮影範囲３６２を持つ広角画像である。狭角画像６Ｃは、前面カメラ側から所望の撮影方向（例えば北向き）で水平画角Ａｈの撮影範囲３６３を持つ狭角画像である。第１広角画像６Ａと第２広角画像６Ｂとの合成により、水平画角で３６０°の撮影範囲を持つ広角画像である全天球画像が構成される。図示しないが垂直画角Ａｖに関しても同様であり、例えば第１広角画像６Ａは垂直画角で１８０°の撮影範囲を持つ。

［撮像装置］
図３７は、撮像装置１のうち撮像部１０３に係わる部分の構成を示す。撮像装置１は、撮像部１０３として、第１撮像部１０３Ａ、第２撮像部１０３Ｂ、第３撮像部１０３Ｃを有し、それらがインタフェース回路部１３１に接続されている。

第１撮像部１０３Ａは、前面カメラに対応する撮像部であり、駆動部３１ａ及びレンズ部３２ａを含む。レンズ部３２ａは、前面の水平画角及び垂直画角で１８０°の撮影範囲（即ち半天球）での第１広角画像６Ａを撮像可能である超広角レンズとして第１レンズを備える。第２撮像部１０３Ｂは、背面カメラに対応する撮像部であり、駆動部３１ｂ及びレンズ部３２ｂを含む。レンズ部３２ｂは、背面の水平画角及び垂直画角で１８０°の撮影範囲（即ち半天球）での第２広角画像６Ｂを撮像可能である超広角レンズとして第２レンズを備える。

第３撮像部１０３Ｃは、実施の形態１の撮像部１０３と同様の構成であり、駆動部３１ｃ及びレンズ部３２ｃを含む。レンズ部３２ｃは、前面の水平方向及び垂直方向で１８０°未満の設定された画角（例えば５０度程度の一般的な画角）での狭角画像６Ｃを撮像可能である第３レンズを備える。撮像部１０３Ｃで撮像する際の画角は、所定の画角範囲内でユーザ操作に基づいて設定可能である。例えば、水平画角Ａｈとして５０°を持つ狭角画像６Ｃを撮像するとする。

制御部１０１は、全天球撮像制御部１１Ａ、撮像制御部１１Ｂを含む。全天球撮像制御部１１Ａは、第１撮像部１０３Ａ及び第２撮像部１０３Ｂを駆動制御して、全天球画像を撮影する。全天球撮像制御部１１Ａは、第１撮像部１０３Ａでの第１広角画像６Ａと、第２撮像部１０３Ｂでの第２広角画像６Ｂとを、同じタイミングで撮像するように制御する。全天球撮像制御部１１Ａは、信号処理部１３２等を通じて、それらの第１広角画像６Ａ及び第２広角画像６Ｂを入力して合成することにより、３６０°の画角範囲を持つ全天球画像を撮像する。なお、このように全天球画像を撮像可能とする光学系を含む撮像部１０３や制御部１０１等の構成については、公知技術を用いて実現できる。

全天球撮像制御部１１Ａは、撮像した全天球画像の画像データ２３を、実施の形態１と同様に、画角等の情報を含むメタデータ２２等と共に画像ファイル２４として記憶部１０２に記憶する。撮像制御部１１Ｂは、撮像した狭角画像の画像データ２３を、実施の形態１と同様に、画角等の情報を含むメタデータ２２等と共に画像ファイル２４として記憶部１０２に記憶する。

撮像装置１の撮影モードにおいて、制御部１０１の制御に応じて、いずれの撮像部を用いて画像を撮像することも可能である。制御部１０１からの制御に基づいて、第１撮像部１０３Ａ、第２撮像部１０３Ｂ、及び第３撮像部１０３Ｃでは、同時に一回での撮像が可能である。また、制御部１０１からの制御に基づいて、第１撮像部１０３Ａ、第２撮像部１０３Ｂ、及び第３撮像部１０３Ｃでは、個別のタイミングでの撮像も可能である。第１撮像部１０３Ａと第２撮像部１０３Ｂとの同時撮影及び合成により全天球画像が撮影できる。また、第１撮像部１０３Ａと第２撮像部１０３Ｂとの一方を用いた撮影により、第１広角画像６Ａまたは第２広角画像６Ｂによる半天球画像が撮影できる。また、第１撮像部１０３Ａまたは第２撮像部１０３Ｂの一方と、第３撮像部１０３Ｃとの同時撮影も可能である。その場合、その一方の広角画像と狭角画像６Ｃとで撮影日時が同じであり自動的に関連付けが可能である。制御部１０１は、撮像した画像のメタデータ２２または管理情報２１に、全天球画像または半天球画像または狭角画像６Ｃを表す種別等の情報を付与してもよい。制御部１０１は、同時撮影した複数の画像について、メタデータ２２等に関連付け情報を付与してもよい。

［撮像装置－外観］
図３８は、撮像装置１の実装例の外観を示す。本例では、撮像装置１としてスマートフォンである場合を示す。図３８の左側は、撮像装置１の筐体３８０の前面カメラ側を示し、右側は背面カメラ側を示す。前面カメラ側において、筐体３８０の所定位置に第１レンズ３８１が設けられており、また、所定位置に第３レンズ３８３が設けられている。背面カメラ側において、前面カメラ側の第１レンズ３８１の位置に対応した反対側の所定位置に第２レンズ３８２が設けられている。また、背面カメラ側において、表示装置１０４の表示画面３８４や、操作ボタン３８５等が設けられている。

［第２表示モード－第２画面］
実施の形態５では、実施の形態１等と同様に、第２表示モードの第２画面で、背景領域５０上に、第１画像及び第２画像を関連付けて表示する。その際、実施の形態５では、第１画像や第２画像として、全天球画像または半天球画像が適用できる。例えば、図１８と同様の形式の第２画面を用いて表示する場合、第１画像が全天球画像である場合には、円形の背景領域５０にそのままその全天球画像の撮影方向に対応する半天球部分が表示される。

［効果等］
上記のように、実施の形態５によれば、広角画像として全天球画像等を表示する際に、関係を持つ狭角画像を含む複数の画像を関連付けて表示でき、ユーザは複数の画像の関係を把握しやすい。

実施の形態の変形例として以下が可能である。背面カメラ側の第２撮像部１０３Ｂを省略し、第１撮像部１０３Ａを用いて前方の１８０°の画角範囲を持つ半天球画像を撮像する形態としてもよい。第２画面で全天球画像を表示する際には、円形ではなく、図１６と同様に３６０°の水平画角を持つ矩形の領域に変換して表示してもよい。また、変形例としては、全天球画像を、縮小した円形として、背景領域５０内に表示してもよい。

以上、本発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。本発明の機能等は、一部または全部が、集積回路等のハードウェアで実現されてもよいし、ソフトウェアプログラム処理で実現されてもよい。

１…撮像装置、２…表示装置、３…サーバ、４…通信網、１１…撮像制御部、１２…表示制御部、１３…タッチ検出部、１４…設定部、１５…関連付け部、２１…管理情報、２２…メタデータ、２３…画像データ、２４…画像ファイル、５０…背景領域、６１，６２，６３…図形、１０１…制御部、１０２…記憶部、１０３…撮像部、１０４…表示装置、１０５…操作入力部、１０６…記録部、１０７…記録媒体、１０８…通信インタフェース部、１１１…撮影方向計測部、１１２…内部時計、１１３…位置検出部、１３１…インタフェース回路部、１３２…信号処理部、１３３…メモリ、４０１…表示画面。

Claims (14)

1. 撮像表示方法であって、
   静止画または動画の画像を撮像して画像データを得る撮像ステップと、
   前記画像データに基づいて前記画像を再生表示する表示ステップと、
   情報表示ステップと、
   を備え、
   前記撮像ステップにおいて、撮像して得た前記画像データ及び前記画像の撮影方向として方位角及び仰角の少なくとも一方と、前記画像の画角または前記画角を計算可能である画角関連情報の少なくとも一方と、を含む第１情報を取得し、
   第１画像の第１撮影方向の第１画角の範囲内またはその外に延長された閾値画角範囲内に、第２画像の第２撮影方向または一部画角が含まれている場合に、前記第１画像に前記第２画像の関連付けを行い、
   前記表示ステップにおいて、
   ユーザにより選択された前記第１画像または前記第１画像を表す第１図形を表示すると共に、前記撮影方向に対応した位置関係で、前記第１画像に関連付けられる前記第２画像または前記第２画像を表す第２図形を表示し、
   前記第１画像または前記第１図形の表示サイズを、前記第１画像の前記画角に対応するように表示し、前記第２画像または前記第２図形の表示サイズを、前記第２画像の前記画角に対応するように表示し、
   前記情報表示ステップにおいて、
   前記第１図形と、前記関連付けられる複数の第２画像がある場合、前記第２図形として、代表を表す図形を表示し、
   前記代表を表す図形の選択操作に応じて、前記関連付けられる前記複数の第２画像に関する情報を表示する、
   ことを特徴とする撮像表示方法。
2. 撮像表示方法であって、
   静止画または動画の画像を撮像して画像データを得る撮像ステップと、
   前記画像データに基づいて前記画像を再生表示する表示ステップと、
   情報表示ステップと、
   を備え、
   前記撮像ステップにおいて、撮像して得た前記画像データ及び前記画像の撮影方向として方位角及び仰角の少なくとも一方と、前記画像の画角または前記画角を計算可能である画角関連情報の少なくとも一方と、を含む第１情報を取得し、
   第１画像の第１撮影方向の第１画角の範囲内またはその外に延長された閾値画角範囲内に、第２画像の第２撮影方向または一部画角が含まれている場合に、前記第１画像に前記第２画像の関連付けを行い、
   前記表示ステップにおいて、
   ユーザにより選択された前記第１画像または前記第１画像を表す第１図形を表示すると共に、前記撮影方向に対応した位置関係で、前記第１画像に関連付けられる前記第２画像または前記第２画像を表す第２図形を表示し、
   前記第１画像または前記第１図形の表示サイズを、前記第１画像の前記画角に対応するように表示し、前記第２画像または前記第２図形の表示サイズを、前記第２画像の前記画角に対応するように表示し、
   前記情報表示ステップにおいて、
   前記第１図形がある場合、前記ユーザの操作に基づいて、
   第１情報表示モードとして、前記複数の画像に関する情報を表示し、
   第２情報表示モードとして、前記第１情報表示モード時に選択された前記第１画像または前記第１図形を表示すると共に、前記第１画像に関連付けられる前記第２画像または前記第２図形を表示し、
   第３情報表示モードとして、前記第2情報表示モード時に選択された前記第１画像または前記第２画像を詳細表示する、
   ことを特徴とする撮像表示方法。
3. 請求項１または２に記載の撮像表示方法において、
   背景領域は、全天球の球面のうちの１８０°以上の画角範囲に対応付けられた矩形または円形の領域であり、
   前記表示ステップにおいて、前記背景領域上、前記第１画像の前記撮影方向に対応する位置に、前記第１画像の前記球面への投影画像、縮小画像、または拡大画像を表示し、前記第２画像の前記撮影方向に対応する位置に、前記第２画像の前記球面への投影画像、縮小画像、または拡大画像を表示する、
   ことを特徴とする撮像表示方法。
4. 請求項１または２に記載の撮像表示方法において、
   前記画像データ及び前記第１情報を記憶する記憶ステップを備え、
   前記画角関連情報は、電子ズーム倍率、焦点距離、及び、撮像素子の寸法または機種、を含み、
   前記第１情報に前記画角関連情報を含む場合に、前記画角関連情報から前記画角を計算し、前記画角を前記第１情報に記憶する、
   ことを特徴とする撮像表示方法。
5. 請求項１または２に記載の撮像表示方法において、
   前記第２図形は、前記第２画像の縮小画像、拡大画像、マークを含む所定の図形、透過枠、または前記第２画像の属性値を有する、
   ことを特徴とする撮像表示方法。
6. 請求項１または２に記載の撮像表示方法において、
   前記撮像ステップにおいて、前記第１情報を、前記画像データのメタデータまたは管理情報として作成して記憶し、
   前記関連付けにおいて、前記第１画像に前記第２画像が関連付けられる場合には、前記第１画像と前記第２画像との関連付け情報を作成して前記メタデータまたは前記管理情報に記憶し、
   前記表示ステップにおいて、前記関連付け情報を確認して、前記第１画像及び前記第２画像を表示する、
   ことを特徴とする撮像表示方法。
7. 請求項１または２に記載の撮像表示方法において、
   前記撮像ステップにおいて、前記第１情報を、前記画像データのメタデータまたは管理情報として作成して記憶し、
   前記表示ステップにおいて、前記関連付けを行い、前記第１画像に前記第２画像が関連付けられる場合には、前記第１画像及び前記第２画像を表示する、
   ことを特徴とする撮像表示方法。
8. 請求項１または２に記載の撮像表示方法において、
   第１撮影モードと第２撮影モードとを切り替え、
   前記第１撮影モードにおいて撮像された画像については、前記関連付けを行わず、
   前記第２撮影モードにおいて撮像された複数の画像については、グループとして前記関連付けを行う、
   ことを特徴とする撮像表示方法。
9. 請求項１または２に記載の撮像表示方法において、
   前記撮像ステップにおいて、撮影中のモニタ画像を前記第１画像として表示すると共に、前記第１画像に関連付けられる前記第２画像がある場合には前記第２図形を表示する、
   ことを特徴とする撮像表示方法。
10. 請求項１または２に記載の撮像表示方法において、
    前記撮像ステップにおいて、撮影場所を表す位置情報を、前記画像データのメタデータまたは管理情報として作成して記憶し、
    前記関連付けにおいて、前記第１画像の前記位置情報に対して前記第２画像の前記位置情報が所定の位置範囲内に含まれる場合に、前記関連付けの候補の画像として選択する、
    ことを特徴とする撮像表示方法。
11. 請求項１または２に記載の撮像表示方法において、
    前記撮像ステップにおいて、撮影日時を含む情報を、前記画像データのメタデータまたは管理情報として作成して記憶し、
    前記関連付けにおいて、前記第１画像の前記撮影日時に対して前記第２画像の前記撮影日時が所定の時間範囲内に含まれる場合に、前記関連付けの候補の画像として選択する、
    ことを特徴とする撮像表示方法。
12. 請求項１または２に記載の撮像表示方法において、
    前記撮像ステップまたは前記表示ステップにおいて、前記ユーザの操作に基づいて設定された文字列を、前記画像データのメタデータまたは管理情報として作成して記憶し、
    前記関連付けにおいて、前記第１画像の前記文字列に対して前記第２画像の前記文字列が同じ文字列を含む場合に、前記関連付けの候補の画像として選択する、
    ことを特徴とする撮像表示方法。
13. 請求項１または２に記載の撮像表示方法において、
    前記撮像ステップまたは前記表示ステップにおいて、前記画像の被写体種類を画像認識処理により判断し、
    前記関連付けにおいて、前記第１画像の前記被写体種類に対して前記第２画像の前記被写体種類が同じ被写体種類を含む場合に、前記関連付けの候補の画像として選択する、
    ことを特徴とする撮像表示方法。
14. 請求項１または２に記載の撮像表示方法において、
    前記撮像ステップは、１８０°以上で３６０°以内の画角を持つ広角画像を撮像可能であり、前記第１画像または前記第２画像の少なくとも一方が前記広角画像である、
    ことを特徴とする撮像表示方法。

Images