以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、その繰り返しの説明は省略する。
(実施の形態1)
図1~図18を用いて、本発明の実施の形態1の撮像装置及び表示装置について説明する。実施の形態1の撮像装置及び表示装置は、撮影時の撮影方向や画角が異なる複数の画像、特に広角画像及び狭角画像を、関連付けた状態で表示する機能を有する。
[撮像表示システム]
図1は、実施の形態1の撮像装置及び表示装置を含んで構成されるシステムである撮像表示システムの構成を示す。図1の撮像表示システムは、実施の形態1の撮像装置1である第1撮像装置1A及び第2撮像装置1Bと、実施の形態1の表示装置2である第1表示装置2A及び第2表示装置2Bと、サーバ3とが、通信網4を介して接続されている。通信網4は、無線通信網やインターネットを含む。
撮像装置1は、少なくとも撮像機能及び表示機能を有する電子機器である。表示装置2は、少なくとも表示機能を有する電子機器である。撮影者であるユーザは、自身が所有するまたは使用権限を持つ電子機器として、第1撮像装置1A及び第2撮像装置1Bと、第1表示装置2A及び第2表示装置2Bと、を有する。例えば、第1撮像装置1Aはデジタルカメラであり、第2撮像装置1Bはスマートフォンであり、第1表示装置2Aはテレビであり、第2表示装置2BはノートPCである。
第1撮像装置1Aや第2撮像装置1Bは、少なくとも、自機器で撮像した画像の画像データを、自機器内の記憶手段に保持する機能を有する。また、第1撮像装置1Aや第2撮像装置1Bは、自機器で撮像した画像の画像データを、サーバ3へ送信してサーバ3の画像データDBに蓄積、登録する機能を有してもよい。また、第1撮像装置1Aや第2撮像装置1Bは、ユーザ操作に基づいて、自機器で撮像した画像の画像データを、第1表示装置2Aや第2表示装置2Bへ送信する機能を有してもよい。
第1表示装置2Aや第2表示装置2Bは、外部の機器である撮像装置1またはサーバ3等から、画像データを受信、入力し、自機器内の記憶手段に保持する機能を有する。例えば、第1表示装置2Aは、第1撮像装置1Aや第2表示装置2Bから、通信により画像データを受信する。例えば、第2表示装置2Bは、第1撮像装置1Aや第2撮像装置1Bから、通信により画像データを受信する。また、第1表示装置2Aや第2表示装置2Bは、画像データ表示部を有する。画像データ表示部は、画像データに基づいて表示画面に画像を表示する。
また、例えば、第2表示装置2Bは、画像データ編集部を有する。画像データ編集部は、表示画面に対するユーザ操作に基づいて、画像データの情報や内容を編集する。後述するが、ユーザは、編集により、複数の画像の関係に関する設定が可能である。
サーバ3は、例えば事業者が管理するサーバ装置であり、ユーザの機器から画像データを預かり、画像データDB内に蓄積する。これにより、画像データのバックアップや一元管理等を実現する。なお、サーバ3と画像データDBは別の機器で実装されてもよい。
[撮像装置]
図2は、撮像装置1の構成を示す。撮像装置1は、制御部101、記憶部102、撮像部103、表示装置104、操作入力部105、記録部106、記録媒体107、通信インタフェース部108、撮影方向計測部111、内部時計112、位置検出部113、センサ群114、マイク115、スピーカ116、インタフェース回路部131、信号処理部132、メモリ133等を備える。それらの各部は、バス等を介して相互に接続されており、制御部101の制御に基づいて高速に連携する。
制御部101は、撮像装置1の全体を制御する。制御部101は、プロセッサやROMやRAM等の制御回路を含む。制御部101は、制御回路の処理により実現される処理部として、撮像制御部11、表示制御部12、タッチ検出部13、設定部14、関連付け部15を有する。
制御部101は、動作モードに応じて、撮像部103等の各部を制御して、撮像や表示を実現する。動作モードは、撮像モード、再生表示モード等がある。制御部101は、動作モードや状態に応じて、信号処理部132やメモリ133経由で、撮像部103、表示装置104、記録部106等を制御する。
制御部101は、操作入力部105やタッチセンサ42を通じたユーザ入力操作に基づいて、撮像の撮影方向や画角等の設定を制御する。制御部101は、撮像部103を通じた画像の撮影に伴い、画像データ23と共にメタデータ22を作成し、メタデータ22及び画像データ23を含む画像ファイル24として、記憶部102に記憶、または記録部106の記録媒体107に記録する。また、制御部101は、画像ファイル24に関する管理情報21を作成して管理する。
記憶部102は、制御部101の制御に基づいて、複数の画像ファイル24、及び管理情報21を含む各種のデータや情報を記憶する。なお、記憶部102が制御部101内に統合された形態、記憶部102と記録部106が1つに統合された形態等でもよい。
撮像部103は、撮像制御部11からの制御に基づいて、画像を撮像する。撮像部103は、駆動部31、レンズ部32を含む。駆動部31は、駆動回路を含み、撮像制御部11からの駆動制御に基づいて、レンズ部32の撮像素子及びレンズを駆動する。レンズ部32は、電子ズームまたは光学ズームに対応したレンズを含む、複数のレンズによる光学系を含む。例えば、駆動部31は、フォーカスレンズの位置を制御して焦点距離を変えるフォーカシング動作を行う。レンズ部32のレンズは、交換不要で固定された、電子ズームに対応したズームレンズの方式でもよいし、着脱により交換可能である光学レンズの方式でもよい。
撮像部103は、CMOSやCCD等の撮像素子を含む。撮像素子の撮像面には、光電変換素子が2次元で配列されている。撮像部103は、レンズ部32を介して入射されて撮像素子の撮像面に結像された被写体の光学像を、光電変換して撮像信号に変換する。撮像部103には、アナログ信号をデジタル信号に変換するAD変換回路が内蔵されており、デジタル化された撮像信号を出力する。撮像部103では、位相差オートフォーカス用の画素を配置した撮像素子を用いて、オートフォーカスの高速化を図ってもよいし、メモリを内蔵して、撮像信号の入出力の高速化を図ってもよい。撮像部103の外部にAD変換回路等が設けられてもよい。撮像部103の撮像方式については限定しない。
表示装置104は、例えばタッチパネルであり、表示部41及びタッチセンサ42を含む。タッチパネルは、表示手段かつ操作入力手段である。表示部41は、表示ドライバを含み、ユーザに対して表示画面を表示する。表示部41は、例えば液晶表示部であるが、有機EL表示部等でもよい。表示部41の方式やタッチセンサ42の方式については限定しない。表示装置104は複数備えられてもよいし、タッチセンサ42を備えないものでもよい。実施の形態1では、主となる表示装置104であるタッチパネルに加え、後述するが撮影モニタ用の表示装置を有する。
タッチセンサ42は、表示部41の表示画面の領域に対応させて配置されており、表示画面に対するタッチ入力操作を受け付ける。タッチセンサ42は、例えば静電容量方式であり、指等の近接や接触による静電容量変化を電気信号として検出し、タッチ検出信号を制御部101のタッチ検出部13へ出力する。タッチパネルは、例えば液晶パネル表示部にタッチセンサ42が内蔵されており、前面側にガラス保護カバーが配置され、背面側にバックライトが配置されている。なお、表示装置104は、一定時間の非使用状態等に基づいて自動的にバックライト消灯により非表示状態にされる制御がされてもよい。タッチパネルは感圧方式等でもよい。
タッチ検出部13は、タッチセンサ42から得られるタッチ検出信号に基づいて、表示画面でのタッチ有無やタッチ位置座標等を検出し、また、タップやスワイプやピンチ等の操作を検出する。ユーザは、タッチパネルの表示画面に対するタッチ入力操作により、撮像装置1に対する指示入力や、表示画面内で任意位置にフォーカスを合わせる操作等、各種の操作が可能である。
インタフェース回路部131は、動作モードに応じて、制御部101の制御に基づいて、制御部101からの駆動制御信号を、撮像部103へ転送する。また、インタフェース回路部131は、制御に基づいて、撮像部103からの撮像信号を、信号処理部132またはメモリ133へ出力する。なお、インタフェース回路部131に複数の撮像部103が接続される形態としてもよい。
信号処理部132は、画像音声信号処理回路、及び符号化復号化回路を含み、制御部101の制御に従い、画像信号処理、音声信号処理、符号化処理及び復号化処理、等の各種の信号処理を行う機能を有する。信号処理部132の信号処理は、撮像部103からの撮像信号に対する信号処理や、画像データ23に対する信号処理や、表示装置104に映像を表示する際の信号処理を含む。信号処理部132は、信号処理により、記録用あるいは表示用の映像信号を生成する。この映像信号は、画像データ23の静止画や動画を含む。
信号処理部132は、例えば、撮像信号に、フィルタリング、感度設定に応じた増幅、ホワイトバランス補正、等の信号処理を行う。信号処理部132は、画像データ23を画像ファイル24として記録媒体107に記録する際等には、元データに対して、そのための所定の形式の符号化処理を行う。この符号化は、データ圧縮を含む。信号処理部132は、記録媒体107から画像データ23を読み出す際等には、対応する復号化処理を行い、元データへ復元する。信号処理部132は、画像データ23に基づいて表示装置104に画像を再生表示する際には、そのための信号処理を行う。信号処理部132は、マイク115からの音声入力信号やスピーカ116への音声出力信号に対する音声信号処理を行う。
メモリ133は、信号処理部132の信号処理の際にバッファメモリとして使用され、各信号やデータが格納される。メモリ133は、例えばDRAMやフラッシュメモリ等により構成される。
操作入力部105は、ユーザによる入力操作を可能とする各種のハードウェアボタン等を含む。ユーザは、操作入力部105を通じて、指示入力可能であり、設定部14に対し画角関連情報等を設定可能である。
設定部14は、操作入力部105やタッチパネルを通じてユーザにより入力される設定を受け付けて、撮影や表示に係わる情報を設定する。設定部14には、撮影に係わる設定情報として、撮像部103のレンズに関する電子ズーム倍率、焦点距離、画角等が設定可能である。撮像制御部11は、設定部14の設定情報に基づいて、画角等を自動調整するように、撮像部103を駆動制御する。
記録部106は、記録再生回路等を含み、記録媒体107が着脱可能に設けられている。記録媒体107は、例えばSDカードである。記録部106は、制御部101の制御に基づいて、記憶部102またはメモリ133等の画像データ23を含む画像ファイル24を、記録媒体107に記録する。記録部106は、制御部101の制御に基づいて、記録媒体107から画像ファイル24を読み出して記憶部102またはメモリ133等に格納する。ユーザは、記録媒体107を取り外して持ち運びや交換が可能である。なお、画像ファイル24には、画像データ23と共に音声データが含まれてもよい。
通信インタフェース部108は、無線通信インタフェース部を含む。通信インタフェース部108は、制御部101の制御に基づいて、無線アクセスポイント等を介して通信網4に接続し、外部の装置との間で通信処理を行う。例えば、図1のように、撮像装置1は、通信網4を介してサーバ3または表示装置2または自機器以外の撮像装置1と通信し、自機器の画像ファイル24を送信する、あるいは外部の機器から画像ファイル24を受信する。その際、通信インタフェース部108は、画像ファイル24の通信データを転送する。通信インタフェース部108は、電話網通信機能、LAN通信機能、近距離通信機能等を備えていてもよい。
撮影方向計測部111は、電子コンパス、ジャイロセンサ、加速度センサ等のセンサを含み、それらを用いて撮像装置1の撮影方向を計測し、撮影方向の情報を制御部101へ出力する。撮影方向計測部111は、撮影方向として、方位角及び仰角を計測する。また、撮影方向計測部111は、撮像装置1の姿勢の検出に基づいて、撮像時の画像の傾きを表す回転角を検出する。画像の回転角は、水平方向及び鉛直方向に対する、画像の矩形の横線及び縦線の成す角度で表わされる。
内部時計112は、現在日時を計測する。これにより、制御部101は、撮影日時を得ることができる。位置検出部113は、GPS受信部を含み、衛星からの信号を用いて、撮像装置1の位置を検出する。位置検出部113は、位置情報として、{緯度,経度,標高(海抜高度)}を検出する。標高は省略でもよい。センサ群114は、他のセンサ群であり、例えば近接センサや照度センサが挙げられる。マイク115は音声入力機器であり、スピーカ116は音声出力機器である。
撮像制御部11は、撮像装置1の動作モードに応じて、撮像時に撮像部103等を制御して画像を撮像し、画像データ23を得る。撮像制御部11は、画像データ23を画像ファイル24として記憶部102等に格納する。撮像部103及び撮像制御部11は、広角画像及び狭角画像の両方の画像の撮像を可能とする機能を有する。撮像制御部11は、撮像部103の光学系に関するズーム制御を行う。ズーム制御は、電子ズームまたは光学ズームの制御である。撮像制御部11は、設定部14の画角関連情報等の設定情報に基づいて、撮像部103のレンズに関する電子ズーム倍率、焦点距離、画角等を把握及び調整する。
撮像部103において焦点距離等が異なる光学レンズに交換可能である場合、例えば、ユーザは、狭角画像を撮影する際には焦点距離が相対的に長い光学レンズに交換し、広角画像を撮影する際には焦点距離が相対的に短い光学レンズに交換する。ユーザが撮像部103のレンズを交換した場合、設定部14は、自動的にその交換を検出し、交換後のレンズの焦点距離等を検出してもよい。あるいは、交換後、ユーザが、設定部14に対して交換後のレンズの焦点距離等を入力設定してもよい。そして、撮像制御部11は、設定部14から更新後の設定情報を取得して焦点距離等を把握する。
表示制御部12は、表示装置104の表示部41等を制御して、表示部41の表示画面に画像や情報を表示する。表示制御部12は、管理情報21や画像ファイル24に基づいて、表示画面に、フォルダ情報や画像を表示する。表示制御部12は、ユーザに対するグラフィカルユーザインタフェースとなる各種の画面を提供する。表示制御部12は、後述の表示モードに応じた画面の切り替えを制御する。表示制御部12は、メニュー画面や設定画面等も提供する。
関連付け部15は、撮像制御部11や表示制御部12と連携して、所定の関係を持つ複数の画像を関連付ける関連付け処理を行う。関連付け部15は、後述する関連付け方式に従い、撮像時または再生表示時等の所定のタイミング及び契機で、関連付け処理を行う。関連付け部15は、関連付け処理における第1処理として、記憶部102等の複数の画像データ23を対象として、関連付けのための判断を行う。この第1処理の判断では、後述する選択方式に従い、撮影場所等の条件に基づいて、関連付けの候補となる画像を選択する。関連付け部15は、第2処理として、候補となる複数の画像において、撮影方向及び画角の条件に基づいて、関連付ける第1画像及び第2画像を決定する。関連付け部15は、判断の結果、第1画像及び第2画像を関連付けるように、メタデータ22または管理情報21を作成する。
表示制御部12は、画像の再生表示の際、関連付け部15の判断結果、または、関連付け済みである画像ファイル24のメタデータ22または管理情報21の参照確認に基づいて、所定の関係を持つ第1画像及び第2画像を特定し、それらの第1画像及び第2画像を含む複数の画像を、表示画面に関連付けた状態で表示する。
なお、撮像装置1の制御部101や信号処理部132等の各処理部や各機能のハードウェア構成としては、各処理部や各機能が個別のLSI等の回路で実装された形態でもよいし、1つの統合されたLSI等の回路で実装された形態でもよい。
[表示装置]
図3は、表示装置2の構成を示す。表示装置2は、撮像装置1に対して主に異なる構成としては、撮像部103及び撮像に係わる処理部を備えない。表示装置2の構成要素のうち撮像装置1の構成要素と同様のものについては説明を省略する。表示装置2は、制御部201、記憶部202、表示部204、操作入力部205、記録部206、記録媒体207、通信インタフェース部208、センサ群214、マイク215、スピーカ216、等を備える。それらの各部は、バス等を介して相互に接続されており、制御部201の制御に基づいて高速に連携する。
制御部201は、表示装置2の全体を制御する。制御部201は、プロセッサやROMやRAM等の制御回路を含む。制御部201は、制御回路の処理により実現される処理部として、表示制御部212、関連付け部215を有する。制御部201は、操作入力部205を通じたユーザ入力操作に基づいて、表示部204の表示画面での表示を制御する。
記憶部202は、制御部201の制御に基づいて、複数の画像ファイル24、及び管理情報21を含む各種のデータや情報を記憶する。画像ファイル24及び管理情報21は、自機器で作成したものでもよいし、外部の機器から取得したものでもよい。
表示部204は、表示ドライバを含み、ユーザに対して表示画面を表示する。表示部204はタッチパネルとしてもよい。
操作入力部205は、ユーザによる入力操作を可能とする各種のハードウェアボタン等を含む。操作入力部205は、リモコン及びリモコン受光部を備えてもよい。ユーザは、操作入力部205を通じて、指示入力やユーザ設定が可能である。
記録部206は、記録再生回路等を含み、記録媒体207が着脱可能に設けられている。記録部206は、制御部201の制御に基づいて、記憶部202またはメモリ等の画像データ23を含む画像ファイル24を、記録媒体207に記録する。記録部206は、制御部201の制御に基づいて、記録媒体207から画像ファイル24を読み出して記憶部202またはメモリ等に格納する。ユーザは、記録媒体207を取り外して持ち運びや交換が可能である。
通信インタフェース部208は、制御部201の制御に基づいて、通信網4に接続し、外部の装置との間で通信処理を行う。例えば、図1のように、表示装置2は、通信網4を介してサーバ3または撮像装置1または自機器以外の表示装置2と通信し、自機器の画像ファイル24を送信する、あるいは外部の機器から画像ファイル24を受信する。その際、通信インタフェース部208は、画像ファイル24の通信データを転送する。
表示制御部212は、表示部204等を制御して、表示部204の表示画面に画像や情報を表示する。表示制御部212は、画像ファイル24や管理情報21に基づいて、表示部204の表示画面に、フォルダ情報や画像を再生表示する。表示制御部212は、ユーザに対するグラフィカルユーザインタフェースとなる各種の画面を提供する。表示制御部212は、表示モードに応じた画面の切り替えを制御する。
関連付け部215は、表示制御部212と連携して、所定の関係を持つ複数の画像を関連付ける関連付け処理を行う。関連付け部215は、外部の機器から取得した画像ファイル24を対象に関連付け処理を行うこともできる。関連付け部215の関連付け処理は、関連付け部15の関連付け処理と同様である。関連付け部215は、判断の結果、第1画像及び第2画像を関連付ける場合、第1画像及び第2画像の画像ファイル24のメタデータ22、または管理情報21に、関連付け情報を記述する。
表示制御部212は、画像の再生表示の際、関連付け部215の判断結果、または、関連付け済みである画像ファイル24のメタデータ22または管理情報21の参照確認に基づいて、所定の関係を持つ第1画像及び第2画像を特定し、それらの第1画像及び第2画像を含む複数の画像を、表示画面に関連付けた状態で表示する。
以下、主に撮像装置1を主体として説明するが、撮像に係わる機能や動作以外については、表示装置2を主体として同様に実現できる。
[撮像装置-外観]
図4は、撮像装置1の外観の構成例を示す。図4の左側には、撮像装置1の筐体400の背面から見た構成を示し、右側には筐体400の右側面から見た構成を示す。背面は表示部41の表示画面401が設けられた方の面とし、前面は撮像部103のレンズ402が設けられた方の面とする。
側面の構成において、筐体400の正面中心位置には、レンズ部32のレンズ402が配置されている。また、主要な筐体400に対して例えば上方に張り出す状態で電子ビューファインダ(EVF)403が設けられている。EVF403は表示装置104の1つである。
背面の構成において、前述のタッチパネルに対応する矩形の表示画面401が配置されており、情報表示やタッチ入力操作が可能となっている。また、EVF403は、表示画面404及び近接センサ405を有する。EVF403は、撮影の際にレンズ及び撮像素子を介して入力されている信号に基づいて、被写体の画像を撮影モニタ画像として表示する。ユーザは、EVF403の撮影モニタ画像を確認しながら撮影が可能である。表示画面404には、絞り値等の情報を重ね合わせて表示してもよい。近接センサ405は、物体の近接を検出する。近接センサ405は、静電容量方式、光学方式等がある。例えば、制御部101は、近接センサ405を通じて近接の有無の検出により、ユーザによるEVF403の使用有無を判断する。制御部101は、その判断に応じて、表示画面401での表示と、EVF403の表示画面404での撮影モニタ画像の表示とを自動的に切り替える。なお、EVF403に限らず、光学ファインダを搭載する形態でもよい。また、表示画面401に撮影モニタ画像を表示するモードも設定可能である。
筐体400には、操作入力部105として、モード設定ダイヤル431、シャッターボタン432、十字キー433、再生表示モードボタン434、電源ボタン435、等が設けられている。十字キー433には、上下左右ボタンや中心ボタンを含み、表示画面401内の所望の位置の情報の選択、決定やキャンセル等の入力に用いることができる。表示画面401では、所定の入力操作に基づいて、メニュー表示も可能である。
モード設定ダイヤル431は、動作モードの設定に用いられる。シャッターボタン432は、撮影の際に押下される。再生表示モードボタン434は、表示画面401に再生表示する際に用いられ、表示モードの切り替えも可能である。電源ボタン435は、電源オン/オフ等に用いられる。ユーザは、表示画面401または表示画面404に撮影モニタ画像を表示して、所望の位置にタッチしてフォーカスを合わせる等、各種の入力操作が可能である。
[撮像装置-動作モード]
撮像装置1の動作モードとして、撮影モード、再生表示モード等を有する。撮影モードの動作概要については以下である。ユーザが電源ボタン435を押して電源オン状態にすると、通常撮影モードが起動される。制御部101は、通常撮影モードに応じて、撮像部103等を駆動制御する。通常撮影モードでは、画像として静止画や動画の撮影が可能である。撮影時、制御部101は、撮像部103から所定の周期で撮像信号を読み出し、インタフェース回路部131を経て、信号処理部132で所定の信号処理を施し、表示用の形式の映像信号に変換する。そして、制御部101は、その映像信号に基づいて、表示装置104のタッチパネルの表示画面401またはEVF403の表示画面404に、リアルタイムで撮影モニタ画像を表示する。ユーザは、表示画面401または表示画面404の撮影モニタ画像を確認しながら以下のように撮影を行う。
ユーザは、操作入力部105を通じて設定部14に撮影条件として画角関連情報等を設定する。静止画を撮影する場合、ユーザは、シャッターボタン432を押す。撮像制御部11は、シャッターボタン432の押下を検出し、設定されている撮影条件に従って、絞り値やシャッター速度やフォーカス等を決定する。シャッターボタン432は、例えば半押し、全押しの状態がある。撮像制御部11は、半押し状態の時にフォーカス等を設定し、全押し状態の時に撮像を開始するように制御する。
撮像部103によって撮像された静止画の撮像信号は、信号処理部132及びメモリ133を用いて、静止画用の所定の信号処理が施される。その際の符号化方式としては例えばJPEGを適用するが、他の方式としてMPEGや高画質のRAW形式等を適用してもよい。符号化された静止画データに対応する画像ファイル24は、例えば記録部106で記録媒体107に記録される。
動画を撮影する場合、ユーザは、動画撮影ボタンを押下して動画撮影を開始し、動画撮影ボタンを再度押下して動画撮影を停止する。動画の撮像信号は、動画用の所定の方式の信号処理が施される。その方式としては、例えばH264やH265等のMPEG、その他の形式が適用される。符号化された動画データは、同様に例えば記録媒体107に記録される。
再生表示モードの動作概要については以下である。制御部101は、再生表示モードボタン434により再生表示モードに設定されたことを検出すると、記録部106の記録媒体107から画像ファイル24を読み出して記憶部102に格納する。表示制御部12は、画像データ23から、信号処理部132を用いて、復号化処理により画像の元データを復元し、表示画面に画像等を表示するための映像データを生成する。表示制御部12は、映像データに基づいて表示装置104を制御し、表示画面に画像等を表示する。
[管理情報及び画像ファイル]
図5は、記憶部102の管理情報21及び画像ファイル24の構成例を示す。管理情報21は、画像ファイル管理情報と、関連付け管理情報とを含む。画像ファイル管理情報は、公知のファイルシステムにより管理する情報であり、例えばファイル名、更新日時、種類、サイズ等の情報を含む。関連付け管理情報は、複数の画像の関係を管理するために作成される特有の情報である。関連付け管理情報は、例えば、種別識別子、参照識別子、設定文字列を含む。
種別識別子は、画像ファイル24毎に、その画像の種別を識別するための識別子である。画像の種別は、例えば、広角画像と狭角画像との2つがある。参照識別子は、複数の画像間での関連付けの参照のための識別子である。参照識別子は、例えば、第1画像とそれに関連付けられる第2画像とがある場合に、第1画像に持つ参照識別子として、参照先の第2画像の画像ファイル24のファイル名である。また、第2画像に持つ参照識別子として、参照元の第1画像の画像ファイル24のファイル名である。設定文字列は、後述するが、ユーザ操作に基づいてユーザが任意に設定可能である文字列である。ユーザは、画像の編集及び管理作業の際に、画像に対して例えば撮影場所を表す文字列を設定可能である。なお、関連付け管理情報内に設定文字列を設けているが、メタデータ22内に設定文字列を設けてもよい。
画像ファイル24は、メタデータ22と、画像データ23とを含む。画像ファイル24のヘッダ部にメタデータ22を有し、ボディ部に画像データ23を有する。画像データ23は、静止画または動画のデータであり、記録用の場合には符号化データである。メタデータ22は、画像データ23に関する各種の属性値を含む情報を管理するデータであり、言い換えると、付属情報、属性情報である。メタデータ22は、情報項目として、撮影日時、撮影場所、機種、解像度、撮影方向、画角、画角関連情報、回転角、サムネイルを含む。
撮影日時は例えば年月日時分秒である。撮影場所は、位置情報または設定文字列を含む。位置情報は、位置検出部113により検出された位置座標{緯度,経度,標高}を含む。設定文字列は、ユーザにより設定された撮影場所を表す文字列である。機種は、撮像装置1の種類を一意に表す情報である。機種は、レンズ種類等を含んでもよい。解像度は、画像データ23の画像の解像度を表す。
撮影方向は、方位角(θとする)、仰角(φとする)を含む情報である。画角は、水平画角(Ahとする)、垂直画角(Avとする)を含む情報である。画角関連情報は、電子ズーム倍率(nとする)、焦点距離(fとする)、撮像素子の撮像面の寸法、等の情報である。寸法は{水平サイズsw,垂直サイズsh,対角サイズsd}とする。なお、メタデータ22において、画角項目と画角関連情報項目との一方のみを設ける形式としてもよい。
回転角は、言い換えると撮像時のレンズの光軸を軸とした回転であり、撮像時の画像の回転を表す角度である。例えば、図4のように水平面に対して筐体400の横方向が一致する状態を基準とした角度や方向である。
サムネイルは、画像の元データに基づいた縮小画像である。サムネイルは、画像の解像度や種別等に応じて構成され、符号化有りまたは符号化無しで記録される。サムネイルが予め作成及び保持される場合には、再生表示の際に高速にサムネイルが表示可能である。サムネイルは、異なる解像度等で複数の種類のサムネイルが作成及び保持されてもよい。サムネイルは、省略でもよいし、メタデータ22とは別に管理されてもよい。表示制御部12は、再生表示の都度にサムネイルを作成して表示してもよい。
なお、メタデータ22は、所定の形式、例えばExif(Exchangeable image file format)に基づいて拡張した形式であるが、これに限定しない。Exifは、デジタルカメラの写真用の形式である。Exifでは、機種や撮影条件情報を、メタデータとして画像データに埋め込む。画像表示や画像編集のソフトウェアは、このメタデータを参照でき、また、ユーザはメタデータの情報を編集可能である。従来のExifの画像ファイルのメタデータには、画角等の情報は含まれていない。実施の形態1では、拡張した形式として、メタデータ22の中に、特有の情報項目として、画角、画角関連情報等の項目を設けている。
メタデータ22は、画像ファイル24のヘッダ部として作成及び管理されているが、画像データファイルとは別に、メタデータファイルとして作成及び管理されてもよい。また、メタデータ22を用いて特有の情報を管理する形態に限らず、管理情報21の中で同様の情報をまとめて管理する形態としてもよい。なお、動画の場合、メタデータ22等の各種情報については、例えば所定の時間間隔の画像フレーム毎に記述されてもよい。その時間間隔は一定でもよいし、画角等に変化があった時のみとしてもよい。
[複数の画像の関係の管理]
図6は、複数の画像の関係に関する関連付け管理について示す。制御部101は、例えば、図5の管理情報21のうちの関連付け管理情報において、図6のような関係を管理する。図6で、第1画像は、種別が広角であり、第2画像は、種別が狭角である。本例では、第1画像として、第1広角画像、第2広角画像等を有し、第2画像として、第1狭角画像、第2狭角画像等を有する。例えば、第1広角画像には、第1狭角画像、第2狭角画像、第3狭角画像等の複数の第2画像が関連付けられている。関連付け情報としては、例えば、第1広角画像の画像ファイルに持たせる参照識別子として、第1狭角画像等の画像ファイル名を有する。また、第1狭角画像の画像ファイルに持たせる参照識別子として、第1広角画像の画像ファイル名を有する。これにより、関係を持つ画像間で相互に参照可能である。
なお、表示画面に、1つの表示モードとして、図6のような複数の画像の関係を表す情報を表示してもよい。その際、図6のように第1画像と第2画像とをツリー構造で表示してもよいし、図示しないが第1画像のノードの周りに第2画像のノードをリンク線で接続した状態で表示してもよい。
実施の形態1では、画像の種別として、画角に関する広角と狭角とを区別する。撮像装置1は、閾値に基づいて画角を絶対値で区別する。画角に関する閾値として第1画角が設定されている。制御部101は、撮像した画像の画角が第1画角以上である場合には、種別として広角画像とし、第1画角未満である場合には狭角画像とする。これに限らず、画角の種別は、3種類以上を設けてもよい。
[画像の撮影方向及び画角]
図7は、実施の形態1の撮像装置1で具体例として用いる複数の画像である広角画像及び狭角画像に関する撮影方向や画角の関係について、概念を簡易的に示す説明図である。図7では、特に方位角及び水平画角について示す。
第1画像である広角画像6a、第2画像である第1狭角画像6b、及び第2狭角画像6cを有する。これらの画像は、ユーザにより、撮像装置1を用いて、同じ場所である撮影地点である点P0で撮影された画像とする。各画像は、広角画像6a、第1狭角画像6b、第2狭角画像6cの順で近い日時に撮影されたものとする。各画像の撮影日時は、例えば、広角画像6aが2016年1月5日13時11分30秒、第1狭角画像6bが同日の13時14分40秒、第2狭角画像6cが同日の13時15分50秒とする。
広角画像6aは、方位角θ1で示す撮影方向63a、水平画角Ah1に対応する撮影範囲601を有する。第1狭角画像6bは、方位角θ2で示す撮影方向63b、水平画角Ah2に対応する撮影範囲602を有する。第2狭角画像6cは、方位角θ3で示す撮影方向63c、水平画角Ah3に対応する撮影範囲603を有する。図7では、画像の撮影方向のうち、方位角θで規定される撮影方向を、一点鎖線で示している。
点P0は、特に撮像部103のレンズ402の中心点を示す。球面600は、全天球の球面を示し、無限遠点を捨象した仮想的な球面である。球面600は、特に、方位角θ及びX-Y平面に対応する円周の部分を示す。Nは北向き、Eは東向き、Sは南向き、Wは西向きを示す。X方向が東向き、Y方向が北向きに対応しており、Z方向は天頂方向に対応している。方位角θは、Nを基準の0°として、時計回りを正方向として、Eが+90°、Sが+180°、Wが+270°(-90°)として示す。
球面600上の円弧で示す撮影範囲601は、広角画像6aのうちの水平画角Ah1に対応する部分を示し、点P0から見た球面600に投影される領域に相当する。本例では、球面600上、広角画像6aに写される風景として、山611や空、塔612やビル613等がある場合を簡易的に示す。第1狭角画像6bは塔612を撮影した例であり、第2狭角画像6cはビル613を撮影した例である。
各画像の方位角θ、仰角φ、水平画角Ah、垂直画角Avの値の具体例は以下である。広角画像6aの方位角θ1、仰角φ1、水平画角Ah1、垂直画角Av1とし、第1狭角画像6bの方位角θ2、仰角φ2、水平画角Ah2、垂直画角Av2とし、第2狭角画像6cの方位角θ3、仰角φ3、水平画角Ah3、垂直画角Av3とする。
θ1=+10°, φ1=0°, Ah1=120°, Av1=80°
θ2=+45°, φ2=0°, Ah2=21°, Av2=14°
θ3=-20°, φ3=-10°, Ah3=21°, Av3=14°
図8は、図7と同様に、特に仰角φ及び垂直画角Avについて示す説明図である。図8では、別の狭角画像6dの例で示す。図8では、X方向が水平方向、Z方向が鉛直方向に対応している。Z方向における正方向が頭、天頂方向に対応し、負方向が足元の方向に対応する。仰角φは、水平方向を基準として0°とし、Z方向の天頂方向では+90°、足元の方向では-90°とする。狭角画像6dにおける垂直画角Av4に対応する撮影範囲801を示す。狭角画像6dの撮影方向63dは、仰角φ4に対応する部分を示す。
[画角及び画角関連情報]
図9は、画角及び画角関連情報について簡易的に示す。また、図9では、設定部14に設定情報として画角及び画角関連情報が記憶される場合を示す。画像の画角として{水平画角Ah,垂直画角Av}を示す。また、画像における水平画角Ahに対応する水平サイズSh、及び垂直画角Avに対応する垂直サイズSvを示す。水平サイズShは、画像フレーム内水平方向における右端から左端までのサイズである。垂直サイズSvは、画像フレーム内垂直方向における上端から下端までのサイズである。なお、実施の形態1では、水平画角Ah及び垂直画角Avを用いるが、これに限らず、対角画角Adを含め、少なくとも1つの画角を用いればよい。
画角関連情報として、光学ズームを考慮したレンズの焦点距離fと、電子ズーム倍率nと、撮像素子の撮像面の寸法{水平サイズsw,垂直サイズsh,対角サイズsd}とを用いる。寸法の代わりに、機種を用いてもよい。焦点距離fは、35mm換算焦点距離である。
画角は、画角関連情報を用いて、関係式に基づいて計算して得ることも可能である。制御部101は、画角を計算するのに十分な画角関連情報がある場合、画角関連情報から画角を計算して求めてもよい。画角は、例えば撮像素子の寸法と、焦点距離fと、電子ズーム倍率nとを用いて計算可能である。
画角関連情報から画角を計算する場合には以下である。撮像制御部11は、画像に関する画角関連情報を参照する。撮像制御部11は、画角関連情報を、前述の設定部14の設定情報、あるいはメタデータ22または管理情報21に記述されている情報から把握可能である。画角{水平画角Ah,垂直画角Av,対角画角Ad}は、例えば以下の式に基づいて計算可能である。
Ah=2×arctan(sw/(2×n×f)) ・・・(1)
Av=2×arctan(sh/(2×n×f)) ・・・(2)
Ad=2×arctan(sd/(2×n×f)) ・・・(3)
なお、焦点距離fについては、通常、35mm換算で表される。これは、撮像素子の寸法が35mm判{sw=35mm,sh=24mm}である場合に上記式を満足させることに相当する。
例えば、電子ズーム倍率n、焦点距離f、寸法{水平サイズsw,垂直サイズsh}が与えられると、水平画角Ah1及び垂直画角Av1が決まる。制御部101は、その画角の情報を、メタデータ22の画角項目、または管理情報21内に記述する。また、画角関連情報から画角が計算可能であるため、撮像装置1は、メタデータ22等の1つとして、上記画角を保存する代わりに、上記画角関連情報を保存してもよい。また、機種から画角関連情報の撮像素子の寸法等が把握可能であるため、撮像装置1は、メタデータ22等の1つとして、撮像素子の寸法等の代わりに、機種を保存してもよい。例えば、撮像装置1は、予め、機種と画角関連情報との対応関係を表す情報を保持している。あるいは、撮像装置1は、通信により、外部の装置から、その対応関係を表す情報を参照可能である。撮像装置1は、その情報に基づいて、機種から画角関連情報を得ることができる。
[画角等の保存]
撮像装置1は、画像を撮像した際、撮影日時、撮影方向{方位角θ,仰角φ}、画角{水平画角Ah,垂直画角Av}等を含む情報を作成する。撮像制御部11は、内部時計112により撮影日時を得る。撮像制御部11は、位置検出部113により位置情報{緯度,経度,標高}を得る。撮像制御部11は、撮影方向計測部111により撮影方向{方位角θ及び仰角φ}を得る。撮像制御部11は、設定部14の設定情報または計算により、画角{水平画角Ah及び垂直画角Av}を得る。そして、撮像装置1は、それらの情報を、図5のメタデータ22の対応する項目に記述し、画像データ23と共に、画像ファイル24として作成する。
[表示画面(1)-表示モード]
図10は、表示部41の表示画面401の表示モード及びその遷移について示す。撮像装置1は、再生表示モードである表示モードとして、少なくとも、第1表示モード、第2表示モード、第3表示モードを有する。撮像装置1は、例えば、最初は第1表示モードで表示し、ユーザ操作に基づいて、表示モードを切り替える。
第1表示モードは、全画像の情報に関する一覧表示を行うモードであり、フォルダ画面を表示するモードである。第1表示モードの第1画面では、フォルダの複数の画像の情報を、例えばファイル名や日時等をキーとした順序で一覧表示する。本例では、複数の画像として画像G1,G2,G3等の情報を、上から順に並べて表示している。各画像の行では、画像のアイコンまたはサムネイル、ファイル名、撮影日時、種別、その他の情報を表示している。その他の情報としては、撮影方向{方位角θ,仰角φ}や画角{水平画角Ah,垂直画角Av}等の属性値を表示してもよい。ユーザは、第1画面に表示しきれない情報については、スクロール等させて表示可能である。第1画面は、このようなフォルダ画面に限らず、公知の各種の方式が可能である。例えば、複数の画像のサムネイルを2次元状に並列配置して表示する画面等が可能である。第1画面で、ユーザにより所望の第1画像、例えば画像G1(広角画像6aに対応する)が選択操作される。その場合、撮像装置1は、選択された第1画像に関連付けられる第2画像が存在する場合、第2表示モードの第2画面へ遷移させる。
第2表示モードは、広角画像と狭角画像とを含む複数の画像における関連付け表示を行う特有のモードである。第2表示モードの第2画面では、選択された第1画像901である広角画像6aを全体的に表示し、第1画像901の上に、所定の関係を持つ1つ以上の第2画像である狭角画像を、所定の図形902の状態で重ね合わせて関連付けた状態で表示する。例えば、図形902は、第1狭角画像6bを表す図形であり、図形903は、第2狭角画像6cを表す図形である。なお、破線枠は、説明上わかりやすくするため、対応する狭角画像がある領域を示している。第2画面では、ユーザ操作に従い、スクロールや拡大縮小等の動作によって表示状態を変えることもできる。
第2画面でユーザにより所望の第2画像の図形が選択操作される。選択操作は、例えば図形のタップである。その場合、撮像装置1は、選択された第2画像を表示する第3表示モードの第3画面へ遷移させる。また、第2画面で、第1表示モードへ戻るための所定の操作が行われた場合、撮像装置1は、第1表示モードの第1画面へ戻す。所定の操作は、例えば、第1表示モード指定入力、あるいは戻るボタン押下、等である。
第3表示モードは、指定された単一の画像、例えば狭角画像に関する詳細表示を行うモードである。本例では、第3画面で単一の第2画像904である狭角画像を表示する例を示しているが、単一の広角画像の表示も同様に可能である。第3表示モードの第3画面で、ユーザ操作に従い、スクロールや拡大縮小等により表示状態を変えることも可能である。第3画面で、ユーザにより所定の操作、例えば第2表示モード指定入力や、第2画像904の領域のタップがされた場合、撮像装置1は、第2表示モードの第2画面に戻す。
また、ユーザが広角画像のみを閲覧したい場合、撮像装置1は、所定の操作に応じて、表示画面に第1画像のみを詳細表示する。例えば、撮像装置1は、第2画面での所定の操作に応じて、第2画像の図形を非表示状態にし、これにより第1画像のみを表示する。撮像装置1は、その状態からの所定の操作に応じて、第2画像の図形を再び表示状態に戻す。あるいは、撮像装置1は、第2画面での所定の操作、例えば第1画像の上の第2画像の図形が無い領域のタップ等に応じて、第1画像を詳細表示させる第3画面へ遷移させる。
[表示画面(2)-第2表示モード]
図11は、第2表示モードの第2画面の例を示す。本例は、図7等の具体例と対応しており、広角画像6aを選択して表示する場合を示す。広角画像6aに対し、第1狭角画像6b及び第2狭角画像6cが関連付けられている場合を示す。表示制御部12は、画像ファイル24及び管理情報21に基づいて、第2画面を表示する。第2画面では、第1画像である広角画像6aを全体に表示し、その第1画像の上に、各々の第2画像である狭角画像を表す図形を重ね合わせて表示する。
図11では、表示画面401内における方位角に対応した画面内水平方向をx方向、仰角に対応する画面内垂直方向をy方向として示している。表示画面401のx方向の横幅をW、y方向の縦幅をHとする。
点p1は、表示画面401の中央の点を示す。最初、スクロールや拡大縮小等の動作がされていない状態では、広角画像6aの全体が表示画面401内に表示されている。最初、点p1に、広角画像6aの撮影方向63aに対応する中心点の位置座標(Xa,Ya)が配置されるように表示される。位置座標(Xa,Ya)は、(方位角,仰角)で表して(θ1=+10°,φ1=0°)に対応する点である。
広角画像6aの水平画角Ah1は120°であり、垂直画角Av1は80°である。広角画像6aは、表示画面401の横幅W及び縦幅Hに対応させて、水平画角Ah1に対応する水平サイズSh1、及び垂直画角Av1に対応する垂直サイズSv1で表示されている。右端の位置Xarは方位角で70°に対応し、左端の位置Xalは方位角で-50°に対応し、上端の位置Yatは仰角で40°に対応し、下端の位置Yabは仰角で-40°に対応する。
広角画像6aの上に、狭角画像を表す図形であるマークが重ね合わされて表示されている。本例では、マークとして、第1狭角画像6bを表すマーク8b、第2狭角画像6cを表すマーク8cを示す。マークは、特に吹き出し形状の場合を示す。マークは、ユーザ設定に基づいて可変である。中心点p2は、第1狭角画像6bを表すマーク8bを表示する位置を示す。中心点p3は、第2狭角画像6cを表すマーク8cを表示する位置を示す。中心点p2の位置(Xb,Yb)は、(方位角,仰角)で(+45°,0°)に対応し、中心点p3の位置(Xc,Yc)は、(-20°,-10°)に対応する。
表示制御部12は、第1画像に関連付けられる第2画像の撮影方向及び画角等の情報に基づいて、第1画像上の第2画像のマークの表示位置を決めて表示する。
第1狭角画像6bの中心点p2の位置(Xb,Yb)は、広角歪み及び歪曲収差を無視した場合、広角画像6aの点p1からの方位角の差(35°)と仰角の差(0°)とを用いて、下記の式で得られる。
Xb=(W/2)×tan35°/tan60° ・・・(4)
Yb=(H/2)×tan0°/tan40°=0 ・・・(5)
第2狭角画像6cの中心点p3の位置(Xc,Yc)は、広角歪み及び歪曲収差を無視した場合、広角画像6aの点p1からの方位角の差(-30°)と仰角の差(-10°)とを用いて、下記の式で得られる。
Xc=(W/2)×tan(-30°)/tan60° ・・・(6)
Yc=(H/2)×tan(-10°)/tan40° ・・・(7)
ユーザは、表示画面401で所望のマークを選択操作、例えばタップする。これにより、そのマークに対応する第2画像を選択し、第3表示モードの第3画面で表示させることができる。なお、図11の例は、表示画面401の大きさに対して、最初に広角画像6aの全体を表示できる場合を示す。表示制御部12は、表示画面401に広角画像の全体が表示できない場合、広角画像の一部、即ち画角の一部の状態で表示してもよいし、縮小して全体が収まる状態として表示してもよい。また、表示画面401内には、撮影方向や画角等の値を閲覧補助情報として表示するようにしてもよいし、スクロールや拡大縮小等の動作のためのアイコン等を表示してもよい。
[表示画面(3)-第3表示モード]
図12は、第3表示モードの第3画面の表示例として、第1狭角画像6bのマーク8bを選択した場合の第1狭角画像6bの表示を示す。最初、表示画面401内の全体に第1狭角画像6bが表示される。表示画面401の中央の点p1には、第1狭角画像6b及びマーク8bの中心点p2が配置された状態で表示される。中心点p2の位置(Xb,Yb)は、撮影方向63bである{θ2=45°,φ2=0°}に対応している。
第1狭角画像6bの水平画角Ah2が21°、垂直画角Av2が14°である。表示画面401における、右端の位置Xbrは方位角で+55.5°、左端の位置Xblは方位角で+34.5°に対応し、上端の位置Ybtは仰角で+7°、下端の位置Ybbは仰角で-7°に対応する。
図13は、第3表示モードの第3画面の例として、第2狭角画像6cのマーク8cを選択した場合の第2狭角画像6cの表示を示す。最初、表示画面401内の全体に第2狭角画像6cが表示される。表示画面401の中央の点p1には、第2狭角画像6c及びマーク8cの中心点p3が配置された状態で表示される。中心点p3の位置(Xc,Yc)は、撮影方向63cである{θ3=-20°,φ3=-10°}に対応している。
第2狭角画像6cの水平画角Ah3が21°、垂直画角Av3が14°である。表示画面401における、右端の位置Xcrは方位角で-9.5°、左端の位置Xclは方位角で-30.5°に対応し、上端の位置Yctは仰角で-3°、下端の位置Ycbは仰角で-17°に対応する。
なお、第2表示モードから第3表示モードへの遷移に限らず可能である。第1表示モードから所定の操作により第2表示モードを経由せずに直接的に第3表示モードに遷移させる動作モードも可能であり、ユーザ設定等に応じて動作モードを選択可能である。
[関連付け方式]
関連付け方式として、関連付けを行うタイミング等に関して、第1方式、第2方式を有する。第1方式は、撮像時に関連付けを行う方式であり、第2方式は、再生表示時に関連付けを行う方式である。実施の形態1では、撮像装置1は、第1方式を用い、表示装置2は、第2方式を用いる。
第1方式では、撮像装置1は、画像を撮像した直後に、関連付け部15を用いて関連付け処理を行い、その結果、関連付け情報を、メタデータ22または管理情報21に記述する。撮像装置1は、その画像を再生表示する際には、メタデータ22または管理情報21の関連付け情報の参照から、複数の画像の関係を把握でき、表示画面に第2表示モードで表示する。
第2方式では、表示装置2は、画像ファイル24に基づいて表示画面に再生表示する際に、関連付け部215を用いて関連付け処理を行い、その結果、表示画面に第2表示モードで表示する。
第2方式で、表示装置2は、再生表示の都度に関連付け処理を行うことにより、メタデータ22や管理情報21に関連付け情報を記述することを省略してもよい。あるいは、第2方式で、表示装置2は、ある画像の再生表示の初回に関連付け処理を行って、メタデータ22や管理情報21に関連付け情報を記述し、その後、その画像の2回目以降の再生表示の際には、関連付け情報を参照して関連付け処理を省略するようにしてもよい。
なお、他の実施の形態の撮像装置1では、第2方式を採用してもよい。いずれの関連付け方式を採用するかについては、実装上固定である形態としてもよいし、ユーザ設定に応じて関連付け方式を選択及び設定可能である形態としてもよい。
[処理フロー(1)]
図14及び図15は、実施の形態1の撮像装置1及び表示装置2の処理フローを示す。図14は、撮像装置1における画像の撮像時の制御処理のフローを示す。図14はステップS101~S106を有する。画像の撮像毎に同様の処理の繰り返しである。以下、ステップの順に説明する。
(S101) 制御部101は、ユーザ操作に基づいて、設定部14に対し画角等を設定する。撮像制御部11は、設定部14の設定情報に基づいて、画角等を把握する。
(S102) ユーザ操作に基づいて、撮像制御部11は、撮像部103を制御して画像を撮像し、画像データ23を得て記憶部102に格納する。撮像制御部11は、画角または画角関連情報を、画像ファイル24のメタデータ22、または管理情報21に記述する。
(S103) 撮像時に関連付けを行う第1方式か再生表示時に関連付けを行う第2方式かで分岐を行う。第1方式の場合にはS104へ、第2方式の場合にはS106へ進む。即ち、実施の形態1の撮像装置1では第1方式を採用するためS104へ進み、他の実施の形態の撮像装置1で第2方式を採用する場合にはS106へ進む。
(S104) 関連付け部15は、所定の関連付け処理を行う。これにより、第1画像及び第2画像を含む複数の画像を関連付ける。
(S105) 関連付け部15は、関連付け処理の結果、関連付け情報を作成し、画像ファイル24のメタデータ22、または管理情報21に記述する。撮像制御部11は、画像ファイル24を記憶部102に格納し、記録部106の記録媒体107に記録させる。
(S106) 撮像制御部11は、この時点では関連付けを行わないので、関連付け情報を含まないメタデータ22や管理情報21を作成する。制御部101は、画像ファイル24を記憶部102に格納し、記録部106の記録媒体107に記録させる。
[処理フロー(2)]
図15は、撮像装置1または表示装置2における、画像の再生表示時の制御処理のフローを示す。図15の制御は、図10のように表示モードを遷移させる制御に対応する。図15はステップS201~S210を有する。以下、ステップの順に説明する。以下、撮像装置1が主体である場合で説明するが、表示装置2が主体である場合も同様である。
(S201) 制御部101は、ユーザ操作に基づいて、表示制御部12により、表示装置104の表示部41の表示画面401に、図10のように第1表示モードの第1画面を表示する。表示制御部12は、ユーザ入力操作に応じて、第1画面内の画像の選択等を受け付ける。
(S202) 表示制御部12は、第1表示モードの第1画面で選択された画像が第1画像である広角画像か、第2画像である狭角画像であるかによって分岐を行う。第1画像である場合にはS203へ、第2画像である場合にはS209へ進む。
(S203) 表示制御部12は、第1方式か第2方式かによって分岐を行う。第2方式の場合にはS204へ、第1方式の場合にはS206へ進む。即ち、実施の形態1の撮像装置1の場合には第1方式であるためS206へ進み、表示装置2の場合には第2方式であるためS204へ進む。
(S204) 表示制御部12は、再生表示の直前に、関連付け部15を用いて、複数の画像の関連付け処理を行う。
(S205) 表示制御部12は、S204の結果、第1画像に関連付けられる第2画像の画像データ23を読み出す。
(S206) 第1方式の場合、既に関連付け処理が行われている。表示制御部12は、第1画像の画像ファイル24のメタデータ22または管理情報21における、関連付け情報を参照して、関連付けを確認する。表示制御部12は、第1画像に関連付けられる第2画像の画像データ23を読み出す。
(S207) 表示制御部12は、S205またはS206の結果の画像データ23を用いて、表示画面に第2表示モードで表示する。即ち、表示制御部12は、図11の第2画面のように、第1画像上に第2画像の図形を重ね合わせて関連付けた状態で表示する。表示制御部12は、ユーザ入力操作に応じて、第2画面内の第2画像の図形の選択等を受け付ける。ユーザは、例えば、第2画像を閲覧したい場合にはマークをタップし、第1画面に戻りたい場合には第1画像の領域をタップする。
(S208) 表示制御部12は、第2表示モードの第2画面で選択された画像が第2画像を表すマークであるかによって分岐を行う。第2画像を表すマークである場合にはS209へ進む。他の操作、例えば、第1画像の領域の操作である場合、戻る動作に対応し、その場合にはS201へ戻る。
(S209) 表示制御部12は、S208で選択されたマークに対応する第2画像の画像データ23を用いて、表示画面に第3表示モードで、図12等の第3画面のように、第2画像を詳細表示する。表示制御部12は、ユーザ入力操作に応じて、第3画面内での戻る動作等を受け付ける。ユーザは、例えば第2画面に戻りたい場合、第2画像の領域をタップする。
(S210) 表示制御部12は、第3表示モードの第3画面で、戻る動作に対応する入力操作が有る場合には、A1で示すようにS207へ戻り、無い場合には、S209で第3表示モードの表示を継続する。なお、第3表示モードから、所定の入力操作に応じて、第1表示モードの第1画面へ戻るようにしてもよい。
[関連付け処理(1)]
関連付け部15は、複数の画像の関連付け処理を行う。関連付け処理は、第1処理、第2処理を含む。第1処理は、所定の選択方式の選択条件に基づいて、関連付けの候補となる画像を選択する処理である。所定の選択方式として、以下に示す第1選択方式、第2選択方式、第3選択方式がある。実施の形態1では、第1方式を用いる。変形例では、第2選択方式または第3選択方式を用いる。なお、いずれの選択方式を採用するかについては、実装上固定の形態でもよいし、ユーザ設定により可変に選択できる形態としてもよい。
[第1選択方式-撮影場所]
図16は、第1選択方式について示す説明図である。第1選択方式は、選択条件として、撮影場所に関する条件を用いる。第1選択方式では、撮影場所が概略的に同じであると判断される画像を候補として選択する。第1選択方式では、撮影場所の判断のために、位置検出部113による位置情報{緯度,経度,標高}を用いる。関連付け部15は、関連付けの際、例えば撮像時にメタデータ22の撮影場所項目に記述されている位置情報{緯度,経度}を参照する。{緯度,経度}を{LA,LO}で表す。
図16のように、関連付け部15は、第1画像である広角画像を基準として、空間、例えばX-Y平面において、第1画像の撮影場所を表す位置1601を中心点としてとる。位置1601は{LA1,LO1}で表される。位置範囲1600は、条件の閾値に相当し、位置1601を中心点とした、所定の半径距離による円領域を示す。なお、位置範囲1600を規定する半径距離は、設計上の固定の設定値でもよいし、ユーザ設定で可変できる設定値としてもよい。
関連付け部15は、第1画像の位置1601に対し、第2画像であるそれぞれの狭角画像の位置を比較する。本例では、広角画像の周りに、第1狭角画像の位置1602{LA2,LO2}、第2狭角画像の位置1603{LA3,LO3}、第3狭角画像の位置1604{LA4,LO4}がある場合を示す。関連付け部15は、第1画像の位置1601に対し、位置範囲1600内に含まれる画像を探す。本例では、位置範囲1600内に、第1狭角画像の位置1602、及び第2狭角画像の位置1603が含まれており、第3狭角画像の位置1604は含まれていない。
関連付け部15は、位置範囲1600内に位置が含まれている第2画像を、第1画像と概略的に同じ撮影場所で撮像された画像であると判断し、関連付けの候補として選択する。同じ撮影場所の例としては、ユーザが、ある展望台において、手すりに沿って円周を周回しながら360°の各方向を撮影した場合が挙げられる。
[第2選択方式-撮影日時]
図17は、第2選択方式について示す説明図である。第2選択方式は、選択条件として、撮影日時に関する条件を用いる。第2選択方式では、撮影日時が概略的に同じであると判断される画像を候補として選択する。関連付け部15は、関連付けの際、例えばメタデータ22の撮影日時項目に記述されている撮影日時(年月日時分秒)を参照する。
関連付け部15は、撮影日時の時系列において、第1画像である広角画像を基準として、第1画像の撮影日時を表す時点t1をとる。本例では、時点t1は、日時DT3であるとする。日時範囲1700は、条件の閾値に相当し、時点t1を中心点としてその前後を含む、所定の時間による範囲を示す。なお、日時範囲1700を規定する時間は、設計上の固定の設定値でもよいし、ユーザ設定で可変できる設定値でもよい。日時範囲1700は、例えば1日(24時間)、1時間、5分等、設定可能である。
関連付け部15は、第1画像の撮影日時の時点t1に対し、所定の日時範囲1700内に含まれる第2画像を検索する。関連付け部15は、第1画像の撮影日時の時点t1に対し、第2画像であるそれぞれの狭角画像の撮影日時を比較する。本例では、時点t1の付近に、第1狭角画像の撮影日時の時点t2、第2狭角画像の時点t3、第3狭角画像の時点t4がある場合を示す。本例では、日時範囲1700内に、第1狭角画像の時点t2、及び第2狭角画像の時点t3が含まれており、第3狭角画像の時点t4は含まれていない。制御部101は、日時範囲1700内に時点が含まれている第2画像を、第1画像と概略的に同じ撮影日時に撮像された画像であると判断し、関連付けの候補として選択する。
[第3選択方式-設定文字列]
図18は、第3選択方式について示す説明図である。第3選択方式は、選択条件として、ユーザにより任意に設定可能である設定文字列に関する条件を用いる。第3選択方式では、設定文字列が概略的に同じであると判断される画像を候補として選択する。関連付け部15は、関連付けの際、例えば撮像後に関連付け管理情報の設定文字列として設定されている文字列を参照する。
図18では、第1表示モードの第1画面での複数の画像の情報の一覧表示の例を示す。この例では、各画像について、情報として、ファイル名、撮影日時、タグ、種別等を表示している。「タグ」項目は、設定文字列に相当する。ユーザは、編集作業で、「タグ」項目に、任意に文字列を設定することができる。本例では、ユーザは、「タグ」項目に、撮影場所を表す文字列を設定している。例えば、画像G1,G2,G3は、同じ公園で撮影された画像であり、文字列「A公園」が設定されている。画像G4,G5は、同じ展望台で撮影された画像であり、文字列「B展望台」が設定されている。なお、「種別」項目は、その画像の画角の種別として、「広角」または「狭角」を表示している。
関連付け部15は、ユーザにより選択された第1画像、例えば画像G1を基準として、その第1画像の「タグ」項目の設定文字列を参照する。関連付け部15は、第1画像の設定文字列に対し、他の第2画像であるそれぞれの狭角画像の設定文字列を参照して比較し、例えば同じ文字列を含んでいる設定文字列を持つ画像を探す。例えば、画像G1,G2,G3の設定文字列が同じである。関連付け部15は、それらの画像を、同じ撮影場所で撮像された画像であると判断し、関連付けの候補として選択する。
変形例として、制御部101は、撮像時等に、ユーザ操作に依らずに、自動的に、撮影場所を表す文字列を設定してもよい。例えば、制御部101は、位置情報{緯度,経度}に基づいて、撮影場所を表す文字列を決定してもよい。制御部101は、画像の「ファイル名」項目等に文字列を設定してもよい。制御部101は、例えば、所定の規則で、設定文字列を含むファイル名を自動的に付与してもよい。ファイル名の規則の例としては、[撮影日時]+[設定文字列(撮影場所)]+[個別順序番号]、が挙げられる。
上記選択方式は、組み合わせでも適用可能である。例えば、第1選択方式の撮影場所の条件と、第2選択方式の撮影日時の条件とを組み合わせた条件としてもよい。その条件として例えば「同じ撮影場所で過去1年前まで」等と指定可能である。
[関連付け処理(2)]
関連付け部15の関連付け処理における第2処理については以下である。第2処理では、第1処理で候補として選択された画像について、撮影方向及び画角の情報を用いて、関連付けの判断を行い、その判断結果に従って関連付けを行う。関連付け部15は、各画像ファイル24のメタデータ22、または管理情報21における、撮影方向及び画角の情報を参照する。関連付け部15は、条件として、基準となる第1画像である広角画像の画角{水平画角Ah,垂直画角Av}の範囲内に、候補の画像の撮影方向{方位角θ,仰角φ}が含まれているか否かを判断する。関連付け部15は、この条件を満たす画像を、関連付ける画像として決定する。
前述の図7の例では、広角画像6aの水平画角Ah1の範囲(-50°~+70°)内に、第1狭角画像6bの撮影方向63bの方位角θ2=45°が含まれており、第2狭角画像6cの撮影方向63cの方位角θ3=-20°が含まれている。また、図示しないが、広角画像6aの垂直画角Av1の範囲(-40°~+40°)内に、第1狭角画像6bの撮影方向63bの仰角φ2=0°が含まれており、第2狭角画像6cの撮影方向63cの仰角φ3=-10°が含まれている。よって、広角画像6aに、第1狭角画像6b及び第2狭角画像6cが関連付けられる。
関連付け部15は、第1画像と第2画像とを関連付ける場合、前述のように、管理情報21に関連付け管理情報を記述してもよいし、各画像のメタデータ22に同様の情報を記述してもよい。
[動画]
上記では主に静止画の場合を説明したが、動画の場合にも基本的に同様に適用可能である。撮像制御部11は、動画を撮影する場合、連続した撮影モードにおいて、電子ズーム倍率及び画角等を変更しながら撮影して動画の画像データ23を得る。撮像制御部11は、その動画の画像ファイル24について、時点に応じた電子ズーム倍率及び画角等の情報を、メタデータ22または管理情報21に記述する。また、動画の再生表示の際、表示制御部12は、第2表示モードの第2画面で、例えば動画の開始時点の画像フレームや、一時停止状態の画像フレームの位置に対応させて、マーク等を表示するようにしてもよい。
[効果等]
上記のように、実施の形態1の撮像装置1及び表示装置2によれば、広角画像及び狭角画像を含む複数の画像の関係を把握しやすく、より良い使い勝手を実現できる。表示画面で、広角画像の上に、関係を持つ狭角画像が自動的に重ね合わせて表示されるので、ユーザは、関係を持つ複数の画像を容易に認識でき、直感的に把握でき、好適に閲覧することができる。ユーザは、広角画像の画角内に存在する狭角画像を認識することができ、関連付けられている狭角画像を参照して素早く閲覧できる。ユーザは、表示モードを切り替えながら多数の画像を好適に閲覧できる。
実施の形態1の変形例として以下が挙げられる。変形例として、画像の種別に関して、画角の関係を相対的に判断してもよい。即ち、撮像装置1または表示装置2は、複数の画像における画角を参照し、それらのうちで最大の画角を持つ画像を、広角画像である第1画像とし、その第1画像以外の画像を、狭角画像である第2画像とする。
[変形例(1)-第2表示モード]
図19は、実施の形態1の変形例の撮像装置1における、第2表示モードの第2画面の例を示す。図19は、図7の具体例と対応している。図19の表示画面401では、第2画像を表す図形として、マークではなく、透過枠としている。例えば、透過枠9bは第1狭角画像6bを表し、透過枠9cは第2狭角画像6cを表す。透過枠は、矩形の四辺が線及び色で表示され、その内部は透過領域となっており、背景にある第1画像の部分がそのまま表示される。表示上の透過枠の領域のサイズは、特に、その第2画像の画角の大きさに対応させて決定される。これにより、広角画像内における狭角画像の関係をより把握しやすくできる。
なお、図19の例では、最初、表示画面401に広角画像6aを図11と同様の基準位置で表示した状態から、ユーザ操作に基づいてスクロール及び拡大縮小がされて、表示上の中心点や画角範囲が移動及び変更された状態を示している。図19では、表示画面の中央の点p1に、広角画像6aの視点の位置(Xa,Ya)として、(方位角,仰角)で(+15°,+10°)に対応する点が配置されている。表示画面401に、広角画像6aの水平画角の120°の範囲のうちの90°の範囲、及び仰角の80°の範囲のうちの60°の範囲が、拡大で表示されている。位置Xaは方位角で15°であり、位置Yaは仰角で10°である。表示画面401における、右端の位置Xarは60°、左端の位置Xalは-30°に対応し、上端の位置Yatは40°、下端の位置Yabは-20°に対応する。
透過枠9bの中心点p2の位置座標(Xb,Yb)は、(方位角,仰角)で(+45°,0°)に対応する。透過枠9bの横幅は、水平画角Ah2=21°に対応したサイズであり、方位角で45°±10.5°の範囲であり、左端の位置Xblが+34.5°、右端の位置Xbrが+55.5°である。透過枠9bの縦幅は、垂直画角Av2=14°に対応したサイズであり、仰角で0°±7°の範囲であり、上端の位置Ybtが+7°、下端の位置Ybbが-7°である。
透過枠9cについても同様に位置及びサイズが決定されている。透過枠9cの中心点p3の位置座標(Xc,Yc)は、(-20°,-10°)に対応する。透過枠9cの横幅は、水平画角Ah3=21°に対応したサイズであり、方位角で-20°±10.5°の範囲であり、左端の位置Xclが-30.5°、右端の位置Xcrが-9.5°である。透過枠9cの縦幅は、垂直画角Av3=14°に対応したサイズであり、仰角で-10°±7°の範囲であり、上端の位置Yctが-3°、下端の位置Ycbが-17°である。
透過枠9bの表示位置{Xbr,Xbl,Ybt,Ybb}、透過枠9cの表示位置{Xcr,Xcl,Yct,Ycb}は、広角歪み及び歪曲収差を無視した場合、下記の式で得られる。なお、係数Kw,係数Khとする。
Xbr=(W/2)-Kw(tan50°-tan55.5°) ・・・(8)
Xbl=(W/2)-Kw(tan50°-tan34.5°) ・・・(9)
Kw=W/(tan50°+tan40°) ・・・(10)
Ybt=(H/2)-Kh(tan40°-tan7°) ・・・(11)
Ybb=(H/2)-Kh(tan40°-tan(-7°)) ・・・(12)
Kh=H/(tan40°+tan20°) ・・・(13)
Xcr=(W/2)-Kw(tan50°-tan(-9.5°)) ・・・(14)
Xcl=(W/2)-Kw(tan50°-tan(-30.5°)) ・・・(15)
Yct=(H/2)-Kh(tan40°-tan(-3°)) ・・・(16)
Ycb=(H/2)-Kh(tan40°-tan(-17°)) ・・・(17)
また、図19の例では、画像の回転角に関する例を、点p5にある狭角画像を表す透過枠9eで示している。この狭角画像は、x方向に対する角度αを有する。
表示制御部12は、画像データ23の画像の撮影方向及び画角の情報を用いて、透過枠のサイズを決定する。表示制御部12は、広角画像の表示における視点変更に対応するスクロールや拡大縮小がされた場合、変更後の表示状態に対応させるように、透過枠の位置及びサイズを決定する。
この変形例では、透過枠の表示により、狭角画像の範囲、位置関係がわかりやすい利点がある。他の変形例として、透過枠の代わりに、同じサイズでサムネイルを表示するようにしてもよい。
[変形例(2)-第2表示モード]
図20は、実施の形態1の変形例の撮像装置1における表示画面の例を示す。図20の上側には、第1表示モードの第1画面の例を示し、この第1画面では、広角画像のサムネイル及び狭角画像のサムネイルを縦横に並列配置で一覧表示している。その際、表示上のサムネイルのサイズについては、その画像の画角の大きさに応じた縦横のサイズに決定される。本例の広角画像のサムネイル2001は、水平画角が180°以上と大きいパノラマ画像のサムネイルである場合を示す。狭角画像のサムネイル2002は、水平画角が180°未満の画像のサムネイルである場合を示す。なお、並列配置する際の画像数は、一方向において2枚、3枚、4枚等、可変である。ユーザは、サムネイルの大きさから、広角と狭角との区別が可能である。
図20の下側は、第2表示モードの第2画面の例を示す。表示画面401内で、主要な領域1001と、主要な領域1001以外の領域、本例では右辺の領域1002や下辺の領域1003と、を有する。主要な領域1001には、第2表示モードで第1画像上に第2画像のマーク等が重ね合わせて表示される。領域1001に第1画像の全体が表示しきれない場合、撮影方向を中心点として、一部の画角の範囲が最初に表示される。本例では、第1画面で選択された広角画像のうちの一部の水平画角に対応する範囲が、領域1001に表示されている。ユーザは、視点変更等に応じてスクロールや拡大縮小等によって、領域1001での第1画像の表示状態を変更できる。
第2画像の図形は、画像の種別や撮影日時等の違いに応じて異なる図形を表示してもよい。本例では、図形として、円形、菱形、星形のマークを示す。画像の種別としては、例えば画角の違いに応じた種別がユーザ設定等に基づいて設定されてもよい。また、図形には、情報を付与して表示してもよい。本例では、マークに識別番号が付与されている。また、図形には、情報として、メタデータ22または管理情報21に基づいた撮影日時等の属性値を表示してもよいし、属性値のみを表示してもよい。
右辺の領域1002では、第1画像に関連付けられている全ての複数の第2画像の情報、例えばマーク及び属性値等が、並列に表示されている。領域1001では、表示状態に応じて、一部の第2画像のマークが表示され、他の第2画像のマークが表示されていない状態となる。領域1002には、領域1001には表示されていない第2画像の情報も表示される。領域1001で第2画像のマークが選択された場合、または、領域1002で第2画像のマークが選択された場合に、第3表示モードへ遷移させてもよい。また、右下の領域には、最後に選択された第2画像のサムネイルがプレビューとして表示されている。
下辺の領域1003には、表示モード、第1画像の情報、操作ボタン、設定情報等が表示されている。例えば、現在の表示モードが第2表示モードであること、及び第1画像の撮影日時等の属性値等の情報が表示されている。また、第2表示モードのマークの表示と非表示とを切り替えるためのボタンが設けられている。「ON」状態ではマークが表示され、「OFF」状態ではマークが非表示にされ、即ち第1画像のみが表示される。また、第2表示モードから第1表示モードに戻る動作のための戻るボタン等が設けられている。
また、第2表示モードの第2画面内で、第1画像上の概略的に同じ位置、同じ領域内に、関連付けられている複数の第2画像が密集して存在する場合に、個々のマークを重ねて表示するのではなく、1つの代表マークを表示する。本例では、代表マークとして星形としている。ユーザが、代表マークを選択操作すると、代表マークの位置に関連付けられている複数の第2画像の情報を表示する。その際に複数の第2画像の情報を表示する方式としては、例えば、第1画像の上にポップアップ領域1005を表示し、ポップアップ領域1005の中に複数の第2画像の情報を表示する。ユーザがポップアップ領域1005内から所望の第2画像を選択操作すると、選択された第2画像を詳細表示する第3表示モードへ遷移させる。
他の方式としては、右辺の領域1002等に、代表マークに関連付けられている複数の第2画像の情報を表示してもよい。また、他の方式としては、代表マークの選択に応じて、所定の領域に、関連付けられている複数の第2画像を順次に表示、即ちスライドショー表示してもよい。例えば、同じ場所、同じ撮影方向で、異なる撮影日時に撮影した複数の画像が存在する場合に、それらの画像を関連付けて連続して再生表示することができる。
また、他の方式として、代表マークの選択操作に応じて、複数の第2画像が密集している領域を拡大表示して、複数の第2画像のマークが区別できる表示状態にしてもよい。
[変形例(3)-外部機器連携]
撮像装置1や表示装置2は、外部の機器へ画像ファイル24を保存してもよいし、外部の機器から画像ファイル24を読み込んで再生表示してもよい。撮像装置1や表示装置2は、外部の機器へ送信する画像ファイル24を対象として関連付け処理を行い、関連付け情報を含む画像ファイル24を外部の機器へ送信してもよい。また、撮像装置1や表示装置2は、外部の機器から受信した画像ファイル24を対象として関連付け処理を行い、関連付け情報に基づいて関連付けた状態で再生表示してもよい。即ち、前述の第1方式及び第2方式以外の関連付け方式として、外部の機器へ画像ファイル24を送信する前に関連付けを行う方式や、外部の機器から画像ファイル24を受信する後に関連付けを行う方式を採用してもよい。また、撮像装置1や表示装置2は、外部の機器へ複数の画像ファイル24を送信する場合、画像ファイル24毎のメタデータ22として画角情報や関連付け情報を記述してもよいし、複数の画像ファイル24とは別の管理ファイルに記述して提供してもよい。
例えば、図1のシステムで、撮像装置1は、撮像した複数の画像について、サーバ3へ送信する前に、関連付け処理を行い、画角や関連付け情報を含む画像ファイル24を作成し、通信網4を通じてサーバ3へ送信して画像データDBに保存させる。撮像装置1または表示装置2は、通信網4を通じてサーバ3にアクセスし、サーバ3の画像データDBから、その画像ファイル24を取得する。なお、その際には、検索条件として例えば撮影日時や撮影場所等を指定して複数の画像ファイル24をまとめて取得可能である。撮像装置1または表示装置2は、取得した複数の画像ファイル24の画像データ23について、関連付け情報の参照に基づいて、関連付けた状態で再生表示する。
また、例えば、撮像装置1は、撮像した複数の画像について、関連付け処理を行わずに、画角を含み関連付け情報を含まない画像ファイル24を、サーバ3へ送信して画像データDBに保存させる。撮像装置1または表示装置2は、通信網4を通じてサーバ3にアクセスし、サーバ3の画像データDBからその画像ファイル24を取得する。撮像装置1または表示装置2は、取得した複数の画像ファイル24について、関連付け処理を行い、画角及び関連付け情報に基づいて、関連付けた状態で再生表示する。
また、サーバ3が、画像データDBの複数の画像データ23を対象として関連付け処理を行ってもよい。サーバ3は、その関連付け処理を行って、関連付け情報を含む画像ファイル24として保存する。撮像装置1または表示装置2は、サーバ3から取得した複数の画像ファイル24について、関連付け情報の参照に基づいて再生表示する。
また、例えば、撮像装置1は、撮像した複数の画像について、関連付け処理を行い、画角及び関連付け情報を含む画像ファイル24を、表示装置2へ送信する。表示装置2は、その画像ファイル24を取得し、取得した画像ファイル24の画像データ23を、関連付け情報の参照に基づいて、関連付けた状態で再生表示する。
また、例えば、撮像装置1は、撮像した複数の画像について、関連付けを行わずに、画角を含み関連付け情報を含まない画像ファイル24を、表示装置2へ送信する。表示装置2は、その画像ファイル24を取得し、取得した画像ファイル24の画像データ23について、関連付け処理を行い、関連付け情報に基づいて、関連付けた状態で再生表示する。
また、撮像装置1や表示装置2は、同じユーザの複数の機器から、それぞれの画像ファイル24を読み込んで、それらを統合して管理するようにしてもよい。例えば、図1の第1撮像装置1A及び第2撮像装置1Bは、それぞれ、撮像した画像の画像ファイル24を、関連付けを行わずに、第1表示装置2Aへ送信する。第1表示装置2Aは、それらの画像ファイル24について、関連付け処理を行い、関連付けた状態で再生表示する。
この変形例によれば、複数の機器が連携するシステムで関連付け表示機能を実現でき、ユーザは多数の画像の関連付けや保存等を実現できる。
[変形例(4)-編集機能]
変形例の撮像装置1及び表示装置2として、複数の画像の関連付けをユーザが判断して手動で設定、編集することができる編集機能を設ける。ユーザは、編集機能を用いて、表示画面内で、関連付ける画像の追加や削除や変更が可能であり、各画像の表示位置を変更可能である。
図21は、変形例の撮像装置1及び表示装置2における第2表示モードの第2画面の例を示す。以下は編集機能を持つ撮像装置1の場合を示すが、編集機能を持つ表示装置2の場合も同様である。ユーザ設定または入力操作に基づいて、編集が有効な「ON」状態と、無効な「OFF」状態とを切り替え可能である。撮像装置1は、「ON」状態の場合、第2表示モードの第2画面で、第1画像に対する第2画像の関連付け、及び第2画像の図形の表示位置等を、ユーザ入力操作に基づいて可変に設定する。制御部101は、第2画像の図形の表示位置を、メタデータ22または管理情報21の1つとして保存及び管理する。制御部101は、再生表示の際には、その情報を参照して図形の表示位置を決める。
本例では、第2画像の図形として透過枠を表示する場合を示す。最初、撮像装置1は、実施の形態1と同様に、第2画像の表示位置を自動的に決定して表示する。例えば、第1狭角画像6bを表す透過枠9b1が表示される。ユーザは、第2画像の透過枠9b1を例えばタッチして所望の方向及び位置へ移動させる。制御部101は、ユーザ操作に従ってその図形の表示位置を移動させるように表示状態を更新する。本例では、透過枠9b1の移動後の状態を透過枠9b2として示している。第1狭角画像6bの中心点は、移動前の点p21から移動後の点p22となっている。制御部101は、第2画像の図形の移動後の位置を、新たな表示位置として保存するように、管理値を更新する。
また、制御部101は、第2画像の図形の移動後に、表示位置の変更確認のための情報を表示して、変更及び保存するか否かをユーザに確認してもよい。制御部101は、例えば、移動後の位置の近くにポップアップ領域を表示し、「表示位置を移動しました。保存する/保存しない」等と表示する。ユーザは、それを確認して例えば「保存する」ボタンを押す。これにより、制御部101は、移動後の表示位置を保存する。
また、編集機能として、関連付ける第2画像を追加する機能、及び第2画像の関連付けを解除する機能を有する。追加の場合、ユーザは、表示画面内の所望の位置、例えば点p23をタッチし、追加を指定する。例えばポップアップ領域の追加ボタンにより、追加する第2画像をユーザにより選択可能とする。制御部101は、選択された第2画像に関する図形をその位置に表示し、その第2画像の表示位置を管理値に保存する。
解除の場合、ユーザは、表示画面内に表示されている第2画像の図形を選択し、解除を指定する。例えば、ユーザは、第2狭角画像6cの透過枠9cをタッチし、ポップアップ領域の解除ボタンを押す。制御部101は、解除が指定された第2画像の関連付けを解除し、表示を消去し、管理値を更新する。
この変形例によれば、編集機能により、ユーザは、第2表示モードの複数の画像の関連付け表示に関して、自分が見やすい状態や把握しやすい状態となるように自由に編集可能である。
(実施の形態2)
図22~図25を用いて、本発明の実施の形態2の撮像装置及び表示装置について説明する。以下、実施の形態2の構成における実施の形態1の構成とは異なる部分について説明する。実施の形態2の撮像装置1では、広角画像として全天球画像を撮像する機能を有し、その広角画像を第1画像として関連付け表示する機能を有する。
[全天球画像]
本明細書では、図7のように、撮像装置及び撮影者であるユーザの位置を中心点として設定した仮想の球面600を、全天球と称する。本明細書では、全天球画像とは、水平画角及び垂直画角の少なくとも一方の画角として360°を持つ画像とする。
図22は、実施の形態2における全天球画像について水平画角で示す。全天球に対応する球面600において、第1広角画像6Aと、第2広角画像6Bと、狭角画像6Cと、を有する。第1広角画像6Aは、撮像装置1の前面カメラ側から前方の撮影方向(例えば北向き)で見た水平画角で180°の撮影範囲2201を持つ広角画像である。第2広角画像6Bは、背面カメラ側から後方の撮影方向(例えば南向き)で見た水平画角で180°の撮影範囲2202を持つ広角画像である。狭角画像6Cは、前面カメラ側から所望の撮影方向(例えば北向き)で水平画角Ahの撮影範囲2203を持つ狭角画像である。第1広角画像6Aと第2広角画像6Bとの合成により、水平画角で360°の撮影範囲を持つ広角画像である全天球画像が構成される。図示しないが垂直画角Avに関しても同様であり、例えば第1広角画像6Aは垂直画角で180°の撮影範囲を持つ。
[撮像装置]
図23は、撮像装置1のうち撮像部103に係わる部分の構成を示す。撮像装置1は、撮像部103として、第1撮像部103A、第2撮像部103B、第3撮像部103Cを有し、それらがインタフェース回路131に接続されている。
第1撮像部103Aは、前面カメラに対応する撮像部であり、駆動部31a及びレンズ部32aを含む。レンズ部32aは、前面の水平画角及び垂直画角で180°の撮影範囲(即ち半天球)での第1広角画像6Aを撮像可能である超広角レンズとして第1レンズを備える。第2撮像部103Bは、背面カメラに対応する撮像部であり、駆動部31b及びレンズ部32bを含む。レンズ部32bは、背面の水平画角及び垂直画角で180°の撮影範囲(即ち半天球)での第2広角画像6Bを撮像可能である超広角レンズとして第2レンズを備える。
第3撮像部103Cは、実施の形態1の撮像部103と同様の構成であり、駆動部31c及びレンズ部32cを含む。レンズ部32cは、前面の水平方向及び垂直方向で180°未満の設定された画角範囲内での狭角画像6Cを撮像可能である第3レンズを備える。撮像部103Cで撮像する際の画角は、180°未満の所定の画角範囲内でユーザ操作に基づいて設定可能である。例えば、水平画角Ahとして50°を持つ狭角画像6Cを撮像するとする。
制御部101は、全天球撮像制御部11A、撮像制御部11Bを含む。全天球撮像制御部11Aは、第1撮像部103A及び第2撮像部103Bを駆動制御して、全天球画像を撮影する。全天球撮像制御部11Aは、第1撮像部103Aでの第1広角画像6Aと、第2撮像部103Bでの第2広角画像6Bとを、同じタイミングで撮像するように制御する。全天球撮像制御部11Aは、信号処理部132等を通じて、それらの第1広角画像6A及び第2広角画像6Bを入力して合成することにより、360°の画角範囲を持つ全天球画像を撮像する。
なお、このように全天球画像を撮像可能とする光学系を含む撮像部103や制御部101等の構成については、公知技術を用いて実現できる。
全天球撮像制御部11Aは、撮像した全天球画像の画像データ23を、実施の形態1と同様に、画角等の情報を含むメタデータ22等と共に画像ファイル24として記憶部102に記憶する。撮像制御部11Bは、撮像した狭角画像の画像データ23を、実施の形態1と同様に、画角等の情報を含むメタデータ22等と共に画像ファイル24として記憶部102に記憶する。
撮像装置1の撮影モードにおいて、制御部101の制御に応じて、いずれの撮像部を用いて画像を撮像することも可能である。制御部101からの制御に基づいて、撮像部103A、撮像部103B、及び撮像部103Cでは、同時に一回での撮像が可能である。また、制御部101からの制御に基づいて、撮像部103A、撮像部103B、及び撮像部103Cでは、個別のタイミングでの撮像も可能である。撮像部103Aと撮像部103Bとの同時撮影及び合成により全天球画像が撮影できる。また、撮像部103Aと撮像部103Bとの一方を用いた撮影により、第1広角画像6Aまたは第2広角画像6Bによる半天球画像が撮影できる。また、撮像部103Aまたは撮像部103Bの一方と、撮像部103Cとの同時撮影も可能である。その場合、その一方の広角画像と狭角画像6Cとで撮影日時が同じであり自動的に関連付けが可能である。制御部101は、撮像した画像のメタデータ22または管理情報21に、全天球画像または半天球画像または狭角画像6Cを表す種別等の情報を付与してもよい。制御部101は、同時撮影した複数の画像について、メタデータ22等に関連付け情報を付与してもよい。
[撮像装置-外観]
図24は、撮像装置1の実装例の外観を示す。本例では、撮像装置1としてスマートフォンである場合を示す。図24の左側は、撮像装置1の筐体2400の前面カメラ側を示し、右側は背面カメラ側を示す。前面カメラ側において、筐体2400の所定位置に第1レンズ2401が設けられており、また、所定位置に第3レンズ2403が設けられている。背面カメラ側において、前面カメラ側の第1レンズ2401の位置に対応した反対側の所定位置に第2レンズ2402が設けられている。また、背面カメラ側において、表示装置104の表示画面2404や、操作ボタン2405等が設けられている。
[表示画面-第2表示モード]
図25は、実施の形態2における第2表示モードの第2画面の例を示す。第1表示モードの第1画面は、実施の形態1と同様であり、全天球画像や狭角画像の情報を一覧表示可能である。表示制御部12は、第1表示モードの第1画面で全天球画像が選択操作された場合、図25のような第2表示モードの第2画面を表示する。
表示制御部12は、第2画面内において、円形の領域2500で示すように、全天球画像を表示する。表示制御部12は、最初、全天球画像の撮影方向(方位角及び仰角、例えば図22の北向き)が中心の点p0に位置する表示状態で領域2500を表示する。領域2500に対し、ユーザのタッチ入力操作等に応じて、視点変更に対応して表示状態を変えるように、スクロールや拡大縮小等の動作が可能である。例えば、領域2500内で、ユーザが左方向にスワイプ操作すると、全天球画像内での視点が、右方向、即ち水平画角で正方向に移動するように、領域2500内の表示状態が更新される。制御部101は、その際の表示状態を変更する画像処理を行う。なお、全天球画像の表示状態を変更する画像処理は公知技術である。また、特に、全天球画像の最初の表示状態での視点の位置としては、仰角として0°即ち水平方向としてもよいし、90°即ち天頂方向としてもよい。
制御部101は、全天球画像に関連付けられている狭角画像が存在する場合、全天球画像の領域2500上において、それらの狭角画像を、実施の形態1と同様に所定の図形や縮小画像等で表示する。本例では、透過枠で表示する場合を示す。全天球画像の領域2500上に、3つの狭角画像が関連付けられている場合を示す。点p11には、第1狭角画像を表す透過枠2501を有し、点p12には、第2狭角画像を表す透過枠2502を有し、点p13には、第3狭角画像を表す透過枠2503を有する。全天球画像の領域2500内での表示状態の変更に伴い、狭角画像の図形の位置や形状やサイズ等も変更される。なお、透過枠に対応する狭角画像の領域は、全天球の球面内に配置されているため、形状としては、円周方向で歪み、即ち円弧部分を有する。本例では透過枠を簡易的に矩形で表示している。
また、実施の形態1と同様に、第2表示モードの第2画面に対する所定の操作に基づいて、狭角画像の図形の表示のオン/オフの切り替えや、第1表示モードに戻る動作等も可能である。制御部101は、第2画面で、狭角画像を表す図形が選択操作されると、実施の形態1と同様に、その狭角画像を第3表示モードで詳細表示する。
[効果等]
実施の形態2によれば、広角画像として全天球画像を表示する際に、同じ撮影場所等の所定の関係を持つ狭角画像を関連付けて表示するので、ユーザは複数の画像の関係を把握しやすく、好適な閲覧ができる。
実施の形態2の変形例として以下が可能である。背面カメラ側の第2撮像部103Bを省略し、第1撮像部103Aを用いて前方の180°の画角範囲を持つ半天球画像を撮像する形態としてもよい。
第2表示モードの第2画面では、全天球画像の領域2500を、円形ではなく、矩形の領域に変換して表示してもよい。その矩形の領域に、全天球画像のうちの一部の画角範囲に対応する画像が表示され、ユーザ操作に基づいて表示状態が変更される。
撮像装置1は、自機器内で全天球画像を撮像し、外部の機器で撮像された狭角画像を取り込んで、関連付け表示を行ってもよい。逆に、撮像装置1は、自機器内で狭角画像を撮像し、外部の機器で撮像された全天球画像を取り込んで、関連付け表示を行ってもよい。例えば、図1の第2撮像装置1Bは、全天球画像を撮像し、第1撮像装置1Aで撮像された狭角画像や、サーバ3に登録されている狭角画像を、自機器に取得して、関連付け表示を行ってもよい。
なお、360°の画角を有する画像は、カメラの撮影方向に係わらず全方位の画角を有している。このため、必ずしも撮影方向に応じて表示画面内の表示方向を変更する必要はない。そこで、第2表示モードまたは第3表示モードにおいて全天球画像の動画を再生表示する際には以下のような2種類の表示方法を選択できるようにしてもよい。第1に、狭角画像の再生表示と同様に、撮影時の撮影方向に応じて変化する画像をそのまま再生表示する。あるいは、第2に、動画撮影時にメタデータとして記録される撮影方向の情報に基づいて、例えば方位角に相当する角度だけ回転させ、撮影方向に係わらずに、画像の方向が固定されるようにし、その固定の方向で再生表示する。
また、動画、静止画に係わらず、画像を表示する際に、撮像装置1(表示装置2も同様)の方向を、撮影方向計測部111や位置検出部113を用いて検出し、検出した方向と画像の撮影方向とを一致させるように表示してもよい。
(実施の形態3)
図26を用いて、本発明の実施の形態3の撮像装置及び表示装置について説明する。以下、実施の形態3の構成における実施の形態1の構成とは異なる部分について説明する。実施の形態3の撮像装置1では、複数の画像の関連付けを行うための特有の撮影モードを設ける。
[撮影モード]
実施の形態3の撮像装置1は、撮影モードとして、通常の撮影モードである第1撮影モードと、関連付けを行うための第2撮影モードとを有する。撮像装置1は、ユーザ入力操作やユーザ設定に基づいて、撮影モードの切り替えを行う。ユーザは、操作入力部105等を通じて、任意のタイミングで、第1撮影モードと第2撮影モードとを切り替える所定の操作を行う。所定の操作は、例えばモード切り替えボタンの押下としてもよい。
図26は、実施の形態3の撮像装置1における、時間軸における撮影モードの切り替え等を示す。撮像装置1は、最初、第1撮影モードの状態とし、第1撮影モードで撮像された個々の画像については、関連付け処理を行わない。例えば、時点t11で撮像された画像は、関連付けが行われず、メタデータ22等には関連付け情報が記述されない。
ユーザは、所望のタイミング、例えば時点T2で、第1撮影モードから第2撮影モードへ切り替える操作を行う。撮像装置1は、第2撮影モードの状態では、その期間に撮像された個々の画像を対象にして、自動的に関連付ける処理を行う。例えば、第2撮影モード中の時点t1~t4でそれぞれ画像が撮像されている。制御部101は、関連付け部15により、それらの画像に関して関連付け処理を行い、メタデータ22または管理情報21に関連付け情報を記述する。その際、関連付け部15は、それらの複数の画像を、グループとして関連付ける。本例では、時点t1~t4の各画像は、第1グループとして関連付けられている。関連付け部15は、グループ識別情報を、メタデータ22または管理情報21の1つとして記述する。グループ識別情報は、例えば、第2撮影モードの期間の開始日時及び終了日時を用いた文字列でもよいし、第2撮影モードの発生回数を用いた文字列でもよい。また、それらの画像のファイル名やメタデータ22には、グループ識別情報と、個別の画像の撮影日時や順序番号とを組み合わせた文字列が付与されてもよい。
ユーザは、所望のタイミング、例えば時点T4で、第2撮影モードから第1撮影モードへ切り替える操作を行う。撮像装置1は、第1撮影モードで撮像された個々の画像、例えば時点t12で撮像された画像については、関連付けを行わない。制御部101は、第1撮影モードに戻った時点で関連付け処理を実行してもよい。
また、関連付け部15は、第2撮影モードの期間内において撮像された複数の画像について、広角画像、狭角画像の種別を判断する。関連付け部15は、広角画像及び狭角画像の一方しか存在しない場合には、関連付けを行わない。関連付け部15は、広角画像及び狭角画像の両方が存在する場合、広角画像である第1画像に対して、狭角画像である第2画像を関連付ける。
表示制御部12は、再生表示の際には、画像ファイル24や管理情報21におけるグループ識別情報等の参照に基づいて、関連付けを確認して関連付け表示を行う。
[効果等]
実施の形態3によれば、ユーザが撮影モードを切り替えて自分の判断で関連付けを行うことが容易にできる。実施の形態3は、前述の第2選択方式の撮影日時に関する判断を、特有の撮影モードを用いて自動化する形態に相当する。
実施の形態3の変形例として以下が可能である。撮像装置1は、判断に応じて撮影モードの切り替えを自動的に行う。撮像装置1は、撮像時に、画像の画角の種別、例えば広角と狭角の区別を判断する。そして、撮像装置1は、撮像された画像が広角画像である場合に、自動的に第1撮影モードから第2撮影モードへ切り替える。撮像装置1は、その第2撮影モード内で撮像された狭角画像を判断し、最初の広角画像に対してその狭角画像を関連付ける。撮像装置1は、第2撮影モードに入ってから例えば設定に基づいた所定時間が経過したら、第2撮影モードから第1撮影モードへ戻す。
以上、本発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。本発明の機能等は、一部または全部が、集積回路等のハードウェアで実現されてもよいし、ソフトウェアプログラム処理で実現されてもよい。