JP7024018B2 - Imaging display method - Google Patents
Imaging display method Download PDFInfo
- Publication number
- JP7024018B2 JP7024018B2 JP2020126106A JP2020126106A JP7024018B2 JP 7024018 B2 JP7024018 B2 JP 7024018B2 JP 2020126106 A JP2020126106 A JP 2020126106A JP 2020126106 A JP2020126106 A JP 2020126106A JP 7024018 B2 JP7024018 B2 JP 7024018B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- angle
- view
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、撮像装置及び表示装置の技術に関し、撮像画像の画面表示技術に関する。 The present invention relates to a technique of an image pickup device and a display device, and relates to a screen display technique of a captured image.
従来、撮影方向や画角が異なる複数の画像を撮像する機能を有する撮像装置等の電子機器として、デジタルカメラやスマートフォン等がある。また、それらの複数の画像を再生表示する機能を持つ表示装置等の電子機器として、テレビジョン受像機（以下、「テレビ」と記載する場合がある）やノートＰＣ等がある。上記画像は、静止画または動画である。撮影方向は、例えば方位角及び仰角で規定できる。画角（angle of view）は、画像範囲を角度で表し、視野角とも呼ばれ、例えば、方位角に対応する水平画角、及び仰角に対応する垂直画角で規定できる。 Conventionally, there are digital cameras, smartphones, and the like as electronic devices such as image pickup devices having a function of capturing a plurality of images having different shooting directions and angles of view. Further, as an electronic device such as a display device having a function of reproducing and displaying a plurality of these images, there are a television receiver (hereinafter, may be referred to as "television"), a notebook PC, and the like. The above image is a still image or a moving image. The shooting direction can be defined by, for example, an azimuth angle and an elevation angle. The angle of view represents an image range as an angle and is also called a viewing angle, and can be defined by, for example, a horizontal angle of view corresponding to an azimuth angle and a vertical angle of view corresponding to an elevation angle.
画角が異なる画像としては、相対的に広角で撮影された画像（以下、「広角画像」等と記載する場合がある）と、相対的に狭角で撮影された画像（以下、「狭角画像」等と記載する場合がある）とが挙げられる。広角の例としては、水平画角で１２０°や、１８０°以上の画角が挙げられる。なお、１８０°の場合には半天球画像、３６０°の場合には全天球画像と呼ばれる場合もある。狭角の例としては、水平画角で５０°以下の画角が挙げられる。以下、角度の単位として度（°）で表すが、ラジアン等の単位に換算可能である。 Images with different angles of view include images taken at a relatively wide angle (hereinafter, may be referred to as "wide-angle image") and images taken at a relatively narrow angle (hereinafter, "narrow angle"). It may be described as "image" etc.). Examples of a wide angle include a horizontal angle of view of 120 ° and an angle of view of 180 ° or more. In the case of 180 °, it may be called a hemispherical image, and in the case of 360 °, it may be called a spherical image. An example of a narrow angle is a horizontal angle of view of 50 ° or less. Hereinafter, the unit of angle is expressed in degrees (°), but it can be converted into a unit such as radians.
撮像画像の画面表示に関する先行技術例として、特開２０００－９２４３９号公報（特許文献１）が挙げられる。特許文献１には、電子スチルカメラ等として、以下の旨が記載されている。その電子スチルカメラは、電源オフが指示された場合に、記録用メモリに記録された記録画像を外部装置で一覧表示可能とする画像一覧表示用ファイルを生成する。そのファイルを用いた画像検索によって表示される一覧表示画面において、複数の縮小画像が一覧表示される。
As an example of the prior art relating to the screen display of the captured image, Japanese Patent Application Laid-Open No. 2000-92439 (Patent Document 1) can be mentioned.
撮影者であるユーザが、撮像装置を用いて、同じような場所や日時において、撮影方向や画角が異なる複数の画像を撮像する場合がある。例えば、ユーザが、同じ日に同じ公園において、ある撮影方向及び画角で広角画像を撮影し、別の撮影方向及び画角で狭角画像を撮影する。そのような場合、それらの複数の画像は、場所や日時、撮影方向や画角等に関して所定の関係を持っている関連した画像群であると言える。 A user who is a photographer may use an image pickup device to capture a plurality of images having different shooting directions and angles of view at similar places and dates. For example, a user shoots a wide-angle image in a certain shooting direction and angle of view and a narrow-angle image in another shooting direction and angle of view in the same park on the same day. In such a case, it can be said that the plurality of images are related image groups having a predetermined relationship with respect to the place, the date and time, the shooting direction, the angle of view, and the like.
従来の撮像装置や表示装置は、表示画面において複数の画像を例えば撮影日時やファイル名等の順序で一覧及び並列配置で表示する機能を有する。例えば、特許文献１の場合、一覧表示画面において複数の縮小画像が縦横に並列配置で表示される。
The conventional image pickup device and display device have a function of displaying a plurality of images on a display screen in a list and in parallel arrangement in the order of, for example, the shooting date and time and the file name. For example, in the case of
しかし、従来技術では、ユーザが表示画面に表示される全画像のうち所定の関係を持つ複数の画像を直感的に認識することは難しい。例えば、同じような場所や日時で撮影された広角画像や狭角画像を含む複数の画像が混在している場合にも、ユーザは一覧表示画面でそれらの複数の画像の相互関係を把握しにくい。従来技術では、関係を持つ複数の画像を関連付けて再生表示するような機能を有していない。従来技術では、表示画面にある画像を表示している状態から、その画像と関係を持つ他の画像を参照して表示する機能等も有していない。従来技術では、複数の画像に関するユーザによる編集及び管理の作業にも手間がかかる。 However, in the prior art, it is difficult for the user to intuitively recognize a plurality of images having a predetermined relationship among all the images displayed on the display screen. For example, even when multiple images including wide-angle images and narrow-angle images taken at the same place and date and time are mixed, it is difficult for the user to grasp the interrelationship of these multiple images on the list display screen. .. The prior art does not have a function of associating and displaying a plurality of related images. The prior art does not have a function of referencing and displaying another image related to the image from the state of displaying the image on the display screen. In the prior art, the work of editing and managing a plurality of images by the user is also troublesome.
即ち、従来技術は、関係を持つ複数の画像の好適な閲覧がしにくく、使い勝手の点で改善余地がある。 That is, in the prior art, it is difficult to view a plurality of related images in a suitable manner, and there is room for improvement in terms of usability.
本発明の目的は、撮像装置及び表示装置に関して、複数の画像の関係を把握しやすく、より良い使い勝手を実現できる技術を提供することである。 An object of the present invention is to provide a technique for easily grasping the relationship between a plurality of images and realizing better usability with respect to an image pickup device and a display device.
本発明のうち代表的な実施の形態は、撮像装置等であって、以下に示す構成を有することを特徴とする。 A typical embodiment of the present invention is an image pickup apparatus or the like, and is characterized by having the following configurations.
一実施の形態の撮像装置は、静止画または動画の画像を撮像して画像データを得る撮像部と、前記画像データに基づいて前記画像を表示画面に再生表示する表示部と、を備え、前記画像の撮影方向として方位角及び仰角の少なくとも一方と、前記画像の画角または前記画角を計算可能である画角関連情報の少なくとも一方と、を含む第１情報を取得し、前記撮像された複数の画像について、第１画像の第１撮影方向の第１画角の範囲内またはその外に延長された閾値画角範囲内に、第２画像の第２撮影方向または一部画角が含まれている場合に、前記第１画像に前記第２画像を関連付け、ユーザの操作に基づいて選択された前記第１画像または前記第１画像を表す第１図形を前記表示画面内の背景領域上に表示すると共に、前記撮影方向に対応した位置関係で、前記第１画像に関連付けられる前記第２画像または前記第２画像を表す第２図形を表示する。 The image pickup apparatus of one embodiment includes an image pickup unit that captures an image of a still image or a moving image to obtain image data, and a display unit that reproduces and displays the image on a display screen based on the image data. The first information including at least one of the azimuth angle and the elevation angle as the image shooting direction and at least one of the image angle or the image angle-related information from which the image angle can be calculated is acquired and captured. For a plurality of images, the second shooting direction or a partial angle of view of the second image is included in the threshold angle range extended within or outside the range of the first angle of view in the first shooting direction of the first image. If so, the second image is associated with the first image, and the first image or the first figure representing the first image selected based on the user's operation is displayed on the background area in the display screen. In addition to displaying the second image associated with the first image or a second figure representing the second image in a positional relationship corresponding to the shooting direction.
本発明のうち代表的な実施の形態によれば、撮像装置及び表示装置に関して、複数の画像の関係を把握しやすく、より良い使い勝手を実現できる。 According to a typical embodiment of the present invention, it is easy to grasp the relationship between a plurality of images with respect to the image pickup device and the display device, and better usability can be realized.
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、その繰り返しの説明は省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In principle, the same parts are designated by the same reference numerals in all the drawings for explaining the embodiments, and the repeated description thereof will be omitted.
（実施の形態１）
図１～図２９を用いて、本発明の実施の形態１の撮像装置及び表示装置について説明する。実施の形態１の撮像装置及び表示装置は、撮影時の撮影方向や画角が異なる複数の画像を関連付けた状態で表示する機能を有する。
(Embodiment 1)
The image pickup apparatus and the display apparatus according to the first embodiment of the present invention will be described with reference to FIGS. 1 to 29. The image pickup device and the display device of the first embodiment have a function of displaying a plurality of images having different shooting directions and angles of view at the time of shooting in an associated state.
［撮像表示システム］
図１は、実施の形態１の撮像装置及び表示装置を含んで構成されるシステムである撮像表示システムの構成を示す。図１の撮像表示システムは、実施の形態１の撮像装置１である第１撮像装置１Ａ及び第２撮像装置１Ｂと、実施の形態１の表示装置２である第１表示装置２Ａ及び第２表示装置２Ｂと、サーバ３とが、通信網４を介して接続されている。通信網４は、無線通信網やインターネットを含む。
[Image capture display system]
FIG. 1 shows a configuration of an image pickup display system, which is a system including the image pickup device and the display device of the first embodiment. The image pickup display system of FIG. 1 is the first image pickup device 1A and the second
撮像装置１は、少なくとも撮像機能及び表示機能を有する電子機器である。表示装置２は、少なくとも表示機能を有する電子機器である。撮影者であるユーザは、自身が所有するまたは使用権限を持つ電子機器として、第１撮像装置１Ａ及び第２撮像装置１Ｂと、第１表示装置２Ａ及び第２表示装置２Ｂと、を有する。例えば、第１撮像装置１Ａはデジタルカメラであり、第２撮像装置１Ｂはスマートフォンであり、第１表示装置２Ａはテレビであり、第２表示装置２ＢはノートＰＣである。
The
第１撮像装置１Ａや第２撮像装置１Ｂは、少なくとも、自機器で撮像した画像の画像データを、自機器内の記憶手段に保持する機能を有する。また、第１撮像装置１Ａや第２撮像装置１Ｂは、自機器で撮像した画像の画像データを、サーバ３へ送信してサーバ３の画像データＤＢに蓄積、登録する機能を有してもよい。また、第１撮像装置１Ａや第２撮像装置１Ｂは、ユーザ操作に基づいて、自機器で撮像した画像の画像データを、第１表示装置２Ａや第２表示装置２Ｂへ送信する機能を有してもよい。
The first image pickup device 1A and the second
第１表示装置２Ａや第２表示装置２Ｂは、外部の機器である撮像装置１またはサーバ３等から、画像データを受信、入力し、自機器内の記憶手段に保持する機能を有する。例えば、第１表示装置２Ａは、第１撮像装置１Ａや第２表示装置２Ｂから、通信により画像データを受信する。例えば、第２表示装置２Ｂは、第１撮像装置１Ａや第２撮像装置１Ｂから、通信により画像データを受信する。また、第１表示装置２Ａや第２表示装置２Ｂは、画像データ表示部を有する。画像データ表示部は、画像データに基づいて表示画面に画像を表示する。また、例えば、第２表示装置２Ｂは、画像データ編集部を有する。画像データ編集部は、表示画面に対するユーザ操作に基づいて、画像データの情報や内容を編集する。
The
サーバ３は、例えば事業者が管理するサーバ装置であり、ユーザの機器から画像データを預かり、画像データＤＢ内に蓄積する。これにより、画像データのバックアップや一元管理等を実現する。なお、サーバ３と画像データＤＢは別の機器で実装されてもよい。
The
［撮像装置］
図２は、撮像装置１の構成を示す。撮像装置１は、制御部１０１、記憶部１０２、撮像部１０３、表示装置１０４、操作入力部１０５、記録部１０６、記録媒体１０７、通信インタフェース部１０８、撮影方向計測部１１１、内部時計１１２、位置検出部１１３、センサ群１１４、マイク１１５、スピーカ１１６、インタフェース回路部１３１、信号処理部１３２、メモリ１３３等を備える。それらの各部は、バス等を介して相互に接続されており、制御部１０１の制御に基づいて高速に連携する。
[Image pickup device]
FIG. 2 shows the configuration of the
制御部１０１は、撮像装置１の全体を制御する。制御部１０１は、プロセッサやＲＯＭやＲＡＭ等の制御回路を含む。制御部１０１は、制御回路の処理により実現される処理部として、撮像制御部１１、表示制御部１２、タッチ検出部１３、設定部１４、関連付け部１５を有する。
The
制御部１０１は、動作モードに応じて、撮像部１０３等の各部を制御して、撮像や表示を実現する。動作モードは、撮像モード、再生表示モード等がある。制御部１０１は、動作モードや状態に応じて、信号処理部１３２やメモリ１３３経由で、撮像部１０３、表示装置１０４、記録部１０６等を制御する。
The
制御部１０１は、操作入力部１０５やタッチセンサ４２を通じたユーザ入力操作に基づいて、撮像の撮影方向や画角等の設定を制御する。制御部１０１は、撮像部１０３を通じた画像の撮影に伴い、画像データ２３と共にメタデータ２２を作成し、メタデータ２２及び画像データ２３を含む画像ファイル２４として、記憶部１０２に記憶、または記録部１０６の記録媒体１０７に記録する。また、制御部１０１は、画像ファイル２４に関する管理情報２１を作成して管理する。
The
記憶部１０２は、制御部１０１の制御に基づいて、複数の画像ファイル２４、及び管理情報２１を含む各種のデータや情報を記憶する。なお、記憶部１０２が制御部１０１内に統合された形態、記憶部１０２と記録部１０６が１つに統合された形態等でもよい。
The
撮像部１０３は、撮像制御部１１からの制御に基づいて、画像を撮像する。撮像部１０３は、駆動部３１、レンズ部３２を含む。駆動部３１は、駆動回路を含み、撮像制御部１１からの駆動制御に基づいて、レンズ部３２の撮像素子及びレンズを駆動する。レンズ部３２は、電子ズームまたは光学ズームに対応したレンズを含む、複数のレンズによる光学系を含む。例えば、駆動部３１は、フォーカスレンズの位置を制御して焦点距離を変えるフォーカシング動作を行う。レンズ部３２のレンズは、交換不要で固定された、電子ズームに対応したズームレンズの方式でもよいし、着脱により交換可能である光学レンズの方式でもよい。
The
撮像部１０３は、ＣＭＯＳやＣＣＤ等の撮像素子を含む。撮像素子の撮像面には、光電変換素子が２次元で配列されている。撮像部１０３は、レンズ部３２を介して入射されて撮像素子の撮像面に結像された被写体の光学像を、光電変換して撮像信号に変換する。撮像部１０３には、アナログ信号をデジタル信号に変換するＡＤ変換回路が内蔵されており、デジタル化された撮像信号を出力する。撮像部１０３では、位相差オートフォーカス用の画素を配置した撮像素子を用いて、オートフォーカスの高速化を図ってもよいし、メモリを内蔵して、撮像信号の入出力の高速化を図ってもよい。撮像部１０３の外部にＡＤ変換回路等が設けられてもよい。撮像部１０３の撮像方式については限定しない。
The
表示装置１０４は、例えばタッチパネルであり、表示部４１及びタッチセンサ４２を含む。タッチパネルは、表示手段かつ操作入力手段である。表示部４１は、表示ドライバを含み、ユーザに対して表示画面を表示する。表示部４１は、例えば液晶表示部であるが、有機ＥＬ表示部等でもよい。表示部４１の方式やタッチセンサ４２の方式については限定しない。表示装置１０４は複数備えられてもよいし、タッチセンサ４２を備えないものでもよい。実施の形態１では、主となる表示装置１０４であるタッチパネルに加え、後述するが撮影モニタ用の表示装置を有する。
The
タッチセンサ４２は、表示部４１の表示画面の領域に対応させて配置されており、表示画面に対するタッチ入力操作を受け付ける。タッチセンサ４２は、例えば静電容量方式であり、指等の近接や接触による静電容量変化を電気信号として検出し、タッチ検出信号を制御部１０１のタッチ検出部１３へ出力する。タッチパネルは、例えば液晶表示部にタッチセンサ４２が内蔵されており、前面側にガラス保護カバーが配置され、背面側にバックライトが配置されている。なお、表示装置１０４は、一定時間の非使用状態等に基づいて自動的にバックライト消灯により非表示状態にされる制御がされてもよい。タッチパネルは感圧方式等でもよい。
The
タッチ検出部１３は、タッチセンサ４２から得られるタッチ検出信号に基づいて、表示画面でのタッチ有無やタッチ位置座標等を検出し、また、タップやスワイプやピンチ等の操作を検出する。ユーザは、タッチパネルの表示画面に対するタッチ入力操作により、撮像装置１に対する指示入力や、表示画面内で任意位置にフォーカスを合わせる操作等、各種の操作が可能である。
The
インタフェース回路部１３１は、動作モードに応じて、制御部１０１の制御に基づいて、制御部１０１からの駆動制御信号を、撮像部１０３へ転送する。また、インタフェース回路部１３１は、制御に基づいて、撮像部１０３からの撮像信号を、信号処理部１３２またはメモリ１３３へ出力する。なお、インタフェース回路部１３１に複数の撮像部１０３が接続される形態としてもよい。
The
信号処理部１３２は、画像音声信号処理回路、及び符号化復号化回路を含み、制御部１０１の制御に従い、画像信号処理、音声信号処理、符号化処理及び復号化処理、等の各種の信号処理を行う機能を有する。信号処理部１３２の信号処理は、撮像部１０３からの撮像信号に対する信号処理や、画像データ２３に対する信号処理や、表示装置１０４に映像を表示する際の信号処理を含む。信号処理部１３２は、信号処理により、記録用あるいは表示用の映像信号を生成する。この映像信号は、画像データ２３の静止画や動画を含む。
The
信号処理部１３２は、例えば、撮像信号に、フィルタリング、感度設定に応じた増幅、ホワイトバランス補正、等の信号処理を行う。信号処理部１３２は、画像データ２３を画像ファイル２４として記録媒体１０７に記録する際等には、元データに対して、そのための所定の形式の符号化処理を行う。この符号化は、データ圧縮を含む。信号処理部１３２は、記録媒体１０７から画像データ２３を読み出す際等には、対応する復号化処理を行い、元データへ復元する。信号処理部１３２は、画像データ２３に基づいて表示装置１０４に画像を再生表示する際には、そのための信号処理を行う。信号処理部１３２は、マイク１１５からの音声入力信号やスピーカ１１６への音声出力信号に対する音声信号処理を行う。
The
メモリ１３３は、信号処理部１３２の信号処理の際にバッファメモリとして使用され、各信号やデータが格納される。メモリ１３３は、例えばＤＲＡＭやフラッシュメモリ等により構成される。
The
操作入力部１０５は、ユーザによる入力操作を可能とする各種のハードウェアボタン等を含む。ユーザは、操作入力部１０５を通じて、指示入力可能であり、設定部１４に対し画角関連情報等を設定可能である。
The
設定部１４は、操作入力部１０５やタッチパネルを通じてユーザにより入力される設定を受け付けて、撮影や表示に係わる情報を設定する。設定部１４には、撮影に係わる設定情報として、撮像部１０３のレンズに関する電子ズーム倍率、焦点距離、画角等が設定可能である。撮像制御部１１は、設定部１４の設定情報に基づいて、画角等を自動調整するように、撮像部１０３を駆動制御する。
The setting
記録部１０６は、記録再生回路等を含み、記録媒体１０７が着脱可能に設けられている。記録媒体１０７は、例えばＳＤカードである。記録部１０６は、制御部１０１の制御に基づいて、記憶部１０２またはメモリ１３３等の画像データ２３を含む画像ファイル２４を、記録媒体１０７に記録する。記録部１０６は、制御部１０１の制御に基づいて、記録媒体１０７から画像ファイル２４を読み出して記憶部１０２またはメモリ１３３等に格納する。ユーザは、記録媒体１０７を取り外して持ち運びや交換が可能である。なお、画像ファイル２４には、画像データ２３と共に音声データが含まれてもよい。
The
通信インタフェース部１０８は、無線通信インタフェース部を含む。通信インタフェース部１０８は、制御部１０１の制御に基づいて、無線アクセスポイント等を介して通信網４に接続し、外部の装置との間で通信処理を行う。例えば、図１のように、撮像装置１は、通信網４を介してサーバ３または表示装置２または自機器以外の撮像装置１と通信し、自機器の画像ファイル２４を送信する、あるいは外部の機器から画像ファイル２４を受信する。その際、通信インタフェース部１０８は、画像ファイル２４の通信データを転送する。通信インタフェース部１０８は、電話網通信機能、ＬＡＮ通信機能、近距離通信機能等を備えていてもよい。
The
撮影方向計測部１１１は、電子コンパス、ジャイロセンサ、加速度センサ等のセンサを含み、それらを用いて撮像装置１の撮影方向を計測し、撮影方向の情報を制御部１０１へ出力する。撮影方向計測部１１１は、撮影方向として、方位角及び仰角を計測する。また、撮影方向計測部１１１は、撮像装置１の姿勢の検出に基づいて、撮像時の画像の回転角を検出する。画像の回転角は、水平方向及び鉛直方向に対する、画像の矩形の横線及び縦線の成す角度で表わされる。
The shooting direction measuring unit 111 includes sensors such as an electronic compass, a gyro sensor, and an acceleration sensor, measures the shooting direction of the
内部時計１１２は、現在日時を計測する。これにより、制御部１０１は、撮影日時を得ることができる。位置検出部１１３は、ＧＰＳ受信部を含み、衛星からの信号を用いて、撮像装置１の位置を検出する。位置検出部１１３は、位置情報として、｛緯度，経度，標高（海抜高度）｝を検出する。標高は省略でもよい。センサ群１１４は、他のセンサ群であり、例えば近接センサや照度センサが挙げられる。マイク１１５は音声入力機器であり、スピーカ１１６は音声出力機器である。
The internal clock 112 measures the current date and time. As a result, the
撮像制御部１１は、撮像装置１の動作モードに応じて、撮像時に撮像部１０３等を制御して画像を撮像し、画像データ２３を得る。撮像制御部１１は、画像データ２３を画像ファイル２４として記憶部１０２等に格納する。撮像部１０３及び撮像制御部１１は、広角画像及び狭角画像の両方の画像の撮像を可能とする機能を有する。撮像制御部１１は、撮像部１０３の光学系に関するズーム制御を行う。ズーム制御は、電子ズームまたは光学ズームの制御である。撮像制御部１１は、設定部１４の画角関連情報等の設定情報に基づいて、撮像部１０３のレンズに関する電子ズーム倍率、焦点距離、画角等を把握及び調整する。
The image
撮像部１０３において焦点距離等が異なる光学レンズに交換可能である場合、例えば、ユーザは、狭角画像を撮影する際には焦点距離が相対的に長い光学レンズに交換し、広角画像を撮影する際には焦点距離が相対的に短い光学レンズに交換する。ユーザが撮像部１０３のレンズを交換した場合、設定部１４は、自動的にその交換を検出し、交換後のレンズの焦点距離等を検出してもよい。あるいは、交換後、ユーザが、設定部１４に対して交換後のレンズの焦点距離等を入力設定してもよい。そして、撮像制御部１１は、設定部１４から更新後の設定情報を取得して焦点距離等を把握する。
When the
表示制御部１２は、表示装置１０４の表示部４１等を制御して、表示部４１の表示画面に画像や情報を表示する。表示制御部１２は、管理情報２１や画像ファイル２４に基づいて、表示画面に、フォルダ情報や画像を表示する。表示制御部１２は、ユーザに対するグラフィカルユーザインタフェースとなる各種の画面を提供する。表示制御部１２は、再生表示モードに応じた画面の切り替えを制御する。表示制御部１２は、メニュー画面や設定画面等も提供する。
The
関連付け部１５は、撮像制御部１１や表示制御部１２と連携して、所定の関係を持つ複数の画像を関連付ける関連付け処理を行う。関連付け部１５は、後述する関連付け方式に従い、撮像時または再生表示時等の所定のタイミング及び契機で、関連付け処理を行う。関連付け部１５は、関連付け処理における第１処理として、記憶部１０２等の複数の画像データ２３を対象として、関連付けのための判断を行う。この第１処理の判断では、後述する選択方式に従い、撮影場所等の条件に基づいて、関連付けの候補となる画像を選択する。関連付け部１５は、第２処理として、候補となる複数の画像において、撮影方向及び画角の条件に基づいて、関連付ける第１画像及び第２画像を決定する。関連付け部１５は、判断の結果、第１画像及び第２画像を関連付けるように、メタデータ２２または管理情報２１を作成する。
The
表示制御部１２は、画像の再生表示の際、関連付け部１５の判断結果、または、関連付け済みである画像ファイル２４のメタデータ２２または管理情報２１の参照確認に基づいて、所定の関係を持つ第１画像及び第２画像を特定する。表示制御部１２は、それらの第１画像及び第２画像を含む複数の画像を、表示画面内に関連付けた状態で表示する。
The
なお、撮像装置１の制御部１０１や信号処理部１３２等の各処理部や各機能のハードウェア構成としては、各処理部や各機能が個別のＬＳＩ等の回路で実装された形態でもよいし、１つの統合されたＬＳＩ等の回路で実装された形態でもよい。
The hardware configuration of each processing unit such as the
［表示装置］
図３は、表示装置２の構成を示す。表示装置２は、撮像装置１に対して主に異なる構成としては、撮像部１０３及び撮像に係わる処理部を備えない。表示装置２の構成要素のうち撮像装置１の構成要素と同様のものについては説明を省略する。表示装置２は、制御部２０１、記憶部２０２、表示部２０４、操作入力部２０５、記録部２０６、記録媒体２０７、通信インタフェース部２０８、センサ群、マイク、スピーカ等を備える。それらの各部は、バス等を介して相互に接続されており、制御部２０１の制御に基づいて高速に連携する。
[Display device]
FIG. 3 shows the configuration of the
制御部２０１は、表示装置２の全体を制御する。制御部２０１は、制御回路の処理により実現される処理部として、表示制御部２１２、関連付け部２１５を有する。制御部２０１は、操作入力部２０５を通じたユーザ入力操作に基づいて、表示部２０４の表示画面での表示を制御する。
The
記憶部２０２は、制御部２０１の制御に基づいて、複数の画像ファイル２４、及び管理情報２１を含む各種のデータや情報を記憶する。画像ファイル２４及び管理情報２１は、自機器で作成したものでもよいし、外部の機器から取得したものでもよい。
The
表示部２０４は、表示ドライバを含み、ユーザに対して表示画面を表示する。表示部２０４はタッチパネルとしてもよい。 The display unit 204 includes a display driver and displays a display screen to the user. The display unit 204 may be a touch panel.
操作入力部２０５は、ユーザによる入力操作を可能とする各種のハードウェアボタン等を含む。操作入力部２０５は、リモコン及びリモコン受光部を備えてもよい。ユーザは、操作入力部２０５を通じて、指示入力やユーザ設定が可能である。
The
記録部２０６は、記録再生回路等を含み、記録媒体２０７が着脱可能に設けられている。記録部２０６は、制御部２０１の制御に基づいて、記憶部２０２の画像データ２３を含む画像ファイル２４を、記録媒体２０７に記録する。記録部２０６は、制御部２０１の制御に基づいて、記録媒体２０７から画像ファイル２４を読み出して記憶部２０２に格納する。
The
通信インタフェース部２０８は、制御部２０１の制御に基づいて、通信網４に接続し、外部の装置との間で通信処理を行う。例えば、図１のように、表示装置２は、通信網４を介してサーバ３または撮像装置１または自機器以外の表示装置２と通信し、自機器の画像ファイル２４を送信する、あるいは外部の機器から画像ファイル２４を受信する。その際、通信インタフェース部２０８は、画像ファイル２４の通信データを転送する。
Based on the control of the
表示制御部２１２は、表示部２０４等を制御して、表示部２０４の表示画面に画像や情報を表示する。表示制御部２１２は、画像ファイル２４や管理情報２１に基づいて、表示部２０４の表示画面に、フォルダ情報や画像を再生表示する。表示制御部２１２は、再生表示モードに応じた画面の切り替えを制御する。
The
関連付け部２１５は、表示制御部２１２と連携して、所定の関係を持つ複数の画像を関連付ける関連付け処理を行う。関連付け部２１５は、外部の機器から取得した画像ファイル２４を対象に関連付け処理を行うこともできる。関連付け部２１５の関連付け処理は、関連付け部１５の関連付け処理と同様である。
The
表示制御部２１２は、画像の再生表示の際、関連付け部２１５の判断結果、または、関連付け済みである画像ファイル２４のメタデータ２２または管理情報２１の参照確認に基づいて、所定の関係を持つ第１画像及び第２画像を特定する。表示制御部２１２は、それらの第１画像及び第２画像を含む複数の画像を、表示画面内に関連付けた状態で表示する。
The
以下、主に撮像装置１を主体として説明するが、撮像に係わる機能や動作以外については、表示装置２を主体として同様に実現できる。
Hereinafter, the
［撮像装置－外観］
図４は、撮像装置１の外観の構成例を示す。図４の左側には、撮像装置１の筐体４００の背面から見た構成を示し、右側には筐体４００の右側面から見た構成を示す。背面は表示部４１の表示画面４０１が設けられた方の面とし、前面は撮像部１０３のレンズ４０２が設けられた方の面とする。
[Image pickup device-appearance]
FIG. 4 shows a configuration example of the appearance of the
側面の構成において、筐体４００の正面中心位置には、レンズ部３２のレンズ４０２が配置されている。また、主要な筐体４００に対して例えば上方に張り出す状態で電子ビューファインダ（ＥＶＦ）４０３が設けられている。ＥＶＦ４０３は表示装置１０４の１つである。
In the configuration of the side surface, the
背面の構成において、前述のタッチパネルに対応する矩形の表示画面４０１が配置されており、情報表示やタッチ入力操作が可能となっている。また、ＥＶＦ４０３は、表示画面４０４及び近接センサ４０５を有する。ＥＶＦ４０３は、撮影の際にレンズ及び撮像素子を介して入力されている信号に基づいて、被写体の画像をモニタ画像として表示する。ユーザは、ＥＶＦ４０３のモニタ画像を確認しながら撮影が可能である。表示画面４０４には、絞り値等の情報を重ね合わせて表示してもよい。近接センサ４０５は、物体の近接を検出する。近接センサ４０５は、静電容量方式、光学方式等がある。例えば、制御部１０１は、近接センサ４０５を通じて近接の有無の検出により、ユーザによるＥＶＦ４０３の使用有無を判断する。制御部１０１は、その判断に応じて、表示画面４０１での表示と、ＥＶＦ４０３の表示画面４０４でのモニタ画像の表示とを自動的に切り替える。なお、ＥＶＦ４０３に限らず、光学ファインダを搭載する形態でもよい。また、表示画面４０１にモニタ画像を表示するモードも設定可能である。
In the rear configuration, a
筐体４００には、操作入力部１０５として、モード設定ダイヤル４３１、シャッターボタン４３２、十字キー４３３、再生表示モードボタン４３４、電源ボタン４３５、等が設けられている。十字キー４３３には、上下左右ボタンや中心ボタンを含み、表示画面４０１内の所望の位置の情報の選択、決定やキャンセル等の入力に用いることができる。表示画面４０１では、所定の入力操作に基づいて、メニュー表示も可能である。
The
モード設定ダイヤル４３１は、動作モードの設定に用いられる。シャッターボタン４３２は、撮影の際に押下される。再生表示モードボタン４３４は、表示画面４０１に再生表示する際に用いられ、再生表示モードの切り替えも可能である。電源ボタン４３５は、電源オン／オフ等に用いられる。ユーザは、表示画面４０１または表示画面４０４にモニタ画像を表示して、所望の位置にタッチしてフォーカスを合わせる等、各種の入力操作が可能である。
The
［撮像装置－動作モード］
撮像装置１の動作モードとして撮影モードの動作概要については以下である。ユーザが電源ボタン４３５を押して電源オン状態にすると、通常撮影モードが起動される。制御部１０１は、通常撮影モードに応じて、撮像部１０３等を駆動制御する。通常撮影モードでは、画像として静止画や動画の撮影が可能である。撮影時、制御部１０１は、撮像部１０３から所定の周期で撮像信号を読み出し、インタフェース回路部１３１を経て、信号処理部１３２で所定の信号処理を施し、表示用の形式の映像信号に変換する。制御部１０１は、その映像信号に基づいて、表示装置１０４のタッチパネルの表示画面４０１またはＥＶＦ４０３の表示画面４０４に、リアルタイムでモニタ画像を表示する。ユーザは、表示画面４０１または表示画面４０４のモニタ画像を確認しながら以下のように撮影を行う。
[Image pickup device-operation mode]
The outline of the operation of the shooting mode as the operation mode of the
ユーザは、操作入力部１０５を通じて設定部１４に撮影条件として画角関連情報等を設定する。静止画を撮影する場合、ユーザは、シャッターボタン４３２を押す。撮像制御部１１は、シャッターボタン４３２の押下を検出し、設定されている撮影条件に従って、絞り値やシャッター速度やフォーカス等を決定する。シャッターボタン４３２は、例えば半押し、全押しの状態がある。撮像制御部１１は、半押し状態の時にフォーカス等を設定し、全押し状態の時に撮像を開始するように制御する。
The user sets the angle of view-related information and the like as shooting conditions in the
撮像部１０３によって撮像された静止画の撮像信号は、信号処理部１３２及びメモリ１３３を用いて、静止画用の所定の信号処理が施される。その際の符号化方式としては例えばＪＰＥＧを適用するが、他の方式としてＭＰＥＧや高画質のＲＡＷ形式等を適用してもよい。符号化された静止画データに対応する画像ファイル２４は、例えば記録部１０６で記録媒体１０７に記録される。
The image pickup signal of the still image captured by the
動画を撮影する場合、ユーザは、動画撮影ボタンを押下して動画撮影を開始し、動画撮影ボタンを再度押下して動画撮影を停止する。動画の撮像信号は、動画用の所定の方式の信号処理が施される。その方式としては、例えばＨ２６４やＨ２６５等のＭＰＥＧ、その他の形式が適用される。符号化された動画データは、同様に例えば記録媒体１０７に記録される。
When shooting a moving image, the user presses the moving image shooting button to start the moving image shooting, and presses the moving image shooting button again to stop the moving image shooting. The image pickup signal of the moving image is subjected to signal processing of a predetermined method for moving images. As the method, for example, MPEG such as H264 and H265, and other formats are applied. The encoded moving image data is similarly recorded on, for example, a
再生表示モードの動作概要については以下である。制御部１０１は、再生表示モードボタン４３４により再生表示モードに設定されたことを検出すると、記録部１０６の記録媒体１０７から画像ファイル２４を読み出して記憶部１０２に格納する。表示制御部１２は、画像データ２３から、信号処理部１３２を用いて、復号化処理により画像の元データを復元し、表示画面に画像等を表示するための映像データを生成する。表示制御部１２は、映像データに基づいて表示装置１０４を制御し、表示画面に画像等を表示する。
The outline of the operation of the playback display mode is as follows. When the
［管理情報及び画像ファイル］
図５は、記憶部１０２の管理情報２１及び画像ファイル２４の構成例を示す。管理情報２１は、画像ファイル管理情報と、関連付け管理情報とを含む。画像ファイル管理情報は、公知のファイルシステムにより管理する情報であり、例えばファイル名、更新日時、種類、サイズ等の情報を含む。関連付け管理情報は、複数の画像の関係を管理するために作成される特有の情報である。関連付け管理情報は、例えば、種別識別子、参照識別子、設定文字列を含む。
[Management information and image files]
FIG. 5 shows a configuration example of the
種別識別子は、画像ファイル２４毎に、その画像の種別を識別するための識別子である。画像の種別は、例えば、広角画像と狭角画像との２つがある。参照識別子は、複数の画像間での関連付けの参照のための識別子である。参照識別子は、例えば、第１画像とそれに関連付けられる第２画像とがある場合に、第１画像に持つ参照識別子として、参照先の第２画像の画像ファイル２４のファイル名である。また、第２画像に持つ参照識別子として、参照元の第１画像の画像ファイル２４のファイル名である。参照識別子は、第１画像及び第２画像が属するグループの識別子を持たせてもよい。設定文字列は、ユーザ操作に基づいてユーザが任意に設定可能である文字列である。ユーザは、画像の編集及び管理作業の際に、画像に例えば撮影場所を表す文字列を設定可能である。なお、関連付け管理情報内に設定文字列を設けているが、メタデータ２２内に設定文字列を設けてもよい。
The type identifier is an identifier for identifying the type of the image for each
画像ファイル２４は、メタデータ２２と、画像データ２３とを含む。画像ファイル２４のヘッダ部にメタデータ２２を有し、ボディ部に画像データ２３を有する。画像データ２３は、静止画または動画のデータであり、記録用の場合には符号化データである。メタデータ２２は、画像データ２３に関する各種の属性値を含む情報を管理するデータであり、言い換えると、付属情報、属性情報である。メタデータ２２は、情報項目として、撮影日時、撮影場所、機種、解像度、撮影方向、画角、画角関連情報、回転角、サムネイルを含む。
The
撮影日時は例えば年月日時分秒である。撮影場所は、位置情報または設定文字列を含む。位置情報は、位置検出部１１３により検出された位置座標｛緯度，経度，標高｝を含む。設定文字列は、ユーザにより設定された撮影場所を表す文字列である。機種は、撮像装置１の種類を一意に表す情報である。機種は、レンズ種類等を含んでもよい。解像度は、画像データ２３の画像の解像度を表す。
The shooting date and time is, for example, the year, month, day, hour, minute, and second. The shooting location includes location information or a setting character string. The position information includes the position coordinates {latitude, longitude, altitude} detected by the position detection unit 113. The setting character string is a character string representing a shooting location set by the user. The model is information that uniquely represents the type of the
撮影方向は、方位角（θとする）、仰角（φとする）を含む情報である。画角は、水平画角（Ａｈとする）、垂直画角（Ａｖとする）を含む情報である。画角関連情報は、電子ズーム倍率（ｎとする）、焦点距離（ｆとする）、撮像素子の撮像面の寸法、等の情報である。焦点距離ｆは、３５ｍｍ換算焦点距離である。寸法は｛水平サイズｓｗ，垂直サイズｓｈ，対角サイズｓｄ｝とする。なお、メタデータ２２において、画角項目と画角関連情報項目との一方のみを設ける形式としてもよい。 The shooting direction is information including an azimuth angle (referred to as θ) and an elevation angle (referred to as φ). The angle of view is information including a horizontal angle of view (referred to as Ah) and a vertical angle of view (referred to as Av). The angle of view-related information is information such as an electronic zoom magnification (n), a focal length (f), and dimensions of an image pickup surface of an image pickup device. The focal length f is a 35 mm equivalent focal length. The dimensions are {horizontal size sw, vertical size sh, diagonal size sd}. In the metadata 22, only one of the angle of view item and the angle of view related information item may be provided.
回転角は、言い換えると撮像時のレンズの光軸を軸とした回転であり、撮像時の画像の回転を表す角度である。例えば、図４のように撮像装置１を水平面に対して筐体４００の横方向が一致する状態を基準とした角度や方向である。いわゆる横撮りの場合、その基準の状態に対応して回転角が０度に近い状態となる。画角の比として水平画角が垂直画角よりも大きい画像の場合には、横長の画像となる。いわゆる縦撮りの場合、その基準の状態に対して回転角が９０度に近い状態となる。
The angle of rotation is, in other words, a rotation about the optical axis of the lens at the time of imaging, and is an angle representing the rotation of the image at the time of imaging. For example, as shown in FIG. 4, the angle and direction of the
サムネイルは、画像の元データに基づいた縮小画像である。サムネイルは、画像の解像度や種別等に応じて構成され、符号化有りまたは符号化無しで記録される。サムネイルが予め作成及び保持される場合には、再生表示の際に高速にサムネイルが表示可能である。サムネイルは、異なる解像度等で複数の種類のサムネイルが作成及び保持されてもよい。サムネイルは、省略でもよいし、メタデータ２２とは別に管理されてもよい。表示制御部１２は、再生表示の都度にサムネイルを作成して表示してもよい。
Thumbnails are reduced images based on the original data of the image. Thumbnails are configured according to the resolution, type, etc. of the image, and are recorded with or without coding. When thumbnails are created and retained in advance, the thumbnails can be displayed at high speed during playback display. As the thumbnail, a plurality of types of thumbnails may be created and retained at different resolutions and the like. Thumbnails may be omitted or may be managed separately from the metadata 22. The
なお、メタデータ２２は、所定の形式、例えばＥｘｉｆ（Exchangeable image file format）に基づいて拡張した形式であるが、これに限定しない。Ｅｘｉｆは、デジタルカメラの写真用の形式である。Ｅｘｉｆでは、機種や撮影条件情報を、メタデータとして画像データに埋め込む。画像表示や画像編集のソフトウェアは、このメタデータを参照でき、また、ユーザはメタデータの情報を編集可能である。従来のＥｘｉｆの画像ファイルのメタデータには、画角等の情報は含まれていない。実施の形態１では、拡張した形式として、メタデータ２２の中に、特有の情報項目として、画角、画角関連情報等の項目を設けている。 The metadata 22 is an extended format based on a predetermined format, for example, Exif (Exchangeable image file format), but is not limited to this. Exif is a format for photography in digital cameras. In Exif, model and shooting condition information is embedded in image data as metadata. Image display and image editing software can refer to this metadata, and the user can edit the metadata information. The metadata of the conventional Exif image file does not include information such as the angle of view. In the first embodiment, as an extended format, items such as an angle of view and angle-of-view related information are provided as specific information items in the metadata 22.
メタデータ２２は、画像ファイル２４のヘッダ部として作成及び管理されているが、画像データファイルとは別に、メタデータファイルとして作成及び管理されてもよい。また、メタデータ２２を用いて特有の情報を管理する形態に限らず、管理情報２１の中で同様の情報をまとめて管理する形態としてもよい。なお、動画の場合、メタデータ２２等の各種情報については、例えば所定の時間間隔の画像フレーム毎に記述されてもよい。その時間間隔は一定でもよいし、画角等に変化があった時のみとしてもよい。
Although the metadata 22 is created and managed as a header portion of the
［複数の画像の関係の管理］
図６は、複数の画像の関係に関する関連付け管理について示す。制御部１０１は、例えば、図５の管理情報２１のうちの関連付け管理情報において、図６のような関係を管理する。説明上、基準側画像を第１画像とし、第１画像に対して関係を持つ参照側画像を第２画像とする。図６の例では、第１画像として、画像Ｇ１，Ｇ２，Ｇ３，Ｇ４等を有する。第１画像が広角画像の場合もあるし狭角画像の場合もある。第２画像が広角画像の場合もあるし、狭角画像の場合もある。
[Management of relationships between multiple images]
FIG. 6 shows association management regarding the relationship between a plurality of images. The
画像Ｇ１は、種別が狭角である狭角画像であり、方位角θ１、仰角φ１、水平画角Ａｈ１、垂直画角Ａｖ１等を持つ。画像Ｇ１に関連付けられている第２画像として、画像ｇ１１，ｇ１２，ｇ１３を有する。画像ｇ１１，ｇ１２，ｇ１３は、種別が狭角である狭角画像である。例えば画像ｇ１１は、方位角θ１１、仰角φ１１、水平画角Ａｈ１１、垂直画角Ａｖ１１等を持つ。これらの画像Ｇ１及び画像ｇ１１，ｇ１２，ｇ１３は、所定の関係を持つ複数の画像として関連付けられている。これらの画像は、同じグループ、例えば第１グループに属する画像群として関連付けられている。 The image G1 is a narrow-angle image whose type is a narrow angle, and has an azimuth angle θ1, an elevation angle φ1, a horizontal angle of view Ah1, a vertical angle of view Av1, and the like. The second image associated with the image G1 has images g11, g12, g13. The images g11, g12, and g13 are narrow-angle images of which the type is narrow-angle. For example, the image g11 has an azimuth angle θ11, an elevation angle φ11, a horizontal angle of view Ah11, a vertical angle of view Av11, and the like. These images G1 and images g11, g12, and g13 are associated as a plurality of images having a predetermined relationship. These images are associated as a group of images belonging to the same group, eg, the first group.
画像Ｇ２は、種別が広角である広角画像であり、方位角θ２、仰角φ２、水平画角Ａｈ２、垂直画角Ａｖ２等を持つ。画像Ｇ２に関連付けられている第２画像として、画像ｇ２１，ｇ２２，ｇ２３を有する。画像ｇ２１，ｇ２２，ｇ２３は狭角画像である。例えば画像ｇ２１は、方位角θ２１、仰角φ２１、水平画角Ａｈ２１、垂直画角Ａｖ２１等を持つ。これらの画像は、第２グループに属する。 The image G2 is a wide-angle image whose type is wide-angle, and has an azimuth angle θ2, an elevation angle φ2, a horizontal angle of view Ah2, a vertical angle of view Av2, and the like. The second image associated with the image G2 has images g21, g22, g23. The images g21, g22, and g23 are narrow-angle images. For example, the image g21 has an azimuth angle θ21, an elevation angle φ21, a horizontal angle of view Ah21, a vertical angle of view Av21, and the like. These images belong to the second group.
画像Ｇ３は、狭角画像であり、方位角θ３、仰角φ３、水平画角Ａｈ３、垂直画角Ａｖ３等を持つ。画像Ｇ３に関連付けられている第２画像として、画像ｇ３１，ｇ３２を有する。画像ｇ３１は広角画像、画像ｇ３２は狭角画像である。これらの画像は、第３グループに属する。 The image G3 is a narrow-angle image and has an azimuth angle θ3, an elevation angle φ3, a horizontal angle of view Ah3, a vertical angle of view Av3, and the like. As the second image associated with the image G3, the images g31 and g32 are included. The image g31 is a wide-angle image, and the image g32 is a narrow-angle image. These images belong to the third group.
画像Ｇ４は、広角画像であり、方位角θ４、仰角φ４、水平画角Ａｈ４、垂直画角Ａｖ４等を持つ。画像Ｇ４に関連付けられている第２画像として、画像ｇ４１，ｇ４２を有する。画像ｇ４１は広角画像、画像ｇ４２は狭角画像である。これらの画像は、第４グループに属する。 The image G4 is a wide-angle image and has an azimuth angle θ4, an elevation angle φ4, a horizontal angle of view Ah4, a vertical angle of view Av4, and the like. As the second image associated with the image G4, the images g41 and g42 are included. The image g41 is a wide-angle image, and the image g42 is a narrow-angle image. These images belong to the fourth group.
なお、例えば画像ｇ１１を基準側の第１画像としてみた場合、画像Ｇ１の方が参照側の第２画像となる。また、例えば画像ｇ１１を基準側の第１画像として、その画像ｇ１１に対して更に他の画像が第２画像として関連付けられている場合もある。 For example, when the image g11 is viewed as the first image on the reference side, the image G1 becomes the second image on the reference side. Further, for example, the image g11 may be used as the first image on the reference side, and another image may be associated with the image g11 as the second image.
関連付け情報の例としては、第１画像の画像ファイルに持たせる参照識別子として、各第２画像の画像ファイル名を有する。また、各第２画像の画像ファイルに持たせる参照識別子として、第１画像の画像ファイル名を有する。また、関連付けられる各画像に持つ参照識別子として、グループ識別子を有する。これらにより、関係を持つ画像間で相互に参照可能である。 As an example of the association information, the image file name of each second image is included as a reference identifier given to the image file of the first image. Further, as a reference identifier given to the image file of each second image, the image file name of the first image is provided. Further, it has a group identifier as a reference identifier for each associated image. As a result, the images having a relationship can be referred to each other.
なお、１つの表示モードとして、表示画面に、図６のような複数の画像の関係を表す情報を表示してもよい。その際、図６のように第１画像と第２画像とをツリー構造で表示してもよいし、図示しないが第１画像のノードの周りに第２画像のノードをリンク線で接続した状態で表示してもよい。 As one display mode, information indicating the relationship between a plurality of images as shown in FIG. 6 may be displayed on the display screen. At that time, as shown in FIG. 6, the first image and the second image may be displayed in a tree structure, or a state in which the node of the second image is connected around the node of the first image by a link line (not shown). It may be displayed with.
実施の形態１では、画像の種別として、画角に関する広角と狭角とを区別する。撮像装置１は、閾値に基づいて画角を絶対値で区別する。画角に関する閾値が設定されている。制御部１０１は、撮像した画像の画角が、閾値の画角以上である場合には、種別として広角画像とし、閾値の画角未満である場合には狭角画像とする。これに限らず、画角の種別は、３種類以上を設けてもよい。
In the first embodiment, a wide angle and a narrow angle regarding the angle of view are distinguished as the type of the image. The
［画像の撮影方向及び画角］
図７は、複数の画像の具体例として、広角画像及び狭角画像に関する撮影方向や画角の関係について、概念を簡易的に示す。図７では、特に方位角及び水平画角について示す。本例では、画像６ａ、画像６ｂ、画像６ｃ、画像６ｄを有する。画像６ａ，６ｂ，６ｃは狭角画像、画像６ｄは広角画像である。これらの画像は、ユーザにより撮像装置１を用いて同じ場所である撮影地点である点Ｐ０で撮影された画像とする。各画像は、例えば画像６ｄ、画像６ａ、画像６ｂ、画像６ｃの順で近い日時に撮影されたとする。各画像の撮影日時は、例えば、画像６ｄが２０１６年１月５日１３時１０分０秒、画像６ａが同日１３時１１分３０秒、画像６ｂが同日１３時１４分４０秒、画像６ｃが同日１３時１５分５０秒である。
[Image shooting direction and angle of view]
FIG. 7 briefly shows the concept of the relationship between the shooting direction and the angle of view of the wide-angle image and the narrow-angle image as specific examples of the plurality of images. FIG. 7 shows, in particular, the azimuth angle and the horizontal angle of view. In this example, it has an
画像６ａは、方位角θａで示す撮影方向７ａ、水平画角Ａｈａに対応する撮影範囲７０１を有する。画像６ｂは、方位角θｂで示す撮影方向７ｂ、水平画角Ａｈｂに対応する撮影範囲７０２を有する。画像６ｃは、方位角θｃで示す撮影方向７ｃ、水平画角Ａｈｃに対応する撮影範囲７０３を有する。画像６ｄは、撮影方向が画像６ａの撮影方向７ａと同じであり、水平画角Ａｈｄに対応する撮影範囲７０４を有する。図７では、画像の撮影方向のうち、方位角θで規定される撮影方向を、一点鎖線で示している。
The
点Ｐ０は、特に撮像部１０３のレンズ４０２の中心点を示す。球面６００は、全天球の球面を示し、無限遠点を捨象した仮想的な球面である。球面６００は、特に、方位角θ及びＸ－Ｙ平面に対応する円周の部分を示す。Ｎは北向き、Ｅは東向き、Ｓは南向き、Ｗは西向きを示す。Ｘ方向が東向き、Ｙ方向が北向きに対応しており、Ｚ方向は天頂方向に対応している。方位角θは、Ｎを基準の０°として、時計回りを正方向として、Ｅが＋９０°、Ｓが＋１８０°、Ｗが＋２７０°（－９０°）として示す。
The point P0 particularly indicates the center point of the
球面６００上の円弧で示す撮影範囲７０１は、画像６ａのうちの水平画角Ａｈａに対応する部分を示し、点Ｐ０から見た球面６００に投影される領域に相当する。本例では、球面６００上、画像に写される風景として、山６１１や空、塔６１２やビル６１３等がある場合を簡易的に示す。画像６ｂは塔６１２を撮影した例、画像６ｃはビル６１３を撮影した例である。
The photographing
各画像の方位角θ、仰角φ、水平画角Ａｈ、垂直画角Ａｖの値の具体例は以下である。画像６ａの方位角θａ、仰角φａ、水平画角Ａｈａ、垂直画角Ａｖａとし、画像６ｂの方位角θｂ、仰角φｂ、水平画角Ａｈｂ、垂直画角Ａｖｂとし、画像６ｃの方位角θｃ、仰角φｃ、水平画角Ａｈｃ、垂直画角Ａｖｃとする。また、画像６ｄの方位角θｄ＝θａ、仰角φｄ＝φａ、水平画角Ａｈｄ、垂直画角Ａｖｄとする。
Specific examples of the values of the azimuth angle θ, the elevation angle φ, the horizontal angle of view Ah, and the vertical angle of view Av of each image are as follows. The azimuth θa, elevation φa, horizontal angle of view Aha, and vertical angle of view Ava of the
θａ＝＋１０°， φａ＝０°， Ａｈａ＝２１°， Ａｖａ＝１４°
θｂ＝＋４５°， φｂ＝０°， Ａｈｂ＝２１°， Ａｖｂ＝１４°
θｃ＝－２０°， φｃ＝－１０°， Ａｈｃ＝２１°， Ａｖｃ＝１４°
θｄ＝＋１０°， φｄ＝０°， Ａｈｄ＝１２０°， Ａｖｄ＝８０°
図８は、図７と同様に、特に仰角φ及び垂直画角Ａｖについて示す説明図である。図８では、別の画像６ｅである狭角画像の例で示す。図８では、Ｘ方向が水平方向、Ｚ方向が鉛直方向に対応している。Ｚ方向における正方向が頭、天頂方向に対応し、負方向が足元の方向に対応する。仰角φは、水平方向を基準として０°とし、Ｚ方向の天頂方向では＋９０°、足元の方向では－９０°とする。画像６ｅの方位角θｅ、仰角φｅ、水平画角Ａｖｅ、垂直画角Ａｈｅとする。画像６ｅの垂直画角Ａｖｅに対応する撮影範囲７０５を示す。画像６ｅの撮影方向７ｅは、仰角φｅに対応する部分を示す。
θa = + 10 °, φa = 0 °, Aha = 21 °, Ava = 14 °
θb = + 45 °, φb = 0 °, Ahb = 21 °, Avb = 14 °
θc = -20 °, φc = -10 °, Ahc = 21 °, Avc = 14 °
θd = + 10 °, φd = 0 °, Ahd = 120 °, Avd = 80 °
FIG. 8 is an explanatory diagram showing, in particular, the elevation angle φ and the vertical angle of view Av, as in FIG. 7. FIG. 8 shows an example of a narrow-angle image which is another
［画角及び画角関連情報］
図９は、画角及び画角関連情報について簡易的に示す。また、図９では、設定部１４に設定情報として画角及び画角関連情報が記憶される場合を示す。画像の画角として｛水平画角Ａｈ，垂直画角Ａｖ｝を示す。また、画像における水平画角Ａｈに対応する水平サイズＳｈ、及び垂直画角Ａｖに対応する垂直サイズＳｖを示す。水平サイズＳｈは、画像フレーム内水平方向における右端から左端までのサイズである。垂直サイズＳｖは、画像フレーム内垂直方向における上端から下端までのサイズである。なお、実施の形態１では、水平画角Ａｈ及び垂直画角Ａｖを用いるが、これに限らず、対角画角Ａｄを含め、少なくとも１つの画角を用いればよい。
[Angle of view and angle-of-view related information]
FIG. 9 briefly shows the angle of view and the angle-of-view related information. Further, FIG. 9 shows a case where the angle of view and the angle-of-view related information are stored as the setting information in the
画角関連情報として、光学ズームを考慮したレンズの焦点距離ｆと、電子ズーム倍率ｎと、撮像素子の撮像面の寸法｛水平サイズｓｗ，垂直サイズｓｈ，対角サイズｓｄ｝とを用いる。寸法の代わりに、機種を用いてもよい。焦点距離ｆは、３５ｍｍ換算焦点距離である。 As the angle of view-related information, the focal length f of the lens in consideration of the optical zoom, the electronic zoom magnification n, and the dimensions of the image pickup surface of the image sensor {horizontal size sw, vertical size sh, diagonal size sd} are used. A model may be used instead of the dimensions. The focal length f is a 35 mm equivalent focal length.
画角は、画角関連情報を用いて、関係式に基づいて計算して得ることも可能である。制御部１０１は、画角を計算するのに十分な画角関連情報がある場合、画角関連情報から画角を計算して求めてもよい。画角は、例えば撮像素子の寸法と、焦点距離ｆと、電子ズーム倍率ｎとを用いて計算可能である。例えば３５ｍｍ換算焦点距離あるいは撮像素子の寸法等の情報を用いて、逆正接（ａｒｃｔａｎ）として一意に決まる関係式から画角が計算できる。
The angle of view can also be calculated and obtained based on the relational expression using the angle of view-related information. If the
画角関連情報から画角を計算する場合には以下である。撮像制御部１１は、画像に関する画角関連情報を参照する。撮像制御部１１は、画角関連情報を、前述の設定部１４の設定情報、あるいはメタデータ２２または管理情報２１に記述されている情報から把握可能である。画角｛水平画角Ａｈ，垂直画角Ａｖ，対角画角Ａｄ｝は、例えば以下の式から計算可能である。
When calculating the angle of view from the angle of view related information, it is as follows. The image
Ａｈ＝２×ａｒｃｔａｎ（ｓｗ／（２×ｎ×ｆ）） ・・・（１）
Ａｖ＝２×ａｒｃｔａｎ（ｓｈ／（２×ｎ×ｆ）） ・・・（２）
Ａｄ＝２×ａｒｃｔａｎ（ｓｄ／（２×ｎ×ｆ）） ・・・（３）
例えば、電子ズーム倍率ｎ、焦点距離ｆ、寸法｛水平サイズｓｗ，垂直サイズｓｈ｝が与えられると、水平画角Ａｈ１及び垂直画角Ａｖ１が決まる。制御部１０１は、その画角の情報を、メタデータ２２の画角項目、または管理情報２１内に記述する。また、画角関連情報から画角が計算可能であるため、撮像装置１は、メタデータ２２等の１つとして、上記画角を保存する代わりに、上記画角関連情報を保存してもよい。また、機種から画角関連情報の撮像素子の寸法等が把握可能であるため、撮像装置１は、メタデータ２２等の１つとして、撮像素子の寸法等の代わりに、機種を保存してもよい。例えば、撮像装置１は、予め、機種と画角関連情報との対応関係を表す情報を保持している。あるいは、撮像装置１は、通信により、外部の装置から、その対応関係を表す情報を参照可能である。撮像装置１は、その情報に基づいて、機種から画角関連情報を得ることができる。
Ah = 2 × arctan (sw / (2 × n × f)) ・ ・ ・ (1)
Av = 2 × arctan (sh / (2 × n × f)) ・ ・ ・ (2)
Ad = 2 × arctan (sd / (2 × n × f)) ・ ・ ・ (3)
For example, when the electronic zoom magnification n, the focal length f, and the dimensions {horizontal size sw, vertical size sh} are given, the horizontal angle of view Ah1 and the vertical angle of view Av1 are determined. The
撮像装置１は、画像を撮像した際、撮影日時、撮影方向｛方位角θ，仰角φ｝、画角｛水平画角Ａｈ，垂直画角Ａｖ｝等を含む情報を作成する。撮像制御部１１は、内部時計１１２により撮影日時を得る。撮像制御部１１は、位置検出部１１３により位置情報｛緯度，経度，標高｝を得る。撮像制御部１１は、撮影方向計測部１１１により撮影方向｛方位角θ及び仰角φ｝を得る。撮像制御部１１は、設定部１４の設定情報または計算により、画角｛水平画角Ａｈ，垂直画角Ａｖ｝を得る。そして、撮像装置１は、それらの情報を、図５のメタデータ２２の対応する項目に記述し、画像データ２３と共に、画像ファイル２４として作成する。
When the
［表示画面－表示モード］
図１０は、表示部４１の表示画面４０１の表示モード及びその遷移について示す。撮像装置１は、再生表示モードである表示モードとして、少なくとも、第１表示モード、第２表示モード、第３表示モードを有する。撮像装置１は、例えば、最初は第１表示モードで表示し、ユーザ操作に基づいて、表示モードを切り替える。
[Display screen-Display mode]
FIG. 10 shows the display mode of the
撮像装置１は、後述するが、撮影後または再生表示の際に、画像の撮影場所や撮影日時等の判断や、撮影方向及び画角等の判断に基づいて、複数の画像の関連付けを行い、複数の画像にグループを設定し、関連付け管理情報を作成する。撮像装置１は、画像の再生表示の際、メタデータ２２（少なくとも撮影方向情報）や関連付け管理情報に基づいて、関係を持つ同じグループの複数の画像を、以下のように表示画面４０１内に関連付けた状態で表示する。
As will be described later, the
［第１表示モード－第１画面］
第１表示モードは、全画像の情報に関する一覧表示を行うモードであり、フォルダ画面を表示するモードである。第１表示モードの第１画面では、フォルダの複数の画像の情報を、例えばファイル名や日時等をキーとした順序で一覧表示する。本例では、複数の画像として画像ｊ１，ｊ２，ｊ３等の情報を、上から順に並べて表示している。各画像の行では、画像のアイコンまたはサムネイル、ファイル名、撮影日時、種別、その他の情報を表示している。本例では画像ｊ１，ｊ２，ｊ３の種別が狭角である。その他の情報としては、撮影方向｛方位角θ，仰角φ｝や画角｛水平画角Ａｈ，垂直画角Ａｖ｝等の属性値を表示してもよい。ユーザは、第１画面に表示しきれない情報については、スクロール等させて表示可能である。第１画面は、このようなフォルダ画面に限らず、公知の各種の方式が可能である。例えば、複数の画像のサムネイルを所定方向または縦横等の２次元状に並列配置して表示する画面等が可能である。
[1st display mode-1st screen]
The first display mode is a mode for displaying a list of information on all images, and is a mode for displaying a folder screen. On the first screen of the first display mode, information on a plurality of images in a folder is displayed in a list in an order using, for example, a file name, a date and time, and the like. In this example, information such as images j1, j2, and j3 are displayed side by side in order from the top as a plurality of images. In each image line, the image icon or thumbnail, file name, shooting date and time, type, and other information are displayed. In this example, the types of images j1, j2, and j3 are narrow angles. As other information, attribute values such as the shooting direction {azimuth θ, elevation angle φ} and the angle of view {horizontal angle of view Ah, vertical angle of view Av} may be displayed. The user can scroll and display the information that cannot be displayed on the first screen. The first screen is not limited to such a folder screen, and various known methods can be used. For example, it is possible to display a screen in which thumbnails of a plurality of images are arranged in parallel in a predetermined direction or vertically and horizontally in a two-dimensional manner.
第１画面で、ユーザにより所望の第１画像、例えば画像ｊ１が選択操作される。画像ｊ１は図６の画像Ｇ１や、図７の画像６ａに相当するとする。撮像装置１は、選択された第１画像に関連付けられる第２画像が存在する場合、第２表示モードの第２画面へ遷移させる。画像ｊ１には、例えば画像ｊ２，ｊ３等が関連付けられるとする。画像ｊ２，ｊ３等は、図６の画像ｇ１１，ｇ１２や、図７の画像６ｂ，６ｃに相当するとする。画像ｊ１～ｊ３の関係は、図６の第１グループに相当するとする。
On the first screen, the user selects and operates a desired first image, for example, image j1. It is assumed that the image j1 corresponds to the image G1 of FIG. 6 and the
［第２表示モード－第２画面（１）－サムネイル、第１グループ］
第２表示モードは、複数の画像における関連付け表示を行う特有のモードである。表示制御部１２は、画像ファイル２４及び管理情報２１に基づいて、第２画面を表示する。第２表示モードの第２画面では、まず全体的に所定の背景領域５０が設けられている。背景領域５０は、黒色領域等であり、ユーザ設定可能である。背景領域５０は、表示画面４０１の縦横のサイズ以上のサイズを持ち、複数の画像の画角範囲を包含する十分な大きさを持つ。
[Second display mode-Second screen (1) -Thumbnails, first group]
The second display mode is a unique mode for performing association display in a plurality of images. The
表示制御部１２は、表示画面４０１内の背景領域５０上に、関係を持つ複数の画像を関連付けた状態で表示する。表示画面４０１及び背景領域５０の中心点を点ｐ０とする。背景領域５０上の点ｐ０には、選択された第１画像である画像ｊ１を表す図形６１が表示される。図形６１の中心点ｐ１が点ｐ０に配置される。実施の形態１では、第１画像の図形６１はサムネイルである。背景領域５０上、画像ｊ１の図形６１の周りには、関係を持つ第２画像を表す図形として、画像ｊ２を表す図形６２、画像ｊ３を表す図形６３が表示されている。図形６２の中心点ｐ２、図形６３の中心点ｐ３を示す。第２画像の図形６２や図形６３は、例えばサムネイルである。第２画像の図形６２等の表示位置は、第１画像の図形６１の表示位置に対し、撮影方向及び画角の関係に応じて決められている。また、各サムネイルの表示サイズは、画角に対応したサイズに決定されている。
The
第２画面では、ユーザ操作に従い、スクロールや拡大縮小等の動作によって表示状態を変更できる。例えば、第２画面内のスワイプ等の操作により、背景領域５０に対応した範囲でのスクロールや拡大縮小ができる。表示状態の変更の際には、複数の画像の位置関係等が維持される。
On the second screen, the display state can be changed by operations such as scrolling and enlargement / reduction according to the user operation. For example, by swiping or the like in the second screen, scrolling or enlargement / reduction can be performed in a range corresponding to the
第２画面でユーザにより所望の第１画像または第２画像の図形が選択操作される。選択操作は、例えば図形のタップ等である。その場合、撮像装置１は、選択された画像を表示する第３表示モードの第３画面へ遷移させる。本例では第２画像である画像ｊ２の図形６２が選択された場合を示す。また、第２画面で、第１表示モードへ戻るための所定の操作が行われた場合、撮像装置１は、第１表示モードの第１画面へ戻す。所定の操作は、例えば、第１表示モード指定入力、戻るボタン押下、背景領域５０のタップ等である。
On the second screen, the user selects and operates a desired first image or second image figure. The selection operation is, for example, tapping a figure. In that case, the
このように、第２画面では、関係を持つ複数の画像が、サムネイルの状態で、相互の位置関係、撮影方向や画角等を含む関係が一目瞭然なように表示される。ユーザは、複数の画像の関係を直感的に把握でき、第１画像から第２画像を容易に参照できる。なお、説明上図示している中心点や中心線等については非表示とするが、それらを閲覧補助情報として画面内に表示してもよい。 As described above, on the second screen, a plurality of related images are displayed in the state of thumbnails so that the mutual positional relationship, the relationship including the shooting direction, the angle of view, and the like can be clearly understood. The user can intuitively grasp the relationship between the plurality of images and can easily refer to the first image to the second image. Although the center point, center line, and the like shown in the above illustration are hidden, they may be displayed on the screen as browsing assistance information.
［第３表示モード－第３画面］
第３表示モードは、指定された単一の画像である狭角画像または広角画像に関する詳細表示を行うモードである。本例では、第３画面で狭角画像である画像ｊ２を全体に拡大表示する例を示している。単一の広角画像の表示も同様に可能である。最初、表示画面４０１の中心の点ｐ０に、対象画像である画像ｊ２の撮影方向（θ，φ）に対応する中心点ｐ２が配置された状態で表示される。表示制御部１２は、表示画面４０１内に画像の全体が表示できない場合には、画像の一部、即ち画角の一部の状態で表示してもよいし、縮小して全体が収まる状態として表示してもよい。第３画面で、ユーザ操作に従い、スクロールや拡大縮小等により表示状態を変更できる。広角画像の表示の場合、広角画像の全体が表示しきれない場合には、最初に広角画像の撮影方向を点ｐ０に合わせて広角画像の一部が表示され、その後、スクロール等に応じて表示状態が変更される。同様に、第２画面で第１画像である画像ｊ１の図形６１が選択された場合、撮像装置１は、第３画面で画像ｊ１のみを詳細表示する。
[Third display mode-3rd screen]
The third display mode is a mode for displaying details of a narrow-angle image or a wide-angle image which is a designated single image. In this example, an example is shown in which the image j2, which is a narrow-angle image, is enlarged and displayed as a whole on the third screen. It is possible to display a single wide-angle image as well. First, it is displayed in a state where the center point p2 corresponding to the shooting direction (θ, φ) of the image j2 which is the target image is arranged at the center point p0 of the
第３画面で、所定の操作、例えば第２表示モード指定入力、戻るボタン押下、画像領域のタップ等がされた場合、撮像装置１は、第２表示モードの第２画面に戻す。なお、第２表示モードから第３表示モードへの遷移に限らず可能である。第１表示モードから所定の操作により第２表示モードを経由せずに直接的に第３表示モードに遷移させる動作モードも可能であり、ユーザ設定等に応じて動作モードを選択可能である。
When a predetermined operation, for example, a second display mode designation input, a return button press, a tap of an image area, or the like is performed on the third screen, the
［第２表示モード－第２画面（２）－マーク］
図１１は、変形例として、第２表示モードの第２画面の別の表示例を示す。この第２画面では、第１画像の図形６１は同じくサムネイルとし、第２画像を表す図形として、所定のマークとしている。マークは、特に吹き出し形状の場合を示す。マークは、ユーザ設定に基づいて可変である。例えば、中心点ｐ２には画像ｊ２を表すマーク７２、中心点ｐ３には画像ｊ３を表すマーク７３が表示されている。ユーザがマークを選択操作すると、そのマークに対応する画像が、第３表示モードの第３画面で表示される。あるいは、マークの選択操作に応じて、その位置にサムネイル等を表示するようにしてもよい。各マークの表示位置は、画像の撮影方向（方位角θ，仰角φ）に応じて決定されている。このようにマークを表示する形態では、画面表示内容がシンプルになる。
[Second display mode-Second screen (2) -Mark]
FIG. 11 shows another display example of the second screen of the second display mode as a modification. In this second screen, the figure 61 of the first image is also a thumbnail, and a predetermined mark is used as a figure representing the second image. The mark indicates the case of a balloon shape in particular. The mark is variable based on user settings. For example, a
［第２表示モード－第２画面（３）－透過枠］
図１２は、変形例として、第２表示モードの第２画面の別の表示例を示す。この第２画面では、第１画像の図形６１は同じくサムネイルとし、第２画像を表す図形として、透過枠としている。透過枠は、矩形の四辺が線及び色で表示され、その内部は透過領域となっており、背景領域５０の部分がそのまま表示される。例えば、中心点ｐ２には画像ｊ２を表す透過枠８２、中心点ｐ３には画像ｊ３を表す透過枠８３が表示されている。ユーザが透過枠を選択操作すると、その透過枠に対応する画像が、第３表示モードの第３画面で表示される。あるいは、透過枠の選択操作に応じて、その位置にサムネイル等を表示するようにしてもよい。透過枠の表示位置は、画像の撮影方向に応じて決定されており、透過枠の表示サイズは、画像の画角に対応させて決定されている。
[Second display mode-Second screen (3) -Transparent frame]
FIG. 12 shows another display example of the second screen of the second display mode as a modification. In this second screen, the figure 61 of the first image is also a thumbnail, and the figure representing the second image is a transparent frame. In the transparent frame, the four sides of the rectangle are displayed in lines and colors, the inside thereof is a transparent area, and the portion of the
第２画面で拡大縮小等がされる場合、表示制御部１２は、変更後の表示状態に対応させるように、サムネイルや透過枠の表示サイズを更新する。このようにサムネイルや透過枠を表示する形態では、複数の画像における画角の関係が把握しやすい。
When scaling is performed on the second screen, the
また、図１２では、第２画像の回転角に関する例を、点ｐ４にある狭角画像を表す透過枠８４で示している。この狭角画像は、回転角として、ｘ方向に対する角度αを有する。
Further, in FIG. 12, an example regarding the rotation angle of the second image is shown by the
また、表示制御部１２は、第２画面内で、第２画像の図形に対する所定の操作、例えばダブルタップ等に応じて、その第２画像が新たな第１画像として表示画面４０１の中央に来るように表示状態を切り替えてもよいし、それと共に新たな第２画像を参照して表示するようにしてもよい。
Further, in the second screen, the
［第２表示モード－第２画面（４）－第２グループ］
図１３は、第２画面の別の表示例として、他の複数の画像の場合を示す。本例では、第１画面で選択された第１画像である画像ｊ５が広角画像である。第１画像に関連付けられている第２画像として、画像ｊ６，ｊ７を有し、狭角画像である。本例の複数の画像の関係は、図６の第２グループに相当する。
[Second display mode-Second screen (4) -Second group]
FIG. 13 shows the case of a plurality of other images as another display example of the second screen. In this example, the image j5, which is the first image selected on the first screen, is a wide-angle image. As the second image associated with the first image, there are images j6 and j7, which are narrow-angle images. The relationship between the plurality of images in this example corresponds to the second group in FIG.
背景領域５０上の中心の点ｐ０に、画像ｊ５の撮影方向に対応する中心点ｐ５が配置されるようにして、画像ｊ５を表す図形６５であるサムネイルが表示されている。図形６５のサムネイルの表示サイズは、その広角画像の画角に応じて決定されている。本例では、表示画面４０１及び背景領域５０内に、図形６５のサムネイルの全体が収まる場合を示している。図形６５のサムネイルの全体が収まらない場合、広角画像の一部の画角に対応する、サムネイルの一部が表示される。スクロール等に応じて、図形６５のサムネイルの全体が表示可能である。
A thumbnail, which is a figure 65 representing the image j5, is displayed so that the center point p5 corresponding to the shooting direction of the image j5 is arranged at the center point p0 on the
図形６５上、中心点ｐ６には画像ｊ６を表す図形である透過枠８６が重なるように表示されており、中心点ｐ７には画像ｊ７を表す図形である透過枠８７が重なるように表示されている。このように、第１画像が広角、第２画像が狭角の場合にも、第２画面でそれらの複数の画像の関係を把握できる。
On the figure 65, the
［第２表示モード－第２画面（５）－第３グループ］
図１４は、第２画面の別の表示例として、他の画像の場合を示す。本例では、第１画面で選択された第１画像である画像ｊ１が狭角画像である。第１画像に関連付けられている第２画像として、画像ｊ８，ｊ９を有し、画像ｊ８は広角画像である。本例の複数の画像の関係は、図６の第３グループに相当する。
[Second display mode-Second screen (5) -Third group]
FIG. 14 shows the case of another image as another display example of the second screen. In this example, the image j1, which is the first image selected on the first screen, is a narrow-angle image. As the second image associated with the first image, the images j8 and j9 are included, and the image j8 is a wide-angle image. The relationship between the plurality of images in this example corresponds to the third group in FIG.
背景領域５０上の中心の点ｐ０に、画像ｊ１を表す図形６１であるサムネイルが表示されている。背景領域５０上、中心点ｐ８には画像ｊ８を表す図形である透過枠８８が表示されている。中心点ｐ９には画像ｊ９を表す図形である透過枠８９が表示されている。本例では、画像ｊ１のサムネイルの外側に、画像ｊ８の透過枠８８が広がっている。画像ｊ８の透過枠８８は、表示画面４０１内に収まらず、一部が背景領域５０上に表示されている場合を示す。スクロール等に応じて、透過枠８８の他の一部が表示可能である。このように、第１画像が狭角、第２画像が広角の場合にも、第２画面でそれらの複数の画像の関係を把握できる。
A thumbnail, which is a figure 61 representing the image j1, is displayed at the center point p0 on the
［第２表示モード－第２画面（６）－第４グループ］
図１５は、第２画面の別の表示例として、他の画像の場合を示す。本例では、第１画面で選択された第１画像である画像ｊ５が広角画像である。第１画像に関連付けられている第２画像として、画像ｊ８，ｊ９を有し、画像ｊ８は広角画像である。本例の複数の画像の関係は、図６の第４グループに相当する。
[Second display mode-Second screen (6) -Fourth group]
FIG. 15 shows the case of another image as another display example of the second screen. In this example, the image j5, which is the first image selected on the first screen, is a wide-angle image. As the second image associated with the first image, the images j8 and j9 are included, and the image j8 is a wide-angle image. The relationship between the plurality of images in this example corresponds to the fourth group in FIG.
背景領域５０上の中心の点ｐ０に、画像ｊ５を表す図形６５であるサムネイルが表示されている。背景領域５０上、中心点ｐ８には画像ｊ８を表す図形である透過枠８８が表示されている。本例では、画像ｊ５のサムネイルと画像ｊ８の透過枠８８とが部分的に重なっている。画像ｊ８の透過枠８８は、表示画面４０１内に収まらず、一部が背景領域５０上に表示されている場合を示す。このように、第１画像、第２画像が共に広角の場合にも、第２画面でそれらの複数の画像の関係を把握できる。
A thumbnail, which is a figure 65 representing the image j5, is displayed at the center point p0 on the
［第２表示モード－第２画面（７）－スクロール］
図１６は、第２表示モードの第２画面の別の表示例として、スクロール例を示す。この第２画面では、背景領域５０は、方位角θ及び水平画角Ａｈとして３６０°の範囲に対応したｘ方向の幅を有する。表示画面４０１内には、背景領域５０の一部の画角範囲に対応する部分が表示され、ｘ方向のスクロール等により表示状態の変更が可能である。背景領域５０上には、複数の画像が、撮影方向及び画角に応じた位置に配置されている。最初、第１画像の図形６１が点ｐ０に配置されて表示される。図１６の背景領域５０の右端はθ＝１８０°、左端は－１８０°に対応しており、左右端は表示がループするようにつながっていてもよい。表示画面４０１ｂは、ｘ方向のスクロール後の例を示す。これにより、表示画面４０１ｂでは、背景領域５０の一部に含まれている画像の図形、例えば図形１６１等が表示される。
[Second display mode-Second screen (7) -Scroll]
FIG. 16 shows a scroll example as another display example of the second screen of the second display mode. In this second screen, the
［第２表示モード－第２画面（８）－拡大縮小］
図１７は、第２表示モードの第２画面の別の表示例として、拡大縮小例を示す。図１７の上側は拡大前の状態、下側は拡大後の状態を示す。上側の第２画面において、背景領域５０上、中心の点ｐ０に、第１画像である画像ｒ１の図形１７０１としてサムネイルが表示されている。第１画像に関連付けられる第２画像として、例えば画像ｒ２，ｒ３，ｒ４がある。画像ｒ２は、画像ｒ１と撮影方向が同じである広角画像であり、点ｐ０に図形１７０２として透過枠が配置されている。画像ｒ３は、画像ｒ１と撮影方向が近い狭角画像であり、中心点ｐｒ３に図形１７０３が配置されている。第１画像のサムネイルに対して画像ｒ３が重なる部分が大きくなるので、画像ｒ３の図形１７０３を透過枠としている。中心点ｐｒ４には、画像ｒ４の図形１７０４として透過枠が配置されている。各図形の表示サイズは、画角及び拡大縮小率に基づいて決定されている。
[Second display mode-Second screen (8) -Enlargement / reduction]
FIG. 17 shows an enlargement / reduction example as another display example of the second screen of the second display mode. The upper side of FIG. 17 shows the state before enlargement, and the lower side shows the state after enlargement. On the upper second screen, a thumbnail is displayed as a figure 1701 of the image r1 which is the first image at the center point p0 on the
上記状態から、ユーザのピンチ等の操作に応じて、所望の部分が拡大表示される。拡大する部分を枠１７００で示す。下側の第２画面において、枠１７００の部分が表示画面４０１の全体に表示されている。各画像は、画角等の関係が維持されたまま拡大表示されている。画像ｒ１の図形１７０１は、拡大により、サムネイルではなく拡大画像１７０１ｂとして表示されている。拡大画像１７０１ｂは、画像ｒ１の元の画像データ２３またはサムネイルに基づいて生成され、高精細表示の場合には元の画像データ２３を用いて生成される。
From the above state, a desired portion is enlarged and displayed according to an operation such as a pinch by the user. The enlarged part is shown by the
［第２表示モード－第２画面（９）－全天球背景］
図１８は、実施の形態１の第２表示モードの第２画面の別の表示例を示す。この第２画面では、表示画面４０１内に、背景領域５０として、矩形ではなく、半天球の球面に対応する円形の領域が設けられている。第２画面の円形の背景領域５０内に、関係を持つ複数の画像が表示される。関係を持つ複数の画像の例として、画像Ｊ１～Ｊ５を有する。背景領域５０の円形の中心点を点Ｏとする。点Ｏには、最初、第１画像、例えば画像Ｊ１を表す図形６０１としてサムネイルが表示される。点Ｏは、第１画像の撮影方向（方位角θ，仰角φ）に対応する点である。背景領域５０の半天球の球面における任意の位置の点を、（方位角θ，仰角φ）で表すことができる。本例では、点Ｏが（θ＝０°，φ＝０°）の場合を示す。また、背景領域５０の円形の上端、下端、左端、右端には、閲覧補助のための方位情報を表示しているが、省略してもよい。本例では、方位情報として、球面内の視点方向に応じて変わる方位角度を表示している。上端の点は（０°，９０°）、下端の点は（０°，－９０°）、右端の点は（９０°，０°）、左端の点は（０°，－９０°）に対応する。
[Second display mode-Second screen (9) -Spherical background]
FIG. 18 shows another display example of the second screen of the second display mode of the first embodiment. In this second screen, a circular region corresponding to a spherical surface of a hemisphere is provided as a
撮像装置１は、関係を持つ複数の画像における各画像について、撮影方向及び画角等の情報に基づいて、撮影位置から視点方向に応じて背景領域５０の球面に投影した投影画像領域を、その画像を表す図形として生成する。本例では、画像Ｊ１に関連付けられる第２画像として画像Ｊ２～Ｊ５を有し、各第２画像を表す図形６０２～６０５を示す。図形６０２～６０５は、例えばサムネイルであるが、前述の透過枠やマーク等にしてもよい。
The
ユーザは、第２画面での操作に応じて、任意の視点方向から全天球の球面を見ることができる。撮像装置１は、その視点変更の操作に応じて、公知の画像処理により、背景領域５０の半天球内の複数の画像の表示状態をリアルタイムに変更する。視点変更の操作は、背景領域５０内のスワイプ等によるスクロールとしてもよいし、背景領域５０外にある上下左右のスクロールボタン操作や同様のハードウェアボタン操作等としてもよい。また、ピンチ等の操作に応じて背景領域５０の画像の拡大縮小も可能である。この第２画面で、ユーザは、背景領域５０の全天球の球面を所望の視線方向でみた状態で、複数の画像の関係を閲覧できる。
The user can see the spherical surface of the spherical surface from any viewpoint direction according to the operation on the second screen. The
表示画面４０１の左上には、現在の表示モードが第２表示モードであることや、中心の第１画像が画像Ｊ１であることを示す情報が表示されている。表示画面４０１の左下には、関連画像である第２画像の表示を切り替える項目が設けられている。この項目のオン状態では図示するように第１画像及び第２画像を表示し、オフ状態では第２画像を非表示として第１画像のみを表示する。表示画面４０１の右下には、戻るボタンや表示モード切り替えボタンが設けられている。戻るボタンにより第１画面の元の状態へ戻ることができ、表示モード切り替えボタンにより表示モードを選択して遷移することができる。この第２画面でも、単一画像の選択操作に応じて第３表示モードの第３画面で詳細表示可能であり、第３画面での所定の操作に応じて第２画面の元の状態に戻ることができる。
Information indicating that the current display mode is the second display mode and that the central first image is the image J1 is displayed on the upper left of the
画像Ｊ１～Ｊ５の撮影方向及び画角の具体例は以下である。画像Ｊ１は、（θ，φ）＝（０°，０°）、｛水平画角Ａｈ，垂直画角Ａｖ｝＝｛７４°，５３°｝である。同様に、画像Ｊ２は（０°，４０°）、｛１４°，７°｝である。画像Ｊ３は（４５°，０°）、｛５４°，３８°｝である。画像Ｊ４は（３４０°，－３０°）、｛２７°，４０°｝である。画像Ｊ５は（３１０°，２０°）、｛１７°，１１°｝である。画像Ｊ１は、図７の北向き、図８の水平向きで撮影した画像であり、３５ｍｍ換算で２４ｍｍ相当の焦点距離ｆで、横撮り（回転角＝０°）をした画像である。画像Ｊ４は、縦撮り（回転角＝９０°）をした画像である。 Specific examples of the shooting directions and angles of view of the images J1 to J5 are as follows. The image J1 has (θ, φ) = (0 °, 0 °), {horizontal angle of view Ah, vertical angle of view Av} = {74 °, 53 °}. Similarly, the image J2 is (0 °, 40 °), {14 °, 7 °}. Image J3 is (45 °, 0 °), {54 °, 38 °}. Image J4 is (340 °, −30 °), {27 °, 40 °}. Image J5 is (310 °, 20 °), {17 °, 11 °}. Image J1 is an image taken in the north direction of FIG. 7 and in the horizontal direction of FIG. 8, and is an image taken horizontally (rotation angle = 0 °) at a focal length f equivalent to 24 mm in the 35 mm equivalent. Image J4 is an image taken vertically (rotation angle = 90 °).
背景領域５０上に表示される各画像のサムネイルや透過枠の表示サイズは、その画像の画角情報に基づいて、画角に比例した大きさ等、所定の関係式に基づいて決定される。但し、焦点距離が大きくなり画角が小さくなると、サムネイルのサイズも小さくなる。そのため、サムネイル等の表示サイズには予め最小値を設定しておき、表示サイズをその最小値以上となるように決定してもよい。
The display size of the thumbnail or transparent frame of each image displayed on the
なお、背景領域５０の半球面に表示される投影画像の図形は、正確には矩形ではなく、半径方向に応じて歪みを持つ図形、即ち円周方向の円弧を持つ図形となる。本例では投影画像の図形を簡易的に矩形で図示している。投影画像の図形は、本例のように矩形の表示としてもよいし、正確に歪みを持つ図形の表示としてもよい。歪みを持つ図形の表示とする場合の処理方法は以下である。表示制御部１２は、背景領域５０の半球面に表示する図形の生成の際に、対象画像の画像データ２３またはメタデータ２２内のサムネイルをメモリ１３３に読み出す。表示制御部１２は、その画像データまたはサムネイルに基づいて、信号処理部１３２を用いて、公知の画像処理により、半球面への投影画像を生成する。表示制御部１２は、その投影画像またはその外枠線に対応した透過枠を表示する。投影画像の図形を簡易的に矩形の表示とする場合の処理方法は以下である。表示制御部１２は、上記投影画像の生成処理を省略し、背景領域５０の半球面に画像の図形を表示するための中心点の位置座標を、その画像の撮影方向（θ，φ）に基づいて算出する。表示制御部１２は、算出した中心点に、その画像のサムネイルまたは透過枠を張り付け表示する。
The figure of the projected image displayed on the hemisphere of the
図１９は、上記円形の背景領域５０を持つ第２画面の別の表示例として、視点方向を天頂方向とした場合の表示状態を示す。関係を持つ複数の画像の例として、画像Ｋ１，Ｋ２，Ｋ３を有する。例えば、画像Ｋ１は、撮影方向の方位角θが０°、画像Ｋ２はθ＝９０°、画像Ｋ３はθ＝２２５°とする。この第２画面では、最初、選択された第１画像のサムネイルが、例えば北向きのθ＝０°に対応する位置に配置されて表示される。画像Ｋ２が第１画像として選択された場合には、円形の背景領域５０の上端をθ＝９０°とするように、複数の画像の画角の関係を維持したまま、方位角θを－９０°回転させた状態で表示される。この表示状態の場合、複数の画像の方位角θの関係が認識しやすい。
FIG. 19 shows a display state when the viewpoint direction is the zenith direction as another display example of the second screen having the
なお、上述した複数の表示例の構成は、適宜組み合わせた構成としてもよいし、複数の表示例の間で遷移させる構成としてもよい。例えば、図１６の第２表示モードの第２画面のスクロールの表示例や、図１７の拡大縮小の表示例は、第２画面や第３画面のうちの任意画面において適用可能である。また、第２画面において縮小表示操作することにより、狭角の範囲の表示から次第に広角の範囲の表示の状態に遷移し、更に連続的に、図１９の第２画面の全天球背景の表示状態に遷移させるようにしてもよい。逆に、図１９の全天球背景の表示状態から、拡大表示操作に従って、次第に広角の範囲の表示状態に遷移させてもよい。 The above-mentioned configuration of the plurality of display examples may be a configuration in which they are appropriately combined, or a configuration in which a transition is made between the plurality of display examples. For example, the scroll display example of the second screen of the second display mode of FIG. 16 and the enlargement / reduction display example of FIG. 17 can be applied to any screen of the second screen and the third screen. Further, by performing the reduced display operation on the second screen, the display state of the narrow-angle range is gradually changed to the display state of the wide-angle range, and the spherical background of the second screen of FIG. 19 is continuously displayed. It may be made to transition to the state. On the contrary, the display state of the spherical background of FIG. 19 may be gradually changed to the display state of the wide-angle range according to the enlarged display operation.
また、図１６の第２画面では、画面内に表示していない画像をスクロールにより画面内に表示できるが、これに代えて以下としてもよい。撮影方向計測部１１１等を表示モード中でも動作させて、撮像装置１または表示装置２の向きを検知する。これにより、その装置の向きに応じて、その装置の向きと画像の撮影方向とが一致する表示状態となるように、その画像を表示させる。言い換えると、その装置の向きに合わせるように自動的にスクロールを行わせる。
Further, on the second screen of FIG. 16, an image that is not displayed on the screen can be displayed on the screen by scrolling, but the following may be used instead. The shooting direction measuring unit 111 or the like is operated even in the display mode to detect the orientation of the
［第４表示モード－第４画面］
図２０は、変形例として、第４表示モードの第４画面を示す。第４表示モードは第１表示モードの変形例である。例えば、図１８等の第２画面で、表示モード切り替えボタン等の所定の操作により第４表示モードが指定された場合、第４画面が表示される。この第４画面は、関係を持つ複数の画像、例えば画像Ｊ１～Ｊ５のサムネイルを、縦横の配列で一覧表示する。例えば、左上には画像Ｊ１のサムネイル、その右隣には画像Ｊ２のサムネイルが表示されている。前述の第１画面では、画像間の関係に係わらず、全画像の情報を一覧表示しているが、第４画面では、同じグループの関係を持つ複数の画像のみを一覧表示している。第４画面からユーザ操作に応じて第１画面、第２画面、第３画面等に遷移可能である。
[4th display mode-4th screen]
FIG. 20 shows a fourth screen of the fourth display mode as a modification. The fourth display mode is a modification of the first display mode. For example, when the fourth display mode is specified by a predetermined operation such as the display mode switching button on the second screen as shown in FIG. 18, the fourth screen is displayed. This fourth screen displays a list of a plurality of related images, for example, thumbnails of images J1 to J5 in a vertical and horizontal arrangement. For example, the thumbnail of the image J1 is displayed on the upper left, and the thumbnail of the image J2 is displayed on the right side of the thumbnail. On the first screen described above, information on all images is displayed in a list regardless of the relationship between the images, but on the fourth screen, only a plurality of images having the same group relationship are displayed in a list. It is possible to transition from the fourth screen to the first screen, the second screen, the third screen, etc. according to the user operation.
また、第１画面や第４画面で、広角画像と狭角画像が混在している場合、広角画像のサムネイルと狭角画像のサムネイルを縦横に配置して表示してもよい。その際、サムネイルの表示サイズについては、画像の画角の大きさに応じて決定される異なる表示サイズとしてもよい。例えば、広角画像の水平画角が１８０°以上と大きいパノラマ画像である場合、その広角画像のサムネイルが１行に表示され、その下の行に、複数の狭角画像のサムネイルが並列に表示されてもよい。並列配置の画像数は、一方向において２枚、３枚、４枚等、可変である。 Further, when the wide-angle image and the narrow-angle image are mixed on the first screen and the fourth screen, the thumbnail of the wide-angle image and the thumbnail of the narrow-angle image may be arranged vertically and horizontally and displayed. At that time, the display size of the thumbnail may be a different display size determined according to the size of the angle of view of the image. For example, when the horizontal angle of view of a wide-angle image is as large as 180 ° or more, the thumbnail of the wide-angle image is displayed in one line, and the thumbnails of a plurality of narrow-angle images are displayed in parallel in the line below it. You may. The number of images arranged in parallel is variable, such as two, three, four, etc. in one direction.
［地図表示モード］
図２１は、変形例として、表示モードの１つとして地図表示モードを設ける場合の表示画面を示す。撮像装置１は、通信網４を通じて外部から地図情報を取得するか、あるいは予め内部に保持している地図情報を用いる。撮像装置１は、地図表示モードに対応する画面として、表示画面４０１内の背景領域５０に地図情報を表示する。撮像装置１は、対象画像である第１画像及び第２画像のメタデータ２２の位置情報に基づいて、背景領域５０の地図上に、各対象画像を表す図形を表示する。例えば、中心の点ｐ０には、その位置が撮影地点である第１画像である画像ｍ１を表す図形６１１としてサムネイルが表示されている。この図形６１１は透過枠やマークとしてもよい。また、点ｐ０の近くにある各点では、その位置で撮影された第２画像を表す図形が例えばマークで表示されている。例えば、点ｐｍ２には第２画像である画像ｍ２を表すマーク６１２が表示されている。これらの複数の画像は、所定の距離範囲内にある関連付けられた画像である。この画面で、ユーザの所定の操作に応じて、他の表示モードの画面に切り替え可能である。また、この画面で、所望の位置の図形が選択操作された場合、第３表示モードの第３画面で詳細表示するようにしてもよいし、その位置にサムネイルを表示するようにしてもよい。
[Map display mode]
FIG. 21 shows a display screen when a map display mode is provided as one of the display modes as a modification. The
［関連付け方式］
関連付け方式として、関連付けを行うタイミング等に関して、第１方式、第２方式を有する。第１方式は、撮像時に関連付けを行う方式であり、第２方式は、再生表示時に関連付けを行う方式である。実施の形態１では、撮像装置１は、第１方式を用い、表示装置２は、第２方式を用いる。
[Association method]
As the association method, there are a first method and a second method regarding the timing of associating. The first method is a method of associating at the time of imaging, and the second method is a method of associating at the time of reproduction display. In the first embodiment, the
第１方式では、撮像装置１は、画像を撮像した直後に、関連付け部１５を用いて関連付け処理を行い、その結果、関連付け情報を、メタデータ２２または管理情報２１に記述する。撮像装置１は、その画像を再生表示する際には、メタデータ２２または管理情報２１の関連付け情報の参照から、複数の画像の関係を把握でき、表示画面に第２表示モードで表示する。
In the first method, the
第２方式では、表示装置２は、画像ファイル２４に基づいて表示画面に再生表示する際に、関連付け部１５を用いて関連付け処理を行い、その結果、表示画面に第２表示モードで表示する。第２方式で、表示装置２は、再生表示の都度に関連付け処理を行うことにより、メタデータ２２や管理情報２１への関連付け情報の記述を省略してもよい。あるいは、第２方式で、表示装置２は、ある画像の再生表示の初回に関連付け処理を行って、メタデータ２２や管理情報２１に関連付け情報を記述し、その後、その画像の２回目以降の再生表示の際には、関連付け情報を参照して関連付け処理を省略するようにしてもよい。
In the second method, when the
他の実施の形態の撮像装置１では、第２方式を採用してもよい。いずれの関連付け方式を採用するかについては、実装上固定である形態としてもよいし、ユーザ設定に応じて関連付け方式を選択及び設定可能である形態としてもよい。
In the
［処理フロー（１）］
図２２及び図２３は、実施の形態１の撮像装置１及び表示装置２の処理フローを示す。図２２は、撮像装置１における画像の撮像時の制御処理のフローを示す。図２２はステップS101～S106を有する。画像の撮像毎に同様の処理の繰り返しである。以下、ステップの順に説明する。
[Processing flow (1)]
22 and 23 show the processing flow of the
（S101） 制御部１０１は、ユーザ操作に基づいて、設定部１４に対し画角等を設定する。撮像制御部１１は、設定部１４の設定情報に基づいて、画角等を把握する。
(S101) The
（S102） ユーザ操作に基づいて、撮像制御部１１は、撮像部１０３を制御して画像を撮像し、画像データ２３を得て記憶部１０２に格納する。撮像制御部１１は、画角または画角関連情報を、画像ファイル２４のメタデータ２２、または管理情報２１に記述する。
(S102) Based on the user operation, the image
（S103） 撮像時に関連付けを行う第１方式か再生表示時に関連付けを行う第２方式かで分岐を行う。第１方式の場合にはS104へ、第２方式の場合にはS106へ進む。即ち、実施の形態１の撮像装置１では第１方式を採用するためS104へ進み、他の実施の形態の撮像装置１で第２方式を採用する場合にはS106へ進む。
(S103) Branching is performed depending on whether the first method is associated at the time of imaging or the second method is associated at the time of playback display. In the case of the first method, the process proceeds to S104, and in the case of the second method, the process proceeds to S106. That is, the
（S104） 関連付け部１５は、所定の関連付け処理を行う。これにより、第１画像及び第２画像を含む複数の画像を関連付ける。
(S104) The
（S105） 関連付け部１５は、関連付け処理の結果、関連付け情報を作成し、画像ファイル２４のメタデータ２２、または管理情報２１に記述する。撮像制御部１１は、画像ファイル２４を記憶部１０２に格納し、記録部１０６の記録媒体１０７に記録させる。
(S105) The
（S106） 撮像制御部１１は、この時点では関連付けを行わないので、関連付け情報を含まないメタデータ２２や管理情報２１を作成する。制御部１０１は、画像ファイル２４を記憶部１０２に格納し、記録部１０６の記録媒体１０７に記録させる。
(S106) Since the image
［処理フロー（２）］
図２３は、撮像装置１または表示装置２における、画像の再生表示時の制御処理のフローを示す。図２３の制御は、図１０のように表示モードを遷移させる制御に対応する。図２３はステップS201～S209を有する。以下、ステップの順に説明する。以下、撮像装置１が主体である場合で説明するが、表示装置２が主体である場合も同様である。
[Processing flow (2)]
FIG. 23 shows a flow of control processing at the time of reproducing and displaying an image in the
（S201） 制御部１０１は、ユーザ操作に基づいて、表示制御部１２により、表示装置１０４の表示部４１の表示画面４０１に、図１０のように第１表示モードの第１画面を表示する。表示制御部１２は、ユーザ入力操作に応じて、第１画面内の画像の選択等を受け付ける。選択された画像を、基準側である第１画像とする。
(S201) The
（S202） 表示制御部１２は、第１方式か第２方式かによって分岐を行う。第２方式の場合にはS203へ、第１方式の場合にはS205へ進む。即ち、実施の形態１の撮像装置１の場合には第１方式であるためS205へ進み、表示装置２の場合には第２方式であるためS203へ進む。
(S202) The
（S203） 表示制御部１２は、再生表示の直前に、関連付け部１５を用いて、複数の画像の関連付け処理を行う。
(S203) Immediately before the reproduction display, the
（S204） 表示制御部１２は、S203の結果、第１画像に関連付けられる第２画像がある場合、その第２画像の画像データ２３を読み出す。
(S204) If there is a second image associated with the first image as a result of S203, the
（S205） 第１方式の場合、既に関連付け処理が行われている。表示制御部１２は、第１画像の画像ファイル２４のメタデータ２２または管理情報２１における、関連付け情報を参照して、関連付けを確認する。表示制御部１２は、第１画像に関連付けられている第２画像の画像データ２３を読み出す。
(S205) In the case of the first method, the association process has already been performed. The
（S206） 表示制御部１２は、S204またはS205の結果の画像データ２３を用いて、表示画面に第２表示モードで第１画像及び第２画像を含む複数の画像を表示する。即ち、表示制御部１２は、図１０の第２画面の例のように、背景領域５０上の中心位置に第１画像の図形を表示し、その周りに第２画像の図形を表示する。表示制御部１２は、ユーザ入力操作に応じて、第２画面内の第１画像や第２画像の図形の選択等を受け付ける。例えば、第１画像のみの閲覧の場合あるいは第２画像のみの閲覧の場合には、対応する図形の選択操作がされる。第１画面に戻る場合には、所定の操作がされる。
(S206) The
（S207） 表示制御部１２は、第２表示モードの第２画面で第１画像または第２画像の図形が選択されたか、あるいは戻る等の操作がされたかによって、分岐を行う。第１画像または第２画像が選択された場合にはS208へ進む。他の操作、例えば戻るボタン押下、第１表示モード指定、背景領域５０のタップ等の操作である場合にはS201へ戻る。
(S207) The
（S208） 表示制御部１２は、S207で選択された図形に対応する画像の画像データ２３を用いて、第３表示モードで第３画面にその画像を詳細表示する。表示制御部１２は、第３画面でのユーザ入力操作を受け付ける。例えば、第２画面に戻る場合には、戻るボタン押下、第２表示モード指定、画像領域のタップ等がされる。
(S208) The
（S209） 表示制御部１２は、第３表示モードの第３画面で、戻る等の操作が有る場合には、Ａ１で示すようにS206へ戻り、無い場合には、S208で第３表示モードの表示を継続する。なお、第３表示モードから、所定の操作に応じて、第１表示モードの第１画面へ戻るようにしてもよい。
(S209) The
［関連付け処理（１）］
関連付け部１５は、複数の画像の関連付け処理を行う。関連付け処理は、第１処理、第２処理を含む。第１処理は、所定の選択方式の選択条件に基づいて、関連付けの候補となる画像を選択する処理である。所定の選択方式として、以下に示す第１選択方式、第２選択方式、第３選択方式等がある。実施の形態１では、第１方式を用いる。変形例では、第２選択方式または第３選択方式を用いる。なお、どの選択方式を採用するかについては、実装上固定の形態でもよいし、ユーザ設定により可変に選択できる形態としてもよい。
[Association process (1)]
The
［第１選択方式－撮影場所］
図２４は、第１選択方式について示す説明図である。第１選択方式は、選択条件として、撮影場所に関する条件を用いる。第１選択方式では、撮影場所が概略的に同じであると判断される画像を候補として選択する。第１選択方式では、撮影場所の判断のために、位置検出部１１３による位置情報｛緯度，経度，標高｝を用いる。関連付け部１５は、関連付けの際、例えば撮像時にメタデータ２２の撮影場所項目に記述されている位置情報｛緯度，経度｝を参照する。｛緯度，経度｝を｛ＬＡ，ＬＯ｝で表す。
[First selection method-shooting location]
FIG. 24 is an explanatory diagram showing the first selection method. In the first selection method, a condition related to a shooting location is used as a selection condition. In the first selection method, images that are determined to have substantially the same shooting location are selected as candidates. In the first selection method, the position information {latitude, longitude, altitude} by the position detection unit 113 is used to determine the shooting location. At the time of association, the
図２４のように、関連付け部１５は、第１画像を基準として、空間、例えばＸ－Ｙ平面において、第１画像の撮影場所を表す位置２４１を中心点としてとる。第１画像を画像ｋ１、第２画像である各画像を画像ｋ２～ｋ４とする。位置２４１は｛ＬＡ１，ＬＯ１｝で表される。位置範囲２４０は、条件の閾値に相当し、位置２４１を中心点とした、所定の半径距離による円領域を示す。なお、位置範囲２４０を規定する半径距離は、設計上の固定の設定値でもよいし、ユーザ設定で可変できる設定値としてもよい。位置範囲２４０は、円に限らず可能である。
As shown in FIG. 24, the
関連付け部１５は、第１画像の位置２４１に対し、第２画像である各画像の位置を比較する。本例では、第１画像の周りに、画像ｋ２の位置２４２｛ＬＡ２，ＬＯ２｝、画像ｋ３の位置２４３｛ＬＡ３，ＬＯ３｝、画像ｋ４の位置２４４｛ＬＡ４，ＬＯ４｝がある場合を示す。関連付け部１５は、第１画像の位置２４１に対し、位置範囲２４０内に含まれる画像を探す。本例では、位置範囲２４０内に、画像ｋ２の位置２４２、及び画像ｋ３の位置２４３が含まれ、画像ｋ４の位置２４４は含まれていない。関連付け部１５は、位置範囲２４０内に位置が含まれている第２画像を、第１画像と概略的に同じ撮影場所で撮像された画像であると判断し、関連付けの候補として選択する。同じ撮影場所の例としては、ユーザが、ある展望台において、手すりに沿って円周を周回しながら３６０°の各方向を撮影した場合が挙げられる。
The
同じ撮影場所の判断のための手段としては、ＧＰＳ位置情報を用いる方式に限らず、ＢｌｕｅＴｏｏｔｈ（登録商標）等の近距離通信インタフェースの位置情報を用いる方式や、屋内測位システム等の位置情報を用いる方式等も適用可能である。例えば、施設等に、近距離通信インタフェースに対応する機器が設置されており、撮像装置１は、その機器との通信により位置情報を取得する。これにより、高精度の位置把握が可能である。
As a means for determining the same shooting location, not only a method using GPS position information but also a method using position information of a short-range communication interface such as Bluetooth (registered trademark) and position information such as an indoor positioning system are used. The method etc. can also be applied. For example, a device corresponding to a short-range communication interface is installed in a facility or the like, and the
［第２選択方式－撮影日時］
図２５は、第２選択方式について示す説明図である。第２選択方式は、選択条件として、撮影日時に関する条件を用いる。第２選択方式では、撮影日時が概略的に同じであると判断される画像を候補として選択する。関連付け部１５は、関連付けの際、例えばメタデータ２２の撮影日時項目に記述されている撮影日時（年月日時分秒）を参照する。
[Second selection method-shooting date and time]
FIG. 25 is an explanatory diagram showing the second selection method. In the second selection method, a condition related to the shooting date and time is used as the selection condition. In the second selection method, images that are determined to have substantially the same shooting date and time are selected as candidates. At the time of association, the
関連付け部１５は、撮影日時の時系列において、第１画像を基準として、第１画像の撮影日時を表す時点ｔ１をとる。本例では、時点ｔ１は、日時ＤＴ３であるとする。日時範囲２５０は、条件の閾値に相当し、時点ｔ１を中心点としてその前後を含む、所定の時間による範囲を示す。なお、日時範囲２５０を規定する時間は、設計上の固定の設定値でもよいし、ユーザ設定で可変できる設定値でもよい。日時範囲２５０は、例えば１日（２４時間）、１時間、５分等、設定可能である。
The
関連付け部１５は、第１画像の撮影日時の時点ｔ１に対し、所定の日時範囲２５０内に含まれる第２画像を検索する。関連付け部１５は、第１画像の撮影日時の時点ｔ１に対し、第２画像である各画像の撮影日時を比較する。本例では、時点ｔ１の付近に、画像ｋ２の撮影日時の時点ｔ２、画像ｋ３の時点ｔ３、画像ｋ４の時点ｔ４がある場合を示す。本例では、日時範囲２５０内に、画像ｋ２の時点ｔ２、及び画像ｋ３の時点ｔ３が含まれ、画像ｋ４の時点ｔ４は含まれていない。制御部１０１は、日時範囲２５０内に時点が含まれている第２画像を、第１画像と概略的に同じ撮影日時に撮像された画像であると判断し、関連付けの候補として選択する。
The
［第３選択方式－設定文字列］
図２６は、第３選択方式について示す説明図である。第３選択方式は、選択条件として、ユーザにより任意に設定可能である設定文字列に関する条件を用いる。第３選択方式では、設定文字列が概略的に同じであると判断される画像を候補として選択する。関連付け部１５は、関連付けの際、例えば撮像後に関連付け管理情報の設定文字列として設定されている文字列を参照する。
[Third selection method-setting character string]
FIG. 26 is an explanatory diagram showing the third selection method. The third selection method uses as a selection condition a condition related to a setting character string that can be arbitrarily set by the user. In the third selection method, images that are determined to have substantially the same set character strings are selected as candidates. At the time of association, the
図２６では、第１表示モードの第１画面での複数の画像の情報の一覧表示の例を示す。この例では、各画像について、情報として、ファイル名、撮影日時、タグ、種別等を表示している。「タグ」項目は、設定文字列に相当する。ユーザは、編集作業で「タグ」項目に任意に文字列を設定することができる。本例では、ユーザは、「タグ」項目に撮影場所を表す文字列を設定している。例えば、画像ｋ１，ｋ２，ｋ３は、同じ公園で撮影された画像であり、文字列「Ａ公園」が設定されている。画像ｋ４，ｋ５は、同じ展望台で撮影された画像であり、文字列「Ｂ展望台」が設定されている。なお、「種別」項目は、その画像の画角の種別として「広角」または「狭角」を表示している。 FIG. 26 shows an example of displaying a list of information of a plurality of images on the first screen of the first display mode. In this example, the file name, shooting date / time, tag, type, etc. are displayed as information for each image. The "tag" item corresponds to the setting character string. The user can arbitrarily set a character string in the "tag" item in the editing work. In this example, the user sets a character string representing a shooting location in the "tag" item. For example, the images k1, k2, and k3 are images taken in the same park, and the character string "A park" is set. The images k4 and k5 are images taken at the same observatory, and the character string "B observatory" is set. The "type" item displays "wide angle" or "narrow angle" as the type of the angle of view of the image.
関連付け部１５は、ユーザにより選択された第１画像、例えば画像ｋ１を基準として、その第１画像の「タグ」項目の設定文字列を参照する。関連付け部１５は、第１画像の設定文字列に対し、他の第２画像であるそれぞれの画像の設定文字列を参照して比較し、例えば同じ文字列を含んでいる設定文字列を持つ画像を探す。例えば、画像ｋ１，ｋ２，ｋ３の設定文字列が同じである。関連付け部１５は、それらの画像を、同じ撮影場所で撮像された画像であると判断し、関連付けの候補として選択する。
The
変形例として、制御部１０１は、撮像時等に、ユーザ操作に依らずに、自動的に、撮影場所を表す文字列を設定してもよい。例えば、制御部１０１は、位置情報｛緯度，経度｝に基づいて、撮影場所を表す文字列を決定してもよい。制御部１０１は、画像の「ファイル名」項目等に文字列を設定してもよい。
As a modification, the
上記選択方式は、組み合わせでも適用可能である。例えば、第１選択方式の撮影場所の条件と、第２選択方式の撮影日時の条件とを組み合わせた条件としてもよい。その条件として例えば「同じ撮影場所で過去１年前まで」等と指定可能である。 The above selection method can also be applied in combination. For example, the condition may be a combination of the condition of the shooting location of the first selection method and the condition of the shooting date and time of the second selection method. As the condition, for example, "up to the past year at the same shooting location" can be specified.
［第４選択方式－被写体の種類］
他の選択方式として以下の第４選択方式も可能である。撮像装置１は、画像認識処理により、被写体の種類を判断する。被写体の種類は、風景、建物、人物、動物等が挙げられる。判断できる被写体の種類は、画像認識処理の精度等に応じる。撮像装置１は、判断した被写体の種類に応じて、同じ被写体の種類を持つ複数の画像を、関係を持つグループであると推定して、候補として選択する。
[4th selection method-subject type]
As another selection method, the following fourth selection method is also possible. The
また、撮像装置１は、判断した被写体の種類を、複数の画像の関係の判断のための基準として用いてもよい。撮像装置１は、被写体の種類に応じて、例えば第１選択方式の閾値である位置範囲等を調整する。例えば、被写体の種類が風景である場合、焦点距離が大きく、撮影地点の位置の違いが大きくても、画像変化の影響が小さい。よって、この場合、位置範囲を相対的に大きく設定する。これにより、その大きな位置範囲内に含まれる画像群が関連付けられる。被写体の種類が人物である場合、焦点距離が小さく、撮影地点の位置の違いが大きいと、画像変化への影響が大きい。よって、この場合、位置範囲を相対的に小さく設定する。
Further, the
同様に、撮像装置１は、被写体との距離の判断や、撮影モードの違いに応じて、位置範囲等の閾値を調整してもよい。例えば、撮影モードが、風景撮影に適したマクロモード等に設定されている場合には、閾値である位置範囲を相対的に大きくする。
Similarly, the
［関連付け処理（２）］
関連付け部１５の関連付け処理における第２処理については以下である。第２処理では、第１処理で候補として選択された画像について、撮影方向及び画角の情報を用いて、関連付けの判断を行い、その判断結果に従って関連付けを行う。関連付け部１５は、各画像ファイル２４のメタデータ２２、または管理情報２１における、撮影方向及び画角の情報を参照する。関連付け部１５は、第１条件として、基準となる第１画像の画角｛水平画角Ａｈ，垂直画角Ａｖ｝の範囲内に、候補の画像の撮影方向（方位角θ，仰角φ）が含まれているか否かを判断する。関連付け部１５は、この第１条件を満たす画像を、関連付ける画像として決定する。また、関連付け部１５は、第２条件として、基準となる第１画像の画角｛水平画角Ａｈ，垂直画角Ａｖ｝の範囲外に延長された、所定の画角範囲内に、候補の画像の撮影方向（方位角θ，仰角φ）が含まれているか否かを判断してもよい。関連付け部１５は、この第２条件を満たす画像を、関連付ける画像として決定する。関連付けの第２処理では、第１条件または第２条件を適用する。
[Association process (2)]
The second process in the association process of the
第１条件を満たす例は以下である。第１画像の例として図７の広角画像である画像６ｄとする。画像６ｄの水平画角Ａｈｄは１２０°であり、その水平画角Ａｈｄの撮影範囲７０４は、右端位置が７０°、左端位置が－５０°である。その撮影範囲７０４内には、画像６ｂの撮影方向７ｂの方位角θｂ＝４５°、及び画像６ｃの撮影方向７ｃの方位角θｃ＝－２０°が含まれている。また、図示しないが、画像６ｄの垂直画角Ａｖｄの範囲内に、画像６ｂの撮影方向７ｂの仰角φｂ、及び画像６ｃの撮影方向７ｃの仰角φｃが含まれている。これにより、第１条件を満たし、画像６ｄには画像６ｂ及び画像６ｃが関連付けられる。
An example of satisfying the first condition is as follows. As an example of the first image, the
図２７は、複数の画像の関係の判断の際の第１条件、第２条件等についての説明図を示す。表示画面４０１内の全体の背景領域５０において、方位角θに対応した画面内水平方向をｘ方向、仰角φに対応する画面内垂直方向をｙ方向とする。表示画面４０１のｘ方向の横幅をＷ、ｙ方向の縦幅をＨとする。表示画面４０１の中心の点ｐ０を位置座標（ｘ０，ｙ０）で表す。表示画面４０１の全体には同じ大きさ以上の背景領域５０が設定されているとする。
FIG. 27 shows an explanatory diagram of a first condition, a second condition, and the like when determining the relationship between a plurality of images. In the
基準である第１画像として、第１狭角画像である画像ｑ１を例にする。画像ｑ１の撮影方向（θ，φ）に対応する点を中心点ｐ１とする。本例では中心点ｐ１の（θ，φ）を（０°，０°）とする。画像ｑ１を表す図形２７１は、中心点ｐ１が点ｐ０に合わせて配置されている。図形２７１は、ここでは矩形とし、実線枠で示す。画像ｑ１の水平画角Ａｈ１を２１°、垂直画角Ａｖ１を１４°とする。画像ｑ１の図形２７１は、その水平画角Ａｈ１に対応させた水平サイズＳｈ１、及び垂直画角Ａｖ１に対応させた垂直サイズＳｖ１を有する。図形２７１のｘ方向右端を位置ｘ１１、左端を位置ｘ１２で示し、それぞれ方位角θでは１０．５°，－１０．５°である。図形２７１のｙ方向上端を位置ｙ１１、下端を位置ｙ１２で示し、それぞれ仰角φでは７°，－７°である。 As the reference first image, the image q1 which is the first narrow angle image is taken as an example. The point corresponding to the shooting direction (θ, φ) of the image q1 is defined as the center point p1. In this example, (θ, φ) at the center point p1 is (0 °, 0 °). In the figure 271 representing the image q1, the center point p1 is arranged so as to coincide with the point p0. The figure 271 is a rectangle here, and is shown by a solid line frame. The horizontal angle of view Ah1 of the image q1 is 21 °, and the vertical angle of view Av1 is 14 °. The figure 271 of the image q1 has a horizontal size Sh1 corresponding to the horizontal angle of view Ah1 and a vertical size Sv1 corresponding to the vertical angle of view Av1. The right end of the figure 271 in the x direction is shown at the position x11, and the left end is shown at the position x12, which are 10.5 ° and -10.5 ° at the azimuth angle θ, respectively. The upper end of the figure 271 in the y direction is indicated by the position y11 and the lower end is indicated by the position y12, and the elevation angles φ are 7 ° and −7 °, respectively.
第２画像として、第２狭角画像である画像ｑ２を例にする。画像ｑ２の撮影方向（θ，φ）に対応する点を中心点ｐ２とする。本例では中心点ｐ２の（θ，φ）を（１６°，－６°）とする。画像ｑ２を表す図形２７２は、中心点ｐ２に配置され、同じく実線枠で示す。画像ｑ２の水平画角Ａｈ２及び垂直画角Ａｖ２は、画像ｑ１と同じく２１°，１４°とする。画像ｑ２の図形２７２は、その水平画角Ａｈ２に対応させた水平サイズＳｈ２、及び垂直画角Ａｖ２に対応させた垂直サイズＳｖ２を有する。図形２７２のｘ方向右端を位置ｘ２１、左端を位置ｘ２２で示し、それぞれ方位角θでは２６．５°，５．５°である。図形２７２のｙ方向上端を位置ｙ２１、下端を位置ｙ２２で示し、それぞれ仰角φでは１°，－１３°である。 As the second image, an image q2, which is a second narrow-angle image, is taken as an example. The point corresponding to the shooting direction (θ, φ) of the image q2 is defined as the center point p2. In this example, (θ, φ) at the center point p2 is (16 °, -6 °). The figure 272 representing the image q2 is arranged at the center point p2 and is also shown by a solid line frame. The horizontal angle of view Ah2 and the vertical angle of view Av2 of the image q2 are 21 ° and 14 ° as in the image q1. The figure 272 of the image q2 has a horizontal size Sh2 corresponding to the horizontal angle of view Ah2 and a vertical size Sv2 corresponding to the vertical angle of view Av2. The right end of the figure 272 in the x direction is shown by the position x21 and the left end is shown by the position x22, and the azimuth angles θ are 26.5 ° and 5.5 °, respectively. The upper end of the figure 272 in the y direction is shown at the position y21, and the lower end is shown at the position y22, which are 1 ° and -13 ° at an elevation angle φ, respectively.
第１条件の例としては、画像ｑ１の撮影方向を中心とした水平画角Ａｈ１及び垂直画角Ａｖ１の範囲内に、画像ｑ２の撮影方向（θ，φ）が含まれていることであり、言い換えると画像ｑ１の水平サイズ及び垂直サイズの範囲内に、画像ｑ２の中心点ｐ２が含まれていることである。特に、方位角θと仰角φとの両方が条件を満たす必要があるとする。本例では、画像ｑ２の方位角θ＝１６°は、画像ｑ１の水平画角Ａｈ１の範囲（－１０．５°～１０．５°）の外にあり、仰角φ＝－６°は、垂直画角Ａｖ１の範囲（－７°～７°）の内にある。そのため、画像ｑ２は、第１条件を満たしていない。 As an example of the first condition, the shooting direction (θ, φ) of the image q2 is included in the range of the horizontal angle of view Ah1 and the vertical angle of view Av1 centered on the shooting direction of the image q1. In other words, the center point p2 of the image q2 is included in the range of the horizontal size and the vertical size of the image q1. In particular, it is assumed that both the azimuth angle θ and the elevation angle φ must satisfy the conditions. In this example, the azimuth angle θ = 16 ° of the image q2 is outside the range of the horizontal angle of view Ah1 (-10.5 ° to 10.5 °) of the image q1, and the elevation angle φ = -6 ° is vertical. It is within the range of the angle of view Av1 (-7 ° to 7 °). Therefore, the image q2 does not satisfy the first condition.
第２条件のために、第１画像である画像ｑ１の撮影方向を中心とした水平画角Ａｈ１及び垂直画角Ａｖ１の範囲外に、延長した閾値範囲２７３を設定する。閾値範囲２７３を、破線枠で示す。閾値範囲２７３は、実装上の固定の設定値としてもよいし、ユーザ設定値としてもよい。閾値範囲２７３は、特に、背景領域５０の大きさに合わせたものとしてもよい。また、特に、閾値範囲２７３は、第１画像の画角の大きさに基づいて、所定の計算式により得た範囲、例えば所定の画角を加算した範囲や、所定率を乗算した範囲としてもよい。本例では、閾値範囲２７３は、第１画像の画角の範囲に対して３倍の大きさの範囲としており、水平画角Ａｈｔ＝６３°、垂直画角Ａｖｔ＝４２°とする。閾値範囲２７３のｘ方向右端が位置ｘ３１、左端が位置ｘ３２であり、方位角θで３１．５°，－３１．５°である。閾値範囲２７３のｙ方向上端が位置ｙ３１、下端が位置ｙ３２であり、仰角φで２１°，－２１°である。
For the second condition, an
第２条件の例として、画像ｑ１の画角に基づいた閾値範囲２７３内に、画像ｑ２の撮影方向（θ，φ）が含まれていることである。特に、方位角θと仰角φとの両方が条件を満たす必要があるとする。本例では、画像ｑ２の方位角θ＝１６°が閾値範囲２７３の水平画角Ａｈｔの範囲内にあり、仰角φ＝－６°が垂直画角Ａｖｔの範囲内にある。そのため、画像ｑ２は、第２条件を満たしている。これにより、第２条件を用いる場合、画像ｑ２は、画像ｑ１に関連付けられる。
As an example of the second condition, the shooting direction (θ, φ) of the image q2 is included in the
他の条件として以下も可能である。第３条件として、第１画像の画角範囲内に、第２画像の画角範囲の一部が重なっていることとする。第４条件として、第１画像の画角範囲外の閾値範囲内に、第２画像の画角範囲の一部が重なっていることとする。例えば、画像ｑ１の画角範囲内には、画像ｑ２の画角範囲の一部が重なっている。言い換えると、画像ｑ２の左端の位置ｘ２２は、画像ｑ１の右端の位置ｘ１１よりも左にある。よって、画像ｑ１に画像ｑ２が関連付けられる。 As another condition, the following is also possible. As a third condition, it is assumed that a part of the angle of view range of the second image overlaps within the angle of view range of the first image. As the fourth condition, it is assumed that a part of the angle of view range of the second image overlaps within the threshold range outside the angle of view range of the first image. For example, a part of the angle of view range of the image q2 overlaps within the angle of view range of the image q1. In other words, the leftmost position x22 of the image q2 is to the left of the rightmost position x11 of the image q1. Therefore, the image q2 is associated with the image q1.
第５条件として、第１画像の撮影方向の角度（θまたはφ）と、第２画像の撮影方向の対応する角度（θまたはφ）との差分値が、所定の閾値角度以内であることとする。言い換えると、第１画像の中心点の位置座標と第２画像の中心点との距離を計算し、その距離が所定の閾値距離以内であることとする。例えば、画像ｑ１の中心点ｐ１と画像ｑ２の中心点ｐ２との方位角θの差分値ｄθが１６°、仰角φの差分値ｄφが－６°である。閾値角度を（ｄθｔ，ｄφｔ）とする。ｄθ≦ｄθｔである場合、または、ｄφ≦ｄφｔである場合、条件を満たすとする。 The fifth condition is that the difference value between the angle (θ or φ) in the shooting direction of the first image and the corresponding angle (θ or φ) in the shooting direction of the second image is within a predetermined threshold angle. do. In other words, the distance between the position coordinates of the center point of the first image and the center point of the second image is calculated, and the distance is within a predetermined threshold distance. For example, the difference value dθ of the azimuth angle θ between the center point p1 of the image q1 and the center point p2 of the image q2 is 16 °, and the difference value dφ of the elevation angle φ is −6 °. Let the threshold angle be (dθt, dφt). When dθ≤dθt or dφ≤dφt, the condition is satisfied.
第１画像が広角画像である場合や、第２画像が広角画像である場合にも、上記のような条件を同様に適用して関連付けの判断が可能である。また特に、第１画像が広角画像である場合には第１条件を適用し、第１画像が狭角画像である場合には第２条件を適用してもよい。このように、画像の種別等に応じて条件を選択する形態や、複数の条件を組み合わせて適用する形態でもよい。 Even when the first image is a wide-angle image or the second image is a wide-angle image, the above conditions can be applied in the same manner to determine the association. In particular, when the first image is a wide-angle image, the first condition may be applied, and when the first image is a narrow-angle image, the second condition may be applied. As described above, a form in which conditions are selected according to the type of image or the like, or a form in which a plurality of conditions are combined and applied may be used.
［動画］
上記では主に静止画の場合を説明したが、動画の場合にも基本的に同様に適用可能である。撮像制御部１１は、動画を撮影する場合、連続した撮影モードにおいて、電子ズーム倍率及び画角等を変更しながら撮影して動画の画像データ２３を得る。撮像制御部１１は、その動画の画像ファイル２４について、時点に応じた電子ズーム倍率及び画角等の情報を、メタデータ２２または管理情報２１に記述する。
[movie]
In the above, the case of still images has been mainly described, but basically the same can be applied to moving images. When shooting a moving image, the image
表示制御部１２は、第２表示モードの第２画面で、動画を再生表示する場合には、メタデータ２２等に記述されている撮影日時、位置情報、及び時刻に応じて変化する撮影方向等に基づいて、図形の表示位置を決定する。その表示位置は、例えば、動画を構成する最初の画像フレームの撮影方向等に応じて１つの固定の表示位置としてもよいし、複数の画像フレームの統計値から決定した表示位置としてもよい。その表示位置は、画像フレームに応じて変化する撮影方向に対応した表示位置としてもよい。
When the
［効果等］
上記のように、実施の形態１の撮像装置１及び表示装置２によれば、広角画像及び狭角画像を含む複数の画像の関係を把握しやすく、より良い使い勝手を実現できる。表示画面で、例えば広角画像の付近に、関係を持つ狭角画像が自動的に重ね合わせて表示されるので、ユーザは、関係を持つ複数の画像を容易に認識でき、直感的に把握でき、好適に閲覧することができる。ユーザは、広角画像と狭角画像との関係も把握しやすい。ユーザは、第１画像を閲覧している状態から、関係を持つ第２画像を素早く参照できる。ユーザは、表示モードを切り替えながら多数の画像を好適に閲覧できる。
[Effects, etc.]
As described above, according to the
実施の形態１の変形例として以下が挙げられる。変形例として、画像の種別に関して、画角の関係を相対的に判断してもよい。即ち、撮像装置１または表示装置２は、複数の画像における画角を参照し、それらのうちで最大の画角を持つ画像を、広角画像とし、その広角画像以外の画像を、狭角画像とする。
The following is mentioned as a modification of
［変形例（１）－第２画面］
図２８は、実施の形態１の変形例の撮像装置１における第２表示モードの第２画面の例を示す。表示画面４０１内で、主要な領域２８１と、主要な領域２８１以外の領域、本例では右辺の領域２８２や下辺の領域２８３と、を有する。主要な領域２８１には、背景領域上、中心位置に第１画像の図形２８４としてサムネイルが表示され、その周りに関連付けられている第２画像の図形が表示される。第１画像及び第２画像の図形は、画像の種別や撮影日時等の違いに応じて異なる図形が表示されてもよい。本例では、図形として、円形、菱形、星形のマークを示す。画像の種別としては、例えば画角の違いに応じた種別がユーザ設定に基づいて設定されてもよい。また、図形には、情報が付与されて表示されてもよい。本例では、マークに識別番号が付与されている。第１画像のサムネイルには、識別番号が１のマークが一緒に表示されている。第２画像の図形として、識別番号が２以下のマークが表示されている。また、図形には、情報として、メタデータ２２または管理情報２１に基づいた属性値が表示されてもよいし、属性値のみが表示されてもよい。
[Modification example (1) -second screen]
FIG. 28 shows an example of the second screen of the second display mode in the
右辺の領域２８２では、関連付けられている全ての複数の画像の情報、例えばマーク及び属性値等が、並列に表示されている。領域２８１では、ユーザ操作に基づいた表示状態として、一部の画像の図形が表示され、他の画像の図形が表示されていない状態となる。領域２８２には、領域２８１には表示されていない画像の情報も表示される。領域２８１または領域２８２で画像の図形が選択された場合に、第３表示モードへ遷移させてもよい。また、右下の領域には、最後に選択された画像のサムネイルがプレビューとして表示されている。
In the
下辺の領域２８３には、表示モードの情報、第１画像の属性値の情報が表示されている。また、第２表示モードのマークの表示と非表示とを切り替えるための操作ボタンが設けられている。オン状態ではマークが表示され、オフ状態ではマークが非表示にされる。また、第１表示モードに戻るための戻るボタン等が設けられている。
In the
また、第２画面内で、背景領域上の概略的に同じ位置、同じ領域内に、関連付けられている複数の第２画像が密集して存在する場合に、個々の図形を重ねて表示するのではなく、１つの代表マークを表示する。本例では、代表マークとして星形としている。ユーザが、代表マークを選択操作すると、代表マークの位置に関連付けられている複数の第２画像の情報が表示される。その際には、例えばポップアップ領域２８５を表示し、ポップアップ領域２８５に複数の第２画像の情報を表示する。ユーザがポップアップ領域２８５で所望の第２画像を選択操作すると、選択された第２画像を詳細表示する第３表示モードへ遷移させる。
Further, in the second screen, when a plurality of associated second images are densely present at substantially the same position on the background area and in the same area, the individual figures are displayed in an overlapping manner. Instead, display one representative mark. In this example, it is a star shape as a representative mark. When the user selects and operates the representative mark, information on a plurality of second images associated with the position of the representative mark is displayed. At that time, for example, the pop-up
他の方式としては、右辺の領域２８２等に、代表マークに関連付けられている複数の第２画像の情報を表示してもよい。また、代表マークの選択に応じて、所定の領域に、関連付けられている複数の第２画像を順次に表示、即ちスライドショー表示してもよい。例えば、同じ場所、同じ撮影方向で、異なる撮影日時に撮影した複数の画像が存在する場合に、それらの画像を関連付けて連続的に再生表示することができる。また、代表マークの選択操作に応じて、複数の第２画像が密集している領域を拡大表示して、複数の第２画像の図形が区別できる表示状態にしてもよい。
As another method, the information of a plurality of second images associated with the representative mark may be displayed in the
［変形例（２）－傾き操作］
変形例として、撮像装置１の筐体の傾き及び回転を表す傾き角度を、撮影方向計測部１１１のセンサ等を用いて検出する。撮像装置１は、検出した傾き角度の状態に応じて、表示モードの切り替えや、第２画面内の複数の画像のスクロール等を制御する。所定の操作に応じて、この機能が有効な表示モードと無効な表示モードとを切り替え可能とする。通常、無効な表示モードでは、撮像装置１の傾き角度に依らずに、第２画面の表示内容を固定して表示する。そして、前述の所定の操作に応じて、スクロールや拡大縮小等による表示状態の変更が可能である。
[Transformation example (2) -tilt operation]
As a modification, the tilt angle representing the tilt and rotation of the housing of the
図２９は、有効な表示モードにおいて、撮像装置１の筐体４００の表示画面４０１が、Ｘ－Ｚ面に配置されている状態を示す。筐体４００及び表示画面４０１の方向について、ｙ軸に関する傾ける操作及びその傾き角度２９１と、ｘ軸に関する傾ける操作及びその傾き角度２９２とを示す。第２画面の例として、図１０の第２画面と同様の例を示す。第２画面の背景領域５０上で、中央には第１画像の図形６１、近くには第２画像の図形６２が表示されている。
FIG. 29 shows a state in which the
この状態で、ユーザ操作として、筐体４００を傾ける操作がされる。例えば、ｙ軸に関する右側の正方向に傾ける操作がされる。撮像装置１は、その際の傾き角度２９１を検出し、その傾き角度２９１に応じて、第２画面内の表示状態を、右方向へのスクロールにより変更する。これにより、第２画面内において各画像は左方向へ移動され、それと共に画面外の右にある情報が画面内に表示される。この表示モードでは、ユーザは、傾ける操作のみで容易に表示状態を変更でき、少ない手間で複数の画像を閲覧できる。同様に、傾き操作に応じて拡大縮小を制御する形態としてもよい。
In this state, as a user operation, an operation of tilting the
［変形例（３）－外部機器連携］
撮像装置１や表示装置２は、外部の機器へ画像ファイル２４を保存してもよいし、外部の機器から画像ファイル２４を読み込んで再生表示してもよい。撮像装置１や表示装置２は、外部の機器へ送信する画像ファイル２４を対象として関連付け処理を行い、関連付け情報を含む画像ファイル２４を外部の機器へ送信してもよい。また、撮像装置１や表示装置２は、外部の機器から受信した画像ファイル２４を対象として関連付け処理を行い、関連付け情報に基づいて関連付けた状態で再生表示してもよい。即ち、前述の第１方式及び第２方式以外の関連付け方式として、外部の機器へ画像ファイル２４を送信する前に関連付けを行う方式や、外部の機器から画像ファイル２４を受信する後に関連付けを行う方式を採用してもよい。また、撮像装置１や表示装置２は、外部の機器へ複数の画像ファイル２４を送信する場合、画像ファイル２４毎のメタデータ２２として画角情報や関連付け情報を記述してもよいし、複数の画像ファイル２４とは別の管理ファイルに記述して提供してもよい。
[Modification example (3) -Cooperation with external devices]
The
例えば、図１のシステムで、撮像装置１は、撮像した複数の画像について、サーバ３へ送信する前に、関連付け処理を行い、画角や関連付け情報を含む画像ファイル２４を作成し、通信網４を通じてサーバ３へ送信して画像データＤＢに保存させる。撮像装置１または表示装置２は、通信網４を通じてサーバ３にアクセスし、サーバ３の画像データＤＢから、その画像ファイル２４を取得する。なお、その際には、検索条件として例えば撮影日時や撮影場所等を指定して複数の画像ファイル２４をまとめて取得可能である。撮像装置１または表示装置２は、取得した複数の画像ファイル２４の画像データ２３について、関連付け情報の参照に基づいて、関連付けた状態で再生表示する。
For example, in the system of FIG. 1, the
また、例えば、撮像装置１は、撮像した複数の画像について、関連付け処理を行わずに、画角を含み関連付け情報を含まない画像ファイル２４を、サーバ３へ送信して画像データＤＢに保存させる。撮像装置１または表示装置２は、通信網４を通じてサーバ３にアクセスし、サーバ３の画像データＤＢからその画像ファイル２４を取得する。撮像装置１または表示装置２は、取得した複数の画像ファイル２４について、関連付け処理を行い、画角及び関連付け情報に基づいて、関連付けた状態で再生表示する。
Further, for example, the
また、サーバ３が、画像データＤＢの複数の画像データ２３を対象として関連付け処理を行ってもよい。サーバ３は、その関連付け処理を行って、関連付け情報を含む画像ファイル２４として保存する。撮像装置１または表示装置２は、サーバ３から取得した複数の画像ファイル２４について、関連付け情報の参照に基づいて再生表示する。
Further, the
また、例えば、撮像装置１は、撮像した複数の画像について、関連付け処理を行い、画角及び関連付け情報を含む画像ファイル２４を、表示装置２へ送信する。表示装置２は、その画像ファイル２４を取得し、取得した画像ファイル２４の画像データ２３を、関連付け情報の参照に基づいて、関連付けた状態で再生表示する。
Further, for example, the
また、例えば、撮像装置１は、撮像した複数の画像について、関連付けを行わずに、画角を含み関連付け情報を含まない画像ファイル２４を、表示装置２へ送信する。表示装置２は、その画像ファイル２４を取得し、取得した画像ファイル２４の画像データ２３について、関連付け処理を行い、関連付け情報に基づいて、関連付けた状態で再生表示する。
Further, for example, the
また、撮像装置１や表示装置２は、同じユーザの複数の機器から、それぞれの画像ファイル２４を読み込んで、それらを統合して管理するようにしてもよい。例えば、図１の第１撮像装置１Ａ及び第２撮像装置１Ｂは、それぞれ、撮像した画像の画像ファイル２４を、関連付けを行わずに、第１表示装置２Ａへ送信する。第１表示装置２Ａは、それらの画像ファイル２４について、関連付け処理を行い、関連付けた状態で再生表示する。
Further, the
この変形例によれば、複数の機器が連携するシステムで関連付け表示機能を実現でき、ユーザは多数の画像の関連付けや保存等を実現できる。 According to this modification, the association display function can be realized in a system in which a plurality of devices are linked, and the user can realize association and storage of a large number of images.
（実施の形態２）
図３０、図３１を用いて、本発明の実施の形態２の撮像装置及び表示装置について説明する。以下、実施の形態２の構成における実施の形態１の構成とは異なる部分について説明する。実施の形態２の撮像装置１では、複数の画像の関連付けを行うための特有の撮影モードを設ける。
(Embodiment 2)
The image pickup device and the display device according to the second embodiment of the present invention will be described with reference to FIGS. 30 and 31. Hereinafter, the parts of the configuration of the second embodiment that are different from the configuration of the first embodiment will be described. The
［撮影モード］
実施の形態２の撮像装置１は、撮影モードとして、通常の撮影モードである第１撮影モードと、関連付けを行うためのグループ撮影モードである第２撮影モードとを有する。撮像装置１は、ユーザ入力操作やユーザ設定に基づいて、撮影モードの切り替えを行う。ユーザは、操作入力部１０５等を通じて、任意のタイミングで、第１撮影モードと第２撮影モードとを切り替える所定の操作を行う。所定の操作は、例えばモード切り替えボタンの押下としてもよい。
[Shooting mode]
The
図３０は、実施の形態２の撮像装置１における、時間軸における撮影モードの切り替え等を示す。撮像装置１は、最初、第１撮影モードの状態とし、第１撮影モードで撮像された個々の画像については、関連付け処理を行わない。例えば、時点ｔ１１で撮像された画像は、関連付けが行われず、メタデータ２２等には関連付け情報が記述されない。
FIG. 30 shows switching of the shooting mode on the time axis in the
ユーザは、所望のタイミング、例えば時点Ｔ２で、第１撮影モードから第２撮影モードへ切り替える操作を行う。撮像装置１は、第２撮影モードの状態では、その期間に撮像された個々の画像を対象にして、自動的にグループとして関連付ける。例えば、第２撮影モード中の時点ｔ１～ｔ４でそれぞれ画像が撮像されている。制御部１０１は、関連付け部１５により、それらの画像に関して関連付け処理を行い、メタデータ２２または管理情報２１に関連付け情報を記述する。本例では、時点ｔ１～ｔ４の各画像が１つのグループとして関連付けられている。それらの画像の画像ファイル２４または管理情報２１にはグループ識別子が記述される。グループ識別子は、第２撮影モードの期間の開始日時及び終了日時等を用いた文字列としてもよい。
The user performs an operation of switching from the first shooting mode to the second shooting mode at a desired timing, for example, at the time point T2. In the state of the second shooting mode, the
ユーザは、所望のタイミング、例えば時点Ｔ４で、第２撮影モードから第１撮影モードへ切り替える操作を行う。撮像装置１は、第１撮影モードで撮像された個々の画像、例えば時点ｔ１２で撮像された画像については、関連付けを行わない。制御部１０１は、第１撮影モードに戻った時点で関連付け処理を実行してもよい。表示制御部１２は、再生表示の際には、画像ファイル２４や管理情報２１におけるグループ識別子等の参照に基づいて、関連付けを確認して関連付け表示を行う。
The user performs an operation of switching from the second shooting mode to the first shooting mode at a desired timing, for example, at the time point T4. The
［メニュー画面］
図３１は、撮像装置１の表示画面の例として、撮影モードに関するメニュー画面を示す。このメニュー画面は、例えば図４の十字キー４３３の中心ボタンの押下により表示される。このメニュー画面は、撮影メニュー３１１、再生メニュー３１２、設定メニュー３１３を有する。撮影メニュー３１１は、撮影モードに関する設定項目を有し、再生メニュー３１２は、再生表示モードに関する設定項目を有し、設定メニュー３１３は、設定モードの設定項目を有する。各モードの各設定項目でユーザにより設定可能である。例えば、撮影メニュー３１１において、設定項目として、グループ撮影３１４、サイズ、画質、フォーカスモード、手振れ補正等を有する。サイズや画質等は公知の設定項目である。
[Menu screen]
FIG. 31 shows a menu screen related to a shooting mode as an example of a display screen of the
ユーザは、メニュー画面で、タップ等の操作に応じて、撮影メニュー３１１のグループ撮影３１４の設定項目を選択し、オンボタンを選択することにより、撮影モードとして、グループ撮影モードが設定される。オフボタンを選択した場合にはグループ撮影モードが解除される。グループ撮影モードのオン／オフは、専用のハードウェアボタンで実現してもよい。また、撮像装置１は、グループ撮影モードのオン状態で電源オフされた場合には、自動的にグループ撮影モードをオフ状態に切り替えてもよい。また、撮像装置１は、グループ撮影モードがオン状態になった時点や、撮影モードで画像を撮影した時点から、所定時間が経過した場合に、自動的にグループ撮影モードをオフ状態に切り替えてもよい。
The user selects the setting item of the group shooting 314 of the
［効果等］
上記のように、実施の形態２によれば、ユーザが自分の判断で撮影モードを切り替えて複数の画像を容易に関連付けることができる。実施の形態２は、前述の第２選択方式の撮影日時に関する判断を、特有の撮影モードを用いて自動化する形態に相当する。
[Effects, etc.]
As described above, according to the second embodiment, the user can switch the shooting mode at his / her own discretion and easily associate a plurality of images. The second embodiment corresponds to a mode in which the determination regarding the shooting date and time of the above-mentioned second selection method is automated by using a unique shooting mode.
（実施の形態３）
図３２を用いて、本発明の実施の形態３の撮像装置及び表示装置について説明する。以下、実施の形態３の構成における実施の形態１の構成とは異なる部分について説明する。実施の形態３の撮像装置１では、撮影モードにおいて表示画面に表示されるモニタ画像において、撮影済みの画像を関連付けて表示する機能を有する。この機能により、ユーザによる撮影方向等の決定を含む撮影動作を支援するアシスト機能を実現する。また特に、実施の形態３では、実施の形態２のグループ撮影モードを併用する。撮影モードとしてグループ撮影モード中に、モニタ画像を表示しつつ、撮影された画像を第２画像として関連付けて表示する。
(Embodiment 3)
The image pickup apparatus and the display apparatus according to the third embodiment of the present invention will be described with reference to FIG. 32. Hereinafter, the parts of the configuration of the third embodiment that are different from the configuration of the first embodiment will be described. The
［撮影モニタ］
図３２は、実施の形態３で、第１モニタ方式における、前述の図４のＥＶＦ４０３の表示画面４０４を示す。表示制御部１２は、表示画面４０４に、撮影モードのモニタ画像を表示すると共に、関連付けられる画像を表示する。第１モニタ方式では、モニタ画像を背景領域５０及び第１画像と捉え、モニタ画像上に、第２画像の図形を表示する。撮像装置１は、表示画面４０４の全体の背景領域５０に対応させて、撮影中の撮影方向及び画角等に応じたモニタ画像４１１を表示する。表示画面４０４の中心の点ｐ０と、モニタ画像４１１の中心点とが一致している。
[Shooting monitor]
FIG. 32 shows the
ユーザは、グループ撮影モードにして撮影を開始する。撮像装置１は、所定の操作に応じてグループ撮影モードにする。撮像装置１は、実施の形態２と同様に、グループ撮影モード中に撮像された画像をグループとして関連付け、関連付けられた第２画像の情報を記憶部１０２等に保持する。
The user sets the group shooting mode and starts shooting. The
表示制御部１２は、モニタ画像４１１を第１画像として、関連付けられる第２画像を判断する。特に、グループ撮影モード中に撮影済みの第２画像が関連付けられる。表示制御部１２は、モニタ画像とその第２画像とにおいて、撮影方向及び画角に関する条件を判断し、その第２画像を表示対象とするかを決める。その際の条件は、実施の形態１と同様の条件を適用できる。表示制御部１２は、例えば第１条件を用い、モニタ画像４１１の画角範囲内に、第２画像の撮影方向（θ，φ）が含まれる場合には、その第２画像を表示対象に決定する。
The
表示制御部１２は、表示対象の第２画像を表す図形を、モニタ画像４１１の領域内に重畳表示する。本例では、図形としてマークとする。点ｐｓ１には、第２画像である画像ｓ１の撮影方向があり、画像ｓ１を表すマーク３２１が表示されている。点ｐｓ２には、第２画像である画像ｓ２の撮影方向があり、画像ｓ２を表すマーク３２２が表示されている。ユーザは、モニタ画像４１１内のマークにより、モニタ画像の画角内の撮影済み画像の有無や位置を容易に認識できる。ユーザは、その認識に基づいて、新たに撮影する画像の好適な撮影方向や画角等を決定できる。
The
図３３は、変形例として、第２モニタ方式の表示画面の例を示す。第２モニタ方式では、表示画面４０４の背景領域５０内に、モニタ画像４１２を第１画像として表示し、モニタ画像４１２内及びその周辺に、第２画像の図形を表示する。表示画面４０４の中心の点ｐ０に、表示画面４０４よりも小さい大きさのモニタ画像４１２が表示される。モニタ画像４１２の大きさは、画角等の状態に応じて変更されてもよい。表示制御部１２は、モニタ画像４１２に対し、同様に、第２画像の関連付けや条件を判断し、第２画像の図形を表示する。表示制御部１２は、例えば第２条件を用い、モニタ画像４１２の画角範囲外に延長された閾値範囲内に、第２画像の撮影方向または画角の一部が含まれている場合、その第２画像を表示対象にする。本例では、点ｐｓ３に、第２画像である画像ｓ３の撮影方向があり、画像ｓ３を表す透過枠３３１が表示されている。また、表示画面４０４外で背景領域５０上の図示しない点には、第２画像である画像ｓ４があり、表示画面４０４内に画像ｓ４を表す透過枠３３２の一部が表示されている。画像ｓ４は広角画像である。ユーザは、モニタ画像４１２の付近の透過枠により、モニタ画像４１２の画角の付近の撮影済み画像の有無や位置や画角を容易に認識でき、新たな画像の好適な撮影方向や画角を決定できる。
FIG. 33 shows an example of a display screen of the second monitor system as a modification. In the second monitor method, the
また、図３３のようなモニタ画像４１２の表示状態で撮影方向等を決定した後、撮影実行の際には、所定の入力操作に基づいて、図３２のように表示画面４０４の全体にモニタ画像４１１を表示する状態へ遷移させてもよい。また、所定の入力操作に応じて、第２画像の図形の表示と非表示とを切り替えるようにしてもよい。また、このようにモニタ画像に関連付け表示を行う否かについては、ユーザ設定に応じて変更可能とする。モニタ画像の表示画面内には、表示モード切り替えボタン等が設けられてもよい。
Further, after the shooting direction and the like are determined in the display state of the
また、表示画面４０４でモニタ画像に関連付けて表示された撮影済みの第２画像を表す図形を、タップやピンチ等の所定の操作により選択することにより、再撮影の指示を可能としてもよい。撮像装置１は、再撮影が指示された第２画像について、表示画面４０４内に拡大して新たなモニタ画像として表示すると共に、自動的にズーム制御を行って焦点等を調整する。撮像装置１は、その状態の撮影方向及び画角で撮影を実行する。
Further, it may be possible to instruct re-shooting by selecting a figure representing the shot second image displayed in association with the monitor image on the
［効果等］
上記のように、実施の形態３によれば、アシスト機能により、ユーザは、モニタ画像において撮影済み画像の有無や位置等を容易に認識でき、ユーザは、撮影済み画像を参考にして、次に撮影する画像に関する好適な撮影方向及び画角等を決定しやすい。ユーザは、例えば未撮影の撮影方向及び画角を選択して撮影ができる。
[Effects, etc.]
As described above, according to the third embodiment, the assist function allows the user to easily recognize the presence / absence, position, etc. of the captured image in the monitor image, and the user can refer to the captured image and then refer to the captured image. It is easy to determine a suitable shooting direction, angle of view, etc. for the image to be shot. The user can select, for example, an unphotographed shooting direction and an angle of view to shoot.
実施の形態３の変形例として以下が挙げられる。変形例として、タッチパネルの表示画面４０１でも上記と同様に適用可能である。また、変形例として、グループ撮影モードとの併用に限らず実現可能であり、モニタ画像の表示中に、実施の形態１と同様に関連付けの確認処理等を行えばよい。また、モニタ画像と第２画像との関連付けを、一時的な関連付けとし、モニタ画像の表示終了後に関連付けを自動的に解除するようにしてもよい。
The following can be mentioned as a modification of
（実施の形態４）
図３４、図３５を用いて、本発明の実施の形態４の撮像装置及び表示装置について説明する。以下、実施の形態４の構成における実施の形態１の構成とは異なる部分について説明する。実施の形態４では、画像の編集機能を有する。この編集機能は、複数の画像の関連付けをユーザが判断して手動で設定、編集することができる機能である。ユーザは、編集機能を用いて、表示画面内で、関連付ける画像の追加や削除や変更が可能である。また、編集機能として、トリミングにより合成画像を生成する機能を有する。
(Embodiment 4)
The image pickup apparatus and the display apparatus according to the fourth embodiment of the present invention will be described with reference to FIGS. 34 and 35. Hereinafter, the parts of the configuration of the fourth embodiment that are different from the configuration of the first embodiment will be described. The fourth embodiment has an image editing function. This editing function is a function that allows the user to determine the association of a plurality of images and manually set and edit the association. The user can add, delete, or change the associated image in the display screen by using the editing function. Further, as an editing function, it has a function of generating a composite image by trimming.
［編集機能（１）］
図３４は、撮像装置１の第２表示モードの第２画面の例を示す。以下は編集機能を持つ撮像装置１の場合を示すが、編集機能を持つ表示装置２の場合も同様である。ユーザ操作に応じて、編集が有効なオン状態と無効なオフ状態とを切り替え可能である。撮像装置１は、オン状態の場合、第２表示モードの第２画面で、第１画像に対する第２画像の関連付け、及び第２画像の図形の表示位置等を、ユーザ入力操作に基づいて可変に設定する。制御部１０１は、第２画像の図形の表示位置を、メタデータ２２または管理情報２１の１つとして保存及び管理する。制御部１０１は、再生表示の際には、その情報を参照して図形の表示位置を決める。
[Editing function (1)]
FIG. 34 shows an example of the second screen of the second display mode of the
本例では、第２画像の図形として透過枠を表示する場合を示す。最初、撮像装置１は、実施の形態１と同様に、背景領域５０上、第１画像及び第２画像の図形の表示位置を自動的に決定して表示する。例えば、中心の点ｐ０には、第１画像の図形３４１であるサムネイルが表示されている。また、第２画像として、点ｐ２ａには、ある狭角画像の図形３４２ａである透過枠が表示されている。ユーザは、第２画像の図形の表示位置を変更したい場合、その図形を例えばタッチして所望の位置へ移動させる。制御部１０１は、そのユーザ操作に従ってその図形の表示位置を移動させるように表示状態を更新する。本例では、図形３４２ａの透過枠の移動後の状態を、移動後の点ｐ２ｂにある図形３４２ｂとして示している。制御部１０１は、第２画像の図形の移動後の位置を、新たな表示位置として保存する。
In this example, a case where a transparent frame is displayed as a figure of the second image is shown. First, the
また、編集機能として、関連付ける第２画像を追加する機能、及び第２画像の関連付けを解除する機能を有する。追加の場合、ユーザは、背景領域５０上の所望の位置、例えば点ｐ３をタッチし、ポップアップ領域の追加ボタンを押し、追加する第２画像を選択する。制御部１０１は、選択された第２画像に関する図形をその位置に表示し、表示位置を保存し、第１画像とその第２画像との関連付けを行う。
Further, as an editing function, it has a function of adding a second image to be associated and a function of canceling the association of the second image. In the case of addition, the user touches a desired position on the
解除の場合、ユーザは、背景領域５０上に表示されている第２画像の図形を選択し、解除を指定する。例えば、ユーザは、点ｐ４にある図形３４４をタッチし、ポップアップ領域の解除ボタンを押す。制御部１０１は、解除が指定されたその第２画像と第１画像との関連付けを解除し、その図形の表示を消去する。
In the case of cancellation, the user selects the figure of the second image displayed on the
［編集機能（２）］
更に、編集機能として、トリミングにより合成画像を生成する機能を有する。この機能により、元画像よりも大きい画角を持つパノラマ画像の生成や、元画像よりも小さい画角を持つ画像の生成等が可能である。まず、実施の形態１等と同様に、撮像装置１は、撮影された複数の画像の画像ファイル２４等を得る。撮像装置１は、前述の第２表示モードの第２画面で、複数の画像を関連付けて表示し、ユーザ操作に応じて編集機能のトリミング機能をオン状態にする。切り替えは、表示モード切り替えボタンや再生メニューでのモード選択等により可能である。
[Edit function (2)]
Further, as an editing function, it has a function of generating a composite image by trimming. With this function, it is possible to generate a panoramic image having a larger angle of view than the original image, an image having a smaller angle of view than the original image, and the like. First, as in the first embodiment, the
図３５の上側は、編集機能のトリミング機能のオン状態での第２画面の表示例であり、画像ｖ１，ｖ２，ｖ３，ｖ４の４枚の画像が表示されている。背景領域５０の中心の点ｐ０に、第１画像である画像ｖ１の中心点ｐｖ１が配置されるように、画像ｖ１を表す図形３５１であるサムネイルが表示されている。画像ｖ１のサムネイルの周りには、点ｐｖ２に第２画像である画像ｖ２の図形３５２であるサムネイル、点ｐｖ３に画像ｖ３の図形３５３であるサムネイル、点ｐｖ４に画像ｖ４の図形３５４であるサムネイルが表示されている。
The upper side of FIG. 35 is a display example of the second screen when the trimming function of the editing function is on, and four images of images v1, v2, v3, and v4 are displayed. A thumbnail, which is a figure 351 representing the image v1, is displayed so that the center point pv1 of the image v1 which is the first image is arranged at the point p0 at the center of the
また、本例では、各画像のサムネイルは、重なる部分を有し、重なる部分の枠線を破線で示している。重なる部分については、複数の画像の上下の配置に応じて、上側にある画像のサムネイルの部分が表示される。画像の上下の配置は、例えば、第１画像が最上位層に表示され、その下位層に第２画像が表示される。複数の第２画像は、例えば、撮影日時に応じた順序またはユーザに指定された順序で上下層に配置される。画像の選択操作等に応じて複数の画像の上下配置関係を変更できる。本例では、上位層から順に画像ｖ１，ｖ２，ｖ３，ｖ４が配置されている。この状態でユーザ操作に応じて所望のスクロールや拡大縮小がされる。例えば、スクロールにより、画像ｖ１の点ｐｖ１が点ｐｖ１ｂに来るように、全体が移動されるとする。 Further, in this example, the thumbnails of the respective images have overlapping portions, and the borders of the overlapping portions are indicated by broken lines. As for the overlapping portion, the thumbnail portion of the image on the upper side is displayed according to the vertical arrangement of the plurality of images. As for the arrangement of the top and bottom of the image, for example, the first image is displayed on the uppermost layer, and the second image is displayed on the lower layer. The plurality of second images are arranged in the upper and lower layers in an order according to the shooting date and time or an order specified by the user, for example. The vertical arrangement of a plurality of images can be changed according to an image selection operation or the like. In this example, the images v1, v2, v3, and v4 are arranged in order from the upper layer. In this state, desired scrolling and enlargement / reduction are performed according to the user operation. For example, it is assumed that the entire image v1 is moved so that the point pv1 comes to the point pv1b by scrolling.
図３５の下側は、表示状態の変更後の第２画面を示す。この第２画面では、背景領域５０上、複数の画像よりも上位層に、トリミング枠３５０が表示される。トリミング枠３５０は、ユーザ操作、例えばタッチしてドラッグする操作等に応じて、位置や縦横のサイズ、回転角等が変更できる。ユーザは、画像上の所望の位置に所望の状態のトリミング枠３５０を配置する。その状態で、所定の操作により、画像のトリミングが実行できる。所定の操作は、例えば、シャッターボタン押下、トリミング実行指定入力等である。これにより、撮像装置１は、そのトリミング枠３５０内に含まれている画像の画角範囲を含むトリミング画像の画像データを新たに生成し、記憶部１０２等に記憶する。
The lower side of FIG. 35 shows the second screen after the display state is changed. On this second screen, the
撮像装置１は、トリミング実行の際、本例のようにトリミング枠３５０内に複数の画像に渡って各画角範囲が含まれている場合、それらの複数の画像の画角範囲を合成して、１枚のトリミング画像として生成する。トリミング画像の生成の際、撮像装置１は、各画像（ｖ１，ｖ２，ｖ３）に対応する画像データ２３をメモリ１３３に読み出し、公知の画像処理であるスティッチング処理等により、合成する。これにより、トリミング枠３５０に対応した合成画像が得られる。本例では、合成画像として、トリミング枠３５０の横サイズに対応した水平画角を持つパノラマ画像が得られる。上記例に限らず、トリミングにより、広角画像の画角範囲の中から所望の画角範囲を取り出した画像等が生成できる。
When the
［効果等］
上記のように、実施の形態４によれば、編集機能により、ユーザは、第２表示モードの複数の画像の関連付け表示に関して、自分が見やすい状態や把握しやすい状態となるように自由に編集可能である。また、従来では、例えばパノラマ画像を生成したい場合、カメラをパンしながら撮影する等の操作が必要であった。それに対し、実施の形態４によれば、編集機能により、ユーザが撮影後の複数の画像を確認しながら、所望のパノラマ画像や所望の画角の画像を容易に得ることができる。
[Effects, etc.]
As described above, according to the fourth embodiment, the editing function allows the user to freely edit the association display of the plurality of images in the second display mode so that the user can easily see or understand the association display. Is. Further, in the past, for example, when it was desired to generate a panoramic image, it was necessary to perform an operation such as shooting while panning the camera. On the other hand, according to the fourth embodiment, the editing function allows the user to easily obtain a desired panoramic image or an image having a desired angle of view while checking a plurality of images after shooting.
（実施の形態５）
図３６～図３８を用いて、本発明の実施の形態５の撮像装置及び表示装置について説明する。以下、実施の形態５の構成における実施の形態１の構成とは異なる部分について説明する。実施の形態５の撮像装置１では、広角画像として全天球画像を撮像する機能を有し、その広角画像を第１画像または第２画像として関連付け表示する機能を有する。
(Embodiment 5)
The image pickup apparatus and the display apparatus according to the fifth embodiment of the present invention will be described with reference to FIGS. 36 to 38. Hereinafter, the parts of the configuration of the fifth embodiment that are different from the configuration of the first embodiment will be described. The
［全天球画像］
本明細書では、図７等のように、撮像装置及び撮影者であるユーザの位置を中心点として設定した仮想の球面６００を、全天球と称する。本明細書では、全天球画像とは、水平画角及び垂直画角の少なくとも一方の画角として３６０°を持つ画像とする。
[Spherical image]
In the present specification, as shown in FIG. 7, a virtual
図３６は、実施の形態５における全天球画像について水平画角で示す。全天球に対応する球面６００において、第１広角画像６Ａと、第２広角画像６Ｂと、狭角画像６Ｃと、を有する。第１広角画像６Ａは、撮像装置１の前面カメラ側から前方の撮影方向（例えば北向き）で見た水平画角で１８０°の撮影範囲３６１を持つ広角画像である。第２広角画像６Ｂは、背面カメラ側から後方の撮影方向（例えば南向き）で見た水平画角で１８０°の撮影範囲３６２を持つ広角画像である。狭角画像６Ｃは、前面カメラ側から所望の撮影方向（例えば北向き）で水平画角Ａｈの撮影範囲３６３を持つ狭角画像である。第１広角画像６Ａと第２広角画像６Ｂとの合成により、水平画角で３６０°の撮影範囲を持つ広角画像である全天球画像が構成される。図示しないが垂直画角Ａｖに関しても同様であり、例えば第１広角画像６Ａは垂直画角で１８０°の撮影範囲を持つ。
FIG. 36 shows the spherical image of the fifth embodiment in a horizontal angle of view. The
［撮像装置］
図３７は、撮像装置１のうち撮像部１０３に係わる部分の構成を示す。撮像装置１は、撮像部１０３として、第１撮像部１０３Ａ、第２撮像部１０３Ｂ、第３撮像部１０３Ｃを有し、それらがインタフェース回路部１３１に接続されている。
[Image pickup device]
FIG. 37 shows the configuration of a portion of the
第１撮像部１０３Ａは、前面カメラに対応する撮像部であり、駆動部３１ａ及びレンズ部３２ａを含む。レンズ部３２ａは、前面の水平画角及び垂直画角で１８０°の撮影範囲（即ち半天球）での第１広角画像６Ａを撮像可能である超広角レンズとして第１レンズを備える。第２撮像部１０３Ｂは、背面カメラに対応する撮像部であり、駆動部３１ｂ及びレンズ部３２ｂを含む。レンズ部３２ｂは、背面の水平画角及び垂直画角で１８０°の撮影範囲（即ち半天球）での第２広角画像６Ｂを撮像可能である超広角レンズとして第２レンズを備える。
The first
第３撮像部１０３Ｃは、実施の形態１の撮像部１０３と同様の構成であり、駆動部３１ｃ及びレンズ部３２ｃを含む。レンズ部３２ｃは、前面の水平方向及び垂直方向で１８０°未満の設定された画角（例えば５０度程度の一般的な画角）での狭角画像６Ｃを撮像可能である第３レンズを備える。撮像部１０３Ｃで撮像する際の画角は、所定の画角範囲内でユーザ操作に基づいて設定可能である。例えば、水平画角Ａｈとして５０°を持つ狭角画像６Ｃを撮像するとする。
The third
制御部１０１は、全天球撮像制御部１１Ａ、撮像制御部１１Ｂを含む。全天球撮像制御部１１Ａは、第１撮像部１０３Ａ及び第２撮像部１０３Ｂを駆動制御して、全天球画像を撮影する。全天球撮像制御部１１Ａは、第１撮像部１０３Ａでの第１広角画像６Ａと、第２撮像部１０３Ｂでの第２広角画像６Ｂとを、同じタイミングで撮像するように制御する。全天球撮像制御部１１Ａは、信号処理部１３２等を通じて、それらの第１広角画像６Ａ及び第２広角画像６Ｂを入力して合成することにより、３６０°の画角範囲を持つ全天球画像を撮像する。なお、このように全天球画像を撮像可能とする光学系を含む撮像部１０３や制御部１０１等の構成については、公知技術を用いて実現できる。
The
全天球撮像制御部１１Ａは、撮像した全天球画像の画像データ２３を、実施の形態１と同様に、画角等の情報を含むメタデータ２２等と共に画像ファイル２４として記憶部１０２に記憶する。撮像制御部１１Ｂは、撮像した狭角画像の画像データ２３を、実施の形態１と同様に、画角等の情報を含むメタデータ２２等と共に画像ファイル２４として記憶部１０２に記憶する。
The spherical
撮像装置１の撮影モードにおいて、制御部１０１の制御に応じて、いずれの撮像部を用いて画像を撮像することも可能である。制御部１０１からの制御に基づいて、第１撮像部１０３Ａ、第２撮像部１０３Ｂ、及び第３撮像部１０３Ｃでは、同時に一回での撮像が可能である。また、制御部１０１からの制御に基づいて、第１撮像部１０３Ａ、第２撮像部１０３Ｂ、及び第３撮像部１０３Ｃでは、個別のタイミングでの撮像も可能である。第１撮像部１０３Ａと第２撮像部１０３Ｂとの同時撮影及び合成により全天球画像が撮影できる。また、第１撮像部１０３Ａと第２撮像部１０３Ｂとの一方を用いた撮影により、第１広角画像６Ａまたは第２広角画像６Ｂによる半天球画像が撮影できる。また、第１撮像部１０３Ａまたは第２撮像部１０３Ｂの一方と、第３撮像部１０３Ｃとの同時撮影も可能である。その場合、その一方の広角画像と狭角画像６Ｃとで撮影日時が同じであり自動的に関連付けが可能である。制御部１０１は、撮像した画像のメタデータ２２または管理情報２１に、全天球画像または半天球画像または狭角画像６Ｃを表す種別等の情報を付与してもよい。制御部１０１は、同時撮影した複数の画像について、メタデータ２２等に関連付け情報を付与してもよい。
In the shooting mode of the
［撮像装置－外観］
図３８は、撮像装置１の実装例の外観を示す。本例では、撮像装置１としてスマートフォンである場合を示す。図３８の左側は、撮像装置１の筐体３８０の前面カメラ側を示し、右側は背面カメラ側を示す。前面カメラ側において、筐体３８０の所定位置に第１レンズ３８１が設けられており、また、所定位置に第３レンズ３８３が設けられている。背面カメラ側において、前面カメラ側の第１レンズ３８１の位置に対応した反対側の所定位置に第２レンズ３８２が設けられている。また、背面カメラ側において、表示装置１０４の表示画面３８４や、操作ボタン３８５等が設けられている。
[Image pickup device-appearance]
FIG. 38 shows the appearance of an implementation example of the
［第２表示モード－第２画面］
実施の形態５では、実施の形態１等と同様に、第２表示モードの第２画面で、背景領域５０上に、第１画像及び第２画像を関連付けて表示する。その際、実施の形態５では、第１画像や第２画像として、全天球画像または半天球画像が適用できる。例えば、図１８と同様の形式の第２画面を用いて表示する場合、第１画像が全天球画像である場合には、円形の背景領域５０にそのままその全天球画像の撮影方向に対応する半天球部分が表示される。
[Second display mode-Second screen]
In the fifth embodiment, similarly to the first embodiment, the first image and the second image are displayed in association with each other on the
［効果等］
上記のように、実施の形態５によれば、広角画像として全天球画像等を表示する際に、関係を持つ狭角画像を含む複数の画像を関連付けて表示でき、ユーザは複数の画像の関係を把握しやすい。
[Effects, etc.]
As described above, according to the fifth embodiment, when displaying a spherical image or the like as a wide-angle image, a plurality of images including a narrow-angle image having a relationship can be associated and displayed, and the user can display the plurality of images. Easy to understand the relationship.
実施の形態の変形例として以下が可能である。背面カメラ側の第２撮像部１０３Ｂを省略し、第１撮像部１０３Ａを用いて前方の１８０°の画角範囲を持つ半天球画像を撮像する形態としてもよい。第２画面で全天球画像を表示する際には、円形ではなく、図１６と同様に３６０°の水平画角を持つ矩形の領域に変換して表示してもよい。また、変形例としては、全天球画像を、縮小した円形として、背景領域５０内に表示してもよい。
The following is possible as a modification of the embodiment. The second
以上、本発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。本発明の機能等は、一部または全部が、集積回路等のハードウェアで実現されてもよいし、ソフトウェアプログラム処理で実現されてもよい。 Although the present invention has been specifically described above based on the embodiments, the present invention is not limited to the above embodiments and can be variously modified without departing from the gist thereof. The functions and the like of the present invention may be partially or wholly realized by hardware such as integrated circuits, or may be realized by software program processing.
１…撮像装置、２…表示装置、３…サーバ、４…通信網、１１…撮像制御部、１２…表示制御部、１３…タッチ検出部、１４…設定部、１５…関連付け部、２１…管理情報、２２…メタデータ、２３…画像データ、２４…画像ファイル、５０…背景領域、６１，６２，６３…図形、１０１…制御部、１０２…記憶部、１０３…撮像部、１０４…表示装置、１０５…操作入力部、１０６…記録部、１０７…記録媒体、１０８…通信インタフェース部、１１１…撮影方向計測部、１１２…内部時計、１１３…位置検出部、１３１…インタフェース回路部、１３２…信号処理部、１３３…メモリ、４０１…表示画面。
1 ... Image pickup device, 2 ... Display device, 3 ... Server, 4 ... Communication network, 11 ... Image pickup control unit, 12 ... Display control unit, 13 ... Touch detection unit, 14 ... Setting unit, 15 ... Association unit, 21 ... Management Information, 22 ... Metadata, 23 ... Image data, 24 ... Image file, 50 ... Background area, 61, 62, 63 ... Graphic, 101 ... Control unit, 102 ... Storage unit, 103 ... Image pickup unit, 104 ... Display device, 105 ... Operation input unit, 106 ... Recording unit, 107 ... Recording medium, 108 ... Communication interface unit, 111 ... Shooting direction measurement unit, 112 ... Internal clock, 113 ... Position detection unit, 131 ... Interface circuit unit, 132 ...
Claims (17)
静止画または動画の画像を撮像して画像データを得る撮像ステップと、
前記画像データに基づいて前記画像を表示画面に再生表示する表示ステップと、
を備え、
前記撮像ステップにおいて、
撮像して得た前記画像データ及び前記画像の撮影方向として方位角及び仰角の少なくとも一方と、前記画像の画角または前記画角を計算可能である画角関連情報の少なくとも一方と、を含む第１情報を取得し、
第１画像の第１撮影方向の第１画角の範囲内またはその外に延長された閾値画角範囲内に、第２画像の第２撮影方向または一部画角が含まれている場合に、前記第１画像に前記第２画像の関連付けを行い、
前記表示ステップにおいて、
ユーザにより選択された前記第１画像または前記第１画像を表す第１図形を前記表示画面内の背景領域上に表示すると共に、前記撮影方向に対応した位置関係で、前記第１画像に関連付けられる前記第２画像または前記第２画像を表す第２図形を表示し、
前記第１画像または前記第１図形の表示サイズを、前記第１画像の前記画角に対応するように表示し、前記第２画像または前記第２図形の表示サイズを、前記第２画像の前記画角に対応するように表示する、
ことを特徴とする撮像表示方法。 It is an imaging display method,
An imaging step that captures a still image or a moving image to obtain image data,
A display step of reproducing and displaying the image on the display screen based on the image data,
Equipped with
In the imaging step
A th 1 Get information,
When the second shooting direction or a partial angle of view of the second image is included in the range of the first angle of view in the first shooting direction of the first image or within the threshold angle of view extended beyond the range. , The first image is associated with the second image,
In the display step
The first image selected by the user or the first figure representing the first image is displayed on the background area in the display screen, and is associated with the first image in a positional relationship corresponding to the shooting direction. Display the second image or the second figure representing the second image,
The display size of the first image or the first figure is displayed so as to correspond to the angle of view of the first image, and the display size of the second image or the second figure is the display size of the second image. Display according to the angle of view,
An image pickup display method characterized by this.
前記背景領域は、全天球の球面のうちの１８０°以上の画角範囲に対応付けられた矩形または円形の領域であり、
前記表示ステップにおいて、前記背景領域上、前記第１画像の前記撮影方向に対応する位置に、前記第１画像の前記球面への投影画像、縮小画像、または拡大画像を表示し、前記第２画像の前記撮影方向に対応する位置に、前記第２画像の前記球面への投影画像、縮小画像、または拡大画像を表示する、
ことを特徴とする撮像表示方法。 In the imaging display method according to claim 1,
The background area is a rectangular or circular area associated with an angle of view range of 180 ° or more in the spherical surface of the spherical surface.
In the display step, a projected image, a reduced image, or an enlarged image of the first image on the spherical surface is displayed on the background region at a position corresponding to the shooting direction of the first image, and the second image is displayed. A projected image, a reduced image, or an enlarged image of the second image on the spherical surface is displayed at a position corresponding to the shooting direction.
An image pickup display method characterized by this.
前記画像データ及び前記第１情報を記憶する記憶ステップを備え、
前記画角関連情報は、電子ズーム倍率、焦点距離、及び、撮像素子の寸法または機種、を含み、
前記第１情報に前記画角関連情報を含む場合に、前記画角関連情報から前記画角を計算し、前記画角を前記第１情報に記憶する、
ことを特徴とする撮像表示方法。 In the imaging display method according to claim 1,
A storage step for storing the image data and the first information is provided.
The angle of view-related information includes an electronic zoom magnification, a focal length, and the size or model of the image sensor.
When the angle of view-related information is included in the first information, the angle of view is calculated from the angle of view-related information, and the angle of view is stored in the first information.
An image pickup display method characterized by this.
前記第２図形は、前記第２画像の縮小画像、拡大画像、マークを含む所定の図形、透過枠、または前記第２画像の属性値を有する、
ことを特徴とする撮像表示方法。 In the imaging display method according to claim 1,
The second figure has a reduced image, an enlarged image, a predetermined figure including a mark, a transparent frame, or an attribute value of the second image.
An image pickup display method characterized by this.
前記背景領域上の同じ領域内に、前記関連付けられる複数の第２画像がある場合に、前記第２図形として、代表を表す図形を表示し、
前記代表を表す図形の選択操作に応じて、前記関連付けられる前記複数の第２画像に関する情報を表示して前記第２画像を選択可能とする、
ことを特徴とする撮像表示方法。 In the imaging display method according to claim 1,
When there are a plurality of associated second images in the same area on the background area, a figure representing a representative is displayed as the second figure.
In response to the selection operation of the figure representing the representative, the information regarding the plurality of associated second images is displayed so that the second image can be selected.
An image pickup display method characterized by this.
前記表示ステップにおいて、
前記ユーザの操作に基づいて、第１表示モードの第１表示として、複数の画像に関する情報を一覧表示し、
第２表示モードの第２表示として、前記第１表示内で選択された前記第１画像または前記第１図形を前記背景領域上に表示すると共に、前記第１画像に関連付けられる前記第２画像または前記第２図形を表示し、
第３表示モードの第３表示として、前記第２表示内で選択された前記第１画像または前記第２画像を詳細表示する、
ことを特徴とする撮像表示方法。 In the imaging display method according to claim 1,
In the display step
Based on the user's operation, information about a plurality of images is displayed in a list as the first display of the first display mode.
As the second display of the second display mode, the first image or the first figure selected in the first display is displayed on the background area, and the second image or the second image associated with the first image is displayed. Display the second figure and display it.
As the third display of the third display mode, the first image or the second image selected in the second display is displayed in detail.
An image pickup display method characterized by this.
前記撮像ステップにおいて、前記第１情報を、前記画像データのメタデータまたは管理情報として作成して記憶し、
前記関連付けにおいて、前記第１画像に前記第２画像が関連付けられる場合には、前記第１画像と前記第２画像との関連付け情報を作成して前記メタデータまたは前記管理情報に記憶し、
前記表示ステップにおいて、前記関連付け情報を確認して、前記第１画像及び前記第２画像を表示する、
ことを特徴とする撮像表示方法。 In the imaging display method according to claim 1,
In the imaging step, the first information is created and stored as metadata or management information of the image data.
In the association, when the second image is associated with the first image, the association information between the first image and the second image is created and stored in the metadata or the management information.
In the display step, the association information is confirmed, and the first image and the second image are displayed.
An image pickup display method characterized by this.
前記撮像ステップにおいて、前記第１情報を、前記画像データのメタデータまたは管理情報として作成して記憶し、
前記表示ステップにおいて、前記関連付けを行い、前記第１画像に前記第２画像が関連付けられる場合には、前記第１画像及び前記第２画像を表示する、
ことを特徴とする撮像表示方法。 In the imaging display method according to claim 1,
In the imaging step, the first information is created and stored as metadata or management information of the image data.
In the display step, the association is performed, and when the second image is associated with the first image, the first image and the second image are displayed.
An image pickup display method characterized by this.
第１撮影モードと第２撮影モードとを切り替え、
前記第１撮影モードにおいて撮像された画像については、前記関連付けを行わず、
前記第２撮影モードにおいて撮像された複数の画像については、グループとして前記関連付けを行う、
ことを特徴とする撮像表示方法。 In the imaging display method according to claim 1,
Switch between the first shooting mode and the second shooting mode,
The image captured in the first shooting mode is not associated with each other.
The plurality of images captured in the second shooting mode are associated with each other as a group.
An image pickup display method characterized by this.
前記撮像ステップにおいて、撮影中のモニタ画像を前記第１画像として表示すると共に、前記第１画像に関連付けられる前記第２画像がある場合には前記第２図形を表示する、
ことを特徴とする撮像表示方法。 In the imaging display method according to claim 1,
In the imaging step, the monitor image being photographed is displayed as the first image, and if there is the second image associated with the first image, the second figure is displayed.
An image pickup display method characterized by this.
前記撮像ステップにおいて、撮影場所を表す位置情報を、前記画像データのメタデータまたは管理情報として作成して記憶し、
前記関連付けにおいて、前記第１画像の前記位置情報に対して前記第２画像の前記位置情報が所定の位置範囲内に含まれる場合に、前記関連付けの候補の画像として選択する、
ことを特徴とする撮像表示方法。 In the imaging display method according to claim 1,
In the imaging step, position information indicating a shooting location is created and stored as metadata or management information of the image data, and stored.
In the association, when the position information of the second image is included in a predetermined position range with respect to the position information of the first image, the image is selected as a candidate image of the association.
An image pickup display method characterized by this.
前記撮像ステップにおいて、撮影日時を含む情報を、前記画像データのメタデータまたは管理情報として作成して記憶し、
前記関連付けにおいて、前記第１画像の前記撮影日時に対して前記第２画像の前記撮影日時が所定の時間範囲内に含まれる場合に、前記関連付けの候補の画像として選択する、
ことを特徴とする撮像表示方法。 In the imaging display method according to claim 1,
In the imaging step, information including the shooting date and time is created and stored as metadata or management information of the image data.
In the association, when the shooting date and time of the second image is included in a predetermined time range with respect to the shooting date and time of the first image, the image is selected as a candidate image for the association.
An image pickup display method characterized by this.
前記撮像ステップまたは前記表示ステップにおいて、前記ユーザの操作に基づいて設定された文字列を、前記画像データのメタデータまたは管理情報として作成して記憶し、
前記関連付けにおいて、前記第１画像の前記文字列に対して前記第２画像の前記文字列が同じ文字列を含む場合に、前記関連付けの候補の画像として選択する、
ことを特徴とする撮像表示方法。 In the imaging display method according to claim 1,
In the imaging step or the display step, a character string set based on the operation of the user is created and stored as metadata or management information of the image data, and stored.
In the association, when the character string of the second image contains the same character string as the character string of the first image, the image is selected as a candidate image of the association.
An image pickup display method characterized by this.
前記撮像ステップまたは前記表示ステップにおいて、前記画像の被写体種類を画像認識処理により判断し、
前記関連付けにおいて、前記第１画像の前記被写体種類に対して前記第２画像の前記被写体種類が同じ被写体種類を含む場合に、前記関連付けの候補の画像として選択する、
ことを特徴とする撮像表示方法。 In the imaging display method according to claim 1,
In the imaging step or the display step, the subject type of the image is determined by image recognition processing.
In the association, when the subject type of the second image includes the same subject type as the subject type of the first image, the image is selected as a candidate image for the association.
An image pickup display method characterized by this.
前記表示ステップにおいて、前記第２画像または前記第２図形の表示位置を、前記画像データのメタデータまたは管理情報の項目の１つとして記憶し、
前記ユーザの操作に基づいて、前記背景領域上の前記第２画像または前記第２図形の表示位置を変更し、前記背景領域上の選択された表示位置に前記第２画像の関連付けを追加し、前記背景領域上の選択された表示位置にある前記第２画像の関連付けを解除する、
ことを特徴とする撮像表示方法。 In the imaging display method according to claim 1,
In the display step, the display position of the second image or the second figure is stored as one of the items of the metadata or management information of the image data.
Based on the user's operation, the display position of the second image or the second figure on the background area is changed, and the association of the second image is added to the selected display position on the background area. Disassociate the second image at the selected display position on the background area.
An image pickup display method characterized by this.
前記表示ステップにおいて、前記ユーザの操作に基づいて、前記背景領域上の前記第１画像及び前記第２画像の上にトリミング枠を配置し、前記トリミング枠内に含まれている画像画角範囲を合成した画像を生成して前記画像データとして保存する、
ことを特徴とする撮像表示方法。 In the imaging display method according to claim 1,
In the display step, a trimming frame is arranged on the first image and the second image on the background area based on the operation of the user, and the image angle of view range included in the trimming frame is set. Generate a composite image and save it as the image data.
An image pickup display method characterized by this.
前記撮像ステップは、１８０°以上で３６０°以内の画角を持つ広角画像を撮像可能であり、前記第１画像または前記第２画像の少なくとも一方が前記広角画像である、
ことを特徴とする撮像表示方法。 In the imaging display method according to claim 1,
The imaging step can capture a wide-angle image having an angle of view of 180 ° or more and 360 ° or less, and at least one of the first image or the second image is the wide-angle image.
An image pickup display method characterized by this.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020126106A JP7024018B2 (en) | 2020-07-27 | 2020-07-27 | Imaging display method |
| JP2022018423A JP7352672B2 (en) | 2020-07-27 | 2022-02-09 | Imaging display method |
| JP2023149740A JP2023164567A (en) | 2020-07-27 | 2023-09-15 | Display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020126106A JP7024018B2 (en) | 2020-07-27 | 2020-07-27 | Imaging display method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016131929A Division JP6741498B2 (en) | 2016-06-20 | 2016-07-01 | Imaging device, display device, and imaging display system |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022018423A Division JP7352672B2 (en) | 2020-07-27 | 2022-02-09 | Imaging display method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020182240A JP2020182240A (en) | 2020-11-05 |
| JP7024018B2 true JP7024018B2 (en) | 2022-02-22 |
Family
ID=73024868
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020126106A Active JP7024018B2 (en) | 2020-07-27 | 2020-07-27 | Imaging display method |
| JP2022018423A Active JP7352672B2 (en) | 2020-07-27 | 2022-02-09 | Imaging display method |
| JP2023149740A Pending JP2023164567A (en) | 2020-07-27 | 2023-09-15 | Display method |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022018423A Active JP7352672B2 (en) | 2020-07-27 | 2022-02-09 | Imaging display method |
| JP2023149740A Pending JP2023164567A (en) | 2020-07-27 | 2023-09-15 | Display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (3) | JP7024018B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010252258A (en) | 2009-04-20 | 2010-11-04 | Sanyo Electric Co Ltd | Electronic device and image capturing apparatus |
| JP2015015583A (en) | 2013-07-04 | 2015-01-22 | ブラザー工業株式会社 | Terminal device and program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4765395B2 (en) * | 2005-05-11 | 2011-09-07 | カシオ計算機株式会社 | Image photographing control device, image editing device, and program |
| JP2013013050A (en) * | 2011-05-27 | 2013-01-17 | Ricoh Co Ltd | Imaging apparatus and display method using imaging apparatus |
-
2020
- 2020-07-27 JP JP2020126106A patent/JP7024018B2/en active Active
-
2022
- 2022-02-09 JP JP2022018423A patent/JP7352672B2/en active Active
-
2023
- 2023-09-15 JP JP2023149740A patent/JP2023164567A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010252258A (en) | 2009-04-20 | 2010-11-04 | Sanyo Electric Co Ltd | Electronic device and image capturing apparatus |
| JP2015015583A (en) | 2013-07-04 | 2015-01-22 | ブラザー工業株式会社 | Terminal device and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7352672B2 (en) | 2023-09-28 |
| JP2022060315A (en) | 2022-04-14 |
| JP2020182240A (en) | 2020-11-05 |
| JP2023164567A (en) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017221659A1 (en) | Image capturing device, display device, and image capturing and displaying system | |
| WO2017067520A1 (en) | Mobile terminal having binocular cameras and photographing method therefor | |
| WO2017088678A1 (en) | Long-exposure panoramic image shooting apparatus and method | |
| JP2012065263A (en) | Imaging apparatus | |
| JP2009267792A (en) | Imaging apparatus | |
| JP6741498B2 (en) | Imaging device, display device, and imaging display system | |
| JP4748442B2 (en) | Imaging apparatus and program thereof | |
| JP4324728B2 (en) | Imaging apparatus, captured image processing method and program used in the imaging apparatus | |
| JP2020042064A (en) | Display control device, imaging device, program and storage medium | |
| JP7024018B2 (en) | Imaging display method | |
| JP2013135459A (en) | Imaging apparatus and control method and program thereof | |
| JP6704301B2 (en) | Imaging device and imaging display system | |
| JP5851133B2 (en) | Image reproducing apparatus, image reproducing method and program | |
| JP6871458B2 (en) | Imaging display method | |
| JP2004088607A (en) | Imaging apparatus, imaging method and program | |
| JP5914714B2 (en) | Imaging equipment and method | |
| JP5737961B2 (en) | Imaging device | |
| JP5776248B2 (en) | Imaging apparatus and program | |
| JP2010109634A (en) | Image display apparatus and image capturing apparatus | |
| JP2016051939A (en) | Imaging apparatus, control method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200727 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210713 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210913 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20211022 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220111 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220209 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7024018 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |