JP5533201B2

JP5533201B2 - 撮像画像表示装置、撮像画像表示システム、制御方法、撮像画像表示方法およびプログラム。

Info

Publication number: JP5533201B2
Application number: JP2010104692A
Authority: JP
Inventors: 祥剛宮島
Original assignee: Canon Marketing Japan Inc
Current assignee: Canon Marketing Japan Inc
Priority date: 2010-04-30
Filing date: 2010-04-30
Publication date: 2014-06-25
Anticipated expiration: 2030-04-30
Also published as: JP2011234256A

Description

本発明は、例えば位置情報取得機能及び通信機能を備えた撮像画像表示装置１００及びそれに用いる記録ファイルの作成方法及び再生装置に係り、特に少なくとも動画像データと地図画像データとを関連付けた記録ファイルを生成し記録可能な撮像画像表示装置１００、当該記録ファイルの作成方法、当該記録ファイルに基づき再生が可能な再生装置に関する。

近年、デジタル画像技術の発展により、動画、静止画を問わずデジタル形式の写真、ビデオが主流になっており、カメラ、ビデオ問わずそれらの付加機能は高まりつつある。例えば、近年では、ＧＰＳ（グローバル・ポインティング・システム）から動画、静止画の撮影場所を取得可能なビデオカメラや、デジタルコンパクトカメラ（以下、まとめて「撮像画像表示装置１００」）が存在する。インターネットを介してサービスプロバイダ等により地図データが提供されるようになり、これらの機能を有する撮像画像表示装置１００により撮影された静止画、動画は、付加情報として、地図データと紐付けてユーザが動画像を情報処理装置に記憶管理することが可能である。

例えば、特許文献１には、時刻情報と撮影方角と撮影位置とからなる撮影識別情報を付加した画像をサーバへ送信し、そのサーバが撮影位置を含む地図やその撮影地点での写真画像を利用者端末へ提供する位置方位付き写真提供システムが開示されている。

また、特許文献２には、動画撮影時に動画像データ、並びに地図画像データを対応付けた記録ファイルを生成して記録し、動画再生時に動画撮影中のリアルタイムな撮影場所を反映した地図画像を表示可能とする撮像装置、及び当該記録ファイルの作成方法及び当該記録ファイルに基づく再生が可能な撮像再生装置が開示されている。

これらの特許文献によれば、画像（若しくは動画）の撮影時に、撮影場所の位置情報を取得しておき、地図情報に動画像情報を付加するシステムが実現可能である。

また、特許文献３には、撮像装置（デジタルカメラ）で撮影した画像に撮影位置情報の他に、撮影日時情報を付加して、特定の対象画像の、現在を除く過去や未来の画像を、ユーザが取得可能なシステムが開示されている。

特開２００７−５２８０９号公報特開２００８−２７７９５９号公報特登録４３６６６０１号公報

特許文献３に開示される発明は、被写体の撮像時に、同じ撮像場所において、同じ被写体あるいは被写体方向の過去または未来の画像を見てみたいという要求から、同じ場所で撮影された過去や未来の画像を取得可能なシステムである。しかしながら、このシステムは、特定の場所から撮影された画像のみを検索するためユーザの求める被写体の過去（未来）画像が検索結果として取得しづらいという課題が想起される。画像を検索する側のユーザからすれば、同じ撮像場所において、同じ被写体あるいは被写体方向の画像を検索することもあるが、それ以上に、撮像場所は特に限定せずに、被写体の過去の姿を求める需要が大きいと思われる。

本発明は、検索条件とする被写体の位置とは異なる被写体の位置に対応する画像の撮像方向を示す情報である逆ベクトルの情報を用いて、検索結果として表示すべき対象を広げ、画像検索効率を向上させることが可能な仕組みを提供することを目的とする。

即ち、本発明の撮像画像表示装置は、検索候補の撮像画像を、当該撮像画像の撮像日時と、当該撮像画像の被写体の位置を示す１つの被写体位置と、当該被写体位置から当該撮像画像の撮像位置への方向を示すベクトル情報と対応付けて記憶する記憶装置と通信可能な撮像画像表示装置であって、検索条件として設定すべき被写体の被写体位置である、第１の被写体位置を特定する被写体位置特定手段と、検索結果として表示すべき撮像画像の撮像日時と、前記ベクトル情報とは逆の方向であって、前記第１の被写体位置とは異なる被写体位置である第２の被写体位置からの方向を示す逆ベクトル情報を検索条件に含めるか否かを、検索結果として表示すべき対象を広げるべく設定する設定手段と、前記設定手段により、前記逆ベクトル情報を検索条件に含めない設定がされている場合には、前記設定手段により設定された前記撮像日時と、前記第１の被写体位置及び前記ベクトル情報を用いて検索された撮像画像を検索結果として表示部に表示し、前記逆ベクトル情報を検索条件に含める設定がされている場合には、前記設定手段により設定された前記撮像日時と、前記第１の被写体位置及び前記第１の被写体位置の方向を示す前記逆ベクトル情報を用いて検索された撮像画像を検索結果として表示部に表示すべく制御する制御手段と、を備えることを特徴とする。

本発明によれば、検索条件とする被写体の位置とは異なる被写体の位置に対応する画像の、撮像方向を示す情報である逆ベクトルの情報を用いて、検索結果として表示すべき対象を広げ、画像検索効率を向上させることが可能な仕組みを提供することが可能になる。

本システムのシステム構成を示す図である。本発明における撮像画像表示装置１００の構成例を示す図である本発明における撮像画像表示装置１００のハードウエア構成例を示す図である。本発明における画像管理装置２００のハードウエア構成例を示す図である。本発明における撮像画像表示装置１００の処理例を示すフローチャートである。本発明における撮像画像表示装置１００の処理例を示すフローチャートである。本発明における撮像画像表示装置１００の表示部１０で表示される画面一例である。本発明における画像管理装置２００で記憶される画像属性情報例を示すデータテーブルである。本発明における撮像画像表示システムの処理例を示すフローチャートである。本発明における撮像画像表示装置１００の表示部１０で表示される画面一例である。本発明における撮像画像表示装置１００の表示部１０で表示される画面一例である。本発明における撮像画像表示装置１００の処理例を示すフローチャートである。本発明における撮像画像表示装置１００での被写体位置取得例を示す図である。本発明における撮像画像表示装置１００の処理例を示すフローチャートである。本発明における撮像画像表示システムの処理例を示すフローチャートである。本発明における撮像画像表示装置１００の表示部１０で表示される画面一例である。

以下、図１を用いて、本発明の実施形態のシステム構成の一例を説明する。図１は、本実施例における撮像画像表示システムの一例である。

本実施例の撮像画像表示システムは、撮像画像表示装置１００、画像管理装置２００、位置情報取得装置３００がネットワーク１を通じて接続可能な環境にある。

撮像画像表示装置１００は、備え付けのモード切替機構（ダイヤル）で静止画撮影、シーン別静止画撮影、動画撮影、画像転送（アップロード）、画像呼出（ダウンロード）のそれぞれのモードに切り替えることが可能なものとする。モード切替機構１１において切り替え可能な撮像画像表示装置１００については、後述の図２において詳細に説明する。

なお、撮像画像表示装置１００は、本明細書での例としてデジタルカメラなどの撮像画像表示装置１００としているがこの限りではなく、動画を記録可能なビデオカメラや、撮像部を備えたデジタルフォトフレームや携帯電話等、可搬性のある装置であれば実現可能である。

画像管理装置２００は、撮像画像表示装置１００から転送（アップロード）された画像を受信して記憶管理している。また、撮像画像表示装置１００からの画像呼出要求に応じて、管理されている画像を検索し、画像呼出要求に該当する画像を撮像画像表示装置１００に送信する。

位置情報取得装置（システム）３００は、既知の技術であるＧＰＳ（ＧｒｏｂａｌＰｏｉｎｔｉｎｇＳｙｓｔｅｍ）を利用することで、撮像画像表示装置１００をもつユーザの位置情報を取得することが可能であるため、装置は特に限定をしない。

本発明の撮像画像表示システムは、これらの撮像画像表示装置１００、画像管理装置２００、位置情報取得装置３００が、ネットワーク１で相互に接続可能である構成を必要とする。

図２は、撮像画像表示装置１００の詳細な構成を示す図である。撮像画像表示装置１００は、表示部１０と、モード切替機構１１と、日付設定機構１２、地図情報呼出機構１５を備えているものとする。この他に、撮像画像表示装置１００としては必須のレンズや、シャッター等も備えているものとする。

なお、本図でモード切替機構１１と日付設定機構１２は、ダイヤル式のボタンとしているが、実際にはこの限りではない。表示部１０がタッチパネル機能を有するものである場合に、モード切替機構１１、日付設定機構１２、地図情報呼出機構１５を備えずに、表示部１０に表示される「モード切替」ボタンや、「日付設定」ボタンの押下を受け付けることにより、設定変更を実現可能である。

また、モード切替機構１１には、静止画撮影モード、シーン別撮影モード、動画撮影モード、プレビューモードの他に、画像転送モード１３と画像呼出モード１４を備えている。つまり、撮像画像表示装置１００は、有線若しくは無線形式でネットワークとの接続が可能であり、撮像画像表示装置１００で撮影をした画像（動画）のアップロードおよびダウンロードが可能である。

モード切替機構１１は、撮像画像表示装置１００で備えている撮影方式の切替えを行う。本図では、撮像画像表示装置１００の備える機能として、静止画（写真）撮影モード、シーン別静止画撮影モード、動画撮影モード、プレビューモードの他に、特徴的な機能として、画像転送モード１３、画像呼出モード１４を備えているものとする。

なおモード切替機構１１、及び日時設定機構１２について、本図において設定機構を備えている撮像画像表示装置１００を例示しているが、撮像画像表示装置１００には表示部１０が既知の技術を利用したタッチパネル機能を備えているものがある。

この場合モード切替機構１１は、タッチパネルの画面上に表示される「モード設定」ボタンを押下することで、その撮像画像表示装置１００で設定ができるモードが選択可能に表示され、ユーザによるタッチ操作を受け付けて撮影モードの切替制御を行うことが可能である。

日時設定機構１２についても、被写体を設定した後に、タッチパネルの画面上に表示される「日時設定」ボタンを押下することで、ユーザによるタッチ操作を受け付けて被写体Ｚの過去に撮影された画像を取得（ダウンロード）することが可能である。

画像転送モード１３では、ネットワーク接続が可能な撮像画像表示装置１００である場合に、ネットワークを介して画像管理装置２００に撮影した画像を転送（アップロード）することが可能である。

画像呼出モード１４では、画像を取得するために、被写体（被写体Ｚとする）を設定し、画像が撮影された日時を日時設定機構１２で設定することにより、ネットワークを介して画像管理装置２００に記憶管理されている被写体Ｚの過去に撮影された画像を取得（ダウンロード）することが可能である。また、画像呼出モード１４では、撮像画像表示装置１００に装着されている外部メモリ２１１に記憶されている画像の中から、過去画像を取得する被写体Ｚとして選択された画像を検索し、表示部に表示することも可能である。

また、撮像画像表示装置１００が静止画撮影モードであれば、地図情報呼出機構１５の押下を受け付けることにより、撮像画像表示装置１００が向いている方向の地図情報を取得することが可能である。また、撮像画像表示装置１００がプレビューモードで静止画を表示部１０に表示している場合には、地図情報呼出機構１５の押下を受け付けることにより、画像の被写体位置情報を中心とした地図情報を表示する。

本構成を備えることにより、撮像画像表示装置１００では、画像転送モードを用いてネットワーク通信を実行して撮影した画像を画像管理装置２００に転送して画像を管理することが可能である。

また、撮像画像表示装置１００で設定した被写体Ｚの過去画像を取得する際に、画像管理装置２００と通信をすることにより、画像管理装置２００に記憶管理されている同被写体Ｚの過去画像を取得することが可能である。

次に、撮像画像表示装置１００のハードウエア構成例を図３に示す。この図３の例の実施形態の撮像画像表示装置１００は、無線通信機能を備え、この例では、撮像画像表示装置１００の構成である。この実施形態では、静止画を撮像するデジタルカメラの場合として説明するが、動画も合わせて撮像記録することができるものであっても勿論よい。

図３に示すように、この実施形態の撮像画像表示装置１００は、ＣＰＵ１０１に対して、システムバス１０４を通じてＲＯＭ２０２と、ＲＡＭ２０３とが接続されると共に、システムバス１０４には、入力コントローラ１０５、ビデオコントローラ１０６、メモリコントローラ１０７、通信Ｉ／Ｆコントローラ１０８、カレンダー時計部１０９、カメラモジュール１１０とが接続されている。

また、システムバス２０４には、更に、高度センサ１１１、方位センサ１１２、傾きセンサ１１３、ＧＰＳ測位部１１４が接続されている。

ＲＯＭ１０２には、撮像機能を遂行するためのプログラムの他、上述した画像サーバ１に対する検索要求、取得要求を発信し、画像サーバ１から、当該検索要求や取得要求に応じて送られてくる情報を取得して表示および記録処理するためのプログラム、撮像画像データの画像サーバ１へのアップロードのためのプログラムなどが記憶されている。後述するように、ＣＰＵ１０１により、ＲＡＭ１０３をワークエリアとして用いながら、このＲＯＭ１０２に記憶されているプログラムが実行されるものである。

１０５は入力コントローラで、操作入力部１１５や不図示のマウス等のポインティングデバイス等からの入力を制御する。１０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）１１６等の表示器への表示を制御する。なお、図３では、ＣＲＴ１１６と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。

１０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶するハードディスク（ＨＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。

１０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

操作入力部１１５は、ズームキーやシャッターボタンなどの撮像のために操作するキー群を含む。ＣＰＵ１０１は、操作入力部１１５において、いずれのキーが操作されたかを監視して、操作されたキーに応じた処理を、ＲＯＭ１０２のプログラムにしたがって実行する。

カレンダー時計部１０９は、年、月、日、時、分、秒のカレンダー時計情報を発生するものである。このカレンダー時計情報は、撮像時に、その撮像時間情報として保持される。また、タイマー動作をする場合には、このカレンダー時計部１０９からの時刻情報に基づいて、タイマー時間が計測される。

カメラモジュール１１０は、例えばＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージャやＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージャからなる撮像素子と、撮像レンズを含む撮像光学系と、撮像画像信号処理部とを含み、デジタル信号とされた撮像画像データをシステムバス１０４に出力する。

高度センサ１１１は、撮像装置が現在存在している場所の高度を検知し、検知した高度の情報をシステムバス２０４に送出する。

方位センサ１１２は、カメラモジュール１１０のレンズ光学系の光軸の方向、つまり、撮像方向を検知し、検知した撮像方向の情報をシステムバス２０４に送出する。

傾きセンサ１１３は、カメラモジュール１１０のレンズ光学系の光軸の方向と、水平面とのなす角（仰角または伏角）、つまり、撮像画像表示装置１００の撮像方向の上下方向のアングル（いわゆる撮像アングル）を検知し、検知した撮像アングルの情報をシステムバス２０４に送出する。

ＧＰＳ測位部１１４は、ＧＰＳ衛星からの電波を受信して、撮像画像表示装置１００が存在している位置を検知し、検知した位置の情報をシステムバス２０４に送出する。

この実施形態では、後述するように、これら高度センサ１１１からの高度情報、方位センサ１１２からの撮像方向情報、傾きセンサ１１３からの撮像アングルの情報、ＧＰＳ測位部１１４からの位置情報は、撮像した画像のデータと共に、当該撮像画像のメタ情報として外部メモリ１１７に記録される。

また、画像管理装置２００に検索要求を送るときには、上述した撮像された時の情報に加えて、高度センサ１１１からの高度情報、方位センサ１１２からの撮像方向情報、傾きセンサ１１３からの撮像アングルの情報、ＧＰＳ測位部１１４からの位置情報は、検索条件情報に含められる。

さらに、この実施形態では、撮像画像表示装置１００で撮像した画像を、画像管理装置２００にアップロードするか否かをユーザが設定可能とされており、その設定情報が、図示を省略した外部メモリ（電池バックアップされたメモリを含む）に記憶されている。そして、シャッターを切ったときには、この設定情報を確認して、アップロード可に設定されているときには、当該撮像画像を前記メタ情報と共に、画像サーバ１にアップロードするようにする。

なお、予め、画像管理装置２００にアップロードするか否かを予めユーザが設定して保持しておくのではなく、ユーザがシャッターを切る操作をするごとに、その撮像画像のデータを画像サーバ１にアップロードしてよいか否かをユーザに問い合わせるメッセージをＬＣＤ画面２０８Ｄに表示して、ユーザにアップロード可否を入力させるようにしてもよい。

以上のように、この実施形態の撮像画像表示装置１００では、撮像画像表示装置１００に取付けた、高度センサ１１１、方位センサ１１２、傾きセンサ１１３、ＧＰＳ測位部１１４により、ユーザが、どこで、どんなアングルで撮影をしているかを認識する。そして、撮像画像表示装置１００は、その認識した条件を検索条件とすると共に、ユーザにより指定された過去の年代を検索条件として、画像管理装置２００に検索要求をし、これにより、当該検索条件に適合する、現在を除く過去の年代に撮影された、当該過去の写真をインターネット上にある画像管理装置２００から検索するようにする。

図４は、画像管理装置２００のハードウエア構成例を示す図である。図４において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

２０５は入力コントローラで、キーボード（ＫＢ）２０９や不図示のマウス等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）２１０等の表示器への表示を制御する。なお、図２では、ＣＲＴ２１０と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。

２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶するハードディスク（ＨＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。

２０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ＣＲＴ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル、地図情報等も、外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。

次に、撮像画像表示装置１００を用いて画像を撮影する処理について、以下のフローチャートを用いて説明をする。

図５は、本発明の撮像画像表示装置１００で、画像を撮影する処理についてのフローチャートである。

まず、ユーザ操作により撮像画像表示装置１００の電源が投入されると（例えば、電源ボタンの押下やレンズカバーのオープンなど）、撮像画像表示装置１００が起動する（ステップＳ５０１）。

撮像画像表示装置１００が起動し、ユーザによるモードの切り替え指示を受付けると、撮像画像表示装置１００に予め設定されている、静止画撮影モード、シーン別撮影モード、動画撮影モードの設定ファイルを読込み、モード切替制御を行いスタンバイ状態にする（ステップＳ５０２）。

次に、ユーザの操作に応じて、被写体に撮像画像表示装置１００を向けて被写体を設定する（ステップＳ５０３）。被写体の設定方法は、本発明を実施する撮像画像表示装置１００の撮影方法に基づくものとするため限定はしないが、例えば、表示部１０がタッチパネル機能を持つ撮像画像表示装置１００であれば、表示部１０に移る被写体に対するタッチ指示を受け付けることで、選択された被写体に対してレンズ焦点を合わせる制御をする。

なお、ステップＳ５０３で被写体の設定がユーザ操作によりなされなかった場合には、撮像画像表示装置１００に搭載されているオートフォーカスにより、被写体の設定を実現可能とする。

被写体が設定されると、ユーザ操作に応じて撮像画像表示装置１００のシャッターの押下を受付け、撮影を行う（ステップＳ５０４）。

ステップＳ５０５において、撮像画像表示装置１００は、撮影された画像に撮影情報を付加する。ここで言う撮影情報とは、画像を撮像した日時情報や、ＧＰＳ測位部１１４から取得される撮影位置の位置情報、高度センサ１１１から取得される現在の撮影位置の高さ情報、方位センサ１１２から取得される撮像方向の情報、傾きセンサ１１３から取得される、撮像画像表示装置１００の上下方向のカメラアングルの情報、画像に撮影されている被写体の位置情報、被写体から撮影位置までの距離情報（本発明中では、「３Ｄベクトル情報」と称する）とその距離、並びに画像を撮影したユーザのユーザＩＤ情報を付加するものとする。

撮影された画像は、それらを一意に特定するために画像名（シリアル番号等を想定）が付されるものとする。その後、撮像画像表示装置１００は、撮影情報を付加した画像を記録媒体の所定の記録領域に記録する。これらの情報については、後述の図８について詳細に説明をする。

図６は、本発明の撮像画像表示装置１００で、撮影した画像を画像管理装置２００に転送（アップロード）する処理についてのフローチャートである。

まず、ユーザのボタン押下により撮像画像表示装置１００が起動されると（ステップＳ６０１）、撮像画像表示装置１００が画像転送モード１３に設定されたことを確認する（ステップＳ６０２）。操作モードの切替制御は、ステップＳ５０２で先述の通り、撮像画像表示装置１００に予め設定されている各モードの設定ファイルを読込み、設定されたモードに切替る制御を行う。

画像転送モード１３に切り替わると、撮像画像表示装置１００は、画像管理装置２００へ転送するための画像を選択する画面が表示される。選択画面が表示されると、撮像画像表示装置１００は、ユーザ操作により画像管理装置２００に転送する画像の選択を受け付ける（ステップＳ６０３）。具体的な転送画像選択画面の例は、図１２の画面１２００に示す。

転送する画像の選択を受け付けると、撮像画像表示装置１００は、ユーザの転送ボタン押下指示を受け付けて（ステップＳ６０４）、選択された画像を画像管理装置２００へ転送する（ステップＳ６０５）。

図１１は、図６のステップＳ６０３において画像管理装置２００に転送する撮像画像を選択する画面の例である。画面１１００では、図５で撮像画像表示装置１００において記憶された画像のサムネイル画像が表示され、それらを選択するための太枠１１０１が表示されている。太枠１１０１をＯＫボタン１１０２で上下左右に移動させ、ＯＫボタン１１０２の押下を受け付けることによって、ＯＫボタン押下時に太枠１１０１内にあった画像が選択される。

転送する画像の選択を受け付けたら、決定ボタン１１０３に太枠を合わせて、決定ボタン１１０３の押下を受け付ける。図１２のように「合計４枚の画像を転送します。ＯＫボタンを押して下さい」という旨の、転送指示のダイアログ（１１０４）が表示されるので、実行すべくＯＫボタン１１０２の押下を受け付けることで、転送が実行される。

なお、本図では、ＯＫボタン１１０２の押下により太枠１１０１を上下左右に移動させて転送する画像の選択を受け付ける制御を行っているが、表示部１０（画面１１００）がタッチパネル機能を有するものであれば、直接画像のサムネイル「Ａ，Ｂ，Ｃ…」へのタッチによる選択受け付けおよび、決定ボタンの押下による転送指示を受け付けることが可能である。

次に本発明の撮像画像表示システムにおいて、画像管理装置２００が撮像画像表示装置１００より画像を受信する処理について説明する。

ステップＳ６０６において、画像管理装置２００は、ステップＳ６０５で撮像画像表示装置１００より転送された画像を受信する。画像を受信すると、画像管理装置２００は、撮像画像表示装置１００において撮影時に記憶された撮影情報の読込を開始する（ステップＳ６０７）。

ステップＳ６０８において、画像管理装置２００は、受信した画像に付加されている撮影情報の解析を行う。

具体的に、画像管理装置２００は、転送された画像の画像名、撮影位置情報と撮影位置の高さ情報、撮影方向情報、撮影時の撮像画像表示装置１００の傾き情報、被写体位置情報、およびに画像を撮影したユーザのユーザ識別情報を解析する。被写体時位置情報は、後述の図１３において詳細な情報取得方法を説明する。

属性情報の解析をすると、解析した画像の属性情報のうち、被写体Ｚの位置情報で示される地図上の店を始点とし、撮影位置情報で示される地図上の点を終点とする３Ｄベクトルデータを生成し（ステップＳ６０９）、画像管理装置２００に記憶されている地図上に、被写体Ｚの位置情報と３Ｄベクトルデータを付加しマッピングする（ステップＳ６１０）。

マッピングが完了すると、画像管理装置２００は撮像画像表示装置１００より転送された画像と画像の属性情報を所定の位置にて記憶管理する（ステップＳ６１１）。

なお、図６の画像管理装置２００へのアップロード処理は、撮像画像表示装置１００と、画像管理装置２００とがネットワーク１を通じて通信可能である場合に実現可能である。画像管理装置２００に画像を蓄積せず、撮像画像表示装置１００の外部メモリ１１７に記憶する画像に属性情報を付加する場合には、ステップＳ６０７〜ステップＳ６１１の処理を全て撮像画像表示装置１００のＣＰＵ１０１で実現させる。

具体的には、ステップＳ６０７において、撮像画像表示装置１００のＣＰＵ１０１が、撮影画像に付加される属性情報の読み込みを開始する。

ステップＳ６０８において、撮像画像表示装置１００のＣＰＵ１０１は、転送された画像の画像名、撮影位置情報と撮影位置の高さ情報、撮影方向情報、撮影時の撮像画像表示装置１００の傾き情報、被写体位置情報、およびに画像を撮影したユーザのユーザ識別情報を解析する。

ステップＳ６０９において、解析した画像の属性情報のうち、被写体Ｚの位置情報で示される地図上の点を始点とし、撮影位置情報で示される地図上の点を終点とする３Ｄベクトルデータを生成する。

作成された３Ｄベクトルデータを、撮像画像表示装置１００で取得可能な地図上にマッピングし、処理を終了する。

図７は、画像管理装置２００で記憶管理する、画像の属性情報から解析される撮影位置情報、被写体Ｚの位置情報から生成される３Ｄベクトルデータを地図上にマッピングした例の図面である。本図においては、東京都品川区天王洲周辺で撮影された画像の被写体としてＡ、Ｂ、Ｃ、Ｄと、それらを撮影した位置情報とから生成される３Ｄベクトルデータ（Ａ１，Ａ２、Ａ３…）が実線矢印で地図にマッピングされている。

また、点線で示されているＢ３’、Ｃ３’、Ｄ３’は、それぞれ、Ｂ３、Ｃ３、Ｄ３の撮影位置から実際に地点Ｂ，Ｃ，Ｄを撮影した時に背景として画像データに記憶される方向の逆ベクトル情報である。

逆ベクトル情報とは、後述する図１０の画像呼出処理のシーケンスチャートにおいて撮像画像表示装置１００から画像管理装置２００に記憶されている画像を検索する際に利用される。

例えば、地点Ａが被写体として設定されている画像データを検索する時に、通常であれば、画像の検索対象となるのはＡ１、Ａ２、Ａ３であるが、被写体としてではなく、背景に地点Ａが撮影されている画像データも検索対象として設定する場合に、Ｂ３’およびＣ３’も候補として挙がってくることになる。そのため、後述の画像検索条件の設定時には、「逆ベクトル情報を検索対象に含む／含まない」を選択することが可能である。

図８は、ステップＳ６０８において、画像管理装置２００で解析された撮影情報を示す、画像情報テーブルの一例である。画像管理装置２００は、受信した画像に付加された情報を解析して、画像を記憶管理する。

本画像情報テーブルで記憶される情報は、例えば、撮影者情報８０１、撮影日時情報８０２、撮影位置情報８０３、撮影方向情報８０４、撮影時の撮像画像表示装置１００の傾き情報８０５、被写体の位置情報８０６、撮影被写体から撮影位置までの３ＤベクトルＩＤ８０７、３Ｄベクトルの長さ情報８０８および画像名８０９である。

撮影者情報８０１は、本撮像画像表示システムを利用するユーザに一意に割り当てられるユーザＩＤなどを指す。または、画像の送信元である撮像画像表示装置１００の機種番号が撮影者情報８０１となってもよい。撮影日時情報８０２は、画像が撮影された日時を示している。

撮影位置情報８０３は、撮影前に撮像画像表示装置１００のＧＰＳ測位部１１４が自動で取得する緯度・経度情報と、高さセンサ１１１により取得される撮影位置の標高の情報を示している。

撮影方向情報８０４は、方位センサ１１２により取得される撮影時の撮像画像表示装置１００のレンズの向きを示している。

傾き情報８０５は、傾きセンサ１１３により取得される、水平時＝０°を基準にした撮像画像表示装置１００の撮影時の傾きを示す。上方向に傾けられると、正の位の数値で表され、下方向に傾けられると、負の位の数値で表される。被写体の位置情報８０６は、図１３で示す測定方法で算出する。

３ＤベクトルＩＤ８０７は、被写体の位置情報８０６を始点とし、撮影位置情報８０３を終点とする仮想の線分で結んだ地図上のベクトルデータに一意に採番される識別情報である。

３Ｄベクトルの長さ情報８０８とは、前記被写体の位置情報８０６を始点とし、撮影位置情報８０３を終点とする仮想の線分で結んだ地図上のベクトルデータの距離を示す。

画像名（画像ＩＤ）８０９は、撮影された撮像画像表示装置１００で一意に採番される識別番号若しくは文字列である。

図１３は、画像の撮影位置情報、撮影時の傾き情報、撮影方向情報、および撮像画像表示装置１００で撮像時に算出するレンズの焦点距離の情報を用いて被写体の位置情報を特定する方法について示した図である。本図では、撮影位置情報（ＸＸ，ＹＹ）から北にＸメートルの位置が被写体の位置情報（ＡＡ，ＢＢ）となる。なお、実際の撮影位置情報は、ＧＰＳ測位部より取得するため、（３５°４０′Ｎ／１３９°４６′Ｅ）のように（緯度、経度）で表される。その算出方法について説明する。

まず、撮像画像表示装置１００は撮影位置（頂点Ｂ）からレンズの焦点（頂点Ａ）までの距離を算出する（焦点距離の算出）。本図では、焦点距離ＡＢは２００メートルとなっている。次に、撮像画像表示装置１００は、画像の撮影時に傾きセンサ１１３により撮像画像表示装置１００自体の傾き情報を取得する。本図では、撮像画像表示装置１００の傾きは「３０°」となっている。

図１３で示す直角三角形のうち、２角が「３０°」と直角であることから、残りの１角が「６０°」であることが明らかになる。このことから、レンズの焦点（頂点Ａ）から被写体位置（Ｃ）までの距離（高さ）は、１００メートルであると算出することができる。この直角三角形の３辺の比は、（焦点から地上までの距離ＡＣ：焦点距離ＡＢ：撮影位置から被写体までの距離ＢＣ）＝（１：２：√３）であることから、線分ＢＣ（Ｘ）＝１００ｍ×√３＝約１７３ｍと算出することができる。

よって、撮影位置（ＸＸ，ＹＹ）から北に１７３ｍの位置が、被写体位置情報（ＡＡ，ＢＢ）であるとわかる。上記のように、焦点距離と、傾きを算出することで、三角関数の定理を用いて簡単に撮影位置から被写体位置までの距離を求めることが可能である。また、被写体の位置情報の検出手段は、上記手段の他にも、「特開平０９−１０１１４２号公報」の図３の方法を用いることで、被写体の位置を検出することが可能である。すなわち、カメラから被写体までの距離を検出する手段は、カメラレンズのフォーカス情報等を利用して構成することができる。ビデオカメラ（撮像画像表示装置１００）のレンズの場合、一般にフォーカスに連動した電圧出力を得ることができ、この電圧と距離の関係式を予め求めておくことによって、電圧より距離が検出される。画像の撮影位置（緯度、経度）をＧＰＳから検出する。このＧＰＳ１７は例えばカーナビゲーション用ＧＰＳの機能と同様の機能を有するものである。地図情報を記憶する記憶手段としては、ＣＤ−ＲＯＭ等が用いられ、このＣＤ−ＲＯＭはカーナビゲーション用として市販されているものを用いることができる。
カメラ光軸の姿勢角と方位角、カメラから被写体までの距離及びカメラの位置から、被写体の位置（緯度、経度）を算出する。被写体の位置は実際には３次元で演算されるが、緯度−高さの２次元で説明すると、「特開平９−１０１１４２号公報」の図３Ａに示されるように、撮影位置（ＬＡＴ０）、カメラ光軸方向（θ）、被写体までの距離（Ｒ）から、被写体位置（ＬＡＴ１）は、ＬＡＴ１＝ＬＡＴ０＋Ｒｃｏｓθで求められる。

図９は、撮像画像表示装置１００を用いて画像管理装置２００に記憶管理されている過去画像を取得する処理についてのフローチャートである。

まず、ユーザ操作により撮像画像表示装置１００の電源が投入されると（例えば、電源ボタンの押下やレンズカバーのオープンなど）、撮像画像表示装置１００が起動する（ステップＳ９０１）。

撮像画像表示装置１００が起動すると、ユーザのモード切替機構１１操作によるモードの切り替え指示を受付ける。モードの切り替えは、撮像画像表示装置１００に予め設定されている静止画撮影モード、シーン別撮影モード、動画撮影モードの設定ファイルを読込み、モードの切替制御を行い、撮影スタンバイ状態にする（ステップＳ９０２）。

撮影可能な状態になると、ユーザによるシャッターボタンの半押しを受け付けて被写体を特定する（ステップＳ９０３）。また、ここでの被写体特定方法は、シャッターボタンの半押し時にオートフォーカスにより測定される焦点距離と、撮影時の撮像画像表示装置１００の傾き情報および撮影方向情報と、撮影位置情報とから被写体の位置を特定する方法が挙げられる（先述の図１３の方法）。

また、撮像画像表示装置１００の表示部１０がタッチパネル機能を有しているものであれば、画面へのタッチ指示を受け付けることにより被写体を特定することが可能である。画面へタッチ指示を受け付けた場合にも撮影位置からの焦点距離がわかるので、同様に被写体の位置を特定することが可能である。

ステップＳ９０３において被写体（被写体Ｚとする）が特定されると、当該被写体Ｚの過去画像を呼び出すための画像呼出モードへの切り替えを受け付ける。画像呼出モードへの切り替えは、図２の撮像画像表示装置１００の構成図で説明するように、撮像画像表示装置１００に搭載されているモード切替機構１１の画像呼出モード１４に合わせることで、画像管理装置２００から画像を呼び出すことが可能になる。

また、タッチパネルを有する撮像画像表示装置１００であれば、表示部１０に表示される「モード切替」ボタンの押下を受け付け、その下層にある「画像呼出モード１４」の選択を受け付けることで画像呼出モードへ切替制御をすることが可能である。

ステップＳ９０４で画像呼出モードへの切り替え制御を行うと、撮像画像表示装置１００は、画像呼出モードの日付設定機構１２を用いることにより、ステップＳ９０３で設定した被写体Ｚの過去画像を取得する日付の設定を受け付ける（ステップＳ９０５）。

被写体Ｚの過去画像の取得設定について、特に限定は行わないが、特定の日付（例えば、「１９９０年３月１日」）の過去画像を取得するための設定をすることも可能であるし、また特定の期間（例えば、「１９９０年１月１日〜１９９０年４月３０日」）に撮影された当該被写体Ｚの過去画像を取得する設定をすることも可能である。

過去画像を取得する日付を設定すると、ステップＳ９０６において、撮像画像表示装置１００は、画像管理装置２００で画像を検索する際の検索条件を設定する。画像撮影時に画像情報とともに記憶される撮影場所の位置情報と高度の情報を用いることにより、現在位置と同じ位置情報で記憶している画像の検索を行う。

また、検索条件に撮影場所の高さを「考慮する／しない」の条件を持たせることが可能であり、撮影場所の高さを考慮すると、現在位置の高さを取得して、同じ高さで撮影された画像があるか否かを検索する。
図１０は、過去画像を取得するための画像検索条件設定の一例である。

図１０の（１）は、過去画像を取得するための日付設定を行う画面の一例である。先のステップＳ９０３で被写体Ｚを特定し、Ｓ９０４で画像呼出モードに切り替わると、図１０（１）の日付設定画面が表示される。ここで画像を取得したい日時情報の設定を受け付ける。

また、図１０の（２）は、ステップＳ９０６で検索条件を設定する際の詳細検索条件設定画面である。本画面では、画像データの撮影位置の高さ（高度）情報を考慮に入れての検索を行うことが可能である。高さ（高度）情報を検索時の詳細設定に入れることにより、例えば、同じ建物から同じ被写体を撮影した場合（建物の１階と２階等）画像を絞ることが可能になる。

また、背景写真も「含む／含まない」の設定は、先に説明した図７の逆ベクトルデータを用いることで、検索対象を広げるために行う。例えば、地点Ａが被写体として設定されている画像データを検索する時に、通常であれば、検索対象となるのはＡ１、Ａ２、Ａ３から撮影された画像であるが、被写体としてではなく、背景に地点Ａが撮影されている画像データも検索対象として設定する場合に、Ｂ３’およびＣ３’の逆ベクトルデータも検索対象として挙がるため、検索結果には、Ｂ３、Ｃ３から撮影された画像も表示されることになる。

背景写真を検索対象に含む場合には、被写体からの範囲を指定することで、検索対象が広がりすぎることを防ぐことができる。詳細検索条件設定では、検索対象を、サーバに記憶されている画像にするか、それとも撮像画像表示装置１００に装着されている外部メモリ２１１に記憶されている画像にするかを選択することが可能である。

この設定により、図９のフローチャートのようにサーバに記憶されている画像から検索をするか、または後述の図１２のフローチャートのように、撮像画像表示装置１００の外部メモリ２１１に記憶されている画像から検索をするかを選択することが可能になる。
引き続き、図９の説明に戻る。

ステップＳ９０５およびＳ９０６で、被写体Ｚの過去画像を取得する日付と検索対象の設定を受け付けると、ステップＳ９０７において、撮像画像表示装置１００は、被写体Ｚの過去画像を取得するために、画像管理装置２００へ検索要求を送信する。ステップＳ９０８において、画像管理装置２００は、撮像画像表示装置１００から送信された被写体Ｚの過去画像の検索要求を受信する。

ステップＳ９０９において、画像管理装置２００は、画像管理装置２００の外部メモリ２１１に記憶されている画像の中から、被写体Ｚの過去画像を検索する。

具体的な検索方法について説明する。画像管理装置２００は、ステップＳ９０５で設定を受け付けた画像を検索したい日時情報を用いて、画像管理装置２００の外部メモリ２１１に記憶されている画像の中から設定された日時情報に合致する画像を抽出する。例えば、ステップＳ９０５で「１９９０年１月１日〜１９９０年４月３０日」の画像取得設定をした場合には、図８の画像情報テーブルの撮影日時情報８０２を検査して、該当する期間に撮影された画像を抽出する。

次に、画像管理装置２００は、ステップＳ９０７で撮像画像表示装置１００より送信された画像の検索対象とする被写体の位置情報を用いて、先程、撮影日時情報を基に抽出した画像のうち、今回被写体として選択されているものと同一の位置情報をもつ画像を抽出する。

次に、画像管理装置２００は、ステップＳ９０３で画像の検索対象となる被写体を特定した位置情報を用いて、前段落で抽出した画像のうち、同一の撮影位置情報をもつ画像を抽出する。撮影位置情報は、緯度・経度の情報の他に撮影位置の高さ情報も備えている。高さ情報も考慮して、現在画像を取得しようとしている位置の高さと同高さで撮影された画像のみを抽出したい場合には、図１０で示す詳細条件設定で、「高さを考慮に入れる」旨の設定をしておくことにより、現在位置と同じ高さで撮影された画像を抽出することが可能である。

ユーザの求める検索条件に合致した画像が取得されると、ステップＳ９１０において、画像管理装置２００は、送信された検索要求で設定されている条件に合致した被写体Ｚの画像を撮像画像表示装置１００に送信する。

ステップＳ９１１において、撮像画像表示装置１００は、画像管理装置２００より送信された被写体Ｚの過去画像を受信する。過去画像を受信すると、ステップＳ９１２において、撮像画像表示装置１００は、受信した画像を表示部１０に表示する。なお、複数枚の画像の候補が検出された場合には、検索結果一覧画面（不図示）を表示するよう制御することが可能である。

本フローチャートの処理によれば、撮像画像表示装置１００で過去画像を取得したい被写体を特定し、特定した被写体の過去に撮影された画像を、画像管理装置２００を介して取得することが可能になる。

次に、図１２のフローチャートを用いて、撮像画像表示装置１００に挿入されている記憶媒体（外部メモリ１１７）に記憶されている過去画像の取得方法について説明する。

図１２は、本発明の撮像画像表示装置１００において実施される過去画像の取得方法を示すフローチャートである。

まず、ユーザ操作により撮像画像表示装置１００の電源が投入されると（例えば、電源ボタンの押下やレンズカバーのオープンなど）、撮像画像表示装置１００が起動する（ステップＳ１２０１）。

撮像画像表示装置１００が起動すると、ユーザのモード切替機構１１操作によるモードの切り替え指示を受付ける。モードの切り替えは、撮像画像表示装置１００に予め設定されている静止画撮影モードの設定ファイルを読込み、モードの切替制御を行い、撮影スタンバイ状態にする（ステップＳ１２０２）。

撮影可能な状態になると、撮像画像表示装置１００の表示部１０に表示されている画面からユーザのタッチ操作を受け付け、被写体を特定する。また、ここでの被写体位置情報特定方法は、シャッターボタンの半押しを受け付けることで焦点距離を算出し、焦点距離と撮影時の撮像画像表示装置１００の傾き情報と、撮影時の撮像画像表示装置１００の撮影方向と、撮影位置情報から、被写体位置までの距離を算出する方法が挙げられる（先述の図１３と同様の方法をとる）。

ステップＳ１２０３において被写体（被写体Ｚとする）が特定されると、当該被写体Ｚの過去画像を呼び出すための画像呼出モードへの切り替えを受け付ける。画像呼出モードへの切り替えは、図２の撮像画像表示装置１００の構成図で説明するように、撮像画像表示装置１００に搭載されているモード切替機構１１の画像呼出モード１４に合わせることで、画像管理装置２００から画像を呼び出すことが可能になる。

ステップＳ１２０４で画像呼出モードへの切り替え制御を行うと、撮像画像表示装置１００は、画像呼出モードの日付設定機構１２を用いることにより、ステップＳ１２０３で設定した被写体Ｚの過去画像を取得する日付の設定を受け付ける（ステップＳ１２０５）。

過去画像を取得する日付を設定すると、ステップＳ１２０６において、撮像画像表示装置１００は、画像管理装置２００で画像を検索する際の検索条件を設定する。画像撮影時に画像情報とともに記憶される撮影場所の位置情報と高さの情報を用いることにより、現在位置と同じ位置情報で記憶している画像の検索を行う。

また、検索条件に撮影場所の高さを考慮する／しないの条件を持たせることが可能であり、撮影場所の高さを考慮すると、現在位置の高さを取得して、同じ高さで撮影された画像があるか否かを検索する。

被写体Ｚの過去画像を取得する日付の設定を受け付けると、ステップＳ１２０６において、撮像画像表示装置１００は、設定した日付の被写体Ｚの過去画像を取得するために、外部メモリ２１１に記憶されている画像の検索を開始する。

具体的な検索方法について説明する。撮像画像表示装置１００は、ステップＳ１２０５で設定を受け付けた画像を検索したい日時の情報を用いて、撮像画像表示装置１００の外部メモリ２１１に記憶されている画像の中から設定された日時情報に合致する画像を抽出する。例えば、ステップＳ１２０５で「１９９０年１月１日〜１９９０年４月３０日」の画像取得設定をした場合には、図８の画像情報テーブルの撮影日時情報８０２を検査して、該当する期間に撮影された画像を抽出する。

次に、撮像画像表示装置１００は、ステップＳ１２０７で撮像画像表示装置１００より送信された画像の検索対象とする被写体の位置情報を用いて、先程、撮影日時情報を基に抽出した画像のうち、今回被写体として選択されているものと同一の位置情報をもつ画像を抽出する。

次に、撮像画像表示装置１００は、ステップＳ１２０３で画像の検索対象となる被写体を特定した位置情報を用いて、前段落で抽出した画像のうち、同一の撮影位置情報をもつ画像を抽出する。撮影位置情報は、緯度・経度の情報の他に撮影位置の高さ情報も備えている。高さ情報も考慮して、現在画像を取得しようとしている位置の高さと同高さで撮影された画像のみを抽出したい場合には、図１０で示す詳細条件設定で、「高さを考慮に入れる」旨の設定をしておくことにより、現在位置と同じ高さで撮影された画像を抽出することが可能である。

ユーザの求める検索条件に合致した画像が取得されると、ステップＳ１２１０において、撮像画像表示装置１００は、送信された検索要求で設定されている条件に合致した被写体Ｚの画像を撮像画像表示装置１００の表示部１０に表示する。なお、複数枚の画像の候補が検出された場合には、検索結果一覧画面（不図示）を表示するよう制御することが可能である。

ステップＳ１２０７では、ステップＳ１２０６で行った検索結果を外部メモリ２１１から取得し、ステップＳ１２０８では取得した過去画像を表示部１０に表示する。

図９および図１２のフローチャートの処理によれば、特定した被写体が撮影されている過去画像のうち、撮影された日時を条件にして、希望の時代の過去画像を取得することが可能である、別の方法としては、図９のステップＳ９０３および図１２のステップＳ１２０３で被写体を特定して、画像呼出モードに切り替える指示を受け付けると、その時点で被写体の位置情報を算出し、図７で示すような被写体が撮影された画像情報を示す３Ｄベクトルを地図情報に表示させるようにしてもよい。３Ｄベクトルが表示された状態で、ユーザの操作指示（タッチパネル機能を有する表示部１０である場合にタッチ操作、タッチパネル機能がなければ不図示のボタン操作）で３Ｄベクトルの選択を受け付けると、撮影日時等の情報を同時に表示させた画像が表示部１０に表示されるようにしてもよい。

本発明によれば、被写体を起点として、画像の撮像場所に捉われることなく画像が撮影された方向を明示的に地図上に表示して、画像検索効率を向上させる撮像画像表示システム、撮像画像表示装置１００、および画像表示装置を提供することが可能となる。
（第二の実施形態）

本発明の第一の実施形態では、ユーザにより撮影された画像のうち、同一の被写体を撮影している過去の画像の被写体を起点に撮影位置を明示しながら検索する方法について説明したが、第二の実施形態では、撮影時に撮像画像表示装置１００から焦点距離を取得しづらい風景写真など、被写体設定が自動的になされない画像の被写体設定方法について、後から第一の実施形態の方法で検索をした時に画像が抽出されるように、被写体情報を付加する方法について説明する。

図１４は、撮影時に被写体情報が取得出来ない画像について、画像の撮影前後に被写体をユーザ指示により特定し、被写体位置情報を付加する処理を説明するフローチャートである。

ステップ１４０１では、撮像画像表示装置１００が起動すると、ユーザのモード切替機構１１操作によるモードの切り替え指示を受付け、プレビューモードを呼び出す。ユーザに操作に応じた切替制御は、撮像画像表示装置１００に予め設定されている画像プレビューモードの設定ファイルを読込み、スタンバイ状態にする。

撮影された画像のプレビューモードにおいて、撮像画像表示装置１００は、ユーザの画像表示操作に応じて、被写体情報を付加する画像の選択を行う。表示部１０には撮影された画像が表示されていて、左右ボタンの押下受付や、タッチパネルの特定の箇所に触れることで表示画像の切替を行う（ステップＳ１４０２）。

被写体情報を付加したい画像を表示した状態で、特定のボタン押下を受け付けることにより、被写体情報を付加する画像を決定する（ステップＳ１４０３）。

ステップＳ１４０３で被写体情報を付加する画像を決定したら、当該画像に付加されている属性情報のうち、図８で示す撮影位置情報８０３を検出する（ステップＳ１４０４）。

次に、被写体情報を付加する画像の属性情報のうち、図８で示す撮影方向情報８０４を検出する（ステップＳ１４０５）。撮影位置情報８０３と、撮影方向情報８０４が検出することにより、当該画像がどの場所から、どちらの方角を向いて撮影したかを特定することができるので、撮影位置情報を起点とした撮影方向の地図情報を、ネットワークを通じて取得し、表示部１０に表示する（ステップＳ１４０６）。

次に、ステップＳ１４０６で表示部１０に表示された地図情報の中から被写体の候補となる位置情報を識別可能に表示する（ステップＳ１４０７）。被写体の候補となる位置情報の選定方法は特に限定しないが、例えば、既に複数の他の画像で被写体として設定されている位置情報がある場合には、それらを識別可能な形式で地図上に表示する。また、画像が撮影された方向に位置しているランドマークを明示的に地図上に表示してもよい。

ステップＳ１４０７で、被写体の候補となる位置情報が表示部１０に表示されている地図上に表示されると、ユーザ操作に応じて、どの位置情報を被写体との位置情報とするかの選択を受付け、画像に付加する位置情報を決定する（ステップＳ１４０８）。

画像に付加する被写体の位置情報の決定を受け付けると、決定した被写体情報を画像に付加し、図８の属性情報のうち、撮影位置情報８０３の値を更新する（ステップＳ１４０９）。

また、第二の実施形態は、撮像画像表示装置１００と画像管理装置２００が通信して、画像管理装置２００の外部メモリ２１１に記憶されている地図情報を送信し、被写体位置情報を決定するための地図情報を撮像画像表示装置１００で取得する方法も可能である。この方法を実現するためのフローチャートが図１５に示されている。

図１４との相違点を述べると、撮像画像表示装置１００は、撮影位置情報８０３と、撮影方向情報８０４が検出すると、当該画像がどの場所から、どちらの方角を向いて撮影したかを特定することができるので、撮影位置情報を起点とした撮影方向の地図情報を取得するために、画像管理装置２００に対して地図情報要求を送信する（ステップＳ１５０６）。

画像管理装置２００は、地図情報要求を取得すると、要求情報の中に含まれている、被写体位置を特定する画像の撮影位置情報と、撮影方向情報を用いることにより、撮像画像表示装置１００が求めている地図情報がどの部分なのかを判断し、外部メモリ２１１より地図情報を呼び出す（ステップＳ１５０８）。ステップＳ１５０９では、取得した地図情報を撮像画像表示装置１００に送信する。

図１４および図１５のフローチャートの処理によれば、撮影時に被写体設定を特に行わなかった画像について、後から第一の実施形態の方法で検索をした時に画像が抽出されるように、被写体位置情報を付加することが可能になる。

なお、図１４および図１５のフローチャートの処理は、どちらも画像が撮影された後に、撮像画像表示装置１００の外部メモリ２１１から呼出をして、被写体の位置情報が付加されていない画像について、被写体の位置情報設定を行う仕組みにしているが、この仕組みは、ユーザにより画像が撮像される前にも適用することが可能である。

具体例を説明する。モード切替機構１１へのユーザ操作に応じて静止画撮影モードの設定を呼出し、スタンバイ状態にする。その後、地図情報呼出機構１５の押下を受け付けると、撮像画像表示装置１００の置かれている位置情報をＧＰＳ測位部１１４から取得し、どの方角を向いているのかを方位センサ１１２で取得することにより、表示部１０に地図情報を表示させる（図１４のＳ１４０６に相当）。

地図情報が表示部１０に表示されると、地図上に被写体候補の位置情報が表示されると（図１４のＳ１４０７に相当）、ユーザ操作により、これから撮影を行おうとしている被写体の位置情報の特定を受け付ける（図１４のＳ１４０８に相当）。被写体の位置情報が特定されると撮影画面に遷移し、画像の撮影を実行する。画像が撮影されると、特定された被写体の位置情報を付加し（図１４のＳ１４０９に相当）、画像を外部メモリ２１１に記憶する。

また、図１６は、図１４および図１５のフローチャートで行う、被写体位置情報の特定を実現する画面の例である。被写体位置情報特定画面１６００の下辺の撮影位置アイコン１６０１は、撮像画像表示装置１００の現在位置を示している。もし、既に撮影された画像に対する被写体情報の付加処理である場合には、当該画像の撮影位置情報が、撮影位置アイコン１６０１で示される。

地図拡縮メーター１６０２は、被写体位置情報特定画面１６００に表示する地図の表示範囲を決定するメーターである。表示部１０がタッチパネル機能を有するものであれば、ユーザの直接タッチ操作によりメーターの制御が可能である。タッチパネル機能を有していなければ、不図示のボタン操作指示を受付けて拡縮を行う。Ｗ（Ｗｉｄｅ）の方向にメーターを移動させると広範囲の地図を表示し、Ｔ（Ｔｅｌｅ）の方向にメーターを移動させると、表示範囲がより狭まっていく（拡大されていく）。標準の表示範囲は、例えば、撮像画像表示装置１００の最大焦点距離を画面中心の十字部に合わせるように表示する。撮像画像表示装置１００の最大焦点距離が２００ｍであれば、撮影位置アイコン１６０１から、画面中央の十字部までの距離が２００ｍになるように拡縮が制御される。

被写体位置情報１６０３（Ａ〜Ｅ）は、被写体位置情報特定画面１６００で表示されている範囲内にある被写体候補であり、例えば、３以上の画像データの被写体として設定されている場合に、この被写体位置情報１６０３が表示されるようにする（表示の条件は特に限定しない）。またこの被写体位置情報１６０３で表示される被写体に限らず、ユーザの操作に応じて自由に被写体位置情報を特定することが可能である。表示部１０がタッチパネル機能を有するものであれば、画面に直接タッチ指示を受け付けることで被写体位置を特定することが可能である。タッチパネル機能がない場合には、不図示のスクロールボタンによる操作に応じて、画面中心の十字部を被写体位置に合わせ、決定ボタン等の押下受付により被写体位置を特定することが可能である。

本処理では、撮像画像表示装置１００の最大焦点距離よりも遠い位置を、被写体位置として特定することが可能である。

以上、図１４、図１５及び図１６の処理によれば、ユーザの直接指示を受付けて、画像に被写体位置情報を付加することが可能になる。例えば、風景写真など、特定の建物やランドマークを被写体として設定しない画像であっても、被写体位置情報を付加することが可能になる。

上記には本発明の実施の形態について説明したが、本発明はこれに限定されることなくその趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。

例えば、前述した実施の形態では、デジタルカメラやデジタルビデオカメラ等の撮像画像表示装置１００への適用例を示したが、これに限定されず、デジタルカメラ機能を備えた携帯電話機やＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔｓ）にも適用可能であることは勿論である。

以上、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，磁気テープ，不揮発性のメモリカード，ＲＯＭ，ＥＥＰＲＯＭ，シリコンディスク等を用いることができる。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ，データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１ネットワーク
１００撮像画像表示装置
１０表示部（ディスプレイ）
１１モード切替機構
１２日付設定機構
１５地図情報呼出機構
２００画像管理装置
３００位置情報取得装置

Claims

検索候補の撮像画像を、当該撮像画像の撮像日時と、当該撮像画像の被写体の位置を示す１つの被写体位置と、当該被写体位置から当該撮像画像の撮像位置への方向を示すベクトル情報と対応付けて記憶する記憶装置と通信可能な撮像画像表示装置であって、
検索条件として設定すべき被写体の被写体位置である、第１の被写体位置を特定する被写体位置特定手段と、
検索結果として表示すべき撮像画像の撮像日時と、前記ベクトル情報とは逆の方向であって、前記第１の被写体位置とは異なる被写体位置である第２の被写体位置からの方向を示す逆ベクトル情報を検索条件に含めるか否かを、検索結果として表示すべき対象を広げるべく設定する設定手段と、
前記設定手段により、前記逆ベクトル情報を検索条件に含めない設定がされている場合には、前記設定手段により設定された前記撮像日時と、前記第１の被写体位置及び前記ベクトル情報を用いて検索された撮像画像を検索結果として表示部に表示し、前記逆ベクトル情報を検索条件に含める設定がされている場合には、前記設定手段により設定された前記撮像日時と、前記第１の被写体位置及び前記第１の被写体位置の方向を示す前記逆ベクトル情報を用いて検索された撮像画像を検索結果として表示部に表示すべく制御する制御手段と、
を備えることを特徴とする撮像画像表示装置。
前記記憶装置は、前記撮像画像表示装置内又は外部の情報処理装置に備えられ、
前記制御手段は、前記設定手段で、前記逆ベクトル情報を検索条件に含める設定がされている場合には、前記第１の被写体位置と前記第１の被写体位置の方向を示す前記逆ベクトル情報を用いて検索された前記第２の被写体位置に対応する画像であって、撮像位置から前記第１の被写体位置までの間に位置する前記第２の被写体位置に対応する撮像画像を、検索結果として表示すべく制御することを特徴とする請求項１に記載の撮像画像表示装置。
前記表示部に、前記被写体位置と前記ベクトル情報を表示するベクトル情報表示手段と、
前記ベクトル情報表示手段で表示された前記ベクトル情報の選択を受け付ける選択受付手段と、
を備え、
前記制御手段は、前記選択受付手段で選択を受け付けたベクトル情報を用いて検索された、前記ベクトル情報に対応する前記被写体位置に対応する撮像画像を検索結果として表
示すべく制御することを特徴とする請求項１又は２に記載の撮像画像表示装置。
撮像画像の撮像方向を検出する方向情報検出手段と、
前記撮像画像表示装置の傾き情報を検出する傾き情報検出手段と、
前記撮像画像表示装置の現在位置を検出する位置情報検出手段と、
を更に備え、
前記被写体位置特定手段は、前記方向情報検出手段で検出した撮像方向と、前記傾き情報検出手段で検出した傾き情報と、前記位置情報検出手段で検出した位置情報とを用いて、前記被写体位置を特定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像画像表示装置。
撮像画像を記憶すべく撮像指示を受け付ける撮像指示受付手段と、
前記位置情報検出手段で検出した位置情報を、前記撮像指示受付手段で撮像指示を受け付けることで撮像した撮像画像の属性情報に含めて記憶する撮像画像記憶手段と、
を備えることを特徴とする請求項４項に記載の撮像画像表示装置。
前記位置情報検出手段により検出された前記位置情報と、前記方向情報検出手段により検出された前記撮像方向に従って、前記表示部に表示されている撮像画像から被写体を指定するための地図情報を前記表示部に表示する地図情報表示手段と
を更に備えることを特徴とする請求項４又は５に記載の撮像画像表示装置。
前記地図情報表示手段により表示された地図情報上の位置から、被写体位置として撮像画像に付加する位置情報の選択を受け付ける選択手段と、
前記選択手段により選択を受け付けた位置情報を、撮像画像に付加して保存する位置情報付加手段と、
を備えることを特徴とする請求項６に記載の撮像画像表示装置。
前記撮像画像表示装置は撮像部を備え、
前記撮像部から入力される撮像画像を表示部に表示する表示手段と、
前記表示手段で表示された撮像画像上において被写体の選択を受け付ける被写体選択受付手段と、
を備え、
前記被写体位置特定手段は、前記被写体選択受付手段で選択を受け付けた被写体位置を特定することを特徴とする請求項１乃至７のいずれか１項に記載の撮像画像表示装置。
前記設定手段により設定された撮像日時に一致する撮像画像がない場合に、当該撮像日時と近い撮像日時と対応する前記撮像画像を抽出することを特徴とする請求項１乃至８のいずれか１項記載の撮像画像表示装置。
前記被写体位置と一致する撮像画像がない場合に、当該被写体位置に近い撮像画像を抽出することを特徴とする請求項１乃至９のいずれか１項に記載の撮像画像表示装置。
検索候補の撮像画像を、当該撮像画像の撮像日時と、当該撮像画像の被写体の位置を示す１つの被写体位置と、当該被写体位置から当該撮像画像の撮像位置への方向を示すベクトル情報と対応付けて記憶する記憶装置と通信可能な撮像画像表示装置の制御方法であって、
検索条件として設定すべき被写体の被写体位置である、第１の被写体位置を特定する被写体位置特定ステップと、
検索結果として表示すべき撮像画像の撮像日時と、前記ベクトル情報とは逆の方向であって、前記第１の被写体位置とは異なる被写体位置である第２の被写体位置からの方向を示す逆ベクトル情報を検索条件に含めるか否かを、検索結果として表示すべき対象を広げるべく設定する設定ステップと、
前記設定ステップにより、前記逆ベクトル情報を検索条件に含めない設定がされている場合には、前記設定ステップにより設定された前記撮像日時と、前記第１の被写体位置及び前記ベクトル情報を用いて検索された撮像画像を検索結果として表示部に表示し、前記逆ベクトル情報を検索条件に含める設定がされている場合には、前記設定ステップにより設定された前記撮像日時と、前記第１の被写体位置及び前記第１の被写体位置の方向を示す前記逆ベクトル情報を用いて検索された撮像画像を検索結果として表示部に表示すべく制御する制御ステップと、
を含むことを特徴とする撮像画像表示装置の制御方法。
検索候補の撮像画像を、当該撮像画像の撮像日時と、当該撮像画像の被写体の位置を示す１つの被写体位置と、当該被写体位置から当該撮像画像の撮像位置への方向を示すベクトル情報と対応付けて記憶する記憶装置と通信可能な撮像画像表示装置で実行可能なプログラムであって、
前記撮像画像表示装置を、
検索条件として設定すべき被写体の被写体位置である、第１の被写体位置を特定する被写体位置特定手段と、
検索結果として表示すべき撮像画像の撮像日時と、前記ベクトル情報とは逆の方向であって、前記第１の被写体位置とは異なる被写体位置である第２の被写体位置からの方向を示す逆ベクトル情報を検索条件に含めるか否かを、検索結果として表示すべき対象を広げるべく設定する設定手段と、
前記設定手段により、前記逆ベクトル情報を検索条件に含めない設定がされている場合には、前記設定手段により設定された前記撮像日時と、前記第１の被写体位置及び前記ベクトル情報を用いて検索された撮像画像を検索結果として表示部に表示し、前記逆ベクトル情報を検索条件に含める設定がされている場合には、前記設定手段により設定された前記撮像日時と、前記第１の被写体位置及び前記第１の被写体位置の方向を示す前記逆ベクトル情報を用いて検索された撮像画像を検索結果として表示部に表示すべく制御する制御手段として機能させることを特徴とするプログラム。
検索候補の撮像画像を、当該撮像画像の撮像日時と、当該撮像画像の被写体の位置を示す１つの被写体位置と、当該被写体位置から当該撮像画像の撮像位置への方向を示すベクトル情報と対応付けて記憶する画像管理装置と、当該画像管理装置と通信可能な撮像画像表示装置とを含む撮像画像表示システムであって、
前記撮像画像表示装置は、
検索条件として設定すべき被写体の被写体位置である、第１の被写体位置を特定する被写体位置特定手段と、
検索結果として表示すべき撮像画像の撮像日時と、前記ベクトル情報とは逆の方向であって、前記第１の被写体位置とは異なる被写体位置である第２の被写体位置からの方向を示す逆ベクトル情報を検索条件に含めるか否かを、検索結果として表示すべき対象を広げるべく設定する設定手段と、
前記設定手段で設定された検索条件を含む画像検索要求を、前記画像管理装置に送信する検索要求手段と、
前記検索要求手段による画像検索要求に応答して前記画像管理装置から得られる検索結果の撮像画像を表示部に表示すべく制御する制御手段と、
を備え、
前記画像管理装置は、
前記撮像画像表示装置から前記画像検索要求を受信する受信手段と、
前記受信手段により受信された画像検索要求に含まれる検索条件に従って、前記設定手段により、前記逆ベクトル情報を検索条件に含めない設定がされている場合には、前記設定手段により設定された前記撮像日時と、前記第１の被写体位置及び前記ベクトル情報を用いて検索された撮像画像を検索結果として前記撮像画像表示装置に送信し、前記逆ベクトル情報を検索条件に含める設定がされている場合には、前記設定手段により設定された前記撮像日時と、前記第１の被写体位置及び前記第１の被写体位置の方向を示す前記逆ベクトル情報を用いて検索された撮像画像を検索結果として前記撮像画像表示装置に送信する送信手段と、
を備えることを特徴とする撮像画像表示システム。
検索候補の撮像画像を、当該撮像画像の撮像日時と、当該撮像画像の被写体の位置を示す１つの被写体位置と、当該被写体位置から当該撮像画像の撮像位置への方向を示すベクトル情報と対応付けて記憶する画像管理装置と、当該画像管理装置と通信可能な撮像画像表示装置とを含む撮像画像表示システムの制御方法であって、
前記撮像画像表示装置は、
検索条件として設定すべき被写体の被写体位置である、第１の被写体位置を特定する被写体位置特定ステップと、
検索結果として表示すべき撮像画像の撮像日時と、前記ベクトル情報とは逆の方向であって、前記第１の被写体位置とは異なる被写体位置である第２の被写体位置からの方向を示す逆ベクトル情報を検索条件に含めるか否かを、検索結果として表示すべき対象を広げるべく設定する設定ステップと、
前記設定ステップで設定された検索条件を含む画像検索要求を、前記画像管理装置に送信する検索要求ステップと、
前記検索要求ステップによる画像検索要求に応答して前記画像管理装置から得られる検索結果の撮像画像を表示部に表示すべく制御する制御ステップと、
を含み、
前記画像管理装置は、
前記撮像画像表示装置から前記画像検索要求を受信する受信ステップと、
前記受信ステップにより受信された画像検索要求に含まれる検索条件に従って、前記設定ステップにより、前記逆ベクトル情報を検索条件に含めない設定がされている場合には、前記設定ステップにより設定された前記撮像日時と、前記第１の被写体位置及び前記ベクトル情報を用いて検索された撮像画像を検索結果として前記撮像画像表示装置に送信し、前記逆ベクトル情報を検索条件に含める設定がされている場合には、前記設定ステップにより設定された前記撮像日時と、前記第１の被写体位置及び前記第１の被写体位置の方向を示す前記逆ベクトル情報を用いて検索された撮像画像を検索結果として前記撮像画像表示装置に送信する送信ステップと、
を含むことを特徴とする撮像画像表示システムの制御方法。
検索候補の撮像画像を、当該撮像画像の撮像日時と、当該撮像画像の被写体の位置を示す１つの被写体位置と、当該被写体位置から当該撮像画像の撮像位置への方向を示すベクトル情報と対応付けて記憶する画像管理装置と、当該画像管理装置と通信可能な撮像画像表示装置とを含む撮像画像表示システムで実行可能なプログラムであって、
前記撮像画像表示装置を、
検索条件として設定すべき被写体の被写体位置である、第１の被写体位置を特定する被写体位置特定手段と、
検索結果として表示すべき撮像画像の撮像日時と、前記ベクトル情報とは逆の方向であって、前記第１の被写体位置とは異なる被写体位置である第２の被写体位置からの方向を示す逆ベクトル情報を検索条件に含めるか否かを、検索結果として表示すべき対象を広げるべく設定する設定手段と、
前記設定手段で設定された検索条件を含む画像検索要求を、前記画像管理装置に送信する検索要求手段と、
前記検索要求手段による画像検索要求に応答して前記画像管理装置から得られる検索結果の撮像画像を表示部に表示すべく制御する制御手段として機能させ、
前記画像管理装置を、
前記撮像画像表示装置から前記画像検索要求を受信する受信手段と、
前記受信手段により受信された画像検索要求に含まれる検索条件に従って、前記設定手段により、前記逆ベクトル情報を検索条件に含めない設定がされている場合には、前記設定手段により設定された前記撮像日時と、前記第１の被写体位置及び前記ベクトル情報を用いて検索された撮像画像を検索結果として前記撮像画像表示装置に送信し、前記逆ベクトル情報を検索条件に含める設定がされている場合には、前記設定手段により設定された前記撮像日時と、前記第１の被写体位置及び前記第１の被写体位置の方向を示す前記逆ベクトル情報を用いて検索された撮像画像を検索結果として前記撮像画像表示装置に送信する送信手段として機能させることを特徴とするプログラム。