JP6156549B2 - 撮像装置、情報取得システム及びプログラム - Google Patents

Description

本発明は、被写体を撮像する際に、被写体を撮像する位置の情報を取得し、被写体と位置の情報とを対応付ける機能を有する撮像装置及びその情報を用いて被写体の情報を取得する撮像装置、情報取得システム及びプログラムに関する。
本願は、２０１０年２月８日に、日本に出願された特願２０１０−０２５９９８号に基づき優先権を主張し、その内容をここに援用する。

従来より、撮像機能を有する撮像装置（例えば、デジタルカメラ）などの携帯情報機器などにおいて、当該携帯情報機器の位置する位置情報を検出し、検出した位置情報に対応させて撮像した画像データを処理する機能を有するものがある（例えば、特許文献１参照）。

特開２００４−１５１８７号公報

しかしながら、例えば、上記特許文献１を含め、ユーザは、ユーザが撮影している被写体（例えば建造物）がどのようなものであるかの情報を、容易に得ることはできない。

本発明に係る態様は、ユーザの活動を充実させることが可能な撮像装置、情報取得システム及びプログラムを提供することを目的とする。

本発明に係る態様における撮像装置は、被写体を撮像する撮像部と、撮像位置の位置情報を取得する位置情報取得部と、前記被写体の撮像を指示する制御信号に基づいて前記撮像部に前記被写体を撮像させることと、前記位置情報に基づいて前記被写体に関する情報を取得し、前記被写体の画像データと前記被写体に関する情報とを表示部に表示させることとを有する制御部と、前記被写体の画像データと前記被写体に関する情報とを前記表示部に表示中におけるユーザーアクションに基づいて前記制御信号とは異なるホールド制御信号を前記制御部に出力するホールド制御部と、を備え、前記ホールド制御信号とは、前記表示部に表示されている前記被写体の画像データと前記被写体に関する情報とを前記制御部によりホールドさせるとともに前記ユーザーアクションに基づいて前記ホールド制御信号が出力された後にも前記ホールドされた画像データと前記ホールドされた情報とを前記表示部に表示させる信号である。

本発明に係る態様における撮像装置は、自身の位置の緯度経度情報を検出する緯度経度検出部と、画像データを撮像している方位角を検出する方位角検出部と、被写体の撮像を指示する制御信号に基づいて撮像部に前記被写体を撮像させることと、前記緯度経度情報における前記方位角方向の緯度経度範囲に位置する建造物に付加されたＡＲ情報を、当該緯度経度情報及び当該方位角により取得し、表示部に表示させることとを有する制御部と、本体の位置及び／又は姿勢を変化させるユーザーアクションに基づいて前記制御信号とは異なるホールド制御信号を前記制御部に出力するホールド制御部と、を備え、前記ホールド制御信号とは、前記ＡＲ情報を記憶部に記憶させるアクションを検知すると、前記ＡＲ情報と前記画像データとを前記記憶部に記憶させ、前記表示部に表示されている前記被写体の画像データと前記ＡＲ情報とを前記制御部によりホールドさせるとともに前記ユーザーアクションに基づいて前記ホールド制御信号が出力された後にも前記ホールドされた画像データと前記ホールドされた情報とを前記表示部に表示させる信号である。

本発明に係る態様における情報取得システムは、撮像装置と情報検索システムとから構成され、当該情報検索システムが前記撮像装置から送信される緯度経度情報及び方位角により、当該緯度経度情報における前記方位角の方向の緯度経度範囲に位置する建造物を抽出し、この抽出された該建造物に付加された情報を前記撮像装置に送信する情報取得システムであり、前記撮像装置は、自身の位置の緯度経度情報を検出する緯度経度検出部と、画像データを撮像している方位角を検出する方位角検出部と、被写体の撮像を指示する制御信号に基づいて撮像部に被写体を撮像させることと、前記緯度経度情報における前記方位角の方向の緯度経度範囲に位置する建造物に付加されたＡＲ情報を、当該緯度経度情報及び当該方位角により取得し、表示部に表示させることとを有する制御部と、ユーザーアクションに基づいて前記制御信号とは異なるホールド制御信号を、前記制御部に対して出力するホールド制御部とを備え、前記ホールド制御信号とは、前記ＡＲ情報を記憶部に記憶させるアクションを検知すると、前記ＡＲ情報と前記画像データとを前記記憶部に記憶させ、前記表示部に表示されている前記被写体の画像データと前記ＡＲ情報とを前記制御部によりホールドさせるとともに前記ユーザーアクションに基づいて前記ホールド制御信号が出力された後にも前記ホールドされた画像データと前記ホールドされた情報とを前記表示部に表示させる信号であり、前記情報検索システムは、建造物の建造物識別番号及び当該建造物の緯度経度情報を対応させた地図データと、前記建造物識別番号及び当該建造物識別番号の示す建造物の前記ＡＲ情報を対応させた建造物テーブルとが記憶されたデータベースと、前記撮像装置から送信された前記緯度経度情報及び前記方位角により、前記緯度経度情報における前記方位角の方向の緯度経度範囲に位置する建造物の建造物識別番号を前記地図データから検索し、検索された前記建造物識別番号により、当該建造物識別番号の示す建造物に付加された前記ＡＲ情報を前記建造物テーブルから読み出し、読み出した建造物の前記ＡＲ情報を前記撮像装置に送信する情報検索サーバとを備える。

本発明に係る態様におけるプログラムは、撮像装置が備えるコンピュータに、被写体の撮像を指示する制御信号に基づいて、撮像装置が備える撮像部に前記被写体を撮像させるステップと、前記被写体を撮像した撮像位置の位置情報を入力するステップと、前記位置情報に基づいて前記被写体に関する情報を取得するステップと、前記被写体の画像データと前記被写体に関する情報とを撮像装置が備える表示部に表示するステップと、前記被写体の画像データと前記被写体に関する情報との前記表示部への表示中におけるユーザーアクションに基づいて前記制御信号とは異なるホールド制御信号を出力するステップと、前記ホールド制御信号に基づいて前記表示部に表示されている前記被写体の画像データと前記被写体に関する情報とをホールドさせるとともに前記ユーザーアクションに基づいて前記ホールド制御信号が出力された後にも前記ホールドされた画像データと前記ホールドされた情報とを前記表示部に表示させるステップと、を実行させるためのプログラムである。

本発明に係る態様におけるプログラムは、撮像装置が備えるコンピュータに、被写体の撮像を指示する制御信号に基づいて撮像装置が備える撮像部に前記被写体を撮像させるステップと、撮像装置が備える緯度経度検出部が検出した自身の位置の緯度経度情報を入力するステップと、撮像装置が備える方位角検出部が検出した画像データを撮像している方位角を入力するステップと、前記緯度経度情報における前記方位角方向の緯度経度範囲に位置する建造物に付加されたＡＲ情報を、当該緯度経度情報及び当該方位角により取得し、撮像装置が備える表示部に表示するステップと、本体の位置及び／又は姿勢を変化させるユーザーアクションに基づいて前記制御信号とは異なるホールド制御信号を出力するステップと、前記ホールド制御信号に基づいて前記ＡＲ情報を撮像装置が備える記憶部に記憶させるアクションを検知すると、前記ＡＲ情報と前記画像データとを前記記憶部に記憶させるステップと、前記ホールド制御信号に基づいて前記表示部に表示されている前記被写体の画像データと前記ＡＲ情報とをホールドさせるとともに前記ユーザーアクションに基づいて前記ホールド制御信号が出力された後にも前記ホールドされた画像データと前記ホールドされた情報とを前記表示部に表示させるステップと、を実行させるためのプログラムである。

本発明に係る態様によれば、ユーザの活動を充実させることが可能な撮像装置、情報取得システム及びプログラムが提供される。

本発明の一実施形態による情報取得システムの構成例を示すブロック図であ る。 図１におけるデータベースに記憶されている建造物テーブルの構成例を示す 概念図である。 デジタルカメラで撮像している画像の情報検索の処理の流れを示すフローチ ャートである。 デジタルカメラに表示される表示画像を示す概念図である。 デジタルカメラに表示される表示画像を示す概念図である。 デジタルカメラに表示される表示画像を示す概念図である。 デジタルカメラで撮像した後における画像の情報検索の処理の流れを示すフ ローチャートである。 デジタルカメラに入力した店舗情報からの情報検索の処理の流れを示すフロ ーチャートである。 ＡＲ（拡張現実）情報を取得及び記憶する機能を有する情報取得システムを 示すブロック図である。 建物の現実画像と、その建物の各々のＡＲ情報が記載されたタグ（仮想記 述）の画像との、表示部における合成画像を示す図である。 図９におけるＡＲ情報記憶部に記憶されるＡＲ情報テーブルを示す図であ る。 建造物のＡＲ情報を検索する検索範囲を示す図である。 図９における情報検索システムの動作例を示すフローチャートである。

以下、本発明に係る一実施形態における、撮像装置及び情報取得システムについて図面を参照して説明する。図１は本実施形態における撮像装置及び情報取得システムの構成例を示すブロック図である。
図１において、情報取得システムは、撮像装置の一例であるデジタルカメラ１と、情報検索システム２とから構成され、デジタルカメラ１は無線通信により無線基地局３とデータ通信を行うことにより、この無線基地局３及びインターネットなどの情報通信網４を介して、情報検索システム２（或いは、後述する情報検索サーバ２１）とデータの送受信を行う。なお、本実施形態における撮像装置とは、上述のデジタルカメラ１やカメラ付携帯電話などのような撮像機能付の携帯型端末である。例えば、デジタルカメラ１は、ブラウザ機能を有しており、制御部１１、送受信部１２、撮像部１３、ＧＰＳ（Global Positioning System）１４、記憶部１５、方位センサ１６（方位角検出部）、表示部１７及びタイマ１８を有している。ここで、本実施形態における無線通信とは、伝送路として線を使わなく、電波、光や音波などによる通信を含むものである。

撮像部１３は、ＣＣＤ（Charge Coupled Device）あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサと、レンズと、等を有しており、被写体（撮像する対象物）を撮像した画像データを、上記制御部１１に対して出力する。以下の説明において、一例として、本実施形態における被写体は建造物（店舗を含む商用ビル、学校及び病院を含む公共の建物、工場、マンションを含む住宅、鉄塔、橋、ダム、遊園地、銅像等の人工的に建造された物、など）を示している。ＧＰＳ１４（位置情報取得部、緯度経度検出部）は、ユーザからの撮像を指示する制御信号（例えば、撮像ボタンＢ１押下を検出した図示しない周辺回路が出力する制御信号）、あるいは情報検索を指示する制御信号（例えば、ユーザによって検索などを示すアイコン（標識）がタッチされることによりアイコンが選択されたことを検出した図示しない周辺回路が出力する制御信号）が入力されると、デジタルカメラ１の緯度・経度の情報（緯度経度情報、位置情報）を取得し、制御部１１に対して出力する。なお、本実施形態における位置情報取得部（緯度経度検出部）は、撮像装置１３の位置を取得できれば他の構成でもよく、例えば無線基地局３を利用して撮像装置１３の位置情報を取得するようにしてもよい。

方位センサ１６（方位角検出部、方位情報取得部）は、電子コンパスなどで構成され、ユーザからの撮像を指示する制御信号（例えば、撮像ボタンＢ１押下を検出した図示しない周辺回路が出力する制御信号）、あるいは情報検索を指示する制御信号（例えば、ユーザによって検索などを示すアイコンがタッチされることによりアイコンが選択されたことを検出した図示しない周辺回路が出力する制御信号）が入力されると、撮像部１３において例えば直列に配置されたＣＣＤ及びレンズにおいて、この直列方向の方位を検出し、方位情報として制御部１１に出力する。なお、方位センサ１６は、ユーザから見た被写体の方向（すなわち撮像方向）の方位を検出し、方位情報として制御部１１に出力してもよい。ここで、方位情報として方位角を採用する場合、例えば、位置情報の緯度経度を中心点とし、北を基準（０度）として、時計廻りに東（９０度）、南（１８０度）、西（２７０度）として、度・分・秒の単位で方位角を表現する。

制御部１１は、ユーザが撮像ボタンＢ１を押下する等の撮像を指示する制御信号が図示しない周辺回路から入力されると、撮像した画像データに画像識別情報を付し、この画像識別情報毎に、撮像した画像データと、タイマ１８から取得した時刻データ、位置情報及び方位情報とを対応させて記憶部１５に撮像順に書き込む。
表示部１７は、撮像部１３が撮像している画像データ、またはユーザにより表示する画像として選択されて制御部１１が記憶部１５から読み出した画像データを表示する。
また、表示部１７は、後述するように、情報検索システム２から受信した画像データ、あるいはユーザが入力した文字データなどの表示を、上記制御部１１の制御により行う。
送受信部１２は、無線通信により無線基地局３と送受信を行い、情報通信網４を介して、情報検索システム２との間にて、画像データ、文字データあるいは制御信号などのデータの送受信を行う。

次に、情報検索システム２は、図１に示すように情報検索サーバ２１と、データベース２２とを有している。なお、データベース２２は、情報検索サーバ２１内の記憶媒体（例えば、メモリやＨＤＤなど）に設けられてもよいし、外付けの記憶媒体あるいは別の端末の記憶媒体に設けられてもよい。
データベース２２には、図２に示す建造物テーブルのように、建造物を識別するための建造物識別情報と、建造物の名称である建造物名称と、建造物情報（住所、電話番号、種別、建造物を中心とした周辺画像データなどの情報）と、建造物の緯度経度などによる位置情報と、建造物の説明（店舗であれば店が記載する情報）と、投稿情報（訪れたユーザの評価などのコメント、及びユーザの投稿した画像データ等）とが記憶されている。

また、データベース２２には、緯度経度を２次元平面の座標軸とし、登録されている各建造物が配置された地図データを記憶している。この地図データにおいて、各建造物は、上記建造物識別情報に対応する緯度経度の位置に示されている。
情報検索サーバ２１は、入力される上記位置情報及び上記方位情報を用い、位置情報の示した緯度経度の位置から、方位情報の示す方向において、最も近い距離にある建造物を探索し、探索された建造物の建造物識別情報を取得する。
また、情報検索サーバ２１は、探索して取得した建造物の建造物識別情報に対応する建造物を、上記建造物テーブルから検索し、検索された建造物の各情報（建造物名称、建造物情報、など）をデジタルカメラ１に送信する。なお、情報検索サーバ２１は、デジタルカメラ１に送信する上記の建造物の各情報を、例えば送受信データ容量などの必要に応じて、選択的に送信するようにしてもよい。その場合、情報検索サーバ２１は、上記の建造物の各情報のうち残りの情報を、所定の操作（例えば、デジタルカメラ１からの要求など）などによって再度デジタルカメラ１に送信するようにしてもよい。

＜デジタルカメラ１で撮像している画像の情報検索＞
次に、図１及び図３、並びに図４から図６を用いて本実施形態の動作を説明する。図３はデジタルカメラ１を建造物に向けて撮像している状態で情報検索を行いたい場合の本実施形態における情報検索処理の動作例を示すフローチャートである。図４から図６は、デジタルカメラ１の表示部１７に表示される画面及びデジタルカメラ１の撮像ボタンＢ１の配置を示した図である。
以下の説明において、例えば、ユーザが繁華街を歩きながら、夕食を食べるレストランを探索している状態にて説明する。
ユーザは繁華街を徘徊しつつ、気に入った外観のレストランに対し、デジタルカメラ１のレンズを向け（ステップＳ１）、情報を得たい外観のレストランを見つけた場合、図４に示されるように、デジタルカメラ１の画像表示欄ＭＰに設けられているブラウズアイコンＩ１をタッチする（押下する）ことによりブラウズアイコンＩ１が選択される（ステップＳ２）。

このとき、制御部１１は、上記撮像状態において、撮像部１３から入力される、撮像部１３が撮像している画像データを、図４に示すように、画像表示欄ＭＰに撮像しているレストランの画像データを表示部１７を介して表示する。なお、本実施形態における画像表示欄ＭＰ（画像表示部）は、タッチパネル（例えば、感圧タイプ、静電タイプや音波タイプなどを含む）で構成されている。
なお、上述のステップＳ２は、デジタルカメラ１の撮像ボタンＢ１を押下した後に、撮像された上記レストランの画像が表示される画像表示欄ＭＰを見ながらブラウズアイコンＩ１をタッチして選択するようにしてもよい。

ブラウズアイコンＩ１がタッチされることにより、図示しない周辺回路から制御部１１に対してブラウズアイコンＩ１が選択されたことを示す信号が出力される。 そして、制御部１１は、入力されるブラウズアイコンＩ１が選択されたことを示す信号により、ブラウズアイコンＩ１が選択されたことを検出し、撮像部１３の撮像している上記レストランの画像データに画像識別情報を付与し、この画像識別情報に対応させ、画像データと撮像した時刻とを記憶部１５に対して書き込み、この画像データを記憶させる（ステップＳ３）。

また、制御部１１は、ブラウズアイコンＩ１がタッチされた際、ＧＰＳ１４が取得した位置情報と、方位センサ１６が取得した方位情報とを、関連情報として上記画像識別情報に対応させ、記憶部１５に書き込み、記憶させる（ステップＳ４）。
そして、制御部１１は、画像データ及び上記関連情報を記憶部１５に書き込んだ後、デジタルカメラ１を識別するためのカメラ識別情報（ユーザに付与されたユーザの識別情報あるいはデジタルカメラ１に付与された識別情報）と、上記位置情報と、上記方位情報とを含む検索依頼信号を、送受信部１２を介して情報検索システム２へ送信する（ステップＳ５）。なお、制御部１１は、上述のステップＳ３〜ステップＳ５において、上記画像データ及び上記関連情報などを記憶部１５に書き込まずに送受信部１２を介して上記検索依頼信号を情報検索システム２へ送信するようにしてもよい。

次に、情報検索システム２において、サーバ２１は、デジタルカメラ１から上記検索依頼信号を受信すると、検索依頼信号に含まれる位置情報及び方位情報をもとにデータベース２２の地図データから検索対象の建造物を抽出する。そして、サーバ２１は、この建造物識別情報により、図２の建造物テーブルから、当該建造物のテーブルにおける各情報を、建造物識別情報を含めて検索結果情報としてデジタルカメラ１に対して送信する（ステップＳ７）。このとき、一例として、サーバ２１は、検索依頼信号が送受信部１２を介してデジタルカメラ１から送信される場合に付加されるデジタルカメラ１のネットワーク上のアドレスを読み出し、このアドレスに対して検索結果情報を送信する。

なお、上述のステップＳ７においては、サーバ２１は、データベース２２に記憶されるユーザ登録テーブルにおいて、検索依頼信号に含まれるカメラ識別情報が上記ユーザ登録テーブルに登録されていることが検出された場合のみ、検索依頼信号に含まれる位置情報及び方位情報をもとにデータベース２２の地図データから検索対象の建造物を抽出するようにしてもよい。この場合、サーバ２１は、検索依頼信号に含まれるカメラ識別情報が上記ユーザ登録テーブルに登録されていないことを検出した場合、例えば、カメラ識別情報に基づくユーザ登録が必要であることの情報をデジタルカメラ１に対して送信するようにすればよい。

そして、デジタルカメラ１において、制御部１１は、送受信部１２を介して上記検索結果情報を情報検索システム２から受信すると、図５に示すように、表示部１７を介して情報表示欄ＳＰに建物情報を表示する（ステップＳ８）。例えば、建造物がレストランの場合、どのような種類（中華、和風、フレンチ、イタリアンなど）のレストランかの情報と、レストランの電話番号と、住所となどが表示される。なお、図５に示す情報表示欄ＳＰは、本実施形態における一例であって、上記レストランの画像に情報表示欄ＳＰの一部が重なるように表示してもよい。また、情報表示欄ＳＰは、上記の画像表示欄ＭＰの一部であって、例えば上述のブラウズアイコンＩ１や後述のＣＭアイコンＩ２などがタッチされて選択されることにより表示される。

また、ユーザがＣＭアイコンＩ２をタッチすると、上記周辺回路はＣＭアイコンＩ２が選択されたことを示す信号を制御部１１に出力する。
これにより、制御部１１は、ＣＭアイコンＩ２が選択されたことを、上記ＣＭアイコンＩ２が選択されたことを示す信号が入力されることにより検出し、検索結果情報に含まれるレストランのコマーシャル情報（メニューや、席数や、店内画像や、シェフの今日のおすすめ料理など）を、表示部１７を介して情報表示欄ＳＰに表示する。また、このコマーシャル情報に店内画像などの画像データが含まれている場合、制御部１１は、その画像データを情報表示欄ＳＰに表示する。

また、ユーザが投稿閲覧アイコンＩ３をタッチすると、上記周辺回路は投稿閲覧アイコンＩ３が選択されたことを示す信号を制御部１１に出力する。
これにより、制御部１１は、投稿閲覧アイコンＩ３が選択されたことを、上記投稿閲覧アイコンＩ３が選択されたことを示す信号が入力されることにより検出し、検索結果情報に含まれる他のユーザの書き込んだ投稿情報（コメント）を、情報表示欄ＳＰに表示部１７を介して表示する。 そして、上記の投稿情報が複数ある場合、制御部１１は、例えば、投稿された日付順に複数の投稿情報を情報表示欄ＳＰに表示する。

この投稿情報には画像データも含まれ、他のユーザの撮像した各料理の写真や店の内部の画像データが含まれている場合、制御部１１は、この画像データを表示部１７を介して情報表示欄ＳＰに表示する。
そして、例えば、制御部１１は、図５において、情報表示欄ＳＰの左端から右方向にスライドするようにタッチされたことを示す信号を検出した場合、情報表示欄ＳＰの表示を終了して、図４のように画像表示欄ＭＰに上記レストランの画像を表示部１７を介して表示する。なお、例えば、制御部１１は、情報表示欄ＳＰに投稿情報を表示中で、投稿閲覧アイコンＩ３が選択されたことを示す信号を検出した場合に、情報表示欄ＳＰの表示又は投稿情報の表示を終了するようにしてもよい。

また、例えば、制御部１１は、情報表示欄ＳＰに建物情報を表示した後にコマーシャル情報（又は投稿情報）を表示させる際に、建物情報と一緒にコマーシャル情報を表示してもよいし、建物情報を情報表示欄ＳＰから消した後にコマーシャル情報を表示するようにしてもよい。
なお、制御部１１は、情報表示欄ＳＰに表示されたその店内画像などをタッチされたことを示す信号を検出すると、その店内画像の拡大画像又は縮小画像を情報表示欄ＳＰ（又は画像表示欄ＭＰ）に表示する。

また、ユーザがメールアイコンＩ４をタッチすると、上記周辺回路はメールアイコンＩ４が選択されたことを示す信号を制御部１１に出力する。
これにより、制御部１１は、メールアイコンＩ４が選択されたことを、上記メールアイコンＩ４が選択されたことを示す信号が入力されることにより検出し、図６に示すような入力欄ＩＰを、表示部１７を介して画像表示欄ＭＰの一部に表示する。ここで、入力欄ＩＰは、ユーザが情報などを入力するテキスト欄Ｔと、タッチ画面型キーボード部Ｋと、で構成されている。この入力欄ＩＰは、ユーザが、後述する投稿情報、店舗名や年度を入力する際などに使用される。

ユーザは入力欄ＩＰのテキスト欄Ｔに自身の食べた料理や、店内の雰囲気、あるいは店員のサービスの質などの投稿情報をタッチ画面型キーボード部Ｋを用いて記入する。そして、ユーザが、再度メールアイコンＩ４をタッチすることにより、制御部１１は、メールアイコンＩ４が選択されたことを検出し、テキスト欄Ｔに記載されている文字情報及び画像表示欄Ｐに表示されている画像データを、カメラ識別情報及び建造物識別情報とともに投稿情報とし、その投稿情報を含む検索依頼信号を送受信部１２を介して情報検索システム２に送信する。

そして、サーバ２１は、デジタルカメラ１から上記検索依頼信号を受信すると、データベース２２の建造物テーブルの投稿欄に対して、建造物識別情報に対応させて入力された新たな投稿情報を書き込む。なお、サーバ２１は、投稿記入欄（テキスト欄Ｔ）に記入された投稿情報をデータベース２２の建造物テーブルの投稿欄に書き込む前に、データベース２２におけるユーザ登録テーブルにおいて、検索依頼信号に含まれるカメラ識別情報の有無を検出し、カメラ識別情報が登録されていることが検出された場合にのみ、上述の投稿情報をデータベース２２の建造物テーブルの投稿欄に書き込むようにしてもよい。

次に、制御部１１は、終了アイコンＥが選択されたか否かの検出を行う（ステップＳ９）。ここで、ユーザが上記終了アイコンＥをタッチすると、上記周辺回路は終了アイコンＥが選択されたことを示す信号を制御部１１に出力する。
そして、制御部１１は、終了アイコンＥが選択されたことを示す信号が入力されることにより、終了アイコンＥが選択されたことを検出した場合、情報検索の処理を終了する。
一方、制御部１１は、終了アイコンＥが選択されたことを示す信号が入力されず、終了アイコンＥが選択されたことを検出しない場合、処理をステップＳ１に戻し、デジタルカメラ１の撮像処理及び情報検索処理を継続する。

また、制御部１１は、ブラウズアイコンＩ１が選択された際に、情報検索システム２に送信する検索依頼信号に対して、撮像した画像データを含めるようにしても良い。 そして、サーバ２１は、地図データから抽出された建造物の建造物識別情報により、建造物テーブルから検索された建造物情報の周辺画像データと、送信される画像データとを、画像認識により比較し、画像データから特徴量を抽出し、記憶されている周辺画像データの特徴量と比較し、類似度が設定された数値以上であるか否かの検出により、撮像した建造物に対応しているか否かの判定を行うように構成しても良い。
この際、比較結果として周辺画像データの建造物と、画像データの建造物とが同様でないと判定した場合、サーバ２１は、位置情報及び方位情報により次に距離的に近い建造物を地図データから抽出し、再度特徴量の比較を行い、新たに抽出された建造物の周辺画像データと、撮像している画像データとの類似性の評価を行うようにしても良い。

なお、本実施形態におけるブラウズアイコンＩ１は、上述の撮像ボタンＢ１と同様に、ブラウズボタン（不図示）として撮像装置１に設けられてもよい。この場合、上記ブラウズボタンの機能は、上述のブラウズアイコンＩ１の機能と同様である。また、本実施形態における撮像ボタンＢ１は、不図示のスイッチ部を操作することによって、ブラウズボタンとして機能するようにしてもよい。この場合、ブラウズアイコンＩ１又はブラウズボタンは不要である。

＜デジタルカメラ１で撮像した後における画像の情報検索＞
次に、図１及び図７、並びに図４から図６を用いて本実施形態の動作を説明する。図７はデジタルカメラ１により、建造物を撮像した後、記憶部１５に記憶されている画像データを読み出し、その画像データに対する情報検索を行う場合において、本実施形態における情報検索処理の動作例を示すフローチャートである。
以下の説明において、例えば、ユーザが新宿の繁華街を徘徊しつつ、夕食を食べるレストランを探索し、いくつかのレストランの画像データを撮像してから、そのなかから食事をするレストランを探す状態を示す例を示す。

ユーザは繁華街を徘徊しつつ、気に入った外観のレストランに対してデジタルカメラ１を向け（ステップＳ１１）、後に情報検索を行いたい外観のレストランを見つけると、デジタルカメラ１に設けられている撮像ボタンＢ１（シャッター）を押下する（ステップＳ１２）。ここで、制御部１１は、撮像部１３の撮像している画像データを、図４に示すように表示部１７の画像表示欄ＭＰに撮像しているレストランの画像データを表示する。

次に、ユーザにより撮像ボタンＢ１が押下されることにより、周辺回路は撮像ボタンが押下されたことを示す信号を制御部１１に対して出力する。
そして、制御部１１は、撮像ボタンＢ１が押下されたことを示す信号が入力されることにより、撮像ボタンＢ１が押下されたことを検出し、撮像部１３の撮像している上記レストランの画像データに画像識別情報を付与し、この画像識別情報に対応させ、画像データと撮像した時刻とを記憶部１５に対して書き込んで記憶させる（ステップＳ１３）。
そして、制御部１１は、撮像ボタンＢ１が押下された時点において、ＧＰＳ１４が取得した位置情報と、方位センサ１６が取得した方位情報とを、上記画像識別情報に対応させ、記憶部１５に書き込み、記憶させる（ステップＳ１４）。

次に、ユーザが撮像したレストランの情報収集を行う場合、ユーザは、撮像した画像の読み出しアイコンＲをタッチする。これにより、周辺回路は、読み出しアイコンＲが選択されたことを示す信号を制御部１１に対して出力する。 ここで、制御部１１は、読み出しアイコンＲが選択されたことを示す信号が入力されるか否かにより、記憶部１５に画像が記憶されているか否かの判定を行う（ステップＳ１５）。
このとき、読み出しアイコンＲが選択されたことを示す信号が入力されると、制御部１１は、読み出しアイコンＲが選択されたことを検出し、情報の探索を開始するため、処理をステップＳ１６へ進める。なお、読み出しアイコンＲは、読み出しボタン（不図示）としてもよい。その場合、読み出しボタンは、撮像ボタンＢ１のようにデジタルカメラ１本体に設ければよい。 一方、読み出しアイコンＲが選択されたことを示す信号が入力されない場合又は記憶部１５に画像が記憶されていない場合、制御部１１は、新たな撮像処理を行うため、処理をステップＳ１１の状態に戻す。

そして、制御部１１は、ユーザが読み出しアイコンＲをタッチして、周辺回路から読み出しアイコンＲが選択されたこと示す信号が入力されると、記憶部１５から時系列に撮像した順番に、画像データを順次読み出し（ステップＳ１６）、画像データをサムネイル画像として予め設定した枚数毎に（又は画像データを１枚ずつ）、表示部１７を介して画像表示欄ＭＰに表示する。
また、１ページにサムネイル画像が入りきらない場合（或いは１枚ずつ表示する場合）、ユーザが画像表示欄ＭＰに表示された画像を所定の方向にスライドさせるようにタッチすると、前ページ又は次ページのサムネイル画像を画像表示欄ＭＰに表示する。この時、制御部１１は、画像表示欄ＭＰに表示された画像が所定の方向にスライドさせるようにタッチされたことを示す信号を検出することで、前ページ又は次ページのサムネイル画像を画像表示欄ＭＰに表示部１７を介して表示する。

次に、ユーザが例えばサムネイル画像のなかから興味あるレストランの画像をタッチにより選択し、さらに、ブラウズアイコンＩ１をタッチすると、周辺回路は選択された画像識別情報とともに、ブラウズアイコンＩ１が選択されたことを示す信号を制御部１１に対して出力する。
これにより、制御部１１は、ブラウズアイコンＩ１が押下されたことを示す信号が入力されると、選択された画像データの画像識別情報により、記憶部１５からこの画像識別情報に対応する位置情報及び方位情報を読み出し、カメラ識別情報、位置情報及び方位情報とを含む検索依頼信号を、送受信部１２を介して情報検索システム２へ送信する（ステップＳ１７）。

以下の、ステップＳ６〜ステップＳ８の処理については、図３におけるステップＳ６〜ステップＳ８の処理と同様のため、説明を省略する。次に、制御部１１は、終了アイコンＥが選択されたか否かの検出を行う（ステップＳ１８）。このとき、制御部１１は、ユーザにより終了アイコンＥがタッチされて、周辺回路から終了アイコンＥが選択されたことを示す信号が入力された場合、ブラウズの処理を終了する。一方、制御部１１は、終了アイコンＥが選択されたことを示す信号が入力されない場合、処理をステップＳ１６に戻し、サムネイル画像からの画像の選択処理を継続する。

＜デジタルカメラ１に入力した店舗情報からの情報検索＞
次に、図１及び図８、並びに図４から図６を用いて本実施形態の動作を説明する。図８はデジタルカメラ１に対して、ユーザが店舗名を入力することにより、データベース２２に記憶されている対応する店舗名の図２の建造物テーブルから、入力した店舗名のレストランなどの情報検索を行いたい場合において、本実施形態における情報検索処理の動作例を示すフローチャートである。
以下の説明において、例えば、原宿にて夕食を行う場合、知人から聞いたレストランの情報を確認する状態を示す。 ユーザが検索アイコンＩ５をタッチにより選択すると、上記周辺回路は検索アイコンＩ５が選択されたことを示す信号を制御部１１に出力する。
これにより、制御部１１は、検索アイコンＩ５が選択されたことを、上記検索アイコンＩ５が選択されたことを示す信号が入力されることにより検出し、図６に示すような入力欄ＩＰを、表示部１７を介して画像表示欄ＭＰの一部に表示する。
そして、ユーザが入力欄ＩＰのテキスト欄Ｔに対し、タッチ画面型キーボード部Ｋを用いて検索を行いたいレストランの店舗名を書き込み（ステップＳ２１）、ユーザが検索アイコンＩ５を再度タッチする（ステップＳ２２）。

これにより、周辺回路は検索アイコンＩ５が選択されたことを示す信号とともに、テキスト欄Ｔに入力された店舗名の文字データを制御部１１に対して出力する。 そして、制御部１１は、検索アイコンＩ５が選択されたことを示す信号の入力により、検索アイコンＩ５が選択されたことを検出し、上記テキスト欄Ｔに入力された店舗名の文字データを読み込み、自身のカメラ識別情報とともに、検索依頼信号として、情報検索システム２に対して、この検索依頼信号を送受信部１２を介して送信する（ステップＳ２３）。
次に、サーバ２１は、上記検索依頼信号を入力すると、データベース２２における建造物テーブルから、上記店舗名に対応する建造物（店舗）の情報（店舗情報、図２のテーブルにおける各情報）を読み出す（ステップＳ２４）。

上記店舗情報を読み込んだ後、サーバ２１は、この取得した上記店舗情報をデジタルカメラ１へ送信する（ステップＳ２５）。
店舗情報が送受信部１２を介して受信されると、制御部１１は、表示部１７を介して、図５の画像表示欄ＭＰに建造物情報に含まれる店舗周辺の画像データを表示するとともに、情報表示欄ＳＰに建物情報を表示する（ステップＳ２６）。例えば、レストランが、どのような種類（中華、和風、フレンチ、イタリアンなど）であるかの情報と、電話番号となどが表示される。
また、ユーザがＣＭアイコンＩ２をタッチにより選択すると、制御部１１は、ＣＭアイコンＩ２が選択されたことを検出し、検索結果情報に含まれるレストランのコマーシャル情報（メニューや、シェフの今日のおすすめ料理など）を、情報表示欄ＳＰに表示部１７を介して表示する。

また、ユーザが投稿閲覧アイコンＩ３をタッチにより選択すると、周辺回路は投稿閲覧アイコンＩ３が選択されたことを示す信号を制御部１１に対して出力する。
制御部１１は、投稿閲覧アイコンＩ３が選択されたことを示す信号が入力されることにより、投稿閲覧アイコンＩ３が選択されたことを検出し、検索結果情報に含まれる他のユーザの書き込んだ投稿情報を、情報表示欄ＳＰに表示部１７を介して表示する。

なお、制御部１１は、複数の投稿情報がある場合、その複数の投稿情報を順次、情報表示欄ＳＰに表示部１７を介して表示する。また、制御部１１は、投稿情報に画像データも含まれる場合、この画像データを情報表示欄ＳＰに表示部１７を介して表示する。

そして、制御部１１は、終了アイコンＥが選択されたか否かの検出を行う（ステップＳ２７）。この終了アイコンＥの選択の検出は、＜デジタルカメラ１で撮像している画像の情報検索＞における（図３における）ステップＳ９の処理と同様であるため、説明を省略する。
このとき、制御部１１は、ユーザが終了アイコンＥをタッチにより終了アイコンＥが選択されたこと示す信号が周辺回路から入力された場合、ブラウズの処理を終了する。一方、制御部１１は、終了アイコンＥが選択されたことを示す信号が入力されない場合、処理をステップＳ２１に戻し、店舗の情報の検索を継続する。

＜データベース２２に登録してある店舗に対する課金処理＞
データベース２２の建造物テーブルは、上述した建造物が店舗（レストランや会社も含む）である場合、この店舗毎に割引クーポンのデータが記憶されている構成としてもよい。
そして、サーバ２１は、検索結果情報に割引クーポン情報を付加し、デジタルカメラ１へ送信する。
ユーザが上記割引クーポン情報を用いて、食事をしたり、買い物をしたりすると、サーバ２１は、割引クーポン情報の使用の有無からユーザが食事あるいは買い物をしたかの有無を検出する。例えば、上記割引クーポン情報がデジタルカメラ１の情報表示欄ＳＰに表示されるバーコード（２次元バーコードを含む）などの場合、店舗の読み取り機がそのバーコードを読み取り、デジタルカメラ１から送信されるカメラ識別情報、及び買い物（または食事）の料金ととともに、割引クーポン情報が使用されたことを示す利用情報を情報検索システム２へ送信する。

これにより、サーバ２１は、上記利用情報を受信すると、この利用情報に付加されたカメラ識別情報に対応する履歴情報を、データベース２２から読み出し、情報検索をして店舗を利用したのか、また店舗の提供する情報を見て店舗を利用したのか、あるいは投稿情報をみて店舗を利用したのかの情報の利用段階において、すなわち、データベース２２の情報をどの程度利用したかに応じた情報提供料として、ユーザが利用した店舗に対して異なる課金を行う。また、サーバ２１は、カメラ識別情報毎に、情報検索を行った段階、及び割引クーポン情報を利用した履歴を、データベース２２に記憶される履歴テーブルに書き込む。

このバーコードには店舗を示す建造物識別情報が含まれている。データベース２２には、この建造物識別情報に対応させた、各店舗に対応する課金の履歴と、課金の積算値とを記憶する課金テーブルが設けられている。
そして、サーバ２１は、建造物識別情報に対応して、利用した金額及び上記情報の利用段階に対応する課金を、上記課金テーブルに履歴として書き込み、積算値に新たな課金を加算して積算値の更新を行う。

＜ユーザに対するポイントの付加処理＞
サーバ２１は、ユーザが割引クーポン情報を店舗で利用する毎に、割引クーポン情報を用いた際の利用金額に応じた（例えば、利用金額にポイント係数を乗して計算した）ポイントを求め、データベース２２におけるユーザ登録テーブルにおいて、求めたポイントを、カメラ識別情報に対応して積算する。
また、サーバ２１は、投稿情報を送信してきたユーザに対し、予め設定された値のポイントを、上記ユーザ登録テーブルに、カメラ識別情報に対応して積算する。 上記ポイントはお金の代わりに、代金支払いにおいて割引クーポン情報とともに使用することができる。

＜投稿情報の表示順番＞
ここで、サーバ２１は、デジタルカメラ１に対して、最初の段階において投稿情報として、ニックネームと表題とを、投稿識別情報とともに送信するようにしてもよい。 そして、制御部１１は、最初に情報表示欄ＳＰにニックネームと表題のみを複数表示する。そして、ユーザは、その複数表示されたなかから、気になる投稿情報のニックネームと表題とをタッチして選択する。これにより、周辺回路は、ニックネームと表題とが選択されたことを示す信号と、選択された投稿情報の投稿識別情報を制御部１１に対して送信する。
これにより、制御部１１は、情報検索システム２に対して、投稿識別情報とともに投稿情報送信依頼を送信する。

これにより、サーバ２１は、送信された投稿識別情報に対応する文字データ及び画像データ（投稿情報の全体）をデジタルカメラ１に対して送信する。
ここで、サーバ２１は、各投稿情報に対して、識別のための投稿識別情報を付与し、カメラ識別情報と対応させて、ユーザ登録テーブルに書き込んで記憶させている。
なお、本実施形態においては、制御部１１は、情報検索システム２からの文字データ及び画像データを、送受信部１２を介して受信すると、情報表示欄ＳＰに文字データを表示し、画像データを画像表示欄ＭＰに表示してもよい。

また、サーバ２１は、ユーザ登録テーブルにおいて、参照された投稿情報に対応する投稿識別情報をユーザ登録テーブルから検索し、この投稿識別情報に対応したカメラ識別情報の参照回数をインクリメントする。
そして、サーバ２１は、ユーザに投稿情報を選択させる、最初のニックネーム及び表題の表示段階において、投稿情報の選択された回数の多い順に、すなわち参照回数の多いユーザのニックネームと表題とを、情報表示欄ＳＰに表示する順位を上位とした表示リストを、デジタルカメラ１へ送信する。
これにより、制御部１１は、上記表示リストに従い、情報表示欄ＳＰにニックネームと表題を順次表示する。

＜過去の画像データの表示処理＞
また、本実施形態においては、データベース２２は、各緯度経度における建物及び風景が年度ごとに撮影された画像データが、緯度経度毎に対応して記憶された過去画像テーブルを有するようにしてもよい。
ユーザが過去画像アイコンＩ６をタッチにより選択すると、上記周辺回路は過去画像アイコンＩ６が選択されたことを示す信号を制御部１１に出力する。
これにより、制御部１１は、過去画像アイコンＩ６が選択されたことを、上記過去画像アイコンＩ６が選択されたことを示す信号が入力されることにより検出し、図６に示すような入力欄ＩＰを、表示部１７を介して画像表示欄ＭＰの一部に表示する。
そして、ユーザは、テキスト欄Ｔにタッチ画面型キーボード部Ｋを用いて年度（例えば、西暦）を記入した後、過去画像アイコンＩ６（又はブラウズアイコンＩ１）をタッチする。

これにより、周辺回路は、過去画像アイコンＩ６が選択されたことを示す信号とともに、上記年度の文字データを制御部１１へ送信する。 制御部１１は、過去画像アイコンＩ６が選択されたことを示す信号を検出すると、テキスト欄Ｔに記入された年度を示す文字データを読み込む。
年度のデータを読み込んだ後、制御部１１は、過去画像検索要求を、読み込んだ年度と、位置情報と、方位情報と、カメラ識別情報とともに、情報検索システム２へ送信する。

次に、情報検索システム２において、サーバ２１は、画像表示欄Ｐに表示されているデジタルカメラ１から受信した建造物の位置情報に基づく緯度経度に対応する過去画像テーブルを選択する。そして、サーバ２１は、この選択された過去画像テーブルにおける方位情報及び年度に対応する画像データを読み込み、読み出した画像データをデジタルカメラ１に送信する。デジタルカメラ１は、サーバ２１から受信した上記年度に対応する画像データを画像表示欄ＭＰに表示部１７を介して表示する。なお、サーバ２１は、上記読み出した画像データに対する付加情報がある場合には、読み出し画像データとともに、その情報もデジタルカメラ１に送信する。
これにより、ユーザは、過去の各年度にどのような建造物があったのか、あるいは何もなく風景のみであったのかなどの情報を得ることができる。

ここで、サーバ２１は、対応する緯度経度の過去画像テーブルが検索できない場合、方位情報の方向にある緯度経度であり、かつ最も近い緯度経度の過去画像テーブルを検索し、これから画像データの抽出を行う。
また、検索対象の年度が、写真が無い時代であれば、その時代にかかれた風景画、あるいは想像して作成されたＣＧ（Computer Graphics）の画像データを、写真の画像データ
に代えて、年度に対応して、記憶部１５の上記過去画像テーブルに記憶させておいても良い。

＜ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）情報の表示処理＞
すでに述べたように、図１の構成において、制御部１１は、ＧＰＳ１４から得られたデジタルカメラ１自身の存在位置を示す緯度経度情報（位置情報）、方位センサ１６（方位角検出部）で得られたデジタルカメラ１の光学軸の方向（撮影している方向）を示す方位角からなる方位情報などを、撮像部１６が被写体を撮像した画像データに画像識別情報を付加し、記憶部１５に撮像順に書き込む。
この図１の構成に対して、図９に示すように、ＡＲ情報の取得及び記憶のための機能として、ホールド制御部３１とＡＲ情報記憶部３０とを新たに付加する。図９は、ＡＲ情報を取得及び記憶する機能を有する情報取得システムの構成例を示すブロック図である。

本実施形態におけるＡＲ情報とは、図２に示す建物テーブルに示された各種の情報（被写体に関する情報）を示す。例えば、ＡＲ情報は、建造物を識別するための建造物識別情報と、建造物の名称である建造物名称と、建造物情報（住所、電話番号、種別、建造物を中心とした周辺画像データなどの情報）と、建造物の緯度経度などによる位置情報と、建造物の説明（店舗であれば店が記載する情報）と、投稿情報（訪れたユーザの評価などのコメント、ユーザのコメント及びユーザの投稿した画像データ等）と、などを含む。ここで、建物識別情報は、建造物の情報が記憶されている場所を示すＵＲＬでも良い。
制御部１１は、このＡＲ情報のうちいずれかを、スルー画像（被写体を撮像した画像）の画像データに対して重ね合わせて表示するタグ（拡張現実のオブジェクト）とするかは、ユーザにより任意に設定されるように構成しても良い。
ここでスルー画像とは、撮像部１３が撮像素子に結像された画像を連続的に画像データとして制御部１１へ出力し、制御部１１が順次表示部１７に表示する画像データである。

ホールド制御部３１は、ＡＲ情報のホールドを要求するアクションを検出する。換言すると、ホールド制御部３１は、撮像部１３がＣＣＤ等の素子に結像して表示部１７に表示されている画像データと、この画像データ内にある（画像の画角内にある）ＡＲ情報とをＡＲ情報記憶部３０に記憶させるホールドのタイミングを検出する。なお、ＡＲ情報記憶部３０は、情報検索システム２に設ける構成としてもよい。
ここで、制御部１３は、焦点距離及び倍率等と、画角との対応を示すテーブルを記憶部１５に予め記憶させておき、画像データを取得した際の焦点距離及び倍率等により画像の画角情報を求める。

図１０は、建物Ｔ１からＴ４の現実画像（スルー画像）と、その建物Ｔ１からＴ４の各々のＡＲ情報が記載された拡張現実のオブジェクトとしてのタグ（例、拡張現実としての建造物情報が記載されているタグ）ＴＢ１、ＴＢ２、ＴＢ３、ＴＢ４の画像との、表示部１７における合成画像（ＡＲ画像）を示す図である。
また、本実施形態におけるデジタルカメラ１は、ＡＲ情報を取得するＡＲ情報取得モードまたは通常の撮像モードがある。制御部１１は、デジタルカメラ１の筐体に設けられているＡＲ情報取得モードのボタン（ＡＲ情報取得ボタンＡＲＢ１）の押下、あるいは表示部１７に表示されているＡＲ情報取得モードのアイコン（ＡＲ情報取得アイコンＡＲＩ１）をタッチすることにより、制御部１１は、ボタンの押下をスイッチからの信号を検出あるいは表示部１７におけるアイコンのタッチをタッチセンサにより検出し、ＡＲ情報取得モードあるいは通常の撮像モードのいずれかとする制御を行う。

また、本実施形態におけるデジタルカメラ１は、ＡＲ情報取得モードの場合、ＡＲ情報をタグとして表示（画像データとＡＲ情報の拡張現実のオブジェクトとを合成）するモード（ＡＲ表示モード）または非表示（画像データのみ表示）とするモード（ＡＲ非表示モード）を有する。制御部１１は、デジタルカメラ１の筐体に設けられている表示／非表示のボタン（ＡＲ切り替えボタンＡＲＢ２）の押下によるスイッチからの信号、あるいは表示部１７に表示されている表示／非表示のアイコン（ＡＲ切り替えアイコンＡＲＩ２）のタッチにより、制御部１１はボタンの押下、あるいはアイコンのタッチをセンサにより検出し、表示あるいは非表示のいずれかとする制御を行う。

ここで、表示部１７には、表示素子上に透明なタッチセンサが設けられており、アイコンをタッチすると、そのタッチセンサがタッチされたことにより、タッチされた領域の座標値を検出信号として制御部１１へ送信する。制御部１１は、タッチセンサの座標と表示する表示素子との座標を一致させて、検出信号の座標値により、表示している画像を判定する（表示部１７に表示されているアイコンがいずれのアプリケーションの起動等を示しているか、またはサムネイル画像として表示されている画像データの画像識別情報などを識別する）ことができる。

制御部１１は、デジタルカメラ１の方位角（方位情報）が変化する毎に、ホールドされた際に表示部１７に表示されていた画像データを撮影していた緯度経度情報（位置情報）、方位情報及び画角情報を、ＡＲ情報取得要求とともに、送受信部１２を介して、情報検索システム２へ送信する。なお、制御部１１は、定期的又はユーザの指示により、位置情報及びＡＲ情報取得要求を送受信部１２を介して情報検索システム２へ送信し、ＡＲ情報を取得してもよい。また、制御部１１は、定期的又はユーザの指示により、ホールド制御部３１によりホールドした画像データ及びＡＲ情報取得要求を送受信部１２を介して情報検索システム２へ送信し、ＡＲ情報を取得してもよい。
ここで、制御部１１は、方位角の変化を、所定の周期毎に方位角を検出し、すでに記憶部１５の方位角記憶部に記憶されている方位角から、予め設定した角度を超えて方位角が変化すると、方位角の変化として検出し、この時点の方位角を新たに方位角記憶部に記憶させる。

情報検索サーバ２１は、ＡＲ情報取得要求をデジタルカメラ１から受信すると、ＡＲ情報取得要求に付加されている緯度経度情報、方位情報及び画角情報に基づき、画角情報から求めた緯度経度情報の示す緯度経度の座標位置からＡＲ情報を検索する緯度経度の座標位置までの検索距離を求める。
また、情報検索サーバ２１は、画角情報と、当該画角に対応した検索距離とが記載されたデータベース２２の検索距離テーブルから、画角情報に対応した検索距離を読み出すことによりＡＲ情報の検索距離を求める。

図１２は、建造物のＡＲ情報を検索する検索範囲を示す図である。
そして、情報検索サーバ２１は、経度緯度情報に基づく座標位置、デジタルカメラ１のレンズの光軸の方位角、検索距離により、図１２に示す検索範囲を求め、この検索範囲にある建造物識別情報を、データベース２２の地図データから読み出す。
また、情報検索サーバ２１は、読み出した建造物識別情報により、データベース２２内の建造物テーブルから、建造物のＡＲ情報を読み出す。
情報検索サーバ２１は、読み出したＡＲ情報を、対応する建造物識別情報とともに、デジタルカメラ１に対して送信する。

これにより、制御部１１は、デジタルカメラ１の緯度経度情報に基づく座標値に対し、ＡＲ情報に含まれる緯度経度情報の示す緯度経度情報に基づく座標値に合わせ、画像データ（スルー画像）にこのＡＲ情報のタグ（拡張現実のオブジェクト）の画像を重ね合わせて合成し、表示部１７に図１０に示す状態にて表示する。
また、制御部１１は、ホールド制御部３１からホールド制御信号を受信すると、ホールドされた際の緯度経度情報、方位情報及び画角情報と、ＡＲ情報取得要求にて情報検索システム２から送信されるＡＲ情報及びこのＡＲ情報の建造物を識別する建造物識別情報とを、ホールドした際の画像データの画像識別情報毎に、ＡＲ情報記憶部３０に対して記録する処理を行う。

図１１は、図９におけるＡＲ情報記憶部３０に記憶されるＡＲ情報テーブルの構成を示す図である。ＡＲ情報テーブルは、画像識別情報毎にＡＲ情報記憶部３０に記憶されている。
制御部１１は、上述したように画像識別情報毎に生成され、建造物識別情報（建造物のＡＲ情報が記憶されている場所を示すＵＲＬ）と、この建造物のＡＲ情報（緯度経度情報を含む）と、ホールド制御信号が入力されてホールドされた際のデジタルカメラ１自身の緯度経度情報、方位情報及び画角情報とを、ＡＲ情報記憶部３０に対してＡＲ情報テーブルとして書き込み記憶する。
また、制御部１１は、ホールド制御信号が入力されると、その時点において撮像部１３の撮像素子に結像されている画像データを、この画像データに付与した画像識別情報に対応させて記憶部１５に書き込んで記憶させる。

ここで、ＡＲ情報のホールドを指示するための入力のアクションとして、ホールド制御部３１は、例えば、デジタルカメラ１の筐体に設けられたＡＲ情報取得ボタンＡＲＢ１が押下によるスイッチからの信号を検出する検出手段、あるいは表示部１７に表示されたＡＲ情報取得を示すアイコン（ＡＲ情報取得アイコンＡＲＩ１）がタッチされたことをタッチセンサが検出する検出手段、などを有している。
そして、ホールド制御部３１は、ＡＲ情報取得ボタンが押下された場合、あるいはＡＲ情報取得を示すアイコンがタッチされた場合、画像データとＡＲ情報とを記録する信号が入力されたことを検出し、制御部１に対してホールド制御を行うホールド制御信号を出力する。このように、ホールド制御部３１は、ユーザのデジタルカメラ１に対するモーション（アクション、操作、動作）によって、画像データとＡＲ情報とを記録する信号が入力されたことを検出し、制御部１に対してホールド制御を行うホールド制御信号を出力する。

また、ホールド制御部３１は、例えば、ＡＲ情報をホールドするアクションとして、加速度センサにより急激にデジタルカメラ１が移動（画面を見やすいようにデジタルカメラ１を下に向けた、振ったなどの動作）させられたことを検出して、この検出タイミングをホールドのタイミングとするように構成しても良い。
上記加速度センサを用いた加速度検出において、ホールド制御部３１は、予め設定された閾値以上の加速度データが加速度センサから供給されると、ホールド指示の制御信号として、ホールド制御信号を制御部１１に対して出力する。このように、ホールド制御部３１は、端末（例、デジタルカメラ１）のモーションによって、画像データとＡＲ情報とを記録する信号が入力されたことを検出し、制御部１に対してホールド制御を行うホールド制御信号を出力する。

また、ホールド制御部３１は、例えば、ＡＲ情報をホールドするアクションとして、画像の特徴点を検出してこの特徴点が予め設定した距離を、予め設定した検出範囲の時間内に移動したことにより検出したりあるいは、撮像素子の出力する画像データのコントラストが予め設定した差分を超えて変化したことにより、画像データにおける画像パターンの変化を検出して、この検出タイミングをホールドのタイミングとするように構成しても良い。
上記画像パターンの変化の検出において、ホールド制御部３１は、予め設定された閾値以上の画像パターンの変化を検出すると、ホールド制御を行う制御信号として、ホールド制御信号を制御部１１に対して出力する。

また、ホールド制御部３１は、例えば、ＡＲ情報をホールドするアクションとして、仰角センサを用いて急激にデジタルカメラ１の角度が変化（画面を見やすいように下に向けた、振ったなどの動作により移動）させられたことを検出して、この検出タイミングをホールドのタイミングとするように構成しても良い。
上記仰角センサを用いた仰角情報の検出において、ホールド制御部３１は、予め設定された閾値以上の仰角変化が仰角センサから供給されると、ホールド制御を行う制御信号として、ホールド制御信号を制御部１１に対して出力する。このように、ホールド制御部３１は、端末（例、デジタルカメラ１）のモーションによって、画像データとＡＲ情報とを記録する信号が入力されたことを検出し、制御部１１に対してホールド制御を行うホールド制御信号を出力する。

また、制御部１１は、上述した加速度センサ、画像パターンの変化及び仰角センサを用いたホールドを指示するアクションの場合、ホールド制御信号を受信した際の画像データに対応するＡＲ情報を取得するため、ＡＲ情報取得要求毎に得られる画像データ及びこの画像データに対応する建造物識別情報と、この建造物のＡＲ情報、緯度経度情報、方位情報及び画角情報とを、所定の時間内、例えば１秒間、ＡＲ情報記憶部３０のバッファ部に記憶させる必要がある。
このため、制御部１１は、ＡＲ情報取得要求に対応した、画像データ及びこの画像データに対応する建造物識別情報と、この建造物のＡＲ情報、緯度経度情報、方位情報及び画角情報とを、所定の時間内、例えば１秒間、ＡＲ情報記憶部３０のバッファ部に書き込み記憶させる（キャッシュする）。

そして、制御部１１は、ホールド制御信号が入力されると、ホールド制御信号を受信する直前、あるいは予め設定している時間前のＡＲ情報取得要求の際に、情報検索システム２から得られてバッファ部に記憶されている、画像識別情報に対応したＡＲ情報取得要求毎に得られる画像データ及びこの画像データに対応する建造物識別情報と、この建造物のＡＲ情報、緯度経度情報、方位情報及び画角情報とを、ＡＲ情報記憶部３０に対し、時刻情報を付加したＡＲ情報テーブルとして書き込んで記憶する。
また、制御部１１は、画像データを記憶部１５に、この画像識別情報とともに書き込んで記憶させる。
また、制御部１１及びホールド制御部３１は、ＡＲ表示を非表示とする非表示モードに設定されていても、ＡＲ情報の取得あるいはＡＲ情報のホールド処理を行うように構成しても良い。

上述した処理により、制御部１１は、ホールドさせた画像のＡＲ情報を表示する場合に、デジタルカメラ１の筐体に設けられているＡＲ表示確認のボタン（ＡＲ切り替えボタンＡＲＢ２）の押下に基づく指示信号、あるいは表示部１７に表示されているＡＲ表示確認のアイコン（ＡＲ切り替えボタンＡＲＩ２）のタッチに基づく指示信号により、ＡＲ情報記憶部３０に記憶されているＡＲ情報テーブルからの時刻情報と内部の時計の時刻とを比較し、ＡＲ情報記憶部１５から最新の時刻のＡＲ情報テーブルを選択して読み出し、情報検索システム２から送信された際と同様に、表示部１７に画像データをＡＲ情報のタグとともに表示する。なお、制御部１１は、上記最新の時刻のＡＲ情報テーブルを定期的に情報検索サーバ２１から取得してもよいし、上記最新の時刻のＡＲ情報テーブルを上記指示信号に基づき情報検索サーバ２１から取得してもよい。また、制御部１１は、ＡＲ情報取得モードの場合、ホールドさせた時のホールド制御信号を受信することによって、ホールドさせた画像のＡＲ情報を表示させるようにしてもよい。

また、制御部１１は、ＡＲ情報記憶部３０に記憶されている画像識別情報に対応する画像データを記憶部１５から読み出し、読み出した画像データのサムネイル画像を表示部１７に表示するように構成してもよい。制御部１１は、表示部１７に表示されている該サムネイル画像をユーザがタッチすることにより、画像データを選択するように構成しても良い。制御部１１は、選択されたサムネイル画像に対応付けられている画像識別情報により、ＡＲ情報記憶部３０からこの画像識別情報のＡＲ情報テーブルを読み出し、表示部１７に対する表示を行う。
この際、上述したように、ユーザは、ＡＲ情報の表示／非表示を選択することができる。

ここで、制御部１１が、ＡＲ情報として、建造物テーブルに記載された、建造物を識別するための建造物識別情報と、建造物の名称である建造物名称と、建造物情報と、建造物の緯度経度などによる位置情報と、建造物の説明と、投稿情報との全てを記憶部１５などに記憶させていれば、無線基地局３と無線が通じない場所においても、すなわちオフラインの場合でも、制御部１１は、ＡＲ情報記憶部３０に記憶されている画像データに対しては、図１０のように、ＡＲ情報のタグを付加して表示部１７に表示させることができる。

また、オフラインで使用することがなければ、制御部１１は、ＡＲ情報テーブルとして、ＡＲ情報取得要求のために必要な、デジタルカメラ１の緯度経度情報、方位角情報及び画角情報を記憶させておき、画像データが選択された際に、再度、情報検索システムに対して、ＡＲ情報取得要求を行うように構成しても良い。
上述した構成により、ユーザは、ＡＲ情報を得たい方向にデジタルカメラ１の撮像方向を向けていなくても、例えば、デジタルカメラ１をテーブルの上に置いて表示部１７の画面を見る状態においても、ＡＲ情報を得たい方向の画像データを見つつ、ＡＲ情報を確認することが可能となる。

また、制御部１１は、ＡＲ情報取得モードとなっている場合、ホールド制御信号をホールド制御部３１から受信すると、ユーザＩＤを入力することを促す表示と、アルファベット及び数字のキーが示されたアイコンとともに、ユーザＩＤ記入欄を表示する。
ユーザがアルファベット及び数字のキーが示されたアイコンをタッチすることにより、制御部１１は、対応する文字データを検出し、内部バッファに書き込むとともに、ユーザＩＤ記入欄に内部バッファの文字データを表示する。
そして、制御部１１は、アルファベット及び数字のキーが示されたアイコンにあるエンターのキーをタッチされたことを検出することにより、内部バッファの文字列をユーザＩＤとして固定する。
制御部１１は、ＡＲ情報テーブルに、内部バッファに記憶されているユーザＩＤを付加して記憶する。

ユーザがＡＲ情報を参照しようとする際、画像データが選択されると、制御部１１は、ユーザＩＤを入力することを促す表示と、アルファベット及び数字のキーが示されたアイコンとともに、ユーザＩＤ記入欄を表示する。
アルファベット及び数字のキーが示されたアイコンがタッチされたことを検出することにより、制御部１１は、対応する文字データを検出し、内部バッファに書き込むとともに、ユーザＩＤ記入欄に内部バッファの文字データを表示する。
そして、制御部１１は、アルファベット及び数字のキーが示されたアイコンにあるエンターのキーをタッチされたことを検出することにより、内部バッファの文字列に対応するユーザＩＤと、選択された画像データの画像識別情報に対応したＡＲ情報テーブルに付加されたユーザＩＤとの比較を行う。
制御部１１は、ユーザの入力したユーザＩＤと、ＡＲ情報テーブルに付加されているユーザＩＤとが等しい場合、表示部１７に画像データとＡＲ情報とを合成した画像（ＡＲ画像）の表示を行い、一方、ＡＲ情報テーブルに付加されているユーザＩＤとが異なる場合、画像データのみを表示する。
この構成により、デジタルカメラ１は、画像毎にユーザ（又はユーザＩＤ）を特定してＡＲ情報の表示を行うことが可能となる。

また、制御部１１は、他のユーザが情報検索システム２に登録したＡＲ情報又は他のユーザが取得したＡＲ情報を表示しないで、自身が登録したＡＲ情報又は自身が取得したＡＲ情報を表示したい場合、デジタルカメラ１を使用するユーザを、ユーザテーブルとしてアドレス帳のように、記憶部１５又はデータベース２２に予め格納しておき、ＡＲ情報を参照しようとするアイコン（ＡＲ切り替えアイコンＡＲＩ２）がタッチされると、制御部１１はユーザテーブルから取得したユーザ名のリスト（又はユーザＩＤのリスト）を表示部１７に表示する。
そして、ユーザがこのリストから自身のユーザＩＤをタッチすると、制御部１１は、このタッチされたユーザＩＤと同一のユーザが付加されたＡＲ情報テーブルを、ＡＲ情報記憶部３１から読み出し、このＡＲ情報テーブルの画像識別情報と同一の画像識別情報を有する画像データを、記憶部１５から読み出しサムネイル画像として、表示部１７に表示するように構成しても良い。なお、制御部１１は、上記リストが表示された状態において、他のユーザが選択された信号に基づき、該他のユーザのユーザＩＤと同一のユーザが付加されたＡＲ情報テーブルを、ＡＲ情報記憶部３０から読み出して、このＡＲ情報テーブルの画像識別情報と同一の画像識別情報を有する画像データを、記憶部１５から読み出しサムネイル画像として、表示部１７に表示するように構成しても良い。

また、制御部１１は、画像識別情報毎のＡＲ情報テーブルをＡＲ情報記憶部３０に記憶させる際、情報検索システム２から受信するＡＲ情報のみでなく、このＡＲ情報に対してＡＲ関連情報として、ＡＲ情報に紐付けられたパラメータあるいは撮影日時（時刻情報）を付加して、ＡＲ情報テーブルに各建造物識別情報に対応させて記憶させるように構成しても良い。
このようにすることで、例えば、ユーザが１０年前の画像データ、ＡＲ情報及びＡＲ関連情報を表示部１７に表示させる際、表示部１７に表示されたＡＲ日付検索のアイコン（ＡＲ日付検索アイコンＡＲＩ３）を押下すると、制御部１１は、ＡＲ日付検索のアイコンを押下したことをセンサにより検出し、日付を入力する入力欄を、アルファベット及び数字のキーが示されたアイコンとともに、表示部１７に表示する。

そして、ユーザが日付を入力欄に対し、アルファベット及び数字のキーが示されたアイコンにより入力すると、制御部１１は、この日付と同一の日付が付加されたＡＲ情報テーブルを、ＡＲ情報記憶部３０から検索して抽出する。
そして、制御部１１は、抽出されたＡＲ情報テーブルに対応する画像識別情報を読み込み、この画像識別情報の画像データを記憶部１５から読み込み、サムネイル画像として表示部１７に表示する。
ユーザが表示部１７に表示されているサムネイル画像をタッチすることにより、制御部１１は、表示部１７のセンサによりそのサムネイル画像がタッチされたことを検出し、タッチされて選択された画像データの画像識別情報を検知する。

そして、制御部１１は、選択された画像データの画像識別情報に対応する画像データを、記憶部１５から読み出て、表示部１７に表示する。
さらに、制御部１１は、画像識別情報に対応するＡＲ情報テーブルを読み込み、ＡＲ情報及びＡＲ関連情報を、先に表示した画像データに対して重ねた合成画像（ＡＲ画像）を、表示部１７に表示する。
上述した構成により、ユーザは、１０年前の画像データと、この画像データにある建造物の１０年前のＡＲ情報とを、表示部１７を介して見ることが可能となる。

また、表示部１７に表示されている現在のＡＲ情報表示のアイコン（ＡＲ切り替えアイコンＡＲＩ２）をタッチすることにより、制御部１１は、現在のＡＲ情報表示のアイコンがタッチされたかを、タッチセンサの検出信号により検知し、この画像データの画像識別情報のＡＲ情報テーブルを、ＡＲ情報記憶部３０から抽出する。
そして、制御部１１は、ＡＲ情報テーブルから、現在から過去の間（本実施形態の場合、１０年間）にＡＲ情報を取得した際の緯度経度情報、方位情報及び画角情報を付加して、情報検索システム２に対して、ＡＲ情報検索要求を送信する。なお、制御部１１は、ＡＲ情報テーブルから、現在から過去の間（本実施形態の場合、１０年間）の全てのＡＲ情報を情報検索システム２から取得するようにしてもよい。

情報検索サーバ２１は、デジタルカメラ１からＡＲ情報検索要求を受信すると、このＡＲ情報検索要求に付加されている緯度経度情報、方位情報及び画角情報により求まる検索範囲における建造物の建造物識別情報を、データベース２２の地図データから抽出する。
そして、情報検索サーバ２１は、建造物識別情報に対応する建造物のＡＲ情報を、データベース２２の建造物テーブルから読み出し、デジタルカメラ１に対して送信する。
これにより、制御部１１は、過去の画像データに対して、現在のそこにある建造物のＡＲ情報を重ねて表示させる。
この構成により、過去と現在の建造物の移り変わりを容易に確認することができる。
また、被写体の撮影当時（例、１０年前）のＡＲ情報が情報検索サーバ２１のデータベース２２に日時順などで保存されている場合、制御部１１は、現在又は過去の時刻情報（例、現在、１０年前、など）に基づき、その時刻情報のＡＲ情報を取得して表示部１７に表示してもよい。ユーザは、現在から過去に遡って、画像データに対応するＡＲ情報を時系列的に見ることができる。

また、すでに説明した、画像データの画像識別情報毎にユーザＩＤを設定する構成において、複数のユーザＩＤを付加できる構成とすることで、複数の友人（ユーザ）の間のみに、ＡＲ情報の開示を限定することができる。また、ユーザＩＤを建造物識別情報毎に設定し、建造物のＡＲ情報毎に管理できるように構成しても良い。この場合、ユーザＩＤの記入を行うモードを設定し、制御部１１が建造物毎にユーザＩＤの入力を促すように構成する。
また、いずれのユーザＩＤも設定されていない場合、オープン表示、すなわち見る人（ユーザ）を限定せず、いずれの人間（ユーザ）も見られる状態となる。
制御部１１は、選択された画像データに対応するＡＲ情報テーブルにユーザＩＤが付加されているときのみ、ユーザＩＤを入力する欄と、アルファベット及び数字のキーが示されたアイコンとを、表示部１７に表示する。

上述したように、ユーザＩＤを用いたＡＲ情報の表示の組合せは、以下の５種類となる。
（１）現在（又は過去）の画像データ及び現在（又は過去）の画像データ内の建造物のＡＲ情報の合成画像
ユーザＩＤが付加されており、表示可能なユーザの限定表示
（２）現在（又は過去）の画像データ及び現在（又は過去）の画像データ内の建造物のＡＲ情報の合成画像
ユーザＩＤが付加されておらず、いずれものユーザが表示可能なオープン表示
（３）現在（又は過去）の画像データ及びこの現在（又は過去）の画像データの検索範囲にある現在の建造物のＡＲ情報の合成画像
ユーザＩＤが付加されており、表示可能なユーザの限定表示
（４）現在（又は過去）の画像データ及びこの現在（又は過去）の画像データの検索範囲にある現在の建造物のＡＲ情報の合成画像
ユーザＩＤが付加されておらず、いずれものユーザが表示可能なオープン表示
（５）現在（又は過去）の画像データのみの表示（ＡＲ情報非表示）
また、制御部１１は、上記のユーザＩＤを用いたＡＲ情報の表示をＡＲユーザ切り替えアイコンＡＲＩ４の選択に基づく信号によって切り替えることができる。

次に、図１３を用いて本発明の他の実施形態である図９の情報検索システムの動作を説明する。図１３は本発明の他の実施形態による情報検索システムの動作例を示すフローチャートである。
ユーザが表示部１７に表示されているＡＲ情報取得モードのアイコン（ＡＲ情報取得アイコンＡＲＩ１）をタッチすると、制御部１１は、ＡＲ情報取得モードのアイコンがタッチされたことを検出し、デジタルカメラ１をＡＲ情報取得モードとする。
制御部１１は、撮像部１３から連続的に供給される画像データを表示部１７に表示させる（ステップＳ３１）。

そして、制御部１１は、ＧＰＳ１４と方位センサ１６との各々から、それぞれ緯度経度の座標値を示す緯度経度情報（位置情報）、デジタルカメラ１の光学軸の方位角を示す方位情報を読み込む（ステップＳ３２）。
このとき、制御部２１は、焦点距離及び倍率から画角情報を、記憶部１５に記憶されている、焦点距離及び倍率の組合せ毎に画角情報が対応付けられたテーブルから読み出すことで、ＡＲ情報取得要求を情報検索システム２に対して行う際のデジタルカメラ１における画角情報を求める。

緯度経度情報、方位情報及び画角情報が得られると、制御部１１は、デジタルカメラ１のカメラ識別情報、緯度経度情報、方位情報及び画角情報を、ＡＲ情報取得要求に付与して、情報検索システム２へ送信する（ステップＳ３３）。

情報検索サーバ２１は、デジタルカメラ１から供給される緯度経度情報、方位情報及び画角情報から建造物の検索する検索範囲を求め、この検索範囲内の建造物をデータベース２２の地図データから検索し、この検索範囲内において検索された建造物の建造物識別情報を用いて、建造物テーブルからＡＲ情報を読み出す（ステップＳ３４）。
そして、情報検索サーバ２１は、読み出したＡＲ情報を、このＡＲ情報の建造物識別情報とともに、カメラ識別情報に対応したデジタルカメラ１に対して送信する。

次に、制御部１１は、自身の緯度経度情報、方位情報、画角情報と、検索距離（情報検索システム２からＡＲ情報に付加されて送信される）と、供給されるＡＲ情報に含まれる建造物の緯度経度情報から、表示部１７の画像データの表示座標における各建造物の座標位置を計算し、画像データを表示した上に、画像データにおける建造物それぞれのＡＲ情報をタグとして表示する（ステップＳ３５）。

そして、制御部１１は、方位センサ１６から供給される方位角が所定の角度（距離）変化したか否かを判断する（ステップＳ３６）。すなわち、制御部１１は、方位センサ１６から供給される方位角と方位角記憶部に記憶した方位角との差分を求め、この差分と予め設定されている角度（角度の閾値）とを比較する。
このとき、制御部１１は、差分が所定の角度（角度の閾値）を超えて（又は以上）変化した場合、方位角が変化したとして、処理をステップＳ３１に戻し、一方、差分が所定の角度（閾値）を超えて（又は以上）変化していない場合、方位角が変化していないとして、処理をステップＳ３７へ進める。

次に、制御部１１は、ホールド制御部３１からホールド制御信号が供給されているか否かの判定を行う（ステップＳ３７）。
このとき、制御部１１は、ホールド制御信号が入力されると、処理をステップＳ３８へ進め、一方、ホールド制御信号が入力されていない場合、処理をステップＳ３６へ戻す。
ここで、ホールド制御部３１は、例えば、加速度センサからの加速度データと、予め設定されている加速度データの閾値とを比較し、加速度センサから供給される加速度データが加速度データの閾値を超えている（又は以上である）場合、ホールド制御信号を生成し、制御部１１へ送信する。一方、ホールド制御部３１は、加速度センサから供給される加速度データが加速度データの閾値以下（又は未満）の場合、ホールド制御信号を制御部１１へ送信する処理を行わない。

そして、制御部１１は、ＧＰＳ１４と方位センサ１６との各々が取得した、それぞれ緯度経度の座標値を示す緯度経度情報（位置情報）、デジタルカメラ１の光学軸の方位角を示す方位情報を記憶部１５に書き込み、記憶させる（ステップＳ３８）。次に、制御部１１は、処理をステップＳ３６へ進める（戻す）。
ＡＲ情報取得モードの場合、ＡＲ情報を表示及び非表示のいずれにおいても、図１３のフローチャートを繰り返すことになる。

上述したように、本実施形態によれば、デジタルカメラ１の撮像方向を変えて、すなわちＡＲ情報を取得した方向と異なる方向に撮像方向を変えて、ユーザの最も見やすい位置に表示部１７を移動させ、ＡＲ情報を取得した際の画像データにおいて、ＡＲ情報の確認を行うことができる。
例えば、東京駅北口からの画像データにある建造物のＡＲ情報をホールドし、レストランのテーブル上にて、東京駅北口からの画像データの建造物のＡＲ情報を確認することが可能となる。また、ユーザは、現在位置から北の方向の建造物のＡＲ情報をホールドし、ホールド後に北の方向とは異なる方向（例、地面の方向や東の方向）にデジタルカメラ１を向けた状態において、ホールドした画像データの建造物のＡＲ情報を確認することが可能となる。また、本実施形態におけるデジタルカメラ１は、無線基地局３と通信が行えずオフラインの場合においても、上述した処理が可能となる。

次に、デジタルカメラ１のナビゲーション機能について説明する。すでに、ユーザによりＡＲ情報取得モードとなり、画像データ及びＡＲ情報がタグとして表示されている。また、ＡＲ情報をホールドした後のＡＲ表示確認モードでも同様の処理を行うことができる。
表示部１７に表示されているナビゲーションのアイコンをタッチすると、制御部１１はナビゲーションのアイコンをタッチしたことをタッチセンサにより検出し、ナビゲーションのアプリケーション（ナビゲーション部）を起動する。

制御部１１は、案内を要求する建造物のタグをタッチすることを促す表示を表示部１７に表示する。
ユーザが案内を要求する建造物のタグをタッチすると、制御部１１は、タッチされた建造物のタグに対応した建造物識別情報を検出し、表示している画像データの画像識別情報に対応するＡＲ情報テーブルをＡＲ情報記憶部３０から読み込む。
そして、制御部１１は、このＡＲ情報テーブルから、検出した建造物識別情報に対応したＡＲ情報から、建造物の緯度経度情報を読み込み、デジタルカメラ１の現在位置の緯度経度情報と、建造物の緯度経度情報を付加し、ナビゲーション要求として、情報検索システム２に対して送信する。

情報検索サーバ２１は、ナビゲーション要求を受信すると、付加されたデジタルカメラ１の経度緯度情報と建造物の緯度経度情報との間の最短経路（又は複数の経路）を、データベース２２に記憶されている地図データから検索する。
すなわち、情報検索サーバ２１は、緯度経度情報が示すデジタルカメラ１の位置する座標値から最も近い交差点を地図データから抽出し、開始交差点とする。
同様に、情報検索サーバ２１は、緯度経度情報が示す建造物の位置する座標値から最も近い交差点を地図データから抽出し、終了交差点とする。

そして、情報検索サーバ２１は、地図データの道路ネットワークから、開始交差点から終了交差点までを結ぶ、複数の道路路線の組合せを生成し、それぞれの組合せの距離が最小となる経路を選択し、例えば、最短経路を抽出するダイクストラ法などの既知の最短経路問題を効率的に解くグラフ理論におけるアルゴリズムにて、合計の距離が最小となる道路路線の組合せを抽出する。
そして、情報検索サーバ２１は、開始交差点から終了交差点までの道路経路を示す地図の画像データを、ナビゲーション要求を行ったデジタルカメラ１に対して送信する。ここで、情報検索サーバ２１は、地図の画像データにおける案内経路（開始交差点と終了交差点とを結ぶ道路経路）の表示色を他の道路と異なる色にて、地図の画像データを生成する。

制御部１１は、受信した地図の画像データを自身の表示部１７に表示可能な大きさに変更し、変更後の地図の画像データを表示部１７に表示する。
そして、制御部１１は、ＧＰＳ１４で取得した緯度経度の位置に対応した、表示部１７に表示されている地図の画像データ上の位置に、自身の位置を示すマークを重ねて配置する。これにより、ユーザは、自身のマークの移動を確認しながら、開始交差点から終了交差点まで案内の案内サービスを受けることができる。

また、デジタルカメラ１から、他のユーザの他のデジタルカメラに対して、画像データ及びこの画像データの建造物のＡＲ情報を送信して、他のユーザと情報の共有を行ってもよい。
さらに、デジタルカメラ１から、画像データと、この画像データ内の建造物のＡＲ情報とを、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）等のＷｅｂサイトにアップロードするようにし、多数の他のデジタルカメラと情報を共有するようにしても良い。この場合、ＡＲ情報テーブルにユーザＩＤを付加しておくことにより、ユーザＩＤを認識しているユーザのみが、このＳＮＳにおいて、画像データに対応したＡＲ情報を閲覧あるいは追加することができる。

ここで、ＳＮＳサーバは、画像データ及びＡＲ情報を格納するＡＲ情報共有データベースを有する。
ユーザは、デジタルカメラ１から、自身の登録したい画像データ及びこの画像データに対応するＡＲ情報にユーザ情報を付加し、登録することができる。
ここで、表示部１７に表示されているユーザ登録のアイコンを、ユーザがタッチすると、制御部１１は、アイコンをタッチしたことをタッチセンサにより検出し、登録画面を表示部１７に表示する。この登録画面には、ユーザの取得したＡＲ情報に対応する画像データのサムネイル画像と、アルファベット及び数字のキーが示されたアイコンも含まれている。

この登録画面において、ユーザが登録したい画像データをサムネイル画像から選択し、この画像データに対するユーザＩＤと、ユーザ自身の名前（あるいはニックネーム）を入力し、エンターアイコンをタッチすることにより、制御部１１は、ＳＮＳサーバにアクセスし、この画像データ及びＡＲ情報を、登録要求とともに送信する。
ＳＮＳサーバは、この登録要求を受信すると、ユーザ自身の名前（あるいはニックネーム）のファイルを生成し、登録要求された画像データ及びＡＲ情報を、ＡＲ情報共有データベースに書き込んで記憶させる。このファイルは、図１１のＡＲ情報テーブルと同様の構成である。

そして、ユーザがデジタルカメラ１の表示部１７に表示されているＡＲ情報参照のアイコンをタッチすると、制御部１１は、アイコンをタッチしたことをタッチセンサにより検出し、参照画面を表示部１７に表示する。この参照画面には、アルファベット及び数字のキーが示されたアイコンも含まれている。
次に、この登録画面において、ユーザが参照したいユーザの名前（あるいはニックネーム）及びユーザＩＤを、アルファベット及び数字のキーが示されたアイコンをタッチすることで入力し、エンターアイコンをタッチすることにより、制御部１１は、ＳＮＳサーバにアクセスし、この名前（あるいはニックネーム）及びユーザＩＤを、画像データ及びＡＲ情報の参照要求とともに送信する。

ＳＮＳサーバは、参照要求を受信すると、参照要求に付加された名前（あるいはニックネーム）により、ＡＲ情報共有データベースを検索し、同一の名前（あるいはニックネーム）のファイルを抽出する。
そして、ＳＮＳサーバは、このファイルのＡＲ情報の中から受信したユーザＩＤと同一のユーザＩＤが付加された画像識別情報及びこの画像識別情報に対応する画像データを読み出し、読み出したＡＲ情報及び画像データを、デジタルカメラ１に送信する。
制御部１１は、入力される画像データ及びＡＲ情報をすでに説明したように、表示部１７に表示する。

次に、ユーザがデジタルカメラ１の表示部１７に表示されているＡＲ情報変更のアイコンをタッチすると、制御部１１は、アイコンをタッチしたことをタッチセンサにより検出し、変更画面を表示部１７に表示する。この変更画面には、読み込んだＡＲ情報に対応する画像データのサムネイル画像と、情報記入欄とアルファベット及び数字のキーが示されたアイコンとが含まれている。
そして、この変更画面において、ユーザが変更したいＡＲ情報の画像データを、サムネイル画像から選択すると、制御部１７は、選択された画像データをタッチセンサにより検出し、選択した画像データを表示部１７に表示し、この表示された画像データ上にそれぞれの建造物の位置に対応させ、ＡＲ情報のタグを重ねて表示させる。

そして、ユーザが変更したいＡＲ情報のタグをタッチして選択し、情報記入欄に追加あるいは編集した文字列及びユーザＩＤをアルファベット及び数字のキーをタッチすることで入力し、エンターキー（エンターアイコン）をタッチすることにより、制御部１１は、情報記入欄に入力されている文字列を、新たな建造物のＡＲ情報とし、ユーザの名前、ユーザＩＤを含む変更要求として、画像識別情報及び建造物識別情報と、変更されたＡＲ情報とともにＳＮＳサーバへ送信する。
ＳＮＳサーバは、変更要求を受信すると、変更要求に付加された名前（あるいはニックネーム）により、ＡＲ情報共有データベースを検索し、同一の名前（あるいはニックネーム）のファイルを抽出する。

そして、ＳＮＳサーバは、画像識別情報に付加されているユーザＩＤが、受信した変更要求に付加されたユーザＩＤと一致するか否かの判定を行い、一致しない場合は何もせずに変更不能であることをデジタルカメラ１に通知する。
一方、ＳＮＳサーバは、ＡＲ情報に付加されているユーザＩＤが、受信した変更要求に付加されたユーザＩＤと一致した場合、この画像識別情報における建造物識別情報のＡＲ情報を変更する。

また、図９におけるデジタルカメラ１の制御部１１、ホールド制御部３１のＡＲ情報のホールドの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりＡＲ情報の制御を行ってもよい。
また、図９における情報検索サーバ２１のＡＲ情報検索の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりＡＲ情報の検索の制御を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…デジタルカメラ ２…情報検索システム ３…無線基地局 ４…情報通信網 １１…制御部 １２…送受信部 １３…撮像部１４…ＧＰＳ １５…記憶部 １６…方位センサ １７…表示部 １８…タイマ ２１…サーバ ２２…データベース ３０…ＡＲ情報記憶部 ３１…ホールド制御部

Claims (21)

1. 被写体を撮像する撮像部と、
   撮像位置の位置情報を取得する位置情報取得部と、
   前記被写体の撮像を指示する制御信号に基づいて前記撮像部に前記被写体を撮像させることと、前記位置情報に基づいて前記被写体に関する情報を取得し前記被写体の画像データと前記被写体に関する情報とを表示部に表示させることとを有する制御部と、
   前記被写体の画像データと前記被写体に関する情報とを前記表示部に表示中におけるユーザーアクションに基づいて前記制御信号とは異なるホールド制御信号を前記制御部に出力するホールド制御部と、
   を備え、
   前記ホールド制御信号とは、前記表示部に表示されている前記被写体の画像データと前記被写体に関する情報とを前記制御部によりホールドさせるとともに前記ユーザーアクションに基づいて前記ホールド制御信号が出力された後にも前記ホールドされた画像データと前記ホールドされた前記被写体に関する情報とを前記表示部に表示させる信号である、
   撮像装置。
2. 前記制御部は、前記表示部に対する前記被写体に関する情報の表示及び非表示を切り替え可能である請求項１に記載の撮像装置。
3. 前記制御部は、前記被写体を撮像中において前記ホールド制御信号を受信した場合に、ホールドした前記被写体の画像データと前記被写体に関する情報とを前記表示部に表示する請求項１又は請求項２のいずれか一項に記載の撮像装置。
4. 前記制御部は、前記ホールド制御信号に基づいてホールドした前記被写体に関する情報と前記被写体の画像データとを他端末へ送信する請求項１から請求項３のいずれか一項に記載の撮像装置。
5. 前記被写体に関する情報は、ＡＲ情報である請求項１から請求項４のいずれか一項に記載の撮像装置。
6. 前記制御部は、前記ホールド制御信号を受信した場合に、前記被写体に関する情報を得たい方向に撮像方向を向けていない状態において、前記ホールドした前記被写体の画像データと前記被写体に関する情報とを前記表示部に表示する、請求項１から請求項５のいずれか一項に記載の撮像装置。
7. 前記表示部は、タッチパネルを有する請求項１から請求項６のいずれか一項に記載の撮像装置。
8. 前記被写体に関する情報は、クーポン情報を含む請求項１から請求項７のいずれか一項に記載の撮像装置。
9. 前記制御部は、ユーザが投稿情報を入力する入力欄を前記表示部に表示させる請求項１から請求項８のいずれか一項に記載の撮像装置。
10. 自身の位置の緯度経度情報を検出する緯度経度検出部と、
    画像データを撮像している方位角を検出する方位角検出部と、
    被写体の撮像を指示する制御信号に基づいて撮像部に前記被写体を撮像させることと、前記緯度経度情報における前記方位角方向の緯度経度範囲に位置する建造物に付加されたＡＲ情報を、当該緯度経度情報及び当該方位角により取得し、表示部に表示させることとを有する制御部と、
    本体の位置及び／又は姿勢を変化させるユーザーアクションに基づいて前記制御信号とは異なるホールド制御信号を前記制御部に出力するホールド制御部と、
    を備え、
    前記ホールド制御信号とは、前記ＡＲ情報を記憶部に記憶させるアクションを検知すると、前記ＡＲ情報と前記画像データとを前記記憶部に記憶させ、前記表示部に表示されている前記被写体の画像データと前記ＡＲ情報とを前記制御部によりホールドさせるとともに前記ユーザーアクションに基づいて前記ホールド制御信号が出力された後にも前記ホールドされた画像データと前記ホールドされた情報とを前記表示部に表示させる信号である、
    撮像装置。
11. 前記制御部は、
    前記ホールド制御部から前記ホールド制御信号が入力されると、当該ホールド制御信号が入力された際に、前記画像データを撮像していた自身の位置の前記緯度経度情報及び前記方位角を、前記画像データを識別する画像識別情報を付加して前記記憶部に記憶させる請求項１０に記載の撮像装置。
12. 前記制御部は、
    前記ホールド制御部から前記ホールド制御信号が入力されると、当該ホールド制御信号が入力された際に、前記表示部に表示していた前記画像データ及び当該画像データに対応する前記ＡＲ情報を、当該画像データを識別する画像識別情報を付加して前記記憶部に記憶させる請求項１０に記載の撮像装置。
13. 前記記憶部は、前記画像データ毎に
    前記画像データを識別する画像識別情報、画像データ内の建造物を識別する建造物識別情報、当該建造物識別情報の示す建造物の建造物情報、当該画像識別情報に付加されたユーザＩＤとから構成されている
    請求項１０から請求項１２のいずれか一項に記載の撮像装置。
14. 前記制御部は、前記記憶部から前記ＡＲ情報及び前記画像データを読み出して前記表示部に表示させる、
    請求項１０から請求項１３のいずれか一項に記載の撮像装置。
15. 前記制御部は、撮像状態において付加された前記ＡＲ情報を情報検索システムへ送信する請求項１０から請求項１４のいずれか一項に記載の撮像装置。
16. 前記被写体に関する情報は、クーポン情報を含む請求項１０から請求項１５のいずれか一項に記載の撮像装置。
17. 前記制御部は、ユーザが投稿情報を入力する入力欄を前記表示部に表示させる請求項１０から請求項１６のいずれか一項に記載の撮像装置。
18. 請求項１から請求項１７のいずれか一項に記載の撮像装置と、
    サーバと、
    を備える情報取得システム。
19. 撮像装置と情報検索システムとから構成され、当該情報検索システムが前記撮像装置から送信される緯度経度情報及び方位角により、当該緯度経度情報における前記方位角の方向の緯度経度範囲に位置する建造物を抽出し、この抽出された該建造物に付加された情報を前記撮像装置に送信する情報取得システムであり、
    前記撮像装置は、
    自身の位置の緯度経度情報を検出する緯度経度検出部と、
    画像データを撮像している方位角を検出する方位角検出部と、
    被写体の撮像を指示する制御信号に基づいて撮像部に被写体を撮像させることと、前記緯度経度情報における前記方位角の方向の緯度経度範囲に位置する建造物に付加されたＡＲ情報を、当該緯度経度情報及び当該方位角により取得し、表示部に表示させることとを有する制御部と、
    ユーザーアクションに基づいて前記制御信号とは異なるホールド制御信号を、前記制御部に対して出力するホールド制御部と
    を備え、
    前記ホールド制御信号とは、前記ＡＲ情報を記憶部に記憶させるアクションを検知すると、前記ＡＲ情報と前記画像データとを前記記憶部に記憶させ、前記表示部に表示されている前記被写体の画像データと前記ＡＲ情報とを前記制御部によりホールドさせるとともに前記ユーザーアクションに基づいて前記ホールド制御信号が出力された後にも前記ホールドされた画像データと前記ホールドされた情報とを前記表示部に表示させる信号であり、
    前記情報検索システムは、
    建造物の建造物識別番号及び当該建造物の緯度経度情報を対応させた地図データと、前記建造物識別番号及び当該建造物識別番号の示す建造物の前記ＡＲ情報を対応させた建造物テーブルとが記憶されたデータベースと、
    前記撮像装置から送信された前記緯度経度情報及び前記方位角により、前記緯度経度情報における前記方位角の方向の緯度経度範囲に位置する建造物の建造物識別番号を前記地図データから検索し、検索された前記建造物識別番号により、当該建造物識別番号の示す建造物に付加された前記ＡＲ情報を前記建造物テーブルから読み出し、読み出した建造物の前記ＡＲ情報を前記撮像装置に送信する情報検索サーバと
    を備える、
    情報取得システム。
20. 撮像装置が備えるコンピュータに、
    被写体の撮像を指示する制御信号に基づいて、撮像装置が備える撮像部に前記被写体を撮像させるステップと、
    前記被写体を撮像した撮像位置の位置情報を入力するステップと、
    前記位置情報に基づいて前記被写体に関する情報を取得するステップと、
    前記被写体の画像データと前記被写体に関する情報とを撮像装置が備える表示部に表示するステップと、
    前記被写体の画像データと前記被写体に関する情報との前記表示部への表示中におけるユーザーアクションに基づいて前記制御信号とは異なるホールド制御信号を出力するステップと、
    前記ホールド制御信号に基づいて前記表示部に表示されている前記被写体の画像データと前記被写体に関する情報とをホールドさせるとともに前記ユーザーアクションに基づいて前記ホールド制御信号が出力された後にも前記ホールドされた画像データと前記ホールドされた情報とを前記表示部に表示させるステップと、
    を実行させるためのプログラム。
21. 撮像装置が備えるコンピュータに、
    被写体の撮像を指示する制御信号に基づいて撮像装置が備える撮像部に前記被写体を撮像させるステップと、
    撮像装置が備える緯度経度検出部が検出した自身の位置の緯度経度情報を入力するステップと、
    撮像装置が備える方位角検出部が検出した画像データを撮像している方位角を入力するステップと、
    前記緯度経度情報における前記方位角方向の緯度経度範囲に位置する建造物に付加されたＡＲ情報を、当該緯度経度情報及び当該方位角により取得し、撮像装置が備える表示部に表示するステップと、
    本体の位置及び／又は姿勢を変化させるユーザーアクションに基づいて前記制御信号とは異なるホールド制御信号を出力するステップと、
    前記ホールド制御信号に基づいて前記ＡＲ情報を撮像装置が備える記憶部に記憶させるアクションを検知すると、前記ＡＲ情報と前記画像データとを前記記憶部に記憶させるステップと、
    前記ホールド制御信号に基づいて前記表示部に表示されている前記被写体の画像データと前記ＡＲ情報とをホールドさせるとともに前記ユーザーアクションに基づいて前記ホールド制御信号が出力された後にも前記ホールドされた画像データと前記ホールドされた情報とを前記表示部に表示させるステップと、
    を実行させるためのプログラム。

Images