JP5429875B2 - 情報表示装置及び情報表示システム並びにプログラム - Google Patents

Description

本発明は、撮像部により撮影された撮影対象の撮影画像に関する情報を表示する情報表示装置及び情報表示システム並びにプログラムに関する。

近年、カメラを搭載した携帯電話機にあっては、例えば、２次元コードやＵＲＬなどの印刷内容をカメラで撮影して情報提供サーバに送信することにより、それに応答して情報提供サーバから送信される広告情報を受信して表示するようにした技術が普及している。また、カメラで撮影した広告チラシ上の商品画像を情報提供サーバに送信することにより、それに応答して情報提供サーバから送信される該商品画像に最も類似する画像に関連付けられている商品情報を受信して表示するようにした技術が開示されている（特許文献１参照）。また、物品を撮影する際にその物品に取り付けられているＩＤ送信機からＩＤ（識別情報）を取得し、この取得ＩＤを情報提供サーバに送信することにより、情報提供サーバから該物品に関連する関連情報を取得するようにした技術が開示されている（特許文献２参照）。

特開特開２００８−２５０７９０号公報 特開特開２００４−２９７４９号公報

しかしながら、上述した特許文献１の技術にあっては、広告チラシのような印刷物に限らず、商店の陳列棚に並べられた商品や街中で見かけた物品などを撮影した場合にも応用することが可能であるが、外観が似ている複数の類似物品があるような場合には、物品の誤認混同により間違った情報が提供されてしまう可能性があった。一方、特許文献２の技術にあっては、物品を撮影する際に、複数の物品が隣接して置かれていると、複数のＩＤを取得してしまうため、上述した特許文献１の場合と同様に、物品の誤認混同により間違った情報が提供されてしまう可能性があった。

本発明の課題は、撮影対象の有形物からその識別情報を受信することにより該有形物に関する情報を表示する場合に、撮影対象外の有形物から識別情報を受信したとしても、撮影対象の有形物に関する情報を適切に表示できるようにすることである。

上述した課題を解決するために請求項１記載の発明は、撮像部により撮影された撮影対象の撮影画像を表示する情報表示装置であって、前記撮影対象である有形物を撮影する場合に、該撮影対象を含めてその周囲に存在している有形物を識別するための複数の識別情報を受信する第１の受信手段と、有形物の個々に対応して、その有形物を識別するための識別情報のほか、該有形物の近辺に存在している他の有形物を識別するための識別情報と有形物を撮影した画像を認識するための認識用情報と有形物に関連する関連情報とを記憶管理する情報提供装置に対して前記第１の受信手段により受信された複数の識別情報を送信する送信手段と、この送信手段により送信された複数の識別情報に基づいて前記情報提供装置側で実行された情報検索処理の検索結果として該識別情報に対応する有形物の認識用情報及び関連情報を受信するほか、該有形物の近辺に存在している他の有形物を識別するための識別情報を受信する第２の受信手段と、前記第１の受信手段により受信した複数の識別情報の中に、前記第２の受信手段により受信した前記他の有形物を識別するための識別情報が含まれているか否かに基づいて撮影対象候補の絞り込みを行う絞込手段と、前記有形物を撮影した撮影画像を前記第２の受信手段により受信した有形物の認識用情報に基づいて、または前記絞込手段により撮影対象候補として絞り込まれた場合に、前記撮影対象候補の認識用情報に基づいて、画像認識を行った結果、同一の有形物であるか否かを判別する判別手段と、この判別手段により同一の有形物であると判別された場合に、前記第２の受信手段により受信された該有形物の関連情報を表示させるための表示制御を行う表示制御手段と、を備えることを特徴とする。

請求項１に従属する発明として、前記表示制御手段は、前記第２の受信手段により受信された有形物の関連情報を、前記撮像部により撮影された有形物の撮影画像に関連付けて合成表示する、ようにしたことを特徴とする請求項２記載の発明であってもよい。

請求項１に従属する発明として、前記周囲に存在している有形物から発信される識別情報は、該有形物に添付されている無線タグから発信される情報である、ことを特徴とする請求項３記載の発明であってもよい。

請求項１に従属する発明として、前記有形物を撮影した撮影画像が停止したか否かを検出する検出手段と、この検出手段により撮影画像が停止したことが検出された際に、その停止時間を計測する時間計測手段と、を更に備え、前記表示制御手段は、前記時間計測手段により撮影画像が停止してから所定時間以上が計測された際に、前記有形物の関連情報を表示させるための表示制御を行う、ようにしたことを特徴とする請求項５記載の発明であってもよい。

請求項１に従属する発明として、前記有形物を撮影した撮影画像と、前記第２の受信手段により受信した該有形物の関連情報とを対応付けて保存する保存手段を更に備える、ようにしたことを特徴とする請求項６記載の発明であってもよい。

請求項５に従属する発明として、前記表示制御手段は、前記有形物を撮影した撮影画像と該有形物の関連情報とが対応付けて前記保存手段により保存されている状態において、この保存されている撮影画像を表示させる際に、該撮影画像に関連情報が対応付けられていることを示す指標を表示させるための表示制御を行う、ようにしたことを特徴とする請求項６記載の発明であってもよい。

請求項６に従属する発明として、前記表示制御手段は、前記関連情報が対応付けられていることを示す指標が表示されている場合に、所定の操作により、前記保存されている撮影画像に前記関連情報を合成して表示する表示制御を行う、ようにしたことを特徴とする請求項７記載の発明であってもよい。

また、上述した課題を解決するために請求項８記載の発明は、撮像部により撮影された撮影対象の撮影画像を表示する情報表示装置と、この情報表示装置に対して情報を提供する情報提供装置とを備えた情報表示システムであって、前記撮影対象である有形物を撮影する場合に、該撮影対象を含めてその周囲に存在している有形物を識別するための複数の識別情報を受信する受信手段と、前記情報提供装置に対して前記受信手段により受信された複数の識別情報を送信する送信手段と、有形物の個々に対応して、その有形物を識別するための識別情報のほか、該有形物の近辺に存在している他の有形物を識別するための識別情報と有形物を撮影した画像を認識するための認識用情報と有形物に関連する関連情報とを記憶する情報記憶手段と、前記送信手段により送信された複数の識別情報に基づいて前記情報記憶手段を検索する情報検索処理を実行することにより、該複数の識別情報に対応する有形物の認識用情報及び関連情報を取得するほか、前記他の有形物を識別するための識別情報を取得する検索手段と、前記受信手段により受信された複数の識別情報の中に、前記検索手段により検索取得された前記他の有形物を識別するための識別情報が含まれているか否かに基づいて撮影対象候補の絞り込みを行う絞込手段と、前記有形物を撮影した撮影画像を前記検索手段により検索取得された該識別情報に対応する有形物の認識用情報に基づいて、または前記絞込手段により撮影対象候補として絞り込まれた場合に、前記撮影対象候補の認識用情報に基づいて、画像認識を行った結果、同一の有形物であるか否かを判別する判別手段と、この判別手段により同一の有形物であると判別された場合に、前記検索手段により検索取得された該識別情報に対応する関連情報を表示させるための表示制御を行う表示制御手段と、を備えることを特徴とする。

また、上述した課題を解決するために請求項９記載の発明は、コンピュータに対して、撮像部により撮影された撮影対象の撮影画像を表示する機能と、前記撮影対象である有形物を撮影する場合に、該撮影対象を含めてその周囲に存在している有形物を識別するための複数の識別情報を受信する機能と、有形物の個々に対応して、その有形物を識別するための識別情報のほか、該有形物の近辺に存在している他の有形物を識別するための識別情報と有形物を撮影した画像を認識するための認識用情報と有形物に関連する関連情報とを記憶管理する情報提供装置に対して前記受信された複数の識別情報を送信する機能と、前記送信された複数の識別情報に基づいて前記情報提供装置側で実行された情報検索処理の検索結果として該識別情報に対応する有形物の認識用情報及び関連情報を受信するほか、該有形物の近辺に存在している他の有形物を識別するための識別情報を受信する機能と、前記撮影対象である有形物を撮影する場合に受信した複数の識別情報の中に、前記情報検索処理の検索結果として受信した前記他の有形物を識別するための識別情報が含まれているか否かに基づいて撮影対象候補の絞り込みを行う機能と、前記有形物を撮影した撮影画像を前記受信した有形物の認識用情報に基づいて、または前記撮影対象候補として絞り込まれた場合に、前記撮影対象候補の認識用情報に基づいて、画像認識を行った結果、同一の有形物であるか否かを判別する機能と、前記判別の結果、同一の有形物であると判別された場合に、前記受信された該有形物の関連情報を表示させるための表示制御を行う機能と、を実現させるためのプログラムであることを特徴とする。

また、上述した課題を解決するために請求項１０記載の発明は、コンピュータに対して、撮像部により撮影された撮影対象の撮影画像を表示する機能と、前記撮影対象である有形物を撮影する場合に、該撮影対象を含めてその周囲に存在している有形物を識別するための複数の識別情報を受信する機能と、情報提供装置に対して、前記受信された複数の識別情報を送信する機能と、有形物の個々に対応して、その有形物を識別するための識別情報のほか、該有形物の近辺に存在している他の有形物を識別するための識別情報と有形物を撮影した画像を認識するための認識用情報と有形物に関連する関連情報とを記憶する情報記憶手段を前記送信された識別情報に基づいて検索する情報検索処理を実行することにより、該識別情報に対応する有形物の認識用情報及び関連情報を取得するほか、前記他の有形物を識別するための識別情報を取得する機能と、前記撮影対象である有形物を撮影する場合に受信した複数の識別情報の中に、前記情報検索処理の検索結果として受信した前記他の有形物を識別するための識別情報が含まれているか否かに基づいて撮影対象候補の絞り込みを行う機能と、前記有形物を撮影した撮影画像を前記検索取得された該識別情報に対応する有形物の認識用情報に基づいて、または前記撮影対象候補として絞り込まれた場合に、前記撮影対象候補の認識用情報に基づいて、画像認識を行った結果、同一の有形物であるか否かを判別する機能と、前記判別の結果、同一の有形物であると判別された場合に、前記検索取得された該識別情報に対応する関連情報を表示させるための表示制御を行う機能と、を実現させるためのプログラムであることを特徴とする。

本発明によれば、撮影対象の有形物からその識別情報を受信することにより該有形物に関する情報を表示する場合に、撮影対象外の有形物から識別情報を受信したとしても、撮影対象の有形物に関する情報を適切に表示することができ、正確な情報提示が可能となって、実用性に富んだものとなる。

撮像部により撮影された撮影対象の撮影画像を表示する携帯電話機（情報表示装置）１と、この携帯電話機１に対して情報を提供するサーバ装置（情報提供装置）２とを備えた情報表示システムを示した図。 サーバ装置２側に設けられている情報データベースＤＢを説明するための図。 撮影対象が物（商品）の場合に、その商品に関連する関連情報が携帯電話機１に表示される様子を模式的に示した図。 撮影対象が人物の場合に、その人物に関連する関連情報が携帯電話機１に表示される様子を模式的に示した図。 電源オン操作に応じて実行開始される端末装置１の全体動作の概要を示したフローチャート。 図５に続く動作を示したフローチャート。 図６に続く動作を示したフローチャート。 画像マッチング処理（図７のステップＡ３６）を詳述するためのフローチャート。 サーバ装置２側の全体動作の概要を示したフローチャート。 （１ａ）、（２ａ）、は、関連情報アイコン付き画像の表示例を示した図、（１ｂ）は、商品Ａの「関連情報」としてその単価が表示された場合、（２ｂ）は、人物Ｘの「関連情報」としてその氏名が表示された場合を示した図。

以下、図１〜図１０を参照して本発明の実施形態を説明する。
図１は、撮像部により撮影された撮影対象の撮影画像を表示する携帯電話機（情報表示装置）１と、この携帯電話機１に対して情報を提供するサーバ装置（情報提供装置）２とを備えた情報表示システムを示した図である。
この情報表示システムは、例えば、コンビニエンスストアなどの店舗において顧客サービスの一環として構築されたものであるが、店舗に限らず、会社内や催し会場内などの通信システムを構築するものであってもよい。

携帯電話機（情報表示装置）１は、通話機能（通話機能）、電子メール機能、インターネット接続機能（Ｗｅｂアクセス機能）、カメラ撮影機能などを備え、無線通信網やインターネット（図示省略）を介して他の携帯電話機（図示省略）に接続されると、この他の携帯電話機との間で通話可能な状態となり、また、電子メールの送受信が可能となったり、Ｗｅｂページを閲覧可能となったりする。また、ネットワーク（構内無線通信網）３を介してサーバ装置（情報提供装置）２に接続されると、携帯電話機１とサーバ装置２との間で情報の送受信を行うことが可能となる。

制御部１１は、電源部１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じてこの携帯電話機１の全体動作を制御するもので、この制御部１１にはＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部１３は、ＲＯＭ、ＲＡＭなどの内部メモリで、プログラム領域とデータ領域とを有し、このプログラム領域には、図５〜図８のフローチャートに示す本実施形態を実現するためのプログラムが格納され、また、記憶部１３のデータ領域には、この携帯電話機１の動作に必要な各種の情報が一時記憶されている。なお、記憶部１３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しない所定の外部サーバ上にあってもよい。

無線通信部１４は、例えば、通話機能、電子メール機能、インターネット接続機能などの動作時に、最寄りの基地局との間でデータの送受信を行うもので、通話機能の動作時にはベースバンド部の受信側から信号を取り込んで受信ベースバンド信号に復調して制御部１１に対して出力すると、制御部１１は、電話部１５を介して通話用スピーカＳＰから音声出力させ、また、通話用マイクＭＣからの入力音声データを電話部１５から取り込み、送信ベースバンド信号に符号化した後、ベースバンド部の送信側に与えてアンテナＡＮから発信出力させる。表示部１６は、高精細液晶や有機ＥＬを使用したもので、例えば、待受画像、アイコン、日時情報のほか、テキストデータ、メール、Ｗｅｂページなどを表示する。操作部１７は、電源オン／オフキー、ダイヤル入力、文字入力、コマンド入力などを入力するもので、制御部１１は、この操作部１７からの入力操作信号に応じた処理を実行する。

撮像部１８は、カメラ撮影機能を構成する構成要素で、撮像素子（例えば、ＣＣＤあるいはＣＭＯＳ）を有し、静止画撮影のほかに動画撮影も可能となっている。そして、撮像部１８は、撮影レンズ、ミラーなどのレンズ・ミラーブロック、照明用のフラッシュ、それらの駆動系のほか、測距センサ、光量センサ、アナログ処理回路、信号処理回路、圧縮伸張回路などを備え、光学ズームを調整制御したり、オートフォーカス時の駆動制御、シャッタ駆動制御、露出、ホワイトバランスなどを制御したりする。また、撮像部１８は、被写体に応じて望遠／広角の切り替えができる２焦点式レンズやズームレンズを備え、焦点距離を可変する画角変更機構を作動させて望遠／広角やズーム撮影を行うようにしている。

無線タグ受信部１９は、カメラ撮影機能に連動して動作するもので、有形物（例えば、商品などの物、人間、樹木、動物など）に取り付けられている無線タグ（微小な無線ＩＣチップ）２０からの情報（自身のタグ識別情報）を受信するタグリーダを構成するもので、その受信可能領域は、例えば、数メートル範囲となっている。無線タグ２０は、自身のタグ識別情報を記憶するもので、パッシブタブと呼ばれる電池レスタイプ、つまり、パッシブタイプの無線タグである。

すなわち、無線タグ２０は、図示省略したが、内蔵アンテナに接続されている電波送受信部と、電波送受信部からの検波信号を直流電圧あるいは直流電流に変換する整流平滑部と、受信電波によって得られた電気エネルギーを蓄積する蓄積部と、自己のタグＩＤ（タグ識別情報）などが記憶されているメモリとを有し、受信電波による蓄積エネルギーを電源としている。なお、図示の例において、有形物（商品）Ａ、Ｂ、Ｃには、自己のタグＩＤ（商品識別情報）が記録された無線タグ２０が埋め込まれており、有形物（商品）Ａ、Ｂ、Ｃの無線タグ２０からは、自己のタグＩＤ（商品識別情報）が常時発信されている。

サーバ装置（情報提供装置）２は、有形物に関する情報を記憶管理するもので、携帯電話機１からの要求に応じて有形物に関する情報を、ネットワーク３を介して要求元の携帯電話機１に対して送信するようにしている。そして、このサーバ装置２は、制御部２１を中核とするもので、記憶部２２、通信部２３、操作部２４などを有する構成となっている。制御部２１は、記憶部２２内の各種のプログラムに応じてこのサーバ装置２の全体動作を制御する。記憶部２２は、プログラム領域とデータ領域を有し、このプログラム領域には、図９のフローチャートに示す本実施形態を実現するためのプログラムが格納され、また、記憶部２２のデータ領域には、情報データベースＤＢなどが設けられている。通信部２３は、ネットワーク３を介して携帯電話機１との間で情報の送受信を行う。操作部２４は、電源オン／オフキー、文字入力、コマンド入力などを入力するもので、制御部２１は、この操作部２４からの入力操作信号に応じた処理を実行する。

図２は、サーバ装置２側に設けられている情報データベースＤＢを説明するための図である。
情報データベースＤＢは、「ＩＤ」、「認識用情報」、「関連情報」、「関連ＩＤ」の各項目を有している。「ＩＤ」は、有形物を識別するためのタグＩＤ（商品識別情報などのタグ識別情報）である。「認識用情報」は、携帯電話機１側で撮影された有形物の撮影画像を認識するための認識用情報、つまり、その有形物を予め認識用（比較基準用）として撮影されて登録された登録画像である。「関連情報」は、有形物に関連する情報として、例えば、有形物の名前、単価、特徴などを示す説明文や補足文、記号、図形などであり、この「認識用情報」と「関連情報」とは、対の関係で記憶されている。

「関連ＩＤ」は、該有形物の近辺に存在している他の有形物を識別するためのタグＩＤで、例えば、図１に示すように、有形物（商品）Ａ、Ｂが近辺に陳列されているものとすると、商品Ａに関連する「関連ＩＤ」は、商品ＢのタグＩＤとなり、逆に、商品Ｂに関連する「関連ＩＤ」は、商品ＡのタグＩＤとなる。なお、有形物の近辺に他の有形物が複数存在していれば、その有形物に対応する「関連ＩＤ」には、複数の関連ＩＤが記憶される。例えば、商品Ｂの近辺には商品Ａのほかに、商品Ｃが存在しているため、商品Ｂに関連する「関連ＩＤ」としては、商品Ａ及び商品ＣのタグＩＤが記憶されることになる。なお、有形物の近辺に他の有形物が存在していなければ、その有形物に対応する「関連ＩＤ」の内容は、関連ＩＤが記憶されていないことを示す“−”となっている。

図３は、撮影対象が物（商品）の場合に、その商品に関連する関連情報が携帯電話機１に表示される様子を模式的に示した図である。
携帯電話機１は、撮影対象である有形物（商品）を撮像部１８により撮影する際に、周囲に存在している他の有形物（商品）から発信されるタグＩＤを受信して、このタグＩＤをサーバ装置２に送信するようにしている。図示の例では、撮影範囲内の存在している撮影対象の商品Ａから発信されたタグＩＤのほか、その撮影範囲外に存在している商品Ｂから発信されたタグＩＤをも受信した場合には、商品ＡのタグＩＤと共に商品ＢのタグＩＤをも含めてサーバ装置２に送信するようにしている。つまり、撮影範囲内の存在している撮影対象の商品ＡからのタグＩＤに限らず、その周囲（近辺）に存在している撮影対象外の他の商品ＢからのタグＩＤをも受信したときには、商品ＡのタグＩＤと共に商品ＢのタグＩＤをも含めてサーバ装置２に送信するようにしている。

サーバ装置２は、受信した商品ＡのタグＩＤ及び商品ＢのタグＩＤに基づいて情報データベースＤＢの「ＩＤ」を検索する検索処理を実行し、その検索結果として該「ＩＤ」に対応する「認識用情報」、「関連情報」などを読み出して要求元の携帯電話機１に送信するようにしている。携帯電話機１は、「認識用情報」、「関連情報」などを受信すると、撮影対象である商品の撮影画像をその「認識用情報」に基づいて画像認識を行うことにより、同一商品であるか否かを判別し、同一商品であれば、その「関連情報」を表示させるための表示制御を行うようにしている。なお、図示の例では、商品Ａの「関連情報」としてその単価が表示された場合を示している。

図４は、撮影対象が人物の場合に、その人物に関連する関連情報が携帯電話機１に表示される様子を模式的に示した図である。
携帯電話機１は、撮影対象である有形物（人物）を撮像部１８により撮影する際に、周囲に存在している他の有形物（人物）から発信されるタグＩＤを受信して、このタグＩＤをサーバ装置２に送信するようにしている。図示の例では、撮影範囲内に居る撮影対象の人物Ｘから発信されたタグＩＤのほか、その撮影範囲外に居る人物Ｙ及び人物Ｚから発信されたタグＩＤをも受信した場合には、人物ＸのタグＩＤと共に人物Ｙ及び人物ＺのタグＩＤをも含めてサーバ装置２に送信するようにしている。

サーバ装置２は、受信した人物ＸのタグＩＤと人物Ｙ及び人物ＺのタグＩＤに基づいて情報データベースＤＢの「ＩＤ」を検索する検索処理を実行し、その検索結果として該「ＩＤ」に対応する「認識用情報」、「関連情報」などを読み出して要求元の携帯電話機１に送信するようにしている。携帯電話機１は、「認識用情報」、「関連情報」などを受信すると、撮影対象である人物Ｘの撮影画像をその「認識用情報」に基づいて画像認識を行うことにより、同一の有形物（人物）であるか否かを判別し、同一人物であれば、その「関連情報」を表示させるための表示制御を行うようにしている。なお、図示の例では、人物Ｘの「関連情報」としてその氏名が表示された場合を示している。

次に、この実施形態における携帯電話機１及びサーバ装置２の動作概念を図５〜図９に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。

図５〜図７は、電源オン操作に応じて実行開始される端末装置１の全体動作の概要を示したフローチャートである。
先ず、携帯電話機１の制御部１１は、電源オンに伴ってメモリ内容などを初期化した後、待ち受け画面を表示したり、着信待ちの状態としたりする待ち受け状態となる（図５のステップＡ１）。ここで、電話着信の有りを検出したときには（ステップＡ２でＹＥＳ）、その電話着信を報知した後、この電話着信に対してその応答操作（オフフック操作）が行われると（ステップＡ３でＹＥＳ）、その操作に応答して、通話可能状態とする通話処理に移る（ステップＡ４）。そして、この通話状態において、オンフック操作が行われると（ステップＡ５でＹＥＳ）、その操作に応答して、通話を切断する終話処理を行った後（ステップＡ６）、上述のステップＡ２に戻る。

また、カメラ撮影機能の開始を指示する操作が行われると（ステップＡ７でＹＥＳ）、撮像部１８を起動してモニタ画像を表示部１６に表示させるモニタ表示処理を開始させると共に（ステップＡ８）、無線タグ受信部１９を起動してタグＩＤの受信を開始させた後（ステップＡ９）、モニタ表示開始時の撮影対象がモニタ画面上において停止している時間、つまり、焦点合わせを行うときのように同一の有形物（商品や人物など）を撮影対象として写し続けている時間を計測する停止時間タイマ（図示省略）の計測動作を開始させる（ステップＡ１０）。そして、このモニタ画像を解析して、その中に含まれている撮影対象を抽出する（ステップＡ１１）。この場合、撮影範囲内においてその中央部に写されている有形物を撮影対象として抽出する。そして、この撮影対象を一時記憶させた後（ステップＡ１２）、上述のステップＡ２に戻る。

このようにしてモニタ表示処理を開始させると、図７のステップＡ２５では、モニタ表示中（カメラ撮影機能の動作中）であることが検出されるため（ステップＡ２５でＹＥＳ）、次のステップＡ２６に移り、モニタ画像を解析して、その中に含まれている撮影対象を抽出した後、今回抽出した撮影対象と、図５のステップＡ１２で一時記憶しておいた撮影対象とを比較し（ステップＡ２７）、モニタ表示開始時の撮影対象の位置は固定しているか、つまり、焦点合わせを行うときのように同一の有形物（商品や人物など）を撮影対象として写し続けることにより、撮影対象はモニタ画面上で停止しているかを調べる（ステップＡ２８）。

いま、モニタ画面上において撮影対象の位置が大きく変化したり、今回抽出した撮影対象がモニタ表示開始時の撮影対象と異なったりする場合には、モニタ表示開始時の撮影対象がモニタ画面上において停止していないので（ステップＡ２８でＮＯ）、上述の停止時間タイマをクリアした後（ステップＡ２９）、シャッタ操作の有無をチェックするステップＡ３０に移る。ここで、シャッタ操作が行われなければ（ステップＡ３０でＮＯ）、図５のステップＡ２に戻るが、シャッタ操作が行われたときには（ステップＡ３０でＹＥＳ）、撮影画像を取り込んで記録保存させた後（ステップＡ３１）、図５のステップＡ２に戻る。

また、モニタ表示開始時の撮影対象がモニタ画面上において停止したままであれば（ステップＡ２８でＹＥＳ）、上述の停止時間タイマの計測時間は所定時間（例えば、２秒）以上であるかを調べ（ステップＡ３２）、所定時間未満であれば（ステップＡ３２でＮＯ）、上述のステップＡ３０に移って、シャッタ操作の有無をチェックするが、停止時間タイマの計測時間が所定時間以上であれば（ステップＡ３２でＹＥＳ）、モニタ表示開始時から現時点までの間に無線タグ受信部１９からタグＩＤを受信したかを調べる（ステップＡ３３）。いま、タグＩＤを受信しなければ（ステップＡでＮＯ）、シャッタ操作の有無をチェックするステップＡ３０に移るが、タグＩＤを受信したときには（ステップＡ３３でＹＥＳ）、この受信したタグＩＤをサーバ装置２に送信することで関連情報の検索要求を行う（ステップＡ３４）。

図９は、サーバ装置２側の全体動作の概要を示したフローチャートである。
先ず、サーバ装置２の制御部２１は、携帯電話機１からタグＩＤを受信することにより、関連情報の検索要求を受け取ると（ステップＢ１でＹＥＳ）、この受信タグＩＤに基づいて情報データベースＤＢを検索し（ステップＢ２）、この受信タグＩＤに対応する情報「ＩＤ」が記憶されているかを調べる（ステップＢ３）。いま、該当する「ＩＤ」が記憶されていなければ（ステップＢ３でＮＯ）、記憶ＩＤが存在していないことを示す記憶ＩＤ無し情報を検索要求元の携帯電話機１に対して送信するが（ステップＢ４）、該当する「ＩＤ」が記憶されていれば（ステップＢ３でＹＥＳ）、それに対応する「認識用情報」、「関連情報」又は「認識用情報」、「関連情報」、「関連ＩＤ」を情報データベースＤＢから読み出す（ステップＢ５）。

この場合、複数のタグＩＤを受信したときには、このタグＩＤ毎に対応する「認識用情報」、「関連情報」又は「認識用情報」、「関連情報」、「関連ＩＤ」を読み出す。そして、読み出した「認識用情報」、「関連情報」又は「認識用情報」、「関連情報」、「関連ＩＤ」を検索要求元の携帯電話機１に対して送信する（ステップＢ６）。例えば、図３の例では、複数のタグＩＤとして、商品ＡのタグＩＤに対応する「認識用情報」、「関連情報」、「関連ＩＤ」と、商品ＢのタグＩＤに対応する「認識用情報」、「関連情報」、「関連ＩＤ」が送信される。

一方、携帯電話機１は、サーバ装置２からタグＩＤ毎にその「認識用情報」、「関連情報」又は「認識用情報」、「関連情報」、「関連ＩＤ」を受信すると（図７のステップＡ３５でＹＥＳ）、画像マッチング処理を実行する（ステップＡ３６）。
図８は、画像マッチング処理（図７のステップＡ３６）を詳述するためのフローチャートである。先ず、携帯電話機１の制御部１１は、モニタ表示開始時から現時点までの間に無線タグ受信部１９から受信したタグＩＤ（受信ＩＤ）のうち、そのいずれかを処理対象のＩＤとして選択した後（ステップＡ３６１）、この選択ＩＤ（処理対象ＩＤ）の「関連ＩＤ」が受信ＩＤの中に含まれているか否かを調べる（ステップＡ３６２）。

例えば、受信ＩＤ（商品ＡのタグＩＤ、商品ＣのタグＩＤ）のうち、選択ＩＤ（処理対象ＩＤ）が商品ＡのタグＩＤの場合に、この商品ＡのタグＩＤに対応する「関連ＩＤ」は商品ＢのタグＩＤであり、商品Ｃに対応する「関連ＩＤ」が商品ＤのタグＩＤであれば、上述のステップＡ３６２では、選択ＩＤの「関連ＩＤ」が受信ＩＤの中に含まれていないと判別される。一方、図３の例のように、受信ＩＤ（商品ＡのタグＩＤ、商品ＢのタグＩＤ）のうち、選択ＩＤが商品ＡのタグＩＤであれば、この商品ＡのタグＩＤに対応する「関連ＩＤ」は、商品ＢのタグＩＤであるため、上述のステップＡ３６２では、選択ＩＤの「関連ＩＤ」が受信ＩＤの中に含まれていると判別される。

ここで、選択ＩＤの「関連ＩＤ」が受信ＩＤの中に含まれていなければ（ステップＡ３６２でＮＯ）、次の画像比較処理に移るが（ステップＡ３６４）、選択ＩＤの「関連ＩＤ」が受信ＩＤの中に含まれていれば（ステップＡ３６２でＹＥＳ）、撮影対象を限定する処理に移る（ステップＡ３６３）。例えば、受信ＩＤ（商品ＡのタグＩＤ、商品ＢのタグＩＤ、商品ＣのタグＩＤ）のうち、選択ＩＤが商品ＡのタグＩＤの場合に、商品ＡのタグＩＤに対応する「関連ＩＤ」が商品ＢのタグＩＤであり、商品ＢのタグＩＤに対応する「関連ＩＤ」が商品ＡのタグＩＤであり、商品Ｃに対応する「関連ＩＤ」が商品Ｄであれば、商品Ａ、Ｂ、Ｃの中から商品ＣのタグＩＤを処理済み（処理対象として選択済み）にすることにより撮影対象候補を商品Ａ、Ｂに限定する処理を行う。

そして、次の画像比較処理に移り（ステップＡ３６４）、選択ＩＤの「認識用情報」と撮影画像との比較を行う。ここで、「認識用情報」は、上述したように、予め認識用（比較基準用）として撮影登録された有形物の登録画像であり、この「認識用情報（登録画像）」と撮影画像とを比較した結果、両者はマッチングしているか（特徴的に類似しているか）否かに基づいて同一の有形物であるか否かを調べる（ステップＡ３６５）。いま、撮影画像は、商品Ａを撮影した画像であり、また、「認識用情報」も商品Ａの登録画像であるから、両者のマッチングが検出されて同一の有形物であると判別される（ステップＡ３６５でＹＥＳ）。このようにして両者のマッチングを検出すると、選択ＩＤで示される有形物を撮影対象であるとして特定してその「関連情報」が存在していることを示すために、該選択ＩＤを一時記憶した後（ステップＡ３６６）、受信ＩＤの中に未処理（未選択）の受信ＩＤが残っているかを調べる（ステップＡ３６７）。

一方、「認識用情報」と撮影画像とを比較した結果、両者がマッチングしていなければ（ステップＡ３６５でＮＯ）、次のステップＡ３６７に移って、受信ＩＤの中に未処理（未選択）の受信ＩＤが残っているかを調べる。いま、図３の例では、商品ＡのタグＩＤを選択した場合であり、商品ＢのタグＩＤは、未処理であるので（ステップＡ３６７でＹＥＳ）、上述のステップＡ３６１に戻り、商品ＢのタグＩＤを処理対象として選択した後、以下、上述の動作を繰り返す。この場合、撮影画像は、商品Ａを撮影した画像で、選択ＩＤの「認識用情報」は商品Ｂの登録画像であるから、両者はマッチングしないと判別される（ステップＡ３６５でＮＯ）。そして、受信ＩＤの中に未処理（未選択）の受信ＩＤが残っているかをチェックするステップＡ３６７に移るが、図３の例では、未処理のＩＤは残っていないので（ステップＡ３６７でＮＯ）、この時点で画像マッチング処理の終了となって、図６のフローに戻る。

このような画像マッチング処理が終わると（図７のステップＡ３６）、この画像マッチング処理により選択ＩＤが一時記憶されているかを調べ（ステップＡ３７）、選択ＩＤが記憶されていなければ（ステップＡ３７でＮＯ）、モニタ画面内には関連情報ありの有形物を撮影した画像が含まれていないので、シャッタ操作の有無をチェックするステップＡ３０に移るが、選択ＩＤが記憶されていれば（ステップＡ３７でＹＥＳ）、この記憶ＩＤ対応の「関連情報」を画像データに変換して、この変換画像と撮影画像とを合成する処理を行う（ステップＡ３８）。

これにより合成した画像をモニタ画面に表示させる（ステップＡ３９）。そして、シャッタ操作の有無を調べ（ステップＡ４０）、シャッタ操作が行われなければ（ステップＡ４０でＮＯ）、上述の停止時間タイマの計測時間をクリアした後（ステップＡ４２）、図５のステップＡ２に戻るが、シャッタ操作が行われたときには（ステップＡ４０でＹＥＳ）、撮影画像と関連情報とを対応付けて記録保存させる（ステップＡ４１）。そして、上述の停止時間タイマの計測時間をクリアした後（ステップＡ４２）、図５のステップＡ２に戻る。

このようにして関連情報付きの撮影画像を記録保存させた後、その保存画像の閲覧を指示するための閲覧開始操作が行われると（図５のステップＡ１２でＹＥＳ）、保存されている各保存画像をサムネイル表示させるが、更に、その画像一覧の中から所望する画像を選択する操作が行われると（ステップＡ１３）、その選択画像に関連情報が対応付けられているか（関連情報が保存されているか）を調べる（ステップＡ１４）。いま、関連情報が保存されていなければ（ステップＡ１４でＮＯ）、その選択画像をそのまま表示させる処理に移るが（ステップＡ１５）、関連情報が保存されていれば（ステップＡ１４でＹＥＳ）、選択画像をモニタ画面内に表示させると共に、関連情報が保存されていることを明示するための指標として関連情報アイコンをモニタ画面内の所定位置に表示させる、（ステップＡ１６）。

図１０（１ａ）、図１０（２ａ）、は、関連情報アイコン（指標）付き画像の表示例を示したもので、画面の左下部に関連情報アイコンが付加された場合を示している。この状態において、関連情報の表示を指示する表示操作が行われたかを調べ（ステップＡ１７）、関連情報表示操作が行われなければ（ステップＡ１７でＮＯ）、選択画像をそのまま表示させる処理に移るが（ステップＡ１５）、関連情報表示操作が行われたときには（ステップＡ１７でＹＥＳ）、この「関連情報」を画像データに変換した後、この変換画像と撮影画像とを合成表示させる（ステップＡ１８）。このようにして画像表示を行った後は、上述のステップＡ２に戻る。図１０（１ｂ）は、図３の例に対応し、撮影対象である商品Ａの「関連情報」としてその単価が表示された場合を示している。図１０（２ｂ）は、図４の例に対応し、撮影対象である人物Ｘの「関連情報」としてその氏名が表示された場合を示している。

なお、カメラ撮影機能の終了を指示する操作が行われたときには（図６のステップＡ１９でＹＥＳ）、カメラ撮影機能を終了させる終了処理を行った後（ステップＡ２０）、図５のステップＡ２に戻る。また、保存画像の閲覧終了を指示する操作が行われたときには（ステップＡ２１でＹＥＳ）、保存画像閲覧終了処理として画像表示をクリアした後（ステップＡ２２）、図５のステップＡ２に戻る。その他の操作が行われたときには（ステップＡ２３でＹＥＳ）、操作に応じた処理として、例えば、カメラに関する操作に応じてズームや露出調整などを行ったり、発信処理、メール送信処理などを行ったりした後（ステップＡ２４）、図５のステップＡ２に戻る。

以上のように、この実施形態において携帯電話機１は、撮影対象である有形物を撮影する場合に、該撮影対象を含めてその周囲に存在している有形物から発信される識別情報（タグＩＤ）を受信してサーバ装置２に送信すると共に、このタグＩＤに基づいてサーバ装置２側において検索された該有形物の認識用情報及び関連情報を受信すると、この認識用情報に基づいて撮影画像を認識し、同一の有形物であれば、該有形物の関連情報を表示するようにしたので、撮影対象の有形物からそのタグＩＤを受信することにより該撮影対象の有形物に関する情報を表示する場合に、撮影対象外の有形物からタグＩＤを受信したとしても、画像認識を行うことにより撮影対象の有形物に関する情報を適切に表示することができ、正確な情報提示が可能となって、実用性に富んだものとなる。

携帯電話機１は、サーバ装置２から受信した有形物の関連情報を撮影画像に関連付けて合成表示するようにしたので、撮影対象と関連情報との対応付けが明確となって、他の有形物との誤認混同を防ぐことが可能となる。

周囲に存在している有形物から発信される識別情報は、該有形物に添付されている無線タグ２０から発信されるタグ識別情報（タグＩＤ）であるので、高価で大型な通信手段を使用する必要はなく、また、無線タグとしてパッシブタイプを使用するようにしたから、無電源化が可能となり、利便性の優れたものとなるが、電池を使用するタイプであってもよい。

携帯電話機１は、周囲に存在している複数の有形物から発信されるタグＩＤを受信した場合に、この複数のタグＩＤの中に、「関連ＩＤ」が含まれているか否かに基づいて撮影対象候補の絞り込みを行うようにしたので、画像認識を行う前に候補の絞込みが可能となり、画像認識を円滑に行うことができる。

携帯電話機１は、撮影画像が停止したことが検出された際に、その停止時間を計測すると共に、この停止時間が所定時間（例えば、２秒）以上となった際に関連情報を表示させるようにしたので、例えば、撮影対象に焦点を合わせて所定時間が経過した際に関連情報を表示させることができ、特別な操作を行うことなく、関連情報の表示を適切なタイミングで行うことが可能となる。

携帯電話機１は、撮影画像と関連情報とを対応付けて保存するようにしたので、関連情報を撮影時だけでなく後から画像を閲覧する際にも合成表示させることができる。

携帯電話機１は、撮影画像と関連情報とが対応付けて保存されている場合に、この保存画像を表示させる際に、関連情報アイコン（指標）を表示させるようにしたので、保存画像には関連情報が対応付けられていることを明示することができる。

携帯電話機１は、関連情報アイコン（指標）が表示されている状態において、所定の操作により保存画像に関連情報を合成して表示するようにしたので、何時でも自由に関連情報を閲覧することができる。

また、携帯電話機１とサーバ装置２とを備えた情報表示システムは、携帯電話機１側で撮影対象である有形物を撮影する場合に、その周囲に存在している有形物から発信される識別情報（タグＩＤ）を受信してサーバ装置２に送信し、サーバ装置２は、この識別情報（タグＩＤ）に基づいて情報データベースＤＢを検索して該ＩＤに対応する認識用情報及び関連情報を携帯電話機１に対して送信し、携帯電話機１は、この認識用情報に基づいて撮影画像を認識した結果、同一の有形物であれば、その関連情報を表示させるようにしたので、撮影対象の有形物からそのタグＩＤを受信して該撮影対象に関する情報を表示する場合に、撮影対象外の有形物からもタグＩＤを受信したとしても、画像認識を行うことにより撮影対象に関する情報を適切に表示することができ、正確な情報提示が可能となって、実用性に富んだものとなる。

なお、上述した実施形態において、関連情報を合成した撮影画像をモニタ表示する場合（図７のステップＡ３９）、常時合成表示は行わず、所定の操作が行われた場合のみ関連情報を合成表示するようにしてもよい。

また、上述した実施形態においては、コンビニエンスストアなどの店舗、会社内、催し会場内などの構内通信システムを例示したが、構内通信システムに限らず、インターネットなどの広域通信システムにも同様に適用可能である。また、図３、図４では有形物として商品や人物を例示したが、勿論、商品や人物以外にも建物、施設、樹木、動物（ペット）などであってもよい。

また、上述した実施形態においては、情報表示装置として、携帯電話機１を例示したが、これに限らず、例えば、デジタルカメラ、ＰＤＡ、パーソナルコンピュータなどであってもよい。

また、上述した実施形態においてサーバ装置２は、携帯電話機１から受信したタグＩＤに基づいて情報データベースＤＢを検索し、このＩＤに対応する認識用情報及び関連情報を取得して携帯電話機１に送信し、携帯電話機１は、この認識用情報と撮影画像とを比較して画像認識を行うようにしたが、サーバ装置２側において認識用情報と撮影画像とを比較して画像認識を行うようにしてもよい。また、サーバ装置２側において撮影画像と関連情報とを合成する処理を行うようにしてもよい。

更に、上述した各実施形態で示した“装置”や“機”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

１ 携帯電話機
２ サーバ装置
１１ 制御部
１３ 記憶部
１４ 無線通信部
１６ 表示部
１７ 操作部
１８ 撮像部
１９ 無線タグ受信部
２０ 無線タグ
２１ 制御部
２２ 記憶部
２３ 通信部
２４ 操作部
ＤＢ 情報データベース

Claims (10)

1. 撮像部により撮影された撮影対象の撮影画像を表示する情報表示装置であって、
   前記撮影対象である有形物を撮影する場合に、該撮影対象を含めてその周囲に存在している有形物を識別するための複数の識別情報を受信する第１の受信手段と、
   有形物の個々に対応して、その有形物を識別するための識別情報のほか、該有形物の近辺に存在している他の有形物を識別するための識別情報と有形物を撮影した画像を認識するための認識用情報と有形物に関連する関連情報とを記憶管理する情報提供装置に対して前記第１の受信手段により受信された複数の識別情報を送信する送信手段と、
   この送信手段により送信された複数の識別情報に基づいて前記情報提供装置側で実行された情報検索処理の検索結果として該識別情報に対応する有形物の認識用情報及び関連情報を受信するほか、該有形物の近辺に存在している他の有形物を識別するための識別情報を受信する第２の受信手段と、
   前記第１の受信手段により受信した複数の識別情報の中に、前記第２の受信手段により受信した前記他の有形物を識別するための識別情報が含まれているか否かに基づいて撮影対象候補の絞り込みを行う絞込手段と、
   前記有形物を撮影した撮影画像を前記第２の受信手段により受信した有形物の認識用情報に基づいて、または前記絞込手段により撮影対象候補として絞り込まれた場合に、前記撮影対象候補の認識用情報に基づいて、画像認識を行った結果、同一の有形物であるか否かを判別する判別手段と、
   この判別手段により同一の有形物であると判別された場合に、前記第２の受信手段により受信された該有形物の関連情報を表示させるための表示制御を行う表示制御手段と、
   を備えることを特徴とする情報表示装置。
2. 前記表示制御手段は、前記第２の受信手段により受信された有形物の関連情報を、前記撮像部により撮影された有形物の撮影画像に関連付けて合成表示する、
   ようにしたことを特徴とする請求項１記載の情報表示装置。
3. 前記周囲に存在している有形物から発信される識別情報は、該有形物に添付されている無線タグから発信される情報である、
   ことを特徴とする請求項１記載の情報表示装置。
4. 前記有形物を撮影した撮影画像が停止したか否かを検出する検出手段と、
   この検出手段により撮影画像が停止したことが検出された際に、その停止時間を計測する時間計測手段と、
   を更に備え、
   前記表示制御手段は、前記時間計測手段により撮影画像が停止してから所定時間以上が計測された際に、前記有形物の関連情報を表示させるための表示制御を行う、
   ようにしたことを特徴とする請求項１記載の情報表示装置。
5. 前記有形物を撮影した撮影画像と、前記第２の受信手段により受信した該有形物の関連情報とを対応付けて保存する保存手段を更に備える、
   ようにしたことを特徴とする請求項１記載の情報表示装置。
6. 前記表示制御手段は、前記有形物を撮影した撮影画像と該有形物の関連情報とが対応付けて前記保存手段により保存されている状態において、この保存されている撮影画像を表示させる際に、該撮影画像に関連情報が対応付けられていることを示す指標を表示させるための表示制御を行う、
   ようにしたことを特徴とする請求項５記載の情報表示装置。
7. 前記表示制御手段は、前記関連情報が対応付けられていることを示す指標が表示されている場合に、所定の操作により、前記保存されている撮影画像に前記関連情報を合成して表示する表示制御を行う、
   ようにしたことを特徴とする請求項６記載の情報表示装置。
8. 撮像部により撮影された撮影対象の撮影画像を表示する情報表示装置と、この情報表示装置に対して情報を提供する情報提供装置とを備えた情報表示システムであって、
   前記撮影対象である有形物を撮影する場合に、該撮影対象を含めてその周囲に存在している有形物を識別するための複数の識別情報を受信する受信手段と、
   前記情報提供装置に対して前記受信手段により受信された複数の識別情報を送信する送信手段と、
   有形物の個々に対応して、その有形物を識別するための識別情報のほか、該有形物の近辺に存在している他の有形物を識別するための識別情報と有形物を撮影した画像を認識するための認識用情報と有形物に関連する関連情報とを記憶する情報記憶手段と、
   前記送信手段により送信された複数の識別情報に基づいて前記情報記憶手段を検索する情報検索処理を実行することにより、該複数の識別情報に対応する有形物の認識用情報及び関連情報を取得するほか、前記他の有形物を識別するための識別情報を取得する検索手段と、
   前記受信手段により受信された複数の識別情報の中に、前記検索手段により検索取得された前記他の有形物を識別するための識別情報が含まれているか否かに基づいて撮影対象候補の絞り込みを行う絞込手段と、
   前記有形物を撮影した撮影画像を前記検索手段により検索取得された該識別情報に対応する有形物の認識用情報に基づいて、または前記絞込手段により撮影対象候補として絞り込まれた場合に、前記撮影対象候補の認識用情報に基づいて、画像認識を行った結果、同一の有形物であるか否かを判別する判別手段と、
   この判別手段により同一の有形物であると判別された場合に、前記検索手段により検索取得された該識別情報に対応する関連情報を表示させるための表示制御を行う表示制御手段と、
   を備えることを特徴とする情報表示システム。
9. コンピュータに対して、
   撮像部により撮影された撮影対象の撮影画像を表示する機能と、
   前記撮影対象である有形物を撮影する場合に、該撮影対象を含めてその周囲に存在している有形物を識別するための複数の識別情報を受信する機能と、
   有形物の個々に対応して、その有形物を識別するための識別情報のほか、該有形物の近辺に存在している他の有形物を識別するための識別情報と有形物を撮影した画像を認識するための認識用情報と有形物に関連する関連情報とを記憶管理する情報提供装置に対して前記受信された複数の識別情報を送信する機能と、
   前記送信された複数の識別情報に基づいて前記情報提供装置側で実行された情報検索処理の検索結果として該識別情報に対応する有形物の認識用情報及び関連情報を受信するほか、該有形物の近辺に存在している他の有形物を識別するための識別情報を受信する機能と、
   前記撮影対象である有形物を撮影する場合に受信した複数の識別情報の中に、前記情報検索処理の検索結果として受信した前記他の有形物を識別するための識別情報が含まれているか否かに基づいて撮影対象候補の絞り込みを行う機能と、
   前記有形物を撮影した撮影画像を前記受信した有形物の認識用情報に基づいて、または前記撮影対象候補として絞り込まれた場合に、前記撮影対象候補の認識用情報に基づいて、画像認識を行った結果、同一の有形物であるか否かを判別する機能と、
   前記判別の結果、同一の有形物であると判別された場合に、前記受信された該有形物の関連情報を表示させるための表示制御を行う機能と、
   を実現させるためのプログラム。
10. コンピュータに対して、
    撮像部により撮影された撮影対象の撮影画像を表示する機能と、
    前記撮影対象である有形物を撮影する場合に、該撮影対象を含めてその周囲に存在している有形物を識別するための複数の識別情報を受信する機能と、
    情報提供装置に対して、前記受信された複数の識別情報を送信する機能と、
    有形物の個々に対応して、その有形物を識別するための識別情報のほか、該有形物の近辺に存在している他の有形物を識別するための識別情報と有形物を撮影した画像を認識するための認識用情報と有形物に関連する関連情報とを記憶する情報記憶手段を前記送信された識別情報に基づいて検索する情報検索処理を実行することにより、該識別情報に対応する有形物の認識用情報及び関連情報を取得するほか、前記他の有形物を識別するための識別情報を取得する機能と、
    前記撮影対象である有形物を撮影する場合に受信した複数の識別情報の中に、前記情報検索処理の検索結果として受信した前記他の有形物を識別するための識別情報が含まれているか否かに基づいて撮影対象候補の絞り込みを行う機能と、
    前記有形物を撮影した撮影画像を前記検索取得された該識別情報に対応する有形物の認識用情報に基づいて、または前記撮影対象候補として絞り込まれた場合に、前記撮影対象候補の認識用情報に基づいて、画像認識を行った結果、同一の有形物であるか否かを判別する機能と、
    前記判別の結果、同一の有形物であると判別された場合に、前記検索取得された該識別情報に対応する関連情報を表示させるための表示制御を行う機能と、
    を実現させるためのプログラム。

Images