JP6909022B2 - プログラム、情報端末、情報表示方法及び情報表示システム - Google Patents

Description

本発明は、情報を表示部に表示させることができるプログラム、情報端末、情報表示方法及び情報表示システムに関する。

従来、撮影した画像内の被写体に関連するコンテンツを画像に重ねて表示する技術が知られている。特許文献１には、撮影した画像内の移動物に関連付けられたコンテンツを移動物の画像に合成して表示する画像表示システムが開示されている。

特開２００９−２８９０３５号公報

撮影した画像内の被写体に関連するコンテンツを表示する画像表示システムにおいて、撮影した画像内の被写体を誤認識してしまうと、被写体に適していないコンテンツが表示されてしまう。そこで、撮影した画像内の被写体が何であるかを認識する精度を向上させることが求められていた。

そこで、本発明はこれらの点に鑑みてなされたものであり、撮影した画像内の被写体が何であるかを認識する精度を向上させることができるプログラム、情報端末、情報表示方法及び情報表示システムを提供することを目的とする。

本発明の第１の態様のプログラムは、コンピュータを、画像を撮影して撮像画像を生成する画像生成部、前記画像の撮影位置を特定する位置特定部、前記撮影位置から所定の範囲内の位置で撮影された第１被写体の特徴を示す第１特徴情報、及び前記撮影位置から所定の範囲内の位置で撮影された第２被写体の特徴を示す第２特徴情報を含む組合せ認識条件データを取得するデータ取得部、前記第１特徴情報に基づいて前記撮像画像に前記第１被写体が含まれている蓋然性が単体認識閾値以上である場合、及び前記撮像画像に前記第１被写体が含まれている蓋然性が前記単体認識閾値よりも小さい第１組合せ認識閾値以上、前記単体認識閾値未満であり、かつ前記第２特徴情報に基づいて前記撮像画像に前記第２被写体が含まれていると判定した場合に、前記撮像画像に前記第１被写体が含まれていると判定する判定部、及び前記判定部が、前記撮像画像に前記第１被写体が含まれていると判定した場合に、前記第１被写体に対応する被写体情報を、前記撮像画像に重ねて表示部に表示させる表示制御部、として機能させる。

前記データ取得部は、前記第２特徴情報を含まず、前記第１特徴情報を含む単体認識条件データをさらに取得し、前記判定部は、前記単体認識条件データに含まれる前記第１特徴情報に基づいて前記撮像画像に第１被写体が含まれている蓋然性が前記単体認識閾値以上であると判定した場合に、前記撮像画像に前記第１被写体が含まれていると判定してもよい。

前記位置特定部は、前記画像の撮影向きをさらに特定し、前記データ取得部は、前記撮影位置から所定の範囲内の位置を起点とし、かつ前記撮影向きを中心として所定の角度範囲に関連付けられた前記第１特徴情報及び前記第２特徴情報を含む組合せ認識条件データを取得してもよい。

前記データ取得部は、前記第１被写体と前記第２被写体との間の位置関係を示す情報を含む前記組合せ認識条件データを取得し、前記判定部は、前記第２特徴情報に基づいて前記撮像画像に含まれている蓋然性があると判定した前記第２被写体と、前記撮像画像に含まれている蓋然性が前記第１組合せ認識閾値以上であると判定した前記第１被写体との位置関係が、前記位置関係を示す情報に対応する位置関係を満たす場合に、前記撮像画像に前記第１被写体が含まれていると判定してもよい。

前記判定部は、前記撮像画像に前記第２被写体が含まれている蓋然性が前記第１組合せ認識閾値よりも小さい第２組合せ認識閾値以上である場合に、前記撮像画像に前記第２被写体が含まれていると判定してもよい。

前記データ取得部は、前記組合せ認識条件データの管理者により認定された認定第１特徴情報を含む前記組合せ認識条件データと、前記管理者により認定されていない非認定第１特徴情報を含む前記組合せ認識条件データとを取得し、前記判定部は、所定の数以上の前記認定第１特徴情報を取得した場合、前記非認定第１特徴情報を用いず、前記認定第１特徴情報に基づいて、前記撮像画像に前記第１被写体が含まれている蓋然性が前記組合せ認識閾値以上であるか否かを判定してもよい。

前記データ取得部は、複数の前記組合せ認識条件データと、前記複数の組合せ認識条件データに含まれる複数の前記第１特徴情報及び複数の前記第２特徴情報の信頼度を示す情報を取得し、前記判定部は、前記複数の第１特徴情報及び前記複数の第２特徴情報のそれぞれの信頼度を示す情報に基づいて選択した特徴情報に基づいて、前記撮像画像に前記第１被写体又は前記第２被写体が含まれているか否かを判定してもよい。

前記表示制御部は、前記撮影位置を起点とする複数の角度範囲のそれぞれに対して、前記被写体情報の有無を示すシンボル画像を前記表示部に表示させてもよい。また、前記表示制御部は、前記複数の角度範囲内に含まれる前記被写体情報の数を示す前記シンボル画像を前記表示部に表示させてもよい。この場合、前記表示制御部は、ユーザが前記シンボル画像を選択したことに応じて、前記複数の角度範囲内に含まれる前記被写体情報の内容を示すリストを前記表示部に表示させてもよい。

前記判定部は、前記撮影位置と前記第１特徴情報に対応する前記第１被写体との距離、又は前記撮影位置と前記第２特徴情報に対応する前記第２被写体との距離が小さければ小さいほど、前記第１被写体又は前記第２被写体が前記撮像画像に含まれる蓋然性の算出精度を低くしてもよい。

前記データ取得部は、前記撮影位置の後方の所定の位置から前方で撮影された画像に基づいて生成された前記第１特徴情報を取得してもよい。

前記判定部は、同一の前記第１特徴情報に対応する被写体が前記撮像画像の複数の位置に検出された場合、前記第１特徴情報に関連付けられた向きに最も近い領域にある被写体が前記第１被写体であると判定してもよい。

本発明の第２の態様の情報端末は、画像を撮影して撮像画像を生成する画像生成部と、前記画像の撮影位置を特定する位置特定部と、前記撮影位置から所定の範囲内の位置で撮影された第１被写体の特徴を示す第１特徴情報、及び前記撮影位置から所定の範囲内の位置で撮影された第２被写体の特徴を示す第２特徴情報を含む組合せ認識条件データを取得するデータ取得部と、前記第１特徴情報に基づいて前記撮像画像に前記第１被写体が含まれている蓋然性が単体認識閾値以上である場合、及び前記撮像画像に前記第１被写体が含まれている蓋然性が前記単体認識閾値よりも小さい組合せ認識閾値以上、前記単体認識閾値未満であり、かつ前記第２特徴情報に基づいて前記撮像画像に前記第２被写体が含まれていると判定した場合に、前記撮像画像に前記第１被写体が含まれていると判定する判定部と、前記判定部が、前記撮像画像に前記第２被写体が含まれていると判定した場合に、前記第１被写体に対応する被写体情報を、前記撮像画像に重ねて表示部に表示させる表示制御部と、を有する。

本発明の第３の態様の情報表示方法は、画像を撮影して撮像画像を生成するステップと、前記画像の撮影位置を特定するステップと、前記撮影位置から所定の範囲内の位置で撮影された第１被写体の特徴を示す第１特徴情報、及び前記撮影位置から所定の範囲内の位置で撮影された第２被写体の特徴を示す第２特徴情報を含む組合せ認識条件データを取得するステップと、前記第１特徴情報に基づいて前記撮像画像に前記第１被写体が含まれている蓋然性が単体認識閾値以上である場合、及び前記撮像画像に前記第１被写体が含まれている蓋然性が前記単体認識閾値よりも小さい組合せ認識閾値以上、前記単体認識閾値未満であり、かつ前記第２特徴情報に基づいて前記撮像画像に前記第２被写体が含まれていると判定した場合に、前記撮像画像に前記第１被写体が含まれていると判定するステップと、前記撮像画像に前記第２被写体が含まれていると判定した場合に、前記第１被写体に対応する被写体情報を、前記撮像画像に重ねて表示部に表示させるステップと、を有する。

本発明の第４の態様の情報表示システムは、画像を表示する情報端末と、前記情報端末と通信可能な管理装置と、を備える情報表示システムであって、前記情報端末は、画像を撮影して撮像画像を生成する画像生成部と、前記画像の撮影位置を特定する位置特定部と、を有し、前記管理装置は、位置に関連付けて、第１被写体の特徴を示す第１特徴情報、及び第２被写体の特徴を示す第２特徴情報を含む複数の組合せ認識条件データを記憶する記憶部と、前記情報端末から前記撮影位置を取得する撮影位置取得部と、前記記憶部が記憶する前記複数の組合せ認識条件データから、前記撮影位置取得部が取得した前記撮影位置から所定の範囲内の位置で撮影された前記第１被写体及び前記第２被写体にそれぞれ対応する前記第１特徴情報及び前記第２特徴情報を含む組合せ認識条件データを抽出する抽出部と、を有し、前記情報端末又は前記管理装置は、前記第１特徴情報に基づいて前記撮像画像に前記第１被写体が含まれている蓋然性が単体認識閾値以上である場合、及び前記撮像画像に前記第１被写体が含まれている蓋然性が前記単体認識閾値よりも小さい組合せ認識閾値以上、前記単体認識閾値未満であり、かつ前記第２特徴情報に基づいて前記撮像画像に前記第２被写体が含まれていると判定した場合に、前記撮像画像に前記第１被写体が含まれていると判定する判定部と、前記判定部が、前記撮像画像に前記第２被写体が含まれていると判定した場合に、前記第１被写体に対応する被写体情報を、前記撮像画像に重ねて表示部に表示させる表示制御部と、を有する。

本発明によれば、撮影した画像内の被写体が何であるかを認識する精度を向上させることができるという効果を奏する。

情報表示システムの概要について説明するための図である。 情報端末が表示する被写体情報について説明するための図である。 情報端末の構成を示す図である。 認識条件データの概要を模式的に示す図である。 角度範囲について説明するための図である。 管理装置の構成を示す図である。 特徴情報生成部が生成する認識条件データの例を示す図である。 判定部の動作について説明するための図である。 制御部の動作フローチャートである。 組合せ認識条件データに基づく判定処理のフローチャートである。 変形例２の表示制御部が表示する撮像画像の例を示す図である。 第２の実施形態に係る情報端末のユーザが撮影した画像の一例を示す図である。 第２の実施形態に係る制御部のフローチャートである。

＜第１の実施形態＞
［情報表示システムＳの概要］
図１は、情報表示システムＳの概要について説明するための図である。情報表示システムＳは、情報端末１と、管理装置２と、撮影装置３とを備える。

情報端末１は、画像を撮影して撮像画像を生成するとともに、情報を表示することができる端末であり、例えばスマートフォン又はタブレットである。情報端末１は、ＬＴＥ（Long Term Evolution）又はＷｉ−Ｆｉ（登録商標）等の無線通信回線を含むネットワークＮを介して、管理装置２との間でデータを送受信することができる。

管理装置２は、情報端末１に提供する各種のデータを記憶しているサーバである。管理装置２は、ネットワークＮを介して、情報端末１及び撮影装置３との間でデータを送受信することができる。管理装置２は、多数の撮影装置３から受信した撮像画像に基づいて、情報端末１が撮影した画像に含まれている被写体が何であるかを特定するために用いられる認識条件データを作成する。管理装置２は、情報端末１からの要求に応じて、作成した認識条件データを情報端末１に送信する。

認識条件データの詳細については後述するが、認識条件データには、撮影装置３が生成した撮像画像に含まれる被写体の画像の特徴を示す特徴情報が含まれている。特徴情報は、被写体の特徴を示す情報として、例えば被写体の画像に含まれる輪郭線の形状、被写体の画像の色、又は被写体の画像に含まれる周波数成分などの数値情報である。

撮影装置３は、画像を撮影して撮像画像を生成することができる端末であり、例えばスマートフォン、タブレット又はデジタルカメラである。撮影装置３は、画像を撮影した位置を示す位置情報に関連付けて、生成した撮像画像を管理装置２に送信する。図１に示すように、情報表示システムＳにおいては、多数の撮影装置３が、生成した撮像画像を管理装置２に送信することが想定されている。

以下、情報表示システムＳにおける処理の流れについて説明する。
複数の撮影装置３は、ユーザが画像を撮影すると撮像画像を生成し、ユーザの操作に応じて、生成した撮像画像と、画像が撮影された位置を示す位置情報とを関連付けて、管理装置２に送信する（図１における（１））。

管理装置２は、撮影装置３から撮像画像を受信すると、撮像画像に含まれる被写体を特定する。管理装置２は、例えば撮像画像に含まれる輪郭線を検出することにより被写体を特定してもよく、ユーザから被写体の領域を指定する操作を受け付けることにより被写体を特定してもよい。管理装置２は、特定した被写体の特徴を示す特徴情報を含む認識条件データを生成し、撮影装置３から受信した位置情報に関連付けて認識条件データを記憶する（図１における（２））。この際、管理装置２は、特定した被写体に関する説明を入力するための画面を、管理装置２の管理者のコンピュータに表示させ、表示させた画面において入力された被写体に関する説明を特徴情報に関連付けて記憶してもよい。

続いて、情報端末１は、ユーザが周りの風景や建物等の被写体を撮影すると、被写体が撮影された位置を示す位置情報を管理装置２に送信する（図１における（３））。管理装置２は、位置情報を受信すると、位置情報に関連付けて記憶した特徴情報を含む認識条件データを情報端末１に送信する（図１における（４））。

情報端末１は、認識条件データを受信すると、生成した撮像画像に、認識条件データ内の特徴情報が示す特徴を有する被写体の画像がないかを判定する。情報端末１は、特徴情報が示す特徴を有する被写体の画像を検出すると、被写体に関する情報（以下、「被写体情報」という）を取得し、取得した被写体情報を表示する（図１における（５））。被写体情報は、例えば、被写体の名称、被写体について説明する文章、被写体に関連付けられた画像である。

図２は、情報端末１が表示する被写体情報について説明するための図である。図２（ａ）は、情報端末１が生成した撮像画像を示す。図２（ｂ）は、情報端末１が図２（ａ）に示す撮像画像に含まれる被写体情報を表示した状態の撮像画像を示す。図２（ｂ）に示すように、情報端末１は、撮像画像に含まれることを特定した被写体である富士山と芦ノ湖の名称を、撮像画像に重ねて表示する。

情報端末１は、例えば毎秒３０枚ずつ撮像画像を生成し、撮像画像が変化するたびに、被写体情報を更新する。このようにすることで、情報端末１のユーザは、撮影した画像に含まれる被写体が変化する場合であっても、被写体情報をリアルタイムで把握することが可能になる。

情報端末１は、撮像画像内の被写体を特定する精度を向上するために、撮像画像に含まれる複数の被写体のそれぞれの特徴を示す複数の特徴情報を用いる。以下、情報端末１が複数の特徴情報を用いて被写体を特定するための構成及び動作について詳細に説明する。

［情報端末１の構成］
図３は、情報端末１の構成を示す図である。情報端末１は、カメラ１１と、ＧＰＳ（Global Positioning System）受信機１２と、通信部１３と、表示部１４と、操作部１５と、記憶部１６と、制御部１７とを有する。制御部１７は、操作受付部１７１と、画像生成部１７２と、位置特定部１７３と、データ取得部１７４と、判定部１７５と、表示制御部１７６とを有する。

カメラ１１は、撮影した被写体の画像を撮像する撮像素子を有する。カメラ１１は、撮像素子により生成した撮像信号を画像生成部１７２に入力する。
ＧＰＳ受信機１２は、情報端末１の位置を検出するデバイスである。ＧＰＳ受信機１２は、例えばＧＰＳ衛星から緯度・経度を示す信号を受信し、受信した信号を位置特定部１７３に入力する。

通信部１３は、ネットワークＮを介して管理装置２との間でデータを送受信するための通信モジュールを含む。通信部１３は、例えばＬＴＥ用の無線通信モジュール又はＷｉ−Ｆｉ用の無線通信モジュールを含む。通信部１３は、画像生成部１７２が生成した情報端末１の位置を示す位置情報を管理装置２に送信する。また、通信部１３は、位置情報を送信したことに応じて管理装置２から受信する認識条件データを受信し、受信した認識条件データを位置特定部１７３に入力する。認識条件データの詳細については後述する。

表示部１４は、画像及び情報を表示するディスプレイである。
操作部１５は、ユーザの操作を受け付けるデバイスである。操作部１５は、例えば、表示部１４に重ねて設けられたタッチパネルである。

記憶部１６は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む記憶媒体である。ＲＯＭは、制御部１７が実行するプログラムを記憶する。また、ＲＡＭは、画像生成部１７２が生成する撮像画像、及び管理装置２から受信した認識条件データを一時的に記憶する。

制御部１７は、記憶部１６に記憶されたプログラムを実行することにより、操作受付部１７１、画像生成部１７２、位置特定部１７３、データ取得部１７４、判定部１７５及び表示制御部１７６として機能する。プログラムは、例えば、スマートフォン用のＯＳ（Operating System）と連携して動作するアプリケーションプログラムである。

操作受付部１７１は、ユーザの操作を受け付ける。具体的には、操作受付部１７１は、ユーザが操作部１５を用いて入力した操作内容を示す情報（例えば、タッチパネルの座標情報）を取得して、取得した情報に基づいて操作内容を特定する。操作受付部１７１は、特定した操作内容を適切な処理部に通知する。

画像生成部１７２は、カメラ１１の撮像素子から入力された信号に基づいて撮像画像データを生成する。画像生成部１７２は、生成した撮像画像データを記憶部１６に記憶させる。また、画像生成部１７２は、撮像画像データを生成したことをデータ取得部１７４に通知する。

位置特定部１７３は、ＧＰＳ受信機１２から入力された信号に基づいて、画像の撮影位置（例えば緯度・経度）を特定し、特定した位置を示す位置情報を生成する。位置特定部１７３は、生成した位置情報をデータ取得部１７４に通知する。位置特定部１７３は、画像の撮影向きをさらに特定し、特定した撮影向きを示す向き情報をデータ取得部１７４に通知してもよい。撮影向きは、例えば北が０°、東が９０°、南が１８０°、西が２７０°のように、０°から３６０°の間の数値で表される。

データ取得部１７４は、撮影位置から所定の範囲内の位置で撮影された第１被写体の特徴を示す第１特徴情報、及び撮影位置から所定の範囲内の位置で撮影された第２被写体の特徴を示す第２特徴情報を含む組合せ認識条件データを取得する。データ取得部１７４は、例えば、第１被写体及び第２被写体が撮影された位置を示す位置情報、並びに第１被写体と第２被写体との間の位置関係を示す位置関係情報を含む組合せ認識条件データを取得する。位置関係情報は、例えば、撮像画像における第１被写体及び第２被写体の座標である。

また、データ取得部１７４は、第１特徴情報を含まず、第２特徴情報を含む単体認識条件データを取得する。具体的には、データ取得部１７４は、画像生成部１７２から撮像画像を生成した旨の通知を受けるとともに、位置特定部１７３から位置情報の通知を受けた場合に、認識条件データを要求するメッセージを管理装置２に送信することにより、認識条件データを取得する。データ取得部１７４は、取得した認識条件データを判定部１７５に通知する。

図４は、認識条件データの概要を模式的に示す図である。図４（ａ）に示す単体認識条件データは、第１特徴情報と、当該第１特徴情報の生成に用いられた撮像画像が生成された時の撮影装置３の位置を示す位置情報とを含むデータである。図４（ｂ）に示す組合せ認識条件データは、第１特徴情報及び第２特徴情報と、当該第１特徴情報及び第２特徴情報の生成に用いられた撮像画像が生成された時の撮影装置３の位置を示す位置情報と、第１被写体と第２被写体との位置関係を示す位置関係情報と、付加情報とを含むデータである。なお、図４（ｂ）に示す組合せ認識条件データは、第１特徴情報及び第２特徴情報の２つの特徴情報を有する例を示しているが、組合せ認識条件データは任意の数の特徴情報を有していてもよい。

付加情報は、組合せ認識条件データに含まれる特徴情報の数、及び第２特徴情報の種別を示す情報を含む。第２特徴情報の種別とは、例えば、第２特徴情報に対応する被写体が、物体であるか、バーコードやＱＲコード（登録商標）のように情報を含む画像であるか、などを示す情報である。

引き続きデータ取得部１７４について説明する。データ取得部１７４は、情報端末１のユーザが被写体を撮影した時の撮影位置に加えて、被写体を撮影した向き（以下、撮影向きという）を示す情報を管理装置２に送信してもよい。この場合、データ取得部１７４は、撮影位置から所定の範囲内の位置を起点とし、かつ撮影向きを中心として所定の角度範囲に関連付けられた第１特徴情報を含む単体認識条件データ、並びに第１特徴情報及び第２特徴情報を含む組合せ認識条件データを取得する。

図５は、角度範囲について説明するための図である。ユーザが撮影位置において被写体を撮影した場合、撮影できる範囲は、カメラ１１の仕様及びズーム設定値によって定まる。データ取得部１７４は、例えば、カメラ１１のズーム設定値に基づいて撮影可能な角度範囲を特定し、特定した角度範囲を示す情報を、撮影向きを示す情報及び撮影位置を示す情報とともに管理装置２に送信する。このようにすることで、データ取得部１７４は、撮像画像に含まれ得る被写体に基づく特徴情報のみを取得することができるので、判定部１７５による判定処理を高速化することができる。

また、データ取得部１７４は、撮影位置の後方の所定の位置から前方で撮影された画像に基づいて生成された第１特徴情報及び第２特徴情報を取得してもよい。すなわち、データ取得部１７４は、実際の撮影位置の後方の位置を、撮影位置として管理装置２に送信することにより、第１特徴情報及び第２特徴情報を取得する。このようにすることで、撮影位置と同じ位置又は撮影位置の前方で撮影された画像に基づいて生成された第１特徴情報及び第２特徴情報がない場合であっても、撮像画像に含まれる被写体に対応する特徴画像を取得できる確率が高まる。

判定部１７５は、撮像画像に、データ取得部１７４が取得した認識条件データに含まれる第１特徴情報に対応する第１被写体又は第２特徴情報に対応する第２被写体が含まれているか否かを判定する。判定部１７５の動作の詳細については後述する。

表示制御部１７６は、判定部１７５が撮像画像に第１被写体が含まれていると判定した場合に、第１被写体に対応する被写体情報を、画像生成部１７２が生成した撮像画像に重ねて表示部１４に表示させる。また、判定部１７５が撮像画像に第２被写体が含まれていると判定した場合に、第２被写体に対応する被写体情報を、画像生成部１７２が生成した撮像画像に重ねて表示部１４に表示させる。

表示制御部１７６は、被写体情報を表示させた状態で、ユーザが、被写体情報が表示されている被写体の画像又は被写体情報（例えば被写体の名称）を選択する操作を行った場合に、被写体情報に対応するメニューを表示してもよい。表示制御部１７６は、例えば、被写体までの距離や被写体に関する詳細情報を表示させるためのメニューを表示部１４に表示させる。表示制御部１７６は、被写体が含まれていると判定部１７５が判定する際に用いた特徴情報の種別又は特徴情報の識別情報（ＩＤ）に対応するメニューを表示部１４に表示させてもよい。

［管理装置２の構成］
続いて、管理装置２の構成について説明する。図６は、管理装置２の構成を示す図である。管理装置２は、通信部２１と、記憶部２２と、制御部２３とを有する。制御部２３は、特徴情報生成部２３１と、撮影位置取得部２３２と、抽出部２３３と、情報送信部２３４とを有する。

通信部２１は、ネットワークＮと接続するための通信コントローラとして、例えばＬＡＮ（Local Area Network）コントローラを含む。通信部２１は、複数の撮影装置３から複数の撮像画像を受信し、受信した撮像画像を特徴情報生成部２３１に通知する。また、通信部２１は、情報送信部２３４が生成した特徴情報を含む認識条件データを情報端末１に送信する。

記憶部２２は、ＲＯＭ、ＲＡＭ及びハードディスク等の記憶媒体を含む。記憶部２２は、制御部２３が実行するプログラムを記憶する。また、記憶部２２は、撮影装置３から受信した撮像画像、及び情報送信部２３４が生成した特徴情報を含む認識条件データを記憶する。記憶部２２は、認識条件データとして、特徴情報の生成に用いられた被写体が撮影された位置と、被写体の特徴を示す特徴情報とを関連付けたデータを記憶する。

制御部２３は、例えばＣＰＵである。記憶部２２に記憶されたプログラムを実行することにより、特徴情報生成部２３１、撮影位置取得部２３２、抽出部２３３及び情報送信部２３４として機能する。

特徴情報生成部２３１は、撮影装置３から受信した撮像画像に基づいて、撮像画像に含まれる被写体の特徴を示す特徴情報を生成する。特徴情報生成部２３１は、例えば、撮像画像に含まれる被写体の輪郭線を抽出し、抽出した輪郭線の形状、又は輪郭線に含まれる周波数成分を含む特徴情報を生成する。特徴情報生成部２３１は、輪郭線に囲まれた領域の画素の色度、輝度、又はこれらの周波数成分を含む特徴情報を生成してもよい。特徴情報生成部２３１は、生成した特徴情報を含む認識条件データを生成し、生成した認識条件データを記憶部２２に記憶させる。

図７は、特徴情報生成部２３１が生成する認識条件データの例を示す図である。認識条件データにおいては、データを識別するためのデータＩＤ、認識条件データに含まれる特徴情報の生成に用いられた撮像画像が撮影された位置、撮像画像が撮影された向き、単体認識条件データか組合せ認識条件データかの種別、第２特徴情報の種別、第１被写体及び第２被写体に関する情報（例えば名称）、並びに第１特徴情報及び第２特徴情報のファイル名が関連付けられている。認識条件データは、第１特徴情報及び第２特徴情報のファイル名の代わりに、第１特徴情報及び第２特徴情報自体を含んでもよい。

撮影位置取得部２３２は、情報端末１から撮影位置を取得する。具体的には、撮影位置取得部２３２は、通信部２１を介して情報端末１から受信した特徴情報の要求メッセージに含まれている撮影位置を示す位置情報を取得する。撮影位置取得部２３２は、取得した位置情報を抽出部２３３に通知する。

抽出部２３３は、記憶部２２が記憶する複数の単体認識条件データ及び組合せ認識条件データから、撮影位置取得部２３２が取得した撮影位置から所定の範囲内の位置で撮影された被写体に対応する特徴情報を含む単体認識条件データ及び組合せ認識条件データを抽出する。抽出部２３３は、例えば、複数の組合せ認識条件データのうち、情報端末１から送信された要求メッセージに含まれている範囲情報が示す範囲内の位置で撮影された第１被写体及び第２被写体のそれぞれに対応する第１特徴情報及び第２特徴情報を含む組合せ認識条件データを抽出する。範囲情報は、情報端末１のユーザが操作部１５を用いて設定することができ、例えば、撮影位置から３０ｍ（緯度の約１秒相当）の範囲である。

図７に示す例の場合、撮影位置が北緯３５度４３分００秒（３５°４３’００”）であり、範囲情報が、撮影位置から±１秒の緯度・経度に設定されている場合、抽出部２３３は、データＩＤが００００１、００００３、００００４の認識条件データを抽出する。範囲情報が、撮影位置から±５秒に設定されている場合、抽出部２３３は、データＩＤが００００２の認識条件データをさらに抽出する。
情報送信部２３４は、抽出部２３３が抽出した認識条件データを情報端末１に送信する。

［判定部１７５による被写体の有無の判定動作］
図８は、判定部１７５の動作について説明するための図である。以下、図８を参照しながら、判定部１７５の動作について説明する。図８においては、第１被写体が富士山であり、第２被写体が芦ノ湖であるとする。

判定部１７５は、データ取得部１７４が単体認識条件データ又は組合せ認識条件データを取得した場合、まず、第１特徴情報に基づいて撮像画像に第１被写体が含まれているか否かを判定する。判定部１７５は、撮像画像に、単体認識条件データ又は組合せ認識条件データのいずれかに含まれる第１特徴情報に対応する第１被写体が含まれる蓋然性が、単体認識閾値（例えば８０％）以上である場合に、撮像画像に第１被写体が含まれていると判定する。例えば、図８（ａ）に示すように、第１特徴情報に基づいて撮像画像に第１被写体が含まれる蓋然性が９０％であると判定した場合に、撮像画像に第１被写体である富士山が含まれると判定する。

判定部１７５は、撮像画像に、組合せ認識条件データに含まれていた第１特徴情報に対応する第１被写体が含まれる蓋然性が単体認識閾値（例えば８０％）未満であるが、単体認識閾値よりも小さい第１組合せ認識閾値（例えば３０％）以上である場合（例えば、蓋然性が４０％の場合）、撮像画像に、第２特徴情報に対応する第２被写体が含まれているか否かを判定する。判定部１７５は、撮像画像に第２被写体が含まれている蓋然性が第２組合せ認識閾値（例えば２０％）以上である場合に、撮像画像に第２被写体が含まれていると判定する。第２組合せ認識閾値は、例えば第１組合せ認識閾値よりも小さい値に設定されている。判定部１７５は、組合せ認識条件データに含まれる第２特徴情報に基づいて撮像画像に第２被写体が含まれていると判定した場合、撮像画像に第１被写体が含まれていると判定する。

判定部１７５は、第１組合せ認識閾値が３０％、第２組合せ認識閾値が２０％である場合、例えば図８（ｂ）に示すように、撮像画像に第１被写体である富士山が含まれている蓋然性が第１組合せ認識閾値の３０％以上（例えば４０％）ならば、撮像画像に第２被写体である芦ノ湖が含まれている蓋然性を推定する。判定部１７５は、撮像画像に第２被写体である芦ノ湖が含まれる蓋然性が、第２組合せ認識閾値の２０％以上（例えば３０％）ならば、撮像画像に第１被写体である富士山が含まれていると判定する。

このように、判定部１７５は、組合せ認識条件データに含まれる複数の特徴情報を用いて、複数の被写体が撮像画像に含まれる蓋然性に基づいて、撮像画像に第１被写体が含まれているか否かを判定する。このようにすることで、判定部１７５は、第１特徴情報だけを用いた場合に撮像画像に第１被写体が含まれていると判定できない場合であっても、撮像画像に第１被写体が含まれると判定することが可能になる。

判定部１７５は、撮像画像に第２被写体が含まれている蓋然性が第２組合せ認識閾値未満である場合に、撮像画像に第２被写体が含まれていないと判定する。撮像画像に第１被写体が含まれている蓋然性が単体認識閾値未満であり、かつ撮像画像に第２被写体が含まれている蓋然性が第２組合せ認識閾値未満である場合、判定部１７５は、撮像画像に第１被写体及び第２被写体が含まれていないと判定する。

判定部１７５は、撮影位置と第１特徴情報に対応する第１被写体との距離、又は撮影位置と第２特徴情報に対応する第２被写体との距離に基づいて、第１被写体又は第２被写体が撮像画像に含まれる蓋然性の算出精度を決定してもよい。例えば、判定部１７５は、撮影位置と第１特徴情報に対応する第１被写体との距離、又は撮影位置と第２特徴情報に対応する第２被写体との距離が小さければ小さいほど、被写体の有無の判定に用いる撮像画像の解像度を粗くすることにより、第１被写体又は第２被写体が撮像画像に含まれる蓋然性の算出精度を低くする。このようにすることで、判定部１７５は、処理を高速化しつつ、必要な判定精度を確保することができる。

判定部１７５は、撮像画像に含まれている蓋然性が第１組合せ認識閾値以上であると判定した第１被写体と、第２特徴情報に基づいて撮像画像に含まれている蓋然性があると判定した第２被写体との位置関係に基づいて、撮像画像に第１被写体が含まれているか否かを判定してもよい。例えば、判定部１７５は、撮像画像に含まれている可能性があると判定した第１被写体と第２被写体との位置関係が、組合せ認識条件データに含まれている、第１特徴情報及び第２特徴情報の生成に用いられた撮像画像が生成された時の撮影装置３の位置を示す位置情報が示す位置関係を満たしている場合に、撮像画像に前記第１被写体が含まれていると判定する。このように、判定部１７５が、複数の被写体の位置関係も考慮して判定することにより、判定精度を向上させることができる。

判定部１７５は、同一の第１特徴情報に対応する被写体が撮像画像の複数の位置に検出された場合、第１特徴情報に関連付けられた向きに近い領域にある被写体が第１被写体であると判定する。そして、表示制御部１７６は、判定部１７５が第１被写体であると判定した被写体に関連付けて被写体情報を表示する。このようにすることで、表示制御部１７６は、撮像画像に類似する被写体が複数ある場合であっても、適切な被写体に正しい被写体情報を表示することができる。

なお、判定部１７５は、データ取得部１７４が取得した複数の単体認識条件データ及び複数の組合せ認識条件データを用いてもよい。この場合、判定部１７５は、複数の第１特徴情報のそれぞれに基づく、撮像画像に第１被写体が含まれる蓋然性の平均値、及び複数の第２特徴情報のそれぞれに基づく、撮像画像に第２被写体が含まれる蓋然性の平均値を用いて、撮像画像に第１被写体又は第２被写体が含まれているか否かを判定する。

また、判定部１７５は、複数の第１特徴情報及び複数の第２特徴情報のそれぞれの信頼度を示す情報に基づいて選択した特徴情報に基づいて、撮像画像に第１被写体又は第２被写体が含まれているか否かを判定してもよい。信頼度を示す情報は、例えば撮像画像に被写体が含まれていると正しく判定される確率（以下、判定成功確率という）を示す情報であり、データ取得部１７４が管理装置２から取得することができる。

例えば、鮮明な撮像画像に基づいて生成された特徴画像を用いる方が、判定成功確率が高いと考えられるので、信頼度が高く設定されている。そこで、判定部１７５は、取得した信頼度を示す情報が閾値以上の特徴情報を優先的に使用する。判定部１７５は、このように判定成功確率が高い特徴情報を用いることで、判定に成功する確率を向上させることができる。なお、信頼度は、過去に第１特徴情報及び第２特徴情報が用いられた実績に基づいて決定されてもよい。例えば、過去に特徴情報に基づいて被写体が撮像画像に含まれていると判定された確率が高いほど、特徴情報の信頼度を高く設定することで、判定部１７５は、判定成功確率の向上につながり得る特徴情報を優先的に使用できる。

また、判定部１７５は、同一の特徴情報に基づいて複数の箇所に同一の被写体が含まれている蓋然性が所定の第１閾値以上である場合、撮像画像に当該被写体が含まれている蓋然性が最も高い被写体が、撮像画像に含まれていると判定してもよい。判定部１７５は、同一の特徴情報に基づいて複数の箇所に同一の被写体が含まれている蓋然性が、第１閾値よりも高い第２閾値である場合に、蓋然性が第２閾値以上であると判定された全ての被写体が撮像画像に含まれていると判定してもよい。

［制御部１７の動作フローチャート］
図９は、制御部１７の動作フローチャートである。まず、画像生成部１７２は、ユーザの操作に応じて撮像画像を生成する（Ｓ１１）。画像生成部１７２は、例えば所定のフレームレートで連続して撮像画像を生成することで、ユーザが撮影操作をしてから継続的に撮像画像を生成する。

続いて、位置特定部１７３は、ユーザが被写体を撮影した位置を特定する（Ｓ１２）。位置特定部１７３は、画像生成部１７２が撮像画像を生成する間隔以下の間隔で位置を特定することにより、各撮像画像が撮影された位置を特定する。

続いて、データ取得部１７４は、撮影位置情報、撮影向き情報及び撮影角度範囲情報を含む認識条件データ要求を管理装置２に送信する。データ取得部１７４は、撮影位置情報が示す位置において、撮影向きが示す向きに、撮影角度範囲が示す角度範囲を撮影した際に含まれ得る被写体に対応する特徴情報を含む認識条件データを取得する（Ｓ１３）。ここでは、データ取得部１７４が、単体認識条件データ及び組合せ認識条件データの両方を取得した場合について説明するが、データ取得部１７４は、いずれか一方の認識条件データのみを取得してもよい。

判定部１７５は、データ取得部１７４が取得した認識条件データに基づいて、撮像画像に被写体が含まれているか否かを判定する（Ｓ１４〜Ｓ１８）。まず、判定部１７５は、単体認識条件データに含まれる第１特徴情報に基づいて、第１被写体の有無を判定する（Ｓ１４）。具体的には、判定部１７５は、撮像画像に第１被写体が含まれる蓋然性を算出し、算出した蓋然性を単体認識閾値と比較することにより、第１被写体の有無を判定する。

判定部１７５は、蓋然性が単体認識閾値以上であると判定した場合（Ｓ１５においてＹＥＳ）、撮像画像に、第１特徴情報に対応する第１被写体が含まれていると判定する（Ｓ１６）。判定部１７５は、撮像画像に第１被写体が含まれていると判定した場合、ステップＳ１７に進んで被写体情報を表示する。

判定部１７５は、ステップＳ１５において、蓋然性が単体認識閾値未満であると判定した場合（Ｓ１５においてＮＯ）、ステップＳ１８に進んで、組合せ認識条件データに基づく判定処理を実行する。判定部１７５は、ステップＳ１８が終了した後に、ステップＳ１９に進み、組合せ認識条件データに基づく判定処理において被写体があると判定された場合（Ｓ１９においてＹＥＳ）、ステップＳ１７に進んで被写体情報を表示する。

ステップＳ１７の後、又はステップＳ１９において被写体がないと判定された場合、判定部１７５は、ステップＳ２０に処理を進める。判定部１７５は、アプリケーションが終了するまでの間（Ｓ２０においてＮＯ）、ステップＳ１１〜Ｓ１９の処理を繰り返す。

図１０は、ステップＳ１８の組合せ認識条件データに基づく判定処理のフローチャートである。判定部１７５は、組合せ認識条件データに含まれる第１特徴情報に基づいて、第１被写体の有無を判定する（Ｓ１８１）。判定部１７５は、撮像画像に第１被写体が含まれる蓋然性を算出し、算出した蓋然性を第１組合せ認識閾値と比較することにより、第１被写体の有無を判定する。

判定部１７５は、撮像画像に第１被写体が含まれる蓋然性が第１組合せ認識閾値以上であると判定した場合（Ｓ１８２においてＹＥＳ）、組合せ認識条件データに含まれる第２特徴情報に基づいて、第２被写体の有無を判定する（Ｓ１８３）。判定部１７５は、撮像画像に第２被写体が含まれる蓋然性を算出し、算出した蓋然性を第２組合せ認識閾値と比較することにより、第２被写体の有無を判定する。

判定部１７５は、撮像画像に第２被写体が含まれる蓋然性が第２組合せ認識閾値以上であると判定した場合（Ｓ１８４においてＹＥＳ）、撮像画像に第１被写体が含まれていると判定する（Ｓ１８５）。ステップＳ１８５において、判定部１７５は、撮像画像に第２被写体も含まれていると判定してもよい。

判定部１７５は、ステップＳ１８２において、撮像画像に第１被写体が含まれている蓋然性が第１組合せ認識閾値未満であると判定した場合（Ｓ１８２においてＮＯ）、撮像画像に第１被写体が含まれていないと判定する（Ｓ１８６）。また、判定部１７５は、ステップＳ１８４において、撮像画像に第２被写体が含まれている蓋然性が第２組合せ認識閾値未満であると判定した場合（Ｓ１８４においてＮＯ）にも、撮像画像に第１被写体が含まれていないと判定する（Ｓ１８６）。判定部１７５は、ステップＳ１８５及びＳ１８６の処理の後に、図９のステップＳ１９へと進む。

（変形例１）
管理装置２は、認識条件データの管理者（例えば管理装置２の管理者）が認定した認定特徴情報を含む認定認識条件データと、上記の管理者が認定していない非認定特徴情報を含む非認定認識条件データとを区別して管理してもよい。認定認識条件データは、適切な内容であることが管理者によって確認されたデータであって、非認定認識条件データよりも信頼性が高い。

この場合、データ取得部１７４は、認定特徴情報（認定第１特徴情報又は認定第２特徴情報）を含む認識条件データ（単体認識条件データ又は組合せ認識条件データ）と、非認定特徴情報（非認定第１特徴情報又は非認定第２特徴情報）を含む認識条件データとを取得する。判定部１７５は、所定の数以上の認定第１特徴情報を取得した場合、非認定第１特徴情報を用いず、認定第１特徴情報に基づいて、撮像画像に第１被写体が含まれている蓋然性が閾値以上であるか否かを判定する。同様に、判定部１７５は、所定の数以上の認定第２特徴情報を取得した場合、非認定第２特徴情報を用いず、認定第２特徴情報に基づいて、撮像画像に第２被写体が含まれている蓋然性が閾値以上であるか否かを判定する。このようにすることで、判定部１７５は、信頼性が高い認定特徴情報を用いて被写体の有無を判定することができるので、判定結果の精度が向上する。

（変形例２）
表示制御部１７６は、撮影位置を起点とする複数の角度範囲のそれぞれに対して、画像詳細情報の有無を示すシンボル画像を表示部１４に表示させてもよい。図１１は、変形例２の表示制御部１７６が表示する撮像画像の例を示す図である。

図１１（ａ）に示す撮像画像には、被写体として多数のビルが含まれている。ユーザが撮影した範囲内に多数の被写体が含まれている場合、ユーザは、どこにどれだけの被写体があるのかを把握しづらい。そこで、表示制御部１７６は、図１１（ｂ）に示すように、撮影位置を中心にして、複数の角度範囲内に含まれる画像詳細情報の数を示すシンボル画像（図１１（ｂ）における上部の数字）を表示部１４に表示させることで、どこにどれだけの数の被写体があるかを容易に把握することができる。表示制御部１７６は、ユーザがシンボル画像を選択したことに応じて、複数の角度範囲内に含まれる画像詳細情報の内容を示すリストを表示部１４に表示させてもよい。このようにすることで、ユーザは、情報端末１を向けている方向に何が存在するかを把握することができる。

［第１の実施形態の情報表示システムＳによる効果］
以上説明したように、情報端末１のデータ取得部１７４は、撮影位置から所定の範囲内の位置で撮影された第１被写体の特徴を示す第１特徴情報、及び撮影位置から所定の範囲内の位置で撮影された第２被写体の特徴を示す第２特徴情報を含む組合せ認識条件データを、管理装置２から取得する。判定部１７５は、第１特徴情報に基づいて、撮像画像に第１被写体が含まれ得るものの、第１被写体が含まれる蓋然性が十分に高くないと判定した場合、第２特徴情報に基づいて、撮像画像に第２被写体が含まれる蓋然性を算出する。そして、判定部１７５は、撮像画像に第２被写体が含まれる蓋然性が所定の閾値以上である場合に、撮像画像に第１被写体が含まれていると判定する。このようにすることで、一つの特徴情報を用いただけでは被写体が含まれているかどうかの判定精度が低い場合であっても、判定精度を向上させることができる。

＜第２の実施形態＞
第１の実施形態では、第２被写体が建物や自然物等の物体の画像であったのに対して、第２の実施形態では、第２被写体が、バーコード、ＱＲコード又は文字等のように情報を含む画像である点で第１の実施形態と異なる。

図１２は、第２の実施形態に係る情報端末１のユーザが撮影した画像の一例を示す図である。図１２（ａ）は、レストランのメニューの画像を示している。レストランのメニューには、第１被写体としてのタイトル３１と、第２被写体としてのバーコード３２が含まれている。

情報端末１の判定部１７５は、ユーザがメニューを撮影すると、生成した撮像画像に第１被写体であるタイトル３１が含まれている蓋然性を算出し、撮像画像にタイトル３１が含まれている蓋然性が第１組合せ認識閾値以上である場合に、第２被写体であるバーコード３２が含まれている蓋然性を算出する。判定部１７５は、撮像画像にバーコード３２が含まれている蓋然性が第２組合せ認識閾値以上である場合に、タイトル３１に関連付けられた被写体情報として、タイトル３１に対応するメニューの英語訳情報を表示する。

図１３は、第２の実施形態に係る制御部１７のフローチャートである。図１３におけるステップＳ２１〜Ｓ２３は、図９におけるステップＳ１１〜Ｓ１３と同一である。

ステップＳ２３の後に、判定部１７５は、図１０を用いて説明した組合せ認識条件データに基づく判定処理を実行する。具体的には、まず、判定部１７５は、組合せ認識条件データに含まれる第１特徴情報に基づいて、撮像画像に第１被写体が含まれている蓋然性を算出する（Ｓ２４）。

判定部１７５は、算出した蓋然性が第１組合せ認識閾値以上である場合に（Ｓ２５においてＹＥＳ）、第２特徴情報に基づいて、第２被写体としてのバーコード３２が含まれている蓋然性を算出する。判定部１７５は、撮像画像にバーコード３２が含まれている蓋然性が第２組合せ認識閾値以上であり、撮像画像にバーコード３２が含まれていると判定した場合（Ｓ２６においてＹＥＳ）、バーコード３２の内容を読み取る処理を実行する（Ｓ２７）。続いて、表示制御部１７６は、第１被写体であるタイトル３１と、バーコード３２とに関連付けられた被写体情報である英語版のメニューを表示する（Ｓ２８）。

なお、判定部１７５は、ステップＳ２７のバーコード３２の内容を読み取る処理を実行せず、表示制御部１７６は、撮像画像にバーコード３２が含まれている蓋然性が第２組合せ認識閾値以上であることに基づいて、被写体情報である英語版のメニューを表示部１４に表示させてもよい。また、表示制御部１７６は、ステップＳ２７において判定部１７５がバーコード３２の内容を読み取った結果に基づいて、被写体情報として、言語を選択するためのメニュー画面を表示部１４に表示させてもよい。

［第２の実施形態の情報表示システムＳによる効果］
以上説明したように、第２の実施形態に係る情報端末１の判定部１７５は、組合せ認識条件データに含まれている第２特徴情報に基づいて、バーコード、ＱＲコード又は文字のように情報を含む画像が、第２被写体として撮像画像に含まれているか否かを判定する。そして、表示制御部１７６は、撮像画像に、バーコード、ＱＲコード又は文字が含まれる蓋然性が高いと判定部１７５が判定した場合に、第１被写体に関連する情報を表示部１４に表示させる。このようにすることで、情報端末１は、第１被写体の認識精度が低い場合であっても、第１被写体に関連する情報を適切に表示することが可能になる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

例えば、以上の説明においては、情報端末１の判定部１７５が、第１特徴情報及び第２特徴情報に基づいて、第１被写体及び第２被写体が撮像画像に含まれる蓋然性を算出した。これに対して、管理装置２が判定部１７５及び表示制御部１７６と同等の機能を有してもよい。この場合、情報端末１は、画像生成部１７２が生成した撮像画像を管理装置２に送信し、管理装置２は、情報端末１から受信した撮像画像に第１被写体及び第２被写体が含まれる蓋然性を算出する。このように、判定部１７５及び表示制御部１７６の処理を情報端末１及び管理装置２のどこで実行するかは任意である。

１ 情報端末
２ 管理装置
３ 撮影装置
１１ カメラ
１２ ＧＰＳ受信機
１３ 通信部
１４ 表示部
１５ 操作部
１６ 記憶部
１７ 制御部
２１ 通信部
２２ 記憶部
２３ 制御部
１７１ 操作受付部
１７２ 画像生成部
１７３ 位置特定部
１７４ データ取得部
１７５ 判定部
１７６ 表示制御部
２３１ 特徴情報生成部
２３２ 撮影位置取得部
２３３ 抽出部
２３４ 情報送信部

Claims (16)

1. コンピュータを、
   画像を撮影して撮像画像を生成する画像生成部、
   前記画像の撮影位置を特定する位置特定部、
   前記撮影位置から所定の範囲内の位置で撮影された第１被写体の特徴を示す第１特徴情報、及び前記撮影位置から所定の範囲内の位置で撮影された第２被写体の特徴を示す第２特徴情報を含む組合せ認識条件データを取得するデータ取得部、
   前記第１特徴情報に基づいて前記撮像画像に前記第１被写体が含まれている蓋然性が単体認識閾値以上である場合、及び前記撮像画像に前記第１被写体が含まれている蓋然性が前記単体認識閾値よりも小さい第１組合せ認識閾値以上、前記単体認識閾値未満であり、かつ前記第２特徴情報に基づいて前記撮像画像に前記第２被写体が含まれていると判定した場合に、前記撮像画像に前記第１被写体が含まれていると判定する判定部、及び
   前記判定部が、前記撮像画像に前記第１被写体が含まれていると判定した場合に、前記第１被写体に対応する被写体情報を、前記撮像画像に重ねて表示部に表示させる表示制御部、
   として機能させるためのプログラム。
2. 前記データ取得部は、前記第２特徴情報を含まず、前記第１特徴情報を含む単体認識条件データをさらに取得し、
   前記判定部は、前記単体認識条件データに含まれる前記第１特徴情報に基づいて前記撮像画像に第１被写体が含まれている蓋然性が前記単体認識閾値以上であると判定した場合に、前記撮像画像に前記第１被写体が含まれていると判定する、
   請求項１に記載のプログラム。
3. 前記位置特定部は、前記画像の撮影向きをさらに特定し、
   前記データ取得部は、前記撮影位置から所定の範囲内の位置を起点とし、かつ前記撮影向きを中心として所定の角度範囲に関連付けられた前記第１特徴情報及び前記第２特徴情報を含む組合せ認識条件データを取得する、
   請求項１又は２に記載のプログラム。
4. 前記データ取得部は、前記第１被写体と前記第２被写体との間の位置関係を示す情報を含む前記組合せ認識条件データを取得し、
   前記判定部は、前記第２特徴情報に基づいて前記撮像画像に含まれている蓋然性があると判定した前記第２被写体と、前記撮像画像に含まれている蓋然性が前記第１組合せ認識閾値以上であると判定した前記第１被写体との位置関係が、前記位置関係を示す情報に対応する位置関係を満たす場合に、前記撮像画像に前記第１被写体が含まれていると判定する、
   請求項１から３のいずれか一項に記載のプログラム。
5. 前記判定部は、前記撮像画像に前記第２被写体が含まれている蓋然性が前記第１組合せ認識閾値よりも小さい第２組合せ認識閾値以上である場合に、前記撮像画像に前記第２被写体が含まれていると判定する、
   請求項１から４のいずれか一項に記載のプログラム。
6. 前記データ取得部は、前記組合せ認識条件データの管理者により認定された認定第１特徴情報を含む前記組合せ認識条件データと、前記管理者により認定されていない非認定第１特徴情報を含む前記組合せ認識条件データとを取得し、
   前記判定部は、所定の数以上の前記認定第１特徴情報を取得した場合、前記非認定第１特徴情報を用いず、前記認定第１特徴情報に基づいて、前記撮像画像に前記第１被写体が含まれている蓋然性が前記第１組合せ認識閾値以上であるか否かを判定する、
   請求項１から５のいずれか一項に記載のプログラム。
7. 前記データ取得部は、複数の前記組合せ認識条件データと、前記複数の組合せ認識条件データに含まれる複数の前記第１特徴情報及び複数の前記第２特徴情報の信頼度を示す情報を取得し、
   前記判定部は、前記複数の第１特徴情報及び前記複数の第２特徴情報のそれぞれの信頼度を示す情報に基づいて選択した特徴情報に基づいて、前記撮像画像に前記第１被写体又は前記第２被写体が含まれているか否かを判定する、
   請求項１から６のいずれか一項に記載のプログラム。
8. 前記表示制御部は、前記撮影位置を起点とする複数の角度範囲のそれぞれに対して、前記被写体情報の有無を示すシンボル画像を前記表示部に表示させる、
   請求項１から７のいずれか一項に記載のプログラム。
9. 前記表示制御部は、前記複数の角度範囲内に含まれる前記被写体情報の数を示す前記シンボル画像を前記表示部に表示させる、
   請求項８に記載のプログラム。
10. 前記表示制御部は、ユーザが前記シンボル画像を選択したことに応じて、前記複数の角度範囲内に含まれる前記被写体情報の内容を示すリストを前記表示部に表示させる、
    請求項８又は９に記載のプログラム。
11. 前記判定部は、前記撮影位置と前記第１特徴情報に対応する前記第１被写体との距離、又は前記撮影位置と前記第２特徴情報に対応する前記第２被写体との距離が小さければ小さいほど、前記第１被写体又は前記第２被写体が前記撮像画像に含まれる蓋然性の算出精度を低くする、
    請求項１から１０のいずれか一項に記載のプログラム。
12. 前記データ取得部は、前記撮影位置の後方の所定の位置から前方で撮影された画像に基づいて生成された前記第１特徴情報を取得する、
    請求項１から１１のいずれか一項に記載のプログラム。
13. 前記判定部は、同一の前記第１特徴情報に対応する被写体が前記撮像画像の複数の位置に検出された場合、前記第１特徴情報に関連付けられた向きに最も近い領域にある被写体が前記第１被写体であると判定する、
    請求項１から１２のいずれか一項に記載のプログラム。
14. 画像を撮影して撮像画像を生成する画像生成部と、
    前記画像の撮影位置を特定する位置特定部と、
    前記撮影位置から所定の範囲内の位置で撮影された第１被写体の特徴を示す第１特徴情報、及び前記撮影位置から所定の範囲内の位置で撮影された第２被写体の特徴を示す第２特徴情報を含む組合せ認識条件データを取得するデータ取得部と、
    前記第１特徴情報に基づいて前記撮像画像に前記第１被写体が含まれている蓋然性が単体認識閾値以上である場合、及び前記撮像画像に前記第１被写体が含まれている蓋然性が前記単体認識閾値よりも小さい組合せ認識閾値以上、前記単体認識閾値未満であり、かつ前記第２特徴情報に基づいて前記撮像画像に前記第２被写体が含まれていると判定した場合に、前記撮像画像に前記第１被写体が含まれていると判定する判定部と、
    前記判定部が、前記撮像画像に前記第１被写体が含まれていると判定した場合に、前記第１被写体に対応する被写体情報を、前記撮像画像に重ねて表示部に表示させる表示制御部と、
    を有する情報端末。
15. 画像を撮影して撮像画像を生成するステップと、
    前記画像の撮影位置を特定するステップと、
    前記撮影位置から所定の範囲内の位置で撮影された第１被写体の特徴を示す第１特徴情報、及び前記撮影位置から所定の範囲内の位置で撮影された第２被写体の特徴を示す第２特徴情報を含む組合せ認識条件データを取得するステップと、
    前記第１特徴情報に基づいて前記撮像画像に前記第１被写体が含まれている蓋然性が単体認識閾値以上である場合、及び前記撮像画像に前記第１被写体が含まれている蓋然性が前記単体認識閾値よりも小さい組合せ認識閾値以上、前記単体認識閾値未満であり、かつ前記第２特徴情報に基づいて前記撮像画像に前記第２被写体が含まれていると判定した場合に、前記撮像画像に前記第１被写体が含まれていると判定するステップと、
    前記撮像画像に前記第１被写体が含まれていると判定した場合に、前記第１被写体に対応する被写体情報を、前記撮像画像に重ねて表示部に表示させるステップと、
    を有する情報表示方法。
16. 画像を表示する情報端末と、前記情報端末と通信可能な管理装置と、を備える情報表示システムであって、
    前記情報端末は、
    画像を撮影して撮像画像を生成する画像生成部と、
    前記画像の撮影位置を特定する位置特定部と、
    を有し、
    前記管理装置は、
    位置に関連付けて、第１被写体の特徴を示す第１特徴情報、及び第２被写体の特徴を示す第２特徴情報を含む複数の組合せ認識条件データを記憶する記憶部と、
    前記情報端末から前記撮影位置を取得する撮影位置取得部と、
    前記記憶部が記憶する前記複数の組合せ認識条件データから、前記撮影位置取得部が取得した前記撮影位置から所定の範囲内の位置で撮影された前記第１被写体及び前記第２被写体にそれぞれ対応する前記第１特徴情報及び前記第２特徴情報を含む組合せ認識条件データを抽出する抽出部と、
    を有し、
    前記情報端末又は前記管理装置は、
    前記第１特徴情報に基づいて前記撮像画像に前記第１被写体が含まれている蓋然性が単体認識閾値以上である場合、及び前記撮像画像に前記第１被写体が含まれている蓋然性が前記単体認識閾値よりも小さい組合せ認識閾値以上、前記単体認識閾値未満であり、かつ前記第２特徴情報に基づいて前記撮像画像に前記第２被写体が含まれていると判定した場合に、前記撮像画像に前記第１被写体が含まれていると判定する判定部と、
    前記判定部が、前記撮像画像に前記第１被写体が含まれていると判定した場合に、前記第１被写体に対応する被写体情報を、前記撮像画像に重ねて表示部に表示させる表示制御部と、
    を有する情報表示システム。
    

Images