JP6771117B1 - 情報提供サーバ、情報提供方法、及びプログラム - Google Patents

Abstract

【課題】対象物を一単位として付加情報を添付することなく、対象物を含む画像データに対して付加情報を添付して表示させる技術を提供する。【解決手段】情報提供サーバは、通信端末から付加情報が添付されていない第一の画像を取得すると、第一の画像に対して画像解析を実行する解析部と、画像解析の結果に基づき、第二の画像及び第二の画像に添付された付加情報が蓄積されたデータベースから所定の条件を満たす第二の画像に添付された付加情報を抽出する画像抽出部と、抽出された付加情報を通信端末に出力する出力部と、を有する。【選択図】図１

Description

本発明の一実施形態は、情報提供システム、情報提供サーバ、情報提供方法、及びプログラムに関するものである。

近年、カメラ等の撮像装置により映し出された景色などの視界情報にオブジェクトデータを重畳して表示させる拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）技術の活用が盛んになっている。

ＡＲ技術として、ＧＰＳや電子コンパス、加速度センサ等を利用することで自己の位置を特定し、周辺の情報をスマートフォンの画面上にデジタル情報として合成表示するロケーションベースＡＲが知られている。このようなロケーションベースＡＲとして、例えば、特許文献１及び２では、スマートフォンのカメラによって、ユーザの目の前の景色を画面上に映し出し、その景色に含まれる建物に関連するテキスト、画像、及び音声などのデジタル情報を、建物に重ねて表示する技術が開示されている。

特開２０１２−３８１５３号公報 国際公開第２０１１／００４６０８号

特許文献１では、対象物に添付されたデジタル情報は、事業者が付したものであり、画一的な情報しか得られない。そのためユーザ間の情報の伝達やコミュニケーションの機会を提供できない。この点について特許文献２は、ユーザが対象物に対して添付したデジタル情報を他のユーザが確認できる技術を開示している。しかし、特許文献２では、位置情報等に基づき、建物等といった対象物そのものにデジタル情報を添付するため、一つの対象物には、当該対象物に添付された全てのデジタル情報が表示されてしまう。これにより、ユーザの通信端末の表示画面は、デジタル情報で溢れかえってしまい、ユーザにとって必要な情報が見つけにくいという問題がある。

上記問題に鑑み、本発明の一実施形態では、対象物を一単位として付加情報を添付することなく、対象物を含む画像データに対して付加情報を添付して表示させる技術を提供することを目的の一つとする。

本発明の一実施形態に係る情報提供サーバは、通信端末から付加情報が添付されていない第一の画像を取得すると、第一の画像に対して画像解析を実行する解析部と、画像解析の結果に基づき、第二の画像及び当該第二の画像に添付された付加情報が蓄積されたデータベースから所定の条件を満たす第二の画像に添付された付加情報を抽出する抽出部と、抽出された付加情報を通信端末に出力する出力部と、を有する。

上記構成において、通信端末から付加情報が添付されている第二の画像を取得すると、第二の画像と付加情報とを関連付けてデータベースに格納する記録部をさらに有する。

上記構成において、所定の条件とは、通信端末から取得した第一の画像と、データベースに格納された第二の画像との一致率が閾値以上である。

本発明の一実施形態に係る情報提供サーバは、通信端末から付加情報が添付されていない第一の画像、及び第一の画像の付帯情報を取得すると、第一の画像に対して画像解析を実行する解析部と、画像解析の結果に基づき、第二の画像、当該第二の画像に関連付けられた付帯情報、及び当該第二の画像に添付された付加情報が蓄積されたデータベースから所定の条件を満たす第二の画像に添付された付加情報を抽出する抽出部と、抽出された付加情報を通信端末に出力する。

上記構成において、通信端末から付帯情報を含み、かつ付加情報が添付されている第二の画像を取得すると、第二の画像、付加情報、及び付帯情報を関連付けてデータベースに格納する記録部をさらに有する。

上記構成において、所定の条件とは、通信端末から取得した第一の画像と、データベースに格納された第二の画像との一致率が閾値以上であり、通信端末から取得した第一の画像の付帯情報と、データベースに格納された第二の画像の付帯情報との一致率が閾値以上である。

上記構成において、解析部は、取得した第一の画像を複数の領域に分割し、複数の分割画像それぞれに対して、画像解析を実行する。

上記構成において、抽出部は、複数の分割画像のそれぞれの画像解析の結果に基づき、データベースから所定の条件を満たす第二の画像に添付された付加情報を抽出する。

本発明の一実施形態に係る情報提供方法は、通信端末から付加情報が添付されていない第一の画像を取得すると、第一の画像に対して画像解析を実行し、画像解析の結果に基づき、第二の画像及び当該第二の画像に添付された付加情報が蓄積されたデータベースから所定の条件を満たす第二の画像に添付された付加情報を抽出し、抽出された付加情報を通信端末に出力する。

本発明の一実施形態に係る情報提供方法は、通信端末から付加情報が添付されていない第一の画像、及び第一の画像の付帯情報を取得すると、第一の画像に対して画像解析を実行し、画像解析の結果及び付帯情報に基づき、第二の画像、当該第二の画像に関連付けられた付帯情報、及び当該第二の画像に添付された付加情報が蓄積されたデータベースから所定の条件を満たす第二の画像に添付された付加情報を抽出し、抽出された付加情報を通信端末に出力する。

本発明の一実施形態に係るプログラムは、上記記載の情報提供方法を、コンピュータに実行させるためのプログラムである。

本発明の一実施形態によれば、対象物を一単位として付加情報を添付することなく、対象物を含む画像データに対して付加情報を添付して表示させる技術を提供することができる。

本発明の一実施形態に係る情報提供システムの概要を示す図である。 画像ＤＢに格納される画像テーブルを説明する図である。 本発明の一実施形態に係る情報提供サーバのソフトウェア構成を説明する図である。 本発明の一実施形態に係る情報提供方法を説明する図である。 通信端末でアプリケーションプログラムを実行したときの表示画面を表す図である。 本発明の一実施形態に係る情報提供方法を説明するフローチャートである。 通信端末でアプリケーションプログラムを実行したときの表示画面を表す図である。 本発明の一実施形態に係る情報提供サーバのソフトウェア構成を説明する図である。 本発明の一実施形態に係る情報提供方法を説明する図である。 通信端末でアプリケーションプログラムを実行したときの表示画面を表す図である。 本発明の一実施形態に係る情報提供方法を説明する図である。 本発明の一実施形態に係る情報提供方法を説明する図である。

（第１実施形態）
本実施形態では、本発明の一実施形態に係る情報提供システム１０００によって、通信端末２０のカメラによって取得した画像に対して、対象物を含む画像データに関するコメントを提供する方法について、図１乃至図７を参照して説明する。

［情報提供システムの概要］
図１は、本発明の一実施形態に係る情報提供システム１０００を説明する図である。図１に、情報提供サーバ１０及び複数の通信端末２０を示す。情報提供サーバ１０と、複数の通信端末２０は、互いにインターネット等のネットワーク３０を介して接続されている。本実施形態では、通信端末２０は、スマートフォンを例として説明する。なお、通信端末２０は、タブレット型端末、携帯ゲーム等の携帯端末であってもよい。

情報提供サーバ１０は、通信端末２０にアプリケーションプログラムを提供し、アプリケーションプログラムを実行する通信端末２０に対して各種のサービスを提供する。このアプリケーションプログラムは、情報提供サーバ１０が接続可能な記録媒体（記憶装置）に記録されている。各種サービスには、以下に説明する情報提供が含まれる。なお、各種のサービスには、例えば、ＳＮＳ（ソーシャルネットワーキングサービス）が含まれていてもよい。なお、情報提供サーバ１０は、図１においては１つの装置として記載しているが、複数の装置で構成されていてもよい。

通信端末２０は、情報提供サーバ１０からサービスの提供を受けるためのアプリケーションプログラムがインストールされる。このプログラムによれば、ユーザが通信端末２０のカメラによって、ディスプレイに目の前の景色を映し出して、対象物を含む画像に対してコメントを入力することで、ディスプレイに表示された対象物を含む画像に対するコメントを情報提供サーバ１０に登録することができる。そして、他のユーザが通信端末２０のカメラによって、当該対象物をディスプレイに映し出すと、対象物を含む画像を画像データとして情報提供サーバ１０に送信される。情報提供サーバ１０では、受信した画像データと登録されている画像データとをマッチングさせて、一致率が高い画像データに含まれるコメントを取得して、他のユーザの通信端末２０のディスプレイに表示された対象物とともにコメントを表示させることができる。コメントは、他のユーザの通信端末２０のディスプレイに表示された対象物に重畳して表示されてもよいし、対象物が表示された領域とは異なる領域に表示されてもよい。なお、対象物とは、例えば、建物、タワー、アトラクション、シンボルなどに限定されず、山や海などを含む風景であってもよい。

本実施形態では、ＡＲの方式として、ビジョンベースＡＲを使用する。ビジョンベースＡＲでは、通信端末２０のディスプレイに表示された対象物を含む画像データを判定し、付加情報を付加している。ビジョンベースＡＲでは、例えば、画像から対象物の３次元位置を検出するとともに、所定の対象物に対応する付加情報を、当該３次元位置に応じて表示部２０３に表示する。特定の物体としてマーカーを認識する場合には、マーカー型ビジョンベースＡＲと称され、特定の物体として、マーカー以外の物体を認識する場合には、マーカーレス型ビジョンベースＡＲと称される。本実施形態では、マーカーレス型のビジョンベースＡＲを使用する場合について説明するが、マーカー型ビジョンベースＡＲを使用してもよい。また、ＡＲの方式として、ビジョンベースＡＲとロケーションベースＡＲとを併用してもよい。

［通信端末のハードウェア構成］
まず、通信端末２０のハードウェア構成について説明する。通信端末２０は、通信部２０１、画像撮像部２０２、表示部２０３、操作部２０４、記憶部２０５、検出部２０６、位置情報取得部２０７、及び制御部２０８を有する。

通信部２０１は、例えば、インターネット等のネットワーク３０を介して情報提供サーバ１０とデータの送受信が可能な状態で接続されている。通信部２０１は、情報提供サーバ１０に、画像を送信すると、情報提供サーバ１０から対象物を含む画像データに関する付加情報を取得する。また、通信部２０１から情報提供サーバ１０に、画像とともに付加情報を送信する。ここで、付加情報とは、テキストによるコメントや、音声、又は別途撮影された画像であってもよい。また、情報提供サーバ１０に送信する画像は、静止画であってもよいし、動画であってもよい。

画像撮像部２０２は、例えば、ＣＣＤセンサまたはＣＭＯＳセンサを含むカメラであって、カメラの撮像範囲における画像を、制御部２０８の制御に基づいて表示部２０３に出力する。カメラによって画像を取得して記憶部２０５に格納してもよいし、カメラの撮像範囲における画像を、通信部２０１から一定のフレームレートで順次、情報提供サーバ１０に送信してもよい。

表示部２０３は、液晶ディスプレイ、有機ＥＬディスプレイなどの表示装置であって、制御部２０８の制御に基づいて表示領域に各種の画面を表示する。画像撮像部２０２と表示部２０３は、通信端末２０の筐体を介して互いに反対側に配置されている。これにより、表示部２０３は、画像撮像部２０２によって取得した画像、又はカメラの撮像範囲における画像に、情報提供サーバ１０から取得した付加情報を重畳させた合成画像を表示させることができる。

操作部２０４は、この例ではタッチセンサを含み、ユーザが操作した位置に対応した情報を制御部２０８に出力する。このタッチセンサは、表示部２０３の表示領域上に設けられている。すなわち、表示部２０３と操作部２０４とでタッチパネルが構成されている。

検出部２０６は、画像撮像部２０２で画像を取得する際の通信端末２０の周囲環境に関する情報を検知して取得するセンサである。例えば、加速度センサ、ジャイロセンサ、気圧センサ、地磁気センサ、近接センサ、照度センサ、深度センサ、及び温度センサ等のセンサを少なくとも一つ有する。

位置情報取得部２０７は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機であって、ＧＰＳの測位衛星からの無線信号を受信する。

記憶部２０５は記憶装置を含み、情報提供サーバ１０からネットワーク３０経由でダウンロードしてインストールされたアプリケーションプログラムを記憶する。また、記憶部２０５には、アプリケーションプログラムが実行されるときに用いられる各種データについても記憶される。記憶部２０５は制御部２０８の制御により、情報を書き込んだり、読み出したりすることができる。なお、このアプリケーションプログラムは、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記録した状態で提供されてもよい。また、記憶部２０５には、情報提供サーバ１０に付加情報を登録するための画像が記憶されてもよい。また、画像を取得する際の通信端末２０の周囲環境に関する情報を検知して取得した情報が記憶されてもよい。

制御部２０８は、中央演算処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、画像処理装置（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、当該ＣＰＵ及びＧＰＵに接続されたレジスタやメモリなどの記憶装置を含む。制御部２０８は、記憶部２０５に記憶された、アプリケーションプログラムを、ＣＰＵ、ＧＰＵにより実行して、各機能を通信端末２０において実行させる。

［情報提供サーバ１０のハードウェア構成］
次に、情報提供サーバ１０のハードウェア構成について説明する。情報提供サーバ１０は、通信部１０１、記憶部１０２、および制御部１０３を含む。また、情報提供サーバ１０は、画像データベース（以下、画像ＤＢ１１１と記載する）及びユーザデータベース（以下、ユーザＤＢ１１２と記載する）と接続されている。

通信部１０１は、通信モジュールを含み、制御部１０３の制御によりネットワーク３０と接続して、ネットワーク３０に接続された通信端末２０とデータの送受信を行う。本実施形態では、通信部１０１は、さらに画像ＤＢ１１１及びユーザＤＢ１１２とも接続してデータの送受信を行う。具体的には、通信端末２０から画像及び付加情報を含む画像データを受信し、受信した画像データに含まれる対象物に対応する付加情報を送信する。

画像ＤＢ１１１は、情報提供サーバ１０が提供するサービスに関する画像データが登録されている。本明細書等において、画像データとは、画像を少なくとも含み、画像及び付加情報であってもよいし、画像及び付帯情報であってもよい。また、画像データとは、画像、付加情報、及び付帯情報であってもよい。画像とは、通信端末２０などによって取得された写真や動画であり、付加情報とは、画像に添付されたコメント、画像、音声などである。また、付帯情報とは、画像が取得された日時、画像の投稿日時、位置情報の他、ジャイロセンサ、温度センサ、照度センサなどの検出部２０６によって取得されたセンサ情報である。また、ユーザＤＢ１１２は、ユーザ名、ユーザＩＤ、及びパスワード等のユーザ情報が登録されている。なお、通信部１０１は、ネットワーク３０を介して画像ＤＢ１１１及びユーザＤＢ１１２に接続してもよい。また、画像ＤＢ１１１及びユーザＤＢ１１２に登録されたデータは、記憶部１０２に記憶されていてもよい。この場合には、画像ＤＢ１１１及びユーザＤＢ１１２は存在しなくてもよい。

記憶部１０２は記憶装置を含み、制御プログラムを記憶する。また、記憶部１０２には、制御プログラムが実行されるときに用いられる各種データについても記憶される。なお、制御プログラムは、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記録した状態で提供されてもよい。この場合には、情報提供サーバ１０は、記録媒体を接続するためのインターフェイスを含んでいればよい。ここで、記憶媒体とは、情報提供サーバ１０に含まれる記憶部１０２とは別の媒体として規定されてもよいし、記憶部１０２に用いられる媒体であってもよい。

制御部１０３は、ＣＰＵ、ＧＰＵ、当該ＣＰＵ及びＧＰＵに接続されたレジスタやメモリなどの記憶装置を含む。制御部１０３は、メモリに一時的に記憶されたプログラムをＣＰＵ及びＧＰＵによって実行し、通信端末２０からの各種要請信号に応じて演算処理を行い、通信端末２０にデータを提供する。

［データベース］
次に、画像ＤＢ１１１及びユーザＤＢ１１２について説明する。

画像ＤＢ１１１には、情報提供サーバ１０が提供するサービスに関するデータ、すなわち、画像及び付加情報を含む画像データが複数格納された画像テーブル１１３を有する。図２は、画像ＤＢ１１１が有する画像テーブル１１３を説明する図である。画像テーブル１１３のレコードには、例えば、画像ＩＤ、画像、投稿日時、コメント、添付画像、撮影日時、及び位置情報（緯度及び経度など）の他に、各種センサ情報が格納される。画像ＩＤは、情報提供サーバ１０が画像を取得した順に付与される。画像テーブル１１３において、画像は、情報提供サーバ１０で取得した画像である。投稿日時は、情報提供サーバ１０が画像を取得した日時である。コメントは、画像に添付されたテキストである。添付画像は、取得した画像に添付された別の画像（過去に撮影された画像）であってもよい。ここで、添付画像とは、静止画に限定されず、ユーザが撮影した動画であってもよいし、動画サイトによって提供される動画であってもよい。動画サイトに提供される動画の場合、動画のＵＲＬが格納されてもよい。撮影日時は、画像が撮影された日時である。位置情報は、画像が撮影された位置を示し、ＧＰＳによって取得された位置である。各種センサ情報は、画像が取得された際の通信端末２０の周囲環境に関する情報を検知して取得した情報である。図２では、センサ情報として、例えば加速度センサの情報を図示している。センサ情報として、その他、照度センサの情報、湿度センサの情報、気圧センサの情報等が挙げられる。

ユーザＤＢ１１２には、ユーザＩＤ、パスワード等などのユーザ情報が格納されている。ユーザＩＤと画像テーブル１１３に格納された画像ＩＤとは、関連付けられていてもよい。また、ユーザと関係する他のユーザがユーザＩＤによって関連付けられていてもよい。

［情報提供サーバのソフトウェア構成］
図３は、情報提供サーバ１０のソフトウェア構成を説明する図である。情報提供サーバ１０は、画像取得部２２１、判定部２２２、解析部２２３、画像抽出部２２４、出力部２２５、及び記録部１１０を含む。

画像取得部２２１は、通信端末２０から画像データを取得する。通信端末２０から一定のフレームレートで画像データを取得する場合には、フレーム毎に順次画像データを取得する。画像データにコメント等の付加情報が含まれていない場合は、画像取得部２２１は画像を取得する。また、画像データにコメント等の付加情報が含まれている場合には、画像取得部２２１は画像及び付加情報を取得する。また、画像データに、画像を撮影したときの各センサ情報などの付帯情報が含まれている場合には、画像取得部２２１は、画像、付加情報、及び付帯情報を取得する。また、画像データには、ユーザ情報が含まれていてもよい。

判定部２２２は、通信端末２０から取得した画像データに付加情報が含まれているか否かを判定する。画像データに付加情報が含まれているか否かの判定は、例えば、画像に添付された入力信号又はフラグで判定する。判定部２２２が当該入力信号又はフラグによって画像データに付加情報が含まれていると判定する場合には、当該画像データを画像ＤＢ１１１に格納する。また、判定部２２２が画像データに付加情報が含まれていないと判定する場合には、画像を解析部２２３に送信する。

解析部２２３は、通信端末２０から取得した画像に対して画像解析処理を実行する。通信端末２０から一定のフレームレートで画像データを取得する場合には、フレーム毎に画像データに対して画像解析処理を実行する。解析部２２３で使用する画像解析処理方法は特に限定されない。解析部２２３は、例えば、画像に含まれる対象物の外観の輪郭を検出し、対象物の外観の輪郭を解析することにより特徴点を抽出する画像解析機能を有する。特徴点とは、対象物が同一の対象物であるか、異なる対象物であるかを識別するための対象物の特徴的な情報をいう。例えば、対象物が建物である場合には、建物の形状や色などの情報が特徴点として抽出される。同じ対象物３１０を含む画像であっても、アングルや画角が変わることで画像の特徴点が変化するので、異なる画像であると判定される。

記録部１１０は、通信端末２０から取得した画像データを画像ＤＢ１１１の画像テーブル１１３に格納する。画像テーブル１１３に画像データを格納した後、解析部２２３により画像解析を実行してもよい。記録部１１０は、解析部２２３によって画像から特徴点を抽出した後、画像ＤＢ１１１に画像の特徴点を格納してもよい。または、記録部１１０は、画像ＤＢ１１１に画像データを格納した後、所定の期間毎に解析部２２３により蓄積された画像に画像解析を実行してもよい。記録部１１０は、蓄積された画像各々の特徴点を抽出した後、画像ＤＢ１１１に蓄積された画像各々の画像の特徴点を格納してもよい。

画像抽出部２２４は、画像ＤＢ１１１に格納された画像データから、解析部２２３で解析された画像に対応する候補の画像データを抽出する。具体的には、画像抽出部２２４は、画像ＤＢ１１１に格納された画像データから、解析部２２３で特徴点等を基に解析された結果に基づき、一致率が閾値以上の画像データを抽出する。候補の画像データは、一致率が高い順に整列されてもよい。候補の画像データが複数抽出された場合には、上位の画像データから複数選択してもよい。画像の一致率の閾値は特に限定されず、例えば、７０％〜１００％の間で適宜決定することができる。

出力部２２５は、画像抽出部２２４によって抽出された候補の画像データから付加情報を抽出する。出力部２２５は、抽出された付加情報を通信端末２０の表示部２０３に出力する。このとき、出力部２２５は、候補の画像データのうち一致率が高い順に付加情報を通信端末２０に出力してもよい。出力部２２５は、表示部２０３に視界情報として表示された画像の一部の領域に付加情報を出力してもよい。または、出力部２２５は、表示部２０３の視界情報として表示された画像中に所定の座標を指定して、付加情報を関連付けて出力してもよい。

［情報提供方法］
次に、本発明の一実施形態に係る情報提供システム１０００の動作について、図４乃至図７を参照して説明する。情報提供サーバ１０が通信端末２０に提供するアプリケーションプログラムは、以下に説明する情報提供方法を実行させる。

まず、情報提供サーバ１０から通信端末２０に対象物を含む画像に対応する付加情報を提供する方法について説明する。図４は、情報提供サーバ１０から通信端末２０に対象物を含む画像に対応する付加情報を提供する方法について説明する図である。また、図５は、通信端末２０がアプリケーションプログラムを実行したときの表示画面を表す図である。

まず、ユーザの通信端末２０のアプリケーションプログラムを実行すると、画像撮像部２０２が起動して（ステップＳ４０１）、表示部２０３に目の前の景色（以下、視界情報と記載する）を表示する（ステップＳ４０２）。図５（Ａ）は、通信端末２０の表示部２０３に視界情報が表示された画面３００の一例を示す。アプリケーションプログラムを実行すると、表示部２０３にテキストを入力するための入力欄３１１及び投稿ボタン３１２などのユーザインタフェースが表示される。また、表示部２０３には、視界情報として対象物３１０を含む画像が表示される。入力欄３１１に入力するテキストは、例えば、表示部２０３に表示された仮想のキーボードによって入力される。または、通信端末２０においてマイクを起動して、ユーザによる音声を制御部２０８によってテキストに変換したものを入力欄３１１に入力してもよい。

そして、表示部２０３に視界情報として表示された画像を含む画像データとして、一定のフレームレートで情報提供サーバ１０に順次送信する（ステップＳ４０３）。画像取得部２２１は、通信端末２０から送信される画像データを一定のフレームレートで順次取得する（ステップＳ４０４）。

判定部２２２は、取得した画像データに対して順次、付加情報が含まれているか否かを判定する（ステップＳ４０５）。判定部２２２は、画像データに付加情報が含まれていないと判定する場合には、当該画像データを解析部２２３に送信する。解析部２２３は画像データを取得すると、画像データに含まれる画像を解析する（ステップＳ４０６）。解析部２２３は、対象物３１０を含む画像の特徴点等を抽出する。その後、解析部２２３は、画像ＤＢ１１１に格納されている画像データを全て取得して、例えば、画像ＤＢ１１１に格納された各画像の特徴点と、対象物３１０を含む画像の特徴点とに基づいて画像をマッチングする。これにより、対象物３１０を含む画像と、画像ＤＢ１１１に格納された各画像との一致率を算出する（ステップＳ４０７）。または、解析部２２３は、画像ＤＢ１１１に格納されている画像データを参照して、画像ＤＢ１１１に格納された各画像と、対象物３１０を含む画像とをマッチングしてもよい。これにより、対象物３１０を含む画像と、画像ＤＢ１１１に格納された各画像との一致率を算出してもよい。

画像抽出部２２４は、対象物３１０を含む画像と、画像ＤＢ１１１に格納された各画像との一致率の算出の結果、画像ＤＢ１１１から一致率が閾値以上の画像データを抽出する（ステップＳ４０８）。これにより、画像ＤＢから、対象物３１０を含む画像に対応する画像データの候補を抽出することができる。出力部２２５は、画像抽出部２２４によって抽出された候補の画像データから付加情報を抽出する。そして、出力部２２５は、画像取得部２２１で取得された対象物３１０を含む画像と付加情報とを関連付ける（ステップＳ４０９）。次に、出力部２２５は、所定の座標と、対象物を含む画像に関連付けられた付加情報を通信端末２０に送信する（ステップＳ４１０）。これにより、通信端末２０では、表示部２０３に表示された視界情報とともに、対象物を含む画像に関する付加情報を表示することができる（ステップＳ４１１）。図５（Ｂ）では、通信端末２０の表示部２０３表示された対象物３１０を含む画像に付加情報が追加された画面３００Ａの一例を示す。情報提供サーバ１０から付加情報が通信端末２０に送信されると、通信端末２０の表示部２０３に表示された対象物３１０の近傍の付加情報表示領域３１３に付加情報を表示させることができる。候補の画像データに含まれる付加情報は、例えば、画像の一致率が高い順に、通信端末２０の表示部２０３に表示される。

次に、通信端末２０から対象物を含む画像に対する付加情報を情報提供サーバ１０に登録する方法について説明する。図６は、通信端末２０から対象物を含む画像に対する付加情報を情報提供サーバ１０に登録する方法について説明するフローチャートである。また、図７は、通信端末２０がアプリケーションプログラムを実行したときの表示画面を表す図である。情報提供サーバ１０が通信端末２０に提供するアプリケーションプログラムは、以下に説明する情報提供方法を実行させる。

まず、ユーザの通信端末２０のアプリケーションプログラムを実行すると、画像撮像部２０２が起動して（ステップＳ４０１）、表示部２０３に視界情報を表示する（ステップＳ４０２）。ステップＳ４０２において、通信端末２０の表示部２０３に視界情報が表示された画面の一例は、図５（Ａ）と同様である。

そして、表示部２０３に視界情報として表示された対象物３１０を含む画像に付加情報を添付する（ステップＳ４２１）。図７（Ａ）は、通信端末２０の表示部２０３に視界情報が表示された画面３００Ｂの一例を示す。表示部２０３に表示された入力欄３１１にコメントが入力され、投稿ボタン３１２が選択されると、コメントが付加情報として決定される。投稿ボタン３１２が選択されることで、画像データには付加情報が添付されたことを示す入力信号又はフラグが含まれる。また、添付ボタン３１４を選択することで、音声、画像、動画、動画サイトから提供される動画のＵＲＬを付加情報として画像データに含めてもよい。そして、対象物３１０を含む画像、付加情報及び入力信号を画像データとして情報提供サーバ１０に送信する（ステップＳ４２２）。ステップＳ４２２においては、入力信号を用いて画像データに付加情報が添付されていることを示している。

情報提供サーバ１０は、画像取得部２２１において、通信端末２０から付加情報及び入力信号を含む画像データを取得する（ステップＳ４２３）。判定部２２２は、取得した画像データに対して、付加情報が含まれているか否かを判定する（ステップＳ４０５）。判定部２２２は、画像データに入力信号が含まれることで、付加情報が含まれていると判定する（ステップＳ４０５）。その後、画像ＤＢ１１１は、画像データを画像テーブル１１３に格納する（ステップＳ４２４）。画像取得部２２１において、画像データに含まれる画像を、解析部２２３によって解析をする。このとき、記録部１１０は、解析部２２３によって画像から特徴点を抽出した後、画像ＤＢ１１１の画像テーブル１１３に画像の特徴点を格納してもよい。または、記録部１１０が画像ＤＢ１１１に画像データを格納した後所定の期間毎に解析部２２３により蓄積された画像に画像解析を実行してもよい。解析部２２３が蓄積された画像各々の特徴点を抽出した後、記録部１１０は、画像ＤＢ１１１に蓄積された画像各々の画像の特徴点を格納してもよい。

本実施形態で説明したように、通信端末２０から、一定のフレームレートで画像データが情報提供サーバ１０に送信される場合には、フレーム毎に図４に示す情報提供処理を実行する。したがって、通信端末２０の表示部２０３に表示される視界情報が変化すれば、画像データも変化する。情報提供サーバ１０は、通信端末２０の表示部２０３に、変化する画像データ毎に付加情報を提供することができる。つまり、通信端末２０の表示部２０３に視界情報を表示させたまま付加情報を入力した場合、通信端末２０から一定のフレームレートで情報提供サーバ１０に対して画像データが連続的に送信されるため、付加情報の入力が完了した時点で情報提供サーバ１０が取得した画像データを基に、対象物の外観に対して、付加情報を添付することができる。これにより、付加情報を添付する際には、例えば視界情報を一度写真に撮影して、改めてその写真データに対して付加情報を添付するといった二段階の操作は必要なく、カメラがとらえた視界情報が表示部２０３に表示された状態のまま付加情報を直接入力できる。また、視界情報に添付された付加情報を確認する際も、表示部２０３に表示されている視界情報を画像データとして一定のフレームレートで通信端末２０から情報提供サーバ１０に連続的に送信している。情報提供サーバ１０では、各フレームの画像データごとに画像ＤＢ１１１と照合して、画像ＤＢ１１１に保存されている画像の中から一定類似度の画像に添付されたコメント等の付加情報をほぼ時差なく通信端末２０に返すことができる。そのため、例えば通信端末２０を移動させながら表示部２０３に表示される視界情報に添付された付加情報を確認したい場合、情報提供サーバ１０は、通信端末２０の移動に合わせて変化していく動的視界情報におけるある一時点の静的画像データについての付加情報を一定のフレームレートで通信端末２０に連続的に表示させることができる。その結果、変化して表示される動的視界情報に連動するように、付加情報も動的に表示することができる。また、他のユーザの通信端末２０から画像に含まれる対象物の外観に対する付加情報を情報提供サーバ１０に登録した場合、他のユーザが登録した付加情報をユーザの通信端末２０にリアルタイムで表示させることができる（図７（Ｂ）の画面３００Ｃ参照）。これにより、ユーザは、他のユーザが当該対象物の外観を撮影したときや、コメントを投稿したときの状況等の情報を共有することができる。

従来では、対象物に添付されたデジタル情報は、位置情報に関連付けられている。そのため、通信端末のカメラの撮像範囲における対象物を一単位として、各対象物に対してデジタル情報を合成表示していた。そのため、添付されたデジタル情報を確認する際、当該対象物に過去添付されたデジタル情報が全て表示されるという問題がある。

本発明の一実施形態に係る情報提供サーバ１０によれば、対象物に対して付加情報を添付するのではなく、対象物を含む画像データに対して付加情報を添付する。同一の対象物でも角度や時間帯といった撮影状況が変われば、撮影される画像データは異なる構図や色合いになるため、一つの対象物から発生する複数の画像データそれぞれに付加情報を添付することができる。従って撮影時の撮影状況に近い状況下で添付された付加情報にしぼって表示させることができるため、表示する付加情報を所望のものに限定することが可能である。

（第２実施形態）
本実施形態では、第１実施形態に係る情報提供方法とは一部異なる情報提供方法について、図８乃至図１０を参照して説明する。本実施形態では、通信端末２０に提供する付加情報の候補を、付帯情報を用いてさらに限定する方法について説明する。

［情報提供サーバのソフトウェア構成］
図８は、情報提供サーバ１０のソフトウェア構成を説明する図である。情報提供サーバ１０は、画像取得部２２１、判定部２２２、解析部２２３、画像抽出部２２４、出力部２２５、及び記録部１１０に加えて、付帯情報抽出部２２６を有する。なお、以降の説明において、第１実施形態と同様の機能ブロック、及びその処理と同様の箇所については、詳細な説明を省略する。

付帯情報抽出部２２６は、画像抽出部２２４における処理の後、出力部２２５における処理の前に設けられる。付帯情報抽出部２２６は、画像抽出部２２４によって抽出された候補の画像データから、画像取得部２２１で取得した画像データに含まれる付帯情報との一致率が閾値以上の画像データを抽出する。付帯情報は、例えば、検出部２０６によって取得されたセンサ情報である。付帯情報は、具体的には、加速度センサやジャイロセンサによって検出された画角情報、温度センサによって検出された温度、照度センサによって検出された照度などを含む。また、付帯情報は、センサ情報に限定されず、例えば、天気、画像、コメント等を取得した日時であってもよい。また、付帯情報は、通信端末２０が画像を取得したときの位置情報であってもよい。似たような外観の対象物を含む画像であったとしても、画像取得部２２１で取得した画像データにより近い位置情報の画像データを抽出することができる。画像データを抽出するための付帯情報は、一種類であってもよいし、複数種であってもよい。センサ情報が多いほど、ユーザの通信端末２０の周囲環境により近い状況で付加情報を抽出することができる。

［情報提供方法］
次に、本実施形態に係る情報提供システム１０００の動作について、図９乃至図１１を参照して説明する。情報提供サーバ１０が通信端末２０に提供するアプリケーションプログラムは、以下に説明する情報提供方法を実行させる。

まず、情報提供サーバ１０から通信端末２０に対象物を含む画像に対応する付加情報を提供する方法について説明する。図９は、情報提供サーバ１０から通信端末２０に対象物を含む画像に対応する付加情報を提供する方法について説明する図である。また、図１０は、通信端末２０がアプリケーションプログラムを実行したときの表示画面を表す図である。

図９は、情報提供サーバ１０から通信端末２０に対象物を含む画像に対応する付加情報を提供する方法について説明する図である。図９に示すステップＳ４０１及びステップＳ４０２に係る処理は、図４に示すステップＳ４０１及びステップＳ４０２に係る処理と同様であるため詳細な説明は省略する。

通信端末２０の表示部２０３に視界情報として表示された画像を含む画像データとして、一定のフレームレートで情報提供サーバ１０に順次送信する（ステップＳ４０３）。このとき、画像データには、通信端末２０の周囲環境の情報を取得したセンサ情報（付帯情報）も含まれている。例えば、付帯情報には、ジャイロセンサによって取得された画角情報、照度センサによって取得された照度なども含まれる。また、付帯情報には、ＧＰＳで取得した位置情報も含まれていてもよい。画像取得部２２１は、通信端末２０から送信される付帯情報を含む画像データを一定のフレームレートで順次取得する（ステップＳ４０４）。

判定部２２２は、取得した付帯情報を含む画像データに対して順次、付加情報が含まれているか否かを判定する（ステップＳ４０５）。画像データに付加情報が含まれていないと判定する場合には、当該画像データを解析部２２３に送信する。解析部２２３は画像データを取得すると、画像データに含まれる画像を解析する（ステップＳ４０６）。解析部２２３は、対象物３１０を含む画像の特徴点を抽出する。その後、解析部２２３は、画像ＤＢ１１１に格納されている画像データを全て取得して、画像ＤＢ１１１に格納された画像の特徴点と、対象物３１０を含む画像の特徴点とをそれぞれマッチングする。これにより、対象物３１０を含む画像の特徴点と、画像ＤＢ１１１に格納された画像の特徴点との一致率を算出する（ステップＳ４０７）。または、解析部２２３は、画像ＤＢ１１１に格納されている画像データを参照して、画像ＤＢ１１１に格納された画像の特徴点と、対象物３１０を含む画像の特徴点とをそれぞれマッチングしてもよい。これにより、対象物を含む画像の特徴点と、画像ＤＢ１１１に格納された画像の特徴点との一致率を算出してもよい。その後、画像抽出部２２４は、対象物３１０を含む画像の特徴点と、画像ＤＢ１１１に格納された各画像の特徴点との一致率の算出の結果、画像ＤＢ１１１から一致率が閾値以上の画像データを抽出する（ステップＳ４０８）。

次に、付帯情報抽出部２２６は、画像抽出部２２４によって抽出された画像データに含まれる付帯情報から一致率が閾値以上の画像データを抽出する（ステップＳ４３２）。付帯情報抽出部２２６は、画像抽出部２２４によって抽出された画像データに含まれる付帯情報と、画像取得部２２１で取得した付帯情報とをそれぞれマッチングする。これにより、付帯情報抽出部２２６は、付帯情報の一致率を算出する。付帯情報抽出部２２６は、取得した画像データに含まれる付帯情報、例えば、ジャイロセンサ、照度センサ等の一致率をそれぞれ算出する。付帯情報の一致率の閾値は特に限定されず、例えば、７０％〜１００％の間で適宜決定することができる。これにより、さらに候補の画像データを抽出することができる。

出力部２２５は、付帯情報抽出部２２６によって抽出された候補の画像データから付加情報を抽出する。そして、出力部２２５は、画像取得部２２１で取得された対象物を含む画像と付帯情報とを関連付ける（ステップＳ４０９）。次に、出力部２２５は、付加情報を通信端末２０に送信する（ステップＳ４１０）。これにより、通信端末２０では、表示部２０３に表示された視界情報ととともに、対象物を含む画像に関する付加情報を表示することができる（ステップＳ４１１）。

図１０（Ａ）は、通信端末２０の表示部２０３に視界情報が表示された画面３００Ｄの一例を示す。図１０（Ａ）では、対象物３１０の近くの場所で、対象物３１０を見上げるように対象物３１０を通信端末２０の画角に収めている。画面３００Ｄでは、対象物３１０の近傍で付加情報として、「真下から見るとすごく大きい！」というコメントが表示される。これに対し、図５（Ｂ）では、対象物３１０から離れた場所から、対象物３１０の全体を通信端末２０の画角に収めている。画面３００Ａでは、対象物３１０の近傍で付加情報として、「初めて来たけどいい感じ」等のコメントが表示される。

このように、情報提供サーバ１０では、同じ対象物３１０を含む画像であっても、アングルや画角が変わることで画像の特徴点が変化するので、異なる画像であると判定される。そのため、情報提供サーバ１０では、同じ対象物３１０であっても、アングルや画角が変わることで、通信端末２０に異なるコメントを提供することができる。

対象物３１０に対する画角が変化するということは、対象物３１０を含む画像の撮影時の付帯情報が変化するということである。例えば、対象物３１０を含む画像の撮影時のユーザの姿勢（通信端末２０の姿勢）が変化すると、通信端末２０の姿勢によってジャイロセンサのジャイロ値が変化する。情報提供サーバ１０では、対象物３１０を含む画像の一致率に加えて、ジャイロ値などの付帯情報の一致率を利用して、画像ＤＢ１１１に格納された画像データの中から、通信端末２０に提供する付加情報を絞り込むことができる。このように、ジャイロ値などの付帯情報の一致率を利用することで、画像の一致率だけを利用する場合よりも、さらに精度の高い付加情報を提供することができる。また、付帯情報としてジャイロ値を利用する場合、図１０（Ａ）に示す付加情報表示領域３１３に提供されたコメントを見たユーザは、当該コメントを情報提供サーバ１０に登録した他のユーザと同じ体勢ということである。このように、他のユーザと同じ対象物３１０を表示させて、さらに通信端末２０が同じ体勢であるときにしか出現しないコメントによって、ユーザと他のユーザとの両者の距離感を縮めることができる。

図１０（Ｂ）は、通信端末２０の表示部２０３に視界情報が表示された画面３００Ｅの一例を示す。図１０（Ｂ）に示す対象物３１０は、図１０（Ａ）に示す対象物３１０とは、画角が同じであるが、撮影された時間や照度が異なっている。つまり、図１０（Ａ）では、対象物３１０を昼間に撮影したものであるのに対し、図１０（Ｂ）では、対象物３１０を夜間に撮影したものである。情報提供サーバ１０では、画像の一致率、ジャイロ値の一致率だけでなく、対象物３１０を含む画像が撮影された時間や、照度等の一致率を利用して、画像ＤＢ１１１に格納された画像データの中から通信端末２０に提供する付加情報を絞り込むことができる。このように、画像の一致率だけでなく、複数の付帯情報の一致率を利用することで、さらに精度の高い付加情報を提供することができる。また、付帯情報として、画像が撮影された時間や、照度等の一致率を利用する場合、図１０（Ｂ）に示す付帯情報表示領域３１３に提供されたコメントを見たユーザは、当該コメントを情報提供サーバ１０に登録した他のユーザと撮影環境が同じということである。このように、他のユーザと同じ対象物３１０を見て、さらに、同じ撮影環境であるときにしか出現しないコメントによって、ユーザと他のユーザとの両者の距離感を縮めることができる。

なお、本実施形態において、通信端末２０から対象物を含む画像に対する付加情報を情報提供サーバ１０に登録する場合は、図６に示すフローチャートを参照すればよい。ステップＳ４２２において、画像データに、付加情報及び入力信号に加えて、付帯情報を含めて、情報提供サーバ１０に送信する。情報提供サーバ１０は、画像取得部２２１において、付加情報、入力信号及び付帯情報を含む画像データを取得する（ステップＳ４２３）。次に、判定部２２２において、画像データに付加情報が含まれているか否かを判定する（ステップＳ４０５）。次に、判定部２２２は、画像データに付加情報が含まれていると判定する場合には、記録部１１０が画像ＤＢ１１１の画像テーブルに、画像、付加情報、及び付帯情報を格納する（ステップＳ４２４）。

従来では、通信端末の視界情報の対象物を含む画像に付加情報を提供する場合、通信端末の周囲環境がどのような場合であっても、当該対象物を含む画像に対して同じ付加情報が提供されていた。そのため、ユーザが画像を撮影したときの雰囲気を他のユーザに共有することが困難であった。また、従来では、ＧＰＳによって取得された位置情報が同じであれば、他のユーザが付与したコメントの全てが表示されてしてしまうため、ディスプレイに膨大なデータが表示されていた。このため、ディスプレイには膨大なデータが溢れてしまい、ユーザが目的のデータを得ることが困難であった。また、ユーザの周囲環境とは異なる周囲環境のコメントが出てきて、共感しづらかった。

本発明の一実施形態に係る情報提供方法では、通信端末２０は、周囲環境を検知した付帯情報及び付加情報を含む画像データを情報提供サーバ１０に送信している。これにより、情報提供サーバ１０は、取得した画像の周囲環境により近い状況で登録された付加情報を、通信端末２０に提供することができる。したがって、ユーザが画像を撮影し付加情報を情報提供サーバ１０に登録したときの雰囲気を、他のユーザに伝えることができる。また、付帯情報によって画像データを絞り込むことができるため、不要な情報は表示されない。そのため、ユーザは、必要な付加情報だけを得ることができる。

図８においては、画像抽出部２２４によって、画像の特徴点に基づいて画像の一致率が閾値以上の候補の画像データを抽出した後、候補の画像データから付帯情報の一致率が閾値以上の画像データをさらに抽出する方法について説明したが、本発明の一実施形態はこれに限定されない。画像抽出部２２４において、画像の一致率が閾値以上の画像データの抽出と、付帯情報の一致率が閾値以上の画像データの抽出との双方を実行してもよい。

（第３実施形態）
本実施形態では、第１実施形態に係る情報提供方法とは一部異なる情報提供方法について、図１１乃至図１２を参照して説明する。本実施形態では、通信端末２０において画像を解析し、画像の解析結果を情報提供サーバ１０に送信する例について説明する。情報提供サーバ１０が通信端末２０に提供するアプリケーションプログラムは、以下に説明する情報提供方法を実行させる。

［情報提供方法］
図１１は、情報提供サーバ１０から通信端末２０に対象物を含む画像に対応する付加情報を提供する方法について説明する図である。図１１に示すステップＳ４０１及びステップＳ４０２に係る処理は、図４に示すステップＳ４０１及びステップＳ４０２に係る処理と同様であるため、詳細な説明は省略する。

通信端末２０が有する解析部（図示しない）では、一定のフレーム毎に画像の画像解析を実行する。画像解析は、解析部２２３と同様に、例えば、画像に含まれる対象物の外観の輪郭を検出し、対象物の外観の輪郭を解析することにより特徴点を抽出する。画像解析は、例えば、通信端末２０の制御部２０８によって実行される。次に、画像の解析結果を含む画像データを、情報提供サーバ１０に送信する（ステップＳ４４２）。ここで、画像データは、画像の解析結果として、画像の特徴点を含んでいる。画像データは、画像の特徴点に加えて画像自体を含んでいてもよい。

情報提供サーバ１０は、画像取得部２２１において、画像の解析結果を含む画像データを受信する（ステップＳ４４３）。判定部２２２は、画像データに含まれる入力信号によって、付加情報が含まれているか否かを判定する（ステップＳ４４３）。次に、解析部２２３は、画像ＤＢ１１１に格納されている画像データを全て取得して、画像ＤＢ１１１に格納された画像の特徴点と、取得した画像の特徴点とをそれぞれマッチングする。これにより、取得した画像の特徴点と、画像ＤＢ１１１に格納された画像の特徴点との一致率を算出する（ステップＳ４４５）。

その後、ステップＳ４０８〜ステップＳ４１１に係る処理は、図４に示すステップＳ４０８〜ステップＳ４１１に係る処理と同様であるため、詳細な説明は省略する。

図１２は、通信端末２０から対象物を含む画像に対する付加情報を情報提供サーバ１０に登録する方法について説明する図である。図１２に示すステップＳ４０１、ステップＳ４０２、及びステップＳ４２１に係る処理は、図１１に示すステップＳ４０１、ステップＳ４０２、及びステップＳ４２１に係る処理と同様であるため詳細な説明は省略する。

次に、通信端末２０において、付加情報が入力された画像に対して、画像解析を実行する（ステップＳ４４１）。画像解析は、解析部２２３と同様に、例えば、画像に含まれる対象物の外観の輪郭を検出し、対象物の外観の輪郭を解析することにより特徴点を抽出する。画像解析は、例えば、通信端末２０の制御部２０８によって実行される。次に、画像の解析結果、付加情報及び入力信号を含む画像データを、情報提供サーバ１０に送信する（ステップＳ４４６）。

情報提供サーバ１０は、画像取得部２２１において、画像の解析結果、付加情報、及び入力信号を含む画像データを受信する（ステップＳ４４７）。次に、判定部２２２は、画像データに付加情報が含まれているか否かを判定する（ステップＳ４０５）。判定部２２２は、画像データに含まれる入力信号によって、付加情報が含まれていると判定する。その後、画像ＤＢ１１１は、画像テーブル１１３に、画像の解析結果及び付加情報を格納する（ステップＳ４４８）。

（変形例）
以上、本発明の一実施形態について説明したが、上述した各実施形態は、互いに組み合わせたり、置換したりして適用することができる。また、上述した各実施形態では、以下の通り少なくとも一部を変形して実施することができる。

（１）先の実施形態において、画像にコメントを表示させる条件として、期間を設定してもよい。例えば、２０１９年Ｘ月ＸＸ日〜２０１９年Ｙ月ＹＹ日と設定することで、画像ＤＢ１１１から当該期間に格納された画像データを抽出してから、解析を行ってもよい。

（２）先の実施形態において、解析部２２３は、取得した画像の特徴点等に基づいて画像の全面に対してマッチングを実行する例について説明したが、これに限定されない。解析部２２３は、例えば、取得した画像を複数の領域に分割して、分割された領域に対してそれぞれ特徴点等を抽出して、領域ごとにマッチングをしてもよい。解析部２２３は、画像ＤＢ１１１から全ての画像を取得して、分割された領域のそれぞれについて、全ての画像において一致率が閾値以上の部分がないかを解析して、画像抽出部２２４によって、画像の候補を抽出する。

（３）先の実施形態において、通信端末２０で取得された画像を、一定のフレームレートで情報提供サーバ１０に送信している間に付加情報を添付する例について説明したが、これに限定されない。通信端末２０にて写真を取得後、当該写真に付加情報を添付して画像データを情報提供サーバ１０に登録してもよい。例えば、図１０（Ａ）及び図１０（Ｂ）に示すように、対象物３１０を見上げるように通信端末２０を傾けた状態で、入力欄３１１にテキストを入力することは困難である。そこで、通信端末２０を傾けた状態で対象物３１０を含む画像を撮影し、写真に対して付加情報を添付して画像データとして情報提供サーバ１０に送信する。これにより、対象物３１０に対して様々な角度から付加情報を登録することができる。また、情報提供サーバ１０では、同じ対象物３１０を含む画像であっても、アングルや画角が変わることで画像の特徴点が変化するので、異なる画像であると判定される。したがって、情報提供サーバ１０では、同じ対象物３１０であっても、アングルや画角が変わることで、通信端末２０に異なる付加情報を提供することができる。

（４）先の実施形態において、ユーザが、他のユーザと関連付ける設定をすることで（友達の設定）をして、ユーザＤＢ１１２に登録することで、友達が過去に登録した付加情報だけを表示させてもよい。この場合、ユーザの通信端末２０から取得した画像データを解析する際に、画像ＤＢ１１１から友達の設定がされた他のユーザに関連付けられた画像データのみを抽出して、解析する。これにより、ユーザと関連付けられた他のユーザの付加情報だけを表示することができる。

以上、本発明の一実施形態について図面を参照しながら説明したが、本発明は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、本実施形態の情報提供サーバを基にして、当業者が適宜構成要素の追加、削除もしくは設計変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。さらに、上述した各実施形態は、相互に矛盾がない限り適宜組み合わせが可能であり、各実施形態に共通する技術事項については、明示の記載がなくても各実施形態に含まれる。

上述した各実施形態の態様によりもたらされる作用効果とは異なる他の作用効果であっても、本明細書の記載から明らかなもの、又は、当業者において容易に予測し得るものについては、当然に本発明によりもたらされるものと解される。

１０：情報提供サーバ、２０：通信端末、３０：ネットワーク、１０１：通信部、１０２：記憶部、１０３：制御部、２０１：通信部、２０２：画像撮像部、２０３：表示部、２０４：操作部、２０５：記憶部、２０６：検出部、２０７：位置情報取得部、２０８：制御部、２２１：画像取得部、２２２：判定部、２２３：解析部、２２４：画像抽出部、２２５：出力部、２２６：付帯情報抽出部、３１０：対象物、３１１：入力欄、３１２：投稿ボタン、３１３：付加情報表示領域、３１４：添付ボタン、１０００：情報提供システム

Claims (11)

1. 通信端末から付加情報が添付されていない第一の画像を取得した場合に、
   前記第一の画像に対して画像解析を実行する解析部と、
   前記画像解析の結果に基づき、第二の画像及び当該第二の画像に添付された付加情報が蓄積されたデータベースから所定の条件を満たす第二の画像に添付された付加情報を抽出する抽出部と、
   抽出された前記付加情報を前記通信端末に出力する出力部と、を有し、
   前記通信端末から付加情報が添付されている第二の画像を取得した場合に、
   前記第二の画像と前記付加情報とを関連付けて前記データベースに格納する記録部を有する、情報提供サーバ。
2. 前記所定の条件とは、前記通信端末から取得した前記第一の画像と、前記データベースに格納された前記第二の画像との一致率が閾値以上である、請求項１に記載の情報提供サーバ。
3. 通信端末から付加情報が添付されていない第一の画像、及び前記第一の画像の付帯情報を取得した場合に、
   前記第一の画像に対して画像解析を実行する解析部と、
   前記画像解析の結果及び前記付帯情報に基づき、第二の画像、当該第二の画像に関連付けられた付帯情報、及び当該第二の画像に添付された付加情報が蓄積されたデータベースから所定の条件を満たす第二の画像に添付された付加情報を抽出する抽出部と、
   抽出された前記付加情報を前記通信端末に出力する出力部と、を有し、
   前記通信端末から付帯情報を含み、かつ付加情報が添付されている第二の画像を取得した場合に、
   前記第二の画像、前記付加情報、及び前記付帯情報を関連付けて前記データベースに格納する記録部する、情報提供サーバ。
4. 前記所定の条件とは、前記通信端末から取得した前記第一の画像と、前記データベースに格納された前記第二の画像との一致率が閾値以上であり、前記通信端末から取得した前記第一の画像の付帯情報と、前記データベースに格納された前記第二の画像の付帯情報との一致率が閾値以上である、請求項３に記載の情報提供サーバ。
5. 前記解析部は、
   取得した前記第一の画像を複数の領域に分割し、複数の分割画像それぞれに対して、前記画像解析を実行する、請求項１乃至４のいずれか一項に記載の情報提供サーバ。
6. 前記抽出部は、
   前記複数の分割画像のそれぞれの前記画像解析の結果に基づき、前記データベースから前記所定の条件を満たす前記第二の画像に添付された付加情報を抽出する、請求項５に記載の情報提供サーバ。
7. 通信端末から付加情報が添付されていない第一の画像を取得した場合に、
   前記第一の画像に対して画像解析を実行し、
   前記画像解析の結果に基づき、第二の画像及び当該第二の画像に添付された付加情報が蓄積されたデータベースから所定の条件を満たす第二の画像に添付された付加情報を抽出し、
   抽出された前記付加情報を前記通信端末に出力し、
   前記通信端末から付加情報が添付されている第二の画像を取得した場合に、
   前記第二の画像と前記付加情報とを関連付けて前記データベースに格納する、情報提供方法。
8. 通信端末から付加情報が添付されていない第一の画像、及び前記第一の画像の付帯情報を取得した場合に、
   前記第一の画像に対して画像解析を実行し、
   前記画像解析の結果及び前記付帯情報に基づき、第二の画像、当該第二の画像に関連付けられた付帯情報、及び当該第二の画像に添付された付加情報が蓄積されたデータベースから所定の条件を満たす第二の画像に添付された付加情報を抽出し、
   抽出された前記付加情報を前記通信端末に出力し、
   前記通信端末から付帯情報を含み、かつ付加情報が添付されている第二の画像を取得した場合に、
   前記第二の画像、前記付加情報、及び前記付帯情報を関連付けて前記データベースに格納する、情報提供方法。
9. 請求項７又は８に記載の情報提供方法を、
   コンピュータに実行させるためのプログラム。
10. 通信端末から、ユーザが付与した付加情報が添付されていない第一の画像、及び前記通信端末が第一の画像を撮影した際に検出した付帯情報を取得すると、前記第一の画像に対して画像解析を実行する解析部と、
    前記画像解析の結果及び前記付帯情報に基づき、第二の画像、当該第二の画像に関連付けられた付帯情報、及び当該第二の画像に添付されたユーザが付与した付加情報が蓄積されたデータベースから所定の条件を満たす第二の画像に添付されたユーザが付与した付加情報を抽出する抽出部と、
    抽出された前記付加情報を前記通信端末に出力する、情報提供サーバ。
11. 前記付帯情報は、加速度センサの情報、ジャイロセンサの情報、気圧センサの情報、地磁気センサの情報、近接センサの情報、照度センサの情報、深度センサの情報、温度センサの情報、及び湿度センサの情報の少なくとも一つを含むセンサ情報である、請求項１０に記載の情報提供サーバ。

Images