JP6131859B2 - 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム、通信端末およびその制御方法と制御プログラム - Google Patents

Description

本発明は、局所特徴量を使用して撮像した映像内の建造物を含む景観要素を同定するための技術に関する。

上記技術分野において、特許文献１には、建築物の複数の画像から抽出した特徴量をデータベースの特徴量と照合して、合致度を総合評価し、特定された建築物の関連情報を得る技術が記載されている。また、特許文献２には、あらかじめモデル画像から生成されたモデル辞書を使用して、クエリ画像を認識する場合に、特徴量をクラスタリングすることにより認識速度を向上させる技術が記載されている。

特開２０１０−０４５６４４号公報 特開２０１１−２２１６８８号公報

しかしながら、上記文献に記載の技術では、リアルタイムに映像中の画像内の建築物を含む景観要素を認識することができなかった。

本発明の目的は、上述の課題を解決する技術を提供することにある。

上記目的を達成するため、本発明に係るシステムは、
景観要素と、前記景観要素の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記景観要素が存在すると認識する景観要素認識手段と、
を備えることを特徴とする。

上記目的を達成するため、本発明に係る方法は、
景観要素と、前記景観要素の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理システムにおける情報処理方法であって、
撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記景観要素が存在すると認識する認識ステップと、
を備えることを特徴とする。

上記目的を達成するため、本発明に係る装置は、
撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる景観要素を認識する情報処理装置に送信する第１送信手段と、
前記情報処理装置から、撮像した前記画像に含まれる景観要素を示す情報を受信する第１受信手段と、
を備えることを特徴とする。

上記目的を達成するため、本発明に係る方法は、
撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる景観要素を認識する情報処理装置に送信する第１送信ステップと、
前記情報処理装置から、撮像した前記画像に含まれる景観要素を示す情報を受信する第１受信ステップと、
を含むことを特徴とする。

上記目的を達成するため、本発明に係るプログラムは、
撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる景観要素を認識する情報処理装置に送信する第１送信ステップと、
前記情報処理装置から、撮像した前記画像に含まれる景観要素を示す情報を受信する第１受信ステップと、
をコンピュータに実行させることを特徴とする。

上記目的を達成するため、本発明に係る装置は、
景観要素と、前記景観要素の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記景観要素が存在すると認識する認識手段と、
認識した前記景観要素を示す情報を前記通信端末に送信する第２送信手段と、
を備えることを特徴とする。

上記目的を達成するため、本発明に係る方法は、
景観要素と、前記景観要素の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置の制御方法であって、
通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記景観要素が存在すると認識する認識ステップと、
認識した前記景観要素を示す情報を前記通信端末に送信する第２送信ステップと、
を含むことを特徴とする。

上記目的を達成するため、本発明に係るプログラムは、
景観要素と、前記景観要素の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置の制御プログラムであって、
通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記景観要素が存在すると認識する認識ステップと、
認識した前記景観要素を示す情報を前記通信端末に送信する第２送信ステップと、
をコンピュータに実行させることを特徴とする。

本発明によれば、リアルタイムに映像中の画像内の建築物を含む景観要素を認識することができる。

本発明の第１実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第２実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第２実施形態に係る情報処理システムにおける通信端末の表示画面例を示す図である。 本発明の第２実施形態に係る情報処理システムにおける関連情報報知の動作手順を示すシーケンス図である。 本発明の第２実施形態に係る情報処理システムにおけるリンク情報報知の動作手順を示すシーケンス図である。 本発明の第２実施形態に係る通信端末の機能構成を示すブロック図である。 本発明の第２実施形態に係る景観要素認識サーバの機能構成を示すブロック図である。 本発明の第２実施形態に係る局所特徴量ＤＢの構成を示す図である。 本発明の第２実施形態に係る関連情報ＤＢの構成を示す図である。 本発明の第２実施形態に係るリンク情報ＤＢの構成を示す図である。 本発明の第２実施形態に係る局所特徴量生成部の機能構成を示すブロック図である。 本発明の第２実施形態に係る局所特徴量生成の手順を説明する図である。 本発明の第２実施形態に係る局所特徴量生成の手順を説明する図である。 本発明の第２実施形態に係る局所特徴量生成部でのサブ領域の選択順位を示す図である。 本発明の第２実施形態に係る局所特徴量生成部での特徴ベクトルの選択順位を示す図である。 本発明の第２実施形態に係る局所特徴量生成部での特徴ベクトルの階層化を示す図である。 本発明の第２実施形態に係る符号化部の構成を示す図である。 本発明の第２実施形態に係る景観要素認識部の処理を示す図である。 本発明の第２実施形態に係る通信端末のハードウェア構成を示すブロック図である。 本発明の第２実施形態に係る通信端末における局所特徴量生成テーブルを示す図である。 本発明の第２実施形態に係る通信端末の処理手順を示すフローチャートである。 本発明の第２実施形態に係る局所特徴量生成処理の処理手順を示すフローチャートである。 本発明の第２実施形態に係る符号化処理の処理手順を示すフローチャートである。 本発明の第２実施形態に係る差分値の符号化処理の処理手順を示すフローチャートである。 本発明の第２実施形態に係る景観要素認識サーバのハードウェア構成を示すブロック図である。 本発明の第２実施形態に係る景観要素認識サーバの処理手順を示すフローチャートである。 本発明の第２実施形態に係る局所特徴量ＤＢ生成処理の処理手順を示すフローチャートである。 本発明の第２実施形態に係る景観要素認識処理の処理手順を示すフローチャートである。 本発明の第２実施形態に係る照合処理の処理手順を示すフローチャートである。 本発明の第３実施形態に係る情報処理システムの動作手順を示すシーケンス図である。 本発明の第４実施形態に係る情報処理システムにおける通信端末の表示画面例を示す図である。 本発明の第４実施形態に係る情報処理システムにおける通信端末の表示画面例を示す図である。 本発明の第４実施形態に係る情報処理システムにおける通信端末の表示画面例を示す図である。 本発明の第４実施形態に係る情報処理システムにおける局所特徴量ＤＢ生成の動作手順を示すシーケンス図である。 本発明の第４実施形態に係る情報処理システムにおける現在地決定および／または移動方向／動作決定の動作手順を示すシーケンス図である。 本発明の第４実施形態に係る通信端末の機能構成を示すブロック図である。 本発明の第４実施形態に係る景観要素認識サーバの機能構成を示すブロック図である。 本発明の第４実施形態に係る局所特徴量ＤＢの構成を示す図である。 本発明の第４実施形態に係る地図ＤＢの構成を示す図である。 本発明の第４実施形態に係る景観要素認識部の処理を示す図である。 本発明の第４実施形態に係る景観要素認識部の処理を示す図である。 本発明の第４実施形態に係る通信端末のハードウェア構成を示すブロック図である。 本発明の第４実施形態に係る通信端末の処理手順を示すフローチャートである。 本発明の第４実施形態に係る景観要素認識サーバのハードウェア構成を示すブロック図である。 本発明の第４実施形態に係る現在地算出テーブルの構成を示す図である。 本発明の第４実施形態に係る移動方向／速度算出テーブルの構成を示す図である。 本発明の第４実施形態に係る景観要素認識サーバの処理手順を示すフローチャートである。 本発明の第４実施形態に係る局所特徴量ＤＢ生成処理の処理手順を示すフローチャートである。 本発明の第４実施形態に係る現在地算出処理の処理手順を示すフローチャートである。 本発明の第４実施形態に係る移動方向／速度算出処理の処理手順を示すフローチャートである。 本発明の第５実施形態に係る情報処理システムにおける通信端末の表示画面例を示す図である。 本発明の第５実施形態に係る情報処理システムの動作手順を示すシーケンス図である。 本発明の第５実施形態に係るナビゲーション用局所特徴量ＤＢの構成を示す図である。 本発明の第６実施形態に係る情報処理システムにおける通信端末の表示画面例を示す図である。 本発明の第６実施形態に係る情報処理システムの動作手順を示すシーケンス図である。 本発明の第６実施形態に係る誘導制御コンピュータの処理手順を示すフローチャートである。 本発明の第７実施形態に係る情報処理システムにおける通信端末の表示画面例を示す図である。 本発明の第７実施形態に係る情報処理システムの動作手順を示すシーケンス図である。 本発明の第７実施形態に係る経路画面ＤＢの構成を示す図である。 本発明の第７実施形態に係る誘導制御コンピュータの処理手順を示すフローチャートである。 本発明の第８実施形態に係る通信端末の機能構成を示すブロック図である。

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。なお、本明細書において使用される「景観要素」との文言は、山などの自然景観を構成する景観要素と、人工景観を構成する建造物などとを含む。

［第１実施形態］
本発明の第１実施形態としての情報処理システム１００について、図１を用いて説明する。情報処理システム１００は、景観要素をリアルタイムに認識するシステムである。

図１に示すように、情報処理システム１００は、第１局所特徴量記憶部１１０と、第２局所特徴量生成部１３０と、景観要素認識部１４０と、を含む。第１局所特徴量記憶部１１０は、景観要素１１１と、景観要素１１１の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量１１２とを、対応付けて記憶する。第２局所特徴量生成部１３０は、撮像部１２０が撮像した映像中の画像１０１からｎ個の特徴点１３１を抽出する。そして、第２局所特徴量生成部１３０は、ｎ個の特徴点のそれぞれを含むｎ個の局所領域１３２について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量１３３を生成する。景観要素認識部１４０は、第１局所特徴量１１２の特徴ベクトルの次元数ｉおよび第２局所特徴量１３３の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択する。そして、景観要素認識部１４０は、選択された次元数までの特徴ベクトルからなるｎ個の第２局所特徴量１３３に、選択された次元数までの特徴ベクトルからなるｍ個の第１局所特徴量１１２の所定割合以上が対応すると判定した場合に、映像中の画像１０１に景観要素１１１が存在すると認識する。

本実施形態によれば、リアルタイムに映像中の画像内の建築物を含む景観要素を認識することができる。

［第２実施形態］
次に、本発明の第２実施形態に係る情報処理システムについて説明する。本実施形態においては、通信端末により撮像した景観の映像から生成した局所特徴量と、景観要素認識サーバの局所特徴量ＤＢに格納された局所特徴量との照合により、映像中の景観要素を認識する。そして、認識した景観要素に、その名称、関連情報、および／または、リンク情報を付加して報知する。

本実施形態によれば、リアルタイムに映像中の画像内の建築物を含む景観要素に対応付けて、その名称、関連情報、および／または、リンク情報を報知できる。

《情報処理システムの構成》
図２は、本実施形態に係る情報処理システム２００の構成を示すブロック図である。

図２の情報処理システム２００は、ネットワーク２４０を介して接続された、撮像機能を有した通信端末２１０と、通信端末２１０が撮像した景観から景観要素を認識する景観要素認識サーバ２２０と、通信端末２１０に関連情報と提供する関連情報提供サーバ２３０と、を備える。

通信端末２１０は、撮像された景観を表示部に表示する。そして、図２の表示画面２１１のように、撮像された景観に対して局所特徴量生成部で生成された局所特徴量に基づいて、景観要素認識サーバ２２０で認識した景観要素の各名称を、重畳表示する。なお、通信端末２１０は、図示のように、撮像機能を有した携帯電話や他の通信端末も含む複数の通信端末を代表するものである。

景観要素認識サーバ２２０は、景観要素と局所特徴量とを対応付けて記憶する局所特徴量ＤＢ２２１と、景観要素に対応して関連情報を記憶する関連情報ＤＢ２２２と、景観要素に対応してリンク情報を記憶するリンク情報ＤＢ２２３と、を有する。景観要素認識サーバ２２０は、通信端末２１０から受信した景観の局所特徴量から、局所特徴量ＤＢ２２１の局所特徴量との照合に基づいて認識した景観要素の名称を返信する。また、関連情報ＤＢ２２２から認識した景観要素に対応する紹介などの関連情報を検索して通信端末２１０に返信する。また、リンク情報ＤＢ２２３から認識した景観要素に対応する関連情報提供サーバ２３０へのリンク情報を検索して通信端末２１０に返信する。景観要素の名称と、景観要素に対応する関連情報と、景観要素に対するリンク情報とは、それぞれ別個に提供されても、複数が同時に提供されてもよい。

関連情報提供サーバ２３０は、景観要素に対応した関連情報を格納する関連情報ＤＢ２３１を有する。景観要素認識サーバ２２０が認識した景観要素に対応して提供されたリンク情報に基づいて、アクセスされる。そして、認識した景観要素に対応した関連情報を関連情報ＤＢ２３１から検索して、景観情報を含む景観の局所特徴量を送信した通信端末２１０に返信する。したがって、図２には、１つの関連情報提供サーバ２３０を示したが、リンク先に数だけの関連情報提供サーバ２３０が接続される。その場合には、景観要素認識サーバ２２０による適切なリンク先の選択、あるいは複数のリンク先を通信端末２１０に表示して、ユーザによる選択を行なうことになる。

なお、図２には、撮像した景観中の景観要素に名称を重畳表示する例を図示した。景観要素に対応する関連情報と、景観要素に対するリンク情報との表示については、図３に従って説明する。

（通信端末の表示画面例）
図３は、本実施形態に係る情報処理システム２００における通信端末２１０の表示画面例を示す図である。

図３の上段は、景観要素に対応する関連情報を表示する表示画面例である。図３の表示画面３１０は、撮像した景観の映像３１１と操作ボタン３１２とを含んでいる。上段左図の映像から生成した局所特徴量と、景観要素認識サーバ２２０の局所特徴量ＤＢ２２１との照合により景観要素を認識する。その結果、上段右図の表示画面３２０には、景観映像と、景観要素名称および関連情報とを重畳した映像３２１を表示する。同時に、スピーカ３２２により関連情報を音声出力してもよい。

図３の下段は、景観要素に対応するリンク情報を表示する表示画面例である。下段左図の映像から生成した局所特徴量と、景観要素認識サーバ２２０の局所特徴量ＤＢ２２１との照合により景観要素を認識する。その結果、下段右図の表示画面３３０には、景観映像と、景観要素名称およびリンク情報とを重畳した映像３３１を表示する。図示しないが、表示されたリンク情報をクリックすることにより、リンク先の関連情報提供サーバ２３０がアクセスされて、関連情報ＤＢ２３１から検索した関連情報を通信端末２１０に表示する、あるいは通信端末２１０から音声出力する。

《情報処理システムの動作手順》
以下、図４および図５を参照して、本実施形態における情報処理システム２００の動作手順を説明する。なお、図４および図５には、認識された景観要素名のみの表示例は示していないが、景観要素認識後に景観要素名を通信端末２１０に送信すればよい。また、景観要素名と、関連情報と、リンク情報との表示は、図４と図５とを組み合わせれば実現できる。

（関連情報報知の動作手順）
図４は、本実施形態に係る情報処理システム２００における関連情報報知の動作手順を示すシーケンス図である。

まず、必要であれば、ステップＳ４００において、景観要素認識サーバ２２０からから通信端末２１０にアプリケーションおよび／またはデータのダウンロードを行なう。そして、ステップＳ４０１において、本実施形態の処理を行なうための、アプリケーションの起動と初期化が行なわれる。

ステップＳ４０３において、通信端末は、景観を撮像して映像を取得する。ステップＳ４０５において、景観の映像から局所特徴量を生成する。続いて、ステップＳ４０７において局所特徴量を特徴点座標と共に符号化する。符号化された局所特徴量は、ステップＳ４０９において、通信端末から景観要素認識サーバ２２０に送信される。

景観要素認識サーバ２２０では、ステップＳ４１１において、景観要素の画像に対して生成され記憶された局所特徴量ＤＢ２２１を参照して、景観中の景観要素の認識を行なう。そして、ステップＳ４１３において、認識した景観要素に対応する関連情報ＤＢ２２２を参照して、関連情報を取得する。ステップＳ４１５において、景観要素名と関連情報とを、景観要素認識サーバ２２０から通信端末２１０に送信する。

通信端末２１０は、ステップＳ４１７において、受信した景観要素名と関連情報とを報知する（図３の上段参照）。なお、景観要素名は表示、関連情報は表示あるいは音声出力される。

（リンク情報報知の動作手順）
図５は、本実施形態に係る情報処理システム２００におけるリンク情報報知の動作手順を示すシーケンス図である。なお、図４と同様の動作手順には同じステップ番号を付して、説明は省略する。

ステップＳ４００およびＳ４０１においては、アプリケーションやデータの相違の可能性はあるが、図４と同様にダウンロードおよび起動と初期化が行なわれる。

ステップＳ４１１において通信端末２１０から受信した映像の局所特徴量から、景観中の景観要素を認識した景観要素認識サーバ２２０は、ステップＳ５１３において、リンク情報ＤＢ２２３を参照して、認識した景観要素に対応するリンク情報を取得する。ステップＳ５１５において、景観要素名とリンク情報とを、景観要素認識サーバ２２０から通信端末２１０に送信する。

通信端末２１０は、ステップＳ５１７において、受信した景観要素名とリンク情報とを景観映像に重畳して表示する（図３の下段参照）。そして、ステップＳ５１９において、リンク情報のユーザによる指示を待つ。ユーザのリンク先指示があれば、ステップＳ５２１において、リンク先である関連情報提供サーバ２３０に、景観要素ＩＤを持ってアクセスする。

関連情報提供サーバ２３０は、ステップＳ５２３において、受信した景観要素ＩＤを使用して関連情報ＤＢ２３１から関連情報（文書データや音声データを含む）を取得する。そして、ステップＳ５２５において、アクセス元の通信端末２１０に関連情報を返信する。

関連情報の返信を受けた通信端末２１０は、ステップＳ５２７において、受信した関連情報を表示あるいは音声出力する。

《通信端末の機能構成》
図６は、本実施形態に係る通信端末２１０の機能構成を示すブロック図である。

図６において、撮像部６０１は、クエリ画像として景観映像を入力する。局所特徴量生成部６０２は、撮像部６０１からの景観映像から局所特徴量を生成する。局所特徴量送信部６０３は、生成された局所特徴量を特徴点座標と共に、符号化部６０３ａにより符号化し、通信制御部６０４を介して景観要素認識サーバ２２０に送信する。

景観要素認識結果受信部６０５は、通信制御部６０４を介して景観要素認識サーバ２２０から景観要素認識結果を受信する。そして、表示画面生成部６０６は、受信した景観要素認識結果の表示画面を生成して、ユーザに報知する。

また、関連情報受信部６０７は、通信制御部６０４を介して関連情報を受信する。そして、表示画面生成部６０６および音声生成部６９８は、受信した関連情報の表示画面および音声データを生成して、ユーザに報知する。なお、関連情報受信部６０７が受信する関連情報は、景観要素認識サーバ２２０からの関連情報あるいは関連情報提供サーバ２３０からの関連情報を含む。

また、リンク情報受信部６０９は、通信制御部６０４を介して関連情報提供サーバ２３０からリンク情報を受信する。そして、表示画面生成部６０６は、受信したリンク情報の表示画面を生成して、ユーザに報知する。リンク先アクセス部６１０は、図示しない操作部によるリンク情報のクリックに基づいて、リンク先の関連情報提供サーバ２３０にアクセスする。

なお、景観要素認識結果受信部６０５と関連情報受信部６０７とリンク情報受信部６０９とは、それぞれ設けずに、通信制御部６０４を介して受信した情報を受信する１つの情報受信部として設けてもよい。

《景観要素認識サーバの機能構成》
図７は、本実施形態に係る景観要素認識サーバ２２０の機能構成を示すブロック図である。

図７において、局所特徴量受信部７０２は、通信制御部７０１を介して通信端末２１０から受信した局所特徴量を復号部７０２ａで復号する。景観要素認識部７０３は、受信した局所特徴量を、景観要素に対応する局所特徴量を格納する局所特徴量ＤＢ２２１の局所特徴量と照合して、景観要素を認識する。景観要素認識結果送信部７０４は、景観要素の認識結果（景観要素名）を通信端末２１０に送信する。

関連情報取得部７０５は、関連情報ＤＢ２２２を参照して、認識した景観要素に対応する関連情報を取得する。関連情報送信部７０６は、取得した関連情報を通信端末２１０に送信する。なお、景観要素認識サーバ２２０が関連情報を送信する場合は、図４のように、景観要素認識結果と関連情報とを１つの送信データで送信するのが、通信トラフィックの削減となるので望ましい。

リンク情報取得部７０７は、リンク情報ＤＢ２２３を参照して、認識した景観要素に対応するリンク情報を取得する。リンク情報送信部７０８は、取得したリンク情報を通信端末２１０に送信する。なお、リンク情報を送信する場合は、図５のように、景観要素認識サーバ２２０が景観要素認識結果とリンク情報とを１つの送信データで送信するのが、通信トラフィックの削減となるので望ましい。

当然ながら、景観要素認識サーバ２２０が景観要素認識結果と関連情報とリンク情報とを送信する場合は、全情報を取得してから１つの送信データで送信するのが、通信トラフィックの削減となるので望ましい。

なお、関連情報提供サーバ２３０の構成については、種々のリンク可能なプロバイダを含み、その構成についての説明は省略する。

（局所特徴量ＤＢ）
図８は、本実施形態に係る局所特徴量ＤＢ２２１の構成を示す図である。なお、かかる構成に限定されない。

局所特徴量ＤＢ２２１は、景観要素ＩＤ８０１と名／方角８０２に対応付けて、第１番局所特徴量８０３、第２番局所特徴量８０４、…、第ｍ番局所特徴量８０５を記憶する。各局所特徴量は、５×５のサブ領域に対応して、２５次元ずつに階層化された１次元から１５０次元の要素からなる特徴ベクトルを記憶する（図１１Ｆ参照）。ここで、方角とは、各景観要素をいずれの方角から見た場合の局所特徴量かを示す。景観要素の認識エラーを防ぐためには、重なり部分の少ない方角や特徴ある方角などの少なくとも２方角からの局所特徴量が同じ景観要素に対応して記憶されるのが望ましい。

なお、ｍは正の整数であり、景観要素ＩＤに対応して異なる数でよい。また、本実施形態においては、それぞれの局所特徴量と共に照合処理に使用される特徴点座標が記憶される。

（関連情報ＤＢ）
図９は、本実施形態に係る関連情報ＤＢ２２２の構成を示す図である。なお、かかる構成に限定されない。

関連情報ＤＢ２２２は、景観要素ＩＤ９０１と景観要素名９０２に対応付けて、関連情報である関連表示データ９０３と関連音声データ９０４とを記憶する。なお、関連情報ＤＢ２２２は、局所特徴量ＤＢ２２１と一体に設けてもよい。

（リンク情報ＤＢ）
図１０は、本実施形態に係るリンク情報ＤＢ２２３の構成を示す図である。なお、かかる構成に限定されない。

リンク情報ＤＢ２２３は、景観要素ＩＤ１００１と景観要素名１００２に対応付けて、インク情報である、例えばＵＲＬ(Uniform Resource Locator)１００３と表示画面への表示デー１０９０４とを記憶する。なお、リンク情報ＤＢ２２３は、局所特徴量ＤＢ２２１や関連情報ＤＢ２２２と一体に設けてもよい。

なお、関連情報提供サーバ２３０の関連情報ＤＢ２３１は、景観要素認識サーバ２２０の関連情報ＤＢ２２２と同様であり、重複を避けるため説明は省略する。

《局所特徴量生成部》
図１１Ａは、本実施形態に係る局所特徴量生成部７０２の構成を示すブロック図である。

局所特徴量生成部７０２は、特徴点検出部１１１１、局所領域取得部１１１２、サブ領域分割部１１１３、サブ領域特徴ベクトル生成部１１１４、および次元選定部１１１５を含んで構成される。

特徴点検出部１１１１は、画像データから特徴的な点（特徴点）を多数検出し、各特徴点の座標位置、スケール（大きさ）、および角度を出力する。

局所領域取得部１１１２は、検出された各特徴点の座標値、スケール、および角度から、特徴量抽出を行う局所領域を取得する。

サブ領域分割部１１１３は、局所領域をサブ領域に分割する。たとえば、サブ領域分割部１１１３は、局所領域を１６ブロック（４×４ブロック）に分割することも、局所領域を２５ブロック（５×５ブロック）に分割することもできる。なお、分割数は限定されない。本実施形態においては、以下、局所領域を２５ブロック（５×５ブロック）に分割する場合を代表して説明する。

サブ領域特徴ベクトル生成部１１１４は、局所領域のサブ領域ごとに特徴ベクトルを生成する。サブ領域の特徴ベクトルとしては、たとえば、勾配方向ヒストグラムを用いることができる。

次元選定部１１１５は、サブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるように、局所特徴量として出力する次元を選定する（たとえば、間引きする）。また、次元選定部１１１５は、単に次元を選定するだけではなく、選定の優先順位を決定することができる。すなわち、次元選定部１１１５は、たとえば、隣接するサブ領域間では同一の勾配方向の次元が選定されないように、優先順位をつけて次元を選定することができる。そして、次元選定部１１１５は、選定した次元から構成される特徴ベクトルを、局所特徴量として出力する。なお、次元選定部１１１５は、優先順位に基づいて次元を並び替えた状態で、局所特徴量を出力することができる。

《局所特徴量生成部の処理》
図１１Ｂ〜図１１Ｆは、本実施形態に係る局所特徴量生成部６０２の処理を示す図である。

まず、図１１Ｂは、局所特徴量生成部６０２における、特徴点検出／局所領域取得／サブ領域分割／特徴ベクトル生成の一連の処理を示す図である。かかる一連の処理については、米国特許第６７１１２９３号明細書や、David G. Lowe著、「Distinctive image features from scale-invariant key points」、（米国）、International Journal of Computer Vision、60(2)、2004年、p. 91-110を参照されたい。

（特徴点検出部）
図１１Ｂの画像１１２１は、図１１Ａの特徴点検出部１１１１において、映像中の画像から特徴点を検出した状態を示す図である。以下、１つの特徴点データ１１２１ａを代表させて局所特徴量の生成を説明する。特徴点データ１１２１ａの矢印の起点が特徴点の座標位置を示し、矢印の長さがスケール（大きさ）を示し、矢印の方向が角度を示す。ここで、スケール（大きさ）や方向は、対象映像にしたがって輝度や彩度、色相などを選択できる。また、図１１Ｂの例では、６０度間隔で６方向の場合を説明するが、これに限定されない。

（局所領域取得部）
図１１Ａの局所領域取得部１１１２は、例えば、特徴点データ１１２１ａの起点を中心にガウス窓１１２２ａを生成し、このガウス窓１１２２ａをほぼ含む局所領域１１２２を生成する。図１１Ｂの例では、局所領域取得部１１１２は正方形の局所領域１１２２を生成したが、局所領域は円形であっても他の形状であってもよい。この局所領域を各特徴点について取得する。局所領域が円形であれば、撮影方向に対してロバスト性が向上するという効果がある。

（サブ領域分割部）
次に、サブ領域分割部１１１３において、上記特徴点データ１１２１ａの局所領域１１２２に含まれる各画素のスケールおよび角度をサブ領域１１２３に分割した状態が示されている。なお、図１１Ｂでは４×４＝１６画素をサブ領域とする５×５＝２５のサブ領域に分割した例を示す。しかし、サブ領域は、４×４＝１６や他の形状、分割数であってもよい。

（サブ領域特徴ベクトル生成部）
サブ領域特徴ベクトル生成部１１１４は、サブ領域内の各画素のスケールを６方向の角度単位にヒストグラムを生成して量子化し、サブ領域の特徴ベクトル１１２４とする。すなわち、特徴点検出部１１１１が出力する角度に対して正規化された方向である。そして、サブ領域特徴ベクトル生成部１１１４は、サブ領域ごとに量子化された６方向の頻度を集計し、ヒストグラムを生成する。この場合、サブ領域特徴ベクトル生成部１１１４は、各特徴点に対して生成される２５サブ領域ブロック×６方向＝１５０次元のヒストグラムにより構成される特徴ベクトルを出力する。また、勾配方向を６方向に量子化するだけに限らず、４方向、８方向、１０方向など任意の量子化数に量子化してよい。勾配方向をＤ方向に量子化する場合、量子化前の勾配方向をＧ（０〜２πラジアン）とすると、勾配方向の量子化値Ｑq（q＝０，…，Ｄ−１）は、例えば式（１）や式（２）などで求めることができるが、これに限られない。

Ｑq＝floor(Ｇ×Ｄ／２π） …（１）
Ｑq＝round(Ｇ×Ｄ／２π）modＤ …（２）
ここで、floor()は小数点以下を切り捨てる関数、round()は四捨五入を行う関数、modは剰余を求める演算である。また、サブ領域特徴ベクトル生成部１１１４は勾配ヒストグラムを生成するときに、単純な頻度を集計するのではなく、勾配の大きさを加算して集計してもよい。また、サブ領域特徴ベクトル生成部１１１４は勾配ヒストグラムを集計するときに、画素が属するサブ領域だけではなく、サブ領域間の距離に応じて近接するサブ領域（隣接するブロックなど）にも重み値を加算するようにしてもよい。また、サブ領域特徴ベクトル生成部１１１４は量子化された勾配方向の前後の勾配方向にも重み値を加算するようにしてもよい。なお、サブ領域の特徴ベクトルは勾配方向ヒストグラムに限られず、色情報など、複数の次元（要素）を有するものであればよい。本実施形態においては、サブ領域の特徴ベクトルとして、勾配方向ヒストグラムを用いることとして説明する。

（次元選定部）
次に、図１１Ｃ〜図１１Ｆにしたがって、局所特徴量生成部６０２における、次元選定部１１１５に処理を説明する。

次元選定部１１１５は、サブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるように、局所特徴量として出力する次元（要素）を選定する（間引きする）。より具体的には、次元選定部１１１５は、例えば、隣接するサブ領域間では少なくとも１つの勾配方向が異なるように次元を選定する。なお、本実施形態では、次元選定部１１１５は近接するサブ領域として主に隣接するサブ領域を用いることとするが、近接するサブ領域は隣接するサブ領域に限られず、例えば、対象のサブ領域から所定距離内にあるサブ領域を近接するサブ領域とすることもできる。

図１１Ｃは、局所領域を５×５ブロックのサブ領域に分割し、勾配方向を６方向１１３１ａに量子化して生成された１５０次元の勾配ヒストグラムの特徴ベクトル１１３１から次元を選定する場合の一例を示す図である。図１１Ｃの例では、１５０次元（５×５＝２５サブ領域ブロック×６方向）の特徴ベクトルから次元の選定が行われている。

（局所領域の次元選定）
図１１Ｃは、局所特徴量生成部６０２における、特徴ベクトルの次元数の選定処理の様子を示す図である。

図１１Ｃに示すように、次元選定部１１１５は、１５０次元の勾配ヒストグラムの特徴ベクトル１１３１から半分の７５次元の勾配ヒストグラムの特徴ベクトル１１３２を選定する。この場合、隣接する左右、上下のサブ領域ブロックでは、同一の勾配方向の次元が選定されないように、次元を選定することができる。

この例では、勾配方向ヒストグラムにおける量子化された勾配方向をｑ（ｑ＝０，１，２，３，４，５）とした場合に、ｑ＝０，２，４の要素を選定するブロックと、ｑ＝１，３，５の要素を選定するサブ領域ブロックとが交互に並んでいる。そして、図１１Ｃの例では、隣接するサブ領域ブロックで選定された勾配方向を合わせると、全６方向となっている。

また、次元選定部１１１５は、７５次元の勾配ヒストグラムの特徴ベクトル１１３２から５０次元の勾配ヒストグラムの特徴ベクトル１１３３を選定する。この場合、斜め４５度に位置するサブ領域ブロック間で、１つの方向のみが同一になる（残り１つの方向は異なる）ように次元を選定することができる。

また、次元選定部１１１５は、５０次元の勾配ヒストグラムの特徴ベクトル１１３３から２５次元の勾配ヒストグラムの特徴ベクトル１１３４を選定する場合は、斜め４５度に位置するサブ領域ブロック間で、選定される勾配方向が一致しないように次元を選定することができる。図１１Ｃに示す例では、次元選定部１１１５は、１次元から２５次元までは各サブ領域から１つの勾配方向を選定し、２６次元から５０次元までは２つの勾配方向を選定し、５１次元から７５次元までは３つの勾配方向を選定している。

このように、隣接するサブ領域ブロック間で勾配方向が重ならないように、また全勾配方向が均等に選定されることが望ましい。また同時に、図１１Ｃに示す例のように、局所領域の全体から均等に次元が選定されることが望ましい。なお、図１１Ｃに示した次元選定方法は一例であり、この選定方法に限らない。

（局所領域の優先順位）
図１１Ｄは、局所特徴量生成部６０２における、サブ領域からの特徴ベクトルの選定順位の一例を示す図である。

次元選定部１１１５は、単に次元を選定するだけではなく、特徴点の特徴に寄与する次元から順に選定するように、選定の優先順位を決定することができる。すなわち、次元選定部１１１５は、例えば、隣接するサブ領域ブロック間では同一の勾配方向の次元が選定されないように、優先順位をつけて次元を選定することができる。そして、次元選定部１１１５は、選定した次元から構成される特徴ベクトルを、局所特徴量として出力する。なお、次元選定部１１１５は、優先順位に基づいて次元を並び替えた状態で、局所特徴量を出力することができる。

すなわち、次元選定部１１１５は、１〜２５次元、２６次元〜５０次元、５１次元〜７５次元の間は、例えば図１１Ｄのマトリクス１１４１に示すようなサブ領域ブロックの順番で次元を追加するように選定していってもよい。図１１Ｄのマトリクス１１４１に示す優先順位を用いる場合、次元選定部１１１５は、中心に近いサブ領域ブロックの優先順位を高くして、勾配方向を選定していくことができる。

図１１Ｅのマトリクス１１５１は、図１１Ｄの選定順位にしたがって、１５０次元の特徴ベクトルの要素の番号の一例を示す図である。この例では、５×５＝２５ブロックをラスタスキャン順に番号ｐ（ｐ＝０，１，…，２５）で表し、量子化された勾配方向をｑ（ｑ＝０，１，２，３，４，５）とした場合に、特徴ベクトルの要素の番号を６×ｐ＋ｑとしている。

図１１Ｆのマトリクス１１６１は、図１１Ｅの選定順位による１５０次元の順位が、２５次元単位に階層化されていることを示す図である。すなわち、図１１Ｆのマトリクス１１６１は、図１１Ｄのマトリクス１１４１に示した優先順位にしたがって図１１Ｅに示した要素を選定していくことにより得られる局所特徴量の構成例を示す図である。次元選定部１１１５は、図１１Ｆに示す順序で次元要素を出力することができる。具体的には、次元選定部１１１５は、例えば１５０次元の局所特徴量を出力する場合、図１１Ｆに示す順序で全１５０次元の要素を出力することができる。また、次元選定部１１１５は、例えば２５次元の局所特徴量を出力する場合、図１１Ｆに示す１行目（７６番目、４５番目、８３番目、…、１２０番目）の要素１１７１を図１１Ｆに示す順（左から右）に出力することができる。また、次元選定部１１１５は、例えば５０次元の局所特徴量を出力する場合、図１１Ｆに示す１行目に加えて、図１１Ｆに示す２行目の要素１１７２を図１１Ｆに示す順（左から右）に出力することができる。

ところで、図１１Ｆに示す例では、局所特徴量は階層的な構造配列となっている。すなわち、例えば、２５次元の局所特徴量と１５０次元の局所特徴量とにおいて、先頭の２５次元分の局所特徴量における要素１１７１〜１１７６の並びは同一となっている。このように、次元選定部１１１５は、階層的（プログレッシブ）に次元を選定することにより、アプリケーションや通信容量、端末スペックなどに応じて、任意の次元数の局所特徴量、すなわち任意のサイズの局所特徴量を抽出して出力することができる。また、次元選定部１１１５が、階層的に次元を選定し、優先順位に基づいて次元を並び替えて出力することにより、異なる次元数の局所特徴量を用いて、画像の照合を行うことができる。例えば、７５次元の局所特徴量と５０次元の局所特徴量を用いて画像の照合が行われる場合、先頭の５０次元だけを用いることにより、局所特徴量間の距離計算を行うことができる。

なお、図１１Ｄのマトリクス１１４１から図１１Ｆに示す優先順位は一例であり、次元を選定する際の順序はこれに限られない。例えば、ブロックの順番に関しては、図１１Ｄのマトリクス１１４１の例の他に、図１１Ｄのマトリクス１１４２や図１１Ｄのマトリクス１１４３に示すような順番でもよい。また、例えば、全てのサブ領域からまんべんなく次元が選定されるように優先順位が定められることとしてもよい。また、局所領域の中央付近が重要として、中央付近のサブ領域の選定頻度が高くなるように優先順位が定められることとしてもよい。また、次元の選定順序を示す情報は、例えば、プログラムにおいて規定されていてもよいし、プログラムの実行時に参照されるテーブル等（選定順序記憶部）に記憶されていてもよい。

また、次元選定部１１１５は、サブ領域ブロックを１つ飛びに選択して、次元の選定を行ってもよい。すなわち、あるサブ領域では６次元が選定され、当該サブ領域に近接する他のサブ領域では０次元が選定される。このような場合においても、近接するサブ領域間の相関が低くなるようにサブ領域ごとに次元が選定されていると言うことができる。

また、局所領域やサブ領域の形状は、正方形に限られず、任意の形状とすることができる。例えば、局所領域取得部１１１２が、円状の局所領域を取得することとしてもよい。この場合、サブ領域分割部１１１３は、円状の局所領域を例えば複数の局所領域を有する同心円に９分割や１７分割のサブ領域に分割することができる。この場合においても、次元選定部１１１５は、各サブ領域において、次元を選定することができる。

以上、図１１Ｂ〜図１１Ｆに示したように、本実施形態の局所特徴量生成部６０２によれば、局所特徴量の情報量を維持しながら生成された特徴ベクトルの次元が階層的に選定される。この処理により、認識精度を維持しながらリアルタイムでの景観要素認識と認識結果の表示が可能となる。なお、局所特徴量生成部６０２の構成および処理は本例に限定されない。認識精度を維持しながらリアルタイムでの景観要素認識と認識結果の表示が可能となる他の処理が当然に適用できる。

（符号化部）
図１１Ｇは、本実施形態に係る符号化部６０３ａを示すブロック図である。なお、符号化部は本例に限定されず、他の符号化処理も適用可能である。

符号化部６０３ａは、局所特徴量生成部６０２の特徴点検出部１１１１から特徴点の座標を入力して、座標値を走査する座標値走査部１１８１を有する。座標値走査部１１８１は、画像をある特定の走査方法にしたがって走査し、特徴点の２次元座標値（Ｘ座標値とＹ座標値）を１次元のインデックス値に変換する。このインデックス値は、走査に従った原点からの走査距離である。なお、走査方向については、制限はない。

また、特徴点のインデックス値をソートし、ソート後の順列の情報を出力するソート部１１８２を有する。ここでソート部１１８２は、例えば昇順にソートする。また降順にソートしてもよい。

また、ソートされたインデックス値における、隣接する２つのインデックス値の差分値を算出し、差分値の系列を出力する差分算出部１１８３を有する。

そして、差分値の系列を系列順に符号化する差分符号化部１１８４を有する。差分値の系列の符号化は、例えば固定ビット長の符号化でもよい。固定ビット長で符号化する場合、そのビット長はあらかじめ規定されていてもよいが、これでは考えられうる差分値の最大値を表現するのに必要なビット数を要するため、符号化サイズは小さくならない。そこで、差分符号化部１１８４は、固定ビット長で符号化する場合、入力された差分値の系列に基づいてビット長を決定することができる。具体的には、例えば、差分符号化部１１８４は、入力された差分値の系列から差分値の最大値を求め、その最大値を表現するのに必要なビット数（表現ビット数）を求め、求められた表現ビット数で差分値の系列を符号化することができる。

一方、ソートされた特徴点のインデックス値と同じ順列で、対応する特徴点の局所特徴量を符号化する局所特徴量符号化部１１８５を有する。ソートされたインデックス値と同じ順列で符号化することで、差分符号化部１１８４で符号化された座標値と、それに対応する局所特徴量とを１対１で対応付けることが可能となる。局所特徴量符号化部１１８５は、本実施形態においては、１つの特徴点に対する１５０次元の局所特徴量から次元選定された局所特徴量を、例えば１次元を１バイトで符号化し、次元数のバイトで符号化することができる。

（景観要素認識部）
図１１は、本実施形態に係る景観要素認識部７０３の処理を示す図である。

図１１Ｈは、図３において、通信端末２１０の撮像した景観の表示画面３１０の景観の映像３１１から生成した局所特徴量を、あらかじめ局所特徴量ＤＢ２２１に格納された局所特徴量と照合する様子を示す図である。

図１１Ｈの左図の通信端末２１０で撮像された映像３１１からは、本実施形態に従い局所特徴量が生成される。そして、局所特徴量ＤＢ２２１に各景観要素に対応して格納された局所特徴量１１９１〜１１９４が、映像３１１から生成された局所特徴量中にあるか否かが照合される。

図１１Ｈに示すように、景観要素認識部７０３は、局所特徴量ＤＢ２２１に格納されている局所特徴量と局所特徴量が合致する各特徴点を細線のように関連付ける。なお、景観要素認識部７０３は、局所特徴量の所定割合以上が一致する場合を特徴点の合致とする。そして、景観要素認識部７０３は、関連付けられた特徴点の集合間の位置関係が線形関係であれば、対象の景観要素であると認識する。このような認識を行なえば、サイズの大小や向きの違い（視点の違い）、あるいは反転などによっても認識が可能である。また、所定数以上の関連付けられた特徴点があれば認識精度が得られるので、一部が視界から隠れていても景観要素の認識が可能である。

図１１Ｈにおいては、局所特徴量ＤＢ２２１の４つの景観要素の局所特徴量１１９１〜１１９４に合致する、景観内の異なる４つの景観要素が局所特徴量の精度に対応する精密さを持って認識される。

《通信端末のハードウェア構成》
図１２Ａは、本実施形態に係る通信端末２１０のハードウェア構成を示すブロック図である。

図１２Ａで、ＣＰＵ１２１０は演算制御用のプロセッサであり、プログラムを実行することで通信端末２１０の各機能構成部を実現する。ＲＯＭ１２２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部６０４は通信制御部であり、本実施形態においては、ネットワークを介して景観要素認識サーバ２２０や関連情報提供サーバ２３０と通信する。なお、ＣＰＵ１２１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ（Graphics Processing Unit）を含んでもよい。

ＲＡＭ１２４０は、ＣＰＵ１２１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１２４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。入力映像１２４１は、撮像部６０１が撮像して入力した入力映像を示す。特徴点データ１２４２は、入力映像１２４１から検出した特徴点座標、スケール、角度を含む特徴点データを示す。局所特徴量生成テーブル１２４３は、局所特徴量を生成するまでのデータを保持する局所特徴量生成テーブルを示す（１２Ｂ参照）。局所特徴量１２４４は、局所特徴量生成テーブル１２４３を使って生成され、通信制御部６０４を介して景観要素認識サーバ２２０に送る局所特徴量を示す。景観要素認識結果１２４５は、通信制御部６０４を介して景観要素認識サーバ２２０から返信された景観要素認識結果を示す。関連情報／リンク情報１２４６は、景観要素認識サーバ２２０から返信された関連情報やリンク情報、あるいは関連情報提供サーバ２３０から返信された関連情報を示す。表示画面データ１２４７は、ユーザに景観要素認識結果１２４５や関連情報／リンク情報１２４６を含む情報を報知するための表示画面データを示す。なお、音声出力をする場合には、音声データが含まれてもよい。入出力データ１２４８は、入出力インタフェース１２６０を介して入出力される入出力データを示す。送受信データ１２４９は、通信制御部６０４を介して送受信される送受信データを示す。

ストレージ１２５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。表示フォーマット１２５１は、景観要素認識結果１２４５や関連情報／リンク情報１２４６を含む情報を表示するための表示フォーマットを示す。

ストレージ１２５０には、以下のプログラムが格納される。通信端末制御プログラム１２５２は、本通信端末２１０の全体を制御する通信端末制御プログラムを示す。通信端末制御プログラム１２５２には、以下のモジュールが含まれている。局所特徴量生成モジュール１２５３は、通信端末制御プログラム１２５２において、入力映像から図１１Ｂ〜図１１Ｆにしたがって局所特徴量を生成する。なお、局所特徴量生成モジュール１２５３は、図示のモジュール群から構成されるが、ここでは詳説は省略する。符号化モジュール１２５４は、局所特徴量生成モジュール１２５３により生成された局所特徴量を送信のために符号化する。情報受信報知モジュール１２５５は、景観要素認識結果１２４５や関連情報／リンク情報１２４６を受信して表示または音声によりユーザに報知するためのモジュールである。リンク先アクセスモジュール１２５６は、受信して報知したリンク情報へのユーザ指示に基づいて、リンク先をアクセスするためのモジュールである。

入出力インタフェース１２６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース１２６０には、表示部１２６１、操作部１２６２であるタッチパネルやキーボード、スピーカ１２６３、マイク１２６４、撮像部６０１が接続される。入出力機器は上記例に限定されない。また、ＧＰＳ(Global Positioning System)位置生成部１２６５が搭載され、ＧＰＳ衛星からの信号に基づいて現在位置を取得する。

なお、図１２Ａには、本実施形態に必須なデータやプログラムのみが示されており、本実施形態に関連しないデータやプログラムは図示されていない。

（局所特徴量生成テーブル）
図１２Ｂは、本実施形態に係る通信端末２１０における局所特徴量生成テーブル１２４３を示す図である。

局所特徴量生成テーブル１２４３には、入力画像ＩＤ１２０１に対応付けて、複数の検出された検出特徴点１２０２，特徴点座標１２０３および特徴点に対応する局所領域情報１２０４が記憶される。そして、各検出特徴点１２０２，特徴点座標１２０３および局所領域情報１２０４に対応付けて、複数のサブ領域ＩＤ１２０５，サブ領域情報１２０６，各サブ領域に対応する特徴ベクトル１２０７および優先順位を含む選定次元１２０８が記憶される。

以上のデータから各検出特徴点１２０２に対して局所特徴量１２０９が生成される。これらを特徴点座標と組みにして集めたデータが、撮像した景観から生成した景観要素認識サーバ２２０に送信される局所特徴量１２４４である。

《通信端末の処理手順》
図１３は、本実施形態に係る通信端末２１０の処理手順を示すフローチャートである。このフローチャートは、図１２ＡのＣＰＵ１２１０によってＲＡＭ１２４０を用いて実行され、図６の各機能構成部を実現する。

まず、ステップＳ１３１１において、景観要素の認識を行なうための映像入力があったか否かを判定する。また、ステップＳ１３２１においては、データ受信を判定する。また、ステップＳ１３３１においては、ユーザによるリンク先の指示かを判定する。いずれでもなければ、ステップＳ１３４１においてその他の処理を行なう。なお、通常の送信処理については説明を省略する。

映像入力があればステップＳ１３１３に進んで、入力映像に基づいて局所特徴量生成処理を実行する（図１４Ａ参照）。次に、ステップＳ１３１５において、局所特徴量および特徴点座標を符号化する（図１４Ｂおよび図１４Ｃ参照）。ステップＳ１３１７においては、符号化されたデータを景観要素認識サーバ２２０に送信する。

データ受信の場合はステップＳ１３２３に進んで、景観要素認識サーバ２２０からの景観要素認識結果や関連情報の受信か、または関連情報提供サーバ２３０からの関連情報の受信か否かを判定する。景観要素認識サーバ２２０からの受信であればステップＳ１３２５に進んで、受信した景観要素認識結果、関連情報、リンク情報を表示や音声出力で報知する。一方、関連情報提供サーバ２３０からの受信であればステップＳ１３２７に進んで、受信した関連情報を表示や音声出力で報知する。

（局所特徴量生成処理）
図１４Ａは、本実施形態に係る局所特徴量生成処理Ｓ１３１３の処理手順を示すフローチャートである。

まず、ステップＳ１４１１において、入力映像から特徴点の位置座標、スケール、角度を検出する。ステップＳ１４１３において、ステップＳ１４１１で検出された特徴点の１つに対して局所領域を取得する。次に、ステップＳ１４１５において、局所領域をサブ領域に分割する。ステップＳ１４１７においては、各サブ領域の特徴ベクトルを生成して局所領域の特徴ベクトルを生成する。ステップＳ１４１１からＳ１４１７の処理は図１１Ｂに図示されている。

次に、ステップＳ１４１９において、ステップＳ１４１７において生成された局所領域の特徴ベクトルに対して次元選定を実行する。次元選定については、図１１Ｄ〜図１１Ｆに図示されている。

ステップＳ１４２１においては、ステップＳ１４１１で検出した全特徴点について局所特徴量の生成と次元選定とが終了したかを判定する。終了していない場合はステップＳ１４１３に戻って、次の１つの特徴点について処理を繰り返す。
（符号化処理）
図１４Ｂは、本実施形態に係る符号化処理Ｓ１３１５の処理手順を示すフローチャートである。

まず、ステップＳ１４３１において、特徴点の座標値を所望の順序で走査する。次に、ステップＳ１４３３において、走査した座標値をソートする。ステップＳ１４３５において、ソートした順に座標値の差分値を算出する。ステップＳ１４３７においては、差分値を符号化する（図１４Ｃ参照）。そして、ステップＳ１４３９において、座標値のソート順に局所特徴量を符号化する。なお、差分値の符号化と局所特徴量の符号化とは並列に行なってもよい。

（差分値の符号化処理）
図１４Ｃは、本実施形態に係る差分値の符号化処理Ｓ１４３７の処理手順を示すフローチャートである。

まず、ステップＳ１４４１において、差分値が符号化可能な値域内であるか否かを判定する。符号化可能な値域内であればステップＳ１４４７に進んで、差分値を符号化する。そして、ステップＳ１４４９へ移行する。符号化可能な値域内でない場合（値域外）はステップＳ１４４３に進んで、エスケープコードを符号化する。そしてステップＳ１４４５において、ステップＳ１４４７の符号化とは異なる符号化方法で差分値を符号化する。そして、ステップＳ１４４９へ移行する。ステップＳ１４４９では、処理された差分値が差分値の系列の最後の要素であるかを判定する。最後である場合は、処理が終了する。最後でない場合は、再度ステップＳ１４４１に戻って、差分値の系列の次の差分値に対する処理が実行される。

《景観要素認識サーバのハードウェア構成》
図１５は、本実施形態に係る景観要素認識サーバ２２０のハードウェア構成を示すブロック図である。

図１５で、ＣＰＵ１５１０は演算制御用のプロセッサであり、プログラムを実行することで図７の景観要素認識サーバ２２０の各機能構成部を実現する。ＲＯＭ１５２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部７０１は通信制御部であり、本実施形態においては、ネットワークを介して通信端末２１０あるいは関連情報提供サーバ２３０と通信する。なお、ＣＰＵ１５１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵを含んでもよい。

ＲＡＭ１５４０は、ＣＰＵ１５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。受信した局所特徴量１５４１は、通信端末２１０から受信した特徴点座標を含む局所特徴量を示す。読出した局所特徴量１５４２は、局所特徴量ＤＢ２２１から読み出した特徴点座標を含むと局所特徴量を示す。景観要素認識結果１５４３は、受信した局所特徴量と局所特徴量ＤＢ２２１に格納された局所特徴量との照合から認識された、景観要素認識結果を示す。関連情報１５４４は、景観要素認識結果１５４３の景観要素に対応して関連情報ＤＢ２２２から検索された関連情報を示す。リンク情報１５４５は、景観要素認識結果１５４３の景観要素に対応してリンク情報ＤＢ２２３から検索されたリンク情報を示す。送受信データ１５４６は、通信制御部７０１を介して送受信される送受信データを示す。

ストレージ１５５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。局所特徴量ＤＢ２２１は、図８に示したと同様の局所特徴量ＤＢを示す。関連情報ＤＢ２２２は、図９に示したと同様の関連情報ＤＢを示す。リンク情報ＤＢ２２３は、図１０に示したと同様のリンク情報ＤＢを示す。

ストレージ１５５０には、以下のプログラムが格納される。景観要素認識サーバ制御プログラム１５５１は、本景観要素認識サーバ２２０の全体を制御する景観要素認識サーバ制御プログラムを示す。局所特徴量ＤＢ作成モジュール１５５２は、景観要素認識サーバ制御プログラム１５５１において、景観要素の画像から局所特徴量を生成して局所特徴量ＤＢ２２１に格納する。景観要素認識モジュール１５５３は、景観要素認識サーバ制御プログラム１５５１において、受信した局所特徴量と局所特徴量ＤＢ２２１に格納された局所特徴量とを照合して景観要素を認識する。関連情報／リンク情報取得モジュール１５５４は、認識した景観要素に対応して関連情報ＤＢ２２２やリンク情報ＤＢ２２３から関連情報やリンク情報を取得する。

なお、図１５には、本実施形態に必須なデータやプログラムのみが示されており、本実施形態に関連しないデータやプログラムは図示されていない。

《景観要素認識サーバの処理手順》
図１６は、本実施形態に係る景観要素認識サーバ２２０の処理手順を示すフローチャートである。このフローチャートは、図１５のＣＰＵ１５１０によりＲＡＭ１５４０を使用して実行され、図７の景観要素認識サーバ２２０の各機能構成部を実現する。

まず、ステップＳ１６１１において、局所特徴量ＤＢの生成か否かを判定する。また、ステップＳ１６２１において、通信端末からの局所特徴量受信かを判定する。いずれでもなければ、ステップＳ１６４１において他の処理を行なう。

局所特徴量ＤＢの生成であればステップＳ１６１３に進んで、局所特徴量ＤＢ生成処理を実行する（図１７参照）。また、局所特徴量の受信であればステップＳ１６２３に進んで、景観要素認識処理を行なう（図１８Ａおよび図１８Ｂ参照）。

次に、ステップＳ１６２５において、認識した景観要素に対応する関連情報やリンク情報を取得する。そして、認識した景観要素名、関連情報、リンク情報を通信端末２１０に送信する。

（局所特徴量ＤＢ生成処理）
図１７は、本実施形態に係る局所特徴量ＤＢ生成処理Ｓ１６１３の処理手順を示すフローチャートである。

まず、ステップＳ１７０１において、景観要素の画像を取得する。ステップＳ１７０３においては、特徴点の位置座標、スケール、角度を検出する。ステップＳ１７０５において、ステップＳ１７０３で検出された特徴点の１つに対して局所領域を取得する。次に、ステップＳ１７０７において、局所領域をサブ領域に分割する。ステップＳ１７０９においては、各サブ領域の特徴ベクトルを生成して局所領域の特徴ベクトルを生成する。ステップＳ１７０５からＳ１７０９の処理は図１１Ｂに図示されている。

次に、ステップＳ１７１１において、ステップＳ１７０９において生成された局所領域の特徴ベクトルに対して次元選定を実行する。次元選定については、図１１Ｄ〜図１１Ｆに図示されている。しかしながら、局所特徴量ＤＢ２２１の生成においては、次元選定における階層化を実行するが、生成された全ての特徴ベクトルを格納するのが望ましい。

ステップＳ１７１３においては、ステップＳ１７０３で検出した全特徴点について局所特徴量の生成と次元選定とが終了したかを判定する。終了していない場合はステップＳ１７０５に戻って、次の１つの特徴点について処理を繰り返す。全特徴点について終了した場合はステップＳ１７１５に進んで、景観要素に対応付けて局所特徴量と特徴点座標とを局所特徴量ＤＢ２２１に登録する。

ステップＳ１７１７においては、他の景観要素の画像があるか否かを判定する。他の景観要素の画像があればステップＳ１７０１に戻って、他の景観要素の画像を取得して処理を繰り返す。

（景観要素認識処理）
図１８Ａは、本実施形態に係る景観要素認識処理Ｓ１６２３の処理手順を示すフローチャートである。

まず、ステップＳ１８１１において、局所特徴量ＤＢ２２１から１つの景観要素の局所特徴量を取得する。そして、ステップＳ１８１３において、景観要素の局所特徴量と通信端末２１０から受信した局所特徴量との照合を行なう（図１８Ｂ参照）。

ステップＳ１８１５において、合致したか否かを判定する。合致していればステップＳ１８２１に進んで、合致した景観要素を、通信端末２１０が撮像した景観の映像中にあるとして記憶する。

ステップＳ１８１７においては、局所特徴量ＤＢ２２１に登録されている全景観要素を照合したかを判定し、残りがあればステップＳ１８１１に戻って次の景観要素の照合を繰り返す。なお、かかる照合においては、処理速度の向上によるリルタイム処理あるいは景観要素認識サーバの負荷低減のため、あらかじめ分野の限定を行なってもよい。

（照合処理）
図１８Ｂは、本実施形態に係る照合処理Ｓ１８１３の処理手順を示すフローチャートである。
まず、ステップＳ１８３１において、初期化として、パラメータｐ＝１，ｑ＝０を設定する。次に、ステップＳ１８３３において、局所特徴量ＤＢ２２１の局所特徴量の次元数ｉと、受信した局所特徴量の次元数ｊとの、より少ない次元数を選択する。

ステップＳ１８３５〜Ｓ１８４５のループにおいて、ｐ＞ｍ（ｍ＝景観要素の特徴点数）となるまで各局所特徴量の照合を繰り返す。まず、ステップＳ１８３５において、局所特徴量ＤＢ２２１に格納された景観要素の第ｐ番局所特徴量の選択された次元数のデータを取得する。すなわち、最初の１次元から選択された次元数を取得する。次に、ステップＳ１８３７において、ステップＳ１８３５において取得した第ｐ番局所特徴量と入力映像から生成した全特徴点の局所特徴量を順に照合して、類似か否かを判定する。ステップＳ１８３９においては、局所特徴量間の照合の結果から類似度が閾値αを超えるか否かを判断し、超える場合はステップＳ１８４１において、局所特徴量と、入力映像と景観要素とにおける合致した特徴点の位置関係との組みを記憶する。そして、合致した特徴点数のパラメータであるｑを１つカウントアップする。ステップＳ１８４３においては、景観要素の特徴点を次の特徴点に進め（ｐ←ｐ＋１）、景観要素の全特徴点の照合が終わってない場合には（ｐ≦ｍ）、ステップＳ１８３５に戻って合致する局所特徴量の照合を繰り返す。なお、閾値αは、景観要素によって求められる認識精度に対応して変更可能である。ここで、他の景観要素との相関が低い景観要素であれば認識精度を低くしても、正確な認識が可能である。

景観要素の全特徴点との照合が終了すると、ステップＳ１８４５からＳ１８４７に進んで、ステップＳ１８４７〜Ｓ１８５３において、景観要素が入力映像に存在するか否かが判定される。まず、ステップＳ１８４７において、景観要素の特徴点数ｐの内で入力映像の特徴点の局所特徴量と合致した特徴点数ｑの割合が、閾値βを超えたか否かを判定する。超えていればステップＳ１８４９に進んで、景観要素候補として、さらに、入力映像の特徴点と景観要素の特徴点との位置関係が、線形変換が可能な関係を有しているかを判定する。すなわち、ステップＳ１８４１において局所特徴量が合致したとして記憶した、入力映像の特徴点と景観要素の特徴点との位置関係が、回転や反転、視点の位置変更などの変化によっても可能な位置関係なのか、変更不可能な位置関係なのかを判定する。かかる判定方法は幾何学的に既知であるので、詳細な説明は省略する。ステップＳ１８５１において、線形変換可能か否かの判定結果により、線形変換可能であればステップＳ９５３に進んで、照合した景観要素が入力映像に存在すると判定する。なお、閾値βは、景観要素によって求められる認識精度に対応して変更可能である。ここで、他の景観要素との相関が低い、あるいは一部分からでも特徴が判断可能な景観要素であれば合致した特徴点が少なくても、正確な認識が可能である。すなわち、一部分が隠れて見えなくても、あるいは特徴的な一部分が見えてさえいれば、景観要素の認識が可能である。

ステップＳ１８５５においては、局所特徴量ＤＢ２２１に未照合の景観要素が残っているか否かを判定する。まだ景観要素が残っていれば、ステップＳ９５７において次の景観要素を設定して、パラメータｐ＝１，ｑ＝０に初期化し、ステップＳ９３５に戻って照合を繰り返す。

なお、かかる照合処理の説明からも明らかなように、あらゆる景観要素を局所特徴量ＤＢ２２１に記憶して、全景観要素を照合する処理は、負荷が非常に大きくなる。したがって、例えば、入力映像から景観要素を認識する前にユーザが景観要素の範囲をメニューから選択して、その範囲を局所特徴量ＤＢ２２１から検索して照合することが考えられる。また、局所特徴量ＤＢ２２１にユーザが使用する範囲の局所特徴量のみを記憶することによっても、負荷を軽減できる。

［第３実施形態］
次に、本発明の第３実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態と比べると、ユーザがリンク先アクセス操作をしなくても、自動的にリンク先から関連情報をアクセスする点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

本実施形態によれば、ユーザの操作なしに、リアルタイムに映像中の画像内の建築物を含む景観要素に対応付けて、リンク先の関連情報を報知できる。

《情報処理システムの動作手順》
図１９は、本実施形態に係る情報処理システムの動作手順を示すシーケンス図である。なお、図１９において、第２実施形態の図５と同様の動作は同じステップ番号を付して、説明は省略する。

ステップＳ４００およびＳ４０１においては、アプリケーションやデータの相違の可能性はあるが、図４および図５と同様にダウンロードおよび起動と初期化が行なわれる。

ステップＳ４１１において通信端末２１０から受信した映像の局所特徴量から、景観中の景観要素を認識した景観要素認識サーバ２２０は、ステップＳ５１３において、リンク情報ＤＢ２２３を参照して、認識した景観要素に対応するリンク情報を取得する。

もし、取得したリンク情報が複数あれば、ステップＳ１９１５において、リンク先が選択される。リンク先の選択は、例えば、通信端末２１０を使用するユーザの指示や景観要素認識サーバ２２０によるユーザ認識に基づいて行なってよいが、ここでは詳細な説明は省略する。ステップＳ１９１７において、リンク情報に基づいてリンク先の関連情報提供サーバ２３０を認識した景観要素ＩＤを持ってアクセスする。なお、図１９の動作手順においては、リンク先アクセスで映像の局所特徴量を送信した通信端末ＩＤも送信する。

関連情報提供サーバ２３０は、アクセスに付随する景観要素ＩＤに対応する景観要素関連情報（文書データや音声データを含む）を関連情報ＤＢ２３１から取得する。そして、ステップＳ５２５において、アクセス元の通信端末２１０に関連情報を返信する。ここで、ステップＳ１９１７において、送信された通信端末ＩＤが使用される。

関連情報の返信を受けた通信端末２１０は、ステップＳ５２７において、受信した関連情報を表示あるいは音声出力する。

なお、図１９においては、景観要素認識サーバ２２０からのリンク先アクセスへの応答が、通信端末２１０に対して行なわれる場合を説明した。しかしながら、景観要素認識サーバ２２０がリンク先からの返信を受けて、通信端末２１０に中継する構成であってもよい。あるいは、通信端末２１０において、リンク情報を受信するとリンク先への自動アクセスを行ない、リンク先からの返信を報知する構成であってもよい。

［第４実施形態］
次に、本発明の第４実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態および第３実施形態と比べると、景観要素の認識処理に基づいて景観を撮像しているユーザの現在地および／または移動方向／速度を算出する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

本実施形態によれば、リアルタイムに映像中の画像内の景観要素に基づいて、ユーザの現在地および／または移動方向／速度を算出できる。

《通信端末の表示画面例》
図２０Ａ乃至図２０Ｃは、本実施形態に係る情報処理システムにおける通信端末２０１０の表示画面例を示す図である。

（現在地）
まず、図２０Ａは、ユーザの現在地を報知する例を示した図である。

図２０Ａの左図は、通信端末２０１０が撮像した景観の表示画面２０１１を示す。図２０Ａの中央図は、通信端末２０１０が、左図から時計回りに撮像範囲を移動して撮像した景観の表示画面２０１２を示す。

そして、図２０Ａの右図は、左図と中央図とを組み合わせて、本実施形態における処理により、各景観要素を撮像した角度に基づいて通信端末２０１０の現在地（ユーザの現在地）２０１４を決定して表示画面２０１３に重畳表示する。

なお、通信端末２１０が複数の景観要素までの距離を測定可能であれば、１つの映像によっても現在地２０１４が決定可能である。

（景観要素の角度変化による移動方向および移動速度）
次に、図２０Ｂは、地上におけるユーザの移動方向および移動速度を報知する例を示した図である。

図２０Ｂの左図は、通信端末２０１０が撮像した景観の表示画面２０１１を示す。図２０Ｂの中央図は、通信端末２０１０が、ある方向にある距離だけ移動した後に撮像した景観の表示画面２０２２を示す。図２０Ｂでは、映像内のビルの角度の変化が見られる。

そして、図２０Ｂの右図は、左図と中央図とを組み合わせて、本実施形態における処理により、各景観要素を撮像した角度の変化に基づいて通信端末２０１０の移動方向および移動速度２０２４を決定して表示画面２０２３に重畳表示する。

（景観変化による移動方向および移動速度）
また、図２０Ｃは、空中におけるユーザの移動方向および移動速度を報知する例を示した図である。

図２０Ｃの左図は、通信端末２０１０が空中から地上を撮像した景観の表示画面２０３１を示す。図２０Ｃの中央図は、通信端末２０１０が、ある方向にある距離だけ移動した後に空中から地上を撮像した景観の表示画面２０３２を示す。図２０Ｃでは、ユーザが上方に移動していることが見られる。

そして、図２０Ｃの右図は、左図と中央図とを組み合わせて、本実施形態における処理により、撮像した景観中の景観要素の変化に基づいて通信端末２０１０の移動方向および移動速度２０３４を決定して表示画面２０３３に重畳表示する。

《情報処理システムの動作手順》
以下、図２１および図２２を参照して、本実施形態の情報処理システムの操作手順を示す。

（局所特徴量ＤＢ生成）
図２１は、本実施形態に係る情報処理システムにおける局所特徴量ＤＢ生成の動作手順を示すシーケンス図である。なお、図２１は一例であって、これに限定されない。例えば、第２実施形態の図１７に示したような局所特徴量ＤＢ生成であってもよい。本実施形態において、図２１のような動作手順は、景観要素をあらゆる方角から撮像しても認識できることが望ましいために行なわれる処理である。

まず、ステップＳ２１０１においては、１つあるいは複数の通信端末２０１０を含む撮像装置によって、対象とする特定の景観要素を撮像する。ステップＳ２１０３においては、この複数の映像データを景観要素情報と共に景観要素認識サーバ２４２０にそれぞれ送信する。

景観要素認識サーバ２４２０においては、ステップＳ２１０５において、受信した映像データからそれぞれの局所特徴量を生成する。次に、ステップＳ２１０７において、生成した局所特徴量を比較し、相関の小さい局所特徴量を局所特徴量ＤＢ２２２１に格納する局所特徴量とする。相関の小さい局所特徴量は、それぞれが同じ景観要素を認識するために別個に記憶すべき局所特徴量となる。

ステップＳ２１０９において、選択した相関の小さい局所特徴量を、景観要素情報や局所特徴量の精度と共に、局所特徴量ＤＢ２２２１に送信する。局所特徴量ＤＢ２２２１は、ステップＳ２１１１において、受信した局所特徴量を景観要素に対応付けて格納する。

（現在地決定および／または移動方向と移動速度決定）
図２２は、本実施形態に係る情報処理システムにおける現在地決定および／または移動方向と移動速度決定の動作手順を示すシーケンス図である。なお、第２実施形態の図４および図５の動作手順と同様の手順には、同じステップ番号を付して、説明は省略する。

ステップＳ４００およびＳ４０１においては、アプリケーションやデータの相違の可能性はあるが、図４および図５と同様にダウンロードおよび起動と初期化が行なわれる。

景観要素認識サーバ２４２０は、ステップＳ２２１１において、通信端末２０１０から受信した映像の局所特徴量から、局所特徴量ＤＢ２２２１の局所特徴量と照合して、景観要素を認識する。

通信端末２０１０は、ステップＳ２２２１において、ステップＳ４０３とは異なる方角の映像を取得する。ステップＳ２２２３において、ステップＳ２２２１において取得した映像の局所特徴量を生成する。続いて、ステップＳ２２２５において、生成した局所特徴量を特徴点座標と共に符号化する。そして、符号化した局所特徴量を景観要素認識サーバ２４２０に送信する。

景観要素認識サーバ２４２０では、ステップＳ２２２９において、局所特徴量ＤＢ２２２１の局所特徴量と照合して、景観要素を認識する。

ステップＳ２２３１においては、ステップＳ２２１１において認識した景観要素と、ステップＳ２２２９において認識した景観要素との間に、角度変化があったか否かを判定する。かかる角度変化は、局所特徴量の照合から景観要素を認識する処理における、特徴点座標の幾何学的配置の相違から測定可能である（図１１Ｈ，図２７Ａ、図２７Ｂ参照）。角度変化が所定閾値以上であればステップＳ２２３３に進んで、地図ＤＢ２２２２も参照して、通信端末２２１０（ユーザ）の移動方向および移動速度を算出する。なお、移動方向および移動速度は、２回の映像取得（ステップＳ４０３およびＳ２２２１）間の経過時間と、少なくとも１つの景観要素の角度変化と景観要素までの距離が測定可能であれば、算出可能である。あるいは、複数の景観要素を参照すれば、より正確な移動方向および移動速度の算出が可能である。

そして、景観要素認識サーバ２４２０は、ステップＳ２２３５において、ユーザの移動方向および移動速度を通信端末２０１０に送信する。通信端末２０１０は、ステップＳ２２３７において、ユーザの移動方向および移動速度を報知する（図２０Ｂ参照）。

景観要素の角度変化が所定閾値より小さければステップＳ２２３９に進んで、景観映像中の景観要素が変化したかを判定する。かかる景観要素の変化は、映像中から消滅する景観要素と映像中に出現する景観要素の数が所定閾値を超える場合とする。景観要素が変化した場合にはステップＳ２２４１に進んで、地図ＤＢ２２２２を参照して、通信端末２０１０（ユーザ）の現在地を算出する。ステップＳ２２４１における現在地算出は、各景観要素認識時（ズテップＳ２２１１とＳ２２２９）において局所特徴量の照合から景観要素を認識する処理における、特徴点座標の幾何学的配置から、認識した各景観要素を撮像した方角算出が可能である。したがって、複数の景観要素の位置／角度算出結果にもとづき撮像した方角を逆に辿れば可能である。

そして、景観要素認識サーバ２４２０は、ステップＳ２２４３において、ユーザの現在地を通信端末２０１０に送信する。通信端末２０１０は、ステップＳ２２３７において、ユーザの現在地を報知する（図２０Ａ参照）
なお、上記のように図２２においては、ユーザの現在地が景観要素の変化から、ユーザの移動方向および移動速度が景観要素の角度から、自動的に算出されて報知される例を示した。図２０Ａや図２０Ｂのように、撮像部６０１の撮像方向をユーザが意識的に変えると現在地算出をし、撮像部６０１の撮像方向を保って所定時間が経過すると移動方向および移動速度算出を行なうような、ユーザインターフェースが工夫されている。しかしながら、ユーザが通信端末のメニューから現在地算出や、移動方向および移動速度を選択することも可能である。

また、図２２には、図２０Ｃに対応するユーザの移動方向および移動速度報知の動作手順は示さないが、映像中の景観要素の移動から移動方向および移動速度が算出されるのは、明らかである。

《通信端末の機能構成》
図２３は、本実施形態に係る通信端末の機能構成を示すブロック図である。なお、図２３において、第２実施形態の図６と同様の機能構成部には同じ参照番号を付して、説明を省略する。また、認識結果報知部２３０６は、図６の表示画面生成部６０６を含む機能構成部である。

現在地算出結果受信部２３０７は、通信制御部６０４を介して、景観要素認識サーバ２４２０から算出したユーザの現在地情報を受信する。そして、現在地報知部２３０８からユーザに報知する。

移動方向／速度算出結果受信部２３０９は、通信制御部６０４を介して、景観要素認識サーバ２４２０から算出したユーザの移動方向および移動速度情報を受信する。そして、移動方向／速度報知部２３１０からユーザに報知する。

《景観要素認識サーバの機能構成》
図２４は、本実施形態に係る景観要素認識サーバの機能構成を示すブロック図である。なお、図２４において、第２実施形態の図７と同様の機能構成部には同じ参照番号を付して、説明を省略する。

景観要素記憶部２４０５は、景観要素認識部７０３が認識した景観要素を、景観要素の撮像角度と撮像時間とに対応付けて記憶する。あるいは、景観要素までの距離を記憶する。景観要素比較部２４０６は、同じ景観要素と認識された景観要素の撮像角度を比較する。また、景観要素の比較により映像中の景観要素の消滅と出現を検出する。

撮像角度の変化が所定閾値以上であれば、移動方向／速度算出部２４０７が、地図ＤＢ２２２２を参照して、移動方向および移動速度を算出する。そして、移動方向／速度送信部２４０８は、通信制御部７０１を介して、算出された移動方向および移動速度を通信端末２０１０に送信する。

一方、景観要素の消滅と出現が所定数を超えたならば、現在地算出部２４０９において広範囲の景観要素と撮像角度とから現在地を算出する。そして、現在地送信部２４１０は、通信制御部７０１を介して、算出された現在地を通信端末２０１０に送信する。

（局所特徴量ＤＢ）
図２５は、本実施形態に係る局所特徴量ＤＢ２２２１の構成を示す図である。

図２５の図８との相違点は、同じ景観要素ＩＤ２５０１および名称２５０２に対応付けて、第１算出局所特徴量２５０３や第２算出局所特徴量のように複数の局所特徴量が記憶されている点にある。これら複数の局所特徴量は、その間の相関が小さいものが選択されている。それぞれの局所特徴量が、第１番局所特徴量から第ｍ番局所特徴量２５０５から構成されるのは、図８と同様である。

（地図ＤＢ）
図２６は、本実施形態に係る地図ＤＢ２２２２の構成を示す図である。

地図ＤＢ２２２２は、地図データ記憶部２６１０と景観要素位置記憶部２６２０とを有する。地図データ記憶部２６１０には、地図ＩＤ２６１１に対応付けて地図データ２６１２が記憶される。景観要素位置記憶部２６２０には、景観要素ＩＤ２６２１に対応付けて、景観要素のＩＤＩ経度からなる座標２６２２と、住所２６２３と、地図データ記憶部２６１０に記憶された地図上の位置２６２６と、が記憶される。

《景観要素認識部の処理》
図２７Ａおよび図２７Ｂは、本実施形態に係る景観要素認識部の処理を示す図である。なお、説明を簡略化するため、図２７Ａおよび図２７Ｂにおいては、１つの景観要素について説明するが、映像中の多数の景観要素についても同様である。

図２７Ａは、地上における景観要素認識部の処理を示す。図２７Ａは、通信端末２０１０が地上から撮像した景観要素の映像２７９１〜２７９３に基づいて生成した局所特徴量を、あらかじめ局所特徴量ＤＢ２２２１に格納された局所特徴量と照合する様子を示す図である。

図２７Ａの左図の通信端末２０１０で撮像された映像２７９１〜２７９３からは、本実施形態に従い局所特徴量が生成される。そして、局所特徴量ＤＢ２２２１に格納された景観要素の局所特徴量との照合により、映像２７９１〜２７９３の景観要素の撮像方角が算出される。

図２７Ｂは、空中における景観要素認識部の処理を示す。図２７Ｂは、通信端末２０１０が空中から撮像した景観要素の映像２７９４〜２７９６に基づいて生成した局所特徴量を、あらかじめ局所特徴量ＤＢ２２２１に格納された局所特徴量と照合する様子を示す図である。

図２７Ｂの左図の通信端末２０１０で撮像された映像２７９４〜２７９６からは、本実施形態に従い局所特徴量が生成される。そして、局所特徴量ＤＢ２２２１に格納された景観要素の局所特徴量との照合により、映像２７９４〜２７９６の景観要素の撮像方角が算出される。

《通信端末のハードウェア構成》
図２８は、本実施形態に係る通信端末２０１０のハードウェア構成を示すブロック図である。なお、第２実施形態の図１２と同様の要素には同じ参照番号を付して、説明は省略する。

ＲＡＭ２８４０は、ＣＰＵ１２１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ２８４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。現在地算出結果２８４１は、算出したユーザの現在地を示す。移動方向／速度算出結果２８４２は、算出した移動方向および移動速度を示す。表示画面データ１２４７は、ユーザに現在地算出結果２８４１や移動方向／速度算出結果２８４２を含む情報を報知するための表示画面データを示す。

ストレージ２８５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。算出結果受信報知モジュール２８５１は、現在地あるいは移動方向および移動速度を景観要素認識サーバ２４２０から受信して報知するモジュールである。

なお、図２８には、本実施形態に必須なデータやプログラムのみが示されており、本実施形態に関連しないデータやプログラムは図示されていない。

《通信端末の処理手順》
図２９は、本実施形態に係る通信端末２０１０の処理手順を示すフローチャートである。なお、第２実施形態の図１３と同様のステップには同じステップ番号を付して、説明は省略する。

ステップＳ１３２１において、データ受信と判定した場合には、まず、ステップＳ２９２３において、景観要素認識結果の受信であるかを判定する。景観要素認識結果の受信であればステップＳ２９２５に進んで、景観要素認識結果を報知する。次に、ステップＳ２９２７において、現在地算出結果の受信であるかを判定する。現在地算出結果の受信であればステップＳ２９２９に進んで、現在地を報知する。次に、ステップＳ２９３１において、移動方向／速度算出結果の受信であるかを判定する。移動方向／速度算出結果の受信であればステップＳ２９３３に進んで、移動方向および移動速度を報知する。

《景観要素認識サーバのハードウェア構成》
図３０は、本実施形態に係る景観要素認識サーバ２４２０のハードウェア構成を示すブロック図である。なお、第２実施形態の図１５と同様の要素には同じ参照番号を付して、説明は省略する。

ＲＡＭ３０４０は、ＣＰＵ１５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ３０４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。現在地算出テーブル３０４１は、現在地を算出するためのパラメータを記憶するテーブルを示す（図３１Ａ参照）。移動方向／速度算出テーブル３０４２は、移動方向および移動速度を算出するためのパラメータを記憶するテーブルを示す（図３１Ｂ参照）。

ストレージ３０５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。局所特徴量ＤＢ２２２１は、図２５に示したと同様の局所特徴量ＤＢを示す。地図ＤＢ２２２２は、図２６に示したと同様の地図ＤＢを示す。

ストレージ３０５０には、以下のプログラムが格納される。現在地算出モジュール３０５１は、景観要素と景観要素の撮像方角からユーザの現在地を算出するモジュールである。移動方向／速度算出モジュール３０５２は、景観要素と景観要素の撮像方角変化からユーザの移動方向および移動速度を算出するモジュールである。認識結果／算出結果送信モジュール３０５３は、映像中の景観要素の認識結果と、現在地あるいは移動方向および移動速度の算出結果とを通信端末２０１０に送信するモジュールである。

なお、図３０には、本実施形態に必須なデータやプログラムのみが示されており、本実施形態に関連しないデータやプログラムは図示されていない。

（現在地算出テーブル）
図３１Ａは、本実施形態に係る現在地算出テーブル３０４１の構成を示す図である。

現在地算出テーブル３０４１は、通信端末ＩＤ３１１１に対応付けて、第１景観要素３１１２の第１景観要素ＩＤと第１景観要素までの距離と撮像方向、第２景観要素３１１３の第２景観要素ＩＤと第２景観要素までの距離と撮像方向、を記憶する。そして、これら景観要素への距離と撮像方向に基づいて算出された現在地算出結果３１１４を記憶する。

（移動方向／移動速度算出テーブル）
図３１Ｂは、本実施形態に係る移動方向／速度算出テーブル３０４２の構成を示す図である。

移動方向／速度算出テーブル３０４２は、通信端末ＩＤ３１２１に対応付けて、第１景観要素３１２２の第１景観要素ＩＤと、以前の映像における第１景観要素までの距離と撮像方向と、現在の映像における第１景観要素までの距離と撮像方向と、を記憶する。また、第２景観要素３１２３の第２景観要素ＩＤと、以前の映像における第１景観要素までの距離と撮像方向と、現在の映像における第１景観要素までの距離と撮像方向と、を記憶する。そして、これら景観要素への距離と撮像方向に基づいて算出された移動方向／速度算出結果３１２４を記憶する。

《景観要素認識サーバの処理手順》
図３２は、本実施形態に係る景観要素認識サーバ２４２０の処理手順を示すフローチャートである。このフローチャートは、図３０のＣＰＵ１５１０によりＲＡＭ１５４０を使用して実行され、図２４の景観要素認識サーバ２４２０の各機能構成部を実現する。

局所特徴量ＤＢの生成であればステップＳ３２１３に進んで、本実施形態の局所特徴量ＤＢ生成処理を実行する（図３３参照）。また、局所特徴量の受信であればステップＳ１６２３に進んで、景観要素認識処理を行なう（図１８Ａおよび図１８Ｂ参照）。そして、ステップＳ３２２５において、景観要素認識結果を通信端末２０１０に送信する。

ステップＳ３２２７においては、現在地算出の条件を満たしたか否かを判定する。上述のように、現在地算出の条件とは、景観要素の変化（消滅や出現）が所定閾値を超えた場合とする。現在地算出の条件を満たせばステップＳ３２２９に進んで、現在地算出処理を実行する（図３４Ａ参照）。そして、ステップＳ３２３１において、算出された現在地情報を通信端末２０１０に送信する。

次に、ステップＳ３２３３においては、移動方向／速度算出の条件を満たしたか否かを判定する。上述のように、移動方向／速度算出の条件とは、景観要素の撮像角度の変化が所定閾値を超えた場合とする。移動方向／速度算出の条件を満たせばステップＳ３２３５に進んで、移動方向／速度算出処理を実行する（図３４Ｂ参照）。そして、ステップＳ３２３７において、算出された現在地情報を通信端末２０１０に送信する。

（局所特徴量ＤＢ生成処理）
図３３は、本実施形態に係る局所特徴量ＤＢ生成処理Ｓ３２１３の処理手順を示すフローチャートである。なお、第２実施形態の図１７と同様のステップには同じステップ番号を付して、説明を省略する。

ステップＳ３３０１においては、ある景観要素について生成した局所特徴量を記憶する。次に、同じ景観要素を撮像した他の画像があるか否かが判定される。他の画像があればステップＳ１７０１に戻って、局所特徴量に生成を繰り返す。他の画像が無ければステップＳ３３０５に進んで、ステップＳ３３０１において記憶した同じ景観要素から生成された局所特徴量の内から、相関の小さい複数（少なくとも２つ）の局所特徴量を選択する。したがって、ステップＳ１７１５においては、局所特徴量ＤＢ２２２１には、景観要素に対応付けて相関の小さい複数の局所特徴量が記憶される。

（現在地算出処理）
図３４Ａは、本実施形態に係る現在地算出処理Ｓ３２２９の処理手順を示すフローチャートである。

まず、ステップＳ３４１１において、地図ＤＢ２２２２を参照して、認識した連続画像内の各景観要素位置を取得する。次に、ステップＳ３４１３において、局所特徴量ＤＢ２２２１の対応景観要素の局所特徴量との照合における特徴点の配置から、各景観要素の向き（撮像角度）を算出する。そして、各景観要素の位置と向きとから、撮像現在地（通信端末およびユーザの現在地）を算出する。なお、ステップＳ３４１３における照合は、景観要素認識処理で既に行なっているので、その時点で向きを算出すれば必要ない。

（移動方向／速度算出処理）
図３４Ｂは、本実施形態に係る移動方向／速度算出処理Ｓ３２３５の処理手順を示すフローチャートである。

まず、ステップＳ３４２１において、局所特徴量ＤＢ２２２１を参照して、第１画像内の少なくとも２つの景観要素の向き（撮像角度）を算出する。続いて、ステップＳ３４２３において、局所特徴量ＤＢ２２２１を参照して、第２画像内の同じ景観要素の向き（撮像角度）を算出する。ステップＳ３４２５においては、上記景観要素までの距離を算出する。なお、景観要素までの距離は、通信端末２０１０による測定から取得してもよい。そして、ステップＳ３４２７において、景観要素の向き（撮像角度）の変化と景観要素までの距離とに基づいて、撮像位置（通信端末およびユーザの現在地）を算出する。なお、ステップＳ３４２１およびＳ３４２３における向きの算出は、景観要素認識処理で算出可能であるので、その時点で向きを算出すれのであれば必要ない。

［第５実施形態］
次に、本発明の第５実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第４実施形態と比べると、ユーザの現在地および／または移動方向／速度の算出結果からユーザのナビゲーションをする点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、景観要素認識サーバがナビゲーションを行なう例を示すが、車両搭載のサビゲーションシステムや携帯端末に搭載されたナビゲーション処理によりナビゲーションを行なう構成のように、役割分担を変更できる。

本実施形態によれば、映像中の画像内の景観要素に基づいて、リアルタイムにユーザをナビゲーションできる。

《通信端末の表示画面例》
図３５は、本実施形態に係る情報処理システムにおける通信端末３５１０の表示画面例を示す図である。

図３５の左図は、通信端末３５１０が撮像した景観の表示画面３５１１を示す。図３５の中央図は、通信端末３５１０を持ったユーザ（あるいは通信端末３５１０を設置した車両）が、道路に沿ってある距離だけ移動した後に撮像した景観の表示画面３５１２を示す。図３５では、ユーザが上方に進んでいることが見られる。

そして、本実施形態における処理により、まず、映像中の景観要素を認識して、映像に景観要素名（○○ビル３５１４と××公園３５１５）を重畳表示する。さらに、左図と中央図とを組み合わせて、撮像した景観中の景観要素の変化に基づいて通信端末３５１０の現在地と、移動方向および移動速度とを算出する。図３５の右図の表示画面３５１３には、算出した現在地と、移動方向および移動速度とに基づいて、地図ＤＢ２２２２を参照して、ユーザの目的地（△△ビル）へのルートを示すナビゲーション情報と、目的地（△△ビル）までの予測時間とを示す指示コメント３５１６を重畳表示する。

《情報処理システムの動作手順》
図３６は、本実施形態に係る情報処理システムの動作手順を示すシーケンス図である。なお、図４と同様の動作手順には同じステップ番号を付して、説明は省略する。

ステップＳ４００およびＳ４０１においては、アプリケーションやデータの相違の可能性はあるが、図４と同様にダウンロードおよび起動と初期化が行なわれる。

ステップＳ３６０３においては、通信端末３５１０においてユーザの入力により目的地設定がされる。ステップＳ３６０５およびＳ３６０７と、ステップＳ３６０９およびＳ３６１１とにおいて、連続する映像の取得と局所特徴量生成が行なわれる。なお、連続する映像の取得は、所定時間の間隔で行なわれるが、その所定時間はユーザが徒歩であるか、車両に乗っているかにより、あるいは仮測定したユーザの移動速度に対応して適切に設定あるいは調整される。ステップＳ３６１３においては、連続する映像の局所特徴量と特徴点座標とを符号化する。そして、ステップＳ３６１５において、目的地と連続する画像の局所特徴量とが、通信端末３５１０から景観要素認識サーバに送信される。なお、送信される局所特徴量の連続画像は少なくとも２つであり、３つ以上の連続画像の局所特徴量を送信してもよい。

景観要素認識サーバは、局所特徴量ＤＢ２２２１を参照して、ステップＳ３６１７において映像中の景観要素を認識し、ステップＳ３６１９において特徴点座標の配置から景観要素を撮像している角度を算出する。

次に、景観要素認識サーバは、地図ＤＢ２２２２を参照して、ステップＳ３６２１において、認識した景観要素位置を取得して、景観要素位置とその撮像角度とからユーザの現在地を算出する（詳細は、第４実施形態参照）。図３５の例では、認識した景観要素の○○ビルおよび××公園と、その地図上の位置と、各景観要素の撮像角度とから、ユーザの現在地を算出する。また、ステップＳ３５２３においては、２つの映像間の景観要素の撮像角度の変化からユーザの移動方向および移動速度を算出する（詳細は、第４実施形態参照）。ユーザの現在地と、ユーザの移動方向および移動速度が算出されたので、ステップＳ３６２５において、それらの情報に基づいて、地図ＤＢ２２２２を参照して、目的地への経路情報と到着予測時刻を算出すると共に、指示コメント生成が行なわれる。

景観要素認識サーバは、ステップＳ３６２７において、ナビゲーション情報として、指示コメントと、指示コメントを表示する目標物の局所特徴量を送信する。また、算出された現在地、移動方向および移動速度、到着予測時刻を送信する。通信端末３５１０は、ステップＳ３６２９において、先に生成された映像の局所特徴量とナビゲーション用局所特徴量ＤＢ３６２１に格納された目標物を示す局所特徴量とを照合する。そして、映像上の目標物に指示コメントを表示する。図３５の例では、○○ビルおよび××公園の間の道を指し示す指示コメント“左折れ、△△ビルまで６分”を表示する。

ステップＳ３６３１においては、ナビゲーションの終了か否かを判定し、継続であればステップＳ３６０５に進んで、ナビゲーションを継続する。

（ナビゲーション用局所特徴量ＤＢ）
図３７は、本実施形態に係るナビゲーション用局所特徴量ＤＢ３６２１の構成を示す図である。

ナビゲーション用局所特徴量ＤＢ３６２１には、景観要素認識サーバで算出された現在地３７０１と、通信端末３５１０で設定された目的地（△△ビル）３７０２と、景観要素認識サーバで算出された移動方向３７０３および移動速度３７０４が記憶される。

また、局所特徴量記憶部３７０５には、経路上の景観要素に対応して局所特徴量が記憶される。また、指示コメント記憶部３７０６には、指示コメントと、コメントの表示条件と表示位置とが記憶される。

図３５の例では、○○ビルの局所特徴量と、××公園の局所特徴量が景観要素認識サーバから通信端末３５１０にダウンロードされる。また、指示コメント“左折れ、（ ）ビルまで（ ）分”と、コメント表示条件である映像中の○○ビルおよび××公園の出現、そして、表示位置の位置情報として○○ビルおよび××公園の間が記憶される。

［第６実施形態］
次に、本発明の第６実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第５実施形態と比べると、目標物を認識しながら目標物に向かって装置を自動誘導制御する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

本実施形態によれば、映像中の画像内の景観要素に基づいて、リアルタイムに装置を自動誘導制御できる。

《通信端末の表示画面例》
図３８は、本実施形態に係る情報処理システムにおける通信端末３８１０の表示画面例を示す図である。なお、表示画面は本実施形態の処理を説明するためのもので、本実施形態は自動誘導制御であるので、表示をしなくてもよい。

図３８の左図は、通信端末３８１０が撮像した景観の表示画面３８１１を示す。表示画面３８１１には、誘導の目標物（ターゲット）である飛行場の滑走路３８１１ａが示されている。図３５の中央図は、通信端末３８１０が空中をある距離だけ移動した後に撮像した景観の表示画面３８１２を示す。図３８では、通信端末３８１０が上方に進んでいることが見られる。そして、目標物に対してコースから右に外れている。表示部があれは図のように警告が表示されるが、自動誘導制御であれば自動的に左に旋回してコース内に戻る制御が行なわれる。なお、本実施形態は誘導制御のための現在地、移動方向および移動速度のリアルタイム取得が特徴であり、誘導制御については詳細な説明は省略する。

本実施形態における処理によれば、左図と中央図とを組み合わせて、撮像した景観中の景観要素の変化に基づいて通信端末３８１０の現在地と、移動方向および移動速度とを算出する。図３８の右図の表示画面３８１３には、コース内に復帰してさらに接近した飛行場の滑走路３８１３ａが示されている。表示部があれは図のように正常復帰が表示される。

《情報処理システムの動作手順》
図３９は、本発明の第６実施形態に係る情報処理システムの動作手順を示すシーケンス図である。なお、第２実施形態の図４および図５と同様の動作手順には同じステップ番号を付して、説明を省略する。

ステップＳ４００およびＳ４０１においては、アプリケーションやデータの相違の可能性はあるが、図４と同様にダウンロードおよび起動と初期化が行なわれる。

誘導制御コンピュータは、ステップＳ３９１１において、目標とする景観要素を指示する目標景観要素指示に従って、必要であれば目標景観要素の局所特徴量を生成して、局所特徴量ＤＢ２２２１に格納する。既に目標景観要素の局所特徴量が局所特徴量ＤＢ２２２１に格納されていれば、目標とする景観要素の景観要素ＩＤを設定するのみでよい。

誘導制御コンピュータは、ステップＳ３９１３においては、通信端末３８１０から送信された映像の局所特徴量から、局所特徴量ＤＢ２２２１に格納された目標景観要素の局所特徴量と照合して目標景観要素を認識する。ステップＳ３９１５においては、認識した目標景観要素が映像中の所望位置にあるか否かを判定して、所望位置でなければ所望位置になるように位置補正する誘導制御を行なう。ステップＳ３９１７においては、誘導制御の終了か否かを判定し、終了でなければステップＳ３９１３に戻って、新たな映像の局所特徴量に基づいた自動誘導制御を継続する。

《誘導制御コンピュータの処理手順》
図４０は、本実施形態に係る誘導制御コンピュータの処理手順を示すフローチャートである。このフローチャートは、誘導制御コンピュータのＣＰＵによってＲＡＭを使用しながら実行される。なお、図４０の処理手順において第２実施形態の図１６と同様のステップには同じステップ番号を付して、説明は省略する。

まず、ステップＳ４０１１において、目標とする景観要素の指示か否かを判定する。また、ステップＳ１６２１において、通信端末からの局所特徴量受信かを判定する。いずれでもなければ、ステップＳ１６３１において他の処理を行なう。

目標景観要素の設定であればステップＳ４０１３に進んで、目標景観要素の局所特徴量を局所特徴量ＤＢ２２２１に記憶する。

また、局所特徴量の受信であればステップＳ１６２３に進んで、目標の景観要素認識処理を行なう。なお、本実施形態においては、目標景観要素のみを認識することを除いて、図１８Ａおよび図１８Ｂの処理手順と同様であり、詳細は省略する。

次に、ステップＳ４０２５において、目標景観要素が映像中にあることが認識されたか否かを判定する。映像中に無ければステップＳ４０２９に進んで、映像中に目標景観要素があるように誘導制御による位置補正を行なう。一方、目標景観要素が映像中にあればステップＳ４０２７に進んで、映像中の目標景観要素の位置が所望位置かを判定する。なお、所望位置とは、映像中央や所定位置を含む領域内にある場合を示す。所望位置にあれば何もせずに終了する。しかし、所望位置になければステップＳ４０２９に進んで、映像中の所望位置に目標景観要素があるように誘導制御による位置補正を行なう。

［第７実施形態］
次に、本発明の第７実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第６実施形態と比べると、経路の景観を認識しながら目標物に向かって装置を自動誘導制御する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

本実施形態によれば、映像中の画像内の景観要素に基づいて、リアルタイムに装置を自動誘導制御できる。

なお、第６実施形態の自動誘導制御と本実施形態の自動誘導制御は、装置と目標物との距離や装置の高度などの条件に合わせて切り替えて使用することが可能である。また、従来の電波やレーザなどを使用した自動誘導制御とも組み合わせることができる。一般に、地上から遠く離れた位置では電波による誘導、地上の景観要素が認識可能な高度では本実施形態の誘導、目標物が見える距離や高度では第６実施形態の誘導が、好適である。あるいは、視界がよいか悪いかなどの条件により誘導方法を切り替える事も可能である。

《通信端末の表示画面例》
図４１は、本実施形態に係る情報処理システムにおける通信端末の表示画面例を示す図である。なお、表示画面は本実施形態の処理を説明するためのもので、本実施形態は自動誘導制御であるので、表示をしなくてもよい。

図４１の左図は、通信端末４１１０が撮像した空中から地上を撮像した景観の表示画面４１１１を示す。表示画面４１１１には、認識する景観要素の領域４１１１ａが示されている。この領域４１１１ａ内の景観要素を、局所特徴量ＤＢ２２２１の局所特徴量との照合により認識する。そして、目標とする景観要素に向かうコース中のあるべき景観を記憶する経路画面ＤＢ４２１０と照合して、コース上を移動しているか否かを判定する。図４１の左図においては、コース上を移動していると判定され、正常に○○町上空Ａmを飛行中であることを示している。

図４１の中央図は、通信端末４１１０が空中をある距離だけ移動した後に空中から地上を撮像した景観の表示画面４１１２を示す。図４１では、通信端末４１１０が上方に進んでいることが見られる。表示画面４１１２には、認識する景観要素の領域４１１２ａが示されている。この領域４１１２ａ内の景観要素を、局所特徴量ＤＢ２２２１の局所特徴量との照合により認識する。そして、目標とする景観要素に向かうコース中のあるべき景観を記憶する経路画面ＤＢ４２１０と照合して、コース上を移動しているか否かを判定する。図４１の中央図においては、コース上を移動していると判定され、正常に△△町上空Ｂm（＜Ａm）を飛行中であることを示している。

図４１の右図は、通信端末４１１０が空中をさらにある距離だけ移動した後に空中から地上を撮像した景観の表示画面４１１３を示す。表示画面４１１３には、認識する景観要素の領域４１１３ａが示されている。この領域４１１３ａ内の景観要素を、局所特徴量ＤＢ２２２１の局所特徴量との照合により認識する。そして、目標とする景観要素に向かうコース中のあるべき景観を記憶する経路画面ＤＢ４２１０と照合して、コース上を移動しているか否かを判定する。図４１の右図においては、コース上を移動していると判定され、正常に××町上空Ｃm（＜Ｂm＜Ａm）を飛行中であることを示している。

《情報処理システムの動作手順》
図４２は、本実施形態に係る情報処理システムの動作手順を示すシーケンス図である。なお、第２実施形態の図４および図５と同様の動作手順には同じステップ番号を付して、説明を省略する。

ステップＳ４００およびＳ４０１においては、アプリケーションやデータの相違の可能性はあるが、図４と同様にダウンロードおよび起動と初期化が行なわれる。

誘導制御コンピュータは、ステップＳ４２１１において、目標とする景観要素の指示に従って、必要であれば目標景観要素および地図ＤＢ２２２２から取得した目標景観要素に向かうコースにある景観要素の局所特徴量を生成して、局所特徴量ＤＢ２２２１に格納する。既に景観要素の局所特徴量が局所特徴量ＤＢ２２２１に格納されていれば、各景観要素の景観要素ＩＤを設定するのみでよい。次に、誘導制御コンピュータは、ステップＳ４２１３において、局所特徴量ＤＢ「２２２１および地図ＤＢ２２２２を参照して、目標景観要素までのコース途中の複数箇所における映像を表わす経路図面を生成して、経路画面ＤＢ４２１０に経路画像保持を行なう。

誘導制御コンピュータは、ステップＳ４２１５においては、通信端末４１１０から送信された映像の局所特徴量から、局所特徴量ＤＢ２２２１に格納された景観要素の局所特徴量と照合して映像中の景観要素を認識する。ステップＳ４２１７においては、認識した複数の景観要素からなる景観認識を行ない、経路画面ＤＢ４２１０に格納された目標景観要素までのコースからの映像と一致するように、誘導制御により経路補正を行なう。ステップＳ４２１９においては、誘導制御の終了か否かを判定し、終了でなければステップＳ４２１５に戻って、新たな映像の局所特徴量に基づいた自動誘導制御を継続する。

（経路画面ＤＢ）
図４３は、本実施形態に係る経路画面ＤＢ４２１０の構成を示す図である。

経路画面ＤＢ４２１０は、目標景観要素までの経路に従って、撮像されるべき景観要素群の局所特徴量を順に記憶する景観要素群記憶部４３１０と、目標景観要素までの経路に従って、撮像されるべき映像の局所特徴量を記憶する映像記憶部４３２０とを有してよい。

景観要素群記憶部４３１０は、目標景観要素４３１１までの経路ＩＤ４３１２に対応付けて、映像中にあるべき第１景観要素ＩＤ４３１３、第２景観要素ＩＤ４３１４のそれぞれについて、局所特徴量と各経路での映像中の相対位置とを記憶する。

一方、映像記憶部４３２０は、目標景観要素４３２１までの経路ＩＤ４３２２に対応付けて、あるべき映像全体の局所特徴量を記憶する。

本実施形態の自動誘導制御は、上記景観要素群記憶部４３１０と映像記憶部４３２０とのいずれか、あるいは両方を使用して行なわれる。

《誘導制御コンピュータの処理手順》
図４４は、本実施形態に係る誘導制御コンピュータの処理手順を示すフローチャートである。このフローチャートは、誘導制御コンピュータのＣＰＵによってＲＡＭを使用しながら実行される。なお、図４４の処理手順において第２実施形態の図１６または第６実施形態の図４０と同様のステップには同じステップ番号を付して、説明は省略する。

まず、ステップＳ４０１１において、目標とする景観要素の指示か否かを判定する。また、ステップＳ１６２１において、通信端末からの局所特徴量受信かを判定する。いずれでもなければ、ステップＳ１６３１において他の処理を行なう。

目標景観要素の設定であればステップＳ４４１３に進んで、目標景観要素までのコース途中における経路画面を経路画面ＤＢ４２１０に記憶する。

また、局所特徴量の受信であればステップＳ１６２３に進んで、景観要素認識処理を行なう。次に、ステップＳ４４２５において、経路画面ＤＢ４２１０を参照して、映像中の認識した景観要素の配置を分析する。ステップＳ４４３７においては、経路画面ＤＢ４２１０の経路画面と映像中の画面との照合によって、ズレがあれば経路補正処理を行なう。

［第８実施形態］
次に、本発明の第８実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第１実施形態乃至第７実施形態と比べると、通信端末が景観要素認識を含む全ての処理を行なう点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

本実施形態によれば、映像中の画像内の景観要素に基づいて、通信端末のみ全ての処理を行なうことができる。

《通信端末の機能構成》
図４５は、本実施形態に係る通信端末４５１０の機能構成を示すブロック図である。なお、図４５において第２実施形態の図６あるいは第４実施形態の図２３と同様の機能構成部には同じ参照番号を付して、説明を省略する。

景観要素認識部４５０１は、局所特徴量生成部６０２が生成した映像の局所特徴量と、局所特徴量ＤＢ４５０２に格納された景観要素の局所特徴量を照合して、映像中の景観要素を認識する。景観要素記憶部４５０３は、少なくとも１つの以前に認識した景観要素を記憶する。景観要素比較部４５０４は、景観要素記憶部４５０３に記憶された景観要素と、現在、景観要素認識部４５０１において認識された景観要素とを比較する。

そして、移動方向／速度算出部４５０５は、地図ＤＢ４５０６を参照して、景観要素の撮像角度の変化に基づいて、ユーザの移動方法および移動速度を算出する。また、現在地算出部４５０７は、地図ＤＢ４５０６を参照して、複数の景観要素の撮像角度に基づいて、ユーザの現在地を算出する。

ナビゲーション情報生成部４５０８は、地図ＤＢ４５０６を参照して、算出されたユーザの現在地と算出された、ユーザの移動方法および移動速度とに基づいて、目的地に向かうナビゲーション情報を生成する。ナビゲーション情報報知部４５０９は、生成されたナビゲーション情報をユーザに報知する。

［他の実施形態］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。

この出願は、２０１２年１月３０日に出願された日本出願特願２０１２−０１７３８６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
景観要素と、前記景観要素の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記景観要素が存在すると認識する景観要素認識手段と、
を備えることを特徴とする情報処理システム。
（付記２）
前記景観要素は、自然景観を構成する景観要素と、人工景観を構成する建造物とを含むことを特徴とする付記１に記載の情報処理システム。
（付記３）
前記景観要素認識手段の認識結果を報知する報知手段をさらに備えることを特徴とする付記１または２に記載の情報処理システム。
（付記４）
前記報知手段は、さらに、前記認識結果に関連する情報を報知することを特徴とする付記３に記載の情報処理システム。
（付記５）
前記報知手段は、さらに、前記認識結果に関連する情報を取得するためのリンク情報を報知することを特徴とする付記３または４に記載の情報処理システム。
（付記６）
前記報知手段は、前記認識結果に関連する情報をリンク情報に従って取得する関連情報取得手段を有し、
リンク情報に従って取得した前記関連情報を報知することを特徴とする付記３に記載の情報処理システム。
（付記７）
複数の景観要素の位置および撮像角度を算出する位置／角度算出手段と、
前記複数の景観要素の位置および撮像角度から現在地を算出する現在地算出手段と、
をさらに備えることを特徴とする付記１乃至６のいずれか１つに記載の情報処理システム。
（付記８）
連続画像内の景観要素の撮像角度を算出する角度算出手段と、
前記連続画像内の景観要素の撮像角度から撮像位置の移動方向および移動速度を算出する移動方向／速度算出手段と、
をさらに備えることを特徴とする付記１乃至７のいずれか１つに記載の情報処理システム。
（付記９）
目的地を設定する目的地設定手段と、
複数の景観要素の位置および撮像角度を算出する位置／角度算出手段と、
前記複数の景観要素の位置および撮像角度から現在地を算出する現在地算出手段と、
前記目的地と前記現在地とに基づいて、前記目的地に向かう指示コメントを、前記現在地から前記目的地への経路上に存在する景観要素の局所特徴量と対応付けて生成する指示コメント生成手段と、
前記撮像手段が撮像した映像中の景観要素に対応付けて、前記指示コメントを表示する表示手段と、
をさらに備えることを特徴とする付記１乃至６のいずれか１つに記載の情報処理システム。
（付記１０）
目標とする景観要素を指示する目標景観要素指示手段と、
前記目標とする景観要素が、前記撮像手段が撮像した映像中の所望位置になるように撮像位置を制御する誘導制御手段と、
をさらに備えることを特徴とする付記１乃至８のいずれか１つに記載の情報処理システム。
（付記１１）
前記第１局所特徴量記憶手段は、複数の景観要素にそれぞれ対応付けて各景観要素の画像から生成した前記ｍ個の第１局所特徴量を記憶し、
前記景観要素認識手段が認識した、前記撮像手段が撮像した前記画像に含まれる複数の景観要素の配置に基づいて景観を認識する景観認識手段を備えることを特徴とする付記１乃至８のいずれか１つに記載の情報処理システム。
（付記１２）
目標とする景観要素を指示する目標景観要素指示手段と、
前記目標とする景観要素までのコース途中の画像内の景観要素を、局所特徴量に対応付けて保持する経路画像保持手段と、
前記撮像手段の撮像した映像中の所定位置に所望の景観要素が存在するように撮像位置を制御する誘導制御手段と、
をさらに備えることを特徴とする付記１乃至８のいずれか１つに記載の情報処理システム。
（付記１３）
前記第１局所特徴量および前記第２局所特徴量は、画像から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数の次元の特徴ベクトルを生成することにより生成されることを特徴とする付記１乃至１２のいずれか１つに記載の情報処理システム。
（付記１４）
前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数の次元の特徴ベクトルから、隣接するサブ領域間の相関がより大きな次元を削除することにより生成されることを特徴とする付記１３に記載の情報処理システム。
（付記１５）
前記特徴ベクトルの複数の次元は、前記特徴点の特徴に寄与する次元から順に、かつ、前記局所特徴量に対して求められる精度の向上に応じて第１次元から順に選択できるよう、所定の次元数ごとに前記局所領域をひと回りするよう配列することを特徴とする付記１３または１４に記載の情報処理システム。
（付記１６）
前記第２局所特徴量生成手段は、前記景観要素の相関に対応して、他の景観要素とより低い前記相関を有する景観要素については次元数のより少ない前記第２局所特徴量を生成することを特徴とする付記１５に記載の情報処理システム。
（付記１７）
前記第１局所特徴量記憶手段は、前記景観要素の相関に対応して、他の景観要素とより低い前記相関を有する景観要素については次元数のより少ない前記第１局所特徴量を記憶することを特徴とする付記１５または１６に記載の情報処理システム。
（付記１８）
景観要素と、前記景観要素の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理システムを用いた情報処理方法であって、
撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記景観要素が存在すると認識する認識ステップと、
を含むことを特徴とする情報処理方法。
（付記１９）
撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる景観要素を認識する情報処理装置に送信する第１送信手段と、
前記情報処理装置から、撮像した前記画像に含まれる景観要素を示す情報を受信する第１受信手段と、
を備えたことを特徴とする通信端末。
（付記２０）
撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる景観要素を認識する情報処理装置に送信する第１送信ステップと、
前記情報処理装置から、撮像した前記画像に含まれる景観要素を示す情報を受信する第１受信ステップと、
を含むことを特徴とする通信端末の制御方法。
（付記２１）
撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる景観要素を認識する情報処理装置に送信する第１送信ステップと、
前記情報処理装置から、撮像した前記画像に含まれる景観要素を示す情報を受信する第１受信ステップと、
をコンピュータに実行させることを特徴とする通信端末の制御プログラム。
（付記２２）
景観要素と、前記景観要素の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記景観要素が存在すると認識する認識手段と、
認識した前記景観要素を示す情報を前記通信端末に送信する第２送信手段と、
を備えることを特徴とする情報処理装置。
（付記２３）
景観要素と、前記景観要素の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置の制御方法であって、
通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記景観要素が存在すると認識する認識ステップと、
認識した前記景観要素を示す情報を前記通信端末に送信する第２送信ステップと、
を含むことを特徴とする情報処理装置の制御方法。
（付記２４）
景観要素と、前記景観要素の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置の制御プログラムであって、
通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記景観要素が存在すると認識する認識ステップと、
認識した前記景観要素を示す情報を前記通信端末に送信する第２送信ステップと、
をコンピュータに実行させることを特徴とする制御プログラム。

Claims (16)

1. 景観要素と、前記景観要素の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
   撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
   前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記景観要素が存在すると認識する景観要素認識手段と、
   を備え、
   前記第１局所特徴量および前記第２局所特徴量は、画像から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数の次元の特徴ベクトルを生成することにより生成され、
   前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数の次元の特徴ベクトルから、隣接するサブ領域間の相関がより小さくなるように次元を選定することにより生成されることを特徴とする情報処理システム。
2. 前記景観要素は、自然景観を構成する景観要素と、人工景観を構成する建造物とを含むことを特徴とする請求項１に記載の情報処理システム。
3. 前記景観要素認識手段の認識結果を報知する報知手段をさらに備えることを特徴とする請求項１または２に記載の情報処理システム。
4. 前記報知手段は、さらに、前記認識結果に関連する情報を報知することを特徴とする請求項３に記載の情報処理システム。
5. 前記報知手段は、さらに、前記認識結果に関連する情報を取得するためのリンク情報を報知することを特徴とする請求項３または４に記載の情報処理システム。
6. 前記報知手段は、前記認識結果に関連する情報をリンク情報に従って取得する関連情報取得手段を有し、
   リンク情報に従って取得した前記関連情報を報知することを特徴とする請求項３に記載の情報処理システム。
7. 複数の景観要素の位置および撮像角度を算出する位置／角度算出手段と、
   前記複数の景観要素の位置および撮像角度から現在地を算出する現在地算出手段と、
   をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理システム。
8. 連続画像内の景観要素の撮像角度を算出する角度算出手段と、
   前記連続画像内の景観要素の撮像角度から撮像位置の移動方向および移動速度を算出する移動方向／速度算出手段と、
   をさらに備えることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理システム。
9. 目的地を設定する目的地設定手段と、
   複数の景観要素の位置および撮像角度を算出する位置／角度算出手段と、
   前記複数の景観要素の位置および撮像角度から現在地を算出する現在地算出手段と、
   前記目的地と前記現在地とに基づいて、前記目的地に向かう指示コメントを、前記現在地から前記目的地への経路上に存在する景観要素の局所特徴量と対応付けて生成する指示コメント生成手段と、
   前記撮像手段が撮像した映像中の景観要素に対応付けて、前記指示コメントを表示する表示手段と、
   をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理システム。
10. 目標とする景観要素を指示する目標景観要素指示手段と、
    前記目標とする景観要素が、前記撮像手段が撮像した映像中の所望位置になるように撮像位置を制御する誘導制御手段と、
    をさらに備えることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
11. 前記第１局所特徴量記憶手段は、複数の景観要素にそれぞれ対応付けて各景観要素の画像から生成した前記ｍ個の第１局所特徴量を記憶し、
    前記景観要素認識手段が認識した、前記撮像手段が撮像した前記画像に含まれる複数の景観要素の配置に基づいて景観を認識する景観認識手段を備えることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
12. 目標とする景観要素を指示する目標景観要素指示手段と、
    前記目標とする景観要素までのコース途中の画像内の景観要素を、局所特徴量に対応付けて保持する経路画像保持手段と、
    前記撮像手段の撮像した映像中の所定位置に所望の景観要素が存在するように撮像位置を制御する誘導制御手段と、
    をさらに備えることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
13. 景観要素と、前記景観要素の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理システムを用いた情報処理方法であって、
    撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
    前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記景観要素が存在すると認識する認識ステップと、
    を含み、
    前記第１局所特徴量および前記第２局所特徴量は、画像から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数の次元の特徴ベクトルを生成することにより生成され、
    前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数の次元の特徴ベクトルから、隣接するサブ領域間の相関がより小さくなるように次元を選定することにより生成されることを特徴とする情報処理方法。
14. 景観要素と、前記景観要素の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
    通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信手段と、
    前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記景観要素が存在すると認識する認識手段と、
    認識した前記景観要素を示す情報を前記通信端末に送信する第２送信手段と、
    を備え、
    前記第１局所特徴量および前記第２局所特徴量は、画像から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数の次元の特徴ベクトルを生成することにより生成され、
    前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数の次元の特徴ベクトルから、隣接するサブ領域間の相関がより小さくなるように次元を選定することにより生成されることを特徴とする情報処理装置。
15. 景観要素と、前記景観要素の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置の制御方法であって、
    通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信ステップと、
    前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記景観要素が存在すると認識する認識ステップと、
    認識した前記景観要素を示す情報を前記通信端末に送信する第２送信ステップと、
    を含み、
    前記第１局所特徴量および前記第２局所特徴量は、画像から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数の次元の特徴ベクトルを生成することにより生成され、
    前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数の次元の特徴ベクトルから、隣接するサブ領域間の相関がより小さくなるように次元を選定することにより生成されることを特徴とする情報処理装置の制御方法。
16. 景観要素と、前記景観要素の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置の制御プログラムであって、
    通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信ステップと、
    前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記景観要素が存在すると認識する認識ステップと、
    認識した前記景観要素を示す情報を前記通信端末に送信する第２送信ステップと、
    をコンピュータに実行させ、
    前記第１局所特徴量および前記第２局所特徴量は、画像から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数の次元の特徴ベクトルを生成することにより生成され、
    前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数の次元の特徴ベクトルから、隣接するサブ領域間の相関がより小さくなるように次元を選定することにより生成されることを特徴とする制御プログラム。

Images