JPWO2013115202A1 - 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム、通信端末およびその制御方法と制御プログラム - Google Patents

Abstract

リアルタイムで映像中の画像内の捜索物を認識する技術を提供する。捜索物と、捜索物の画像のｍ個の特徴点の局所領域の、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶しておき、撮像した映像中の画像からｎ個の特徴点を抽出して、ｎ個の特徴点の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成し、第１局所特徴量の次元数ｉおよび第２局所特徴量の次元数ｊのうち、より少ない次元数を選択し、選択次元数までのｎ個の第２局所特徴量に、選択次元数までのｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、映像中の画像に捜索物が存在すると認識することを特徴とする。

Description

本発明は、局所特徴量を使用して撮像した映像から捜索物を見付けるための技術に関する。

上記技術分野において、特許文献１には、捜索依頼の画像情報と提供された画像情報との一致を捜索して、捜索対象の捜索結果を捜索依頼者に提供する技術が記載されている。また、特許文献２には、あらかじめモデル画像から生成されたモデル辞書を使用して、クエリ画像を認識する場合に、特徴量をクラスタリングすることにより認識速度を向上した技術が記載されている。

特開２００５−２２２２５０号公報 特開２０１１−２２１６８８号公報

しかしながら、上記文献に記載の技術では、リアルタイムで映像中の画像内の捜索物を認識することができなかった。

本発明の目的は、上述の課題を解決する技術を提供することにある。

上記目的を達成するため、本発明に係るシステムは、
捜索物と、前記捜索物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
第１撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記捜索物が存在すると認識する認識手段と、
を備えることを特徴とする。

上記目的を達成するため、本発明に係る方法は、
捜索物と、前記捜索物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理システムの情報処理方法であって、
第１撮像手段によって撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記捜索物が存在すると認識する認識ステップと、
を備えることを特徴とする。

上記目的を達成するため、本発明に係る装置は、
撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
局所特徴量の照合に基づいて撮像した前記画像に含まれる捜索物を認識する情報処理装置に送信する第１送信手段と、
を備えることを特徴とする。

上記目的を達成するため、本発明に係る方法は、
撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記ｎ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる捜索物を認識する情報処理装置に送信する第１送信ステップと、
を含むことを特徴とする。

上記目的を達成するため、本発明に係るプログラムは、
撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記ｎ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる捜索物を認識する情報処理装置に送信する第１送信ステップと、
をコンピュータに実行させることを特徴とする。

上記目的を達成するため、本発明に係る装置は、
撮像した捜索物の画像からｍ個の特徴点を抽出し、前記ｍ個の特徴点のそれぞれを含むｍ個の局所領域について、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を生成する第１局所特徴量生成手段と、
撮像した捜索物が他の画像に含まれるか否かを局所特徴量の照合に基づいて認識する情報処理装置に、前記ｍ個の第１局所特徴量を送信する第２送信手段と、
前記情報処理装置から、前記他の画像に含まれる前記撮像した捜索物を示す情報を受信する第１受信手段と、
を備えたことを特徴とする。

上記目的を達成するため、本発明に係る方法は、
撮像した捜索物の画像からｍ個の特徴点を抽出し、前記ｍ個の特徴点のそれぞれを含むｍ個の局所領域について、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を生成する第１局所特徴量生成ステップと、
撮像した捜索物が他の画像に含まれるか否かを局所特徴量の照合に基づいて認識する情報処理装置に、前記ｍ個の第１局所特徴量を送信する第２送信ステップと、
前記情報処理装置から、前記他の画像に含まれる前記撮像した捜索物を示す情報を受信する第１受信ステップと、
を含むことを特徴とする。

上記目的を達成するため、本発明に係るプログラムは、
撮像した捜索物の画像からｍ個の特徴点を抽出し、前記ｍ個の特徴点のそれぞれを含むｍ個の局所領域について、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を生成する第１局所特徴量生成ステップと、
撮像した捜索物が、他の画像に含まれるか否かを局所特徴量の照合に基づいて認識する情報処理装置に、前記ｍ個の第１局所特徴量を送信する第２送信ステップと、
前記情報処理装置から、前記他の画像に含まれる前記撮像した捜索物を示す情報を受信する第１受信ステップと、
をコンピュータに実行させることを特徴とする。

上記目的を達成するため、本発明に係る装置は、
捜索物と、前記捜索物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
前記捜索物を捜索する第１通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記第１通信端末から受信する第２受信手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記捜索物が存在すると認識する認識手段と、
認識した前記捜索物を示す情報を、前記捜索物の捜索を依頼した第２通信端末に送信する第２送信手段と、
を備えたことを特徴とする。

上記目的を達成するため、本発明に係る方法は、
捜索物と、前記捜索物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置の制御方法であって、
前記捜索物を捜索する第通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記捜索物が存在すると認識する認識ステップと、
認識した前記捜索物を示す情報を、前記捜索物の捜索を依頼した第２通信端末に送信する第２送信ステップと、
を含むことを特徴とする。

上記目的を達成するため、本発明に係るプログラムは、
捜索物と、前記捜索物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置の制御プログラムであって、
前記捜索物を捜索する第１通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記第１通信端末から受信する第２受信ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記捜索物が存在すると認識する認識ステップと、
認識した前記捜索物を示す情報を、前記捜索物の捜索を依頼した第２通信端末に送信する第２送信ステップと、
をコンピュータに実行させることを特徴とする。

本発明によれば、リアルタイムで映像中の画像内の捜索物を認識することができる。

本発明の第１実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第２実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第２実施形態に係る情報処理システムの動作を説明する図である。 本発明の第２実施形態に係る情報処理システムの動作手順を示すシーケンス図である。 本発明の第２実施形態に係る捜索依頼用通信端末の機能構成を示すブロック図である。 本発明の第２実施形態に係る捜索用通信端末の機能構成を示すブロック図である。 本発明の第２実施形態に係る捜索サーバの機能構成を示すブロック図である。 本発明の第２実施形態に係る局所特徴量ＤＢの構成を示す図である。 本発明の第２実施形態に係る捜索物ＤＢの構成を示す図である。 本発明の第２実施形態に係る精度調整ＤＢの構成を示す図である。 本発明の第２実施形態に係る局所特徴量生成部の機能構成を示すブロック図である。 本発明の第２実施形態に係る局所特徴量生成の手順を説明する図である。 本発明の第２実施形態に係る局所特徴量生成の手順を説明する図である。 本発明の第２実施形態に係る局所特徴量生成部でのサブ領域の選択順位を示す図である。 本発明の第２実施形態に係る局所特徴量生成部での特徴ベクトルの選択順位を示す図である。 本発明の第２実施形態に係る局所特徴量生成部での特徴ベクトルの階層化を示す図である。 本発明の第２実施形態に係る符号化部の構成を示す図である。 本発明の第２実施形態に係る捜索物認識部の処理を示す図である。 本発明の第２実施形態に係る精度調整部の第１の構成を示すブロック図である。 本発明の第２実施形態に係る精度調整部の第２の構成を示すブロック図である。 本発明の第２実施形態に係る精度調整部の第２の構成による処理を説明する図である。 本発明の第２実施形態に係る精度調整部の第３の構成を示すブロック図である。 本発明の第２実施形態に係る精度調整部の第４の構成を示すブロック図である。 本発明の第２実施形態に係る捜索依頼用通信端末のハードウェア構成を示すブロック図である。 本発明の第２実施形態に係る捜索依頼用通信端末における局所特徴量生成テーブルを示す図である。 本発明の第２実施形態に係る捜索依頼用通信端末の処理手順を示すフローチャートである。 本発明の第２実施形態に係る局所特徴量生成処理の処理手順を示すフローチャートである。 本発明の第２実施形態に係る符号化処理の処理手順を示すフローチャートである。 本発明の第２実施形態に係る差分値の符号化処理の処理手順を示すフローチャートである。 本発明の第２実施形態に係る捜索用通信端末のハードウェア構成を示すブロック図である。 本発明の第２実施形態に係る精度パラメータの構成を示す図である。 本発明の第２実施形態に係る捜索用通信端末の処理手順を示すフローチャートである。 本発明の第２実施形態に係る捜索サーバのハードウェア構成を示すブロック図である。 本発明の第２実施形態に係る捜索サーバの処理手順を示すフローチャートである。 本発明の第２実施形態に係る捜索物認識処理の処理手順を示すフローチャートである。 本発明の第２実施形態に係る照合処理の処理手順を示すフローチャートである。 本発明の第２実施形態に係る捜索物確認処理の処理手順を示すフローチャートである。 本発明の第３実施形態に係る情報処理システムの動作手順を示すシーケンス図である。 本発明の第４実施形態に係る情報処理システムの動作手順を示すシーケンス図である。 本発明の第５実施形態に係る通信端末の機能構成を示すブロック図である。 本発明の第６実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第６実施形態に係る情報処理システムの動作手順を示すシーケンス図である。

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

［第１実施形態］
本発明の第１実施形態としての情報処理システム１００について、図１を用いて説明する。情報処理システム１００は、局所特徴量を使用して撮像した映像から捜索物を見付けるためのシステムである。

図１に示すように、情報処理システム１００は、第１局所特徴量記憶部１１０と、第１撮像部１２０と、第２局所特徴量生成部１３０と、認識部１４０と、を含む。第１局所特徴量記憶部１１０は、捜索物１１１と、捜索物１１１の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量１１２とを、対応付けて記憶する。第２局所特徴量生成部１３０は、第１撮像部１２０が撮像した映像中の画像１０１からｎ個の特徴点１３１を抽出する。そして、第２局所特徴量生成部１３０は、ｎ個の特徴点のそれぞれを含むｎ個の局所領域１３２について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量１３３を生成する。認識部１４０は、第１局所特徴量１１２の特徴ベクトルの次元数ｉおよび第２局所特徴量１３３の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択する。そして、認識部１４０は、選択された次元数までの特徴ベクトルからなるｎ個の第２局所特徴量１３３に、選択された次元数までの特徴ベクトルからなるｍ個の第１局所特徴量１１２の所定割合以上が対応すると判定した場合に（１４１）、映像中の画像１０１に捜索物１１１が存在すると認識する。

本実施形態によれば、リアルタイムで映像中の画像内の捜索物を認識することができる。

［第２実施形態］
次に、本発明の第２実施形態に係る情報処理システムについて説明する。本実施形態においては、盗難物や遺失物を含む捜索物の依頼を捜索物画像の局所特徴量と共に受ける。そして、様々な通信端末から受信した局所特徴量との照合に基づいて、捜索物を見付けて捜索者に報知する。なお、本実施形態においては、捜索物として盗難物や遺失物を例に説明するが、捜索物は捜索人物であってもよい。

本実施形態によれば、リアルタイムで映像中の画像内の捜索物を見付けることができる。

《情報処理システムの構成》
図２は、本実施形態に係る情報処理システム２００の構成を示すブロック図である。

図２の情報処理システム２００は、盗難物や遺失物の局所特徴量を、写真を撮って取得し、様々な場所の監視カメラや個人の携帯端末のカメラからの映像、あるいは放送映像や再生映像から盗難物や遺失物を見付ける。情報処理システム２００は、ネットワーク２４０を介してそれぞれ接続される、捜索用通信端末２１１〜２１４と、情報処理装置である捜索サーバ２２０と、捜索依頼用通信端末２３０と、を含む。

図２の情報処理システム２００では、捜索用通信端末２１１〜２１４は、カメラ付き携帯端末２１１と、様々な場所に設置された監視カメラ２１２および２１３と、放送再生機器２１４とを、含む。なお、図２においては、監視カメラ２１２は空港内の監視カメラであり、監視カメラ２１３はホテル内の監視カメラである。捜索用通信端末２１１〜２１４は、それぞれ局所特徴量生成部２１１ａ〜２１４ａを有し、撮像した映像から局所特徴量を生成して、捜索サーバに送信する。なお、捜索用通信端末２１１〜２１４は、捜索専用である必要はなく、それぞれの役割を果たすと同時に、並行して常時あるいは捜索サーバ２２０から指定された期間、局所特徴量を捜索サーバ２２０に送信する。

また、情報処理システム２００は、カメラを有する捜索依頼用通信端末２３０として含む。捜索依頼用通信端末２３０は、局所特徴量生成部２３０ａを有し、撮像した映像から局所特徴量を生成する。図２においては、盗難物あるいは遺失物のバッグ２３１の写真をカメラで撮像して、局所特徴量生成部２３０ａによりバッグ２３１の局所特徴量を生成する。

また、情報処理システム２００は、捜索依頼用通信端末２３０から捜索依頼をされたバッグ２３１の局所特徴量を、捜索用通信端末２１１〜２１４から受信した局所特徴量と照合して、映像内からバッグ２３１を捜索する捜索サーバ２２０を含む。捜索サーバ２２０は、捜索依頼用通信端末２３０から捜索依頼された捜索物に対応付けて局所特徴量を記憶する局所特徴量ＤＢ２２１（図８参照）と、捜索物の所有者などを記憶する捜索物ＤＢ２２２（図９参照）とを有する。捜索サーバ２２０は、局所特徴量ＤＢ２２１に記憶された局所特徴量を、捜索用通信端末２１１〜２１４から受信した局所特徴量と照合する。そして、捜索物を見付けると、その結果を捜索依頼用通信端末２３０に通知する。

（情報処理システムの動作）
図３は、本実施形態に係る情報処理システム２００の動作を説明する図である。

捜索依頼用通信端末２３０で盗難物あるいは遺失物の写真のバッグ２３１を撮像した画像３１０には、バッグ２３１が写っている。この画像３１０から局所特徴量が生成される。一方、捜索用通信端末２１１〜２１４で撮像されたそれぞれの映像３１１〜３１４から、それぞれの局所特徴量が生成される。これらの局所特徴量は局所特徴量照合部３００で照合されて、画像３１０から生成された局所特徴量が映像３１１〜３１４から生成された局所特徴量の一部に一致すると、捜索用通信端末２１１〜２１４で撮像された映像中にバッグ２３１があると判定する。

例えば、捜索用通信端末２１２が撮像した空港の映像３１２中にバッグ２３１があると判定した場合には、捜索依頼用通信端末２３０には、空港からの映像中の捜索物候補のバッグ３２２と捜索結果３２１とが重畳された画像３２０が報知される。捜索結果３２１には、“○○空港、第ｎゲートに類似品発見”とのコメントが報知されている。

《情報処理システムの動作手順》
図４は、本実施形態に係る情報処理システム２００の動作手順を示すシーケンス図である。

まず、必要であれば、ステップＳ４００において、捜索サーバ２２０から捜索用通信端末２１１〜２４１や捜索依頼用通信端末２３０にアプリケーションおよび／またはデータのダウンロードを行なう。そして、ステップＳ４０１において、本実施形態の処理を行なうための、アプリケーションの起動と初期化が行なわれる。

ステップＳ４０３において、捜索依頼用通信端末２３０は、捜索物の画像を撮影する。なお、捜索物の画像は、写真や絵などの実物の特徴を有するものが望ましい。あるいは、捜索物の数が少ない場合は、類似品を撮影してもよい。ステップＳ４０５において、捜索物の画像から局所特徴量を生成する。続いて、ステップＳ４０７において、局所特徴量と特徴点座標とを符号化する。捜索物に関する情報と局所特徴量とは、ステップＳ４０９において、捜索依頼用通信端末２３０から捜索サーバ２２０に送信される。

捜索サーバ２２０は、捜索物に関する情報と局所特徴量とを受信して、捜索物ＩＤに対応付けて局所特徴量を局所特徴量ＤＢ２２１に記憶する。同時に、捜索物ＩＤに対応付けて、捜索物に関する情報を捜索物ＤＢ２２２に記憶する。また、捜索物の特徴を表わすのに適切な局所特徴量の精度があれば、その精度パラメータを精度調整ＤＢ４１０に記憶する。

捜索用通信端末は、ステップＳ４１３において、それぞれの画像を撮影する。ステップＳ４１５において、それぞれの映像から局所特徴量を生成する。続いて、ステップＳ４１７において、それぞれの局所特徴量を特徴点座標と共に符号化する。符号化された局所特徴量は、ステップＳ４１９において、捜索用通信端末から捜索サーバ２２０に送信される。

捜索サーバ２２０では、ステップＳ４２１において、局所特徴量ＤＢ２２１を参照して局所特徴量を照合し、それぞれの映像内に捜索物が存在するかを捜索する。捜索物が見付からなければ、局所特徴量の受信を待ってステップＳ４２１を繰り返す。捜索物が存在すると判定するとステップＳ４２５に進む。ステップＳ４２５において、精度調整ＤＢ４１０を参照して、捜索物を詳細に確認するに適切な局所特徴量の精度調整の精度パラメータと、映像中の捜索物がある領域とを取得する。そして、ステップＳ４２７において、精度パラメータと領域情報とを捜索物を含む局所特徴量を送信した送信元に指示する。

図４においては、中央の捜索用通信端末からの映像の局所特徴量に捜索物の局所特徴量が含まれていたとしている。送信元の捜索用通信端末は、ステップＳ４２９において、指示された精度パラメータを使って映像中の選択領域の高精度の局所特徴量を生成する。続いて、ステップＳ４３１において、局所特徴量と特徴点座標とを符号化する。そして、ステップＳ４３３において、符号化した局所特徴量を捜索サーバ２２０に送信する。

捜索サーバ２２０は、ステップＳ４３５において、再度、捜索物同士の高精度の局所特徴量によって照合を行ない、一致すれば捜索物と確認して捜索物ＤＢ２２２から捜索元などの情報を取得する。そして、ステップＳ４３７において、捜索物確認情報を捜索元の捜索依頼用通信端末に通知する。

捜索元の捜索依頼用通信端末は、捜索結果を受信して、ステップＳ４３９において、捜索物発見を報知する。

なお、図４においては、精度調整と領域選別とを行なって、再度、局所特徴量の生成を行なった。しかし、最初から高精度の局所特徴量を生成して転送する処理が、通信トラフィック、あるいは捜索用通信端末や捜索サーバの負荷に影響が小さければ、高精度の局所特徴量を生成して転送するのみでもよい。

《捜索依頼用通信端末の機能構成》
図５は、本実施形態に係る捜索依頼用通信端末２３０の機能構成を示すブロック図である。

図５において、撮像部５０１は、捜索物の画像を入力する。局所特徴量生成部５０２は、撮像部５０１からの映像から局所特徴量を生成する。生成された局所特徴量は、特徴点座標と共に、局所特徴量送信部５０３の符号化部５０３ａにより符号化される。そして、局所特徴量送信部５０３は、通信制御部５０４を介して、捜索物情報と局所特徴量とを捜索サーバに送信する。

捜索結果受信部５０５は、通信制御部５０４を介して捜索結果を受信する。そして、捜索結果報知部５０６は、受信した捜索結果をユーザに報知する。捜索結果報知部５０６は、撮像部５０１からの映像と捜索結果とを重畳した表示を含む（図３参照）。

《捜索用通信端末の機能構成》
図６は、本実施形態に係る捜索用通信端末２１１〜２１４の機能構成を示すブロック図である。

図６において、撮像部６０１は、クエリ画像を入力する。局所特徴量生成部６０２は、撮像部６０１からの映像から局所特徴量を生成する。生成された局所特徴量は、特徴点座標と共に、局所特徴量送信部６０３の符号化部６０３ａにより符号化される。そして、局所特徴量送信部６０３は、通信制御部６０４を介して、捜索物情報と局所特徴量とを捜索サーバに送信する。

精度調整／領域選別受信部６０５は、通信制御部６０４を介して、精度調整用の精度パラメータと映像中の捜索物の領域情報とを受信する。精度調整用の精度パラメータは、精度調整部６０６の精度パラメータ６０６ａに保持される。精度調整部６０６は、精度パラメータ６０６ａに従って、局所特徴量生成部６０２の局所特徴量の精度を調整する。一方、捜索物の領域情報は、領域選別部６０７に送られ、領域選別部６０７は撮像部６０１および／または局所特徴量生成部６０２を制御して、捜索物候補の領域の高精度の局所特徴量を生成させる。なお、領域選別部６０７の撮像部６０１の制御は、捜索物候補へのズームイン処理を含んでよい。

また、捜索用通信端末が映像取得として用いられる場合には、撮像部６０１で撮像された映像は、撮像表示部６０８に表示されると共に、映像送信部６０９によって送信される。

《捜索サーバの機能構成》
図７は、本実施形態に係る情報処理装置である捜索サーバ２２０の機能構成を示すブロック図である。

図７において、局所特徴量受信部７０２は、通信制御部７０１を介して通信端末から受信した局所特徴量を復号部７０２ａで復号する。登録／捜索判定部７０３は、局所特徴量受信部７０２が受信した局所特徴量の送信元が、捜索依頼用通信端末か捜索用通信端末かを判定する。登録／捜索判定部７０３の判定は、送信元の通信端末ＩＤやアドレスで行なってもよいし、受信データに捜索物情報が含まれているかによって行なってもよい。

捜索依頼用通信端末からの局所特徴量と判定されると、局所特徴量登録部７０４は、捜索物ＩＤに対応付けて局所特徴量を局所特徴量ＤＢ２２１に登録する。なお、図示しないが、同時に、捜索物の情報が捜索物ＤＢ２２２に保持され、捜索物に適切な精度パラメータが精度調整ＤＢ４１０に記憶される。

捜索物認識部７０５は、局所特徴量ＤＢ２２１に登録された捜索物の局所特徴量が、捜索用通信端末からの映像の局所特徴量を照合する。そして、捜索物認識部７０５は、捜索物の局所特徴量が映像の局所特徴量に含まれていれば、映像中に捜索物在りと認識する。

捜索物認識部７０５が映像中に捜索物在りと認識すると、精度調整取得部７０６は、精度調整ＤＢ４１０を参照して、捜索物に適切な精度パラメータを取得する。同時に、捜索物認識部７０５からは、捜索物の映像中の位置を取得する。これらの情報に基づいて、精度調整／領域選別情報送信部７０７は、精度調整にための精度パラメータと領域選別のための領域情報とを、通信制御部７０１を介して、送信元の捜索用通信端末に送信する。

（局所特徴量ＤＢ）
図８は、本実施形態に係る局所特徴量ＤＢ２２１の構成を示す図である。なお、かかる構成に限定されない。

局所特徴量ＤＢ２２１は、捜索物ＩＤ８０１と名／種別８０２に対応付けて、第１番局所特徴量８０３、第２番局所特徴量８０４、…、第ｍ番局所特徴量８０５を記憶する。各局所特徴量は、５×５のサブ領域に対応して、２５次元ずつに階層化された１次元から１５０次元の要素からなる特徴ベクトルを記憶する（図１１Ｆ参照）。

なお、ｍは正の整数であり、捜索物ＩＤに対応して異なる数でよい。また、本実施形態においては、それぞれの局所特徴量と共に照合処理に使用される特徴点座標が記憶される。

（捜索物ＤＢ）
図９は、本実施形態に係る捜索物ＤＢ２２２の構成を示す図である。なお、捜索物ＤＢ２２２の構成は、図９に限定されない。

捜索物ＤＢ２２２は、捜索物ＩＤ９０１と名／種別９０２に対応付けて、登録日時９０３、捜索者９０４、捜索者の住所９０５、捜索者の連絡先９０６などを記憶する。なお、捜索サーバ２２０は、捜索物に対応して通知先を記憶するのみで、捜索物ＤＢ２２２に内容は捜索依頼用通信端末が保持してもよい。

（精度調整ＤＢ）
図１０は、本実施形態に係る精度調整ＤＢ４１０の構成を示す図である。精度調整ＤＢ４１０の構成は、図１０に限定されない。

精度調整ＤＢ４１０は、捜索物ＩＤ１００１と名／種別１００２とに対応付けて、図６の精度パラメータ６０６ａを生成するための、第１調整値１００３や第２調整１００４などが記憶される。なお、パラメータの種類によってどの調整値を使用してもよい。これらパラメータは互いに関連しているので、認識および確認する対象の捜索物に適切なパラメータを選択するのが望ましい。したがって、対象の捜索物に応じてパラメータをあらかじめ生成して記憶しておく、あるいは学習して保持しておくこともできる。

《局所特徴量生成部》
図１１Ａは、本実施形態に係る局所特徴量生成部７０２の構成を示すブロック図である。

局所特徴量生成部７０２は、特徴点検出部１１１１、局所領域取得部１１１２、サブ領域分割部１１１３、サブ領域特徴ベクトル生成部１１１４、および次元選定部１１１５を含んで構成される。

特徴点検出部１１１１は、画像データから特徴的な点（特徴点）を多数検出し、各特徴点の座標位置、スケール（大きさ）、および角度を出力する。

局所領域取得部１１１２は、検出された各特徴点の座標値、スケール、および角度から、特徴量抽出を行う局所領域を取得する。

サブ領域分割部１１１３は、局所領域をサブ領域に分割する。例えば、サブ領域分割部１１１３は、局所領域を１６ブロック（４×４ブロック）に分割することも、局所領域を２５ブロック（５×５ブロック）に分割することもできる。なお、分割数は限定されない。本実施形態においては、以下、局所領域を２５ブロック（５×５ブロック）に分割する場合を代表して説明する。

サブ領域特徴ベクトル生成部１１１４は、局所領域のサブ領域ごとに特徴ベクトルを生成する。サブ領域の特徴ベクトルとしては、例えば、勾配方向ヒストグラムを用いることができる。

次元選定部１１１５は、サブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるように、局所特徴量として出力する次元を選定する（例えば、間引きする）。また、次元選定部１１１５は、単に次元を選定するだけではなく、選定の優先順位を決定することができる。すなわち、次元選定部１１１５は、例えば、隣接するサブ領域間では同一の勾配方向の次元が選定されないように、優先順位をつけて次元を選定することができる。そして、次元選定部１１１５は、選定した次元から構成される特徴ベクトルを、局所特徴量として出力する。なお、次元選定部１１１５は、優先順位に基づいて次元を並び替えた状態で、局所特徴量を出力することができる。

《局所特徴量生成部の処理》
図１１Ｂ〜図１１Ｆは、本実施形態に係る局所特徴量生成部５０２、６０２の処理を示す図である。

まず、図１１Ｂは、局所特徴量生成部５０２、６０２における、特徴点検出／局所領域取得／サブ領域分割／特徴ベクトル生成の一連の処理を示す図である。かかる一連の処理については、米国特許第６７１１２９３号明細書や、David G. Lowe著、「Distinctive image features from scale-invariant key points」、（米国）、International Journal of Computer Vision、60(2)、2004年、p. 91-110を参照されたい。

（特徴点検出部）
図１１Ｂの画像１１２１は、図１１Ａの特徴点検出部１１１１において、映像中の画像から特徴点を検出した状態を示す図である。以下、１つの特徴点データ１１２１ａを代表させて局所特徴量の生成を説明する。特徴点データ１１２１ａの矢印の起点が特徴点の座標位置を示し、矢印の長さがスケール（大きさ）を示し、矢印の方向が角度を示す。ここで、スケール（大きさ）や方向は、対象映像にしたがって輝度や彩度、色相などを選択できる。また、図１１Ｂの例では、６０度間隔で６方向の場合を説明するが、これに限定されない。

（局所領域取得部）
図１１Ａの局所領域取得部１１１２は、例えば、特徴点データ１１２１ａの起点を中心にガウス窓１１２２ａを生成し、このガウス窓１１２２ａをほぼ含む局所領域１１２２を生成する。図１１Ｂの例では、局所領域取得部１１１２は正方形の局所領域１１２２を生成したが、局所領域は円形であっても他の形状であってもよい。この局所領域を各特徴点について取得する。局所領域が円形であれば、撮影方向に対してロバスト性が向上するという効果がある。

（サブ領域分割部）
次に、サブ領域分割部１１１３において、上記特徴点データ１１２１ａの局所領域１１２２に含まれる各画素のスケールおよび角度をサブ領域１１２３に分割した状態が示されている。なお、図１１Ｂでは４×４＝１６画素をサブ領域とする５×５＝２５のサブ領域に分割した例を示す。しかし、サブ領域は、４×４＝１６や他の形状、分割数であってもよい。

（サブ領域特徴ベクトル生成部）
サブ領域特徴ベクトル生成部１１１４は、サブ領域内の各画素のスケールを６方向の角度単位にヒストグラムを生成して量子化し、サブ領域の特徴ベクトル１１２４とする。すなわち、特徴点検出部１１１１が出力する角度に対して正規化された方向である。そして、サブ領域特徴ベクトル生成部１１１４は、サブ領域ごとに量子化された６方向の頻度を集計し、ヒストグラムを生成する。この場合、サブ領域特徴ベクトル生成部１１１４は、各特徴点に対して生成される２５サブ領域ブロック×６方向＝１５０次元のヒストグラムにより構成される特徴ベクトルを出力する。また、勾配方向を６方向に量子化するだけに限らず、４方向、８方向、１０方向など任意の量子化数に量子化してよい。勾配方向をＤ方向に量子化する場合、量子化前の勾配方向をＧ（０〜２πラジアン）とすると、勾配方向の量子化値Ｑq（q＝０，…，Ｄ−１）は、例えば式（１）や式（２）などで求めることができるが、これに限られない。

Ｑq＝floor(Ｇ×Ｄ／２π） …（１）
Ｑq＝round(Ｇ×Ｄ／２π）modＤ …（２）
ここで、floor()は小数点以下を切り捨てる関数、round()は四捨五入を行う関数、modは剰余を求める演算である。また、サブ領域特徴ベクトル生成部１１１４は勾配ヒストグラムを生成するときに、単純な頻度を集計するのではなく、勾配の大きさを加算して集計してもよい。また、サブ領域特徴ベクトル生成部１１１４は勾配ヒストグラムを集計するときに、画素が属するサブ領域だけではなく、サブ領域間の距離に応じて近接するサブ領域（隣接するブロックなど）にも重み値を加算するようにしてもよい。また、サブ領域特徴ベクトル生成部１１１４は量子化された勾配方向の前後の勾配方向にも重み値を加算するようにしてもよい。なお、サブ領域の特徴ベクトルは勾配方向ヒストグラムに限られず、色情報など、複数の次元（要素）を有するものであればよい。本実施形態においては、サブ領域の特徴ベクトルとして、勾配方向ヒストグラムを用いることとして説明する。

（次元選定部）
次に、図１１Ｃ〜図１１Ｆにしたがって、局所特徴量生成部５０２、６０２における、次元選定部１１１５に処理を説明する。

次元選定部１１１５は、サブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるように、局所特徴量として出力する次元（要素）を選定する（間引きする）。より具体的には、次元選定部１１１５は、例えば、隣接するサブ領域間では少なくとも１つの勾配方向が異なるように次元を選定する。なお、本実施形態では、次元選定部１１１５は近接するサブ領域として主に隣接するサブ領域を用いることとするが、近接するサブ領域は隣接するサブ領域に限られず、例えば、対象のサブ領域から所定距離内にあるサブ領域を近接するサブ領域とすることもできる。

図１１Ｃは、局所領域を５×５ブロックのサブ領域に分割し、勾配方向を６方向１１３１ａに量子化して生成された１５０次元の勾配ヒストグラムの特徴ベクトル１１３１から次元を選定する場合の一例を示す図である。図１１Ｃの例では、１５０次元（５×５＝２５サブ領域ブロック×６方向）の特徴ベクトルから次元の選定が行なわれている。

（局所領域の次元選定）
図１１Ｃは、局所特徴量生成部５０２、６０２における、特徴ベクトルの次元数の選定処理の様子を示す図である。

図１１Ｃに示すように、次元選定部１１１５は、１５０次元の勾配ヒストグラムの特徴ベクトル１１３１から半分の７５次元の勾配ヒストグラムの特徴ベクトル１１３２を選定する。この場合、隣接する左右、上下のサブ領域ブロックでは、同一の勾配方向の次元が選定されないように、次元を選定することができる。

この例では、勾配方向ヒストグラムにおける量子化された勾配方向をｑ（ｑ＝０，１，２，３，４，５）とした場合に、ｑ＝０，２，４の要素を選定するブロックと、ｑ＝１，３，５の要素を選定するサブ領域ブロックとが交互に並んでいる。そして、図１１Ｃの例では、隣接するサブ領域ブロックで選定された勾配方向を合わせると、全６方向となっている。

また、次元選定部１１１５は、７５次元の勾配ヒストグラムの特徴ベクトル１１３２から５０次元の勾配ヒストグラムの特徴ベクトル１１３３を選定する。この場合、斜め４５度に位置するサブ領域ブロック間で、１つの方向のみが同一になる（残り１つの方向は異なる）ように次元を選定することができる。

また、次元選定部１１１５は、５０次元の勾配ヒストグラムの特徴ベクトル１１３３から２５次元の勾配ヒストグラムの特徴ベクトル１１３４を選定する場合は、斜め４５度に位置するサブ領域ブロック間で、選定される勾配方向が一致しないように次元を選定することができる。図１１Ｃに示す例では、次元選定部１１１５は、１次元から２５次元までは各サブ領域から１つの勾配方向を選定し、２６次元から５０次元までは２つの勾配方向を選定し、５１次元から７５次元までは３つの勾配方向を選定している。

このように、隣接するサブ領域ブロック間で勾配方向が重ならないように、また全勾配方向が均等に選定されることが望ましい。また同時に、図１１Ｃに示す例のように、局所領域の全体から均等に次元が選定されることが望ましい。なお、図１１Ｃに示した次元選定方法は一例であり、この選定方法に限らない。

（局所領域の優先順位）
図１１Ｄは、局所特徴量生成部５０２、６０２における、サブ領域からの特徴ベクトルの選定順位の一例を示す図である。

次元選定部１１１５は、単に次元を選定するだけではなく、特徴点の特徴に寄与する次元から順に選定するように、選定の優先順位を決定することができる。すなわち、次元選定部１１１５は、例えば、隣接するサブ領域ブロック間では同一の勾配方向の次元が選定されないように、優先順位をつけて次元を選定することができる。そして、次元選定部１１１５は、選定した次元から構成される特徴ベクトルを、局所特徴量として出力する。なお、次元選定部１１１５は、優先順位に基づいて次元を並び替えた状態で、局所特徴量を出力することができる。

すなわち、次元選定部１１１５は、１〜２５次元、２６次元〜５０次元、５１次元〜７５次元の間は、例えば図１１Ｄのマトリクス１１４１に示すようなサブ領域ブロックの順番で次元を追加するように選定していってもよい。図１１Ｄのマトリクス１１４１に示す優先順位を用いる場合、次元選定部１１１５は、中心に近いサブ領域ブロックの優先順位を高くして、勾配方向を選定していくことができる。

図１１Ｅのマトリクス１１５１は、図１１Ｄの選定順位にしたがって、１５０次元の特徴ベクトルの要素の番号の一例を示す図である。この例では、５×５＝２５ブロックをラスタスキャン順に番号ｐ（ｐ＝０，１，…，２５）で表し、量子化された勾配方向をｑ（ｑ＝０，１，２，３，４，５）とした場合に、特徴ベクトルの要素の番号を６×ｐ＋ｑとしている。

図１１Ｆのマトリクス１１６１は、図１１Ｅの選定順位による１５０次元の順位が、２５次元単位に階層化されていることを示す図である。すなわち、図１１Ｆのマトリクス１１６１は、図４Ｄのマトリクス１１４１に示した優先順位にしたがって図１１Ｅに示した要素を選定していくことにより得られる局所特徴量の構成例を示す図である。次元選定部１１１５は、図１１Ｆに示す順序で次元要素を出力することができる。具体的には、次元選定部１１１５は、例えば１５０次元の局所特徴量を出力する場合、図１１Ｆに示す順序で全１５０次元の要素を出力することができる。また、次元選定部１１１５は、例えば２５次元の局所特徴量を出力する場合、図１１Ｆに示す１行目（７６番目、４５番目、８３番目、…、１２０番目）の要素１１７１を図１１Ｆに示す順（左から右）に出力することができる。また、次元選定部１１１５は、例えば５０次元の局所特徴量を出力する場合、図１１Ｆに示す１行目に加えて、図１１Ｆに示す２行目の要素１１７２を図１１Ｆに示す順（左から右）に出力することができる。

ところで、図１１Ｆに示す例では、局所特徴量の次元は階層的な配列構造となっている。すなわち、例えば、２５次元の局所特徴量と１５０次元の局所特徴量とにおいて、先頭の２５次元分の局所特徴量における要素１１７１〜１１７６の並びは同一となっている。このように、次元選定部１１１５は、階層的（プログレッシブ）に次元を選定することにより、アプリケーションや通信容量、端末スペックなどに応じて、任意の次元数の局所特徴量、すなわち任意のサイズの局所特徴量を抽出して出力することができる。また、次元選定部１１１５が、階層的に次元を選定し、優先順位に基づいて次元を並び替えて出力することにより、異なる次元数の局所特徴量を用いて、画像の照合を行うことができる。例えば、７５次元の局所特徴量と５０次元の局所特徴量を用いて画像の照合が行なわれる場合、先頭の５０次元だけを用いることにより、局所特徴量間の距離計算を行うことができる。

なお、図１１Ｄのマトリクス１１４１から図１１Ｆに示す優先順位は一例であり、次元を選定する際の順序はこれに限られない。例えば、ブロックの順番に関しては、図１１Ｄのマトリクス１１４１の例の他に、図１１Ｄのマトリクス１１４２や図１１Ｄのマトリクス１１４３に示すような順番でもよい。また、例えば、全てのサブ領域からまんべんなく次元が選定されるように優先順位が定められることとしてもよい。また、局所領域の中央付近が重要として、中央付近のサブ領域の選定頻度が高くなるように優先順位が定められることとしてもよい。また、次元の選定順序を示す情報は、例えば、プログラムにおいて規定されていてもよいし、プログラムの実行時に参照されるテーブル等（選定順序記憶部）に記憶されていてもよい。

また、次元選定部１１１５は、サブ領域ブロックを１つ飛びに選択して、次元の選定を行なってもよい。すなわち、あるサブ領域では６次元が選定され、当該サブ領域に近接する他のサブ領域では０次元が選定される。このような場合においても、近接するサブ領域間の相関が低くなるようにサブ領域ごとに次元が選定されていると言うことができる。

また、局所領域やサブ領域の形状は、正方形に限られず、任意の形状とすることができる。例えば、局所領域取得部１１１２が、円状の局所領域を取得することとしてもよい。この場合、サブ領域分割部１１１３は、円状の局所領域を例えば複数の局所領域を有する同心円に９分割や１７分割のサブ領域に分割することができる。この場合においても、次元選定部１１１５は、各サブ領域において、次元を選定することができる。

以上、図１１Ｂ〜図１１Ｆに示したように、本実施形態の局所特徴量生成部５０２、６０２によれば、局所特徴量の情報量を維持しながら生成された特徴ベクトルの次元が階層的に選定される。この処理により、認識精度を維持しながらリアルタイムでの捜索物認識と認識結果の表示が可能となる。なお、局所特徴量生成部５０２、６０２の構成および処理は本例に限定されない。認識精度を維持しながらリアルタイムでの捜索物認識と認識結果の表示が可能となる他の処理が当然に適用できる。

（符号化部）
図１１Ｇは、本実施形態に係る符号化部５０３ａ、６０３ａを示すブロック図である。なお、符号化部は本例に限定されず、他の符号化処理も適用可能である。

符号化部５０３ａ、６０３ａは、局所特徴量生成部５０２、６０２の特徴点検出部１１１１から特徴点の座標を入力して、座標値を走査する座標値走査部１１８１を有する。座標値走査部１１８１は、画像をある特定の走査方法にしたがって走査し、特徴点の２次元座標値（Ｘ座標値とＹ座標値）を１次元のインデックス値に変換する。このインデックス値は、走査に従った原点からの走査距離である。なお、走査方向については、制限はない。

また、特徴点のインデックス値をソートし、ソート後の順列の情報を出力するソート部１１８２を有する。ここでソート部１１８２は、例えば昇順にソートする。また降順にソートしてもよい。

また、ソートされたインデックス値における、隣接する２つのインデックス値の差分値を算出し、差分値の系列を出力する差分算出部１１８３を有する。

そして、差分値の系列を系列順に符号化する差分符号化部１１８４を有する。差分値の系列の符号化は、例えば固定ビット長の符号化でもよい。固定ビット長で符号化する場合、そのビット長はあらかじめ規定されていてもよいが、これでは考えられうる差分値の最大値を表現するのに必要なビット数を要するため、符号化サイズは小さくならない。そこで、差分符号化部１１８４は、固定ビット長で符号化する場合、入力された差分値の系列に基づいてビット長を決定することができる。具体的には、例えば、差分符号化部１１８４は、入力された差分値の系列から差分値の最大値を求め、その最大値を表現するのに必要なビット数（表現ビット数）を求め、求められた表現ビット数で差分値の系列を符号化することができる。

一方、ソートされた特徴点のインデックス値と同じ順列で、対応する特徴点の局所特徴量を符号化する局所特徴量符号化部１１８５を有する。ソートされたインデックス値と同じ順列で符号化することで、差分符号化部１１８４で符号化された座標値と、それに対応する局所特徴量とを１対１で対応付けることが可能となる。局所特徴量符号化部１１８５は、本実施形態においては、１つの特徴点に対する１５０次元の局所特徴量から次元選定された局所特徴量を、例えば１次元を１バイトで符号化し、次元数のバイトで符号化することができる。

（捜索物認識部）
図１１Ｈは、本実施形態に係る捜索物認識部７０５の処理を示す図である。

図１１Ｈは、図７の捜索物認識部７０５の処理を示す図である。図１１Ｈに示す、あらかじめ捜索物の画像などから捜索依頼用通信端末によって本実施形態に従い生成された局所特徴量１１９１は、局所特徴量ＤＢ２２１に格納されている。一方、図１１Ｈの左図の捜索用通信端末２１１で撮像された映像３１１からは、本実施形態に従い局所特徴量が生成される。以下、捜索用通信端末２１２で撮像された映像３１２、および、捜索用通信端末２１３で撮像された映像３１３から、本実施形態に従い局所特徴量が生成される。そして、局所特徴量ＤＢ２２１に格納された局所特徴量１１９１が、映像３１１〜３１３から生成された局所特徴量中にあるか否かが照合される。

図１１Ｈに示すように、捜索物認識部７０５は、局所特徴量ＤＢ２２１に格納されている局所特徴量と局所特徴量が合致する映像３１１〜３１３中の各特徴点を細線のように関連付ける。なお、捜索物認識部７０５は、局所特徴量の所定割合以上が一致する場合を特徴点の合致とする。そして、捜索物認識部７０５は、関連付けられた特徴点の集合間の位置関係が線形関係であれば、捜索物であると認識する。このような認識を行なえば、サイズの大小や向きの違い（視点の違い）、あるいは反転などによっても認識が可能である。また、所定数以上の関連付けられた特徴点があれば認識精度が得られるので、一部が視界から隠れていても捜索物の認識が可能である。

図１１Ｈにおいては、局所特徴量ＤＢ２２１の捜索物（カバン）の局所特徴量１１９１が、捜索用通信端末２１２の映像３１２の局所特徴量に合致する。その場合には、例えば、捜索用通信端末２１２において、捜索物候補のカバンにズームインした映像１１９２から、カバン領域の局所特徴量をより高精度に調整して生成する。そして、局所特徴量ＤＢ２２１の捜索物（カバン）の局所特徴量１１９１とのより精度の高い照合を行なう。このより精度の高い照合により、捜索者の所有物であるか否かを確認する。

《精度調整部》
以下、図１２Ａ〜図１２Ｃ、図１３および図１４を参照して、精度調整部６０６の数例の構成を説明する。

（第１の構成）
図１２Ａは、本実施形態に係る精度調整部６０６の第１の構成６０６−１を示すブロック図である。精度調整部６０６の第１の構成６０６−１においては、次元数決定部１２１１で次元数を決定可能である。

次元数決定部１２１１は、次元選定部１１１５において選定される次元数を決定することができる。例えば、次元数決定部１２１１は、次元数を示す情報をユーザから受け付けることにより、次元数を決定することができる。なお、次元数を示す情報は、次元数そのものを示すものである必要はなく、例えば、照合精度や照合速度などを示す情報であってもよい。具体的には、次元数決定部１２１１は、例えば、局所特徴量生成精度、通信精度および照合精度を高くすることを要求する入力を受け付けた場合には、次元数が多くなるように次元数を決定する。例えば、次元数決定部１２１１は、局所特徴量生成速度、通信速度および照合速度を速くすることを要求する入力を受け付けた場合には、次元数が少なくなるように次元数を決定する。

なお、次元数決定部１２１１は、画像から検出される全ての特徴点に対して同じ次元数を決定することとしてもよいし、特徴点ごとに異なる次元数を決定してもよい。例えば、次元数決定部１２１１は、外部情報によって特徴点の重要度が与えられた場合に、重要度の高い特徴点は次元数を多くし、重要度の低い特徴点は次元数を少なくしてもよい。このようにして、照合精度と、局所特徴量生成速度、通信速度および照合速度とを考慮に入れて、次元数を決定することができる。

本実施形態においては、他の精度に関連する条件が同じであれば、捜索物に適切な次元数を決定したり、適切な次元数の前後で次元数を変化させたりする処理が考えられる。

（第２の構成）
図１２Ｂは、本実施形態に係る精度調整部６０６の第２の構成６０６−２を示すブロック図である。精度調整部６０６の第２の構成６０６−２においては、特徴ベクトル拡張部１２１２が複数次元の値をまとめることで、次元数を変更することが可能である。

特徴ベクトル拡張部１２１２は、サブ領域特徴ベクトル生成部１１１４から出力された特徴ベクトルを用いて、より大きなスケール（拡張分割領域）における次元を生成することにより、特徴ベクトルを拡張することができる。なお、特徴ベクトル拡張部１２１２は、サブ領域特徴ベクトル生成部１１１４から出力される特徴ベクトルのみの情報を用いて特徴ベクトルを拡張することができる。したがって、特徴ベクトルを拡張するために元の画像に戻って特徴抽出を行う必要がないため、元の画像から特徴ベクトルを生成する処理時間と比較すると、特徴ベクトルの拡張にかかる処理時間はごく僅かである。例えば、特徴ベクトル拡張部１２１２は、隣接するサブ領域の勾配方向ヒストグラムを合成することにより、新たな勾配方向ヒストグラムを生成してもよい。

図１２Ｃは、本実施形態に係る精度調整部６０６の第２の構成６０６−２による処理を説明する図である。図１２Ｃでは、２×２＝４ブロックの勾配ヒストグラムの総和を拡張した各ブロックとすることにより、精度を向上させながら次元数を変更できる。

図１２Ｃに示すように、特徴ベクトル拡張部１２１２は、例えば、５×５×６次元（１５０次元）の勾配方向ヒストグラム１２３１を拡張することにより、４×４×６次元（９６次元）の勾配方向ヒストグラム１２４１を生成することができる。すなわち、太実線で囲んだ４ブロック１２３１ａが１ブロック１２４１ａにまとめられる。また、太破線で示す４ブロック１２３１ｂが１ブロック１２４１ｂにまとめられる。

同様に、特徴ベクトル拡張部１２１２は、５×５×６次元（１５０次元）の勾配方向ヒストグラム１２４１から、隣接する３×３ブロックの勾配方向ヒストグラムの総和をとることにより、３×３×６次元（５４次元）の勾配方向ヒストグラム１２５１を生成することも可能である。すなわち、太実線で示す４ブロック１２４１ｃが１ブロック１２５１ｃにまとめられる。また、太破線で示す４ブロック１２４１ｄが１ブロック１２５１ｄにまとめられる。

なお、次元選定部１１１５が、５×５×６次元（１５０次元）の勾配方向ヒストグラム１２３１を５×５×３次元（７５次元）の勾配方向ヒストグラム１２３２に次元選定する場合には、４×４×６次元（９６次元）の勾配方向ヒストグラム１２４１は、４×４×６次元（９６次元）の勾配方向ヒストグラム１２４２となる。また、３×３×６次元（５４次元）の勾配方向ヒストグラム１２５１は、３×３×３次元（２７次元）の勾配方向ヒストグラム１２５２となる。

（第３の構成）
図１３は、本実施形態に係る精度調整部６０６の第３の構成６０６−３を示すブロック図である。精度調整部６０６の第３の構成６０６−３においては、特徴点選定部１３１１が特徴点選定で特徴点数を変更することで、精度を維持しながら局所特徴量のデータ量を変更することが可能である。

特徴点選定部１３１１は、例えば、選定される特徴点の「指定数」を示す指定数情報をあらかじめ保持しておくことができる。また、指定数情報は、指定数そのものを示す情報であってもよいし、画像における局所特徴量のトータルサイズ（例えばバイト数）を示す情報であってもよい。指定数情報が、画像における局所特徴量のトータルサイズを示す情報である場合、特徴点選定部１３１１は、例えば、トータルサイズを、１つの特徴点における局所特徴量のサイズで割ることにより、指定数を算出することができる。また、全特徴点に対してランダムに重要度を付与し、重要度が高い順に特徴点を選定することができる。そして、指定数の特徴点を選定した時点で、選定した特徴点に関する情報を選定結果として出力することができる。また、特徴点情報に基づいて、全特徴点のスケールの中で、特定のスケール領域に含まれる特徴点のみを選定することができる。そして、選定された特徴点が指定数よりも多い場合、例えば、重要度に基づいて特徴点を指定数まで削減し、選定した特徴点に関する情報を選定結果として出力することができる。

（第４の構成）
図１４は、本実施形態に係る精度調整部６０６の第４の構成６０６−４を示すブロック図である。精度調整部６０６の第４の構成６０６−４においては、次元数決定部１２１１と特徴点選定部１３１１とが協働しながら、精度を維持しながら局所特徴量のデータ量を変更する。

第４の構成６０６−４における次元数決定部１２１１と特徴点選定部１３１１との関係は種々考えられる。例えば、特徴点選定部１３１１は、次元数決定部１２１１により決定された特徴点数に基づいて、特徴点を選定することができる。また、次元数決定部１２１１は、特徴点選定部１３１１が選定した指定特徴量サイズおよび決定した特徴点数に基づいて、特徴量サイズが指定特徴量サイズになるように、選定次元数を決定することができる。また、特徴点選定部１３１１は、特徴点検出部１１１１から出力される特徴点情報に基づいて特徴点の選定を行う。そして、特徴点選定部１３１１は、選定した各特徴点の重要度を示す重要度情報を次元数決定部１２１１に出力し、次元数決定部１２１１は、重要度情報に基づいて、次元選定部１１１５で選定される次元数を特徴点ごとに決定することができる。

《捜索依頼用通信端末のハードウェア構成》
図１５Ａは、本実施形態に係る捜索依頼用通信端末２３０のハードウェア構成を示すブロック図である。

図１５Ａで、ＣＰＵ１５１０は演算制御用のプロセッサであり、プログラムを実行することで捜索依頼用通信端末２３０の各機能構成部を実現する。ＲＯＭ１５２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部５０４は通信制御部であり、本実施形態においては、ネットワークを介して捜索サーバ２２０と通信する。なお、ＣＰＵ１５１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ（Graphics Processing Unit）を含んでもよい。

ＲＡＭ１５４０は、ＣＰＵ１５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。入力映像１５４１は、撮像部５０１が撮像して入力した入力映像を示す。特徴点データ１５４２は、入力映像１５４１から検出した特徴点座標、スケール、角度を含む特徴点データを示す。局所特徴量生成テーブル１５４３は、局所特徴量を生成するまでのデータを保持する局所特徴量生成テーブルを示す（図１５Ｂ参照）。局所特徴量１５４４は、局所特徴量生成テーブル１５４３を使って生成され、通信制御部５０４を介して捜索サーバ２２０に送る捜索物の局所特徴量を示す。捜索物登録データ１５４５は、通信制御部５０４を介して捜索サーバ２２０に送る捜索物に関連するデータを示す。捜索物発見情報１５４６は、捜索サーバ２２０において依頼した捜索物に一致する物が見付かった場合に、捜索サーバ２２０から通知された情報を示す。捜索物映像／発見情報重畳データ１５４７は、捜索物が発見された場合に捜索物の映像と発見情報とを重畳したデータであり、表示部１５６１に表示される（図３参照）。入出力データ１５４８は、入出力インタフェース１５６０を介して入出力される入出力データである。送受信データ１５４９は、通信制御部５０４を介して送受信される送受信データを示す。

ストレージ１５５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。発見情報表示フォーマット１５５１は、表示部１５６１に捜索物映像／発見情報重畳データ１５４７をどのように表示するかのフォーマットである。

ストレージ１５５０には、以下のプログラムが格納される。通信端末制御プログラム１５５２は、本捜索依頼用通信端末２３０の全体を制御する通信端末制御プログラムを示す。通信端末制御プログラム１２５２には、以下のモジュールが含まれている。局所特徴量生成モジュール１５５３は、通信端末制御プログラム１５５２において、捜索物の入力映像から図１１Ｂ〜図１１Ｆにしたがって局所特徴量を生成するモジュールであるす。符号化モジュール１５５４は、局所特徴量生成モジュール１５５３により生成された局所特徴量を送信のために符号化するモジュールである。捜索物登録モジュール１５５５は、捜索物の局所特徴量および捜索物関連情報を捜索サーバ２２０に登録するモジュールである。捜索物発見報知モジュール１５５６は、捜索サーバ２２０からの捜索物発見情報の受信により、捜索物発見を報知するモジュールである。

入出力インタフェース１５６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース１５６０には、表示部１５６１、操作部１５６２であるタッチパネルやキーボード、スピーカ１５６３、マイク１５６４、撮像部５０１が接続される。入出力機器は上記例に限定されない。また、必要であれば、ＧＰＳ(Global Positioning System)位置生成部１５６５が搭載され、ＧＰＳ衛星からの信号に基づいて現在位置を取得する。

なお、図１５Ａには、本実施形態に必須なデータやプログラムのみが示されており、本実施形態に関連しないデータやプログラムは図示されていない。

（局所特徴量生成テーブル）
図１５Ｂは、本実施形態に係る捜索依頼用通信端末２３０における局所特徴量生成テーブル１５４３を示す図である。 局所特徴量生成テーブル１５４３には、入力画像ＩＤ１５０１に対応付けて、複数の検出された検出特徴点１５０２，特徴点座標１５０３および特徴点に対応する局所領域情報１５０４が記憶される。そして、各検出特徴点１５０２，特徴点座標１５０３および局所領域情報１５０４に対応付けて、複数のサブ領域ＩＤ１５０５，サブ領域情報１５０６，各サブ領域に対応する特徴ベクトル１５０７および優先順位を含む選定次元１５０８が記憶される。

以上のデータから各検出特徴点１５０２に対して局所特徴量１５０９が生成される。

《捜索依頼用通信端末の処理手順》
図１６は、本実施形態に係る捜索依頼用通信端末２３０の処理手順を示すフローチャートである。このフローチャートは、図１５ＡのＣＰＵ１５１０によってＲＡＭ１５４０を用いて実行され、図５の各機能構成部を実現する。

まず、ステップＳ１６１１において、捜索物を依頼するための捜索サーバ２２０への登録か否かが判定される。また、ステップＳ１６２１において、捜索サーバ２２０からの捜索物の発見情報の受信か否かが判定される。いずれでもなければ、ステップＳ１６３１においてその他の処理を行なう。

捜索物の登録であればステップＳ１６１３に進んで、捜索物の映像を取得する。そして、捜索物の映像から局所特徴量生成処理を実行する（図１７Ａ参照）。次に、ステップＳ１６１７において、局所特徴量および特徴点座標を符号化する（図１７Ｂおよび図１７Ｃ参照）。ステップＳ１６１９においては、符号化されたデータおよび捜索物関連情報を捜索サーバ２２０に送信する。

捜索物の発見情報の受信であればステップＳ１６２３に進んで、捜索物の発見表示データを生成する。そして、ステップＳ１６２５において、捜索物の映像と発見表示データの重畳表示を行なう（図３参照）。なお、音声報知に場合は、音声再生してスピーカ１５６３から報知する。

（局所特徴量生成処理）
図１７Ａは、本実施形態に係る局所特徴量生成処理Ｓ１６１５の処理手順を示すフローチャートである。

まず、ステップＳ１７１１において、入力映像から特徴点の位置座標、スケール、角度を検出する。ステップＳ１７１３において、ステップＳ１７１１で検出された特徴点の１つに対して局所領域を取得する。次に、ステップＳ１７１５において、局所領域をサブ領域に分割する。ステップＳ１７１７においては、各サブ領域の特徴ベクトルを生成して局所領域の特徴ベクトルを生成する。ステップＳ１７１１からＳ１７１７の処理は図１１Ｂに図示されている。

次に、ステップＳ１７１９において、ステップＳ１７１７において生成された局所領域の特徴ベクトルに対して次元選定を実行する。次元選定については、図１１Ｄ〜図１１Ｆに図示されている。

ステップＳ１７２１においては、ステップＳ１７１１で検出した全特徴点について局所特徴量の生成と次元選定とが終了したかを判定する。終了していない場合はステップＳ１７１３に戻って、次の１つの特徴点について処理を繰り返す。

（符号化処理）
図１７Ｂは、本実施形態に係る符号化処理Ｓ１６１７の処理手順を示すフローチャートである。

まず、ステップＳ１７３１において、特徴点の座標値を所望の順序で走査する。次に、ステップＳ１７３３において、走査した座標値をソートする。ステップＳ１７３５において、ソートした順に座標値の差分値を算出する。ステップＳ１７３７においては、差分値を符号化する（図１７Ｃ参照）。そして、ステップＳ１７３９において、座標値のソート順に局所特徴量を符号化する。なお、差分値の符号化と局所特徴量の符号化とは並列に行なってもよい。

（差分値の符号化処理）
図１７Ｃは、本実施形態に係る差分値の符号化処理Ｓ１７３７の処理手順を示すフローチャートである。

まず、ステップＳ１７４１において、差分値が符号化可能な値域内であるか否かを判定する。符号化可能な値域内であればステップＳ１７４７に進んで、差分値を符号化する。そして、ステップＳ１７４９へ移行する。符号化可能な値域内でない場合（値域外）はステップＳ１７４３に進んで、エスケープコードを符号化する。そしてステップＳ１７４５において、ステップＳ１７４７の符号化とは異なる符号化方法で差分値を符号化する。そして、ステップＳ１７４９へ移行する。ステップＳ１７４９では、処理された差分値が差分値の系列の最後の要素であるかを判定する。最後である場合は、処理が終了する。最後でない場合は、再度ステップＳ１７４１に戻って、差分値の系列の次の差分値に対する処理が実行される。

《捜索用通信端末のハードウェア構成》
図１８Ａは、本実施形態に係る捜索用通信端末２１１〜２１４のハードウェア構成を示すブロック図である。

図１８Ａで、ＣＰＵ１８１０は演算制御用のプロセッサであり、プログラムを実行することで捜索用通信端末２１１〜２１４の各機能構成部を実現する。ＲＯＭ１８２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部６０４は通信制御部であり、本実施形態においては、ネットワークを介して捜索サーバ２２０と通信する。なお、ＣＰＵ１８１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ（Graphics Processing Unit）を含んでもよい。

ＲＡＭ１８４０は、ＣＰＵ１８１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１８４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。入力映像１８４１は、撮像部６０１が撮像して入力した入力映像を示す。特徴点データ１８４２は、入力映像１８４１から検出した特徴点座標、スケール、角度を含む特徴点データを示す。局所特徴量生成テーブル１８４３は、局所特徴量を生成するまでのデータを保持する局所特徴量生成テーブルを示す（図１５Ｂ参照）。局所特徴量１８４４は、局所特徴量生成テーブル１８４３を使って生成され、通信制御部６０４を介して捜索サーバ２２０に送る局所特徴量を示す。精度パラメータ６０６ａは、捜索サーバ２２０から指示された局所特徴量の精度調整用の精度パラメータである。入出力データ１８４５は、入出力インタフェース１８６０を介して入出力される入出力データである。送受信データ１８４６は、通信制御部６０４を介して送受信される送受信データを示す。

ストレージ１８５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。初期精度パラメータ１８５１は、捜索用通信端末２１１〜２１４が初期設定する精度パラメータを示す。

ストレージ１５５０には、以下のプログラムが格納される。通信端末制御プログラム１８５２は、本捜索用通信端末２１１〜２１４の全体を制御する通信端末制御プログラムを示す。通信端末制御プログラム１８５２には、以下のモジュールが含まれている。局所特徴量生成モジュール１８５３は、通信端末制御プログラム１８５２において、捜索物の入力映像から図１１Ｂ〜図１１Ｆにしたがって局所特徴量を生成するモジュールである。符号化モジュール１８５４は、局所特徴量生成モジュール１８５３により生成された局所特徴量を送信のために符号化するモジュールである。精度調整モジュール１８５５は、精度パラメータ６０６ａに従って、局所特徴量の精度を調整するモジュールである。

入出力インタフェース１８６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース１８６０に接続される入出力機器は、捜索依頼用通信端末２３０の入出力インタフェース１５６０に接続する入出力端末と同ようなので、説明は省略する。

なお、図１２Ａには、本実施形態に必須なデータやプログラムのみが示されており、本実施形態に関連しないデータやプログラムは図示されていない。

（精度パラメータ）
図１８Ｂは、本実施形態に係る精度パラメータ６０６ａの構成を示す図である。

精度パラメータ６０６ａは、特徴点パラメータ１８０１として、特徴点数や特徴点とするか否かを選別する特徴点選別閾値などを記憶する。また、局所領域パラメータ１８０２として、ガウス窓に対応する面積（サイズ）や矩形や円などを示す形状などを記憶する。また、サブ領域パラメータ２１８０３として、局所領域の分割数や形状などを記憶する。また、特徴ベクトルパラメータ１８０４として、方向数（例えば８方向や６方向など）や次元数、次元の選択方法などを記憶する。

なお、図１８Ｂに示した精度パラメータは一例であって、これに限定されない。

《捜索用通信端末の処理手順》
図１９は、本実施形態に係る捜索用通信端末２１１〜２１４の処理手順を示すフローチャートである。このフローチャートは、図１８ＡのＣＰＵ１８１０によってＲＡＭ１８４０を用いて実行され、図６の各機能構成部を実現する。

まず、ステップＳ１９１１において、撮像部６０１からの映像入力か否かが判定される。また、ステップＳ１９２１において、捜索サーバ２２０からの精度調整情報の受信か否かが判定される。いずれでもなければ、ステップＳ１９３１においてその他の処理を行なう。

映像入力であればステップＳ１９１３に進んで、入力された映像から局所特徴量生成処理を実行する（図１７Ａ参照）。次に、ステップＳ１９１５において、局所特徴量および特徴点座標を符号化する（図１７Ｂおよび図１７Ｃ参照）。ステップＳ１９１７においては、符号化されたデータを捜索サーバ２２０に送信する。

精度調整情報の受信であればステップＳ１９２３に進んで、精度パラメータ６０６ａを設定する。そして、ステップＳ１９２５において、領域を選別する。

なお、ステップＳ１９１３の局所特徴量生成処理およびステップＳ１９１５の符号化処理とは、捜索依頼用通信端末２３０の図１７Ａ乃至図１７Ｃの処理と同様であるので、図示および説明は省略する。

《捜索サーバのハードウェア構成》
図２０は、本実施形態に係る情報処理装置である捜索サーバ２２０のハードウェア構成を示すブロック図である。

図２０で、ＣＰＵ２０１０は演算制御用のプロセッサであり、プログラムを実行することで捜索サーバ２２０の各機能構成部を実現する。ＲＯＭ２０２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部７０１は通信制御部であり、本実施形態においては、ネットワークを介して捜索依頼用通信端末および捜索用通信端末と通信する。なお、ＣＰＵ２０１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵを含んでもよい。

ＲＡＭ２０４０は、ＣＰＵ２０１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ２０４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。受信した登録用局所特徴量２０４１は、捜索依頼用通信端末２３０から受信した特徴点座標を含む局所特徴量を示す。受信した捜索用局所特徴量２０４２は、捜索用通信端末２１１〜２１４から受信した特徴点座標を含む局所特徴量を示す。ＤＢから読出した局所特徴量２０４３は、局所特徴量ＤＢ２２１から読み出した特徴点座標を含むと局所特徴量を示す。捜索物認識結果２０４４は、捜索用通信端末から受信した局所特徴量と、局所特徴量ＤＢ２２１に格納された捜索依頼用通信端末から受信した局所特徴量との照合から認識された、捜索物認識結果を示す。精度調整／領域選別情報２０４５は、精度調整ＤＢ４１０に従って、捜索用通信端末２１１〜２１４の精度調整用の精度パラメータと捜索物候補の映像中の領域情報を示す。捜索物確認フラグ２０４６は、捜索物候補が高精度の照合により確認されたことを表わすフラグを示す。送受信データ２０４７は、通信制御部７０１を介して送受信される送受信データを示す。

ストレージ２０５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。局所特徴量ＤＢ２２１は、図８に示したと同様の局所特徴量ＤＢを示す。捜索物ＤＢ２２２は、図９に示したと同様の捜索物ＤＢを示す。精度調整ＤＢ４１０は、図１０に示したと同様の精度調整ＤＢを示す。

ストレージ１５５０には、以下のプログラムが格納される。捜索サーバ制御プログラム２０５１は、本捜索サーバの全体を制御する捜索サーバ制御プログラムを示す。局所特徴量登録モジュール２０５２は、捜索サーバ制御プログラム２０５１において、捜索依頼用通信端末２３０から受信した捜索物の局所特徴量を局所特徴量ＤＢ２２１に登録するモジュールである。捜索物認識制御モジュール２０５３は、捜索サーバ制御プログラム２０５１において、受信した局所特徴量と局所特徴量ＤＢ２２１に格納された局所特徴量とを照合して捜索物を認識するモジュールである。捜索物確認制御モジュール２０５４は、捜索サーバ制御プログラム２０５１において、制度調整／領域選別情報を捜索用通信端末に送信し、捜索用通信端末から受信した局所特徴量と局所特徴量ＤＢ２２１に格納された局所特徴量とを照合して、捜索物を確認するモジュールである。

なお、図２０には、本実施形態に必須なデータやプログラムのみが示されており、本実施形態に関連しないデータやプログラムは図示されていない。

《捜索サーバの処理手順》
図２１は、本実施形態に係る捜索サーバ２２０の処理手順を示すフローチャートである。

まず、ステップＳ２１１１において、登録用局所特徴量を捜索依頼用通信端末２３０から受信したか否かを判定する。また、ステップＳ２１２１において、捜索用通信端末からの捜索用局所特徴量を受信しかか否かを判定する。いずれでもなければ、ステップＳ２１４１において他の処理を行なう。

登録用局所特徴量の受信であればステップＳ２１１３に進んで、局所特徴量ＤＢ２２１に捜索物に対応付けて局所特徴量を登録する。なお、同時に、捜索物ＤＢ２２２に捜索物に関連する情報を記憶し、必要であれば精度調整ＤＢ４１０に捜索物に適切な精度パラメータを保持する。

捜索用局所特徴量の受信であればステップＳ２１２３に進んで、捜索物認識処理を行なう（図２２Ａおよび図２２Ｂ参照）。次に、ステップＳ２１２５において、捜索物が捜索用局所特徴量中にあるか否かを判定する。捜索物があると判定された場合はステップＳ２１２７に進んで、精度調整／領域選別データを取得して送信元の捜索用通信端末に送信する。

ステップＳ２１２９において、送信元の捜索用通信端末からの精度のより高い捜索物候補に対する確認用局所特徴量の受信を待つ。確認用局所特徴量の受信があればステップＳ２１３１に進んで、捜索物確認処理を行なう（図２２Ｃおよび図２２Ｂ参照）。

ステップＳ２１３３において、捜索物と一致することが確認されたか否かを判定する。捜索物と一致することが確認されればステップＳ２１３５に進んで、捜索依頼元の捜索依頼用通信端末に捜索物の発見情報を送信する。

（捜索物認識処理）
図２２Ａは、本実施形態に係る捜索物認識処理Ｓ２１２３の処理手順を示すフローチャートである。

まず、ステップＳ２２１１において、局所特徴量ＤＢ２２１から１つの捜索物の局所特徴量を取得する。そして、ステップＳ２２１３において、捜索物の局所特徴量と通信端末から受信した局所特徴量との照合を行なう（図２２Ｂ参照）。

ステップＳ２２１５において、合致したか否かを判定する。合致していればステップＳ２２２１に進んで、合致した捜索物が映像中にあるとして記憶する。

ステップＳ２２１７においては、局所特徴量ＤＢ２２１に登録されている全捜索物を照合したかを判定し、残りがあればステップＳ２２１１に戻って次の捜索物の照合を繰り返す。なお、かかる照合においては、処理速度の向上によるリルタイム処理あるいは捜索サーバの負荷低減のため、あらかじめ捜索物や捜索範囲の限定を行なってもよい。

（照合処理）
図２２Ｂは、本実施形態に係る照合処理Ｓ２２１３の処理手順を示すフローチャートである。

まず、ステップＳ２２３１において、初期化として、パラメータｐ＝１，ｑ＝０を設定する。次に、ステップＳ２２３３において、局所特徴量ＤＢ２２１の局所特徴量の次元数ｉと、受信した局所特徴量の次元数ｊとの、より少ない次元数を選択する。

ステップＳ２２３５〜Ｓ２２４５のループにおいて、ｐ＞ｍ（ｍ＝捜索物の特徴点数）となるまで各局所特徴量の照合を繰り返す。まず、ステップＳ２２３５において、局所特徴量ＤＢ２２１に格納された捜索物の第ｐ番局所特徴量の選択された次元数のデータを取得する。すなわち、最初の１次元から選択された次元数を取得する。次に、ステップＳ２２３７において、ステップＳ２２３５において取得した第ｐ番局所特徴量と入力映像から生成した全特徴点の局所特徴量を順に照合して、類似か否かを判定する。ステップＳ２２３９においては、局所特徴量間の照合の結果から類似度が閾値αを超えるか否かを判断し、超える場合はステップＳ２２４１において、局所特徴量と、入力映像と捜索物とにおける合致した特徴点の位置関係との組みを記憶する。そして、合致した特徴点数のパラメータであるｑを１つカウントアップする。ステップＳ２２４３においては、捜索物の特徴点を次の特徴点に進め（ｐ←ｐ＋１）、捜索物の全特徴点の照合が終わってない場合には（ｐ≦ｍ）、ステップＳ２２３５に戻って合致する局所特徴量の照合を繰り返す。なお、閾値αは、捜索物によって求められる認識精度に対応して変更可能である。ここで、他の捜索物との相関が低い捜索物であれば認識精度を低くしても、正確な認識が可能である。

捜索物の全特徴点との照合が終了すると、ステップＳ２２４５からＳ２２４７に進んで、ステップＳ２２４７〜Ｓ２２５３において、捜索物が入力映像に存在するか否かが判定される。まず、ステップＳ２２４７において、捜索物の特徴点数ｐの内で入力映像の特徴点の局所特徴量と合致した特徴点数ｑの割合が、閾値βを超えたか否かを判定する。超えていればステップＳ２２４９に進んで、捜索物候補として、さらに、入力映像の特徴点と捜索物の特徴点との位置関係が、線形変換が可能な関係を有しているかを判定する。すなわち、ステップＳ２２４１において局所特徴量が合致したとして記憶した、入力映像の特徴点と捜索物の特徴点との位置関係が、回転や反転、視点の位置変更などの変化によっても可能な位置関係なのか、変更不可能な位置関係なのかを判定する。かかる判定方法は幾何学的に既知であるので、詳細な説明は省略する。ステップＳ２２５１において、線形変換可能か否かの判定結果により、線形変換可能であればステップＳ２２５３に進んで、照合した捜索物が入力映像に存在すると判定する。なお、閾値βは、捜索物によって求められる認識精度に対応して変更可能である。ここで、他の捜索物との相関が低い、あるいは一部分からでも特徴が判断可能な捜索物であれば合致した特徴点が少なくても、正確な認識が可能である。すなわち、一部分が隠れて見えなくても、あるいは特徴的な一部分が見えてさえいれば、捜索物の認識が可能である。

ステップＳ２２５５においては、局所特徴量ＤＢ２２１に未照合の捜索物が残っているか否かを判定する。まだ捜索物が残っていれば、ステップＳ２２５７において次の捜索物を設定して、パラメータｐ＝１，ｑ＝０に初期化し、ステップＳ９３５に戻って照合を繰り返す。

なお、かかる照合処理の説明からも明らかなように、あらゆる捜索物を局所特徴量ＤＢ２２１に記憶して、全捜索物を照合する処理は、負荷が非常に大きくなる。したがって、例えば、入力映像からの捜索物認識の前にユーザが捜索物の範囲をメニューから選択して、その範囲を局所特徴量ＤＢ２２１から捜索して照合することが考えられる。また、局所特徴量ＤＢ２２１にユーザが使用する範囲の局所特徴量のみを記憶することによっても、負荷を軽減できる。

（捜索物確認処理）
図２２Ｃは、本実施形態に係る捜索物確認処理Ｓ２１３１の処理手順を示すフローチャートである。

まず、ステップＳ２２６１において、局所特徴量ＤＢ２２１から捜索物候補の局所特徴量を取得する。そして、ステップＳ２２６３において、捜索物の局所特徴量と通信端末から受信した局所特徴量との照合を行なう（図２２Ｂ参照）。

ステップＳ２２６５において、合致したか否かを判定する。合致していればステップＳ２２６９に進んで、捜索物が一致したことを記憶する。合致していなければステップＳ２２６７に進んで、捜索物が不一致であることを記憶する。

なお、ステップＳ２２６３の照合処理は、捜索物候補のみの局所特徴量を照合することが異なるが、図２２ＡのステップＳ２２１３と同様であるので、図示および説明は省略する。しかしながら、図２２Ｂにおける閾値αやβは捜索物認識処理と捜索物確認処理とで精度に応じて異なる設定にしてよい。

［第３実施形態］
次に、本発明の第３実施形態に係る情状処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態と比べると、捜索用通信端末と捜索サーバとが捜索物の認識処理を分担する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

本実施形態によれば、捜索用通信端末で捜索物認識の一部処理を実行するので、捜索用通信端末と捜索サーバ間のトラフィックを削減すると共に、捜索サーバの負荷を軽減できる。

なお、本実施形態においては、捜索物の認識処理は捜索用通信端末で行ない、確認処理は捜索サーバ２２０で行なう例を示すが、役割分担は通信トラフィックや、捜査用通信端末および捜索サーバ２２０の負荷に基づいて、異なる役割分担も可能である。

《情報処理システムの動作手順》
図２３は、本実施形態に係る情報処理システムの動作手順を示すシーケンス図である。なお、図２３には、第２実施形態の図４に図示の初期設定処理や捜索依頼処理、あるいは捜索物確認処理については、複雑さを避けるために省略あるいは簡略化している。これらの処理は、図４の処理に準ずるものである。したがって、図２３には、アプリケーションのダウンロードや起動処理は省かれている。

図２３は、ステップＳ２３００における探索依頼用通信端末からの捜索依頼から図示している。ここでは、捜索物の局所特徴量や捜索物関連情報が捜索サーバ２２０に送信され、捜索サーバ２２０の各ＤＢに登録保持される。

ステップＳ２３０１においては、捜索サーバ２２０から捜索用通信端末に捜索物の局所特徴量がダウンロードされる。ここで、ダウンロードする捜索物の局所特徴量は、捜索用通信端末の起動時には局所特徴量ＤＢ２２１に登録された全局所特徴量であってもよい。また、局所特徴量ＤＢ２２１に登録された全局所特徴量の容量が大きい場合は、特徴ベクトルの次元数選定などの精度調整した局所特徴量であってもよい。一方、既に起動中の捜索用通信端末であれば、新たに捜索依頼された捜索物の局所特徴量のみをダウンロードすればよい。

捜索用通信端末は、ステップＳ２３０３において、受信した局所特徴量を捜索物に対応付けて通信端末用局所特徴量ＤＢ２３１０に登録する（構成は、図８参照）。捜索用通信端末は、ステップＳ２３０５において、撮像部によりそれぞれの映像を取得する。ステップＳ２３０７においては、局所特徴量の初期精度を設定する。そして、ステップＳ２３０９において、それぞれの映像から局所特徴量を生成する。続いて、ステップＳ２３１１において、通信端末用局所特徴量ＤＢ２３１０を参照して、映像中の捜索物を認識する。ステップＳ２３１３において、捜索物の有無を判定して、無いと判定すればステップＳ２３０５に戻って、次の映像を取得して認識処理を繰り返す。

捜索物があると判定すると、ステップＳ２３１５において、局所特徴量の精度を調整する。なお、調整する精度パラメータは、捜索用通信端末がＤＢとして保持していてもよいし、捜索物の局所特徴量と共にダウンロードされてもよい。また、ステップＳ２３１５において、捜索物の領域選別を行なうのが望ましい。ステップＳ２３１７において、調整された精度（初期設定よりも高精度）で局所特徴量を生成する。続いて、ステップＳ２３１９において、高精度の局所特徴量を特徴点座標と共に符号化する。符号化された局所特徴量は、ステップＳ２３２１において、捜索用通信端末から捜索サーバ２２０に送信される。

捜索サーバ２２０では、ステップＳ２３２３において、局所特徴量ＤＢ２２１を参照して高精度の局所特徴量を照合し、一致すれば捜索物と確認して捜索物ＤＢ２２２（図２３には不図示）から捜索元などの情報を取得する。そして、ステップＳ２３２５において、捜索物確認情報を捜索元の捜索依頼用通信端末に通知する。

捜索元の捜索依頼用通信端末は、捜索結果を受信して、ステップＳ２３２７において、捜索物発見を報知する。

なお、図２３においては、捜索用通信端末は初期精度で局所特徴量を生成して捜索物の認識を行ない、精度調整と領域選別とを行なって、再度、局所特徴量の生成を行なった。しかし、最初から高精度の局所特徴量を生成して認識処理を行ない、ズームインなどで領域選別処理を行なって局所特徴量を生成してもよい。このようにすれば、通信トラフィックや、あるいは捜索サーバの負荷を削減できる。

［第４実施形態］
次に、本発明の第４実施形態に係る情状処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態および第３実施形態と比べると、捜索サーバが捜索に使用する捜索用通信端末を選択する点で異なる。その他の構成および動作は、第２実施形態および第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

本実施形態によれば、あらかじめ捜索範囲を選別できるので、捜索の迅速化と捜索サーバの負荷低減が可能である。

《情報処理システムの動作手順》
図２４は、本実施形態に係る情報処理システムの動作手順を示すシーケンス図である。なお、図２４には、第２実施形態の図４に図示の初期設定処理や捜索依頼処理、あるいは捜索物確認処理については、複雑さを避けるために省略あるいは簡略化している。これらの処理は、図４の処理に準ずるものである。なお、図２４においては、アプリケーションのダウンロードは、捜索依頼があって捜索対象の捜索物の捜索範囲内にある捜索用通信端末のみにアプリケーショがダウンロードされて、集中捜索が行なわれる。捜索範囲は多段階のレベルに分割され、そのレベルに応じた精度の局所特徴量が選択されたり、認識処理や確認処理の方法が選択されたりしてもよい。

図２４は、ステップＳ２４００における探索依頼用通信端末からの捜索依頼から図示している。ここでは、捜索物の局所特徴量や捜索物関連情報が捜索サーバ２２０に送信され、捜索サーバ２２０の各ＤＢに登録保持される（不図示）。

捜索サーバ２２０は、ステップＳ２４０１において、捜索依頼の捜索物や関連情報から捜索範囲を決定する。そして、ステップＳ２４０３において、捜索範囲内にある捜索用通信端末に対して、本実施形態を処理可能なアプリケーションと捜索物に適切な精度パラメータをダウンロードする。ここで、ダウンロード先の通信端末は、あらかじめ登録された通信端末であっても、捜索範囲の全監視カメラやカメラ付き携帯端末であってもよい。また、あらかじめアプリケーションが搭載された、あるいはダウンロードされた通信端末に対しては、捜索開始を指示するのみであってもよい。図２４においては、○印の付された通信端末が捜索用に選択され、×印が付された通信端末は捜索用に選択されない。

選択された捜索用通信端末は、まず、ステップＳ２４０５において、ダウンロードされた精度パラメータに精度調整を行なう。そして、捜索用通信端末は、ステップＳ２４０７において、撮像部によりそれぞれの映像を取得する。そして、ステップＳ２４０９において、それぞれの映像から局所特徴量を生成する。続いて、ステップＳ２４１１において、生成された局所特徴量を特徴点座標と共に符号化する。符号化された局所特徴量は、ステップＳ２４１３において、捜索用通信端末から捜索サーバ２２０に送信される。

捜索サーバ２２０では、ステップＳ２４１５において、局所特徴量ＤＢ２２１を参照して局所特徴量を照合し、映像中から捜索物を認識し、さらに捜索物を確認して捜索物ＤＢ２２２（図２３には不図示）から捜索元などの情報を取得する。そして、ステップＳ２４１７において、捜索物確認情報を捜索元の捜索依頼用通信端末に通知する。

捜索元の捜索依頼用通信端末は、捜索結果を受信して、ステップＳ２４１９において、捜索物発見を報知する。

なお、図２４においては、捜索物の認識および確認を捜索サーバ２２０で行なったが、第３実施形態のように、認識処理は捜索用通信端末で行ない確認処理は捜索サーバで行なってよい。本実施形態のように探索用通信端末の範囲を選択すれば、通信トラフィックや、あるいは探索用通信端末および捜索サーバの負荷を削減できる。

［第５実施形態］
次に、本発明の第５実施形態に係る情状処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態乃至第４実施形態と比べると、１つの通信端末が、捜索依頼用通信端末と捜索用通信端末と捜索サーバとの処理を全て行なう点で異なる。その他の構成および動作は、第２実施形態乃至第４実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

本実施形態によれば、１つの通信端末を使用して捜索物を捜索できる。特に、限られた領域、例えば室内や建物内などで探索物を見付けるのに有用である。

《通信端末の機能構成》
図２５は、本実施形態に係る通信端末２５１１の機能構成を示すブロック図である。なお、図２５において、第２実施形態の図６と同様の機能構成部には同じ参照番号を付して、説明を省略する。

図示しない操作部により、通信端末は捜索物の登録であるか、捜索物の捜索であるかが選択される。あるいは、捜索物の登録のみが選択され、その他は捜索物の捜索を行なってもよい。

登録／捜索判定部２５０１は、上記捜索物の登録か捜索かを判定して、局所特徴量生成部６０２で生成された局所特徴量に対して異なる処理を実行させる。捜索物の登録であれば、生成した局所特徴量は撮像した捜索物の局所特徴量である。したがって、局所特徴量登録部２５０２によって、捜索物と対応付けて局所特徴量ＤＢ２５１０に登録される。同時に、精度調整ＤＢ２５２０や捜索物ＤＢ２５３０に対応するデータを保持する。

一方、捜索物の捜索であれば、生成した局所特徴量は撮像した映像の局所特徴量である。したがって、捜索物認識部２５０３において、局所特徴量ＤＢ２５１０に登録された局所特徴量が含まれるかを照合して、捜索物の認識が行なわれる。捜索物が映像内にあることを認識すると、精度調整取得部２５０４は、精度調整ＤＢ２５２０から捜索物の確認に適切な精度パラメータを取得する。取得した精度パラメータは精度調整部６０６の精度パラメータ６０６ａに保持され、映像から生成される局所特徴量の精度が調整される。なお、図２５には、捜索物へのズームインを含む領域選別は図示しないが、領域選別を行なう方がより正確な捜索物確認が可能となる。

捜索物確認部２５０６は、精度調整した映像の局所特徴量を局所特徴量ＤＢ２５１０の局所特徴量と照合して、認識した捜索物を確認する。捜索物発見情報報知部２５０７は、捜索物確認部２５０６が捜索物を核にすれば、捜索物ＤＢ２５３０を参照して、捜索物発見情報を報知する。また、捜索結果確認の通信端末が別途にある場合は、捜索物発見情報送信部２５０８により、捜索物発見情報を捜索結果確認の通信端末に送信する。

［第６実施形態］
次に、本発明の第６実施形態に係る情状処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態乃至第５実施形態と比べると、局所特徴量により捜索する捜索物が映像の不正な複製物である点で異なる。その他の構成および動作は、第２実施形態乃至第４実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

本実施形態によれば、再生あるいは放送される映像から不正な複製物をリアルタイムに捜索できる。

《情報処理システムの構成》
図２６は、本実施形態に係る情報処理システム２６００の構成を示すブロック図である。

図２６の情報処理システム２６００においては、ネットワーク２６４０により、複数の通信端末２６０１〜２６０５と、オリジナルの元映像を登録する元映像登録サーバ２６２０と、不正複製物の放送や再生を監視する情報処理装置である不正複製物監視サーバ２６１０と、を含む。

複数の通信端末２６０１〜２６０５には、携帯端末２６０１や２６０２、モニタ２６０３、携帯ＰＣ２６０４、デスクトップＰＣ２６０５などを含む。これらの通信端末２６０１〜２６０５は、それぞれ局所特徴量生成部２６０１ａ〜２６０５ａを有し、ダウンロードやアップロードする映像、あるいは放送や再生している映像から局所特徴量を生成して、不正複製物監視サーバ２６１０に送信する。

元映像登録サーバ２６２０は、映像コンテンツ生成プロバイダや映像コンテンツ提供プロバイダなどを含む。また、元映像登録サーバ２６２０は、局所特徴量生成部２６２０ａを有する。そして、元映像の特徴あるフレーム（元画像）から生成された局所特徴量、あるいは、元映像に出現する特徴ある物品や人物、背景の景観要素の局所特徴量とその組み合わせの情報、などを不正複製物監視サーバ２６１０に登録する。

不正複製物監視サーバ２６１０は、元映像登録サーバ２６２０から送信された、元映像の局所特徴量を局所特徴量ＤＢ２６１１に登録する。そして、通信端末２６０１〜２６０５からリアルタイムに送信されるダウンロードやアップロードする映像、あるいは放送や再生している映像の局所特徴量を、局所特徴量ＤＢ２６１１に登録された局所特徴量と照合する。所定確率で局所特徴量が一致すれば不正複製物であると判定し、送信元には不正複製物であるとの警告を行ない、他の通信端末および関連する元映像登録サーバ２６２０には、その旨を報知する。

《情報処理システムの動作手順》
図２７は、本実施形態に係る情報処理システム２６００の動作手順を示すシーケンス図である。なお、図２７には、第２実施形態の図４に図示のアプリケーションのダウンロードや起動については、複雑さを避けるために省略している。この処理は、図４の処理に準ずるものである。

図２７は、ステップＳ２７０１における元映像登録サーバ２６２０からの元映像の登録から図示している。ここでは、元映像の情報および対応する局所特徴量が不正複製物監視サーバ２６１０に送信される。不正複製物監視サーバ２６１０は、ステップＳ２７０３において、受信した局所特徴量を元映像ＩＤに対応付けて局所特徴量ＤＢ２６１１に登録する。

通信端末２６０１〜２６０５は、それぞれ、ステップＳ２７０５において映像を再生する。なお、ステップＳ２７０５は、映像のダウンロードやアップロードを含む。ステップＳ２７０７において、それぞれの映像から局所特徴量を生成する。続いて、ステップＳ２７０９において、生成された局所特徴量を特徴点座標と共に符号化する。符号化された局所特徴量は、ステップＳ２７１１において、通信端末２６０１〜２６０５から不正複製物監視サーバ２６１０に送信される。

不正複製物監視サーバ２６１０では、ステップＳ２７１３において、局所特徴量ＤＢ２６１１を参照して局所特徴量を照合し、映像中から元画像との一致を検出する。ステップＳ２７１５において、不正複製物の有無を判定し、無ければ次の局所特徴量を受信してステップＳ２７１３の不正複製物の検出を繰り返す。不正複製物が検出されればステップＳ２７１７に進んで、不正複製物情報を生成する。そして、ステップＳ２７１９においては、不正複製物を再生している通信端末には不正複製物の警告を送信し、不正複製物に関連する元映像登録サーバ２６２０に対しては不正複製物に関する情報を送信する。

不正複製物を再生している通信端末は、ステップＳ２７２１において、不正複製物の警告を行なう。一方、不正複製物に関連する元映像登録サーバ２６２０では、ステップＳ２７３３において、不正複製物の情報を報知する。なお、不正複製物を再生してない他の通信端末に対しても、不正複製物の情報を報知してもよい。

［他の実施形態］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。

この出願は、２０１２年１月３０日に出願された日本出願特願２０１２−０１７３８４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
捜索物と、前記捜索物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
第１撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記捜索物が存在すると認識する認識手段と、
を備えることを特徴とする情報処理システム。
（付記２）
前記捜索物の画像からｍ個の特徴点を抽出し、それぞれ１次元からｉ次元までの特徴ベクトルからなる前記ｍ個の第１局所特徴量を生成する第１局所特徴量生成手段をさらに備えることを特徴とする付記１に記載の情報処理システム。
（付記３）
前記捜索物の画像を撮像する第２撮像手段をさらに備え、
前記第１局所特徴量生成手段は、前記第２撮像手段が撮像した前記捜索物の画像に基づいて、前記ｍ個の第１局所特徴量を生成することを特徴とする付記２に記載の情報処理システム。
（付記４）
前記認識手段の認識結果を報知する報知手段をさらに備えることを特徴とする付記３に記載の情報処理システム。
（付記５）
前記情報処理システムは、前記捜索物の局所特徴量を生成するための第１通信端末と、局所特徴量に基づいて前記捜索物を捜索するための第２通信端末と、前記第１通信端末および前記第２通信端末と通信する情報処理装置とを有し、
前記第１通信端末が、前記第２撮像手段と前記第１局所特徴量生成手段と前記報知手段とを含んで、前記ｍ個の第１局所特徴量を前記第１通信端末から前記情報処理装置へ送信し、
前記第２通信端末が、前記第１撮像手段と前記第２局所特徴量生成手段とを含んで、前記ｎ個の第２局所特徴量を前記第２通信端末から前記情報処理装置へ送信し、
前記情報処理装置が、前記第１局所特徴量記憶手段と前記認識手段とを含んで、前記認識手段の認識結果を前記情報処理装置から前記第１通信端末へ送信することを特徴とする付記４に記載の情報処理システム。
（付記６）
前記捜索物は遺失物または盗難物であり、
前記第１局所特徴量記憶手段は、捜索する前記遺失物または盗難物の画像から前記第１局所特徴量生成手段が生成した第１局所特徴量を記憶し、
前記認識手段は、前記ｎ個の第２局所特徴量に、前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記遺失物または盗難物が存在すると認識することを特徴とする付記２に記載の情報処理システム。
（付記７）
前記捜索物は人物であり、
前記第１局所特徴量記憶手段は、捜索する前記人物の画像から前記第１局所特徴量生成手段が生成した第１局所特徴量を記憶し、
前記認識手段は、前記ｎ個の第２局所特徴量に、前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記人物が存在すると認識することを特徴とする付記２に記載の情報処理システム。
（付記８）
前記捜索物は複製物であり、
前記第１局所特徴量記憶手段は、元画像から前記第１局所特徴量生成手段が生成した第１局所特徴量を記憶し、
前記認識手段は、前記ｎ個の第２局所特徴量に、前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記元画像が存在すると認識することを特徴とする付記２に記載の情報処理システム。
（付記９）
前記第２局所特徴量生成手段は、前記第２局所特徴量の精度を調整する精度調整手段を有し、
前記認識手段は、精度をより高く調整して前記第２局所特徴量生成手段が生成した第２局所特徴量に基づいて前記捜索物を確認することを特徴とする付記１乃至８のいずれか１つに記載の情報処理システム。
（付記１０）
前記第１局所特徴量および前記第２局所特徴量は、画像から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数の次元の特徴ベクトルを生成することにより生成されることを特徴とする付記１乃至９のいずれか１つに記載の情報処理システム。
（付記１１）
前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数の次元の特徴ベクトルから、隣接するサブ領域間の相関がより大きな次元を削除することにより生成されることを特徴とする付記１０に記載の情報処理システム。
（付記１２）
前記特徴ベクトルの複数の次元は、前記特徴点の特徴に寄与する次元から順に、かつ、前記局所特徴量に対して求められる精度の向上に応じて第１次元から順に選択できるよう、所定の次元数ごとに前記局所領域をひと回りするよう配列することを特徴とする付記１０または１１に記載の情報処理システム。
（付記１３）
前記第２局所特徴量生成手段は、捜索する前記捜索物の相関に対応して、他の捜索物とより低い前記相関を有する捜索物については次元数のより少ない前記第２局所特徴量を生成することを特徴とする付記１２に記載の情報処理システム。
（付記１４）
前記第１局所特徴量記憶手段は、捜索する前記捜索物の相関に対応して、他の捜索物とより低い前記相関を有する捜索物については次元数のより少ない前記第１局所特徴量を記憶することを特徴とする付記１２または１３に記載の情報処理システム。
（付記１５）
捜索物と、前記捜索物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理システムの情報処理方法であって、
第１撮像手段によって撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記捜索物が存在すると認識する認識ステップと、
を備えることを特徴とする情報処理方法。
（付記１６）
撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
局所特徴量の照合に基づいて撮像した前記画像に含まれる捜索物を認識する情報処理装置に送信する第１送信手段と、
を備えることを特徴とする通信端末。
（付記１７）
撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記ｎ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる捜索物を認識する情報処理装置に送信する第１送信ステップと、
を含むことを特徴とする通信端末の制御方法。
（付記１８）
撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記ｎ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる捜索物を認識する情報処理装置に送信する第１送信ステップと、
をコンピュータに実行させることを特徴とする制御プログラム。
（付記１９）
撮像した捜索物の画像からｍ個の特徴点を抽出し、前記ｍ個の特徴点のそれぞれを含むｍ個の局所領域について、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を生成する第１局所特徴量生成手段と、
撮像した捜索物が他の画像に含まれるか否かを局所特徴量の照合に基づいて認識する情報処理装置に、前記ｍ個の第１局所特徴量を送信する第２送信手段と、
前記情報処理装置から、前記他の画像に含まれる前記撮像した捜索物を示す情報を受信する第１受信手段と、
を備えたことを特徴とする通信端末。
（付記２０）
撮像した捜索物の画像からｍ個の特徴点を抽出し、前記ｍ個の特徴点のそれぞれを含むｍ個の局所領域について、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を生成する第１局所特徴量生成ステップと、
撮像した捜索物が他の画像に含まれるか否かを局所特徴量の照合に基づいて認識する情報処理装置に、前記ｍ個の第１局所特徴量を送信する第２送信ステップと、
前記情報処理装置から、前記他の画像に含まれる前記撮像した捜索物を示す情報を受信する第１受信ステップと、
を含むことを特徴とする通信端末の制御方法。
（付記２１）
撮像した捜索物の画像からｍ個の特徴点を抽出し、前記ｍ個の特徴点のそれぞれを含むｍ個の局所領域について、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を生成する第１局所特徴量生成ステップと、
撮像した捜索物が、他の画像に含まれるか否かを局所特徴量の照合に基づいて認識する情報処理装置に、前記ｍ個の第１局所特徴量を送信する第２送信ステップと、
前記情報処理装置から、前記他の画像に含まれる前記撮像した捜索物を示す情報を受信する第１受信ステップと、
をコンピュータに実行させることを特徴とする通信端末の制御プログラム。
（付記２２）
捜索物と、前記捜索物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
前記捜索物を捜索する第１通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記第１通信端末から受信する第２受信手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記捜索物が存在すると認識する認識手段と、
認識した前記捜索物を示す情報を、前記捜索物の捜索を依頼した第２通信端末に送信する第２送信手段と、
を備えたことを特徴とする情報処理装置。
（付記２３）
捜索物と、前記捜索物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置の制御方法であって、
前記捜索物を捜索する第通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記捜索物が存在すると認識する認識ステップと、
認識した前記捜索物を示す情報を、前記捜索物の捜索を依頼した第２通信端末に送信する第２送信ステップと、
を含むことを特徴とする情報処理装置の制御方法。
（付記２４）
捜索物と、前記捜索物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置の制御プログラムであって、
前記捜索物を捜索する第１通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記第１通信端末から受信する第２受信ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記捜索物が存在すると認識する認識ステップと、
認識した前記捜索物を示す情報を、前記捜索物の捜索を依頼した第２通信端末に送信する第２送信ステップと、
をコンピュータに実行させることを特徴とする制御プログラム。

Claims (24)

1. 捜索物と、前記捜索物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
   第１撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
   前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記捜索物が存在すると認識する認識手段と、
   を備えることを特徴とする情報処理システム。
2. 前記捜索物の画像からｍ個の特徴点を抽出し、それぞれ１次元からｉ次元までの特徴ベクトルからなる前記ｍ個の第１局所特徴量を生成する第１局所特徴量生成手段をさらに備えることを特徴とする請求項１に記載の情報処理システム。
3. 前記捜索物の画像を撮像する第２撮像手段をさらに備え、
   前記第１局所特徴量生成手段は、前記第２撮像手段が撮像した前記捜索物の画像に基づいて、前記ｍ個の第１局所特徴量を生成することを特徴とする請求項２に記載の情報処理システム。
4. 前記認識手段の認識結果を報知する報知手段をさらに備えることを特徴とする請求項３に記載の情報処理システム。
5. 前記情報処理システムは、前記捜索物の局所特徴量を生成するための第１通信端末と、局所特徴量に基づいて前記捜索物を捜索するための第２通信端末と、前記第１通信端末および前記第２通信端末と通信する情報処理装置とを有し、
   前記第１通信端末が、前記第２撮像手段と前記第１局所特徴量生成手段と前記報知手段とを含んで、前記ｍ個の第１局所特徴量を前記第１通信端末から前記情報処理装置へ送信し、
   前記第２通信端末が、前記第１撮像手段と前記第２局所特徴量生成手段とを含んで、前記ｎ個の第２局所特徴量を前記第２通信端末から前記情報処理装置へ送信し、
   前記情報処理装置が、前記第１局所特徴量記憶手段と前記認識手段とを含んで、前記認識手段の認識結果を前記情報処理装置から前記第１通信端末へ送信することを特徴とする請求項４に記載の情報処理システム。
6. 前記捜索物は遺失物または盗難物であり、
   前記第１局所特徴量記憶手段は、捜索する前記遺失物または盗難物の画像から前記第１局所特徴量生成手段が生成した第１局所特徴量を記憶し、
   前記認識手段は、前記ｎ個の第２局所特徴量に、前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記遺失物または盗難物が存在すると認識することを特徴とする請求項２に記載の情報処理システム。
7. 前記捜索物は人物であり、
   前記第１局所特徴量記憶手段は、捜索する前記人物の画像から前記第１局所特徴量生成手段が生成した第１局所特徴量を記憶し、
   前記認識手段は、前記ｎ個の第２局所特徴量に、前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記人物が存在すると認識することを特徴とする請求項２に記載の情報処理システム。
8. 前記捜索物は複製物であり、
   前記第１局所特徴量記憶手段は、元画像から前記第１局所特徴量生成手段が生成した第１局所特徴量を記憶し、
   前記認識手段は、前記ｎ個の第２局所特徴量に、前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記元画像が存在すると認識することを特徴とする請求項２に記載の情報処理システム。
9. 前記第２局所特徴量生成手段は、前記第２局所特徴量の精度を調整する精度調整手段を有し、
   前記認識手段は、精度をより高く調整して前記第２局所特徴量生成手段が生成した第２局所特徴量に基づいて前記捜索物を確認することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
10. 前記第１局所特徴量および前記第２局所特徴量は、画像から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数の次元の特徴ベクトルを生成することにより生成されることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理システム。
11. 前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数の次元の特徴ベクトルから、隣接するサブ領域間の相関がより大きな次元を削除することにより生成されることを特徴とする請求項１０に記載の情報処理システム。
12. 前記特徴ベクトルの複数の次元は、前記特徴点の特徴に寄与する次元から順に、かつ、前記局所特徴量に対して求められる精度の向上に応じて第１次元から順に選択できるよう、所定の次元数ごとに前記局所領域をひと回りするよう配列することを特徴とする請求項１０または１１に記載の情報処理システム。
13. 前記第２局所特徴量生成手段は、捜索する前記捜索物の相関に対応して、他の捜索物とより低い前記相関を有する捜索物については次元数のより少ない前記第２局所特徴量を生成することを特徴とする請求項１２に記載の情報処理システム。
14. 前記第１局所特徴量記憶手段は、捜索する前記捜索物の相関に対応して、他の捜索物とより低い前記相関を有する捜索物については次元数のより少ない前記第１局所特徴量を記憶することを特徴とする請求項１２または１３に記載の情報処理システム。
15. 捜索物と、前記捜索物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理システムの情報処理方法であって、
    第１撮像手段によって撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
    前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記捜索物が存在すると認識する認識ステップと、
    を備えることを特徴とする情報処理方法。
16. 撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
    局所特徴量の照合に基づいて撮像した前記画像に含まれる捜索物を認識する情報処理装置に送信する第１送信手段と、
    を備えることを特徴とする通信端末。
17. 撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
    前記ｎ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる捜索物を認識する情報処理装置に送信する第１送信ステップと、
    を含むことを特徴とする通信端末の制御方法。
18. 撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
    前記ｎ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる捜索物を認識する情報処理装置に送信する第１送信ステップと、
    をコンピュータに実行させることを特徴とする制御プログラム。
19. 撮像した捜索物の画像からｍ個の特徴点を抽出し、前記ｍ個の特徴点のそれぞれを含むｍ個の局所領域について、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を生成する第１局所特徴量生成手段と、
    撮像した捜索物が他の画像に含まれるか否かを局所特徴量の照合に基づいて認識する情報処理装置に、前記ｍ個の第１局所特徴量を送信する第２送信手段と、
    前記情報処理装置から、前記他の画像に含まれる前記撮像した捜索物を示す情報を受信する第１受信手段と、
    を備えたことを特徴とする通信端末。
20. 撮像した捜索物の画像からｍ個の特徴点を抽出し、前記ｍ個の特徴点のそれぞれを含むｍ個の局所領域について、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を生成する第１局所特徴量生成ステップと、
    撮像した捜索物が他の画像に含まれるか否かを局所特徴量の照合に基づいて認識する情報処理装置に、前記ｍ個の第１局所特徴量を送信する第２送信ステップと、
    前記情報処理装置から、前記他の画像に含まれる前記撮像した捜索物を示す情報を受信する第１受信ステップと、
    を含むことを特徴とする通信端末の制御方法。
21. 撮像した捜索物の画像からｍ個の特徴点を抽出し、前記ｍ個の特徴点のそれぞれを含むｍ個の局所領域について、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を生成する第１局所特徴量生成ステップと、
    撮像した捜索物が、他の画像に含まれるか否かを局所特徴量の照合に基づいて認識する情報処理装置に、前記ｍ個の第１局所特徴量を送信する第２送信ステップと、
    前記情報処理装置から、前記他の画像に含まれる前記撮像した捜索物を示す情報を受信する第１受信ステップと、
    をコンピュータに実行させることを特徴とする通信端末の制御プログラム。
22. 捜索物と、前記捜索物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
    前記捜索物を捜索する第１通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記第１通信端末から受信する第２受信手段と、
    前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記捜索物が存在すると認識する認識手段と、
    認識した前記捜索物を示す情報を、前記捜索物の捜索を依頼した第２通信端末に送信する第２送信手段と、
    を備えたことを特徴とする情報処理装置。
23. 捜索物と、前記捜索物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置の制御方法であって、
    前記捜索物を捜索する第通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信ステップと、
    前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記捜索物が存在すると認識する認識ステップと、
    認識した前記捜索物を示す情報を、前記捜索物の捜索を依頼した第２通信端末に送信する第２送信ステップと、
    を含むことを特徴とする情報処理装置の制御方法。
24. 捜索物と、前記捜索物の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置の制御プログラムであって、
    前記捜索物を捜索する第１通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記第１通信端末から受信する第２受信ステップと、
    前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記捜索物が存在すると認識する認識ステップと、
    認識した前記捜索物を示す情報を、前記捜索物の捜索を依頼した第２通信端末に送信する第２送信ステップと、
    をコンピュータに実行させることを特徴とする制御プログラム。

Images