JP6168355B2 - 情報処理システム、情報処理方法、通信端末およびその制御方法と制御プログラム - Google Patents

Description

本発明は、撮像の対象物に対応する広告情報を提供するための技術に関する。

上記技術分野において、特許文献１には、撮影された製品の画像の特徴量から、その製品の取り扱い店舗の位置を検索し通知する技術が知られている。

特開２００３−１２２７５７号公報

しかしながら、上記文献１に記載の技術では、特徴点の分散値、製品の縦横比、および２値化画像の密度を特徴量として検索に用いていたが、この方法では照合精度が十分ではなく検索にも時間がかかっていた。

本発明の目的は、上述の課題を解決する技術を提供することにある。

上記目的を達成するため、本発明に係るシステムは、
対象物の画像中のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を、前記対象物と対応付けて記憶する第１局所特徴量記憶手段と、
映像中からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応する、と判定した場合に、前記映像中に前記対象物が存在すると認識する認識手段と、
前記認識手段が認識した前記対象物に関連する広告情報を提供する広告情報提供手段と、
を備えることを特徴とする。

上記目的を達成するため、本発明に係る方法は、
映像中からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
対象物の画像中のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについてあらかじめ生成され第１局所特徴量記憶手段に記憶された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を、前記第１局所特徴量記憶手段から読出す読出ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応する、と判定した場合に、前記映像中に前記対象物が存在すると認識する認識ステップと、
前記認識ステップで認識された前記対象物に関連する広告情報を提供する広告情報提供ステップと、
を含むことを特徴とする。

上記目的を達成するため、本発明に係る通信端末は、
対象物の画像を撮像する撮像手段と、
前記撮像手段が撮像した前記画像中からｍ個の特徴点を抽出し、前記ｍ個の特徴点のそれぞれを含むｍ個の局所領域についてｍ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第２局所特徴量生成手段が生成した前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて前記撮像手段が撮像した前記画像中に含まれる対象物を認識する情報処理装置に送信する第２局所特徴量送信手段と、
前記撮像手段が撮像した前記画像中に含まれる前記対象物に関連する広告情報を前記情報処理装置から受信して提供する広告情報提供手段と、
を備えたことを特徴とする。

上記目的を達成するため、本発明に係る方法は、
対象物の画像を撮像する撮像ステップと、
前記画像中からｍ個の特徴点を抽出し、前記ｍ個の特徴点のそれぞれを含むｍ個の局所領域についてｍ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
局所特徴量の照合に基づいて前記画像中に含まれる対象物を認識する情報処理装置に、前記ｍ個の第２局所特徴量を送信する第２局所特徴量送信ステップと、
前記画像中に含まれる前記対象物に関連する広告情報を前記情報処理装置から受信して提供する広告情報提供ステップと、
を備えたことを特徴とする。

上記目的を達成するため、本発明に係るプログラムは、
対象物の画像を撮像する撮像ステップと、
前記画像中からｍ個の特徴点を抽出し、前記ｍ個の特徴点のそれぞれを含むｍ個の局所領域についてｍ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
局所特徴量の照合に基づいて前記画像中に含まれる対象物を認識する情報処理装置に、前記ｍ個の第２局所特徴量を送信する第２局所特徴量送信ステップと、
前記画像中に含まれる前記対象物に関連する広告情報を前記情報処理装置から受信して提供する広告情報提供ステップと、
をコンピュータに実行させることを特徴とする。

本発明によれば、対象物を撮影している間にリアルタイムでその対象物に関する広告情報を提供することができる。

本発明の第１実施形態に係る情報処理システムの構成を示す図である。 本発明の第２実施形態に係る情報処理システムの全体構成を示す図である。 本発明の第２実施形態に係る通信端末の内部機能構成を示す図である。 本発明の第２実施形態に係る広告配信サーバの内部機能構成を示す図である。 本発明の第２実施形態に係る局所特徴量の生成処理について説明するための図である。 本発明の第２実施形態に係る局所特徴量の生成処理について説明するための図である。 本発明の第２実施形態に係る局所特徴量の生成処理について説明するための図である。 本発明の第２実施形態に係る局所特徴量の生成処理について説明するための図である。 本発明の第２実施形態に係る局所特徴量の生成処理について説明するための図である。 本発明の第２実施形態に係る局所特徴量の生成処理について説明するための図である。 本発明の第２実施形態に係る照合処理について説明するための図である。 本発明の第２実施形態に係る照合処理について説明するための図である。 本発明の第２実施形態に係る情報処理システムの全体処理を示すシーケンス図である。 本発明の第２実施形態に係る広告情報データベースの構成を示す図である。 本発明の第２実施形態に係る広告情報の送信フォーマットを示す図である。 本発明の第２実施形態に係る通信端末のハードウェア構成を示す図である。 本発明の第２実施形態に係る通信端末の処理テーブルを示す図である。 本発明の第２実施形態に係る通信端末の処理の流れを示すフローチャートである。 本発明の第２実施形態に係る通信端末の処理の流れを示すフローチャートである。 本発明の第２実施形態に係る広告配信サーバのハードウェア構成を示す図である。 本発明の第２実施形態に係る広告配信サーバの処理の流れを示すフローチャートである。 本発明の第２実施形態に係る広告配信サーバの処理の流れを示すフローチャートである。 本発明の第２実施形態に係る広告配信サーバの処理の流れを示すフローチャートである。 本発明の第３実施形態に係る情報処理システムの全体構成を示す図である。 本発明の第３実施形態に係る情報処理システムの全体処理の流れを示すシーケンス図である。 本発明の第３実施形態に係るリンク情報データベースの構成を示す図である。 本発明の第３実施形態に係るリンク情報送信フォーマットの構成を示す図である。 本発明の第４実施形態に係る情報処理システムの処理の流れを示すシーケンス図である。 本発明の第５実施形態に係る情報処理システムの処理の流れを示すシーケンス図である。 本発明の第６実施形態に係る情報処理システムについて説明するための図である。

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

［第１実施形態］
本発明の第１実施形態としての情報処理システム１００について、図１を用いて説明する。情報処理システム１００は、撮像中の対象物をリアルタイムに認識し、広告情報を提供するためのシステムである。

図１に示すように、情報処理システム１００は、第１局所特徴量記憶部１１０と、第２局所特徴量生成部１３０と、認識部１４０と、広告情報提供部１５０と、を含む。

第１局所特徴量記憶部１１０は、対象物の画像中のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を、対象物と対応付けて記憶する。

第２局所特徴量生成部１３０は、新たに取得した映像１０１内からｎ個の特徴点を抽出し、ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する。

認識部１４０は、第１局所特徴量の特徴ベクトルの次元数ｉおよび第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択する。そして、認識部１４０は、選択された次元数までの特徴ベクトルからなるｎ個の第２局所特徴量に、選択された次元数までの特徴ベクトルからなるｍ個の第１局所特徴量の所定割合以上が対応する、と判定した場合に、映像中に対象物が存在すると認識する。

広告情報提供部１５０は、認識部１４０が認識した対象物に関連する広告情報を提供する。

本実施形態によれば、認識精度を維持しながら、映像中の認識対象物に対してリアルタイムに広告情報を提供することができる。

［第２実施形態］
次に本発明の第２実施形態に係る情報処理システム２００について、図２乃至図１５を用いて説明する。図２は、本実施形態に係る情報処理システム２００の全体構成を説明するための図である。

《全体構成》
情報処理システム２００は、ネットワーク２４０を介して通信回線で接続された、広告情報データベース（広告配信ＤＢ）２１１を含む広告配信サーバ２１０と、局所特徴量生成部２２１ａ〜２２５ａを備えた通信端末２２１〜２２５と、広告提供者端末２３０とを含む。通信端末２２１〜２２５は、局所特徴量生成部２２１ａ〜２２５ａを用いて、例えば撮影中の映像から局所特徴量を生成し、広告配信サーバ２１０に送る。

広告配信サーバ２１０は、送られてきた局所特徴量と、あらかじめ広告情報データベース２１１に記憶している局所特徴量とを比較し、照合を行なう。広告配信サーバ２１０は、その照合に成功すれば、映像中の対象物が、広告配信の対象であると判断し、対応して記憶されていた広告情報を広告情報データベース２１１から読出して、通信端末２２１〜２２５に送信する。通信端末２２１〜２２５では、受信した広告情報を画面に表示する。

また、広告提供者端末２３０は、ネットワーク２４０を介して、あるいは、直接、広告配信サーバ２１０に対して、商品の画像と広告情報とを提供する。広告配信サーバ２１０は、提供された商品の画像を解析して、局所特徴量を生成し、広告情報と対応付けて、広告情報データベース２１１に記憶する。

図３Ａは、通信端末２２１〜２２５の内部機能構成を示すブロック図である。通信端末２２１〜２２５は、カメラなどの撮像部３１０と、内部に記憶された映像データを読出して再生する映像再生部３１１と、不図示のアンテナを介していわゆるワンセグや地上デジタル波の映像を受信する映像受信部３１２とを有する。これらの撮像部３１０、映像再生部３１１、映像受信部３１２に取得された映像は、画像展開部３１３において展開された後、表示部３２５に表示される。この時、画像展開部３１３は、展開された画像を、表示部３２５に出力すると同時に、局所特徴量生成部３２０に出力する。局所特徴量生成部３２０は、展開された画像からｎ個の特徴点を抽出し、ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の局所特徴量を生成し、符号化部３２１に送る。符号化部３２１は、局所特徴量を符号化して、通信制御部３６０に渡す。通信制御部３６０は、符号化された局所特徴量を、広告配信サーバ２１０に送る。通信制御部３６０は、また、広告配信サーバ２１０から広告情報を受信し、広告画像生成部３２４に渡す。広告画像生成部３２４は、受信した広告情報から広告画像を生成して、表示部３２５に渡す。表示部３２５は、広告画像生成部３２４が生成した広告画像を、撮像中の映像や再生中の映像に重畳してあるいはそれらの映像に付加して表示する。つまり広告画像生成部３２４は、広告情報付加手段として機能する。

図３Ｂは、広告配信サーバ２１０の内部機能構成を示すブロック図である。広告配信サーバ２１０は、広告情報データベース２１１の他、通信制御部３３０、局所特徴量生成部３３２、照合部３３３、広告情報取得部３３４、および局所特徴量復号部３３５を含む。通信制御部３３０は、広告提供者端末２３０から商品の画像およびその詳細情報およびその商品と関連して表示すべき広告情報を受信する。受信した商品画像は、局所特徴量生成部３３２に送られ、局所特徴量の生成処理が行なわれる。生成された局所特徴量は、商品情報および広告情報に紐付けられて、広告情報データベース２１１に格納される。

一方、通信制御部３３０は、ネットワークを介して通信端末２２１〜２２５から、符号化された局所特徴量を受信すると、局所特徴量復号部３３５に渡す。局所特徴量復号部３３５は、局所特徴量を復号し、照合部３３３に送る。照合部３３３は、ネットワークを介して受信した局所特徴量と、あらかじめ広告情報データベース２１１に記憶された局所特徴量とを比較し、照合を行なう。ここに記憶されている局所特徴量は、対象物の画像中のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の局所特徴量である。

照合部３３３は、局所特徴量復号部３３５および広告情報データベース２１１から取得した２つの局所特徴量の特徴ベクトルの次元数ｉ、ｊのうち、より少ない次元数を選択する。そして、照合部３３３は、局所特徴量復号部３３５から取得した局所特徴量であって、選択された次元数までの特徴ベクトルからなるｎ個の局所特徴量と、広告情報データベース２１１から取得した選択された次元数までの特徴ベクトルからなるｍ個の局所特徴量とを比較する。照合部３３３は、これらの局所特徴量の所定割合以上が対応すると判定した場合に、映像中に広告対象物が存在すると認識し、その認識結果を広告情報取得部３３４に渡す。広告情報取得部３３４は、映像中に広告対象物が存在するとの照合結果に基づいて、その広告対象物に対応する広告情報を広告情報データベース２１１から読み出して、通信制御部３３０を介して、通信端末２２１〜２２５に送信する。

《局所特徴量生成部と符号化部の構成》
図４Ａは、局所特徴量生成部３２０および符号化部３２１の構成を示すブロック図である。

局所特徴量生成部３２０は、特徴点検出部４０１、局所領域取得部４０２、サブ領域分割部４０３、サブ領域特徴ベクトル生成部４０４、および次元選定部４０５を含む。

特徴点検出部４０１は、画像データから特徴的な点（特徴点）を多数検出し、各特徴点の座標位置、スケール（大きさ）、および角度を出力する。

局所領域取得部４０２は、検出された各特徴点の座標値、スケール、および角度から、特徴量抽出を行う局所領域を取得する。

サブ領域分割部４０３は、局所領域をサブ領域に分割する。例えば、サブ領域分割部４０３は、局所領域を１６ブロック（４×４ブロック）に分割することも、局所領域を２５ブロック（５×５ブロック）に分割することもできる。なお、分割数は限定されない。以下、局所領域を２５ブロック（５×５ブロック）に分割する場合を代表して説明する。

サブ領域特徴ベクトル生成部４０４は、局所領域のサブ領域ごとに特徴ベクトルを生成する。サブ領域特徴ベクトル生成部４０４は、サブ領域の特徴ベクトルとして、例えば、勾配方向のヒストグラムを用いて複数次元の特徴ベクトルを生成することができる。

次元選定部４０５は、サブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるように、局所特徴量として出力する次元を選定する（例えば、間引きする）。また、次元選定部４０５は、単に次元を選定するだけではなく、選定の優先順位を決定することができる。すなわち、次元選定部４０５は、例えば、隣接するサブ領域間では同一の勾配方向の次元が選定されないように、優先順位をつけて次元を選定することができる。そして、次元選定部４０５は、選定した次元から構成される特徴ベクトルを、局所特徴量として出力する。なお、次元選定部４０５は、優先順位に基づいて次元を並び替えた状態で、局所特徴量を出力することができる。

符号化部３２１は、局所特徴量生成部３２０の特徴点検出部４０１から特徴点の座標を入力して、座標値を走査する座標値走査部４０７を有する。座標値走査部４０７は、画像をある特定の走査方法に従って走査し、特徴点の２次元座標値（Ｘ座標値とＹ座標値）を１次元のインデックス値に変換する。このインデックス値は、走査に従った原点からの走査距離である。なお、走査方向については、制限はない。

また、符号化部３２１は、特徴点のインデックス値をソートし、ソート後の順列の情報を出力するソート部４０８を有する。ここでソート部４０８は、例えば昇順にソートする。また降順にソートしてもよい。

また、符号化部３２１は、ソートされたインデックス値における、隣接する２つのインデックス値の差分値を算出し、差分値の系列を出力する差分算出部４０９を有する。

符号化部３２１は、さらに、差分値の系列を系列順に符号化する差分符号化部４１０を有する。差分値の系列の符号化は、例えば固定ビット長の符号化でもよい。固定ビット長で符号化する場合、そのビット長はあらかじめ規定されていてもよいが、これでは考えられうる差分値の最大値を表現するのに必要なビット数を要するため、符号化サイズは小さくならない。そこで、差分符号化部４１０は、固定ビット長で符号化する場合、入力された差分値の系列に基づいてビット長を決定することができる。具体的には、例えば、差分符号化部４１０は、入力された差分値の系列から差分値の最大値を求め、その最大値を表現するのに必要なビット数（表現ビット数）を求め、求められた表現ビット数で差分値の系列を符号化することができる。

一方、ソートされた特徴点のインデックス値と同じ順列で、対応する特徴点の局所特徴量を符号化する局所特徴量符号化部４０６を有する。ソートされたインデックス値と同じ順列で符号化することで、差分符号化部４１０で符号化された座標値と、それに対応する局所特徴量とを１対１で対応付けることが可能となる。局所特徴量符号化部４０６は、１つの特徴点に対する１５０次元の局所特徴量から次元選定された局所特徴量を、例えば１次元を１バイトで符号化し、次元数のバイトで符号化することができる。

《局所特徴量生成処理》
次に、図４Ｂ〜図４Ｆを用いて、本実施形態に係る局所特徴量生成部３２０、３３２の処理について詳しく説明する。

まず、図４Ｂは、局所特徴量生成部３２０における、特徴点検出／局所領域取得／サブ領域分割／特徴ベクトル生成の一連の処理を示す図である。かかる一連の処理については、米国特許第６７１１２９３号明細書や、David G. Lowe著、「Distinctive image features from scale-invariant key points」、（米国）、International Journal of Computer Vision、60(2)、2004年、p. 91-110を参照されたい。

（特徴点検出）
特徴点検出部４０１はまず、図４Ｂの左上に示すように、映像中の画像から特徴点４２１を検出する。以下、１つの特徴点４２１を代表させて局所特徴量の生成を説明する。それぞれの特徴点４２１には、周辺画素の、輝度や彩度、色相などの値の変化の方向と大きさを要素として持つ矢印が付随している。また、図４Ｂの例では、６０度間隔の６方向のいずれかに量子化する例を説明するが、これに限定されない。

（局所領域取得）
次に、局所領域取得部４０２は、図４Ｂの右上に示すように、例えば、特徴点４２１を中心にガウス窓４２２ａを生成し、このガウス窓４２２ａをほぼ含む局所領域４２２を生成した状態である。図４Ｂの例では、局所領域取得部４０２は正方形の局所領域４２２を生成したが、局所領域は円形であっても他の形状であってもよい。この局所領域を各特徴点について取得する。局所領域が円形であれば、撮影方向に対してロバスト性が向上するという効果がある。

（サブ領域分割）
サブ領域分割部４０３は、図４Ｂの左下に示すように、特徴点４２１の局所領域４２２に含まれる各画素のスケールおよび角度をサブ領域４２３に分割する。なお、図４Ｂでは４×４＝１６画素を１つのサブ領域としており、局所領域４２２は、合計５×５＝２５個のサブ領域に分割されている。しかし、サブ領域への分割の仕方およびその個数はこれに限定されるものではない。

（サブ領域特徴ベクトル生成）
サブ領域特徴ベクトル生成部４０４は、図４Ｂの右下に示すように、サブ領域内の各画素のスケールを８方向の角度単位にヒストグラムを生成して量子化し、サブ領域の特徴ベクトル４２４とする。すなわち、特徴点検出部４０１が出力する角度に対して正規化された方向である。そして、サブ領域特徴ベクトル生成部４０４は、サブ領域ごとに量子化された６方向の頻度を集計し、ヒストグラムを生成する。この場合、サブ領域特徴ベクトル生成部４０４は、各特徴点に対して生成される２５サブ領域ブロック×６方向＝１５０次元のヒストグラムにより構成される特徴ベクトルを出力する。また、勾配方向を６方向に量子化するだけに限らず、４方向、８方向、１０方向など任意の量子化数に量子化してよい。勾配方向をＤ方向に量子化する場合、量子化前の勾配方向をＧ（０〜２πラジアン）とすると、勾配方向の量子化値Ｑq（q＝０，...，Ｄ−１）は、例えば式（１）や式（２）などで求めることができるが、これに限られない。

Ｑq＝floor(Ｇ×Ｄ／２π） ...（１）
Ｑq＝round(Ｇ×Ｄ／２π）modＤ ...（２）
ここで、floor()は小数点以下を切り捨てる関数、round()は四捨五入を行う関数、modは剰余を求める演算である。また、サブ領域特徴ベクトル生成部４０４は勾配ヒストグラムを生成するときに、単純な頻度を集計するのではなく、勾配の大きさを加算して集計してもよい。また、サブ領域特徴ベクトル生成部４０４は勾配ヒストグラムを集計するときに、画素が属するサブ領域だけではなく、サブ領域間の距離に応じて近接するサブ領域（隣接するブロックなど）にも重み値を加算するようにしてもよい。また、サブ領域特徴ベクトル生成部４０４は量子化された勾配方向の前後の勾配方向にも重み値を加算するようにしてもよい。なお、サブ領域の特徴ベクトルは勾配方向ヒストグラムに限られず、色情報など、複数の次元（要素）を有するものであればよい。本実施形態においては、サブ領域の特徴ベクトルとして、勾配方向ヒストグラムを用いることとして説明する。

（次元選定）
次に、図４Ｃ〜図４Ｆに従って、次元選定部４０５が行なう次元選定処理について説明する。

次元選定部４０５は、サブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるように、局所特徴量として出力する次元（要素）を選定する（間引きする）。より具体的には、次元選定部４０５は、例えば、隣接するサブ領域間では少なくとも１つの勾配方向が異なるように次元を選定する。なお、本実施形態では、次元選定部４０５は近接するサブ領域として主に隣接するサブ領域を用いることとするが、近接するサブ領域は隣接するサブ領域に限られず、例えば、対象のサブ領域から所定距離内にあるサブ領域を近接するサブ領域とすることもできる。

図４Ｃは、局所領域を５×５ブロックのサブ領域に分割し、勾配方向を６方向に量子化して生成された１５０次元の勾配ヒストグラムの特徴ベクトル４３１から次元を選定する場合の一例を示す図である。図４Ｃの例では、１５０次元（５×５＝２５サブ領域ブロック×６方向）の特徴ベクトルから次元の選定が行われている。

図４Ｃに示すように、次元選定部４０５は、１５０次元の勾配ヒストグラムの特徴ベクトル４３１から半分の７５次元の勾配ヒストグラムの特徴ベクトル４３２を選定する。この場合、隣接する左右、上下のサブ領域ブロックでは、同一の勾配方向の次元が選定されないように、次元を選定することができる。

この例では、勾配方向ヒストグラムにおける量子化された勾配方向をｑ（ｑ＝０，１，２，３，４，５）とした場合に、ｑ＝０，２，４の要素を選定するブロックと、ｑ＝１，３，５の要素を選定するサブ領域ブロックとが交互に並んでいる。そして、図４Ｃの例では、隣接するサブ領域ブロックで選定された勾配方向を合わせると、全６方向となっている。

また、次元選定部４０５は、７５次元の勾配ヒストグラムの特徴ベクトル４３２から５０次元の勾配ヒストグラムの特徴ベクトル４３３を選定する。この場合、斜め４５度に位置するサブ領域ブロック間で、１つの方向のみが同一になる（残り１つの方向は異なる）ように次元を選定することができる。

また、次元選定部４０５は、５０次元の勾配ヒストグラムの特徴ベクトル４３３から２５次元の勾配ヒストグラムの特徴ベクトル４３４を選定する場合は、斜め４５度に位置するサブ領域ブロック間で、選定される勾配方向が一致しないように次元を選定することができる。図４Ｃに示す例では、次元選定部４０５は、１次元から２５次元までは各サブ領域から１つの勾配方向を選定し、２６次元から５０次元までは２つの勾配方向を選定し、５１次元から７５次元までは３つの勾配方向を選定している。

このように、隣接するサブ領域ブロック間で勾配方向が重ならないように、また全勾配方向が均等に選定されることが望ましい。また同時に、図４Ｃに示す例のように、局所領域の全体から均等に次元が選定されることが望ましい。なお、図４Ｃに示した次元選定方法は一例であり、この選定方法に限らない。

（局所領域の優先順位）
図４Ｄは、局所特徴量生成部３２０における、サブ領域からの特徴ベクトルの選定順位の一例を示す図である。

次元選定部４０５は、単に次元を選定するだけではなく、特徴点の特徴に寄与する次元から順に選定するように、選定の優先順位を決定することができる。すなわち、次元選定部４０５は、例えば、隣接するサブ領域ブロック間では同一の勾配方向の次元が選定されないように、優先順位をつけて次元を選定することができる。そして、次元選定部４０５は、選定した次元から構成される特徴ベクトルを、局所特徴量として出力する。なお、次元選定部４０５は、優先順位に基づいて次元を並び替えた状態で、局所特徴量を出力することができる。

すなわち、次元選定部４０５は、１〜２５次元、２６次元〜５０次元、５１次元〜７５次元の間は、例えば図４Ｄのマトリクス４４１に示すようなサブ領域ブロックの順番で次元を追加するように選定していってもよい。図４Ｄのマトリクス４４１に示す優先順位を用いる場合、次元選定部４０５は、中心に近いサブ領域ブロックの優先順位を高くして、勾配方向を選定していくことができる。

図４Ｅのマトリクス４５１は、図４Ｄの選定順位に従って、１５０次元の特徴ベクトルの要素の番号の一例を示す図である。この例では、５×５＝２５ブロックをラスタスキャン順に番号ｐ（ｐ＝０，１，...，２５）で表し、量子化された勾配方向をｑ（ｑ＝０，１，２，３，４，５）とした場合に、特徴ベクトルの要素の番号を６×ｐ＋ｑとしている。

図４Ｆのマトリクス４６０は、図４Ｅの選定順位による１５０次元の順位が、２５次元単位に階層化されていることを示す図である。すなわち、図４Ｆのマトリクス４６０は、図４Ｄのマトリクス４４１に示した優先順位に従って図４Ｅに示した要素を選定していくことにより得られる局所特徴量の構成例を示す図である。次元選定部４０５は、図４Ｆに示す順序で次元要素を出力することができる。具体的には、次元選定部４０５は、例えば１５０次元の局所特徴量を出力する場合、図４Ｆに示す順序で全１５０次元の要素を出力することができる。また、次元選定部４０５は、例えば２５次元の局所特徴量を出力する場合、図４Ｆに示す１行目（７６番目、４５番目、８３番目、...、１２０番目）の要素４６２を図４Ｆに示す順（左から右）に出力することができる。また、次元選定部４０５は、例えば５０次元の局所特徴量を出力する場合、図４Ｆに示す１行目に加えて、図４Ｆに示す２行目の要素４６３を図４Ｆに示す順（左から右）に出力することができる。

ところで、図４Ｆに示す例では、局所特徴量は階層的な構造となっている。すなわち、例えば、２５次元の局所特徴量と１５０次元の局所特徴量とにおいて、先頭の２５次元分の局所特徴量における要素４６１〜４６６の並びは同一となっている。このように、次元選定部４０５は、階層的（プログレッシブ）に次元を選定することにより、アプリケーションや通信容量、端末スペックなどに応じて、任意の次元数の局所特徴量、すなわち任意のサイズの局所特徴量を抽出して出力することができる。また、次元選定部４０５が、階層的に次元を選定し、優先順位に基づいて次元を並び替えて出力することにより、異なる次元数の局所特徴量を用いて、画像の照合を行うことができる。例えば、７５次元の局所特徴量と５０次元の局所特徴量を用いて画像の照合が行われる場合、先頭の５０次元だけを用いることにより、局所特徴量間の距離計算を行うことができる。

なお、図４Ｄのマトリクス４４１から図４Ｆに示す優先順位は一例であり、次元を選定する際の順序はこれに限られない。例えば、ブロックの順番に関しては、図４Ｄのマトリクス４４１の例の他に、図４Ｄのマトリクス４４２や図４Ｄのマトリクス４４３に示すような順番でもよい。また、例えば、すべてのサブ領域からまんべんなく次元が選定されるように優先順位が定められることとしてもよい。また、局所領域の中央付近が重要として、中央付近のサブ領域の選定頻度が高くなるように優先順位が定められることとしてもよい。また、次元の選定順序を示す情報は、例えば、プログラムにおいて規定されていてもよいし、プログラムの実行時に参照されるテーブル等（選定順序記憶部）に記憶されていてもよい。

また、次元選定部４０５は、サブ領域ブロックを１つ飛びに選択して、次元の選定を行ってもよい。すなわち、あるサブ領域では６次元が選定され、当該サブ領域に近接する他のサブ領域では０次元が選定される。このような場合においても、近接するサブ領域間の相関が低くなるようにサブ領域ごとに次元が選定されていると言うことができる。

また、局所領域やサブ領域の形状は、正方形に限られず、任意の形状とすることができる。例えば、局所領域取得部４０２が、円状の局所領域を取得することとしてもよい。この場合、サブ領域分割部４０３は、円状の局所領域を例えば複数の局所領域を有する同心円に９分割や１７分割のサブ領域に分割することができる。この場合においても、次元選定部４０５は、各サブ領域において、次元を選定することができる。

以上、図４Ｂ〜図４Ｆに示したように、本実施形態の局所特徴量生成部３２０によれば、局所特徴量の情報量を維持しながら生成された特徴ベクトルの次元が階層的に選定される。この処理により、認識精度を維持しながらリアルタイムでの対象物認識と認識結果の表示が可能となる。なお、局所特徴量生成部３２０の構成および処理は本例に限定されない。認識精度を維持しながらリアルタイムでの対象物認識と認識結果の表示が可能となる他の処理が当然に適用できる。

《照合部》
図４Ｇと図４Ｈは、本実施形態に係る照合部３３３の処理を説明する図である。図４Ｇは、通信端末２２１としての携帯電話やスマートフォンなどで撮影中に広告情報が表示される様子について説明する図である。あらかじめ広告対象物（本例では、自動車）から生成された局所特徴量が、広告情報データベース２１１に格納されているものとする。一方、ライブビュー表示画面４７１中の映像表示領域４７２からは、上述した処理により局所特徴量が生成される。そして、広告情報データベース２１１に格納された局所特徴量のそれぞれが、映像表示領域４７２から生成された局所特徴量中にあるか否かが判定される。

図４Ｇに示すように、照合部３３３は、広告情報データベース２１１に格納されている局所特徴量４７３と合致する局所特徴量を有する映像表示領域４７２内の各特徴点を細線のように関連付ける。なお、照合部３３３は、局所特徴量の所定割合以上が一致する場合を特徴点の合致とする。そして、照合部３３３は、関連付けられた特徴点の集合間の位置関係が線形関係であれば、広告対象物であると認識する。このような認識を行なえば、サイズの大小や向きの違い（視点の違い）があっても、あるいは反転していても認識が可能である。また、対応する特徴点が所定数以上あれば認識精度が得られるので、一部が視界から隠れていても認識対象物の認識が可能である。認識の結果、撮影中の車（ここでは看板に表示された車の写真であるが、実物でもよい）が広告対象であると判断し、対応する広告情報４７４を導き出して、ライブビュー表示画面４７１に付加表示または重畳表示する。

図４Ｈは、映像中の建築物を認識する照合例を示す図である。あらかじめ認識対象物（本例では、五重塔４８３）の局所特徴量４８２が広告情報データベース２１１に登録されているとする。スマートデバイスなどの通信端末２２１で、映画などの映像コンテンツを再生しているとする。この時、局所特徴量生成部３２０は、映像表示領域４８１から、上述のように局所特徴量を生成する。そして、広告配信サーバ２１０の照合部３３３は、広告情報データベース２１１に格納された局所特徴量４８２のそれぞれが、映像表示領域４８１から生成された局所特徴量中にあるか否かを判定する。

具体的には、図４Ｈに示すように、広告情報データベース２１１に格納されている局所特徴量と所定の割合以上マッチングする局所特徴量を含む各特徴点を細線にように関連付ける。そして、関連付けられた特徴点の位置関係が線形関係であれば、認識対象物であると認識する。照合部３３３の照合処理では、特徴点座標と局所特徴量とに基づいて照合が行なわれるが、合致する認識対象物から生成された局所特徴量と映像中の画像から生成された局所特徴量との配列順序の線形関係のみによっても、認識が可能である。一方、本実施形態では、２次元画像によって説明されているが、３次元の特徴点座標を使用しても、同様の処理が可能である。

《全体の処理の流れ》
図５は、情報処理システム２００における処理の流れを説明するシーケンス図である。まず、広告配信サーバ２１０の通信制御部３３０が広告提供者端末２３０から商品画像と広告情報を受信し（Ｓ５０１）、局所特徴量生成部３３２が、その商品画像から局所特徴量を生成する（Ｓ５０３）。次に、広告情報データベース２１１は、その局所特徴量と商品情報を格納する（Ｓ５０５）。

一方、ステップＳ５１１において、撮像、映像再生、または映像受信を行なうと、ステップＳ５１２に進み、画像展開部３１３が画像メモリに１画面分の画像を展開する。ステップＳ５１３では、局所特徴量生成部３２０が、展開した画像中から上述した処理により局所特徴量を生成する。そしてステップＳ５１５では、符号化部３２１が生成した局所特徴量を符号化し、ステップＳ５１７において、通信制御部３３０が特徴点座標を含む局所特徴量を広告配信サーバ２１０に送信する。

広告配信サーバ２１０は、受信した局所特徴量とマッチングする局所特徴量が、広告情報データベース２１１に格納されているか判定し（Ｓ５１９、Ｓ５２１）、格納されている場合には、その局所特徴量に対応する広告情報を取得する（Ｓ５２３）。通信制御部３３６０は、取得した広告情報を通信端末２２１〜２２５に送信する（Ｓ５２５）。この時、認識商品の情報や広告表示位置を同時に送ってもよい。これらの情報は、広告情報データベース２１１に記憶されていてもよい。

通信端末２２１は、受信した広告情報に基づいて所定の位置に広告表示を行なう（Ｓ５２７）。この時同時に音声を出力してもよい。

図６は、広告情報データベース２１１の構成例を示す図である。広告情報データベース２１１は、図６に示すように、商品ＩＤと、商品名と、その商品の画像から生成した局所特徴量と、広告情報とを対応付けて格納している。これにより、局所特徴量から、その商品の情報および広告情報を導き出すことが可能となる。

図７は、広告情報を広告配信サーバ２１０が通信端末２２１〜２２５に配信する際の送信フォーマット７０１を示す図である。図７に示すように、広告情報の送信フォーマットは、送信ヘッダの他、商品ＩＤ、商品名、表示位置、広告情報を含む。その他、広告表示タイミングやその表示継続時間などを通信端末２２１〜２２５に送信してもよい。

《ハードウェア構成とそれぞれの処理》
図８は、通信端末２２１〜２２５のハードウェア構成を示す図である。ＣＰＵ８１０は演算制御用のプロセッサであり、プログラムを実行することで通信端末の各機能構成部を実現する。ＲＯＭ８２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部３３０は通信制御部であり、本実施形態においては、ネットワークを介して他の装置と通信する。なお、ＣＰＵ８１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ（Graphics Processing Unit）を含んでもよい。

ＲＡＭ８４０は、ＣＰＵ８１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ８４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。展開画像データ８４１は、撮像部３１０が撮像して入力されたデータである。特徴点データ８４２は、展開画像データ８４１から検出した特徴点座標、スケール、角度を含むデータである。局所特徴量生成テーブル８４３は、局所特徴量の生成に関するデータを記憶するテーブルである。広告情報８４４は、入力映像から生成された局所特徴量と広告情報データベース２１１に格納された局所特徴量との照合から導かれた情報である。広告表示データ８４５は、広告情報８４４をユーザに報知するためのデータである。なお、音声出力をする場合には、照合結果音声データが含まれてもよい。

ストレージ８５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。通信端末制御プログラム８５１は、通信端末全体を制御するプログラムである。局所特徴量生成モジュール８５２は、入力映像から図４Ｂ〜図４Ｆに従って局所特徴量を生成する。符号化モジュール８５３は、局所特徴量を符号化するモジュールであり、ＣＰＵ８１０に実行されることにより符号化部３２１として機能する。広告生成モジュール８５４は、広告画像を生成するためのモジュールであり、ＣＰＵ８１０に実行されることにより広告画像生成部３２４として機能する。

入出力インタフェース８６０は、入出力機器との入出力データを中継する。入出力インタフェース８６０には、表示部３２５、タッチパネル８６２、スピーカ８６４、マイク８６５、撮像部３１０が接続される。入出力機器は上記例に限定されない。また、ＧＰＳ(Global Positioning System)位置生成部８６６は、ＧＰＳ衛星からの信号に基づいて現在位置を取得する。

（局所特徴量生成データ）
図９は、本実施形態に係る局所特徴量生成テーブル８４３を示す図である。

局所特徴量生成テーブル８４３は、入力画像ＩＤに対応付けて、複数の検出された検出特徴点、特徴点座標および特徴点に対応する局所領域情報を記憶する。そして、各検出特徴点、特徴点座標および局所領域情報に対応付けて、複数のサブ領域ＩＤ、サブ領域情報、各サブ領域に対応する特徴ベクトルおよび優先順位を含む選定次元を記憶する。

（処理の流れ）
図１０は、通信端末２２１〜２２５で行なわれる処理の流れを説明するフローチャートである。まずステップＳ１０１１において画像を入力すると、ステップＳ１０１３において、局所特徴量生成部３２０が局所特徴量の生成処理を行なう。そして、ステップＳ１０１５において、広告配信サーバ２１０に対して、局所特徴量を送信する。画像を入力したのではなくステップＳ１０２１において、外部からデータを受信したと判断した場合には、ステップＳ１０２３において、そのデータが広告情報か否か判定し、広告情報の場合には、ステップＳ１０２５で広告の提供を行なう。

図１１は、図１０のステップＳ１０１３で行なわれる局所特徴量生成処理の流れについて説明するためのフローチャートである。ステップＳ１１０１においては、まず、特徴点検出部４０１が特徴点を検出する。次に、ステップＳ１１０３において、局所領域取得部４０２が、一つの特徴点の局所領域を取得する。さらにステップＳ１１０５において、サブ領域分割部４０３が、局所領域をサブ領域に分割する。ステップＳ１１０７においては、サブ領域特徴ベクトル生成部４０４が、サブ領域の特徴ベクトルを生成する。さらに、次元選定部４０５が、ステップＳ１１０９において、次元を選定する。ステップＳ１１１１では、すべての特徴点に対して次元選定処理が完了したか判断し、完了していなければ、ステップＳ１１０３に戻る。

図１２は、広告配信サーバ２１０のハードウェア構成を示す図である。ここでＣＰＵ１２１０は演算制御用のプロセッサであり、プログラムを実行することで広告配信サーバ２１０の各機能構成部を実現する。ＲＯＭ１２２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部５１０は、ネットワークを介して他の装置と通信するためのユニットである。なお、ＣＰＵ１２１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ（Graphics Processing Unit）を含んでもよい。

ＲＡＭ１２４０は、ＣＰＵ１２１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１２４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。一方、ストレージ１２５０は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムを記憶する大容量記憶媒体である。

ＲＡＭ１２４０に格納された商品画像１２４１は、広告提供者端末２３０から受信した商品の画像である。局所特徴量１２４２は、商品画像１２４１を解析して生成された情報である。また、広告情報１２４３は、広告提供者端末２３０から受信した広告に関する情報または通信端末２２１〜２２５に対して送信するための広告に関する情報である。

ストレージ１２５０の広告情報データベース２１１は、広告情報１２４３と局所特徴量１２４２とを対応付けて格納している。

ストレージ１２５０は、局所特徴量の生成処理を行なう局所特徴量生成モジュール１２５２を格納している。ＣＰＵ１２１０が局所特徴量生成モジュール１２５２を実行することにより、局所特徴量生成部３３２として機能する。

ストレージ１２５０は、局所特徴量の照合処理を行なう照合モジュール１２５３を格納している。ＣＰＵ１２１０が照合モジュール１２５３を実行することにより、照合部３３３として機能する。

ＲＡＭ１２４０は、また、照合モジュール１２５３での照合処理に用いるべく通信端末２２１〜２２５から受信した局所特徴量１２４４を一時的に記憶する。

（広告配信サーバの処理手順）
図１３は、広告配信サーバの処理手順について説明するためのフローチャートである。まず、ステップＳ１３１１において、広告提供者端末２３０から商品画像および広告情報を受信したか否か判定する。広告情報を受信した場合に、ステップＳ１３１３に進み、広告情報データベースに対する広告情報の登録処理を行なう。一方、広告提供者端末２３０から商品画像および広告情報ではなく、局所特徴量を受信した場合には、ステップＳ１３２１からステップＳ１３２３に進み、商品認識、広告取得処理を行ない、さらにステップＳ１３２５において、広告情報の配信処理を行なう。

図１４は、広告情報の登録処理（Ｓ１３１３）について説明するためのフローチャートである。ステップＳ１４０１において、広告商品の画像を取得すると、次に、ステップｓ１４０３においてまず、特徴点検出部４０１が特徴点を検出する。次に、ステップＳ１４０５において、局所領域取得部４０２が、一つの特徴点の局所領域を取得する。さらにステップＳ１４０７において、サブ領域分割部４０３が、取得した局所領域をサブ領域に分割する。ステップＳ１４０９においては、サブ領域特徴ベクトル生成部４０４が、サブ領域の特徴ベクトルを生成する。さらに、次元選定部４０５が、ステップＳ１４１０において、次元を選定する。ステップＳ１４１１では、すべての特徴点に対して次元選定処理が完了したか判断し、完了していなければ、ステップＳ１４０５に戻る。

特徴量の生成処理が完了すれば、ステップＳ１４１３に進み、受信した広告情報を局所特徴量に対応付けて広告情報データベース２１１に登録する。他の広告商品画像があれば、ステップＳ１４０１からの処理を繰り返し、なければ処理を終了する（Ｓ１４１７）。

図１５は、商品認識/広告取得処理（Ｓ１３２３）について詳しく説明するためのフローチャートである。まずステップＳ１５０１において１つの広告商品の局所特徴量を取得すると、ステップＳ１５０３に進み、広告商品の局所特徴量と受信した局所特徴量とを照合する。照合の結果合致していれば（Ｓ１５０５）、ステップＳ１５０７に進んで合致した広告商品の広告情報を取得して、ステップＳ１５０９に進む。ステップＳ１５０５で合致していなければ、やはりステップＳ１５０９に進み、全広告商品について処理が終了していなければ、ステップＳ１５０１に戻る。

以上の実施形態によれば、撮影中の表示画面や、配信された動画、あるいは記憶した動画の再生時の画面に対して、その画像に含まれる対象物に関連する広告をリアルタイムに表示することができる。

［第３実施形態］
次に本発明の第３実施形態に係る情報処理システム１６００について、図１６以降を用いて説明する。図１６は、本実施形態に係る情報処理システム１６００の概略全体構成を説明するための図である。本実施形態に係る情報処理システム１６００は、上記第２実施形態と比べると、リンク情報データベース１６１１を備えたリンク提供サーバ１６１０を有する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

リンク情報データベース１６１１は、局所特徴量に対応付けてリンク情報を格納している。

図１７は、情報処理システム１６００全体の処理を示すシーケンス図である。第２実施形態と異なり、ステップＳ１７０５においてリンク情報データベース１６１１にリンク情報を登録する。また、ステップＳ１６２３ではリンク情報をリンク情報データベース１６１１から取得して、ステップＳ１６２５で通信端末２２１〜２２５に送信し、ステップ１６２７では、例えば商品購入サイトへのリンクを通信端末２２１〜２２５の画面にアクセス可能に表示する。他の処理は第２実施形態と同様であるため、同じ処理については同じ符号を付してその詳しい説明を省略する。図１８は、リンク情報データベース１６１１の構成を示す図であり、図１９は、リンク情報の送信フォーマット１９０１を示す図である。

以上のように、広告情報の代わりにリンク情報を通信端末２２１〜２２５に送信してアクセス可能に表示させることにより、ユーザをそのリンクを介して商品購入サイトに誘導することが可能となる。

［第４実施形態］
次に本発明の第４実施形態に係る情報処理システムについて、図２０を用いて説明する。図２０は、本実施形態に係る情報処理システムの全体処理を説明するための図である。本実施形態に係る情報処理システムは、上記第３実施形態と比べると、リンク情報データベース１６１１を備えたリンク提供サーバ１６１０の代わりに試聴データデータベース２０１１を備えた試聴データ提供サーバ２０１０を有する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお第４実施形態では、「試聴データ」をユーザに提供するが、この「試聴データ」は音声データに限らず、映像データを含んでもよいものとする。

試聴データデータベース２０１１は、局所特徴量に対応付けて試聴データを格納している。通信端末２２１〜２２５で表示した映像に含まれる商品に対応する試聴データを試聴データデータベース２０１１から読み出して（Ｓ２０２３）、通信端末２２１〜２２５に送信し（Ｓ２０２５）、通信端末で再生する（Ｓ２０２７）。

他の処理は第２実施形態と同様であるため、同じ処理については同じ符号を付してその詳しい説明を省略する。

以上のように、広告情報の代わりにリンク情報を通信端末２２１〜２２５に送信することにより、ユーザをそのリンクを介して商品購入画面に誘導することが可能となる。

［第５実施形態］
次に本発明の第５実施形態に係る情報処理システムについて、図２１を用いて説明する。図２１は、本実施形態に係る情報処理システムの全体処理を説明するための図である。本実施形態に係る情報処理システムは、上記第２実施形態と比べると、コンテンツ提供サーバ２１０１が追加されている点で異なる。コンテンツ提供サーバ２００１は、通信端末からのコンテンツ要求に応えてコンテンツを検索し（Ｓ２１０２）、見つかったコンテンツデータを広告配信サーバ２１０に送信する（Ｓ２１０３）。広告配信サーバ２１０は、受信したコンテンツデータを分析してそこに含まれる商品の局所特徴量から広告情報を導き出し、コンテンツデータにその広告情報を埋め込む（Ｓ２１２５）。そして、通信端末に対して、広告埋込コンテンツを送信し（Ｓ２１２６）、通信端末において、広告が埋め込まれたコンテンツを再生する（Ｓ２１２７）。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

以上のように、コンテンツ提供サーバが提供するコンテンツに広告を埋め込むことが可能となる。

［第６実施形態］
その他、図２２の広告評価テーブル２２１２に示すように、広告の出現頻度をカウントすることにより、広告評価を行なってもよい。つまり、第１〜第５実施形態の方法で広告やリンクなどを表示する際にその回数を数えて、回数に応じた評価を行ない、評価に応じてその広告について課金を行なうことも可能である。

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。

この出願は、２０１１年１２月１６日に出願された日本出願特願２０１１−２７６５２４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
対象物の画像中のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を、前記対象物と対応付けて記憶する第１局所特徴量記憶手段と、
映像中からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応する、と判定した場合に、前記映像中に前記対象物が存在すると認識する認識手段と、
前記認識手段が認識した前記対象物に関連する広告情報を提供する広告情報提供手段と、
を備えることを特徴とする情報処理システム。
（付記２）
前記第１局所特徴量記憶手段は、さらに、前記対象物に関連する広告情報を、前記対象物と対応付けて記憶し、
前記広告情報提供手段は、前記第１局所特徴量記憶手段を参照して、前記認識手段が認識した前記対象物に関連する広告情報を表示することを特徴とする付記１に記載の情報処理システム。
（付記３）
前記認識手段により、前記映像中に前記対象物が存在すると認識された場合に、前記映像中の前記対象物の画像に対して、関連する広告情報を付加する広告情報付加手段を、さらに備えたことを特徴とする付記１または２に記載の情報処理システム。
（付記４）
前記広告情報提供手段は、前記広告情報として、前記映像中の前記対象物である商品の購入サイトへのリンクをアクセス可能に表示することを特徴とする付記１乃至３のいずれか１つに記載の情報処理システム。
（付記５）
前記対象物は、音楽および映像の少なくともいずれかを含むコンテンツを記憶した記憶媒体であり、
前記広告情報提供手段は、前記広告情報として、前記音楽および映像の少なくともいずれかを含むコンテンツの一部を視聴可能に表示することを特徴とする付記１乃至４のいずれか１つに記載の情報処理システム。
（付記６）
前記情報処理システムは、通信端末と、前記通信端末に対して通信回線で接続された情報処理装置とを有し、
前記通信端末は、前記第２局所特徴量生成手段を含み、前記ｎ個の第２局所特徴量を前記情報処理装置へ送信し、
前記情報処理装置は、前記第１局所特徴量記憶手段と前記認識手段と前記広告情報提供手段とを含み、前記広告情報を前記通信端末へ送信することを特徴とする付記１乃至５のいずれか１つに記載の情報処理システム。
（付記７）
前記第１局所特徴量および前記第２局所特徴量は、画像または映像中から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数次元の特徴ベクトルを生成することにより生成されることを特徴とする付記１乃至６のいずれか１つに記載の情報処理システム。
（付記８）
前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数次元の特徴ベクトルから、隣接するサブ領域間の相関がより大きな次元を選定することにより生成されることを特徴とする付記７に記載の情報処理システム。
（付記９）
前記特徴ベクトルの複数次元は、前記特徴点の特徴に寄与する次元から順に、かつ、前記局所特徴量に対して求められる精度の向上に応じて第１次元から順に選択できるよう、所定次元数ごとに前記局所領域内を一巡りするよう配列することを特徴とする付記７乃至８のいずれか１つに記載の情報処理システム。
（付記１０）
前記第２局所特徴量生成手段は、前記対象物間の相関性の高低に対応して、他の対象物に対してより高い前記相関性を有する対象物については、次元数のより多い前記第２局所特徴量を生成することを特徴とする付記９に記載の情報処理システム。
（付記１１）
前記第１局所特徴量記憶手段は、他の対象物に対してより高い相関を有する対象物については、次元数のより多い前記第１局所特徴量を記憶することを特徴とする付記９または１０に記載の情報処理システム。
（付記１２）
映像中からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
対象物の画像中のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについてあらかじめ生成され第１局所特徴量記憶手段に記憶された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を、前記第１局所特徴量記憶手段から読出す読出ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応する、と判定した場合に、前記映像中に前記対象物が存在すると認識する認識ステップと、
前記認識ステップで認識された前記対象物に関連する広告情報を提供する広告情報提供ステップと、
を含むことを特徴とする情報処理方法。
（付記１３）
対象物の画像を撮像する撮像手段と、
前記撮像手段が撮像した前記画像中からｍ個の特徴点を抽出し、前記ｍ個の特徴点のそれぞれを含むｍ個の局所領域についてｍ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第２局所特徴量生成手段が生成した前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて前記撮像手段が撮像した前記画像中に含まれる対象物を認識する情報処理装置に送信する第２局所特徴量送信手段と、
前記撮像手段が撮像した前記画像中に含まれる前記対象物に関連する広告情報を前記情報処理装置から受信して提供する広告情報提供手段と、
を備えたことを特徴とする通信端末。
（付記１４）
対象物の画像を撮像する撮像ステップと、
前記画像中からｍ個の特徴点を抽出し、前記ｍ個の特徴点のそれぞれを含むｍ個の局所領域についてｍ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
局所特徴量の照合に基づいて前記画像中に含まれる対象物を認識する情報処理装置に、前記ｍ個の第２局所特徴量を送信する第２局所特徴量送信ステップと、
前記画像中に含まれる前記対象物に関連する広告情報を前記情報処理装置から受信して提供する広告情報提供ステップと、
を備えたことを特徴とする通信端末の制御方法。
（付記１５）
対象物の画像を撮像する撮像ステップと、
前記画像中からｍ個の特徴点を抽出し、前記ｍ個の特徴点のそれぞれを含むｍ個の局所領域についてｍ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
局所特徴量の照合に基づいて前記画像中に含まれる対象物を認識する情報処理装置に、前記ｍ個の第２局所特徴量を送信する第２局所特徴量送信ステップと、
前記画像中に含まれる前記対象物に関連する広告情報を前記情報処理装置から受信して提供する広告情報提供ステップと、
をコンピュータに実行させることを特徴とする通信端末の制御プログラム。

Claims (10)

1. 対象物の画像中のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を、前記対象物と対応付けて記憶する第１局所特徴量記憶手段と、
   映像中からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
   前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応する、と判定した場合に、前記映像中に前記対象物が存在すると認識する認識手段と、
   前記認識手段が認識した前記対象物に関連する広告情報を提供する広告情報提供手段と、
   を備え、
   前記第１局所特徴量および前記第２局所特徴量は、画像または映像中から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数次元の特徴ベクトルを生成することにより生成され、
   前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数次元の特徴ベクトルから、隣接するサブ領域間の相関が低くなるように次元を選定することにより生成されることを特徴とする情報処理システム。
2. 前記第１局所特徴量記憶手段は、さらに、前記対象物に関連する広告情報を、前記対象物と対応付けて記憶し、
   前記広告情報提供手段は、前記第１局所特徴量記憶手段を参照して、前記認識手段が認識した前記対象物に関連する広告情報を表示することを特徴とする請求項１に記載の情報処理システム。
3. 前記認識手段により、前記映像中に前記対象物が存在すると認識された場合に、前記映像中の前記対象物の画像に対して、関連する広告情報を付加する広告情報付加手段を、さらに備えたことを特徴とする請求項１または２に記載の情報処理システム。
4. 前記広告情報提供手段は、前記広告情報として、前記映像中の前記対象物である商品の購入サイトへのリンクをアクセス可能に表示することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
5. 前記対象物は、音楽および映像の少なくともいずれかを含むコンテンツを記憶した記憶媒体であり、
   前記広告情報提供手段は、前記広告情報として、前記音楽および映像の少なくともいずれかを含むコンテンツの一部を視聴可能に表示することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。
6. 前記情報処理システムは、通信端末と、前記通信端末に対して通信回線で接続された情報処理装置とを有し、
   前記通信端末は、前記第２局所特徴量生成手段を含み、前記ｎ個の第２局所特徴量を前記情報処理装置へ送信し、
   前記情報処理装置は、前記第１局所特徴量記憶手段と前記認識手段と前記広告情報提供手段とを含み、前記広告情報を前記通信端末へ送信することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
7. 映像中からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
   対象物の画像中のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについてあらかじめ生成され第１局所特徴量記憶手段に記憶された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量を、前記第１局所特徴量記憶手段から読出す読出ステップと、
   前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応する、と判定した場合に、前記映像中に前記対象物が存在すると認識する認識ステップと、
   前記認識ステップで認識された前記対象物に関連する広告情報を提供する広告情報提供ステップと、
   を含み、
   前記第１局所特徴量および前記第２局所特徴量は、画像または映像中から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数次元の特徴ベクトルを生成することにより生成され、
   前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数次元の特徴ベクトルから、隣接するサブ領域間の相関が低くなるように次元を選定することにより生成されることを特徴とする情報処理方法。
8. 対象物の画像を撮像する撮像手段と、
   前記撮像手段が撮像した前記画像中からｍ個の特徴点を抽出し、前記ｍ個の特徴点のそれぞれを含むｍ個の局所領域についてｍ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
   前記第２局所特徴量生成手段が生成した前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて前記撮像手段が撮像した前記画像中に含まれる対象物を認識する情報処理装置に送信する第２局所特徴量送信手段と、
   前記撮像手段が撮像した前記画像中に含まれる前記対象物に関連する広告情報を前記情報処理装置から受信して提供する広告情報提供手段と、
   を備え、
   前記情報処理装置は、
   前記対象物の画像中のｎ個の特徴点のそれぞれを含むｎ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｎ個の第１局所特徴量を、前記対象物と対応付けて記憶する第１局所特徴量記憶手段と、
   前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第１局所特徴量の所定割合以上が対応する、と判定した場合に、前記画像中に前記対象物が存在すると認識する認識手段と、
   を備え、
   前記第１局所特徴量および前記第２局所特徴量は、画像中から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数次元の特徴ベクトルを生成することにより生成され、
   前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数次元の特徴ベクトルから、隣接するサブ領域間の相関が低くなるように次元を選定することにより生成されることを特徴とする通信端末。
9. 対象物の画像を撮像する撮像ステップと、
   前記画像中からｍ個の特徴点を抽出し、前記ｍ個の特徴点のそれぞれを含むｍ個の局所領域についてｍ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
   局所特徴量の照合に基づいて前記画像中に含まれる対象物を認識する情報処理装置に、前記ｍ個の第２局所特徴量を送信する第２局所特徴量送信ステップと、
   前記画像中に含まれる前記対象物に関連する広告情報を前記情報処理装置から受信して提供する広告情報提供ステップと、
   を備え、
   前記情報処理装置は、
   前記対象物の画像中のｎ個の特徴点のそれぞれを含むｎ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｎ個の第１局所特徴量を、前記対象物と対応付けて記憶する第１局所特徴量記憶手段と、
   前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第１局所特徴量の所定割合以上が対応する、と判定した場合に、前記画像中に前記対象物が存在すると認識する認識手段と、
   を備え、
   前記第１局所特徴量および前記第２局所特徴量は、画像中から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数次元の特徴ベクトルを生成することにより生成され、
   前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数次元の特徴ベクトルから、隣接するサブ領域間の相関が低くなるように次元を選定することにより生成されることを特徴とする通信端末の制御方法。
10. 対象物の画像を撮像する撮像ステップと、
    前記画像中からｍ個の特徴点を抽出し、前記ｍ個の特徴点のそれぞれを含むｍ個の局所領域についてｍ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
    局所特徴量の照合に基づいて前記画像中に含まれる対象物を認識する情報処理装置に、前記ｍ個の第２局所特徴量を送信する第２局所特徴量送信ステップと、
    前記画像中に含まれる前記対象物に関連する広告情報を前記情報処理装置から受信して提供する広告情報提供ステップと、
    をコンピュータに実行させ、
    前記情報処理装置は、
    前記対象物の画像中のｎ個の特徴点のそれぞれを含むｎ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｎ個の第１局所特徴量を、前記対象物と対応付けて記憶する第１局所特徴量記憶手段と、
    前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第１局所特徴量の所定割合以上が対応する、と判定した場合に、前記画像中に前記対象物が存在すると認識する認識手段と、
    を備え、
    前記第１局所特徴量および前記第２局所特徴量は、画像中から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数次元の特徴ベクトルを生成することにより生成され、
    前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数次元の特徴ベクトルから、隣接するサブ領域間の相関が低くなるように次元を選定することにより生成されることを特徴とする通信端末の制御プログラム。

Images