JP6153087B2 - 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム、通信端末およびその制御方法と制御プログラム - Google Patents

Description

本発明は、局所特徴量を使用して、撮像した映像内の商品を同定するための技術に関する。

上記技術分野において、特許文献１には、あらかじめモデル画像から生成されたモデル辞書を使用して、クエリ画像を認識する場合に、特徴量をクラスタリングすることにより認識速度を向上した技術が記載されている。

特開２０１１−２２１６８

しかしながら、上記文献に記載の技術では、リアルタイムで映像中の画像内の商品を認識して商品管理をすることができなかった。

本発明の目的は、上述の課題を解決する技術を提供することにある。

上記目的を達成するため、本発明に係るシステムは、
商品と、前記商品の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
撮像手段と、
前記撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記商品が存在すると認識する認識手段と、
を備えることを特徴とする。

上記目的を達成するため、本発明に係る方法は、
商品と、前記商品の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理システムにおける情報処理方法であって、
撮像ステップと、
前記撮像ステップにおいて撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記商品が存在すると認識する認識ステップと、
を備えることを特徴とする。

本発明によれば、リアルタイムで映像中の画像内の商品を認識して商品管理をすることができる。

本発明の第１実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第２実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第２実施形態に係る情報処理システムの商品出荷時の動作手順を示すシーケンス図である。 本発明の第２実施形態に係る情報処理システムの商品入庫時の動作手順を示すシーケンス図である。 本発明の第２実施形態に係る情報処理システムの棚卸し／棚割調査時の動作手順を示すシーケンス図である。 本発明の第２実施形態に係る情報処理システムの店舗レジでの動作手順を示すシーケンス図である。 本発明の第２実施形態に係る通信端末の機能構成を示すブロック図である。 本発明の第２実施形態に係る管理サーバの機能構成を示すブロック図である。 本発明の第２実施形態に係るＰＯＳの機能構成を示すブロック図である。 本発明の第２実施形態に係る店舗コンピュータの機能構成を示すブロック図である。 本発明の第２実施形態に係る局所特徴量ＤＢの構成を示す図である。 本発明の第２実施形態に係る局所特徴量生成部の機能構成を示すブロック図である。 本発明の第２実施形態に係る局所特徴量生成の手順を説明する図である。 本発明の第２実施形態に係る局所特徴量生成の手順を説明する図である。 本発明の第２実施形態に係る局所特徴量生成部でのサブ領域の選択順位を示す図である。 本発明の第２実施形態に係る局所特徴量生成部での特徴ベクトルの選択順位を示す図である。 本発明の第２実施形態に係る局所特徴量生成部での特徴ベクトルの階層化を示す図である。 本発明の第２実施形態に係る符号化部の構成を示す図である。 本発明の第２実施形態に係る出荷処理および入庫処理時の商品認識部の処理を示す図である。 本発明の第２実施形態に係る棚卸しおよび棚割時の商品認識部の処理を示す図である。 本発明の第２実施形態に係るレジ処理時の商品認識部の処理を示す図である。 本発明の第２実施形態に係る通信端末のハードウェア構成を示すブロック図である。 本発明の第２実施形態に係る通信端末における局所特徴量生成テーブルを示す図である。 本発明の第２実施形態に係る通信端末の処理手順を示すフローチャートである。 本発明の第２実施形態に係る局所特徴量生成処理の処理手順を示すフローチャートである。 本発明の第２実施形態に係る符号化処理の処理手順を示すフローチャートである。 本発明の第２実施形態に係る差分値の符号化処理の処理手順を示すフローチャートである。 本発明の第２実施形態に係る管理コンピュータのハードウェア構成を示すブロック図である。 本発明の第２実施形態に係る商品価格ＤＢの構成を示す図である。 本発明の第２実施形態に係る管理コンピュータの処理手順を示すフローチャートである。 本発明の第２実施形態に係る局所特徴量ＤＢ生成処理の処理手順を示すフローチャートである。 本発明の第２実施形態に係る商品認識処理の処理手順を示すフローチャートである。 本発明の第２実施形態に係る照合処理の処理手順を示すフローチャートである。 本発明の第２実施形態に係る商品管理処理の処理手順を示すフローチャートである。 本発明の第３実施形態に係る情報処理システムの処理を示す図である。 本発明の第３実施形態に係る情報処理システムの動作手順を示すシーケンス図である。 本発明の第３実施形態に係る局所特徴量ＤＢにおける値引情報の構成を示す図である。 本発明の第３実施形態に係るＰＯＳの処理手順を示すフローチャートである。 本発明の第４実施形態に係る情報処理システムにおける動作手順を示すシーケンス図である。 本発明の第４実施形態に係る通信端末の機能構成を示すブロック図である。 本発明の第５実施形態に係る情報処理システムの処理を示す図である。 本発明の第５実施形態に係るアンケートＤＢの構成を示す図である。 本発明の第５実施形態に係る管理コンピュータの処理手順を示すフローチャートである。 本発明の第６実施形態に係る情報処理システムにおける通信端末の機能構成を示すブロック図である。 本発明の第７実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第８実施形態に係る情報処理システムの構成を示すブロック図である。

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

［第１実施形態］
本発明の第１実施形態としての情報処理システム１００について、図１を用いて説明する。情報処理システム１００は、撮像した映像内の商品を同定するシステムである。

図１に示すように、情報処理システム１００は、第１局所特徴量記憶部１１０と、撮像部１２０と、第２局所特徴量生成部１３０と、認識部１４０と、を含む。第１局所特徴量記憶部１１０は、商品１１１と、前記商品の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量１１２とを、対応付けて記憶する。第２局所特徴量生成部１３０は、撮像部１２０が撮像した映像中からｍ個の特徴点１３１を抽出し、ｍ個の特徴点１３１のそれぞれを含むｍ個の局所領域１３２についてｍ個の第２局所特徴量１３３を生成する。認識部１４０は、第１局所特徴量１１２の特徴ベクトルの次元数ｉおよび第２局所特徴量１３３の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択する。認識部１４０は、選択された次元数までの特徴ベクトルからなるｎ個の第２局所特徴量１３３に、選択された次元数までの特徴ベクトルからなるｍ個の第１局所特徴量１１２の所定割合以上が対応するか否かを判定する。対応すると判定した場合に（１４１）、映像中の画像１０１に商品１１１が存在すると認識する。

本実施形態によれば、リアルタイムで映像中の画像内の商品を認識して商品管理をすることができる。

［第２実施形態］
次に、本発明の第２実施形態に係る情報処理システムについて説明する。本実施形態の情報処理システムは、撮像した映像から通信端末が局所特徴量を生成して各管理コンピュータに送信し、管理コンピュータでは商品に対応付けて記憶した局所特徴量と照合して商品を同定して、同定した商品の管理処理を行なう。

本実施形態によれば、同じ商品を様々な状態であっても同定できるので、統一的な商品管理が可能である。

《情報処理システムの構成》
図２は、本実施形態に係る情報処理システム２００の構成を示すブロック図である。

図２の情報処理システム２００は、商品の販売を行なう流通システムである。情報処理システム２００は、ネットワーク２６０を介して接続された複数の店舗や商品の出荷倉庫などを含む。図２には、２つの店舗２０１と２０２とを示し、以下、店舗２０１による処理を説明する。

図２の情報処理システム２００では、倉庫からの出荷処理２１０と、店舗２０１への入庫処理２２０と、店舗２０１での棚卸し処理２３０と、店舗２０１でのレジ処理２４０と、を説明する。

まず、出荷処理２１０においては、通信端末２１１が倉庫から輸送車２１２に搬出される出庫品２１３を撮像して、その映像から局所特徴量を生成する。本例では、生成した局所特徴量をネットワーク２６０を介して管理サーバ２５０に送る。管理サーバ２５０で局所特徴量から出庫品２１３を同定し、出庫処理を行なう。なお、出荷処理２１０においては、撮像される出庫品２１３はダンボール箱などのケースである。

次に、入庫処理２２０においては、通信端末２２１が輸送車２１２から下ろされて店舗２０１に入庫される入庫品２１３を撮像して、その映像から局所特徴量を生成する。なお、出庫品と入庫品は同じなので、同じ参照番号を付している。生成した局所特徴量をネットワーク２６０を介して管理サーバ２５０に送る。同時に、店舗コンピュータ２０１ａにも送る。管理サーバ２５０および／または店舗コンピュータ２０１ａにおいて、局所特徴量から入庫品２１３を同定し、入庫処理を行なう。なお、入庫処理２２０においても、撮像される出庫品２１３はダンボール箱などのケースである。

次に、棚卸し処理２３０においては、店員２３２が携帯する通信端末２３１が所望の棚２３３を撮像する。撮像された映像から局所特徴量を生成する。生成した局所特徴量を店舗コンピュータ２０１ａに送る。なお、棚卸し処理は、店舗コンピュータ２０１ａで実行してもよいし、データを管理サーバ２５０に転送して管理サーバ２５０で行なってもよい。また、棚卸し処理２３０では、棚２３３の認識のみではなく棚２３３に陳列された商品の１つ１つを認識する必要があるので、出荷処理２１０や入庫処理２２０に比較して、より高精度な特徴点数や特徴ベクトルの次元数による局所特徴量生成が行なわれる（図１１Ａ〜図１１Ｆ参照）。

次に、レジ処理２４０においては、店員２４３が携帯する、あるいはレジに設置された通信端末２４１が商品２４１ａやかご２４１ｂを撮像する。撮像された映像から局所特徴量を生成する。生成した局所特徴量をＰＯＳ(point of sale)２４２あるいは、ＰＯＳ２４２を介して店舗コンピュータ２０１ａに送る。局所特徴量による商品の同定処理と、商品価格判定処理は、ＰＯＳ２４２で行なっても店舗コンピュータ２０１ａで行なってもよいが、ＰＯＳ２４２で行なうのが望ましい。個別の商品２４１ａの認識と、かご２１４ｂ内の複数商品の認識との場合に、異なる精度の局所特徴量を生成するように制御してもよい。

このように、出荷処理２１０と、入庫処理２２０と、棚卸し処理２３０と、レジ処理２４０とを、それぞれ通信端末２１１〜２４１による撮像のみによって、リアルタイムに統一的に実現できる。

なお、以下の説明では、局所特徴量の照合により商品認識を行なう管理サーバ２５０や店舗コンピュータ２０１ａ、ＰＯＳ２４２を、局所特徴量を生成する通信端末２１１〜２４１と対比して、管理コンピュータと総称する場合もある。

《商品出荷時の動作手順》
図３は、本実施形態に係る商品出荷時の動作手順を示すシーケンス図である。

まず、必要であれば、ステップＳ３００において、管理サーバ２５０から通信端末にアプリケーションのダウンロードを行なう。そして、ステップＳ３０１において、本実施形態の処理を行なうための、アプリケーションの起動と初期化が行なわれる。

ステップＳ３０３において、通信端末は、出荷品を撮影する。この時点では、商品はダンボール箱などに入っているので、この箱を認識する。ステップＳ３０５において、映像から局所特徴量を生成する。続いて、ステップＳ３０７において局所特徴量を特徴点座標と共に符号化する。符号化された局所特徴量は、ステップＳ３０９において、通信端末から管理サーバに送信される。

管理サーバでは、ステップＳ３１１において、各商品に対して生成され記憶された局所特徴量ＤＢ３１０を参照して、出荷品の認識を行なう。そして、ステップＳ３１３において、商品の認識結果を管理サーバから通信端末に送信する。

通信端末は、ステップＳ３１５において、認識結果を報知する。一方、管理サーバは、ステップＳ３１７において、流通管理ＤＢ３２０を参照して、流通管理処理を行なう。

《商品入庫時の動作手順》
図４は、本実施形態に係る商品入庫時の動作手順を示すシーケンス図である。

まず、必要であれば、ステップＳ４００において、管理サーバ２５０あるいは店舗コンピュータから通信端末にアプリケーションのダウンロードを行なう。そして、ステップＳ４０１において、本実施形態の処理を行なうための、アプリケーションの起動と初期化が行なわれる。

ステップＳ４０３において、通信端末は、出入庫品を撮影する。この時点では、商品はダンボール箱などに入っているので、出荷と同様にこの箱を認識する。ステップＳ４０５において、映像から局所特徴量を生成する。続いて、ステップＳ４０７において局所特徴量を特徴点座標と共に符号化する。符号化された局所特徴量は、ステップＳ４０９において、通信端末から管理サーバに送信される。

管理サーバでは、ステップＳ４１１において、各商品に対して生成され記憶された局所特徴量ＤＢ３１０を参照して、入庫品の認識を行なう。そして、ステップＳ４１３において、商品の認識結果を管理サーバから通信端末に送信する。

通信端末は、ステップＳ４１５において、認識結果を報知する。一方、管理サーバは、ステップＳ４１７において、流通管理ＤＢ３２０を参照して、流通管理処理を行なう。

一方、入庫処理においては、ステップＳ４１９において、入庫品の認識結果は管理サーバから店舗コンピュータにも送信される。店舗コンピュータは、ステップＳ４２１において、在庫管理ＤＢ４１０を参照して入庫処理を行なう。なお、局所特徴量による入庫品の認識は、店舗コンピュータで行なってもよい。また、管理サーバがシステム全体の在庫管理を行なう場合は、ステップＳ４２３において、管理サーバが有する在庫管理ＤＢを参照して、在庫管理処理が行なわれる。

《棚卸し／棚割調査時の動作手順》
図５は、本実施形態に係る棚卸し／棚割調査時の動作手順を示すシーケンス図である。

まず、必要であれば、ステップＳ５００において、管理サーバ２５０あるいは店舗コンピュータから通信端末にアプリケーションのダウンロードを行なう。そして、ステップＳ５０１において、本実施形態の処理を行なうための、アプリケーションの起動と初期化が行なわれる。

ステップＳ５０３において、通信端末は、商品棚を撮影する。ステップＳ５０５において、映像から局所特徴量を生成する。なお、棚卸し／棚割調査では、棚全体の認識と共に、個々の商品の同定と配置認識が必要であるので、特徴点数や特徴ベクトルの次元数などを調整して、より精度の高い局所特徴量が生成される。続いて、ステップＳ５０７において局所特徴量を特徴点座標と共に符号化する。符号化された局所特徴量は、ステップＳ５０９において、通信端末から店舗コンピュータに送信される。

店舗コンピュータでは、ステップＳ５１１において、各商品に対して生成され記憶された店舗コンピュータの局所特徴量ＤＢ５１０を参照して、棚および商品の認識を行なう。そして、ステップＳ５１３において、認識結果を店舗コンピュータから通信端末に送信する。

通信端末は、ステップＳ５１５において、認識結果を報知する。一方、店舗コンピュータは、ステップＳ５１７において、店舗コンピュータの在庫管理ＤＢ４１０を参照して、棚卸し／棚割認識処理を行なう。そして、棚卸し／棚割認識結果は、ステップＳ５１９において、店舗コンピュータから管理サーバに送信される。管理サーバでは、受信した棚卸し／棚割認識結果に基づいて、ステップＳ５２１において、流通管理ＤＢ３２０や在庫管理ＤＢ４２０を参照して、流通・在庫管理処理が行なわれる。

なお、局所特徴量による棚卸しや棚割調査のための認識を店舗コンピュータでなく、管理サーバで行なう場合は、その手順が、ステップＳ５３１からＳ５３５に破線で示されている。

《店舗レジでの動作手順》
図６は、本実施形態に係る店舗レジでの動作手順を示すシーケンス図である。

まず、必要であれば、ステップＳ６００において、管理サーバ２５０あるいは店舗コンピュータからＰＯＳあるいは通信端末にアプリケーションのダウンロードを行なう。そして、ステップＳ６０１において、本実施形態の処理を行なうための、アプリケーションの起動と初期化が行なわれる。

ステップＳ６０３において、通信端末は、レジで１つおよび複数の商品、あるいはかごに入った商品群を撮影する。ステップＳ６０５において、映像から局所特徴量を生成する。なお、棚卸し／棚割調査で説明したように、個々の商品とかごの中の複数商品の認識では、特徴点数や特徴ベクトルの次元数などを調整して、精度を変えた局所特徴量が生成される。続いて、ステップＳ６０７において局所特徴量を特徴点座標と共に符号化する。符号化された局所特徴量は、ステップＳ６０９において、通信端末からＰＯＳに送信される。

ＰＯＳでは、ステップＳ６１１において、各商品に対して生成され記憶されたＰＯＳの局所特徴量ＤＢ６１０を参照して、商品の認識を行なう。そして、ステップＳ６１３において、認識結果をＰＯＳから通信端末に送信する。

通信端末は、ステップＳ６１５において、認識結果を報知する。一方、ＰＯＳは、ステップＳ６１７において、ＰＯＳの商品価格ＤＢ６２０を参照して、認識された商品の価格を判定し、ＰＯＳ上の表示する。ＰＯＳは、ステップＳ６１９において、客の支払を受けて、入金処理を行なう。そして、ステップＳ６２１において、売上情報を店舗コンピュータに送信する。

店舗コンピュータでは、ＰＯＳからの売上情報を受信して、ステップＳ６２３において、売上管理ＤＢ６４０を参照して、売上処理を行なう。そして、ステップＳ６２５において、在庫管理ＤＢ４１０を参照して、在庫処理を行なう。

なお、図６の処理においても、商品認識をＰＯＳではなく、店舗コンピュータや管理サーバで行なっても良く、その場合の処理が、ステップＳ６３１とＳ６３３に図示されている。また、価格判定をＰＯＳでなく店舗コンピュータで行なっても良く、その場合の処理が、ステップＳ６３５により図示されている。さらに、在庫処理を管理サーバが行なう場合を、ステップＳ６３７による図示している。

《通信端末の機能構成》
図７は、本実施形態に係る通信端末２１１、２２１、２３１、２４１の機能構成を示すブロック図である。

図７において、撮像部７０１は、クエリ画像を入力する。局所特徴量生成部７０２は、撮像部７０１からの映像から局所特徴量を生成する。生成された局所特徴量は、特徴点座標と共に、局所特徴量送信部７０３で符号化部７０３ａにより符号化され、通信制御部７０４を介して、局所特徴量により商品認識を行なうコンピュータ、例えば、ＰＯＳや店舗コンピュータ、管理サーバに送信する。

商品認識結果受信部７０５は、通信制御部７０４を介して商品認識結果を受信する。そして、認識結果報知部７０６は、受信した商品認識結果をユーザに報知する。

《管理サーバの機能構成》
図８は、本実施形態に係る管理サーバ２５０の機能構成を示すブロック図である。

図８において、局所特徴量受信部８０２は、通信制御部８０１を介して通信端末から受信した局所特徴量を復号部８０２ａで復号する。商品認識部８０３は、受信した局所特徴量を、商品に対応する局所特徴量を格納する局所特徴量ＤＢ３１０の局所特徴量と照合して、商品を認識する。認識結果送信部８０４は、商品認識部８０３が認識した認識結果を通信制御部８０１を介して通信端末に返信する。

また、商品認識部８０３からに認識結果と、売上情報受信部８０５が受信した売上情報とに基づいて、流通管理部８０６は、流通管理ＤＢ３２０を参照して流通管理を行なう。また、在庫管理部８０７は、在庫管理ＤＢ４２０を参照して、在庫管理を行なう。

《ＰＯＳの機能構成》
図９Ａは、本実施形態に係るＰＯＳ２４２の機能構成を示すブロック図である。

図９Ａにおいて、局所特徴量受信部９１２は、通信制御部９１１を介して通信端末から受信した局所特徴量を復号部９１２ａで復号する。商品認識部９１３は、受信した局所特徴量を、商品に対応する局所特徴量を格納する局所特徴量ＤＢ６１０の局所特徴量と照合して、商品を認識する。認識結果送信部９１４は、商品認識部９１３が認識した認識結果を通信制御部９１１を介して通信端末に返信する。

また、商品価格判定部９１５は、商品価格ＤＢ６２０を参照して、認識した商品の価格を判定する。その商品価格は、価格積算部９１６に送られて、客が購入した商品の価格を積算する。積算される価格は価格表示部９１７に表示される。

価格積算部９１６で積算した積算価格と、入金部９１８への入金情報に基づいて、入金処理部９１９は、領収書印刷部９２０で領収書を印刷すると共に、売上情報送信部９２１から店舗コンピュータに送信する。

《店舗コンピュータの機能構成》
図９Ｂは、本実施形態に係る店舗コンピュータ２０１ａの機能構成を示すブロック図である。

図９Ｂにおいて、局所特徴量受信部９３２は、通信制御部９３１を介して通信端末から受信した局所特徴量を復号部９３２ａで復号する。商品認識部９３３は、受信した局所特徴量を、商品に対応する局所特徴量を格納する局所特徴量ＤＢ５１０の局所特徴量と照合して、商品を認識する。認識結果送信部９３４は、商品認識部９３３が認識した認識結果を通信制御部９３１を介して通信端末に返信する。

また、商品価格判定部９３５は、商品価格ＤＢ６３０を参照して、認識した商品の価格を判定する。その商品価格は、商品価格送信部９３６から通信制御部９３１を介して、例えば、ＰＯＳに価格判定機能が場合に送信される。

また、商品認識部９３３からの商品に人気結果は、棚卸し／棚割認識処理部９３７に送られて、在庫管理ＤＢ４１０を参照して、棚卸し／棚割認識処理が行なわれる。棚卸し／棚割認識結果は、棚卸し／棚割認識結果送信部９３８から通信制御部９３１を介して、管理サーバに送られる。

また、通信制御部９３１を介してＰＯＳから送信された売上情報は、売上情報受信部９３９で受信されて、売上処理部９４０により、売上管理ＤＢ６４０に蓄積される。

（局所特徴量ＤＢ）
図１０は、本実施形態に係る局所特徴量ＤＢ３１０，５１０，６１０の構成を示す図である。

局所特徴量ＤＢ３１０，５１０，６１０は、商品ＩＤ１００１と商品名／種別１００２に対応付けて、第１番局所特徴量１００３、第２番局所特徴量１００４、...、第ｍ番局所特徴量１００５を記憶する。各局所特徴量は、５×５のサブ領域に対応して、２５次元ずつに階層化された１次元から１５０次元の要素からなる特徴ベクトルを記憶する（図１１Ｆ参照）。

なお、ｍは正の整数であり、商品に対応して異なる数でよい。また、本実施形態においては、それぞれの局所特徴量と共に照合処理に使用される特徴点座標が記憶される。

《局所特徴量生成部》
図１１Ａは、本実施形態に係る局所特徴量生成部７０２の構成を示すブロック図である。

局所特徴量生成部７０２は、特徴点検出部１１１１、局所領域取得部１１１２、サブ領域分割部１１１３、サブ領域特徴ベクトル生成部１１１４、および次元選定部１１１５を含んで構成される。

特徴点検出部１１１１は、画像データから特徴的な点（特徴点）を多数検出し、各特徴点の座標位置、スケール（大きさ）、および角度を出力する。

局所領域取得部１１１２は、検出された各特徴点の座標値、スケール、および角度から、特徴量抽出を行う局所領域を取得する。

サブ領域分割部１１１３は、局所領域をサブ領域に分割する。たとえば、サブ領域分割部１１１３は、局所領域を１６ブロック（４×４ブロック）に分割することも、局所領域を２５ブロック（５×５ブロック）に分割することもできる。なお、分割数は限定されない。本実施形態においては、以下、局所領域を２５ブロック（５×５ブロック）に分割する場合を代表して説明する。

サブ領域特徴ベクトル生成部１１１４は、局所領域のサブ領域ごとに特徴ベクトルを生成する。サブ領域の特徴ベクトルとしては、たとえば、勾配方向ヒストグラムを用いることができる。

次元選定部１１１５は、サブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるように、局所特徴量として出力する次元を選定する（たとえば、間引きする）。また、次元選定部１１１５は、単に次元を選定するだけではなく、選定の優先順位を決定することができる。すなわち、次元選定部１１１５は、たとえば、隣接するサブ領域間では同一の勾配方向の次元が選定されないように、優先順位をつけて次元を選定することができる。そして、次元選定部１１１５は、選定した次元から構成される特徴ベクトルを、局所特徴量として出力する。なお、次元選定部１１１５は、優先順位に基づいて次元を並び替えた状態で、局所特徴量を出力することができる。

《局所特徴量生成部の処理》
図１１Ｂ〜図１１Ｆは、本実施形態に係る局所特徴量生成部７０２の処理を示す図である。

まず、図１１Ｂは、局所特徴量生成部７０２における、特徴点検出／局所領域取得／サブ領域分割／特徴ベクトル生成の一連の処理を示す図である。かかる一連の処理については、米国特許第６７１１２９３号明細書や、David G. Lowe著、「Distinctive image features from scale-invariant key points」、（米国）、International Journal of Computer Vision、60(2)、2004年、p. 91-110を参照されたい。

（特徴点検出部）
図１１Ｂの画像１１２１は、図１１Ａの特徴点検出部１１１１において、映像中の画像から特徴点を検出した状態を示す図である。以下、１つの特徴点データ１１２１ａを代表させて局所特徴量の生成を説明する。特徴点データ１１２１ａの矢印の起点が特徴点の座標位置を示し、矢印の長さがスケール（大きさ）を示し、矢印の方向が角度を示す。ここで、スケール（大きさ）や方向は、対象映像にしたがって輝度や彩度、色相などを選択できる。また、図１１Ｂの例では、６０度間隔で６方向の場合を説明するが、これに限定されない。

（局所領域取得部）
図１１Ａの局所領域取得部１１１２は、たとえば、特徴点データ１１２１ａの起点を中心にガウス窓１１２２ａを生成し、このガウス窓１１２２ａをほぼ含む局所領域１１２２を生成する。図１１Ｂの例では、局所領域取得部１１１２は正方形の局所領域１１２２を生成したが、局所領域は円形であっても他の形状であってもよい。この局所領域を各特徴点について取得する。局所領域が円形であれば、撮影方向に対してロバスト性が向上するという効果がある。

（サブ領域分割部）
次に、サブ領域分割部１１１３において、上記特徴点データ１１２１ａの局所領域１１２２に含まれる各画素のスケールおよび角度をサブ領域１１２３に分割した状態が示されている。なお、図１１Ｂでは４×４＝１６画素をサブ領域とする５×５＝２５のサブ領域に分割した例を示す。しかし、サブ領域は、４×４＝１６や他の形状、分割数であってもよい。

（サブ領域特徴ベクトル生成部）
サブ領域特徴ベクトル生成部１１１４は、サブ領域内の各画素のスケールを６方向の角度単位にヒストグラムを生成して量子化し、サブ領域の特徴ベクトル１１２４とする。すなわち、特徴点検出部１１１１が出力する角度に対して正規化された方向である。そして、サブ領域特徴ベクトル生成部１１１４は、サブ領域ごとに量子化された６方向の頻度を集計し、ヒストグラムを生成する。この場合、サブ領域特徴ベクトル生成部１１１４は、各特徴点に対して生成される２５サブ領域ブロック×６方向＝１５０次元のヒストグラムにより構成される特徴ベクトルを出力する。また、勾配方向を６方向に量子化するだけに限らず、４方向、８方向、１０方向など任意の量子化数に量子化してよい。勾配方向をＤ方向に量子化する場合、量子化前の勾配方向をＧ（０〜２πラジアン）とすると、勾配方向の量子化値Ｑq（q＝０，...，Ｄ−１）は、たとえば式（１）や式（２）などで求めることができるが、これに限られない。

Ｑq＝floor(Ｇ×Ｄ／２π） ...（１）
Ｑq＝round(Ｇ×Ｄ／２π）modＤ ...（２）
ここで、floor()は小数点以下を切り捨てる関数、round()は四捨五入を行う関数、modは剰余を求める演算である。また、サブ領域特徴ベクトル生成部１１１４は勾配ヒストグラムを生成するときに、単純な頻度を集計するのではなく、勾配の大きさを加算して集計してもよい。また、サブ領域特徴ベクトル生成部１１１４は勾配ヒストグラムを集計するときに、画素が属するサブ領域だけではなく、サブ領域間の距離に応じて近接するサブ領域（隣接するブロックなど）にも重み値を加算するようにしてもよい。また、サブ領域特徴ベクトル生成部１１１４は量子化された勾配方向の前後の勾配方向にも重み値を加算するようにしてもよい。なお、サブ領域の特徴ベクトルは勾配方向ヒストグラムに限られず、色情報など、複数の次元（要素）を有するものであればよい。本実施形態においては、サブ領域の特徴ベクトルとして、勾配方向ヒストグラムを用いることとして説明する。

（次元選定部）
次に、図１１Ｃ〜図１１Ｆにしたがって、局所特徴量生成部７０２における、次元選定部１１１５に処理を説明する。

次元選定部１１１５は、サブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるように、局所特徴量として出力する次元（要素）を選定する（間引きする）。より具体的には、次元選定部１１１５は、たとえば、隣接するサブ領域間では少なくとも１つの勾配方向が異なるように次元を選定する。なお、本実施形態では、次元選定部１１１５は近接するサブ領域として主に隣接するサブ領域を用いることとするが、近接するサブ領域は隣接するサブ領域に限られず、たとえば、対象のサブ領域から所定距離内にあるサブ領域を近接するサブ領域とすることもできる。

図１１Ｃは、局所領域を５×５ブロックのサブ領域に分割し、勾配方向を６方向１１３１ａに量子化して生成された１５０次元の勾配ヒストグラムの特徴ベクトル１１３１から次元を選定する場合の一例を示す図である。図１１Ｃの例では、１５０次元（５×５＝２５サブ領域ブロック×６方向）の特徴ベクトルから次元の選定が行われている。

（局所領域の次元選定）
図１１Ｃは、局所特徴量生成部７０２における、特徴ベクトルの次元数の選定処理の様子を示す図である。

図１１Ｃに示すように、次元選定部１１１５は、１５０次元の勾配ヒストグラムの特徴ベクトル１１３１から半分の７５次元の勾配ヒストグラムの特徴ベクトル１１３２を選定する。この場合、隣接する左右、上下のサブ領域ブロックでは、同一の勾配方向の次元が選定されないように、次元を選定することができる。

この例では、勾配方向ヒストグラムにおける量子化された勾配方向をｑ（ｑ＝０，１，２，３，４，５）とした場合に、ｑ＝０，２，４の要素を選定するブロックと、ｑ＝１，３，５の要素を選定するサブ領域ブロックとが交互に並んでいる。そして、図１１Ｃの例では、隣接するサブ領域ブロックで選定された勾配方向を合わせると、全６方向となっている。

また、次元選定部１１１５は、７５次元の勾配ヒストグラムの特徴ベクトル１１３２から５０次元の勾配ヒストグラムの特徴ベクトル１１３３を選定する。この場合、斜め４５度に位置するサブ領域ブロック間で、１つの方向のみが同一になる（残り１つの方向は異なる）ように次元を選定することができる。

また、次元選定部１１１５は、５０次元の勾配ヒストグラムの特徴ベクトル１１３３から２５次元の勾配ヒストグラムの特徴ベクトル１１３４を選定する場合は、斜め４５度に位置するサブ領域ブロック間で、選定される勾配方向が一致しないように次元を選定することができる。図１１Ｃに示す例では、次元選定部１１１５は、１次元から２５次元までは各サブ領域から１つの勾配方向を選定し、２６次元から５０次元までは２つの勾配方向を選定し、５１次元から７５次元までは３つの勾配方向を選定している。

このように、隣接するサブ領域ブロック間で勾配方向が重ならないように、また全勾配方向が均等に選定されることが望ましい。また同時に、図１１Ｃに示す例のように、局所領域の全体から均等に次元が選定されることが望ましい。なお、図１１Ｃに示した次元選定方法は一例であり、この選定方法に限らない。

（局所領域の優先順位）
図１１Ｄは、局所特徴量生成部７０２における、サブ領域からの特徴ベクトルの選定順位の一例を示す図である。

次元選定部１１１５は、単に次元を選定するだけではなく、特徴点の特徴に寄与する次元から順に選定するように、選定の優先順位を決定することができる。すなわち、次元選定部１１１５は、たとえば、隣接するサブ領域ブロック間では同一の勾配方向の次元が選定されないように、優先順位をつけて次元を選定することができる。そして、次元選定部１１１５は、選定した次元から構成される特徴ベクトルを、局所特徴量として出力する。なお、次元選定部１１１５は、優先順位に基づいて次元を並び替えた状態で、局所特徴量を出力することができる。

すなわち、次元選定部１１１５は、１〜２５次元、２６次元〜５０次元、５１次元〜７５次元の間は、たとえば図１１Ｄのマトリクス１１４１に示すようなサブ領域ブロックの順番で次元を追加するように選定していってもよい。図１１Ｄのマトリクス１１４１に示す優先順位を用いる場合、次元選定部１１１５は、中心に近いサブ領域ブロックの優先順位を高くして、勾配方向を選定していくことができる。

図１１Ｅのマトリクス１１５１は、図１１Ｄの選定順位にしたがって、１５０次元の特徴ベクトルの要素の番号の一例を示す図である。この例では、５×５＝２５ブロックをラスタスキャン順に番号ｐ（ｐ＝０，１，...，２５）で表し、量子化された勾配方向をｑ（ｑ＝０，１，２，３，４，５）とした場合に、特徴ベクトルの要素の番号を６×ｐ＋ｑとしている。

図１１Ｆのマトリクス１１６１は、図１１Ｅの選定順位による１５０次元の順位が、２５次元単位に階層化されていることを示す図である。すなわち、図１１Ｆのマトリクス１１６１は、図４Ｄのマトリクス１１４１に示した優先順位にしたがって図１１Ｅに示した要素を選定していくことにより得られる局所特徴量の構成例を示す図である。次元選定部１１１５は、図１１Ｆに示す順序で次元要素を出力することができる。具体的には、次元選定部１１１５は、たとえば１５０次元の局所特徴量を出力する場合、図１１Ｆに示す順序で全１５０次元の要素を出力することができる。また、次元選定部１１１５は、たとえば２５次元の局所特徴量を出力する場合、図１１Ｆに示す１行目（７６番目、４５番目、８３番目、...、１２０番目）の要素１１７１を図１１Ｆに示す順（左から右）に出力することができる。また、次元選定部１１１５は、たとえば５０次元の局所特徴量を出力する場合、図１１Ｆに示す１行目に加えて、図１１Ｆに示す２行目の要素１１７２を図１１Ｆに示す順（左から右）に出力することができる。

ところで、図１１Ｆに示す例では、局所特徴量は階層的な構造となっている。すなわち、たとえば、２５次元の局所特徴量と１５０次元の局所特徴量とにおいて、先頭の２５次元分の局所特徴量における要素１１７１〜１１７６の並びは同一となっている。このように、次元選定部１１１５は、階層的（プログレッシブ）に次元を選定することにより、アプリケーションや通信容量、端末スペックなどに応じて、任意の次元数の局所特徴量、すなわち任意のサイズの局所特徴量を抽出して出力することができる。また、次元選定部１１１５が、階層的に次元を選定し、優先順位に基づいて次元を並び替えて出力することにより、異なる次元数の局所特徴量を用いて、画像の照合を行うことができる。たとえば、７５次元の局所特徴量と５０次元の局所特徴量を用いて画像の照合が行われる場合、先頭の５０次元だけを用いることにより、局所特徴量間の距離計算を行うことができる。

なお、図１１Ｄのマトリクス１１４１から図１１Ｆに示す優先順位は一例であり、次元を選定する際の順序はこれに限られない。たとえば、ブロックの順番に関しては、図１１Ｄのマトリクス１１４１の例の他に、図１１Ｄのマトリクス１１４２や図１１Ｄのマトリクス１１４３に示すような順番でもよい。また、たとえば、すべてのサブ領域からまんべんなく次元が選定されるように優先順位が定められることとしてもよい。また、局所領域の中央付近が重要として、中央付近のサブ領域の選定頻度が高くなるように優先順位が定められることとしてもよい。また、次元の選定順序を示す情報は、たとえば、プログラムにおいて規定されていてもよいし、プログラムの実行時に参照されるテーブル等（選定順序記憶部）に記憶されていてもよい。

また、次元選定部１１１５は、サブ領域ブロックを１つ飛びに選択して、次元の選定を行ってもよい。すなわち、あるサブ領域では６次元が選定され、当該サブ領域に近接する他のサブ領域では０次元が選定される。このような場合においても、近接するサブ領域間の相関が低くなるようにサブ領域ごとに次元が選定されていると言うことができる。

また、局所領域やサブ領域の形状は、正方形に限られず、任意の形状とすることができる。たとえば、局所領域取得部１１１２が、円状の局所領域を取得することとしてもよい。この場合、サブ領域分割部４１３は、円状の局所領域をたとえば複数の局所領域を有する同心円に９分割や１７分割のサブ領域に分割することができる。この場合においても、次元選定部１１１５は、各サブ領域において、次元を選定することができる。

以上、図１１Ｂ〜図１１Ｆに示したように、本実施形態の局所特徴量生成部７０２によれば、局所特徴量の情報量を維持しながら生成された特徴ベクトルの次元が階層的に選定される。この処理により、認識精度を維持しながらリアルタイムでの対象物認識と認識結果の表示が可能となる。なお、局所特徴量生成部７０２の構成および処理は本例に限定されない。認識精度を維持しながらリアルタイムでの対象物認識と認識結果の表示が可能となる他の処理が当然に適用できる。

（符号化部）
図１１Ｇは、本実施形態に係る符号化部７０３ａを示すブロック図である。なお、符号化部は本例に限定されず、他の符号化処理も適用可能である。

符号化部７０３ａは、局所特徴量生成部７０２の特徴点検出部１１１１から特徴点の座標を入力して、座標値を走査する座標値走査部１１８１を有する。座標値走査部１１８１は、画像をある特定の走査方法にしたがって走査し、特徴点の２次元座標値（Ｘ座標値とＹ座標値）を１次元のインデックス値に変換する。このインデックス値は、走査に従った原点からの走査距離である。なお、走査方向については、制限はない。

また、特徴点のインデックス値をソートし、ソート後の順列の情報を出力するソート部１１８２を有する。ここでソート部１１８２は、たとえば昇順にソートする。また降順にソートしてもよい。

また、ソートされたインデックス値における、隣接する２つのインデックス値の差分値を算出し、差分値の系列を出力する差分算出部１１８３を有する。

そして、差分値の系列を系列順に符号化する差分符号化部１１８４を有する。差分値の系列の符号化は、たとえば固定ビット長の符号化でもよい。固定ビット長で符号化する場合、そのビット長はあらかじめ規定されていてもよいが、これでは考えられうる差分値の最大値を表現するのに必要なビット数を要するため、符号化サイズは小さくならない。そこで、差分符号化部１１８４は、固定ビット長で符号化する場合、入力された差分値の系列に基づいてビット長を決定することができる。具体的には、たとえば、差分符号化部１１８４は、入力された差分値の系列から差分値の最大値を求め、その最大値を表現するのに必要なビット数（表現ビット数）を求め、求められた表現ビット数で差分値の系列を符号化することができる。

一方、ソートされた特徴点のインデックス値と同じ順列で、対応する特徴点の局所特徴量を符号化する局所特徴量符号化部１１８５を有する。ソートされたインデックス値と同じ順列で符号化することで、差分符号化部１１８４で符号化された座標値と、それに対応する局所特徴量とを１対１で対応付けることが可能となる。局所特徴量符号化部１１８５は、本実施形態においては、１つの特徴点に対する１５０次元の局所特徴量から次元選定された局所特徴量を、たとえば１次元を１バイトで符号化し、次元数のバイトで符号化することができる。

（商品認識部）
図１１Ｈ、図１１Ｊおよび図１１Ｋは、本実施形態に係る商品認識部８０３，９１３，９３３の処理を示す図である。

図１１Ｈは、図２における出荷処理２１０および入庫処理２２０時の商品認識部８０３の処理を示す図である。図１１Ｈに示す、あらかじめ出荷および入庫商品であるダンボールなどのケース１１９１ａから本実施形態に従い生成された局所特徴量１１９１は、局所特徴量ＤＢ３１０に格納されている。一方、図１１Ｈの左図の通信端末で撮像された映像画面１１９０からは、本実施形態に従い局所特徴量が生成される。そして、局所特徴量ＤＢ３１０に格納された局所特徴量１１９１が、映像画面１１９０から生成された局所特徴量中にあるか否かが照合される。

図１１Ｈに示すように、商品認識部８０３は、局所特徴量ＤＢ３１０に格納されている局所特徴量と局所特徴量が合致する各特徴点を細線のように関連付ける。なお、商品認識部８０３は、局所特徴量の所定割合以上が一致する場合を特徴点の合致とする。そして、商品認識部８０３は、関連付けられた特徴点の集合間の位置関係が線形関係であれば、対象商品であると認識する。このような認識を行なえば、サイズの大小や向きの違い（視点の違い）、あるいは反転などによっても認識が可能である。また、所定数以上の関連付けられた特徴点があれば認識精度が得られるので、一部が視界から隠れていても商品の認識が可能である。

図１１Ｈにおいては、局所特徴量ＤＢ３１０の１つの局所特徴量１１９１から、３つの向きの異なる商品１１９０ａ，１１９０ｂ，１１９０ｃが同じ商品（梱包容器やケース）として認識される。

図１１Ｊは、図２における棚卸し処理２３０（棚割処理）時の商品認識部９３３の処理を示す図である。図１１Ｊに示す、あらかじめ商品（本例では、大きなペットボトル商品１１９３ａ、小さなペットボトル商品１１９４ａ、小さな紙パック商品１１９５ａ）から本実施形態に従い生成された局所特徴量１１９３,１１９４，１１９５は、局所特徴量ＤＢ５１０に格納されている。一方、図１１Ｊの左図の通信端末で撮像された映像画面１１９２からは、本実施形態に従い局所特徴量が生成される。そして、局所特徴量ＤＢ５１０に格納された局所特徴量のそれぞれが、映像画面１１９２から生成された局所特徴量中にあるか否かが照合される。

図１１Ｊに示すように、局所特徴量ＤＢ５１０に格納されている局所特徴量１１９３〜１１９５と局所特徴量が合致する各特徴点を細線にように関連付ける。なお、局所特徴量の所定割合以上が一致する場合を特徴点の合致とする。そして、関連付けられた特徴点の位置関係が線形関係であれば、認識対象物であると認識する。ここで、認識のための局所特徴量の合致条件や特徴点数の条件は、図１１Ｈと同様であってもよいし、認識対象が異なるので異なる条件を設定してもよい。

図１１Ｊにおいては、局所特徴量ＤＢ５１０の３つの局所特徴量１１９３〜１１９５から、棚に陳列された異なる３つの商品１１９２ａ，１１９２ｂ，１１９２ｃが個々に認識される。なお、図１１Ｊにおいては、商品認識処理を分かりやすく図示するため、それぞれ１つの商品への細線のみを図示している。

図１１Ｋは、図２におけるレジ処理２４０時の商品認識部９１３の処理を示す図である。図１１Ｋに示す、あらかじめ商品（本例では、ラベル１１９７ｂが貼られたペットボトル商品１１９７ａ、ケース１１９８ａに収納されたたまご１１９８ｂ、識別可能なテープ１１９９ｂで束ねられたホーレンソウ１１９９ａ）から本実施形態に従い生成された局所特徴量１１９７〜１１９９は、局所特徴量ＤＢ６１０に格納されている。一方、図１１Ｋの左図の通信端末で撮像された映像画面１１９６からは、本実施形態に従い局所特徴量が生成される。そして、局所特徴量ＤＢ６１０に格納された局所特徴量のそれぞれが、映像画面１１９６から生成された局所特徴量中にあるか否かが照合される。

図１１Ｋに示すように、局所特徴量ＤＢ６１０に格納されている局所特徴量１１９７〜１１９９と局所特徴量が合致する各特徴点を細線にように関連付ける。なお、局所特徴量の所定割合以上が一致する場合を特徴点の合致とする。そして、関連付けられた特徴点の位置関係が線形関係であれば、認識対象物であると認識する。ここで、認識のための局所特徴量の合致条件や特徴点数の条件は、図１１Ｈや図１１Ｊと同様であってもよいし、認識対象が異なるので異なる条件を設定してもよい。

図１１Ｋにおいては、局所特徴量ＤＢ６１０の３つの局所特徴量１１９７〜１１９９から、かごに収納された異なる３つの商品１１９６ａ，１１９６ｂ，１１９６ｃが個々に認識される。
なお、本実施形態の商品認識部８０９，９１３，９３３の照合処理では、特徴点座標と局所特徴量とに基づいて照合が行なわれるが、合致する認識対象物から生成された局所特徴量と映像中の画像から生成された局所特徴量との配列順序の線形関係のみによっても、認識が可能である。一方、本実施形態では、２次元画像によって説明されているが、３次元の特徴点座標を使用しても、同様の処理が可能である。

《通信端末のハードウェア構成》
図１２Ａは、本実施形態に係る通信端末２１１〜２４１のハードウェア構成を示すブロック図である。

図１２Ａで、ＣＰＵ１２１０は演算制御用のプロセッサであり、プログラムを実行することで通信端末２１１〜２４１の各機能構成部を実現する。ＲＯＭ１２２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部７０４は通信制御部であり、本実施形態においては、ネットワークを介して他の装置と通信する。なお、ＣＰＵ１２１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ（Graphics Processing Unit）を含んでもよい。

ＲＡＭ１２４０は、ＣＰＵ１２１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１２４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。入力映像１２４１は、撮像部７０１が撮像して入力された入力映像を示す。特徴点データ１２４２は、入力映像１２４１から検出した特徴点座標、スケール、角度を含む特徴点データを示す。局所特徴量生成テーブル１２４３は、局所特徴量を生成するまでのデータを保持する局所特徴量生成テーブルを示す（１２Ｂ参照）。局所特徴量１２４４は、局所特徴量生成テーブル１２４３を使って生成され、通信制御部７０４を介して商品認識を行なう送信先に送る局所特徴量を示す。商品認識結果１２４５は、通信制御部７０４を介して送信先から返信された商品認識結果を示す。表示画面データ１２４６は、ユーザに商品認識結果１２４５を含む情報を報知するための表示画面データを示す。なお、音声出力をする場合には、音声データが含まれてもよい。入出力／送受信データ１２４７は、入出力インタフェース１２６０を介して入出力される入出力データおよび通信制御部７０４を介して送受信される送受信データを示す。

ストレージ１２５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ１２５０には、以下のプログラムが格納される。通信端末制御プログラム１２５１は、本通信端末２１１〜２４１の全体を制御する通信端末制御プログラムを示す。通信端末制御プログラム１２５１には、以下のモジュールが含まれている。

局所特徴量生成モジュール１２５２は、通信端末制御プログラム１２５１において、入力映像から図４Ｂ〜図４Ｆにしたがって局所特徴量を生成する局所特徴量生成モジュールを示す。符号化モジュール１２５８は、局所特徴量生成モジュール１２５２により生成された局所特徴量を送信のために符号化する符号化モジュールを示す。商品認識結果報知モジュール７５５は、商品認識結果を受信して表示または音声によりユーザに報知するための商品認識結果結果報知モジュールを示す。

入出力インタフェース１２６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース１２６０には、表示部１２６１、操作部１２６２であるタッチパネルやキーボード、スピーカ１２６３、マイク１２６４、撮像部７０１が接続される。入出力機器は上記例に限定されない。また、ＧＰＳ(Global Positioning System)位置生成部１２６５は、ＧＰＳ衛星からの信号に基づいて現在位置を取得する。

なお、図７には、本実施形態に必須なデータやプログラムのみが示されており、本実施形態に関連しないデータやプログラムは図示されていない。

（局所特徴量生成テーブ）
図１２Ｂは、本実施形態に係る通信端末２１１〜２４１における局所特徴量生成テーブル１２４３を示す図である。

局所特徴量生成テーブル１２４３には、入力画像ＩＤ１２０１に対応付けて、複数の検出された検出特徴点１２０２，特徴点座標１２０３および特徴点に対応する局所領域情報１２０４が記憶される。そして、各検出特徴点１２０２，特徴点座標１２０３および局所領域情報１２０４に対応付けて、複数のサブ領域ＩＤ１２０５，サブ領域情報１２０６，各サブ領域に対応する特徴ベクトル１２０７および優先順位を含む選定次元１２０８が記憶される。

以上のデータから各検出特徴点１２０２に対して生成された局所特徴量１２０９が記憶される。

《通信端末の処理手順》
図１３は、本実施形態に係る通信端末２１１〜２４１の処理手順を示すフローチャートである。このフローチャートは、図１２ＡのＣＰＵ１２１０によってＲＡＭ１２４０を用いて実行され、図７の各機能構成部を実現する。

まず、ステップＳ１３１１において、商品認識を行なうための映像入力があったか否かを判定する。また、ステップＳ１３２１においてはデータ受信を判定する。いずれでもなければ、ステップＳ１２３１においてその他の処理を行なう。なお、通常の送信処理については説明を省略する。

映像入力があればステップＳ１３１３に進んで、入力映像から局所特徴量生成処理を実行する（図１４Ａ参照）。次に、ステップＳ１３１５において、局所特徴量および特徴点座標を符号化する（図１４Ｂおよび図１４Ｃ参照）。ステップＳ１３１７においては、符号化されたデータを管理コンピュータに送信する。

データ受信の場合はステップＳ１３２３に進んで、照合サーバからの商品認識結果の受信か否かを判定する。商品認識結果であればステップＳ１３２５に進んで、受信した商品認識結果を報知する。

（局所特徴量生成処理）
図１４Ａは、本実施形態に係る局所特徴量生成処理Ｓ１３１３の処理手順を示すフローチャートである。

まず、ステップＳ１４１１において、入力映像から特徴点の位置座標、スケール、角度を検出する。ステップＳ１４１３において、ステップＳ１４１１で検出された特徴点の１つに対して局所領域を取得する。次に、ステップＳ１４１５において、局所領域をサブ領域に分割する。ステップＳ１４１７においては、各サブ領域の特徴ベクトルを生成して局所領域の特徴ベクトルを生成する。ステップＳ１４１１からＳ１４１７の処理は図１１Ｂに図示されている。

次に、ステップＳ１４１９において、ステップＳ１４１７において生成された局所領域の特徴ベクトルに対して次元選定を実行する。次元選定については、図１１Ｄ〜図１１Ｆに図示されている。

ステップＳ１４２１においては、ステップＳ１４１１で検出した全特徴点について局所特徴量の生成と次元選定とが終了したかを判定する。終了していない場合はステップＳ１４１３に戻って、次の１つの特徴点について処理を繰り返す。

（符号化処理）
図１４Ｂは、本実施形態に係る符号化処理Ｓ１３１５の処理手順を示すフローチャートである。

まず、ステップＳ１４３１において、特徴点の座標値を所望の順序で走査する。次に、ステップＳ１４３３において、走査した座標値をソートする。ステップＳ１４３５において、ソートした順に座標値の差分値を算出する。ステップＳ１４３７においては、差分値を符号化する（図１４Ｃ参照）。そして、ステップＳ１４３９において、座標値のソート順に局所特徴量を符号化する。なお、差分値の符号化と局所特徴量の符号化とは並列に行なってもよい。

（差分値の符号化処理）
図１４Ｃは、本実施形態に係る差分値の符号化処理Ｓ１４３７の処理手順を示すフローチャートである。

まず、ステップＳ１４４１において、差分値が符号化可能な値域内であるか否かを判定する。符号化可能な値域内であればステップＳ１４４７に進んで、差分値を符号化する。そして、ステップＳ１４４９へ移行する。符号化可能な値域内でない場合（値域外）はステップＳ１４４３に進んで、エスケープコードを符号化する。そしてステップＳ１４４５において、ステップＳ１４４７の符号化とは異なる符号化方法で差分値を符号化する。そして、ステップＳ１４４９へ移行する。ステップＳ１４４９では、処理された差分値が差分値の系列の最後の要素であるかを判定する。最後である場合は、処理が終了する。最後でない場合は、再度ステップＳ１４４１に戻って、差分値の系列の次の差分値に対する処理が実行される。

《管理コンピュータのハードウェア構成》
図１５Ａは、本実施形態に係る管理コンピュータのハードウェア構成を示すブロック図である。なお、図１５Ａには、共通の構成要素とそれぞれに固有の構成要素とが、混在して図示されている。それぞれにおいて共通の構成要素については、管理サーバ２５０を代表させる。

図２３で、ＣＰＵ１５１０は演算制御用のプロセッサであり、プログラムを実行することで照合サーバである映像処理装置１６２０の各機能構成部を実現する。ＲＯＭ１５２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部８０１は通信制御部であり、本実施形態においては、ネットワークを介して他の装置と通信する。なお、ＣＰＵ１５１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵを含んでもよい。

ＲＡＭ１５４０は、ＣＰＵ１５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。受信した局所特徴量１４４１は、通信端末から受信した特徴点座標を含む局所特徴量を示す。読出した局所特徴量１５４２は、局所特徴量ＤＢ３１０から読み出した特徴点座標を含むと局所特徴量を示す。商品照合結果１５４３は、受信した局所特徴量と局所特徴量ＤＢ３１０に格納された局所特徴量との照合から認識された、商品照合結果を示す。商品価格１５４４は、ＰＯＳ２４２または店舗コンピュータ２０１ａに固有のデータであり、商品認識結果に基づいて商品価格ＤＢ６３０から読出された商品価格を示す。入金情報１５４５は、ＰＯＳ２４２または店舗コンピュータ２０１ａに固有のデータであり、ユーザの支払が完了した時点での入金情報を示す。流通管理情報１５４６は、管理サーバ２５０に固有のデータであり、流通管理ＤＢ３２０に蓄積される流通管理情報を示す。在庫管理情報１５４７は、管理サーバ２５０と店舗コンピュータ２０１ａとに固有のデータであり、在庫管理ＤＢ４２０に基づく在庫管理情報を示す。送受信データ１５４８は、通信制御部８０１を介して送受信される送受信データを示す。

ストレージ１５５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。局所特徴量ＤＢ３１０は、図１０に示したと同様の局所特徴量ＤＢを示す。商品価格ＤＢ６３０は、ＰＯＳ２４２または店舗コンピュータ２０１ａに固有のＤＢであり、商品価格を格納する（図１５Ｂ参照）。流通管理ＤＢ３２０は、管理サーバ２５０に固有のＤＢであり、商品流通（たとえば、図２の出荷や入庫など）の情報を格納する。在庫管理ＤＢ４２０は、管理サーバ２５０と店舗コンピュータ２０１ａとに固有のＤＢであり、在庫管理情報を格納する。

ストレージ１５５０には、以下のプログラムが格納される。管理コンピュータ制御プログラム１５５１は、本管理コンピュータの全体を制御する管理コンピュータ制御プログラムを示す。局所特徴量ＤＢ作成モジュール２１５５２は、管理コンピュータ制御プログラム１５５１において、認識部品の画像から局所特徴量を生成して局所特徴量ＤＢに格納する局所特徴量ＤＢ作成モジュールを示す。商品認識制御モジュール１５５３は、管理コンピュータ制御プログラム１５５１において、受信した局所特徴量と局所特徴量ＤＢ３１０に格納された局所特徴量とを照合して商品を認識する商品認識制御モジュールを示す。商品価格判定モジュール１５５４は、ＰＯＳ２４２または店舗コンピュータ２０１ａに固有のモジュールであり、認局所特徴量から認識された商品に基づいて価格を判定する商品価格判定モジュールを示す。

なお、図２３には、本実施形態に必須なデータやプログラムのみが示されており、本実施形態に関連しないデータやプログラムは図示されていない。

（商品価格ＤＢ）
図１５Ｂは、本実施形態に係る商品価格ＤＢ６３０の構成を示す図である。

商品価格ＤＢ６３０は、商品ＩＤおよび商品名／種別に対応付けて、商品価格を記憶している。

《管理コンピュータの処理手順》
図１６は、本実施形態に係る管理コンピュータ２５０，２０１ａ，２４２の処理手順を示すフローチャートである。このフローチャートは、図１５ＡのＣＰＵ１５１０によりＲＡＭ１５４０を使用して実行され、図８、図９Ａあるいは図９Ｂの各機能構成部を実現する。

まず、ステップＳ１６１１において、局所特徴量ＤＢの生成か否かを判定する。また、ステップＳ１６２１において、通信端末からの局所特徴量受信かを判定する。いずれでもなければ、ステップＳ１６３１において他の処理を行なう。

局所特徴量ＤＢの生成であればステップＳ１６１３に進んで、局所特徴量ＤＢ生成処理を実行する（図１７参照）。また、局所特徴量の受信であればステップＳ１６２３に進んで、商品認識処理を行なう（図１８Ａおよび図１８Ｂ参照）。次に、ステップＳ１６２５において、認識対象物／リンク情報取得処理を実行する（図２６Ｂ参照）。そして、ステップＳ２５２５において、ＰＯＳ２４２または店舗コンピュータ２０１ａに固有のステップである、価格判定処理を行なう。そして、ステップＳ１６２７においては、流通管理処理や在庫管理処理を含む商品流通処理を行なう（図１９参照）。

（局所特徴量ＤＢ生成処理）
図１７は、本実施形態に係る局所特徴量ＤＢ生成処理Ｓ１６１３の処理手順を示すフローチャートである。

まず、ステップＳ１７０１において、商品の画像を取得する。ステップＳ１７０３においては、特徴点の位置座標、スケール、角度を検出する。ステップＳ１７０５において、ステップＳ１７０３で検出された特徴点の１つに対して局所領域を取得する。次に、ステップＳ１７０７において、局所領域をサブ領域に分割する。ステップＳ１７０９においては、各サブ領域の特徴ベクトルを生成して局所領域の特徴ベクトルを生成する。ステップＳ１７０５からＳ１７０９の処理は図１１Ｂに図示されている。

次に、ステップＳ１７１１において、ステップＳ１７０９において生成された局所領域の特徴ベクトルに対して次元選定を実行する。次元選定については、図１１Ｄ〜図１１Ｆに図示されている。しかしながら、局所特徴量ＤＢ３１０の生成においては、次元選定における階層化を実行するが、生成されたすべての特徴ベクトルを格納するのが望ましい。

ステップＳ１７１３においては、ステップＳ２６１３で検出した全特徴点について局所特徴量の生成と次元選定とが終了したかを判定する。終了していない場合はステップＳ１７０５に戻って、次の１つの特徴点について処理を繰り返す。全特徴点について終了した場合はステップＳ１７１５に進んで、認識商品に対応付けて局所特徴量と特徴点座標とを局所特徴量ＤＢ３１０に登録する。

ステップＳ１７１７においては、他の商品があるか否かを判定する。他の商品があればステップＳ１７０１に戻って、認識対象物の画像を取得して処理を繰り返す。

（商品認識処理）
図１８Ａは、本実施形態に係る商品認識処理Ｓ１６２３の処理手順を示すフローチャートである。

まず、ステップＳ１８１１において、局所特徴量ＤＢ３１０から１つの認識対象物の局所特徴量を取得する。そして、ステップＳ１８１３において、商品の局所特徴量と通信端末から受信した局所特徴量との照合を行なう（図１８Ｂ参照）。

ステップＳ１８１５において、合致したか否かを判定する。合致していればステップＳ１８２１に進んで、合致した商名を記憶して通信端末に送信する。

ステップＳ１８１７においては、全商品を照合したかを判定し、残りがあればステップＳ１８１１に戻って次の商品の照合を繰り返す。なお、かかる照合においても、あらかじめ分野の限定を行なってもよい。

（照合処理）
図１８Ｂは、本実施形態に係る照合処理Ｓ１８１３の処理手順を示すフローチャートである。

まず、ステップＳ１８３１において、初期化として、パラメータｐ＝１，ｑ＝０を設定する。次に、ステップＳ１８３３において、ステップＳ１８３１において生成した局所特徴量の次元数ｊを取得する。

ステップＳ１８３５〜Ｓ１８４５のループにおいて、ｐ＞ｍ（ｍ＝商品の特徴点数）となるまで各局所特徴量の照合を繰り返す。まず、ステップＳ１８３５において、局所特徴量ＤＢ３１０に格納された商品の第ｐ番局所特徴量の次元数ｊのデータを取得する。すなわち、最初の１次元からｊ次元を取得する。次に、ステップＳ１８３７において、ステップＳ１８３５において取得した第ｐ番局所特徴量と入力映像から生成した全特徴点の局所特徴量を順に照合して、類似か否かを判定する。ステップＳ１８３９においては、局所特徴量間の照合の結果から類似度が閾値αを超えるか否かを判断し、超える場合はステップＳ１８４１において、局所特徴量と、入力映像と商品とにおける合致した特徴点の位置関係との組みを記憶する。そして、合致した特徴点数のパラメータであるｑを１つカウントアップする。ステップＳ１８４３においては、商品の特徴点を次の特徴点に進め（ｐ←ｐ＋１）、商品の全特徴点の照合が終わってない場合には（ｐ≦ｍ）、ステップＳ９３５に戻って合致する局所特徴量の照合を繰り返す。なお、閾値αは、商品によって求められる認識精度に対応して変更可能である。ここで、他の商品との相関が低い認識対象物であれば認識精度を低くしても、正確な認識が可能である。

商品の全特徴点との照合が終了すると、ステップＳ１８４５からＳ１８４７に進んで、ステップＳ１８４７〜Ｓ１８５３において、商品が入力映像に存在するか否かが判定される。まず、ステップＳ１８４７において、商品の特徴点数ｐの内で入力映像の特徴点の局所特徴量と合致した特徴点数ｑの割合が、閾値βを超えたか否かを判定する。超えていればステップＳ１８４９に進んで、商品候補として、さらに、入力映像の特徴点と商品の特徴点との位置関係が、線形変換が可能な関係を有しているかを判定する。すなわち、ステップＳ９４１において局所特徴量が合致したとして記憶した、入力映像の特徴点と商品の特徴点との位置関係が、回転や反転、視点の位置変更などの変化によっても可能な位置関係なのか、不可能な位置関係なのかを判定する。かかる判定方法は幾何学的に既知であるので、詳細な説明は省略する。ステップＳ１８５１において、線形変換可能か否かの判定結果により、線形変換可能であればステップＳ９５３に進んで、照合した商品が入力映像に存在すると判定する。なお、閾値βは、商品によって求められる認識精度に対応して変更可能である。ここで、他の商品との相関が低い、あるいは一部分からでも特徴が判断可能な商品であれば合致した特徴点が少なくても、正確な認識が可能である。すなわち、一部分が隠れて見えなくても、あるいは特徴的な一部分が見えてさえいれば、商品の認識が可能である。

ステップＳ１８５５においては、局所特徴量ＤＢ３１０に未照合の商品が残っているか否かを判定する。まだ商品が残っていれば、ステップＳ９５７において次の商品を設定して、パラメータｐ＝１，ｑ＝０に初期化し、ステップＳ９３５に戻って照合を繰り返す。

なお、かかる照合処理の説明からも明らかなように、あらゆる分野の商品を局所特徴量ＤＢ３１０に記憶して、全商品を照合する処理は、負荷が非常に大きくなる。したがって、たとえば、入力映像からの商品認識の前にユーザが商品の分野をメニューから選択して、その分野を局所特徴量ＤＢ３１０から検索して照合することが考えられる。また、局所特徴量ＤＢ３１０にユーザが使用する分野の局所特徴量のみを記憶することによっても、負荷を軽減できる。

（商品管理処理）
図１９は、本実施形態に係る商品管理処理Ｓ１６２７の処理手順を示すフローチャートである。

まず、ステップＳ１９０１においては、流通管理ＤＢ３２０に対して認識商品の移動履歴を蓄積する。そして、ステップＳ１９０３においては、在庫管理ＤＢ４２０に対して認識商品の販売履歴を津奇跡する。

［第３実施形態］
次に、本発明の第３実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態と比べると、レジ処理において、商品の同定と共に値引き額を撮像した映像から認識して、店員の操作無し値引き計算をする点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については説明を省略する。

本実施形態によれば、商品の値引き処理を店員の操作なしに実現して、レジ処理の効率化を図ることができる。

《本実施形態に係る処理》
図２０は、本発明の第３実施形態に係る情報処理システム２０００の処理を示す図である。特に、図２０は、本実施形態に係る商品認識部９１３の処理を示す図である。

図２０に示す、あらかじめ商品２０２１と値引札２０３１とから本実施形態に従い生成された局所特徴量２０２０，２０３０は、局所特徴量ＤＢ６１０に格納されている。一方、図２０の左図の通信端末で撮像された映像画面２０１０からは、本実施形態に従い局所特徴量が生成される。そして、局所特徴量ＤＢ６１０に格納された局所特徴量２０２０，２０３０が、映像画面２０１０から生成された局所特徴量中にあるか否かが照合される。

図２０に示すように、商品認識部９１３は、局所特徴量ＤＢ６１０に格納されている局所特徴量と局所特徴量が合致する各特徴点を細線のように関連付ける。なお、商品認識部９１３は、局所特徴量の所定割合以上が一致する場合を特徴点の合致とする。そして、商品認識部９１３は、関連付けられた特徴点の集合間の位置関係が線形関係であれば、対象商品であると認識する。このような認識を行なえば、サイズの大小や向きの違い（視点の違い）、あるいは反転などによっても認識が可能である。また、所定数以上の関連付けられた特徴点があれば認識精度が得られるので、一部が視界から隠れていても商品の認識が可能である。

図２０においては、局所特徴量ＤＢ６１０の商品と値引札との局所特徴量２０２０，２０３０から、商品と値引額（値引率）が認識される。そして、図２のＰＯＳ２４２は、店員２４３に操作無しに、値引いた商品価格による処理を実現する。

《情報処理システムの動作手順》
図２１は、本実施形態に係る情報処理システム２０００の動作手順を示すシーケンス図である。なお、必要であれば、管理サーバ２５０あるいは店舗コンピュータからＰＯＳあるいは通信端末にアプリケーションのダウンロードを行なう。そして、本実施形態の処理を行なうための、アプリケーションの起動と初期化が行なわれるが、図２１では削除している（図６参照）。

ステップＳ２１０１においては、店舗コンピュータからＰＯＳに対して、値引き用局所特徴量が送信される。ＰＯＳはステップＳ２１０３において、値引札の局所特徴量を局所特徴量ＤＢ６１０に追加する（図２２参照）。

ステップＳ２１０５において、通信端末は、レジで１つおよび複数の商品、あるいはかごに入った商品群を撮影する。ステップＳ２１９７において、映像から局所特徴量を生成する。なお、棚卸し／棚割調査で説明したように、個々の商品とかごの中の複数商品の認識では、特徴点数や特徴ベクトルの次元数などを調整して、精度を変えた局所特徴量が生成される。続いて、ステップＳ２１０９において局所特徴量を特徴点座標と共に符号化する。符号化された局所特徴量は、ステップＳ２１１１において、通信端末からＰＯＳに送信される。

ＰＯＳでは、ステップＳ２１１３において、各商品に対して生成され記憶されたＰＯＳの局所特徴量ＤＢ６１０を参照して、商品の認識を行なう。同時に、値引札の認識も行なわれる。そして、ステップＳ２１１５において、認識結果をＰＯＳから通信端末に送信する。

通信端末は、ステップＳ２１１７において、認識結果を報知する。一方、ＰＯＳは、ステップＳ２１１９において、ＰＯＳの商品価格ＤＢ６２０を参照して、認識された商品の価格を判定する。次に、ステップＳ２１２１において、商品価格に、値引きがあればそれを計算する。そして、ステップＳ２１２３において、値引きした価格を表示する。

ＰＯＳは、ステップＳ２１２５において、客の支払を受けて、入金処理を行なう。そして、ステップＳ２１２７において、売上情報を店舗コンピュータに送信する。以下の処理は、図６に示した通りである。

（局所特徴量ＤＢにおける値引情報）
図２２は、本実施形態に係る局所特徴量ＤＢ６１０における値引情報の構成を示す図である。

局所特徴量ＤＢ６１０は、商品ＩＤに対応付けた局所特徴量を格納すると共に、値引情報６１０ａを登録する。値引情報６１０ａは、値引札に対応付けて、値引き率、値引き額、値引札の局所特徴量を記憶している。

《ＰＯＳの処理手順》
図２３は、本実施形態に係るＰＯＳの処理手順を示すフローチャートである。

まず、ステップＳ２３１１において、値引用情報を受信したか否かを判定する。また、ステップＳ２３２１において、局所特徴量を受信したか否かを判定する。また、入金データを受信したか否かを判定する。いずれでもなければ、ステップＳ２３４１において、他の処理を行なう。

値引用情報を受信した場合はステップＳ２３１３に進んで、局所特徴量ＤＢ６１０に値引情報を保持する。

局所特徴量を受信した場合はステップＳ２３２３に進んで、局所特徴量ＤＢ６１０を参照して、商品と値引札の認識処理を行なう。次に、ステップＳ２３２５において、認識商品について、商品価格ＤＢ６２０を参照して商品価格を判定する。ステップＳ２３２７においては、ステップＳ２３２５において判定した商品価格に対して、ステップＳ２３２３において値引札が認識されれば、値引計算を行なう。そして、ステップＳ２３２９において、価格表示を行なう。

入金データ受信であればステップＳ２３３３に進んで、入金処理を行なう。そして、店舗コンピュータ２０１ａに売上げの通知を行なう。

［第４実施形態］
次に、本発明の第４実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理は、上記第２実施形態と比べると、通信端末による商品認識を、商品に付加された識別子であるバーコードなどによる従来の商品識別の補助として使用する点で異なる。すなわち、本実施形態の局所特徴量による商品認識は、商品の方向などに関わらず認識が可能であるため、バーコードなどの位置を店員に通知することが可能になる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

本実施形態によれば、店員がバーコードなどの位置を探すことがないため、迅速な処理が可能となる。

《本実施形態の動作手順》
図２４は、本実施形態に係る情報処理システム２４００における動作手順を示すシーケンス図である。なお、必要であれば、管理サーバ２５０あるいは店舗コンピュータからＰＯＳあるいは通信端末にアプリケーションのダウンロードを行なうが、図２４では削除している（図６参照）。

ステップＳ２４０１においては、本実施形態の処理のために、アプリケーションを起動して初期化する。ステップＳ２４０３において、通信端末は、レジで１つおよび複数の商品、あるいはかごに入った商品群を撮影する。ステップＳ２４０５において、映像から局所特徴量を生成する。なお、棚卸し／棚割調査で説明したように、個々の商品とかごの中の複数商品の認識では、特徴点数や特徴ベクトルの次元数などを調整して、精度を変えた局所特徴量が生成される。続いて、ステップＳ２４０７において局所特徴量を特徴点座標と共に符号化する。符号化された局所特徴量は、ステップＳ２４０９において、通信端末からＰＯＳに送信される。

ＰＯＳでは、ステップＳ２４１１において、各商品に対して生成され記憶されたＰＯＳの局所特徴量ＤＢ６１０を参照して、商品の認識を行なう。同時に、ステップＳ２４１３において、商品の向きを認識する。図１１Ｈ〜図１１Ｋでも示したように、本実施形態においては、商品の向きが認識可能である。なお、１つの商品のみではなく複数の商品についてもリアルタイムに商品の向きの認識が可能である。そして、ステップＳ２４１５において、商品の向きからあらかじめバーコードが配置された位置を参照して、特に、店員から見えない場合に、バーコードがどこに在るかを認識する。ステップＳ２４１７において、その結果の、商品の向きやバーコード位置の情報が、認識商品面と共に、通信端末に送信される。

通信端末は、ステップＳ２４１９において、認識結果を報知する。見えないバーコードが何処にあるかを報知する。

店員がバーコードを見付けて、バーコードリーダがステップＳ２４２１においてバーコードを読み取ると、ステップＳ２４２３において、バーコードリーダからＰＯＳにバーコードデータが送られて、商品と認識が行なわれる。

なお、図２４においては、ＰＯＳでの向きの認識を示したが、例えば、出荷処理や入庫処理においては、店舗コンピュータや管理サーバで行なうこともできる。

《通信端末の機能構成》
図２５は、本実施形態に係る通信端末２５１１，２５２１，２５３１，２５４１の機能構成を示すブロック図である。なお、本実施形態では、第２実施形態の図７にバーコードリーダに関連する機能を追加したものであり、図７と同様の機能構成部には同じ参照番号を符し、説明は省略する。

図２５において、通信制御部７０４を介して商品認識結果受信部２５０５で受信される商品認識結果は、商品名のみではなく、商品の向きとバーコードのある位置を示す情報を含んでいる。認識結果報知部２５０６は、商品の向きとバーコードのある位置を示す情報をユーザに報知する。バーコードのある位置を示す情報は、表示や音声によるコメントであっても、画像情報による通知であってもよい。バーコードリーダ部２５０７は、従来の機能構成部であり、認識結果報知部２５０６の指示に従って読み取ったバーコード情報を、通信制御部７０４を介して送信する。

［第５実施形態］
次に、本発明の第５実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態と比べると、ユーザが携帯端末で商品を撮像した場合に、その映像中の商品からアンケートを募集する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については説明を省略する。

本実施形態によれば、ユーザの商品あるいは店舗に対する関心と共に、商品のメーカにとっては宣伝効果を高めることができる。

なお、本実施形態においては、サプライヤ側の端末を通信端末と呼んできたが、ユーザ側の端末を区別するため携帯端末と呼ぶ。

《本実施形態に係る処理》
図２６は、本実施形態に係る情報処理システムの処理を示す図である。

図２６の左図は、携帯端末２８０１で店舗内の食品棚２８０４を撮像して、表示画面２８０２に表示したものである。商品棚には、ペットボトルや紙パックが陳列されている。この中で、紙パック２８０３が、アンケートを知らせる商品として登録されているとする。

図２６の右図は、その紙パック２８０３に対応して、“旅行券が当たるアンケートに参加、（する／しない）”とのメッセージ２８０５が表示されている。

（アンケートＤＢ）
図２７は、本実施形態に係るアンケートＤＢの構成を示す図である。

図２７において、アンケートＤＢ０１は、商品ＩＤと商品名に対応付けて、アンケート画面や、アンケート回答の蓄積データ、アンケート期間が記憶されている。

また、アンケートＤＢ２７０２には、アンケート回答したユーザＩＤとユーザ名に対応付けて、メールアドレスや、何の商品でアンケートしたかの商品ＩＤ、その商品名、プレゼント（図２６では旅行券）の当否が記憶されている。

《管理コンピュータの処理手順》
図２８は、本実施形態に係る管理コンピュータの処理手順を示すフローチャートである。

まず、ステップＳ２８１１において、局所特徴量を携帯端末から受信したかを判定する。局所特徴量を受信したならばステップＳ２８１３に進んで、映像中の商品を認識する。ステップＳ２８１５においては、商品中のアンケート商品があるか否かを判定する。アンケート商品があればステップＳ２８１７において、アンケート通知画面を携帯端末に送る。

一方、局所特徴量の受信でなければステップＳ２８１９に進んで、ユーザからのアンケート参加回答を受信したかを判定する。アンケート参加回答であればステップＳ２８２１において、アンケート内容画面を送信する。

局所特徴量の受信でもアンケート参加回答の受信でもなければ、ステップＳ２８２３において、他の処理を行なう。

［第６実施形態］
次に、本発明の第６実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態と比べると、通信端末（携帯端末）において、局所特徴量ＤＢを有して商品認識を行なう点で異なる。その他の通信端末の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

本実施形態によれば、通信障害などに関係なく商品認識が行なえる。

《通信端末の機能構成》
図２９は、本実施形態に係る情報処理システムにおける通信端末の機能構成を示すブロック図である。なお、図２９の通信端末の構成において、第２実施形態んも図７との相違点は、商品認識を行なう構成であり、他の機能構成部は同様であるので、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

局所特徴量ＤＢ２９０１は、図１０と同ような構成の商品と局所特徴量を対応付けて記憶する。なお、通信端末の処理速度や記憶容量などの制限がある場合に、局所特徴量ＤＢ２９０１には、特定の分野の局所特徴量や所望の商品関連の局所特徴量のみを記憶してもよい。商品認識部２９０３は、映像から局所特徴量生成した局所特徴量と局所特徴量ＤＢ２９０１からの局所特徴量とを照合して、商品を認識する。商品認識結果送信部２９０４は、通信端末で認識した商品名などを通信制御部７０４を介して外部に送信する。

［第７実施形態］
次に、本発明の第７実施形態に係る情報処理システムについて説明する。本実施形態に係る上記第２実施形態乃至第６実施形態を、図書館に適用したものである。

図３０は、本実施形態に係る情報処理システム３０００の構成を示すブロック図である。第２実施形態の図２に示したのと同様の処理が、図書館における本の管理においても適用可能である。

図３０には、ネットワーク３０６０を介して管理サーバ３０５０と接続された図書館３００１のコンピュータ３００１ａが図示されている。図２と同様に本の入庫処理３０２０においては、通信端末３０２１による撮像により本を認識する。また、在庫管理処理３０３０では、通信端末３０３１による撮像により棚と本を認識する。また、貸出／返却処理３０４０では、通信端末３０４１による撮像により本を認識する。

［第８実施形態］
次に、本発明の第８実施形態に係る情報処理システムについて説明する。本実施形態に係る上記第２実施形態乃至第６実施形態を、美術館や博物館に適用したものである。

図３１は、本実施形態に係る情報処理システム３１００の構成を示すブロック図である。第２実施形態の図２に示したのと同様の処理が、美術館や博物館における絵画や彫刻、あるいは文化遺産などの展示物の管理においても適用可能である。

図３１には、美術館や博物館３１０１のコンピュータ３１０１ａが図示されている。図２と同様に本の入庫処理３１２０においては、通信端末３１２１による撮像により絵画などの美術品を認識する。また、在庫管理処理３１３０では、通信端末３１３１による撮像により絵画などを認識する。また、解説処理３１４０では、通信端末３１４１による撮像により撮像した絵画などの説明を聞くことができる。

［他の実施形態］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。

この出願は、２０１１年１２月１６日に出願された日本出願特願２０１１−２７６５２２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
商品と、前記商品の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
撮像手段と、
前記撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記商品が存在すると認識する認識手段と、
を備えることを特徴とする情報処理システム。
（付記２）
前記認識手段の認識結果を報知する報知手段をさらに備えることを特徴とする付記１に記載の情報処理システム。
（付記３）
前記情報処理システムは、ユーザが携帯する通信端末と、前記通信端末と通信する情報処理装置とを有し、
前記通信端末が、前記撮像手段と前記第２局所特徴量生成手段と前記報知手段とを含んで、前記ｍ個の第２局所特徴量を前記通信端末から前記情報処理装置へ送信し、
前記情報処理装置が、前記第１局所特徴量記憶手段と前記認識手段とを含んで、前記認識手段の認識結果を前記情報処理装置から前記通信端末へ送信することを特徴とする付記２に記載の情報処理システム。
（付記４）
前記第１局所特徴量記憶手段は、複数の商品にそれぞれ対応付けて各商品の画像から生成した前記ｍ個の第１局所特徴量を記憶し、
前記認識手段は、前記撮像手段が撮像した前記画像に含まれる複数の商品を認識すると共に、前記ｎ個の第２局所特徴量のならびに基づいて、前記撮像手段が撮像した前記画像における前記複数の商品の配置を認識する配置認識手段を有することを特徴とする付記１乃至３のいずれか１つに記載の情報処理システム。
（付記５）
前記配置認識手段が認識した前記複数の商品の配置に基づいて、棚卸しまたは棚割を行なう第１管理手段を備えることを特徴とする付記４に記載の情報処理システム。
（付記６）
前記商品の画像は、複数の商品を含む梱包容器の画像を含み、
前記認識手段は、前記梱包容器を認識することを特徴とする付記１乃至４のいずれか１つに記載の情報処理システム。
（付記７）
前記認識手段による前記梱包容器の認識に基づいて、前記商品の流通管理または在庫管理を行なう第２管理手段を備えることを特徴とする付記６に記載の情報処理システム。
（付記８）
前記第１局所特徴量および前記第２局所特徴量は、画像から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数の次元の特徴ベクトルを生成することにより生成されることを特徴とする付記１乃至７のいずれか１つに記載の情報処理システム。
（付記９）
前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数の次元の特徴ベクトルから、隣接するサブ領域間の相関がより大きな次元を削除することにより生成されることを特徴とする付記８に記載の情報処理システム。
（付記１０）
前記特徴ベクトルの複数の次元は、前記特徴点の特徴に寄与する次元から順に、かつ、前記局所特徴量に対して求められる精度の向上に応じて第１次元から順に選択できるよう、所定の次元数ごとに前記局所領域をひと回りするよう配列することを特徴とする付記８または９に記載の情報処理システム。
（付記１１）
前記第２局所特徴量生成手段は、前記商品の相関に対応して、他の商品とより高い前記相関を有する商品については次元数のより多い前記第２局所特徴量を生成することを特徴とする付記１０に記載の情報処理システム。
（付記１２）
前記第１局所特徴量記憶手段は、前記商品の相関に対応して、他の商品とより高い前記相関を有する商品については次元数のより多い前記第１局所特徴量を記憶することを特徴とする付記１０または１１に記載の情報処理システム。
（付記１３）
前記商品に付加された識別子を読み取ることにより前記商品を識別する識別手段を、さらに備え、
前記認識手段は、認識した前記商品の方向を判定して、前記方向に基づいて前記商品に付加した前記識別子の位置を認識することを特徴とする付記１乃至１２のいずれか１つに記載の情報処理システム。
（付記１４）
前記商品は、図書館における本であることを特徴とする付記１乃至１３のいずれか１つに記載の情報処理システム。
（付記１５）
前記商品は、美術館における美術品であることを特徴とする付記１乃至１３のいずれか１つに記載の情報処理システム。
（付記１６）
前記商品は、博物館における展示物であることを特徴とする付記１乃至１３のいずれか１つに記載の情報処理システム。
（付記１７）
付記３に記載の情報処理システムにおける通信端末であって、
撮像手段と、
前記撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる商品を認識する情報処理装置に送信する第１送信手段と、
前記情報処理装置からが撮像した前記画像に含まれる商品を示す情報を受信する第１受信手段と、
を備えることを特徴とする通信端末。
（付記１８）
付記３に記載の情報処理システムにおける通信端末の制御方法であって、
撮像ステップと、
前記撮像ステップにおいて撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる商品を認識する情報処理装置に送信する第１送信ステップと、
前記情報処理装置からが撮像した前記画像に含まれる商品を示す情報を受信する第１受信ステップと、
を含むことを特徴とする通信端末の制御方法。
（付記１９）
付記３に記載の情報処理システムにおける通信端末の制御プログラムであって、
撮像ステップと、
前記撮像ステップにおいて撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる商品を認識する情報処理装置に送信する第１送信ステップと、
前記情報処理装置からが撮像した前記画像に含まれる商品を示す情報を受信する第１受信ステップと、
をコンピュータに実行させることを特徴とする制御プログラム。
（付記２０）
付記３に記載の情報処理システムにおける、商品と、前記商品の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置であって、
通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信手段と、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記商品が存在すると認識する認識手段と、
認識した前記商品を示す情報を前記通信端末に送信する第２送信手段と、
を備えることを特徴とする情報処理装置。
（付記２１）
付記３に記載の情報処理システムにおける、商品と、前記商品の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置の制御方法であって、
通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記商品が存在すると認識する認識ステップと、
認識した前記商品を示す情報を前記通信端末に送信する第２送信ステップと、
を含むことを特徴とする情報処理装置の制御方法。
（付記２２）
付記３に記載の情報処理システムにおける、商品と、前記商品の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置の制御プログラムであって、
通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記商品が存在すると認識する認識ステップと、
認識した前記商品を示す情報を前記通信端末に送信する第２送信ステップと、
をコンピュータに実行させることを特徴とする制御プログラム。
（付記２３）
商品と、前記商品の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理システムにおける情報処理方法であって、
撮像ステップと、
前記撮像ステップにおいて撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記商品が存在すると認識する認識ステップと、
を備えることを特徴とする情報処理方法。

Claims (18)

1. 商品と、前記商品の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段と、
   撮像手段と、
   前記撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
   前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記商品が存在すると認識する認識手段と、
   を備え、
   前記第１局所特徴量および前記第２局所特徴量は、画像から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数の次元の特徴ベクトルを生成することにより生成され、
   前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数の次元の特徴ベクトルから、隣接するサブ領域間の相関がより低くなるように次元を選定することにより生成されることを特徴とする情報処理システム。
2. 前記認識手段の認識結果を報知する報知手段をさらに備えることを特徴とする請求項１に記載の情報処理システム。
3. 前記情報処理システムは、ユーザが携帯する通信端末と、前記通信端末と通信する情報処理装置とを有し、
   前記通信端末が、前記撮像手段と前記第２局所特徴量生成手段と前記報知手段とを含んで、前記ｍ個の第２局所特徴量を前記通信端末から前記情報処理装置へ送信し、
   前記情報処理装置が、前記第１局所特徴量記憶手段と前記認識手段とを含んで、前記認識手段の認識結果を前記情報処理装置から前記通信端末へ送信することを特徴とする請求項２に記載の情報処理システム。
4. 前記第１局所特徴量記憶手段は、複数の商品にそれぞれ対応付けて各商品の画像から生成した前記ｍ個の第１局所特徴量を記憶し、
   前記認識手段は、前記撮像手段が撮像した前記画像に含まれる複数の商品を認識すると共に、前記ｎ個の第２局所特徴量のならびに基づいて、前記撮像手段が撮像した前記画像における前記複数の商品の配置を認識する配置認識手段を有することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
5. 前記配置認識手段が認識した前記複数の商品の配置に基づいて、棚卸しまたは棚割を行なう第１管理手段を備えることを特徴とする請求項４に記載の情報処理システム。
6. 前記商品の画像は、複数の商品を含む梱包容器の画像を含み、
   前記認識手段は、前記梱包容器を認識することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。
7. 前記認識手段による前記梱包容器の認識に基づいて、前記商品の流通管理または在庫管理を行なう第２管理手段を備えることを特徴とする請求項６に記載の情報処理システム。
8. 前記商品に付加された識別子を読み取ることにより前記商品を識別する識別手段を、さらに備え、
   前記認識手段は、認識した前記商品の方向を判定して、前記方向に基づいて前記商品に付加した前記識別子の位置を認識することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理システム。
9. 前記商品は、図書館における本であることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
10. 前記商品は、美術館における美術品であることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
11. 前記商品は、博物館における展示物であることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
12. 請求項３に記載の情報処理システムにおける通信端末であって、
    撮像手段と、
    前記撮像手段が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成手段と、
    前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる商品を認識する情報処理装置に送信する第１送信手段と、
    前記情報処理装置から、撮像した前記画像に含まれる商品を示す情報を受信する第１受信手段と、
    を備えることを特徴とする通信端末。
13. 請求項３に記載の情報処理システムにおける通信端末の制御方法であって、
    撮像ステップと、
    前記撮像ステップにおいて撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
    前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる商品を認識する情報処理装置に送信する第１送信ステップと、
    前記情報処理装置から、撮像した前記画像に含まれる商品を示す情報を受信する第１受信ステップと、
    を含むことを特徴とする通信端末の制御方法。
14. 請求項３に記載の情報処理システムにおける通信端末の制御プログラムであって、
    撮像ステップと、
    前記撮像ステップにおいて撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
    前記ｍ個の第２局所特徴量を、局所特徴量の照合に基づいて撮像した前記画像に含まれる商品を認識する情報処理装置に送信する第１送信ステップと、
    前記情報処理装置から、撮像した前記画像に含まれる商品を示す情報を受信する第１受信ステップと、
    をコンピュータに実行させることを特徴とする制御プログラム。
15. 請求項３に記載の情報処理システムにおける、商品と、前記商品の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置であって、
    通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信手段と、
    前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記商品が存在すると認識する認識手段と、
    認識した前記商品を示す情報を前記通信端末に送信する第２送信手段と、
    を備えることを特徴とする情報処理装置。
16. 請求項３に記載の情報処理システムにおける、商品と、前記商品の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置の制御方法であって、
    通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信ステップと、
    前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記商品が存在すると認識する認識ステップと、
    認識した前記商品を示す情報を前記通信端末に送信する第２送信ステップと、
    を含むことを特徴とする情報処理装置の制御方法。
17. 請求項３に記載の情報処理システムにおける、商品と、前記商品の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理装置の制御プログラムであって、
    通信端末が撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を、前記通信端末から受信する第２受信ステップと、
    前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記商品が存在すると認識する認識ステップと、
    認識した前記商品を示す情報を前記通信端末に送信する第２送信ステップと、
    をコンピュータに実行させることを特徴とする制御プログラム。
18. 商品と、前記商品の画像のｍ個の特徴点のそれぞれを含むｍ個の局所領域のそれぞれについて生成された、それぞれ１次元からｉ次元までの特徴ベクトルからなるｍ個の第１局所特徴量とを、対応付けて記憶する第１局所特徴量記憶手段を備えた情報処理システムにおける情報処理方法であって、
    撮像ステップと、
    前記撮像ステップにおいて撮像した映像中の画像からｎ個の特徴点を抽出し、前記ｎ個の特徴点のそれぞれを含むｎ個の局所領域について、それぞれ１次元からｊ次元までの特徴ベクトルからなるｎ個の第２局所特徴量を生成する第２局所特徴量生成ステップと、
    前記第１局所特徴量の特徴ベクトルの次元数ｉおよび前記第２局所特徴量の特徴ベクトルの次元数ｊのうち、より少ない次元数を選択し、選択された前記次元数までの特徴ベクトルからなる前記ｎ個の第２局所特徴量に、選択された前記次元数までの特徴ベクトルからなる前記ｍ個の第１局所特徴量の所定割合以上が対応すると判定した場合に、前記映像中の前記画像に前記商品が存在すると認識する認識ステップと、
    を備え、
    前記第１局所特徴量および前記第２局所特徴量は、画像から抽出した特徴点を含む局所領域を複数のサブ領域に分割し、前記複数のサブ領域内の勾配方向のヒストグラムからなる複数の次元の特徴ベクトルを生成することにより生成され、
    前記第１局所特徴量および前記第２局所特徴量は、前記生成した複数の次元の特徴ベクトルから、隣接するサブ領域間の相関がより低くなるように次元を選定することにより生成されることを特徴とする情報処理方法。

Images