JP6048741B2 - 物品管理システム、物品管理方法、情報処理装置およびその制御方法と制御プログラム - Google Patents

Description

本発明は、陳列された物品を管理する技術に関する。

上記技術分野において、特許文献１には、複数のカメラを移動させながら商品陳列棚に陳列された商品を撮影して、その商品の輪郭特徴データから個別商品の数量を計数する技術が開示されている。また、特許文献２には、ＲＦＩＤリーダからの呼掛信号への応答信号のＲＦエネルギー量から物品の有無を判断する技術が開示されている。

特開２００１−０８８９１２号公報 特表２０１０−５０４５９８号公報

しかしながら、上記特許文献１に記載の技術では、高価なカメラを複数使用する上に、カメラの移動を制御する必要がある。そして、奥行き方向に複数商品が陳列されて、商品が隠れたり一部しか見えなかったりする場合には、商品を識別することが困難となる。一方、上記特許文献２に記載の技術では、物品の有無は判断できるが、既知の物品でなければその物品の種類を特定できない上に、物品を積み重ねる場合には陳列数を確認できない。

本発明の目的は、上述の課題を解決する技術を提供することにある。

上記目的を達成するため、本発明に係る情報処理装置は、
同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサから、前記物品列に含まれる物品の有無情報を受信する物品有無情報受信手段と、
撮像手段が前記陳列棚の前面を撮影することにより取得した物品画像に基づいて、前記陳列棚に載置された物品列の先頭の物品の種類を識別する物品識別手段と、
識別された前記物品の載置された位置に対応付けて、前記物品の積み重ね数を判定する物品積み重ね数判定手段と、
前記物品の積み重ね数を考慮し、前記物品有無情報受信手段が受信した有無情報と前記物品識別手段により得られた物品識別情報とを紐付けて、前記物品がいくつ陳列されているかを認識する陳列数認識手段と、
を備える。

上記目的を達成するため、本発明に係る情報処理装置の制御方法は、
同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサから、前記物品列に含まれる物品の有無情報を受信する物品有無情報受信ステップと、
撮像手段が前記陳列棚の前面を撮影することにより取得した物品画像に基づいて、前記陳列棚に載置された物品列の先頭の物品の種類を識別する物品識別ステップと、
識別された前記物品の載置された位置に対応付けて、前記物品の積み重ね数を判定する物品積み重ね数判定ステップと、
前記物品の積み重ね数を考慮し、前記物品有無情報受信ステップにおいて受信した有無情報と前記物品識別ステップにおいて得られた物品識別情報とを紐付けて、前記物品がいくつ陳列されているかを認識する陳列数認識ステップと、
を含む。

上記目的を達成するため、本発明に係る情報処理装置の制御プログラムは、
同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサから、前記物品列に含まれる物品の有無情報を受信する物品有無情報受信ステップと、
撮像手段が前記陳列棚の前面を撮影することにより取得した物品画像に基づいて、前記陳列棚に載置された物品列の先頭の物品の種類を識別する物品識別ステップと、
識別された前記物品の載置された位置に対応付けて、前記物品の積み重ね数を判定する物品積み重ね数判定ステップと、
前記物品の積み重ね数を考慮し、前記物品有無情報受信ステップにおいて受信した有無情報と前記物品識別ステップにおいて得られた物品識別情報とを紐付けて、前記物品がいくつ陳列されているかを認識する陳列数認識ステップと、
をコンピュータに実行させる。

上記目的を達成するため、本発明に係る物品管理システムは、
物品が陳列棚に配置されているか否かを検出センサ群により検出する物品検出手段と、
前記物品の種類を撮影した前記陳列棚の画像から識別する物品識別手段と、
識別された前記物品の載置された位置に対応付けて、前記物品の積み重ね数を判定する物品積み重ね数判定手段と、
前記物品の積み重ね数を考慮し、前記物品検出手段による検出結果と前記物品識別手段による識別結果との紐付けに基づいて、前記陳列棚の何処にどの物品がどれだけ配置されているかを認識する陳列数認識手段と、
を備える。

上記目的を達成するため、本発明に係る物品管理方法は、
物品が陳列棚に配置されているか否かを検出センサ群により検出する物品検出ステップと、
物品識別手段が、前記物品の種類を撮影した前記陳列棚の画像から識別する物品識別ステップと、
物品積み重ね数判定手段が、識別された前記物品の載置された位置に対応付けて、前記物品の積み重ね数を判定する物品積み重ね数判定ステップと、
前記物品の積み重ね数を考慮し、陳列数認識手段が、前記物品検出ステップにおける検出結果と前記物品識別ステップにおける識別結果との紐付けに基づいて、前記陳列棚の何処にどの物品がどれだけ配置されているかを認識するは陳列数認識ステップと、
を含む。

本発明によれば、陳列棚に奥行き方向に積み重ねて陳列された物品の陳列数を計数することができる。

本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置を含む物品管理システムの概要を示す図である。 本発明の第２実施形態に係る情報処理装置の処理の概要を示す図である。 本発明の第２実施形態に係る情報処理装置の処理の概要を示す図である。 本発明の第２実施形態に係る情報処理装置を含む物品管理システムの動作手順を示すシーケンス図である。 本発明の第２実施形態に係る情報処理装置の機能構成を示すブロック図である。 本発明の第２実施形態に係る物品積み重ね数判定部の機能構成を示すブロック図である。 本発明の第２実施形態に係る局所特徴量データベースの構成を示す図である。 本発明の第２実施形態に係る棚割データベースの構成を示す図である。 本発明の第２実施形態に係る変化前の物品陳列数の生成を説明する図である。 本発明の第２実施形態に係る変化後の物品陳列数の生成を説明する図である。 本発明の第２実施形態に係る棚割と陳列数テーブルの構成を示す図である。 本発明の第２実施形態に係る物品識別部の構成を示すブロック図である。 本発明の第２実施形態に係る図６Ａの物品識別部における領域分割部の構成を示すブロック図である。 本発明の第２実施形態に係る物品識別部の他の構成を示すブロック図である。 本発明の第２実施形態に係る図６Ｃの物品識別部における領域分割部の構成を示すブロック図である。 本発明の第２実施形態に係る物品識別部のさらに他の構成を示すブロック図である。 本発明の第２実施形態に係る図６Ｅの物品識別部における領域分割部の構成を示すブロック図である。 本発明の第２実施形態に係る図６Ｅの物品識別部における領域分割部の他の構成を示すブロック図である。 本発明の第２実施形態に係る局所特徴量生成部の構成を示すブロック図である。 本発明の第２実施形態に係る局所特徴量生成の手順を説明する図である。 本発明の第２実施形態に係る局所特徴量生成の手順を説明する図である。 本発明の第２実施形態に係る局所特徴量生成部でのサブ領域の選択順位を示す図である。 本発明の第２実施形態に係る局所特徴量生成部での特徴ベクトルの選択順位を示す図である。 本発明の第２実施形態に係る局所特徴量生成部での特徴ベクトルの階層化を示す図である。 本発明の第２実施形態に係る物品配列生成部の構成を示すブロック図である。 本発明の第２実施形態に係る物品有無データ取得の動作手順を示すシーケンス図である。 本発明の第２実施形態に係る物品有無データ取得時の通信手順を示すシーケンス図である。 本発明の第２実施形態に係る棚割データベースの構成を示す図である。 本発明の第２実施形態に係る棚割データベースの他の構成を示す図である。 本発明の第２実施形態に係る物品有無センサの構成を示す図である。 本発明の第２実施形態に係る物品有無センサにおけるリーダアンテナの構成を示す図である。 本発明の第２実施形態に係る物品有無センサにおける物品の配置を示す図である。 本発明の第２実施形態に係る物品有無センサにおけるＲＦＩＤタグの構成を示す図である。 本発明の第２実施形態に係る物品有無センサにおける位置関係を示す図である。 本発明の第２実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置の処理結果の出力を示す図である。 本発明の第２実施形態に係る情報処理装置の処理手順を示すフローチャートである。 本発明の第２実施形態に係る棚表面物品配列の認識処理の手順を示すフローチャートである。 本発明の第２実施形態に係る物品積み重ね判定処理の手順を示すフローチャートである。 本発明の第２実施形態に係る物品有無検出処理の手順を示すフローチャートである。 本発明の第２実施形態に係る物品配置および陳列数確定処理の手順を示すフローチャートである。 本発明の第３実施形態に係る情報処理装置を含む物品管理システムの概要を示す図である。 本発明の第３実施形態に係る情報処理装置を含む物品管理システムの動作手順を示すシーケンス図である。 本発明の第３実施形態に係る情報処理装置の機能構成を示すブロック図である。 本発明の第３実施形態に係る物品有無センサを説明する図である。 本発明の第３実施形態に係るＲＦＩＤリーダの積み重ね数判定を説明する図である。 本発明の第３実施形態に係る物品積み重ね列による照合を説明する図である。 本発明の第３実施形態に係る情報処理装置の処理手順を示すフローチャートである。 本発明の第３実施形態に係る積み重ね列の照合処理の手順を示すフローチャートである。 本発明の第４実施形態に係る情報処理装置の処理の概要を示す図である。 本発明の第４実施形態に係る情報処理装置の処理の概要を示す図である。 本発明の第４実施形態に係る情報処理装置を含む物品管理システムの動作手順を示すシーケンス図である。 本発明の第４実施形態に係る棚割データベースの構成を示す図である。 本発明の第４実施形態に係る変化前の物品陳列数の生成を説明する図である。 本発明の第４実施形態に係る変化後の物品陳列数の生成を説明する図である。 本発明の第４実施形態に係る棚割と陳列数テーブルの構成を示す図である。 本発明の第４実施形態に係る情報処理装置の処理手順を示すフローチャートである。 本発明の第４実施形態に係る積み重ね列の照合処理の手順を示すフローチャートである。

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、陳列された物品を管理する装置である。

図１に示すように、情報処理装置１００は、物品有無情報受信部１０１と、物品識別部１０３と、物品積み重ね数判定部１０５と、陳列数認識部１０４と、を含む。物品有無情報受信部１０１は、同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚１１０上に設けられた物品有無センサ１２０から、物品列に含まれる物品の有無情報を受信する。物品識別部１０３は、撮像部１３０が陳列棚１１０の前面を撮影することにより取得した物品画像に基づいて、陳列棚１１０に載置された物品列の先頭の物品の種類を識別する。物品積み重ね数判定部１０５は、識別された物品の載置された位置に対応付けて、物品の積み重ね数を判定する。陳列数認識部１０４は、物品の積み重ね数を考慮し、物品有無情報受信部１０１が受信した有無情報と物品識別部１０３により得られた物品識別情報とを紐付けて、物品がいくつ陳列されているかを認識する。

本実施形態によれば、各物品の積み重ね数を判定できるので、陳列棚に奥行き方向に積み重ねて陳列された物品の陳列数を計数することができる。

［第２実施形態］
次に、本発明の第２実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態においては、撮影した画像から局所特徴量に基づいて物品を識別すると共に、各物品の積み重ね数を判定し、物品陳列棚に設置された物品有無センサからの物品有無情報と紐付ける。これにより、陳列棚に奥行き方向に積み重ねて陳列された複数種類の大量の物品を種類ごとに高速に計数する。

《物品管理システム》
図２Ａ〜図３を参照して、本実施形態の物品管理システム２００の構成および動作について説明する。

（システム概要）
図２Ａは、本実施形態に係る情報処理装置２１０を含む物品管理システム２００の概要を示す図である。図２Ａにおいては、商店における物品陳列棚を例に説明するが、これに限定されない。奥行き方向に複数の物品が配置される陳列棚であればよい。

物品管理システム２００は、情報処理装置２１０と、カメラである撮像部２２０と、物品有無センサ２３０とを有する。撮像部２２０は、陳列棚２０１、２０２の最前列の画像を撮影する。一方、各陳列棚２０１、２０２の各段の底に配置された物品有無センサ２３０は、各々がその上の物品有無を判定する。

情報処理装置２１０は、物品識別部２１１と、物品有無情報受信部２１２と、陳列数認識部２１３と、物品積み重ね数判定部２１４と、を有する。物品識別部２１１は、撮像部２２０から陳列棚２０１、２０２の最前列の画像を受けて、陳列されている物品種別とその配列を識別する。なお、物品識別部２１１は、物品の種別やメーカ、物品名までを識別する。最前列の画像は、物品識別部２１１で生成する最前列の画像の局所特徴量を用いて、現在の物品の積み重ね数を判定する。物品有無情報受信部２１２は、物品有無センサ２３０からの物品有無情報を受信する。陳列数認識部２１３は、物品識別部２１１からの陳列棚２０１、２０２の最前列の物品配列と、物品有無情報受信部２１２からの有無情報とを紐付け、さらに、最前列の画像からの各物品の積み重ね数を考慮して、各物品の陳列棚２０１、２０２の陳列数を認識する。

情報処理装置２１０が認識した各物品の陳列数は、例えば、表示部２１５から表示されることにより、陳列棚２０１、２０２の在庫管理が可能となり、店員は、陳列数量が少ない物品を補充することができる。

（処理概要）
図２Ｂおよび図２Ｃは、本実施形態に係る情報処理装置２１０の処理の概要を示す図である。図２Ｂは陳列変更前と後との陳列棚の状態を斜視図で示し、図２Ｃは陳列変更前と後との物品認識状態を示す図である。

図２Ｂにおいて、例えば、陳列変更前（客の購入前）２２０においては、３つの各列に対して、１２個（奥行４列×３段重ね）、６個（奥行３列×２段重ね）、３個（奥行３列×１段）が載置されている。これが、例えば、陳列変更後（客の購入後）２３０においては、３つの各列に対して、９個（奥行３列×３段重ね）、４個（奥行２列×２段重ね）、２個（奥行２列×１段）が載置されている。

図２Ｃは、図２の陳列変更前（客の購入前）２２０と陳列変更後（客の購入後）２３０とに対応する、物品有無センサの有無情報と、画像認識に基づく物品の種類および積み重ね数とである。陳列変更前（客の購入前）２２０においては、３つの各列に対して、物品有無センサの有無情報は奥行４列、３列、３列であり、画像認識に基づく積み重ね数は３段、２段、２段である。陳列変更後（客の購入後）２３０においては、３つの各列に対して、物品有無センサの有無情報は奥行３列、２列、２列であり、画像認識に基づく積み重ね数は３段、２段、１段である。これらの検出情報と識別情報とを紐付けて、図２Ｂに示した各物品の陳列数が認識できる。

（動作手順）
図３は、本実施形態に係る情報処理装置２１０を含む物品管理システム２００の動作手順を示すシーケンス図である。

撮像部２２０は、ステップＳ３０１において、陳列棚の前面画像を取得して、ステップＳ３０３において、前面画像を情報処理装置２１０に送信する。一方、検出センサ群からなる物品有無センサ２３０は、ステップＳ３０５において、各センサ上の物品有無を検出して、ステップＳ３０７において、物品有無情報を情報処理装置２１０に送信する。

情報処理装置２１０は、ステップＳ３０９において、陳列棚の前面画像に基づく個々の物品識別を行なう。次に、情報処理装置２１０は、ステップＳ３１０において、上記個々の物品識別処理の過程において生成される物品の位置座標に基づいて、各物品の積み重ね数を判定する。次に、情報処理装置２１０は、ステップＳ３１１において、物品指示別情報と物品有無センサからの物品有無情報とを紐付けて、陳列棚上の物品有無センサの位置を特定する。そして、情報処理装置２１０は、ステップＳ３１３において、各物品の積み重ね数を考慮して、識別された物品の位置と奥行き方向の個数を特定する。これにより、陳列棚上の各物品の積み重ね数を考慮した陳列数が計数される。情報処理装置２１０は、ステップＳ３１５において、陳列棚上の各物品の陳列数に基づく在庫管理処理を行なう。なお、かかる在庫管理処理は限定されない。

《情報処理装置の機能構成》
図４Ａは、本実施形態に係る情報処理装置２１０の機能構成を示すブロック図である。

情報処理装置２１０は、ネットワークあるいはＬＡＮを介して通信する通信制御部４０１を有する。画像受信部４０２は、通信制御部４０１を介して、撮像部２２０が撮影した陳列棚前面の画像を受信する。物品識別部２１１は、局所特徴量データベース４０３に格納されている物品画像から生成された局所特徴量と、陳列棚前面の画像から生成された局所特徴量とを照合して、陳列棚前面の画像内の合致する物品を識別する。物品積み重ね数判定部２１４は、物品識別部２１１の物品識別過程および結果における物品と位置座標とに基づいて、各物品の積み重ね数を判定する。一方、物品有無情報受信部２１２は、通信制御部４０１を介して、物品有無センサ２３０から物品有無情報を受信する。

物品配列生成部４０７は、棚割記憶部としての棚割データベース４０６に格納されている陳列棚内の物品有無センサ２３０の配置情報を参照して、物品有無情報から陳列棚の物品配列を示す物品有無配列テーブルを生成する。棚割陳列数算出部４０８は、物品識別部２１１が識別した物品識別情報および物品積み重ね数判定部２１４が判定した積み重ね数と、物品配列生成部４０７が生成した物品有無情報とを紐付けて、陳列棚の棚割を確定すると共に、陳列棚上の陳列数を算出する。陳列数は、同じ物品識別情報を有する物品列に紐付いた物品有数を積算し、積み重ね数を考慮することで算出される。物品配列生成部４０７と、棚割データベース４０６と、棚割陳列数算出部４０８とが、陳列数認識部２１３として機能する。

店頭在庫管理部４１０は、棚割陳列数算出部４０８からの陳列数に基づいて、店の在庫情報を保持する在庫管理データベース４０９を参照し、陳列棚のように店頭に陳列する物品の在庫管理処理を行なう。在庫管理の結果は、ディスプレイなどの表示部２１５に表示されたり、表示情報送信部４１１から通信制御部４０１を介して外部に通知されたりする。また、操作部から、あるいは通信制御部４０１を介して操作情報受信部４１２で受信した操作指示に従って各機能部が動作する。

（物品積み重ね数判定部）
図４Ｂは、本実施形態に係る物品積み重ね数判定部２１４の機能構成を示すブロック図である。

物品積み重ね数判定部２１４は、物品識別子取得部４２１と、物品位置座標取得部４２２と、同列物品ソート部４２３と、積み重ね数検出部４２４と、有する。物品識別子取得部４２１は、物品識別部２１１から識別された物品ＩＤを取得する。物品位置座標取得部４２２は、物品識別子取得部４２１が取得した物品ＩＤが示す物品の位置座標を取得する。かかる位置座標は、物品識別部２１１における物品識別処理の過程で生成できる。

同列物品ソート部４２３は、位置座標を考慮して、同じ陳列棚の同じ同列物品ソート部４２３段および列にある同じ物品ＩＤを有する物品をソートする。積み重ね数検出部４２４は、同列物品ソート部４２３のソート結果から各物品列における前面の積み重ね数を検出する。

（局所特徴量データベース）
図５Ａは、本実施形態に係る局所特徴量データベース４０３の構成を示す図である。局所特徴量データベース４０３は、各物品の画像から生成された局所特徴量を格納して、入力画像から生成された局所特徴量と比較して物品を識別するために使用される。なお、局所特徴量データベース４０３の構成は図５Ａに限定されない。

局所特徴量データベース４０３は、物品ＩＤ５１１に対応付けて、物品名／種別５１２と、物品から生成された局所特徴量群５１３とを格納する。

（棚割データベース）
図５Ｂは、本実施形態に係る棚割データベース４０６ａの構成を示す図である。棚割データベース４０６ａは、図４の棚割データベース４０６の一部分を表わしており、陳列棚に配置された物品有無センサの陳列棚内の位置を格納して、陳列棚の最前列の物品配列と、物品有無センサからの物品有無情報とを紐付けるために使用される。また、棚割データベース４０６ａは、各物品の積み重ね数を格納するが、本例では初期値は不明であるとする。なお、棚割データベース４０６ａは、物品有無センサが陳列棚上の位置に対応付く情報であれば、構成は図５Ｂに限定されない。また、図５Ｂの棚割データベース４０６ａに記載の数値は、図２Ｂあるいは図２Ｃに対応する一例である。

棚割データベース４０６ａは、陳列棚の棚ＩＤ５２１に対応つけて、棚位置５２２と複数の段５２３とを記憶する。各段５２３に対応付けて、総列数５２４を記憶する。各段５２３には、複数の列５２５と各列の積み重ね数５２６とを記憶する。また、各段５２３には、その段に配置された複数の物品有無検出シートのシートＩＤ５２７と、各シートＩＤ５２７に対応付けてシート種別５２８を記憶する。ここで、物品有無検出シートとは、少なくとも１つの列と、各列に複数の奥行数の物品有無センサが配列されたシートである（図９Ａ〜図９Ｅ参照）。シート種別５２８は、シート上にあるセンサの列数、列幅、奥行数、奥行幅、物品有無検出用のセンサ数を含む。そして、各段５２３に対応付けて、各段の陳列されている物品総数５２９を記憶する。

（物品配列テーブル）
図５Ｃおよび図５Ｄは、本実施形態に係る変化前の物品陳列数の生成を説明する図である。図５Ｃは、本実施形態に係る変化前の物品陳列数の生成を説明する図である。図５Ｄは、本実施形態に係る変化後の物品陳列数の生成を説明する図である。なお、図５Ｃおよび図５Ｃに記載の数値は、図２Ｂあるいは図２Ｃに対応する一例である。

図５Ｃは、図２Ｂおよび図２Ｃの陳列変更前（客の購入前）２２０の物品陳列数の生成を説明している。

物品識別部２１１が識別した物品識別情報５３０としては、各物品ＩＤ５３１と、物品名／物品種別５３２と、物品中心座標５３３と、が含まれる。そして、物品ＩＤ５３１と物品中心座標５３３とによる同列のソートにより、各物品ＩＤ５３５と列５３６とに対応して、認識された積み重ね数５３７が生成される。

一方、物品有無センサからの受信情報からの物品配列情報５４０としては、シートＩＤ５４１と、列５４２、物品有りの検出数５４３と、物品配置５４４と、が含まれる。

各列の上記前面積み重ね数５３７と検出数５４３とから、物品陳列数情報５５０として、物品ＩＤ５５１と列５５２とに対応する陳列数５５５が算出される。

図５Ｄは、図２Ｂおよび図２Ｃの陳列変更後（客の購入後）２３０の物品陳列数の生成を説明している。

物品識別部２１１が識別した物品識別情報５６０としては、各物品ＩＤ５６１と、物品名／物品種別５６２と、物品中心座標５６３と、が含まれる。そして、物品ＩＤ５６１と物品中心座標５６３とによる同列のソートにより、各物品ＩＤ５６５と列５６６とに対応して、認識された積み重ね数５６７が生成される。

一方、物品有無センサからの受信情報からの物品配列情報５７０としては、シートＩＤ５７１と、列５７２、物品有りの検出数５７３と、物品配列５７４と、が含まれる。

各列の上記前面積み重ね数５６７と検出数５７３とから、物品陳列数情報５８０として、物品ＩＤ５８１と列５８２との対応する陳列数５８５が算出される。

（棚割と陳列数テーブル）
図５Ｅは、本実施形態に係る棚割と陳列数テーブル５９０の構成を示す図である。棚割と陳列数テーブル５９０は、棚割陳列数算出部４０８が、物品識別結果における前面積み重ね数を考慮して、物品認識結果と物品有無センサの検出結果とを紐付けてから算出した、物品陳列位置と陳列数とを記憶するテーブルである。なお、図５Ｅにおいて、図５Ａ乃至図５Ｄと同様の項目には同じ参照番号を付す。なお、図５Ｅの数値は、図５Ｄの例に対応している。

棚割と陳列数テーブル５９０は、棚ＩＤ５２１に対応つけて、棚位置５２２と複数の段５２３とを記憶する。各段５２３に対応付けて、その段の左から右の順に列５２５を記憶する。各列５２５に対応付けて、その列の物品ＩＤ５８１、物品名／種別５１２、積み重ね数５６７、物品有り検出数５７３、を記憶する。そして、算出された物品実陳列数５８３と、物品実陳列数５８３に基づく補充要フラグ５９１とを記憶する。図５Ｅにおいては、“○”が補充要、“△”が補充注意、“×”が補充不要を表わしている。なお、図５Ｅにおいては、物品有無センサからの物品有り検出数に基づく処理を説明したが、物品無し検出数に基づく処理も同様である。

《物品識別部》
以下、図６Ａ乃至図６Ｇを参照して、物品識別部２１１の構成例を説明する。なお、本実施形態の物品識別部２１１は図６Ａ乃至図６Ｇに限定されるものではない。

（構成例）
図６Ａは、本実施形態に係る物品識別部２１１ａの構成を示すブロック図である。物品識別部２１１ａは、図４の物品識別部２１１の一例であり、撮影画像の局所特徴量生成部６０１と、領域分割部６０２と、照合部６０３とを含む。

撮影画像の局所特徴量生成部６０１は、陳列棚前面の撮影画像から多数の特徴点を検出すると共に、多数の特徴点の座標位置で構成される撮影画像の座標位置情報群を領域分割部６０２へと出力する。また、撮影画像の局所特徴量生成部６０１は、各特徴点の座標位置から、特徴点を含む周辺領域（近傍領域）の局所特徴量で構成される撮影画像の局所特徴量群を照合部６０３へと出力する。

領域分割部６０２は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の座標位置情報群を用いて撮影画像の特徴点をクラスタリングすると共に、１以上の特徴点を含む複数のクラスタに係る複数のクラスタ情報で構成されるクラスタ情報群を、照合部６０３へと出力する。

照合部６０３は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の局所特徴量群と、局所特徴量データベース４０３に格納された物品画像の局所特徴量群と、領域分割部６０２が出力したクラスタ情報群とを用いる。そして、照合部６０３は、クラスタ単位で、撮影画像の局所特徴量群と物品画像の局所特徴量群とを照合することにより、各特徴点に対して同一性または類似性を判定する。この結果、照合部６０３は、撮影画像と物品画像との間で同一または類似の被写体を識別すると共に、その識別結果（照合結果）として物品ＩＤを出力する。さらに照合部６０３は、同一または類似と判定した特徴点に関して、そのクラスタに属する特徴点の座標位置情報に基づき、撮影画像の同一または類似と判定された領域の情報を出力するようにしてもよい。

図６Ｂは、本実施形態に係る図６Ａの物品識別部２１１ａにおける領域分割部６０２の構成を示すブロック図である。領域分割部６０２は、類似度算出部６１１および特徴点クラスタリング部６１２を含む。

類似度算出部６１１は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の局所特徴量群内の任意の２つの局所特徴量の類似度を算出すると共に、算出した多数の類似度を、類似度情報群として特徴点クラスタリング部６１２へと出力する。局所特徴量の類似度の算出法には、例えば、任意の２つの局所特徴量間の特徴量間距離（例えばユークリッド距離）を算出すると共に、距離に基づいて類似度を算出すること等が考えられる。この時、例えば、距離値が小さい場合は類似度を大きく、距離値が大きい場合には類似度を小さくすればよい。また、特徴量間距離を所定の値で正規化すると共に、正規化した値から類似度を算出する方法を用いることも考えられる。

特徴点クラスタリング部６１２は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の座標位置情報群と、類似度算出部６１１が出力した類似度情報群とを用いて、撮影画像の特徴点をクラスタリングするとともに、クラスタリングの結果を示すクラスタ情報群を照合部６０３へと出力する。ここで、特徴点クラスタリング部６１２は、例えば類似度が大きい（距離値が小さい）局所特徴量が異なるクラスタに分類されるようにクラスタリングすればよい。特徴点のクラスタリングには、例えば、撮影画像の任意の特徴点と各クラスタ重心との距離を算出すると共に、算出した距離が最も小さくなるクラスタに当該特徴点を分類する方法を用いることが考えられる。この際、任意のクラスタ内に閾値以上の類似度の特徴点が含まれる場合には、例えば、クラスタ重心までの距離が長い特徴点を、当該クラスタから除外して別のクラスタに分類すればよい。ここで、各特徴点とクラスタ重心との距離には、例えば、ユークリッド距離を用いてもよいし、マハラノビス距離を用いてもよいし、市街地距離（マンハッタン距離）を用いてもよい。

また、グラフカットを用いてクラスタリングしてもよい。例えば、特徴点をノードとして、特徴点間の距離と、その局所特徴量間の類似度とに基づいてエッジ値を算出（例えば、特徴点間の距離が小さく、局所特徴量間の類似度が大きいほど、２つのノード間のエッジ値を大きくするなど）して得られたグラフに対してグラフカットを提供してもよい。グラフカットには、例えば、ノーマライズドカットを用いてもよいし、マルコフ・クラスタ・アルゴリズムを用いてもよい。

（他の構成例）
図６Ｃは、本実施形態に係る物品識別部２１１ｂの構成を示すブロック図である。物品識別部２１１ｂは、図４の物品識別部２１１の他の例であり、撮影画像の局所特徴量生成部６０１と、領域分割部６２２と、照合部６０３とを含む。ここで、撮影画像の局所特徴量生成部６０１と照合部６０３の動作は図６Ａと同様であるので、ここでは説明を省略する。以下、領域分割部６２２の動作を中心に説明する。

領域分割部６２２は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の局所特徴量群および撮影画像の座標位置情報群と、局所特徴量データベース４０３が出力した物品画像の局所特徴量群とを用いる。そして、領域分割部６２２は、撮影画像の特徴点をクラスタリングすると共に、クラスタリングの結果に係るクラスタ情報群を照合部６０３へと出力する。

図６Ｄは、本実施形態に係る図６Ｃの物品識別部２１１ｂにおける領域分割部６２２の構成を示すブロック図である。領域分割部６２２は、対応点探索部６３１と、特徴点クラスタリング部６３２とを含む。

対応点探索部６３１は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の局所特徴量群と、局所特徴量データベース４０３が出力した物品画像の局所特徴量群とを用いる。そして、対応点探索部６３１は、撮影画像の局所特徴量群に含まれる任意の局所特徴量が、物品画像の局所特徴量群のどの局所特徴量と一致するか、すなわち、撮影画像の任意の特徴点が物品画像のどの特徴点と対応するかに関する情報である対応情報を生成する。さらに、対応点探索部６３１は、生成した多数の対応情報を、対応情報群として特徴点クラスタリング部６３２へと出力する。

対応情報の生成には、例えば、図６Ａの照合部６０３と同様の手法を用いること等が考えられる。またここで、対応関係は、物品画像の或る特徴点が、撮影画像の複数の特徴点に対応していてもよい。さらに、撮影画像の特徴点が、物品画像の特徴点と１対１で対応していてもよい。

特徴点クラスタリング部６３２は、撮影画像の局所特徴量生成部６０１が出力した座標位置情報群と、対応点探索部６３１が出力した対応情報群とを用いる。そして、特徴点クラスタリング部６３２は、撮影画像の特徴点のうち、物品画像の特徴点と対応関係がある特徴点を選択した上で、選択した撮影画像の特徴点をそれらの座標位置に基づいてクラスタリングする。さらに、特徴点クラスタリング部６３２は、クラスタリングに係る結果を示すクラスタ情報群を、照合部６０３へと出力する。特徴点のクラスタリングには、さらに既知の手法を用いること等が考えられる。

また、特徴点クラスタリング部６３２は、物品画像の特徴点が、撮影画像の複数の特徴点に対応している場合に、撮影画像の特徴点が異なるクラスタに分類されるようにクラスタリングしてもよい。このために、例えば特徴点クラスタリング部６３２は、グラフカットによるクラスタリングを用いることなどが考えられる。この場合、物品画像の特徴点が、撮影画像の複数の特徴点に対応している場合に、それらの撮影画像の複数の特徴点をノードとして、それらのノード間のエッジ値が小さくなるようにグラフを生成するとともに、エッジ値が小さいノード間を分割するようにグラフカットを適用することが考えられる。グラフカットには、例えば、ノーマライズドカットやマルコフ・クラスタ・アルゴリズムを用いてもよい。

また、特徴点クラスタリング部６３２は、第１の画像の任意の２つの特徴点間の距離が近く（例えば、距離値がある閾値を下回る場合）、それらの特徴点に対応する物品画像の特徴点間距離が遠い場合（例えば、距離値が別の閾値を上回る場合）に、撮影画像の２つの特徴点が異なるクラスタに分類されるようにしてもよい。このために、上記と同様にグラフカットによるクラスタリングを用いることも考えられる。

また、特徴点クラスタリング部６３２は、例えば、任意のサイズの分析領域ごとに当該領域に含まれる特徴点を計数し、計数値が所定の閾値以上であれば、当該領域に含まれる特徴点を同一のクラスタに分類するという方法を用いてもよい。このように特徴点をクラスタリングすることで、より高速に処理できるという効果がある。

（さらに他の構成例）
図６Ｅは、本実施形態に係る物品識別部２１１ｃの構成を示すブロック図である。物品識別部２１１ｃは、図４の物品識別部２１１のさらに他の例であり、撮影画像の局所特徴量生成部６０１と、領域分割部６４２と、照合部６０３とを含む。ここで、撮影画像の局所特徴量生成部６０１と照合部６０３の動作は図６Ａおよび図６Ｃと同様であるので、説明を省略する。

領域分割部６４２は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の局所特徴量群および撮影画像の座標位置情報群と、局所特徴量データベース４０３が出力した出力した物品画像の局所特徴量群および物品画像の座標位置情報群とを用いる。そして、領域分割部６４２は、撮影画像の特徴点をクラスタリングするとともに、クラスタリング結果を示すクラスタ情報群を照合部６０３へと出力する。

図６Ｆは、本実施形態に係る図６Ｅの物品識別部２１１ｃにおける領域分割部６４２ａの構成を示すブロック図である。領域分割部６４２ａは、図６Ｅの領域分割部６４２の一例であり、対応点探索部６３１と比率算出部６５２と特徴点クラスタリング部６５３とを含む。

対応点探索部６３１は、図６Ｄと同様の動作により、対応情報群を生成するとともに、生成した対応情報群を、比率算出部６５２と特徴点クラスタリング部６５３とに出力する。

比率算出部６５２は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の局所特徴量群と、局所特徴量データベース４０３が出力した物品画像の局所特徴量群と、対応点探索部６３１が出力した対応情報群とを用いる。そして、比率算出部６５２は、撮影画像の任意の２つの特徴点間の距離（以下、特徴点間距離という）と、それらの特徴点に対応する第２の画像の特徴点間距離との比率を算出するとともに、算出した多数の比率を、比率情報群として特徴点クラスタリング部６５３へと出力する。ここで、特徴点間距離には、例えば、ユークリッド距離やマハラビノス距離、市街地距離を用いることが考えられる。

特徴点クラスタリング部６５３は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の座標位置情報群と、対応点探索部６３１が出力した対応情報群と、比率算出部６５２が出力した比率情報群とを用いる。そして、特徴点クラスタリング部６５３は、撮影画像の特徴点をクラスタリングするとともに、その結果を示すクラスタ情報群を照合部６０３へと出力する。ここで、例えば算出された比率の差が小さい特徴点を同じクラスタに分類する（比率の差が大きい特徴点を異なるクラスタに分類する）ように、クラスタリングすることが考えられる。この時には、例えば、グラフカットを用いてクラスタリングすればよい。より具体的には、例えば、特徴点をノードとして、特徴点間の距離と、比率の差に基づいてノード間のエッジ値を大きくすることにより得られたグラフ対してグラフカットを行うことが考えられる。グラフカットには、例えば、ノーマライズドカットを用いてもよいし、マルコフ・クラスタ・アルゴリズムを用いてもよい。

特徴点クラスタリング部６５３は、座標位置情報群と、対応情報群と、比率情報群とを用いて、例えば、次のように撮影画像の特徴点をクラスタリングすることも考えられる。この場合、ある特徴点と、その周囲の複数の特徴点との比率情報群を用いて、その特徴点が任意のクラスタに所属する所属確率を算出する。この場合、この算出された所属確率と、その特徴点の座標位置情報とに基づいて、特徴点クラスタリング部６５３はクラスタリングする。特徴点のクラスタリングには、例えば、物品画像の任意の特徴点に対応する撮影画像の特徴点を対応情報群に基づいて選択するとともに、特徴点と各クラスタ重心との間の距離を座標位置情報と所属確率とに基づいて算出すると共に、算出した距離が最も小さくなるクラスタに当該特徴点を分類する方法を用いることが考えられる。

図６Ｇは、本実施形態に係る図６Ｅの物品識別部２１１ｃにおける領域分割部６４２ｂの構成を示すブロック図である。領域分割部６４２ｂは、図６Ｅの領域分割部６４２の他の例であり、対応点探索部６３１と、比率算出部６５２と、回転量算出部６６１と、特徴点クラスタリング部６６２とを含む。ここで、比率算出部６５２の動作は図６Ｆと同様であるので、説明を省略する。

対応点探索部６３１は、図６Ｄと同様の動作により対応情報群を生成するとともに、生成した対応情報群を比率算出部６５２と回転量算出部６６１と特徴点クラスタリング部６６２とに出力する。

回転量算出部６６１は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の座標位置情報群と、対応点探索部６３１が出力した対応情報群と、局所特徴量データベース４０３が出力した物品画像の座標位置情報群とを用いる。そして、回転量算出部６６１は、撮影画像の２つの特徴点で構成されるベクトルの方向と物品画像の２つの特徴点で構成されるベクトルの方向とを算出する。さらに回転量算出部６６１は、算出したベクトルの方向から撮影画像の被写体の回転量を算出すると共に、算出した多数の回転量を回転量情報群として特徴点クラスタリング部６６２へと出力する。

特徴点クラスタリング部６６２は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の座標位置情報群と、対応点探索部６３１が出力した対応情報群と、比率算出部６５２が出力した比率情報群と、回転量算出部６６１が出力した回転量情報群とを用いる。そして、特徴点クラスタリング部６６２は、撮影画像の特徴点をクラスタリングする。その上で特徴点クラスタリング部６６２は、クラスタリングした結果得られる各クラスタに係る情報であるクラスタ情報群を照合部６０３へと出力する。

ここで、例えば算出された比率の差と回転量の差が小さい特徴点を同じクラスタに分類する（比率の差と回転量の差とが大きい特徴点を、異なるクラスタに分類する）ようにしてもよい。例えば、グラフカットを用いてクラスタリングすることが考えられる。例えば、特徴点をノードとして、特徴点間の距離と、比率の差と回転量の差とに基づいてエッジ値を算出して（例えば、特徴点間の距離値が小さく、比率の差と回転量の差とが小さいほど、２つのノード間のエッジ値を大きくするなど）得られたグラフに対してグラフカットを提供してもよい。ここで、グラフカットには、例えば、ノーマライズドカットや、マルコフ・クラスタ・アルゴリズムを用いることが考えられる。

図６Ｇにおいて、さらに、物品画像の基準点（例えば、被写体中心）と物品画像の各特徴点との相対座標位置を示すテーブルを有する相対座標位置データベースを設けてもよい。ここで基準点とは、あらかじめ定められた第２の画像での座標位置である。上述の通り、基準点は被写体中心であってもよいし、物品画像の左上座標位置であってもよい。以下では、基準点は被写体中心を示すものとして説明する。

特徴点クラスタリング部６６２は、撮影画像の局所特徴量生成部６０１が出力した撮影画像の座標位置情報群と、対応点探索部６３１が出力した対応情報群と、比率算出部６５２が出力した比率情報群と、回転量算出部６６１が出力した回転量情報群と、相対座標位置データベースに格納されている相対座標位置とを用いる。そして、特徴点クラスタリング部６６２は、撮影画像の特徴点をクラスタリングする。また、特徴点クラスタリング部６６２は、当該クラスタリングの結果を示すクラスタ情報群を照合部６０３へと出力する。

ここで、特徴点のクラスタリングには、例えば、撮影画像の特徴点のうち、物品画像の任意の特徴点に対応する特徴点を対応情報群に基づいて多数選択すると共に、選択された特徴点の座標位置に基づいて撮影画像の被写体中心点を推定し、さらに、推定した被写体中心点をそれらの座標位置に基づいてクラスタリングする手法を用いることができる。また、被写体中心点のクラスタリングには、例えば、任意のサイズの分析領域ごとに領域に含まれる被写体中心点を計数し、計数値が所定の閾値以上であれば、領域に含まれる被写体中心点を同一のクラスタに分類するという方法を用いてもよい。このように被写体中心点をクラスタリングすることで、より高速に処理できるという効果がある。

《局所特徴量生成部》
図７Ａは、本実施形態に係る局所特徴量生成部６０１の構成を示すブロック図である。局所特徴量生成部６０１は、特徴点検出部７１１、局所領域取得部７１２、サブ領域分割部７１３、サブ領域特徴ベクトル生成部７１４、および次元選定部７１５を含んで構成される。なお、局所特徴量生成部６０１の構成は、図７Ａ乃至図７Ｆの構成に限定されるものではない。

特徴点検出部７１１は、画像データから特徴的な点（特徴点）を多数検出し、各特徴点の座標位置、スケール（大きさ）、および角度を出力する。局所領域取得部７１２は、検出された各特徴点の座標値、スケール、および角度から、特徴量抽出を行う局所領域を取得する。サブ領域分割部７１３は、局所領域をサブ領域に分割する。例えば、サブ領域分割部７１３は、局所領域を１６ブロック（４×４ブロック）に分割することも、局所領域を２５ブロック（５×５ブロック）に分割することもできる。なお、分割数は限定されない。本実施形態においては、以下、局所領域を２５ブロック（５×５ブロック）に分割する場合を代表して説明する。

サブ領域特徴ベクトル生成部７１４は、局所領域のサブ領域ごとに特徴ベクトルを生成する。サブ領域の特徴ベクトルとしては、例えば、勾配方向ヒストグラムを用いることができる。次元選定部７１５は、サブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるように、局所特徴量として出力する次元を選定する（例えば、次元を削除あるいは間引きする）。また、次元選定部７１５は、単に次元を選定するだけではなく、選定の優先順位を決定することができる。すなわち、次元選定部７１５は、例えば、隣接するサブ領域間では同一の勾配方向の次元が選定されないように、優先順位をつけて次元を選定することができる。そして、次元選定部７１５は、選定した次元から構成される特徴ベクトルを、局所特徴量として出力する。なお、次元選定部７１５は、優先順位に基づいて次元を並び替えた状態で、局所特徴量を出力することができる。

《局所特徴量生成部の処理》
図７Ｂ〜図７Ｆは、本実施形態に係る局所特徴量生成部６０１の処理を示す図である。

まず、図７Ｂは、局所特徴量生成部６０１における、特徴点検出／局所領域取得／サブ領域分割／特徴ベクトル生成の一連の処理を示す図である。かかる一連の処理については、米国特許第６７１１２９３号明細書や、David G. Lowe著、「Distinctive image features from scale-invariant key points」、（米国）、International Journal of Computer Vision、60(2)、2004年、p. 91-110を参照されたい。

（特徴点検出部）
図７Ｂの画像７２１は、図７Ａの特徴点検出部７１１において、映像中の画像から特徴点を検出した状態を示す図である。以下、１つの特徴点データ７２１ａを代表させて局所特徴量の生成を説明する。特徴点データ７２１ａの矢印の起点が特徴点の座標位置を示し、矢印の長さがスケール（大きさ）を示し、矢印の方向が角度を示す。ここで、スケール（大きさ）や方向は、対象映像にしたがって輝度や彩度、色相などを選択できる。また、図７Ｂの例では、６０度間隔で６方向の場合を説明するが、これに限定されない。

（局所領域取得部）
図７Ａの局所領域取得部７１２は、例えば、特徴点データ７２１ａの起点を中心にガウス窓７２２ａを生成し、このガウス窓７２２ａをほぼ含む局所領域７２２を生成する。図７Ｂの例では、局所領域取得部７１２は正方形の局所領域７２２を生成したが、局所領域は円形であっても他の形状であってもよい。この局所領域を各特徴点について取得する。局所領域が円形であれば、撮影方向に対してロバスト性が向上するという効果がある。

（サブ領域分割部）
次に、サブ領域分割部７１３において、上記特徴点データ７２１ａの局所領域７２２に含まれる各画素のスケールおよび角度をサブ領域７２３に分割した状態が示されている。なお、図７Ｂでは４×４＝１６画素をサブ領域とする５×５＝２５のサブ領域に分割した例を示す。しかし、サブ領域は、４×４＝１６や他の形状、分割数であってもよい。

（サブ領域特徴ベクトル生成部）
サブ領域特徴ベクトル生成部７１４は、サブ領域内の各画素のスケールを６方向の角度単位にヒストグラムを生成して量子化し、サブ領域の特徴ベクトル７２４とする。すなわち、特徴点検出部７１１が出力する角度に対して正規化された方向である。そして、サブ領域特徴ベクトル生成部７１４は、サブ領域ごとに量子化された６方向の頻度を集計し、ヒストグラムを生成する。この場合、サブ領域特徴ベクトル生成部７１４は、各特徴点に対して生成される２５サブ領域ブロック×６方向＝１５０次元のヒストグラムにより構成される特徴ベクトルを出力する。また、勾配方向を６方向に量子化するだけに限らず、４方向、８方向、１０方向など任意の量子化数に量子化してよい。勾配方向をＤ方向に量子化する場合、量子化前の勾配方向をＧ（０〜２πラジアン）とすると、勾配方向の量子化値Ｑq（q＝０，...，Ｄ−１）は、例えば式（１）や式（２）などで求めることができるが、これに限られない。

Ｑq＝floor(Ｇ×Ｄ／２π） …（１）
Ｑq＝round(Ｇ×Ｄ／２π）modＤ …（２）
ここで、floor()は小数点以下を切り捨てる関数、round()は四捨五入を行う関数、modは剰余を求める演算である。また、サブ領域特徴ベクトル生成部７１４は勾配ヒストグラムを生成するときに、単純な頻度を集計するのではなく、勾配の大きさを加算して集計してもよい。また、サブ領域特徴ベクトル生成部７１４は勾配ヒストグラムを集計するときに、画素が属するサブ領域だけではなく、サブ領域間の距離に応じて近接するサブ領域（隣接するブロックなど）にも重み値を加算するようにしてもよい。また、サブ領域特徴ベクトル生成部７１４は量子化された勾配方向の前後の勾配方向にも重み値を加算するようにしてもよい。なお、サブ領域の特徴ベクトルは勾配方向ヒストグラムに限られず、色情報など、複数の次元（要素）を有するものであればよい。本実施形態においては、サブ領域の特徴ベクトルとして、勾配方向ヒストグラムを用いることとして説明する。

（次元選定部）
次に、図７Ｃ〜図７Ｆにしたがって、局所特徴量生成部６０１における、次元選定部７１５に処理を説明する。

次元選定部７１５は、サブ領域の位置関係に基づいて、近接するサブ領域の特徴ベクトル間の相関が低くなるように、局所特徴量として出力する次元（要素）を選定する（間引きする）。より具体的には、次元選定部７１５は、例えば、隣接するサブ領域間では少なくとも１つの勾配方向が異なるように次元を選定する。なお、本実施形態では、次元選定部７１５は近接するサブ領域として主に隣接するサブ領域を用いることとするが、近接するサブ領域は隣接するサブ領域に限られず、例えば、対象のサブ領域から所定距離内にあるサブ領域を近接するサブ領域とすることもできる。

図７Ｃは、局所領域を５×５ブロックのサブ領域に分割し、勾配方向を６方向７３１ａに量子化して生成された１５０次元の勾配ヒストグラムの特徴ベクトル７３１から次元を選定する場合の一例を示す図である。図７Ｃの例では、１５０次元（５×５＝２５サブ領域ブロック×６方向）の特徴ベクトルから次元の選定が行われている。

（局所領域の次元選定）
図７Ｃは、局所特徴量生成部６０１における、特徴ベクトルの次元数の選定処理の様子を示す図である。

図７Ｃに示すように、次元選定部７１５は、１５０次元の勾配ヒストグラムの特徴ベクトル７３１から半分の７５次元の勾配ヒストグラムの特徴ベクトル７３２を選定する。この場合、隣接する左右、上下のサブ領域ブロックでは、同一の勾配方向の次元が選定されないように、次元を選定することができる。

この例では、勾配方向ヒストグラムにおける量子化された勾配方向をｑ（ｑ＝０，１，２，３，４，５）とした場合に、ｑ＝０，２，４の要素を選定するブロックと、ｑ＝１，３，５の要素を選定するサブ領域ブロックとが交互に並んでいる。そして、図７Ｃの例では、隣接するサブ領域ブロックで選定された勾配方向を合わせると、全６方向となっている。

また、次元選定部７１５は、７５次元の勾配ヒストグラムの特徴ベクトル７３２から５０次元の勾配ヒストグラムの特徴ベクトル７３３を選定する。この場合、斜め４５度に位置するサブ領域ブロック間で、１つの方向のみが同一になる（残り１つの方向は異なる）ように次元を選定することができる。

また、次元選定部７１５は、５０次元の勾配ヒストグラムの特徴ベクトル７３３から２５次元の勾配ヒストグラムの特徴ベクトル７３４を選定する場合は、斜め４５度に位置するサブ領域ブロック間で、選定される勾配方向が一致しないように次元を選定することができる。図７Ｃに示す例では、次元選定部７１５は、１次元から２５次元までは各サブ領域から１つの勾配方向を選定し、２６次元から５０次元までは２つの勾配方向を選定し、５１次元から７５次元までは３つの勾配方向を選定している。

このように、隣接するサブ領域ブロック間で勾配方向が重ならないように、また全勾配方向が均等に選定されることが望ましい。また同時に、図７Ｃに示す例のように、局所領域の全体から均等に次元が選定されることが望ましい。なお、図７Ｃに示した次元選定方法は一例であり、この選定方法に限らない。

（局所領域の優先順位）
図７Ｄは、局所特徴量生成部６０１における、サブ領域からの特徴ベクトルの選定順位の一例を示す図である。

次元選定部７１５は、単に次元を選定するだけではなく、特徴点の特徴に寄与する次元から順に選定するように、選定の優先順位を決定することができる。すなわち、次元選定部７１５は、例えば、隣接するサブ領域ブロック間では同一の勾配方向の次元が選定されないように、優先順位をつけて次元を選定することができる。そして、次元選定部７１５は、選定した次元から構成される特徴ベクトルを、局所特徴量として出力する。なお、次元選定部７１５は、優先順位に基づいて次元を並び替えた状態で、局所特徴量を出力することができる。

すなわち、次元選定部７１５は、１〜２５次元、２６次元〜５０次元、５１次元〜７５次元の間は、例えば図７Ｄのマトリクス７４１に示すようなサブ領域ブロックの順番で次元を追加するように選定していってもよい。図７Ｄのマトリクス７４１に示す優先順位を用いる場合、次元選定部７１５は、中心に近いサブ領域ブロックの優先順位を高くして、勾配方向を選定していくことができる。

図７Ｅのマトリクス７５１は、図７Ｄの選定順位にしたがって、１５０次元の特徴ベクトルの要素の番号の一例を示す図である。この例では、５×５＝２５ブロックをラスタスキャン順に番号ｐ（ｐ＝０，１，…，２５）で表し、量子化された勾配方向をｑ（ｑ＝０，１，２，３，４，５）とした場合に、特徴ベクトルの要素の番号を６×ｐ＋ｑとしている。

図７Ｆのマトリクス７６１は、図７Ｅの選定順位による１５０次元の順位が、２５次元単位に階層化されていることを示す図である。すなわち、図７Ｆのマトリクス７６１は、図７Ｄのマトリクス７４１に示した優先順位にしたがって図７Ｅに示した要素を選定していくことにより得られる局所特徴量の構成例を示す図である。次元選定部７１５は、図７Ｆに示す順序で次元要素を出力することができる。具体的には、次元選定部７１５は、例えば１５０次元の局所特徴量を出力する場合、図７Ｆに示す順序で全１５０次元の要素を出力することができる。また、次元選定部７１５は、例えば２５次元の局所特徴量を出力する場合、図７Ｆに示す１行目（７６番目、４５番目、８３番目、…、１２０番目）の要素７７１を図７Ｆに示す順（左から右）に出力することができる。また、次元選定部７１５は、例えば５０次元の局所特徴量を出力する場合、図７Ｆに示す１行目に加えて、図７Ｆに示す２行目の要素７７２を図７Ｆに示す順（左から右）に出力することができる。

ところで、図７Ｆに示す例では、局所特徴量は階層的な構造配列となっている。すなわち、例えば、２５次元の局所特徴量と１５０次元の局所特徴量とにおいて、先頭の２５次元分の局所特徴量における要素７７１〜７７６の並びは同一となっている。このように、次元選定部７１５は、階層的（プログレッシブ）に次元を選定することにより、アプリケーションや通信容量、端末スペックなどに応じて、任意の次元数の局所特徴量、すなわち任意のサイズの局所特徴量を抽出して出力することができる。また、次元選定部７１５が、階層的に次元を選定し、優先順位に基づいて次元を並び替えて出力することにより、異なる次元数の局所特徴量を用いて、画像の照合を行うことができる。例えば、７５次元の局所特徴量と５０次元の局所特徴量を用いて画像の照合が行われる場合、先頭の５０次元だけを用いることにより、局所特徴量間の距離計算を行うことができる。

なお、図７Ｄのマトリクス７４１から図７Ｆに示す優先順位は一例であり、次元を選定する際の順序はこれに限られない。例えば、ブロックの順番に関しては、図７Ｄのマトリクス７４１の例の他に、図７Ｄのマトリクス７４２や図７Ｄのマトリクス７４３に示すような順番でもよい。また、例えば、全てのサブ領域からまんべんなく次元が選定されるように優先順位が定められることとしてもよい。また、局所領域の中央付近が重要として、中央付近のサブ領域の選定頻度が高くなるように優先順位が定められることとしてもよい。また、次元の選定順序を示す情報は、例えば、プログラムにおいて規定されていてもよいし、プログラムの実行時に参照されるテーブル等（選定順序記憶部）に記憶されていてもよい。

また、次元選定部７１５は、サブ領域ブロックを１つ飛びに選択して、次元の選定を行ってもよい。すなわち、あるサブ領域では６次元が選定され、当該サブ領域に近接する他のサブ領域では０次元が選定される。このような場合においても、近接するサブ領域間の相関が低くなるようにサブ領域ごとに次元が選定されていると言うことができる。

また、局所領域やサブ領域の形状は、正方形に限られず、任意の形状とすることができる。例えば、局所領域取得部７１２が、円状の局所領域を取得することとしてもよい。この場合、サブ領域分割部７１３は、円状の局所領域を例えば複数の局所領域を有する同心円に９分割や１７分割のサブ領域に分割することができる。この場合においても、次元選定部７１５は、各サブ領域において、次元を選定することができる。

以上、図７Ｂ〜図７Ｆに示したように、本実施形態の局所特徴量生成部６０１によれば、局所特徴量の情報量を維持しながら生成された特徴ベクトルの次元が階層的に選定される。この処理により、認識精度を維持しながらリアルタイムでの景観要素認識と認識結果の表示が可能となる。なお、局所特徴量生成部６０１の構成および処理は本例に限定されない。認識精度を維持しながらリアルタイムでの景観要素認識と認識結果の表示が可能となる他の処理が当然に適用できる。

《物品配列生成部》
図８Ａは、本実施形態に係る物品配列生成部４０７の構成を示すブロック図である。なお、物品配列生成部４０７が対象とする物品有無情報は、図８Ａ〜図９Ｅに図示のＲＦＩＤタグを有する物品有無センサにより得られた情報に限定されない。

物品配列生成部４０７は、ＲＦＩＤ（Radio Frequency IDentification：電波による個体識別子）取得部８０１と、タグシート判定部８０２と、物品位置判定部８０３と、物品配列決定８０４と、を有する。

ＲＦＩＤ取得部８０１は、物品有無情報受信部４０５が受信した物品有りを示したＲＦＩＤタグのＩＤを取得する。タグシート判定部８０２は、物品有無検出用のタグシートから検出したシートのＲＦＩＤ（以下、シートＩＤ）に基づいて、陳列棚上のタグシート位置を特定する。物品位置判定部８０３は、タグシートの各物品有無判定タグから検出した物品位置のＲＦＩＤ（以下、物品位置ＩＤ）に基づいて、陳列棚上の物品位置を特定する。

物品配列決定８０４は、タグシート判定部８０２からの陳列棚上のタグシートの配置、および、物品位置判定部８０３からの陳列棚上の物品位置に基づいて、奥行数も含めた陳列棚上の物品配列を決定する。なお、物品配列決定８０４から出力される物品配列は、物品有無の配列であって、各列の物品が何であるかは分かっていない。

（動作手順）
図８Ｂは、本実施形態に係る物品有無データ取得の動作手順を示すシーケンス図である。なお、本実施形態においては、ＲＦＩＤリーダが各物品配置位置に置かれたＲＦＩＤタグに対してＩＤを含むタグ情報読出信号を送信し、ＲＦＩＤタグが閾値より強い信号強度で応答した場合を物品無し、閾値より弱い信号強度で応答した場合を物品有りとする。

情報処理装置２１０は、ステップＳ８０１において、ＲＦＩＤ応答信号の強度に基づいて物品有無を判定するための閾値を設定する。この閾値設定は、初期設定のみでなく物品有無検出のエラー発生などの履歴に基づいて行なってもよい。

ＲＦＩＤリーダは、ステップＳ８０３において、タグシートを識別するＲＦＩＤタグへのＲＦＩＤを含むコマンドを送信する。ＲＦＩＤが合致したタグシート用のＲＦＩＤタグが、ステップＳ８０５において、応答信号を返信する。ＲＦＩＤリーダは、タグシート用のＲＦＩＤタグからの返信を受けて、ステップＳ８０７において、ＲＦＩＤリーダが対象とする陳列棚の段にタグシートが配置されていることを、情報処理装置２１０に通知する。情報処理装置２１０は、タグシートＩＤからそのシート上の物品検出タグのＲＦＩＤを通知する。なお、ＲＦＩＤリーダがシート上の物品検出タグのＲＦＩＤを見付けてもよい。なお、かかる処理はＲＦＩＤタグの操作処理を短縮するためであり、全ビットにわたってＲＦＩＤを走査してもよい。

ＲＦＩＤリーダは、ステップＳ８１１において、シート上の物品検出タグに対してＲＦＩＤを含むコマンドを送信する。ＲＦＩＤが合致した物品有無タグが、ステップＳ８１３において、応答信号を返信する。ＲＦＩＤリーダは、物品有無タグからの返信を応答受信して、ステップＳ８１５において、応答信号の信号強度を閾値と比較して、閾値より弱い場合は物品有り、閾値より強い場合は物品無し、と判定して、物品有りのＲＦＩＤを情報処理装置２１０に通知する。

情報処理装置２１０は、ステップＳ８１７において、物品有りのＲＦＩＤを受信して、棚割データベース４０６を参照して、図５Ｄに示すような、陳列棚上の物品配列を決定する。

（通信手順）
図８Ｃは、本実施形態に係る物品有無データ取得時の通信手順を示すシーケンス図である。

ＲＦＩＤリーダから情報処理装置２１０へ、陳列棚上のタグシートのＲＦＩＤを送信するメッセージ８１０は、ヘッダ８１１、送信先８１２として情報処理装置、送信元８１３としてＲＦＩＤリーダ、ＲＦＩＤリーダに応答したタグシートＩＤ列８１４、誤り訂正であるＣＲＣ８１５、を含む。情報処理装置２１０からＲＦＩＤリーダへ、タグシート上の物品有無検出のＲＦＩＤを送信するメッセージ８２０は、ヘッダ８２１、送信先８２２としてＲＦＩＤリーダ、送信元８２３として情報処理装置、物品有無検出のＲＦＩＤ列８２４、誤り訂正であるＣＲＣ８２５、を含む。ＲＦＩＤリーダから情報処理装置２１０へ、物品有りのＲＦＩＤを送信するメッセージ８３０は、ヘッダ８３１、送信先８３２として情報処理装置、送信元８３３としてＲＦＩＤリーダ、ＲＦＩＤリーダへの応答信号強度が閾値より弱かったＲＦＩＤ列８３４、誤り訂正であるＣＲＣ８３５、を含む。

（棚割データベース）
図８Ｄは、本実施形態に係る棚割データベース４０６ｂの構成を示す図である。棚割データベース４０６ｂは、図４の棚割データベース４０６の一部分を表わし、タグシートがどの陳列棚のどの段の何処に配置されているかを格納する。棚割データベース４０６ｂは、シートＩＤ８４１に対応付けて、そのタグシートが有する物品配置位置の各々について、その陳列棚上の確定位置を記憶する。すなわち、各物品位置ＩＤ８４２であるＲＦＩＤに対応して、陳列棚８４３、段８４４、列８４５、奥行８４６を格納する。この物品位置と陳列棚の前面画像からの物品を紐付けることで、物品の陳列数を算出できる。

図８Ｅは、本実施形態に係る棚割データベース４０６ｃの構成を示す図である。棚割データベース４０６ｃは、図４の棚割データベース４０６の一部分の他の例を表わし、タグシートＩＤを有することなく、物品位置ＩＤであるＲＦＩＤに対応してどの陳列棚のどの段の何処に配置されているかを格納する。このように、陳列棚に配置された全物品位置ＩＤを格納しておけば、物品配列が決定可能であり、後は、陳列棚の前面画像からの物品を紐付けることで、物品の陳列数を算出できる。

《物品有無センサ》
図９Ａは、本実施形態に係る物品有無センサ２３０の構成を示す図である。図９Ａにおいては、２つのタグシートを陳列棚に並べる例を示すが、これに限定されない。なお、物品有無センサ２３０の構成は、図９Ａ〜図９Ｅに限定されない。

タグシート９１０は、管理対象物品非配置領域９１１と、管理対象物品配置領域９１３とを有する。管理対象物品非配置領域９１１には、シート認識用ＲＦＩＤタグ９１２が配置される。また、管理対象物品配置領域９１３には、物品有無のセンシング用ＲＦＩＤタグ９１４が配置される。センシング用ＲＦＩＤタグ９１４は、２列で奥行３個の計６個の物品の有無を検出できる。

タグシート９２０は、管理対象物品非配置領域９２１と、管理対象物品配置領域９２３とを有する。管理対象物品非配置領域９２１には、シート認識用ＲＦＩＤタグ９２２が配置される。また、管理対象物品配置領域９１３には、物品有無のセンシング用ＲＦＩＤタグ９２４が配置される。センシング用ＲＦＩＤタグ９２４は、３列で奥行４個の計１２個の物品の有無を検出できる。

各タグシート９１０、９２０はスペーサ９３１の上に配置され、スペーサ９３１の下面にはリーダアンテナ９３２が配線される。リーダアンテナ９３２は、接続線９４１を介してＲＦＩＤリーダ９４０に接続されている。後述するが、スペーサ９３１の厚さは、センシング用ＲＦＩＤタグ９２４上近傍に物品が置かれた時の電磁界結合の変化に影響する。図示はしてないが、タグシート９１０、９２０と物品の底との間にもスペーサが配置されて、その距離を安定させるのが、電磁界結合への影響を安定させるために望ましい。ＲＦＩＤリーダ９４０への応答信号が閾値より弱いセンシング用ＲＦＩＤタグ９２４の上には、物品が置かれていると判定して、通信線を介して情報処理装置２１０に通知される。なお、通信線は無線通信であっても構わない。

本実施形態の物品有無センサ２３０によれば、センシング用ＲＦＩＤタグ９１４は物品に貼付されないため、タグ貼付によるコスト上昇を防ぐことができる。また、購入した物品に貼付されたセンシング用ＲＦＩＤタグ９１４を不正に読み取られることによるプライバシーの侵害や情報セキュリティ上の問題あるいは購買者に与える不安に関する問題を生じない。即ち、第三者によるタグ情報の不正読み取りの問題を生じない。

（リーダアンテナ）
図９Ｂは、本実施形態に係る物品有無センサ２３０におけるリーダアンテナ９３２の構成を示す図である。少なくとも１枚のタグシートとスペーサ９３１を隔てて配線されたリーダアンテナ９３２には、種々の構成が考えられるが、図９Ｂには２つの例を示す。

リーダアンテナ９５３は、並行２線路のアンテナである。各列の２線路は、分配器９５１を介して接続線９４１でＲＦＩＤリーダ９４０に接続されている。

リーダアンテナ９５４は、マイクロストリップ線路のアンテナである。各列のマイクロストリップ線路は、分配器９５２を介して接続線９４１でＲＦＩＤリーダ９４０に接続されている。マイクロストリップ線路の場合は、整合終端抵抗（不図示）を介してグランド導体９５５が接続される。

この２線路あるいはマイクロストリップ線路とスペーサ９３１を隔てて、ＲＦＩＤタグを有するタグシートが配置されることになる。

（物品配置）
図９Ｃは、本実施形態に係る物品有無センサ２３０における物品の配置を示す図である。なお、図９Ａと同様の要素には同じ参照番号を付して、説明は省略する。

図９Ｃは、タグシート９１０のセンシング用ＲＦＩＤタグ９１４の上近傍に物品９６１が置かれた場合を示している。本実施形態においては、同じ列の奥行方向の物品９６１は同じであることを想定している。

以下、このように、ＲＦＩＤリーダ９４０がリーダアンテナ９３２を介してセンシング用ＲＦＩＤタグ９１４上近傍の物品の有無を検出する原理を説明する。

（ＲＦＩＤタグ）
図９Ｄは、本実施形態に係る物品有無センサ２３０におけるＲＦＩＤタグ９１４の構成を示す図である。

図９Ｄは陳列棚の上面図を示す。図９Ｄでは、上面図として物品９６１が１つ置かれる領域を拡大した図を示した。図９Ｄに示すように、物品管理プレート９００上にマイクリストリップ線路のリーダアンテナ９５４が形成される。そして、リーダアンテナ９５４の上方にＲＦＩＤタグ９１４が設置される。さらに、ＲＦＩＤタグ９１４の上方であって、ＲＦＩＤタグ９１４が覆われる位置に物品９６１が置かれる物品配置領域が設定される。また、ＲＦＩＤタグ９１４は、ＲＦＩＤチップ９７１およびタグアンテナ９７２を有する。

（位置関係）
図９Ｅは、本実施形態に係る物品有無センサ２３０における位置関係を示す図である。

本実施形態の物品有無センサ２３０においては、ＲＦＩＤリーダ９４０からリーダアンテナ９３２を介して送信されたＲＦＩＤを含むコマンドに対して、ＲＦＩＤが一致して応答したセンシング用ＲＦＩＤタグ９１４の応答信号の強度により、物品の有無を判定する。物品が無くて、リーダアンテナ９３２とセンシング用ＲＦＩＤタグ９１４との電磁界結合が強ければ強い応答信号がリーダアンテナ９３２に返ってくる。この応答信号の強度を閾値と比較して、閾値より強いので物品無しと判定する。一方、物品が有って、リーダアンテナ９３２とセンシング用ＲＦＩＤタグ９１４との電磁界結合が弱くなれば弱い応答信号がリーダアンテナ９３２に返ってくる。この応答信号の強度を閾値と比較して、閾値より弱いので物品有りと判定する。

以下、その応答信号の強度を判定するに適した物品有無センサ２３０の構造を簡単に説明する。図９Ｅにおいて、距離Ｌ１はセンシング用ＲＦＩＤタグ９１４のタグアンテナ９７２と物品９６１の底との距離である。また、距離Ｌ２はセンシング用ＲＦＩＤタグ９１４のタグアンテナ９７２とマイクリストリップ線路のリーダアンテナ９５４との距離である。なお、距離Ｌ１と距離Ｌ２とは安定した距離であることが望ましいので、ＲＦＩＤタグ９１４をプラスティック板等でカバーして、プラスティック板の厚みを用いることも可能であり、他の手法を用いることも可能である。

本実施形態の物品有無センサ２３０においては、距離Ｌ１および距離Ｌ２を調節することにより、物品９６１とタグアンテナ９７２との結合係数ｋ２およびタグアンテナ９７２とリーダアンテナ９５４との結合係数ｋ１を調節する。そして、物品９６１の有無によって変化する結合係数ｋ２に応じてタグアンテナ９７２とリーダアンテナ９５４との間の信号強度を変化させ、信号強度の変化により物品９６１の有無を判断する。ここで、結合係数ｋ１と結合係数ｋ２とがｋ１＜ｋ２の関係を満たすので、リーダアンテナ９５４とタグアンテナ９７２との間の交信の維持よりも、物品の有無によるタグアンテナ９７２の周波特性変化による反射信号強度の変化が大きくなる。即ち、物品９６１の有無を確実に捉えることができるため、誤検知を抑制できる。

また、本実施形態の物品有無センサ２３０においては、タグアンテナ９７２とリーダアンテナ９５４との間の無線信号の波長をλとすると、距離Ｌ１≦λ、距離Ｌ２≦λと設定できる。このように、タグアンテナ９７２とリーダアンテナ９５４との間の交信範囲が狭く外乱やノイズの影響を受けないので、安定した物品有無の判定ができる。さらに、Ｌ２≦λ／２πの関係を満たして配置することも容易である。このように、Ｌ２≦λの関係を満たすことにより、リーダアンテナ９５４とタグアンテナ９７２との間の無線通信は直接波が中心となり、周囲環境を反映したマルチパス現象に伴う電波干渉が起こりにくい。したがって、誤検知が抑制できる。特に棚上の物品の有無を管理する場合に棚が金属であったり、金属の冷蔵ケースであったりする場合も多くあるが、このような環境においても安定してこのシステムを動作できる。

また、本実施形態の物品有無センサ２３０によれば、物品９６１の有無の検出にＲＦＩＤタグ９１４とＲＦＩＤリーダ９４０の見通しを物品９６１が遮ることは必要ない。また、物品９６１はタグアンテナ９７２と電磁界結合するように、タグアンテナ９７２（あるいはＲＦＩＤタグ９１４）と離間して物品９６１を置く場所が設けられていればよいため、自由な配置が可能となる。

さらに、本実施形態の物品有無センサ２３０によれば、準静電磁界と誘導電磁界、放射電磁界の電磁界成分が十分な強度で混在し、かつベクトルの方向も時間的に様々に変化するため、リーダアンテナ９５４とタグアンテナ９７２の相対的な向きの自由度を向上させることができる。

《情報処理装置のハードウェア構成》
図１０Ａは、本実施形態に係る情報処理装置２１０のハードウェア構成を示すブロック図である。

図１０Ａで、ＣＰＵ(Central Processing Unit)１０１０は演算制御用のプロセッサであり、プログラムを実行することで図４の情報処理装置２１０の機能構成部を実現する。ＲＯＭ(Read Only Memory)１０２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部４０１は、ネットワークを介して他の通信端末や各サーバと通信すると共に、撮像部２２０ａや物品有無センサ２３０とも通信する。

なお、ＣＰＵ１０１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵを含んでもよい。また、通信制御部４０１は、ＣＰＵ１０１０とは独立したＣＰＵを有して、ＲＡＭ(Random Access Memory)１０４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ１０４０とストレージ１０５０との間でデータを転送するＤＭＡＣを設けるのが望ましい（図示なし）。さらに、入出力インタフェース１０６０は、ＣＰＵ１０１０とは独立したＣＰＵを有して、ＲＡＭ１０４０の領域に入出力データを書き込みあるいは読み出しするのが望ましい。したがって、ＣＰＵ１０１０は、ＲＡＭ１０４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ１０１０は、処理結果をＲＡＭ１０４０に準備し、後の送信あるいは転送は通信制御部４０１やＤＭＡＣ、あるいは入出力インタフェース１０６０に任せる。

ＲＡＭ１０４０は、ＣＰＵ１０１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１０４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。画像データ１０４１は、撮像部２２０から取得した陳列棚の前面画像のデータである。物品識別結果１０４２は、画像データ１０４１から局所特徴量に基づき識別した物品情報である。物品積み重ね数１０４３は、局所特徴量に基づく物品識別の結果および物品識別の過程生成された物品の位置座標に基づき、判定された各列前面の積み重ね数である。物品有無データ１０４４は、物品有無センサ２３０から収集した陳列棚の物品有無のデータである。物品有無処理結果１０４５は、物品有無データ１０４４に基づいて生成した物品配列情報である。棚割陳列数算出結果１０４６は、物品識別結果１０４２と物品有無処理結果１０４５とを紐付け、物品積み重ね数１０４３を考慮して物品の棚割とその陳列数を算出した結果である。棚割陳列数表示データ１０４７は、棚割陳列数算出結果１０４６を店員に通知するために生成された表示データである。入出力データ１０４８は、入出力インタフェース１０６０を介して入出力されるデータである。送受信データ１０４９は、通信制御部４０１を介して送受信されるデータである。

ストレージ１０５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。局所特徴量データベース４０３は、図５Ａに示したデータを格納するデータベースである。棚割データベース４０６は、図５Ｂや図８Ｄまたは図８Ｅに示したデータを格納するデータベースである。物品識別アルゴリズム／パラメータ１０５１は、図６Ａ〜図６Ｇ、および、図７Ａ〜図７Ｆに示した、陳列棚の前面画像から物品を識別するために使用されるアルゴリズムとパラメータである。在庫管理データベース４０９は、図示しない在庫管理に使用されるデータベースである。ストレージ１０５０には、以下のプログラムが格納される。情報処理装置制御プログラム１０５２は、本情報処理装置２１０全体を制御する制御プログラムである。物品識別モジュール１０５３は、陳列棚の前面画像から物品を識別するためのモジュールである。物品積み重ね数判定モジュール１０５４は、局所特徴量に基づく物品識別の結果および物品識別の過程生成された物品の位置座標に基づき、各列前面の積み重ね数を判定するモジュールである。物品配列生成モジュール１０５５は、物品有無データから棚割データベース４０６を参照して物品配列を生成するモジュールである。棚割陳列数算出モジュール１０５６は、物品識別モジュール１０５３が識別した物品識別情報と物品配列生成モジュール１０５５が生成した物品配列情報とを紐付けて、陳列棚の棚割と陳列数を算出するモジュールである。

入出力インタフェース１０６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース１０６０には、表示部２１５、タッチパネル／キーボードの操作部１０６１、が接続される。また、スピーカやマイクなどの音声入出力部１０６２が接続される。さらに、撮像部２２０や物品有無センサ２３０ａも接続される。なお、撮像部や物品有無センサは、通信制御部４０１を介してＬＡＮ(Local Area Network)に接続されても、入出力インタフェース１０６０を介してＩ／Ｏとして接続されてもよい。図１０Ａにおいては、撮像部２２０は入出力インタフェース１０６０に接続され、物品有無センサ２３０はＬＡＮに接続されているとした。したがって、撮像部２２０ａと物品有無センサ２３０ａとは破線で示されている。

なお、図１０ＡのＲＡＭ１０４０やストレージ１０５０には、情報処理装置２１０が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。

（処理結果の出力）
図１０Ｂは、本実施形態に係る情報処理装置２１０の処理結果の出力を示す図である。

表示部２１５の表示画面１０７１には、管理対象の陳列棚１０７２と物品表１０７３とが表示されている。陳列棚１０７２には、各物品の棚割と積み重ね数と陳列数が表示されている。物品表１０７３には、物品列の対応色、物品名、フェイス番号（列番号）、積み重ね陳列数、最前列積み重ね数、奥行数、各列の総陳列数が表示されている。また、総陳列数が少なくなり補充が必要なことを店員に通知する警報マーク１０７４も表示されている。なお、最前列積み重ね数は、第４実施形態において表示される。

《情報処理装置の処理手順》
図１１Ａは、本実施形態に係る情報処理装置２１０の処理手順を示すフローチャートである。このフローチャートは、図１０ＡのＣＰＵ１０１０がＲＡＭ１０４０を使用しながら実行して、図４の機能構成部を実現する。

情報処理装置２１０は、ステップＳ１１０１において、撮像部２２０から陳列棚の前面画像を取得する。次に、情報処理装置２１０は、ステップＳ１１０３において、取得した撮影画像から陳列棚の前面の物品配列を識別する。そして、情報処理装置２１０は、ステップＳ１１０４において、取得した撮影画像からの物品配列を識別結果および識別過程で得られた、物品および位置座標に基づいて前面の物品積み重ね数を判定する。

情報処理装置２１０は、ステップＳ１１０５において、物品有無センサ２３０から物品有無の検出データを取得して記憶する。そして、情報処理装置２１０は、ステップＳ１１０７において、物品有無の検出データから物品有無センサの配列を生成する。

情報処理装置２１０は、ステップＳ１１０９において、前面の物品配列と物品有無センサの配列とを紐付け、物品積み重ね数を考慮して陳列棚内の物品配置および陳列数を確定する。そして、情報処理装置２１０は、ステップＳ１１１１において、陳列棚内の物品配置および陳列数を出力する。

（棚表面物品配列の認識処理）
図１１Ｂは、本実施形態に係る棚表面物品配列の認識処理（Ｓ１１０３）の手順を示すフローチャートである。

情報処理装置２１０は、ステップＳ１１２１において、受信した撮影画像を取得する。次に、情報処理装置２１０は、ステップＳ１１２３において、撮影画像から多数の特徴点を検出する。次に、情報処理装置２１０は、ステップＳ１１２５において、図７Ａ〜図７Ｆの処理に従って、各特徴点の座標位置、スケール、および角度から局所特徴量を生成する。

情報処理装置２１０は、図６Ａ〜図６Ｇの処理に従って、ステップＳ１１２７において、撮影画像の特徴点の座標位置に基づき特徴点をクラスタリングする。そして、情報処理装置２１０は、ステップＳ１１２９において、撮影画像の局所特徴量群と物品の局所特徴量群とをクラスタ単位で照合する。

情報処理装置２１０は、ステップＳ１１３１において、照合結果から合致する局所特徴量群が有るか否かを判定する。合致する局所特徴量群が有れば、情報処理装置２１０は、ステップＳ１１３３において、合致した局所特徴量群を有する物品であると特定する。一方、合致する局所特徴量群が無ければ、情報処理装置２１０は、ステップＳ１１３５において、クラスタリングした局所特徴量群の物品は無いとしてエラー処理する。なお、ステップＳ１１３５において、エラー回数によりクラスタリングの閾値や方法を変えるように制御してもよい。

情報処理装置２１０は、ステップＳ１１３７において、撮影画像の特徴点が残っているか否かを判定する。特徴点が残っていれば、情報処理装置２１０は、ステップＳ１１２７に戻って、特徴点のクラスタリングと照合を繰り返す。特徴点が残ってなければ、情報処理装置２１０は、ステップＳ１１３９において、特定した識別物品の陳列棚の前面における配列として、物品種別配列情報を生成する。

（物品積み重ね判定処理）
図１１Ｃは、本実施形態に係る物品積み重ね判定処理（Ｓ１１０４）の手順を示すフローチャートである。

情報処理装置２１０は、ステップＳ１１４１において、ステップＳ１１０３において特定した物品ＩＤとその物品の位置座標とを取得する。次に、情報処理装置２１０は、ステップＳ１１４３において、取得した物品ＩＤと位置情報とを、物品ＩＤと陳列棚の棚位置（段）と列位置とによりソートする。

情報処理装置２１０は、ステップＳ１１４５において、ソート結果から同じ物品の同じ段の同じ列のある物品数を取得して、その高さ方向の位置座標から物品の積み重ね数とする。情報処理装置２１０は、ステップＳ１１４７において、識別した物品ＩＤの残りがあるかを判定する。まだ残っている物品ＩＤがあればステップＳ１１４５に戻って、情報処理装置２１０は、物品積み重ね数判定を継続する。残った物品ＩＤが無ければ、情報処理装置２１０は、ステップＳ１１４９において、画像内における物品積み重ねテーブルを生成する。

（物品有無検出処理）
図１１Ｄは、本実施形態に係る物品有無検出処理（Ｓ１１０７）の手順を示すフローチャートである。

情報処理装置２１０は、ステップＳ１１５１において、ＲＦＩＤリーダ９４０から受信したタグシートＩＤと物品有無検出データとを取得する。次に、情報処理装置２１０は、ステップＳ１１５３において、棚割データベース４０６からダグシートの配列情報を取得する。そして、情報処理装置２１０は、ステップＳ１１５５において、タグシートＩＤと物品有無検出データとから物品有無配列情報を生成する。

（物品配置および陳列数確定処理）
図１１Ｅは、本実施形態に係る物品配置および陳列数確定処理（Ｓ１１０９）の手順を示すフローチャートである。

情報処理装置２１０は、ステップＳ１１６１において、物品種別配列情報と物品有無配列情報とを、タグシートの配列に基づいて紐付ける。次に、情報処理装置２１０は、ステップＳ１１６３において、各列の物品有りと積み重ね陳列数とから見掛け物品数を算出した後、前面の積み重ね数を考慮して陳列数を算出する。そして、情報処理装置２１０は、ステップＳ１１６５において、棚割と陳列数とを確定する（図５Ｅ参照）。

本実施形態によれば、各物品の積み重ね数を判定し、物品陳列棚に設置された物品有無センサからの物品有無情報と紐付けることにより、陳列棚に奥行き方向に積み重ねて陳列された複数種類の大量の物品を種類ごとに正確に計数できる。

［第３実施形態］
次に、本発明の第３実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態に係る情報処理装置は、上記第２実施形態と比べると、物品有無センサから得られた最前列の物品積み重ね列パターンと撮影画像から物品識別して得られた物品積み重ね列パターンとを照合して、撮影位置を特定する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

《物品管理システム》
図１２および図１３を参照して、本実施形態の物品管理システム１２００の構成と動作を説明する。

（システム概要）
図１２は、本実施形態に係る情報処理装置１２１０を含む物品管理システム１２００の概要を示す図である。なお、図１２において、図２Ａと同様の構成要素には同じ参照番号を付して、説明は省略する。

物品管理システム１２００は、情報処理装置１２１０と、カメラである撮像部２２０と、物品有無センサ１２３０とを有する。撮像部２２０は、陳列棚２０１、２０２の最前列の画像を撮影する。また、物品有無センサ１２３０は、物品の有無を検出すると共に、物品の積み重ね数をも検出する。

情報処理装置１２１０は、物品識別部２１１と、物品有無情報受信部１２１２と、陳列数認識部１２１３と、物品積み重ね数判定部２１４と、を有する。物品有無情報受信部１２１２は、物品有無センサ１２３０から送信される物品有無情報と共に物品積み重ね数とを受信する。

陳列数認識部１２１３は、物品積み重ね数判定部２１４からの陳列棚２０１、２０２の最前列の物品積み重ね列パターンと、物品有無情報受信部２１２からの物品有無情報と物品積み重ね数とによる最前列の物品積み重ね列パターンとを、照合する。かかる照合は、同じ位置のみでなく左右上下に画像取得位置を変えて行なう。合致する物品積み重ね列パターンが見付かれば、その陳列棚のどこを撮影しているかが判明する。したがって、画像から物品識別した物品積み重ね列パターンと物品有無センサからの物品積み重ね列パターンを対応付けることができる。そして、陳列数認識部１２１３は、物品識別部２１１からの陳列棚２０１、２０２の最前列の物品配列と、物品有無情報受信部２１２からの有無情報とを紐付け、さらに、最前列の画像からの各物品の積み重ね数を考慮して、各物品の陳列棚２０１、２０２の陳列数を認識する。

（動作手順）
図１３は、本実施形態に係る情報処理装置１２１０を含む物品管理システム１２００の動作手順を示すシーケンス図である。なお、図１３において、第２実施形態の図３と同様のステップには同じステップ番号を付して、説明は省略する。

検出センサ群からなる物品有無センサ１２３０は、ステップＳ１３０５において、各センサ上の物品有無および各物品の積み重ね数を検出して、ステップＳ１３０７において、物品有無情報と積み重ね情報とを情報処理装置２１０に送信する。

情報処理装置１２１０は、ステップＳ１３１１において、物品識別による積み重ね列と、物品有無センサによる積み重ね列との照合により、物品識別情報と物品有無センサからの物品有無情報とを紐付けるため、画像の撮影位置を特定する。情報処理装置１２１０は、ステップＳ３１１において、物品識別情報と物品有無センサからの物品有無情報とを紐付けて、陳列棚上の物品有無センサの位置を特定する。そして、情報処理装置１２１０は、ステップＳ３１３において、各物品の積み重ね数を考慮して、識別された物品の位置と奥行き方向の個数を特定する。これにより、陳列棚上の各物品の積み重ね数を考慮した陳列数が計数される。

《情報処理装置の機能構成》
図１４は、本実施形態に係る情報処理装置１２１０の機能構成を示すブロック図である。なお、図１４において、図４と同様の機能構成には同じ参照番号を付して、説明は省略する。

図１４において、物品積み重ね列照合部１４１９は、物品識別情報と物品有無センサからの物品有無情報とを紐付けるため、物品識別による積み重ね列と、物品有無センサによる積み重ね列との照合により、画像の撮影位置を特定する。

（物品有無センサにおけるＲＦＩＤタグの位置関係）
図１５Ａは、本実施形態に係る物品有無センサ１２３０を説明する図である。なお、図１５Ａにおいて、図９Ｅと同様の要素には同じ参照番号を付して、説明は省略する。

第２実施形態の図９の物品有無センサ１２３０では、物品の有無を検出する。本実施形態の物品有無センサ１２３０においては、リーダアンテナ９３２とセンシング用ＲＦＩＤタグ９１４との電磁界結合の強弱を物品積み重ね数に対応して複数段階に分け、応答信号の強度を複数用意された閾値と比較して、物品無しと、物品有りの場合の物品積み重ね数とを判定する。この方法は、物品が薄く（例えば１ｃｍ以下）また物品積み重ね数が少ない（例えば２個以下）場合に有効である。

図１５Ａにおいて、左図は物品９６１が１つの場合の状態を示しており、右図は物品９６１が３つの場合の状態を示している。なお。図１５Ａの例では、物品９６１の底面とＲＦＩＤタグ９１４のタグアンテナ９７２との距離Ｌ１を決めるスペーサ（不図示）は、積み重ねた物品９６１の総重量に対応して短くなる材質からなる。一方、タグアンテナ９７２とリーダアンテナ９３２との距離Ｌ２を決めるスペーサ（不図示）は、積み重ねた物品９６１の総重量に対応して変化しにくい材質からなる。

このように物品有無センサ１２３０を製造すれば、左図の１つの物品９６１の底面とＲＦＩＤタグ９１４のタグアンテナ９７２との距離Ｌ11より、右図の３つの物品９６１の底面とＲＦＩＤタグ９１４のタグアンテナ９７２との距離Ｌ13は短くなる。これは、物品９６１の底面とＲＦＩＤタグ９１４のタグアンテナ９７２との電磁界結合を強め、その結果、リーダアンテナ９３２における応答信号強度は弱くなる。

図１５Ｂは、本実施形態に係るＲＦＩＤリーダの積み重ね数判定１５１０を説明する図である。

図１５Ｂのように、各シートＩＤ１５１１に対応つけて、例えば、物品なしと、物品１個、物品２個、物品３個を検出する場合には、４つの応答信号強度の閾値α1〜α4を適切に設定すれば、応答信号強度１５１２により物品積み重ね数１５１３を検出できる。

なお、本実施形態においては、物品９６１の底面とＲＦＩＤタグ９１４のタグアンテナ９７２との距離Ｌ１を物品重ね合わせ数により変化させる構成を示したが、タグアンテナ９７２とリーダアンテナ９３２との距離Ｌ２を変化させてもよい。

（物品積み重ね列照合）
図１６は、本実施形態に係る物品積み重ね列照合を説明する図である。

図１６の上段には、物品有無センサの検出データから生成された２つの陳列棚の最前列の物品積み重ね列パターン１６１０が図示されている。ここで、物品積み重ね列パターン１６１３の数字は、物品積み重ね数を表わしている。第１物品配列パターンは、陳列棚ＩＤ１６１１と、段１６１２と、物品積み重ね列パターン１６１３とを有する。第２物品配列パターンは、陳列棚ＩＤ１６１５と、段１６１６と、物品積み重ね列パターン１６１７とを有する。

図１６の下段には、画像から識別された物品から生成された物品積み重ね列パターン１６２１が図示されている。ここで、物品積み重ね列パターン１６２１で、物品積み重ね列パターン１６１３および物品積み重ね列パターン１６１７を操作する。本例においては、物品積み重ね列パターン１６２１と合致するパターンが、物品積み重ね列パターン１６１７の２段目以降、かつ、左から２列目の後（破線枠内）に現われる。その結果、画像から識別された物品から生成された物品積み重ね列パターン１６２１は、右側の陳列棚の２段目以降かつ２列目からを撮影していることが判明して、識別物品配列と物品有無配列とを紐付けることができる。なお、図１６においては、複数段を含むパターンを例に説明したが、１段の物品積み重ね列パターンや一部の物品積み重ね列パターンであってもよい。

《情報処理装置の処理手順》
図１７Ａは、本実施形態に係る情報処理装置１２１０の処理手順を示すフローチャートである。このフローチャートは、図１０ＡのＣＰＵ１０１０がＲＡＭ１０４０を使用しながら実行して、図１４の機能構成部を実現する。なお、図１７Ａにおいて、図１１Ａと同様のステップには同じステップ番号を付して、説明は省略する。

図１７Ａの図１１Ａとの相違は、情報処理装置１２１０が、ステップＳ１７０６において、物品識別処理結果と物品有無情報処理結果との物品積み重ね列パターンの照合を行なって、棚割やその撮影位置を特定する点である。

（物品積み重ね列照合処理）
図１７Ｂは、本実施形態に係る物品積み重ね列照合処理（Ｓ１７０６）の手順を示すフローチャートである。

情報処理装置１２１０は、ステップＳ１７２１において、撮影した積み重ねパターンと物品有無センサによる積み重ねパターンとを走査しながら照合する。情報処理装置１２１０は、ステップＳ１７２３において、合致する物品積み重ね列パターンが有るか否かを判定する。合致する物品積み重ね列パターンが有れば、情報処理装置１２１０は、ステップＳ１７２５において、合致する物品配列を有する陳列棚と撮影位置とを特定する。一方、合致する物品積み重ね列パターンが無ければ、情報処理装置１２１０は、ステップＳ１７２７において、陳列棚あるいは撮影位置が見付からないとしてエラー処理する。なお、ステップＳ１７２７において、エラー回数により物品識別精度や撮影位置・範囲を変えるように制御してもよい。

本実施形態によれば、物品の陳列位置を特定するための特別な事前準備なしに、物品陳列棚の撮影位置を確定できるので、撮影した画像に基づく物品の識別と、物品有無センサからの物品有無情報とを容易に紐付けて、物品積み重ね数を考慮した各物品の陳列数を確定することできる。

［第４実施形態］
次に、本発明の第４実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態に係る情報処理装置は、上記第２実施形態により得られた物品積み重ね数を保持し、それ以降、撮影画像から物品識別して得られた物品積み重ね数を考慮して、陳列数を確定する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態の出力画面は、図１０Ｂのように、物品表１０７３に最前列積み重ね数が表示される。そして、総陳列数に変わって、最前列積み重ね数を考慮した実陳列数が表示される。

《物品管理システム》
図１８Ａおよび図１８Ｂを参照して、本実施形態の物品管理システムの構成と動作を説明する。

（処理概要）
図１８Ａおよび図１８Ｂは、本実施形態に係る情報処理装置の処理の概要を示す図である。図１８Ａは陳列変更前と後との陳列棚の状態を斜視図で示し、図１８Ｂは陳列変更前と後との物品認識状態を示す図である。

図１８Ａにおいて、例えば、陳列変更前（客の購入前）１８２０においては、３つの各列に対して、１２個（奥行４列×３段重ね）、５個（奥行３列：１段＋２段＋２段）、３個（奥行３列×１段）が載置されている。これが、例えば、陳列変更後（客の購入後）１８３０においては、３つの各列に対して、１１個（奥行４列：２段＋３段＋３段＋３段）、４個（奥行２列×２段重ね）、２個（奥行２列×１段）が載置されている。

図１８Ｂは、図１８Ａの陳列変更前（客の購入前）１８２０と陳列変更後（客の購入後）１８３０とに対応する、物品有無センサの有無情報と、画像認識に基づく物品の種類および積み重ね数とである。陳列変更前（客の購入前）１８２０においては、３つの各列に対して、物品有無センサの有無情報は奥行４列、３列、３列であり、画像認識に基づく前面積み重ね数は３段、１段、１段である。陳列変更後（客の購入後）１８３０においては、３つの各列に対して、物品有無センサの有無情報は奥行４列、２列、２列であり、画像認識に基づく前面積み重ね数は２段、２段、１段である。これらの検出情報と識別情報とを紐付けて、図１８Ａに示した各物品の陳列数が認識できる。

（動作手順）
図１９は、本実施形態に係る情報処理装置１９１０を含む物品管理システムの動作手順を示すシーケンス図である。なお、図１９において、第２実施形態の図３と同様のステップには同じステップ番号を付して、説明を省略する。

情報処理装置１９１０は、ステップＳ１９１３において、各物品の積み重ね数を考慮して、識別された物品の位置と奥行き方向の個数を特定する。さらに、陳列棚上の各物品の前面積み重ね数を考慮した上で、陳列数が計数される。情報処理装置１９１０は、ステップＳ３１５において、陳列棚上の各物品の陳列数に基づく在庫管理処理を行なう。なお、かかる在庫管理処理は限定されない。

（棚割データベース）
図２０Ａは、本実施形態に係る棚割データベース２００６ａの構成を示す図である。棚割データベース２００６ａは、図４の棚割データベース４０６の一部分を表わしており、陳列棚に配置された物品有無センサの陳列棚内の位置を格納して、陳列棚の最前列の物品配列と、物品有無センサからの物品有無情報とを紐付けるために使用される。なお、図２０Ａにおいて、図５Ｂと同様の構成要素には同じ参照番号を付して、説明は省略する。なお、図２０Ａの数値は、図１８Ａおよび図１８Ｂに対応する一例である。

また、棚割データベース２００６ａは、各物品の積み重ね数２０２６を格納する。積み重ね数２０２６には、あらかじめ設定された積み重ね数、あるいは、第２実施形態で認識された積み重ね数が格納される。なお、棚割データベース２００６ａは、物品有無センサが陳列棚上の位置に対応付く情報であれば、構成は図２０Ａに限定されない。

（物品配列テーブル）
図２０Ｂおよび図２０Ｃは、本実施形態に係る変化前の物品陳列数の生成を説明する図である。図２０Ｂは、本実施形態に係る変化前の物品陳列数の生成を説明する図である。図２０Ｃは、本実施形態に係る変化後の物品陳列数の生成を説明する図である。なお、図２０Ｂおよび図２０Ｃの数値は、図１８Ａおよび図１８Ｂに対応する一例である。

図２０Ｂは、図１８Ａおよび図１８Ｂの陳列変更前（客の購入前）１８２０の物品陳列数の生成を説明している。

物品識別部２１１が識別した物品識別情報２０３０としては、各物品ＩＤ２０３１と、物品名／物品種別２０３２と、物品中心座標２０３３と、が含まれる。そして、物品ＩＤ２０３１と物品中心座標２０３３とによる同列のソートにより、各物品ＩＤ２０３５と列２０３６とに対応して、認識した前面積み重ね数２０３７が生成される。

一方、物品有無センサからの受信情報からの物品配列情報２０４０としては、シートＩＤ２０４１と、列２０４２、物品有りの検出数２０４３と、物品配置２０４４と、が含まれる。そして、物品有無情報と各列２０４５の積み重ね数２０４６とから、前面の積み重ね数を考慮しない見掛け陳列数２０４７が算出される。

各列の上記前面積み重ね数２０３７と積み重ね数２０４６と見掛け陳列数２０４７とから、物品陳列数情報２０５０として、物品ＩＤ２０５１と列２０５２との対応する実陳列数２０５３が算出される。

図２０Ｃは、図１８Ａおよび図１８Ｂの陳列変更後（客の購入後）１８３０の物品陳列数の生成を説明している。

物品識別部２１１が識別した物品識別情報２０６０としては、各物品ＩＤ２０６１と、物品名／物品種別２０６２と、物品中心座標２０６３と、が含まれる。そして、物品ＩＤ２０６１と物品中心座標２０６３とによる同列のソートにより、各物品ＩＤ２０６５と列２０６６とに対応して、前面積み重ね数２０６７が生成される。

一方、物品有無センサからの受信情報からの物品配列情報２０７０としては、シートＩＤ２０７１と、列２０７２、物品有りの検出数２０７３と、物品配置２０７４と、が含まれる。そして、物品有無情報と各列２０７５の積み重ね陳列数２０７６とから、前面の積み重ね数を考慮しない見掛け陳列数２０７７が算出される。

各列の上記前面積み重ね数２０６７と見掛け陳列数２０７７とから、物品陳列数情報２０８０として、物品ＩＤ２０８１と列２０８２との対応する物品実陳列数２０８３が算出される。

（棚割と陳列数テーブル）
図２０Ｄは、本実施形態に係る棚割と陳列数テーブル２０９０の構成を示す図である。棚割と陳列数テーブル２０９０は、棚割陳列数算出部４０８が、物品識別結果における前面積み重ね数を考慮して、物品認識結果と物品有無センサの検出結果とを紐付けてから算出した、物品陳列位置と陳列数とを記憶するテーブルである。なお、図２０Ｄにおいて、図５Ａおよび図２０Ｃと同様の項目には同じ参照番号を付す。なお、図２０Ｄの数値は、図２０Ｃに対応する一例である。

棚割と陳列数テーブル２０９０は、陳列棚前面の画像から認識された前面積み重ね数２０６７と物品実陳列数２０８３とを記憶する。

《情報処理装置の処理手順》
図２１Ａは、本実施形態に係る情報処理装置１９１０の処理手順を示すフローチャートである。このフローチャートは、図１０ＡのＣＰＵ１０１０がＲＡＭ１０４０を使用しながら実行して、情報処理装置１９１０の機能構成部を実現する。なお、図２１Ａにおいて図１１Ａと同様のステップには同じステップ番号を付して、説明は省略する。

図２１Ａの図１１Ａとの相違点は、情報処理装置１９１０が、ステップＳ２１０９において、前面積み重ね数を考慮して、棚内の物品配置および陳列数の確定する点である。

（物品配置および陳列数確定処理）
図２１Ｂは、本実施形態に係る物品配置および陳列数確定処理（Ｓ２１０９）の手順を示すフローチャートである。なお、図２１Ｂにおいて図１１Ｅと同様のステップには同じステップ番号を付して、説明を省略する。

図２１Ｂの図１１Ｅとの相違点は、情報処理装置１９１０が、ステップＳ２１６３において、各列の物品有りと積み重ね陳列数とから見掛け物品数を算出した後、前面の積み重ね数を考慮して実陳列数を算出する点である。

本実施形態によれば、各物品の積み重ね数を判定し、物品陳列棚に設置された物品有無センサからの物品有無情報と紐付けることにより、陳列棚に奥行き方向に積み重ねて陳列された複数種類の大量の物品を種類ごとに正確に計数できる。

［他の実施形態］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

Claims (12)

1. 同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサから、前記物品列に含まれる物品の有無情報を受信する物品有無情報受信手段と、
   撮像手段が前記陳列棚の前面を撮影することにより取得した物品画像に基づいて、前記陳列棚に載置された物品列の先頭の物品の種類を識別する物品識別手段と、
   識別された前記物品の載置された位置に対応付けて、前記物品の積み重ね数を判定する物品積み重ね数判定手段と、
   前記物品の積み重ね数を考慮し、前記物品有無情報受信手段が受信した有無情報と前記物品識別手段により得られた物品識別情報とを紐付けて、前記物品がいくつ陳列されているかを認識する陳列数認識手段と、
   を備える情報処理装置。
2. 前記物品識別手段は、
   前記画像から、複数の特徴点における局所特徴量を生成する局所特徴量生成手段と、
   前記複数の特徴点の座標に基づいて、前記複数の特徴点をクラスタリングする領域分割手段と、
   前記クラスタリングされた特徴点の局所特徴量と、物品の画像に基づいて生成された局所特徴量との照合により、物品を識別する照合手段と、
   を含む請求項１に記載の情報処理装置。
3. 前記物品積み重ね数判定手段は、前記物品識別手段が識別した先頭の物品の、局所特徴量から判定した陳列棚における位置座標に基づいて、陳列棚の同じ段の同じ列に載置された前記物品の積み重ね数を判定する請求項２に記載の情報処理装置。
4. 前記陳列数認識手段は、前記陳列棚における棚割に対応する物品有無センサの配置を記憶する棚割記憶手段を備え、前記物品有無センサの配置を参照して前記物品有無情報受信手段が受信した陳列数情報と前記物品識別手段により得られた物品識別情報とを紐付け、前記物品の積み重ね数を考慮して、前記物品が各種類につきいくつ陳列されているかを認識する請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記物品有無センサは、
   各物品の陳列位置に設置された識別子を有するＲＦＩＤタグと、
   各物品の配置により信号強度の変化を受ける電磁界を、前記ＲＦＩＤタグを含む領域に生成するアンテナを有し、前記ＲＦＩＤタグからの応答信号を受信する応答受信手段と、
   前記ＲＦＩＤタグからの応答信号の強度に基づいて、物品の有無を判定する有無判定手段と、
   を含む請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記応答受信手段は、前記物品の積み重ね数により信号強度が変化する前記ＲＦＩＤタグからの応答信号を受信し、
   前記有無判定手段は、物品の有無に加えて物品の積み重ね数を判定する請求項５に記載の情報処理装置。
7. 前記陳列棚には複数の物品列が載置され、
   前記陳列数認識手段は、撮影した画像に基づいて識別した物品積み重ね列パターンと物品有無センサから受信した物品積み重ね列パターンとを照合する照合手段を備え、物品積み重ね列パターンが合致した陳列棚の陳列位置の物品識別情報と物品有無情報とを紐付けて、前記物品が各種類につきいくつ陳列されているかを認識する請求項６に記載の情報処理装置。
8. 前記陳列数認識手段が認識した前記複数の物品のそれぞれの陳列数を表示する表示手段をさらに備える請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサから、前記物品列に含まれる物品の有無情報を受信する物品有無情報受信ステップと、
   撮像手段が前記陳列棚の前面を撮影することにより取得した物品画像に基づいて、前記陳列棚に載置された物品列の先頭の物品の種類を識別する物品識別ステップと、
   識別された前記物品の載置された位置に対応付けて、前記物品の積み重ね数を判定する物品積み重ね数判定ステップと、
   前記物品の積み重ね数を考慮し、前記物品有無情報受信ステップにおいて受信した有無情報と前記物品識別ステップにおいて得られた物品識別情報とを紐付けて、前記物品がいくつ陳列されているかを認識する陳列数認識ステップと、
   を含む情報処理装置の制御方法。
10. 同種の物品が手前から奥に向かって並べられた物品列を載置する陳列棚上に設けられた物品有無センサから、前記物品列に含まれる物品の有無情報を受信する物品有無情報受信ステップと、
    撮像手段が前記陳列棚の前面を撮影することにより取得した物品画像に基づいて、前記陳列棚に載置された物品列の先頭の物品の種類を識別する物品識別ステップと、
    識別された前記物品の載置された位置に対応付けて、前記物品の積み重ね数を判定する物品積み重ね数判定ステップと、
    前記物品の積み重ね数を考慮し、前記物品有無情報受信ステップにおいて受信した有無情報と前記物品識別ステップにおいて得られた物品識別情報とを紐付けて、前記物品がいくつ陳列されているかを認識する陳列数認識ステップと、
    をコンピュータに実行させる情報処理装置の制御プログラム。
11. 物品が陳列棚に配置されているか否かを検出センサ群により検出する物品検出手段と、
    前記物品の種類を撮影した前記陳列棚の画像から識別する物品識別手段と、
    識別された前記物品の載置された位置に対応付けて、前記物品の積み重ね数を判定する物品積み重ね数判定手段と、
    前記物品の積み重ね数を考慮し、前記物品検出手段による検出結果と前記物品識別手段による識別結果との紐付けに基づいて、前記陳列棚の何処にどの物品がどれだけ配置されているかを認識する陳列数認識手段と、
    を備える物品管理システム。
12. 物品が陳列棚に配置されているか否かを検出センサ群により検出する物品検出ステップと、
    物品識別手段が、前記物品の種類を撮影した前記陳列棚の画像から識別する物品識別ステップと、
    物品積み重ね数判定手段が、識別された前記物品の載置された位置に対応付けて、前記物品の積み重ね数を判定する物品積み重ね数判定ステップと、
    前記物品の積み重ね数を考慮し、陳列数認識手段が、前記物品検出ステップにおける検出結果と前記物品識別ステップにおける識別結果との紐付けに基づいて、前記陳列棚の何処にどの物品がどれだけ配置されているかを認識するは陳列数認識ステップと、
    を含む物品管理方法。

Images