JP7444652B2 - 商品管理装置及び商品管理システム - Google Patents

Description

本発明の実施形態は、商品管理装置及び商品管理システムに関する。

近年、店舗において、レジつまりチェックアウトレーンが不要なレジレス店舗が現れている。このレジレス店舗では、買物客が商品を棚から取り出す、つまりピックアップすると、その商品が自動的に購入リストに登録される。そして、買物客の退店時に、この購入リストの内容に基づいて会計処理が行われる。

このようなレジレス店舗を実現するためには、商品棚から取り出された商品の識別と個数の検知を行うことが必要である。

特開２０１７－１５７２１６号公報

本発明の実施形態が解決しようとする課題は、商品棚から取り出された商品の識別と個数の検知を行うことができる商品管理装置及び商品管理システムを提供しようとするものである。

一実施形態において、商品管理装置は、第１の取得部、第２の取得部、特定部、第３の取得部、算出部及び対応付け部を備える。第１の取得部は、奥行方向に延びる各領域に陳列された商品列を奥行方向の第１端側へ移動させる移動機構を備える商品棚の第１端側を撮影する１以上のカメラから撮影データを取得する。第２の取得部は、商品棚の各領域に陳列された商品列において奥行方向の第１端側とは反対側の第２端側に位置する商品から基準位置までの距離を領域毎に測定する複数の距離センサから距離データを取得する。特定部は、第１の取得部で取得された撮影データ及び第２の取得部で取得された距離データに基づいて、商品棚の距離変化の生じた領域から取られた商品を特定する。第３の取得部は、記憶部から特定部で特定された商品のサイズ情報を取得する。算出部は、第３の取得部で取得された商品のサイズ情報及び第２の取得部で取得された距離データに基づいて、商品棚の距離変化の生じた領域から取られた商品の数を求める。対応付け部は、商品棚の各領域に陳列された商品列の商品を判別する指示に応じて、第１の取得部で取得された撮影データに基づいて商品を判別し、距離センサと商品とを対応付ける。

商品管理装置を備える商品管理システムの一実施形態のハードウェア構成を示すブロック図。 商品管理装置が備える記憶部に記憶される対応付けテーブルのレコードの構成の一例を示す図。 各種商品が陳列される商品棚を正面側から見た模式図。 商品棚を側面方向から側板を透過して見た模式図。 商品管理装置におけるプロセッサの要部制御手順を示す流れ図。 カメラからの撮影データの一例を示す模式図。 商品取り出し前の商品列の状態を示す模式図。 商品取り出し後の商品列の状態を示す模式図。 カメラからの撮影データの一例を示す模式図。 商品取り出し前の商品列の状態を示す模式図。 商品取り出し後の商品列の状態を示す模式図。 他の実施形態における商品棚を正面側から見た模式図。 他の実施形態における商品棚を側面方向から側板を透過して見た模式図。 さらに別の実施形態における商品棚を側面方向から側板を透過して見た模式図。

以下、商品棚から取り出された商品の識別と個数の検知を行うことができる商品管理装置及び商品管理システムの実施形態について、図面を用いて説明する。

図１は、店舗に設けられる商品管理装置１を備える商品管理システムの一実施形態のハードウェア構成を示すブロック図である。商品管理システムは、この商品管理装置１に加えて、複数の距離センサ２、複数のカメラ３及び商品データベース４を備える。各距離センサ２は、移動機構５に設けられている。なお、図１では、データベースをＤＢと略記している。

商品管理装置１は、プロセッサ１１、記憶部１２、表示インタフェース１３、操作インタフェース１４、商品データインタフェース１５、上位システムインタフェース１６、距離センサ群インタフェース１７、カメラ群インタフェース１８及びシステム伝送路１９を備えている。また、特に図示はしていないが、現在時刻を計時する時計を備える。なお、図１では、インタフェースをＩ／Ｆと略記している。プロセッサ１１、記憶部１２、表示インタフェース１３、操作インタフェース１４、商品データインタフェース１５、上位システムインタフェース１６、距離センサ群インタフェース１７及びカメラ群インタフェース１８は、それぞれシステム伝送路１９と接続している。システム伝送路１９は、アドレスバス、データバス、制御信号線等を含む。商品管理装置１では、プロセッサ１１及び記憶部１２がシステム伝送路１９で接続されて、商品管理装置１を制御するための情報処理を行うコンピュータが構成される。

表示インタフェース１３は、表示装置１３１と接続している。操作インタフェース１４は、入力装置１４１と接続している。商品データインタフェース１５は、商品データベース４と接続している。距離センサ群インタフェース１７は、複数の距離センサ２と接続している。カメラ群インタフェース１８は、複数のカメラ３と接続している。

商品管理装置１のプロセッサ１１は、上記コンピュータの中枢部分に相当する。プロセッサ１１は、オペレーティングシステムまたはアプリケーションプログラムに従って、商品管理装置１としての各種の機能を実現するべく各部を制御する。プロセッサ１１は、例えばＣＰＵ（Central Processing Unit）である。

記憶部１２は、上記コンピュータの主記憶部分に相当する。記憶部１２は、不揮発性のメモリ領域及び揮発性のメモリ領域を含む。記憶部１２は、不揮発性のメモリ領域ではオペレーティングシステムまたはアプリケーションプログラムを記憶する。記憶部１２は、プロセッサ１１が各部を制御するための処理を実行する上で必要なデータを揮発性のメモリ領域で記憶する。例えば、記憶部１２は、後述する対応付けテーブルを記憶する。プロセッサは、記憶部１２の揮発性のメモリ領域を、データが適宜書き換えられるワークエリアとして使用する。不揮発性のメモリ領域は、例えばＲＯＭ（Read Only Memory）である。不揮発性メモリ領域は、ＥＥＰＲＯＭ（Electric Erasable Programmable Read-Only Memory）、ＨＤＤ（Hard Disc Drive）またはＳＳＤ（Solid State Drive）等の周知の記憶デバイスを単独で、あるいは複数組み合わせて用いても良い。揮発性のメモリ領域は、例えばＲＡＭ（Random Access Memory）である。

図２は、記憶部１２に記憶される対応付けテーブル１２１のレコードの構成の一例を示す図である。１つのレコードは、領域ＩＤに対応付けて、距離センサＩＤ、カメラＩＤ、商品コード及び厚み情報を記憶する。この対応付けテーブル１２１は、どの商品がどの商品棚のどの陳列位置に陳列されているのかを示す棚割データである。

ここで、領域ＩＤは、商品が陳列される商品棚の陳列位置を個々に識別するために、陳列領域毎に設定された一意の識別コードである。従って、対応付けテーブル１２１は、店舗に設けられた全商品棚における陳列領域の個数分のレコードを有する。商品棚の増減や、各商品棚における棚の段数の増減、各段における領域の設定に応じて、対応付けテーブル１２１のレコード数は増減する。

距離センサＩＤは、距離センサ２を個々に識別するために距離センサ２毎に設定された一意の識別コードである。後述するように、距離センサ２は、陳列領域毎に設置されるため、領域ＩＤと距離センサＩＤとは１対１に対応する。

カメラＩＤは、カメラ３を個々に識別するためにカメラ３毎に設定された一意の識別コードである。後述するように、カメラ３も距離センサ２と同様に、陳列領域毎に設置されるため、領域ＩＤとカメラＩＤとは１対１に対応する。

商品コードは、各商品を個々に識別するために商品毎に設定された一意の識別コードである。対応付けテーブル１２１が記憶する商品コードは、領域ＩＤで特定される陳列領域に陳列されている商品を示す。従って、対応付けテーブル１２１の各レコードの商品コードは、棚割により陳列領域に陳列される商品が入れ替えられる毎に、書き換えられる。

厚み情報は、商品コードで示される商品のサイズ情報である。商品を陳列する際、どの面を買物客に正対させるのかにより、当該商品が陳列領域に占める左右方向、上下方向、奥行方向のサイズが変わってくる。厚み情報は、商品の陳列形態に応じた奥行方向のサイズ情報である。従って、対応付けテーブル１２１の各レコードの厚み情報は、棚割により陳列領域に陳列される商品が入れ替えられる毎に、書き換えられる。

表示インタフェース１３は、プロセッサ１１が表示装置１３１へ表示データを伝達するためのインタフェースである。表示装置１３１は、液晶ディスプレイや有機ＥＬディスプレイであって良い。プロセッサ１１は、表示インタフェース１３を介して、表示装置１３１に表示データに基づく各種の情報を表示させることができる。

操作インタフェース１４は、プロセッサ１１が入力装置１４１等の入力装置からの入力データを受け取るためのインタフェースである。入力装置１４１は、キーボードやマウスなどを含む。入力装置１４１は、表示装置１３１の表示画面上に配置されたタッチパネルであっても良い。入力装置１４１で行われた操作に対応する入力データは、操作インタフェース１４を介してプロセッサ１１に伝達される。入力装置１４１は、例えば、プロセッサ１１に対し後述する画像撮影指示や終了指示を行うために使用されることができる。

商品データインタフェース１５は、プロセッサ１１が商品データベース４にアクセスするためのインタフェースである。プロセッサ１１は、商品データインタフェース１５を介して、商品データベース４から商品に関する情報を取得する。なお、図１では、商品データベース４は、商品管理装置１の外部に構成されるものとしているが、商品管理装置１の記憶部１２に記憶していても良い。商品データベース４は、各商品の商品コードと関連付けて、商品情報を記憶する記憶部である。商品情報は、外観特徴量データ、陳列形態に応じた複数のサイズ情報、等の商品自体に関する情報である。サイズ情報は、例えば、商品が直方体である場合、３辺のサイズ情報を含む。

上位システムインタフェース１６は、プロセッサ１１が会計システムや店舗システム等の図示しない上位システムとの間でデータ授受を行うためのインタフェースである。プロセッサ１１は、上位システムインタフェース１６を介して、上位システムにデータを送信し、また、上位システムからデータを受信する。なお、上位システムインタフェース１６は、有線または無線による通信インタフェースであっても良い。そうすることで、プロセッサ１１は、上位システムインタフェース１６を介して、ＬＡＮ（Local Area Network）やインターネット等のネットワークに接続された、上位システムを構成する他の機器とデータ通信を行うことができる。

距離センサ群インタフェース１７は、プロセッサ１１が複数の距離センサ２との間でデータ授受を行うためのインタフェースである。距離センサ２は、内蔵メモリを有し、一定時間分の距離データを保持可能なものがある。このような距離センサ２を使用する場合、プロセッサ１１は、距離センサ群インタフェース１７を介して距離センサ２に距離を問合せ、距離センサ２は、その問合せに対して距離変化の有無と、距離データを返す。この場合の距離データは、現時点での距離、変化前後の距離、もしくは距離変位量である。また、距離センサ２は、距離変化が有った際に、自発的に距離変化通知と共に距離データを出力するものもある。さらに、距離センサ２には、内蔵メモリを有せず、単にその時点での距離を示す測定データを距離データとして出力するものもある。本実施形態では、プロセッサ１１からの問合せに対して距離変化の有無と距離変位量を含む距離データとを返却するタイプの距離センサ２を使用するものとして説明する。

カメラ群インタフェース１８は、プロセッサ１１が複数のカメラ３それぞれからの撮影データを受け取るためのインタフェースである。

以下、各種商品が陳列される商品棚における複数の距離センサ２及び複数のカメラ３の配置関係を説明する。

図３は、商品棚６を正面側から見た模式図であり、図４は、商品棚６を側面方向から側板を透過して見た模式図である。図３及び図４では、天板６１と底板６２との間を２つの棚板６３で仕切った３段構成の商品棚６を例示している。そして各段は、左右及び中央の３つの陳列領域に分けられている。各陳列領域は、底板６２及び棚板６３の奥行方向に延びている。この１つの陳列領域に、１種類の商品７２が商品列７１として並べて陳列される。

各陳列領域の商品７２が陳列される面には、各陳列領域に陳列された商品列７１を自動的に前出しする、すなわち、奥行方向の正面側へ移動させる移動機構５が配置されている。以下、この正面側を第１端側と称する。移動機構５は、その陳列領域に陳列された商品７２を第１端側に向けて押圧する押圧板５１を有する。この押圧板５１は、レール５２によって移動方向が規制され、陳列領域の第１端側とこれとは反対側の第２端側との間を摺動する。押圧板５１は、バネ等の図示しない付勢部材によって第１端側へ向けて付勢されており、この付勢力によって商品列７１の商品７２を第１端側に向けて押圧する。底板６２及び棚板６３の第１端側の端部は、ストッパ６２１及び６３１として立ち上がっている。ストッパ６２１及び６３１は、最前のすなわち最も第１端側の商品７２の第１端側の方向への移動を制限する。このように最も第１端側の商品７２はストッパ６２１または６３１によって第１端側方向への移動が規制され、最も第２端側の商品７２は押圧板５１によって第１の方向へ向けて押圧される。これにより、商品列７１の商品７２は隙間なく配列される。

距離センサ２は、各陳列領域に陳列された商品列７１において奥行方向の第１端側とは反対側の第２端側に位置する商品７２から基準位置までの距離を陳列領域毎に測定する。基準位置は、例えば、商品棚６の背面板６４の位置である。そのため、距離センサ２は、各陳列領域に対応させて背面板６４に取り付けられている。距離センサ２は、例えば、図４に一点鎖線で示すように、超音波やレーザ、赤外線等の光を利用して対象物までの距離を計測する。

カメラ３も、各陳列領域に対応して、商品棚６の天板６１及び棚板６３それぞれに、上記第１端側を撮影するように取り付けられている。カメラ３は、例えばＣＣＤ（Charge Coupled Device）カメラである。カメラ３は、少なくとも第１端側に位置する商品７２を撮影可能であれば、その取り付け位置及び取り付け角度を特に限定しない。

図５は、商品管理装置１におけるプロセッサ１１の要部制御手順を示す流れ図である。以下、この図を用いて、商品管理装置１の動作について説明する。なお、以下に説明する動作の手順及びその内容は一例である。同様な結果が得られるのであれば、その手順及び内容は限定されるものではない。

まず、プロセッサ１１は、操作インタフェース１４を介して入力装置１４１より画像撮影指示を受けたか否か判断する（ＡＣＴ１１）。店員等の商品管理装置１の使用者は、棚割によって商品７２の陳列位置の変更を行った際に、入力装置１４１を操作して、この画像撮影指示を発生させることができる。ここで、画像撮影指示を受けていない場合（ＡＣＴ１１のＮＯ）、プロセッサ１１は、以下に説明するような、商品７２の取り出し検出及びその取り出された商品７２の個数算出のための、距離センサＩＤ毎のループ処理へ進む。

これに対して、画像撮影指示を受けた場合（ＡＣＴ１１のＹＥＳ）、プロセッサ１１は、カメラ群インタフェース１８を介して、各カメラ３から撮影データを取得し、記憶部１２に一時保存する（ＡＣＴ１２）。かくして、プロセッサ１１は、１以上のカメラから撮影データを取得する第１の取得部として機能する。

次に、プロセッサ１１は、取得した各撮影データから、対応する陳列領域に陳列されている商品列７１の商品７２を識別する（ＡＣＴ１３）。図６は、カメラ３からの撮影データの一例を示す模式図である。例えば、プロセッサ１１は、この撮影データに対して既知の画像認識を行って商品７２の特徴量を抽出する。そして、プロセッサ１１は、商品データインタフェース１５を介して、その特徴量により商品データベース４を検索して、該当する外観特徴量を持つ商品を特定する。なお、撮影データに基づく商品の特定手法は、これに限定するものではなく、機械学習等、どのような手法を採用しても構わない。プロセッサ１１は、こうして特定した商品の商品ＩＤを、対応付けテーブル１２１の、その撮影データの発生元であるカメラ３のカメラＩＤを記憶しているレコードへ記憶する。対応付けテーブル１２１は、前述したように、距離センサＩＤとカメラＩＤとを対応付けて記憶している。かくして、プロセッサ１１は、距離センサ２と商品７２とを対応付ける対応付け部として機能する。

また、プロセッサ１１は、上記商品の識別の際、その商品がどの向きで陳列されているのかを知ることができる。例えば、商品が直方体の場合、商品データベース４は、外観特徴量データとして、その商品の前後左右上下の６面の特徴量データを記憶している。従って、撮影データ中の商品を識別する際、その商品が何れであるかだけでなく、カメラ３がその商品の何れの面を撮影したのかも識別することができる。プロセッサ１１は、この識別結果に基づき、商品データベース４より、陳列領域の奥行方向における各商品７２のサイズ情報、つまり厚み情報を取得する（ＡＣＴ１４）。かくして、プロセッサ１１は、商品７２のサイズ情報を取得する第３の取得部として機能する。そして、プロセッサ１１は、この取得した厚み情報を、対応付けテーブル１２１の、その撮影データの発生元であるカメラ３のカメラＩＤを記憶しているレコードへ記憶する。

以上のようにして、棚割に応じた対応付けテーブル１２１の更新が行われる。

ＡＣＴ１４の処理終了後、あるいは棚割を行っておらず画像撮影指示を受けていない場合（ＡＣＴ１１のＮＯ）、プロセッサ１１は、以下の距離センサＩＤ毎のループ処理を実施する。このループ処理は、距離センサＩＤ毎つまり陳列領域毎に、商品７２の取り出し検出及びその取り出された商品７２の個数算出を、全ての距離センサＩＤに対して行うものである。

まず、プロセッサ１１は、当該距離センサＩＤで示される距離センサ２に対し、距離センサ群インタフェース１７を介して問合せる。そして、プロセッサ１１は、その距離センサ２から、距離変化検知の応答が有ったか否か判断する（ＡＣＴ１５）。距離変化検知の応答が無かった場合（ＡＣＴ１５のＮＯ）、プロセッサ１１は、当該距離センサＩＤについては、この距離センサＩＤ毎のループの処理が終了するまで待機する。

これに対して、距離センサ２から距離変化検知の応答が有った場合（ＡＣＴ１５のＹＥＳ）、プロセッサ１１は、距離センサ２から距離変位量を示す距離データを取得すると共に、距離変位発生時刻を取得して、記憶部１２に一時記憶する（ＡＣＴ１６）。かくして、プロセッサ１１は、距離データを取得する第２の取得部として機能する。なお、距離変位発生時刻は、現在時刻を図示しない時計によって取得することができる。

次に、プロセッサ１１は、対応付けテーブル１２１から、距離センサＩＤに対応する陳列領域に陳列されている商品列７１の商品７２の商品コードと厚み情報を選択する（ＡＣＴ１７）。かくして、プロセッサ１１は、商品棚６から取り出された商品７２を特定する特定部として機能する。

そして、プロセッサ１１は、ＡＣＴ１６で取得した距離変位量をＡＣＴ１７で選択した厚み情報で除算することで、取り出された商品７２の個数を算出する（ＡＣＴ１８）。かくして、プロセッサ１１は、取り出された商品７２の数を求める算出部として機能する。

例えば、ある商品７２の３辺のサイズが、１００ｃｍ×１５０ｃｍ×５０ｃｍだったとする。そして、図６に示すような撮影データから、当該商品７２の奥行方向のサイズ情報つまり厚み情報として、例えば５０ｃｍが取得される。図７は、この場合の商品７２の取り出し前の商品列７１の状態を示す模式図であり、図８は、同じく商品７２の取り出し後の商品列７１の状態を示す模式図である。図７に示すように、商品棚６の棚板６３に商品７２が４個陳列されている取り出し前の状態で、距離センサ２では１１０ｃｍの距離が測定されていたとする。そして、商品７２が取り出されたとき、距離センサ２で測定された距離が２１０ｃｍに変化したとする。このような場合、距離変位量は、２１０ｃｍ－１１０ｃｍ＝１００ｃｍである。一方、カメラ３の撮影データから判別された商品７２の厚み情報は、奥行サイズである５０ｃｍである。よって、プロセッサ１１は、１００ｃｍ／５０ｃｍ＝２と算出し、商品７２の取り出個数は２個であると求めることができる。

図９乃至図１１は、商品７２が別の向きで並べて陳列されていた場合を示している。すなわち、図９は、カメラ３からの撮影データの一例を示す模式図であり、図１０は、商品７２を取り出し前の商品列７１の状態を示す模式図であり、図１１は、商品７２を取り出し後の商品列７１の状態を示す模式図である。この場合、距離変位量は同じく１００ｃｍであるが、厚み情報としては１００ｃｍが取得される。よって、プロセッサ１１は、１００ｃｍ／１００ｃｍ＝１と算出し、商品７２の取り出個数は１個であると求めることができる。

以上のようにして取り出した商品の個数が算出されたならば、プロセッサ１１は、距離変位発生時刻を示す時刻情報と、取り出された商品７２の商品コードと、算出した個数を示す個数情報と、を上位システムインタフェース１６を介して上位システムへ出力する（ＡＣＴ１９）。

以上のＡＣＴ１５乃至ＡＣＴ１９の処理を全ての距離センサＩＤについて行ったならば、プロセッサ１１は、この距離センサＩＤ毎のループ処理を終了する。

そして、プロセッサ１１は、操作インタフェース１４を介して入力装置１４１より終了指示を受けたか否か判断する（ＡＣＴ２０）。店員等の商品管理装置１の使用者は、入力装置１４１を操作して、この終了指示を発生させることができる。これにより、例えば、棚割による商品７２の陳列位置を変更する際に、商品管理装置１の動作を一時的に停止させることができる。ここで、終了指示を受けていない場合（ＡＣＴ２０のＮＯ）、プロセッサ１１は、ＡＣＴ１の処理へ進む。また、終了指示を受けた場合には（ＡＣＴ２０のＹＥＳ）、プロセッサ１１は、動作を終了する。

かかる構成の商品管理装置１においては、プロセッサ１１は、奥行方向に延びる各陳列領域に並べて陳列された商品列７１を奥行方向の第１端側へ移動させる移動機構５を備える商品棚６の第１端側を撮影する１以上のカメラ３から撮影データを取得する。またプロセッサ１１は、商品棚６の各陳列領域に陳列された商品列７１において奥行方向の第１端側とは反対側の第２端側に位置する商品７２から基準位置までの距離を陳列領域毎に測定する複数の距離センサ２から距離データを取得する。そして、プロセッサ１１は、それら取得された撮影データ及び距離データに基づいて、商品棚６の距離変化の生じた陳列領域から取られた商品７２を特定する。また、プロセッサ１１は、商品データベース４から取得して対応付けテーブル１２１に記憶されている特定された商品７２のサイズ情報である厚み情報を取得する。そして、プロセッサ１１は、その取得された商品７２のサイズ情報及び取得された距離データに基づいて、商品棚６の距離変化の生じた領域から取られた商品７２の数を求める。

従って、商品管理装置１のプロセッサ１１は、商品棚６から取り出された商品７２の識別と個数の検知を行うことができる。

また、プロセッサ１１は、商品７２の棚割りの変更に応じて発せられる、商品棚６の各陳列領域に陳列された商品列７１の商品７２を判別する指示に応じて、１以上のカメラ３から撮影データを取得して、その取得された撮影データに基づいて商品７２を判別し、距離センサ２の距離センサＩＤと商品７２の商品コードとを対応付けて、対応付けテーブル１２１に登録する。

商品棚６から取り出された商品７２の識別と個数の検知を行うには、商品陳列の棚割データが既知情報として必要である。しかし、棚割が変更されると、棚割データは実状に追随できない。従来、棚割が行われる毎に、その新しい棚割に応じた棚割データを人手により入力することが必要であった。これに対して、本実施形態では、棚割が行われた際には入力装置１４１から指示を入力するだけで、プロセッサ１１が、カメラ３の撮影データに基づいて、自動的に棚割データを更新することができる。

この場合、プロセッサ１１は、判別した商品７２のサイズ情報である厚み情報を商品データベース４から取得し、距離センサＩＤ及び商品コードと厚み情報とを対応付けて、対応付けテーブル１２１に登録する。こうして、プロセッサ１１は、商品７２のサイズ情報を自動的に取得して、棚割データを更新することができる。そして、プロセッサ１１は、この対応付けされた距離センサＩＤと商品コードと厚み情報とを参照して、商品７２の特定及び商品７２の厚み情報の取得を行う。

また、このとき、プロセッサ１１は、取得された撮影データに基づいて商品７２の商品列７１における陳列形態を判別し、商品データベース４が記憶する各商品７２についての陳列形態に応じた奥行方向の複数のサイズ情報のなかから、判別した陳列形態に対応する奥行方向のサイズ情報を取得する。

すなわち、商品７２がどの向きで陳列されるのかによって、奥行方向のサイズ情報は異なる。プロセッサ１１は、商品７２の陳列向きを判別して、その向きに対応するサイズ情報を取得し、厚み情報として対応付けテーブル１２１に登録することができる。

以上、商品棚６から取り出された商品の７２識別と個数の検知を行うことができる商品管理装置１及びそれを備える商品管理システムの実施形態について説明したが、かかる実施形態はこれに限定されるものではない。

図１２は、他の実施形態における商品棚６を正面側から見た模式図であり、図１３は、他の実施形態における商品棚６を側面方向から側板を透過して見た模式図である。このように、陳列領域毎に複数台のカメラ３を設ける代わりに、天井８に取り付けた１台のカメラ３のみ使用するようにしても良い。この１台のカメラ３は、一つの商品棚６の全ての陳列領域を撮影範囲とするよう、その取り付け位置及び取り付け角度が調整される。この場合、記憶部１２の対応付けテーブル１２１では、一つのカメラＩＤが複数の領域ＩＤ及び距離センサＩＤに対応付けられる。公知の画像認識により、プロセッサ１１は、一つの撮影データから商品棚６における陳列位置と商品７２との関係を判別することができる。

また、各陳列領域に陳列された商品列７１を自動的に前出しする移動機構５についても、様々な構成のものを使用することができる。図１４は、さらに別の実施形態における商品棚６を側面方向から側板を透過して見た模式図である。このように、移動機構５は、単純に、商品棚６の底板６２及び棚板６３を背面板６４から前方に向けて傾斜させただけのものであっても良い。このように商品陳列領域に傾斜を設けたことで、商品７２が自重により前出しされる。

また、上記実施形態では、プロセッサ１１からの問合せに対して距離変化の有無と距離変位量を含む距離データとを返却するタイプの距離センサ２を使用する場合を説明した。しかしながら、その他のタイプの距離センサ２が使用されることができる。例えば、内蔵メモリを有せず、単にその時点での距離を示す測定データを距離データとして出力する距離センサ２を使用して良い。この場合、例えば記憶部１２の対応付けテーブル１２１の各レコードまたは対応付けテーブル１２１以外に、２回分の距離データを記憶するエリアを設ける。そして、プロセッサ１１は、各距離センサ２からの距離データを定期的に取得して、取得した距離データをその２つのエリアに交互に記憶する。その記憶の際に、プロセッサ１１は、２つの距離データを比較することで距離変位の有無及び距離変位量を知ることができる。

また、上記実施形態では、プロセッサ１１は、全ての距離センサＩＤについて、距離センサＩＤ毎に商品７２の取り出し検出及び個数算出を行っている。しかしながら、プロセッサ１１は、距離変化があった距離センサ２についてのみ個数算出を行うようにしても良い。この場合、距離センサＩＤ毎のループではなく、以下のような処理になる。なお、距離センサ２は、距離変化が有った際に、自発的に距離変化通知と共に距離データを出力するタイプのものを使用する。すなわち、プロセッサ１１は、距離変化が有った距離センサ２からの距離変化通知を受けて、それに対応する商品７２の個数を算出する。

なお、各実施形態は、商品棚６から取り出された商品７２の個数を算出するものとして説明した。しかしながら、買物客が一旦取り出した商品７２を元の陳列位置に戻した場合も、同様の構成及び処理によって、その返却個数も算出することができることは言うまでもない。

この他、各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態及びその変形は、発明の範囲に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…商品管理装置、 ２…距離センサ、 ３…カメラ、 ４…商品データベース（商品ＤＢ）、 ５…移動機構、 ６…商品棚、 ８…天井、 １１…プロセッサ、 １２…記憶部、 １３…表示インタフェース（表示Ｉ／Ｆ）、 １４…操作インタフェース（操作Ｉ／Ｆ）、 １５…商品データインタフェース（商品データＩ／Ｆ）、 １６…上位システムインタフェース（上位システムＩ／Ｆ）、 １７…距離センサ群インタフェース（距離センサ群Ｉ／Ｆ）、 １８…カメラ群インタフェース（カメラ群Ｉ／Ｆ）、 １９…システム伝送路、 ５１…押圧板、 ５２…レール、 ６１…天板、 ６２…底板、 ６３…棚板、 ６４…背面板、 ７１…商品列、 ７２…商品、 １２１…対応付けテーブル、 １３１…表示装置、 １４１…入力装置、 ６２１，６３１…ストッパ。

Claims (4)

1. 奥行方向に延びる各領域に陳列された商品列を前記奥行方向の第１端側へ移動させる移動機構を備える商品棚の前記第１端側を撮影する１以上のカメラから撮影データを取得する第１の取得部と、
   前記商品棚の前記各領域に陳列された前記商品列において前記奥行方向の前記第１端側とは反対側の第２端側に位置する商品から基準位置までの距離を領域毎に測定する複数の距離センサから距離データを取得する第２の取得部と、
   前記第１の取得部で取得された前記撮影データ及び前記第２の取得部で取得された前記距離データに基づいて、前記商品棚の距離変化の生じた領域から取られた商品を特定する特定部と、
   記憶部から前記特定部で特定された前記商品のサイズ情報を取得する第３の取得部と、
   前記第３の取得部で取得された前記商品のサイズ情報及び前記第２の取得部で取得された前記距離データに基づいて、前記商品棚の距離変化の生じた領域から取られた前記商品の数を求める算出部と、
   前記商品棚の前記各領域に陳列された前記商品列の前記商品を判別する指示に応じて、前記第１の取得部で取得された前記撮影データに基づいて前記商品を判別し、前記距離センサと前記商品とを対応付ける、対応付け部と、
   を備える商品管理装置。
2. 前記対応付け部は、前記判別した前記商品の前記サイズ情報を前記記憶部から取得し、前記距離センサ及び前記商品と前記サイズ情報とを対応付け、
   前記特定部及び前記第３の取得部は、前記対応付け部で対応付けされた前記距離センサと前記商品と前記サイズ情報とを参照して、前記商品の特定及び前記商品の前記サイズ情報の取得を行う、
   請求項１記載の商品管理装置。
3. 前記対応付け部は、前記第１の取得部で取得された前記撮影データに基づいて前記商品の前記商品列における陳列形態を判別し、前記記憶部が記憶する各商品についての陳列形態に応じた前記奥行方向の複数のサイズ情報のなかから、前記判別した陳列形態に対応する前記奥行方向のサイズ情報を取得する、請求項２記載の商品管理装置。
4. 奥行方向に延びる各領域に陳列された商品列を前記奥行方向の第１端側へ移動させる移動機構を備える商品棚の、前記各領域に陳列された前記商品列において、前記奥行方向の前記第１端側とは反対側の第２端側に位置する商品から基準位置までの距離を領域毎に測定する複数の距離センサと、
   前記商品棚から取られた商品の個数を算出する商品管理装置と、
   を備え、
   前記商品管理装置は、
   前記商品棚の前記第１端側を撮影する１以上のカメラから撮影データを取得する第１の取得部と、
   前記複数の距離センサから距離データを取得する第２の取得部と、
   前記第１の取得部で取得された前記撮影データ及び前記第２の取得部で取得された前記距離データに基づいて、前記商品棚の距離変化の生じた領域から取られた商品を特定する特定部と、
   記憶部から前記特定部で特定された前記商品のサイズ情報を取得する第３の取得部と、
   前記第３の取得部で取得された前記商品のサイズ情報及び前記第２の取得部で取得された前記距離データに基づいて、前記商品棚の距離変化の生じた領域から取られた前記商品の数を求める算出部と、
   前記商品棚の前記各領域に陳列された前記商品列の前記商品を判別する指示に応じて、前記第１の取得部で取得された前記撮影データに基づいて前記商品を判別し、前記距離センサと前記商品とを対応付ける、対応付け部と、
   を備える、
   商品管理システム。