JP7034640B2

JP7034640B2 - 物品管理装置

Info

Publication number: JP7034640B2
Application number: JP2017177743A
Authority: JP
Inventors: 景太山崎; 真明安永; 友成柿野
Original assignee: Toshiba TEC Corp
Current assignee: Toshiba TEC Corp
Priority date: 2016-09-15
Filing date: 2017-09-15
Publication date: 2022-03-14
Anticipated expiration: 2037-09-15
Also published as: JP2021183547A; JP2018048024A; CN107822400B; CN107822400A

Description

本発明の実施形態は、物品管理装置に関する。

例えば、スーパーなどの店舗には棚が設置され、棚には物品（商品等）が陳列される。一般的に、棚の商品は売れ行きに応じて定期的に補充されるが、商品が欠品してしまうこともある。商品が欠品している状態が長く続くと、その間、販売機会が失われ、売上げ低下につながるおそれがある。そこで、商品の欠品期間を短くするため、商品の欠品を検知するための様々な技術が提案されている。

上記に加えて、棚の商品が不足している状態（所謂、品薄状態）も好ましくない。品薄状態は購買者の購買意欲の低下を招き、その結果、売上げ低下を引き起こす可能性がある。

国際公開第２０１５／１３６８４７号公報

棚の商品の欠品を検知するための様々な技術が提案されているが、欠品だけでなく品薄状態等を検出する技術が望まれている。

本発明の実施形態が解決しようとする課題は、棚等に並べられた物品の状況検出に優れた物品管理装置を提供することである。

実施形態に係る物品管理装置は、物品までの距離情報を取り込む距離情報取込部と、前記距離情報取込部により取り込まれた前記距離情報と距離情報記憶部に記憶される閾値を比較して、品薄状態に対応する座標値を出力する距離情報比較部と、を具備する。

実施形態１に係る物品管理システム（物品管理装置を含む）の側面図の一例を示す図である。実施形態１に係る物品管理装置の構成図の一例を示す図である。実施形態１に係る物品管理装置による物品管理処理のフローチャートの一例を示す図である。実施形態２に係る物品管理装置の構成図の一例を示す図である。実施形態２に係る物品管理装置による物品管理処理のフローチャートの一例を示す図である。実施形態２に係る物品配置位置の例を示す図である。実施形態３に係る物品管理システム（物品管理装置を含む）の外観図の一例を示す図である。実施形態３に係る物品管理装置の構成図を示す図である。実施形態３に係る物品管理装置の物品管理処理のフローチャートの一例を示す図である。実施形態３に係る距離画像の例を示す図である。実施形態３に係る物品配置位置の例を示す図である。実施形態３に係る物品管理処理で取り上げられる基準面とオフセットを説明するための図である。実施形態４に係る物品管理システムによる物品管理の一例（奥行きの小さい物品が十分にある例）を説明するための模式図である。実施形態４に係る物品管理システムによる物品管理の一例（奥行きの小さい物品が不足している例）を説明するための模式図である。実施形態４に係る物品管理システムで適用される物品管理情報の一例を示す図である。実施形態４に係る物品管理装置の構成図の一例を示す図である。実施形態４に係る物品管理装置による物品管理の一例を示すフローチャートである。実施形態４に係る物品管理システムによる物品管理の一例（奥行きの大きい物品が十分にある例）を説明するための模式図である。実施形態４に係る物品管理システムによる物品管理の一例（奥行きの大きい物品が不足している例）を説明するための模式図である。実施形態４に係る物品管理システムによる物品管理の一例（同一物品の複数列の配置の例）を説明するための模式図である。

以下、図面を参照していくつかの実施形態について説明する。

＜実施形態１＞
図１Ａは、実施形態１に係る物品管理システム（物品管理装置を含む）の側面図の一例を示す。図１Ａに示す通り、物品管理システムは、物品管理装置１及び三次元距離センサ２を備える。物品管理装置１は、距離情報取得手段として三次元距離センサ２に接続される。三次元距離センサ２は、先端から測定範囲内の物品や棚４（棚４の奥）までの距離を取得する。物品管理装置１は、三次元距離センサ２から得られた情報と品薄と判定するための閾値である品薄閾値Ｔを用いて、棚４に陳列された物品５の状況、例えば在庫状況を管理する。三次元距離センサ２の測距方式はステレオカメラ方式やパターン光投影方式等、三次元情報が取得できるものであればいずれでも良い。

図１Ｂは、実施形態１に係る物品管理装置の構成図の一例を示す。図１Ｂに示す通り、物品管理装置１は、三次元距離センサ２からの距離情報を取得するためのI/F１１、距離情報記憶部１２１を含む記憶部１２、距離情報取込部１３１と距離情報比較部１３２を含む処理部１３から構成される。なお、複数の処理部が協働して距離情報取込部１３１及び距離情報比較部１３２の処理を実行するようにしてもよい。また、物品管理装置１にはこの構成のほかに入力部や表示部があっても良い。例えば、物品管理装置１は、プロセッサ、メモリ、データ記憶部、各種I/F等の入力部、及び表示部等の出力部により構成されるコンピュータ（又はパーソナルコンピュータ）等で実現することができる。また、処理部１３はプロセッサを含んでいる。

図１Ｃは、実施形態１に係る物品管理装置による物品管理処理のフローチャートの一例を示す。まず、距離情報取込部１３１は、I/F１１を介して、三次元距離センサ２からあらかじめ設定しておいた測定範囲Ｒ１（図１Ａ参照）に応じた距離画像を取り込む（ＡＣＴ１１）。例えば、距離画像とは、測定範囲中の距離の下限値を0の値、測定範囲中の距離の上限値を255の値として正規化し、0の値を白、255の値を黒とした場合の8bitデジタル画像を指している。このとき、三次元距離センサ２からは距離画像でなく距離点群を取込んでも良い。距離情報比較部１３２は取り込んだ距離画像と、距離情報記憶部１２１に記憶される画素値の値である品薄閾値Ｔ（図１Ａ参照）を比較し、品薄閾値Ｔより小さい画素値の座標値又は座標群（以下、座標群として説明）を品薄である物品５の位置として出力する（ＡＣＴ１２）。

品薄閾値Ｔは固定でなく画像の位置によって変化があっても良いし、過去に取得した距離情報を利用するなど、時間によって変動があっても良い。また、物品の補充時刻（補充時刻帯）が定まっているような場合、時刻によって品薄閾値Ｔが変動してもよい。例えば、補充時刻の直後の品薄閾値Ｔが最大値で、補充時刻から時間経過に応じて品薄閾値Ｔの値は減少し、補充時刻の直前の品薄閾値Ｔが最小値となり、再び、補充時刻の直後で品薄閾値Ｔが最大値となる。このように変動する品薄閾値Ｔを用いることにより、通常の物品の売れ行きより過剰に物品が売れた場合に品薄を判定することが可能となる。また、入力が距離画像でなく距離点群であれば、品薄閾値Ｔは距離情報であっても良い。

距離情報比較部１３２が出力した物品５の位置は、表示部などにアラートとして表示しても良いし、あらかじめ決めておいた範囲内の座標値が座標群に含まれているか否かでアラートを出しても良いし、k-means法などのクラス分類手法により出力座標中に棚奥以外のクラスが発見された場合に、棚奥以外のクラスの領域があらかじめ決めておいた面積以上ならばアラートを出しても良いものとする。

この処理によって、棚４にある物品５が欠品であるか否か、及び品薄状態であるか否かを簡便に知ることが出来る。即ち、棚４に陳列した物品５の欠品だけでなく棚４に陳列した物品５の品薄状態を、物品５に手を加えること無く、また三次元距離センサ２を用いた比較的安価な構成で検知することが可能となる。実施形態１によれば、効率良く品薄状態を検知することが可能な物品管理装置を提供することができる。

＜実施形態２＞
図２Ａは、実施形態２に係る物品管理装置の構成図の一例を示す。なお、実施形態２に係る物品管理装置を含む物品管理システムは、図１Ａに示す実施形態１に係る物品管理システムと実質同様であり、図示を省略する。実施形態２では、主に実施形態１との差分について説明する。図２Ａに示す通り、物品管理装置１においては、記憶部１２がさらに棚情報記憶部１２２を含み、処理部１３がさらに物品領域指定部１３３を含む。なお、複数の処理部が協働して距離情報取込部１３１、距離情報比較部１３２、及び物品領域指定部１３３の処理を実行するようにしてもよい。実施形態１と同様、物品管理装置１にはこの構成のほかに入力部や表示部があっても良い。例えば、物品管理装置１は、コンピュータ等で実現することができる。

図２Ｂは、実施形態２に係る物品管理装置による物品管理処理のフローチャートの一例を示す。距離情報取込部１３１による距離情報取込（ＡＣＴ１１）と距離情報比較部１３２による距離情報比較（ＡＣＴ１２）については実施形態１と同様の動作をする。

物品領域指定部１３３は、あらかじめ棚情報記憶部１２２に記憶されている物品配置位置Ｅと物品配置位置Ｅに対応する物品識別情報ＩＤに基づいて、品薄状態である物品領域を指定し、品薄状態である物品識別情報ＩＤを出力する（ＡＣＴ１３）。例えば、物品識別情報ＩＤは、物品名称（商品名等）、物品画像（物品パッケージ画像等）、及び物品製造メーカの名称等の少なくとも一つである。以下、物品識別情報ＩＤを物品名称と記載する。

物品領域指定部での詳細な処理を説明するため、図２Ｃに物品配置位置の例を示す。例えば、図２Ｃに示すように、物品配置位置Ｅ１及びＥ２が含まれる。物品領域指定部１３３は、距離情報比較部１３２から出力された品薄閾値Ｔより小さい画素の座標群の面積Ａ０と物品配置位置Ｅ１の面積Ａ１とを比較して商品の有無を判定し商品を特定する。例えば、面積Ａ０が一定サイズ（例えば陳列される物品の最小サイズ）より大きい場合に商品が品薄であると判定する。或いは、面積Ａ０が面積Ａ１に対して所定比率の範囲に収まる場合に面積Ａ０は物品配置位置Ｅ１の商品が品薄であると判定し、その物品配置位置Ｅ１に対応する物品名称ＩＤ１を出力する。このとき、物品配置位置Ｅ１と物品名称ＩＤ１は必ずしも棚情報記憶部１２２に記憶されていなくてもよく、メモリ上に保存されていても良い。また、必ずしも物品名称ＩＤ１を用いなくてもよく、出力として物品配置位置Ｅ１を返しても良い。物品領域指定部１３３が出力した物品名称ＩＤ１は、表示部などにアラートとして表示しても良い。

この処理によって、棚４にあるどの物品５が品薄状態であるかを簡便に知ることができる。即ち、棚４に陳列した物品５の品薄状態を、物品５に手を加えること無く、また三次元距離センサ２を用いた比較的安価な構成で検知することが可能となる。実施形態２によれば、効率良く品薄状態を検知することが可能な物品管理装置を提供することができる。

＜実施形態３＞
図３Ａは、実施形態３に係る物品管理システム（物品管理装置を含む）の外観図の一例を示す。図３Ａに示す通り、移動機構３の移動により、移動機構３に搭載された三次元距離センサ２の距離情報取得範囲Ｒ２に対象物が含まれる。対象物は、棚４（背面）、物品５、及びマーカ６を含む。なお、物品管理装置１は三次元距離センサ２と接続されている。

例えば、三次元距離センサ２は、TOF（Time of Flight）やパターン光方式など、自ら光を発光することによって三次元距離センサ２から対象物（対象物に含まれる棚４（背面）、物品５、及びマーカ６）までの距離を観測するものを用いる。TOFは対象物に光を照射し、反射して戻ってくるまでの時間から距離を測る方式であり、パターン光方式は対象物に既知のパターン光を照射し、パターンの歪みから距離を測る方式である。三次元距離センサ２には測定範囲があらかじめ設定されており、測定範囲は対象物の距離情報を取得できるように任意の値に設定するか、三次元距離センサ２の測定可能な最大距離と最少距離を設定する。例えば、マーカ６はQRコード（登録商標）であり、QRコードの黒色部分は三次元距離センサ２の出力光を吸収する材料で描かれている。マーカ６は赤外線を吸収する材料で描かれていれば1次元バーコードや印となる決まったテクスチャの記号や図、文字でもよい。移動機構３については、図３Ａに示すような台車の他、棚前に固定設置されていても良いし、レールガイドに沿って吊り下げ型の三次元距離センサ２が移動する構造でも良いし、自律型移動ロボットなどに搭載しても良い。

図３Ｂは、実施形態３に係る物品管理装置１の構成図を示す。図３Ｂに示す通り、物品管理装置１は、I/F１１、棚情報記憶部１２２と物品情報記憶部１２３を含む記憶部１２、距離情報取込部１３１、マーカ情報取得部１３４、物品距離情報抽出部１３５、物品数推定部１３６、品薄状態判定部１３７を含む処理部１３から構成される。なお、複数の処理部が協働して距離情報取込部１３１、マーカ情報取得部１３４、物品距離情報抽出部１３５、物品数推定部１３６、及び品薄状態判定部１３７の処理を実行するようにしてもよい。また、処理部１３はプロセッサを含んでいる。また、物品管理装置１にはこの構成のほかに入力部や表示部があっても良い。例えば、物品管理装置１は、コンピュータ等で実現することができる。

図３Ｃは、実施形態３に係る物品管理装置１の物品管理処理のフローチャートの一例を示す。また、図３Ｆは、物品管理処理で取り上げられる基準面とオフセットを説明するための図である。

i)距離情報取込部１３１は、I/F１１を介して、三次元距離センサ２から測定範囲に応じた距離点群（第１の距離情報）を取り込む（ＡＣＴ１１）。このとき、測定範囲外の距離は測定範囲の上限の値を代入する。取り込んだ距離点群は、距離画像に変換したものがマーカ情報取得部１３４に、距離点群そのものが物品距離情報抽出部１３５に入力される。距離画像への変換は、実施形態１と同様に、測定範囲中の距離の下限値を0の値、測定範囲中の距離の上限値を255の値として正規化し、0の値を白、255の値を黒とした場合の8bitデジタル画像を指している。距離が取得できなかった場合には、測定範囲の上限の値を取る。

ii)距離画像が入力されるマーカ情報取得部１３４は、距離画像をQRコードデコードにかけることでQRコードに含まれる棚特定用情報と、QRコードの位置情報を得る（ＡＣＴ１４）。QRコードのデコードについては、次の段落で詳細に説明をする。

iii)距離点群が入力される物品距離情報抽出部は、棚情報記憶部１２２に記憶された物品配置位置と物品名称、QRコードの位置情報を用いて三次元距離センサ２から各物品５までの距離（第２の距離情報）、及び三次元距離センサ２からQRコードまでの距離（第３の距離情報）を抽出する（ＡＣＴ１５）。棚情報記憶部１２２の情報は、マーカ情報取得部１３４から出力される棚特定用情報で棚情報記憶部１２２を照会して得る。

iv)物品数推定部１３６は、棚情報記憶部１２２に記憶される基準面ＲＥＦ（図３Ｆ参照）までのオフセットＯＦＳ（図３Ｆ参照）と棚４の奥行、物品情報記憶部１２３に記憶される各物品５の厚みＷ（図３Ｆ参照）、三次元距離センサ２からQRコードまでの距離、三次元距離センサ２から各物品５までの距離を用いて、棚４に配置されている物品５の数と棚４に配置可能な物品５の数を判定する（ＡＣＴ１６）。このとき物品５の厚みとは、物品５を棚４に配置した時の、棚４の前面から棚４の背面方向の長さであり、単一の物品５の長さである。物品距離情報抽出部１３５と同様、棚情報記憶部１２２の情報は、マーカ情報取得部１３４から出力される棚特定用情報で棚情報記憶部１２２を照会して得る。物品情報記憶部１２３の情報は、棚４に配置される物品名称で物品情報記憶部１２３を照会して得る。

v)品薄状態判定部１３７は、棚４に配置されている物品５の数を配置可能な物品５の数で除算して物品５の配置割合を算出し、棚情報記憶部１２２に記憶される品薄閾値Ｔと比較する。物品５の配置割合が閾値Ｔより下回った場合には、品薄であると判定し、上回っている場合には品薄でないと判定する（ＡＣＴ１７）。このとき、品薄閾値Ｔを品薄と判断するための最小の物品数とし、推測した物品５の配置割合ではなく推測した棚４に配置されている物品５の数と比較しても良い。品薄であると判断した場合は、推測した棚４に配置可能な物品５の数や推測した棚４に配置されている物品５の数を含め、表示部などにアラートとして表示しても良い。

マーカ情報取得部１３４での動作を詳細に説明するため、図３Ｄに距離画像の例を示す。マーカ情報取得部１３４は、取り込んだ距離画像に対してQRコードデコードを行い、デコード結果である棚特定用情報と距離画像中のQRコードの所定位置（例えば中心位置）、三次元距離センサ２からQRコードまでの距離として、QRコードの範囲内での下限の距離を出力する。QRコードの黒色部分は三次元距離センサ２の出力光を吸収する材料で描かれているため、黒色部分の距離情報は取得できないか、もしくは白色部分と比較して遠い距離情報が得られる。距離情報の違いにより距離画像中にはQRコードの模様が表示され、距離画像に対してQRコードデコードをかけることで配置されたQRコードの情報が取得できる。QRコードには棚特定用情報が含まれており、棚特定用情報で棚情報記憶部１２２を照会すると、少なくとも棚４内の物品５の配置位置、物品配置位置に対応した物品名称、QRコードから基準面ＲＥＦまでのオフセットＯＦＳ、棚４の奥行Ｗを取り出すことが出来る。それぞれの情報は事前に棚情報記憶部１２２に記憶させておくものとする。

物品距離情報抽出部１３５の動作を詳細に説明するため、図３Ｅに物品配置位置の例を示す。物品距離情報抽出部１３５は、QRコードの所定位置とあらかじめ棚情報記憶部１２２に記憶されている物品配置位置、物品配置位置に対応する物品名称に基づいて、得られた距離点群から物品毎の距離情報（QRコードの所定位置から物品までの距離情報）を抽出する。図３Ｅに示すように、物品配置位置には、QRコードの所定位置からの相対座標ＲＣ１及びＲＣ２と、物品配置領域Ｅ１及びＥ２が含まれる。出力する物品５の距離情報は、物品配置領域内で一番近い距離とする。このとき、同一商品が横並びになっており、同じ物品配置領域内に存在する場合は、物品配置領域を分割して、分割した領域ごとの一番近い距離の平均を物品５の距離情報としても良い。移動機構３により、距離画像中にQRコードが存在しない場合は、過去に取得した距離画像同士の対応関係から移動量を推定し、物品配置領域を指定しても良い。

図３Ｆは、実施形態１に係る物品管理システム（移動機構を除く）の側面図の一例を示す。図３Ａで示す外観図と同様、棚４、物品５、物品管理装置１、三次元距離センサ２が存在し、マーカ６が棚４に備えられている。物品数推定部１３６では、図３Ｆ中に示される情報を用いて棚４に配置可能な物品数と棚４に陳列されている物品数を推定する。例えば、棚４に配置可能な数は、棚４の奥行を物品５の厚み情報で除算して、小数点第一位で切り捨てして算出する。このとき、棚４に配置可能な物品５の数は棚情報記憶部１２２にあらかじめ記憶しておき、記憶されている情報を用いても良い。棚４に陳列されている物品数は、三次元距離センサ２から棚４の背面までの距離と三次元距離センサ２から物品までの距離と、物品５の厚み情報を用いて算出する。三次元距離センサ２から棚４の背面までの距離は、三次元距離センサ２からQRコードまでの距離から、QRコードから基準面ＲＥＦまでのオフセットＯＦＳを減算することで三次元距離センサ２から基準面ＲＥＦまでの距離を得て、この三次元距離センサ２から基準面ＲＥＦまでの距離に棚４の奥行Ｗを加算することで算出する。このとき基準面ＲＥＦとは、棚４に物品５が最大数陳列された時の三次元距離センサ２から物品５までと同じ距離になる面のことを指す。算出した三次元距離センサ２から棚４の背面までの距離から抽出した物品５の距離情報を減算し、物品５の厚み情報で除算し、小数点第一位で切り捨てした整数値を棚４に配置されている物品５の数とする。

この処理によって、棚４にあるどの物品５がどの程度品薄状態であるかを簡便に知ることができる。即ち、棚４に陳列した物品５の品薄状態を、物品５に手を加えること無く、また三次元距離センサ２を用いた比較的安価な構成で検知することが可能となる。実施形態３によれば、効率良く品薄状態を検知することが可能な物品管理装置を提供することができる。

＜実施形態４＞
図４Ａ及び４Ｂは、実施形態４に係る物品管理システムによる物品管理の一例を説明するための模式図である。図４Ａ及び４Ｂに示す通り、物品管理システムは、物品管理装置１及びカメラＣを備える。物品管理装置１は、カメラＣに接続される。カメラＣは、店内等を撮影するカメラであり、カメラＣにより棚４に並べられた物品等が撮影される。

例えば、図４Ａ及び４Ｂは、棚に並べられた物品Ｍ１を側面から捕らえた状況を示し、カメラＣの撮影方向（前後方向）に物品Ｍ１が並べられる。例えば、カメラＣは、物品が並べられた棚４までの距離を固定した監視カメラである。なお、カメラＣは、店舗内及び並べられた複数の物品等の監視のために、パルスモータ等により回動軸を基点として左右方向及び上下方向に回動可能であってもよい。この場合、物品管理装置１は、パルスモータ等への制御信号に基づきカメラＣの回動量を検知することもできる。

例えば、図４Ａは、棚４における物品Ｍ１の陳列状況１００％の一例を示し、図４Ｂは、棚４における物品Ｍ１の陳列状況２５％の一例を示す。また、図４Ｃは、各物品について物品識別情報と物品サイズ情報（奥行き含む）と物品登録画像と基準画像サイズと不足判定閾値とを関連付けた物品管理情報の一例を示す図である。カメラＣにより撮影される撮影画像には、物品Ｍ１の撮影画像が含まれる。物品管理装置１は、物品管理情報（物品登録画像等）に基づき、撮影画像に含まれる物品Ｍ１の撮影画像を認識し、物品Ｍ１の撮影画像のサイズと物品Ｍ１の基準画像サイズとを比較し、比較結果から物品Ｍ１までの距離を推定する。

例えば、図４Ａのケースでは、物品管理装置１は、物品Ｍ１の基準画像サイズに対する物品Ｍ１の撮影画像のサイズの比率が第１の不足判定閾値以上と判定される。つまり、図４Ａのケースでは、物品管理装置１は、カメラＣから物品Ｍ１までの距離は比較的近く（棚４の手前まで物品Ｍ１が並べられている）、陳列不足は生じていないと判定する。

また、図４Ｂのケースでは、物品管理装置１は、物品Ｍ１の登録画像サイズに対する物品Ｍ１の撮影画像のサイズの比率が第１の不足判定閾値未満と判定される。つまり、図４Ｂのケースでは、物品管理装置１は、物品Ｍ１までの距離は比較的遠く（棚４の奥にしか物品Ｍ１が並べられていない）、陳列不足が生じていると判定する。

なお、物品管理装置１は、カメラＣの回動量を検知することができるので、回動量に応じて不足判定閾値を変更することができる。例えば、回動量が大きい場合には回動量に応じて不足判定閾値を下げる。これにより、カメラＣの回動に応じて撮影画像に含まれる物品の画像のサイズが小さくなっても、適切な陳列不足判定を実現することができる。

図４Ｄは、実施形態４に係る物品管理装置の構成図の一例を示す。図４Ｄに示す通り、物品管理装置１は、カメラＣからの撮影画像等を取得するI/F１１、物品管理情報を記憶する記憶部１２、処理部１３から構成される。処理部１３は、取得部１３２１と、認識部１３２２と、比較部１３２３と、検出部１３２４とを含む。なお、複数の処理部が協働して取得部１３２１と認識部１３２２と比較部１３２３と検出部１３２４の処理を実行するようにしてもよい。また、物品管理装置１にはこの構成のほかに入力部や表示部があっても良い。例えば、物品管理装置１は、プロセッサ、メモリ、データ記憶部、各種I/F等の入力部、及び表示部等の出力部により構成されるコンピュータ（又はパーソナルコンピュータ）等で実現することができる。また、処理部１３は１又は複数のプロセッサを含んでいる。

図４Ｅは、実施形態４に係る物品管理装置による物品管理処理のフローチャートの一例を示す。取得部１３２１は、I/F１１を介して、カメラＣから撮影画像を取得する（ＡＣＴ２１）。例えば、撮影画像は、物品Ｍ１の撮影画像を含む。認識部１３２２は、物品管理情報に基づき、撮影画像に含まれる物品Ｍ１の画像を認識する。つまり、撮影画像から物品Ｍ１を認識する（ＡＣＴ２２）。比較部１３２３は、物品管理情報に基づき、物品Ｍ１の撮影画像のサイズと物品Ｍ１の基準画像サイズとを比較する（ＡＣＴ２３）。検出部１３２４は、サイズの比較結果から物品Ｍ１の置かれた状況を検出する（ＡＣＴ２４）。

例えば、物品管理情報は、各物品について物品サイズ（奥行き）に応じて設定される不足判定閾値を含む。比較部１３２３は、物品Ｍ１の基準画像サイズに対する物品Ｍ１の撮影画像のサイズの比率を算出する。検出部１３２４は、算出された比率が物品Ｍ１の不足判定閾値より低い場合に物品の陳列不足を検出する。検出部１３２４は、検出結果を記憶部１２等へ出力することができる。

以上により、実施形態４に係る物品管理システムによれば、カメラＣにより監視対象エリアを撮影するだけで、監視対象エリアの物品の状況を検出することができる。つまり、低コストで物品の不足状況等を検出することができる。

ここで、図４Ｆ及び４Ｇを参照して、物品サイズ（奥行き）に応じて設定される不足判定閾値について詳しく説明する。例えば、図４Ｆは、棚４における物品Ｍ２の陳列状況１００％の一例を示し、図４Ｇは、棚４における物品Ｍ２の陳列状況５０％の一例を示す。カメラＣにより撮影される撮影画像には、物品Ｍ２の撮影画像が含まれる。物品管理装置１は、物品管理情報に基づき、撮影画像に含まれる物品Ｍ２の撮影画像を認識し、物品Ｍ２の撮影画像のサイズと物品Ｍ２の基準画像サイズとを比較し、比較結果から物品Ｍ２までの距離を推定する。

例えば、図４Ｆのケースでは、物品管理装置１は、物品Ｍ２の基準画像サイズに対する物品Ｍ２の撮影画像のサイズの比率が第２の不足判定閾値以上と判定される。つまり、図４Ｆのケースでは、物品管理装置１は、物品Ｍ２までの距離は比較的近く、陳列不足は生じていないと判定する。

また、図４Ｇのケースでは、物品管理装置１は、物品Ｍ２の登録画像サイズに対する物品Ｍ２の撮影画像のサイズの比率が第２の不足判定閾値未満と判定される。つまり、図４Ｇのケースでは、物品管理装置１は、物品Ｍ２までの距離は比較的遠く、陳列不足が生じていると判定する。

例えば、処理部１３は、各物品の物品サイズ（奥行き）に応じて不足判定閾値を設定する。例えば、奥行きの短い（薄い）物品Ｍ１については、比較的小さい値の第１の不足判定閾値を設定し、奥行きの長い（厚い）物品Ｍ２については、比較的大きい値の不足判定閾値を設定する。これにより、例えば、物品Ｍ１の残数が３個未満で陳列不足が判定され、同様に、物品Ｍ２の残数も３個未満で陳列不足が判定される。なお、奥行きに関係なく、同一の不足判定閾値を設定するようにしてもよい。

ここで、複数種類の物品状況検出について説明する。例えば、取得部１３２１により取得される撮影画像が、物品Ｍ１及びＭ２の画像を含むとする。認識部１３２２は、物品管理情報に基づき、撮影画像に含まれる物品Ｍ１の撮影画像を認識し、また、物品Ｍ２の撮影画像も認識する。つまり、撮影画像から物品Ｍ１及びＭ２を認識する。比較部１３２３は、物品管理情報に基づき、物品Ｍ１の撮影画像のサイズと物品Ｍ１の基準画像サイズとを比較し、また、物品Ｍ２の撮影画像のサイズと物品Ｍ２の基準画像サイズとを比較する。検出部１３２４は、比較結果から物品Ｍ１の置かれた状況を検出し、また、物品Ｍ１の置かれた状況も検出する。つまり、検出部１３２４は、物品Ｍ１の基準画像サイズに対する物品Ｍ１の撮影画像のサイズの比率が物品Ｍ１の不足判定閾値より低い場合に物品の陳列不足を検出し、物品Ｍ２の基準画像サイズに対する物品Ｍ２の撮影画像のサイズの比率が物品Ｍ２の不足判定閾値より低い場合に物品の陳列不足を検出する。

以上により、実施形態４に係る物品管理システムによれば、カメラＣにより監視対象エリアを撮影するだけで、監視対象エリアの複数種類の物品の状況を検出することができる。つまり、低コストで複数種類の物品の不足状況等を検出することができる。

図４Ｈは、物品Ｍ１の複数列配置の一例を示す図である。図４Ｈは、物品Ｍ１が３列に並べられ、１列目及び２列目が８個で、３列目が２個のケースを示す。１列目単独では陳列状況が１００％であると仮定する。同様に、２列目単独では陳列状況が１００％であると仮定する。３列目単独では陳列状況が２５％であると仮定する。各列について陳列不足を判定するようにしてもよいが、同一商品について総合的に陳列不足を判定するようにしてもよい。

例えば、取得部１３２１により取得される撮影画像が、各列先頭の物品Ｍ１の撮影画像を含むとする。認識部１３２２は、物品管理情報に基づき、撮影画像に含まれる複数の物品Ｍ１の撮影画像を認識する。つまり、撮影画像から複数の物品Ｍ１を認識する。比較部１３２３は、物品管理情報に基づき、複数の物品Ｍ１の撮影画像のサイズのそれぞれと物品Ｍ１の基準画像サイズとを比較する。検出部１３２４は、比較結果から各列における物品Ｍ１の置かれた状況を検出し、総合的に物品Ｍ１の置かれた状況を判定する。

例えば、検出部１３２４は、物品Ｍ１の基準画像サイズに対する１列目の物品Ｍ１の撮影画像のサイズの比率が物品Ｍ１の不足判定閾値以上の場合に１列目において物品Ｍ１の陳列不足は生じていないと判定し、また、物品Ｍ１の基準画像サイズに対する２列目の物品Ｍ１の撮影画像のサイズの比率が物品Ｍ１の不足判定閾値以上の場合に２列目において物品Ｍ１の陳列不足は生じていないと判定し、また、物品Ｍ１の基準画像サイズに対する３列目の物品Ｍ１の撮影画像のサイズの比率が物品Ｍ１の不足判定閾値未満の場合に３列目において物品Ｍ１の陳列不足が生じていると判定する。検出部１３２４は、複数列中の少なくとも１列において陳列不足が生じていない場合には総合的に陳列不足が生じていないと判定する。或いは、検出部１３２４は、複数列中の半分以上の列で陳列不足が生じていない場合には総合的に陳列不足が生じていないと判定するようにしてもよい。

或いは、比較部１３２３は、各列における物品Ｍ１の撮影画像のサイズの比率の平均値を算出し、検出部１３２４は、平均値と物品Ｍ１の不足判定閾値とを比較し、比較結果に基づき総合的に物品Ｍ１の置かれた状況を判定してもよい。

以上により、実施形態４に係る物品管理システムによれば、同一物品が複数列で並べられている状況であっても、低コストで物品の不足状況等を検出することができる。

なお、物品管理装置１による物品管理処理は１以上のソフトウェアに基づき１以上のプロセッサによって実行することが可能である。このため、上記物品管理処理の手順を実行する１以上のプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じて１以上のプログラムを物品管理装置１の記憶部１２へインストールして実行するだけで、上記処理を容易に実現することができる。例えば、物品管理装置１は、上記プログラムをネットワーク経由でダウンロードし、ダウンロードしたプログラムを記憶し、プログラムのインストールを完了することができる。或いは、物品管理装置１は、上記プログラムを情報記憶媒体から読み取り、読み取ったプログラムを記憶し、プログラムのインストールを完了することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
物品までの距離情報を取り込む距離情報取込部と、
前記距離情報取込部により取り込まれた前記距離情報と距離情報記憶部に記憶される閾値を比較して、品薄状態に対応する座標値を出力する距離情報比較部と、
を具備する物品管理装置。
［Ｃ２］
距離情報比較部により得られる前記座標値と棚情報記憶部に記憶される物品配置位置とに基づいて、品薄状態に対応する物品配置位置を出力する物品領域指定部と、
を具備するＣ１の物品管理装置。
［Ｃ３］
前記物品領域指定部が、
前記距離情報比較部により得られる前記座標値と、前記棚情報記憶部に記憶される前記物品配置位置及び前記物品配置位置に対応した物品識別情報とに基づいて、品薄状態の物品識別情報を出力するＣ２の物品管理装置。
［Ｃ４］
物品及びマーカを含む対象物までの第１の距離情報を取り込む距離情報取込部と、
前記距離情報取込部により取り込まれた前記第１の距離情報に基づいて前記マーカの位置及び前記マーカの情報を取得するマーカ情報取得部と、
棚情報記憶部に記憶される物品配置位置と前記物品配置位置に対応した物品識別情報、及び前記マーカ情報取得部で取得された前記マーカの位置に基づいて、前記距離情報取込部により取り込まれた前記第１の距離情報から前記物品の第２の距離情報と前記マーカの第３の距離情報を抽出する物品距離情報抽出部と、
前記物品距離情報抽出部により得られた前記第２及び第３の距離情報と前記棚情報記憶部に記憶される閾値を比較して、品薄状態の物品識別情報を出力する品薄状態判定部と、を具備する物品管理装置。
［Ｃ５］
前記物品距離情報抽出部により得られた前記第２及び第３の距離情報と前記棚情報記憶部に記憶される基準面までのオフセットに基づいて、棚の物品数を推定する物品数推定部を具備し、
前記品薄状態判定部は、前記物品数推定部で推定した前記物品数と前記棚情報記憶部に記憶される前記閾値を比較して、品薄状態の物品識別情報を出力するＣ４の物品管理装置。
［Ｃ６］
撮影画像を取得する取得部と、
各物品について物品登録画像と基準画像サイズとを関連付けた物品管理情報に基づき、前記撮影画像に含まれる第１の物品撮影画像から第１の物品を認識する認識部と、
前記物品管理情報に基づき、前記第１の物品撮影画像のサイズと前記第１の物品の基準画像サイズとを比較する比較部と、
比較結果から前記第１の物品の状況を検出する検出部と、
を備える物品管理装置。
［Ｃ７］
前記検出部は、前記第１の物品の基準画像サイズに対する前記第１の物品撮影画像のサイズの比率が前記第１の物品の奥行きに応じて設定される第１の閾値より低い場合に前記第１の物品の不足を検出するＣ６の物品管理装置。
［Ｃ８］
前記検出部は、前記撮影画像から第１及び第２の物品が認識される場合には、前記第１及び第２の物品のそれぞれの奥行きに応じて設定される第１及び第２の閾値に基づき前記第１及び第２の物品の不足を検出するＣ７の物品管理装置。
［Ｃ９］
前記認識部は、前記撮影画像に含まれる複数の第１の物品を認識し、
前記比較部は、前記複数の第１の物品撮影画像のサイズのそれぞれと前記第１の物品の基準画像サイズとを比較し、
前記検出部は、前記複数の第１の物品撮影画像のサイズのそれぞれの比較結果から総合的に前記第１の物品の不足を検出するＣ７又は８の物品管理装置。
［Ｃ１０］
前記検出部は、前記複数の第１の物品画像のサイズのそれぞれの比較結果の平均値から前記第１の物品の不足を検出するＣ９の物品管理装置。

１…物品管理装置
２…三次元距離センサ
３…移動機構
４…棚
５…物品
６…マーカ
１２…記憶部
１３…処理部
１２１…距離情報記憶部
１２２…棚情報記憶部
１２３…物品情報記憶部
１３１…距離情報取込部
１３２…距離情報比較部
１３３…物品領域指定部
１３４…マーカ情報取得部
１３５…物品距離情報抽出部
１３６…物品数推定部
１３７…品薄状態判定部

Claims

物品までの距離情報を取り込む距離情報取込部と、
前記距離情報取込部により取り込まれた前記距離情報と距離情報記憶部に記憶される閾値を比較して、品薄状態に対応する座標値を出力する距離情報比較部と、
を具備する物品管理装置。
距離情報比較部により得られる前記座標値と棚情報記憶部に記憶される物品配置位置とに基づいて、品薄状態に対応する物品配置位置を出力する物品領域指定部と、
を具備する請求項１の物品管理装置。
前記物品領域指定部が、
前記距離情報比較部により得られる前記座標値と、前記棚情報記憶部に記憶される前記物品配置位置及び前記物品配置位置に対応した物品識別情報とに基づいて、品薄状態の物品識別情報を出力する請求項２の物品管理装置。
物品及びマーカを含む対象物までの第１の距離情報を取り込む距離情報取込部と、
前記距離情報取込部により取り込まれた前記第１の距離情報に基づいて前記マーカの位置及び前記マーカの情報を取得するマーカ情報取得部と、
棚情報記憶部に記憶される物品配置位置と前記物品配置位置に対応した物品識別情報、及び前記マーカ情報取得部で取得された前記マーカの位置に基づいて、前記距離情報取込部により取り込まれた前記第１の距離情報から前記物品の第２の距離情報と前記マーカの第３の距離情報を抽出する物品距離情報抽出部と、
前記物品距離情報抽出部により得られた前記第２及び第３の距離情報と前記棚情報記憶部に記憶される閾値を比較して、品薄状態の物品識別情報を出力する品薄状態判定部と、を具備する物品管理装置。
前記物品距離情報抽出部により得られた前記第２及び第３の距離情報と前記棚情報記憶部に記憶される基準面までのオフセットに基づいて、棚の物品数を推定する物品数推定部を具備し、
前記品薄状態判定部は、前記物品数推定部で推定した前記物品数と前記棚情報記憶部に記憶される前記閾値を比較して、品薄状態の物品識別情報を出力する請求項４の物品管理装置。