JP7449683B2 - management device - Google Patents
management device Download PDFInfo
- Publication number
- JP7449683B2 JP7449683B2 JP2019215565A JP2019215565A JP7449683B2 JP 7449683 B2 JP7449683 B2 JP 7449683B2 JP 2019215565 A JP2019215565 A JP 2019215565A JP 2019215565 A JP2019215565 A JP 2019215565A JP 7449683 B2 JP7449683 B2 JP 7449683B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- management device
- customer
- shelf
- products
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 claims description 15
- 230000009471 action Effects 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 36
- 238000007726 management method Methods 0.000 description 35
- 238000000034 method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 235000008429 bread Nutrition 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 235000013351 cheese Nutrition 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 235000013547 stew Nutrition 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 235000013549 apple pie Nutrition 0.000 description 3
- 235000019219 chocolate Nutrition 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 101001128138 Homo sapiens NACHT, LRR and PYD domains-containing protein 2 Proteins 0.000 description 1
- 102100031897 NACHT, LRR and PYD domains-containing protein 2 Human genes 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Landscapes
- Display Racks (AREA)
Description
本発明は、商品棚に陳列される商品の管理に資する管理装置に関する。 The present invention relates to a management device that helps manage products displayed on product shelves.
近年、無人のPOSで客自身が精算をするタイプや、POSすらないタイプの無人店舗が広がりを見せている(例えば、非特許文献1参照)。無人店舗では、省人化の代わりに多種多様なセンサを数多く店舗に配置することで、不正防止や精算の自動化を実現している。 In recent years, the number of unmanned stores that allow customers to pay their bills at unmanned POS or that do not even have a POS has been increasing (for example, see Non-Patent Document 1). At unmanned stores, instead of saving on labor, a large number of various sensors are placed in the store to prevent fraud and automate checkout.
無人店舗に設けられるセンサには例えばカメラ(例えば、特許文献1参照)や重量センサ(例えば、特許文献2参照)がある。 Sensors installed in unmanned stores include, for example, cameras (for example, see Patent Document 1) and weight sensors (for example, see Patent Document 2).
図1の上段は商品陳列管理装置の従来技術を示す図であり、この従来技術では、各商品に専用の重量センサが設けられている。しかしながら、このようなシステムでは商品の配置の自由度が低く、コンビニエンスストアなどの店舗には受け入れられにくい。 The upper part of FIG. 1 is a diagram showing a conventional product display management device, in which a dedicated weight sensor is provided for each product. However, such a system has a low degree of freedom in product placement and is difficult to accept in stores such as convenience stores.
本発明はこうした課題に鑑みてなされたものであり、その目的は、商品棚への商品の配置の自由度や機動性を確保しつつ、商品のピックアップや返品の検出の自動化を実現できる技術の提供にある。 The present invention was made in view of these problems, and its purpose is to develop a technology that can automate product pickup and return detection while ensuring flexibility and mobility in product placement on product shelves. It's on offer.
本発明のある態様は、管理装置に関する。この管理装置は、商品棚の棚板に置かれた複数種類の商品の重量の変化を、当該棚板の重量を測定するセンサから取得する手段と、棚板の少なくとも一部に複数種類の商品に対応する複数の値札又はコードが取り付けられている前記棚板の少なくとも一部を画角内に収めるように配置されたカメラから被写体の情報を取得する手段と、前記カメラから取得された被写体の情報を解析することによって、人の所定の行為に関連する棚板の位置を特定する手段と、取得された重量の変化と、特定された位置と、に基づいて、どの商品がピックアップされたかを検出する手段と、を備える。 One aspect of the present invention relates to a management device. This management device includes a means for acquiring changes in the weight of multiple types of products placed on a shelf board of a product shelf from a sensor that measures the weight of the shelf board, and a means for acquiring changes in the weight of multiple types of products placed on the shelves of a product shelf, means for acquiring information about a subject from a camera arranged so as to fit within an angle of view at least a part of the shelf board to which a plurality of price tags or codes corresponding to the above are attached; By analyzing the information, it is possible to identify the position of the shelf related to a predetermined action of the person, and to determine which product was picked up based on the obtained weight change and the identified position. and means for detecting.
「カメラ」は、RGBカメラであってもよいし、ToF(Time of Flight)カメラであってもよいし、それら二種類のカメラを含んでもよいし、それら二種類のカメラがひとつのカメラとして統合されたものであってもよい。ToFカメラは、深度情報を面的に取得できる赤外線カメラである。
「被写体の情報」は、RGBカメラから取得されたものであれば画像を含み、ToFカメラから取得されたものであれば深度情報を含み、二種類のカメラから取得されたものであれば画像および深度情報の両方を含む。したがって、被写体の情報は、画像および/または深度情報を含む。
A "camera" may be an RGB camera, a ToF (Time of Flight) camera, or may include two types of cameras, or may include two types of cameras integrated as one camera. It may be something that has been done. A ToF camera is an infrared camera that can obtain depth information across the area.
"Subject information" includes an image if it is obtained from an RGB camera, depth information if it is obtained from a ToF camera, and an image and information if it is obtained from two types of cameras. Contains both depth information. Therefore, the subject information includes image and/or depth information.
なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を装置、方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。 Note that the present invention also includes any combination of the above-mentioned constituent elements, and mutual substitution of constituent elements and expressions of the present invention among devices, methods, systems, computer programs, recording media storing computer programs, etc. It is effective as an aspect of
本発明によれば、商品棚への商品の配置の自由度や機動性を確保しつつ、商品のピックアップや返品の検出の自動化を実現できる。 According to the present invention, it is possible to automate product pickup and return detection while ensuring flexibility and mobility in arranging products on product shelves.
以下、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。 Hereinafter, the same or equivalent components, members, and processes shown in each drawing will be denoted by the same reference numerals, and redundant explanations will be omitted as appropriate. Further, in each drawing, some members that are not important for the explanation are omitted.
図1は、実施の形態に係る管理装置により実現される商品陳列の態様の例を示す模式図である。従来技術を示す図1の上側では、商品棚2の上には商品毎に専用の入れ物4a、4b、4c、4dが置かれている。入れ物4aは、入れ物4aに入れられた商品の重量を測定する重量センサ6aと、セパレータ8aと、を含む。他の入れ物も同様の構成を有する。このように、従来技術の商品陳列では、商品種類ごとに重量センサが用意されている。
FIG. 1 is a schematic diagram showing an example of a product display mode realized by a management device according to an embodiment. In the upper part of FIG. 1 showing the prior art,
図1の従来技術の商品陳列では、商品の場所の登録が煩雑である。また、在庫量に応じた柔軟な配置換えも困難である。特に、前記従来技術では、図1に示されるように、在庫が減ってくると「歯抜け」陳列になる。これは見栄えが悪く、店舗には嫌われる傾向にある。 In the conventional product display shown in FIG. 1, registration of product locations is complicated. Furthermore, it is difficult to rearrange flexibly according to the amount of inventory. In particular, in the prior art, as shown in FIG. 1, when the inventory decreases, the display becomes "missing". This looks bad and stores tend to dislike it.
このような従来技術の課題に鑑み、本実施の形態に係る管理装置では、商品登録の自動化を実現し、かつ、図1の下側に示されるような商品陳列の柔軟性を実現する。本実施の形態では、商品登録を自動化し、配置換えを可能とした結果、在庫が減ってきてもフェースアップとして中央に寄せることが可能となる。これにより、商品棚の見栄えを良好に保つことができる。 In view of the problems of the prior art, the management device according to the present embodiment realizes automation of product registration and flexibility of product display as shown in the lower part of FIG. 1. In this embodiment, as a result of automating product registration and making rearrangement possible, even when inventory is decreasing, it is possible to move the product face-up to the center. Thereby, the appearance of the product shelf can be maintained in good condition.
図2は、実施の形態に係る管理装置により管理される商品棚10を示す模式図である。商品棚10は、上段の棚板12と、下段の棚板14と、を備える。上段の棚板12には複数種類の商品が置かれている。上段の棚板12には商品を種類ごとに仕切るためのセパレータ16a、16b、16cが設けられている。上段の棚板12の前面には、複数種類の商品に対応する複数の値札18a、18b、18cが取り付けられている。値札18aには、対応する商品(図1の例では、「パンシチュー」)を特定する商品IDを符号化したQRコード20aが印刷されている。値札18aと対応するセパレータ16aとは所定の位置関係を有するように配置される。例えば図2の形態では値札18aの左端とセパレータ16aとが一致するように配置される。この位置関係により、値札18aの位置からセパレータ16aの位置を推定することが可能となる。他の値札も値札18aと同様の構成を有する。
FIG. 2 is a schematic diagram showing the
上段の棚板12にはさらに、上段の棚板12全体の重量を測定するひとつの重量センサ22が設けられている。重量センサ22は、上段の棚板12に置かれた複数種類の商品の重量の変化を検出可能であればどのようなセンサであってもよい。そのような重量センサ22の構成自体は公知であるから本明細書では詳述しない。上段の棚板12に置かれた商品の重量の変化は、それが上段の棚板12上のどこで発生しても、重量センサ22によって検出される。
The
下段の棚板14は、上段の棚板12と同様に構成される。
The
商品棚10が設置されている店舗には、上段の棚板12の全体および下段の棚板14の前部を画角内に収める監視カメラ24が設けられている。監視カメラ24の画角に収まる上段の棚板12の前部には複数の値札18a、18b、18cが取り付けられており、監視カメラ24の画角に収まる下段の棚板14の前部には、複数の値札18d、18eが取り付けられている。
A store in which the
管理装置は、無線または有線により監視カメラ24および重量センサ22と接続される。管理装置は、セパレータと値札との位置関係を知っているので、値札の位置を監視カメラ24から検出することにより、動的に商品の位置の登録を行うことができる。
The management device is connected to the
管理装置は、客26の腕26aを監視カメラ24で検出し、次いで重量センサ22から棚板全体の重量の変化を検出すると、商品のピックアップを検出する。腕26aの検出は公知のポーズ推定技術や深度情報を用いた方法などに依る。より具体的には、腕26aの位置の検出方法には、(1)ToFカメラの深度情報を用いて特定の棚のある位置に物体(腕)が外から接近してきたことを検出する方法、(2)RGBカメラを用いたポーズ推定を用いる方法、および(3)それら二つの方法を併用する方法、がある。図2の例では店舗内に取り付けられた監視カメラ24(多くの場合、天井に設定される)が示されるが、これ以外にも例えば商品棚10の上部に別のカメラ(不図示)を設置してもよい。監視カメラ24および別のカメラのそれぞれは、RGBカメラとToFカメラとが統合されたカメラであってもよいし、どちらか一種類のみを備えてもよい。腕26aの位置の検出には、監視カメラ24からの画像および/または深度情報と、別のカメラからの画像および/または深度情報と、を利用してもよい。
以下では、監視カメラ24がRGBカメラであって、監視カメラ24から取得される画像を利用する場合を説明する。しかしながら、他の実施の形態では、ToFカメラから取得される深度情報のみを利用してもよく、あるいはRGB/ToF統合カメラから取得される画像および深度情報を利用してもよいことは、本明細書に触れた当業者には理解される。
管理装置は、検出された腕26aの位置と登録されている商品の位置とから、どの場所にあるどの商品がピックアップされたか特定する。これにより、従業員が自由にセパレータを動かし、商品の置き場を変えても自動で商品位置の登録が済み、商品のピックアップ検知までできるようになるシステムが実現される。
The management device detects the
In the following, a case where the
The management device identifies which product has been picked up at which location based on the detected position of the
図3は、実施の形態に係る管理装置100のハードウエア構成図である。管理装置100は、メモリ104と、プロセッサ106と、通信インタフェース108と、ディスプレイ102と、入力インタフェース110と、を含む。これらの要素はそれぞれバス112に接続され、バス112を介して互いに通信する。
FIG. 3 is a hardware configuration diagram of the
メモリ104は、データやプログラムを記憶するための記憶領域である。データやプログラムは、メモリ104に恒久的に記憶されてもよいし、一時的に記憶されてもよい。プロセッサ106は、メモリ104に記憶されているプログラムを実行することにより、管理装置100における各種機能を実現する。通信インタフェース108は、管理装置100の外部との間でデータの送受信を行うためのインタフェースである。例えば、通信インタフェース108は監視カメラ24および重量センサ22と通信するためのインタフェースを含む。ディスプレイ102は、各種情報を表示するためのデバイスであり、例えば、液晶ディスプレイや有機EL(Electroluminescence)ディスプレイなどである。入力インタフェース110は、ユーザからの入力を受け付けるためのデバイスである。入力インタフェース110は、例えば、ディスプレイ102上に設けられたタッチパネルや、各種入力キー等を含む。
図4は、実施の形態に係る管理装置100の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのCPUをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。
FIG. 4 is a block diagram showing the functions and configuration of the
管理装置100は、重量変化取得部120と、画像取得部122と、商品配置登録部124と、位置特定部126と、ピックアップ検出部128と、精算処理部130と、返品検出部131と、客情報保持部132と、商品情報保持部134と、を備える。
The
図5は、図4の客情報保持部132の一例を示すデータ構造図である。客情報保持部132は、店舗内にいる客の情報を保持する。客情報保持部132は、客を特定する客IDと、客の現在位置を示す店舗内の座標と、客が現在持っている未精算の商品の情報と、を対応付けて保持する。客の座標は、監視カメラ24や他の監視カメラから得られる画像を解析することにより決定される。
FIG. 5 is a data structure diagram showing an example of the customer
図6は、図4の商品情報保持部134の一例を示すデータ構造図である。商品情報保持部134は、商品棚10に配置された各種商品の情報を保持する。商品情報保持部134は、商品を特定する商品IDと、商品名と、商品の1個当たりの重量と、商品が置かれている棚板を特定する棚板IDと、商品を仕切るためのセパレータの位置と、棚板における商品の存在範囲と、を対応付けて保持する。セパレータの位置は、棚板の左端を原点とし棚板の長手方向に沿って定義されるz座標により表される(図2参照)。商品の存在範囲はz座標の範囲により指定される。
FIG. 6 is a data structure diagram showing an example of the product
図4に戻り、重量変化取得部120は、商品棚10の上段の棚板12に置かれた複数種類の商品の重量の変化を、当該上段の棚板12の重量を測定する重量センサ22から取得する。重量変化取得部120は下段の棚板14に置かれた商品の重量の変化についても同様に取得する。
Returning to FIG. 4, the weight
画像取得部122は、上段の棚板12の少なくとも一部および下段の棚板14の少なくとも一部を画角内に収める監視カメラ24から画像を取得する。
The
商品配置登録部124は、所定の時間間隔で、例えば1分ごと、10分ごと、1時間ごと、に、画像取得部122によって取得された画像を解析することで上段の棚板12や下段の棚板14に置かれた商品の配置を特定する。あるいは店舗従業員などが棚の配置を変更した際に、スイッチを押したり、特定のポーズをとりポーズ推定により認識したりするなど明示的に登録指示を行ってもよい。商品配置登録部124は、特定された配置を商品情報保持部134に登録するか、特定された配置で商品情報保持部134を更新する。
The product
図7は、図4の商品配置登録部124における一連の処理の流れを示すフローチャートである。商品配置登録部124は、画像取得部122によって取得された商品棚10の画像を取得する(S702)。商品配置登録部124は、取得された画像に写る値札のひとつを処理対象の値札として決定し、処理対象の値札のQRコードを読み取ることで、対応する商品を特定する(S704)。商品配置登録部124は、取得された画像における処理対象の値札の位置、すなわち処理対象の値札が取り付けられている棚板の棚板IDおよび当該棚板に対して定義されるz座標で表される値札の位置、を特定する(S706)。商品配置登録部124は、ステップS706で特定した処理対象の値札の位置から、既知の位置関係を用いて対応するセパレータの位置を推定する。商品配置登録部124は、ステップS704で特定された商品に対応付けて、セパレータの位置の推定結果を商品情報保持部134の「棚板ID」、「セパレータ位置」に登録する。
FIG. 7 is a flowchart showing the flow of a series of processes in the product
商品配置登録部124は取得された画像内の全ての値札が処理されたかを判定する(S710)。処理されていない値札が残っている場合(S710のN)、処理はステップS704に戻り、処理されていない値札が処理対象に選ばれる。全ての値札が処理された場合(S710のY)、商品配置登録部124は、商品情報保持部134に登録されている各商品のセパレータの位置から、当該商品の存在範囲を推定し、商品情報保持部134に登録する(S712)。例えば、商品配置登録部124は、ある商品のセパレータの位置がz=10で、その商品の隣の商品のセパレータの位置がz=15である場合、その商品の存在範囲を10<z<15と推定する。図6には、このように推定した存在範囲の例が示されている。
The product
図4に戻り、位置特定部126は、画像取得部122によって取得された画像を解析することによって、客の所定の行為に関連する位置を特定する。本実施の形態では、位置特定部126は公知のポーズ推定の技術を用いて画像を解析し、客が棚板に置いてある商品に腕を伸ばしたことを検出する。位置特定部126は、合わせて、腕が伸ばされた先の棚板および当該棚板上の位置を特定する。図2の例では、位置特定部126は、上段の棚板12の位置z=20に客26が腕26aを伸ばしたことを検出する。
Returning to FIG. 4, the
ピックアップ検出部128は、重量変化取得部120によって取得された重量の減少と、位置特定部126によって特定された位置と、に基づいて、どの客がどの商品をいくつピックアップしたかを検出する。ピックアップ検出部128は、複数の値札の位置から得られた各商品の存在範囲と、位置特定部126によって特定された位置と、を比較することで、ピックアップされた商品の種類を特定する。ピックアップ検出部128は、検出結果に基づき客情報保持部132を更新する。
The
返品検出部131は、重量変化取得部120によって取得された重量の増加と、位置特定部126によって特定された位置と、に基づいて、どの客がどの商品を返品したかを検出する。返品検出部131は、検出結果に基づき客情報保持部132を更新する。
The returned
精算処理部130は、客が店舗から出る(退店する)ときの精算処理を実行する。精算処理部130は、例えば、客が店舗のPOSで精算処理を行う際に、客情報保持部132に登録されている当該客の未精算商品の情報をPOSに送信してもよい。あるいはまた、精算処理部130は、客の退店が確認された後、客情報保持部132に登録されている当該客の未精算商品の情報に基づいて電子決済を実行してもよい。電子決済は、クレジットカード決済、電子マネー決済など公知の決済技術により実現されてもよい。
なお、本実施の形態では無人決済店舗への適用を例として説明するが、これに限られず、本実施の形態の技術的思想は例えば在庫管理等のシステムにも適用可能である。
The
In this embodiment, application to an unmanned payment store will be explained as an example, but the technical idea of this embodiment is not limited to this, and can also be applied to a system such as inventory management, for example.
以上の構成による管理装置100の動作を説明する。
図8は、図4の管理装置100における一連の処理の流れを示すフローチャートである。位置特定部126は、監視カメラ24から取得した画像を解析することで、客の腕を検出する(S802)。腕を検出すると(S802のY)、重量変化取得部120は、腕が伸びている先の棚板に取り付けられている重量センサの測定値を監視し、当該棚板の重量の変化を検出する(S804)。重量の変化がないまま腕が検出されなくなると(S804のN)、管理装置100は客が商品をピックアップしなかったと判定し、処理をステップS802に戻す。
The operation of the
FIG. 8 is a flowchart showing the flow of a series of processes in the
ステップS804で重量の減少が検出された場合(S804の「減少検出」)、位置特定部126は、検出された腕の位置を特定する(S806)。ピックアップ検出部128は、ステップS806で特定された位置と、商品情報保持部134に登録されている商品の位置と、からピックアップされた商品の種類を特定する(S808)。例えば、ピックアップ検出部128は、腕が伸ばされた先の棚板に置かれている各商品の存在範囲を商品情報保持部134を参照して特定し、ステップS806で特定された位置がどの存在範囲に含まれるかを決定する。ピックアップ検出部128は、ステップS806で特定された位置を存在範囲に含む商品を特定する。
If a decrease in weight is detected in step S804 (“decrease detection” in S804), the
図2の例では、ピックアップ検出部128は、腕26aが伸ばされている先の上段の棚板12の棚板ID「PAN1」に対応する商品およびその存在範囲を、図6の商品情報保持部134から以下のように特定する。
「パンシチュー」:2<z<10
「チーズパン」:10<z<15
「アップルパイ」:15<z<30
次に、ピックアップ検出部128は、特定された腕26aの位置z=20を含む存在範囲が上記三つのうちの15<z<30であると決定し、当該存在範囲に対応する「アップルパイ」を、ピックアップされた商品として特定する。
In the example of FIG. 2, the
"Bread stew": 2<z<10
"Cheese bread": 10<z<15
"Apple pie": 15<z<30
Next, the
ピックアップ検出部128は、ステップS804で検出された重量の減少量と、ステップS808で特定された商品の1個当たりの重量と、からピックアップされた商品の個数を、(ステップS804で検出された重量の減少量)/(特定された商品の1個当たりの重量)として算出する(S810)。例えば、商品の1個当たりの重量が50gであり、検出された重量の減少量が100gであった場合、ピックアップ検出部128は100g/50g=2個の商品がピックアップされたと判定する。なお、ステップS810で算出される数が自然数にならない場合(例えば、1.5や2.3等)、ピックアップ検出部128は不正等の想定外の事象が発生していると判定し、オペレータに画像の確認を依頼してもよい。
The
ピックアップ検出部128は、取得された画像を処理することで、商品をピックアップした客を特定する(S812)。例えば、管理装置100は、客の入店時にID認証を行い、その後継続して来店客の場所をトラッキングする。図5の例では、管理装置100は客の客IDに対応する客の現在位置を更新し続ける。したがって、ステップS802、S804で商品のピックアップが検出された際に、誰がその棚の前に立っているか把握することができる。ピックアップ検出部128は、重量に変化があったことをトリガとして(S804)、ポーズ推定や深度情報などを組み合わせて腕とその腕の持ち主の来店客とを対応付ける処理を行う。ピックアップ検出部128は、ステップS812で特定された客が、ステップS808で特定された商品を、ステップS810で算出された個数、ピックアップしたことを、客情報保持部132に登録する(S814)。例えば、客ID「C01」で特定される客が「アップルパイ」を「1個」ピックアップしたことが検出された場合、ピックアップ検出部128は、客情報保持部132の客ID「C01」のエントリにある未精算商品の情報に「アップルパイ:1」を追加する(あるいはまた、既に「アップルパイ:1」が登録されていたならば、その数を+1して「アップルパイ:2」とする)。
The
ステップS804で重量の増加が検出された場合(S804の「増加検出」)、位置特定部126は、検出された腕の位置を特定する(S816)。返品検出部131は、ステップS816で特定された位置と、商品情報保持部134に登録されている商品の位置と、から返品された商品の種類を特定する(S818)。返品検出部131は、ステップS804で検出された重量の増加量と、ステップS818で特定された商品の重量と、が一致するか否か判定する(S820)。一致しない場合(S820のN)、客が誤ってまたは意図的に異なる商品を棚に戻している可能性があるので、返品検出部131はオペレータに画像の確認を依頼する(S822)。一致する場合(S820のY)、返品検出部131は、取得された画像を処理することで、商品を返品した客を特定する(S824)。返品検出部131は、ステップS824で特定された客が、ステップS818で特定された商品を返品したことを、客情報保持部132に登録する(S826)。例えば、客ID「C02」で特定される客が「チョコレート」を返品したことが検出された場合、返品検出部131は、客情報保持部132の客ID「C02」のエントリにある未精算商品の情報の「チョコレート:2」の数を-1して「チョコレート:1」とする。
なお、対象客の未精算商品の情報の中に、減算対象の商品がない場合もあるが、その場合は、オペレータに画像の確認を依頼してもよい。
また、ステップS812では客IDを客が提示するカードから、またはスマートフォンのアプリとの通信により取得し、客IDで特定される客をトラッキングすることにより当該客の位置を把握する場合を説明したが、これに限られない。プライバシーへの配慮が要求されない他の実施の形態では、取得された画像に写る客の顔を顔認識により認識することで、客IDを取得してもよい。
If an increase in weight is detected in step S804 (“increase detection” in S804), the
It should be noted that there may be cases where there is no item to be subtracted from the target customer's unpaid item information, but in that case, the operator may be asked to confirm the image.
Furthermore, in step S812, a case has been described in which the customer ID is acquired from the card presented by the customer or through communication with a smartphone application, and the customer's location is determined by tracking the customer identified by the customer ID. , but not limited to this. In other embodiments where privacy considerations are not required, the customer ID may be acquired by recognizing the customer's face in the acquired image using facial recognition.
上述の実施の形態において、保持部の例は、ハードディスクや半導体メモリである。また、本明細書の記載に基づき、各部を、図示しないCPUや、インストールされたアプリケーションプログラムのモジュールや、システムプログラムのモジュールや、ハードディスクから読み出したデータの内容を一時的に記憶する半導体メモリなどにより実現できることは本明細書に触れた当業者には理解される。 In the embodiments described above, examples of the holding unit are a hard disk or a semiconductor memory. Further, based on the description of this specification, each part may be implemented by a CPU (not shown), an installed application program module, a system program module, a semiconductor memory that temporarily stores the contents of data read from a hard disk, etc. Those skilled in the art will understand that this can be done.
本実施の形態に係る管理装置100によると、棚板全体の重量の変化の検出と監視カメラの画像および/または深度情報からのポーズ推定とを組み合わせることで、どの客がどの棚のどの商品を何個ピックアップしたか、または返品したかを精度よく検出することができる。
また、返品動作に関しては、この動作をそのまま、店員の商品出しに適用することもできる。ただし、店員の商品出しに適用する場合には、図7の動作を重量増加検出時に実施することが望ましい。これにより、棚になかった新しい商品の品出しでも適切に商品数の検出が可能となる。
According to the
Furthermore, regarding the return operation, this operation can also be applied as is to the store clerk's product delivery. However, when applied to the store clerk's product placement, it is desirable to perform the operation shown in FIG. 7 when an increase in weight is detected. This makes it possible to appropriately detect the number of products even when a new product that was not on the shelf is put on display.
また、本実施の形態に係る管理装置100では、商品ごとに重量センサを設ける必要はなく、商品の配置の登録は監視カメラ24を介して行われる。したがって、上記のピックアップ/返品自動検出を実現しつつ、ある商品が売り切れた場合でも棚板上の商品の配置を動的に変更することで、フェースアップを実現し、見栄えを保つことができる。また、新たな商品を棚に陳列したり、棚に陳列する商品を入れ替えたりする際の手間も削減できる。
Furthermore, in the
商品の単品重量が分かっている場合、原理的には、重量センサのみでもどの商品がピックアップ/返品されたかを検出することはできる。しかしながら、商品の単品重量が似通っている場合には、重量センサのみではピックアップされた商品の特定は困難である。そこで、本実施の形態に係る管理装置100では、重量センサと画像認識とを合わせることで、商品の単品重量が似通っている場合にも確実にピックアップ/返品された商品を特定できる。
If the weight of each product is known, in principle it is possible to detect which products have been picked up or returned using only a weight sensor. However, if the individual products have similar weights, it is difficult to identify the picked-up product using only the weight sensor. Therefore, in the
重量センサを用いず監視カメラ24のみでもどの商品がピックアップ/返品されたかを検出できる場合がある。しかしながら、図2に示されるように現実の商品棚10および監視カメラ24の配置構成では棚板の奥が死角になることが多く(図2では下段の棚板14の奥が監視カメラ24の死角になっている)、監視カメラ24の画像のみでピックアップ/返品を検出する手法は汎用性に欠ける。その点、本実施の形態に係る管理装置100では、重量センサと画像認識とを合わせることで、監視カメラ24の画角に値札さえ入っていれば確実にピックアップ/返品された商品を特定することができ、監視カメラ24の画角に商品自体が入っている必要はない。
In some cases, it is possible to detect which products have been picked up/returned using only the
また、本実施の形態に係る管理装置100では、商品を仕切るセパレータを設けている。したがって、例えば棚板の奥のほうで商品を入れ替えるといった不正行為を防止できる。図2の例でセパレータがない場合、客は、上段の棚板12のチーズパンのところに腕を伸ばし、そのままチーズパンを素通りして奥の方で腕を左に曲げ、隣のパンシチューを掴んで引き出すことができる。この場合、チーズパンの値段「150円」でパンシチュー(「240円」)が買えてしまうことになる。パンシチューとチーズパンとの重量の差が大きければ、このような不正行為を検出できるが、重量の差が小さい場合は検出が比較的困難となる。そこで、商品間を仕切るセパレータを設けることにより、このような不正行為を防止することができる。
Furthermore, the
以上、実施の形態に係る管理装置100の構成と動作について説明した。この実施の形態は例示であり、各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解される。
The configuration and operation of the
実施の形態では、商品を特定する情報を符号化したQRコードを値札に印刷する場合を説明したが、これに限られず、バーコードが用いられてもよく、より一般的には、値札が、対応する商品を特定する情報を符号化したコード情報を視認可能な態様でまたはカメラが認識可能な態様で有する他の形態が用いられてもよい。 In the embodiment, a case has been described in which a QR code that encodes information that identifies a product is printed on a price tag, but the invention is not limited to this, and a barcode may also be used.More generally, a price tag is printed on a price tag. Other formats may also be used that have code information that encodes information specifying the corresponding product in a visually recognizable manner or in a manner that can be recognized by a camera.
図9は、第1変形例に係る値札302の斜視図である。値札302は、それが示す商品を特定する情報を符号化した一次元コード304を含む。一次元コード304は、商品の名称および値段が印刷されている表示面306とは異なる面に設けられている。特に、一次元コード304は表示面306を前面としたときの上面に設けられている。これにより、表示面306は客に視認されやすく、かつ、一次元コード304は監視カメラ24に写りやすくなる。
FIG. 9 is a perspective view of a
図10は、第2変形例に係る値札308の斜視図である。値札308には、それが示す商品を特定する情報を符号化したカラーコード310が印刷されている。図10の例では3色のカラーコード310が、商品の名称および値段が印刷されている表示面に印刷されている。カラーコード310は表示面とは異なる面に設けられてもよい。
FIG. 10 is a perspective view of a
他の変形例として、値札に人間の目では認識できないステルスコードを付与してもよいし、値札を電子値札として構成する場合には点滅パターンによりコードを表してもよい。 As another variation, the price tag may be given a stealth code that cannot be recognized by the human eye, or if the price tag is configured as an electronic price tag, the code may be represented by a blinking pattern.
実施の形態では、値札の位置からセパレータの位置を推定し、セパレータの位置から商品の存在範囲を推定する場合を説明したが、これに限られない。例えば、セパレータを設けない場合には、隣り合う値札の間を二等分する位置を商品の存在範囲の境界として認識してもよい。あるいはまた、商品ごとに存在範囲の大きさを予め設定してもよい。あるいはまた、商品配置登録部124による商品配置の自動登録を廃し、各商品の存在範囲を手入力で登録してもよい。この場合でもピックアップ検出部128による自動ピックアップ/返品検出は可能である。
In the embodiment, a case has been described in which the position of the separator is estimated from the position of the price tag and the range of product existence is estimated from the position of the separator, but the present invention is not limited to this. For example, if a separator is not provided, the position that bisects the space between adjacent price tags may be recognized as the boundary of the product range. Alternatively, the size of the existence range may be set in advance for each product. Alternatively, the automatic registration of product placement by the product
実施の形態では、返品される個数は1つと仮定したが、これに限られない。例えば図8のフローのステップS820において、重量の増加量と返品された商品の単品重量とが一致するかを判定することに代えて、重量の増加量と返品された商品の単品重量の整数倍とが一致するかを判定してもよい。この場合、一致しなければステップS822に進み、一致すればステップS824に進む。その後のステップS826において、特定された客の特定された商品の個数を、(重量の増加量)/(返品された商品の単品重量)個分減らす処理が行われる。 In the embodiment, it is assumed that the number of returned items is one, but the number is not limited to this. For example, in step S820 of the flow in FIG. 8, instead of determining whether the amount of increase in weight and the weight of each item of the returned product match, the amount of increase in weight is an integral multiple of the weight of each item of the returned item. It may be determined whether or not they match. In this case, if they do not match, the process advances to step S822, and if they match, the process advances to step S824. In subsequent step S826, the number of specified products of the specified customer is reduced by (increase in weight)/(single weight of returned product).
10 商品棚、 12 上段の棚板、 14 下段の棚板、 22 重量センサ、 24 監視カメラ、 26 客、 100 管理装置。 10 product shelf, 12 upper shelf board, 14 lower shelf board, 22 weight sensor, 24 surveillance camera, 26 customer, 100 management device.
Claims (6)
前記棚板の少なくとも一部に複数種類の商品に対応する複数の値札又はコードが取り付けられている前記棚板の少なくとも一部を画角内に収めるように配置されたカメラから被写体の情報を取得する手段と、
前記カメラから取得された被写体の情報を解析することによって、人の所定の行為に関連する前記棚板の位置を特定する手段と、
取得された重量の変化と、特定された位置と、に基づいて、どの商品がピックアップされたかを検出する手段と、を備える管理装置。 means for acquiring changes in the weights of multiple types of products placed on shelf boards of a product shelf from a sensor that measures the weight of the shelf boards;
A plurality of price tags or codes corresponding to a plurality of types of products are attached to at least a part of the shelf board. Information on the subject is obtained from a camera arranged so that at least a part of the shelf board is included within an angle of view. and the means to
means for identifying the position of the shelf board related to a predetermined action of a person by analyzing information about the subject acquired from the camera ;
A management device comprising means for detecting which product has been picked up based on the obtained change in weight and the specified position.
前記検出する手段は、特定された位置からピックアップされた商品の種類を特定する際に、前記複数の値札の位置を用いる請求項1に記載の管理装置。 A plurality of price tags corresponding to a plurality of types of products are attached to at least a portion of the shelf board that falls within the field of view of the camera;
2. The management device according to claim 1, wherein the detecting means uses the positions of the plurality of price tags when identifying the type of product picked up from the specified position.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019215565A JP7449683B2 (en) | 2019-11-28 | 2019-11-28 | management device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019215565A JP7449683B2 (en) | 2019-11-28 | 2019-11-28 | management device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021084772A JP2021084772A (en) | 2021-06-03 |
JP7449683B2 true JP7449683B2 (en) | 2024-03-14 |
Family
ID=76088403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019215565A Active JP7449683B2 (en) | 2019-11-28 | 2019-11-28 | management device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7449683B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008280140A (en) | 2007-05-10 | 2008-11-20 | Sharp Corp | Electronic inventory tag system |
US20130310967A1 (en) | 2011-02-07 | 2013-11-21 | Intermetro Industries Corporation | Inventory management system |
JP2017215067A (en) | 2016-05-30 | 2017-12-07 | シャープ株式会社 | Stock management device and stock management method |
JP2018206159A (en) | 2017-06-06 | 2018-12-27 | 株式会社 ディー・エヌ・エー | System, method and program for managing commodities |
JP2019094191A (en) | 2017-11-24 | 2019-06-20 | 株式会社富士通アドバンストエンジニアリング | Shelf allocation generation program, shelf allocation generation method and shelf allocation generation device |
-
2019
- 2019-11-28 JP JP2019215565A patent/JP7449683B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008280140A (en) | 2007-05-10 | 2008-11-20 | Sharp Corp | Electronic inventory tag system |
US20130310967A1 (en) | 2011-02-07 | 2013-11-21 | Intermetro Industries Corporation | Inventory management system |
JP2017215067A (en) | 2016-05-30 | 2017-12-07 | シャープ株式会社 | Stock management device and stock management method |
JP2018206159A (en) | 2017-06-06 | 2018-12-27 | 株式会社 ディー・エヌ・エー | System, method and program for managing commodities |
JP2019094191A (en) | 2017-11-24 | 2019-06-20 | 株式会社富士通アドバンストエンジニアリング | Shelf allocation generation program, shelf allocation generation method and shelf allocation generation device |
Also Published As
Publication number | Publication date |
---|---|
JP2021084772A (en) | 2021-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10872264B2 (en) | Shelf space allocation management device and shelf space allocation management method | |
JP6172380B2 (en) | POS terminal device, POS system, product recognition method and program | |
JP6342039B1 (en) | System, method, and program for managing products | |
US10353982B1 (en) | Disambiguating between users | |
US10198722B2 (en) | Commodity-sales-data processing apparatus, commodity-sales-data processing method, and computer-readable storage medium | |
JP6707940B2 (en) | Information processing device and program | |
WO2019038968A1 (en) | Storefront device, storefront system, storefront management method, and program | |
WO2019038965A1 (en) | Storefront device, storefront management method, and program | |
US20180232686A1 (en) | Article management apparatus and article management method | |
JP5590049B2 (en) | Article display shelves, personal behavior survey method, and personal behavior survey program | |
US11308547B2 (en) | Method and system for generating a store planogram and identifying a suspect customer | |
JP2018206372A (en) | System, method and program for managing commodities | |
JP6687199B2 (en) | Product shelf position registration program and information processing device | |
JP7449683B2 (en) | management device | |
CA2903717C (en) | Misplaced item determination using radio frequency identification data | |
EP3474184A1 (en) | Device for detecting the interaction of users with products arranged on a stand or display rack of a store | |
CN113221610A (en) | Commodity management device and storage medium | |
US10726378B2 (en) | Interaction analysis | |
US20210019693A1 (en) | Smart item monitoring system | |
JP2021189691A (en) | Management device and commodity shelf | |
CN108629386B (en) | Goods shelf capable of automatically identifying commodity purchasing behavior | |
CN112446280A (en) | Sales management system and sales management method | |
US20220300989A1 (en) | Store system and method | |
JP7337625B2 (en) | Purchase behavior data collection system and purchase behavior data collection program | |
WO2022254958A1 (en) | Management system, management method, and program for managing products in unattended store |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221027 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230810 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230925 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240304 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7449683 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |