JP2024037466A - Information processing system, information processing method and program - Google Patents
Information processing system, information processing method and program Download PDFInfo
- Publication number
- JP2024037466A JP2024037466A JP2022142353A JP2022142353A JP2024037466A JP 2024037466 A JP2024037466 A JP 2024037466A JP 2022142353 A JP2022142353 A JP 2022142353A JP 2022142353 A JP2022142353 A JP 2022142353A JP 2024037466 A JP2024037466 A JP 2024037466A
- Authority
- JP
- Japan
- Prior art keywords
- product
- group
- predetermined
- people
- payment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 62
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims description 75
- 230000003287 optical effect Effects 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 31
- 230000008901 benefit Effects 0.000 abstract description 6
- 239000000047 product Substances 0.000 description 374
- 238000001514 detection method Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 28
- 230000006870 function Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 19
- 230000008859 change Effects 0.000 description 14
- 238000013135 deep learning Methods 0.000 description 14
- 238000013473 artificial intelligence Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Abstract
【課題】複数の客がグループで店舗に来店し店舗から商品を持ち出す際にグループでの恩恵を得ることができるようにする。【解決手段】情報処理システムの売場装置３は、入口制御部３２０、出口制御部３７０を備える。入口制御部３２０は、例えば２人の買い物客（移動体Ｍ１、Ｍ２）が店内売場に進入する入口エリア４０において、２人の買い物客が属する所定グループを、移動体Ｍ１、Ｍ２の夫々のユニークＩＤ（所定グループのグループ識別子を含む）で作成する。出口制御部３７０は、所定グループに属する２人の買い物客（移動体Ｍ１、Ｍ２）全てが精算エリア４５内に進入し、他の条件（支払い完了等）を満たした場合に所定グループの１以上の商品を、店内売場の外に持ち出すことを許可する。【選択図】図６[Problem] To enable a group of customers to visit a store as a group and take products out of the store to enjoy the benefits of the group. [Solution] A sales floor device 3 of an information processing system includes an entrance control unit 320 and an exit control unit 370. For example, in an entrance area 40 where two shoppers (mobiles M1, M2) enter a sales floor in a store, the entrance control unit 320 creates a predetermined group to which the two shoppers belong using the unique IDs (including the group identifier of the predetermined group) of each of the mobile units M1, M2. The exit control unit 370 allows the two shoppers (mobiles M1, M2) belonging to the predetermined group to take one or more products out of the sales floor in the store when both shoppers enter a checkout area 45 and other conditions (such as completion of payment) are met. [Selected Figure] Fig. 6
Description
本発明は、情報処理システム、情報処理方法及びプログラムに関する。 The present invention relates to an information processing system, an information processing method, and a program.
従来より、コンビニエンスストア、スーパーマーケットやショッピングセンター、各種の量販店等の店舗では、購入者が商品棚から商品を取り、ショッピングカートや買い物カゴに入れて商店の出口付近に設けられたレジまで運び、セルフキャッシュレジスター（セルフレジ）により商品の代金の精算を行っている（例えば、特許文献１参照）。 Traditionally, in stores such as convenience stores, supermarkets, shopping centers, and various mass retailers, buyers pick up products from shelves, place them in shopping carts or carts, and carry them to the cash register near the exit of the store. Payment for products is made using a self-cash register (for example, see Patent Document 1).
しかしながら、従来のセルフレジは、複数の商品（物品）より、夫々のバーコードを読み取る必要があるため、物品の処理待ちの人の列が物品の処理エリア付近にできてしまう。
また、複数の人がグループで来店し物品を店の外に持ち出すにしても、１人ずつレジ前に並んで物品を１人ずつ処理するため、グループで来店したとしても処理回数は人数分発生してしまい、グループでの恩恵が得られない。
However, in conventional self-checkout systems, it is necessary to read the barcodes of each of a plurality of products (articles), so a line of people waiting to process their articles forms near the article processing area.
In addition, even if multiple people come to the store in a group and take their items out of the store, each person lines up in front of the cash register and processes the items one by one, so even if a group comes to the store, the number of times the items are processed will be equal to the number of people. If you do this, you will not be able to benefit from the group.
本発明は、このような状況に鑑みてなされたものであり、複数の人がグループで物品の配置場所に入り物品を持ち出す際にグループでの恩恵を得ることができるようにすることを目的とする。 The present invention was made in view of this situation, and an object of the present invention is to enable a group of people to benefit from the group when they enter a place where items are placed and take out the items. do.
上記目的を達成するため、本発明の一態様の情報処理システムは、
複数の物品が配置場所に配置された所定領域の中を人が移動して、前記複数の物品のうち１以上の物品を前記所定領域の外に持ち出す際に利用される情報処理システムにおいて、
前記所定領域にＮ人（Ｎは２以上の整数値）が進入する前に、当該Ｎ人が属する所定グループを作成するグループ作成手段と、
前記所定グループに属する前記Ｎ人の夫々を追跡する追跡手段と、
重量センサ及び光センサのうち少なくとも一方を用いる所定の手法で、前記複数の物品のうち、前記配置場所から取り出された物品とその個数の双方を特定する商品特定手段と、
特定された前記物品と、前記所定グループに属する前記Ｎ人のうち所定の位置関係にある人若しくは所定グループとを紐付ける紐付け手段と、
前記所定グループに属する前記Ｎ人の全てが集合したか否かを判定する判定手段と、
前記所定グループに属する前記Ｎ人の全てが集合したという第１条件を少なくとも含む１以上の条件を満たした場合、当該複数の人のうち何れか若しくは所定グループと紐付けられた１以上の前記物品を、前記所定グループの物品として前記所定領域の外に持ち出すことを許可する持出許可手段と、
を備える。
本発明の一態様の上記情報処理システムに対応する情報処理方法及びプログラムも、本発明の一態様の情報処理方法及びプログラムとして提供される。
To achieve the above object, an information processing system according to one embodiment of the present invention includes:
In an information processing system used when a person moves within a predetermined area in which a plurality of items are placed at a placement location and takes one or more of the plurality of items out of the predetermined area,
before N people (N is an integer value of 2 or more) enter the predetermined area, group creation means for creating a predetermined group to which the N people belong;
tracking means for tracking each of the N people belonging to the predetermined group;
Product identifying means for identifying both the article taken out from the placement location and the number of articles among the plurality of articles by a predetermined method using at least one of a weight sensor and an optical sensor;
a linking means for linking the specified item with a person or a predetermined group in a predetermined positional relationship among the N people belonging to the predetermined group;
determining means for determining whether all of the N people belonging to the predetermined group have gathered;
If one or more conditions including at least the first condition that all of the N people belonging to the predetermined group have gathered, one or more of the items linked to any one of the plurality of people or the predetermined group taking out permission means for allowing to take out of the predetermined area outside the predetermined area as an article of the predetermined group;
Equipped with
An information processing method and program corresponding to the above information processing system according to one embodiment of the present invention are also provided as an information processing method and program according to one embodiment of the present invention.
本発明によれば、複数の人がグループで物品の配置場所に入り物品を持ち出す際にグループでの恩恵を得ることができる。 According to the present invention, when a plurality of people enter a place where items are placed in a group and take out the items, benefits can be obtained as a group.
以下、本発明に係る情報処理システムの実施形態について説明する。
まず、図１を参照して本発明に係る情報処理システムの一つの実施形態の次世代レジシステムを採用するコンビニエンスストアの店舗について説明する。
図１は、本発明に係る情報処理システムの一つの実施形態の次世代レジシステムを採用するコンビニエンスストアの店舗レイアウトの一例を示す図である。次世代レジシステムは、買い物客が店舗の店内売場の棚ラックから取り出した商品をセルフレジに持ち込み自動精算するセルフレジシステムの一つである。
Embodiments of the information processing system according to the present invention will be described below.
First, with reference to FIG. 1, a convenience store that employs a next-generation cash register system as an embodiment of the information processing system according to the present invention will be described.
FIG. 1 is a diagram showing an example of a store layout of a convenience store that employs a next-generation cash register system according to an embodiment of an information processing system according to the present invention. The next-generation cash register system is a type of self-checkout system in which shoppers take products from shelf racks in the store's sales floor, bring them to the self-checkout register, and pay automatically.
図１において、雲形で描かれた部分は、店舗３９の店内売場ではなく、店舗３９外や店舗３９のバックヤードの様子が描画されている。店舗３９外や店舗のバックヤードには、サーバ１と売場装置３のうち制御機能の部分が設置されている。店舗外やバックヤードでは、店員が大型モニターの画面（図示せず）や情報端末（図示せず）の画面を通じて店内売場の状況を監視することができる。
In FIG. 1, the cloud-shaped portion depicts the outside of the
店舗３９の売場に入る手前の位置には、入口エリア４０が設けけられている。入口エリア４０には、ゲート装置３１６ａ及び表示端末３１５ａが設置されている。
ゲート装置３１６ａには、人の入店を許可又は拒否するために開閉可能な扉と、扉が開かないようにロックする機能と、ロックを解除する機能とが備えられている。ゲート装置３１６ａは、売場装置３により開閉制御される。つまりゲート装置３１６ａに、フラッパー式のゲートを採用している。
An
The
また、入口エリア４０の上の天井には、入口エリア４０を撮像する入口カメラ３１３が設けられている。売場装置３は、入口カメラ３１３により撮像された画像から人を個別に認識し、人の数を表示端末３１５ａへ送信することで、表示端末３１５ａには、入口エリア４０内に存在する入店前の買い物客（入店希望者）の数が表示される。
この例では、入口エリア４０に存在する人は、移動体Ｍ１、Ｍ２であり、表示端末３１５ａの画面には２名と表示される。表示端末３１５ａの画面には、表示された人数について、入店希望者に確認を促すボタン（ＯＫ入店者／ＮＧボタン）が用意されており、画面に表示された同じグループの人数（２名）が正しければ入店希望者はＯＫボタンを操作し、異なればＮＧボタンを操作することになる。
Furthermore, an
In this example, the people present in the
入店希望者がＯＫボタンを操作すると、売場装置３は、一度に入店を希望する入店希望者の人数をグループとしてメモリに登録し、入店を許可し、ゲート装置３１６ａを開放制御しゲート装置３１６ａの扉を開放させる。
When a person wishing to enter the store operates the OK button, the
ゲート装置３１６ａの扉が開放されて入店が許可されると、移動体Ｍ１、Ｍ２は、入口エリア４０からゲート装置３１６ａを通過して入店、つまり店内売場に進入することができる。
When the door of the
なお、店舗３９において、入口エリア４０又はその付近には、買い物カゴやショッピングカート等（図示せず）が配置されており、客は買い物カゴやショッピングカート等とともに移動するため、これらを一体として移動体とする場合もある。なお、説明の便宜上、以下、移動体Ｍ１、Ｍ２の夫々を「買い物客」として説明する。
In addition, in the
店舗３９の店内売場には、次世代レジシステムの機器の一部として、例えば入口カメラ３１３、天井カメラ３１０、出口カメラ３１４、棚ラック４３に配置された光センサ３１１及び重量センサ３１２、表示端末３１５ａ、３１５ｂ、ゲート装置３１６ａ、３１６ｂ、精算機４等が配置されている。サーバ１、売場装置３、精算機４は、各機器から情報を取得し、各機器を制御する。
In the in-store sales floor of the
店舗３９の入口エリア４０から出口４２までの間の通路４４の天井には、センシングデバイスの一例として、複数のカメラ（天井カメラ３１０、入口カメラ３１３、出口カメラ３１４等）が設置されている。
入口エリア４０から精算エリア４５までの間の通路４４上の天井に設置されている複数の天井カメラ３１０は、互いの撮像エリアが重複するように配置されており、被写体である移動体Ｍ１、Ｍ２等を異なる方向から撮像する。これにより、視点の異なる複数の画像が得られる。そして、得られた複数の画像から移動体夫々を立体として合成し、骨格推定等の技術を用いることで、個体を識別し、夫々の個体の人としての動作を検出することができる。
なお、本システムに用いるカメラは、３Ｄ画像、あるいは２Ｄ画像が取得できるカメラ、魚眼カメラ等に代表される広角を撮像できるカメラ等が採用される。
A plurality of cameras (
The plurality of
Note that the camera used in this system is a camera that can acquire 3D images or 2D images, a camera that can capture wide-angle images such as a fisheye camera, or the like.
店内売場には、商品を陳列する複数の棚ラック４３が所定間隔（人が通行可能な間隔）を空けて設置されている。所定間隔は、通路４４とされる。
各棚ラック４３には、鉛直方向に所定の間隔を空けて複数の棚が配置されている。複数の棚の夫々には、１以上の重量センサ３１２が配置されており、夫々の重量センサ３１２の上に各種商品が載置され、陳列される。以下、棚と棚との間を「棚内」とも記述する。
In the store's sales floor, a plurality of shelf racks 43 for displaying products are installed at predetermined intervals (intervals that allow people to pass). The predetermined interval is a
Each
店舗３９の出口４２の手前には、精算エリア４５が設けられている。精算エリア４５には、精算機４と表示端末３１５ｂが設置されている。精算エリア４５と出口４２の間には、ゲート装置３１６ｂと、テーブル４７を含む袋詰めスペースとが設けられている。
ゲート装置３１６ｂには、入口側のゲート装置３１６ａと同様にフラッパー式のゲートを採用しており、精算機４が制御する以外は制御内容も入口側のゲート装置３１６ａと同様である。テーブル４７は、ゲート装置３１６ｂを通過した人が購入後の商品を袋詰めするための台である。
即ち、店内売場では、移動体Ｍ１、Ｍ２は、棚ラック４３に陳列されている商品を手に取ると、精算エリア４５へ進み、精算エリア４５にグループ全員が集合した状態で精算及び決済処理を正常に完了すると、退店することができる。
A
The
That is, in the store sales floor, when the movable objects M1 and M2 pick up the products displayed on the
また、商品が置かれ得る棚ラック４３の棚の複数か所の夫々には、センシングデバイスの一例として、重量センサ３１２と光センサ３１１が設置されている。
重量センサ３１２は、商品を載置する面を備え、当該面の上に置かれた商品の重量を検出する。重量センサ３１２は、商品の重量を常に検出し、検知した重量の変化から、棚のどの場所（重量センサ３１２の設置位置）からの商品の入出（取り出し又は戻し等）を検出することができる。
Furthermore, a
The
なお、重量センサ３１２は、商品が置かれ得る棚１つに対し取り出し方向前後に複数個設置されてもよい。これにより例えば棚の手前（例えば賞味期限が古い商品が置かれた場所）に設置された重量センサ３１２により重量の変化が検知された場合は、賞味期限が古い商品が入出し、一方で棚の奥（例えば賞味期限が新しい商品が置かれた場所）に設置された重量センサ３１２により重量の変化が検知された場合には、賞味期限が新しい商品が入出したことが特定され得る。
Note that a plurality of
各棚ラック４３内の各棚の複数か所の夫々には、センシングデバイスとして光センサ３１１が設置されている。
光センサ３１１は、複数の重量センサ３１２の夫々の設置位置に対応して、各棚の天面から下方に向けて赤外線光を照射するように複数（この例では重量センサ３１２と１対１で）配置されている。
また、光センサ３１１は、棚内の所定領域内に移動体Ｍ１、Ｍ２の手等が進入した場合や、棚内から物体が取られた場合に、その手や棚内の物体により赤外線光が遮光された遮光検出情報を出力する。
また、光センサ３１１は、重量センサ３１２の上に置かれている商品に対する他からの接触を検知する。具体的には、光センサ３１１は、商品を取ろうとする買い物客の手が入ってきて商品と共に取り出される物体（手と商品）の光の遮蔽状況（光が遮蔽される方向と遮蔽位置等）を検出情報として検出する。
A plurality of optical sensors 311 (in this example, a plurality of
In addition, the
Further, the
これら重量センサ３１２及び光センサ３１１により夫々検出される重量の変化と、手や商品による遮蔽状況の変化とから、棚ラック４３からの商品（物体）の入出が検出され、入出した商品及び入出した当該商品の個数が特定される。
The entry and exit of products (objects) from the
この実施形態では、棚ラック４３内の各棚の複数か所の夫々に、重量センサ３１２と光センサ３１１とを配置したが、これらセンサの組み合わせだけでなく、重量センサ３１２と棚カメラとが設置されていてもよい。棚カメラは、棚内や棚内の商品、その他所定領域を撮像することで、棚内からの物体の入出や商品の特定を補完する。
具体的には例えば、棚から物体が持ち去られた後、当該物体が別の棚に戻された場合、移動体Ｍ１、Ｍ２には本来所持していない物体が紐付いた状態（誤認識された状態）となる。このような場合に、棚カメラにより取得された撮像画像により物体の入出及び商品の特定が補完されることで、精算の精度を向上させることができるようになる。
In this embodiment, the
Specifically, for example, if an object is taken away from a shelf and then returned to another shelf, moving objects M1 and M2 are tied to objects that they do not originally possess (a state where they are misrecognized). ). In such a case, the accuracy of checkout can be improved by complementing the input/output of objects and identification of products using captured images acquired by shelf cameras.
一方で、棚カメラにより取得された撮像画像のみに基づいて物体の入出や商品の特定を行う場合、例えば棚カメラでは見えない棚奥からの物体の入出の検知や、重なっている物体や乱雑に置かれている物体の入出検知や商品の特定をすることは困難である。 On the other hand, when identifying objects entering and exiting or products based only on images captured by shelf cameras, for example, it is possible to detect objects entering or exiting from the back of a shelf that cannot be seen with shelf cameras, or to detect objects that are overlapping or cluttered. It is difficult to detect the entry and exit of placed objects and to identify products.
このように重量センサ３１２及び光センサ３１１や、重量センサ３１２及び棚カメラといった１以上のセンシングデバイスから取得される情報を適宜組み合わせて採用することにより、商品の特定精度を向上させることができるようになる。
なお、商品の特定（取り出し検出）に使用するカメラは、必ずしも棚に設置される棚カメラだけに限定されることはなく、例えば天井等に設置された天井カメラであってもよく、この場合、解像度の良いものを使用する。現時点で、棚カメラと光センサ３１１では光センサ３１１の方がコストメリットが大きいと言える。
また、重量センサ３１２として高機能、高性能なものを使用することで、光センサ３１１や棚カメラを用いずに重量センサ３１２だけでの運用も可能である。即ち、棚から取り出される商品の検出には少なくとも重量センサ３１２を用いればよい。
In this way, by appropriately combining and employing information acquired from one or more sensing devices such as the
Note that the camera used to identify the product (retrieval detection) is not necessarily limited to a shelf camera installed on a shelf, and may be a ceiling camera installed on the ceiling, etc. In this case, Use one with good resolution. At present, it can be said that between the shelf camera and the
Furthermore, by using a highly functional and high-
本実施形態では、精算機４と表示端末３１５ｂとが連携して買物客のグループや人数の特定と、グループ単位での商品の精算と、決済処理とを実行する。精算機４のハードウェア構成の一例を図５に示したが、これ以外のハードウェア構成であってもよく、ハードウェアとしては、精算機４と表示端末３１５ｂに以下のものが備えられていればよい。例えば精算及び決済機能（現金釣銭機含む）、入出力のインターフェース機能（タッチパネルディスプレイ、カメラ、音声入力装置、電子情報リーダ、コードスキャナ部、スピーカ、プリンター、ＮＷ機器、モーションキャプチャーシステム等が備えられていればよく、精算機４と表示端末３１５ｂとを一体化したものであってもよい。
In this embodiment, the
このようにコンビニエンスストアの店舗３９のレイアウト構成によれば、店舗３９の入口エリア４０において、同じグループの複数の買い物客（移動体Ｍ１、Ｍ２）にグループの作成及び登録を行い入店させ、その後、店内に入店した複数の買い物客（移動体Ｍ１、Ｍ２）が移動して棚ラック４３から物体（商品）を手に取った段階で商品を認識及び特定し、さらにその特定した商品と移動体とを紐付けて追跡する。そして、買い物を終えたグループの買い物客（移動体Ｍ１、Ｍ２）全員が精算エリア４５に進入したことが確認できると、グループ全員の分の商品を自動精算し、その中の支払者がグループ全員の分の商品の決済を一括してできるので、複数の買い物客（移動体Ｍ１、Ｍ２）がグループで店舗３９に入り商品を購入して持ち出す際にグループでの恩恵を得ることができる。
According to the layout configuration of the
図２を参照して本発明の情報処理システムの一実施形態としての次世代レジシステムのシステム構成を説明する。
図２は、本発明に係る情報処理システムの一つの実施形態の次世代レジシステムのシステム構成を示す図である。
次世代レジシステムは、図２に示すように、サーバ１と、売場装置３と、精算機４と、を備える。サーバ１及び売場装置３は、通常、店内売場とは別の場所に配置されている。
精算機４は、精算エリア４５に表示端末３１５ｂと共に設置されている。
サーバ１と、売場装置３と、精算機４との夫々は、インターネット（Ｉｎｔｅｒｎｅｔ）回線等のネットワークＮを介して相互に通信可能に接続されている。
サーバ１は、売場装置３、精算機４の各動作を制御及び管理すべく、各処理を実行する。
具体的には、サーバ１は、入店時に入店者の夫々に発行されるユニークＩＤと、店内の通路を移動する移動体（移動体Ｍ１、Ｍ２等）と、店内売場内の商品と、その位置と、を紐付けて管理する。
具体的には、サーバ１は、売場装置３から送信されてくる移動体Ｍ１、Ｍ２の夫々のユニークＩＤ（グループ識別子を含む）と移動体の位置情報と、店内売場内の商品とその位置とを紐付けて移動体と商品を追跡管理する。
サーバ１は、精算の際に精算機４からの要求に応じて、グループ毎の入店者の商品情報を精算機４に提供する。
売場装置３は、店内売場に配置された各種機器（入口カメラ３１３、天井カメラ３１０、出口カメラ３１４、棚ラック４３に配置された光センサ３１１及び重量センサ３１２、表示端末３１５ａ、３１５ｂ、ゲート装置３１６ａ、３１６ｂ等）から情報を取得しつつ各機器を制御する。
精算機４は、グループの入店者（移動体Ｍ１、Ｍ２等）夫々によって精算エリア４５に持ち込まれた商品をグループ単位に一括精算し、決済処理する。
なお、説明の便宜上、図４のサーバ１や売場装置３、精算機４は、１台しか描画されていないが、実際には複数台の場合もある。
The system configuration of a next-generation cash register system as an embodiment of the information processing system of the present invention will be described with reference to FIG.
FIG. 2 is a diagram showing the system configuration of a next-generation cash register system that is one embodiment of the information processing system according to the present invention.
As shown in FIG. 2, the next generation cash register system includes a
The
The
The
Specifically, the
Specifically, the
The
The
The
For convenience of explanation, only one
ここで、図３、図４、図５を参照して、本発明に係る情報処理システムの実施形態の次世代レジシステムのうち、サーバ１、売場装置３、精算機４のハードウェア構成を説明する。
Here, with reference to FIG. 3, FIG. 4, and FIG. 5, the hardware configuration of the
図３は、図２のシステム構成のうち、サーバのハードウェア構成を示すブロック図である。
図３に示すように、サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、バス１０４と、入出力インターフェース１０５と、出力部１０６と、入力部１０７と、記憶部１０８と、通信部１０９と、ドライブ１１０と、を備えている。
FIG. 3 is a block diagram showing the hardware configuration of the server in the system configuration of FIG. 2. As shown in FIG.
As shown in FIG. 3, the
ＣＰＵ１０１は、ＲＯＭ１０２に記憶されているプログラム、又は、記憶部１０８からＲＡＭ１０３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１０３には、ＣＰＵ１０１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
The
ＣＰＵ１０１、ＲＯＭ１０２及びＲＡＭ１０３は、バス１０４を介して相互に接続されている。このバス１０４には、また、入出力インターフェース１０５も接続されている。入出力インターフェース１０５には、出力部１０６、入力部１０７、記憶部１０８、通信部１０９及びドライブ１１０が接続されている。
The
出力部１０６は、ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。
入力部１０７は、キーボードやマウス等で構成され、各種情報を入力する。
The
The
記憶部１０８は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部１０９は、図２に示すように、インターネット回線を含むネットワークＮを介して売場装置３及び精算機４との間で通信を行う。
The
As shown in FIG. 2, the
ドライブ１１０には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなるリムーバブルメディア１２０が適宜装着される。ドライブ１１０によってリムーバブルメディア１２０から読み出されたプログラムは、必要に応じて記憶部１０８にインストールされる。
また、リムーバブルメディア１２０は、記憶部１０８に記憶されている各種データも、記憶部１０８と同様に記憶することができる。
A
Further, the
図４は、図２のシステム構成のうち、売場装置のハードウェア構成を示すブロック図である。
売場装置３は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、バス３０４と、入出力インターフェース３０５と、天井カメラ３１０と、光センサ３１１と、重量センサ３１２と、入口カメラ３１３と、出口カメラ３１４と、表示端末３１５ａと、ゲート装置３１６ａ、３１６ｂと、通信部３１７と、を備える。
FIG. 4 is a block diagram showing the hardware configuration of the sales floor apparatus in the system configuration of FIG. 2. As shown in FIG.
The
売場装置３のＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、バス３０４と、入出力インターフェース３０５、通信部３１７は、図３に示したサーバ１のものと同様であり、その説明は省略する。
The
売場装置３には、天井カメラ３１０、光センサ３１１、重量センサ３１２、入口カメラ３１３と、出口カメラ３１４と、表示端末３１５ａと、ゲート装置３１６ａ、３１６ｂが通信ケーブルにより接続されている。例えば、ＰｏＥ接続（Ｐｏｗｅｒ ｏｖｅｒ Ｅｔｈｅｒｎｅｔ）や、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル等により接続されてもよい。
例えば通信ケーブルを介して接続された売場装置３とゲート装置３１６ａ、３１６ｂとの間では、売場装置３は、入口エリア４０や精算エリア４５での処理結果に基づいて、ゲート装置３１６ａ、３１６ｂを制御して、ゲート装置３１６ａ、３１６ｂの扉を開閉することで、買い物客の出入を許可又は拒否する。
A
For example, between the
この他、売場装置３には、通信ケーブルにより表示端末３１５ａが接続されている。表示端末３１５ａは、例えばデジタルサイネージ等が表示されるタッチディスプレイ、スピーカ等を備える。表示端末３１５ａは、店舗３９の入口エリア４０に設置されており、売場装置３と連携し売場装置３から入力される、入口エリア４０に進入した人の人数をタッチディスプレイに表示する。また、表示端末３１５ａは、入店者のグループを登録するための入力操作部として機能する。
In addition, a
売場装置３にはネットワークＮを介して精算機４が接続されている。
A
ここで、図５を参照して精算機のハードウェア構成を説明する。
図５は、図２のシステムの構成のうち、精算機のハードウェア構成を示すブロック図である。
精算機４は、ＣＰＵ５０１と、ＲＯＭ５０２と、ＲＡＭ５０３と、バス５０４と、入出力インターフェース５０５と、入力部５０６と、出力部５０７と、記憶部５０８と、通信部５０９と、コードスキャナ部５１０と、を備えている。
Here, the hardware configuration of the payment machine will be explained with reference to FIG.
FIG. 5 is a block diagram showing the hardware configuration of the payment machine in the system configuration of FIG. 2. As shown in FIG.
The
精算機４のＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、バス５０４、入出力インターフェース５０５、入力部５０６、出力部５０７、記憶部５０８、通信部５０９は、図５に示したサーバ１のハードウェアと同様に構成されており、その説明は省略する。
The
入力部５０６は、例えば精算機４においては、表示端末３１５ｂに備えられているタッチ画面の精算ボタンからの入力信号を受け付ける。また、入力部５０６は、クレジットカード決済や電子マネーを利用する決済の際には、表示端末３１５ｂに備えられている電子情報リーダにより読み取られた各種カードや各種識別情報等の情報を受け付ける。
For example, in the
出力部５０７は、表示端末３１５ｂに対して商品名、個数、金額等を示す商品リスト（精算情報）を出力する。また、出力部５０７は、売場装置３に対して、決済完了を通知し、この通知によりゲート装置３１６ｂに備えられた扉（図示せず）が開閉される。
The
コードスキャナ部５１０は、移動体Ｍ１、Ｍ２に間違った商品が紐付いていた場合や、紐付けられるべき商品が紐付いていなかった場合に商品リストを修正するために利用される。即ち、移動体Ｍ１、Ｍ２は、コードスキャナ部５１０を用いて商品の識別情報を読み取り、商品を特定することができる。
The
精算機４は、商品をグループ単位に精算し、現金、クレジットカード、電子マネー、ポイント支払い、商品券や仮想通貨、プリペイドカード、バーコードやＱＲコード（登録商標）等の識別情報、社員証、アプリ情報等で支払い（決済処理）に対応する。
The
電子マネー等には、決済可能なＩＣカードだけでなく、クレジットカード、いわゆるポイントカード、プリペイドカード等の狭義のカードだけでなく、例えばバーコードやＱＲコード（登録商標）を表示できる情報携帯端末も含まれるが、ここでは便宜上、各種カードとして説明する。
即ち、この精算機４の精算エリア４５にグループ全員が進入し、後述する移動体Ｍ１、Ｍ２に紐付く夫々の商品の情報が読み出され、精算（商品の支払い金額が集計）された後、その精算額を支払うために、各種カードを、表示端末３１５ｂの電子情報リーダにかざすと、電子情報リーダにより各種カードからカード情報が読み取られてそのカード情報が精算機４に入力されて決済処理が実行される。そして、決済完了後、ゲート装置３１６ｂが開放されるので、移動体Ｍ１、Ｍ２等の買い物客は、精算エリア４５からゲート装置３１６ｂを通過して出口４２から退出することが可能となる。
Electronic money includes not only IC cards that can be used for payment, credit cards, so-called point cards, and prepaid cards, but also mobile information terminals that can display barcodes and QR codes (registered trademarks). However, for the sake of convenience, they will be explained as various cards here.
That is, after the entire group enters the
精算機４においては、入口エリア４０から通路４４を経て精算エリア４５まで追跡された移動体Ｍ１、Ｍ２が、精算エリア４５にグループの者全員で集合することで、グループ全員が持ち寄った分の商品の一括精算及び決済処理を完了させることができる。
なお、上記処理に不具合が生じた場合は、店内売場に別途配置されている有人の精算レジでの店員による精算及び決済も可能である。
In the
If a problem occurs with the above processing, it is also possible for a clerk to make payment at a manned checkout register located separately in the store's sales floor.
精算機４には、表示端末３１５ｂが接続されている。表示端末３１５ｂは、店舗３９の精算エリア４５に設置されており、精算機４と連携し精算機４の表示部として機能する。表示端末３１５ｂは、精算エリア４５に進入した人の人数や、商品精算時の商品リスト、決済時の決済画面、買い物客等の操作者により操作されるボタン類等をタッチディスプレイに表示する。表示端末３１５ｂは、決済のための各種情報読取機やレシート等の印刷機能を備える。精算機４の側に当該各種情報読取機や印刷機能が備えられている場合は表示端末３１５ｂ側には備える必要はない。
A
次に、図６及び図７を参照して、本発明の情報処理システムの実施形態に係る構成のうち、サーバ、売場装置、精算機の機能的構成の一例について説明する。 Next, with reference to FIGS. 6 and 7, an example of the functional configuration of a server, a sales floor device, and a payment machine among the configurations according to the embodiment of the information processing system of the present invention will be described.
図６は、本発明の情報処理システムの実施形態に係る構成のうち、図３のハードウェア構成を備えるサーバと、図４のハードウェア構成を備える売場装置と、図５のハードウェア構成を備える精算機との機能的構成の一例を示す機能ブロック図である。
また、図７は、図６の売場装置に備えられた棚商品認識部の詳細な機能的構成を示す機能ブロック図である。
FIG. 6 shows a server having the hardware configuration of FIG. 3, a sales floor device having the hardware configuration of FIG. 4, and a hardware configuration of FIG. 5, among the configurations according to the embodiment of the information processing system of the present invention. It is a functional block diagram showing an example of a functional configuration with a payment machine.
Further, FIG. 7 is a functional block diagram showing a detailed functional configuration of a shelf product recognition section provided in the sales floor apparatus of FIG. 6.
実施形態の次世代レジシステムは、複数の商品（物品）が棚ラック４３（配置場所）に配置された店内売場（所定領域）の中を買い物客等の移動体Ｍ１、Ｍ２（人）が移動して、複数の商品（物品）のうち１以上の商品（物品）を店内売場の外に持ち出す際に利用されるシステムである。
図６において、サーバ１は、ＣＰＵ１０１と、記憶部１０８と、通信部１０９とを備える。
サーバ１のＣＰＵ１０１においては、商品情報、位置情報及び移動体Ｍ１、Ｍ２に紐付く情報等を管理するＤＢ管理部１４１が機能する。ＤＢ管理部１４１は、精算機の夫々に備える構成としてもよい。
サーバ１の記憶部１０８の一領域には、商品ＤＢ１３１と、位置情報管理ＤＢ１３２とが設けられている。
商品ＤＢ１３１は、商品に関する情報を記憶するＤＢ（Ｄａｔａ Ｂａｓｅ）である。位置情報管理ＤＢ１３２は、店内売場に配置したセンシングデバイス（重量センサ３１２、光センサ３１１、天井カメラ３１０、入口カメラ３１３、出口カメラ３１４等）の位置情報、店内売場に進入した移動体Ｍ１、Ｍ２の位置と、移動体Ｍ１、Ｍ２に紐付く情報とを管理するＤＢである。
移動体Ｍ１、Ｍ２に紐付く情報は、例えば移動体Ｍ１、Ｍ２の夫々に対して入口で付与したユニークＩＤと、グループＩＤと、夫々の移動体Ｍ１、Ｍ２の位置と、移動体Ｍ１、Ｍ２が移動途中に棚から持ち出した物品の情報とを紐付けた情報である。
なお、ユニークＩＤとグループＩＤとを纏めて一つのＩＤで管理してもよい。また、グループの識別子を付与したユニークＩＤとしてもよい。
In the next-generation cash register system of the embodiment, movable objects M1 and M2 (people) such as shoppers move through an in-store sales floor (predetermined area) in which a plurality of products (articles) are arranged on shelf racks 43 (arrangement location). This system is used when one or more products (articles) out of a plurality of products (articles) are taken out of the store's sales floor.
In FIG. 6, the
In the
A
The
The information linked to the mobile bodies M1 and M2 includes, for example, the unique ID given to each of the mobile bodies M1 and M2 at the entrance, the group ID, the position of the respective mobile bodies M1 and M2, and the mobile bodies M1 and M2. This is information that is linked to information about items taken out from the shelf during movement.
Note that the unique ID and group ID may be managed together as one ID. Alternatively, it may be a unique ID to which a group identifier is attached.
売場装置３は、ＣＰＵ３０１、天井カメラ３１０、光センサ３１１、重量センサ３１２、通信部３１７等を備える。
売場装置３のＣＰＵ３０１においては、入口制御部３２０と、移動体追跡部３３０と、位置情報管理部３４０と、棚商品認識部３６０と、出口制御部３７０と、が機能する。
The
In the
入口制御部３２０は、店内売場に２人（Ｎ人）の買い物客である移動体Ｍ１、Ｍ２が進入する前、つまり図１のゲート装置３１６ａ手前の入口エリア４０において、当該２人が属する所定グループを作成する。
具体的には、入口制御部３２０は、２人の買い物客が店内売場に進入する手前のゲート装置３１６ａ手前の入口エリア４０で、このエリアに進入した買い物客が属する所定グループを、移動体Ｍ１、Ｍ２のユニークＩＤ（所定グループのグループ識別子を含む）で作成し、サーバ１への当該所定グループの登録が完了すると、入口のゲート装置３１６ａを開放し、所定グループの買い物客全員の入店を許可する。所定グループを作成する際に移動体Ｍ１、Ｍ２夫々のユニークＩＤを発行する。ユニークＩＤには、グループの識別子として同じグループであることを示すグループＩＤが付与される。
一例をあげると、移動体Ｍ１のユニークＩＤとして、例えば「Ｇ０１－００１」が発行された場合、「Ｇ０１」がグループの識別子であり、その後の「００１」が移動体Ｍ１固有のユニークＩＤである。
Before the mobile bodies M1 and M2, which are two (N) shoppers, enter the in-store sales floor, that is, in the
Specifically, in the
For example, if "G01-001" is issued as the unique ID for mobile M1, "G01" is the group identifier, and the subsequent "001" is the unique ID unique to mobile M1. .
移動体追跡部３３０は、店内売場において、所定グループに属する２人の夫々を追跡する。
具体的には、移動体追跡部３３０は、店内売場に設置されている天井カメラ３１０により撮像して得られた画像から所定グループに属する２人の買い物客（移動体Ｍ１、Ｍ２）夫々を特定し追跡する。
なお、各天井カメラ３１０により撮像された画像情報を他の天井カメラ３１０に撮像された画像情報と共有することにより、移動体追跡部３３０は、現在、移動体Ｍ１、Ｍ２を撮像している天井カメラ３１０から、別の天井カメラ３１０に撮像されるようになっても、移動体を追跡し続けることができる。
The mobile
Specifically, the mobile
Note that by sharing the image information captured by each
位置情報管理部３４０は、移動体追跡部３３０により追跡される移動体Ｍ１、Ｍ２の位置情報を取得し、サーバ１へ送信することで、サーバ１において、移動体Ｍ１、Ｍ２が退出するまで位置情報管理ＤＢ１３２に管理される。
位置情報管理部３４０は、天井カメラ３１０から得られる画像を統括管理するサーバ１と通信することで、サーバ１の商品ＤＢ１３１を含め、記憶部１０８上において天井カメラ３１０の情報（現在移動体を撮像している天井カメラはどの位置のものか等）をやり取りする。
なお、他の例として、天井カメラ３１０の台数が多いことに鑑み、位置情報管理部３４０は、各天井カメラ３１０と直接通信（例えばＰ２Ｐ等）することによって、サーバ１を介することなく各天井カメラ３１０で撮像された画像を受け渡すようにしてもよい。
The location
By communicating with the
In addition, as another example, in view of the large number of
位置情報管理部３４０は、各天井カメラ３１０が店内のどこを映しているかの位置情報を定義する。即ち、位置情報管理部３４０は、別々の天井カメラ３１０に撮像された移動体が店舗内のどこに位置しているかを把握する。
位置情報管理部３４０は、各天井カメラ３１０の撮像画像を合成し、１枚の店舗マップを作成する。また、位置情報管理部３４０は、各天井カメラ３１０、入口カメラ３１３、出口カメラ３１４の座標を店舗マップ上の座標に置き換える。
また、位置情報管理部３４０は、各天井カメラ３１０によって撮像された撮像画像について、透視変換により、計算上、店舗内床面に正対した撮像画像となるように補正する。
なお、このようにして得られた移動体Ｍ１、Ｍ２の位置情報は、位置情報管理ＤＢ１３２やメモリ等で管理される。また、移動体Ｍ１、Ｍ２の位置情報、即ち、人の行動履歴に関する情報から、人の興味、関心等を推測することができる。このため、位置情報管理ＤＢ１３２やメモリ等で管理された移動体Ｍ１、Ｍ２の位置情報を、マーケティング分析等に活用することもできる。
The position
The position
Further, the position
Note that the position information of the mobile bodies M1 and M2 obtained in this way is managed in the position
棚商品認識部３６０は、この例では重量センサ３１２及び光センサ３１１を用いる手法（１以上のセンシングデバイスのうち少なくとも１つを用いる所定の手法）で、複数の商品のうち、棚ラック４３から取り出された商品とその個数の双方を特定する。
具体的には、棚商品認識部３６０は、図７に示す機能的構成を有しており、物体の移動検知（棚からの取り出し又は戻しの検知）、物体を商品として特定、商品と移動体との紐付け、紐付け情報により商品リストを管理する等の動作を行う。詳細は、図７の説明に記述する。
In this example, the shelf
Specifically, the shelf
出口制御部３７０は、所定グループに属する２人の買い物客（移動体Ｍ１、Ｍ２）全てが出口のゲート装置３１６ｂ手前の精算エリア４５内に進入（集合）したか否かを判定する。
そして、出口制御部３７０は、所定グループに属する２人の買い物客（移動体Ｍ１、Ｍ２）全員が精算エリア４５内に進入（集合）したという第１条件を少なくとも含む１以上の条件（グループの買い物客が全員揃った、グループ単位での購入商品の精算処理を終えた、当該精算金額の決済処理を代表の買い物客が済ませた等の夫々の条件）を満たした場合、当該２人の買い物客のうち夫々のユニークＩＤと紐付けられた１以上の商品を、所定グループの商品として店内売場の外に持ち出すことを許可し出口のゲート装置３１６ｂを開放する。そして、出口制御部３７０は、所定グループの買い物客（移動体Ｍ１、Ｍ２）全員がゲート装置３１６ｂ通過すると、精算エリア４５における買い物客（移動体Ｍ１、Ｍ２の２名）の人数のカウントをリセットする。
The
Then, the
ここで、店舗において販売されている商品がどのような商品か特定される前のものを「物体」と呼ぶ。なお、商品ではないものの、例えば買い物客が持参する私物等も「物体」となる。そして、「物体」が商品として特定されたものを「商品」と呼ぶ。したがって、「商品」とは、店頭において販売されているものを意味する。
また、本発明の一実施形態に係る情報処理システムは、物体を測定対象とする１台以上のセンシングデバイスを備える。
センシングデバイスとしては、重量センサ、赤外線を活用した光センサ、カメラ等の画像センサの他、３Ｄセンサ（ＴＯＦセンサ、ステレオカメラ、ＬＩＤＡＲセンサ等）、温度センサ、距離センサ、種々のものを採用できる。
Here, a product sold at a store before it is specified is referred to as an "object." Although not products, for example, personal belongings brought by shoppers are also considered "objects." An "object" that is identified as a product is called a "product." Therefore, "product" means something that is sold at a store.
Further, an information processing system according to an embodiment of the present invention includes one or more sensing devices that measure objects.
As the sensing device, various devices such as a weight sensor, an optical sensor using infrared rays, an image sensor such as a camera, a 3D sensor (TOF sensor, stereo camera, LIDAR sensor, etc.), a temperature sensor, a distance sensor, etc. can be used.
上述のセンシングデバイスのうち、カメラ等の画像センサにより撮像された画像を、以下「撮像画像」と呼ぶ。さらに、物体を被写体として含む撮像画像を、以下「物体撮像画像」と呼ぶ。一方、商品を被写体として含む撮像画像を、以下「商品撮像画像」と呼ぶ。
また、本明細書では、商品撮像画像及び物体撮像画像に対して各種画像処理を施す場合、実際にはデータの形態で取り扱うが、以下においては説明の便宜上、データは省略して説明する。
ここで、物体撮像画像及び商品撮像画像としては、例えば、商品を個別に切り出した画像、商品のロゴの画像、商品のバーコードの画像、商品のラベルの画像、商品の棚全体の撮像画像、店舗内を天井等から撮像した店舗内の画像等を用いることができる。
Among the above-mentioned sensing devices, an image captured by an image sensor such as a camera is hereinafter referred to as a "captured image". Furthermore, a captured image that includes an object as a subject will be referred to as an "object captured image" hereinafter. On the other hand, a captured image that includes a product as a subject is hereinafter referred to as a "product captured image."
Furthermore, in this specification, when performing various image processing on product captured images and object captured images, it is actually treated in the form of data, but for convenience of explanation, the data will be omitted from the explanation below.
Here, the object captured image and the product captured image include, for example, an image of an individual product cut out, a product logo image, a product barcode image, a product label image, a captured image of the entire product shelf, An image of the inside of the store taken from the ceiling or the like can be used.
ここで、物体あるいは商品に関する関連情報としては、各種センシングデバイスにより得られる情報が該当する。具体例として例えば、物体撮像画像、商品撮像画像、認識結果のログ、商品候補リスト、物体撮像画像が撮像された位置情報、重量センサにより検知された重量情報、棚等の什器の位置情報、棚に陳列されている商品の位置情報、店舗内で商品あるいは買い物客を追跡するための情報、上述のセンシングデバイスから得られる３Ｄ情報（３Ｄデータ、ポイントクラウド等）、温度情報、距離情報、赤外線の検知情報等が含まれる。 Here, the relevant information regarding the object or product corresponds to information obtained by various sensing devices. Specific examples include object captured images, product captured images, recognition result logs, product candidate lists, location information where object captured images were captured, weight information detected by a weight sensor, location information of fixtures such as shelves, and shelves. location information of products displayed in the store, information for tracking products or shoppers within the store, 3D information obtained from the above-mentioned sensing devices (3D data, point clouds, etc.), temperature information, distance information, and infrared rays. Contains detection information, etc.
このようにこのシステムの機能的構成によれば、移動体Ｍ１、Ｍ２は、店舗の入口の入口エリア４０において、グループを作成及び登録した後、ゲート装置３１６ａを通過して入店し、店内売場に所定間隔で配置されている棚ラック４３の間の通路４４を進みながら棚ラック４３に陳列されている商品を棚から取り出して通路４４を進む。移動体Ｍ１、Ｍ２は、購入したい商品を全て取り終えると、精算エリア４５へ全員で進入することで、グループ単位で商品をまとめて一括精算及び決済処理することができる。
According to the functional configuration of this system, the mobile objects M1 and M2 create and register a group in the
ここで、図７を参照して本発明の情報処理システムの実施形態に係る構成のうち、図６の売場装置が有する棚商品認識部の詳細な機能的構成を説明する。
図７は、本発明の情報処理システムの実施形態に係る構成のうち、図６の売場装置が有する棚商品認識部の詳細な機能的構成例を示す機能ブロック図である。
図７に示すように、棚商品認識部３６０は、検出部３６０２と、商品特定部３６０３と、紐付け部３６０４と、商品リスト管理部３６０５と、を備える。
センシングデバイスとして、光センサ３１１と重量センサ３１２を用いる場合、棚商品認識部３６０は、光センサ３１１及び重量センサ３１２と通信ケーブルを介して通信する他、他のカメラやパーソナルコンピュータ等とも連携される。
Here, among the configurations according to the embodiment of the information processing system of the present invention, the detailed functional configuration of the shelf product recognition unit included in the sales floor apparatus of FIG. 6 will be described with reference to FIG. 7.
FIG. 7 is a functional block diagram showing a detailed functional configuration example of the shelf product recognition section included in the sales floor apparatus of FIG. 6, among the configurations according to the embodiment of the information processing system of the present invention.
As shown in FIG. 7, the shelf
When using the
サーバ１の位置情報管理ＤＢ１３２には、予め店内売場におけるセンシングデバイス（重量センサ３１２、光センサ３１１、天井カメラ３１０等）の配置場所の位置情報と、商品の配置場所の位置情報が管理されている。例えば重量センサ３１２の上に商品が１つだけ載置されている場合は互いの配置場所は一致する。
The location
この実施形態のように、センシングデバイスとして光センサ３１１と重量センサ３１２を用いる場合、検出部３６０２は、夫々のセンシングデバイスから得られる検出値に基づいて物体の状態の変化を検出する。
検出部３６０２は、光センサ３１１の遮蔽検出から、棚ラック４３内から物体を取り出したときの手や腕の遮蔽検出場所、又は物体を棚ラック４３内に置いた（戻した）ときの手や腕の遮蔽検出場所を検出する。
即ち、検出部３６０２は、物体が棚ラック４３の棚から取り出される際又は棚に置かれる際に手で光センサ３１１の光が遮蔽検出された検出場所を特定する。
この遮蔽検出により、棚の外から物体に対して行為（外部から人の手又は腕が入った）が加えられたことが分かる。
When using the
The
That is, the
This shielding detection indicates that an action (a person's hand or arm entered from outside) was applied to the object from outside the shelf.
検出部３６０２は、重量センサ３１２により検出された重量の変化と当該重量センサ３１２が設置された棚内の位置（場所）を確認する。
具体的には、検出部３６０２は、重量センサ３１２の重量検出値から、重量の変化を確認し、例えば、重量が減少した場合には物体が棚内から取られたと検出する一方、重量が増加した場合には物体が棚内に置かれた（戻された）と検出する。
The
Specifically, the
棚にＡ重量センサと、Ｂ重量センサが配置されていたものとする。
例えば棚のＡ重量センサの重量検出値が減少するように変化した場合には、検出部３６０２は、重量検出値が減少した棚のＡ重量センサの上に置かれていた商品が取り出されたものと認識（検出）する。また、棚のＢ重量センサの重量検出値が増加するように変化した場合には、検出部３６０２は、重量検出値が増加した棚のＢ重量センサの上に商品が戻されたものと認識（検出）する。
このようにして物体の移動情報、つまり物体が棚から取り出された又は棚に置かれたことに関する情報（重量検出値の変化と遮蔽検出情報）は、商品特定部３６０３に引き渡される。
Assume that weight sensor A and weight sensor B are placed on the shelf.
For example, when the weight detection value of the A weight sensor on the shelf changes to decrease, the
In this way, object movement information, that is, information regarding whether the object has been taken out or placed on the shelf (change in detected weight value and shielding detection information) is delivered to the
このようにして検出された物体が棚内から取られた又は棚に置かれたことに関する情報は、商品特定部３６０３に引き渡される。
また上述の例では、物体が棚内から取られた又は棚に置かれたことを検出するのに、光センサや重量センサが用いたが、これに限定されない。例えば、３Ｄセンサをはじめとする各種センシングデバイスから取得した情報を基に、棚から取り出された又は棚に置かれたことを検出してもよい。
Information regarding whether the object detected in this way was taken from the shelf or placed on the shelf is delivered to the
Further, in the above example, a light sensor and a weight sensor are used to detect whether an object is taken from or placed on a shelf, but the present invention is not limited thereto. For example, it may be detected that the item has been taken out or placed on the shelf based on information obtained from various sensing devices such as a 3D sensor.
商品特定部３６０３は、検出部３６０２によって認識された棚内の物体がいずれの商品であるかを特定する。
The
具体的には、商品特定部３６０３には、検出部３６０２から物体の移動情報が引き渡されるので、商品特定部３６０３は、物体の移動情報を用いて、サーバ１の位置情報管理ＤＢ１３２と商品ＤＢ１３１から、移動された物体がどの商品であるかを特定する。
具体的には、例えば、光センサ３１１から得られる商品取出時の遮蔽検出情報と、重量センサ３１２から得られる重量値の変化と、夫々のセンサの検知タイミングとを組み合わせて商品や商品を取り出した移動体を特定する。このとき、組み合わせにおける閾値は任意に定められてもよく、その閾値は、例えば、購入履歴、時間、場所、人の嗜好等の情報を参照してもよい。
Specifically, the
Specifically, for example, the product or product is taken out by combining the shielding detection information obtained from the
サーバ１の位置情報管理ＤＢ１３２には、商品ごとの重量が記録された「商品毎の重量リスト」、又は商品が設置される棚の位置が記録された「商品毎の位置情報リスト」が予め用意されている。
商品特定部３６０３は、物体の移動情報に含まれる重量検出値の変化と、「商品毎の重量リスト」とをマッチングさせて、例えば、所定の閾値を超える場合に、商品又はその商品の個数を特定する。また、「商品毎の重量リスト」に記録された商品毎の重量及びマッチングにおける閾値は、統計分析や、ディープラーニング等の手法により定められてもよい。これにより、商品の重量にばらつきがある場合でも、高い精度で商品を特定することができるようになる。
また、商品特定部３６０３は、「商品毎の位置情報リスト」と、重量の変化があった重量センサの位置情報とに基づいて商品を特定する。
さらに、商品特定部３６０３は、「商品毎の重量リスト」、及び「商品毎の位置情報リスト」を組み合わせてマッチングに用いることにより、商品及び商品の個数の双方を特定する。
In the location
The
Further, the
Furthermore, the
また上述の例では、商品の特定には、光センサや重量センサにより得られた情報が用いられたが、これらの情報に限定されない。即ち、その他のセンシングデバイスにより取得した情報を基に商品を特定してもよい。
また、それらの中から任意の１手法を採用してもよいし、複数の手法を組み合わせて採用してもよい。
例えば、センシングデバイスとして棚カメラ等を用いる場合、商品特定部３６０３は、特定物体認識、一般物体認識、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）等の画像処理手法により、商品候補をリストアップする。このリストアップされた商品候補を「商品候補リストＳ」と呼ぶ。その後、商品特定部３６０３は、検証機能を発揮させることで、商品を高い精度で特定する。
Furthermore, in the above example, the information obtained by the optical sensor and the weight sensor was used to identify the product, but the information is not limited to these. That is, the product may be specified based on information acquired by other sensing devices.
Further, any one method may be employed from among them, or a combination of a plurality of methods may be employed.
For example, when using a shelf camera or the like as a sensing device, the
検証機能は前述の商品候補をリストアップする手法と異なる手法によって「商品候補リストＰ」をリストアップする。商品候補リストＳ、Ｐの結果をマッチングさせて、所定の閾値を超える場合、商品を特定する。
「商品候補リスト」のリストアップ手法として、例えば、存在が認識された物体から得られる物体の画像情報と、商品ＤＢ１３１やメモリ上に保持されている画像情報とマッチングさせる方法により実現されてもよい。即ち、両画像の特徴情報が一致する（閾値を超える）と、検出部３６０２によって移動が検出された物体が、商品ＤＢ１３１に登録されている商品であると認識し、商品特定部３６０３は、その商品ＤＢ１３１に登録された商品であると特定する。このように、ディープラーニングにより、商品候補を作成し、その後、検証機能を発揮させることで、商品を高い精度で特定する。
The verification function lists up the "product candidate list P" using a method different from the method for listing the product candidates described above. The results of the product candidate lists S and P are matched, and if the results exceed a predetermined threshold, the product is identified.
The "product candidate list" listing method may be realized, for example, by a method of matching object image information obtained from an object whose existence has been recognized with image information held in the
また、商品特定部３６０３は、棚カメラによって撮像された撮像画像の１フレームで商品を特定せず、他のセンシングデバイスとして、例えば天井カメラ３１０によって撮像された撮像画像も駆使し、複数の撮像画像にわたって商品を特定してもよい。
さらに、複数のニューラルネットワークによるディープラーニングにより取得した情報と、他のセンシングデバイスにより取得した情報と、夫々任意に設定した閾値とを組み合わせて、任意のマッチングのアルゴリズムを作成し、取り出し商品の認識モデルとしてもよい。
このように、複数の手法を組み合わせた場合、夫々の手法による特定の精度が補完され、より高い精度で商品の特定をすることができるようになる。
In addition, the
Furthermore, by combining information acquired through deep learning using multiple neural networks, information acquired by other sensing devices, and arbitrarily set thresholds for each, an arbitrary matching algorithm is created and a recognition model for the retrieved product is created. You can also use it as
In this way, when a plurality of methods are combined, the specific accuracy of each method is complemented, and products can be specified with higher accuracy.
紐付け部３６０４は、特定された物品と、所定グループに属する２人のうち特定された物品から最も近くに存在する買い物客（所定の位置関係にある移動体Ｍ１又は移動体Ｍ２）若しくは所定グループ（その買い物客のグループ）とを紐付ける。
具体的には、紐付け部３６０４は、商品特定部３６０３によって特定された商品の商品情報と位置情報と、商品を取り出した移動体（移動体Ｍ１か移動体Ｍ２のいずれか）のユニークＩＤとを紐付ける。
The
Specifically, the linking
上記実施形態では、光センサ３１１と重量センサ３１２とを組み合わせて、取り出された物体の位置と、物体を取り出した移動体（移動体Ｍ１、Ｍ２のいずれか）を検出したが、１台の天井カメラが撮像する所定７０６エリア内に複数人の移動体Ｍ１、Ｍ２が存在する場合であれば、出口カメラ３１４や天井カメラ３１０により撮像される画像から夫々の移動体Ｍ１、Ｍ２内への物体の入出を検知し、棚内から取られた物体が取り込まれた移動体（移動体Ｍ１、Ｍ２のいずれか）を特定し、当該移動体Ｍ１、Ｍ２と商品情報とを紐付けてもよい。
さらに別の前提として、１台のカメラが撮像する所定エリア内に移動体Ｍ１、Ｍ２が１つも存在しないとされる場合であれば、少なくとも１台以上のカメラによって、移動体Ｍ１、Ｍ２への入出を検知し、その移動体Ｍ１、Ｍ２を特定したうえで、その特定された移動体Ｍ１、Ｍ２と商品情報とを紐付けてもよい。
また、移動体Ｍ１、Ｍ２の発見、定義、追跡には、天井カメラ３１０及び出口カメラ３１４に限定されず、各種各様のセンシングデバイスを用いてもよい。
具体例として、例えば３Ｄセンサから得られた３Ｄデータから頭、肩、腕、手、足等の各パーツを推定することで、移動体Ｍ１、Ｍ２の高さ方向の情報を得ることができる。即ち、移動体Ｍ１、Ｍ２同士の腕や手が重なっていた場合も、高い精度で移動体Ｍ１、Ｍ２を追跡することができ、商品との紐付けを高い精度で行うことができるようになる。
In the above embodiment, the
Another premise is that if there are no moving objects M1 and M2 within the predetermined area imaged by one camera, at least one camera can capture images of moving objects M1 and M2. After detecting entry and exit and specifying the moving objects M1 and M2, the identified moving objects M1 and M2 may be associated with product information.
Further, the detection, definition, and tracking of the moving objects M1 and M2 are not limited to the
As a specific example, information in the height direction of the mobile objects M1 and M2 can be obtained by estimating each part such as the head, shoulders, arms, hands, and feet from 3D data obtained from a 3D sensor. In other words, even if the arms or hands of the moving objects M1 and M2 overlap, it is possible to track the moving objects M1 and M2 with high accuracy, and it is possible to link them with the product with high accuracy. .
商品リスト管理部３６０５は、精算までの間、移動体Ｍ１、Ｍ２と特定された商品とを紐付ける商品リストを管理し続ける。即ち、商品リスト管理部３６０５は、位置情報管理ＤＢ１３２等を活用し、移動体Ｍ１、Ｍ２のユニークＩＤに紐付く商品リストを常に管理し続ける。
物体が棚ラック４３内から取り出された際、商品リスト管理部３６０５は、取得された商品数分を加算する。反対に、商品が棚内に戻された際、商品リスト管理部３６０５は、戻された商品数分を減算する。
The product
When an object is taken out from the
精算機４のＣＰＵ５０１においては、図６に示すように、精算部５３５と、入力制御部５３６と、出力制御部５３７と、が機能する。
In the
精算部５３５は、追跡された移動体Ｍ１、Ｍ２が、精算エリア４５に進入したときに、１以上の移動体Ｍ１、Ｍ２に紐付く商品情報（商品リスト）を、通信部５０９を介してサーバ１から取得し、精算金額及び精算対象商品を確定する。
入力制御部５３６は、表示端末３１５ｂのタッチディスプレイの操作情報（各種ボタン操作の情報や、クレジットカードリーダやＱＲコードリーダ等により読み取られた各種情報（カード決済やコード決済の情報等）を受け付ける。
出力制御部５３７は、精算金額を含む商品リストを表示端末３１５ｂへ出力したり、売場装置３に対して決済完了の通知を行うことで、ゲート装置３１６ｂの扉の開閉制御を実行させる。
When the tracked mobile objects M1 and M2 enter the
The
The
ここで、精算エリア４５に進入した移動体が複数人（移動体Ｍ１、Ｍ２）である場合、進入した複数人の移動体Ｍ１、Ｍ２のグループに紐付く商品情報を基に、精算金額や精算対象商品を確定する。即ち、複数人の精算金額や精算対象商品がまとめて確定する。
具体的には、例えば夫婦で買い物に来て、妻が財布を持って決済する場合において、入店時に妻と同じグループのメンバーとして登録した夫に紐付く商品情報（商品のリスト）を妻の分と共にまとめてグループとして精算（商品リスト化）し、精算額を妻が一括して決済することができる。
Here, if there are multiple moving objects that have entered the payment area 45 (mobile objects M1 and M2), the amount to be paid and the amount of payment Confirm the target product. In other words, the amount to be paid by multiple people and the products to be paid for are determined at once.
Specifically, for example, when a husband and wife go shopping and the wife carries her wallet to pay, the wife will receive product information (a list of products) that is linked to the husband who was registered as a member of the same group as the wife when entering the store. The items can be settled together as a group (created as a list of products), and the wife can pay the total amount all at once.
精算機４は、商品金額の合計を算出し、精算する装置である。
この精算機４は、移動体Ｍ１、Ｍ２が精算エリア４５に進入すると、この進入がトリガーとなって移動体Ｍ１、Ｍ２に紐付く商品情報が読み出され、精算金額が確定し、精算のうえ、支払い手続きが完了すると、通過が許可されて、ゲート装置３１６ａが開放されて、移動体Ｍ１、Ｍ２が通過可能となる。具体的には、ゲート装置３１６ａの扉が開放される。
The
In this
または、精算機４に精算ボタン（図示せず）を設置し、決済する人がその精算ボタンを押下することによって、移動体Ｍ１、Ｍ２に紐付く商品情報が読み出され、精算金額が確定し、精算機４を通過できるようにしてもよい。
Alternatively, a payment button (not shown) is installed on the
また、電子マネーを用いた精算機４においては、決済する人が、精算機４の精算エリア４５に進入し、バーコードやＱＲコード（登録商標）を含む各種カードを、カード読取部にかざすと、移動体Ｍ１、Ｍ２に紐付く商品情報が読み出され、精算及び決済が完了する。そして、決済する人は、精算機４を通過可能となる。
In addition, in the
入店時に移動体Ｍ１、Ｍ２を個人認証する場合には、決済の情報が精算前に特定されている必要がある。精算機４は、決済する人が精算機４の精算エリア４５に進入すると、エラーがない限り、自動精算されて、精算機４を通過可能となる。
精算対象商品が売買制限商品であったり、移動体Ｍ１、Ｍ２に不特定の物体が紐付いている場合は、上述の精算機４と同じ動作となる。
When personally authenticating the mobile objects M1 and M2 upon entering the store, payment information needs to be specified before payment. When a person making a payment enters the
If the product to be settled is a restricted product or if an unspecified object is tied to the moving bodies M1 and M2, the operation is the same as that of the above-mentioned
図８及び図９は、本発明の情報処理システムの実施形態に係る構成のうち、図６のサーバと売場装置と精算機とが実行する自動精算処理を説明するフローチャートである。 8 and 9 are flowcharts illustrating automatic payment processing executed by the server, sales floor device, and payment machine of FIG. 6 in the configuration according to the embodiment of the information processing system of the present invention.
ステップＳ７０１において、入口制御部３２０は、店内売場（所定場所）に、例えば移動体Ｍ１、Ｍ２等のＮ人（Ｎは２以上の整数値）が進入する前に(店舗３９の入口側に設置されたゲート装置３１６ａの手前の入口エリア４０で)、当該Ｎ人が属する所定グループを作成する。所定グループが作成されると、ゲート装置３１６ａの扉が開放されて、移動体Ｍ１、Ｍ２は入店を許可される。その後、処理はステップＳ７０２に進む。
具体的には、入口カメラ３１３により撮像された画像から入口エリア４０に進入した人の数が売場装置３により特定されて、グループの人数の確認を促す画面が表示端末３１５ａのタッチディスプレイに表示される。そして、同じグループに属する買い物客がその人数で確定するタップ操作（「確定」のボタン操作）を行うと、グループが作成されて、店内売場における売場装置３の追跡対象グループとして管理される。
グループを作成する際に、同じグループの夫々の人（移動体Ｍ１、Ｍ２）に、グループを識別する識別子（グループＩＤ）が付されたユニークＩＤが発行される。ユニークＩＤの発番の仕方は、重複しない限り、連続採番でもよく、ランダム採番でもよい。
In step S701, the entrance control unit 320 (installed at the entrance side of the store 39) before N people (N is an integer of 2 or more), such as mobile objects M1 and M2, enters the in-store sales floor (predetermined location). (at the
Specifically, the
When creating a group, a unique ID with an identifier (group ID) for identifying the group is issued to each person (mobile bodies M1, M2) in the same group. The unique ID numbering method may be continuous numbering or random numbering as long as there are no duplicates.
ステップＳ７０２において、移動体Ｍ１、Ｍ２がゲート装置３１６ａを通過して店内に入店すると、天井カメラ３１０が移動体Ｍ１、Ｍ２の撮像を開始する。
In step S702, when the mobile bodies M1 and M2 pass through the
ステップＳ７０３において、移動体追跡部３３０は、天井カメラ３１０により撮像される画像から、移動体Ｍ１、Ｍ２を検出し、検出した移動体Ｍ１、Ｍ２を含む所定の領域を移動体領域（人）として定義する。
In step S703, the moving
ステップＳ７０４において、移動体追跡部３３０は、移動体Ｍ１、Ｍ２夫々の移動を追跡し、位置を推定する。さらに、移動体Ｍ１、Ｍ２が移動した場合は、移動後の移動体Ｍ１、Ｍ２の領域が新たに定義され、位置情報管理ＤＢ１３２やメモリ上に記憶されている移動体Ｍ１、Ｍ２の位置情報が更新される。
In step S704, the mobile
ステップＳ７０５において、位置情報管理部３４０は、入店時に作成された移動体Ｍ１、Ｍ２の夫々のユニークＩＤと、移動体Ｍ１、Ｍ２の位置（座標）情報とを紐付けてメモリ上で管理し、移動体Ｍ１、Ｍ２を含む所定の領域が定義される毎にその位置（座標）情報を更新する。この定義された座標は、別の天井カメラ３１０により撮像されている位置でも認識される。
In step S705, the location
ステップＳ７０６において、棚商品認識部３６０の検出部３６０２は、重量センサ３１２から入力される重量データと、光センサ３１１から入力される検出データとを常に検出しており、当該重量データ及び検出データ夫々の変化より、どの棚のどの場所の物体が移動されたか（持ち出されたか又は戻されたか）を検出（認識）する。
In step S706, the
ステップＳ７０７において、棚商品認識部３６０の商品特定部３６０３は、棚内から移動された（持ち出された又は戻された）物体と、物体を移動させた遮蔽物の存在を認識する。
具体的には、商品特定部３６０３は、物体が置かれた所定の棚の夫々に設置されている重量センサ３１２の位置情報からその上に載置されている物体を特定し、重量データの変化量から物体とその個数を特定する。
つまり重量センサ３１２により取得した重量データと、予め記憶されている商品情報のうち重量データとをマッチングさせることにより商品の個数を特定し、商品情報のうち陳列位置のデータから商品名を特定する。
ここで、商品情報には、商品名、価格、ＪＡＮコード、商品画像、商品の重量、商品サイズ、陳列位置、値引き情報、返金、売上集計、表示が少なくとも含まれ、これらの商品情報は、サーバ１の商品ＤＢ１３１に記憶される。
なお、物体を移動した移動体の特定については、物体が移動されたタイミングと光の遮蔽タイミングから、取り出された物体の位置から最も近くに存在する移動体を、物体を移動した（取り出した又は戻した）移動体として特定する。
In step S707, the
Specifically, the
That is, the number of products is specified by matching the weight data acquired by the
Here, the product information includes at least the product name, price, JAN code, product image, product weight, product size, display position, discount information, refund, sales total, and display, and this product information is stored on the server. 1 is stored in the
Regarding the identification of the moving object that moved the object, the moving object that is closest to the position of the removed object is determined based on the timing of the movement of the object and the timing of light shielding. identified as a moving object (returned).
ステップＳ７０８において、紐付け部３６０４は、特定された物体と、同じグループに属する移動体Ｍ１、Ｍ２（２人の買い物客）のうち特定された物体から最も近くに存在する買い物客（所定の位置関係にある人）とを紐付ける。即ち紐付け部３６０４は、移動体Ｍ１、Ｍ２と特定された商品とを紐付ける。なお、物体をグループに紐付けてもよい。
In step S708, the linking
ステップＳ７０９において、商品リスト管理部３６０５が、移動体Ｍ１、Ｍ２と紐付く商品リストを精算まで管理する。
In step S709, the product
続いて、図９を参照して精算エリアの処理を説明する。
図９は、図８のフローチャートの続きの自動精算処理を示すフローチャートである。
移動体Ｍ１、Ｍ２が店内売場を移動しつつ棚から取り出した商品を所持して精算エリア４５に進入すると、以下のような態様で精算及び決済処理が実行されて、完了すると、ゲート装置３１６ｂが開放されるので、移動体Ｍ１、Ｍ２は、ゲート装置３１６ｂを通過して退店することができる。
Next, processing in the payment area will be explained with reference to FIG.
FIG. 9 is a flowchart showing automatic payment processing that is a continuation of the flowchart shown in FIG.
When the mobile objects M1 and M2 enter the
例えば、商品を所持した移動体Ｍ１、Ｍ２が精算エリア４５に進入すると、精算エリア４５への進入が出口カメラ３１４の撮像画像より検知されて、それがトリガーとなり、ステップＳ７１０において、売場装置３の出口制御部３７０は、精算エリア４５に進入した人数とそのグループをチェックする。
For example, when mobile objects M1 and M2 carrying products enter the
そして、チェックの結果、出口制御部３７０は、同じグループの者全員が精算エリア４５に集合したかを判定する。
この判定の結果、入店時に同じグループとして登録された者全員が精算エリア４５内に集合したと判定されると（ステップＳ７１１のＹｅｓ）、精算機４とサーバ１及び売場装置３との通信により、ステップＳ７１２の精算ステップが実行される。
As a result of the check, the
As a result of this determination, if it is determined that all persons registered as the same group at the time of entering the store have gathered in the checkout area 45 (Yes in step S711), communication between the
ここで、例えば移動体Ｍ１が精算エリア４５に先に進入し、それから遅れて移動体Ｍ２が精算エリア４５に進入したとする。
この場合、移動体Ｍ１が精算エリア４５に進入した段階では、表示端末３１５ｂのタッチパネルディスプレイには、現在の人数として「１／２人」と表示されるだけで精算は開始されない。この際、タッチパネルディスプレイ及び／又はスピーカから「グループの全ての方がエリアに入場されますと決済処理を開始します」等のメッセージか出力される。
続いて、移動体Ｍ２が精算エリア４５に進入した段階で、タッチパネルディスプレイには、現在の人数として「２／２人」と表示され、さらに精算を進めるための「開始ボタン」が表示される。そして、移動体Ｍ１、Ｍ２のいずれかが「開始」ボタンをタップ（タッチ操作）することで、精算機４は、精算を開始する。
なお、このグループ全員の集合に伴う開始動作は、入店時も同様であり、入店時は「開始」ボタンのタップ操作によりグループ作成が開始される。
Here, for example, it is assumed that the mobile body M1 enters the
In this case, when the mobile object M1 enters the
Subsequently, when the mobile object M2 enters the
The starting operation for gathering all the members of the group is the same when entering the store, and group creation is started by tapping the "start" button when entering the store.
上記ステップＳ７１２の精算ステップでは、移動体Ｍ１、Ｍ２が持ち寄ったグループの商品数が集計され、その集計結果は、当該移動体Ｍ１、Ｍ２を含むグループに紐付く商品の商品リストとして表示端末３１５ｂのタッチパネルディスプレイに表示される。
In the settlement step of step S712, the number of products of the group brought by the mobile bodies M1 and M2 is totaled, and the result of the total is displayed on the
移動体Ｍ１、Ｍ２は、タッチパネルディスプレイに表示された商品リストを目視で確認し、ステップＳ７１３において、購入する商品（商品とその数量、単価等）が正しいか否かを判断する。つまりグループで購入する商品の特定が全てなされていることを確認する。 The mobile bodies M1 and M2 visually check the product list displayed on the touch panel display, and in step S713, determine whether the products to be purchased (products, their quantities, unit prices, etc.) are correct. In other words, make sure that all products to be purchased by the group are specified.
この確認の結果、商品リストにおいて、グループで購入する商品の特定が全てなされている場合、移動体Ｍ１、Ｍ２は、ステップＳ７１５において、次のステップに進めるための確定の操作を行う。
具体的には、表示された商品リストの内容とグループの購入商品とが一致していることが確認された場合、移動体Ｍ１、Ｍ２のうち１人（例えば移動体Ｍ１等）が、タッチパネルディスプレイに表示されている「次へ」のボタンをタッチ操作することで、精算内容が確定され、タッチパネルディスプレイに「完了」ボタンが表示される。「完了」ボタンは、決済処理を開始するためのボタンである。
As a result of this confirmation, if all the products to be purchased by the group have been specified in the product list, the mobile bodies M1 and M2 perform a confirmation operation to proceed to the next step in step S715.
Specifically, when it is confirmed that the contents of the displayed product list match the purchased products of the group, one of the mobile objects M1 and M2 (for example, mobile object M1, etc.) By touching the "Next" button displayed on the screen, the payment details are confirmed and the "Complete" button is displayed on the touch panel display. The "Complete" button is a button for starting payment processing.
なお、商品リストの商品が正しくない場合、つまり商品リストの内容とグループの購入商品とが不一致である場合（ステップＳ７１３のＮｏ）、タッチパネルディスプレイに表示されている「修正」のボタンをタッチ操作することで、修正画面が表示されるので、ステップＳ７１４において、購入商品の内容を修正（追加、削除等）する。
具体的には例えば、移動体Ｍ１、Ｍ２が購入する商品と、商品リストに表示された商品との間に個数の過不足がある場合、移動体Ｍ１、Ｍ２は、表示端末３１５ｂのタッチパネルディスプレイの「修正」のボタンを押下することにより個数を修正できる。
また、例えば、購入しようとしている商品がない、又は間違った商品が商品リストに表示されている場合には、移動体Ｍ１、Ｍ２は、商品に貼付されたバーコードを、精算機４のコードスキャナ部５１０（図５参照）により読み取らせることにより商品リストの修正を試みることができる。
移動体Ｍ１、Ｍ２が入口エリア４０を通過してから精算エリア４５に集合するまでの間に、重量の変化から商品の取り出しが検出された商品の一覧を候補商品としてタッチパネルディスプレイに表示し、正しい商品を選択することを試みてもよい。また、商品ＤＢ１３１に記憶されているすべての商品の商品情報から検索して、特定してもよいし、移動体Ｍ１、Ｍ２に商品番号（棚に記載されている商品番号）の入力をしてもらうようにしてもよい。
このようにして商品リストの修正が完了すると、商品リスト管理部３６０５（図７参照）は、商品リストを更新し、処理はステップＳ７１２に戻され、それ以降の処理が繰り返される。
Note that if the product in the product list is incorrect, that is, if the contents of the product list and the group's purchased products do not match (No in step S713), touch the "Modify" button displayed on the touch panel display. As a result, a modification screen is displayed, and in step S714, the content of the purchased product is modified (added, deleted, etc.).
Specifically, for example, if there is an excess or deficiency in the number of products purchased by the mobile bodies M1 and M2 and the products displayed on the product list, the mobile bodies M1 and M2 display the touch panel display of the
For example, if the product you are trying to purchase does not exist or the wrong product is displayed on the product list, the mobile objects M1 and M2 scan the barcode affixed to the product using the code scanner of the
After the moving objects M1 and M2 pass through the
When the modification of the product list is completed in this way, the product list management unit 3605 (see FIG. 7) updates the product list, the process returns to step S712, and the subsequent processes are repeated.
なお、ステップＳ７１５において、精算内容が確定されないまま一定時間が経過すると、ステップＳ７１６において、タッチパネルディスプレイに警告のメッセージが出力され、処理が中止される。 Note that if a certain period of time passes without the payment details being finalized in step S715, a warning message is output to the touch panel display in step S716, and the process is stopped.
一方、ステップＳ７１５の後にタッチパネルディスプレイに表示された「完了」ボタンを移動体Ｍ１がタップすることで、ステップＳ７１７において、決済処理が開始され、タッチパネルディスプレイには決済画面が表示される。 On the other hand, when the mobile object M1 taps the "Complete" button displayed on the touch panel display after step S715, the payment process is started in step S717, and a payment screen is displayed on the touch panel display.
決済画面において、移動体Ｍ１が、所望の支払い方法を選択操作すると、選択した支払い方法により決済処理が実行される。
そして、決済処理が完了すると、ステップＳ７１８において、売場装置３の出口制御部３７０は、所定グループに属する２人の買い物客（移動体Ｍ１、Ｍ２）全てが精算エリア４５内に進入した場合にそのグループの１以上の商品を、店内売場の外に持ち出すことを許可する。具体的には、出口制御部３７０は、ゲート装置３１６ｂを制御してゲート装置３１６ｂの扉を開放するので、移動体Ｍ１、Ｍ２は、ゲート装置３１６ｂを通過して退店することができる。
そして、精算機４は、出口カメラ３１４の画像から、移動体Ｍ１、Ｍ２を含むグループの者全員がゲート装置３１６ｂを通過したことを確認すると、精算エリア４５での処理内容（グループの人数のカウント値等）をリセットし、自動精算処理を終了する。
When the mobile object M1 selects a desired payment method on the payment screen, payment processing is executed using the selected payment method.
When the payment process is completed, in step S718, the
Then, when the
このように買い物客（移動体Ｍ１、Ｍ２）がグループでまとまって精算エリア４５に集合するだけで、各人の購入商品がグループ単位で一括して自動的に精算され、その中の１人が所定の手法により決済を完了させることができる。これにより、移動体Ｍ１、Ｍ２一人一人がレジ前に列を作って並ぶことなく、グループ全員分の買い物の精算及び決済処理を、いっぺんに完了させることができる。
In this way, simply by gathering shoppers (mobile units M1 and M2) in a group at the
また、グループの者全員が商品を所持していない（何も購入しない）状態で、精算エリア４５に進入した場合、当該移動体Ｍ１、Ｍ２には商品が紐付いていないため、精算機４のタッチパネルディスプレイには商品リストとして商品名が表示されず「小計０円」等と表示される。このような場合には移動体Ｍ１、Ｍ２は、タッチパネルディスプレイに表示されている「完了」ボタンをタップすることで、「購入商品がないためお支払いの必要はありません。ご利用ありがとうございました。」等のメッセージが表示され、ゲート装置３１６ｂの扉が開放されるので、移動体Ｍ１、Ｍ２は、ゲート装置３１６ｂを通過して退店することができる。
Furthermore, if all members of the group enter the
以下、上記実施形態に用いる技術（商品検出技術、移動体（人）の追跡技術、重量計測技術等）の適用例を説明する。
図１０は、本発明の情報処理システムの実施形態において、重量センサと光センサを用いて商品を認識する適用例を示す図である。
図１０に示すように、棚ラック４３の各棚３２１、３２２に、センシングデバイスとして、例えば複数の重量センサ３１２及び光センサ３１１を配置する場合、重量センサ３１２を棚３２１の両端を支えるように２つ配置すると共に、商品単位に光センサ３１１を配置、つまり商品Ｂの夫々の陳列位置の真上に光センサ３１１を設置する。この際、光センサ３１１からは赤外線を下方の商品Ｂに向けて照射するように設置する。
この場合、商品Ｂの種類を光センサ３１１で検出し、商品の数量を重量センサ３１２で検出する。
この適用例によれば、商品Ｂに対して個々に重量センサ３１２を配置するよりも、単価の高い重量センサ３１２の数を少なくすることができるので、システムを安価に構成することができる。但し、この場合、光センサ３１１位置が最適位置になるように取付位置を慎重に調整する必要がある。また、比較的大きな商品に適用する場合は別途考慮が必要である。
Application examples of the technologies used in the above embodiments (product detection technology, moving object (person) tracking technology, weight measurement technology, etc.) will be described below.
FIG. 10 is a diagram showing an application example of recognizing a product using a weight sensor and an optical sensor in the embodiment of the information processing system of the present invention.
As shown in FIG. 10, when a plurality of
In this case, the type of product B is detected by the
According to this application example, the number of
図１１は、本発明の情報処理システムの実施形態において、蓋付きの専用ケースを用いて商品を認識する適用例を示す図である。
図１１に示すように、この適用例の場合、棚３２１の両端の下面に重量センサ３１２を配置するとともに、棚３２１の上に蓋付きの専用ケース３３１（以下「商品箱３３１」と呼ぶ）を配置する。
商品箱３３１は、上部が開口された筐体３３２と、開口を塞ぐ蓋３３３とを開閉自在に設けたものである。蓋３３３を閉めたときに筐体３３２と蓋３３３とが重なる端部には互いが接触すると、微電流が流れる仕組みの接触センサ３３４が設けられている。
この適用例の場合、商品箱３３１の中に商品を入れた状態で、商品箱３３１を棚に並べて陳列し、買い物客は、所望の商品が収納されている商品箱３３１の蓋３３３を手で開けて商品箱３３１の中の商品を取り出すことになる。検知回路としては、商品箱３３１の蓋３３３を開くと接触センサ３３４に電流が流れ、蓋３３２を閉じると接触センサ３３４により電流の流れが遮断されるので、接触センサ３３４が接続されている売場装置３が電流の遮断を検出することで、商品の取り出しを検出することができる。
この適用例によれば、簡単な回路構成の接触センサ３３３と、少ない数の重量センサ３１２とで、取り出された商品とその位置と数量と検出することができるので、システムを安価に構成することができる。但し、この場合も、比較的大きな商品に適用する場合は商品箱３３１のサイズ等を別途考慮が必要である。
FIG. 11 is a diagram showing an application example of recognizing a product using a dedicated case with a lid in the embodiment of the information processing system of the present invention.
As shown in FIG. 11, in this application example,
The
In this application example, the
According to this application example, it is possible to detect the removed products, their positions and quantities using the
この他、例えばＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）カメラを用いて商品を認識してもよい。
この場合、店内売場の棚ラックと棚ラックとの間の通路の上の天井より、通路の両側の棚ラックの棚が撮像できるようにＡＩカメラを設置し、ＡＩカメラにより撮像された画像から左右のどの棚ラックのどの段の棚から商品を取ったかを画像解析モデルにより判別する。
この適用例によれば、得られる情報の価値が高く、単なる商品の取り出し検知だけでなく、例えば万引き防止にも有効に利用することができる。但し、棚から取り出す個数までは分からないため、別途、個数を識別するための手段で個数を計測する必要がある。
In addition, for example, an AI (Artificial Intelligence) camera may be used to recognize the product.
In this case, an AI camera is installed so that the shelves of the shelf racks on both sides of the aisle can be imaged from the ceiling above the aisle between the shelf racks in the store sales area, and the images taken by the AI camera are An image analysis model is used to determine which shelf of which rack the product was taken from.
According to this application example, the value of the obtained information is high, and it can be effectively used not only for simply detecting product removal, but also for example to prevent shoplifting. However, since the number of items taken out from the shelf is not known, it is necessary to separately measure the number using a means to identify the number of items.
ここからは、移動体（人）の追跡技術について説明する。
まず、Ｂｌｕｅｔｏｏｔｈ５．１を用いた移動体（人）の追跡例が挙げられる。
この適用例は、Ｂｌｕｅｔｏｏｔｈ５．１の通信が可能な専用端末と、専用端末と通信する通信設備を用意する。Ｂｌｕｅｔｏｏｔｈは登録商標である。
この場合、買い物客が店内売場に入店する際に、専用端末を買い物客に渡し、店内売場で買い物をしてもらう。
通信設備は、専用端末の座標をリアルタイムに検出し、店内を移動する買い物客を追跡する。
この適用例によれば、精度よくリアルタイムに測定することが可能なため、信頼性が高いシステムを構成することができる。またＢｌｕｅｔｏｏｔｈ５．１を利用することで、システムを低コストに実現することができる。但し、入店時に買い物客に専用端末を渡し、退店時に買い物客から専用端末を回収する必要がある。
From here, we will explain the tracking technology for moving objects (people).
First, an example of tracking a moving object (person) using Bluetooth 5.1 is given.
In this application example, a dedicated terminal capable of Bluetooth 5.1 communication and communication equipment for communicating with the dedicated terminal are prepared. Bluetooth is a registered trademark.
In this case, when the shopper enters the in-store sales area, a dedicated terminal is given to the shopper and the shopper is asked to shop at the in-store sales area.
The communication equipment detects the coordinates of dedicated terminals in real time and tracks shoppers as they move through the store.
According to this application example, since it is possible to measure accurately in real time, a highly reliable system can be configured. Furthermore, by using Bluetooth 5.1, the system can be realized at low cost. However, it is necessary to hand over a special terminal to shoppers when they enter the store, and collect it from shoppers when they leave the store.
図１２は、本発明の情報処理システムの実施形態において、骨格推定や顔認識等の画像処理技術を用いて移動体（人）を追跡する適用例を示す図である。
この場合、店内に設置した二次元画像撮影用のカメラ（以下「２Ｄカメラ」と呼ぶ）により撮像される２Ｄ画像（図１２（Ａ）、（Ｂ）参照）を画像解析モデルに入力し、画像解析モデルからは、２Ｄ画像から検出された人体を出力させることで、買い物客を追跡する。画像解析モデルとしては、例えば骨格推定モデルや顔認証モデルを用いるものとする。
この適用例によれば、買い物客の位置情報に加え、姿勢等を得ることができる。将来的には商品を認識することにも利用することができる。但し、２Ｄカメラが多数必要であるため、システム導入コストが高くなる。また、ある程度の精度を得るためには、多くの教師データ（サンプル）によりＡＩ（画像解析モデル）に学習させる必要がある。
FIG. 12 is a diagram showing an application example of tracking a moving object (person) using image processing techniques such as bone structure estimation and face recognition in the embodiment of the information processing system of the present invention.
In this case, a 2D image (see FIGS. 12(A) and 12(B)) captured by a camera for capturing two-dimensional images (hereinafter referred to as "2D camera") installed in the store is input to the image analysis model, and the image is The analysis model tracks shoppers by outputting human bodies detected from 2D images. As the image analysis model, for example, a skeletal estimation model or a face recognition model is used.
According to this application example, in addition to the shopper's location information, it is possible to obtain the shopper's posture and the like. In the future, it can also be used to recognize products. However, since a large number of 2D cameras are required, the system introduction cost increases. In addition, in order to obtain a certain degree of accuracy, it is necessary to make the AI (image analysis model) learn from a large amount of training data (samples).
図１３は、本発明の情報処理システムの実施形態において、台車に設置したカメラを用いて移動体を追跡する追跡例を示す図である。
図１３に示すように、台車３４１の下部側面の、棚ラック４３の棚４３ａの高さに対応する位置にカメラ３４１を設置する。
台車３４１の下部にカメラ３４２を設置する。棚ラック４３の棚４３ａの端面（前面）にバーコードを印刷した媒体３４３を配置する。また、売場装置３又はサーバ１には、バーコードの情報に、棚ラック４３の位置と、商品Ｂの位置と、を対応付けて予め記憶しておくものとする。
この場合、買い物客が台車３４１と共に店内を移動する中で、棚ラック４３の所望の商品Ｂの前に来ると、カメラ３４２が媒体３４３のバーコードを読み取り、読み取ったバーコードの情報に基づいて移動体（この場合、買い物客と台車３４１）の位置と、商品Ｂの位置とを特定する。
この適用例によれば、安価に実現することができる。カメラを用いた発展性も高い。但し、台車３４１にバッテリ等の電源を搭載する必要あり、定期的な充電等が必要である。
FIG. 13 is a diagram showing an example of tracking a moving object using a camera installed on a trolley in the embodiment of the information processing system of the present invention.
As shown in FIG. 13, a
A
In this case, when the shopper moves through the store with the
According to this application example, it can be realized at low cost. It is also highly expandable using cameras. However, it is necessary to mount a power source such as a battery on the
図１４は、本発明の情報処理システムの実施形態において、台車に９軸センサを搭載して移動体の位置を計測しつつ追跡する追跡例を示す図である。
図１４に示すように、店内をいくつかのエリアに分けて、エリア毎に床面の色を変えるものとする。例えば床面が青色のエリア３５０ｂと赤色のエリア３５０ａ等を設ける。
また、店内で利用されるショッピングカート等の台車３５１には、９軸センサ（自律航法用のマイコン）（図示せず）を搭載する。
この場合、９軸センサ（マイコン）（図示せず）と、床面の色を検知するセンサ（図示せず）を台車３５１に搭載し、これらのセンサにより移動方向（方位）と、位置（店内における座標）と、速度と、エリアの切り替わりを計測することで、買い物客を追跡する。
そして、買い物客が台車３５１と共に店内を移動して、エリアを跨いだときに、位置情報をリセットする。これにより、計測誤差を抑制することができる。
この適用例によれば、安価に位置計測機能と移動体の追跡機能を実装することができる。また、マイコンを搭載することで、他の用途等に発展する可能性が有る。但し、台車３５１に電源を搭載する必要あり、定期的に充電をする必要があり、充電スポット等の場所を店舗に設ける必要がある。
FIG. 14 is a diagram illustrating a tracking example in which a 9-axis sensor is mounted on a cart and the position of a moving body is measured and tracked in the embodiment of the information processing system of the present invention.
As shown in FIG. 14, the store is divided into several areas, and the color of the floor surface is changed for each area. For example, an
Further, a 9-axis sensor (microcomputer for autonomous navigation) (not shown) is mounted on a
In this case, a 9-axis sensor (microcomputer) (not shown) and a sensor (not shown) that detects the color of the floor are mounted on the
Then, when the shopper moves within the store with the
According to this application example, a position measurement function and a moving body tracking function can be implemented at low cost. Additionally, by installing a microcontroller, there is a possibility that it will be developed into other uses. However, it is necessary to mount a power source on the
図１５は、本発明の情報処理システムの実施形態において、台車に重量センサを設置して商品の重量を計測する適用例を示す図である。
図１５に示すように、ショッピングカート等の台車３５１に重量センサ（図示せず）を搭載する。
この場合、台車３５１の商品収納部（かごの部分）に重量センサ（図示せず）を配置するとともに、台車３５１に制御装置（マイコン等）を搭載することで、買い物客や台車自体の追跡をしなくても、移動中に台車３５１のかごの重量が増減した変化量と、棚３２１に設置されている重量センサ３１２の重量検出量が変化した変化量と、互いの重量が変化したタイミングとを記憶しておくことで、精算の際に、台車３５１に載せられている商品を特定できるので、精算を行うことができる。
具体的には、図１５のように、買い物客が、棚３２１に陳列されている商品Ａ（３００ｇ）を取り、台車３５１のかごに入れた場合、棚３２１に設置されている重量センサ３１２の重量検出量が３００ｇ減り、このタイミングで台車３５１のかごの重量検出量が３００ｇ増えるため、買い物客がどの商品を台車３５１のかごに入れたかが分かる。
この適用例によれば、買い物客や台車３５１を追跡することなく、精算の際に商品を特定できる他、重量がそのまま移動するため、万引きの予防、防止にも繋がる。但し台車３５１に重量センサ３１２と、制御装置と、これらを動作させるバッテリ等を組み込む必要があり、上述のバッテリを用いる適用例と同様の対策が必要である。
FIG. 15 is a diagram showing an application example in which a weight sensor is installed on a trolley to measure the weight of a product in the embodiment of the information processing system of the present invention.
As shown in FIG. 15, a weight sensor (not shown) is mounted on a
In this case, a weight sensor (not shown) is placed in the product storage section (basket part) of the
Specifically, as shown in FIG. 15, when a shopper picks up product A (300 g) displayed on the
According to this application example, the product can be identified at the time of checkout without having to track the shopper or the
〔他の実施形態〕
本発明は、上述の実施形態に限定されるものでなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
[Other embodiments]
The present invention is not limited to the above-described embodiments, and any modifications, improvements, etc. within the range that can achieve the purpose of the present invention are included in the present invention.
上述の実施形態は、コンビニエンスストア等の店舗に次世代レジシステムを適用した例について説明したが、同じグループの複数の客が所望の複数の商品をセルフレジへ持ち込み、一括精算の上、決済処理後、当該複数の商品を店舗外へ持ち出す一連の購入手続きに適用される他、例えば倉庫内において同じグループの複数の人が精算や決済処理を伴わない物品の倉庫外への持ち出し（物品を他の場所に移動する際の在庫管理等）にも適用することができる。 The above embodiment describes an example in which a next-generation cash register system is applied to a store such as a convenience store. In addition to being applied to a series of purchasing procedures in which multiple products are taken out of a store, for example, in a warehouse, multiple people in the same group are allowed to take goods out of the warehouse without checking out or processing payments. It can also be applied to inventory management, etc. when moving from one location to another.
上述した本実施形態では、天井及び各棚ラック４３に設置されているセンシングデバイスとして、天井カメラ３１０、光センサ３１１及び重量センサ３１２等を例示したが、これらはあくまで一例であり、これに限定されない。例えば、３Ｄセンサ、温度センサ、距離センサを含む各種各様のセンシングデバイスを設置することができる。また、重量センサを始めとするこれらのセンシングデバイスは、商品が置かれ得る棚１つに対し、複数個設置されてもよい。
In the present embodiment described above, the
上述した実施形態では、複数の天井カメラ３１０の撮像範囲が重なるように配置する例を説明したが、一般的に、カメラは、撮影対象までの距離が長いほど広範囲を撮影することが可能になる。即ち、カメラを店舗の天井に設置した場合、天井が低い店舗においては１台のカメラで撮影できる範囲は狭い範囲に限定される。そのため、店舗全体を撮影する場合は多くのカメラを設置する必要がある。
そこで、１台のカメラで可能な限り広範囲を撮影するため、例えば以下の工夫がなされてもよい。即ち、撮影対象が映る鏡を天井に設置し、カメラのレンズを天井の鏡に向けた状態で壁に設置する。そして撮影対象である物体や移動体Ｍ１、Ｍ２を鏡に映し、その鏡に映った物体や移動体Ｍ１、Ｍ２をカメラで撮影する。以上の工夫により、カメラと撮影対象の距離を見かけ上長く確保することができるため、少ない台数のカメラでより広い撮像範囲をカバーすることが可能になる。
In the embodiment described above, an example has been described in which the plurality of
Therefore, in order to photograph as wide a range as possible with one camera, the following measures may be taken, for example. That is, a mirror in which the object to be photographed is reflected is installed on the ceiling, and the camera is installed on the wall with the lens facing the mirror on the ceiling. Then, the objects and moving bodies M1 and M2 to be photographed are reflected in a mirror, and the objects and moving bodies M1 and M2 reflected in the mirror are photographed with a camera. With the above-mentioned measures, it is possible to maintain an apparently longer distance between the camera and the object to be photographed, so it is possible to cover a wider imaging range with a smaller number of cameras.
ここで上述の実施形態に関する課題について補足する。
上述の実施形態における情報処理システムでの商品の特定手法として、ディープラーニングを用いた画像認識を一例として挙げた。しかし、ディープラーニングは、商品を特定できなかったとき、もしくは誤認識したときに再学習をさせる必要があり、その際には正解商品の画像を人の手で与える必要があり、多大な手間がかかる。
Here, we will supplement the issues related to the above-described embodiments.
Image recognition using deep learning is given as an example of a product identification method in the information processing system in the above-described embodiment. However, deep learning needs to be retrained when it cannot identify a product or when it misrecognizes a product, and in that case, it is necessary to manually provide an image of the correct product, which requires a lot of effort. It takes.
上述の課題の解決方法として、本発明の情報処理システムは、商品購入時に、目検者の目視による確認や、バーコードスキャン等を行い、商品の特定を修正する機能と、商品の特定の修正が行われた際に、修正した正しい商品の画像及び必要な情報（修正後の商品番号や特定のコード等）を紐付けて記録する機能と、前記正しい商品の画像及び必要な情報を基に、ディープラーニングの学習を自動で実行する機能と、学習結果を自動で同情報処理システムに配備する機能と、を実装することにより、上記の一連のディープラーニングの再学習処理の自動化を実現できる。
ここで、学習結果の配備とは、商品の特定に用いることができるよう、学習の結果に基づいて、同情報処理システムの、例えばディープラーニングのモデル等を更新する処理を指す。
上記の再学習処理は、例えば商品特定の失敗等の所定の条件をトリガーとして開始される構成としてもよいし、担当者による明示の操作、例えばボタンの押下等をトリガーとして開始される構成としてもよい。
As a solution to the above-mentioned problems, the information processing system of the present invention has a function for correcting product identification by performing visual confirmation by an eye inspector, barcode scanning, etc. at the time of product purchase, and a function for correcting product identification. When the correct product image and necessary information (corrected product number, specific code, etc.) are linked and recorded when the correct product image and necessary information are corrected, it is recorded. By implementing a function to automatically execute deep learning learning and a function to automatically deploy learning results to the same information processing system, it is possible to automate the series of deep learning relearning processes described above.
Here, the deployment of learning results refers to a process of updating, for example, a deep learning model of the information processing system based on the learning results so that the learning results can be used for product identification.
The above-mentioned relearning process may be started using a predetermined condition as a trigger, such as a failure in product identification, or may be started using an explicit operation by a person in charge, such as pressing a button. good.
上記のようなディープラーニングの再学習処理によれば、ディープラーニングの再学習にかかる煩雑な作業を簡略化し人手を削減できると共に、商品の特定精度が向上し続ける情報処理システムを提供することができる。 According to the deep learning relearning process described above, it is possible to simplify the complicated work involved in deep learning relearning and reduce manpower, and it is also possible to provide an information processing system that continues to improve product identification accuracy. .
また、上述の実施形態において、移動体を人として認識する場合に適用される画像認識手法として、骨格推定の技術や顔認証技術を例示したが、この他、物体を商品として特定する場合、例えばＡＩを用いた物体認識、特徴点や特徴量を用いた物体認識、商品のロゴの形状認識、文字認識（ＡＩを用いた文字形状の認識、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）を用いた文字の認識等）を採用することが可能である。 Furthermore, in the above-described embodiments, bone structure estimation technology and face recognition technology were illustrated as image recognition methods applied when recognizing a moving object as a person, but in addition, when identifying an object as a product, for example, Object recognition using AI, object recognition using feature points and feature values, shape recognition of product logos, character recognition (character shape recognition using AI, character recognition using OCR (Optical Character Recognition), etc.) ) can be adopted.
また、画像認識手法に加えて上述した重量認識（重量センサを用いた物体の重量認識）の他に、バーコードやＱＲコード（登録商標）等の識別情報のスキャンによる商品認識（赤外線センサあるいは画像読み取り等によるバーコードやＱＲコード（登録商標）等のスキャン）、ＲＦＩＤ等の電子的に記録された識別情報の読み取りによる商品認識の１つ、又は複数の認識手法を組み合わせて、物体を商品としての特定することが可能である。この場合、各特定手法による物体の特定結果をスコア化し、その物体をスコアが最も高い商品であると推定すること等が可能である。
さらに、上記の重量認識、バーコードやＱＲコード（登録商標）等の識別情報のスキャンによる商品認識、電子的に記録された識別情報の読み取りによる商品認識等の特定手法は、画像認識手法と組み合わせずに、１つ、又は複数を組み合わせて、物体を商品として認識することが可能である。
In addition to the image recognition method, in addition to the above-mentioned weight recognition (recognition of the weight of an object using a weight sensor), product recognition by scanning identification information such as a barcode or QR code (registered trademark) (infrared sensor or image Objects can be identified as products by using one or a combination of recognition methods, such as scanning barcodes, QR codes (registered trademarks), etc., or product recognition by reading electronically recorded identification information such as RFID. It is possible to specify the In this case, it is possible to score the object identification results obtained by each identification method and estimate that the object is the product with the highest score.
Furthermore, identification methods such as weight recognition, product recognition by scanning identification information such as barcodes and QR codes (registered trademarks), and product recognition by reading electronically recorded identification information can be combined with image recognition methods. It is possible to recognize an object as a product by using one or a combination of two or more.
上述の実施形態では、ゲート装置３１６ａ、３１６ｂに、フラッパー式のゲートを採用したが、特にこの方式に限定されない。即ち例えばホログラムで表示されるゲートが採用されてもよい。精算機４又は表示端末３１５ｂの夫々は、ゲート装置３１６ａ、３１６ｂへの例えば音声や光により人の通過の可否を報知してもよい。
In the above-described embodiment, flapper type gates are used as the
商品情報は、商品ＤＢ１３１において記憶され、リアルタイムに更新される。また商品情報は、店舗毎、複数店舗毎、レジ毎、あるいは日次毎、月次毎、年次毎に管理することができる。
Product information is stored in the
上述の実施形態では、各情報処理装置における記憶部はハードディスクやＤＲＡＭ等で構成されるとして説明したがこれに限定されない。例えばＳＳＤなどの外部記憶装置が用いられてもよい。 In the above-described embodiments, the storage unit in each information processing device was described as being composed of a hard disk, a DRAM, etc., but the present invention is not limited thereto. For example, an external storage device such as an SSD may be used.
上述の実施形態では、特定できなかった商品や間違った商品が商品リストに表示されている場合、移動体Ｍ１、Ｍ２はバーコードの読み取り等により商品リストの修正を試みてもよいと説明したが、移動体Ｍ１、Ｍ２は所持する全ての商品をバーコードの読み取りによって特定してもよい。 In the above embodiment, it was explained that if an unspecified product or an incorrect product is displayed on the product list, the mobile units M1 and M2 may try to correct the product list by reading barcodes, etc. , the mobile bodies M1 and M2 may identify all the products they possess by reading barcodes.
上述の実施形態において、移動体Ｍ１、Ｍ２の発見には撮像画像に基づく状態空間モデルが採用されたが、この方法に限定されない。即ち例えば、３次元点群データ、２Ｄ画像、距離データ、温度データ、赤外線量、光データ等の各センシングデバイスから取得される各種データが移動体Ｍ１、Ｍ２の発見のために採用されてもよい。 In the embodiments described above, a state space model based on captured images is used to discover the moving objects M1 and M2, but the method is not limited to this. That is, for example, various data obtained from each sensing device, such as three-dimensional point cloud data, 2D images, distance data, temperature data, infrared radiation, and optical data, may be employed to discover the moving objects M1 and M2. .
上述の実施形態においては、発見された移動体Ｍ１、Ｍ２を中心として変化のある領域を連続的に見つけることにより移動体Ｍ１、Ｍ２の領域を定義したが、特にこの方法に限定されない。即ち例えば、３次元点群データから移動体Ｍ１、Ｍ２を発見し、ＩＣＰアルゴリズムを用いて移動体Ｍ１、Ｍ２の位置座標を特定し、移動体領域を定義してもよい。
また移動体Ｍ１、Ｍ２が人である場合には、３次元点群データを初めとして２Ｄ画像、距離データ、温度データ、赤外線量、光データなどの各センシングから取得できるデータを用い、移動体Ｍ１、Ｍ２の領域を定義してもよい。またディープラーニングを併用することによって移動体Ｍ１、Ｍ２の領域を推定してもよい。
In the above-described embodiment, the areas of the moving bodies M1 and M2 are defined by continuously finding areas that change around the discovered moving bodies M1 and M2, but the method is not particularly limited to this method. That is, for example, the moving bodies M1 and M2 may be discovered from the three-dimensional point cloud data, the position coordinates of the moving bodies M1 and M2 may be specified using the ICP algorithm, and the moving body area may be defined.
In addition, when the moving objects M1 and M2 are people, the moving object M1 , M2 may be defined. Further, the regions of the moving objects M1 and M2 may be estimated by using deep learning in combination.
上述の実施形態では、移動体Ｍ１、Ｍ２の追跡には、特徴データの収集による追跡やベイジアンフィルタ等の物体追跡の技術が採用されることを前提として説明したが、特にこれらの方法に限定されない。即ち例えば、位置情報の最適解を用いて移動体Ｍ１、Ｍ２を追跡してもよい。また時系列の位置情報をもとに、ノイズ判定のうえ、移動体Ｍ１、Ｍ２を推定し、追跡してもよい。 Although the above-described embodiment has been described on the premise that object tracking techniques such as tracking by collecting feature data and Bayesian filters are employed to track the moving objects M1 and M2, the present invention is not limited to these methods. . That is, for example, the moving objects M1 and M2 may be tracked using the optimal position information. Further, based on the time-series position information, the moving objects M1 and M2 may be estimated and tracked after noise determination.
上述の実施形態では、各天井カメラ３１０により撮像された撮像画像を合成することにより、各カメラが店舗内のどこを映しているのか、カメラの位置情報を定義したが、この方法に限定されない。即ち例えば、ＩＣＰアルゴリズムを用いた座標変換により、カメラごとの位置情報を店舗全体の（複数カメラを統合した）位置情報に座標変換して、カメラの位置情報を定義してもよい。
In the above-described embodiment, the location information of the cameras is defined by combining the captured images captured by each
また上述の実施形態において、移動体Ｍ１、Ｍ２から他の移動体Ｍ１、Ｍ２へ物体が受け渡される場合において、物体を受け渡す（される）前後のカゴやカートの中を、差分認識等を行うことにより認識し、商品を特定してもよい。 Furthermore, in the above-described embodiment, when an object is transferred from the moving bodies M1 and M2 to the other moving bodies M1 and M2, the inside of the basket or cart before and after the object is transferred is recognized by difference recognition, etc. It is also possible to recognize and identify the product by doing so.
上述の実施形態では、１台のカメラにて広範囲を撮影するため、撮影対象が映る鏡を天井に設置し、カメラから鏡に映った撮影対象を撮像する方法について説明したが、カメラの位置は壁に限定されない。例えば棚や天井等にカメラが設置されていてもよい。 In the above embodiment, in order to photograph a wide area with one camera, a mirror that reflects the photographic subject is installed on the ceiling, and the camera captures an image of the photographic subject reflected in the mirror. However, the position of the camera is Not limited to walls. For example, a camera may be installed on a shelf, ceiling, or the like.
上述の実施形態においては、店員が所持する情報端末、あるいはバックヤードの画面等に店内売場の情報が表示されるものとして説明したが、店員が所持する情報端末やバックヤードの画面には、間違った棚に戻された商品が存在する（重量が減少していない棚の重量が増加した）、棚に配置されている重量センサによる重量の検出により商品が欠品している、又は補充が必要である等の情報を表示してもよい。
表示される端末はこれらに限定されない。インターネットに接続されることにより図示せぬサービス提供者、システム担当者等が所持する端末等に移動体Ｍ１、Ｍ２の位置情報が表示されてもよい。
In the above-described embodiment, information about the in-store sales floor is displayed on an information terminal owned by a store clerk or a screen in the backyard. There is a product that has been returned to the shelf where it was placed (the weight of the shelf has increased without a decrease in weight), the product is out of stock due to the weight detected by the weight sensor installed on the shelf, or it needs to be replenished. You may also display information such as .
The displayed terminals are not limited to these. By being connected to the Internet, the location information of the mobile bodies M1 and M2 may be displayed on a terminal owned by a service provider, system person, etc. (not shown).
上述の実施形態では、センシングデバイスとしてカメラを用いる場合、特定物体認識、一般物体認識、ディープラーニング等の画像処理手法により商品の候補をリストアップし、リストアップされた商品候補について、さらに別のリストとマッチングさせることにより検証し、商品を特定することを前提として説明したが、ここでいう検証は必ずしも必須の要素ではない。即ち、特定物体認識等の画像処理手法によりリストアップされた商品の候補を、特定された商品として扱ってもよい。 In the embodiment described above, when a camera is used as a sensing device, product candidates are listed using image processing techniques such as specific object recognition, general object recognition, and deep learning, and the listed product candidates are further added to another list. Although the explanation has been made on the premise that the product will be identified by verification by matching with the product, verification here is not necessarily an essential element. That is, product candidates listed by image processing techniques such as specific object recognition may be treated as specified products.
上述の実施形態では、棚内から物体が持ち去られたタイミングで物体の入出が認識され、商品としての特定が試みられることを前提として説明したが、認識、特定のタイミングはこれに限定されず任意でよい。即ち例えば、棚内から物体が持ち去られると物体の入出が認識され、認識された物体と移動体Ｍ１、Ｍ２との紐付けがなされ、移動体Ｍ１、Ｍ２が精算エリア４５に進入したことをトリガーとして商品の特定がなされてもよい。これにより物体の入出が認識された後、商品として特定されるまでの間に時間的猶予ができるため、例えば複数手法により商品の特定をすることができるようになる等、商品の特定精度を向上させることができる。
In the above embodiment, the entry and exit of the object is recognized at the timing when the object is removed from the shelf, and an attempt is made to identify it as a product. However, the recognition and identification timing is not limited to this and may be determined arbitrarily. That's fine. That is, for example, when an object is removed from the shelf, entry and exit of the object is recognized, the recognized object is associated with the moving objects M1 and M2, and the entry of the moving objects M1 and M2 into the
上述の実施形態では、画像認識により商品を特定できなかった場合には、目検者、オペレータの目視による確認や、バーコードの読み取り等により入力される必要情報と正解の商品画像とを紐付けて記録することでディープラーニングの学習処理を自動化できるが、正解のラベルとして採用できるのは商品画像に限定されない。即ち例えば、画像以外の商品を特定する情報（例えば重量センサでの認識結果）を正解として必要情報と紐付け、学習処理を実行してもよい。これによりディープラーニングの再学習処理の精度を向上させることができる。 In the above-described embodiment, if a product cannot be identified through image recognition, the correct product image is linked to the necessary information input through visual confirmation by an inspector or operator, barcode reading, etc. By recording these images, the deep learning learning process can be automated, but it is not limited to product images that can be used as correct labels. That is, for example, information specifying a product other than an image (for example, a recognition result from a weight sensor) may be regarded as the correct answer and linked to necessary information, and the learning process may be executed. This makes it possible to improve the accuracy of deep learning relearning processing.
また、本発明は、上述のＣＰＵによる画像処理をＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）による処理としてもよい。
また、図示したハードウェア構成やブロック図は、本発明の目的を達成するための例示に過ぎず、本発明は図示された例に限定されない。
また、図６及び図７に示した機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能がシステムに備えられていれば足り、この機能を実現するためにどのような機能ブロック及びデータベースを用いるのかは特に図６及び図７の例に限定されず、任意でよい。
また、機能ブロック及びデータベースの存在場所は、図示されたものに限定されず、任意でよい。例えば、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらを組み合わせで構成してもよい。各機能ブロック及びデータベースの処理をソフトウェアにより実行される場合には、そのソフトウェアを構成するプログラムがコンピュータ等にネットワークや記録媒体からインストールされる。
Further, in the present invention, the above-described image processing by the CPU may be performed by a GPU (Graphic Processing Unit).
Furthermore, the illustrated hardware configuration and block diagram are merely examples for achieving the object of the present invention, and the present invention is not limited to the illustrated examples.
Furthermore, the functional configurations shown in FIGS. 6 and 7 are merely examples, and are not particularly limited. In other words, it is sufficient that the system is equipped with a function that can execute the above-mentioned series of processes as a whole, and what kind of functional blocks and databases are used to realize this function is particularly explained in the examples shown in FIGS. 6 and 7. It is not limited and may be arbitrary.
Further, the locations of the functional blocks and the database are not limited to those shown in the figure, and may be arbitrary. For example, one functional block may be composed of a single piece of hardware, a single piece of software, or a combination of these. When the processing of each functional block and database is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium.
コンピュータは、専用のハードウェアに組み込まれるコンピュータであってもよいし、スマートフォンやパーソナルコンピュータであってもよい。またコンピュータは例えばクラウド上のサーバ等であってもよい。 The computer may be a computer built into dedicated hardware, or may be a smartphone or a personal computer. Further, the computer may be, for example, a server on a cloud.
このようなプログラムを含む記録媒体は、ユーザ等にプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザ等に提供される記録媒体等で構成される。 Recording media containing such programs not only consist of removable media (not shown) that is distributed separately from the main body of the device in order to provide programs to users, etc., but also those that are pre-installed in the main body of the device and provided to the user. It consists of recording media etc. provided to etc.
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等により構成される全体的な装置を意味するものである。
Note that in this specification, the step of writing a program to be recorded on a recording medium refers to not only processing that is performed chronologically in accordance with the order, but also processing that is not necessarily performed chronologically, but may be performed in parallel or individually. It also includes the processing that is executed.
Furthermore, in this specification, the term "system" refers to an overall apparatus configured by a plurality of devices, a plurality of means, and the like.
以上まとめると、本発明が適用される情報処理システムは、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、情報処理システムは、
複数の物品が配置場所（棚ラック４３）に配置された所定領域（例えば店内売場等）の中を人（移動体Ｍ１、Ｍ２等の買い物客）が移動して、前記複数の物品のうち１以上の物品を前記所定領域（例えば店内売場等）の外に持ち出す際に利用される情報処理システムにおいて、
前記所定領域（店内売場）にＮ人（Ｎは２以上の整数値）が進入する前に(図１のゲート装置３１６ａ手前の入口エリア４０において)、当該Ｎ人が属する所定グループを作成するグループ作成手段（例えば図６の入口制御部３２０等）と、
前記所定グループに属する前記Ｎ人の夫々を追跡する追跡手段（例えば図６の移動体追跡部３３０等）と、
１以上のセンシングデバイス（例えば重量センサ３１２及び光センサ３１１等）のうち少なくとも１つを用いる所定の手法（重量計測手法や光の遮蔽検出手法等）で、前記複数の物品のうち、前記配置場所（棚ラック４３）から取り出された物品とその個数の双方を特定する商品特定手段（例えば図６の棚商品認識部３６０の商品特定部３６０３（図７参照））と、
特定された前記物品と、前記所定グループに属する前記Ｎ人のうち所定の位置関係にある人（特定された物品から最も近くにいる買い物客）若しくは所定グループ（その買い物客のグループ）とを紐付ける紐付け手段（例えば図６の紐付け部３６０４等）と、
前記所定グループに属する前記Ｎ人の全てが集合（出口のゲート装置手前の精算エリア４５内にグループの全ての人が進入）したか否かを判定する判定手段（例えば図６の売場装置３の出口制御部３７０等）と、
前記所定グループに属する前記Ｎ人の全てが集合したという第１条件を少なくとも含む１以上の条件（グループの人が全員揃った、購入商品の精算処理を終えた、支払いを済ませた等の夫々の条件）を満たした場合、当該複数の人のうち何れか若しくは所定グループと紐付けられた１以上の前記物品を、前記所定グループの物品として前記所定領域（店内売り場）の外に持ち出すことを許可する持出許可手段（例えば図６の売場装置３の出口制御部３７０等）と、
を備える。
これにより、コンビニエンスストア等の店舗において、複数の物品の処理（精算エリアにおける複数の商品の精算処理）にかかる時間を短縮することができる。
また、複数の客がグループで来店し店舗の棚に陳列されている商品を購入する際に、グループの夫々の客が持ち寄った商品の持ち出し条件(グループ全員が揃う等)を満たせば、グループで持ち出すことができるので、グループで来店する客の利便性を向上することができる。
さらに、グループで購入する商品を一括して精算できるので、レジ前に並ぶ客を効率よく退出してもらうことができ、混雑の緩和を図ることができる。
In summary, the information processing system to which the present invention is applied only needs to have the following configuration, and can take various embodiments.
In other words, the information processing system is
A person (shopper such as mobile objects M1, M2, etc.) moves in a predetermined area (for example, an in-store sales floor, etc.) in which a plurality of articles are arranged (shelf racks 43) and picks up one of the plurality of articles. In an information processing system used when taking the above items out of the predetermined area (for example, a store sales floor, etc.),
Before N people (N is an integer value of 2 or more) enter the predetermined area (in-store sales area) (at the
a tracking means (for example, the mobile
A predetermined method (weight measurement method, light shielding detection method, etc.) using at least one of one or more sensing devices (for example,
The specified item is linked to a person in a predetermined positional relationship among the N people belonging to the predetermined group (the shopper closest to the specified item) or a predetermined group (the group of shoppers). A tying means (for example, tying
Judgment means (for example, in the
One or more conditions including at least the first condition that all of the N people belonging to the predetermined group have gathered (each of the conditions such as all the people in the group have gathered, the payment process for the purchased product has been completed, the payment has been completed, etc.) If the conditions (conditions) are met, one or more of the items linked to any one of the plurality of people or a predetermined group is permitted to be taken out of the predetermined area (in-store sales floor) as an item of the predetermined group. (e.g., the
Equipped with
This makes it possible to reduce the time required to process multiple items (accounting for multiple items in the payment area) at a store such as a convenience store.
In addition, when multiple customers visit the store in a group and purchase products displayed on store shelves, if each customer in the group meets the conditions for taking out the products they brought with them (e.g., all group members are present), the group can purchase products displayed on store shelves. Since they can be taken out, convenience can be improved for customers visiting the store in groups.
Furthermore, since items purchased by a group can be paid at once, customers lining up in front of the cash register can be efficiently asked to leave, thereby reducing congestion.
また情報処理システムは、
前記判定手段（例えば図６の売場装置３の出口制御部３７０等）は、前記所定領域（店内売場）内に予め指定された指定領域（例えば精算エリア４５等）に、前記所定グループに属する前記Ｎ人の全てが存在するか否かを、（例えば出口カメラ３１４により撮像された画像を基にＡＩが骨格推定する等して人を）認識することで、前記所定グループに属する前記Ｎ人の全てが集合したか否かを判定する。
これにより、グループの人がまとまった状態で、夫々の人が持ち寄った商品をグループ単位で一括して精算することができる。
なお、上記実施形態では、指定領域として、例えば精算エリア４５を例示したが、これは一例であり、実施形態のみに限定されず、例えば店内売場の天井カメラで撮像可能なエリアであれば、いかなる場所であってもよく、グループのＮ人全てが集合可能で場所であれば足りる。
In addition, the information processing system
The determination means (for example, the
This allows a group of people to collectively pay for the products that each person has brought to the group.
In the above embodiment, the specified area is, for example, the
前記複数の物品の夫々は商品であり、
情報処理システムは、前記第１条件（例えばグループの者全員が精算エリア４５に集合したという条件）を満たした場合、前記所定グループに属する前記Ｎ人のうち何れか又は前記所定グループと紐付けられた１以上の前記商品に関する精算の処理を行う精算手段（例えば図６の精算機４の精算部５３５等）、
をさらに備え、
前記１以上の条件は、前記精算の処理が完了したという第２条件をさらに含む。
これにより、グループの者全員が精算エリア４５に集合し、精算の処理が完了するだけで、グループの者全員がまとまって退店することができる。
Each of the plurality of items is a product,
When the first condition (for example, the condition that all members of the group have gathered in the payment area 45) is satisfied, the information processing system associates any one of the N people belonging to the predetermined group with the predetermined group. and a payment means (for example, the
Furthermore,
The one or more conditions further include a second condition that the payment process is completed.
As a result, all the members of the group gather in the
また情報処理システムにおいて、
前記グループ作成手段（例えば図６の入口制御部３２０等）は、所定デバイス（例えば表示端末３１５ａ等）に対して数値Ｎが入力されると、前記Ｎ人が属する前記所定グループを作成し、
前記追跡手段（例えば図６の移動体追跡部３３０等）は、前記所定グループが作成された後に前記所定領域（店内売場）の入口（例えば入口エリア４０等）に最初（間に他のグループの人を挟むことなく順）に進入したＮ人を、前記所定グループに属する前記Ｎ人として追跡を開始する。
これにより、入口で登録された所定グループの夫々の人が精算場所まで追跡されるので、グループの人（買い物客）を誤認することなく、夫々の人（買い物客）が持ち寄った商品をグループでまとめて確実に精算することができる。
In addition, in information processing systems,
When a numerical value N is input to a predetermined device (
After the predetermined group is created, the tracking means (for example, the mobile
As a result, each person in a predetermined group registered at the entrance is tracked to the checkout location, so there is no misidentification of people in the group (shoppers), and products brought by each person (shopper) can be collected as a group. You can securely settle your payments all at once.
情報処理方法は、
複数の物品が配置場所に配置された所定領域の中を人が移動して、前記複数の物品のうち１以上の物品を前記所定領域の外に持ち出す際に利用される情報処理システムが実行する情報処理方法において、
前記所定領域にＮ人（Ｎは２以上の整数値）が進入する前に、当該Ｎ人が属する所定グループを作成するグループ作成ステップ（例えば図８のステップＳ７０１等）と、
前記所定グループに属する前記Ｎ人の夫々を追跡する追跡ステップ（例えば図８のステップＳ７０４等）と、
重量センサ及び光センサのうち少なくとも前記重量センサを用いる所定の手法で、前記複数の物品のうち、前記配置場所から取り出された物品とその個数の双方を特定する商品特定ステップ（例えば図８のステップＳ７０７等）と、
特定された前記物品と、前記所定グループに属する前記Ｎ人のうち所定の位置関係にある人若しくは前記所定グループとを紐付ける紐付けステップ（例えば図８のステップＳ７０８等）と、
前記所定グループに属する前記Ｎ人の全てが集合したか否かを判定する判定ステップ（例えば図９のステップＳ７１１等）と、
前記所定グループに属する前記Ｎ人の全てが集合したという第１条件を少なくとも含む１以上の条件を満たした場合、当該複数の人のうち何れかと紐付けられた１以上の前記物品を、前記所定グループの物品として前記所定領域の外に持ち出すことを許可する持ち出し許可ステップ（例えば図９のステップＳ７１８等）と、
を含むことができる。
The information processing method is
Executed by an information processing system used when a person moves through a predetermined area in which a plurality of items are placed at placement locations and takes one or more of the plurality of items out of the predetermined area. In the information processing method,
Before N people (N is an integer value of 2 or more) enter the predetermined area, a group creation step (for example, step S701 in FIG. 8) of creating a predetermined group to which the N people belong;
a tracking step of tracking each of the N people belonging to the predetermined group (for example, step S704 in FIG. 8);
A product specifying step (for example, the step in FIG. 8) of specifying both the product taken out from the placement location and the number of the products among the plurality of products by a predetermined method using at least the weight sensor out of a weight sensor and an optical sensor. S707 etc.) and
a linking step (for example, step S708 in FIG. 8) of linking the specified article with a person in a predetermined positional relationship among the N people belonging to the predetermined group or with the predetermined group;
a determination step of determining whether all of the N people belonging to the predetermined group have gathered (for example, step S711 in FIG. 9);
If one or more conditions, including at least the first condition that all of the N people belonging to the predetermined group have gathered, one or more of the items linked to any one of the plurality of people is transferred to the predetermined group. a carry-out permission step (for example, step S718 in FIG. 9) of permitting the article to be carried out of the predetermined area as a group item;
can include.
プログラムは、
複数の物品が配置場所に配置された所定領域の中を人が移動して、前記複数の物品のうち１以上の物品を前記所定領域の外に持ち出す際に利用されるコンピュータに、
前記所定領域にＮ人（Ｎは２以上の整数値）が進入する前に、当該Ｎ人が属する所定グループを作成するグループ作成ステップ（例えば図８のステップＳ７０１等）と、
前記所定グループに属する前記Ｎ人の夫々を追跡する追跡ステップ（例えば図８のステップＳ７０４等）と、
重量センサ及び光センサのうち少なくとも前記重量センサを用いる所定の手法で、前記複数の物品のうち、前記配置場所から取り出された物品とその個数の双方を特定する商品特定ステップ（例えば図８のステップＳ７０７等）と、
特定された前記物品と、前記所定グループに属する前記Ｎ人のうち所定の位置関係にある人若しくは前記所定グループとを紐付ける紐付けステップ（例えば図８のステップＳ７０８等）と、
前記所定グループに属する前記Ｎ人の全てが集合したか否かを判定する判定ステップ（例えば図９のステップＳ７１１等）と、
前記所定グループに属する前記Ｎ人の全てが集合したという第１条件を少なくとも含む１以上の条件を満たした場合、当該複数の人のうち何れかと紐付けられた１以上の前記物品を、前記所定グループの物品として前記所定領域の外に持ち出すことを許可する持ち出し許可ステップ（例えば図９のステップＳ７１８等）と、
を含む制御処理を実行させることができる。
The program is
A computer used when a person moves within a predetermined area in which a plurality of items are placed at a placement location and takes one or more of the plurality of items out of the predetermined area;
Before N people (N is an integer value of 2 or more) enter the predetermined area, a group creation step (for example, step S701 in FIG. 8) of creating a predetermined group to which the N people belong;
a tracking step of tracking each of the N people belonging to the predetermined group (for example, step S704 in FIG. 8);
A product specifying step (for example, the step in FIG. 8) of specifying both the product taken out from the placement location and the number of the products among the plurality of products by a predetermined method using at least the weight sensor out of a weight sensor and an optical sensor. S707 etc.) and
a linking step (for example, step S708 in FIG. 8) of linking the specified article with a person in a predetermined positional relationship among the N people belonging to the predetermined group or with the predetermined group;
a determination step of determining whether all of the N people belonging to the predetermined group have gathered (for example, step S711 in FIG. 9);
If one or more conditions, including at least the first condition that all of the N people belonging to the predetermined group have gathered, one or more of the items linked to any one of the plurality of people is transferred to the predetermined group. a carry-out permission step (for example, step S718 in FIG. 9) of permitting the article to be carried out of the predetermined area as a group item;
Control processing including the following can be executed.
１・・・サーバ、３・・・売場装置、４・・・精算機、３９・・・店舗、４０・・・入口エリア、４３・・・棚ラック、４４・・・通路、４５・・・精算エリア、１０１，３０１，４０１，５０１・・・ＣＰＵ、１０８・・・記憶部、１０９，３１７，５０９・・・通信部、１３１・・・商品ＤＢ、１４１・・・ＤＢ管理部、３１０・・・天井カメラ、３１１・・・光センサ、３１２・・・重量センサ、３３０・・・移動体追跡部、３４０・・・位置情報管理部、３６０・・・棚商品認識部、３６０２・・・検出部、３６０３・・・商品特定部、３６０４・・・紐付け部、３６０５・・・商品リスト管理部、Ｍ１、Ｍ２・・・移動体（買い物客） 1... Server, 3... Sales floor device, 4... Payment machine, 39... Store, 40... Entrance area, 43... Shelf rack, 44... Aisle, 45... Settlement area, 101, 301, 401, 501... CPU, 108... Storage section, 109, 317, 509... Communication section, 131... Product DB, 141... DB management section, 310. ... Ceiling camera, 311... Optical sensor, 312... Weight sensor, 330... Moving object tracking section, 340... Position information management section, 360... Shelf product recognition section, 3602... Detection unit, 3603... Product identification unit, 3604... Linking unit, 3605... Product list management unit, M1, M2... Mobile object (shopper)
Claims (6)
前記所定領域にＮ人（Ｎは２以上の整数値）が進入する前に、当該Ｎ人が属する所定グループを作成するグループ作成手段と、
前記所定グループに属する前記Ｎ人の夫々を追跡する追跡手段と、
１以上のセンシングデバイスのうち少なくとも１つを用いる所定の手法で、前記複数の物品のうち、前記配置場所から取り出された物品とその個数の双方を特定する商品特定手段と、
特定された前記物品と、前記所定グループに属する前記Ｎ人のうち所定の位置関係にある人若しくは所定グループとを紐付ける紐付け手段と、
前記所定グループに属する前記Ｎ人の全てが集合したか否かを判定する判定手段と、
前記所定グループに属する前記Ｎ人の全てが集合したという第１条件を少なくとも含む１以上の条件を満たした場合、当該複数の人のうち何れか若しくは所定グループと紐付けられた１以上の前記物品を、前記所定グループの物品として前記所定領域の外に持ち出すことを許可する持ち出し許可手段と、
を備える情報処理システム。 In an information processing system used when a person moves within a predetermined area in which a plurality of items are placed at a placement location and takes one or more of the plurality of items out of the predetermined area,
before N people (N is an integer value of 2 or more) enter the predetermined area, group creation means for creating a predetermined group to which the N people belong;
tracking means for tracking each of the N people belonging to the predetermined group;
Product identification means for identifying both the product taken out from the placement location and the number of the products among the plurality of products by a predetermined method using at least one of one or more sensing devices;
a linking means for linking the specified item with a person in a predetermined positional relationship among the N people belonging to the predetermined group or a predetermined group;
determining means for determining whether all of the N people belonging to the predetermined group have gathered;
If one or more conditions including at least the first condition that all of the N people belonging to the predetermined group have gathered, one or more of the items linked to any one of the plurality of people or the predetermined group taking-out permission means for permitting taking out of the predetermined area as an article of the predetermined group;
An information processing system equipped with.
請求項１に記載の情報処理システム。 The determining means is configured to recognize whether or not all of the N people belonging to the predetermined group exist in a designated area specified in advance within the predetermined area. Determine whether or not the
The information processing system according to claim 1.
前記第１条件を満たした場合、前記所定グループに属する前記Ｎ人のうち何れか又は前記所定グループと紐付けられた１以上の前記商品に関する精算の処理を行う精算手段
をさらに備え、
前記１以上の条件は、前記精算の処理が完了したという第２条件をさらに含む、
請求項１に記載の情報処理システム。 Each of the plurality of items is a product,
Further comprising: a payment unit that performs payment processing for one or more of the products associated with any one of the N people belonging to the predetermined group or the predetermined group when the first condition is satisfied;
The one or more conditions further include a second condition that the payment process is completed.
The information processing system according to claim 1.
前記追跡手段は、前記所定グループが作成された後に前記所定領域の入口に最初に進入したＮ人を、前記所定グループに属する前記Ｎ人として追跡を開始する、
請求項１に記載の情報処理システム。 The group creation means creates the predetermined group to which the N people belong when a numerical value N is input to a predetermined device;
The tracking means starts tracking N people who first enter the entrance of the predetermined area after the predetermined group is created, as the N people who belong to the predetermined group.
The information processing system according to claim 1.
前記所定領域にＮ人（Ｎは２以上の整数値）が進入する前に、当該Ｎ人が属する所定グループを作成するグループ作成ステップと、
前記所定グループに属する前記Ｎ人の夫々を追跡する追跡ステップと、
重量センサ及び光センサのうち少なくとも前記重量センサを用いる所定の手法で、前記複数の物品のうち、前記配置場所から取り出された物品とその個数の双方を特定する商品特定ステップと、
特定された前記物品と、前記所定グループに属する前記Ｎ人のうち所定の位置関係にある人若しくは前記所定グループとを紐付ける紐付けステップと、
前記所定グループに属する前記Ｎ人の全てが集合したか否かを判定する判定ステップと、
前記所定グループに属する前記Ｎ人の全てが集合したという第１条件を少なくとも含む１以上の条件を満たした場合、当該複数の人のうち何れかと紐付けられた１以上の前記物品を、前記所定グループの物品として前記所定領域の外に持ち出すことを許可する持ち出し許可ステップと、
を含む情報処理方法。 Executed by an information processing system used when a person moves through a predetermined area in which a plurality of items are placed at placement locations and takes one or more of the plurality of items out of the predetermined area. In the information processing method,
Before N people (N is an integer value of 2 or more) enter the predetermined area, a group creation step of creating a predetermined group to which the N people belong;
a tracking step of tracking each of the N people belonging to the predetermined group;
a product specifying step of specifying both the product taken out from the placement location and the number thereof among the plurality of products by a predetermined method using at least the weight sensor among a weight sensor and an optical sensor;
a step of associating the identified item with a person in a predetermined positional relationship among the N people belonging to the predetermined group or the predetermined group;
a determination step of determining whether all of the N people belonging to the predetermined group have gathered;
If one or more conditions, including at least the first condition that all of the N people belonging to the predetermined group have gathered, one or more of the items linked to any one of the plurality of people is transferred to the predetermined group. a taking-out permission step of permitting taking out of the predetermined area as a group item;
Information processing methods including.
前記所定領域にＮ人（Ｎは２以上の整数値）が進入する前に、当該Ｎ人が属する所定グループを作成するグループ作成ステップと、
前記所定グループに属する前記Ｎ人の夫々を追跡する追跡ステップと、
重量センサ及び光センサのうち少なくとも前記重量センサを用いる所定の手法で、前記複数の物品のうち、前記配置場所から取り出された物品とその個数の双方を特定する商品特定ステップと、
特定された前記物品と、前記所定グループに属する前記Ｎ人のうち所定の位置関係にある人若しくは前記所定グループとを紐付ける紐付けステップと、
前記所定グループに属する前記Ｎ人の全てが集合したか否かを判定する判定ステップと、
前記所定グループに属する前記Ｎ人の全てが集合したという第１条件を少なくとも含む１以上の条件を満たした場合、当該複数の人のうち何れかと紐付けられた１以上の前記物品を、前記所定グループの物品として前記所定領域の外に持ち出すことを許可する持ち出し許可ステップと、
を含む制御処理を実行させるプログラム。 A computer used when a person moves within a predetermined area in which a plurality of items are placed at a placement location and takes one or more of the plurality of items out of the predetermined area;
Before N people (N is an integer value of 2 or more) enter the predetermined area, a group creation step of creating a predetermined group to which the N people belong;
a tracking step of tracking each of the N people belonging to the predetermined group;
a product specifying step of specifying both the product taken out from the placement location and the number thereof among the plurality of products by a predetermined method using at least the weight sensor among a weight sensor and an optical sensor;
a step of associating the identified item with a person in a predetermined positional relationship among the N people belonging to the predetermined group or the predetermined group;
a determination step of determining whether all of the N people belonging to the predetermined group have gathered;
If one or more conditions, including at least the first condition that all of the N people belonging to the predetermined group have gathered, one or more of the items linked to any one of the plurality of people are transferred to the predetermined group. a taking-out permission step of permitting taking out of the predetermined area as a group item;
A program that executes control processing including.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022142353A JP2024037466A (en) | 2022-09-07 | 2022-09-07 | Information processing system, information processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022142353A JP2024037466A (en) | 2022-09-07 | 2022-09-07 | Information processing system, information processing method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024037466A true JP2024037466A (en) | 2024-03-19 |
Family
ID=90300410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022142353A Pending JP2024037466A (en) | 2022-09-07 | 2022-09-07 | Information processing system, information processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2024037466A (en) |
-
2022
- 2022-09-07 JP JP2022142353A patent/JP2024037466A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108780596B (en) | Information processing system | |
| JP6646176B1 (en) | Autonomous store tracking system | |
| US20230017398A1 (en) | Contextually aware customer item entry for autonomous shopping applications | |
| JP7093783B2 (en) | Systems and methods for a dynamic customer checkout experience in an automated shopping environment | |
| CN109089082B (en) | Image acquisition system based on thermal characteristic image | |
| US10290031B2 (en) | Method and system for automated retail checkout using context recognition | |
| JP2020115344A6 (en) | Autonomous store tracking system | |
| RU2739542C1 (en) | Automatic registration system for a sales outlet | |
| KR20210055038A (en) | Autonomous store tracking system | |
| WO2021125357A1 (en) | Information processing system | |
| CN111868773A (en) | Shop management apparatus and shop management method | |
| JP6653813B1 (en) | Information processing system | |
| CN111222870B (en) | Settlement method, device and system | |
| JP2023509844A (en) | Customized retail environment | |
| JP7264401B2 (en) | Accounting methods, devices and systems | |
| TWI809044B (en) | Store management device and store management method | |
| JP6836256B2 (en) | Information processing system | |
| JP2024037466A (en) | Information processing system, information processing method and program | |
| KR20220026810A (en) | Smart Shopping System in Store | |
| JP2021140740A (en) | Article storage system, server, article storage method, program and information processing device | |
| JP2020077275A (en) | Commodity settlement system, commodity conveying cart and commodity settlement method | |
| WO2022195752A1 (en) | Information processing device, information processing method, and recording medium | |
| US20220270061A1 (en) | System and method for indicating payment method availability on a smart shopping bin |