JP6791534B2 - 商品管理装置、商品管理方法及びプログラム - Google Patents

商品管理装置、商品管理方法及びプログラム Download PDF

Info

Publication number
JP6791534B2
JP6791534B2 JP2016570681A JP2016570681A JP6791534B2 JP 6791534 B2 JP6791534 B2 JP 6791534B2 JP 2016570681 A JP2016570681 A JP 2016570681A JP 2016570681 A JP2016570681 A JP 2016570681A JP 6791534 B2 JP6791534 B2 JP 6791534B2
Authority
JP
Japan
Prior art keywords
product
image
shelf
unit
management device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016570681A
Other languages
English (en)
Other versions
JPWO2016117600A1 (ja
Inventor
山下　信行
信行 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2016117600A1 publication Critical patent/JPWO2016117600A1/ja
Application granted granted Critical
Publication of JP6791534B2 publication Critical patent/JP6791534B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Item locations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/17—Helicopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Description

本発明は、商品棚への商品の配置（商品棚割）を管理する商品管理装置、商品管理方法及びプログラムに関する。
本願は、２０１５年１月２２日に日本国に出願された特願２０１５−９９７８号に基づき優先権を主張し、その内容をここに援用する。
従来、流通小売業の店舗において商品棚への商品の配置（商品棚割）を行なうことにより商品管理を行なっていた。商品棚に陳列された商品数については人手による目視と記録による計数検査を行っていた。また、商品棚検査を画像認識により自動化する場合、撮像装置を用いて従業員やマーケティングリサーチの調査員が撮像した画像から商品を物体認識していた。また、商品にＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）などのタグを付けておき、電子的リーダを用いて商品の有無を判定することも行なわれている。
商品の画像認識について種々の文献が知られている。例えば、特許文献１は商品の陳列状態を画像処理し、その時系列変化に基づいて商品の補充タイミングを決定する商品監視システムを開示している。また、特許文献２は商品棚に陳列されている商品を複数のカメラで撮像して画像認識して棚卸管理する方法を開示している。ここで、店舗内を移動できるカメラを設けて、当該カメラを予め定められた手順で移動させて商品を撮像し、画像認識によって商品の個数を検品している。また、特許文献３はカメラが撮影した画像とデータベースに格納された商品特徴量とを比較してどのような商品が撮影されたかを認識する技術を開示している。
特開平５−８１５５２号公報 特開２００１−８８９１２号公報 特開２０１４−１６４５９４号公報
本来、顧客による商品購買の機会を失わないように商品棚に商品が品揃えされていることが望ましい。このため、適切なタイミングで商品数の検査を行う必要がある。しかし、商品棚検査を画像認識により自動化している場合、従業員の人手により商品の撮像作業を実施していたため、業務繁忙時には商品の撮像作業が実施されない可能性がある。商品にＲＦＩＤタグを付けて商品管理をする場合、ＲＦＩＤを商品に取り付けるための作業コストがかかる。また、製造や出荷プロセスを見直す必要がある。特許文献２の棚卸管理方法では予め定められた手順で商品を撮像するため、効率的に画像認識を行なうことや、リアルタイムに商品棚の商品陳列状況を把握することが困難であった。
本発明は、効率的に商品の画像認識を行なって商品棚の商品配置や商品数を検査することができる商品管理装置、商品管理方法及びプログラムを提供することを目的とする。
本発明の第１の態様は、商品の配置状況に変化が生じると推定される場合に前記変化が生じると推定される前記商品が配置される商品棚の位置情報を特定する位置特定部と、前記商品棚における前記商品の配置状況がわかる所定範囲を撮像した画像を取得する画像取得部と、当該画像に写る商品の種別とその商品の配置状況とが所定の商品の種別とその商品の配置状況であるかを判定する配置状況判定部と、を備えることを特徴とする商品管理装置である。
本発明の第２の態様は、商品管理装置が、商品の配置状況に変化が生じると推定される場合に、前記変化が生じると推定される前記商品が配置される商品棚の位置情報を特定し、前記商品棚における前記商品の配置状況がわかる所定範囲を撮像した画像を取得し、当該画像に写る商品の種別とその商品の配置状況とが所定の商品の種別とその商品の配置状況であるかを判定する、ことを特徴とする商品管理方法である。
本発明の第３の態様は、商品管理装置が、商品の配置状況に変化が生じると推定される場合に、前記変化が生じると推定される前記商品が配置される商品棚の位置情報を特定し、前記商品棚における前記商品の配置状況がわかる所定範囲を撮像した画像を取得し、当該画像に写る商品の種別とその商品の配置状況とが所定の商品の種別とその商品の配置状況であるかを判定する、ことを特徴とする商品管理方法である。また、上記の商品管理方法をコンピュータに実行させるプログラムを提供してもよい。
本発明によれば、画像認識により店舗内に配設された商品棚の商品の配置状況を自動的に検査することができる。また、適切なタイミングで効率的に商品配置検査を行なうことができる。
本発明の一実施例に係る商品管理装置の最小構成を示すブロック図である。 本発明の一実施例に係る商品管理装置の詳細な構成を示すブロック図である。 本発明の一実施例に係る商品棚割管理システムが適用された店舗のレイアウトを示す図である。 商品管理装置の記憶部に格納された商品データベースに登録された商品テーブルの一例を示す図である。 商品管理装置の記憶部に格納された地図情報データベースに登録された地図情報テーブルの一例を示す図である。 商品管理装置の記憶部に格納された商品棚割データベースに登録された商品棚割テーブルの一例を示す図である。 商品管理装置の第１の処理手順を示すフローチャートである。 商品管理装置の第２の処理手順を示すフローチャートである。 商品管理装置の第３の処理手順を示すフローチャートである。 商品管理装置の第４の処理手順を示すフローチャートである。 商品管理装置の記憶部に格納された商品検査頻度テーブルを示す図である。 商品管理装置の記憶部に格納された商品棚検査頻度テーブルを示す図である。 商品管理装置の第５の処理手順を示すフローチャートである。 商品管理装置の第６の処理手順を示すフローチャートである。
本発明に係る商品棚割管理装置及び商品棚割管理方法について添付図面を参照して詳細に説明する。
図１は、本発明の一実施例による商品棚割管理装置（以下、商品管理装置と称する）１０の最小構成を示すブロック図である。商品管理装置１０は、画像取得部１４と配置状況判定部１６を具備している。ここで、商品管理装置１０としてＣＰＵを備えたコンピュータを適用することができる。画像取得部１４は、商品の配置状況に変化が生じると推定される場合に、その変化が生じると推定される商品の位置を含む画像を取得する。尚、画像取得部１４は動画又は静止画を取得してもよい。配置状況判定部１６は、画像取得部１４が取得した画像に写る商品が所定の種別であるか所定の配置状況であるかを判定する。
図２は、本発明の一実施例に係る商品管理装置１０の詳細な構成を示すブロック図である。商品管理装置１０は、商品の種別と配置状況が適切であるか、商品の数や配置方法が適切かどうかを検査する。例えば、配置状況とは商品の個数、商品が商品棚の何列・何行に並べられているかを意味する。以下、商品の種別と配置状況が適切かどうかを調べることを商品配置検査と称する。
商品管理装置１０は、位置特定部１１、撮像装置制御部１２、人物検出部１３、画像取得部１４、商品認識部１５、配置状況判定部１６、商品購入情報取得部１７、実行判定部１８、出力部１９、通信部２０、及び記憶部２１を具備する。ここで、画像取得部１４及び配置状況判定部１６は図１に示す最小構成に含まれている。
位置特定部１１は、商品の配置状況に変化が生じると推定される位置を特定する。撮像装置制御部１２は、撮像装置（不図示）の移動、撮像の開始・停止を制御する。人物検出部１３は、撮像装置が撮像した画像に写った人物によって商品の配置状況に変化が生じるかどうかを検出する。商品認識部１５は、予め準備された商品データベース（不図示）に登録されている商品の画像に基づいて撮像装置が撮像した画像に写った物体がどの商品であるかを認識する。商品購入情報取得部１７は、顧客により購入された商品の情報を取得する。例えば、商品情報とは顧客がどの商品を何個購入したかを意味する。実行判定部１８は、商品配置検査を実行するか判定する。出力部１９は、商品管理装置１０に接続された表示装置にメッセージを出力する。例えば、出力部１９は現在の棚割状況や店員に商品の陳列作業を促すようなメッセージを出力する。通信部２０は、外部装置との通信を行う。記憶部２１は、商品の画像を登録した商品データベース、どの商品棚が店舗内のどこにあるかを示す地図情報データベース、どの商品をどの棚に少なくとも何個陳列する必要があるかを示す商品棚割データベースなどの種々の情報を記憶している。
図３は、本発明の一実施例に係る商品棚割管理システムが適用された店舗のレイアウトを示す。店舗のフロア１００には、商品棚１０１乃至１０４及び監視用撮像装置１０５が備えられている。また、移動式撮像装置１０８がフロア１００上に備えられている。図３では、店員１０６がフロア１００を巡回して商品棚１０１乃至１０４を目視で確認し、かつ、顧客１０７が商品棚１０３に陳列されている商品を選んでいる。また、別の店員１０９はレジスタ１１０を用いて客の購入商品に対する金銭支払や清算を行なっている。図３に示す商品棚割管理システムは商品管理装置１０と移動式撮像装置１０８を具備する。
移動式撮像装置１０８は、フロア１００を移動して商品棚１０１乃至１０４に陳列された検査対象となる商品の配置位置を基準とする所定の範囲の画像を撮像する。所定の範囲とは、例えば、ある商品についての説明用札（例えば、ＰＯＰ広告）も写し出されるように、当該商品の配置位置全体を含む。移動式撮像装置１０８により撮像される画像は商品管理装置１０の商品配置検査に供される。
例えば、移動式撮像装置１０８として自動追尾機能と撮像装置を備えた無人飛行体（ドローン）を採用してもよい。無人飛行体は、店員１０６が身に着けている携帯端末装置と無線通信を行う。また、無人飛行体は携帯端末装置の位置情報を取得し、予め定められた携帯端末装置との相対的な位置関係を保持するように店員１０６の動きを追尾する。自動追尾方法として、移動式撮像装置１０８によって撮像された画像から画像認識によって店員１０６を識別して店員１０６を追尾するようにしてもよい。
無人飛行体の移動方法として、自動追尾機能によって店員１０６の後方を一定の距離を保って移動してもよい。また、商品管理装置１０の撮像装置制御部１２からの指示信号によって無人飛行体の位置を制御することも可能である。この場合、例えば、無人飛行体にはＧＰＳ装置が備えられており、現在の位置を商品管理装置１０に送信する。撮像装置制御部１２は、予め定められた目標位置と無人飛行体から取得した位置情報とに基づいて無人飛行体がどの方向に進むかを指示する信号を通信部２０を介して無人飛行体に送信する。また、撮像装置制御部１２は無人飛行体が目標位置に到着すると停止するよう命令する信号を無人飛行体に送信する。尚、無人飛行体の自動追尾モードと撮像装置制御部１２による無人飛行体の位置制御モードとは切り替え可能となっている。
無人飛行体に設けられた撮像装置は、例えば、進行方向の画像を撮像できるものであってもよい。また、無人飛行体の周囲３６０度の範囲の画像を撮像できるものであってもよい。撮像装置制御部１２が撮像の開始を指示すると、移動式撮像装置１０８は撮像を開始する。また、撮像装置制御部１２が撮像の停止を指示すると移動式撮像装置１０８は撮像を停止する。移動式撮像装置１０８は、撮像した画像を商品管理装置１０に送信する。
商品管理装置１０では、画像取得部１４が移動式撮像装置１０８の撮像した画像を取得して商品認識部１５へ送出する。商品認識部１５は画像を分析して、当該画像に写った物体がどの商品であるかを公知の画像認識技術により認識する。例えば、商品認識部１５は記憶部２１に格納された商品データベースに登録された種々の商品の画像における複数の特徴点と撮像された物体の画像における複数の特徴点とを比較して、一致する特徴点の数が最も多い商品を画像取得部１４が取得した画像に写し出された商品であると特定する。また、商品認識部１５は画像に写し出された商品を特定するとともに、画像にどの商品が何個写し出されているかを算定する。例えば、商品認識部１５は商品データベースに登録された商品の画像の輪郭や包装の絵柄の特徴点と、画像取得部１４から取得した画像に写った物体の輪郭や特徴点とを比較して、特定した商品が何個画像に写っているかを算定する。更に、商品認識部１５は特定した商品の画像に対する位置情報から互いの位置関係を算定して、当該商品が商品棚において何行・何列で配置されているかを算定してもよい。
商品認識部１５が商品棚に陳列された商品の種別及び数を特定すると、配置状況判定部１６は当該商品について適切な商品配置が行なわれているかを判定する。例えば、配置状況判定部１６は記憶部２１に格納された商品棚割データベースに登録された各商品についての配置位置とその最低個数に基づいて、その商品が商品棚の正しい位置に配置されているか、適切な数の商品が商品棚に配置されているかを検査する。商品棚に配置されている商品の数が不足している場合、例えば、配置状況判定部１６は出力部１９を介して「商品ＡがＸ個足りない」というメッセージを表示装置に出力する。
図３に示す商品棚割管理システムにおいて、監視用撮像装置１０５はフロア１００全体の様子を撮像した画像を商品管理装置１０に送信する。監視用撮像装置１０５の撮像した画像には店員１０６や顧客１０７の様子が映し出されている。尚、監視用撮像装置１０５は１台だけ設けてもよいが、商品棚１０１乃至１０４付近の全体の様子が写るように複数台設けてもよい。
商品管理装置１０において、画像取得部１４が監視用撮像装置１０５の撮像した画像を取得して人物検出部１３へ送出する。人物検出部１３は、公知の画像認識技術によって画像を分析して当該画像に写った人物が店員であるか顧客であるかを識別することや、画像に写った人物の行動を認識することができる。例えば、店員であれば予め顔画像が記憶部２１に記憶されており、人物検出部１３は画像に写った人物の顔画像と記憶部２１に記憶された店員の顔画像とを照合して、その人物が店員であるかどうかを識別する。また、人物検出部１３は画像に写った人物の服装が店員用の制服であれば、その人物を店員であると識別してもよい。人物検出部１３は、画像に写る人物が店員と識別できない場合、その人物を顧客として識別する。また、人物検出部１３は画像に写る人物の行動（例えば、「人物が商品棚に手を伸ばして商品を手に取った」、「人物が商品棚の前で周りを見回した」といった行動）を複数の時系列の画像から人物の腕の動きや顔の向きの変化を検出するなどの公知の画像認技術によって認識することができる。
図３に示す商品棚割管理システムにおいて、レジスタ１１０は商品管理装置１０と接続されている。レジスタ１１０は、バーコード読み取り装置を備えている。店員１０９がバーコード読み取り装置を用いて顧客１０７の購入した商品に付されたバーコードを読み取ると、その商品の識別情報を取得してレジスタ１１０の記憶部に記憶する。ここで、店員１０９が商品のバーコード読み取りを完了し、かつ、顧客１０７が商品代金の支払を完了すると、店員１０９による完了操作により、レジスタ１１０は顧客１０７が購入した商品の識別情報を商品管理装置１０に送信する。
本実施例に係る商品管理装置１０は、移動式撮像装置１０８や監視用撮像装置１０５によって撮像された画像に写った店員１０６や顧客１０７の動作や、レジスタ１１０から送信された購入商品の識別情報をトリガにして、商品棚に陳列された商品の配置状況に変化が生じると推定された場合に商品配置検査を行う。
図４Ａ乃至図４Ｃは、本実施例に係る商品管理装置１０の記憶部２１に記憶されたデータテーブルの一例を示す。具体的には、図４Ａは記憶部２１に格納された商品データベースに登録された商品テーブルの一例を示す。図４Ｂは、記憶部２１に格納された地図情報データベースに登録された地図情報テーブルの一例を示す。図４Ｃは、記憶部２１に格納された商品棚割データベースに登録された商品棚割テーブルの一例を示す。
図４Ａの商品テーブルは、「商品ＩＤ」、「商品画像１」〜「商品画像Ｎ」の項目を有している。「商品ＩＤ」には商品の識別情報が記録されている。「商品画像１」乃至「商品画像Ｎ」には商品を種々の角度から撮像した画像が記録されている。同じ商品でも正面から撮像した画像と背面から撮像した画像では異なることがある。例えば、顧客が商品を手に取って、商品を誤って背面が手前になるようにして商品棚に戻した場合に、商品テーブルに商品の正面から撮像した画像しか記録されていないと、商品管理装置１０は正しく商品を認識することができない。従って、商品テーブルには１つの商品について複数の画像を記録することができる。尚、必ずしも一つの商品についてＮ個の画像を記録する必要はない。
図４Ｂの地図情報テーブルは、「棚ＩＤ」及び「位置情報」の項目を有している。「棚ＩＤ」には、商品棚の識別情報が記録されている。「位置情報」には、各商品棚の位置情報が記録されている。位置情報とは、例えば、フロア１００のある隅を原点とするその棚の位置の３次元座標である。図４Ｂにおいて、棚ＩＤ「００１」の位置情報は（ｘ、ｙ、ｚ）であり、これは図３のフロア１００においてｘ方向にｘメートル、ｙ方向にｙメートル、ｚ方向（即ち、高さ方向）にｚメートルの位置を示している。つまり、棚ＩＤ「００１」の商品棚はフロア１００内の位置情報（ｘ、ｙ、ｚ）が示す位置に配置されている。
図４Ｃの商品棚割テーブルは、「棚ＩＤ」、「商品ＩＤ」、「最低個数」、「現在個数」、「最終チェック時刻」の項目を有している。「棚ＩＤ」には商品棚の識別情報が記録され、「商品ＩＤ」には商品の識別情報が記録されている。「最低個数」には、「商品ＩＤ」の商品を「棚ＩＤ」の商品棚に配置する最低限の個数が記録されている。「現在個数」には「棚ＩＤ」の商品棚に現在配置されている「商品ＩＤ」の商品の個数が記録されている。「最終チェック時刻」には「棚ＩＤ」の商品棚に配置されている「商品ＩＤ」の商品に対して最後に商品配置検査を行った時刻が記録されている。尚、各商品が商品棚の何行・何列で配置されるべきかを示す情報を商品棚割テーブルに記録してもよい。
図５は、本実施例に係る商品管理装置１０の第１の処理手順を示すフローチャートである。具体的には、商品検品作業における商品管理装置１０は処理手順を示す。
先ず、実行判定部１８が商品配置検査すべき商品棚が存在するか否かを判定する（ステップＳ１１）。この判定処理の具体例については後述する。ここでは、商品管理装置１０が毎日の所定時刻になったら商品配置検査を実行するようにスケジュールされている場合について説明する。実行判定部１８は、記憶部２１に予め記録された商品配置検査の開始時刻と現在時刻を比較し、両者が一致すれば商品配置検査すべき商品棚が存在すると判定する。商品配置検査すべき商品棚が存在しない場合（ステップＳ１１：ＮＯ）、図５の処理フローは終了する。一方、商品配置検査すべき商品棚が存在する場合（ステップＳ１１：ＹＥＳ）、実行判定部１８は商品配置検査の開始を位置特定部１１に指示する。
位置特定部１１は、商品配置検査すべき商品棚の位置情報を取得する（ステップＳ１２）。全ての商品棚について商品配置検査を行なう場合、位置特定部１１は商品棚の検査順序に従って商品配置検査すべき商品棚の識別情報（棚ＩＤ）を記憶部２１から読み出して、地図情報テーブルから棚ＩＤに対応する位置情報を読み出す。位置特定部１１は、棚ＩＤに対応する位置情報を撮像装置制御部１２と配置状況判定部１６に送出する。
撮像装置制御部１２は、移動式撮像装置１０８を商品配置検査すべき商品棚へ移動させる（ステップＳ１３）。撮像装置制御部１２は通信部２０を介して移動式撮像装置１０８と通信することで移動式撮像装置１０８の現在の位置情報を取得する。撮像装置制御部１２は、移動式撮像装置１０８の現在の位置情報と位置特定部１１が取得した商品棚の位置情報に基づいて、移動式撮像装置１０８が移動すべき方向を算定する。次に、撮像装置制御部１２は移動式撮像装置１０８を上記の移動方向に移動させる指示信号を生成して通信部２０を介して移動式撮像装置１０８に送信する。撮像装置制御部１２は、移動式撮像装置１０８が商品配置検査すべき商品棚の撮像位置へ到達するまで上記の処理を繰り返す。
次に、移動式撮像装置１０８が撮像位置に到達したと判定すると、撮像装置制御部１２は移動式撮像装置１０８の向きを調整する。例えば、撮像対象となる商品棚を正面から撮像すると予め定められている。移動式撮像装置１０８の位置と撮像対象の商品棚のｙ方向及びｚ方向の位置が一致する場合、撮像装置制御部１２は移動式撮像装置１０８の向きを９０度変更する制御を行なう。次に、撮像装置制御部１２は移動式撮像装置１０８に商品棚の撮像を指示する（ステップＳ１４）。移動式撮像装置１０８は、商品棚の画像を商品管理装置１０へ送信する。商品管理装置１０では、画像取得部１４が通信部２０を介して移動式撮像装置１０８が撮像した画像を取得する。次に、商品認識部１５が商品配置情報を算出する（ステップＳ１５）。商品配置情報はどの商品が商品棚に何個配置されているかを示す。例えば、商品認識部１５は商品テーブルに記録された種々の商品の画像と画像取得部１４が取得した撮像画像とを比較して、撮像画像に最も近い特徴点を有する商品画像を当該撮像画像に写った商品として特定する。また、商品認識部１５は特定した商品が撮像画像に何個写っているかを画像認識によって検知する。更に、商品認識部１５は特定した商品が商品棚に何行・何列で配置されているかを画像認識によって検知してもよい。
次に、商品認識部１５は特定した商品の識別情報（商品ＩＤ）、撮像画像に写った商品の商品配置情報（商品個数等）を配置状況判定部１６へ送出する。ここで、商品テーブルに商品を種々の姿勢で置いたときの画像を予め記録しておき、その商品画像の特徴点と撮像画像の特徴点とをパターンマッチングしてもよい。この場合、商品認識部１５は特定した商品の配置姿勢（例えば、商品の縦置き・横置きや、商品を後ろ向きに置くこと）を推定して、商品ＩＤ、商品個数、商品の配列数とともに商品の配置姿勢に係る情報を配置状況判定部１６へ送出してもよい。
配置状況判定部１６は、商品棚における商品の配置状況が正しいか否かを判定する（ステップＳ１６）。例えば、配置状況判定部１６は商品認識部１５から取得した商品ＩＤおよび位置特定部１１から取得した棚ＩＤに基づいて商品棚割テーブルを参照して、棚ＩＤと商品ＩＤの組合せに対して定められた商品の最低個数を読み出す。そして、配置状況判定部１６は商品の最低個数と商品認識部１５が画像認識により取得した商品の個数を比較する。商品の個数が最低個数以上であれば商品配置状況は正しいと判定する。一方、商品の個数が最低個数未満であれば商品配置状況は不正であると判定する。また、商品認識部１５が画像認識により取得した商品の種類が複数存在する場合（即ち、複数の商品ＩＤが検出された場合）がある。ここで、複数の商品ＩＤ内のある商品ＩＤと棚ＩＤに基づいて商品棚割テーブルを参照しても該当するレコードが存在しない場合、当該商品ＩＤが示す商品は棚ＩＤが示す商品棚に配置すべきではないと考えられる。この場合も、配置状況判定部１６はその商品の配置状況が不正であると判定する。
上記の商品棚割テーブルに各商品を商品棚に配置する際の行数や列数の数値を規定することがある。ここで、商品認識部１５が画像認識により取得した商品棚に配置された商品の行数や列数が商品棚割テーブルに記録された数値と異なる場合も、配置状況判定部１６はその商品の配置状況が不正であると判定してもよい。また、商品認識部１５が商品の配置姿勢を取得した場合、例えば、配置状況判定部１６はその商品の配置姿勢が後ろ向きであれば配置状況が不正であると判定してもよい。また、配置状況判定部１６は商品の配置状況に加えて商品札の設置についても適切であるかどうかを判定してもよい。例えば、商品認識部１５が画像認識により商品札の設置位置や傾きを算定し、配置状況判定部１６が予め定められた商品札の設置位置情報と比較して商品札の設置が正しいかどうかを判定してもよい。
配置状況判定部１６は、商品配置状況が不正であると判定すると（ステップＳ１６：ＮＯ）、その不正判定の原因に係る情報を出力部１９へ送出する。不正判定の原因に係る情報とは、例えば、「棚ＩＤ：００１、商品ＩＤ：Ａ、不足個数：２個」などである。出力部１９は、商品配置状況の不正判定の原因に係る情報に基づいて、商品配置状況に問題がある商品棚が記載されたエラーリストを出力する。店員１０６は、エラーリストに記載された商品棚に行って商品を補充したり、商品を適切に並べ替えたりする。
配置状況判定部１６が商品配置状況が正しいと判定した場合（ステップＳ１６：ＹＥＳ）、或いは、出力部１９がエラーリストを出力すると、配置状況判定部１６は商品棚割テーブル中の商品ＩＤや棚ＩＤに対応するレコードの「現在個数」項目の数値を商品認識部１５から取得した商品の個数で更新する。また、配置状況判定部１６は商品棚割テーブルの当該レコードの「最終チェック時刻」項目の数値を現在時刻で更新する（ステップＳ１８）。その後、ステップＳ１１に戻り、商品配置検査すべき商品棚が存在する間は上述の処理を繰り返す。
本実施例に係る商品棚割管理システムにより、店舗の店員が手作業で商品棚に陳列された商品を撮像することや、商品にＲＦＩＤタグを付けるような手間をかけることなく、自動的に商品配置検査を行なうことができる。また、本実施例は市販されている撮像装置付きの無人ヘリコプタを利用することにより実現することができる。尚、ステップＳ１５において商品配置の認識対象となる商品の種別を複数設けてもよい。
図５の処理手順では、予め定められた時刻に予め定められた順番で商品棚の商品配置検査を行なうものとして説明した。しかし、本実施例の商品棚割管理システムでは、商品配置状況に変化が生じると推定された場合に、その変化が生じると推定された位置を特定し、その特定した位置に存在する商品棚について商品配置検査を行うことが可能である。次に、この機能を具現化する処理について図６乃至図１１を参照して詳細に説明する。
図６は、商品管理装置１０の第２の処理手順を示すフローチャートである。第２の処理手順では、顧客が商品を購入することによって商品棚の商品の配置状況に変化が生じるときに実行判定部１８が商品配置検査を実行するかどうかを決定する。
図３において、顧客１０７が商品を購入して料金支払いを行なうとき、店員１０９がバーコード・リーダで商品情報を読み取って入力処理を行なうと、レジスタ１１０は当該商品の商品ＩＤと購入した個数を商品管理装置１０へ送信する。商品管理装置１０では、商品購入情報取得部１７が通信部２０を介して商品ＩＤを取得する（ステップＳ２１）。商品購入情報取得部１７は、商品ＩＤに基づいて商品棚割テーブルを参照して、商品ＩＤに係るレコードの「現在個数」の数値を顧客１０７が購入した商品の個数分減じた値で更新する（ステップＳ２２）。尚、同一の商品が複数の商品棚に分散して陳列されている場合、商品購入情報取得部１７は商品棚割テーブル内の同一の「商品ＩＤ」に係る全てのレコードに対して「現在個数」の数値から商品の購入個数を減ずるような更新処理を行なう。
商品購入情報取得部１７が商品棚割テーブル内の購入商品の「商品ＩＤ」に対応する「現在個数」項目の数値を更新すると、配置状況判定部１６は商品配置状況が正しいかどうかを判定する（ステップＳ２３）。具体的には、配置状況判定部１６は商品棚割テーブル内の「最低個数」の数値と「現在個数」の数値を比較して、「現在個数」の数値が「最低個数」の数値未満であれば商品配置状況が正しくないと判定する。尚、同じ商品が複数の商品棚に分散して陳列されている場合、配置状況判定部１６は商品棚割テーブル内の同一の「商品ＩＤ」に係る全てのレコードについて商品配置状況が正しいかどうかを判定する。配置状況判定部１６は、同一の「商品ＩＤ」に係る全てのレコードで購入商品の個数分減算した後の「現在個数」の数値が「最低個数」の数値以上であれば、商品配置状況が正しいと判定する。また、同一の「商品ＩＤ」に係る全てのレコードのうち１つのレコードについて商品配置状況が正しくない場合、配置状況判定部１６はその商品の配置状況が正しくないと判定する。配置状況判定部１６は、商品配置状況の判定結果を実行判定部１８に通知する。
商品配置状況が正しい場合（ステップＳ２３：ＹＥＳ）、実行判定部１８は商品配置検査を行わずに図６の処理手順を終了する。商品配置状況が正しくない場合（ステップＳ２３：ＮＯ）、実行判定部１８は商品配置検査を実行する（ステップＳ２４）。ステップＳ２４以降、図５のステップＳ１２以降の処理が行われる。具体的には、実行判定部１８は商品配置検査の開始を位置特定部１１に指示する。配置状況判定部１６は、顧客が購入した商品が陳列された商品棚の棚ＩＤを商品棚割テーブルから読み出して位置特定部１１に通知する。位置特定部１１は、地図情報テーブルから棚ＩＤに係る商品棚の位置情報を読み出して撮像装置制御部１２と配置状況判定部１６に送出する。次に、撮像装置制御部１２は移動式撮像装置１０８が棚ＩＤに係る商品棚に移動して撮像するよう指示する。尚、顧客が購入した商品が複数の商品棚に分散して陳列されている場合、複数の商品棚の全てについて撮像を行なう。次に、商品認識部１５は画像認識により商品を特定し、商品棚に配置された商品の個数を算定する。また、配置状況判定部１６は商品の配置状況を判定して商品棚割テーブルの更新を行なう。
図６の処理手順では、顧客が商品を購入することにより商品の配置状況に変化が生じたと推定されるときに、その商品が配置された商品棚だけを対象として商品配置検査を行う。これにより、効率的かつリアルタイムで商品配置検査を行うことができる。
図７は、商品管理装置１０の第３の処理手順を示すフローチャートである。図７では、店員１０６が商品棚に商品の陳列作業を行なうことにより、商品の配置状況に変化が生じる場合に、実行判定部１８が商品配置検査の実行を決定する。図７の処理手順の前提として、移動式撮像装置１０８が自動追尾モードであり、商品棚への商品の陳列作業を行なう店員１０６の後方を移動しているものとする。また、商品管理装置１０の撮像装置制御部１２の撮像指示によって、移動式撮像装置１０８は進行方向の画像を撮像し続けているものとする。更に、撮像装置制御部１２は移動式撮像装置１０８の位置情報を所定の時間間隔で取得しているものとする。
まず、商品管理装置１０の画像取得部１４が移動式撮像装置１０８により撮像された画像を取得する（ステップＳ３１）。画像取得部１４は画像を人物検出部１３へ送出する。人物検出部１３は、画像取得部１４が時系列に取得した複数の画像について、当該画像に写った店員１０６の行動を検出する。例えば、人物検出部１３は店員１０６が店舗内の商品棚間の通路を移動しているか、商品棚に陳列されている商品を目視で確認しているか、商品棚の商品に手を伸ばしているかを検出する。尚、店員１０６の特徴（例えば、顔画像や制服の特徴）は予め記憶部２１に記憶されているため、人物検出部１３では顧客１０７と店員１０６との識別が可能である。人物検出部１３は、店員１０６の行動を実行判定部１８に送出する。
実行判定部１８は、店員１０６が商品棚への商品の陳列作業を行なったかどうかを判定する（ステップＳ３２）。例えば、人物検出部１３は画像取得部１４が時系列に取得した複数の画像に基づいて、店員１０６が商品棚の商品に手を伸ばす動作を所定時間内に所定回数以上行なったことを検出した場合、実行判定部１８は店員１０６が商品の陳列作業を行なったと判定する。実行判定部１８は、店員１０６が商品の陳列作業を行なわなかったと判定した場合（ステップＳ３２：ＮＯ）、図７の処理手順は終了する。一方、店員１０６が商品の陳列作業を行なったと判定した場合（ステップＳ３２：ＹＥＳ）、実行判定部１８は商品配置検査を実行する（ステップＳ３３）。具体的には、実行判定部１８が商品配置検査の開始を位置特定部１１に指示する。位置特定部１１は、撮像装置制御部１２から移動式撮像装置１０８の位置情報を取得する。位置特定部１１は、位置情報を配置状況判定部１６へ送出する。図７の処理手順の前提として、移動式撮像装置１０８は店員１０６の後方を追尾しているため、既に該当する商品棚の付近に移動している。従って、撮像装置制御部１２は移動式撮像装置１０８を自動追尾モードから位置制御モードに切り替えて、商品配置状況を検査すべき商品棚を適切に撮像できるよう移動式撮像装置１０８の位置や撮像方向を制御する。ステップＳ３３以降、図５のステップＳ１２以降と同様の処理を行なう。
第３の処理手順の場合、店舗内で店員が商品の陳列作業を行なったことにより、商品棚の商品の配置状況に変化が生じると推定されたときに、実行判定部１８はその商品が配置された商品棚だけを対象として商品配置検査を行う。これにより、店員が商品の陳列作業を行なった後に、その陳列作業が適切であったかどうかを確認することができる。
図８は、商品管理装置１０の第４の処理手順を示すフローチャートである。図８では、店員や顧客が商品棚の商品を移動させることによりその商品の配置状況に変化が生じる場合に、実行判定部１８が商品配置検査の実行を決定する。図７の第３の処理手順は、移動式撮像装置１０８が後方を追尾する店員１０６が商品棚の商品の陳列作業を行なうことを前提としている。一方、図８の第４の処理手順は移動式撮像装置１０８が撮像した画像ではなく監視用撮像装置１０５が撮像した画像に基づいて店員１０６や顧客１０７により商品の配置状況に変化が生じることを検出したときに実行される。
まず、商品管理装置１０の画像取得部１４は監視用撮像装置１０５が撮像した画像を取得する（ステップＳ４１）。画像取得部１４は画像を人物検出部１３へ送出する。次に、人物検出部１３は画像取得部１４が取得した画像に写る人物を認識し、その人物が店員１０６か顧客１０７かを識別する（ステップＳ４２）。例えば、店員１０６が着用する制服の画像が予め記憶部２１に記憶されており、人物検出部１３はパターンマッチングにより画像に写る人物の衣服が店員１０６の制服かどうかを判定する。画像に写る人物の衣服が制服と一致する場合、その人物を店員１０６と識別する。一方、画像に移る人物の衣服が制服と一致しない場合、その人物を顧客１０７と識別する。また、店員１０６の顔画像が予め記憶部２１に記憶されている場合、人物検出部１３は顔認識技術により画像に写る人物が店員１０６であるかどうかを識別してもよい。画像に写る人物を店員１０６と識別した場合（ステップＳ４２：ＹＥＳ）、人物検出部１３は画像取得部１４から時系列に取得した複数の画像から店員１０６の行動を検出して実行判定部１８に通知する。実行判定部１８は、図７のステップＳ３２と同様に、店員１０６が商品の陳列作業を行なったか否かを判定する（ステップＳ４３）。店員１０６や顧客１０７が商品の陳列作業を行なったと判定した場合（ステップＳ４３：ＹＥＳ）、実行判定部１８は商品配置検査を実行する（ステップＳ４４）。また、店員１０６が商品の陳列作業を行なっていないと判定した場合（ステップＳ４３：ＮＯ）、図８の処理手順は終了する。
ステップＳ４２において画像に写った人物を顧客１０７と識別した場合（ステップＳ４２：ＮＯ）、人物検出部１３は画像認識により顧客１０７の行動を検出する。例えば、人物検出部１３は画像取得部１４から時系列に取得した複数の画像に写った顧客１０７の動作や姿勢の変化を検出する。即ち、顧客１０７が商品棚間の通路を移動しているか、商品棚の方向を向いているか、商品を手にしているか、商品棚の前で周りを見回しているかを検出する。人物検出部１３は、顧客１０７の動作を検出して実行判定部１８へ通知する。また、人物検出部１３は画像に写った店員１０６や顧客１０７の位置を検出する。例えば、人物検出部１３は顧客１０７の位置情報として「顧客１０７、棚ＩＤ＝００１の前」を検出する。
次に、実行判定部１８は顧客１０７が商品を手に取ったかどうかを判定する（ステップＳ４５）。例えば、人物検出部１３から顧客１０７が商品を手に取る動作が通知された場合、実行判定部１８は顧客１０７が商品を手にしたと判定する。顧客１０７が商品を手にしたと判定した場合（ステップＳ４５：ＹＥＳ）、実行判定部１８は商品配置検査を実行する（ステップＳ４４）。一方、顧客１０７が商品を手にしていないと判定した場合（ステップＳ４５：ＮＯ）、実行判定部１８は顧客１０７が商品棚の前で所定回数以上繰返して周囲を見回す動作を行なったかどうかを判定する（ステップＳ４６）。例えば、人物検出部１３から顧客１０７が商品棚の前で周囲を見回す動作が通知されており、かつ、その動作が所定回数以上繰返して行なわれた場合、実行判定部１８は顧客１０７が商品棚の前で所定回数以上繰返して周囲を見回したと判定する。実行判定部１８は、顧客１０７が周囲を見回す動作を行なっていないと判定した場合（ステップＳ４６：ＮＯ）、図８の処理手順を終了する。一方、顧客１０７が周囲を見回す動作を行なったと判定した場合（ステップＳ４６：ＹＥＳ）、実行判定部１８は商品配置検査を実行する。具体的には、実行判定部１８は商品配置検査の開始を位置特定部１１に指示する。位置特定部１１は、人物検出部１３が検出した情報を取得する。位置特定部１１は、人物検出部１３の検出情報に基づいて商品配置検査を行うべき商品棚を示す棚ＩＤを特定して、地図情報テーブルから当該棚ＩＤの位置情報を読み出す。次に、位置特定部１１は位置情報を撮像装置制御部１２と配置状況判定部１６へ送出する。ステップＳ４４以降、図５のステップＳ１２以降の処理が行われる。
監視用撮像装置１０５が撮像した画像に顧客１０７が商品を手に取る動作が写っていれば、顧客１０７がその商品を購入する可能性があると考えられる。図８の処理手順によれば、レジスタ１１０と商品管理装置１０が連携しておらず、商品購入情報取得部１７がレジスタ１１０から商品の購入情報が取得できない場合でも、顧客１０７による商品の購入を契機として商品配置検査を実行することができる。
監視用撮像装置１０５が撮像した画像に店員が何度も商品棚に手を伸ばす動作をしたことが写っていれば、その店員が商品の陳列動作を行なっている可能性があると考えられる。移動式撮像装置１０８が後方を追尾している店員１０６以外の店員が別の場所で商品の陳列作業を行なっている場合、その陳列作業の検出を契機にして商品配置検査を実行することができる。
監視用撮像装置１０５の店舗内の設置位置によって、監視用撮像装置１０５が撮像した画像に顧客が商品を手にする動作が写っていなくても、顧客が商品棚の前で盛んに周りを見回すような動作をしていれば、万引きの可能性が考えられる。図８の処理手順では、顧客の不審な行動を検出して商品配置検査を行うことで、実際に商品棚から商品の持ち出しがあったかどうかを確認することができる。
尚、ステップＳ４６の「顧客が所定回数以上周囲を見回したか」の判定の後に、「顧客が商品棚に手を伸ばしたか」の判定を加えてもよい。即ち、顧客が周囲を見回した後に商品棚の商品に手を伸ばした場合のみに万引きの可能性があると推定して、ステップＳ４４の商品配置検査を行うようにしてもよい。また、過去に万引きを行なった人物の顔画像が予めデータベースに登録されている場合、顔認識技術によって監視用撮像装置１０５により撮像された人物の照合を行なうようにしてもよい。この場合、人物の顔画像がデータベースに登録された人物の顔画像と照合できた場合のみにステップＳ４６の処理を実行するようにしてもよい。
次に、図９Ａ、９Ｂ及び図１０を参照して商品棚の商品の配置状況に変化が生じると推定する他の方法について説明する。図９Ａ及び図９Ｂは商品管理装置１０により参照される記憶部２１に格納されたデータテーブルの一例を示す。詳細には、図９Ａは商品検査頻度テーブルを示し、図９Ｂは商品棚検査頻度テーブルを示す。
図９Ａの商品検査頻度テーブルは「商品ＩＤ」及び「頻度」の項目を有している。「商品ＩＤ」には商品の識別情報が記録されている。「頻度」には各商品について商品配置検査を行う期間が記録されている。例えば、商品検査頻度テーブルではよく売れる商品Ａについては１時間毎の頻度で商品配置検査が行われることが記載されている。また、商品Ｂ、商品Ｃについても販売状況（売れ行き）に応じて２４時間毎や７２時間毎の頻度で商品配置検査が行われることが記載されている。
図９Ｂの商品棚検査頻度テーブルは、「棚ＩＤ」及び「頻度」の項目を有している。「棚ＩＤ」には商品棚の識別情報が記録されている。「頻度」には各商品棚について商品配置検査を行う期間が記録されている。例えば、商品棚検査頻度テーブルではよく売れる商品を配置した棚ＩＤ「００１」の商品棚については１時間毎の頻度で商品配置検査が行われることが記載されている。また、棚ＩＤ「００２」、棚ＩＤ「００３」の商品棚についても当該商品棚に配置する商品の販売状況に応じて２４時間毎や７２時間毎の頻度で商品配置検査が行われることが記載されている。
図１０は、商品管理装置１０の第５の処理手順を示すフローチャートである。図１０では、商品の販売状況や商品棚の商品の売行き状況に応じて定められた商品又は商品棚の検査頻度に基づいて商品配置検査を実行する。
まず、実行判定部１８は所定の時間間隔で記憶部２１の商品検査頻度テーブルから１つのレコードを読み出す（ステップＳ５１）。実行判定部１８は、読み込んだレコードに係る商品ＩＤについての最終検査時刻を商品棚割テーブルから読み出す。実行判定部１８は、商品ＩＤに係る最終検査時刻に対して商品検査頻度テーブルから読み出した「頻度」項目の数値を加算する。例えば、商品検査頻度テーブルの「頻度」が「１時間ごと」であれば、最終検査時刻に１時間を加算する。
次に、実行判定部１８は現在の時刻が商品配置検査を行う時刻かどうか判定する（ステップＳ５２）。具体的には、実行判定部１８は最終検査時刻に「頻度」を加算した数値（加算時刻）と現在時刻とを比較する。現在時刻が加算時刻を過ぎていれば、実行判定部１８は商品配置検査を行う時刻であると判定する。商品配置検査を行なう時刻であると判定した場合（ステップＳ５２：ＹＥＳ）、実行判定部１８は商品配置検査を実行する（ステップＳ５３）。位置特定部１１は、商品ＩＤに基づいて商品棚割テーブルを参照して商品配置検査を実行すべき棚ＩＤを求めて、更に、地図情報テーブルから棚ＩＤの位置情報を読み出す。ステップＳ５３以降、図５のステップＳ１２以降の処理が行われる。
次に、実行判定部１８は商品検査頻度テーブル内に未読のレコードが存在するかどうかを判定する（ステップＳ５４）。商品検査頻度テーブルに未読のレコードが存在する場合（ステップＳ５４：ＹＥＳ）、ステップＳ５１に戻って新たなレコードを読み出す。その後、ステップＳ５２以降の処理を繰り返す。商品検査頻度テーブルに未読のレコードが存在しない場合（ステップＳ５４：ＮＯ）、実行判定部１８は図１０の処理手順を終了する。
図１０の処理手順によれば、商品配置状況に変化が生じると推定されるタイミングを商品の販売実績に応じて予め定めておき、そのタイミングで商品配置検査を行うことができる。これにより、効率的に商品配置を確認することができる。尚、図１０では実行判定部１８が商品検査頻度テーブルを用いて商品配置検査を実行するか否かを判定したが、これに限定されるものではない。商品の販売実績に応じて商品の棚割処理を行なう場合、商品検査頻度テーブルに代えて商品棚検査頻度テーブルを参照して図１０と同様の処理手順を実行して商品配置検査を行うようにしてもよい。
図１１は、商品管理装置１０の第６の処理手順を示すフローチャートである。図１１では、実行判定部１８が商品配置検査を実行するかどうかを決定する前に付随的に考慮される条件を判定している。図１１の説明の前提として、実行判定部１８はある商品棚について商品配置検査を行うことを決定したものとする。
まず、画像取得部１４は監視用撮像装置１０５の撮像した画像を取得する（ステップＳ６１）。画像取得部１４は画像を人物検出部１３へ送出する。人物検出部１３は、画像認識により画像内で顧客が存在する位置を全て検出する。人物検出部１３は、位置情報を実行判定部１８へ送出する。
実行判定部１８は、位置特定部１１が特定した商品棚の棚ＩＤに係る位置情報と人物検出部１３から取得した位置情報とを比較して、商品配置検査の対象となっている商品棚の付近に顧客が存在するかどうかを判定する（ステップＳ６２）。商品棚の付近に顧客が存在する場合（ステップＳ６２：ＹＥＳ）、実行判定部１８はステップＳ６５へ進む。商品棚の付近に顧客が存在しない場合（ステップＳ６２：ＮＯ）、実行判定部１８は商品配置検査の対象となっている商品棚について前回の商品配置検査時刻から所定時間以上経過したかどうか判定する（ステップＳ６３）。具体的には、実行判定部１８は商品棚割テーブル内の当該棚ＩＤに係るレコードの最終検査時刻に所定時間を加えた時刻（加算時刻）と現在時刻とを比較して、現在時刻が加算時刻以上であれば前回の商品配置検査時刻から所定時間以上経過したと判定する（ステップＳ６３：ＹＥＳ）。その後、実行判定部１８は商品配置検査を実行する（ステップＳ６４）。一方、現在時刻が加算時刻より小さく前回の商品配置検査時刻から所定時間以上経過していないと判定した場合（ステップＳ６３：ＮＯ）、実行判定部１８は商品配置検査の実行を中止する（ステップＳ６５）。
図１１の処理手順により、顧客が商品棚付近に存在するときは、商品配置検査の実行を中止できるので、移動式撮像装置１０８が顧客の付近を移動することにより顧客の商品選択を妨げることや、誤って顧客を撮像することによりプライバシーを侵害することを防止することができる。また、本実施例ではある商品棚に対して１回商品配置検査を行ったら、その後、当該商品棚に対して所定時間は商品配置検査を行わないようにすることができる。このため、必要以上頻繁に同じ商品棚に対して繰返して商品配置検査が実行されることを防止することができる。尚、図１１においてステップＳ１１の判定処理とステップＳ６３の判定処理の両方を実行する必要はなく、どちらか一方だけを行なうようにしてもよい。
上述の実施例では、移動式撮像装置１０８として無人飛行体を用いて説明したが、これに限定されるものではない。例えば、店舗のフロア１００や天井にレールを配置して、移動式撮像装置１０８はそのレールに沿って移動するようにしてもよい。即ち、移動式撮像装置１０８が店舗内で移動可能とするような移動手段を商品棚割管理システムに設けてもよい。
上述の商品管理装置１０は内部にコンピュータシステムを有している。また、商品管理装置１０の処理はプログラム形式でコンピュータ読み取り可能な記録媒体に記録されている。即ち、コンピュータシステムがプログラムを読み込んで実行することにより前述の処理が行なわれる。ここで、コンピュータ読み取り可能な記録媒体とは磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリなどを意味する。また、プログラムを通信回線を経由してコンピュータに配信し、当該コンピュータがプログラムを実行するようにしてもよい。
上記のプログラムは、前述の機能の一部を実現するものであってもよい。また、上記のプログラムは前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。尚、図３に示すフロア１００は店舗内に商品棚を配置した領域の一例であり、監視用撮像装置１０５の画像も店舗内を監視する画像の一例である。
本発明は、店舗内の商品棚に陳列された商品について商品配置検査を適切なタイミングで自動的に実行する商品棚割管理システムを提供するものであるが、その適用対象は商品に限定されるものではない。例えば、複数の棚に電子部品や資材などを配置して管理するようなシステムにも適用し得るものである。
１０ 商品管理装置
１１ 位置特定部
１２ 撮像装置制御部
１３ 人物検出部
１４ 画像取得部
１５ 商品認識部
１６ 配置状況判定部
１７ 商品購入情報取得部
１８ 実行判定部
１９ 出力部
２０ 通信部
２１ 記憶部
１００ フロア
１０１〜１０４ 商品棚
１０５ 監視用撮像装置
１０６、１０９ 店員
１０７ 顧客
１０８ 移動式撮像装置
１１０ レジスタ

Claims (9)

  1. 商品の配置状況に変化が生じると推定される場合に、前記変化が生じると推定される前記商品が配置される商品棚の位置情報を特定する位置特定部と、
    前記商品棚における前記商品の配置状況がわかる所定範囲を撮像した画像を取得する画像取得部と、
    当該画像に写る商品の種別とその商品の配置状況とが所定の商品の種別とその商品の配置状況であるかを判定する配置状況判定部と、
    を備えることを特徴とする商品管理装置。
  2. 人物検出部をさらに備え、
    前記画像取得部は、商品が配置された範囲を撮像した監視画像を取得し、
    前記人物検出部は、前記画像取得部が取得した前記監視画像に基づいて、前記監視画像に含まれる人物による動作であって前記変化が生じる動作を検出し、
    前記位置特定部は、前記人物検出部が前記監視画像に含まれる人物による動作であって前記変化が生じる動作を検出すると、前記人物がその動作を行なった位置に基づいて前記商品棚の位置情報を特定する、ことを特徴とする請求項１記載の商品管理装置。
  3. 購入された商品の情報を取得する商品購入情報取得部、をさらに備え、
    前記位置特定部は、前記商品購入情報取得部が取得した購入された商品の情報と、予め定められた商品ごとの配置位置に関する情報と、に基づいて前記商品棚の位置情報を特定する、ことを特徴とする請求項１または請求項２記載の商品管理装置。
  4. 前記位置特定部は、商品の販売状況に応じて予め定められた期間毎に、当該商品が配置された前記商品棚の位置情報を特定する、ことを特徴とする請求項１から請求項３の何れか１項に記載の商品管理装置。
  5. 前記位置特定部は、商品の配置位置に応じて予め定められた期間毎に、当該商品が配置された前記商品棚の位置情報を特定する、ことを特徴とする請求項１から請求項４の何れか１項に記載の商品管理装置。
  6. 前記画像取得部は、ある商品が配置された位置を基準とする所定範囲を撮像した画像を取得すると、所定の期間は同じ位置を基準とした画像を取得しない、ことを特徴とする請求項１から請求項５の何れか１項に記載の商品管理装置。
  7. 移動可能な撮像装置を、前記画像を撮像する場所へ移動させ、前記撮像装置へ撮像を指示する撮像装置制御部をさらに備え、
    前記画像取得部は、前記撮像装置が撮像した前記画像を取得する、
    請求項１に記載の商品管理装置。
  8. 商品管理装置が、
    商品の配置状況に変化が生じると推定される場合に、前記変化が生じると推定される前記商品が配置される商品棚の位置情報を特定し、
    前記商品棚における前記商品の配置状況がわかる所定範囲を撮像した画像を取得し、
    当該画像に写る商品の種別とその商品の配置状況とが所定の商品の種別とその商品の配置状況であるかを判定する、
    ことを特徴とする商品管理方法。
  9. 商品管理装置のコンピュータを、
    商品の配置状況に変化が生じると推定される場合に、前記変化が生じると推定される前記商品が配置される商品棚の位置情報を特定する手段、
    前記商品棚における前記商品の配置状況がわかる所定範囲を撮像した画像を取得する手段、
    当該画像に写る商品の種別とその商品の配置状況とが所定の商品の種別とその商品の配置状況であるかを判定する手段、
    として機能させるためのプログラム。
JP2016570681A 2015-01-22 2016-01-20 商品管理装置、商品管理方法及びプログラム Active JP6791534B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015009978 2015-01-22
JP2015009978 2015-01-22
PCT/JP2016/051568 WO2016117600A1 (ja) 2015-01-22 2016-01-20 商品棚割管理装置及び商品棚割管理方法

Publications (2)

Publication Number Publication Date
JPWO2016117600A1 JPWO2016117600A1 (ja) 2017-11-09
JP6791534B2 true JP6791534B2 (ja) 2020-11-25

Family

ID=56417140

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016570681A Active JP6791534B2 (ja) 2015-01-22 2016-01-20 商品管理装置、商品管理方法及びプログラム

Country Status (3)

Country Link
US (4) US20180002109A1 (ja)
JP (1) JP6791534B2 (ja)
WO (1) WO2016117600A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6197952B2 (ja) * 2014-05-12 2017-09-20 富士通株式会社 商品情報出力方法、商品情報出力プログラムおよび制御装置
WO2017208720A1 (ja) * 2016-06-03 2017-12-07 裕之 本地川 情報収集装置およびこれを用いた物品管理システム、ならびに巻取装置
JP6329225B2 (ja) * 2016-09-12 2018-05-23 ユーピーアール株式会社 ドローンを活用した倉庫内の荷物監視システム
WO2018159132A1 (ja) * 2017-03-03 2018-09-07 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法および情報処理プログラム
EP3607513A4 (en) * 2017-04-07 2021-03-03 Simbe Robotics, Inc. STOCK LEVEL MONITORING PROCESS IN A STORE
US20180293596A1 (en) * 2017-04-10 2018-10-11 International Business Machines Corporation Shelf image recognition analytics
JP7019357B2 (ja) 2017-09-19 2022-02-15 東芝テック株式会社 棚情報推定装置及び情報処理プログラム
US11531960B2 (en) 2017-09-29 2022-12-20 Nec Corporation Information processing apparatus, information processing system, control method, and program
WO2019171572A1 (ja) * 2018-03-09 2019-09-12 日本電気株式会社 セルフレジシステム、購入商品管理方法および購入商品管理プログラム
US11049279B2 (en) * 2018-03-27 2021-06-29 Denso Wave Incorporated Device for detecting positional relationship among objects
CN108647242B (zh) * 2018-04-10 2022-04-29 北京天正聚合科技有限公司 一种热力图的生成方法和系统
JP2020009216A (ja) * 2018-07-10 2020-01-16 富士ゼロックス株式会社 掲示物管理システム、プログラム
KR102200579B1 (ko) * 2018-10-25 2021-01-11 한국로봇융합연구원 상품 자동 진열 시스템 및 그 방법
JP7387981B2 (ja) 2018-11-15 2023-11-29 日本電気株式会社 画像処理装置、画像処理方法、プログラム
JP7287015B2 (ja) * 2019-03-14 2023-06-06 富士電機株式会社 商品管理システム及び商品管理方法
US20220172228A1 (en) * 2019-03-29 2022-06-02 Nec Corporation Sales management system, store apparatus, sales management method, and program
JP6710876B1 (ja) * 2019-04-01 2020-06-17 株式会社テクムズ 商品の自動出納管理方法
JP7366651B2 (ja) * 2019-09-03 2023-10-23 東芝テック株式会社 棚撮像装置及び情報処理装置
CN110675106A (zh) * 2019-09-12 2020-01-10 创新奇智(合肥)科技有限公司 一种基于动态商品库存信息的无人货柜商品识别方法
KR20230006872A (ko) * 2020-04-29 2023-01-11 오토스토어 테크놀로지 에이에스 비행 드론을 이용한 저장 시스템의 모니터링 방법
WO2021229754A1 (ja) * 2020-05-14 2021-11-18 日本電気株式会社 商品特定装置、商品特定方法、及びプログラム
JP2021196885A (ja) 2020-06-15 2021-12-27 パナソニックＩｐマネジメント株式会社 監視装置、監視方法、及び、コンピュータプログラム
US20240029017A1 (en) * 2020-09-28 2024-01-25 Nec Corporation Information processing device, information processing method, and recording medium

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0581552A (ja) 1991-07-12 1993-04-02 Omron Corp 商品監視システム
AU1333895A (en) * 1993-11-30 1995-06-19 Raymond R. Burke Computer system for allowing a consumer to purchase packaged goods at home
JP2001088912A (ja) * 1999-09-20 2001-04-03 Fujitsu General Ltd 画像認識による棚卸管理方法及び棚卸システム
JP3908047B2 (ja) * 2002-02-04 2007-04-25 富士通株式会社 陳列状態監視方法及び陳列状態監視プログラム
JP2003323539A (ja) * 2002-04-30 2003-11-14 Fujitsu Ltd 店舗棚割管理システム及び情報処理装置
JP2005286619A (ja) * 2004-03-29 2005-10-13 Matsushita Electric Ind Co Ltd 監視カメラシステム
JP2006113711A (ja) * 2004-10-13 2006-04-27 Matsushita Electric Ind Co Ltd マーケティング情報提供システム
US20060149634A1 (en) * 2004-12-30 2006-07-06 Kimberly-Clark Worldwide, Inc. Method and system for determining product assortment for retail placement
US8429004B2 (en) * 2005-04-13 2013-04-23 Store Eyes, Inc. Method and system for automatically measuring retail store display compliance
JP2006309280A (ja) * 2005-04-26 2006-11-09 Hitachi Software Eng Co Ltd 非接触ｉｃタグを利用した店舗内顧客購買行動分析システム
US20100171826A1 (en) * 2006-04-12 2010-07-08 Store Eyes, Inc. Method for measuring retail display and compliance
US7778744B2 (en) * 2006-04-20 2010-08-17 Honeywell International Inc. Avionics framework
US20070288296A1 (en) * 2006-05-05 2007-12-13 Graham Lewis System and method for automatic placement of products within shelving areas using a planogram with two-dimensional sequencing
JP2008015577A (ja) * 2006-07-03 2008-01-24 Matsushita Electric Ind Co Ltd 消費者行動分析装置、および消費者行動分析方法
US8189926B2 (en) * 2006-12-30 2012-05-29 Videomining Corporation Method and system for automatically analyzing categories in a physical space based on the visual characterization of people
US8873794B2 (en) * 2007-02-12 2014-10-28 Shopper Scientist, Llc Still image shopping event monitoring and analysis system and method
US20080208719A1 (en) * 2007-02-28 2008-08-28 Fair Isaac Corporation Expert system for optimization of retail shelf space
JP2009003701A (ja) * 2007-06-21 2009-01-08 Denso Corp 情報システム及び情報処理装置
US7949568B2 (en) * 2007-08-31 2011-05-24 Accenture Global Services Limited Determination of product display parameters based on image processing
US8189855B2 (en) * 2007-08-31 2012-05-29 Accenture Global Services Limited Planogram extraction based on image processing
US8630924B2 (en) * 2007-08-31 2014-01-14 Accenture Global Services Limited Detection of stock out conditions based on image processing
JP5372396B2 (ja) * 2008-03-25 2013-12-18 株式会社イシダ 電子棚札システム
US20100138281A1 (en) * 2008-11-12 2010-06-03 Yinying Zhang System and method for retail store shelf stock monitoring, predicting, and reporting
US8922163B2 (en) * 2009-04-24 2014-12-30 Murray MacDonald Automated battery and data delivery system
US9098905B2 (en) * 2010-03-12 2015-08-04 Google Inc. System and method for determining position of a device
US8908903B2 (en) * 2011-08-31 2014-12-09 The Nielsen Company (Us), Llc Image recognition to support shelf auditing for consumer research
US20130235206A1 (en) * 2012-03-12 2013-09-12 Numerex Corp. System and Method of On-Shelf Inventory Management
WO2013151553A1 (en) * 2012-04-05 2013-10-10 Intel Corporation Method and apparatus for managing product placement on store shelf
US9940525B2 (en) 2012-11-19 2018-04-10 Mace Wolf Image capture with privacy protection
JP2014164594A (ja) 2013-02-26 2014-09-08 Nec Corp 携帯端末、情報システム、情報収集方法、及びプログラム
CN105190655B (zh) * 2013-03-04 2018-05-18 日本电气株式会社 物品管理系统、信息处理设备及其控制方法和控制程序
JP6108159B2 (ja) * 2013-03-04 2017-04-05 日本電気株式会社 情報処理システム、情報処理装置およびその制御方法と制御プログラム
US9824387B2 (en) * 2013-03-15 2017-11-21 Proximity Concepts, LLC Systems and methods involving proximity, mapping, indexing, mobile, advertising and/or other features
US8989922B2 (en) * 2013-03-15 2015-03-24 Azure Sky Group, LLC. Modular drone and methods for use
AU2014240718A1 (en) * 2013-03-29 2015-08-27 Nec Corporation Target object identifying device, target object identifying method and target object identifying program
JP2014222374A (ja) * 2013-05-13 2014-11-27 大日本印刷株式会社 棚割情報生成装置、棚割情報生成方法、プログラム、棚割再現システム、及び、棚割情報再現装置
US9280757B2 (en) * 2013-05-14 2016-03-08 DecisionGPS, LLC Automated inventory management
US20150321758A1 (en) * 2013-08-31 2015-11-12 II Peter Christopher Sarna UAV deployment and control system
JP6249021B2 (ja) * 2013-09-06 2017-12-20 日本電気株式会社 セキュリティシステム、セキュリティ方法及びセキュリティプログラム
US20150088701A1 (en) * 2013-09-23 2015-03-26 Daniel Norwood Desmarais System and method for improved planogram generation
JP6468497B2 (ja) * 2013-09-26 2019-02-13 パナソニックＩｐマネジメント株式会社 情報提供方法
JP2015141572A (ja) * 2014-01-29 2015-08-03 富士通株式会社 商品情報提供方法、商品情報提供装置および商品情報提供プログラム
US9928531B2 (en) * 2014-02-24 2018-03-27 Intelligrated Headquarters Llc In store voice picking system
US9858615B2 (en) * 2014-04-10 2018-01-02 Point Inside, Inc. Location assignment system and method
EP3145811A4 (en) * 2014-05-23 2018-05-23 LR Acquisition, LLC Unmanned aerial copter for photography and/or videography
US10180321B2 (en) * 2014-05-31 2019-01-15 3Vr Security, Inc. Calculating duration time in a confined space
US10402777B2 (en) 2014-06-18 2019-09-03 Trax Technology Solutions Pte Ltd. Method and a system for object recognition
US9636825B2 (en) * 2014-06-26 2017-05-02 Robotex Inc. Robotic logistics system
JP5673888B1 (ja) * 2014-10-20 2015-02-18 富士ゼロックス株式会社 情報通知プログラム及び情報処理装置
US10373116B2 (en) 2014-10-24 2019-08-06 Fellow, Inc. Intelligent inventory management and related systems and methods
US9305216B1 (en) 2014-12-15 2016-04-05 Amazon Technologies, Inc. Context-based detection and classification of actions

Also Published As

Publication number Publication date
WO2016117600A1 (ja) 2016-07-28
US20190009986A1 (en) 2019-01-10
US20180002109A1 (en) 2018-01-04
US10872264B2 (en) 2020-12-22
US10891470B2 (en) 2021-01-12
US20190009987A1 (en) 2019-01-10
JPWO2016117600A1 (ja) 2017-11-09
US20190002201A1 (en) 2019-01-03

Similar Documents

Publication Publication Date Title
JP6791534B2 (ja) 商品管理装置、商品管理方法及びプログラム
CN106934692B (zh) 物品信息处理系统、方法及装置
US11301783B1 (en) Disambiguating between users
US10706386B2 (en) Machine learning inventory management
KR101763221B1 (ko) Ｒｆｉｄ 시스템을 이용하여 수집된 시공간 데이터에서 패턴들을 검출하는 시스템 및 방법
US20160117635A1 (en) Selective high-resolution video monitoring in a materials handling facility
EP2975568A1 (en) System and method for self-checkout using product images
CN110709868A (zh) 用于跟踪在商店内的库存水平的方法
JP2020515862A (ja) Ｒｆｉｄタグを位置特定するための方法および装置
US10044985B1 (en) Video monitoring using plenoptic cameras and mirrors
JPWO2019181499A1 (ja) 店舗管理装置および店舗管理方法
US20150066550A1 (en) Flow line data analysis device, system, non-transitory computer readable medium and method
US11961303B1 (en) Agent re-verification and resolution using imaging
US20210374659A1 (en) Real Time Event Tracking and Digitization for Warehouse Inventory Management
EP4075399A1 (en) Information processing system
WO2019038965A1 (ja) 店舗装置、店舗管理方法、プログラム
CA3055112A1 (en) Automatic checkout system
CN108805495A (zh) 物品存放管理方法和系统及计算机可读介质
JP2018206159A (ja) 商品を管理するためのシステム、方法、及びプログラム
US11430047B2 (en) Self-checkout system, purchased product management method, and purchased product management program
JP6687199B2 (ja) 商品棚位置登録プログラム、及び情報処理装置
JP2018206372A (ja) 商品を管理するためのシステム、方法、及びプログラム
CN111507792A (zh) 一种自助购物方法、计算机可读存储介质及系统
US10762467B2 (en) Placement information registration device, placement information registration method, and placement information registration program
US20240062157A1 (en) Logistics management system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190116

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190823

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20190823

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190902

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20190903

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20191025

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20191029

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200602

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20200901

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20201006

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20201006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201029

R150 Certificate of patent or registration of utility model

Ref document number: 6791534

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150