JPWO2014136559A1 - 物品管理システム、情報処理装置およびその制御方法と制御プログラム - Google Patents
物品管理システム、情報処理装置およびその制御方法と制御プログラム Download PDFInfo
- Publication number
- JPWO2014136559A1 JPWO2014136559A1 JP2015504225A JP2015504225A JPWO2014136559A1 JP WO2014136559 A1 JPWO2014136559 A1 JP WO2014136559A1 JP 2015504225 A JP2015504225 A JP 2015504225A JP 2015504225 A JP2015504225 A JP 2015504225A JP WO2014136559 A1 JPWO2014136559 A1 JP WO2014136559A1
- Authority
- JP
- Japan
- Prior art keywords
- article
- display
- information
- processing apparatus
- absence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 216
- 238000000034 method Methods 0.000 title claims description 137
- 238000003384 imaging method Methods 0.000 claims description 48
- 238000001514 detection method Methods 0.000 claims description 45
- 230000004044 response Effects 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 10
- 230000005672 electromagnetic field Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 94
- 230000008569 process Effects 0.000 description 59
- 238000012545 processing Methods 0.000 description 57
- 239000013598 vector Substances 0.000 description 40
- 238000004891 communication Methods 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 10
- 230000008878 coupling Effects 0.000 description 9
- 238000010168 coupling process Methods 0.000 description 9
- 238000005859 coupling reaction Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 7
- 125000006850 spacer group Chemical group 0.000 description 6
- 238000012937 correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- MHABMANUFPZXEB-UHFFFAOYSA-N O-demethyl-aloesaponarin I Natural products O=C1C2=CC=CC(O)=C2C(=O)C2=C1C=C(O)C(C(O)=O)=C2C MHABMANUFPZXEB-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
- G06K7/10366—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
- G06Q10/0875—Itemisation or classification of parts, supplies or services, e.g. bill of materials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Operations Research (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Toxicology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
Description
物品が置かれた陳列棚上に設けられた物品有無センサを用いて物品の陳列数情報を取得する陳列数取得手段と、
前記陳列棚を撮影することにより取得した画像に基づき物品の種類を識別可能な物品識別情報を取得する物品識別手段と、
前記陳列数情報と前記物品識別情報とに基づいて前記物品がいくつ陳列されているかを認識する陳列認識手段と、
を備える。
物品が置かれた陳列棚上に設けられた物品有無センサを用いて物品の陳列数情報を取得する陳列数取得ステップと、
前記陳列棚を撮影することにより取得した画像に基づき物品の種類を識別可能な物品識別情報を取得する物品識別ステップと、
前記陳列数情報と前記物品識別情報とに基づいて前記物品がいくつ陳列されているかを認識する陳列認識ステップと、
を含む。
物品が置かれた陳列棚上に設けられた物品有無センサを用いて物品の陳列数情報を取得する陳列数取得ステップと、
前記陳列棚を撮影することにより取得した画像に基づき物品の種類を識別可能な物品識別情報を取得する物品識別ステップと、
前記陳列数情報と前記物品識別情報とに基づいて前記物品がいくつ陳列されているかを認識する陳列認識ステップと、
をコンピュータに実行させる。
物品が置かれた陳列棚上に設けられた物品有無センサと、
前記物品有無センサを用いて物品の陳列数情報を取得する陳列数取得手段と、
前記陳列棚を撮影する撮像手段と、
前記撮像手段が取得した画像に基づき物品の種類を識別可能な物品識別情報を取得する物品識別手段と、
前記陳列数情報と前記物品識別情報とに基づいて前記物品がいくつ陳列されているかを認識する陳列認識手段と、
を備える。
本発明の第1実施形態としての情報処理装置100について、図1を用いて説明する。情報処理装置100は、陳列された物品を管理するための装置である。
次に、本発明の第2実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態においては、撮影した画像から局所特徴量に基づいて物品を識別し、物品陳列棚に設置された物品有無センサからの物品有無情報と紐付けることにより、陳列棚に奥行き方向に陳列された複数種類の大量の物品を種類ごとに高速に計数する。
図2A〜図3Dを参照して、本実施形態の物品管理システム200の構成および動作について説明する。
図2Aは、本実施形態に係る情報処理装置210を含む物品管理システム200の概要を示す図である。図2Aにおいては、商店における商品陳列棚を例に説明するが、これに限定されない。奥行き方向に複数の物品が配置される陳列棚であればよい。
図2Bは、本実施形態に係る情報処理装置210を含む物品管理システム200の構成を示すブロック図である。図2Bには、本実施形態の物品管理システム200の構成の概略を示してある。なお、図2Aと同様の構成要素には同じ参照番号を付している。
図3Aは、本実施形態に係る情報処理装置210を含む物品管理システム200の動作手順を示すシーケンス図である。
図3Bは、本実施形態に係る情報処理装置210を含む物品管理システム200の動作タイミングの例310を示すタイミング図である。
場合のみに物品識別処理331をするので、物品識別処理331の回数を削減し、物品陳列数決定処理333を効果的に行なうことができる。
図4は、本実施形態に係る情報処理装置210の機能構成を示すブロック図である。なお、図2Aおよび図2Bと同様の構成要素には同じ参照番号を付す。
図5Aは、本実施形態に係る局所特徴量データベース403の構成を示す図である。局所特徴量データベース403は、各物品の画像から生成された局所特徴量を格納して、入力画像から生成された局所特徴量と比較して物品を識別するために使用される。なお、局所特徴量データベース403の構成は図5Aに限定されない。
図5Bは、本実施形態に係るセンサデータベース406aの構成を示す図である。センサデータベース406aは、図4のセンサデータベース406の一部分を表わしており、陳列棚に配置された物品有無センサの陳列棚内の位置を格納して、陳列棚の最前列の物品配列と、物品有無センサからの物品有無情報とを紐付けるために使用される。なお、センサデータベース406は、物品有無センサが陳列棚上の位置に対応付く情報であれば、構成は図5Bに限定されない。
図5Cは、本実施形態に係る物品種類配列テーブル530の構成を示す図である。物品種類配列テーブル530は、物品識別部211が陳列棚の前面画像から識別した物品を記憶するテーブルである。
図5Dは、本実施形態に係る物品有無配列テーブル540の構成を示す図である。物品有無配列テーブル540は、物品配列生成部407が物品有無センサから受信した物品有無結果を記憶するテーブルである。
図5Eは、本実施形態に係る棚割と陳列数テーブル550の構成を示す図である。棚割と陳列数テーブル550は、陳列認識部213が物品種類配列テーブル530と物品有無配列テーブル540とを紐付けてから算出した、物品陳列位置と陳列数とを記憶するテーブルである。なお、図5Eにおいて、図5Cおよび図5Dと同様の項目には同じ参照番号を付す。
以下、図6A乃至図6Gを参照して、物品識別部211の構成例を説明する。なお、本実施形態の物品識別部211は図6A乃至図6Gに限定されるものではない。
図6Aは、本実施形態に係る物品識別部211aの構成を示すブロック図である。物品識別部211aは、図4の物品識別部211の一例であり、撮影画像の局所特徴量生成部601と、領域分割部602と、照合部603とを含む。
図6Cは、本実施形態に係る物品識別部211bの構成を示すブロック図である。物品識別部211bは、図4の物品識別部211の他の例であり、撮影画像の局所特徴量生成部601と、領域分割部622と、照合部603とを含む。ここで、撮影画像の局所特徴量生成部601と照合部603の動作は図6Aと同様であるので、ここでは説明を省略する。以下、領域分割部622の動作を中心に説明する。
図6Eは、本実施形態に係る物品識別部211cの構成を示すブロック図である。物品識別部211cは、図4の物品識別部211のさらに他の例であり、撮影画像の局所特徴量生成部601と、領域分割部642と、照合部603とを含む。ここで、撮影画像の局所特徴量生成部601と照合部603の動作は図6Aおよび図6Cと同様であるので、説明を省略する。
図7Aは、本実施形態に係る局所特徴量生成部601の構成を示すブロック図である。局所特徴量生成部601は、特徴点検出部711、局所領域取得部712、サブ領域分割部713、サブ領域特徴ベクトル生成部714、および次元選定部715を含んで構成される。
図7B〜図7Fは、本実施形態に係る局所特徴量生成部601の処理を示す図である。
図7Bの画像721は、図7Aの特徴点検出部711において、映像中の画像から特徴点を検出した状態を示す図である。以下、1つの特徴点データ721aを代表させて局所特徴量の生成を説明する。特徴点データ721aの矢印の起点が特徴点の座標位置を示し、矢印の長さがスケール(大きさ)を示し、矢印の方向が角度を示す。ここで、スケール(大きさ)や方向は、対象映像にしたがって輝度や彩度、色相などを選択できる。また、図7Bの例では、60度間隔で6方向の場合を説明するが、これに限定されない。
図7Aの局所領域取得部712は、例えば、特徴点データ721aの起点を中心にガウス窓722aを生成し、このガウス窓722aをほぼ含む局所領域722を生成する。図7Bの例では、局所領域取得部712は正方形の局所領域722を生成したが、局所領域は円形であっても他の形状であってもよい。この局所領域を各特徴点について取得する。局所領域が円形であれば、撮影方向に対してロバスト性が向上するという効果がある。
次に、サブ領域分割部713において、上記特徴点データ721aの局所領域722に含まれる各画素のスケールおよび角度をサブ領域723に分割した状態が示されている。なお、図7Bでは4×4=16画素をサブ領域とする5×5=25のサブ領域に分割した例を示す。しかし、サブ領域は、4×4=16や他の形状、分割数であってもよい。
サブ領域特徴ベクトル生成部714は、サブ領域内の各画素のスケールを6方向の角度単位にヒストグラムを生成して量子化し、サブ領域の特徴ベクトル724とする。すなわち、特徴点検出部711が出力する角度に対して正規化された方向である。そして、サブ領域特徴ベクトル生成部714は、サブ領域ごとに量子化された6方向の頻度を集計し、ヒストグラムを生成する。この場合、サブ領域特徴ベクトル生成部714は、各特徴点に対して生成される25サブ領域ブロック×6方向=150次元のヒストグラムにより構成される特徴ベクトルを出力する。また、勾配方向を6方向に量子化するだけに限らず、4方向、8方向、10方向など任意の量子化数に量子化してよい。勾配方向をD方向に量子化する場合、量子化前の勾配方向をG(0〜2πラジアン)とすると、勾配方向の量子化値Qq(q=0,...,D−1)は、例えば式(1)や式(2)などで求めることができるが、これに限られない。
Qq=round(G×D/2π)modD …(2)
ここで、floor()は小数点以下を切り捨てる関数、round()は四捨五入を行う関数、modは剰余を求める演算である。また、サブ領域特徴ベクトル生成部714は勾配ヒストグラムを生成するときに、単純な頻度を集計するのではなく、勾配の大きさを加算して集計してもよい。また、サブ領域特徴ベクトル生成部714は勾配ヒストグラムを集計するときに、画素が属するサブ領域だけではなく、サブ領域間の距離に応じて近接するサブ領域(隣接するブロックなど)にも重み値を加算するようにしてもよい。また、サブ領域特徴ベクトル生成部714は量子化された勾配方向の前後の勾配方向にも重み値を加算するようにしてもよい。なお、サブ領域の特徴ベクトルは勾配方向ヒストグラムに限られず、色情報など、複数の次元(要素)を有するものであればよい。本実施形態においては、サブ領域の特徴ベクトルとして、勾配方向ヒストグラムを用いることとして説明する。
次に、図7C〜図7Fにしたがって、局所特徴量生成部601における、次元選定部715に処理を説明する。
図7Cは、局所特徴量生成部601における、特徴ベクトルの次元数の選定処理の様子を示す図である。
ように次元を選定することができる。
図7Dは、局所特徴量生成部601における、サブ領域からの特徴ベクトルの選定順位の一例を示す図である。
図8Aは、本実施形態に係る物品配列生成部407の構成を示すブロック図である。なお、物品配列生成部407が対象とする物品有無情報は、図8A〜図9Eに図示のRFIDタグを有する物品有無センサにより得られた情報に限定されない。
図8Bは、本実施形態に係る物品有無データ取得の動作手順を示すシーケンス図である。なお、本実施形態においては、RFIDリーダが各物品配置位置に置かれたRFIDタグに対してIDを含むタグ情報読出信号を送信し、RFIDタグが閾値より強い信号強度で応答した場合を物品無し、閾値より弱い信号強度で応答した場合を物品有りとする。
図8Cは、本実施形態に係る物品有無データ取得時の通信手順を示すシーケンス図である。
図8Dは、本実施形態に係るセンサデータベース406bの構成を示す図である。センサデータベース406bは、図4のセンサデータベース406の一部分を表わし、タグシートがどの陳列棚のどの段の何処に配置されているかを格納する。センサデータベース406bは、シートID841に対応付けて、そのタグシートが有する物品配置位置の各々について、その陳列棚上の確定位置を記憶する。すなわち、各物品位置ID842であるRFIDに対応して、陳列棚843、段844、列845、奥行846を格納する。この物品位置と陳列棚の前面画像からの物品を紐付けることで、物品の陳列数を算出できる。
図9Aは、本実施形態に係る物品有無センサ230の構成を示す図である。図9Aにおいては、2つのタグシートを陳列棚に並べる例を示すが、これに限定されない。なお、物品有無センサ230の構成は、図9A〜図9Eに限定されない。
図9Bは、本実施形態に係る物品有無センサ230におけるリーダアンテナ932の構成を示す図である。少なくとも1枚のタグシートとスペーサ931を隔てて配線されたリーダアンテナ932には、種々の構成が考えられるが、図9Bには2つの例を示す。
図9Cは、本実施形態に係る物品有無センサ230における物品の配置を示す図である。なお、図9Aと同様の要素には同じ参照番号を付して、説明は省略する。
図9Dは、本実施形態に係る物品有無センサ230におけるRFIDタグ914の構成を示す図である。
図9Eは、本実施形態に係る物品有無センサ230における位置関係を示す図である。
図10Aは、本実施形態に係る情報処理装置210のハードウェア構成を示すブロック図である。
図10Bは、本実施形態に係る情報処理装置210の処理結果の出力を示す図である。
図11Aは、本実施形態に係る情報処理装置210の処理手順を示すフローチャートである。このフローチャートは、図10AのCPU1010がRAM1040を使用しながら実行して、図4の機能構成部を実現する。
図11Bは、本実施形態に係る棚表面物品配列の認識処理(S1103)の手順を示すフローチャートである。
図11Cは、本実施形態に係る物品有無検出処理(S1107)の手順を示すフローチャートである。
図11Dは、本実施形態に係る物品配置および陳列数確定処理(S1109)の手順を示すフローチャートである。
次に、本発明の第3実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態に係る情報処理装置は、上記第2実施形態と比べると、撮影した画像から、物品有無センサ群に取り付けられた固有のシート識別マーク(以下、シートマークと略す)を識別する点で異なる。その他の構成および動作は、第2実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
図12および図13を参照して、本実施形態の物品管理システム1200の構成と動作を説明する。
図12は、本実施形態に係る情報処理装置1210を含む物品管理システム1200の概要を示す図である。なお、図12において、図2Aと同様の構成要素には同じ参照番号を付して、説明は省略する。
図13は、本実施形態に係る情報処理装置1210を含む物品管理システム1200の動作手順を示すシーケンス図である。なお、図13において、第2実施形態の図3と同様のステップには同じステップ番号を付して、説明は省略する。
図14は、本実施形態に係る情報処理装置1210の機能構成を示すブロック図である。なお、図14において、図4と同様の機能構成には同じ参照番号を付して、説明は省略する。
図15Aは、本実施形態に係る局所特徴量データベース1403の構成を示す図である。なお、局所特徴量データベース1403には、図5Aの物品画像から生成された局所特徴量データベース403のデータも含まれる。
図15Bは、本実施形態に係るシート管理データベース1406の構成を示す図である。
図15Cは、本実施形態に係る物品種類配列テーブル1530の構成を示す図である。物品種類配列テーブル1530は、撮像画像から識別された物品およびシートマークに基づいて、物品識別部1211が生成したテーブルである。なお、図15Cにおいて、図5Cと同様の項目には同じ参照番号を付して、説明は省略する。
図16Aは、本実施形態に係る情報処理装置1210の処理手順を示すフローチャートである。このフローチャートは、図10AのCPU1010がRAM1040を使用しながら実行して、図14の機能構成部を実現する。なお、図16Aにおいて、図11Aと同様のステップには同じステップ番号を付して、説明は省略する。
図16Bは、本実施形態に係るシートマーク識別処理(S1607)の手順を示すフローチャートである。なお、図16Bにおいて、図11Bと同様なステップには同じステップ番号を付して、説明は省略する。
次に、本発明の第4実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態に係る情報処理装置は、上記第2実施形態と比べると、撮影した画像から、物品陳列棚に取り付けた固有の棚識別マーク(以下、棚マークと略す)を識別する点で異なる。その他の構成および動作は、第2実施形態または第3実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
図17および図18を参照して、本実施形態の物品管理システム1700の構成と動作を説明する。
図17は、本実施形態に係る情報処理装置1710を含む物品管理システム1700の概要を示す図である。なお、図17において、図2Aと同様の構成要素には同じ参照番号を付して、説明は省略する。
図18は、本実施形態に係る情報処理装置1710を含む物品管理システム1700の動作手順を示すシーケンス図である。なお、図18において、第2実施形態の図3と同様のステップには同じステップ番号を付して、説明は省略する。
図19は、本実施形態に係る情報処理装置1710の機能構成を示すブロック図である。なお、図19において、図4と同様の機能構成には同じ参照番号を付して、説明は省略する。
図20Aは、本実施形態に係る局所特徴量データベース1903の構成を示す図である。なお、局所特徴量データベース1903には、図5Aの物品画像から生成された局所特徴量データベース403のデータも含まれる。
図20Bは、本実施形態に係る棚管理データベース1906の構成を示す図である。
図20Cは、本実施形態に係る物品種類配列テーブル2030の構成を示す図である。物品種類配列テーブル2030は、撮像画像から識別された物品および棚マークに基づいて、物品識別部1711が生成したテーブルである。なお、図20Cにおいて、図5Cと同様の項目には同じ参照番号を付して、説明は省略する。
図21Aは、本実施形態に係る情報処理装置1710の処理手順を示すフローチャートである。このフローチャートは、図10AのCPU1010がRAM1040を使用しながら実行して、図17の機能構成部を実現する。なお、図21Aにおいて、図11Aと同様のステップには同じステップ番号を付して、説明は省略する。
図21Bは、本実施形態に係る棚マーク識別処理(S2107)の手順を示すフローチャートである。なお、図21Bにおいて、図11Bまたは図16Bと同様なステップには同じステップ番号を付して、説明は省略する。
次に、本発明の第5実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態に係る情報処理装置は、上記第2実施形態と比べると、撮影した画像から物品陳列棚に特有の物品配列を識別する点で異なる。その他の構成および動作は、第2実施形態乃至第4実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
図22および図23を参照して、本実施形態の物品管理システム1200の構成と動作を説明する。
図22は、本実施形態に係る情報処理装置2210を含む物品管理システム2200の概要を示す図である。なお、図22において、図2Aと同様の構成要素には同じ参照番号を付して、説明は省略する。
図23は、本実施形態に係る情報処理装置2210を含む物品管理システム2200の動作手順を示すシーケンス図である。なお、図23において、第2実施形態の図3と同様のステップには同じステップ番号を付して、説明は省略する。
図24は、本実施形態に係る情報処理装置2210の機能構成を示すブロック図である。なお、図24において、図4と同様の機能構成には同じ参照番号を付して、説明は省略する。
図25は、本実施形態に係る物品列管理データベース2406の構成を示す図である。
図26Aは、本実施形態に係る情報処理装置2210の処理手順を示すフローチャートである。このフローチャートは、図10AのCPU1010がRAM1040を使用しながら実行して、図24の機能構成部を実現する。なお、図26Aにおいて、図11Aと同様のステップには同じステップ番号を付して、説明は省略する。
図26Bは、本実施形態に係る物品列識別処理(S2606)の手順を示すフローチャートである。
次に、本発明の第6実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態に係る情報処理装置は、上記第2実施形態乃至第5実施形態と比べると、撮影した画像から得た物品配列情報と、物品有無センサから得た物品有無情報とに基づいて、物品配置変えや配置エラーによる不正配置を判定する点で異なる。その他の構成および動作は、第2実施形態乃至第5実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
図27Aは、本実施形態に係る情報処理装置を含む物品管理システム2700の概要を示す図である。
図28は、本実施形態に係る情報処理装置2810の機能構成を示すブロック図である。なお、図28において、図4と同様の機能構成には同じ参照番号を付して、説明は省略する。
図29は、本実施形態に係る物品陳列判定処理を説明する図である。図29には、物品配列の変更なのか、一時的な物品配列エラーなのか、を判定する一例を示しているが、判定アルゴリズムはこれに限定されない。
図30Aは、本実施形態に係る情報処理装置の処理手順を示すフローチャートである。このフローチャートは、図10AのCPU1010がRAM1040を使用しながら実行して、図28の機能構成部を実現する。なお、図30Aにおいて、図11Aと同様のステップには同じステップ番号を付して、説明は省略する。
図30Bは、本実施形態に係る配置判定処理(S3008)の手順を示すフローチャートである。
次に、本発明の第7実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態に係る情報処理装置は、上記第2実施形態乃至第6実施形態と比べると、撮影した画像から得た物品配列情報と、物品有無センサから得た物品有無情報とにより、お互いの識別精度や検出精度を高める点で異なる。その他の構成および動作は、第2実施形態乃至第5実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
図31は、本実施形態に係る情報処理装置を含む物品管理システム3100の概要を示す図である。図31には、画像からの物品識別精度を向上する調整例3110と、物品有無センサの有無判定の精度向上の調整例3120とを示す。
図32は、本実施形態に係る情報処理装置3210の機能構成を示すブロック図である。なお、図32において、図4と同様の機能構成には同じ参照番号を付して、説明は省略する。
図33Aは、本実施形態に係る情報処理装置3210の処理手順を示すフローチャートである。このフローチャートは、図10AのCPU1010がRAM1040を使用しながら実行して、図32の機能構成部を実現する。なお、図33Aにおいて、図11Aと同様のステップには同じステップ番号を付して、説明は省略する。
図33Bは、本実施形態に係る物品有無検出および物品識別の調整処理(S3308)
の手順を示すフローチャートである。
次に、本発明の第8実施形態に係る情報処理装置を含む物品管理システムについて説明する。本実施形態に係る情報処理装置は、上記第2実施形態乃至第7実施形態と比べると、物品有無センサから得られた最前列の物品有無パターンと撮影画像から物品識別して得られた物品有無パターンとを照合して、撮影位置を特定する点で異なる。その他の構成および動作は、第2実施形態乃至第7実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
図34および図35を参照して、本実施形態の物品管理システム3400の構成と動作を説明する。
図34は、本実施形態に係る情報処理装置3410を含む物品管理システム3400の概要を示す図である。なお、図34において、図2Aと同様の構成要素には同じ参照番号を付して、説明は省略する。
図35は、本実施形態に係る情報処理装置3410を含む物品管理システム3400の動作手順を示すシーケンス図である。なお、図35において、第2実施形態の図3と同様のステップには同じステップ番号を付して、説明は省略する。
図36は、本実施形態に係る情報処理装置3410の機能構成を示すブロック図である。なお、図36において、図4と同様の機能構成には同じ参照番号を付して、説明は省略する。
図37は、本実施形態に係る物品列有無列照合を説明する図である。
図38Aは、本実施形態に係る情報処理装置3410の処理手順を示すフローチャートである。このフローチャートは、図10AのCPU1010がRAM1040を使用しながら実行して、図36の機能構成部を実現する。なお、図38Aにおいて、図11Aと同様のステップには同じステップ番号を付して、説明は省略する。
図38Bは、本実施形態に係る物品列識別処理(S3806)の手順を示すフローチャートである。
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
Claims (15)
- 物品が置かれた陳列棚上に設けられた物品有無センサを用いて物品の陳列数情報を取得する陳列数取得手段と、
前記陳列棚を撮影することにより取得した画像に基づき物品の種類を識別可能な物品識別情報を取得する物品識別手段と、
前記陳列数情報と前記物品識別情報とに基づいて前記物品がいくつ陳列されているかを認識する陳列認識手段と、
を備える情報処理装置。 - 前記陳列数取得手段は、同種の物品が手前から奥に向かって並べられた、前記陳列棚上の物品列に含まれる物品の陳列数情報を取得し、
前記物品識別手段は、撮影手段が前記陳列棚の前面を撮影した前記画像に基づいて、前記物品列の先頭の物品の種類を識別する、
請求項1に記載の情報処理装置。 - 前記物品有無センサは、
各物品の陳列位置に設置された識別子を有するRFIDタグと、
各物品の配置により信号強度の変化を受ける電磁界を、前記RFIDタグを含む領域に生成するアンテナを有し、前記RFIDタグからの応答信号を受信する応答受信手段と、
前記RFIDタグからの応答信号の強度に基づいて、物品の有無を判定する有無判定手段と、
を含む請求項1または2に記載の情報処理装置。 - 前記物品識別手段は、
前記画像から、複数の特徴点における局所特徴量を生成する局所特徴量生成手段と、
前記複数の特徴点の座標に基づいて、前記複数の特徴点をクラスタリングする領域分割手段と、
前記クラスタリングされた特徴点の局所特徴量と、物品の画像に基づいて生成された局所特徴量とを照合する照合手段と、
を含む請求項1乃至3のいずれか1項に記載の情報処理装置。 - 前記陳列認識手段は、前記陳列棚における棚割に対応する検出センサ群の配置を記憶する棚割記憶手段を備え、前記検出センサ群の配置を参照して、前記陳列数情報と前記物品識別情報とを紐付けする請求項1乃至4のいずれか1項に記載の情報処理装置。
- 前記物品有無センサには、前記陳列棚の前面において、物品有無センサ群のそれぞれに固有のシート識別マークが取り付けられており、
前記陳列数取得手段は、複数の前記物品有無センサから、前記シート識別マークの情報と共に各物品列の陳列数情報を取得し、
前記物品識別手段は、さらに、前記撮像手段が撮影した画像に含まれる、前記シート識別マークを識別して前記シート識別マークの情報を取得し、
前記シート識別マークの情報を用いて、前記陳列数情報と前記物品識別情報とを紐付ける請求項1乃至4のいずれか1項に記載の情報処理装置。 - 複数の前記陳列棚があって、前記陳列棚の前面において、それぞれ固有の棚識別マークを取り付けられており、
前記物品識別手段は、さらに、前記棚識別マークを認識することにより、前記陳列数情報と前記物品識別情報とを紐付ける請求項1乃至4のいずれか1項に記載の情報処理装置。 - 複数の前記陳列棚があって、
前記陳列棚の少なくとも一部において、前記複数の物品の配列を記憶する物品配列記憶手段をさらに備え、
前記物品の配列に基づいて陳列棚を特定して、前記陳列数情報と前記物品識別情報とを紐付ける請求項1乃至4のいずれか1項に記載の情報処理装置。 - 前記陳列認識手段は、撮影した画像に基づいて識別した物品有無パターンと物品有無センサから取得した物品有無パターンとを照合する照合手段を備え、物品有無パターンが合致した陳列棚の陳列位置の物品識別情報と物品有無情報とを紐付けて、前記物品のそれぞれの陳列数を認識する請求項1乃至4のいずれか1項に記載の情報処理装置。
- 前記物品有無センサから取得した複数の物品の有無情報と、前記物品識別手段が識別した複数の物品の種類とを照合して、前記物品列における物品の不正配置を判定する判定手段をさらに備える請求項1乃至9のいずれか1項に記載の情報処理装置。
- 前記陳列数取得手段で取得した陳列数が0ではないにもかかわらず、前記物品識別手段で物品が識別できなかった場合、あるいは、前記物品識別手段で物品が識別できているにもかかわらず前記陳列数取得手段で取得した陳列数が0の場合に、前記陳列数取得手段におけるパラメータおよび前記物品識別手段におけるパラメータの少なくとも一方を調整する調整手段をさらに備える請求項1乃至10のいずれか1項に記載の情報処理装置。
- 前記陳列認識手段が認識した前記物品の陳列数を表示する表示手段をさらに備える請求項1乃至11のいずれか1項に記載の情報処理装置。
- 物品が置かれた陳列棚上に設けられた物品有無センサを用いて物品の陳列数情報を取得する陳列数取得ステップと、
前記陳列棚を撮影することにより取得した画像に基づき物品の種類を識別可能な物品識別情報を取得する物品識別ステップと、
前記陳列数情報と前記物品識別情報とに基づいて前記物品がいくつ陳列されているかを認識する陳列認識ステップと、
を含む情報処理装置の制御方法。 - 物品が置かれた陳列棚上に設けられた物品有無センサを用いて物品の陳列数情報を取得する陳列数取得ステップと、
前記陳列棚を撮影することにより取得した画像に基づき物品の種類を識別可能な物品識別情報を取得する物品識別ステップと、
前記陳列数情報と前記物品識別情報とに基づいて前記物品がいくつ陳列されているかを認識する陳列認識ステップと、
をコンピュータに実行させる情報処理装置の制御プログラム。 - 物品が置かれた陳列棚上に設けられた物品有無センサと、
前記物品有無センサを用いて物品の陳列数情報を取得する陳列数取得手段と、
前記陳列棚を撮影する撮像手段と、
前記撮像手段が取得した画像に基づき物品の種類を識別可能な物品識別情報を取得する物品識別手段と、
前記陳列数情報と前記物品識別公報とに基づいて前記物品がいくつ陳列されているかを認識する陳列認識手段と、
を備えた物品管理システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013042442 | 2013-03-04 | ||
JP2013042442 | 2013-03-04 | ||
PCT/JP2014/053637 WO2014136559A1 (ja) | 2013-03-04 | 2014-02-17 | 物品管理システム、情報処理装置およびその制御方法と制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014136559A1 true JPWO2014136559A1 (ja) | 2017-02-09 |
JP6270065B2 JP6270065B2 (ja) | 2018-01-31 |
Family
ID=51491083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015504225A Active JP6270065B2 (ja) | 2013-03-04 | 2014-02-17 | 物品管理システム、情報処理装置およびその制御方法と制御プログラム |
Country Status (4)
Country | Link |
---|---|
US (3) | US10438084B2 (ja) |
JP (1) | JP6270065B2 (ja) |
CN (1) | CN105190655B (ja) |
WO (1) | WO2014136559A1 (ja) |
Families Citing this family (107)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10416276B2 (en) | 2010-11-12 | 2019-09-17 | Position Imaging, Inc. | Position tracking system and method using radio signals and inertial sensing |
US11175375B2 (en) | 2010-11-12 | 2021-11-16 | Position Imaging, Inc. | Position tracking system and method using radio signals and inertial sensing |
US9945940B2 (en) | 2011-11-10 | 2018-04-17 | Position Imaging, Inc. | Systems and methods of wireless position tracking |
US9864883B2 (en) * | 2012-01-26 | 2018-01-09 | Hanmi It Co., Ltd. | Scanner, scanning apparatus and scanning method for a shelf |
US10269182B2 (en) | 2012-06-14 | 2019-04-23 | Position Imaging, Inc. | RF tracking with active sensory feedback |
US10180490B1 (en) | 2012-08-24 | 2019-01-15 | Position Imaging, Inc. | Radio frequency communication system |
US10234539B2 (en) | 2012-12-15 | 2019-03-19 | Position Imaging, Inc. | Cycling reference multiplexing receiver system |
US10856108B2 (en) | 2013-01-18 | 2020-12-01 | Position Imaging, Inc. | System and method of locating a radio frequency (RF) tracking device using a calibration routine |
US9482741B1 (en) | 2013-01-18 | 2016-11-01 | Position Imaging, Inc. | System and method of locating a radio frequency (RF) tracking device using a calibration routine |
US10438084B2 (en) * | 2013-03-04 | 2019-10-08 | Nec Corporation | Article management system, information processing apparatus, and control method and control program of information processing apparatus |
US12000947B2 (en) | 2013-12-13 | 2024-06-04 | Position Imaging, Inc. | Tracking system with mobile reader |
US10634761B2 (en) | 2013-12-13 | 2020-04-28 | Position Imaging, Inc. | Tracking system with mobile reader |
US9497728B2 (en) | 2014-01-17 | 2016-11-15 | Position Imaging, Inc. | Wireless relay station for radio frequency-based tracking system |
US10200819B2 (en) | 2014-02-06 | 2019-02-05 | Position Imaging, Inc. | Virtual reality and augmented reality functionality for mobile devices |
CN105320931B (zh) * | 2014-05-26 | 2019-09-20 | 京瓷办公信息系统株式会社 | 物品信息提供装置和物品信息提供系统 |
WO2016063484A1 (ja) | 2014-10-23 | 2016-04-28 | 日本電気株式会社 | 画像処理装置、表示制御装置、画像処理方法、および、記録媒体 |
US9483704B2 (en) * | 2014-12-10 | 2016-11-01 | Ricoh Co., Ltd. | Realogram scene analysis of images: superpixel scene analysis |
US10169677B1 (en) * | 2014-12-19 | 2019-01-01 | Amazon Technologies, Inc. | Counting stacked inventory using image analysis |
US10671856B1 (en) | 2014-12-19 | 2020-06-02 | Amazon Technologies, Inc. | Detecting item actions and inventory changes at an inventory location |
US10169660B1 (en) * | 2014-12-19 | 2019-01-01 | Amazon Technologies, Inc. | Counting inventory items using image analysis |
US9996818B1 (en) | 2014-12-19 | 2018-06-12 | Amazon Technologies, Inc. | Counting inventory items using image analysis and depth information |
JP6791534B2 (ja) * | 2015-01-22 | 2020-11-25 | 日本電気株式会社 | 商品管理装置、商品管理方法及びプログラム |
US10642560B2 (en) | 2015-02-13 | 2020-05-05 | Position Imaging, Inc. | Accurate geographic tracking of mobile devices |
US10324474B2 (en) | 2015-02-13 | 2019-06-18 | Position Imaging, Inc. | Spatial diversity for relative position tracking |
US11132004B2 (en) | 2015-02-13 | 2021-09-28 | Position Imaging, Inc. | Spatial diveristy for relative position tracking |
US20180057262A1 (en) * | 2015-03-18 | 2018-03-01 | Nec Corporation | Information processing apparatus, ordering support method, and support method |
US10262190B2 (en) * | 2015-03-26 | 2019-04-16 | Beijing Kuangshi Technology Co., Ltd. | Method, system, and computer program product for recognizing face |
US11501244B1 (en) | 2015-04-06 | 2022-11-15 | Position Imaging, Inc. | Package tracking systems and methods |
US10148918B1 (en) | 2015-04-06 | 2018-12-04 | Position Imaging, Inc. | Modular shelving systems for package tracking |
US10853757B1 (en) | 2015-04-06 | 2020-12-01 | Position Imaging, Inc. | Video for real-time confirmation in package tracking systems |
US11416805B1 (en) | 2015-04-06 | 2022-08-16 | Position Imaging, Inc. | Light-based guidance for package tracking systems |
US20180181913A1 (en) * | 2015-06-09 | 2018-06-28 | Nec Corporation | Shelf allocation assistance device, shelf allocation assistance system, shelf allocation assistance method, and recording medium |
US10510038B2 (en) * | 2015-06-17 | 2019-12-17 | Tata Consultancy Services Limited | Computer implemented system and method for recognizing and counting products within images |
GB2544871A (en) * | 2015-10-08 | 2017-05-31 | Rfid Innovation Res Ltd | Intelligent display system and method |
US10339690B2 (en) * | 2015-12-18 | 2019-07-02 | Ricoh Co., Ltd. | Image recognition scoring visualization |
US10444323B2 (en) | 2016-03-08 | 2019-10-15 | Position Imaging, Inc. | Expandable, decentralized position tracking systems and methods |
US10372753B2 (en) | 2016-03-16 | 2019-08-06 | Walmart Apollo, Llc | System for verifying physical object absences from assigned regions using video analytics |
WO2017175707A1 (ja) * | 2016-04-06 | 2017-10-12 | 日本電気株式会社 | 物体種類特定装置、物体種類特定方法及び記録媒体 |
CN106407855A (zh) * | 2016-08-30 | 2017-02-15 | 珠海格力节能环保制冷技术研究中心有限公司 | 家用物品管理装置、方法及移动终端 |
US11436553B2 (en) | 2016-09-08 | 2022-09-06 | Position Imaging, Inc. | System and method of object tracking using weight confirmation |
DE102016122163A1 (de) * | 2016-11-17 | 2018-05-17 | Endress+Hauser Conducta Gmbh+Co. Kg | Verfahren zur Online-Konfiguration und -Bestellung |
CN106548776B (zh) * | 2016-11-24 | 2019-10-18 | 江苏旭云物联信息科技有限公司 | 一种智能楼道监控系统 |
JP6896401B2 (ja) * | 2016-11-25 | 2021-06-30 | 東芝テック株式会社 | 物品認識装置 |
US10634506B2 (en) | 2016-12-12 | 2020-04-28 | Position Imaging, Inc. | System and method of personalized navigation inside a business enterprise |
US10455364B2 (en) | 2016-12-12 | 2019-10-22 | Position Imaging, Inc. | System and method of personalized navigation inside a business enterprise |
US10634503B2 (en) | 2016-12-12 | 2020-04-28 | Position Imaging, Inc. | System and method of personalized navigation inside a business enterprise |
US11120392B2 (en) | 2017-01-06 | 2021-09-14 | Position Imaging, Inc. | System and method of calibrating a directional light source relative to a camera's field of view |
GB2560177A (en) | 2017-03-01 | 2018-09-05 | Thirdeye Labs Ltd | Training a computational neural network |
US10936995B2 (en) * | 2017-03-03 | 2021-03-02 | Walmart Apollo, Llc | Systems and methods for determining products that were mis-shipped and/or improperly invoiced or uninvoiced to a retail store |
GB2560387B (en) | 2017-03-10 | 2022-03-09 | Standard Cognition Corp | Action identification using neural networks |
US20180268355A1 (en) | 2017-03-15 | 2018-09-20 | Walmart Apollo, Llc | System and method for management of perpetual inventory values associated with nil picks |
US20180268509A1 (en) | 2017-03-15 | 2018-09-20 | Walmart Apollo, Llc | System and method for management of product movement |
US10997552B2 (en) | 2017-03-15 | 2021-05-04 | Walmart Apollo, Llc | System and method for determination and management of root cause for inventory problems |
US20180268356A1 (en) | 2017-03-15 | 2018-09-20 | Walmart Apollo, Llc | System and method for perpetual inventory management |
US20180268367A1 (en) | 2017-03-15 | 2018-09-20 | Walmart Apollo, Llc | System and method for management of perpetual inventory values based upon customer product purchases |
US11055662B2 (en) * | 2017-03-15 | 2021-07-06 | Walmart Apollo, Llc | System and method for perpetual inventory management |
WO2018204837A1 (en) * | 2017-05-05 | 2018-11-08 | Walmart Apollo, Llc | System and method for automatically restocking items on shelves using a conveyor system |
US20180341906A1 (en) | 2017-05-26 | 2018-11-29 | Walmart Apollo, Llc | System and method for management of perpetual inventory values based upon confidence level |
US10474988B2 (en) | 2017-08-07 | 2019-11-12 | Standard Cognition, Corp. | Predicting inventory events using foreground/background processing |
US10650545B2 (en) | 2017-08-07 | 2020-05-12 | Standard Cognition, Corp. | Systems and methods to check-in shoppers in a cashier-less store |
US11023850B2 (en) | 2017-08-07 | 2021-06-01 | Standard Cognition, Corp. | Realtime inventory location management using deep learning |
US11232687B2 (en) | 2017-08-07 | 2022-01-25 | Standard Cognition, Corp | Deep learning-based shopper statuses in a cashier-less store |
US10853965B2 (en) | 2017-08-07 | 2020-12-01 | Standard Cognition, Corp | Directional impression analysis using deep learning |
US11200692B2 (en) | 2017-08-07 | 2021-12-14 | Standard Cognition, Corp | Systems and methods to check-in shoppers in a cashier-less store |
US11250376B2 (en) | 2017-08-07 | 2022-02-15 | Standard Cognition, Corp | Product correlation analysis using deep learning |
US10474991B2 (en) | 2017-08-07 | 2019-11-12 | Standard Cognition, Corp. | Deep learning-based store realograms |
CN109509304A (zh) * | 2017-09-14 | 2019-03-22 | 阿里巴巴集团控股有限公司 | 自动售货机及其控制方法、装置及计算机系统 |
JP7019357B2 (ja) * | 2017-09-19 | 2022-02-15 | 東芝テック株式会社 | 棚情報推定装置及び情報処理プログラム |
CN107833363B (zh) * | 2017-09-28 | 2020-11-10 | 中南大学 | 基于图像识别的自助售货机自动库存管理系统及方法 |
CN107730168B (zh) * | 2017-09-28 | 2021-10-01 | 中南大学 | 一种基于图像识别的自动售货机自动库存管理系统及方法 |
JP7286822B2 (ja) * | 2017-10-25 | 2023-06-05 | 東芝テック株式会社 | 商品管理装置及び商品管理プログラム |
JP7020860B2 (ja) * | 2017-10-25 | 2022-02-16 | 東芝テック株式会社 | 商品管理装置及び商品管理プログラム、商品管理システム |
JP7149953B2 (ja) * | 2017-11-02 | 2022-10-07 | 株式会社Nttドコモ | 検出装置及び検出プログラム |
CN109784126B (zh) * | 2017-11-10 | 2022-11-18 | 富士通株式会社 | 数据切割方法和装置、物品检测方法和装置 |
US10643059B2 (en) * | 2018-01-10 | 2020-05-05 | Trax Technology Solutions Pte Ltd. | Inspecting store shelf capacity |
CN108509879B (zh) * | 2018-03-19 | 2021-12-24 | 北京学之途网络科技有限公司 | 一种实现信息处理的方法及装置 |
US11049279B2 (en) * | 2018-03-27 | 2021-06-29 | Denso Wave Incorporated | Device for detecting positional relationship among objects |
CN112585667A (zh) | 2018-05-16 | 2021-03-30 | 康耐克斯数字有限责任公司 | 智能平台柜台展示系统和方法 |
CN109040539B (zh) * | 2018-07-10 | 2020-12-01 | 京东方科技集团股份有限公司 | 图像采集装置、货架及图像识别方法 |
JP2020017253A (ja) * | 2018-07-13 | 2020-01-30 | 富士電機株式会社 | 商品管理システム及び商品管理方法 |
CN109102233A (zh) * | 2018-08-28 | 2018-12-28 | 深圳市鼎昇贸易有限公司 | 库存错误分析方法及相关产品 |
CN110020605A (zh) * | 2018-09-18 | 2019-07-16 | 北京无线体育俱乐部有限公司 | 提示方法、装置及系统 |
EP3853772A4 (en) | 2018-09-21 | 2022-06-22 | Position Imaging, Inc. | MACHINE LEARNING ASSISTED SELF-IMPROVING SYSTEM AND METHOD FOR OBJECT IDENTIFICATION |
CN109330284B (zh) | 2018-09-21 | 2020-08-11 | 京东方科技集团股份有限公司 | 一种货架系统 |
US20200125883A1 (en) * | 2018-10-22 | 2020-04-23 | Toshiba Tec Kabushiki Kaisha | Article recognition apparatus |
US10783762B1 (en) * | 2019-10-25 | 2020-09-22 | 7-Eleven, Inc. | Custom rack for scalable position tracking system |
US11030756B2 (en) | 2018-10-26 | 2021-06-08 | 7-Eleven, Inc. | System and method for position tracking using edge computing |
CN111415461B (zh) | 2019-01-08 | 2021-09-28 | 虹软科技股份有限公司 | 物品识别方法及系统、电子设备 |
US11089232B2 (en) | 2019-01-11 | 2021-08-10 | Position Imaging, Inc. | Computer-vision-based object tracking and guidance module |
US10494759B1 (en) * | 2019-02-21 | 2019-12-03 | Caastle, Inc. | Systems and methods for article inspections |
US11232575B2 (en) | 2019-04-18 | 2022-01-25 | Standard Cognition, Corp | Systems and methods for deep learning-based subject persistence |
CN110705744B (zh) * | 2019-08-26 | 2022-10-21 | 南京苏宁加电子商务有限公司 | 陈列图生成方法、装置、计算机设备和存储介质 |
CN110806189B (zh) * | 2019-10-17 | 2022-03-08 | 苏州佳世达电通有限公司 | 物品管理系统 |
US11587243B2 (en) | 2019-10-25 | 2023-02-21 | 7-Eleven, Inc. | System and method for position tracking using edge computing |
US11501454B2 (en) | 2019-10-25 | 2022-11-15 | 7-Eleven, Inc. | Mapping wireless weight sensor array for item detection and identification |
US11450011B2 (en) | 2019-10-25 | 2022-09-20 | 7-Eleven, Inc. | Adaptive item counting algorithm for weight sensor using sensitivity analysis of the weight sensor |
KR102090913B1 (ko) * | 2019-12-19 | 2020-03-18 | 최의환 | 한방 의료상품을 위한 창고 관리 제어 시스템 |
SG10201913005YA (en) | 2019-12-23 | 2020-09-29 | Sensetime Int Pte Ltd | Method, apparatus, and system for recognizing target object |
CN113191703A (zh) * | 2020-01-14 | 2021-07-30 | 北京京东乾石科技有限公司 | 储位分配的方法和装置 |
WO2021222786A1 (en) * | 2020-04-30 | 2021-11-04 | Simbe Robotics, Inc. | Method for maintaining perpetual inventory within a store |
US11303853B2 (en) | 2020-06-26 | 2022-04-12 | Standard Cognition, Corp. | Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout |
US11361468B2 (en) | 2020-06-26 | 2022-06-14 | Standard Cognition, Corp. | Systems and methods for automated recalibration of sensors for autonomous checkout |
CN112099454B (zh) * | 2020-09-24 | 2022-08-30 | 富泰华精密电子(郑州)有限公司 | 控制方法、控制装置及存储介质 |
CN112308665A (zh) * | 2020-10-26 | 2021-02-02 | 福建菩泰网络科技有限公司 | 一种网上商城的配货方法及系统 |
CN113505619B (zh) * | 2021-07-28 | 2024-06-18 | 中移(杭州)信息技术有限公司 | 物品管理方法、装置和计算机可读存储介质 |
US20230145016A1 (en) * | 2021-11-10 | 2023-05-11 | Sensormatic Electronics, LLC | Methods and apparatuses for occlusion detection |
DE102021133576A1 (de) | 2021-12-17 | 2023-06-22 | Ford Global Technologies, Llc | Verfahren, Computerprogrammprodukt und System zum Betrieb eines Nutzfahrzeugs sowie Nutzfahrzeug |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050131578A1 (en) * | 2003-09-30 | 2005-06-16 | Intrinsic Marks International Llc | Item monitoring system and methods |
US20080077511A1 (en) * | 2006-09-21 | 2008-03-27 | International Business Machines Corporation | System and Method for Performing Inventory Using a Mobile Inventory Robot |
JP2009037347A (ja) * | 2007-07-31 | 2009-02-19 | Fujitsu Ltd | 無線タグの決定方法、無線タグの決定システム、リーダ制御装置及びプログラム |
US7516890B1 (en) * | 2006-05-25 | 2009-04-14 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Interactive inventory monitoring |
JP2010097457A (ja) * | 2008-10-17 | 2010-04-30 | Okamura Corp | 商品陳列装置 |
CN102184405A (zh) * | 2011-04-19 | 2011-09-14 | 清华大学 | 图像采集分析方法 |
US20120076422A1 (en) * | 2010-09-28 | 2012-03-29 | Futurewei Technologies, Inc. | System and Method for Image Authentication |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1186109A (ja) | 1997-07-11 | 1999-03-30 | Fuji Electric Co Ltd | 通過物体カウンタおよび商品在庫カウンタ |
JP2001088912A (ja) | 1999-09-20 | 2001-04-03 | Fujitsu General Ltd | 画像認識による棚卸管理方法及び棚卸システム |
JP2001258993A (ja) | 2000-03-17 | 2001-09-25 | Tosho Inc | 物品収納装置 |
JP2002024249A (ja) | 2000-07-10 | 2002-01-25 | Itoki Crebio Corp | 物品収納検索システム |
JP3918455B2 (ja) | 2001-05-21 | 2007-05-23 | 株式会社ダイフク | 仕分け設備 |
EP1793326A3 (en) * | 2002-01-09 | 2008-06-11 | Vue Technology, Inc. | Intelligent station using multiple RF antennae and inventory control system and method incorporating same |
US8321302B2 (en) | 2002-01-23 | 2012-11-27 | Sensormatic Electronics, LLC | Inventory management system |
RU2004124049A (ru) | 2002-01-09 | 2005-03-27 | Мидвествако Корпорейшн (Us) | Интеллектуальная станция с множеством антенн радиочастотного диапазона, система и способ инвентаризационного контроля с ее использованием |
US8339265B2 (en) | 2002-01-09 | 2012-12-25 | Sensormatic Electronics, Llc. | Method of assigning and deducing the location of articles detected by multiple RFID antennae |
US20050190072A1 (en) * | 2004-02-26 | 2005-09-01 | Brown Katherine A. | Item monitoring system and methods of using an item monitoring system |
JP2007135075A (ja) * | 2005-11-11 | 2007-05-31 | Toshiba Tec Corp | 無線タグ装置及び無線タグ支持体並びに無線タグ装置の取付け方法 |
US8120462B2 (en) | 2006-09-25 | 2012-02-21 | Sensomatic Electronics, LLC | Method and system for standing wave detection for radio frequency identification marker readers |
JP5236398B2 (ja) | 2008-08-29 | 2013-07-17 | 株式会社竹中工務店 | 電波発信器の位置認識装置及び位置認識システム |
WO2013090603A1 (en) * | 2011-12-16 | 2013-06-20 | Cozad Thomas Michael Jr | Systems and methods for managing product location information |
US10438084B2 (en) * | 2013-03-04 | 2019-10-08 | Nec Corporation | Article management system, information processing apparatus, and control method and control program of information processing apparatus |
-
2014
- 2014-02-17 US US14/772,524 patent/US10438084B2/en active Active
- 2014-02-17 CN CN201480012238.4A patent/CN105190655B/zh active Active
- 2014-02-17 WO PCT/JP2014/053637 patent/WO2014136559A1/ja active Application Filing
- 2014-02-17 JP JP2015504225A patent/JP6270065B2/ja active Active
-
2019
- 2019-09-04 US US16/560,352 patent/US10885374B2/en active Active
-
2020
- 2020-11-12 US US17/095,965 patent/US11527054B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050131578A1 (en) * | 2003-09-30 | 2005-06-16 | Intrinsic Marks International Llc | Item monitoring system and methods |
US7516890B1 (en) * | 2006-05-25 | 2009-04-14 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Interactive inventory monitoring |
US20080077511A1 (en) * | 2006-09-21 | 2008-03-27 | International Business Machines Corporation | System and Method for Performing Inventory Using a Mobile Inventory Robot |
JP2009037347A (ja) * | 2007-07-31 | 2009-02-19 | Fujitsu Ltd | 無線タグの決定方法、無線タグの決定システム、リーダ制御装置及びプログラム |
JP2010097457A (ja) * | 2008-10-17 | 2010-04-30 | Okamura Corp | 商品陳列装置 |
US20120076422A1 (en) * | 2010-09-28 | 2012-03-29 | Futurewei Technologies, Inc. | System and Method for Image Authentication |
CN102184405A (zh) * | 2011-04-19 | 2011-09-14 | 清华大学 | 图像采集分析方法 |
Also Published As
Publication number | Publication date |
---|---|
US20210064909A1 (en) | 2021-03-04 |
US20190392244A1 (en) | 2019-12-26 |
US11527054B2 (en) | 2022-12-13 |
US20150379366A1 (en) | 2015-12-31 |
JP6270065B2 (ja) | 2018-01-31 |
US10438084B2 (en) | 2019-10-08 |
CN105190655B (zh) | 2018-05-18 |
WO2014136559A1 (ja) | 2014-09-12 |
CN105190655A (zh) | 2015-12-23 |
US10885374B2 (en) | 2021-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6270065B2 (ja) | 物品管理システム、情報処理装置およびその制御方法と制御プログラム | |
JP6108159B2 (ja) | 情報処理システム、情報処理装置およびその制御方法と制御プログラム | |
JP6048741B2 (ja) | 物品管理システム、物品管理方法、情報処理装置およびその制御方法と制御プログラム | |
JP7351861B2 (ja) | ユーザ識別子を指定するシステム及びその方法 | |
Shangguan et al. | STPP: Spatial-temporal phase profiling-based method for relative RFID tag localization | |
Liu et al. | RF-scanner: Shelf scanning with robot-assisted RFID systems | |
US7362219B2 (en) | Information acquisition apparatus | |
JP6399280B2 (ja) | 照合・検索システム、照合・検索サーバ、画像特徴抽出装置、照合・検索方法及びプログラム | |
JP4970195B2 (ja) | 人物追跡システム、人物追跡装置および人物追跡プログラム | |
JP2019055828A (ja) | 棚情報推定装置及び情報処理プログラム | |
US20140348384A1 (en) | System for Managing Locations of Items | |
CN103003814A (zh) | 使用大型数据库进行对象识别的系统及方法 | |
US20120133488A1 (en) | Rfid electronic shelf apparatus and method of detecting poisitons of tags using the same | |
US20200005319A1 (en) | System to determine group association between users | |
US11875570B1 (en) | Updating agent position information | |
JP6031736B2 (ja) | 物体識別システム及びプログラム | |
CN106372552B (zh) | 人体目标识别定位方法 | |
JP5700219B2 (ja) | マーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びプログラム | |
CN103310182B (zh) | 一种物体的识别方法及装置 | |
US11599737B1 (en) | System for generating tags | |
JP2013214157A (ja) | タグ位置情報判別システム、タグ位置情報判別方法 | |
JP6065911B2 (ja) | 配置情報登録装置、配置情報登録方法および配置情報登録プログラム | |
KR102597692B1 (ko) | 영상을 이용한 물건 부피의 측정 장치, 방법, 및 컴퓨터 프로그램 | |
JP2018013855A (ja) | 行動認識装置、および、行動認識方法 | |
JP5907162B2 (ja) | 移動体属性推定システム、移動体属性推定方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6270065 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |