JP7405144B2 - 処理装置、処理方法及びプログラム - Google Patents
処理装置、処理方法及びプログラム Download PDFInfo
- Publication number
- JP7405144B2 JP7405144B2 JP2021540605A JP2021540605A JP7405144B2 JP 7405144 B2 JP7405144 B2 JP 7405144B2 JP 2021540605 A JP2021540605 A JP 2021540605A JP 2021540605 A JP2021540605 A JP 2021540605A JP 7405144 B2 JP7405144 B2 JP 7405144B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- image
- products
- registered
- product database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 150
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000000034 method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000013461 design Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0623—Item investigation
- G06Q30/0625—Directed, with specific intent or strategy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
Landscapes
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Description
商品が陳列された棚を含む棚画像を取得する取得手段と、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段と、
前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との間の差分の有無を判定する判定手段と、
差分があると判定された商品を通知する処理手段と、
を有する処理装置が提供される。
コンピュータが、
商品が陳列された棚を含む棚画像を取得し、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索し、
前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との間の差分の有無を判定し、
差分があると判定された商品を通知する処理方法が提供される。
コンピュータを、
商品が陳列された棚を含む棚画像を取得する取得手段、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段、
前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との間の差分の有無を判定する判定手段、
差分があると判定された商品を通知する処理手段、
として機能させるプログラムが提供される。
商品が陳列された棚を含む棚画像を取得する取得手段と、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段と、
前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する登録手段と、
を有する処理装置が提供される。
コンピュータが、
商品が陳列された棚を含む棚画像を取得し、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索し、
前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する処理方法が提供される。
コンピュータを、
商品が陳列された棚を含む棚画像を取得する取得手段、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段、
前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する登録手段、
として機能させるプログラムが提供される。
本実施形態の処理装置は、店舗内の棚を撮影した棚画像で示される各商品の外観と、商品データベースに登録された画像で示される各商品の外観との間における差分の有無を判定し、差分があると判定した商品をユーザに通知する点を特徴とする。以下、詳細に説明する。
本実施形態の処理装置10は、判定部13の構成が第1の実施形態と異なる。以下、当該点を説明する。
本実施形態の処理装置10は、判定部13の構成が第1及び第2の実施形態と異なる。以下、当該点を説明する。
本実施形態の処理装置10は、検索部12及び処理部14の構成が第1乃至第3の実施形態と異なる。以下、当該点を説明する。
本実施形態の処理装置は、商品が陳列された棚を含む棚画像に基づき、商品データベースに登録されていない商品の有無をオペレータが認識できるようにするための機能を備える。以下、詳細に説明する。
図10に、本実施形態の処理装置10の機能ブロック図の一例を示す。図示するように、処理装置10は、取得部11と、検索部12と、記憶部15と、登録部16とを有する。なお、処理装置10は記憶部15を有さなくてもよい。この場合、処理装置10と通信可能に構成された外部装置が記憶部15を備える。
1. 商品が陳列された棚を含む棚画像を取得する取得手段と、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段と、
前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との差分を判定する判定手段と、
差分があると判定された商品を通知する処理手段と、
を有する処理装置。
2. 前記判定手段は、前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像とを表示装置に表示させた後、前記差分を示すユーザ入力を受付ける1に記載の処理装置。
3. 前記判定手段は、前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との類似度に基づき、前記差分を判定する1に記載の処理装置。
4. 前記判定手段は、前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との類似度が所定条件を満たさない場合、前記差分を判定する1から3のいずれかに記載の処理装置。
5. 前記処理手段は、差分があると判定された商品の前記棚画像内の画像を、前記商品データベースに登録する1から4のいずれかに記載の処理装置。
6. 前記検索手段は、前記商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録されていないが、前記商品データベースに登録されている商品との類似度が所定値以上である類似商品を前記棚画像内で検索し、
前記処理手段は、前記類似商品を通知する1から5のいずれかに記載の処理装置。
7. 前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品を通知する登録手段をさらに有する1から6のいずれかに記載の処理装置。
8. 前記登録手段は、
前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、
特定した領域内の画像を前記商品データベースに登録する7に記載の処理装置。
9. コンピュータが、
商品が陳列された棚を含む棚画像を取得し、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索し、
前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との差分を判定し、
差分があると判定された商品を通知する処理方法。
10. コンピュータを、
商品が陳列された棚を含む棚画像を取得する取得手段、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段、
前記棚画像内の検索された商品の画像と、検索された商品の前記商品データベースに登録された画像との差分を判定する判定手段、
差分があると判定された商品を通知する処理手段、
として機能させるプログラム。
11. 商品が陳列された棚を含む棚画像を取得する取得手段と、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段と、
前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する登録手段と、
を有する処理装置。
12. コンピュータが、
商品が陳列された棚を含む棚画像を取得し、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索し、
前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する処理方法。
13. コンピュータを、
商品が陳列された棚を含む棚画像を取得する取得手段、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品を前記棚画像内で検索する検索手段、
前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、特定した領域内の画像を前記商品データベースに登録する登録手段、
として機能させるプログラム。
Claims (9)
- 商品が陳列された棚を含む棚画像を取得する取得手段と、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品との類似度が第1の基準値以上である商品を前記棚画像内で検索する検索手段と、
検索された商品の中の前記類似度が第2の基準値以上という所定条件を満たさない商品の前記棚画像内の画像と前記商品データベースに登録された画像との差分を判定する判定手段と、
差分があると判定された商品を通知する処理手段と、
を有し、
前記第2の基準値は前記第1の基準値より大きい処理装置。 - 前記判定手段は、検索された商品の前記棚画像内の画像と前記商品データベースに登録された画像とを表示装置に表示させた後、前記差分を示すユーザ入力を受付ける請求項1に記載の処理装置。
- 前記判定手段は、検索された商品の前記棚画像内の画像と前記商品データベースに登録された画像との類似度に基づき、前記差分を判定する請求項1に記載の処理装置。
- 前記処理手段は、差分があると判定された商品の前記棚画像内の画像を、前記商品データベースに登録する請求項1から3のいずれか1項に記載の処理装置。
- 前記検索手段は、前記商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録されていないが、前記商品データベースに登録されている商品との類似度が所定値以上である類似商品を前記棚画像内で検索し、
前記処理手段は、前記類似商品を通知する請求項1から4のいずれか1項に記載の処理装置。 - 前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品を通知する登録手段をさらに有する請求項1から5のいずれか1項に記載の処理装置。
- 前記登録手段は、
前記棚画像に含まれる商品の中の前記商品データベースに登録されていない商品が存在する領域を特定し、
特定した領域内の画像を前記商品データベースに登録する請求項6に記載の処理装置。 - コンピュータが、
商品が陳列された棚を含む棚画像を取得し、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品との類似度が第1の基準値以上である商品を前記棚画像内で検索し、
検索された商品の中の前記類似度が第2の基準値以上という所定条件を満たさない商品の前記棚画像内の画像と前記商品データベースに登録された画像との差分を判定し、
差分があると判定された商品を通知し、
前記第2の基準値は前記第1の基準値より大きい処理方法。 - コンピュータを、
商品が陳列された棚を含む棚画像を取得する取得手段、
商品データベースに登録された複数の商品各々の画像に基づき、前記商品データベースに登録された商品との類似度が第1の基準値以上である商品を前記棚画像内で検索する検索手段、
検索された商品の中の前記類似度が第2の基準値以上という所定条件を満たさない商品の前記棚画像内の画像と前記商品データベースに登録された画像との差分を判定する判定手段、
差分があると判定された商品を通知する処理手段、
として機能させ、
前記第2の基準値は前記第1の基準値より大きいプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/032810 WO2021033310A1 (ja) | 2019-08-22 | 2019-08-22 | 処理装置、処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021033310A1 JPWO2021033310A1 (ja) | 2021-02-25 |
JP7405144B2 true JP7405144B2 (ja) | 2023-12-26 |
Family
ID=74660458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021540605A Active JP7405144B2 (ja) | 2019-08-22 | 2019-08-22 | 処理装置、処理方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220292565A1 (ja) |
JP (1) | JP7405144B2 (ja) |
WO (1) | WO2021033310A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7328642B1 (ja) * | 2022-03-10 | 2023-08-17 | 株式会社マーケットヴィジョン | 情報処理システム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016062545A (ja) | 2014-09-22 | 2016-04-25 | カシオ計算機株式会社 | 商品登録装置 |
JP2016115295A (ja) | 2014-12-18 | 2016-06-23 | カシオ計算機株式会社 | 商品識別装置および商品認識ナビゲーション方法 |
JP2016185852A (ja) | 2015-03-27 | 2016-10-27 | 日本電気株式会社 | 物品管理装置、物品管理システム、物品管理方法及びプログラム |
WO2017083424A1 (en) | 2015-11-09 | 2017-05-18 | Simbe Robotics, Inc. | Method for tracking stock level within a store |
JP2017182653A (ja) | 2016-03-31 | 2017-10-05 | パナソニックIpマネジメント株式会社 | 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法 |
JP2017215784A (ja) | 2016-05-31 | 2017-12-07 | 日本電信電話株式会社 | 物体検出装置、方法、及びプログラム |
WO2019065212A1 (ja) | 2017-09-29 | 2019-04-04 | 日本電気株式会社 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
WO2019107157A1 (ja) | 2017-11-29 | 2019-06-06 | 株式会社Nttドコモ | 棚割情報生成装置及び棚割情報生成プログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9041707B2 (en) * | 2011-06-01 | 2015-05-26 | Rbm Technologies | Confirming compliance with a configuration |
WO2014117268A1 (en) * | 2013-01-29 | 2014-08-07 | 360Pi Corporation | Pricing intelligence for non-exact matching products |
US9858481B2 (en) * | 2015-11-23 | 2018-01-02 | Lexmark International, Inc. | Identifying consumer products in images |
US10002307B2 (en) * | 2015-12-18 | 2018-06-19 | Ricoh Co., Ltd. | Suggestion generation based on data extraction |
WO2017201483A1 (en) * | 2016-05-19 | 2017-11-23 | Simbe Robotics Inc. | Method for tracking placement of products on shelves in a store |
US10282607B2 (en) * | 2016-10-28 | 2019-05-07 | The Nielsen Company (Us), Llc | Reducing scale estimate errors in shelf images |
US10116861B1 (en) * | 2017-05-01 | 2018-10-30 | Ricoh Company, Ltd. | Guided image capture user interface |
US20190149725A1 (en) * | 2017-09-06 | 2019-05-16 | Trax Technologies Solutions Pte Ltd. | Using augmented reality for image capturing a retail unit |
US10970796B2 (en) * | 2018-02-17 | 2021-04-06 | Constru Ltd | System and method for hybrid processing of construction site images |
US10643070B1 (en) * | 2019-05-07 | 2020-05-05 | Accenture Global Solutions Limited | Displaying content on an electronic display based on an environment of the electronic display |
-
2019
- 2019-08-22 JP JP2021540605A patent/JP7405144B2/ja active Active
- 2019-08-22 WO PCT/JP2019/032810 patent/WO2021033310A1/ja active Application Filing
- 2019-08-22 US US17/635,484 patent/US20220292565A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016062545A (ja) | 2014-09-22 | 2016-04-25 | カシオ計算機株式会社 | 商品登録装置 |
JP2016115295A (ja) | 2014-12-18 | 2016-06-23 | カシオ計算機株式会社 | 商品識別装置および商品認識ナビゲーション方法 |
JP2016185852A (ja) | 2015-03-27 | 2016-10-27 | 日本電気株式会社 | 物品管理装置、物品管理システム、物品管理方法及びプログラム |
WO2017083424A1 (en) | 2015-11-09 | 2017-05-18 | Simbe Robotics, Inc. | Method for tracking stock level within a store |
JP2017182653A (ja) | 2016-03-31 | 2017-10-05 | パナソニックIpマネジメント株式会社 | 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法 |
JP2017215784A (ja) | 2016-05-31 | 2017-12-07 | 日本電信電話株式会社 | 物体検出装置、方法、及びプログラム |
WO2019065212A1 (ja) | 2017-09-29 | 2019-04-04 | 日本電気株式会社 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
WO2019107157A1 (ja) | 2017-11-29 | 2019-06-06 | 株式会社Nttドコモ | 棚割情報生成装置及び棚割情報生成プログラム |
Non-Patent Citations (1)
Title |
---|
赤塚 隼他,<優秀賞>画像認識AIを活用した商品棚認識システム,月刊自動認識,日本,日本工業出版株式会社,2018年01月10日,第31巻 第1号,p.10-12 |
Also Published As
Publication number | Publication date |
---|---|
WO2021033310A1 (ja) | 2021-02-25 |
JPWO2021033310A1 (ja) | 2021-02-25 |
US20220292565A1 (en) | 2022-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPWO2018016214A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20160180315A1 (en) | Information processing apparatus using object recognition, and commodity identification method by the same | |
JP7235119B2 (ja) | 処理装置、会計装置、処理方法及びプログラム | |
JP5865316B2 (ja) | 商品登録装置およびプログラム | |
JP2023041760A (ja) | 登録装置、登録方法及びプログラム | |
JP7405144B2 (ja) | 処理装置、処理方法及びプログラム | |
JP7070654B2 (ja) | 登録装置、登録方法及びプログラム | |
JP2021018470A (ja) | 物品特定装置及びプログラム | |
JP2020129344A (ja) | 処理装置、処理方法及びプログラム | |
WO2019181035A1 (ja) | 登録システム、登録方法及びプログラム | |
WO2019215966A1 (ja) | 登録システム、登録方法及びプログラム | |
JP7215474B2 (ja) | 登録システム、登録方法及びプログラム | |
CN111768563A (zh) | 物品存放方法、装置、计算机可读存储介质及电子设备 | |
JP7380689B2 (ja) | 処理装置、処理方法及びプログラム | |
JP7205603B2 (ja) | 登録装置、登録方法及びプログラム | |
JP6977286B2 (ja) | 販売システム、サーバ、販売システムの処理方法、サーバの処理方法及びプログラム | |
JP2023017034A (ja) | 登録装置、登録方法及びプログラム | |
JP7020538B2 (ja) | 会計装置、会計システム、商品識別方法、およびプログラム | |
WO2019163096A1 (ja) | 登録装置、登録方法及びプログラム | |
JP7319011B2 (ja) | 処理装置、処理方法及びプログラム | |
JPWO2018159224A1 (ja) | 操作支援装置、操作支援方法、及びプログラム | |
WO2021245835A1 (ja) | 処理装置、処理方法及びプログラム | |
JP2024008980A (ja) | 処理装置、処理方法及びプログラム | |
JP2023078237A (ja) | 処理装置、処理方法及びプログラム | |
WO2020174526A1 (ja) | 処理装置、処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231127 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7405144 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |