JP6624063B2 - 自動販売機認識装置、商品棚認識装置、自動販売機認識方法、プログラムおよび画像処理装置 - Google Patents
自動販売機認識装置、商品棚認識装置、自動販売機認識方法、プログラムおよび画像処理装置 Download PDFInfo
- Publication number
- JP6624063B2 JP6624063B2 JP2016555070A JP2016555070A JP6624063B2 JP 6624063 B2 JP6624063 B2 JP 6624063B2 JP 2016555070 A JP2016555070 A JP 2016555070A JP 2016555070 A JP2016555070 A JP 2016555070A JP 6624063 B2 JP6624063 B2 JP 6624063B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- recognition
- vending machine
- price
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 28
- 230000008569 process Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 19
- 230000010365 information processing Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000020965 cold beverage Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/201—Price look-up processing, e.g. updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F9/00—Details other than those peculiar to special kinds or types of apparatus
- G07F9/002—Vending machines being part of a centrally controlled network of vending machines
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F9/00—Details other than those peculiar to special kinds or types of apparatus
- G07F9/006—Details of the software used for the vending machines
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F9/00—Details other than those peculiar to special kinds or types of apparatus
- G07F9/02—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus
- G07F9/026—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus for alarm, monitoring and auditing in vending machines or means for indication, e.g. when empty
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Multimedia (AREA)
- Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Character Input (AREA)
- Image Analysis (AREA)
Description
本発明の第1の実施の形態について、図面を参照して詳細に説明する。本実施の形態では、販売されている商品(物品)を説明するための情報であって、該商品に関連付けられた情報を商品情報と呼ぶ。商品情報は、例えば、商品名等の商品を識別する識別情報と、該商品に関連付けられた付随情報とを含む。商品の付随情報は、例えば、商品の価格、商品が販売されている状況(販売状況)を示す情報等を含む。商品の販売状況を示す情報とは、例えば、該商品が冷たい商品なのか暖かい商品なのかを示す情報である。なお、商品の付随情報はこれに限定されるものではなく、商品が販売中か売り切れかを示す情報を含んでもよい。この商品の販売状況を示す情報とは、文字列であってもよいし、色であってもよいし、形であってもよい。
次に、図4を参照して、本実施の形態に係る自動販売機認識装置100の動作の流れについて説明する。図4は、本実施の形態に係る自動販売機認識装置100の動作の流れの一例を示すフローチャートである。
本発明の第2の実施の形態について説明する。本実施の形態では、本発明の課題を解決する最小の構成について説明を行う。
次に、本発明の第3の実施の形態に係る商品棚認識装置について説明する。第1および第2の実施の形態では、自動販売機で販売されている商品の商品情報を収集することについて説明したが、これに限定されるものではない。本実施の形態では、例えば、店舗の商品棚に陳列された商品の商品情報を収集することについて説明を行う。
次に、本発明の第4の実施の形態に係る画像処理装置について説明する。本実施の形態に係る画像処理装置は、上述した第1および第2の実施の形態に係る自動販売機認識装置(100、200)および第3の実施の形態に係る商品棚認識装置300の基本となる装置である。図9は、本実施の形態に係る画像処理装置400の機能構成の一例を示す機能ブロック図である。本実施の形態に係る画像処理装置400は、図9に示す通り、受信部410と、認識部440とを備えている。
ここで、上述した各実施の形態に係る自動販売機認識装置(100、200)、商品棚認識装置300および画像処理装置400を実現可能なハードウェアの構成例について説明する。上述した自動販売機認識装置(100、200)、商品棚認識装置300および画像処理装置400は、専用の装置として実現してもよいが、コンピュータ(情報処理装置)を用いて実現してもよい。
・CPU(Central Processing Unit)11、
・通信インタフェース(I/F)12、
・入出力ユーザインタフェース13、
・ROM(Read Only Memory)14、
・RAM(Random Access Memory)15、
・記憶装置17、及び
・コンピュータ読み取り可能な記憶媒体19のドライブ装置18。
また、これらはバス16を介して接続されている。入出力ユーザインタフェース13は、入力デバイスの一例であるキーボードや、出力デバイスとしてのディスプレイ等のマンマシンインタフェースである。通信インタフェース12は、上述した各実施の形態に係る装置(図1、図6、図7および図9)が、外部装置と、通信ネットワーク20を介して通信するための一般的な通信手段である。係るハードウェア構成において、CPU11は、各実施の形態に係る自動販売機認識装置(100、200)、商品棚認識装置300および画像処理装置400を実現する情報処理装置10について、全体の動作を司る。
・CD(Compact Disc)−ROM、フラッシュメモリ等のコンピュータ読み取り可能な各種の記録媒体(19)を介して当該装置内にインストールする方法、
・インターネット等の通信回線(20)を介して外部よりダウンロードする方法。
そして、このような場合において、本発明の各実施の形態は、係るコンピュータプログラムを構成するコード(プログラム群17A)或いは係るコードが格納された記憶媒体(19)によって構成されると捉えることができる。
110 受信部
120 商品認識部
130 設定部
140 付随情報認識部(認識部)
160 記憶部
200 自動販売機認識装置
210 受信部
240 認識部
300 商品棚認識装置
310 受信部
340 認識部
400 画像処理装置
410 受信部
440 認識部
21 商品見本
22 商品画像領域
23 認識対象領域
Claims (11)
- 自動販売機を撮影した撮影画像を受信する受信手段と、
前記撮影画像から複数の商品を認識し、前記複数の商品の価格を夫々認識する認識手段と、
前記撮影画像上において、認識された前記商品の各々の画像領域の周辺の画像領域を、所定の条件に基づいて、前記商品の価格の認識を行う認識対象領域として設定する設定手段と、
を備える自動販売機認識装置。 - 前記認識手段は、認識した文字が、所定の列をなすとき、該所定の列に含まれる数字からなる文字列を、該商品の価格であると認識する、ことを特徴とする請求項1に記載の自動販売機認識装置。
- 前記認識手段は、前記撮影画像に、同じ商品が複数含まれる場合、前記撮影画像に含まれる前記同じ商品の夫々に対して認識した価格が同じになるように、前記商品の価格を認識する、ことを特徴とする請求項1または2に記載の自動販売機認識装置。
- 前記認識手段は、前記自動販売機で販売されている商品の価格に関する情報に基づいて、前記商品の価格を認識する、ことを特徴とする請求項1から3の何れか1項に記載の自動販売機認識装置。
- 前記認識手段は、更に、認識された前記商品の画像領域の周辺の画像領域から前記商品の販売状況を認識する、ことを特徴とする請求項1から4の何れか1項に記載の自動販売機認識装置。
- 前記認識手段は、前記商品の価格を示す文字列の様態が、他の商品の価格を示す文字列の様態と同じか否かを更に認識する、ことを特徴とする請求項1から5の何れか1項に記載の自動販売機認識装置。
- 前記設定手段は、認識された前記商品の画像領域の下に該商品の価格を示す情報が含まれるという条件に基づいて、該商品の価格の認識を行う認識対象領域を設定する、ことを特徴とする請求項1から6の何れか1項に記載の自動販売機認識装置。
- 前記設定手段は、各商品に対する認識対象領域が、所定の列をなすように、前記商品毎に前記認識対象領域を設定する、ことを特徴とする請求項1から7の何れか1項に記載の自動販売機認識装置。
- 前記認識手段は、前記認識対象領域から前記商品の販売状況を認識する、ことを特徴とする請求項1から8の何れか1項に記載の自動販売機認識装置。
- 自動販売機を撮影した撮影画像を受信し、
前記撮影画像から複数の商品を認識し、
前記撮影画像上において、認識された前記商品の各々の画像領域の周辺の画像領域を、所定の条件に基づいて、前記商品の価格の認識を行う認識対象領域として設定し、
前記複数の商品の価格を夫々認識する、
ことを特徴とする自動販売機認識方法。 - 自動販売機を撮影した撮影画像を受信する処理と、
前記撮影画像から複数の商品を認識する処理と、
前記撮影画像上において、認識された前記商品の各々の画像領域の周辺の画像領域を、所定の条件に基づいて、前記商品の価格の認識を行う認識対象領域として設定する処理と、
前記複数の前記商品の価格を夫々認識する処理と、
をコンピュータに実行させることを特徴とするプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014214754 | 2014-10-21 | ||
JP2014214754 | 2014-10-21 | ||
PCT/JP2015/005150 WO2016063483A1 (ja) | 2014-10-21 | 2015-10-09 | 自動販売機認識装置、商品棚認識装置、自動販売機認識方法、記録媒体および画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016063483A1 JPWO2016063483A1 (ja) | 2017-09-07 |
JP6624063B2 true JP6624063B2 (ja) | 2019-12-25 |
Family
ID=55760544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016555070A Active JP6624063B2 (ja) | 2014-10-21 | 2015-10-09 | 自動販売機認識装置、商品棚認識装置、自動販売機認識方法、プログラムおよび画像処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10706658B2 (ja) |
JP (1) | JP6624063B2 (ja) |
WO (1) | WO2016063483A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112434769B (zh) | 2017-09-08 | 2024-08-09 | 创新先进技术有限公司 | 应用于客户端、服务端的业务执行方法、装置以及设备 |
CN108647671B (zh) * | 2018-06-28 | 2023-12-22 | 武汉市哈哈便利科技有限公司 | 一种光学标识视觉识别方法及基于该方法的无人售货柜 |
CN109711473A (zh) * | 2018-12-29 | 2019-05-03 | 北京沃东天骏信息技术有限公司 | 物品识别方法、设备和系统 |
CN111222389B (zh) * | 2019-01-10 | 2023-08-29 | 图灵通诺(北京)科技有限公司 | 商超货架上商品的分析方法和系统 |
JP7108553B2 (ja) * | 2019-01-25 | 2022-07-28 | 株式会社Nttドコモ | 棚割情報生成装置及び棚割情報生成プログラム |
CN109949479A (zh) * | 2019-03-18 | 2019-06-28 | 成都好享你网络科技有限公司 | 基于图像差异的数据处理方法、装置和智能售货机 |
US20220351233A1 (en) * | 2019-09-25 | 2022-11-03 | Nec Corporation | Image processing apparatus, image processing method, and program |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8249885B2 (en) * | 2001-08-08 | 2012-08-21 | Gary Charles Berkowitz | Knowledge-based e-catalog procurement system and method |
US20080249658A1 (en) * | 2004-06-16 | 2008-10-09 | Walker Jay S | Products and Processes for Addressing a Customer Service Issue |
US7309009B2 (en) * | 2005-06-21 | 2007-12-18 | International Business Machines Corporation | Retail store fly-around product locator |
US20080043013A1 (en) * | 2006-06-19 | 2008-02-21 | Kimberly-Clark Worldwide, Inc | System for designing shopping environments |
WO2008100537A2 (en) * | 2007-02-12 | 2008-08-21 | Sorensen Associates Inc. | Still image shopping event monitoring and analysis system and method |
US8189855B2 (en) * | 2007-08-31 | 2012-05-29 | Accenture Global Services Limited | Planogram extraction based on image processing |
US20090182630A1 (en) * | 2008-01-11 | 2009-07-16 | Jonathan Otto | System and method for enabling point of sale functionality in a wireless communications device |
US8380347B2 (en) * | 2008-10-13 | 2013-02-19 | Brent D. Garson | Method and apparatus for use in a vending machine |
US8234007B2 (en) * | 2009-03-18 | 2012-07-31 | Garson Brent D | Method and apparatus for use in a vending machine |
US9749823B2 (en) * | 2009-12-11 | 2017-08-29 | Mentis Services France | Providing city services using mobile devices and a sensor network |
JP2012053711A (ja) * | 2010-09-01 | 2012-03-15 | Toshiba Tec Corp | 情報処理装置、店舗システム及びプログラム |
US20140316560A1 (en) * | 2011-11-22 | 2014-10-23 | Coin Acceptors, Inc. | Vending machine controller with innovative display features |
JP6043094B2 (ja) * | 2012-05-30 | 2016-12-14 | 辛東主 | 商品陳列情報集計システム |
JP5869988B2 (ja) | 2012-08-24 | 2016-02-24 | 富士フイルム株式会社 | 物品照合装置および方法並びにプログラム |
SE536803C2 (sv) * | 2012-12-06 | 2014-09-02 | Mobile Payment Solutions Holding Nordic Ab | Förfarande för att köpa eller begära ut en produkt med hjälpav en bärbar kommunikationsenhet |
US20140195302A1 (en) * | 2013-01-10 | 2014-07-10 | Oracle International Corporation | Guided walkthrough provider |
JP6169853B2 (ja) * | 2013-02-01 | 2017-07-26 | パイオニア株式会社 | ナビゲーション装置、ナビゲーション方法、及びナビゲーションプログラム |
-
2015
- 2015-10-09 JP JP2016555070A patent/JP6624063B2/ja active Active
- 2015-10-09 WO PCT/JP2015/005150 patent/WO2016063483A1/ja active Application Filing
- 2015-10-09 US US15/521,268 patent/US10706658B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10706658B2 (en) | 2020-07-07 |
JPWO2016063483A1 (ja) | 2017-09-07 |
WO2016063483A1 (ja) | 2016-04-28 |
US20170309113A1 (en) | 2017-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6624063B2 (ja) | 自動販売機認識装置、商品棚認識装置、自動販売機認識方法、プログラムおよび画像処理装置 | |
US11853347B2 (en) | Product auditing in point-of-sale images | |
JP6489262B2 (ja) | 誘導画像キャプチャユーザインタフェース | |
JP7279750B2 (ja) | 画像処理装置、画像処理方法、および、プログラム | |
JP6693059B2 (ja) | 商品棚認識装置、商品棚認識方法、プログラム及び画像処理装置 | |
JP6043094B2 (ja) | 商品陳列情報集計システム | |
US20180314908A1 (en) | Method and apparatus for label detection | |
JP5760022B2 (ja) | 商品情報表示装置及びコンピュータプログラム | |
JP7104948B2 (ja) | 在庫管理サーバ、在庫管理システム、在庫管理プログラムおよび在庫管理方法 | |
JP2016194834A (ja) | 整合判定方法、整合判定プログラム、及び整合判定装置 | |
US20140095348A1 (en) | Techniques for generating an electronic shopping list | |
JP2017187971A (ja) | 画像処理装置 | |
JP5753215B2 (ja) | 在庫管理およびマーケティングのための画像認識システム | |
JP2019045909A (ja) | 画像認識システム | |
JP2019046484A (ja) | 画像認識システム | |
CN113935774A (zh) | 图像处理方法、装置、电子设备及计算机存储介质 | |
WO2019064925A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2014075090A (ja) | 陳列位置分析システム | |
JP6476678B2 (ja) | 情報処理装置及び情報処理プログラム | |
US9355395B2 (en) | POS terminal apparatus and commodity specification method | |
CN111460888B (zh) | 基于机器学习的物品识别方法及装置 | |
JP7449505B2 (ja) | 情報処理システム | |
US9805289B2 (en) | Color-based post-processing of images | |
JP6112156B2 (ja) | 行動分析装置及び行動分析プログラム | |
WO2019181441A1 (ja) | 情報処理装置、制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170410 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190827 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191015 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191029 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6624063 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |