JP5450560B2 - 商品データ処理装置、商品データ処理方法及び制御プログラム - Google Patents
商品データ処理装置、商品データ処理方法及び制御プログラム Download PDFInfo
- Publication number
- JP5450560B2 JP5450560B2 JP2011229943A JP2011229943A JP5450560B2 JP 5450560 B2 JP5450560 B2 JP 5450560B2 JP 2011229943 A JP2011229943 A JP 2011229943A JP 2011229943 A JP2011229943 A JP 2011229943A JP 5450560 B2 JP5450560 B2 JP 5450560B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- object detection
- image
- detection window
- display area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
- G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
Description
操作手段は、表示手段における前記商品の画像の表示エリアに対応づけて、当該商品の選択を確定するための操作領域を動的に配置可能となっている。
そして、操作手段により前記オブジェクト検出窓を表示可能な画像表示領域内であって、前記オブジェクト検出窓の表示領域内を操作対象とする操作が行われた場合に、対応するオブジェクト検出窓に対応する商品の登録処理に移行し、前記オブジェクト検出窓の表示領域外を操作対象とする操作を行った場合には、表示されている全てのオブジェクト検出窓に対応する商品の登録処理に移行する。
商品データ処理装置は、一取引に係る商品の登録、精算を行うPOS端末を備えるチェックアウトシステム(POSシステム)等に適用可能である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。
チェックアウトシステム1は、図1に示すように、一取引に係る商品の登録、精算を行うPOS端末11を備える。
POS端末11は、図2に示すように、情報処理を実行する情報処理部としてのマイクロコンピュータ60を備える。マイクロコンピュータ60は、各種演算処理を実行し各部を制御するCPU(Central Processing Unit)61に、ROM(Read Only Memory)62とRAM(Random Access Memory)63とがバス接続されて構成されている。
PLUファイルF1は、図3に示すように、商品G毎に、商品Gを特定するためにユニークに割り当てられた商品IDを格納した商品IDデータD11、商品Gが属する商品分類を特定するための商品分類データD12、商品名を特定するための商品名データD13、単価等の商品に関する価格データD14と、商品Gを撮像画像から特定するためのオブジェクト認識用の特徴量データ(色合い、外形形状、表面の凹凸形状等に関するデータ)や商品Gに割り当てられたバーコード等のコードシンボルを特定するためのデータ等の商品識別データD15と、オブジェクト認識において、当該商品Gであると特定する場合の閾値の下限値を格納した類似度データD16と、を格納している。なお、PLUファイルF1は、後述する接続インターフェース65を介し、商品読取装置101が読み出し(参照)可能に構成されている。
図4に示すように、商品読取装置101のCPU161は、プログラムを順次実行することにより、画像取込部1611、商品検出部1612、類似度算出部1613、商品候補提示部1614、コードシンボル検出部1615及び登録商品通知部1616としての機能を備える。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16 [平成22年8月10日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
表示画面200は、撮像部164による撮像画像(図5では、パプリカの画像)、オブジェクト認識処理におけるオブジェクト検出窓(図5では、オブジェクト検出窓W0)、商品名等の商品情報(図5では、商品名表示領域NP0に表示された商品情報としての商品名「パプリカ(黄)」)、オブジェクト認識処理終了後に認識結果に相当する商品イラスト画像、商品数量の入力画面等を表示する画像表示領域201と、オブジェクト認識処理結果あるいはコードシンボル認識結果処理結果としての商品名を表示する商品名表示領域202と、を備えている。
図6は、実施形態にかかるチェックアウトシステムの動作の一例を示すフローチャートである。
図6に示すように、POS端末11による商品登録の開始等に応じて処理が開始されると、CPU161は、画像取込部1611として機能し、撮像部164に撮像オン信号を出力して撮像部164による撮像を開始する。そしてCPU161は、商品候補提示部1614として機能し、表示デバイス106の表示画面に初期画面を表示する(ステップS11)。
続いてCPU161は、商品検出部1612として機能し、撮像部164による撮像画像中に所定の輝度値よりも高い商品画像領域が存在するか否か、すなわち、商品が検出されたか否かを判別する(ステップS12)。
ステップS12の判別において、商品が検出された場合には(ステップS12;Yes)、CPU161は、商品検出部1612として機能し、撮像画像に対するオブジェクト認識処理を行う(ステップS13)。
まずCPU161は、画像取込部1611として機能し、撮像部164が撮像してRAM163に保存されたフレーム画像(撮像画像)を取り込む。次いで、CPU161は、商品検出部1612として機能し、画像取込部1611が取り込んだフレーム画像に含まれる商品Gの画像(全部または一部の画像)の検出を行う。続いて、CPU161は、類似度算出部1613として機能し、商品Gの画像から商品Gの特徴量を読み取り、PLUファイルF1に登録された各商品画像の特徴量と比較することで類似度を算出する。
具体的には、実際の商品Gが「パプリカ(黄)」である場合には、商品候補リスト表示領域204には、類似度の値が大きい順に、「パプリカ(黄)」、「レモン」「スターフルーツ」が表示されている。
また、ステップS14の判別において、オブジェクト認識対象の商品の類似度が商品を一意に確定可能なレベルとなっている場合には(ステップS14;Yes)、図5に示したように、オブジェクト検出窓W0を表示し、オブジェクト検出窓W0の商品名表示領域NP0に表示された商品情報としての商品名「パプリカ(黄)」を表示する。
ステップS17の判別において、タッチパネル105の画像表示領域201に対応する領域においてタッチ操作がなされなかった場合には(ステップS17;No)、待機状態となる。なお、この待機状態においても、商品候補リスト表示領域204に表示される商品名をタッチ操作した場合には、当該商品名が選択されたとして処理を行うこととなっている。
図7は、商品登録処理の処理フローチャートである。
まず、CPU161は、商品登録対象の未登録商品の数量入力画面を表示する(ステップS21)。
表示画面200の上部の数量入力領域205には、未登録商品であるニンジンのイラスト画像ILが表示される。さらに数量入力領域205には、0〜9までの10種類の数値を入力するための数字キー入力部206が配置されている。また数量入力領域205の右端部中央部には、入力した数量が表示される数量表示部207と、数量表示部207に表示されている数量で決定するための決定操作ボタン208と、を備えている。
そして、所望の数量が表示されている場合には、決定操作ボタン208をタッチ操作して数量を確定する。すなわち、図8の場合、ニンジンの本数は2本として確定される。なお、数字キー入力部206をタッチ操作することで数量を入力して決定操作ボタン208をタッチ操作して数量を確定する方法の他に、イラスト画像ILを所定回数、タッチ操作することで数量を入力して決定操作ボタン208をタッチ操作して数量を確定することも可能である。
ステップS23の判別において、決定操作ボタン208がタッチ操作されていない場合には(ステップS23;No)、再び処理をステップS22に移行して以下同様の処理を行う。
ステップS23の判別において、決定操作ボタン208がタッチ操作されている場合には、入力が確定したので(ステップS23;Yes)、商品登録を行う(ステップS24)。
ステップS25の判別において、商品登録処理を継続する場合(ステップS25;No)、商品読取装置101のCPU161は、処理を再びステップS21に移行して、以下、同様の処理を行う。
また、ステップS25の判別において、商品登録処理が完了した場合には、CPU161及びCPU61は、処理を終了する。
図9においては、上述した図5と異なり、複数のオブジェクト検出窓W1、W2が表示されており、商品として複数の商品(図9の場合、ピーマンとニンジン)がオブジェクト認識の対象となっている。
そして、図9に示したような状態において、ステップS17の判別において、タッチパネル105の画像表示領域201に対応する領域においてタッチ操作がなされた場合には(ステップS17;Yes)、CPU161は、当該タッチ操作がオブジェクト検出窓W1内又はオブジェクト検出窓W2内か否かを判別する(ステップS18)。
また、上記各実施形態では、POS端末11がPLUファイルF1を備える形態としたが、これに限らず、商品読取装置101がPLUファイルF1を備える形態としてもよいし、POS端末11及び商品読取装置101がアクセス可能な外部装置がPLUファイルF1を備える形態としてもよい。
11 POS端末
21 ドロワ
22 キーボード
23 表示デバイス
24 顧客用表示デバイス
25 通信インターフェース
26 タッチパネル
60 マイクロコンピュータ
61 CPU
63 RAM
64 HDD
65 接続インターフェース
66 プリンタ
101 商品読取装置
160 マイクロコンピュータ
161 CPU
200 表示画面
201 画像表示領域
202 商品名表示領域
203 価格表示領域
204 商品候補リスト表示領域
205 数量入力領域
206 数字キー入力部
207 数量表示部
208 決定操作ボタン
1611 画像取込部
1612 商品検出部
1613 類似度算出部
1614 商品候補提示部
1615 コードシンボル検出部
1616 登録商品通知部
D11 商品IDデータ
D12 商品分類データ
D13 商品名データ
D14 価格データ
D15 商品識別データ
D16 類似度データ
F1 PLUファイル
G 商品
IL イラスト画像
NP0〜NP2 商品名表示領域
W0〜W2 オブジェクト検出窓
Claims (4)
- 入力された画像データに基づいて物体を認識するオブジェクト認識の対象となる商品の画像を表示する表示手段と、
前記表示手段における前記商品の画像の表示エリアに対応づけて、当該商品の選択を確定するための操作領域を動的に配置可能な操作手段と、
を備え、
前記表示手段は、前記商品の画像の表示エリアに対応づけてオブジェクト認識用のオブジェクト検出窓を表示し、前記オブジェクト検出窓と一体的に前記操作領域を配置して表示し、
前記操作手段により前記オブジェクト検出窓を表示可能な画像表示領域内であって、前記オブジェクト検出窓の表示領域内を操作対象とする操作が行われた場合に、対応するオブジェクト検出窓に対応する商品の登録処理に移行し、前記オブジェクト検出窓の表示領域外を操作対象とする操作を行った場合には、表示されている全てのオブジェクト検出窓に対応する商品の登録処理に移行する、
商品データ処理装置。 - 前記商品の画像の表示エリアに対応づけてオブジェクト認識結果としての商品情報を前記表示手段に表示させる表示制御手段、
を備えた請求項1記載の商品データ処理装置。 - 表示手段及び操作手段を有し、商品データ処理装置において実行される商品データ処理方法であって、
入力された画像データに基づいて物体を認識するオブジェクト認識の対象となる商品の画像を前記表示手段に表示し、前記商品の画像の表示エリアに対応づけてオブジェクト認識用のオブジェクト検出窓を表示し、前記オブジェクト検出窓と一体的に前記操作領域を配置して表示する表示過程と、
前記操作手段により前記オブジェクト検出窓を表示可能な画像表示領域内であって、前記オブジェクト検出窓の表示領域内を操作対象とする操作が行われた場合に、対応するオブジェクト検出窓に対応する商品の登録処理に移行し、前記オブジェクト検出窓の表示領域外を操作対象とする操作を行った場合には、表示されている全てのオブジェクト検出窓に対応する商品の登録処理に移行する移行過程と、
を備えた商品データ処理方法。 - 表示手段及び操作手段を有する商品データ処理装置をコンピュータにより制御するための制御プログラムであって、
前記コンピュータを
入力された画像データに基づいて物体を認識するオブジェクト認識の対象となる商品の画像を前記表示手段に表示し、前記商品の画像の表示エリアに対応づけてオブジェクト認識用のオブジェクト検出窓を表示し、前記オブジェクト検出窓と一体的に前記操作領域を配置して表示する表示手段と、
前記操作手段において、前記オブジェクト検出窓を表示可能な画像表示領域内であって、前記オブジェクト検出窓の表示領域内を操作対象とする操作が行われると、対応するオブジェクト検出窓に対応する商品の登録処理に移行し、前記操作手段において前記オブジェクト検出窓の表示領域外を操作対象とする操作が行われた場合には、表示されている全てのオブジェクト検出窓に対応する商品の登録処理に移行する移行手段と、
して機能させる制御プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011229943A JP5450560B2 (ja) | 2011-10-19 | 2011-10-19 | 商品データ処理装置、商品データ処理方法及び制御プログラム |
US13/655,600 US20130103509A1 (en) | 2011-10-19 | 2012-10-19 | Commodity data processing apparatus and commodity data processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011229943A JP5450560B2 (ja) | 2011-10-19 | 2011-10-19 | 商品データ処理装置、商品データ処理方法及び制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013089083A JP2013089083A (ja) | 2013-05-13 |
JP5450560B2 true JP5450560B2 (ja) | 2014-03-26 |
Family
ID=48136746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011229943A Active JP5450560B2 (ja) | 2011-10-19 | 2011-10-19 | 商品データ処理装置、商品データ処理方法及び制御プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20130103509A1 (ja) |
JP (1) | JP5450560B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5826152B2 (ja) * | 2012-11-20 | 2015-12-02 | 東芝テック株式会社 | 商品認識装置及び商品認識プログラム |
JP5927147B2 (ja) * | 2013-07-12 | 2016-05-25 | 東芝テック株式会社 | 商品認識装置及び商品認識プログラム |
JP5865316B2 (ja) * | 2013-08-30 | 2016-02-17 | 東芝テック株式会社 | 商品登録装置およびプログラム |
JP6138060B2 (ja) * | 2014-01-08 | 2017-05-31 | 東芝テック株式会社 | 情報処理装置及びプログラム |
US20170178107A1 (en) * | 2014-03-27 | 2017-06-22 | Nec Corporation | Information processing apparatus, information processing method, recording medium and pos terminal apparatus |
JP2016141040A (ja) * | 2015-02-02 | 2016-08-08 | ファナック株式会社 | 射出成形機の設定入力手段 |
US10380569B2 (en) | 2015-08-11 | 2019-08-13 | Toshiba Tec Corporation | Systems, methods, and apparatuses for displaying purchase transaction elements based on a determined hierarchy |
JP6745646B2 (ja) * | 2016-05-31 | 2020-08-26 | 東芝テック株式会社 | 認識システム、情報処理装置、及びプログラム |
JP6283806B2 (ja) * | 2016-06-01 | 2018-02-28 | サインポスト株式会社 | 情報処理システム |
JP6851193B2 (ja) | 2016-12-20 | 2021-03-31 | 東芝テック株式会社 | 情報処理装置及びプログラム |
JP6306776B2 (ja) * | 2017-05-01 | 2018-04-04 | 東芝テック株式会社 | 情報処理装置及びプログラム |
WO2019014813A1 (zh) * | 2017-07-17 | 2019-01-24 | 深圳和而泰智能控制股份有限公司 | 一种定量检测人脸肤质参量的方法、装置和智能终端 |
JP2019153104A (ja) * | 2018-03-05 | 2019-09-12 | 東芝テック株式会社 | 販売データ処理装置、情報処理装置およびプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3657481B2 (ja) * | 1999-11-02 | 2005-06-08 | グローリー工業株式会社 | 非接触型データ記憶体のデータ処理装置、及び食堂精算用非接触idタグ読出装置 |
US7845554B2 (en) * | 2000-10-30 | 2010-12-07 | Fujitsu Frontech North America, Inc. | Self-checkout method and apparatus |
JP2004127013A (ja) * | 2002-10-03 | 2004-04-22 | Matsushita Electric Ind Co Ltd | 販売時点情報管理装置 |
US7516888B1 (en) * | 2004-06-21 | 2009-04-14 | Stoplift, Inc. | Method and apparatus for auditing transaction activity in retail and other environments using visual recognition |
JP5198958B2 (ja) * | 2008-07-07 | 2013-05-15 | 山本工業株式会社 | 飲食店システム |
US8315673B2 (en) * | 2010-01-12 | 2012-11-20 | Qualcomm Incorporated | Using a display to select a target object for communication |
-
2011
- 2011-10-19 JP JP2011229943A patent/JP5450560B2/ja active Active
-
2012
- 2012-10-19 US US13/655,600 patent/US20130103509A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20130103509A1 (en) | 2013-04-25 |
JP2013089083A (ja) | 2013-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5450560B2 (ja) | 商品データ処理装置、商品データ処理方法及び制御プログラム | |
JP5194160B1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP5551143B2 (ja) | 店舗システムおよびプログラム | |
JP5656796B2 (ja) | 商品データ処理装置、商品データ処理方法及び制御プログラム | |
JP5579202B2 (ja) | 情報処理装置、店舗システム及びプログラム | |
JP5485954B2 (ja) | 店舗システム及びプログラム | |
JP5612645B2 (ja) | 情報処理装置及びプログラム | |
JP5551196B2 (ja) | 情報処理装置及びプログラム | |
JP5647637B2 (ja) | 情報処理装置、店舗システム及びプログラム | |
JP5518918B2 (ja) | 情報処理装置、店舗システム及びプログラム | |
JP5620416B2 (ja) | 情報処理装置及びプログラム | |
JP5551140B2 (ja) | 情報処理装置及びプログラム | |
US20150023548A1 (en) | Information processing device and program | |
JP5437404B2 (ja) | 情報処理装置、店舗システム及びプログラム | |
JP5770899B2 (ja) | 情報処理装置及びプログラム | |
JP6376955B2 (ja) | 情報処理装置、販売データ処理装置およびプログラム | |
JP5567606B2 (ja) | 情報処理装置及びプログラム | |
JP2013156940A (ja) | 情報処理装置、店舗システム及びプログラム | |
JP5451787B2 (ja) | 情報処理装置、店舗システム及びプログラム | |
JP5529982B2 (ja) | 情報処理装置 | |
JP5802803B2 (ja) | 情報処理装置及びプログラム | |
JP2013156934A (ja) | 情報処理装置、店舗システム及びプログラム | |
JP5820011B2 (ja) | 情報処理装置、情報処理システムおよび情報処理方法 | |
JP6272810B2 (ja) | 情報処理装置およびプログラム | |
JP5698856B2 (ja) | 情報処理装置、情報処理システムおよび情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131001 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5450560 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |