JP6799975B2 - 商品登録装置及び商品登録プログラム - Google Patents

商品登録装置及び商品登録プログラム Download PDF

Info

Publication number
JP6799975B2
JP6799975B2 JP2016180429A JP2016180429A JP6799975B2 JP 6799975 B2 JP6799975 B2 JP 6799975B2 JP 2016180429 A JP2016180429 A JP 2016180429A JP 2016180429 A JP2016180429 A JP 2016180429A JP 6799975 B2 JP6799975 B2 JP 6799975B2
Authority
JP
Japan
Prior art keywords
product
cpu
image
unit
identification code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016180429A
Other languages
English (en)
Other versions
JP2018045497A (ja
Inventor
唯志 竹野
唯志 竹野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2016180429A priority Critical patent/JP6799975B2/ja
Priority to US15/672,962 priority patent/US10332362B2/en
Priority to CN201710803888.6A priority patent/CN107833403B/zh
Priority to EP17190478.2A priority patent/EP3296972A1/en
Publication of JP2018045497A publication Critical patent/JP2018045497A/ja
Priority to US16/411,462 priority patent/US10867485B2/en
Priority to JP2020194234A priority patent/JP6987953B2/ja
Application granted granted Critical
Publication of JP6799975B2 publication Critical patent/JP6799975B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0009—Details of the software in the checkout register, electronic cash register [ECR] or point of sale terminal [POS]
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0018—Constructional details, e.g. of drawer, printing means, input means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Image Analysis (AREA)

Description

本発明の実施形態は、商品登録装置及び商品登録プログラムに関する。
小売店などにおいて、販売情報を管理するＰＯＳ端末が一般的に用いられている。また、ＰＯＳ端末に会計が必要な商品を登録する商品登録装置も一般的に実用化されている。商品登録装置は、例えば、商品に付与された商品を識別する為の商品識別コードを商品から読み取ることにより、商品を認識する。また、商品の画像と、予め商品毎の画像に応じた特徴量を有する商品認識辞書とに基づいて、画像に写った商品を認識する自動確定を行う商品登録装置が一般的に実用化されている。
特許５８２６１５２号公報
上記の自動確定は、画像から算出された特徴量と商品認識辞書の特徴量との類似度が最も高い商品を自動的に特定する方法である為、誤認識が生じる可能性がある。商品には、商品識別コードが付与されたものとされていないものとがある。誤認識を防ぐ為に、商品識別コードが付与された商品は、商品識別コードの読み取りによって認識されることが望ましい。
そこで、本発明の目的は、高い精度で商品の認識及び登録を行うことができる商品登録装置及び商品登録プログラムを提供することである。
一実施形態に係る商品登録装置は、商品が写った画像を取得する画像取得部と、商品毎に特徴量を有する商品認識辞書を記憶するメモリと、前記画像から特徴量を算出し、算出した特徴量と前記商品認識辞書の商品毎の特徴量との類似度に応じて商品を認識する自動確定部と、前記画像の商品が、商品を識別する為の商品識別コードが付与された第１系統商品であるか、前記商品識別コードが付与されていない第２系統商品であるかを前記画像に基づいて識別する系統識別部と、前記画像から前記商品識別コードを取得し、取得した前記商品識別コードに基づいて商品を認識する商品認識部と、商品が前記第２系統商品であると識別された場合、前記自動確定部により商品を認識し、商品が前記第１系統商品であると識別された場合、前記自動確定部による商品の認識を保留し、保留中に前記商品識別コードが取得された場合、前記商品認識部による商品を認識するように前記商品認識部及び前記自動確定部を制御する制御部と、商品の認識結果を登録する商品登録部と、を具備する。
図１は、第１の実施形態に係る商品登録装置及びＰＯＳ端末の外観の例について説明する為の図である。 図２は、第１の実施形態に係る商品登録装置及びＰＯＳ端末の制御系の構成例について説明する為の図である。 図３は、第１の実施形態に係る商品登録装置及びＰＯＳ端末の動作の例について説明する為の図である。 図４は、第１の実施形態に係る商品登録装置の商品登録処理の例について説明する為の図である。 図５は、第２の実施形態に係る商品登録装置の商品登録処理の例について説明する為の図である。
以下、一実施形態に係る商品登録装置及び商品登録プログラムについて図面を参照して説明する。
（第１の実施形態）
まず、第１の実施形態に係る商品登録装置１について説明する。図１及び図２は、第１の実施形態に係る商品登録装置１及びＰＯＳ（point of sales）端末２の構成例を示す説明図である。図１は、商品登録装置１及びＰＯＳ端末２の外観の例を示す。図２は、商品登録装置１及びＰＯＳ端末２の制御系の構成例を示す。商品登録装置１及びＰＯＳ端末２は、例えば、小売店などの店舗における会計などに用いられる。商品登録装置１とＰＯＳ端末２とは、図示されないケーブル、または無線によって接続される。
商品登録装置１は、商品から画像を取得し、取得した画像に基づいて商品を認識し、認識した商品を会計が必要な商品としてＰＯＳ端末２に登録する装置である。商品登録装置１は、例えば会計カウンタ３の上に配置される。商品登録装置１は、商品を識別する為の商品識別コードを取得することにより、商品を認識する。商品識別コードは、例えば、バーコードまたは二次元コードなどの図柄に変換されて商品に付与されている。例えば、商品登録装置１は、商品に付与された商品識別コードを読み取ることにより、商品を認識する。また、例えば、商品登録装置１は、商品の外観の画像を取得し、画像から生成された商品毎の特徴量と商品識別コードとが対応付けられた辞書（商品認識辞書）を参照し、取得した画像に写った商品に対応する商品識別コードを推定することにより、商品を認識する。
商品登録装置１は、商品識別コードと、商品名と、金額とが対応付けられたテーブル（商品テーブル）を参照し、認識した商品の商品識別コード、商品名、及び金額をＰＯＳ端末２に供給する。これにより、商品登録装置１は、ＰＯＳ端末２の会計が必要な商品の一覧（会計商品一覧）に商品を登録する商品登録処理を行う。
図１及び図２に示されるように、商品登録装置１は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、不揮発性メモリ１４、接続Ｉ／Ｆ１５、デバイスＩ／Ｆ１６、操作部１７、第１の表示部１８、第２の表示部１９、撮像部２０、及びハウジング２１を備える。
ＣＰＵ１１は、演算処理を実行する演算素子（たとえば、プロセッサ）である。ＣＰＵ１１は、ＲＯＭ１２に記憶されているプログラムなどのデータに基づいて種々の処理を行う。ＣＰＵ１１は、ＲＯＭ１２に格納されているプログラムを実行することにより、種々の動作を実行可能な制御部として機能する。
ＲＯＭ１２は、読み出し専用の不揮発性メモリである。ＲＯＭ１２は、プログラム及びプログラムで用いられるデータなどを記憶する。
ＲＡＭ１３は、ワーキングメモリとして機能する揮発性のメモリである。ＲＡＭ１３は、ＣＰＵ１１の処理中のデータなどを一時的に格納する。また、ＲＡＭ１３は、ＣＰＵ１１が実行するプログラムを一時的に格納する。
不揮発性メモリ１４は、種々の情報を記憶可能な記憶媒体である。不揮発性メモリ１４は、プログラム及びプログラムで用いられるデータなどを記憶する。不揮発性メモリ１４は、例えば、ソリッドステイトドライブ（ＳＳＤ）、ハードディスクドライブ（ＨＤＤ）、または他の記憶装置である。なお、不揮発性メモリ１４の代わりに、メモリカードなどの記憶媒体を挿入可能なカードスロットなどのメモリＩ／Ｆが設けられていてもよい。例えば、不揮発性メモリ１４は、商品認識辞書、及び商品テーブルなどを記憶する。また、例えば、不揮発性メモリ１４は、商品認識辞書及び商品テーブルを用いて商品を認識し、認識した商品をＰＯＳ端末２の会計商品一覧に登録する為のプログラム（商品登録プログラム）を格納する。また、不揮発性メモリ１４は、商品登録プログラムで用いられる系統識別辞書を記憶する。系統識別辞書については後述する。
接続Ｉ／Ｆ１５は、他の機器と通信する為のインタフェースである。接続Ｉ／Ｆ１５は、ＰＯＳ端末２との通信に用いられる。接続Ｉ／Ｆ１５は、ＵＳＢ規格またはＲＳ−２３２Ｃ規格などの何らかの通信規格に準じた構成の接続端子である。なお、接続Ｉ／Ｆ１５は、ＰＯＳ端末２が接続可能なケーブルであってもよい。また、接続Ｉ／Ｆ１５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ−ｆｉ（登録商標）などの規格に応じてＰＯＳ端末２と無線通信を行うものであってもよい。
デバイスＩ／Ｆ１６は、種々の機能ブロックとＣＰＵ１１とが通信する為のインタフェースである。例えば、デバイスＩ／Ｆ１６は、操作部１７、第１の表示部１８、第２の表示部１９、及び撮像部２０などとの通信に用いられる。デバイスＩ／Ｆ１６は、ＵＳＢ規格またはＲＳ−２３２Ｃ規格などの何らかの通信規格に準じた構成の接続端子である。
操作部１７は、操作部材の操作に基づいて、操作信号を生成する。操作部材は、例えば、タッチセンサ、テンキー、またはキーボードなどである。タッチセンサは、例えば、抵抗膜式タッチセンサ、または静電容量式タッチセンサ等である。タッチセンサは、ある領域内において指定された位置を示す情報を取得する。タッチセンサは、上記の第１の表示部１８と一体にタッチパネルとして構成されることにより、第１の表示部１８に表示された画面上のタッチされた位置を示す信号をＣＰＵ１１に入力する。
第１の表示部１８は、ＣＰＵ１１、または図示されないグラフィックコントローラなどの表示制御部から入力される映像信号に応じて画面を表示する表示装置である。第１の表示部１８には、商品登録装置１のオペレータに確認させる為の画面が表示される。
第２の表示部１９は、ＣＰＵ１１、または図示されないグラフィックコントローラなどの表示制御部から入力される映像信号に応じて画面を表示する表示装置である。第２の表示部１９には、利用者（客）に確認させる為の画面が表示される。
撮像部２０は、商品の画像を取得する画像取得部である。撮像部２０は、撮像素子と、撮像素子に被写体像を結像させるレンズと、撮像素子を駆動する駆動回路とを備える。撮像部２０は、駆動回路によって撮像素子に蓄積された電荷を読み出すことによって、レンズによって結像された被写体像に応じた画像を取得する。撮像部２０は、レンズの画角内に商品が存在する場合に商品の画像を取得することができる。撮像部２０は、所定の周期で駆動回路によって撮像素子から画像を読み出すことにより、時間的に連続した複数の画像（フレーム）を取得する。撮像部２０は、取得した画像をＣＰＵ１１に逐次供給する。
ハウジング２１は、商品登録装置１のＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、不揮発性メモリ１４、接続Ｉ／Ｆ１５、デバイスＩ／Ｆ１６、操作部１７、第１の表示部１８、第２の表示部１９、及び撮像部２０を収容または支持する筐体である。ハウジング２１は、例えば、会計カウンタ３の上に配置される。ハウジング２１は、操作部１７、第１の表示部１８、及び撮像部２０をオペレータ側に向けて支持する。また、ハウジング２１は、第２の表示部１９を客側に向けて支持する。
ＰＯＳ端末２は、商品登録装置１により会計商品一覧に登録された商品の合計金額と、利用者（客）から受け取った預り金額と、に基づいて決済処理を実行する。ＰＯＳ端末２は、例えばレジカウンタ４の上に配置されたドロワ５の上に配置される。なお、ドロワ５は、自動釣銭機に置き換えることが可能である。ドロワ５は、ＰＯＳ端末２の制御に応じて開閉する引き出し式の金庫である。ＰＯＳ端末２は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、不揮発性メモリ３４、接続Ｉ／Ｆ３５、デバイスＩ／Ｆ３６、操作部３７、第３の表示部３８、第４の表示部３９、プリンタ４０、及び通信デバイス４１を備える。
ＣＰＵ３１は、演算処理を実行する演算素子（たとえば、プロセッサ）である。ＣＰＵ３１は、ＲＯＭ３２に記憶されているプログラムなどのデータに基づいて種々の処理を行う。ＣＰＵ３１は、ＲＯＭ３２に格納されているプログラムを実行することにより、種々の動作を実行可能な制御部として機能する。
ＲＯＭ３２は、読み出し専用の不揮発性メモリである。ＲＯＭ３２は、プログラム及びプログラムで用いられるデータなどを記憶する。
ＲＡＭ３３は、ワーキングメモリとして機能する揮発性のメモリである。ＲＡＭ３３は、ＣＰＵ３１の処理中のデータなどを一時的に格納する。また、ＲＡＭ３３は、ＣＰＵ３１が実行するプログラムを一時的に格納する。ＲＡＭ３３は、例えば、上記の会計商品一覧を記憶する。
不揮発性メモリ３４は、種々の情報を記憶可能な記憶媒体である。不揮発性メモリ３４は、プログラム及びプログラムで用いられるデータなどを記憶する。不揮発性メモリ３４は、例えば、ソリッドステイトドライブ（ＳＳＤ）、ハードディスクドライブ（ＨＤＤ）、または他の記憶装置である。なお、不揮発性メモリ３４の代わりに、メモリカードなどの記憶媒体を挿入可能なカードスロットなどのメモリＩ／Ｆが設けられていてもよい。
接続Ｉ／Ｆ３５は、他の機器と通信する為のインタフェースである。接続Ｉ／Ｆ３５は、商品登録装置１との通信に用いられる。接続Ｉ／Ｆ３５は、ＵＳＢ規格またはＲＳ−２３２Ｃ規格などの何らかの通信規格に準じた構成の接続端子である。なお、接続Ｉ／Ｆ３５は、商品登録装置１が接続可能なケーブルであってもよい。また、接続Ｉ／Ｆ３５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ−ｆｉ（登録商標）などの規格に応じて商品登録装置１と無線通信を行うものであってもよい。
デバイスＩ／Ｆ３６は、種々の機能ブロックとＣＰＵ３１とが通信する為のインタフェースである。例えば、デバイスＩ／Ｆ３６は、操作部３７、第３の表示部３８、第４の表示部３９、及びプリンタ４０などとの通信に用いられる。デバイスＩ／Ｆ３６は、ＵＳＢ規格またはＲＳ−２３２Ｃ規格などの何らかの通信規格に準じた構成の接続端子である。
操作部３７は、操作部材の操作に基づいて、操作信号を生成する。操作部材は、例えば、タッチセンサ、テンキー、またはキーボードなどである。タッチセンサは、例えば、抵抗膜式タッチセンサ、または静電容量式タッチセンサ等である。タッチセンサは、ある領域内において指定された位置を示す情報を取得する。タッチセンサは、上記の第３の表示部３８と一体にタッチパネルとして構成されることにより、第３の表示部３８に表示された画面上のタッチされた位置を示す信号をＣＰＵ３１に入力する。
第３の表示部３８は、ＣＰＵ３１、または図示されないグラフィックコントローラなどの表示制御部から入力される映像信号に応じて画面を表示する表示装置である。第３の表示部３８には、ＰＯＳ端末２のオペレータに確認させる為の画面が表示される。
第４の表示部３９は、ＣＰＵ３１、または図示されないグラフィックコントローラなどの表示制御部から入力される映像信号に応じて画面を表示する表示装置である。第４の表示部３９には、利用者（客）に確認させる為の画面が表示される。
プリンタ４０は、ＰＯＳ端末２による決済処理の結果を紙などの媒体に印刷して出力する装置である。プリンタ４０は、ＣＰＵ３１の制御に基づいて決済処理の結果を媒体に印刷する。
通信デバイス４１は、他の電子機器と通信を行う為の回路である。例えば、通信デバイス４１は、ＰＯＳ端末２による決済処理の結果を集計するストアコンピュータ６と通信を行う。通信デバイス４１は、例えば、ＬＡＮ、ＵＳＢ、Ｗｉ−ｆｉ、またはＢｌｕｅｔｏｏｔｈなどの通信規格に準じて通信を行う構成を備える。
（ＰＯＳ端末２における決済処理について）
ＰＯＳ端末２のＣＰＵ３１は、商品登録装置１から会計が必要な商品の商品識別コード、商品名、及び金額を受け取る度に、ＲＡＭ３３の会計商品一覧に登録する。また、ＣＰＵ３１は、会計商品一覧の商品の合計金額を算出する。ＣＰＵ３１は、会計商品一覧に登録された商品の商品名、各商品の金額、及び合計金額を第３の表示部３８及び第４の表示部３９に表示させる。また、ＣＰＵ３１は、操作部３７から供給された操作信号に応じて、利用者からＰＯＳ端末２のオペレータが受け取った金額である預り金額を認識する。ＣＰＵ３１は、預り金額と合計金額とに基づいて決済処理を行う。ＣＰＵ３１は、決済処理が実行された場合、決済処理の結果をプリンタ４０により印刷させる。また、ＣＰＵ３１は、決済処理が実行された場合、ドロワ５を開くようにドロワ５を制御する。またさらに、ＣＰＵ３１は、決済処理の結果を通信デバイス４１を介してストアコンピュータ６に送信する。
（商品登録装置１における商品登録処理について）
商品登録装置１のＣＰＵ１１は、商品登録プログラムを実行することにより、商品の認識と登録とを行う。ＣＰＵ１１は、認識した商品の商品識別コード、商品名、及び金額をＰＯＳ端末２に送信することにより商品を登録する。ＣＰＵ１１は、第１の商品認識方法、第２の商品認識方法、または第３の商品認識方法のいずれかによって商品を認識する。
第１の商品認識方法により商品を認識する場合、ＣＰＵ１１は、撮像部２０により撮像された商品識別コードの画像をデコードすることにより商品識別コードを取得し、取得した商品識別コードに基づいて商品を認識する。即ち、ＣＰＵ１１は、画像から商品識別コードを取得し、取得した商品識別コードに基づいて商品を認識する商品認識部として機能する。
第２の商品認識方法により商品を認識する場合、ＣＰＵ１１は、撮像部２０により撮像された商品の外観の画像から特徴量を算出し、算出した特徴量に基づいて商品認識辞書から商品候補を抽出する。例えば、ＣＰＵ１１は、商品認識辞書内の商品毎の特徴量と、画像から抽出した特徴量との類似度を算出し、算出した類似度が高い順に商品候補を抽出する。例えば、ＣＰＵ１１は、算出した類似度が高い順に所定個数の商品候補を抽出する。また、例えば、ＣＰＵ１１は、算出した類似度が所定の値を超えた商品を商品候補として抽出する。ＣＰＵ１１は、抽出した商品候補を選択可能な状態で第１の表示部１８に表示し、表示させた画面上での操作における候補を選択する操作に応じて商品を認識する。
第３の商品認識方法により商品を認識する場合、ＣＰＵ１１は、撮像部２０により撮像された商品の外観の画像から特徴量を算出し、算出した特徴量に基づいて商品認識辞書から１つの商品を特定及び認識する。例えば、ＣＰＵ１１は、商品認識辞書内の商品毎の特徴量と、画像から抽出した特徴量との類似度を算出し、最も高い類似度が算出された商品を認識する。即ち、ＣＰＵ１１は、商品識別コードの読み取り及び商品候補の選択の操作などが行われない場合であっても、画像から特徴量を算出し、算出した特徴量と商品認識辞書の商品毎の特徴量との類似度に応じて自動的に商品を認識する自動確定部として機能する。
商品登録装置１のＣＰＵ１１は、登録する商品の特徴に応じて、商品の認識に用いる方法を上記の第１の商品認識方法と、第２の商品認識方法と、第３の商品認識方法とで切り替える。ＣＰＵ１１は、商品識別コードを取得することができた場合、第１の商品認識方法により商品を認識する。また、ＣＰＵ１１は、商品識別コードを取得することができない場合、第２の商品認識方法と、第３の商品認識方法とのいずれかにより商品を認識する。
商品登録装置１により処理する商品には、例えば、商品識別コードが付与されている商品（第１系統商品）と、商品識別コード（第２系統商品）が付与されている商品とがある。第１系統商品は、例えばパッケージを有する人工物である。第２系統商品は、例えばパッケージのない青果などである。
第２系統商品は、商品識別コードが付与されていない為、第１の商品認識方法による認識が不可能である。この為、ＣＰＵ１１は、第２の商品認識方法または第３の商品認識方法によって第２系統商品の認識を行う。
これに対し、第１系統商品は、商品識別コードが付与されている為、第１の商品認識方法、第２の商品認識方法、及び第３の商品認識方法のいずれでも認識が可能である。しかしながら、第３の商品認識方法は、画像から算出された特徴量と商品認識辞書の特徴量との類似度が最も高い商品を自動的に特定する方法である為、誤認識が生じる可能性がある。ＣＰＵ１１は、誤認識を防ぐ為に第１の商品認識方法または第２の商品認識方法によって第１系統商品の認識を行うことが望ましい。
そこで、商品登録装置１のＣＰＵ１１は、商品が第１系統商品であるか第２系統商品であるかを識別し、商品が第１系統商品である場合、第３の商品認識方法を行わず第１の商品認識方法または第２の商品認識方法によって商品を認識する。この為に、ＣＰＵ１１は、商品の外観の画像から特徴量を算出し、算出した特徴量と上記の系統識別辞書とに基づいて、画像中の商品が第１系統商品であるか第２系統商品であるかを識別する系統識別を行う。即ち、ＣＰＵ１１は、画像の商品が、商品識別コードが付与された第１系統商品であるか、商品識別コードが付与されていない第２系統商品であるかを画像に基づいて識別する系統識別部として機能する。
系統識別に用いる特徴量は、例えば多次元ベクトルである。具体的には、ＣＰＵ１１は、商品の外観の画像からＨＯＧ特徴量を算出する。
第１系統商品は、人工物である為、例えば直線が多いなどの特徴がある。第２系統商品は、青果などである為、例えば直線が少ないなどの特徴がある。この為、第１系統商品の複数の画像から算出された特徴量の群と、第２系統商品の複数の画像から算出された特徴量の群とが多次元空間上で偏る。
系統識別辞書は、上記の第１系統商品の複数の画像から算出された特徴量の群と、第２系統商品の複数の画像から算出された特徴量の群とを第１系統商品側と第２系統商品側とに分離する多次元空間上の超平面（識別面）を有する。この識別面は、第１系統商品の複数の画像から算出された特徴量の群と、第２系統商品の複数の画像から算出された特徴量の群とに基づいて、例えばサポートベクトルマシンなどの学習モデルによって予め設定されたものである。
ＣＰＵ１１は、商品の外観の画像から生成した多次元ベクトルの特徴量を上記の多次元空間上にプロットした場合に、識別面のどちら側にプロットした点が存在するかに応じて商品が第１系統商品であるか第２系統商品であるかを推定する。例えば、ＣＰＵ１１は、プロットした点が識別面の第１系統商品側に存在する場合、商品が第１系統商品であると推定する。また、例えば、ＣＰＵ１１は、プロットした点が識別面の第２系統商品側に存在する場合、商品が第２系統商品であると推定する。
上記のように、ＣＰＵ１１は、商品が写った１つの画像を撮像部２０から取得した場合、画像から商品識別コードを取得することができるか否か判断する。ＣＰＵ１１は、商品識別コードを取得することができない場合、商品の外観的特徴から商品が第１系統商品であるか第２系統商品であるかを推定する。ＣＰＵ１１は、商品が第１系統商品であると推定された場合、第３の商品認識方法を行わず、第２の商品認識方法により商品の認識を行う。
図３は、商品登録装置１及びＰＯＳ端末２の動作の例を示す。商品登録装置１及びＰＯＳ端末２は、オペレータにより撮像部２０の撮像範囲に翳された商品の登録、及び会計を行う。まず、商品登録装置１のＣＰＵ１１は、撮像部２０により取得した画像に基づいて商品登録処理を行う（ＡＣＴ１１）。ＰＯＳ端末２のＣＰＵ３１は、ＡＣＴ１１によって新たに会計商品一覧に商品が登録される毎に、合計金額を算出する。
ＣＰＵ１１は、商品登録処理を完了したか否か判断する（ＡＣＴ１２）。例えば、ＣＰＵ１１は、オペレータによってＰＯＳ端末２に対して決済処理を実行する操作が行われた場合、商品登録処理を完了したと判断する。決済処理を実行する操作は、例えば預り金額の入力と決済を実行するボタンの操作、または現金ではない他の何らかの決済方法を選択する操作などである。ＣＰＵ１１は、商品登録処理が完了されるまでＡＣＴ１１の処理を繰り返し実行する。
ＰＯＳ端末のＣＰＵ３１は、商品登録処理を完了したと判断した場合、決済処理を実行し（ＡＣＴ１３）、処理を終了する。例えば、ＣＰＵ３１は、預り金額から会計商品一覧に登録された商品の合計金額を減算して釣り銭額を算出し、第３の表示部３８及び第４の表示部３９などに表示するとともに、ドロワ５を開く。
図４は、図３のＡＣＴ１１の商品登録処理の例を示す。商品登録装置１のＣＰＵ１１は、例えばＲＡＭ１３などに撮像部２０により撮像された画像であって物体が検出された画像（フレーム）の数をカウントするカウンタｎと、商品が第２系統商品であると識別された画像（フレーム）の数をカウントするカウンタｍと、を記憶する。なお、ＣＰＵ１１は、不揮発性メモリ１４にカウンタｎ及びカウンタｍを記憶する構成であってもよい。
ＣＰＵ１１は、商品登録処理を実行する場合、まずカウンタｎ及びカウンタｍの値をリセットして「０」にする（ＡＣＴ２１）。
ＣＰＵ１１は、撮像部２０により撮像された１フレーム分の画像を取得する（ＡＣＴ２２）。
ＣＰＵ１１は、取得した画像に対して画像解析によって画像中の物体を検出する処理を行う。ＣＰＵ１１は、物体が検出されたか否か判断する（ＡＣＴ２３）。物体が検出されない場合（ＡＣＴ２３、ＮＯ）、ＣＰＵ１１は、ＡＣＴ２１に戻る。
ＣＰＵ１１は、物体が検出された場合（ＡＣＴ２３、ＹＥＳ）、取得した画像から商品識別コードを検出する。ＣＰＵ１１は、商品識別コードを画像から検出し且つデコードが成功したか否か判断する（ＡＣＴ２４）。
ＣＰＵ１１は、商品識別コードを画像から検出し且つデコードが成功したと判断した場合（ＡＣＴ２４、ＹＥＳ）、デコードした商品識別コードに対応付けられた商品名及び金額を商品認識辞書から抽出し、商品識別コード、商品名、及び金額をＰＯＳ端末２に登録する商品登録を行い（ＡＣＴ２５）、処理を終了する。即ち、ＣＰＵ１１は、商品識別コードを画像から検出し且つデコードが成功したと判断した場合、第１の商品認識方法により商品を認識し、ＰＯＳ端末２に登録する。
また、ＡＣＴ２４において、商品識別コードを画像から検出できなかった、またはデコードが失敗したと判断した場合（ＡＣＴ２４、ＮＯ）、ＣＰＵ１１は、カウンタｎの値をカウントアップ（例えば＋１）する（ＡＣＴ２６）。
ＣＰＵ１１は、カウンタｎの値が予め設定された値である「Ｎ」未満であるか否か判断する（ＡＣＴ２７）。ＣＰＵ１１は、カウンタｎの値が予め設定された値である「Ｎ」未満ではない、即ち、カウンタｎの値が「Ｎ」に達したと判断した場合（ＡＣＴ２７、ＮＯ）、後述するＡＣＴ３１に移行する。
ＣＰＵ１１は、カウンタｎの値が予め設定された値である「Ｎ」未満であると判断した場合（ＡＣＴ２７、ＹＥＳ）、商品の系統を識別する系統識別を行う（ＡＣＴ２８）。
ＣＰＵ１１は、系統識別の結果を参照し、商品が第２系統商品であるか否か判断する。（ＡＣＴ２９）。ＣＰＵ１１は、商品が第２系統商品ではないと判断した場合（ＡＣＴ２９、ＮＯ）、後述するＡＣＴ３１に移行する。
ＣＰＵ１１は、商品が第２系統商品であると判断した場合（ＡＣＴ２９、ＹＥＳ）、ＣＰＵ１１は、カウンタｍの値をカウントアップ（例えば＋１）する（ＡＣＴ３０）。
次に、ＣＰＵ１１は、商品候補の抽出を行う（ＡＣＴ３１）。例えば、ＣＰＵ１１は、撮像部２０により撮像された商品の画像から特徴量を算出し、算出した特徴量と商品認識辞書の中の商品毎の特徴量との類似度を算出し、算出した類似度に応じて商品候補を抽出する。
ＣＰＵ１１は、ＡＣＴ３１において商品候補が抽出された否か判断する（ＡＣＴ３２）。ＣＰＵ１１は、商品候補が抽出されていないと判断した場合（ＡＣＴ３２、ＮＯ）、ＡＣＴ２２の処理に移行し、次のフレームの画像を取得する。
ＣＰＵ１１は、商品候補が抽出されたと判断した場合（ＡＣＴ３２、ＹＥＳ）、抽出した商品候補を選択可能な状態で第１の表示部１８に表示する（ＡＣＴ３３）。例えば、ＣＰＵ１１は、抽出した商品候補の商品名を選択可能な状態で第１の表示部１８に表示する。また、例えば、商品認識辞書に商品毎の画像が記憶されていてもよい。この場合、ＣＰＵ１１は、抽出した商品候補の画像を選択可能な状態で第１の表示部１８に表示してもよい。
ＣＰＵ１１は、ＡＣＴ３３で表示された商品候補の画面において、いずれかの商品候補が選択されたか否か判断する（ＡＣＴ３４）。
ＣＰＵ１１は、商品候補の画面において商品候補が選択されたと判断した場合（ＡＣＴ３４、ＹＥＳ）、ＡＣＴ２５に移行し、選択された商品候補の商品識別コード、商品名、及び金額をＰＯＳ端末２に登録する。
ＣＰＵ１１は、商品候補の画面において商品候補が選択されなかったと判断した場合（ＡＣＴ３４、ＮＯ）、カウンタｍの値が予め設定された値である「Ｍ」以下であるか否か判断する（ＡＣＴ３５）。ＣＰＵ１１は、カウンタｍの値が「Ｍ」を超えた場合、商品が第２系統商品（即ち青果）である可能性が高いと判断する。また、ＣＰＵ１１は、カウンタｍの値が「Ｍ」以下である場合、商品が第２系統商品である可能性が十分ではないと判断する。
ＣＰＵ１１は、カウンタｍの値が予め設定された値である「Ｍ」以下であると判断した場合（ＡＣＴ３５、ＹＥＳ）、ＡＣＴ２２の処理に移行し、次のフレームの画像を取得する。即ち、ＣＰＵ１１は、画像の取得を継続して、バーコードの検出、商品候補の選択、または自動確定による商品の認識が可能になるまで処理を継続する。
ＣＰＵ１１は、ＡＣＴ３５でカウンタｍの値が「Ｍ」以下ではない、即ち、カウンタｍの値が「Ｍ」を超えたと判断した場合に達したと判断した場合（ＡＣＴ３５、ＮＯ）、自動確定を実行するか否か判断する（ＡＣＴ３６）。ＣＰＵ１１は、操作部３７の操作、またはＰＯＳ端末２から受け取る情報に応じて、自動確定を有効にするか無効にするかを切り替える。例えば、ＣＰＵ１１は、自動確定が有効であるか否かを示す設定をＲＡＭ１３、または不揮発性メモリ１４などに記憶する。ＣＰＵ１１は、この設定を参照して自動確定を実行するか否か判断する。ＣＰＵ１１は、自動確定を実行しない設定であると判断した場合（ＡＣＴ３６、ＮＯ）、ＡＣＴ２２に移行する。
ＣＰＵ１１は、自動確定を実行すると判断した場合（ＡＣＴ３６、ＹＥＳ）、ＡＣＴ２５に移行する。この場合、ＣＰＵ１１は、それまでに商品毎に算出された類似度に基づいて、１つの商品を特定及び認識する。例えば、ＣＰＵ１１は、画像から算出した特徴量と商品認識辞書の商品毎の特徴量との類似度を１フレーム毎に算出し、物体が検出されてから取得した複数のフレームの類似度を統合し、統合した商品毎の類似度のうちの最も高い類似度に対応した商品を特定及び認識する。ＣＰＵ１１は、認識した商品の商品識別コード、商品名、及び金額をＰＯＳ端末２に登録する。
上記のような構成において、撮像部２０の画像取得のフレームレートを３０ｆｐｓとし、値「Ｎ」を１０とし、値Ｍを「７」とした場合、物体が検出されてから少なくとも７フレームの間、自動確定が保留される。
上記したように、商品登録装置１のＣＰＵ１１は、商品識別コードが読み取られない場合、商品が商品識別コードが付与された人工物などの第１系統商品であるか、商品識別コードが付与されていない青果などの第２系統商品であるかフレーム毎に識別する系統識別を行う。ＣＰＵ１１は、複数フレームに亘って系統識別を行い、第２系統商品であると識別したフレームの数ｍが予め設定された値である「Ｍ」を超えたと判断した場合、商品が第２系統商品であると判断し、自動確定による商品の認識を行う。即ち、ＣＰＵ１１は、商品が第２系統商品であると判断するまでの間、自動確定による商品の認識を保留する。言い換えると、ＣＰＵ１１は、商品が第１系統商品である可能性が高いと判断する場合、自動確定による商品の認識を保留し続け、商品識別コードの読み取りによる商品認識、または商品候補の選択による商品認識によって商品を認識する。これにより、商品登録装置１は、商品識別コードが付与された第１系統商品を自動確定によって認識することを防ぐことができる。この結果、高い精度で商品の認識及び登録を行うことができる商品登録装置及び商品登録プログラムを提供することができる。
（第２の実施形態）
次に、第２の実施形態に係る商品登録装置１について説明する。なお、構成は、第１の実施形態に係る商品登録装置１と同様である為、構成の説明を省略する。
図５は、図３のＡＣＴ１１の第２の実施形態に係る商品登録処理の例を示す。なお、ＡＣＴ４１乃至ＡＣＴ５４は、図４のＡＣＴ２１乃至ＡＣＴ３４と同様である為、簡略に説明する。
ＣＰＵ１１は、商品登録処理を実行する場合、まずカウンタｎ及びカウンタｍの値をリセットして「０」にする（ＡＣＴ４１）。
ＣＰＵ１１は、撮像部２０により撮像された１フレーム分の画像を取得する（ＡＣＴ４２）。
ＣＰＵ１１は、取得した画像に対して画像解析によって画像中の物体を検出する処理を行う。ＣＰＵ１１は、物体が検出されたか否か判断する（ＡＣＴ４３）。物体が検出されない場合（ＡＣＴ４３、ＮＯ）、ＣＰＵ１１は、ＡＣＴ４１に戻る。
ＣＰＵ１１は、物体が検出された場合（ＡＣＴ４３、ＹＥＳ）、取得した画像から商品識別コードを検出する。ＣＰＵ１１は、商品識別コードを画像から検出し且つデコードが成功したか否か判断する（ＡＣＴ４４）。
ＣＰＵ１１は、商品識別コードを画像から検出し且つデコードが成功したと判断した場合（ＡＣＴ４４、ＹＥＳ）、デコードした商品識別コードに対応付けられた商品名及び金額を商品認識辞書から抽出し、商品識別コード、商品名、及び金額をＰＯＳ端末２に登録する商品登録を行い（ＡＣＴ４５）、処理を終了する。
また、ＡＣＴ４４において、商品識別コードを画像から検出できなかった、またはデコードが失敗したと判断した場合（ＡＣＴ４４、ＮＯ）、ＣＰＵ１１は、カウンタｎの値をカウントアップ（例えば＋１）する（ＡＣＴ４６）。
ＣＰＵ１１は、カウンタｎの値が予め設定された値である「Ｎ」未満であるか否か判断する（ＡＣＴ４７）。ＣＰＵ１１は、カウンタｎの値が予め設定された値である「Ｎ」未満ではない、即ち、カウンタｎの値が「Ｎ」に達したと判断した場合（ＡＣＴ４７、ＮＯ）、後述するＡＣＴ５１に移行する。
ＣＰＵ１１は、カウンタｎの値が予め設定された値である「Ｎ」未満であると判断した場合（ＡＣＴ４７、ＹＥＳ）、商品の系統を識別する系統識別を行う（ＡＣＴ４８）。
ＣＰＵ１１は、系統識別の結果を参照し、商品が第２系統商品であるか否か判断する。（ＡＣＴ４９）。ＣＰＵ１１は、商品が第２系統商品ではないと判断した場合（ＡＣＴ４９、ＮＯ）、後述するＡＣＴ５１に移行する。
ＣＰＵ１１は、商品が第２系統商品であると判断した場合（ＡＣＴ４９、ＹＥＳ）、ＣＰＵ１１は、カウンタｍの値をカウントアップ（例えば＋１）する（ＡＣＴ５０）。
次に、ＣＰＵ１１は、商品候補の抽出を行う（ＡＣＴ５１）。
ＣＰＵ１１は、ＡＣＴ５１において商品候補が抽出された否か判断する（ＡＣＴ５２）。ＣＰＵ１１は、商品候補が抽出されていないと判断した場合（ＡＣＴ５２、ＮＯ）、ＡＣＴ４２の処理に移行し、次のフレームの画像を取得する。
ＣＰＵ１１は、商品候補が抽出されたと判断した場合（ＡＣＴ５２、ＹＥＳ）、抽出した商品候補を選択可能な状態で第１の表示部１８に表示する（ＡＣＴ５３）。
ＣＰＵ１１は、ＡＣＴ５３で表示された商品候補の画面において、いずれかの商品候補が選択されたか否か判断する（ＡＣＴ５４）。
ＣＰＵ１１は、商品候補の画面において商品候補が選択されたと判断した場合（ＡＣＴ５４、ＹＥＳ）、ＡＣＴ４５に移行し、選択された商品候補の商品識別コード、商品名、及び金額をＰＯＳ端末２に登録する。
ＣＰＵ１１は、商品候補の画面において商品候補が選択されなかったと判断した場合（ＡＣＴ５４、ＮＯ）、カウンタｍの値が予め設定された値である「Ｍ」以下であるか否か判断する（ＡＣＴ５５）。ＣＰＵ１１は、カウンタｍの値が「Ｍ」を超えた場合、商品が第２系統商品（即ち青果）である可能性が高いと判断する。また、ＣＰＵ１１は、カウンタｍの値が「Ｍ」以下である場合、商品が第２系統商品である可能性が十分ではないと判断する。
ＣＰＵ１１は、カウンタｍの値が予め設定された値である「Ｍ」以下であると判断した場合（ＡＣＴ５５、ＹＥＳ）、所定フレームが経過したか否か判断する（ＡＣＴ５６）。即ち、ＣＰＵ１１は、ＡＣＴ４５において画像から物体が検出されたからの経過フレームであるフレーム数ｎが、予め設定されたフレーム数「Ｘ」に達したか否か判断する。ＣＰＵ１１は、所定フレームが経過していないと判断した場合（ＡＣＴ５６、ＮＯ）、ＡＣＴ４２の処理に移行し、次のフレームの画像を取得する。即ち、ＣＰＵ１１は、次のフレームの画像を取得し、処理を継続する。
ＣＰＵ１１は、ＡＣＴ５５でカウンタｍの値が「Ｍ」以下ではない、即ち、カウンタｍの値が「Ｍ」を超えたと判断した場合に達したと判断した場合（ＡＣＴ３５、ＮＯ）、またはＡＣＴ５６で所定フレームが経過したと判断した場合（ＡＣＴ５６、ＹＥＳ）、自動確定を実行するか否か判断する（ＡＣＴ５７）。ＣＰＵ１１は、自動確定を実行しない設定であると判断した場合（ＡＣＴ５７、ＮＯ）、ＡＣＴ４２に移行する。
ＣＰＵ１１は、自動確定を実行すると判断した場合（ＡＣＴ５７、ＹＥＳ）、ＡＣＴ４５に移行する。この場合、ＣＰＵ１１は、それまでに商品毎に算出された類似度に基づいて、１つの商品を特定及び認識する。例えば、ＣＰＵ１１は、画像から算出した特徴量と商品認識辞書の商品毎の特徴量との類似度を１フレーム毎に算出し、物体が検出されてから取得した複数のフレームの類似度を統合し、統合した商品毎の類似度のうちの最も高い類似度に対応した商品を特定及び認識する。ＣＰＵ１１は、認識した商品の商品識別コード、商品名、及び金額をＰＯＳ端末２に登録する。
上記のような構成において、例えばフレーム数「Ｘ」が３０であるとし、商品識別コードが読み取られず、商品候補が選択されず、且つ商品が第２系統商品であると識別されない場合、ＣＰＵ１１は、物体が検出されたフレーム数が３０フレームに達するまでの間、自動確定処理を保留する。
上記したように、商品登録装置１のＣＰＵ１１は、商品識別コードが読み取られず、商品候補が選択されず、且つ商品が第２系統商品であると識別されない場合であっても、物体が検出されたフレーム数（保留時間）が予め設定されたフレーム数（所定時間）に達した場合、自動確定によって商品を認識する。即ち、商品登録装置１は、商品が第２系統商品であると判断された場合、または一定時間経過した場合に自動確定による商品認識を行う。これにより、商品登録装置１は、商品の認識が実行されずに経過する時間を調整することが可能になる。この結果、商品登録装置１は、効率的に商品の登録を行うことができる。
上記の実施形態では、商品登録装置１は、サポートベクトルマシンによって多次元空間上に定義した識別面に基づいて、画像の商品が第１系統商品であるか第２系統商品であるかを識別する構成であると説明したが、この構成に限定されない。商品登録装置１は、商品が第１系統商品であるか第２系統商品であるかを他の手法によって識別する構成であってもよい。例えば、商品登録装置１は、Deep Neural Networkなどを用いて商品が第１系統商品であるか第２系統商品であるか識別する構成であってもよい。
また、上記の実施形態では、商品登録装置１は、第２系統商品であると識別したフレームの数ｍが予め設定された値である「Ｍ」を超えた場合に、商品が第２系統商品であると判断する構成であると説明したが、この構成に限定されない。商品登録装置１は、サポートベクトルマシンによって多次元空間上に定義した識別面と、画像から生成した特徴量を多次元空間上にプロットした点との距離の加算値に基づいて、商品が第１系統商品であるか第２系統商品であるか識別する構成であってもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
なお、以下に本願の出願当初の特許請求の範囲の記載を付記する。
［Ｃ１］
商品が写った画像を取得する画像取得部と、
商品毎に特徴量を有する商品認識辞書を記憶するメモリと、
前記画像から特徴量を算出し、算出した特徴量と前記商品認識辞書の商品毎の特徴量との類似度に応じて商品を認識する自動確定部と、
前記画像の商品が、商品を識別する為の商品識別コードが付与された第１系統商品であるか、前記商品識別コードが付与されていない第２系統商品であるかを前記画像に基づいて識別する系統識別部と、
商品が前記第２系統商品であると識別された場合、前記自動確定部により商品を認識し、商品が前記第１系統商品であると識別された場合、前記自動確定部による商品の認識を保留するように前記自動確定部を制御する制御部と、
商品の認識結果を登録する商品登録部と、
を具備する商品登録装置。
［Ｃ２］
前記制御部は、保留時間が所定時間に達した場合、前記第１系統商品を前記自動確定部により認識するＣ１に記載の商品登録装置。
［Ｃ３］
前記画像から前記商品識別コードを取得し、取得した前記商品識別コードに基づいて商品を認識する商品認識部をさらに具備し、
前記制御部は、商品が前記第１系統商品であると識別され、且つ前記商品識別コードが取得された場合、前記商品認識部による商品を認識するように前記商品認識部を制御するＣ１または２に記載の商品登録装置。
［Ｃ４］
前記第１系統商品は、前記第２系統商品に比べて直線が多い人工物であり、
前記第２系統商品は、前記第２系統商品に比べて直線が少ない青果であるＣ１乃至３のいずれか１項に記載の商品登録装置。
［Ｃ５］
商品が写った画像を取得する画像取得部と、商品毎に特徴量を有する商品認識辞書を記憶するメモリと、を具備する商品登録装置により実行される商品登録プログラムであって、
前記商品登録装置を、
前記画像から特徴量を算出し、算出した特徴量と前記商品認識辞書の商品毎の特徴量との類似度に応じて商品を認識する自動確定部と、
前記画像の商品が、商品を識別する為の商品識別コードが付与された第１系統商品であるか、前記商品識別コードが付与されていない第２系統商品であるかを前記画像に基づいて識別する系統識別部と、
商品が前記第２系統商品であると識別された場合、前記自動確定部により商品を認識し、商品が前記第１系統商品であると識別された場合、前記自動確定部による商品の認識を保留するように前記自動確定部を制御する制御部と、
商品の認識結果を登録する商品登録部と、
して動作させる商品登録プログラム。
１…商品登録装置、２…ＰＯＳ端末、３…会計カウンタ、４…レジカウンタ、５…ドロワ、６…ストアコンピュータ、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…不揮発性メモリ、１５…接続Ｉ／Ｆ、１６…デバイスＩ／Ｆ、１７…操作部、１８…第１の表示部、１９…第２の表示部、２０…撮像部、２１…ハウジング、３１…ＣＰＵ、３２…ＲＯＭ、３３…ＲＡＭ、３４…不揮発性メモリ、３５…接続Ｉ／Ｆ、３６…デバイスＩ／Ｆ、３７…操作部、３８…第３の表示部、３９…第４の表示部、４０…プリンタ、４１…通信デバイス。

Claims (4)

  1. 商品が写った画像を取得する画像取得部と、
    商品毎に特徴量を有する商品認識辞書を記憶するメモリと、
    前記画像から特徴量を算出し、算出した特徴量と前記商品認識辞書の商品毎の特徴量との類似度に応じて商品を認識する自動確定部と、
    前記画像の商品が、商品を識別する為の商品識別コードが付与された第１系統商品であるか、前記商品識別コードが付与されていない第２系統商品であるかを前記画像に基づいて識別する系統識別部と、
    前記画像から前記商品識別コードを取得し、取得した前記商品識別コードに基づいて商品を認識する商品認識部と、
    商品が前記第２系統商品であると識別された場合、前記自動確定部により商品を認識し、商品が前記第１系統商品であると識別された場合、前記自動確定部による商品の認識を保留し、保留中に前記商品識別コードが取得された場合、前記商品認識部による商品を認識するように前記商品認識部及び前記自動確定部を制御する制御部と、
    商品の認識結果を登録する商品登録部と、
    を具備する商品登録装置。
  2. 前記制御部は、保留時間が所定時間に達した場合、前記第１系統商品を前記自動確定部により認識する請求項１に記載の商品登録装置。
  3. 前記第１系統商品は、前記第２系統商品に比べて直線が多い人工物であり、
    前記第２系統商品は、前記第２系統商品に比べて直線が少ない青果である請求項１または２に記載の商品登録装置。
  4. 商品が写った画像を取得する画像取得部と、商品毎に特徴量を有する商品認識辞書を記憶するメモリと、を具備する商品登録装置により実行される商品登録プログラムであって、
    前記商品登録装置を、
    前記画像から特徴量を算出し、算出した特徴量と前記商品認識辞書の商品毎の特徴量との類似度に応じて商品を認識する自動確定部と、
    前記画像の商品が、商品を識別する為の商品識別コードが付与された第１系統商品であるか、前記商品識別コードが付与されていない第２系統商品であるかを前記画像に基づいて識別する系統識別部と、
    前記画像から前記商品識別コードを取得し、取得した前記商品識別コードに基づいて商品を認識する商品認識部と、
    商品が前記第２系統商品であると識別された場合、前記自動確定部により商品を認識し、商品が前記第１系統商品であると識別された場合、前記自動確定部による商品の認識を保留し、保留中に前記商品識別コードが取得された場合、前記商品認識部による商品を認識するように前記商品認識部及び前記自動確定部を制御する制御部と、
    商品の認識結果を登録する商品登録部と、
    して動作させる商品登録プログラム。
JP2016180429A 2016-09-15 2016-09-15 商品登録装置及び商品登録プログラム Active JP6799975B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2016180429A JP6799975B2 (ja) 2016-09-15 2016-09-15 商品登録装置及び商品登録プログラム
US15/672,962 US10332362B2 (en) 2016-09-15 2017-08-09 Merchandise registration device and merchandise registration program
CN201710803888.6A CN107833403B (zh) 2016-09-15 2017-09-08 商品登记装置及商品登记方法、终端设备
EP17190478.2A EP3296972A1 (en) 2016-09-15 2017-09-11 Merchandise registration device and merchandise registration program
US16/411,462 US10867485B2 (en) 2016-09-15 2019-05-14 Merchandise registration device and merchandise registration program
JP2020194234A JP6987953B2 (ja) 2016-09-15 2020-11-24 商品登録装置及び商品登録プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016180429A JP6799975B2 (ja) 2016-09-15 2016-09-15 商品登録装置及び商品登録プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020194234A Division JP6987953B2 (ja) 2016-09-15 2020-11-24 商品登録装置及び商品登録プログラム

Publications (2)

Publication Number Publication Date
JP2018045497A JP2018045497A (ja) 2018-03-22
JP6799975B2 true JP6799975B2 (ja) 2020-12-16

Family

ID=59955347

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016180429A Active JP6799975B2 (ja) 2016-09-15 2016-09-15 商品登録装置及び商品登録プログラム

Country Status (4)

Country Link
US (2) US10332362B2 (ja)
EP (1) EP3296972A1 (ja)
JP (1) JP6799975B2 (ja)
CN (1) CN107833403B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796804B (zh) * 2018-08-03 2022-04-05 阿里巴巴集团控股有限公司 数据对象信息处理方法、装置及系统
CN111428743B (zh) * 2019-01-09 2023-04-18 阿里巴巴集团控股有限公司 商品识别方法、商品处理方法、装置及电子设备
US11037124B1 (en) * 2020-02-26 2021-06-15 Viscovery Inc. Checkout apparatus for barcodeless merchandise
JP2022126273A (ja) * 2021-02-18 2022-08-30 東芝テック株式会社 商品登録装置およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6332573B1 (en) * 1998-11-10 2001-12-25 Ncr Corporation Produce data collector and produce recognition system
JP4720098B2 (ja) * 2004-04-16 2011-07-13 日本電気株式会社 Ｉｄ発行管理システム、物品情報管理システムおよびｉｄ発行管理方法
JP5403657B2 (ja) * 2009-02-23 2014-01-29 Ｎｅｃインフロンティア株式会社 定置スキャナ、ｐｏｓ端末および決済商品選別方法
JP5000738B2 (ja) * 2010-03-10 2012-08-15 東芝テック株式会社 コード読取装置およびプログラム
JP5543572B2 (ja) * 2012-01-30 2014-07-09 東芝テック株式会社 商品読取装置及び商品読取プログラム
JP5372191B2 (ja) * 2012-01-30 2013-12-18 東芝テック株式会社 商品読取装置及び商品読取プログラム
JP5826152B2 (ja) * 2012-11-20 2015-12-02 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP6208091B2 (ja) * 2014-08-08 2017-10-04 東芝テック株式会社 情報処理装置およびプログラム
JP6555866B2 (ja) * 2014-09-22 2019-08-07 カシオ計算機株式会社 商品登録装置及びプログラム

Also Published As

Publication number Publication date
US10332362B2 (en) 2019-06-25
EP3296972A1 (en) 2018-03-21
CN107833403A (zh) 2018-03-23
US20190266855A1 (en) 2019-08-29
US20180075711A1 (en) 2018-03-15
CN107833403B (zh) 2020-10-30
JP2018045497A (ja) 2018-03-22
US10867485B2 (en) 2020-12-15

Similar Documents

Publication Publication Date Title
US10867485B2 (en) Merchandise registration device and merchandise registration program
EP3379505A1 (en) Sales data processing apparatus and sales data processing method
EP2899670B1 (en) Object recognition device, checkout terminal, and method for processing information
JP6555866B2 (ja) 商品登録装置及びプログラム
US10169752B2 (en) Merchandise item registration apparatus, and merchandise item registration method
JP6730076B2 (ja) 商品販売データ処理装置、商品販売データ処理システムおよびプログラム
EP3252673B1 (en) Recognition system, information processing apparatus, and information processing method
EP3293685A1 (en) Information processing apparatus that identifies an item based on a captured image thereof
CN107665556B (zh) 图像信息处理装置及其控制方法
US20170344853A1 (en) Image processing apparatus and method for easily registering object
EP3002739A2 (en) Information processing apparatus and information processing method by the same
JP6938293B2 (ja) 読取装置及びプログラム
US20190385141A1 (en) Check-out system with merchandise reading apparatus and pos terminal
EP3249621A1 (en) Information processing apparatus and method for ensuring selection operation
JP6873711B2 (ja) 商品認識装置
EP2985741A1 (en) Information processing apparatus and information processing method
JP6987953B2 (ja) 商品登録装置及び商品登録プログラム
US9792635B2 (en) Information processing apparatus and method for updating feature values of products for object recognition
US10360475B2 (en) Object recognition apparatus
JP6178250B2 (ja) 情報処理装置およびプログラム
US20170024416A1 (en) Image recognition system and an image-based search method
JP6964166B2 (ja) 認識システム、情報処理装置、及びプログラム
JP6384309B2 (ja) 商品識別装置、商品認識ナビゲーション方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201124

R150 Certificate of patent or registration of utility model

Ref document number: 6799975

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150