JP6428240B2 - 商品登録装置、商品認識方法、およびプログラム - Google Patents

商品登録装置、商品認識方法、およびプログラム Download PDF

Info

Publication number
JP6428240B2
JP6428240B2 JP2014255521A JP2014255521A JP6428240B2 JP 6428240 B2 JP6428240 B2 JP 6428240B2 JP 2014255521 A JP2014255521 A JP 2014255521A JP 2014255521 A JP2014255521 A JP 2014255521A JP 6428240 B2 JP6428240 B2 JP 6428240B2
Authority
JP
Japan
Prior art keywords
product
image
means
object
voice input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014255521A
Other languages
English (en)
Other versions
JP2016115279A (ja
Inventor
茂輝 榎本
茂輝 榎本
佐藤 芳広
芳広 佐藤
Original Assignee
カシオ計算機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by カシオ計算機株式会社 filed Critical カシオ計算機株式会社
Priority to JP2014255521A priority Critical patent/JP6428240B2/ja
Publication of JP2016115279A publication Critical patent/JP2016115279A/ja
Application granted granted Critical
Publication of JP6428240B2 publication Critical patent/JP6428240B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00771Recognising scenes under surveillance, e.g. with Markovian modelling of scene activity
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • G07G1/0045Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K2209/00Indexing scheme relating to methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K2209/17Recognition of food, fruit, vegetables

Description

本発明は、商品を売上登録する商品登録装置および商品認識方法に関する。

従来、電子式キャッシュレジスタ(商品登録装置)は、バーコード読み取り部によって、商品に付与されたバーコードなどのデータコードを読み取り、この商品を識別していた。商品に付与されたバーコードは、メーカコードの情報と、アイテムコードの情報と、チェックディジットの情報とを含んで構成される。商品登録装置は、チェックディジットの情報によって正しくバーコードが読み取れたことを判断したのち、アイテムコードの情報によって、この商品を識別する。バーコードを予め商品の包装などに印刷しておくことで、キャッシュレジスタのオペレータの負担を軽減することができる。
しかし、包装されていない商品、例えば青果品などは、バーコードを個々に貼り付けることは極めて煩雑であり、時間とコストとが掛かる。従来は青果品などに対して、オペレータが商品コードや金額をキーボードで入力するという運用がなされていた。

近年では、青果品などをオブジェクト認識して識別し、識別された商品を売上登録する商品登録装置が普及しはじめている。この商品登録装置は、青果品などを撮影した画像情報から外観の特徴量を抽出し、予め用意された特徴量データベースと比較することで、この物品がいずれの商品であるかを識別する。これにより、予め包装されていない商品であっても、バーコードを個々に貼り付けることなく商品登録装置が認識できるので、店舗側の負担を軽減することができる。
例えば、特許文献1には、撮像手段で撮像された対象物の画像情報と各商品の基準画像情報とを比較し、類似度が所定範囲内にある基準画像情報に対応した商品を対象物に該当する商品候補として表示手段に表示させる情報処理装置について記載されている。

特開2013−89258号公報

しかしながら、特許文献1に記載の装置は、撮像された対象物の画像が非常に類似している場合(例えば、産地の異なるりんごやみかん)、オペレータはキーボードや画面タッチによる選択操作を必要としていた。例えば、和歌山(うんしゅう)、愛媛などの複数の産地の商品「みかん」を商品登録する場合、画像認識により「みかん」の産地等を判定することは困難である。このため、オペレータはいったん画像読み取り操作を中断しキーボードや画面タッチによる選択操作を行う必要があった。
また、清算前に、認識を済ませた商品と同じ商品を追加して複数登録したい場合にも同様の認識操作を繰り返さなければならない。また、キャンセルについても同様の操作が必要であった。
このように、バーコードを付してない青果品のように商品が類似しており、しかも産地が複数に亘る商品や、該当商品の追加登録・キャンセルをしたい場合、オペレータはキーボード操作等に戻らざるを得ず、作業効率が低下するという問題があった。

本発明の課題は、商品の売上登録操作の作業性を向上させることである。

上記課題を達成するため、本発明の商品登録装置は、物体を画像として撮影する撮影手段と、音声を入力する音声入力手段と、前記物体が前記撮影手段により画像として撮影されたことを検出したタイミング後の所定期間に前記音声入力手段により入力された音声を、前記画像に基づいて前記物体を商品認識するための補助情報として用いて商品認識する制御手段と、を備え、前記制御手段は、前記物体が前記撮影手段により画像として撮影されたことを検出した際に、前記画像に基づいて前記物体を商品の上位分類は認識できたにも関わらず、商品の下位分類までは認識することができなかった場合には、前記下位分類を認識するために何れの種類の補助情報が必要であるのかを通知する通知情報を表示手段に表示させることを特徴とする。
本発明の商品認識方法は、物体を画像として撮影する撮影ステップと、音声を入力する音声入力ステップと、前記物体が前記撮影ステップにより画像として撮影されたことを検出したタイミング後の所定期間に前記音声入力ステップにより入力された音声を、前記画像に基づいて前記物体を商品認識するための補助情報として用いて商品認識する制御ステップと、を含み、前記制御ステップにおいて、前記物体が前記撮影ステップにより画像として撮影されたことを検出した際に、前記画像に基づいて前記物体を商品の上位分類は認識できたにも関わらず、商品の下位分類までは認識することができなかった場合には、前記下位分類を認識するために何れの種類の補助情報が必要であるのかを通知する通知情報を表示手段に表示させる、ことを特徴とする。
本発明のプログラムは、コンピュータを、物体が撮影手段により画像として撮影されたことを検出したタイミング後の所定期間に音声入力手段により入力された音声を、前記画像に基づいて前記物体を商品認識するための補助情報として用いて商品認識する制御手段、として機能させ、前記制御手段は、前記物体が前記撮影手段により画像として撮影されたことを検出した際に、前記画像に基づいて前記物体を商品の上位分類は認識できたにも関わらず、商品の下位分類までは認識することができなかった場合には、前記下位分類を認識するために何れの種類の補助情報が必要であるのかを通知する通知情報を表示手段に表示させる、ことを特徴とするプログラム。

本発明によれば、商品の売上登録操作の作業性を向上させることができる。

本実施形態における商品登録装置の外観を示す斜視図である。 本実施形態における商品登録装置の概略を示す構成図である。 本実施形態における商品登録装置の概略を示す機能ブロック図である。 本実施形態における商品識別装置の正面図である。 本実施形態における特徴量ファイルの一例を示す図である。 本実施形態における商品登録処理を示すフローチャートである。 本実施形態における商品登録装置の音声認識バッファの一例を示す図である。 本実施形態における商品登録装置のディスプレイに表示される商品の確認画面の例である。 本実施形態における商品登録装置の商品認識方法を説明するタイミングチャートである。

以降、本発明を実施するための形態を、各図を参照して詳細に説明する。なお、同一の要素が異なる図に示されていても同一の符号を付与して、その重複する説明を省略することがある。

(実施形態)
図1は、本発明の実施形態における商品登録装置1の外観を示す斜視図である。
図1に示すように、商品登録装置1は、各商品を登録する商品識別装置2と、各取引に係る商品の売上登録と精算とを行うPOS端末3とを備える。この商品識別装置2は、商品に関する情報を読み取って登録するPOS接続用スキャナである。
商品識別装置2は、横長テーブル状のカウンタ台5の長手方向の中央に設置されている。商品識別装置2は、薄型の直方体状のハウジング51を備える。このハウジング51の正面には、読取窓52を介してカメラ27(図2参照)が配置されている。読取窓52の上部には、マイク28が配置されている。

ハウジング51の上部には、表示・操作部22が取り付けられている。表示・操作部22には、ディスプレイ221が設けられている。このディスプレイ221の表面には、タッチパネル222(図2参照)が積層されている。ディスプレイ221の右隣には、キーボード23が配置されている。キーボード23の右隣には、不図示のカードリーダのカード読取溝が設けられている。表示・操作部22の左奥側には、顧客に情報を提供するための顧客用ディスプレイ24が裏向きに設置されている。

POS端末3は、チェックアウト台6上のドロワ37の上面に載置されている。このドロワ37は、POS端末3によって開放動作の制御を受ける。
POS端末3の上面には、オペレータ(店員)が操作するためのキーボード33が配置されている。このオペレータから見てキーボード33の上部奥側には、情報を表示するディスプレイ321が設けられている。このディスプレイ321の表面には、タッチパネル322(図2参照)が積層されている。ディスプレイ321よりもさらに奥側には、情報を表示する顧客用ディスプレイ34が左右方向に回転可能に設置されている。なお、図1に示す顧客用ディスプレイ34は、図1の手前側に向いている。この顧客用ディスプレイ34は、図1の奥側に向くように回転させることによって、顧客に向けて情報を表示する。

POS端末3が載置されているチェックアウト台6とL字を形成するようにして、横長テーブル状のカウンタ台5が配置されている。カウンタ台5の上面には、荷受け面が形成されている。顧客は、図1の左側から右側に移動しつつ、商品の登録処理を受ける。つまり、カウンタ台5の荷受け面には、商品を収納する第1の買物カゴ4Lと、第2の買物カゴ4Rとが載置される。以下、第1の買物カゴ4Lと、第2の買物カゴ4Rとを特に区別しないときには、単に買物カゴ4と記載する場合がある。これら買物カゴ4は、いわゆるカゴ形状のものに限るものではなく、トレーなどであってもよい。また、買物カゴ4は、いわゆるカゴ形状のものに限らず、箱状や袋状などであってもよい。
第1の買物カゴ4Lは、顧客によって持ち込まれたものであり、一つの取引に係る商品が収納される。第2の買物カゴ4Rは、第1の買物カゴ4Lから商品識別装置2を挟んだ位置に載置される。第1の買物カゴ4L内の商品は、商品識別装置2を操作するオペレータにより取り出され、第2の買物カゴ4Rに移動される。この移動過程で、商品が商品識別装置2の読取窓52にかざされる。このとぎ、読取窓52内に配置されたカメラ27(図2参照)は商品を撮像する。

商品識別装置2では、カメラ27により撮像された画像に含まれる商品が、後記する特徴量ファイル361(図2参照)に記録されたどの商品に対応するかを指定させるための画面をディスプレイ221に表示する。商品識別装置2は更に、指定された商品の商品IDをPOS端末3に通知する。POS端末3は、商品識別装置2から通知される商品IDに基づき、当該商品IDに対応する商品の商品分類、商品名、単価などの売上登録に係る情報を、売上マスタファイル(不図示)などに記録して、売上登録を行う。

図2は、本実施形態における商品登録装置1の概略を示す構成図である。
商品登録装置1は、商品識別装置2とPOS端末3とを含んで構成される。
商品識別装置2は、マイクロコンピュータ21と、表示・操作部22と、インタフェース25と、カメラ27と、スピーカ29と、電源30とを含んで構成される。
マイクロコンピュータ21は、CPU(Central Processing Unit)211にROM(Read Only Memory)212とRAM(Random Access Memory)213とがバス接続されて構成されている。ROM212には、CPU211によって実行されるプログラムが記憶される。
CPU211には、表示・操作部22と、インタフェース25と、カメラ27、マイク28、スピーカ29とが、内部バスや各入出力回路(不図示)を介して接続される。

表示・操作部22は、ディスプレイ221と、タッチパネル222と、顧客用ディスプレイ24と、キーボード23とを含んで構成され、CPU211によって動作が制御される。
ディスプレイ221は、CPU211の指示により、オペレータに対する情報を表示する。タッチパネル222は、ディスプレイ221により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ24は、CPU211の指示により、顧客に対する情報を表示する。
キーボード23は、複数の操作キーで構成され、オペレータの操作入力を受け付ける。
インタフェース25は、POS端末3のインタフェース35に接続して、POS端末3との間でデータ送受信を可能にする。

カメラ27は、カラーCCDイメージセンサやカラーCMOSイメージセンサなどであり、CPU211の制御の下で、読取窓52(図1参照)からの撮像を行う撮像手段である。カメラ27は、例えば30[fps]の動画像の撮像を行う。カメラ27が所定のフレームレートで順次撮像したフレーム画像(撮像画像)は、RAM213に保存される。

マイク28は、オペレータから発せられた音を入力する。マイク28は、商品識別装置2の読取窓52の上部に配置されることで、オペレータの音声を入力することを想定している。

スピーカ29は、予め設定された警告音などを発生する。スピーカ29は、CPU211の制御の下で警告音や音声による報知を行う。
電源30は、この商品識別装置2の各部に電力を供給する。

インタフェース25は、POS端末3のインタフェース35に接続して、POS端末3との間でデータ送受信を可能にする。

POS端末3は、マイクロコンピュータ31と、ディスプレイ321と、タッチパネル322と、キーボード33と、顧客用ディスプレイ34と、インタフェース35と、HDD36と、ドロワ37と、プリンタ38と、電源39とを含んで構成される。

マイクロコンピュータ31は、情報処理を実行する。このマイクロコンピュータ31は、各種演算処理を実行し各部を制御するCPU311に、ROM312とRAM313とがバス接続されて構成される。CPU311には、ドロワ37と、キーボード33と、ディスプレイ321と、タッチパネル322と、顧客用ディスプレイ34と、HDD36(Hard Disk Drive)とが、内部バスや各入出力回路を介して接続されている。これらは、CPU311による制御を受ける。

ディスプレイ321は、CPU311の指示により、オペレータに対する情報を表示する。タッチパネル322は、ディスプレイ321により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ34は、CPU311の指示により、顧客に対する情報を表示する。
キーボード33は、仮締めキー331と、締めキー332と、テンキー333とを含んで構成され、オペレータの操作入力を受け付ける。テンキー333は、0から9までの数字キーと各種演算子キーとで構成される。

HDD36には、プログラムや各種ファイルが記憶されている。HDD36に記憶されているプログラムや各種ファイルは、POS端末3の起動時に、その全部または一部がRAM313にコピーされてCPU311により実行される。HDD36には、例えば特徴量ファイル361が記録されるが、商品販売データ処理用のプログラムが記録されてもよい。特徴量ファイル361は、店舗に陳列して販売する取扱商品の各々について、商品の売上登録にかかる情報と、その商品の画像との関連付けが設定された商品ファイルであり、取扱商品の辞書として機能する(図5参照)。

インタフェース35は、商品識別装置2に接続され、商品識別装置2との間でデータ送受信を可能とする。
プリンタ38は、レシートなどに印字を行う。POS端末3は、CPU311の制御のもとで、各取引の取引内容をレシートに印字する。
電源39は、このPOS端末3の各部に電力を供給する。

図3は、本実施形態における商品登録装置1の概略を示す機能ブロック図である。以下の説明では、適宜図1と図2とを参照する。
商品識別装置2のCPU211は、ROM212に格納されるプログラムを実行することにより、画像取得部90と、物体検出部91、類似度演算部92、類似度判断部93、音声認識部94、音声認識バッファ941、商品特定部95、確定通知部96、情報出力部97の各部を具現化する。また、同様に、POS端末3のCPU311は、HDD36に格納されるプログラムを実行することにより、売上登録部99の各部を具現化する。POS端末3のHDD36には更に、特徴量ファイル361および音声認識DB362が格納される。

画像取得部90は、カメラ27に撮像オン信号を出力して、このカメラ27に撮像動作を開始させる。更に画像取得部90は、カメラ27が撮像してRAM213に保存されたフレーム画像を順次取り込む。画像取得部90によるフレーム画像の取り込みは、RAM213に保存された順に行われる。

物体検出部91は、画像取得部90によって取り込まれたフレーム画像に含まれる物体の全部または一部を、パターンマッチング技術などを用いて検出する。
具体的には、オペレータが売上登録のために商品を読取窓52に向けると、画像取得部90は、カメラ27によって、この商品の画像を撮影する。物体検出部91は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部91は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、この商品である物体を検出する。

別の具体的方法を以下に示す。オペレータが売上登録のために、商品を手で把持して読取窓52に向けると、画像取得部90は、カメラ27によって、この商品および手の画像を撮影する。物体検出部91は、取り込まれたフレーム画像から肌色領域の有無を検出する。肌色領域が検出された場合、すなわち、店員の手が検出された場合に、物体検出部91は、この肌色領域の近傍において輪郭線を検出する。これにより、オペレータの手が把持していると思われる商品の輪郭を抽出する。物体検出部91は、手の形状を示す輪郭が検出され、手の輪郭の近傍にそれ以外の物体の輪郭が更に検出された場合、この物体の輪郭から商品を検出する。

類似度演算部92は、カメラ27が撮像した商品の画像から、この商品の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取る。類似度演算部92は、この商品の輪郭や大きさは考慮しない。これにより類似度演算部92は、処理時間を短縮することができる。
類似度演算部92は更に、特徴量ファイル361に記録された各商品(以下、取扱商品という)の商品画像から、当該取扱商品の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取り、撮影した商品の特徴量とそれぞれ比較することで、撮影した商品と特徴量ファイル361に記録された取扱商品との類似度を算出する。ここで類似度とは、特徴量ファイル361に記録されている各商品が想定する商品画像を100%の類似度とした場合に、商品の全部または一部の画像がどの程度まで類似しているかを示すものである。なお、類似度演算部92は、例えば、色合いと表面の凹凸状況との重み付けを変えて類似度を算出してもよい。

このように、画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれている。柳井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット、評価ベンチマークを行い、更にその今後について展望している。
柳井啓司,「一般物体認識の現状と今後」,[online]、情報処理学会論文誌,2007年11月15日,Vol.48,No.SIG16、1-24頁,[平成26年9月8日検索],インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”, Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on,[平成26年9月8日検索],インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf>

なお、撮像された商品の画像と、特徴量ファイル361に記録された取扱商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品の画像と、特徴量ファイル361に記録された各取扱商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合、撮像された商品の画像と、特徴量ファイル361に記録された各取扱商品とを1対1で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合には、各取扱商品との類似度の総和が1.0(100%)となるよう算出する。例えば、特徴量ファイル361に4つの商品#1〜#4が記録されていたとする。このとき撮像された商品は、例えば、商品#1に対して類似度が0.65、商品#2に対しては類似度が0.2、商品#3に対しては類似度が0.1、商品#4に対しては類似度が0.05などのように算出する。

類似度判断部93は、画像取得部90が取り込んだフレーム画像ごとに、商品の画像と、特徴量ファイル361に記録されている商品画像との類似度を比較する。本実施形態では、取扱商品の商品画像と、商品の撮影画像との類似度は、複数の条件が設けられている。類似度判断部93は、これら満たされる条件に応じて取扱商品の確定あるいは商品の候補を選定する。類似度に関する条件は特に限定されるものではないが、以下では条件X,Y,Zを用いる場合について説明する。

ここで、条件Xおよび条件Yは、フレーム画像上の物体を、特徴量ファイル361に記録された取扱商品のうちの一つとして確定するための条件である。また、条件Zは、フレーム画像上の物体から、特徴量ファイル361に記録された取扱商品の候補を抽出するための条件である。

類似度判断部93は、例えば、条件Xまたは/および条件Yを満たす取扱商品を、フレーム画像上の物体に一対一で対応する商品であると判定する。また、類似度判断部93は、条件Zを満たす取扱商品については、確定商品ではなく、カメラ27が撮像した商品の候補であると判定する。そして、類似度判断部93は、特徴量ファイル361に記録された複数の取扱商品から条件Zを満たす取扱商品を抽出することにより、撮影した商品に対する取扱商品の候補を抽出する。

条件X〜Zは類似度に応じて段階的に設定されればその詳細は特に限定されるものではないが、一例として、予め設定された複数の閾値によって条件X〜Zを設けることができる。ここでは、閾値Tx〜Tzによって条件X〜Zを設定する場合について説明する。なお、閾値Tx〜Tzの順に小さくなるものとする。

類似度判断部93は、取扱商品との類似度が予め定められた閾値Tx以上となった回数をカウントし、この回数が所定回数以上となった場合に条件Xが満たされたと判定する。

また、類似度判断部93は、取扱商品との類似度が閾値Tx未満、かつ、閾値Ty以上となった場合に、条件Yが満たされたと判定する。そして、条件Yを満たした取扱商品は、確定商品ではあるがオペレータによる確認操作を要すると判定する。
更に、類似度判断部93は、取扱商品との類似度が閾値Ty未満、かつ、閾値Tz以上である場合に、条件Zが満たされたと判定する。
なお、各条件X〜Zは、類似度の大きさなどに応じて適宜設定可能であり、前記した例に限定されるものではない。
このように、類似度判断部93は、条件Zを満たした取扱商品の写真画像および商品名を特徴量ファイル361から読み出し、類似度演算部92が算出した類似度の高い順に、商品候補として出力する。

音声認識部94は、音声認識DB362を参照して発せられた音声を認識する。具体的には、オペレータが発声した言葉は音声信号としてマイク28から音声認識部94へ取り込まれ、音声認識部94は、この音声信号を波形分析して特徴パターンを抽出し、音声認識し、音声認識結果を音声認識バッファ941(図7参照)に一時的に格納する。図7に示すように、音声認識バッファ941は、オペレータの発声タイミング(音声入力の開始時間と終了時間)と、その発声タイミングにおける音声入力の音声認識結果を格納する。この例では、開始時間0:00:10から終了時間0:00:15までに音声入力された音声信号の音声認識結果「あおもり」が格納されている。次の発声タイミングでは、開始時間0:00:17から終了時間0:00:20までに音声入力された音声信号の音声認識結果「ふたつ」が格納されている。

商品特定部95は、類似度判断部93が、オブジェクト認識した商品の商品候補から音声認識部94による音声認識により商品または商品の個数を特定する。
具体的には、商品特定部95は、カメラ27により撮影された商品を認識したタイミングを含む前後所定期間において入力された音声を、商品認識の補助情報として用いて商品またはその個数を特定する。また、商品特定部95は、カメラ27により撮影された商品を認識したタイミングを含む前後所定期間において入力された音声に基づいて商品の登録または商品登録のキャンセルを実行する。

確定通知部96は、商品特定部により商品およびその個数を特定されたことを、画像出力や音声出力などによってオペレータや客に報知する。より詳細には、確定通知部96は、特定された商品およびその個数をディスプレイ221に表示させ、特定された商品に関する情報をスピーカ29に出力する。スピーカ29は、特定された商品の情報をオペレータや客に報知する。

情報出力部97は、上述のようにして特定された商品について、その商品を示す情報(例えば、商品IDや商品名や値引き情報など)を、インタフェース25を介してPOS端末3に出力する。

なお、情報出力部97は、タッチパネル222またはキーボード23を介して別途入力された販売個数を、商品IDなどと共にPOS端末3に出力してもよい。また、情報出力部97がPOS端末3に出力する情報としては、情報出力部97が特徴量ファイル361から読み出した商品IDを直接通知してもよいし、商品IDを特定することが可能な商品名、または、商品画像、写真画像のファイル名をPOS端末3に通知してもよい。

POS端末3の売上登録部99は、情報出力部97から出力された商品IDと販売個数とに基づいて、対応する商品の売上登録を行う。具体的にいうと、売上登録部99は、特徴量ファイル361を参照して、通知された商品IDおよび、これに対応する商品分類、商品名、単価、販売個数を売上マスタファイルなどに記録して売上登録(仮登録)を行う。

図4は、本実施形態における商品識別装置2の正面図である。
商品識別装置2は、カウンタ台5に設置されている。商品識別装置2は、薄型の直方体状のハウジング51と、このハウジング51の上部に取り付けられた表示・操作部22と、表示・操作部22の左奥側に裏向きに設置された顧客用ディスプレイ24とを含んで構成される。
このハウジング51の正面には、読取窓52とマイク28が設けられ、マイク28はオペレータの発声が明瞭に収音し易い位置に設置される。具体的には、読取窓52の中央上側やディスプレイ221の中央下側に設置する。マイク28を読取窓52の中央上側やディスプレイ221の中央下側に設置すると、マイク28の高さ位置がオペレータの顔に接近するので、オペレータの発声を良好に収音することができる。また、このマイク28の取付位置は、ハウジング51の中央位置であり、オペレータ以外の音(例えば顧客の発音)が回り込んでくることを防ぐことができる。
読取窓52には、照明271とカメラ27(撮像手段)とが配置される。認識領域8Mは、カメラ27が物体を撮影し、この物体を検知して商品を特定する領域である。

図5は、本実施形態における特徴量ファイル361の一例を示す図である。
図5に示すように、特徴量ファイル361は、商品の特徴量ごとに、画像リンク先、音声データ、商品ID、単価、および商品名を格納する。なお、画像リンク先は、画像データであってもよい。音声データは、音声認識DB362のサンプルデータに対応している。特徴量ファイル361は、例えば、商品の特徴量として、「青森りんごの特徴量」、「長野りんごの特徴量」、…、「温州みかんの特徴量」、「愛媛みかんの特徴量」、…ごとに、画像リンク先「N0001F.jpg」…、音声データ「あおもり」…、商品ID「N0001」…、単価「100」、商品名「りんご・青森産」…を格納する。後記するように、商品特定部95は、オブジェクト認識による「商品の特徴量」から商品候補を抽出し、音声認識による「音声認識結果」から該当商品を確定する。

図6は、本実施形態における商品登録処理を示すフローチャートである。図6(a)は商品認識の補助情報として用いる音声の認識処理および音声認識結果の格納を実行するフロー、図6(b)はオブジェクト認識処理から商品の仮登録を実行するフローである。図6(a)のフローと図6(b)のフローとは並列動作する。各フロー間は通信によってリンクされ、オブジェクト認識処理と音声認識結果の連携が図られる。

本実施形態の商品登録処理は、例えば、オペレータ(店員)が、第1の買物カゴ4L(図1参照)の商品を取り出して、読取窓52のカメラ27にかざしたのち、第2の買物カゴ4Rに入れるまでの一連の処理である。
なお、本発明を顧客がオペレータであるセルフレジに適用してもよい。

<音声補助情報による商品特定>
オペレータが発声すると、音声認識部94は、ステップS11の処理を開始する。
ステップS11において、音声認識部94は、マイク28からオペレータの音声入力を受け付ける。音声認識部94は、オペレータから発せられた音声レベルが所定値以上である場合に音声入力があるとする。具体的には、オペレータは、まず「あおもり」と発声する場合を例に採る。
ステップS12において、音声認識部94は、オペレータが発声した音声信号を波形分析して特徴パターンを抽出し音声認識する。ここでは、音声認識部94は、オペレータの発声の「あおもり」を認識するものとする。

音声認識の具体例について、図9を参照して説明する。
図9(b)は、音声信号の音声レベルの入力(高/低)を示すタイミングチャートである。図9(b)の音声信号は、説明の便宜上簡略化したエンベロープで描かれている。また、音声レベルが所定値以下(例えば0レベル)では、音声信号の入力はないものとし、所定値レベル以上で音声信号の入力があるものとする。実際には、ノイズ成分を考慮して適当な所定値を設定する。

図9(b)に示すように、時刻:T0から1つ目の音声信号S1の音声レベルが高く、時刻:T2で1つ目の音声信号S1の入力が終了する。その後、図9(c)に示すように、音声認識部94は、1つ目の音声信号S1の音声レベルが低い(0レベル)になった時刻:T2で、時刻:T0から発生が開始された音声信号S1を取り込んで波形分析する。そして、特徴パターンを抽出して音声認識する(図6(a)のステップS12)。この音声認識処理には所定時間を要し、図9(d)に示す時刻:T12で終了する。

図6(a)のフローに戻って、ステップS13において、音声認識部94は、音声認識が成功したか否かを判別し、音声認識が不成功の場合は本フローを終了する。

音声認識が成功したならば(Yes)、ステップS14において、音声認識部94は、音声認識結果を音声認識バッファ941(図7参照)に格納する。図7の例の場合、音声認識バッファ941には、オペレータが発声した音声認識結果「あおもり」が格納されている。また、図6の符号S31に示すように、音声認識バッファ941に保存した音声認識結果「あおもり」は、ステップS24の処理で参照される。

ステップS15において、商品特定部95は、図6の符号S32に示すように、オブジェクト認識乃至仮登録のフロー(図6(b)参照)による商品の仮登録の結果を取得して所定期間前に仮登録したか否かを判別する。
所定期間前に仮登録していないならば(No)、本音声認識乃至仮登録情報の更新のフローを終了する。
ここでは、オブジェクト認識による商品が仮登録されていないので、音声認識結果「あおもり」が音声認識バッファ941に格納されて本フローが終了する。
なお、所定期間前に仮登録されている場合(Yes)、ステップS16以降に進む。ステップS16〜18については後記する。

次に、図6(a)のフローとは並列動作している図6(b)のオブジェクト認識乃至仮登録のフローについて説明する。
オペレータは、あおもり」と発声するとともに、商品「リンゴ」をカメラ27にかざす。
オペレータが商品をカメラ27にかざすと、画像取得部90は、ステップS21の処理を開始する。
ステップS21において、画像取得部90は、カメラ27に撮像オン信号を出力してカメラ27による商品画像のキャプチャ(撮像)を開始する。画像取得部90は、カメラ27が撮像してRAM213に保存したフレーム画像(撮像画像)を取り込む。

図9(a)は、オブジェクト認識の開始および終了タイミングを示すタイミングチャートである。オブジェクト認識処理の開始(時刻:T1)から終了(時刻:T4)までの期間において、各フレーム画像をキャプチャすることでオブジェクトが認識される。本実施形態では、物体検出部91がオブジェクト認識処理を開始してから類似度判断部93が類似度を判断するまでの期間を含む一定期間を、オブジェクト認識処理の開始(時刻:T1)から終了(時刻:T4)までの期間としている。

図8(a)は、ディスプレイ221に表示される確認画面の例である。図8(a)の矢印は、商品登録操作にあたり、オペレータが、第1の買物カゴ4Lの商品を取り出して、読取窓52のカメラ27にかざす操作を表している。例えば、カメラ27は、商品「りんご」を撮像してフレーム画像(撮像画像)としてRAM213に保存する。

図6(b)のフローに戻って、ステップS22において、物体検出部91は、画像取得部90が取り込んだフレーム画像に対してオブジェクト認識処理を行い、商品である物体の全部または一部の認識(検出)を試みる。

ステップS23において、物体検出部91は、商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部91は、商品である物体の認識に成功したならば(Yes)、ステップS24の処理に進み、商品である物体の認識に成功しなかったならば(No)、本フローを終了する。ステップS21〜S23を具体的にいうと、オペレータが商品を読取窓52のカメラ27にかざし、商品識別装置2が、この商品である物体の検出に成功する一連の処理である。

上記ステップS23でオブジェクト認識が成功したならば(Yes)、ステップS24において、商品特定部95は、音声認識バッファ941の音声認識結果に基づいて、所定期間前に音声入力有りか否かを判別する。
この場合、音声認識バッファ941に音声認識結果「あおもり」が格納されており、これを参照して、ステップS24では所定期間前に音声入力が有り(Yes)と判断する。
所定期間前に音声入力が有るならば、ステップS25において、商品特定部95は、音声認識結果を識別補助情報とする。具体的には、商品特定部95は、音声認識結果「あおもり」を補助情報とする。

図6(b)のフローに戻って、ステップS26おいて、商品特定部95は、この識別補助情報を基に、商品マスタ(売上マスタ)から商品名・単価・個数を検索して呼び出す。具体的には、商品特定部95は、商品マスタ(売上マスタ)からこの商品の商品名「青森りんご」と商品単価「100円」とを検索して呼び出す。これにより、図8(b)に示すように、ディスプレイ221には、特定した商品「青森りんご」と商品単価「100円」が表示される。

ステップS27おいて、情報出力部97は、確定した取扱商品の商品IDなどをPOS端末3に出力して仮登録させる。これにより、POS端末3の売上登録部991は、この商品IDに基づき、商品を仮登録する。このとき確定通知部96は、確定商品の写真画像を含む確定画面をディスプレイ221に表示させるとともに、確定商品の商品名を音声で通知する。ステップS27の処理が終了すると、図6の処理が終了する。
また、ステップS27おいて、商品特定部95は、図6の符号S32に示すように、商品の仮登録の結果を記録し、ステップS15の処理で参照させる。

<音声補助情報による商品の個数決定>
商品「青森りんご」を認識したタイミングを含む所定期間後において、再び音声入力「ふたつ」と発声する場合には下記の処理となる。
オペレータが再び発声すると、音声認識部94は、ステップS11の処理を開始する。
ステップS11において、音声認識部94は、マイク28からオペレータの音声入力を受け付ける。音声認識部94は、オペレータから発せられた音声レベルが所定値以上である場合に音声入力があるとする。

ここでは、図9(b)に示すように、2つ目の音声信号S2の入力が時刻:T3から開始し、時刻:T5で終了する。2つ目の音声信号S2は、「ふたつ」である。
ステップS12において、音声認識部94は、オペレータが発声した音声信号を波形分析して特徴パターンを抽出し音声認識する。音声認識部94は、図9(d)に示すように、時刻:T5から時刻:T13において、オペレータの発声の「ふたつ」を音声認識する。なお、「青森りんご」の仮登録から「ふたつ」は、所定期間(例えば3秒)で発声されている。

ステップS13において、音声認識部94は、音声認識が成功したか否かを判別する。
音声認識が成功し(Yes)、ステップS14において、音声認識部94は、音声認識結果を音声認識バッファ941(図7参照)に格納する。この場合、音声認識バッファ941には、オペレータが発声した音声認識結果「ふたつ」が格納されている。

ステップS15において、商品特定部95は、図6の符号S32に示すように、オブジェクト認識乃至仮登録のフロー(図6(b)参照)による商品の仮登録の結果を取得して所定期間前に仮登録したか否かを判別する。この場合、ステップS27の処理により商品「青森りんご」が仮登録されている。このため、商品特定部95は、所定期間前に仮登録有り(Yes)と判断し、ステップS16に進む。
商品特定部95は、音声認識バッファ941に格納されている音声認識結果「ふたつ」を取得するので、ステップS24では所定期間前に音声入力が有り(Yes)と判断する。
ステップS16において、商品特定部95は、音声認識結果を識別補助情報とする。ここでは、音声認識結果「ふたつ」を補助情報とする。
ステップS17おいて、商品特定部95は、この識別補助情報を基に、商品マスタ(図示省略)から商品名・単価・個数を検索して呼び出す。具体的には、特定された商品「青森りんご」に対して補助情報として音声認識結果「ふたつ」用いて商品個数を決定する。
ステップS18おいて、商品特定部95は、商品の仮登録情報を更新して本フローを終了する。

図8および図9を再び参照して、再度の音声入力による音声認識結果を識別補助情報として用いて商品を特定する例について説明する。
再度の音声入力およびその音声認識処理により、特定商品「青森りんご」について、個数を決定している。例えば、オペレータは音声「ふたつ」を発音し、音声認識部94が「2点」であることを音声認識することで、特定した商品「青森りんご」が2点(2個)であると決定する。図9(d)に示すように、商品名検索結果は、時刻:T13までは個数の指定がなかったものが、時刻:T13からは個数「2点」となり、商品名「青森りんご」が「2点」であることが決定される。これにより、商品識別装置2は、この商品「青森りんご」の商品名と個数を確定することができる。

なお、図9の例は、商品を特定するオブジェクト認識が不成功である場合において、個数を決定するケースである。ここで、オブジェクト認識が不成功の場合には、音声認識を行うまでもなく、一意に商品が特定されている場合も含む。例えば、商品「りんご」が一種類しかない場合には、オペレータは商品名を特定する「あおもり」の発声は省略することができる。このように、オペレータは音声による個数の入力のみを行うことができる。図示は省略するが、図9(b)において1つ目の音声信号S1を取り去り、2つ目の音声信号S2(時刻:T13)で「あおもり」の発声を「ふたつ」の発声に変えたものとなる。ここで、2つ目の音声信号S2(時刻:T13)までの「あおもり」の発声を「キャンセル」の発声に変えることで、上記と同様の処理で、商品登録のキャンセルを行うことができる。

また、図5の特徴量ファイル361の「音声」に複数の音声を設定し、いずれかの音声を認識した場合であっても商品を特定できるようにしてもよい。例えば、商品「りんご」の場合、産地名「あおもり」に加えて、「つがる」を設定しておくようにすれば、「つがる」を発声すれば、「あおもり」を発声した場合と同様に商品「青森リンゴ」が特定される。また、図5の特徴量ファイル361の「音声」は、産地のほか愛称・通称であってもよい。例えば、商品「みかん」の場合、産地名「わかやま」に加えて、通称名「うんしゅう」を設定しておくようにすれば、「うんしゅう」を発声すれば、「わかやま」を発声した場合と同様に商品「温州みかん」が特定される。

この商品登録処理により、オペレータは、キーボード操作をすることなしに商品の売上登録や追加登録・キャンセルの操作ができる。特に、画像によるオブジェクト認識だけでは実現が困難であった商品の産地による特定や個数の指定、商品のキャンセルなどを簡単に行うことができ、作業効率を大幅に向上させることができる。

(変形例)
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の(a),(b)のようなものがある。
(a) 認識する音声はどのようなものでもよい。例えば、産地や愛称(通称)、個数のほか、キャンセルでもよく、これらの組合せでもよい。また、この音声認識の数や順序も任意である。
(b) カメラ27により撮影された商品を認識した期間が、マイク28によって入力されて認識した音声の期間と重なっていればよく、どのような重なり具合でもよい。例えば、図9(a)に示すように、オブジェクト認識の開始(時刻:T1)または終了(時刻:T4)のうち、いずれか一部が重なればよい。また、認識した音声の期間が、オブジェクト認識の開始(時刻:T1)から終了(時刻:T4)までの期間にすべて重なるものでもよい。

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
画像を撮影する撮影手段と、
音声を入力する音声入力手段と、
前記撮影手段により撮影された物体を認識したタイミングを含む前後所定期間において入力された前記音声を、前記物体認識の補助情報として用いて商品を認識する制御手段と、
を備えることを特徴とする商品登録装置。
<請求項2>
前記制御手段は、前記撮影手段により撮影された物体を認識したタイミングを含む前後所定期間において入力された前記音声に基づいて商品の個数を認識する、
ことを特徴とする請求項1に記載の商品登録装置。
<請求項3>
画像を撮影する撮影手段と、
音声を入力する音声入力手段と、
前記撮影手段により撮影された商品を認識したタイミングを含む前後所定期間において入力された前記音声に基づいて前記商品の登録または商品登録のキャンセルを実行する制御手段と、
を備えることを特徴とする商品登録装置。
<請求項4>
画像を撮影する撮影ステップと、
音声を入力する音声入力ステップと、
前記撮影ステップにより撮影された物体を認識したタイミングを含む前後所定期間において入力された前記音声を、前記物体認識の補助情報として用いて商品を認識する制御ステップと、
を含むことを特徴とする商品認識方法。
<請求項5>
画像を撮影する撮影ステップと、
音声を入力する音声入力ステップと、
前記撮影手段により撮影された商品を認識したタイミングを含む前後所定期間において入力された前記音声に基づいて前記商品の登録または商品登録のキャンセルを実行する制御ステップと、
を含むことを特徴とする商品認識方法。

1 商品登録装置
2 商品識別装置
21 マイクロコンピュータ
211 CPU (制御手段)
212 ROM
213 RAM
22 表示・操作部
221 ディスプレイ
222 タッチパネル
24 顧客用ディスプレイ
25 インタフェース
27 カメラ (撮像手段)
28 マイク
29 スピーカ
30 電源
3 POS端末
36 HDD
361 特徴量ファイル (辞書)
362 音声認識DB (辞書)
90 画像取得部
91 物体検出部
92 類似度演算部
93 類似度判断部
94 音声認識部
941 音声認識バッファ
95 商品特定部
96 確定通知部
97 情報出力部
99 売上登録部

Claims (8)

  1. 物体を画像として撮影する撮影手段と、
    音声を入力する音声入力手段と、
    前記物体が前記撮影手段により画像として撮影されたことを検出したタイミング後の所定期間に前記音声入力手段により入力された音声を、前記画像に基づいて前記物体を商品認識するための補助情報として用いて商品認識する制御手段と、
    を備え、
    前記制御手段は、前記物体が前記撮影手段により画像として撮影されたことを検出した際に、前記画像に基づいて前記物体を商品の上位分類は認識できたにも関わらず、商品の下位分類までは認識することができなかった場合には、前記下位分類を認識するために何れの種類の補助情報が必要であるのかを通知する通知情報を表示手段に表示させる、
    ことを特徴とする商品登録装置。
  2. 前記制御手段は、商品の前記上位分類は認識できたにも関わらず、前記下位分類として商品の産地までは認識することができなかった場合には、商品の産地を示す種類の補助情報が必要である旨を通知する通知情報を表示させるとともに、当該通知情報と並べて前記上位分類を表示させる、
    ことを特徴とする請求項1に記載の商品登録装置。
  3. 前記制御手段は、前記物体が前記撮影手段により画像として撮影されたことを検出した際に当該画像を前記表示手段に表示させ、
    前記通知情報を前記表示手段に表示させる際には前記画像中の物体と重ならないように表示させる、
    ことを特徴とする請求項1または2に記載の商品登録装置。
  4. 前記制御手段は、前記音声入力手段により入力された音声を補助情報として用いて商品の下位分類まで認識をした際に、前記通知情報に替えて前記下位分類を前記表示手段に表示させる、
    ことを特徴とする請求項1から3の何れか一項に記載の商品登録装置。
  5. 前記制御手段は、前記下位分類を前記表示手段に表示させる際に、前記商品の単価を並べて表示させる、
    ことを特徴とする請求項4に記載の商品登録装置。
  6. 前記制御手段は、前記音声入力手段により入力された音声を前記補助情報として用いて商品の下位分類まで認識をした後に、更に前記音声入力手段により音声が入力された際には当該音声を数情報として用いて商品の個数を特定する、
    ことを特徴とする請求項1から5の何れか一項に記載の商品登録装置。
  7. 物体を画像として撮影する撮影ステップと、
    音声を入力する音声入力ステップと、
    前記物体が前記撮影ステップにより画像として撮影されたことを検出したタイミング後の所定期間に前記音声入力ステップにより入力された音声を、前記画像に基づいて前記物体を商品認識するための補助情報として用いて商品認識する制御ステップと、
    を含み、
    前記制御ステップにおいて、前記物体が前記撮影ステップにより画像として撮影されたことを検出した際に、前記画像に基づいて前記物体を商品の上位分類は認識できたにも関わらず、商品の下位分類までは認識することができなかった場合には、前記下位分類を認識するために何れの種類の補助情報が必要であるのかを通知する通知情報を表示手段に表示させる、
    ことを特徴とする商品認識方法。
  8. コンピュータを、
    物体が撮影手段により画像として撮影されたことを検出したタイミング後の所定期間に音声入力手段により入力された音声を、前記画像に基づいて前記物体を商品認識するための補助情報として用いて商品認識する制御手段、
    として機能させ、
    前記制御手段は、前記物体が前記撮影手段により画像として撮影されたことを検出した際に、前記画像に基づいて前記物体を商品の上位分類は認識できたにも関わらず、商品の下位分類までは認識することができなかった場合には、前記下位分類を認識するために何れの種類の補助情報が必要であるのかを通知する通知情報を表示手段に表示させる、
    ことを特徴とするプログラム。
JP2014255521A 2014-12-17 2014-12-17 商品登録装置、商品認識方法、およびプログラム Active JP6428240B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014255521A JP6428240B2 (ja) 2014-12-17 2014-12-17 商品登録装置、商品認識方法、およびプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014255521A JP6428240B2 (ja) 2014-12-17 2014-12-17 商品登録装置、商品認識方法、およびプログラム
US14/936,454 US20160180174A1 (en) 2014-12-17 2015-11-09 Commodity registration device and commodity registration method
CN201510954879.8A CN105719412A (zh) 2014-12-17 2015-12-17 商品注册装置以及商品注册方法

Publications (2)

Publication Number Publication Date
JP2016115279A JP2016115279A (ja) 2016-06-23
JP6428240B2 true JP6428240B2 (ja) 2018-11-28

Family

ID=56129802

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014255521A Active JP6428240B2 (ja) 2014-12-17 2014-12-17 商品登録装置、商品認識方法、およびプログラム

Country Status (3)

Country Link
US (1) US20160180174A1 (ja)
JP (1) JP6428240B2 (ja)
CN (1) CN105719412A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170193290A1 (en) * 2016-01-06 2017-07-06 Toshiba Tec Kabushiki Kaisha Commodity registration apparatus and commodity registration method
JP2018101292A (ja) * 2016-12-20 2018-06-28 東芝テック株式会社 情報処理装置及びプログラム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5083638A (en) * 1990-09-18 1992-01-28 Howard Schneider Automated point-of-sale machine
US5426282A (en) * 1993-08-05 1995-06-20 Humble; David R. System for self-checkout of bulk produce items
JPH07244782A (ja) * 1994-03-04 1995-09-19 Ishida Co Ltd キャッシュコーナ
US5546475A (en) * 1994-04-29 1996-08-13 International Business Machines Corporation Produce recognition system
US5839104A (en) * 1996-02-20 1998-11-17 Ncr Corporation Point-of-sale system having speech entry and item recognition support system
JP2000249595A (ja) * 1999-03-01 2000-09-14 Ishida Co Ltd 商品処理システム
JP2001319275A (ja) * 2000-05-12 2001-11-16 Shinei:Kk セルフオーダーエントリシステム
EP1523737B1 (en) * 2002-05-17 2014-06-11 Fujitsu Frontech North America Inc. Self-checkout method and apparatus
US7845554B2 (en) * 2000-10-30 2010-12-07 Fujitsu Frontech North America, Inc. Self-checkout method and apparatus
CN100514376C (zh) * 2005-05-23 2009-07-15 东芝泰格有限公司 商品销售注册处理系统
US8876001B2 (en) * 2007-08-07 2014-11-04 Ncr Corporation Methods and apparatus for image recognition in checkout verification
US20090113475A1 (en) * 2007-08-21 2009-04-30 Yi Li Systems and methods for integrating search capability in interactive video
JP2009163331A (ja) * 2007-12-28 2009-07-23 Toshiba Tec Corp 商品販売データ処理装置及びコンピュータプログラム
US8260455B2 (en) * 2008-12-05 2012-09-04 Siemens Industry, Inc. Address label re-work station
JP5579202B2 (ja) * 2012-01-16 2014-08-27 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP5372191B2 (ja) * 2012-01-30 2013-12-18 東芝テック株式会社 商品読取装置及び商品読取プログラム
JP2013191180A (ja) * 2012-03-15 2013-09-26 Ishida Co Ltd Pos端末装置
JP5553866B2 (ja) * 2012-07-23 2014-07-16 東芝テック株式会社 商品認識装置及び認識辞書追加プログラム
JP5747014B2 (ja) * 2012-11-05 2015-07-08 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP5936993B2 (ja) * 2012-11-08 2016-06-22 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP5744824B2 (ja) * 2012-12-03 2015-07-08 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP5760022B2 (ja) * 2013-02-28 2015-08-05 東芝テック株式会社 商品情報表示装置及びコンピュータプログラム
JP5848734B2 (ja) * 2013-08-30 2016-01-27 東芝テック株式会社 商品登録装置
JP5865316B2 (ja) * 2013-08-30 2016-02-17 東芝テック株式会社 商品登録装置およびプログラム
US20150100445A1 (en) * 2013-10-08 2015-04-09 Toshiba Global Commerce Solutions Holdings Corporation Systems and methods for interaction with objects to implement a retail function
JP6180285B2 (ja) * 2013-11-06 2017-08-16 キヤノン株式会社 撮像装置、撮像方法、及びプログラム
US9613448B1 (en) * 2014-03-14 2017-04-04 Google Inc. Augmented display of information in a device view of a display screen
WO2015168306A1 (en) * 2014-04-30 2015-11-05 Eye Stalks Corporation Dba Bay Sensors Methods, systems, and apparatuses for visitor monitoring
US20150339647A1 (en) * 2014-05-23 2015-11-26 Toshiba Tec Kabushiki Kaisha Commodity information input apparatus and commodity information input method
JP6369258B2 (ja) * 2014-09-22 2018-08-08 カシオ計算機株式会社 商品登録装置、商品登録方法およびプログラム

Also Published As

Publication number Publication date
CN105719412A (zh) 2016-06-29
JP2016115279A (ja) 2016-06-23
US20160180174A1 (en) 2016-06-23

Similar Documents

Publication Publication Date Title
JP4824793B2 (ja) ウエアラブル端末装置及びプログラム
EP2423891B1 (en) Store system and a sales registration method
JP2010198137A (ja) 定置スキャナ、pos端末、決済商品選別方法、決済商品選別プログラムおよびプログラム記録媒体
CN102375977B (zh) 店铺系统及商品销售数据处理方法
US9042660B2 (en) Information processing apparatus and information processing method
JP5579202B2 (ja) 情報処理装置、店舗システム及びプログラム
US9025816B2 (en) Image processing apparatus and method for object recognition
JP5485954B2 (ja) 店舗システム及びプログラム
US20150213425A1 (en) Commodity data registration apparatus, checkout system and checkout data transmission method
JP5132733B2 (ja) 店舗システムおよびプログラム
JP2014021915A (ja) 商品認識装置及び認識辞書追加プログラム
CN102842190B (zh) 结账装置及商品销售数据处理方法
US20130057670A1 (en) Information processing apparatus and method
US20120047040A1 (en) Store system and sales registration method
CN103226687A (zh) 商品读取装置及商品读取方法
US20140140574A1 (en) Commodity recognition apparatus and commodity recognition method
CN102431692A (zh) 标签发放装置及标签发放方法
US8505817B2 (en) Code reading apparatus and code reading method
JP5707375B2 (ja) 商品認識装置及び商品認識プログラム
US20130054397A1 (en) Store system and method
US9036870B2 (en) Commodity recognition apparatus and commodity recognition method
JP5744824B2 (ja) 商品認識装置及び商品認識プログラム
JP2013069259A (ja) 情報処理装置およびプログラム
JP5551143B2 (ja) 店舗システムおよびプログラム
US10108830B2 (en) Commodity recognition apparatus and commodity recognition method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180417

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180724

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181015

R150 Certificate of patent or registration of utility model

Ref document number: 6428240

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150