JP5927147B2 - 商品認識装置及び商品認識プログラム - Google Patents

商品認識装置及び商品認識プログラム Download PDF

Info

Publication number
JP5927147B2
JP5927147B2 JP2013146821A JP2013146821A JP5927147B2 JP 5927147 B2 JP5927147 B2 JP 5927147B2 JP 2013146821 A JP2013146821 A JP 2013146821A JP 2013146821 A JP2013146821 A JP 2013146821A JP 5927147 B2 JP5927147 B2 JP 5927147B2
Authority
JP
Japan
Prior art keywords
frame
product
image
candidate
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013146821A
Other languages
English (en)
Other versions
JP2015018506A (ja
Inventor
洋二 角田
洋二 角田
Original Assignee
東芝テック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 東芝テック株式会社 filed Critical 東芝テック株式会社
Priority to JP2013146821A priority Critical patent/JP5927147B2/ja
Publication of JP2015018506A publication Critical patent/JP2015018506A/ja
Application granted granted Critical
Publication of JP5927147B2 publication Critical patent/JP5927147B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object or an image, setting a parameter value or selecting a range
    • G06F3/04842Selection of a displayed object
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23293Electronic viewfinders
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K2209/00Indexing scheme relating to methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K2209/17Recognition of food, fruit, vegetables
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Description

本発明の実施形態は、カフェテリア形式の食堂施設等で利用される商品認識装置及びコンピュータを当該商品認識装置として機能させるための商品認識プログラムに関する。

カフェテリア形式の食堂施設では、予め用意された料理を利用者自身がトレイに盛り付け、若しくは給仕員に盛り付けてもらい、最後に会計を行う。会計は、通常、キャッシャがトレイに盛られた料理を1品ずつ金銭登録装置に登録して行う。このため、カフェテリア形式の食堂施設では会計に時間を要するという問題があり、この問題を解決するために様々な提案がなされている。しかしながら、従来提案されている認識装置は、商品(料理)が盛り付けられた容器を認識する。このため、容器は認識装置で認識可能なものに制約される。このように容器に自由度がないため、運用しづらい。

特開平8−180099号公報 特開2001−216571号公報

本発明の実施形態が解決しようとする課題は、効率よく運用され、認識結果に誤りがあった場合でも、簡単な操作で容易に訂正することができる商品認識装置及び商品認識プログラムを提供することである。

一実施形態において、商品認識装置は、取込手段、表示部、入力受付手段、画像表示手段、枠表示手段、認識手段、第1の出力手段、変更受付手段、第2の出力手段制御手段及び判定手段を含む。取込手段は、撮像部で撮影された画像を取り込む。表示部は、取込み手段により取り込まれた画像を表示する。入力受付手段は、表示部に表示される画像上の任意の箇所への指示入力を受け付ける。枠表示手段は、入力受付手段により指示入力を受け付けたことに応じて画像上に商品を囲うための枠を表示させる。認識手段は、枠によって囲われた領域内の画像の特徴量から枠内に映し出されている商品の候補を認識する。第1の出力手段は、認識手段により認識された商品の候補のなかで最有力候補の商品に係る情報を出力する。変更受付手段は、候補の変更指示を受け付ける。第2の出力手段は、候補の変更指示を受け付けると、候補の中から選出された最有力候補以外の商品に係る情報を出力する。制御手段は、入力受付手段により指示入力を受け付けるまでは画像の取込みを繰り返して表示部に取り込んだ画像を表示させ、指示入力を受け付けると画像の取込みを止めて表示部の画像を静止画とする。判定手段は、入力受付手段により画面へのタッチによる指示入力を受付けた箇所が、枠表示手段により表示された枠の内側か否かを判定する。そして枠の外側と判定された場合には枠表示手段が動作し、枠の内側と判定された場合には変更受付手段が動作する。

商品認識装置の一実施形態を示す外観図。 同商品認識装置の要部構成を示すブロック図。 認識辞書ファイルのデータ構造を示す模式図。 同商品認識装置の機能ブロック図。 同商品認識装置のRAMに形成される主要なメモリエリアを示す模式図。 同商品認識装置のCPUが商品認識プログラムに従って実行する情報処理手順の要部を示す流れ図。 図6における画像認識処理の手順を具体的に示す流れ図。 図6の判断ブロックAct13にてYESと判断された後の情報処理手順の示す流れ図。 図6の判断ブロックAct14にてYESと判断された後の情報処理手順の示す流れ図。 図6の判断ブロックAct7にてYESと判断された後の情報処理手順の示す流れ図。 商品認識装置のパネル表示部に表示される画面の一例を示す模式図。 図11に示す画面から料理品目がタッチされた後の画面例を示す模式図。 図12に示す画面から料理品目が認識された後の画面例を示す模式図。 図13に示す画面から別の料理品目がタッチされた後の画面例を示す模式図。 図14に示す画面から料理品目が認識された後の画面例を示す模式図。 図15に示す画面から枠内がタッチされた後の画面例を示す模式図。 図16に示す画面から料理品目が認識された後の画面例を示す模式図。

以下、商品認識装置の実施形態について説明する。
なお、本実施形態は、社員食堂や学生食堂のようにカフェテリア形式の食堂施設に設置される場合である。

はじめに、本実施形態の商品認識装置は、一般物体認識(generic object recognition)の技術を採用する。一般物体認識とは、対象となる物品(オブジェクト)をカメラで撮像した画像データから当該物品の種別等を認識する技術である。コンピュータは、画像データからこの画像に含まれる物品の外観特徴量を抽出する。そしてコンピュータは、認識辞書ファイルに登録された基準画像の特徴量データと照合して類似度を算出し、この類似度に基づいて当該物品の種別等を認識する。画像中に含まれる物品を認識する技術については、下記の文献に解説されている。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16[平成22年8月10日検索],インターネット< URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクト毎に領域分割することによって一般物体認識を行う技術については、下記の文献に解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット< URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf >
図1は、本実施形態に係る商品認識装置1の外観図である。会計カウンタ2の卓面2A上に設置される商品認識装置1は、板状のボディ部11Aと庇部11Bとを含む。ボディ部11Aは、正面が手前側を向くように卓面2Aの奥側の縁に沿って立設される。庇部11Bは、ボディ部11Aの正面上端部から、上記正面に対して略直交する方向に突出する。このため庇部11Bの下面は、卓面2Aと対向する。

庇部11Bは、撮像部12を内蔵する。また庇部11Bは、下面に読取窓(不図示)を形成する。撮像部12は、エリアイメージセンサであるCCD(Charge Coupled Device)撮像素子及びその駆動回路と、撮像領域の画像をCCD撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、上記読取窓から撮像レンズを通してCCD撮像素子のエリアに結像する画像の領域を指す。撮像部12は、撮像レンズを通ってCCD撮像素子に結像した撮像領域の画像を出力する。なお、撮像部12は、CCD撮像素子を用いたものに限定されるものではなく、例えばCMOS(complementary metal oxide semiconductor)イメージセンサを用いたものであってもよい。

商品認識装置1は、さらに操作パネル13とICカードリーダ・ライタ(以下、カードRWと略称する)18とを含む。操作パネル13は、ボディ部11Aの頂部に取り付けられる。操作パネル13は、ボディ部11Aの正面側を操作面とする。そして操作パネル13は、上記操作面に、キーボード14、タッチパネル15及びレシート発行口16を配置する。レシート発行口16は、操作パネル13内に内蔵されたレシートプリンタ17で印字されたレシートを発行する。

カードRW18は、操作パネル13の一側面に取り付けられる。カードRW18は、ICカードに対してデータの読み取り及び書き込みを実施する。ICカードは、固有のユーザIDと電子マネーデータとを記憶する。すなわちICカードは、ユーザID機能と電子マネー機能とを有する。食堂施設を利用するユーザ(社員、学生等)は、自己のICカードを所持する。

卓面2Aにおけるボディ部11Aの手前側の領域2Bは、商品である料理が盛り付けられた容器3を載置するためのスペースとなる。この領域2Bは、前記撮像部12の撮像領域に含まれる。すなわち撮像部12は、料理が盛り付けられた容器3を撮影する。なお、図1では容器3として楕円状の1枚のトレイを例示しているが、容器3の形状や数は特に限定されるものではない。要は、食堂施設の利用者が予め用意された料理を盛り付けて会計カウンタ2まで持ってくることができる食器またはトレイであり、かつ、領域2Bの範囲内に置くことができればよい。

図2は、商品認識装置1の要部構成を示すブロック図である。商品認識装置1は、CPU(Central Processing Unit)21、ROM(Read Only Memory)22、RAM(Random Access Memory)23及び補助記憶デバイス24を備える。そして商品認識装置1は、アドレスバス,データバス等のバスライン25を介して、CPU21と、ROM22、RAM23及び補助記憶デバイス24とを接続する。

CPU21は、コンピュータの中枢部分に相当する。CPU21は、オペレーティングシステムやアプリケーションプログラムに従って、商品認識装置1としての各種の機能を実現するべく各部を制御する。

ROM22は、上記コンピュータの主記憶部分に相当する。ROM22は、上記のオペレーティングシステムやアプリケーションプログラムを記憶する。ROM22は、CPU21が各種の処理を実行する上で必要なデータを記憶する場合もある。

RAM23は、上記コンピュータの主記憶部分に相当する。RAM23は、CPU21が各種の処理を実行する上で必要なデータを必要に応じて記憶する。またRAM23は、CPU21が各種の処理を行う際のワークエリアとしても利用される。

補助記憶デバイス24は、上記コンピュータの補助記憶部分に相当する。補助記憶デバイス24は、例えばEEPROM(electric erasable programmable read-only memory)、ハードディスクドライブ、あるいはSSD(solid state drive)などである。補助記憶デバイス24は、CPU21が各種の処理を行う上で使用するデータや、CPU21での処理によって生成されたデータを保存する。補助記憶デバイス11は、上記のアプリケーションプログラムを記憶する場合もある。

商品認識装置1は、バスライン25に通信インターフェース26を接続する。そして商品認識装置1は、この通信インターフェース26を介してデータベースサーバ41にアクセスする。データベースサーバ41は、ユーザデータベース40を備える。ユーザデータベース40は、各ユーザのユーザIDに関連付けて、性別,年齢等の個人情報や、当該食堂施設の利用履歴に関する情報等を記憶する。

商品認識装置1は、図示しない入出力回路を介して、撮像部12、キーボード14、タッチパネル15、レシートプリンタ17及びカードRW18を接続する。タッチパネル15は、パネル表示部151と、このパネル表示部151の画面上に重ねて配置されたタッチパネルセンサ152とからなる。

かかる構成の商品認識装置1は、認識辞書ファイル50を有する。認識辞書ファイル50は、補助記憶デバイス24に保存される。なお、認識辞書ファイル50の保存先は、補助記憶デバイス24に限定されるものではない。例えばRAM23であってもよい。あるいは、通信インターフェース26を介して接続される外部機器の記憶装置に保存されていてもよい。

図3は、認識辞書ファイル50のデータ構造を示す模式図である。認識辞書ファイル50は、当該食堂施設でユーザに提供される料理品目毎の認識辞書データを記憶する。認識辞書データは、メニューID、メニュー名称、価格、熱量及び外観特徴パラメータの各項目を含む。メニューIDは、料理品目を個々に識別するコードである。メニュー名称は、対応するメニューIDで識別される料理品目の固有名称である。価格は、対応するメニューIDで識別される料理品目の1単位量当たりの販売価格(円)である。熱量は、対応するメニューIDで識別される料理品目の標準分量に対して導出されるパラメータである。外観特徴パラメータは、対応するメニューIDで識別される料理品目の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。

かかる構成の商品認識装置1は、図4に示すように、取込手段61、画像表示手段62、枠表示手段63、認識手段64、第1の出力手段65、変更受付手段66、第2の出力手段67、入力受付手段68及び判定手段69を含む。

取込手段61は、撮像部12で撮影された画像を取り込む。画像表示手段62は、取込手段61により取り込んだ画像を表示部であるタッチパネル15に表示させる。枠表示手段63は、タッチパネル15に表示される画像上の任意の1乃至複数箇所に商品(料理)を囲うための枠を表示させる。認識手段64は、枠によって囲われた領域内の画像の特徴量から枠内に映し出されている商品の候補を認識する。第1の出力手段65は、認識手段64により認識された商品の候補のなかで最有力候補の商品に係る情報を出力する。変更受付手段66は、第1の出力手段65で出力された商品の候補の変更指示を受け付ける。第2の出力手段67は、変更受付手段66による商品の候補の変更指示を受け付けると、商品の候補の中から選出された最有力候補以外の商品に係る情報を出力する。入力受付手段68は、タッチパネル15に表示される画像上の任意の箇所への指示入力を受け付ける。判定手段69は、入力受付手段68により指示入力を受付けた箇所が、枠表示手段63により表示された枠の内側か否かを判定する。そして、枠の外側と判定された場合には枠表示手段63が動作し、枠の内側と判定された場合には変更受付手段66が動作する。

かかる機能を実現するために、商品認識装置1は、ROM22または補助記憶デバイス24に商品認識プログラムを記憶する。また商品認識装置1は、図5に示すように、カウント値nの品数カウンタ71と、候補メモリ72と、明細メモリ73とを、RAM23に形成する。

候補メモリ72は、枠番号の順に、後述する画像認識処理により第1候補から第4候補まで認識されたメニュー品目のメニューIDを格納する領域721と、候補番号mを格納する領域722とを有する。

明細メモリ73は、枠番号の順に、削除マーク座標(X0,Y0)、メニューID、メニュー名称、価格、熱量からなる明細レコードを格納する領域731と、合計価格及び合計熱量を格納する領域732とを有する。各項目については、後述する。

商品認識プログラムが起動すると、CPU21は、図6〜図10の流れ図に示す手順の処理を開始する。なお、図6〜図10に示すとともに以下に説明する処理の内容は一例であって、同様な結果を得ることが可能な様々な処理を適宜に利用できる。

CPU21は、カードRW18で前記ICカードが読み取られるのを待機する(Act1)。ICカードが読み取られるまでは(Act1にてNO)、Act2の処理に進まない。ICカードが読み取られると(Act1にてYES)、CPU21は、Act2の処理に進む。すなわちCPU21は、品数カウンタ71を“0”にリセットする(Act2)。

CPU21は、撮像部12で撮影されている画像(フレーム画像)を取り込む(Act3:取込手段61)。そしてCPU21は、この撮影画像をタッチパネル15のパネル表示部151に表示させる(Act4:画像表示手段62)。

図11は、撮影画像81が表示されたパネル表示部151の一画面例である。図示するように画面には、撮影画像81の他に、合計金額欄82、総カロリー欄83、確定ボタン84及び取消ボタン85が表示される。

パネル表示部151の画面に撮影画像81が表示されると、CPU21は、その画面がタッチされたか否かを確認する(Act5)。画面がタッチされていない場合(Act5にてNO)、CPU21は、品数カウンタ71を調べる(Act6)。品数カウンタ71が“0”にリセットされていた場合(Act6にてNO)、CPU21は、Act3の処理に戻る。すなわちCPU21は、撮像部12から次の撮影画像を取込み(Act3)、パネル表示部151に表示させる(Act4)。

CPU21は、画面がタッチされるまで撮影画像の取込みと表示とを繰り返す。画面がタッチされると(Act5にてYES)、CPU21は、画面のどの領域がタッチされたかを調べる(Act7,Act8)。確定ボタン84または取消ボタン85の領域ではなく(Act7にてNO)、撮影画像81の領域でもない場合(Act8にてNO)、CPU21は、Act5の処理に戻る。すなわち、タッチ入力は無視される。

撮影画像81の領域がタッチされた場合(Act8にてYES)、CPU21は、タッチ位置の座標(X,Y)を検出する(Act9:入力受付手段68)。座標(X,Y)は、基準点、例えば撮影画像81の領域の左下角を二次元座標の原点(0,0)とし、この原点(0,0)から右方向をX方向、上方向をY方向と定義する。そしてCPU21は、原点(0,0)からタッチ位置までのX方向の距離とY方向の距離とを求め、座標(X,Y)に変換する。

CPU21は、品数カウンタ71を調べる(Act10)。品数カウンタ71が“0”にリセットされている場合(Act10にてNO)、CPU21は、画像の認識領域を決定し、その領域を囲う枠91を撮影画像81の領域内に表示する。すなわちCPU21は、図12に示すように、タッチ位置座標(X,Y)を中心として、縦の長さがaで横の長さがbの四角形の枠91を表示させる(Act11:枠表示手段63)。このときの枠91の色は、デフォルトの色、例えば黒とする。

CPU21は、画像認識処理を実行する(Act12)。図7は、画像認識処理の具体的手順を示す流れ図である。先ず、CPU21は、品数カウンタ71を“1”だけカウントアップする(Act21)。また、CPU21は、枠91で囲われた画像から、輪郭形状、表面の色合い、模様、凹凸状況等の外観特徴量を抽出する(Act22)。そしてCPU21は、認識辞書ファイル50に登録されている全てのメニュー品目のレコードについて、上記特徴量が当該レコードの外観特徴パラメータとどの程度類似しているかを示す類似度を算出する(Act23)。

全メニュー品目に対して類似度を算出したならば、CPU21は、類似度の高い順に1位から4位までのメニュー品目を選択する。そしてこれら1位から4位までのメニュー品目のメニューIDを、候補メモリ72における枠番号n(nは、品数カウンタ71のカウント値)の第1候補から第4候補までの領域721に順次格納する(Act24:認識手段64)。すなわち、類似度が最も高いメニュー品目のメニューIDを第1候補の領域に格納し、2番目に高いメニュー品目のメニューIDを第2候補の領域に格納する。以下、3番目に高いメニュー品目のメニューIDを第3候補の領域に格納し、4番目に高いメニュー品目のメニューIDを第4候補の領域に格納する。

CPU21は、候補メモリ72における枠番号nの候補番号mを“1”とする(Act25)。そしてCPU21は、第m候補(mは候補番号)のメニューIDで特定されるメニュー品目の情報(メニューID、メニュー名称、価格及び熱量)を認識辞書ファイル50から取得する(Act26)。またCPU21は、枠91の右上角の座標を削除マーク座標(X0,Y0)として算出する(Act27)。

CPU21は、明細メモリ73の枠番号nの明細レコードに、上記削除マーク座標(X0,Y0)とメニュー品目情報とをセットする(Act28)。次いでCPU21は、図13に示すように、削除マーク座標(X0,Y0)のポジションに削除マーク92を表示させる。また、CPU21は、枠91内に当該メニュー品目情報のメニュー名称、価格及び熱量を表示させる(Act29:第1の出力手段65)。さらにCPU21は、明細メモリ73のデータから合計金額と合計熱量とを算出し、画面の合計金額欄82と総カロリー欄83とにそれぞれ表示させる(Act30)。以上で、画像認識処理は終了する。

画像認識処理が終了すると、CPU21は、Act5の処理に戻る。すなわちCPU21は、パネル表示部151の画面がタッチされたか否かを確認する(Act5)。そして、画面がタッチされていない場合には(Act5にてNO)、CPU21は、品数カウンタ71を調べる(Act6)。

このとき、品数カウンタ71はカウントアップされているので(Act6にてYES)、CPU21は、Act5の処理に戻る。したがってCPU21は、撮影画像の取り込みを行わない。その結果、パネル表示部151には、前回取り込んだ撮影画像がそのまま静止画として表示される。

画面がタッチされた場合(Act5にてYES)、CPU21は、画面のどの領域がタッチされたかを調べる(Act7,Act8)。ここで、再び撮影画像81の領域がタッチされた場合(Act8にてYES)、CPU21は、タッチ位置の座標(X,Y)を検出する(Act9)。このとき、品数カウンタ71はカウントアップされている。したがって、Act10の処理では“YES”に進む。すなわちCPU21は、削除マーク92がタッチされたのか、認識領域の枠91内がタッチされたのか、枠91外がタッチされたのかを判断する(Act13,14:判定手段69)。

具体的にCPU21は、タッチ位置座標(X,Y)を明細メモリ73に格納されている各明細レコードの削除マーク座標(X0,Y0)と照合する。そして、タッチ位置座標(X,Y)と略一致する削除マーク座標(X0,Y0)が存在する場合には、削除マーク92がタッチされたと判断する。また、タッチ位置座標(X,Y)がいずれかの枠91の領域内の座標と一致する場合には、枠91内がタッチされたと判断する。タッチ位置座標(X,Y)が上記のいずれでもない場合には、枠91外がタッチされたと判断する。

枠91外がタッチされたと判断された場合(Act13,14にてNO)、CPU21は、Act11の処理に進む。すなわちCPU21は、図14に示すように、そのタッチ位置座標(X,Y)を中心として、縦の長さがaで横の長さがbの四角形の枠91aを表示させる(Act11:枠表示手段63)。そしてCPU21は、この枠91a内の画像認識処理を実行する。その結果、品番カウンタnがさらにカウントアップされる。そして、候補メモリ72の枠番号nの第1候補から第4候補までの領域721に、類似度の高い順に1位から4位までのメニュー品目のメニューIDが格納される。また、明細メモリ73の枠番号nの明細レコードに、削除マーク座標(X0,Y0)とともに第1候補(類似度1位)のメニュー品目の情報がセットされる。そして、図15に示すように、枠91a内に当該メニュー品目情報のメニュー名称、価格及び熱量が表示される。また、合計金額と合計熱量とが更新される。

削除マーク92がタッチされたと判断された場合(Act13にてYES)、CPU21は、図8の流れ図に示す処理に進む。すなわちCPU21は、タッチ位置座標(X,Y)と略一致する削除マーク座標(X0,Y0)を含む明細レコードから、枠番号Pを検出する(Act41)。そしてCPU21は、この枠番号Pで識別される枠91を画面から消去する(Act42:消去手段68)。またCPU21は、明細メモリ73から当該枠番号Pのレコードを消去する(Act43)。さらにCPU21は、明細メモリ73のデータから合計金額と合計熱量とを再計算し、合計金額欄82と総カロリー欄83の表示を更新する(Act44)。

しかる後、CPU21は、品数カウンタ71を“1”だけカウントダウンする(Act45)。そしてCPU21は、品数カウンタ71のカウント値nが“0”であるか否かを確認する(Act46)。カウント値nが“0”でない場合(Act46にてNO)、CPU21は、Act5の処理に戻る。カウント値nが“0”になった場合には(Act46にてYES)、CPU21は、Act3の処理に戻る。

したがって、カウント値nが“0”でない場合には、CPU21は、新たな撮影画像の取り込みを行わない。このためパネル表示部151に表示されている撮影画像は変化しない。しかし、カウント値nが“0”になった場合には、CPU21は、撮影画像の取り込みを再開する。このため、パネル表示部151に表示される撮影画像が最新の画像に更新される。

枠91内がタッチされたと判断された場合(Act13にてNO、Act14にてYES:変更受付手段66)、図9の流れ図に示す処理に進む。すなわちCPU21は、タッチ位置座標(X,Y)が存在する枠91を形成する削除マーク座標(X0,Y0)を含む明細レコードから、枠番号Qを検出する(Act51)。そしてCPU21は、候補メモリ72の当該枠番号Qに対応した候補番号mを“1”だけ加算する(Act52)。

CPU21は、候補番号mが候補数の最大値M(本実施形態では”4”)を超えたか否かを判断する(Act53)。そして候補番号mが最大値Mを超えた場合(Act53にてYES)、CPU21は、候補番号mを“1”に戻す(Act54)。候補番号mが最大値Mを超えない場合には(Act53にてNO)、候補番号mは変更しない。

CPU21は、第m候補(mは候補番号)のメニューIDで特定されるメニュー品目の情報(メニューID、メニュー名称、価格及び熱量)を認識辞書ファイル50から取得する(Act55)。そしてCPU21は、明細メモリ73の枠番号nの明細レコードにおけるメニュー品目情報を今回のメニュー品目情報に書き換える(Act56:第2の出力手段67)。またCPU21は、枠番号Qの枠91内に表示されているメニュー名称、価格及び熱量を、今回のメニュー品目情報に変更する(Act57)。そしてCPU21は、明細メモリ73のデータから合計金額と合計熱量とを再算出し、合計金額欄82と総カロリー欄83の値を更新する(Act58)。さらにCPU21は、枠番号Qの枠91の色を第m候補に対応した色に変更する(Act59)。すなわち本実施形態では、枠91の色として少なくとも4種類を用意しており、この枠91内に表示されるメニュー品目の候補順位に応じて、枠91の色を変更する。しかる後、CPU21は、Act21の処理に戻る。

したがって、ユーザが枠91内をタッチする毎に、その枠内のメニュー品目情報が、候補順位1位から順に下位のメニュー品目の情報に切り替わる。そして候補順位が最下位のメニュー品目情報が表示された枠内をさらにタッチすると、枠内のメニュー品目情報は
候補順位1位のメニュー品目の情報に戻る。

ボタン画像がタッチされた場合(Act7にてYES)、CPU21は、確定ボタン84または取消ボタン85のどちらがタッチされたかを確認する(Act61)。確定ボタン84がタッチされた場合(Act31にて「確定」)、CPU21は、Act62〜Act64の各処理を実行する。

Act62では、CPU21は、電子マネーによる決済処理を実行する。すなわちCPU21は、カードRW18を介してICカードの電子マネーデータから合計価格分のデータを減じる。Act63では、CPU21は、明細メモリ73のデータに基づいてレシートデータを編集する。そしてCPU21は、レシートデータをプリンタ17に出力して、レシートの発行を制御する。Act64では、CPU21は、明細メモリ73のデータとICカードのユーザIDとでユーザ履歴情報を編集する。そしてCPU21は、通信インターフェース26を介してユーザ履歴情報をデータベースサーバ41に送信する。データベースサーバ41では、ユーザデータベース40にユーザ履歴情報がユーザID別に蓄積される。

Act62〜Act64の処理が終了すると、CPU21は、パネル表示部151の画面を初期化する(Act65)。またCPU21は、候補メモリ72と明細メモリ73とをクリアする(Act66)。

これに対し、取消ボタン85がタッチされた場合には(Act61にて「取消」)、CPU21は、上記Act62〜Act64の処理を実行しない。CPU21は、パネル表示部151の画面を初期化する(Act65)。またCPU21は、候補メモリ72と明細メモリ73とをクリアする(Act66)。以上で、1ユーザに対する商品認識プログラムの処理が終了する。

本実施形態の商品認識装置1が設置されたカフェテリア形式の食堂施設では、ユーザは、料理が盛り付けられた容器3を会計カウンタ2の領域2B内に置く。そしてユーザは、自らのICカードのデータをカードRW18に読み取らせる。そうすると、図11に示すように、タッチパネル15の画面に撮影画像81が表示されるので、ユーザは、容器3に盛り付けられた料理の画像に1品ずつタッチする。

今、ユーザが容器3の左上に盛られた料理の画像にタッチしたとする。そうすると、図12に示すように、タッチ位置座標(X,Y)を中心とする枠91が撮影画像81上に表示される。そして商品認識装置1では、この枠91内の料理の認識処理が実行されて、類似度が高い順に候補順位1位から4位までのメニュー品目が選択される。そして、図13に示すように、候補順位1位のメニュー品目の名称、価格、熱量が枠91内に表示される。また、枠91には削除マーク92が表示される。認識された料理の合計金額及び総カロリーも表示される。

次に、ユーザが容器3の中央上側に盛られた料理の画像にタッチしたとする。そうすると、図14に示すように、タッチ位置座標(X,Y)を中心とする枠91aが撮影画像81上に表示される。そして商品認識装置1では、この枠91a内の料理の認識処理が実行されて、類似度が高い順に候補順位1位から4位までのメニュー品目が選択される。そして、図15に示すように、候補順位1位のメニュー品目の名称、価格、熱量が枠91a内に表示される。また、枠91aには削除マーク92が表示される。認識された料理の合計金額及び総カロリーも合算される。

ここでユーザが、枠91内に表示されたメニュー品目の情報が容器3の左上に盛られた料理の情報ではないと気付いたとする。その場合、枠91の削除マーク92にタッチして、画像の認識処理をやり直す方法と、枠91内をタッチして候補順位が下位のメニュー品目の情報を表示させる方法とがある。

削除マーク92にタッチした場合、枠91が消去される。そこでユーザは、料理画像の別の箇所をタッチして、認識処理をやり直す。そうすると、タッチ位置座標(X,Y)を中心とする枠91が撮影画像81上に再び表示される。そして商品認識装置1では、この枠91内の料理の認識処理が実行されて、類似度が高い順に候補順位1位から4位までのメニュー品目が選択され、候補順位1位のメニュー品目の名称、価格、熱量が枠91内に表示される。タッチ位置の違いにより認識画像の領域が異なるため、再度の認識処理によって、料理画像からメニュー品目が正しく認識される可能性は高い。

一方、図16に示すように、枠91内をタッチした場合には、図17に示すように、枠91内の表示内容が、候補順位が下位のメニュー品目の情報に切り替わる。また、認識された料理の合計金額及び総カロリーも更新される。したがって、正しいメニュー品目が候補順位2位以下で認識されていた場合には、簡単な操作で枠91内の情報を正しいメニュー品目の情報に訂正することができる。

ユーザは、容器3に盛り付けられた全ての料理が正しく認識されるまで、上述したタッチ操作を繰り返す。そして、全ての料理が認識されたならば、ユーザは確定ボタン84にタッチする。そうすると、容器3に盛り付けられた料理に対して電子マネーによる決済処理が実行され、レシート発行口16からレシートが発行される。また、商品認識装置1からデータベースサーバ41にユーザ履歴情報が送信されて、データベース40に保存されている当該ユーザの利用履歴情報が更新される。

このように商品認識装置1は、料理が盛り付けられた容器3を認識するのではなく、容器3に盛り付けられた料理を1品目ずつ認識する。したがって、容器3と料理とを1対1で対応させたり、容器3に格別な情報媒体を付したりする等の制約が不要となるため、カフェテリア形式の食堂施設が効率よく運用される。

また、商品認識装置1は、容器に盛られた料理を認識するだけでなく、その料理の価格を合計して合計金額を算出する。そして商品認識装置1は、カードRW18で読み取ったICカードの電子マネーデータを用いて、認識された料理の代金を自動精算する。したがって、料理の認識だけでなく代金の精算まで含めて、カフェテリア形式の食堂施設が効率よく運用される。

また、商品認識装置1の認識結果に誤りがあった場合でも、簡単な操作で容易に訂正することができる。

なお、本発明は、前記実施形態に限定されるものではない。
例えば前記実施形態では、変更受付手段66により候補の変更指示を受付けると、今より1段階下位のメニュー品目に係る情報を表示出力したが、今より下位の全てのメニュー品目に係る情報を表示出力し、そのなかからユーザが適宜選択した情報を枠91内に表示出力させるようにしてもよい。

また前記実施形態では、電子マネー決済に対応した商品認識装置1を例示したが、決済方法は特に限定されるものではなく、クレジットカード決済や現金決済に対応したものであってもよい。あるいは、商品認識装置1から決済機能を省略してもよい。この場合、商品認識装置1は、POS(Point Of Sales)端末等の決済端末を通信回線で接続する。そして商品認識装置1は、認識された料理品目の情報をPOS端末に送信出力すればよい。

また、前記実施形態では、商品認識装置1の補助記憶デバイス24にて認識辞書ファイル50を記憶したが、認識辞書ファイル50の記憶場所は補助記憶デバイス24に限定されるものではない。例えば、商品認識装置1に外付けされた記憶装置に認識辞書ファイル50を記憶させ、必要に応じてCPU21が記憶装置にアクセスすることで、認識辞書ファイル50のデータを検索してもよい。

また、前記実施形態では、枠91を縦の長さがaで横の長さがbの四角形としたが、枠91のサイズ及び形状は特に限定されるものではない。また、パネル表示部151に表示された枠のサイズや大きさを、変更する機能を付加してもよい。この機能を持たせることにより、料理の画像を正しく枠で囲うことができるので、認識率が高まる効果を期待できる。

また、前記実施形態では、画像がタッチされる毎にその画像からメニュー品目を認識するようにプログラムしたが、必ずしもこれに限定されるものではない。例えばタッチされた位置の座標を順次記憶し、認識開始の操作入力があったならば、各座標で特定される領域内の画像からメニュー品目を順次認識するようにプログラムしてもよい。こうすることにより、ユーザが複数の料理をタッチしてから画像認識が行われるようになる。

また、前記実施形態では、容器に盛り付けられた料理を認識する場合を示したが、料理以外のパン等の商品を認識対象としてもよい。また、前記実施形態では、商品の標準分量に対して導出されるパラメータとして熱量を例示したが、パラメータは熱量に限定されるものではない。例えばたんぱく質、脂質、カルシウム等の栄養成分等であってもよい。

なお前記実施形態は、装置内部のプログラム記憶部であるROM22または補助記憶デバイス24に発明の機能を実現させる制御プログラムが予め記録されているものとした。しかしこれに限らず、同様のプログラムがネットワークから装置にダウンロードされてもよい。あるいは、記録媒体に記録された同様のプログラムが、装置にインストールされてもよい。記録媒体は、CD−ROM,メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のOS(オペレーティング・システム)等と協働してその機能を実現させるものであってもよい。また、本実施形態のプログラムを、通信機能を有する携帯電話やいわゆるPDAのような携帯情報端末に組み込んで、その機能を実現させるものであってもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]撮像部で撮影された画像を表示部に表示させる画像表示手段と、前記表示部に表示される画像上の任意の1乃至複数箇所に商品を囲うための枠を表示させる枠表示手段と、前記枠によって囲われた領域内の画像の特徴量から前記枠内に映し出されている商品の候補を認識する認識手段と、この認識手段により認識された商品の候補のなかで最有力候補の商品に係る情報を出力する第1の出力手段と、前記第1の出力手段で出力された候補の変更指示を受け付ける変更受付手段と、前記変更指示手段が商品の候補の変更指示を受け付けると、前記候補の中から選出された最有力候補以外の商品に係る情報を出力する第2の出力手段と、を具備したことを特徴とする商品認識装置。
[2]前記認識手段は、各商品の外観特徴量を示すパラメータと前記枠線によって囲われた領域内の画像の特徴量との類似度を商品毎に算出して類似度の高い順に候補を認識し、前記第1の出力手段は、最も類似度が高い商品を最有力候補の商品として当該商品に係る情報を出力し、前記第2の出力手段は、前記変更受付手段により変更指示を受付ける毎に類似度が低くなる下位の候補の商品を順次選出して当該商品に係る情報を出力する、ことを特徴とする付記[1]記載の商品認識装置。
[3]前記表示部に表示される画像上の任意の箇所への指示入力を受け付ける入力受付手段、をさらに具備し、前記枠表示手段は、前記入力受付手段により指示入力を受け付けた箇所を中心に前記枠を表示させることを特徴とする付記[1]または[2]記載の商品認識装置。
[4]前記入力受付手段により指示入力を受付けた箇所が、前記枠表示手段により表示された枠の内側か否かを判定する判定手段、をさらに具備し、前記枠の外側と判定された場合には前記枠表示手段が動作し、前記枠の内側と判定された場合には前記変更受付手段が動作することを特徴とする付記[3]記載の商品認識装置。
[5]前記第1,第2の出力手段は、それぞれ商品に係る情報を前記枠内に表示出力する手段であり、かつ、前記第2の出力手段は、前記枠の表示形態を前記第1の出力手段で前記商品に係る情報が内部に表示出力される枠と異ならせることを特徴とする付記[1]乃至[4]のうちいずれか1に記載の商品認識装置。
[6]撮像部と表示部とを接続してなるコンピュータに、前記撮像部で撮影された画像を前記表示部に表示させる機能と、前記表示部に表示される画像上の任意の1乃至複数箇所に商品を囲うための枠を表示させる機能と、前記枠によって囲われた領域内の画像の特徴量から前記枠内に映し出されている商品の候補を認識する機能と、認識された商品のなかで最有力候補の商品に係る情報を出力する機能と、候補の変更指示を受け付ける機能と、前記候補の変更指示を受け付けると、前記候補の中から選出された最有力候補以外の商品に係る情報を出力する機能と、を実現させるための商品認識プログラム。

1…情報認識装置、12…撮像部、13…操作パネル、15…タッチパネル、17…レシート発行口、18…カードRW、21…CPU、50…認識辞書ファイル、71…品数カウンタ、72…候補メモリ、3…明細メモリ。

Claims (5)

  1. 撮像部で撮影された画像を取り込む取込手段と、
    前記取込手段により取り込まれた画像を表示する表示部と、
    前記表示部の画面上に重ねて配置され、前記画面へのタッチによる前記表示部に表示される画像上の任意の箇所への指示入力を受け付ける入力受付手段と、
    前記入力受付手段により前記画面へのタッチによる指示入力を受け付けたことに応じて前記画像上に商品を囲うための枠を表示させる枠表示手段と、
    前記枠によって囲われた領域内の画像の特徴量から前記枠内に映し出されている商品の候補を認識する認識手段と、
    この認識手段により認識された商品の候補のなかで最有力候補の商品に係る情報を出力する第1の出力手段と、
    前記第1の出力手段で出力された候補の変更指示を受け付ける変更受付手段と、
    前記変更受付手段が商品の候補の変更指示を受け付けると、前記候補の中から選出された最有力候補以外の商品に係る情報を出力する第2の出力手段と、
    前記入力受付手段により前記画面へのタッチによる指示入力を受け付けるまでは前記画像の取込みを繰り返して前記表示部に取り込んだ画像を表示させ、指示入力を受け付けると画像の取込みを止めて前記表示部の画像を静止画とする制御手段と、
    前記入力受付手段により前記画面へのタッチによる指示入力を受付けた箇所が、前記枠表示手段により表示された枠の内側か否かを判定する判定手段と、を具備し
    前記枠の外側と判定された場合には前記枠表示手段が動作し、前記枠の内側と判定された場合には前記変更受付手段が動作することを特徴とする商品認識装置。
  2. 前記認識手段は、各商品の外観特徴量を示すパラメータと前記枠によって囲われた領域内の画像の特徴量との類似度を商品毎に算出して類似度の高い順に候補を認識し、
    前記第1の出力手段は、最も類似度が高い商品を最有力候補の商品として当該商品に係る情報を出力し、
    前記第2の出力手段は、前記変更受付手段により変更指示を受付ける毎に類似度が低くなる下位の候補の商品を順次選出して当該商品に係る情報を出力する、ことを特徴とする請求項1記載の商品認識装置。
  3. 前記枠表示手段は、前記入力受付手段により指示入力を受け付けた箇所を中心に前記枠を表示させることを特徴とする請求項1または2記載の商品認識装置。
  4. 前記第1,第2の出力手段は、それぞれ商品に係る情報を前記枠内に表示出力する手段であり、かつ、
    前記第2の出力手段は、前記枠の表示形態を前記第1の出力手段で前記商品に係る情報が内部に表示出力される枠と異ならせることを特徴とする請求項1乃至のうちいずれか1に記載の商品認識装置。
  5. 撮像部と表示部とを接続してなるコンピュータに、
    前記撮像部で撮影された画像を取り込み前記表示部に表示させる機能と、
    前記表示部の画面へのタッチによる前記表示部に表示される画像上の任意の箇所への指示入力を受け付ける機能と、
    前記画面へのタッチによる前記指示入力を受け付けたことに応じて前記画像上に商品を囲うための枠を表示させる機能と、
    前記枠によって囲われた領域内の画像の特徴量から前記枠内に映し出されている商品の候補を認識する機能と、
    認識された商品のなかで最有力候補の商品に係る情報を出力する機能と、
    候補の変更指示を受け付ける機能と、
    前記候補の変更指示を受け付けると、前記候補の中から選出された最有力候補以外の商品に係る情報を出力する機能と、
    前記指示入力を受け付けるまでは前記画像の取込みを繰り返して前記表示部に取り込んだ画像を表示させ、前記指示入力を受け付けると画像の取込みを止めて前記表示部の画像を静止画とする機能と、
    前記画面へのタッチによる指示入力を受付けた箇所が、前記画像上に表示された枠の内側か否かを判定する機能と、
    前記枠の外側と判定された場合には前記画像上に商品を囲うための枠を表示させ、前記枠の内側と判定された場合には候補の変更指示を受け付ける機能と、
    を実現させるための商品認識プログラム。
JP2013146821A 2013-07-12 2013-07-12 商品認識装置及び商品認識プログラム Active JP5927147B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013146821A JP5927147B2 (ja) 2013-07-12 2013-07-12 商品認識装置及び商品認識プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013146821A JP5927147B2 (ja) 2013-07-12 2013-07-12 商品認識装置及び商品認識プログラム
US14/302,788 US20150016672A1 (en) 2013-07-12 2014-06-12 Commodity recognition apparatus and commodity recognition method
US15/201,650 US10061490B2 (en) 2013-07-12 2016-07-05 Commodity recognition apparatus and commodity recognition method
US16/043,299 US20180329614A1 (en) 2013-07-12 2018-07-24 Commodity recognition apparatus and commodity recognition method

Publications (2)

Publication Number Publication Date
JP2015018506A JP2015018506A (ja) 2015-01-29
JP5927147B2 true JP5927147B2 (ja) 2016-05-25

Family

ID=52277147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013146821A Active JP5927147B2 (ja) 2013-07-12 2013-07-12 商品認識装置及び商品認識プログラム

Country Status (2)

Country Link
US (3) US20150016672A1 (ja)
JP (1) JP5927147B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150110032A (ko) * 2014-03-24 2015-10-02 삼성전자주식회사 영상데이터 처리 전자장치 및 방법
JP6341124B2 (ja) * 2015-03-16 2018-06-13 カシオ計算機株式会社 オブジェクト認識装置および認識結果提示方法
JP6316245B2 (ja) * 2015-07-22 2018-04-25 東芝テック株式会社 情報処理装置およびプログラム
AT520332B1 (de) * 2017-09-14 2019-03-15 The Moonvision Gmbh Vorrichtung und Verfahren zum Abrechnen ausgebrachter Speisen
WO2019163096A1 (ja) * 2018-02-23 2019-08-29 日本電気株式会社 登録装置、登録方法及びプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5546475A (en) * 1994-04-29 1996-08-13 International Business Machines Corporation Produce recognition system
JP2001216571A (ja) 2000-02-03 2001-08-10 Glory Ltd 料金精算方法および装置
US7845554B2 (en) * 2000-10-30 2010-12-07 Fujitsu Frontech North America, Inc. Self-checkout method and apparatus
JP2007034570A (ja) * 2005-07-26 2007-02-08 Seiko Epson Corp 動きベクトル検出装置、動きベクトル検出方法、動きベクトル検出プログラム、及び記録媒体
JP2007065878A (ja) * 2005-08-30 2007-03-15 Central Res Inst Of Electric Power Ind 水面または水中における移動体計数方法、計数装置および計数プログラム
JP5194149B2 (ja) * 2010-08-23 2013-05-08 東芝テック株式会社 店舗システムおよびプログラム
JP5544332B2 (ja) * 2010-08-23 2014-07-09 東芝テック株式会社 店舗システムおよびプログラム
JP5214762B2 (ja) * 2011-03-25 2013-06-19 株式会社東芝 認識装置、方法及びプログラム
JP2012252396A (ja) 2011-05-31 2012-12-20 Toshiba Tec Corp 外観検査装置、外観検査プログラムおよび外観検査システム
JP5485954B2 (ja) * 2011-09-06 2014-05-07 東芝テック株式会社 店舗システム及びプログラム
EP2570967A1 (en) * 2011-09-13 2013-03-20 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Semi-automatic check-out system and method
JP5450560B2 (ja) * 2011-10-19 2014-03-26 東芝テック株式会社 商品データ処理装置、商品データ処理方法及び制御プログラム
JP5551140B2 (ja) * 2011-10-19 2014-07-16 東芝テック株式会社 情報処理装置及びプログラム
JP5194160B1 (ja) * 2011-10-19 2013-05-08 東芝テック株式会社 情報処理装置、情報処理方法及びプログラム
JP5874141B2 (ja) * 2012-01-13 2016-03-02 株式会社ブレイン 物体識別装置
JP5622756B2 (ja) * 2012-01-30 2014-11-12 東芝テック株式会社 商品読取装置及び商品読取プログラム
JP5586641B2 (ja) * 2012-02-24 2014-09-10 東芝テック株式会社 商品読取装置及び商品読取プログラム
JP5553866B2 (ja) * 2012-07-23 2014-07-16 東芝テック株式会社 商品認識装置及び認識辞書追加プログラム
JP5619095B2 (ja) * 2012-09-03 2014-11-05 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP5936993B2 (ja) * 2012-11-08 2016-06-22 東芝テック株式会社 商品認識装置及び商品認識プログラム

Also Published As

Publication number Publication date
US10061490B2 (en) 2018-08-28
US20150016672A1 (en) 2015-01-15
JP2015018506A (ja) 2015-01-29
US20180329614A1 (en) 2018-11-15
US20160313897A1 (en) 2016-10-27

Similar Documents

Publication Publication Date Title
CN101159084B (zh) 自结账终端
US20160062473A1 (en) Gesture-controlled computer system
US7577610B2 (en) POS terminal for easy split-the-bill settlement
JP2006350806A (ja) 無線タグ認識装置及び商品販売データ処理装置
JP2009163331A (ja) 商品販売データ処理装置及びコンピュータプログラム
US20120298762A1 (en) Information processing apparatus and information processing method
JP5431429B2 (ja) 情報処理装置及びプログラム
US20090313142A1 (en) Information providing device, computer-readable recording medium, and store system
JP6189761B2 (ja) 商品データ登録装置、チェックアウトシステムおよびプログラム
CN104024992A (zh) 用于触摸屏的组合式射频识别和触摸输入
JP4874166B2 (ja) チェックアウト端末
JP5553866B2 (ja) 商品認識装置及び認識辞書追加プログラム
JP5790160B2 (ja) セルフ会計posシステム及び会計装置
US9092050B2 (en) Checkout device with multi-touch input device
JP5531511B2 (ja) 携帯端末およびposシステム
EP2787468B1 (en) Headheld scanner and display
JP5450560B2 (ja) 商品データ処理装置、商品データ処理方法及び制御プログラム
DE112013001770T5 (de) System und Verfahren zum Beschleunigen der Selbstbedienung an Point-of-Sale-Terminals
JP5216726B2 (ja) セルフチェックアウト端末装置
JP5936993B2 (ja) 商品認識装置及び商品認識プログラム
US9990541B2 (en) Commodity recognition apparatus and commodity recognition method
US20140219512A1 (en) Information processing apparatus and information processing method
JP2015099549A (ja) 商品認識装置及び商品認識プログラム
JP6003210B2 (ja) Posシステム、登録装置及びプログラム
US20100325000A1 (en) Ordering method and order management system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150414

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160425

R150 Certificate of patent or registration of utility model

Ref document number: 5927147

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150