JP5903516B2 - 商品認識装置及び商品認識プログラム - Google Patents
商品認識装置及び商品認識プログラム Download PDFInfo
- Publication number
- JP5903516B2 JP5903516B2 JP2015093318A JP2015093318A JP5903516B2 JP 5903516 B2 JP5903516 B2 JP 5903516B2 JP 2015093318 A JP2015093318 A JP 2015093318A JP 2015093318 A JP2015093318 A JP 2015093318A JP 5903516 B2 JP5903516 B2 JP 5903516B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- image
- candidate
- recognition
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Cash Registers Or Receiving Machines (AREA)
- Image Analysis (AREA)
Description
本発明の実施形態は、カメラを用いた商品認識装置及びコンピュータを前記商品認識装置として機能させるための商品認識プログラムに関する。
商品に付される光学符号の一種にバーコードがある。スーパーマーケット等で販売される商品には、大抵、商品識別コードを含むバーコードが付されている。このバーコードをスキャナでスキャニングすることにより商品識別コードを認識する商品認識装置は広く普及している。
しかしながら、全ての商品にバーコードが付されるとは限らない。例えば、ばら売りの野菜,果物,惣菜などには、バーコードが付されないことが多い。そこで、バーコードが付されない商品にも対応するために、表示デバイスをタッチパネルとした商品認識装置がある。この装置は、タッチパネルの画面にバーコードが付されない商品の画像を表示させる。オペレータのタッチ入力により商品の画像が選択されると、商品認識装置は、選択された商品の画像に関連付けられた商品識別コードを確定する。
商品にバーコードが付されている場合、オペレータ(店員または客)は、商品認識装置の読取窓にバーコードをかざせばよい。しかし、商品にバーコードが付されていない場合には、オペレータは、タッチパネルの画面から商品を選択する必要がある。この際、画面に所望の商品が表示されていないと、オペレータは、タッチ操作により画面を切り替えて商品を探さなければならない。このため、従来の商品認識装置は、バーコード等の光学符号が付されていない商品の認識作業に要するオペレータの負担が大きい。
本発明が解決しようとする課題は、バーコード等の光学符号が付されていない商品の認識作業に要するオペレータの負担を軽減できる商品認識装置を提供しようとするものである。
一実施形態において、商品認識装置は、番号カウンタと、ディスプレイと、メモリと、入力デバイスと、プロセッサとを備える。番号カウンタは、商品を撮影した画像からその画像に写し出されている商品の候補を認識する認識処理が終了する毎に番号をカウントアップする。ディスプレイは、前記認識処理により認識された候補商品の中から前記画像に写し出されている商品が特定される毎にその特定された商品の情報を前記番号カウンタの番号とともに表示する。メモリは、前記認識処理により認識された候補商品の中から前記画像に写し出されている商品が特定される毎に前記候補商品の情報を前記番号カウンタの番号と関連付けて記憶する。プロセッサは、前記入力デバイスを介して番号が入力されると、その番号と関連付けて前記メモリに記憶されている前記候補商品のリストを前記ディスプレイに表示させる。そしてプロセッサは、前記入力デバイスを介して前記リストの中からいずれかの商品が選択されると、前記番号カウンタをカウントアップさせ、カウントアップ後の前記番号とともに前記選択された商品の情報を前記ディスプレイに表示させる。
本実施形態は、小売店の店舗会計システムに含まれる商品認識装置に本発明に係る機能を適用した場合である。
はじめに、本実施形態の商品認識装置は、一般物体認識(generic object recognition)の技術を採用する。一般物体認識とは、対象となる物品(オブジェクト)をカメラで撮像した画像データから当該物品の種別等を認識する技術である。コンピュータは、画像データからこの画像に含まれる物品の外観特徴量を抽出する。そしてコンピュータは、認識辞書ファイルに登録された基準画像の特徴量データと照合して類似度を算出し、この類似度に基づいて当該物品の種別等を認識する。画像中に含まれる物品を認識する技術については、下記の文献に解説されている。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16[平成22年8月10日検索],インターネット< URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクト毎に領域分割することによって一般物体認識を行う技術については、下記の文献に解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット< URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf >
[第1の実施形態]
図1は、店舗会計システムの外観図である。このシステムは、顧客が買い上げる商品を認識する商品認識装置1と、商品認識装置1で認識された商品の販売データを登録して、商取引を決済するPOS端末2とを含む。商品認識装置1は、会計カウンタ3の上に取り付けられる。POS端末2は、レジ台4の上にドロワ5を介して設置される。POS端末2は、決済に必要なデバイスとしてキーボード21、オペレータ用ディスプレイ22、客用ディスプレイ23及びレシートプリンタ24を備える。商品認識装置1とPOS端末2とは、通信ケーブル400(図2を参照)によって電気的に接続される。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16[平成22年8月10日検索],インターネット< URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクト毎に領域分割することによって一般物体認識を行う技術については、下記の文献に解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット< URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf >
[第1の実施形態]
図1は、店舗会計システムの外観図である。このシステムは、顧客が買い上げる商品を認識する商品認識装置1と、商品認識装置1で認識された商品の販売データを登録して、商取引を決済するPOS端末2とを含む。商品認識装置1は、会計カウンタ3の上に取り付けられる。POS端末2は、レジ台4の上にドロワ5を介して設置される。POS端末2は、決済に必要なデバイスとしてキーボード21、オペレータ用ディスプレイ22、客用ディスプレイ23及びレシートプリンタ24を備える。商品認識装置1とPOS端末2とは、通信ケーブル400(図2を参照)によって電気的に接続される。
会計カウンタ3は、その奥側の顧客通路に沿って細長い形状である。レジ台4は、会計カウンタ3に沿って移動する顧客の移動方向に対して下流側の会計カウンタ3の端部手前側に、会計カウンタ3に対して略垂直に置かれる。そして、この会計カウンタ3の手前側とレジ台4の手前側が、会計担当の店員いわゆるキャッシャのスペースとなる。
商品認識装置1は、キーボード11、タッチパネル12及び客用ディスプレイ13を備える。これらの表示・入力デバイス(キーボード11、タッチパネル12、客用ディスプレイ13)は、商品認識装置1の本体を構成するハウジング1Aに取り付けられる。薄型の矩形形状を有するハウジング1Aは、会計カウンタ3の略中央に立設される。キーボード11とタッチパネル12は、それぞれ操作面をキャッシャ側に向けてハウジング1Aに取り付けられる。客用ディスプレイ13は、表示面を顧客通路側に向けてハウジング1Aに取り付けられる。
ハウジング1Aには、カメラ14が内蔵される。また、矩形状の読取窓1Bが、ハウジング1Aの正面(キャッシャ側)に形成される。カメラ14は、エリアイメージセンサであるCCD(Charge Coupled Device)撮像素子及びその駆動回路と、撮像領域の画像をCCD撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、読取窓1Bから撮像レンズを通してCCD撮像素子のエリアに結像するフレーム画像の領域を指す。カメラ14は、撮像レンズを通ってCCD撮像素子に結像した撮像領域の画像を出力する。
なお、カメラ14は、上記構成のものに限定されるものではない。本実施形態では、商品を撮像する機能を有しているものは全てカメラ14の範疇に入る。
会計カウンタ3の商品認識装置1を挟んで一方の荷受面、すなわち顧客移動方向に対して上流側の荷受面は、買物客が購入する未登録の商品Mが入れられた買物カゴ6を置くためのスペースとなる。他方の荷受面、すなわち顧客移動方向に対して下流側の荷受面は、商品認識装置1により認識された商品Mを入れるための買物カゴ7を置くためのスペースとなる。
図2は、商品認識装置1とPOS端末2とのハードウェア構成を示すブロック図である。商品認識装置1は、主制御部、主記憶部及び入出力部で構成される。CPU(Central Processing Unit)111は主制御部である。ROM(Read Only Memory)112及びRAM(Random Access Memory)113は主記憶部である。画像インターフェース114、デバイスインターフェース115及び接続インターフェース116は入出力部である。CPU111は、アドレスバス,データバス等のバスライン117を介して、ROM112、RAM113及び各インターフェース114,115,116を接続する。
なお、主制御部は、CPU以外のプロセッサであってもよい。また、入出力部にその他のインターフェースが含まれることを妨げるものではない。
画像インターフェース114には、前記カメラ14が接続される。このカメラ14によって撮像された画像は、画像インターフェース114介して商品認識装置1に取り込まれ、RAM113に格納される。デバイスインターフェース115には、前記キーボード11、タッチパネル12及び客用ディスプレイ13が接続される。タッチパネル12は、パネル表示部12aとタッチパネルセンサ12bとからなる。タッチパネルセンサ12bは、パネル表示部12aの画面の上に重ねて配置される。
POS端末2は、主制御部、主記憶部、補助記憶部及び入出力部で構成される。CPU211は主制御部である。ROM212及びRAM213は主記憶部である。HDD(Hard Disk Drive)214は補助記憶部である。デバイスインターフェース215、通信インターフェース216及び接続インターフェース217は入出力部である。CPU211は、アドレスバス,データバス等のバスライン218を介して、前記ROM212、RAM213、HDD214及び各インターフェース215,216,217を接続する。
なお、主制御部は、CPU以外のプロセッサであってもよい。また、入出力部にその他のインターフェースが含まれることを妨げるものではない。また、補助記憶部は、HDD214に限定されない。例えば、SSD(Solid State Drive)を補助記憶部として用いてもよい。
デバイスインターフェース215には、図2では省略するが、前記キーボード21、オペレータ用ディスプレイ22、客用ディスプレイ23、プリンタ24及びドロワ5が接続される。キーボード21には、商取引の決済を宣言する締めキーが配設される。締めキーには、現金取引による決済を宣言する預/現計キーや、信用取引による決済を宣言する信計キー等が存在する。
通信インターフェース216には、LAN(Local Area Network)等のネットワークを介して、店舗の中枢を担うストアコンピュータ300が接続される。この接続により、POS端末2は、ストアコンピュータ300とデータの送受信が可能となる。例えばPOS端末2は、通信インターフェース216を介してストアコンピュータ300から後述する認識辞書ファイル500を受信する。認識辞書ファイル500は、HDD214に保存される。
接続インターフェース217には、通信ケーブル400を介して、商品認識装置1の接続インターフェース116が接続される。この接続により、POS端末2は、商品販売データを商品認識装置1のタッチパネル12及び客用ディスプレイ13に表示させる。商品認識装置1は、POS端末2のHDD214に保存される認識辞書ファイル500に対してアクセスが可能となる。
本実施形態では、光学符号であるバーコードが付されていない商品を認識対象商品とする。認識辞書ファイル500は、認識対象商品毎に辞書データを保存する。図3は、辞書データの構造を示す模式図である。図3に示すように、認識辞書ファイル500には、認識対象商品毎に、商品ID及び商品名と関連付けて、複数対の基準画像データ0〜Nと特徴量データ0〜Nとが保存される。商品IDは、商品を識別する商品識別コードである。商品に付されるバーコードには、上記商品IDが含まれる。
基準画像データ0〜Nは、対応する商品IDで識別される商品を様々な方向から撮影した画像のデータである。特徴量データ0〜Nは、対応する商品の基準画像0〜Nからその商品の表面情報(外観形状、色合い、模様、凹凸具合等)である外観上の特徴量を抽出し、この外観特徴量をパラメータ化したデータである。
なお、1つの商品に対する基準画像データ及び特徴量データの数(N+1)は、固定ではない。データ数(N+1)は商品によって異なる。また、基準画像データ0〜Nを全て認識辞書ファイル500で保存するのでなく、いずれか1つの基準画像データを認識辞書ファイル500が保存してもよい。
商品認識装置1は、カメラ14の撮像領域に翳された商品Mを販売商品として確定するまでの機能として、画像検出機能、読取機能、特徴量抽出機能、類似度算出機能、商品認識機能、出力機能、保存機能、再表示機能、再利用機能及びクリア機能を有する。
また商品認識装置1は、上記各機能の実現のために必要なメモリエリアとして、図4に示すエリア構造の候補商品メモリ610と、図5に示すエリア構造の認識結果保持メモリ620とを、RAM113に形成する。なお、上記候補商品メモリ610及び認識結果保持メモリ620は、RAM113以外の記憶媒体、例えばPOS端末2のRAM213またはHDD214に形成してもよい。
候補商品メモリ610は、図4に示すように、1位から5位までの順位毎に、商品ID、商品名、基準画像及び類似度の各データを格納するための領域を有する。なお、候補商品メモリ600において、順位は1位から5位までに限定されるものではない。例えば何位までのデータを格納するのかを、システムのユーザが任意に設定できるようにしてもよい。
認識結果保持メモリ620は、図5に示すように、商取引を一意に特定するための情報である取引日付、レジ番号及び取引番号を格納するための領域と、登録番号と関連付けて候補商品情報を格納するための領域とを有する。なお、商取引を一意に特定するための情報は、取引日付、レジ番号及び取引番号の全てに限定されるものではない。これらの一部または他の要素を含めて商取引を一意に特定してもよい。
画像検出機能は、カメラ14で撮影された商品の画像から商品画像を検出する。読取機能は、画像検出機能により検出された商品画像からバーコードを読み取る。なお、読取機能は、バーコードの代わりに他の光学符号、例えば二次元データコードを読み取るものであってもよい。
特徴量抽出機能は、画像検出機能により検出された商品画像からその商品の外観特徴量を抽出する。類似度算出機能は、特徴量抽出機能により抽出された外観特徴量を、認識辞書ファイル500に記憶されている認識対象商品毎の特徴量データと照合する。そして類似度算出機能は、外観特徴量が特徴量データに対してどの程度類似しているかを示す類似度を、認識対象商品毎に算出する。商品認識機能は、類似度算出機能により算出された認識対象商品別の類似度に基づいて、カメラ14で撮影された商品の候補を認識する。認識された候補商品の情報(商品ID、商品名、基準画像、類似度)は、候補商品メモリ610に格納される。
出力機能は、読取機能によりバーコードが読み取られた場合には、そのバーコードを解析して得られる商品IDをカメラ14で撮影された商品の商品IDとして接続インターフェース116を介してPOS端末2に出力する。また出力機能は、商品認識機能により認識された候補商品の中から前記商品画像に映し出されている商品が特定されると、この特定商品の商品IDをカメラ14で撮影された商品の商品IDとして接続インターフェース116を介してPOS端末2に出力する。
保存機能は、候補商品メモリ610に格納された候補商品の情報を、登録番号と関連付けて認識結果保持メモリ620に格納する。登録番号は、当該候補商品の中から特定された特定商品に関する情報に相当する。
再表示機能は、POS端末2から特定商品の選択要求を受け付けると、当該特定商品に関する情報(登録番号)と関連付けて認識結果保持メモリ620に保持されている候補商品の情報を読み出す。そして再表示機能は、読み出された候補商品の情報を基に、候補商品の再利用が可能な画面をタッチパネル12に表示させる。再利用機能は、上記画面を介して入力されたデータに基づいて、商品の修正または追加を処理する。クリア機能は、POS端末2において、特定商品を含む商取引の決済が完了した後である所定のタイミングで、認識結果保持メモリ620をクリアする。
かかる機能を実現させるために、商品認識装置1は、ROM112に商品認識プログラムを保存する。商品認識装置1のCPU111は、上記商品認識プログラムに従って、図6の流れ図に示す手順の情報処理を実行する。
はじめに、CPU111は、ステップST1〜ST5の各処理を実行する。ステップST1では、CPU111は、取引番号カウンタYを“1”だけカウントアップする。ステップST2では、CPU111は、登録番号カウンタAを“0”にリセットする。取引番号カウンタY及び登録番号カウンタAは、例えばRAM113に記憶されている。ステップST3では、CPU111は、候補商品メモリ600をクリアする。ステップST4では、CPU111は、認識処理フラグFを“0”にリセットする。認識処理フラグFは、例えばRAM113に記憶されている。ステップST5では、CPU111は、タッチパネル12のパネル表示部12aに登録画面700を表示させる。
登録画面700の一例が図11に示される。登録画面700は、明細エリア701と、合計エリア702と、候補エリア703とを含む。明細エリア701は、複数の行に区分される。そして明細エリア710の各行には、一連の行番号に対応して、販売商品として登録された商品の商品名、単価、数量、金額が表示される。合計エリア702には、登録された商品の合計点数及び合計金額が表示される。候補エリア703には、候補商品メモリ610に格納された商品名及び基準画像が、1位から順番に表示される。
CPU111は、カメラ14で撮影されている画像(フレーム画像)を、画像インターフェース114を介して取り込む(ST6)。取り込まれた撮影画像は、RAM113の画像バッファに格納される。
CPU111は、画像バッファに格納された撮影画像を解析して、この撮影画像から商品画像を検出する(ST7:画像検出機能)。具体的には、CPU111は、フレーム画像を二値化した画像から輪郭線等を抽出する。そしてCPU111は、画像に映し出されている物体の輪郭抽出を試みる。物体の輪郭が抽出されると、CPU111は、その輪郭内を商品画像とみなす。
CPU111は、撮影画像から商品画像が検出されたか否かを確認する(ST8)。商品画像が検出されない場合(ST8にてNO)、CPU111は、認識処理フラグFの状態を確認する(ST9)。この時点では、認識処理フラグFは“0”にリセットされている。このためCPU111は、ステップST6の処理に戻る。すなわちCPU111は、カメラ14から次のフレーム画像を取り込み、商品画像の検出処理を実行する。
このように、CPU111は、カメラ14からフレーム画像を取り込む毎に、商品画像の検出処理を実行する。読取窓1Bに商品が翳されると、フレーム画像から商品画像が検出される。商品画像が検出されたならば(ST8にてYES)、CPU111は、この商品画像を解析してバーコードの読取りを試行する(ST10:読取機能)。画像解析によるバーコードの読取技術は、例えば特開2008−033640号公報に記載されている。
CPU111は、商品画像からバーコードを読み取れたか否かを確認する(ST11)。バーコードを読み取れた場合(ST11にてYES)、CPU111は、そのバーコードをデコードする(ST12)。そしてCPU111は、バーコードをデコードできた否かを確認する(ST13)。バーコードをデコードできた場合(ST13にてYES)、CPU111は、ステップST14とステップST15の各処理を実行する。ステップST14では、CPU111は、登録番号カウンタAを“1”だけカウンタアップする。ステップST15では、CPU111は、バーコードのデコード結果を、接続インターフェース116を介してPOS端末2に出力する(出力機能)。
ステップST11にて、商品画像からバーコードを読み取れなかった場合(ST11にてNO)、または、ステップST13にてバーコードをデコードできなかった場合には(ST13にてNO)、CPU111は、商品認識処理を実行する(ST16)。
図7は、商品認識処理の手順を具体的に示す流れ図である。先ず、CPU111は、ステップST7の処理にて検出された商品画像から商品の外観特徴量を抽出する(ST31:特徴量抽出機能)。外観特徴量には、商品の形状、表面の色合い、模様、凹凸状況等が含まれる。商品の外観特徴量が抽出されると、CPU111は、POS端末2のHDD214にアクセスして、認識辞書ファイル500を検索する(ST32)。そしてCPU111は、認識辞書ファイル500から1商品のデータレコード(商品ID、商品名、基準画像0〜N、特徴量データ0〜N)を読み込む(ST33)。
1商品のデータレコードが読み込まれたならば、CPU111は、当該レコードの特徴量データ0〜N毎に類似度を算出する。類似度は、特徴量データ0〜NがステップST31の処理で抽出された商品の外観特徴量とどの程度類似しているかを示す値である。CPU111は、特徴量データ0〜N毎に算出された類似度の最大値を、当該レコードの商品IDで特定される認識対象商品と、カメラ14で撮影された商品との類似度として決定する(ST34:類似度算出機能)。なお、特徴量データ0〜N毎に算出された類似度の合計値あるいは平均値を、認識対象商品と撮影された商品との類似度として決定してもよい。
CPU111は、ステップST34の処理で決定された類似度が、予め設定された候補閾値Lminを超えるか否かを確認する(ST35)。候補閾値Lminは、認識対象商品を候補商品として残す類似度の下限値である。類似度が候補閾値Lminを超えていない場合(ST35にてNO)、CPU111は、ステップST37の処理に進む。
類似度が候補閾値Lminを超えている場合には(ST35にてYES)、CPU111は、この類似度を、当該レコードの商品ID、商品名及び基準画像とともにRAM113の候補バッファに格納する(ST36)。基準画像は、例えば類似度が最大となった特徴量データと対になっている基準画像が選択される。しかる後、CPU111は、ステップST37の処理に進む。
ステップST37では、CPU111は、認識辞書ファイル500に未処理のデータレコードが存在するか否かを確認する。存在する場合(ST37にてYES)、CPU111は、ステップST33の処理に戻る。すなわちCPU111は、認識辞書ファイル30から未処理のデータレコードを読み込み、前記ステップST34〜ST36の処理を再度実行する。
認識辞書ファイル500に未処理のデータレコードが存在しない場合(ST37にてNO)、商品認識処理は終了する。
認識辞書ファイル500に未処理のデータレコードが存在しない場合(ST37にてNO)、商品認識処理は終了する。
商品認識処理が終了すると、CPU111は、認識処理フラグFの状態を調べる(ST17)。認識処理フラグFが“0”にリセットされている場合(ST17にてYES)、CPU111は、この認識処理フラグFを“1”にセットする(ST18)。認識処理フラグFが既に“1”にセットされている場合には(ST17にてNO)、ステップST18の処理は実行されない。CPU111は、ステップST6の処理に戻る。すなわちCPU111は、カメラ14から次のフレーム画像を取り込み、商品画像の検出処理を実行する。
読取窓1Bに商品が翳されてから、この商品がカメラ14の撮像領域を外れるまでの間、フレーム画像から商品画像が検出される。したがってその間は、CPU111は、ステップST10以降の処理を実行する。すなわちCPU111は、フレーム画像から検出された商品画像を用いて、バーコード読取処理と商品認識処理とを並列的に実行する。そして、バーコード読取処理によりバーコードが読み取られたならば、CPU111は、そのバーコードからデコードされた商品IDをPOS端末2に出力する。
バーコードが読み取られることなく商品Mがカメラ14の撮像領域を外れると、フレーム画像から商品画像が検出されなくなる。この時点では、認識処理フラグFは“1”にセットされている(ST9にてYES)。このためCPU111は、登録番号カウンタAを “1”だけカウントアップした後(ST19)、認識結果処理を実行する(ST20)。
図8は、認識結果処理の手順を具体的に示す流れ図である。先ず、CPU111は、候補バッファにデータ(商品ID、商品名、基準画像、類似度)が格納されているか否かを確認する(ST41)。候補バッファにデータが1つも格納されていない場合(ST41にてNO)、CPU111は、登録画面700の候補エリア703に「候補無し」のメッセージを表示させる(ST42)。
候補バッファにデータが格納されている場合には(ST41にてYES)、CPU111は、候補バッファのデータを類似度の大きい順に並べ替える。そしてCPU111は、類似度が1位から5位までのデータ(商品ID、商品名、基準画像、類似度)を選択し、1位から順に候補商品メモリ600に登録する(ST43:商品認識機能)。データを登録し終えると、CPU111は、候補バッファをクリアする。
次に、CPU111は、候補商品メモリ600の1位に登録されたデータの類似度、すなわち最大類似度が、予め設定された確定閾値Lmax(Lmax>Lmin)を超えるか否かを確認する(ST44)。確定閾値Lmaxは、認識対象商品を読取窓1Bに翳された商品として確定できる類似度の下限値である。
最大類似度が確定閾値Lmaxを超える場合(ST44にてYES)、CPU111は候補商品メモリ600から1位に登録されたデータの商品IDを読出す。この商品IDで識別される商品は、最大類似度が確定閾値Lmaxを越えており、読取窓1Bに翳された商品として特定できる。CPU111は、候補商品メモリ600から読み出した商品IDを、接続インターフェース116を介してPOS端末2に出力する(ST45:出力機能)。しかる後、CPU111は、ステップST49の処理を実行する。
最大類似度が確定閾値Lmax以下の場合には(ST44にてNO)、CPU111は、候補商品メモリ600に登録された順に候補商品の画像を候補エリア703に表示させる(ST46)。
候補商品画像を表示した登録画面700の一例が図12に示される。この例は、候補商品として「リンゴ」、「柿」及び「モモ」が認識された場合である。類似度は、「リンゴ」が最も大きく、「モモ」が最も小さい。この場合、図12に示すように、「リンゴ」を選択するためのボタン画像711と、「柿」を選択するためのボタン画像712と、「モモ」を選択するためのボタン画像713とが、候補エリア703に表示される。
候補商品のボタン画像711,712,713が表示されると、CPU111は、候補商品の中からいずれか1商品が選択されたか否かを確認する(ST47)。いずれか1つのボタン画像がタッチ入力されると、CPU111は、そのボタン画像に表示されている商品が、読取窓1Bに翳された商品であると特定する。CPU111は、この商品の商品IDを、接続インターフェース116を介してPOS端末2に出力する(ST48:出力機能)。しかる後、CPU111は、ステップST49の処理を実行する。
POS端末2のCPU211は、商品認識装置1から商品IDを受信する毎に、この商品IDで識別される商品の商品名、単価等の商品情報を取得するために商品マスタファイルを検索する。CPU211は、商品マスタファイルから検出した商品情報に基づいて、販売数量、販売金額を含む商品販売データを登録処理する。またCPU211は、商品名、単価、数量、金額の各データを、接続インターフェース217を介して商品認識装置1に送信する。商品認識装置1のCPU111は、パネル表示部12aに表示されている登録画面700の明細エリア701と客用ディスプレイ13とに、POS端末2から受信した商品名、単価、数量、金額の各データを表示させる。このとき、明細エリア701においては、登録番号カウンタAの値に一致する行番号の行にデータが表示される。
ステップST49では、CPU111は、認識結果保持メモリ620に登録番号カウンタAの値と候補商品情報とを格納する。候補商品情報は、候補商品メモリ610に格納されている各候補商品のデータ(商品ID,商品名,基準画像及び類似度)である。すなわちCPU111は、各候補商品のデータを、この候補商品のなかから特定された商品のデータ(商品名、単価、数量、金額)が表示されている明細エリア701の行番号(登録番号)と関連付けて格納する(保存機能)。
商品が選択されない場合(ST47にてNO)、CPU111は、登録画面700の候補エリア703に、「候補無し」のメッセージを表示させる(ST42)。以上で、認識結果処理は終了する。
ステップST15にてバーコードのデコード結果が出力されるか、ステップST20にて認識結果処理が終了すると、CPU111は、ステップST21の処理に進む。ステップST21では、キーボード11またはタッチパネル12の操作入力有無を確認する。操作入力がない場合(ST21にてNO)、CPU111は、POS端末2からのコマンド入力有無を確認する(ST22)。コマンド入力がない場合(ST22にてNO)、CPU111は、ステップST3の処理に進む。
すなわちCPU111は、候補商品メモリ600をクリアする。またCPU111は、認識処理フラグFを“0”にリセットする。登録画面700は既に表示されているので、ステップST5の処理は実行されない。CPU111は、カメラ14で撮影されている画像(フレーム画像)を、画像インターフェース114を介して取り込む(ST6)。そしてCPU111は、ステップST7以降の処理を再度実行する。
一方、キーボード11またはタッチパネル12の操作入力が検知された場合には(ST21にてYES)、CPU111は、その操作入力に応じた割込処理を実行する(ST23)。同様に、接続インターフェース116を介してPOS端末2からコマンドを受信した場合には(ST22にてYES)、CPU111は、そのコマンドに応じた割込処理を実行する(ST24)。
操作入力に応じた割込処理の1つに、登録行入力に対する割込処理がある。この処理は、登録画面700の明細エリア701がタッチ操作されたことをタッチパネルセンサ12bからの信号により検知すると、起動する。
この割込処理の手順は、図9の流れ図によって示される。先ず、CPU111は、明細エリア701のタッチ位置にある行の行番号Bを検出する(ST51)。CPU111は、行番号Bが登録番号カウンタAの値以下か否かを確認する(ST52)。行番号Bが登録番号カウンタAの値より大きい場合、商品明細データが表示されていない行をタッチした誤操作である。この場合(ST52にてNO)、登録行入力処理は終了する。
行番号Bが登録番号カウンタAの値以下の場合(ST52にてYES)、CPU111は、この行番号Bの行に表示されている商品の選択要求があったとみなす。そしてCPU111は、認識結果保持メモリ71を検索して、行番号Bと一致する登録番号に関連付けられて記憶されている候補商品情報を読み込む(ST53)。CPU111は、この候補商品情報に基づいて候補商品再利用画面800を編集し、パネル表示部12aに表示させる(ST54:再表示機能)。
候補商品再利用画面800の一例が図13に示される。候補商品再利用画面800は、候補商品リスト801と、候補商品別の「修正」ボタン802及び「追加」ボタン803と、「閉じる」ボタン804の各ボタン画像を含む。候補商品リスト801には、各候補商品の名称とその商品の類似度とが表示される。
CPU111は、候補商品再利用画面800のいずれかのボタン画像がタッチ入力されるのを待機する(ST55,ST56,ST57)。タッチパネルセンサ12bの信号により「修正」ボタン802がタッチ入力されたことを検知すると(ST55にてYES)、CPU111は候補商品情報を検索して、タッチ入力された「修正」ボタン802に対応する商品の商品IDを検出する(ST58)。そしてCPU111は、行番号Bの商品ID(変更前の商品ID)を、タッチ入力された「修正」ボタン802に対応する商品の商品ID(変更後の商品ID)に変更する変更コマンドを生成し、この変更コマンドを、接続インターフェース116を介してPOS端末2に送信する(ST59:再利用機能)。その後、CPU111は、再び、候補商品再利用画面800のいずれかのボタン画像がタッチ入力されるのを待機する(ST55,ST56,ST57)。
上記変更コマンドを受信したPOS端末2のCPU211は、変更前の商品IDで識別される商品の販売データを取消処理する。またCPU211は、変更後の商品IDで識別される商品の商品名、単価等の商品情報を取得するために商品マスタファイルを検索する。そしてCPU211は、商品マスタファイルから検出した商品情報に基づいて、販売数量、販売金額を含む商品販売データを登録処理する。さらにCPU211は、変更後の商品IDで識別される商品の商品名、単価、数量、金額の各データを、接続インターフェース217を介して商品認識装置1に送信する。商品認識装置1のCPU111は、登録画面700における明細エリア701の行番号Bの行に、POS端末2から受信した商品名、単価、数量、金額の各データを表示させる。
タッチパネルセンサ12bの信号により「追加」ボタン803がタッチ入力されたことを検知した場合には(ST56にてYES)、CPU111は、登録番号カウンタAを“1”だけカウントアップする(ST60)。またCPU111は、候補商品情報を検索して、タッチ入力された「追加」ボタン803に対応する商品の商品IDを検出する(ST61)。そしてCPU111は、この商品IDを追加する追加コマンドを生成し、この追加コマンドを、接続インターフェース116を介してPOS端末2に送信する(ST62)。その後、CPU111は、再び、候補商品再利用画面800のいずれかのボタン画像がタッチ入力されるのを待機する(ST55,ST56,ST57)。
上記追加コマンドを受信したPOS端末2のCPU211は、追加された商品IDで識別される商品の商品名、単価等の商品情報を取得するために商品マスタファイルを検索する。そしてCPU211は、商品マスタファイルから検出した商品情報に基づいて、販売数量、販売金額を含む商品販売データを登録処理する。さらにCPU211は、商品名、単価、数量、金額の各データを、接続インターフェース217を介して商品認識装置1に送信する。商品認識装置1のCPU111は、登録画面700の明細エリア701と客用ディスプレイ13とに、POS端末2から受信した商品名、単価、数量、金額の各データを表示させる。このとき、明細エリア701においては、登録番号カウンタAの値に一致する行番号の行にデータが表示される。
タッチパネルセンサ12bの信号により「閉じる」ボタン804がタッチ入力されたことを検知した場合には(ST57にてYES)、CPU111は、候補商品再利用画面800を消去する。しかる後、CPU111は、ステップST21の処理に戻り、キーボード11またはタッチパネル12の操作入力有無を確認する。
POS端末2からのコマンドに応じた割込処理の1つに、決済完了コマンドの受信割込処理がある。決済完了コマンドは、POS端末2において、キーボード21の締めキーが操作入力された際に、POS端末2から商品認識装置1に送信される。
この割込処理の手順は、図10の流れ図によって示される。先ず、CPU111は、認識結果保持メモリ620に取引日付、レジ番号及び取引番号の取引識別情報をセットする(ST71)。取引日付及びレジ番号は、予め商品認識装置1のRAM113に設定されている。取引番号は、取引番号カウンタYの値である。
認識結果保持メモリ620に取引識別情報がセットされたならば、CPU111は、この認識結果保持メモリ620のデータをバックアップファイルに書き込む。そしてCPU111は、このバックアップファイルを、接続インターフェース116を介してPOS端末2に送信してHDD214に保存する(ST72)。しかる後、CPU111は、認識結果保持メモリ620をクリアする(ST73:クリア機能)。以上で、1商取引に対する商品認識装置1の情報処理が終了する。
本実施形態において、商品認識装置1のオペレータは、買物カゴ6から商品Mを1品ずつ取り出す毎に、その商品Mにバーコードが付されているか否かを確認する。バーコードが付されている場合には、オペレータは、商品Mのバーコードが付されている面を読取窓1Bに翳す。バーコードが付されていない場合には、オペレータは、商品Mのいずれか1面を読取窓1Bに翳す。
読取窓1Bに翳された商品Mは、カメラ14によって撮影される。商品認識装置1においては、カメラ14で撮影されたフレーム画像から商品画像が検出されると、この商品画像でバーコードの読取処理と商品認識処理とが実行される。その結果、バーコードが読み取られると、このバーコードからデコードされた商品IDがPOS端末2に送信される。
バーコードが読み取られない場合には、認識結果処理が実行される。すなわち商品認識処理において認識された候補商品の最大類似度が確定閾値Lmaxを超えた場合には、この最大類似度を有する商品が、読取窓1Bに翳された商品Mとして特定される。最大類似度が確定閾値Lmaxを超えない場合には、類似度が候補閾値Lminを超える候補商品のリストがタッチパネル12に表示される。候補商品の中から1つの商品が選択されると、この商品が、読取窓1Bに翳された商品Mとして特定される。
読取窓1Bに翳された商品Mが特定されると、この商品Mの商品IDが商品認識装置1からPOS端末2に送信される。また商品認識装置1では、商品Mを読取窓1Bに翳したときの商品認識処理によって認識された候補商品の情報が、登録番号カウンタAの値と関連付けられて、認識結果保持メモリ620に格納される。
POS端末2では、商品認識装置1から商品IDを受信する毎に、この商品IDで識別される商品の販売データが登録処理される。一方、商品認識装置1では、タッチパネル12に表示されている登録画面700の明細エリア701に、各商品の商品名、単価、数量、金額の各データが、登録処理された順に表示される。
図12は、1品目として商品「牛乳」が登録処理され、2品目として商品「たまねぎ」が登録処理され、3品目としてオペレータが商品「リンゴ」を読取窓1Bに翳したときの登録画面700である。商品「たまねぎ」には、バーコードが付されていない。このため認識結果保持メモリ620には、登録番号「2」に関連付けて、商品「たまねぎ」を読取窓1Bに翳したときに実行される商品認識処理によって認識された候補商品の情報が保存されている。
図12の画面において、読取窓1Bに翳した商品が「リンゴ」の場合、オペレータは、ボタン画像711にタッチする。そうするとPOS端末2では、商品「リンゴ」の販売データが登録処理される。商品認識装置1では、明細エリア701の行番号「3」の行に、商品「リンゴ」の名称、単価、数量、金額が表示される。また認識結果保持メモリ620には、登録番号「3」に関連付けて、候補商品「リンゴ」,「柿」,「モモ」の情報が保存される。
このとき、オペレータが誤ってボタン画像712にタッチしてしまうと、POS端末2では、商品「柿」の販売データが登録処理されてしまう。この場合も、認識結果保持メモリ620には、登録番号「3」に関連付けて、候補商品「リンゴ」,「柿」,「モモ」の情報が保存される。
今、同様な誤操作により、2品目の商品が「たまねぎ」ではなく「ジャガイモ」であったことにオペレータが気付いたとする。この場合、オペレータは、明細エリア701の行番号「2」の行にタッチする。そうすると商品認識装置1では、タッチパネル12のパネル表示部12aに、登録番号「2」に関連付けて認識結果保持メモリ620に保存されている候補商品の情報を基に編集された候補商品再利用画面800が表示される。
図13は、候補商品再利用画面800の一例である。この例は、商品「ジャガイモ」を読取窓1Bに翳したときに、候補商品として類似度か高い順に「たまねぎ」、「ジャガイモ」、「さといも」、「レモン」、「にんにく」が認識された場合である。候補商品再利用画面800を確認したオペレータは、画面の「ジャガイモ」に対応した「修正」ボタン802にタッチする。そうすると、商品認識装置1では、商品「たまねぎ」の商品IDが変更前の商品IDであり、商品「ジャガイモ」の商品IDが変更後の商品IDである変更コマンドが生成されて、POS端末2に送信される。
POS端末2では、商品「たまねぎ」の販売データが取消処理され、その代わりに商品「ジャガイモ」の販売データが登録処理される。商品認識装置1では、図14に示すように、明細エリア701の行番号「2」に対応した行に、商品「ジャガイモ」の品名、単価、数量、金額が表示される。
次に、例えば4品目が「さといも」であったとする。この場合、オペレータは明細エリア701の行番号「2」の行にタッチする。そうすると、図13に示す候補商品再利用画面800がパネル表示部12aに表示されるので、オペレータは、画面の「さといも」に対応した「追加」ボタン803にタッチする。そうすると、商品認識装置1では、商品「さといも」の商品IDを含む追加コマンドが生成されて、POS端末2に送信される。
POS端末2では、商品「さといも」の販売データが登録処理される。商品認識装置1では、明細エリア701の行番号「4」に対応した行に、商品「さといも」の品名、単価、数量、金額が表示される。
このように本実施形態の商品認識装置1は、商品認識処理により認識された候補商品の情報を当該候補商品の中から特定された前記特定商品に関する情報(登録番号)と関連付けて認識結果保持メモリ620で保持する。そして、タッチパネル12に表示される登録画面700のタッチ入力により前記特定商品の選択要求を受け付けると、当該特定商品に関する情報と関連付けて前記認識結果保持メモリ620に保持されている候補商品の情報に基づき候補商品再利用画面800を前記タッチパネル12に表示させる。したがって、商品を読取窓1Bに再度翳さなくても、当該商品の撮像画像に対する商品認識処理により認識された候補商品の情報を確認することができる。
また、候補商品再利用画面800には、各候補商品に対応させて「修正」ボタン802と「追加」ボタン803とが表示される。そして、「修正」ボタン802が入力されると、商品認識装置1では選択要求のあった特定商品の販売データが取消処理される。そして、その代わりに「修正」ボタン802に対応する候補商品の販売データが登録処理される。したがって、バーコードのない商品の販売データを修正する場合に、この商品を読取窓1Bに再度翳す手間なく修正することができる。
「追加」ボタンが入力された場合には、商品認識装置1では、この「追加」ボタン803に対応する候補商品の商品IDがPOS端末2に出力される。POS端末2では、当該商品IDで識別される商品の販売データが登録処理される。したがって、バーコードのない商品であっても候補商品のリストに挙げられた類似商品であれば、商品を読取窓1Bに翳すことなく商品販売データを登録処理することができる。
[第2の実施形態]
図15は、第2の実施形態における認識結果保持メモリ630のエリア構造を示す模式図である。第1の実施形態では、候補商品の情報を当該候補商品の中から特定された特定商品に関する情報と関連付けて認識結果保持メモリ620に格納した。第2の実施形態では、図15に示すように、候補商品の情報の代わりに商品画像を格納する。
図15は、第2の実施形態における認識結果保持メモリ630のエリア構造を示す模式図である。第1の実施形態では、候補商品の情報を当該候補商品の中から特定された特定商品に関する情報と関連付けて認識結果保持メモリ620に格納した。第2の実施形態では、図15に示すように、候補商品の情報の代わりに商品画像を格納する。
なお、店舗会計システムの外観図、商品認識装置とPOS端末とのハードウェア構成を示すブロック図、認識辞書ファイルに保存される商品別辞書データの構造を示す模式図、候補商品メモリのエリア構造を示す模式図は、第1の実施形態と同一なので、図1〜5をそのまま用いる。また、商品認識装置のCPUが商品認識プログラムに従って実行する情報処理の一手順を示す流れ図、商品認識処理の手順を具体的に示す流れ図、決済完了コマンドに対する割込処理の手順を具体的に示す流れ図も第1の実施形態と同一なので、図6,7,10をそのまま用いる。
図16は、第2の実施形態における認識結果処理の手順を具体的に示す流れ図である。図16において、図8に示す第1の実施形態の同処理と共通する処理ステップには同一符号を付している。図8と図16とを対比すれば明らかなように、第2の実施形態が第1の実施形態と異なるのは、ステップST45またはST48の処理の後のステップである。
すなわち第1の実施形態では、CPU111は、認識結果保持メモリ620に登録番号カウンタAの値と候補商品情報とを格納する(ST49)。第2の実施形態では、CPU111は、認識結果保持メモリ620に登録番号カウンタAの値と商品画像とを格納する(ST81)。商品画像は、最新のステップST7の処理で撮影画像から検出された商品画像の全部または一部である。
図17は、第2の実施形態における登録行入力に対する割込処理の手順を具体的に示す流れ図である。なお、図9に示す第1の実施形態の同処理と共通する処理ステップには同一符号を付している。図9と図17とを対比すれば明らかなように、第2の実施形態が第1の実施形態と異なるのは、ステップST53の処理に代えて、ステップST91〜ST93の処理を実行するようにした点である。
すなわち第1の実施形態では、明細エリア701のタッチ位置にある行の行番号Bを検出する(ST51)。行番号Bが登録番号カウンタAの値以下の場合(ST52にてYES)、CPU111は、認識結果保持メモリ71を検索して、行番号Bと一致する登録番号に関連付けられて記憶されている候補商品情報を読み込む(ST53)。
第2の実施形態では、行番号Bが登録番号カウンタAの値以下の場合(ST52にてYES)、CPU111は、認識結果保持メモリ71を検索して、行番号Bと一致する登録番号に関連付けられて記憶されている商品画像を読み込む(ST91)。次いで、CPU111は、この商品画像を用いて、第1の実施形態と同様の商品認識処理(図7を参照)を実行する(ST92)。次いで、CPU111は、図16の流れ図で示される手順の認識結果処理を実行する(ST93)。しかしてCPU111は、認識結果処理により得られた候補商品情報に基づいて候補商品再利用画面800を編集し、パネル表示部12aに表示させる(ST54)。
その後、CPU111は、候補商品再利用画面800のいずれかのボタン画像がタッチ入力されるのを待機する(ST55,ST56,ST57)。ここで、「修正」ボタン802、「追加」ボタン803または「閉じる」ボタン804が操作入力された後の処理は、第1の実施形態と同様である。
このような構成の第2の実施形態においても、第1の実施形態と同様な作用効果を奏し得る。
なお、本発明は、前記実施形態に限定されるものではない。
例えば前記実施形態では、タッチパネル12に表示される登録画面700の明細エリア701がタッチ入力されたことを検知すると、特定商品の選択要求を受け付ける場合を例示した。特定商品の選択要求を受け付ける形態は、これに限定されるものではない。例えば、キーボード11のキー操作により行番号Bが入力されたことを検知すると、特定商品の選択要求を受け付けるようにしてもよい。あるいは、POS端末2のキー操作により生成されるコマンドの入力により、特定商品の選択要求を受け付けるように構成することも可能である。
例えば前記実施形態では、タッチパネル12に表示される登録画面700の明細エリア701がタッチ入力されたことを検知すると、特定商品の選択要求を受け付ける場合を例示した。特定商品の選択要求を受け付ける形態は、これに限定されるものではない。例えば、キーボード11のキー操作により行番号Bが入力されたことを検知すると、特定商品の選択要求を受け付けるようにしてもよい。あるいは、POS端末2のキー操作により生成されるコマンドの入力により、特定商品の選択要求を受け付けるように構成することも可能である。
また、前記実施形態では、POS端末2からの決済完了コマンドを受信したことに応じて、認識結果保持メモリ620をクリアした。認識結果保持メモリ620をクリアするタイミングは、これに限定されるものではない。例えば、決済完了コマンドを受信してから所定時間が経過した後の時点で、認識結果保持メモリ620をクリアしてもよい。あるいは、決済完了コマンドを所定の複数回数受信した時点で、認識結果保持メモリ620をクリアしてもよい。
また、HDD214のバックアップファイルに保存した認識結果保持メモリ620のデータについても、一営業日の営業時間終了後や所定の営業日数が経過した段階でクリアすることが、記憶容量の節約の観点から望ましい。
また、前記実施形態では、商品認識装置1のCPU111が、プロセッサとしての機能(プログラム)を全て有する。商品認識装置1のCPU111とPOS端末2のCPU211とが、プロセッサとしての機能を分散して有してもよい。あるいは、商品認識装置1をPOS端末2に組み込んで一体的に構成し、POS端末2のCPU211がプロセッサとしての機能を有してもよい。この場合、候補商品メモリ610及び認識結果保持メモリ620,630としての領域は、POS端末2のRAM213に確保される。
また、これらのメモリ領域は、RAM以外の記憶媒体、例えばHDD214に形成されていてもよい。本実施形態では、商品画像から認識される候補商品の情報または上記商品画像を保持する記憶媒体は全てメモリの範疇に入る。
また、前記実施形態は、装置内部のプログラム記憶部であるROM112に発明の機能を実現させる制御プログラムが予め記録されているものとした。しかしこれに限らず、同様のプログラムがネットワークから装置にダウンロードされてもよい。あるいは、記録媒体に記録された同様のプログラムが、装置にインストールされてもよい。記録媒体は、CD−ROM,メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のOS(オペレーティング・システム)等と協働してその機能を実現させるものであってもよい。また、本実施形態のプログラムを、通信機能を有する携帯電話やいわゆるPDAのような携帯情報端末に組み込んで、その機能を実現させるものであってもよい。
この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1…商品認識装置、2…POS端末、11…キーボード、12…タッチパネル、14…カメラ、111,211…CPU、112,212…ROM、113,213…ROM、114…画像インターフェース、116,216…接続インターフェース、214…HDD、500…認識辞書ファイル、610…候補商品メモリ、620,630…認識結果保持メモリ。
Claims (6)
- 商品を撮影した画像からその画像に写し出されている商品の候補を認識する認識処理が終了する毎に番号をカウントアップする番号カウンタと、
前記認識処理により認識された候補商品の中から前記画像に写し出されている商品が特定される毎にその特定された商品の情報を前記番号カウンタの番号とともに表示するディスプレイと、
前記認識処理により認識された候補商品の中から前記画像に写し出されている商品が特定される毎に前記候補商品の情報を前記番号カウンタの番号と関連付けて記憶するメモリと、
入力デバイスと、
前記入力デバイスを介して番号が入力されると、その番号と関連付けて前記メモリに記憶されている前記候補商品のリストを前記ディスプレイに表示させ、前記入力デバイスを介して前記リストの中からいずれかの商品が選択されると、前記番号カウンタをカウントアップさせ、カウントアップ後の前記番号とともに前記選択された商品の情報を前記ディスプレイに表示させるプロセッサと、
を具備したことを特徴とする商品認識装置。 - 前記認識処理により認識された候補商品の中から前記画像に写し出されている商品が特定される毎にその特定された商品の情報を決済端末に出力するインターフェース、
をさらに具備し、
前記プロセッサは、
前記入力デバイスを介して前記リストの中からいずれかの商品が選択されると、その選択された商品の情報を追加するコマンドを、前記インターフェースを介して前記決済端末に出力することを特徴とする請求項1記載の商品認識装置。 - 商品を撮影した画像からその画像に写し出されている商品の候補を認識する認識処理が終了する毎に番号をカウントアップする番号カウンタと、
前記認識処理により認識された候補商品の中から前記画像に写し出されている商品が特定される毎にその特定された商品の情報を前記番号カウンタの番号とともに表示するディスプレイと、
前記認識処理により認識された候補商品の中から前記画像に写し出されている商品が特定される毎に前記候補商品の情報を前記番号カウンタの番号と関連付けて記憶するメモリと、
入力デバイスと、
前記入力デバイスを介して番号が入力されると、その番号と関連付けて前記メモリに記憶されている前記候補商品のリストを前記ディスプレイに表示させ、前記入力デバイスを介して前記リストの中からいずれかの商品が選択されると、前記入力された番号とともに表示されていた商品の情報を前記選択された商品の情報に変更するプロセッサと、
を具備したことを特徴とする商品認識装置。 - 前記認識処理により認識された候補商品の中から前記画像に写し出されている商品が特定される毎にその特定された商品の情報を決済端末に出力するインターフェース、
をさらに具備し、
前記プロセッサは、
前記入力デバイスを介して前記リストの中からいずれかの商品が選択されると、前記入力された番号とともに表示されていた商品の情報を前記選択された商品の情報に変更するコマンドを、前記インターフェースを介して前記決済端末に出力することを特徴とする請求項3記載の商品認識装置。 - コンピュータに、
商品を撮影した画像からその画像に写し出されている商品の候補を認識する機能、
前記認識する処理が終了する毎に番号カウンタをカウントアップする機能、
前記認識された候補商品の中から前記画像に写し出されている商品が特定される毎にその特定された商品の情報を前記番号カウンタの番号とともにディスプレイに表示させる機能、
前記認識された候補商品の中から前記画像に写し出されている商品が特定される毎に前記候補商品の情報を前記番号カウンタの番号と関連付けてメモリに格納する機能、
入力デバイスを介して番号が入力されると、その番号と関連付けて前記メモリに記憶されている前記候補商品のリストを前記ディスプレイに表示させる機能、及び、
前記入力デバイスを介して前記リストの中からいずれかの商品が選択されると、前記番号カウンタをカウントアップさせ、カウントアップ後の前記番号とともに前記選択された商品の情報を前記ディスプレイに表示させる機能、
を実現させるための商品認識プログラム。 - コンピュータに、
商品を撮影した画像からその画像に写し出されている商品の候補を認識する機能、
前記認識する処理が終了する毎に番号カウンタをカウントアップする機能、
前記認識された候補商品の中から前記画像に写し出されている商品が特定される毎にその特定された商品の情報を前記番号カウンタの番号とともにディスプレイに表示させる機能、
前記認識された候補商品の中から前記画像に写し出されている商品が特定される毎に前記候補商品の情報を前記番号カウンタの番号と関連付けてメモリに格納する機能、
入力デバイスを介して番号が入力されると、その番号と関連付けて前記メモリに記憶されている前記候補商品のリストを前記ディスプレイに表示させる機能、及び、
前記入力デバイスを介して前記リストの中からいずれかの商品が選択されると、前記入力された番号とともに表示されている商品の情報を前記選択された商品の情報に変更する機能、
を実現させるための商品認識プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015093318A JP5903516B2 (ja) | 2015-04-30 | 2015-04-30 | 商品認識装置及び商品認識プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015093318A JP5903516B2 (ja) | 2015-04-30 | 2015-04-30 | 商品認識装置及び商品認識プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012264273A Division JP5744824B2 (ja) | 2012-12-03 | 2012-12-03 | 商品認識装置及び商品認識プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015187870A JP2015187870A (ja) | 2015-10-29 |
JP5903516B2 true JP5903516B2 (ja) | 2016-04-13 |
Family
ID=54430043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015093318A Expired - Fee Related JP5903516B2 (ja) | 2015-04-30 | 2015-04-30 | 商品認識装置及び商品認識プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5903516B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7431234B2 (ja) | 2018-11-23 | 2024-02-14 | サノフイ | カメラを有する医療用デバイス |
US11935373B2 (en) | 2020-05-20 | 2024-03-19 | Nec Corporation | Processing system, processing method, and non-transitory storage medium |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003256933A (ja) * | 2002-03-04 | 2003-09-12 | Fujitsu Ltd | Pos端末システム |
JP2011227670A (ja) * | 2010-04-19 | 2011-11-10 | Teraoka Seiko Co Ltd | Posレジスタ |
JP5544332B2 (ja) * | 2010-08-23 | 2014-07-09 | 東芝テック株式会社 | 店舗システムおよびプログラム |
JP5132732B2 (ja) * | 2010-08-23 | 2013-01-30 | 東芝テック株式会社 | 店舗システムおよびプログラム |
-
2015
- 2015-04-30 JP JP2015093318A patent/JP5903516B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015187870A (ja) | 2015-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5744824B2 (ja) | 商品認識装置及び商品認識プログラム | |
JP5826152B2 (ja) | 商品認識装置及び商品認識プログラム | |
JP5936993B2 (ja) | 商品認識装置及び商品認識プログラム | |
JP5553866B2 (ja) | 商品認識装置及び認識辞書追加プログラム | |
JP5619095B2 (ja) | 商品認識装置及び商品認識プログラム | |
JP5372191B2 (ja) | 商品読取装置及び商品読取プログラム | |
JP5487288B2 (ja) | 商品読取装置及び商品読取プログラム | |
JP5543572B2 (ja) | 商品読取装置及び商品読取プログラム | |
JP5825222B2 (ja) | 情報処理装置及び決済処理方法 | |
JP2013250768A (ja) | 商品認識装置及び商品認識プログラム | |
US9027833B2 (en) | Commodity information display apparatus and method for displaying commodity information in different forms | |
JP6258761B2 (ja) | 情報処理装置及びプログラム | |
JP5511864B2 (ja) | 店舗会計システム及び店舗会計プログラム | |
JP5681682B2 (ja) | 情報処理装置及びプログラム | |
JP6949611B2 (ja) | 商品登録装置及びそのプログラム | |
JP5903516B2 (ja) | 商品認識装置及び商品認識プログラム | |
JP2015099550A (ja) | 商品認識装置及び商品認識プログラム | |
JP6392406B2 (ja) | 商品認識装置及び商品認識プログラム | |
JP5753929B2 (ja) | 商品認識装置、方法及び認識辞書追加プログラム | |
JP5457310B2 (ja) | 商品コード読取装置及びプログラム | |
US20170083891A1 (en) | Information processing apparatus and information processing method | |
JP6133470B2 (ja) | 商品認識装置及び商品認識プログラム | |
JP7281569B2 (ja) | 物品読取装置およびプログラム | |
JP5935935B2 (ja) | 情報処理装置及び決済処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160229 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160314 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5903516 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |