JP5936993B2 - 商品認識装置及び商品認識プログラム - Google Patents

商品認識装置及び商品認識プログラム Download PDF

Info

Publication number
JP5936993B2
JP5936993B2 JP2012246199A JP2012246199A JP5936993B2 JP 5936993 B2 JP5936993 B2 JP 5936993B2 JP 2012246199 A JP2012246199 A JP 2012246199A JP 2012246199 A JP2012246199 A JP 2012246199A JP 5936993 B2 JP5936993 B2 JP 5936993B2
Authority
JP
Japan
Prior art keywords
product
commodity
image
candidate
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012246199A
Other languages
English (en)
Other versions
JP2014095983A (ja
Inventor
友成 柿野
友成 柿野
Original Assignee
東芝テック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 東芝テック株式会社 filed Critical 東芝テック株式会社
Priority to JP2012246199A priority Critical patent/JP5936993B2/ja
Publication of JP2014095983A publication Critical patent/JP2014095983A/ja
Application granted granted Critical
Publication of JP5936993B2 publication Critical patent/JP5936993B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712Fixed beam scanning
    • G06K7/10722Photodetector array or CCD scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • G06K9/4604Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes, intersections
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6201Matching; Proximity measures
    • G06K9/6215Proximity measures, i.e. similarity or distance measures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed circuit television systems, i.e. systems in which the signal is not broadcast
    • H04N7/183Closed circuit television systems, i.e. systems in which the signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K2209/00Indexing scheme relating to methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K2209/17Recognition of food, fruit, vegetables

Description

本発明の実施形態は、カメラを用いた商品認識装置及びコンピュータを前記商品認識装置として機能させるための商品認識プログラムに関する。

商品に付されるデータコードの一種にバーコードがある。スーパーマーケット等で販売される商品には、大抵、商品識別コードを含むバーコードが付されている。このバーコードをスキャナでスキャニングすることにより商品識別コードを認識する商品認識装置は広く普及している。

しかしながら、全ての商品にバーコードが付されるとは限らない。例えば、ばら売りの野菜,果物,惣菜などには、バーコードが付されないことが多い。そこで、バーコードが付されない商品にも対応するために、表示デバイスをタッチパネルとした商品認識装置がある。この装置は、タッチパネルの画面にバーコードが付されない商品の画像を表示させる。オペレータのタッチ入力により商品の画像が選択されると、商品認識装置は、選択された商品の画像に関連付けられた商品識別コードを確定する。

特開2000−339550号公報

商品にデータコードが付されている場合、オペレータ(店員または客)は、商品認識装置の読取窓にバーコードをかざせばよい。しかし、商品にバーコードが付されていない場合には、オペレータは、タッチパネルの画面から商品を選択する必要がある。この際、画面に所望の商品が表示されていないと、オペレータは、タッチ操作により画面を切り替えて商品を探さなければならない。このため、従来の商品認識装置は、バーコード等のデータコードが付されていない商品の認識作業に要するオペレータの負担が大きい。

本発明が解決しようとする課題は、バーコード等のデータコードが付されていない商品の認識作業に要するオペレータの負担を軽減できる商品認識装置を提供しようとするものである。

一実施形態において、商品認識装置は、画像インターフェースと、メモリと、プロセッサとを含む。画像インターフェースは、カメラによって撮影された商品画像を取り込む。メモリは、画像インターフェースを介して取り込まれた商品画像から認識される商品の候補を記憶する。プロセッサは、画像インターフェースを介して取り込まれた商品画像から商品識別コードの読取りを試行する。そして商品識別コードを読み取れないと、プロセッサは、商品識別コードの読取りを施行した商品画像から商品の候補を認識し、認識された商品の候補をメモリに記憶する。商品識別コードを読取ると、プロセッサは、メモリに記憶されている商品の候補をリセットする画像インターフェースを介して取り込まれた商品画像から商品識別コードの読取りを試行し、商品識別コードを読取ると、メモリに記憶されている商品の候補をリセットする。

店舗会計システムの外観図。 商品認識装置とPOS端末とのハードウェア構成を示すブロック図。 認識辞書ファイルに保存される商品別辞書データの構造を示す模式図。 候補商品メモリのエリア構造を示す模式図。 商品認識装置のCPUが商品認識プログラムに従って実行する情報処理の一手順を示す流れ図。 図5の商品認識処理の手順を具体的に示す流れ図。 登録画面の一例を示す平面図。 登録画面に商品候補が表示された一例を示す平面図。 商品認識装置のCPUが商品認識プログラムに従って実行する情報処理の他の手順を示す流れ図。

本実施形態は、小売店の店舗会計システムに含まれる商品認識装置に本発明に係る機能を適用した場合である。

はじめに、本実施形態の商品認識装置は、一般物体認識(generic object recognition)の技術を採用する。一般物体認識とは、対象となる物品(オブジェクト)をカメラで撮像した画像データから当該物品の種別等を認識する技術である。コンピュータは、画像データからこの画像に含まれる物品の外観特徴量を抽出する。そしてコンピュータは、認識辞書ファイルに登録された基準画像の特徴量データと照合して類似度を算出し、この類似度に基づいて当該物品の種別等を認識する。画像中に含まれる物品を認識する技術については、下記の文献に解説されている。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16[平成22年8月10日検索],インターネット< URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクト毎に領域分割することによって一般物体認識を行う技術については、下記の文献に解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット< URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf >
[第1の実施形態]
図1は、店舗会計システムの外観図である。このシステムは、顧客が買い上げる商品を認識する商品認識装置1と、商品認識装置1で認識された商品の販売データを登録するPOS端末2とを含む。商品認識装置1は、会計カウンタ3の上に取り付けられる。POS端末2は、レジ台4の上にドロワ5を介して設置される。POS端末2は、決済に必要なデバイスとしてキーボード21、オペレータ用ディスプレイ22、客用ディスプレイ23及びレシートプリンタ24を備える。商品認識装置1とPOS端末2とは、通信ケーブル400(図2を参照)によって電気的に接続される。

会計カウンタ3は、その奥側の顧客通路に沿って細長い形状である。レジ台4は、会計カウンタ3に沿って移動する顧客の移動方向に対して下流側の会計カウンタ3の端部手前側に、会計カウンタ3に対して略垂直に置かれる。そして、この会計カウンタ3の手前側とレジ台4の手前側が、会計担当の店員いわゆるキャッシャのスペースとなる。

商品認識装置1は、キーボード11、タッチパネル12及び客用ディスプレイ13を備える。これらの表示・入力デバイス(キーボード11、タッチパネル12、客用ディスプレイ13)は、商品認識装置1の本体を構成するハウジング1Aに取り付けられる。薄型の矩形形状を有するハウジング1Aは、会計カウンタ3の略中央に立設される。キーボード11とタッチパネル12は、それぞれ操作面をキャッシャ側に向けてハウジング1Aに取り付けられる。客用ディスプレイ13は、表示面を顧客通路側に向けてハウジング1Aに取り付けられる。

ハウジング1Aには、カメラ14が内蔵される。また、矩形状の読取窓1Bが、ハウジング1Aの正面(キャッシャ側)に形成される。カメラ14は、エリアイメージセンサであるCCD(Charge Coupled Device)撮像素子及びその駆動回路と、撮像領域の画像をCCD撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、読取窓1Bから撮像レンズを通してCCD撮像素子のエリアに結像するフレーム画像の領域を指す。カメラ14は、撮像レンズを通ってCCD撮像素子に結像した撮像領域の画像を出力する。

なお、カメラ14は、上記構成のものに限定されるものではない。本実施形態では、商品を撮像する機能を有しているものは全てカメラ14の範疇に入る。

会計カウンタ3の商品認識装置1を挟んで一方の荷受面、すなわち顧客移動方向に対して上流側の荷受面は、買物客が購入する未登録の商品Mが入れられた買物カゴ6を置くためのスペースとなる。他方の荷受面、すなわち顧客移動方向に対して下流側の荷受面は、商品認識装置1により認識された商品Mを入れるための買物カゴ7を置くためのスペースとなる。

図2は、商品認識装置1とPOS端末2とのハードウェア構成を示すブロック図である。商品認識装置1は、主制御部、主記憶部及び入出力部で構成される。CPU(Central Processing Unit)111は主制御部である。ROM(Read Only Memory)112及びRAM(Random Access Memory)113は主記憶部である。画像インターフェース114、デバイスインターフェース115及び接続インターフェース116は入出力部である。CPU111は、アドレスバス,データバス等のバスライン117を介して、ROM112、RAM113及び各インターフェース114,115,116を接続する。

なお、主制御部は、CPU以外のプロセッサであってもよい。また、入出力部にその他のインターフェースが含まれることを妨げるものではない。

画像インターフェース114には、前記カメラ14が接続される。このカメラ14によって撮像された画像は、画像インターフェース114介して商品認識装置1に取り込まれ、RAM113に格納される。デバイスインターフェース115には、前記キーボード11、タッチパネル12及び客用ディスプレイ13が接続される。タッチパネル12は、パネル表示部12aとタッチパネルセンサ12bとからなる。タッチパネルセンサ12bは、パネル表示部12aの画面の上に重ねて配置される。

POS端末2は、主制御部、主記憶部、補助記憶部及び入出力部で構成される。CPU211は主制御部である。ROM212及びRAM213は主記憶部である。HDD(Hard Disk Drive)214は補助記憶部である。デバイスインターフェース215、通信インターフェース216及び接続インターフェース217は入出力部である。CPU211は、アドレスバス,データバス等のバスライン218を介して、前記ROM212、RAM213、HDD214及び各インターフェース215,216,217を接続する。

なお、主制御部は、CPU以外のプロセッサであってもよい。また、入出力部にその他のインターフェースが含まれることを妨げるものではない。また、補助記憶部は、HDD214に限定されない。例えば、SSD(Solid State Drive)を補助記憶部として用いてもよい。

デバイスインターフェース215には、図2では省略するが、前記キーボード21、オペレータ用ディスプレイ22、客用ディスプレイ23、プリンタ24及びドロワ5が接続される。

通信インターフェース216には、LAN(Local Area Network)等のネットワークを介して、店舗の中枢を担うストアコンピュータ300が接続される。この接続により、POS端末2は、ストアコンピュータ300とデータの送受信が可能となる。例えばPOS端末2は、通信インターフェース216を介してストアコンピュータ300から後述する認識辞書ファイル500を受信する。認識辞書ファイル500は、HDD214に保存される。

接続インターフェース217には、通信ケーブル400を介して、商品認識装置1の接続インターフェース116が接続される。この接続により、POS端末2は、商品販売データを商品認識装置1のタチッパネル12及び客用ディスプレイ13に表示させる。商品認識装置1は、POS端末2のHDD214に保存される認識辞書ファイル500に対してアクセスが可能となる。

本実施形態では、バーコードが付されていない商品を認識対象商品とする。認識辞書ファイル500は、認識対象商品毎に辞書データを保存する。図3は、辞書データの構造を示す模式図である。図3に示すように、認識辞書ファイル500には、認識対象商品毎に、商品ID及び商品名と関連付けて、複数対の商品画像データ0〜Nと特徴量データ0〜Nとが保存される。商品IDは、商品を識別する商品識別コードである。因みに、商品に付されるバーコードには、上記商品IDが含まれる。

商品画像データ0〜Nは、対応する商品IDで識別される商品を様々な方向から撮影した画像のデータである。特徴量データ0〜Nは、対応する商品画像0〜Nから、その商品の表面情報(外観形状、色合い、模様、凹凸具合等)である外観上の特徴量を抽出し、この外観特徴量をパラメータ化したデータである。

なお、1つの商品に対する画像データ及び特徴量データの数(n+1)は、固定ではない。画像データ及び特徴量データの数(n+1)は商品によって異なる。また、画像データ0〜Nを全て認識辞書ファイル500で保存するのでなく、いずれか1つの画像データを認識辞書ファイル500が保存してもよい。

商品認識装置1は、カメラ14の撮像領域に翳された商品Mを販売商品として確定するまでの機能として、読取機能、特徴量抽出機能、類似度算出機能、候補登録機能、候補出力機能及び確定機能を有する。

読取機能は、カメラ14で撮影された商品の画像から、その商品に付されたバーコードを読み取る。なお、読取機能は、バーコードの代わりに他のデータコード、例えば二次元データコードを読み取るものであってもよい。

特徴量抽出機能は、カメラ14で撮影された商品の画像からその商品の外観特徴量を抽出する。類似度算出機能は、特徴量抽出機能により抽出された外観特徴量を、認識辞書ファイル500に記憶されている認識対象商品毎の特徴量データと照合する。そして類似度算出機能は、外観特徴量が特徴量データに対してどの程度類似しているかを示す類似度を認識対象商品毎に算出する。

候補登録機能は、類似度算出機能により算出された類似度の大きい順に認識対象商品を販売商品候補として抽出する。そしてこの機能は、販売商品候補となった商品の情報を後述する候補商品メモリ600に登録する。候補出力機能は、販売商品候補となった商品の画像をタッチパネル12に表示出力する。確定機能は、タッチパネル12に表示された商品画像の中から、タッチ操作により選択された商品を販売商品として確定させる。

かかる機能を実現させるために、商品認識装置1は、ROM112に商品認識プログラムを保存する。また商品認識装置1は、RAM113に候補商品メモリ600としての領域を確保する。候補商品メモリ600は、図4に示すように、1位から5位までの順位毎に、商品ID、商品名、商品画像及び類似度の各データを格納する。なお、候補商品メモリ600において、順位は1位から5位までに限定されるものではない。例えば何位までのデータを格納するのかを、システムのユーザが任意に設定できるようにしてもよい。

商品認識装置1のCPU111は、商品認識プログラムに従って、図5の流れ図に示す手順の情報処理を実行する。はじめに、CPU111は、タッチパネル12のパネル表示部12aに登録画面700を表示させる(ST1)。

登録画面700の一例が図7に示される。登録画面700は、明細エリア701と、合計エリア702と、候補エリア703とを含む。明細エリア701には、販売商品として登録された商品の商品名、単価、数量、金額が表示される。合計エリア702には、登録された商品の合計点数及び合計金額が表示される。候補エリア703には、候補商品メモリ600に格納された商品名及び商品画像が、1位から順番に表示される。

登録画面700が表示された後、CPU111は、キーボード11が操作されたか否かを確認する(ST2)。キーボードが操作されると、操作キーに対応したキーコードがRAM113のキーバッファに操作順に格納される。そこでCPU111は、キーバッファにキーコードが格納されているか否かを確認する。

キーバッファにキーコードが格納されていない場合、CPU111は、キー入力なしと判定する(ST2にてNO)。この場合、CPU111は、カメラ14で撮影されている画像(フレーム画像)を、画像インターフェース114を介して取り込む(ST3)。取り込まれた画像は、RAM113の画像バッファに格納される。

CPU111は、画像バッファに格納された画像を解析してバーコードを読み取る(ST4:読取機能)。画像解析によるバーコードの読取技術は、例えば特開2008−033640号公報に記載されている。

CPU111は、画像からバーコードを読み取ることができたか否かを判定する(ST5)。バーコードを読み取ることができなかった場合(ST5にてNO)、CPU111は、商品認識処理を実行する(ST6)。

図6は、商品認識処理の手順を具体的に示す流れ図である。先ず、CPU111は、画像バッファに格納された画像を再度解析して、この画像から商品を検出できるか否かを確認する(ST61)。具体的には、CPU111は、フレーム画像を二値化した画像から輪郭線等を抽出する。そしてCPU111は、画像に映し出されている物体の輪郭抽出を試みる。物体の輪郭が抽出されると、CPU111は、その輪郭内の画像を商品とみなす。画像から商品を検出できない場合(ST61にてNO)、商品認識処理は終了する。

画像から商品を検出できた場合(ST61にてYES)、CPU111は、その輪郭内の画像から商品の外観特徴量を抽出する(ST62:特徴量抽出機能)。外観特徴量には、商品の形状、表面の色合い、模様、凹凸状況等が含まれる。商品の外観特徴量が抽出されると、CPU111は、POS端末2のHDD214にアクセスして、認識辞書ファイル500を検索する(ST63)。そしてCPU111は、認識辞書ファイル500から1商品のデータレコード(商品ID、商品名、商品画像0〜n、特徴量データ0〜n)を読み込む(ST64)。

1商品のデータレコードが読み込まれたならば、CPU111は、当該レコードの特徴量データ0〜n毎に類似度を算出する。類似度は、特徴量データ0〜nがステップST62の処理で抽出された商品の外観特徴量とどの程度類似しているかを示す値である。CPU111は、特徴量データ0〜n毎に算出された類似度の最大値を、当該レコードの商品IDで特定される認識対象商品と、カメラ14で撮影された商品との類似度として決定する(ST65:類似度算出機能)。なお、特徴量データ0〜n毎に算出された類似度の合計値あるいは平均値を、認識対象商品と撮影された商品との類似度として決定してもよい。

CPU111は、ステップST65の処理で決定された類似度が、予め設定された候補閾値Lminを超えるか否かを確認する(ST66)。候補閾値Lminは、認識対象商品を候補商品として残す類似度の下限値である。類似度が候補閾値Lminを超えていない場合(ST66にてNO)、CPU111は、ステップST68の処理に進む。

類似度が候補閾値Lminを超えている場合には(ST66にてYES)、CPU111は、この類似度を、当該レコードの商品ID、商品名及び商品画像とともにRAM113の候補バッファに格納する(ST67)。商品画像は、例えば類似度が最大となった特徴量データと対になっている画像が選択される。しかる後、CPU111は、ステップST68の処理に進む。

ステップST68では、CPU111は、認識辞書ファイル500に未処理のデータレコードが存在するか否かを確認する。存在する場合(ST68にてYES)、CPU111は、ステップST64の処理に戻る。すなわちCPU111は、認識辞書ファイル30から未処理のデータレコードを読み込み、前記ステップST65〜ST67の処理を再度実行する。
認識辞書ファイル500に未処理のデータレコードが存在しない場合(ST68にてNO)、商品認識処理は終了する。

商品認識処理が終了すると、CPU111は、撮影画像から商品を認識できたか否かを確認するために候補バッファを検索する(ST7)。候補バッファにデータが格納されていない場合、商品が認識されていない。この場合(ST7にてNO)、CPU111は、ステップST2の処理に戻る。すなわちCPU111は、キーボード11が操作されたか否かを確認し、操作されていない場合には、前記ステップST3以降の処理を再度実行する。

候補バッファに少なくとも1商品のデータ(商品ID、商品名、画像、類似度)が格納されていた場合(ST7にてYES)、CPU111は、候補バッファのデータを類似度の大きい順に並べ替える。そしてCPU111は、類似度が1位から5位までのデータ(商品ID、商品名、画像、類似度)を選択し、1位から順に候補商品メモリ600に登録する(ST8:候補登録機能)。またCPU111は、候補商品メモリ600に登録された順に候補商品の画像を候補エリア703に表示させる(ST9:候補出力機能)。

候補商品画像を表示した登録画面700の一例が図8に示される。この例は、候補商品として「リンゴ」、「柿」及び「モモ」が認識された場合である。類似度は、「リンゴ」が最も大きく、「モモ」が最も小さい。この場合、図8に示すように、「リンゴ」を選択するためのボタン画像711と、「柿」を選択するためのボタン画像712と、「モモ」を選択するためのボタン画像713とが、候補エリア703に表示される。

候補商品のボタン画像711,712,713が表示されると、CPU111は、候補商品の中からいずれか1商品が選択されたか否かを確認する(ST10)。いずれか1つのボタン画像がタッチ入力されると、CPU111は、そのボタン画像に表示されている商品が選択されたとみなす。

商品が選択されない場合(ST10にてNO)、CPU111は、ステップST2の処理に戻る。すなわちCPU111は、キーボード11が操作されたか否かを確認し、操作されていない場合には、前記ステップST3以降の処理を再度実行する。

タッチパネルセンサ12bからの信号により商品が選択された場合(ST10にてYES)、CPU111は、候補商品メモリ600に記憶されている商品の候補をリセットするために、候補商品メモリ600をクリアする(ST11)。またCPU111は、候補エリア703に表示された候補商品のボタン画像711,712,713を消去する(ST12)。さらにCPU111は、選択された商品の商品IDを販売商品の商品IDとして確定する(確定機能)。そしてCPU111は、この確定された商品IDを、通信ケーブル400を介してPOS端末2に送信する(ST13)。

商品IDが送信された後、CPU111は、ステップST2の処理に戻る。すなわちCPU111は、キーボード11が操作されたか否かを確認し、操作されていない場合には、前記ステップST3以降の処理を再度実行する。

ステップST5にて画像からバーコードを読み取ることができた場合(ST5にてYES)、CPU111は、ステップST11の処理に進む。すなわちCPU111は、候補商品メモリ600に記憶されている商品の候補をリセットするために、候補商品メモリ600をクリアする(ST11)。またCPU111は、候補エリア703に表示された候補商品のボタン画像711,712,713を消去する(ST12)。さらにCPU111は、バーコードに含まれる商品IDを販売商品の商品IDとして確定する。そしてCPU111は、この確定された商品IDを、通信ケーブル400を介してPOS端末2に送信する(ST13)。

ステップST2にてキーバッファにキーコードが格納されている場合(ST2にてYES)、CPU111は、そのキーコードを解析して、商品IDが入力されたか否かを確認する(ST14)。商品ID以外の入力の場合(ST14にてNO)、CPU111は、入力に応じた処理を実行する。

商品IDが入力されている場合(ST14にてYES)、CPU111は、ステップST11の処理に進む。すなわちCPU111は、候補商品メモリ600に記憶されている商品の候補をリセットするために、候補商品メモリ600をクリアする(ST11)。またCPU111は、候補エリア703に表示された候補商品のボタン画像711,712,713を消去する(ST12)。さらにCPU111は、キー入力された商品IDを販売商品の商品IDとして確定する。そしてCPU111は、この確定された商品IDを、通信ケーブル400を介してPOS端末2に送信する(ST13)。

商品IDを受信したPOS端末2のCPU211は、その商品IDで識別される商品の商品名、単価等の商品情報を取得するために商品マスタファイルを検索する。そしてCPU211は、商品マスタファイルから検出した商品情報に基づいて、販売数量、販売金額を含む商品販売データを登録処理する。またCPU211は、商品名、単価、数量、金額の各データを、接続インターフェース217を介して商品認識装置1に送信する。商品認識装置1のCPU111は、パネル表示部12aに表示されている登録画面700の明細エリア701と客用ディスプレイ13とに、POS端末2から受信した商品名、単価、数量、金額の各データを表示させる。

なお、商品認識装置1のCPU111が実行する前記ステップST11,ST12,ST13の処理手順は限定されるものではない。例えば、候補商品のボタン画像711,712,713を消去してから候補商品メモリ600をクリアしてもよい。あるいは、確定された商品IDをPOS端末2に送信してから、候補商品メモリ600をクリアし、候補商品のボタン画像711,712,713を消去してもよい。

ここにCPU111は、画像インターフェース114を介して取り込まれた商品画像から商品識別コード(商品ID)の読取りを試行し、商品識別コードを読取ると、候補商品メモリ600に記憶されている商品の候補をリセットするプロセッサとして機能する。またCPU111は、商品識別コードを読取ると、ディスプレイ(パネル表示部12a)に表示されている商品の候補を消去するプロセッサとして機能する。キーボード11は、商品識別コードを入力可能な入力デバイスとして機能する。そしてCPU111は、入力デバイスを介して商品識別コードが入力されると、候補商品メモリ600に記憶されている商品の候補をリセットするプロセッサとして機能する。

本実施形態において、商品認識装置1のオペレータは、買物カゴ6から商品Mを1品ずつ取り出す毎に、その商品Mにバーコートが付されているか否かを確認する。バーコードが付されている場合には、オペレータは、商品Mのバーコードが付されている面を読取窓1Bに翳す。バーコードが付されていない場合には、オペレータは、商品Mのいずれか1面を読取窓1Bに翳す。

読取窓1Bに翳された商品Mは、カメラ14によって撮影される。商品認識装置1においては、カメラ14で撮影されたフレーム画像からバーコードの読取処理が実行され、バーコードが読み取られない場合には商品認識処理が実行される。そして、候補商品が認識されない場合には、次のフレーム画像が取り込まれ、バーコード読取処理と商品認識処理が実行される。

一方、商品認識処理によって候補商品が認識された場合には、候補商品メモリ600に候補商品のデータが格納される。また、候補商品の画像がタッチパネル12に表示される。ただし、候補商品の中から商品が選択されない場合、商品認識装置1においては、次のフレーム画像が取り込まれ、バーコード読取処理と商品認識処理が実行される。

したがって、バーコードが付されていない商品Mに対しては、オペレータが読取窓1Bに翳している間に撮影される複数のフレーム画像から候補商品が認識されて、商品Mの画像がタッチパネル12に表示される。そこでオペレータは、候補商品として商品Mが表示されたならば、その商品Mの画像にタッチする。そうすると、この商品Mの商品IDが販売商品のIDとしてPOS端末2に送信され、商品販売データが登録処理される。

オペレータが候補商品の中から商品Mを選択すると、候補商品メモリ600がクリアされる。また、タッチパネル12に表示されていた候補商品の画像が消去される。したがって、オペレータが次の商品を買物カゴ6から取り出して読取窓1Bに翳す際には、直前の候補商品がリセットされているので、スムーズに次の商品の処理に入ることができる。

一方、バーコードが付されている商品についても、オペレータが読取窓1Bに翳している間に撮影される複数のフレーム画像からバーコードが読み取られる。そしてこのバーコードに含まれる商品IDが販売商品のIDとしてPOS端末2に送信され、商品販売データが登録処理される。

商品の画像からバーコードが読み取られると、候補商品メモリ600がクリアされる。また、タッチパネル12に表示されていた候補商品の画像が消去される。したがって、オペレータが次の商品を買物カゴ6から取り出して読取窓1Bに翳す際には、直前の候補商品がリセットされているので、やはりスムーズに次の商品の処理に入ることができる。

ところで、オペレータがバーコード付きの商品を読取窓1Bに翳しているにも拘らず、バーコードが読み取られない場合がある。例えばバーコードが汚れていた場合に、このような事象が発生する。その場合、オペレータは、キーボード11を操作して商品IDを入力する。

このように商品IDがキー入力された場合にも、商品認識装置1では、候補商品メモリ600がクリアされる。また、タッチパネル12に表示されていた候補商品の画像が消去される。したがって、オペレータが次の商品を買物カゴ6から取り出して読取窓1Bに翳す際には、直前の候補商品がリセットされているので、やはりスムーズに次の商品の処理に入ることができる。

したがって、本実施形態の商品認識装置1によれば、商品にバーコードが付されているか否かに係らず、商品が認識されるまでに要するオペレータの負担を軽減できる効果を奏する。

[第2の実施形態]
前記第1の実施形態では、商品認識装置1のCPU111は、先にバーコードの読取処理を実行し(ST4)、後から商品認識処理を実行する(ST6)。これらの処理は、いずれもカメラ14で撮影された同一フレームの画像を用いる。したがって、先に商品認識処理を実行し、後からバーコードの読取処理を実行してもよい。第2の実施形態は、商品認識装置1のCPU111が先に商品認識処理を実行し、後からバーコードの読取処理を実行する場合である。

図9は、第2の実施形態において、CPU111が商品認識プログラムに従って実行する情報処理の手順を示す流れ図である。はじめに、CPU111は、タッチパネル12のパネル表示部12aに登録画面700を表示させる(ST21)。次に、CPU111は、キーボード11が操作されたか否かを確認する(ST22)。

キー入力なしと判定した場合(ST22にてNO)、CPU111は、商品認識処理を実行する(ST24)。この商品認識処理の具体的手順は、第1の実施形態と同様である。したがって、第2の実施形態でも図6を用い、その説明は省略する。

商品認識処理が終了すると、CPU111は、撮影画像から商品を認識できたか否かを確認する(ST25)。商品が認識されていない場合(ST25にてNO)、CPU1111は、ステップST27の処理に進む。

商品が認識されている場合には(ST25にてYES)、CPU111は、候補バッファのデータを類似度の大きい順に並べ替える。そしてCPU111は、類似度が1位から5位までのデータ(商品ID、商品名、画像、類似度)を選択し、候補商品メモリ600に順に登録する(ST26)。しかる後、CPU1111は、ステップST27の処理に進む。

ステップST27では、CPU111は、バーコード読取処理を実行する。すなわちCPU111は、画像バッファに格納された画像を解析してバーコードを読み取る。バーコードを読み取ることができなかった場合(ST28にてNO)、CPU111は、候補商品メモリ600に登録された順に候補商品の画像を候補エリア703に表示させる(ST29)。そしてCPU111は、候補商品の中からいずれか1商品が選択されたか否かを確認する(ST30)。

商品が選択されない場合(ST30にてNO)、CPU111は、ステップST22の処理に戻る。すなわちCPU111は、キーボード11が操作されたか否かを確認し、操作されていない場合には、前記ステップST23以降の処理を再度実行する。

商品が選択された場合(ST10にてYES)、CPU111は、ステップST31〜ST33として、第1の実施形態のステップST11〜ST13と同一の処理を実行する。画像からバーコードを読み取ることができた場合(ST28にてYES)、あるいは商品IDがキー入力された場合にも(ST34にてYES)、CPU111は、ステップST31〜ST33として、第1の実施形態のステップST11〜ST13と同一の処理を実行する。したがって、第2の実施形態の商品読取装置においても、第1の実施形態の商品読取装置1と同様の作用効果を奏し得る。

なお、本発明は、前記実施形態に限定されるものではない。
例えば前記実施形態では、商品認識装置1のCPU111が、プロセッサとしての機能を全て有する。商品認識装置1のCPU111とPOS端末2のCPU211とが、プロセッサとしての機能を分散して有してもよい。あるいは、商品認識装置1をPOS端末2に組み込んで一体的に構成し、POS端末2のCPU211がプロセッサとしての機能を有してもよい。この場合、候補商品メモリ600としての領域は、POS端末2のRAM213に確保される。

また、前記実施形態では、商品識別コードを入力可能な入力デバイスとしてキーボード11を例示する。商品識別コードを入力可能であれば、キーボード以外の入力デバイスをキーボード11の代わりに用いてもよい。あるいは、ハンディ式のバーコードスキャナを入力デバイスとして用いることも可能である。

また、前記実施形態は、装置内部のプログラム記憶部であるROM112に発明の機能を実現させる制御プログラムが予め記録されているものとした。しかしこれに限らず、同様のプログラムがネットワークから装置にダウンロードされてもよい。あるいは、記録媒体に記録された同様のプログラムが、装置にインストールされてもよい。記録媒体は、CD−ROM,メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のOS(オペレーティング・システム)等と協働してその機能を実現させるものであってもよい。また、本実施形態のプログラムを、通信機能を有する携帯電話やいわゆるPDAのような携帯情報端末に組み込んで、その機能を実現させるものであってもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]カメラによって撮影された商品画像を取り込む画像インターフェースと、前記画像インターフェースを介して取り込まれた前記商品画像から認識される商品の候補を記憶するメモリと、前記画像インターフェースを介して取り込まれた前記商品画像から商品識別コードの読取りを試行し、前記商品識別コードを読取ると、前記メモリに記憶されている商品の候補をリセットするプロセッサと、を具備したことを特徴とする商品認識装置。
[2]前記メモリに記憶されている商品の候補を表示するディスプレイ、をさらに具備し、前記プロセッサはさらに、前記商品識別コードを読取ると、前記ディスプレイに表示されている商品の候補を消去することを特徴とする付記[1]記載の商品認識装置。
[3]前記商品識別コードを入力可能な入力デバイス、をさらに具備し、前記プロセッサはさらに、前記入力デバイスを介して前記商品識別コードが入力されると、前記メモリに記憶されている商品の候補をリセットすることを特徴とする付記[1]または[2]記載の商品認識装置。
[4]カメラによって撮影された商品画像を取り込む画像インターフェースと、前記画像インターフェースを介して取り込まれた前記商品画像から認識される商品の候補を記憶するメモリとを備えたコンピュータに、前記画像インターフェースを介して取り込まれた前記商品画像から商品識別コードの読取りを試行する機能と、前記画像インターフェースを介して取り込まれた前記商品画像からその画像に含まれる商品の候補を認識する機能と、前記商品画像から認識された商品の候補を前記メモリに登録する機能と、商品識別コードの読取りを試行した結果、前記商品識別コードを読取ると、前記メモリに記憶されている商品の候補をリセットする機能と、を実現させるための商品認識プログラム。
[5]当該コンピュータに、商品識別コードの読取りを試行した結果、前記商品識別コードを読取ると、前記メモリに記憶されている商品の候補を表示するディスプレイに表示されている商品の候補を消去する機能をさらに実現させるための付記[4]記載の商品認識プログラム。

1…商品認識装置、2…POS端末、11…キーボード、12…タッチパネル、14…カメラ、111,211…CPU、112,212…ROM、113,213…ROM、114…画像インターフェース、116,216…接続インターフェース、214…HDD、500…認識辞書ファイル、600…候補商品メモリ。

Claims (6)

  1. カメラによって撮影された商品画像を取り込む画像インターフェースと、
    モリと、
    ロセッサと、を具備し
    前記プロセッサは、
    前記画像インターフェースを介して取り込まれた前記商品画像から商品識別コードの読取りを試行し、
    前記商品識別コードを読み取れないと、前記商品識別コードの読取りを施行した前記商品画像から商品の候補を認識し、認識された前記商品の候補を前記メモリに記憶し、
    前記商品識別コードを読取ると、前記メモリに記憶されている商品の候補をリセットすることを特徴とする商品認識装置。
  2. 前記メモリに記憶されている商品の候補を表示するディスプレイ、
    をさらに具備し、
    前記プロセッサはさらに、前記商品識別コードを読取ると、前記ディスプレイに表示されている商品の候補を消去することを特徴とする請求項1記載の商品認識装置。
  3. 前記商品識別コードを入力可能な入力デバイス、
    をさらに具備し、
    前記プロセッサはさらに、前記入力デバイスを介して前記商品識別コードが入力されると、前記メモリに記憶されている商品の候補をリセットすることを特徴とする請求項1または2記載の商品認識装置。
  4. カメラによって撮影された商品画像を取り込む画像インターフェースと、
    ディスプレイと、
    メモリと、
    プロセッサと、を具備し、
    前記プロセッサは、
    前記画像インターフェースを介して取り込まれた前記商品画像から商品の候補を認識し、認識された前記商品の候補を前記メモリに記憶し、
    前記商品の候補を認識した前記商品画像から商品識別コードの読取りを試行し、
    前記商品識別コードを読み取れないと、前記メモリに記憶されている前記商品の候補を前記ディスプレイに表示させ、
    前記商品識別コードを読取ると、前記メモリに記憶されている商品の候補をリセットすることを特徴とする商品認識装置。
  5. カメラによって撮影された商品画像を取り込む画像インターフェースと、メモリとを備えたコンピュータに、
    前記画像インターフェースを介して取り込まれた前記商品画像から商品識別コードの読取りを試行する機能と、
    前記商品識別コードが読み取られないと、前記商品識別コードの読取りを施行した前記商品画像から商品の候補を認識し、認識された前記商品の候補を前記メモリに記憶する機能と、
    前記商品識別コードが読取られると、前記メモリに記憶されている商品の候補をリセットする機能と、
    を実現させるための商品認識プログラム。
  6. カメラによって撮影された商品画像を取り込む画像インターフェースと、ディスプレイと、メモリと、を備えたコンピュータに、
    前記画像インターフェースを介して取り込まれた前記商品画像から商品の候補を認識し、認識された前記商品の候補を前記メモリに記憶する機能と、
    前記商品の候補が認識された前記商品画像から商品識別コードの読取りを試行する機能と、
    前記商品識別コードが読み取られないと、前記メモリに記憶されている前記商品の候補を前記ディスプレイに表示させる機能と、
    前記商品識別コードが読取られると、前記メモリに記憶されている商品の候補をリセットする機能と、
    を実現させるための商品認識プログラム。
JP2012246199A 2012-11-08 2012-11-08 商品認識装置及び商品認識プログラム Active JP5936993B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012246199A JP5936993B2 (ja) 2012-11-08 2012-11-08 商品認識装置及び商品認識プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012246199A JP5936993B2 (ja) 2012-11-08 2012-11-08 商品認識装置及び商品認識プログラム
US14/074,045 US20140126775A1 (en) 2012-11-08 2013-11-07 Commodity recognition apparatus and commodity recognition method
US15/253,955 US10108830B2 (en) 2012-11-08 2016-09-01 Commodity recognition apparatus and commodity recognition method
US15/253,950 US20160371524A1 (en) 2012-11-08 2016-09-01 Commodity recognition apparatus and commodity recognition method

Publications (2)

Publication Number Publication Date
JP2014095983A JP2014095983A (ja) 2014-05-22
JP5936993B2 true JP5936993B2 (ja) 2016-06-22

Family

ID=50622427

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012246199A Active JP5936993B2 (ja) 2012-11-08 2012-11-08 商品認識装置及び商品認識プログラム

Country Status (2)

Country Link
US (3) US20140126775A1 (ja)
JP (1) JP5936993B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5826152B2 (ja) * 2012-11-20 2015-12-02 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP5927147B2 (ja) 2013-07-12 2016-05-25 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP5865316B2 (ja) 2013-08-30 2016-02-17 東芝テック株式会社 商品登録装置およびプログラム
CN103838864B (zh) * 2014-03-20 2017-02-22 北京工业大学 一种视觉显著性与短语相结合的图像检索方法
JP6376955B2 (ja) * 2014-11-17 2018-08-22 東芝テック株式会社 情報処理装置、販売データ処理装置およびプログラム
JP6428240B2 (ja) * 2014-12-17 2018-11-28 カシオ計算機株式会社 商品登録装置、商品認識方法、およびプログラム
CN105426530B (zh) * 2015-12-15 2017-05-10 徐庆 一种商标检索方法、装置和系统
JPWO2017126253A1 (ja) * 2016-01-21 2018-11-15 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2018041260A (ja) * 2016-09-07 2018-03-15 東芝テック株式会社 情報処理装置およびプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05258182A (ja) * 1992-03-11 1993-10-08 Sanyo Electric Co Ltd Posシステム
US5546475A (en) 1994-04-29 1996-08-13 International Business Machines Corporation Produce recognition system
US5631976A (en) 1994-04-29 1997-05-20 International Business Machines Corporation Object imaging system
JP3213670B2 (ja) * 1994-05-30 2001-10-02 東芝テック株式会社 チェックアウト装置
JP3213669B2 (ja) * 1994-05-30 2001-10-02 東芝テック株式会社 チェックアウトシステム
EP0727760A3 (en) 1995-02-17 1997-01-29 Ibm Produce size recognition system
US6650761B1 (en) * 1999-05-19 2003-11-18 Digimarc Corporation Watermarked business cards and methods
WO2003098496A2 (en) * 2002-05-17 2003-11-27 Fujitsu Transaction Solutions, Inc. Self-checkout method and apparatus
US7845554B2 (en) * 2000-10-30 2010-12-07 Fujitsu Frontech North America, Inc. Self-checkout method and apparatus
JP2002074511A (ja) 2001-06-21 2002-03-15 Toshiba Tec Corp 商品販売登録データ処理装置
JP4422706B2 (ja) 2006-07-28 2010-02-24 東芝テック株式会社 データコード読取装置
US20100092093A1 (en) * 2007-02-13 2010-04-15 Olympus Corporation Feature matching method
JP4668220B2 (ja) * 2007-02-20 2011-04-13 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8934709B2 (en) * 2008-03-03 2015-01-13 Videoiq, Inc. Dynamic object classification
JP2010039506A (ja) * 2008-07-31 2010-02-18 Fujifilm Corp 画像表示システム、サーバ装置及び端末装置
JP5403657B2 (ja) * 2009-02-23 2014-01-29 Necインフロンティア株式会社 定置スキャナ、pos端末および決済商品選別方法
JP5535508B2 (ja) 2009-03-31 2014-07-02 Necインフロンティア株式会社 セルフpos装置及びその動作方法
JP2010280468A (ja) * 2009-06-03 2010-12-16 Oki Electric Ind Co Ltd 物品管理装置、物品運搬装置、物品処理システム及び方法
JP5038456B2 (ja) * 2010-04-02 2012-10-03 東芝テック株式会社 販売登録装置、チェックアウトシステムおよびプログラム
JP5544332B2 (ja) 2010-08-23 2014-07-09 東芝テック株式会社 店舗システムおよびプログラム
JP5149950B2 (ja) 2010-10-28 2013-02-20 東芝テック株式会社 商品情報読取装置及びプログラム
JP5792985B2 (ja) * 2011-04-20 2015-10-14 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
US9424480B2 (en) * 2012-04-20 2016-08-23 Datalogic ADC, Inc. Object identification using optical code reading and object recognition

Also Published As

Publication number Publication date
US20140126775A1 (en) 2014-05-08
US20160371564A1 (en) 2016-12-22
US10108830B2 (en) 2018-10-23
JP2014095983A (ja) 2014-05-22
US20160371524A1 (en) 2016-12-22

Similar Documents

Publication Publication Date Title
US8876001B2 (en) Methods and apparatus for image recognition in checkout verification
US8267316B2 (en) Systems and methods for merchandise checkout
US20030018522A1 (en) Biometric system and method for identifying a customer upon entering a retail establishment
US20030018897A1 (en) Video identification verification system and method for a self-checkout system
JP5194149B2 (ja) 店舗システムおよびプログラム
US8146811B2 (en) Cart inspection for suspicious items
JP4283080B2 (ja) 画像検索システム
US20070084918A1 (en) Integrated data reader and bottom-of-basket item detector
US8856035B2 (en) Store system and sales registration method
US9076177B2 (en) System and method for providing commodity information, and storage medium containing related program
CN103208154B (zh) 信息处理装置、店铺系统及信息处理方法
JP5194160B1 (ja) 情報処理装置、情報処理方法及びプログラム
US7229015B2 (en) Self-checkout system
JP2009271916A (ja) 商品登録処理装置
JP5431429B2 (ja) 情報処理装置及びプログラム
JP5132733B2 (ja) 店舗システムおよびプログラム
JP5349554B2 (ja) 情報処理装置及びプログラム
US20130193210A1 (en) Commodity recognition apparatus and commodity recognition method
JP5132732B2 (ja) 店舗システムおよびプログラム
US20140023241A1 (en) Dictionary registration apparatus and method for adding feature amount data to recognition dictionary
US9036870B2 (en) Commodity recognition apparatus and commodity recognition method
CN102842190B (zh) 结账装置及商品销售数据处理方法
CN106781014A (zh) 自动售货机及其运行方法
US20130141585A1 (en) Checkout system and method for operating checkout system
CN102456123B (zh) 商品信息读取装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150915

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160511

R150 Certificate of patent or registration of utility model

Ref document number: 5936993

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150