JP5865316B2

JP5865316B2 - 商品登録装置およびプログラム

Info

Publication number: JP5865316B2
Application number: JP2013179383A
Authority: JP
Inventors: 友成柿野
Original assignee: Toshiba TEC Corp
Current assignee: Toshiba TEC Corp
Priority date: 2013-08-30
Filing date: 2013-08-30
Publication date: 2016-02-17
Anticipated expiration: 2033-08-30
Also published as: US20150063639A1; US10078828B2; US9412045B2; US20160314450A1; JP2015049581A

Description

この発明の実施形態は、撮像された商品画像から画像認識手段により学習済商品を認識する商品登録装置およびプログラムに関する。

従来の商品登録装置では、バーコードの付されていない商品の内、学習済商品については、画像認識手段を用いて商品登録を行っている。また、バーコードの付されていない商品の内、未学習商品については、ＰＬＵ（Price Look Up）キーを用いて商品登録を行っている。

従来の技術では、オペレータが、未学習商品であるにも関わらず、画像認識手段を用いて商品登録を試みる、という判断ミスが生じていた。このような場合、認識に失敗した後に、ＰＬＵキーを用いて商品登録をし直さなければならない。このために、非効率的な作業負担を繰り返す必要があり、決済にかかる待ち時間を長くしてしまう、という課題があった。

特開２０１３−０８９０８４号公報

この発明が解決しようとする課題は、認識失敗時の画像を元に、当該商品を自動的に学習し、学習済み商品として認識可能にした商品登録装置を提供することである。

実施形態の商品登録装置は、商品の画像を撮像する撮像手段と、前記画像を元に商品を学習し記憶する商品学習記憶手段と、前記撮像手段で撮像された画像に基づき、あらかじめ記憶された商品を認識して登録を行う商品認識登録手段と、商品登録をキー入力により行う商品登録キー入力手段と、を備え、前記商品学習記憶手段にあらかじめ記憶されていない商品は、前記商品登録キー入力手段による商品登録操作に基づき、前記商品学習記憶手段に記憶させるようにした。

実施形態の商品登録装置のプログラムは、コンピュータを、商品の画像が撮像された際、前記画像を元に商品を学習し記憶する商品学習記憶手段と、前記撮像された画像に基づき、あらかじめ記憶された商品を認識して登録を行う商品認識登録手段と、商品登録をキー入力により行う商品登録キー入力手段として機能させ、前記商品学習記憶手段にあらかじめ記憶されていない商品は、前記商品登録キー入力手段による商品登録操作に基づき、前記商品学習記憶手段に記憶させる。

商品登録装置にかかる一実施形態について説明するための外観図である。図１の登録装置のハードウェア構成を示すブロック図である。ＰＬＵファイルの一例について説明するための説明図である。この実施形態の処理動作について説明するためのフローチャートである。

以下、実施形態について、図面を参照しながら詳細に説明する。

図１は、商品登録装置にかかる一実施形態について説明するための外観図である。商品登録装置の適用例として、スーパーマーケットなどのレジスタを挙げている。レジスタには、チェックアウト業務担当の店員であるキャッシャの作業領域１に向けて、商品の登録に用いる登録装置１００と、登録された商品の決済に用いるＰＯＳ（Point Of Sales）端末２００とが設けられている。

登録装置１００は、チェックアウトカウンタ２に固定されている。ＰＯＳ端末２００は、レジスタ台３の上にドロワ４を介して載置されている。登録装置１００とＰＯＳ端末２００とは、通信ケーブル７（図２参照）により接続されている。

チェックアウトカウンタ２は、その奥側の顧客通路に沿って細長い形状をしている。レジスタ台３は、チェックアウトカウンタ２に沿って移動する顧客の移動方向に対して下流側のチェックアウトカウンタ２の端部手前側に、チェックアウトカウンタ２に対して略垂直に置かれている。そして、このチェックアウトカウンタ２の手前側とレジスタ台３の手前側が、キャッシャの作業領域１となっている。

ＰＯＳ端末２００は、商品の決済に必要なデバイスとして、キーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３、レシートプリンタ２４などを備えている。

登録装置１００は、商品の登録に必要なデバイスとして、バーコード読取装置１１、キーボード１２、オペレータ用ディスプレイ１３、客用ディスプレイ１４などを備えている。

バーコード読取装置１１は、直方体の箱型形状をなしており、チェックアウトカウンタ２の略中央において、長軸がチェックアウトカウンタ２の面より垂直となるように立設されている。バーコード読取装置１１は、光学符号であるバーコードを読み取るものであるが、同じような光学符号であるＱＲコード（登録商標）などでも構わない。商品に付されたコードが読み取りできるコード読取装置であればよい。

キーボード１２とオペレータ用ディスプレイ１３は、バーコード読取装置１１の上部に、作業領域１側を向けて取り付けられている。客用ディスプレイ１４は、バーコード読取装置１１の上部に、作業領域１とは反対側を向けて取り付けられている。

バーコード読取装置１１の作業領域１側の一面には、矩形状の読取枠１５が形成されている。そして、また、読取枠１５の上側と下側には、この読取枠１５に囲われたバーコード読取領域内にかざされた商品を照射する照射手段として、図示しないＬＥＤ光源が取り付けられている。

チェックアウトカウンタ２のバーコード読取装置１１を挟んで顧客移動方向上流側の荷受面は、顧客が購入する商品Ｍが収容された買物容器５を置くためのスペースとなっている。また、下流側の荷受面は、バーコード読取装置１１により登録された商品Ｍを入れるための買物容器６を置くためのスペースとなっている。

作業領域１内のキャッシャは、買物容器５に収容された商品Ｍを１品ずつ取り出し、その商品Ｍのバーコードが付された面をバーコード読取装置１１の読取枠１５の枠内にかざす。そして、バーコード読取装置１１によりバーコードが認識されたならば、その商品Ｍを買物容器６に入れる。以上の作業を、買物容器５に収容された商品Ｍについて１品毎に繰返し行い、完了したならば、ＰＯＳ端末２００を操作して決済を行う。

図２は、登録装置１００およびＰＯＳ端末２００のハードウェア構成を示すブロック図である。

登録装置１００は、画像から「自動車」や「野菜」といった一般的なオブジェクトを検出する一般物体認識（オブジェクト認識）の技術を採用する。この技術は、対象となる物品（オブジェクト）を、カメラで撮像した画像データから、当該物品の種別などを画像認識するものである。

登録装置１００は、制御部本体としてＣＰＵ（Central Processing Unit）１０１を搭載する。ＣＰＵ１０１は、画像データからこの画像に含まれる物品の外観特徴量を抽出する。そしてＣＰＵ１０１は、認識辞書ファイルに登録された基準画像の特徴量データと照合して類似度を算出し、この類似度に基づいて当該物品の種別などを認識する。画像中に含まれる物品を認識する技術については、例えば特開２０１３−１２０４８２号公報に紹介されている。

また、画像をオブジェクト毎に領域分割することによって、画像認識を行う技術については、例えば特開２００９−１２３２３４号公報、再表２００７/０６９３９３号公報に紹介されている。

ＣＰＵ１０１には、アドレスバス、データバスなどのバスラインＢＵＳを介して、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、接続インターフェース１０５が接続される。

また、ＣＰＵ１０１には撮像部１０６、モード切換スイッチ１０７、音声出力部１０８、バーコード読取装置１１、キーボード１２、オペレータ用ディスプレイ１３、タッチパネル１３１、顧客用ディスプレイ１４が各種の図示しない入出力回路を介して接続される。ＣＰＵ１０１は、接続インターフェース１０５を経由して、ＰＯＳ端末２００内の接続インターフェース２０４と通信可能な状態に接続される。

ＲＯＭ１０２には、ＣＰＵ１０１によって実行されるプログラムが記憶される。ＲＡＭ１０３は、登録装置１００の主記憶部として機能する。ＨＤＤ１０４は、補助記憶部とし機能する。ＨＤＤ１０４は、ＳＳＤ（Solid State Drive)などでも構わない。

ＨＤＤ１０４には、登録装置１００およびＰＯＳ端末２００プログラムＰＲや各種ファイルが記憶されている。ＨＤＤ１０４に記憶されているプログラムや各種ファイルは、登録装置１００の起動時に、その全部または一部がＲＡＭ１０３にコピーされてＣＰＵ１０１により順次実行される。

ＨＤＤ１０４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ１０４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されている少なくとも商品の商品コードおよび品名を有する商品データが登録されているＰＬＵファイルＦ１である。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ｍの各々について、商品Ｍの売上登録にかかる情報と、その商品Ｍの撮像画像との関連付けが設定された商品ファイルである。

ＰＬＵファイルＦ１には、図３に示すように、商品毎に、商品ＩＤデータＤ１１、商品分類データＤ１２、商品名データＤ１３、価格データＤ１４、商品識別データＤ１５、それに類似度データＤ１６が格納されている。

商品ＩＤデータＤ１１は、商品Ｍ毎に、商品Ｍを特定するためにユニークに割り当てるためのデータである。

商品分類データＤ１２は、商品Ｍがどの商品分類に属するかを特定するためのデータである。

商品名データＤ１３は、商品Ｍの商品名を特定するためのデータである。

価格データＤ１４は、単価などの商品Ｍに関するデータである。

商品識別データＤ１５は、商品Ｍを撮像画像から特定するための画像認識用の特徴量データ（色合い、外形形状、表面の凹凸形状などに関するデータ）や商品Ｍに割り当てられたバーコードなどのコードシンボルを特定するためのデータなどである。

類似度データＤ１６は、画像認識において、当該商品Ｍであると特定する場合の閾値の下限値のデータである。

なお、ＰＬＵファイルＦ１のデータ構成は、図３に示す例に限定されるものではない。例えば、商品識別データとして、典型的な商品画像をあらかじめ格納する形態としてもよい。

撮像部１０６は、画像を撮像する撮像手段で、ＬＥＤなどを用いた照明とＣＭＯＳやＣＣＤなどのイメージセンサを用いたカメラなどで構成されている。撮像部１０６は、ＣＰＵ１０１の動作が制御される。撮像部１０６では、例えば３０ｆｐｓの動画像の撮像を行う。撮像部１０６が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１０３に保存される。

モード切換スイッチ１０７は、画像認識モードかキー入力モードかを切り換えるスイッチである。このモード切換スイッチ１０７は、タッチパネル１３１上に設けてスイッチ操作するようにしてもよい。

音声出力部１０８は、ＣＰＵ１０１の制御の下で警告音などの音声による報知を行う。音声出力部１０８は、読み取りモードが画像認識モードである状態でオペレータがバーコード付き商品の読み取りを試みた場合に、ＣＰＵ１０１の制御によりオペレータにエラーを報知するためのエラー報知手段である。音声出力部１０８は、あらかじめ設定された警告音などを発生するための音声回路とスピーカなどで構成される。

エラー報知手段としては、音声出力でのエラー報知が難しい環境の場合には、音声出力部１０８に替えて振動装置であっても構わない。また、エラー報知手段としては、音声出力部１０１と振動装置とを備え、これらを併用しても構わないし、必要に応じて切り換えて使用することも可能である。

オペレータ用ディスプイ１３は、タッチパネル１３１と兼用として運用される。商品登録を行う商品登録キー入力手段としてのタッチパネル１３１は、オペレータがタッチ操作で入力可能なキーがオペレータ用ディスプイ１３上に表示される。表示されるキーとしては、商品を１タッチで登録するＰＬＵキーや複数のキーを組み合わせて登録する部門キー、金額キーなどがある。

さらに、ＣＰＵ１０１には、ＰＯＳ端末２００の接続インターフェース２０４に接続して、ＰＯＳ端末２００との間でデータ送受信を可能にする接続インターフェース１０５が接続されている。

ＣＰＵ１０１は、タッチパネル１３１の操作情報によりＰＬＵキーが押下されたことを検出した場合、当該ＰＬＵキーに相当する商品コードをＰＯＳ端末２００に送信する。また、ＣＰＵ１０１が部門キーや金額キーなどが押下されたことを検出した場合は、それぞれのキーコードをＰＯＳ端末２００に送信する。

また、ＰＯＳ端末２００は、情報処理を実行する情報処理部としてのＣＰＵ２０１を備える。ＣＰＵ２０１は、各種演算処理を実行し各部を制御する。ＣＰＵ２０１には、ＲＯＭ２０２とＲＡＭ２０３とがバスラインＢＵＳに接続されている。

なお、ＰＯＳ端末２００に、ＲＡＭ２０３の補助記憶部として機能するＨＤＤは、登録装置１００のＨＤＤ１０４を共用する構成としたが、ＰＯＳ端末２００側専用のものを設置してもよい。

ＨＤＤ１０４には、ＰＯＳ端末２００のプログラムＰＲや各種ファイルも記憶されている。ＨＤＤ１０４に記憶されているプログラムや各種ファイルは、登録装置１００の起動時に、その全部または一部がＲＡＭ２０３にコピーされてＣＰＵ２０１により順次実行される。ＨＤＤ１０４は、接続インターフェース２０４を介して、ＰＯＳ端末２００から読み出し可能に構成されている。

ＰＯＳ端末２００のＣＰＵ２０１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２０６が図示しない入出力回路を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤードなどに設置されている。ストアコンピュータＳＣ内のＨＤＤには、ＰＯＳ端末２００に配信されるＰＬＵファイルＦ１が格納されている。ストアコンピュータＳＣとデータ通信実行のための通信インターフェース２０６は、登録装置１００側にあっても構わない。

ＰＯＳ端末２００のＣＰＵ２０１には、ドロワ４、キーボード２１、オペレータ用ディスプレイ２２、タッチパネル２２１、顧客用ディスプレイ２３がいずれも図示しない各種の入出力回路を介して接続されている。これらは、ＣＰＵ２０１による制御を受ける。なお、タッチパネル２２１は、登録装置１００のタッチパネル１３１と同様に、オペレータがタッチ操作で入力可能なキーがオペレータ用ディスプイ２２に表示される。

キーボード２１は、［１］，［２］，［３］…などの数字や「×」という乗算の演算子などが上面に表示されているテンキー２２ａ、仮締めキー２２ｂ、および締めキー２２ｃを含む。

また、ＰＯＳ端末２００のＣＰＵ２０１には、登録装置１００との間でデータ送受信を可能にする接続インターフェース２０４が接続されている。接続インターフェース２０４には、登録装置１００が接続されている。さらに、ＣＰＵ２０１には、レシートなどに印字を行うシートプリンタ２４が接続されている。ＰＯＳ端末２００は、ＣＰＵ２０１の制御の下、一取引の取引内容をレシートに印字する。

ここで、図４のフローチャートを参照し、認識に失敗した商品画像に基づき、当該商品を自動的に学習し、学習済みの商品として認識可能とするＣＰＵ１０１の処理について説明する。なお、この処理は、登録装置１００の起動後に開始される。

先ず、ＣＰＵ１０１は、撮像部１０６を起動し、商品画像の取得を開始する（ＡＣＴ１）。

撮像部１０６で撮像されたフレーム画像は、ＲＡＭ１０３に順次保存される（ＡＣＴ２）。

ＣＰＵ１０１は、フレーム画像を取り込む毎に、取り込まれた画像を解析して商品検出を行う（ＡＣＴ３）。ここでの商品検出を行う背景差分による手法としては、例えば、特開２００９−２６５８２７号公報、特開２００７−１１１８５４号公報に紹介されている。

次に、ＣＰＵ１０１は、フレーム画像から商品を検出できたか否かを判定する（ＡＣＴ４）。

ＡＣＴ４において、商品を検出できない場合（ＮＯ）にＣＰＵ１０１は、ＡＣＴ２に移行し、次のフレーム画像を取得する。商品を検出できた場合（ＹＥＳ）にＣＰＵ１０１は、画像を解析し、あらかじめ登録されている商品との比較を行い、１つ以上の候補を抽出する（ＡＣＴ５）。

ここで、商品を抽出する方法の一例について簡単に説明する。登録装置１００では、あらかじめ認識対象となる商品の画像を取得し、画像を解析することで得られる特徴量を辞書データとしてＨＤＤ１０４に記憶しておく。使用する特徴量としては例えば、特開２０１２−０４８４００号公報や下記技術文献に解説されている２つの異なった位置での輝度勾配方向の組み合わせがどのような頻度で現れるかという、ＣｏＨＯＧ（Co-occurrence Histograms of Oriented Gradients、輝度勾配方向共起ヒストグラム）と呼ばれる分析手法により抽出される特徴量などがある。

T. Watanabe et al., “Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection”, T. Wada, F. Huang, and S. Lin （Eds.）: PSIVT 2009, LNCS 5414, Springer-Verlag Berlin Heidelberg, pp. 37-47, 2009.
登録装置１００では、あらかじめ複数の商品を事前に記憶しておき、運用時に撮影された画像から得られた特徴量と、ＨＤＤ１０４に記憶されている辞書データとを順次比較することで、類似度の高い順に指定の数（例えば４）の候補を抽出する。比較する手法としては、例えば、下記の技術文献に解説されているＳＶＭ（Support Vector Machine）などがある。

V.Vapnik, "The Nature of Statistical Learning Theory", Springer, (1995).
ＣＰＵ１０１は、抽出された候補をオペレータ用ディスプレイ１３に表示する（ＡＣＴ６）。

ＣＰＵ１０１は、タッチパネル１３１からの操作情報に基づいて、オペレータがオペレータ用ディスプレイ１３に表示された候補のいずれかを選択したかを判断する（ＡＣＴ７）。

ＡＣＴ７において、候補が選択された場合（Ｙｅｓ）は、当該商品に相当する商品コードをＰＯＳ端末２００に向け送信し、商品登録を完了し（ＡＣＴ８）、その後に、ＡＣＴ２に移行し、次のフレーム画像を取得する。

ＡＣＴ７において、候補が選択されない場合（Ｎｏ）は、ＡＣＴ９に移行し、ＰＬＵキーにて商品登録を行う。

ＡＣＴ９で商品登録が完了すると、当該商品の画像と商品コードを元に新たな辞書データとしてＨＤＤ１０４に商品を記憶する（ＡＣＴ１０）。

このように、認識対象となる商品画像を取得し、その画像を解析することで得られる特徴量を辞書データとしてあらかじめＨＤＤ１０４に記憶しておく。そして、運用時に新たに撮影された画像から得られた特徴量と、ＨＤＤ１０４の辞書データとを順次比較し、類似度の高い順に指定の数の候補を抽出するようにした。

商品登録装置では、バーコード機能と画像認識機能の両方を有しており、そのどちらを選択するかは、オペレータの判断でモードを切り替えて使用している。そして、通常はバーコードで読むが、バーコードがない場合は画像認識モードに移行するようにしている。なお、数やサイズの違いについての画像認識は、考慮されていないので、キー入力によって入力する。

この実施形態では、未登録の商品をオペレータのキー入力に基づき、商品画像を追加して学習して行くことで、新たな商品の画像認識が可能となる。

上記の実施形態では、辞書データとして記憶されていない商品の登録方法としてＰＬＵキーを用いた方法を開示したが、これに限定するものではない。例えば、部門キーと金額キーによる登録方法としても良い。この場合は画像と部門キー、金額キーを元に新たな辞書データを作成し、ＨＤＤ１０４に商品を記憶する。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００登録装置
２００ＰＯＳ端末
７通信ケーブル
１１バーコード
１２キーボード
１３オペレータ用ディスプレイ
１３１タッチパネル
１４顧客用ディスプレイ
１０１ＣＰＵ
１０２ＲＯＭ
１０３ＲＡＭ
１０４ＨＤＤ
ＰＲプログラム
Ｆ１ＰＬＵファイル
１０５，２０４接続インターフェース
１０６撮像部
１０７モード切換スイッチ
１０８音声出力部
２０６通信インターフェース
ＳＣストアコンピュータ

Claims

商品の画像を撮像する撮像手段と、
前記画像を元に商品を学習し記憶する商品学習記憶手段と、
前記撮像手段で撮像された画像に基づき、あらかじめ記憶された商品を認識して登録を行う商品認識登録手段と、
商品登録をキー入力により行う商品登録キー入力手段と、を備え、
前記商品学習記憶手段にあらかじめ記憶されていない商品は、前記商品登録キー入力手段による商品登録操作に基づき、前記商品学習記憶手段に記憶させるようにした、商品登録装置。
前記撮像手段により撮像された画像中に商品が存在することを検出する商品検出手段を備え、事前に該商品検出手段にて商品が検出された画像を元に、前記商品学習記憶手段にて商品を学習し記憶した、請求項１記載の商品登録装置。
前記商品認識登録手段は、前記撮像手段で撮像された画像を解析し、あらかじめ登録されている商品との比較を行い、候補となる商品を少なくとも１つ抽出する、請求項１記載の商品登録装置。
抽出された商品の候補は、オペレータ用ディスプレイに表示し、該ディスプレイ上のタッチパネルを操作し、前記候補を選択した、請求項３記載の商品登録装置。
選択された前記商品の候補は、当該商品に相当する商品コードを、商品決済用の端末に送信し決済を行う、請求項４記載の商品登録装置。
コンピュータを、
商品の画像が撮像された際、前記画像を元に商品を学習し記憶する商品学習記憶手段と、
前記撮像された画像に基づき、あらかじめ記憶された商品を認識して登録を行う商品認識登録手段と、
商品登録をキー入力により行う商品登録キー入力手段として機能させ、
前記商品学習記憶手段にあらかじめ記憶されていない商品は、前記商品登録キー入力手段による商品登録操作に基づき、前記商品学習記憶手段に記憶させるプログラム。