JP5760032B2 - 認識辞書作成装置及び認識辞書作成プログラム - Google Patents

Description

本発明の実施形態は、商品を撮像した画像からその商品を認識するシステムに用いられる認識辞書の作成装置及びコンピュータを当該作成装置として機能させるためのプログラムに関する。

撮像部で撮像された物体の画像から当該物体を認識する技術がある。この技術は、画像から物体の外観特徴量を抽出し、認識辞書に登録されている各基準画像の特徴量データと照合して、特徴量の類似度を算出する。そして、類似度が最も高い基準画像に相当する物体を、撮像部で撮像された物体として認識する。近年、このような物体認識技術を小売店の会計システム（ＰＯＳシステム）に適用して、顧客が買い上げる商品を認識する提案がなされている。

特開２０１２−０６９０９４号公報

上述した物体認識技術を会計システムに適用する場合、ユーザであるキャッシャまたは客は、対象となる商品を撮像部に向けて翳すことになる。このとき、撮像部から商品までの距離が一定でないと、商品画像の解像度が変化する。解像度が変化すると、同じ基準画像との照合でも特徴量の類似度が低下して、認識率が悪化する懸念がある。このような懸念は、１つの商品に対して解像度が異なる複数の基準画像の特徴量データを認識辞書に用意し、商品画像から得られる商品の外観特徴量を、当該商品画像と解像度が近似した基準画像の特徴量データと照合することによって払拭される。

一実施形態が解決しようとする課題は、１つの商品に対して解像度が異なる複数の基準画像の特徴量データを保存する認識辞書を容易に作成できる認識辞書作成装置を提供しようとするものである。

一実施形態において、認識辞書作成装置は、撮像部と、測定手段と、特定手段と、抽出手段と、報知手段と、受付手段と、登録手段とを有する。撮像部は、商品を撮像する。測定手段は、前記撮像部からこの撮像部で撮像された商品までの距離を測定する。特定手段は、前記商品を特定する。抽出手段は、前記撮像部で撮像された前記商品の画像から当該商品の外観特徴量を抽出する。報知手段は、前記測定手段により測定された距離に係る情報を報知する。受付手段は、特徴量データの登録宣言を受付ける。登録手段は、前記受付手段により登録宣言を受付けたことに応じて、前記抽出手段により抽出した外観特徴量を前記特定手段により特定された商品の前記測定手段により測定された距離における特徴量データとして当該距離のデータと関連付けて認識辞書ファイルに登録する。

一実施形態である店舗会計システムの外観図。 スキャナ装置とＰＯＳ端末とのハードウェア構成を示すブロック図。 認識辞書ファイルに格納されるデータの構造を示す模式図。 商品情報ファイルに格納されるデータの構造を示す模式図。 スキャナ装置が商品認識装置として動作する場合の機能構成を示すブロック図。 スキャナ装置が認識辞書作成装置として動作する場合の機能構成を示すブロック図。 スキャナ装置に商品が翳されている状態を示す模式図。 認識辞書作成プログラムに従いスキャナ装置のＣＰＵが実行する情報処理手順を示す流れ図。 認識辞書作成プログラムに従いスキャナ装置のＣＰＵが実行する情報処理手順を示す流れ図。 未登録商品リストの一画面例を示す模式図。 未登録商品リストの一画面例を示す模式図。 登録画面の一遷移例を示す模式図。 登録画面の一遷移例を示す模式図。 登録画面の一遷移例を示す模式図。 登録画面の一遷移例を示す模式図。

以下、認識辞書作成装置の一実施形態について、図面を用いて説明する。
なお、本実施形態は、店舗会計システムの商品認識装置として機能するスキャナ装置１に、認識辞書作成装置としての機能をさらに持たせた場合である。

図１は、店舗会計システムの外観図である。このシステムは、顧客が買い上げる商品を登録する登録部としてのスキャナ装置１と、顧客の代金支払いを処理する決済部としてのＰＯＳ（Point Of Sales）端末２とを含む。スキャナ装置１は、会計カウンタ３の上に取り付けられる。ＰＯＳ端末２は、レジ台４の上にドロワ５を挟んで設置される。スキャナ装置１とＰＯＳ端末２とは、通信ケーブル８（図２を参照）によって電気的に接続される。

スキャナ装置１は、キーボード１１、タッチパネル１２及び客用ディスプレイ１３を備える。これらの表示・操作デバイス（キーボード１１、タッチパネル１２、客用ディスプレイ１３）は、スキャナ装置１の本体を構成する薄型矩形形状のハウジング１Ａに取り付けられる。

ハウジング１Ａには、撮像部１４が内蔵される。また、矩形状の読取窓１Ｂが、ハウジング１Ａの正面に形成される。撮像部１４は、エリアイメージセンサであるＣＣＤ（Charge Coupled Device）撮像素子及びその駆動回路と、撮像領域の画像をＣＣＤ撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、読取窓１Ｂから撮像レンズを通してＣＣＤ撮像素子のエリアに結像するフレーム画像の領域を指す。撮像部１４は、撮像レンズを通ってＣＣＤ撮像素子に結像した撮像領域の画像を出力する。なお、エリアイメージセンサは、ＣＣＤ撮像素子に限定されない。例えばCMOS(complementary metal oxide semiconductor)を用いたものであってもよい。

前記読取窓１Ｂの近傍には、測定手段としての距離センサ１５が設けられる。距離センサ１５は、前記撮像部１４からこの撮像部１４で撮像された商品までの距離測定に供せられる。かような距離センサ１５としては、赤外線ＬＥＤとフォトトランジスタとを組み合わせたもの、あるいは超音波やレーザ光を用いたもの等の周知の距離センサが適用可能である。

ＰＯＳ端末２は、決済に必要なデバイスとしてキーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３及びレシートプリンタ２４を備える。

会計カウンタ３は、顧客通路３Ａに沿って配置される。レジ台４は、顧客通路３Ａの顧客移動方向である矢印Ｃの方向に対して下流側の会計カウンタ３の端部の顧客通路３Ａとは反対側に、会計カウンタ３に対して略垂直に置かれる。そして、この会計カウンタ３とレジ台４とで仕切られた領域が、会計担当の店員いわゆるキャッシャのスペース３Ｂとなる。

会計カウンタ３の略中央には、スキャナ装置１のハウジング１Ａが、キーボード１１、タッチパネル１２及び読取窓１Ｂをそれぞれ手前側のキャッシャ側に向けて立設される。スキャナ装置１の客用ディスプレイ１３は、顧客通路３Ａ側を向いてハウジング１Ａに取り付けられる。

会計カウンタ３のスキャナ装置１を挟んで顧客移動方向上流側の荷受面は、買物客が購入する未登録の商品Ｍが入れられた買物カゴ６を置くためのスペースとなる。他方、下流側の荷受面は、スキャナ装置１により登録された商品Ｍを入れるための買物カゴ７を置くためのスペースとなる。

図２は、スキャナ装置１とＰＯＳ端末２とのハードウェア構成を示すブロック図である。スキャナ装置１は、スキャナ部１０１と操作・出力部１０２とを備える。スキャナ部１０１は、ＣＰＵ（Central Processing Unit）１１１、ＲＯＭ（Read Only Memory）１１３、ＲＡＭ（Random Access Memory）１１４、接続インターフェース１１５、撮像部１４及び距離センサ１５を含む。ＣＰＵ１１１、ＲＯＭ１１３、ＲＡＭ１１４、接続インターフェース１１５、撮像部１４及び距離センサ１５は、バスライン１１２によって接続される。

ＣＰＵ１１１は、コンピュータの中枢部分に相当する。ＣＰＵ１１１は、オペレーティングシステムやアプリケーションプログラムに従って、スキャナ装置１としての各種の機能を実現するべく各部を制御する。

ＲＯＭ１１３は、上記コンピュータの主記憶部分に相当する。ＲＯＭ１１２は、上記のオペレーティングシステムやアプリケーションプログラムを記憶する。ＲＯＭ１１２は、ＣＰＵ１１１が各種の処理を実行する上で必要なデータを記憶する場合もある。アプリケーションプログラムには、後述する商品認識プログラムと認識辞書作成プログラムとが含まれる。

ＲＡＭ１１４は、上記コンピュータの主記憶部分に相当する。ＲＡＭ１１４は、ＣＰＵ１１１が各種の処理を実行する上で必要なデータを必要に応じて記憶する。またＲＡＭ１１４は、ＣＰＵ１１１が各種の処理を行う際のワークエリアとしても利用される。

操作・出力部１０２は、接続インターフェース１１６、キーボード１１、タッチパネル１２、客用ディスプレイ１３及び音声合成部１６を含む。接続インターフェース１１６、キーボード１１、タッチパネル１２、客用ディスプレイ１３及び音声合成部１６は、バスライン１１７によって接続される。

タッチパネル１２は、パネル型のディスプレイ１２ａと、このディスプレイ１２ａの画面上に重ねて配置されたタッチパネルセンサ１２ｂとを備える。
音声合成部１６は、バスライン１１７を介して入力されるコマンドに応じて音声信号をスピーカ１７に出力する。スピーカ１７は、音声信号を音声に変換して出力する。

ＰＯＳ端末２も、制御部本体としてＣＰＵ２０１を搭載する。そしてこのＣＰＵ２０１に、バスライン２０２を介して、ＲＯＭ２０３、ＲＡＭ２０４、補助記憶部２０５、通信インターフェース２０６及び接続インターフェース２０７が接続される。また、バスライン２０２には、前記キーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３、プリンタ２４及びドロワ５の各部も、それぞれ入出力回路（不図示）を介して接続される。

通信インターフェース２０６は、ＬＡＮ（Local Area Network）等のネットワークを介して店舗サーバ（不図示）と接続される。この接続により、ＰＯＳ端末２は、店舗サーバとデータの送受信が可能となる。

接続インターフェース２０７は、通信ケーブル８を介して、スキャナ装置１の両接続インターフェース１１５，１１６と接続される。この接続により、ＰＯＳ端末２は、スキャナ装置１のスキャナ部１０１から情報を受信する。また、ＰＯＳ端末２は、スキャナ装置１の操作・出力部１０２を構成するキーボード１１、タッチパネル１２、客用ディスプレイ１３、音声合成部１６との間でデータ信号を送受信する。一方、スキャナ装置１は、この接続により、ＰＯＳ端末２の補助記憶部２０５に保存されているデータファイルにアクセスする。

補助記憶部２０５は、例えばＨＤＤ（Hard Disk Drive）装置またはＳＳＤ（Solid State Drive）装置であって、種々のプログラムの他、認識辞書ファイル３０、商品情報ファイル４０等のデータファイルを保存する。認識辞書ファイル３０は、短距離用認識辞書ファイル３１、中距離用認識辞書ファイル３２及び長距離用認識辞書ファイル３３の３種類のファイルを備える。以下、短距離用認識辞書ファイル３１、中距離用認識辞書ファイル３２及び長距離用認識辞書ファイル３３の３種類のファイルを総称して距離別ファイル３１〜３３と称する。

図３は、認識辞書ファイル３０に格納されるデータの構造を示す模式図である。図３に示すように、認識辞書ファイル３０の各距離別ファイル３１〜３３には、それぞれ設定距離ｄ１，ｄ２，ｄ３（ｄ１＜ｄ２＜ｄ３）が予め格納される。例えば、短距離用認識辞書ファイル３１には設定距離ｄ１として“５ｃｍ”が格納され、中距離用認識辞書ファイル３２には設定距離ｄ２として“１５ｃｍ”が格納され、長距離用認識辞書ファイル３３には設定距離ｄ３として“３０ｃｍ”が格納される。

また、各距離別ファイル３１〜３３には、商品ＩＤ、商品名及び特徴量データを含む認識辞書データが複数格納される。商品ＩＤは、各商品を個々に識別するための一意のコードである。商品名は、対応する商品ＩＤによって特定される商品の名称である。特徴量データは、対応する商品ＩＤで識別される商品を、撮像部から対応する設定距離ｄ１，ｄ２またはｄ３だけ離して撮像した基準画像から、その商品の表面情報（外観形状、色合い、模様、凹凸具合等）である外観上の特徴量を抽出し、この外観特徴量をパラメータで表わしたものである。

なお、撮像部１４からの距離とは、読取窓１Ｂからの離間距離を表わす。つまり、読取窓１Ｂに接した状態は、撮像部１４からの距離が０ｃｍである。読取窓１Ｂから離れるにしたがって、撮像部１４からの距離は増加する。

図４は、商品情報ファイル４０に格納されるデータの構造を示す模式図である。図４に示すように、商品情報ファイル４０には、商品ＩＤ、商品名、単価、短距離ステータスｄｓ１、中距離ステータスｄｓ２及び長距離ステータスｄｓ３を含む商品情報レコードが複数格納される。商品ＩＤは、各商品を個々に識別するための一意のコードである。商品名及び単価は、対応する商品ＩＤによって特定される商品の名称及び１点当たりの販売価格である。

短距離ステータスｄｓ１は、対応する商品ＩＤによって特定される商品の基準画像から得られる特徴量データが前記短距離用認識辞書ファイル３１に対して未設定のとき「Ｘ」、設定済のとき「Ｏ」、非設定のとき「−」となる。中距離ステータスｄｓ２は、同特徴量データが、前記中距離用認識辞書ファイル３２に対して未設定のとき「Ｘ」、設定済のとき「Ｏ」、非設定のとき「−」となる。長距離ステータスｄｓ３は、同特徴量データが前記長距離用認識辞書ファイル３３に対して未設定のとき「Ｘ」、設定済のとき「Ｏ」、非設定のとき「−」となる。
以下、短距離ステータスｄｓ１、中距離ステータスｄｓ２及び長距離ステータスｄｓ３の３種類のステータスを総称して距離別設定ステータスｄｓ１〜ｄｓ３と称する。

ＰＯＳ端末２は、商品情報ファイル４０のメンテナンスモード、商品認識モード、及び認識辞書作成モードを有する。ユーザは、これらのモードをキーボード１１またはタッチパネル１２を操作して選択することができる。

メンテナンスモードにおいて、ＰＯＳ端末２は、商品情報ファイル４０に新規の商品情報レコードを追加できる。例えば新製品を販売する場合、ユーザは、当該新製品に係る新規の商品情報レコードを商品情報ファイル４０に追加する。新商品を追加する時点では、当該新製品の基準画像から得られる特徴量データは各距離別ファイル３１〜３３に対して設定されていない。このため、新規の商品情報レコードの距離別設定ステータスｄｓ１，ｄｓ２，ｄｓ３は、未設定「Ｘ」とする。ただし、例えば、外観形状が大きいために設定距離ｄ１だけ離れた状態では全体を撮像できない商品の場合には、距離別設定ステータスｄｓ１は非設定「−」となる。同様に、外観形状が小さいために設定距離ｄ３だけ離れた画像からは外観特徴量が得られない商品の場合には、距離別設定ステータスｄｓ１は非設定「−」とする。

また、このメンテナンスモードにおいて、ＰＯＳ端末２は、商品情報レコードの距離別設定ステータスｄｓ１〜ｄｓ３に関して、設定済「Ｏ」から未設定「Ｘ」への変更、及び非設定「−」から未設定「Ｘ」への変更が可能である。例えば、設定済「Ｏ」の状態にある設定ステータスに対応した特徴量データの認識率が低い場合、ユーザは、設定ステータスを設定済「Ｏ」から未設定「Ｘ」へ変更する。こうすることにより、スキャナ装置１の後述する認識辞書作成モードにおいて、特徴量データを登録し直すことができる。

図５は、スキャナ装置１が商品認識装置として動作する場合の機能構成を示すブロック図である。客が買い上げる商品Ｍをスキャナ装置１に認識させる場合、ユーザは、キーボード１１またはタッチパネル１２を操作して商品認識モードを選択する。そしてオペレータは、図７に示すように、商品Ｍを読取窓１Ｂに翳す。

商品認識モードが選択されると、スキャナ装置１では、前記商品認識プログラムが起動する。そしてこの商品認識プログラムに従い、ＣＰＵ１１１が、距離検出手段５１、距離判定手段５２、辞書選択手段５３、抽出手段５４、類似度算出手段５５、候補出力手段５６及び確定手段５７としての機能を実現する。以下、各機能を具体的に説明する。

商品Ｍが読取窓１Ｂに翳されると、ＣＰＵ１１１は、距離検出手段５１として機能する。すなわちＣＰＵ１１１は、距離センサ１５から出力される距離データを、撮像部１４から商品Ｍまでの測定距離ｄとして取り込む。測定距離ｄが取り込まれると、ＣＰＵ１１１は、距離判定手段５２として機能する。すなわちＣＰＵ１１１は、測定距離ｄが、認識辞書ファイル３０の短距離用認識辞書ファイル３１、中距離用認識辞書ファイル３２及び長距離用認識辞書ファイル３３にそれぞれ設定される設定距離ｄ１，ｄ２，ｄ３のいずれに近似しているかを判定する。

測定距離ｄに近似する設定距離ｄ１，ｄ２またはｄ３が特定されると、ＣＰＵ１１１は、辞書選択手段５３として機能する。すなわちＣＰＵ１１１は、測定距離ｄに近似していると特定された設定距離の認識辞書ファイル３０を選択する。例えば、設定距離ｄ１が特定された場合には、ＣＰＵ１１１は短距離用認識辞書ファイル３１を選択する。設定距離ｄ２が特定された場合には、ＣＰＵ１１１は中距離用認識辞書ファイル３２を選択する。設定距離ｄ３が特定された場合には、ＣＰＵ１１１は長距離用認識辞書ファイル３３を選択する。

またＣＰＵ１１１は、商品Ｍが読取窓１Ｂに翳されると、抽出手段５４として機能する。すなわちＣＰＵ１１１は、撮像部１４で撮像された画像から、その画像に映し出されている商品Ｍの形状、表面の色合い、模様、凹凸状況等の外観特徴量を抽出する。外観特徴量が抽出されると、ＣＰＵ１１１は、類似度算出手段５５として機能する。すなわちＣＰＵ１１１は、抽出手段５４により抽出された外観特徴量を、辞書選択手段５３によって選択された認識辞書ファイル３０の商品別特徴量データと順次照合して、外観特徴量が特徴量データに対してどの程度類似しているかを示す類似度を、辞書登録されている商品毎に算出する。

商品毎の類似度が算出されると、ＣＰＵ１１１は、候補出力手段５６として機能する。すなわちＣＰＵ１１１は、類似度の大きい順に例えば５番目までの商品を認識商品候補として選択可能にタッチパネル１２に表示出力する。認識商品候補が表示されると、ＣＰＵ１１１は、確定手段５７として機能する。すなわちＣＰＵ１１１は、キーボード１１またはタッチパネル１２の操作入力により、認識商品候補の中から選択された商品を、客が買い上げる商品として確定する。もしくはＣＰＵ１１１は、認識商品候補の中で類似度が最も高い商品を客が買い上げる商品として確定する。

確定された商品の販売データは、通信ケーブル８を介してＰＯＳ端末２に送られる。かくしてＰＯＳ端末２では、確定手段５７によって確定された商品の販売データが売上登録される。

図６は、スキャナ装置１が認識辞書作成装置として動作する場合の機能構成を示すブロック図である。商品Ｍの認識辞書データを認識辞書ファイル３０に登録する場合、ユーザは、キーボード１１またはタッチパネル１２を操作して認識辞書作成モードを選択する。

認識辞書作成モードが選択されると、スキャナ装置１では、前記認識辞書作成プログラムが起動する。そして認識辞書作成プログラムに従い、ＣＰＵ１１１が、通知手段６１、特定手段６２、検索手段６３、出力手段６４、距離検出手段６５、登録検出手段６６、演算手段６７、表示手段６８、報知手段６９、受付手段７０、抽出手段７１及び登録手段７２としての機能を実現する。以下、図８及び図９の流れ図を用いて、各機能を具体的に説明する。なお、図８及び図９に示すとともに以下に説明する処理の内容は一例であって、同様な結果を得ることが可能な様々な処理を適宜に利用できる。

認識辞書作成プログラムが起動すると、ＣＰＵ１１１は、商品情報ファイル４０を検索する。そしてＣＰＵ１１１は、少なくとも１つの距離別設定ステータスｄｓ１，ｄｓ２，ｄｓ３が未設定［Ｘ］の状態にある商品情報レコードが存在するか否かを確認する（Act１）。全ての商品情報レコードの距離別設定ステータスｄｓ１，ｄｓ２，ｄｓ３が未設定［Ｘ］以外の場合（Act１にてＮＯ）、ＣＰＵ１１１は、未登録商品無しをユーザに通知する画面をタッチパネル１２に表示させて（Act２）、処理を終了する。

少なくとも１つの距離別設定ステータスｄｓ１，ｄｓ２，ｄｓ３が未設定［Ｘ］の商品情報レコードが存在する場合（Act１にてＹＥＳ）、ＣＰＵ１１１は、未登録商品があることをユーザに通知するための通知手段６１として機能する。すなわちＣＰＵ１１１は、少なくとも１つの距離別設定ステータスｄｓ１，ｄｓ２，ｄｓ３が未設定［Ｘ］の商品情報レコードの商品名と距離別設定ステータスｄｓ１，ｄｓ２，ｄｓ３とを一覧にした未登録商品リスト８１を作成し、タッチパネル１２に表示させる（Act３）。

未登録商品リスト８１の画面８０の一表示例を図１０に示す。この例は、商品名［リンゴ（フジ）］の特徴量データが、短距離用認識辞書ファイル３１、中距離用認識辞書ファイル３２及び長距離用認識辞書ファイル３３に対して未設定であり、商品名［スイカ］の特徴量データが、中距離用認識辞書ファイル３２及び長距離用認識辞書ファイル３３に対して未設定であり、商品名［オレンジ］の特徴量データが、短距離用認識辞書ファイル３１に対して未設定である場合を示している。未登録商品リスト８１の商品名は、タッチ操作により選択可能である。また、未登録商品リスト８１の画面には、終了ボタン８２も表示されている。ＣＰＵ１１１は、商品名が選択されるか、終了ボタン８２がタッチされるのを待機する（Act４，５）。

ユーザは、未登録商品リスト８１に表示された商品のなかから登録対象の商品を選択して、その商品名にタッチする。そしてユーザは、図７に示すように、登録対象の商品Ｍを読取窓１Ｂに翳す。なお、登録対象の商品Ｍが存在しない場合に、ユーザは、終了ボタン８２にタッチする。終了ボタン８２がタッチされた場合（Act５にてＹＥＳ）、ＣＰＵ１１１は、未登録商品リスト８１の画面８０を消去して、処理を終了する。

登録対象の商品Ｍが選択された場合（Act４にてＹＥＳ）、ＣＰＵ１１１は、撮像部１４で撮像される商品を特定する特定手段６２として機能する。すなわちＣＰＵ１１１は、タッチ操作された商品名の商品を登録対象の商品Ｍとして特定し、その商品名を含む商品情報レコードを商品情報ファイル４０から取得して、ＲＡＭ１１４に格納する（Act６）。

登録対象の商品Ｍが特定されると、ＣＰＵ１１１は、当該商品Ｍの特徴量データが認識辞書ファイル３０に未登録の距離を検索する検索手段６３及びその検索結果を出力する出力手段６４として機能する。すなわちＣＰＵ１１１は、ＲＡＭ１１４に格納した商品情報レコードの距離別設定ステータスｄｓ１，ｄｓ２，ｄｓ３を調べる。そしてＣＰＵ１１１は、未設定［Ｘ］の距離別設定ステータスｄｓ１，ｄｓ２，ｄｓ３に対応する距離ｄ１，ｄ２，ｄ３を未登録距離として検出し（Act７）、この未登録距離の情報を示した登録画面９０をタッチパネル１２に表示させる（Act８）。

登録画面９０の一表示例を図１２に示す。この例は、未登録商品リスト８１において、商品［リンゴ（フジ）］が選択操作された場合の登録画面９０である。商品［リンゴ（フジ）］の特徴量データは、短距離用認識辞書ファイル３１、中距離用認識辞書ファイル３２及び長距離用認識辞書ファイル３３に対して未設定である。したがって、登録画面９０には、未登録距離の情報９１，９２，９３としてｄ１＝５ｃｍ、ｄ２＝１５ｃｍ及びｄ３＝３０ｃｍが表示される。また登録画面９０には、撮像部１４で撮像された画像を表示するための領域９４が形成され、この領域９４の近傍に、商品［リンゴ（フジ）］を撮像部１４に翳すことを案内するガイダンスＧ１が表示される。

登録画面９０を表示させると、ＣＰＵ１１１は、撮像部１４に対して撮像オン信号を出力する（Act９）。この撮像オン信号により、撮像部１４が撮像領域の撮像を開始する。撮像部１４で撮像された撮像領域のフレーム画像は、ＲＡＭ１１４に順次保存される。

撮像オン信号を出力したＣＰＵ１１１は、ＲＡＭ１１４に保存されたフレーム画像を取り込む（Act１０）。そしてＣＰＵ１１１は、このフレーム画像に商品Ｍが撮像されているか否かを確認する（Act１１）。具体的には、ＣＰＵ１１１は、フレーム画像を二値化した画像から輪郭線等を抽出する。そしてＣＰＵ１１１は、フレーム画像に映し出されている物体の輪郭抽出を試みる。物体の輪郭が抽出されると、ＣＰＵ１１１は、その輪郭内の画像を商品Ｍとみなす。

フレーム画像に商品Ｍが撮像されていない場合（Act１１にてＮＯ）、ＣＰＵ１１１は、ＲＡＭ１１４から次のフレーム画像を取り込む（Act１０）。そしてＣＰＵ１１１は、このフレーム画像に商品Ｍが撮像されているか否かを確認する（Act１１）。

フレーム画像に商品Ｍが撮像されていた場合（Act１１にてＹＥＳ）、ＣＰＵ１１１は、撮像部１４からこの撮像部１４で撮像された商品Ｍまでの距離を取り込む距離検出手段６５として機能する。すなわちＣＰＵ１１１は、距離センサ１５から出力される距離データを、撮像部１４から商品Ｍまでの測定距離ｄとして取り込む（Act１２）。測定距離ｄが取り込まれると、ＣＰＵ１１１は、測定距離ｄが所定の登録距離であることを検出する登録検出手段６６として機能する。すなわちＣＰＵ１１１は、測定距離ｄが、Act７の処理で検出した未登録距離のいずれかに一致するか否かを判定する（Act１３）。

測定距離ｄが未登録距離のいずれにも一致しない場合（Act１３にてＮＯ）、ＣＰＵ１１１は、測定距離ｄが所定の登録距離に達するまでの商品Ｍの移動距離ｄｘを算出する演算手段６７及びその移動距離ｄｘを表示する表示手段６８として機能する。すなわちＣＰＵ１１１は、測定距離ｄから未登録距離までの差を演算する（Act１４）。ＣＰＵ１１１は、測定距離ｄから未登録距離までの差のうち最も小さい差を移動距離ｄｘとして登録画面に表示させる（Act１５）。しかる後、ＣＰＵ１１１は、ＲＡＭ１１４から次のフレーム画像を取り込み（Act１０）、Act１１以降の処理を実行する。

測定距離ｄがいずれかの未登録距離と一致したことを検出した場合（Act１３にてＹＥＳ）、ＣＰＵ１１１は、測定距離ｄが所定の登録距離に達したことを報知する報知手段６９として機能する（図９）。すなわちＣＰＵ１１１は、測定距離ｄがいずれかの未登録距離に到達したことをユーザに知らしめるガイダンスを、登録画面９０に表示させる（Act２１）。

ＣＰＵ１１１は、自動登録モードが設定されているか否かを判断する（Act２２）。スキャナ装置１は、認識辞書作成装置として動作する場合のモードとして自動登録モードと手動登録モードとがあり、予めオプションとしてどちらかのモードが設定されている。この動作モードは、ユーザが適宜変更することができる。

自動登録モードが設定されている場合（Act２２でＹＥＳ）、ＣＰＵ１１１は、登録手段７２として機能する。これに対し、手動登録モードが設定されている場合には（Act２２でＮＯ）、ＣＰＵ１１１は、登録キーが入力されるのを待機する（Act２３）。登録キーは、キーボード１１に配置されている。あるいは、手動登録モードの場合に限り登録画面に登録キーを表示させてもよい。登録キーが入力されると（Act２３にてＹＥＳ）、ＣＰＵ１１１は、前記登録手段７２として機能する。

登録手段７２は、抽出手段７１により抽出した外観特徴量を、前記特定手段６２により特定された商品Ｍの前記測定手段（距離センサ１５）により測定された距離における特徴量データとして当該距離データと関連付けて認識辞書ファイル３０に登録する手段である。すなわちＣＰＵ１１１は、Act１１の処理で商品Ｍが検出されたフレーム画像からその商品画像を切り出す（Act２４）。そしてＣＰＵ１１１は、この商品画像から商品Ｍの形状、表面の色合い、模様、凹凸状況等の外観特徴量を抽出する（Act２５：抽出手段７１）。さらにＣＰＵ１１１は、Act１３の処理で未登録距離に到達したと判定された測定距離ｄが設定距離として設定されている認識辞書ファイル３１，３２，３３を選択する（Act２６）。そしてＣＰＵ１１１は、Act６の処理でＲＡＭに格納した商品情報レコードの商品ＩＤ及び商品名と、Act２５の処理で抽出された特徴量データとを関連付けて、Act２６の処理で選択した認識辞書ファイル３１，３２，３３に登録する（Act２７）。またＣＰＵ１１１は、Act６の処理でＲＡＭに格納した商品情報レコードの当該測定処理ｄに該当する距離別設定ステータスｄｓ１，ｄｓ２，ｄｓ３を、未設定「Ｘ」から登録済「Ｏ」に書き換える。そしてＣＰＵ１１１は、この商品情報レコードを商品情報ファイル４０に上書きする（Act２８）。

しかる後、ＣＰＵ１１１は、ＲＡＭ１１４に格納した商品情報レコードの距離別設定ステータスｄｓ１，ｄｓ２，ｄｓ３のなかに、未設定「Ｘ」が１つでもあるか否かを判断する（Act２９）。未設定「Ｘ」の距離別設定ステータスが存在する場合（Act２９にてＹＥＳ）、ＣＰＵ１１１は、Act１０の処理に戻る。未設定「Ｘ」の距離別設定ステータスが存在しない場合には（Act２９にてＮＯ）、ＣＰＵ１１１は、Act１の処理に戻る。

図１２に示した登録画面９０が表示された状態において、ユーザが商品［リンゴ（フジ）］を撮像部１４に翳したとき、距離センサ１５により測定された距離ｄが５ｃｍであったとする。この場合、Act１３の判断処理において“ＹＥＳ”に進むので、登録画面９０は、図１３の画面に更新される。すなわち、測定距離ｄがいずれかの未登録距離に到達したことをユーザに知らしめるガイダンスＧ２、例えば「登録します」が登録画面９０に表示される。

ここで、自動登録モードが設定されていた場合には、スキャナ装置１においては、Act２４〜Act２８の処理が自動的に実行される。他方、手動登録モードが設定されていた場合には、ユーザは登録キーを入力する。そうすると、スキャナ装置１においては、Act２４〜Act２８の処理が実行される。

その結果、商品［リンゴ（フジ）］を撮像部１４から５ｃｍだけ離した状態で撮像された基準画像から得られた当該商品［リンゴ（フジ）］の特徴量データが短距離用認識辞書ファイル３１に登録される。また、商品［リンゴ（フジ）］に関する商品情報レコードの短距離ステータスｄｓ１が未設定［Ｘ］から設定済［Ｏ］に更新される。

この時点において、商品［リンゴ（フジ）］に関する商品情報レコードの距離別設定ステータスｄｓ１〜ｄｓ３は、短距離ステータスｄｓ１は設定済［Ｏ］だが、中距離ステータスｄｓ２及び長距離ステータスｄｓ３は未設定［Ｘ］である。このため、図１４に示すように、登録画面９０には、未登録距離の情報９２，９３としてｄ２＝１５ｃｍ及びｄ３＝３０ｃｍが表示される。また、測定距離ｄから未登録距離までの差のうち最も小さい差である移動距離ｄｘ＝１０ｃｍを通知するためのガイダンスＧ３が領域９４の近傍に表示される。

したがってユーザは、ガイダンスＧ３に従い商品［リンゴ（フジ）］を読取窓１Ｂから少しずつ離していく。そして、測定距離ｄが１５ｃｍに到達すると、図１５に示すように、登録画面９０にガイダンスＧ２が表示されるので、ユーザは商品［リンゴ（フジ）］を読取窓１Ｂから離していく動作を静止させる。そして手動登録モードの場合にはユーザは登録キーを入力する。自動登録モードの場合には、ユーザは登録キーを入力する必要はない。そうすると、商品［リンゴ（フジ）］を撮像部１４から１５ｃｍだけ離した状態で撮像された基準画像から得られた当該商品［リンゴ（フジ）］の特徴量データが中距離用認識辞書ファイル３２に登録される。また、商品［リンゴ（フジ）］に関する商品情報レコードの中距離ステータスｄｓ２が未設定［Ｘ］から設定済［Ｏ］に更新される。

この時点において、商品［リンゴ（フジ）］に関する商品情報レコードの距離別設定ステータスｄｓ１〜ｄｓ３は、短距離ステータスｄｓ１及び中距離ステータスｄｓ２は設定済［Ｏ］だが、長距離ステータスｄｓ３は未設定［Ｘ］である。このため、登録画面９０には、未登録距離の情報９３としてｄ３＝３０ｃｍが表示される。また、移動距離ｄｘ＝１５ｃｍを通知するためのガイダンスＧ３が領域９４の近傍に表示される。

したがってユーザは、ガイダンスＧ３に従い商品［リンゴ（フジ）］を読取窓１Ｂからさらに離していく。そして、測定距離ｄが３０ｃｍに到達すると、登録画面９０にガイダンスＧ２が表示されるので、ユーザは商品［リンゴ（フジ）］を読取窓１Ｂから離していく動作を静止する。そして手動登録モードの場合にはユーザは登録キーを入力する。自動登録モードの場合には、ユーザは登録キーを入力する必要はない。そうすると、商品［リンゴ（フジ）］を撮像部１４から３０ｃｍだけ離した状態で撮像された基準画像から得られた当該商品［リンゴ（フジ）］の特徴量データが長距離用認識辞書ファイル３３に登録される。また、商品［リンゴ（フジ）］に関する商品情報レコードの中距離ステータスｄｓ２が未設定［Ｘ］から設定済［Ｏ］に更新される。

この時点において、商品［リンゴ（フジ）］に関する商品情報レコードの距離別設定ステータスｄｓ１〜ｄｓ３は、全て設定済［Ｏ］となる。このため、タッチパネル１２の画面は、登録画面９０から未登録商品リスト８１の画面８０に切り替わる。このときの画面８０の一表示例を図１１に示す。図１１に示すように、商品［リンゴ（フジ）］のデータが未登録商品リスト８１から消去された。

以後、上記と同様にしてユーザが商品「スイカ」及び商品「オレンジ」について作業を進めることにより、商品「スイカ」を撮像部１４から１５ｃｍだけ離した状態で撮像された基準画像から得られた当該商品「スイカ」の特徴量データと、商品「スイカ」を撮像部１４から３０ｃｍだけ離した状態で撮像された基準画像から得られた当該商品「スイカ」の特徴量データとが、中距離用認識辞書ファイル３２及び長距離用認識辞書ファイル３３にそれぞれ登録される。また、商品「オレンジ」を撮像部１４から５ｃｍだけ離した状態で撮像された基準画像から得られた当該商品「オレンジ」の特徴量データが短距離用認識辞書ファイル３１に登録される。

このように、本実施形態のスキャナ装置１によれば、ユーザが商品を読取窓１Ｂに翳すという簡単な作業により、認識辞書ファイル３０の短距離用認識辞書ファイル３１、中距離用認識辞書ファイル３２及び長距離用認識辞書ファイル３３を効率よく作成することができる。

すなわち、短距離用認識辞書ファイル３１に対しては、商品を撮像部１４から５ｃｍだけ離した状態で撮像された基準画像から得られた当該商品の特徴量データを含む認識辞書データが登録される。中距離用認識辞書ファイル３２に対しては、商品を撮像部１４から１５ｃｍだけ離した状態で撮像された基準画像から得られた当該商品の特徴量データを含む認識辞書データが登録される。長距離用認識辞書ファイル３１に対しては、商品を撮像部１４から３０ｃｍだけ離した状態で撮像された基準画像から得られた当該商品の特徴量データを含む認識辞書データが登録される。

そして、スキャナ装置１が商品認識装置として動作する場合において、キャッシャが客が買い上げる商品を読取窓１Ｂに翳したとき、撮像部１４から商品までの距離が約５ｃｍのときには、撮影画像から抽出される当該商品の外観特徴量と短距離用認識辞書ファイル３１に登録されている各商品の特徴量データとが照合される。これに対し、撮像部１４から商品までの距離が約３０ｃｍのときには、撮影画像から抽出される当該商品の外観特徴量と長距離用認識辞書ファイル３３に登録されている各商品の特徴量データとが照合される。したがって、高い認識率を持って、撮影画像から商品を認識することができる。

また、本実施形態のスキャナ装置１は、認識辞書作成処理の動作モードとして自動登録モードと手動登録モードとを有しており、ユーザがどちらかのモードを選択できるようになっている。自動登録モードが選択された場合、ユーザは登録キーを入力する必要がないので、ユーザの手間を削減できる効果を奏する。手動登録モードが選択された場合、ユーザが登録キーを入力しない限り認識辞書データが登録されないので、所定の登録距離の認識辞書データを認識辞書ファイル３０に登録するか否かをユーザが選択できる効果を奏する。

また、本実施形態のスキャナ装置１は、距離センサ１５による測定距離が所定の登録距離に達するまでの商品の移動距離を算出し、登録画面９０に表示するようにしている。したがって、ユーザは、読取窓１Ｂに翳した商品をどれだけ移動させればよいのか把握できるので、作業効率を向上させることができる。

また、本実施形態のスキャナ装置１は、商品の特徴量データが認識辞書ファイル３０に未登録の距離を検索し、登録画面９０に表示するようにしている。したがって、ユーザは、未登録の距離がいくつなのかを容易に把握できるので、データの欠落を未然に防ぐことができる。

なお、本発明は、前記実施形態に限定されるものではない。
例えば前記実施形態では、店舗会計システムの商品認識装置として機能するスキャナ装置１に、認識辞書作成装置としての機能を持たせたが、商品認識装置としての機能を必ずしも兼用させる必要はなく、認識辞書作成装置としての専用機であってもよい。この場合、読取窓１Ｂに翳した商品をユーザが手動で遠ざけたり近づけたりするのでなく、例えば商品を載置したテーブルを駆動機構により読取窓から離したり近づけたりし、測定距離ｄが所定の登録距離に達したときにテーブルを停止させるように構成することによって、作業を自動化することも可能である。

また、前記実施形態では、認識辞書ファイル３０を、短距離用認識辞書ファイル３１、中距離用認識辞書ファイル３２及び長距離用認識辞書ファイル３３の３種類としたが、認識辞書ファイル３０の種類は３種類に限定されるものではない。短距離と長距離の２種類だけであってもよいし、個々のファイルの設定距離さえ異なれば４種類以上あってもよい。

また、認識辞書ファイル３０を距離別に分割しなくてもよい。例えば認識辞書データに設定距離ｄ１〜ｄ３のデータを付加することによって、認識辞書ファイル３０を物理的に１ファイルで構成できるようになる。

また、前記実施形態では、認識辞書ファイル３０をＰＯＳ端末２が備える場合を示したが、認識辞書ファイル３０の保存場所はＰＯＳ端末２に限定されるものではない。例えば、ＰＯＳ端末２の上位機であるサーバに保存されていてもよい。あるいは、スキャナ装置１が自ら認識辞書ファイル３０を保存していてもよい。

なお、認識辞書作成装置の譲渡は一般に、認識辞書作成プログラム等のプログラムがＲＯＭに記憶された状態にて行われる。しかしこれに限らず、コンピュータ装置が備える書き込み可能な記憶デバイスに、このコンピュータ装置とは個別に譲渡された認識辞書作成プログラム等がユーザなどの操作に応じて書き込まれてもよい。認識辞書作成プログラム等の譲渡は、リムーバブルな記録媒体に記録して、あるいはネットワークを介した通信により行うことができる。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提
示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態
は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で
、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明
の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に
含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］商品を撮像する撮像部と、前記撮像部からこの撮像部で撮像された商品までの距離を測定する測定手段と、前記商品を特定する特定手段と、前記撮像部で撮像された前記商品の画像から当該商品の外観特徴量を抽出する抽出手段と、前記抽出手段により抽出した外観特徴量を前記特定手段により特定された商品の前記測定手段により測定された距離における特徴量データとして当該距離データと関連付けて認識辞書ファイルに登録する登録手段と、を具備したことを特徴とする認識辞書作成装置。
［２］前記測定手段による測定距離が所定の登録距離に達したことを報知する報知手段と、前記特徴量データの登録宣言を受付ける受付手段と、をさらに具備し、前記登録手段は、前記受付手段により登録宣言を受付けたことに応じて登録することを特徴とする付記［１］記載の認識辞書作成装置。
［３］前記測定手段による測定距離が所定の登録距離であることを検出する登録検出手段、をさらに具備し、前記登録手段は、前記測定距離が前記登録距離であると検出されたことに応じて登録することを特徴とする付記［１］記載の認識辞書作成装置。
［４］前記測定手段による測定距離が所定の登録距離に達するまでの前記商品の移動距離を算出する演算手段と、前記移動距離を表示する表示手段と、をさらに具備したことを特徴とする付記［２］または［３］記載の認識辞書作成装置。
［５］前記特定手段により特定された商品の特徴量データが前記認識辞書ファイルに未登録の距離を検索する検索手段と、この検索手段による検索結果を出力する出力手段と、をさらに具備したことを特徴とする付記［１］乃至［４］のうちいずれか１に記載の認識辞書作成装置。
［６］撮像部で撮像された前記商品の画像データ及び測定手段により測定された前記撮像部からこの撮像部で撮像された商品までの距離データを取り込む機能を有したコンピュータに、前記商品を特定する特定機能と、前記撮像部で撮像された前記商品の画像から当該商品の外観特徴量を抽出する抽出機能と、前記抽出機能により抽出した外観特徴量を前記特定機能により特定された商品の前記測定機能により測定された距離における特徴量データとして当該距離データと関連付けて認識辞書ファイルに登録する登録機能と、を実現させるための認識辞書作成プログラム。

１…スキャナ装置、２…ＰＯＳ端末、１２…タッチパネル、１４…撮像部、１５…距離センサ、３０…認識辞書ファイル、３１…短距離用認識辞書ファイル、３２…中距離用認識辞書ファイル、３３…長距離用認識辞書ファイル、４０…商品情報ファイル。

Claims (6)

1. 商品を撮像する撮像部と、
   前記撮像部からこの撮像部で撮像された商品までの距離を測定する測定手段と、
   前記商品を特定する特定手段と、
   前記撮像部で撮像された前記商品の画像から当該商品の外観特徴量を抽出する抽出手段と、
   前記測定手段により測定された距離に係る情報を報知する報知手段と、
   特徴量データの登録宣言を受付ける受付手段と、
   前記受付手段により登録宣言を受付けたことに応じて、前記抽出手段により抽出した外観特徴量を前記特定手段により特定された商品の前記測定手段により測定された距離における特徴量データとして当該距離のデータと関連付けて認識辞書ファイルに登録する登録手段と、
   を具備したことを特徴とする認識辞書作成装置。
2. 前記報知手段は、前記測定手段により測定された距離が所定の登録距離に達したことを報知する、
   ことを特徴とする請求項１記載の認識辞書作成装置。
3. 前記報知手段は、前記測定手段により測定された距離が所定の登録距離に達するまでの前記商品の移動距離を報知する、
   ことを特徴とする請求項１記載の認識辞書作成装置。
4. 商品を撮像する撮像部と、
   前記撮像部からこの撮像部で撮像された商品までの距離を測定する測定手段と、
   前記商品を特定する特定手段と、
   前記撮像部で撮像された前記商品の画像から当該商品の外観特徴量を抽出する抽出手段と、
   前記測定手段により測定された距離が所定の登録距離であることを検出する登録検出手段と、
   前記登録検出手段により前記測定された距離が前記登録距離であると検出されたことに応じて前記抽出手段により抽出した外観特徴量を前記特定手段により特定された商品の前記測定手段により測定された距離における特徴量データとして当該距離のデータと関連付けて認識辞書ファイルに登録する登録手段と、
   を具備したことを特徴とする認識辞書作成装置。
5. 前記特定手段により特定された商品の特徴量データが前記認識辞書ファイルに未登録の距離を検索する検索手段と、
   この検索手段による検索結果を出力する出力手段と、
   をさらに具備したことを特徴とする請求項１乃至４のうちいずれか１に記載の認識辞書作成装置。
6. 撮像部で撮像された商品の画像データ及び測定手段により測定された前記撮像部からこの撮像部で撮像された商品までの距離データを取り込む機能を有したコンピュータに、
   前記商品を特定する特定機能と、
   前記撮像部で撮像された前記商品の画像から当該商品の外観特徴量を抽出する抽出機能と、
   前記測定手段により測定された距離に係る情報を報知する報知機能と、
   特徴量データの登録宣言を受付ける受付機能と、
   前記受付機能により登録宣言を受付けたことに応じて、前記抽出機能により抽出した外観特徴量を前記特定機能により特定された商品の前記測定手段により測定された距離における特徴量データとして当該距離のデータと関連付けて認識辞書ファイルに登録する登録機能と、
   を実現させるための認識辞書作成プログラム。

Images