JP5826800B2 - 認識辞書評価装置及び認識辞書評価プログラム - Google Patents

Description

本発明の実施形態は、商品を撮像した画像からその商品を認識するシステムに用いられる認識辞書ファイルの評価装置及びコンピュータを当該評価装置として機能させるための認識辞書評価プログラムに関する。

撮像部で撮像された物体の画像から当該物体を認識する技術がある。この技術は、画像からその画像に映し出された物体の外観特徴量を抽出し、認識辞書ファイルに登録されている各基準画像の特徴量データと照合して、特徴量の類似度を算出する。そして、類似度が最も高い基準画像に相当する物体を、撮像部で撮像された物体として認識する。

近年、このような物体認識技術を小売店の会計システム（ＰＯＳシステム）に適用して、顧客が買い上げる商品を認識する提案がなされている。この場合、認識辞書ファイルには、各商品の品目にそれぞれ関連付けて当該品目によって特定される商品の外観特徴量を示す特徴量データが登録される。換言すれば、認識辞書ファイルに特徴量データが登録されていない商品は認識することができない。

例えば生鮮食品を取扱う小売店では、商品の入れ替え等により、認識辞書ファイルに特徴量データが登録されていない未登録商品の販売を開始することがある。その場合、店側は、販売開始前に未登録商品の特徴量データを認識辞書ファイルに追加する。しかし、未登録商品の特徴量データを追加したために、既に登録されている商品の認識率が低下する可能性がある。また、特徴量データを追加した商品の認識率が想定よりも低い場合もある。このような事象は、特徴量データの追加のみならず、特徴量データの変更によっても起こり得る。

特開２０１２−０６９０９４号公報

一実施形態が解決しようとする課題は、特徴量データの追加，変更等により更新された認識辞書ファイルの有効性を簡単に評価できる認識辞書評価装置を提供しようとするものである。

一実施形態において、認識辞書評価装置は、演算手段と、評価手段と、検出手段と、報知手段とを備える。演算手段は、各商品の外観特徴量を示す特徴量データを記憶する認識辞書ファイルが更新されたことに応じて、更新後の認識辞書ファイルの特徴量データによる各商品の品目別認識率を算出する。評価手段は、演算手段により算出された各商品の品目別認識率から商品毎に求まる正当認識率が、予め設定された評価条件を満足するか否かを判断する。検出手段は、評価手段により正当認識率が評価条件を満足しないと判断されると、各商品の中で正当認識率が所定レベル未満の低認識商品と、この低認識商品の品目別認識率の中で誤認識率が高い誤認識商品とを検出する。報知手段は、検出手段により検出された低認識商品と誤認識商品との品目を報知する。

一実施形態である店舗会計システムの外観図。 同店舗会計システムのスキャナ装置とＰＯＳ端末とのハードウェア構成を示すブロック図。 認識辞書ファイルに保存される認識辞書データの構造を模式的に示す図。 認識率ファイルに保存される認識率テーブルの構造を模式的に示す図。 スキャナ装置が商品認識装置として動作する場合の機能構成を示すブロック図。 スキャナ装置が認識辞書ファイルの更新装置及び評価装置として動作する場合の機能構成を示すブロック図。 スキャナ装置のＣＰＵが認識辞書更新プログラムにしたがって実行する認識辞書更新処理の要部手順を示す流れ図。 スキャナ装置のＣＰＵが認識辞書評価プログラムにしたがって実行する認識辞書更新処理の要部手順を示す流れ図。 認識辞書ファイル更新前の認識率テーブルの一例を示す図。 認識辞書ファイル更新後の認識率テーブルの一例を示す図。

以下、認識辞書評価装置の実施形態について、図面を用いて説明する。
なお、本実施形態は、店舗会計システムの商品認識装置として機能するスキャナ装置１に、認識辞書ファイルの更新装置及び評価装置としての機能をさらに持たせた場合である。

図１は、前記スキャナ装置１を用いた店舗会計システムの外観図である。このシステムは、顧客が買い上げる商品を登録する登録部としてのスキャナ装置１と、顧客の代金支払いを処理する決済部としてのＰＯＳ（Point Of Sales）端末２とを含む。スキャナ装置１は、会計カウンタ３の上に取り付けられる。ＰＯＳ端末２は、レジ台４の上にドロワ５を挟んで設置される。スキャナ装置１とＰＯＳ端末２とは、通信ケーブル８（図２を参照）によって電気的に接続される。

スキャナ装置１は、キーボード１１、タッチパネル１２及び客用ディスプレイ１３を備える。これらの表示・操作デバイス（キーボード１１、タッチパネル１２、客用ディスプレイ１３）は、スキャナ装置１の本体を構成する薄型矩形形状のハウジング１Ａに取り付けられる。

ハウジング１Ａには、撮像部１４が内蔵される。また、矩形状の読取窓１Ｂが、ハウジング１Ａの正面に形成される。撮像部１４は、エリアイメージセンサであるＣＣＤ（Charge Coupled Device）撮像素子及びその駆動回路と、撮像領域の画像をＣＣＤ撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、読取窓１Ｂから撮像レンズを通してＣＣＤ撮像素子のエリアに結像するフレーム画像の領域を指す。撮像部１４は、撮像レンズを通ってＣＣＤ撮像素子に結像した撮像領域の画像を出力する。なお、エリアイメージセンサは、ＣＣＤ撮像素子に限定されない。例えばＣＭＯＳ(complementary metal oxide semiconductor)を用いたものであってもよい。

ＰＯＳ端末２は、決済に必要なデバイスとしてキーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３及びレシートプリンタ２４を備える。

会計カウンタ３は、顧客通路３Ａに沿って配置される。レジ台４は、顧客通路３Ａの顧客移動方向である矢印Ｅの方向に対して下流側の会計カウンタ３の端部の顧客通路３Ａとは反対側に、会計カウンタ３に対して略垂直に置かれる。そして、この会計カウンタ３とレジ台４とで仕切られた領域が、会計担当の店員いわゆるキャッシャのスペース３Ｂとなる。

会計カウンタ３の略中央には、スキャナ装置１のハウジング１Ａが、キーボード１１、タッチパネル１２及び読取窓１Ｂをそれぞれキャッシャ側に向けて立設される。スキャナ装置１の客用ディスプレイ１３は、顧客通路３Ａ側を向いてハウジング１Ａに取り付けられる。

会計カウンタ３のスキャナ装置１を挟んで顧客移動方向上流側の荷受面は、買物客が購入する未登録の商品Ｍが入れられた買物カゴ６を置くためのスペースとなる。他方、下流側の荷受面は、スキャナ装置１により登録された商品Ｍを入れるための買物カゴ７を置くためのスペースとなる。

図２は、スキャナ装置１とＰＯＳ端末２とのハードウェア構成を示すブロック図である。スキャナ装置１は、スキャナ部１０１と操作・出力部１０２とを備える。スキャナ部１０１は、ＣＰＵ（Central Processing Unit）１１１、ＲＯＭ（Read Only Memory）１１２、ＲＡＭ（Random Access Memory）１１３、接続インターフェース１１４を含む。またスキャナ部１０１は、前記撮像部１４も含む。ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３及び接続インターフェース１１４は、バスライン１１５に接続される。また、撮像部１４も、入出力回路（不図示）を介してバスライン１１５に接続される。

ＣＰＵ１１１は、コンピュータの中枢部分に相当する。ＣＰＵ１１１は、オペレーティングシステムやアプリケーションプログラムに従って、スキャナ装置１としての各種の機能を実現するべく各部を制御する。

ＲＯＭ１１２は、上記コンピュータの主記憶部分に相当する。ＲＯＭ１１２は、上記のオペレーティングシステムやアプリケーションプログラムを記憶する。ＲＯＭ１１２は、ＣＰＵ１１１が各種の処理を実行する上で必要なデータを記憶する場合もある。アプリケーションプログラムには、後述する商品認識プログラム、認識辞書更新プログラム及び認識辞書評価プログラムが含まれる。

ＲＡＭ１１３は、上記コンピュータの主記憶部分に相当する。ＲＡＭ１１３は、ＣＰＵ１１１が各種の処理を実行する上で必要なデータを必要に応じて記憶する。またＲＡＭ１１３は、ＣＰＵ１１１が各種の処理を行う際のワークエリアとしても利用される。

操作・出力部１０２は、前記キーボード１１、タッチパネル１２及び客用ディスプレイ１３を含む。また操作・出力部１０２は、接続インターフェース１１６及び音声合成部１１７も含む。キーボード１１、タッチパネル１２、客用ディスプレイ１３は、それぞれ入出力回路（不図示）を介してバスライン１１８に接続される。また、接続インターフェース１１６及び音声合成部１１７も、バスライン１１８に接続される。

タッチパネル１２は、パネル型のディスプレイ１２ａと、このディスプレイ１２ａの画面上に重ねて配置されたタッチパネルセンサ１２ｂとを備える。
音声合成部１１７は、バスライン１１８を介して入力されるコマンドに応じて音声信号をスピーカ１５に出力する。スピーカ１５は、音声信号を音声に変換して出力する。

ＰＯＳ端末２も、制御部本体としてＣＰＵ２０１を搭載する。そしてこのＣＰＵ２０１に、バスライン２０２を介して、ＲＯＭ２０３、ＲＡＭ２０４、補助記憶部２０５、通信インターフェース２０６及び接続インターフェース２０７が接続される。また、バスライン２０２には、前記キーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３、プリンタ２４及びドロワ５の各部も、それぞれ入出力回路（不図示）を介して接続される。

通信インターフェース２０６は、ＬＡＮ（Local Area Network）等のネットワークを介して店舗サーバ（不図示）と接続される。この接続により、ＰＯＳ端末２は、店舗サーバとデータの送受信が可能となる。

接続インターフェース２０７は、通信ケーブル８を介して、スキャナ装置１の両接続インターフェース１１４，１１６と接続される。この接続により、ＰＯＳ端末２は、スキャナ装置１のスキャナ部１０１から情報を受信する。また、ＰＯＳ端末２は、スキャナ装置１の操作・出力部１０２を構成するキーボード１１、タッチパネル１２、客用ディスプレイ１３、音声合成部１１７との間でデータ信号を送受信する。一方、スキャナ装置１は、この接続により、ＰＯＳ端末２の補助記憶部２０５に保存されているデータファイルにアクセスする。

補助記憶部２０５は、例えばＨＤＤ（Hard Disk Drive）装置またはＳＳＤ（Solid State Drive）装置であって、種々のプログラムの他、認識辞書ファイル３０、認識率ファイル４０等のデータファイルを保存する。

認識辞書ファイル３０には、商品別の認識辞書データ３０Ｄが保存される。図３は、認識辞書データ３０Ｄの構造を示す模式図である。図３に示すように、認識辞書データ３０Ｄは、商品ＩＤ、商品名、特徴量データ及び状態フラグＦの各項目を含む。商品ＩＤは、認識対象である商品を識別するために各商品にそれぞれ付された固有のコードである。商品名は、対応する商品ＩＤによって特定される商品の品目である。

特徴量データは、対応する商品ＩＤによって特定される商品を撮像した基準画像から、その商品の表面情報（外観形状、色合い、模様、凹凸具合等）である外観上の特徴量を抽出し、この外観特徴量をパラメータで表わしたものである。認識辞書データ３０Ｄには、１つの商品に対して複数の特徴量データが保存される。各特徴量データは、１つの商品を異なる方向から撮像した基準画像によって生成される。なお、特徴量データの数は固定ではない。また、特徴量データの数は商品によって異なる。

状態フラグＦは、認識辞書データ３０Ｄが有効であるか無効であるかを識別するための情報である。本実施形態において、状態フラグＦは、認識辞書データ３０Ｄが有効なとき“０”となり、無効なとき“１”となる。

認識率ファイル４０には、複数の認識率テーブル４０Ｔが保存される。図４は、認識率テーブル４０Ｔの構造を示す模式図である。図４に示すように、認識率テーブル４０Ｔは、行方向のセルの数と列方向のセルの数とが等しいマトリクス構造を有する。そして、その１行目かつ１列目のセルに、固有のテーブル番号がセットされる。テーブル番号は、例えば“１”から順番に１ずつ増加する正の整数である。

１行目の２列目以降の各セルと１列目の２行目以降の各セルには、認識辞書ファイル３０に認識辞書データ３０Ｄが登録されている各商品の品目（商品名）がそれぞれ同じ順番でセットされる。

２列目以降でかつ２行目以降の各セルには、その列の１行目のセルにセットされた品目で特定される商品を、認識辞書ファイル３０に登録されている各商品の特徴量データで認識した際の品目別認識率（ｎｎ％）が、各行の１列目のセルにセットされた品目の順番にセットされる。

図５は、スキャナ装置１が商品認識装置として動作する場合の機能構成を示すブロック図である。客が買い上げる商品Ｍをスキャナ装置１に認識させる場合、ユーザは、キーボード１１またはタッチパネル１２を操作して商品認識モードを選択する。そしてオペレータは、商品Ｍを読取窓１Ｂに翳す。

商品認識モードが選択されると、スキャナ装置１では、前記商品認識プログラムが起動する。そしてこの商品認識プログラムに従い、ＣＰＵ１１１が、抽出手段５１、類似度算出手段５２、候補出力手段５３及び確定手段５４としての機能を実現する。以下、各機能を具体的に説明する。

商品Ｍが読取窓１Ｂに翳されると、ＣＰＵ１１１は、抽出手段５１として機能する。すなわちＣＰＵ１１１は、撮像部１４で撮像された画像から、その画像に映し出されている商品Ｍの形状、表面の色合い、模様、凹凸状況等の外観特徴量を抽出する。

外観特徴量が抽出されると、ＣＰＵ１１１は、類似度算出手段５２として機能する。すなわちＣＰＵ１１１は、抽出手段５１により抽出された外観特徴量を、認識辞書ファイル３０に登録されている各商品の特徴量データと順次照合して、外観特徴量が特徴量データに対してどの程度類似しているかを例えばハミング距離で示す類似度を品目毎に算出する。なお、このとき、状態フラグＦが無効な状態にある認識辞書データ３０Ｄの特徴量データとは照合しない。

品目毎に類似度が算出されると、ＣＰＵ１１１は、候補出力手段５３として機能する。すなわちＣＰＵ１１１は、類似度の大きい順に例えば５番目までの品目を選出する。そしてＣＰＵ１１１は、選出した品目の商品を認識商品候補として選択可能にタッチパネル１２に表示出力する。

認識商品候補が表示されると、ＣＰＵ１１１は、確定手段５４として機能する。すなわちＣＰＵ１１１は、キーボード１１またはタッチパネル１２の操作入力により、認識商品候補の中から選択された商品を、客が買い上げる商品として確定する。もしくはＣＰＵ１１１は、認識商品候補の中で類似度が最も高い商品を客が買い上げる商品として確定する。

確定された商品の販売データは、通信ケーブル８を介してＰＯＳ端末２に送られる。かくしてＰＯＳ端末２では、確定手段５４によって確定された商品の販売データが売上登録される。

図６は、スキャナ装置１が認識辞書ファイル３０の更新装置及び評価装置として動作する場合の機能構成を示すブロック図である。認識辞書ファイル３０に新規の認識辞書データ３０Ｄを追加する場合、あるいは認識辞書ファイル３０に既に登録されている認識辞書データ３０Ｄの特徴量データを変更する場合、ユーザは、キーボード１１またはタッチパネル１２を操作して認識辞書更新モードを選択する。

認識辞書更新モードが選択されると、スキャナ装置１では、前記認識辞書更新プログラムが起動する。そしてこの認識辞書更新プログラムに従い、ＣＰＵ１１１は更新手段６０としての機能を実現する。またスキャナ装置１では、認識辞書評価プログラムも起動する。そしてこの認識辞書評価プログラムに従い、ＣＰＵ１１１は演算手段６１、評価手段６２、検出手段６３、報知手段６４、受付手段６５、無効化手段６６、再演算手段６７、再評価手段６８及び復元手段６９としての機能を実現する。以下、図７及び図８の流れ図を用いて各機能を具体的に説明する。なお、以下に説明する処理の内容は一例であって、同様な結果を得ることが可能な様々な処理を適宜に利用できる。

認識辞書更新プログラムが起動すると、ＣＰＵ１１１は、図７の流れ図に示される手順の認識辞書更新処理を開始する。先ず，ＣＰＵ１１１は、タッチパネル１２のディスプレイ１２ａに辞書更新画面を表示させる（Act１）。辞書更新画面には、商品ＩＤ及び個体数Ｎの入力欄と商品名の表示欄とが形成されている。

認識辞書データ３０Ｄを追加または変更する場合、ユーザは、そのデータ３０Ｄの対象となる商品のなかで標準的な外観を有する商品（以下、基準商品と称する）を複数用意する。そしてユーザは、キーボード１１またはタッチパネル１２を操作して、対象となる商品の商品ＩＤを入力する。またユーザは、用意した基準商品の数を個体数Ｎとして入力する。

商品ＩＤが入力されると、ＣＰＵ１１１は、その商品ＩＤで特定される商品の商品名を商品データベース（不図示）から読み出して、表示欄に表示する。商品ＩＤと個体数Ｎとが入力されると、ＣＰＵ１１１は、辞書更新画面に実行ボタンを表示させる。そしてＣＰＵ１１１は、実行ボタンが入力されるのを待機する（Act２）。

辞書更新画面に商品ＩＤと個体数Ｎとを入力したユーザは、実行ボタンにタッチする。タッチパネルセンサ１２ｂを介して実行ボタンの領域がタッチされたことを検知すると、ＣＰＵ１１１は、実行ボタンが入力されたと判断する（Act２にてＹＥＳ）。そしてＣＰＵ１１１は、辞書更新画面に表示されている商品ＩＤ、商品名及び個体数Ｎを、ＲＡＭ１１３に形成された更新対象データ保存用のワークエリア（以下、更新対象エリアと称する）に格納する（Act３）。またＣＰＵ１１１は、撮像部１４に対して撮像オン信号を出力する（Act４）。この撮像オン信号により、撮像部１４が撮像領域の撮像を開始する。撮像部１４で撮像された撮像領域のフレーム画像は、ＲＡＭ１１３に形成された画像データ蓄積用のワークエリア（以下、画像エリアと称する）に順次保存される。

ＣＰＵ１１１は、カウンタｘを“０”にリセットする（Act５）。そしてＣＰＵ１１１は、カウンタｘの値に対して予め設定されている辞書更新のためのガイダンスを出力する（Act６）。例えばカウンタｘが“０”のときには「基準商品の正面を読取窓に翳してください」というガイダンスを出力する。なお、ガイダンスの出力方法は、ディスプレイ１２ａへの表示出力、またはスピーカ１５からの音声出力、あるいはその両方であってもよい。

ＣＰＵ１１１は、画像エリアに保存されたフレーム画像を取り込む（Act７）。そしてＣＰＵ１１１は、このフレーム画像に基準商品が撮像されているか否かを確認する（Act８）。すなわちＣＰＵ１１１は、フレーム画像を二値化した画像から輪郭線等を抽出する。そしてＣＰＵ１１１は、フレーム画像に映し出されている物体の輪郭抽出を試みる。物体の輪郭が全周にわたり抽出されると、ＣＰＵ１１１は、フレーム画像に基準商品が撮像されているとみなす。フレーム画像に基準商品が撮像されていない場合（Act８にてＮＯ）、ＣＰＵ１１１は、画像エリアから次のフレーム画像を取り込む（Act７）。そしてＣＰＵ１１１は、このフレーム画像に基準商品が撮像されているか否かを確認する（Act８）。

フレーム画像に基準商品が撮像されている場合（Act８にてＹＥＳ）、ＣＰＵ１１１は、このフレーム画像から基準商品の画像を切り出す。そしてＣＰＵ１１１は、この基準商品の画像から基準商品の形状、表面の色合い、模様、凹凸状況等の外観特徴量を抽出する（Act９）。

ＣＰＵ１１１は、抽出された外観特徴量を所定のパラメータに変換する。そしてＣＰＵ１１１は、この外観特徴量のパラメータを、基準商品を正面から見たときの特徴量データとして更新対象エリアに格納する（Act１０）。

ＣＰＵ１１１は、前記カウンタｘを“１”だけカウントアップする（Act１１）。そしてＣＰＵ１１１は、カウンタｘが所定の上限値Ｘを超えたか否かを判断する（Act１２）。上限値Ｘは、１つの基準商品から得る特徴量データの数から定まる値であり、本実施形態では、１つの基準商品から得る特徴量データの数が“６”なので“５”とする。

カウンタｘが上限値Ｘを超えていない場合（Act１２にてＮＯ）、ＣＰＵ１１１は、Act６の処理に戻る。すなわちＣＰＵ１１１は、カウンタｘの値に対して予め設定されているガイダンスを出力する。例えばカウンタｘが“１”のときには「基準商品の裏面を読取窓に翳してください」というガイダンスを出力する。しかる後、ＣＰＵ１１１は、Act７〜Act１２の処理を再度実行する。これにより、基準商品を裏面から見たときの特徴量データが、更新対象エリアに格納される。また、カウンタｘが“２”となる。この場合も、カウンタｘは上限値Ｘを超えていない。したがって、Act６〜Act１２の処理が繰り返される。

かくして、カウンタｘは“２”、“３”、“４”、“５”と増加する。そしてそれに伴い、カウンタｘが“１”のときのガイダンスの「裏面」の部分が「右側面」、「左側面」、「上面」、「下面」にそれぞれ置き換えられたガイダンスが順番に出力される。したがって、さらに基準商品を右側面から見たときの特徴量データと、左側面から見たときの特徴量データと、上面から見たときの特徴量データと、下面から見たときの特徴量データとが、更新対象エリアに格納される。

カウンタｘが上限値Ｘを超えると（Act１２にてＹＥＳ）、ＣＰＵ１１１は、個体数Ｎを“１”だけ減じる（Act１３）。そしてＣＰＵ１１１は、個体数Ｎが“０”になったか否かを判断する（Act１４）。個体数Ｎが“０”より大きい場合（Act１４にてＮＯ）、ＣＰＵ１１１は、基準商品の交換を指示するガイダンス、例えば「基準となる商品を交換してください」を出力する（Act１５）。しかる後、ＣＰＵ１１１は、Act５の処理に戻る。すなわちＣＰＵ１１１は、カウンタｘを“０”にリセットする。そしてＣＰＵ１１１は、Act６以降の処理を再度実行する。その結果、２つ目の基準商品を「正面」、「裏面」、「右側面」、「左側面」、「上面」及び「下面」の６方向からそれぞれ見たときの特徴量データが、更新対象エリアに格納される。

ＣＰＵ１１１は、個体数Ｎが“０”となるまで、Act５〜Act１５の処理を繰り返す。したがって、基準商品として用意されたＮ個の商品について、それぞれを６方向から見たときの特徴量データ、つまりは（６＊Ｎ）個の特徴量データが、更新対象エリアに格納される。

なお、カウンタｘの上限値Ｘは“５”に限定されるものでない。認識辞書ファイル３０の記憶容量や商品認識装置としての能力等を考慮して、適切な値Ｘが設定される。また、ガイダンスの内容はあくまでも一例であり、本実施形態の内容に限定されないのは言うまでもないことである。

個体数Ｎが“０”となったならば（Act１４にてＹＥＳ）、ＣＰＵ１１１は、撮像部１４に対して撮像オフ信号を出力する（Act１６）。この撮像オフ信号により、撮像部１４は、撮像を終了する。

またＣＰＵ１１１は、更新対象エリアに格納された商品ＩＤ、商品名及び各特徴量データに基づいて認識辞書ファイル３０を更新する（Act１７：更新手段６０）。具体的にはＣＰＵ１１１は、当該商品ＩＤが認識辞書ファイル３０に登録済か否かを判断する。未登録の場合、ＣＰＵ１１１は、この商品ＩＤ及び商品名と各特徴量データとから認識辞書データ３０Ｄを生成し、認識辞書ファイル３０に追加する。このとき、認識辞書データ３０Ｄの状態フラグＦは、有効を表わす値“０”となる。

これに対して登録済の場合には、ＣＰＵ１１１は、当該商品ＩＤを含む認識辞書データ３０Ｄを、ＲＡＭ１１３に形成されたデータ退避用のワークエリア（以下、退避エリアと称する）に複写する。しかる後、ＣＰＵ１１１は、認識辞書ファイル３０の当該商品ＩＤを含む認識辞書データ３０Ｄの特徴量データを、更新対象エリア内の特徴量データに置換する。また、この認識辞書データ３０Ｄの状態フラグＦが無効を表わす値“１”であった場合には有効を表わす値“０”に変更する。状態フラグＦが有効を表わす値“０”であった場合にはそのまま変更しない。

こうして、認識辞書ファイル３０が更新されると、スキャナ装置１では、認識辞書評価プログラムが起動する。これにより、ＣＰＵ１１１は、図８の流れ図に示す手順の認識辞書評価処理を開始する（Act１８）。

先ず、ＣＰＵ１１１は、更新後の認識辞書ファイル３０に登録されている各商品の特徴量データを用いて、各商品に対する品目別認識率を算出する（Act２１：演算手段６１）。具体的にはＣＰＵ１１１は、認識辞書ファイル３０から状態フラグＦが有効を表わす値“０”の認識辞書データ３０Ｄを順番に読み出す。状態フラグＦが無効を表わす値“１”の認識辞書データ３０Ｄは読み出さない。

ＣＰＵ１１１は、認識辞書データ３０Ｄを読み出す都度、その認識辞書データ３０Ｄに含まれる複数の特徴量データのなかから所定数、例えば１０個の特徴量データを任意に選択する。そしてＣＰＵ１１１は、特徴量データを選択する都度、以下の処理を繰り返す。

すなわちＣＰＵ１１１は、選択した特徴量データを、当該認識辞書データ３０Ｄの商品ＩＤで特定される商品の撮像画像から得られた外観特徴量とみなす。そしてＣＰＵ１１１は、この外観特徴量を、認識辞書ファイル３０に登録されている各商品の特徴量データと順次照合して、外観特徴量が特徴量データに対してどの程度類似しているかを例えばハミング距離で示す類似度を品目毎に算出する。なお、このとき、状態フラグＦが無効な状態にある認識辞書データ３０Ｄの特徴量データとは照合しない。

こうして、選択した特徴量データの全てについて、個々に品目別の類似度を算出したならば、ＣＰＵ１１１は、品目毎に類似度の平均を求める。そしてＣＰＵ１１１は、この品目別の類似度平均値を百分率に換算することで、当該認識辞書データ３０Ｄの商品ＩＤで特定される商品の品目別認識率を算出する。

Act２１の処理が終了すると、ＣＰＵ１１１は、このAct２１の処理で算出された各商品の品目別認識率で認識率テーブル４０Ｔを作成する（Act２２）。具体的には、ＣＰＵ１１１は、認識率テーブル４０Ｔにおける１行目の２列目以降の各セルと１列目の２行目以降の各セルとに、それぞれAct２１に処理で認識辞書ファイル３０から読み出した各認識辞書データ３０Ｄの品目を順にセットする。次いでＣＰＵ１１１は、上記認識率テーブル４０Ｔの２列目以降でかつ２行目以降の各セルに、その列の１行目のセルにセットされた品目の商品に対する品目別認識率を、各行の１列目のセルにセットされた品目の順番にセットする。またＣＰＵ１１１は、認識率ファイル４０に既に保存されている各認識率テーブル４０Ｔにそれぞれセットされたテーブル番号を比較して最大値を取得する。そしてＣＰＵ１１１は、この最大値よりもさらに“１”だけ大きいテーブル番号を、今回作成した認識率テーブル４０Ｔの１行目かつ１列目のセルにセットする。例えば、更新前の認識率テーブルの一例である図９の認識率テーブル４０Ｔ−１のテーブル番号は「００１１」（最大値）であり、この最大値よりもさらに“１”だけ大きいテーブル番号を、更新後の認識率テーブル４０Ｔの１行目かつ１列目のセルにセットすると図１０の認識率テーブル４０Ｔ−２のテーブル番号は「００１２」となる。図９及び図１０の詳細な説明は後述する。

こうして、認識率テーブル４０Ｔを作成したならば、ＣＰＵ１１１は、この認識率テーブル４０Ｔに基づいて認識辞書ファイル３０を評価する（Act２３：評価手段６２）。例えばＣＰＵ１１１は、以下の評価条件ａ１，ａ２，ａ３，ａ４のうち予め設定された１つの条件を満足するか否かを判断し、満足する場合には認識率ファイル４０が適切であると認定し、満足しない場合には認識率ファイル４０が不適切であると認定する。

・評価条件ａ１：「認識辞書データが更新された商品の正当認識率が第１のしきい値以上であるか否か」
・評価条件ａ２：「全商品の正当認識率の平均が第２のしきい値以上であるか否か」
・評価条件ａ３：「全商品の正当認識率の平均の低下幅が第３のしきい値以下であるか否か」
・評価条件ａ４：「認識辞書データが更新されていない商品の正当認識率の低下幅が第４のしきい値以下であるか否か」
ここで、認識辞書データが更新された商品とは、更新対象エリアに格納された商品ＩＤで特定される商品である。認識辞書データが更新されていない商品とは、認識辞書ファイル３０に登録されている全ての認識辞書データ３０Ｄの商品ＩＤのうち更新対象エリアに格納された商品ＩＤを除いた商品ＩＤで特定される商品である。

正当認識率とは、商品が正しく認識された率である。例えば認識率テーブル４０Ｔの１列目に「品目Ａ」がセットされている行と、同認識率テーブル４０Ｔの１行目に「品目Ａ」がセットされている列とが交差するセルにセットされている認識率が、「品目Ａ」の商品の正当認識率である。同様に、認識率テーブル４０Ｔの１列目に「品目Ｂ」がセットされている行と、同認識率テーブル４０Ｔの１行目に「品目Ｂ」がセットされている列とが交差するセルにセットされている認識率が、「品目Ｂ」の商品の正当認識率である。

正当認識率の低下幅とは、前回生成された認識率テーブル４０Ｔから求まる各商品の正当認識率に対して、今回生成された認識率テーブル４０Ｔから求まる同一商品の正当認識率がどれだけ低下したかを示す値である。例えば、前回の正当認識率が９５％であったのに対して今回の正当認識率が９３％であった場合、低下幅は２％である。

したがって、評価条件ａ１の場合、第１のしきい値以上の場合は適切と評価され、第１のしきい値未満の場合は不適切と評価される。評価条件ａ２の場合、第２のしきい値以上の場合は適切と評価され、第２のしきい値未満の場合は不適切と評価される。評価条件ａ３の場合、第３のしきい値未満の場合は適切と評価され、第３のしきい値以上の場合は不適切と評価される。評価条件ａ４の場合、第４のしきい値未満の場合は適切と評価され、第４のしきい値以上の場合は不適切と評価される。

なお、第１〜第４のしきい値は、いずれも任意である。例えばスキャナ装置１の商品認識精度を高く維持する場合、第１及び第２のしきい値は９０％以上の十分に大きい値を設定し、第３及び第４のしきい値は５％未満の十分に小さい値を設定する。こうすることで、商品認識ファイル３０を更新したことによるリスクを低く抑えることができる。

ＣＰＵ１１１は、認識率ファイル４０の評価結果を確認する（Act２４）。認識率ファイル４０が適切であると認定された場合（Act２４にてＹＥＳ）、ＣＰＵ１１１は、Act３６の処理に進む。Act３６では、ＣＰＵ１１１は、Act２２の処理で作成した認識率テーブル４０Ｔを認識率ファイル４０に保存する。

これに対し、認識率ファイル４０が不適切であると認定された場合には（Act２４にてＮＯ）、ＣＰＵ１１１は、Act２２の処理で作成した認識率テーブル４０Ｔを参照して、各商品の中で正当認識率が所定レベル未満の低認識商品を検出する（Act２５：検出手段６３）。またＣＰＵ１１１は、低認識商品の品目別認識率の中で誤認識率が高い誤認識商品を検出する（Act２６：検出手段６３）。そしてＣＰＵ１１１は、低認識商品と誤認識商品との品目をタッチパネル１２に表示させて報知する（Act２７：報知手段６４）。

ここで、所定レベルは任意の値である。例えば、前記第１のしきい値を所定レベルとして設定することが考えられる。なお、所定レベルの設定如何によって複数の低認識商品が検出される場合も想定される。その場合には、確定認識商品のそれぞれについて誤認識商品を検出してもよいし、正当認識率が最低の低認識商品を１品目だけ選択し、この低認識商品について誤認識商品を検出してもよい。

ＣＰＵ１１１は、低認識商品と誤認識商品とのどちらを無効にするかの選択をユーザに促すガイダンスを出力する。そしてＣＰＵ１１１は、無効にする商品の品目（以下、無効化品目と称する）が選択されるのを待機する（Act２８：受付手段６５）。

キーボード１１またはタッチパネル１２の操作入力により低認識商品の無効化が選択された場合、ＣＰＵ１１１は、認識辞書ファイル３０を検索して、低認識商品の品目がセットされた認識辞書データ３０Ｄの状態フラグＦを“１”に書き換える（Act２９）。これに対し、誤認識商品の無効化が選択された場合には、ＣＰＵ１１１は、同じく認識辞書ファイル３０を検索して、誤認識商品の品目がセットされた認識辞書データ３０Ｄの状態フラグＦを“１”に書き換える（Act３０）。

しかる後、ＣＰＵ１１１は、認識辞書ファイル３０に登録されている各商品の特徴量データを用いて、各商品の品目別認識率を再度算出する。すなわちＣＰＵ１１１は、Act２９またはAct３０の処理で無効化された認識辞書データ３０Ｄを除いた認識辞書ファイル３０のデータで、各商品の品目別認識率を算出する（Act３１：再演算手段６９）。そしてＣＰＵ１１１は、各商品の品目別認識率で認識率テーブル４０Ｔを作成する（Act３２）。このときも、Act２２の処理と同様に、認識率テーブル４０Ｔには、認識率ファイル４０に保存されている各認識率テーブル４０Ｔのテーブル番号の最大値よりもさらに“１”大きい番号がテーブル番号としてセットされる。

ＣＰＵ１１１は、作成された認識率テーブル４０Ｔに基づいて認識辞書ファイル３０を評価する（Act３３：再評価手段６８）。この場合の評価方法も、Act２３の処理と同様である。

ＣＰＵ１１１は、認識率ファイル４０の評価結果を確認する（Act３４）。認識率ファイル４０が適切であると認定された場合（Act３４にてＹＥＳ）、ＣＰＵ１１１は、Act３６の処理に進む。すなわちＣＰＵ１１１は、Act３２の処理で作成した認識率テーブル４０Ｔを認識率ファイル４０に保存する。

これに対し、認識率ファイル４０が不適切であると認定された場合には（Act３４にてＮＯ）、ＣＰＵ１１１は、Act１７の処理にて更新された認識辞書ファイル３０を更新前の状態に復元する（Act３５：復元手段６９）。具体的には、ＣＰＵ１１１は、Act２９またはAct３０の処理で“１”に変更した状態フラグを“０”に戻す。またAct１７の処理において新規の認識辞書データ３０Ｄが認識辞書ファイル３０に追加された場合には、ＣＰＵ１１１は、この認識辞書データ３０Ｄを認識辞書ファイル３０から削除する。一方、Act１７の処理において、認識辞書データ３０Ｄが退避エリアに複写された場合には、ＣＰＵ１１１は、認識辞書ファイル３０を検索して、退避エリアに複写された認識辞書データ３０Ｄの商品ＩＤと同一の商品ＩＤがセットされた認識辞書データ３０Ｄを検出する。そしてＣＰＵ１１１は、この検出された認識辞書データ３０Ｄを、退避エリアに複写された認識辞書データ３０Ｄに置換する。

Act３５またはAct３６の処理が実行されると、認識辞書評価処理は終了する。

図７の説明に戻る。認識辞書評価処理が終了すると、ＣＰＵ１１１は、ディスプレイ１２ａに表示されている辞書更新画面を消去する（Act１９）。また、ＣＰＵ１１１は、ＲＡＭ１１３のワークエリアをクリアする。以上で、認識辞書更新処理は終了する。

認識辞書ファイル３０が更新される前の認識率テーブル４０Ｔの一例を図９に示し、更新後の認識率テーブル４０Ｔの一例を図１０に示す。なお、説明の便宜上、更新前の認識辞書ファイル３０については符号３０-1を付し、更新後の認識辞書ファイル３０については符号３０-2を付して区別する。同様に、更新前の認識率テーブル４０Ｔについては符号４０Ｔ-1を付し、更新後の認識率テーブル４０Ｔについては符号４０Ｔ-2を付して区別する。また、無効化品目として誤認識商品の品目を選択した後の認識辞書ファイル３０については符号３０-3を付して説明する。

すなわちこの例は、認識対象の商品が「リンゴ」、「ミカン」及び「キュウリ」の３品目であった更新前の状態から、新たに商品「レモン」を認識対象として追加した場合である。この追加によって、商品「リンゴ」に関しては正当認識率が９８％から９７％に低下し、商品「ミカン」に関しては正当認識率が９７％から９５％に低下し、商品「キュウリ」に関しては正当認識率が９６％から９５％に低下した。また、商品「レモン」の正当認識率は９３％であり、この商品「レモン」を品目「リンゴ」と誤認識する確率は２％、品目「ミカン」と誤認識する確率は４％、品目「キュウリ」と誤認識する確率は１％であった。

この例において、評価条件ａ１の第１のしきい値が９５％、評価条件ａ２の第２のしきい値が９６％、評価条件ａ３及びａ４の第３及び第４のしきい値がいずれも２％と仮定する。そうすると、評価条件ａ１を適用した場合には、商品「レモン」の正当認識率は９３％であるため、更新後の認識辞書ファイル３０-2は不適切であると認定される。評価条件ａ２を適用した場合にも、全商品「リンゴ」、「ミカン」、「キュウリ」及び「レモン」の正当認識率の平均が９５％であるため、更新後の認識辞書ファイル３０-2は不適切であると認定される。評価条件ａ３を適用した場合にも、全商品の正当認識率の平均の低下幅が２％であるため、更新後の認識辞書ファイル３０-2は不適切であると認定される。評価条件ａ４を適用した場合にも、認識辞書データが更新されていない商品「リンゴ」、「ミカン」及び「キュウリ」のうち、商品「ミカン」の正当認識率の低下幅が２％であるため、更新後の認識辞書ファイル３０-2は不適切であると認定される。すなわち、いずれの評価条件を採用した場合も、更新後の認識辞書ファイル３０-2は不適切であると認定される。

更新後の認識辞書ファイル３０-2が不適切であると認定された場合、スキャナ装置１では、低認識商品として「レモン」が報知され、低認識商品である「レモン」の品目別認識率の中で御認識率が最も高い「ミカン」が、誤認識商品として報知される。そこでユーザは、商品「レモン」の認識辞書データ３０Ｄを追加するべきか、商品「ミカン」の認識辞書データ３０Ｄを残すべきかを考慮する。そしてユーザは、前者の場合には誤認識商品「ミカン」を無効化品目として選択し、後者の場合には低認識商品「レモン」を無効化品目として選択する。

ユーザが誤認識商品「ミカン」を無効化品目として選択した場合、スキャナ装置１においては、商品「リンゴ」、「キュウリ」及び「レモン」の３品目が登録された認識辞書ファイル３０-3について評価される。その結果、認識辞書ファイル３０-3が適切であると評価された場合には、この認識辞書ファイル３０-3が以後の商品認識モードの処理において適用される。したがって、商品「レモン」を認識することができる。

これに対し、認識辞書ファイル３０-3が不適切であると評価された場合には、認識辞書ファイル３０として更新前の認識辞書ファイル３０-1が復元される。すなわち、この後の商品認識モードの処理においても認識辞書ファイル３０-1が適用される。したがって、商品「リンゴ」、「ミカン」及び「キュウリ」を、高い認識率で認識することができる。

一方、ユーザが低認識商品「レモン」を無効化品目として選択した場合には、商品「リンゴ」、「ミカン」及び「キュウリ」の３品目が登録された認識辞書ファイル３０-1について評価される。この認識辞書ファイル３０-1は、既に適切であると評価されているので、以後の商品認識モードの処理においても認識辞書ファイル３０-1が適用される。したがって、商品「リンゴ」、「ミカン」及び「キュウリ」を、高い認識率で認識することができる。

このように、本実施形態のスキャナ装置１であれば、特徴量データを含む認識辞書データ３０Ｄの追加、あるいは既存の認識辞書データ３０Ｄに含まれる特徴量データの変更により、認識辞書ファイル３０が更新された場合に、更新後の認識辞書ファイル３０の有効性が自動的に評価されて報知される。したがってユーザは、その評価結果を確認することで、認識辞書ファイル３０を更新すべきか否かを容易に判断することができる。

しかもユーザは、認識辞書ファイル３０を更新すべきと判断した場合には無効化品目として誤認識商品を選択し、更新すべきでないと判断した場合には無効化品目として低認識商品を選択すればよいので、簡便である。

なお、本発明は、前記実施形態に限定されるものではない。
例えば前記実施形態では、店舗会計システムの商品認識装置として機能するスキャナ装置１に、認識辞書ファイルの更新装置及び評価装置としての機能をさらに持たせた場合を示した。この点に関しては、認識辞書ファイルの更新装置及び評価装置としての機能を汎用のパーソナルコンピュータ等のコンピュータ装置に持たせて、認識辞書ファイルの更新及び評価装置を単体で構成してもよい。さらに、認識辞書ファイルの更新機能も省略し、外部から認識辞書ファイルが更新されたことを示す指令が入力された場合に認識辞書評価プログラムを起動するようにして、認識辞書評価装置の専用機を構成することも可能である。

また前記実施形態では、スキャナ装置１のＲＯＭ１１２に、商品認識プログラム、認識辞書更新プログラム及び認識辞書評価プログラムを格納する場合を示した。この点に関しては、ＰＯＳ端末２のＲＯＭ２０３または補助記憶部２０５に商品認識プログラム、認識辞書更新プログラム及び認識辞書評価プログラムの少なくとも１つを格納し、スキャナ装置１のＣＰＵ１１１とＰＯＳ端末２のＣＰＵ２０１とが協働して、各機能を実現するようにしてもよい。

また前記実施形態では、図８におけるAct２１の処理において、認識辞書データ３０Ｄに含まれる複数の特徴量データのなかから所定数の特徴量データを選択して、個々に品目別の類似度を算出した場合を示した。この点に関しては、認識辞書データ３０Ｄに含まれる全ての特徴量データについて、個々に品目別の類似度を算出することで、認識率テーブル４０Ｔを作成してもよい。こうすることにより、ＣＰＵ１１１の処理負荷が増大して処理時間がかかるものの、品目別認識率の精度を高くすることができる。

また前記実施形態では、認識率ファイル４０に複数の認識率テーブル４０Ｔを保存するようにした。この点に関しては、最新の１つの認識率テーブル４０Ｔを保存するだけであっても、評価条件３または４の低下幅を算出できるので、問題はない。また、評価条件３または４を省略する場合には、認識率ファイル４０自体を省略することができる。

また前記実施形態では、認識辞書ファイル３０の評価方法として評価条件ａ１，ａ２，ａ３，ａ４を例示したが、評価条件はこれらに限定されるものではない。

なお、認識辞書評価装置の譲渡は一般に、認識辞書評価プログラムがＲＯＭ等に記憶された状態にて行われる。しかしこれに限らず、コンピュータ装置が備える書き込み可能な記憶デバイスに、このコンピュータ装置とは個別に譲渡された認識辞書評価プログラムがユーザなどの操作に応じて書き込まれてもよい。認識辞書評価プログラムの譲渡は、リムーバブルな記録媒体に記録して、あるいはネットワークを介した通信により行うことができる。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…スキャナ装置、２…ＰＯＳ端末、１２…タッチパネル、１４…撮像部、３０…認識辞書ファイル、４０…認識率ファイル、５１…抽出手段、５２…類似度算出手段、５３…候補出力手段、５４…確定手段、６１…演算手段、６２…評価手段、６３…検出手段、６４…報知手段、６５…受付手段、６６…無効化手段、６７…再演算手段、６８…再評価手段、６９…復元手段。

Claims (6)

1. 各商品の外観特徴量を示す特徴量データを記憶する認識辞書ファイルが更新されたことに応じて、更新後の前記認識辞書ファイルの前記特徴量データによる各商品の品目別認識率を算出する演算手段と、
   この演算手段により算出された前記各商品の品目別認識率から商品毎に求まる正当認識率が、予め設定された評価条件を満足するか否かを判断する評価手段と、
   この評価手段により前記正当認識率が前記評価条件を満足しないと判断されると、前記各商品の中で前記正当認識率が所定レベル未満の低認識商品と、この低認識商品の品目別認識率の中で誤認識率が高い誤認識商品とを検出する検出手段と、
   この検出手段により検出された前記低認識商品と前記誤認識商品との品目を報知する報知手段と、
   を具備したことを特徴とする認識辞書評価装置。
2. 前記低認識商品または前記誤認識商品のうちいずれか一方の無効化を受付ける受付手段と、
   前記認識辞書ファイルの前記無効化を受付けた商品の特徴量データを無効化する無効化手段と、
   をさらに具備したことを特徴とする請求項１記載の認識辞書評価装置。
3. 前記認識辞書ファイルから前記受付手段により無効化を受付けた品目に関連付けられた特徴量データを除いた状態で、当該認識辞書ファイルの前記特徴量データによる前記各商品の品目別認識率を算出する再演算手段と、
   この再演算手段により算出された前記各商品の品目別認識率から商品毎に求まる正当認識率が前記評価条件を満足するか否かを判断する再評価手段と、
   をさらに具備したことを特徴とする請求項２記載の認識辞書評価装置。
4. 前記再評価手段により前記正当認識率が前記評価条件を満足しないと判断されると、前記認識辞書ファイルを更新前の状態に戻す復元手段、
   をさらに具備したことを特徴とする請求項３記載の認識辞書評価装置。
5. 前記評価手段は、前記認識辞書ファイルの特徴量データが更新された商品の前記正当認識率が第１のしきい値以上であるか否か、全商品の正当認識率の平均が第２のしきい値以上であるか否か、全商品の正当認識率の平均の低下幅が第３のしきい値以下であるか否か、または前記認識辞書ファイルの特徴量データが更新されていない商品の正当認識率の低下幅が第４のしきい値以下であるか否か、のうち少なくとも１つを評価条件とすることを特徴とする請求項１乃至４のうちいずれか１に記載の認識辞書評価装置。
6. コンピュータに、
   各商品の外観特徴量を示す特徴量データを記憶する認識辞書ファイルが更新されたことに応じて、更新後の前記認識辞書ファイルの前記特徴量データによる前記各商品の品目別認識率を算出する機能と、
   算出された前記各商品の品目別認識率から商品毎に求まる正当認識率が、予め設定された評価条件を満足するか否かを判断する機能と、
   前記正当認識率が前記評価条件を満足しないと判断されると、前記各商品の中で正しく認識される正当認識率が所定レベル未満の低認識商品と、この低認識商品の品目別認識率の中で誤認識率が高い誤認識商品とを検出する機能と、
   検出された前記低認識商品と前記誤認識商品との品目を報知する機能と、
   を実現させるための認識辞書評価プログラム。

Images