JP5826801B2 - 商品認識装置及び商品認識プログラム - Google Patents

Description

本発明の実施形態は、商品を撮像した画像から上記商品を認識する商品認識装置及びコンピュータを当該商品認識装置として機能させるための商品認識プログラムに関する。

撮像部で撮像された物体の画像から当該物体を認識する技術がある。この技術は、画像からその画像に映し出された物体の外観特徴量を抽出し、認識辞書ファイルに登録されている各基準画像の特徴量データと照合して、特徴量の類似度を算出する。そして、類似度が最も高い基準画像に相当する物体を、撮像部で撮像された物体として認識する。

近年、このような物体認識技術を小売店の会計システム（ＰＯＳシステム）に適用して、顧客が買い上げる商品を認識する提案がなされている。この場合、認識辞書ファイルには、各商品の品目にそれぞれ関連付けて当該品目によって特定される商品の外観特徴量を示す特徴量データが予め登録される。ただし、野菜や果物等の青果物は、同じ品種でも時期や産地の違い等によって色合い等の外観が変化する。このため、商品の外観変化に追従して認識辞書ファイルの特徴量データを迅速に更新する必要がある。そこで、専門家や熟練者に頼らず、一般の店員でも簡単に商品の特徴量データを更新できる仕組みが要求される。

しかしながら、特徴量データを容易に更新可能とした場合、特徴量データが不適切に更新されて、特徴量データの質が低下する懸念がある。この種の物体認識技術では、認識辞書ファイルに登録されている特徴量データの質が悪いと、認識能力が劣る。

特開２０１２−０６９０９４号公報

認識辞書ファイルの特徴量データを容易に更新可能としつつ、特徴量データが適切に更新されているか否かを検証できる商品認識装置が望まれている。

一実施形態において、商品認識装置は、抽出手段と、認識手段と、受付手段と、学習手段と、ログ書込手段と、演算手段と、認識率書込手段と、出力手段とを備える。抽出手段は、撮像手段により撮像された画像からその画像に含まれる対象商品の外観特徴量を抽出する。認識手段は、抽出手段により抽出された外観特徴量のデータを、認識辞書ファイルに記憶される各商品の特徴量データと照合して、対象商品を認識する。受付手段は、認識手段により複数の商品が対象商品の候補として認識されると、その候補の中から前記対象商品の選択入力を受付ける。学習手段は、受付手段により選択入力を受付けた対象商品の品目に関連付けて認識辞書ファイルに記憶されている特徴量データに、抽出手段により抽出された外観特徴量のデータを追加する。ログ書込手段は、学習手段により認識辞書ファイルに外観特徴量のデータが追加された日時を含むログデータをログ記憶部に書き込む。演算手段は、認識辞書ファイルに記憶される各商品の特徴量データを用いて認識手段により当該各商品が正しく認識される正当認識率を算出する。認識率書込手段は、演算手段により算出された正当認識率を算出時点の日時とともに認識率記憶部に書き込む。出力手段は、ログ記憶部に記憶されるログデータに関連付けてそのログデータに含まれる日時以後で最も近い日時とともに認識率記憶部に記憶されている正当認識率を可視化出力する。

一実施形態である店舗会計システムの外観図。 同店舗会計システムのスキャナ装置とＰＯＳ端末とのハードウェア構成を示すブロック図。 認識辞書ファイルに保存される認識辞書データの構造を模式的に示す図。 認識率ファイルに保存される認識率データの構造を模式的に示す図。 ログファイルに保存される更新ログデータの構造を模式的に示す図。 スキャナ装置とＰＯＳ端末とを組み合わせてなる商品認識装置としての機能構成を示すブロック図。 ＰＯＳ端末のＣＰＵが商品認識プログラムにしたがって実行する情報処理の手順を示す流れ図。 図７の認識処理の手順を具体的に示す流れ図。 ＰＯＳ端末のＣＰＵが認識率演算プログラムにしたがって実行する情報処理の手順を示す流れ図。 ＰＯＳ端末のＣＰＵがログ検証プログラムにしたがって実行する情報処理の手順を示す流れ図。 選択画面の一例を示す図。 確認画面の一例を示す図。 ログ出力結果の一例を示す図。

以下、商品認識装置の実施形態について、図面を用いて説明する。
なお、本実施形態は、店舗会計システムのスキャナ装置１とＰＯＳ端末２とに、商品認識装置としての機能を持たせた場合である。

図１は、店舗会計システムの外観図である。このシステムは、顧客が買い上げる商品を登録する登録部としてのスキャナ装置１と、顧客の代金支払いを処理する決済部としてのＰＯＳ（Point Of Sales）端末２とを含む。スキャナ装置１は、会計カウンタ３の上に取り付けられる。ＰＯＳ端末２は、レジ台４の上にドロワ５を挟んで設置される。スキャナ装置１とＰＯＳ端末２とは、通信ケーブル８（図２を参照）によって電気的に接続される。

スキャナ装置１は、キーボード１１、タッチパネル１２及び客用ディスプレイ１３を備える。これらの表示・操作デバイス（キーボード１１、タッチパネル１２、客用ディスプレイ１３）は、スキャナ装置１の本体を構成する薄型矩形形状のハウジング１Ａに取り付けられる。

ハウジング１Ａには、撮像部１４が内蔵される。また、矩形状の読取窓１Ｂが、ハウジング１Ａの正面に形成される。撮像部１４は、エリアイメージセンサであるＣＣＤ（Charge Coupled Device）撮像素子及びその駆動回路と、撮像領域の画像をＣＣＤ撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、読取窓１Ｂから撮像レンズを通してＣＣＤ撮像素子のエリアに結像するフレーム画像の領域を指す。撮像部１４は、撮像レンズを通ってＣＣＤ撮像素子に結像した撮像領域の画像を出力する。なお、エリアイメージセンサは、ＣＣＤ撮像素子に限定されない。例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor)を用いたものであってもよい。

ＰＯＳ端末２は、決済に必要なデバイスとしてキーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３及びレシートプリンタ２４を備える。

会計カウンタ３は、顧客通路３Ａに沿って配置される。レジ台４は、顧客通路３Ａの顧客移動方向である矢印Ｅの方向に対して下流側の会計カウンタ３の端部の顧客通路３Ａとは反対側に、会計カウンタ３に対して略垂直に置かれる。そして、この会計カウンタ３とレジ台４とで仕切られた領域が、会計担当の店員いわゆるキャッシャのスペース３Ｂとなる。

会計カウンタ３の略中央には、スキャナ装置１のハウジング１Ａが、キーボード１１、タッチパネル１２及び読取窓１Ｂをそれぞれキャッシャ側に向けて立設される。スキャナ装置１の客用ディスプレイ１３は、顧客通路３Ａ側を向いてハウジング１Ａに取り付けられる。

会計カウンタ３のスキャナ装置１を挟んで顧客移動方向上流側の荷受面は、買物客が購入する未登録の商品Ｍが入れられた買物カゴ６を置くためのスペースとなる。他方、下流側の荷受面は、スキャナ装置１により登録された商品Ｍを入れるための買物カゴ７を置くためのスペースとなる。

図２は、スキャナ装置１とＰＯＳ端末２とのハードウェア構成を示すブロック図である。スキャナ装置１は、スキャナ部１０１と操作・出力部１０２とを備える。スキャナ部１０１は、ＣＰＵ（Central Processing Unit）１１１、ＲＯＭ（Read Only Memory）１１２、ＲＡＭ（Random Access Memory）１１３、接続インターフェース１１４を含む。またスキャナ部１０１は、前記撮像部１４も含む。ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３及び接続インターフェース１１４は、バスライン１１５に接続される。また、撮像部１４も、入出力回路（不図示）を介してバスライン１１５に接続される。

ＣＰＵ１１１は、コンピュータの中枢部分に相当する。ＣＰＵ１１１は、オペレーティングシステムやアプリケーションプログラムに従って、スキャナ装置１としての各種の機能を実現するべく各部を制御する。

ＲＯＭ１１２は、上記コンピュータの主記憶部分に相当する。ＲＯＭ１１２は、上記のオペレーティングシステムやアプリケーションプログラムを記憶する。ＲＯＭ１１２は、ＣＰＵ１１１が各種の処理を実行する上で必要なデータを記憶する場合もある。

ＲＡＭ１１３は、上記コンピュータの主記憶部分に相当する。ＲＡＭ１１３は、ＣＰＵ１１１が各種の処理を実行する上で必要なデータを必要に応じて記憶する。またＲＡＭ１１３は、ＣＰＵ１１１が各種の処理を行う際のワークエリアとしても利用される。

操作・出力部１０２は、前記キーボード１１、タッチパネル１２及び客用ディスプレイ１３を含む。また操作・出力部１０２は、接続インターフェース１１６及び音声合成部１１７も含む。キーボード１１、タッチパネル１２、客用ディスプレイ１３は、それぞれ入出力回路（不図示）を介してバスライン１１８に接続される。また、接続インターフェース１１６及び音声合成部１１７も、バスライン１１８に接続される。

タッチパネル１２は、パネル型のディスプレイ１２ａと、このディスプレイ１２ａの画面上に重ねて配置されたタッチパネルセンサ１２ｂとを備える。
音声合成部１１７は、バスライン１１８を介して入力されるコマンドに応じて音声信号をスピーカ１５に出力する。スピーカ１５は、音声信号を音声に変換して出力する。

ＰＯＳ端末２は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶部２０４、時計部２０５、通信インターフェース２０６及び接続インターフェース２０７を含む。またＰＯＳ端末２は、前記キーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３及びプリンタ２４も含む。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶部２０４、時計部２０５、通信インターフェース２０６及び接続インターフェース２０７は、バスライン２０８に接続される。また、キーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３及びプリンタ２４は、入出力回路（不図示）を介してバスライン２０８に接続される。さらに、前記ドロワ５も入出力回路（不図示）を介してバスライン２０８に接続される。

ＣＰＵ２０１は、コンピュータの中枢部分に相当する。ＣＰＵ２０１は、オペレーティングシステムやアプリケーションプログラムに従って、ＰＯＳ端末２としての各種の機能を実現するべく各部を制御する。

ＲＯＭ２０２は、上記コンピュータの主記憶部分に相当する。ＲＯＭ２０２は、上記のオペレーティングシステムやアプリケーションプログラムを記憶する。ＲＯＭ２０２は、ＣＰＵ２０１が各種の処理を実行する上で必要なデータを記憶する場合もある。アプリケーションプログラムには、後述する商品認識プログラム、認識率演算プログラム及びログ検証プログラムが含まれる。

ＲＡＭ２０３は、上記コンピュータの主記憶部分に相当する。ＲＡＭ２０３は、ＣＰＵ２０１が各種の処理を実行する上で必要なデータを必要に応じて記憶する。またＲＡＭ２０３は、ＣＰＵ２０１が各種の処理を行う際のワークエリアとしても利用される。ワークエリアの１つにサインオンエリアがある。サインオンエリアには、ＰＯＳ端末２のユーザであるキャッシャのサインオン宣言により、当該キャッシャを識別する情報、例えばキャッシャＩＤやキャッシャ名等が格納される。因みに、ＰＯＳ端末２は、キャッシャによるサインオン宣言がなされたことに応じて、販売商品の登録処理等が可能となる。

時計部２０５は、現在の日付及び時刻を計時する。
通信インターフェース２０６は、ＬＡＮ（Local Area Network）等のネットワークを介して店舗サーバ（不図示）と接続される。この接続により、ＰＯＳ端末２は、店舗サーバとデータの送受信が可能となる。

接続インターフェース２０７は、通信ケーブル８を介して、スキャナ装置１の両接続インターフェース１１４，１１６と接続される。この接続により、ＰＯＳ端末２は、スキャナ装置１に対して種々のコマンドを送信する。また、ＰＯＳ端末２は、スキャナ装置１のスキャナ部１０１から情報を受信する。一方、スキャナ装置１は、この接続により、ＰＯＳ端末２の補助記憶部２０４に保存されているデータファイルにアクセスする。

補助記憶部２０４は、例えばＨＤＤ（Hard Disk Drive）装置またはＳＳＤ（Solid State Drive）装置であって、種々のプログラムの他、認識辞書ファイル３０、認識率ファイル４０、ログファイル５０等のデータファイルを保存する。後述する商品認識プログラム、認識率演算プログラム及びログ検証プログラムを補助記憶部２０４が保存する場合もある。

認識辞書ファイル３０には、商品別の認識辞書データ３０Ｄが保存される。図３は、認識辞書データ３０Ｄの構造を示す模式図である。図３に示すように、認識辞書データ３０Ｄは、商品ＩＤ、商品名、プリセット画像及び特徴量データの各項目を含む。

項目「商品ＩＤ」は、認識対象である商品を識別するために各商品にそれぞれ付された固有のコードである。項目「商品名」は、対応する商品ＩＤによって特定される商品の品目である。項目「プリセット画像」は、対応する商品ＩＤによって特定される商品を表わす画像である。

項目「特徴量データ」は、対応する商品ＩＤによって特定される商品の外観上の特徴（外観形状、色合い、模様、凹凸具合等）をパラメータで表わしたものである。特徴量データには、設定タイプ（特徴量データＰ１〜Ｐｘ）と追加タイプ（特徴量データＡ１〜Ａｘ）とがある。どちらもデータの構造は一致する。設定タイプの特徴量データＰ１〜Ｐｘは、基準となる商品の撮像画像から得られる。追加タイプの特徴量データＡ１〜Ａｘは、店舗で販売される商品の撮像画像から得られる。なお、基準となる商品とは、標準的な外観を有するとして予め選定された商品である。

認識辞書データ３０Ｄに含まれる特徴量データＰ１〜Ｐｘの数と特徴量データＡ１〜Ａｘの数とはそれぞれ任意である。ただし、特徴量データＰ１〜Ｐｘと特徴量データＡ１〜Ａｘとの総数には上限がある。店舗会計システムが初期導入された段階では、特徴量データＰ１〜Ｐｘだけが認識辞書データ３０Ｄに含まれる。特徴量データＡ１〜Ａｘは、システムの実際の運用の中で適宜追加される。

認識率ファイル４０には、認識率データ４０Ｄが蓄積保存される。図４は、認識率データ４０Ｄの構造を示す模式図である。図示するように、認識率データ４０Ｄは、日付、時刻及び認識率の各項目を含む。

項目「認識率」は、認識辞書ファイル３０に保存されている各商品の認識辞書データ３０Ｄにより、各商品を正しく認識できる割合である。認識率は、前記認識率演算プログラムに従って算出される。項目「日付」及び「時刻」は、対応する認識率が算出された日時である。ここに、認識率ファイル４０は、認識率記憶部として機能する。

ログファイル５０には、更新ログデータ５０Ｄが蓄積保存される。図５は、更新ログデータ５０Ｄの構造を示す模式図である。図示するように、更新ログデータ５０Ｄは、日付、時刻、操作者、更新内容、商品ＩＤ、商品名、画像及び特徴量データの各項目を含む。更新ログデータ５０Ｄは、認識辞書ファイル３０に保存される認識辞書データ３０Ｄが更新されたときの記録として生成され、ログファイル５０に保存される。更新ログデータ５０Ｄには、認識辞書データ３０Ｄに特徴量データＡ１〜Ａｘが追加されたときに生成される追加ログデータ５０Ｄ１と、特徴量データＡ１〜Ａｘが削除されたときに生成される削除ログデータ５０Ｄ２とがある。

項目「日付」及び「時刻」は、認識辞書データ３０Ｄが更新されたときの日時である。項目「操作者」は、認識辞書データ３０Ｄが更新されたときに前記サインオンエリアに格納されているキャッシャ識別情報である。項目「更新内容」は、更新ログデータ５０Ｄが追加ログデータ５０Ｄ１なのか削除ログデータ５０Ｄ２なのかを識別する情報（例えば追加ログデータ５０Ｄ１の場合には「追加学習」、削除ログデータ５０Ｄ２の場合には「削除」）である。

項目「商品ＩＤ」及び「商品名」は、更新された認識辞書データ３０Ｄに含まれる情報である。項目「画像」は、認識辞書データ３０Ｄに追加された特徴量データの元となる商品画像である。削除ログデータ５０Ｄ２には、画像は存在しない。項目「特徴量データ」は、追加ログデータ５０Ｄ１の場合には認識辞書データ３０Ｄに追加された特徴量データであり、削除ログデータ５０Ｄ２の場合には認識辞書データ３０Ｄから削除された特徴量データである。ここに、ログファイル５０は、ログ記憶部として機能する。

なお、認識率データ４０Ｄ及び更新ログデータ５０Ｄは、例えば認識率ファイル４０及びログファイル５０に保存されてから一定期間以上経過すると消去される。

図６は、スキャナ装置１とＰＯＳ端末２とを組み合わせてなる商品認識装置としての機能構成を示すブロック図である。図示するように、スキャナ装置１及びＰＯＳ端末２は、商品認識装置としての機能を実現するために、切出手段６１、抽出手段６２、認識手段６３、受付手段６４、学習手段６５、ログ書込手段６６、演算手段６７、認識率書込手段６８及び出力手段６９を備える。

切出手段６１は、撮像部１４で撮像された画像から、その画像に映し出されている対象商品の画像を切り出す。
抽出手段６２は、切出手段６１によって切出された対象商品の画像から、その商品の形状、表面の色合い、模様、凹凸状況等の外観特徴量を抽出する。

認識手段６３は、抽出手段６２によって抽出された外観特徴量を、認識辞書ファイル３０に登録されている各商品の特徴量データと順次照合して、対象商品を認識する。
受付手段６４は、認識手段６３により複数の商品が対象商品の候補として認識されたとき、その候補の中から対象商品の選択入力を受付ける。

学習手段６５は、受付手段６４により選択入力を受付けた対象商品の品目に関連付けて認識辞書ファイル３０に記憶されている特徴量データに、抽出手段６２により抽出された外観特徴量のデータを追加する。また、学習手段６５は、必要に応じて認識辞書ファイル３０に記憶されている特徴量データを削除する。

ログ書込手段６６は、学習手段６５により認識辞書ファイル３０に外観特徴量のデータが追加されたときには前記追加ログデータ５０Ｄ１をログファイル５０に書き込む。また、ログ書込手段６６は、認識辞書ファイル３０から特徴量データが削除されたときには前記削除ログデータ５０Ｄ２をログファイル５０に書き込む。

演算手段６７は、認識辞書ファイル３０に記憶される各商品の認識辞書データ３０Ｄを用いて、認識手段６３により各商品が正しく認識される正当認識率を算出する。
認識率書込手段６８は、演算手段６７により算出された正当認識率を算出時点の日時とともに認識率ファイル４０に書き込む。

出力手段６９は、ログファイル５０に記憶される更新ログデータ５０Ｄ（追加ログデータ５０Ｄ１及び削除ログデータ５０Ｄ２）を、表示手段または印字手段により可視化出力する。また出力手段６９は、更新ログデータ５０Ｄに関連付けて、その更新ログデータ５０Ｄに含まれる日時以後で最も近い日時とともに認識率ファイル４０に記憶されている正当認識率を可視化出力する。

上述した各手段６１〜６９は、ＰＯＳ端末２のＣＰＵ２０１が、前記商品認識プログラム、認識率演算プログラム及びログ検証プログラムにしたがって実行する情報処理によって実現される。

図７は、ＣＰＵ２０１が商品認識プログラムにしたがって実行する情報処理の手順を示す流れ図である。キャッシャによるサインオン宣言がなされたＰＯＳ端末２において、販売商品の登録処理を実行するための商品登録モードが選択されると、商品認識プログラムが起動する。この起動により、ＣＰＵ２０１は、図７の流れ図に示す手順の情報処理を開始する。

先ずＣＰＵ２０１は、スキャナ装置１に対して撮像開始を指令するコマンドを送出する（Act１）。このコマンドを受けて、スキャナ装置１のＣＰＵ１１１は、撮像部１４に対して撮像オン信号を出力する。この撮像オン信号により、撮像部１４は撮像領域の撮像を開始する。撮像部１４で撮像された撮像領域のフレーム画像は、ＲＡＭ１１３に形成された画像データ蓄積用のワークエリア（以下、画像エリアと称する）に順次保存される。したがって、キャッシャが商品を読取窓１Ｂに翳すと、この商品を撮像したフレーム画像が画像エリアに順次保存される。

ＣＰＵ２０１は、スキャナ装置１に対して撮像画像の取込みを指令するコマンドを出力する（Act２）。このコマンドを受けて、ＣＰＵ１１１は、画像エリアに保存されたフレーム画像を取り込む。そしてＣＰＵ１１１は、このフレーム画像に商品が撮像されているか否かを確認する。フレーム画像に商品が撮像されていない場合、ＣＰＵ１１１は、画像エリアから次のフレーム画像を取り込む。そしてＣＰＵ１１１は、このフレーム画像に商品が撮像されているか否かを確認する。フレーム画像に商品が撮像されていたならば、ＣＰＵ１１１は、このフレーム画像のデータをＰＯＳ端末２に送信する。

ＣＰＵ２０１は、商品画像が撮像されたフレーム画像を待機する（Act３）。スキャナ装置１からフレーム画像のデータを受信すると（Act３にてＹＥＳ）、ＣＰＵ２０１は、そのフレーム画像から商品の輪郭線を検出し、その輪郭線に沿って撮像画像を切り出す。そしてＣＰＵ２０１は、切り出した撮像画像、つまりは商品の撮像画像データを、ＲＡＭ２０３に形成された切出画像用のワークエリア（以下、切出エリアと称する）に格納する（Act４：切出手段６１）。次いでＣＰＵ２０１は、この切り出した商品の撮像画像データから当該商品の形状、表面の色合い、模様、凹凸状況等の外観特徴量を抽出する。そしてＣＰＵ２０１は、抽出した外観特徴量のデータを、ＲＡＭ２０３に形成された特徴量用のワークエリア（以下、特徴量エリアと称する）に格納する（Act５：抽出手段６２）。

外観特徴量を抽出し終えると、ＣＰＵ２０１は、図８の流れ図により具体的に示される手順の認識処理を実行する（Act６：認識手段６３）。先ずＣＰＵ２０１は、認識辞書ファイル３０を検索する（Act２１）。そしてＣＰＵ２０１は、認識辞書ファイル３０から１商品の認識辞書データ３０Ｄを取得する（Act２２）。

認識辞書データ３０Ｄを取得したならば、ＣＰＵ２０１は、特徴量エリア内の外観特徴量のデータが、当該認識辞書データ３０Ｄの各特徴量データに対してどの程度類似しているかを例えばハミング距離で示す類似度を算出する（Act２３）。本実施形態において、類似度は“０”から“１００”の範囲内で算出され、類似している率が高い程大きい値をとる。

ＣＰＵ２０１は、類似度が所定の基準閾値より高いか否かを確認する（Act２４）。基準閾値は、登録商品候補として残すべき商品の類似度の下限である。本実施形態において、基準閾値は、類似度の上限値“１００”に対して１／５の“２０”と設定される。類似度が基準閾値より高いレベルにある場合（Act２４にてＹＥＳ）、ＣＰＵ２０１は、当該認識辞書データ３０Ｄの商品ＩＤ及び商品名と、特徴量エリア内の外観特徴量のデータと、Act２３の処理で算出した類似度とを、ＲＡＭ２０３に形成された登録商品候補用のワークエリア（以下、候補エリアと称する）に格納する（Act２５）。そしてＣＰＵ２０１は、Act２６の処理に進む。これに対し、類似度が基準閾値を超えない場合には（Act２４にてＮＯ）、ＣＰＵ２０１は、Act２５の処理を実行することなくAct２６の処理に進む。

Act２６では、ＣＰＵ２０１は、認識辞書ファイル３０に未処理の認識辞書データ３０Ｄが存在するか否かを確認する。未処理の認識辞書データ３０Ｄが存在する場合（Act２６にてＹＥＳ）、ＣＰＵ２０１は、Act２２の処理に戻る。すなわちＣＰＵ２０１は、認識辞書ファイル３０から未処理の認識辞書データ３０Ｄを取得して、前記Act２３〜Act２６の処理を実行する。

かくしてＣＰＵ２０１は、認識辞書ファイル３０に保存されている各商品の認識辞書データ３０Ｄに対して前記Act２３〜Act２６の処理を順次実行する。そして、未処理の認識辞書データ３０Ｄが存在しないことをＣＰＵ２０１が確認したならば（Act２６にてＮＯ）、認識処理は終了する。

認識処理が終了すると、ＣＰＵ２０１は、登録商品候補の有無を確認する（図７のAct７）。前記候補エリアに登録商品候補のデータが１つも格納されていない場合、登録商品候補はない。この場合（Act７にてＮＯ）、ＣＰＵ２０１は、Act２の処理に戻る。すなわちＣＰＵ２０１は、スキャナ装置１に対して撮像画像の取込みを指令するコマンドを出力する。そして、商品画像が撮像されたフレーム画像を受信すると、ＣＰＵ２０１は、その画像に対してAct４〜Act６の処理を実行する。

一方、前記候補エリアに登録商品候補のデータ（商品ＩＤ，商品名，外観特徴量、類似度）が１つでも格納されていた場合には、登録商品候補がある。この場合（Act７にてＹＥＳ）、ＣＰＵ２０１は、登録商品を自動的に決定できるか否かを確認する（Act８）。具体的には、ＣＰＵ２０１は、登録商品候補のデータのなかで類似度が所定の決定閾値を超えるデータが１つのみ存在するか否かを確認する。決定閾値は、前記基準閾値よりも充分に大きい値であり、たとえば“８０”と設定される。

登録商品候補の中で類似度が決定閾値を超える商品が１つのみ存在する場合、この商品が登録商品として自動的に決定される。それ以外、つまりは類似度が決定閾値を超える商品が１つも存在しないか２つ以上存在する場合には、登録商品が決定されない。自動的に登録商品が決定された場合（Act８にてＹＥＳ）、ＣＰＵ２０１は、後述するACT９〜Act１７の処理ルーチンをジャンプして、次の処理、つまりは自動決定された商品の登録処理ルーチンに移行する。

これに対し、登録商品が決定されない場合には（Act８にてＮＯ）、ＣＰＵ２０１は、候補エリアのデータを基にタッチパネル１２に登録商品候補の選択画面７０を表示させる（Act９：受付手段６４）。

選択画面７０の一例を図１１に示す。図示するように、選択画面７０は、撮像画像の表示領域７１と、候補商品の表示領域７２とに区分される。また、「その他」ボタン７３が選択画面７０に表示される。表示領域７１には、切出エリアに格納された商品の撮像画像が表示される。表示領域７２は、さらに３つの領域７２１，７２２，７２３に細分化されており、画面上の領域７２１から類似度の大きい順に登録商品候補となった商品のプリセット画像と商品名とが表示される。

因みに、先頭の画面では、類似度が１位から３位までの商品のプリセット画像と商品名とが表示領域７２（７２１，７２２，７２３）に画面の上から順に表示される。この状態で、「その他」ボタン７３がタッチ操作されると、表示領域７２は、類似度が４位から６位までの商品のプリセット画像と商品名とに切り替わる。以後、「その他」ボタン８３がタッチ操作される毎に、領域７２の画像は、類似度がより下位の商品のプリセット画像と商品名との表示に切り替わり、最下位まで表示されると、１位に戻る。

読取窓１Ｂに商品を翳したキャッシャは、表示領域７２のなかから当該商品のプリセット画像と商品名とが表示された領域７２１，７２２または７２３を探す。そして、該当する領域７２１，７２２または７２３を見つけたならば、キャッシャは、この領域７２１，７２２または７２３をタッチ操作する。

ＣＰＵ２０１は、表示領域７２１，７２２または７２３がタッチ操作されるのを待機する。表示領域７２１，７２２または７２３がタッチ操作されたならば、ＣＰＵ２０１は、その領域７２１，７２２または７２３にプリセット画像等が表示されている商品の商品ＩＤ、商品名、外観特徴量及び類似度を、候補エリアから、ＲＡＭ２０３に形成されている選択商品用のワークエリア（以下、選択エリアと称する）に移動させる。図７に戻り、ＣＰＵ２０１は、この選択エリアに格納された類似度の順位を確認する（Act１０）。類似度１位の商品を表示した領域７２１がタッチ操作された場合には（Act１０にてＹＥＳ）、ＣＰＵ２０１は、後述するACT１１〜Act１７の処理をジャンプして、次の処理、つまりは類似度１位の商品の登録処理ルーチンに移行する。

これに対し、類似度が２位以下の商品を表示した領域７２１，７２２または７２３がタッチ操作された場合には（ACT１０にてＮＯ)、ＣＰＵ２０１は、タッチパネル１２に追加学習の確認画面８０を表示させる（Act１１）。

確認画面８０の一例を図１２に示す。図示するように、確認画面８０は、撮像画像の表示領域８１と、選択商品の表示領域８２とに区分される。また、「する」ボタン８３と「しない」ボタン８４とが、確認画面８０に表示される。表示領域８１には、切出エリアに格納された商品の撮像画像が表示される。表示領域８２には、選択画面７０で選択された商品のプリセット画像と商品名とが表示される。図１２は、図１１の選択画面７０において、領域７２２にプリセット画像等が表示されている商品「リンゴ（ふじ）」が選択された場合の確認画面８０である。

キャッシャは、追加学習を実行するか否かを判断する。そして、追加学習を実行する場合には「する」ボタン８３にタッチし、実行しない場合には「しない」ボタン８４にタッチする。例えば、読取窓１Ｂに翳した商品が青果物の場合、同じ品種でも時期や産地の違い等によって色合い等の外観が変化することがある。そこでキャッシャは、時期や産地等の違いにより基準となる商品とは外観が異なるために類似度が２位以下となったと判断した場合には追加学習を実行し、偶発的にその個体だけが基準となる商品とは外観が異なると判断した場合には追加学習を実行しない。

ＣＰＵ２０１は、「する」ボタン８３と「しない」ボタン８４のいずれかがタッチ操作されるのを待機する（Act１２）。ここで、「しない」ボタン８４がタッチ操作された場合（Act１２にてＮＯ）、ＣＰＵ２０１は、後述するAct１３〜Act１７の処理をジャンプして次の処理、つまりは選択エリア内の商品ＩＤで特定される商品の登録処理ルーチンに移行する。

これに対し、「する」ボタン８３がタッチ操作された場合には（Act１２にてＹＥＳ)、ＣＰＵ２０１は、特徴量データを認識辞書データ３０Ｄに追加可能か否かを確認する（Act１３）。すなわちＣＰＵ２０１は、選択エリア内の商品ＩＤと商品名とを含む認識辞書データ３０Ｄに登録されている特徴量データの総数が上限値に達しているか否かを確認する。達していない場合には追加可能であるが、達している場合には追加不可能である。

追加不可能な場合（Act１３にてＮＯ）、ＣＰＵ２０１は、この認識辞書データ３０Ｄからいずれか１つの特徴量データを削除する（Act１４）。例えばＣＰＵ２０１は、この認識辞書データ３０Ｄに追加登録された特徴量データＡ１〜Ａｘのなかから最も古く追加された特徴量データを削除する。このときＣＰＵ２０１は、削除した特徴量データを、この認識辞書データ３０Ｄの商品ＩＤ及び商品名とともに、ＲＡＭ２０３に形成された削除用ワークエリア（以下、削除エリアと称する）に格納する。

Act１４の処理を実行するか、Act１３にて追加可能と判断した場合（Act１３にてＹＥＳ）、ＣＰＵ２０１は、選択エリア内の外観特徴量のデータを認識辞書データ３０Ｄに追加する（Act１５：学習手段６５）。

次いで、ＣＰＵ２０１は、更新ログデータ５０Ｄの保存処理を実行する（Act１５：ログ書込手段６６）。すなわちＣＰＵ２０１は、項目「更新内容」のデータを「追加学習」とする追加ログデータ５０Ｄ１を作成して、ログファイル５０に保存する。この追加ログデータ５０Ｄ１において、項目「日付」及び「時刻」のデータは、時計部２０５で計時されている現在の日時データである。項目「操作者」のデータは、サインオンエリアに格納されているキャッシャ識別情報である。項目「画像」のデータは、切出エリアに格納されている商品の撮像画像である。項目「商品ＩＤ」、「商品名」及び「特徴量データ」は、選択エリアに格納されている商品ＩＤ、商品名及び外観特徴量のデータである。なお、項目「特徴量データ」のデータは、特徴量エリアに格納されている外観特徴量のデータであってもよい。

また、Act１４の処理にて特徴量データの削除処理が実行された場合には、ＣＰＵ２０１は、項目「更新内容」のデータを「削除」とする削除ログデータ５０Ｄ２を作成して、ログファイル５０に保存する。この削除ログデータ５０Ｄ２において、項目「日付」及び「時刻」のデータは、時計部２０５で計時されている現在の日時データである。項目「操作者」のデータは、サインオンエリアに格納されているキャッシャ識別情報である。項目「商品ＩＤ」、「商品名」及び「特徴量データ」は、削除エリアに格納されている商品ＩＤ、商品名及び特徴量データである。

更新ログデータ５０Ｄを保存したならば、ＣＰＵ２０１は、更新回数カウンタｎを“１”だけカウントアップする（Act１７）。更新回数カウンタｎは、初期値が“０”であり、Act１７の処理が実行される毎に“１”ずつカウントアップする加算カウンタである。しかる後、ＣＰＵ２０１は、次の処理、つまりは選択エリア内の商品ＩＤで特定される商品の登録処理ルーチンに移行する。

図９は、ＣＰＵ２０１が認識率演算プログラムにしたがって実行する情報処理の手順を示す流れ図である。例えばＰＯＳ端末２では、時計部２０５にて計時される時刻が所定時間を経過する毎にタイマ割込信号が発生する。このタイマ割込信号に応じて、認識率演算プログラムは起動する。この起動により、ＣＰＵ２０１は、図９の流れ図に示す手順の情報処理を開始する。

先ずＣＰＵ２０１は、更新回数カウンタｎがしきい値Ｎを越えているか否かを判別する（Act３１）。更新回数カウンタｎがしきい値Ｎ以下の場合（Act３１にてＮＯ）、ＣＰＵ２０１は、処理を終了する。これに対し、更新回数カウンタｎがしきい値Ｎを超える場合には（Act３１にてＹＥＳ）、ＣＰＵ２０１は、後述するAct３２〜Act３６の各処理を実行する。

前述したように、更新回数カウンタｎは、更新ログデータ５０Ｄがログファイル５０に書き込まれる毎に、つまりは認識辞書ファイル３０に保存される認識辞書データ３０Ｄの特徴量データが更新される毎にカウントアップされる。したがって、認識辞書データ３０Ｄの特徴量データがしきい値Ｎの回数だけ更新されたならば、Act３２〜Act３６の各処理が実行される。しきい値Ｎは任意である。例えば認識辞書データ３０Ｄの特徴量データが更新される毎にAct３２〜Act３６の各処理を実行させるのであれば、しきい値Ｎを“０”とする。１０回更新された後にAct３２〜Act３６の各処理が実行させるのであれば、しきい値Ｎを“９”とする。このようなしきい値Ｎは固定値であってもよいし、例えばユーザの指定により変更可能であってもよい。

Act３２では、ＣＰＵ２０１は、認識辞書ファイル３０に記憶される各商品の認識辞書データ３０Ｄを用いて、商品毎に品目別認識率を算出する。具体的にはＣＰＵ２０１は、認識辞書ファイル３０から認識辞書データ３０Ｄを順番に読み出す。そして認識辞書データ３０Ｄを読み出す都度、ＣＰＵ２０１は、その認識辞書データ３０Ｄに含まれる複数の特徴量データのなかから所定数、例えば１０個の特徴量データを選択する。そしてＣＰＵ２０１は、特徴量データを選択する都度、以下の処理を繰り返す。

すなわちＣＰＵ２０１は、選択した特徴量データを、当該認識辞書データ３０Ｄの商品ＩＤで特定される商品の撮像画像から得られた外観特徴量とみなす。そしてＣＰＵ２０１は、この外観特徴量を、認識辞書ファイル３０に登録されている各商品の特徴量データと順次照合して、品目別類似度を算出する。

こうして、選択した特徴量データの全てについて、個々に品目別類似度を算出したならば、ＣＰＵ２０１は、品目毎に類似度の平均を求める。そしてＣＰＵ２０１は、この品目別の類似度平均値を百分率に換算することで、当該認識辞書データ３０Ｄの商品ＩＤで特定される商品の品目別認識率を算出する。

Act３３では、ＣＰＵ２０１は、商品毎に正当認識率を取得する。正当認識率とは、商品が正しく認識された率である。すなわちＣＰＵ２０１は、商品毎に、Act３２の処理で算出された品目別認識率のなかから当該商品の品目の認識率を正当認識率として取得する。

Act３４では、ＣＰＵ２０１は、商品毎に取得した正当認識率の平均値を算出する。
Act３５では、ＣＰＵ２０１は、この正当認識率の平均値を含む認識率データ４０Ｄを認識率ファイル４０に保存する。すなわちＣＰＵ２０１は、時計部２０５にて計時されている現在の日時データを取得し、この日時データと、上記正当認識率の平均値とから認識率データ４０Ｄを生成する。そしてＣＰＵ２０１は、この認識率データ４０Ｄを認識率ファイル４０に書き込む。

Act３６では、ＣＰＵ２０１は、更新回数カウンタｎを“０”にリセットする。以上で、認識率演算プログラムに従った情報処理は終了する。

図１０は、ＣＰＵ２０１がログ検証プログラムにしたがって実行する情報処理の手順を示す流れ図である。ＰＯＳ端末２には、動作モードとしてメンテナンスモードがある。このメンテナンスモードは、例えば製造メーカのメンテナンス作業担当者のみが実行可能となるようにユーザ制限がかけられている。ログ検証プログラムは、上記メンテナンスモードのとき起動可能である。

すなわちメンテナンスモードにおいて、種々の業務メニューのなかからログ検証業務が選択されると、ログ検証プログラムが起動する。この起動により、ＣＰＵ２０１は、図１０の流れ図に示す手順の情報処理を開始する。

先ずＣＰＵ２０１は、オペレータ用ディスプレイ２２にログ出力期間の入力画面を表示させて、ログデータの出力期間が入力されるのを待機する（Act４１）。出力期間の入力方法としては、開始年月日と終了年月日とを入力する方法と、開始年月日のみを入力し、終了年月日は現時点の日付とする方法とがある。いずれの場合も、メンテナンス作業担当者がキーボード２１を操作して入力する。

出力期間が入力されたならば（Act４１にてＹＥＳ）、ＣＰＵ２０１は、ログファイル５０を検索して、このログファイル５０に保存されている追加ログデータ５０Ｄ１または削除ログデータ５０Ｄ２を、日時の古い順番に読み出す（Act４２）。そしてログデータを読み出す毎に、ＣＰＵ２０１は、そのログデータの日付が出力期間内であるか否かを判断する（Act４３）。出力期間外の場合（Act４３にてＮＯ）、ＣＰＵ２０１は、そのログデータ５０Ｄを破棄する。そしてＣＰＵ２０１は、ログファイル５０の検索が終了したか否かを判断する（Act４７）。検索を終了していない場合（Act４７にてＮＯ）、ＣＰＵ２０１は、ログファイル５０の検索を続ける（Act４２）。

日付が出力期間内のログデータ５０Ｄを読み出した場合（Act４３にてＹＥＳ）、ＣＰＵ２０１は、そのログデータ５０Ｄから日付と時刻とを取得する（Act４４）。そしてＣＰＵ２０１は、その日付と時刻とで認識率ファイル４０を検索し、全認識率データ４０Ｄのなかで、日付及び時刻が当該ログデータの日付及び時刻以後で、時間的に最も近い認識率データ４０Ｄを検出する（Act４５）。

該当する認識率データ４０Ｄを検出したならば、ＣＰＵ２０１は、この認識率データ４０Ｄの認識率を当該ログデータ５０Ｄに付加する。そしてＣＰＵ２０１は、この認識率が付加されたログデータ５０Ｄを、ＲＡＭ２０３に形成されているログ出力用のワークエリア（以下、ログ出力エリアと称する）に格納する（Act４６）。

ＣＰＵ２０１は、ログファイル５０から出力期間内の日付が設定されたログデータ５０Ｄを検出する毎に、上記Act４４〜Act４６の処理を実行する。かくして、ログ出力エリアには、出力期間内の日付が設定されたログデータ５０Ｄが、その日付以降で時間的に最も近い認識率データ４０Ｄの認識率（正当認識率の平均）とともに格納される。

ＣＰＵ２０１は、ログファイル５０に保存されている最新日時のログデータ５０Ｄを読み出すと、ログファイル５０の検索が終了したと認識する。あるいは、出力期間の最終年月日以降の日付が設定されたログデータ５０Ｄを読み出すと、ログファイル５０の検索が終了したと認識する。

ログファイル５０の検索が終了すると（Act４７にてＹＥＳ）、ＣＰＵ２０１は、ログ出力エリアに格納されたログデータ５０Ｄから、例えば図１３に示すレイアウトのログ出力リスト９０の表示データを編集する。そしてＣＰＵ２０１は、このログ出力リスト９０の表示データをオペレータ用ディスプレイ２２に出力して、可視化表示させる（Act４８）。以上で、ログ検証プログラムに従った情報処理は終了する。

図１３に示すように、ログ出力リスト９０からは、いつ（日付及び時刻）、誰が（操作者）、どの商品（商品ＩＤ，商品名）の特徴量データを追加学習させたか、また、その追加学習によって認識辞書ファイル３０の認識率がどの程度変化したか、というような情報を、メンテナンス作業担当者であれば容易に知り得る。

したがって、スキャナ装置１の読取窓１Ｂに翳された商品が認識辞書ファイル３０を用いた物体認識技術により類似度２位以下で認識された場合に、キャッシャ自身の判断によって特徴量データを追加学習させることができるが、その追加学習が正しかったか否かを容易に検証することができる。そして、仮に誤った追加学習によって認識辞書ファイル３０の認識率が低下したと判断された場合には、誤って追加された特徴量データをログ出力リスト９０の内容から特定できるので、容易に修復することができる。この場合において、ログ出力リスト９０には、特徴量データの追加によって削除された別の特徴量データも記録されているので、削除された特徴量データの復元も可能である。

なお、本発明は、前記実施形態に限定されるものではない。
例えば前記実施形態では、店舗会計システムのスキャナ装置１とＰＯＳ端末２とに、商品認識装置としての機能を持たせた場合を例示した。この点に関しては、撮像手段をＰＯＳ端末２自体が有することによって、ＰＯＳ端末２単体で商品認識装置を構成してもよい。また、ＰＯＳ端末２の補助記憶部２０４において、認識辞書ファイル３０、認識率ファイル４０、ログファイル５０等のデータファイルを保存するのではなく、通信インターフェース２０６を介して接続される店舗サーバに上記データファイルの少なくとも一部を保存して、ＰＯＳ端末２と店舗サーバとが協働して商品認識装置としての各機能を実現するようにしてもよい。

また、前記実施形態では、認識辞書データ３０Ｄの特徴量データがしきい値Ｎの回数だけ更新される毎に、図９のAct３２〜Act３６の処理を実行して、認識辞書ファイル３０の正当認識率をサンプリングしたが、サンプリングのタイミングはこれに限定されるものではない。例えば、予め設定された時間が経過する毎に、認識辞書ファイル３０の正当認識率をサンプリングしてもよい。

また、前記実施形態では、ログ出力リスト９０を表示出力する場合を示したが、出力方法は表示に限定されるものではない。例えば、通信インターフェース２０６を介して接続されるネットワークプリンタにより印字出力してもよい。

また、前記実施形態では、認識辞書ファイル３０に既に保存されている認識辞書データ３０Ｄの特徴量データが更新される際に、更新ログデータ５０Ｄをログファイル５０に保存するようにした。この点に関しては、例えば認識辞書ファイル３０にまだ保存されていない新規商品の認識辞書データ３０Ｄを認識辞書ファイル３０に追加する場合にも、その認識辞書データに含まれる特徴量データについて追加ログデータ５０Ｄ１を作成し保存してもよい。同様に、販売を中止した商品の認識辞書データ３０Ｄを認識辞書ファイル３０から削除する場合にも、その認識辞書データに含まれる特徴量データについて削除ログデータ５０Ｄ２を作成し保存してもよい。

なお、商品認識装置の譲渡は一般に、商品認識プログラム、認識率演算プログラム及びログ検証プログラム等のプログラムがＲＯＭまたは補助記憶部に記憶された状態にて行われる。しかしこれに限らず、コンピュータ装置が備える書き込み可能な記憶デバイスに、このコンピュータ装置とは個別に譲渡されたプログラムがユーザなどの操作に応じて書き込まれてもよい。プログラムの譲渡は、リムーバブルな記録媒体に記録して、あるいはネットワークを介した通信により行うことができる。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］撮像手段により撮像された画像からその画像に含まれる対象商品の外観特徴量を抽出する抽出手段と、この抽出手段により抽出された外観特徴量のデータを、認識辞書ファイルに記憶される各商品の特徴量データと照合して、前記対象商品を認識する認識手段と、この認識手段により複数の商品が前記対象商品の候補として認識されると、その候補の中から前記対象商品の選択入力を受付ける受付手段と、この受付手段により選択入力を受付けた前記対象商品の品目に関連付けて前記認識辞書ファイルに記憶されている前記特徴量データに、前記抽出手段により抽出された外観特徴量のデータを追加する学習手段と、この学習手段により前記認識辞書ファイルに前記外観特徴量のデータが追加された日時を含むログデータをログ記憶部に書き込むログ書込手段と、を具備したことを特徴とする商品認識装置。
［２］前記ログ書込手段は、前記学習手段により前記認識辞書ファイルに前記外観特徴量のデータが追加されたことに応じて前記認識辞書ファイルから他の特徴量データが削除されたとき、この他の特徴量データが削除された日時を含むログデータを前記ログ記憶部に書き込む手段、を含むことを特徴とする付記［１］記載の商品認識装置。
［３］前記ログ記憶部に記憶される前記ログデータを可視化出力する出力手段、をさらに具備したことを特徴とする付記［１］または［２］記載の商品認識装置。
［４］前記認識辞書ファイルに記憶される各商品の前記特徴量データを用いて前記認識手段により当該各商品が正しく認識される正当認識率を算出する演算手段と、この演算手段により算出された前記正当認識率を算出時点の日時とともに認識率記憶部に書き込む認識率書込手段と、をさらに具備し、前記出力手段は、前記ログデータに関連付けて、そのログデータに含まれる日時以後で最も近い日時とともに前記認識率記憶部に記憶されている前記正当認識率を可視化出力することを特徴とする付記［３］記載の商品認識装置。
［５］前記撮像手段により撮像された画像からその画像に含まれる対象商品の画像を切り出す切出手段、をさらに具備し、前記ログ記憶部に書き込まれる前記ログデータは、前記切出手段によって切り出された前記対象商品の画像を含むことを特徴とする付記［１］記載の商品認識装置。
［６］コンピュータに、撮像手段により撮像された画像からその画像に含まれる対象商品の外観特徴量を抽出する抽出機能、この抽出機能により抽出された外観特徴量のデータを、認識辞書ファイルに記憶される各商品の特徴量データと照合して、前記対象商品を認識する認識機能、この認識機能により複数の商品が前記対象商品の候補として認識されると、その候補の中から前記対象商品の選択入力を受付ける受付機能と、この受付機能により選択入力を受付けた前記対象商品の品目に関連付けて前記認識辞書ファイルに記憶されている前記特徴量データに、前記抽出機能により抽出された外観特徴量のデータを追加する学習機能、及び、この学習機能により前記認識辞書ファイルに前記外観特徴量のデータが追加された日時を含むログデータをログ記憶部に書き込むログ書込機能、を実現させるための商品認識プログラム。

１…スキャナ装置、２…ＰＯＳ端末、１４…撮像部、３０…認識辞書ファイル、４０…認識率ファイル、５０…ログファイル、６１…切出手段、６２…抽出手段、６３…認識手段、６４…受付手段、６５…学習手段、６６…ログ書込手段、６７…演算手段、６８…認識率書込手段、６９…出力手段、７０…選択画面、８０…確認画面、９０…ログ出力リスト。

Claims (6)

1. 撮像手段により撮像された画像からその画像に含まれる対象商品の外観特徴量を抽出する抽出手段と、
   この抽出手段により抽出された外観特徴量のデータを、認識辞書ファイルに記憶される各商品の特徴量データと照合して、前記対象商品を認識する認識手段と、
   この認識手段により複数の商品が前記対象商品の候補として認識されると、その候補の中から前記対象商品の選択入力を受付ける受付手段と、
   この受付手段により選択入力を受付けた前記対象商品の品目に関連付けて前記認識辞書ファイルに記憶されている前記特徴量データに、前記抽出手段により抽出された外観特徴量のデータを追加する学習手段と、
   この学習手段により前記認識辞書ファイルに前記外観特徴量のデータが追加された日時を含むログデータをログ記憶部に書き込むログ書込手段と、
   前記認識辞書ファイルに記憶される各商品の前記特徴量データを用いて前記認識手段により当該各商品が正しく認識される正当認識率を算出する演算手段と、
   この演算手段により算出された前記正当認識率を算出時点の日時とともに認識率記憶部に書き込む認識率書込手段と、
   前記ログ記憶部に記憶される前記ログデータに関連付けてそのログデータに含まれる日時以後で最も近い日時とともに前記認識率記憶部に記憶されている前記正当認識率を可視化出力する出力手段と、
   を具備したことを特徴とする商品認識装置。
2. 前記ログ書込手段は、前記学習手段により前記認識辞書ファイルに前記外観特徴量のデータが追加されたことに応じて前記認識辞書ファイルから他の特徴量データが削除されたとき、この他の特徴量データが削除された日時を含むログデータを前記ログ記憶部に書き込む手段、
   を含むことを特徴とする請求項１記載の商品認識装置。
3. 前記撮像手段により撮像された画像からその画像に含まれる対象商品の画像を切り出す切出手段、をさらに具備し、
   前記ログ記憶部に書き込まれる前記ログデータは、前記切出手段によって切り出された前記対象商品の画像を含む、
   ことを特徴とする請求項１記載の商品認識装置。
4. 撮像手段により撮像された画像からその画像に含まれる対象商品の外観特徴量を抽出する抽出手段と、
   この抽出手段により抽出された外観特徴量のデータを、認識辞書ファイルに記憶される各商品の特徴量データと照合して、前記対象商品を認識する認識手段と、
   この認識手段により複数の商品が前記対象商品の候補として認識されると、その候補の中から前記対象商品の選択入力を受付ける受付手段と、
   この受付手段により選択入力を受付けた前記対象商品の品目に関連付けて前記認識辞書ファイルに記憶されている前記特徴量データに、前記抽出手段により抽出された外観特徴量のデータを追加する学習手段と、
   前記撮像手段により撮像された画像からその画像に含まれる対象商品の画像を切り出す切出手段と、
   前記学習手段により前記認識辞書ファイルに前記外観特徴量のデータが追加された日時を含むログデータを、前記切出手段によって切り出された前記対象商品の画像とともにログ記憶部に書き込むログ書込手段と、
   を具備したことを特徴とする商品認識装置。
5. コンピュータに、
   撮像手段により撮像された画像からその画像に含まれる対象商品の外観特徴量を抽出する抽出機能、
   この抽出機能により抽出された外観特徴量のデータを、認識辞書ファイルに記憶される各商品の特徴量データと照合して、前記対象商品を認識する認識機能、
   この認識機能により複数の商品が前記対象商品の候補として認識されると、その候補の中から前記対象商品の選択入力を受付ける受付機能、
   この受付機能により選択入力を受付けた前記対象商品の品目に関連付けて前記認識辞書ファイルに記憶されている前記特徴量データに、前記抽出機能により抽出された外観特徴量のデータを追加する学習機能、
   この学習機能により前記認識辞書ファイルに前記外観特徴量のデータが追加された日時を含むログデータをログ記憶部に書き込むログ書込機能、
   前記認識辞書ファイルに記憶される各商品の前記特徴量データを用いて前記認識機能により当該各商品が正しく認識される正当認識率を算出する演算機能、
   この演算機能により算出された前記正当認識率を算出時点の日時とともに認識率記憶部に書き込む認識率書込機能、及び、
   前記ログ記憶部に記憶される前記ログデータに関連付けてそのログデータに含まれる日時以後で最も近い日時とともに前記認識率記憶部に記憶されている前記正当認識率を可視化出力する出力機能、
   を実現させるための商品認識プログラム。
6. コンピュータに、
   撮像手段により撮像された画像からその画像に含まれる対象商品の外観特徴量を抽出する抽出機能、
   この抽出機能により抽出された外観特徴量のデータを、認識辞書ファイルに記憶される各商品の特徴量データと照合して、前記対象商品を認識する認識機能、
   この認識機能により複数の商品が前記対象商品の候補として認識されると、その候補の中から前記対象商品の選択入力を受付ける受付機能、
   この受付機能により選択入力を受付けた前記対象商品の品目に関連付けて前記認識辞書ファイルに記憶されている前記特徴量データに、前記抽出機能により抽出された外観特徴量のデータを追加する学習機能、
   前記撮像手段により撮像された画像からその画像に含まれる対象商品の画像を切り出す切出機能、及び、
   前記学習機能により前記認識辞書ファイルに前記外観特徴量のデータが追加された日時を含むログデータを、前記切出機能によって切り出された前記対象商品の画像とともにログ記憶部に書き込むログ書込機能、
   を実現させるための商品認識プログラム。

Images