JP5619095B2 - 商品認識装置及び商品認識プログラム - Google Patents

Description

本発明の実施形態は、商品認識装置及び商品認識プログラムに関する。

対象となる物品（オブジェクト）を撮像部で撮像した画像データから当該物品の特徴量を抽出し、認識辞書ファイルに登録された特徴量データと照合して類似度を算出し、この類似度に応じて当該物品の種別等を認識する技術がある。このような画像中に含まれる物品を認識する技術は、一般物体認識（generic object recognition）と呼ばれる。この一般物体認識の技術については、下記の文献において各種認識技術が解説されている。

柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６［平成２２年８月１０日検索］，インターネット＜ URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf ＞
また、画像をオブジェクト毎に領域分割することによって、一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，［平成２２年８月１０日検索］，インターネット＜ URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf ＞
近年、例えば小売店の会計システム（ＰＯＳシステム）において、顧客が買い上げる商品、特に、野菜、果物等のようにバーコードが付されていない商品の認識装置に、一般物体認識の技術を適用することが提案されている。この場合、認識辞書ファイルには、認識対象商品の外観形状、色合い、模様、凹凸具合等の表面情報をパラメータで表わす特徴量データが保存される。商品認識装置は、撮像手段によって撮像された商品の画像データから当該商品の外観上の特徴量を抽出し、この特徴量を認識辞書ファイルに登録されている各商品の特徴量データと照合する。そして商品認識装置は、特徴量が類似している商品を認識商品候補として出力する。

特開２０１０−２３７８８６号公報

野菜や果物等は、同じ品種でも産地や収穫時期等の違いなどによって色合いが微妙に異なる。このため、一般物体認識の技術を野菜や果物等の商品の認識装置に適用した場合、予め用意されている認識辞書の特徴量データと、商品販売時に撮影した商品画像から得られる当該商品の外観上の特徴量との類似度にばらつきを生じ、認識精度が低下する懸念がある。

本発明が解決しようとする課題は、同じ品種でも産地の違いや時期の違いなどによって色合いが微妙に異なる商品の認識率を高め得ることにある。

一実施形態において、商品認識装置は、特徴量抽出手段、商品候補抽出手段、商品選択受付手段、補正データ生成手段、補正データ記憶手段、補正手段及び基準補正生成手段を備える。特徴量抽出手段は、撮像手段により撮像された画像からその画像に含まれる商品の外観特徴量を抽出する。商品候補抽出手段は、特徴量抽出手段により抽出された外観特徴量のデータを、認識対象である商品毎にその商品の表面情報を表わす特徴量データが保存される認識辞書ファイルの特徴量データと照合して、画像に含まれる商品の候補を抽出する。商品選択受付手段は、商品候補抽出手段により複数の商品候補が抽出された場合、この複数の商品候補の中から画像に含まれる商品の選択入力を受け付ける。補正データ生成手段は、商品選択受付手段により選択入力を受け付けた商品の特徴量データと特徴量抽出手段により抽出された外観特徴量のデータとから補正データを生成する。補正データ記憶手段は、補正データ生成手段により生成された補正データを、選択入力を受け付けた商品を特定する商品識別データと関連付けて記憶部に記憶させる。補正手段は、記憶部に記憶された補正データで特徴量抽出手段により抽出された商品の外観特徴量を補正する。基準補正生成手段は、記記憶部で商品別に記憶される各補正データから基準補正データを生成する。そして、補正データ記憶手段は、記憶部で記憶される補正データの数が所定値を超えると、基準補正生成手段により生成される基準補正データを認識辞書ファイルに特徴量データが保存されている認識対象の商品に対する補正データとして記憶部に記憶させる。

本実施形態である店舗会計システムの外観図。 スキャナ装置とＰＯＳ端末とのハードウェア構成を示すブロック図。 認識辞書ファイルに保存される商品別辞書データの構造を示す模式図。 辞書データに含まれる特徴量データの概念図。 補正データファイルに保存される商品別補正データの構造を示す模式図。 第１の実施形態における商品認識装置の機能ブロック図。 商品認識プログラムに従って商品認識装置のＣＰＵが実行する情報処理手順の要部を示す流れ図。 図７のステップＳＴ５で示される認識処理の手順を具体的に示す流れ図。 図７のステップＳＴ１２で示される補正データ編集処理の手順を具体的に示す流れ図。 登録商品候補選択画面の一例を示す図。 第２の実施形態における商品認識装置の機能ブロック図。 第２の実施形態における補正データ編集処理の手順を具体的に示す流れ図。 第３の実施形態における商品認識装置の機能ブロック図。 第３の実施形態における補正データ編集処理の手順を具体的に示す流れ図。

以下、商品認識装置に係る実施形態を、図面を用いて説明する。なお、本実施形態は、野菜，果物等を商品として取扱う小売店の店舗会計システムを構築するスキャナ装置１とＰＯＳ（Point Of Sales）端末２とに、商品認識装置としての機能を持たせた場合である。

［第１の実施形態］
始めに、第１の実施形態について説明する。
図１は、店舗会計システムの外観図である。このシステムは、顧客が買い上げる商品を登録する登録部としてのスキャナ装置１と、顧客の代金支払いを処理する決済部としてのＰＯＳ（Point Of Sales）端末２とを含む。スキャナ装置１は、会計カウンタ３の上に取り付けられる。ＰＯＳ端末２は、レジ台４の上にドロワ５を介して設置される。スキャナ装置１とＰＯＳ端末２とは、通信ケーブル３００（図２を参照）によって電気的に接続される。

スキャナ装置１は、キーボード１１、タッチパネル１２及び客用ディスプレイ１３を備える。これらの表示・操作デバイス（キーボード１１、タッチパネル１２、客用ディスプレイ１３）は、スキャナ装置１の本体を構成する薄型矩形形状のハウジング１Ａに取り付けられる。

ハウジング１Ａには、撮像手段としての撮像部１４が内蔵される。また、矩形状の読取窓１Ｂが、ハウジング１Ａの正面に形成される。撮像部１４は、エリアイメージセンサであるＣＣＤ（Charge Coupled Device）撮像素子及びその駆動回路と、撮像領域の画像をＣＣＤ撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、読取窓１Ｂから撮像レンズを通してＣＣＤ撮像素子のエリアに結像するフレーム画像の領域を指す。撮像部１４は、撮像レンズを通ってＣＣＤ撮像素子に結像した撮像領域の画像を出力する。

ＰＯＳ端末２は、決済に必要なデバイスとしてキーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３及びレシートプリンタ２４を備える。

会計カウンタ３は、その奥側の顧客通路に沿って細長い形状である。レジ台４は、会計カウンタ３に沿って移動する顧客の移動方向に対して下流側の会計カウンタ３の端部手前側に、会計カウンタ３に対して略垂直に置かれる。そして、この会計カウンタ３の手前側とレジ台４の手前側が、会計担当の店員いわゆるキャッシャのスペースとなる。

会計カウンタ３の略中央には、スキャナ装置１のハウジング１Ａが、キーボード１１、タッチパネル１２及び読取窓１Ｂをそれぞれ手前側のキャッシャ側に向けて立設される。スキャナ装置１の客用ディスプレイ１３は、顧客通路側を向いてハウジング１Ａに取り付けられる。

会計カウンタ３のスキャナ装置１を挟んで顧客移動方向上流側の荷受面は、買物客が購入する未登録の商品Ｍが入れられた買物カゴ６を置くためのスペースとなる。他方、下流側の荷受面は、スキャナ装置１により登録された商品Ｍを入れるための買物カゴ７を置くためのスペースとなる。

図２は、スキャナ装置１とＰＯＳ端末２とのハードウェア構成を示すブロック図である。スキャナ装置１は、スキャナ部１０１と操作・表示部１０２とを備える。スキャナ部１０１は、制御部本体としてＣＰＵ（Central Processing Unit）１１１を搭載する。そしてこのＣＰＵ１１１に、アドレスバス，データバス等のバスライン１１２を介して、ＲＯＭ（Read Only Memory）１１３とＲＡＭ（Random Access Memory）１１４とが接続される。ＲＯＭ１１３には、ＣＰＵ１１１によって実行されるプログラムが記憶される。

この他、バスライン１１２には、入出力回路（不図示）を介して前記撮像部１４が接続される。また、接続インターフェース１１５及び接続インターフェース１１６を介して、前記キーボード１１、タッチパネル１２及び客用ディスプレイ１３が、バスライン１１２に接続される。タッチパネル１２は、例えば液晶ディスプレイを用いたパネル表示部１２１と、この表示部の画面上に重ねて配置されたタッチパネルセンサ１２２とを備える。

前記接続インターフェース１１６と、前記キーボード１１、タッチパネル１２及び客用ディスプレイ１３とは、前記操作・表示部１０２を構成する。操作・表示部１０２を構成する各部は、スキャナ部１０１のＣＰＵ１１１のみならず、後述するＰＯＳ端末２のＣＰＵ２０１によってもコントロールされる。

ＰＯＳ端末２も、制御部本体としてＣＰＵ２０１を搭載する。そしてこのＣＰＵ２０１に、バスライン２０２を介して、ＲＯＭ２０３、ＲＡＭ２０４、補助記憶部２０５、通信インターフェース２０６及び接続インターフェース２０７が接続される。また、バスライン２０２には、前記キーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３、プリンタ２４及びドロワ５の各部も、それぞれ入出力回路（不図示）を介して接続される。

通信インターフェース２０６は、ＬＡＮ（Local Area Network）等のネットワークを介して、店舗の中枢を担う店舗サーバ（不図示）と接続される。この接続により、ＰＯＳ端末２は、店舗サーバとデータの送受信が可能となる。

接続インターフェース２０７は、通信ケーブル３００を介して、スキャナ装置１の両接続インターフェース１１５，１１６と接続される。この接続により、ＰＯＳ端末２は、スキャナ装置１のスキャナ部１０１で読み取られた情報を受信する。また、ＰＯＳ端末２は、スキャナ装置１の操作・表示部１０２を構成するキーボード１１、タッチパネル１２、客用ディスプレイ１３との間でデータ信号を送受信する。

補助記憶部２０５は、例えばＨＤＤ（Hard Disk Drive）装置またはＳＳＤ（Solid State Drive）装置であって、種々のプログラムの他、認識辞書ファイル３０、補正データファイル４０等のデータファイルを保存する。

図３は、認識辞書ファイル３０に保存される商品別辞書データの構造を示す模式図である。図３に示すように、認識辞書ファイル３０には、認識対象である商品毎に、その商品を識別する商品ＩＤ及び商品名と関連付けて、複数の特徴量データが保存される。特徴量データは、対応する商品ＩＤで識別される商品の表面情報（外観形状、色合い、模様、凹凸具合等）である外観上の特徴量を、例えば図４に示すｎ個のパラメータで表わしたもので、１つの商品に対し、その商品を様々な方向から見たときの特徴量データ０〜Ｎがそれぞれ保存される。なお、１つの商品に対する特徴量データの数（Ｎ＋１）は、固定ではない。また、特徴量データの数（Ｎ＋１）は商品によって異なる。また、商品名は必ずしも商品別辞書データに含まれていなくてもよい。

図５は、補正データファイル４０に保存される商品別補正データの構造を示す模式図である。図５に示すように、補正データファイル４０には、認識対象である商品毎に、その商品を識別する商品ＩＤ及び商品名と関連付けて、補正フラグと補正データとが保存される。補正データは、撮像部１４で撮像された画像から抽出される商品の表面情報である外観上の特徴量のうち、色合いを示すパラメータであるＲ（Red）値、Ｇ(Green)値、Ｂ(Blue)値を補正する。補正フラグは、対応する補正データによる補正を実行するか否かを識別する。なお、補正データの初期値は“０”とする。また、商品名は必ずしも商品別補正データに含まれていなくてもよい。

図６は、前記スキャナ装置１とＰＯＳ端末２とによって構成される商品認識装置としての機能を説明するためのブロック図である。この機能は、特徴量抽出手段５１と、商品候補抽出手段５２と、商品選択受付手段５３と、補正データ生成手段５４と、補正データ記憶手段５５と、補正手段５６と、補正有無判定手段５７と、再実行手段５８とを含む。

特徴量抽出手段５１は、撮像部１４により撮像された画像からその画像に含まれる商品の形状、表面の色合い、模様、凹凸具合等の外観上の特徴量（外観特徴量）を抽出する。商品候補抽出手段５２は、特徴量抽出手段５１により抽出された外観特徴量のデータを、認識辞書ファイル３０に保存されている各商品の特徴量データと順次照合して、商品毎にデータの類似度を算出する。類似度の算出方法は、特に限定されるものではなく、例えば等しい文字数を持つ特徴量データどうしの対応する位置にある文字が異なっている数を計数する距離の手法を用いて類似度を算出してもよい。商品候補抽出手段５２は、類似度が基準より高い商品を、画像に含まれる商品の候補として抽出する。なお、類似度は、例えば、一致する度合いを示す一致度（一致率）や、どの程度相関するかを示す相関値等であってもよい。すなわち類似度は、撮像部１４により撮像された画像の特徴量と認識辞書ファイル３０に記憶されている特徴量とを基に得られる値であればよい。

商品候補抽出手段５２により複数の商品が画像に含まれる商品の候補として認識された場合、商品選択受付手段５３は、この複数の商品の中から画像に含まれる商品の選択入力を、タッチパネル１２を介して受け付ける。商品選択受付手段５３により複数の商品の中からいずれか１商品の選択入力を受け付けると、補正データ生成手段５４は、選択入力を受け付けた商品の認識辞書ファイル３０に保存されている特徴量データと特徴量抽出手段５１により抽出された外観特徴量のデータとから補正データを生成する。補正データ生成手段５４により補正データが生成されると、補正データ記憶手段５５は、選択入力を受け付けた商品を特定する商品識別データ（商品ＩＤ）と関連付けて、その補正データを記憶部である補正データファイル４０に記憶させる。

補正手段５６は、補正データファイル４０に記憶された補正データで、特徴量抽出手段５１により抽出された商品の外観特徴量のうち色合いに関するパラメータの値（Ｒ値、Ｇ値、Ｂ値）を補正する。補正有無判定手段５７は、商品候補抽出手段５２により画像に含まれる商品の候補として抽出された商品に対して補正データファイル４０で補正データを記憶しているか否かを、当該補正データに付加される補正フラグを参照して判定する。この補正有無判定手段５７により補正データが記憶されていると判定されると、再実行手段５８は、補正手段５６により補正された外観特徴量を用いて商品候補抽出手段５２を再度実行させる。

図７は、商品認識プログラムに従って商品認識装置（スキャナ装置１、ＰＯＳ端末２）のＣＰＵ-X（ＣＰＵ-Xは、ＣＰＵ１１１またはＣＰＵ２０１を示す：以下同）が実行する情報処理手順の要部を示す流れ図である。

図７の処理が開始すると、ＣＰＵ-Xは、撮像部１４に対して撮像オン信号を出力する（ＳＴ１）。例えば、ＣＰＵ２０１がＣＰＵ１１１に対して撮像オンを指令し、この指令を受けたＣＰＵ１１１が、撮像部１４に対して撮像オン信号を出力する。この撮像オン信号により、撮像部１４が撮像領域の撮像を開始する。撮像部１４で撮像された撮像領域のフレーム画像は、ＲＡＭ１１４に順次保存される。

ＣＰＵ-Xは、ＲＡＭ１１４に保存されたフレーム画像のデータを取り込む（ＳＴ２）。そしてＣＰＵ-Xは、このフレーム画像から商品が検出されるか否かを確認する（ＳＴ３）。具体的には、ＣＰＵ-Xは、フレーム画像を二値化した画像から輪郭線等を抽出する。そしてＣＰＵ-Xは、フレーム画像に映し出されている物体の輪郭抽出を試みる。物体の輪郭が抽出されると、ＣＰＵ-Xは、その輪郭内の画像を商品とみなす。

フレーム画像から商品が検出されない場合（ＳＴ３にてＮＯ）、ＣＰＵ-Xは、ＲＡＭ１１４から次のフレーム画像を取り込む（ＳＴ２）。そしてＣＰＵ-Xは、このフレーム画像から商品が検出されるか否かを確認する（ＳＴ３）。

フレーム画像から商品が検出された場合には（ＳＴ３にてＹＥＳ）、ＣＰＵ-Xは、その輪郭内の画像から商品の形状、表面の色合い、模様、凹凸状況等の外観上の特徴量（外観特徴量）を抽出する（ＳＴ４：特徴量抽出手段５１）。抽出された外観特徴量のデータは、ＲＡＭ２０４のワークエリアに一時的に格納される。

特徴量を抽出し終えると、ＣＰＵ-Xは、図８の流れ図により具体的に示される手順の認識処理を実行する（ＳＴ５：商品候補抽出手段５２）。先ず、ＣＰＵ-Xは、認識辞書ファイル３０を検索する（ＳＴ２１）。そしてＣＰＵ-Xは、認識辞書ファイル３０から１商品の認識辞書データ（商品ＩＤ、商品名、複数の特徴量データ）を読み込む（ＳＴ２２）。

認識辞書データを読み込めたならば、ＣＰＵ-Xは、ステップＳＴ４の処理で抽出された外観特徴量のデータが、当該認識辞書データの特徴量データに対してどの程度類似しているかを示す類似度を算出する（ＳＴ２３）。類似度は、値が大きいほど類似率が高いと言える。本実施形態では、類似度の上限を“１００”として、商品毎に特徴量データの類似度が算出される。

ＣＰＵ-Xは、類似度が所定の基準閾値より高いか否かを確認する（ＳＴ２４）。基準閾値は、登録商品候補として残すべき商品の類似度の下限である。前述したように類似度の上限値を“１００”とした場合、基準閾値は、例えばその１／５の“２０”と設定する。類似度が基準閾値より高いレベルにある場合（ＳＴ２４にてＹＥＳ）、ＣＰＵ-Xは、補正データファイル４０を検索する（ＳＴ２５）。そしてＣＰＵ-Xは、ステップＳＴ２２の処理で認識辞書ファイル３０から読み込んだ認識辞書データの商品ＩＤを含む商品別補正データの補正フラグをチェックして、補正データの有無を判定する（ＳＴ２６：補正有無判定手段５７）。

補正フラグが“０”にリセットされていた場合、ＣＰＵ-Xは、補正データ無しと判定する（ＳＴ２６にてＮＯ）。この場合、ＣＰＵ-Xは、ステップＳＴ２９の処理に進む。補正フラグが“１”にセットされていた場合、ＣＰＵ-Xは、補正データ有りと判定する（ＳＴ２６にてＮＯ）。この場合、ＣＰＵ-Xは、ステップＳＴ２７，Ｓ８の処理を実行した後、ステップＳＴ２９の処理に進む。

ステップＳＴ２７では、ＣＰＵ-Xは、ステップＳＴ４の処理で抽出された外観特徴量のデータのうち色合いを示すＲ値、Ｇ値、Ｂ値を、当該補正データで補正する（補正手段５６）。

ステップＳＴ２８では、ＣＰＵ-Xは、ステップＳＴ２３の処理と同様にして、補正後の外観特徴量のデータが、認識辞書ファイル３０から読み込んだ認識辞書データの特徴量データに対してどの程度類似しているかを示す類似度を算出する（再実行手段５８）。

ステップＳＴ２９では、ＣＰＵ-Xは、ステップＳＴ２２の処理で認識辞書ファイル３０から読み込んだ認識辞書データの商品ＩＤ及び商品名と、ステップＳＴ４の処理で抽出された外観特徴量のデータと、ステップＳＴ２３またはステップＳＴ２８の処理で算出された類似度とを、登録商品候補としてＲＡＭ２０４の所定エリアに格納する。なお、たとえステップＳＴ２７の処理で外観特徴量のデータが補正されていたとしても、ステップＳＴ２９の処理で格納される外観特徴量のデータは補正前のデータである。

ステップＳＴ２９の処理が終了するか、ステップＳＴ２４の処理にて類似度が基準閾値より低いレベルにある場合（ＳＴ２４にてＮＯ）、ＣＰＵ-Xは、認識辞書ファイル３０に未処理の認識辞書データが存在するか否かを確認する（ＳＴ３０）。存在する場合（ＳＴ３０にてＹＥＳ）、ＣＰＵ-Xは、ステップＳＴ２２の処理に戻る。すなわちＣＰＵ-Xは、認識辞書ファイル３０から未処理の認識辞書データをさらに読み込んで、前記ステップＳＴ２３〜ＳＴ２９の処理を実行する。

こうして、認識辞書ファイル３０に保存されている全ての商品の認識辞書データについて、前記ステップＳＴ２３〜ＳＴ２９の処理が実行されると（ＳＴ３０にてＮＯ）、認識処理が終了する。認識処理が終了すると、ＣＰＵ-Xは、登録商品候補の有無を確認する（ＳＴ６）。

ＲＡＭ２０４の所定エリアに登録商品候補となる商品データ（商品コード，商品名，外観特徴量、類似度）が１つも格納されていない場合、登録商品候補はない（ＳＴ６にてＮＯ）。この場合、ＣＰＵ-Xは、ステップＳＴ２の処理に戻る。すなわちＣＰＵ-Xは、ＲＡＭ１１４から次のフレーム画像データを取り込む。そしてＣＰＵ-Xは、この画像データについて、前記ステップＳＴ３〜ＳＴ６の処理を実行する。

一方、ＲＡＭ２０４の所定エリアに登録商品候補となる商品データ（商品コード，商品名，外観特徴量、類似度）が１つでも格納されていた場合には、登録商品候補がある（ＳＴ６にてＹＥＳ）。この場合、ＣＰＵ-Xは、登録商品を確定できるか否かを確認する（ＳＴ７）。具体的には、ＣＰＵ-Xは、登録商品候補となる商品データのなかで類似度が所定の確定閾値を超えるデータが１つのみ存在するか否かを確認する。確定閾値は、前記基準閾値よりも充分に大きい値であり、前述したように類似度の上限値を“１００”とした場合、その半分より若干多い値、たとえば“６０”と設定する。

登録商品候補の中で類似度が確定閾値を超える商品が１つのみ存在する場合、ＣＰＵ-Xは、この商品を登録商品として確定する。それ以外、つまりは類似度が確定閾値を超える商品が１つも存在しないか２つ以上存在する場合には、登録商品は確定されない。登録商品が確定された場合（ＳＴ７にてＹＥＳ）、ＣＰＵ-Xは、ＳＴ１０の処理に進む。これに対し、登録商品が確定されない場合には（ＳＴ７にてＮＯ）、ＣＰＵ-Xは、ステップＳＴ８，９の処理を実行した後、ＳＴ１０の処理に進む。

ステップＳＴ８では、タッチパネル１２に登録商品候補の選択画面６０を表示させる（商品選択受付手段５３）。
登録商品候補の選択画面６０の一例を図１０に示す。図示するように、選択画面６０は、撮影画像表示領域６１と、候補商品表示領域６２とに区分される。また、「その他」ボタン６３が選択画面６０に表示される。撮影画像表示領域６１には、ステップＳＴ２の処理で取り込んだフレーム画像が表示される。候補商品表示領域６２は、さらに３つの領域６２１，６２２，６２３に細分化されており、画面の上から類似度の大きい順に登録商品候補となった商品のプリセット画像が表示される。プリセット画像は、各商品の商品ＩＤと関連付けて商品名、価格等が設定される商品マスタファイルにおいて、商品ＩＤ別に保存されている。

因みに初期画面では、類似度が１位から３位までの商品のプリセット画像が候補商品表示領域６２（６２１，６２２，６２３）に画面の上から順に表示される。この状態で、「その他」ボタン６３がタッチ操作されると、候補商品表示領域６２の画像は、類似度が４位から６位までの商品のプリセット画像に切り替わる。以後、「その他」ボタン６３がタッチ操作される毎に、領域６２の画像は、類似度がより下位の商品のプリセット画像に切り替わる。なお、「その他」ボタン６３が１回タッチ操作されると、「戻る」ボタンの画像が選択画面６０に表示される。そして、この「戻る」ボタンがタッチ操作されると、タッチパネル１２の画面は、直前の選択画面６０に戻る。

読取窓１Ｂに登録商品をかざしたユーザは、候補商品表示領域６２のなかから登録商品を探す。そして、登録商品を見つけたならば、ユーザは、この商品のプリセット画像が表示されている領域６２１，６２２または６２３にタッチする。

ＣＰＵ-Xは、ステップＳＴ９として候補商品表示領域６２がタッチ操作されるのを待機する。候補商品表示領域６２がタッチ操作されたならば（ＳＴ９にてＹＥＳ）、ＣＰＵ-Xは、そのタッチ領域にプリセット画像が表示されている商品を登録商品として確定する。そしてＣＰＵ-Xは、ステップＳＴ１０の処理に進む。

ステップＳＴ１０では、ＣＰＵ-Xは、登録商品として確定された商品の価格を基に、商品販売データを登録処理する。登録処理が終了すると、ＣＰＵ-Xは、登録商品候補の選択画面６０から選択された商品が類似度１位以外の商品であるか否かを判定する（ＳＴ１１）。そして、類似度１位の商品が選択された場合には（ＳＴ１１にてＮＯ）、今回の処理が終了する。また、ステップＳＴ７の処理にて登録商品が確定された場合にも、ステップＳＴ１１の処理にて“ＮＯ”に進むので、今回の処理が終了する。

これに対し、類似度１位以外の商品が選択された場合には（ＳＴ１１にてＹＥＳ）、ＣＰＵ-Xは、図９に具体的に示す補正データ編集処理を実行する（ＳＴ１２）。
先ず、ＣＰＵ-Xは、登録商品候補の中から選択された類似度が２位以下の商品の全特徴量データ１〜Ｎを認識辞書ファイル３０から取得する。そして、ステップＳＴ４の処理で抽出された外観特徴量のデータと全特徴量データ１〜Ｎとを個々に比較し、当該外観特徴量のデータに最も近い特徴量データｉ（１≦ｉ≦Ｎ）を選択する（ＳＴ４１）。

次に、ＣＰＵ-Xは、特徴量データｉと外観特徴量のデータとについて、それぞれＲ値、Ｇ値、Ｂ値の色合いを示すパラメータについて差分を取り、補正データを作成する（ＳＴ４２：補正データ生成手段）。例えば特徴量データｉのＲ値、Ｇ値、Ｂ値の色合いを示すパラメータがそれぞれ「１００」，「５０」，「３０」であり、外観特徴量のＲ値、Ｇ値、Ｂ値の色合いを示すパラメータがそれぞれ「９０」，「５０」，「４０」であったとすると、補正データ［Ｒ値、Ｇ値、Ｂ値］は、［１０、０、−１０］となる。

こうして、補正データが作成されたならば、ＣＰＵ-Xは、補正データファイル４０を検索し、登録商品候補の中から選択された商品の商品ＩＤに対応する補正データを、ステップＳＴ４２の処理で生成された補正データに書き換える（ＳＴ４３：補正データ記憶手段）。またＣＰＵ-Xは、当該商品ＩＤに対応する補正フラグが“０”にリセットされていた場合には、“１”にセットする（ＳＴ４４）。

以上で、補正データ編集処理は終了する。補正データ編集処理が終了すると、今回の処理が終了する。

このように、本実施形態の店舗会計システムにおいては、ユーザがスキャナ装置１の読取窓１Ｂに商品をかざすと、撮像部１４によってこの商品が撮影される。そして、この商品の画像から抽出される当該商品の外観特徴量のデータと、認識辞書ファイル３０に登録されている各商品の特徴量データとから、商品毎に特徴量の類似度が算出される。そして、類似度の高い順に登録商品候補が決定され、その選択画面６０がタッチパネル１２に表示される。そこでユーザは、登録商品候補の中から、会計する商品を選択する。そうすると、店舗会計システムでは、この選択された商品の販売データが登録処理される。

例えば今、タッチパネル１２に図１０に示す登録商品候補の選択画面６０が表示されたとする。この場合、ユーザは商品「洋ナシ」のプリセット画像が表示されている領域６２２にタッチして商品「洋ナシ」を選択する。そうすると、ＰＯＳ端末２では、商品「洋ナシ」の販売データが登録処理される。

ここで、商品「洋ナシ」は、商品「リンゴ（王林）」よりも類似度が低い。この類似度の低さは、認識辞書ファイル３０に特徴量データを登録するために使用した商品「洋ナシ」の画像と、撮像部１４で撮影した商品「洋ナシ」の画像とで、商品「洋ナシ」の表面の色合いに違いがあるためと考えられる。商品「洋ナシ」のような果物や野菜は、産地や収穫時期の違い等によって、同じ品種でも表面の色合いが微妙に異なる。

そこで本実施形態では、類似度が１位以外の商品が選択された場合に、特徴量データの中の色合いに係るパラメータ（Ｒ値、Ｇ値、Ｂ値）について、認識辞書ファイル３０のデータと撮影画像のデータとの間で差分を求め、補正データを生成する。そして、補正データが生成された商品については、以後、撮影画像から抽出された商品の外観特徴量の色合いに係るパラメータ（Ｒ値、Ｇ値、Ｂ値）を補正データで補正してから、認識辞書ファイル３０の各商品の特徴量データと類似度を判定するようにしている。

通常、１回の仕入れで入荷される果物や野菜などの商品は、産地や収穫時期が同じである。このため、商品表面の色合いは、皆、似通っている。したがって、補正前は、類似度が２位以下であったとしても、補正によって以後は類似度が上昇し，１位となる可能性が高くなる。つまり、認識精度が高まる。また、図７のステップＳＴ７の処理にて登録商品が確定する比率も高くなるので、処理効率が向上する。

［第２の実施形態］
次に、第２の実施形態について説明する。なお、第１の実施形態と共通する部分には同一符号を付して、詳しい説明は省略する。

図１１は、第２の実施形態における商品認識装置の機能を説明するためのブロック図である。図６と図１１とを対比すれば明らかなように、第２の実施形態が第１の実施形態と異なる点は、商品認識装置が基準補正生成手段７１を追加した点である。基準補正生成手段７１は、補正データファイル４０で商品別に記憶される各補正データから基準補正データを生成する。例えば、各補正データのＲ値、Ｇ値、Ｂ値を補正するデータについてそれぞれ平均値を算出し、このＲ値補正データ平均値、Ｇ値補正データ平均値、Ｂ値補正データ平均値を基準補正データとする。

補正データ記憶手段５５は、補正データファイル４０で記憶される初期値以外の補正データの数が所定値Ｎ（Ｎ＞１、例えば２０）を超えると、基準補正生成手段７１により生成される基準補正データを、補正データが初期値である他の商品の補正データとして補正データファイル４０に格納する。

図１２は、第２の実施形態における補正データ編集処理の手順を示す流れ図である。ステップＳＴ４１〜ＳＴ４４までの処理は、第１の実施形態と同様である。第２の実施形態では、ＣＰＵ-Xは、ステップＳＴ４４の後に、ステップＳＴ５１〜ＳＴ５５の処理を実行する。

ステップＳＴ５１では、ＣＰＵ-Xは、補正データファイル４０を検索する。そしてＣＰＵ-Xは、補正フラグが“１”にセットされているレコードの数、つまりは初期値以外の補正データがセットされた商品の数を計数する。

ステップＳＴ５２では、ＣＰＵ-Xは、初期値以外の補正データがセットされた商品の数が前記所定値Ｎに達したか否かを判定する。商品数が所定値Ｎ未満の場合（ＳＴ５２にてＮＯ）、今回の補正データ編集処理は終了する。

これに対し、商品数が所定値Ｎ以上となった場合には（ＳＴ５２にてＹＥＳ）、ＣＰＵ-Xは、補正データファイル４０に保存されている各商品の補正データから基準補正データを生成する（ＳＴ５３：基準補正生成手段７１）。次いで、ＣＰＵ-Xは、補正データファイル４０の補正フラグが“０”にリセットされているレコードの補正データを、上記基準補正データに書き換える（ＳＴ５４）。またＣＰＵ-Xは、補正データファイル４０の補正フラグを全て“１”にセットする（ＳＴ５５）。以上で、今回の補正データ編集処理は終了する。

前述したように、会計する商品の外観特徴量と認識辞書ファイル３０に登録された当該商品の特徴量データとの類似度が２位以下となるのは、認識辞書ファイル３０に特徴量データを登録するために使用した商品の画像と、撮像部１４で撮影した会計商品の画像とで、色合いに違いがあるためと考えられる。その原因としては、第１の実施形態で説明したように実際に商品の表面の色合いが違っている場合も考えられるが、商品を撮像する環境、例えば撮影機器や光源等の違いも考えられる。撮影環境の違いの場合、商品の品種に係らず各商品に対して補正が必要となり、その傾向は似通ったものとなる。

そこで、第２の実施形態では、撮影環境の違いによると特定される所定値Ｎ、例えば２０品目の商品に対して補正データが生成された場合、商品認識装置は、撮影環境の違いによる原因が大きいとみなす。そして商品認識装置は、各補正データのＲ値、Ｇ値、Ｂ値を補正するデータについてそれぞれ平均値を算出し、このＲ値補正データ平均値、Ｇ値補正データ平均値、Ｂ値補正データ平均値を基準補正データとする。商品認識装置は、未だ補正データが生成されていない商品についても上記基準補正データをセットする。こうすることにより、撮影環境との違いによる認識率の低下を改善でき、認識精度を高めることができる。

［第３の実施形態］
次に、第３の実施形態について説明する。なお、第２の実施形態と共通する部分には同一符号を付して、詳しい説明は省略する。

図１３は、第３の実施形態における商品認識装置の機能を説明するためのブロック図である。図１１と図１３とを対比すれば明らかなように、第３の実施形態が第２の実施形態と異なる点は、傾向判定手段７２を追加した点である。傾向判定手段７２は、補正データファイル４０で商品別に記憶される各補正データの傾向が類似しているか否かを判定する。

図１４は、第３の実施形態における補正データ編集処理の手順を示す流れ図である。第３の実施形態が第２の実施形態と異なる点は、ステップＳＴ５２の判断処理において、初期値以外の補正データがセットされた商品の数が前記所定値Ｎに達した場合（ＳＴ５２にてＹＥＳ）、ステップＳＴ６１及びＳＴ６２の処理を実行する点にある。

ステップＳＴ６１では、ＣＰＵ-Xは、初期値以外の補正データを比較する。そしてＣＰＵ-Xは、ステップＳＴ６２として補正データの傾向が類似しているか否かを判定する（傾向判定手段７２）。撮影環境の違いによると特定される所定値Ｎ、例えば２０品目の商品に対する補正データのうち８割の１６品目の商品に対する補正データの補正値が近似しているとき、補正データの傾向が類似しているとみなす。たとえ７割の商品に対する補正データの補正値が近似していても、残りの３割の補正データの補正値が近似していなければ、補正データの傾向が類似しているとみなさない。なお、この類似しているか否かの基準について特に限定されないのは言うまでもないことである。

補正データの傾向が類似していない場合（ＳＴ６２にてＮＯ）、補正データ編集処理は終了する。これに対し、補正データの傾向が類似している場合には（ＳＴ６２にてＹＥＳ）、ＣＰＵ-Xは、第２の実施形態のステップＳＴ５３〜ＳＴ５５の処理を実行する。すなわち、ＣＰＵ-Xは、補正データファイル４０に保存されている各商品の補正データから基準補正データを生成する（ＳＴ５３：基準補正生成手段７１）。次いで、ＣＰＵ-Xは、補正データファイル４０の補正フラグが“０”にリセットされているレコードの補正データを、上記基準補正データに書き換える（ＳＴ５４）。またＣＰＵ-Xは、補正データファイル４０の補正フラグを全て“１”にセットする（ＳＴ５５）。以上で、今回の補正データ編集処理は終了する。

第２の実施形態で説明したように、認識辞書ファイル３０に特徴量データを登録するために使用した商品の画像と、撮像部１４で撮影した会計商品の画像とで、色合いに違いが生じる原因の１つに、撮影環境の違いがあり、その場合は補正の傾向が似通ったものとなる。

そこで、第３の実施形態では、補正データの傾向が似通っている場合のみ、商品認識装置は、撮影環境の違いによる誤差であるとみなす。そして商品認識装置は、各補正データのＲ値、Ｇ値、Ｂ値を補正するデータについてそれぞれ平均値を算出し、このＲ値補正データ平均値、Ｇ値補正データ平均値、Ｂ値補正データ平均値を基準補正データとする。商品認識装置は、未だ補正データが生成されていない商品についても上記基準補正データをセットする。こうすることにより、撮影環境との違いによる認識率の低下を確実に改善でき、認識精度を高めることができる。

なお、本発明は、前記各実施形態に限定されるものではない。

例えば前記実施形態では、商品認識装置が補正有無判定手段５７と再実行手段５８とを備えたが、別の手段により、補正された外観特徴量を用いて商品を認識することで、商品認識装置の認識率を高めることはできる。

また、前記実施形態では、色合いに関するパラメータの値を補正データとしたが、補正データはこれに限定されるものではない。例えば外観形状、模様、凹凸具合に関するパラメータの値を補正データに含めてもよい。

また、前記実施形態では、スキャナ装置１とＰＯＳ端末２とに、商品認識装置としての機能を持たせたが、スキャナ装置１またはＰＯＳ端末２の単体に商品認識装置としての機能を持たせてもよい。あるいは、スキャナ装置１がＰＯＳ端末２に組み込まれて一体となった装置に、商品認識装置の機能を持たせてもよい。スキャナ装置１がＰＯＳ端末２に組み込まれて一体となった装置の一例としては例えば、顧客自身で商品登録処理を実行するセルフチェックアウト端末等がある。また、据置型のスキャナ装置でなくてもよく、いわゆるハンディタイプのスキャナがＰＯＳ端末に接続された形態であってもよい。

なお、前記実施形態は、装置内部のプログラム記憶部である補助記憶部２０５に発明の機能を実現させる制御プログラムが予め記録されているものとした。しかしこれに限らず、同様のプログラムがネットワークから装置にダウンロードされてもよい。あるいは、記録媒体に記録された同様のプログラムが、装置にインストールされてもよい。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。また、本実施形態のプログラムを、通信機能を有する携帯電話やいわゆるＰＤＡのような携帯情報端末に組み込んで、その機能を実現させるものであってもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…スキャナ装置、２…ＰＯＳ端末、１２…タッチパネル、１４…撮像部、３０…認識辞書ファイル、４０…補正データファイル、５１…特徴量抽出手段、５２…商品候補抽出手段、５３…商品選択受付手段、５４…補正データ生成手段、５５…補正データ記憶手段、５６…補正手段、５７…補正有無判定手段、５８…再実行手段、７１…基準補正生成手段、７２…傾向判定手段。

Claims (5)

1. 撮像手段により撮像された画像からその画像に含まれる商品の外観特徴量を抽出する特徴量抽出手段と、
   この特徴量抽出手段により抽出された前記外観特徴量のデータを、認識対象である商品毎にその商品の表面情報を表わす特徴量データが保存される認識辞書ファイルの前記特徴量データと照合して、前記画像に含まれる商品の候補を抽出する商品候補抽出手段と、
   この商品候補抽出手段により複数の商品候補が抽出された場合、この複数の商品候補の中から前記画像に含まれる商品の選択入力を受け付ける商品選択受付手段と、
   この商品選択受付手段により選択入力を受け付けた商品の前記特徴量データと前記特徴量抽出手段により抽出された前記外観特徴量のデータとから補正データを生成する補正データ生成手段と、
   この補正データ生成手段により生成された前記補正データを、前記選択入力を受け付けた商品を特定する商品識別データと関連付けて記憶部に記憶させる補正データ記憶手段と、
   前記記憶部に記憶された前記補正データで前記特徴量抽出手段により抽出された商品の外観特徴量を補正する補正手段と、
   前記記憶部で商品別に記憶される各補正データから基準補正データを生成する基準補正生成手段と、
   を具備し、
   前記補正データ記憶手段は、前記記憶部で記憶される補正データの数が所定値を超えると、前記基準補正生成手段により生成される基準補正データを前記認識辞書ファイルに特徴量データが保存されている認識対象の商品に対する補正データとして前記記憶部に記憶させることを特徴とする商品認識装置。
2. 前記商品候補抽出手段により前記画像に含まれる商品の候補として抽出された商品に対して前記補正データを前記記憶部で記憶しているか否かを判定する補正有無判定手段と、
   この補正有無判定手段により前記補正データが記憶されていると判定されると、前記補正手段により補正された前記外観特徴量を用いて前記商品候補抽出手段を再度実行させる再実行手段と、をさらに具備したことを特徴とする請求項１記載の商品認識装置。
3. 前記補正データ生成手段は、前記商品選択受付手段により選択入力を受け付けた商品の前記認識辞書ファイルに保存される特徴量データと前記特徴量抽出手段により抽出された前記外観特徴量のデータとの類似度が、前記商品候補抽出手段により候補として抽出された他の商品の前記認識辞書ファイルに保存される特徴量データと前記特徴量抽出手段により抽出された外観特徴量のデータとの類似度と比較して最も高いときには実行せず、低いときに実行することを特徴とする請求項１または２記載の商品認識装置。
4. 前記記憶部で商品別に記憶される各補正データの傾向が類似しているか否かを判定する傾向判定手段、をさらに具備し、
   前記補正データ記憶手段は、前記記憶部で記憶される補正データの数が所定値を超え、かつ、前記傾向判定手段により各補正データの傾向が類似していると判定されると、前記基準補正生成手段により生成される基準補正データを前記認識辞書ファイルに特徴量データが保存されている認識対象の商品に対する補正データとして前記記憶部に記憶させることを特徴とする請求項１記載の商品認識装置。
5. コンピュータを、
   撮像手段により撮像された画像からその画像に含まれる商品の外観特徴量を抽出する特徴量抽出手段、
   この特徴量抽出手段により抽出された前記外観特徴量のデータを、認識対象である商品毎にその商品の表面情報を表わす特徴量データが保存される認識辞書ファイルの前記特徴量データと照合して、前記画像に含まれる商品の候補を抽出する商品候補抽出手段、
   この商品候補抽出手段により複数の商品候補が抽出された場合、この複数の商品候補の中から前記画像に含まれる商品の選択入力を受け付ける商品選択受付手段、
   この商品選択受付手段により選択入力を受け付けた商品の前記特徴量データと前記特徴量抽出手段により抽出された前記外観特徴量のデータとから補正データを生成する補正データ生成手段、
   この補正データ生成手段により生成された前記補正データを、前記選択入力を受け付けた商品を特定する商品識別データと関連付けて記憶部に記憶させる補正データ記憶手段、
   前記記憶部で記憶した前記補正データにより、前記特徴量抽出手段により抽出された商品の外観特徴量を補正する補正手段、及び、
   前記記憶部で商品別に記憶される各補正データから基準補正データを生成する基準補正生成手段、
   として機能させ、
   さらに前記補正データ記憶手段は、前記記憶部で記憶される補正データの数が所定値を超えると、前記基準補正生成手段により生成される基準補正データを前記認識辞書ファイルに特徴量データが保存されている認識対象の商品に対する補正データとして前記記憶部に記憶させるように機能させるための商品認識プログラム。

Images