JP5753929B2 - 商品認識装置、方法及び認識辞書追加プログラム - Google Patents

Description

本発明の実施形態は、撮像手段で撮像された画像から商品を認識する商品認識装置、方法及び商品認識装置が使用する認識辞書に特徴量データを追加する認識辞書追加プログラムに関する。

対象となる物品（オブジェクト）を撮像部で撮像した画像データから当該物品の特徴量を抽出し、認識辞書に登録された特徴量データと照合して類似度を算出し、この類似度に応じて当該物品の種別等を認識する技術がある。このような画像中に含まれる物品を認識する技術は、一般物体認識（generic object recognition）と呼ばれる。この一般物体認識の技術については、下記の文献において各種認識技術が解説されている。

柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６［平成２２年８月１０日検索］，インターネット＜ URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf ＞
また、画像をオブジェクト毎に領域分割することによって、一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，［平成２２年８月１０日検索］，インターネット＜ URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf ＞
近年、例えば小売店の会計システム（ＰＯＳシステム）において、顧客が買い上げる商品、特に、野菜、果物等のようにバーコードが付されていない商品の認識装置に、一般物体認識の技術を適用することが提案されている。この場合、認識辞書には、認識対象商品の外観形状、色合い、模様、凹凸具合等の表面情報をパラメータで表わす特徴量データが保存される。商品認識装置は、撮像手段によって撮像された商品の画像データから当該商品の外観上の特徴量を抽出し、この特徴量を認識辞書に登録されている各商品の特徴量データと照合する。そして商品認識装置は、特徴量データが類似している商品を認識商品候補として出力する。

特開２０１０−２３７８８６号公報

一般物体認識の技術において、認識辞書への特徴量データの追加、すなわち認識処理の結果を基に認識辞書に特徴量のデータを追加することによって、認識精度が高められることは知られている。特に、一般物体認識の技術を商品認識装置に適用する場合、野菜や果物などの商品は、産地や季節等で外観が変化する。このため、認識辞書への特徴量データの追加は、認識精度を高める上で非常に有効である。

本発明が解決しようとする課題は、認識辞書への特徴量データの追加を簡単な操作で効率よく行うことができる商品認識装置、方法及び当該装置が実装する認識辞書追加プログラムを提供しようとするものである。

一実施形態において、商品認識装置は、特徴量抽出手段と、認識手段と、受付手段と、追加手段とを備える。特徴量抽出手段は、撮像された画像からその画像に含まれる商品の外観特徴量を抽出する。認識手段は、特徴量抽出手段により抽出された外観特徴量のデータを、認識対象である商品毎にその商品の表面情報を表わす特徴量データが保存される認識辞書ファイルの特徴量データと照合して、画像に含まれる商品の候補を認識する。受付手段は、認識手段により認識された候補から画像に含まれる商品が特定されない場合、画像に含まれる商品を候補の中から特定するための入力を受け付ける。追加手段は、特徴量抽出手段により抽出された外観特徴量のデータを、受付手段で受け付けた入力により特定された商品に対する特徴量データとして認識辞書ファイルに追加する。

店舗会計システムの外観図。 スキャナ装置とＰＯＳ端末とのハードウェア構成を示すブロック図。 認識辞書ファイルに保存される辞書データの構造を示す模式図。 商品認識装置としての機能を説明するためのブロック図。 認識辞書追加機能を実現するために必要なメモリエリアを示す模式図。 商品認識プログラム及び認識辞書追加プログラムに従って商品認識装置のＣＰＵが実行する情報処理手順の要部を示す流れ図。 図６のステップＳＴ５で示す認識処理の具体的な手順を示す流れ図。 登録商品選択画面の一例を示す図。 追加可否選択画面の一例を示す図。

以下、商品認識装置に係る実施形態を、図面を用いて説明する。なお、本実施形態は、生鮮食品等を商品として取扱う小売店の店舗会計システムを構築するスキャナ装置１とＰＯＳ（Point Of Sales）端末２とに、商品認識装置としての機能を持たせた場合である。

図１は、店舗会計システムの外観図である。このシステムは、顧客が買い上げる商品を登録する登録部としてのスキャナ装置１と、顧客の代金支払いを処理する決済部としてのＰＯＳ（Point Of Sales）端末２とを含む。スキャナ装置１は、会計カウンタ３の上に取り付けられる。ＰＯＳ端末２は、レジ台４の上にドロワ５を介して設置される。スキャナ装置１とＰＯＳ端末２とは、図示しない通信ケーブルによって電気的に接続される。

スキャナ装置１は、キーボード１１、タッチパネル１２及び客用ディスプレイ１３を備える。これらの表示・操作デバイス（キーボード１１、タッチパネル１２、客用ディスプレイ１３）は、スキャナ装置１の本体を構成する薄型矩形形状のハウジング１Ａに取り付けられる。

ハウジング１Ａには、撮像手段としての撮像部１４が内蔵される。また、矩形状の読取窓１Ｂが、ハウジング１Ａの正面に形成される。撮像部１４は、エリアイメージセンサであるＣＣＤ（Charge Coupled Device）撮像素子及びその駆動回路と、撮像領域の画像をＣＣＤ撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、読取窓１Ｂから撮像レンズを通してＣＣＤ撮像素子のエリアに結像するフレーム画像の領域を指す。撮像部１４は、撮像レンズを通ってＣＣＤ撮像素子に結像した撮像領域の画像を出力する。

ＰＯＳ端末２は、決済に必要なデバイスとしてキーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３及びレシートプリンタ２４を備える。

会計カウンタ３は、その奥側の顧客通路に沿って細長い形状である。レジ台４は、会計カウンタ３に沿って移動する顧客の移動方向に対して下流側の会計カウンタ３の端部手前側に、会計カウンタ３に対して略垂直に置かれる。そして、この会計カウンタ３の手前側とレジ台４の手前側が、会計担当の店員いわゆるキャッシャのスペースとなる。

会計カウンタ３の略中央には、スキャナ装置１のハウジング１Ａが、キーボード１１、タッチパネル１２及び読取窓１Ｂをそれぞれ手前側のキャッシャ側に向けて立設される。スキャナ装置１の客用ディスプレイ１３は、顧客通路側を向いてハウジング１Ａに取り付けられる。

会計カウンタ３のスキャナ装置１を挟んで顧客移動方向上流側の荷受面は、買物客が購入する未登録の商品Ｍが入れられた買物カゴ６を置くためのスペースとなる。他方、下流側の荷受面は、スキャナ装置１により登録された商品Ｍを入れるための買物カゴ７を置くためのスペースとなる。

図２は、スキャナ装置１とＰＯＳ端末２とのハードウェア構成を示すブロック図である。スキャナ装置１は、スキャナ部１０１と操作・表示部１０２とを備える。スキャナ部１０１は、制御部本体としてＣＰＵ（Central Processing Unit）１１１を搭載する。そしてこのＣＰＵ１１１に、アドレスバス，データバス等のバスライン１１２を介して、ＲＯＭ（Read Only Memory）１１３とＲＡＭ（Random Access Memory）１１４とが接続される。ＲＯＭ１１３には、ＣＰＵ１１１によって実行されるプログラムが記憶される。

この他、バスライン１１２には、入出力回路（不図示）を介して前記撮像部１４が接続される。また、接続インターフェース１１５及び接続インターフェース１１６を介して、前記キーボード１１、タッチパネル１２及び客用ディスプレイ１３が、バスライン１１２に接続される。タッチパネル１２は、例えば液晶ディスプレイを用いたパネル表示部１２１と、この表示部の画面上に重ねて配置されたタッチパネルセンサ１２２とを備える。

前記接続インターフェース１１６と、前記キーボード１１、タッチパネル１２及び客用ディスプレイ１３とは、前記操作・表示部１０２を構成する。操作・表示部１０２を構成する各部は、スキャナ部１０１のＣＰＵ１１１のみならず、後述するＰＯＳ端末２のＣＰＵ２０１によってもコントロールされる。

ＰＯＳ端末２も、制御部本体としてＣＰＵ２０１を搭載する。そしてこのＣＰＵ２０１に、バスライン２０２を介して、ＲＯＭ２０３、ＲＡＭ２０４、ＨＤＤ（Hard Disk Drive）装置２０５、通信インターフェース２０６及び接続インターフェース２０７が接続される。また、バスライン２０２には、前記キーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３、プリンタ２４及びドロワ５の各部も、それぞれ入出力回路（不図示）を介して接続される。

通信インターフェース２０６は、ＬＡＮ（Local Area Network）等のネットワークを介して、店舗の中枢を担う店舗サーバ８と接続される。この接続により、ＰＯＳ端末２は、店舗サーバ８とデータの送受信が可能となる。かくしてＰＯＳ端末２は、店舗サーバ８が有する認識辞書ファイル９や商品データファイル（不図示）等にアクセスして、各ファイルに保存されているデータレコードを読み込んだり、データレコードを更新（追加、変更、削除）したりする。

接続インターフェース２０７は、通信ケーブルを介して、スキャナ装置１の両接続インターフェース１１５，１１６と接続される。この接続により、ＰＯＳ端末２は、スキャナ装置１のスキャナ部１０１で読み取られた情報を受信する。また、ＰＯＳ端末２は、スキャナ装置１の操作・表示部１０２を構成するキーボード１１、タッチパネル１２、客用ディスプレイ１３との間でデータ信号を送受信する。

図３は、認識辞書ファイル９に保存される辞書データの構造を示す模式図である。図３に示すように、認識辞書ファイル９には、認識対象である商品毎に、その商品を識別する商品ＩＤ及び商品名と関連付けて、複数の特徴量データが保存される。特徴量データは、対応する商品ＩＤで識別される商品の表面情報（外観形状、色合い、模様、凹凸等）である外観上の特徴量をパラメータで表わしたもので、１つの商品に対し、その商品を様々な方向から見たときの特徴量データ０〜Ｎがそれぞれ保存される。なお、１つの商品に対する特徴量データの数（Ｎ＋１）は、固定ではない。また、特徴量データの数（Ｎ＋１）は商品によって異なる。

店舗で販売される各商品には、固有の商品ＩＤが割当てられている。商品データファイルには、各商品の商品ＩＤと関連付けて、商品名、単価、プリセット画像等の商品情報が保存されている。

図４は、前記スキャナ装置１とＰＯＳ端末２とによって構成される商品認識装置としての機能を説明するためのブロック図である。この機能は、特徴量抽出手段４１、商品候補抽出手段４２、商品選択受付手段４３、追加宣言受付手段４４及び追加手段４５を含む。

特徴量抽出手段４１は、撮像部１４により撮像された画像からその画像に含まれる商品の形状、表面の色合い、模様、凹凸状況等の外観上の特徴量（外観特徴量）を抽出する。商品候補抽出手段４２は、特徴量抽出手段４１により抽出された外観特徴量のデータを、前記認識辞書ファイル９に保存されている各商品の特徴量データと順次照合して、商品毎にデータの類似度を算出する。類似度の算出方法は、特に限定されるものではなく、例えば等しい文字数を持つ特徴量データどうしの対応する位置にある文字が異なっている数を計数するハミング距離の手法を用いて類似度を算出してもよい。商品候補抽出手段４２は、類似度が基準より高い商品を、画像に含まれる商品の候補として抽出する。なお、類似度は、例えば、一致する度合いを示す一致度（一致率）や、どの程度相関するかを示す相関値等であってもよい。すなわち類似度は、撮像部１４により撮像された画像の特徴量と認識辞書ファイル９に記憶されている特徴量とを基に得られる値であればよい。

商品候補抽出手段４２により複数の商品が画像に含まれる商品の候補として認識されると、商品選択受付手段４３は、この複数の商品の中から画像に含まれる商品の選択入力を受け付ける。商品選択受付手段４３により複数の商品の中からいずれか１商品の選択入力を受け付けると、追加宣言受付手段４４は、この選択された商品に対して認識辞書ファイル９に保存されている特徴量データの追加を実行するか否かの宣言入力を受け付ける。追加宣言受付手段４４により追加を実行する旨の宣言入力を受け付けると、追加手段４５は、特徴量抽出手段４１により抽出された外観特徴量のデータを、商品選択受付手段４３により選択を受け付けた商品に対する特徴量データとして認識辞書ファイル９に追加する。つまり商品認識装置（スキャナ装置１、ＰＯＳ端末２）は、認識処理の結果を基に認識辞書ファイル９に特徴量のデータを追加する認識辞書追加機能を有している。

図５は、上記認識辞書追加機能を実現するために必要なメモリエリアを示す模式図である。メモリエリア５１は、追加実行フラグＦの記憶エリアである。商品認識装置は、追加実行フラグＦがオンのとき認識辞書追加機能を有効とし、オフのとき同機能を無効とする。メモリエリア５２は、認識辞書ファイル９の追加を実行するか否かの確認をとる条件（確認条件）をステータス（１ｏｒ０）によって設定したテーブルエリアである。確認条件としては、「類似度差」と「候補順位」とがある。ステータスが“１”のとき、対応する確認条件が有効となる。追加実行フラグＦがオンのとき、確認条件「類似度差」または「候補順位」のいずれか一方のステータスが“１”になる。

前記追加宣言受付手段４４は、前記商品選択受付手段４３により選択入力を受け付けた商品の認識辞書ファイル９に保存される特徴量データと特徴量抽出手段４１により抽出された外観特徴量のデータとの類似度が、商品候補抽出手段４２により候補として抽出された他の商品の認識辞書ファイル９に保存される特徴量データと特徴量抽出手段４１により抽出された外観特徴量のデータとの類似度と比較して低いとき、追加を実行するか否かの宣言入力を受け付ける。

具体的には、選択入力を受け付けた商品の前記類似度と、候補として認識された他の商品の前記類似度のうち最も高い類似度との差が所定値以上であるとき、追加を実行するか否かの宣言入力を受け付ける。若しくは、選択入力を受け付けた商品の前記類似度が、候補として認識された全商品の前記類似度を高い順に並べた順位において１位以外の所定の順位以下に相当するとき、追加を実行するか否かの宣言入力を受け付ける。前者の追加宣言受付手段は、前記確認条件「類似度差」に対するステータスが“１”であるとき実行される。後者の追加宣言受付手段は、前記確認条件「候補順位」に対するステータスが“１”であるとき実行される。

メモリエリア５１，５２は、ＰＯＳ端末２のＲＡＭ２０４に形成される。スキャナ装置１のＲＡＭ１１４にメモリエリア５１，５２が形成されていてもよい。メモリエリア５１の追加実行フラグＦをオンするか否かは、ＰＯＳ端末２の設定業務の中で自動若しくは手動により実行される。同様に、メモリエリア５１の確認条件別のステータスのうち、どちらのステータスを“１”にするかという設定も、ＰＯＳ端末２の設定業務の中で自動若しくは手動により実行される。

図６は、商品認識プログラム及び認識辞書追加プログラムに従って商品認識装置（スキャナ装置１、ＰＯＳ端末２）のＣＰＵ（ＣＰＵ１１１、ＣＰＵ２０１）が実行する情報処理手順の要部を示す流れ図である。同図において、ステップＳＴ１からステップＳＴ７までの処理は商品認識プログラムに従った処理であり、ステップＳＴ８からステップＳＴ１４までの処理は認識辞書追加プログラムに従った処理である。

商品認識プログラムと認識辞書追加プログラムは、各々独立したプログラムであってもよいし、１本のプログラムであってもよい。商品認識プログラムと認識辞書追加プログラムは、ＰＯＳ端末２のＲＯＭ２０３に格納される。上記プログラムの少なくとも一部がスキャナ装置１のＲＯＭ１１３に格納されていてもよい。

図６の処理が開始すると、ＣＰＵ（ＣＰＵ１１１またはＣＰＵ２０１：以下同）は、撮像部１４に対して撮像オン信号を出力する（ＳＴ１）。例えば、ＣＰＵ２０１がＣＰＵ１１１に対して撮像オンを指令し、この指令を受けたＣＰＵ１１１が、撮像部１４に対して撮像オン信号を出力する。この撮像オン信号により、撮像部１４が撮像領域の撮像を開始する。撮像部１４で撮像された撮像領域のフレーム画像は、ＲＡＭ１１４に順次保存される。

ＣＰＵは、ＲＡＭ１１４に保存されたフレーム画像のデータを取り込む（ＳＴ２）。そしてＣＰＵは、このフレーム画像から商品が検出されるか否かを確認する（ＳＴ３）。具体的には、ＣＰＵは、フレーム画像を二値化した画像から輪郭線等を抽出する。そしてＣＰＵは、フレーム画像に映し出されている物体の輪郭抽出を試みる。物体の輪郭が抽出されると、ＣＰＵは、その輪郭内の画像を商品とみなす。

フレーム画像から商品が検出されない場合（ＳＴ３にてＮＯ）、ＣＰＵは、ＲＡＭ１１４から次のフレーム画像を取り込む（ＳＴ２）。そしてＣＰＵは、このフレーム画像から商品が検出されるか否かを確認する（ＳＴ３）。

フレーム画像から商品が検出された場合には（ＳＴ３にてＹＥＳ）、ＣＰＵは、その輪郭内の画像から商品の形状、表面の色合い、模様、凹凸状況等の外観上の特徴量（外観特徴量）を抽出する（ＳＴ４：特徴量抽出手段４１）。抽出された外観特徴量のデータは、ＲＡＭ２０４のワークエリアに一時的に格納される。

特徴量を抽出し終えると、ＣＰＵは、図７の流れ図により具体的に示される手順の認識処理を実行する（ＳＴ５：商品候補抽出手段４２）。先ず、ＣＰＵは、店舗サーバ８の認識辞書ファイル９を検索する（ＳＴ２１）。そしてＣＰＵは、認識辞書ファイル９から１商品のデータレコード（商品ＩＤ、商品名、複数の特徴量データ）を読み込む（ＳＴ２２）。

データレコードを読み込めたならば、ＣＰＵは、ステップＳＴ４の処理で抽出された外観特徴量のデータが、当該レコードの特徴量データに対してどの程度類似しているかを示す類似度を算出する（ＳＴ２３）。類似度は、値が大きいほど類似率が高いと言える。本実施形態では、類似度の上限を“１００”として、商品毎に特徴量データの類似度が算出される。

ＣＰＵは、類似度が所定の基準閾値より高いか否かを確認する（ＳＴ２４）。基準閾値は、登録商品候補として残すべき商品の類似度の下限である。前述したように類似度の上限値を“１００”とした場合、基準閾値は、例えばその１／５の“２０”と設定する。類似度が基準閾値より高いレベルにある場合（ＳＴ２４にてＹＥＳ）、ＣＰＵは、当該データレコードの商品ＩＤ及び商品名と、ステップＳＴ４の処理で抽出された外観特徴量のデータと、ステップＳＴ２３の処理で算出された類似度とを、登録商品候補としてＲＡＭ２０４の所定エリアに格納する（ＳＴ２５）。これに対し、類似度が基準閾値を超えない場合には（ＳＴ２４にてＮＯ）、ＣＰＵは、ステップＳＴ２５の処理を実行しない。

しかる後、ＣＰＵは、認識辞書ファイル９に未処理のデータレコードが存在するか否かを確認する（ＳＴ２６）。存在する場合（ＳＴ２６にてＹＥＳ）、ＣＰＵは、ステップＳＴ２２の処理に戻る。すなわちＣＰＵは、認識辞書ファイル９から未処理のデータレコードをさらに読み込んで、前記ステップＳＴ２３〜ＳＴ２６の処理を実行する。

こうして、認識辞書ファイル９に保存されている全ての商品のデータレコードについて、前記ステップＳＴ２３〜ＳＴ２６の処理が実行されると（ＳＴ２６にてＮＯ）、認識処理が終了する。認識処理が終了すると、ＣＰＵは、登録商品候補の有無を確認する（ＳＴ６）。

ＲＡＭ２０４の所定エリアに登録商品候補となる商品データ（商品コード，商品名，外観特徴量、類似度）が１つも格納されていない場合、登録商品候補はない。この場合（ＳＴ６にてＮＯ）、ＣＰＵは、ステップＳＴ２の処理に戻る。すなわちＣＰＵは、ＲＡＭ１１４から次のフレーム画像データを取り込む。そしてＣＰＵは、この画像データについて、前記ステップＳＴ３〜ＳＴ６の処理を実行する。

一方、ＲＡＭ２０４の所定エリアに登録商品候補となる商品データ（商品コード，商品名，外観特徴量、類似度）が１つでも格納されていた場合には、登録商品候補がある。この場合（ＳＴ６にてＹＥＳ）、ＣＰＵは、登録商品を自動的に設定できるか否かを確認する（ＳＴ７）。具体的には、ＣＰＵは、登録商品候補となる商品データのなかで類似度が所定の決定閾値を超えるデータが１つのみ存在するか否かを確認する。決定閾値は、前記基準閾値よりも充分に大きい値であり、前述したように類似度の上限値を“１００”とした場合、その半分より若干多い値、たとえば“６０”と設定する。

登録商品候補の中で類似度が決定閾値を超える商品が１つのみ存在する場合、この商品が登録商品として自動的に決定される。それ以外、つまりは類似度が決定閾値を超える商品が１つも存在しないか２つ以上存在する場合には、登録商品が決定されない。登録商品が決定された場合（ＳＴ７にてＹＥＳ）、ＣＰＵは、ＳＴ８以降の処理、つまりは認識辞書追加プログラムの処理ルーチンをジャンプして、次の処理、つまりは自動決定された商品の登録処理ルーチンに移行する。

これに対し、登録商品が決定されない場合には（ＳＴ７にてＮＯ）、ＣＰＵは、タッチパネル１２に登録商品選択画面６０を表示させる（ＳＴ８：商品選択受付手段４３）。

登録商品選択画面６０の一例を図８に示す。図示するように、登録商品選択画面６０は、撮影画像表示領域６１と、候補商品表示領域６２とに区分される。また、「その他」ボタン６３が登録商品選択画面６０に表示される。撮影画像表示領域６１には、ステップＳＴ２の処理で取り込んだフレーム画像が表示される。候補商品表示領域６２は、さらに３つの領域６２１，６２２，６２３に細分化されており、画面の上から類似度の大きい順に登録商品候補となった商品のプリセット画像が表示される。

因みに、初期画面では、類似度が１位から３位までの商品のプリセット画像が候補商品表示領域６２（６２１，６２２，６２３）に画面の上から順に表示される。この状態で、「その他」ボタン６３がタッチ操作されると、候補商品表示領域６２は、類似度が４位から６位までの商品のプリセット画像に切り替わる。以後、「その他」ボタン６３がタッチ操作される毎に、領域６２の画像は、類似度がより下位の商品のプリセット画像に切り替わる。なお、「その他」ボタン６３が１回タッチ操作されると、「戻る」ボタンの画像が登録商品選択画面６０に表示される。そして、この「戻る」ボタンがタッチ操作されると、タッチパネル１２の画面は、直前の登録商品選択画面６０に戻る。

読取窓１Ｂに登録商品をかざしたユーザは、候補商品表示領域６２のなかから登録商品を探す。そして、登録商品を見つけたならば、ユーザは、この商品のプリセット画像が表示されている領域６２１，６２２または６２３にタッチする。

ＣＰＵは、候補商品表示領域６２がタッチ操作されるのを待機する。候補商品表示領域６２がタッチ操作されたならば、ＣＰＵは、そのタッチ領域にプリセット画像が表示されている商品の類似度の順位を確認する（ＳＴ９）。類似度が１位の商品が選択された場合（ＳＴ９にてＹＥＳ）、ＣＰＵは、ＳＴ１０以降の処理をジャンプして、次の処理、つまりは類似度が１位の商品の登録処理ルーチンに移行する。

これに対し、類似度が２位以下の商品が選択された場合には（ＳＴ９にてＮＯ)、ＣＰＵは、追加実行フラグＦをチェックする（ＳＴ１０）。追加実行フラグＦがオフの場合、認識辞書の追加は行われない。この場合（ＳＴ１０にてＮＯ）、ＣＰＵは、ＳＴ１１以降の処理をジャンプして、次の処理、つまりは選択された商品の登録処理ルーチンに移行する。

これに対し、追加実行フラグＦがオンの場合には、ＣＰＵは、追加実行の確認が必要か否かを判定する（ＳＴ１１）。すなわちＣＰＵは、メモリエリア５２をチェックして、ステータスが“１”の確認条件を認識する。確認条件が「類似度差」であった場合、ＣＰＵは、選択された商品の類似度と１位の類似度との差分を計算し、この差分値が所定の閾値を超えるか否かを確認する。そしてＣＰＵは、差分値が所定の閾値を超える場合にはユーザに確認する必要有りと決定し、差分値が所定の閾値以下の場合にはユーザに確認する必要なしと決定する。

一方、確認条件が「候補順位」であった場合には、ＣＰＵは、選択された商品の類似度の順位が１位より低い所定の閾値順位（例えば３位）以下であるか否かを確認する。そしてＣＰＵは、類似度の順位が閾値順位以下の場合にはユーザに確認する必要有りと決定し、類似度の順位が閾値順位より上の場合にはユーザに確認する必要なしと決定する。

ステップＳＴ１１にて確認必要と判断された場合（ＳＴ１１にてＹＥＳ）、ＣＰＵは、タッチパネル１２に追加可否選択画面７０を表示させる（ＳＴ１２：追加宣言受付手段４４）。

追加可否選択画面７０の一例を図９に示す。図示するように、追加可否選択画面７０は、撮影画像表示領域７１と、選択商品表示領域７２とに区分される。また、「する」ボタン７３と「しない」ボタン７４とが追加可否選択画面７０に表示される。撮影画像表示領域７１には、ステップＳＴ２の処理で取り込んだフレーム画像が表示される。選択商品表示領域７２には、登録商品選択画面６０で選択された商品のプリセット画像が表示される。図９は、図８の登録商品選択画面６０において、領域６２２にプリセット画像が表示されている商品「洋ナシ」が選択された場合の追加可否選択画面７０である。なお、選択商品表示領域７２の位置は、図９に示す如く、登録商品選択画面６０で選択された商品のプリセット画像が表示されている候補商品表示領域６２と一致していてもよいし、異なっていてもよい。プリセット画像が表示されている候補商品表示領域６２と同じ位置にて表示した場合には、選択されたことが一目でわかる。

ユーザは、認識辞書への特徴量データの追加を実行する場合には「する」ボタン７３にタッチする。これに対し、例えば商品を選択し間違えたために追加を実行しない場合には「しない」ボタンにタッチする。

ＣＰＵは、「する」ボタン７３と「しない」ボタン７４のいずれかがタッチされるのを待機する（ＳＴ１３）。ここで、「しない」ボタン７４がタッチされた場合（ＳＴ１３にてＮＯ）、ＣＰＵは、ステップＳＴ１３の処理をジャンプして次の処理に進む。ただし、選択された商品は誤りであったので、商品登録処理ルーチンには進まない。

「する」ボタン７３がタッチされた場合（ＳＴ１３にてＹＥＳ)、あるいは、ステップＳＴ１１の処理において確認不要と判断された場合には（ＳＴ１１にてＮＯ）、ＣＰＵは、認識辞書ファイル９への特徴量データの追加を実行する（ＳＴ１４：追加手段４５）。すなわちＣＰＵは、選択された商品の商品データ（商品コード，商品名，外観特徴量、類似度）のなかから商品コードと外観特徴量のデータとを読み出す。そしてＣＰＵは、認識辞書ファイル９にアクセスして、当該商品コードを含むデータレコードに当該外観特徴量のデータを新規の特徴量データとして追加する。しかる後、ＣＰＵは、次の処理、つまりは選択された商品の登録処理ルーチンに移行する。

このように、本実施形態の店舗会計システムにおいては、ユーザがスキャナ装置１の読取窓１Ｂに商品をかざすと、撮像部１４によってこの商品が撮影される。そして、この商品の画像から抽出される当該商品の外観特徴量のデータと、認識辞書ファイル９に登録されている各商品の特徴量データとから、商品毎に特徴量の類似度が算出される。そして、類似度の高い順に登録商品候補が決定され、そのリストがタッチパネル１２に表示される。そこでユーザは、登録商品候補の中から、該当する商品を選択する。そうすると、店舗会計システムでは、この選択された商品の販売データが登録処理される。

ここで、選択された商品が類似度１位の商品であった場合には、認識辞書ファイル９に登録されている当該商品の特徴量データは、当該商品の外観特徴量に近似したものである。従って、認識辞書ファイル９への特徴量データの追加は必要ない。これに対して、選択された商品の類似度が選択されなかった他の商品の類似度よりも低い場合には、認識辞書ファイル９への特徴量データの追加が必要である。

本実施形態の店舗会計システムにおいては、選択された商品が類似度１位の商品であった場合には、認識辞書ファイル９への特徴量データの追加は実行されない。選択された商品が類似度１位以外の商品であった場合には、認識辞書ファイル９への特徴量データの追加が実行される。ただし、追加実行フラグＦが“０”にリセットされていた場合には、認識辞書ファイル９への特徴量データの追加が許可されていないので、たとえ類似度１位以外の商品が選択された場合でも認識辞書ファイル９への特徴量データの追加は実行されない。

また、確認条件として「類似度差」が設定されていた場合、つまり確認条件「類似度差」に対応するステータスが“１”に設定されていた場合には、選択された商品の類似度と、登録商品候補として認識された商品の中で最も高い類似度との差分が算出される。そして、この差分が所定の閾値を超えるか否かが判定される。差分が閾値を超えない場合、つまり選択された商品の類似度が比較的高い場合には、認識辞書ファイル９への特徴量データの追加が実行される。

これに対し、差分が閾値を超える場合、つまり選択された商品の類似度が低い場合には、ユーザが誤った商品を選択してしまった可能性がある。そこで、タッチパネル１４に追加可否選択画面７０が表示される。この追加可否選択画面７０を確認したユーザは、商品選択に誤りがないときには「する」ボタン７３にタッチし、誤りがある場合には「しない」ボタン７４にタッチする。その結果、商品選択に誤りがないときには認識辞書ファイル９への特徴量データの追加が実行されるが、誤りがある場合には認識辞書ファイル９への特徴量データの追加が実行されない。

また、確認条件として「候補順位」が設定されていた場合、つまり確認条件「候補順位」に対応するステータスが“１”に設定されていた場合には、選択された商品の類似度が、登録商品候補として認識された商品の中で高い順に並べて何番目になるかが確認される。そして、１位より下位の所定の閾値順位より上位か下位かが判定される。その結果、閾値順位より上位若しくは同位の場合、つまり選択された商品の類似度が比較的高い場合には、認識辞書ファイル９への特徴量データの追加が実行される。

これに対し、閾値順位より下位の場合、つまり選択された商品の類似度が低い場合には、ユーザが誤った商品を選択してしまった可能性がある。そこで、タッチパネル１４に追加可否選択画面７０が表示される。この追加可否選択画面７０を確認したユーザは、商品選択に誤りがないときには「する」ボタン７３にタッチし、誤りがある場合には「しない」ボタン７４にタッチする。その結果、商品選択に誤りがないときには認識辞書ファイル９への特徴量データの追加が実行されるが、誤りがある場合には認識辞書ファイル９への特徴量データの追加が実行されない。

このように本実施形態によれば、認識辞書への特徴量データの追加を簡単な操作でしかも効率よく行うことができる。

なお、本発明は、前記実施形態に限定されるものではない。
例えば前記実施形態では、認識辞書ファイル９への特徴量データの追加を実行するか否かの確認条件として「類似度差」と「候補順位」の２種類を示したが、どちらか１種類のみであってもよい。あるいは、他の条件を採用してもよい。

また、追加宣言受付手段４４は、追加を実行するか否かの宣言入力を促すボタン画像７３，７４をタッチパネル１２に表示して、追加を実行するか否かの宣言入力を受け付けたが、これに限定されるものではない。例えばキーボード１１の所定のキーの入力により追加を実行するか否かの宣言入力を受け付けてもよい。商品選択受付手段４３についても同様であり、登録商品選択画面６０の入力操作に限定されるものではない。要は、登録商品候補として認識された複数の商品の中からユーザが選択できればよい。

また、前記実施形態では、スキャナ装置１とＰＯＳ端末２とに、商品認識装置としての機能を持たせたが、スキャナ装置１またはＰＯＳ端末２の単体に商品認識装置としての機能を持たせてもよい。あるいは、スキャナ装置１がＰＯＳ端末２に組み込まれて一体となった装置に、商品認識装置の機能を持たせてもよい。

また、スキャナ装置１とＰＯＳ端末２とサーバとから商品認識装置を構成し、商品認識機能をサーバに持たせて、つまりは商品認識プログラムをサーバに持たせて、サーバにて商品候補の認識処理を実行してもよい。具体的には、スキャナにて商品の画像を撮像し、このスキャナで撮像した商品画像をサーバに送信する。サーバは、商品画像の特徴量と認識辞書に記憶されている特徴量とを照合して商品候補の認識処理を実行し、このサーバでの認識結果をＰＯＳ端末２に出力する。

なお、前記実施形態は、装置内部のプログラム記憶部であるＲＯＭに発明の機能を実現させる制御プログラムが予め記録されているものとした。しかしこれに限らず、同様のプログラムがネットワークから装置にダウンロードされてもよい。あるいは、記録媒体に記録された同様のプログラムが、装置にインストールされてもよい。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…スキャナ装置、２…ＰＯＳ端末、９…認識辞書ファイル、１１…キーボード、１２…タッチパネル、１４…撮像部、４１…特徴量抽出手段、４２…商品候補抽出手段、４３…商品選択受付手段、４４…追加宣言受付手段、４５…追加手段。

Claims (5)

1. 撮像された画像からその画像に含まれる商品の外観特徴量を抽出する特徴量抽出手段と、
   この特徴量抽出手段により抽出された外観特徴量のデータを、認識対象である商品毎にその商品の表面情報を表わす特徴量データが保存される認識辞書ファイルの前記特徴量データと照合して、前記画像に含まれる商品の候補を認識する認識手段と、
   この認識手段により認識された候補から前記画像に含まれる商品が特定されない場合、前記画像に含まれる商品を前記候補の中から特定するための入力を受け付ける受付手段と、
   前記特徴量抽出手段により抽出された前記外観特徴量のデータを、前記受付手段で受け付けた入力により特定された商品に対する特徴量データとして前記認識辞書ファイルに追加する追加手段と、
   を具備し、
   前記認識手段により認識された候補から前記画像に含まれる商品が特定された場合には前記外観特徴量のデータを前記認識辞書ファイルに追加しないことを特徴とする商品認識装置。
2. 前記追加手段は、前記受付手段で受け付けた入力により特定された商品が、前記認識手段により認識された候補の中で前記特徴量抽出手段により抽出された外観特徴量のデータと前記認識辞書ファイルに保存される当該商品の特徴量データとの類似度が１位以外の商品であるときには前記外観特徴量のデータを前記認識辞書ファイルに追加し、１位の場合には追加しないことを特徴とする請求項１記載の商品認識装置。
3. 前記認識手段により認識された候補を表示する表示手段と、
   前記表示手段に表示される候補の切り替えを指示する指示手段と、
   をさらに具備し、
   前記受付手段は、前記表示手段に表示された候補の中から前記画像に含まれる商品を特定するための入力を受け付けることを特徴とする請求項１または２記載の商品認識装置。
4. プロセッサが、撮像された画像からその画像に含まれる商品を認識する商品認識方法であって、
   前記プロセッサは、
   前記画像に含まれる商品の外観特徴量を抽出し、
   抽出された外観特徴量のデータを、認識対象である商品毎にその商品の表面情報を表わす特徴量データが保存される認識辞書ファイルの前記特徴量データと照合して、前記画像に含まれる商品の候補を認識し、
   前記候補から前記画像に含まれる商品が特定されるか否かを判定し、
   特定されない場合、前記候補の中から前記画像に含まれる商品を特定するための入力を受け付け、商品が特定されると、前記外観特徴量のデータを前記特定された商品に対する特徴量データとして前記認識辞書ファイルに追加し、
   特定される場合、前記外観特徴量のデータを前記認識辞書ファイルに追加しない、
   ことを特徴とする商品認識方法。
5. コンピュータに、
   撮像された画像からその画像に含まれる商品の外観特徴量を抽出する機能、
   抽出された外観特徴量のデータを、認識対象である商品毎にその商品の表面情報を表わす特徴量データが保存される認識辞書ファイルの前記特徴量データと照合して、前記画像に含まれる商品の候補を認識する機能、
   認識された候補から前記画像に含まれる商品が特定されるか判定する機能、
   前記画像に含まれる商品が特定されない場合、前記画像に含まれる商品を前記候補の中から特定するための入力を受け付ける機能、及び、
   前記入力により特定された商品に対する特徴量データとして、前記外観特徴量のデータを前記認識辞書ファイルに追加する機能、
   を実現させるための認識辞書追加プログラム。

Images