JP5707375B2 - 商品認識装置及び商品認識プログラム - Google Patents

Description

本発明の実施形態は、撮像部で撮像した画像データから商品を認識する商品認識装置及びコンピュータを当該商品認識装置にとして機能させるための商品認識プログラムに関する。

対象となる物品（オブジェクト）を撮像部で撮像した画像データから当該物品の外観特徴量を抽出し、認識辞書ファイルに登録された基準画像の特徴量データと照合して類似度を算出し、この類似度に応じて当該物品の種別等を認識する技術がある。このような画像中に含まれる物品を認識する技術は、一般物体認識（generic object recognition）と呼ばれる。この一般物体認識の技術については、下記の文献において各種認識技術が解説されている。

柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６［平成２２年８月１０日検索］，インターネット＜ URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf ＞
また、画像をオブジェクト毎に領域分割することによって、一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，［平成２２年８月１０日検索］，インターネット＜ URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf ＞
近年、例えば小売店の会計システム（ＰＯＳシステム）において、顧客が買い上げる商品、特に、野菜、果物等のようにバーコードが付されていない商品の認識装置に、上述した一般物体認識の技術を適用することが提案されている。この場合、オペレータ（店員または客）は撮像部に向けて認識対象の商品を翳すが、翳した際に撮像部から商品までの距離が必ずしも一定になるとは限らない。その一方で、撮像部の画素数は一定であるため、撮像部から商品までの距離によって撮影画像の解像度は異なる。このため、撮像画像から抽出される商品の外観特徴量と基準画像の特徴量データとを比較した際に、撮影画像と基準画像の解像度が異なるために類似度が低くなり、認識率が低下する懸念がある。

特開２００１−０９２９７５号公報

本発明が解決しようとする課題は、撮像部から商品までの距離の変化によって認識率が低下するのを防止できる商品認識装置を提供しようとするものである。

一実施形態において、商品認識装置は、特徴量抽出手段、距離測定手段、ファイル選択手段、類似度算出手段及び確定手段を含む。特徴量抽出手段は、商品を撮影する撮像部で撮影された画像からその画像に含まれる商品の外観特徴量を抽出する。距離測定手段は、撮像部からこの撮像部で撮影された商品までの距離を測定する。ファイル選択手段は、距離別認識辞書ファイルのなかから、距離測定手段で測定された距離に相当する認識辞書ファイルを選択する。距離別認識辞書ファイルは、認識対象商品を撮影したときの撮影距離別にその撮影距離で認識対象商品を撮影した画像から得られる当該認識対象商品の表面情報を表わす特徴量データを、その特徴量データがその商品にとって適正な撮影距離で撮影された基準画像から得られたか否かを識別する情報とともに保存する。類似度算出手段は、特徴量抽出手段により抽出された外観特徴量を、ファイル選択手段により選択された認識辞書ファイルの特徴量データと照合して、外観特徴量が特徴量データに対してどの程度類似しているかを示す類似度を認識対象商品毎に算出する。確定手段は、類似度算出手段により認識対象商品毎に算出される類似度の最大値が予め設定された確定値以上であり、かつその最大値となる類似度が適正な撮影距離で撮影された基準画像から得られた特徴量データにより算出された場合に、この類似度を有する認識対象商品を撮像部で撮影された商品として確定する。

一実施形態である店舗会計システムの外観図。 同店舗会計システムのスキャナ装置とＰＯＳ端末とのハードウェア構成を示すブロック図。 第１の実施形態において、認識辞書ファイルに保存される商品別辞書データの構造を示す模式図。 判定テーブルのデータ構造を示す模式図。 スキャナ装置の読取窓に商品を翳したときの状態と、そのとき撮影されるフレーム画像の一例とを示す模式図。 スキャナ装置の読取窓に商品を翳したときの状態と、そのとき撮影されるフレーム画像の一例とを示す模式図。 第１の実施形態において、スキャナ装置が有する商品認識装置としての機能を示すブロック図。 第１の実施形態において、商品認識プログラムにしたがってスキャナ装置のＣＰＵが実行する情報処理手順の要部を示す流れ図。 図８における認識処理の手順を具体的に示す流れ図。 撮影距離が短距離のときにタッチパネルに表示される画面の一例を示す図。 撮影距離が中距離のときにタッチパネルに表示される画面の一例を示す図。 撮影距離が長距離のときにタッチパネルに表示される画面の一例を示す図。 第２の実施形態における認識辞書ファイルの構成を示す模式図。 第２の実施形態において、認識辞書ファイルに保存される商品別辞書データの構造を示す模式図。 第２の実施形態において、スキャナ装置が有する商品認識装置としての機能を示すブロック図。 第１の実施形態において、商品認識プログラムにしたがってスキャナ装置のＣＰＵが実行する情報処理手順の要部を示す流れ図。 図８における認識処理の手順の前半部を具体的に示す流れ図。 図８における認識処理の手順の後半部を具体的に示す流れ図。

以下、商品認識装置の実施形態について、図面を用いて説明する。なお、本実施形態は、野菜，果物等を商品として取扱う小売店の店舗会計システムを構築するスキャナ装置１に、商品認識装置としての機能を持たせた場合である。

[第１の実施形態]
図１は、店舗会計システムの外観図である。このシステムは、顧客が買い上げる商品を登録する登録部としてのスキャナ装置１と、顧客の代金支払いを処理する決済部としてのＰＯＳ（Point Of Sales）端末２とを含む。スキャナ装置１は、会計カウンタ３の上に取り付けられる。ＰＯＳ端末２は、レジ台４の上にドロワ５を介して設置される。スキャナ装置１とＰＯＳ端末２とは、通信ケーブル３００（図２を参照）によって電気的に接続される。

スキャナ装置１は、キーボード１１、タッチパネル１２及び客用ディスプレイ１３を備える。これらの表示・操作デバイス（キーボード１１、タッチパネル１２、客用ディスプレイ１３）は、スキャナ装置１の本体を構成する薄型矩形形状のハウジング１Ａに取り付けられる。

ハウジング１Ａには、撮像部１４が内蔵される。また、矩形状の読取窓１Ｂが、ハウジング１Ａの正面に形成される。撮像部１４は、エリアイメージセンサであるＣＣＤ（Charge Coupled Device）撮像素子及びその駆動回路と、撮像領域の画像をＣＣＤ撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、読取窓１Ｂから撮像レンズを通してＣＣＤ撮像素子のエリアに結像するフレーム画像の領域を指す。撮像部１４は、撮像レンズを通ってＣＣＤ撮像素子に結像した撮像領域の画像を出力する。なお、撮像部はCMOS(complementary metal oxide semiconductor)イメージセンサであってもよい。

前記読取窓１Ｂの近傍には、後述する距離測定手段７２としての距離センサ１５が設けられる。距離センサ１５は、前記撮像部１４からこの撮像部１４で撮影された商品までの距離計測に供せられる。かような距離センサ１５としては、赤外線ＬＥＤとフォトトランジスタとを組み合わせたもの、あるいは超音波やレーザ光を用いたもの等の周知の距離センサが適用可能である。

ＰＯＳ端末２は、決済に必要なデバイスとしてキーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３及びレシートプリンタ２４を備える。

会計カウンタ３は、その奥側の顧客通路に沿って細長い形状である。レジ台４は、会計カウンタ３に沿って移動する顧客の移動方向に対して下流側の会計カウンタ３の端部手前側に、会計カウンタ３に対して略垂直に置かれる。そして、この会計カウンタ３の手前側とレジ台４の手前側が、会計担当の店員いわゆるキャッシャのスペースとなる。

会計カウンタ３の略中央には、スキャナ装置１のハウジング１Ａが、キーボード１１、タッチパネル１２及び読取窓１Ｂをそれぞれ手前側のキャッシャ側に向けて立設される。スキャナ装置１の客用ディスプレイ１３は、顧客通路側を向いてハウジング１Ａに取り付けられる。

会計カウンタ３のスキャナ装置１を挟んで顧客移動方向上流側の荷受面は、買物客が購入する未登録の商品Ｍが入れられた買物カゴ６を置くためのスペースとなる。他方、下流側の荷受面は、スキャナ装置１により登録された商品Ｍを入れるための買物カゴ７を置くためのスペースとなる。

図２は、スキャナ装置１とＰＯＳ端末２とのハードウェア構成を示すブロック図である。スキャナ装置１は、スキャナ部１０１と操作・出力部１０２とを備える。スキャナ部１０１は、制御部本体としてＣＰＵ（Central Processing Unit）１１１を搭載する。そしてこのＣＰＵ１１１に、アドレスバス，データバス等のバスライン１１２を介して、ＲＯＭ（Read Only Memory）１１３とＲＡＭ（Random Access Memory）１１４とが接続される。ＲＯＭ１１３には、後述する商品認識プログラム等、ＣＰＵ１１１によって実行されるプログラムが記憶される。

この他、バスライン１１２には、入出力回路（不図示）を介して前記撮像部１４と距離センサ１５とが接続される。また、バスライン１１２は、接続インターフェース１１５及び接続インターフェース１１６を介して延長され、このバスライン１１２に前記キーボード１１、タッチパネル１２及び客用ディスプレイ１３が接続される。タッチパネル１２は、パネル型のディスプレイ１２ａと、このディスプレイ１２ａの画面上に重ねて配置されたタッチパネルセンサ１２ｂとを備える。また、音声合成部１６も、バスライン１１２に接続される。音声合成部１６は、バスライン１１２を介して入力されるコマンドに応じて音声信号をスピーカ１７に出力する。スピーカ１７は、音声信号を音声に変換して出力する。

前記接続インターフェース１１６と、前記キーボード１１、タッチパネル１２、客用ディスプレイ１３及び音声合成部１６とは、前記操作・出力部１０２を構成する。操作・出力部１０２を構成する各部は、スキャナ部１０１のＣＰＵ１１１のみならず、後述するＰＯＳ端末２のＣＰＵ２０１によってもコントロールされる。

ＰＯＳ端末２も、制御部本体としてＣＰＵ２０１を搭載する。そしてこのＣＰＵ２０１に、バスライン２０２を介して、ＲＯＭ２０３、ＲＡＭ２０４、補助記憶部２０５、通信インターフェース２０６及び接続インターフェース２０７が接続される。また、バスライン２０２には、前記キーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３、プリンタ２４及びドロワ５の各部も、それぞれ入出力回路（不図示）を介して接続される。

通信インターフェース２０６は、ＬＡＮ（Local Area Network）等のネットワークを介して、店舗の中枢を担う店舗サーバ（不図示）と接続される。この接続により、ＰＯＳ端末２は、店舗サーバとデータの送受信が可能となる。

接続インターフェース２０７は、通信ケーブル３００を介して、スキャナ装置１の両接続インターフェース１１５，１１６と接続される。この接続により、ＰＯＳ端末２は、スキャナ装置１のスキャナ部１０１から情報を受信する。また、ＰＯＳ端末２は、スキャナ装置１の操作・出力部１０２を構成するキーボード１１、タッチパネル１２、客用ディスプレイ１３、音声合成部１６との間でデータ信号を送受信する。一方、スキャナ装置１は、この接続により、ＰＯＳ端末２の補助記憶部２０５に保存されているデータファイルにアクセスする。

補助記憶部２０５は、例えばＨＤＤ（Hard Disk Drive）装置またはＳＳＤ（Solid State Drive）装置であって、種々のプログラムの他、認識辞書ファイル３０等のデータファイルを保存する。認識辞書ファイル３０には、短距離辞書ファイル３１と中距離辞書ファイル３２と長距離辞書ファイル３３とがある。

図３は、各認識辞書ファイル３１〜３３に保存される商品別辞書データの構造を示す模式図である。図３に示すように、商品別辞書データは、認識対象商品を識別する商品ＩＤ及び商品名と、適正距離フラグＦ０と、特徴量データとを含む。適正距離フラグＦ０については後述する。特徴量データは、対応する商品ＩＤで識別される商品を撮影した基準画像から、その商品の表面情報（外観形状、色合い、模様、凹凸具合等）である外観上の特徴量を抽出し、この外観特徴量をパラメータで表わしたもので、１つの認識対象商品に対し、その商品を様々な方向から見たときの特徴量データ０〜ｎが存在する。なお、特徴量データの数（ｎ＋１）は、固定ではない。また、特徴量データの数（ｎ＋１）は認識対象商品によって異なる。また、商品名は必ずしも商品別辞書データに含まれていなくてもよい。

短距離辞書ファイル３１には、基準画像を得るために認識対象商品を撮影した際の撮像手段（カメラ）と商品との距離、いわゆる撮影距離が予め設定された第１の距離Ｄ１（ｃｍ）未満のときの基準画像から得られた特徴量データを含む商品別辞書データが保存される。中距離辞書ファイル３２には、撮影距離が前記第１の距離Ｄ１以上で、かつこの第１の距離Ｄ１よりも長い第２距離Ｄ２（ｃｍ）未満のときの基準画像から得られた特徴量データを含む商品別辞書データが保存される。長距離辞書ファイル３３には、撮影距離が前記第２の距離Ｄ２以上のときの基準画像から得られた特徴量データを含む商品別辞書データが保存される。

本実施形態では、各認識対象商品の商品別辞書データが、短距離辞書ファイル３１、中距離辞書ファイル３２及び長距離辞書ファイル３３に対してそれぞれ保存される。すなわち、認識対象商品毎に第１の距離Ｄ１未満の撮影距離で撮影した第１の基準画像と、第１の距離Ｄ１以上で第２の距離Ｄ２未満の撮影距離で撮影した第２の基準画像と、第２の距離Ｄ２以上の撮影距離で撮影した第３の基準画像とを用意し、各基準画像からそれぞれ特徴量データを取得して商品別辞書データを作成し、各々を該当する撮影距離別の認識辞書ファイル３１〜３３に登録しておく。

ここで、撮影距離と認識率との関係について説明する。
図５及び図６は、スキャナ装置１の読取窓１Ｂに商品（リンゴ）Ｍを翳したときの状態と、そのとき撮影されるフレーム画像Ｇ１，Ｇ２の一例とを示す模式図である。図５は、撮影距離が短い場合（距離＝ｄ１）を示しており、図６は、撮影距離が長い場合（距離＝ｄ２：ｄ２＞ｄ１）を示している。

図５のフレーム画像Ｇ１と図６のフレーム画像Ｇ２とを比較すれば明らかなように、読取窓１Ｂから商品Ｍまでの距離が近いとき、すなわち撮影距離が短いときにはフレーム画像Ｇ１のサイズに対して商品Ｍが大きく映し出され、距離が遠いとき、すなわち撮影距離が長いときにはフレーム画像Ｇ２のサイズに対して商品Ｍが小さく映し出される。その結果、フレーム画像Ｇ１とフレーム画像Ｇ２とを同一サイズのセルで格子状に区分すると、商品Ｍを映し出すセルの数は、撮影距離が長いときよりも短いときの方が多い。つまり、撮影距離が短いときにはフレーム画像Ｇ１に映し出される商品Ｍの解像度が高くなり、撮影距離が長いときには解像度が低くなる。

一般物体認識の技術では、撮像部１４によって撮影された画像の解像度と、基準画像の解像度とが近似していればいるほど、認識率が高くなる傾向がある。つまり、図５に示すように、読取窓１Ｂから商品Ｍまでの距離が近いときには、短距離辞書ファイル３１または中距離辞書ファイル３２に保存された特徴量データを用いれば認識率が高いが、長距離辞書ファイル３３に保存された特徴量データであれば認識率が低くなる。逆に、図６に示すように、読取窓１Ｂから商品Ｍまでの距離が遠いときには、長距離辞書ファイル３３または中距離辞書ファイル３２に保存された特徴量データを用いれば認識率が高いが、短距離辞書ファイル３１に保存された特徴量データであれば認識率が低くなる。

その一方で、商品は種類によって大きさが異なる。例えば同じ柑橘類であっても、「蜜柑」のように小さいものから「文丹」のように大きいものまで存在する。サイズが小さい認識対象商品の場合、長距離辞書ファイル３３用の特徴量データを得るために認識対象商品を第２の距離Ｄ２以上の撮影距離で撮影すると、基準画像の解像度が著しく低くなる。このため、信頼度の高い特徴量データを得ることはできない。逆に、サイズが大きい認識対象商品の場合には、短距離辞書ファイル３１用の特徴量データを得るために認識対象商品を第１の距離Ｄ１未満の撮影距離で撮影すると、商品画像がフレームからはみ出してしまう。このため、やはり信頼度の高い特徴量データは得られない。特徴量データの信頼度が低いということは、認識結果に対する信頼性も低くなる。つまり、商品を認識する際には、その商品のサイズによって適正な撮影距離というものが存在する。

本実施形態では、認識対象商品毎に、適正な撮影距離で撮影された基準画像から生成された特徴量データを含む商品別辞書データの適正距離フラグＦ０を“１”とし、適正でない撮影距離で撮影された基準画像から生成された特徴量データを含む商品別辞書データの適正距離フラグＦ０を“０”とする。

図７は、商品認識装置としての機能を示すブロック図である。本実施形態では、この機能をスキャナ装置１が有する。すなわちスキャナ装置１は、撮像部１４の撮像領域に翳された商品Ｍを認識し、販売商品として確定するまでの機能として、特徴量抽出手段７１、距離測定手段７２、ファイル選択手段７３、類似度算出手段７４、候補出力手段７５、第１の確定手段７６及び第２の確定手段７７を備える。

特徴量抽出手段７１は、撮像部１４で撮影された画像からその画像に含まれる商品Ｍの外観特徴量を抽出する。距離測定手段（距離センサ１５）７２は、撮像部１４からこの撮像部１４で撮影された商品Ｍまでの距離を測定する。ファイル選択手段７３は、撮影距離別の認識辞書ファイル（短距離辞書ファイル３１、中距離辞書ファイル３２、長距離辞書ファイル３３）のなかから、距離測定手段７２で測定された距離に相当する認識辞書ファイル３Ｘ（Ｘ＝１，２ｏｒ３）を選択する。

ファイル選択手段７３は、図４に示すデータ構造の判定テーブル４０を使用する。判定テーブル４０は、短距離辞書ファイル３１、中距離辞書ファイル３２及び長距離辞書ファイル３３をそれぞれ識別する辞書ファイル名に関連付けて、その辞書ファイルに登録されている商品別辞書データに係る撮影距離ｄの範囲を設定したものであり、例えばＲＡＭ１１４に記憶される。すなわち、短距離辞書ファイル３１の辞書ファイル名に関連付けて、第１の距離Ｄ１未満の範囲が設定され、中距離辞書ファイル３２の辞書ファイル名に関連付けて、第１の距離Ｄ１以上で第２の距離Ｄ２未満の範囲が設定され、長距離辞書ファイル３３の辞書ファイル名に関連付けて、第２の距離Ｄ２以上の範囲が設定される。ファイル選択手段７３は、距離測定手段７２で測定された距離ｄが含まれる範囲の辞書ファイル名で特定される認識辞書ファイル３Ｘを選択する。

類似度算出手段７４は、特徴量抽出手段７１により抽出された外観特徴量を、ファイル選択手段７３により選択された認識辞書ファイル３Ｘの特徴量データと照合して、外観特徴量が特徴量データに対してどの程度類似しているかを示す類似度を認識対象商品毎に算出する。候補出力手段７５は、類似度算出手段７４により算出される類似度に基づいて認識対象商品を認識商品候補としてタッチパネル１２に選択可能に表示出力する。

第１の確定手段７６は、タッチパネル１２に表示された認識商品候補の中から選択された認識対象商品を撮像部１４で撮影された商品Ｍとして確定する。第２の確定手段７７は、候補出力手段７５により認識商品候補として出力される認識対象商品の最大類似度が予め設定された確定値以上であり、かつその最大類似度が適正な撮影距離で撮影された基準画像から得られた特徴量データにより算出された場合に、この最大類似度を有する認識対象商品を撮像部１４で撮影された商品として確定する。

各手段７１〜７７は、スキャナ装置１のＣＰＵ１１１が、商品認識プログラムに従って動作することで実現される。商品認識プログラムが起動すると、スキャナ装置１のＣＰＵ１１１は、図８の流れ図に示す手順で各部を制御する。

先ず、ＣＰＵ１１１は、後述する商品確定フラグＦ１を“０”にリセットする（ＳＴ１）。商品確定フラグＦ１は、ＲＡＭ１１４に格納されている。またＣＰＵ１１は、撮像部１４に対して撮像オン信号を出力する（ＳＴ２）。この撮像オン信号により、撮像部１４が撮像領域の撮像を開始する。撮像部１４で撮像された撮像領域のフレーム画像は、ＲＡＭ１１４に順次保存される。因みに、ステップＳＴ１とステップＳＴ２との処理手順は逆でもよい。

撮像オン信号を出力したＣＰＵ１１１は、ＲＡＭ１１４に保存されたフレーム画像を取り込む（ＳＴ３）。そしてＣＰＵ１１１は、このフレーム画像に商品が撮影されているか否かを確認する（ＳＴ４）。具体的には、ＣＰＵ１１１は、フレーム画像を二値化した画像から輪郭線等を抽出する。そしてＣＰＵ１１１は、フレーム画像に映し出されている物体の輪郭抽出を試みる。物体の輪郭が抽出されると、ＣＰＵ１１１は、その輪郭内の画像を商品とみなす。

フレーム画像に商品が撮影されていない場合（ＳＴ４にてＮＯ）、ＣＰＵ１１１は、ＲＡＭ１０４から次のフレーム画像を取り込む（ＳＴ３）。そしてＣＰＵ１１１は、このフレーム画像に商品が撮影されているか否かを確認する（ＳＴ４）。

フレーム画像に商品Ｍが撮影されていた場合（ＳＴ４にてＹＥＳ）、ＣＰＵ１１１は、距離センサ１５を作動させて、撮像部１４から商品Ｍまでの撮影距離ｄを測定する（ＳＴ５：距離測定手段７４）。撮影距離ｄが測定されたならば、ＣＰＵ１１１は、判定テーブル４０を参照して、当該撮影距離ｄが含まれる距離範囲に関連付けられた辞書ファイル名を取得し、この辞書ファイル名で特定される認識辞書ファイル３Ｘ（Ｘ＝１、２ｏｒ３）を選択する（ＳＴ６：ファイル選択手段７３）。また、ＣＰＵ１１１は、フレーム画像から抽出された輪郭内の画像から商品Ｍの形状、表面の色合い、模様、凹凸状況等の外観特徴量を抽出する（ＳＴ６：特徴量抽出手段７１）。因みに、ステップＳＴ５，６とステップＳＴ７との処理手順は逆でもよい。

こうして、撮影距離ｄに相当する認識辞書ファイル３Ｘを選択するとともに、商品Ｍの外観特徴量を取得すると、ＣＰＵ１１１は、認識処理を起動する（ＳＴ８）。

図９は、認識処理の手順を示す流れ図である。先ずＣＰＵ１１１は、接続インターフェース１１５を介して接続されるＰＯＳ端末２の補助記憶部２０５にアクセスして、選択された認識辞書ファイル３Ｘを検索する（ＳＴ２１）。そしてＣＰＵ１１１は、認識辞書ファイル３Ｘから１商品のデータレコード（商品ＩＤ、商品名、適正距離フラグＦ０、特徴量データ０〜ｎ）を読み込む（ＳＴ２２）。

データレコードを読み込めたならば、ＣＰＵ１１１は、当該レコードの特徴量データ０〜ｎ毎に、ステップＳＴ７の処理で抽出された商品の外観特徴量が当該特徴量データ０〜ｎに対してどの程度類似しているかを示す類似度を算出する。そしてＣＰＵ１１１は、特徴量データ０〜ｎ毎に算出された類似度の最大値を、当該レコードの商品ＩＤで特定される商品と検出された商品Ｍとの類似度として決定する（ＳＴ２３：類似度算出手段７４）。なお、決定される類似度は、特徴量データ０〜ｎ毎に算出された類似度の最大値でなく、特徴量データ０〜ｎ毎に算出された類似度の合計値あるいは平均値等であってもよい。

ＣＰＵ１１１は、ステップＳＴ２３の処理で決定された類似度が予め設定された候補閾値Ｌｍｉｎを超えるか否かを確認する（ＳＴ２４）。類似度が候補閾値Ｌｍｉｎを超えていない場合（ＳＴ２４にてＮＯ）、ＣＰＵ１１１は、ステップＳＴ２６の処理に進む。

類似度が候補閾値Ｌｍｉｎを超えている場合には（ＳＴ２４にてＹＥＳ）、ＣＰＵ１１１は、当該レコードの商品ＩＤ及び適正距離フラグＦ０と類似度とを登録商品候補（認識商品候補）のデータとして、ＲＡＭ１１４に格納する（ＳＴ２５）。しかる後、ＣＰＵ１１１は、ステップＳＴ２６の処理に進む。

ステップＳＴ２６では、ＣＰＵ１１１は、認識辞書ファイル３Ｘに未処理のデータレコードが存在するか否かを確認する。存在する場合（ＳＴ２６にてＹＥＳ）、ＣＰＵ１１１は、ステップＳＴ２２の処理に戻る。すなわちＣＰＵ１１１は、認識辞書ファイル３Ｘから未処理のデータレコードを読み込み、前記ステップＳＴ２３〜ＳＴ２５の処理を実行する。

認識辞書ファイル３Ｘに未処理のデータレコードが存在しない場合、すなわち認識辞書ファイル３０の検索を終了したならば（ＳＴ２６にてＮＯ）、ＣＰＵ１１１は、登録商品候補のデータがＲＡＭ１１４に格納されているか否かを確認する（ＳＴ２７）。登録商品候補のデータが格納されていない場合（ＳＴ２７にてＮＯ）、今回の認識処理が終了する。

登録商品候補のデータが格納されている場合には（ＳＴ２７にてＹＥＳ）、ＣＰＵ１１１は、ＲＡＭ１１４に格納された登録商品候補のデータの最大類似度が予め設定された確定閾値Ｌｍａｘ（Ｌｍａｘ＞Ｌｍｉｎ）を超えるか否かを確認する（ＳＴ２８）。最大類似度が確定閾値Ｌｍａｘを超えない場合（ＳＴ２８にてＹＥＳ）、ＣＰＵ１１１は、ＲＡＭ１１４に格納された登録商品候補のデータの中から類似度が大きい順に最大でＫ（Ｋ＞２）品目の商品を選択する。そしてＣＰＵ１１１は、選択した最大Ｋ品目の商品を登録商品候補の商品リストとしてディスプレイ１２ａに表示する（ＳＴ３０：候補出力手段７５）。そしてＣＰＵ１１１は、当該商品リストの中からいずれかの商品が選択されたか否かを確認する（ＳＴ３１）。例えばキーボード１１の再検索キーが入力されて選択されないことが宣言された場合（ＳＴ３３にてＮＯ）、今回の認識処理が終了する。

一方、タッチパネル１２またはキーボード１１の操作入力により、登録商品候補の商品リストの中からいずれか１商品が選択された場合には（ＳＴ３１にてＹＥＳ）、ＣＰＵ１１１は、この選択された商品の商品ＩＤをＲＡＭ１１４から取得する（ＳＴ３２）。そしてＣＰＵ１１１は、この取得した商品ＩＤを、販売商品の商品ＩＤとして確定し、通信ケーブル３３０を介してＰＯＳ端末２に送信する（ＳＴ３３：第１の確定手段７６）。またＣＰＵ１１１は、商品確定フラグＦ１を“１”にセットする（ＳＴ３４）。以上で、今回の認識処理が終了する。

また、ステップＳＴ２８にて登録商品候補のデータの最大類似度が確定閾値Ｌｍａｘを超える場合には（ＳＴ２８にてＹＥＳ）、ＣＰＵ１１１は、この登録商品候補のデータに含まれる適正距離フラグＦ０を調べる（ＳＴ２９）。適正距離フラグＦ０が“０”にリセットされている場合（ＳＴ２９にてＮＯ）、最大類似度は、適正でない撮影距離で撮影された基準画像によって生成された特徴量データから算出された類似度なので、前記ステップＳＴ３０の処理に進む。すなわち、ＣＰＵ１１１は、登録商品候補のデータの中から類似度の大きい順に選択した最大Ｋ品目の商品を登録商品候補の商品リストとしてディスプレイ１２ａに表示する。以後、ＣＰＵ１１１は、前記ステップＳＴ３１〜ＳＴ３４の処理を実行する。

これに対し、適正距離フラグＦ０が“１”にセットされていた場合には（ＳＴ２９にてＹＥＳ）、ＣＰＵ１１１は、ステップＳＴ３３の処理に進む。すなわちＣＰＵ１１１は、最大類似度を有する商品の商品ＩＤをＲＡＭ１１４から取得する。そしてＣＰＵ１１１は、この取得した商品ＩＤを、販売商品の商品ＩＤとして確定し、通信ケーブル３３０を介してＰＯＳ端末２に送信する（ＳＴ３３：第２の確定手段７７）。また、ＣＰＵ１１１は、商品確定フラグＦ１を“１”にセットする（ＳＴ３４）。因みに、ステップＳＴ３３とステップＳＴ３４との処理手順は逆でもよい。以上で、今回の認識処理は終了する。

認識処理が終了すると、ＣＰＵ１１１は、商品確定フラグＦ１が“１”にセットされたか否かを確認する（ＳＴ９）。商品確定フラグＦ１が“１”にセットされていない場合（ＳＴ９にてＮＯ）、ＣＰＵ１１１は、ステップＳＴ３に戻る。すなわちＣＰＵ１１１は、ＲＡＭ１１４に保存されている別のフレーム画像を取り込む（ＳＴ３）。そしてＣＰＵ１１１は、前記ステップＳＴ４以降の処理を再度実行する。

商品確定フラグＦ１が“１”にセットされていた場合には（ＳＴ９にてＹＥＳ）、ＣＰＵ１１１は、撮像部１４に対して撮像オフ信号を出力する（ＳＴ１０）。この撮像オフ信号により、撮像部１４は撮像を中止する。以上で、商品認識プログラムは終了する。

図１０は、読取窓１Ｂに翳された商品Ｍと撮像部１４との距離ｄが、第２の距離Ｄ２よりも遠いときに、タッチパネル１２に表示される画面１２０の一例である。画面１２０は、画像表示領域１２１と商品候補領域１２２とに区分される。そして画像表示領域１２１には、ステップＳＴ３の処理で取り込まれたフレーム画像が表示される。また商品候補領域１２２には、ステップＳＴ６の処理により選択された長距離辞書ファイル３３の特徴量データを用い、ステップＳＴ９の認識処理により得られたＫ品目（図では６品目）の商品が登録商品候補として選択可能に表示される。

長距離辞書ファイル３３には、撮影距離が第２の距離Ｄ２以上のときの基準画像から得られた特徴量データを含む商品別辞書データが保存されている。したがって、撮像部１４によって撮影された商品Ｍの画像は基準画像と解像度が近似しているので、認識率は高くなる。

図１１は、読取窓１Ｂに翳された商品Ｍと撮像部１４との距離ｄが、第１の距離Ｄ１よりも遠く、第２の距離Ｄ２よりも近いときに、タッチパネル１２に表示される画面１２０の一例である。画面１２０は、画像表示領域１２１と商品候補領域１２２とに区分される。そして画像表示領域１２１には、ステップＳＴ３の処理で取り込まれたフレーム画像が表示される。また商品候補領域１２２には、ステップＳＴ６の処理により選択された中距離辞書ファイル３２の特徴量データを用い、ステップＳＴ９の認識処理により得られたＫ品目（図では６品目）の商品が登録商品候補として選択可能に表示される。

中距離辞書ファイル３２には、撮影距離が前記第１の距離Ｄ１以上で、かつこの第１の距離Ｄ１よりも長い第２距離Ｄ２（ｃｍ）未満のときの基準画像から得られた特徴量データを含む商品別辞書データが保存されている。したがって、撮像部１４によって撮影された商品Ｍの画像は基準画像と解像度が近似しているので、認識率は高くなる。

図１２は、読取窓１Ｂに翳された商品Ｍと撮像部１４との距離ｄが、第１の距離Ｄ１よりも近いときに、タッチパネル１２に表示される画面１２０の一例である。画面１２０は、画像表示領域１２１と商品候補領域１２２とに区分される。そして画像表示領域１２１には、ステップＳＴ３の処理で取り込まれたフレーム画像が表示される。また商品候補領域１２２には、ステップＳＴ６の処理により選択された短距離辞書ファイル３１の特徴量データを用い、ステップＳＴ９の認識処理により得られたＫ品目（図では６品目）の商品が登録商品候補として選択可能に表示される。

短距離辞書ファイル３１には、撮影距離が予め設定された第１の距離Ｄ１（ｃｍ）未満のときの基準画像から得られた特徴量データを含む商品別辞書データが保存されている。したがって、撮像部１４によって撮影された商品Ｍの画像は基準画像と解像度が近似しているので、認識率は高くなる。

登録商品候補の中に該当商品Ｍが含まれている場合、ユーザは、その商品Ｍにタッチする等して選択する。そうすると、該当商品Ｍが販売商品として確定され、ＰＯＳ端末２に売上登録される。

また、登録商品候補が表示される前に、スキャナ装置１では、登録商品候補の最大類似度が確定閾値Ｌｍａｘを超えるか否かが判定される。そして、最大類似度が確定閾値Ｌｍａｘを超える場合には、この最大類似度を有する登録商品候補のデータの適正距離フラグＦ０がチェックされる。ここで、適正距離フラグＦ０が“１”にセットされていた場合、この最大類似度を有する登録商品候補の商品ＩＤで特定される商品が販売商品として自動的に確定され、ＰＯＳ端末２に売上登録される。

例えば、商品「蜜柑」はサイズが小さい。このため、短距離辞書ファイル３１に登録されている認識対象商品「蜜柑」の商品別辞書データは、適正距離フラグＦ０が、信頼性が高いことを意味する“１”にセットされている。この場合において、ユーザが商品「蜜柑」を撮像部１４に対して第１の距離Ｄ１より近くに翳すと、スキャナ装置１では短距離辞書ファイル３１が選択される。そして、撮影画像から得られる商品「蜜柑」の外観特徴量と、短距離辞書ファイル３１に登録されている認識対象商品「蜜柑」の特徴量データとの類似度が算出される。ここで、この類似度が最大類似度であり、かつ確定閾値Ｌｍａｘを超える場合、商品「蜜柑」は自動的にＰＯＳ端末２に売上登録される。したがって、ユーザが登録商品候補の中から該当する商品Ｍを選択する手間なく、該当商品を販売商品として確定することができる。

このように本実施形態によれば、読取窓１Ｂに翳された商品から撮像部１４までの撮影距離ｄに応じて使用する認識辞書ファイル３１，３２，３３を切り替えて商品認識を行うので、スキャナ装置１は、撮影距離ｄに係らず高い認識率で商品を認識することができる。

［第２の実施形態］
次に、第２の実施形態について、図１３〜図１８を用いて説明する。なお、本実施形態も第１の実施形態と同様にスキャナ装置１に商品認識装置としての機能を持たせた場合である。このため、店舗会計システムの外観図、スキャナ装置１とＰＯＳ端末２とのハードウェア構成を示すブロック図は、第１の実施形態と共通なので共通部分に同一符号を付し、詳しい説明は省略する。

図１３は、第２の実施形態で使用する認識辞書ファイル４０を示す模式図である。図示するように、第２の実施形態では、認識辞書ファイル４０として短距離辞書ファイル４１と長距離辞書ファイル４２との２種類を用いる。短距離辞書ファイル４１には、撮影距離が予め設定された閾値距離Ｄｘ（ｃｍ）未満のときの基準画像から得られた特徴量データを含む商品別辞書データが保存される。長距離辞書ファイル４２には、撮影距離が前記閾値距離Ｄｘ以上のときの基準画像から得られた特徴量データを含む商品別辞書データが保存される。

図１４は、各認識辞書ファイル４１，４２に保存される商品別辞書データの構造を示す模式図である。図示するように、商品別辞書データは、認識対象商品を識別する商品ＩＤ及び商品名と、複数の特徴量データ０〜ｎとを含む。

第１の実施形態で説明したように、認識対象商品には、サイズによって適正な撮影距離がある。例えば、蜜柑のように比較的サイズの小さい商品は、閾値距離Ｄｘよりも短い撮影距離が適正距離となる。これに対し、文旦のように比較的サイズの大きい商品は、閾値距離Ｄｘよりも長い撮影距離が適正距離となる。

本実施形態では、適正な撮影距離が閾値距離Ｄｘ未満の認識対象商品については、閾値距離Ｄｘ未満の撮影距離で撮影した基本画像から得られる特徴量データを含む商品別辞書データを短距離辞書ファイル４１に保存する。長距離辞書ファイル４２には、当該認識対象商品に関する商品別辞書データを保存しない。逆に、適正な撮影距離が閾値距離Ｄｘ以上の認識対象商品については、閾値距離Ｄｘ以上の撮影距離で撮影した基本画像から得られる特徴量データを含む商品別辞書データを長距離辞書ファイル４２に保存する。短距離辞書ファイル４１には、当該認識対象商品に関する商品別辞書データを保存しない。

図１５は、商品認識装置としての機能を示すブロック図である。本実施形態でも、この機能をスキャナ装置１が有する。すなわちスキャナ装置１は、撮像部１４の撮像領域に翳された商品Ｍを認識し、販売商品として確定するまでの機能として、特徴量抽出手段８１、類似度算出手段８２、候補出力手段８３、確定手段８４及び警告手段８５を備える。

特徴量抽出手段８１、撮像部１４で撮影された画像からその画像に含まれる商品の外観特徴量を抽出する。類似度算出手段８２は、特徴量抽出手段８１により抽出された外観特徴量を、距離別認識辞書ファイル４０（短距離辞書ファイル４１と長距離辞書ファイル４２との両方）の特徴量データと照合して、外観特徴量が特徴量データに対してどの程度類似しているかを示す類似度を認識対象商品毎に算出する。候補出力手段８３は、類似度算出手段８２により算出される類似度の大きい順に認識対象商品を認識商品候補としてタッチパネル１２に選択可能に表示出力する。警告手段８５は、認識商品候補の中から撮像部１４で撮影された商品Ｍが選択されないと、撮像部１４で撮影された商品と撮像部１４との間隔を変えるように警告する。

各手段８１〜８５は、スキャナ装置１のＣＰＵ１１１が、商品認識プログラムに従って動作することで実現される。商品認識プログラムが起動すると、スキャナ装置１のＣＰＵ１１１は、図１６の流れ図に示す手順で各部を制御する。

図１６において、ステップＳＴ３１〜ＳＴ３４までは、第１の実施形態のステップＳＴ１〜ＳＴ４までの処理と同一である。すなわちＣＰＵ１１１は、商品確定フラグＦ１を“０”にリセットし（ＳＴ３１）、撮像部１４に対して撮像オン信号を出力する（ＳＴ３２）。そしてＣＰＵ１１１は、フレーム画像を取り込み（ＳＴ３３）、このフレーム画像に商品が撮影されているか否かを確認する（ＳＴ３４）。

フレーム画像に商品が撮影されていない場合（ＳＴ３４にてＮＯ）、ＣＰＵ１１１は、ＲＡＭ１０４から次のフレーム画像を取り込む（ＳＴ３３）。そしてＣＰＵ１１１は、このフレーム画像に商品が撮影されているか否かを確認する（ＳＴ３４）。

フレーム画像に商品Ｍが撮影されていた場合（ＳＴ３４にてＹＥＳ）、ＣＰＵ１１１は、フレーム画像から抽出された輪郭内の画像から商品Ｍの形状、表面の色合い、模様、凹凸状況等の外観特徴量を抽出する（ＳＴ３５：特徴量抽出手段８１）。外観特徴量を抽出した後、ＣＰＵ１１１は、認識処理を起動する（ＳＴ３６）。

図１７及び図１８は、認識処理の手順を示す流れ図である。先ずＣＰＵ１１１は、接続インターフェース１１５を介して接続されるＰＯＳ端末２の補助記憶部２０５にアクセスして、短距離辞書ファイル４１を検索する（ＳＴ４１）。そしてＣＰＵ１１１は、短距離辞書ファイル４１から１商品のデータレコード（商品ＩＤ、商品名、特徴量データ０〜ｎ）を読み込む（ＳＴ４２）。

データレコードを読み込めたならば、ＣＰＵ１１１は、当該レコードの特徴量データ０〜ｎ毎に、ステップＳＴ３５の処理で抽出された商品の外観特徴量が当該特徴量データ０〜ｎに対してどの程度類似しているかを示す類似度を算出する。そしてＣＰＵ１１１は、特徴量データ０〜ｎ毎に算出された類似度の最大値を、当該レコードの商品ＩＤで特定される商品と検出された商品Ｍとの類似度として決定する（ＳＴ４３：類似度算出手段８２）。なお、決定される類似度は、特徴量データ０〜ｎ毎に算出された類似度の最大値でなく、特徴量データ０〜ｎ毎に算出された類似度の合計値あるいは平均値等であってもよい。

ＣＰＵ１１１は、ステップＳＴ４３の処理で決定された類似度が予め設定された候補閾値Ｌｍｉｎを超えるか否かを確認する（ＳＴ４４）。類似度が候補閾値Ｌｍｉｎを超えていない場合（ＳＴ４４にてＮＯ）、ＣＰＵ１１１は、ステップＳＴ４６の処理に進む。

類似度が候補閾値Ｌｍｉｎを超えている場合には（ＳＴ４４にてＹＥＳ）、ＣＰＵ１１１は、当該レコードの商品ＩＤと類似度とを登録商品候補（認識商品候補）のデータとして、ＲＡＭ１１４に格納する（ＳＴ４５）。しかる後、ＣＰＵ１１１は、ステップＳＴ４６の処理に進む。

ステップＳＴ４６では、ＣＰＵ１１１は、短距離辞書ファイル４１に未処理のデータレコードが存在するか否かを確認する。存在する場合（ＳＴ４６にてＹＥＳ）、ＣＰＵ１１１は、ステップＳＴ４２の処理に戻る。すなわちＣＰＵ１１１は、短距離辞書ファイル４１から未処理のデータレコードを読み込み、前記ステップＳＴ４３〜ＳＴ４５の処理を実行する。

短距離辞書ファイル４１に未処理のデータレコードが存在しない場合、すなわち短距離辞書ファイル４１の検索を終了したならば（ＳＴ４６にてＮＯ）、ＣＰＵ１１１は、長距離辞書ファイル４２を検索する（ＳＴ４７）。以後、ＣＰＵ１１１は、ステップＳＴ４８〜ＳＴ５２として、短距離辞書ファイル４１に対して実行したステップＳＴ４２〜ＳＴ４６と同一の処理を実行する。

そして長距離辞書ファイル４２の検索を終了したならば（ＳＴ５２にてＮＯ）、ＣＰＵ１１１は登録商品候補のデータがＲＡＭ１１４に格納されているか否かを確認する（ＳＴ５３）。登録商品候補のデータが格納されていない場合（ＳＴ５３にてＮＯ）、今回の認識処理が終了する。

登録商品候補のデータが格納されている場合には（ＳＴ５３にてＹＥＳ）、ＣＰＵ１１１は、ＲＡＭ１１４に格納された登録商品候補のデータの最大類似度が予め設定された確定閾値Ｌｍａｘ（Ｌｍａｘ＞Ｌｍｉｎ）を超えるか否かを確認する（ＳＴ５４）。最大類似度が確定閾値Ｌｍａｘを超えない場合（ＳＴ５４にてＮＯ）、ＣＰＵ１１１は、ＲＡＭ１１４に格納された登録商品候補のデータの中から類似度が大きい順に最大でＫ（Ｋ＞２）品目の商品を選択する。そしてＣＰＵ１１１は、選択した最大Ｋ品目の商品を登録商品候補の商品リストとしてディスプレイ１２ａに表示する（ＳＴ５５：候補出力手段８３）。そしてＣＰＵ１１１は、当該商品リストの中からいずれかの商品が選択されたか否かを確認する（ＳＴ５６）。例えばキーボード１１の再検索キーが入力されて選択されないことが宣言された場合（ＳＴ５６にてＮＯ）、ＣＰＵ１１１は、例えば「撮影距離を変えてください」というように、撮影距離を変更させることを指示する音声ガイダンスをスピーカ１７から発音させる（ＳＴ５７：警告手段８５）。

これに対し、タッチパネル１２またはキーボード１１の操作入力により、登録商品候補の商品リストの中からいずれか１商品が選択された場合には（ＳＴ５６にてＹＥＳ）、ＣＰＵ１１１は、この選択された商品の商品ＩＤをＲＡＭ１１４から取得する（ＳＴ５８）。そしてＣＰＵ１１１は、この取得した商品ＩＤを、販売商品の商品ＩＤとして確定し、通信ケーブル３３０を介してＰＯＳ端末２に送信する（ＳＴ５９：確定手段８４）。またＣＰＵ１１１は、商品確定フラグＦ１を“１”にセットする（ＳＴ６０）。

また、ステップＳＴ５４にて登録商品候補のデータの最大類似度が確定閾値Ｌｍａｘを超える場合には（ＳＴ５４にてＹＥＳ）、ＣＰＵ１１１は、ステップＳＴ５９の処理に進む。すなわちＣＰＵ１１１は、最大類似度を有する商品の商品ＩＤをＲＡＭ１１４から取得する。そしてＣＰＵ１１１は、この取得した商品ＩＤを、販売商品の商品ＩＤとして確定し、通信ケーブル３３０を介してＰＯＳ端末２に送信する（ＳＴ５９）。また、ＣＰＵ１１１は、商品確定フラグＦ１を“１”にセットする（ＳＴ６０）。因みに、ステップＳＴ５８とステップＳＴ５９との処理手順は逆でもよい。
以上で、今回の認識処理は終了する。

認識処理が終了すると、ＣＰＵ１１１は、商品確定フラグＦ１が“１”にセットされたか否かを確認する（ＳＴ３７）。商品確定フラグＦ１が“１”にセットされていない場合（ＳＴ３７にてＮＯ）、ＣＰＵ１１１は、ステップＳＴ３３に戻る。すなわちＣＰＵ１１１は、ＲＡＭ１１４に保存されている別のフレーム画像を取り込む（ＳＴ３３）。そしてＣＰＵ１１１は、前記ステップＳＴ３４以降の処理を再度実行する。

商品確定フラグＦ１が“１”にセットされていた場合には（ＳＴ３７にてＹＥＳ）、ＣＰＵ１１１は、撮像部１４に対して撮像オフ信号を出力する（ＳＴ３８）。この撮像オフ信号により、撮像部１４は撮像を中止する。以上で、商品認識プログラムは終了する。

このように本実施形態においては、短距離辞書ファイル４１には適正な撮影距離が閾値距離Ｄｘ未満の認識対象商品の商品別辞書データが保存され、長距離辞書ファイル４２には適正な撮影距離が閾値距離Ｄｘ以上の認識対象商品の商品別辞書データが保存される。そして、商品Ｍを読取窓１Ｂに翳すと、この商品Ｍと撮像部１４との撮影距離に係らずスキャナ装置１では、短距離辞書ファイル４１と長距離辞書ファイル４２との両方に登録されている商品別辞書データの特徴量データと撮影画像から抽出された商品画像の外観特徴量との類似度が算出される。

したがって、サイズが小さいために適正な撮影距離が閾値距離Ｄｘ未満の商品を、読取窓１Ｂの近く、すなわち撮影距離が閾値距離Ｄｘ未満の位置にて翳した際には、高い認識率をもって商品が認識される。ところが、この商品を閾値距離Ｄｘ以上離して読取窓１Ｂに翳した際には、認識率が低くなる。この場合、例えば「撮影距離を変えてください」なる警告が発せられるので、ユーザは、商品を読取窓１Ｂに近づけるであろう。その結果、当該商品は高い認識率もって認識される。

一方、サイズが大きいために適正な撮影距離が閾値距離Ｄｘ以上の商品を、読取窓１Ｂから閾値距離Ｄｘ以上離して翳した場合には、高い認識率をもって商品が認識される。ところが、この商品を読取窓１Ｂの近く、すなわち撮影距離が閾値距離Ｄｘ未満の位置にて翳した際には、認識率が低くなる。この場合も同様な警告が発せられるので、ユーザは、商品を読取窓１Ｂから離すであろう。その結果、商品は高い認識率もって認識される。

このように第２の実施形態においても、スキャナ装置１は、高い認識率をもって商品を認識することができる。

なお、本発明は、前記実施形態に限定されるものではない。
例えば第２の実施形態では、認識処理において、先に短距離辞書ファイル４１を検索し（ＳＴ４１〜ＳＴ４６）、後から長距離辞書ファイル４２を検索したが（ＳＴ４７〜ＳＴ５２）、先に長距離辞書ファイル４２を検索し（ＳＴ４７〜ＳＴ５２）、後から短距離辞書ファイル４１を検索してもよい（ＳＴ４１〜ＳＴ４６）。

また第１の実施形態では、認識辞書ファイル３０を短距離辞書ファイル３１、中距離辞書ファイル３２及び長距離辞書ファイル３３の３種類とし、第２の実施形態では、短距離辞書ファイル４１と長距離辞書ファイル４２との２種類としたが、距離別認識辞書ファイルの数はこれに限定されるものではない。４種類以上とすることで、さらに認識率は高まる。

また、前記各実施形態は、スキャナ装置１が商品認識装置としての機能を全て有したが、スキャナ装置１とＰＯＳ端末２とが商品認識装置としての機能を分散して有してもよい。あるいは、スキャナ装置１をＰＯＳ端末２に組み込んで一体的に構成し、この一体構成の装置が商品認識装置としての機能を有してもよい。また、店舗サーバ等の外部装置に発明の機能を実現させる商品認識プログラムを全てまたは一部を記憶させて構成してもよい。また、本実施形態では据え置き式のスキャナにて説明を行ったが、持ち運びが可能な携帯型のスキャナであってもよい。

なお、前記各実施形態は、装置内部のプログラム記憶部であるＲＯＭに発明の機能を実現させる商品認識プログラムが予め記録されているものとした。しかしこれに限らず、同様のプログラムがネットワークから装置にダウンロードされてもよい。あるいは、記録媒体に記録された同様のプログラムが、装置にインストールされてもよい。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。また、本実施形態のプログラムを、通信機能を有する携帯電話やいわゆるＰＤＡのような携帯情報端末に組み込んで、その機能を実現させるものであってもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］商品を撮影する撮像部で撮影された画像からその画像に含まれる商品の外観特徴量を抽出する特徴量抽出手段と、前記撮像部からこの撮像部で撮影された商品までの距離を測定する距離測定手段と、認識対象商品を撮影したときの撮影距離別にその撮影距離で前記認識対象商品を撮影した基準画像から得られる当該認識対象商品の表面情報を表わす特徴量データを保存する距離別認識辞書ファイルのなかから、前記距離測定手段で測定された距離に相当する認識辞書ファイルを選択するファイル選択手段と、前記特徴量抽出手段により抽出された外観特徴量を、前記ファイル選択手段により選択された前記認識辞書ファイルの前記特徴量データと照合して、前記外観特徴量が前記特徴量データに対してどの程度類似しているかを示す類似度を前記認識対象商品毎に算出する類似度算出手段と、
この類似度算出手段により算出される前記類似度に基づいて前記認識対象商品を認識商品候補として出力する候補出力手段と、を具備したことを特徴とする商品認識装置。
［２］前記候補出力手段は、認識商品候補の認識対象商品を選択可能に表示出力する手段であり、前記認識商品候補の中から選択された認識対象商品を前記撮像部で撮影された商品として確定する第１の確定手段を含む付記［１］記載の商品認識装置。
［３］前記距離別認識辞書ファイルに保存される前記認識対象商品毎の特徴量データは、その商品にとって適正な撮影距離で撮影された基準画像から得られたか否かを識別する情報をさらに記憶しており、前記候補出力手段により認識商品候補として出力される認識対象商品の最大類似度が予め設定された確定値以上であり、かつその最大類似度が前記適正な撮影距離で撮影された基準画像から得られた特徴量データにより算出された場合に、この最大類似度を有する認識対象商品を前記撮像部で撮影された商品として確定する第２の確定手段、をさらに具備する付記［１］または［２］記載の商品認識装置。
［４］商品を撮影する撮像部で撮影された画像からその画像に含まれる商品の外観特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された外観特徴量を、認識対象商品を撮影したときの撮影距離別にその撮影距離で前記認識対象商品を撮影した基準画像から得られる当該認識対象商品の表面情報を表わす特徴量データを保存する距離別認識辞書ファイルの前記特徴量データと照合して、前記外観特徴量が前記特徴量データに対してどの程度類似しているかを示す類似度を前記認識対象商品毎に算出する類似度算出手段と、この類似度算出手段により算出される前記類似度に基づいて前記認識対象商品を認識商品候補として出力する候補出力手段と、を具備したことを特徴とする商品認識装置。
［５］前記候補出力手段は、認識商品候補の認識対象商品を選択可能に表示出力する手段であり、前記認識商品候補の中から前記撮像部で撮影された商品が選択されないと、前記撮像部で撮影された商品と前記撮像部との間隔を変えるように警告する警告手段、をさらに具備したことを特徴とする付記［４］記載の商品認識装置。
［６］コンピュータに、商品を撮影する撮像部で撮影された画像からその画像に含まれる商品の外観特徴量を抽出する特徴量抽出機能と、認識対象商品を撮影したときの撮影距離別にその撮影距離で前記認識対象商品を撮影した基準画像から得られる当該認識対象商品の表面情報を表わす特徴量データを保存する距離別認識辞書ファイルのなかから、距離測定手段で測定された前記撮像部からこの撮像部で撮影された商品までの距離に相当する認識辞書ファイルを選択するファイル選択機能と、前記特徴量抽出機能により抽出された外観特徴量を、前記ファイル選択機能により選択された前記認識辞書ファイルの前記特徴量データと照合して、前記外観特徴量が前記特徴量データに対してどの程度類似しているかを示す類似度を前記認識対象商品毎に算出する類似度算出機能と、この類似度算出機能により算出される前記類似度に基づいて前記認識対象商品を認識商品候補として出力する候補出力機能と、を実現させるための商品認識プログラム。

１…スキャナ装置、２…ＰＯＳ端末、１２…タッチパネル、１４…撮像部、１５…距離センサ、３１，４１…短距離辞書ファイル、３２…中距離辞書ファイル、３３，４２…長距離辞書ファイル、７１、８１…特徴量抽出手段、７２…距離測定手段、７３…ファイル選択手段、７４、８２…類似度算出手段、７５、８３…候補出力手段、７６…第１の確定手段、７７…第２の確定手段、７８…第１の確定手段、７９…第２の確定手段、８４…確定手段、８５…警告手段。

Claims (6)

1. 商品を撮影する撮像部で撮影された画像からその画像に含まれる商品の外観特徴量を抽出する特徴量抽出手段と、
   前記撮像部からこの撮像部で撮影された商品までの距離を測定する距離測定手段と、
   認識対象商品を撮影したときの撮影距離別にその撮影距離で前記認識対象商品を撮影した基準画像から得られる当該認識対象商品の表面情報を表わす特徴量データを、その特徴量データがその商品にとって適正な撮影距離で撮影された基準画像から得られたか否かを識別する情報とともに保存する距離別認識辞書ファイルのなかから、前記距離測定手段で測定された距離に相当する認識辞書ファイルを選択するファイル選択手段と、
   前記特徴量抽出手段により抽出された外観特徴量を、前記ファイル選択手段により選択された前記認識辞書ファイルの前記特徴量データと照合して、前記外観特徴量が前記特徴量データに対してどの程度類似しているかを示す類似度を前記認識対象商品毎に算出する類似度算出手段と、
   この類似度算出手段により前記認識対象商品毎に算出される前記類似度の最大値が予め設定された確定値以上であり、かつその最大値となる類似度が前記適正な撮影距離で撮影された基準画像から得られた特徴量データにより算出された場合に、この類似度を有する認識対象商品を前記撮像部で撮影された商品として確定する確定手段と、
   を具備したことを特徴とする商品認識装置。
2. 前記確定手段により前記商品を確定できないとき、前記類似度算出手段により算出される前記類似度が大きい順に前記認識対象商品を認識商品候補として出力する候補出力手段、
   をさらに具備したことを特徴とする請求項１記載の商品認識装置。
3. 前記候補出力手段により出力された前記認識商品候補の中から選択された認識対象商品を前記撮像部で撮影された商品として確定する選択確定手段、
   をさらに具備したことを特徴とする請求項２記載の商品認識装置。
4. 商品を撮影する撮像部で撮影された画像からその画像に含まれる商品の外観特徴量を抽出する特徴量抽出手段と、
   認識対象商品を撮影したときの撮影距離別にその撮影距離で前記認識対象商品を撮影した基準画像から得られる当該認識対象商品の表面情報を表わす特徴量データを保存する距離別認識辞書ファイルと、
   前記特徴量抽出手段により抽出された外観特徴量を、前記距離別認識辞書ファイルの前記特徴量データと照合して、前記外観特徴量が前記特徴量データに対してどの程度類似しているかを示す類似度を前記認識対象商品毎に算出する類似度算出手段と、
   この類似度算出手段により算出される前記類似度に基づいて前記認識対象商品を認識商品候補として出力する候補出力手段と、
   を具備し、
   前記距離別認識辞書ファイルは、それぞれその撮影距離が適正である商品の特徴量データを保存し、前記撮影距離が適正でない商品の特徴量データを保存しないことを特徴とする商品認識装置。
5. 前記候補出力手段は、認識商品候補の認識対象商品を選択可能に表示出力する手段であり、
   前記認識商品候補の中から前記撮像部で撮影された商品が選択されないと、前記撮像部で撮影された商品と前記撮像部との間隔を変えるように警告する警告手段、をさらに具備したことを特徴とする請求項４記載の商品認識装置。
6. コンピュータに、
   商品を撮影する撮像部で撮影された画像からその画像に含まれる商品の外観特徴量を抽出する特徴量抽出機能と、
   認識対象商品を撮影したときの撮影距離別にその撮影距離で前記認識対象商品を撮影した基準画像から得られる当該認識対象商品の表面情報を表わす特徴量データを、その特徴量データがその商品にとって適正な撮影距離で撮影された基準画像から得られたか否かを識別する情報とともに保存する距離別認識辞書ファイルのなかから、距離測定手段で測定された前記撮像部からこの撮像部で撮影された商品までの距離に相当する認識辞書ファイルを選択するファイル選択機能と、
   前記特徴量抽出機能により抽出された外観特徴量を、前記ファイル選択機能により選択された前記認識辞書ファイルの前記特徴量データと照合して、前記外観特徴量が前記特徴量データに対してどの程度類似しているかを示す類似度を前記認識対象商品毎に算出する類似度算出機能と、
   この類似度算出機能により前記認識対象商品毎に算出される前記類似度の最大値が予め設定された確定値以上であり、かつその最大値となる類似度が前記適正な撮影距離で撮影された基準画像から得られた特徴量データにより算出された場合に、この類似度を有する認識対象商品を前記撮像部で撮影された商品として確定する確定機能と、
   を実現させるための商品認識プログラム。

Images