JP5826152B2 - 商品認識装置及び商品認識プログラム - Google Patents

Description

本発明の実施形態は、カメラを用いた商品認識装置及びコンピュータを前記商品認識装置として機能させるための商品認識プログラムに関する。

商品に付される光学符号の一種にバーコードがある。スーパーマーケット等で販売される商品には、大抵、商品識別コードを含むバーコードが付されている。このバーコードをスキャナでスキャニングすることにより商品識別コードを認識する商品認識装置は広く普及している。

しかしながら、全ての商品にバーコードが付されるとは限らない。例えば、ばら売りの野菜，果物，惣菜などには、バーコードが付されないことが多い。そこで、バーコードが付されない商品にも対応するために、表示デバイスをタッチパネルとした商品認識装置がある。この装置は、タッチパネルの画面にバーコードが付されない商品の画像を表示させる。オペレータのタッチ入力により商品の画像が選択されると、商品認識装置は、選択された商品の画像に関連付けられた商品識別コードを確定する。

特開２０００−３３９５５０号公報

商品にバーコードが付されている場合、オペレータ（店員または客）は、商品認識装置の読取窓にバーコードをかざせばよい。しかし、商品にバーコードが付されていない場合には、オペレータは、タッチパネルの画面から商品を選択する必要がある。この際、画面に所望の商品が表示されていないと、オペレータは、タッチ操作により画面を切り替えて商品を探さなければならない。このため、従来の商品認識装置は、バーコード等の光学符号が付されていない商品の認識作業に要するオペレータの負担が大きい。

本発明が解決しようとする課題は、バーコード等の光学符号が付されていない商品の認識作業に要するオペレータの負担を軽減できる商品認識装置を提供しようとするものである。

一実施形態において、商品認識装置は、画像インターフェースと、プロセッサとを備える。画像インターフェースは、カメラによって撮影された商品の画像を取り込む。プロセッサは、画像インターフェースを介して画像を取り込む毎に、その画像から商品画像が検出されるか確認する。商品画像が検出されたならば、プロセッサは、その商品画像から商品識別コードを読み取るコード読取処理と同商品画像から抽出される特徴量により商品候補を認識する商品認識処理とを行うルーチンを、商品識別コードが読み取られるか商品画像が検出されなくなるまで繰り返し実行する。コード読取処理により商品識別コードが読み取られると、プロセッサは、当該商品識別コードを確定させてルーチンを終了する。商品識別コードが読み取られることなく商品画像が検出されなくなったならば、プロセッサは、商品認識処理の結果を出力する。

店舗会計システムの外観図。 商品認識装置とＰＯＳ端末とのハードウェア構成を示すブロック図。 認識辞書ファイルに保存される商品別辞書データの構造を示す模式図。 候補商品メモリのエリア構造を示す模式図。 第１の実施形態において、商品認識装置のＣＰＵが商品認識プログラムに従って実行する情報処理の一手順を示す流れ図。 第１の実施形態における商品認識処理の手順を具体的に示す流れ図。 第１の実施形態における認識結果処理の手順を具体的に示す流れ図。 登録画面の一例を示す平面図。 登録画面に商品候補が表示された一例を示す平面図。 第２の実施形態における商品認識処理の手順を具体的に示す流れ図。 第２の実施形態における認識結果処理の手順を具体的に示す流れ図。 第３の実施形態において、商品認識装置のＣＰＵが商品認識プログラムに従って実行する情報処理の一手順を示す流れ図。 第３の実施形態における商品認識処理の手順を具体的に示す流れ図。

本実施形態は、小売店の店舗会計システムに含まれる商品認識装置に本発明に係る機能を適用した場合である。

はじめに、本実施形態の商品認識装置は、一般物体認識（generic object recognition）の技術を採用する。一般物体認識とは、対象となる物品（オブジェクト）をカメラで撮像した画像データから当該物品の種別等を認識する技術である。コンピュータは、画像データからこの画像に含まれる物品の外観特徴量を抽出する。そしてコンピュータは、認識辞書ファイルに登録された基準画像の特徴量データと照合して類似度を算出し、この類似度に基づいて当該物品の種別等を認識する。画像中に含まれる物品を認識する技術については、下記の文献に解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６［平成２２年８月１０日検索］，インターネット＜ URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf ＞
また、画像をオブジェクト毎に領域分割することによって一般物体認識を行う技術については、下記の文献に解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，［平成２２年８月１０日検索］，インターネット＜ URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf ＞
［第１の実施形態］
図１は、店舗会計システムの外観図である。このシステムは、顧客が買い上げる商品を認識する商品認識装置１と、商品認識装置１で認識された商品の販売データを登録するＰＯＳ端末２とを含む。商品認識装置１は、会計カウンタ３の上に取り付けられる。ＰＯＳ端末２は、レジ台４の上にドロワ５を介して設置される。ＰＯＳ端末２は、決済に必要なデバイスとしてキーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３及びレシートプリンタ２４を備える。商品認識装置１とＰＯＳ端末２とは、通信ケーブル４００（図２を参照）によって電気的に接続される。

会計カウンタ３は、その奥側の顧客通路に沿って細長い形状である。レジ台４は、会計カウンタ３に沿って移動する顧客の移動方向に対して下流側の会計カウンタ３の端部手前側に、会計カウンタ３に対して略垂直に置かれる。そして、この会計カウンタ３の手前側とレジ台４の手前側が、会計担当の店員いわゆるキャッシャのスペースとなる。

商品認識装置１は、キーボード１１、タッチパネル１２及び客用ディスプレイ１３を備える。これらの表示・入力デバイス（キーボード１１、タッチパネル１２、客用ディスプレイ１３）は、商品認識装置１の本体を構成するハウジング１Ａに取り付けられる。薄型の矩形形状を有するハウジング１Ａは、会計カウンタ３の略中央に立設される。キーボード１１とタッチパネル１２は、それぞれ操作面をキャッシャ側に向けてハウジング１Ａに取り付けられる。客用ディスプレイ１３は、表示面を顧客通路側に向けてハウジング１Ａに取り付けられる。

ハウジング１Ａには、カメラ１４が内蔵される。また、矩形状の読取窓１Ｂが、ハウジング１Ａの正面（キャッシャ側）に形成される。カメラ１４は、エリアイメージセンサであるＣＣＤ（Charge Coupled Device）撮像素子及びその駆動回路と、撮像領域の画像をＣＣＤ撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、読取窓１Ｂから撮像レンズを通してＣＣＤ撮像素子のエリアに結像するフレーム画像の領域を指す。カメラ１４は、撮像レンズを通ってＣＣＤ撮像素子に結像した撮像領域の画像を出力する。

なお、カメラ１４は、上記構成のものに限定されるものではない。本実施形態では、商品を撮像する機能を有しているものは全てカメラ１４の範疇に入る。

会計カウンタ３の商品認識装置１を挟んで一方の荷受面、すなわち顧客移動方向に対して上流側の荷受面は、買物客が購入する未登録の商品Ｍが入れられた買物カゴ６を置くためのスペースとなる。他方の荷受面、すなわち顧客移動方向に対して下流側の荷受面は、商品認識装置１により認識された商品Ｍを入れるための買物カゴ７を置くためのスペースとなる。

図２は、商品認識装置１とＰＯＳ端末２とのハードウェア構成を示すブロック図である。商品認識装置１は、主制御部、主記憶部及び入出力部で構成される。ＣＰＵ（Central Processing Unit）１１１は主制御部である。ＲＯＭ（Read Only Memory）１１２及びＲＡＭ（Random Access Memory）１１３は主記憶部である。画像インターフェース１１４、デバイスインターフェース１１５及び接続インターフェース１１６は入出力部である。ＣＰＵ１１１は、アドレスバス，データバス等のバスライン１１７を介して、ＲＯＭ１１２、ＲＡＭ１１３及び各インターフェース１１４，１１５，１１６を接続する。

なお、主制御部は、ＣＰＵ以外のプロセッサであってもよい。また、入出力部にその他のインターフェースが含まれることを妨げるものではない。

画像インターフェース１１４には、前記カメラ１４が接続される。このカメラ１４によって撮像された画像は、画像インターフェース１１４介して商品認識装置１に取り込まれ、ＲＡＭ１１３に格納される。デバイスインターフェース１１５には、前記キーボード１１、タッチパネル１２及び客用ディスプレイ１３が接続される。タッチパネル１２は、パネル表示部１２ａとタッチパネルセンサ１２ｂとからなる。タッチパネルセンサ１２ｂは、パネル表示部１２ａの画面の上に重ねて配置される。また、報知音を鳴動するためのブザー１５も、前記デバイスインターフェース１１５に接続される。なお、本実施形態では、音声によりオペレータに報知する機能を有するものは全てブザーの範疇に入る。

ＰＯＳ端末２は、主制御部、主記憶部、補助記憶部及び入出力部で構成される。ＣＰＵ２１１は主制御部である。ＲＯＭ２１２及びＲＡＭ２１３は主記憶部である。ＨＤＤ（Hard Disk Drive）２１４は補助記憶部である。デバイスインターフェース２１５、通信インターフェース２１６及び接続インターフェース２１７は入出力部である。ＣＰＵ２１１は、アドレスバス，データバス等のバスライン２１８を介して、前記ＲＯＭ２１２、ＲＡＭ２１３、ＨＤＤ２１４及び各インターフェース２１５，２１６，２１７を接続する。

なお、主制御部は、ＣＰＵ以外のプロセッサであってもよい。また、入出力部にその他のインターフェースが含まれることを妨げるものではない。また、補助記憶部は、ＨＤＤ２１４に限定されない。例えば、ＳＳＤ（Solid State Drive）を補助記憶部として用いてもよい。

デバイスインターフェース２１５には、図２では省略するが、前記キーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３、プリンタ２４及びドロワ５が接続される。

通信インターフェース２１６には、ＬＡＮ（Local Area Network）等のネットワークを介して、店舗の中枢を担うストアコンピュータ３００が接続される。この接続により、ＰＯＳ端末２は、ストアコンピュータ３００とデータの送受信が可能となる。例えばＰＯＳ端末２は、通信インターフェース２１６を介してストアコンピュータ３００から認識辞書ファイル５００（図３を参照）を受信する。認識辞書ファイル５００は、ＨＤＤ２１４に保存される。

接続インターフェース２１７には、通信ケーブル４００を介して、商品認識装置１の接続インターフェース１１６が接続される。この接続により、ＰＯＳ端末２は、商品販売データを商品認識装置１のタッチパネル１２及び客用ディスプレイ１３に表示させる。商品認識装置１は、ＰＯＳ端末２のＨＤＤ２１４に保存される認識辞書ファイル５００に対してアクセスが可能となる。

本実施形態では、光学符号であるバーコードが付されていない商品を認識対象商品とする。認識辞書ファイル５００は、認識対象商品毎に辞書データを保存する。図３は、辞書データの構造を示す模式図である。図３に示すように、認識辞書ファイル５００には、認識対象商品毎に、商品ＩＤ及び商品名と関連付けて、複数対の基準画像データ０〜Ｎと特徴量データ０〜Ｎとが保存される。商品ＩＤは、商品を識別する商品識別コードである。商品に付されるバーコードには、上記商品ＩＤが含まれる。

基準画像データ０〜Ｎは、対応する商品ＩＤで識別される商品を様々な方向から撮影した画像のデータである。特徴量データ０〜Ｎは、対応する商品の基準画像０〜Ｎからその商品の表面情報（外観形状、色合い、模様、凹凸具合等）である外観上の特徴量を抽出し、この外観特徴量をパラメータ化したデータである。

なお、１つの商品に対する基準画像データ及び特徴量データの数（ｎ＋１）は、固定ではない。データ数（ｎ＋１）は商品によって異なる。また、基準画像データ０〜Ｎを全て認識辞書ファイル５００で保存するのでなく、いずれか１つの基準画像データを認識辞書ファイル５００が保存してもよい。

商品認識装置１は、カメラ１４の撮像領域に翳された商品Ｍを販売商品として確定するまでの機能として、画像検出機能、読取機能、特徴量抽出機能、類似度算出機能、商品認識機能及び結果出力機能を有する。

画像検出機能は、カメラ１４で撮影された商品の画像から商品画像を検出する。読取機能は、画像検出機能により検出された商品画像からバーコードを読み取る。なお、読取機能は、バーコードの代わりに他の光学符号、例えば二次元データコードを読み取るものであってもよい。

特徴量抽出機能は、画像検出機能により検出された商品画像からその商品の外観特徴量を抽出する。類似度算出機能は、特徴量抽出機能により抽出された外観特徴量を、認識辞書ファイル５００に記憶されている認識対象商品毎の特徴量データと照合する。そして類似度算出機能は、外観特徴量が特徴量データに対してどの程度類似しているかを示す類似度を認識対象商品毎に算出する。商品認識機能は、類似度算出機能により算出された認識対象商品別の類似度に基づいて、カメラ１４で撮影された商品の候補を認識する。

結果出力機能は、読取機能によりバーコードが読み取られた場合には、そのバーコードを解析して得られる商品ＩＤを、カメラ１４で撮影された商品の商品ＩＤとしてＰＯＳ端末２に出力する。また結果出力機能は、商品認識機能により認識された商品候補の中から特定された商品の商品ＩＤを、カメラ１４で撮影された商品の商品ＩＤとしてＰＯＳ端末２に出力する。

かかる機能を実現させるために、商品認識装置１は、ＲＯＭ１１２に商品認識プログラムを保存する。また商品認識装置１は、ＲＡＭ１１３に候補商品メモリ６００としての領域を確保する。

候補商品メモリ６００は、図４に示すように、１位から５位までの順位毎に、商品ＩＤ、商品名、基準画像及び類似度の各データを格納する。なお、候補商品メモリ６００において、順位は１位から５位までに限定されるものではない。例えば何位までのデータを格納するのかを、システムのユーザが任意に設定できるようにしてもよい。

商品認識装置１のＣＰＵ１１１は、商品認識プログラムに従って、図５の流れ図に示す手順の情報処理を実行する。はじめに、ＣＰＵ１１１は、ステップＳＴ１〜ＳＴ３の各処理を実行する。ステップＳＴ１では、ＣＰＵ１１１は、候補商品メモリ６００をクリアする。ステップＳＴ２では、ＣＰＵ１１１は、認識処理フラグＦを“０”にリセットする。認識処理フラグＦは、例えばＲＡＭ１１３に記憶されている。ステップＳＴ３では、ＣＰＵ１１１は、タッチパネル１２のパネル表示部１２ａに登録画面７００を表示させる。

登録画面７００の一例が図８に示される。登録画面７００は、明細エリア７０１と、合計エリア７０２と、候補エリア７０３とを含む。明細エリア７０１には、販売商品として登録された商品の商品名、単価、数量、金額が表示される。合計エリア７０２には、登録された商品の合計点数及び合計金額が表示される。候補エリア７０３には、候補商品メモリ６００に格納された商品名及び基準画像が、１位から順番に表示される。

ＣＰＵ１１１は、カメラ１４で撮影されている画像（フレーム画像）を、画像インターフェース１１４を介して取り込む（ＳＴ４）。取り込まれた撮影画像は、ＲＡＭ１１３の画像バッファに格納される。

ＣＰＵ１１１は、画像バッファに格納された撮影画像を解析して、この撮影画像から商品画像を検出する（ＳＴ５：画像検出機能）。具体的には、ＣＰＵ１１１は、フレーム画像を二値化した画像から輪郭線等を抽出する。そしてＣＰＵ１１１は、画像に映し出されている物体の輪郭抽出を試みる。物体の輪郭が抽出されると、ＣＰＵ１１１は、その輪郭内を商品画像とみなす。

ＣＰＵ１１１は、撮影画像から商品画像が検出されたか否かを確認する（ＳＴ６）。商品画像が検出されない場合（ＳＴ６にてＮＯ）、ＣＰＵ１１１は、認識処理フラグＦの状態を確認する（ＳＴ７）。この時点では、認識処理フラグＦは“０”にリセットされている。このためＣＰＵ１１１は、ステップＳＴ４の処理に戻る。すなわちＣＰＵ１１１は、カメラ１４から次のフレーム画像を取り込み、商品画像の検出処理を実行する。

このように、ＣＰＵ１１１は、カメラ１４からフレーム画像を取り込む毎に、商品画像の検出処理を実行する。読取窓１Ｂに商品が翳されると、フレーム画像から商品画像が検出される。商品画像が検出されたならば（ＳＴ６にてＹＥＳ）、ＣＰＵ１１１は、この商品画像を解析してバーコードの読取りを試行する（ＳＴ８：読取機能）。画像解析によるバーコードの読取技術は、例えば特開２００８−０３３６４０号公報に記載されている。

ＣＰＵ１１１は、商品画像からバーコードを読み取れたか否かを確認する（ＳＴ９）。バーコードを読み取れた場合（ＳＴ９にてＹＥＳ）、ＣＰＵ１１１は、そのバーコードをデコードする（ＳＴ１０）。そしてＣＰＵ１１１は、バーコードをデコードできた否かを確認する（ＳＴ１１）。バーコードをデコードできた場合（ＳＴ１１にてＹＥＳ）、ＣＰＵ１１１は、ステップＳＴ１２とステップＳＴ１３の各処理を実行する。ステップＳＴ１２では、ＣＰＵ１１１は、ブザー１５に駆動信号を出力して、読取成功を報知する音を鳴動させる。ステップＳＴ１３では、ＣＰＵ１１１は、バーコードのデコード結果を、接続インターフェース１１６を介してＰＯＳ端末２に出力する（結果出力機能）。

ステップＳＴ９にて、商品画像からバーコードを読み取れなかった場合（ＳＴ９にてＮＯ）、または、ステップＳＴ１１にてバーコードをデコードできなかった場合には（ＳＴ１１にてＮＯ）、ＣＰＵ１１１は、商品認識処理を実行する（ＳＴ１４）。

図６は、商品認識処理の手順を具体的に示す流れ図である。先ず、ＣＰＵ１１１は、ステップＳＴ５の処理にて検出された商品画像から商品の外観特徴量を抽出する（ＳＴ２１：特徴量抽出機能）。外観特徴量には、商品の形状、表面の色合い、模様、凹凸状況等が含まれる。商品の外観特徴量が抽出されると、ＣＰＵ１１１は、ＰＯＳ端末２のＨＤＤ２１４にアクセスして、認識辞書ファイル５００を検索する（ＳＴ２２）。そしてＣＰＵ１１１は、認識辞書ファイル５００から１商品のデータレコード（商品ＩＤ、商品名、基準画像０〜ｎ、特徴量データ０〜ｎ）を読み込む（ＳＴ２３）。

１商品のデータレコードが読み込まれたならば、ＣＰＵ１１１は、当該レコードの特徴量データ０〜ｎ毎に類似度を算出する。類似度は、特徴量データ０〜ｎがステップＳＴ２１の処理で抽出された商品の外観特徴量とどの程度類似しているかを示す値である。ＣＰＵ１１１は、特徴量データ０〜ｎ毎に算出された類似度の最大値を、当該レコードの商品ＩＤで特定される認識対象商品と、カメラ１４で撮影された商品との類似度として決定する（ＳＴ２４：類似度算出機能）。なお、特徴量データ０〜ｎ毎に算出された類似度の合計値あるいは平均値を、認識対象商品と撮影された商品との類似度として決定してもよい。

ＣＰＵ１１１は、ステップＳＴ２４の処理で決定された類似度が、予め設定された候補閾値Ｌｍｉｎを超えるか否かを確認する（ＳＴ２５）。候補閾値Ｌｍｉｎは、認識対象商品を候補商品として残す類似度の下限値である。類似度が候補閾値Ｌｍｉｎを超えていない場合（ＳＴ２５にてＮＯ）、ＣＰＵ１１１は、ステップＳＴ２７の処理に進む。

類似度が候補閾値Ｌｍｉｎを超えている場合には（ＳＴ２５にてＹＥＳ）、ＣＰＵ１１１は、この類似度を、当該レコードの商品ＩＤ、商品名及び基準画像とともにＲＡＭ１１３の候補バッファに格納する（ＳＴ２６：商品認識機能）。基準画像は、例えば類似度が最大となった特徴量データと対になっている基準画像が選択される。しかる後、ＣＰＵ１１１は、ステップＳＴ２７の処理に進む。

ステップＳＴ２７では、ＣＰＵ１１１は、認識辞書ファイル５００に未処理のデータレコードが存在するか否かを確認する。存在する場合（ＳＴ２７にてＹＥＳ）、ＣＰＵ１１１は、ステップＳＴ２３の処理に戻る。すなわちＣＰＵ１１１は、認識辞書ファイル３０から未処理のデータレコードを読み込み、前記ステップＳＴ２４〜ＳＴ２６の処理を再度実行する。
認識辞書ファイル５００に未処理のデータレコードが存在しない場合（ＳＴ２７にてＮＯ）、商品認識処理は終了する。

商品認識処理が終了すると、ＣＰＵ１１１は、認識処理フラグＦの状態を調べる（ＳＴ１５）。認識処理フラグＦが“０”にリセットされている場合（ＳＴ１５にてＹＥＳ）、ＣＰＵ１１１は、この認識処理フラグＦを“１”にセットする（ＳＴ１６）。認識処理フラグＦが既に“１”にセットされている場合には（ＳＴ１５にてＮＯ）、ＣＰＵ１１１は、ステップＳＴ１６の処理を実行しない。ＣＰＵ１１１は、ステップＳＴ４の処理に戻る。すなわちＣＰＵ１１１は、カメラ１４から次のフレーム画像を取り込み、商品画像の検出処理を実行する。

読取窓１Ｂに商品が翳されてから、この商品がカメラ１４の撮像領域を外れるまでの間、フレーム画像から商品画像が検出される。したがってその間は、ＣＰＵ１１１は、ステップＳＴ８以降の処理を実行する。すなわちＣＰＵ１１１は、フレーム画像から検出された商品画像を用いて、バーコード読取処理と商品認識処理とを並列的に実行する。そして、バーコード読取処理によりバーコードが読み取られたならば、ＣＰＵ１１１は、そのバーコードからデコードされた商品ＩＤをＰＯＳ端末２に出力する。

バーコードが読み取られることなく商品がカメラ１４の撮像領域を外れると、フレーム画像から商品画像が検出されなくなる。この時点では、認識処理フラグＦは“１”にセットされている（ＳＴ７にてＹＥＳ）。このためＣＰＵ１１１は、認識結果処理を実行する（ＳＴ１７）。

図７は、認識結果処理の手順を具体的に示す流れ図である。先ず、ＣＰＵ１１１は、候補バッファにデータ（商品ＩＤ、商品名、基準画像、類似度）が格納されているか否かを確認する（ＳＴ３１）。候補バッファにデータが１つも格納されていない場合（ＳＴ３１にてＮＯ）、ＣＰＵ１１１は、登録画面７００の登録エリア７０３に「候補無し」のメッセージを表示させる（ＳＴ３２）。

候補バッファにデータが格納されている場合には（ＳＴ３１にてＹＥＳ）、ＣＰＵ１１１は、候補バッファのデータを類似度の大きい順に並べ替える。そしてＣＰＵ１１１は、類似度が１位から５位までのデータ（商品ＩＤ、商品名、基準画像、類似度）を選択し、１位から順に候補商品メモリ６００に登録する（ＳＴ３３）。データを登録し終えると、ＣＰＵ１１１は、候補バッファをクリアする。

次に、ＣＰＵ１１１は、候補商品メモリ６００の１位に登録されたデータの類似度、すなわち最大類似度が、予め設定された確定閾値Ｌｍａｘ（Ｌｍａｘ＞Ｌｍｉｎ）を超えるか否かを確認する（ＳＴ３４）。確定閾値Ｌｍａｘは、認識対象商品を読取窓１Ｂに翳された商品として確定できる類似度の下限値である。

最大類似度が確定閾値Ｌｍａｘを超える場合（ＳＴ３４にてＹＥＳ）、ＣＰＵ１１１はステップＳＴ３５とステップＳＴ３６の各処理を実行する。ステップＳＴ３５では、ＣＰＵ１１１は、ブザー１５に駆動信号を出力して、認識確定を報知する音を鳴動させる。ステップＳＴ３６では、ＣＰＵ１１１は、候補商品メモリ６００から１位に登録されたデータの商品ＩＤを読出す。そしてＣＰＵ１１１は、この商品ＩＤを、接続インターフェース１１６を介してＰＯＳ端末２に出力する（結果出力機能）。

最大類似度が確定閾値Ｌｍａｘ以下の場合には（ＳＴ３４にてＮＯ）、ＣＰＵ１１１は、候補商品メモリ６００に登録された順に候補商品の画像を候補エリア７０３に表示させる（ＳＴ３７）。

候補商品画像を表示した登録画面７００の一例が図９に示される。この例は、候補商品として「リンゴ」、「柿」及び「モモ」が認識された場合である。類似度は、「リンゴ」が最も大きく、「モモ」が最も小さい。この場合、図９に示すように、「リンゴ」を選択するためのボタン画像７１１と、「柿」を選択するためのボタン画像７１２と、「モモ」を選択するためのボタン画像７１３とが、候補エリア７０３に表示される。

候補商品のボタン画像７１１，７１２，７１３が表示されると、ＣＰＵ１１１は、候補商品の中からいずれか１商品が選択されたか否かを確認する（ＳＴ３８）。いずれか１つのボタン画像がタッチ入力されると、ＣＰＵ１１１は、そのボタン画像に表示されている商品が選択されたとみなす（ＳＴ３８にてＹＥＳ）。ＣＰＵ１１１は、選択された商品の商品ＩＤを、接続インターフェース１１６を介してＰＯＳ端末２に出力する（ＳＴ３９：結果出力機能）。

商品が選択されない場合（ＳＴ３８にてＮＯ）、ＣＰＵ１１１は、登録画面７００の候補エリア７０３に、「候補無し」のメッセージを表示させる（ＳＴ３２）。以上で、認識結果処理は終了する。

ステップＳＴ１３にてバーコードのデコード結果が出力されるか、ステップＳＴ１７にて認識結果処理が終了すると、ＣＰＵ１１１は、読取窓１Ｂに翳された１商品に対する処理を終了する。

ＰＯＳ端末２に送信されるバーコードのデコード結果には、商品ＩＤが含まれる。また、認識結果処理では、確定商品または選択商品の商品ＩＤがＰＯＳ端末２に送信される。ＰＯＳ端末２のＣＰＵ２１１は、商品認識装置１から受信した商品ＩＤで識別される商品の商品名、単価等の商品情報を取得するために商品マスタファイルを検索する。ＣＰＵ２１１は、商品マスタファイルから検出した商品情報に基づいて、販売数量、販売金額を含む商品販売データを登録処理する。またＣＰＵ２１１は、商品名、単価、数量、金額の各データを、接続インターフェース２１７を介して商品認識装置１に送信する。商品認識装置１のＣＰＵ１１１は、パネル表示部１２ａに表示されている登録画面７００の明細エリア７０１と客用ディスプレイ１３とに、ＰＯＳ端末２から受信した商品名、単価、数量、金額の各データを表示させる。

ここにＣＰＵ１１１は、フレーム画像から検出される商品画像を共用して商品認識処理とコード読取処理とを並列的に行うプロセッサとして機能する。コード読取処理により商品ＩＤ（商品識別コード）が読取られると、ＣＰＵ１１１は、当該商品ＩＤを確定する。商品ＩＤが読み取られないまま商品の撮影期間が終了すると、ＣＰＵ１１１は、商品認識処理の結果を出力する。撮影期間は、フレーム画像から商品画像が検出されなくなると終了とみなされる。

本実施形態において、商品認識装置１のオペレータは、買物カゴ６から商品Ｍを１品ずつ取り出す毎に、その商品Ｍにバーコードが付されているか否かを確認する。バーコードが付されている場合には、オペレータは、商品Ｍのバーコードが付されている面を読取窓１Ｂに翳す。バーコードが付されていない場合には、オペレータは、商品Ｍのいずれか１面を読取窓１Ｂに翳す。

読取窓１Ｂに翳された商品Ｍは、カメラ１４によって撮影される。商品認識装置１においては、カメラ１４で撮影されたフレーム画像から商品画像が検出されると、この商品画像でバーコードの読取処理と商品認識処理とが並列的に実行される。その結果、バーコードが読み取られると、このバーコードからデコードされた商品ＩＤがＰＯＳ端末２に送信される。

一方、バーコードが読み取られないまま、撮影画像から商品が検出されなくなると、商品認識装置１では認識結果処理が実行される。すなわち商品認識処理において、最大類似度が確定閾値Ｌｍａｘを超えた場合には、この最大類似度を有する商品（確定商品）の商品ＩＤがＰＯＳ端末２に送信される。最大類似度が確定閾値Ｌｍａｘを超えない場合には、類似度が候補閾値Ｌｍｉｎを超える１乃至複数の候補商品がタッチパネル１２に表示される。候補商品の中から１つの商品が選択されると、この選択商品の商品ＩＤがＰＯＳ端末２に送信される。

このように商品認識装置１では、オペレータが商品を読取窓１Ｂに翳すだけで、バーコード読取処理と商品認識処理とが並列的に実行される。しかも、商品が読取窓１Ｂに翳されている間は、バーコード読取処理の結果が優先される。商品がカメラ１４の撮像領域から外れると、商品認識処理の結果が有効となる。

バーコード読取処理によって読み取られたバーコードからデコードされる商品ＩＤの信頼度は非常に高い。これに対して、商品認識処理の認識精度は、必ずしも十分とはいえない。例えば、商品のパッケージに印刷された青果の図柄から誤った商品を確定してしまう可能性がある。本実施形態では、商品が読取窓１Ｂに翳されている間は、バーコード読取処理の結果が優先される。したがって、カメラ１４で撮影された商品画像からバーコードが読み取られたにも拘らず商品認識処理の結果が優先されて、信頼性の低い商品ＩＤがＰＯＳ端末２に送信されてしまうおそれはない。

また商品認識装置１では、バーコード読取処理と商品認識処理とが並列的に実行される。このため、いずれか一方をデフォルトの処理とし、他方を格別な操作によって適宜起動させるような仕組みを構築する必要もない。したがってオペレータは、バーコードが付されている商品とバーコードが付されていない商品とが混在していた場合でも、何等負担を感じることなく業務を遂行できる。

［第２の実施形態］
第１の実施形態では、商品認識処理の過程で類似度が確定閾値Ｌｍａｘを越える商品候補が認識されても、オペレータにその事象を知らせていない。このためオペレータが、バーコードが付されていない商品を不必要に長い時間をかけて読取窓１Ｂに翳してしまう懸念がある。そこで次に、このような懸念を払拭した第２の実施形態について説明する。

第２の実施形態は、第１の実施形態における商品認識処理と商品結果処理の一部を変更したものである。したがって、図１〜図５及び図８，図９については、第２の実施形態でもそのまま利用する。

図１０は、第２の実施形態における商品認識処理の手順を具体的示す流れ図である。なお、図６に示される第１の実施形態の商品認識処理と同一の処理ステップには同一符号を付し、詳しい説明は省略する。

図１０に示すように、第２の実施形態における商品認識処理は、ステップＳＴ２１〜ＳＴ２７までは第１の実施形態と同様である。ステップＳＴ２７にて、認識辞書ファイル５００に未処理のデータレコードが存在しないことを確認すると（ＳＴ２７にてＮＯ）、ＣＰＵ１１１は、候補バッファにデータ（商品ＩＤ、商品名、基準画像、類似度）が格納されているか否かを確認する（ＳＴ４１）。候補バッファにデータが１つも格納されていない場合（ＳＴ４１にてＮＯ）、商品認識処理は終了する。

候補バッファにデータが格納されている場合には（ＳＴ４１にてＹＥＳ）、ＣＰＵ１１１は、候補バッファのデータを類似度の大きい順に並べ替える。そしてＣＰＵ１１１は、類似度が１位から５位までのデータ（商品ＩＤ、商品名、画像、類似度）を選択し、１位から順に候補商品メモリ６００に登録する（ＳＴ４２）。データを登録し終えると、ＣＰＵ１１１は、候補バッファをクリアする。

次に、ＣＰＵ１１１は、候補商品メモリ６００の１位に登録されたデータの類似度、すなわち最大類似度が、予め設定された確定閾値Ｌｍａｘ（Ｌｍａｘ＞Ｌｍｉｎ）を超えるか否かを確認する（ＳＴ４３）。最大類似度が確定閾値Ｌｍａｘを超えない場合（ＳＴ４３にてＮＯ）、商品認識処理は終了する。

最大類似度が確定閾値Ｌｍａｘを超える場合には（ＳＴ４３にてＹＥＳ）、ＣＰＵ１１１はブザー１５に駆動信号を出力して、認識確定を報知する音を鳴動させる（ＳＴ４４：報知機能）。以上で、商品認識処理は終了する。

図１１は、第２の実施形態における認識結果処理の手順を具体的示す流れ図である。なお、図７に示される第１の実施形態の認識結果処理と同一の処理ステップには同一符号を付し、詳しい説明は省略する。

図１１に示すように、第２の実施形態における認識結果処理は、第１の実施形態におけるステップＳＴ３３とステップＳＴ３５の処理を省略する。ステップＳＴ３３の処理は、商品認識処理のステップＳＴ４２にて実行されている。ステップＳＴ３５の処理は、商品認識処理のステップＳＴ４４にて実行されている。したがって、ステップＳＴ３３とステップＳＴ３５の処理を省略することができる。

第２の実施形態の商品認識装置１では、商品認識処理の過程で類似度が確定閾値Ｌｍａｘを越える商品候補が認識されると（ＳＴ４３にてＹＥＳ）、認識確定を報知するブザー音が鳴動する（ＳＴ４４）。したがってオペレータは、読取窓１Ｂに翳している商品が商品認識処理によって認識されたことを確実に知り得る。認識されたことを知ったオペレータは、直ぐに商品を翳すのを止めて次の作業に入る。したがって、第２の実施形態によれば、オペレータの作業効率を高めることができる。

［第３の実施形態］
第１または第２の実施形態では、商品が読取窓１Ｂに翳されている間、商品認識装置１は、バーコード読取処理と商品認識処理と並列的に実行する。このため、バーコードが付されている商品に対しては、バーコードが読み取られるまでは商品認識処理が実行されるため、処理負荷が大きい。そこで次に、このような処理負荷を軽減した第３の実施形態について説明する。

第３の実施形態は、第１の実施形態から、商品認識プログラムにしたがってＣＰＵ１１１が実行する情報処理の一部を変更する。また、商品認識処理の一部も変更する。したがって、図１〜図４及び図７〜図９については、第３の実施形態でもそのまま利用する。

図１２は、第３の実施形態において、商品認識装置１のＣＰＵ１１１が商品認識プログラムに従って実行する情報処理の手順を示す流れ図である。なお、図５に示される第１の実施形態と同一の処理ステップには同一符号を付し、詳しい説明は省略する。

図１２に示すように、第３の実施形態では、先ずＣＰＵ１１１は、商品画像メモリをクリアする（ＳＴ５１）。商品画像メモリは、画像インターフェース１１４を介して取り込まれた画像から検出される商品画像を蓄積するための領域であり、例えばＲＡＭ１１３に形成される。その後、ＣＰＵ１１１は、第１の実施形態のステップＳＴ１〜ＳＴ６までの処理と同様に処理を実行する。なお、商品画像メモリと候補商品メモリ６００とをクリアするタイミングは本実施形態に限定されるものではない。ＣＰＵ１１１が、先に候補商品メモリ６００をクリアし、後から商品画像メモリをクリアしてもよい。

ステップＳＴ５の画像検出処理を行った結果、撮影画像から商品画像が検出されないと（ＳＴ６にてＮＯ）、ＣＰＵ１１１は、商品画像メモリに画像データが格納されているか否かを確認する（ＳＴ５３）。読取窓１Ｂに商品が翳される前までは、商品画像メモリに画像データは格納されていない。この場合（ＳＴ５３にてＮＯ）、ＣＰＵ１１１は、ステップＳＴ４の処理に戻る。すなわちＣＰＵ１１１は、カメラ１４から次のフレーム画像を取り込み、商品画像の検出処理を実行する。

商品画像が検出されたならば（ＳＴ６にてＹＥＳ）、ＣＰＵ１１１は、第１の実施形態と同様に、バーコード読取処理を実行する（ＳＴ８）。その結果、バーコードが読み取られたならば（ＳＴ９にてＹＥＳ）、ＣＰＵ１１１は、第１の実施形態のステップＳＴ１３〜ＳＴ１６までの処理と同様に処理を実行する。

これに対し、商品画像からバーコードを読み取ることができなかった場合（ＳＴ９にてＮＯ）、または、バーコードをデコードできなかった場合には（ＳＴ１１にてＮＯ）、ＣＰＵ１１１は、その商品画像を商品画像メモリに保存する（ＳＴ５２）。しかる後、ＣＰＵ１１１は、ステップＳＴ４の処理に戻る。

読取窓１Ｂに商品が翳されてから、この商品がカメラ１４の撮像領域を外れるまでの間、商品画像はフレーム画像から検出され続ける。したがってその間は、ＣＰＵ１１１は、ステップＳＴ８以降の処理を繰り返し実行する。すなわちＣＰＵ１１１は、フレーム画像から検出された商品画像を用いて、バーコード読取処理を実行する。そして、バーコードが読み取られたならば、ＣＰＵ１１１は、そのバーコードからデコードされた商品ＩＤをＰＯＳ端末２に出力する。

バーコードが読み取られない場合には、ＣＰＵ１１１は、商品画像を商品画像メモリに保存する。そして、バーコードが読み取られることなく商品がカメラ１４の撮像領域を外れると、フレーム画像から商品画像が検出されなくなる。このとき、商品画像メモリに商品画像が保存されているので、ＣＰＵ１１１は、商品認識処理を実行する。

図１３は、商品認識処理の手順を具体的に示す流れ図である。なお、図６に示される第１の実施形態の商品認識処理と同一の処理ステップには同一符号を付し、詳しい説明は省略する。

図１３に示すように、第３の実施形態では、商品画像メモリに蓄積されている商品画像を蓄積された順に読み込む（ＳＴ６１）。そして、商品画像を読み込む毎に、第１の実施形態のステップＳＴ２１〜ＳＴ２７の処理を実行する。

ステップＳＴ２７にて、認識辞書ファイル５００に未処理のデータレコードが存在しないことを確認すると（ＳＴ２７にてＮＯ）、ＣＰＵ１１１は、商品画像メモリに未処理の商品画像が保存されているか否かを確認する（ＳＴ６２）。未処理の商品画像が保存されている場合（ＳＴ６２にてＹＥＳ）、ＣＰＵ１１１は、ステップＳＴ６１の処理に戻る。すなわちＣＰＵ１１１は、商品画像メモリから次の商品画像を読み込んで、ＳＴ２１〜ＳＴ２７の処理を実行する。商品画像メモリに未処理の商品画像が保存されていないことを確認すると（ＳＴ６２にてＮＯ）、商品認識処理は終了する。

商品認識処理が終了すると、ＣＰＵ１１１は、第１の実施形態と同様の認識結果処理を実行する（ＳＴ１７）。

第３の実施形態の商品認識装置１では、商品が読取窓１Ｂに翳されている間、バーコード読取処理が実行される。また、撮影画像から検出された商品画像は、商品画像メモリに蓄積される。バーコード読取処理の結果、バーコードが読み取られると、このバーコードから得られる商品ＩＤがＰＯＳ端末２に送信される。

バーコードが読み取られることなく商品が撮像領域から外れると、商品認識装置１では、商品画像メモリに蓄積された商品画像を用いて商品認識処理が実行される。そして、この商品認識処理により認識された商品候補のなかから選択された商品または確定された商品の商品ＩＤがＰＯＳ端末２に送信される。

したがって、バーコードが付されている商品に対しては商品認識処理が実行されないので、商品認識装置１の処理負荷を軽減できる。

なお、本発明は、前記実施形態に限定されるものではない。
例えば前記実施形態では、ＣＰＵ１１１は、カメラ１４によって撮影された画像から商品画像が検出されなくなると、商品の撮影期間が終了したとみなす。商品の撮影期間が終了したとみなすタイミングは、これに限定されるものではない。例えば、撮影画像から商品画像が検出されていた場合でも、商品までの距離が所定値以上離れたと確認できた場合に商品の撮影期間が終了したとみなしてもよい。

また、前記実施形態では、商品認識処理により認識される商品候補が１品目に絞られると報知する報知デバイスとしてブザーを例示する。報知デバイスは、ブザーに限定されるものではない。例えば、パネル表示部１２ａに所定のメッセージを表示することで、商品候補が１品目に絞られたことを報知してもよい。

また、前記実施形態では、商品認識装置１のＣＰＵ１１１が、プロセッサとしての機能（プログラム）を全て有する。商品認識装置１のＣＰＵ１１１とＰＯＳ端末２のＣＰＵ２１１とが、プロセッサとしての機能を分散して有してもよい。あるいは、商品認識装置１をＰＯＳ端末２に組み込んで一体的に構成し、ＰＯＳ端末２のＣＰＵ２１１がプロセッサとしての機能を有してもよい。この場合、候補商品メモリ６００及び商品画像メモリとしての領域は、ＰＯＳ端末２のＲＡＭ２１３に確保される。

また、候補商品メモリ６００及び商品画像メモリとしての領域は、ＲＡＭ以外の記憶媒体、例えばＨＤＤ２１４に形成されていてもよい。本実施形態では、画像インターフェースを介して取り込まれた画像から検出される商品画像を蓄積する記憶媒体は全て商品画像メモリの範疇に入る。

また、前記実施形態は、装置内部のプログラム記憶部であるＲＯＭ１１２に発明の機能を実現させる制御プログラムが予め記録されているものとした。しかしこれに限らず、同様のプログラムがネットワークから装置にダウンロードされてもよい。あるいは、記録媒体に記録された同様のプログラムが、装置にインストールされてもよい。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。また、本実施形態のプログラムを、通信機能を有する携帯電話やいわゆるＰＤＡのような携帯情報端末に組み込んで、その機能を実現させるものであってもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］カメラによって撮影された商品の画像を取り込む画像インターフェースと、前記画像インターフェースを介して取り込まれた前記画像から商品画像を検出し、この商品画像から抽出される特徴量により商品候補を認識する商品認識処理と同商品画像から商品識別コードを読み取るコード読取処理とを並列的に行い、前記コード読取処理により前記商品識別コードが読取られると当該商品識別コードを確定し、前記商品識別コードが読み取られないまま前記商品の撮影期間が終了すると前記商品認識処理の結果を出力するプロセッサと、を具備したことを特徴とする商品認識装置。
［２］前記商品認識処理により認識される商品候補の最大類似度が確定閾値を超えると報知するブザー、をさらに具備したことを特徴とする付記［１］記載の商品認識装置。
［３］カメラによって撮影された商品の画像を取り込む画像インターフェースと、前記画像インターフェースを介して取り込まれた画像から検出される商品画像を蓄積する商品画像メモリと、前記画像インターフェースを介して取り込まれた前記画像から商品画像を検出し、この商品画像から商品識別コードの読取りを試行し、前記商品識別コードが読取られると当該商品識別コードを確定し、前記商品識別コードが読み取られないまま前記商品の撮影期間が終了すると、前記商品画像メモリに蓄積された商品画像から抽出される特徴量により商品候補を認識してその認識結果を出力するプロセッサと、を具備したことを特徴とする商品認識装置。
［４］前記プロセッサは、前記画像から商品画像が検出されなくなると、前記商品の撮影期間が終了したとみなすことを特徴とする付記［１］乃至［３］のうちいずれか１記載の商品認識装置。
［５］カメラによって撮影された商品の画像を取り込む画像インターフェースを備えたコンピュータに、前記画像インターフェースを介して取り込まれた前記画像から商品画像を検出し、この商品画像から抽出される特徴量により商品候補を認識する商品認識処理と同商品画像から商品識別コードを読み取るコード読取処理とを並行し、前記コード読取処理により前記商品識別コードが読取られると当該商品識別コードを確定し、前記商品識別コードが読み取られないまま前記商品の撮影期間が終了すると前記商品認識処理の結果を出力する機能を実現させるための商品認識プログラム。
［６］前記コンピュータに、前記商品認識処理により認識される商品候補の最大類似度が確定閾値を超えると、ブザーを動作させて報知する機能、をさらに実現させるための付記［５］記載の商品認識プログラム。

１…商品認識装置、２…ＰＯＳ端末、１１…キーボード、１２…タッチパネル、１４…カメラ、１５…ブザー、１１１，２１１…ＣＰＵ、１１２，２１２…ＲＯＭ、１１３，２１３…ＲＯＭ、１１４…画像インターフェース、１１６，２１６…接続インターフェース、２１４…ＨＤＤ、５００…認識辞書ファイル、６００…候補商品メモリ。

Claims (6)

1. カメラによって撮影された商品の画像を取り込む画像インターフェースと、
   プロセッサと、を含み、
   前記プロセッサは、
   前記画像インターフェースを介して前記画像を取り込む毎に、その画像から商品画像が検出されるか確認する手段と、
   前記商品画像が検出されたならば、その商品画像から商品識別コードを読み取るコード読取処理と同商品画像から抽出される特徴量により商品候補を認識する商品認識処理とを行うルーチンを、前記商品識別コードが読み取られるか前記商品画像が検出されなくなるまで繰り返し実行する手段と、
   前記コード読取処理により前記商品識別コードが読み取られると当該商品識別コードを確定させて前記ルーチンを終了させる手段と、
   前記商品識別コードが読み取られることなく前記商品画像が検出されなくなったならば、前記商品認識処理の結果を出力する手段と、
   を具備したことを特徴とする商品認識装置。
2. 前記商品認識処理により認識される商品候補の最大類似度が確定閾値を超えると報知するブザー、をさらに具備したことを特徴とする請求項１記載の商品認識装置。
3. カメラによって撮影された商品の画像を取り込む画像インターフェースと、
   前記画像インターフェースを介して取り込まれた画像から検出される商品画像を蓄積する商品画像メモリと、
   プロセッサと、を含み、
   前記プロセッサは、
   前記画像インターフェースを介して前記画像を取り込む毎に、その画像から商品画像が検出されるか確認する手段と、
   前記商品画像が検出されたならば、その商品画像から商品識別コードを読み取るコード読取処理と同商品画像を前記商品画像メモリに保存する保存処理とを行うルーチンを、前記商品識別コードが読み取られるか前記商品画像が検出されなくなるまで繰り返し実行する手段と、
   前記コード読取処理により前記商品識別コードが読み取られると当該商品識別コードを確定させて前記ルーチンを終了させる手段と、
   前記商品識別コードが読み取られることなく前記商品画像が検出されなくなったならば、前記商品画像メモリに蓄積された商品画像から抽出される特徴量により商品候補を認識する商品認識処理を行い、この商品認識処理の結果を出力する手段と、
   を具備したことを特徴とする商品認識装置。
4. 前記商品認識処理の結果を出力する手段は、最大類似度が確定閾値を超える商品候補がある場合にはその商品の情報を出力し、前記確定閾値を超える商品候補がない場合には、商品候補の一覧を類似度の大きい順にタッチパネルに表示させることを特徴とする請求項１乃至３のうちいずれか１記載の商品認識装置。
5. カメラによって撮影された商品の画像を取り込む画像インターフェースを備えたコンピュータに、
   前記画像インターフェースを介して前記画像を取り込む毎に、その画像から商品画像が検出されるか確認する機能、
   前記商品画像が検出されたならば、その商品画像から商品識別コードを読み取るコード読取処理と同商品画像から抽出される特徴量により商品候補を認識する商品認識処理とを行うルーチンを、前記商品識別コードが読み取られるか前記商品画像が検出されなくなるまで繰り返し実行する機能、
   前記コード読取処理により前記商品識別コードが読み取られると当該商品識別コードを確定させて前記ルーチンを終了させる機能、および
   前記商品識別コードが読み取られることなく前記商品画像が検出されなくなったならば、前記商品認識処理の結果を出力する機能、
   を実現させるための商品認識プログラム。
6. 前記コンピュータに、
   前記商品認識処理により認識される商品候補の最大類似度が確定閾値を超えると、ブザーを動作させて報知する機能、
   をさらに実現させるための請求項５記載の商品認識プログラム。

Images