JP6133470B2 - 商品認識装置及び商品認識プログラム - Google Patents

Description

本発明の実施形態は、カメラを用いた商品認識装置及びコンピュータを前記商品認識装置として機能させるための商品認識プログラムに関する。

商品に付されるデータコードの一種にバーコードがある。スーパーマーケット等で販売される商品には、大抵、商品識別コードを含むバーコードが付されている。このバーコードをスキャナでスキャニングすることにより商品識別コードを認識する商品認識装置は広く普及している。

しかしながら、全ての商品にバーコードが付されるとは限らない。例えば、ばら売りの野菜，果物，惣菜などには、バーコードが付されないことが多い。そこで、バーコードが付されない商品にも対応するために、表示デバイスをタッチパネルとした商品認識装置がある。この装置は、タッチパネルの画面にバーコードが付されない商品の画像を表示させる。オペレータのタッチ入力により商品の画像が選択されると、商品認識装置は、選択された商品の画像に関連付けられた商品識別コードを確定する。

特開２０００−３３９５５０号公報

商品にデータコードが付されている場合、オペレータ（店員または客）は、商品認識装置の読取窓にバーコードをかざせばよい。しかし、商品にバーコードが付されていない場合には、オペレータは、タッチパネルの画面から商品を選択する必要がある。この際、画面に所望の商品が表示されていないと、オペレータは、タッチ操作により画面を切り替えて商品を探さなければならない。このため、従来の商品認識装置は、バーコード等のデータコードが付されていない商品の認識作業に要するオペレータの負担が大きい。

本発明が解決しようとする課題は、バーコード等のデータコードが付されていない商品の認識作業に要するオペレータの負担を軽減できる商品認識装置を提供しようとするものである。

一実施形態において、商品認識装置は、画像インターフェースと、接続インターフェースと、ディスプレイと、メモリと、プロセッサとを含む。画像インターフェースは、カメラによって撮影された商品画像を取り込む。接続インターフェースは、商品販売データを登録する端末と接続する。プロセッサは、画像インターフェースを介して取り込まれた商品画像から商品識別コードの読取りを試行する。そして商品識別コードが読み取れない場合、プロセッサは、商品識別コードの読取りを試行した商品画像から商品の候補を認識し、認識された商品の候補をメモリに記憶する。またプロセッサは、メモリに記憶された商品の候補をディスプレイの候補エリアに表示する。商品の候補が候補エリアに表示された状態で商品識別コードを読取った場合には、プロセッサは、メモリをクリアし、候補エリアの表示を消去し、読取られた商品識別コードを接続インターフェースを介して端末へと送信する。

店舗会計システムの外観図。 商品認識装置とＰＯＳ端末とのハードウェア構成を示すブロック図。 認識辞書ファイルに保存される商品別辞書データの構造を示す模式図。 候補商品メモリのエリア構造を示す模式図。 商品認識装置のＣＰＵが商品認識プログラムに従って実行する情報処理の一手順を示す流れ図。 図５の商品認識処理の手順を具体的に示す流れ図。 登録画面の一例を示す平面図。 登録画面に商品候補が表示された一例を示す平面図。 商品認識装置のＣＰＵが商品認識プログラムに従って実行する情報処理の他の手順を示す流れ図。

本実施形態は、小売店の店舗会計システムに含まれる商品認識装置に本発明に係る機能を適用した場合である。

はじめに、本実施形態の商品認識装置は、一般物体認識（generic object recognition）の技術を採用する。一般物体認識とは、対象となる物品（オブジェクト）をカメラで撮像した画像データから当該物品の種別等を認識する技術である。コンピュータは、画像データからこの画像に含まれる物品の外観特徴量を抽出する。そしてコンピュータは、認識辞書ファイルに登録された基準画像の特徴量データと照合して類似度を算出し、この類似度に基づいて当該物品の種別等を認識する。画像中に含まれる物品を認識する技術については、下記の文献に解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６［平成２２年８月１０日検索］，インターネット＜ URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf ＞
また、画像をオブジェクト毎に領域分割することによって一般物体認識を行う技術については、下記の文献に解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，［平成２２年８月１０日検索］，インターネット＜ URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf ＞［第１の実施形態］
図１は、店舗会計システムの外観図である。このシステムは、顧客が買い上げる商品を認識する商品認識装置１と、商品認識装置１で認識された商品の販売データを登録するＰＯＳ端末２とを含む。商品認識装置１は、会計カウンタ３の上に取り付けられる。ＰＯＳ端末２は、レジ台４の上にドロワ５を介して設置される。ＰＯＳ端末２は、決済に必要なデバイスとしてキーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３及びレシートプリンタ２４を備える。商品認識装置１とＰＯＳ端末２とは、通信ケーブル４００（図２を参照）によって電気的に接続される。

会計カウンタ３は、その奥側の顧客通路に沿って細長い形状である。レジ台４は、会計カウンタ３に沿って移動する顧客の移動方向に対して下流側の会計カウンタ３の端部手前側に、会計カウンタ３に対して略垂直に置かれる。そして、この会計カウンタ３の手前側とレジ台４の手前側が、会計担当の店員いわゆるキャッシャのスペースとなる。

商品認識装置１は、キーボード１１、タッチパネル１２及び客用ディスプレイ１３を備える。これらの表示・入力デバイス（キーボード１１、タッチパネル１２、客用ディスプレイ１３）は、商品認識装置１の本体を構成するハウジング１Ａに取り付けられる。薄型の矩形形状を有するハウジング１Ａは、会計カウンタ３の略中央に立設される。キーボード１１とタッチパネル１２は、それぞれ操作面をキャッシャ側に向けてハウジング１Ａに取り付けられる。客用ディスプレイ１３は、表示面を顧客通路側に向けてハウジング１Ａに取り付けられる。

ハウジング１Ａには、カメラ１４が内蔵される。また、矩形状の読取窓１Ｂが、ハウジング１Ａの正面（キャッシャ側）に形成される。カメラ１４は、エリアイメージセンサであるＣＣＤ（Charge Coupled Device）撮像素子及びその駆動回路と、撮像領域の画像をＣＣＤ撮像素子に結像させるための撮像レンズとを備える。撮像領域とは、読取窓１Ｂから撮像レンズを通してＣＣＤ撮像素子のエリアに結像するフレーム画像の領域を指す。カメラ１４は、撮像レンズを通ってＣＣＤ撮像素子に結像した撮像領域の画像を出力する。

なお、カメラ１４は、上記構成のものに限定されるものではない。本実施形態では、商品を撮像する機能を有しているものは全てカメラ１４の範疇に入る。

会計カウンタ３の商品認識装置１を挟んで一方の荷受面、すなわち顧客移動方向に対して上流側の荷受面は、買物客が購入する未登録の商品Ｍが入れられた買物カゴ６を置くためのスペースとなる。他方の荷受面、すなわち顧客移動方向に対して下流側の荷受面は、商品認識装置１により認識された商品Ｍを入れるための買物カゴ７を置くためのスペースとなる。

図２は、商品認識装置１とＰＯＳ端末２とのハードウェア構成を示すブロック図である。商品認識装置１は、主制御部、主記憶部及び入出力部で構成される。ＣＰＵ（Central Processing Unit）１１１は主制御部である。ＲＯＭ（Read Only Memory）１１２及びＲＡＭ（Random Access Memory）１１３は主記憶部である。画像インターフェース１１４、デバイスインターフェース１１５及び接続インターフェース１１６は入出力部である。ＣＰＵ１１１は、アドレスバス，データバス等のバスライン１１７を介して、ＲＯＭ１１２、ＲＡＭ１１３及び各インターフェース１１４，１１５，１１６を接続する。

なお、主制御部は、ＣＰＵ以外のプロセッサであってもよい。また、入出力部にその他のインターフェースが含まれることを妨げるものではない。

画像インターフェース１１４には、前記カメラ１４が接続される。このカメラ１４によって撮像された画像は、画像インターフェース１１４介して商品認識装置１に取り込まれ、ＲＡＭ１１３に格納される。デバイスインターフェース１１５には、前記キーボード１１、タッチパネル１２及び客用ディスプレイ１３が接続される。タッチパネル１２は、パネル表示部１２ａとタッチパネルセンサ１２ｂとからなる。タッチパネルセンサ１２ｂは、パネル表示部１２ａの画面の上に重ねて配置される。

ＰＯＳ端末２は、主制御部、主記憶部、補助記憶部及び入出力部で構成される。ＣＰＵ２１１は主制御部である。ＲＯＭ２１２及びＲＡＭ２１３は主記憶部である。ＨＤＤ（Hard Disk Drive）２１４は補助記憶部である。デバイスインターフェース２１５、通信インターフェース２１６及び接続インターフェース２１７は入出力部である。ＣＰＵ２１１は、アドレスバス，データバス等のバスライン２１８を介して、前記ＲＯＭ２１２、ＲＡＭ２１３、ＨＤＤ２１４及び各インターフェース２１５，２１６，２１７を接続する。

なお、主制御部は、ＣＰＵ以外のプロセッサであってもよい。また、入出力部にその他のインターフェースが含まれることを妨げるものではない。また、補助記憶部は、ＨＤＤ２１４に限定されない。例えば、ＳＳＤ（Solid State Drive）を補助記憶部として用いてもよい。

デバイスインターフェース２１５には、図２では省略するが、前記キーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３、プリンタ２４及びドロワ５が接続される。

通信インターフェース２１６には、ＬＡＮ（Local Area Network）等のネットワークを介して、店舗の中枢を担うストアコンピュータ３００が接続される。この接続により、ＰＯＳ端末２は、ストアコンピュータ３００とデータの送受信が可能となる。例えばＰＯＳ端末２は、通信インターフェース２１６を介してストアコンピュータ３００から後述する認識辞書ファイル５００を受信する。認識辞書ファイル５００は、ＨＤＤ２１４に保存される。

接続インターフェース２１７には、通信ケーブル４００を介して、商品認識装置１の接続インターフェース１１６が接続される。この接続により、ＰＯＳ端末２は、商品販売データを商品認識装置１のタッチパネル１２及び客用ディスプレイ１３に表示させる。商品認識装置１は、ＰＯＳ端末２のＨＤＤ２１４に保存される認識辞書ファイル５００に対してアクセスが可能となる。

本実施形態では、バーコードが付されていない商品を認識対象商品とする。認識辞書ファイル５００は、認識対象商品毎に辞書データを保存する。図３は、辞書データの構造を示す模式図である。図３に示すように、認識辞書ファイル５００には、認識対象商品毎に、商品ＩＤ及び商品名と関連付けて、複数対の商品画像データ０〜Ｎと特徴量データ０〜Ｎとが保存される。商品ＩＤは、商品を識別する商品識別コードである。因みに、商品に付されるバーコードには、上記商品ＩＤが含まれる。

商品画像データ０〜Ｎは、対応する商品ＩＤで識別される商品を様々な方向から撮影した画像のデータである。特徴量データ０〜Ｎは、対応する商品画像０〜Ｎから、その商品の表面情報（外観形状、色合い、模様、凹凸具合等）である外観上の特徴量を抽出し、この外観特徴量をパラメータ化したデータである。

なお、１つの商品に対する画像データ及び特徴量データの数（ｎ＋１）は、固定ではない。画像データ及び特徴量データの数（ｎ＋１）は商品によって異なる。また、画像データ０〜Ｎを全て認識辞書ファイル５００で保存するのでなく、いずれか１つの画像データを認識辞書ファイル５００が保存してもよい。

商品認識装置１は、カメラ１４の撮像領域に翳された商品Ｍを販売商品として確定するまでの機能として、読取機能、特徴量抽出機能、類似度算出機能、候補登録機能、候補出力機能及び確定機能を有する。

読取機能は、カメラ１４で撮影された商品の画像から、その商品に付されたバーコードを読み取る。なお、読取機能は、バーコードの代わりに他のデータコード、例えば二次元データコードを読み取るものであってもよい。

特徴量抽出機能は、カメラ１４で撮影された商品の画像からその商品の外観特徴量を抽出する。類似度算出機能は、特徴量抽出機能により抽出された外観特徴量を、認識辞書ファイル５００に記憶されている認識対象商品毎の特徴量データと照合する。そして類似度算出機能は、外観特徴量が特徴量データに対してどの程度類似しているかを示す類似度を認識対象商品毎に算出する。

候補登録機能は、類似度算出機能により算出された類似度の大きい順に認識対象商品を販売商品候補として抽出する。そしてこの機能は、販売商品候補となった商品の情報を後述する候補商品メモリ６００に登録する。候補出力機能は、販売商品候補となった商品の画像をタッチパネル１２に表示出力する。確定機能は、タッチパネル１２に表示された商品画像の中から、タッチ操作により選択された商品を販売商品として確定させる。

かかる機能を実現させるために、商品認識装置１は、ＲＯＭ１１２に商品認識プログラムを保存する。また商品認識装置１は、ＲＡＭ１１３に候補商品メモリ６００としての領域を確保する。候補商品メモリ６００は、図４に示すように、１位から５位までの順位毎に、商品ＩＤ、商品名、商品画像及び類似度の各データを格納する。なお、候補商品メモリ６００において、順位は１位から５位までに限定されるものではない。例えば何位までのデータを格納するのかを、システムのユーザが任意に設定できるようにしてもよい。

商品認識装置１のＣＰＵ１１１は、商品認識プログラムに従って、図５の流れ図に示す手順の情報処理を実行する。はじめに、ＣＰＵ１１１は、タッチパネル１２のパネル表示部１２ａに登録画面７００を表示させる（ＳＴ１）。

登録画面７００の一例が図７に示される。登録画面７００は、明細エリア７０１と、合計エリア７０２と、候補エリア７０３とを含む。明細エリア７０１には、販売商品として登録された商品の商品名、単価、数量、金額が表示される。合計エリア７０２には、登録された商品の合計点数及び合計金額が表示される。候補エリア７０３には、候補商品メモリ６００に格納された商品名及び商品画像が、１位から順番に表示される。

登録画面７００が表示された後、ＣＰＵ１１１は、キーボード１１が操作されたか否かを確認する（ＳＴ２）。キーボードが操作されると、操作キーに対応したキーコードがＲＡＭ１１３のキーバッファに操作順に格納される。そこでＣＰＵ１１１は、キーバッファにキーコードが格納されているか否かを確認する。

キーバッファにキーコードが格納されていない場合、ＣＰＵ１１１は、キー入力なしと判定する（ＳＴ２にてＮＯ）。この場合、ＣＰＵ１１１は、カメラ１４で撮影されている画像（フレーム画像）を、画像インターフェース１１４を介して取り込む（ＳＴ３）。取り込まれた画像は、ＲＡＭ１１３の画像バッファに格納される。

ＣＰＵ１１１は、画像バッファに格納された画像を解析してバーコードを読み取る（ＳＴ４：読取機能）。画像解析によるバーコードの読取技術は、例えば特開２００８−０３３６４０号公報に記載されている。

ＣＰＵ１１１は、画像からバーコードを読み取ることができたか否かを判定する（ＳＴ５）。バーコードを読み取ることができなかった場合（ＳＴ５にてＮＯ）、ＣＰＵ１１１は、商品認識処理を実行する（ＳＴ６）。

図６は、商品認識処理の手順を具体的に示す流れ図である。先ず、ＣＰＵ１１１は、画像バッファに格納された画像を再度解析して、この画像から商品を検出できるか否かを確認する（ＳＴ６１）。具体的には、ＣＰＵ１１１は、フレーム画像を二値化した画像から輪郭線等を抽出する。そしてＣＰＵ１１１は、画像に映し出されている物体の輪郭抽出を試みる。物体の輪郭が抽出されると、ＣＰＵ１１１は、その輪郭内の画像を商品とみなす。画像から商品を検出できない場合（ＳＴ６１にてＮＯ）、商品認識処理は終了する。

画像から商品を検出できた場合（ＳＴ６１にてＹＥＳ）、ＣＰＵ１１１は、その輪郭内の画像から商品の外観特徴量を抽出する（ＳＴ６２：特徴量抽出機能）。外観特徴量には、商品の形状、表面の色合い、模様、凹凸状況等が含まれる。商品の外観特徴量が抽出されると、ＣＰＵ１１１は、ＰＯＳ端末２のＨＤＤ２１４にアクセスして、認識辞書ファイル５００を検索する（ＳＴ６３）。そしてＣＰＵ１１１は、認識辞書ファイル５００から１商品のデータレコード（商品ＩＤ、商品名、商品画像０〜ｎ、特徴量データ０〜ｎ）を読み込む（ＳＴ６４）。

１商品のデータレコードが読み込まれたならば、ＣＰＵ１１１は、当該レコードの特徴量データ０〜ｎ毎に類似度を算出する。類似度は、特徴量データ０〜ｎがステップＳＴ６２の処理で抽出された商品の外観特徴量とどの程度類似しているかを示す値である。ＣＰＵ１１１は、特徴量データ０〜ｎ毎に算出された類似度の最大値を、当該レコードの商品ＩＤで特定される認識対象商品と、カメラ１４で撮影された商品との類似度として決定する（ＳＴ６５：類似度算出機能）。なお、特徴量データ０〜ｎ毎に算出された類似度の合計値あるいは平均値を、認識対象商品と撮影された商品との類似度として決定してもよい。

ＣＰＵ１１１は、ステップＳＴ６５の処理で決定された類似度が、予め設定された候補閾値Ｌｍｉｎを超えるか否かを確認する（ＳＴ６６）。候補閾値Ｌｍｉｎは、認識対象商品を候補商品として残す類似度の下限値である。類似度が候補閾値Ｌｍｉｎを超えていない場合（ＳＴ６６にてＮＯ）、ＣＰＵ１１１は、ステップＳＴ６８の処理に進む。

類似度が候補閾値Ｌｍｉｎを超えている場合には（ＳＴ６６にてＹＥＳ）、ＣＰＵ１１１は、この類似度を、当該レコードの商品ＩＤ、商品名及び商品画像とともにＲＡＭ１１３の候補バッファに格納する（ＳＴ６７）。商品画像は、例えば類似度が最大となった特徴量データと対になっている画像が選択される。しかる後、ＣＰＵ１１１は、ステップＳＴ６８の処理に進む。

ステップＳＴ６８では、ＣＰＵ１１１は、認識辞書ファイル５００に未処理のデータレコードが存在するか否かを確認する。存在する場合（ＳＴ６８にてＹＥＳ）、ＣＰＵ１１１は、ステップＳＴ６４の処理に戻る。すなわちＣＰＵ１１１は、認識辞書ファイル３０から未処理のデータレコードを読み込み、前記ステップＳＴ６５〜ＳＴ６７の処理を再度実行する。
認識辞書ファイル５００に未処理のデータレコードが存在しない場合（ＳＴ６８にてＮＯ）、商品認識処理は終了する。

商品認識処理が終了すると、ＣＰＵ１１１は、撮影画像から商品を認識できたか否かを確認するために候補バッファを検索する（ＳＴ７）。候補バッファにデータが格納されていない場合、商品が認識されていない。この場合（ＳＴ７にてＮＯ）、ＣＰＵ１１１は、ステップＳＴ２の処理に戻る。すなわちＣＰＵ１１１は、キーボード１１が操作されたか否かを確認し、操作されていない場合には、前記ステップＳＴ３以降の処理を再度実行する。

候補バッファに少なくとも１商品のデータ（商品ＩＤ、商品名、画像、類似度）が格納されていた場合（ＳＴ７にてＹＥＳ）、ＣＰＵ１１１は、候補バッファのデータを類似度の大きい順に並べ替える。そしてＣＰＵ１１１は、類似度が１位から５位までのデータ（商品ＩＤ、商品名、画像、類似度）を選択し、１位から順に候補商品メモリ６００に登録する（ＳＴ８：候補登録機能）。またＣＰＵ１１１は、候補商品メモリ６００に登録された順に候補商品の画像を候補エリア７０３に表示させる（ＳＴ９：候補出力機能）。

候補商品画像を表示した登録画面７００の一例が図８に示される。この例は、候補商品として「リンゴ」、「柿」及び「モモ」が認識された場合である。類似度は、「リンゴ」が最も大きく、「モモ」が最も小さい。この場合、図８に示すように、「リンゴ」を選択するためのボタン画像７１１と、「柿」を選択するためのボタン画像７１２と、「モモ」を選択するためのボタン画像７１３とが、候補エリア７０３に表示される。

候補商品のボタン画像７１１，７１２，７１３が表示されると、ＣＰＵ１１１は、候補商品の中からいずれか１商品が選択されたか否かを確認する（ＳＴ１０）。いずれか１つのボタン画像がタッチ入力されると、ＣＰＵ１１１は、そのボタン画像に表示されている商品が選択されたとみなす。

商品が選択されない場合（ＳＴ１０にてＮＯ）、ＣＰＵ１１１は、ステップＳＴ２の処理に戻る。すなわちＣＰＵ１１１は、キーボード１１が操作されたか否かを確認し、操作されていない場合には、前記ステップＳＴ３以降の処理を再度実行する。

タッチパネルセンサ１２ｂからの信号により商品が選択された場合（ＳＴ１０にてＹＥＳ）、ＣＰＵ１１１は、候補商品メモリ６００に記憶されている商品の候補をリセットするために、候補商品メモリ６００をクリアする（ＳＴ１１）。またＣＰＵ１１１は、候補エリア７０３に表示された候補商品のボタン画像７１１，７１２，７１３を消去する（ＳＴ１２）。さらにＣＰＵ１１１は、選択された商品の商品ＩＤを販売商品の商品ＩＤとして確定する（確定機能）。そしてＣＰＵ１１１は、この確定された商品ＩＤを、通信ケーブル４００を介してＰＯＳ端末２に送信する（ＳＴ１３）。

商品ＩＤが送信された後、ＣＰＵ１１１は、ステップＳＴ２の処理に戻る。すなわちＣＰＵ１１１は、キーボード１１が操作されたか否かを確認し、操作されていない場合には、前記ステップＳＴ３以降の処理を再度実行する。

ステップＳＴ５にて画像からバーコードを読み取ることができた場合（ＳＴ５にてＹＥＳ）、ＣＰＵ１１１は、ステップＳＴ１１の処理に進む。すなわちＣＰＵ１１１は、候補商品メモリ６００に記憶されている商品の候補をリセットするために、候補商品メモリ６００をクリアする（ＳＴ１１）。またＣＰＵ１１１は、候補エリア７０３に表示された候補商品のボタン画像７１１，７１２，７１３を消去する（ＳＴ１２）。さらにＣＰＵ１１１は、バーコードに含まれる商品ＩＤを販売商品の商品ＩＤとして確定する。そしてＣＰＵ１１１は、この確定された商品ＩＤを、通信ケーブル４００を介してＰＯＳ端末２に送信する（ＳＴ１３）。

ステップＳＴ２にてキーバッファにキーコードが格納されている場合（ＳＴ２にてＹＥＳ）、ＣＰＵ１１１は、そのキーコードを解析して、商品ＩＤが入力されたか否かを確認する（ＳＴ１４）。商品ＩＤ以外の入力の場合（ＳＴ１４にてＮＯ）、ＣＰＵ１１１は、入力に応じた処理を実行する。

商品ＩＤが入力されている場合（ＳＴ１４にてＹＥＳ）、ＣＰＵ１１１は、ステップＳＴ１１の処理に進む。すなわちＣＰＵ１１１は、候補商品メモリ６００に記憶されている商品の候補をリセットするために、候補商品メモリ６００をクリアする（ＳＴ１１）。またＣＰＵ１１１は、候補エリア７０３に表示された候補商品のボタン画像７１１，７１２，７１３を消去する（ＳＴ１２）。さらにＣＰＵ１１１は、キー入力された商品ＩＤを販売商品の商品ＩＤとして確定する。そしてＣＰＵ１１１は、この確定された商品ＩＤを、通信ケーブル４００を介してＰＯＳ端末２に送信する（ＳＴ１３）。

商品ＩＤを受信したＰＯＳ端末２のＣＰＵ２１１は、その商品ＩＤで識別される商品の商品名、単価等の商品情報を取得するために商品マスタファイルを検索する。そしてＣＰＵ２１１は、商品マスタファイルから検出した商品情報に基づいて、販売数量、販売金額を含む商品販売データを登録処理する。またＣＰＵ２１１は、商品名、単価、数量、金額の各データを、接続インターフェース２１７を介して商品認識装置１に送信する。商品認識装置１のＣＰＵ１１１は、パネル表示部１２ａに表示されている登録画面７００の明細エリア７０１と客用ディスプレイ１３とに、ＰＯＳ端末２から受信した商品名、単価、数量、金額の各データを表示させる。

なお、商品認識装置１のＣＰＵ１１１が実行する前記ステップＳＴ１１，ＳＴ１２，ＳＴ１３の処理手順は限定されるものではない。例えば、候補商品のボタン画像７１１，７１２，７１３を消去してから候補商品メモリ６００をクリアしてもよい。あるいは、確定された商品ＩＤをＰＯＳ端末２に送信してから、候補商品メモリ６００をクリアし、候補商品のボタン画像７１１，７１２，７１３を消去してもよい。

ここにＣＰＵ１１１は、画像インターフェース１１４を介して取り込まれた商品画像から商品識別コード（商品ＩＤ）の読取りを試行し、商品識別コードを読取ると、候補商品メモリ６００に記憶されている商品の候補をリセットするプロセッサとして機能する。またＣＰＵ１１１は、商品識別コードを読取ると、ディスプレイ（パネル表示部１２ａ）に表示されている商品の候補を消去するプロセッサとして機能する。キーボード１１は、商品識別コードを入力可能な入力デバイスとして機能する。そしてＣＰＵ１１１は、入力デバイスを介して商品識別コードが入力されると、候補商品メモリ６００に記憶されている商品の候補をリセットするプロセッサとして機能する。

本実施形態において、商品認識装置１のオペレータは、買物カゴ６から商品Ｍを１品ずつ取り出す毎に、その商品Ｍにバーコートが付されているか否かを確認する。バーコードが付されている場合には、オペレータは、商品Ｍのバーコードが付されている面を読取窓１Ｂに翳す。バーコードが付されていない場合には、オペレータは、商品Ｍのいずれか１面を読取窓１Ｂに翳す。

読取窓１Ｂに翳された商品Ｍは、カメラ１４によって撮影される。商品認識装置１においては、カメラ１４で撮影されたフレーム画像からバーコードの読取処理が実行され、バーコードが読み取られない場合には商品認識処理が実行される。そして、候補商品が認識されない場合には、次のフレーム画像が取り込まれ、バーコード読取処理と商品認識処理が実行される。

一方、商品認識処理によって候補商品が認識された場合には、候補商品メモリ６００に候補商品のデータが格納される。また、候補商品の画像がタッチパネル１２に表示される。ただし、候補商品の中から商品が選択されない場合、商品認識装置１においては、次のフレーム画像が取り込まれ、バーコード読取処理と商品認識処理が実行される。

したがって、バーコードが付されていない商品Ｍに対しては、オペレータが読取窓１Ｂに翳している間に撮影される複数のフレーム画像から候補商品が認識されて、商品Ｍの画像がタッチパネル１２に表示される。そこでオペレータは、候補商品として商品Ｍが表示されたならば、その商品Ｍの画像にタッチする。そうすると、この商品Ｍの商品ＩＤが販売商品のＩＤとしてＰＯＳ端末２に送信され、商品販売データが登録処理される。

オペレータが候補商品の中から商品Ｍを選択すると、候補商品メモリ６００がクリアされる。また、タッチパネル１２に表示されていた候補商品の画像が消去される。したがって、オペレータが次の商品を買物カゴ６から取り出して読取窓１Ｂに翳す際には、直前の候補商品がリセットされているので、スムーズに次の商品の処理に入ることができる。

一方、バーコードが付されている商品についても、オペレータが読取窓１Ｂに翳している間に撮影される複数のフレーム画像からバーコードが読み取られる。そしてこのバーコードに含まれる商品ＩＤが販売商品のＩＤとしてＰＯＳ端末２に送信され、商品販売データが登録処理される。

商品の画像からバーコードが読み取られると、候補商品メモリ６００がクリアされる。また、タッチパネル１２に表示されていた候補商品の画像が消去される。したがって、オペレータが次の商品を買物カゴ６から取り出して読取窓１Ｂに翳す際には、直前の候補商品がリセットされているので、やはりスムーズに次の商品の処理に入ることができる。

ところで、オペレータがバーコード付きの商品を読取窓１Ｂに翳しているにも拘らず、バーコードが読み取られない場合がある。例えばバーコードが汚れていた場合に、このような事象が発生する。その場合、オペレータは、キーボード１１を操作して商品ＩＤを入力する。

このように商品ＩＤがキー入力された場合にも、商品認識装置１では、候補商品メモリ６００がクリアされる。また、タッチパネル１２に表示されていた候補商品の画像が消去される。したがって、オペレータが次の商品を買物カゴ６から取り出して読取窓１Ｂに翳す際には、直前の候補商品がリセットされているので、やはりスムーズに次の商品の処理に入ることができる。

したがって、本実施形態の商品認識装置１によれば、商品にバーコードが付されているか否かに係らず、商品が認識されるまでに要するオペレータの負担を軽減できる効果を奏する。

［第２の実施形態］
前記第１の実施形態では、商品認識装置１のＣＰＵ１１１は、先にバーコードの読取処理を実行し（ＳＴ４）、後から商品認識処理を実行する（ＳＴ６）。これらの処理は、いずれもカメラ１４で撮影された同一フレームの画像を用いる。したがって、先に商品認識処理を実行し、後からバーコードの読取処理を実行してもよい。第２の実施形態は、商品認識装置１のＣＰＵ１１１が先に商品認識処理を実行し、後からバーコードの読取処理を実行する場合である。

図９は、第２の実施形態において、ＣＰＵ１１１が商品認識プログラムに従って実行する情報処理の手順を示す流れ図である。はじめに、ＣＰＵ１１１は、タッチパネル１２のパネル表示部１２ａに登録画面７００を表示させる（ＳＴ２１）。次に、ＣＰＵ１１１は、キーボード１１が操作されたか否かを確認する（ＳＴ２２）。

キー入力なしと判定した場合（ＳＴ２２にてＮＯ）、ＣＰＵ１１１は、商品認識処理を実行する（ＳＴ２４）。この商品認識処理の具体的手順は、第１の実施形態と同様である。したがって、第２の実施形態でも図６を用い、その説明は省略する。

商品認識処理が終了すると、ＣＰＵ１１１は、撮影画像から商品を認識できたか否かを確認する（ＳＴ２５）。商品が認識されていない場合（ＳＴ２５にてＮＯ）、ＣＰＵ１１１１は、ステップＳＴ２７の処理に進む。

商品が認識されている場合には（ＳＴ２５にてＹＥＳ）、ＣＰＵ１１１は、候補バッファのデータを類似度の大きい順に並べ替える。そしてＣＰＵ１１１は、類似度が１位から５位までのデータ（商品ＩＤ、商品名、画像、類似度）を選択し、候補商品メモリ６００に順に登録する（ＳＴ２６）。しかる後、ＣＰＵ１１１１は、ステップＳＴ２７の処理に進む。

ステップＳＴ２７では、ＣＰＵ１１１は、バーコード読取処理を実行する。すなわちＣＰＵ１１１は、画像バッファに格納された画像を解析してバーコードを読み取る。バーコードを読み取ることができなかった場合（ＳＴ２８にてＮＯ）、ＣＰＵ１１１は、候補商品メモリ６００に登録された順に候補商品の画像を候補エリア７０３に表示させる（ＳＴ２９）。そしてＣＰＵ１１１は、候補商品の中からいずれか１商品が選択されたか否かを確認する（ＳＴ３０）。

商品が選択されない場合（ＳＴ３０にてＮＯ）、ＣＰＵ１１１は、ステップＳＴ２２の処理に戻る。すなわちＣＰＵ１１１は、キーボード１１が操作されたか否かを確認し、操作されていない場合には、前記ステップＳＴ２３以降の処理を再度実行する。

商品が選択された場合（ＳＴ１０にてＹＥＳ）、ＣＰＵ１１１は、ステップＳＴ３１〜ＳＴ３３として、第１の実施形態のステップＳＴ１１〜ＳＴ１３と同一の処理を実行する。画像からバーコードを読み取ることができた場合（ＳＴ２８にてＹＥＳ）、あるいは商品ＩＤがキー入力された場合にも（ＳＴ３４にてＹＥＳ）、ＣＰＵ１１１は、ステップＳＴ３１〜ＳＴ３３として、第１の実施形態のステップＳＴ１１〜ＳＴ１３と同一の処理を実行する。したがって、第２の実施形態の商品認識装置においても、第１の実施形態の商品認識装置１と同様の作用効果を奏し得る。

なお、本発明は、前記実施形態に限定されるものではない。
例えば前記実施形態では、商品認識装置１のＣＰＵ１１１が、プロセッサとしての機能を全て有する。商品認識装置１のＣＰＵ１１１とＰＯＳ端末２のＣＰＵ２１１とが、プロセッサとしての機能を分散して有してもよい。あるいは、商品認識装置１をＰＯＳ端末２に組み込んで一体的に構成し、ＰＯＳ端末２のＣＰＵ２１１がプロセッサとしての機能を有してもよい。この場合、候補商品メモリ６００としての領域は、ＰＯＳ端末２のＲＡＭ２１３に確保される。

また、前記実施形態では、商品識別コードを入力可能な入力デバイスとしてキーボード１１を例示する。商品識別コードを入力可能であれば、キーボード以外の入力デバイスをキーボード１１の代わりに用いてもよい。あるいは、ハンディ式のバーコードスキャナを入力デバイスとして用いることも可能である。

また、前記実施形態は、装置内部のプログラム記憶部であるＲＯＭ１１２に発明の機能を実現させる制御プログラムが予め記録されているものとした。しかしこれに限らず、同様のプログラムがネットワークから装置にダウンロードされてもよい。あるいは、記録媒体に記録された同様のプログラムが、装置にインストールされてもよい。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。また、本実施形態のプログラムを、通信機能を有する携帯電話やいわゆるＰＤＡのような携帯情報端末に組み込んで、その機能を実現させるものであってもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］カメラによって撮影された商品画像を取り込む画像インターフェースと、前記画像インターフェースを介して取り込まれた前記商品画像から認識される商品の候補を記憶するメモリと、前記画像インターフェースを介して取り込まれた前記商品画像から商品識別コードの読取りを試行し、前記商品識別コードを読取ると、前記メモリに記憶されている商品の候補をリセットするプロセッサと、を具備したことを特徴とする商品認識装置。
［２］前記メモリに記憶されている商品の候補を表示するディスプレイ、をさらに具備し、前記プロセッサはさらに、前記商品識別コードを読取ると、前記ディスプレイに表示されている商品の候補を消去することを特徴とする付記［１］記載の商品認識装置。
［３］前記商品識別コードを入力可能な入力デバイス、をさらに具備し、前記プロセッサはさらに、前記入力デバイスを介して前記商品識別コードが入力されると、前記メモリに記憶されている商品の候補をリセットすることを特徴とする付記［１］または［２］記載の商品認識装置。
［４］カメラによって撮影された商品画像を取り込む画像インターフェースと、前記画像インターフェースを介して取り込まれた前記商品画像から認識される商品の候補を記憶するメモリとを備えたコンピュータに、前記画像インターフェースを介して取り込まれた前記商品画像から商品識別コードの読取りを試行する機能と、前記画像インターフェースを介して取り込まれた前記商品画像からその画像に含まれる商品の候補を認識する機能と、前記商品画像から認識された商品の候補を前記メモリに登録する機能と、商品識別コードの読取りを試行した結果、前記商品識別コードを読取ると、前記メモリに記憶されている商品の候補をリセットする機能と、を実現させるための商品認識プログラム。
［５］当該コンピュータに、商品識別コードの読取りを試行した結果、前記商品識別コードを読取ると、前記メモリに記憶されている商品の候補を表示するディスプレイに表示されている商品の候補を消去する機能をさらに実現させるための付記［４］記載の商品認識プログラム。

１…商品認識装置、２…ＰＯＳ端末、１１…キーボード、１２…タッチパネル、１４…カメラ、１１１，２１１…ＣＰＵ、１１２，２１２…ＲＯＭ、１１３，２１３…ＲＯＭ、１１４…画像インターフェース、１１６，２１６…接続インターフェース、２１４…ＨＤＤ、５００…認識辞書ファイル、６００…候補商品メモリ。

Claims (6)

1. カメラによって撮影された商品画像を取り込む画像インターフェースと、
   商品販売データを登録する端末との接続インターフェースと、
   ディスプレイと、
   メモリと、
   プロセッサと、を具備し、
   前記プロセッサは、
   前記画像インターフェースを介して取り込まれた前記商品画像から商品識別コードの読取りを試行し、
   前記商品識別コードが読み取れない場合、前記商品識別コードの読取りを試行した前記商品画像から商品の候補を認識し、認識された前記商品の候補を前記メモリに記憶し、
   前記メモリに記憶された前記商品の候補を前記ディスプレイの候補エリアに表示させ、
   前記商品の候補が前記候補エリアに表示された状態で前記商品識別コードを読み取れた場合、前記メモリをクリアし、前記候補エリアの表示を消去し、前記読取られた商品識別コードを前記接続インターフェースを介して前記端末へと送信することを特徴とする商品認識装置。
2. 前記ディスプレイはタッチパネルである、請求項１記載の商品認識装置。
3. カメラによって撮影された商品画像を取り込む画像インターフェースと、
   商品販売データを登録する端末との接続インターフェースと、
   ディスプレイと、
   メモリと、
   プロセッサと、を具備し、
   前記プロセッサは、
   前記画像インターフェースを介して取り込まれた前記商品画像から商品の候補を認識し、認識された前記商品の候補を前記メモリに記憶し、
   前記商品の候補を認識した前記商品画像から商品識別コードの読取りを試行し、
   前記商品識別コードを読み取れない場合、前記メモリに記憶されている前記商品の候補を前記ディスプレイの候補エリアに表示させ、
   前記商品の候補が前記候補エリアに表示された状態で前記商品識別コードを読み取れた場合、前記メモリをクリアし、前記候補エリアの表示を消去し、前記商品識別コードを前記接続インターフェースを介して前記端末へと送信することを特徴とする商品認識装置。
4. 前記ディスプレイはタッチパネルである、請求項３記載の商品認識装置。
5. カメラによって撮影された商品画像を取り込む画像インターフェースと、商品販売データを登録する端末との接続インターフェースと、ディスプレイと、メモリとを備えたコンピュータに、
   前記画像インターフェースを介して取り込まれた前記商品画像から商品識別コードの読取を試行する機能と、
   前記商品識別コードが読み取れない場合、前記商品識別コードの読取りを試行した前記商品画像から商品の候補を認識し、認識された前記商品の候補を前記メモリに記憶する機能と、
   前記メモリに記憶された前記商品の候補を前記ディスプレイの候補エリアに表示させる機能と、
   前記商品の候補が前記候補エリアに表示された状態で前記商品識別コードを読み取れた場合、前記メモリをクリアし、前記候補エリアの表示を消去し、前記読取られた商品識別コードを前記接続インターフェースを介して前記端末へと送信する機能と、
   を実現させるための商品認識プログラム。
6. カメラによって撮影された商品画像を取り込む画像インターフェースと、商品販売データを登録する端末との接続インターフェースと、ディスプレイと、メモリとを備えたコンピュータに、
   前記画像インターフェースを介して取り込まれた前記商品画像から商品の候補を認識し、認識された前記商品の候補を前記メモリに記憶する機能と、
   前記商品の候補が認識された前記商品画像から商品識別コードの読取りを試行する機能と、
   前記商品識別コードを読み取れない場合、前記メモリに記憶されている前記商品の候補を前記ディスプレイの候補エリアに表示させる機能と、
   前記商品の候補が前記候補エリアに表示された状態で前記商品識別コードを読み取れた場合、前記メモリをクリアし、前記候補エリアの表示を消去し、前記商品識別コードを前記接続インターフェースを介して前記端末へと送信する機能と、
   を実現させるための商品認識プログラム。