JP6964166B2 - 認識システム、情報処理装置、及びプログラム - Google Patents

Description

本発明の実施形態は、認識システム、情報処理装置、及びプログラムに関する。

従来、スーパーマーケット等の店舗では、バーコードなどのコードシンボルが付された商品を撮像し、コードシンボルから抽出した商品コードを用いて、物品を売上登録するシステムが利用されている。

近年、イメージセンサデバイスにより撮像した画像データから抽出した対象物品の特徴量と、予め用意された辞書における照合用の特徴量とを比較した類似度に応じて物品を認識する一般物体認識（オブジェクト認識）に係る技術が存在している。そして、上述したコードシンボルによる売上登録機能と、オブジェクト認識により売上登録機能との両機能を備えたＰＯＳ（Point Of Sales）システムが提案されている。

ところで、両機能を備えたＰＯＳシステムにおいて、誤認識を防止する等の理由によりコードシンボルが付された物品は、商品コードを用いて対象物品を認識することが求められている。しかしながら、ＰＯＳシステムでは、コードシンボルが付された物品であっても、照合用の特徴量との類似度が閾値以上となった場合等には、オブジェクト認識により対象物品を認識してしまう。このような、コードシンボルが付された物体に対するオブジェクト認識は、本来想定していた認識方法ではないため、対象物品を誤認識している場合がある。

本発明が解決しようとする課題は、対象物品を適切に認識することができる認識システム、情報処理装置、及びプログラムを提供することである。

実施形態の認識システムは、商品読取装置と、情報処理装置とを備える。前記商品読取装置は、撮像部と、第２検出手段と、読取手段と、出力手段と、を備える。前記第２検出手段は、前記撮像部が撮像した画像データからコードシンボルを検出する。前記読取手段は、前記第２検出手段が検出した前記コードシンボルが示す商品を識別するための識別情報を読み取る。前記出力手段は、前記撮像部が撮像した前記画像データを出力する。前記情報処理装置は、第１検出手段と、抽出手段と、算出手段と、認識手段とを備える。前記第１検出手段は、前記撮像部が撮像した前記画像データに含まれる物品を検出する。前記抽出手段は、前記第１検出手段が検出した前記物品の特徴量を前記画像データから抽出する。前記算出手段は、物品の照合用の特徴量である照合用特徴量と、類似度に応じて物品を認識する一般物体認識と前記コードシンボルにより物品を認識するコードシンボル認識との何れか一方の物品の認識方法が指定された認識分類とが関連付けられた物品ファイルに基づいて、前記照合用特徴量と、前記抽出手段が抽出した前記特徴量との類似度を算出する。前記認識手段は、前記算出手段が算出した前記類似度が閾値以上且つ前記認識分類が前記一般物体認識の前記物品から選択された前記物品を、前記第１検出手段が検出した前記物品として認識する。

図１は、実施形態に係るチェックアウトシステムの一例を示す斜視図である。 図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成の一例を示すブロック図である。 図３は、ＰＬＵファイルのデータ構成の一例を示す説明図である。 図４は、チェックアウトシステムの各装置が有する特徴的な機能構成を示すブロック図である。 図５は、画像データテーブルのデータ構成の一例を示す説明図である。 図６は、商品登録処理の一例を示すフローチャート図である。 図７は、セルフＰＯＳの構成の一例を示す斜視図である。 図８は、セルフＰＯＳのハードウェア構成の一例を示すブロック図である。

以下、図面を参照して、実施形態に係る認識システム、情報処理装置、及びプログラムについて詳細に説明する。以下に説明する実施形態は、認識システム、情報処理装置、及びプログラムの一実施形態であって、その構成や仕様等を限定するものではない。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。

図１は、実施形態に係るチェックアウトシステム１の一例を示す斜視図である。チェックアウトシステム１は、商品に関する情報を読み取る商品読取装置１０１と、一取引に係る商品の登録、精算を行うＰＯＳ（Point Of Sales）端末１１とを備える。以下、ＰＯＳ端末１１を本実施形態に係る情報処理装置として適用した例について説明する。また、一般物体認識の対象物品を商品とした例について説明するが、対象物品は商品以外の物品であってもよい。

ＰＯＳ端末１１は、チェックアウト台４１上のドロワ２１上面に載置される。ドロワ２１は、ＰＯＳ端末１１により開放動作が制御される。ＰＯＳ端末１１は、上面に操作者（店員）によって操作されるキーボード２２を備える。ＰＯＳ端末１１は、キーボード２２を操作する操作者から見てキーボード２２よりも奥側に、操作者に向けて各種情報を表示する第１表示部２３を備える。第１表示部２３は、各種操作を受け付けるタッチパネル２６を備える。ＰＯＳ端末１１は、第１表示部２３よりも更に奥側に、回転可能に立設した第２表示部２４を備える。図１に示す第２表示部２４は、図１中手前側に向いているが、図１中奥側に向くように回転させることにより、顧客に各種情報を表示する。

横長テーブル状のカウンタ台１５１は、ＰＯＳ端末１１が載置されているチェックアウト台４１とＬ字を形成するよう配置される。カウンタ台１５１には、商品を収納する買物カゴ１５３が載置される。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。または、買物カゴ１５３は、箱状や袋状等であってもよい。買物カゴ１５３には、顧客が持ち込む第１の買物カゴ１５４と、第１の買物カゴ１５４から商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５５とがある。

カウンタ台１５１には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置される。商品読取装置１０１は、薄型矩形形状のハウジング１０２に内蔵される。ハウジング１０２は、正面に読取窓１０３を備える。ハウジング１０２は、上部に表示操作部１０４が取り付けられる。

表示操作部１０４は、タッチパネル１０５が表面に積層された第１表示部１０６を備える。商品読取装置１０１は、第１表示部１０６の右隣にキーボード１０７を備える。商品読取装置１０１は、キーボード１０７の右隣には、カードリーダ１１１（図２参照）のカード読取溝１０８を備える。商品読取装置１０１は、操作者から見て表示操作部１０４の裏面左奥側には、顧客に向けて情報を提供する第２表示部１０９を備える。

商品読取装置１０１は、ハウジング１０２の内部に商品読取部１１０（図２参照）を備える。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を備える。

第１の買物カゴ１５４には、一取引に係る商品が収納されている。商品読取装置１０１を操作する操作者は、第１の買物カゴ１５４内の商品を第２の買物カゴ１５５に移動する。操作者は、この移動過程において、商品を商品読取装置１０１の読取窓１０３にかざす。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は、商品を撮像する。

図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成の一例を示すブロック図である。ＰＯＳ端末１１は、ＣＰＵ（Central Processing Unit）６１と、ＲＯＭ（Read Only Memory）６２と、ＲＡＭ（Random Access Memory）６３と、記憶部６４と、通信インタフェース６５と、キーボード２２と、第１表示部２３と、タッチパネル２６と、第２表示部２４と、接続インタフェース６６と、ドロワ２１と、プリンタ６７とを備える。ＣＰＵ６１と、ＲＯＭ６２と、ＲＡＭ６３と、記憶部６４と、通信インタフェース６５と、キーボード２２と、第１表示部２３と、タッチパネル２６と、第２表示部２４と、接続インタフェース６６と、ドロワ２１と、プリンタ６７とは、バスを介して接続されている。

ＣＰＵ６１は、ＰＯＳ端末１１の動作を統括的に制御する。ＲＯＭ６２は、各種プログラムやデータを記憶する。ＲＡＭ６３は、各種プログラムを一時的に記憶するとともに、各種データを書き換え自在に記憶する。また、ＲＡＭ６３は、後述する画像データテーブル７２を記憶する。なお、画像データテーブル７２は、ＲＡＭ６３に限らず、記憶部６４等の他の記憶媒体に記憶されていてもよいし、ストアサーバ等の他の機器に記憶されていてもよい。

キーボード２２は、ＰＯＳ端末１１を操作する各種キーを備える。

記憶部６４は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の不揮発性の記憶装置である。記憶部６４は、制御プログラム７０と、ＰＬＵファイル７１とを記憶する。なお、ＰＬＵファイル７１は、記憶部６４に限らず、他の記憶媒体に記憶されていてもよいし、ストアサーバ等の他の機器に記憶されていてもよい。

制御プログラム７０は、オペレーティングシステムや、ＰＯＳ端末１１が備えている機能を実現させるためのプログラムである。制御プログラム７０には、本実施形態に係る特徴的な機能を実現させるためのプログラムが含まれる。

ＰＬＵファイル７１は、店舗で販売される各種商品の各々について、商品の売上登録に係る情報を格納する商品ファイルである。ここで、図３は、ＰＬＵファイル７１のデータ構成の一例を示す説明図である。ＰＬＵファイル７１は、商品ごとに、商品コードと、商品情報と、イラスト画像と、照合用特徴量と、認識分類とを関連付けて記憶する。商品コードは、商品を識別可能な識別情報である。商品情報は、商品が属する商品分類、商品名、単価等の情報を含む。イラスト画像は、その商品を表した画像データである。照合用特徴量は、商品の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。尚、照合用特徴量は、後述する類似度の判定に用いられる照合用のデータである。認識分類は、その商品の認識に用いる認識方法を指示するための情報である。認識方法には、一般物体認識又はコードシンボル認識が設定される。一般物体認識は、一般物体認識により商品を認識する方法である。コードシンボル認識は、バーコードや２次元コード等のコードシンボルが示している商品コードを読み取ることにより商品を認識する方法である。すなわち、認識方法は、コードシンボルが付されているか否かが示された設定である。従って、コードシンボル認識は、コードシンボルが付されている商品に対して設定される。一方、一般物体認識は、コードシンボルが付されていない商品に対して設定される。なお、照合用特徴量と、認識分類とは、ＰＬＵファイル７１とは異なるファイルに記憶されていてもよい。

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、通信インタフェース６５が接続される。通信インタフェース６５は、ネットワークを介して、ストアコンピュータ等の外部機器と通信するためのインタフェースである。

接続インタフェース６６は、商品読取装置１０１と接続するためのインタフェースである。プリンタ６７は、一取引における取引内容をレシート用紙に印字する。

商品読取装置１０１の商品読取部１１０は、ＣＰＵ１６１と、ＲＯＭ１６２と、ＲＡＭ１６３と、撮像部１６４と、音声出力部１６５と、接続インタフェース１７５とを備える。ＣＰＵ１６１と、ＲＯＭ１６２と、ＲＡＭ１６３と、撮像部１６４と、音声出力部１６５と、接続インタフェース１７５とは、バスを介して接続されている。

ＣＰＵ１６１は、商品読取装置１０１の動作を統括的に制御する。ＲＯＭ１６２は、各種プログラムやデータを記憶する。ＲＡＭ１６３は、各種プログラムを一時的に記憶するとともに、各種データを書き換え自在に記憶する。

ＲＯＭ１６２は、制御プログラム１６６を記憶する。制御プログラム１６６は、オペレーティングシステムや、商品読取装置１０１が備えている機能を実現させるためのプログラムである。制御プログラム１６６には、本実施形態に係る特徴的な機能を実現させるプログラムが含まれる。

撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等のイメージセンサ（不図示）とＬＥＤなどの光源（不図示）とを備える。そして、撮像部１６４は、ＣＰＵ１６１の制御の下で読取窓１０３の内部から撮像を行う。例えば撮像部１６４は、３０ｆｐｓ（Frame Per Second）等のフレームレートで画像データを撮像する。撮像部１６４は、順次撮像した画像データをＲＡＭ１６３に保存する。

音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音や音声による報知を行う。

接続インタフェース１７５は、ＰＯＳ端末１１及び表示操作部１０４と接続するためのインタフェースである。

商品読取装置１０１の表示操作部１０４は、接続インタフェース１７６と、キーボード１０７と、第１表示部１０６と、タッチパネル１０５と、第２表示部１０９と、カードリーダ１１１とを備える。接続インタフェース１７６と、キーボード１０７と、第１表示部１０６と、タッチパネル１０５と、第２表示部１０９と、カードリーダ１１１とは、バスを介して接続されている。

接続インタフェース１７６は、ＰＯＳ端末１１及び商品読取部１１０と接続するためのインタフェースである。

カードリーダ１１１は、クレジットカード等の決済に用いるカードの記憶媒体が記憶する情報の読み取りを実行する装置である。カードリーダ１１１は、カード読取溝１０８に挿入されたカードの記憶媒体が記憶する情報の読み取りを実行する。

表示操作部１０４は、商品読取部１１０のＣＰＵ１６１、又はＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。

次に、チェックアウトシステム１の各装置が有する特徴的な機能について説明する。ここで、図４は、チェックアウトシステム１の各装置が有する特徴的な機能構成を示すブロック図である。

商品読取装置１０１のＣＰＵ１６１は、ＲＯＭ１６２の制御プログラム１６６をＲＡＭ１６３に展開し、制御プログラム１６６に従って動作することで、図４に示す各機能部をＲＡＭ１６３に生成する。具体的には、ＣＰＵ１６１は、機能部として、接続制御部１６１１と、撮像制御部１６１２と、コードシンボル検出部１６１３と、コードシンボル読取部１６１４と、表示制御部１６１５と、操作制御部１６１６とを備える。

接続制御部１６１１は、接続インタフェース１７５及び接続インタフェース１７６を制御して、ＰＯＳ端末１１と通信する。

撮像制御部１６１２は、撮像部１６４を制御して、画像データを撮像させる。撮像制御部１６１２は、接続制御部１６１１が撮像要求を受け付けたことを条件に、撮像部１６４に撮像動作を開始させる。撮像制御部１６１２は、撮像部１６４が順次撮像した画像データをＲＡＭ１６３に記憶させる。また、撮像制御部１６１２は、撮像部１６４が順次撮像した画像データを接続制御部１６１１に出力させる。

第２検出手段であるコードシンボル検出部１６１３は、撮像部１６４が撮像した画像データがＲＡＭ１６３に記憶されたことを条件に、ＲＡＭ１６３に記憶された画像データを読み取る。そして、コードシンボル検出部１６１３は、画像データに含まれたコードシンボルを検出する。

コードシンボル読取部１６１４は、コードシンボル検出部１６１３がコードシンボルを検出したことを条件に、コードシンボルが示している商品コードを読み取る。コードシンボル読取部１６１４は、読み取った商品コードをＰＯＳ端末１１に出力する。

表示制御部１６１５は、第１表示部１０６、及び第２表示部１０９の全部又は一部を制御して、各種画面を表示させる。

操作制御部１６１６は、タッチパネル１０５、及びキーボード１０７の全部又は一部を制御して、各種操作を受け付ける。

ＰＯＳ端末１１のＣＰＵ６１は、記憶部６４の制御プログラム７０をＲＡＭ６３に展開し、制御プログラム７０に従って動作することで、図４に示す各機能部をＲＡＭ６３に生成する。具体的には、ＣＰＵ６１は、機能部として、接続制御部６１１と、画像取込部６１２と、商品検出部６１３と、特徴量抽出部６１４と、類似度算出部６１５と、登録制御部６１６と、商品認識部６１７と、商品登録部６１８と、学習制御部６１９とを備える。

接続制御部６１１は、接続インタフェース６６を制御して、商品読取装置１０１と通信する。

画像取込部６１２は、撮像部１６４の撮像動作の開始を要求する撮像要求を接続制御部６１１に出力させる。そして、画像取込部６１２は、撮像部１６４が撮像した画像データの入力を順次受け付ける。

第１検出手段である商品検出部６１３は、画像取込部６１２が受け付けた画像データに含まれている商品を検出する。例えば、商品検出部６１３は、画像データに含まれる商品の全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、商品検出部６１３は、画像データを２値化した画像から輪郭線等を抽出する。商品検出部６１３は、予め用意した画像データから抽出した輪郭線と、検出対象の画像データから抽出した輪郭線との差分に基づいて、商品を検出する。ここで、予め用意した画像データは、商品等が含まれていない背景を撮像部１６４が撮像した画像データである。よって、商品検出部６１３は、検出対象の画像データに商品が含まれていることを条件に、予め用意した画像データから抽出した輪郭線にはない輪郭線を、検出対象の画像データから抽出した輪郭線から検出することができる。そして、商品検出部６１３は、予め用意した画像データから抽出した輪郭線にはない輪郭線に基づいて商品を検出する。

抽出手段である特徴量抽出部６１４は、撮像部１６４が撮像した画像データから商品検出部６１３が検出した商品の色合いや表面の凹凸状況等の表面の状態を特徴量として抽出する。

算出手段である類似度算出部６１５は、ＰＬＵファイル７１に登録された商品の照合用特徴量と、特徴量抽出部６１４が抽出した商品の特徴量とを比較することで、ＰＬＵファイル７１に登録された商品の各々との類似度を算出する。ここで、類似度は、ＰＬＵファイル７１に記憶されている商品の照合用特徴量を１００％＝「類似度：１．０」とした場合に、商品の全部または一部がどの程度類似しているかを示すものである。なお、類似度算出部６１５は、例えば、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。

このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２８年４月２９日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２８年４月２９日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、ＰＬＵファイル７１に登録された各種商品の照合用特徴量と、特徴量抽出部６１４が抽出した商品の特徴量との類似度の算出方法は特に問わないものとする。例えば、類似度算出部６１５は、ＰＬＵファイル７１に登録された商品の照合用特徴量と、特徴量抽出部６１４が抽出した商品の特徴量との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

また、類似度算出部６１５は、ＰＬＵファイル７１の認識分類に関わらず類似度を算出する。すなわち、類似度算出部６１５は、特徴量抽出部６１４が抽出した特徴量と、認識分類がバーコード認識の商品の照合用特徴量との類似度も算出する。

登録制御部６１６は、撮像部１６４が撮像した画像データ等を画像データテーブル７２に記憶させる。ここで、図５は、画像データテーブル７２のデータ構成の一例を示す説明図である。画像データテーブル７２は、識別番号と、画像データと、特徴量と、類似度と、商品コードと、認識分類とを関連付けて記憶する。識別番号は、画像データテーブル７２に記憶された情報を識別可能な識別情報である。画像データは、画像取込部６１２が受け付けた画像データである。すなわち、画像データは、画像データに含まれる商品の一般物体認識に使用された画像データである。特徴量は、関連付けられた画像データに含まれる商品について特徴量抽出部６１４が抽出した特徴量である。類似度は、関連付けられた画像データに含まれる商品の特徴量と、ＰＬＵファイル７１に登録された各種商品の照合用特徴量との類似度のうち最も高い類似度である。商品コードは、類似度が最も高かった商品の商品コードである。認識分類は、類似度が最も高かった商品の認識分類である。登録制御部６１６は、一の商品について画像データが取り込まれる毎に、その画像データや特徴量、類似度等を画像データテーブル７２に順次記憶していく。そして、登録制御部６１６は、商品が売上登録されたことを条件に、画像データテーブル７２に記憶させた画像データ等を削除する。なお、登録制御部６１６は、画像データと、特徴量と、類似度と、商品コードとを同一のデータテーブルに限らず、それぞれ異なったデータテーブルに記憶させてもよい。

図４に戻り、認識手段である商品認識部６１７は、画像データテーブル７２に記憶された類似度に基づいて、画像データに含まれる商品がＰＬＵファイル７１に記憶された商品の何れに該当するかを認識する。そして、商品認識部６１７は、該当する商品をＰＬＵファイル７１から選択する。商品認識部６１７は、画像データテーブル７２に記憶された類似度に応じて、確定商品と、商品候補と、認識不可との段階に分けて選択する。なお、類似度に応じた分類分けは、一例であって、他の方法による分類分けであってもよい。

但し、選択手段である商品認識部６１７は、認識した商品の認識分類が一般物体認識であることを条件に、撮像部１６４が撮像した商品として商品認識部６１７が認識した商品を選択する。すなわち、商品認識部６１７は、ＰＬＵファイル７１において認識分類がコードシンボル認識の商品を、選択候補から除外する。商品認識部６１７は、認識分類がコードシンボル認識である商品を選択しないことにより、コードシンボル認識により認識されるべき商品が誤って一般物体認識により認識されてしまうことを防止する。

商品認識部６１７は、第１条件として、画像データテーブル７２において、認識分類が一般物体認識に設定された同一の商品について第１閾値以上の類似度が所定個数以上登録されているか否かを判定する。商品認識部６１７は、第１条件を満たしていることを条件に、撮像部１６４が撮像した商品に該当する商品をＰＬＵファイル７１から確定商品として選択する。確定商品とは、操作者による確認操作によらずに、画像データテーブル７２に記憶された類似度に基づいて、自動登録可能な商品であることを示している。自動登録とは、操作者による確認操作を求めずに確定商品を販売対象の商品として売上登録する処理である。そして、商品認識部６１７は、確定商品の商品コードを商品登録部６１８に出力する。なお、商品認識部６１７は、認識分類がコードシンボル認識である商品については、第１条件を満たしていても確定商品として選択しない。

また、商品認識部６１７は、第１条件を満たしていないことを条件に第２条件として、画像データテーブル７２において、認識分類が一般物体認識に設定された同一の商品について第２閾値以上の類似度が所定個数以上登録されているか否かを判定する。なお、第２閾値は、第１閾値よりも低いものとする。商品認識部６１７は、第２条件を満たしていることを条件に、商品検出部６１３が検出した商品に該当する一又は複数の商品をＰＬＵファイル７１から商品候補として選択する。商品候補とは、画像データテーブル７２に記憶された類似度に基づいて、撮像部１６４が撮像した商品に該当する商品の候補であることを示している。すなわち、商品候補は、撮像部１６４が撮像した商品の候補であることを示している。そして、商品候補は、一又は複数の商品候補から該当する商品を選択させる等の操作者の確認操作により販売対象の商品として売上登録される。そして、商品認識部６１７は、商品候補から選択された商品の商品コードを商品登録部６１８に出力する。なお、商品認識部６１７は、認識分類がコードシンボル認識である商品については、第２条件を満たしていても商品候補として選択しない。

また、商品認識部６１７は、第２条件を満たしていないことを条件に、認識不可と判定する。商品認識部６１７は、認識不可と判定したことを条件に、ＰＬＵファイル７１から商品情報を選択しない。

商品認識部６１７は、上述のように認識分類がコードシンボル認識であっても、コードシンボル認識の何れの商品に該当するかを認識する。これにより、商品認識部６１７は、コードシンボル認識の商品を、一般物体認識の商品と誤認してしまうことを低下させることができる。以下にて一例を挙げて説明する。コードシンボル認識の商品Ａが、一般物体認識の商品Ｂと類似している場合について説明する。仮に、認識分類がコードシンボル認識の商品の特徴量がＰＬＵファイル７１に記憶されていない場合、商品Ａは商品Ｂと類似しているため、類似度算出部６１５は、商品Ｂと類似していると判定する。この時、類似度算出部６１５は、類似している商品が商品Ｂだけであるため、高い類似度を算出してしまう場合がある。よって、商品認識部６１７は、商品Ｂが確定商品又は商品候補であると誤認してしまう。一方、認識分類がコードシンボル認識と一般物体認識とがＰＬＵファイル７１に記憶されている場合、類似度算出部６１５は、商品Ａ又は商品Ｂと類似していると判定する。この時、類似度算出部６１５は、類似している商品が商品Ａと商品Ｂとがあるため、商品Ｂだけの場合と比較して低い類似度を算出する。よって、商品認識部６１７は、商品Ｂが確定商品又は商品候補であると誤認されづらくなる。

そして、確定商品又は商品候補が選択されない場合やコードシンボル認識の商品を認識した場合、ＰＯＳ端末１１は、撮像部１６４が新たに撮像した画像データを用いて一般物体認識を実行する。一方、商品読取装置１０１は、撮像部１６４が新たに撮像した画像データを用いてコードシンボルを検出する処理を実行する。すなわち、コードシンボル検出部１６１３は、商品認識部６１７が認識した商品が、コードシンボル認識の商品であることを条件に、新たに撮像した画像データに対して、コードシンボルを検出する処理を実行する。コードシンボル読取部１６１４は、コードシンボル検出部１６１３がコードシンボルを検出したことを条件に、コードシンボルを読み取る。従って、商品認識部６１７は、コードシンボル認識の商品と認識したことを条件に確定商品又は商品候補を選出しないことにより、次の画像データにおいてコードシンボルで商品を認識することが可能となる。

なお、接続制御部６１１は、商品認識部６１７がコードシンボル認識の商品を認識したことを条件に、コードシンボル認識の商品であることを商品読取装置１０１に通知してもよい。この場合に、商品読取装置１０１の表示制御部１６１５は、コードシンボル認識の商品を認識したことを第１表示部１０６等に表示させる。これにより、表示制御部１６１５は、コードシンボルが付されている箇所を撮像部１６４に向けて撮像させることを促すことができる。

商品登録部６１８は、指定された商品を販売対象の商品として売上登録する。すなわち、商品登録部６１８は、販売対象の商品の商品情報をＰＬＵファイル７１から読み出して登録する。例えば、商品登録部６１８は、商品認識部６１７から出力された商品コードにより特定される商品を販売対象の商品として売上登録する。または、商品登録部６１８は、コードシンボル読取部１６１４から出力された商品コードの商品を販売対象の商品として売上登録する。

記憶制御手段である学習制御部６１９は、画像データテーブル７２に記憶された認識分類がコードシンボル認識の商品について、学習処理を実行する。ここで、学習処理とは、画像データテーブル７２に記憶された認識分類がコードシンボル認識の商品の特徴量等をＰＬＵファイル７１の該当する商品の照合用特徴量として記憶させる処理である。または、学習処理とは、ＰＬＵファイル７１の該当する商品の照合用特徴量として記憶させるために、画像データテーブル７２に記憶された認識分類がコードシンボル認識の商品の特徴量等を記憶部６４等に記憶させる処理である。なお、ＰＬＵファイル７１に記憶させる情報は、特徴量に限らない。例えば、ＰＬＵファイル７１に記憶させる情報には、画像データ等が含まれていてもよい。

学習制御部６１９は、学習処理の対象について、条件を課してもよい。例えば、学習制御部６１９は、条件として、画像データテーブル７２に記憶された認識分類がコードシンボル認識の商品の類似度が第３閾値以上であることを課してもよい。この場合には、学習制御部６１９は、画像データテーブル７２に記憶された認識分類がコードシンボル認識の商品のうち、類似度が第３閾値以上の特徴量等をＰＬＵファイル７１に記憶させる。学習制御部６１９は、学習処理の対象について条件を課すことにより、一般物体認識の商品の特徴量を誤ってコードシンボル認識の商品として記憶させてしまったり、参考にならない特徴量等を記憶させてしまったりすることを防止する。

次に、チェックアウトシステム１の各装置が協働で実行する商品登録処理について説明する。ここで、図６は、本実施形態のチェックアウトシステム１の各装置が協働で実行する商品登録処理の一例を示すフローチャート図である。

まず、商品読取装置１０１の撮像制御部１６１２は、撮像部１６４に撮像させる（ステップＳ１）。次いで、商品読取装置１０１のコードシンボル検出部１６１３は、撮像部１６４が撮像した画像データからコードシンボルを検出することができるか否かを判定する（ステップＳ２）。

画像データからコードシンボルを検出することができないことを条件に（ステップＳ２；Ｎｏ）、ＰＯＳ端末１１の商品検出部６１３は、撮像部１６４が撮像した画像データから商品を検出することができるか否かを判定する（ステップＳ３）。画像データから商品を検出することができないことを条件に（ステップＳ３；Ｎｏ）、チェックアウトシステム１は、ステップＳ１に移行する。

画像データから商品を検出することができたことを条件に（ステップＳ３；Ｙｅｓ）、ＰＯＳ端末１１の特徴量抽出部６１４は、撮像部１６４が撮像した画像データから検出した商品の特徴量を抽出する（ステップＳ４）。

次いで、ＰＯＳ端末１１の類似度算出部６１５は、抽出した特徴量と、ＰＬＵファイル７１に記憶された照合用の特徴量の各々とを比較して、各商品の類似度を算出する（ステップＳ５）。

次いで、ＰＯＳ端末１１の登録制御部６１６は、類似度が最も高かった商品の画像データと、特徴量と、商品コードと、その商品の認識分類とを画像データテーブル７２に記憶させる（ステップＳ６）。

次いで、ＰＯＳ端末１１の商品認識部６１７は、画像データに含まれている商品に該当する商品を確定商品として、ＰＬＵファイル７１から選択することができるか否かを判定する（ステップＳ７）。

確定商品として選択することができることを条件に（ステップＳ７；Ｙｅｓ）、ＰＯＳ端末１１の商品登録部６１８は、選択した確定商品を販売対象の商品として売上登録する（ステップＳ８）。そして、チェックアウトシステム１は、商品登録処理を終了する。

一方、確定商品として選択することができないことを条件に（ステップＳ７；Ｎｏ）、ＰＯＳ端末１１の商品認識部６１７は、画像データに含まれている商品に該当する商品を、ＰＬＵファイル７１から商品候補として選択することができるか否かを判定する（ステップＳ９）。商品候補として選択することができないことを条件に（ステップＳ９；Ｎｏ）、チェックアウトシステム１は、ステップＳ１に移行する。

一方、商品候補として選択することができることを条件に（ステップＳ９；Ｙｅｓ）、商品読取装置１０１の表示制御部１６１５は、選択した商品候補を売上登録する商品登録ボタンを商品登録画面に表示する（ステップＳ１０）。

次いで、ＰＯＳ端末１１の商品登録部６１８は、商品登録ボタンが押下されたか否かを判定する（ステップＳ１１）。商品登録ボタンが押下されないことを条件に（ステップＳ１１；Ｎｏ）、チェックアウトシステム１は、ステップＳ１に移行する。

一方、商品登録ボタンが押下されたことを条件に（ステップＳ１１；Ｙｅｓ）、ＰＯＳ端末１１の商品登録部６１８は、商品登録ボタンに関連付けられた商品を販売対象の商品として売上登録する（ステップＳ１２）。そして、チェックアウトシステム１は、商品登録処理を終了する。

ステップＳ２において、画像データからコードシンボルを検出することができたことを条件に（ステップＳ２；Ｙｅｓ）、商品読取装置１０１のコードシンボル読取部１６１４は、検出したコードシンボルから商品コードを読み取る（ステップＳ１３）。

次いで、ＰＯＳ端末１１の商品登録部６１８は、読み取った商品コードにより特定される商品を売上登録する（ステップＳ１４）。

次いで、ＰＯＳ端末１１の学習制御部６１９は、画像データテーブル７２にコードシンボル認識の商品、つまりステップＳ１４で特定された商品が記憶されているか否かを判定する（ステップＳ１５）。コードシンボル認識の商品が記憶されていないことを条件に（ステップＳ１５；Ｎｏ）、チェックアウトシステム１は、商品登録処理を終了する。

一方、コードシンボル認識の商品が記憶されていることを条件に（ステップＳ１５；Ｙｅｓ）、ＰＯＳ端末１１の学習制御部６１９は、コードシンボル認識の商品の類似度が閾値以上であるか否かを判定する（ステップＳ１６）。類似度が閾値未満であることを条件に（ステップＳ１６；Ｎｏ）、チェックアウトシステム１は、商品登録処理を終了する。

一方、類似度が閾値以上であることを条件に（ステップＳ１６；Ｙｅｓ）、ＰＯＳ端末１１の学習制御部６１９は、画像データテーブル７２において類似度が閾値以上のコードシンボル認識の商品の特徴量等をＰＬＵファイル７１に追加する（ステップＳ１７）。

以上により、ＰＯＳ端末１１は、商品登録処理を終了する。

以上のように、本実施形態に係るチェックアウトシステム１によれば、ＰＬＵファイル７１は、商品ごとに、認識分類を関連付けて記憶している。そして、類似度算出部６１５は、認識分類に関わらずに類似度を算出する。従って、類似度算出部６１５は、認識分類がバーコード認識の商品を撮像部１６４が撮像した場合に、撮像部１６４が撮像した認識分類がバーコード認識の商品に対して高い類似度を算出する。すなわち、類似度算出部６１５は、認識分類がバーコード認識の商品がＰＬＵファイル７１に登録されていない場合と比較して、認識分類が一般物体認識の商品に対して更に低い類似度を算出する。これにより、商品認識部６１７は、誤った商品に対する類似度が相対的に低くなるため、確定商品や商品候補として選択しにくくなる。よって、本実施形態に係るチェックアウトシステム１は、対象物品を適切に認識することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

上述の実施形態は、情報処理装置としてＰＯＳ端末１１に適用した場合を例に説明した。しかしながら、情報処理装置は、商品読取装置１０１に適用してもよい。また、ＰＯＳ端末１１が有する各機能（接続制御部６１１、画像取込部６１２、商品検出部６１３、特徴量抽出部６１４、類似度算出部６１５、登録制御部６１６、商品認識部６１７、商品登録部６１８、及び学習制御部６１９）と、商品読取装置１０１が有する各機能（接続制御部１６１１、撮像制御部１６１２、コードシンボル検出部１６１３、コードシンボル読取部１６１４、表示制御部１６１５、及び操作制御部１６１６）とは、ＰＯＳ端末１１と商品読取装置１０１との何れか一方がまとめて有していてもよい。または、ＰＯＳ端末１１が有する各機能と、商品読取装置１０１が有する各機能とは、上述した実施形態には表れていない装置と分散して有していてもよい。さらに、ＰＯＳ端末１１が有する各機能は、商品読取装置１０１が有していてもよいし、商品読取装置１０１が有する各機能は、ＰＯＳ端末１１が有していてもよい。

また、上記実施形態では、照合用データを特徴量として説明したが、照合用データは、撮像された商品画像（基準画像）としてもよい。

また、上記実施形態では、ＰＯＳ端末１１と商品読取装置１０１とを備えるチェックアウトシステム１に適用した。しかし、これに限るものではなく、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置に適用するようにしてもよい。ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。

ここで、図７は、セルフＰＯＳ２００の構成の一例を示す斜視図である。図８は、セルフＰＯＳ２００のハードウェア構成の一例を示すブロック図である。尚、以下では、図１および図２に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。図９および図１０に示すように、セルフＰＯＳ２００の本体２０２は、タッチパネル１０５が表面に配設された第１表示部１０６や、商品の種別等を認識（検出）するために商品画像を読み取る商品読取部１１０を備える。

第１表示部１０６は、例えば液晶表示器である。第１表示部１０６は、顧客にセルフＰＯＳ２００の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部１１０で読み込んだ商品情報を表示する登録画面を表示する。または、第１表示部１０６は、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。

商品読取部１１０は、顧客が商品に付されたコードシンボルを商品読取部１１０の読取窓１０３にかざすことで商品画像を撮像部１６４により読み取る。

また、セルフＰＯＳ２００は、本体２０２の右側に、かごに入った未精算の商品を置くための商品載置台２０３を備える。セルフＰＯＳ２００は、本体２０２の左側に、精算済みの商品を置くための商品載置台２０４を備える。商品載置台２０４は、精算済みの商品を入れるための袋を掛ける袋掛けフック２０５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台２０６を備える。商品載置台２０３、２０４は、計量器２０７、２０８がそれぞれ備えられており、精算の前後で商品の重量が同じであることを確認する機能を有する。

また、セルフＰＯＳ２００の本体２０２は、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器２０１を備える。

このような構成のセルフＰＯＳ２００をチェックアウトシステム１に適用した場合、セルフＰＯＳ２００が情報処理装置として機能することになる。

上記実施形態や変形例の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らないものとする。例えば、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態や変形例の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよいし、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

１ チェックアウトシステム
１１ ＰＯＳ端末
７１ ＰＬＵファイル
１０１ 商品読取装置
６１１ 接続制御部
６１２ 画像取込部
６１３ 商品検出部
６１４ 特徴量抽出部
６１５ 類似度算出部
６１６ 登録制御部
６１７ 商品認識部
６１８ 商品登録部
６１９ 学習制御部
１６１１ 接続制御部
１６１２ 撮像制御部
１６１３ コードシンボル検出部
１６１４ コードシンボル読取部
１６１５ 表示制御部
１６１６ 操作制御部

特開２０１５−４９５８２号公報

Claims (5)

1. 商品読取装置と、情報処理装置とを備える認識システムであって、
   前記商品読取装置は、
   撮像部と、
   前記撮像部が撮像した画像データからコードシンボルを検出する第２検出手段と、
   前記第２検出手段が検出した前記コードシンボルが示す商品を識別するための識別情報を読み取る読取手段と、
   前記撮像部が撮像した前記画像データを出力する出力手段と、を備え、
   前記情報処理装置は、
   前記撮像部が撮像した前記画像データに含まれる物品を検出する第１検出手段と、
   前記第１検出手段が検出した前記物品の特徴量を前記画像データから抽出する抽出手段と、
   物品の照合用の特徴量である照合用特徴量と、類似度に応じて物品を認識する一般物体認識と前記コードシンボルにより物品を認識するコードシンボル認識との何れか一方の物品の認識方法が指定された認識分類とが関連付けられた物品ファイルに基づいて、前記照合用特徴量と、前記抽出手段が抽出した前記特徴量との前記類似度を算出する算出手段と、
   前記算出手段が算出した前記類似度が閾値以上且つ前記認識分類が前記一般物体認識の前記物品から選択された前記物品を、前記第１検出手段が検出した前記物品として認識する認識手段と、
   を備える認識システム。
2. 前記認識手段が認識した前記物品が、前記コードシンボルが付されている物品であることを条件に、当該物品の前記特徴量を前記照合用の前記特徴量として記憶させる記憶制御手段を更に備える、
   請求項１に記載の認識システム。
3. 前記記憶制御手段は、前記算出手段が算出した前記類似度が閾値以上であることを条件に、前記照合用の前記特徴量として記憶させる、
   請求項２に記載の認識システム。
4. 撮像部が撮像した画像データに含まれる物品を検出する第１検出手段と、
   前記第１検出手段が検出した前記物品の特徴量を前記画像データから抽出する抽出手段と、
   物品の照合用の特徴量である照合用特徴量と、類似度に応じて物品を認識する一般物体認識とコードシンボルにより物品を認識するコードシンボル認識との何れか一方の物品の認識方法が指定された認識分類とが関連付けられた物品ファイルに基づいて、前記照合用特徴量と、前記抽出手段が抽出した前記特徴量との前記類似度を算出する算出手段と、
   前記算出手段が算出した前記類似度が閾値以上且つ前記認識分類が前記一般物体認識の前記物品から選択された前記物品を、前記第１検出手段が検出した前記物品として認識する認識手段と、
   を備える情報処理装置。
5. ＰＯＳ（Point Of Sales）端末を、
   撮像部が撮像した画像データに含まれる物品を検出する第１検出手段と、
   前記第１検出手段が検出した前記物品の特徴量を前記画像データから抽出する抽出手段と、
   物品の照合用の特徴量である照合用特徴量と、類似度に応じて物品を認識する一般物体認識とコードシンボルにより物品を認識するコードシンボル認識との何れか一方の物品の認識方法が指定された認識分類とが関連付けられた物品ファイルに基づいて、前記照合用特徴量と、前記抽出手段が抽出した前記特徴量との類似度を算出する算出手段と、
   前記算出手段が算出した前記類似度が閾値以上且つ前記認識分類が前記一般物体認識の前記物品から選択された前記物品を、前記第１検出手段が検出した前記物品として認識する認識手段と、
   して機能させるためのプログラム。

Images