JP5885708B2 - 情報処理装置、店舗システム及びプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置、店舗システム及びプログラムに関する。

従来、イメージセンサデバイスにより撮像した画像データから抽出した対象物品の特徴量と、予め用意された辞書における照合用のデータ（特徴量）とを比較した類似度に応じて当該物品の種別等を認識（検出）する一般物体認識（オブジェクト認識）に係る技術が存在している。また、この一般物体認識に係る技術を、青果品等の商品の識別に用いて、識別された商品を売上登録する店舗システムが提案されている。

加えて、上記した一般物体認識に係る技術では、物品のカテゴリ（商品）のみならず、品種まで認識（検出）するようにしている。

上記した一般物体認識に用いる辞書においては、予め照合用のデータ（特徴量）が登録されている。しかしながら、一般物体認識の認識対象となる青果品等の物品（オブジェクト）は、同じ品種でも産地によって表面の質感や色などが違ってしまう場合がある。このように同じ品種でも表面の質感や色などが違ってしまう場合、辞書に予め登録されている照合用のデータとの比較による類似度が小さくなってしまい、オブジェクト認識率が低下してしまうという問題がある。そこで、従来技術によれば、辞書の照合用のデータ（特徴量）の新規登録や更新を目的とした学習機能を備えている。

しかしながら、辞書に予め登録されている物品（オブジェクト）についての照合用のデータ（特徴量）を更新する場合、辞書に予め登録されている全ての物品（オブジェクト）から所望の商品名を選択するのはオペレータにとって手間と時間がかかるものとなってしまっている。

本発明が解決しようとする課題は、商品学習処理における学習対象の商品を辞書に予め登録されている商品から容易に選択することができる情報処理装置、店舗システム及びプログラムを提供することである。

実施形態の情報処理装置は、撮像手段が撮像した学習対象物品の画像を取り込む取込手段と、前記取込手段が取り込んだ前記学習対象物品の画像と辞書に記憶されている物品の照合用データとを比較することで、類似度を算出して、類似度について段階的に設けられた複数の条件に応じて当該学習対象物品の確定あるいは当該学習対象物品の候補の選定を行う類似度判定手段と、前記類似度判定手段によって確定あるいは候補として選定された物品を提示して前記学習対象物品の指定を受け付ける指定手段と、前記指定手段による前記学習対象物品の指定後に前記取込手段が取り込んだ前記学習対象物品の画像から物品の照合用データを抽出し、前記指定手段により指定された前記学習対象物品の照合用データとして前記辞書に記憶する学習処理を実行する学習手段と、を備える。

図１は、実施形態のチェックアウトシステムの一例を示す斜視図である。 図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図３は、ＰＬＵファイルのデータ構成を例示する概念図である。 図４は、ＰＯＳ端末の機能構成を示すブロック図である。 図５は、フレーム画像の一例を示す図である。 図６は、確定画面の一例を示す図である。 図７は、確認画面の一例を示す図である。 図８は、商品候補のイラスト画像が表示された画面例を示す図である。 図９は、商品候補の品種選択画面の例を示す図である。 図１０は、学習画面の一例を示す図である。 図１１は、テスト画面の一例を示す図である。 図１２は、テスト画面の一例を示す図である。 図１３は、学習商品選択画面の一例を示す図である。 図１４は、商品学習処理の手順を示すフローチャートである。 図１５は、セルフＰＯＳの構成を示す外観斜視図である。 図１６は、セルフＰＯＳのハードウェア構成を示すブロック図である。

以下では、チェックアウトシステムを例に本実施形態に係る情報処理装置、店舗システム及びプログラムについて、図面を参照して説明する。店舗システムは、一取引に係る商品の登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。

図１は、チェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、商品に関する情報を読み取る商品読取装置１０１と、一取引に係る商品の登録、精算を行うＰＯＳ端末１１とを備える。以下では、ＰＯＳ端末１１を本実施形態にかかる情報処理装置として適用する例について説明する。

ＰＯＳ端末１１は、チェックアウト台４１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりも更に奥側には、顧客用表示デバイス２４が回転可能に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。

ＰＯＳ端末１１が載置されているチェックアウト台４１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受け面１５２が形成されている。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。

カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示部である表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。

このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。

顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂに移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ｇを撮像する。

商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ｇが、後述するＰＬＵファイルＦ１（図３参照）に登録されたどの商品に対応するかを指定させるための画面を表示・操作部１０４に表示し、指定された商品の商品ＩＤをＰＯＳ端末１１に通知する。ＰＯＳ端末１１では、商品読取装置１０１から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示しない）等に記録して売上登録を行う。

図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。

キーボード２２は、「１」、「２」、「３」・・・等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部または一部がＲＡＭ６３にコピーされてＣＰＵ６１により実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲ１や商品学習処理用のプログラムＰＲ２である。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ｇの各々について、商品Ｇの売上登録に係る情報を格納する商品ファイルである。以下の説明では、ＰＬＵファイルＦ１を辞書として用いるが、辞書はＰＬＵファイルＦ１と異なるファイルであっても良い。辞書は、撮像した画像データから抽出した商品の照合用データ（特徴量）を記憶する。辞書はＰＬＵファイルＦ１と異なるファイルである場合、辞書に記憶される照合用データ（特徴量）と、ＰＬＵファイルＦ１の情報（識別情報）は紐付けられる。特徴量は、商品の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。

図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ｇごとに、ユニークに割り当てられた識別情報である商品ＩＤ、商品Ｇが属する商品分類、商品名、単価等の商品に関する情報と、その商品を示すイラスト画像と、撮像した商品画像から読み取られる色合いや表面の凹凸状況等の特徴量とを、その商品Ｇの商品情報として格納するファイルである。尚、特徴量は、後述する類似度の判定に用いられる照合用のデータである。なお、ＰＬＵファイルＦ１は、後述する接続インターフェース６５を介し、商品読取装置１０１が読み出し可能に構成されている。

加えて、ＰＬＵファイルＦ１は、図３に示すように、後述するガイダンス情報を各商品に対して記憶する。

なお、物品のカテゴリ（商品）のみならず品種まで認識（検出）する必要がある場合においては、ＰＬＵファイルＦ１は、図３に示すように、品種ごとに商品名や単価等の商品に関する情報と、その商品を示すイラスト画像と、特徴量とを管理する。例えば、物品のカテゴリ（商品）が「リンゴ」の場合において、「ふじ」「ジョナゴールド」「つがる」「紅玉」のような品種ごとに商品名や単価等の商品に関する情報と、その商品を示すイラスト画像と、特徴量とを管理する。また、候補の表示にイラスト画像を用いず、文字で候補を表示する場合は、イラスト画像をＰＬＵファイルＦ１に格納しなくてもよい。

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。

更に、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。

商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介して、商品読取部１１０及びＰＯＳ端末１１に接続されている。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１、ＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。

撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等であり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。

音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音や音声による報知を行う。

更に、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。

次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能構成について、図４を参照して説明する。

図４は、ＰＯＳ端末１１の機能構成を示すブロック図である。図４に示すように、ＰＯＳ端末１１のＣＰＵ６１は、商品販売データ処理用のプログラムＰＲ１および商品学習処理用のプログラムＰＲ２を実行することにより、画像取込部５１、商品検出部５２、類似度算出部５３、類似度判定部５４、商品提示部５５、入力受付部５７、情報入力部５８、売上登録処理手段である売上登録部５９、物品指定部９１、学習画面表示部９２、学習部９３、判断部９４、テスト画面表示部９５、候補提示部９６としての機能を備える。

（商品登録処理および売上登録処理）
まず、ＰＯＳ端末１１の画像取込部５１、商品検出部５２、類似度算出部５３、類似度判定部５４、商品提示部５５、入力受付部５７、情報入力部５８による一般物体認識（オブジェクト認識）に応じた商品登録処理、および売上登録部５９による売上登録処理についての概要を説明する。

画像取込部５１は、取込手段として機能するものであって、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部５１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。画像取込部５１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。

図５は、画像取込部５１によって取り込まれたフレーム画像の一例を示す図である。図５に示すように、オペレータが読取窓１０３に商品Ｇをかざすと、撮像部１６４の読取領域Ｒには商品Ｇの全部または一部が撮影されて商品読取装置１０１の表示デバイス１０６に表示される。

商品検出部５２は、画像取込部５１により取り込まれたフレーム画像に含まれる商品Ｇの全部または一部を、パターンマッチング技術等を用いて検出し、撮像された商品の特徴量を抽出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線等を抽出する。次いで、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、売上登録のために読取窓１０３に向けられた商品を検出する。

なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手が検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合、この物体の輪郭から商品を検出する。

類似度算出部５３は、類似度算出手段として機能するものであって、撮像部１６４により撮像された商品Ｇの全部または一部の画像から、商品Ｇの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。なお、類似度算出部５３は、処理時間の短縮を図るため、商品Ｇの輪郭や大きさは考慮しないものとする。

また、類似度算出部５３は、ＰＬＵファイルＦ１に登録されている各商品（以下、登録商品という）の商品画像の色合いや表面の凹凸状況等の表面の状態である特徴量と、商品Ｇの特徴量とをそれぞれ比較することで、商品ＧとＰＬＵファイルＦ１に登録された登録商品との類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品登録時の商品画像を１００％＝「類似度：１．０」とした場合に、商品Ｇの全部または一部の画像がどの程度類似しているかを示すものである。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。

このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された登録商品との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、ＰＬＵファイルＦ１に５つの登録商品（商品ＧＡ、ＧＢ、ＧＣ、ＧＤ、ＧＥ）が登録されていたとすると、撮像された商品Ｇは、商品ＧＡに対して類似度が０．６、商品ＧＢに対しては類似度が０．１、商品ＧＣに対しては類似度が０．１、商品ＧＤに対しては類似度が０．１、商品ＧＥに対しては類似度が０．１等、各登録商品との類似度の総和が１．０（１００％）となるよう算出すればよい。

類似度判定部５４は、判定手段として機能するものであって、画像取込部５１が取り込んだフレーム画像ごとに、商品Ｇの画像と、ＰＬＵファイルＦ１に登録されている登録商品との類似度を比較する。本実施形態では、登録商品の商品画像と商品Ｇの画像との類似度について複数の条件が段階的に設けられており、類似度判定部５４は、満たされる条件に応じて登録商品の確定あるいは商品の候補の選定を行う。類似度に関する条件は特に限定されるものではないが、以下では条件ａ〜ｄを用いる場合について説明する。

ここで、条件ａおよび条件ｂは、本実施形態に係る第１の条件であり、撮像部１６４が撮像した商品ＧをＰＬＵファイルＦ１に登録された登録商品のうち一の商品として確定するための条件である。また、条件ｃは、本実施形態に係る第２の条件であり、ＰＬＵファイルＦ１に登録された登録商品中に同一のカテゴリ（商品）に属する異なる品種の物品が複数含まれていない場合に、撮像部１６４が撮像した商品Ｇの候補を抽出するための条件である。更に、条件ｄは、本実施形態に係る第３の条件であり、条件ｃを満たした商品の候補中に同一のカテゴリ（商品）に属する異なる品種の物品が複数含まれている場合に、撮像部１６４が撮像した商品Ｇの候補を抽出するための条件である。

類似度判定部５４は、条件ａまたは条件ｂを満たす登録商品を、撮像部１６４が撮像した商品Ｇに一対一で対応する商品（以下、確定商品という）であると判定（確定）する。また、類似度判定部５４は、条件ｃを満たす登録商品については、確定商品ではなく、撮像部１６４が撮像した商品Ｇの候補（以下、商品候補という）であると判定する。そして、ＰＬＵファイルＦ１に登録された複数の登録商品から条件ｃを満たす登録商品を抽出することにより、商品Ｇに対する商品候補を抽出する。

また、類似度判定部５４は、条件ｄを満たす登録商品（同一のカテゴリ（商品）に属する異なる品種の物品）についても、確定商品ではなく、撮像部１６４が撮像した商品Ｇの候補であると判定する。そして、ＰＬＵファイルＦ１に登録された複数の登録商品から条件ｄを満たす登録商品を抽出することにより、商品Ｇに対する商品候補を抽出する。

条件ａ〜ｃは類似度に応じて段階的に設定されればその詳細は特に限定されるものではないが、一例として、予め設定された複数の閾値によって条件ａ〜ｃを設けることができる。ここでは、第１閾値〜第３閾値によって条件ａ〜ｃを設定する場合について説明する。なお、第１〜３閾値の大小関係は、第１閾値＞第２閾値＞第３閾値とする。

類似度判定部５４は、登録商品との類似度が予め定められた第１閾値（例えば９０％）以上となった回数をカウントし、この回数が所定回数以上となった場合に条件ａが満たされたと判定する。尚、第１閾値を誤判定が無いよう十分に高く設定した場合には、所定回数を１回として条件ａを判定してもよい。

また、類似度判定部５４は、登録商品との類似度が第１閾値（例えば９０％）未満、かつ、第１閾値より小さい第２閾値（例えば７５％）以上となった場合に条件ｂが満たされたと判定する。そして、条件ｂを満たした登録商品は、確定商品ではあるがオペレータによる確認操作を要すると判定する。なお、登録商品との類似度が第１閾値（例えば９０％）未満、かつ、第１閾値より小さい第２閾値（例えば７５％）以上となった回数をカウントし、この回数が所定回数以上となった場合に条件ｂが満たされたと判定してもよい。

更に、類似度判定部５４は、登録商品との類似度が第２閾値（例えば７５％）未満、かつ、第２閾値より小さい第３閾値（例えば１０％）以上である場合に、条件ｃが満たされたと判定する。なお、更には登録商品との類似度が第２閾値（例えば７５％）未満、かつ、第２閾値より小さい第３閾値（例えば１０％）以上となった回数をカウントし、この回数が所定回数以上となった場合に条件ｃが満たされたと判定してもよい。

なお、各条件ａ〜ｃは、類似度の大きさ、判定回数等に応じて適宜設定可能であり、上述した例に限定されるものではない。また、条件ａ〜ｃの判断に用いる所定回数はそれぞれ条件毎に異なる回数を設けるものであってもよい。

加えて、類似度判定部５４は、条件ｃを満たした登録商品中に同一のカテゴリ（商品）に属する異なる品種の物品が複数含まれている場合には、当該複数の品種の類似度を合算し、複数の品種の類似度を合算したカテゴリ（商品）の類似度が予め定められた第２閾値（例えば７５％）以上となった場合、条件ｄが満たされたと判定する。

商品提示部５５は、報知手段として機能するものであって、撮像部１６４によって撮像された商品が、条件ａまたは条件ｂを満たした登録商品であるとして一意的に確定されたことを、画像出力や音声出力等によってオペレータや客に報知する。

より詳細には、商品提示部５５は、条件ａを満たした登録商品が、撮像部１６４によって撮像された商品（確定商品）として一意的に確定されたことを示す確定画面７１（図６参照）を表示デバイス１０６に表示させる。

図６は、確定画面７１の一例を示す図である。条件ａを満たす登録商品があった場合に、商品提示部５５は読取領域Ｒ（図５参照）の撮像画像の表示を停止し、確定商品に対応するイラスト画像Ｇ１および商品名「にんじん」をＰＬＵファイルＦ１から読み出して、確定画面７１に表示する。また、商品提示部５５は、ＰＬＵファイルＦ１から読み出した確定商品の商品名、商品価格（単価）を、商品名表示領域８１、価格表示領域８２にそれぞれ表示する。尚、商品提示部５５は、イラスト画像Ｇ１の代わりに、ＰＬＵファイルＦ１から読み出した商品画像（写真）を表示してもよい。これに限らず、イラストや商品画像を表示せず、商品名を確定画面７１に表示するようにしてもよい。この場合、音声出力部１６５によって、商品が確定したことを報知する。音声は事前に商品に紐付けられて登録された商品名であってもよいし、例えば「ピッ」という電子音であってもよい。

また、商品提示部５５は、条件ｂを満たした登録商品（確定商品）が、撮像部１６４によって撮像された商品Ｇであるか否かの最終確認操作を受付ける確認画面７２（図７参照）を表示デバイス１０６に表示させる。

図７は、確認画面７２の一例を示す図である。条件ｂを満たす登録商品があった場合に、商品提示部５５は確定商品に対応するイラスト画像Ｇ１をＰＬＵファイルＦ１から読み出して、確認画面７２に表示する。また、商品提示部５５は、ＰＬＵファイルＦ１から読み出した確定商品の商品名を用いて、読み取られた商品Ｇがイラスト画像Ｇ１の商品であるか否かを問うメッセージを「にんじんですか？」等と表示する。また、確認画面７２には、「はい／いいえ」等のボタンがタッチパネル１０５に対するタッチ操作によって選択操作可能に設けられる。

このように、確認画面７２においては、類似度判定の結果、１つの商品Ｇに対して唯一に選別された登録商品（確定商品）の商品名や商品画像が示され、商品Ｇと登録商品とが一対一の関係を持って表示される。従って、確認画面７２は、条件ｂを満たす登録商品が撮像部１６４によって撮像された商品Ｇとして一意的に確定されたことを報知する画面である。

加えて、商品提示部５５は、条件ｃを満たした登録商品に関する情報を、商品候補として表示デバイス１０６に表示させる。より詳細には、商品提示部５５は、条件ｃを満たした登録商品のイラスト画像および商品名をＰＬＵファイルＦ１から読み出し、類似度算出部５３が算出した類似度の高いものから、表示デバイス１０６に順次出力する。表示デバイス１０６は、商品候補提示領域８３（図８参照）において、商品候補のイラスト画像および商品名を類似度の高いものから順に表示する。

図８は、商品候補のイラスト画像Ｇ１、Ｇ２、Ｇ３が表示された画面例を示す図である。図８に示すように、商品候補提示領域８３には、類似度の高い登録商品から順に、商品候補のイラスト画像Ｇ１、Ｇ２、Ｇ３および各商品名が表示される。これらイラスト画像Ｇ１、Ｇ２、Ｇ３はタッチパネル１０５に対する選択操作に応じて選択可能に構成されている。また、商品候補提示領域８３の下部には、商品リストから商品を選択するための選択ボタン８４が設けられており、商品リストから選択された商品は上述した確定商品として処理される。尚、図８では、イラスト画像Ｇ１〜Ｇ３に対応する３つの商品候補が表示された例を示したが、商品候補の数や表示方法は特に限定されるものではない。また、イラスト画像に代えて商品画像（写真）を商品候補として表示してもよい。

加えて、商品提示部５５は、条件ｄを満たした同一のカテゴリ（商品）に属する異なる品種の物品である登録商品に関する情報を、商品候補として表示デバイス１０６に表示させる。より詳細には、商品提示部５５は、条件ｄを満たした登録商品（同一のカテゴリ（商品）に属する異なる品種の物品）のイラスト画像および商品名をＰＬＵファイルＦ１から読み出し、類似度算出部５３が算出した類似度の高いものから、表示デバイス１０６に順次出力する。表示デバイス１０６は、品種選択画面８５（図９参照）において、商品候補のイラスト画像および商品名を類似度の高いものから順に表示する。

図９は、商品候補の品種選択画面８５の例を示す図である。図９に示すように、実際に認識した画像であるフレーム画像に重畳されて表示される品種選択画面８５には、類似度の高い登録商品（同一のカテゴリ（商品）に属する異なる品種の物品）から順に、商品候補のイラスト画像Ｇ４、Ｇ５、Ｇ６および各品種名が表示される。なお、商品候補のイラスト画像Ｇ４、Ｇ５、Ｇ６に類似度も表示するようにしてもよい。これらイラスト画像Ｇ４、Ｇ５、Ｇ６はタッチパネル１０５に対する選択操作に応じて選択可能に構成されている。尚、図９では、イラスト画像Ｇ１のカテゴリ（商品）に属する異なる品種の物品である商品候補のイラスト画像Ｇ４、Ｇ５、Ｇ６の３つの商品候補が表示された例を示したが、商品候補の数や表示方法は特に限定されるものではない。商品候補数が多い場合には、「他の品種を選択」ボタンやスクロールボタンを設けるようにして、ボタン操作によって商品候補のイラスト画像を順に表示するようにしてもよい。また、イラスト画像に代えて商品画像（写真）を商品候補として表示してもよい。

入力受付部５７は、受付手段として機能するものであって、タッチパネル１０５またはキーボード１０７を介して表示デバイス１０６の表示に対応する各種入力操作を受付ける。例えば入力受付部５７は、確認画面７２（図７参照）に対する選択操作に基づいて、表示されたイラスト画像Ｇ１の商品が確定商品であることを最終確認した旨の入力操作（確認操作）を受付ける。尚、商品提示部５５は、入力受付部５７が確認操作を受付けた場合に、上述の確定画面７１を表示デバイス１０６に表示する。

入力受付部５７は、表示デバイス１０６に表示された商品候補のイラスト画像Ｇ１〜Ｇ３（図８参照）の中からいずれか１つのイラスト画像に対する選択操作を受付ける。入力受付部５７は、選択されたイラスト画像の登録商品を、商品Ｇに対する確定商品であるとして受付ける。尚、商品検出部５２が複数の商品Ｇを検出可能である場合には、入力受付部５７は商品候補の中から、複数の商品候補の選択操作を受付けてもよい。尚、商品提示部５５は、入力受付部５７が選択操作を受付けた場合に、受付けた商品候補を確定商品として表示させた確定画面７１を表示デバイス１０６に表示させる。

また、入力受付部５７は、表示デバイス１０６に表示された品種選択画面８５のイラスト画像Ｇ４〜Ｇ６（図９参照）の中からいずれか１つのイラスト画像に対する選択操作を受付ける。尚、商品提示部５５は、入力受付部５７が選択操作を受付けた場合に、受付けた商品候補を確定商品として表示させた確定画面７１を表示デバイス１０６に表示させる。

情報入力部５８は、上述のようにして確定された確定商品について、その商品を示す情報（例えば、商品ＩＤや商品名等）を、接続インターフェース１７５を介して入力する。

尚、情報入力部５８は、タッチパネル１０５またはキーボード１０７を介して別途入力された販売個数を、商品ＩＤ等とともに入力するとしてもよい。

売上登録部５９は、情報入力部５８から入力された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部５９は、ＰＬＵファイルＦ１を参照して、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。

（オブジェクト認識に際しての商品学習処理）
次いで、ＰＯＳ端末１１の画像取込部５１、商品検出部５２、類似度算出部５３、類似度判定部５４、物品指定部９１、学習画面表示部９２、学習部９３、判断部９４、テスト画面表示部９５、候補提示部９６によるオブジェクト認識に際しての商品学習処理について説明する。

上述したように、ＰＯＳ端末１１は、撮像部１６４により撮像した画像データから抽出した対象となる物品（オブジェクト）の特徴量と、予め用意された辞書であるＰＬＵファイルＦ１における照合用のデータ（特徴量）とを比較した類似度に応じて当該物品の種別等を認識（検出）する一般物体認識（オブジェクト認識）を採用している。

このような一般物体認識に用いる辞書であるＰＬＵファイルＦ１においては、予め照合用のデータ（特徴量）が登録されている。しかしながら、一般物体認識の認識対象となる青果品等の物品（オブジェクト）は、同じ品種でも産地によって表面の質感や色などが違ってしまう場合がある。このように同じ品種でも表面の質感や色などが違ってしまう場合、ＰＬＵファイルＦ１に予め登録されている照合用のデータ（特徴量）との比較による類似度が小さくなってしまい、オブジェクト認識率が低下してしまうという問題がある。

そこで、ＰＯＳ端末１１は、辞書であるＰＬＵファイルＦ１に対する青果品等の物品の照合用のデータの新規登録や、オブジェクト認識率を高めるために辞書であるＰＬＵファイルＦ１に予め登録されている青果品等の物品の照合用のデータの更新（追加登録）を目的として、店舗で実際に取り扱っている青果品等の物品でＰＬＵファイルＦ１の内容を学習登録する学習機能を備えている。

ところで、ＰＯＳ端末１１でＰＬＵファイルＦ１に照合用のデータ（特徴量）を学習登録する場合、対象となる物品（オブジェクト）を撮像部１６４により撮像するにあたり、物品の特徴毎の注意点がある。例えば、大根やネギのように長い物品については、長手方向を軸としてくるくる回しながら、物品全体を長手方向に流して撮像する必要がある。また、スダチのように小さい物品については、物品を把持している店員の手が撮像部１６４による撮像画像内にできるだけ入らないように撮像する必要がある。

そこで、本実施形態のＰＯＳ端末１１は、オブジェクト認識に際しての商品学習処理において、撮像部１６４により撮像する対象となる物品の特徴毎の注意点を表したガイダンス表示を行うようにしたものである。すなわち、ＰＯＳ端末１１のＣＰＵ６１は、商品学習処理用のプログラムＰＲ２を実行することにより、図４に示すように、画像取込部５１、商品検出部５２、類似度算出部５３、類似度判定部５４、物品指定部９１、学習画面表示部９２、学習部９３、判断部９４、テスト画面表示部９５、候補提示部９６としての機能を備える。以下において、オブジェクト認識に際しての商品学習処理における各部について説明する。

物品指定部９１は、指定手段として機能するものであって、売上登録に係る商品情報を格納するＰＬＵファイルＦ１から学習対象物品を指定する。ＰＬＵファイルＦ１に格納された商品のリストから、ユーザが学習対象物品の商品名を選択することで、学習対象物品の指定を行う。

学習画面表示部９２は、学習画面表示手段として機能するものであって、物品指定部９１により指定された学習対象物品の個体の形の特徴毎の注意点を表したガイダンス表示を行うガイダンス表示領域を有する学習画面を商品読取装置１０１の表示デバイス１０６に表示する。

画像取込部５１は、取込手段として機能するものであって、撮像部１６４が撮像した学習対象物品の画像を取り込む。取り込まれた学習対象物品の画像は、後述する学習画面１２１の画像表示領域１２１ａに表示される。

学習部９３は、抽出手段および学習手段として機能するものであって、画像取込部５１が取り込んだ学習対象物品の画像から物品の照合用データ（特徴量）を抽出し、抽出した学習対象物品の特徴量を当該学習対象物品の識別情報に関連付けて、ＰＬＵファイルＦ１に新規に記憶し、あるいは、ＰＬＵファイルＦ１に予め登録されている当該学習対象物品に照合用データ（特徴量）を追加する学習処理を実行する。

図１０は、学習画面１２１の一例を示す図である。図１０に示すように、学習画面１２１は、撮像部１６４が撮像して画像取込部５１によって取り込まれるフレーム画像を表示するための画像表示領域１２１ａと、現在取り込まれているフレーム画像が何個目の商品サンプルの画像かを示すとともにフレーム画像の取り込み枚数を表すプログレスバー１２１ｂと、商品学習処理を開始する「学習開始」ボタンＢ１と、商品学習処理を一時停止する「一時停止」ボタンＢ２と、商品学習処理を中止する「中止」ボタンＢ３と、を有している。

なお、「一時停止」ボタンＢ２が操作された場合には、ＰＯＳ端末１１は、商品学習処理を一時停止して学習内容を保存した後、他の処理（例えば、商品登録処理など）を実行することが可能になる。すなわち、学習部９３は、学習処理を一時停止して当該学習処理により学習した内容を記憶部に保存した後、他の処理を実行する保留機能を有している。「中止」ボタンＢ３が操作された場合には、ＰＯＳ端末１１は、商品学習処理を中止してこれまでの学習内容については保存しない旨の警告を含む警告画面（図示せず）を学習画面１２１上にポップアップ表示する。ＰＯＳ端末１１は、警告画面上の「はい」ボタンが操作された場合には商品学習処理を中止し、警告画面上の「いいえ」ボタンが操作された場合には商品学習処理を引き続き実行する。

加えて、学習画面１２１は、撮像部１６４により撮像する対象商品の個体の形の特徴毎の注意点をイラストで表したガイダンス表示を行うガイダンス表示領域１２１ｃを有している。撮像対象商品の特徴毎の注意点を表したガイダンス表示としては、例えば以下に示すガイダンスが挙げられる。
１．撮像対象となる全商品に共通するものであって、撮像部１６４に対する撮像距離を示すガイダンス。
２．リンゴのように球形の物品（オブジェクト）について、くるくる回しながら、物品全体を撮像するように案内するガイダンス。
３．大根やネギのように長い物品（オブジェクト）について、長手方向を軸としてくるくる回しながら、物品全体を長手方向に流して撮像するように案内するガイダンス。
４．スダチのように小さい物品（オブジェクト）について、物品（オブジェクト）を把持している店員の手が撮像部１６４による撮像画像内にできるだけ入らないように撮像するように案内するガイダンス。

なお、ＰＬＵファイルＦ１は、図３に示すように、ガイダンス情報として上述の１〜４を表す情報のうち少なくとも１以上の情報を各商品に対して記憶する。

なお、撮像対象商品の特徴毎の注意点を表したガイダンス表示の手法としては、上述のように撮像対象商品の特徴に対応したガイダンスのみを表示する手法のほか、撮像対象商品の特徴に対応したガイダンス表示を点滅させたり、色を変えたりするものであってもよい。

判断部９４は、判断手段として機能するものであって、学習画面のガイダンス表示に従って撮像部１６４に学習対象物品をかざしているか否かを判断する。学習画面表示部９２は、判断部９４によりガイダンス表示に従っていないと判断した場合には、学習画面１２１の画像表示領域１２１ａなどに注意点を表したガイダンス表示を更に行う。

テスト画面表示部９５は、テスト画面表示手段として機能するものであって、テスト画面を商品読取装置１０１の表示デバイス１０６に表示する。このテストは、学習部９３による学習処理の結果として、ＰＬＵファイルＦ１に記憶された学習対象物品の認識を確認するためのテストである。

図１１は、テスト画面１２２の一例を示す図である。図１１に示すように、テスト画面１２２は、撮像部１６４が撮像して画像取込部５１によって取り込まれるフレーム画像を表示するための画像表示領域１２２ａと、現在取り込まれているフレーム画像を何個目の商品サンプルの画像と対比させているかを示すプログレスバー１２２ｂと、を有している。

類似度算出部５３および類似度判定部５４は、類似度判定手段として機能するものであって、学習部９３による学習処理の実行後、学習対象物品の画像を取り込んだ場合、取り込んだ学習対象物品の画像とＰＬＵファイルＦ１に記憶されている当該学習対象物品の画像との類似度を算出して、類似度について段階的に設けられた複数の条件に応じて当該学習対象物品の確定あるいは当該学習対象物品の候補の選定を行う。

図１２は、テスト画面１２２の一例を示す図である。図１２に示すように、テスト画面１２２は、学習部９３による学習処理の実行後、確定された学習対象物品のイラスト画像および商品名、または候補として選定された学習対象物品のイラスト画像および商品名を表示するテスト結果表示領域１２２ｃをプログレスバー１２２ｂに代えて表示する。なお、図１２では、類似度の高い登録商品から順に３つの候補が表示された例を示したが、商品候補の数や表示方法は特に限定されるものではない。また、イラスト画像に代えて商品画像（写真）を表示してもよい。

テスト画面１２２は、テスト結果表示領域１２２ｃの下部に、テストを完了する「テスト完了」ボタンＢ５と、画像を再度取り込んで商品学習処理をやり直す「学習やり直し」ボタンＢ４と、を有している。「学習やり直し」ボタンＢ４が操作された場合には、ＰＯＳ端末１１（学習部９３）は、商品学習処理を再度実行する。すなわち、学習部９３は、テストによる確定結果または候補選定結果に応じ、画像取込部５１および学習部９３を再度実行する学習やり直し機能を有している。

候補提示部９６は、指定手段として機能するものであって、オブジェクト認識に際しての商品学習処理において、撮像部１６４により撮像する対象となる物品（オブジェクト）を撮像部１６４により撮像した画像に基づいて認識された１または複数の候補群を提示する学習商品選択画面を商品読取装置１０１の表示デバイス１０６に表示して、学習対象となる商品を指定させるようにしたものである。

このように１または複数の候補群を商品読取装置１０１の表示デバイス１０６に表示するようにしたのは次の理由による。

ＰＬＵファイルＦ１に予め登録されている青果品等の物品（オブジェクト）についての照合用のデータ（特徴量）を学習登録する場合、上述の新規登録のように新規登録のものだけを絞り込んでリスト表示することはできない。この場合、ＰＬＵファイルＦ１に予め登録されている全ての青果品等の物品（オブジェクト）から所望の商品名を選択して選択された商品についての商品学習処理を実行することになる。しかしながら、商品学習処理における学習対象の商品をＰＬＵファイルＦ１に予め登録されている全ての商品から選ぶのはオペレータにとって手間と時間がかかるものとなってしまっている。

図１３は、学習商品選択画面１３１の一例を示す図である。図１３に示すように、学習商品選択画面１３１は、撮像部１６４が撮像して画像取込部５１によって取り込まれるフレーム画像を表示するための画像表示領域１３１ａと、確定された学習対象物品のイラスト画像および商品名、または候補として選定された学習対象物品のイラスト画像および商品名を表示する結果表示領域１３１ｂを表示する。なお、図１３では、類似度の高い登録商品から順に７つの候補が表示された例を示したが、商品候補の数や表示方法は特に限定されるものではない。また、イラスト画像に代えて商品画像（写真）を表示してもよい。

次に、商品学習処理におけるチェックアウトシステム１の動作について詳細に説明する。図１４は、チェックアウトシステム１が実行する商品学習処理の手順を示すフローチャートである。

（新規登録）
図１４に示すように、ＰＯＳ端末１１のＣＰＵ６１（物品指定部９１）は、表示デバイス２３に表示された業務選択画面（図示せず）の「オブジェクト認識学習」メニューから「新規登録」が選択されると（ステップＳ１のＹｅｓ）、ＰＬＵファイルＦ１から新規登録のものだけを絞り込んだ辞書リスト（図示せず）を表示デバイス２３に表示する（ステップＳ２）。表示デバイス２３に表示される辞書リストは、ＰＬＵファイルＦ１に記憶されている商品のうち、照合用データである特徴量が記憶されていない商品を抽出したものである。辞書リストには、新規登録として抽出された商品の商品ＩＤ、商品分類、商品名、単価等の商品に関する情報などが一覧表示されている。

そして、辞書リストから所望の商品名が選択されると（ステップＳ３のＹｅｓ）、ＰＯＳ端末１１のＣＰＵ６１は、商品読取装置１０１の表示デバイス１０６に対して選択された商品の商品名とともに「学習する商品サンプルを３個用意してください。」という案内を含む案内画面（図示せず）を表示する（ステップＳ４）。

すなわち、本実施形態では、１つの商品について予め規定された数（例えば、３個）の商品サンプルを学習する。また、案内画面は、商品学習処理を進める「ＯＫ」ボタンと、商品学習処理を中止する「キャンセル」ボタンとを有している。

次いで、ＰＯＳ端末１１のＣＰＵ６１（学習画面表示部９２）は、「ＯＫ」ボタンが操作された場合、表示デバイス１０６に図１０に示す学習画面１２１を表示し（ステップＳ５）、選択された商品である学習対象物品の撮像を促す。

ＰＯＳ端末１１のＣＰＵ６１は、選択された商品に関連付けられてＰＬＵファイルＦ１に予め登録されたガイダンス情報を参照して、学習画面１２１のガイダンス表示領域１２１ｃにガイダンス表示を行う。すなわち、本実施形態においては、オペレータが商品読取装置１０１の読取窓１０３に学習対象物品をかざして学習するに際しての“注意点”を、選択された商品の特徴毎のイラストガイダンスとして切り替えて表示する。これにより、オペレータは、商品読取装置１０１の読取窓１０３での学習対象物品の読み取りを確実に行うことができるようになる。

このような学習画面１２１において、オペレータがガイダンスに従って商品読取装置１０１の読取窓１０３に学習対象物品をかざすと撮像部１６４の読取領域Ｒに学習対象物品の全部または一部が撮影される。ＰＯＳ端末１１のＣＰＵ６１（学習部９３）は、学習画面１２１の「学習開始」ボタンＢ１が操作されると（ステップＳ６のＹｅｓ）、学習処理を開始する（ステップＳ７）。学習処理の実行中においては、ＰＯＳ端末１１のＣＰＵ６１（学習部９３）は、学習画面１２１の画像表示領域１２１ａに撮像部１６４が撮像して画像取込部５１によって取り込まれるフレーム画像を表示する。また、学習処理の実行中においては、ＰＯＳ端末１１のＣＰＵ６１（学習部９３）は、現在取り込まれているフレーム画像が何個目の商品サンプルの画像であるかを学習画面１２１のプログレスバー１２１ｂに表示するとともに、取り込んだフレーム画像数を学習画面１２１のプログレスバー１２１ｂに表示する。すなわち、学習部９３は、学習処理に際して、複数個のサンプルをそれぞれ撮像部１６４が撮像した画像を採用し、画像取込部５１により取り込まれている画像が何個目のサンプルの画像であるかを報知する。また、学習部９３は、学習処理に際して、撮像部１６４が撮像した学習対象物品の複数枚の画像を採用し、画像取込部５１により取り込まれている画像数を報知する。

また、ＰＯＳ端末１１のＣＰＵ６１（学習部９３）は、学習処理中においては、学習対象物品の画像領域を囲むガイドラインである枠Ｘ（図１０参照）を表示することにより、学習処理中（フレーム画像の取込中）であることをオペレータに報知する。なお、枠Ｘは、学習処理中であることが明示されればその形状や表示位置、大きさ、色は特に限定されるものではなく、円形状や楕円形状など、矩形以外の形状の枠を用いてもよい。また、枠Ｘの大きさは、学習対象物品の画像領域よりも大きくてもよいし、学習対象物品の画像領域よりも小さくてもよい。すなわち、学習部９３は、学習処理に際して、画像取込部５１が取り込んだ学習対象物品の画像を学習画面１２１に表示するとともに、当該学習対象物品の画像に対して学習処理中であることを示す付加情報であるである枠Ｘを付している。

更に、ＰＯＳ端末１１のＣＰＵ６１（判断部９４）は、オペレータが撮像対象商品の特徴に対応したガイダンスに従って商品読取装置１０１の読取窓１０３に学習対象物品をかざしているか否かを判断する（ステップＳ８）。例えば、上述した“４”のガイダンス情報に従って読取りが実行されているか否かの判断手法としては、商品検出部５２においてフレーム画像から検出した肌色領域の面積が閾値より大きい場合にガイダンス情報に従って読取りが実行されていないとすることが考えられる。また、上述した“２”や“３”のガイダンス情報に従って読取りが実行されているか否かの判断手法としては、商品検出部５２においてフレーム画像間からそれぞれ検出した学習対象物品に動きがない場合に、ガイダンス情報に従って読取りが実行されていないとすることが考えられる。

ＰＯＳ端末１１のＣＰＵ６１（判断部９４）は、上述のようにガイダンス情報に従って読取りが実行されていないと判断した場合には（ステップＳ８のＮｏ）、学習画面１２１の画像表示領域１２１ａに更にガイダンス情報を表示して（ステップＳ９）、ステップＳ７に戻る。これにより、オペレータは、学習対象物品について確実に学習することができるようになる。

ＰＯＳ端末１１のＣＰＵ６１（学習部９３）は、商品サンプルについて所定数のフレーム画像の取り込みが完了したと判断すると、予め規定された商品サンプル数（ここでは、３個）の学習が終了したか否かを判断する（ステップＳ１０）。予め規定された商品サンプル数（ここでは、３個）の学習が終了していない場合には（ステップＳ１０のＮｏ）、学習画面１２１の画像表示領域１２１ａに次の商品サンプルについての商品学習処理を開始する旨のメッセージを表示し（ステップＳ１１）、ステップＳ６に戻る。

一方、予め規定された商品サンプル数（ここでは、３個）の学習が終了した場合には（ステップＳ１０のＹｅｓ）、ＰＯＳ端末１１のＣＰＵ６１（学習部９３）は、学習完了を示すとともに、「サンプルをスキャナにかざして、認識テストをしてください。」という案内を含む案内画面（図示せず）を表示する。また、案内画面は、認識テストを開始する「テスト開始」ボタンを有している。

「テスト開始」ボタンが操作された場合、ＰＯＳ端末１１のＣＰＵ６１（テスト画面表示部９５）は、表示デバイス１０６に図１１に示したテスト画面１２２を表示し、ＰＯＳ端末１１のＣＰＵ６１（類似度算出部５３および類似度判定部５４）は、テスト処理を開始する（ステップＳ１２）。

このようなテスト画面１２２において、オペレータが商品読取装置１０１の読取窓１０３に学習対象物品をかざすと撮像部１６４の読取領域Ｒに学習対象物品の全部または一部が撮影される。ＰＯＳ端末１１のＣＰＵ６１は、テスト画面１２２の画像表示領域１２２ａに撮像部１６４が撮像して画像取込部５１によって取り込まれるフレーム画像を表示する。

ＰＯＳ端末１１のＣＰＵ６１（類似度算出部５３および類似度判定部５４）は、画像取込部５１が取り込んだフレーム画像ごとに、学習対象物品の画像と、ＰＬＵファイルＦ１に登録されている３個の商品サンプルの画像との類似度を比較する。そして、ＰＯＳ端末１１のＣＰＵ６１（類似度算出部５３および類似度判定部５４）は、撮像部１６４が撮像した学習対象物品のフレーム画像とＰＬＵファイルＦ１に登録されている３個の商品サンプルの画像との類似度について段階的に設けられた複数の条件に応じて学習対象物品の確定あるいは学習対象物品の候補の選定を行う。

ＰＯＳ端末１１のＣＰＵ６１は、確定された学習対象物品あるいは候補として選定された学習対象物品のイラスト画像および商品名を類似度の高いものから順に表示デバイス１０６に表示されたテスト画面１２２のテスト結果表示領域１２２ｃ（図１２参照）に表示する。

上述したように、撮像部１６４が撮像した対象物品の画像をＰＬＵファイルＦ１に登録された商品サンプルの画像の商品として確定するための条件が満たされた場合に、登録テストが完了したものとする。なお、対象物品の商品画像と３個の商品サンプルの画像の画像との類似度についての判定条件として、複数の条件が段階的に設けられていてもよい。

（追加登録）
一方、図１４に示すように、ＰＯＳ端末１１のＣＰＵ６１（候補提示部９６）は、表示デバイス２３に表示された業務選択画面（図示せず）の「オブジェクト認識学習」メニューから「追加登録」が選択されると（ステップＳ１のＮｏ、ステップＳ１３のＹｅｓ）、商品読取装置１０１の表示デバイス１０６に対して「学習する商品サンプルを３個用意してください。」という案内を含む案内画面（図示せず）を表示する（ステップＳ１４）。また、案内画面は、商品学習処理を進める「ＯＫ」ボタンと、商品学習処理を中止する「キャンセル」ボタンとを有している。

「ＯＫ」ボタンが操作された場合、ＰＯＳ端末１１のＣＰＵ６１（候補提示部９６）は、表示デバイス１０６に「追加学習する商品をスキャナにかざしてください。」という案内を含む図１３に示すような学習商品選択画面１３１を表示する（ステップＳ１５）。

このような学習商品選択画面１３１において、オペレータが商品読取装置１０１の読取窓１０３に学習対象物品をかざすと撮像部１６４の読取領域Ｒに学習対象物品の全部または一部が撮影される。ＰＯＳ端末１１のＣＰＵ６１（候補提示部９６）は、学習商品選択画面１３１の画像表示領域１３１ａに撮像部１６４が撮像して画像取込部５１によって取り込まれるフレーム画像を表示し、学習商品選択処理を開始する（ステップＳ１６）。学習商品選択処理の実行中においては、ＰＯＳ端末１１のＣＰＵ６１（候補提示部９６）は、学習商品選択画面１３１の画像表示領域１３１ａに撮像部１６４が撮像して画像取込部５１によって取り込まれるフレーム画像を表示する。

また、ＰＯＳ端末１１のＣＰＵ６１（候補提示部９６）は、学習商品選択処理中においては、学習対象物品の画像領域を囲むガイドラインである枠Ｙ（図１３参照）を表示することにより、学習商品選択処理中であることをオペレータに報知する。なお、枠Ｙは、学習商品選択処理中であることが明示されればその形状や表示位置、大きさ、色は特に限定されるものではなく、円形状や楕円形状など、矩形以外の形状の枠を用いてもよい。また、枠Ｙの大きさは、学習対象物品の画像領域よりも大きくてもよいし、学習対象物品の画像領域よりも小さくてもよい。

次いで、ＰＯＳ端末１１のＣＰＵ６１（類似度算出部５３および類似度判定部５４）は、画像取込部５１が取り込んだ学習対象物品の画像と、ＰＬＵファイルＦ１に登録されている特徴量との類似度を比較する。そして、ＰＯＳ端末１１のＣＰＵ６１（類似度算出部５３および類似度判定部５４）は、撮像部１６４が撮像した学習対象物品のフレーム画像とＰＬＵファイルＦ１に登録されている特徴量との類似度について段階的に設けられた複数の条件に応じて学習対象物品の確定あるいは学習対象物品の候補の選定を行う。

ＰＯＳ端末１１のＣＰＵ６１（候補提示部９６）は、確定された学習対象物品あるいは候補として選定された学習対象物品のイラスト画像および商品名を類似度の高いものから順に表示デバイス１０６に表示された学習商品選択画面１３１の結果表示領域１３１ｂ（図１３参照）に表示する。このような学習対象物品を選択する画面は、一般物体認識（オブジェクト認識）に応じた商品登録処理の際に商品候補を表示する画面とほぼ同様である。このようにすることで、オペレータが操作に迷うことがなくなる。

このようにして学習商品選択画面１３１の結果表示領域１３１ｂに表示された学習対象物品または学習対象物品の候補の中から所望の学習対象物品が選択されると（ステップＳ１７のＹｅｓ）、ＰＯＳ端末１１のＣＰＵ６１は、ステップＳ５に進む。

このように画像取込部５１が取り込んだ学習対象物品の画像に基づく１または複数の候補群を商品読取装置１０１の表示デバイス１０６に表示するようにしたことにより、商品学習処理における学習対象の商品を容易にＰＬＵファイルＦ１に予め登録されている商品から選択することができる。

このように、本実施形態の情報処理装置によれば、画像取込部５１が取り込んだ学習対象物品の画像とＰＬＵファイルＦ１に記憶されている商品の照合用データ（特徴量）とを比較することで、類似度を算出して、類似度について段階的に設けられた複数の条件に応じて当該学習対象物品の確定あるいは当該学習対象物品の候補の選定を行い、確定あるいは候補として選定された物品を提示して学習対象物品の指定を受け付ける。これにより、商品学習処理における学習対象の商品をＰＬＵファイルＦ１に予め登録されている商品から容易に選択することができるようになる。

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施形態では、ＰＯＳ端末１１がＰＬＵファイルＦ１を備える形態としたが、これに限らず、商品読取装置１０１がＰＬＵファイルＦ１を備える形態としてもよいし、ＰＯＳ端末１１及び商品読取装置１０１がアクセス可能な外部装置がＰＬＵファイルＦ１を備える形態としてもよい。

また、上記実施形態では、画像取込部５１、商品検出部５２、類似度算出部５３、類似度判定部５４、物品指定部９１、学習画面表示部９２、学習部９３、判断部９４、テスト画面表示部９５、候補提示部９６の機能を有する情報処理装置としてＰＯＳ端末１１を適用したが、これに限らず、画像取込部５１、商品検出部５２、類似度算出部５３、類似度判定部５４、物品指定部９１、学習画面表示部９２、学習部９３、判断部９４、テスト画面表示部９５、候補提示部９６の機能を備えて、算出結果や判定結果をＰＯＳ端末１１に出力する情報処理装置として商品読取装置１０１を適用してもよい。上記実施形態では、照合用データを特徴量として説明したが、照合用データは、撮像された商品画像（基準画像）としてもよい。

また、上記実施形態では、店舗システムとしてＰＯＳ端末１１と商品読取装置１０１とで構成されるチェックアウトシステム１を適用したがこれに限るものではなく、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置に適用するようにしてもよい。ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。

ここで、図１５はセルフＰＯＳ２００の構成を示す外観斜視図、図１６はセルフＰＯＳ２００のハードウェア構成を示すブロック図である。尚、以下では、図１および図２に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。図１５および図１６に示すように、セルフＰＯＳ２００の本体２０２は、タッチパネル１０５が表面に配設された表示デバイス１０６や、商品の種別等を認識（検出）するために商品画像を読み取る商品読取部１１０を備えている。

表示デバイス１０６としては例えば液晶表示器が用いられる。表示デバイス１０６は、客にセルフＰＯＳ２００の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部１１０で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。

商品読取部１１０は、客が商品に付されたコードシンボルを商品読取部１１０の読取窓１０３にかざすことで商品画像を撮像部１６４により読み取るものである。

また、本体２０２の右側にはかごに入った未精算の商品を置くための商品載置台２０３が設けられ、本体２０２の左側には精算済みの商品を置くための商品載置台２０４が設けられ、精算済みの商品を入れるための袋を掛けるための袋掛けフック２０５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台２０６が設けられている。商品載置台２０３，２０４には計量器２０７，２０８がそれぞれ備えられており、精算の前後で商品の重量が同じであることを確認する機能を有している。

また、セルフＰＯＳ２００の本体２０２には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器２０１が設けられている。

このような構成のセルフＰＯＳ２００を店舗システムに適用した場合、セルフＰＯＳ２００が情報処理装置として機能することになる。

また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭまたは記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。更に、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。

また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

１ 店舗システム
５１ 取込手段
５３，５４ 類似度判定手段
５９ 売上登録処理手段
９１ 指定手段
９２ 学習画面表示手段
９３ 抽出手段、学習手段
９４ 判断手段
９６ 指定手段
１０１ 情報処理装置
１０６ 表示部
１６４ 撮像手段
Ｆ１ 辞書

特開２００３−１７３３６９号公報

Claims (6)

1. 撮像手段が撮像した学習対象物品の画像を取り込む取込手段と、
   前記取込手段が取り込んだ前記学習対象物品の画像と辞書に記憶されている物品の照合用データとを比較することで、類似度を算出して、類似度について段階的に設けられた複数の条件に応じて当該学習対象物品の確定あるいは当該学習対象物品の候補の選定を行う類似度判定手段と、
   前記類似度判定手段によって確定あるいは候補として選定された物品を提示して前記学習対象物品の指定を受け付ける指定手段と、
   前記指定手段による前記学習対象物品の指定後に前記取込手段が取り込んだ前記学習対象物品の画像から物品の照合用データを抽出し、前記指定手段により指定された前記学習対象物品の照合用データとして前記辞書に記憶する学習処理を実行する学習手段と、
   を備えることを特徴とする情報処理装置。
2. 前記指定手段は、前記類似度判定手段によって候補として選定された物品を類似度の高いものから順に表示する、
   ことを特徴とする請求項１記載の情報処理装置。
3. 前記指定手段は、前記類似度判定手段によって候補として選定された物品のイラスト画像または撮像した画像を表示する、
   ことを特徴とする請求項２記載の情報処理装置。
4. 前記類似度判定手段は、前記学習手段による前記学習処理の実行後、前記取込手段が前記学習対象物品の画像を取り込んだ場合、前記取込手段が取り込んだ学習対象物品の画像と前記辞書に記憶されている当該学習対象物品の照合用データとの類似度を算出して、類似度について段階的に設けられた複数の条件に応じて当該学習対象物品の確定あるいは当該学習対象物品の候補の選定を行う、
   ことを特徴とする請求項１または２記載の情報処理装置。
5. 撮像手段が撮像した学習対象物品の画像を取り込む取込手段と、
   前記取込手段が取り込んだ前記学習対象物品の画像と辞書に記憶されている物品の照合用データとを比較することで、類似度を算出して、類似度について段階的に設けられた複数の条件に応じて当該学習対象物品の確定あるいは当該学習対象物品の候補の選定を行う類似度判定手段と、
   前記類似度判定手段によって確定あるいは候補として選定された物品を提示して前記学習対象物品の指定を受け付ける指定手段と、
   前記指定手段による前記学習対象物品の指定後に前記取込手段が取り込んだ前記学習対象物品の画像から物品の照合用データを抽出し、前記指定手段により指定された前記学習対象物品の照合用データとして前記辞書に記憶する学習処理を実行する学習手段と、
   前記学習手段によって学習処理を実行した前記辞書を用いて前記撮像手段が撮像した物品を識別して売上登録処理を実行する売上登録手段と、
   を備えることを特徴とする店舗システム。
6. コンピュータを、
   撮像手段が撮像した学習対象物品の画像を取り込む取込手段と、
   前記取込手段が取り込んだ前記学習対象物品の画像と辞書に記憶されている物品の照合用データとを比較することで、類似度を算出して、類似度について段階的に設けられた複数の条件に応じて当該学習対象物品の確定あるいは当該学習対象物品の候補の選定を行う類似度判定手段と、
   前記類似度判定手段によって確定あるいは候補として選定された物品を提示して前記学習対象物品の指定を受け付ける指定手段と、
   前記指定手段による前記学習対象物品の指定後に前記取込手段が取り込んだ前記学習対象物品の画像から物品の照合用データを抽出し、前記指定手段により指定された前記学習対象物品の照合用データとして前記辞書に記憶する学習処理を実行する学習手段と、
   として機能させるためのプログラム。

Images