JP6867182B2 - 情報処理装置およびプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置およびプログラムに関する。

従来、オブジェクト認識の技術を用いて、商品を撮像した画像からその商品を特定することで、会計時の商品登録を行う技術が提案されている（例えば、特許文献１）。一方、野菜や果物の中には、季節毎に流通する品種が異なる場合がある。このような季節商品に対してオブジェクト認識を行う際には、高い認識性能を維持するために、季節毎に認識対象商品を手動で入れ替えている。

しかしながら、季節毎に認識対象商品を手動で入れ替える作業は、煩雑であり、設定に手間がかかるという問題があった。また、設定忘れが発生する可能性があった。

本発明が解決しようとする課題は、認識辞書を自動更新することが可能な情報処理装置およびプログラムを提供することである。

実施形態の情報処理装置は、認識辞書と、取得手段と、有効認識辞書設定手段とを備える。認識辞書は、物品の各々に対して、物品を識別可能な特徴量と、物品を販売する期間を示す有効期間または当該有効期間以外の期間を示す無効期間とを関連付けて記憶する。取得手段は、現在日時を取得する。有効認識辞書設定手段は、現在日時と、認識辞書に記憶された各物品の有効期間または無効期間とに基づいて、認識辞書の中から、現在日時を有効期間に含む物品を、有効認識辞書として設定する。

図１は、実施形態に係る物品読取装置の外観斜視図である。 図２は、物品読取装置のハードウェア構成の一例を示すハードウェアブロック図である。 図３は、ＰＬＵファイルのデータ構成の一例を示す概念図である。 図４は、物品読取装置の機能構成の一例を示す機能ブロック図である。 図５は、商品の有効期間を設定する方法について説明する図である。 図６は、特定期間における商品の有効／無効状態の表示例を示す図である。 図７は、特定のグループに属する商品の有効／無効状態の表示例を示す図である。 図８は、物品読取装置が、店舗の開店時に行う処理の流れを示すフローチャートである。 図９は、物品読取装置が、顧客が購入する商品の会計時に行う際の処理の流れを示すフローチャートである。

（物品読取装置の全体構成の説明）
以下、添付図面を参照して、情報処理装置の一例である店舗サーバを備えた、物品読取装置の実施形態を詳細に説明する。なお、本実施形態では、情報処理装置の一実施形態として、スーパーマーケット等の店舗に設けられた、物品読取装置１への適用例を示す。

図１は、物品読取装置１の一例を示す外観斜視図である。図１に示すように、物品読取装置１は、ＰＯＳ（Point-of-Sale）端末１０と、読取ユニット１００と、表示・操作ユニット１１０と、不図示の店舗サーバ２００を備える。

ＰＯＳ端末１０は、登録対象となる物品Ｇ（商品）の登録を行う。また、ＰＯＳ端末１０は、読取ユニット１００が読み取った商品を、読取ユニット１００が出力する物品Ｇの特徴量Ｆに基づいて特定して、売上登録および精算処理を行う。

読取ユニット１００は、売上登録を行う場合に登録対象となる物品Ｇの画像を撮像するとともに、撮像された物品Ｇの画像Ｉ（Ｇ）が有する特徴量Ｆを読み取る。

表示・操作ユニット１１０は、読取ユニット１００が撮像した物品Ｇの画像Ｉ（Ｇ）を表示するとともに、ＰＯＳ端末１０が出力する各種情報を表示する。また、表示・操作ユニット１１０は、キャッシャが行う各種操作情報をＰＯＳ端末１０に転送する。

店舗サーバ２００は、情報処理装置の一例であり、店舗のバックヤード等に設置されている。店舗サーバ２００は、ＰＯＳ端末１０と、無線ＬＡＮや有線ＬＡＮ等の通信手段によって接続されている。この店舗サーバ２００は、ＰＯＳ端末１０が行った売上登録および精算処理の結果を集約して管理する。また、店舗サーバ２００は、読取ユニット１００が撮像した物品Ｇの画像Ｉ（Ｇ）に写った物品Ｇを特定するための有効認識辞書Ｄｅを設定して、ＰＯＳ端末１０に配信する。なお、店舗には複数のＰＯＳ端末１０が設置されており、店舗サーバ２００は、全てのＰＯＳ端末１０とそれぞれ接続されている。

図１において、ＰＯＳ端末１０は、レジ台４１の上に、ドロワ２１に載置した状態で設けられる。ＰＯＳ端末１０は、上面に、操作用の押下キーが配列されたキーボード２２を有する。また、ＰＯＳ端末１０は、キーボード２２の上方に、キャッシャが登録情報の確認、および決済に必要な情報の入力に使用するキャッシャ用表示器２３と、客が登録情報の確認に使用する客面表示器２４とを有する。キャッシャ用表示器２３は、液晶パネル等の表示パネル２３ａを有し、表示パネル２３ａにタッチパネル２６が積層されたタッチ操作部を兼用している。客面表示器２４は液晶パネル等の表示パネル２４ａを有する。客面表示器２４は、ＰＯＳ端末１０の上部に、客から見やすい方向に回転可能に立設されている。ドロワ２１は、内部に紙幣や硬貨等を収納し、ＰＯＳ端末１０からの指示により開放する。

レジ台４１の隣には、レジ台４１と共にＬ状に配置されたサッカー台１５１が設けられている。サッカー台１５１の上面には、買物カゴ１５３等を載置するための荷受面１５２が形成されている。図１は、買物カゴ１５３として、第１の買物カゴ１５３ａと第２の買物カゴ１５３ｂとが載置された例を示している。第１の買物カゴ１５３ａは、客が持ち込んだ買物カゴ、つまり読み取り前の物品Ｇの入った買い物カゴである。第２の買物カゴ１５３ｂは、読み取りを終えた物品Ｇを収納するための買物カゴである。キャッシャは、第１の買物カゴ１５３ａから読み取り前の物品Ｇを手に取り、物品読取装置１に物品Ｇを読み取らせた後、物品Ｇを第２の買物カゴ１５３ｂに移し替える。なお、買物カゴ１５３は、カゴ状のものに限らず、トレー状、箱状、袋状等であってもよい。

読取ユニット１００は、サッカー台１５１の荷受面１５２の中央部に立設され、ＰＯＳ端末１０と有線または無線によりデータ送受信可能に接続される。読取ユニット１００は、ハウジング１０２の表面に、キャッシャ側を向けて設けられた読取窓１０３の奥側に備えられている。読取窓１０３は透光性を有する、例えば透明なガラス板等により形成されている。読取ユニット１００は、読取窓１０３の奥に、物品Ｇを撮像するためのカメラ１６０を有する。物品Ｇがカメラ１６０により撮像されると、読取ユニット１００は、撮像された物品Ｇの画像Ｉ（Ｇ）、および、画像Ｉ（Ｇ）から算出した物品Ｇの特徴量Ｆを、ＰＯＳ端末１０に対して出力する。

表示・操作ユニット１１０は、ハウジング１０２の上部に備えられる。表示・操作ユニット１１０は、液晶パネル等のキャッシャ用表示器１０６を有する。表示・操作ユニット１１０は、キャッシャが、読取ユニット１００が撮像した画像の確認、および物品読取装置１の操作に必要な情報の入力を行う場合に使用する。また、キャッシャ用表示器１０６の画面には、タッチパネル１０５が積層されて、物品読取装置１を動作させるために必要な情報を、タッチ入力によって入力することが可能となっている。さらに、キャッシャ用表示器１０６の右隣にはキーボード１０７が設けられて、キャッシャによるキーボード入力が可能となっている。そして、表示・操作ユニット１１０は、客が、物品Ｇの読み取り結果等を確認するための客面表示器１０９を、読取窓１０３の背面側（客側）に備える。

（物品読取装置のハードウェア構成の説明）
次に、物品読取装置１のハードウェア構成について説明する。図２は、物品読取装置１のハードウェア構成を示すハードウェアブロック図である。物品読取装置１は、ＰＯＳ端末１０と、読取ユニット１００と、表示・操作ユニット１１０と、店舗サーバ２００とを備える。

このうち、ＰＯＳ端末１０は、ＣＰＵ（Central Processing Unit）６１と、ＲＯＭ（Read Only Memory）６２と、ＲＡＭ（Random Access Memory）６３と、ＨＤＤ（Hard Disk Drive）６４と、接続インタフェース６５と、ドロワ２１と、キーボード２２と、キャッシャ用表示器２３と、客面表示器２４と、通信インタフェース２５と、タッチパネル２６とを備える。ＣＰＵ６１と、ＲＯＭ６２と、ＲＡＭ６３とＨＤＤ６４は、内部バス２７により接続される。また、ドロワ２１と、キーボード２２と、キャッシャ用表示器２３と、客面表示器２４と、通信インタフェース２５と、タッチパネル２６と、ＨＤＤ６４と、接続インタフェース６５とは、いずれも各種の入出力回路（いずれも不図示）を介して内部バス２７に接続される。

ＣＰＵ６１は、ＰＯＳ端末１０の全体の制御を司る中央演算処理装置である。ＲＯＭ６２は固定プログラム等を格納する不揮発性メモリである。ＲＡＭ６３は、ＣＰＵ６１が作業エリア等として使用する揮発性メモリである。

ＨＤＤ６４は、各種プログラムや各種ファイルを記憶する記憶部である。各種プログラムには、ＰＯＳ端末１０の全体の動作を制御するとともに、物品Ｇを特定してその結果を示す情報を画面に表示する等の処理を含む商品販売データ処理のための制御プログラムＰ１等が含まれる。また、各種ファイルは、店舗サーバ２００から配信された、商品の名称や価格、オブジェクト認識可能な商品についてはその特徴量等を商品コードに関連付けて、テーブルの形式で記憶したＰＬＵ（Price Look Up）ファイルＦ１等である。さらに、ＨＤＤ６４には、商品を登録するための登録テーブルや売上テーブル等が記憶されている。すなわち、ＰＯＳ端末１０は、ＣＰＵ６１が制御主体となって制御プログラムＰ１等を読み出して実行する、一般的なコンピュータシステムの構成を有する。

ＰＯＳ端末１０で実行される制御プログラムＰ１は、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、制御プログラムＰ１を、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供してもよい。さらに、制御プログラムＰ１をインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、制御プログラムＰ１を、ＲＯＭ６２に予め組み込んで提供してもよい。

通信インタフェース２５は、店舗サーバ２００とデータ通信を行うためのネットワークカード等で構成される。

接続インタフェース６５は、読取ユニット１００の接続インタフェース１７５、および表示・操作ユニット１１０の接続インタフェース１７６と通信を行うためのインタフェースである。通信は、有線または無線により行う。

また、読取ユニット１００は、ＣＰＵ１６１と、ＲＯＭ１６２と、ＲＡＭ１６３と、カメラ１６０と、音声出力部１６５と、接続インタフェース１７５とを備える。さらに、表示・操作ユニット１１０は、接続インタフェース１７６と、タッチパネル１０５と、キャッシャ用表示器１０６と、キーボード１０７と、客面表示器１０９とを備える。

ＣＰＵ１６１と、ＲＯＭ１６２と、ＲＡＭ１６３は、内部バス１６６により接続される。また、カメラ１６０と、音声出力部１６５と、接続インタフェース１７５とは、いずれも各種の入出力回路（いずれも不図示）を介して内部バス１６６に接続される。そして、タッチパネル１０５と、キャッシャ用表示器１０６と、キーボード１０７と、客面表示器１０９とは、いずれも各種の入出力回路（いずれも不図示）を介して接続インタフェース１７６に接続される。

ＣＰＵ１６１は、読取ユニット１００の全体の制御を司る中央演算処理装置である。ＲＯＭ１６２は、読取ユニット１００の制御プログラムＰ２等を格納する不揮発性メモリである。制御プログラムＰ２には、撮像された物品Ｇの画像Ｉ（Ｇ）から特徴量Ｆを算出して、算出した特徴量ＦをＰＯＳ端末１０に出力する処理等のプログラム等が含まれる。ＲＡＭ１６３は、ＣＰＵ１６１が作業エリア等として使用する揮発性メモリである。すなわち、読取ユニット１００は、ＣＰＵ１６１が制御主体となって制御プログラムＰ２等を読み出して実行する、一般的なコンピュータシステムの構成を有する。

なお、読取ユニット１００で実行される制御プログラムＰ２は、ＲＯＭ１６２に予め組み込んで提供してもよいし、あるいは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供してもよい。

また、制御プログラムＰ２を、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供してもよい。また、制御プログラムＰ２をインターネット等のネットワーク経由で提供または配布するように構成してもよい。

カメラ１６０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を有するカラーイメージセンサを備える。カメラ１６０は、ＣＰＵ１６１からの撮像開始信号を受けて撮像を開始し、読取窓１０３（図１）に翳された物品Ｇを所定のフレームレート（例えば３０ｆｐｓ等）で電気信号に変換し、撮像された画像Ｉ（Ｇ）を順次出力する。

音声出力部１６５は、予め設定された読取音（“ピッ”）や警告音や音声等を再生するための再生回路やスピーカ等を有する。音声出力部１６５は、ＣＰＵ１６１からの制御信号により読取音や警告音や音声等を再生して、物品Ｇの読取状態等を音で報知する。

さらに、ＣＰＵ１６１には接続インタフェース１７５が接続される。接続インタフェース１７５は、ＰＯＳ端末１０の接続インタフェース６５と通信接続して、読取ユニット１００とＰＯＳ端末１０との間のデータ送受信を行う。

接続インタフェース１７６は、ＰＯＳ端末１０の接続インタフェース６５と通信接続して、表示・操作ユニット１１０とＰＯＳ端末１０との間のデータ送受信を行う。また、接続インタフェース１７６は、接続インタフェース１７５と通信接続して、表示・操作ユニット１１０と読取ユニット１００との間のデータ送受信を行う。

そして、店舗サーバ２００は、ＣＰＵ７１と、ＲＯＭ７２と、ＲＡＭ７３とＨＤＤ７４と、表示器７５と、タッチパネル７６と、通信インタフェース７７とを備える。

ＣＰＵ７１と、ＲＯＭ７２と、ＲＡＭ７３と、ＨＤＤ７４とは、内部バス７８により接続される。また、表示器７５と、タッチパネル７６と、通信インタフェース７７とは、いずれも各種の入出力回路（いずれも不図示）を介して内部バス７８に接続される。

ＣＰＵ７１は、店舗サーバ２００の全体の制御を司る中央演算処理装置である。ＲＯＭ７２は、固定プログラム等を格納する不揮発性メモリである。ＲＡＭ７３は、ＣＰＵ７１が作業エリア等として使用する揮発性メモリである。

ＨＤＤ７４は、各種プログラムや各種ファイルを記憶する記憶部である。各種プログラムには、店舗サーバ２００の全体の動作を制御するとともに、ＰＯＳ端末１０が、物品Ｇを特定するための有効認識辞書Ｄｅを設定する処理を含む制御プログラムＰ３等が含まれる。また、各種ファイルは、商品マスタＭと、認識辞書Ｄｏと、有効認識辞書Ｄｅ等である。商品マスタＭは、店舗で取り扱う全ての商品の情報（品名、商品コード、価格等）を登録したマスタファイルである。認識辞書Ｄｏは、店舗で取り扱う商品のうち、オブジェクト認識によって特定を行うことができる全ての商品について、各商品を識別可能な特徴量Ｆを登録したファイル（辞書）である。有効認識辞書Ｄｅは、オブジェクト認識によって特定を行うことができる全ての商品のうち、現在、店頭で販売している商品を登録した認識辞書である。このように、店舗サーバ２００は、ＣＰＵ７１が制御主体となって制御プログラムＰ３等を読み出して実行する、一般的なコンピュータシステムの構成を有する。

表示器７５は、液晶パネル等で構成されて、店舗サーバ２００に関する各種情報を表示する。

タッチパネル７６は、表示器７５が備える液晶パネルに積層されて、店舗サーバ２００の操作に必要な情報の入力を行う場合に使用する。

通信インタフェース７７は、ＰＯＳ端末１０とデータ通信を行うためのネットワークカード等で構成される。なお、図２に示すハードウェア構成では、店舗サーバ２００とＰＯＳ端末１０とは無線接続されているが、これは、有線接続によって接続しても構わない。

（ＰＬＵファイルの構成の説明）
次に、ＰＯＳ端末１０が備えるＰＬＵファイルＦ１について、図３を用いて説明する。ＰＬＵファイルＦ１は、売上登録および精算処理を行う際に用いる商品情報を格納するとともに、読取ユニット１００（図２）が撮像した画像Ｉ（Ｇ）に写っている物品Ｇを特定する際に使用される。このＰＬＵファイルＦ１は、店舗サーバ２００が有する商品マスタＭと、認識辞書Ｄｏと、有効認識辞書Ｄｅとに基づいて生成される。そして、生成されたＰＬＵファイルＦ１は、所定のタイミングでＰＯＳ端末１０に送信されて、ＨＤＤ６４（図２）に格納される。なお、所定のタイミングとは、例えば、店舗開店のタイミングであり、その際に、店頭に並ぶ商品が変更されたことが検出されたことを条件として、ＰＬＵファイルＦ１を更新するために必要な情報をＰＯＳ端末１０に転送するのが望ましい。

図３は、ＰＬＵファイルＦ１のデータ構成の一例を示す概念図である。ＰＬＵファイルＦ１は、店頭に並んでいる物品Ｇ（商品）毎に、当該物品Ｇの商品情報と、その物品Ｇを一意に特定するための特徴量Ｆと、を格納したデータファイルである。ＰＬＵファイルＦ１には、ＰＯＳ端末１０において売上登録を行うことが可能な物品Ｇの情報が登録されている。具体的には、図３に示すように、商品グループコード欄ｆ１、商品属性欄ｆ２、特徴量欄ｆ３の各欄に、それぞれ対応するデータが格納されている。

次に、ＰＬＵファイルＦ１の各欄について説明する。商品グループコード欄ｆ１には、物品Ｇが属するカテゴリーを特定する各種の商品グループコードを格納する。図３は、商品グループコードの例として、商品グループ種別ｆ１１、商品種別ｆ１２、商品カテゴリーコードｆ１３を登録した例である。

商品グループ種別ｆ１１は、果物、野菜等の商品グループを表す。商品種別ｆ１２は、りんご、みかん等の商品種別を表す。商品カテゴリーコードｆ１３は、季節毎に入れ替わりが発生する物品Ｇであることを示す。例えば、図３において、同じ１００番台の商品カテゴリーコードｆ１３が付与された商品Ａと商品Ｂとは、販売時期に入れ替わりが発生することを示している。商品Ｄと商品Ｅについても同様である。

商品属性欄ｆ２には、物品Ｇの商品属性を格納する。商品属性には、例えば、商品名称ｆ２１、商品コードｆ２２、商品単価ｆ２３、有効期間開始日ｆ２４、有効期間終了日ｆ２５等が含まれる。商品名称ｆ２１は、商品の名称を表す。商品コードｆ２２は、商品を一意に特定する、例えばＪＡＮコード等のコードである。商品単価ｆ２３は、商品の単価を表す。有効期間開始日ｆ２４は、当該物品Ｇが商品として取り扱いが開始される、有効期間の開始日時（物品Ｇが店頭に並び始める日時）を特定する情報である。有効期間終了日ｆ２５は、当該物品Ｇの取り扱いが終了する、有効期間の終了日時を特定する情報である。

特徴量欄ｆ３には、物品Ｇを撮像した画像Ｉ（Ｇ）から算出した特徴量Ｆを格納する。具体的には、特徴量欄ｆ３には、特徴量Ｆの種類を示す特徴量種別ｆ３１、および当該特徴量Ｆの値または値の範囲を示す特徴量値ｆ３２が含まれる。特徴量種別ｆ３１は、例えば、画像Ｉ（Ｇ）から算出した、物品Ｇの色合いや表面の凹凸等の表面状態（テクスチャ）等を定量化した情報であり、物品Ｇに応じた特徴量が適宜選択される。なお、図３には記載しないが、場合によっては、複数の特徴量Ｆの組み合わせによって、物品Ｇを特定してもよい。その場合、特徴量欄ｆ３には複数の特徴量Ｆが登録される。

なお、ＰＬＵファイルＦ１は、一種のリレーショナルデータベース（ＲＤＢ）を構成しており、ＰＬＵファイルＦ１に登録された情報は、互いに関連付けられている。すなわち、１つの物品Ｇ（商品）に関する情報は、複数の属性の組として表現される。したがって、ＰＬＵファイルＦ１の中から、指定した属性を有する物品Ｇの集合を容易に抽出することができる。例えば、商品グループ種別ｆ１１が野菜である物品Ｇの集合や、有効期間が１２月から２月を含む物品Ｇの集合や、特定の期日を有効期間に含む物品Ｇの集合等を抽出することができる。このうち、特定の期日を有効期間に含む物品Ｇの集合が、前述した有効認識辞書Ｄｅである。

なお、ＰＬＵファイルＦ１に、未登録の新たな物品Ｇの情報を追加登録することによって、物品読取装置１の認識対象となる物品Ｇの種類を拡充させることができる。また、ＰＬＵファイルＦ１に、既に登録されている物品Ｇの新たな特徴量Ｆを追加登録することによって、物品読取装置１の物品Ｇの読取性能（認識性能）を改善させることができる。このような追加登録の操作は、店舗サーバ２００において、商品マスタＭ、認識辞書Ｄｏ、有効認識辞書Ｄｅをそれぞれ更新することによって行う。そして、更新された情報がＰＯＳ端末１０に送信されて、ＰＬＵファイルＦ１に反映される。

（物品読取装置の機能構成の説明）
次に、物品読取装置１の機能構成について説明する。図４は、物品読取装置１の機能構成の一例を示す機能ブロック図である。なお、図４の機能ブロック図は、物品読取装置１が有する全ての機能のうち、本実施形態が有する特徴的な機能、すなわち、物品Ｇを撮像した画像Ｉ（Ｇ）から物品Ｇを特定する機能構成のみを示す。物品読取装置１では、図２に示すＣＰＵ１６１が、ＲＯＭ１６２に格納された制御プログラムＰ２を適宜実行する。これにより、読取ユニット１００の内部に、撮像部５１と、検知部５２と、特徴量算出部５３とが機能部として実現される。

さらに、物品読取装置１では、図２に示すＣＰＵ６１が、ＨＤＤ６４に格納された制御プログラムＰ１を適宜実行する。これにより、ＰＯＳ端末１０の内部に、記憶部８１と、類似度算出部８２と、認識部８３と、ファイル更新部８４とが機能部として実現される。

また、物品読取装置１では、図２に示すＣＰＵ７１が、ＨＤＤ７４に格納された制御プログラムＰ３を適宜実行する。これにより、店舗サーバ２００の内部に、有効期間設定部９１と、現在日時取得部９２と、有効認識辞書設定部９３と、特定期間表示部９４と、ファイル転送部９５とが機能部として実現される。

以下、読取ユニット１００の機能構成について説明する。撮像部５１は、カメラ１６０（図２）に対して撮像開始信号を出力して、カメラ１６０に撮像動作を開始させる。その後、撮像部５１は、カメラ１６０が撮像して出力した画像Ｉ（Ｇ）を、ＲＡＭ１６３（図２）に順次保存する。

検知部５２は、カメラ１６０が撮像して出力した連続する複数の画像Ｉ（Ｇ）に基づいて、物品Ｇが読取窓１０３（図１）に翳されたことを検知する。具体的に、検知部５２は、カメラ１６０が出力した画像Ｉ（Ｇ）をＲＡＭ１６３から読み出し、直近に読み出した画像Ｉ（Ｇ）と、輝度を比較する。検知部５２は、輝度の比較によって輝度階調に変化があったことを条件として、画像Ｉ（Ｇ）は、手や物品Ｇ等の何等かの写り込みがある画像であると判断する。さらに、検知部５２は、写り込みのある画像Ｉ（Ｇ）と連続する画像Ｉ（Ｇ）を２値化して物品Ｇの輪郭線を抽出する。そして、検知部５２は、連続する画像Ｉ（Ｇ）の輪郭線の位置に変化があったときに、その輪郭線内の領域が、読取窓１０３に翳された物品Ｇを示す領域であると特定する。このようにして、検知部５２は、物品Ｇが読取窓１０３に翳されたことを検知する。

特徴量算出部５３は、画像Ｉ（Ｇ）に写っている物品Ｇの領域から、物品Ｇが有する特徴量Ｆの値を算出する。なお、このとき、画像Ｉ（Ｇ）に写っている物品Ｇの種類は不明であるため、特徴量算出部５３は、ＰＬＵファイルＦ１に登録された特徴量Ｆの値を算出する。そして、特徴量算出部５３は、算出した特徴量Ｆの値を、接続インタフェース１７５（図２）を介して、ＰＯＳ端末１０に出力する。

次に、ＰＯＳ端末１０の機能構成について説明する。記憶部８１は、前述したＰＬＵファイルＦ１を記憶する。

類似度算出部８２は、撮像部５１が撮像した画像Ｉ（Ｇ）から算出された特徴量Ｆと、記憶部８１が記憶するＰＬＵファイルＦ１に登録された各物品Ｇの特徴量値ｆ３２との類似度Ｃを算出する。

認識部８３は、類似度Ｃが所定の閾値Ｃ１以上である商品を選出する。そして、認識部８３は、撮像された物品Ｇが、ＰＬＵファイルＦ１に登録されたいずれの物品Ｇであるかを認識する。

なお、画像Ｉ（Ｇ）の中に含まれる物品Ｇを認識するオブジェクト認識は、一般物体認識（generic object recognition）とも呼ばれる。一般物体認識で用いられる各種認識技術については、下記の文献に詳しく解説されているため、説明は省略する。

柳井 啓司、“一般物体認識の現状と今後”、情報処理学会論文誌、Ｖｏｌ．４８、Ｎｏ．ＳＩＧ１６ [平成２８年８月５日検索]、インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>

Jamie Shottonら、“Semantic Texton Forests for Image Categorization and Segmentation”、[平成２８年８月５日検索]、インターネット<URL: http://mi.eng.cam.ac.uk/~cipolla/publications/inproceedings/2008-CVPR-semantic-texton-forests.pdf>

認識部８３がオブジェクト認識を行って物品Ｇを特定する場合に利用する類似度Ｃは、画像Ｉ（Ｇ）の中に写っている物品Ｇの特徴量Ｆの値と、ＰＬＵファイルＦ１に登録された各物品Ｇの特徴量値ｆ３２とがどの程度類似しているかを示す尺度である。この類似度Ｃは、例えば、完全一致を類似度１．０とする絶対評価値で算出すればよい。

ファイル更新部８４は、店舗サーバ２００から転送された情報に基づいて、ＰＬＵファイルＦ１の内容を更新する。

次に、店舗サーバ２００の機能構成について説明する。有効期間設定部９１は、期間設定手段の一例である。有効期間設定部９１は、店舗で取り扱う物品Ｇのうち、季節等によって入れ替えが発生する物品Ｇについて、前述した有効期間開始日ｆ２４および有効期間終了日ｆ２５（図３）を設定する。

現在日時取得部９２は、取得手段の一例である。現在日時取得部９２は、ＣＰＵ７１（図２）が有するタイマ（例えば、Real Time Clock）の情報を読み取って、現在日時を取得する。

有効認識辞書設定部９３は、有効認識辞書設定手段の一例であり、オブジェクト認識によって特定可能な物品Ｇのうち、現在日時取得部９２が取得した現在日時に店頭で販売している物品Ｇを登録した有効認識辞書Ｄｅを設定する。具体的には、有効認識辞書設定部９３は、予め登録された、物品Ｇの販売期間を示す有効期間、または当該有効期間以外の期間を示す無効期間に基づいて、認識辞書Ｄｏの中から、現在日時を前記有効期間に含む物品Ｇを、有効認識辞書Ｄｅとして設定する。なお、物品Ｇが現在日時を有効期間に含むことを、便宜上、物品Ｇは有効状態にあると記載する。また、有効認識辞書設定部９３は、店舗開店時等の所定のタイミングで、現在日時と、各物品Ｇの有効期間または無効期間とを比較することによって、現在日時を有効期間に含むかを確認する。なお、有効期間とは、前述した有効期間開始日ｆ２４と有効期間終了日ｆ２５に挟まれた期間を意味する。また、無効期間とは、有効期間以外の期間を意味する。そして、有効認識辞書設定部９３は、最新の有効認識辞書Ｄｅにおける物品Ｇの有効状態と、現在日時における物品Ｇの実際の有効状態と、の間に差異があることを条件として、有効認識辞書Ｄｅを更新する。

特定期間表示部９４は、表示手段の一例であり、有効期間設定部９１によって設定された有効認識辞書Ｄｅの有効期間または無効期間を、特定の期間範囲に亘って表示する。

ファイル転送部９５は、店舗サーバ２００の中に格納された、商品マスタＭと、認識辞書Ｄｏと、有効認識辞書Ｄｅとの情報を、当該情報に変化があったことを条件として、ＰＯＳ端末１０に転送する。なお、ファイル転送部９５は、変化があった情報のみをＰＯＳ端末１０に転送してもよいし、商品マスタＭと、認識辞書Ｄｏと、有効認識辞書Ｄｅとの全ての情報をＰＯＳ端末１０に転送してもよい。

（有効期間の設定方法の説明）
次に、物品Ｇの有効期間、無効期間を設定する方法について、図５を用いて説明する。図５は、商品の有効期間を設定する方法について説明する図である。なお、野菜や果物等の物品Ｇの中には、季節毎に流通する品種が異なる場合がある。このような季節商品に対して、物品Ｇを店頭で販売している有効期間、または、物品Ｇを店頭で販売していない無効期間を設定する。

店舗サーバ２００の操作者は、有効期間設定部９１に、各物品Ｇの有効期間または無効期間の設定を行わせる。具体的には、有効期間設定部９１は、まず、表示器７５（図２）に、図５（ａ）に示すように、商品マスタＭに登録された物品Ｇの一覧表であるビューＶ１ａを表示する。その際、ビューＶ１ａの横軸には１月から１２月までの日程軸を描画する。

次に、店舗サーバ２００の操作者は、タッチパネル７６を用いて、物品Ｇの一覧表を上下にスクロールさせて、有効期間を設定する商品を探す。有効期間を設定する商品、例えば商品Ａが見つかったら、有効期間開始月と有効期間終了月をそれぞれ指定する。具体的には、店舗サーバ２００の操作者は、有効期間開始月をタッチした後、タッチした指をスライドさせて、有効期間終了月でタッチを外す操作を行う。この操作によって、有効期間開始月と有効期間終了月をそれぞれ指定する。なお、図５（ａ）に示すように、本来は循環すべき日程軸が１２月と１月の間は途切れているため、年を跨ぐ期間を設定する際には、１２月までの期間を設定した後で、再び、１月からの期間設定を行う。このような処理は、例えば、線表作成ツールのような既存のツールを活用して行えばよい。そして、有効期間設定部９１は、作成したビューＶ１ａのデータを、ＰＬＵファイルＦ１の有効期間開始日ｆ２４と有効期間終了日ｆ２５とに記憶する。

なお、図５（ａ）の例は、有効期間を設定した例であるが、同様にして、無効期間を設定する構成としてもよい。また、横軸を１日単位で描画することによって、有効期間開始日および有効期間終了日を設定させる構成としてもよい。

なお、商品の有効期間を設定する際には、図５（ｂ）のビューＶ１ｂに示すように、季節毎に入れ替わりが発生することを示す商品カテゴリーコードｆ１３が付与された商品の有効期間を、互いに重複させて設定してもよい。すなわち、季節商品の入れ替え日は、必ずしも月初や月末ではない場合もある。したがって、ビューＶ１ｂに示すように重複期間を設けることによって、当該重複期間にあっては、複数の季節商品が、いずれも有効認識辞書Ｄｅに登録されるため、商品の入れ替え日が変動した場合であっても、店頭に並んだ商品を正しく認識することができる。

（特定期間表示部の作用の説明）
次に、特定期間表示部９４の作用について、図６、図７を用いて説明する。図６は、特定期間における商品の有効／無効状態の一覧表であるビューＶ２を示す図である。特定期間表示部９４は、図６に示すように、店舗サーバ２００の操作者が指定した特定の期間範囲に亘って、有効認識辞書Ｄｅの有効期間または無効期間を表示器７５（図２）に表示する。

特定期間表示部９４は、店舗サーバ２００の表示器７５に、不図示の操作メニューを表示させた後、操作者が、操作メニューの中の特定期間表示を選択して、さらに特定期間の開始月と終了月を設定した際に、ビューＶ２のように特定期間のみの表示を行う。この表示は、ビューＶ１ａ（図５（ａ））の中から、１２月から２月の範囲のみを抽出したものである。

このような特定期間のみの表示を行うことにより、店舗サーバ２００の操作者は、必要な期間範囲に店頭に並ぶ商品を素早く確認することができる。

また、図７は、特定の商品種別ｆ１２（図３）に属する商品の有効／無効状態の一覧表であるビューＶ３を示す図である。

特定期間表示部９４は、店舗サーバ２００の表示器７５に、不図示の操作メニューを表示させた後、操作者が、操作メニューの中の特定商品種別を選択して、さらに具体的な商品種別名を指定した際に、ビューＶ３に示すように特定の商品種別ｆ１２に属する商品の有効／無効状態の一覧表を表示する。

このように、選択された商品種別ｆ１２に属する商品のみの有効期間を表示することによって、店舗サーバ２００の操作者は、店舗で取り扱う膨大な数の商品の中から、選択した商品種別の商品の有効期間を素早く確認することができる。なお、特定の商品の有効期間の変更を行う際には、ビューＶ３に示すように該当する商品のみを表示した状態とした後で行うのが望ましい。すなわち、例えば、ビューＶ１ａをスクロールして該当商品を探す場合と比べて、商品を探す手間が省けるため、有効期間の変更操作をより短時間で行うことができる。

（物品読取装置が店舗開店時に行う処理の流れの説明）
次に、物品読取装置１が、店舗開店時に行う処理の流れについて、図８を用いて説明する。図８は、物品読取装置１が、店舗開店時に行う処理の流れを示すフローチャートである。なお、全ての商品（総数Ｎ）には、１からＮの通し番号が付与されているものとする。また、商品マスタＭに登録された商品には、予め、オブジェクト認識の対象となる全ての商品に対して、有効期間または無効期間の設定がなされているものとする。さらに、有効認識辞書Ｄｅには、前日の開店時における有効な商品（店頭に並んでいる商品）が登録されているものとする。

店舗サーバ２００において、現在日時取得部９２は、現在日時を取得する（ステップＳ１０）。

有効認識辞書設定部９３は、商品に付与した通し番号を示す変数ｉを１にセットする（ステップＳ１２）。

有効認識辞書設定部９３は、商品ｉの有効認識辞書Ｄｅは、現在日時において有効か（現在日時を有効期間に含むか）を判断する（ステップＳ１４）。商品ｉの有効認識辞書Ｄｅが、現在日時において有効であるとき（ステップＳ１４：Ｙｅｓ）は、ステップＳ１６に進む。

有効認識辞書設定部９３は、商品マスタＭに登録された商品ｉが、現在日時において有効か（現在日時を有効期間に含むか）を判断する（ステップＳ１６）。商品ｉが現在日時において有効であるとき（ステップＳ１６：Ｙｅｓ）は、ステップＳ２２に進む。

有効認識辞書設定部９３は、変数ｉをインクリメントする（ステップＳ２２）。

有効認識辞書設定部９３は、変数ｉの値に基づいて、全ての商品ｉを確認したかを判断する（ステップＳ２４）。なお、商品ｉの総数がＮである場合、ｉ＝Ｎ＋１であれば、全ての商品をチェックしたものと判断する。全ての商品を確認したとき（ステップＳ２４：Ｙｅｓ）は、ステップＳ２６に進む。

有効認識辞書設定部９３は、有効認識辞書Ｄｅが更新されたかを判断する（ステップＳ２６）。有効認識辞書Ｄｅが更新されたとき（ステップＳ２６：Ｙｅｓ）はステップＳ２８に進む。

ファイル転送部９５は、更新された有効認識辞書ＤｅをＰＯＳ端末１０に転送する（ステップＳ２８）。その後、店舗サーバ２００は、図８の処理を終了する。

前述したステップＳ１４において、商品ｉの有効認識辞書Ｄｅが、現在日時において有効でないとき（ステップＳ１４：Ｎｏ）は、ステップＳ１８に進む。

有効認識辞書設定部９３は、商品マスタＭに登録された商品ｉが、現在日時において有効かを判断する（ステップＳ１８）。商品ｉが現在日時において有効であるとき（ステップＳ１８：Ｙｅｓ）は、ステップＳ２０に進む。

有効認識辞書設定部９３は、有効認識辞書Ｄｅを更新する（ステップＳ２０）。その後、ステップＳ２２に進む。その後の処理の流れは、前述した通りである。

前述したステップＳ１６において、商品ｉが現在日時において有効でないとき（ステップＳ１６：Ｎｏ）は、ステップＳ２０に進む。その後の処理の流れは、前述した通りである。

前述したステップＳ１８において、商品ｉが現在日時において有効でないとき（ステップＳ１８：Ｎｏ）は、ステップＳ２２に進む。その後の処理の流れは、前述した通りである。

前述したステップＳ２４において、全ての商品ｉを確認していないとき（ステップＳ２４：Ｎｏ）、すなわち、ｉ≠Ｎ＋１は、ステップＳ１４に戻る。その後の処理の流れは、前述した通りである。

前述したステップＳ２６において、有効認識辞書Ｄｅが更新されていないとき（ステップＳ２６：Ｎｏ）は、店舗サーバ２００は、図８の処理を終了する。

一方、ＰＯＳ端末１０において、ファイル更新部８４は、店舗サーバ２００から有効認識辞書Ｄｅを受信したかを確認する（ステップＳ３０）。店舗サーバ２００から有効認識辞書Ｄｅを受信したとき（ステップＳ３０：Ｙｅｓ）は、ステップＳ３２に進む。

ファイル更新部８４は、ＰＬＵファイルＦ１を更新する（ステップＳ３２）。その後、ＰＯＳ端末１０は、図８の処理を終了する。

なお、前述したステップＳ３０において、店舗サーバ２００から有効認識辞書Ｄｅを受信しないとき（ステップＳ３０：Ｎｏ）は、ＰＯＳ端末１０は、図８の処理を終了する。なお、店舗サーバ２００から有効認識辞書Ｄｅを受信しないことは、例えば、所定時間に亘って有効認識辞書Ｄｅを受信しない、いわゆるタイムアウトを検出することによって判断すればよい。

（物品読取装置が商品の登録処理を行う際の処理の流れの説明）
次に、物品読取装置１が、会計時に行う処理の流れについて、図９を用いて説明する。図９は、物品読取装置１が、顧客が購入する商品の会計時に行う際の処理の流れを示すフローチャートである。

検知部５２は、物品Ｇが読取窓１０３に翳されたかを判定する（ステップＳ４０）。物品Ｇが読取窓１０３に翳されたと判定された場合（ステップＳ４０：Ｙｅｓ）は、ステップＳ４２に進む。

撮像部５１は、物品Ｇの画像Ｉ（Ｇ）を撮像する（ステップＳ４２）。

特徴量算出部５３は、画像Ｉ（Ｇ）の中から、特徴量Ｆを算出する（ステップＳ４４）。なお、特徴量算出部５３は、ＰＬＵファイルＦ１に登録された特徴量Ｆの値を算出する。

ＰＯＳ端末１０の類似度算出部８２は、類似度Ｃを算出する（ステップＳ４６）。

認識部８３は、物品Ｇを特定する（ステップＳ４８）。

ＰＯＳ端末１０のＣＰＵ６１は、特定された物品Ｇを、購入商品として登録する商品登録処理を行う（ステップＳ５０）。

ＣＰＵ６１は、物品Ｇの読み取り終了が指示されたかを判断する（ステップＳ５２）。物品Ｇの読み取り終了が指示された場合（ステップＳ５２：Ｙｅｓ）は、ステップＳ５４に進む。

ＣＰＵ６１は、読み取りを行った物品Ｇに対して、現金またはプリペイドカード、クレジットカード等による支払手続きを行う会計処理を行う（ステップＳ５４）。その後、ＰＯＳ端末１０は、図９の処理を終了する。

前述したステップＳ４０において、物品Ｇが読取窓１０３に翳されたと判定されない場合（ステップＳ４０：Ｎｏ）は、ステップＳ４０を繰り返す。なお、所定時間に亘って、物品Ｇが読取窓１０３に翳されない場合には、図９の処理を終了するようにしてもよい。

また、前述したステップＳ５２において、物品Ｇの読み取り終了が指示されない場合（ステップＳ５２：Ｎｏ）は、ステップＳ４０に戻る。その後の処理の流れは、前述した通りである。

以上説明したように、実施形態に係る情報処理装置の一例である店舗サーバ２００によれば、有効認識辞書設定部９３（有効認識辞書設定手段）が、現在日時取得部９２（取得手段）が取得した現在日時と、有効期間設定部９１（期間設定手段）が物品Ｇ毎に設定した有効期間または無効期間とに基づいて、認識辞書Ｄｏの中から、現在日時を有効期間に含む物品Ｇを有効認識辞書Ｄｅとして設定する。したがって、季節毎に認識対象商品を入れ替える必要がある場合に、いちいち手動で変更する必要がなくなるため、業務の効率が向上するとともに、設定忘れを防止することができる。

また、実施形態に係る店舗サーバ２００によれば、有効期間設定部９１（期間設定手段）は、物品Ｇ毎に、認識辞書Ｄｏの有効期間開始日ｆ２４および有効期間終了日ｆ２５をそれぞれ設定する。したがって、線表作成ツール等の既存のツールを活用して、有効期間または無効期間を容易かつ確実に設定することができる。

そして、実施形態に係る店舗サーバ２００によれば、有効期間設定部９１（期間設定手段）は、認識辞書Ｄｏの有効期間を、複数の物品Ｇ同士で互いに重複させて設定する。したがって、物品Ｇの入れ替え日が変動した場合であっても、店頭に並んだ商品を認識することができる。

さらに、実施形態に係る店舗サーバ２００によれば、有効認識辞書設定部９３は、所定のタイミングで、現在日時と、物品Ｇの有効期間または無効期間とを比較して、現在日時が属する有効期間または無効期間に基づいて、有効認識辞書Ｄｅを更新する。したがって、有効認識辞書Ｄｅを簡単かつ確実に更新することができる。

また、実施形態に係る店舗サーバ２００によれば、特定期間表示部９４（表示手段）は、有効期間設定部９１によって設定された有効認識辞書Ｄｅの有効期間または無効期間を、特定の期間範囲に亘って表示する。したがって、店舗サーバ２００の操作者は、必要な期間範囲に店頭に並ぶ商品を素早く確認することができる。

以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、図８のステップＳ２８において、ファイル転送部９５は、更新された有効認識辞書ＤｅをＰＯＳ端末１０に転送するものとして説明したが、これは、有効認識辞書Ｄｅのうち、変更のあった情報のみ、すなわち、有効から無効へと変更になった情報、または無効から有効へと変更になった情報のみを転送してもよい。そして、転送された情報を受信したＰＯＳ端末１０のファイル更新部８４は、受信した情報の内容に応じて、ＰＬＵファイルＦ１を更新すればよい。

また、前述した実施形態では、有効認識辞書設定部９３が、有効認識辞書Ｄｅを設定するものとして説明したが、有効認識辞書設定部９３は、認識辞書Ｄｏに対して、各物品Ｇ（商品）が有効であるか、無効であるかを示す有効／無効フラグを付与する構成としてもよい。そして、ファイル転送部９５は、前記フラグが付与された認識辞書Ｄｏの内容をＰＯＳ端末１０に転送する構成とし、有効フラグが付与された物品Ｇのみをオブジェクト認識の対象とすることにより、前述した実施形態と同じ作用を実現することができる。この場合、有効フラグが付与された認識辞書Ｄｏが有効認識辞書Ｄｅとして機能することになる。

例えば、前述した実施形態では、読取ユニット１００が特徴量算出部５３を備える構成として説明したが、特徴量算出部５３は、ＰＯＳ端末１０の中に備えられてもよい。すなわち、読取ユニット１００は、カメラ１６０が撮像した画像をＰＯＳ端末１０に送信して、ＰＯＳ端末１０は、受信した画像の中から特徴量Ｆを算出する構成としてもよい。

１ 物品読取装置
１０ ＰＯＳ端末
５１ 撮像部
５２ 検知部
５３ 特徴量算出部
８１ 記憶部
８２ 類似度算出部
８３ 認識部
９１ 有効期間設定部（期間設定手段）
９２ 現在日時取得部（取得手段）
９３ 有効認識辞書設定部（有効認識辞書設定手段）
９４ 特定期間表示部（表示手段）
９５ ファイル転送部
１００ 読取ユニット
１１０ 表示・操作ユニット
２００ 店舗サーバ（情報処理装置）
Ｄｏ 認識辞書
Ｄｅ 有効認識辞書
Ｆ１ ＰＬＵファイル
Ｆ 特徴量
Ｍ 商品マスタ
Ｇ 物品（商品）
Ｉ（Ｇ） 画像
Ｖ１ａ、Ｖ１ｂ、Ｖ２、Ｖ３ ビュー

特開２０１６−１２３２４号公報

Claims (6)

1. 物品の各々に対して、前記物品を識別可能な特徴量と、前記物品を販売する期間を示す有効期間または当該有効期間以外の期間を示す無効期間とを関連付けて記憶した認識辞書と、
   現在日時を取得する取得手段と、
   現在日時と、前記認識辞書に記憶された各物品の有効期間または無効期間とに基づいて、前記認識辞書の中から、現在日時を前記有効期間に含む物品を、有効認識辞書として設定する有効認識辞書設定手段と、
   を備えることを特徴とする情報処理装置。
2. 物品毎に、前記認識辞書の有効期間または無効期間の開始日時と終了日時とをそれぞれ設定する期間設定手段を更に備える
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記期間設定手段は、前記認識辞書の有効期間を、複数の物品同士で互いに重複させて設定する
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記期間設定手段によって設定された前記有効認識辞書の有効期間または無効期間を、特定の期間範囲に亘って表示する表示手段を更に有する
   ことを特徴とする請求項２又は請求項３に記載の情報処理装置。
5. 前記有効認識辞書設定手段は、所定のタイミングで、現在日時と、各物品の有効期間または無効期間とを比較して、現在日時が属する前記有効期間または前記無効期間に基づいて、前記有効認識辞書を更新する
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の情報処理装置。
6. コンピュータを、
   物品の各々に対して、前記物品を識別可能な特徴量と、前記物品を販売する期間を示す有効期間または当該有効期間以外の期間を示す無効期間とを関連付けて記憶した認識辞書と、
   現在日時を取得する取得手段と、
   現在日時と、前記認識辞書に記憶された各物品の有効期間または無効期間とに基づいて、前記認識辞書の中から、現在日時を前記有効期間に含む物品の特徴量を算出し、有効認識辞書として設定する有効認識辞書設定手段と、
   して機能させるためのプログラム。

Images