JP6138060B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置及びプログラムに関する。

従来、物品を撮像した画像データから当該物品の特徴量を抽出し、予め用意された照合用物品の特徴量を示すデータと比較することで、当該物品の種別等を認識する技術が存在する。また、この技術を青果品等の商品の認識（識別）に用いることで、認識された商品を売上登録する店舗システムが提案されている。係る店舗システムでは、商品の候補となる照合用商品（商品候補）が複数存在する場合、これらの商品候補を選択可能に表示し、使用者からの選択を受け付ける。

ところで、上記の技術では、撮像の仕方によって認識精度が変化することが分かっている。そのため、撮像の仕方によっては、商品候補が表示されるまで時間を要したり、商品候補が安定して表示されるまで時間を要したりする場合がある。このような場合、オペレータは、所望の商品が認識されるまで撮像を継続する傾向があるため、撮像に要する時間が長くなり、商品の認識に係る作業効率（生産性）が低下する可能性があった。

本発明が解決しようとする課題は、商品の認識に係る作業効率を向上させることが可能な情報処理装置及びプログラムを提供することである。

実施形態の情報処理装置は、一取引に係る商品が向けられる窓と、前記商品を撮像する撮像手段と、前記撮像手段が撮像した画像を取り込む取込手段と、前記取込手段が取り込んだ画像の中から商品の写り込み領域を検出する検出手段と、前記検出手段が検出した前記商品の写り込み領域の特徴量と、基準となる基準商品各々の特徴量とを比較し、その類似度が閾値以上の基準商品を商品候補として認識する認識処理を実行する認識手段と、前記商品候補を選択可能に表示する商品候補表示手段と、操作者に対するガイダンスメッセージとして、前記選択可能な前記商品候補が表示されていない場合には、前記商品を前記窓にかざして再認識のための操作を行う旨を前記商品候補とともに表示するガイダンス表示手段と、を備える。

図１は、実施形態に係るチェックアウトシステムの外観構成を示す斜視図である。 図２は、図１に示したＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図３は、図２に示したＰＬＵファイルのデータ構成の一例を模式的に示す図である。 図４は、図１に示したＰＯＳ端末及び商品読取装置の機能構成を示すブロック図である。 図５は、商品候補画面の一例を示す図である。 図６は、商品候補が認識されている際に表示されるガイダンス画面の一例を示す図である。 図７は、商品候補が認識されていない際に表示されるガイダンス画面の一例を示す図である。 図８は、商品読取装置が実行する商品認識処理の手順を示すフローチャートである。 図９は、商品読取装置が実行するガイダンス表示処理の手順を示すフローチャートである。 図１０は、ＰＯＳ端末が実行する売上登録処理の手順を示すフローチャートである。 図１１は、実施形態に係るセルフＰＯＳの外観構成を示す斜視図である。 図１２は、図１１に示したセルフＰＯＳのハードウェア構成を示すブロック図である。

以下では、チェックアウトシステムを例に本実施形態に係る情報処理装置及びプログラムについて、図面を参照して説明する。店舗システムは、一取引に係る商品の登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。

図１は、チェックアウトシステム１の外観構成を示す斜視図である。図１に示すように、チェックアウトシステム１は、ＰＯＳ端末１１と、情報処理装置としての商品読取装置１０１とを備える。

ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置する。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。オペレータ（店員等）によって押下操作されるキーボード２２は、ＰＯＳ端末１１の上面に配置する。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３を備える。表示デバイス２３は、その表示面２３ａに情報を表示する。タッチパネル２６は、表示面２３ａに積層される。顧客用表示デバイス２４は、表示デバイス２３よりもさらに奥側に回転自在に立設される。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。

なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向いた状態であるが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。

ＰＯＳ端末１１が載置されるチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置される。カウンタ台１５１の上面には、荷受け面１５２が形成される。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。

カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置される。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。

ハウジング１０２の正面には、読取窓１０３が配置される。ハウジング１０２の上部には、表示・操作部１０４が取り付けられる。表示・操作部１０４には、タッチパネル１０５が表面に積層された液晶表示器等の表示デバイス１０６が設けられる。表示デバイス１０６の右隣にはキーボード１０７が配設される。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられる。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置される。

顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納される。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ｇを撮像する。

図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１と、ＲＯＭ（Read Only Memory）６２と、ＲＡＭ（Random Access Memory）６３とを備える。ＲＯＭ６２は、ＣＰＵ６１が実行するプログラムを記憶する。また、マイクロコンピュータ６０は、時間を計時するＲＴＣ（Real Time Clock）等の計時部（図示せず）を備える。

ＰＯＳ端末１１のＣＰＵ６１には、ドロワ２１、キーボード２２、表示デバイス２３、顧客用表示デバイス２４、通信インターフェース２５、タッチパネル２６、ＨＤＤ（Hard Disk Drive）６４、接続インターフェース６５及びプリンタ６６が何れも各種の入出力回路（何れも図示せず）を介して接続される。

キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。

ＨＤＤ６４は、各種プログラムや各種ファイルを記憶する。ＣＰＵ６１は、ＰＯＳ端末１１の起動時等に、ＨＤＤ６４に記憶されたプログラムの全部又は一部をＲＡＭ６３にコピーし、実行する。

また、ＨＤＤ６４は、ＰＬＵファイルＦ１等のデータファイルを記憶する。ＰＬＵファイルＦ１は、接続インターフェース６５を介し、商品読取装置１０１から読み出し可能である。

ＰＬＵファイルＦ１は、店舗内で販売される商品Ｇと、その商品Ｇの売上登録等に関する情報との関連付けが設定されたデータファイルである。図３は、ＰＬＵファイルＦ１のデータ構成の一例を模式的に示す図である。同図に示すように、ＰＬＵファイルＦ１には、商品Ｇ毎に、ユニークに割り当てられた商品ＩＤと、商品名、単価等の商品に関する情報と、その商品Ｇを撮像した商品画像とが関連付けて登録される。また、ＰＬＵファイルＦ１には、商品Ｇ毎に、その商品Ｇの特徴量（基準商品の特徴量データ）が関連付けられて登録される。

商品画像は、後述する類似度判定の際に、比較の対象とされる基準商品の各々を撮像した画像である。商品画像は、後述する商品候補の表示の際に、その商品候補を表す画像として表示される。また、各商品Ｇの撮像画像（例えば、商品画像）から予め抽出された、その商品Ｇの特徴量が、対応する商品ＩＤに関連付けて登録される。ここで、特徴量とは、商品Ｇ表面の色合いや模様、凹凸状況、形状等、商品Ｇの特徴を表した情報である。

なお、本実施形態では、各商品Ｇの特徴量をＰＬＵファイルＦ１に予め登録しておく形態としているが、これに限らず、特徴量を登録しない形態としてもよい。この場合、後述する特徴量抽出部１６１３により、各商品画像から特徴量を抽出することで、その都度特徴量を取得する形態としてもよい。また、商品画像の代わりに表示用の画像を登録する形態としてもよい。以下では、ＰＬＵファイルＦ１に登録された商品を「登録商品」という。

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続される。ストアコンピュータＳＣは、店舗のバックヤード等に設置される。ストアコンピュータＳＣのＨＤＤ（図示せず）は、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１、当該ＰＬＵファイルＦ１に登録された各登録商品の在庫状態を管理するための在庫管理ファイル等を記憶する。

接続インターフェース６５は、商品読取装置１０１との間でデータ送受信を可能にする。接続インターフェース６５には、商品読取装置１０１が接続される。また、プリンタ６６は、レシート等に印字を行う。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、プリンタ６６にて、一取引の取引内容をレシートに印字する。

商品読取装置１０１は、商品読取部１１０と、表示・操作部１０４とを備える。商品読取部１１０は、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１と、ＲＯＭ１６２と、ＲＡＭ１６３とを備える。ＲＯＭ１６２は、ＣＰＵ１６１が実行するプログラムを記憶する。また、マイクロコンピュータ１６０は、時間を計時するＲＴＣ等の計時部（図示せず）を備える。

ＣＰＵ１６１には、撮像部１６４、音声出力部１６５及び接続インターフェース１７５が各種の入出力回路（何れも図示せず）を介して接続される。撮像部１６４、音声出力部１６５及び接続インターフェース１７５は、ＣＰＵ１６１によって動作が制御される。

撮像部１６４は、カラーＣＣＤセンサやカラーＣＭＯＳセンサ等であり、読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音等の音声による報知を行う。

表示・操作部１０４は、タッチパネル１０５、表示デバイス１０６、キーボード１０７、顧客用表示デバイス１０９及び接続インターフェース１７６を備える。商品読取部１１０の接続インターフェース１７５は、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする。接続インターフェース１７５は、接続インターフェース１７６を介して、表示・操作部１０４と接続し、ＣＰＵ１６１は、接続インターフェース１７５を介して、商品読取部１１０と表示・操作部１０４との間でデータ送受信を行う。

次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能構成について、図４を参照して説明する。

図４は、ＰＯＳ端末１１及び商品読取装置１０１の機能構成を示すブロック図である。図４に示すように、商品読取装置１０１のＣＰＵ１６１は、プログラムを順次実行することにより、画像取込部１６１１、商品検出部１６１２、特徴量抽出部１６１３、類似度判定部１６１４、商品候補表示部１６１５、ガイダンス表示部１６１６、入力受付部１６１７及び情報出力部１６１８としての機能を備える。

画像取込部１６１１は、取込手段に対応する機能部である。画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存された撮像画像を順次取り込む。画像取込部１６１１による撮像画像の取り込みは、ＲＡＭ１６３に保存された順に行う。

商品検出部１６１２は、検出手段に対応する機能部である。商品検出部１６１２は、画像取込部１６１１が取り込んだ撮像画像に含まれる商品Ｇの全部又は一部の輪郭線を、公知のパターンマッチング技術等を用いて検出する。次いで、前回の撮像画像（フレーム画像）から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変化のあった部分、すなわち、読取窓１０３に向けられた商品Ｇの写り込み領域を検出する。

商品Ｇを検出する別の方法としては、撮像画像から肌色領域が検出されたか否かを判定し、肌色領域が検出された場合、つまり店員の手の写り込みが検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品Ｇの輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合には、この物体の輪郭から商品Ｇを検出する。

特徴量抽出部１６１３は、抽出手段に対応する機能部である。特徴量抽出部１６１３は、画像取込部１６１１が取り込んだ撮像画像から、商品検出部１６１２で検出された商品Ｇの表面の状態（表面の色合い、模様、凸凹状況、形状等）を特徴量として抽出する。

類似度判定部１６１４は、算出手段及び認識手段に対応する機能部である。類似度判定部１６１４は、ＰＬＵファイルＦ１に登録された各登録商品の特徴量と、特徴量抽出部１６１３が抽出した特徴量とを比較し、その類似度をそれぞれ算出する。類似度判定部１６１４は、算出した類似度のうち、その値が所定の閾値以上となる登録商品（商品ＩＤ）を、撮像部１６４で撮像された商品Ｇの候補（商品候補）として認識する。

また、類似度判定部１６１４は、類似度が閾値以上の登録商品のうち、その類似度の値が他と比べて非常に高くなる登録商品が一つ存在するような場合、該当する一の登録商品を商品候補とする自動確定機能を有する。なお、類似度の比較基準は任意に設定可能であるとする。例えば、他の商品候補について算出した類似度の最高値と比較し、２０％以上の類似度を有する一の登録商品を自動確定してもよい。

また、類似度は、商品Ｇの特徴量と、ＰＬＵファイルＦ１に登録された商品の基準の特徴量とを比較し、両特徴量がどの程度類似しているかを示す値（類似度）であればよい。なお、類似度の概念は、この例に限らず、ＰＬＵファイルＦ１に登録された各登録商品の特徴量との一致度を示す値や、商品Ｇの特徴量とＰＬＵファイルＦ１に登録された各登録商品の特徴量とがどの程度相関するかを示す値であってもよい。

上記のように画像中に含まれる物体を認識することは、一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２５年１２月１２日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像を物品（オブジェクト）毎に領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２５年１２月１２日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、類似度の算出方法は特に問わないものとする。例えば、類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。類似度を絶対評価として算出する場合、撮像された商品Ｇの画像と、登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、撮像された商品Ｇと、各登録商品との類似度の総和が１．０（１００％）となるよう算出すればよい。

商品候補表示部１６１５は、選択手段及び表示制御手段に対応する機能部である。商品候補表示部１６１５は、類似度判定部１６１４で商品候補と認識された登録商品に関する情報を、表示デバイス１０６に表示する。より詳細には、商品候補表示部１６１５は、商品候補として認識された登録商品のレコードをＰＬＵファイルＦ１から読み出し、表示デバイス１０６の商品候補画面内に表示する。

図５は、商品候補画面の一例を示す図である。表示デバイス１０６に表示される商品候補画面Ａ１は、撮像画像領域Ａ１１と、商品候補領域Ａ１２とを含む。

撮像画像領域Ａ１１は、画像取込部１６１１が取り込んだ撮像画像を表示するための領域である。撮像画像領域Ａ１１の下部には、部門コードや商品リスト等から手動で商品Ｇを認識（登録）するための手動登録ボタンＢ１が設けられる。ＣＰＵ１６１は、手動登録ボタンＢ１の操作に応じて、商品Ｇの認識（登録）を手動で行うための手動登録画面（図示せず）を表示デバイス１０６に表示する。なお、手動登録画面を介して指定された商品は、後述する確定商品として処理される。

商品候補領域Ａ１２は、商品候補として認識された登録商品に関する情報を表示するための領域である。商品候補領域Ａ１２には、表示領域Ａ１２ａが配置される。図５では、商品候補領域Ａ１２に４つの表示領域Ａ１２ａを設定した例を示しているが、表示領域Ａ１２ａの個数は特に問わないものとする。また、商品候補の個数に応じて、表示領域Ａ１２ａの個数を動的に増加又は減少させる形態としてもよい。

商品候補表示部１６１５は、表示領域Ａ１２ａに、商品候補の商品画像や商品名等の情報（Ｇ１〜Ｇ４）を配置して表示する。商品候補領域Ａ１２に表示された商品候補は、タッチパネル１０５に対するタッチ操作に応じて選択可能に構成される。ここで、商品候補の配置順は特に問わないものとする。例えば、類似度の高い商品候補の順に、図面左上の表示領域Ａ１２ａから右下の表示領域Ａ１２ａにかけて順次配置する形態としてもよい。この構成により、商品読取装置１０１のオペレータは、商品候補領域Ａ１２に表示された商品候補を選択することで商品Ｇを確定することができる。

ところで、読取窓１０３に対する商品Ｇのかざし方によって認識精度が変化することが分かっている。そのため、商品Ｇのかざし方によっては、商品候補が表示されるまで時間を要したり、商品候補が安定して表示されるまで時間を要したり、自動確定が行われるまでに時間を要したりする場合がある。このような場合、オペレータは、所望の商品が認識されるまで撮像を継続する傾向があるため、撮像に要する時間が長くなり、商品の認識に係る作業効率（生産性）が低下する可能性があった。

そこで、ガイダンス表示部１６１６は、類似度判定部１６１４が商品候補の認識を行っている間の所定のタイミングで、他のアクション（処理）への移行を促す情報等を含んだガイダンス画面を表示デバイス１０６に表示する。

具体的に、ガイダンス表示部１６１６は、商品検出部１６１２が商品Ｇを検出したタイミングで計時を開始し、所定時間（例えば１秒）が経過すると、ガイダンス画面を表示する。また、ガイダンス表示部１６１６は、ガイダンス画面の表示に際し、類似度判定部１６１４が商品候補を認識しているか否かに応じて、ガイダンス画面の内容を切り替える。なお、類似度判定部１６１４は、ガイダンス画面が表示されるタイミングで、商品候補の認識に係る処理を停止することが好ましい。

図６は、商品候補が認識されている際に表示されるガイダンス画面の一例を示す図である。図６に示すように、第１ガイダンス画面Ａ２ａは、商品候補画面Ａ１（撮像画像領域Ａ１１）上に表示される。第１ガイダンス画面Ａ２ａは、商品候補領域Ａ１２に表示された商品候補の選択を促すメッセージＭ１と、商品候補の再認識を促すメッセージＭ２と、商品候補の再認識を指示するための再認識ボタンＢ２とを有する。

商品読取装置１０１のオペレータは、商品候補の選択を行う場合、メッセージＭ１に従い商品候補領域Ａ１２に表示された商品候補の中から、商品Ｇに該当する商品候補を選択する。また、商品候補領域Ａ１２に表示された商品候補の中に商品Ｇに該当するものが存在しない場合、商品読取装置１０１のオペレータは、メッセージＭ２に従い再認識ボタンＢ２を操作する。ガイダンス表示部１６１６は、再認識ボタンＢ２の操作を受け付けると、第１ガイダンス画面Ａ２ａを消去し、類似度判定部１６１４に商品候補の認識に係る処理を再開させる。なお、手動での登録を行う場合には、商品候補画面Ａ１の手動登録ボタンＢ１を操作することで、手動登録画面（図示せず）が表示される。

また、図７は、商品候補が認識されていない際に表示されるガイダンス画面の一例を示す図である。図７に示すように、第２ガイダンス画面Ａ２ｂは、商品候補画面Ａ１上に重畳表示される。第２ガイダンス画面Ａ２ｂは、商品候補が見つからない旨を示すメッセージＭ３と、商品候補の再認識又は手動での登録を促すメッセージＭ４と、再認識ボタンＢ３と、閉じるボタンＢ４とを有する。

商品読取装置１０１のオペレータは、商品候補の認識処理を継続させたい場合、メッセージＭ４に従い、再認識ボタンＢ３を操作する。ガイダンス表示部１６１６は、再認識ボタンＢ３の操作を受け付けると、第２ガイダンス画面Ａ２ｂを消去し、類似度判定部１６１４に商品候補の認識に係る処理を再開させる。

また、商品読取装置１０１のオペレータは、商品候補の認識処理を継続させたい場合、メッセージＭ４に従い、閉じるボタンＢ４を操作する。ガイダンス表示部１６１６は、閉じるボタンＢ４の操作を受け付けると、第２ガイダンス画面Ａ２ｂを消去する。その後、商品読取装置１０１のオペレータは、商品候補画面Ａ１の手動登録ボタンＢ１を操作することで、手動登録画面（図示せず）が表示される。

なお、ガイダンス画面（Ａ２ａ、Ａ２ｂ）に、手動登録ボタンＢ１と同等の機能を有するボタンを設けることで、ガイダンス画面から手動登録画面（図示せず）に移行できるよう構成してもよい。

このように、本実施形態の商品読取装置１０１は、類似度判定部１６１４が商品候補の認識に係る処理を実行している間の所定のタイミングで、他の処理への移行を促すガイダンス画面を表示する。これにより、商品候補が表示されるまで時間を要したりするような場合に、物体認識以外の他の登録方法等をオペレータに促すことができる。したがって、商品の撮像が不用意に継続されてしまうことを抑制することができるため、商品の認識に係る作業効率（生産性）を向上させることができる。

また、商品読取装置１０１は、商品候補が認識されているか否かに応じて、異なる内容のガイダンス画面を提供する。これにより、商品候補の認識状況に対応した他の処理への移行を促すことができるため、利便性を向上させることができる。

また、商品読取装置１０１は、認識処理の再開を指示するための操作子（再認識ボタンＢ２、Ｂ３）を含む前記ガイダンス画面を提供する。これにより、物体認識による登録方法をオペレータからの操作指示に応じて継続させることができるため、利便性を向上させることができる。

なお、本実施形態では、ガイダンス画面の表示に係る基点を、商品検出部１６１２が商品Ｇを検出した時としたが、これに限らず、任意に設定することが可能である。例えば、画像取込部１６１１が商品Ｇについて最初に撮像画像を取り込んだ時を基点とし、この基点から所定時間経過後にガイダンス画面（第１ガイダンス画面Ａ２ａ又は第２ガイダンス画面Ａ２ｂ）を表示する形態としてもよい。また、商品候補表示部１６１５が商品Ｇについて最初に商品候補を表示した時を基点とし、この基点から所定時間経過後に第１ガイダンス画面Ａ２ａを表示する形態としてもよい。このように、本実施形態の商品読取装置１０１では、ガイダンス画面を表示するタイミングを任意に設定できるため、使用環境に応じたタイミングでガイダンス画面を表示させることができる。

図４に戻り、入力受付部１６１７は、タッチパネル１０５又はキーボード１０７を介して表示デバイス１０６の表示に対応する各種入力操作を受け付ける。例えば、入力受付部１６１７は、表示デバイス１０６に表示された商品候補の中から何れか一つの商品候補に対する選択操作を受け付ける。入力受付部１６１７は、選択された商品候補を、撮像部１６４によって撮像された商品Ｇに対応する商品（確定商品）として受け付ける。なお、商品検出部１６１２が複数の商品Ｇを検出可能である場合には、入力受付部１６１７は商品候補の中から、複数の商品候補の選択操作を受け付けてもよい。

情報出力部１６１８は、上述のように確定された確定商品について、その商品を示す情報（例えば、商品ＩＤや商品名等）を、接続インターフェース１７５を介してＰＯＳ端末１１に出力する。

なお、情報出力部１６１８は、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数を、商品ＩＤ等とともにＰＯＳ端末１１に出力してもよい。また、情報出力部１６１８がＰＯＳ端末１１に出力する情報としては、情報出力部１６１８がＰＬＵファイルＦ１から読み出した商品ＩＤを直接通知してもよいし、商品ＩＤを特定することが可能な商品名、商品画像のファイル名を通知してもよいし、その商品ＩＤの格納場所（ＰＬＵファイルＦ１での格納アドレス）を通知してもよい。

一方、ＰＯＳ端末１１のＣＰＵ６１は、プログラムを実行することにより、売上登録部６１１としての機能を備える。売上登録部６１１は、商品読取装置１０１の情報出力部１６１８から出力された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部６１１は、ＰＬＵファイルＦ１を参照し、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録することで売上登録を行う。

以下、チェックアウトシステム１の動作について説明する。まず、図８を参照して、商品読取装置１０１の動作について説明する。ここで、図８は、商品読取装置１０１が実行する商品認識処理の手順を示すフローチャートである。なお、本処理の前提として、表示デバイス１０６には商品候補画面Ａ１が表示されているものとする。

ＰＯＳ端末１１による商品登録の開始等に応じて本処理が開始されると、画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（ステップＳ１１）。

画像取込部１６１１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ１２）。次いで、商品検出部１６１２は、ステップＳ１２で取り込まれた撮像画像から商品Ｇの全部又は一部の検出を行う（ステップＳ１３）。ここで、商品Ｇが検出されない場合には（ステップＳ１３；Ｎｏ）、ステップＳ１２に戻る。

ステップＳ１３において商品Ｇが検出された場合（ステップＳ１３；Ｙｅｓ）、ガイダンス表示部１６１６は、本商品認識処理のバックグラウンドでガイダンス表示処理を開始する（ステップＳ１４）。なお、ガイダンス表示処理については後述する。

特徴量抽出部１６１３は、ステップＳ１２で取り込まれた撮像画像から、ステップＳ１３で検出された商品Ｇの特徴量を抽出する（ステップＳ１５）。次いで、類似度判定部１６１４は、ステップＳ１５で抽出された特徴量と、ＰＬＵファイルＦ１に登録された各登録商品の特徴量とを比較し、その類似度をそれぞれ算出する（ステップＳ１６）。

類似度判定部１６１４は、算出した類似度のうち、その値が所定の閾値以上の登録商品が存在するか否かを判定する（ステップＳ１７）。ここで、閾値以上の登録商品が存在しないと判定した場合（ステップＳ１７；Ｎｏ）、ステップＳ１２に戻る。

一方、ステップＳ１７において、閾値以上の登録商品が存在すると判定した場合（ステップＳ１７；Ｙｅｓ）、類似度判定部１６１４は、その登録商品の商品ＩＤを商品候補として認識する。

商品候補表示部１６１５は、ステップＳ１７で認識された商品候補のレコードをＰＬＵファイルＦ１から読み出し、商品候補領域Ａ１２の表示領域Ａ１２ａに表示する（ステップＳ１８）。続いて、入力受付部１６１７は、タッチパネル１０５又はキーボード１０７を介して、商品候補の選択を受け付けたか否かを判定する（ステップＳ１９）。選択操作が行われると（ステップＳ１９；Ｙｅｓ）、入力受付部１６１７は、選択された商品候補を、商品Ｇに対応する確定商品に設定し、ステップＳ２０に移行する。また、ステップＳ１９において、商品候補の選択を受け付けない場合には（ステップＳ１９；Ｎｏ）、ステップＳ１２に再び戻る。

ステップＳ２０において、情報出力部１６１８は、確定商品を示す商品ＩＤ等の情報を、ＰＯＳ端末１１に出力し（ステップＳ２０）、ステップＳ２１に移行する。ここで、タッチパネル１０５又はキーボード１０７を介して販売個数が別途入力された場合には、ステップＳ２１において、確定商品を示す情報とともに、その販売個数をＰＯＳ端末１１に出力する。なお、販売個数の入力が行われない場合には、デフォルト値として販売個数“１”を出力する形態としてもよい。

続くステップＳ２１において、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知等による業務終了の有無を判定する（ステップＳ２１）。業務を継続する場合（ステップＳ２１；Ｎｏ）、ＣＰＵ１６１は、ステップＳ１２に処理を戻して処理を継続させる。また、業務を終了する場合（ステップＳ２１；Ｙｅｓ）、画像取込部１６１１は、撮像部１６４に撮像オフ信号を出力することで、撮像部１６４による撮像を終了し（ステップＳ２２）、商品認識処理を終了する。なお、ステップＳ２１において、ガイダンス表示部１６１６が経過時間を計時中の場合には、当該経過時間の計時をリセット（停止）することが好ましい。

次に、上述したガイダンス表示処理について説明する。図９は、商品読取装置１０１が実行するガイダンス表示処理の手順を示すフローチャートである。

まず、ガイダンス表示部１６１６は、計時中か否かを判定する（ステップＳ３１）。計時中と判定した場合（ステップＳ３１；Ｙｅｓ）、ガイダンス表示部１６１６は、ステップＳ３３に移行する。また、計時中でないと判定した場合（ステップＳ３１；Ｎｏ）、ガイダンス表示部１６１６は、計時を開始した後（ステップＳ３２）、ステップＳ３３に移行する。

次いで、ガイダンス表示部１６１６は、計時を開始してからの経過時間が所定時間に到達したか否かを判定する（ステップＳ３３）。ここで、所定時間に到達していないと判定した場合（ステップＳ３３；Ｎｏ）、ガイダンス表示部１６１６は、ステップＳ３１に戻る。

また、所定時間に到達（タイムアウト）と判定した場合（ステップＳ３３；Ｙｅｓ）、ガイダンス表示部１６１６は、計時を停止する（ステップＳ３４）。次いで、ガイダンス表示部１６１６は、類似度判定部１６１４の動作を停止させた後（ステップＳ３５）、ステップＳ３６に移行する。ガイダンス表示部１６１６は、このステップＳ３６で、上述した商品認識処理において商品候補が認識されているか否かを判定する（ステップＳ３６）。

ガイダンス表示部１６１６は、商品候補が認識されていると判定した場合（ステップＳ３６；Ｙｅｓ）、図６で説明した第１ガイダンス画面Ａ２ａを表示する（ステップＳ３７）。そして、ガイダンス表示部１６１６は、第１ガイダンス画面Ａ２ａにおいて、何れかのボタンが操作されるまで待機する（ステップＳ３８；Ｎｏ）。

第１ガイダンス画面Ａ２ａにおいて再認識ボタンＢ２の操作を受け付けると（ステップＳ３８；Ｙｅｓ）、ガイダンス表示部１６１６は、第１ガイダンス画面Ａ２ａを消去する（ステップＳ３９）。そして、ガイダンス表示部１６１６は、類似度判定部１６１４の動作を再開させた後（ステップＳ４３）、処理を終了する。なお、重畳関係にある商品候補画面Ａ１において、商品候補の選択や手動登録ボタンＢ１が操作された場合も、第１ガイダンス画面Ａ２ａが消去されるものとする。

一方、ステップＳ３６において、商品候補が認識されていないと判定した場合（ステップＳ３６；Ｎｏ）、ガイダンス表示部１６１６は、図７で説明した第２ガイダンス画面Ａ２ｂを表示する（ステップＳ４０）。そして、ガイダンス表示部１６１６は、第２ガイダンス画面Ａ２ｂにおいて、何れかのボタンが操作されるまで待機する（ステップＳ４１；Ｎｏ→ステップＳ４４；Ｎｏ）。

第２ガイダンス画面Ａ２ｂにおいて再認識ボタンＢ３の操作を受け付けると（ステップＳ４１；Ｙｅｓ）、ガイダンス表示部１６１６は、第２ガイダンス画面Ａ２ｂを消去する（ステップＳ４２）。そして、ガイダンス表示部１６１６は、類似度判定部１６１４の動作を再開させた後（ステップＳ４３）、処理を終了する。

また、第２ガイダンス画面Ａ２ｂにおいて閉じるボタンＢ４の操作を受け付けると（ステップＳ４１；Ｎｏ→ステップＳ４４；Ｙｅｓ）、ガイダンス表示部１６１６は、第２ガイダンス画面Ａ２ｂを消去する（ステップＳ４５）。そして、ガイダンス表示部１６１６は、類似度判定部１６１４を停止させたまま、処理を終了する。

次に、ＰＯＳ端末１１の処理動作について説明する。図１０は、ＰＯＳ端末１１が実行する売上登録処理の手順を示すフローチャートである。

まず、キーボード２２の操作指示による商品登録の開始等に応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１が図８のステップＳ２１で出力した、確定商品の商品ＩＤと、その販売個数とを受信する（ステップＳ５１）。次いで、売上登録部６１１は、ステップＳ５１で受信した商品ＩＤ及び販売個数に基づいて、ＰＬＵファイルＦ１から商品種別や単価等を読み出し、商品読取装置１０１で読み取られた商品Ｇの売上を売上マスタファイルに登録する（ステップＳ５２）。

続いて、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了等による業務終了の有無を判定する（ステップＳ５３）。業務を継続する場合（ステップＳ５３；Ｎｏ）、ＣＰＵ６１は、ステップＳ５１へ戻り処理を継続させる。業務を終了する場合（ステップＳ５３；Ｙｅｓ）、ＣＰＵ６１は売上登録処理を終了する。

以上のように、本実施形態によれば、類似度判定部１６１４が商品候補の認識に係る処理を実行している間の所定のタイミングで、他の処理への移行を促すガイダンス画面を表示する。これにより、商品の撮像が不用意に継続されてしまうことを抑制することができるため、商品の認識に係る作業効率（生産性）を向上させることができる。

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施形態では、ガイダンス画面の表示に伴い、類似度判定部１６１４の動作（機能）を停止することとしたが、当該動作を継続させる形態としてもよい。また、この形態を採用する場合、ガイダンス画面が表示されている間は、新たに認識された商品候補を商品候補領域Ａ１２に表示させないよう制御してもよいし、再認識ボタンＢ２、Ｂ３の操作に伴い表示させるよう制御してもよい。

また、上記実施形態では、ＰＯＳ端末１１が、ＰＬＵファイルＦ１を備える形態としたが、これに限らず、商品読取装置１０１が、ＰＬＵファイルＦ１の一部又は全てを備える形態としてもよい。

また、上記実施形態では、商品読取装置１０１において、商品候補の認識を行う形態としたが、商品読取装置１０１が備える機能部の一部又は全てをＰＯＳ端末１１が備える形態としてもよい。

例えば、ＰＯＳ端末１１が、特徴量抽出部１６１３及び類似度判定部１６１４を備え、商品読取装置１０１が、画像取込部１６１１、商品検出部１６１２、商品候補表示部１６１５、ガイダンス表示部１６１６、入力受付部１６１７及び情報出力部１６１８を備える形態としてもよい。この場合、商品読取装置１０１側では、画像取込部１６１１により取り込まれ、商品検出部１６１２で商品を検出した撮像画像をＰＯＳ端末１１に送信する。また、商品読取装置１０１は、ＰＯＳ端末１１側で認識された商品（登録商品）の結果を受信し、この受信した結果を商品候補表示部１６１５が商品候補として表示する。また、商品読取装置１０１の機能部の全てをＰＯＳ端末１１が備える場合、商品読取装置１０１は撮像装置として機能し、ＰＯＳ端末１１では、商品読取装置１０１から送信された撮像画像に基づき商品候補等の表示を行う。

また、上記実施形態では、据置型のスキャナ装置（商品読取装置１０１）を用いた例を説明したが、これに限らず、いわゆるハンディタイプのスキャナ装置がＰＯＳ端末１１に接続された形態であってもよい。

また、上記実施形態では、ＰＯＳ端末１１と商品読取装置１０１とで構成されるチェックアウトシステム１のうち、商品読取装置１０１に本発明の実施形態を適用したが、これに限るものではなく、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置又は、例えば、図１に示す商品読取装置１０１及びＰＯＳ端末１１が有線又は無線にて接続されて構成されるチェックアウトシステムに適用するようにしてもよい。ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。

ここで、図１１は、セルフＰＯＳ２００の外観構成を示す斜視図、図１２は、セルフＰＯＳ２００のハードウェア構成を示すブロック図である。なお、以下では、図１及び図２に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。

図１１及び図１２に示すように、セルフＰＯＳ２００の本体２０２は、タッチパネル１０５が表面に配設された表示デバイス１０６や、商品の種別等を認識（検出）するために商品画像を読み取る商品読取部１１０を備える。

表示デバイス１０６としては例えば液晶表示器が用いられる。表示デバイス１０６は、客にセルフＰＯＳ２００の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部１１０で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。

商品読取部１１０は、客が商品に付されたコードシンボルを商品読取部１１０の読取窓１０３にかざすことで商品画像を撮像部１６４により読み取るものである。

また、本体２０２の右側には、かごに入った未精算の商品を置くための商品載置台２０３を設け、本体２０２の左側には、精算済みの商品を置くための商品載置台２０４を設ける。また、精算済みの商品を入れるための袋を掛けるための袋掛けフック２０５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台２０６を設ける。商品載置台２０３及び２０４は、計量器２０７、２０８をそれぞれ備えており、精算の前後で商品の重量が同じであることを確認する機能を有する。

また、セルフＰＯＳ２００の本体２０２には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器２０１を設ける。

このような構成のセルフＰＯＳ２００に本発明の実施形態を適用した場合、セルフＰＯＳ２００が情報処理装置として機能する。なお、ＰＯＳ端末１１と商品読取装置１０１との機能を備えた１台構成の装置は、上述した構成のセルフＰＯＳ２００に限らず、計量器２０７及び２０８を除いて構成された装置であってもよい。

また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らないものとする。例えば、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることで提供する構成してもよい。また、上記実施形態の各装置で実行されるプログラムを、インターネット等のネットワーク経由で配布する構成してもよい。

また、上記実施形態のプログラムを、通信機能を有する携帯電話、スマートフォン、ＰＤＡ（Personal Digital Assistant）等の携帯情報端末に組み込んで、その機能を実現させる形態としてもよい。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
（付記１）
撮像手段が撮像した画像を取り込む取込手段と、
前記取込手段が取り込んだ画像の中から商品を検出する検出手段と、
前記検出手段が検出した前記商品の特徴量と、基準となる基準商品各々の特徴量とを比較し、その類似度が閾値以上の基準商品を商品候補として認識する認識処理を実行する認識手段と、
前記商品候補を選択可能に表示する商品候補表示手段と、
前記認識手段が前記認識処理を実行している間の所定のタイミングで、他の処理への移行を促すガイダンス画面を表示するガイダンス表示手段と、
を備える情報処理装置。
（付記２）
前記ガイダンス表示手段は、前記認識手段が前記商品候補を認識できたか否かに応じて、前記ガイダンス画面に表示する内容を切り替える付記１に記載の情報処理装置。
（付記３）
前記ガイダンス表示手段は、前記検出手段が前記商品を検出した時又は前記商品候補表示手段が前記商品候補の表示を開始した時を基点し、当該基点から所定時間が経過したタイミングで、前記ガイダンス画面を表示する付記１又は２に記載の情報処理装置。
（付記４）
前記認識手段は、前記ガイダンス画面の表示に伴い前記認識処理を停止する付記１〜３の何れか一項に記載の情報処理装置。
（付記５）
前記ガイダンス表示手段は、前記認識処理の再開を指示するための操作子を含む前記ガイダンス画面を表示する付記４に記載の情報処理装置。
（付記６）
コンピュータを、
撮像手段が撮像した画像を取り込む取込手段と、
前記取込手段が取り込んだ画像の中から商品を検出する検出手段と、
前記検出手段が検出した前記商品の特徴量と、基準となる基準商品各々の特徴量とを比較し、その類似度が閾値以上の基準商品を商品候補として認識する認識処理を実行する認識手段と、
前記商品候補を選択可能に表示する商品候補表示手段と、
前記認識手段が前記認識処理を実行している間の所定のタイミングで、他の処理への移行を促すガイダンス画面を表示するガイダンス表示手段と、
して機能させるためのプログラム。

１ チェックアウトシステム
１１ ＰＯＳ端末
６１１ 売上登録部
１０１ 商品読取装置
１６１１ 画像取込部
１６１２ 商品検出部
１６１３ 特徴量抽出部
１６１４ 類似度判定部
１６１５ 商品候補表示部
１６１６ ガイダンス表示部
１６１７ 入力受付部
１６１８ 情報出力部
Ｆ１ ＰＬＵファイル
ＳＣ ストアコンピュータ

特開２０１３−８９０８５号公報

Claims (6)

1. 一取引に係る商品が向けられる窓と、
   前記商品を撮像する撮像手段と、
   前記撮像手段が撮像した画像を取り込む取込手段と、
   前記取込手段が取り込んだ画像の中から商品の写り込み領域を検出する検出手段と、
   前記検出手段が検出した前記商品の写り込み領域の特徴量と、基準となる基準商品各々の特徴量とを比較し、その類似度が閾値以上の基準商品を商品候補として認識する認識処理を実行する認識手段と、
   前記商品候補を選択可能に表示する商品候補表示手段と、
   操作者に対するガイダンスメッセージとして、前記選択可能な前記商品候補が表示されていない場合には、前記商品を前記窓にかざして再認識のための操作を行う旨を前記商品候補とともに表示するガイダンス表示手段と、
   を備える情報処理装置。
2. 前記認識手段が実行する前記認識処理を、前記取込手段が取り込んだ画像の中から前記検出手段が前記商品の写り込み領域を検出した所時間経過後に停止させる停止手段を更に備え、
   前記ガイダンス表示手段は、前記停止手段が停止させた前記認識処理の再開を指示するための操作子を表示する請求項１に記載の情報処理装置。
3. 前記検出手段は、前記取込手段が取り込んだ画像に含まれる前記商品の輪郭線を検出する請求項１又は２に記載の情報処理装置。
4. 前記認識手段は、前記商品の写り込み領域から当該商品の表面の状態を前記特徴量として抽出する請求項１〜３の何れか一項に記載の情報処理装置。
5. 客自身が前記窓に商品をかざすセルフチェックアウト装置を構成する請求項１〜４の何れか一項に記載の情報処理装置。
6. 一取引に係る商品が向けられる窓と、前記商品を撮像する撮像手段とを備えた情報処理装置のコンピュータを、
   前記撮像手段が撮像した画像を取り込む取込手段と、
   前記取込手段が取り込んだ画像の中から商品の写り込み領域を検出する検出手段と、
   前記検出手段が検出した前記商品の写り込み領域の特徴量と、基準となる基準商品各々の特徴量とを比較し、その類似度が閾値以上の基準商品を商品候補として認識する認識処理を実行する認識手段と、
   前記商品候補を選択可能に表示する商品候補表示手段と、
   操作者に対するガイダンスメッセージとして、前記選択可能な前記商品候補が表示されていない場合には、前記商品を前記窓にかざして再認識のための操作を行う旨を前記商品候補とともに表示するガイダンス表示手段と、
   して機能させるためのプログラム。

Images