JP5647637B2

JP5647637B2 - 情報処理装置、店舗システム及びプログラム

Info

Publication number: JP5647637B2
Application number: JP2012049325A
Authority: JP
Inventors: 岡村　敦; 敦岡村; 飯坂　仁志; 仁志飯坂; 英浩内藤; 秀彦宮越; 昌秀小川; 広志菅澤
Original assignee: Toshiba TEC Corp
Current assignee: Toshiba TEC Corp
Priority date: 2012-03-06
Filing date: 2012-03-06
Publication date: 2015-01-07
Anticipated expiration: 2032-03-06
Also published as: JP2013186548A

Description

本発明の実施形態は、情報処理装置、店舗システム及びプログラムに関する。

従来、物品を撮像した画像データから対象物の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、物品の種別等を認識（検出）する一般物体認識に係る技術が存在している。また、この一般物体認識に係る技術を、商品等の判別に用いたシステムが提案されている。

ところで、上記した一般物体認識に係る技術では、対象物の候補となる商品が複数個認識される場合がある。このような場合、候補となった商品を操作者に選択させることとなるが、ポップアップなどで不用意に候補となった商品を表示させると、商品の選定をかえって妨げる可能性がある。例えば、操作に慣れた店員の場合は、商品マスタデータによる商品一覧を見慣れていることから、候補となった商品をポップアップなどで表示させた場合よりも、見慣れた商品一覧から選ぶ方がより効率的であった。

上述した課題を解決するために、実施形態の情報処理装置は、撮像手段が撮像した画像を取り込む画像取込手段と、商品マスタデータに登録された各商品について、予め記憶された前記商品の特徴量と、前記撮像手段で撮像された物体の特徴量とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、前記商品マスタデータをもとに、当該商品マスタデータに登録された各商品を分類ごとに切り替えて一覧で示す一覧表及び該一覧表の分類ごとの切り替えを該分類に対応する対応ボタンの選択により行う選択ボタンを表示手段に表示させ、分類の一覧表において前記類似度算出手段で算出された類似度から候補となった商品の表示態様を候補ではない商品と異ならせ、候補となった商品が属す分類の対応ボタンにおいて複数の対応ボタンの表示態様を候補ではない商品が属す対応ボタンと異ならせて表示手段に表示させる表示制御手段と、前記一覧表の中の商品の選択を受け付ける選択受付手段とを備える。

また、実施形態の店舗システムは、撮像手段と、前記撮像手段が撮像した画像を取り込む画像取込手段と、商品マスタデータに登録された各商品について、予め記憶された前記商品の特徴量と、前記撮像手段で撮像された物体の特徴量とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、前記商品マスタデータをもとに、当該商品マスタデータに登録された各商品を分類ごとに切り替えて一覧で示す一覧表及び該一覧表の分類ごとの切り替えを該分類に対応する対応ボタンの選択により行う選択ボタンを表示手段に表示させ、分類の一覧表において前記類似度算出手段で算出された類似度から候補となった商品の表示態様を候補ではない商品と異ならせ、候補となった商品が属す分類の対応ボタンにおいて複数の対応ボタンの表示態様を候補ではない商品が属す対応ボタンと異ならせて表示手段に表示させる表示制御手段と、前記一覧表の中の商品の選択を受け付ける選択受付手段と、前記選択された商品の売上登録処理を行う売上登録処理手段と、を備える。

また、実施形態のプログラムは、コンピュータを、撮像手段が撮像した画像を取り込む画像取込手段と、商品マスタデータに登録された各商品について、予め記憶された前記商品の特徴量と、前記撮像手段で撮像された物体の特徴量とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、前記商品マスタデータをもとに、当該商品マスタデータに登録された各商品を分類ごとに切り替えて一覧で示す一覧表及び該一覧表の分類ごとの切り替えを該分類に対応する対応ボタンの選択により行う選択ボタンを表示手段に表示させ、分類の一覧表において前記類似度算出手段で算出された類似度から候補となった商品の表示態様を候補ではない商品と異ならせ、候補となった商品が属す分類の対応ボタンにおいて複数の対応ボタンの表示態様を候補ではない商品が属す対応ボタンと異ならせて表示手段に表示させる表示制御手段と、前記一覧表の中の商品の選択を受け付ける選択受付手段と、して機能させる。

図１は、実施形態にかかるチェックアウトシステム（店舗システム）の一例を示す斜視図である。図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。図３は、ＰＬＵファイルのデータ構成を例示する概念図である。図４は、ＣＰＵがプログラムを順次実行することで実現される機能構成を示すブロック図である。図５は、本実施形態にかかるチェックアウトシステムの動作の一例を示すフローチャートである。図６は、読取窓における読取領域の例を示す概念図である。図７は、商品選択処理の動作の一例を示すフローチャートである。図８は、分類ごとの商品一覧表の一例を示す概念図である。図９は、選択画面の一例を示す概念図である。図１０は、選択画面の一例を示す概念図である。図１１は、選択画面の一例を示す概念図である。

以下では、チェックアウトシステムを例に本実施形態に係る情報処理装置、店舗システム及びプログラムについて、図面を参照して説明する。店舗システムは、一取引に係る商品の登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。

図１は、実施形態にかかるチェックアウトシステム１（店舗システム）の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、一取引に係る商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。

ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。

カウンタ台１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。

このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。

顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂに移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ｇを撮像する。

商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ｇが、後述するＰＬＵファイルＦ１（図３参照）に登録されたどの商品に対応するかを指定させるための画面を表示・操作部１０４に表示し、指定された商品の商品ＩＤをＰＯＳ端末１１に通知する。ＰＯＳ端末１１では、商品読取装置１０１から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示しない）等に記録して売上登録を行う。

図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。

キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品の各々について、商品を識別するための商品ＩＤ、商品が属する分類（商品分類）、販売価格（単価）、商品の画像等の商品マスタデータが記録されたファイルである。

図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ｇごとに、ユニークに割り当てられた商品ＩＤ、商品Ｇが属する商品分類、商品名、単価等の商品に関する情報と、その商品Ｇを撮像した商品画像と、「類似度：０．ＸＸ」（図示例では「０．５０」）という閾値とを、その商品Ｇのマスタデータとして格納するファイルである。詳細は後述するが、この「類似度：０．ＸＸ」という閾値は、商品Ｇが果物や生鮮品等であり、鮮度が落ち変色した場合等は、予めＰＬＵファイルＦ１に記憶していた商品の商品画像と比較することで、正規の状態とは異なった物品であると判断することが可能となる。なお、ＰＬＵファイルＦ１は、後述する接続インターフェース６５を介し、商品読取装置１０１が読み出し（参照）可能に構成されている。

なお、ＰＬＵファイルＦ１のデータ構成は図３の例に限らず、例えば、商品画像から読み取ることが可能な各商品についての後述する特徴量（色合いや表面の凹凸状況等）を、対応付けて格納する形態としてもよい。

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。

さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。

商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介して、商品読取部１１０及びＰＯＳ端末１１に接続されている。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１、ＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。

撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＯＭＳイメージセンサ等であり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。

音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音等の音声による報知を行う。

さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。

次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現される機能部について、図４を参照して説明する。

図４は、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現される機能構成を示すブロック図である。図４に示すように、商品読取装置１０１のＣＰＵ１６１は、プログラムを順次実行することにより、画像取込部１６１１、商品検出部１６１２、類似度算出部１６１３、商品選択部１６１４、登録商品通知部１６１５としての機能を備える。また、同様に、ＰＯＳ端末１１のＣＰＵ６１は、売上登録部６１１としての機能を備える。

画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。画像取込部１６１１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。

商品検出部１６１２は、画像取込部１６１１により取り込まれたフレーム画像に含まれる商品Ｇの全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線等を抽出する。次いで、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品Ｇの写り込みを検出する。

なお、商品Ｇを検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。

類似度算出部１６１３は、商品読取装置１０１の撮像部１６４により撮像された商品Ｇの全部または一部の画像から、商品Ｇの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。なお、類似度算出部１６１３は、処理時間の短縮を図るため、商品Ｇの輪郭や大きさは考慮しないものとする。

また、類似度算出部１６１３は、ＰＬＵファイルＦ１に登録された各商品（以下、登録商品という）の商品画像から、当該登録商品の色合いや表面の凹凸状況等の表面の状態を特徴量として読み取り、商品Ｇの特徴量とそれぞれ比較することで、商品ＧとＰＬＵファイルＦ１に登録された商品との類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％＝「類似度：１．０」とした場合に、商品Ｇの全部または一部の画像がどの程度類似しているかを示すものである。上述したように、例えば色合いや表面の凹凸状況等の表面の状態に応じて類似度を算出する。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えるようにしてもよい。

また、類似度算出部１６１３は、登録商品の各々について算出した類似度が、当該商品に予め定められた閾値（「類似度：０．ＸＸ」）を超えたか否かを判定し、類似度がこの閾値を超えた登録商品を商品Ｇの候補（以下、商品候補という）として認識（判定）する。なお、ＰＬＵファイルＦ１に各商品画像の特徴量が対応付けて格納されている場合には、ＰＬＵファイルＦ１に格納された特徴量を用いて比較する形態としてもよい。

このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された登録商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

前者の算出方法を用いる場合、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、後者の算出方法を用いる場合、例えば、ＰＬＵファイルＦ１に５つの登録商品（商品ＧＡ、ＧＢ、ＧＣ、ＧＤ、ＧＥ）が登録されていたとすると、撮像された商品Ｇは、商品ＧＡに対して類似度が０．６、商品ＧＢに対しては類似度が０．１、商品ＧＣに対しては類似度が０．１、商品ＧＤに対しては類似度が０．１、商品ＧＥに対しては類似度が０．１等、各登録商品との類似度の総和が１．０（１００％）となるよう算出する。

商品選択部１６１４は、ＰＬＵファイルＦ１をもとに、ＰＬＵファイルＦ１に登録された各商品の一覧表を表示デバイス１０６に表示させる表示制御手段として機能する。また、商品選択部１６１４は、操作者からタッチパネル１０５のタッチ操作を受け付けることで、一覧表の中の商品の選択を受け付ける選択受付手段として機能する。商品選択部１６１４は、選択が受け付けられた商品を売上の登録を行う商品として、その商品を示す情報（例えば、商品ＩＤや商品名等）を登録商品通知部１６１５に出力する。また、商品選択部１６１４は、表示デバイス１０６に表示させる一覧表の中で、類似度算出部１６１３により算出された類似度の高い商品を、他の商品とは別の表示態様で表示させる。なお、商品選択部１６１４が行う一覧表の表示と、商品の選択とに係る商品選択処理の詳細は後述する。

なお、本実施形態では商品候補が単一の登録商品である場合に、その登録商品が商品Ｇであるとして、一覧表の中から商品の選択を行う処理を省略する形態とするが、これに限らず、単一の商品候補を他の商品とは別の表示態様で表示デバイス１０６に表示することで、オペレータへの確認を求める形態としてもよい。また、本実施形態では、商品選択部１６１４は、商品名の一覧表を表示デバイス１０６に表示する形態とするが、他の商品情報の一覧表でもよく、例えば商品名や商品価格等の文字情報のみを表示させてもよく、また、文字情報と商品画像とをあわせて表示させてもよい。

登録商品通知部１６１５は、商品選択部１６１４が指示した登録商品に対応する商品ＩＤを、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数とともにＰＯＳ端末１１に通知する。なお、商品ＩＤの通知は、登録商品通知部１６１５がＰＬＵファイルＦ１から読み出した商品ＩＤを直接通知する形態としてもよいし、商品ＩＤを特定することが可能な商品画像のファイル名や商品名を通知する形態としてもよいし、その商品ＩＤの格納場所（ＰＬＵファイルＦ１での格納アドレス）をＰＯＳ端末１１に通知する形態としてもよい。

売上登録部６１１は、登録商品通知部１６１５により通知された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部６１１は、ＰＬＵファイルＦ１を参照して、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。

次に、チェックアウトシステム１の動作について詳細に説明する。図５は、本実施形態にかかるチェックアウトシステム１の動作の一例を示すフローチャートである。

先ず、商品読取装置１０１側の動作について説明する。図５に示すように、ＰＯＳ端末１１による商品登録の開始等に応じて処理が開始されると、画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（Ｓ１１）。

次いで、画像取込部１６１１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（画像データ）を取り込む（Ｓ１２）。次いで、商品検出部１６１２は、画像取込部１６１１が取り込んだフレーム画像から商品Ｇの全部または一部の検出を行う（Ｓ１３）。次いで、類似度算出部１６１３は、商品Ｇの全部または一部の画像から商品Ｇの特徴量を読み取り、ＰＬＵファイルＦ１に登録された各商品画像の特徴量と比較することで類似度を算出する（Ｓ１４）。

次いで、類似度算出部１６１３は、登録商品の各々について算出した類似度が、当該商品に予め定められた閾値（「類似度：０．ＸＸ」）を超えたか否かを判定し、類似度がこの閾値を超えた登録商品を商品Ｇの商品候補として抽出する（Ｓ１５）。

図６は、読取窓１０３における読取領域Ｒの例を示す概念図である。具体的には、図６は商品Ｇを読み取る際の読取領域Ｒを例示する概念図である。図６に示すように、操作者（店員）の手Ｈによる商品Ｇの移動過程において、読取領域Ｒに商品Ｇが映り込んだ場合は、その読取領域Ｒを撮像したフレーム画像からＳ１３で商品Ｇの全部または一部が検出される。この商品Ｇの全部または一部の検出により、Ｓ１４では商品Ｇの認識が行われることとなる。

次いで、商品選択部１６１４は、Ｓ１５で認識された商品候補（登録商品）の個数が複数か否かを判定する（Ｓ１６）。ここで、商品候補とされた登録商品の個数が一つと判定した場合（Ｓ１６：Ｎｏ）、商品選択部１６１４は、この登録商品が商品Ｇに対応すると判断する。そして、商品選択部１６１４は、この登録商品を指示する情報を別途入力された販売個数とともに登録商品通知部１６１５に出力し、Ｓ１８に移行する。

一方、商品候補（登録商品）の個数が複数と判定した場合（Ｓ１６：Ｙｅｓ）、商品選択部１６１４は、Ｓ１７の商品選択処理に移行する。ここで、Ｓ１７の商品選択処理の動作について説明する。

図７は、商品選択処理の動作の一例を示すフローチャートである。図７に示すように、商品選択処理が開始されると、商品選択部１６１４は、商品候補となった商品のデータ（商品ＩＤ、商品分類、商品名、単価、商品画像等）をＰＬＵファイルＦ１から読み出す（Ｓ１７１）。次いで、商品選択部１６１４は、商品候補となった商品が属する分類をもとに、一覧表示する商品の分類を決定する（Ｓ１７２）。

具体的には、商品選択部１６１４は、商品候補となった商品が属する分類を、一覧表示する商品の分類とする。なお、商品候補となった各商品の分類が互いに異なる場合は、商品候補となった商品数の多い分類を、一覧表示する商品の分類としてよい。

次いで、商品選択部１６１４は、商品候補となった商品の選択画面を表示デバイス１０６に表示させ、操作者からタッチパネル１０５のタッチ操作を受け付けることで、選択画面に表示した一覧表の中の商品の選択を受け付ける（Ｓ１７３）。具体的には、商品選択部１６１４は、ＰＬＵファイルＦ１をもとに、ＰＬＵファイルＦ１に登録された各商品の分類ごとに作成された一覧表の中から、一覧表示する商品の分類として決定された一覧表を選択画面に表示させる。そして、商品選択部１６１４は、選択画面に表示させる一覧表の中で類似度算出部１６１３により算出された類似度の高い商品、すなわち商品候補となった商品を、他の商品とは別の表示態様で表示させる。

図８は、分類ごとの商品一覧表Ｔ１、Ｔ２、Ｔ３の一例を示す概念図である。図８に示すように、商品一覧表Ｔ１、Ｔ２、Ｔ３は、ＰＬＵファイルＦ１に登録された各商品の分類（例えば「野菜」、「お肉」、「果物」等）ごとに、ＰＬＵファイルＦ１に登録された商品を商品ＩＤ順、商品名の五十音順、単価の高い順などの所定の条件で縦横に並べたものである。この、商品一覧表Ｔ１、Ｔ２、Ｔ３は、ＰＬＵファイルＦ１に登録された各商品を更新した際に作成し、ＨＤＤ６４に予め記憶しておいてもよいし、選択画面を表示する際にＰＬＵファイルＦ１を読み出して作成してもよい。

図９は、選択画面Ｇ１０の一例を示す概念図である。図９に示すように、Ｓ１７３では、一覧表示する商品の分類として決定された商品一覧表Ｔ１を選択画面Ｇ１０に表示させる。ここで、商品一覧表Ｔ１に表示される商品の中で、商品候補となった商品Ｔ１１、Ｔ１２、Ｔ１３については、網掛け表示により他の商品とは異なる表示態様とする。

このように、商品候補となった商品Ｔ１１、Ｔ１２、Ｔ１３の表示態様を他の商品とは異なる表示態様とすることで、商品Ｔ１１、Ｔ１２、Ｔ１３を判別しやすくしている。また、ＰＬＵファイルＦ１に変更がない限りは商品一覧表Ｔ１、Ｔ２、Ｔ３における商品の並び順に変更がないことから、習熟した店員においては商品一覧表Ｔ１、Ｔ２、Ｔ３における商品の並び順は見慣れたものとなる。したがって、習熟した店員は、表示態様の異なる商品Ｔ１１、Ｔ１２、Ｔ１３の位置から、直感的に商品候補となった商品Ｔ１１、Ｔ１２、Ｔ１３を識別することができ、商品選択を効率的に行うことができる。

また、選択画面Ｇ１０には、商品の分類ごとの商品一覧表Ｔ１、Ｔ２、Ｔ３を切り替える選択ボタンＢが表示される。選択ボタンＢは、商品候補となった商品が属する分類に対応した選択ボタンＢ１１、Ｂ１２が他の分類の選択ボタンとは異なる表示態様として網掛け表示される。このように、商品候補となった商品が属する分類に対応した選択ボタンＢ１１、選択ボタンＢ１２の表示態様を他の分類とは異なる表示態様とすることで、商品候補となった商品が属する分類の一覧表を判別しやすくしている。

なお、商品選択部１６１４は、上述した商品Ｔ１１、１２、１３、選択ボタンＢ１１、Ｂ１２における表示態様を互いに異ならせてもよい。例えば、商品選択部１６１４は、商品Ｔ１１、Ｔ１２、Ｔ１３について、類似度算出部１６１３により算出された類似度の高い順に網掛け表示の濃さを変化させてもよい。このように、商品候補となっている商品Ｔ１１、Ｔ１２、Ｔ１３について、類似度の高い順に網掛け表示の濃さを変化させることで、類似度算出部１６１３により類似度が高く算出された商品を分り易くすることができる。同様に、商品選択部１６１４は、選択ボタンＢ１１、Ｂ１２について、商品候補となった商品数の多い順に高い順に網掛け表示の濃さを変化させてもよい。

図１０は、選択画面Ｇ２０の一例を示す概念図である。図１０に示すように、商品選択部１６１４は、囲み線表示で表示態様を異ならせてもよい。具体的には、商品Ｔ１１、Ｔ１２、Ｔ１３、選択ボタンＢ１１、Ｂ１２の枠を囲んで表示する線の線種を、他の商品、選択ボタンと異ならせてもよい（図示例では太線）。また、商品Ｔ１１、１２、１３、選択ボタンＢ１１、Ｂ１２における線種は、類似度の高い順、商品候補となった商品数の多い順に太くして互いに異ならせてもよい。また、商品Ｔ１１、Ｔ１２、Ｔ１３、選択ボタンＢ１１、Ｂ１２の枠を囲んで表示する線の色を、他の商品、選択ボタンと異ならせてもよい。一般物体認識では、認識対象の商品Ｇの写り方・角度により、登録されている商品と商品Ｇとの類似度が変化するため、認識精度が十分でないことがある。したがって、上述したように複数の商品候補を提示させて、操作者の確認を行うことが、一般物体認識を用いて正確な商品登録を行う際に有効である。

図１１は、選択画面Ｇ３０の一例を示す概念図である。図１１に示すように、商品選択部１６１４は、アイコン画像を付与して表示態様を異ならせてもよい。具体的には、商品選択部１６１４は、商品Ｔ１１、Ｔ１２、Ｔ１３に対応した位置に、商品Ｔ１１、Ｔ１２、Ｔ１３のアイコン画像Ｇ３１、Ｇ３２、Ｇ３３を表示させる。このアイコン画像Ｇ３１、Ｇ３２、Ｇ３３は、商品Ｔ１１、Ｔ１２、Ｔ１３に対応する商品画像をＰＬＵファイルＦ１より読み出して作成したものであってよい。また、商品選択部１６１４は、選択ボタンＢ１１、Ｂ１２に対応した位置に、選択ボタンＢ１１、Ｂ１２の分類に対応したアイコン画像Ｇ４１、Ｇ４２を表示させる。このアイコン画像Ｇ４１、Ｇ４２は、分類に属する商品の中から象徴的な商品の商品画像をもとに予め作成したものであってもよいし、分類に属する商品の商品画像をＰＬＵファイルＦ１よりランダムに読み出して作成したものであってもよい。

Ｓ１７３に次いで、商品選択部１６１４は、選択ボタンＢの選択操作による分類の変更の有無を判定する（Ｓ１７４）。選択ボタンＢの選択操作により分類の変更がある場合（Ｓ１７４：ＹＥＳ）、商品選択部１６１４は、Ｓ１７２に処理を戻し、選択ボタンＢの選択操作により選択された分類を一覧表示する商品の分類として決定し、選択画面を表示させることとなる。

選択ボタンＢの選択操作による分類の変更がない場合（Ｓ１７４：ＮＯ）、商品選択部１６１４は、タッチパネル１０５のタッチ操作により一覧表に表示された商品の選択が行われたか否かを判定する（Ｓ１７５）。商品の選択が行われていない場合（Ｓ１７５：ＮＯ）、商品選択部１６１４はＳ１７４へ処理を戻す。商品の選択が行われた場合（Ｓ１７５：ＹＥＳ）、商品選択部１６１４は、選択された商品を売上登録する商品として（Ｓ１７６）、処理を終了する。

図５に戻り、登録商品通知部１６１５は、商品選択部１６１４から指示された売上登録する商品に対応する商品ＩＤを、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数とともにＰＯＳ端末１１に通知する（Ｓ１８）。ここで、販売個数の入力は、タッチパネル１０５や表示・操作部１０４を介して行われるものとするが、その入力方法は特に問わず、例えば表示デバイス１０６に表示された商品画像に対するタッチ回数を販売個数としてもよい。

次いで、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知等による業務終了の有無を判定する（Ｓ１９）。業務を継続する場合（Ｓ１９：Ｎｏ）、ＣＰＵ１６１は、Ｓ１２へ処理を戻して処理を継続させる。業務を終了する場合（Ｓ１９：Ｙｅｓ）、画像取込部１６１１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（Ｓ２０）、処理を終了する。

次に、ＰＯＳ端末１１側の動作について説明する。図５に示すように、キーボード２２の操作指示による商品登録の開始等に応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１から通知された、商品Ｇの商品ＩＤとその販売個数とを受信する（Ｓ３１）。

次いで、売上登録部６１１は、Ｓ３１で受信した商品ＩＤ及び販売個数に基づいて、ＰＬＵファイルＦ１から商品種別や単価等を読み出し、商品読取装置１０１で読み取られた商品Ｇの売上を登録する（Ｓ３２）。

続いて、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了等による業務終了の有無を判定する（Ｓ３３）。業務を継続する場合（Ｓ３３：Ｎｏ）、ＣＰＵ６１は、Ｓ３１へ再び戻り処理を継続させる。業務を終了する場合（Ｓ３３：Ｙｅｓ）、ＣＰＵ６１は処理を終了する。

以上のように、情報処理装置としての商品読取装置１０１では、撮像部１６４が撮像した画像を取り込み、ＰＬＵファイルＦ１に登録された各商品について、予め記憶された商品の特徴量と、撮像部１６４で撮像された物体の特徴量とが、どの程度類似しているかを示す類似度を類似度算出部１６１３で算出する。商品読取装置１０１の商品選択部１６１４では、ＰＬＵファイルＦ１をもとに、ＰＬＵファイルＦ１に登録された各商品の一覧表を表示デバイス１０６に表示させ、一覧表の中で類似度の高い商品の表示態様を、他の商品と異ならせて表示させる。また、商品選択部１６１４では、一覧表の中の商品の選択をタッチパネル１０５で受け付ける。したがって、習熟した店員（操作者）は、見慣れた一覧表の中の表示態様が異なる商品の位置から直感的に類似度の高い商品を識別することができ、撮像された物体に対応する商品の選定を、より効率的に行うことができる。

なお、本実施形態の各装置で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態の各装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態の各装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の各装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、ＰＬＵファイルＦ１のマスタデータは、ＰＯＳ端末１１に記憶される以外に、商品読取装置１０１が記憶してもよく、また、通信可能なサーバ装置上に記憶されてもよい。

本実施形態の各装置で実行されるプログラムは、上述した機能構成を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記機能構成が主記憶装置上にロードされ、主記憶装置上に生成されるようになっている。

１…チェックアウトシステム、１１…ＰＯＳ端末、２１…ドロワ、２２…キーボード、２２ｄ…テンキー、２２ｅ…仮締めキー、２２ｆ…締めキー、２３…表示デバイス、２３ａ…表示面、２４…顧客用表示デバイス、２４ａ…表示面、２５…通信インターフェース、２６…タッチパネル、５１…チェックアウト台、６０…マイクロコンピュータ、６１…ＣＰＵ、６２…ＲＯＭ、６３…ＲＡＭ、６４…ＨＤＤ、６５…接続インターフェース、６６…プリンタ、１０１…商品読取装置、１０２…ハウジング、１０３…読取窓、１０４…表示・操作部、１０５…タッチパネル、１０６…表示デバイス、１０７…キーボード、１０８…カード読取溝、１０９…顧客用表示デバイス、１１０…商品読取部、１５１…カウンタ台、１５２…荷受面、１５３…買物カゴ、１５３ａ…第１の買物カゴ、１５３ｂ…第２の買物カゴ、１６０…マイクロコンピュータ、１６１…ＣＰＵ、１６２…ＲＯＭ、１６３…ＲＡＭ、１６４…撮像部、１６５…音声出力部、１７５、１７６…接続インターフェース、６１１…売上登録部、１６１１…画像取込部、１６１２…商品検出部、１６１３…類似度算出部、１６１４…商品選択部、１６１５…登録商品通知部、Ｂ、Ｂ１１，Ｂ１２…選択ボタン、Ｆ１…ＰＬＵファイル、Ｇ…商品、Ｇ１０〜Ｇ３０…選択画面、Ｇ３１〜Ｇ４２…アイコン画像、Ｈ…手、ＰＲ…プログラム、Ｒ…読取領域、ＳＣ…ストアコンピュータ、Ｔ１〜Ｔ３…商品一覧表、Ｔ１１〜Ｔ１３…商品

特開２００７−２２５７９３号公報

Claims

撮像手段が撮像した画像を取り込む画像取込手段と、
商品マスタデータに登録された各商品について、予め記憶された前記商品の特徴量と、前記撮像手段で撮像された物体の特徴量とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、
前記商品マスタデータをもとに、当該商品マスタデータに登録された各商品を分類ごとに切り替えて一覧で示す一覧表及び該一覧表の分類ごとの切り替えを該分類に対応する対応ボタンの選択により行う選択ボタンを表示手段に表示させ、分類の一覧表において前記類似度算出手段で算出された類似度から候補となった商品の表示態様を候補ではない商品と異ならせ、候補となった商品が属す分類の対応ボタンにおいて複数の対応ボタンの表示態様を候補ではない商品が属す対応ボタンと異ならせて表示手段に表示させる表示制御手段と、
前記一覧表の中の商品の選択を受け付ける選択受付手段と、
を備える情報処理装置。
前記表示制御手段は、前記一覧表の中の商品への網掛け表示、囲み線表示及びアイコン画像表示の少なくとも１つで前記表示態様を異ならせる、
請求項１に記載の情報処理装置。
前記表示制御手段は、前記一覧表の中で所定の閾値よりも類似度の高い商品が複数ある場合、当該複数の商品の表示態様を類似度ごとに異ならせる、
請求項１又は２に記載の情報処理装置。
前記表示制御手段は、前記商品マスタデータに登録された各商品の分類ごとの一覧表の中で、前記類似度の高い商品が属する分類の一覧表を表示させる、
請求項１乃至３のいずれか一項に記載の情報処理装置。
撮像手段と、
前記撮像手段が撮像した画像を取り込む画像取込手段と、
商品マスタデータに登録された各商品について、予め記憶された前記商品の特徴量と、前記撮像手段で撮像された物体の特徴量とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、
前記商品マスタデータをもとに、当該商品マスタデータに登録された各商品を分類ごとに切り替えて一覧で示す一覧表及び該一覧表の分類ごとの切り替えを該分類に対応する対応ボタンの選択により行う選択ボタンを表示手段に表示させ、分類の一覧表において前記類似度算出手段で算出された類似度から候補となった商品の表示態様を候補ではない商品と異ならせ、候補となった商品が属す分類の対応ボタンにおいて複数の対応ボタンの表示態様を候補ではない商品が属す対応ボタンと異ならせて表示手段に表示させる表示制御手段と、
前記一覧表の中の商品の選択を受け付ける選択受付手段と、
前記選択された商品の売上登録処理を行う売上登録処理手段と、
を備える店舗システム。
コンピュータを、
撮像手段が撮像した画像を取り込む画像取込手段と、
商品マスタデータに登録された各商品について、予め記憶された前記商品の特徴量と、前記撮像手段で撮像された物体の特徴量とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、
前記商品マスタデータをもとに、当該商品マスタデータに登録された各商品を分類ごとに切り替えて一覧で示す一覧表及び該一覧表の分類ごとの切り替えを該分類に対応する対応ボタンの選択により行う選択ボタンを表示手段に表示させ、分類の一覧表において前記類似度算出手段で算出された類似度から候補となった商品の表示態様を候補ではない商品と異ならせ、候補となった商品が属す分類の対応ボタンにおいて複数の対応ボタンの表示態様を候補ではない商品が属す対応ボタンと異ならせて表示手段に表示させる表示制御手段と、
前記一覧表の中の商品の選択を受け付ける選択受付手段と、
して機能させるためのプログラム。