JP5551143B2 - 店舗システムおよびプログラム - Google Patents

Description

本発明の実施形態は、店舗システムおよびプログラムに関する。

従来、物品を撮像した画像データから当該物品の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、当該物品の種別等を認識（検出）する一般物体認識に係る技術が存在している。また、この一般物体認識に係る技術を、飲食物等の種別判別に用いたシステムが提案されている。

ところで、上記した一般物体認識に係る技術では、物品の候補となる商品が複数個認識される場合がある。このような場合、候補となった商品を操作者に選択させることとなるが、不用意に一覧表示させると商品の選定をかえって妨げる可能性がある。そのため、商品の選定をより効率的に行うための技術が要求されている。

実施形態の店舗システムは、撮像手段と、表示制御手段と、登録手段と、を備える。前記撮像手段は、所定のフレームレートで撮像を行う。前記表示制御手段は、前記撮像手段の撮像により取得された撮像画像に含まれる物体画像と基準画像との類似度に基づいて、当該類似度が高い基準画像に対応する商品の商品情報から順に、登録処理を実行する商品を選択するための商品情報として表示手段に表示させる。前記登録手段は、前記表示手段に表示された商品情報の中から選択された商品情報に対応する商品の登録処理を実行する。また、前記表示制御手段は、最後に取得された前記撮像画像が含む物体画像との類似度が高い基準画像に対応する商品の商品情報と、前回取得した前記撮像画像に含まれる物体画像との類似度が高い基準画像に対応する商品情報とが同一である場合、当該商品情報を、前記撮像画像を前回取得した際に表示した表示位置と略同じ表示位置に表示させる。

図１は、チェックアウトシステムの一例を示す斜視図である。 図２は、ＰＯＳ端末および商品読取装置のハードウェア構成を示すブロック図である。 図３は、ＰＬＵファイルのデータ構成を例示する概念図である。 図４は、ＰＯＳ端末および商品読取装置の機能構成を示すブロック図である。 図５は、本実施形態にかかるチェックアウトシステムの動作の一例を示すフローチャートである。 図６は、読取窓における読取領域の例を示す概念図である。 図７は、商品候補提示処理の動作の一例を示すフローチャートである。 図８は、フレーム画像に対応付けて商品画像を記憶する商品画像テーブルの一例を示す図である。 図９は、商品画像毎の合計点数を画像群毎に記憶する商品画像重みテーブルの一例を示す図である。 図１０は、類似度が高い商品画像の選択結果の一例を示す図である。 図１１は、選択された商品画像の表示位置の決定結果を記憶する表示位置テーブルの一例を示す図である。 図１２は、選択された商品画像の表示サイズの決定結果の一例を示す図である。 図１３は、商品候補提示処理を説明するための図である。 図１４は、商品候補提示処理により商品名を商品情報として表示する例を説明するための図である。

以下では、チェックアウトシステムを例に本実施形態に係る店舗システム及びプログラムについて、図面を参照して説明する。店舗システムは、一取引に係る商品の登録、精算を行うＰＯＳ（Point Of Sales）端末を備えるチェックアウトシステム（ＰＯＳシステム）等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。

図１は、チェックアウトシステムの一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、一取引に係る商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。

ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受け面１５２が形成されている。荷受け面１５２には、商品Ｘを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。

カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。

このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。

顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｘが収納されている。第１の買物カゴ１５３ａ内の商品Ｘは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂに移動される。この移動過程で、商品Ｘが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ｘを撮像する。

商品読取装置１０１では、撮像部１６４（図２参照）により撮像された画像に含まれる商品Ｘが、後述するＰＬＵファイルＦ１（図３参照）に登録されたどの商品に対応するかを指定させるための画面を表示・操作部１０４に表示し、指定された商品の商品ＩＤをＰＯＳ端末１１に通知する。ＰＯＳ端末１１では、商品読取装置１０１から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示しない）等に記録して売上登録を行う。

図２は、ＰＯＳ端末および商品読取装置のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。

キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、および締めキー２２ｆを含む。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ｘの各々について、商品Ｘの売上登録にかかる情報と、その商品Ｘの画像との関連付けが設定された商品ファイルである。

図３は、ＰＬＵファイルのデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ｘごとに、ユニークに割り当てられた商品ＩＤ、商品Ｘが属する商品分類、商品名、単価等の商品に関する情報と、その商品を撮像した商品画像と、「類似度：0.XX」という閾値とを、その商品Ｘの商品情報として格納するファイルである。詳細は後述するが、この「類似度：0.XX」という閾値は、商品Ｘが果物や生鮮品等であり、鮮度が落ち変色した場合等は、予めＰＬＵファイルＦ１に記憶していた商品の商品画像と比較することで、正規の状態とは異なった物品であると判断することが可能となる。なお、ＰＬＵファイルＦ１は、後述する接続インターフェース６５を介し、商品読取装置１０１が読み出し（参照）可能に構成されている。

なお、ＰＬＵファイルＦ１のデータ構成は図３の例に限らず、例えば、商品画像から読み取ることが可能な各商品についての後述する特徴量（色合いや表面の凹凸状況等）を、対応付けて格納する形態としてもよい。

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。

さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。

商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介して、商品読取部１１０およびＰＯＳ端末１１に接続されている。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１、ＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。

撮像部１６４は、カラーＣＣＤ（Charged Coupled Device）イメージセンサやカラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等であり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では、所定のフレームレート（例えば、１秒間に５０フレーム）で撮像を行い、フレーム画像を取得する。そして、撮像部１６４は、所定のフレームレートで順次撮像して取得したフレーム画像（撮像画像）を、ＲＡＭ１６３に保存する。

音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音等の音声による報知を行う。

さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。

次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能部について、図４を参照して説明する。

図４は、ＰＯＳ端末および商品読取装置の機能構成を示すブロック図である。図４に示すように、商品読取装置１０１のＣＰＵ１６１は、プログラムを順次実行することにより、画像取込部１６１１、商品検出部１６１２、類似度算出部１６１３、商品候補提示部１６１４、登録商品通知部１６１５としての機能を備える。また、同様に、ＰＯＳ端末１１のＣＰＵ６１は、売上登録部６１１としての機能を備える。

画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部１６１１は、撮像動作開始後に撮像部１６４が取得してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。画像取込部１６１１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。

商品検出部１６１２は、画像取込部１６１１により取り込まれたフレーム画像に含まれる商品Ｘの全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、商品検出部１６１２は、取り込まれたフレーム画像を２値化した画像から輪郭線等を抽出する。次いで、商品検出部１６１２は、直近のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変更があった部分、すなわち、売上登録のために読取窓１０３に向けられた商品の写り込みを検出する。

なお、商品Ｘを検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手の写り込みが検出された場合は、上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、店員の手が商品を把持していることから、商品の写り込みを検出する。

類似度算出部１６１３は、画像取込部１６１１によって取り込まれたフレーム画像毎に、撮像部１６４により撮像された商品Ｘの全部または一部の画像から、商品Ｘの色合いや表面の凹凸状況等の表面の状態を特徴量として読み取る。なお、類似度算出部１６１３は、処理時間の短縮を図るため、商品Ｘの輪郭や大きさは考慮しないものとする。

また、類似度算出部１６１３は、ＰＬＵファイルＦ１に登録された各商品（以下、登録商品という）の商品画像（基準画像）から、当該登録商品の色合いや表面の凹凸状況等の表面の状態を特徴量として読み取り、撮像部１６４により取得されたフレーム画像に含まれる商品Ｘの特徴量とそれぞれ比較することで、撮像部１６４により取得されたフレーム画像に含まれる商品ＸとＰＬＵファイルＦ１に登録された商品画像との類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％＝「類似度：1.0」とした場合に、商品Ｘの全部または一部の画像がどの程度類似しているかを示すものである。上述したように、例えば色合いや表面の凹凸状況等の表面の状態に応じて類似度を算出する。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えるようにしてもよい。

また、類似度算出部１６１３は、登録商品の各々について算出した類似度が、当該登録商品に予め定められた閾値（「類似度：0.XX」）を超えたか否かを判定し、類似度がこの閾値を超えた登録商品を商品Ｘの候補（以下、商品候補という）として認識（判定）する。なお、ＰＬＵファイルＦ１に各商品画像の特徴量が対応付けて格納されている場合には、ＰＬＵファイルＦ１に格納された特徴量を用いて比較する形態としてもよい。

このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、取得されたフレーム画像に含まれる商品Ｘの画像と、ＰＬＵファイルＦ１に登録された登録商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、取得されたフレーム画像に含まれる商品Ｘの画像と、ＰＬＵファイルＦ１に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

前者の算出方法を用いる場合、取得された商品Ｘの画像と、ＰＬＵファイルＦ１に登録された各登録商品の商品画像とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、後者の算出方法を用いる場合、例えば、ＰＬＵファイルＦ１に５つの登録商品（商品ＸＡ、ＸＢ、ＸＣ、ＸＤ、ＸＥ）が登録されていたとすると、取得された商品Ｘは、商品ＸＡに対して類似度が０．６、商品ＸＢに対しては類似度が０．１、商品ＸＣに対しては類似度が０．１、商品ＸＤに対しては類似度が０．１、商品ＸＥに対しては類似度が０．１等、各登録商品との類似度の総和が１．０（１００％）となるよう算出する。

ところで、類似度算出部１６１３での認識の結果、撮像部１６４によって同一の商品Ｘを撮像して取得されたフレーム画像を用いて、類似度を算出しているにも関わらず、撮像部１６４によって商品Ｘが撮像された際の角度等の撮像条件が異なるために、フレーム画像毎に異なる商品候補が認識される場合がある。そこで、商品候補提示部１６１４は、画像取込部１６１１によって最後に取り込んだフレーム画像および当該最後に取り込んだフレーム画像の前に取り込んだフレーム画像に含まれる商品Ｘ（物体）の画像と登録商品の商品画像との類似度に基づいて、類似度が高い登録商品の商品画像（商品情報）をＰＬＵファイルＦ１から読み出し、類似度算出部１６１３が算出した類似度が高いものから、所定の個数ずつ表示デバイス１０６に順次表示させる。なお、商品画像の表示に関わる処理の詳細については後述する。

また、商品候補提示部１６１４は、表示デバイス１０６に表示された商品画像の中から一の商品画像の選択を、タッチパネル１０５を介して受け付けると、この選択された商品画像の登録商品が、商品Ｘに対応すると判断する。そして、商品候補提示部１６１４は、この登録商品を指示する情報（例えば、商品ＩＤや商品名、選択された商品画像の画像ファイル名等）を登録商品通知部１６１５に出力する。

なお、本実施形態では、商品候補提示部１６１４は、商品画像を表示デバイス１０６に表示する形態とするが、他の商品情報を表示してもよく、例えば商品名や商品価格等の文字情報のみを表示させてもよく、また、文字情報と商品画像とをあわせて表示させてもよい。

登録商品通知部１６１５は、商品候補提示部１６１４が指示した登録商品に対応する商品ＩＤを、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数とともにＰＯＳ端末１１に通知する。なお、商品ＩＤの通知は、登録商品通知部１６１５がＰＬＵファイルＦ１から読み出した商品ＩＤを直接通知する形態としてもよいし、商品ＩＤを特定することが可能な商品画像の画像ファイル名や商品名を通知する形態としてもよいし、その商品ＩＤの格納場所（ＰＬＵファイルＦ１での格納アドレス）をＰＯＳ端末１１に通知する形態としてもよい。

売上登録部６１１は、登録商品通知部１６１５により通知された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部６１１は、ＰＬＵファイルＦ１を参照して、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。

次に、チェックアウトシステム１の動作について詳細に説明する。図５は、本実施形態にかかるチェックアウトシステムの動作の一例を示すフローチャートである。

先ず、商品読取装置１０１側の動作について説明する。図５に示すように、ＰＯＳ端末１１による商品登録の開始等に応じて処理が開始されると、画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（ステップＳ１１）。

画像取込部１６１１は、撮像部１６４が取得してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ１２）。次いで、商品検出部１６１２は、画像取込部１６１１が取り込んだフレーム画像から商品Ｘの全部または一部の検出を行う（ステップＳ１３）。続いて、類似度算出部１６１３は、検出した商品Ｘの全部または一部の画像から商品Ｘの特徴量を読み取り、ＰＬＵファイルＦ１に登録された各登録商品の商品画像の特徴量と比較することで類似度を算出する（ステップＳ１４）。

次いで、類似度算出部１６１３は、登録商品の各々について算出した類似度が、当該登録商品に予め定められた閾値（「類似度：0.XX」）を超えたか否かを判定し、類似度がこの閾値を超えた登録商品を商品Ｘの商品候補として抽出する（ステップＳ１５）。

図６は、読取窓における読取領域の例を示す概念図である。具体的には、図６は商品Ｘを読み取る際の読取領域Ｒを例示する概念図である。図６に示すように、前述した商品Ｘの移動過程において読取領域Ｒに商品Ｘが映り込んだ場合は、その読取領域Ｒを撮像したフレーム画像からステップＳ１３で商品Ｘの全部または一部が検出される。この商品Ｘの全部または一部の検出により、ステップＳ１４では商品Ｘの認識が行われることとなる。

商品Ｘの商品候補が抽出されると、商品候補提示部１６１４は、ステップＳ１７の商品候補提示処理に移行する。以下、図７を参照して、ステップＳ１７の商品候補提示処理の動作について説明する。

図７は、商品候補提示処理の動作の一例を示すフローチャートである。まず、商品候補提示部１６１４は、商品候補となった各登録商品の商品画像をＰＬＵファイルＦ１から読み出す（ステップＳ１７１１）。次いで、商品候補提示部１６１４は、読み出した商品画像を、ステップＳ１４で算出された類似度の高い順にソートする（ステップＳ１７１２）。続いて、商品候補提示部１６１４は、読み出した商品画像の中から、類似度の高いものから予め定められた個数の商品画像を選択する。そして、商品候補提示部１６１４は、選択した商品画像を、商品候補を抽出したフレーム画像に対応付けて、商品読取装置１０１のＲＡＭ１６３等の記憶手段に記憶させる（ステップＳ１７１３）。

図８は、フレーム画像に対応付けて商品画像を記憶する商品画像テーブルの一例を示す図である。商品画像テーブルＴ１は、図８に示すように、商品候補となった各登録商品の商品画像のうち、類似度が高い１〜３番目の商品画像を、商品候補を抽出したフレーム画像と対応付けて当該フレーム画像が取り込まれた順に並べて記憶する。

次に、商品候補提示部１６１４は、商品画像テーブルＴ１から、画像取込部１６１１により最後に取り込まれたフレーム画像および当該フレーム画像が取り込まれる前の所定フレーム数（所定時間）内に取り込まれたフレーム画像（以下、画像群とする）と対応付けて記憶された類似度が高い商品画像（例えば、類似度が高い１〜３番目の商品画像）を読み出す（ステップＳ１７１４）。

そして、商品候補提示部１６１４は、ステップＳ１７１４で読み出した商品画像に対して、当該商品画像の類似度の順位に応じた重み付けを行う（ステップＳ１７１５）。本実施形態では、商品候補提示部１６１４は、画像群に含まれる各フレーム画像と対応付けて記憶された商品画像に対して、類似度の順位が高くなるに従い高い点数を付与する。次いで、商品候補提示部１６１４は、各フレーム画像と対応付けて記憶された商品画像に対して付与した点数を、同一の商品画像毎に合計した合計点数を算出する。これにより、商品候補提示部１６１４は、ステップＳ１７１４で読み出した商品画像に対する重み付けを行うものとする。そして、商品候補提示部１６１４は、算出した同一の商品画像毎の合計点数を、画像群毎に、商品読取装置１０１のＲＡＭ１６３に記憶させる。

図９は、商品画像毎の合計点数を画像群毎に記憶する商品画像重みテーブルの一例を示す図である。商品画像重みテーブルＴ２は、画像群毎に、算出した商品画像毎の合計点数を記憶する。一例として、最後に取り込まれたフレーム画像がフレーム画像４である場合、商品候補提示部１６１４は、商品画像テーブルＴ１から、フレーム画像４および当該フレーム画像４が取り込まれてから所定フレーム数（３フレーム）内に取り込まれたフレーム画像１〜３と対応付けて記憶された類似度が高い１〜３番目の商品画像Ａ〜Ｅを読み出す。次いで、商品候補提示部１６１４は、フレーム画像４と対応付けて記憶された類似度が高い１〜３番目の商品画像Ａ、Ｄ、Ｅのうち、類似度が１番目に高い商品画像Ａに対して１０点を付与し、類似度が２番目に高い商品画像Ｄに対して７点を付与し、類似度が３番目に高い商品画像Ｅに対して３点を付与する。商品候補提示部１６１４は、フレーム画像１〜３と対応付けて記憶された商品画像Ａ〜Ｅについても同様にして点数を付与する。次いで、商品候補提示部１６１４は、各フレーム画像１〜４と対応付けて記憶された類似度が高い１〜３番目の商品画像Ａ〜Ｅに対して付与した点数を、同一の商品画像毎に合計した合計点数（商品画像Ａの合計点数：３３点、商品画像Ｂの合計点数：１７点、商品画像Ｃの合計点数：１０点、商品画像Ｄの合計点数：１４点、商品画像Ｅの合計点数：６点、商品画像Ｆ〜Ｈの合計点数：０点）を算出する。そして、商品候補提示部１６１４は、算出した同一の商品画像毎の合計点数を、画像群１〜４毎に商品画像重みテーブルＴ２に記憶させる。

次に、商品候補提示部１６１４は、商品画像重みテーブルＴ２において最後に取り込まれたフレーム画像を含む画像群と対応付けて合計点数が記憶された商品画像のうち、合計点数が高い予め定められた個数（例えば、３つ）の商品画像を選択する（ステップＳ１７１６）。これにより、商品候補提示部１６１４は、画像群に含まれる商品Ｘの画像と商品画像との類似度に基づいて、当該類似度が高い商品画像を選択する。

図１０は、類似度が高い商品画像の選択結果の一例を示す図である。一例として、最後に取り込まれたフレーム画像がフレーム画像４である場合、商品候補提示部１６１４は、商品画像重みテーブルＴ２から、最後に取り込まれたフレーム画像４を含む画像群１〜４と対応付けて記憶された商品画像Ａ〜Ｈの合計点数のうち、合計点数が高いものから３個の商品画像Ａ，Ｂ，Ｄの合計点数（３３点、１７点、１４点）を特定する。次いで、商品候補提示部１６１４は、特定した合計点数（３３点、１７点、１４点）の商品画像Ａ，Ｂ，Ｄを、類似度が高い商品画像として選択する。

次に、商品候補提示部１６１４は、選択した商品画像を表示デバイス１０６に表示する際の表示位置を決定する（ステップＳ１７１７）。具体的には、商品候補提示部１６１４は、ステップＳ１７１６で選択した商品画像が、フレーム画像が前回取り込まれた際に選択された商品画像と同一である場合、ステップＳ１７１６で選択した商品画像の表示位置を、当該フレーム画像が前回取り込まれた際に選択された商品画像の表示位置と略同一の表示位置に決定する。

図１１は、選択された商品画像の表示位置の決定結果を記憶する表示位置テーブルの一例を示す図である。表示位置テーブルＴ３は、ステップＳ１７１６で選択した商品画像の表示位置１〜３を、画像群と対応付けて記憶するものである。一例として、最後に取り込まれたフレーム画像がフレーム画像４である場合、商品候補提示部１６１４は、表示位置テーブルＴ３から、前回取り込まれたフレーム画像３を含む画像群０〜３と対応付けて記憶された商品画像Ａ、Ｂ、Ｃの表示位置１〜３のうち、選択した商品画像Ａ、Ｂ、Ｄと同一の商品画像Ａ、Ｂの表示位置１、２を、当該選択した商品画像Ａ、Ｂの表示位置に決定する。

さらに、商品候補提示部１６１４は、ステップＳ１７１６で選択した商品画像に対する重み付けに応じて、当該選択した商品画像の表示サイズを決定する（ステップＳ１７１８）。本実施形態では、商品候補提示部１６１４は、商品画像重みテーブルＴ２において、ステップＳ１７１６で選択した商品画像と対応付けて記憶された合計点数が大きくなるに従い、当該選択した商品画像の表示サイズを大きくする。

図１２は、選択された商品画像の表示サイズの決定結果の一例を示す図である。商品候補提示部１６１４は、ステップＳ１７１６で選択された商品画像に対する重み付けに応じて、表示デバイス１０６の表示画面上における、当該選択された商品画像が占める割合（表示サイズ）を決定する。一例として、商品候補提示部１６１４は、まず、選択した商品画像Ａ、Ｂ、Ｄと対応付けて記憶された合計点数（３３点、１７点、１４点）の合計（６４点）を算出する。次いで、商品候補提示部１６１４は、算出した合計（６４点）に対する、各商品画像Ａ、Ｂ、Ｄの合計点数（３３点、１７点、１４点）の割合（０．５、０．３、０．２）を算出する。そして、商品候補提示部１６１４は、各商品画像Ａ、Ｂ、Ｄについて算出した割合（０．５、０．３、０．２）に従って、表示デバイス１０６上の表示画面において、各商品画像Ａ、Ｂ、Ｄが占める割合（５０％、３０％、２０％）を決定する。

なお、本実施形態では、商品候補提示部１６１４は、選択された商品画像に対する重み付けに応じて、当該選択された商品画像の表示サイズを変えているが、選択された商品画像に対する重み付けに応じて、当該選択された商品画像の表示態様を変更するものであれば、これに限定するものではない。例えば、商品候補提示部１６１４は、選択された商品画像に対する重み付けに応じて、当該選択された商品画像を点滅させたり、当該選択された商品画像の色を変えたりしても良い。

続いて、商品候補提示部１６１４は、ステップＳ１７１７で決定した表示位置およびステップＳ１７１８で決定した表示サイズに従って、ステップＳ１７１６で選択した類似度が高い商品画像を表示デバイス１０６に表示させる（ステップＳ１７１９）。

次いで、商品候補提示部１６１４は、タッチパネル１０５またはキーボード１０７を介して、表示デバイス１０６に表示された商品画像のうち、何れか一つが選択されたか否かを判定する（ステップＳ１７２０）。ここで、商品画像の一つが選択されたと判定した場合（ステップＳ１７２０：Ｙｅｓ）、商品候補提示部１６１４は、選択された商品画像に対応する登録商品が、商品Ｘに対応すると判断し、この登録商品を指示する情報を登録商品通知部１６１５に出力した後、図５のステップＳ１８に移行する。

一方、商品画像が選択されないと判定した場合（ステップＳ１７２０：Ｎｏ）、商品候補提示部１６１４は、直近のステップＳ１７１９で商品画像の表示を行ってから次のフレーム画像が取り込まれるまでの所定時間が経過したか否かを判定する（ステップＳ１７２１）。なお、次のフレーム画像が取り込まれるまでの所定時間が経過していない場合には（ステップＳ１７２１：Ｎｏ）、ステップＳ１７２０に再び戻る。

ステップＳ１７２１において、次のフレーム画像が取り込まれるまでの所定時間が経過したと判定した場合には（ステップＳ１７２１：Ｙｅｓ）、商品候補提示部１６１４は、選択された商品画像に対応する登録商品が、商品Ｘに対応しないと判断して、図５のステップＳ１８に移行する。

ここで、図８〜１３を参照して、上述した商品候補提示処理の動作について説明する。図１３は、商品候補提示処理を説明するための図である。

まず、撮像部１６４により撮像する被写体である商品Ｘが「トマト」から「スイカ」に変わった場合における商品候補提示処理について説明する。画像取込部１６１１は、ステップＳ１２において、商品Ｘ：「スイカ」を撮像したフレーム画像４を取り込む。次いで、商品検出部１６１２が、ステップＳ１３において、画像取込部１６１１によって取り込んだフレーム画像４から商品Ｘ：「スイカ」の全部または一部を検出すると、類似度算出部１６１３は、ステップＳ１４において、フレーム画像４に含まれる商品Ｘ：「スイカ」の全部または一部の画像から商品Ｘ：「スイカ」の特徴量を読み取り、ＰＬＵファイルＦ１に登録された登録商品の商品画像の特徴量を比較することで類似度を算出するとともに、ステップＳ１５において、算出した類似度が予め定められた閾値（類似度：０．５０）を超えた商品画像に対応する登録商品を、商品Ｘ：「スイカ」の商品候補として抽出する。

商品Ｘ：「スイカ」の商品候補が抽出されると、商品候補提示部１６１４は、ステップＳ１７において、商品候補提示処理を実行する。具体的には、商品候補提示部１６１４は、ステップＳ１７１１において、商品候補となった登録商品の商品画像をＰＬＵファイルＦ１から読み出す。次いで、商品候補提示部１６１４は、ステップＳ１７１２において、読み出した商品画像を、ステップＳ１４で算出された類似度の高い順にソートするとともに、ステップＳ１７１３において、類似度が１〜３番目の商品画像Ａ（登録商品：「トマト」の画像）、商品画像Ｄ（登録商品：「スイカ」の画像）、商品画像Ｅ（登録商品：「バナナ」の画像）を選択し、当該選択した商品画像Ａ、Ｄ、Ｅをフレーム画像４と対応付けて商品画像テーブルＴ１に記憶させる。

次に、商品候補提示部１６１４は、ステップＳ１７１４において、商品画像テーブルＴ１から、フレーム画像４および当該フレーム画像４が取り込まれる前の３フレーム数内に取り込まれたフレーム画像１〜３と対応付けて記憶された商品画像Ａ〜Ｅを読み出す。なお、商品画像Ｂは登録商品：「栗」の画像であり、商品画像Ｃは登録商品：「レモン」の画像であるものとする。

そして、商品候補提示部１６１４は、ステップＳ１７１５において、各フレーム画像１〜４と対応付けて記憶された商品画像に対して重み付けを行う。具体的には、商品候補提示部１６１４は、フレーム画像４と対応付けて記憶された商品画像Ａ、Ｄ、Ｅのうち、類似度が１番目に高い商品画像Ａに対して点数：１０点を付与し、類似度が２番目に高い商品画像Ｄに対して点数：７点を付与し、類似度が３番目に高い商品画像Ｅに対して３点を付与する。

また、商品候補提示部１６１４は、フレーム画像１と対応付けて記憶された商品画像Ａ、Ｂ、Ｃのうち、類似度が１番目に高い商品画像Ａに対して点数：１０点を付与し、類似度が２番目に高い商品画像Ｂに対して点数：７点を付与し、類似度が３番目に高い商品画像Ｃに対して点数：３点を付与する。

また、商品候補提示部１６１４は、フレーム画像２と対応付けて記憶された商品画像Ｂ、Ｃ、Ａのうち、類似度が１番目に高い商品画像Ｂに対して点数：１０点を付与し、類似度が２番目に高い商品画像Ｃに対して点数：７点を付与し、類似度が３番目に高い商品画像Ａに対して点数：３点を付与する。

さらに、商品候補提示部１６１４は、フレーム画像３と対応付けて記憶された商品画像Ａ，Ｄ，Ｅのうち、類似度が１番目に高い商品画像Ａに対して点数：１０点を付与し、類似度が２番目に高い商品画像Ｄに対して点数：７点を付与し、類似度が３番目に高い商品画像Ｅに対して点数：３点を付与する。

次いで、商品候補提示部１６１４は、フレーム画像４と対応付けて記憶された商品画像Ａに対して付与した点数：１０点、フレーム画像１と対応付けて記憶された商品画像Ａに対して付与した点数：１０点、フレーム画像２と対応付けて記憶された商品画像Ａに対して付与した点数：３点、およびフレーム画像３と対応付けて記憶された商品画像Ａに対して付与した点数：１０点を合計した合計点数：３３点を算出する。そして、商品候補提示部１６１４は、合計点数：３３点を商品画像Ａの重み付けとして、画像群１〜４と対応付けて商品画像重みテーブルＴ２に記憶させる。

なお、商品候補提示部１６１４は、フレーム画像１〜４と対応付けて記憶された他の商品画像Ｂ、Ｃ、Ｄ、Ｅについても、商品画像Ａと同様にして合計点数を算出し、算出した合計点数を商品画像Ｂ、Ｃ、Ｄ、Ｅの重み付けとして、画像群１〜４と対応付けて商品画像重みテーブルＴ２に記憶させるものとする。

次に、商品候補提示部１６１４は、ステップＳ１７１６において、商品画像重みテーブルＴ２において画像群１〜４と対応付けて合計点数が記憶された商品画像のうち、合計点数が１〜３番目の商品画像Ａ、Ｂ、Ｄを選択する。

また、商品候補提示部１６１４は、ステップＳ１７１７において、表示位置テーブルＴ３から、前回取り込まれたフレーム画像３を含む直近の画像群０〜３と対応付けて記憶された商品画像Ａ、Ｂ、Ｃの表示位置１（左）、２（真中）、３（右）のうち、選択した商品画像Ａ、Ｂ、Ｄと同一の商品画像Ａ，Ｂの表示位置１（左）、２（真中）を、当該選択した商品画像Ａ、Ｂの表示位置に決定する。なお、商品候補提示部１６１４は、選択した商品画像Ｄの表示位置については、前回取り込まれたフレーム画像３を含む直近の画像群０〜３と対応付けて表示位置が記憶されていないため、商品画像Ａ、Ｂの表示位置１（左）、２（真中）以外の表示位置（例えば、右など）を、商品画像Ｄの表示位置に決定する。

さらに、商品候補提示部１６１４は、ステップＳ１７１８において、ステップＳ１７１６で選択した商品画像に対する重み付けに応じて、当該選択した商品画像の表示サイズを決定する。具体的には、商品候補提示部１６１４は、商品画像重みテーブルＴ２において、最後に取り込まれたフレーム画像４を含む画像群１〜４と対応付けて記憶された商品画像Ａ、Ｂ、Ｄの合計点数：３３点、１７点、１４点の合計：６４点を算出する。次いで、商品候補提示部１６１４は、算出した商品画像Ａ、Ｂ、Ｄの合計：６４点に対する、各商品画像Ａ、Ｂ、Ｄの合計点数：３３点、１７点、１４点の割合：０．５、０．３、０．２を算出する。そして、商品候補提示部１６１４は、各商品画像Ａ、Ｂ、Ｄについて算出した割合：０．５、０．３、０．２に従って、表示デバイス１０６上の表示画面において、各商品画像Ａ、Ｂ、Ｄが占める割合：５０％、３０％、２０％を決定する。

そして、商品候補提示部１６１４は、図１３に示すように、商品Ｘ：「スイカ」を撮像したフレーム画像４が取り込まれた際、登録商品：「トマト」の商品画像Ａを、表示デバイス１０６の表示位置１（左）に、表示デバイス１０６の割合：５０％を占めるように表示する。また、商品候補提示部１６１４は、登録商品：「栗」の商品画像Ｂを、表示デバイス１０６の表示位置２（真中）に、表示デバイス１０６の割合：３０％を占めるように表示する。さらに、商品候補提示部１６１４は、登録商品：「スイカ」の商品画像Ｄを、表示デバイス１０６の表示位置３（右）に、表示デバイス１０６の割合：２０％を占めるように表示する。

このように、商品候補提示部１６１４では、商品Ｘ：「スイカ」を撮像したフレーム画像４が取り込まれた場合に、フレーム画像４および当該フレーム画像４より前に取り込まれたフレーム画像１〜３に含まれる商品Ｘ：「トマト」、「スイカ」の画像と登録商品の商品画像Ａ〜Ｅとの類似度に基づいて、類似度の高い商品画像Ａ，Ｂ，Ｄを表示デバイス１０６に表示する。これにより、撮像部１６４により撮像する商品Ｘが「トマト」から「スイカ」に変わって新たなフレーム画像４が取り込まれた際に、表示デバイス１０６に表示されていた商品画像Ａ，Ｂが直ぐに消去されずに、ある一定の期間表示させておくことができるので、ユーザが、表示デバイス１０６に表示された商品画像から、所望の商品画像を選択する際に、商品画像が切り替わってしまうことを防止することができる。

次に、撮像部１６４により撮像する被写体がなくなった場合における商品候補提示処理について説明する。画像取込部１６１１は、ステップＳ１２において、商品Ｘが撮像されていないフレーム画像１４を取り込む。次いで、商品検出部１６１２が、ステップＳ１３において、画像取込部１６１１によって取り込んだフレーム画像１４からの商品Ｘの全部または一部の検出を試みる。ここで、取り込んだフレーム画像１４から商品Ｘの全部または一部が検出されなかった場合、類似度算出部１６１３は、ステップＳ１４における類似度の算出およびステップＳ１５における商品候補の抽出を行わない。

商品候補が抽出されなかった場合も、商品候補提示部１６１４は、ステップＳ１７において、商品候補提示処理を実行する。具体的には、商品候補提示部１６１４は、ステップＳ１７１４において、商品画像テーブルＴ１から、フレーム画像１４が取り込まれる前の３フレーム数内に取り込まれたフレーム画像１１〜１３と対応付けて記憶された商品画像Ａ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇを読み出す。なお、商品画像Ｆは登録商品：「メロン」の画像であり、商品画像Ｇは登録商品：「イチゴ」の画像であるものとする。

そして、商品候補提示部１６１４は、ステップＳ１７１５において、各フレーム画像１１〜１３と対応付けて記憶された商品画像に対して重み付けを行う。具体的には、商品候補提示部１６１４は、フレーム画像１１と対応付けて記憶された商品画像Ａ、Ｆ、Ｇのうち、類似度が１番目に高い商品画像Ａに対して点数：１０点を付与し、類似度が２番目に高い商品画像Ｆに対して点数：７点を付与し、類似度が３番目に高い商品画像Ｇに対して３点を付与する。

また、商品候補提示部１６１４は、フレーム画像１２と対応付けて記憶された商品画像Ｅ〜Ｇのうち、類似度が１番目に高い商品画像Ｆに対して点数：１０点を付与し、類似度が２番目に高い商品画像Ｇに対して点数：７点を付与し、類似度が３番目に高い商品画像Ｈに対して点数：３点を付与する。

また、商品候補提示部１６１４は、フレーム画像１３と対応付けて記憶された商品画像Ｃ、Ｄ、Ｇのうち、類似度が１番目に高い商品画像Ｇに対して点数：１０点を付与し、類似度が２番目に高い商品画像Ｃに対して点数：７点を付与し、類似度が３番目に高い商品画像Ｄに対して点数：３点を付与する。

次いで、商品候補提示部１６１４は、フレーム画像１１と対応付けて記憶された商品画像Ａに対して付与した点数：１０点を、商品画像Ａの合計点数として算出する。そして、商品候補提示部１６１４は、合計点数：１０点を商品画像Ａの重み付けとして、画像群１１〜１４と対応付けて商品画像重みテーブルＴ２に記憶させる。なお、商品候補提示部１６１４は、フレーム画像１１〜１３と対応付けて記憶された他の商品画像Ｃ〜Ｅについても同様にして合計点数を算出し、算出した合計点数を商品画像Ｃ〜Ｅと対応付けて商品画像重みテーブルＴ２に記憶させるものとする。

また、商品候補提示部１６１４は、フレーム画像１１と対応付けて記憶された商品画像Ｆに対して付与した点数：７点、およびフレーム画像１２と対応付けて記憶された商品画像Ｆに対して付与した点数：１０点を合計した合計点数：１７点を算出する。そして、商品候補提示部１６１４は、合計点数：１７点を商品画像Ｆの重み付けとして、画像群１１〜１４と対応付けて商品画像重みテーブルＴ２に記憶させる。

なお、商品候補提示部１６１４は、フレーム画像１１〜１３と対応付けて記憶された他の商品画像Ｇについても、商品画像Ａと同様にして合計点数を算出し、算出した合計点数を商品画像Ｇの重み付けとして、画像群１１〜１４と対応付けて商品画像重みテーブルＴ２に記憶させるものとする。

次に、商品候補提示部１６１４は、ステップＳ１７１６において、商品画像重みテーブルＴ２において画像群１１〜１４と対応付けて合計点数が記憶された商品画像のうち、合計点数が１〜３番目の商品画像Ａ、Ｆ、Ｇを選択する。

また、商品候補提示部１６１４は、ステップＳ１７１７において、表示位置テーブルＴ３から、前回取り込まれたフレーム画像３を含む直近の画像群１０〜１３と対応付けて記憶された商品画像Ｇ、Ｆ、Ａの表示位置１（左）、２（真中）、３（右）のうち、選択した商品画像Ｇ、Ｆ、Ａと同一の商品画像Ｇ、Ｆ、Ａの表示位置１（左）、２（真中）、３（右）を、当該選択した商品画像Ｇ、Ｆ、Ａの表示位置に決定する。

さらに、商品候補提示部１６１４は、ステップＳ１７１８において、ステップＳ１７１６で選択した商品画像に対する重み付けに応じて、当該選択した商品画像の表示サイズを決定する。具体的には、商品候補提示部１６１４は、商品画像重みテーブルＴ２において、最後に取り込まれたフレーム画像１４を含む画像群１１〜１４と対応付けて記憶された商品画像Ａ、Ｆ、Ｇの合計点数：１０点、１７点、２０点の合計：４７点を算出する。次いで、商品候補提示部１６１４は、算出した商品画像Ａ、Ｆ、Ｇの合計：４７点に対する、各商品画像Ａ、Ｆ、Ｇの合計点数：１０点、１７点、２０点の割合：０．２、０．４、０．４を算出する。そして、商品候補提示部１６１４は、各商品画像Ａ、Ｆ、Ｇについて算出した割合：０．２、０．４、０．４に従って、表示デバイス１０６上の表示画面において、各商品画像Ａ、Ｆ、Ｇが占める割合：２０％、４０％、４０％を決定する。

そして、商品候補提示部１６１４は、図１３に示すように、商品Ｘが撮像されなかったフレーム画像１４が取り込まれた際、登録商品：「イチゴ」の商品画像Ｇを、表示デバイス１０６の表示位置１（左）に、表示デバイス１０６の割合：４０％を占めるように表示する。また、商品候補提示部１６１４は、登録商品：「メロン」の商品画像Ｆを、表示デバイス１０６の表示位置２（真中）に、表示デバイス１０６の割合：４０％を占めるように表示する。さらに、商品候補提示部１６１４は、登録商品：「トマト」の商品画像Ａを、表示デバイス１０６の表示位置３（右）に、表示デバイス１０６の割合：２０％を占めるように表示する。

このように、商品候補提示部１６１４では、商品Ｘが撮像されなかったフレーム画像１４が取り込まれた場合に、フレーム画像１４より前に取り込まれたフレーム画像１１〜１３に含まれる商品Ｘ：「トマト」、「メロン」、「イチゴ」の画像と登録商品の商品画像Ａ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇとの類似度に基づいて、類似度の高い商品画像Ａ、Ｆ、Ｇを表示デバイス１０６に表示する。これにより、商品Ｘが含まれて新たなフレーム画像１４が取り込まれた際に、最後に表示デバイス１０６に表示していた商品画像Ａ、Ｆ、Ｇを消去せずに、ある一定の期間表示させておくことができるので、撮像部１６４により商品Ｘを撮像してから、ユーザが、表示デバイス１０６に表示された商品画像から所望の商品画像を選択するのが遅れた場合でも、商品画像を選択することができる。

図５に戻り、登録商品通知部１６１５は、商品候補提示部１６１４から指示された登録商品に対応する商品ＩＤを、タッチパネル１０５またはキーボード１０７を介して別途入力された販売個数とともにＰＯＳ端末１１に通知する（ステップＳ１８）。ここで、販売個数の入力は、タッチパネル１０５や表示・操作部１０４を介して行われるものとするが、その入力方法は特に問わず、例えば表示デバイス１０６に表示された商品画像に対するタッチ回数を販売個数としてもよい。

次いで、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知等による業務終了の有無を判定する（ステップＳ１９）。業務を継続する場合（ステップＳ１９：Ｎｏ）、ＣＰＵ１６１は、ステップＳ１２へ処理を戻して処理を継続させる。業務を終了する場合（ステップＳ１９：Ｙｅｓ）、画像取込部１６１１は、撮像部１６４に撮像オフ信号を出力して撮像部１６４による撮像を終了し（ステップＳ２０）、処理を終了する。

次に、ＰＯＳ端末１１側の動作について説明する。キーボード２２の操作指示による商品登録の開始等に応じて処理が開始されると、ＣＰＵ６１は、商品読取装置１０１から通知された、商品Ｘの商品ＩＤとその販売個数とを受信する（ステップＳ３１）。

次いで、売上登録部６１１は、ステップＳ３１で受信した商品ＩＤ及び販売個数に基づいて、ＰＬＵファイルＦ１から商品種別や単価等を読み出し、商品読取装置１０１で読み取られた商品Ｘの売上を登録する（ステップＳ３２）。

続いて、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了等による業務終了の有無を判定する（ステップＳ３３）。業務を継続する場合（ステップＳ３３：Ｎｏ）、ＣＰＵ６１は、ステップＳ３１へ再び戻り処理を継続させる。業務を終了する場合（ステップＳ３３：Ｙｅｓ）、ＣＰＵ６１は処理を終了する。

なお、本実施形態では、商品候補提示部１６１４は、選択された商品候補（商品画像）に対する重み付けに応じて、当該選択された商品候補（商品画像）の表示サイズを変えているが、選択された商品候補の商品情報（例えば、商品名など）に対する重み付けに応じて、当該選択された商品候補の商品情報の表示サイズを変えても良い。

図１４は、商品候補提示処理により商品名を商品情報として表示する例を説明するための図である。一例として、画像群１〜４に含まれる商品Ｘの画像と登録商品の商品画像との類似度に基づいて、類似度が高い商品画像Ａ、Ｂ、Ｄに対応する商品Ｘの商品情報を表示する例について説明する。各商品画像Ａ、Ｂ、Ｄについて算出された割合が０．５、０．３、０．２である場合（図１２参照）、商品候補提示部１６１４は、図１４に示すように、商品画像Ａに対応する商品名：「トマト」を表示デバイス１０６の５０％を占めるように表示し、商品画像Ｂに対応する商品名：「栗」を表示デバイス１０６の３０％を占めるように表示し、商品画像Ｄに対応する商品名：「レモン」を表示デバイス１０６の２０％を占めるように表示する。なお、商品候補提示部１６１４により表示される商品候補の商品画像または商品候補の商品名と共に、撮像部１６４により最後に撮像したフレーム画像を表示したリアルタイム撮像画面を表示デバイス１０６の同一画面上に表示させても良い。

以上のように、本実施形態のチェックアウトシステム１によれば、フレーム画像が取り込まれる度に、最後に取り込まれたフレーム画像および当該フレーム画像より前に取り込まれたフレーム画像に含まれる商品Ｘの画像と登録商品の商品画像との類似度に基づいて、類似度の高い商品画像を表示デバイス１０６に表示することにより、新たなフレーム画像が取り込まれた際に、表示デバイス１０６に表示されていた商品画像が直ぐに消去されずに、ある一定の期間表示させておくことができるので、ユーザが、表示デバイス１０６に表示された商品画像から、所望の商品画像を選択する際に、商品画像が切り替わってしまうことを防止することができる。

また、本実施形態のチェックアウトシステム１によれば、類似度が高い登録商品の商品画像と、フレーム画像を前回取り込んだ際に表示した登録商品の商品画像が同一である場合に、当該類似度が高い登録商品の商品画像を、フレーム画像を前回取り込んだ際に表示した登録商品の商品画像と略同じ表示位置に表示させることにより、同一の商品Ｘが連続して撮像された際に、当該商品Ｘの商品候補として表示された商品画像の位置が変わらないので、表示された商品画像の中から所望の商品画像を選択する際のユーザの操作性を向上させることができる。

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

なお、本実施形態では、最後に取り込まれたフレーム画像および当該フレーム画像が取り込まれる直前の３フレーム数内に取り込まれたフレーム画像に含まれる商品Ｘの画像と登録商品の商品画像との類似度に基づいて、当該類似度が高い商品画像を商品Ｘの商品情報として表示しているが、最後に取り込まれたフレーム画像および当該フレーム画像が取り込まれる前の複数のフレーム数内（例えば、最後に取り込まれたフレーム画像の直前の複数のフレーム数内）に取り込まれたフレーム画像に含まれる商品Ｘの画像と登録商品の商品画像との類似度に基づいて、当該類似度が高い商品画像を商品Ｘの商品情報として表示するものであれば、これに限定するものではない。

また、上記実施形態では、ＰＯＳ端末１１がＰＬＵファイルＦ１を備える形態としたが、これに限らず、商品読取装置１０１がＰＬＵファイルＦ１を備える形態としてもよいし、ＰＯＳ端末１１及び商品読取装置１０１がアクセス可能な外部装置がＰＬＵファイルＦ１を備える形態としてもよい。

また、上記実施形態では、ＰＯＳ端末１１と商品読取装置１０１との２台構成としたが、これに限らず、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としてもよい。

また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

１ チェックアウトシステム
１１ ＰＯＳ端末
１０１ 商品読取装置
１０５ タッチパネル
１０６ 表示デバイス
１６４ 撮像部
１６１１ 画像取込部
１６１２ 商品検出部
１６１３ 類似度算出部
１６１４ 商品候補提示部
１６１５ 登録商品通知部
Ｆ１ ＰＬＵファイル

特開２００３−１７３３６９号公報

Claims (5)

1. 所定のフレームレートで撮像を行う撮像手段と、
   前記撮像手段の撮像により取得された撮像画像に含まれる物体画像と基準画像との類似度に基づいて、当該類似度が高い基準画像に対応する商品の商品情報から順に、登録処理を実行する商品を選択するための商品情報として表示手段に表示させる表示制御手段と、
   前記表示手段に表示された商品情報の中から選択された商品情報に対応する商品の登録処理を実行する登録手段と、を備え、
   前記表示制御手段は、最後に取得された前記撮像画像が含む物体画像との類似度が高い基準画像に対応する商品の商品情報と、前回取得した前記撮像画像に含まれる物体画像との類似度が高い基準画像に対応する商品情報とが同一である場合、当該商品情報を、前記撮像画像を前回取得した際に表示した表示位置と略同じ表示位置に表示させる店舗システム。
2. 前記表示制御手段は、最後に取得された前記撮像画像および当該撮像画像が取得される前の所定時間内に取得された前記撮像画像に含まれる物体画像と基準画像との類似度に基づいて、当該類似度が高い基準画像に対応する商品の商品情報から順に前記表示手段に表示させる請求項１に記載の店舗システム。
3. 前記表示制御手段は、前記撮像画像に含まれる物体画像と基準画像との類似度に基づいて、基準画像に対して重み付けを行い、基準画像に対する重み付けに応じて、前記撮像画像に含まれる物体画像との類似度が高い基準画像に対応する商品の商品情報の表示態様を変更する請求項１または２に記載の店舗システム。
4. 前記表示制御手段は、基準画像に対する重み付けに応じて、前記撮像画像に含まれる物体画像との類似度が高い基準画像に対応する商品の商品情報の表示サイズを変更する請求項３に記載の店舗システム。
5. コンピュータを、
   所定のフレームレートで撮像を行う撮像手段の撮像により取得された撮像画像に含まれる物体画像と基準画像との類似度に基づいて、当該類似度が高い基準画像に対応する商品の商品情報から順に、登録処理を実行する商品を選択するための商品情報として表示手段に表示させる表示制御手段として機能させ、
   前記表示制御手段は、最後に取得された前記撮像画像が含む物体画像との類似度が高い基準画像に対応する商品の商品情報と、前回取得した前記撮像画像に含まれる物体画像との類似度が高い基準画像に対応する商品情報とが同一である場合、当該商品情報を、前記撮像画像を前回取得した際に表示した表示位置と略同じ表示位置に表示させるプログラム。

Images