JP6376955B2 - 情報処理装置、販売データ処理装置およびプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置、販売データ処理装置およびプログラムに関する。

従来、イメージセンサの撮像画像から対象物品の特徴量を抽出し、予め用意された照合用の特徴量と比較することで、対象物品の種別等を識別する一般物体認識（オブジェクト認識）に関する技術がある。オブジェクト認識処理では、ＰＯＳ（Point Of Sales）端末あるいはスキャナ装置などの情報処理装置が、類似度の高い順に商品候補を並べた選択画面を表示する技術が知られている。情報処理装置は、オペレータが選択画面に表示された商品候補の中から対象商品を選択すると、選択画面の表示を終了し、選択された商品を売上登録する。

従来技術としては、撮像画像から商品コードのコードシンボルを読み取るコード読取処理と、オブジェクト認識処理とを簡便に切り替えて商品の売上登録を行う技術が開示されている。また近年、コード読取処理とオブジェクト認識処理とを並行して行う情報処理装置の開発が行われている。

コード読取処理とオブジェクト認識処理とを並行して行うと、情報処理量の少ない商品コードが先に読み取られる場合が多い。先に商品コードが読み取られると、オペレータが商品候補の選択操作を行う必要はなくなるので、選択画面の表示も終了させることが望ましい。ところが従来の情報処理装置は、商品コードを既に読み取った後も選択画面を表示したままであり、商品が既に登録されたことが分かりにくいという現状があった。

選択画面の表示が残っていると、オペレータは商品登録がまだ完了していないと勘違いし、撮像部に商品をかざし続けて登録済みの商品を再度読み取らせてしまうこともあった。従って選択画面を適切なタイミングで終了させないと、同一商品を二重に登録してしまう操作ミスが生じやすいという課題があった。

本発明が解決しようとする課題は、撮像画像に対してコード読取処理およびオブジェクト認識処理とを並行して行う際に、商品の登録状況を分かり易くすることができる情報処理装置、販売データ処理装置およびプログラムを提供することである。

実施形態の情報処理装置は、第１表示制御手段と、第１処理手段と、選出手段と、第２表示制御手段と、第２読込手段と、第２処理手段と、停止制御手段と、第３表示制御手段とを備える。第１表示制御手段は、撮像手段に対して商品をかざす旨のガイダンスを表示する。第１処理手段は、前記撮像手段の撮像画像を取り込んで当該撮像画像からコードシンボルを検出し、検出したコードシンボルに基づいて商品記憶手段から読み込んだ商品情報を売上登録情報として表示する第１処理を行う。選出手段は、前記撮像画像から撮像対象物を検出し、当該撮像対象物の特徴と照合用の商品画像の特徴とを比較して前記撮像対象物に類似する商品候補を選出する処理を行う。第２表示制御手段は、前記選出手段が前記商品候補を選出すると、前記ガイダンスの表示に替わって、選出した商品候補を提示した選択画面を表示する。第２読込手段は、前記選択画面から売上登録する商品の選択操作を受付けると、当該商品の商品情報を前記商品記憶手段から読み込む。第２処理手段は、前記第２読込手段が読み込んだ前記商品情報を売上登録情報として表示する第２処理を行う。停止制御手段は、前記第１処理手段および前記第２処理手段のうちいずれか一方が先に前記売上登録情報を表示すると、他方の処理手段による処理を停止する。第３表示制御手段は、前記第１処理手段が先に前記売上登録情報を表示すると、前記選択画面の表示を終了して、前記ガイダンスを表示する。

図１は、実施形態にかかるチェックアウトシステムの一例を示す斜視図である。 図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図３は、ＰＬＵファイルのデータ構成を例示する概念図である。 図４は、ＰＯＳ端末の機能構成を示すブロック図である。 図５は、オブジェクト認識画面の画面構成例を示す図である。 図６は、画像認識処理による商品登録処理の手順例を示したフローチャートである。 図７は、コードシンボル認識処理の手順例を示したフローチャートである。 図８は、オブジェクト認識処理の手順例を示したフローチャートである。 図９は、選択画面の画面構成例を示す図である。 図１０は、停止制御処理の手順例を示したフローチャートである。

以下では、本実施形態に係る情報処理装置及びプログラムについて、チェックアウトシステムを例に図面を参照して説明する。チェックアウトシステムは、一取引に係る商品の登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。

図１は、実施形態にかかるチェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、商品に関する情報を読み取る商品読取装置１０１と、一取引に係る商品の登録、精算を行うＰＯＳ端末１１とを備える。以下では、ＰＯＳ端末１１を本実施形態にかかる情報処理装置として適用する例について説明する。

ＰＯＳ端末１１は、チェックアウト台４１上のドロワ２１上面に載置される。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置される。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する店員用表示器２３が設けられる。店員用表示器２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層される。店員用表示器２３よりも更に奥側には、顧客に向けて情報を表示する客用表示器２４が回転可能に立設される。客用表示器２４は、その表示面２４ａに情報を表示する。なお、図１に示す客用表示器２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように客用表示器２４を回転させることによって、客用表示器２４は顧客に向けて情報を表示する。

ＰＯＳ端末１１が載置されているチェックアウト台４１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置される。カウンタ台１５１の上面には、荷受け面１５２が形成される。荷受け面１５２には、商品を収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。

カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置される。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置される。ハウジング１０２の上部には、表示・操作部１０４が取り付けられる。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示部である店員用表示器１０６が設けられる。店員用表示器１０６の右隣にはキーボード１０７が配設される。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられる。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に向けて情報を提供する客用表示器１０９が設置される。

このような商品読取装置１０１は、商品読取部１１０（図２参照）を備える。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置する。

顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品が収納される。第１の買物カゴ１５３ａ内の商品は、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂに移動される。この移動過程で、商品が商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品を撮像する。

商品読取装置１０１は、売上登録する商品の商品コードをＰＯＳ端末１１に通知する。具体的には、商品読取装置１０１は、撮像部１６４が撮像した画像に含まれる商品が、後述するＰＬＵファイルＦ１（図３参照）に登録された何れの商品に対応するかを指定させるための画面を表示・操作部１０４に表示する。そして、商品読取装置１０１は、指定された商品の商品コードをＰＯＳ端末１１に通知する。ＰＯＳ端末１１では、商品読取装置１０１から通知される商品コードに基づき、当該商品コードに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上ファイル（図示しない）等に記録して売上登録を行う。

図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成される。

ＲＡＭ６３は、オブジェクト認識処理用のワークメモリと、コードシンボル認識処理用のワークメモリとして用いられる。各処理の詳細については後述する。

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、店員用表示器２３、タッチパネル２６、客用表示器２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続される。これらは、ＣＰＵ６１による制御を受ける。

キーボード２２は、「１」、「２」、「３」・・・等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。仮締めキー２２ｅ（例えば、小計キー）は、入力された商品の小計金額や税額等を計算するためのキーである。締めキー２２ｆ（例えば、現計キー）は、一取引の終了を宣言し、精算処理を行うためのキーである。締めキー２２ｆが操作されると、ＰＯＳ端末１１はテンキー２２ｄから入力された預り金額を受付けて、釣銭を計算する。そして、ＰＯＳ端末１１の各表示器（店員用表示器２３、客用表示器２４）および商品読取装置１０１の各表示器（店員用表示器１０６、客用表示器１０９）は合計支払額、釣銭額等の情報を表示する。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続される。ＨＤＤ６４には、プログラムや各種ファイルが記憶される。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部または一部がＲＡＭ６３にコピーされてＣＰＵ６１により実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲ１である。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。なお、ＨＤＤ６４は、記憶装置であればよく、ＳＳＤ（Solid State Drive）などの他の記憶媒体で構成された記憶装置であってもよい。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品の各々について、商品の売上登録に係る情報を格納する商品ファイルである。以下の説明では、ＰＬＵファイルＦ１を辞書として用いるが、辞書はＰＬＵファイルＦ１と異なるファイルであっても良い。辞書は、撮像した画像データから抽出した商品を識別するための照合用データ（特徴量）を、複数の商品について記憶する。辞書は、ＰＬＵファイルＦ１と異なるファイルである場合、辞書に記憶される照合用データ（特徴量）と、ＰＬＵファイルＦ１の情報（識別情報）は紐付けられる。特徴量は、商品の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。

図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品ごとに、商品コードと、商品に関する情報と、イラスト画像と、特徴量とを、その商品の商品情報として格納するファイルである。商品コードは、商品を識別可能な識別情報である。商品に関する情報は、商品が属する商品分類、商品名、品種、単価等の情報である。イラスト画像は、その商品を示す画像である。特徴量は、撮像した商品画像から読み取られる色合いや表面の凹凸状況等の情報である。尚、特徴量は、後述する類似度の判定に用いられる照合用のデータである。なお、ＰＬＵファイルＦ１は、後述する接続インターフェース６５を介し、商品読取装置１０１が読み出し可能に構成される。

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続される。ストアコンピュータＳＣは、店舗のバックヤード等に設置される。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納される。

更に、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続される。接続インターフェース６５には、商品読取装置１０１が接続される。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続される。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。

商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成される。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶される。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも不図示）を介して接続される。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介して、商品読取部１１０及びＰＯＳ端末１１に接続される。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１、ＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。

撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等のイメージセンサ（不図示）とＬＥＤなどの光源（不図示）とを有しており、ＣＰＵ１６１の制御の下で読取窓１０３の内部から撮像を行う。例えば撮像部１６４では３０ｆｐｓ（Flame Per Second）の画像の撮像を行う。撮像部１６４は、所定のフレームレートで撮像したフレーム画像（撮像画像）をＲＡＭ１６３に順次保存していく。

音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音や音声による報知を行う。

更に、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続される。また、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。

次に、ＣＰＵ６１がプログラム（商品販売データ処理用のプログラムＰＲ１）を実行することで実現されるＣＰＵ６１の機能構成について説明する。

図４は、ＰＯＳ端末１１の機能構成を示すブロック図である。ＣＰＵ６１はプログラムＰＲ１を実行することにより、並列制御部６１０と、オブジェクト認識エンジン６２０と、コードシンボル認識エンジン６３０と、停止制御部６４０と、入力受付部６１３と、登録部６１４と、報知部６１５と、表示制御部６１６として機能する。

並列制御部６１０は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。また、並列制御部６１０は、オブジェクト認識エンジン６２０、コードシンボル認識エンジン６３０、停止制御処理の各処理を並列に開始し、各処理を並行して制御する。

停止制御部６４０は、オブジェクト認識エンジン６２０及びコードシンボル認識エンジン６３０の処理状況を監視し、いずれか一方の認識エンジンが商品を認識し、売上商品を仮登録した際に他方の認識エンジンの処理を停止する。これにより、双方のエンジンが同一商品を二重に登録してしまうことを防ぐ。

オブジェクト認識エンジン６２０は、後述のオブジェクト認識処理を行う。登録部６１４はこの認識結果を利用して売上商品の商品情報を売上登録情報として登録（仮登録）する。また、表示制御部６１６は仮登録した売上商品の商品情報を登録画面７１の登録明細表示領域８３（ともに図５参照）に表示する。このように、オブジェクト認識エンジン６２０と登録部６１４と表示制御部６１６とは、本実施形態の第２処理手段として機能する。

尚、仮登録とは、売上商品の商品を登録画面７１の登録明細表示領域８３（ともに図５参照）に表示することで、精算後に売上データを記録する登録処理（例えば図６のステップＳ８）とはその処理段階を異にするものである。

コードシンボル認識エンジン６３０は、後述のコードシンボル認識処理を行う。登録部６１４はこの認識結果を利用して売上商品の商品情報を売上登録情報として登録（仮登録）する。また、表示制御部６１６は仮登録した売上商品の商品情報を登録画面７１（図５参照）に表示する。これにより、コードシンボル認識エンジン６３０と登録部６１４と表示制御部６１６とは、本実施形態の第１処理手段として機能する。

ここで、オブジェクト認識エンジン６２０およびコードシンボル認識エンジン６３０のより詳細な機能構成について、それぞれ有する各部の構成例とともに説明する。

（オブジェクト認識エンジン）
まず、オブジェクト認識エンジン６２０が有する各部の機能構成について説明する。図４に示すように、オブジェクト認識エンジン６２０は、画像取込部６２１と、商品検出部６２２と、類似度算出部６２３と、候補選出部６２４と、候補提示部６２５とを有している。

画像取込部６２１は、撮像部１６４が商品読取装置１０１のＲＡＭ１６３に保存したフレーム画像を、ＰＯＳ端末１１のＲＡＭ６３のオブジェクト認識処理用のワークメモリ上に順次取り込む。画像取込部６２１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。

商品検出部６２２は、画像取込部６２１が取り込んだフレーム画像に含まれる商品の全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線等を抽出する。次いで、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較した差分に基づいて、売上登録のために読取窓１０３に向けられた商品を検出する。

なお、前回のフレーム画像とは、例えば、オブジェクト認識エンジン６２０を起動させる前に、画像取込部６２１によって取り込まれた背景のフレーム画像である。また、前回のフレーム画像として、前回のオブジェクト認識処理の実行直後に、画像取込部６２１によって取り込まれた背景のフレーム画像を用いるようにしても良い。さらに、利用者が任意のタイミングで前回のフレーム画像を背景として取得するようにしても良い。

なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手が検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合、この物体の輪郭から商品を検出する。

類似度算出部６２３は、撮像部１６４により撮像された商品の全部または一部のフレーム画像から、商品の色合いや表面の凹凸状況等の表面の状態を特徴量として抽出する。また、類似度算出部６２３は、ＰＬＵファイルＦ１に登録された各商品（以下、登録商品という）の特徴量と、商品の特徴量とを比較することで、商品とＰＬＵファイルＦ１に登録された商品との類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％＝「類似度：１．０」とした場合に、商品の全部または一部の画像がどの程度類似しているかを示すものである。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。

このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、撮像された商品の画像と、ＰＬＵファイルＦ１に登録された登録商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品の画像と、ＰＬＵファイルＦ１に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

候補選出部６２４は、類似度算出部６２３が算出した類似度に基づいて、その類似度が所定の閾値を満たす登録商品を、撮像部１６４が撮像した商品の候補（以下、商品候補という）として選出する。

候補提示部６２５は、候補選出部６２４が認識した商品候補に関する情報を店員用表示器１０６に表示させる。より詳細には、候補提示部６２５は、条件を満たした登録商品のイラスト画像および商品名をＰＬＵファイルＦ１から読み出し、類似度算出部６２３が算出した類似度の高い順に並べて、店員用表示器１０６に表示する。

また、候補提示部６２５は、商品候補に関する情報を店員用表示器１０６に表示されるタイミングに合わせて、複数の候補が有る旨を、音声出力部１６５に音声出力させるようにしてもよい。さらに、候補提示部６２５は、野菜や果物の区別などを容易に判断できるような情報を、音声出力部１６５に音声出力させるようにしてもよい。

（コードシンボル認識エンジン）
次に、コードシンボル認識エンジン６３０が有する各部の機能について説明する。図４に示すように、コードシンボル認識エンジン６３０は、画像取込部６３１と、コードシンボル検出部６３２と、コード読取部６３３とを有している。

画像取込部６３１は、撮像部１６４が商品読取装置１０１のＲＡＭ１６３に保存したフレーム画像を、ＰＯＳ端末１１のＲＡＭ６３のコードシンボル認識処理用のワークメモリ上に取り込む。

コードシンボル検出部６３２は、画像取込部６３１により取り込まれたフレーム画像から、バーコードや二次元コードなどのコードシンボルを検出する。

コード読取部６３３は、コードシンボル検出部６３２が検出したコードシンボルから商品コードを読み取ることで商品を認識する。

入力受付部６１３は、商品読取装置１０１のタッチパネル１０５またはキーボード１０７を介して店員用表示器１０６の表示に対応する各種入力操作を受付ける。また、入力受付部６１３は、ＰＯＳ端末１１のタッチパネル２６またはキーボード２２を介して店員用表示器２３の表示に対応する各種入力操作を受付ける。例えば、入力受付部６１３は、候補提示部６２５により提示された商品候補（図９のアイコン９１ａ〜９１ｃ）の中から撮像部１６４にかざされた商品に対応する商品を選択する入力を受け付ける。

登録部６１４は、オブジェクト認識エンジン６２０が認識した商品候補について、入力受付部６１３が選択操作を受付けた商品を、販売対象の商品として売上登録（仮登録）する。即ち、登録部６１４は、入力受付部６１３が選択操作を受付けた商品について、その商品情報をＰＬＵファイルＦ１から読み取り、入力受付部６１３が受付けた販売個数とともに仮登録する。

また、登録部６１４は、コードシンボル認識エンジン６３０が認識した商品を、販売対象の商品として売上登録（仮登録）する。即ち登録部６１４は、コード読取部６３３が読み取った商品コードに対応する商品分類、商品名、単価等をＰＬＵファイルＦ１から読み取り、入力受付部６１３が受付けた販売個数とともに仮登録する。

加えて登録部６１４は、締めキー等の選択操作により一取引の終了を宣言された際に、仮登録した商品情報と精算時の金額等とを含めて売上データを生成し、売上ファイル（不図示）に登録（本登録）する。

報知部６１５は、登録部６１４が商品を登録した場合に、ブザー音や表示出力を行って報知する。例えば報知部６１５は、商品の登録を報知する画面を商品読取装置１０１の店員用表示器１０６、または、ＰＯＳ端末１１の店員用表示器１０６に表示する。

なお、報知部６１５は、コードシンボル認識エンジン６３０により商品が仮登録された場合に、コードシンボルにより仮登録されたことを明示する報知をしてもよい。オブジェクト認識処理により商品を仮登録する際にはオペレータが選択画面８５（図９参照）から商品候補を選択する必要がある。これに対してコードシンボル認識処理は、オペレータによる操作を介さずに仮登録を自動的に行う。従って、先にコードシンボル認識処理によって商品が仮登録された際に、その商品を撮像部１６４にかざすのをやめることをオペレータに促す。これにより、オペレータが仮登録後も商品をかざし続けてしまい、同一商品を再度登録してしまうことを回避することができる。

表示制御部６１６は、店員用表示器１０６等に表示させる画像を制御する。例えば表示制御部６１６は、ＰＯＳ端末１１の店員用表示器２３および商品読取装置１０１の店員用表示器１０６上に、商品登録用の登録画面７１（図５参照）を表示する。

図５は、登録画面７１の画面構成例を示す図である。登録画面７１においては、画像認識処理（即ち、オブジェクト認識処理またはコード認識処理）を用いて商品を登録することができる。尚、登録画面７１からは、商品コードの入力を受付けて商品を登録したり、商品一覧からの選択を受付けて商品を登録したりすることも可能である。

登録画面７１には、画像認識タグ８１が設けられている。画像認識タグ８１が選択操作されると、ＣＰＵ６１は画像認識処理による商品登録処理を開始する。画像認識処理による商品登録処理とは、オブジェクト認識エンジン６２０及びコードシンボル認識エンジン６３０を用いた商品登録処理のことである。また、画像認識タグ８１が選択操作されると、表示制御部６１６はオブジェクト認識画面Ｇ１の表示領域を登録画面７１内の一表示領域に割り当てて表示する。

オブジェクト認識画面Ｇ１は、撮像画像表示領域Ｇ１２と、ガイダンス表示領域Ｇ１３とを主に有している。撮像画像表示領域Ｇ１２は、撮像部１６４による撮像画像を表示する領域である。この撮像画像表示領域Ｇ１２に表示された画像を見ることで、オペレータは、商品のかざしかたなどを目視確認することができる。ガイダンス表示領域Ｇ１３は、オブジェクト認識にかかるガイダンスイラストまたはガイダンスメッセージを表示する領域である。

また、登録画面７１の下部には、商品情報表示領域８２が設けられている。表示制御部６１６は、画像認識処理または商品一覧等を介してＰＬＵファイルＦ１から直近に読み込まれた商品情報などを、商品情報表示領域８２に表示する。商品情報としては、商品名、単価等が表示される。また、入力受付部６１３がテンキー２２ｄ等の操作を介して受付けた販売個数も、商品情報表示領域８２に表示される。

加えて、登録画面７１の左側端部には、登録明細表示領域８３が設けられている。表示制御部６１６は、上述のようにＰＬＵファイルＦ１から読み込まれた商品情報を、登録順に順次、登録明細表示領域８３に表示する。

次に、ＰＯＳ端末１が行う画像認識処理による商品登録処理について、図６を用いて一動作例を説明する。図６は、画像認識処理による商品登録処理の手順例を示したフローチャートである。

入力受付部６１３が登録画面７１において画像認識タグ８１の選択操作を受付けると、並列制御部６１０は撮像部１６４に撮像オン信号を出力し、撮像部１６４に撮像処理を開始させる（ステップＳ１）。並列制御部６１０は、コードシンボル認識処理（ステップＳ２）、オブジェクト認識処理（ステップＳ３）、停止制御処理（ステップＳ４）の各処理を並行して開始する。各処理における手順については、図７、図８、図１０とともに後述する。

次に、登録部６１４は、締めキー２２ｆ（図２参照）が選択操作されたか否かを判定する（ステップＳ５）。締めキー２２ｆが選択操作されなければ（ステップＳ５：Ｎｏ）、ステップＳ２、ステップＳ３、ステップＳ４の並列処理を続行する。締めキー２２ｆが選択操作され、精算の指示を受付けると（ステップＳ５：Ｙｅｓ）、並列制御部６１０は撮像部１６４に撮像オフ信号を出力し、撮像部１６４に撮像処理を停止させる（ステップＳ６）。そして、登録部６１４は、精算処理を行う（ステップＳ７）。即ち登録部６１４は、この取引の合計金額と、キーボード２２のテンキー２２ｄから受付けた客からの預り金とから釣銭を計算する。表示制御部６１６は、計算された釣銭額を、店員用表示器２３、１０６、客用表示器２４、１０９それぞれに表示する。尚、表示出力先はこれら全ての表示器でなく一部の表示器に出力してもよい。店員は表示器に表示された釣銭を客に渡し、この取引の精算業務を終える。

登録部６１４は、一取引分の売上商品の商品情報と、合計金額、合計点数、預り金額、釣銭額、レジ担当者を示す情報、取引日時、レジ番号、レシート番号等の情報を売上ファイルに登録（本登録）し（ステップＳ８）、この取引の登録処理を終了する。

次に、ステップＳ２で行われるコードシンボル認識処理の動作例について、図７を用いて説明する。図７は、コードシンボル認識処理の手順例を示したフローチャートである。尚、ここでいうコードシンボル認識処理は、コードシンボル認識エンジン６３０が認識した商品を登録部６１４が仮登録する処理と、表示制御部６１６が登録画面７１上に表示する処理とを含むものとする。

まず、画像取込部６３１はフレーム画像の取込を開始する（ステップＳ２１）。即ち、画像取込部６３１は、撮像部１６４が商品読取装置１０１のＲＡＭ１６３に保存したフレーム画像を、ＰＯＳ端末１１のＲＡＭ６３内のコード認識用ワークメモリに取り込む（ステップＳ２１）。

コードシンボル検出部６３２は、コード認識用ワークメモリに取り込まれたフレーム画像の各々に対して、順次コードシンボルの検出処理を行う。コードシンボルが検出されない間（ステップＳ２２：Ｎｏ）は、ステップＳ２２に戻り検出処理を続ける。コードシンボルが検出されると（ステップＳ２２：Ｙｅｓ）、画像取込部６３１は、フレーム画像の取込を終了する（ステップＳ２３）。また、コード読取部６３３は、検出されたコードシンボルから、商品コードを読み取る（ステップＳ２４）。チェックデジットが適正値にならない場合など、読み取られたコードが不完全でありコード読取をやり直す必要があれば（ステップＳ２５：Ｎｏ）ステップＳ２２に戻る。そして、再度コードシンボルを検出して商品コードの読取をやり直す（ステップＳ２２〜Ｓ２５）。

一方、ステップＳ２４で読み取られたコードが適正であれば（ステップＳ２５：Ｙｅｓ）、登録部６１４は、商品コードに対応する商品情報をＰＬＵファイルＦ１から読み込むことによりその商品情報を売上登録情報として仮登録する（ステップＳ２６）。表示制御部６１６は、登録画面７１の商品情報表示領域８２および登録明細表示領域８３に、ステップＳ２６で読み込んだ商品情報と、キーボード１０７から受付けた点数や、これらに基づき計算した小計額を表示する（ステップＳ２７）。

次に、ステップＳ３で行われるオブジェクト認識処理の動作例について、図８を用いて説明する。図８は、オブジェクト認識処理の手順例を示したフローチャートである。尚、ここでいうオブジェクト認識処理は、オブジェクト認識エンジン６２０が認識した商品を登録部６１４が仮登録する処理と、表示制御部６１６が登録画面７１上に表示する処理とを含むものとする。

まず、画像取込部６２１はフレーム画像の取込を開始する（ステップＳ３１）。即ち、画像取込部６２１は、撮像部１６４が商品読取装置１０１のＲＡＭ１６３に保存したフレーム画像を、ＰＯＳ端末１１のＲＡＭ６３内のオブジェクト認識用ワークメモリに取り込む（ステップＳ３１）。

商品検出部６２２は、オブジェクト認識用ワークメモリに取り込まれたフレーム画像に対して、商品を撮像した領域の検出処理を行う。尚、商品検出部６２２は、複数のフレーム画像を積算したり、平均化あるいは平滑化等の画像処理を行って、処理後の画像に対して商品の検出処理を行ってもよい。オブジェクト（即ち、商品の撮像領域）が検出されると（ステップＳ３２：Ｙｅｓ）、画像取込部６２１はフレーム画像の取込処理を終了する（ステップＳ３３）。オブジェクトが検出されない間（ステップＳ３２：Ｎｏ）はステップＳ３２に戻る。そして商品検出部６２２は、オブジェクトが検出されるまで、画像取込部６２１が順次取り込んだフレーム画像、或いは上述のような画像処理により新たに生成された画像に対して、商品検出処理を続ける。

次に、類似度算出部６２３は、検出した商品の画像領域からその商品の特徴量を算出する。そして、類似度算出部６２３は、算出した特徴量とＰＬＵファイルＦ１とに基づき、ＰＬＵファイルＦ１に格納されている商品との類似度を算出する（ステップＳ３４）。次に、候補選出部６２４は、類似度が所定の閾値以上となった商品を商品候補として選出する（ステップＳ３５）。商品候補が選出されなければ（ステップＳ３６：Ｎｏ）、ステップＳ３１に戻り再度画像取込を開始する。商品候補が選出されると（ステップＳ３６：Ｙｅｓ）、表示制御部６１６は、オブジェクト認識画面Ｇ１（図５参照）の表示領域に図９に示すような選択画面８５を表示する（ステップＳ３７）。

図９は、選択画面８５の画面構成例を示す図である。選択画面８５は、商品候補の中から登録すべき商品を選択するための画面である。表示制御部６１６は、商品候補のイラストや商品名を含めたアイコン９１ａ〜９１ｃを、類似度の高い順に並べて表示する。選択画面８５には、商品候補のアイコン９１ａ〜９１ｃから登録すべき商品を選択するようオペレータに促すガイダンスメッセージ９２が表示される。また、選択画面８５には、再度オブジェクト認識処理を行って商品候補を再選出する処理を開始するためのアイコン９３が設けられている。オペレータは、表示された商品候補のアイコン９１ａ〜９１ｃに登録すべき商品が含まれていない際にはアイコン９３を選択すればよい。

図８に戻って、入力受付部６１３が商品候補のアイコン９１ａ〜９１ｃのうちいずれか１つの選択操作を受付けると（ステップＳ３８：Ｙｅｓ）、登録部６１４は当該商品候補に対応する商品名や商品価格等の商品情報をＰＬＵファイルＦ１から読み込み、売上登録情報として仮登録する（ステップＳ３９）。尚、アイコン９１ａ〜９１ｃの選択操作を受付けなければ（ステップＳ３８：Ｎｏ）、ステップＳ３１に戻り再度画像取込を開始する。

続いて表示制御部６１６は、登録部６１４が読み込んだ商品情報と、入力受付部６１３がキーボード１０７等から受付けた商品個数、そしてこれらにより計算された小計金額等を登録画面７１の商品情報表示領域８２および登録明細表示領域８３（ともに図５参照）に表示する（ステップＳ４０）。その後、図６のステップＳ５に移行する。

次に、ステップＳ４で行われる停止制御処理の動作例について、図１０を用いて説明する。図１０は、停止制御処理の手順例を示したフローチャートである。

停止制御部６４０は、コードシンボル認識処理（図７参照）およびオブジェクト認識処理（図８参照）の処理状況を監視する（ステップＳ４１）。即ち、停止制御部６４０は、現時点で図７に示すいずれのステップが処理中であるかを監視する。また、停止制御部６４０は、現時点で図８に示すいずれのステップが処理中であるかを監視する。オブジェクト認識エンジン６２０およびコードシンボル認識エンジン６３０のいずれか一方が商品を仮登録するまで（ステップＳ４２：Ｎｏ）、停止制御部６４０は監視処理を続行する（ステップＳ４１）。

そしてオブジェクト認識エンジン６２０およびコードシンボル認識エンジン６３０のいずれか一方が商品を認識し、当該認識結果に基づき登録部６１４が商品情報を仮登録すると（ステップＳ４２：Ｙｅｓ）、停止制御部６４０は仮登録を行っていない方の認識処理を停止させる。またこの場合に停止制御部６４０は、その時点での処理進行状況に応じて認識処理を停止する。

まず、コードシンボル認識処理（図７参照）において先に商品が仮登録されて、オブジェクト認識処理（図８参照）を停止する場合の停止処理手順について説明する。

コードシンボル認識エンジン６３０の商品コード読取による停止である場合（ステップＳ４３：Ｙｅｓ）、停止制御部６４０はオブジェクト認識エンジン６２０の処理段階がオブジェクト認識処理（図８参照）のいずれのステップであったかを読み込む（ステップＳ４４）。そして、商品検出部６２２がフレーム画像からオブジェクト（商品）を検出していなければ（ステップＳ４５：Ｎｏ）、停止制御部６４０は画像取込部６２１に画像の取込を停止させる（ステップＳ４６）。そして、停止制御部６４０は、オブジェクト認識用のワークメモリをクリアし（ステップＳ４７）、図６のステップＳ５に移行する。

オブジェクト認識処理（図８参照）においてステップＳ３２：Ｙｅｓ以降にあり、商品検出部６２２がすでに商品を検出していれば（ステップＳ４５：Ｙｅｓ）、ステップＳ４８に移行する。そして、オブジェクト認識処理（図８参照）においてステップＳ３５まで処理が進んでおらず、商品候補がまだ選出されていなければ（ステップＳ４８：Ｎｏ）、ステップＳ４９の処理を行う。ステップＳ４９で停止制御部６４０は、候補選出部６２４による商品候補の選出処理（図８のステップＳ３５）を停止させる。その後、停止制御部６４０は、オブジェクト認識用のワークメモリをクリアし（ステップＳ４７）、図６のステップＳ５に移行する。

一方、商品候補がすでに選定されていれば（ステップＳ４８：Ｙｅｓ）、停止制御部６４０は、表示制御部６１６による選択画面８５の表示処理（図８のステップＳ３８）を終了させる（ステップＳ５０）。その後、停止制御部６４０は、オブジェクト認識用のワークメモリをクリアし（ステップＳ４７）、図６のステップＳ５に移行する。

一方、オブジェクト認識処理（図８参照）において先に商品が仮登録されて、コードシンボル認識処理（図７参照）を停止する場合の停止処理手順について説明する。

オブジェクト認識エンジン６２０のオブジェクト認識による停止である場合（ステップＳ４３：Ｎｏ〜ステップＳ５１：Ｙｅｓ）、停止制御部６４０は、図７に示すコードシンボル認識処理を停止する（ステップＳ５２）。そして停止制御部６４０は、コードシンボル認識用のワークメモリをクリアし（ステップＳ５３）、図６のステップＳ５に移行する。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施形態では、ＰＯＳ端末１１がＰＬＵファイルＦ１を備える形態としたが、これに限らず、商品読取装置１０１がＰＬＵファイルＦ１を備える形態としてもよい。または、ＰＯＳ端末１１及び商品読取装置１０１がアクセス可能な外部装置がＰＬＵファイルＦ１を備える形態としてもよい。

また、上記実施形態では、画像取込部６２１と、並列制御部６１０と、オブジェクト認識エンジン６２０と、コードシンボル認識エンジン６３０と、入力受付部６１３と、登録部６１４と、報知部６１５と、表示制御部６１６との機能を有する情報処理装置としてＰＯＳ端末１１を適用した。しかし、これに限らず、画像取込部６２１と、並列制御部６１０と、オブジェクト認識エンジン６２０と、コードシンボル認識エンジン６３０と、入力受付部６１３と、登録部６１４と、報知部６１５と、表示制御部６１６との機能を備えて、算出結果や判定結果をＰＯＳ端末１１に出力する情報処理装置として商品読取装置１０１を適用してもよい。また、上記実施形態では、照合用データを特徴量として説明したが、照合用データは、撮像された商品画像（基準画像）としてもよい。

また、上記実施形態で説明した機能を、ＰＯＳ端末１１及び商品読取装置１０１の機能を兼ね備えた１台の販売データ処理装置が有する形態としてもよい。一例として、上述した本実施形態の諸機能を、セルフチェックアウト装置（セルフＰＯＳ端末）に備える形態としてもよい。即ち、セルフＰＯＳ端末（販売データ処理装置）は撮像部１６４を有し、図４とともに上述した各部の機能を制御部として実現できる構成を有すればよい。尚、制御部の機能としては、上述した並列制御部６１０、オブジェクト認識エンジン６２０、コードシンボル認識エンジン６３０、停止制御部６４０、入力受付部６１３、登録部６１４、報知部６１５、表示制御部６１６を有すればよい。

また、報知部６１５は、停止前のオブジェクト識別処理においてオブジェクト認識エンジン６２０が選出した商品候補と、処理再開後のオブジェクト識別処理においてオブジェクト認識エンジン６２０が選出した商品候補とが同じ商品であれば、前回の商品候補と今回の商品候補とが同一の商品である旨を報知してもよい。更に好ましくは、前回（即ち、処理停止前）のオブジェクト識別処理において選出された最も類似性（類似度）の高い商品候補と、今回（処理再開後）のオブジェクト識別処理において選出された最も類似性の高い商品候補とが同一の場合に、前回の商品候補と今回の商品候補とが同一であることを色やマークにより報知するとよい。

これにより、次回分の画像取込が再開された場合にオペレータが同じ商品を撮像部１６４に翳し続けており、再度同じ商品の撮像を続けてしまった場合に、同一商品を再登録することを回避しやすくなる。

また、上述では、停止制御部６４０が、コードシンボル認識処理またはオブジェクト認識処理のいずれか一方において先に商品が仮登録されたタイミングで、他方の認識処理を停止する例について説明したが、処理停止のトリガとなるタイミングについては仮登録に限定されない。即ち、仮登録とそれに伴う仮登録情報の表示など、外部から確認可能なタイミングであってもよいし、外部から確認しにくい他の処理状況に応じたタイミングであってもよい。図７において例えば、ステップＳ２４のコード読取が終了した時点や、適正コードであることが判定された時点（ステップＳ２５：Ｙｅｓ）、ＰＬＵファイルＦ１から商品情報が読み込まれた時点（ステップＳ２６）等を、処理停止のトリガとなるタイミングとして用いてもよい。

上記実施形態や変形例の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らないものとする。例えば、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態や変形例の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよいし、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

以上のように本実施形態によれば、コードシンボル認識処理（第１処理）で読み取られた商品情報が売上商品の商品情報として登録画面７１に表示されると、オブジェクト認識処理（第２処理）において表示された選択画面８５の表示が終了する。オペレータは、選択画面８５の表示終了により、コード読取処理によって商品が売上商品として登録（仮登録）されたことを認識することができる。従って本実施形態によれば、並行して行われている画像認識処理の処理段階が分かり易くなる。

また、本実施形態によれば、オペレータの操作を介さずに選択画面８５の表示を自動的に終了できる。従って本実施形態によれば、コード読取処理による商品登録とオブジェクト認識処理による商品登録とを並行して行う際の作業効率の向上を図ることができる。

１ チェックアウトシステム
１１ ＰＯＳ端末
１０１ 商品読取装置
１６４ 撮像部
６１０ 並列制御部
６１３ 入力受付部
６１４ 登録部
６１５ 報知部（報知手段、第２報知手段）
６１６ 表示制御部（選択画面終了手段）
６２０ オブジェクト認識エンジン（第１処理手段）
６２１ 画像取込部
６２２ 商品検出部
６２３ 類似度算出部
６２４ 候補選出部
６２５ 候補提示部
６３０ コードシンボル認識エンジン（第２処理手段）
６３１ 画像取込部
６３２ コードシンボル検出部
６３３ コード読取部
Ｆ１ ＰＬＵファイル

特開２０１３−１７８７２２号公報

Claims (6)

1. 撮像手段に対して商品をかざす旨のガイダンスを表示する第１表示制御手段と、
   前記撮像手段の撮像画像を取り込んで当該撮像画像からコードシンボルを検出し、検出したコードシンボルに基づいて商品記憶手段から読み込んだ商品情報を売上登録情報として表示する第１処理を行う第１処理手段と、
   前記撮像画像から撮像対象物を検出し、当該撮像対象物の特徴と照合用の商品画像の特徴とを比較して前記撮像対象物に類似する商品候補を選出する処理を行う選出手段と、
   前記選出手段が前記商品候補を選出すると、前記ガイダンスの表示に替わって、選出した商品候補を提示した選択画面を表示する第２表示制御手段と、
   前記選択画面から売上登録する商品の選択操作を受付けると、当該商品の商品情報を前記商品記憶手段から読み込む第２読込手段と、
   前記第２読込手段が読み込んだ前記商品情報を売上登録情報として表示する第２処理を行う第２処理手段と、
   前記第１処理手段および前記第２処理手段のうちいずれか一方が先に前記売上登録情報を表示すると、他方の処理手段による処理を停止する停止制御手段と、
   前記第１処理手段が先に前記売上登録情報を表示すると、前記選択画面の表示を終了して、前記ガイダンスを表示する第３表示制御手段と、
   を備えた情報処理装置。
2. 前記第１表示制御手段は、前記ガイダンスと共に前記撮像手段の撮像画像を表示する、請求項１に記載の情報処理装置。
3. 撮像手段と、
   前記撮像手段に対して商品をかざす旨のガイダンスを表示する第１表示制御手段と、
   前記撮像手段の撮像画像を取り込んで当該撮像画像からコードシンボルを検出し、検出したコードシンボルに基づいて商品記憶手段から読み込んだ商品情報を売上登録情報として表示する第１処理を行う第１処理手段と、
   前記撮像画像から撮像対象物を検出し、当該撮像対象物の特徴と照合用の商品画像の特徴とを比較して前記撮像対象物に類似する商品候補を選出する処理を行う選出手段と、
   前記選出手段が前記商品候補を選出すると、前記ガイダンスの表示に替わって、選出した商品候補を提示した選択画面を表示する第２表示制御手段と、
   前記選択画面から売上登録する商品の選択操作を受付けると、当該商品の商品情報を前記商品記憶手段から読み込む第２読込手段と、
   前記第２読込手段が読み込んだ前記商品情報を売上登録情報として表示する第２処理を行う第２処理手段と、
   前記第１処理手段および前記第２処理手段のうちいずれか一方が先に前記売上登録情報を表示すると、他方の処理手段による処理を停止する停止制御手段と、
   前記第１処理手段が先に前記売上登録情報を表示すると、前記選択画面の表示を終了して、前記ガイダンスを表示する第３表示制御手段と、
   を含む販売データ処理装置。
4. 前記第１表示制御手段は、前記ガイダンスと共に前記撮像手段の撮像画像を表示する、請求項３に記載の販売データ処理装置。
5. 情報処理装置を制御するコンピュータを、
   撮像手段に対して商品をかざす旨のガイダンスを表示する第１表示制御手段と、
   前記撮像手段の撮像画像を取り込んで当該撮像画像からコードシンボルを検出し、検出したコードシンボルに基づいて商品記憶手段から読み込んだ商品情報を売上登録情報として表示する第１処理を行う第１処理手段と、
   前記撮像画像から撮像対象物を検出し、当該撮像対象物の特徴と照合用の商品画像の特徴とを比較して前記撮像対象物に類似する商品候補を選出する処理を行う選出手段と、
   前記選出手段が前記商品候補を選出すると、前記ガイダンスの表示に替わって、選出した商品候補を提示した選択画面を表示する第２表示制御手段と、
   前記選択画面から売上登録する商品の選択操作を受付けると、当該商品の商品情報を前記商品記憶手段から読み込む第２読込手段と、
   前記第２読込手段が読み込んだ前記商品情報を売上登録情報として表示する第２処理を行う第２処理手段と、
   前記第１処理手段および前記第２処理手段のうちいずれか一方が先に前記売上登録情報を表示すると、他方の処理手段による処理を停止する停止制御手段と、
   前記第１処理手段が先に前記売上登録情報を表示すると、前記選択画面の表示を終了して、前記ガイダンスを表示する第３表示制御手段と、
   として機能させるためのプログラム。
6. 前記第１表示制御手段は、前記ガイダンスと共に前記撮像手段の撮像画像を表示する、請求項５に記載のプログラム。