JP6208091B2 - 情報処理装置およびプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置およびプログラムに関する。

従来、スーパーマーケット等の店舗では、バーコードなどのコードシンボルが付された商品を撮像し、画像データに含まれるコードシンボルから抽出したコード情報を用いて、識別された商品を売上登録するシステムが利用されている。

また、近年、イメージセンサデバイスにより撮像した画像データから抽出した対象物品の特徴量と、予め用意された辞書における照合用のデータ（特徴量）とを比較した類似度に応じて当該物品の種別等を認識（検出）する一般物体認識（オブジェクト認識）に係る技術が存在している。また、この一般物体認識に係る技術を、青果品等の商品の識別に用いて、識別された商品を売上登録するシステムが提案されている。さらに、上述したコードシンボルによる売上登録機能と、オブジェクト認識により売上登録機能との両機能を備えたシステムが提案されている。

ところで、コードシンボルが付されている商品は、商品のパッケージに青果品等の写真が印刷されている場合がある。このようなパッケージに包まれた商品をオブジェクト認識しようとすると、パッケージ写真の青果品を商品と誤認し、誤った商品が売上登録されてしまう可能性がある。そのため、オペレータは、誤った商品が売上登録されてしまうことを防ぐため、商品によっては、オブジェクト認識からコードシンボルによる売上登録に切り替えなければならない。しかしながら、当該操作は煩雑であり、処理の効率化を妨げる要因となる。

本発明が解決しようとする課題は、コードシンボルにより売上登録機能と、一般物体認識により売上登録機能とを同時に使用することができる情報処理装置およびプログラムを提供することである。

実施形態の情報処理装置は、撮像手段と、第１の認識手段と、入力手段と、第２の認識手段と、制御手段と、表示制御手段と、登録手段と、を備える。前記撮像手段は、撮像部にかざされた物体を撮像する。前記第１の認識手段は、前記撮像手段により撮像された前記物体の特徴量と、予め辞書に登録された各商品の照合用特徴量とを比較し、その類似度に基づいて前記各商品の中から前記物体の候補となる商品候補を認識する。前記入力手段は、前記商品候補の中から前記物体に対応した商品を選択する入力を受け付ける。前記第２の認識手段は、前記撮像手段が撮像した画像から前記物体に付されたコードシンボルを検出し、当該コードシンボルに基づいて前記物体に対応する商品を認識する。前記制御手段は、前記第１の認識手段と前記第２の認識手段とを並列処理させる。前記表示制御手段は、前記制御手段に前記並列処理を開始させる第１操作子と、販売対象の商品を選択させる商品一覧を表示させる第２操作子とを同一画面に表示させる。前記登録手段は、前記商品一覧から選択された商品、前記入力手段が入力を受け付けた商品又は前記第２の認識手段が認識した商品を、販売対象の商品として登録する。

図１は、実施形態にかかるチェックアウトシステムの一例を示す斜視図である。 図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図３は、ＰＬＵファイルのデータ構成を例示する概念図である。 図４は、ＰＯＳ端末の機能構成を示すブロック図である。 図５は、商品識別処理の流れを示すフローチャートである。 図６は、画像認識タグが選択された商品登録画面の一例を示す説明図である。 図７は、タグが垂直に配置された商品登録画面の一例を示す説明図である。 図８は、プリセット画面を備える商品登録画面の一例を示す説明図である。 図９は、コードシンボル認識処理の流れを示すフローチャートである。 図１０は、登録商品表示領域に登録された商品を表示した商品登録画面の一例を示す説明図である。 図１１は、報知画面の一例を示す説明図である。 図１２は、オブジェクト認識処理の流れを示すフローチャートである。 図１３は、商品候補領域に商品候補ボタンが表示された商品登録画面の一例を示す説明図である。 図１４は、セルフＰＯＳの構成を示す外観斜視図である。 図１５は、セルフＰＯＳのハードウェア構成を示すブロック図である。

以下では、本実施形態に係る情報処理装置及びプログラムについて、チェックアウトシステムを例に図面を参照して説明する。チェックアウトシステムは、一取引に係る商品の登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。

図１は、実施形態にかかるチェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、商品に関する情報を読み取る商品読取装置１０１と、一取引に係る商品の登録、精算を行うＰＯＳ端末１１とを備える。以下では、ＰＯＳ端末１１を本実施形態にかかる情報処理装置として適用する例について説明する。

ＰＯＳ端末１１は、チェックアウト台４１上のドロワ２１上面に載置される。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置される。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する第１表示デバイス２３が設けられる。第１表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層される。第１表示デバイス２３よりも更に奥側には、顧客に向けて情報を表示する第２表示デバイス２４が回転可能に立設される。第２表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す第２表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように第２表示デバイス２４を回転させることによって、第２表示デバイス２４は顧客に向けて情報を表示する。

ＰＯＳ端末１１が載置されているチェックアウト台４１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置される。カウンタ台１５１の上面には、荷受け面１５２が形成される。荷受け面１５２には、商品Ａを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。

カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置される。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置される。ハウジング１０２の上部には、表示・操作部１０４が取り付けられる。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示部である第１表示デバイス１０６が設けられる。第１表示デバイス１０６の右隣にはキーボード１０７が配設される。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられる。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に向けて情報を提供する第２表示デバイス１０９が設置される。

このような商品読取装置１０１は、商品読取部１１０（図２参照）を備える。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置する。

顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ａが収納される。第１の買物カゴ１５３ａ内の商品Ａは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂに移動される。この移動過程で、商品Ａが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ａを撮像する。

商品読取装置１０１は、売上登録する商品の商品ＩＤをＰＯＳ端末１１に通知する。具体的には、商品読取装置１０１は、撮像部１６４が撮像した画像に含まれる商品Ａが、後述するＰＬＵファイルＦ１（図３参照）に登録された何れの商品に対応するかを指定させるための画面を表示・操作部１０４に表示する。そして、商品読取装置１０１は、指定された商品の商品ＩＤをＰＯＳ端末１１に通知する。ＰＯＳ端末１１では、商品読取装置１０１から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示しない）等に記録して売上登録を行う。

図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成される。

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、第１表示デバイス２３、タッチパネル２６、第２表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続される。これらは、ＣＰＵ６１による制御を受ける。

キーボード２２は、「１」、「２」、「３」・・・等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続される。ＨＤＤ６４には、プログラムや各種ファイルが記憶される。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部または一部がＲＡＭ６３にコピーされてＣＰＵ６１により実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用プログラムＰＲ１である。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。なお、ＨＤＤ６４は、記憶装置であればよく、ＳＳＤ（Solid State Drive）などの他の記憶媒体で構成された記憶装置であってもよい。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ａの各々について、商品Ａの売上登録に係る情報を格納する商品ファイルである。以下の説明では、ＰＬＵファイルＦ１を辞書として用いるが、辞書はＰＬＵファイルＦ１と異なるファイルであっても良い。辞書は、撮像した画像データから抽出した商品を識別するための照合用データ（特徴量）を、複数の商品について記憶する。辞書は、ＰＬＵファイルＦ１と異なるファイルである場合、辞書に記憶される照合用データ（特徴量）と、ＰＬＵファイルＦ１の情報（識別情報）は紐付けられる。特徴量は、商品の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。

図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品ごとに、商品ＩＤと、商品に関する情報と、イラスト画像と、特徴量とを、その商品Ａの商品情報として格納するファイルである。商品ＩＤは、商品を識別可能な識別情報である。商品に関する情報は、商品Ａが属する商品分類、商品名、品種、単価等の情報である。イラスト画像は、その商品Ａを示す画像である。特徴量は、撮像した商品画像から読み取られる色合いや表面の凹凸状況等の情報である。尚、特徴量は、後述する類似度の判定に用いられる照合用のデータである。なお、ＰＬＵファイルＦ１は、後述する接続インターフェース６５を介し、商品読取装置１０１が読み出し可能に構成される。

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続される。ストアコンピュータＳＣは、店舗のバックヤード等に設置される。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納される。

更に、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続される。接続インターフェース６５には、商品読取装置１０１が接続される。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続される。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。

商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成される。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶される。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも不図示）を介して接続される。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介して、商品読取部１１０及びＰＯＳ端末１１に接続される。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１、ＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。

撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等のイメージセンサ（不図示）とＬＥＤなどの光源（不図示）とを有しており、ＣＰＵ１６１の制御の下で読取窓１０３の内部から撮像を行う。例えば撮像部１６４では３０ｆｐｓ（Flame Per Second）の画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。

音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音や音声による報知を行う。

更に、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続される。また、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。

次に、ＣＰＵ６１がプログラム（商品販売データ処理用プログラムＰＲ１）を実行することで実現されるＣＰＵ６１の機能構成について説明する。図４は、ＰＯＳ端末１１の機能構成を示すブロック図である。

図４は、ＰＯＳ端末１１の機能構成を示すブロック図である。図４に示すように、ＰＯＳ端末１１のＣＰＵ６１は、ＲＯＭ６２やＨＤＤ６４が格納するプログラムを実行することにより各種機能を発揮する。具体的には、ＰＯＳ端末１１のＣＰＵ６１は、画像取込部６１１と、並列制御部６１２と、オブジェクト認識エンジン６２０と、コードシンボル認識エンジン６３０と、入力受付部６１３と、売上登録部６１４と、登録報知部６１５と、表示制御部６１６として機能する。ここで、第１の認識手段であるオブジェクト認識エンジン６２０は、商品検出部６２１と、類似度算出部６２２と、類似度判定部６２３と、商品候補提示部６２４とを有する。また、第２の認識手段であるコードシンボル認識エンジン６３０は、コードシンボル検出部６３１と、コードシンボル読取部６３２とを有する。

撮像手段である画像取込部６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。画像取込部６１１によるフレーム画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。

ところで、撮像部１６４の光源の近く、すなわち読取窓１０３の近くに商品Ａ（オブジェクト）が位置していない場合、撮像部１６４による撮影画像は明度０かそれに近い状態となる。そして、読取窓１０３に認識させたい商品Ａ（オブジェクト）を近づけることにより、光源からの光が商品Ａ（オブジェクト）に反射するので撮像部１６４による撮影画像の明度が明るく変化する。

画像取込部６１１は、このような明度変化（色の属性の変化）を検知し、明度が所定の基準値より高い場合に、商品Ａ（オブジェクト）がかざされた状態であると判定する。一方、明度が所定の基準値より低い場合に、画像取込部６１１は、商品Ａ（オブジェクト）がかざされていない状態、すなわちフレームアウトした状態であると判定する。

なお、商品読取装置１０１の設置環境によっては、商品Ａ（オブジェクト）がない状態での撮影画像にはばらつきが生じることがある。そこで、不要な外乱による影響による不要なオブジェクト認識処理によりＣＰＵ負荷を増やすことの無いように、オブジェクト認識エンジン６２０を動作させる明度の基準値を制御・設定する必要がある。なお、色の属性としては、色の明るさを表す明度の他に、色味の強さを表す彩度を用いるようにしてもよい。

制御手段である並列制御部６１２は、オブジェクト認識エンジン６２０と、コードシンボル認識エンジン６３０とによる並列処理を制御する。さらに詳しくは、並列制御部６１２は、画像取込部６１１がフレーム画像をＲＡＭ１６３に取り込んだことを通知する。これにより、オブジェクト認識エンジン６２０と、コードシンボル認識エンジン６３０とは、並列して処理を開始する。そして、並列制御部６１２は、オブジェクト認識エンジン６２０が商品Ａを認識し、売上登録した場合には、コードシンボル認識エンジン６３０を停止させる。また、並列制御部６１２は、コードシンボル認識エンジン６３０が商品Ａを認識し、売上登録した場合には、オブジェクト認識エンジン６２０を停止させる。

（オブジェクト認識エンジン）
オブジェクト認識エンジン６２０に係る機能について説明する。商品検出部６２１は、並列制御部６１２からフレーム画像がＲＡＭ１６３に保存されたことを通知されると、ＲＡＭ１６３に保存されたフレーム画像を読み取る。

そして、商品検出部６２１は、画像取込部６１１により取り込まれたフレーム画像に含まれる商品Ａの全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線等を抽出する。次いで、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較した差分に基づいて、売上登録のために読取窓１０３に向けられた商品を検出する。

なお、前回のフレーム画像とは、例えば、オブジェクト認識エンジン６２０を起動させる前に、画像取込部６１１によって取り込まれた背景のフレーム画像である。このようなオブジェクト認識エンジン６２０を起動させる前に前回のフレーム画像として背景のフレーム画像を自動的に取得することは、背景が比較的余り変わらない環境の場合に有用である。例えば、撮像部１６４が、カウンタ台１５１の上面の荷受け面１５２に向けて、鉛直下向き方向を読取方向として取り付けられている場合などである。なお、環境には、照明（周囲と商品読取装置１０１自体の照明）の状態と、利用者の服装などが含まれる。

また、前回のフレーム画像として、前回のオブジェクト認識処理の実行直後に、画像取込部６１１によって取り込まれた背景のフレーム画像を用いるようにしても良い。このようにすることは、背景が比較的変わりやすい環境や、セルフレジなどのようにお客様の服装や商品読取装置１０１との距離などがさまざまに変わることが予測されるような場合に有用である。

さらに、利用者が任意のタイミングで前回のフレーム画像を背景として取得するようにしても良い。任意のタイミングで前回のフレーム画像を背景として取得するケースとしては、様々な場合が考えられるが、例えば辞書であるＰＬＵファイルＦ１の作成時などに有効である。

なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手が検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合、この物体の輪郭から商品を検出する。

類似度算出部６２２は、撮像部１６４により撮像された商品Ａの全部または一部のフレーム画像から、商品Ａの色合いや表面の凹凸状況等の表面の状態を特徴量として抽出する。なお、類似度算出部６２２は、処理時間の短縮を図るため、商品Ａの輪郭や大きさは考慮しないものとする。

また、類似度算出部６２２は、ＰＬＵファイルＦ１に登録された各商品（以下、登録商品という）の特徴量と、商品Ａの特徴量とを比較することで、商品ＡとＰＬＵファイルＦ１に登録された商品との類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１に記憶されている各商品の商品画像を１００％＝「類似度：１．０」とした場合に、商品Ａの全部または一部の画像がどの程度類似しているかを示すものである。なお、例えば、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。

このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、撮像された商品Ａの画像と、ＰＬＵファイルＦ１に登録された登録商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ａの画像と、ＰＬＵファイルＦ１に登録された各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合に、類似度算出部６２２は、商品Ａの特徴量と、ＰＬＵファイルＦ１に登録された各登録商品の特徴量とを１対１で比較し、導出した類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合に、類似度算出部６２２は、ＰＬＵファイルＦ１に登録された各登録商品の類似度の総和が１．０（１００％）となるよう算出すればよい。ＰＬＵファイルＦ１に５つの登録商品（商品ＡＡ、ＡＢ、ＡＣ、ＡＤ、ＡＥ）が登録されている場合を例に説明する。類似度算出部６２２は、撮像された商品Ａとの類似度を、商品ＡＡは０．６、商品ＡＢは０．１、商品ＡＣは０．１、商品ＡＤは０．１、商品ＡＥは０．１等として、類似度の総和が１．０となるよう算出する。

類似度判定部６２３は、類似度算出部６２２が算出した類似度に基づいて、その類似度が所定の閾値を満たす登録商品を、撮像部１６４が撮像した商品Ａの候補（以下、商品候補という）として認識する。

商品候補提示部６２４は、類似度判定部６２３が認識した商品候補に関する情報を第１表示デバイス１０６に表示させる。より詳細には、商品候補提示部６２４は、条件を満たした登録商品のイラスト画像および商品名をＰＬＵファイルＦ１から読み出し、類似度算出部６２２が算出した類似度の高いものから、第１表示デバイス１０６に順次出力する。

また、商品候補提示部６２４は、商品候補に関する情報を第１表示デバイス１０６に表示されるタイミングに合わせて、複数の候補が有る旨を、音声出力部１６５に音声出力させるようにしてもよい。さらに、商品候補提示部６２４は、野菜や果物の区別などを容易に判断できるような情報を、音声出力部１６５に音声出力させるようにしてもよい。

入力手段である入力受付部６１３は、タッチパネル１０５またはキーボード１０７を介して第１表示デバイス１０６の表示に対応する各種入力操作を受付ける。更に詳しくは、入力受付部６１３は、商品候補提示部６２４により提示された商品候補からの中から撮像部１６４にかざされた商品Ａに対応する商品を選択する入力を受け付ける。

（コードシンボル認識エンジン）
コードシンボル認識エンジン６３０に係る機能について説明する。コードシンボル検出部６３１は、並列制御部６１２からフレーム画像がＲＡＭ１６３に保存されたことを通知されると、ＲＡＭ１６３に保存されたフレーム画像を読み取る。そして、コードシンボル検出部６３１は、画像取込部６１１により取り込まれたフレーム画像から、商品に関する情報として商品Ａに付されたバーコードや二次元コードなどのコードシンボルを検出する。

コードシンボル読取部６３２は、コードシンボル検出部６３１が検出したコードシンボルから商品ＩＤを読み取ることで商品を認識する。

登録手段である売上登録部６１４は、オブジェクト認識エンジン６２０が認識した商品候補から選択された商品、又はコードシンボル認識エンジン６３０により認識された商品を販売対象の商品として売上登録する。具体的には、売上登録部６１４は、ＰＬＵファイルＦ１を参照して、認識された商品の商品ＩＤ、及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。

登録手段である登録報知部６１５は、売上登録部６１４が商品登録した場合に報知する。登録報知部６１５は、例えば、ブザー音を発することにより報知する。または、登録報知部６１５は、例えば、商品登録されたことを報知する画面を第１表示デバイス１０６に表示することで報知する。

登録報知部６１５は、コードシンボル認識エンジン６３０により商品が登録された場合に、コードシンボルにより商品登録されたことを明示する報知をしてもよい。コードシンボル認識エンジン６３０は、商品の登録に、オペレータ（店員）による入力操作を必要としない。よって、登録報知部６１５は、商品登録されたことを報知することで、オペレータ（店員）の操作ミスを防ぐことができる。

表示制御手段である表示制御部６１６は、第１表示デバイス１０６等に表示させる画像を制御する。さらに詳しくは、表示制御部６１６は、オブジェクト認識エンジン６２０により認識された商品、又はコードシンボル認識エンジン６３０により認識された商品を販売対象の商品として売上登録するための画像認識画面の表示を制御する。また、表示制御部６１６は、商品一覧画面から選択された商品を販売対象の商品として売上登録するためのプリセット画面Ｇ１５（図８参照）の表示を制御する。

さらに、表示制御部６１６は、画像認識画面とプリセット画面Ｇ１５（図８参照）との両画面を、オペレータからの操作に応じて切り替えることで、同一のオブジェクト認識画面Ｇ１（図６参照）内に表示する。これにより、オペレータは、オブジェクト認識エンジン６２０又はコードシンボル認識エンジン６３０により認識された商品を売上登録するモードと、商品一覧画面から選択された商品を売上登録するモードとを、容易に切り替えることができる。

次に、上述した実施形態にかかるＰＯＳ端末１１のＣＰＵ６１が制御プログラムに従って実行する商品登録処理について説明する。

図５は、ＰＯＳ端末１１のＣＰＵ６１が制御プログラムに従って実行する商品識別処理の流れを示すフローチャートである。

まず、ＰＯＳ端末１１のＣＰＵ６１（表示制御部６１６）は、画像認識が選択されたオブジェクト認識画面Ｇ１を表示する（ステップＳ１１）。

ここで、図６は、画像認識が選択されたオブジェクト認識画面Ｇ１の一例を示す説明図である。画像認識が選択されたオブジェクト認識画面Ｇ１は、大別すると、複数のタグＧ１１ａ、Ｇ１１ｂと、撮像画像表示領域Ｇ１２と、メッセージ表示領域Ｇ１３と、登録商品表示領域Ｇ１４とを備える。

タグＧ１１ａ、Ｇ１１ｂは、画面を切り替える操作子である。オペレータは、タグＧ１１ａ、Ｇ１１ｂを用いて、画面を切り替えることで商品登録方法を切り替えることができる。タグＧ１１ａ、Ｇ１１ｂは、画像認識タグＧ１１ａと、１以上の商品分類タグＧ１１ｂとに大別される。

画像認識タグＧ１１ａは、オブジェクト認識エンジン６２０及びコードシンボル認識エンジン６３０を用いた商品登録を行う場合に押下する。商品分類タグＧ１１ｂは、商品分類ごとに設けられており、事前に作成された商品一覧から商品登録を行う場合に押下する。商品分類とは、例えば、青果、総菜、精肉、鮮魚、ベーカリーなどである。

撮像画像表示領域Ｇ１２は、撮像部１６４が撮像した画像を表示する領域である。この撮像画像表示領域Ｇ１２に表示された画像を見ることで、オペレータは、物体のかざしかたなどを確認することができる。メッセージ表示領域Ｇ１３は、メッセージを表示する領域である。図６に示すメッセージ表示領域Ｇ１３は、「商品をスキャナにかざしてください」とのメッセージとイラストとを表示している。登録商品表示領域Ｇ１４は、商品登録された商品の名称と、登録点数と、売価とを表示する領域である。なお、図６に示すタグＧ１１ａ、Ｇ１１ｂは、水平方向に並べて配置されているが、タグＧ１１ａ、Ｇ１１ｂの配置場所は、これに限らない。

ここで、図７は、タグＧ１１ａ、Ｇ１１ｂが垂直に配置されたオブジェクト認識画面Ｇ１の一例を示す説明図である。図７に示すように、タグＧ１１ａ、Ｇ１１ｂは、垂直水平方向に並べて配置してもよい。

図５に戻り、ＰＯＳ端末１１のＣＰＵ６１は、商品分類タグＧ１１ｂの押下が検出されるか否かを判定する（ステップＳ１２）。商品分類タグＧ１１ｂの押下が検出されない場合に（ステップＳ１２；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１（画像取込部６１１）は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる（ステップＳ１３）。次いで、ＰＯＳ端末１１のＣＰＵ６１（画像取込部６１１）は、撮像部１６４が商品Ａを撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む（ステップＳ１４）。

次いで、ＰＯＳ端末１１のＣＰＵ６１（並列制御部６１２）は、オブジェクト認識エンジン６２０と、コードシンボル認識エンジン６３０とにフレーム画像を提供する（ステップＳ１５）。

これにより、ＰＯＳ端末１１のＣＰＵ６１は、後述するコードシンボル認識処理を実行する（ステップＳ１６）。同時に、ＰＯＳ端末１１のＣＰＵ６１は、後述するオブジェクト認識処理を実行する（ステップＳ１７）。これにより、ＰＯＳ端末１１のＣＰＵ６１は、コードシンボル認識処理と、オブジェクト認識処理とを並列して実行する。

一方、オブジェクト認識画面Ｇ１の商品分類タグＧ１１ｂの押下が検出された場合に（ステップＳ１２；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１（表示制御部６１６）は、商品一覧から商品登録を行うプリセット画面Ｇ１５を備えるオブジェクト認識画面Ｇ１を表示する（ステップＳ１８）。

ここで、図８は、プリセット画面Ｇ１５を備えるオブジェクト認識画面Ｇ１の一例を示す説明図である。プリセット画面Ｇ１５は、商品分類タグＧ１１ｂの分類に属する商品に対応付けられたプリセットボタンＧ１５ａを備える。図８に示すオブジェクト認識画面Ｇ１は、商品分類１の商品分類タグＧ１１ｂが選択され、商品分類１に含まれる商品が対応付けられたプリセットボタンＧ１５ａが表示された状態を示している。

次いで、ＰＯＳ端末１１のＣＰＵ６１は、プリセットボタンＧ１５ａの押下が検出されるか否かを判定する（ステップＳ１９）。プリセットボタンＧ１５ａの押下が検出されない場合に（ステップＳ１９；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１は、待機する。

一方、プリセットボタンＧ１５ａの押下が検出された場合に（ステップＳ１９；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１は、押下されたプリセットボタンＧ１５ａに対応付けられた商品を販売対象の商品として登録する（ステップＳ２０）。

次いで、ＰＯＳ端末１１のＣＰＵ６１は、商品登録を終了する締めキー２２ｆの押下が検出されるか否かを判定する（ステップＳ２１）。商品登録を終了する締めキー２２ｆの押下が検出されない場合に（ステップＳ２１；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１は、ステップＳ１１に移行する。

一方、締めキー２２ｆの押下が検出された場合に（ステップＳ２１；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１（売上登録部６１４）は、商品登録された商品を売上マスタファイル等に記録して売上登録する（ステップＳ２２）。

以上により、ＰＯＳ端末１１のＣＰＵ６１は、商品登録処理を実行する。

次に、上述した実施形態にかかるＰＯＳ端末１１のＣＰＵ６１が制御プログラムに従って実行するコードシンボル認識処理について説明する。

図９は、ＰＯＳ端末１１のＣＰＵ６１が制御プログラムに従って実行するコードシンボル認識処理の流れを示すフローチャートである。

まず、ＰＯＳ端末１１のＣＰＵ６１は、オブジェクト認識エンジン６２０による商品登録が行われたことを示す通知を受信したか否かを判定する（ステップＳ３１）。

通知を受信した場合に（ステップＳ３１；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１（並列制御部６１２）は、撮像部１６４にかざされた商品は登録されたため、コードシンボル認識処理を停止する（ステップＳ３２）。このように、コードシンボル認識エンジン６３０を抑制することで、誤った商品登録を防止することができる。そして、ＰＯＳ端末１１のＣＰＵ６１は、一連のコードシンボル認識処理を終了し、商品登録処理に戻る。

一方、通知を受信していない場合に（ステップＳ３１；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１（コードシンボル検出部６３１）は、並列制御部６１２が出力したフレーム画像からコードシンボルが検出されるか否かを判定する（ステップＳ３３）。コードシンボルが検出されない場合に（ステップＳ３３；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１（コードシンボル検出部６３１）は、ステップＳ３１に移行する。

一方、コードシンボルが検出された場合に（ステップＳ３３；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１（コードシンボル読取部６３２）は、検出したコードシンボルから商品ＩＤを読み取る（ステップＳ３４）。

次いで、ＰＯＳ端末１１のＣＰＵ６１（売上登録部６１４）は、読み取った商品ＩＤの商品を販売対象の商品として登録する（ステップＳ３５）。次いで、ＰＯＳ端末１１のＣＰＵ６１は、コードシンボル認識エンジン６３０による商品登録が行われたことを示す通知を送信する（ステップＳ３６）。

次いで、ＰＯＳ端末１１のＣＰＵ６１（登録報知部６１５）は、商品登録が行われたことを、オブジェクト認識画面Ｇ１の登録商品表示領域Ｇ１４に登録された商品を表示して報知して（ステップＳ３７）、一連のコードシンボル認識処理を終了し、商品登録処理に戻る。

ここで、図１０は、登録商品表示領域Ｇ１４に登録された商品を表示したオブジェクト認識画面Ｇ１の一例を示す説明図である。図１０に示す登録商品表示領域Ｇ１４は、売価が３００円の商品Ａが１点登録されたことを示している。また、ＰＯＳ端末１１のＣＰＵ６１（登録報知部６１５）は、図１０に示す登録商品表示領域Ｇ１４を表示する際に、音声により報知してもよい。また、ＰＯＳ端末１１のＣＰＵ６１（登録報知部６１５）は、コードシンボルで登録されたことを報知する報知画面Ｇ２を表示してもよい。

ここで、図１１は、報知画面Ｇ２の一例を示す説明図である。図１１に示す報知画面Ｇ２は、「コードシンボルで登録されました」とのメッセージを表示して報知する。これにより、オペレータの誤操作を低減することができる。

以上により、ＰＯＳ端末１１のＣＰＵ６１は、コードシンボル認識処理を実行する。

次に、上述した実施形態にかかるＰＯＳ端末１１のＣＰＵ６１が制御プログラムに従って実行するオブジェクト認識処理について説明する。

図１２は、ＰＯＳ端末１１のＣＰＵ６１が制御プログラムに従って実行するオブジェクト認識処理の流れを示すフローチャートである。

まず、ＰＯＳ端末１１のＣＰＵ６１（商品検出部６２１）は、撮像部１６４にかざされていた物体がフレームアウトしているか否かを判定する（ステップＳ５１）。物体がフレームアウトしている場合には（ステップＳ５１；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１は、オブジェクト認識エンジン６２０を初期化する（ステップＳ５２）。

一方、物体がフレームアウトしていない場合には（ステップＳ５１；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１は、コードシンボル認識エンジン６３０による商品登録が行われたことを示す通知を受信したか否かを判定する（ステップＳ５３）。

通知を受信した場合に（ステップＳ５３；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１（並列制御部６１２）は、オブジェクト認識エンジン６２０を停止する（ステップＳ５４）。このように、オブジェクト認識エンジン６２０を抑制することで、誤った商品登録を防止することができる。そして、ＰＯＳ端末１１のＣＰＵ６１は、一連のオブジェクト認識処理を終了し、商品登録処理に戻る。

一方、通知を受信していない場合に（ステップＳ５３；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１（類似度算出部６２２）は、フレーム画像に含まれる物体の特徴量を抽出する（ステップＳ５５）。次いで、ＰＯＳ端末１１のＣＰＵ６１（類似度算出部６２２）は、フレーム画像に含まれる物体の類似度を算出する（ステップＳ５６）。

次いで、ＰＯＳ端末１１のＣＰＵ６１（類似度判定部６２３）は、算出された類似度が閾値以上である商品候補が選定されたか否かを判定する（ステップＳ５７）。商品候補が選定されない場合に（ステップＳ５７；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１は、一連のオブジェクト認識処理を終了し、商品登録処理に戻る。

一方、商品候補が選定された場合に（ステップＳ５７；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１（商品候補提示部６２４）は、商品候補領域Ｇ１６に商品候補ボタンＧ１６ａを表示する（ステップＳ５８）。

ここで、図１３は、商品候補領域Ｇ１６に商品候補ボタンＧ１６ａが表示されたオブジェクト認識画面Ｇ１の一例を示す説明図である。商品候補領域Ｇ１６は、商品候補ボタンＧ１６ａを表示する領域である。商品候補ボタンＧ１６ａは、商品候補として認識された商品を販売対象の商品として登録するボタンである。図１３に示す商品候補領域Ｇ１６は、商品Ａと、商品Ｂと、商品Ｃとの商品候補ボタンＧ１６ａが表示された状態を示している。図１３に示す商品候補領域Ｇ１６は、商品候補ボタンＧ１６ａが３個表示されているが、個数はこれに限らないものとする。

次いで、ＰＯＳ端末１１のＣＰＵ６１は、商品候補ボタンＧ１６ａの押下が検出されるか否かを判定する（ステップＳ５９）。商品候補ボタンＧ１６ａの押下が検出されない場合に（ステップＳ５９；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１は、一連のオブジェクト認識処理を終了し、商品登録処理に戻る。

一方、商品候補ボタンＧ１６ａの押下が検出された場合に（ステップＳ５９；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１は、押下された商品候補ボタンＧ１６ａに対応付けられた商品を販売対象の商品として登録する（ステップＳ６０）。次いで、ＰＯＳ端末１１のＣＰＵ６１は、オブジェクト認識エンジン６２０による商品登録が行われたことを示す通知を送信する（ステップＳ６１）。

以上により、ＰＯＳ端末１１のＣＰＵ６１は、オブジェクト認識処理を実行する。

以上のように、本実施形態のＰＯＳ端末１１によれば、画像取込部６１１は、撮像部１６４にかざれた商品Ａを撮像し、ＲＡＭ６３に取り込む。並列制御部６１２は、オブジェクト認識エンジン６２０とコードシンボル認識エンジン６３０とを並列して実行させる。売上登録部６１４は、オブジェクト認識エンジン６２０が商品候補を認識した場合には、選択された商品Ａを登録し、コードシンボル認識エンジン６３０が商品を認識した場合には、認識した商品を登録する。よって、本実施形態のＰＯＳ端末１１は、コードシンボルにより売上登録機能と、一般物体認識（オブジェクト認識）により売上登録機能とを同時に使用することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施形態では、ＰＯＳ端末１１がＰＬＵファイルＦ１を備える形態としたが、これに限らず、商品読取装置１０１がＰＬＵファイルＦ１を備える形態としてもよい。または、ＰＯＳ端末１１及び商品読取装置１０１がアクセス可能な外部装置がＰＬＵファイルＦ１を備える形態としてもよい。

また、上記実施形態では、画像取込部６１１と、並列制御部６１２と、オブジェクト認識エンジン６２０と、コードシンボル認識エンジン６３０と、入力受付部６１３と、売上登録部６１４と、登録報知部６１５と、表示制御部６１６との機能を有する情報処理装置としてＰＯＳ端末１１を適用した。しかし、これに限らず、画像取込部６１１と、並列制御部６１２と、オブジェクト認識エンジン６２０と、コードシンボル認識エンジン６３０と、入力受付部６１３と、売上登録部６１４と、登録報知部６１５と、表示制御部６１６との機能を備えて、算出結果や判定結果をＰＯＳ端末１１に出力する情報処理装置として商品読取装置１０１を適用してもよい。また、上記実施形態では、照合用データを特徴量として説明したが、照合用データは、撮像された商品画像（基準画像）としてもよい。

また、上記実施形態では、チェックアウトシステム１としてＰＯＳ端末１１と商品読取装置１０１とで構成されるチェックアウトシステム１を適用した。しかし、これに限るものではなく、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置に適用するようにしてもよい。ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。

ここで、図１４は、セルフＰＯＳ２００の構成を示す外観斜視図である。図１５は、セルフＰＯＳ２００のハードウェア構成を示すブロック図である。尚、以下では、図１および図２に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。図１４および図１５に示すように、セルフＰＯＳ２００の本体２０２は、タッチパネル１０５が表面に配設された第１表示デバイス１０６や、商品の種別等を認識（検出）するために商品画像を読み取る商品読取部１１０を備える。

第１表示デバイス１０６としては例えば液晶表示器が用いられる。第１表示デバイス１０６は、客にセルフＰＯＳ２００の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部１１０で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。

商品読取部１１０は、客が商品に付されたコードシンボルを商品読取部１１０の読取窓１０３にかざすことで商品画像を撮像部１６４により読み取るものである。

また、本体２０２の右側には、かごに入った未精算の商品を置くための商品載置台２０３が設けられる。本体２０２の左側には、精算済みの商品を置くための商品載置台２０４が設けられる。商品載置台２０４には、精算済みの商品を入れるための袋を掛ける袋掛けフック２０５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台２０６が設けられる。商品載置台２０３、２０４には、計量器２０７、２０８がそれぞれ備えられており、精算の前後で商品の重量が同じであることを確認する機能を有する。

また、セルフＰＯＳ２００の本体２０２には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器２０１が設けられる。

このような構成のセルフＰＯＳ２００をチェックアウトシステム１に適用した場合、セルフＰＯＳ２００が情報処理装置として機能することになる。

上記実施形態や変形例の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らないものとする。例えば、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態や変形例の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよいし、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

１ チェックアウトシステム
１１ ＰＯＳ端末
１０１ 商品読取装置
１６４ 撮像部
６１１ 画像取込部
６１２ 並列制御部
６１３ 入力受付部
６１４ 売上登録部
６１５ 登録報知部
６１６ 表示制御部
６２０ オブジェクト認識エンジン
６２１ 商品検出部
６２２ 類似度算出部
６２３ 類似度判定部
６２４ 商品候補提示部
６３０ コードシンボル認識エンジン
６３１ コードシンボル検出部
６３２ コードシンボル読取部
Ｆ１ ＰＬＵファイル

特開２０１３−１７８７２２号公報

Claims (6)

1. 撮像部にかざされた物体を撮像する撮像手段と、
   前記撮像手段により撮像された前記物体の特徴量と、予め辞書に登録された各商品の照合用特徴量とを比較し、その類似度に基づいて前記各商品の中から前記物体の候補となる商品候補を認識する第１の認識手段と、
   前記商品候補の中から前記物体に対応した商品を選択する入力を受け付ける入力手段と、
   前記撮像手段が撮像した画像から前記物体に付されたコードシンボルを検出し、当該コードシンボルに基づいて前記物体に対応する商品を認識する第２の認識手段と、
   前記第１の認識手段と前記第２の認識手段とを並列処理させる制御手段と、
   前記制御手段に前記並列処理を開始させる第１操作子と、販売対象の商品を選択させる商品一覧を表示させる第２操作子とを同一画面に表示させる表示制御手段と、
   前記商品一覧から選択された商品、前記入力手段が入力を受け付けた商品又は前記第２の認識手段が認識した商品を、販売対象の商品として登録する登録手段と、
   を備える情報処理装置。
2. 前記制御手段は、前記並列処理時に前記第２の認識手段が前記商品を認識した場合には、前記第１の認識手段の処理を抑制する、
   請求項１に記載の情報処理装置。
3. 前記表示制御手段は、前記第２操作子が選択された後も、前記第１操作子を表示させる、
   請求項１又は２に記載の情報処理装置。
4. 前記登録手段は、前記第２の認識手段が認識した商品を販売対象の商品として登録した場合に報知する、
   請求項１乃至３の何れか１に記載の情報処理装置。
5. 前記表示制御手段は、前記第１操作子が選択された後も、前記第２操作子を表示させる、
   請求項１乃至４の何れか１に記載の情報処理装置。
6. コンピュータを、
   撮像部にかざされた物体を撮像する撮像手段と、
   前記撮像手段により撮像された前記物体の特徴量と、予め辞書に登録された各商品の照合用特徴量とを比較し、その類似度に基づいて前記各商品の中から前記物体の候補となる商品候補を認識する第１の認識手段と、
   前記商品候補の中から前記物体に対応した商品を選択する入力を受け付ける入力手段と、
   前記撮像手段が撮像した画像から前記物体に付されたコードシンボルを検出し、当該コードシンボルに基づいて前記物体に対応する商品を認識する第２の認識手段と、
   前記第１の認識手段と前記第２の認識手段とを並列処理させる制御手段と、
   前記制御手段に前記並列処理を開始させる第１操作子と、販売対象の商品を選択させる商品一覧を表示させる第２操作子とを同一画面に表示させる表示制御手段と、
   前記商品一覧から選択された商品、前記入力手段が入力を受け付けた商品又は前記第２の認識手段が認識した商品を、販売対象の商品として登録する登録手段と、
   として機能させるためのプログラム。

Images