JP6348827B2 - 情報処理装置、店舗システムおよびプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置、店舗システムおよびプログラムに関する。

従来、スーパーマーケット等の店舗では、バーコードなどのコードシンボルが付された商品を撮像し、画像データに含まれるコードシンボルから抽出したコード情報を用いて、商品を売上登録するシステムを利用している。そして、当該システムは、バーコードが付されていない商品を売上登録する場合には、予め商品に対応付けられたボタンを有するプリセット画面を用いて、プリセット画面で選択された商品を売上登録している。

近年、撮像した画像データから抽出した対象物品の特徴量と、予め用意された辞書における照合用のデータ（特徴量）とを比較した類似度に応じて当該物品の種別等を認識（検出）する一般物体認識（オブジェクト認識）に係る技術が存在している。また、この一般物体認識に係る技術を、青果品等の商品の識別に用いて、商品を売上登録するシステムが提案されている。さらに、上述したコードシンボルによる売上登録機能と、プリセット画面による売上登録機能と、オブジェクト認識により売上登録機能との両機能を備えたシステムが提案されている。

ところで、コードシンボルが付されている商品は、商品のパッケージに青果品等の写真が印刷されている場合がある。オブジェクト認識により売上登録するシステムは、パッケージ写真の青果品を商品と誤認し、誤った商品を売上登録してしまう可能性がある。そのため、オペレータは、誤った商品が売上登録されてしまうことを防ぐために、商品に応じてオブジェクト認識からコードシンボルによる売上登録に設定を切り替えなければならない。また、プリセット画面で選択されたボタンに対応付けられた商品を売上登録する場合にも、オペレータは、画面をプリセット画面に切り替えなければならない。しかしながら、当該操作は煩雑であり、処理の効率化を妨げる要因となる。

本発明が解決しようとする課題は、簡易な操作で一般物体認識による売上登録をすることができる情報処理装置、店舗システムおよびプログラムを提供することである。

実施形態の情報処理装置は、撮像手段と、第１の認識手段と、表示制御手段と、入力手段と、登録手段と、を備える。前記撮像手段は、撮像部にかざされた物体を撮像する。前記第１の認識手段は、前記撮像手段が撮像した前記物体の特徴量と、予め辞書に記憶された各商品の照合用の特徴量とを比較し、その類似度に基づいて前記各商品の中から前記物体に該当する商品を認識する。前記表示制御手段は、前記第１の認識手段が認識した前記商品が対応付けられた第１の入力部と、商品分類ごとに予め商品が対応付けられた第２の入力部とを表示した第１の画面で、当該商品分類が切り替えられることにより、前記第２の入力部に対応付けられた前記商品が切り替えられても、前記第１の入力部を表示させる。前記入力手段は、前記表示制御手段が表示した前記第１の入力部または前記第２の入力部を選択する操作を受け付ける。前記登録手段は、前記入力手段が受け付けた当該第１の入力部または当該第２の入力部に対応付けられている商品を売上登録する。

図１は、実施形態にかかるチェックアウトシステムの一例を示す斜視図である。 図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図３は、ＰＬＵファイルのデータ構成を例示する概念図である。 図４は、ＰＯＳ端末の機能構成を示すブロック図である。 図５は、プリセット画面の一例を示す説明図である。 図６は、フレーム画像表示領域を有していないプリセット画面の一例を示す説明図である。 図７は、商品候補ボタンをプリセットボタンと同じ形態で表示させたプリセット画面の一例を示す説明図である。 図８は、撮像処理の流れを示すフローチャートである。 図９は、コードシンボル認識エンジンによる商品認識処理の流れを示すフローチャートである。 図１０は、オブジェクト認識エンジンによる商品認識処理の流れを示すフローチャートである。 図１１は、売上登録処理の流れを示すフローチャートである。 図１２は、セルフＰＯＳの構成を示す外観斜視図である。 図１３は、セルフＰＯＳのハードウェア構成を示すブロック図である。

以下では、本実施形態に係る情報処理装置、店舗システム及びプログラムについて、チェックアウトシステムを例に図面を参照して説明する。店舗システムは、一取引に係る商品の売上登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。

図１は、実施形態にかかるチェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、商品に関する情報を読み取る商品読取装置１０１と、一取引に係る商品の売上登録、精算を行うＰＯＳ端末１１とを備える。以下では、ＰＯＳ端末１１を本実施形態にかかる情報処理装置として適用する例について説明する。

ＰＯＳ端末１１は、チェックアウト台４１上のドロワ２１上面に載置される。ＰＯＳ端末１１は、ドロワ２１の開放を制御する。ＰＯＳ端末１１は、上面にキーボード２２を備える。キーボード２２は、オペレータ（店員）が操作を入力するキーを備える。ＰＯＳ端末１１は、キーボード２２を操作するオペレータから見てキーボード２２よりも奥側に、オペレータに向けて情報を表示する第１の表示デバイス２３を備える。第１の表示デバイス２３は、タッチパネル２６が積層された表示面２３ａを備える。

ＰＯＳ端末１１は、第１の表示デバイス２３よりも更に奥側に、顧客に向けて情報を表示する第２の表示デバイス２４を備える。なお、図１に示す第２の表示デバイス２４は、表示面２４ａを図１の手前側に向けている。しかし、第２の表示デバイス２４は、表示面２４ａが図１の奥側に向くように回転させることで顧客に向けて情報を表示することができる。

カウンタ台１５１は、横長のテーブルである。カウンタ台１５１は、ＰＯＳ端末１１が載置されているチェックアウト台４１とＬ字を形成するように配置される。カウンタ台１５１は、上面に荷受け面１５２を形成する。荷受け面１５２には、商品を収納する買物カゴ１５３が載置される。買物カゴ１５３には、第１の買物カゴ１５３ａと、第２の買物カゴ１５３ｂとがある。第１の買物カゴ１５３ａは、顧客が購入対象の商品を入れたカゴである。第２の買物カゴ１５３ｂは、商品読取装置１０１が商品に関する情報を読み取った商品を入れるカゴである。第２の買物カゴ１５３ｂは、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレーや、箱状や、袋状等であってもよい。

商品読取装置１０１は、カウンタ台１５１の荷受け面１５２に載置される。商品読取装置１０１は、ＰＯＳ端末１１とデータを送受信することができる。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２は、正面に読取窓１０３を備える。ハウジング１０２は、上部に表示・操作部１０４を備える。

表示・操作部１０４は、第１の表示デバイス１０６を備える。第１の表示デバイス１０６は、例えば、タッチパネル１０５が表面に積層された液晶ディスプレイ等である。表示・操作部１０４は、第１の表示デバイス１０６の右隣にキーボード１０７を備える。表示・操作部１０４は、キーボード１０７の右隣にカードリーダのカード読取溝１０８を備える。表示・操作部１０４は、オペレータから見て裏面左奥側に、第２の表示デバイス１０９を備える。第２の表示デバイス１０９は、例えば、顧客に向けて情報を提供する液晶ディスプレイ等である。

このような商品読取装置１０１は、商品読取部１１０（図２参照）を備える。商品読取部１１０は、読取窓１０３の内部に撮像部１６４（図２参照）を配置する。

商品読取装置１０１を操作するオペレータは、第１の買物カゴ１５３ａ内の商品を、第２の買物カゴ１５３ｂに移動する。オペレータは、この移動過程で、商品読取装置１０１の読取窓１０３に商品を向ける。この際、撮像部１６４（図２参照）は、商品を撮像する。

商品読取装置１０１は、売上登録する商品の商品ＩＤをＰＯＳ端末１１に通知する。具体的には、商品読取装置１０１は、売上登録の対象商品が、ＰＬＵファイルＦ１（図３参照）に記憶された商品の何れに対応するかを指定させる画面を表示・操作部１０４に表示する。そして、商品読取装置１０１は、指定された商品の商品ＩＤをＰＯＳ端末１１に通知する。ＰＯＳ端末１１では、商品読取装置１０１から通知された商品ＩＤに基づき、売上登録に係る情報を、売上マスタファイル（不図示）等に記録して売上登録を行う。売上登録に係る情報とは、例えば、商品ＩＤに対応する商品の商品分類や、商品名や、単価等である。

図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、ＣＰＵ（Central Processing Unit）６１と、ＲＯＭ（Read Only Memory）６２と、ＲＡＭ（Random Access Memory）６３とを備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ６１と、ＲＯＭ６２と、ＲＡＭ６３とをバス接続する。

ＰＯＳ端末１１のＣＰＵ６１は、各種の入出力回路（不図示）を介して、前述したドロワ２１と、キーボード２２と、第１の表示デバイス２３と、タッチパネル２６と、第２の表示デバイス２４と接続する。これら機器は、ＣＰＵ６１に制御される。

キーボード２２は、数字や演算子などのテンキー２２ｄと、仮締めキー２２ｅと、締めキー２２ｆとを有する。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続される。ＨＤＤ６４には、プログラムや各種ファイルを記憶する。ＣＰＵ６１は、ＰＯＳ端末１１の起動時に、ＨＤＤ６４が記憶しているプログラムや各種ファイルの全部または一部をＲＡＭ６３にコピーすることで実行する。

ＨＤＤ６４は、商品販売データ処理用プログラムＰＲ１と、自動登録可否情報６４１と、ＰＬＵファイルＦ１とを記憶する。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用プログラムＰＲ１である。なお、ＨＤＤ６４は、記憶装置であればよく、ＳＳＤ（Solid State Drive）などの他の記憶媒体で構成された記憶装置であってもよい。

商品販売データ処理用プログラムＰＲ１は、商品販売データ処理に係る各種機能を有するプログラムである。

自動登録可否情報６４１は、後述するオブジェクト認識エンジン６２０（図４参照）が所定の条件を満たす商品を認識した場合に、オペレータの確認操作が無くても自動的に売上登録することを許可するか否かの設定情報である。許可の設定の場合に、所定の条件を満たす商品は、自動的に売上登録される。一方、禁止の設定の場合に、所定の条件を満たす商品は、自動的には売上登録されない。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品の各々について、商品の売上登録に係る情報を格納する商品ファイルである。以下の説明では、ＰＬＵファイルＦ１を辞書として用いるが、辞書はＰＬＵファイルＦ１と異なるファイルであっても良い。辞書は、撮像した画像データから抽出した商品を識別するための照合用データ（特徴量）を、複数の商品について記憶する。辞書は、ＰＬＵファイルＦ１と異なるファイルである場合、辞書に記憶される照合用データ（特徴量）と、ＰＬＵファイルＦ１の情報（識別情報）とを対応付けて記憶する。特徴量は、商品の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。

図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品ごとに、商品ＩＤと、商品に関する情報と、イラスト画像と、特徴量とを、その商品の商品情報として格納するファイルである。商品ＩＤは、商品を識別可能な識別情報である。商品に関する情報は、商品が属する商品分類、商品名、品種、単価等の情報である。イラスト画像は、その商品を示す画像である。特徴量は、撮像した商品画像から読み取られる色合いや表面の凹凸状況等の情報である。なお、特徴量は、後述する類似度の判定に用いられる照合用のデータである。なお、後述する接続インターフェース６５を介して、商品読取装置１０１は、ＰＬＵファイルＦ１を読み出すことができる。

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（不図示）を介して接続される。ストアコンピュータＳＣは、店舗のバックヤード等に設置される。ストアコンピュータＳＣのＨＤＤ（不図示）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納される。

更に、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続される。接続インターフェース６５には、商品読取装置１０１が接続される。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続される。プリンタ６６は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。

商品読取装置１０１は、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１と、ＲＯＭ１６２と、ＲＡＭ１６３とを備える。マイクロコンピュータ１６０は、ＣＰＵ１６１と、ＲＯＭ１６２と、ＲＡＭ１６３とをバス接続する。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶される。ＣＰＵ１６１は、各入出力回路（いずれも不図示）を介して撮像部１６４及び音声出力部１６５と接続する。ＣＰＵ１６１は、撮像部１６４及び音声出力部１６５の動作を制御する。

表示・操作部１０４は、接続インターフェース１７６を介して、商品読取部１１０及びＰＯＳ端末１１と接続する。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１と、ＰＯＳ端末１１のＣＰＵ６１とによって動作が制御される。

撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等のイメージセンサ（不図示）とＬＥＤなどの光源（不図示）とを有する。撮像部１６４は、ＣＰＵ１６１の制御の下で読取窓１０３の内部から商品などの物体を撮像する。撮像部１６４は、例えば、３０ｆｐｓ（Frame Per Second）のフレームレートで画像を撮像する。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像は、ＲＡＭ１６３に保存される。

音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音や音声による報知を行う。

更に、ＣＰＵ１６１は、接続インターフェース１７５と接続する。接続インターフェース１７５は、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１とデータを送受信する。また、接続インターフェース１７５は、表示・操作部１０４の接続インターフェース１７６に接続して、表示・操作部１０４とデータを送受信する。

次に、ＣＰＵ６１がプログラム（商品販売データ処理用プログラムＰＲ１）を実行することで実現されるＣＰＵ６１の機能構成について説明する。図４は、ＰＯＳ端末１１の機能構成を示すブロック図である。

図４に示すように、ＰＯＳ端末１１のＣＰＵ６１は、ＲＯＭ６２やＨＤＤ６４が格納するプログラムを実行することにより各種機能を発揮する。具体的には、ＰＯＳ端末１１のＣＰＵ６１は、画像取込部６１１と、並列制御部６１２と、オブジェクト認識エンジン６２０と、コードシンボル認識エンジン６３０と、入力受付部６１３と、売上登録部６１４と、表示制御部６１５として機能する。ここで、第１の認識手段であるオブジェクト認識エンジン６２０は、商品検出部６２１と、類似度算出部６２２と、類似度判定部６２３とを有する。また、第２の認識手段であるコードシンボル認識エンジン６３０は、コードシンボル検出部６３１と、コードシンボル読取部６３２とを有する。

撮像手段である画像取込部６１１は、撮像部１６４に撮像制御信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存したフレーム画像を、ＲＡＭ１６３に保存された順番に取り込む。

ところで、撮像部１６４は、撮像部１６４の光源の近く、すなわち読取窓１０３の近くに商品（オブジェクト）がない場合、明度０かそれに近い状態のフレーム画像を撮像する。そして、フレーム画像の明度は、認識させたい商品（オブジェクト）が読取窓１０３に近づけられると、光源からの光が商品（オブジェクト）に反射するために明るくなる。

画像取込部６１１は、このような明度変化（色の属性の変化）を検知し、明度が所定の基準値より高い場合に、商品（オブジェクト）がかざされた状態であると判定する。一方、明度が所定の基準値より低い場合に、画像取込部６１１は、商品（オブジェクト）がかざされていない状態、すなわちフレームアウトした状態であると判定する。

並列制御部６１２は、オブジェクト認識エンジン６２０と、コードシンボル認識エンジン６３０とによる並列処理を制御する。さらに詳しくは、並列制御部６１２は、画像取込部６１１がフレーム画像をＲＡＭ１６３に取り込んだことを通知する。これにより、オブジェクト認識エンジン６２０と、コードシンボル認識エンジン６３０とは、並列して処理を開始する。

（オブジェクト認識エンジン）
オブジェクト認識エンジン６２０は、撮像部１６４が撮像した商品の特徴量と、予めＰＬＵファイルＦ１の辞書に記憶された各商品の照合用の特徴量とを比較する。そして、オブジェクト認識エンジン６２０は、その類似度に基づいて、辞書に記憶された各商品の中から撮像部１６４が撮像した商品に該当する商品を認識する。以下にて、オブジェクト認識エンジン６２０が有する詳細な機能について説明する。

商品検出部６２１は、並列制御部６１２からフレーム画像がＲＡＭ１６３に保存されたことを通知されると、ＲＡＭ１６３に保存されたフレーム画像を読み取る。そして、商品検出部６２１は、画像取込部６１１により取り込まれたフレーム画像に含まれる商品の全部または一部を、パターンマッチング技術等を用いて検出する。具体的には、商品検出部６２１は、取り込まれたフレーム画像を２値化した画像から輪郭線等を抽出する。商品検出部６２１は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較した差分に基づいて、読取窓１０３に向けられた商品を検出する。なお、前回のフレーム画像とは、例えば、オブジェクト認識エンジン６２０を起動させる前に、画像取込部６１１によって取り込まれた背景のフレーム画像である。

商品検出部６２１は、商品を検出する別の方法として、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、商品検出部６２１は、肌色領域が検出された場合、すなわち、店員の手が検出された場合に、この肌色領域の近傍で上述した輪郭線を検出する。これにより、商品検出部６２１は、店員の手が把持していると想定される商品の輪郭線を検出する。この時、商品検出部６２１は、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合、この物体の輪郭から商品を検出する。

類似度算出部６２２は、撮像部１６４により撮像された商品の全部または一部のフレーム画像から、商品の色合いや表面の凹凸状況等の表面の状態を特徴量として抽出する。なお、類似度算出部６２２は、処理時間の短縮を図るため、商品の輪郭や大きさは考慮しないものとする。

また、類似度算出部６２２は、ＰＬＵファイルＦ１に記憶された各商品（以下、登録商品という）の特徴量と、フレーム画像に含まれる商品の特徴量とを比較することで類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１に記憶された登録商品の特徴量を１００％＝「類似度：１．０」とした場合に、商品の全部または一部の特徴量がどの程度類似しているかを示すものである。なお、類似度算出部６２２は、例えば、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。

このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、撮像されたフレーム画像から抽出された商品の特徴量と、ＰＬＵファイルＦ１に記憶された登録商品の特徴量との類似度の算出方法は特に問わないものとする。例えば、類似度は、絶対評価として算出してもよいし、相対評価として算出してもよい。

まず、類似度を絶対評価として算出する場合について説明する。類似度算出部６２２は、フレーム画像から抽出した商品の特徴量と、ＰＬＵファイルＦ１に記憶された各登録商品の特徴量とを１対１で比較する。これにより、類似度算出部６２２は、絶対評価として類似度を算出する。

次に、類似度を相対評価として算出する場合について説明する。類似度算出部６２２は、フレーム画像から抽出した商品の特徴量と、ＰＬＵファイルＦ１に記憶された登録商品の特徴量とを比較する。この際、類似度算出部６２２は、類似度の総和が１．０（１００％）となるように類似度を算出する。これにより、類似度算出部６２２は、相対評価として類似度を算出する。

類似度判定部６２３は、類似度算出部６２２が算出した類似度が所定の閾値を超えているか否かを判定する。これにより類似度判定部６２３は、撮像部１６４が撮像した商品の売上登録方法が自動登録と、商品候補提示と、商品候補無しとの何れに分類されるかを判定する。

類似度判定部６２３は、ＰＬＵファイルＦ１に類似度が第１の閾値以上の登録商品（以下、確定商品という）が含まれている場合に、撮像部１６４が撮像した商品を自動登録により売上登録すると判定する。ここで、自動登録とは、撮像部１６４が撮像した商品である確率が高いために、オペレータの確認操作が無くても、確定商品を自動的に売上登録することである。

なお、類似度判定部６２３は、自動登録可否情報６４１が自動登録許可に設定されている場合に、自動登録に該当すると判定する。自動登録可否情報６４１が自動登録禁止に設定されている場合には、類似度判定部６２３は、類似度が第１の閾値以上であっても自動登録とは判定しない。この場合に、類似度判定部６２３は、撮像部１６４が撮像した商品の売上登録方法を商品候補提示により売上登録すると判定する。

類似度判定部６２３は、確定商品がなく、類似度が第１の閾値未満かつ第２の閾値以上の登録商品（以下、商品候補という）がＰＬＵファイルＦ１に含まれている場合に、撮像部１６４が撮像した商品を商品候補提示により売上登録すると判定する。ここで、商品候補提示とは、撮像部１６４が撮像したフレーム画像に含まれる商品の候補である商品候補を提示し、オペレータの確認操作により売上登録することである。なお、商品候補は、一つであってもよいし複数であってもよい。そして、類似度判定部６２３は、自動登録可否情報６４１が自動登録禁止に設定されたために商品候補提示と判定された確定商品も商品候補としてオペレータに提示する。

類似度判定部６２３は、ＰＬＵファイルＦ１に類似度が第２の閾値以上の登録商品が含まれていない場合に、撮像部１６４が撮像した商品に該当する商品候補なしと判定する。ここで、商品候補無しとは、類似度算出部６２２が算出した類似度が第２の閾値未満の登録商品しかないため、撮像部１６４が撮像した商品を認識できなかったことを示す。

（コードシンボル認識エンジン）
コードシンボル認識エンジン６３０は、撮像部１６４が撮像したフレーム画像から物体に付されたコードシンボルを検出する。そして、コードシンボル認識エンジン６３０は、コードシンボルに基づいて物体に対応する商品を認識する。以下にて、コードシンボル認識エンジン６３０が有する詳細な機能について説明する。

コードシンボル検出部６３１は、並列制御部６１２からフレーム画像がＲＡＭ１６３に保存されたことを通知されると、ＲＡＭ１６３に保存されたフレーム画像を読み取る。そして、コードシンボル検出部６３１は、画像取込部６１１により取り込まれたフレーム画像から、商品に関する情報として商品に付されたバーコードや二次元コードなどのコードシンボルを検出する。

コードシンボル読取部６３２は、コードシンボル検出部６３１が検出したコードシンボルから商品ＩＤを読み取ることで商品を認識する。

入力受付部６１３は、キーボード２２又はタッチパネル２６などの入力部を介して操作を受け付ける。更に詳しくは、入力手段である入力受付部６１３は、売上登録に関する操作を受け付ける。例えば、入力受付部６１３は、類似度判定部６２３が提示した商品候補から売上登録する商品を選択する操作を受け付ける。または、例えば、入力受付部６１３は、プリセット画面Ｇ１（図５参照）に表示されたプリセットボタンＢ２から売上登録する商品を選択する操作を受け付ける。なお、入力受付部６１３は、キーボード２２又はタッチパネル２６以外の入力部から操作を受け付けてもよい。例えば、入力部は、商品読取装置１０１のキーボード１０７又はタッチパネル１０５などであってもよい。

登録手段である売上登録部６１４は、選択された商品と売上登録に係る情報とを売上マスタファイル等に記録して売上登録する。売上登録部６１４は、例えば、プリセットボタンＢ２（図５参照）と、コードシンボルと、確定商品と、商品候補とにより選択された商品を売上マスタファイル等に記録する。具体的には、売上登録部６１４は、プリセットボタンＢ２に対応付けられた商品を売上マスタファイル等に記録する。または、売上登録部６１４は、コードシンボル認識エンジン６３０が検出したコードシンボルから読み取った商品を売上マスタファイル等に記録する。または、売上登録部６１４は、オブジェクト認識エンジン６２０が認識した確定商品を売上マスタファイル等に記録する。または、売上登録部６１４は、オブジェクト認識エンジン６２０が認識した商品候補から、入力受付部６１３が選択した商品を売上マスタファイル等に記録する。

表示制御手段である表示制御部６１５は、第１の表示デバイス２３に表示する画面を制御する。例えば、表示制御部６１５は、第１の表示デバイス２３に第１の画面であるプリセット画面Ｇ１を表示する。ここで、図５は、プリセット画面Ｇ１の一例を示す説明図である。プリセット画面Ｇ１は、予め設定されたプリセットボタンＢ２を押下することで、プリセットボタンＢ２に対応付けられた商品ＩＤの商品を売上登録する画面である。プリセット画面Ｇ１は、オブジェクト認識領域Ｇ１２と、商品分類タブＢ１と、プリセットボタンＢ２とを備える。

オブジェクト認識領域Ｇ１２は、オブジェクト認識エンジン６２０が認識した商品の売上登録に使用する領域である。オブジェクト認識領域Ｇ１２は、フレーム画像表示領域Ｇ１２１と、商品候補ボタンＢ１２１とを有する。フレーム画像表示領域Ｇ１２１は、撮像部１６４が撮像したフレーム画像を表示する領域である。商品候補ボタンＢ１２１は、類似度判定部６２３が類似度を基に判定した商品候補の商品ＩＤが対応付けられたボタンである。売上登録部６１４は、第１の入力部である商品候補ボタンＢ１２１が押下されると対応付けられた商品ＩＤの商品を売上登録する。商品分類タブＢ１は、商品分類ごとのタブである。表示制御部６１５は、商品分類タブＢ１が押下されると商品分類タブＢ１に対応付けられた商品分類のプリセットボタンＢ２を表示させる。プリセットボタンＢ２は、予め設定した商品の商品ＩＤが対応付けられたボタンである。売上登録部６１４は、第２の入力部であるプリセットボタンＢ２が押下されると対応付けられた商品ＩＤの商品を売上登録する。

なお、表示制御部６１５は、商品分類タブＢ１が押下され、別の商品分類のプリセットボタンＢ２を表示させたとしてもオブジェクト認識領域Ｇ１２の表示は維持する。すなわち、表示制御部６１５は、別の商品分類のプリセットボタンＢ２を表示する画面に切り替えられても商品候補ボタンＢ１２１を表示する。その際、表示制御部６１５は、オブジェクト認識領域Ｇ１２を同一の位置に表示させることが好ましい。これにより、オペレータは、容易にオブジェクト認識領域Ｇ１２を見つけることができる。なお、表示制御部６１５は、商品分類タブＢ１により画面を切り替えた際に、オブジェクト認識領域Ｇ１２の表示位置を変えてもよい。

また、図５に示すフレーム画像表示領域Ｇ１２１は、プリセット画面Ｇ１の右下に表示している。しかし、表示制御部６１５は、フレーム画像表示領域Ｇ１２１の表示場所を移動可能にしてもよい。また、図５に示すフレーム画像表示領域Ｇ１２１は、商品候補を３つ表示している。しかし、表示制御部６１５は、商品候補を３つ未満または４つ以上表示してもよい。

また、プリセット画面Ｇ１は、オブジェクト認識領域Ｇ１２のフレーム画像表示領域Ｇ１２１を有していなくてもよい。ここで、図６は、フレーム画像表示領域Ｇ１２１を有していないプリセット画面Ｇ１の一例を示す説明図である。表示制御部６１５は、フレーム画像表示領域Ｇ１２１を有しないことで、より多くのプリセットボタンＢ２を表示させることができる。

また、プリセット画面Ｇ１は、商品候補ボタンＢ１２１をプリセットボタンＢ２と同じ形態で表示させてもよい。ここで、図７は、商品候補ボタンＢ１２１をプリセットボタンＢ２と同じ形態で表示させたプリセット画面Ｇ１の一例を示す説明図である。図７に示す商品候補ボタンＢ１２１は、プリセットボタンＢ２と同じ形態のボタンを商品候補であることを識別可能な態様で表示する。商品候補であることを識別可能な態様とは、例えば、色を変える、マークを付する、文字列を付する、アニメーション処理を施すなどである。

次に、上述した実施形態にかかるＰＯＳ端末１１のＣＰＵ６１が制御プログラムに従って実行する撮像処理について説明する。撮像処理とは、商品読取部１１０の撮像部１６４が撮像したフレーム画像をオブジェクト認識エンジン６２０と、コードシンボル認識エンジン６３０とに出力する処理である。これにより、フレーム画像をオブジェクト認識エンジン６２０と、コードシンボル認識エンジン６３０とは、並列して処理を実行する。

図８は、ＰＯＳ端末１１のＣＰＵ６１が制御プログラムに従って実行する撮像処理の流れを示すフローチャートである。

ＰＯＳ端末１１のＣＰＵ６１（画像取込部６１１）は、撮像部１６４に撮像制御信号を出力して撮像部１６４に撮像動作を開始させる（ステップＳ１１）。次いで、ＰＯＳ端末１１のＣＰＵ６１（画像取込部６１１）は、撮像部１６４が商品を撮像してＲＡＭ１６３に保存したフレーム画像を順次取り込む（ステップＳ１２）。

次いで、ＰＯＳ端末１１のＣＰＵ６１（並列制御部６１２）は、コードシンボル認識エンジン６３０にフレーム画像をＲＡＭ１６３に取り込んだことを通知する（ステップＳ１３）。

次いで、ＰＯＳ端末１１のＣＰＵ６１（並列制御部６１２）は、オブジェクト認識エンジン６２０にフレーム画像をＲＡＭ１６３に取り込んだことを通知する（ステップＳ１４）。

以上により、ＰＯＳ端末１１のＣＰＵ６１は、撮像処理を終了する。なお、フレーム画像をＲＡＭ１６３に取り込んだことを通知する順番は、問わないものとする。すなわち、ＰＯＳ端末１１のＣＰＵ６１（並列制御部６１２）は、コードシンボル認識エンジン６３０より先に、オブジェクト認識エンジン６２０に通知してもよい。または、ＰＯＳ端末１１のＣＰＵ６１（並列制御部６１２）は、コードシンボル認識エンジン６３０と、オブジェクト認識エンジン６２０とに対して同時に通知してもよい。

次に、上述した実施形態にかかるＰＯＳ端末１１のＣＰＵ６１が制御プログラムに従って実行するコードシンボル認識エンジン６３０による商品認識処理について説明する。コードシンボル認識エンジン６３０による商品認識処理とは、コードシンボル認識エンジン６３０がフレーム画像に含まれるコードシンボルから商品を認識する処理である。

図９は、ＰＯＳ端末１１のＣＰＵ６１が制御プログラムに従って実行するコードシンボル認識エンジン６３０による商品認識処理の流れを示すフローチャートである。

ＰＯＳ端末１１のＣＰＵ６１（コードシンボル検出部６３１）は、並列制御部６１２からフレーム画像がＲＡＭ１６３に保存されたことを通知されたか否かを判定する（ステップＳ２１）。フレーム画像がＲＡＭ１６３に保存されたことを通知されていない場合に（ステップＳ２１；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１（コードシンボル検出部６３１）は、コードシンボル認識エンジン６３０による商品認識処理を待機する。

一方、フレーム画像がＲＡＭ１６３に保存されたことを通知された場合に（ステップＳ２１；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１（コードシンボル検出部６３１）は、ＲＡＭ１６３に保存されたフレーム画像からコードシンボルが検出されるか否かを判定する（ステップＳ２２）。

コードシンボルが検出されない場合に（ステップＳ２２；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１（コードシンボル検出部６３１）は、ステップＳ２１に移行する。

一方、コードシンボルが検出された場合に（ステップＳ２２；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１（コードシンボル読取部６３２）は、検出したコードシンボルから商品ＩＤを読み取る（ステップＳ２３）。

次いで、ＰＯＳ端末１１のＣＰＵ６１（コードシンボル読取部６３２）は、コードシンボルから読み取った商品ＩＤを売上登録部６１４に通知する（ステップＳ２４）。

以上により、ＰＯＳ端末１１のＣＰＵ６１は、コードシンボル認識エンジン６３０による商品認識処理を終了する。

次に、上述した実施形態にかかるＰＯＳ端末１１のＣＰＵ６１が制御プログラムに従って実行するオブジェクト認識エンジン６２０による商品認識処理について説明する。オブジェクト認識エンジン６２０による商品認識処理とは、オブジェクト認識エンジン６２０がフレーム画像に含まれる商品の特徴量を抽出し、類似度を算出することで商品を認識する処理である。

図１０は、ＰＯＳ端末１１のＣＰＵ６１が制御プログラムに従って実行するオブジェクト認識エンジン６２０による商品認識処理の流れを示すフローチャートである。

ＰＯＳ端末１１のＣＰＵ６１（商品検出部６２１）は、並列制御部６１２からフレーム画像がＲＡＭ１６３に保存されたことを通知されたか否かを判定する（ステップＳ３１）。フレーム画像がＲＡＭ１６３に保存されたことを通知されていない場合に（ステップＳ３１；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１（商品検出部６２１）は、オブジェクト認識エンジン６２０による商品認識処理を待機する。

一方、フレーム画像がＲＡＭ１６３に保存されたことを通知された場合に（ステップＳ３１；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１（商品検出部６２１）は、ＲＡＭ１６３に保存されたフレーム画像から商品が検出されるか否かを判定する（ステップＳ３２）。商品が検出されない場合に（ステップＳ３２；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１（商品検出部６２１）は、ステップＳ３１に移行する。

一方、商品が検出された場合に（ステップＳ３２；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１（類似度算出部６２２）は、フレーム画像に含まれる商品の特徴量を抽出する（ステップＳ３３）。

次いで、ＰＯＳ端末１１のＣＰＵ６１（類似度算出部６２２）は、フレーム画像に含まれる商品の類似度を算出する（ステップＳ３４）。

次いで、ＰＯＳ端末１１のＣＰＵ６１（類似度判定部６２３）は、ＨＤＤ６４に記憶された自動登録可否情報６４１に自動登録許可と設定されているか否かを判定する（ステップＳ３５）。自動登録可否情報６４１に自動登録禁止と設定されている場合に（ステップＳ３５；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１（類似度判定部６２３）は、ステップＳ３６に移行する。

自動登録可否情報６４１に自動登録許可と設定されている場合に（ステップＳ３５；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１（類似度判定部６２３）は、ＰＬＵファイルＦ１に類似度が第１の閾値以上の登録商品が含まれているか否か判定する（ステップＳ３６）。

ＰＬＵファイルＦ１に類似度が第１の閾値以上の登録商品が含まれている場合に（ステップＳ３６；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１（類似度判定部６２３）は、確定商品の商品ＩＤを売上登録部６１４に通知する（ステップＳ３７）。

一方、ＰＬＵファイルＦ１に類似度が第１の閾値以上の登録商品が含まれていない場合に（ステップＳ３６；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１（類似度判定部６２３）は、ＰＬＵファイルＦ１に類似度が第２の閾値以上の登録商品が含まれているか否かを判定する（ステップＳ３８）。

ＰＬＵファイルＦ１に類似度が第２の閾値以上の登録商品が含まれている場合に（ステップＳ３８；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１（類似度判定部６２３）は、商品候補の商品ＩＤを表示制御部６１５に通知する（ステップＳ３９）。これにより、ＰＯＳ端末１１のＣＰＵ６１（表示制御部６１５）は、プリセット画面Ｇ１を表示する際に、商品候補ボタンＢ１２１を表示することが可能となる。

一方、算出した類似度から商品候補として挙げることが可能な商品がない場合に（ステップＳ３８；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１（類似度判定部６２３）は、特別な処理は行わない。

以上により、ＰＯＳ端末１１のＣＰＵ６１は、オブジェクト認識エンジン６２０による商品認識処理を終了する。

次に、上述した実施形態にかかるＰＯＳ端末１１のＣＰＵ６１が制御プログラムに従って実行する売上登録処理について説明する。売上登録処理は、販売対象の商品を売上登録する処理である。

図１１は、ＰＯＳ端末１１のＣＰＵ６１が制御プログラムに従って実行する売上登録処理の流れを示すフローチャートである。

ＰＯＳ端末１１のＣＰＵ６１（表示制御部６１５）は、プリセット画面Ｇ１を表示する（ステップＳ４１）。

次いで、ＰＯＳ端末１１のＣＰＵ６１（入力受付部６１３）は、プリセット画面Ｇ１のプリセットボタンＢ２の押下を検出するか否かを判定する（ステップＳ４２）。プリセット画面Ｇ１のプリセットボタンＢ２の押下を検出した場合に（ステップＳ４２；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１（売上登録部６１４）は、プリセットボタンＢ２に対応付けられた商品ＩＤの商品を売上登録する（ステップＳ４３）。

一方、プリセット画面Ｇ１のプリセットボタンＢ２の押下を検出しない場合に（ステップＳ４２；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１（入力受付部６１３）は、コードシンボルから読み取った商品ＩＤが通知されたか否かを判定する（ステップＳ４４）。

コードシンボルから読み取った商品ＩＤが通知された場合に（ステップＳ４４；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１（売上登録部６１４）は、通知された商品ＩＤの商品を売上登録する（ステップＳ４５）。

一方、コードシンボルから読み取った商品ＩＤが通知されていない場合に（ステップＳ４４；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１（入力受付部６１３）は、確定商品の商品ＩＤが通知されたか否かを判定する（ステップＳ４６）。

確定商品の商品ＩＤが通知された場合に（ステップＳ４６；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１（売上登録部６１４）は、確定商品の商品ＩＤの商品を売上登録する（ステップＳ４７）。

一方、確定商品の商品ＩＤが通知されていない場合に（ステップＳ４６；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１（入力受付部６１３）は、商品候補ボタンＢ１２１の押下を検出するか否かを判定する（ステップＳ４８）。

商品候補ボタンＢ１２１の押下を検出した場合に（ステップＳ４８；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１（売上登録部６１４）は、商品候補ボタンＢ１２１に対応付けられた商品ＩＤの商品を売上登録する（ステップＳ４９）。

一方、商品候補ボタンＢ１２１の押下を検出しない場合に（ステップＳ４８；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１（入力受付部６１３）は、商品分類タブＢ１の押下を検出するか否かを判定する（ステップＳ５０）。

商品分類タブＢ１の押下を検出しない場合に（ステップＳ５０；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１（入力受付部６１３）は、ステップＳ４２に戻る。

一方、商品分類タブＢ１の押下を検出した場合に（ステップＳ５０；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１（売上登録部６１４）は、商品分類タブＢ１に対応付けられた商品分類のプリセット画面Ｇ１を表示する（ステップＳ５１）。その際、ＰＯＳ端末１１のＣＰＵ６１（表示制御部６１５）は、オブジェクト認識領域Ｇ１２の表示を維持する。

次いで、ＰＯＳ端末１１のＣＰＵ６１は、締めキー２２ｆの押下を検出するか否かを判定する（ステップＳ５２）。締めキー２２ｆの押下を検出しない場合に（ステップＳ５２；Ｎｏ）、ＰＯＳ端末１１のＣＰＵ６１は、ステップＳ４１に戻る。

一方、締めキー２２ｆの押下を検出した場合に（ステップＳ５２；Ｙｅｓ）、ＰＯＳ端末１１のＣＰＵ６１は、売上登録した商品について決済処理を実行する（ステップＳ５３）。

以上により、ＰＯＳ端末１１のＣＰＵ６１は、売上登録処理を終了する。

以上のように、本実施形態のＰＯＳ端末１１によれば、表示制御部６１５は、オブジェクト認識エンジン６２０が認識した商品候補をプリセット画面Ｇ１に表示する。プリセット画面Ｇ１は、予め商品と対応付けられたプリセットボタンＢ２により売上登録を行うことが可能になっている。そして、売上登録部６１４は、商品候補またはプリセットボタンＢ２から選択された商品を売上登録する。よって、本実施形態に係るＰＯＳ端末１１は、画面を切り替える必要がないため、簡易な操作で一般物体認識による売上登録をすることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施形態では、ＰＯＳ端末１１がＰＬＵファイルＦ１を備える形態としたが、これに限らず、商品読取装置１０１がＰＬＵファイルＦ１を備える形態としてもよい。または、ＰＯＳ端末１１及び商品読取装置１０１がアクセス可能な外部装置がＰＬＵファイルＦ１を備える形態としてもよい。

また、上記実施形態では、画像取込部６１１と、並列制御部６１２と、オブジェクト認識エンジン６２０と、コードシンボル認識エンジン６３０と、入力受付部６１３と、売上登録部６１４と、表示制御部６１５との機能を有する情報処理装置としてＰＯＳ端末１１を適用した。しかし、これに限らず、上述の機能を備える情報処理装置は、算出結果や判定結果をＰＯＳ端末１１に出力する商品読取装置１０１に適用してもよい。また、上記実施形態では、照合用データを特徴量として説明したが、照合用データは、撮像された商品画像（基準画像）としてもよい。

また、上記実施形態では、店舗システムとしてＰＯＳ端末１１と商品読取装置１０１とで構成されるチェックアウトシステム１を適用した。しかし、これに限るものではなく、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置に適用するようにしてもよい。ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、セルフＰＯＳとする）が挙げられる。

ここで、図１２は、セルフＰＯＳ２００の構成を示す外観斜視図である。図１３は、セルフＰＯＳ２００のハードウェア構成を示すブロック図である。なお、以下では、図１および図２に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。図１２および図１３に示すように、セルフＰＯＳ２００の本体２０２は、タッチパネル１０５が表面に配設された第１の表示デバイス１０６や、商品の種別等を認識（検出）するために商品画像を読み取る商品読取部１１０を備える。

第１の表示デバイス１０６は、例えば液晶ディスプレイなどである。第１の表示デバイス１０６は、例えば、案内画面や、入力画面や、売上登録画面や、精算画面等を表示する。案内画面は、顧客にセルフＰＯＳ２００の操作方法を知らせるための画面である。入力画面は、各種情報の入力を求める画面である。売上登録画面は、商品読取部１１０で読み込んだ商品情報を表示する画面である。精算画面は、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする画面である。

商品読取部１１０は、顧客が商品に付されたコードシンボルを商品読取部１１０の読取窓１０３にかざすことで商品画像を撮像部１６４により読み取るものである。

また、本体２０２は、右側に買物カゴ１５３に入った未精算の商品を置くための商品載置台２０３を備える。本体２０２は、左側に精算済みの商品を置くための商品載置台２０４を備える。商品載置台２０４は、精算済みの商品を入れるための袋を掛ける袋掛けフック２０５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台２０６を備える。商品載置台２０３、２０４は、計量器２０７、２０８をそれぞれ備え、精算の前後で商品の重量が同じであることを確認する機能を有する。

また、セルフＰＯＳ２００は、本体２０２に精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器２０１を備える。

このような構成のセルフＰＯＳ２００を店舗システムに適用した場合、セルフＰＯＳ２００が情報処理装置として機能することになる。

上記実施形態や変形例の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らないものとする。例えば、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態や変形例の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよいし、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

１ チェックアウトシステム
１１ ＰＯＳ端末
６１ ＣＰＵ
６１１ 画像取込部
６１２ 並列制御部
６１３ 入力受付部
６１４ 売上登録部
６１５ 表示制御部
６２０ オブジェクト認識エンジン
６２１ 商品検出部
６２２ 類似度算出部
６２３ 類似度判定部
６３０ コードシンボル認識エンジン
６３１ コードシンボル検出部
６３２ コードシンボル読取部
６４ ＨＤＤ
６４１ 自動登録可否情報

特開２０１３−１７８７２２号公報

Claims (5)

1. 撮像部にかざされた物体を撮像する撮像手段と、
   前記撮像手段が撮像した前記物体の特徴量と、予め辞書に記憶された各商品の照合用の特徴量とを比較し、その類似度に基づいて前記各商品の中から前記物体に該当する商品を認識する第１の認識手段と、
   前記第１の認識手段が認識した前記商品が対応付けられた第１の入力部と、商品分類ごとに予め商品が対応付けられた第２の入力部とを表示した第１の画面で、当該商品分類が切り替えられることにより、前記第２の入力部に対応付けられた前記商品が切り替えられても、前記第１の入力部を表示させる表示制御手段と、
   前記表示制御手段が表示した前記第１の入力部または前記第２の入力部を選択する操作を受け付ける入力手段と、
   前記入力手段が受け付けた当該第１の入力部または当該第２の入力部に対応付けられている商品を売上登録する登録手段と、
   を備える情報処理装置。
2. 前記撮像手段が撮像した画像から前記物体に付されたコードシンボルを検出し、当該コードシンボルに基づいて前記物体に対応する商品を認識する第２の認識手段を更に備え、
   前記登録手段は、前記第２の認識手段が認識した商品を売上登録する、
   請求項１に記載の情報処理装置。
3. 前記登録手段は、前記類似度が閾値以上の場合に、前記第１の認識手段が認識した前記閾値以上の前記類似度の商品を、前記入力手段からの入力が無くても売上登録する、
   請求項１又は２に記載の情報処理装置。
4. 撮像部にかざされた物体を撮像する撮像手段と、
   前記撮像手段が撮像した前記物体の特徴量と、予め辞書に記憶された各商品の照合用の特徴量とを比較し、その類似度に基づいて前記各商品の中から前記物体に該当する商品を認識する第１の認識手段と、
   前記第１の認識手段が認識した前記商品が対応付けられた第１の入力部と、商品分類ごとに予め商品が対応付けられた第２の入力部とを表示した第１の画面で、当該商品分類が切り替えられることにより、前記第２の入力部に対応付けられた前記商品が切り替えられても、前記第１の入力部を表示させる表示制御手段と、
   前記表示制御手段が表示した前記第１の入力部または前記第２の入力部を選択する操作を受け付ける入力手段と、
   前記入力手段が受け付けた当該第１の入力部または当該第２の入力部に対応付けられている商品を売上登録する登録手段と、
   を備える店舗システム。
5. コンピュータを、
   撮像部にかざされた物体を撮像する撮像手段と、
   前記撮像手段が撮像した前記物体の特徴量と、予め辞書に記憶された各商品の照合用の特徴量とを比較し、その類似度に基づいて前記各商品の中から前記物体に該当する商品を認識する第１の認識手段と、
   前記第１の認識手段が認識した前記商品が対応付けられた第１の入力部と、商品分類ごとに予め商品が対応付けられた第２の入力部とを表示した第１の画面で、当該商品分類が切り替えられることにより、前記第２の入力部に対応付けられた前記商品が切り替えられても、前記第１の入力部を表示させる表示制御手段と、
   前記表示制御手段が表示した前記第１の入力部または前記第２の入力部を選択する操作を受け付ける入力手段と、
   前記入力手段が受け付けた当該第１の入力部または当該第２の入力部に対応付けられている商品を売上登録する登録手段と、
   として機能させるプログラム。