JP6869742B2 - 情報処理装置およびプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置およびプログラムに関する。

従来、イメージセンサにより撮像した撮像画像から撮像対象物の特徴量を抽出し、基準画像の特徴量との類似度に応じて、類似度の高い基準画像の商品を商品候補として認識し、抽出するオブジェクト認識（一般物体認識）に係る技術がある。また、バーコードの付されていない青果等の商品に対し、このオブジェクト認識技術を用いて商品の識別を行い、商品マスタから商品名や商品価格等の商品情報を読み込んで売上登録する技術が提案されている。

オブジェクト認識技術においては、イメージセンサに対して商品のどの部分をどのようにかざすかによって、撮像画像上の対象物の色合いや表面形状等が変化するため、類似と見なされる商品候補、並びに当該商品候補との類似度も変化することとなる。従って、基準画像との類似度が高くなるようなかざし方をすれば、商品認識を効率的に行うことができ、ひいては商品登録の効率化も図ることができる。しかしながら従来技術においては、どのように商品をかざせば類似度が増加し、商品識別が成されやすくなるのかが分かりにくいという課題があった。

本発明が解決しようとする課題は、商品のかざし方に応じて、撮像対象物と商品の基準画像との類似度がどのように変化するかを実感することができる情報処理装置およびプログラムを提供することである。

実施形態の情報処理装置は、画像取込手段と、商品候補抽出手段と、商品候補表示手段と、選択操作受付手段と、商品情報出力手段と、を備える。画像取込手段は、撮像手段による撮像画像を取り込む。商品候補抽出手段は、前記撮像画像と、商品ごとの基準画像との類似度に基づいて、前記撮像手段が撮像した商品の候補となる商品候補を少なくとも１つ抽出する。商品候補表示手段は、前記商品候補を、当該商品候補の基準画像と前記撮像画像との類似度の大小に応じて重みづけをして表示出力する。選択操作受付手段は、前記商品候補から、前記撮像手段が撮像した商品を選択する選択操作を受付ける。商品情報出力手段は、前記選択操作を受付けた前記商品候補について、その商品を示す商品情報を出力する。また、商品候補表示手段は、各商品候補を選択する選択アイコンの表示に添えて、当該商品候補ごとの前記類似度を棒グラフで表示する。

図１は、実施形態にかかるチェックアウトシステムの一例を示す斜視図である。 図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図３は、ＰＬＵファイルのデータ構成を例示する概念図である。 図４は、ＰＯＳ端末の機能構成を示すブロック図である。 図５は、商品読取装置の店員用表示器に表示される読取画面の一例を示す図である。 図６は、新たな撮像画像に対して類似度が変化した際の、各商品候補の表示例を示す図である。 図７は、自動登録ラインの表示例を示した図である。 図８は、類似度に応じて選択アイコンの色濃度を変更する場合の表示例を示す図である。 図９は、類似度に応じて選択アイコンの表示サイズを変更する場合の表示例を示す図である。 図１０は、ＰＯＳ端末が実行する読取処理および登録処理の手順例を示すフローチャートである。

以下では、スーパーマーケット等の店舗に導入されたチェックアウトシステムに対して、本実施形態の情報処理装置およびプログラムを適用した例について説明するが、本実施形態はこの適用例により何ら限定されるものではない。

図１は、実施形態にかかるチェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、商品に関する情報を読み取る商品読取装置１０１と、一取引に係る商品の売上登録、精算を行うＰＯＳ端末１１とを備える。以下では、ＰＯＳ端末１１を本実施形態にかかる情報処理装置として適用する例について説明する。

ＰＯＳ端末１１は、チェックアウト台４１上のドロワ２１上面に載置される。ＰＯＳ端末１１は、ドロワ２１の開放を制御する。ＰＯＳ端末１１は、上面にキーボード２２を備える。キーボード２２は、オペレータ（店員）が操作を入力するキーを備える。ＰＯＳ端末１１は、キーボード２２を操作するオペレータから見てキーボード２２よりも奥側に、オペレータに向けて情報を表示する店員用表示器２３を備える。店員用表示器２３は、タッチパネル２６が積層された表示面２３ａを備える。

ＰＯＳ端末１１は、店員用表示器２３よりも更に奥側に、顧客に向けて情報を表示する客用表示器２４を備える。なお、図１に示す客用表示器２４は、表示面２４ａを図１の手前側に向けている。しかし、客用表示器２４は、表示面２４ａが図１の奥側に向くように回転させることで顧客に向けて情報を表示することができる。

カウンタ台１５１は、横長のテーブルである。カウンタ台１５１は、ＰＯＳ端末１１が載置されているチェックアウト台４１とＬ字を形成するように配置される。カウンタ台１５１は、上面に荷受け面１５２を形成する。荷受け面１５２には、商品を収納する買物カゴ１５３が載置される。買物カゴ１５３には、第１の買物カゴ１５３ａと、第２の買物カゴ１５３ｂとがある。第１の買物カゴ１５３ａは、顧客が購入対象の商品を入れたカゴである。第２の買物カゴ１５３ｂは、商品読取装置１０１が売上登録した商品を入れるカゴである。第２の買物カゴ１５３ｂは、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレーや、箱状や、袋状等であってもよい。

商品読取装置１０１は、カウンタ台１５１の荷受け面１５２に載置される。商品読取装置１０１は、ＰＯＳ端末１１とデータを送受信することができる。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２は、正面に読取窓１０３を備える。ハウジング１０２は、上部に表示・操作部１０４を備える。

表示・操作部１０４は、タッチパネル１０５が表面に積層された表示部である店員用表示器１０６を備える。表示・操作部１０４は、店員用表示器１０６の右隣にはキーボード１０７を備える。表示・操作部１０４は、キーボード１０７の右隣にカードリーダのカード読取溝１０８を備える。表示・操作部１０４は、オペレータから見て裏面左奥側に、顧客に向けて情報を提供する客用表示器１０９を備える。

このような商品読取装置１０１は、商品読取部１１０（図２参照）を備える。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置する。

商品読取装置１０１を操作するオペレータは、第１の買物カゴ１５３ａ内の商品を、第２の買物カゴ１５３ｂに移動する。オペレータは、この移動過程で、商品読取装置１０１の読取窓１０３に商品をかざす。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は、商品を撮像する。

商品読取装置１０１は、売上登録する商品の商品ＩＤをＰＯＳ端末１１に通知する。具体的には、商品読取装置１０１は、売上登録の対象商品が、ＰＬＵファイルＦ１（図３参照）に記憶された商品の何れに対応するかを指定させる画面を表示・操作部１０４に表示する。そして、商品読取装置１０１は、指定された商品の商品ＩＤをＰＯＳ端末１１に通知する。ＰＯＳ端末１１では、商品読取装置１０１から通知された商品ＩＤに基づき、売上登録に係る情報を、売上ファイル（不図示）等に記録して売上登録を行う。売上登録に係る情報とは、例えば、商品ＩＤに対応する商品の商品分類や、商品名や、単価等である。

図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、ＣＰＵ（Central Processing Unit）６１と、ＲＯＭ（Read Only Memory）６２と、ＲＡＭ（Random Access Memory）６３とを備える。マイクロコンピュータ６０においては、各種演算処理を実行し各部を制御するＣＰＵ６１と、ＲＯＭ６２と、ＲＡＭ６３とがバスで接続している。

ＰＯＳ端末１１のＣＰＵ６１は、各種の入出力回路（不図示）を介して、前述したドロワ２１と、キーボード２２と、店員用表示器２３と、タッチパネル２６と、客用表示器２４と接続している。これら機器は、ＣＰＵ６１に制御される。

キーボード２２は、数字や演算子などのテンキー２２ｄと、仮締めキー２２ｅと、締めキー２２ｆとを有する。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続される。ＨＤＤ６４には、プログラムや各種ファイルを記憶する。ＣＰＵ６１は、ＰＯＳ端末１１の起動時に、ＨＤＤ６４が記憶しているプログラムや各種ファイルの全部または一部をＲＡＭ６３にコピーすることで実行する。

ＨＤＤ６４は、プログラムＰＲと、ＰＬＵファイルＦ１とを記憶する。なお、ＨＤＤ６４は、記憶装置であればよく、ＳＳＤ（Solid State Drive）などの他の記憶媒体で構成された記憶装置であってもよい。

プログラムＰＲは、商品読取装置１０１を制御して各種情報を読み取る機能、オブジェクト認識により商品を識別する機能などを実現するためのプログラムである。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品の各々について、商品の売上登録に係る情報を格納する商品ファイルである。また、本実施形態のＰＬＵファイルＦ１は、オブジェクト認識に用いる照合用データを格納している。

図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、各商品の識別子である商品ＩＤと対応付けて、各商品の商品情報を格納している。商品情報としては、例えば図３に示すように、商品分類、商品名、品種、単価等の情報が適用できる。また、ＰＬＵファイルＦ１は、商品ＩＤに対応付けて、各商品のイラスト画像と、その商品の撮像画像から抽出された特徴量とを格納している。

イラスト画像としては、当該商品を描画したイラストの画像データが格納されている。当該イラスト画像は、オブジェクト認識の識別結果を表示する際、例えば、識別結果として撮像対象となった対象物の候補（商品候補）をオペレータに提示する際に用いられる。尚、イラスト画像の代替として、その商品を視認容易とする背景とともに、その商品単体で撮像した画像を用いてもよい。

特徴量は、オブジェクト認識用の照合用データとして用いられる数値データである。特徴量は、各商品を撮像した基準画像から抽出された数値データであり、商品の表面形状、表面の色合い、模様、凹凸状態等の外観上の特徴を表す数値である。ＰＬＵファイルＦ１には、各商品を撮像した基準画像から予め抽出した特徴量がそれぞれ格納されている。なお、一般的に特徴量は、複数枚の基準画像から抽出され、平均化された値がＰＬＵファイルＦ１に設定される。

オブジェクト認識では、撮像部１６４による撮像画像から特徴量をリアルタイムで抽出し、ＰＬＵファイルＦ１に格納されている照合用の特徴量との類似度を算出する。そして、オブジェクト認識では、類似度の高い商品を、撮像対象物である商品（確定商品）として自動的に確定するか、あるいは、撮像対象物である可能性の高い商品の候補（商品候補）として抽出する。

尚、照合用データとしては、特徴量ではなく、基準画像そのものをＰＬＵファイルＦ１に格納しておき、基準画像との類似度の算出を各認識処理において行ってもよい。

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信Ｉ／Ｆ（Interface）２５が入出力回路（不図示）を介して接続される。ストアコンピュータＳＣは、店舗のバックヤード等に設置される。ストアコンピュータＳＣのＨＤＤ（不図示）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納される。

更に、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続Ｉ／Ｆ６５が接続される。接続Ｉ／Ｆ６５には、商品読取装置１０１が接続される。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続される。プリンタ６６は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。

商品読取装置１０１は、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１と、ＲＯＭ１６２と、ＲＡＭ１６３とを備える。マイクロコンピュータ１６０においては、ＣＰＵ１６１と、ＲＯＭ１６２と、ＲＡＭ１６３とがバスで接続している。ＲＯＭ１６２は、ＣＰＵ１６１が実行するプログラムを記憶する。ＣＰＵ１６１は、各入出力回路（いずれも不図示）を介して撮像部１６４及び音声出力部１６５と接続している。ＣＰＵ１６１は、撮像部１６４及び音声出力部１６５の動作を制御する。

表示・操作部１０４は、接続Ｉ／Ｆ１７６を介して、商品読取部１１０及びＰＯＳ端末１１と接続している。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１と、ＰＯＳ端末１１のＣＰＵ６１とによって動作が制御される。

撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等のイメージセンサ（不図示）とＬＥＤなどの光源（不図示）とを有する。撮像部１６４は、ＣＰＵ１６１の制御の下で読取窓１０３の内部から撮像を行う。撮像部１６４は、例えば、３０ｆｐｓ（Flame Per Second）のフレームレートでフレーム画像を撮像する。撮像部１６４は、所定のフレームレートで順次撮像したフレーム画像（撮像画像）をＲＡＭ１６３に保存する。

音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音や音声による報知を行う。

更に、ＣＰＵ１６１は、接続Ｉ／Ｆ１７５と接続している。接続Ｉ／Ｆ１７５は、ＰＯＳ端末１１の接続Ｉ／Ｆ６５に接続して、ＰＯＳ端末１１とデータを送受信する。また、接続Ｉ／Ｆ１７５は、表示・操作部１０４の接続Ｉ／Ｆ１７６に接続して、表示・操作部１０４とデータを送受信する。

更に、接続Ｉ／Ｆ６５は、プリンタ１２１を接続することができる。印字部であるプリンタ１２１は、文書や、画像などの書類を印刷する画像形成装置である。プリンタ１２１は、接続Ｉ／Ｆ１２２と、駆動モータ１２３と、印字ヘッド１２４とを備える。接続Ｉ／Ｆ１２２は、ＰＯＳ端末１１の接続Ｉ／Ｆ６５に接続して、ＰＯＳ端末１１とデータを送受信する。駆動モータ１２３は、印刷対象の用紙を搬送するモータである。印字ヘッド１２４は、用紙に印刷するプリントヘッドなどである。

次に、ＰＯＳ端末１１が実行するプログラムＰＲを実行することにより実現される、ＰＯＳ端末１１の機能構成について説明する。

図４は、ＰＯＳ端末１１の機能構成を示すブロック図である。

本実施形態のＰＯＳ端末１１で実行されるプログラムＰＲは、ＨＤＤ６４に予め組み込まれて提供される。なお、プログラムＰＲは、ＲＯＭ６２に予め組み込まれて提供されてもよい。

また、プログラムＰＲは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、プログラムＰＲを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、プログラムＰＲをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

本実施形態のＰＯＳ端末１１が実行するプログラムＰＲは、図４に示すように、画像取込部５１と、商品検出部５２と、候補抽出部５３と、表示制御部５４と、入力受付部５５と、売上登録部５６とを含むモジュール構成を有する。プロセッサ即ちＣＰＵ６１（図２参照）は、ＨＤＤ６４からプログラムＰＲを読み出して、上記各部を主記憶装置、即ち、ＲＡＭ６３上にロードする。これにより、上記各部が主記憶装置上に生成される。

画像取込部５１は、撮像部１６４に撮像制御信号を出力して撮像部１６４に撮像動作を開始させる。これにより、撮像部１６４は、撮像部１６４にかざされた商品を撮像する。そして、撮像部１６４は、撮像部１６４にかざされた商品を撮像した撮像画像をＲＡＭ１６３に保存する。画像取込部５１は、撮像動作開始後に撮像部１６４がＲＡＭ１６３に保存した撮像画像を、ＲＡＭ１６３に保存された順番に、１フレームずつ取り込む。

ところで、撮像部１６４は、撮像部１６４の光源の近く、すなわち読取窓１０３の近くに商品（オブジェクト）がない場合、明度０かそれに近い状態の撮像画像を撮像する。そして、撮像画像の明度は、認識させたい商品（オブジェクト）が読取窓１０３に近づけられると、光源からの光が商品（オブジェクト）に反射するために明るくなる。

画像取込部５１は、このような明度変化（色の属性の変化）を検知し、明度が所定の基準値以上であれば、商品（オブジェクト）がかざされた状態であると判定する。一方、明度が所定の基準値より低い場合に、画像取込部５１は、商品（オブジェクト）がかざされていない状態、すなわちフレームアウトした状態であると判定する。

商品検出部５２は、画像取込部５１が取り込んだ撮像画像から、商品の少なくとも一部を撮像した画像領域を、パターンマッチング技術等を用いて検出する。具体的には、商品検出部５２は、取り込まれた１フレームごとの撮像画像を２値化した画像から、輪郭線等を抽出する。商品検出部５２は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較する。そして、商品検出部５２は、新たに抽出した輪郭線の物体を商品として認識する。これにより、商品検出部５２は、読取窓１０３にかざされた商品を検出する。

尚、商品検出部５２が商品を検出する方法は、上述した方法に限定されず、従来用いられている検出方法を適宜用いるとしてよい。

候補抽出部５３（商品候補抽出手段）は、撮像部１６４の撮像画像と、商品ごとの基準画像との類似度に基づいて、撮像部１６４が撮像した商品の候補となる商品候補を少なくとも１つ抽出する。より具体的には、候補抽出部５３は、商品検出部５２が抽出した画像領域、即ち、商品の少なくとも一部を撮像した画像領域から、その画像領域の特徴量を抽出する。なお、候補抽出部５３は、処理時間の短縮を図るため、特徴量を算定する際に、撮像対象物の輪郭または大きさは考慮しないものとする。

また、候補抽出部５３は、ＰＬＵファイルＦ１が格納する各商品（以下、登録商品という）の基準画像の特徴量と、１フレームごとの撮像画像から抽出された特徴量とを比較し、両者間の類似度を算出する。ここで、類似度は、ＰＬＵファイルＦ１が記憶する登録商品の特徴量を１００％＝「類似度：１．０」とした場合に、撮像画像から抽出された撮像対象物（即ち、商品）の特徴量がどの程度類似しているかを示すものである。なお、候補抽出部５３は、例えば、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。

このように撮像画像に含まれる物体を識別する技術は、一般的に、オブジェクト認識、あるいは、一般物体認識（generic object recognition）等と呼ばれている。オブジェクト認識に係る処理については、従来技術を用いることができる。

候補抽出部５３は、上述のように算出した類似度と、第１の閾値または第２の閾値とを比較し、閾値判定を行う。即ち、候補抽出部５３は、ＰＬＵファイルＦ１に、類似度が第１の閾値以上となる登録商品があれば、その登録商品が撮像対象物であると自動的に確定する。このように、自動的に撮像対象物が確定された撮像対象物を、以下では確定商品という。即ち、確定商品とは、自動的に撮像対象物として確定され、売上商品として自動的に商品データが登録される商品のことである。即ち、類似度が第１の閾値以上である登録商品は、撮像対象物である可能性が十分に高いので、オペレータの入力操作を介さずして、当該登録商品を撮像対象となった商品として自動的に確定するとした。このように、オペレータの操作を介さずに撮像対象物として一の商品が自動的に登録されることを、自動登録という。

候補抽出部５３は、確定商品がなく、類似度が第１の閾値未満かつ第２の閾値以上の登録商品がＰＬＵファイルＦ１にあれば、その登録商品を撮像対象物である可能性が高い商品候補として抽出する。なお、商品候補は、一つであってもよいし複数であってもよい。

候補抽出部５３は、ＰＬＵファイルＦ１に類似度が第２の閾値以上となる登録商品が無い場合に、撮像対象物に類似した商品候補は無く、当該撮像画像からは商品を特定することが不可能であると判定する。

表示制御部５４は、ＰＯＳ端末１１の店員用表示器２３、客用表示器２４、および、商品読取装置１０１の店員用表示器１０６、客用表示器１０９に出力する表示データをそれぞれ生成して、生成した表示データを各表示器に出力する。

例えば、表示制御部５４は、商品読取装置１０１の店員用表示器１０６に、オブジェクト認識用の読取画面を表示する。読取画面の構成例は図５以降で詳述するとし、ここでは概略的な表示制御方法について説明する。表示制御部５４は、読取画面に、撮像部１６４による最新の撮像画像をリアルタイムで表示する。即ち、表示制御部５４は、画像取込部５１が取り込んだ撮像画像を、取込んだ順に１フレームずつ表示する。

・確定商品の表示
上述のように候補抽出部５３が確定商品を抽出した場合、表示制御部５４は、店員用表示器１０６および客用表示器１０９において、確定商品の商品名や価格等の情報とともに、当該商品について自動的に売上登録した旨を表示する。

・商品候補の表示
上述のように候補抽出部５３が商品候補を抽出すると、表示制御部５４は、各商品候補の選択アイコンを店員用表示器１０６に表示する。この際、表示制御部５４（商品候補表示手段）は、各商品候補を、当該商品候補の基準画像と撮像画像との類似度の大小に応じて重みづけをして表示出力する。即ち、表示制御部５４（類似度図示手段）は、各商品候補を選択する選択アイコンの表示に添えて、各商品候補の基準画像と撮像画像との類似度を図示化して表示する。

尚、読取画面の構成例、および、商品候補の表示例については、図５〜図９とともに後述する。

また、表示制御部５４（商品情報出力手段）は、入力受付部５５が商品候補の選択操作を受付けると、当該選択操作を受付けた商品候補について、その商品を示す商品情報を含む表示データを生成する。そして、表示制御部５４は、生成した表示データをそれぞれ、ＰＯＳ端末１１の店員用表示器２３および客用表示器２４、商品読取装置１０１の店員用表示器１０６および客用表示器１０９に出力する。

入力受付部５５は、キーボード２２又はタッチパネル２６などの入力部を介して各種入力操作を受け付ける。また、入力受付部５５（選択操作受付手段）は、表示制御部５４が表示した商品候補から、撮像部１６４が撮像した商品、即ち換言すれば、売上登録すべき商品、を選択する操作を受け付ける。なお、入力受付部５５は、キーボード２２又はタッチパネル２６以外の入力部から操作を受け付けてもよい。例えば、入力部は、商品読取装置１０１のキーボード１０７や、タッチパネル１０５などであってもよい。

売上登録部５６（商品情報出力手段）は、入力受付部５５が商品候補の選択操作を受付けると、当該選択操作を受付けた商品候補について、その商品を示す商品情報をＰＬＵファイルＦ１から読み込んで、出力する。出力方法の１つとしては、レシート印字用の印字データを生成し、生成した印字データをプリンタ６６に出力する。また、他の出力方法としては、ＰＬＵファイルＦ１から読み込んだ商品情報、商品数、および、当該取引の合計金額、支払金額、釣り金額等を含む取引データを生成し、これを売上ファイルに出力し、売上データを記録する。尚、売上データの出力先としては、ＰＯＳ端末１１以外であってもよく、ストアコンピュータＳＣ等の外部装置に出力してもよい。

次に、図５ないし図９とともに、商品候補の表示例、および、各商品候補の類似度の図示化例について説明する。

図５は、商品読取装置１０１の店員用表示器１０６に表示される読取画面７０の一例を示す図である。商品読取装置１０１が起動すると、ＰＯＳ端末１１の表示制御部５４は商品読取装置１０１の店員用表示器１０６にオブジェクト認識用の読取画面７０を表示出力する。図５に示すように、読取画面７０は、撮像画像表示領域７１と、商品候補表示領域７２と、類似度図示領域７３と、登録情報表示領域７４とを備えている。

撮像画像表示領域７１は、画像取込部５１が取り込んだ撮像画像を１フレームごとに更新しつつ表示する領域である。

商品候補表示領域７２は、候補抽出部５３が抽出した商品候補について、各商品候補を選択するための選択アイコン７２ａ〜７２ｃを表示した領域である。図５では、各商品候補の選択アイコン７２ａ〜７２ｃについて、商品名がそれぞれ示された例を示している。尚、各選択アイコンには、それぞれの商品候補のイラスト画像をＰＬＵファイルＦ１から読み込んで表示してもよい。選択アイコン７２ａ〜７２ｃはそれぞれ、タッチパネル１０５に対するタッチ操作に応じて選択可能な操作子として設けられている。オペレータは選択アイコン７２ａ〜７２ｃのうち、自身が商品読取装置１０１に読み取らせている商品の選択アイコンに対し、タッチ操作する。入力受付部５５は、当該タッチ操作を受付けて、操作された選択アイコンに対応する商品候補を、確定商品として受付ける。

類似度図示領域７３は、各商品候補について算出された類似度を、商品候補ごとにそれぞれ表示する領域である。各商品候補について算出された類似度とは、換言すれば、撮像画像表示領域７１に表示された撮像画像の特徴量と、各商品候補の特徴量との類似度のことである。図５の例では、各商品候補の選択アイコン７２ａ〜７２ｃの表示に添えて、商品候補ごとの類似度を棒グラフ７３ａ〜７３ｃで表示した例を示した。

登録情報表示領域７４は、確定商品の商品情報として、売上登録される商品の商品名、価格等の情報を表示する領域である。尚、確定商品は、上述のように自動登録した確定商品でもよいし、商品候補に対するオペレータの選択操作により確定された確定商品でもよい。

即ち、表示制御部５４は、画像取込部５１が取り込んだ撮像画像により、撮像画像表示領域７１に表示するフレーム画像をリアルタイムに更新する。確定商品がある場合には、表示制御部５４は、確定商品の商品情報を登録情報表示領域７４に表示する。確定商品は無いが、候補抽出部５３が商品候補を抽出した場合には、表示制御部５４は商品候補表示領域７２に商品候補の選択アイコン７２ａ〜７２ｃを並べて表示する。また、表示制御部５４は、類似度図示領域７３に各商品候補の類似度を示す棒グラフ７３ａ〜７３ｃを表示する。入力受付部５５が、選択アイコン７２ａ〜７２ｃのうち１つに対する選択操作を受付けると、表示制御部５４は、選択された商品候補に対する商品情報を、確定商品の商品情報として登録情報表示領域７４に表示する。

ここで、画像取込部５１により取り込まれる撮像画像は、１フレームの撮像レートごとに更新される。従って、確定商品の選定、あるいは、商品候補の抽出ならびに類似度の図示化は、当該撮像レートごとに更新されることとなる。従って、取込画像の更新に応じて候補抽出部５３が抽出した商品候補が変われば、商品候補表示領域７２に表示される商品候補も、当該商品候補の類似度も変わることとなる。例えば、商品のかざし方を変えながら読取作業を行う際には、撮像部１６４に商品のどの面が向いているか、あるいは、商品に対する照明のあたり具合等に応じて、類似度が変化する。そして、各商品候補の類似度の変化に応じて、類似度を示す棒グラフ７３ａ〜７３ｃも随時、その長さを変えることとなる。

図６は、新たな撮像画像に対して類似度が変化した際の、各商品候補の表示例を示す図である。画像取込部５１が新たな撮像画像を取り込むと、表示制御部５４は図６に示すように、撮像画像表示領域７１の表示を更新する。つまり、図５の撮像画像にはトマトのヘタが一部しか撮像されていないが、図６の撮像画像にはトマトのヘタが全体的に撮像されている。このように商品の撮像部１６４に対するかざし方を変えると、特徴量が変化する場合がある。尚、図５、図６の例は説明のための一例を示したものであり、ヘタの有無により類似度は必ずしも図５、図６のように変化する訳ではない。

表示制御部５４は、各選択アイコン７２ａ〜７２ｃに隣り合わせて、各商品候補の類似度を棒グラフ７３ａ〜７３ｃにより図示化して表示する。図６の撮像画像に対しては、「トマト」に対する類似度を示した棒グラフ７３ａが、図５の時よりも増加している。一方で、「リンゴ」に対する類似度を示した棒グラフ７３ｂに対する類似度は、図５の時よりも減少している。

オペレータは、自身が読取を行っている商品がいずれの商品であるか承知している。即ち、オペレータは、撮像対象物がトマトであることは分かっている訳である。然るに、オペレータは、図５の撮像画像が得られたかざし方と、図６の撮像画像が得られたかざし方と、いずれのかざし方が適切な識別結果を得やすいのか、類似度を図示した棒グラフ７３ａ〜７３ｃの妥当性から判断できる。

即ち、図５の撮像画像を得たかざし方では、トマトに対する類似度の棒グラフ７３ａと、リンゴに対する類似度の棒グラフ７３ｂとが似通っており、大差ない識別結果となっており、類似度の妥当性は低い。一方、図６の撮像画像を得たかざし方では、トマトに対する類似度の棒グラフ７３ａが、リンゴに対する類似度の棒グラフ７３ｂに大きく勝っており、類似度の妥当性は高いといえる。オペレータは、棒グラフ７３ａの高さが図５から図６のように伸びるのを見て、自身の商品のかざし方がより適切なかざし方となったことを認識できる。

オブジェクト認識処理においては、取込画像の更新とともに、商品候補の抽出ならびに類似度の算出もリアルタイムで更新されるから、類似度を図示化した棒グラフの高さもリアルタイムに伸び縮みすることとなる。しかるにオペレータは、どのように商品をかざした時に、類似度がどう変化するかをリアルタイムで知ることができ、商品のかざし方について、随時、直感的で分かり易いフィードバックを得ることができる。また、オペレータは、登録処理中フィードバックを得続けることで、より好適な商品のかざし方を習得することができ、ひいては、商品読取処理の効率化を図ることができる。

尚、このように、取込画像の更新に応じて商品候補の類似度が変化する際に、類似度が上述の第１の閾値以上となれば、候補抽出部５３は当該商品を確定商品として、オペレータの選択操作を介さずに自動登録する。自動登録が行われると、上述したように表示制御部５４は当該確定商品の商品情報を登録情報表示領域７４に表示する。オペレータは、図示化された類似度を目視しながら商品のかざし方を変え、どのようなかざし方であれば、類似度が増加し、登録されやすいのかを実感することができる。

尚、類似度図示領域７３には、第１の閾値に対応する自動登録ライン７６（図７参照）を表示してもよい。

図７は、自動登録ライン７６の表示例を示した図である。自動登録ライン７６は、当該ラインに類似度の棒グラフが達した場合に、当該商品候補の類似度が第１の閾値に達するラインである。このように、第１の閾値を可視化して示すことで、オペレータは、自動登録の判定基準に対して、現況のかざし方がどの程度好適な状態であるかを客観的に知ることができる。

尚、類似度の図示方法については、棒グラフによる表示に限るものではない。以下では、類似度のその他の図示方法について、図８〜図９を用いて説明する。

図８は、類似度に応じて選択アイコンの色濃度を変更する場合の表示例を示す図である。図８に示すように、表示制御部５４は、商品候補の選択アイコン７２ａ〜７２ｃを、各商品候補の類似度に応じた色の濃度で表示出力してもよい。尚、図８では、商品候補の選択アイコン７２ａ〜７２ｃに、類似度図示領域７３を添えて表示した例を示したが、類似度の図示は、選択アイコンの色濃度のみで表示し、類似度図示領域７３および棒グラフ７３ａ〜７３ｃは表示しなくてもよい。

図９は、類似度に応じて選択アイコンの表示サイズを変更する場合の表示例を示す図である。図９に示すように、表示制御部５４は、商品候補の選択アイコン７２ａ〜７２ｃのサイズを、各商品候補の類似度に応じたサイズで表示出力してもよい。図９では、選択アイコン７２ａ〜７２ｃに、各商品候補の商品名とともに、イラスト画像を表示した例を示す。表示制御部５４は、各商品候補の類似度の大小に応じて、各商品候補の選択アイコン７２ａ〜７２ｃのサイズを変更する。即ち、図９に示すように、表示制御部５４は、各選択アイコン７２ａ〜７２ｃについて、外枠８１ａ〜８１ｃのサイズとともに、商品名を示すテキスト８２ａ〜８２ｃのサイズ、および、イラスト画像８３ａ〜８３ｃのサイズを類似度に応じて変更する。

尚、図９では、選択アイコンの構成要素すべてについて、そのサイズを類似度に応じて変更するとしたが、表示制御部５４は、選択アイコンの構成要素のすべてのサイズを変更しなくてもよい。例えば、外枠８１ａ〜８１ｃのサイズ、および、イラスト画像８３ａ〜８３ｃのサイズを変更し、テキスト８２ａ〜８２ｃについてはサイズを固定してもよい。

このように、類似度に応じて選択アイコン７２ａ〜７２ｃに関する表示サイズを変更することで、オペレータにとって大きく表示された商品候補は選択しやすくなる。

尚、類似度の図示化は、上述した図示化方法に限定されない。表示制御部５４は、商品候補を、商品候補の基準画像と撮像画像との類似度の大小に応じて重みづけをして表示すれば、上記以外の表示方法でもよい。例えば、商品候補表示領域７２に商品候補の選択アイコン７２ａ〜７２ｃを配置する際に、各商品候補の類似度に応じて撮像画像表示領域７１からの距離を変え、類似度の高い商品候補ほど、その選択アイコンを撮像画像表示領域７１の近くに表示するなどとしてもよい。また、類似度が他の商品候補と比べて低めの商品候補（例えば、３つ商品候補が提示される際に、類似度が３番目となる商品候補）については、その選択アイコンをグレイアウトして選択できないようにするとしてもよい。また、上述した表示方法を組み合わせて類似度に応じた重みづけ表示を行ってもよい。

次に、ＰＯＳ端末１１が実行する読取処理および登録処理の手順例について説明する。図１０は、ＰＯＳ端末１１が実行する読取処理および登録処理の手順例を示すフローチャートである。

商品読取装置１０１の表示・操作部１０４において撮像開始キーが操作されると、ＰＯＳ端末１１の画像取込部５１は、商品読取装置１０１の撮像部１６４に撮像開始信号を送信する。撮像部１６４は当該信号に応じて、イメージセンサの動作を開始し、撮像動作を開始する。ＰＯＳ端末１１の画像取込部５１は、撮像部１６４が撮像したフレームごとの撮像画像をＲＡＭ１６３に取り込む処理を開始する。加えて、商品検出部５２は、画像取込部５１が取り込んだ撮像画像に対してオブジェクト（撮像対象物、即ち、商品）を検出する処理を開始する（ステップＳ１）。

商品検出部５２が撮像対象物を検出すると（ステップＳ２：Ｙｅｓ）、候補抽出部５３は、当該撮像対象物の特徴量を抽出する（ステップＳ３）。また、候補抽出部５３は、抽出した特徴量と、ＰＬＵファイルＦ１が記憶している登録商品の特徴量とを比較して、両者間の類似度を算出する（ステップＳ４）。尚、ステップＳ２：Ｎｏの場合にはステップＳ２に戻り、撮像対象物の検出を待つ。

候補抽出部５３は、ＰＬＵファイルＦ１に、類似度が第１の閾値以上となる登録商品があるか判定する（ステップＳ５）。第１の閾値以上となる登録商品があれば（ステップＳ５：Ｙｅｓ）、候補抽出部５３は当該登録商品を確定商品として判定し、売上登録部５６は、当該確定商品の商品情報をＰＬＵファイルＦ１から読み込んで、販売対象の商品情報として登録する（売上登録、ステップＳ１０）。また、表示制御部５４は、確定商品の商品情報を、商品読取装置１０１の店員用表示器１０６および客用表示器１０９に表示する。

一方、第１の閾値以上となる登録商品が無ければ（ステップＳ５：Ｎｏ）、候補抽出部５３は、ＰＬＵファイルＦ１に、第１の閾値未満かつ第２の閾値以上の登録商品があるか判定する（ステップＳ６）。ステップＳ６：Ｙｅｓであれば、候補抽出部５３は当該商品を商品候補として抽出し、表示制御部５４は抽出された商品候補の選択アイコンを商品候補表示領域７２（図５参照）に表示する（ステップＳ７）。尚、当該選択アイコンには、上述したように、商品名が示されてもよいし、商品のイラスト画像が表示されてもよい。また、表示制御部５４は、各商品候補の類似度を棒グラフにより図示化し、当該棒グラフを各商品の選択アイコンに添えて表示する（ステップＳ８）。尚、ステップＳ６：Ｎｏであれば、ステップＳ２に戻る。

入力受付部５５が、いずれか１つの選択アイコンに対する選択操作を受付けると（ステップＳ９：Ｙｅｓ）、売上登録部５６は、当該選択アイコンに対応する商品候補を確定商品として判定し、当該確定商品の商品情報をＰＬＵファイルＦ１から読み込んで、販売対象の商品情報として登録する（ステップＳ１０）。また、表示制御部５４は商品候補が確定商品として決定された旨、および、当該確定商品の商品情報を、商品読取装置１０１の店員用表示器１０６および客用表示器１０９に表示する。

一方、ステップＳ９：Ｎｏの場合にはステップＳ２に戻る。即ち、選択操作を受付けない間は、画像取込部５１は撮像部１６４からのフレーム画像の取り込みを続行し、商品検出部５２はオブジェクトの検出判定を続ける（ステップＳ２）。そして、候補抽出部５３は、ステップＳ３の特徴量抽出、ステップＳ４の類似度算出、ステップＳ５、Ｓ６の閾値判定、ステップＳ７の商品候補抽出および表示、ステップＳ８の類似度図示化を、上述と同様の手順で続ける。商品が自動登録されるか（ステップＳ５：Ｙｅｓ）、あるいは、商品候補に対する選択操作がなされると（ステップＳ９：Ｙｅｓ）、当該商品の登録作業は終了し、オペレータは次の商品の読取作業に移る。ＰＯＳ端末１１のキーボード２２において締めキー２２ｆが操作され、この取引の終了が宣言されると（ステップＳ１１：Ｙｅｓ）、ＰＯＳ端末１１は画像取込を終了し、ＲＡＭ１６３のワークメモリをクリアし、商品読取装置１０１に撮像終了信号を送信して、撮像部１６４による撮像動作を終了させる。ステップＳ１１：Ｎｏであれば、ステップＳ２に戻って、ステップＳ２以降の手順を続ける。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施形態では、ＰＯＳ端末１１がＰＬＵファイルＦ１を備える形態としたが、これに限らず、商品読取装置１０１がＰＬＵファイルＦ１を備える形態としてもよい。または、ＰＯＳ端末１１及び商品読取装置１０１がアクセス可能な外部装置がＰＬＵファイルＦ１を備える形態としてもよい。

また、上記実施形態では、情報処理装置としてＰＯＳ端末１１を適用した例について説明したが、情報処理装置として商品読取装置１０１を適用してもよい。その際には、商品読取装置１０１が、上述した画像取込部５１、商品検出部５２、候補抽出部５３、表示制御部５４、入力受付部５５の機能を有すればよい。

また、上述では、店舗システムとしてＰＯＳ端末１１と商品読取装置１０１とで構成されるチェックアウトシステム１を適用する場合について説明したが、実施形態はこれに限定されない。その他の適用例として、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置に、上記実施形態を適用してもよい。当該１台構成の装置の例としては、スーパーマーケット等の店舗で用いられるセルフチェックアウト装置（セルフＰＯＳ端末）等がある。

以上説明した通り、上記実施形態では、各商品候補を、当該商品候補の基準画像と撮像画像との類似度の大小に応じて重みづけをして表示出力する。従って、商品のかざし方に応じて撮像画像が変化する際に、当該撮像画像と各商品候補との類似度が変化する様子を目視確認することができる。即ち、上記実施形態によれば、商品のかざし方に応じて、撮像対象物と各商品候補との類似度がどのように変化するかを実感しやすくすることができる情報処理装置およびプログラムを提供することができる。

１ チェックアウトシステム
１１ ＰＯＳ端末
５１ 画像取込部
５２ 商品検出部
５３ 候補抽出部
５４ 表示制御部
５５ 入力受付部
５６ 売上登録部
７０ 読取画面
７１ 撮像画像表示領域
７２ 商品候補表示領域
７２ａ〜７２ｃ 選択アイコン
７３ 類似度図示領域
７３ａ〜７３ｃ 棒グラフ
１０１ 商品読取装置
１６４ 撮像部

特開２０１５−０３５０９４号公報

Claims (4)

1. 撮像手段による撮像画像を取り込む画像取込手段と、
   前記撮像画像と、商品ごとの基準画像との類似度に基づいて、前記撮像手段が撮像した商品の候補となる商品候補を少なくとも１つ抽出する商品候補抽出手段と、
   前記商品候補を、当該商品候補の基準画像と前記撮像画像との類似度の大小に応じて重みづけをして表示出力する商品候補表示手段と、
   前記商品候補から、前記撮像手段が撮像した商品を選択する選択操作を受付ける選択操作受付手段と、
   前記選択操作を受付けた前記商品候補について、その商品を示す商品情報を出力する商品情報出力手段と、
   を備え、
   前記商品候補表示手段は、各商品候補を選択する選択アイコンの表示に添えて、当該商品候補ごとの前記類似度を棒グラフで表示する、情報処理装置。
2. 前記商品候補表示手段は、前記選択アイコンを、前記商品候補の類似度に応じた色の濃度で表示出力する、請求項１に記載の情報処理装置。
3. 前記商品候補表示手段は、前記選択アイコンを、前記商品候補ごとの前記類似度に応じたサイズで表示出力する、請求項１又は２に記載の情報処理装置。
4. 情報処理装置を制御するコンピュータを、
   撮像手段による撮像画像を取り込む画像取込手段と、
   前記撮像画像と、商品ごとの基準画像との類似度に基づいて、前記撮像手段が撮像した商品の候補となる商品候補を少なくとも１つ抽出する商品候補抽出手段と、
   前記商品候補を、当該商品候補の基準画像と前記撮像画像との類似度の大小に応じて重みづけをして表示出力する商品候補表示手段と、
   前記商品候補から、前記撮像手段が撮像した商品を選択する選択操作を受付ける選択操作受付手段と、
   前記選択操作を受付けた前記商品候補について、その商品を示す商品情報を出力する商品情報出力手段と、
   して機能させ、
   前記商品候補表示手段は、各商品候補を選択する選択アイコンの表示に添えて、当該商品候補ごとの前記類似度を棒グラフで表示する、プログラム。

Images