JP6886906B2 - 読取装置およびプログラム - Google Patents

Description

本発明の実施形態は、読取装置およびプログラムに関する。

従来、イメージセンサデバイス（撮像素子）により撮像した画像から物体の特徴量を抽出し、基準画像の特徴量と比較することで物体を特定する一般物体認識（オブジェクト認識、generic object recognition）に係る技術が知られている。また、店舗における商品登録処理に関して、オブジェクト認識の機能を有する読取装置を用いて、商品を特定する処理、あるいは、商品の候補を選出する処理を行って、商品登録を補助する技術が知られている。

オブジェクト認識を利用した登録処理では、オペレータが登録する商品をカゴまたはレジカウンタから１つずつ手で持ち上げて撮像素子の撮像領域にかざす。そして、読取装置側は撮像領域内に物体を検出すると、検出した物体について、オブジェクト認識の処理を開始する手順をとっている。

これに対して、登録処理の効率向上のため、登録する商品をカゴまたはレジカウンタ上に置いたままでも、オブジェクト認識による商品特定または商品候補の選定を開始させ、登録処理の効率化を図りたいという要望があった。

本発明が解決しようとする課題は、登録処理の効率化を図ることができる読取装置およびプログラムを提供することである。

実施形態の読取装置は、物品までの距離を示す距離情報を対応付けた撮像画像を撮像する撮像装置から、前記距離情報を対応付けた撮像画像を読み込む距離画像読込手段と、前記距離情報を用いて、前記撮像装置からの距離が近い順に物品を選択する物品選択手段と、前記物品選択手段が選択した物品を、前記距離画像読込手段が前記撮像装置から読み込んだ撮像画像上において判別可能に表示する表示制御手段と、前記物品選択手段が選択した物品に関する情報を記憶手段から読み込んで、当該情報の登録処理を行う登録手段と、を備える。

図１は、本実施形態にかかるＰＯＳシステムの全体構成を示すブロック図である。 図２は、スキャナの外観図である。 図３は、スキャナとは別体として撮像部を設けた場合の外観図である。 図４は、ＰＯＳ端末のＣＰＵが実現する機能構成を示したブロック図である。 図５は、読取画面の構成例を示した図である。 図６は、商品候補から１つの商品が選択された際の画面構成例を示す図である。 図７は、登録された商品が買物カゴから取り出された後の画面例を示す図である。 図８は、ＰＯＳ端末が実行する読取処理の手順例を示したフローチャートである。

以下に添付図面を参照して、本実施形態に係る読取装置およびプログラムの一実施形態を詳細に説明する。以下の実施形態では、本発明の読取装置として、スーパーマーケットやコンビニエンスストア等で使用されるＰＯＳ（Point Of Sales）端末を適用した例について説明するが、この適用例によって発明は限定されない。

図１は、本実施形態にかかるＰＯＳシステム１００の全体構成を示すブロック図である。ＰＯＳシステム１００は、ＰＯＳ端末１０と、スキャナ１０１とを備えている。

ＰＯＳ端末１０は、情報処理を実行するマイクロコンピュータ（制御部６０）を備える。制御部６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１と、ＲＯＭ（Read Only Memory）６２と、ＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。

ＰＯＳ端末１０のＣＰＵ６１には、ドロワ２１、キーボード２２、店員用表示器２３、タッチパネル２６、客用表示器２４が各種の入出力回路を介して接続されている。ＣＰＵ６１はこれら各部を制御する。

ＰＯＳ端末１０のＣＰＵ６１には、ＨＤＤ（Hard Disk Drive）６４が接続されている。ＨＤＤ６４には、本実施形態の読取処理を行うためのプログラムＰＲと、商品マスタファイルＦ１とを格納している。商品マスタファイルＦ１は、開店前等の所定のタイミングでストアコンピュータＳＣから配信されて、ＨＤＤ６４に格納される。

商品マスタファイルＦ１は、商品を識別するための商品コードに対応付けて、当該商品の商品名、単価、分類等の情報を記憶している。また、商品マスタファイルＦ１は、オブジェクト認識に用いる参照用データとして、その商品の撮像画像（基準画像）を格納している。尚、商品マスタファイルＦ１は、オブジェクト認識用の参照用データとして、基準画像から抽出された特徴量、即ち、基準画像の色情報、表面形状、表面の風合い等を示すデータを格納していてもよい。

ＰＯＳ端末１０のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信Ｉ／Ｆ（Interface）２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１０に配信される商品マスタファイルＦ１が格納されている。

さらに、ＰＯＳ端末１０のＣＰＵ６１には、スキャナ１０１との間でデータ送受信を可能にする接続Ｉ／Ｆ６５が接続されている。接続Ｉ／Ｆ６５には、スキャナ１０１が接続されている。また、ＰＯＳ端末１０のＣＰＵ６１には、レシートなどに印字するプリンタ６６が接続されている。プリンタ６６は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。

スキャナ１０１は、ＣＰＵ１６１とＲＯＭ１６２とＲＡＭ１６３とがバス接続されているマイクロコンピュータ（制御部１６０）を備えている。ＲＯＭ１６２は、ＣＰＵ１６１が実行する各種プログラムを記憶している。ＣＰＵ１６１には、各種バスやＩ／Ｆを介して、照明部１１、撮像部１２、音声出力部１６５等が接続されており、これら各部の動作を制御する。制御部１６０は、接続Ｉ／Ｆ１７５を介してＰＯＳ端末１０と接続している。

音声出力部１６５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。照明部１１は例えば複数のＬＥＤ（Light Emitting Diode）をライン状に並べて構成される。照明部１１は、照明部１１に入力される発光制御信号によりパルス発光し、撮像部１２の撮像領域を照らす。なお、照明部１１はその他の発光素子で構成されてもよい。

撮像部１２は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等のイメージセンサ（撮像素子ともいう）と、レンズ等の光学素子とを備えた撮像装置である。撮像部１２は、撮像制御信号に基づくフレームレート（１秒間に読み込まれるフレーム数）でフレーム画像をＲＡＭ１６３に順次読み込む。

また、本実施形態では、撮像部１２として、ＴＯＦ（Time Of Flight）機能を有する撮像部１２（ＴＯＦカメラともいう）を用いる。ＴＯＦカメラは、例えば、アレイ状に並んだ赤外ＬＥＤから周波数変調を施した赤外線を投光し、視野内の対象物（物品）から反射してきた変調信号の位相を計測することで、物品までの距離を計測する。ＴＯＦカメラは、リアルタイムに距離情報を取得することができる撮像手段である。本実施形態のＰＯＳシステム１００はＴＯＦカメラにより距離情報を取得する。これにより、買物カゴの中で一番上側にある物品、即ち、撮像部１２から最も近い物品を選択可能とするものである。撮像部１２は、距離情報が対応付けられた画像データ、即ち、撮像画像を順次、ＰＯＳ端末１０に出力する。

尚、撮像部１２は、フレーム画像を取得するためのイメージセンサと、距離画像を取得するためのＴＯＦカメラとを、それぞれ別のセンサデバイスとして備えていてもよいし、双方の機能を有する１つのセンサデバイスを備えていてもよい。

また、ＣＰＵ１６１には、接続Ｉ／Ｆ１７５、１７６を介して、店員用の操作表示部１０４と、客用表示器１０９（ともに図２も参照）とが接続されている。尚、店員用の操作表示部１０４および客用表示器１０９は、接続Ｉ／Ｆ１７６およびＰＯＳ端末１０の接続Ｉ／Ｆ６５を介して、ＰＯＳ端末１０のＣＰＵ６１に接続されている。店員用の操作表示部１０４は、キーボード１０７と、店員用表示器１０６と、店員用表示器１０６上に配設されたタッチパネル１０５とを備えている。

店員用表示器１０６は例えば液晶ディスプレイで構成され、液晶面上にタッチパネル１０５が積層された構成を有する。客用表示器１０９としては、液晶ディスプレイ、あるいは、複数行を表示することができるラインインジケータ等を用いることができる。

次に、スキャナ１０１の構造的な構成について説明する。

図２は、スキャナ１０１の外観図である。図２に例示するように、スキャナ１０１はサッカー台２の上面に設置されて用いられる。サッカー台２は、その上面に買物カゴや商品等を載置して使用する作業台であり、レジカウンタとして用いられる。スキャナ１０１は、平板型の支持部２０の上端に、店員用の操作表示部１０４を備えている。なお、店員用の操作表示部１０４の反対側には、店員用の操作表示部１０４と略背中合わせとなるように、客用表示器１０９が設けられている。

また、スキャナ１０１は、操作表示部１０４に対面したオペレータから見て手前側であって、店員用表示器１０６の画面より下方となる位置に、撮像部１２を備えている。撮像部１２の位置（高さ）および光軸の角度は、サッカー台２上に置かれた買物カゴの中身全体が、撮像部１２の撮像領域内に含まれるように構成される。尚、運用時には、買物カゴを用いず商品をサッカー台２上に直接置くとしてもよい。

（その他の構成例）
尚、図２では、撮像部１２が支持部２０の正面に保持された構成例を示したが、撮像部１２の設置位置はこれに限定されない。

図３は、スキャナとは別体として撮像部を設けた場合の外観図である。図２では、読取対象とする買物カゴをスキャナ１０１の正面に置いて読み取りを行うとしたが、買物カゴの載置位置は適宜変更可能である。図３に示すように、スキャナ２１０１の右側に未登録の商品を入れた、読取対象とする買物カゴを置き、スキャナ２１０１の正面は空スペースとする。そして、スキャナ２１０１の左側に、登録後の商品を入れた買物カゴを置く運用としてもよい。

このような運用方法に合わせて、図３では、スキャナ２１０１とは別体の撮像部２１２を、スキャナ２１０１の右側のサッカー台２上に立設するとした。即ち、撮像部２１２は、撮像部２１２の支持部２２０により、サッカー台２の上面に設置される。撮像部２１２の高さおよび光軸の角度は、読取対象とする買物カゴの中身全体が撮像領域に含まれるように構成される。尚、撮像部２１２のハードウェア構成、および、スキャナ２１０１の他の構成との接続に変更はない。図１で示したように撮像部２１２は、接続Ｉ／Ｆ１７５を介して、スキャナ２１０１のＣＰＵ１６１およびＰＯＳ端末１０に接続される。

尚、未登録の商品を入れた読取対象の買物カゴをスキャナ２１０１の左右どちらに置くかについては、店舗のレイアウト等に応じて適宜変更可能とする。図３とは左右を入れ替えて、スキャナ２１０１の左側のサッカー台２の上面に、撮像部２１２の支持部２２０を設置してもよい。

次に、本実施形態のＰＯＳ端末１０が実行するプログラムＰＲについて説明する。ソフトウェア構成については、上述のスキャナ１０１、２１０１のいずれの構成においても差異なく適用できるので、以下ではスキャナ１０１での実施として符号を付して説明する。

図４は、ＰＯＳ端末１０のＣＰＵ６１が実現する機能構成を示したブロック図である。ＰＯＳ端末１０のＨＤＤ６４に格納されたプログラムＰＲ（図１参照）は、図４に示すように、距離画像読込部５１、物品選択部５２、候補抽出部５３、表示制御部５４、操作受付部５５、登録部５６を含むモジュール構成となっている。ＣＰＵ６１（プロセッサ）は、ＨＤＤ６４（図１参照）からプログラムＰＲを読み出して、上記各部を主記憶装置上にロードする。これにより、上記各部が主記憶装置上に生成される。

なお、本実施形態のＰＯＳ端末１０で実行されるプログラムＰＲは、ＨＤＤ６４に予め組み込まれて提供される。尚、プログラムＰＲをＲＯＭ６２（図１参照）に組み込んで提供してもよい。本実施形態のＰＯＳ端末１０で実行されるプログラムＰＲは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態のＰＯＳ端末１０で実行されるプログラムＰＲを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のＰＯＳ端末１０で実行されるプログラムＰＲをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

距離画像読込部５１は、撮像部１２が撮像した撮像画像（距離画像）を、ＰＯＳ端末１０のＲＡＭ６３上に読み込む。

物品選択部５２は、距離情報に基づいて、撮像部１２からの距離が近い順に物品を登録処理対象として選択する。一例として、物品選択部５２は、距離画像を距離ごとに多層構造の画像に分割し、距離情報と位置情報（２次元の位置を示す情報）とに基づいて、ひとかたまりと認識された物品を抽出する。物品選択部５２は、最上層に位置する物品を、撮像部１２から最も近い物品とし、登録処理対象の物品として選択する。

尚、物品を抽出（検出）する際には、距離情報を特に含まない２次元のカラー画像またはモノクロ画像を用いて、エッジ検出等の処理を行い、物品を抽出してもよい。また、距離情報、位置情報、エッジ検出等の処理は適宜組み合わせてもよいし、各処理を組み合わせる手順は特に限定しないとする。

候補抽出部５３は、物品選択部５２が選択した物品の画像に対して、オブジェクト認識処理を行う。候補抽出部５３は、オブジェクト認識処理の結果として、登録対象とする物品に類似した商品の候補（商品候補）を、商品マスタファイルＦ１から少なくとも１つ抽出する。

尚、オブジェクト認識は、撮像画像データから対象となる物品の外見的特徴を識別し、物品の種別等を特定する技術である。候補抽出部５３は、物品選択部５２が選択した物品の画像領域から、外観特徴を示すデータである特徴量を抽出する。候補抽出部５３は、抽出した特徴量を、商品マスタファイルＦ１が有する各商品の基準画像の特徴量データと照合して類似度を算出する。候補抽出部５３は、類似度の高い商品を、商品候補として少なくとも１つ抽出する。

表示制御部５４は、ＰＯＳ端末１０の店員用表示器２３、客用表示器２４、および、スキャナ１０１の店員用表示器１０６、客用表示器１０９に出力する表示データをそれぞれ生成し、各表示器における表示処理を制御する。例えば、表示制御部５４は、スキャナ１０１の店員用表示器１０６に、商品の読取処理時に表示する読取画面７０（図５〜図７参照）を表示する。画面構成例については後述する。

操作受付部５５は、ＰＯＳ端末１０のキーボード２２およびタッチパネル２６、そして、スキャナ１０１のキーボード１０７およびタッチパネル１０５に対する操作を受付ける。例えば、操作受付部５５は、表示制御部５４が店員用表示器１０６に表示した商品候補に対し、１つの商品を選択する操作を受付ける。

登録部５６は、撮像部１２からの距離が近い順に物品の登録処理を行う。物品の登録処理の一例として、登録部５６は、商品の販売登録処理を行う。即ち、登録部５６は、操作受付部５５が選択操作を受付けた商品候補を、販売登録の対象商品として登録する。即ち、登録部５６は、選択された商品候補について、商品名、分類、価格等の商品情報を商品マスタファイルＦ１から読み込んで、登録対象商品の仮登録用ワークメモリに読み込む（仮登録）。ＰＯＳ端末１０のキーボード２２において確定キー等が操作されると、登録部５６は仮登録のデータを確定し、売上データファイル（不図示）に登録（本登録）する。尚、物品の登録処理は商品の販売登録処理に限定されず、値引きクーポンや、レジ袋等の要・不要を示すカード等の物品から情報を読み取って、登録する処理を行ってもよい。

次に、図５ないし図７を参照して、表示画面の構成例および遷移例について説明する。

図５は、読取画面７０の構成例を示した図である。読取画面７０には、撮像部１２の撮像画像７１がリアルタイムで表示される。表示制御部５４は、撮像画像７１の表示領域に、買物カゴを載置すべき位置を示した案内表示（ガイドライン）７２を表示する。案内表示７２は、例えば色付きの枠線等で表示すると分かり易い。一例として、案内表示７２を黄色の長方形状の枠線とするとよい。

このように案内表示７２を画面上に表示することで、撮像部１２の撮像領域内に収まるように、買物カゴを置くことができる。また、買物カゴを用いずに、商品をサッカー台２上に直接置く場合にも、撮像領域内に収まるように商品を置くことができる。

表示制御部５４は、読取画面７０において、物品選択部５２が選択した登録対象の物品を、撮像画像上で判別可能な状態で表示する。例えば、表示制御部５４（第１表示制御手段）は、登録対象とする物品に第１の識別表示７３を付して表示する。一例として、第１の識別表示７３を、登録対象とする物品の画像領域をほぼ囲う、色付きの枠線等で構成するとよい。商品の形状は多種多用であるから、枠線は特に長方形状でなくともよく、円形や楕円状としてもよいし、形状に合わせて適宜変更してもよい。また、第１の識別表示７３は、まだ商品の特定がなされていない物品に付されるので、枠線を点線などで表示してもよいし、枠線を点滅して表示してもよい。あるいは、第１の識別表示７３を枠線ではなく、マークで構成してもよいし、当該マークにテキストやイラストを含めてもよい。

また、表示制御部５４は、候補抽出部５３が抽出した少なくとも１つの商品候補について、当該商品候補を示す情報として、例えば商品名、商品のイラストあるいは写真画像等を商品マスタファイルＦ１から読み込んで、店員用表示器１０６に表示する。読取画面７０において、撮像画像７１の右隣の表示領域は、商品候補を表示するための表示領域として用いられる。図５では、第１の識別表示７３が付された物品に類似する商品候補として、３つの商品候補７４ａ〜７４ｃが抽出された例を示している。表示制御部５４は、各商品候補７４ａ〜７４ｃに対応するイラストを、類似度の高い順に上から並べて表示する。尚、類似度が高い商品候補が１つしか抽出されなかった場合には、当該１つの商品候補のイラストが表示される。

図６は、商品候補から１つの商品が選択された際の画面構成例を示す図である。表示制御部５４（第２表示制御手段）は、操作受付部５５が商品候補に対する選択操作を受付けると、第１の識別表示７３に替わって、第１の識別表示７３とは異なる第２の識別表示７５を、登録対象として選択された物品に付して表示する。一例として、第１の識別表示７３を赤枠で表示し、一の商品候補が選択されると、表示制御部５４は第２の識別表示７５を青枠で表示するとよい。あるいは、第２の識別表示７５として、枠内を網掛けして、特定済みの物品をグレイアウトさせて表示してもよい。あるいは、第２の識別表示７５として「済」などのマークを表示し、特定処理が済んでいることを明示してもよい。

また、表示制御部５４は、一の商品候補が選択されると、選択された商品候補７４ａのイラストのみを残し、選択されなかった商品候補７４ｂ、７４ｃのイラストはグレイアウトとする。

また、表示制御部５４（第３表示制御手段）は、一の商品候補が選択されると、選択された商品候補に対応付けられた商品情報を商品マスタファイルＦ１（商品情報記憶手段）から読み込んで、商品の数量とともに、読込情報表示領域７６に表示する。尚、表示制御部５４は、客用表示器１０９においても同等の情報を表示する。

尚、図６に示すように、読取画面７０には、ＰＬＵ（Price Look Up）ボタン８１、コード入力ボタン８２、再認識ボタン８３、取消ボタン８４等が設けられている。ＰＬＵボタン８１は、商品マスタファイルＦ１に問い合わせて商品分類や商品名等に基づいて商品を選択する処理を開始するための操作子である。コード入力ボタン８２は、キーボード１０７のテンキー等を介して、商品コードを入力し、商品マスタファイルＦ１から該当する商品の商品情報を読み込む処理を開始するための操作子である。再認識ボタン８３は、適切な商品候補が選出されない場合等に、再度オブジェクト認識を実行させるための操作子である。取消ボタン８４は、１つの商品候補が選択されて、読込情報表示領域７６に商品情報が表示された後に、当該商品の登録を取り消すための操作子である。

図７は、登録された商品が買物カゴから取り出された後の画面例を示す図である。第２の識別表示７５（例えば、青枠）で囲われ、商品名が特定された物品（図６の例では、キャベツ）が買物カゴから取り出されると、物品選択部５２は、当該物品がフレームアウトしたことを検出する。表示制御部５４は読取画面７０を更新して、商品候補７４ａの操作子、読込情報表示領域７６に表示された情報などを消去する。登録部５６は、読込情報表示領域７６に表示していた商品名、個数、価格等の情報を、ＰＯＳ端末１０側に出力する。また、表示制御部５４は、スキャナ１０１側から出力された情報に基づいて、ＰＯＳ端末１０の店員用表示器２３に表示された登録画面に、商品名、個数、価格等の情報を表示する。

物品選択部５２は、上記物品がフレームアウトした後の撮像画像（距離画像）、距離情報に基づいて、最上層に位置している物品を、次の登録処理対象の物品として選択する。表示制御部５４は、物品選択部５２が選択した物品に上述した第１の識別表示７３（例えば、赤枠）を付して表示する。候補抽出部５３は、物品選択部５２が選択した物品の画像に対して、オブジェクト認識処理を開始し、商品候補を抽出する。

このように、本実施形態では、読取の終わった物品が買物カゴから取り出されたことをトリガとして、次の物品の読取に自動的に移行する。これにより、読取処理の効率化を図ることができる。

次に、ＰＯＳ端末１０が実行する読取処理の手順例について説明する。図８は、ＰＯＳ端末１０が実行する読取処理の手順例を示したフローチャートである。

距離画像読込部５１は、撮像部１２の撮像画像（距離画像）の取り込みを開始する（ステップＳ１）。物品選択部５２は、距離情報に基づいて最上層に位置する物品を、撮像部１２から一番近い物品として選択する（ステップＳ２）。表示制御部５４は、ステップＳ２で選択された物品の画像領域に、第１の識別表示７３（例えば、赤枠）を付して表示する（ステップＳ３）。登録部５６は、ステップＳ２で選択された物品の画像領域に、バーコード等のコードシンボルの画像が含まれているか判定する（ステップＳ４）。

コードシンボルが含まれていれば（ステップＳ４：Ｙｅｓ）、登録部５６はコードシンボルをデコードして商品コードを読み取る（ステップＳ１３）。また、登録部５６は、商品コードに対応する商品情報を商品マスタファイルＦ１から読み込み、ステップＳ１４に移行する。

コードシンボルが検出されなければ（ステップＳ４：Ｎｏ）、候補抽出部５３は、ステップＳ２で選択された物品の画像に対して、オブジェクト認識処理を行い、商品候補を抽出する（ステップＳ５）。表示制御部５４は、ステップＳ５で抽出された商品候補を示すイラスト（アイコン）を読取画面７０に表示する（ステップＳ６）。操作受付部５５はいずれか１つの商品候補に対する選択操作を受付けたか否かを判定する（ステップＳ７）。選択操作を受付けると（ステップＳ７：Ｙｅｓ）、登録部５６は選択された商品候補に対応する商品情報を商品マスタファイルＦ１から読み込んで、ステップＳ１４に移行する。

選択操作を受付けない場合には（ステップＳ７：Ｎｏ）、操作受付部５５は再認識ボタン８３（図６参照）が操作されたか否かを判定する（ステップＳ８）。再認識ボタン８３が操作された場合（ステップＳ８：Ｙｅｓ）には、ステップＳ５に移行し、候補抽出部５３は再度オブジェクト認識処理を実行して商品候補抽出をリトライする。一方、再認識ボタン８３が操作されなければ（ステップＳ８：Ｎｏ）、操作受付部５５はＰＬＵボタン８１が操作されたか否かを判定する（ステップＳ９）。

ＰＬＵボタン８１が操作された場合（ステップＳ９：Ｙｅｓ）、登録部５６は商品マスタファイルＦ１から商品を選択するＰＬＵ処理を開始する（ステップＳ１０）。ＰＬＵ処理については、従来一般的に利用されている技術を適用すればよい。即ち、登録部５６は、商品分類により階層的に構成された商品選択画面等を介して、商品の選択を受付ける。そして、登録部５６は、選択された商品の商品情報を商品マスタファイルＦ１から読み込んで、ステップＳ１４に移行する。

ＰＬＵボタン８１が操作されなければ（ステップＳ９：Ｎｏ）、操作受付部５５は、コード入力ボタン８２が操作されたか否かを判定する（ステップＳ１１）。コード入力ボタン８２が操作されなければ（ステップＳ１１：Ｎｏ）、ステップＳ１７に移行する。コード入力ボタン８２が操作されると（ステップＳ１１：Ｙｅｓ）、登録部５６はテンキー等から商品コードを直接受付けるコード受付処理を開始する（ステップＳ１２）。コード受付処理については、従来一般的に利用されている技術を適用すればよい。即ち、登録部５６は、キーボード１０７のテンキー等を介して、商品コードが入力されると、当該商品コードに対応する商品情報を商品マスタファイルＦ１から読み込んで、ステップＳ１４に移行する。

ステップＳ１４において、表示制御部５４は、第１の識別表示７３（例えば、赤枠）を第２の識別表示７５（例えば、青枠）に替えて表示する。表示制御部５４は、ステップＳ７：Ｙｅｓ、ステップＳ１０、または、ステップＳ１２で商品マスタファイルＦ１から読み込んだ商品情報を、読込情報表示領域７６に表示する（ステップＳ１５）。物品選択部５２は、第２の識別表示７５が付された最上層の物品が買物カゴから取り出されて、当該物品の画像が案内表示７２（図５参照）の領域外にフレームアウトしたか判定する（ステップＳ１６）。物品が取り出されていない間（ステップＳ１６：Ｎｏ）はステップＳ１６に戻って待つ。

物品が取り出されると（ステップＳ１６：Ｙｅｓ）、ステップＳ１７に移行する。操作受付部５５は、キーボード１０７において現計キーが操作されたか否かを判定する（ステップＳ１７）。現計キーが操作されない間（ステップＳ１７：Ｎｏ）は、ステップＳ１に戻って、買物カゴが空になるまで商品の読取処理を続行する。現計キーが操作されると（ステップＳ１７：Ｙｅｓ）、読取処理を終了し、オペレータはスキャナ１０１の前からＰＯＳ端末１０の前に移動して、精算処理を行う。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上述したＰＯＳ端末１０の制御部１６０が有する機能を、スキャナ１０１の制御部１６０が備える形態としてもよい。即ち、本実施形態に係る読取装置としてスキャナ１０１を適用し、スキャナ１０１の制御部６０が距離画像読込部５１、物品選択部５２、候補抽出部５３、表示制御部５４、操作受付部５５、登録部５６と同様の機能を有する形態としてもよい。なお、当該形態では、スキャナ１０１が商品マスタファイルＦ１から商品情報を読み込んで、スキャナ１０１の店員用表示器１０６または客用表示器１０９に表示する処理をもって、商品情報を登録する処理を行ったとみなしてもよい。

また、上述では、距離が近い順に選択した物品をオブジェクト認識処理の対象とする例について説明したが、選択した物品に対してその他の画像処理の対象としてもよい。その他の画像処理としては、例えば図８で例示したように、コード読取処理、即ち、コードシンボルから情報を読み取る処理がある。また、別の例として、ＯＣＲ（Optical Character Recognition）処理がある。即ち、物品選択部５２が選択した物品の画像に対して、ＯＣＲにより文字情報を読み取り、当該文字情報を商品マスタに問い合わせて商品情報を読み込み、登録処理を行ってもよい。また、例えばクーポンや、レジ袋購入またはレジ袋不要を示すカード等の物品に対して、文字情報やコード情報を読み取り、マスタデータ（情報記憶手段）に問い合わせて値引き処理や、金額加算、ポイント加算、等の登録処理を行ってもよい。

また、上述した実施形態を、セルフチェックアウト装置（セルフＰＯＳ）に適用してもよい。その場合には例えば、未登録商品を入れた買物カゴを載置する荷受台の上方に撮像部１２を設置して、荷受台の上方から買物カゴの中を撮像する構成にすればよい。

また、上述では、商品を上方（斜め上方）から撮像したが、商品を横から、即ち、側面側から撮像してもよい。また、撮像部１２を複数用いる構成としてもよい。

以上説明した通り、本実施形態においては、撮像装置からの距離が近い順に物品を登録対象とするので、複数の商品が撮像画像に含まれていても、物品を１つずつ自動的に選択して登録処理の対象物として設定できる。すなわち、オペレータが商品を１つずつ撮像装置にかざさずとも、オブジェクト認識、画像処理、コード読取といった処理を開始できる。従って、本実施形態によれば、登録処理の効率化を図ることができる読取装置およびプログラムを提供することができる。

また、重い商品を撮像領域にかざす作業は、オペレータに負担をかける作業であり、キャベツ等の重い商品がセール対象となった際には、１日に何十個もの登録を行なわなければならない場合もあり、オペレータから負担軽減の声が上がっていた。これに対し、本実施形態によれば、撮像装置からの距離が近い順に商品を１つずつ選択できるので、登録対象物をカゴ内、または、レジカウンタ上に置いたままでも、オブジェクト認識処理を開始することができる。従って、本実施形態によれば、登録作業時におけるオペレータの負担軽減を図ることができる。

１０ ＰＯＳ端末
１２、２１２ 撮像部
５１ 距離画像読込部
５２ 物品選択部
５３ 候補抽出部
５４ 表示制御部
５５ 操作受付部
５６ 登録部
１０１、２１０１ スキャナ
１０６ 店員用表示器

特許第６１４１２０７号公報

Claims (6)

1. 物品までの距離を示す距離情報を対応付けた撮像画像を撮像する撮像装置から、前記距離情報を対応付けた撮像画像を読み込む距離画像読込手段と、
   前記距離情報を用いて、前記撮像装置からの距離が近い順に物品を選択する物品選択手段と、
   前記物品選択手段が選択した物品を、前記距離画像読込手段が前記撮像装置から読み込んだ撮像画像上において判別可能に表示する表示制御手段と、
   前記物品選択手段が選択した物品に関する情報を記憶手段から読み込んで、当該情報の登録処理を行う登録手段と、
   を備えた読取装置。
2. 前記物品選択手段が選択した物品に、第１の識別表示を付して表示する第１表示制御手段と、
   前記物品選択手段が選択した物品の画像にオブジェクト認識を行って、当該物品に類似した商品の候補を少なくとも１つ抽出する候補抽出手段と、
   前記商品の候補を示す情報を表示する商品候補表示手段と、
   少なくとも１つの前記商品の候補を選択する操作を受付ける操作受付手段と、
   前記操作受付手段が前記操作を受付けると、前記第１の識別表示に替わって、前記第１の識別表示とは異なる第２の識別表示を前記物品選択手段が選択した物品に付して表示する第２表示制御手段と、
   を更に備えた、請求項１に記載の読取装置。
3. 前記操作受付手段が前記操作を受付けると、選択された前記商品の候補に対応付けられた商品情報を商品情報記憶手段から読み込んで表示する第３表示制御手段、を更に備えた請求項２に記載の読取装置。
4. 前記第２表示制御手段は、前記操作受付手段が前記操作を受付けた前記物品が、前記撮像画像から消えると、前記第２の識別表示の表示を終了し、
   前記表示制御手段は、前記操作受付手段が前記操作を受付けた前記物品が消えた後の前記撮像画像において、前記撮像装置からの距離が最も近い物品に、前記第１の識別表示を新たに付して表示する、請求項２または３に記載の読取装置。
5. 前記登録手段は、前記物品選択手段が選択した物品の画像がコードシンボルを含んでいれば、当該コードシンボルから読み取られたコードに対する情報を情報記憶手段から読み込んで前記登録処理を行う、請求項１ないし４のいずれか１つに記載の読取装置。
6. 読取装置を制御するコンピュータを、
   物品までの距離を示す距離情報を対応付けた撮像画像を撮像する撮像装置から、前記距離情報を対応付けた撮像画像を読み込む距離画像読込手段と、
   前記距離情報を用いて、前記撮像装置からの距離が近い順に物品を選択する物品選択手段と、
   前記物品選択手段が選択した物品を、前記距離画像読込手段が前記撮像装置から読み込んだ撮像画像上において判別可能に表示する表示制御手段と、
   前記物品選択手段が選択した物品に関する情報を記憶手段から読み込んで、当該情報の登録処理を行う登録手段と、して機能させるプログラム。

Images