JP7587447B2 - 読取装置および読取方法 - Google Patents

Description

本発明の実施形態は、読取装置および読取方法に関する。

従来、販売する商品の情報を登録する販売データ登録処理において、商品を識別する手法として複数の手法が併用されることがある（例えば特許文献１）。併用される商品識別の手法は、例えば、バーコード等のコードシンボル認識による商品識別と、一般物体認識（オブジェクト認識）による商品識別である。コードシンボル認識による商品識別は、撮像部が出力する画像（撮像画像）に含まれるコードシンボルをデコードすることにより行われる。また、一般物体認識による商品識別は、商品の外観の特徴量を撮像画像に基づいて算出し、この算出した特徴量をデータベースに問合せることにより行われる。読取装置は、コードシンボル認識や一般物体認識が完了した時に、ビープ音などの音声により認識成功を報知する。

上記２手法が併用される場合、基本的には、コードシンボルが付された商品はコードシンボル認識で識別され、青果などコードシンボルが付されない商品は一般物体認識で識別される。しかしながら、撮像時点では読取装置には撮像された商品がコード認識で識別される商品か一般物体認識で識別される商品かはわからない。このため、読取装置は、撮像画像を用いて両方の手法での認識処理を行い、成功した方の出力を採用する。

ここで、コードシンボル（例えばバーコード）のデコードは例えば３０ｍｓｅｃ程度で完了するのに対し、一般物体認識による商品識別には１００ｍｓｅｃほどの時間を要する。したがって、一般物体認識で識別される第１の商品の撮像後にコードシンボルで認識される第２の商品が撮像されると、特段の処理を行わなければ、後者の第２の商品の認識が先に完了することがあり得る。この場合、仮に前者の第１の商品の認識に失敗した場合、第１の商品について音声報知がなく、第２の商品について音声報知があることになるが、操作者にはどちらの商品の認識に失敗したのかが音声からでは判りにくい。このため、商品認識が順不同にならないようにするための工夫（排他制御）が様々行われているが、更なる改善が望まれる。

本発明が解決しようとする課題は、一般物体認識を併用する場合の排他制御を簡便に実施可能な読取装置および読取方法を提供することである。

実施形態の読取装置は、撮像部と、前記撮像部が出力した画像から商品を認識する第１認識部を備える第１装置と、前記第１装置と別体であって、前記第１認識部とは異なる手法で前記画像から商品を認識する第２認識部を備える第２装置と、を含むものであって、前記第１装置に設けられ、前記第２装置と通信可能に接続するとともに当該接続の有無を出力する接続部と、前記画像を、前記第１認識部に送信するとともに前記接続部を介して前記第２認識部に送信する転送部と、前記接続部による前記第２装置の接続が検知されている場合、前記転送部による画像の転送後、前記第２認識部から所定の信号を受信するまで、前記転送部に、前記画像の転送停止を指示する判定部と、を備える。

図１は、実施形態に係るチェックアウト装置の基本的な構成の一例を示すブロック図である。 図２は、実施形態に係る主端末および外部端末の特徴的な構成およびデータの流れを示す図である。 図３は、実施形態に係る判定出力部が行う処理の流れの一例を概略的に示すフローチャートである。 図４は、実施形態に係る判定出力部が行う排他制御処理の流れの一例を概略的に示すフローチャートである。

以下に添付図面を参照して、読取装置の一実施形態を詳細に説明する。図１は、本実施形態に係るチェックアウト装置１の基本的な構成の一例を示すブロック図である。チェックアウト装置１は、ＰＯＳ（Point Of Sales）端末１００と、主端末１０１と、外部端末１０と、を備えている。

ＰＯＳ端末１００は、例えばスーパーマーケットやコンビニエンスストア等で、販売データの登録処理に用いられる。主端末１０１は、第１装置の一例である。主端末１０１は、例えばいわゆる縦型スキャナとして実現され、ＰＯＳ端末１００に接続して用いられる。外部端末１０は、第２装置の一例である。外部端末１０は、例えばＰＣ（Personal Computer）等によって実現され、主端末１０１に接続して用いられる。また、本実施形態では、主端末１０１と外部端末１０とが、読取装置の一例を構成する。

主端末１０１は、商品に関する情報（商品情報）の入力を受け付ける装置であって、撮像により得られる画像（撮像画像）から情報を読み取ることで商品を認識したり、操作者の手入力で商品情報を受け付けたりする。

主端末１０１は、接続Ｉ／Ｆ（Interface）１７５，１７６により、ＰＯＳ端末１００および外部端末１０とデータ送受信可能に接続されている。

主端末１０１は、店員の操作を受け付けるための操作表示部１０４や、顧客に向けて情報を提供する第２表示器１０９、照明部１１２、撮像部１１３、音声出力部１１４などを備えている。操作表示部１０４は、タッチパネル１０５が表面に積層された第１表示器１０６や、キーボード１０７、カードリーダ１１１などを備えている。

また、主端末１０１は、情報処理を実行するマイクロコンピュータ（制御部１６０）を備えている。制御部１６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）１６１と、ＲＯＭ（Read Only Memory）１６２、ＲＡＭ（Random Access Memory）１６３とが、バス接続されて構成されている。ＲＯＭ１６２は、ＣＰＵ１６１が実行するプログラム１６４を記憶している。

ＣＰＵ１６１には、各種バスやＩ／Ｆを介して、照明部１１２、撮像部１１３、音声出力部１１４等が接続されている。ＣＰＵ１６１は、これら各部（照明部１１２、撮像部１１３、音声出力部１１４）の動作を制御する。

また、ＣＰＵ１６１には、接続Ｉ／Ｆ１７５、１７６を介して、店員用の操作表示部１０４と、客用の第２表示器１０９とが接続されている。なお、操作表示部１０４および第２表示器１０９は、接続Ｉ／Ｆ１７６および外部端末１０の接続Ｉ／Ｆ６５を介して、外部端末１０のＣＰＵ６１に接続されている。

第１表示器１０６は、例えば液晶ディスプレイであって、主に操作者に向けた各種情報を表示する。タッチパネル１０５は、第１表示器１０６の表示内容に応じた各種操作を受け付ける。第２表示器１０９は、例えば液晶ディスプレイであって、主に顧客に向けた各種情報を表示する用途に用いられる。

音声出力部１１４は、予め設定されたビープ音などの音声を発生するための音声回路やスピーカーなどである。照明部１１２は例えば複数のＬＥＤ（Light Emitting Diode）をライン状に並べて構成されている。照明部１１２は、制御部１６０から入力される発光制御信号に応じてパルス発光し、撮像部１１３の撮像領域を照らす。なお、照明部１１２はその他の発光素子で構成されてもよい。

撮像部１１３は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等のイメージセンサ（撮像素子ともいう）と、レンズ等の光学素子と、を備えた撮像装置である。撮像部１１３は、撮像制御信号に基づくフレームレート（１秒間に読み込まれるフレーム数）でフレーム画像をＲＡＭ１６３に順次読み込む。

また、撮像部１１３は、撮像により得た画像（即ち撮像画像）のデータを、主端末１０１の制御部１６０と外部端末１０の制御部６０とに、順次出力する。

主端末１０１を操作する操作者は、商品を主端末１０１にかざす。この際、撮像部１１３は、商品を撮像する。撮像により得られた画像のデータは、主端末１０１内でのコードシンボル認識に用いられる他、外部端末１０に出力されて一般物体認識に用いられる。

外部端末１０は、主端末１０１から入力される撮像画像のデータに基づいて一般物体認識（オブジェクト認識）を行う。なお、本実施形態では、一例として、一般物体認識の対象の物品（対象物品）が商品である場合について説明するが、対象物品は商品以外の物品であってもよい。

外部端末１０は、情報処理を実行するマイクロコンピュータ（制御部６０）を備える。制御部６０は、各種演算処理を実行し各部を制御するＣＰＵ６１と、ＲＯＭ６２と、ＲＡＭ６３とがバス接続されて構成されている。

外部端末１０のＣＰＵ６１には、ＨＤＤ（Hard Disk Drive）６４が接続されている。ＨＤＤ６４は、プログラム６４１や各種ファイルを記憶する。ＨＤＤ６４に記憶されているプログラム６４１は、外部端末１０の起動時に、その全部または一部がＣＰＵ６１により実行される。ＨＤＤ６４に記憶されているプログラム６４１の一例は、商品販売データ処理用のプログラム６４１である。

ＨＤＤ６４に記憶されているファイルの一例は、商品マスタファイル６４２や辞書ファイル６４３である。商品マスタファイル６４２や辞書ファイル６４３は、開店前等の所定のタイミングでストアコンピュータＳＣから配信されて、ＨＤＤ６４に格納される。また、ＨＤＤ６４には、売上マスタファイル等も記憶されている。なお、ＨＤＤ６４は、記憶装置であればよく、ＳＳＤ（Solid State Drive）などの他の記憶媒体で構成された記憶装置であってもよい。

商品マスタファイル６４２は、店舗に陳列して販売する各商品についての売上登録に用いる情報を格納するファイルであって、例えば、商品を識別可能にする商品コードに関連付けて商品名や価格等の商品情報を記憶している。辞書ファイル６４３は、複数の商品の特徴量の基準値を、商品コードに関連付けて記憶するものである。

外部端末１０のＣＰＵ６１には、店舗のバックヤード等に備え付けられるストアコンピュータ等とデータ通信を実行するための通信Ｉ／Ｆ（Interface）２５が入出力回路を介して接続されている。なお、ストアコンピュータのＨＤＤには、外部端末１０に配信される商品マスタファイル用のデータや辞書ファイル用のデータが格納されている。

さらに、外部端末１０のＣＰＵ６１には、主端末１０１との間でデータ送受信を可能にする接続Ｉ／Ｆ６５が接続されている。接続Ｉ／Ｆ６５には、主端末１０１が接続されている。

ＰＯＳ端末１００は、操作者（店員）によって操作され、主端末１０１の出力に基づいて、一取引に係る商品の登録や精算を行う。

図２は、主端末１０１および外部端末１０の特徴的な構成およびデータの流れを示す図である。主端末１０１は、コネクタ１７１をさらに備える。主端末１０１の制御部１６０は、撮像制御部６１１、バーコード認識部６１２（第１認識部の一例）、判定出力部６１３として機能する。外部端末１０の制御部６０は、物体認識部６０１（第２認識部の一例）として機能する。

コネクタ１７１は、第２装置と通信可能に接続するとともに当該接続の有無を出力する接続部の一例であって、主端末１０１と外部端末１０とを通信可能に接続する。より具体的には、コネクタ１７１は、接続Ｉ／Ｆ１７５，１７６と接続Ｉ／Ｆ６５とを、有線接続するケーブルが挿し込まれる端子である。コネクタ１７１へのケーブルの挿抜状態は、判定出力部６１３に提供される。

撮像制御部６１１は、撮像部１１３が出力する画像を、バーコード認識部６１２（第１認識部）に送信するとともにコネクタ１７１（接続部）を介して物体認識部６０１（第２認識部）に送信する転送部の一例である。撮像制御部６１１は、撮像部１１３を制御し、撮像部１１３が撮像した画像（撮像画像）のデータを、バーコード認識部６１２に出力する。また、撮像制御部６１１は、物体認識部６０１がコネクタ１７１を介して接続されている場合には、バーコード認識部６１２に出力したものと同じ撮像画像のデータを、物体認識部６０１にも出力する。

バーコード認識部６１２は、第１認識部の一例であって、撮像画像に含まれる例えばバーコードをデコードして、商品コードを得る。なお、本実施形態では、バーコード認識部６１２を第１認識部の一例として説明しているが、実施にあたっては、第１認識部は、バーコードだけでなく二次元コード等の他のコードシンボルのデコードも行うのであってもよい。

物体認識部６０１は、第２認識部の一例であって、一般物体認識処理（いわゆるオブジェクト認識処理）を行う。一般物体認識処理の一例において、物体認識部６０１は、まず、撮像部１１３で撮像された商品３００の撮像画像から、当該商品３００の外観の特徴を示す特徴量を抽出する。特徴量の抽出において、物体認識部６０１は、まず、コネクタ１７１経由で撮像部１１３の撮像画像を取得し、当該撮像画像に含まれた商品３００を表す画像領域を検出する。

画像領域の検出において、物体認識部６０１は、撮像画像を２値化した画像から輪郭線等を抽出する。或いは、物体認識部６０１は、予め用意された背景画像から抽出した輪郭線と、撮像画像から抽出した輪郭線との差分に基づいて商品３００を検出する。ここで、背景画像は、商品３００が含まれていない背景を撮像部１１３が撮像した画像である。これにより、物体認識部６０１は、背景画像の輪郭線にはない輪郭線を撮像画像から抽出することで、商品３００が表された画像領域を検出する。

画像領域が検出されると、物体認識部６０１は、撮像画像から検出した商品３００の画像領域から、当該商品３００の特徴量を抽出する。特徴量は、例えば、商品３００の形状、表面の色合い、模様、凹凸状況等の外観上の特徴をパラメータ化した情報である。

撮像された商品から特徴量が抽出されると、物体認識部６０１は、抽出した特徴量を、辞書ファイル６４３が記憶する特徴量の基準値と照合し、各基準値と商品３００の特徴量との類似度を算出する。そして物体認識部６０１は、例えば、商品３００の特徴量との類似度が最も高い基準値に関連付けられた商品コードを、商品３００の商品コードであるとして、一般物体認識処理を終える。

バーコード認識部６１２は、バーコードをデコードして得た商品コードを、判定出力部６１３に出力する。また、物体認識部６０１は、特徴量を辞書ファイル６４３が記憶する基準値と照合することで得た商品コードを、判定出力部６１３に出力する。ここで、商品コードは、商品を識別可能なもの、つまり、種類やサイズが同一の商品毎にユニークなものであればよい。

なお、物体認識部６０１は、辞書ファイル６４３に、特徴量に該当する基準値が存在しなかった場合には、該当なしである旨を示すコードを出力する。

判定出力部６１３は、コネクタ１７１（接続部）による外部端末１０（第２装置）の接続が検知されている場合、撮像制御部６１１（転送部）による画像の転送後、物体認識部６０１（第２認識部）から所定の信号を受信するまで、撮像制御部６１１に、画像の転送停止を指示する判定部の一例である。

具体的には、判定出力部６１３は、商品マスタファイル６４２を参照して、コードシンボルから得た商品コードに該当する商品の情報（商品情報）を、取得する。また、判定出力部６１３は、商品マスタファイル６４２を参照して、一般物体認識処理により得た商品コードに該当する商品の情報（商品情報）を、取得する。そして主端末１０１は、判定出力部６１３が取得した商品情報を、ＰＯＳ端末１００へと出力する。ＰＯＳ端末１００は、主端末１０１から入力された商品情報を、販売データとして登録する。

ここで、上述のように、判定出力部６１３には、コネクタ１７１から、ケーブルの挿抜状態が提供されている。より具体的には、コネクタ１７１と判定出力部６１３との間での信号のやりとりにより、判定出力部６１３においてコネクタ１７１へのケーブルの挿抜状態が検知可能である。またこの挿抜検知により、判定出力部６１３は、外部端末１０が主端末１０１に接続されているかを判断する。

判定出力部６１３は、コネクタ１７１に外部端末１０が接続されているときには、主端末１０１によるバーコード認識と、外部端末１０による一般物体認識処理とが併用されると判断する。この場合、判定出力部６１３は、排他処理を行う。排他処理は、ある撮像画像についての認識処理（バーコード認識処理および一般物体認識処理）が完了するまで別の撮像画像の認識処理を行わないとする処理である。この排他処理に際し、判定出力部６１３は、ある撮像画像の認識処理が完了するまで、撮像部１１３による撮像を停止するように撮像制御部６１１に働きかけるのでもよいし、或いは、撮像部１１３から入力された撮像画像を他（バーコード認識部６１２および物体認識部６０１）に出力しないように撮像制御部６１１に働きかけるのでもよい。

図３は、実施形態に係る判定出力部６１３が行う処理の流れの一例を概略的に示すフローチャートである。判定出力部６１３は、コネクタ１７１へのケーブルの挿抜検知を待機し（ステップＳ１のＮｏおよびステップＳ２のＮｏ）、コネクタ１７１にケーブルが挿し込まれると（ステップＳ１のＹｅｓ）、主端末１０１と外部端末１０とが接続中であると判断し（ステップＳ２）、排他制御処理（図４参照、後述）を開始する（ステップＳ３）。また、判定出力部６１３は、コネクタ１７１にケーブルが挿し込まれるのでなく（ステップＳ１のＮｏ）、コネクタ１７１からケーブルが引き抜かれると（ステップＳ４のＹｅｓ）、主端末１０１に外部端末１０が接続されていないと判断し（ステップＳ５）、排他制御処理を終了する（ステップＳ６）。

図４は、実施形態に係る判定出力部６１３が行う排他制御処理の流れの一例を概略的に示すフローチャートである。判定出力部６１３は、撮像制御部６１１に、撮像画像データを出力する都度、「解除指示」があるまで、次の撮像画像データの出力を行わずに待機するよう指示し（ステップＳ１１）、処理をステップＳ１２に進める。

ステップＳ１２において、判定出力部６１３は、バーコード認識部６１２からコードの入力があれば（ステップＳ１２のＹｅｓ）、物体認識部６０１からのコードの返却を待機する（ステップＳ１３のＮｏ）。ステップＳ１３においてコードの返却があれば（ステップＳ１３のＹｅｓ），判定出力部６１３は、撮像制御部６１１に解除指示を示す信号を出力し（ステップＳ１４）、処理をステップＳ１２に戻す。なお、ステップＳ１４による解除指示を受信した撮像制御部６１１は、処理を再開し、すなわち、次の撮像画像データを、バーコード認識部６１２および物体認識部６０１に出力する。

ステップＳ１２において、バーコード認識部６１２からの入力がなければ（ステップＳ１２のＮｏ）、物体認識部６０１からコードの入力を待機する（ステップＳ１５）。ステップＳ１５で物体認識部６０１からのコードの入力がなければ（ステップＳ１５のＮｏ）、判定出力部６１３は、処理をステップＳ１２に戻す。

ステップＳ１５において、物体認識部６０１からのコードの入力があれば（ステップＳ１５のＹｅｓ）、判定出力部６１３は、処理をステップＳ１４に進める。

ここで、図３のステップＳ６の排他制御処理の終了について、説明を追加する。ステップＳ６では、具体的には、ステップＳ１１での、判定出力部６１３から撮像制御部６１１への指示を解除する。つまり、この指示を受けた撮像制御部６１１は、撮像部１１３から撮像画像データが入力される都度、当該撮像画像データをバーコード認識部６１２に出力する。これにより、主端末１０１は、バーコード認識のみによる商品情報読取を行う動作形態となる。

このように、本実施形態によれば、バーコード認識部６１２により商品コードが得られた場合に、同じタイミングで撮像された撮像画像データの物体認識部６０１における処理完了を待機して、次の撮像画像の認識を行うことができる。したがって、本実施形態によれば、撮像タイミングが先の撮像画像データの認識を物体認識部６０１が行っている間に、次の撮像画像データの認識結果をバーコード認識部６１２が出力してしまうような、順序の整合がとれなくなる不都合を回避することができる。

そして本実施形態では、上述の排他制御処理を、ケーブルの挿抜検知に応じて実施することができる。したがって本実施形態によれば、コードシンボル認識と一般物体認識（オブジェクト認識）を併用する場合の排他制御を簡便に可能な読取装置および読取方法を提供することができる。

なお、本実施形態では、主端末１０１と外部端末１０とにより読取装置が構成された例について説明したが、実施にあたってはこのような構成の読取装置に限らず、コードシンボル認識と一般物体認識とを別体の端末で行う読取装置であれば適用可能である。

また、本実施形態では、外部端末１０がパーソナルコンピュータのような一般的なコンピュータ構成の情報処理装置である例について説明したが、実施にあたってはこれに限らず、実施にあたっては、外部端末１０をＰＯＳ端末１００が兼ねていてもよい。

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ …チェックアウト装置
１０ …外部端末（第２装置。読取装置を構成）
２５ …通信Ｉ／Ｆ
６０ …制御部、６１ …ＣＰＵ、６２…ＲＯＭ、６３…ＲＡＭ
６４ …ＨＤＤ
６５ …接続Ｉ／Ｆ
１００…ＰＯＳ端末
１０１…主端末（第１装置。読取装置を構成）
１０４…操作表示部、１０５…タッチパネル、１０６…第１表示器、１０７…キーボード
１０９…第２表示器、１１１…カードリーダ
１１２…照明部、１１３…撮像部、１１４…音声出力部
１６０…制御部、１６１…ＣＰＵ、１６２…ＲＯＭ、１６３…ＲＡＭ
１７１…コネクタ（接続部）
１７５，１７６…接続Ｉ／Ｆ
３００…商品（物品）
６０１…物体認識部（第２認識部）
６１１…撮像制御部、６１２…バーコード認識部（第１認識部）、
６４１…プログラム、６４２…商品マスタファイル、６４３…辞書ファイル

特開２０１６－０９１３６０号公報

Claims (4)

1. 撮像部と、前記撮像部が出力した画像から商品を認識する第１認識部を備える第１装置と、前記第１装置と別体であって、前記第１認識部とは異なる手法で前記画像から商品を認識する第２認識部を備える第２装置と、を含む読取装置において、
   前記第１装置に設けられ、前記第２装置と通信可能に接続するとともに当該接続の有無を出力する接続部と、
   前記画像を、前記第１認識部に送信するとともに前記接続部を介して前記第２認識部に送信する転送部と、
   前記接続部による前記第２装置の接続が検知されている場合、前記転送部による画像の転送後、前記第２認識部から所定の信号を受信するまで、前記転送部に、前記画像の転送停止を指示する判定部と、
   を備える読取装置。
2. 前記第１認識部は、前記撮像部が出力した画像に含まれるコードシンボルをデコードして情報を得るコード認識部であって、
   前記第２認識部は、前記撮像部が出力した画像から当該画像に写っている物体の特徴量を得る物体認識部である
   請求項１に記載の読取装置。
3. 前記判定部は、前記転送部による画像の転送後、前記第２認識部から所定の信号を受信すると、前記転送部に、前記画像の転送再開を指示する
   請求項１または２に記載の読取装置。
4. 撮像部と、前記撮像部が出力した画像から商品を認識する第１認識部を備える第１装置と、前記第１装置と別体であって、前記第１認識部とは異なる手法で前記画像から商品を認識する第２認識部を備える第２装置と、前記第１装置に設けられ、前記第２装置と通信可能に接続するとともに当該接続の有無を出力する接続部と、を含む読取装置で実行される読取方法であって、
   前記画像を、前記第１認識部に送信するとともに前記接続部を介して前記第２認識部に送信する転送工程と、
   前記接続部による前記第２装置の接続が検知されている場合、前記転送工程による画像の転送後、前記第２認識部から所定の信号を受信するまで、前記転送工程における前記画像の転送を停止させる判定工程と、
   を含む読取方法。

Images