JP5422619B2 - 読取装置、読取システム、およびプログラム - Google Patents

Description

本発明の実施形態は、読取装置、読取システム、およびプログラムに関する。

近年、ＱＲコード（登録商標）などの二次元コードが広く普及している。また、二次元コードなどから情報を読み取る読取装置としてカメラ式スキャナを用いたＰＯＳ端末が市場に登場している。カメラ式スキャナを用いたＰＯＳ端末によれば、バーコードだけでなく、ＱＲコード（登録商標）などの二次元コードや値引きシールを認識することができるので、商品の購入に対して付与する値引きを自動で行うことができる。

ところで、近年の携帯電話の普及に伴って、値引き等のサービスを受けるためのクーポンなどのデータが店舗から携帯電話に送付され、顧客が携帯電話の表示部にクーポンなどのデータを表示させて店頭に提示することによりサービスを受けるケースが増えている。しかしながら、携帯電話の表示部として用いられる液晶画面は発光しているため、ＰＯＳ端末において用いられているカメラ式スキャナに液晶画面をかざすと、ＰＯＳ端末が備える照明などの影響により、液晶画面に表示された情報を読み取ることができない。

そのため、ＰＯＳ端末に携帯電話専用の読取装置を併設したり、オペレータがＰＯＳ端末を手作業で操作して携帯電話の液晶画面を読み取れる設定に切り替えたりする方法も考えられているが、ＰＯＳ端末が設置された店舗における設備費の増加やＰＯＳ端末を操作するオペレータの作業量を増やすことになる。

実施形態の読取装置は、撮像装置と、読取部と、検出部と、制御部と、を備える。前記撮像装置は、所定のフレームレートで撮像を行う。前記読取部は、前記撮像装置の撮像により得られたフレーム画像から情報を読み取る。前記検出部は、前記撮像装置による撮像が行われる度に前記フレーム画像からオペレータの手の検出を行うとともに、前記オペレータの手が検出された場合のみ、物体認識により、前記オペレータの手が検出された前記フレーム画像から、当該フレーム画像に含まれる画像の輪郭および大きさを考慮せず前記画像の表面の状態を読み取ることによって、表示部を備えた携帯端末を検出する。前記制御部は、前記携帯端末が認識されなかった場合、前記表示部以外を撮像するための第１設定に従って前記撮像装置の撮像を制御し、前記携帯端末が認識された場合、前記表示部を撮像するための第２設定に従って前記撮像装置の撮像を制御する。

図１は、本実施形態にかかるＰＯＳシステムの全体構成を示す斜視図である。 図２は、ＰＯＳ端末および商品読取装置のハードウェア構成を示すブロック図である。 図３は、ＰＬＵファイルのデータ構成を例示する概念図である。 図４は、撮像部の撮像範囲と商品との関係を示す図である。 図５は、撮像部の撮像範囲と携帯端末との関係を示す図である。 図６は、ＰＯＳ端末および商品読取装置の機能構成を示すブロック図である。 図７は、本実施形態にかかる商品読取装置の動作の一例を示すフローチャートである。 図８は、フレーム画像から認識する「１」から「９」までの数字の配置を示す図である。

以下、本実施形態について図面を参照して説明する。図１は、本実施形態にかかるＰＯＳシステムの全体構成を示す斜視図である。図１に示すように、ＰＯＳ（Point Of Sales）システム１は、一取引にかかる商品の登録、精算を行うＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。そして、ＰＯＳ端末１１は、ドロワ２１の開放動作を制御する。ＰＯＳ端末１１は、オペレータ（ユーザ）によって押下操作されるキーボード２２を上面に配置している。また、ＰＯＳ端末１１は、キーボード２２を操作するオペレータから見てキーボード２２よりも奥側に、オペレータに向けて情報を表示する表示デバイス２３を設けている。表示デバイス２３は、表示面２３ａに情報を表示する。また、ＰＯＳ端末１１は、タッチパネル２６を表示面２３ａ上に積層配置している。また、ＰＯＳ端末１１は、表示デバイス２３よりもさらに奥側に、顧客用表示デバイス２４を回転自在に立設している。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客に向けて情報を表示する。

ＰＯＳシステム１は、ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１を配置している。カウンタ台１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、商品Ａを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に位置付けられる第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３（第１の買物カゴ１５３ａ）は、いわゆるカゴ形状のものに限るものではなく、パン店等の店舗において用いられるトレーなどであっても良い。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限るものではなく、ドーナツ店等の店舗において用いられる紙箱などであっても良い。

カウンタ台１５１の荷受面１５２には、ＰＯＳ端末１１とデータ送受信自在に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。

このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）および照明部１６６（図２参照）を配置している。

顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引にかかる商品Ａが収納されている。商品Ａは、オペレータの手によって第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ａが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３の奥側に配置された撮像部１６４（図２参照）は商品Ａを撮像する。商品読取装置１０１では、撮像部１６４（図２参照）により撮像された画像に含まれる商品Ａの全部または一部を検出する。商品読取装置１０１では、撮像部１６４（図２参照）により撮像された画像に商品Ａの全部または一部が含まれることを検出した場合、その撮像された画像をＰＯＳ端末１１へ出力する。ＰＯＳ端末１１では、商品Ａの各々について、商品Ａの売上登録にかかる情報と商品Ａの画像とが関連付けられたＰＬＵファイルＦ１（詳細は後述する。図３参照）を参照して、商品読取部１１０の撮像部１６４（図２参照）により撮像された商品Ａの全部または一部の画像から特定の物体である商品Ａを認識することで売上登録を行う商品Ａを特定する。さらに、ＰＯＳ端末１１は、特定された商品Ａの商品ＩＤ、商品分類、商品名、単価などの売上登録にかかる情報を、売上マスタファイル（図示しない）などに記録して売上登録を行う。

また、商品読取装置１０１の読取窓１０３には、商品Ａの値引き値等の情報を含むＱＲコード（登録商標）やバーコード等のコードシンボルを表示する液晶画面等の表示部５０１（図５参照）を有する携帯端末Ｐ（図５参照）や、商品Ａの値引き値等の情報を含むＱＲコード（登録商標）やバーコード等のコードシンボルが印字されたクーポン券が向けられる。この際、読取窓１０３の奥側に配置された撮像部１６４（図２参照）は、表示部５０１（図５参照）に表示されたコードシンボルの画像またはクーポン券に印字されたコードシンボルの画像を撮像する。商品読取装置１０１では、撮像部１６４（図２参照）により撮像された画像に含まれるコードシンボルから、商品Ａの値引き値等の情報を読み取る。そして、商品読取装置１０１は、商品Ａの値引き値等の情報をＰＯＳ端末１１へ出力する。ＰＯＳ端末１１は、商品Ａの値引き値等の情報を受け取った場合、撮像部１６４により撮像された画像から特定した商品Ａの売上登録にかかる情報に、商品Ａの値引き等の情報を付加して、売上マスタファイル（図示しない）などに記録して売上登録を行う。

図２は、ＰＯＳ端末および商品読取装置のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されている。

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。

キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、および締めキー２２ｆを含む。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ（Hard Disk Drive）６４が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部または一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ａの各々について、商品Ａの売上登録にかかる情報と、その商品Ａの画像との関連付けが設定されたファイルである。図３は、ＰＬＵファイルのデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ａごとに、ユニークに割り当てられた商品ＩＤ、商品Ａが属する商品分類、商品名、単価などの商品Ａの売上登録にかかる情報と、商品Ａを撮像した商品画像と、を格納するファイルである。

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。

さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字するプリンタ６６が接続されている。プリンタ６６は、ＣＰＵ６１の制御のもと、一取引の取引内容をレシートに印字する。

商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像装置１６７、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像装置１６７、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は接続インターフェース１７６を介してＰＯＳ端末１１に接続されている。表示・操作部１０４はＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。

撮像装置１６７は、カラーＣＣＤ（Charge Coupled Device）イメージセンサやカラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどであり、ＣＰＵ１６１の制御の下で読取窓１０３から画像を撮像する撮像部１６４、およびＬＥＤ（Light Emitting Diode）等であり、撮像部１６４により画像を撮像する撮像範囲をカバーするように照明光を照射する照明部１６６を備えている。

例えば撮像部１６４は、所定のフレームレート（例えば、５０００分の１秒）でフレーム画像を撮像する。そして、ＣＰＵ１６１は、所定のフレームレートで順次撮像されたフレーム画像を、ＲＡＭ１６３に保存する。なお、撮像部１６４は、ＣＰＵ１６１によってフレーム画像を撮像するフレームレートが可変可能である。また、照明部１６６も、ＣＰＵ１６１によってＬＥＤを点灯する強度を可変可能である。

図４は、撮像部の撮像範囲と商品との関係を示す図である。図５は、撮像部の撮像範囲と携帯端末との関係を示す図である。撮像部１６４は、図４に示すように、オペレータの手によって商品Ａが撮像部１６４の撮像範囲Ｘに入れられると、商品Ａの全部または一部を含む画像を撮像する。また、撮像部１６４は、図５に示すように、商品Ａの撮像前または撮像後にオペレータの手によって携帯端末Ｐが撮像部１６４の撮像範囲Ｘに入れられると、携帯端末Ｐの表示部５０１に表示されているバーコード５０２やＱＲコード（登録商標）などのコードシンボルや、携帯端末Ｐのキー５０３（「１」から「９」までの数字が表示されたキーが３×３で配置されたテンキー、「♯」や「＊」などが表示されたキーなど）を含む画像を撮像する。なお、携帯端末Ｐの表示部５０１に表示されているバーコード５０２は、商品Ａの値引き値等の情報を含むものとする。また、携帯端末Ｐの表示部５０１は、例えば液晶画面など、光を発光することにより情報を表示するものである。

図２に戻り、音声出力部１６５は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音などの音声による報知を行う。

さらに、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。ＣＰＵ１６１は、商品読取装置１０１の撮像部１６４によって撮像された画像（商品Ａの全部または一部を含む画像）および携帯端末Ｐの表示部５０１に表示されているコードシンボルから読み取った商品Ａの値引き値等の情報を、接続インターフェース１７５を介して出力し、接続インターフェース６５を介してＰＯＳ端末１１に入力する。

次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを順次実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能部について、図６を参照して説明する。図６は、ＰＯＳ端末および商品読取装置の機能構成を示すブロック図である。図６に示すように、ＣＰＵ１６１は、プログラムを順次実行することにより、撮像制御部６０１、検出部６０２、読取部６０３、画像出力部６０４としての機能を備える。同様に、ＣＰＵ６１は、物体認識部６０５、商品登録部６０６としての機能を備える。

撮像制御部６０１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。撮像制御部６０１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。撮像制御部６０１は、フレーム画像の取り込みを、ＲＡＭ１６３に保存された順に行う。

また、撮像制御部６０１は、撮像装置１６７によってフレーム画像が撮像されている間、値引き値等の情報が印字されたクーポン券や商品Ａなど表示部５０１以外を撮像するための第１設定または携帯端末Ｐが備える表示部５０１を撮像するための第２設定に従って、撮像装置１６７によるフレーム画像の撮像を制御するものである。

本実施形態では、撮像制御部６０１は、後述する検出部６０２により表示部５０１が検出された場合、第２設定に従って、予め設定されたフレームレート（例えば、５０００分の１秒）よりも遅いフレームレートで撮像部１６４によるフレーム画像の撮像を制御するとともに、照明部１６６を消灯または照明部１６６の照度を予め設定された照度よりも下げる。なお、撮像制御部６０１は、表示部５０１が液晶画面である場合、当該液晶画面が有するバックライトが照射する光の照度に応じて、撮像部１６４のフレームレートを制御しても良い。

一方、撮像制御部６０１は、後述する検出部６０２により表示部５０１が検出されなかった場合、値引き値等の情報が印字されているクーポン券や商品Ａを撮像するために、第１設定に従って、予め設定されたフレームレート、例えば撮像ブレを少なくするために５０００分の１秒程度のなるべく速い適正なシャッタースピードで撮像部１６４による撮像を制御するとともに、照明部１６６を点灯または照明部１６６の照度を予め設定された照度よりも上げる。

さらに、撮像制御部６０１は、後述する検出部６０２により携帯端末Ｐが検出された場合、撮像装置１６７による撮像を制御する設定を第２設定に切り替える。第２設定に切り替えた後、後述する読取部６０３により情報が読み取られると、撮像制御部６０１は、撮像装置１６７による撮像を制御する設定を、第１設定に切り替える。

検出部６０２は、撮像制御部６０１により取り込まれたフレーム画像に含まれる商品Ａまたは携帯端末Ｐの全部または一部を、パターンマッチング技術や文字認識技術などを用いて検出する。

本実施形態では、検出部６０２は、取り込まれたフレーム画像から肌色領域の有無を検出する。肌色領域が検出された場合、すなわち、オペレータの手の写り込みが検出された場合、検出部６０２は、取り込まれたフレーム画像を２値化した画像から輪郭線などを抽出する。これにより、検出部６０２は、オペレータの手が把持していると想定される商品Ａまたは携帯端末Ｐの輪郭抽出を試みる。このとき、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、オペレータが商品Ａまたは携帯端末Ｐを把持していると判断する。

ここで、オペレータが商品Ａまたは携帯端末Ｐを把持していると判断した場合、検出部６０２は、フレーム画像から「１」から「９」までの数字などの所定の文字を認識する。さらに、検出部６０２は、認識した「１」から「９」までの数字が３×３などの所定の配置で配列されているか否かを判定する。そして、フレーム画像から「１」から「９」までの数字が認識されかつ当該認識された「１」から「９」までの数字が３×３の配置で配列されていると判定された場合、検出部６０２は、携帯端末Ｐのキー５０３が存在すると判断して、オペレータが把持しているものが携帯端末Ｐであると判断する。一方、所定の文字が認識されなかった場合、若しくは認識された所定の文字が所定の配置で配列されていなかった場合、検出部６０２は、オペレータが把持しているものが商品Ａであると判断する。

なお、本実施形態では、検出部６０２は、パターンマッチング技術や文字認識技術を用いて携帯端末Ｐの全部または一部を検出しているが、これに限定するものではない。例えば、検出部６０２は、携帯端末Ｐの基準画像を参照して、撮像部１６４により撮像されたフレーム画像から、特徴量としての色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として携帯端末Ｐを認識する。なお、検出部６０２は、処理時間の短縮を図るため、携帯端末Ｐの輪郭や大きさを考慮しないものとする。携帯端末Ｐの全部または一部の検出に物体認識を用いることにより、検出部６０２は、キー５０３を有しない、タッチパネルにより操作する携帯端末を検出することができる。例えば、検出部６０２は、撮像部１６４により撮像されたフレーム画像から、タッチパネルが積層配置された液晶画面からの鏡面反射を特徴量として読み取ることにより、携帯端末を検出することができる。

このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

読取部６０３は、撮像制御部６０１により取り込まれたフレーム画像から、クーポン券に印字されたバーコードやＱＲコード等のコードシンボルを検出するとともに、検出したコードシンボルから、値引き値等の情報を読み取る。

また、読取部６０３は、検出部６０２により携帯端末Ｐが検出された場合、撮像制御部６０１により取り込まれたフレーム画像から、携帯端末Ｐの表示部５０３に表示されたバーコード５０２やＱＲコードなどのコードシンボルを検出し、検出したコードシンボルから、値引き値等の情報を読み取る。

画像出力部６０４は、撮像制御部６０１が取り込んだフレーム画像を接続インターフェース１７５を介してＰＯＳ端末１１へ出力する。画像出力部６０４は、撮像制御部６０１が取り込んだフレーム画像を逐次ＰＯＳ端末１１へ出力してもよいが、検出部６０２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力するものとする。このように、検出部６０２により商品Ａの全部または一部が検出されたフレーム画像をＰＯＳ端末１１へ出力することで、商品Ａの全部または一部が含まれていないフレーム画像によってＰＬＵファイルＦ１を参照して実行する物体認識がＰＯＳ端末１１で行われることを防止できる。特定の物体の認識処理は処理時間を要することから、特定の物体の認識の見込みのない、商品Ａの全部または一部が含まれていないフレーム画像での処理を防止することで、処理時間の短縮を図ることができる。

また、画像出力部６０４は、読取部６０３により値引き値等の情報が読み取られた場合、読み取った値引き値等の情報を、ＰＯＳ端末１１へ出力する。

物体認識部６０５は、ＰＬＵファイルＦ１の商品画像を参照して、商品読取装置１０１の撮像部１６４により撮像されたフレーム画像に含まれる商品Ａの全部または一部の画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として商品Ａを認識する。本実施形態では、物体認識部６０５は、上述した一般物体認識により商品Ａの認識を行うものとする。なお、物体認識部６０５は、処理時間の短縮を図るため、商品Ａの輪郭や大きさは考慮しないものとする。ＰＯＳ端末１１では、物体認識部６０５の認識結果により、ＰＬＵファイルＦ１に予め登録されている商品の中から商品読取装置１０１が読み取った商品を特定できる。

商品登録部６０６は、物体認識部６０５により認識された商品画像と関連する売上登録にかかる情報、すなわち、商品読取装置１０１が読み取った商品Ａとして特定された商品Ａの商品ＩＤ、商品分類、商品名、単価などを売上マスタファイルなどに記録して売上登録を行う。また、商品登録部６０６は、読取部６０３により読み取られた情報（例えば、値引き値等）が出力された場合、物体認識部６０５により認識された商品画像と関連する売上登録にかかる情報に、読取部６０３により読み取られた情報を付加して、売上マスタファイルに記録して売上登録を行うものとする。

次に、商品読取装置１０１の動作について詳細に説明する。図７は、本実施形態にかかる商品読取装置の動作の一例を示すフローチャートである。

撮像制御部６０１は、撮像部１６４による撮像動作開始後、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像を順次取り込む。なお、撮像制御部６０１は、撮像部１６４による撮像動作が開始された際、撮像部１６４による撮像を制御する設定を、第１設定に切り替えておくものとする。

検出部６０２は、撮像制御部６０１により取り込まれたフレーム画像からのオペレータの手の写り込みの検出を開始する（ステップＳ７０１）。そして、取り込まれたフレーム画像からのオペレータの手の写り込みが検出されなかった場合（ステップＳ７０２：Ｎｏ）、検出部６０２は、ステップＳ７０１に戻り、フレーム画像からデータの検出を繰り返す。

一方、取り込まれたフレーム画像からオペレータの手の写り込みが検出された場合（ステップＳ７０２：Ｙｅｓ）、検出部６０２は、フレーム画像から「１」から「９」までの数字を認識するとともに、認識した「１」から「９」までの数字が所定の配置に配列されているか否かを判断する（ステップＳ７０３）。図８は、フレーム画像から認識する「１」から「９」までの数字の配置を示す図である。検出部６０２は、例えば、図８に示すように、フレーム画像から認識した「１」から「９」までの数字が３×３に配列されているか否かを判断する。

図７に戻り、認識した「１」から「９」までの数字が所定の配置に配列されていないと判断した場合（ステップＳ７０３：Ｎｏ）、読取部６０３は、取り込まれたフレーム画像から、クーポン券に印字されたコードシンボルを検出する（ステップＳ７０４）。次いで、読取部６０３は、検出したコードシンボルから、値引き値等の情報を読み取る（ステップＳ７０５）。なお、図示しないが、取り込まれたフレーム画像から商品Ａが検出された場合には、画像出力部６０４が、撮像制御部６０１が取り込んだフレーム画像を接続インターフェース１７５を介してＰＯＳ端末１１へ出力するものとする。

認識した「１」から「９」までの数字が所定の配置に配列されていると判断した場合（ステップＳ７０３：Ｙｅｓ）、撮像制御部６０１は、撮像部１６４による撮像を制御する設定を、第１設定から第２設定に切り替える（ステップＳ７０６）。次いで、読取部６０３は、第２設定に切り替えられた後に撮像制御部６０１により取り込まれたフレーム画像から、携帯端末Ｐの表示部５０３に表示されたコードシンボルを検出する（ステップＳ７０７）。そして、読取部６０３は、検出したコードシンボルから、値引き値等の情報を読み取る（ステップＳ７０８）。撮像制御部６０１は、読取部６０３により情報が読み取られたか否かを判断する（ステップＳ７０９）。

撮像制御部６０１は、読取部６０３により情報が読み取られたと判断した場合（ステップＳ７０９：Ｙｅｓ）、撮像部１６４による撮像を制御する設定を、第２設定から第１設定に切り替える（ステップＳ７１０）。一方、読取部６０３により情報が読み取られていないと判断した場合（ステップＳ７０９：Ｎｏ）、ステップＳ７０７に戻り、読取部６０３による情報の読み取りを繰り返す。

読取部６０３により値引き値等の情報が読み取られた場合、画像出力部６０４は、読み取られた情報をＰＯＳ端末１１へ出力するものとする。なお、画像出力部６０４がフレーム画像を出力した場合、ＰＯＳ端末１１では、物体認識部６０５が、ＰＬＵファイルＦ１の商品画像を参照して、商品読取装置１０１の撮像部１６４により撮像されたフレーム画像に含まれる商品Ａの全部または一部の画像から商品Ａを認識する。次いで、商品登録部６０６が、物体認識部６０５により認識された商品画像と関連する売上登録にかかる情報に、画像出力部６０４から出力されたフレーム画像に付加された情報を付加して、売上マスタファイルに記録して売上登録を行うものとする。

このように本実施形態にかかる商品読取装置１０１によれば、フレーム画像を撮像する撮像装置１６７と、撮像装置１６７により撮像された画像から情報を読み取る読取部６０３と、撮像されたフレーム画像から、読取部６０３により読み取る情報を表示する表示部５０１を備えた携帯端末Ｐを検出する検出部６０２と、携帯端末Ｐが検出されなかった場合、表示部５０１以外を撮像するための第１設定に従って撮像装置１６７による画像の撮像を制御し、携帯端末Ｐが検出された場合に、表示部５０１を撮像するための第２設定に従って撮像装置１６７による画像の撮像を制御する撮像制御部６０１と、撮像装置１６７により撮像されたフレーム画像から、表示部５０１に表示された情報を読み取る読取部６０４と、を備えることにより、携帯端末Ｐの表示部５０１に表示された情報の読み取りを行う際に、撮像装置１６７によりフレーム画像を撮像する設定が、第１設定から第２設定に自動的に切り替えられるので、表示部５０１の画像を撮像するための専用の読取装置を併設する必要がなくなり、かつＰＯＳ端末１１を操作するオペレータの作業量が増えることを防止できる。

なお、本実施形態のＰＯＳ端末１１および商品読取装置１０１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。

本実施形態のＰＯＳ端末１１および商品読取装置１０１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態のＰＯＳ端末１１および商品読取装置１０１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のＰＯＳ端末１１および商品読取装置１０１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

本実施形態のＰＯＳ端末１１および商品読取装置１０１で実行されるプログラムは、上述した各部（撮像制御部６０１、検出部６０２、読取部６０３、画像出力部６０４、物体認識部６０５、商品登録部６０６）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、撮像制御部６０１、検出部６０２、読取部６０３、画像出力部６０４、物体認識部６０５、商品登録部６０６が主記憶装置上に生成されるようになっている。

なお、本実施形態においては、商品読取装置１０１側に撮像制御部６０１、検出部６０２、読取部６０３を備えるようにしたが、これに限るものではなく、ＰＯＳ端末１１側に撮像制御部６０１、検出部６０２、読取部６０３を備えるようにしても良い。この場合、ＰＯＳ端末１１が読取システムである。

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ ＰＯＳシステム
１１ ＰＯＳ端末
１０１ 商品読取装置
１６４ 撮像部
１６６ 照明部
１６７ 撮像装置
５０１ 表示部
５０３ キー
６０１ 撮像制御部
６０２ 検出部
６０３ 読取部
Ｐ 携帯端末

特開２００９−１２９２６６号公報

Claims (5)

1. 所定のフレームレートで撮像を行う撮像装置と、
   前記撮像装置の撮像により得られたフレーム画像から情報を読み取る読取部と、
   前記撮像装置による撮像が行われる度に前記フレーム画像からオペレータの手の検出を行うとともに、前記オペレータの手が検出された場合のみ、物体認識により、前記オペレータの手が検出された前記フレーム画像から、当該フレーム画像に含まれる画像の輪郭および大きさを考慮せず前記画像の表面の状態を読み取ることによって、表示部を備えた携帯端末の認識を行う検出部と、
   前記携帯端末が認識されなかった場合、前記表示部以外を撮像するための第１設定に従って前記撮像装置の撮像を制御し、前記携帯端末が認識された場合、前記表示部を撮像するための第２設定に従って前記撮像装置の撮像を制御する制御部と、
   を備えた読取装置。
2. 前記検出部は、物体認識により前記フレーム画像から前記表示部が認識された場合に、前記携帯端末を認識する請求項１に記載の読取装置。
3. 前記制御部は、前記第２設定に従った前記撮像装置の撮像により得られた前記フレーム画像から情報が読み取られた場合、前記第２設定から前記第１設定に切り替えて前記第１設定に従って前記撮像装置による撮像を制御する請求項１または２に記載の読取装置。
4. 所定のフレームレートで撮像を行う撮像装置と、
   前記撮像装置の撮像により得られたフレーム画像から情報を読み取る読取部と、
   前記撮像装置による撮像が行われる度に前記フレーム画像からオペレータの手の検出を行うとともに、前記オペレータの手が検出された場合のみ、物体認識により、前記オペレータの手が検出された前記フレーム画像から、当該フレーム画像に含まれる画像の輪郭および大きさを考慮せず前記画像の表面の状態を読み取ることによって、表示部を備えた携帯端末の認識を行う検出部と、
   前記携帯端末が認識されなかった場合、前記表示部以外を撮像するための第１設定に従って前記撮像装置の撮像を制御し、前記携帯端末が認識された場合、前記表示部を撮像するための第２設定に従って前記撮像装置の撮像を制御する制御部と、
   を備えた読取システム。
5. 所定のフレームレートで撮像を行う撮像装置と、当該撮像装置の撮像により得られたフレーム画像から情報を読み取る読取部と、を備えた読取装置を制御するコンピュータを、
   前記撮像装置による撮像が行われる度に前記フレーム画像からオペレータの手の検出を行うとともに、前記オペレータの手が検出された場合のみ、物体認識により、前記オペレータの手が検出された前記フレーム画像から、当該フレーム画像に含まれる画像の輪郭および大きさを考慮せず前記画像の表面の状態を読み取ることによって、表示部を備えた携帯端末の認識を行う検出部と、
   前記携帯端末が認識されなかった場合、前記表示部以外を撮像するための第１設定に従って前記撮像装置の撮像を制御し、前記携帯端末が認識された場合、前記表示部を撮像するための第２設定に従って前記撮像装置の撮像を制御する制御部と、
   として機能させるためのプログラム。

Images