(第1の実施形態)
以下、本実施形態について図面を参照して説明する。図1は、本実施形態にかかるPOSシステムの全体構成を示す斜視図である。図1に示すように、POS(Point Of Sales)システム1は、一取引にかかる商品の登録、精算を行うPOS端末11を備える。POS端末11は、チェックアウト台51上のドロワ21上面に載置されている。そして、POS端末11は、ドロワ21の開放動作を制御する。POS端末11は、オペレータ(ユーザ)によって押下操作されるキーボード22を上面に配置している。また、POS端末11は、キーボード22を操作するオペレータから見てキーボード22よりも奥側に、オペレータに向けて情報を表示する表示デバイス23を設けている。表示デバイス23は、表示面23aに情報を表示する。また、POS端末11は、タッチパネル26を表示面23a上に積層配置している。また、POS端末11は、表示デバイス23よりもさらに奥側に、顧客用表示デバイス24を回転自在に立設している。顧客用表示デバイス24は、その表示面24aに情報を表示する。なお、図1に示す顧客用表示デバイス24は、表示面24aを図1中手前側に向けているが、表示面24aが図1中奥側に向くように顧客用表示デバイス24を回転させることによって、顧客に向けて情報を表示する。
POSシステム1は、POS端末11が載置されているチェックアウト台51とL字を形成するようにして、横長テーブル状のカウンタ台151を配置している。カウンタ台151の上面には、荷受面152が形成されている。荷受面152には、商品Aを収納する買物カゴ153が載置される。買物カゴ153は、顧客によって持ち込まれる第1の買物カゴ153aと、第1の買物カゴ153aから商品読取装置101を挟んだ位置に位置付けられる第2の買物カゴ153bとに分けて考えることができる。なお、買物カゴ153は、いわゆるカゴ形状のものに限るものではなく、パン店やドーナツ店等の店舗において用いられるトレーなどであっても良い。
カウンタ台151の荷受面152には、POS端末11とデータ送受信自在に接続された商品読取装置101が設置されている。商品読取装置101は、薄型矩形形状のハウジング102を備える。ハウジング102の正面には、第1読取窓103および当該第1読取窓103の上部に設けられた第2読取窓108が配置されている。ハウジング102の上部には、表示・操作部104が取り付けられている。表示・操作部104には、タッチパネル105が表面に積層された表示デバイス106が設けられている。表示デバイス106の右隣にはキーボード107が配設されている。オペレータから見て表示・操作部104の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス109が設置されている。
このような商品読取装置101は、商品読取部110(図3参照)を備えている。商品読取部110は、第1読取窓103の奥側に第1撮像部164(図2参照)を配置し、第2読取窓108の奥側に第2撮像部168を配置している。
顧客によって持ち込まれた第1の買物カゴ153aには、一取引にかかる商品Aが収納されている。商品Aは、オペレータの手によって第2の買物カゴ153bへと移動される。この移動過程で、商品Aが商品読取装置101の第1読取窓103または第2読取窓108に向けられる。この際、第1読取窓103の奥側に配置された第1撮像部164(図2参照)は、商品Aに付されているバーコード等のコードシンボルから商品Aを示す商品ID(商品情報)を光学的に読み取るための第1有効範囲A1(図2参照)に撮像領域B1(図2参照)を有し、当該撮像領域B2(図2参照)に存在する商品Aを撮像した画像(第1領域)を取得する。また、第2読取窓108の奥側に配置された第2撮像部168(図2参照)は、商品Aの商品画像から当該商品Aの商品IDを読み取るための範囲であり、第1有効範囲A1(図2参照)に隣接する第2有効範囲A2(図2参照)に撮像領域B2を有し、当該撮像領域B2(図2参照)に存在する商品Aを撮像して画像(第2領域)を取得する。商品読取装置101では、第1撮像部164(図2参照)または第2撮像部168(図2参照)により取得された画像に含まれる商品Aの全部または一部の商品画像を検出する。商品読取装置101では、第1撮像部164(図2参照)により取得された画像(第1領域)および第2撮像部168(図2参照)により取得された画像(第2領域)の少なくとも一方に商品Aの全部または一部の商品画像が含まれることを検出した場合、その撮像画像をPOS端末11へ出力する。
POS端末11は、商品読取装置101から出力された画像を受け取ると、受け取った画像のうち、第1撮像部164(図2参照)により取得された画像および第2撮像部168(図2参照)により取得された画像のうちいずれから商品IDを読取可能かを特定する。そして、第1撮像部164(図2参照)により取得された画像から商品IDが読取可能であることを特定した場合、POS端末11は、第1撮像部164(図2参照)により取得された画像に含まれるバーコードや2次元コードなどのコードシンボルから、商品Aを示す商品ID(商品情報)を読み取る。次いで、POS端末11は、商品IDに対応付けて商品Aの売上登録に関わる情報(例えば、商品分類、商品名、単価、商品画像など)を記憶する商品マスタファイルF1(図4参照)から、読み取った商品IDと対応付けられた情報を読み出す。そして、POS端末11は、読み出した情報を、売上マスタファイル(図示しない)などに記録することにより商品Aの売上登録を行う。
一方、POS端末11は、第2撮像部168(図2参照)により取得された画像から商品IDを読取可能であることを特定した場合、商品マスタファイルF1(図4参照)に記憶された商品画像を参照して、第2撮像部168(図2参照)により取得された画像に含まれる商品Aの全部または一部の商品画像から特定の物体である商品Aを認識する。次いで、POS端末11は、商品マスタファイルF1(図4参照)から、認識した商品Aの商品IDなどの商品Aに関わる情報を読み出す。これにより、POS端末11は、第2撮像部168(図2参照)により取得された画像から商品IDを読み取るものとする。そして、POS端末11は、読み出した情報を、売上マスタファイル(図示しない)などに記録することにより商品Aの売上登録を行う。
図2は、商品読取装置の概略的な縦断側面図である。商品読取装置101には、ハウジング102に商品読取部110が内蔵されている。商品読取部110は、第1有効範囲A1に撮像領域B1を有し、当該撮像領域B1に存在する商品Aに付されたコードシンボルから商品IDを読み取るための画像(第1領域)を取得する第1撮像部164、および第1有効範囲A1の上部に隣接する第2有効範囲A2に撮像領域B2を有し、当該撮像領域B2に存在する商品Aの商品画像から商品IDを読み取るための画像(第2領域)を取得する第2撮像部168を備える。
第1撮像部164は、商品Aが配置される第1有効範囲A1側に配置された表側カバー部材117と、表側カバー部材117の反対側に配置され当該表側カバー部材117と組み合わせて配置される裏側カバー部材118とで形成された箱形の筐体112を有している。
筐体112内には、CCD撮像素子を備える撮像ボード113と、第1有効範囲A1および第2有効範囲A2に照明光を照射する照明装置である照明ボード116と、CCD(Charged Coupled Device)撮像素子(またはCMOS(Complementary Metal Oxide Semiconductor)撮像素子)が取得した撮像画像に対して画像処理を行う画像処理ボード115と、を備えている。
表側カバー部材117は、第1有効範囲A1側の筐体112のうち最も第1有効範囲A1側に位置する表面板117aが配置されるほか、表面板117aの中央部には、内部に向けて凹設部117bが形成されている。凹設部117bは、奥に行くほどその断面積が減少する四角錘形の壁面を備えて形成され、凹設部117bの最奥部には開口部117cが開設されている。
撮像ボード113は、エリアイメージセンサであるCCD撮像素子およびCCD撮像素子の駆動回路を備えた撮像基板114と、CCD撮像素子に第1有効範囲A1の撮像画像を結像する結像レンズ119と、を備えている。
画像処理ボード115は、画像処理装置であって、撮像ボード113から出力された動画像データ中から商品画像を検出可能な1枚のフレームデータを認識する。そして、画像処理ボード115は、認識したフレームデータを出力する。
照明ボード116は、開口部117cの奥側に配置される。照明ボード116の基板116aには、撮像ボード113の撮像用の開口部116cが開設されている。凹設部117bの最奥部の開口部117c内に位置する照明ボード116の基板116a上には、複数のLED発光素子116bが開口部116cを囲うように配置されている。これにより、複数のLED発光素子116bは、撮像領域B1より広い照明領域(本実施形態では、撮像領域B1および撮像領域B2を含む領域)に光を照射する。なお、本実施形態では、第1撮像部164が有するLED発光素子116bにより撮像領域B2に光を照射しているが、これに限定するものではなく、第2撮像部168に撮像領域B2に光を照射する照射部を設けて、撮像領域B2に光を照射しても良い。
このように構成された第1撮像部164は、開口部117cの位置を商品読取装置101のハウジング102に形成された第1読取窓103に位置合わせして、ハウジング102に内蔵されている。これにより、撮像ボード113は、その読取光軸C1が第1読取窓103の外部に位置する第1有効範囲A1に向けられている。そして、結像レンズ119は、第1有効範囲A1からの反射光がCCD撮像素子に焦点を結ぶような焦点距離を有している。これにより、撮像ボード113に設けられている撮像基板114と結像レンズ119とは、第1有効範囲A1に位置する商品Aの商品画像を取得する。
第2撮像部168は、商品Aが配置される第2有効範囲A2側に配置された表側カバー部材121と、表側カバー部材121の反対側に配置され当該表側カバー部材121と組み合わせて配置される裏側カバー部材122とで形成された箱形の筐体120を有している。
筐体120内には、カラーCCD撮像素子(またはカラーCMOS撮像素子)を備える撮像ボード123と、カラーCCD撮像素子が取得した撮像画像に対して画像処理を行う画像処理ボード124と、を備えている。
表側カバー部材121は、第2有効範囲A2側の筐体120のうち最も第2有効範囲A2側に位置する表面板121aが配置されるほか、表面板121aの中央部には、内部に向けて凹設部121bが形成されている。凹設部121bは、奥に行くほどその断面積が減少する四角錘形の壁面を備えて形成され、凹設部121bの最奥部には開口部121cが開設されている。
撮像ボード123は、カラーCCD撮像素子およびカラーCCD撮像素子の駆動回路を備えた撮像基板125と、カラーCCD撮像素子に第2有効範囲A2の撮像画像を結像する結像レンズ126と、を備えている。
画像処理ボード124は、画像処理装置であって、撮像ボード123から出力された動画像データ中から商品画像を検出可能な1枚のフレームデータを認識する。そして、画像処理ボード124は、認識したフレームデータを出力する。
さらに、第2撮像部168は、開口部121cに透明な保護カバー127を有している。
このように構成された第2撮像部168は、開口部121cの位置を商品読取装置101のハウジング102に形成された第2読取窓108に位置合わせして、ハウジング102に内蔵されている。これにより、撮像ボード123は、その読取光軸C2が第2読取窓108の外部に位置する第2有効範囲A2に向けられている。そして、結像レンズ126は、第2有効範囲A2からの反射光がカラーCCD撮像素子に焦点を結ぶような焦点距離を有している。これにより、撮像ボード123に設けられている撮像基板125と結像レンズ126とは、第2有効範囲A2に位置する商品Aの商品画像を取得する。
図3は、POS端末および商品読取装置のハードウェア構成を示すブロック図である。POS端末11は、情報処理を実行する情報処理部としてのマイクロコンピュータ60を備える。マイクロコンピュータ60は、各種演算処理を実行し各部を制御するCPU(Central Processing Unit)61に、ROM(Read Only Memory)62とRAM(Random Access Memory)63とがバス接続されている。
POS端末11のCPU61には、前述したドロワ21、キーボード22、表示デバイス23、タッチパネル26、顧客用表示デバイス24がいずれも各種の入出力回路(いずれも図示せず)を介して接続されている。これらは、CPU61による制御を受ける。
キーボード22は、「1」、「2」、「3」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー22d、仮締めキー22e、および締めキー22fを含む。
POS端末11のCPU61には、HDD(Hard Disk Drive)64が接続されている。HDD64には、プログラムや各種ファイルが記憶されている。HDD64に記憶されているプログラムや各種ファイルは、POS端末11の起動時に、その全部または一部がRAM63にコピーされてCPU61により順次実行される。HDD64に記憶されているプログラムの一例は、商品販売データ処理用のプログラムPRである。HDD64に記憶されているファイルの一例は、ストアコンピュータSCから配信されて格納されている商品マスタファイルF1である。
商品マスタファイルF1は、店舗に陳列して販売する商品Aの各々について、商品Aの売上登録にかかる情報と、その商品Aの商品画像とを対応付けて記憶するファイルである。図4は、商品マスタファイルのデータ構成を例示する概念図である。図4に示すように、商品マスタファイルF1は、商品Aごとに、ユニークに割り当てられ商品Aを識別するための商品ID、商品Aが属する商品分類、商品名、単価などの商品Aの売上登録にかかる情報と、商品Aの商品画像と、を対応付けて記憶するファイルである。
図3に戻り、POS端末11のCPU61には、ストアコンピュータSCとデータ通信を実行するための通信インターフェース25が入出力回路(図示せず)を介して接続されている。ストアコンピュータSCは、店舗のバックヤード等に設置されている。ストアコンピュータSCのHDD(図示せず)には、POS端末11に配信される商品マスタファイルF1が格納されている。
さらに、POS端末11のCPU61には、商品読取装置101との間でデータ送受信を可能にする接続インターフェース65が接続されている。接続インターフェース65には、商品読取装置101が接続されている。また、POS端末11のCPU61には、レシートなどに印字するプリンタ66が接続されている。プリンタ66は、CPU61の制御の下、一取引の取引内容をレシートに印字する。
商品読取装置101も、マイクロコンピュータ160を備える。マイクロコンピュータ160は、CPU161にROM162とRAM163とがバス接続されている。ROM162には、CPU161によって実行されるプログラムが記憶されている。CPU161には、撮像装置167、音声出力部165が各種の入出力回路(いずれも図示せず)を介して接続されている。撮像装置167、音声出力部165は、CPU161によって動作が制御される。表示・操作部104は接続インターフェース176を介してPOS端末11に接続されている。表示・操作部104はPOS端末11のCPU61によって動作が制御される。
撮像装置167は、第1有効範囲A1および第2有効範囲A2を撮像するものである。本実施形態では、撮像装置167は、第1有効範囲A1に撮像領域B1を有する第1撮像部164、および第2有効範囲A2に撮像領域B2を有する第2撮像部168を備える。第1撮像部164および第2撮像部168は、所定のフレームレート(例えば、5000分の1秒)で撮像領域B1および撮像領域B2を撮像してフレーム画像(フレームデータ)を取得する。そして、CPU161は、所定のフレームレートで順次撮像され、取得されたフレーム画像を、当該各フレーム画像を取得した撮像部(第1撮像部164および第2撮像部168)を識別する撮像部IDを付加してRAM163に保存する。なお、第1撮像部164および第2撮像部168は、CPU161によってフレーム画像を取得するフレームレートが可変可能である。また、第1撮像部164が備える照明ボード116も、CPU161によってLED発光素子116bを点灯する強度を可変可能である。
音声出力部165は、予め設定された警告音などを発生するための音声回路とスピーカなどである。音声出力部165は、CPU161の制御の下で警告音などの音声による報知を行う。
さらに、CPU161には、POS端末11の接続インターフェース65に接続して、POS端末11との間でデータ送受信を可能にする接続インターフェース175が接続されている。CPU161は、商品読取装置101の第1撮像部164および第2撮像部168によって取得されたフレーム画像を、接続インターフェース175を介して出力し、接続インターフェース65を介してPOS端末11に入力する。
次に、CPU161、CPU61がプログラムを順次実行することで実現されるCPU161、CPU61の機能部について、図5を参照して説明する。図5は、POS端末および商品読取装置の機能構成を示すブロック図である。図5に示すように、CPU161は、プログラムを順次実行することにより、取込部501、検出部502、出力部503としての機能を備える。同様に、CPU61は、読取部504、認識部505、登録部506、特定部507としての機能を備える。
取込部501は、撮像装置167に撮像オン信号を出力して撮像装置167に撮像動作を開始させる。取込部501は、撮像動作開始後に撮像装置167が取得してRAM163に保存されたフレーム画像を順次取り込む。取込部501は、フレーム画像の取り込みを、RAM163に保存された順に行う。
検出部502は、取込部501により取り込まれたフレーム画像に含まれる商品Aの商品画像の全部または一部を、パターンマッチング技術や文字認識技術などを用いて検出する。
本実施形態では、検出部502は、取り込まれたフレーム画像から肌色領域の有無を検出する。肌色領域が検出された場合、すなわち、オペレータの手の写り込みが検出された場合、検出部502は、取り込まれたフレーム画像を2値化した画像から輪郭線などを抽出する。これにより、検出部502は、オペレータの手が把持していると想定される商品Aの輪郭抽出を試みる。このとき、手の形状を示す輪郭と、それ以外の輪郭とが検出された場合は、オペレータが商品Aを把持していると判断する。
出力部503は、取込部501が取り込んだフレーム画像を接続インターフェース175を介してPOS端末11へ出力する。出力部503は、取込部501が取り込んだフレーム画像を逐次POS端末11へ出力してもよいが、検出部502により商品Aの全部または一部が検出されたフレーム画像をPOS端末11へ出力するものとする。このように、検出部502により商品Aの全部または一部が検出されたフレーム画像をPOS端末11へ出力することで、商品Aの全部または一部が含まれていないフレーム画像によって、当該フレーム画像に含まれるコードシンボルからの商品情報の読み取りや、商品マスタファイルF1を参照して実行する商品Aの認識がPOS端末11で行われることを防止できる。商品情報の読み取りや特定の物体(商品A)の認識処理は処理時間を要することから、商品情報の読み取りや特定の物体の認識の見込みのない、商品Aの全部または一部が含まれていないフレーム画像での処理を防止することで、処理時間の短縮を図ることができる。
特定部507は、撮像装置167により取得されたフレーム画像のうち、第1撮像部164の撮像部IDが付加されたフレーム画像(第1領域)および第2撮像部168の撮像部IDが付加されたフレーム画像(第2領域)のいずれのフレーム画像(領域)から商品情報を読取可能かを特定するものである。本実施形態では、特定部507は、出力部503により出力されたフレーム画像のうち、第1撮像部164の撮像部IDが付加されたフレーム画像にのみ商品画像が含まれていた場合には、第1撮像部164の撮像部IDが付加されたフレーム画像に含まれるコードシンボルから商品IDを読取可能であることを特定する。一方、特定部507は、出力部503により出力されたフレーム画像のうち、第2撮像部168の撮像部IDが付加されたフレーム画像にのみ商品画像が含まれていた場合には、第2撮像部168の撮像部IDが付加されたフレーム画像に含まれる商品画像から商品IDを読取可能であることを特定する。なお、特定部507は、フレーム画像に商品画像が含まれているか否かを判断する際、上述した検出部502と同様にして、パターンマッチング技術や文字認識技術などを用いて、フレーム画像に商品画像が含まれているか否かを判断するものとする。
また、特定部507は、第1撮像部164の撮像部IDが付加されたフレーム画像および第2撮像部168の撮像部IDが付加されたフレーム画像の両方から商品IDが読取可能である場合、商品Aを第1有効範囲A1または第2有効範囲A2のいずれかに移動させることを促すメッセージなど、所定のメッセージを表示デバイス106に表示する。そして、特定部507は、所定のメッセージを表示した後、再度、第1撮像部164の撮像部IDが付加されたフレーム画像および第2撮像部168の撮像部IDが付加されたフレーム画像のいずれのフレーム画像から商品情報を読取可能かを特定する。
なお、本実施形態では、特定部507は、所定のメッセージを表示デバイス106に表示しているが、所定のメッセージを報知するものであれば、これに限定するものではない。例えば、特定部507は、商品読取部110が有する音声出力部165を制御して、所定のメッセージを音声で出力しても良い。
また、本実施形態では、特定部507は、第1撮像部164の撮像部IDが付加されたフレーム画像および第2撮像部168の撮像部IDが付加されたフレーム画像の両方から商品情報を読取可能である場合、第1撮像部164の撮像部IDが付加されたフレーム画像および第2撮像部168の撮像部IDが付加されたフレーム画像のうち商品Aの商品画像が先に含まれたフレーム画像を選択し、当該選択したフレーム画像を商品IDを読取可能なフレーム画像として特定しても良い。なお、特定されたフレーム画像に付加されたし撮像部IDを元に、特定されたフレーム画像が第1有効範囲A1および第2有効範囲A2のうちいずれの範囲を撮像したものかを把握することができる。
または、特定部507は、第1撮像部164の撮像部IDが付加されたフレーム画像および第2撮像部168の撮像部IDが付加されたフレーム画像の両方から商品情報を読取可能である場合、第1撮像部164の撮像部IDが付加されたフレーム画像および第2撮像部168の撮像部IDが付加されたフレーム画像のうち予め設定されたフレーム画像を選択し、当該選択したフレーム画像を商品IDを読取可能なフレーム画像として特定しても良い。なお、特定されたフレーム画像に付加されたし撮像部IDを元に、特定されたフレーム画像が第1有効範囲A1および第2有効範囲A2のうちいずれの範囲を撮像したものかを把握することができる。
読取部504(第1読取部)は、特定部507により第1撮像部164の撮像部IDが付加されたフレーム画像から商品IDが読取可能であることを特定した場合、出力部503により出力されたフレーム画像のうち第1撮像部164により取得されたフレーム画像(第1撮像部164の撮像部IDが付加されたフレーム画像)から、バーコードや2次元コード等のコードシンボルを検出するとともに、検出したコードシンボルから、商品Aを識別する商品ID(商品情報)を読み取る読取処理を行う。
認識部505(第2読取部)は、特定部507により第2撮像部168の撮像部IDが付加されたフレーム画像から商品IDが読取可能であることを特定した場合、商品マスタファイルF1の商品画像を参照して、出力部503により出力されたフレーム画像のうち第2撮像部168により取得されたフレーム画像(第2撮像部168の撮像部IDが付加されたフレーム画像)に含まれる商品Aの全部または一部の画像から、特徴量として色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体として商品Aを認識する。次いで、認識部505は、商品マスタファイルF1から、認識した商品Aの商品IDを読み出す。これにより、認識部505は、第2撮像部168により取得されたフレーム画像から、商品IDを読み取る。本実施形態では、認識部505は、一般物体認識により商品Aの認識を行うものとする。なお、認識部505は、処理時間の短縮を図るため、商品Aの輪郭や大きさは考慮しないものとする。POS端末11では、認識部505の認識結果により、商品マスタファイルF1に予め登録されている商品の中から商品読取装置101が読み取った商品を特定できる。
このように画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16 [平成22年8月10日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
登録部506は、商品マスタファイルF1から、読取部504により読み取られた商品IDが示す商品Aまたは認識部505により読み取られた商品IDが示す商品Aの売上登録にかかる情報(例えば、商品Aの商品ID、商品分類、商品名、単価など)を読み出す。そして、登録部506は、読み出した情報を、売上マスタファイルなどに記録することにより、商品Aの売上登録を行う。
次に、POSシステム1の動作について詳細に説明する。図6は、本実施形態にかかるPOSシステムの動作の一例を示すフローチャートである。図7および図8は、表示デバイスに表示するメッセージの一例を示す図である。
先ず、商品読取装置101側の動作について説明する。図6に示すように、POS端末11による商品登録の開始などに応じて処理が開始されると、取込部501は、第1撮像部164および第2撮像部168に撮像オン信号を出力して第1撮像部164および第2撮像部168による撮像を開始する(ステップS601)。次いで、取込部501は、第1撮像部164および第2撮像部168が取得してRAM163に保存されたフレーム画像(撮像画像)を取り込む(ステップS602)。次いで、検出部502は、取込部501が取り込んだ、第1撮像部164の撮像部IDが付加されたフレーム画像および第2撮像部168の撮像部IDが付加されたフレーム画像それぞれから商品Aの全部または一部の検出を行う(ステップS603)。次いで、出力部503は、第1撮像部164の撮像部IDが付加されたフレーム画像および第2撮像部168の撮像部IDが付加されたフレーム画像のうち少なくとも一方から商品Aの全部または一部が検出された場合、当該第1撮像部164の撮像部IDが付加されたフレーム画像および第2撮像部168の撮像部IDが付加されたフレーム画像をPOS端末11へ出力する(ステップS604)。
次いで、CPU161は、POS端末11から商品登録の終了通知などによる業務終了の有無を判定する(ステップS605)。業務を継続する場合(ステップS605:No)、CPU161は、ステップS602へ処理を戻して処理を継続させる。業務を終了する場合(ステップS605:Yes)、取込部501は、第1撮像部164および第2撮像部168に撮像オフ信号を出力して第1撮像部164および第2撮像部168による撮像を終了し(ステップS606)、処理を終了する。
次に、POS端末11側の動作について説明する。図6に示すように、キーボード22の操作指示による商品登録の開始などに応じて処理が開始されると、CPU61は、商品読取装置101から出力された、第1撮像部164の撮像部IDが付加されたフレーム画像および第2撮像部168の撮像部IDが付加されたフレーム画像を受信する(ステップS607)。次いで、特定部507は、第1撮像部164の撮像部IDが付加されたフレーム画像および第2撮像部168の撮像部IDが付加されたフレーム画像のうち、商品Aの商品IDが読取可能なフレーム画像を特定する特定処理を行う(ステップS608)。そして、特定部507は、商品Aの商品IDが、第1撮像部164の撮像部IDが付加されたフレーム画像および第2撮像部168の撮像部IDが付加されたフレーム画像の両方から読取可能であるかを判断する(ステップS609)。
ここで、商品Aの商品IDが、第1撮像部164の撮像部IDが付加されたフレーム画像および第2撮像部168の撮像部IDが付加されたフレーム画像の両方から読取可能である場合(ステップS609:Yes)、特定部507は、商品Aを第1有効範囲A1または第2有効範囲A2が位置する方向に移動させることを促す所定のメッセージを表示デバイス106に表示する(ステップS610)。所定のメッセージを表示デバイス106に表示した後、CPU61は、ステップS607へ処理を戻して処理を継続させる。
具体的には、特定部507は、店舗が販売する商品Aの商品点数(つまり、商品マスタファイルF1に売上登録に関わる情報が記憶された商品Aの数)に従って、商品Aを第1有効範囲A1または第2有効範囲A2のいずれの方向に移動させるかを決定する。そして、特定部507は、決定した方向に商品Aを移動させることを促すメッセージを表示デバイス106に表示する。
例えば、店舗で販売する商品Aの商品点数が所定の点数よりも多い場合、特定部507は、図7に示すように、商品Aを第1有効範囲A1の方向に移動させることを促すメッセージ701を表示デバイス106に表示する。店舗で販売する商品Aの商品点数が多数ある場合には、CPU61にかかる負荷が小さい読取部504による読取処理を行うようにする方が好ましい。よって、店舗で販売する商品Aの商品点数が所定の点数よりも多い場合、特定部507は、商品Aを第1有効範囲A1に移動させることを促すメッセージを表示して、CPU61にかかる負荷が小さい読取部504による読取処理が行われるようにする。
一方、店舗で販売する商品Aの商品点数が所定の点数よりも少ない場合、特定部507は、図8に示すように、商品Aを第2有効範囲A2の方向に移動させることを促すメッセージ801を表示デバイス106に表示する。店舗で販売する商品Aの商品点数が少ない場合には、コードシンボルを撮像装置167に向けるなどの動作を必要としない認識部505による認識処理を行うようにする方が好ましい。よって、店舗で販売する商品Aの商品点数が所定の点数よりも少ない場合、特定部507は、商品Aを第2有効範囲A2に移動させることを促すメッセージを表示して、商品Aの売上登録の際にオペレータに要求される動作を少なくする。
図6に戻り、商品Aの商品IDが、第1撮像部164の撮像部IDが付加されたフレーム画像(第1領域)および第2撮像部168の撮像部IDが付加されたフレーム画像(第2領域)の両方からは読取可能でないことが特定された場合(ステップS609:No)、読取部504は、商品Aの商品IDが、第1撮像部164の撮像部IDが付加されたフレーム画像(第1領域)から読取可能であることが特定されたか否かを判断する(ステップS611)。そして、商品Aの商品IDが、第1撮像部164の撮像部IDが付加されたフレーム画像(第1領域)から読取可能であることが特定された場合(ステップS611:Yes)、読取部504は、第1撮像部164の撮像部IDが負荷されたフレーム画像に含まれるコードシンボルからの商品IDの読取処理を行う(ステップS612)。なお、本実施形態では、読取部504は、フレーム画像に含まれるコードシンボルから商品IDを読み取っているが、これに限定するものではなく、例えば、第1有効範囲A1にレーザーを照射して商品Aに付加されたバーコード等のコードシンボルから商品ID等の商品情報を読み取っても良い。また、読取部504は、商品Aに付加された値引シールから割引額や割引率等の値引情報を読み取っても良い。
商品Aの商品IDが、第1撮像部164の撮像部IDが付加されたフレーム画像(第1領域)から読み取れないことが特定された場合(ステップS611:No)、認識部505は、第2撮像部168の撮像部IDが負荷されたフレーム画像から商品Aを認識する認識処理を行う(ステップS613)。
読取部504により読取処理または認識部505による認識処理が行われると、登録部506は、読取部504により読み取られた商品IDが示す商品A、または認識部505により認識された商品A(または商品Aの認識結果の中から選択されて1つに特定された特定の物体である商品A)の売上登録を行う(ステップS614)。
次いで、CPU61は、キーボード22の操作指示による売上登録の終了などによる業務終了の有無を判定する(ステップS615)。業務を継続する場合(ステップS615:No)、CPU61は、ステップS607へ処理を戻して処理を継続させる。業務を終了する場合(ステップS615:Yes)、CPU61は処理を終了する。
このように本実施形態のチェックアウトシステム1によれば、商品を撮像したフレーム画像を取得する撮像装置167と、取得されたフレーム画像のうち、コードシンボルから商品IDを読み取るための第1領域および商品画像から商品IDを読み取るための第2領域のいずれの領域から商品情報を読取可能かを特定する特定部507と、第1領域から商品情報を読取可能であることを特定した場合、撮像装置167により取得されたフレーム画像内のコードシンボルから商品を示す商品IDを読み取る読取処理を行う読取部504と、第2領域から商品IDが読取可能であることを特定した場合、フレーム画像から商品を認識する認識処理を行う認識部505と、を備えることにより、キーボード等の入力手段を使った読取部504により読取処理または認識部505による認識処理への切り替えの煩わしさや当該切り替えによる商品Aの売上登録の遅延から開放されるので、商品Aを短時間で容易に売上登録することができる。
(第2の実施形態)
本実施形態は、第2撮像部が、カウンタ台(荷受面)側に向けた撮像領域を有するものである。なお、以下の説明では、第1の実施形態と同様の箇所については説明を省略し、第1の実施形態と異なる箇所についてのみ説明する。
図9は、第2の実施形態にかかる商品読取装置の概略的な縦断側面図である。本実施形態にかかる第2撮像部901は、図9に示すように、当該第2撮像部901が有する撮像ボード123が、その読取光軸C2が荷受面152に向けられている。つまり、第2撮像部901は、その撮像領域B2にカウンタ台151の荷受面152を含めている。これにより、第2撮像部901により取得されたフレーム画像の背景を固定することができるので、第2撮像部901により取得されたフレーム画像から商品Aの商品画像を検出する際の検出精度を向上させることができる。さらに、第1撮像部164により取得されたフレーム画像および第2撮像部901により取得されたフレーム画像のいずれに商品画像が含まれているかを判断する際の精度を向上させることができる。
ところで、第2撮像部901の撮像領域B2にカウンタ台151の荷受面152を含めた場合、第1撮像部164の撮像領域B1と第2撮像部901の撮像領域B2とが重なり合う部分が発生する。そのため、撮像領域B1と撮像領域B2とが重なり合っている領域に商品Aがかざされた場合、第1撮像部164により取得されたフレーム画像および第2撮像部901により取得されたフレーム画像の両方に商品画像が含まれることとなる。この場合、特定部507は、第1撮像部164の撮像部IDが付加されたフレーム画像および第2撮像部901の撮像部IDが付加されたフレーム画像のいずれに商品Aの商品画像が含まれているか以って、商品Aの商品IDが、第1撮像部164の撮像部IDが付加されたフレーム画像および第2撮像部901の撮像部IDが付加されたフレーム画像のいずれから読取可能かを特定することはできない。
そこで、本実施形態では、特定部507は、商品画像が第1撮像部164の撮像部IDが付加されたフレーム画像に含まれかつ第2撮像部901の撮像部IDが付加されたフレーム画像に含まれる場合には、商品Aの商品IDが、第1撮像部164の撮像部IDが付加されたフレーム画像から読取可能であることを特定する。一方、特定部507は、商品画像が第1撮像部164の撮像部IDが付加されたフレーム画像に含まれずかつ第2撮像部901の撮像部IDが付加されたフレーム画像に含まれる場合には、商品Aの商品IDが、第2撮像部901の撮像部IDが付加されたフレーム画像から読取可能であることを特定する。
このように本実施形態にかかるチェックアウトシステム1によれば、第2撮像部901がカウンタ台151の荷受面152側に向けた撮像領域B2を有することにより、第2撮像部901により取得されたフレーム画像の背景をある程度固定することができるので、第2撮像部901により取得されたフレーム画像から商品Aの商品画像を検出する際の検出精度を向上させることができる。さらに、第1撮像部164により取得されたフレーム画像および第2撮像部901により取得されたフレーム画像のいずれに商品画像が含まれているかを判断する際の精度を向上させることができる。
(第3の実施形態)
本実施形態は、1つの撮像部によって、コードシンボルから商品IDを読み取るための領域および商品画像から商品IDを読み取るための領域を含むフレーム画像を取得するものである。なお、以下の説明では、第1の実施形態と同様の箇所については説明を省略し、第1の実施形態と異なる箇所についてのみ説明する。
図10は、第3の実施形態にかかる商品読取装置の概略的な縦断側面図である。本実施形態にかかる撮像装置167は、第2撮像部168を有さず、第1撮像部1001のみを有する。第1撮像部1001は、第1有効範囲A1および第2有効範囲A2を撮像領域B3とするものである。本実施形態では、結像レンズ119の画角を調整することにより、第1撮像部1001の撮像領域B3を、第1有効範囲A1および第2有効範囲A2を含むものとする。
ところで、本実施形態では、第1撮像部1001により取得したフレーム画像に、コードシンボルから商品IDを読み取るための画像(第1領域)および商品画像から商品IDを読み取るための画像(第2領域)の両方が含まれることとなる。そのため、本実施形態においても、特定部507は、第2の実施形態と同様に、第1撮像部1001の撮像部IDが付加されたフレーム画像および第2撮像部168(901)の撮像部IDが付加されたフレーム画像のいずれに商品Aの商品画像が含まれているか以って、商品Aの商品IDが、第1撮像部164の撮像部IDが付加されたフレーム画像および第2撮像部168の撮像部IDが付加されたフレーム画像のいずれから読取可能かを特定することはできない。
そこで、本実施形態では、特定部507は、第1撮像部1001により取得されたフレーム画像において、予め設定された領域(例えば、フレーム画像の下半分の領域)を、コードシンボルから商品IDを読み取るための画像(第1領域)とし、当該予め設定された領域にのみ商品画像が含まれる場合には、商品Aの商品IDが領域1101(図11参照)から読取可能であることを特定する。また、特定部507は、第1撮像部1001により取得されたフレーム画像において、予め設定された領域(例えば、フレーム画像の上半分の領域)を、商品画像から商品IDを読み取るための画像(第2領域)とし、当該予め設定された領域にのみ商品画像が含まれる場合には、商品Aの商品IDが領域1102(図11参照)から読取可能であることを特定する。
図11は、商品画像が含まれる領域を特定する処理を説明するための図である。本実施形態では、特定部507は、第1撮像部1001により取得されたフレーム画像1100において、フレーム画像1100の下半分の領域1101を、コードシンボルから商品IDを読み取るための画像(第1領域)とし、フレーム画像1100の下半分の領域1101にのみ商品画像1104が含まれる場合には、商品Aの商品IDが領域1101から読取可能であることを特定する。一方、特定部507は、第1撮像部1001により取得されたフレーム画像1100において、フレーム画像1100の上半分の領域1102を、商品画像から商品IDを読み取るための画像(第2領域)とし、フレーム画像1100の上半分の領域1102にのみ商品画像1104が含まれる場合には、商品Aの商品IDが、領域1102に含まれる商品画像1104から読取可能であることを特定する。
なお、第1撮像部1001により取得されたフレーム画像1100において、フレーム画像1100の下半分の領域1101と、フレーム画像1100の上半分の領域1102との境界1103に商品画像1104が存在する場合、特定部507は、商品Aの商品IDが、領域1101および領域1102の両方から読取可能であることを特定するものとする。
このように本実施形態にかかるチェックアウトシステム1によれば、コードシンボルから商品IDを読み取るための領域および商品画像から商品IDを読み取るための領域を含むフレーム画像を取得することにより、商品読取装置101をより安価に提供することができる。
本実施形態のPOS端末11、商品読取装置101で実行されるプログラムは、ROM等に予め組み込まれて提供される。本実施形態のPOS端末11、商品読取装置101で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、本実施形態のPOS端末11、商品読取装置101で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のPOS端末11、商品読取装置101で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
本実施形態のPOS端末11で実行されるプログラムは、上述した各部(読取部504、認識部505、登録部506、特定部507、)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、読取部504、認識部505、登録部506、特定部507が主記憶装置上に生成されるようになっている。
本実施形態の商品読取装置101で実行されるプログラムは、上述した各部(取込部501、検出部502、出力部503)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、取込部501、検出部502、出力部503が主記憶装置上に生成されるようになっている。
なお、本実施形態においては、POS端末11側に読取部504、認識部505、登録部506、特定部507を備えるようにしたが、これに限るものではなく、商品読取装置101側に読取部504、認識部505、登録部506、特定部507を備えるようにして一体的に構成しても良い。
また、本実施形態においては、商品読取装置101側に取込部501、検出部502を備えるようにしたが、これに限るものではなく、POS端末11側に取込部501、検出部502を備えるようにして一体的に構成しても良い。この場合、POS端末11が読取装置である。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。