JP6481467B2 - 商品登録装置、精算システム、プログラム、及び制御方法 - Google Patents

Description

本発明は、商品登録装置、精算システム、プログラム、及び制御方法に関する。

スーパーマーケット等の店舗において、顧客が自分で操作するレジ端末が運用され始めている。顧客は、購入する商品に付されているバーコードなどをレジ端末に認識させることで、購入する商品の登録を行う。その後、顧客は、画面に表示される代金をレジ端末に投入することで、登録した商品を購入する。

商品の認識に関する技術を開示する文献として、特許文献１がある。特許文献１は、バーコードを認識する装置において、撮像素子の走査タイミングと同期してフラッシュ光を発光させることを開示している。

特開２０１１−５４０３８号公報

レジ端末の中には、商品を認識する装置を筐体に固定し、その装置の前で商品を通過させることによって商品を認識させるものがある。この場合、商品を認識する装置の撮像素子の露光時間が長いと、商品画像内で商品がぶれてしまう。その結果、商品の認識の精度が低くなってしまう。一方で、撮像素子の露光時間を短くすると、撮像素子に記録される画像が暗くなってしまう。よってこの場合も、商品の認識の精度が低くなってしまう。

ここで、商品を認識する装置の前で商品を一端静止させることで商品の認識の精度を高くする方法も考えられる。しかしこの方法では、商品を認識させる作業の効率が低くなってしまう。

また、レジ端末周辺の環境光を常に強くしておくことで、レジ端末周辺を常に明るくしておく方法が考えられる。しかしこの方法では、店舗における消費エネルギーが多くなってしまう。

本発明は、上記の課題に鑑みてなされたものである。本発明の目的は、商品の認識の精度を高くする技術を提供することである。

本発明の第１の商品登録装置は、商品を含む画像を生成し、その画像を用いて商品を認識する認識手段と、操作者の動作を撮像して画像を生成し、その画像を用いて、前記認識手段によって商品が認識されるエリアである認識エリアを含み当該認識エリアよりも広い検出対象エリアの中に商品が配置されたことを検出する検出手段と、前記検出手段による検出に応じ、前記認識エリアに光を照射する照射手段と、を有する。

本発明の第２の商品登録装置は、商品を含む画像を生成し、その画像を用いて商品を認識する認識手段と、商品を含む画像を生成し、その画像を用いて、前記認識手段によって商品が認識されるエリアである認識エリアを含む検出対象エリアの中に商品が配置されたことを検出する検出手段と、前記検出手段による検出に応じ、前記認識エリアに光を照射する照射手段と、を有する。前記検出手段は、前記検出手段によって生成された画像を用いて、商品の移動方向が前記認識エリアに向かう方向であることを検出する。前記照射手段は、商品の移動方向が前記認識エリアに向かう方向であることが検出された場合に光を照射する。

本発明の精算システムは、本発明の第１の商品登録装置又は第２の商品登録装置、及びその商品登録装置の前記認識手段によって認識された商品の精算処理を行う精算装置を有する。

本発明のプログラムは、コンピュータを、本発明の商品登録装置として動作させる。

本発明の第１の制御方法はコンピュータによって実行される。当該制御方法は、商品を含む画像を生成し、その画像を用いて商品を認識する認識ステップと、操作者の動作を撮像して画像を生成し、その画像を用いて、前記認識ステップによって商品が認識されるエリアである認識エリアを含み当該認識エリアよりも広い検出対象エリアの中に商品が配置されたことを検出する検出ステップと、前記検出ステップによる検出に応じ、前記認識エリアに光を照射する照射ステップと、を有する。

本発明の第２の制御方法はコンピュータによって実行される。当該制御方法は、商品を含む画像を生成し、その画像を用いて商品を認識する認識ステップと、商品を含む画像を生成し、その画像を用いて、前記認識ステップによって商品が認識されるエリアである認識エリアを含む検出対象エリアの中に商品が配置されたことを検出する検出ステップと、前記検出ステップによる検出に応じ、前記認識エリアに光を照射する照射ステップと、を有する。前記検出ステップは、前記検出ステップにおいて生成された画像を用いて、商品の移動方向が前記認識エリアに向かう方向であることを検出する。前記照射ステップは、商品の移動方向が前記認識エリアに向かう方向であることが検出された場合に光を照射する。

本発明によれば、商品の認識の精度を高くする技術が提供される。

実施形態１に係る商品登録装置を例示するブロック図である。 商品登録装置を具体的に例示する図である。 商品登録装置を正面から見た図である。 実施形態１の商品登録装置によって実行される処理の流れを例示するフローチャートである。 商品登録装置の実装に用いられる計算機のハードウエア構成を例示するブロック図である。 実施形態２に係る精算システムを例示するブロック図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

［実施形態１］
図１は、実施形態１に係る商品登録装置２０００を例示するブロック図である。図１において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

商品登録装置２０００は、認識部２０２０、検出部２０４０、及び照射部２０６０を有する。認識部２０２０は商品を含む画像を生成する。以下、この画像を商品画像を表記する。認識部２０２０は、商品画像を用いて商品を認識する。

検出部２０４０は、商品登録装置２０００の操作者が認識部２０２０に商品を読み取らせようとする動作を撮像して画像を生成する。以下、この画像を操作者画像と表記する。商品登録装置２０００の操作者は、店員であってもよいし、顧客であってもよい。検出部２０４０は、操作者画像を用いて、検出対象エリアに商品が配置されたことを検出する。検出対象エリアは、認識部２０２０によって商品が認識される空間（認識エリア）を含む空間である。

照射部２０６０は、検出部２０４０による検出に応じ、認識エリアに光を照射する。

図２は、商品登録装置２０００を具体的に例示する図である。カメラ１０は検出部２０４０の一形態であるカメラである。フラッシュ３０は、照射部２０６０の一形態であるフラッシュである。筐体２０は、リーダ４０の筐体である。リーダ４０は、認識部２０２０の一形態である二次元コードリーダである。リーダ４０は、商品５０に付されている二次元コードを撮像して解析することで、商品５０を認識する。リーダ４０によって認識された商品５０は、精算対象の商品として登録される。台６０は、商品や商品かごを置くための台である。なお、カメラ１０は筐体２０の中に収められていてもよい。また、カメラ１０とフラッシュ３０は別の筐体に収められてもよい。

図３は、商品登録装置２０００を正面から見た図である。検出対象エリア７０は前述の検出対象エリアを表す。認識エリア８０は前述の認識エリアを表す。前述した通り、検出対象エリア７０は認識エリア８０を含む。例えば検出対象エリア７０は、図３のように、正面から見た場合に筐体２０を全て含む。

照射エリア９０は、照射部２０６０によって光が照射される範囲である。図３において、照射エリア９０は認識エリア８０の全てを含んでいる。ただし、照射エリア９０は認識エリア８０の一部を含めばよく、認識エリア８０の全てを含む必要はない。

なお、後述するように、認識部２０２０が商品を認識する方法は、商品に付された二次元コードを読み取る方法に限定されない。

＜作用・効果＞
本実施形態の商品登録装置２０００は、認識エリアの周囲（検出対象エリア）に商品が配置されたことに応じて、認識エリアに光を照射する。これにより、商品の周囲が明るくなるため、認識部２０２０を構成するカメラ等の露光時間を短くすることで商品画像に写る商品がぶれないようにしつつ、商品を行うために必要な明るさを持つ商品画像を生成することができる。そのため、認識部２０２０が行う商品の認識の精度が高くなる。また、商品を移動させながら認識部２０２０に商品を認識させることができるため、認識部２０２０に商品を認識させる作業の効率が高くなる。

さらに、商品が認識されようとしていることを検出したことに応じて光が照射されるため、本実施形態の商品登録装置２０００は、認識部２０２０の周囲の環境光を常に強くしておく場合と比較して消費エネルギーが少ない。

以下、本実施形態の商品登録装置２０００について、さらに詳細に説明する。

＜処理の流れ＞
図４は、実施形態１の商品登録装置２０００によって実行される処理の流れを例示するフローチャートである。検出部２０４０は操作者画像を生成する（Ｓ１０２）。検出部２０４０は、操作者画像を用いて、検出対象エリア内に商品が配置されたか否かを判定する（Ｓ１０４）。検出対象エリア内に商品が配置された場合（Ｓ１０４：ＹＥＳ）、図４の処理はＳ１０６に進む。一方、検出対象エリア内に商品が配置されていない場合（Ｓ１０４：ＮＯ）、図４の処理はＳ１０２に進む。

Ｓ１０６において、照射部２０６０は認識エリアに光を照射する。認識部２０２０は商品の認識を行う（Ｓ１０８）。

＜ハードウエア構成例＞
商品登録装置２０００は、ハードウエア（例：ハードワイヤードされた電子回路など）のみで実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。

商品登録装置２０００は、例えばレジ端末などの専用端末を用いて実装される。ただし商品登録装置２０００は、このような専用端末ではなく、PC（Personal Computer）やサーバマシンなどの種々の汎用計算機を用いて実装されてもよい。

図５は、商品登録装置２０００の実装に用いられる計算機１０００のハードウエア構成を例示するブロック図である。計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、及び入出力インタフェース１１００を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、及び入出力インタフェース１１００が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、例えば CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ１０６０は、例えば RAM (Random Access Memory) や ROM (Read Only Memory) などのメモリである。ストレージ１０８０は、例えばハードディスク、SSD (Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ１０８０は、RAM や ROM 等のメモリであってもよい。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。計算機１０００は、入出力インタフェース１１００を介して、キーボード、マウス、又はディスプレイなどの入出力デバイスと接続される。また、計算機１０００は、入出力インタフェース１１００を介して、後述する認識部２０２０、検出部２０４０、及び照射部２０６０を実現する各ハードウエアと接続される。ただし、認識部２０２０、検出部２０４０、及び照射部２０６０を実現する各ハードウエアは、計算機１０００の内部に組み込まれていてもよい。

ストレージ１０８０は、商品登録装置２０００の機能を実現するためのプログラムを記憶している。具体的には、ストレージ１０８０は、認識部２０２０、検出部２０４０、及び照射部２０６０を実現するためのプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールを実行することで、各機能構成部の機能を実現する。ここでプロセッサ１０４０は、上記各モジュールを実行する際、これらのモジュールをメモリ１０６０上に読み出してから実行してもよいし、メモリ１０６０上に読み出さずに実行してもよい。

計算機１０００のハードウエア構成は図５に示した構成に限定されない。例えば、各プログラムモジュールはメモリ１０６０に格納されてもよい。この場合、計算機１０００は、ストレージ１０８０を備えていなくてもよい。

＜＜認識部２０２０のハードウエア構成＞＞
認識部２０２０は商品画像を生成するための撮像素子を有する。例えば認識部２０２０は、カメラを有するリーダ４０を用いて実装される。

＜＜検出部２０４０のハードウエア構成＞＞
検出部２０４０は操作者画像を生成するための撮像素子を有する。例えば検出部２０４０は、撮像素子を有するカメラ１０を用いて実装される。なお前述したように、カメラ１０とリーダ４０は同じ筐体に収められてもよいし、別の筐体に収められてもよい。また、認識部２０２０及び検出部２０４０は、１つのカメラを用いて実現されてもよい。この場合、商品画像の生成及び操作者画像の生成が、同一のカメラを用いて行われる。

ここで、検出部２０４０の撮像素子の解像度は、認識部２０２０の撮像素子の解像度よりも低くてよい。これは、商品又は商品情報シンボルを認識するための画像解析に必要となる商品画像の解像度に比べ、検出対象エリア内に商品が配置されたか否かの検出に必要となる操作者画像の解像度の方が小さいためである。このように検出部２０４０の撮像素子の解像度を低くすることで、商品登録装置２０００の製造コストを安くすることができる。ただし、検出部２０４０の撮像素子の解像度は、認識部２０２０の撮像素子の解像度以上であってもよい。

＜＜照射部２０６０のハードウエア構成＞＞
照射部２０６０は光を照射する機能を有するハードウエアを用いて実装される。例えばこのハードウエアはフラッシュである。

＜検出部２０４０が行う処理の詳細＞
＜＜操作者画像を生成する処理について＞＞
検出部２０４０は操作者の動作を撮像して操作者画像を生成する（Ｓ１０２）。ここで、検出部２０４０は、静止画像を撮像してもよいし、動画を撮像してもよい。後者の場合、操作者画像は動画を構成する各フレームである。

検出部２０４０が撮像を行うタイミングは様々である。例えば検出部２０４０は、繰り返し撮像を行ってもよい。検出部２０４０が繰り返し撮像を行う頻度は、例えば一般的な動画のフレームレートと同じ 1/30 秒である。

また例えば検出部２０４０は、操作者が商品登録装置２０００に商品を認識させるタイミング及びその前後のみ撮像を行ってもよい。例えば商品登録装置２０００の付近に人の検出を行う赤外線センサなどを設ける。商品登録装置２０００は、この赤外線センサからの通知を受けることで、商品登録装置２０００の付近に操作者がいることを把握することができる。そこで例えば、検出部２０４０は、この赤外線センサによって商品登録装置２０００の付近に操作者がいることが検出された時から、この赤外線センサによって操作者が検出されなくなるまでの間、撮像を行う。

＜＜検出処理について＞＞
検出部２０４０は、操作者画像を解析することで、商品が検出対象エリア内に配置されたことを検出する処理（以下、検出処理）を行う（Ｓ１０４）。例えば検出部２０４０は、操作者画像に写っている商品を検出することで、商品が検出対象エリアに配置されたことを検出する。この場合、操作者画像には商品の少なくとも一部が写っていればよく、商品の全体が写っている必要や、操作者が写っている必要はない。

また例えば、検出部２０４０は、操作者画像に写っている操作者の体（手や腕など）を検出することで、商品が検出対象エリアに配置されたことを検出する。この場合、操作者画像には操作者の体の少なくとも一部が写っていればよく、操作者の体全体が写っている必要や、商品が写っている必要はない。この検出方法は、例えば認識部２０２０に認識させる商品が画像に写りにくい小さな商品である場合に好適である。

検出対象エリアの具体的な範囲は様々である。例えば検出対象エリアは、検出部２０４０の撮像範囲である。この場合、検出対象エリアは、操作者画像に写っている範囲全部となる。そこで検出部２０４０は、例えば操作者画像に商品が写っている場合、商品が検出対象エリア内に配置されたと判断する。また例えば、検出部２０４０は、操作者画像に操作者の手などが写っている場合、商品が検出対象エリア内に配置されたと判断する。なお、画像内に商品や操作者の手などが写っているか否かの判断には、画像から所定のオブジェクトを検出する様々な既知の技術を利用できる。これら既知の技術に関する説明は省略する。

検出対象エリアは、検出部２０４０の撮像範囲の一部であってもよい。例えば、検出部２０４０が撮像のために有するレンズが、広角レンズのように、中心から離れるほど画像に映る景色がゆがむレンズであるとする。この場合、中心から大きく離れた範囲に写っている物は大きくゆがむため、その物が商品や操作者の手などであるか否かを判別することが難しい。このような場合などにおいて、検出部２０４０は、検出対象エリアを、検出部２０４０の撮像範囲の一部とする。例えば検出対象エリアは、操作者画像の中心から所定範囲である。検出部２０４０は、操作者画像の内、この所定範囲内の部分について解析を行うことで、その所定範囲内に商品や操作者の手などが配置されていることを検出する。

「検出対象エリアをどのような範囲にするか」に関する設定は、予め検出部２０４０に設定されていてもよいし、商品登録装置２０００の内部又は外部に設けられている記憶部に記憶されていてもよい。後者の場合、検出部２０４０は、この記憶部から上記設定を読み出す。

検出部２０４０が繰り返し撮像を行う場合、複数の操作者画像に同じ商品が複数回写ったり、商品を認識部２０２０に認識させようとする操作者の手などが複数回写ったりする場合がある。このよう場合、検出部２０４０は、複数の操作者画像に写っている商品や操作者の手などが、操作者の一連の動作によって配置されたものであることを把握できる必要がある。さもないと、例えば操作者が認識部２０２０にある商品を認識させる様子が複数回撮像された場合に、検出部２０４０は、「検出対象エリアに商品が配置された」という検出を複数回行ってしまう。

そこで検出部２０４０は、ある商品が操作者の一連の動作に基づいて複数の操作者画像に写っている場合、これら複数の操作者画像を一群の操作者画像として扱う。同様に、検出部２０４０は、操作者の手などが操作者の一連の動作に基づいて複数の操作者画像に写っている場合も、これら複数の操作者画像を一群の操作者画像として扱う。そして、検出部２０４０は、これら一群の操作者画像について、「検出対象エリアに商品が配置された」という検出を１回だけ行う。

操作者の一連の動作は、「商品を認識部２０２０に近づけ、認識部２０２０に認識させ、その商品を認識部２０２０から遠ざける」という一連の動作である。例えばこの動作は、商品が認識部２０２０の前を横切るように商品を移動させる動作などである。なお、この操作者の一連の動作は、操作者の進行方向に商品を横切らせる動作であってもよいし、その逆の方向に商品を横切らせる動作であってもよい。

前述した「一群の操作者画像」について説明する。操作者が商品を認識部２０２０に認識させる際、「ある商品が検出対象エリアに入る」及び「その商品が検出対象エリアから出る」という２つの変化が起こる。そこで、検出部２０４０は、時系列で撮像された複数の操作者画像のうち、ある商品が初めて検出対象エリア内に写っている操作者画像を、一群の操作者画像に含まれる第１操作者画像とする。また、検出部２０４０は、第１操作者画像以降に撮像された操作者画像であり、その商品が最後に検出対象エリアに写っている操作者画像（その商品が初めて検出対象エリア内に写らなくなった操作者画像の１つ前の操作者画像）を、一群の操作者画像に含まれる第２操作者画像とする。そして、検出部２０４０は、第１操作者画像、第２操作者画像、及びこれらの撮像時点の間の時点に撮像された各操作者画像の集合を、一群の操作者画像とする。

同様に、操作者が商品を認識部２０２０に認識させる際、「操作者の手などが検出対象エリアに入る」及び「その操作者の手などが検出対象エリアから出る」という２つの変化が起こる。そこで、検出部２０４０は、時系列で撮像された複数の操作者画像のうち、操作者の手などが初めて検出対象エリア内に写っている操作者画像を、一群の操作者画像に含まれる第１操作者画像とする。また、検出部２０４０は、第１操作者画像以降に撮像された操作者画像であり、その操作者の手などが最後に検出対象エリアに写っている操作者画像（その操作者の手などが検出対象エリア内に写らなくなった操作者画像の１つ前の操作者画像）を、一群の操作者画像に含まれる第２操作者画像とする。そして、検出部２０４０は、第１操作者画像、第２操作者画像、及びこれらの撮像時点の間の時点に撮像された各操作者画像の集合を、一群の操作者画像とする。

ここで、検出対象エリア内に商品や操作者の手などが配置された場合であっても、操作者が商品を認識部２０２０に認識させようとしていないことがある。このような場合として、例えば検出対象エリア内で操作者が商品をかごや袋に入れる作業をしている場合が考えられる。

そこで検出部２０４０は、検出対象エリア内における商品や操作者の手などの移動方向をさらに算出してもよい。検出部２０４０によって商品や操作者の手などの移動方向が検出される場合、照射部２０６０は、検出対象エリア内における商品や操作者の手などの移動方向が認識エリアに向かう方向であるときに光を照射する。こうすることで、検出対象エリア内に商品や操作者の手などが配置され、かつ操作者が商品を認識部２０２０に認識させようとしている場合に、照射部２０６０によって光が照射される。そのため、照射部２０６０が不要なタイミングで光を照射してしまうことを防止することが出来る。

さらに検出部２０４０は、商品又は商品情報シンボルが認識エリアに配置されたことを検出してもよい。この場合、照射部２０６０は、この検出に応じて光を照射する。こうすることで、認識部２０２０によって商品又は商品情報シンボルの認識が行われるタイミングで光の照射が行われる。よって、この検出を行わない場合と比較し、照射部２０６０が光を照射するタイミングがより適切なタイミングとなる。その結果、商品画像がより鮮明となり、認識部２０２０が行う商品の認識の精度が高くなる。

検出部２０４０が検出処理を行うタイミングは様々である。例えば検出部２０４０は、操作者画像が生成される度に、その操作者画像を用いて検出処理を行う。この場合、検出部２０４０によって生成される全ての操作者画像が、検出処理に用いられる。

また例えば、検出部２０４０は、前述した赤外線センサ等によって、操作者が商品登録装置２０００の付近にいることが検出されてから、操作者がその赤外線センサ等によって検出されなくなるまでの間のみ、検出処理を行ってもよい。この場合、検出部２０４０によって生成される操作者画像のうち、操作者が商品登録装置２０００の付近にいることが検出されてから、操作者がその赤外線センサ等によって検出されなくなるまでの間に生成された操作者画像のみが、検出処理に用いられる。

前述したように、検出対象エリアは、認識エリア（認識部２０２０が商品を認識するエリア）を含む領域である必要がある。商品登録装置２０００の管理者等は、この要件が満たされるように、予め認識部２０２０及び検出部２０４０の設定を行ったり、これらを構成するハードウエアを適宜選択する。

例えば、管理者等は、認識部２０２０と検出部２０４０を構成するハードウエアの設置を適切に設定する。具体的には、管理者等は、認識部２０２０を構成するリーダの向き、検出部２０４０を構成するカメラの向き、又はこれら双方を適切に設定することで、認識エリアが検出対象エリアに含まれるようにする。

また例えば管理者等は、認識部２０２０を構成するリーダ等が商品を認識する範囲が、検出部２０４０を構成するカメラなどの画角より狭くなるように、認識部２０２０と検出部２０４０を構成するハードウエアを適宜選択する。

また例えば、管理者等は、認識部２０２０に設定する認識エリア、検出部２０４０に設定する検出対象エリア、又はこれら双方を適切に設定することで、認識エリアが検出対象エリアに含まれるようにする。

＜照射部２０６０が行う処理の詳細＞
照射部２０６０は、検出部２０４０による検出に応じて、認識エリアに光を照射する（Ｓ１０６）。照射部２０６０が光を照射する具体的なタイミングは様々である。例えば照射部２０６０は、商品や操作者の手などが検出対象エリア内に配置されたことが検出されたことを把握した時点で光を照射する。また例えば、照射部２０６０は、商品や操作者の手などが検出対象エリア内に配置されたことが検出された時点から所定時間後に光を照射する。この所定時間は、例えば認識エリアの大きさ及び検出対象エリアの大きさに基づいて予め設定される。商品や操作者の手などが検出対象エリアに入ってから認識エリアに入るまでの時間は、認識エリアの大きさ及び検出対象エリアの大きさに依存するためである。

前述したように、検出部２０４０が上述した商品や操作者の手などの移動方向の検出を行う場合、照射部２０６０は、商品や操作者の手などの移動方向が認識エリアに向かう方向である場合のみ光を照射してもよい。

検出部２０４０による検出が行われたことを照射部２０６０が把握する方法は様々である。例えば検出部２０４０は、上述した各検出を行った際、照射部２０６０に対してシグナルを送信する。照射部２０６０は、このシグナルを受け取ることで、検出部２０４０による検出が行われたことを把握する。また例えば、照射部２０６０は、検出部２０４０に対してポーリングを行うことで、検出部２０４０による各検出が行われたか否かを把握してもよい。

前述した通り、検出部２０４０は、商品や操作者の手などが操作者の一連の動作に基づいて複数の操作者画像に写っている場合、これら複数の操作者画像（一群の操作者画像）について、「検出対象エリアに商品が配置された」という検出を１回だけ行う。そのため、同じ商品が検出対象エリアに配置され続ける場合や操作者の手などが検出対象エリアに配置され続ける場合であっても、照射部２０６０は、最初にその商品や操作者の手などについて検出が行われた時のみ光を照射する。こうすることで、商品や操作者の手などが検出対象エリアに配置され続ける場合に、照射部２０６０が繰り返し光を照射してしまうことを防ぐことができる。

ただし、照射部２０６０は、上述のように商品や操作者の手などが検出対象エリアに配置され続ける場合に、再度光の照射を行ってもよい、具体的には、まず照射部２０６０は、一群の操作者画像について「検出対象エリアに商品が配置された」という検出が行われた後に光を照射する。その後、その商品や操作者の手などが検出対象エリアに配置され続けた場合、照射部２０６０は、前回光を照射した時点から所定時間経過後に、再度光を照射する。この所定時間は、予め照射部２０６０に設定される。例えばこの所定時間は、0.5 秒以上 2 秒以下の値である。

＜＜照射部２０６０が行うその他の処理について＞＞
光を照射する装置の中には、光を照射する前に、光の照射に用いる電荷の蓄積（充電）を行う必要がある装置がある。例えばこのような装置に、充電式のフラッシュがある。このような装置を用いて照射部２０６０を構成する場合、商品が認識エリアに入ってから充電を開始すると、照射部２０６０が光を照射するタイミングが、商品が認識エリアを通過するタイミングよりも遅くなってしまう可能性がある。

そこで照射部２０６０は、検出対象エリアの中であって認識エリアの外である位置に商品や操作者の手などが配置された場合に上記充電を開始する。この場合、検出部２０４０は、検出対象エリアの中であって認識エリアの外である位置に商品や操作者の手などが配置されたことを検出する。こうすることで、照射部２０６０は、商品が認識エリアに入る前に充電を開始できる。よって、商品が認識エリアを通過するタイミングで照射部２０６０が光を照射できるようになる。

＜認識部２０２０が行う処理の詳細＞
認識部２０２０は商品を認識する（Ｓ１０８）。認識部２０２０が商品を認識する具体的な方法は様々である。例えば認識部２０２０は、商品に付された商品情報シンボルを読み取ることで、その商品を認識する。商品情報シンボルは、商品を特定するシンボルである。ここで、シンボルとは、バーコード、２次元コード（ＱＲコード（登録商標）など）、又は文字列シンボルなどである。なお、ここでいう文字列には、数値列も含まれる。そして、商品情報シンボルは、商品を特定する情報（商品のＩＤなど）が符号化されたバーコード等、又は商品情報を特定する情報を表す文字列シンボルなどである。

認識部２０２０は、商品情報シンボルが写った商品画像を解析することで商品を認識する。例えば、認識部２０２０は、商品画像に写った商品のバーコード、二次元コード、又は文字列シンボルを解析することで、商品のＩＤなどを割り出す。

また認識部２０２０は、商品画像に写っている商品自体を直接認識してもよい。例えば認識部２０２０は、バーコードなどが付されていない野菜などの食品について、商品自体の認識を行う。認識部２０２０は、商品画像に対してオブジェクト認識を行うことで、商品画像に写っている商品自体の認識を行う。

認識部２０２０が撮像を行うタイミングは、検出部２０４０が撮像を行うタイミングと同様である。

認識部２０２０が繰り返し撮像を行う場合、同一の商品が複数の商品画像に繰り返し写りうる。この場合、認識部２０２０は、これら複数の商品画像に写っている同一の商品を、一つの商品として扱う。例えば認識部２０２０は、検出部２０４０が複数の操作者画像を一群の操作者画像として扱う方法と同様の方法で、複数の商品画像を一群の商品画像として扱う。そして、認識部２０２０は、一群の商品画像において認識される商品を一つの商品として扱う。こうすることで、同一の商品が誤って複数回精算対象として登録されてしまうことを防ぐ。

認識エリアは、認識部２０２０の撮像範囲の全部であってもよいし、一部であってもよい。その理由は、検出対象エリアが検出部２０４０の撮像範囲の一部であってもよい理由と同様である。認識エリアが認識部２０２０の撮像範囲の一部である場合、例えば認識エリアは、商品画像の中心から所定範囲である。認識部２０２０は、商品画像の内、この所定範囲内の部分について解析を行うことで、その所定範囲内にある商品を認識する。

「認識対象エリアをどのような範囲にするか」に関する設定は、予め認識部２０２０に設定されていてもよいし、商品登録装置２０００の内部又は外部に設けられている記憶部に記憶されていてもよい。後者の場合、認識部２０２０は、この記憶部から上記設定を読み出す。

＜＜商品の認識に用いる商品画像について＞＞
認識部２０２０は、照射部２０６０によって光が照射されたタイミングで生成された商品画像を利用することが好ましい。その具体的な方法は様々である。例えば認識部２０２０は、生成した商品画像のうち、照射部２０６０によって光が照射されたタイミングで生成された商品画像を用いる。認識部２０２０が動画を生成する場合、例えば認識部２０２０は、生成された動画を構成するフレームのうち、照射部２０６０によって光が照射されたタイミングで生成されたフレームを用いて商品の認識を行う。

ここで、照射部２０６０によって光が照射されたタイミングを認識部２０２０が把握する方法は様々である。例えば照射部２０６０は、光を照射するタイミングで認識部２０２０に対してシグナルを送信する。認識部２０２０はこのシグナルを受信した時点を、照射部２０６０によって光が照射された時点とする。また例えば、照射部２０６０は、光を照射したタイミングを記憶部に記憶してもよい。この場合、認識部２０２０は、この記憶部にアクセスすることで、照射部２０６０によって光が照射されたタイミングを把握する。

また例えば認識部２０２０は、生成された商品画像のうち、明るさが所定の基準値以上である商品画像を用いて商品の認識を行ってもよい。この所定の基準値は、予め認識部２０２０に設定されていてもよいし、商品登録装置２０００の内部又は外部の記憶部に記憶されていてもよい。後者の場合、認識部２０２０は、この記憶部から上記所定の基準値を取得する。

なお、認識部２０２０は、照射部２０６０によって光が照射されたタイミングに応じて商品を撮像して商品画像を生成するようにしてもよい。

［実施形態２］
図６は、実施形態２に係る精算システム４０００を例示するブロック図である。図６において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

精算システム４０００は、実施形態１の商品登録装置２０００、及び精算装置３０００を有する。精算装置３０００は、認識部２０２０によって認識された商品の精算を行う装置である。

商品登録装置２０００は、認識部２０２０によって認識された商品を精算対象として登録し、登録された商品の精算に用いる精算情報を生成する。ここで、１つの精算処理における精算対象には、複数の商品が含まれうる。例えば商品登録装置２０００は、精算対象の登録処理の開始を指示する操作を受け付けた後、精算対象の登録処理の終了を指示する操作を受け付けるまでの間に認識部２０２０によって認識された１つ又は複数の商品を、１つの精算処理における精算対象として登録する。ある精算処理に関する精算情報は、その精算処理の対象として登録された各商品のＩＤなどを示す。また精算情報は、取引番号、各商品の金額、及び合計金額などをさらに示してもよい。

精算装置３０００は、精算対象として登録された商品の精算に用いられる。具体的には、精算装置３０００は、合計金額の提示する処理、代金の投入を受け付ける処理、投入された代金を数え上げる処理、おつりを返却する処理、及びレシートを発行する処理などを行う。

精算装置３０００は、商品登録装置２０００と一体に設けられてもよいし、別体に設けられてもよい。精算装置３０００が商品登録装置２０００と一体に設けられる場合、計算機１０００は、精算装置３０００として動作する機能も有する。精算装置３０００が商品登録装置２０００と別体に設けられる場合、精算装置３０００は、レジ端末などの専用端末で実装されてもよいし、汎用計算機で実装されてもよい。精算装置３０００を実現する計算機のハードウエア構成は、例えば図５の計算機１０００のハードウエア構成と同様である。なお、精算装置３０００を実現する計算機の入出力インタフェースには、代金を投入するためのデバイス、おつりを返金するためのデバイス、及びレシートを発行するためのデバイスなどが接続される。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

以下、参考形態の例を付記する。
１． 商品を含む画像を生成し、その画像を用いて商品を認識する認識手段と、
操作者の動作を撮像して画像を生成し、その画像を用いて、前記認識手段によって商品が認識されるエリアである認識エリアを含む検出対象エリアの中に商品が配置されたことを検出する検出手段と、
前記検出手段による検出に応じ、前記認識エリアに光を照射する照射手段と、
を有する商品登録装置。
２． 前記検出手段は、前記画像に写っている商品の移動方向が前記認識エリアに向かう方向であることを検出し、
前記照射手段は、前記画像に写っている商品の移動方向が前記認識エリアに向かう方向であることが検出された場合に光を照射する、１．に記載の商品登録装置。
３． 商品を含む画像を生成し、その画像を用いて商品を認識する認識手段と、
商品を含む画像を生成し、その画像を用いて、前記認識手段によって商品が認識されるエリアである認識エリアを含む検出対象エリアの中に商品が配置されたことを検出する検出手段と、
前記検出手段による検出に応じ、前記認識エリアに光を照射する照射手段と、を有し、
前記検出手段は、前記検出手段によって生成された画像を用いて、商品の移動方向が前記認識エリアに向かう方向であることを検出し、
前記照射手段は、商品の移動方向が前記認識エリアに向かう方向であることが検出された場合に光を照射する商品登録装置。
４． 前記検出手段は、前記検出対象エリアの中であって前記認識エリアの外である位置に商品が配置されたことを検出し、
前記照射手段は、前記検出対象エリアの中であって前記認識エリアの外である位置に商品が配置されたことに応じて、光の照射に用いる電荷の蓄積を開始する、１．乃至３．いずれか一つに記載の商品登録装置。
５． 前記検出手段は、
繰り返し撮像を行って複数の画層を生成し、
生成された複数の画像を用いて、商品に付されていてその商品に関する情報を特定する商品情報シンボルが前記認識エリアの中に配置されたことを検出し、
前記照射手段は、前記認識エリアの中に前記商品情報シンボルが配置されたことに応じて光を照射する、１．乃至４．いずれか一つに記載の商品登録装置。
６． 前記照射手段は、前記検出対象エリアの中に商品が配置されたことに応じて光を照射した後、前記検出対象エリアの中にその商品が配置され続ける場合には光を照射しない、１．乃至５．いずれか一つに記載の商品登録装置。
７． 前記照射手段は、前記検出対象エリアの中に商品が配置されたことに応じて光を照射した後、前記検出対象エリアの中にその商品が所定時間以上配置され続けた場合には、再度光を照射する、６．に記載の商品登録装置。
８． 前記所定時間は、0.5 秒以上 2 秒以下である、７．に記載の商品登録装置。
９． 前記認識手段は、商品が写った動画を生成し、その動画を構成するフレームのうち、前記照射手段が光を照射したタイミングに応じたフレームを用いて商品を認識する、１．乃至８．いずれか一つに記載の商品登録装置。
１０． 前記検出手段の撮像素子の解像度は前記認識手段の撮像素子の解像度よりも低い１．乃至９．いずれか一つに記載の商品登録装置。
１１． １．乃至１０．いずれか一つに記載の商品登録装置と、その商品登録装置の前記認識手段によって認識された商品の精算処理を行う精算装置と、を有する精算システム。
１２． コンピュータを１．乃至１０．いずれか一つに記載の商品登録装置として動作させるプログラム。
１３． コンピュータによって実行される制御方法であって、
商品を含む画像を生成し、その画像を用いて商品を認識する認識ステップと、
操作者の動作を撮像して画像を生成し、その画像を用いて、前記認識ステップによって商品が認識されるエリアである認識エリアを含む検出対象エリアの中に商品が配置されたことを検出する検出ステップと、
前記検出ステップによる検出に応じ、前記認識エリアに光を照射する照射ステップと、
を有する制御方法。
１４． 前記検出ステップは、前記画像に写っている商品の移動方向が前記認識エリアに向かう方向であることを検出し、
前記照射ステップは、前記画像に写っている商品の移動方向が前記認識エリアに向かう方向であることが検出された場合に光を照射する、１３．に記載の制御方法。
１５． コンピュータによって実行させる制御方法であって、
商品を含む画像を生成し、その画像を用いて商品を認識する認識ステップと、
商品を含む画像を生成し、その画像を用いて、前記認識ステップによって商品が認識されるエリアである認識エリアを含む検出対象エリアの中に商品が配置されたことを検出する検出ステップと、
前記検出ステップによる検出に応じ、前記認識エリアに光を照射する照射ステップと、
を有し、
前記検出ステップは、前記検出ステップにおいて生成された画像を用いて、商品の移動方向が前記認識エリアに向かう方向であることを検出し、
前記照射ステップは、商品の移動方向が前記認識エリアに向かう方向であることが検出された場合に光を照射する制御方法。
１６． 前記検出ステップは、前記検出対象エリアの中であって前記認識エリアの外である位置に商品が配置されたことを検出し、
前記照射ステップは、前記検出対象エリアの中であって前記認識エリアの外である位置に商品が配置されたことに応じて、光の照射に用いる電荷の蓄積を開始する、１３．乃至１５．いずれか一つに記載の制御方法。
１７． 前記検出ステップは、
繰り返し撮像を行って複数の画像を生成し、
生成された複数の画像を用いて、商品に付されていてその商品に関する情報を特定する商品情報シンボルが前記認識エリアの中に配置されたことを検出し、
前記照射ステップは、前記認識エリアの中に前記商品情報シンボルが配置されたことに応じて光を照射する、１３．乃至１６．いずれか一つに記載の制御方法。
１８． 前記照射ステップは、前記検出対象エリアの中に商品が配置されたことに応じて光を照射した後、前記検出対象エリアの中にその商品が配置され続ける場合には光を照射しない、１３．乃至１７．いずれか一つに記載の制御方法。
１９． 前記照射ステップは、前記検出対象エリアの中に商品が配置されたことに応じて光を照射した後、前記検出対象エリアの中にその商品が所定時間以上配置され続けた場合には、再度光を照射する、１８．に記載の制御方法。
２０． 前記所定時間は、0.5 秒以上 2 秒以下である、１９．に記載の制御方法。
２１． 前記認識ステップは、商品が写った動画を生成し、その動画を構成するフレームのうち、前記照射ステップが光を照射したタイミングに応じたフレームを用いて商品を認識する、１３．乃至２０．いずれか一つに記載の制御方法。
２２． 前記検出ステップで用いられる撮像素子の解像度は前記認識ステップで用いられる撮像素子の解像度よりも低い１３．乃至２１．いずれか一つに記載の制御方法。

１０ カメラ
２０ 筐体
３０ フラッシュ
４０ リーダ
５０ 商品
６０ 台
７０ 検出対象エリア
８０ 認識エリア
９０ 照射エリア
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージ
１１００ 入出力インタフェース
２０００ 商品登録装置
２０２０ 認識部
２０４０ 検出部
２０６０ 照射部
３０００ 精算装置
４０００ 精算システム

Claims (15)

1. 商品を含む画像を生成し、その画像を用いて商品を認識する認識手段と、
   操作者の動作を撮像して画像を生成し、その画像を用いて、前記認識手段によって商品が認識されるエリアである認識エリアを含み当該認識エリアよりも広い検出対象エリアの中に商品が配置されたことを検出する検出手段と、
   前記検出手段による検出に応じ、前記認識エリアに光を照射する照射手段と、
   を有する商品登録装置。
2. 前記検出対象エリアは、前記認識エリアの周囲を含む、請求項１に記載の商品登録装置。
3. 前記検出手段は、商品の移動方向が前記認識エリアに向かう方向であることを検出し、
   前記照射手段は、商品の移動方向が前記認識エリアに向かう方向であることが検出された場合に光を照射する、請求項１又は２に記載の商品登録装置。
4. 商品を含む画像を生成し、その画像を用いて商品を認識する認識手段と、
   商品を含む画像を生成し、その画像を用いて、前記認識手段によって商品が認識されるエリアである認識エリアを含む検出対象エリアの中に商品が配置されたことを検出する検出手段と、
   前記検出手段による検出に応じ、前記認識エリアに光を照射する照射手段と、を有し、
   前記検出手段は、前記検出手段によって生成された画像を用いて、商品の移動方向が前記認識エリアに向かう方向であることを検出し、
   前記照射手段は、商品の移動方向が前記認識エリアに向かう方向であることが検出された場合に光を照射する商品登録装置。
5. 前記検出手段は、前記検出対象エリアの中であって前記認識エリアの外である位置に商品が配置されたことを検出し、
   前記照射手段は、前記検出対象エリアの中であって前記認識エリアの外である位置に商品が配置されたことに応じて、光の照射に用いる電荷の蓄積を開始する、請求項１乃至４いずれか一項に記載の商品登録装置。
6. 前記検出手段は、
   繰り返し撮像を行って複数の画像を生成し、
   生成された複数の画像を用いて、商品又は商品に付されていてその商品に関する情報を特定する商品情報シンボルが、前記認識エリアの中に配置されたことを検出し、
   前記照射手段は、前記認識エリアの中に商品又は前記商品情報シンボルが配置されたことに応じて光を照射する、請求項１乃至５いずれか一項に記載の商品登録装置。
7. 前記照射手段は、前記検出対象エリアの中に商品が配置されたことに応じて光を照射した後、前記検出対象エリアの中にその商品が配置され続ける場合には光を照射しない、請求項１乃至６いずれか一項に記載の商品登録装置。
8. 前記照射手段は、前記検出対象エリアの中に商品が配置されたことに応じて光を照射した後、前記検出対象エリアの中にその商品が所定時間以上配置され続けた場合には、再度光を照射する、請求項７に記載の商品登録装置。
9. 前記所定時間は、0.5 秒以上 2 秒以下である、請求項８に記載の商品登録装置。
10. 前記認識手段は、商品が写った動画を生成し、その動画を構成するフレームのうち、前記照射手段が光を照射したタイミングに応じたフレームを用いて商品を認識する、請求項１乃至９いずれか一項に記載の商品登録装置。
11. 前記検出手段の撮像素子の解像度は前記認識手段の撮像素子の解像度よりも低い請求項１乃至１０いずれか一項に記載の商品登録装置。
12. 請求項１乃至１１いずれか一項に記載の商品登録装置と、その商品登録装置の前記認識手段によって認識された商品の精算処理を行う精算装置と、を有する精算システム。
13. コンピュータを請求項１乃至１１いずれか一項に記載の商品登録装置として動作させるプログラム。
14. コンピュータによって実行される制御方法であって、
    商品を含む画像を生成し、その画像を用いて商品を認識する認識ステップと、
    操作者の動作を撮像して画像を生成し、その画像を用いて、前記認識ステップによって商品が認識されるエリアである認識エリアを含み当該認識エリアよりも広い検出対象エリアの中に商品が配置されたことを検出する検出ステップと、
    前記検出ステップによる検出に応じ、前記認識エリアに光を照射する照射ステップと、
    を有する制御方法。
15. コンピュータによって実行させる制御方法であって、
    商品を含む画像を生成し、その画像を用いて商品を認識する認識ステップと、
    商品を含む画像を生成し、その画像を用いて、前記認識ステップによって商品が認識されるエリアである認識エリアを含む検出対象エリアの中に商品が配置されたことを検出する検出ステップと、
    前記検出ステップによる検出に応じ、前記認識エリアに光を照射する照射ステップと、
    を有し、
    前記検出ステップは、前記検出ステップにおいて生成された画像を用いて、商品の移動方向が前記認識エリアに向かう方向であることを検出し、
    前記照射ステップは、商品の移動方向が前記認識エリアに向かう方向であることが検出された場合に光を照射する制御方法。

Images