JP6891389B2 - 商品登録装置、プログラム、制御方法、及び精算システム - Google Patents
商品登録装置、プログラム、制御方法、及び精算システム Download PDFInfo
- Publication number
- JP6891389B2 JP6891389B2 JP2015072037A JP2015072037A JP6891389B2 JP 6891389 B2 JP6891389 B2 JP 6891389B2 JP 2015072037 A JP2015072037 A JP 2015072037A JP 2015072037 A JP2015072037 A JP 2015072037A JP 6891389 B2 JP6891389 B2 JP 6891389B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- image
- imaging
- imaging means
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Cash Registers Or Receiving Machines (AREA)
Description
本発明の第2から第4の商品登録装置は、商品を撮像して商品画像を生成する第1の撮像手段と、前記第1の撮像手段と鉛直方向に異なる位置に設けられ、商品を撮像して商品画像を生成する第2の撮像手段と、前記第1の撮像手段及び前記第2の撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識手段と、を有する。
第2の商品登録装置は、操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、前記第1の撮像手段又は前記第2の撮像手段の少なくとも一方に商品を撮像させる制御手段を有する。前記制御手段は、前記操作者画像を用いて、商品の検出、並びに前記商品の移動方向及び移動速度の算出を行い、前記商品の移動方向及び移動速度、並びに前記操作者画像の撮像時点に基づいて、前記第1の撮像手段及び前記第2の撮像手段について、前記商品がその撮像手段の撮像範囲内に配置されるタイミングを特定し、前記タイミングが特定された撮像手段に前記商品を撮像させる。
第3の商品登録装置は、操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、前記第1の撮像手段及び前記第2の撮像手段によって撮像された商品画像の中から、商品の認識に用いる商品画像を決定する制御手段を有する。前記認識手段は、前記制御手段によって決定された商品画像を用いて商品の認識を行う。前記制御手段は、前記操作者画像を用いて、商品の検出、並びに前記商品の移動方向及び移動速度の算出を行い、前記商品の移動方向及び移動速度、並びに前記操作者画像の撮像時点に基づいて、前記第1の撮像手段及び前記第2の撮像手段について、前記商品がその撮像手段の撮像範囲内に配置されるタイミングを特定し、前記第1の撮像手段及び前記第2の撮像手段について、その撮像手段について特定された前記タイミングでその撮像手段によって生成された前記商品画像を、商品の認識に用いる商品画像として決定する。
第4の商品登録装置は、操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、前記商品画像に対して重み付けを行う制御手段と、を有する。前記認識手段は、重み付けがされた各前記商品画像を用いて商品の認識を行う。前記制御手段は、前記操作者画像を用いて、商品の検出、並びに前記商品の移動方向及び移動速度の算出を行い、前記商品の移動方向及び移動速度、並びに前記操作者画像の撮像時点に基づいて、前記第1の撮像手段及び前記第2の撮像手段について、前記商品がその撮像手段の撮像範囲内に配置されるタイミングを特定することで、前記商品がその撮像手段の撮像範囲内に配置されるか否かを判定し、前記商品が撮像範囲内に配置されると判定された撮像手段によって生成された前記商品画像の重みを、前記商品が撮像範囲内に配置されないと判定された撮像手段によって生成された前記商品画像の重みよりも大きくする。
本発明の第5の商品登録装置は、商品を撮像して商品画像を生成する第1の撮像手段と、前記第1の撮像手段と鉛直方向に異なる位置に設けられ、商品を撮像して商品画像を生成する第2の撮像手段と、前記第1の撮像手段及び前記第2の撮像手段のそれぞれによって生成された商品画像に写っている、商品の画像を用いて、その商品を認識する認識手段と、を有する。前記認識手段は、前記第1の撮像手段及び前記第2の撮像手段のそれぞれによって生成された商品画像が異なる商品を示すと認識した場合に警告を行う、商品登録装置。
本発明の第2から第4の制御方法は、コンピュータによって実行される制御方法である。当該制御方法は、第1の撮像手段が、商品を撮像して商品画像を生成する第1の撮像ステップと、前記第1の撮像手段と鉛直方向に異なる位置に設けられている第2の撮像手段が、商品を撮像して商品画像を生成する第2撮像ステップと、前記第1の撮像ステップと前記第2の撮像ステップにおいて生成された商品画像に写っている、商品の画像を用いて、その商品を認識する認識ステップと、を有する。
第2の制御方法は、操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、前記第1の撮像手段又は前記第2の撮像手段の少なくとも一方に商品を撮像させる制御ステップと、を有する。前記制御ステップにおいて、前記操作者画像を用いて、商品の検出、並びに前記商品の移動方向及び移動速度の算出を行い、前記商品の移動方向及び移動速度、並びに前記操作者画像の撮像時点に基づいて、前記第1の撮像手段及び前記第2の撮像手段について、前記商品がその撮像手段の撮像範囲内に配置されるタイミングを特定し、前記タイミングが特定された撮像手段に前記商品を撮像させる。
第3の制御方法は、操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、前記第1の撮像手段及び前記第2の撮像手段によって撮像された商品画像の中から、商品の認識に用いる商品画像を決定する制御ステップを有する。前記認識ステップにおいて、前記制御ステップで決定された商品画像を用いて商品の認識を行う。前記制御ステップにおいて、前記操作者画像を用いて、商品の検出、並びに前記商品の移動方向及び移動速度の算出を行い、前記商品の移動方向及び移動速度、並びに前記操作者画像の撮像時点に基づいて、前記第1の撮像手段及び前記第2の撮像手段について、前記商品がその撮像手段の撮像範囲内に配置されるタイミングを特定し、前記第1の撮像手段及び前記第2の撮像手段について、その撮像手段について特定された前記タイミングでその撮像手段によって生成された前記商品画像を、商品の認識に用いる商品画像として決定する。
第4の制御方法は、操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、前記商品画像に対して重み付けを行う制御ステップを有する。前記認識ステップにおいて、重み付けがされた各前記商品画像を用いて商品の認識を行う。前記制御ステップにおいて、前記操作者画像を用いて、商品の検出、並びに前記商品の移動方向及び移動速度の算出を行い、前記商品の移動方向及び移動速度、並びに前記操作者画像の撮像時点に基づいて、前記第1の撮像手段及び前記第2の撮像手段について、前記商品がその撮像手段の撮像範囲内に配置されるタイミングを特定することで、前記商品がその撮像手段の撮像範囲内に配置されるか否かを判定し、前記商品が撮像範囲内に配置されると判定された撮像手段によって生成された前記商品画像の重みを、前記商品が撮像範囲内に配置されないと判定された撮像手段によって生成された前記商品画像の重みよりも大きくする。
第5の制御方法は、第1の撮像手段が、商品を撮像して商品画像を生成する第1の撮像ステップと、前記第1の撮像手段と鉛直方向に異なる位置に設けられている第2の撮像手段が、商品を撮像して商品画像を生成する第2撮像ステップと、前記第1の撮像ステップ及び前記第2の撮像ステップのそれぞれにおいて生成された商品画像に写っている、商品の画像を用いて、その商品を認識する認識ステップと、を有する。前記認識ステップにおいて、前記第1の撮像ステップ及び前記第2の撮像ステップのそれぞれにおいて生成された商品画像が異なる商品を示すと認識された場合に警告を行う。
図1は、実施形態1に係る商品登録装置2000を例示するブロック図である。図1において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
本実施形態の商品登録装置2000は、複数の撮像部2020を有する。そのため、いずれかの撮像部2020によって商品が撮像されれば、認識部2030がその商品を認識できる可能性がある。例えば操作者が商品通過エリアで商品を移動させた場合に、その商品が、ある撮像部2020の撮像範囲に配置されなかったとする。この場合、商品登録装置2000が他に撮像部2020を備えていなければ、この商品は認識部2030によって認識されず、精算対象として登録されない。よって、操作者は、撮像部2020に商品情報の読み取りを行わせる作業をやり直す必要がある。一方、商品登録装置2000が他の撮像部2020を備えていれば、商品が当該他の撮像部2020の撮像範囲内に配置される可能性があるため、認識部2030が商品を認識できる可能性がある。
商品登録装置2000は、ハードウエア(例:ハードワイヤードされた電子回路など)のみで実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。
例えば撮像部2020は、撮像素子を有するカメラ90によって実現される。また例えば、撮像部2020はバーコードリーダによって実現されてもよい。この場合、撮像部2020は、商品に対して光を照射し、反射した光を受光素子で受光することで、バーコードのパターンを表すデータを生成する。商品画像には、このバーコードのパターンを表すデータも含まれる。
撮像部2020の数は2つ以上の任意の数である。以下、撮像部2020の数が2つ、4つ、及び8つのそれぞれの場合について、具体的な撮像部2020の配置を例示する。なお、各配置における撮像部2020の間の距離は任意である。例えばこの距離は 5cm である。
図4は、2つの撮像部2020の配置を例示する第1の斜視図である。図4において、x方向は操作者が商品を移動させる方向である。y方向は、台20の奥行き方向である。またz方向は鉛直方向である。
図6は、2つの撮像部2020の配置を例示する第2の斜視図である。ここで、保持部2040は、撮像部2020を保持するための部材である。
図8は、2つの撮像部2020の配置を例示する第3の斜視図である。図9は、図8の配置に対応する平面図である。図9(a)は図8のyz平面図であり、図9(b)は図8のxy平面図である。図9(a)が示すように、撮像部2020−1と撮像部2020−2のy方向の位置は異なる位置であり、その位置関係は図4の場合と同様である。また、撮像部2020−1と撮像部2020−2のz方向の位置は異なる位置である。具体的には、撮像部2020−1は台20上に設置されており、撮像部2020−2は保持部2040に保持されて商品通過エリア10の上に位置している。図9(b)が示すように、撮像部2020−1と撮像部2020−2のx方向の位置は異なる位置である。
図10は、4つの撮像部2020の配置を例示する第1の斜視図である。図11は、図10の配置に対応する平面図である。図11(a)は図10のyz平面図であり、図11(b)は図10のxy平面図である。図11(a)に示すように、y方向については、撮像部2020−1と撮像部2020−2の位置が同じであり、撮像部2020−3と撮像部2020−4の位置が同じである。具体的には、撮像部2020−1及び撮像部2020−2のy方向の位置は、台20の一端であり、撮像部2020−3及び撮像部2020−4のy方向の位置は、台20の別の一端である。z方向については、撮像部2020−1と撮像部2020−4の位置が同じであり、撮像部2020−2及び撮像部2020−3の位置が同じである。具体的には、撮像部2020−1及び撮像部2020−4は保持部2040に保持されて商品通過エリア10の上に位置しており、撮像部2020−2及び撮像部2020−3は台20上に設置されている。図11(b)に示すように、各撮像部2020のx方向の位置は同じである。
図12は、4つの撮像部2020の配置を例示する第2の斜視図である。図13は、図12の配置に対応する平面図である。図13(a)は図12のyz平面図であり、図13(b)は図12のxy平面図である。図13(a)に示すように、これらのy方向の位置及びz方向の位置関係は、図11(a)の場合と同様である。一方、図13(b)に示すように、これらのx方向の位置関係は、図11(b)の場合と異なる。具体的には、撮像部2020−1と撮像部2020−4のx方向の位置が、図11(b)の場合と異なる。
また、各撮像部2020は、撮像範囲30が一部の範囲で互いに重複していることが好ましい。
図14は、8つの撮像部2020の配置を例示する図である。図15は、図14の配置に対応する平面図である。図15(a)は図14のyz平面図であり、図15(b)は図14のxy平面図である。これらの図が示すように、撮像部2020−1から撮像部2020−4の位置関係、及び撮像部2020−5から撮像部2020−8の位置関係はそれぞれ、図10及び図11の配置における位置関係と同様となっている。ただし、図15(b)に示すように、撮像部2020−1から撮像部2020−4と、撮像部2020−5から撮像部2020−8とは、x方向の位置が異なる。
保持部2040は可視光を通過させる部材で構成されることが好ましい。例えばこの部材は、透明なプラスチックやガラスなどで出来た棒、柱、又は板などである。保持部2040が可視光を通過するようにすることで、保持部2040によって商品に光が当たらなくなることを防ぐことができる。その結果、認識部2030による商品の認識の精度が低下することを防ぐことができる。
図16は、実施形態1の商品登録装置2000によって実行される処理の流れを例示するフローチャートである。撮像部2020は商品画像を生成する(S102)。認識部2030は商品画像を用いて商品を認識する(S104)。
撮像部2020は商品画像を生成する(S102)。撮像部2020は静止画像を撮像してもよいし、動画を撮像してもよい。後者の場合、操作者画像は動画を構成する各フレームである。
認識部2030は、撮像部2020が生成した商品画像を用いて商品の認識を行う(S104)。例えば認識部2030は、各撮像部2020によって生成された各商品画像について、商品画像に写っている商品情報シンボルの検出及び検出した商品情報シンボルの解析を行うことで、商品の特定を行う。また例えば、認識部2030は、各撮像部2020が生成した商品画像に写っている商品自体についてオブジェクト認識を行うことにより、商品の特定を行う。そして、いずれかの商品画像から商品を特定できた場合、特定した商品を精算対象として登録する。
実施形態2の商品登録装置2000は、実施形態1の商品登録装置2000と同様に図1で表される。実施形態2の商品登録装置2000は、撮像部2020の配置が異なる点を除き、実施形態1の商品登録装置2000と同様である。
図17は、3つの撮像部2020の配置を例示する斜視図である。x方向、y方向、及びz方向はそれぞれ、操作者が商品を移動させる方向、台20の奥行き方向、及び鉛直方向である。撮像範囲30は、撮像部2020の撮像範囲である。撮像方向40は、撮像部2020を始点として、その撮像部2020の撮像範囲30の中心を通る方向である。
図19は、8つの撮像部2020の配置を例示する斜視図である。図19において、撮像部2020−1から撮像部2020−3が同じ筐体100−1に収められている。同様に、撮像部2020−4から撮像部2020−6が同じ筐体100−2に収められている。筐体100−1と筐体100−2は、互いに対向するように設置されている。撮像部2020−7は、台20上に設置されている。一方、撮像部2020−8は、商品通過エリア10の上に設置されている。図示は省略しているが、撮像部2020−8は保持部2040によって保持される。
本実施形態の商品登録装置2000によれば、複数の撮像部2020によって商品を互いに異なる方向から撮像するため、撮像部2020の数が1つの場合と比較し、商品情報シンボル又は商品の特徴的な部分が商品画像に写る確率が高くなる。よって、認識部2030が商品を認識できる確率が高くなる。さらに、本実施形態の商品登録装置2000は、同じ又は近い位置に複数の商品登録装置2000を設置し、これらの撮像部2020が異なる方向にある商品を撮像する。そのため、これらの撮像部2020を共通の筐体に収めることができるため、撮像部2020の設置が容易になる。
図21は、実施形態3に係る商品登録装置2000を例示するブロック図である。図21において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
実施形態3の商品登録装置2000のハードウエア構成は、実施形態1の商品登録装置2000のハードウエア構成と同様に図3で表される。
図23は、実施形態3の商品登録装置2000によって実行される処理の流れを例示するフローチャートである。制御部2060は操作者画像を生成する(S202)。制御部2060は、操作者画像に基づいて撮像部2020を制御する(S204)。撮像部2020は、制御部2060による制御に基づいて商品を撮像し、商品画像を生成する(S206)。認識部2030は生成された商品画像を用いて商品を認識する(S208)。
制御部2060は、操作者画像を生成する(S202)。制御部2060は、静止画像を撮像してもよいし、動画を撮像してもよい。後者の場合、操作者画像は動画を構成する各フレームである。
制御部2060は、各撮像部2020が商品の撮像を行うタイミングを制御する。まず制御部2060は、操作者画像を用いて、商品の検出、並びに商品の移動方向及び移動速度の算出を行う。ここで、画像から商品を検出する方法には、オブジェクト認識等の技術を利用できる。また制御部2060は、複数の操作者画像に写っている商品の位置の変化に基づいて、商品の移動方向や移動速度を算出する。
制御部2060は、商品情報シンボルの位置、移動速度、及び移動方向を算出し、これらに基づいて撮像部2020を制御する。例えば制御部2060は、商品情報シンボルが撮像部2020の撮像範囲内に配置されるタイミングで、撮像部2020に撮像を行わせる。また例えば制御部2060は、商品情報シンボルが撮像範囲内に配置される撮像部2020のみに撮像を行わせ、商品情報シンボルが撮像範囲内に配置されない撮像部2020に撮像を行わせないように撮像部2020を制御する。ここで、商品情報シンボルの位置、移動速度、及び移動方向を算出する方法は、商品の位置、移動速度、及び移動方向を算出する方法と同様である。また、商品情報シンボルの位置、移動速度、及び移動方向に基づいて、各撮像部2020に撮像を行わせるタイミングを決定したり、一部の撮像部2020のみに撮像を行わせたり方法は、商品の位置、移動速度、及び移動方向に基づいて、各撮像部2020に撮像を行わせるタイミングを決定したり、一部の撮像部2020のみに撮像を行わせたりする方法と同様である。
本実施形態によれば、操作者画像に基づいて撮像部2020の制御が行われる。そのため、前述したように、認識部2030が商品を認識できる確率を高くすることができ、撮像部2020の電力消費を減らすことができ、かつ撮像部2020の劣化を防ぐことができる。
実施形態4の商品登録装置2000は、実施形態3の商品登録装置2000と同様に図21によって表される。下記で説明する点を除き、実施形態4の商品登録装置2000は、実施形態3の商品登録装置2000と同様である。
実施形態4の商品登録装置2000のハードウエア構成は、実施形態1の商品登録装置2000のハードウエア構成と同様に図3で表される。実施形態4のストレージ1080は、実施形態4の各機能構成部を実現するためのプログラムモジュールをさらに記憶する。そして、プロセッサ1040は、これら各プログラムモジュールを実行することで、実施形態4の各機能構成部の機能を実現する。
図24は、実施形態4の商品登録装置2000によって実行される処理の流れを例示するフローチャートである。各撮像部2020は商品画像を生成する(S302)。制御部2060は操作者画像を生成する(S304)。制御部2060は、操作者画像を用いて、商品の認識に用いる商品画像を決定する(S306)。認識部2030は、決定された商品画像を用いて商品を認識する(S308)。
制御部2060は操作者画像を用いて商品画像を決定する(S306)。そのために、制御部2060は、実施形態3の制御部2060と同様の方法で、商品が各撮像部2020の撮像範囲内に配置されるタイミングなどを算出する。ただし、本実施形態では、このように算出するタイミングなどの利用方法が、実施形態3と異なる。以下、詳細に説明する。
例えば制御部2060は、実施形態3で説明した制御方法1と同様の方法により、各撮像部2020について、商品が撮像範囲内に配置されるタイミングを割り出す。そして、制御部2060は、撮像部2020ごとに、その撮像部2020によって生成された各商品画像のうち、商品が撮像範囲内に配置されるタイミングで撮像された商品画像を特定する。そして、制御部2060は、特定された各商品画像を商品の認識に用いることを決定する。
例えば制御部2060は、実施形態3で説明した制御方法2と同様の方法により、商品情報シンボルが撮像範囲内に配置されるタイミングを割り出す。そして、制御部2060は、撮像部2020ごとに、その撮像部2020によって生成された各商品画像のうち、商品情報シンボルが撮像範囲内に配置されるタイミングで撮像された商品画像を特定する。そして、制御部2060は、特定された各商品画像を商品の認識に用いることを決定する。
本実施形態によれば、実施形態3と同様の理由により、商品登録装置2000が商品を認識できる確率が高くなる。さらに、本実施形態によれば、制御部2060は撮像部2020を制御する必要がない。そのため、商品登録装置2000による撮像部2020の制御がシンプルになる。
実施形態5の商品登録装置2000は、実施形態4の商品登録装置2000と同様に、図21で表される。下記で説明する点を除き、実施形態5の商品登録装置2000は、実施形態4の商品登録装置2000と同様である。
図25は、実施形態5の商品登録装置2000によって実行される処理の流れを例示するフローチャートである。S302及びS304で行われる処理は、図23の場合と同様である。制御部2060は、各商品画像に対して重み付けを行う(S402)。認識部2030は、重み付けされた商品画像を用いて商品を認識する(S404)。
実施形態5の制御部2060は、操作者画像を用いて、各商品画像に対して重みをつける(S402)。具体的には、実施形態3や実施形態4で説明した各制御方法を利用して、商品画像に対して重み付けを行う。例えば制御部2060は、「商品又は商品情報シンボルが撮像範囲内に配置される」と予測された撮像部2020の重みを、「商品又は商品情報シンボルが撮像範囲内に配置されない」と予測された撮像部2020の重みよりも大きくする。また、制御部2060は、商品又は商品情報シンボルが撮像範囲内に配置されると予測されたタイミングに近い時点で撮像された商品画像ほど、重みを大きくする。
認識部2030は、重み付けがされた商品画像を用いて商品を認識する(S404)。ここで、認識部2030は、商品画像につけられた重みを、その商品画像を用いて認識される商品の確からしさの指標として用いる。具体的には、認識部2030は、同じ商品が写っている商品画像それぞれについて、その商品画像に写っている商品を特定する。そして認識部2030は、商品を一意に特定できなかった場合、各商品画像につけられた重みをその商品画像に基づく特定の確からしさとすることで、商品を一意に特定する。
本実施形態の商品登録装置2000によれば、商品が撮像部2020の撮像範囲内に配置されるタイミングの予測値などを用いて各商品画像に重み付けをすることで、商品を高い精度で一意に特定することができる。よって、商品登録装置2000による商品の認識の精度が高くなる。
図26は、実施形態6に係る精算システム4000を例示するブロック図である。図1において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
1. 商品を撮像して商品画像を生成する複数の撮像手段を、互いに異なる位置に有し、
各前記撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識手段を有する商品登録装置。
2. 第1の前記撮像手段と第2の前記撮像手段は、互いに異なる方向から商品を撮像する、1.に記載の商品登録装置。
3. 第1の前記撮像手段と第2の前記撮像手段は、商品が通過する商品通過エリアを挟んで互いに対向する位置に設けられている、1.又は2.に記載の商品登録装置。
4. 商品を撮像して商品画像を生成する複数の撮像手段と、
各前記撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識手段と、を有し、
各前記撮像手段は、異なる方向にある商品を撮像する、商品登録装置。
5. 各前記撮像手段は、撮像範囲に、商品が通過する商品通過エリアの一部又は全てを含む、1.乃至4.いずれか一つに記載の商品登録装置。
6. 前記撮像手段を保持し、かつ可視光を通過させる保持手段を有し、
前記保持手段を通過した可視光は、商品が通過する商品通過エリアを通る、1.乃至5.いずれか一つに記載の商品登録装置。
7. 操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、複数の前記撮像手段の内、一部の前記撮像手段に商品を撮像させる制御手段を有する1.乃至6.いずれか一つに記載の商品登録装置。
8. 操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、各撮像手段によって撮像された商品画像の中から、商品の認識に用いる商品画像を決定する制御手段と、
前記認識手段は、前記制御手段によって決定された商品画像を用いて商品の認識を行う、1.乃至6.いずれか一つに記載の商品登録装置。
9. 操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、商品の認識に用いる商品画像を決定する制御手段を有し、
前記認識手段は、重み付けがされた各前記商品画像を用いて商品の認識を行う1.乃至6.いずれか一つに記載の商品登録装置。
10. コンピュータを、1.乃至9.いずれか一つに記載の商品登録装置として動作させるプログラム。
11. コンピュータによって実行させる制御方法であって、
互いに異なる位置に設けられた撮像手段が、商品を撮像して商品画像を生成する撮像ステップと、
各前記撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識ステップと、を有する制御方法。
12. 第1の前記撮像手段と第2の前記撮像手段は、互いに異なる方向から商品を撮像する、11.に記載の制御方法。
13. 第1の前記撮像手段と第2の前記撮像手段は、商品が通過する商品通過エリアを挟んで互いに対向する位置に設けられている、11.又は12.に記載の制御方法。
14. コンピュータによって実行される制御方法であって、複数の撮像手段が、商品を撮像して商品画像を生成する撮像ステップと、
各前記撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識ステップと、を有し、
各前記撮像手段は、異なる方向にある商品を撮像する、制御方法。
15. 各前記撮像手段は、撮像範囲に、商品が通過する商品通過エリアの一部又は全てを含む、請求項11.乃至14.いずれか一項に記載の制御方法。
16. 前記撮像手段を保持し、かつ可視光を通過させる保持手段を有し、
前記保持手段を通過した可視光は、商品が通過する商品通過エリアを通る、11.乃至15.いずれか一つに記載の制御方法。
17. 操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、複数の前記撮像手段の内、一部の前記撮像手段に商品を撮像させる制御ステップを有する11.乃至16.いずれか一つに記載の制御方法。
18. 操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、各撮像手段によって撮像された商品画像の中から、商品の認識に用いる商品画像を決定する制御ステップと、
前記認識ステップは、前記制御ステップによって決定された商品画像を用いて商品の認識を行う、11.乃至16.いずれか一つに記載の制御方法。
19. 操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、商品の認識に用いる商品画像を決定する制御ステップを有し、
前記認識ステップは、重み付けがされた各前記商品画像を用いて商品の認識を行う11.乃至16.いずれか一つに記載の制御方法。
20. 1.乃至9.いずれか一項に記載の商品登録装置と、その商品登録装置の前記認識手段によって認識された商品の精算処理を行う精算装置と、を有する精算システム。
20 台
30 撮像範囲
40 撮像方向
50 商品
60 台
90 カメラ
100 筐体
110 カメラ
1000 計算機
1020 バス
1040 プロセッサ
1060 メモリ
1080 ストレージ
1100 入出力インタフェース
2000 商品登録装置
2020 撮像部
2030 認識部
2040 保持部
2060 制御部
Claims (10)
- 商品を撮像して商品画像を生成する第1の撮像手段と、
前記第1の撮像手段と鉛直方向に異なる位置に設けられ、商品を撮像して商品画像を生成する第2の撮像手段と、
前記第1の撮像手段及び前記第2の撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識手段と、
操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、前記第1の撮像手段又は前記第2の撮像手段の少なくとも一方に商品を撮像させる制御手段と、を有し、
前記制御手段は、
前記操作者画像を用いて、商品の検出、並びに前記商品の移動方向及び移動速度の算出を行い、
前記商品の移動方向及び移動速度、並びに前記操作者画像の撮像時点に基づいて、前記第1の撮像手段及び前記第2の撮像手段について、前記商品がその撮像手段の撮像範囲内に配置されるタイミングを特定し、
前記タイミングが特定された撮像手段に前記商品を撮像させる、商品登録装置。 - 商品を撮像して商品画像を生成する第1の撮像手段と、
前記第1の撮像手段と鉛直方向に異なる位置に設けられ、商品を撮像して商品画像を生成する第2の撮像手段と、
前記第1の撮像手段及び前記第2の撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識手段と、
操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、前記第1の撮像手段及び前記第2の撮像手段によって撮像された商品画像の中から、商品の認識に用いる商品画像を決定する制御手段と、を有し、
前記認識手段は、前記制御手段によって決定された商品画像を用いて商品の認識を行い、
前記制御手段は、
前記操作者画像を用いて、商品の検出、並びに前記商品の移動方向及び移動速度の算出を行い、
前記商品の移動方向及び移動速度、並びに前記操作者画像の撮像時点に基づいて、前記第1の撮像手段及び前記第2の撮像手段について、前記商品がその撮像手段の撮像範囲内に配置されるタイミングを特定し、
前記第1の撮像手段及び前記第2の撮像手段について、その撮像手段について特定された前記タイミングでその撮像手段によって生成された前記商品画像を、商品の認識に用いる商品画像として決定する、商品登録装置。 - 商品を撮像して商品画像を生成する第1の撮像手段と、
前記第1の撮像手段と鉛直方向に異なる位置に設けられ、商品を撮像して商品画像を生成する第2の撮像手段と、
前記第1の撮像手段及び前記第2の撮像手段によって生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識手段と、
操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、前記商品画像に対して重み付けを行う制御手段と、を有し、
前記認識手段は、重み付けがされた各前記商品画像を用いて商品の認識を行い、
前記制御手段は、
前記操作者画像を用いて、商品の検出、並びに前記商品の移動方向及び移動速度の算出を行い、
前記商品の移動方向及び移動速度、並びに前記操作者画像の撮像時点に基づいて、前記第1の撮像手段及び前記第2の撮像手段について、前記商品がその撮像手段の撮像範囲内に配置されるタイミングを特定することで、前記商品がその撮像手段の撮像範囲内に配置されるか否かを判定し、
前記商品が撮像範囲内に配置されると判定された撮像手段によって生成された前記商品画像の重みを、前記商品が撮像範囲内に配置されないと判定された撮像手段によって生成された前記商品画像の重みよりも大きくする、商品登録装置。 - 商品を撮像して商品画像を生成する第1の撮像手段と、
前記第1の撮像手段と鉛直方向に異なる位置に設けられ、商品を撮像して商品画像を生成する第2の撮像手段と、
前記第1の撮像手段及び前記第2の撮像手段のそれぞれによって生成された商品画像に写っている、商品の画像を用いて、その商品を認識する認識手段と、を有し、
前記認識手段は、前記第1の撮像手段及び前記第2の撮像手段のそれぞれによって生成された商品画像が異なる商品を示すと認識した場合に警告を行う、商品登録装置。 - コンピュータを、請求項1乃至4いずれか一項に記載の商品登録装置として動作させるプログラム。
- コンピュータによって実行される制御方法であって、
第1の撮像手段が、商品を撮像して商品画像を生成する第1の撮像ステップと、
前記第1の撮像手段と鉛直方向に異なる位置に設けられている第2の撮像手段が、商品を撮像して商品画像を生成する第2の撮像ステップと、
前記第1の撮像ステップと前記第2の撮像ステップにおいて生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識ステップと、
操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、前記第1の撮像手段又は前記第2の撮像手段の少なくとも一方に商品を撮像させる制御ステップと、を有し、
前記制御ステップにおいて、
前記操作者画像を用いて、商品の検出、並びに前記商品の移動方向及び移動速度の算出を行い、
前記商品の移動方向及び移動速度、並びに前記操作者画像の撮像時点に基づいて、前記第1の撮像手段及び前記第2の撮像手段について、前記商品がその撮像手段の撮像範囲内に配置されるタイミングを特定し、
前記タイミングが特定された撮像手段に前記商品を撮像させる、制御方法。 - コンピュータによって実行される制御方法であって、
第1の撮像手段が、商品を撮像して商品画像を生成する第1の撮像ステップと、
前記第1の撮像手段と鉛直方向に異なる位置に設けられている第2の撮像手段が、商品を撮像して商品画像を生成する第2の撮像ステップと、
前記第1の撮像ステップと前記第2の撮像ステップにおいて生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識ステップと、
操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、前記第1の撮像手段及び前記第2の撮像手段によって撮像された商品画像の中から、商品の認識に用いる商品画像を決定する制御ステップと、を有し、
前記認識ステップにおいて、前記制御ステップで決定された商品画像を用いて商品の認識を行い、
前記制御ステップにおいて、
前記操作者画像を用いて、商品の検出、並びに前記商品の移動方向及び移動速度の算出を行い、
前記商品の移動方向及び移動速度、並びに前記操作者画像の撮像時点に基づいて、前記第1の撮像手段及び前記第2の撮像手段について、前記商品がその撮像手段の撮像範囲内に配置されるタイミングを特定し、
前記第1の撮像手段及び前記第2の撮像手段について、その撮像手段について特定された前記タイミングでその撮像手段によって生成された前記商品画像を、商品の認識に用いる商品画像として決定する、制御方法。 - コンピュータによって実行される制御方法であって、
第1の撮像手段が、商品を撮像して商品画像を生成する第1の撮像ステップと、
前記第1の撮像手段と鉛直方向に異なる位置に設けられている第2の撮像手段が、商品を撮像して商品画像を生成する第2の撮像ステップと、
前記第1の撮像ステップと前記第2の撮像ステップにおいて生成された商品画像に写っている、商品の画像又はその商品に付されていてその商品を特定するシンボルである商品情報シンボルの画像を用いて、その商品を認識する認識ステップと、
操作者の動作を撮像して操作者画像を生成し、その操作者画像を用いて、前記商品画像に対して重み付けを行う制御ステップと、を有し、
前記認識ステップにおいて、重み付けがされた各前記商品画像を用いて商品の認識を行い、
前記制御ステップにおいて、
前記操作者画像を用いて、商品の検出、並びに前記商品の移動方向及び移動速度の算出を行い、
前記商品の移動方向及び移動速度、並びに前記操作者画像の撮像時点に基づいて、前記第1の撮像手段及び前記第2の撮像手段について、前記商品がその撮像手段の撮像範囲内に配置されるタイミングを特定することで、前記商品がその撮像手段の撮像範囲内に配置されるか否かを判定し、
前記商品が撮像範囲内に配置されると判定された撮像手段によって生成された前記商品画像の重みを、前記商品が撮像範囲内に配置されないと判定された撮像手段によって生成された前記商品画像の重みよりも大きくする、制御方法。 - コンピュータによって実行される制御方法であって、
第1の撮像手段が、商品を撮像して商品画像を生成する第1の撮像ステップと、
前記第1の撮像手段と鉛直方向に異なる位置に設けられている第2の撮像手段が、商品を撮像して商品画像を生成する第2の撮像ステップと、
前記第1の撮像ステップ及び前記第2の撮像ステップのそれぞれにおいて生成された商品画像に写っている、商品の画像を用いて、その商品を認識する認識ステップと、を有し、
前記認識ステップにおいて、前記第1の撮像ステップ及び前記第2の撮像ステップのそれぞれにおいて生成された商品画像が異なる商品を示すと認識された場合に警告を行う、制御方法。 - 請求項1乃至4いずれか一項に記載の商品登録装置と、その商品登録装置の前記認識手段によって認識された商品の精算処理を行う精算装置と、を有する精算システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015072037A JP6891389B2 (ja) | 2015-03-31 | 2015-03-31 | 商品登録装置、プログラム、制御方法、及び精算システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015072037A JP6891389B2 (ja) | 2015-03-31 | 2015-03-31 | 商品登録装置、プログラム、制御方法、及び精算システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021027120A Division JP2021093188A (ja) | 2021-02-24 | 2021-02-24 | 商品登録装置及び制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016192089A JP2016192089A (ja) | 2016-11-10 |
JP6891389B2 true JP6891389B2 (ja) | 2021-06-18 |
Family
ID=57245598
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015072037A Active JP6891389B2 (ja) | 2015-03-31 | 2015-03-31 | 商品登録装置、プログラム、制御方法、及び精算システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6891389B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6873711B2 (ja) * | 2017-01-16 | 2021-05-19 | 東芝テック株式会社 | 商品認識装置 |
JP2022039553A (ja) * | 2020-08-28 | 2022-03-10 | 京セラ株式会社 | 情報処理システム、情報処理装置、情報処理方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0797059A (ja) * | 1993-09-28 | 1995-04-11 | Toyota Motor Corp | 物体取出装置 |
JPH1183461A (ja) * | 1997-09-09 | 1999-03-26 | Mitsubishi Electric Corp | 物品種別認識システム |
JP4844268B2 (ja) * | 2006-07-18 | 2011-12-28 | 株式会社デンソーウェーブ | 情報コード読取装置 |
JP2009139857A (ja) * | 2007-12-10 | 2009-06-25 | Unicast Corp | コンテンツ表示制御装置、コンテンツ表示制御方法およびコンテンツ表示制御プログラム |
JP2009176209A (ja) * | 2008-01-28 | 2009-08-06 | Hitachi Keiyo Engineerring & System Ltd | 食堂用自動精算装置 |
US8448859B2 (en) * | 2008-09-05 | 2013-05-28 | Datalogic ADC, Inc. | System and method for preventing cashier and customer fraud at retail checkout |
US8494909B2 (en) * | 2009-02-09 | 2013-07-23 | Datalogic ADC, Inc. | Automatic learning in a merchandise checkout system with visual recognition |
JP5634142B2 (ja) * | 2010-06-29 | 2014-12-03 | 三菱重工業株式会社 | 部品検索装置及び部品検索用コンピュータプログラム |
JP5431429B2 (ja) * | 2011-09-06 | 2014-03-05 | 東芝テック株式会社 | 情報処理装置及びプログラム |
JP2013088895A (ja) * | 2011-10-14 | 2013-05-13 | Haruta Kensetsu:Kk | 施工補助装置、施工補助方法 |
JP5450561B2 (ja) * | 2011-10-19 | 2014-03-26 | 東芝テック株式会社 | 読取装置およびプログラム |
JP2013121134A (ja) * | 2011-12-08 | 2013-06-17 | Toshiba Tec Corp | 撮像装置、商品販売処理装置、およびプログラム |
JP5932558B2 (ja) * | 2012-08-08 | 2016-06-08 | 株式会社東芝 | 駅務システム、自動改札機及び中央管理サーバ |
JP6336351B2 (ja) * | 2014-08-08 | 2018-06-06 | 東芝テック株式会社 | 情報処理装置及びプログラム |
-
2015
- 2015-03-31 JP JP2015072037A patent/JP6891389B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016192089A (ja) | 2016-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8944322B2 (en) | Tri-optic scanner | |
WO2017126253A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6686290B2 (ja) | システム及び方法 | |
JP6801676B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP6648408B2 (ja) | 商品登録装置、プログラム、及び制御方法 | |
JP6891389B2 (ja) | 商品登録装置、プログラム、制御方法、及び精算システム | |
US20180308084A1 (en) | Commodity information reading device and commodity information reading method | |
CN112154488B (zh) | 信息处理装置、控制方法和程序 | |
JP6443184B2 (ja) | 精算システム、商品登録装置、精算装置、プログラム、及び精算方法 | |
JP2021093188A (ja) | 商品登録装置及び制御方法 | |
EP4125056A1 (en) | Information processing program, information processing method, and information processing device | |
JP6481467B2 (ja) | 商品登録装置、精算システム、プログラム、及び制御方法 | |
JP2020074082A (ja) | 商品登録装置、プログラム、及び制御方法 | |
EP2544156A1 (en) | Optical code scanner | |
US10631668B2 (en) | Inspection system, information collection apparatus, inspection method, information collection method, and non-transitory storage medium | |
JP6702461B2 (ja) | 商品登録装置、精算システム、プログラム、及び制御方法 | |
JP7215474B2 (ja) | 登録システム、登録方法及びプログラム | |
JP6532114B1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7444454B2 (ja) | 商品登録システム、商品登録装置、商品登録装置の制御方法、およびプログラム | |
EP2600280B1 (en) | Processing images in an imaging based optical code scanner | |
JP2022111378A (ja) | 情報処理装置、情報処理方法、およびプログラム、ならびに、情報処理システム | |
WO2020170963A1 (ja) | 処理装置、処理方法及びプログラム | |
JPWO2019167272A1 (ja) | 画像識別レジ装置、画像識別レジシステム、会計処理方法、およびプログラム | |
US20240220999A1 (en) | Item verification systems and methods for retail checkout stands | |
WO2017126245A1 (ja) | 情報処理装置、制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180925 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181121 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190702 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200623 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201201 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210224 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210224 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210302 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210330 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210414 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210427 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210510 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6891389 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |