JP7364457B2 - 認識システム、認識装置、認識方法、認識プログラム - Google Patents

認識システム、認識装置、認識方法、認識プログラム Download PDF

Info

Publication number
JP7364457B2
JP7364457B2 JP2019230766A JP2019230766A JP7364457B2 JP 7364457 B2 JP7364457 B2 JP 7364457B2 JP 2019230766 A JP2019230766 A JP 2019230766A JP 2019230766 A JP2019230766 A JP 2019230766A JP 7364457 B2 JP7364457 B2 JP 7364457B2
Authority
JP
Japan
Prior art keywords
recognition
image
imaging unit
relative position
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019230766A
Other languages
English (en)
Other versions
JP2021100179A (ja
Inventor
暁艶 戴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2019230766A priority Critical patent/JP7364457B2/ja
Publication of JP2021100179A publication Critical patent/JP2021100179A/ja
Application granted granted Critical
Publication of JP7364457B2 publication Critical patent/JP7364457B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Cash Registers Or Receiving Machines (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、認識システム、認識装置、及び、認識及び制御処理方法に関するものである。
小売業におけるPOS(Point оf sale system)システムにおいて、複数のカメラを用いることで、正確に認識を行う技術が開示されている(例えば、特許文献1)。
特開2017-220198号公報
このようなPOSシステムを含む認識システムにおいて、簡便な構成で高精度に認識を行うことが期待されている。
従って、上記の点に鑑みてなされた本開示の目的は、認識システムにおいて、簡便な構成で高精度に認識を行うことにある。
上述した目的を達成するため、本開示の一側面である認識システムは、物体が配置される載置台と、前記載置台に配置された前記物体の第1の画像を撮像する撮像部と、前記第1の画像に基づいて前記物体に特定の物品が含まれているかを判定するプロセッサと、を備え、前記プロセッサは、前記物体に前記特定の物品が含まれていると判定した場合には前記撮像部に備えられた第1の駆動部を制御し、前記撮像部を移動させ、前記特定の物品が含まれていないと判定した場合には前記載置台に備えられた第2の駆動部を制御し、載置台を移動または変形させることで、前記撮像部と前記物体との相対位置を変更し、前記相対位置が変更された状態で前記撮像部により撮像された第2の画像に基づき、前記物体の認識を行う、ことを含む。

また、本開示の一側面である認識装置は、撮像部により撮像された、載置台に配置された物体の第1の画像に基づいて、前記物体に特定の物品が含まれていると判定した場合に前記撮像部を移動させるように前記撮像部に取り付けられた第1の駆動部を制御し、前記
物体に前記特定の物品が含まれていないと判定した場合に前記載置台を移動または変形させるように前記載置台に取り付けられた第2の駆動部を制御することで前記撮像部と前記物体との相対位置を変化させ、前記相対位置が変化した状態で撮像した前記載置台に配置された前記物体の第2の画像に基づき、前記物体の認識を行うプロセッサを備えることを含む。

また、本開示の一側面である認識方法は、プロセッサが、撮像部により撮像された、載置台に配置された物体の第1の画像に基づいて、前記物体に特定の物品が含まれているかを判定し、前記物体に、前記特定の物品が含まれていると判定した場合には前記撮像部を移動させるように前記撮像部に取り付けられた第1の駆動部を制御し前記撮像部と前記物体との相対位置が変更された状態で前記撮像部に第2画像を撮影させ、前記特定の物品が含まれていないと判定した場合には前記載置台移動または変形させるように前記載置台に取り付けられた第2の駆動部を制御し前記撮像部と前記物体との相対位置が変更された状態で前記撮像部に前記載置台に配置された前記物体の前記第2画像を撮影させ、前記第2の画像に基づき、前記物体の認識を行う、ことを含む。
また、本開示の一側面である認識プログラムは、プロセッサに、撮像部により撮像された、載置台に配置された物体の第1の画像に基づいて、前記物体に特定の物品が含まれているかを判定させ、前記物体に、前記特定の物品が含まれていると判定された場合には前記撮像部が移動するように前記撮像部に取り付けられた第1の駆動部が制御させられることで前記撮像部と前記物体との相対位置を変更させ、前記相対位置が変更した状態で前記撮像部第2画像を撮影させられ、前記特定の物品が含まれていないと判定された場合には前記載置台が移動または変形するように前記載置台に取り付けられた第2の駆動部が制御させられることで前相対位置を変更させ、前記相対位置が変更した状態で前記撮像部前記第2画像を撮影させられ、前記第2の画像に基づき、前記物体の認識を行わせることを含む。
上記のように構成された本開示によれば、認識システムにおいて、簡便な構成で高精度に認識を行うことが可能となる。
図1は、本開示に係る認識システムが備える、レジ端末及び認識装置の概略構成を示す機能ブロック図である。 図2は、本開示に係る認識システムが備える、レジ端末及び認識装置の外観図である。 図3は、第1の実施例に係る認識装置による、レジ端末に備えられた駆動部の制御方法を示す図である。 図4は、図3における撮像部と物体との相対位置の変更前後を示す図である。 図5は、第2の実施例に係る認識装置による、レジ端末に備えられた駆動部の制御方法を示す図である。 図6は、第3の実施例に係る認識装置による、レジ端末に備えられた駆動部の制御方法を示す図である。 図7は、図6における撮像部と物体との相対位置の変更前後を示す図である。 図8は、第4の実施例に係る認識装置による、レジ端末に備えられた駆動部の制御方法を示す図である。 図9は、図8における撮像部と物体との相対位置の変更前後を示す図である。 図10は、第5の実施例に係る認識装置による、レジ端末に備えられた駆動部の制御方法を示す図である。 図11は、図10における撮像部と物体との相対位置の変更前後を示す図である。 図12は、第6の実施例に係る認識装置による、レジ端末に備えられた駆動部の制御方法を示す図である。 図13は、第7の実施例に係る認識装置による、レジ端末に備えられた駆動部の制御方法を示す図である。 図14は、図13における撮像部と物体との相対位置の変更前後を示す図である。 図15は、第8の実施例に係る認識装置による、レジ端末に備えられた駆動部の制御方法を示す図である。 図16は、本開示に係る認識装置での第1の認識及び制御処理方法を示すフローチャート図である。 図17は、本開示に係る認識装置での第2の認識及び制御処理方法を示すフローチャート図である。 図18は、本開示に係る認識装置での第3の認識及び制御処理方法を示すフローチャート図である。 図19は、本開示に係る認識装置での第4の認識及び制御処理方法を示すフローチャート図である。 図20は、本開示に係る認識装置での第5の認識及び制御処理方法を示すフローチャート図である。
以下、本発明を適用したPOSシステムの実施形態について、図面を参照して説明する。
図1に示すように、本開示に係る認識システム1000は、レジ端末1と認識装置2を含んで構成されている。
以後の図において、各機能ブロックを結ぶ実線の矢印は、制御信号又は通信される情報の流れを示す。矢印が示す通信は有線通信であってもよいし、無線通信であってもよい。
レジ端末1は、物体の撮像を行い、撮像して得られた画像を認識装置2に送信する。その後、認識装置2から制御信号を受信した場合、レジ端末1は、制御信号に基づいて駆動部14を制御し、その後再度物体の撮像を行う。
認識装置2は、レジ端末1から撮像された画像を受信し、前記画像に基づいて認識処理を行い、認識結果に応じて制御信号をレジ端末1に送信する。
なお、図1において、レジ端末1と認識装置2はそれぞれ独立して構築されているが、例えば、認識装置2はレジ端末1に含まれる1つのモジュールとして組み込まれてもよい。その場合、第1の送受信モジュール13と第2の送受信モジュール21は省略してもよい。以下、レジ端末1と認識装置2がそれぞれ独立して構築されている前提として説明する。
レジ端末1は、撮像部11、保持部12、第1の送受信モジュール13、駆動部14、載置台15を含んで構成されている。
認識装置2は、第2の送受信モジュール21、メモリ22、プロセッサ23を含んで構成されている。
以下、レジ端末1及び認識装置2の構成要素について、実際に想定される処理フロー(例えば、図16乃至20)に則って説明を行う。従って、それらの構成要素がレジ端末1もしくは認識装置2のどちらに含まれるかについて注意されたい。ただし、先述したように、レジ端末1と認識装置2は必ずしもそれぞれ独立して構築される必要はない。
保持部12によって保持される撮像部11は、後述する載置台15に備えられた物体を撮像する。
撮像部11は、撮像光学系及び撮像素子を含んで構成される。撮像光学系は、例えば、1個以上のレンズ及び絞りなどの光学部材を含む。レンズは、焦点距離に囚われずどのようなものであってもよく、例えば、一般的な凸レンズ、魚眼レンズを含む広角レンズ、または、焦点距離が可変であるズームレンズであってもよい。撮像光学系は、被写体像を撮像素子の受光面に結像させる。撮像素子は、例えば、CCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサなどを含む。撮像素子は、受光面上に結像された被写体像を撮像して撮像画像を生成する。
保持部12は、例えば、樹脂、金属またはプラスチックなどの何れか1つの素材によって構成されること、また、複数の素材の組み合わせによって構成されることを含む。また、形状は、例えば、片持ちまたは両持ちのアーム状などであることを含む。ただし、撮像部11を保持し、後述する駆動部14による変形または移動に耐えうる剛性が確保されるのであれば、ここに挙げた構成または形状に限られず、どのような様態であってもよい。
第1の送受信モジュール13は、撮像部11が撮像した画像を認識装置2に備えられる第2の送受信モジュール21へ送信する。また、第1の送受信モジュール13は、第2の送受信モジュール21から送信される制御信号を受信し、駆動部14へ送信する。
第2の送受信モジュール21は、第1の送受信モジュール13から送信された画像を受信し、メモリ22に送信する。また、第2の送受信モジュール21は、プロセッサ23から受信した制御信号を第1の送受信モジュール13に送信する。
第1の送受信モジュール13及び第2の送受信モジュール21は、例えば、有線LAN(Local Area Network)通信モジュールまたは無線LAN通信モジュールなどであってもよい。
メモリ22は、第2の送受信モジュール21から受信した画像及び後述する認識処理で用いる照合用データ(例えば、画像データベースまたは学習済みモデルなど)を格納する。後述するプロセッサ23は、必要に応じてメモリ22に格納されている画像または照合用データにアクセスする。
なお、メモリ22は必ずしも認識装置2に備えられる必要はない。つまり、メモリ22は必ずしも第2の送受信モジュール21から受信した画像を格納する必要はなく、第2の送受信モジュール21から後述するプロセッサ23に画像を直接送信してもよい。その場合、メモリ22は照合用データを格納するため、例えば、Webサービス上のクラウドとしてもよい。その場合、プロセッサ23の照合用データへのアクセスのために、第2の送受信モジュール21はクラウドとの通信を行ってよい。また、メモリ22を2個備え、それぞれに画像と照合用データを格納してもよく、メモリ22を2個以上備え、画像と照合用データを分散させて格納してもよい。
メモリ22は、例えばROM(Read Only Memory)、RAM(Randam Access Memory)などを含む。
プロセッサ23は、認識部231と制御部232を含む。プロセッサ23は、メモリ22にアクセスし、メモリ22に格納された画像及び照合用データを取得する。そして、認識部231によって認識処理及び認識処理で得られた認識結果に基づく判断処理が行われ、判断処理の結果に基づいて制御部232が制御信号を生成する。制御信号は、第2の送受信モジュール21及び第1の送受信モジュール13を介してレジ端末1に備えられる駆動部14に送信される。また、プロセッサ23は、メモリ22と同様に、必ずしも認識装置2に備えられる必要はない。つまり、プロセッサ22はWebサービス上のクラウドとしてもよい。その場合、プロセッサ23に係る処理について、第2の送受信モジュール21はクラウドとの通信を行ってよい。
一般に、認識処理は以下のようなステップで行われる。まず、プロセッサ23は、画像に対してノイズまたは歪みの除去を含む前処理を行う。次に、プロセッサ23は、物体の輪郭の強調、明瞭度またはコントラストの調整など含む前処理を行う。続いて、プロセッサ23は、画像から物体の領域を抽出し、抽出した領域を用いて物体認識を行う。なお、画像内に複数の物体がある場合、プロセッサ23は、物体数分の領域の抽出及び物体認識を行ってもよい。また、プロセッサ23は抽出した領域を用いて、物体の領域の面積を求めてよい。
ここでの物体の領域の抽出手法は、例えば、バウンディングボックスを用意し、一定の画素数ずつずらしながら領域候補を抽出する手法、または、画素単位で領域候補を抽出するセマンティックセグメンテーション手法を含む。
ここでの物体認識の手法は、例えば、パターンマッチングと深層学習を含む。パターンマッチングの場合、例えば、認識結果(画像に含まれる物体は何であるか)と認識結果のマッチング率が得られることを含む。深層学習の場合、例えば、認識結果と認識結果の信頼度または尤度などが得られることを含む。
なお、ここまでの認識処理の説明は、物体の領域の抽出と、抽出した領域を用いて物体認識を行うものであったが、例えば、物体の領域の抽出を伴わない物体認識手法を用いる場合は、物体の領域の抽出は省略してもよい。また、ここまで認識処理の説明は、前処理を行うものであったが、前処理しないで物体認識を行っても良い。
プロセッサ23は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)またはFPGA(Field-Programmable Gate Array)などを含む。
駆動部14は、撮像部11を備える保持部12または載置台15の少なくとも何れかに1つ以上備えられる。駆動部14は、第1の送受信モジュール13及び第2の送受信モジュール21を介して、制御部232が生成した制御信号に基づいて駆動し、撮像部11と物体との相対位置を変更させる(図2を参照)。制御信号は例えば、物体の認識結果の評価値が所定の条件を満たす場合に生成されることを含む。所定の条件とは、例えば、評価値が所定の閾値未満の場合であること、物体の重畳があること、事前に指定した特定の物品(例えば、生卵または陶器などの壊れ物、生魚または総菜など生鮮食品などを含む注意物品)があることを含む。評価値とは、例えば、パターンマッチングによって得られた認識結果のマッチング率、深層学習によって得られた認識結果の信頼度または尤度、または物体の領域の面積値を含む。
相対位置の変更とは、例えば、駆動部14によって、駆動部14が備えられた撮像部11または後述する載置台15を、変形または移動させることを含む。変形とは、例えば、湾曲または伸縮を含む。移動とは、例えば、並進運動または回転運動を含む。変形および移動は、例えば、互いに直交する3軸(x軸、y軸及びz軸)の少なくとも何れか1つに沿って、または、軸として行うこと、または、特定の基準を設けずにランダムに行うことを含む。
駆動部14は、例えば、電磁式モータ、超音波モータ、静電気力モータ、油圧モータ、空気圧モータ、圧電アクチュエータ(例えば、モノモルフ、バイモルフまたは積層型)などを含む。また、駆動部14を複数備える場合、備える場所または位置に応じて、異なる種類の駆動部14を用いてもよい。また、駆動部14は、ここに挙げたようなモータ及びアクチュエータに限らず、ドローンを含む移動体であってもよい。
載置台15は、撮像部11の撮像対象である物体が配置される。
載置台15は、例えば、樹脂、金属またはプラスチックなどの何れか1つの素材によって構成されてもよいし、これらの組み合わせで構成されてもよい。また、形状は、例えば、撮像部11に面する面が長方形、正方形または円などである立体などでもよい。また、特定の載置台15を用意せず、撮像部11による撮像範囲を載置台15と見なしてもよい。ただし、例えば撮像部11を保持し、後述する駆動部14による変形または移動に耐えうる剛性が確保されるのであれば、ここに挙げた構成または形状に限られず、どのような様態であってもよい。
図2には、レジ端末1及び認識装置2の外観図が示されている。図2において、第1の送受信モジュール13及び第2の送受信モジュール21は、それぞれ認識装置2を備えるハードウェア及び載置台15の外面に備えられているが、その他の位置に備えられてもよい。例えば、第1の送受信モジュール13及び第2の送受信モジュール21は、それぞれ認識装置2のハードウェア及び載置台15を含むレジ端末1に内蔵されてもよい。また、第1の送受信モジュール13は、例えば、撮像部11に備えられてもよい。
また、図2において、駆動部14は備える位置に応じて、駆動部14a、14b、14cまたは14dと記号が振られていることに注意されたい。
次に、図3乃至15を用いて、駆動部14の備えられる位置に応じて、どのように駆動部14が駆動し、撮像部11と物体(以下商品A、B及びC)との相対位置が変更されるかを説明する。
まず、図3乃至7を用いて、駆動部14が載置台15に備えられた場合について幾つか例示しながら説明する。
図3には、第1の実施例として、レジ端末1において、駆動部14aが載置台15に備えられている。そして、駆動部14aは、認識装置2から受信した制御信号に基づき、載置台15をx軸方向に往復による並進運動させている。
この場合、往復による並進運動により、商品Aと商品Bの重畳が解消されている(並進運動の結果、商品Aが商品A’のように転がり落ちる)。
第1の実施例における、撮像部11が撮像する、載置台15の並進運動の前(相対位置変更前)の第1の画像と、並進運動の後(相対位置変更後)の第2の画像が図4に示されている。
載置台15の並進運動に伴う相対位置が変更される前の状態では、商品Aが商品Bに寄りかかる形で載置台15に置かれており、商品Aの識別が困難であることが分かる。これに対して、相対位置が変更された後の状態では、寄りかかりが解消され、商品A(商品A’)の識別の困難さが緩和されていることが分かる。
図5には、第2の実施例として、レジ端末1において、駆動部14aが載置台15に備えられている。そして、駆動部14aは、認識装置2から受信した制御信号に基づき、駆動部14aが破線矢印方向に伸縮することで、載置台15をy軸方向に湾曲させている。これにより、撮像部11と商品A、Bとの相対位置の変更という観点において、第1の実施例と同じ効果が得られる。
図6には、第3の実施例として、レジ端末1において、駆動部14aが載置台15に備えられている。そして、駆動部14aは、認識装置2から受信した制御信号に基づき、載置台15を、y軸を軸として回転運動させている。
この場合、図7に示すように、第3の実施例における、撮像部11が撮像する、載置台15の回転運動の前(相対位置変更前)の第1の画像では、商品Bの一部が撮像範囲から外れており、商品Bの識別が困難であることが分かる。これに対して、撮像部11が撮像する、載置台15の回転運動の後(相対位置変更後)の第2の画像では、商品Bの全体が撮像範囲に入っており、商品Bの識別の困難さが解消されていることが分かる。
次に、図8乃至15を用いて、駆動部14が保持部12に備えられた場合について幾つか例示しながら説明する。
図8には、第4の実施例として、レジ端末1において、駆動部14bが保持部12に備えられている。そして、駆動部14bは、認識装置2から受信した制御信号に基づき、撮像部11をy軸方向に伸縮させている。この伸縮は、例えば、保持部12が伸縮ロッド構造になっていることを含む。
この場合、図9に示すように、第4の実施例における、撮像部11が撮像する、保持部12の伸縮の前(相対位置変更前)の第1の画像では、商品Cの一部が撮像範囲から外れており、商品Cの識別が困難であることが分かる。これに対して、撮像部11が撮像する、保持部12の伸縮の後(相対位置変更後)の第2の画像では、商品Cの全体が撮像範囲に入っており、商品Cの識別の困難さが解消されていることが分かる。
図10には、第5の実施例として、レジ端末1において、駆動部14cが保持部12と載置台15との接続部に備えられている。そして、駆動部14cは、認識装置2から受信した制御信号に基づき、保持部12をz軸方向に並進運動させている。
この場合、図11に示すように、第5の実施例における、撮像部11が撮像する、保持部12の並進運動の前(相対位置変更前)の第1の画像では、商品Aの一部が撮像範囲から外れており、商品Aの識別が困難であることが分かる。これに対して、撮像部11が撮像する、保持部12の並進運動の後(相対位置変更後)の第2の画像では、商品Aの全体が撮像範囲に入っており、商品Aの識別の困難さが解消されていることが分かる。
図12には、第6の実施例として、レジ端末1において、第5の実施例と同じく、駆動部14cが保持部12と載置台15との接続部に備えられている。そして、駆動部14cは、認識装置2から受信した制御信号に基づき、撮像部11を、x軸を軸として回転運動させている。これにより、例えば商品A及びBの側面を撮像することが可能となり、商品AまたはBの識別の困難さが解消される。
図13には、第7の実施例として、レジ端末1において、駆動部14dが撮像部11と保持部12との接続部に備えられている。そして、駆動部14dは、認識装置2から受信した制御信号に基づき、保持部12が伸縮することで、撮像部11をx軸方向に移動させている。この保持部の伸縮12は、例えば、保持部12が伸縮ロッド構造になっていることによって実行することを含む。
この場合、図14に示すように、第7の実施例における、撮像部11が撮像する、保持部12の伸縮の前(相対位置変更前)の第1の画像では、商品Cの一部が撮像範囲から外れており、商品Cの識別が困難であることが分かる。これに対して、撮像部11が撮像する、相対位置が変更された後(相対位置変更後)の第2の画像では、商品Cの全体が撮像範囲に入っており、商品Cの識別の困難さが解消されていることが分かる。
また、保持部12は、撮像部11を保持し、物体を撮像することが可能となるのであれば、必ずしも図2、3、5、6、8、10、12及び13に示すような片持ちのアーム状を含む様態に限られない。例えば、図15に示すように、保持部12及び駆動部14dをドローンと見なし、ドローンに撮像部11を備える構成としてもよい。この場合、ドローンはx軸、y軸及びz軸のいずれの方向にも移動が容易であり、物体の撮像の自由度が高くなる。
ここまで、レジ端末1及び認識装置2について、本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。例えば、撮像部11と物体との相対位置の変更手法は、ここまでに例として開示した方法以外にも、多くの方法が本開示に基づいて変形及び修正が可能である。例えば、撮像部11と保持部12との接続部に備えられた駆動部14が、撮像部11を回転運動させてもよいし、また、撮像部11を湾曲させてもよい。また、撮像部11と物体との相対位置の変更手法は、本開示及び本開示に基づいて変形及び修正した方法の2つ以上の組み合わせをしてもよい。従って、これらを含む本開示の変形及び修正は本開示の範囲に含まれることに留意されたい。
次に、図16乃至20に基づいて、認識装置2に備えられるプロセッサ23の認識部231及び制御部232の処理について、フローチャートを用いながら説明する。なお、以下の説明において、メモリ22及びプロセッサ23が認識装置2に備えられている前提となっているが、先述したように、メモリ22及びプロセッサ23は例えばWebサービス上のクラウドに備えられてもよい。クラウドにメモリ22及びプロセッサ23が備えられる場合、認識装置2は実質的にクラウド上に認識装置2の機能が与えられるとみなしてよい。
まず、図16を用いてプロセッサ23の第1の認識及び制御処理方法を説明する。
<S001>
プロセッサ23が、撮像部11が撮像した第1の画像を、第1の送受信モジュール13、第2の送受信モジュール21及びメモリ22を介して取得する。その後、<S002>に進む。
<S002>
プロセッサ23が、取得した第1の画像及びメモリ22に格納されている照合用データに基づく物体の認識処理を実行し、第1の画像での認識結果及び認識結果の評価値を生成する。その後、<S003>に進む。
<S003>
プロセッサ23が、第1の画像での認識結果の評価値が所定の閾値未満であるかを判定する。その後、第1の画像での認識結果の評価値が所定の閾値未満である場合、<S004>に進む。また、第1の画像での認識結果の評価値が閾値未満ではない場合、<S007>に進む。
<S004>
駆動部14が撮像部11と物体との相対位置を変更するように制御信号を生成し、第2の送受信モジュール21に送信する。その後、<S005>に進む。制御信号は、例えば、先述してきたような第1乃至8の実施例に対応するように駆動部14を制御することを含む。
<S005>
プロセッサ23が生成した制御信号に基づく駆動部14の駆動後、プロセッサ23が、撮像部11が撮像した第2の画像を、第1の送受信モジュール13、第2の送受信モジュール21及びメモリ22を介して取得する。その後、<S006>に進む。
<S006>
プロセッサ23が、取得した第2の画像及び照合用データに基づく物体の認識処理を実行し、第2の画像での認識結果を生成する。その後、<S007>に進む。
<S007>
プロセッサ23はそれぞれ第1の画像での認識結果または第2の画像での認識結果に基づいて物体認識結果を確定する。その後、処理を終了する。
次に、図17を用いてプロセッサ23の第2の認識及び制御処理方法を説明する。第2の認識及び制御処理方法は、物体の重畳が生じた場合に、プロセッサ23が駆動部14を駆動させるものである。駆動部14が駆動することによって、撮像部11と物体との相対位置が変更され、物体の重畳が解消される。重畳が解消されることで、撮像部11は正確な物体の撮像が可能になる。
<S101>乃至<S102>
これらの処理は、プロセッサ23の第1の認識及び制御処理方法における<S001>乃至<S002>に対応する。<S102>の処理後、<S103>に進む。
<S103>
プロセッサ23が、第1の画像の認識結果において、複数の物体の重畳があるかを判定する。第1の画像での認識結果において複数の物体の重畳があると判定された場合、<S104>に進む。また、第1の画像での認識結果において複数の物体の重畳があると判定されなかった場合、<S107>に進む。
<S104>
プロセッサ23は駆動部14が撮像部11と物体との相対位置を変更するように制御信号を生成する。その後、<S105>に進む。
<S105>及び<S106>
これらの処理は、プロセッサ23の第1の認識及び制御処理方法における<S005>及び<S006>に対応する。<S106>の処理後、<S107>に進む。
<S107>
及び、プロセッサ23が第2の画像での認識結果を生成した場合、プロセッサ23はそれぞれ第1の画像での認識結果または第2の画像での認識結果に基づいて物体認識結果を確定する。その後、処理を終了する。
次に、図18を用いてプロセッサ23の第3の認識及び制御処理方法を説明する。第3の認識及び制御処理方法は、注意物品が物品の中にあるか否かに応じて、プロセッサ23が駆動部14の駆動方法を変更するものである。注意物品がある場合、載置台1に備えられた駆動部14aが駆動すると、物体を破損させてしまう可能性がある。そのため、載置台15に備えられない駆動部14b、14cまたは14dを駆動させることによって、物体を破損させる可能性を低減することが可能になる。なお、注意物品に関するリストは、照合用データの一部として含まれる。そして、注意物品があるか否かの判定は、照合用データに基づいて判定することが可能となる。
<S201>乃至<S203>
これらの処理は、プロセッサ23の第1の認識及び制御処理方法における<S001>乃至<S003>に対応する。<S203>の処理において、第1の画像での認識結果の評価値が所定の閾値未満である場合、<S204>に進む。また、第1の画像での認識結果の評価値が所定の閾値未満ではない場合、<S209>に進む。
<S204>
プロセッサ23は、第1の認識結果において注意物品が少なくとも1つ以上含まれているかを判定する。第1の画像での認識結果において注意物品があると判定されなかった場合、<S205>に進む。また、第1の画像での認識結果において注意物品があると判定された場合、<S206>に進む。
<S205>
プロセッサ23は、載置台15に備えられた駆動部14aが撮像部11と物体との相対位置を変更するように制御信号を生成する。その後、<S207>に進む。
<S206>
プロセッサ23は、載置台15に備えられていない駆動部14b、13cまたは13dが撮像部11と物体との相対位置を変更するように制御信号を生成する。その後、<S207>に進む。
<S207>乃至<S209>
これらの処理は、プロセッサ23の第1の認識及び制御処理方法における<S006>乃至<S008>に対応する。<S209>の処理後、処理を終了する。
次に、図19を用いてプロセッサ23の第4の認識及び制御処理方法を説明する。撮像部11と物体との相対位置を変更する回数が1回のみである第1乃至3の認識及び制御処理方法に対して、第4の認識及び制御処理方法は、撮像部11と物体との相対位置を変更する回数は特に限定されない。相対位置を変更する回数が限定されないことにより、十分な認識結果の評価値が得られるまで相対位置を変更することが可能になる。
<S301>
プロセッサ23が、撮像部11の撮像回数を意味するn(初期値:n=1)を定義する。その後、<S302>に進む。
<S302>
プロセッサ23が、撮像部11が撮像した第nの画像を、第1の送受信モジュール13、第2の送受信モジュール21及びメモリ22を介して取得する。その後、<S303>に進む。
<S303>
プロセッサ23が、取得した第nの画像及びメモリ22に格納されている照合用データに基づく物体の認識処理を実行し、第nの画像での認識結果及び認識結果の評価値を生成する。その後、<S304>に進む。
<S304>
プロセッサ23が、第nの画像での認識結果の評価値が所定の閾値未満であるかを判定する。第nの画像での認識結果の評価値が所定の閾値未満である場合、<S305>に進む。また、第nの画像での認識結果の評価値が閾値未満ではない場合、<S307>に進む。
<S305>
プロセッサ23は、駆動部14が撮像部11と物体との相対位置を変更するように制御信号を生成する。その後、<S306>に進む。
<S306>
プロセッサ23が生成した制御信号に基づく駆動部14の駆動後、プロセッサ23が、n=n+1の処理を行う。その後、<S302>に戻る。n=n+1の処理を行うことによって、複数回の撮像及び、撮像を行った回数をプロセッサ23が認知することが可能となる。
<S307>
プロセッサ23は第nの画像での認識結果に基づいて物体認識結果を確定する。その後、処理を終了する。
次に、図20を用いてプロセッサ23の第5の認識及び制御処理方法を説明する。認識結果の評価値が所定の閾値を満たすまで、繰り返し撮像部11と物体との相対位置の変更を行う第4の認識及び制御処理方法に対して、第5の認識及び制御処理方法は、相対位置の変更回数に上限を設けている。複数回の相対位置の変更を行うことによって、認識処理にかかる時間が増えてしまい、ユーザに不快感を与えてしまうことがある。そのため、上限を設けることによって、相対位置の変更を伴う認識処理が上手くいかない場合でも、ユーザに不快感を与えないように別処理を行うことが可能となる。
<S401>
プロセッサ23が、撮像部11の撮像回数を意味するn(初期値:n=1)及び撮像回数の上限値であるm(mは任意の自然数)を定義する。その後、<S402>に進む。
<S402>乃至<S404>
これらの処理は、プロセッサ23の第4の認識及び制御処理方法における<S301>乃至<S303>に対応する。<S404>において、第nの画像での認識結果の評価値が所定の閾値未満ではない場合、<S405>に進む。また、第nの画像での認識結果の評価値が所定の閾値未満である場合、<S406>に進む。
<S405>
この処理は、プロセッサ23の第4の認識及び制御処理方法における<S307>に対応する。<S405>の処理後、処理を終了する。
<S406>
プロセッサ23においてn<mであるかの判定を行う。プロセッサ23においてn<mである場合、<S407>に進む。また、プロセッサ23においてn<mでない場合、<S409>に進む。
<S407>
プロセッサ23は、駆動部14が撮像部11と物体との相対位置を変更するように制御信号を生成する。その後、<S408>に進む。
<S408>
この処理は、プロセッサ23の第4の認識及び制御処理方法における<S307>に対応する。その後、<S402>に戻る。
<S409>
プロセッサ23は、ユーザへ認識が失敗したことを報知する。その後、処理を終了する。ユーザへの報知は、例えば、別途備えるディスプレイに認識が失敗した旨を表示すること、別途備えるスピーカーで認識が失敗した旨をアナウンス又はビープ音等で報知すること、または、第1乃至nの画像に基づく認識結果を候補としてディスプレイに表示し、タッチ操作またはボタン操作によってユーザに修正させることを含む。タッチ操作による修正を行う場合、ディスプレイはタッチパネルを備えてもよい。また、ボタン操作による修正を行う場合、ディスプレイは周辺部に物理ボタンを備えてもよい。なお、必ずしも先に示したようなユーザへ認識が失敗したことを報知する必要はなく、例えば、店員に対して認識が失敗したことを報知してもよい。
ここまで、認識装置2に備えられるプロセッサ23の認識及び制御処理方法について、本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。例えば、プロセッサ23の認識及び制御処理方法は、ここまでに例として開示した方法以外にも、多くの方法が本開示に基づいて変形及び修正が可能である。例えば、プロセッサ23の第3の認識及び制御処理方法において、注意物品がある場合、駆動部14を駆動させずにユーザに認識の失敗を通知してもよいし、プロセッサ23の第4の認識及び制御処理方法において、<S303>の照合用データの取得を、<S302>の第nの画像の取得前に行ってもよい。また、プロセッサ23の認識及び制御処理方法について、本開示及び本開示に基づいて変形及び修正した方法の2つ以上の組み合わせをしてもよい。従って、これらを含む本開示の変形及び修正は本開示の範囲に含まれることに留意されたい。
また、ここまでの認識システム、認識装置、及び、認識及び制御処理方法に係る本開示は、主としてPOSシステムへの適用を考慮していたが、必ずしも適用先はPOSシステムとは限らない。例えば、工場での製品の品質検査、または、農産品の品質検査などに本開示を適用してもよい。品質検査においても、単一のカメラで複数面の撮像が可能となり、キズの有無などを判定することが可能となる。また、本開示によって得られた撮像画像は、物体認識に用いる学習データとして直接、または少なくとも一部を加工して用いることも可能である。その場合、学習用に用いる画像を効率的に取得可能となる。
さらに、これまでに述べたように、本開示の解決手段を認識システム、認識装置、認識方法、及び認識プログラムとして説明してきたが、本開示は、これらを含む態様としても実現し得るものであり、また、これらに実質的に相当する、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本開示の範囲にはこれらも包含されるものと理解されたい。
1 レジ端末
2 認識システム
11 撮像部
12 保持部
13 第1の送受信モジュール
14、14a、14b、14c、14d 駆動部
14e ドローン
15 載置台
21 第2の送受信モジュール
22 メモリ
23 プロセッサ
231 認識部
232 制御部
1000 認識装置
A,B,C 物体(商品)

Claims (8)

  1. 物体が配置される載置台と、
    前記載置台に配置された前記物体の第1の画像を撮像する撮像部と、
    前記第1の画像に基づいて前記物体に特定の物品が含まれているかを判定するプロセッサと、を備え、
    前記プロセッサは、前記物体に前記特定の物品が含まれていると判定した場合には前記撮像部に備えられた第1の駆動部を制御し、前記撮像部を移動させ、前記特定の物品が含まれていないと判定した場合には前記載置台に備えられた第2の駆動部を制御し、載置台を移動または変形させることで、前記撮像部と前記物体との相対位置を変更し、前記相対位置が変更された状態で前記撮像部により撮像された第2の画像に基づき、前記物体の認識を行う、
    認識システム。
  2. 前記特定の物品に関する情報を含む照合用データを記憶するメモリを有する、請求項1に記載の認識システム。
  3. 前記特定の物品は生卵、陶器、生魚または総菜を含む、請求項1に記載の認識システム。
  4. 前記載置台の変形は、湾曲、または、伸縮であり、前記載置台の移動は、並進運動、または、回転運動である、請求項1または2に記載の認識システム。
  5. 前記撮像部の移動は、並進運動、または、回転運動である、請求項1または2に記載の認識システム。
  6. 撮像部により撮像された、載置台に配置された物体の第1の画像に基づいて、前記物体に特定の物品が含まれていると判定した場合に前記撮像部を移動させるように前記撮像部に取り付けられた第1の駆動部を制御し、前記物体に前記特定の物品が含まれていないと判定した場合に前記載置台を移動または変形させるように前記載置台に取り付けられた第2の駆動部を制御することで前記撮像部と前記物体との相対位置を変化させ、前記相対位置が変化した状態で撮像した前記載置台に配置された前記物体の第2の画像に基づき、前記物体の認識を行うプロセッサを備えた
    認識装置。
  7. プロセッサが、撮像部により撮像された、載置台に配置された物体の第1の画像に基づいて、前記物体に特定の物品が含まれているかを判定し、
    前記物体に、前記特定の物品が含まれていると判定した場合には前記撮像部を移動させるように前記撮像部に取り付けられた第1の駆動部を制御し前記撮像部と前記物体との相対位置が変更された状態で前記撮像部に第2画像を撮影させ、前記特定の物品が含まれていないと判定した場合には前記載置台移動または変形させるように前記載置台に取り付けられた第2の駆動部を制御し前記撮像部と前記物体との相対位置が変更された状態で前記撮像部に前記載置台に配置された前記物体の前記第2画像を撮影させ
    前記第2の画像に基づき、前記物体の認識を行う、
    認識方法。
  8. プロセッサに、撮像部により撮像された、載置台に配置された物体の第1の画像に基づいて、前記物体に特定の物品が含まれているかを判定させ、
    前記物体に、前記特定の物品が含まれていると判定された場合には前記撮像部が移動するように前記撮像部に取り付けられた第1の駆動部が制御させられることで前記撮像部と前記物体との相対位置を変更させ、前記相対位置が変更した状態で前記撮像部第2画像を撮影させられ、前記特定の物品が含まれていないと判定された場合には前記載置台が移動または変形するように前記載置台に取り付けられた第2の駆動部が制御させられることで前相対位置を変更させ、前記相対位置が変更した状態で前記撮像部前記第2画像を撮影させられ
    前記第2の画像に基づき、前記物体の認識を行わせる
    認識プログラム。
JP2019230766A 2019-12-20 2019-12-20 認識システム、認識装置、認識方法、認識プログラム Active JP7364457B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019230766A JP7364457B2 (ja) 2019-12-20 2019-12-20 認識システム、認識装置、認識方法、認識プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019230766A JP7364457B2 (ja) 2019-12-20 2019-12-20 認識システム、認識装置、認識方法、認識プログラム

Publications (2)

Publication Number Publication Date
JP2021100179A JP2021100179A (ja) 2021-07-01
JP7364457B2 true JP7364457B2 (ja) 2023-10-18

Family

ID=76541488

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019230766A Active JP7364457B2 (ja) 2019-12-20 2019-12-20 認識システム、認識装置、認識方法、認識プログラム

Country Status (1)

Country Link
JP (1) JP7364457B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117789380B (zh) * 2023-12-26 2024-07-30 深圳市君时达科技有限公司 一种购物结帐的自助结算方法、系统、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013031013A (ja) 2011-07-28 2013-02-07 Toshiba Corp 電子機器、電子機器の制御方法、電子機器の制御プログラム
JP2017010535A (ja) 2015-06-25 2017-01-12 東芝テック株式会社 物品認識装置および画像処理方法
JP2017220198A (ja) 2016-06-01 2017-12-14 サインポスト株式会社 情報処理システム
JP2018120367A (ja) 2017-01-24 2018-08-02 パナソニックIpマネジメント株式会社 買物支援システム
JP2018169752A (ja) 2017-03-29 2018-11-01 パナソニックIpマネジメント株式会社 商品認識システム、学習済みモデル、及び商品認識方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013031013A (ja) 2011-07-28 2013-02-07 Toshiba Corp 電子機器、電子機器の制御方法、電子機器の制御プログラム
JP2017010535A (ja) 2015-06-25 2017-01-12 東芝テック株式会社 物品認識装置および画像処理方法
JP2017220198A (ja) 2016-06-01 2017-12-14 サインポスト株式会社 情報処理システム
JP2018120367A (ja) 2017-01-24 2018-08-02 パナソニックIpマネジメント株式会社 買物支援システム
JP2018169752A (ja) 2017-03-29 2018-11-01 パナソニックIpマネジメント株式会社 商品認識システム、学習済みモデル、及び商品認識方法

Also Published As

Publication number Publication date
JP2021100179A (ja) 2021-07-01

Similar Documents

Publication Publication Date Title
CN105049673B (zh) 图像处理装置及图像处理方法
JP5057936B2 (ja) 鳥瞰画像生成装置および方法
US20060098872A1 (en) Three-dimensional imaging system for pattern recognition
CN100379530C (zh) 图像处理装置
CN109819675B (zh) 图像生成装置以及图像生成方法
US20140118557A1 (en) Method and apparatus for providing camera calibration
CN109146961B (zh) 一种基于虚拟矩阵的3d测量及获取装置
JP5493108B2 (ja) 距離画像カメラを用いた人体識別方法および人体識別装置
JP7364457B2 (ja) 認識システム、認識装置、認識方法、認識プログラム
JP6731097B2 (ja) 人体行動分析方法、人体行動分析装置、機器及びコンピュータ可読記憶媒体
CN105980928B (zh) 使用超声波深度感测的rgb-d成像系统和方法
JP2017059207A (ja) 画像認識方法
CN108124090A (zh) 移动机器人双摄像头人脸识别装置及方法
JP5001930B2 (ja) 動作認識装置及び方法
JP2006217939A5 (ja)
US9532030B2 (en) Integrated three-dimensional vision sensor
JPWO2015132981A1 (ja) 位置測定装置及び位置測定方法
CN109146949B (zh) 一种基于视频数据的3d测量及信息获取装置
JP7135324B2 (ja) 情報処理装置、情報処理システム及びプログラム
KR102015099B1 (ko) 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법
US10789730B2 (en) Method and apparatus for monitoring a position
JP6761938B2 (ja) 移動方向決定方法および移動方向決定装置
WO2014171438A1 (ja) 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム
JP2011120076A (ja) 画像検出装置及び画像検出方法
WO2022158494A1 (ja) 表示装置及び表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231005

R150 Certificate of patent or registration of utility model

Ref document number: 7364457

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150