JP7424800B2 - 制御装置、その制御方法、及び制御システム - Google Patents
制御装置、その制御方法、及び制御システム Download PDFInfo
- Publication number
- JP7424800B2 JP7424800B2 JP2019201210A JP2019201210A JP7424800B2 JP 7424800 B2 JP7424800 B2 JP 7424800B2 JP 2019201210 A JP2019201210 A JP 2019201210A JP 2019201210 A JP2019201210 A JP 2019201210A JP 7424800 B2 JP7424800 B2 JP 7424800B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- color
- robot
- workpiece
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 25
- 230000000295 complement effect Effects 0.000 claims description 54
- 238000012545 processing Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 10
- 239000003086 colorant Substances 0.000 description 7
- 230000032258 transport Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
- B25J13/089—Determining the position of the robot with reference to its environment
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
- B25J15/08—Gripping heads and other end effectors having finger members
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J18/00—Arms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Description
本発明は、制御装置、その制御方法、及び制御システムに係り、特に、対象物の３次元点群データとこれに対応するカメラ画像をセンサで求めて、その対象物を取り扱う機械又はロボットの動作を制御する制御装置、その制御方法、及び制御システムに関する。
カメラ画像において対象物となるワークとワークの背景とを区別し、区別されたワークの画像に基づいて、ロボットの動作を制御するロボットシステムが知られている。
例えば、特許文献１には、バラ積みされたワークが搭載されている作業空間を、撮像部を用いて三次元計測し、取得した三次元計測データに基づいて、ワークの背景領域部分を除外したワークの形状を示すワークモデルを生成することの記載がある。また、特許文献１には、モデル座標系を設定し、ワークモデルの把持位置及びロボットの把持部の姿勢で構成される把持データを設定し、ワークの姿勢を順次変更しつつ、モデル座標系の設定及び把持データの設定を繰り返し、複数の把持データをワークモデルごとに対応付けて記憶することの記載がある。そして、特許文献１には、取得した三次元計測データに対して三次元サーチ処理を行い、ワークモデルに設定された把持データに基づいてロボットの把持部の動作を制御することの記載がある。
例えば、特許文献１には、バラ積みされたワークが搭載されている作業空間を、撮像部を用いて三次元計測し、取得した三次元計測データに基づいて、ワークの背景領域部分を除外したワークの形状を示すワークモデルを生成することの記載がある。また、特許文献１には、モデル座標系を設定し、ワークモデルの把持位置及びロボットの把持部の姿勢で構成される把持データを設定し、ワークの姿勢を順次変更しつつ、モデル座標系の設定及び把持データの設定を繰り返し、複数の把持データをワークモデルごとに対応付けて記憶することの記載がある。そして、特許文献１には、取得した三次元計測データに対して三次元サーチ処理を行い、ワークモデルに設定された把持データに基づいてロボットの把持部の動作を制御することの記載がある。
また、カメラ画像において対象物と対象物の背景とを区別する技術が、例えば特許文献２、３及び４に記載されている。
特許文献２には、距離画像および輝度画像の双方を生成するに際し、高解像度の輝度画像を生成できるようにする測距装置が記載されている。具体的には、特許文献２には、測距光照射部が、所定周期にて強度変調された測距光を被写体（対象物となる）に照射し、複数の受光素子が配列されたＣＣＤが被写体による測距光の反射光を受光し、受光光量に応じた信号を出力することの記載がある。この際、撮像制御部は、所定数の受光素子からなる受光素子単位にて、測距光の変調周期における互いに異なる複数の位相において反射光をそれぞれ受光して、複数の位相毎に信号を取得するようＣＣＤを制御する。距離画像生成部は、複数の位相毎の信号に基づいて、受光素子単位にて被写体までの距離を表す距離情報を算出し、距離情報を各画素の情報とする距離画像を生成する。輝度画像生成部が、複数の位相毎の信号に基づいて、受光素子単位にて被写体の輝度を表す輝度情報を複数算出し、各輝度情報を各画素の情報とする輝度画像を生成する。
特許文献２には、距離画像および輝度画像の双方を生成するに際し、高解像度の輝度画像を生成できるようにする測距装置が記載されている。具体的には、特許文献２には、測距光照射部が、所定周期にて強度変調された測距光を被写体（対象物となる）に照射し、複数の受光素子が配列されたＣＣＤが被写体による測距光の反射光を受光し、受光光量に応じた信号を出力することの記載がある。この際、撮像制御部は、所定数の受光素子からなる受光素子単位にて、測距光の変調周期における互いに異なる複数の位相において反射光をそれぞれ受光して、複数の位相毎に信号を取得するようＣＣＤを制御する。距離画像生成部は、複数の位相毎の信号に基づいて、受光素子単位にて被写体までの距離を表す距離情報を算出し、距離情報を各画素の情報とする距離画像を生成する。輝度画像生成部が、複数の位相毎の信号に基づいて、受光素子単位にて被写体の輝度を表す輝度情報を複数算出し、各輝度情報を各画素の情報とする輝度画像を生成する。
特許文献３には、カメラの焦点調整等の面倒な操作を必要とせず、かつ、異なる焦点距離で配置される被写体を容易に切り換えて送信することができる画像通信装置が記載されている。具体的には、特許文献３には、通話者に投影された投影パターンを第１のカメラおよび第２のカメラで撮影することによって得られる距離画像に基づいて輝度画像から通話者の画像領域を輝度領域抽出部で抽出することの記載がある。
ワーク等の対象物を取り扱う機械又はロボットの動作を制御する制御装置の場合、対象物が汚れた面に置かれていた場合、カメラ画像を用いて対象物の形状を特定しようとした場合、汚れた領域が、対象物が置かれた領域と重なって対象物の輪郭が不明瞭となり対象物の形状を誤認識する場合がある。また、対象物が置かれた面が網目であると、カメラ画像では対象物と網目の部分との区別がつきにくく、対象物の位置を誤認識する場合がある。さらに、対象物が黒色で、対象物が置かれた面が黒色に近い場合、又は対象物が白色で、対象物が置かれた面が白色に近い場合、カメラ画像では対象物と対象面の置かれた面との区別がつきにくく、対象物の形状を誤認識する場合がある。
これらの誤認識をなくすために、対象物を検出する機能の検索パラメータの閾値、例えば輪郭パターンがどの程度一致するかの閾値を高く設定することができるが、閾値を高くしすぎると対象物を検出することが難しくなる。
また、誤認識をなくすために画像フィルタを用いることができるが、画像フィルタを用いると対象物自体の画像にも影響を与える。
よって、カメラ画像で対象物と対象物の背景とを簡易な構成又は方法で明確に切り分けることが望まれる。
これらの誤認識をなくすために、対象物を検出する機能の検索パラメータの閾値、例えば輪郭パターンがどの程度一致するかの閾値を高く設定することができるが、閾値を高くしすぎると対象物を検出することが難しくなる。
また、誤認識をなくすために画像フィルタを用いることができるが、画像フィルタを用いると対象物自体の画像にも影響を与える。
よって、カメラ画像で対象物と対象物の背景とを簡易な構成又は方法で明確に切り分けることが望まれる。
（１） 本開示の第１の態様の制御装置は、対象物の位置を認識して、前記対象物を取り扱う機械又はロボットの動作を制御する制御装置であって、
前記対象物を含む被写体の３次元点群データとこれに対応するカメラ画像とを出力するセンサからの信号を取得するセンサ信号取得部と、
前記３次元点群データから得られる前記被写体の高さが所定値より低い領域を取得する領域取得部と、
前記領域に対応する前記カメラ画像の領域を対象物外領域として設定する対象物外領域設定部と、
前記対象物外領域の色に、前記対象物の色の補色を設定する補色設定部と、
前記対象物外領域に対応する領域の色が補色とされた前記カメラ画像から前記被写体に対する前記対象物の位置を認識する対象物位置認識部と、
少なくとも前記位置を用いて前記機械又はロボットの動作を制御する動作制御部と、
を備えた制御装置である。
前記対象物を含む被写体の３次元点群データとこれに対応するカメラ画像とを出力するセンサからの信号を取得するセンサ信号取得部と、
前記３次元点群データから得られる前記被写体の高さが所定値より低い領域を取得する領域取得部と、
前記領域に対応する前記カメラ画像の領域を対象物外領域として設定する対象物外領域設定部と、
前記対象物外領域の色に、前記対象物の色の補色を設定する補色設定部と、
前記対象物外領域に対応する領域の色が補色とされた前記カメラ画像から前記被写体に対する前記対象物の位置を認識する対象物位置認識部と、
少なくとも前記位置を用いて前記機械又はロボットの動作を制御する動作制御部と、
を備えた制御装置である。
（２） 本開示の第２の態様の制御システムは、
上記（１）に記載の制御装置と、
該制御装置により対象物を取り扱う動作が制御されるロボットと、
前記対象物を含む被写体の３次元点群データとこれに対応するカメラ画像とを前記制御装置に出力するセンサと、
を備えた制御システムである。
上記（１）に記載の制御装置と、
該制御装置により対象物を取り扱う動作が制御されるロボットと、
前記対象物を含む被写体の３次元点群データとこれに対応するカメラ画像とを前記制御装置に出力するセンサと、
を備えた制御システムである。
（３） 本開示の第３の態様の制御方法は、対象物の位置を認識して、前記対象物を取り扱う機械又はロボットの動作を制御する制御装置の制御方法であって、
前記対象物を含む被写体の３次元点群データとこれに対応するカメラ画像とを出力するセンサからの信号を取得し、
前記３次元点群データから得られる前記被写体の高さが所定値より低い領域を取得し、
前記領域に対応する前記カメラ画像の領域を対象物外領域として設定し、
前記対象物外領域の色に、前記対象物の色の補色を設定し、
前記対象物外領域に対応する領域の色が補色とされた前記カメラ画像から前記対象物の位置を認識し、
少なくとも前記位置を用いて前記機械又はロボットの動作を制御する、制御方法である。
前記対象物を含む被写体の３次元点群データとこれに対応するカメラ画像とを出力するセンサからの信号を取得し、
前記３次元点群データから得られる前記被写体の高さが所定値より低い領域を取得し、
前記領域に対応する前記カメラ画像の領域を対象物外領域として設定し、
前記対象物外領域の色に、前記対象物の色の補色を設定し、
前記対象物外領域に対応する領域の色が補色とされた前記カメラ画像から前記対象物の位置を認識し、
少なくとも前記位置を用いて前記機械又はロボットの動作を制御する、制御方法である。
本開示の態様によれば、カメラ画像で対象物と対象物の背景とを簡易な構成又は方法で明確に切り分けることができる。
以下、本発明の実施形態について図面を用いて詳細に説明する。
図１は本発明の一実施形態の制御装置を含むロボットシステムの全体構成を示す模式図である。図２は制御装置の一構成例を示すブロック図である。
図１に示すように、ロボットシステム１０は、被写体の３次元点群と２次元カメラ画像を取得するセンサ１００、ロボット２００、センサ１００から出力される３次元点群と２次元カメラ画像に基づいてロボット２００を制御する制御装置３００、パレット４００、及びパレット４００上に置かれたワーク５００を備える。センサ１００のカメラ画像の被写体はワーク５００が置かれたパレット４００となる。ロボット２００はアームに装着されるハンドでワーク５００を掴んで搬送を行う。ワーク５００はロボット２００によって取り扱われる対象物となる。
制御装置３００は、センサ１００及びロボット２００と通信可能に接続されている。
図１に示すように、ロボットシステム１０は、被写体の３次元点群と２次元カメラ画像を取得するセンサ１００、ロボット２００、センサ１００から出力される３次元点群と２次元カメラ画像に基づいてロボット２００を制御する制御装置３００、パレット４００、及びパレット４００上に置かれたワーク５００を備える。センサ１００のカメラ画像の被写体はワーク５００が置かれたパレット４００となる。ロボット２００はアームに装着されるハンドでワーク５００を掴んで搬送を行う。ワーク５００はロボット２００によって取り扱われる対象物となる。
制御装置３００は、センサ１００及びロボット２００と通信可能に接続されている。
ワーク５００はパレット４００上でなく、ベルトコンベア等のコンベア上、又は作業台上に置かれてもよい。
ワーク５００は、ロボット２００のアームに装着されたハンドで把持可能なものであればよく、その形状等は特に限定されない。
ワーク５００は、ロボット２００のアームに装着されたハンドで把持可能なものであればよく、その形状等は特に限定されない。
まず、ロボットシステム１０の動作の概略について説明する。
センサ１００は、パレット４００上に一定距離をおいて配置され、ワーク５００が置かれたパレット４００の３次元点群データと２次元カメラ画像を取得して、制御装置３００に送る。２次元カメラ画像はカラー画像でもグレースケール画像でもよい。コンベアにワーク５００が置かれる場合、３次元点群データと２次元カメラ画像を同じタイミングで取得するため、コンベアを一旦停止して、３次元点群データと２次元カメラ画像を取得することが好ましい。
センサ１００は、パレット４００上に一定距離をおいて配置され、ワーク５００が置かれたパレット４００の３次元点群データと２次元カメラ画像を取得して、制御装置３００に送る。２次元カメラ画像はカラー画像でもグレースケール画像でもよい。コンベアにワーク５００が置かれる場合、３次元点群データと２次元カメラ画像を同じタイミングで取得するため、コンベアを一旦停止して、３次元点群データと２次元カメラ画像を取得することが好ましい。
制御装置３００は、被写体の３次元点群データから所定の高さより低い３次元点の領域を取得し、更に、この領域に対応する２次元カメラ画像をワーク５００が配置された領域の外の領域（以下、ワーク外領域という）として取得する。所定の高さは予め設定されても、３次元点群データのヒストグラムから求めてもよい。
そして、制御装置３００は、予め保存されたワーク５００の色を取得し、カメラ画像のワーク外領域の色をワーク５００の色の補色に設定する。補色とは、色相環(color circle)で反対に位置する関係の色であるが、反対に位置する色に近い色、例えば色相環で反対に位置する色に隣接する色も含まれるものとする。
また、補色は、一般的にはワーク５００の色が白色、灰色、黒色等の無彩色の場合は存在しないとされるが、白色の補色を黒色、黒色の補色を白色として扱う。なお、白色の補色には黒色に近い灰色、黒色の補色には白色に近い灰色も含まれる。具体的には、ワーク５００の色が白色又は白色に近い灰色のときは、ワーク外領域の色は黒色又は黒色に近い灰色とし、ワーク５００の色が黒色又は黒色に近い灰色のときは、ワーク外領域の色は白色又は白色に近い灰色とする。
そして、制御装置３００は、予め保存されたワーク５００の色を取得し、カメラ画像のワーク外領域の色をワーク５００の色の補色に設定する。補色とは、色相環(color circle)で反対に位置する関係の色であるが、反対に位置する色に近い色、例えば色相環で反対に位置する色に隣接する色も含まれるものとする。
また、補色は、一般的にはワーク５００の色が白色、灰色、黒色等の無彩色の場合は存在しないとされるが、白色の補色を黒色、黒色の補色を白色として扱う。なお、白色の補色には黒色に近い灰色、黒色の補色には白色に近い灰色も含まれる。具体的には、ワーク５００の色が白色又は白色に近い灰色のときは、ワーク外領域の色は黒色又は黒色に近い灰色とし、ワーク５００の色が黒色又は黒色に近い灰色のときは、ワーク外領域の色は白色又は白色に近い灰色とする。
制御装置３００は、ワーク外領域の色がワーク５００の色の補色に設定された２次元カメラ画像から、パレット４００に対するワーク５００の輪郭、位置を認識する。
また、制御装置３００は、３次元点群データからワーク５００の高さを認識し、ロボット２００のハンドがワーク５００を掴む高さを設定する。
また、制御装置３００は、３次元点群データからワーク５００の高さを認識し、ロボット２００のハンドがワーク５００を掴む高さを設定する。
上述したように、制御装置３００は、被写体の３次元点群データからワーク外領域を設定し、２次元カメラ画像のワーク外領域の色をワーク５００の色の補色に設定する。その結果、制御装置３００は、ワーク５００の色とワーク外領域の色とが近い色であっても、網目又は表面が汚れたパレット上にワークが置かれていても、パレット４００に対するワーク５００の輪郭、位置を正しく認識することができる。
制御装置３００は、パレット４００に対するワーク５００の位置と、ロボット２００のハンドがワーク５００を掴む高さとを認識し、ロボット２００のアーム及びハンドを制御する制御信号をロボット２００に送る。
そして、ロボット２００は、制御装置３００の生成した制御信号に基づいてワーク５００をハンドで掴んで、ワーク５００の搬送を行う。
そして、ロボット２００は、制御装置３００の生成した制御信号に基づいてワーク５００をハンドで掴んで、ワーク５００の搬送を行う。
上記の構成により、ロボットシステム１０はパレット４００上のワーク５００の位置を誤認識して、ロボット２００がワーク５００を掴むことができない誤動作をなくすことができる。
以上、ロボットシステム１０の全体構成及び動作の概略について説明した。次に、ロボットシステム１０に含まれる、センサ１００、ロボット２００及び制御装置３００について詳細に説明を行う。
以上、ロボットシステム１０の全体構成及び動作の概略について説明した。次に、ロボットシステム１０に含まれる、センサ１００、ロボット２００及び制御装置３００について詳細に説明を行う。
センサ１００は、３次元点群と２次元カメラ画像を取得するセンサである。センサは、例えば、２台のカメラと１台プロジェクタとを備える。３次元点群は、プロジェクタからストライプ又はグリッド等のパターンの光をワーク５００が置かれたパレット４００に照射し、２台のカメラの画像から三角測量で得ることができる。２次元カメラ画像は１台のカメラの画像又は２台のカメラの画像から得ることができる。２次元カメラ画像はカラー画像でもグレースケール画像でもよい。以下、ワーク５００の色が黒色に近い灰色又は白色であり、２次元カメラ画像がグレースケール画像である場合について説明する。
ロボット２００は、制御装置３００の制御に基づいて動作するロボットである。ロボット２００は、鉛直方向の軸を中心に回転するためのベース部や、移動及び回転するアームや、ワーク５００を把持するためにアームに装着されるハンドを備える。
ロボット２００は、制御装置３００が出力する制御信号に応じて、アーム又はハンドを駆動して、ハンドをワーク５００の置かれた位置まで移動させて、ワーク５００を把持して搬送する。
なお、ロボット２００はワーク５００の搬送を行うロボットに限らず、部品の組み立て、ワークの加工等を行うロボットであってもよい。
ロボット２００の具体的な構成については、当業者によく知られているので、詳細な説明を省略する。
ロボット２００は、制御装置３００が出力する制御信号に応じて、アーム又はハンドを駆動して、ハンドをワーク５００の置かれた位置まで移動させて、ワーク５００を把持して搬送する。
なお、ロボット２００はワーク５００の搬送を行うロボットに限らず、部品の組み立て、ワークの加工等を行うロボットであってもよい。
ロボット２００の具体的な構成については、当業者によく知られているので、詳細な説明を省略する。
制御装置３００は、図２に示すように、画像処理部３１０、ロボット制御部３２０、及び表示部３３０を備える。
＜画像処理部＞
画像処理部３１０は、センサ信号取得部３１１、領域取得部３１２、ワーク外領域設定部３１３、補色設定部３１４、ワーク位置認識部３１５及びワーク色保存部３１６を備える。
画像処理部３１０は、センサ信号取得部３１１、領域取得部３１２、ワーク外領域設定部３１３、補色設定部３１４、ワーク位置認識部３１５及びワーク色保存部３１６を備える。
センサ信号取得部３１１は、センサ１００から、ワーク５００が置かれたパレット４００（被写体となる）の３次元点群データと２次元カメラ画像を含むセンサ信号を取得して、領域取得部３１２に出力する。
領域取得部３１２は、被写体の３次元点群データから所定の高さ以上の領域があるかどうかを判断し、所定の高さ以上の領域がない場合は、パレット４００上にワーク５００が置かれていないと判断する。図３に示すように、パレット４００の表面の一部が網目４０１の場合、網目４０１内に空間（図３において破線で囲まれた領域）ができる。この空間では、３次元点群データの取得できない。そこで、領域取得部３１２は、この空間の箇所について周囲の３次元点群データに基づいて高さを推定する。
領域取得部３１２は、３次元点群データから所定の高さ以上の領域がある場合は、３次元点群データから所定の高さより低い３次元点の領域を取得して、所定の高さより低い３次元点の領域の特定情報と、２次元カメラ画像と、３次元点群データとをワーク外領域設定部３１３に出力する。
領域取得部３１２は、３次元点群データから所定の高さ以上の領域がある場合は、３次元点群データから所定の高さより低い３次元点の領域を取得して、所定の高さより低い３次元点の領域の特定情報と、２次元カメラ画像と、３次元点群データとをワーク外領域設定部３１３に出力する。
ワーク外領域設定部３１３は、３次元点の領域の特定情報に基づいて、所定の高さより低い３次元点の領域に対応する２次元カメラ画像の画像領域をワーク外領域として設定する。そして、ワーク外領域の特定情報と、２次元カメラ画像と、３次元点群データとを補色設定部３１４に出力する。
補色設定部３１４は、ワーク色保存部３１６からワーク５００の色を取得し、ワーク外領域に該当する画像領域の色をワーク５００の色の補色とする。
ワーク色保存部３１６には予めワーク５００の色が保存されている。
ワーク色保存部３１６には予めワーク５００の色が保存されている。
例えば、補色設定部３１４は、２次元カメラ画像がグレースケール画像で、ワーク５００の色が黒色に近い灰色のときは、ワーク外領域の色を白色とする。また、補色設定部３１４は、２次元カメラ画像がグレースケール画像で、ワーク５００の色が白色のときは、ワーク外領域の色を黒色とする。補色設定部３１４は、２次元カメラ画像から色を判断して、ワーク外領域の色を決めてもよく、この場合は、ワーク色保存部３１６は無くてもよい。
図４はワークの色が黒色に近い灰色で、ワーク外領域が網目のときの２次元カメラ画像を示し、ワークの位置が誤認識される場合を示す説明図である。パレット４００は網目であり、ワーク５００の色は黒色に近い灰色である。図４の２次元カメラ画像Ｐ１のワークが置かれた領域（以下、ワーク領域という）Ｐ１１の色は黒色に近い灰色であり、ワーク外領域Ｐ１２の図４の破線で囲われた領域が、ワーク５００が配置されていると誤認される領域を示している。例えば、網目の一部が照明関係で暗く写る場合、四角形状のワークと誤認される場合がある。
図５は補色設定部が図４の２次元カメラ画像のワーク外領域の色を白色に変える様子を示す２次元カメラ画像を示す図である。
図５に示す２次元カメラ画像Ｐ１は、図４と同様に、ワーク領域Ｐ１１の色は黒色に近い灰色、ワーク外領域Ｐ１２は網目である。
補色設定部３１４は、図５に示す２次元カメラ画像Ｐ１の網目のワーク外領域Ｐ１２を白色のワーク外領域Ｐ１３に変えて、図５に示す２次元カメラ画像Ｐ２とする。
図５に示す２次元カメラ画像Ｐ１は、図４と同様に、ワーク領域Ｐ１１の色は黒色に近い灰色、ワーク外領域Ｐ１２は網目である。
補色設定部３１４は、図５に示す２次元カメラ画像Ｐ１の網目のワーク外領域Ｐ１２を白色のワーク外領域Ｐ１３に変えて、図５に示す２次元カメラ画像Ｐ２とする。
図６は補色設定部がワーク外領域の色を黒色に変える様子を示す２次元カメラ画像を示す図である。
図６に示す２次元カメラ画像Ｐ３は、ワーク５００の色が白色で、ワーク領域Ｐ３１の色は白色、ワーク外領域Ｐ３２は網目である。
図６に示す２次元カメラ画像Ｐ３は、ワーク５００の色が白色で、ワーク領域Ｐ３１の色は白色、ワーク外領域Ｐ３２は網目である。
補色設定部３１４は、図６示す２次元カメラ画像Ｐ３の網目のワーク外領域Ｐ３２を黒色のワーク外領域Ｐ３３に変えて、図６に示す２次元カメラ画像Ｐ４とする。
補色設定部３１４は、ワーク外領域に該当する画像領域の色が補色とされた２次元カメラ画像及び３次元点群データをワーク位置認識部３１５に出力する。
なお、補色設定部３１４では３次元点群データを用いた処理を行わないので、ワーク外領域設定部３１３は後述するワーク位置認識部３１５に補色設定部３１４を介さずに３次元点群データを出力してもよい。
補色設定部３１４は、ワーク外領域に該当する画像領域の色が補色とされた２次元カメラ画像及び３次元点群データをワーク位置認識部３１５に出力する。
なお、補色設定部３１４では３次元点群データを用いた処理を行わないので、ワーク外領域設定部３１３は後述するワーク位置認識部３１５に補色設定部３１４を介さずに３次元点群データを出力してもよい。
ワーク位置認識部３１５は、補色設定部３１４からワーク外領域に該当する画像領域の色が補色とされた２次元カメラ画像及び３次元点群データを得る。
ワーク位置認識部３１５は、２次元カメラ画像から、パレット４００に対するワーク５００の位置を認識する。
また、ワーク位置認識部３１５は、３次元点群データからワーク５００の高さを認識し、ロボット２００のハンドがワーク５００を掴む高さを設定する。
ワーク位置認識部３１５は、パレット４００に対するワーク５００の位置と、ロボット２００のハンドがワーク５００を掴む高さとを、ロボット制御部３２０の動作制御部３２１に出力する。
ワーク位置認識部３１５は、２次元カメラ画像から、パレット４００に対するワーク５００の位置を認識する。
また、ワーク位置認識部３１５は、３次元点群データからワーク５００の高さを認識し、ロボット２００のハンドがワーク５００を掴む高さを設定する。
ワーク位置認識部３１５は、パレット４００に対するワーク５００の位置と、ロボット２００のハンドがワーク５００を掴む高さとを、ロボット制御部３２０の動作制御部３２１に出力する。
＜ロボット制御部＞
ロボット制御部３２０は、図２に示すように、動作制御部３２１を備える。
動作制御部３２１は、ワーク位置認識部３１５から出力される、パレット４００に対するワーク５００の位置と、ロボット２００のハンドがワーク５００を掴む高さとから、ロボット２００のアーム及びハンドを制御する制御信号を生成し、制御信号をロボット２００に送る。
なお、動作制御部３２１は、予め行われたキャリブレーションにより、ロボット２００を制御するための機械座標系と、ワーク５００の位置を示すカメラ座標系とを対応付けているものとする。
ロボット制御部３２０は、図２に示すように、動作制御部３２１を備える。
動作制御部３２１は、ワーク位置認識部３１５から出力される、パレット４００に対するワーク５００の位置と、ロボット２００のハンドがワーク５００を掴む高さとから、ロボット２００のアーム及びハンドを制御する制御信号を生成し、制御信号をロボット２００に送る。
なお、動作制御部３２１は、予め行われたキャリブレーションにより、ロボット２００を制御するための機械座標系と、ワーク５００の位置を示すカメラ座標系とを対応付けているものとする。
＜表示部＞
表示部３３０は、図５に示す２次元カメラ画像Ｐ１とＰ２、又は図６に示す２次元カメラ画像Ｐ３とＰ４を画面に表示する。表示部３３０は例えば、液晶表示装置である。ユーザは表示部３３０の画面を見て、ワーク領域が正確に認識され、ワーク外領域の色がワーク５００の色の補色に変えられているかを確認することができる。表示部３３０は、２次元カメラ画像Ｐ２、又は図６に示す２次元カメラ画像Ｐ４のみを画面に表示してもよい。この場合、ユーザは、ワーク外領域の色がワーク５００の色の補色であるかどうかを確認することができる。
なお、表示部３３０は、ユーザが画像の確認を行わない場合には設けなくともよい。
表示部３３０は、図５に示す２次元カメラ画像Ｐ１とＰ２、又は図６に示す２次元カメラ画像Ｐ３とＰ４を画面に表示する。表示部３３０は例えば、液晶表示装置である。ユーザは表示部３３０の画面を見て、ワーク領域が正確に認識され、ワーク外領域の色がワーク５００の色の補色に変えられているかを確認することができる。表示部３３０は、２次元カメラ画像Ｐ２、又は図６に示す２次元カメラ画像Ｐ４のみを画面に表示してもよい。この場合、ユーザは、ワーク外領域の色がワーク５００の色の補色であるかどうかを確認することができる。
なお、表示部３３０は、ユーザが画像の確認を行わない場合には設けなくともよい。
以上、制御装置３００に含まれる機能ブロックについて説明した。
これらの機能ブロックを実現するために、制御装置３００は、ＣＰＵ（Central Processing Unit）等の演算処理装置を備える。また、画像処理装置１０ａは、アプリケーションソフトウェアやＯＳ（Operating System）等の各種の制御用プログラムを格納したＨＤＤ（Hard Disk Drive）等の補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのＲＡＭ（Random Access Memory）といった主記憶装置も備える。
これらの機能ブロックを実現するために、制御装置３００は、ＣＰＵ（Central Processing Unit）等の演算処理装置を備える。また、画像処理装置１０ａは、アプリケーションソフトウェアやＯＳ（Operating System）等の各種の制御用プログラムを格納したＨＤＤ（Hard Disk Drive）等の補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのＲＡＭ（Random Access Memory）といった主記憶装置も備える。
そして、制御装置３００において、演算処理装置が補助記憶装置からアプリケーションソフトウェアやＯＳを読み込み、読み込んだアプリケーションソフトウェアやＯＳを主記憶装置に展開させながら、これらのアプリケーションソフトウェアやＯＳに基づいた演算処理を行なう。また、この演算結果に基づいて、各装置が備える各種のハードウェアを制御する。これにより、本実施形態の機能ブロックは実現される。つまり、本実施形態は、ハードウェアとソフトウェアが協働することにより実現することができる。
具体例として、制御装置３００は、一般的なパーソナルコンピュータやサーバ装置に本実施形態を実現するためのアプリケーションソフトウェアを組み込むことより実現できる。
ただし、制御装置３００は、演算量が多い場合、例えば、コンピュータにＧＰＵ（Graphics Processing Units）を搭載し、ＧＰＧＰＵ（General-Purpose computing on Graphics Processing Units）と呼ばれる技術により、ＧＰＵを演算処理に利用するようにすると高速処理できるようになるのでよい。また、コンピュータにＦＰＧＡ（Field-Programmable Gate Array）を搭載し、ＦＰＧＡを演算処理に利用するようにすると高速処理できるようになるのでよい。
ただし、制御装置３００は、演算量が多い場合、例えば、コンピュータにＧＰＵ（Graphics Processing Units）を搭載し、ＧＰＧＰＵ（General-Purpose computing on Graphics Processing Units）と呼ばれる技術により、ＧＰＵを演算処理に利用するようにすると高速処理できるようになるのでよい。また、コンピュータにＦＰＧＡ（Field-Programmable Gate Array）を搭載し、ＦＰＧＡを演算処理に利用するようにすると高速処理できるようになるのでよい。
更には、より高速な処理を行うために、このようなＧＰＵやＦＰＧＡを搭載したコンピュータを複数台用いてコンピュータ・クラスターを構築し、このコンピュータ・クラスターに含まれる複数のコンピュータにて並列処理を行うようにしてもよい。
＜制御装置の動作＞
次に、図７のフローチャートを参照して、本実施形態の制御装置の動作について説明をする。図７は本実施形態の制御装置の動作を示すフローチャートである。
次に、図７のフローチャートを参照して、本実施形態の制御装置の動作について説明をする。図７は本実施形態の制御装置の動作を示すフローチャートである。
ステップＳ１０において、センサ信号取得部３１１がセンサ１００から、３次元点群データと２次元カメラ画像を含むセンサ信号を取得して、領域取得部３１２に出力する。
ステップＳ１１において、領域取得部３１２は、３次元点群データから所定の高さ以上の領域があるかどうかを判断する。所定の高さ以上の領域がない場合（ＮＯの場合）は、パレット４００上にワーク５００が置かれていないと判断され、ステップＳ１０に戻る。
３次元点群データから所定の高さ以上の領域がある場合（ＹＥＳの場合）は、ステップＳ１２に移る。
３次元点群データから所定の高さ以上の領域がある場合（ＹＥＳの場合）は、ステップＳ１２に移る。
ステップＳ１２において、領域取得部３１２は、３次元点群データから所定の高さより低い３次元点の領域を取得する。
ステップＳ１３において、ワーク外領域設定部３１３は、所定の高さより低い３次元点の領域に対応する２次元カメラ画像の画像領域をワーク外領域として設定する。
ステップＳ１４において、補色設定部３１４は、ワーク色保存部３１６からワーク５００の色を取得し、ワーク外領域に該当する画像領域の色をワーク５００の色の補色とする。
ステップＳ１５において、ワーク位置認識部３１５は、ワーク外領域に該当する画像領域の色が補色とされた２次元カメラ画像から、パレット４００に対するワーク５００の位置を認識し、３次元点群データからワーク５００の高さを認識し、ロボット２００のハンドがワーク５００を掴む高さを設定する。
ステップＳ１６において、動作制御部３２１は、パレット４００に対するワーク５００の位置と、ロボット２００のハンドがワーク５００を掴む高さとから、ロボット２００のアーム及びハンドを制御する制御信号を生成し、制御信号をロボット２００に送る。
＜ハードウェアとソフトウェアの協働＞
なお、上記のロボットシステムに含まれる各装置のそれぞれは、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。また、上記のロボットシステムに含まれる各装置のそれぞれの協働により行なわれる制御方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
なお、上記のロボットシステムに含まれる各装置のそれぞれは、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。また、上記のロボットシステムに含まれる各装置のそれぞれの協働により行なわれる制御方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ(Read Only Memory)、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory）)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。
また、上述した各実施形態は、本発明の好適な実施形態ではあるが、上記実施形態のみに本発明の範囲を限定するものではなく、各実施形態を組み合わせた形態や、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。
例えば、上述した各実施形態では、画像処理部３１０とロボット制御部３２０は１つの制御装置３００として構成されているが、制御装置を構成する、画像処理部３１０とロボット制御部３２０は、別な装置として構成されてもよい。この場合、画像処理部３１０を構成する装置とロボット制御部３２０を構成する装置は、ＬＡＮ（Local Area Network）又はインターネット等のネットワークを介して接続することができる。
また、上述した各実施形態では、制御装置がロボットによるワーク（被加工物）の搬送におけるワークの位置認識する場合について説明したが、本発明は特に用途は限定されず、例えば、制御装置が工作機械によって加工する場合のワークの位置認識、又はロボットによる部品の組み立て等におけるテーブル上の部品の位置認識をする場合等にも適用される。機械は工作機械に限られず産業機械であってもよい。
そのため、制御システムはロボットシステムに限定されず、工作機械システム又は産業機械システムにも適用される。
そのため、制御システムはロボットシステムに限定されず、工作機械システム又は産業機械システムにも適用される。
本開示による制御装置、その制御方法、及び制御システムは、上述した実施形態を含め、次のような構成を有する各種各様の実施形態を取ることができる。
（１）本開示の第１の態様は、対象物の位置を認識して、前記対象物を取り扱う機械又はロボットの動作を制御する制御装置（例えば、制御装置３００）であって、
前記対象物を含む被写体の３次元点群データとこれに対応するカメラ画像とを出力するセンサ（例えば、センサ１００）からの信号を取得するセンサ信号取得部（例えば、センサ信号取得部３１１）と、
前記３次元点群データから得られる前記被写体の高さが所定値より低い領域を取得する領域取得部（例えば、領域取得部３１２）と、
前記領域に対応する前記カメラ画像の領域を対象物外領域として設定する対象物外領域設定部（例えば、ワーク外領域設定部３１３）と、
前記対象物外領域の色に、前記対象物の色の補色を設定する補色設定部（例えば、補色設定部３１４）と、
前記対象物外領域に対応する領域の色が補色とされた前記カメラ画像から前記被写体に対する前記対象物の位置を認識する対象物位置認識部（例えば、ワーク位置認識部３１５）と、
少なくとも前記位置を用いて前記機械又はロボット（例えば、ロボット２００）の動作を制御する動作制御部（例えば、動作制御部３２１）と、
を備えた制御装置である。
本開示の制御装置によれば、カメラ画像で対象物と対象物の背景とを簡易な方法で明確に切り分けることができる。
前記対象物を含む被写体の３次元点群データとこれに対応するカメラ画像とを出力するセンサ（例えば、センサ１００）からの信号を取得するセンサ信号取得部（例えば、センサ信号取得部３１１）と、
前記３次元点群データから得られる前記被写体の高さが所定値より低い領域を取得する領域取得部（例えば、領域取得部３１２）と、
前記領域に対応する前記カメラ画像の領域を対象物外領域として設定する対象物外領域設定部（例えば、ワーク外領域設定部３１３）と、
前記対象物外領域の色に、前記対象物の色の補色を設定する補色設定部（例えば、補色設定部３１４）と、
前記対象物外領域に対応する領域の色が補色とされた前記カメラ画像から前記被写体に対する前記対象物の位置を認識する対象物位置認識部（例えば、ワーク位置認識部３１５）と、
少なくとも前記位置を用いて前記機械又はロボット（例えば、ロボット２００）の動作を制御する動作制御部（例えば、動作制御部３２１）と、
を備えた制御装置である。
本開示の制御装置によれば、カメラ画像で対象物と対象物の背景とを簡易な方法で明確に切り分けることができる。
（２） 前記対象物は被加工物（例えば、ワーク５００）であり、前記被写体は前記被加工物が置かれたパレット（例えば、パレット４００）又はコンベアである上記（１）に記載の制御装置。
（３） 前記領域取得部は、３次元点群データの取得できていない箇所について、周囲の３次元点群データに基づいて高さを推定する上記（１）又は（２）に記載の制御装置。
（４） 前記対象物の色を保存する保存部（例えば、ワーク色保存部３１６）を備え、
前記補色設定部は、前記保存部に保存された前記対象物の色に基づいて前記対象物の色の補色を設定する上記（１）から（３）のいずれかに記載の制御装置。
前記補色設定部は、前記保存部に保存された前記対象物の色に基づいて前記対象物の色の補色を設定する上記（１）から（３）のいずれかに記載の制御装置。
（５）本開示の第２の態様は、上記（１）から（４）のいずれかに記載の制御装置（例えば、制御装置３００）と、
該制御装置により対象物を取り扱う動作が制御される機械又はロボット（例えば、ロボット２００）と、
前記対象物を含む被写体の３次元点群データとこれに対応するカメラ画像とを前記制御装置に出力するセンサ（例えば、センサ１００）と、
を備えた制御システムである。
本開示の制御システムによれば、カメラ画像で対象物と対象物の背景とを簡易な方法で明確に切り分けることができ、機械又はロボットの対象物に対する動作を正確に行うことができる。
該制御装置により対象物を取り扱う動作が制御される機械又はロボット（例えば、ロボット２００）と、
前記対象物を含む被写体の３次元点群データとこれに対応するカメラ画像とを前記制御装置に出力するセンサ（例えば、センサ１００）と、
を備えた制御システムである。
本開示の制御システムによれば、カメラ画像で対象物と対象物の背景とを簡易な方法で明確に切り分けることができ、機械又はロボットの対象物に対する動作を正確に行うことができる。
（６）本開示の第３の態様は、対象物の位置を認識して、前記対象物を取り扱う機械又はロボットの動作を制御する制御装置（例えば、制御装置３００）の制御方法であって、
前記対象物を含む被写体の３次元点群データとこれに対応するカメラ画像とを出力するセンサ（例えば、センサ１００）からの信号を取得し、
前記３次元点群データから得られる前記被写体の高さが所定値より低い領域を取得し、
前記領域に対応する前記カメラ画像の領域を対象物外領域として設定し、
前記対象物外領域の色に、前記対象物の色の補色を設定し、
前記対象物外領域に対応する領域の色が補色とされた前記カメラ画像から前記対象物の位置を認識し、
少なくとも前記位置を用いて前記機械又はロボット（例えば、ロボット２００）の動作を制御する、制御方法である。
本開示の制御方法によれば、カメラ画像で対象物と対象物の背景とを簡易な方法で明確に切り分けることができる。
前記対象物を含む被写体の３次元点群データとこれに対応するカメラ画像とを出力するセンサ（例えば、センサ１００）からの信号を取得し、
前記３次元点群データから得られる前記被写体の高さが所定値より低い領域を取得し、
前記領域に対応する前記カメラ画像の領域を対象物外領域として設定し、
前記対象物外領域の色に、前記対象物の色の補色を設定し、
前記対象物外領域に対応する領域の色が補色とされた前記カメラ画像から前記対象物の位置を認識し、
少なくとも前記位置を用いて前記機械又はロボット（例えば、ロボット２００）の動作を制御する、制御方法である。
本開示の制御方法によれば、カメラ画像で対象物と対象物の背景とを簡易な方法で明確に切り分けることができる。
１０ ロボットシステム
１００ センサ
２００ ロボット
３００ 制御装置
３１０ 画像処理部
３１１ センサ信号取得部
３１２ 領域取得部
３１３ ワーク外領域設定部
３１４ 補色設定部
３１５ ワーク位置認識部
３１６ ワーク色保存部
３２０ ロボット制御部
３２１ 動作制御部
３３０ 表示部
４００ パレット
５００ ワーク（対象物）
１００ センサ
２００ ロボット
３００ 制御装置
３１０ 画像処理部
３１１ センサ信号取得部
３１２ 領域取得部
３１３ ワーク外領域設定部
３１４ 補色設定部
３１５ ワーク位置認識部
３１６ ワーク色保存部
３２０ ロボット制御部
３２１ 動作制御部
３３０ 表示部
４００ パレット
５００ ワーク（対象物）
Claims (6)
- 対象物の位置を認識して、前記対象物を取り扱うロボットの動作を制御する制御装置であって、
前記対象物を含む被写体の３次元点群データとこれに対応するカメラ画像とを出力するセンサからの信号を取得するセンサ信号取得部と、
前記被写体の前記３次元点群データから、所定値以上の高さを有する領域があるかどうかを判断し、前記所定値以上の高さを有する領域がある場合は、前記被写体上に前記対象物が存在すると判定して、前記３次元点群データから得られる前記被写体の高さが前記所定値より低い領域を取得する領域取得部と、
前記所定値より低い領域に対応する前記カメラ画像の領域を対象物外領域として設定する対象物外領域設定部と、
前記対象物外領域の色に、前記対象物の色の補色を設定する補色設定部と、
前記対象物外領域に対応する領域の色が補色とされた前記カメラ画像から前記被写体に対する前記対象物の位置を認識し、前記３次元点群データから前記対象物の高さを認識し、前記ロボットが前記対象物を把持する高さを設定する対象物位置認識部と、
少なくとも前記位置及び前記把持する高さを用いて前記ロボットの動作を制御する動作制御部と、
を備えた制御装置。 - 前記対象物は被加工物であり、前記被写体は前記被加工物が置かれたパレット又はコンベアである請求項１に記載の制御装置。
- 前記領域取得部は、前記３次元点群データの取得できていない箇所について、周囲の３次元点群データに基づいて高さを推定する請求項１又は２に記載の制御装置。
- 前記対象物の色を保存する保存部を備え、
前記補色設定部は、前記保存部に保存された前記対象物の色に基づいて前記対象物の色の補色を設定する請求項１から３のいずれか１項に記載の制御装置。 - 請求項１から４のいずれか１項に記載の制御装置と、
該制御装置により対象物を取り扱う動作が制御されるロボットと、
前記対象物を含む被写体の３次元点群データとこれに対応するカメラ画像とを前記制御装置に出力するセンサと、
を備えた制御システム。 - 対象物の位置を認識して、前記対象物を取り扱うロボットの動作を制御する制御装置の制御方法であって、
前記対象物を含む被写体の３次元点群データとこれに対応するカメラ画像とを出力するセンサからの信号を取得し、
前記被写体の前記３次元点群データから、所定値以上の高さを有する領域があるかどうかを判断し、前記所定値以上の高さを有する領域がある場合は、前記被写体上に前記対象物が存在すると判定して、前記３次元点群データから得られる前記被写体の高さが前記所定値より低い領域を取得し、
前記所定値より低い領域に対応する前記カメラ画像の領域を対象物外領域として設定し、
前記対象物外領域の色に、前記対象物の色の補色を設定し、
前記対象物外領域に対応する領域の色が補色とされた前記カメラ画像から前記対象物の位置を認識し、
前記３次元点群データから前記対象物の高さを認識し、前記ロボットが前記対象物を把持する高さを設定し、
少なくとも前記位置及び前記把持する高さを用いて前記ロボットの動作を制御する、制御方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019201210A JP7424800B2 (ja) | 2019-11-06 | 2019-11-06 | 制御装置、その制御方法、及び制御システム |
| DE102020126519.0A DE102020126519A1 (de) | 2019-11-06 | 2020-10-09 | Steuereinheit, steuerverfahren mit hilfe der steuereinheit und steuersystem |
| US17/073,983 US11717970B2 (en) | 2019-11-06 | 2020-10-19 | Controller, control method using controller, and control system |
| CN202011164574.4A CN112775961A (zh) | 2019-11-06 | 2020-10-27 | 控制装置、控制装置的控制方法以及控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019201210A JP7424800B2 (ja) | 2019-11-06 | 2019-11-06 | 制御装置、その制御方法、及び制御システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021074799A JP2021074799A (ja) | 2021-05-20 |
| JP7424800B2 true JP7424800B2 (ja) | 2024-01-30 |
Family
ID=75485559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019201210A Active JP7424800B2 (ja) | 2019-11-06 | 2019-11-06 | 制御装置、その制御方法、及び制御システム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11717970B2 (ja) |
| JP (1) | JP7424800B2 (ja) |
| CN (1) | CN112775961A (ja) |
| DE (1) | DE102020126519A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114986521B (zh) * | 2022-08-01 | 2022-11-15 | 深圳市信润富联数字科技有限公司 | 物体抓取方法、装置、电子设备及可读存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000076454A (ja) | 1998-08-31 | 2000-03-14 | Minolta Co Ltd | ３次元形状データ処理装置 |
| JP2007148663A (ja) | 2005-11-25 | 2007-06-14 | Sony Corp | オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム |
| JP2013184278A (ja) | 2012-03-09 | 2013-09-19 | Canon Inc | 情報処理装置、情報処理方法 |
| JP2015123534A (ja) | 2013-12-26 | 2015-07-06 | トヨタ自動車株式会社 | 載置判断方法、載置方法、載置判断装置及びロボット |
| JP2015145055A (ja) | 2014-02-04 | 2015-08-13 | セイコーエプソン株式会社 | ロボット、ロボットシステム、制御装置および制御方法 |
| JP2015197312A (ja) | 2014-03-31 | 2015-11-09 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、把持システムおよびプログラム |
| JP2018134698A (ja) | 2017-02-21 | 2018-08-30 | ファナック株式会社 | ワーク取出システム |
| JP2018144144A (ja) | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | 画像処理装置、画像処理方法、及びコンピュータプログラム |
| JP2019054449A (ja) | 2017-09-15 | 2019-04-04 | 浜松ホトニクス株式会社 | 画像処理方法、画像処理装置、及び画像処理プログラム |
| JP2019098431A (ja) | 2017-11-29 | 2019-06-24 | 株式会社東芝 | 情報処理装置及び仕分システム |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001268532A (ja) | 2000-03-23 | 2001-09-28 | Fuji Xerox Co Ltd | 画像通信装置 |
| JP2009085705A (ja) | 2007-09-28 | 2009-04-23 | Fujifilm Corp | 測距装置および測距方法並びにプログラム |
| CN114879598A (zh) * | 2016-08-19 | 2022-08-09 | 整形工具股份有限公司 | 用于共享工具制造和设计数据的系统、方法和装置 |
| JP2019205111A (ja) * | 2018-05-25 | 2019-11-28 | セイコーエプソン株式会社 | 画像処理装置、ロボット、及び、ロボットシステム |
| US11184561B2 (en) * | 2018-12-31 | 2021-11-23 | Aaron M. Benzel | Method for improved acquisition of images for photogrammetry |
| US11741566B2 (en) * | 2019-02-22 | 2023-08-29 | Dexterity, Inc. | Multicamera image processing |
| US11657527B2 (en) * | 2019-05-28 | 2023-05-23 | X Development Llc | Robotic control based on 3D bounding shape, for an object, generated using edge-depth values for the object |
| US10510155B1 (en) * | 2019-06-11 | 2019-12-17 | Mujin, Inc. | Method and processing system for updating a first image generated by a first camera based on a second image generated by a second camera |
| US10762371B1 (en) * | 2019-11-14 | 2020-09-01 | Capital One Services, Llc | Object detection techniques using colorspace conversions |
-
2019
- 2019-11-06 JP JP2019201210A patent/JP7424800B2/ja active Active
-
2020
- 2020-10-09 DE DE102020126519.0A patent/DE102020126519A1/de active Pending
- 2020-10-19 US US17/073,983 patent/US11717970B2/en active Active
- 2020-10-27 CN CN202011164574.4A patent/CN112775961A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000076454A (ja) | 1998-08-31 | 2000-03-14 | Minolta Co Ltd | ３次元形状データ処理装置 |
| JP2007148663A (ja) | 2005-11-25 | 2007-06-14 | Sony Corp | オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム |
| JP2013184278A (ja) | 2012-03-09 | 2013-09-19 | Canon Inc | 情報処理装置、情報処理方法 |
| JP2015123534A (ja) | 2013-12-26 | 2015-07-06 | トヨタ自動車株式会社 | 載置判断方法、載置方法、載置判断装置及びロボット |
| JP2015145055A (ja) | 2014-02-04 | 2015-08-13 | セイコーエプソン株式会社 | ロボット、ロボットシステム、制御装置および制御方法 |
| JP2015197312A (ja) | 2014-03-31 | 2015-11-09 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、把持システムおよびプログラム |
| JP2018134698A (ja) | 2017-02-21 | 2018-08-30 | ファナック株式会社 | ワーク取出システム |
| JP2018144144A (ja) | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | 画像処理装置、画像処理方法、及びコンピュータプログラム |
| JP2019054449A (ja) | 2017-09-15 | 2019-04-04 | 浜松ホトニクス株式会社 | 画像処理方法、画像処理装置、及び画像処理プログラム |
| JP2019098431A (ja) | 2017-11-29 | 2019-06-24 | 株式会社東芝 | 情報処理装置及び仕分システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021074799A (ja) | 2021-05-20 |
| US11717970B2 (en) | 2023-08-08 |
| CN112775961A (zh) | 2021-05-11 |
| DE102020126519A1 (de) | 2021-05-06 |
| US20210129342A1 (en) | 2021-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11511421B2 (en) | Object recognition processing apparatus and method, and object picking apparatus and method | |
| JP5612916B2 (ja) | 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム | |
| JP6648135B2 (ja) | 丸太走査システム | |
| JP4309439B2 (ja) | 対象物取出装置 | |
| TWI566204B (zh) | 三維物件識別技術 | |
| US11176655B2 (en) | System and method for determining 3D surface features and irregularities on an object | |
| WO2019177539A1 (en) | Method for visual inspection and apparatus thereof | |
| JP2016186469A (ja) | 情報処理装置、情報処理方法、プログラム | |
| JP2012215394A (ja) | 三次元計測装置および三次元計測方法 | |
| CN111844019A (zh) | 一种机器抓取位置确定方法、设备、电子设备和存储介质 | |
| JP2019192248A (ja) | 物体の連続的な画像をつなぎ合わせるためのシステムおよび方法 | |
| JP2016103230A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP5342413B2 (ja) | 画像処理方法 | |
| CN109341591A (zh) | 一种基于手持式三维扫描仪的边缘检测方法及系统 | |
| CN107527368B (zh) | 基于二维码的三维空间姿态定位方法与装置 | |
| CN110926330A (zh) | 图像处理装置和图像处理方法 | |
| US20150003685A1 (en) | Information processing apparatus, assembly apparatus, information processing method, and storage medium | |
| US20220180499A1 (en) | System and method for determining 3d surface features and irregularities on an object | |
| JP7424800B2 (ja) | 制御装置、その制御方法、及び制御システム | |
| CN114092428A (zh) | 图像数据处理方法、装置、电子设备和存储介质 | |
| JPWO2020090897A1 (ja) | 位置検出装置、位置検出システム、遠隔制御装置、遠隔制御システム、位置検出方法、及びプログラム | |
| CN113059560B (zh) | 机械臂控制方法、装置、电子设备以及烹饪系统 | |
| JP2018146347A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
| US11022432B2 (en) | Monitoring the scan volume of a 3D scanner | |
| CN114037595A (zh) | 图像数据处理方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220720 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230531 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231031 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231207 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240118 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7424800 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |