JP6021533B2 - 情報処理システム、装置、方法及びプログラム - Google Patents
情報処理システム、装置、方法及びプログラム Download PDFInfo
- Publication number
- JP6021533B2 JP6021533B2 JP2012193369A JP2012193369A JP6021533B2 JP 6021533 B2 JP6021533 B2 JP 6021533B2 JP 2012193369 A JP2012193369 A JP 2012193369A JP 2012193369 A JP2012193369 A JP 2012193369A JP 6021533 B2 JP6021533 B2 JP 6021533B2
- Authority
- JP
- Japan
- Prior art keywords
- orientation
- target object
- sensor
- dimensional
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 59
- 230000010365 information processing Effects 0.000 title claims description 29
- 238000009795 derivation Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000003672 processing method Methods 0.000 claims 1
- 238000005259 measurement Methods 0.000 description 49
- 230000036544 posture Effects 0.000 description 24
- 239000011159 matrix material Substances 0.000 description 23
- 230000014509 gene expression Effects 0.000 description 22
- 238000012937 correction Methods 0.000 description 20
- 239000012636 effector Substances 0.000 description 14
- 238000001514 detection method Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 229920003023 plastic Polymers 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000002939 conjugate gradient method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 125000000391 vinyl group Chemical group [H]C([*])=C([H])[H] 0.000 description 1
- 229920002554 vinyl polymer Polymers 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D3/00—Control of position or direction
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37567—3-D vision, stereo vision, with two cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40604—Two camera, global vision camera, end effector neighbourhood vision camera
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Description
従来より、ピックするための部品の供給は、パーツフィーダと呼ばれる部品1つ1つを並べて供給するための装置を利用したり、パレット(箱)に部品を様々な姿勢で山積みしたりすることによって行われている。パーツフィーダを利用する場合は、部品1つ1つの位置姿勢が予め決まった状態で供給されるため、ロボットによるピックは比較的容易に行われる。しかしながら、パーツフィーダ装置を用意するためのコストが余計にかかる。また、部品の形状に合わせて異なるパーツフィーダを用意しなければならないこともある。一方、部品を山積みにして供給する場合は、パレットに部品を置くだけでよいためコスト増を回避することができる。さらに、近年の少量多品種生産の傾向を受けて、様々な部品へ素早く対応することができる山積み供給に注目が集まっている。
ロボットと画像センサによる山積み部品のピッキングに関する技術として、例えば特許文献1では、複数のセンサとロボットの動作を組み合わせてピッキングを行う方法が提示されている。
特許文献1の構成では、3次元を取得するセンサは、ベースラインを確保するための筐体にパターンを照射する装置、撮像する装置を搭載するため、大型化し重量が重くなる。そのため、ロボットのアーム部に可搬重量に加算され、運動時の慣性も大きくなり、より剛性の高いロボットが必要になり、コストが増加する。
一方で、2次元画像カメラによる姿勢が不定な対象物体を撮像した画像には、パースによる見え方が変わるため、画像中の幾何特徴によるテンプレートマッチングだけでは十分な位置検出精度を得ることが難しい課題もある。
(第1の実施形態)
第1の実施形態では、対象物体に関する3次元情報を取得する第1のセンサ手段(プロジェクタ及びカメラ)と、ロボットに装着され対象物体の2次元情報を取得するための第2のセンサ手段(カメラ)とを用いて、対象物体の3次元位置姿勢計測を行う。
第1のセンサ部101のプロジェクタは、対象物体103に対してパターン光を照射し、そのパターンを第1のセンサ部101のカメラにより撮影し、照明したパターンと撮像したパターンとの対応から三角法により距離を算出する。パターンとしては、空間符号化法の幅の異なる複数の縞模様パターンや、複数の線パターン等を利用する。2次元的なパターンやランダムドットのようなパターンでもよい。
また、第1のセンサ部101は、回折格子と照明とカメラとから構成されてもよい。この場合は、回折格子と照明により対象物体にパターン光を投射し、カメラによりパターンを撮影する。パターン光の照射は、プロジェクタに限定されるものでなく、レーザースリット光を走査した画像を取得しても構わない。光の反射時間を計測して、距離画像を生成する機構を用いても構わない。パターン光を照射することで、工業部品等の表面の模様が少ない対象物体とする場合には有利である。模様が多い場合には、カメラを用いた2台のステレオカメラでも両方の撮像画像に対応する領域から距離画像を生成することができるので、それを用いても構わない。
第1センサ情報取得部111は、第1のセンサ部101が撮影した距離画像及び2次元画像を取得して、その取得した画像を3次元位置姿勢計測部113に出力する。
3次元幾何モデルは、3次元CADソフトで取り扱うことができるCADモデルそのもの、もしくは3次元CADモデルをコンピュータグラフィック分野で使われる複数のポリゴン要素に変換したものである。本実施形態では、ポリゴン要素を利用した場合について説明を行う。図3に示すように、モデルは点、線、面といった構成要素からなる。図3(a)〜(c)はいずれも同じモデルである。図3(a)及び(d)は、モデルの各頂点を示す図である。図3(b)及び(e)は、モデルの各辺となる線を示す図である。図3(c)及び(f)は、モデルの各面を示す図である。モデルには、図3(f)に示すようにモデルを構成する面の法線データが含まれている。
参照画像モデルは、複数の2次元画像からなるデータである。実写画像に基づく参照画像モデルは、対象物体を中心にして様々な方向からカメラで撮影を行って得た画像から作成する。撮影を行うためにやぐらを組んでカメラを複数配置してもよいし、人が手でカメラを持って撮影してもよいし、ロボットに装着したカメラでロボットを動かしながら撮影を行ってもよい。どの方法で撮影を行ってもよいが、撮影したときのカメラと対象物体との相対位置姿勢を求め、撮影画像と合わせて記憶しておく。相対位置姿勢は、やぐらに複数のカメラを配置した場合は、やぐらの形状から求めることができる。人が手でカメラを持つ場合は、カメラに位置姿勢センサを装着して求めることができる。ロボットに装着したカメラで撮影する場合は、ロボットの制御情報を利用して求めることができる。
対象物体を模した3次元幾何モデルに基づく参照画像モデルは、CADモデルの中心から、頂点が等しい距離になるGeodesic Sphereを設定して、Geodesic Sphereの頂点からCADモデルの中心を向いてみたときの画像を用いる。Geodesic Sphereの頂点は複数あり、隣り合ったそれぞれの頂点は同じ距離となる。ある頂点を基準位置として、他の頂点との相対的な関係を元にどの方向から見たかの観察方向を画像と共に、設定情報として記憶しておく。
対象物体が1種類と予め分かっているときは、その種類の計測モデル情報だけ保存する。複数種類の対象物体を扱うときは、複数の計測モデル情報を保存しておき、利用時に切り替える。
計測モデル情報として3次元幾何モデルを利用する場合は、3次元幾何モデルの辺である線と、第1センサ情報取得部111から出力された2次元画像から抽出したエッジ成分との対応付けを行うことで、対象物体の位置姿勢を求める。本実施形態では、2次元画像に3次元幾何モデルが当てはまるように、計測対象物体の位置姿勢の概略値を反復演算によって繰り返し補正する。
本実施形態では、計測モデル情報を利用して画像中に含まれる対応する幾何特徴との関係から、モデルの位置姿勢を推定する方法を利用する。3次元幾何モデルの線分と、画像中のエッジとの対応から2次元画像を利用して位置合わせをする方法と、距離画像の含まれる対応する距離点群とモデル表面との距離を最小化するように位置姿勢を推定する方法を用いる方法を説明する。他に2次元画像を利用する場合には、テンプレートマッチングによる画素比較による方法や、幾何特徴としてテクスチャの勾配特徴を利用して対応を行う幾何特徴点対応による方法等を利用しても構わない。これらの方法は、対象物体を様々な方向したときのモデルを視点別に保持しておき、対応する観察視点のモデルを参照することで位置姿勢を行うことができる。
計測モデル情報として参照画像モデルを利用する場合は、参照画像モデルをテンプレートとしたテンプレートマッチングにより最も一致する参照画像を求め、その参照画像に対応付けられた対象物体との位置姿勢情報に基づいて、対象物体の位置姿勢を求める。
また、計測モデル情報として3次元幾何モデルを利用する場合は、3次元幾何モデルから抽出した表面の点群データと、第1センサ情報取得部111から出力された距離画像から抽出される距離点群との対応付けを行うことで対象物体の位置姿勢を求める。距離点群と計測モデル情報とを利用して対象物体の位置姿勢を求めるために、本実施形態ではICP(Iterative Closest Point)法を用いる。対象物体の位置姿勢を反復演算によって繰り返し補正する。なお、対象物体の位置姿勢を求めるための手法はICP法に限るものではない。
3次元位置姿勢計測部113で求めた位置姿勢は、第2センサ位置姿勢決定部114と位置姿勢調整部118に出力される。
計測モデル情報として参照画像モデルを利用する場合は、参照画像モデルをテンプレートとしたテンプレートマッチングにより最も一致する参照画像を求め、その参照画像に対応付けられた対象物体との位置姿勢情報に基づいて対象物体103の位置姿勢を求める。
計測モデル情報として3次元幾何モデルを利用する場合は、3次元位置姿勢計測部113と同様に3次元幾何モデルの辺である線と、第2センサ情報取得部112から出力された2次元画像から抽出したエッジ成分との対応付けを行うことで対象物体103の位置姿勢を求める。
ステップS401では、パレット104の上方の第1の位置姿勢に固定された第1のセンサ部101により対象物体103の画像を撮影する。撮影した画像データは、第1センサ情報取得部111に出力される。第1のセンサ部101の位置姿勢は予めキャリブレーションで求められているものとする。
計測モデル情報として3次元幾何モデルを利用する場合は、3次元幾何モデルの辺である線分と、第1センサ情報取得部111から出力された2次元画像から抽出したエッジ成分との対応付けを行うことで対象物体の位置姿勢を求める。本実施形態では、2次元画像に3次元幾何モデルが当てはまるように、非線形最適化手法の一つであるGauss−Newton法を用いて、対象物体の位置姿勢(6次元ベクトルsで表す)の概略値を反復演算によって繰り返し補正する。なお、対象物体の位置姿勢を求めるための最適化手法はGauss−Newton法に限るものではない。
3次元幾何モデルの辺である線分と第1センサ情報取得部111から出力された2次元画像のエッジ成分との対応付けを行い、対象物体の位置姿勢を求めるには、位置姿勢を算出するための係数行列と誤差ベクトルの算出を行う。ここで、係数行列の各要素は、画像上での点と直線の距離を位置姿勢の関数としたときの、位置姿勢の各要素に関する1次の偏微分係数である。誤差ベクトルは、エッジについては投影された線分と検出されたエッジの画像上での符号付き距離である。
式(5)、式(6)は、sの各成分の微小変化△si(i=1,2,・・・,6)についての方程式であるため、式(7)のような△siに関する線形連立方程式を立てることができる。
JΔs=E・・・(8)
s←s+△s
sの収束判定を行い、収束していれば終了し、そうでなければ繰り返し算出を行う。収束判定では、補正値△sがほぼ0である場合や、誤差ベクトルの二乗和が補正前と補正後でほとんど変わらない場合に収束したと判定する。このように、収束するまで繰り返すことで、位置姿勢を算出できる。
計測モデル情報として参照画像モデルを利用する場合は、参照画像モデルをテンプレートとしたテンプレートマッチングにより最も一致する参照画像を求め、その参照画像に対応付けられた対象物体との位置姿勢情報に基づいて対象物体の位置姿勢を求める。参照画像の輝度をT(i,j)、2次元画像の輝度をI(i,j)として、参照画像をm×n画素の画像としたとき、一致度は式(13)で求めることができる。
3次元幾何モデルの表面点群を、式(14)に示すPとする。また、距離画像点群を、式(15)に示すAとする。
Pの収束判定を行い、収束していれば終了し、そうでなければ繰り返し補正計算を行う。収束判定では、Pがほとんど変化しないことをもって収束したと判定する。このように収束するまで繰り返すことで、位置姿勢を算出することができる。
一般に多軸ロボットの場合、絶対位置精度を出すことは難しい。また、対象物体が傾いている場合には、把持する際のエンドエフェクタの向きと、第1のセンサ部101から観察される向きとが異なっている場合には、推定精度によりズレが生じている場合もある。
そのため、ロボット100は、対象物体103'を把持動作する直前に、それらの誤差を補正するために第2のセンサ部102で対象物体の位置姿勢を算出して、ロボットに補正位置を指示することで、確実に対象物体を把持することが可能となる。そこで、ロボット100が対象物体103'を把持位置より上空で第2のセンサ部102により位置姿勢を計測することとする。
図7(a)は、ロボット100が対象物体103'を把持する直前に対象物体の上空で第2のセンサ部102の撮影をしているときの配置を示す。ロボット100は、対象物体103'を所定の向きから把持するように設定されている。第2のセンサ部102は、2次元画像を取得するため、画像中のエッジから物体の位置姿勢を求めることができる。
図7(b)は、第2のセンサ部102が撮影した2次元画像の例である。ロボットのエンドエフェクタの把持方向とカメラの向きは異なっているため、撮影した画像中の対象物体103'にはパースが発生している場合がある。2次元画像のテンプレートマッチングでは、このようなパースが発生している場合には、平面のホモグラフィーを求めて補正することで画像を正射影に変換することでマッチングを行うことができる。
ここで、第2のセンサ部102の撮像する位置姿勢を計算する際の座標系表現について述べる。
図7(c)に、各座標系の原点を模式的に示す。基準となる世界座標系をMWとする。第1のセンサ部101の取り付けられた座標系をMGとする。ロボット座標系をMRとし、その相対座標系としてエンドエフェクタの座標系をMEとする。第2のセンサ部102の座標系をMCは、変換行列MLによるMEの相対座標系である。対象物体103'の上部の幾何特徴を有する平面の座標系をMPとする。第1のセンサ部101のMGのカメラ座標系基準で3次元位置姿勢計測部113により求められた位置姿勢をMP'とすると、式(18)となる。
MP=MGMP'・・・(18)
ME'=MPMT・・・(19)
ME=MR -1ME'・・・(20)
ここで求めた、MEが第2の位置姿勢としてロボット座標系での位置姿勢の値となる。
MC'=MTML・・・(21)
この対象物体からの相対座標系MC'を用いることで、撮影時の対象物体の幾何特徴を有する平面との配置関係が設定でき、平面のパースの見え方を補正するためのホモグラフィー行列を求めることができる。
MC'の成分のうち、姿勢成分をRCとして3x3行列とし、並進成分をTCとして3x1行列で表す。対象物体103'のMPの平面の法線をNCとし、平面と第2のセンサ部102までの距離をDCとすると、ホモグラフィー行列Hは式(22)となる。
3次元位置姿勢計測部113は、対象物体103’の位置姿勢を求めたら第2センサ位置姿勢決定部114と位置姿勢調整部118とに対象物体103’の位置姿勢情報を出力する。
ここでは、ステップS403で求めたホモグラフィー行列Hに基づいて、モデル情報保持部116の幾何特徴の位置を投影変換し、その近傍の対応する画像幾何特徴の検出を行い、その座標値をホモグラフィーの逆変換を行って、パースの影響を除去する。検出特徴の位置とモデルの幾何特徴の位置との差を小さくするように、平面内での移動・回転成分を補正値として求める。その補正値を第2センサ位置姿勢決定部114から得られた位置姿勢の値を補正することができる。
平面上の2次元特徴に対する補正値を(u,v,θ)とする。uはX座標、vはY座標、θは平面内での回転とする。2次元特徴の座標をX,Yとすると、補正後の位置X',Y'は式(23)で示される。
第2のセンサ部102が取得する画像は2次元画像であるため、奥行き方向の情報が縮退している。そのため、奥行き方向の推定精度は、画像平面内の移動方向に比べて悪くなっている場合がある。そこで、ステップS406の補正値のうち、精度が良さそうな補正量に対して重みをつけて補正することとする。
第2のセンサ部102の座標系MCのうち、視軸方向の回転、視軸に対して垂直な平面でのX,Y方向の成分を抽出して、その値に他のパラメータより大きい重みをつけて、ステップS403で得られた位置姿勢の値を補正する。具体的には、第2のセンサ部102のカメラ座標系基準で求めた更新パラメータで、X,Y,Roll成分の値を更新する。これにより、2次元画像のみで位置姿勢を推定する結果に比べて、第1のセンサ部101による位置姿勢のパラメータで精度の良い要素と、第2のセンサ部102による位置姿勢のパラメータで精度の良い部分に基づいて、位置姿勢を調整することができる。それにより、全体の推定精度を向上することができる。なお、ここではX,Y,Roll成分について値を更新する例を示したが、対象物体の姿勢や、第1のセンサ部101の構成に応じてパラメータを調整すればよい。位置姿勢の推定中に計算される共分散行列や誤差値を参照して、各パラメータの推定精度として、それを重みとして第1のセンサ部101と第2のセンサ部102の推定値を調整することができる。
第2の実施形態では、第1のセンサ手段による対象物体の位置姿勢の推定値を、第2のセンサ手段による観測方向に変換することができる。そのため、第2のセンサ手段が様々な姿勢に適応する十分な計測モデル情報を保持している場合、第1のセンサ手段の位置姿勢の推定値を第2のセンサ手段の設定情報と関連させて、位置姿勢推定のための初期値として利用することができる。
第2のセンサ部102による3次元位置姿勢計測部117の処理にて、第1のセンサ部101の3次元幾何モデルによる位置姿勢推定を行うことができる。この場合、モデル情報保持部115と116を共有することができる。共有したものをモデル情報保持部115'と呼ぶこととする。
第2センサ位置姿勢決定部114は、モデル情報保持部115'の3次元幾何モデルを保持しているGeodesic Sphereの頂点から観測されるモデルの姿勢に合わせて、第2のセンサ部102の位置姿勢を決定すればよい。その際、その時点でのロボットの姿勢や、後工程での姿勢を考慮して、ロボットの移動量が少ない観測ポイントを選択するとタクトタイムが短くなってよい。
第2のセンサ部102を移動して撮影した撮像画像から、3次元位置姿勢計測部117では、第2センサ位置姿勢決定部114の位置姿勢を求める。その際に、第2センサ位置姿勢決定部114で算出されたロボットハンドの位置姿勢を第2のセンサ部102の座標系に変換したものを対象物体103'の位置姿勢の初期値としてする。初期位置姿勢から、Geodesic Sphereの頂点から観測される3次元幾何モデルと、第2のセンサ部102のカメラパラメータによるスケール変換が行われ、モデルと対応する幾何特徴の検出が容易になる。
第1の実施形態において、位置姿勢調整部118の処理として、第2のセンサ部102のカメラの視軸方向として推定精度が高いX,Y,Roll方向のパラメータ調整手段を述べた。実際には、対象物体をエンドエフェクタが把持する方向や対象部品の姿勢、第1のセンサ部101での位置姿勢のパラメータの推定精度を考慮することで、より高い精度を得ることができる。位置姿勢の推定では、位置の3自由度、姿勢の3自由度のパラメータごとにモデルの観測方程式を偏微分したものをヤコビ行列として、対応する幾何特徴とモデルとの距離を少なくするように反復計算をする。推定パラメータによる各幾何特徴とモデルとの残差から、パラメータのフィッティング具合の値として利用することができる。観測による残差を示す情報を利用して、第1と第2のそれぞれで推定された位置姿勢推定結果のパラメータ調整手段により精度を向上することができる。ノイズを多く含んで残差が大きい場合には、求めたパラメータの確からしさも低いので、重みを小さくし、残差が小さい場合には重みを大きくするような調整を行えばよい。
また、対象物体は様々な形状が考えられるので、長細い形状や平坦で薄い形状等観察方向によっては見えが大きく変化するものがある。第1の実施形態では、把持位置の上空にハンドを一次停止した場合の第2の位置姿勢を決定する例を示した。その際、対象物体の平面上の幾何特徴を利用してホモグラフィー行列による変換により対応を求めたが、変換が不要な位置姿勢に第2のセンサの位置姿勢を決めることもできる。また、位置決めの方法としてテンプレートマッチングを利用する場合には、特徴的な幾何特徴が観測できる方向を第2の位置姿勢としてもよい。例として、部品に添付されている文字やシール、QRコード(登録商標)等の機械読み取りマーカが観測できるように決定することができる。
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供してもよい。
本発明の位置姿勢が変更できる可動部を持つ可動手段としては、ロボットを実施形態として述べたが、基本的に可動機構に第2のセンサが装着していれば、どのような構成であっても構わない。回転台座とX,Yステージに、パン・チルト機構を有する第2のセンサであっても構わない。また、対象部品の形状や、供給される形態によっては、対象部品の位置姿勢の範囲が決まっている場合がある。その場合には、第2のセンサの位置姿勢も範囲があるため、それに応じた可動装置を用いればよい。
Claims (8)
- 位置姿勢が変更できる可動部を持つ可動手段を制御するための情報処理装置であって、
前記可動手段とは別に配置され、第1の位置姿勢で、対象物体の3次元情報を取得する第1のセンサ手段で取得した情報に基づいて、前記対象物体の3次元位置姿勢を導出する第1の導出手段と、
前記第1の導出手段による導出結果に基づいて、前記可動手段に装着され、前記対象物体の2次元情報を取得する第2のセンサ手段の第2の位置姿勢を算出するセンサ位置姿勢決定手段と、
前記センサ位置姿勢決定手段で算出した前記第2の位置姿勢で前記第2のセンサ手段が前記対象物体の2次元情報を取得するように前記可動手段を姿勢制御する手段と、
前記第2の位置姿勢で前記第2のセンサ手段が取得した前記対象物体の2次元情報に基づいて、前記対象物体の3次元位置姿勢を導出する第2の導出手段と、
前記第1の導出手段で導出した前記対象物体の3次元位置姿勢と、前記第2の導出手段で導出した前記対象物体の3次元位置姿勢とに基づいて、前記対象物体の3次元位置姿勢を決定する物体位置姿勢決定手段とを備えたことを特徴とする情報処理装置。 - 前記センサ位置姿勢決定手段は、事前に登録されたモデル情報の観察位置として前記対象物体と前記第2のセンサ手段との相対的な位置姿勢を維持するように、前記第1の導出手段による前記対象物体の位置姿勢からの位置関係を算出することを特徴とする請求項1に記載の情報処理装置。
- 前記第2の導出手段は、前記対象物体の3次元位置姿勢を導出する際の繰り返し演算における初期値として、前記センサ位置姿勢決定手段で算出した第2の位置姿勢を利用することを特徴とする請求項1又は2に記載の情報処理装置。
- 前記センサ位置姿勢決定手段は、更に、第2の位置姿勢を算出する際に前記可動手段の可動範囲であるか否かの判定を行うことを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
- 前記第2のセンサ手段は、前記第1のセンサ手段と異なるセンサであり、2次元情報のみを取得するセンサであることを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
- 位置姿勢が変更できる可動部を持つ可動手段を制御するための情報処理システムであって、
前記可動手段とは別に配置され、第1の位置姿勢で、対象物体の3次元情報を取得する第1のセンサ手段と、
前記可動手段に装着され、前記対象物体の2次元情報を取得する第2のセンサ手段と、
請求項1乃至5のいずれか1項に記載の情報処理装置とを備えたことを特徴とする情報処理システム。 - 位置姿勢が変更できる可動部を持つ可動手段を制御するための情報処理方法であって、
前記可動手段とは別に配置され、第1の位置姿勢で、対象物体の3次元情報を取得する第1のセンサ手段で取得した情報に基づいて、前記対象物体の3次元位置姿勢を導出する第1の導出ステップと、
前記第1の導出ステップによる導出結果に基づいて、前記可動手段に装着され、前記対象物体の2次元情報を取得する第2のセンサ手段の第2の位置姿勢を算出するセンサ位置姿勢決定ステップと、
前記センサ位置姿勢決定ステップで算出した前記第2の位置姿勢で前記第2のセンサ手段が前記対象物体の2次元情報を取得するように前記可動手段を姿勢制御するステップと、
前記第2の位置姿勢で前記第2のセンサ手段が取得した前記対象物体の2次元情報に基づいて、前記対象物体の3次元位置姿勢を導出する第2の導出ステップと、
前記第1の導出ステップで導出した前記対象物体の3次元位置姿勢と、前記第2の導出ステップで導出した前記対象物体の3次元位置姿勢とに基づいて、前記対象物体の3次元位置姿勢を決定するステップとを有することを特徴とする情報処理方法。 - 位置姿勢が変更できる可動部を持つ可動手段を制御するための処理をコンピュータに実行させるためのプログラムであって、
前記可動手段とは別に配置され、第1の位置姿勢で、対象物体の3次元情報を取得する第1のセンサ手段で取得した情報に基づいて、前記対象物体の3次元位置姿勢を導出する第1の導出処理と、
前記第1の導出処理による導出結果に基づいて、前記可動手段に装着され、前記対象物体の2次元情報を取得する第2のセンサ手段の第2の位置姿勢を算出するセンサ位置姿勢決定処理と、
前記センサ位置姿勢決定処理で算出した前記第2の位置姿勢で前記第2のセンサ手段が前記対象物体の2次元情報を取得するように前記可動手段を姿勢制御する処理と、
前記第2の位置姿勢で前記第2のセンサ手段が取得した前記対象物体の2次元情報に基づいて、前記対象物体の3次元位置姿勢を導出する第2の導出処理と、
前記第1の導出処理で導出した前記対象物体の3次元位置姿勢と、前記第2の導出処理で導出した前記対象物体の3次元位置姿勢とに基づいて、前記対象物体の3次元位置姿勢を決定する処理とをコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012193369A JP6021533B2 (ja) | 2012-09-03 | 2012-09-03 | 情報処理システム、装置、方法及びプログラム |
US14/013,346 US9746855B2 (en) | 2012-09-03 | 2013-08-29 | Information processing system, method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012193369A JP6021533B2 (ja) | 2012-09-03 | 2012-09-03 | 情報処理システム、装置、方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014046433A JP2014046433A (ja) | 2014-03-17 |
JP2014046433A5 JP2014046433A5 (ja) | 2015-10-15 |
JP6021533B2 true JP6021533B2 (ja) | 2016-11-09 |
Family
ID=50188628
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012193369A Expired - Fee Related JP6021533B2 (ja) | 2012-09-03 | 2012-09-03 | 情報処理システム、装置、方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9746855B2 (ja) |
JP (1) | JP6021533B2 (ja) |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5897532B2 (ja) * | 2013-11-05 | 2016-03-30 | ファナック株式会社 | 三次元空間に置かれた物品をロボットで取出す装置及び方法 |
JP2015147256A (ja) * | 2014-02-04 | 2015-08-20 | セイコーエプソン株式会社 | ロボット、ロボットシステム、制御装置、及び制御方法 |
CN104827480A (zh) * | 2014-02-11 | 2015-08-12 | 泰科电子(上海)有限公司 | 机器人系统的自动标定方法 |
US9233469B2 (en) * | 2014-02-13 | 2016-01-12 | GM Global Technology Operations LLC | Robotic system with 3D box location functionality |
JP6331517B2 (ja) * | 2014-03-13 | 2018-05-30 | オムロン株式会社 | 画像処理装置、システム、画像処理方法、および画像処理プログラム |
JP6364836B2 (ja) * | 2014-03-14 | 2018-08-01 | セイコーエプソン株式会社 | ロボット、ロボットシステム、及び制御装置 |
JP6642968B2 (ja) * | 2014-03-20 | 2020-02-12 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
JP5829306B2 (ja) * | 2014-05-12 | 2015-12-09 | ファナック株式会社 | レンジセンサの配置位置評価装置 |
JP6413648B2 (ja) * | 2014-06-20 | 2018-10-31 | 株式会社リコー | 計測システム、物体取出システム、計測方法およびプログラム |
JP6415190B2 (ja) * | 2014-09-03 | 2018-10-31 | キヤノン株式会社 | ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法 |
DE102014113389A1 (de) * | 2014-09-17 | 2016-03-17 | Pilz Gmbh & Co. Kg | Verfahren und Vorrichtung zum Identifizieren von Strukturelementen eines projizierten Strukturmusters in Kamerabildern |
CN107530881B (zh) * | 2015-01-29 | 2021-05-25 | Abb瑞士股份有限公司 | 机器人系统和用于操作机器人的方法 |
JP2016170050A (ja) * | 2015-03-12 | 2016-09-23 | キヤノン株式会社 | 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム |
US9855658B2 (en) * | 2015-03-19 | 2018-01-02 | Rahul Babu | Drone assisted adaptive robot control |
JP6523820B2 (ja) * | 2015-06-24 | 2019-06-05 | 株式会社東芝 | 物品処理装置 |
US10547796B2 (en) | 2015-07-14 | 2020-01-28 | Industrial Technology Research Institute | Calibration equipment and calibration method of a mechanical system |
JP6643020B2 (ja) * | 2015-09-25 | 2020-02-12 | キヤノン株式会社 | ロボット制御装置、ロボット制御方法及びコンピュータプログラム |
US10970877B2 (en) * | 2015-09-30 | 2021-04-06 | Sony Corporation | Image processing apparatus, image processing method, and program |
US10427305B2 (en) * | 2016-07-21 | 2019-10-01 | Autodesk, Inc. | Robotic camera control via motion capture |
US10055667B2 (en) | 2016-08-03 | 2018-08-21 | X Development Llc | Generating a model for an object encountered by a robot |
US10315866B2 (en) * | 2016-10-20 | 2019-06-11 | Intelligrated Headquarters, Llc | 3D-2D vision system for robotic carton unloading |
JP6450727B2 (ja) * | 2016-10-28 | 2019-01-09 | ファナック株式会社 | ロボットが行う物品整列作業のシミュレーションのための装置、方法、プログラム及び記録媒体 |
CN106624709B (zh) * | 2016-12-29 | 2019-01-11 | 南京天祥智能设备科技有限公司 | 基于双目视觉的装配系统及装配方法 |
JP6527178B2 (ja) * | 2017-01-12 | 2019-06-05 | ファナック株式会社 | 視覚センサのキャリブレーション装置、方法及びプログラム |
JP6496333B2 (ja) * | 2017-01-30 | 2019-04-03 | ファナック株式会社 | 少なくとも1つのセンサを用いた物品搬送装置 |
JP6708142B2 (ja) * | 2017-02-02 | 2020-06-10 | トヨタ車体株式会社 | ロボットの制御装置 |
JP6450788B2 (ja) * | 2017-02-21 | 2019-01-09 | ファナック株式会社 | ワーク取出システム |
DE102017005194C5 (de) * | 2017-05-31 | 2022-05-19 | Kuka Deutschland Gmbh | Steuern einer Roboteranordnung |
GB2566534B (en) * | 2017-09-18 | 2022-04-13 | Fieldwork Robotics Ltd | Robotic arm |
JP6880457B2 (ja) * | 2017-11-14 | 2021-06-02 | オムロン株式会社 | 把持方法、把持システム及びプログラム |
JP6815309B2 (ja) | 2017-11-16 | 2021-01-20 | 株式会社東芝 | 作動システムおよびプログラム |
JP2021073099A (ja) * | 2018-03-09 | 2021-05-13 | ソニーグループ株式会社 | 制御システム及び制御システムにおける方法 |
CN108766894B (zh) * | 2018-06-07 | 2019-11-05 | 湖南大学 | 一种机器人视觉引导的芯片贴装方法及系统 |
WO2020024909A1 (zh) * | 2018-08-02 | 2020-02-06 | 广东虚拟现实科技有限公司 | 定位跟踪方法、终端设备及计算机可读取存储介质 |
JP6611888B2 (ja) * | 2018-09-28 | 2019-11-27 | キヤノン株式会社 | ロボット装置、ロボット装置の制御方法、プログラムおよび記録媒体 |
US11396101B2 (en) | 2018-11-08 | 2022-07-26 | Kabushiki Kaisha Toshiba | Operating system, control device, and computer program product |
US11312020B2 (en) * | 2018-11-20 | 2022-04-26 | Beijing Jingdong Shangke Information Technology Co | System and method for fast object detection in robot picking |
CN111267085A (zh) * | 2018-12-04 | 2020-06-12 | 北京猎户星空科技有限公司 | 一种动作分子的执行方法及装置、设备和存储介质 |
CN111360810A (zh) * | 2018-12-25 | 2020-07-03 | 深圳市优必选科技有限公司 | 机器人传感器的外参标定方法、装置、机器人及存储介质 |
JP7252581B2 (ja) * | 2019-03-19 | 2023-04-05 | 株式会社豊田自動織機 | 物品検出装置、物品検出方法、及び産業車両 |
US11845191B1 (en) * | 2019-06-26 | 2023-12-19 | Amazon Technologies, Inc. | Robotic picking of cuboidal items from a pallet |
CN114902281A (zh) * | 2020-01-17 | 2022-08-12 | 发那科株式会社 | 图像处理系统 |
CN114945447A (zh) * | 2020-01-22 | 2022-08-26 | Abb瑞士股份有限公司 | 用于操作机器人的系统和方法、电子设备和计算机可读介质 |
WO2021147034A1 (en) * | 2020-01-22 | 2021-07-29 | Abb Schweiz Ag | System and method for controlling the robot, electronic device and computer readable medium |
JP7314871B2 (ja) * | 2020-07-09 | 2023-07-26 | 新東工業株式会社 | 強度計測装置及び強度計測方法 |
KR102261498B1 (ko) * | 2020-07-10 | 2021-06-07 | 주식회사 두산 | 픽킹 대상물의 자세 추정 장치 및 방법 |
WO2023276238A1 (ja) * | 2021-07-02 | 2023-01-05 | ソニーグループ株式会社 | ロボット制御装置、およびロボット制御方法 |
CN113733100B (zh) * | 2021-09-29 | 2022-10-28 | 珠海优特电力科技股份有限公司 | 巡检操作机器人的目标定位方法、装置、设备及存储介质 |
US12030191B2 (en) * | 2021-10-28 | 2024-07-09 | Ubkang (Qingdao) Technology Co., Ltd. | Vision-guided picking and placing method, mobile robot and computer-readable storage medium |
EP4371711A1 (en) | 2022-11-16 | 2024-05-22 | Mujin, Inc. | A robotic system transfer unit cell and method of operation thereof |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3300682B2 (ja) * | 1999-04-08 | 2002-07-08 | ファナック株式会社 | 画像処理機能を持つロボット装置 |
JP3556589B2 (ja) * | 2000-09-20 | 2004-08-18 | ファナック株式会社 | 位置姿勢認識装置 |
US7423666B2 (en) * | 2001-05-25 | 2008-09-09 | Minolta Co., Ltd. | Image pickup system employing a three-dimensional reference object |
JP4976756B2 (ja) * | 2006-06-23 | 2012-07-18 | キヤノン株式会社 | 情報処理方法および装置 |
JP4226623B2 (ja) * | 2006-09-29 | 2009-02-18 | ファナック株式会社 | ワーク取り出し装置 |
JP5725708B2 (ja) * | 2009-12-24 | 2015-05-27 | キヤノン株式会社 | センサ位置姿勢計測方法 |
JP5854815B2 (ja) | 2011-12-20 | 2016-02-09 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
JP6000579B2 (ja) * | 2012-03-09 | 2016-09-28 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
-
2012
- 2012-09-03 JP JP2012193369A patent/JP6021533B2/ja not_active Expired - Fee Related
-
2013
- 2013-08-29 US US14/013,346 patent/US9746855B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014046433A (ja) | 2014-03-17 |
US20140067317A1 (en) | 2014-03-06 |
US9746855B2 (en) | 2017-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6021533B2 (ja) | 情報処理システム、装置、方法及びプログラム | |
JP5854815B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
JP6000579B2 (ja) | 情報処理装置、情報処理方法 | |
JP5975685B2 (ja) | 情報処理装置、情報処理方法 | |
JP5977544B2 (ja) | 情報処理装置、情報処理方法 | |
JP7292829B2 (ja) | 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法 | |
JP6180087B2 (ja) | 情報処理装置及び情報処理方法 | |
JP6324025B2 (ja) | 情報処理装置、情報処理方法 | |
JP5567908B2 (ja) | 3次元計測装置、その計測方法及びプログラム | |
JP5839929B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
JP6271953B2 (ja) | 画像処理装置、画像処理方法 | |
JP2016099257A (ja) | 情報処理装置及び情報処理方法 | |
US9679385B2 (en) | Three-dimensional measurement apparatus and robot system | |
JP6092530B2 (ja) | 画像処理装置、画像処理方法 | |
JP2005515910A (ja) | シングルカメラ3dビジョンガイドロボティクスの方法および装置 | |
JP6317618B2 (ja) | 情報処理装置およびその方法、計測装置、並びに、作業装置 | |
JP6677522B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
JP2016170050A (ja) | 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム | |
JP6885856B2 (ja) | ロボットシステムおよびキャリブレーション方法 | |
WO2020158060A1 (ja) | 物体把持システム | |
JPWO2019146201A1 (ja) | 情報処理装置、情報処理方法及び情報処理システム | |
WO2018145025A1 (en) | Calibration article for a 3d vision robotic system | |
TWI806761B (zh) | 標誌檢測裝置以及機器人示教系統 | |
JP6285765B2 (ja) | 情報処理装置、情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150828 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150828 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161004 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6021533 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |