JP6855492B2 - ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 - Google Patents
ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 Download PDFInfo
- Publication number
- JP6855492B2 JP6855492B2 JP2018537324A JP2018537324A JP6855492B2 JP 6855492 B2 JP6855492 B2 JP 6855492B2 JP 2018537324 A JP2018537324 A JP 2018537324A JP 2018537324 A JP2018537324 A JP 2018537324A JP 6855492 B2 JP6855492 B2 JP 6855492B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- robot
- position information
- reference table
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 35
- 230000008569 process Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 230000036544 posture Effects 0.000 description 46
- 238000004891 communication Methods 0.000 description 31
- 238000003860 storage Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 238000005452 bending Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000012636 effector Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Description
本発明は、自律的にハンドを目標まで移動可能な多関節ロボットを有するロボットシステムに関する。また、本発明は、かかるロボットシステムの制御装置および制御方法に関する。
多関節ロボットを用いて、カメラ等の視覚センサから得た情報を基に、ロボット自身が周辺環境を認識して作業を行うシステムが研究されている。例えば、バラ積みされた対象物をカメラで認識し、ロボットのアームの先端にあるハンドを作業対象物まで移動させて掴む、といった作業である。
一般的なロボットシステムでは、ロボットのハンドを目標となる対象物まで移動させるために、カメラ等で対象物の位置情報を得た後、この位置情報をカメラ座標系からロボット座標系に変換してロボットに伝える。ここで、カメラ座標系からロボット座標系への変換には、カメラとロボットの相対位置関係を予め求めておく必要がある。そのため、キャリブレーションによって、カメラ座標系−世界座標系間、およびロボット座標系−世界座標系間の座標変換を行なうための変換行列を求める。これにより、対象物のカメラ座標系における位置座標を、世界座標系を介して、ロボット座標系における位置座標に変換することができる。
しかし、カメラ座標系−世界座標系間の変換行列を決定するには、カメラの焦点距離、画像中心、画像サイズ（画素サイズ）、歪曲収差係数等の内部パラメータと、カメラの位置姿勢を表す外部パラメータを知る必要がある。そのために、例えば、チェッカーボード等の平面パターンとカメラの位置を高精度の三次元測定器を用いて求めることになり、極めて手間とコストのかかる作業を要した。
ロボット座標系−世界座標系間の座標変換を決定するにも、世界座標系での位置座標が正確に分かっている教示点に、人手によりハンド移動させて姿勢パラメータを計測するなど、やはり極めて手間とコストのかかる作業が必要であった。
これに対して、特許文献１および２には、ロボットに設けられた基準箇所とその移動先を撮像して両者の位置偏差を求め、その位置偏差に基づいてロボットの関節の変位を制御することにより、運動学的な演算に誤差があっても、エンドエフェクタ（ハンド）を目標位置にまで移動させることが可能な多関節ロボットが記載されている。
特許文献１および２に記載された方法によれば、ロボットシステムの正確なキャリブレーションを行わなくても、ロボットのハンドを目標にまで自律的に移動させることができる。しかしながら、移動中に位置偏差を何度も確認しながらハンドを目標に近づけていくため、ハンドを目標に到達させるのに時間がかかるという問題があった。
本発明は、上記を考慮してなされたものであり、自律的にハンドを目標まで移動可能な多関節ロボットを利用し、煩雑なキャリブレーション作業の負担を軽減しつつ、ハンドの目標までの移動時間を短縮できるロボットシステム、ロボットシステム制御装置およびロボットシステム制御方法を提供することを目的とする。
上記目的のために、本発明では、ハンドを自律的に移動可能な多関節ロボットによる作業と並行して、カメラの画像から得られる位置情報とロボットの姿勢パラメータとを直接関連付けた参照表を作成し、その参照表を利用してロボットを制御する。
具体的には、本発明のロボットシステムは、自律的にハンドを目標まで移動可能な多関節ロボットと、前記ロボットの作業空間を撮像する１台以上のカメラと、制御装置とを有する。そして、前記制御装置は、前記カメラの画像に基づく位置情報と当該位置情報に対応する前記ロボットの姿勢パラメータとを関連付けた参照表を記憶する。そして、前記制御装置は、前記ハンドを対象物まで移動させようとするときに、前記カメラから画像を取得し、該画像中に前記対象物を認識して該対象物の位置情報を算出する。そして、前記制御装置は、前記対象物の位置情報を前記参照表に発見した場合は、当該位置情報に関連付けられた前記姿勢パラメータを前記ロボットに送信して、前記ハンドを前記対象物まで移動させる。一方、前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達前および／または到達後に前記参照表を補充、更新する。
ここで、ロボットの姿勢パラメータとは、ロボットの姿勢に関連するパラメータであって、少なくともハンドの位置を決定できるものをいう。
好ましくは、前記制御装置は、前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達後であって該ハンドが該対象物を保持した状態で、該対象物の位置情報と前記姿勢パラメータとを関連付けて前記参照表を補充、更新する。
あるいは、前記ロボットが前記ハンドまたはアームに固定された標識を備えていて、前記制御装置は、前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達前および／または到達後に、前記標識の位置情報と前記姿勢パラメータとを関連付けて前記参照表を補充、更新してもよい。
好ましくは、前記ロボットが、前記ハンドと前記対象物との位置偏差を検出する偏差検出手段と、前記位置偏差が縮小するように前記ロボットの関節の変位を制御する駆動制御手段とによって、自律的に前記ハンドを前記対象物まで移動させる。前記偏差検出手段は、前記ロボットに固定された三次元視覚センサからなるものでもよいし、前記１台以上のカメラからなるものでもよい。
好ましくは、前記ロボットシステムは第１カメラおよび第２カメラを有し、前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像中の画素位置と前記第２カメラによる画像中の画素位置との組である。
あるいは、前記ロボットシステムは第１カメラおよび第２カメラを有し、前記参照表に登録される前記位置情報が、当該位置の、第１カメラによる画像中の画素位置と、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出された距離情報との組であってもよい。
あるいは、前記ロボットシステムは第１カメラおよび第２カメラを有し、前記参照表に登録される前記位置情報が、当該位置の、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標であってもよい。
あるいは、前記ロボットシステムは、前記カメラの画角内にあって、該カメラから見たときに前記作業空間が映り込むように配置された鏡をさらに有し、前記参照表に登録される前記位置情報が、当該位置の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組であってもよい。
あるいは、前記カメラが距離画像カメラであって、前記参照表に登録される前記位置情報が、当該位置の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組であってもよい。
上記いずれかのロボットシステムにおいて、好ましくは、前記姿勢パラメータが、前記ロボットの関節変数の組である。
あるいは、上記いずれかのロボットシステムにおいて、前記姿勢パラメータが、ロボット座標系における三次元位置座標であってもよい。
本発明のロボットシステム制御装置は、自律的にハンドを対象物まで移動可能な多関節ロボットを有するロボットシステムの制御装置である。そして、ロボットシステム制御装置は、前記ロボットの作業空間を撮像する１台以上のカメラの画像に基づく位置情報と、当該位置情報に対応する前記ロボットの姿勢パラメータとを関連付けた参照表を記憶する。そして、ロボットシステム制御装置は、前記ハンドを前記対象物まで移動させようとするときに、前記カメラから画像を取得し、該画像中に前記対象物を認識して該対象物の位置情報を算出する。そして、ロボットシステム制御装置は、前記対象物の位置情報を前記参照表に発見した場合は、当該位置情報に関連付けられた姿勢パラメータを前記ロボットに送信して、前記ハンドを前記対象物まで移動させ、前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達前および／または到達後に前記参照表を補充、更新する。
本発明のロボットシステム制御方法は、自律的にハンドを対象物まで移動可能な多関節ロボットを有するロボットシステムの制御方法である。そして、ロボットシステム制御方法は、前記ロボットのハンドを第１対象物に向かって自律的に移動させる工程と、前記ハンドが前記第１対象物に到達して該第１対象物を保持した状態で停止中および／または移動中に、１台以上のカメラで前記ロボットの作業空間を撮像し、当該撮像により得られた画像中に前記第１対象物を認識して該第１対象物の位置情報を算出し、前記ロボットから姿勢パラメータを取得し、前記位置情報と前記姿勢パラメータとを関連付けた参照表を作成して記憶する工程とを有する。そして、ロボットシステム制御方法はさらに、前記カメラで第２対象物が存在する前記作業空間を撮像し、当該撮像により得られた画像中に前記第２対象物を認識して該第２対象物の位置情報を算出し、前記第２対象物の位置情報を前記参照表から検索する工程と、前記第２対象物の位置情報を前記参照表に発見した場合は、当該位置情報に関連付けられた前記姿勢パラメータを前記ロボットに送信して、前記ハンドを前記第２対象物まで移動させ、前記第２対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記第２対象物に向かって自律的に移動させ、前記ハンドが前記第２対象物に到達して該第２対象物を保持した状態で停止中および／または移動中に、前記参照表を補充、更新する工程とを有する。
本発明のロボットシステム、ロボットシステム制御装置またはロボットシステム制御方法によれば、多関節ロボットは自律的にハンドを目標位置まで移動可能なので、精密なキャリブレーションが不要になる。そして、ハンドが過去に到達した点または移動中に通過した点であって、その位置情報とロボットの姿勢パラメータを関連付けたレコードが参照表に記録された点については、参照表に記録された姿勢パラメータをロボットに指示することにより、ハンドを迅速に作業対象物に到達させることができる。また、参照表は実際のカメラおよびロボットを用いて作成されるので、システム製作時の誤差や不規則なレンズ歪等の影響を受けずに、ハンドを作業対象物まで移動させることができる。以上により、煩雑なキャリブレーション作業の負担を軽減しつつ、作業を続けるにつれて参照表に登録される位置情報の数が増えるので、ハンド移動に要する時間を短縮できる。
本発明の第１実施形態を図１〜図７に基づいて説明する。
図１において、本実施形態のロボットシステム１０は、多関節ロボット２０と、ロボットの作業空間を撮像する第１カメラ３０および第２カメラ３１と、ロボットシステム制御装置４０を有する。以下において「ロボットシステム制御装置」を単に「制御装置」という。ロボットの作業空間には、作業の対象となる対象物５２がある。
ロボット２０は作業場に固定される。ロボット２０は、ロボットを作業場に固定するためのベース２５と、複数のリンク２２が関節２３で接続されたアーム２１と、アームの先端に接続されたハンド２４と、駆動部２６を有する。ロボットの各関節はサーボモータ等のアクチュエータ（図示せず）と、その関節の関節変数を検知するセンサー（図示せず）を備える。ここで、関節変数とはその関節の変位をいい、具体的には回転関節の関節角度（リンク間角度）や直動関節のリンク間距離のことをいう。ハンド２４は手先、エンドエフェクタとも呼ばれる。
ロボット２０は、ハンド２４と対象物５２との位置偏差を検出する手段として、ハンドに固定された三次元視覚センサ２７を備える。視覚センサとしては、三角測量の原理を利用して注目点の方向および距離を計測するものを好適に用いることができる。例えば、２台のカメラからなるステレオカメラや、１台のカメラと１台のシート光源からなり光切断法を利用するものを好適に用いることができる。ロボットの駆動部２６はサーボアンプ等により各関節のアクチュエータを駆動する。駆動部は、視覚センサが検出した位置偏差が縮小するように、ロボットの関節を駆動する。これにより、ロボットが自律的にハンドを対象物まで移動させることができる。このようなロボットとして、特許文献１または２に記載されたロボットを好適に用いることができる。なお、駆動部はその一部または全部が、ロボット本体と物理的に離れて設けられ、例えば制御装置と一体に形成されていてもよい。
また、駆動部２６は、外部から、関節変数を受信して、あるいは、ロボット座標系におけるハンドの三次元位置座標を外部から受信して関節変数を算出して、ロボットを駆動することができる。ここで、ロボット座標系は、ロボットの不動点を基準とする座標系であって、好ましくは、ベース２５を基準とする座標系である。ロボット座標系は、直交座標系であっても各種極座標系であってもよい。以下、単に「三次元位置座標」というときは、ロボット座標系における三次元位置座標を意味する。
ロボット２０は、ベース２５が作業場に固定され、作業時を通して移動することがない。したがって、ハンド２４の位置は、関節変数の組み合わせやハンドの三次元位置座標によって表すことができる。例えば、アーム２１の自由度が３である場合、アームの３つの関節変数によって、ハンドの位置とアームの姿勢が定まる。あるいは、アーム２１の自由度が３でハンド２４の自由度が３である場合、アームおよびハンドの６つの関節変数によって、ハンドの位置および姿勢とアームの姿勢が定まる。また、ハンドの三次元位置座標はハンドの位置を表している。このように、ロボットの姿勢に関連し、少なくともハンドの位置を決定できるパラメータを、本明細書中で「ロボットの姿勢パラメータ」という。
ロボットの形式は特に限定されず、図１に例示したシリアルリンク形の垂直多関節ロボットの他、水平多関節形やパラレルリンク形など各種の多関節ロボットを用いることができる。
第１カメラ３０および第２カメラ３１は作業場に固定される。２台のカメラは、ロボット２０の作業空間を撮像するように設置されている。ここでロボットの作業空間とは、ロボットのハンド２４が到達可能な空間領域のうち、作業時にハンドが移動する可能性のある領域をいう。２台のカメラ３０、３１は二次元画像を撮像可能なカメラである。
図２を参照して、制御装置４０は、第１通信部４１と、第２通信部４２と、演算部４３と、記憶部４４と第３通信部４５とを有する。
第１通信部４１はロボット２０の駆動部２６と信号線で接続され、ロボットとの通信を行う。第１通信部は、目標位置に対応する姿勢パラメータをロボットに送信して、ハンド２４を目標位置まで移動させるよう指示する。また、第１通信部は、自律的にハンドを目標まで移動させるようロボットに指示する。また、第１通信部は、ロボットから関節変数等の姿勢パラメータを受信する。第２通信部４２は第１カメラ３０および第２カメラ３１と信号線で接続され、カメラとの通信を行う。第２通信部は、カメラに撮像指示を送信し、カメラから画像を受信する。
演算部４３は、第２通信部４２がカメラ３０、３１から受信した画像を処理する。演算部は、対象物５２を画像中に認識して、対象物の位置情報を算出する。演算部は、参照表を参照して、対象物の位置情報から、ロボットのハンドを対象物まで移動させるための姿勢パラメータを取得する。演算部はさらに、対象物の位置情報と、ロボットから受信した姿勢パラメータとを関連付けて、参照表を補充、更新する。より正確には、演算部は、１つの位置情報とその位置情報に対応するロボットの姿勢パラメータとを関連付けた１つのレコードを作成して、既存の参照表に追加登録する。
記憶部４４は、参照表を記憶する。記憶部としては、ハードディスク装置などの書き換え可能でランダムアクセス可能な補助記憶装置を好適に用いることができる。第３通信部４５は入力装置４６および出力装置４７と信号線で接続され、操作者との通信を行う。第３通信部は、入力装置４６から操作者からの指示を受信し、出力装置４７に操作者にロボットシステムの状況等を送信する。
制御装置４０は、必ずしも物理的に１台の装置である必要はなく、複数台で処理を分担してもよい。また、制御装置は、ロボットの駆動部２６と一体に形成されていてもよい。
次に、本実施形態のロボットシステム制御方法を説明する。各部の参照符号は、図１および図２に示した符号である。
まず、作業場にロボット２０、第１カメラ３０および第２カメラ３１を設置する。このとき、２台のカメラは、ロボットの作業空間を撮像可能な位置および向きに設置する。２台のカメラの光軸がなす角は、好ましくは３０〜１５０度、より好ましくは６０〜１２０度、特に好ましくは７０〜１１０度である。２台のカメラの向きが平行または逆向きに近いほど、カメラの光軸方向の空間解像度が低くなるからである。ただし、２台のカメラの向きが異なるほど、対象物の一部が死角となるオクルージョンが発生する可能性が高まる。２台のカメラの向きはオクルージョンが発生しにくく、かつ、必要な空間解像度が確保できるよう、対象物の形状や作業空間に合わせて適宜決定すればよい。ロボットおよびカメラは、以下のキャリブレーション工程および作業工程を通して作業場に固定される。
図３において、まず、制御装置４０が第２通信部４２からカメラ３０、３１に撮像指示を送信し、カメラが作業空間を撮像する。作業空間には対象物５２が存在する。第２通信部がカメラから画像を受信する。図４に第２通信部が受信する画像を示す。２枚の画像には対象物が記録されている。
演算部４３は２つの画像を処理して、画像中に対象物を認識する。対象物を認識する方法としては、特徴点の抽出やテンプレートマッチングなど、公知の方法を用いることができる。演算部は、認識した対象物から、ハンド移動の目標となる対象物の位置情報を算出する。対象物の位置情報は、対象物の、２つの画像中の画素位置の組（ｕ１ｉ，ｖ１ｉ，ｕ２ｉ，ｖ２ｉ）とすることができる。
演算部４３は対象物の位置情報から記憶部４４に記憶されている参照表を参照して、姿勢パラメータを検索する。ロボットとカメラ設置後の最初の作業では、参照表は空である。そうでない場合、参照表は、過去にハンドが到達または通過したいくつかの点について、位置情報とロボットの姿勢パラメータとを関連付けたレコードを有する。演算部は、参照表から、対象物の位置情報と対応する姿勢パラメータからなるレコードを検索する。
算出された対象物の位置情報を参照表に発見した場合は、その位置情報に関連付けられた姿勢パラメータを取得して、第１通信部からロボットに送信し、ロボットがハンドを対象物まで移動させるよう、ロボットに指示する。
算出された対象物の位置情報を参照表に発見しない場合は、第１通信部４１は、ロボットに、自律的に対象物に向かってハンドを移動させるよう指示する。さらに、ハンド２４が対象物に到達して対象物を把持したときに、制御装置の第１通信部４１がロボットから姿勢パラメータを受信し、演算部４３が、先に算出した対象物の位置情報と、ロボットから受信した姿勢パラメータとを関連付けたレコードを作成して、記憶部４４の参照表に追加登録する。
図５に参照表の例を示す。この参照表の各レコードは、位置情報として第１カメラ画像中の画素位置としての座標（ｕ１ｉ，ｖ１ｉ）と第２カメラ画像中の画素位置としての座標（ｕ２ｉ，ｖ２ｉ）、および姿勢パラメータとして６自由度のロボットにおける６つの関節角度（θ１ｉ，θ２ｉ，θ３ｉ，θ４ｉ，θ５ｉ，θ６ｉ）からなる。
また、制御装置４０は、ハンド２４が対象物５２に到達した後であって、対象物を把持した状態で移動している間に、参照表をさらに補充、更新してもよい。カメラの撮像タイミングとロボットの姿勢パラメータの取得タイミングが同期可能な場合は、制御装置の第１通信部４１および第２通信部４２からロボットおよびカメラ３０、３１に同時刻を指定して、それぞれ姿勢パラメータまたは画像を送信するよう要求できる。また、１つの同期信号に基づいて、第１通信部４１および第２通信部４２がロボットまたはカメラから、それぞれ姿勢パラメータまたは画像を受信してもよい。同期信号は制御装置４０内の同期信号生成部（図示せず）が生成してもよいし、第１または第２通信部のいずれかが生成してもよい。また、カメラ３０、３１が撮像時刻付の画像を生成可能なときは、第２通信部がカメラから時々刻々と画像を受信して、第１通信部がロボットから受信した姿勢パラメータと同時刻の画像を選択することができる。演算部４３は、カメラ３０、３１から受信した画像中に対象物を認識して、その位置情報を算出する。演算部は、対象物の位置情報とロボットから受信した姿勢パラメータとを関連付けたレコードを作成し、記憶部４４に記憶された参照表に追加登録する。
ここで、参照表について、さらに詳細に説明する。
参照表には、ロボットの作業空間内の点について、その点のカメラ画像から得られる位置情報と、その点に対応したロボットの姿勢パラメータとが、関連付けて登録される。
参照表に登録する位置情報は、図５に示したような２つ画素座標の組には限られない。位置情報は、例えば図６に示すように、第１カメラによる画像中の画素位置（ｕ１ｉ，ｖ １ｉ）と、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出された距離情報（ｄｉ）との組であってもよい。あるいは、位置情報は、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標であってもよい。これらの場合、第１カメラと第２カメラの中心間距離（基線長）と画像中のエピポーラ線を知る必要があるが、例えば第１カメラと第２カメラが一体となった市販のステレオカメラなどを利用する場合には、このようなカメラの幾何学的パラメータが予め調整されており、内部校正作業は不要である。
参照表に登録する姿勢パラメータの一例はロボットの関節変数である。関節変数は、図５に示したような関節角度の組には限定されない。姿勢パラメータとして関節変数を用いる場合は、回転関節では関節角度（リンク間角度）、直動関節ではリンク間距離を関節変数として、ロボットを構成する関節の種類に応じた関節変数を組み合わせる。
本実施形態では、対象物の位置情報と、その対象物を実際に把持した状態での関節変数を関連付けて、参照表に登録できる。したがって、後続する作業時に、新たな対象物の位置情報から参照表を検索して関節変数が取得できた場合は、その関節変数をロボットに指示することによって、新たな対象物を把持することができる。さらに、重力によるアームの撓み等があっても、カメラによる画像から求めた位置情報にはアームの撓み等がすでに織り込まれており、撓みの影響を受けずにハンドを新たな対象物まで移動できる。
参照表に登録する姿勢パラメータの他の例は、対象物のロボット座標系における三次元位置座標である。ロボット座標系は、作業時を通して変動しない座標系であればよい。好適には、ロボットのベース２５を基準とする座標系を用いることができる。ロボット座標系は直交座標系であっても極座標系であってもよい。一例として、図９に、ロボット座標系における直交座標（Ｒｘｉ，Ｒｙｉ，Ｒｚｉ）を姿勢パラメータとする参照表を示す。姿勢パラメータを三次元位置座標で表すことには、パラメータの数が少なくてすむというメリットがある。
対象物の三次元位置座標は、そのときの関節変数から算出することができる。対象物の三次元位置座標は、例えば、制御装置の第１通信部がロボットから受信した関節変数を基に演算部が算出できる。また、後続する作業時に、新たな対象物の位置情報から参照表を検索して三次元位置座標が取得できた場合は、制御装置の演算部または演算機能を有するロボットの駆動部が当該三次元座標位置にハンドを移動させるための関節変数を算出することができる。
なお、本実施形態は、ロボットとカメラ設置後であって最初の作業の前に、簡単な参照表を作成しておくことを排除するものではない。その際に精密なキャリブレーションを行うことは本実施形態の目的に反するし、必要でもない。例えば、ハンドに対象物を保持させて作業空間の角等に手動または自動で移動させ、そのときのハンドの位置情報とロボットの姿勢パラメータとを関連付けたレコードを作成し、予め参照表に登録しておいてもよい。参照表に予め登録しておくレコード数は、好ましくは６４以下、さらに好ましくは２７以下、特に好ましくは８以下であり、最も好ましくは０である。
本実施形態では、自律的にハンドを目標位置まで移動可能なロボットを用いるので、キャリブレーション作業の負担が軽減される。また、作業を続けるにつれて参照表に登録される位置情報の数が増えるので、参照表に対象物の位置情報を発見する確率が上がり、結果として、ハンド移動に要する時間を短縮できる。
本実施形態では、実際のカメラおよびロボットを用いて参照表を作成するので、システム製作時の加工・取り付け等による誤差の影響を受けない。また、カメラの内部および外部パラメータやロボットの設置位置・向き等を計測する必要がないので、装置の選択や設置の自由度が大きい。例えば、画角の大きいカメラを用いて、より広い範囲をカバーすることができる。
本実施形態では、参照表を利用してハンドを移動させるので、ハンドが一度訪れた点には、二度目以降も確実に到達することができる。また、レンズ歪等による不規則な誤差要因があっても、その影響を受けない。例えば、レンズ歪について、変換行列等を利用して座標変換を行う場合は、歪曲収差係数等を用いたとしても、モデル化された樽形歪、糸巻形歪等に対して補正できるだけで、不規則な歪の影響を完全には排除できない。参照表を利用することにより、より安価なレンズ系を備えたカメラを採用することができる。
次に、本発明の第２実施形態を図８に基づいて説明する。
図８において、本実施形態のロボットシステム１１は、第１実施形態のそれとほぼ同じである。ただし、ロボット２０のハンド２４に標識５１が固定されており、この標識を利用して参照表の補充、更新を行う。
本実施形態では、第１実施形態と同じく、ロボットのハンドを対象物５２まで移動させようとするときに、カメラ３０、３１から画像を取得し、画像中に対象物を認識して対象物の位置情報を算出し、その位置情報を参照表に発見した場合は、位置情報に関連付けられた姿勢パラメータをロボットに送信して、ハンドを対象物まで移動させる。しかし、対象物５２の位置情報を参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、ハンドが対象物に到達する前および／または後であって、ハンドが停止中および／または移動中に、標識５１のカメラ画像に基づく位置情報と、当該位置情報に対応する姿勢パラメータとを関連付けて、参照表を補充、更新する。
ここで、標識の位置情報を求めたときの関節変数を、そのまま参照表に登録することはできない。標識の位置はハンドが対象物を把持するときの位置（ハンドの把持位置）と一致していないので、その関節変数はその標識の位置に対応していないからである。そこで、標識の位置情報を求めたときの関節変数から、標識の三次元位置座標を算出して参照表に登録する。あるいは、標識の位置情報を求めたときの関節変数から一旦標識の三次元位置座標を求め、ロボットの設計データを基に標識位置に対応する関節変数へ変換して、参照表に登録することも可能である。その際、作業場にある障害物を回避するための幾何学的な拘束条件等を考慮して関節変数を求めることができる。
なお、標識の固定先はハンドに限られず、ロボットの可動部分であれば、アーム２１に固定されていてもよい。また、標識をハンドに固定することには、標識となる物体をハンドに固着させること、ハンドの一部に標識となるマークを描くこと、ハンドの一部であって特徴的な部分を標識とすることが含まれる。
本実施形態によれば、ロボット２０のハンド２４に固定された標識を利用して参照表の補充、更新を行うので、ハンドが対象物を把持しているか否かに関わらず、ハンドが対象物に到達する前後に関わらず、参照表の補充、更新が可能となる。
次に、本発明の第３実施形態を図９に基づいて説明する。
図９において、本実施形態のロボットシステム１２は、第１実施形態のそれとほぼ同じである。ただし、ロボット２０がハンド２４と対象物５２との位置偏差を検出する偏差検出手段が、第１カメラ３０および第２カメラ３１からなる。
次に、本発明の第４実施形態を図１０〜図１２に基づいて説明する。本実施形態は、鏡を利用し、１台のカメラで、ロボットの作業空間の直接像および鏡による反射像を撮像する。
図１０において、本実施形態のロボットシステム１３は、多関節ロボット２０と、鏡３８と、ロボットの作業空間の直接像および鏡による反射像を撮像する１台のカメラ３２と、制御装置４０とを有する。
ロボット２０は第１実施形態と同じである。カメラ３２は、第１実施形態の第１カメラ３０または第２カメラ３１と同じものを用いることができる。カメラ３２および鏡３８は、ロボットの作業空間の直接像および鏡による反射像を撮像可能に設置される。
制御装置４０の構成は図２と同じであるが、ただし、演算部の機能が異なる。図１１に示すように、第２通信部４２がカメラ３２から受信する画像には、対象物５２の直接像と鏡３８による反射像が写り込んでいる。演算部４３は、１枚の画像を処理して、対象物を認識して、その位置情報を算出する。その他は第１実施形態と同様である。
図１２に参照表の例を示す。この参照表の各レコードには、対象物の直接像の画像中の画素位置としての座標（ｕｄｉ，ｖｄｉ）、反射像の画像中の画素位置としての座標（ｕ ｍｉ，ｖｍｉ）と、６自由度のロボットにおける姿勢パラメータとしての６つの関節変数（θ１ｉ，θ２ｉ，θ３ｉ，θ４ｉ，θ５ｉ，θ６ｉ）が含まれている。
次に、本発明の第５実施形態を図１３および図１４に基づいて説明する。本実施形態は、１台のＴＯＦカメラで、ロボットの作業空間を撮像する。
図１３において、本実施形態のロボットシステム１４は、多関節ロボット２０と、ロボットの作業空間を撮像する１台のＴＯＦカメラ３３と、制御装置４０とを有する。
ロボット２０は第１実施形態と同じである。ＴＯＦカメラ３３は、光飛行時間（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ：ＴＯＦ）方式による距離画像生成カメラで、二次元画像とともにカメラから各画素に写った点までの距離が記録された距離画像を撮像する。
制御装置４０の構成は図２と同じであるが、ただし、演算部の機能が異なる。演算部４３は、ＴＯＦカメラ３３から第２通信部で受信した二次元画像および距離画像を処理して、対象物５２を画像中に認識して、その対象物の位置情報を取得する。その他は第１実施形態と同様である。
図１４に参照表の例を示す。この参照表の各レコードは、対象物の距離画像中の座標（Ｃｘｉ，Ｃｙｉ，Ｃｄｉ）と、６自由度のロボットにおける姿勢パラメータとしての６つの関節変数（θ１ｉ，θ２ｉ，θ３ｉ，θ４ｉ，θ５ｉ，θ６ｉ）を含む。
本発明は上記の実施形態に限られるものではなく、その技術的思想の範囲内で種々の変形が可能である。
例えば、上記各実施形態では、１台のロボットに対して１台以上のカメラと１台の制御装置を組み合わせてロボットシステムを構築したが、これには限られず、複数のロボットシステムを１台の制御装置で制御してもよい。
１０〜１４ ロボットシステム
２０ 多関節ロボット
２１ アーム
２２ リンク
２３ 関節
２４ ハンド
２５ ベース
２６ 駆動部
２７ 三次元視覚センサ（偏差検出手段）
３０ 第１カメラ
３１ 第２カメラ
３２ カメラ
３３ ＴＯＦカメラ
３８ 鏡
４０ ロボットシステム制御装置（制御装置）
４１ 第１通信部（ロボットとのインターフェイス）
４２ 第２通信部（カメラとのインターフェイス）
４３ 演算部
４４ 記憶部
４５ 第３通信部（入出力装置とのインターフェイス）
４６ 入力装置
４７ 出力装置
５１ 標識
５２ 対象物
２０ 多関節ロボット
２１ アーム
２２ リンク
２３ 関節
２４ ハンド
２５ ベース
２６ 駆動部
２７ 三次元視覚センサ（偏差検出手段）
３０ 第１カメラ
３１ 第２カメラ
３２ カメラ
３３ ＴＯＦカメラ
３８ 鏡
４０ ロボットシステム制御装置（制御装置）
４１ 第１通信部（ロボットとのインターフェイス）
４２ 第２通信部（カメラとのインターフェイス）
４３ 演算部
４４ 記憶部
４５ 第３通信部（入出力装置とのインターフェイス）
４６ 入力装置
４７ 出力装置
５１ 標識
５２ 対象物
Claims (32)
- 自律的にハンドを目標まで移動可能な多関節ロボットと、前記ロボットの作業空間を撮像する１台以上のカメラと、制御装置とを有し、
前記制御装置は、前記カメラの画像に基づく位置情報と当該位置情報に対応する前記ロボットの姿勢パラメータとを関連付けた参照表を記憶し、
前記制御装置は、前記ハンドを対象物まで移動させようとするときに、
前記カメラから画像を取得し、該画像中に前記対象物を認識して該対象物の位置情報を算出し、
前記対象物の位置情報を前記参照表に発見した場合は、当該位置情報に関連付けられた前記姿勢パラメータを前記ロボットに送信して、前記ハンドを前記対象物まで移動させ、
前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達前および／または到達後に前記参照表を補充、更新する、
ロボットシステム。 - 前記制御装置は、前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達後であって該ハンドが該対象物を保持した状態で、該対象物の位置情報と前記姿勢パラメータとを関連付けて前記参照表を補充、更新する、
請求項１に記載のロボットシステム。 - 前記ロボットが前記ハンドまたはアームに固定された標識を備え、
前記制御装置は、前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達前および／または到達後に、前記標識の位置情報と前記姿勢パラメータとを関連付けて前記参照表を補充、更新する、
請求項１に記載のロボットシステム。 - 前記ロボットが、前記ハンドと前記対象物との位置偏差を検出する偏差検出手段と、前記位置偏差が縮小するように前記ロボットの関節の変位を制御する駆動制御手段とによって、自律的に前記ハンドを前記対象物まで移動させる、
請求項１〜３のいずれか一項に記載のロボットシステム。 - 前記偏差検出手段が、前記ロボットに固定された三次元視覚センサからなる、
請求項４に記載のロボットシステム。 - 前記偏差検出手段が、前記１台以上のカメラからなる、
請求項４に記載のロボットシステム。 - 前記ロボットシステムは第１カメラおよび第２カメラを有し、
前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像中の画素位置と前記第２カメラによる画像中の画素位置との組である、
請求項１〜６のいずれか一項に記載のロボットシステム。 - 前記ロボットシステムは第１カメラおよび第２カメラを有し、
前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像中の画素位置と、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出された距離情報との組である、
請求項１〜６のいずれか一項に記載のロボットシステム。 - 前記ロボットシステムは第１カメラおよび第２カメラを有し、
前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標である、
請求項１〜６のいずれか一項に記載のロボットシステム。 - 前記ロボットシステムは、前記カメラの画角内にあって、該カメラから見たときに前記作業空間が映り込むように配置された鏡をさらに有し、
前記参照表に登録される前記位置情報が、当該位置の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組である、
請求項１〜６のいずれか一項に記載のロボットシステム。 - 前記カメラが距離画像カメラであって、
前記参照表に登録される前記位置情報が、当該位置の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組である、
請求項１〜６のいずれか一項に記載のロボットシステム。 - 前記姿勢パラメータが、前記ロボットの関節変数の組である、
請求項１〜１１のいずれか一項に記載のロボットシステム。 - 前記姿勢パラメータが、ロボット座標系における三次元位置座標である、
請求項１〜１１のいずれか一項に記載のロボットシステム。 - 自律的にハンドを対象物まで移動可能な多関節ロボットを有するロボットシステムの制御装置であって、
前記ロボットの作業空間を撮像する１台以上のカメラによる画像に基づく位置情報と、当該位置情報に対応する前記ロボットの姿勢パラメータとを関連付けた参照表を記憶し、
前記ハンドを前記対象物まで移動させようとするときに、
前記カメラから画像を取得し、該画像中に前記対象物を認識して該対象物の位置情報を算出し、
前記対象物の位置情報を前記参照表に発見した場合は、当該位置情報に関連付けられた姿勢パラメータを前記ロボットに送信して、前記ハンドを前記対象物まで移動させ、
前記対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記対象物に向かって自律的に移動させ、該ハンドの該対象物への到達前および／または到達後に前記参照表を補充、更新する、
ロボットシステム制御装置。 - 前記ロボットシステム制御装置は第１カメラおよび第２カメラから画像を取得し、
前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像中の画素位置と前記第２カメラによる画像中の画素位置との組である、
請求項１４に記載のロボットシステム制御装置。 - 前記ロボットシステム制御装置は第１カメラおよび第２カメラから画像を取得し、
前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像中の画素位置と、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出された距離情報との組である、
請求項１４に記載のロボットシステム制御装置。 - 前記ロボットシステム制御装置は第１カメラおよび第２カメラから画像を取得し、
前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標である、
請求項１４に記載のロボットシステム制御装置。 - 前記カメラは、前記作業空間と該作業空間が映り込んだ鏡とを１枚の画像に撮像し、
前記参照表に登録される前記位置情報が、当該位置の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組である、
請求項１４に記載のロボットシステム制御装置。 - 前記カメラが距離画像カメラであって、
前記参照表に登録される前記位置情報が、当該位置の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組である、
請求項１４に記載のロボットシステム制御装置。 - 前記姿勢パラメータが、前記ロボットの関節変数の組である、
請求項１４〜１９のいずれか一項に記載のロボットシステム制御装置。 - 前記姿勢パラメータが、ロボット座標系における三次元位置座標である、
請求項１４〜１９のいずれか一項に記載のロボットシステム制御装置。 - 自律的にハンドを対象物まで移動可能な多関節ロボットを有するロボットシステムの制御方法であって、
前記ロボットのハンドを第１対象物に向かって自律的に移動させる工程と、
前記ハンドが前記第１対象物に到達して該第１対象物を保持した状態で停止中および／または移動中に、１台以上のカメラで前記ロボットの作業空間を撮像し、当該撮像により得られた画像中に前記第１対象物を認識して該第１対象物の位置情報を算出し、前記ロボットから姿勢パラメータを取得し、前記位置情報と前記姿勢パラメータとを関連付けた参照表を作成して記憶する工程と、
前記カメラで第２対象物が存在する前記作業空間を撮像し、当該撮像により得られた画像中に前記第２対象物を認識して該第２対象物の位置情報を算出し、前記第２対象物の位置情報を前記参照表から検索する工程と、
前記第２対象物の位置情報を前記参照表に発見した場合は、当該位置情報に関連付けられた前記姿勢パラメータを前記ロボットに送信して、前記ハンドを前記第２対象物まで移動させ、前記第２対象物の位置情報を前記参照表に発見しない場合は、前記ハンドを前記第２対象物に向かって自律的に移動させ、前記ハンドが前記第２対象物に到達して該第２対象物を保持した状態で停止中および／または移動中に、前記参照表を補充、更新する工程と、
を有するロボットシステム制御方法。 - 前記ロボットが、前記ハンドと前記第１対象物または第２対象物との位置偏差を検出する偏差検出手段と、前記位置偏差が縮小するように前記ロボットの関節の変位を制御する駆動制御手段とによって、自律的に前記ハンドを前記第１対象物または第２対象物まで移動させる、
請求項２２に記載のロボットシステム制御方法。 - 前記偏差検出手段が、前記ロボットに固定された三次元視覚センサからなる、
請求項２３に記載のロボットシステム制御方法。 - 前記偏差検出手段が、前記１台以上のカメラからなる、
請求項２３に記載のロボットシステム制御方法。 - 前記作業空間の撮像は第１カメラおよび第２カメラによって行われ、
前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像中の画素位置と前記第２カメラによる画像中の画素位置との組である、
請求項２２〜２５のいずれか一項に記載のロボットシステム制御方法。 - 前記作業空間の撮像は第１カメラおよび第２カメラによって行われ、
前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像中の画素位置と、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出された距離情報との組である、
請求項２２〜２５のいずれか一項に記載のロボットシステム制御方法。 - 前記作業空間の撮像は第１カメラおよび第２カメラによって行われ、
前記参照表に登録される前記位置情報が、当該位置の、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標である、
請求項２２〜２５のいずれか一項に記載のロボットシステム制御方法。 - 前記カメラは、前記作業空間と該作業空間が映り込むように配置された鏡とを１枚の画像内に撮像し、
前記参照表に登録される前記位置情報が、当該位置の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組である、
請求項２２〜２５のいずれか一項に記載のロボットシステム制御方法。 - 前記カメラが距離画像カメラであって、
前記参照表に登録される前記位置情報が、当該位置の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組である、
請求項２２〜２５のいずれか一項に記載のロボットシステム制御方法。 - 前記姿勢パラメータが、前記ロボットの関節変数の組である、
請求項２２〜３０のいずれか一項に記載のロボットシステム制御方法。 - 前記姿勢パラメータが、ロボット座標系における三次元位置座標である、
請求項２２〜３０のいずれか一項に記載のロボットシステム制御方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016172017 | 2016-09-02 | ||
| JP2016172017 | 2016-09-02 | ||
| PCT/JP2017/031056 WO2018043525A1 (ja) | 2016-09-02 | 2017-08-30 | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2018043525A1 JPWO2018043525A1 (ja) | 2019-06-24 |
| JP6855492B2 true JP6855492B2 (ja) | 2021-04-07 |
Family
ID=61300669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018537324A Active JP6855492B2 (ja) | 2016-09-02 | 2017-08-30 | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6855492B2 (ja) |
| WO (1) | WO2018043525A1 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019139815A1 (en) | 2018-01-12 | 2019-07-18 | Duke University | Apparatus, method and article to facilitate motion planning of an autonomous vehicle in an environment having dynamic objects |
| WO2019183141A1 (en) | 2018-03-21 | 2019-09-26 | Realtime Robotics, Inc. | Motion planning of a robot for various environments and tasks and improved operation of same |
| WO2019234814A1 (ja) * | 2018-06-05 | 2019-12-12 | 株式会社日立製作所 | カメラ位置姿勢校正装置、カメラ位置姿勢校正方法並びにロボット |
| JP6930517B2 (ja) | 2018-12-21 | 2021-09-01 | オムロン株式会社 | 位置合わせ装置 |
| CN111452034A (zh) * | 2019-01-21 | 2020-07-28 | 广东若铂智能机器人有限公司 | 一种双相机机器视觉智能工业机器人控制系统及控制方法 |
| WO2020175425A1 (ja) * | 2019-02-25 | 2020-09-03 | 国立大学法人 東京大学 | ロボットシステム、ロボットの制御装置、およびロボットの制御プログラム |
| JP7511259B2 (ja) | 2019-04-17 | 2024-07-05 | リアルタイム ロボティクス， インコーポレーテッド | モーション計画グラフ生成ユーザインターフェース、システム、方法、および物品 |
| CN110253575B (zh) * | 2019-06-17 | 2021-12-24 | 达闼机器人有限公司 | 一种机器人抓取的方法、终端及计算机可读存储介质 |
| US20230342967A1 (en) * | 2020-04-14 | 2023-10-26 | Realtime Robotics, Inc. | Configuration of robot operational environment including layout of sensors |
| CN111611989B (zh) * | 2020-05-22 | 2023-08-01 | 四川智动木牛智能科技有限公司 | 一种基于自主机器人的多目标精准定位识别方法 |
| WO2022091328A1 (ja) * | 2020-10-30 | 2022-05-05 | 株式会社ニコン | ロボットシステム、ロボットアーム、エンドエフェクタ、およびアダプタ |
| CN114643578B (zh) * | 2020-12-18 | 2023-07-04 | 沈阳新松机器人自动化股份有限公司 | 一种提高机器人视觉引导精度的标定装置及方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012254518A (ja) * | 2011-05-16 | 2012-12-27 | Seiko Epson Corp | ロボット制御システム、ロボットシステム及びプログラム |
| US9616573B2 (en) * | 2012-05-25 | 2017-04-11 | The Ritsumeikan Trust | Robot control apparatus, robot control method, program, recording medium and robot system |
| JP2015174206A (ja) * | 2014-03-18 | 2015-10-05 | セイコーエプソン株式会社 | ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム |
| JP6429473B2 (ja) * | 2014-03-20 | 2018-11-28 | キヤノン株式会社 | ロボットシステム、ロボットシステムの校正方法、プログラム、およびコンピュータ読み取り可能な記録媒体 |
-
2017
- 2017-08-30 JP JP2018537324A patent/JP6855492B2/ja active Active
- 2017-08-30 WO PCT/JP2017/031056 patent/WO2018043525A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018043525A1 (ja) | 2018-03-08 |
| JPWO2018043525A1 (ja) | 2019-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6855492B2 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
| JP6429473B2 (ja) | ロボットシステム、ロボットシステムの校正方法、プログラム、およびコンピュータ読み取り可能な記録媒体 | |
| JP6180087B2 (ja) | 情報処理装置及び情報処理方法 | |
| JP6468741B2 (ja) | ロボットシステム及びロボットシステムの校正方法 | |
| JP5290324B2 (ja) | 空間内において少なくとも１つのオブジェクトを最終姿勢に高精度で位置決めするための方法およびシステム | |
| JP4021413B2 (ja) | 計測装置 | |
| JP3946711B2 (ja) | ロボットシステム | |
| US9437005B2 (en) | Information processing apparatus and information processing method | |
| JP5904676B2 (ja) | マシンビジョンシステムおよびロボットの間のロバストな較正の装置および方法 | |
| JP6855491B2 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
| WO2018053430A1 (en) | System and calibration, registration, and training methods | |
| JP6816070B2 (ja) | 干渉回避装置およびロボットシステム | |
| CN111278608B (zh) | 用于3d视觉机器人系统的校准物品 | |
| JP2016000442A (ja) | ロボット、ロボットシステム及び制御装置 | |
| JP2004508954A (ja) | 位置決め装置およびシステム | |
| JP6885856B2 (ja) | ロボットシステムおよびキャリブレーション方法 | |
| JP6328796B2 (ja) | マニプレータ制御方法、システム、およびマニプレータ | |
| JP2008168372A (ja) | ロボット装置及び形状認識方法 | |
| JP7427370B2 (ja) | 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体 | |
| KR101972432B1 (ko) | 레이저비전 센서 및 그 보정방법 | |
| WO2023013740A1 (ja) | ロボット制御装置、ロボット制御システム、及びロボット制御方法 | |
| JP2016203282A (ja) | エンドエフェクタの姿勢変更機構を備えたロボット | |
| US20230123629A1 (en) | 3d computer-vision system with variable spatial resolution | |
| WO2022075303A1 (ja) | ロボットシステム | |
| JP7509918B2 (ja) | 画像処理システム及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200210 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200619 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210309 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210317 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6855492 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |