WO2018043524A1 - ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 - Google Patents

ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 Download PDF

Info

Publication number
WO2018043524A1
WO2018043524A1 PCT/JP2017/031055 JP2017031055W WO2018043524A1 WO 2018043524 A1 WO2018043524 A1 WO 2018043524A1 JP 2017031055 W JP2017031055 W JP 2017031055W WO 2018043524 A1 WO2018043524 A1 WO 2018043524A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
sign
robot
position information
Prior art date
Application number
PCT/JP2017/031055
Other languages
English (en)
French (fr)
Inventor
永井 亮
昭夫 黒澤
Original Assignee
倉敷紡績株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2016172015 priority Critical
Priority to JP2016-172015 priority
Application filed by 倉敷紡績株式会社 filed Critical 倉敷紡績株式会社
Publication of WO2018043524A1 publication Critical patent/WO2018043524A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/10Programme-controlled manipulators characterised by positioning means for manipulator elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices

Abstract

実施が容易で、レンズ歪等の影響を受けない多関節ロボットシステム・制御装置・制御方法を提供する。 ロボットシステム(10)は、多関節ロボット(20)と、前記ロボットの作業空間を撮像する1台以上のカメラ(30、31)と、制御装置(40)とを有する。そして、制御装置は、キャリブレーション時において、ロボットの姿勢パラメータを取得し、カメラから画像を取得し、画像中にロボットに固定された標識(50)を認識して標識の位置情報を算出し、標識の位置情報とロボットの姿勢パラメータとを関連付けた参照表を作成して記憶する。そして、制御装置は、作業時において、カメラから画像を取得し、画像中に対象物を認識して対象物の位置情報を算出し、対象物の位置情報から、参照表を参照して、ハンド(24)を対象物まで移動させるための姿勢パラメータを取得し、取得した姿勢パラメータをロボットに送信する。

Description

ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
 本発明は、多関節ロボットのハンドを目標となる対象物まで移動させるためのロボットシステムに関する。また、本発明は、かかるロボットシステムの制御装置および制御方法に関する。
 多関節ロボットを用いて、カメラ等の視覚センサから得た情報を基に、ロボット自身が周辺環境を認識して作業を行うシステムが研究されている。例えば、バラ積みされた対象物をカメラで認識し、ロボットのアームの先端にあるハンドを作業対象物まで移動させて掴む、といった作業である。
 一般的なロボットシステムでは、ロボットのハンドを目標となる対象物まで移動させるために、カメラ等で対象物の位置情報を得た後、この位置情報をカメラ座標系からロボット座標系に変換してロボットに伝える。ここで、カメラ座標系からロボット座標系への変換には、カメラとロボットの相対位置関係を予め求めておく必要がある。そのため、キャリブレーションによって、カメラ座標系-世界座標系間、およびロボット座標系-世界座標系間の座標変換を行なうための変換行列を求める。これにより、対象物のカメラ座標系における位置座標を、世界座標系を介して、ロボット座標系における位置座標に変換することができる。
 しかし、カメラ座標系-世界座標系間の変換行列を決定するには、カメラの焦点距離、画像中心、画像サイズ(画素サイズ)、歪曲収差係数等の内部パラメータと、カメラの位置姿勢を表す外部パラメータを知る必要がある。そのために、例えば、チェッカーボード等の平面パターンとカメラの位置を高精度の三次元測定器を用いて求めることになり、極めて手間とコストのかかる作業を要した。
 ロボット座標系-世界座標系間の座標変換を決定するにも、世界座標系での位置座標が正確に分かっている教示点に、人手によりハンド移動させて姿勢パラメータを計測するなど、やはり極めて手間とコストのかかる作業が必要であった。
 これに対して、特許文献1には、ロボットアーム装置の先端部に把持させた指し棒の先端が長方形を描くようにロボットアーム装置を動作させ、長方形の各頂点の位置をステレオ画像計測し、そのデータを基に座標変換データを計算して、長方形を基準とする中間座標系を介してロボットアーム装置とステレオ計測装置との相対位置姿勢関係を求める方法が記載されている。特許文献1によれば、設計データでなく、実際にロボットシステムにより計測したデータを用いるので、システム製作時に生じる加工・取り付けによる誤差の影響を受けず、ロボットアーム装置とステレオ画像計測装置の正確な相対位置姿勢関係を求めることができ、また、キャリブレーション作業に要する時間を短縮できるとされている。
特開平9-128549号公報
 しかし、特許文献1に記載された方法では、長方形の4頂点の計測に基づいて変換行列を算出するので、レンズの歪曲収差等を正確には再現できない。仮に歪曲収差がない場合でも、カメラ座標系-中間座標系間、および中間座標系-ロボット座標系間の座標変換に変換行列を用いるので、不規則なレンズ歪などによる誤差があると、それを完全には排除できない。
 本発明は、上記を考慮してなされたものであり、設置したカメラやロボットの位置計測が不要で、かつ、レンズ歪等の影響を受けずに、カメラ画像に基づいて多関節ロボットのハンドを目標位置まで移動可能なロボットシステム、ロボットシステム制御装置およびロボットシステム制御方法を提供することを目的とする。
 上記目的のために、本発明では、カメラの画像から得られる位置情報と、多関節ロボットの姿勢パラメータとを直接関連付けた参照表を利用して、ロボットを制御する。
 具体的には、本発明のロボットシステムは、多関節ロボットと、前記ロボットの作業空間を撮像する1台以上のカメラと、制御装置とを有する。そして、前記制御装置は、キャリブレーション時において、前記ロボットの姿勢パラメータを取得し、前記カメラから画像を取得し、該画像中に前記ロボットに固定された標識を認識して該標識の位置情報を算出し、前記標識の位置情報と前記ロボットの姿勢パラメータとを関連付けた参照表を作成して記憶する。そして、前記制御装置は、作業時において、前記カメラから画像を取得し、該画像中に対象物を認識して該対象物の位置情報を算出し、前記対象物の位置情報から、前記参照表を参照して、前記ハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、取得した前記姿勢パラメータを前記ロボットに送信する。
 ここで、ロボットの姿勢パラメータとは、ロボットの姿勢に関連するパラメータであって、少なくともハンドの位置を決定できるものをいう。また、ロボットに固定された標識とは、ハンドが保持する標識などの、ロボットのハンドまたはアームとの位置関係が固定された標識をいう。
 好ましくは、前記ロボットシステムは第1カメラおよび第2カメラを有し、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第1カメラによる画像中の画素位置と前記第2カメラによる画像中の画素位置との組である。
 あるいは、前記ロボットシステムは第1カメラおよび第2カメラを有し、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第1カメラによる画像中の画素位置と、前記第1カメラによる画像と前記第2カメラによる画像から三角測量の原理に基づいて算出された距離情報との組であってもよい。
 あるいは、前記ロボットシステムは第1カメラおよび第2カメラを有し、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第1カメラによる画像と前記第2カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標であってもよい。
 あるいは、前記ロボットシステムは、前記カメラの画角内にあって、該カメラから見たときに前記作業空間が映り込むように配置された鏡をさらに有しており、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組であってもよい。
 あるいは、前記カメラが距離画像カメラであって、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組であってもよい。
 あるいは、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の前記カメラによる画像中の画素位置と、前記標識が当該位置にあるときの前記画像中の面積との組であってもよい。
 上記いずれかのロボットシステムにおいて、好ましくは、前記姿勢パラメータが、前記ロボットの関節変数の組である。
 あるいは、上記いずれかのロボットシステムにおいて、前記姿勢パラメータが、前記標識または前記対象物のロボット座標系における三次元位置座標であってもよい。
 本発明のロボットシステム制御装置は、多関節ロボットのキャリブレーション時において、前記ロボットの姿勢パラメータを取得し、前記ロボットの作業空間を撮像する1台以上のカメラから該ロボットのハンドに固定された標識が写った画像を取得し、該画像中に該標識を認識して該標識の位置情報を算出し、前記標識の位置情報と前記ロボットの姿勢パラメータとを関連付けた参照表を作成して記憶する。
 好ましくは、本発明のロボットシステム制御装置は、前記ロボットの作業時において、前記カメラから画像を取得し、該画像中に対象物を認識して該対象物の位置情報を算出し、前記対象物の位置情報から、前記参照表を参照して、前記ハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、取得した前記姿勢パラメータを前記ロボットに送信する。
 本発明の他のロボットシステム制御装置は、多関節ロボットの姿勢パラメータを該ロボットに送信および/または該ロボットから受信する第1通信部と、前記ロボットに固定された標識が写った画像をカメラから受信する第2通信部と、前記画像から前記標識を認識して該標識の位置情報を算出し、該ハンドの位置情報と前記姿勢パラメータとを関連付けた参照表を作成する演算部と、前記参照表を記憶する記憶部とを有する。
 好ましくは、本発明の他のロボットシステム制御装置は、前記第2通信部が対象物が写った画像を前記カメラから受信し、前記演算部が前記画像から前記対象物を認識して、該対象物の位置情報を算出し、前記参照表を参照して、前記対象物の位置情報から前記ロボットのハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、前記第1通信部が前記姿勢パラメータを前記ロボットに送信する。
 本発明のロボットシステム制御方法は、キャリブレーション工程と作業工程とを有する。キャリブレーション工程では、標識が固定された多関節ロボットを動作させて前記標識を移動させながら、前記ロボットの作業空間を1台以上のカメラで撮像し、該カメラで撮像した画像中に前記標識を認識して該標識の位置情報を算出し、前記標識の位置情報と当該撮像時における前記ロボットの姿勢パラメータとを関連付けて、参照表に順次登録する。作業工程では、対象物が存在する作業空間を前記カメラで撮像し、前記カメラで撮像した画像中に前記対象物を認識して該対象物の位置情報を算出し、前記対象物の位置情報から、前記参照表を参照して、前記ロボットのハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、取得した前記姿勢パラメータを該ロボットに送信する。
 本発明のロボットシステム、ロボットシステム制御装置、またはロボットシステム制御方法によれば、実際のカメラおよびロボットを用いて、カメラによる位置情報とロボットの姿勢パラメータを直接関連付けた参照表を作成し、その参照表に基づいてロボットを動作させる。参照表は実際のカメラおよびロボットを用いて作成されるので、システム製作時の誤差や不規則なレンズ歪等の影響を受けずに、ハンドを目標位置まで移動させることができる。また、世界座標など他の座標系を介しないので、カメラの内部・外部パラメータや、ロボットの設置位置・向き等を計測する必要がなく、キャリブレーション作業の省力化を図ることができる。
本発明の第1実施形態のロボットシステムの全体構成図である。 本発明の第1実施形態のロボットシステム制御装置の機能ブロック図である。 本発明の第1実施形態のロボット制御方法のフロー図である。 本発明の第1実施形態のロボット制御方法のキャリブレーション工程のフロー図である。 本発明の第1実施形態のロボット制御方法の作業工程におけるハンド移動のフロー図である。 本発明の第1実施形態によるキャリブレーション時の画像である。 本発明の第1実施形態の参照表の例を示す図である。 本発明の第1実施形態の参照表の他の例を示す図である。 本発明の第1実施形態の参照表の他の例を示す図である。 本発明の第2実施形態のロボットシステムの全体構成図である。 本発明の第2実施形態によるキャリブレーション時の画像である。 本発明の第2実施形態の参照表の例を示す図である。 本発明の第3実施形態のロボットシステムの全体構成図である。 本発明の第3実施形態の参照表の例を示す図である。 本発明の第4実施形態のロボットシステムの全体構成図である。 本発明の第4実施形態によるキャリブレーション時の画像である。 本発明の第4実施形態の参照表の例を示す図である。 本発明の第5実施形態のロボットシステムの全体構成図である。
 本発明の第1実施形態を図1~図9に基づいて説明する。
 図1において、本実施形態のロボットシステム10は、多関節ロボット20と、ロボットの作業空間を撮像する第1カメラ30および第2カメラ31と、ロボットシステム制御装置40を有する。以下において「ロボットシステム制御装置」を単に「制御装置」という。
 ロボット20は作業場に固定される。ロボット20は、ロボットを作業場に固定するためのベース25と、複数のリンク22が関節23で接続されたアーム21と、アームの先端に接続されたハンド24と、駆動部26を有する。ロボットの各関節はサーボモータ等のアクチュエータ(図示せず)と、その関節の関節変数を検知するセンサー(図示せず)を備える。ここで、関節変数とはその関節の変位をいい、具体的には回転関節の関節角度(リンク間角度)や直動関節のリンク間距離のことをいう。ハンド24は手先、エンドエフェクタとも呼ばれる。図1はキャリブレーション時の様子を示しており、ロボットはハンドに標識50を把持している。
 ロボット20の駆動部26は、アームおよびハンドを駆動する。最も単純な構成の駆動部は、サーボアンプ等の駆動装置からなり、外部から受信する関節変数に基づいて各関節のアクチュエータを駆動する。あるいは、駆動部は、各種の演算処理を行うCPUやプログラム等を格納するメモリをさらに有していて、ロボット座標系におけるハンドの三次元位置座標を外部から受信して、関節変数を算出可能であってもよい。ここで、ロボット座標系は、ロボットの不動点を基準とする座標系であって、好ましくは、ベース25を基準とする座標系である。ロボット座標系は、直交座標系であっても各種極座標系であってもよい。以下、単に「三次元位置座標」というときは、ロボット座標系における三次元位置座標を意味する。
 ロボット20は、ベース25が作業場に固定され、キャリブレーション時および作業時を通して移動することがない。したがって、ハンド24の位置は、関節変数の組み合わせや三次元位置座標によって表すことができる。例えば、アーム21の自由度が3である場合、アームの3つの関節変数によって、ハンドの位置とアームの姿勢が定まる。あるいは、アーム21の自由度が3でハンド24の自由度が3である場合、アームおよびハンドの6つの関節変数によって、ハンドの位置および姿勢とアームの姿勢が定まる。また、ハンドの三次元位置座標はハンドの位置を表している。このように、ロボットの姿勢に関連し、少なくともハンドの位置を決定できるパラメータを、本明細書中で「ロボットの姿勢パラメータ」という。
 ロボットの形式は特に限定されず、図1に例示したシリアルリンク形の垂直多関節ロボットの他、水平多関節形やパラレルリンク形など各種の多関節ロボットを用いることができる。
 第1カメラ30および第2カメラ31は作業場に固定される。2台のカメラは、ロボット20の作業空間を撮像するように設置されている。ここでロボットの作業空間とは、ロボットのハンド24が到達可能な空間領域のうち、作業時にハンドが移動する可能性のある領域をいう。2台のカメラ30、31は二次元画像を撮像可能なカメラである。
 図2を参照して、制御装置40は、第1通信部41と、第2通信部42と、演算部43と、記憶部44と第3通信部45とを有する。
 第1通信部41はロボット20の駆動部26と信号線で接続され、ロボットとの通信を行う。第1通信部は、目標位置に対応する姿勢パラメータをロボットに送信して、ハンド24を目標位置まで移動させるよう指示する。また、第1通信部は、ロボットから関節変数等の姿勢パラメータを受信する。第2通信部42は第1カメラ30および第2カメラ31と信号線で接続され、カメラとの通信を行う。第2通信部は、カメラに撮像指示を送信し、カメラから画像を受信する。
 演算部43は、第2通信部42がカメラ30、31から受信した画像を処理する。演算部は、キャリブレーション時には、標識50を画像中に認識してその位置情報を算出し、当該位置情報と第1通信部41がロボットに送信した姿勢パラメータまたは第1通信部がロボットから受信した姿勢パラメータとを関連付けた参照表を作成する。より正確には、演算部は、標識の位置情報とロボットの姿勢パラメータとを関連付けた1つのレコードを作成して、既存の参照表に追加登録する。演算部は、作業時には、対象物を画像中に認識してその位置情報を算出する。演算部は、参照表を参照して、対象物の位置情報から、ロボットのハンドを対象物まで移動させるための姿勢パラメータを取得する。
 記憶部44は、参照表を記憶する。記憶部としては、ハードディスク装置などの書き換え可能でランダムアクセス可能な補助記憶装置を好適に用いることができる。第3通信部45は入力装置46および出力装置47と信号線で接続され、操作者との通信を行う。第3通信部は、入力装置46から操作者からの指示を受信し、出力装置47に操作者にロボットシステムの状況等を送信する。
 制御装置40は、必ずしも物理的に1台の装置である必要はなく、複数台で処理を分担してもよい。また、制御装置は、ロボットの駆動部26と一体に形成されていてもよい。
 次に、本実施形態のロボットシステム制御方法を説明する。各部の参照符号は、図1および図2に示した符号である。
 図3において、本実施形態のロボットシステム制御方法は、作業場へのロボットおよびカメラの設置、キャリブレーション工程、ロボットを用いた作業工程からなる。
 まず、作業場にロボット20、第1カメラ30および第2カメラ31を設置する。このとき、2台のカメラは、ロボットの作業空間を撮像可能な位置および向きに設置する。2台のカメラの光軸がなす角は、好ましくは30~150度、より好ましくは60~120度、特に好ましくは70~110度である。2台のカメラの向きが平行または逆向きに近いほど、カメラの光軸方向の空間解像度が低くなるからである。ただし、2台のカメラの向きが異なるほど、標識の一部が死角となるオクルージョンが発生する可能性が高まる。2台のカメラの向きはオクルージョンが発生しにくく、かつ、必要な空間解像度が確保できるよう、標識の形状や作業空間に合わせて適宜決定すればよい。ロボットおよびカメラは、以下のキャリブレーション工程および作業工程を通して作業場に固定される。
 図4にキャリブレーション工程のフローを示す。キャリブレーション工程では、カメラから得られる位置情報とロボットの姿勢パラメータとを関連付けた参照表を作成する。
 まず、ハンド24に標識50を固定する。標識をハンドに固定することには、標識をハンドで把持すること、標識を吸着その他の方法によってハンドで保持すること、標識となる物体をハンドに固着させること、ハンドの一部に標識となるマークを描くこと、ハンドの一部であって特徴的な部分を標識とすることが含まれる。標識の数は複数であってもよい。標識をハンドで把持する場合、標識としては、対象物自体または対象物に似た形状の物体、球状の物体、指し棒などを用いることができる。なお、標識はロボットの可動部分であるアームに固定してもよい。
 標識は、好ましくは、標識の位置がハンドの把持位置に一致するように固定される。参照表に登録される標識位置と作業時のハンド移動の目標位置が一致するからである。図1では、球形の標識50がハンドで把持されることによって固定されており、標識の位置がハンドの把持位置に一致している。本実施形態では、以下、標識位置とハンドの把持位置が一致しているとして説明を続ける。
 次いで、制御装置40の第1通信部41からの指示によりロボットを動作させて、作業空間内でハンド24および標識50を移動させる。このとき、標識の移動経路や停止位置を予め正確に決定しておく必要はなく、作業空間内をおおよそ一巡するように決定しておけばよい。標識を移動させる範囲は、操作者が入力装置46から入力して制御装置に伝えることができる。その際、移動経路上の点に対応する関節変数を操作者が直接入力してもよいし、移動経路上の点の三次元位置座標を操作者が入力して、演算部43またはロボットの駆動部26が関節変数を計算してもよい。
 次いで、標識を上記範囲内で移動させながら、標識が停止した状態および/または動いている状態で参照表を作成する。
 標識の停止時に参照表を作成する方法は、例えば次のとおりである。参照表に登録する姿勢パラメータは、第1通信部41からロボット20に送信した姿勢パラメータでもよいし、第1通信部がロボットから受信した姿勢パラメータでもよい。例えば、標識が制御装置から指示した位置で停止したときは、制御装置40は第1通信部41からロボットに送信した姿勢パラメータを既に知っているので、この姿勢パラメータを参照表に登録してもよい。また、例えば、第1通信部からロボットに停止位置の三次元位置座標を送信した場合でも、標識停止時に第1通信部がロボットから関節変数を受信して、この関節変数を参照表に登録してもよい。
 姿勢パラメータの取得と並行して、第2通信部42がカメラ30、31に撮像指示を送信し、標識が停止したときの画像をカメラ30、31から受信する。図6に、制御装置40がカメラ30、31から受信した画像を示す。2枚の画像には標識50が記録されている。制御装置の演算部43はカメラから受信した画像を処理して、画像中に標識を認識する。標識を認識する方法には、特徴点の抽出やテンプレートマッチングなど、公知の方法を用いることができる。演算部は、標識の、2つの画像中の画素位置の組(u1i,v1i,u2i,v2i)を、標識の位置情報として算出する。
 標識が動いている状態で参照表を作成する方法は、例えば次のとおりである。参照表に登録する姿勢パラメータは、第1通信部41がロボットから受信する。カメラの撮像タイミングとロボットの姿勢パラメータの取得タイミングが同期可能な場合は、第1通信部41および第2通信部42からロボットおよびカメラ30、31に同時刻を指定して、それぞれ姿勢パラメータまたは画像を送信するよう要求できる。また、1つの同期信号に基づいて、第1通信部41および第2通信部42がロボットまたはカメラから、それぞれ姿勢パラメータまたは画像を受信してもよい。同期信号は制御装置40内の同期信号生成部(図示せず)が生成してもよいし、第1または第2通信部のいずれかが生成してもよい。また、カメラ30、31が撮像時刻付の画像を生成可能なときは、第2通信部が2台のカメラから時々刻々と画像を受信して、第1通信部がロボットから取得した姿勢パラメータと同時刻の画像を選択することができる。演算部43は標識50を画像中に認識して、その位置情報を算出する。
 以上のようにして、一つの標識位置に対して、カメラによる位置情報と、当該位置に対応するロボットの姿勢パラメータが得られる。制御装置の演算部43は、位置情報と姿勢パラメータを関連付けて1つのレコードを作成し、記憶部44に記憶された参照表に追加登録する。
 標識50を作業空間内で巡回させて、標識が予定された終了位置に達すると、キャリブレーションを終了する。なお、好ましくは、キャリブレーション終了時に参照表のレコードを、位置情報をキーとしてソートしておく。作業時の検索を効率化するためである。
 図7に参照表の例を示す。この参照表の各レコードは、位置情報として第1カメラ画像中の画素位置としての座標(u1i,v1i)と第2カメラ画像中の画素位置としての座標(u2i,v2i)、および姿勢パラメータとして6自由度のロボットにおける6つの関節角度(θ1i,θ2i,θ3i,θ4i,θ5i,θ6i)からなる。
 図5に作業工程におけるハンド移動のフローを示す。作業工程では、カメラ画像から算出した位置情報に基づいて、ロボットのハンドを作業対象物まで移動させる。
 まず、制御装置40が第2通信部42からカメラ30、31に撮像指示を送信し、カメラが作業空間を撮像する。作業空間には対象物が存在する。第2通信部がカメラから画像を受信する。演算部43は2つの画像を処理して、画像中に対象物を認識する。対象物を認識する方法は、標識を認識する方法と同様に行うことができる。演算部は、ハンド移動の目標となる対象物の位置情報として、各カメラ座標系における対象物の位置座標を算出する。
 演算部43は対象物の位置情報から記憶部44に記憶されている参照表を検索する。参照表に対象物の位置情報を含むレコードが見つかれば、演算部は、当該位置情報に対応する姿勢パラメータを取得する。参照表に対象物の位置情報を含むレコードが見つからない場合は、演算部は対象物の位置情報に対応する姿勢パラメータを推定して取得してもよい。例えば、位置情報が近い複数点のレコードにおける姿勢パラメータ間を補間することにより、姿勢パラメータが推定できる。第1通信部41がロボットに姿勢パラメータを送信して、ハンドを対象物まで移動させるよう指示する。
 姿勢パラメータが推定されたものである場合、ロボットがその姿勢パラメータに従って動作したのち、ハンドの位置を微調整してもよい。ハンド位置を微調整するには、国際公開第2013/176212号に記載された方法など、公知の方法を用いることができる。
 また、ハンド位置の微調整を行った場合は、その結果を参照表にフィードバックしておくのが好ましい。具体的には、ハンドが微調整を経て対象物に到達した後に、制御装置の第1通信部41がロボットに姿勢パラメータ要求を送信して、ロボットから姿勢パラメータを受信し、演算部43が対象物の位置情報と姿勢パラメータとを関連付けて、記憶部44の参照表に追加登録してもよい。
 ここで、参照表について、さらに詳細に説明する。
 参照表には、ロボットの作業空間内の点について、その点のカメラ画像から得られる位置情報と、その点に対応したロボットの姿勢パラメータとが、関連付けて登録される。
 参照表に登録する位置情報は、図7に示したような2つ画素座標の組には限定されない。位置情報は、例えば図8に示すように、第1カメラによる画像中の画素位置(u1i,v1i)と、第1カメラによる画像と第2カメラによる画像から三角測量の原理に基づいて算出された距離情報(d)との組であってもよい。あるいは、位置情報は、第1カメラによる画像と第2カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標であってもよい。これらの場合、第1カメラと第2カメラの中心間距離(基線長)と画像中のエピポーラ線を知る必要があるが、例えば第1カメラと第2カメラが一体となった市販のステレオカメラなどを利用する場合には、このようなカメラの幾何学的パラメータが予め調整されており、内部校正作業は不要である。
 参照表に登録する姿勢パラメータの一例はロボットの関節変数である。関節変数は、図7に示したような関節角度の組には限定されない。姿勢パラメータとして関節変数を用いる場合は、回転関節では関節角度(リンク間角度)、直動関節ではリンク間距離を関節変数として、ロボットを構成する関節の種類に応じた関節変数を組み合わせる。
 関節変数を参照表に登録する場合は、図1のように、キャリブレーション時の標識の位置とハンドの把持位置が一致していることが好ましい。標識の位置情報と、その標識を実際に把持した状態での関節変数を関連付けて、参照表に登録できるからである。この場合、作業時に、対象物の位置情報から参照表を検索して得られる関節変数をロボットに指示すれば、対象物を把持するための目標位置にハンドを移動できる。さらに、重力によるアームの撓み等がある場合でも、参照表に登録された位置情報と関節変数には撓み等の影響がすでに織り込まれており、作業時に特段の考慮は不要である。
 これに対して、キャリブレーション時の標識の位置とハンドの把持位置が一致していない場合、例えば標識をハンドの側面等の把持位置と異なる部分に固定した場合は、標識の位置情報を求めたときの関節変数をそのまま参照表に登録することができない。その関節変数はその標識の位置に対応していないからである。言い換えると、標識の位置情報を求めたときの関節変数をロボットに指示しても、ハンドはその標識の位置にある対象物を把持できない。この場合は、標識の位置情報を求めたときの関節変数から一旦標識の三次元位置座標を求め、ロボットの設計データを基に標識位置に対応する関節変数へ変換して、参照表に登録することができる。その際、作業場にある障害物を回避するための幾何学的な拘束条件等を考慮して関節変数を求めることができる。
 参照表に登録する姿勢パラメータの他の例は、標識のロボット座標系における三次元位置座標である。ロボット座標系は、キャリブレーションと作業工程を通して変動しない座標系であればよい。好適には、ロボットのベース25を基準とする座標系を用いることができる。ロボット座標系は直交座標系であっても極座標系であってもよい。一例として、図9に、ロボット座標系における標識位置の直交座標(Rx,Ry,Rz)を姿勢パラメータとする参照表を示す。姿勢パラメータを標識の三次元位置座標で表すことには、パラメータの数が少なくてすむというメリットがある。
 標識の三次元位置座標は、標識位置がハンドの把持位置と一致していても一致していなくても、標識がロボットに固定されている限り、そのときの関節変数から算出することができる。標識の三次元位置座標は、例えば、制御装置の第1通信部がロボットから受信した関節変数と標識の固定位置情報とを基に演算部が算出できる。標識の固定位置情報は、例えば、標識を固定したアームのローカル座標系で表した標識の相対座標であればよい。作業時には、対象物の位置情報から参照表を検索して、当該位置の三次元位置座標を取得し、制御装置の演算部または演算機能を有するロボットの駆動部が当該三次元座標位置にハンドを移動させるための関節変数を算出することができる。
 参照表には、作業空間内のできるだけ多くの点が登録されていることが好ましい。作業工程において参照表に対象物を含むレコードを発見する確率が上がり、時間短縮になるからである。例えば、作業空間の大きさが1m立方で、カメラ画像の作業空間内の空間解像度が1mmの場合、10個のレコードで、作業空間に含まれる1mm間隔の格子点を網羅することができる。参照表に登録する点の密度は、画像の空間解像度と同じピッチの立方格子の格子点の密度の、好ましくは512分の1以上、さらに好ましくは64分の1以上であり、特に好ましくは8分の1以上である。参照表に登録する点は、最も好ましくは、画像の空間解像度と同じピッチの立方格子の格子点をすべて含む。
 また、参照表に登録する点の分布は、作業空間のうちハンドの移動頻度が高い領域は密に、低い領域は疎にしてもよい。これにより、キャリブレーション工程の所要時間を短縮しながら、作業工程において参照表に対象物の位置情報を発見する確率を過度に低下させないからである。
 また、参照表に登録する点の分布は、カメラレンズの画角が広いことなどにより画像上の作業空間が歪む場合には、歪の大きい領域は密に、そうでない領域は疎にしてもよい。具体的には、参照表に登録する点は、参照表にない点の姿勢パラメータを推定する際に、近接する2点から直線補間できる程度に高密度に登録されていることが好ましい。画像上の作業空間が歪んでいても、簡易な計算で姿勢パラメータを推定できるからである。
 本実施形態では、実際のカメラおよびロボットを用いてキャリブレーションを行うので、システム製作時の加工・取り付け等による誤差の影響を受けない。また、世界座標など他の座標系を介することがなく、カメラの内部および外部パラメータやロボットの設置位置・向き等を計測する必要がないので、キャリブレーション作業の省力化を図ることができるし、装置の選択や設置の自由度が大きい。例えば、画角の大きいカメラを用いて、より広い範囲をカバーすることができる。
 本実施形態では、参照表を利用してハンドを移動させるので、ハンドが一度訪れた点には、二度目以降も確実に到達することができる。また、レンズ歪等による不規則な誤差要因があっても、その影響を受けない。例えばレンズ歪について、変換行列等を利用して座標変換を行う場合は、歪曲収差係数等を用いたとしても、モデル化された樽形歪、糸巻形歪等に対して補正できるだけで、不規則な歪の影響を完全には排除できない。参照表を利用することにより、より安価なレンズ系を備えたカメラを採用することができる。
 次に、本発明の第2実施形態を図10~図12に基づいて説明する。本実施形態は、鏡を利用し、1台のカメラで、ロボットの作業空間の直接像および鏡による反射像を撮像する。
 図10において、本実施形態のロボットシステム11は、多関節ロボット20と、鏡38と、ロボットの作業空間の直接像および鏡による反射像を撮像する1台のカメラ32と、制御装置40とを有する。
 ロボット20は第1実施形態と同じである。カメラ32は、第1実施形態の第1カメラ30または第2カメラ31と同じものを用いることができる。カメラ32および鏡38は、ロボットの作業空間の直接像および鏡による反射像を撮像可能に設置される。図10はキャリブレーション時の様子を示しており、ロボットはハンド24に標識50を把持している。
 制御装置40の構成は図2と同じであるが、ただし、演算部の機能が異なる。図11に示すように、キャリブレーション時に第2通信部42がカメラ32から受信する画像には、標識50の直接像と鏡38による反射像が写り込んでいる。演算部43は、1枚の画像を処理して、キャリブレーション時には標識50を、作業時には対象物の直接像および反射像を画像中に認識して、標識または対象物の位置情報を算出する。その他は第1実施形態と同様である。
 図12に参照表の例を示す。この参照表の各レコードには、標識の直接像の画像中の画素位置としての座標(udi,vdi)、反射像の画像中の画素位置としての座標(umi,vmi)、6自由度のロボットにおける姿勢パラメータとしての6つの関節変数(θ1i,θ2i,θ3i,θ4i,θ5i,θ6i)が含まれている。
 次に、本発明の第3実施形態を図13および図14に基づいて説明する。本実施形態は、1台のTOFカメラで、ロボットの作業空間を撮像する。
 図13において、本実施形態のロボットシステム12は、多関節ロボット20と、ロボットの作業空間を撮像する1台のTOFカメラ33と、制御装置40とを有する。図13はキャリブレーション時の様子を示しており、ロボットはハンド24に標識50を把持している。
 ロボット20は第1実施形態と同じである。TOFカメラ33は、光飛行時間(Time Of Flight:TOF)方式による距離画像生成カメラで、二次元画像とともにカメラから各画素に写った点までの距離が記録された距離画像を撮像する。
 制御装置40の構成は図2と同じであるが、ただし、演算部の機能が異なる。演算部43は、第2通信部42がTOFカメラ33から受信した二次元画像および距離画像を処理して、キャリブレーション時には標識50を、作業時には対象物を画像中に認識して、標識または対象物の位置情報を取得する。その他は第1実施形態と同様である。
 図14に参照表の例を示す。この参照表の各レコードは、標識の二次元画像および距離画像中の座標(Cx,Cy,Cd)、6自由度のロボットにおける姿勢パラメータとしての6つの関節変数(θ1i,θ2i,θ3i,θ4i,θ5i,θ6i)を含む。
 次に、本発明の第4実施形態を図15~図17に基づいて説明する。本実施形態は、1台のカメラで、ロボットの作業空間を撮像し、画像中の標識の座標と、カメラから標識までの距離によって変化する特徴量との組を位置情報とする。具体的には、画像中の標識の面積を特徴量とする。
 図15において、本実施形態のロボットシステム13は、多関節ロボット20と、ロボットの作業空間を撮像する1台のカメラ34と、制御装置40とを有する。ロボット20は第1実施形態と同じである。カメラ34は、第1実施形態の第1カメラ30または第2カメラ31と同じものを用いることができる。
 制御装置40の構成は図2と同じであるが、ただし、演算部の機能が異なる。演算部43はキャリブレーション時には、カメラ34から第2通信部で受信した1枚の画像(図16)を処理して、キャリブレーション時には標識50を画像中に認識して、画像中の標識の面積(Smi)を算出する。また、少なくとも1つの位置で、画像中の対象物の面積(Swi)と標識の面積(Smi)との比を別途算出しておく。演算部43は作業時には、対象物を画像中に認識して、画像中の対象物の面積(Swi)を算出し、さらに標識50の面積(Smi)に換算する。そして演算部は、対象物の画像中の画素位置と、当該位置に標識があったと仮定したときの画像中の標識の面積との組を対象物の位置情報として、参照表を検索する。
 図17に参照表の例を示す。この参照表の各レコードは、画像中の画素位置としての座標(u,v)、画像中の標識の面積(Smi)、6自由度のロボットにおける姿勢パラメータとしての6つの関節変数(θ1i,θ2i,θ3i,θ4i,θ5i,θ6i)からなる。
 次に、本発明の第5実施形態を図18に基づいて説明する。本実施形態では、2台の多関節ロボットと6台のカメラを用いる。本実施形態は、第1実施形態のロボットシステムを複数組み合わせたものと考えることができる。
 図18に示すロボットシステム14では、1台の制御装置40に、2台の多関節ロボット60、61と6台のカメラ70~75が接続されている。カメラ70およびカメラ71は画角の広いレンズを備え、ロボット60およびロボット61の両方の作業空間を撮像可能である。カメラ72およびカメラ73は画角の狭いレンズを備え、一方のロボット60の作業空間を高い空間解像度で撮像可能である。カメラ74およびカメラ75は画角の狭いレンズを備え、他方のロボット61の作業空間を高い空間解像度で撮像可能である。
 制御装置40は、次の組み合わせからなるレコードで構成された4つの参照表を作成、記憶する。
・参照表A:カメラ70、71による位置情報-ロボット60の姿勢パラメータ
・参照表B:カメラ70、71による位置情報-ロボット61の姿勢パラメータ
・参照表C:カメラ72、73による位置情報-ロボット60の姿勢パラメータ
・参照表D:カメラ74、75による位置情報-ロボット61の姿勢パラメータ
 これにより、ロボット60のハンド移動は、大まかな移動は参照表Aを利用して、精密な位置制御が必要な領域では参照表Cを利用して行うことができる。同様に、ロボット61のハンド移動は、大まかな移動は参照表Bを利用して、精密な位置制御が必要な領域では参照表Dを利用して行うことができる。
 本発明は上記の実施形態に限られるものではなく、その技術的思想の範囲内で種々の変形が可能である。
 例えば、上記第5実施形態は第1実施形態のロボットシステムを複数組み合わせたが、これには限られず、第1~第4実施形態を自由に組み合わせることができる。
 10~14 ロボットシステム
 20 多関節ロボット
 21 アーム
 22 リンク
 23 関節
 24 ハンド
 25 ベース
 26 駆動部
 30 第1カメラ
 31 第2カメラ
 32、34 カメラ
 33 TOFカメラ
 38 鏡
 40 ロボットシステム制御装置(制御装置)
 41 第1通信部(ロボットとのインターフェイス)
 42 第2通信部(カメラとのインターフェイス)
 43 演算部
 44 記憶部
 45 第3通信部(入出力装置とのインターフェイス)
 46 入力装置
 47 出力装置
 50 標識
 60、61 多関節ロボット
 70~75 カメラ

Claims (28)

  1.  多関節ロボットと、
     前記ロボットの作業空間を撮像する1台以上のカメラと、
     制御装置とを有し、
     前記制御装置は、キャリブレーション時において、
      前記ロボットの姿勢パラメータを取得し、
      前記カメラから画像を取得し、該画像中に前記ロボットに固定された標識を認識して該標識の位置情報を算出し、
      前記標識の位置情報と前記ロボットの姿勢パラメータとを関連付けた参照表を作成して記憶し、
     前記制御装置は、作業時において、
      前記カメラから画像を取得し、該画像中に対象物を認識して該対象物の位置情報を算出し、
      前記対象物の位置情報から、前記参照表を参照して、前記ロボットのハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、
      取得した前記姿勢パラメータを前記ロボットに送信する、
    ロボットシステム。
  2.  前記ロボットシステムは第1カメラおよび第2カメラを有し、
     前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第1カメラによる画像中の画素位置と前記第2カメラによる画像中の画素位置との組である、
    請求項1に記載のロボットシステム。
  3.  前記ロボットシステムは第1カメラおよび第2カメラを有し、
     前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第1カメラによる画像中の画素位置と、前記第1カメラによる画像と前記第2カメラによる画像から三角測量の原理に基づいて算出された距離情報との組である、
    請求項1に記載のロボットシステム。
  4.  前記ロボットシステムは第1カメラおよび第2カメラを有し、
     前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第1カメラによる画像と前記第2カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標である、
    請求項1に記載のロボットシステム。
  5.  前記ロボットシステムは、前記カメラの画角内にあって、該カメラから見たときに前記作業空間が映り込むように配置された鏡をさらに有し、
     前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組である、
    請求項1に記載のロボットシステム。
  6.  前記カメラが距離画像カメラであって、
     前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組である、
    請求項1に記載のロボットシステム。
  7.  前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の前記カメラによる画像中の画素位置と、前記標識が当該位置にあるときの前記画像中の面積との組である、
    請求項1に記載のロボットシステム。
  8.  前記姿勢パラメータが、前記ロボットの関節変数の組である、
    請求項1~7のいずれか一項に記載のロボットシステム。
  9.  前記姿勢パラメータが、前記標識または前記対象物のロボット座標系における三次元位置座標である、
    請求項1~7のいずれか一項に記載のロボットシステム。
  10.  多関節ロボットのキャリブレーション時において、
     前記ロボットの姿勢パラメータを取得し、
     前記ロボットの作業空間を撮像する1台以上のカメラから該ロボットに固定された標識が写った画像を取得し、該画像中に該標識を認識して該標識の位置情報を算出し、
     前記標識の位置情報と前記ロボットの姿勢パラメータとを関連付けた参照表を作成して記憶する、
    ロボットシステム制御装置。
  11.  前記ロボットの作業時において、
     前記カメラから画像を取得し、該画像中に対象物を認識して該対象物の位置情報を算出し、
     前記対象物の位置情報から、前記参照表を参照して、前記ロボットのハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、
     取得した前記姿勢パラメータを前記ロボットに送信する、
    請求項10に記載のロボットシステム制御装置。
  12.  前記ロボットシステム制御装置は第1カメラおよび第2カメラから画像を取得し、
     前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第1カメラによる画像中の画素位置と第2カメラによる画像中の画素位置との組である、
    請求項11に記載のロボットシステム制御装置。
  13.  前記ロボットシステム制御装置は第1カメラおよび第2カメラから画像を取得し、
     前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第1カメラによる画像中の画素位置と、第1カメラによる画像と第2カメラによる画像から三角測量の原理に基づいて算出された距離情報との組である、
    請求項11に記載のロボットシステム制御装置。
  14.  前記ロボットシステム制御装置は第1カメラおよび第2カメラから画像を取得し、
     前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第1カメラによる画像と第2カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標である、
    請求項11に記載のロボットシステム制御装置。
  15.  前記カメラは、前記作業空間の直接像および鏡による反射像を1枚の画像に撮像し、
     前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組である、
    請求項11に記載のロボットシステム制御装置。
  16.  前記カメラが距離画像カメラであって、
     前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記距離画像カメラによる画像中の画素位置と距離情報との組である、
    請求項11に記載のロボットシステム制御装置。
  17.  前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の前記カメラによる画像中の画素位置と、前記標識が当該位置にあるときの前記画像中の面積との組である、
    請求項11に記載のロボットシステム制御装置。
  18.  前記姿勢パラメータが、前記ロボットの関節変数の組である、
    請求項11~17のいずれか一項に記載のロボットシステム制御装置。
  19.  前記姿勢パラメータが、前記標識または前記対象物のロボット座標系における三次元位置座標である、
    請求項11~17のいずれか一項に記載のロボットシステム制御装置。
  20.  標識が固定された多関節ロボットを動作させて前記標識を移動させながら、
     前記ロボットの作業空間を1台以上のカメラで撮像し、該カメラで撮像した画像中に前記標識を認識して該標識の位置情報を算出し、前記標識の位置情報と当該撮像時における前記ロボットの姿勢パラメータとを関連付けて、参照表に順次登録するキャリブレーション工程と、
     対象物が存在する作業空間を前記カメラで撮像し、
     前記カメラで撮像した画像中に前記対象物を認識して該対象物の位置情報を算出し、前記対象物の位置情報から、前記参照表を参照して、前記ロボットのハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、
     取得した前記姿勢パラメータを該ロボットに送信する作業工程と、
    を有するロボットシステム制御方法。
  21.  前記1台以上のカメラは第1カメラおよび第2カメラであり、
     前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第1カメラによる画像中の画素位置と第2カメラによる画像中の画素位置との組である、
    請求項20に記載のロボットシステム制御方法。
  22.  前記1台以上のカメラは第1カメラおよび第2カメラであり、
     前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第1カメラによる画像中の画素位置と、第1カメラによる画像と第2カメラによる画像から三角測量の原理に基づいて算出された距離情報との組である、
    請求項20に記載のロボットシステム制御方法。
  23.  前記1台以上のカメラは第1カメラおよび第2カメラであり、
     前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第1カメラによる画像と第2カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標である、
    請求項20に記載のロボットシステム制御方法。
  24.  前記カメラは、前記作業空間と該作業空間が映り込むように配置された鏡とを1枚の画像内に撮像し、
     前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組である、
    請求項20に記載のロボットシステム制御方法。
  25.  前記カメラが距離画像カメラであって、
     前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組である、
    請求項20に記載のロボットシステム制御方法。
  26.  前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の前記カメラによる画像中の画素位置と、前記標識が当該位置にあるときの前記画像中の面積との組である、
    請求項20に記載のロボットシステム制御方法。
  27.  前記姿勢パラメータが、前記ロボットの関節変数の組である、
    請求項20~26のいずれか一項に記載のロボットシステム制御方法。
  28.  前記姿勢パラメータが、前記標識または前記対象物のロボット座標系における三次元位置座標である、
    請求項20~26のいずれか一項に記載のロボットシステム制御方法。
PCT/JP2017/031055 2016-09-02 2017-08-30 ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 WO2018043524A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016172015 2016-09-02
JP2016-172015 2016-09-02

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018537323A JP6855491B2 (ja) 2016-09-02 2017-08-30 ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法

Publications (1)

Publication Number Publication Date
WO2018043524A1 true WO2018043524A1 (ja) 2018-03-08

Family

ID=61301786

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/031055 WO2018043524A1 (ja) 2016-09-02 2017-08-30 ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法

Country Status (2)

Country Link
JP (1) JP6855491B2 (ja)
WO (1) WO2018043524A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019239848A1 (ja) * 2018-06-15 2019-12-19 オムロン株式会社 ロボット制御システム
JP2020075325A (ja) * 2018-11-08 2020-05-21 株式会社Ihi ツールセンターポイントの設定方法及び設定装置
TWI711910B (zh) * 2018-03-19 2020-12-01 達明機器人股份有限公司 機器手臂校正臂外相機的方法
WO2021079802A1 (ja) * 2019-10-21 2021-04-29 株式会社アマダ ワーク撮影画像処理装置、ワーク撮影画像処理方法、及び加工システム
WO2021199305A1 (ja) * 2020-03-31 2021-10-07 日本電気株式会社 制御装置、制御システム、制御方法、および、制御プログラムが記録された記録媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0780790A (ja) * 1993-09-16 1995-03-28 Fujitsu Ltd 三次元物体把持システム
JPH09128549A (ja) * 1995-11-07 1997-05-16 Meidensha Corp ロボット装置の相対位置姿勢検出方法
JP2012223871A (ja) * 2011-04-21 2012-11-15 Kawasaki Heavy Ind Ltd ロボットの関節の原点補正方法およびそのシステム
JP2012254518A (ja) * 2011-05-16 2012-12-27 Seiko Epson Corp ロボット制御システム、ロボットシステム及びプログラム
JP2015182144A (ja) * 2014-03-20 2015-10-22 キヤノン株式会社 ロボットシステムおよびロボットシステムの校正方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0780790A (ja) * 1993-09-16 1995-03-28 Fujitsu Ltd 三次元物体把持システム
JPH09128549A (ja) * 1995-11-07 1997-05-16 Meidensha Corp ロボット装置の相対位置姿勢検出方法
JP2012223871A (ja) * 2011-04-21 2012-11-15 Kawasaki Heavy Ind Ltd ロボットの関節の原点補正方法およびそのシステム
JP2012254518A (ja) * 2011-05-16 2012-12-27 Seiko Epson Corp ロボット制御システム、ロボットシステム及びプログラム
JP2015182144A (ja) * 2014-03-20 2015-10-22 キヤノン株式会社 ロボットシステムおよびロボットシステムの校正方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI711910B (zh) * 2018-03-19 2020-12-01 達明機器人股份有限公司 機器手臂校正臂外相機的方法
WO2019239848A1 (ja) * 2018-06-15 2019-12-19 オムロン株式会社 ロボット制御システム
JP2019217571A (ja) * 2018-06-15 2019-12-26 オムロン株式会社 ロボット制御システム
JP7070127B2 (ja) 2018-06-15 2022-05-18 オムロン株式会社 ロボット制御システム
JP2020075325A (ja) * 2018-11-08 2020-05-21 株式会社Ihi ツールセンターポイントの設定方法及び設定装置
WO2021079802A1 (ja) * 2019-10-21 2021-04-29 株式会社アマダ ワーク撮影画像処理装置、ワーク撮影画像処理方法、及び加工システム
WO2021199305A1 (ja) * 2020-03-31 2021-10-07 日本電気株式会社 制御装置、制御システム、制御方法、および、制御プログラムが記録された記録媒体

Also Published As

Publication number Publication date
JP6855491B2 (ja) 2021-04-07
JPWO2018043524A1 (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
WO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP6280525B2 (ja) カメラのミスキャリブレーションの実行時決定のためのシステムと方法
JP4021413B2 (ja) 計測装置
EP2636493B1 (en) Information processing apparatus and information processing method
CN103895023B (zh) 一种基于编码方位装置的机械臂末端跟踪测量系统的跟踪测量方法
JP6180087B2 (ja) 情報処理装置及び情報処理方法
JP4191080B2 (ja) 計測装置
JP5852364B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
US20190242971A1 (en) Relative Object Localization Process for Local Positioning System
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP2004508954A (ja) 位置決め装置およびシステム
CN105073348A (zh) 用于校准的机器人系统和方法
KR20140008262A (ko) 로봇 시스템, 로봇, 로봇 제어 장치, 로봇 제어 방법 및 로봇 제어 프로그램
US20150363935A1 (en) Robot, robotic system, and control device
US20200298411A1 (en) Method for the orientation of an industrial robot, and industrial robot
JP2005515910A (ja) シングルカメラ3dビジョンガイドロボティクスの方法および装置
JP6324025B2 (ja) 情報処理装置、情報処理方法
JP6489776B2 (ja) 座標系校正方法、ロボットシステム、プログラム及び記録媒体
CN111278608A (zh) 用于3d视觉机器人系统的校准物品
KR102094004B1 (ko) 탁구 로봇 제어 방법 및 이를 위한 시스템
JP6885856B2 (ja) ロボットシステムおよびキャリブレーション方法
CN110672049B (zh) 用于确定机器人坐标系与工件坐标系间关系的方法及系统
US20220168902A1 (en) Method And Control Arrangement For Determining A Relation Between A Robot Coordinate System And A Movable Apparatus Coordinate System
TWI708667B (zh) 運動裝置之位置與姿態校正裝置及系統與方法
WO2022124232A1 (ja) 画像処理システム及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17846529

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018537323

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17846529

Country of ref document: EP

Kind code of ref document: A1