JP5429872B2 - 加工対象物を溶接するロボットを制御する方法および装置 - Google Patents

Description

本発明は、３次元加工対象物を溶接するロボットを制御する方法に関する。

造船業では、スチールプレートと、当該スチールプレート上に溶接されている補強部材とを備えるマイクロパネルを用いる。最初の状態では、これらの複数の異なる種類の補強部材は、スチールプレート上に仮付け溶接されて、後に屈曲アームロボットまたはポータル溶接用具によって溶接される。補強部材は、形状、寸法および切り出し終了エッジが異なることによって互いに区別され、スチールプレート上では補強部材をどのように配置することも可能である。しかし、造船業におけるマイクロパネルのように小型部品が設けられている場合には特に、仮付け溶接用の溶接ロボットの動作プログラミングは、製造工程全般または自動化製造工程において非常に複雑である。

現状の技術水準では、造船業において３次元加工対象物を溶接するためのプログラミング方法は略全てが、ＣＡＤデータを取得して変換することによって行われる。このようなプログラミング方法は、インターフェースに関する問題、ならびに、異なるＣＡＤプログラム間での互換性および通常用いられるＣＡＭモジュールに対するそれぞれのＣＡＤプログラムの出力データファイル同士での互換性の問題に加えて、溶接対象の部品の構成上または技術的の特徴が時間的に変化することに対して対応する能力が、非常に限られている。パネルが時間的に変化して、補強部材が無くなったり、補強部材の構造に何か追加されたり、または、補強部材の配置が変化するようなことがあっても、本来のロボットプログラム、つまりもはや関係のないロボットプログラムが実行されてしまう。従来の操作方法にはさらに、ロボットプログラムに応じて加工対象物を配向しなければならないという問題、または、部品の位置に応じてプログラムを変位および再配向しなければならないという問題がある。

現行の技術水準では、溶接ロボットを制御およびプログラミングする別の方法が公知である（欧州特許出願公開第１１８８５１０号明細書）。当該方法によると、加工対象物が配設された構造テンプレートの２次元写真をカメラを用いて生成する。この画像データに基づいて、プログラムは、コントラストの差分を参照することで部材のラインを平面図で認識する。この方法には、部材の高さ、つまり、垂直シームの長さ、または、部材の切り出しならびに部材の異なる切り出し開始エッジおよび切り出し終了エッジを認識できないという点で限界がある。さらに、プログラムを開始するためには、操作者からかなり包括的で対話的な入力を必要とし、特に、溶接シームの開始条件および終了条件を指定されなければならない。

本発明は、３次元加工対象物を溶接するロボットを制御する方法であって、溶接対象の加工対象物のＣＡＤデータが必要ではなく、水平方向および垂直方向における溶接シームを自動的に決定して、溶接対象の加工対象物の構造上または技術的な特徴の時間的な変化にも柔軟に対応できる方法を提供することを目的とする。

上記の目的は、独立請求項に記載する特徴によって定義される発明によって実現される。

従属項に記載する手段によって、有利な改善および進歩が可能となる。

形材が仮付け溶接されているプレートとして構成される溶接対象の加工対象物を、３次元撮像システムを用いて、３次元ピクセルの形式で撮像して、プレートおよび形材の幾何学的データを当該３次元ピクセルに基づいて決定して、形材の配置ラインおよび形材の接触ラインを考慮しつつ該幾何学的データから溶接シームデータを決定して、溶接シームデータを、記憶されているロボットの所定の移動パターンおよび溶接プロセス制御コマンドに対して割り当てることによって、加工対象物のＣＡＤデータから独立したプログラムを、ロボット制御方法として、生成することができる。このようなプログラム生成は、即座にその場で実行され、溶接プロセス時とは無関係に行うプログラム生成時と溶接作業時との間の時間差において生じる技術的な変化に起因してエラーが発生し得る危険性が回避される。

本発明に係る方法によると、撮像システムは直接、測定された物体のその後の処理に必要な点群データ（３次元ピクセル）を提供する。これは、測定点の数に対応するｎ本のラインと、空間の３つの次元に対応する３つのコラムとを持つマトリクスである。この３次元点群に直接基づいて、３Ｄ幾何学的データ処理が実行される。つまり、セグメンテーション（背景から物体の点を分離、形材の点と基板の点とを分離、各形材の点を互いから分離）、特徴抽出（セグメンテーションされた点群に基づいて形材のコースを構築）、および、例えば、切り出し開始エッジおよび切り出し終了エッジ、磨耗部分、またはアンダーカット、高さ等、形材の特性に応じた個々の形材に対応する一部の点群の検証が行われる。３Ｄ撮像および３Ｄ画像処理を実施することによって、２Ｄ測定技術では溶接プログラムの生成または構造上のデータの取得のためにユーザは対話的な入力を行う必要があったが、この処理を不必要とできる。このため、本発明に係る方法に従って動作するシステムは、完全自動化されているものと見なすことができる。

その他の利点を挙げると、動作の直前にプログラムを生成する点、現時点における部品の幾何学的構造に基づいてプログラムを生成する点、全ての空間座標を考慮して部品の位置および配向を任意とできるので、部品を互いに近接させることができると同時に衝突を回避できる点がある。当該方法は既存のポータルロボットシステムに容易に応用可能であり、本発明に係る方法を用いることによって非常に柔軟な生産プロセスが実現される。

撮像には、任意の検出された物体点について空間内における座標を提供することができる任意のセンサ構造を用いることができる。データの分解能、つまり点密度が高くなるほど、詳細な内容をより良好に認識できる。数枚の別々のピクチャに基づいて、溶接対象である加工対象物の空間デジタルモデルを与える３Ｄレーザスキャナを用いて、加工対象物を撮像することが望ましい。３次元画像座標の検出は、少なくとも１つのパターンプロジェクタおよび評価が割り当てられている少なくとも１つのカメラを用いても可能である。

本発明に係る方法の一実施形態は、添付図面を参照しつつ以下においてより詳細に説明する。図面は以下の通りである。

マイクロパネルとして構成されている、溶接対象となる加工対象物を示す斜視図である。

別の加工対象物を示す図である。

実施形態において用いられるレーザスキャナのキャリブレーション用のパスマークの配置を示す図である。

図１および図２は、２つのマイクロパネル１を示す概略図である。マイクロパネル１は通常、造船分野において典型的なスチールプレートで、スチール形材３が仮付け溶接されているスチールプレート２を備える。マイクロパネル１の表面積は、３ｍ×１６ｍを大きく超えない。図示されているマイクロパネルは概略を示しているのみで、スチールプレート２には通常、磨耗部分６およびアンダーカットが見られ、形材３の数は図示されているよりも多い。

このようなマイクロパネル１、つまり、形材３およびスチールプレート２は、屈曲アームロボット等のロボットを用いて溶接され、溶接工程は自動制御されるものとする。このため、ｘ−ｙ平面における溶接ラインを形材３とスチールプレート２との間で決定して、ｚ方向における溶接ラインを形材３同士の間で決定しなければならない。

本実施形態によると、マイクロパネル１は、位置決めされた後で３Ｄレーザスキャナによってスキャンされ、スキャナの記録磁界とは無関係にさまざまな入射角度で、検出対象の作業領域のサイズに応じて、十分に多数の部分的な写真を撮影する。個々の画像間における位置および配向の幾何学的な関係が既知であるので、この知識および個々の写真に基づいて、処理対象のパネル１を含む作業空間の３次元画像を生成する。このため、画像全体は、３次元座標系においてピクセルとして表現される。

撮影されたシーンの画像データに基づいて、作業空間における加工対象物またはマイクロパネル１の幾何学的データが決定される。このために、背景に関連するデータが実際の加工対象物のデータから分離される。通常は、作業テーブルの支持構造の平面より上方の測定点は全て、加工対象物の点で、この平面上またはこの平面より下方の点は背景の点である。続いて、プレート２の法線ベクトルが決定されて、このベクトルを用いて座標を加工対象物の座標系に変換する。当該加工対象物の座標系のｘ−ｙ平面は、プレート平面に対応し、当該加工対象物の座標系のｚ軸は該特定の法線ベクトルに一致する。

プレート表面における形材３のコースは、溶接シームの位置を決定する上で重要である。コースを決定するためには、プレート２の表面を貫通する形材領域を生成する形材データを、フィルタリングして取り除かなければならない。このような貫通ライン、例えば、形材平面とパネル平面とが互いに貫通しているラインが、形材のコースに対応する。

形材の表面積を決定するためには、プレート２の表面のピクセルを形材３の表面のピクセルから分離する。形材のポイントは全て必ずプレート２の高さよりも上方に位置しているので、ｚ座標の値を用いてポイントを区別および指定することができる。異なる高さの層を調べて、パネル平面より上方の座標を分離することによって、ピクセルを形材の点と、パネルまたはプレートの点とに明確に分類することができる。

図１および図２では、簡単な形状のパネル１を図示しているが、パネル形状は大幅に変更することができ、凹部およびアンダーカットを有する複雑な形状であってもよい。大きな構造と背景とを明確に画定するためには、パネルまたはプレート２の外形を決定する。エッジポイントを明瞭に特定するためには、前もって残りの点から分離していたパネルの点を組み合わせて、それらのｚ座標を互いから区別できなくなるようにする。このようにして決定した一部の点群を、ラインおよびコラムを参照して、エッジポイントに関して検証する。

形材３がその上で直立面によってプレート２に仮付け溶接されている延伸線である、形材３の配置ラインを決定するためには、複数の異なる直線のコースを互いから分離できるように形材の対応するピクセル内において密着する構造を決定する必要がある。このため、点同士の間の間隔を考慮して、外郭を特定する場合と同様の方法で、形材の点群をラインおよびコラムを参照して検証して、構造または構造フラグメントを決定し、これに基づいて形材のコースを分類によって組み合わせる。

後に設けられる溶接シームの正確なコースに関連する明確な情報を取得するためには、形材３同士が互いに交差する点４および５（図２を参照）および形材３の内面および外面を決定しなければならない。その理由は、これに基づいて、形材３同士を互いに接続している上昇シームが延伸している交差エッジが決定されるからである。交差点は、一面型４と二面型５との間で区別しなければならない。２つの形材が互いに接触している場合、交差点は一面型で、２つの垂直溶接シームが必要となる。２つの形材が互いに交差している場合、交差点は二面型で、４つの垂直溶接シームが必要となる。

互いに交差する直線は、形材配置ラインまたは２つの直線の交差点までの形材配置ラインの延長線に対応しており、認識された形材の補間直線の右側および左側に配置される溶接シームのコースについて幾何学的な基準である。これらを特定するためには、形材の材料の厚みを考慮に入れる。

交差する直線の始点および終点として、関連する形材の始点および終点を利用することができ、特定された形材の交差点をラインの連続性に対する中断箇所として考慮することが重要である。これらの点において、形材同士を互いに溶接するための垂直シームが始まる。垂直シームの始点および終点は、パネル平面の高さと認識された形材の高さとに基づいて得られる。

水平シームと上昇シームとである溶接シームの座標が特定されると、溶接ロボットの制御部にこれらの座標が与えられる。制御部は、ロボットに対して、割り当て済みのパラメータ化可能な移動パターン、いわゆるマクロを割り当てる。それぞれの溶接シームは、パラメータとして与えられたデータを用いて、記憶されているマクロを割り当てられる。つまり、マクロは、該パラメータ、始点座標および終点座標、形材の高さ、および材料の厚みに基づいて、特定の溶接シームの条件に対して特に適合させられる。溶接プロセスを制御する具体的なコマンド、例えば、ガス供給のオンおよびオフの切り替え、アークの点火、シームトラッキングの起動、穴の充填の終了、およびワイヤ端部の後燃焼（ｂａｃｋ ｂｕｒｎｉｎｇ）等は、既にマクロに記憶されている。

これら以外の機能、例えば、衝突チェック等のために、各形材３の高さおよび材料の厚みが制御部に与えられて溶接時に考慮される。

溶接シームに対する動作手順（溶接プラン）は、既に記憶されているさまざまな適応可能な基準に応じて自動的に事前決定されるが、対話的なプログラム入力を用いることでユーザによる変更が可能である。

上述したように、本発明に係る装置は、撮像センサのデータを受け取って、各画像の点群を組み合わせて作業空間の全体像を形成する撮像モジュールを有する撮像システムを備える。前述のように、幾何学的検出モジュールは、記録されたシーンの画像データおよび必要な溶接シームデータに基づいて、作業空間内の加工対象物の幾何学的データを決定する。そして、制御アルゴリズムを含む制御装置は、ロボットの制御部を用いて、溶接プロセスの制御／調整を実行する。

さらに、ロボットの座標系と、撮像センサの座標系および構造テンプレートまたは加工対象物の座標系とを相関させる、キャリブレーションモジュールが設けられる。また、キャリブレーションモジュールは、各画像を結合して１つの均質な合成画像を形成するべく、個々の画像の正確な位置および配向を含む。相互作用的な測定を支援するキャリブレーションアルゴリズムが、このデータ群について、記憶されている。さらに、幾何学的な認識動作を最適化するためのパラメータおよび設定を含む。

３次元レーザスキャナとして構成される３Ｄ撮像システムのキャリブレーション方法を以下に記載する。当該システムに利用できるが、その他の種類の撮像についても利用可能である。このキャリブレーション方法の場合、レーザスキャナ自体に対する介入はなく、キャリブレーションそのものは、該装置の設置時または設置後に実行されるか、あるいは、測定結果が不正確であった場合にルーチンとして実行される。

本実施形態によると、キャリブレーションのために、実装台として機能するフレーム８上に、等間隔で参照用のボール７を配設する。該フレームは、溶接対象となる加工対象物の作業テーブル９に配置される。レーザスキャナ１１の撮像領域１０が、フレーム８またはフレーム８上の外部に配置されるボール７によって指定される。参照用のボール７の中心の参照値は、任意の座標系、つまり図３に示す配置によって決まる座標系において既知である。さらに、ボールの直径が既知である。中央のボールは、撮像領域の略中心に配置されている。つまり、スキャナの座標系の中心に配置されている。続いて、参照用のボールをスキャナによって撮影して、キャリブレーション対象である平坦な作業領域における参照用のボールの点群を生成する。

ボール中心の実際の値は、該点群に基づいて決定される。具体的には、該点群を個々のボールの表面上の点をそれぞれ含む個々の部分点群に分割する（セグメンテーション）。そして、ボール中心は、個々のボールの表面上の点から、最小二乗誤差法を用いて決定される。

スキャナ１１は、多数のピクセルを有する画像センサとしてマトリクスを備えており、以下ではスキャナマトリクスと呼ぶ。このマトリクスでは、上述のように決定されるボール中心に対応付けられるライン指標およびコラム指標が、ｚ＿ｉ、ｓ＿ｉと指定される。ここで、ｉは各ボールの番号である。そして、ボール中心の参照値の座標系を、スキャナによって撮影された点群から取得されたボール中心の実際の値の座標系に対して配向する。前者の座標系を参照データと呼び、後者の座標系を実際データと呼ぶ。このような配向は、それぞれのボール中心が画定している平面に基づいて行われる。つまり、ボール中心の実際データの平面と、ボール中心の参照データの平面とを位置合わせして、ボール中心の参照データとボール中心の実際データとの間の間隔をこの平面において最小限に小さくする。このように最小限に小さくするには、スキャナの座標系の中心にある中央値を用いる。この中心のボールの場合、参照データと実際データは実質的に対応する。

ボール中心の参照データと実際データとの間の偏差Δｘ_{ｚ−ｉ，ｓ＿ｉ}、Δｙ_{ｚ−ｉ，ｓ＿ｉ}、Δｚ_{ｚ−ｉ，ｓ＿ｉ}を続いて算出し、補間／補外によって、スキャナマトリクスの全てのピクセル素子の３次元１次補正値をラインおよびコラムに応じて決定する。

上述したステップによるキャリブレーション方法の精度はまだ、完全に満足のいく水準には達していないことが分かっているので、さらにキャリブレーションプロセスが実行される。このため、スキャナによって最初に撮影された点群のデータを１次補正値によって補正して、ボール中心の実際の値を、上述したように、スキャナの補正後の点群に基づいて決定する。そして、このように決定されたボール中心について、スキャナマトリクスのライン指標およびコラム指標を決定して、上述したように、参照データの座標系を、実際データの座標系に対して配向する。そして、ボール中心の参照データと実際データとの間の偏差を再度決定して、補間／補外によって、スキャナマトリクスの全てのピクセル素子の３次元２次補正値を決定する。１次補正値と２次補正値とを加算することで和として得られる補正マトリクスΔｘ_ｚ，ｓ、Δｙ_ｚ，ｓ、Δｚ_ｚ，ｓは、以降の測定においてスキャナが生成する点群の３次元補正に用いられる。

このようなキャリブレーション方法によって、用いられるレーザスキャナの精度は、必要な物体距離が３ｍよりも大きい場合に、略１０倍に改善された。

Claims (11)

1. ３次元加工対象物を溶接するロボットを制御する方法であって、
   作業テーブル上に配設されたプレート上に複数の形材を位置決めおよび仮付け溶接して形成された、溶接されるべき前記加工対象物を提供する段階と、
   ３次元撮像システムとして３Ｄレーザスキャナを用いて前記加工対象物を、３次元ピクセルの形式で、撮像する段階と、
   前記３次元ピクセルから切り出しおよび切り出し終了エッジを特定する段階を有する、前記プレートの幾何学的データおよび前記複数の形材の幾何学的データを決定する段階と、
   形材配置ラインおよび形材の接触ラインを考慮しつつ、前記幾何学的データに基づいて溶接シームデータを決定する段階と、
   前記溶接シームデータを、溶接プラン用のパラメータ化可能な仕様と、記憶されている前記ロボットの所定の移動パターンと、溶接プロセスを制御および調整するためのコマンドとに割り当てる段階と
   を備え、
   前記幾何学的データを決定する段階は、３Ｄ処理によって実行され、
   前記プレートの平面の位置は前記幾何学的データを決定する段階において決定されて、前記加工対象物の測定点は、ローカルな加工対象物座標系に変換され、前記ローカルな加工対象物座標系のｘ−ｙ平面は前記プレートの平面と一致し、
   前記プレートの平面のピクセル、および、前記複数の形材のピクセルは、高さの座標を用いて互いから分離され、
   前記プレートの外郭は、前記加工対象物および背景を画定するべく決定され、
   前記幾何学的データを決定する段階において、前記複数の形材の厚みを考慮して、前記複数の形材同士が互いに交差するまたは互いに接触する点を決定し、
   前記溶接シームデータを決定する段階において、前記複数の形材の高さを考慮し、前記複数の形材同士が互いに交差するまたは互いに接触する前記点から、前記複数の形材同士を互いに溶接するための垂直シームを決定する方法。
2. 前記撮像システムはキャリブレーションされ、当該キャリブレーションは、
   （ａ）後に溶接されるべき前記加工対象物に対する平面において参照用ボールを配設する段階であって、任意の座標系における前記参照用ボールの中心の参照値と、前記キャリブレーションを制御する少なくとも１つのパラメータが予め指定されている段階と、
   （ｂ）前記撮像システムによって前記参照用ボールの点群を生成して、前記参照用ボールの中心の実際値を、前記実際値に割り当てられる座標系において、決定する段階と、
   （ｃ）前記参照値の座標系を前記実際値の座標系に変換する段階と、
   （ｄ）前記参照用ボールの中心の前記参照値と前記実際値との間における３次元偏差を算出する段階と、
   （ｅ）補間／補外によって、撮像領域の座標に対する、３次元１次補正値を決定する段階と
   を有する
   請求項１に記載の方法。
3. 前記（ｂ）の段階において撮影された前記点群は、前記３次元１次補正値を用いて補正されて、補正された前記参照用ボールの中心の前記実際値が決定され、
   前記（ｃ）の段階および前記（ｄ）の段階が繰り返されて、補間／補外によって前記撮像システムの座標に対する３次元２次補正値が決定されて、
   前記３次元１次補正値および前記３次元２次補正値の和が、前記撮像システムに対する３次元補正値を決定するべく得られる
   請求項２に記載の方法。
4. 前記撮像システムは、撮像センサとして構成されている、スキャナマトリクスを有するレーザスキャナであり、
   決定された前記参照用ボールの中心に対応付けられる、前記スキャナマトリクスのライン指標およびコラム指標は、前記（ｂ）の段階と前記（ｃ）の段階との間で決定され、
   前記３次元１次補正値は、前記スキャナマトリクスのすべてのピクセル素子について決定される
   請求項２または３に記載の方法。
5. 前記撮像システムは、撮像センサとして構成されている、スキャナマトリクスを有するレーザスキャナであり、
   決定された前記参照用ボールの中心に対応付けられる、前記スキャナマトリクスのライン指標およびコラム指標は、前記（ｂ）の段階と前記（ｃ）の段階との間で決定され、
   前記３次元１次補正値は、前記スキャナマトリクスのすべてのピクセル素子について決定され、
   前記３次元２次補正値を決定するべく、前記補正された前記参照用ボールの中心の前記実際値に対応付けられている前記スキャナマトリクスの前記コラム指標および前記ライン指標を決定する段階が繰り返され、
   前記３次元１次補正値および前記３次元２次補正値の和に基づいて、前記レーザスキャナについて３次元補正マトリクスが形成される
   請求項３に記載の方法。
6. 前記参照用ボールの中心の前記実際値は、前記点群を複数の個別の部分点群に分割して、表面の点の座標を決定して、最小二乗誤差法を用いて個々の前記参照用ボールの中心を算出することによって決定される
   請求項２から５のうちいずれか一項に記載の方法。
7. 前記（ｃ）の段階における前記変換は、前記参照用ボールの中心が画定している平面を介して変換することによって実行され、
   前記参照用ボールの中心が画定している平面では、前記参照用ボールの中心の前記参照値と前記実際値との間の間隔を最小限に小さくすること、および、前記実際値の座標系の中心に配置される中心参照用ボールに基づいて、変換が実行される
   請求項２から４のうちいずれか一項に記載の方法。
8. ３次元加工対象物を溶接するロボットを制御する装置であって、
   作業テーブル上に配設されたプレート上に複数の形材が仮付け溶接された、溶接されるべき加工対象物の３次元画像を３Ｄレーザスキャナを用いて撮像して、画像データをピクセルとして提供する撮像システムと、
   ３次元ピクセルから、３Ｄ処理を実行して前記プレートの幾何学的データおよび前記複数の形材の幾何学的データを決定して、形材配置ラインおよび形材の接触ラインを考慮に入れて前記幾何学的データに基づいて溶接シームデータを決定する幾何学認識モジュールと、
   前記溶接シームデータを、溶接プランのパラメータ化可能な仕様と、記憶された前記ロボットの所定の移動パターンと、溶接プロセスを制御／調整するためのコマンドとに割り当てる制御アルゴリズムを有する制御デバイスと
   を備え、
   前記幾何学認識モジュールは、
   前記プレートの平面の位置を決定し、前記プレートの平面とローカルな加工対象物座標系のｘ−ｙ平面とが一致するように、前記加工対象物の測定点を前記ローカルな加工対象物座標系に変換し、
   前記プレートの平面のピクセルおよび前記複数の形材のピクセルを、高さの座標を用いて互いから分離し、
   前記プレートの外郭を、前記加工対象物および背景を画定するべく決定し、
   前記複数の形材の厚みを考慮して、前記複数の形材同士が互いに交差するまたは互いに接触する点を決定し、
   前記複数の形材の高さを考慮し、前記複数の形材同士が互いに交差するまたは互いに接触する前記点から、前記複数の形材同士を互いに溶接するための垂直シームを決定する装置。
9. 前記撮像システムは、複数の別個の写真に基づいて、溶接されるべき前記加工対象物の空間デジタルモデルを提供する３Ｄレーザスキャナを有する
   請求項８に記載の装置。
10. 前記ロボット、前記撮像システム、および、溶接されるべき前記加工対象物の座標系を互いに幾何学的に相関させるキャリブレーションモジュールが設けられている
    請求項８または９に記載の装置。
11. 前記キャリブレーションモジュールは、請求項２から７のうちいずれか一項に記載の方法に対応するキャリブレーションアルゴリズムを有する
    請求項１０に記載の装置。

Images