JP6278611B2

JP6278611B2 - 画像処理システム及びその方法

Info

Publication number: JP6278611B2
Application number: JP2013091970A
Authority: JP
Inventors: 修朗小山田
Original assignee: Amada Holdings Co Ltd
Current assignee: Amada Co Ltd
Priority date: 2013-04-25
Filing date: 2013-04-25
Publication date: 2018-02-14
Anticipated expiration: 2033-04-25
Also published as: JP2014213348A

Description

本発明は画像処理システム及びその方法に関し、詳細には画像処理技術を用いて溶接ノズルを適正位置に補正するための画像処理システム及びその方法に関する。

レーザ溶接加工を行う際、レーザ光を集光させた点（以下、レーザ焦点位置）と被加工対象材料（以下、ワーク）の被溶接箇所（以下、溶接点位置）が一致していないと、熱量が足りないため溶融の不足が起きるなど、加工品質に悪影響となるため、ワークと溶接ノズルの適正な距離（以下、ノズルギャップ）の調整が非常に重要なファクターとなっている。

そのため従来は、定規や工具を用いてノズルギャップを手動計測するか、ロボットに装着されたCCDカメラから得られる画像のピント状態を見ながらノズルを前後させる、または、レーザ計測器や接触センサを用いるなどして、ノズルギャップの計測・調整を行っていた。

特許文献１−３を参照。

特開平１１−１４７１８７特開平８−５７６４７特開平６−３４４１６７

定規や工具を用いてノズルギャップを計測する場合、計測時に機械を一時停止させる必要があり、作業時間が増大する原因となっていた。

また、カメラのピントを元に調整を行う場合、カメラのピントが合う範囲（焦点深度）が溶接レーザの溶接可能範囲内に収まっている必要があり、カメラの取り付け位置（被写体との距離）、視野範囲と溶接可能範囲の関係によってはピントを元にした調整を行うことができないという問題があった。

そして、レーザ計測器や接触センサはワークの表面粗度や材質、形状やセンサ位置によって計測精度が左右される、あるいは計測が行えなくなる場合があった。

本発明は、角度をつけて設置したもう一台のカメラから撮影した画像に画像処理を行い、その撮影状態からノズルギャップの計測と、ノズル位置の補正を行うものである。

本発明は上述の問題を解決するためのものであり、請求項１に係る発明は、ワークを溶接ノズルよりのレーザにより溶接する場合に、前記ワークの溶接点位置を撮像可能な少なくとも１台のカメラを有する撮像手段と、生成手段とを備え、前記撮像手段が、第１のカメラおよび第２のカメラからなり、前記第１のカメラが前記ワークへのレーザ照射方向から画像を撮像し、前記生成手段が前記第１のカメラで撮像された画像平面に対しての水平方向の平面補正量を求め、前記平面補正量に基づいて溶接位置が補正された後に、前記第２のカメラが前記ワークへのレーザ照射方向と異なる方向から画像を撮像し、前記生成手段が、前記第２のカメラで撮像された画像を用いて前記溶接ノズルの前記ワークに対して垂直方向のノズルギャップ補正量を算出する画像処理システムを特徴とする。

請求項２に係る発明は、前記第１のカメラと前記第２のカメラとの間隔が既知に設定されていることを特徴とする。

請求項３に係る発明は、前記第１のカメラと前記第２のカメラとの取り付け角度が既知に設定されていることを特徴とする。

請求項４に係る発明は、前記生成手段が、前記第１のカメラが撮像した画像と保存された前記第１のカメラと同じ方向から撮像した適正なノズル位置における画像とを用いて溶接点の位置の検出を行うことにより前記平面補正量を求めることを特徴とする。

請求項５に係る発明は、前記生成手段が、前記第２のカメラで撮像された画像と保存された前記第２のカメラと同じ方向から撮像した適正なノズルギャップ位置における画像とを用いて溶接点の位置の検出を行うことにより前記ノズルギャップ補正量を求めることを特徴とする。

請求項６に係る発明は、前記生成手段が、前記第１のカメラが撮像した画像に対してのオペレータが指示した溶接点位置により前記平面補正量を求めることを特徴とする。
請求項７に係る発明は、前記生成手段が、前記第２のカメラが撮像した画像に対してのオペレータが指示した溶接点位置により前記ノズルギャップ補正量を求めることを特徴とする。
請求項８に係る発明は、前記撮像手段が、第１のカメラのみからなり、前記第１のカメラを、前記第２のカメラの位置に移動させ、前記第２のカメラの代わりに前記ワークへのレーザ照射方向と異なる方向から撮像を行うことを特徴とする。
請求項９に係る発明は、ワークを溶接ノズルよりのレーザにより溶接する場合に、前記ワークの溶接点位置を撮像可能な撮像手段を備え、前記撮像手段が、第１のカメラおよび第２のカメラからなる画像処理システムにおける画像処理方法であって、（ａ）前記第１のカメラが、前記ワークへのレーザ照射方向から撮像する工程と、（ｂ）前記（ａ）の工程で撮像された画像を用い、前記第１のカメラの映像平面に対して水平方向の平面補正量を求め、前記平面補正量に基づいて、前記溶接ノズルの前記第１のカメラの映像平面に対して水平方向の溶接位置補正を行う工程と、（ｃ）前記第２のカメラが、前記ワークへのレーザ照射方向と異なる方向から撮像する工程と、（ｄ）前記（ｃ）の工程で撮像された画像を用い、前記ワークに対して垂直方向のギャップ量を算出し、前記ギャップ量に基づいて、前記溶接ノズルの前記ワークに対して垂直方向のノズルギャップ補正を行う工程と、を有することを特徴とする。

本発明は、ワークを撮影するカメラ（溶接位置補正用カメラｃ１、ノズルギャップ補正用カメラｃ２）、画像処理を用いて溶接点位置の検出を行う処理装置からなるシステムである。これらが協調し、ノズルギャップの自動調整が可能となる。結果として品質の高い溶接を行うことができる。

さらに、レーザ距離計と比較して、画像を使用するので、製品表面の状態に影響されにくい（光沢面等）。また、形状データが無くてもギャップ調整が可能である（レーザ計測の場合は、ギャップの入込量は同じだが、図１３、図１４に示すように、形状（角度）が違う場合は、計測距離の変化量が異なるため、ノズルを前後させて最適距離を探索しないといけない。）

画像処理システムの概略を示す概略図である。画像処理システムの動作を示すフローチャートである。溶接ヘッドとカメラの位置を説明する説明図である。補正値の算出を説明する説明図である。（ａ）、（ｂ）、（ｃ）は画像と補正値の関係を説明する説明図である。初回加工の動作を示すフローチャートである。リピート加工の動作を示すフローチャートである。（ａ）、（ｂ）はワークを説明する説明図である。具体例を説明する説明図である。カメラを平行に取り付けた場合を説明する説明図である。カメラを移動させて撮像する場合を説明する説明図である。カメラを移動させて撮像する場合を説明する説明図である。レーザ計測と比較した利点を説明する説明図である。レーザ計測と比較した利点を説明する説明図である。

本願発明の実施の形態を図面を参照して説明する。

図１に画像処理システムＳの一例を示す。画像処理システムＳは、溶接位置補正用カメラ（例えば、ＣＣＤカメラ）ｃ１と、ノズルギャップ補正用カメラ（例えば、ＣＣＤカメラ）ｃ２と、溶接ツール先端のノズルｎ１を備える。

また、符号のｗ１は、ノズルギャップ（ワークｗと溶接ノズルの距離）が適正な場合の溶接点位置である。符号のｗ２は、ノズルギャップが適正値より小さい場合の溶接点位置である。

符号のｗ３は、ノズルギャップが適正値より大きい場合の溶接点位置である。

なお、溶接位置補正用カメラｃ１、ノズルギャップ補正用カメラｃ２の両方のカメラで撮像を行ったとき、画像中心がともに溶接点位置が符号のｗ１になるように取り付けられているものとする。

そして、上述の画像処理システムＳは、適数の撮像手段（本例では、溶接位置補正用カメラｃ１、ノズルギャップ補正用カメラｃ２）にてワークｗをレーザ照射方向（例えば、ワークｗに対して垂直方向）から撮像した画像と、前記ワークｗを前記レーザ照射方向と異なる方向から撮像した画像とを生成する。

前記撮像手段（溶接位置補正用カメラｃ１、ノズルギャップ補正用カメラｃ２）で撮像した撮像方向の異なる各画像と基準画像（適正値のｗ１における画像）に基づき、前記ワークｗに対するノズルｎ１の平行移動量（画像の平面に平行な方向の移動量）およびノズルギャップ（ワークｗとノズルｎ１の距離）の適正な値を生成する生成手段とを備える。

図２、図３を参照し、ロボットｒｂに適用される画像処理システムＳの基本動作を示す。

初めに、図３を参照し画像処理システムＳの主な構成要素であるロボットｒｂとこのロボットｒｂの制御を行う制御装置ｃｏｎの構成を説明する。ロボットｒｂは、ロボット溶接ヘッドｙｈと、ロボット溶接ヘッドｙｈの先端のノズルｎ１とロボットアームｒａとを備える。

なお、上記ロボットアームｒａの腕構造は、例えば６軸のものがある。体を回転させる旋回軸（Ｓ軸）、体を前後に動かす下腕軸（Ｌ軸）、腕を上下に動かす上腕軸（Ｕ軸）、腕を回転させる手首旋回軸（Ｒ軸）、手首を上下に振る手首曲げ軸（Ｂ軸）、および手首を回転させる手首回転軸（Ｔ軸）により構成される。

制御装置ｃｏｎは、コンピュータにより構成されるものであり、本体（ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含む）、入出力部（表示部、キーボード等を含む）を備えコンピュータプログラムにより動作するものである。

また、制御装置ｃｏｎは、ロボットの動作プログラムに従いロボットｒｂをコントロールする。すなわち、ロボットｒｂは制御装置ｃｏｎの操作信号に基づき動作する。

本実施の形態では、産業用ロボットの制御を例に説明するが、特に産業用ロボットに限定されるものではない。産業用ロボットは、例えば、ワークｗに対し溶接、塗装、搬送等を実行する。

上述のように構成されたロボットｒｂに適用される画像処理システムＳの動作を説明する。プロセスｐ１では、ワーク撮像（１）を行う。すなわち、補正対象のワークｗを溶接位置補正用カメラｃ１によって撮像する。

プロセスｐ２では、ノズル位置補正（カメラｃ１の映像平面に対し水平方向の補正）を行う。詳細には、プロセスｐ１で取得した画像を用いて溶接点位置の検出を行い、溶接位置補正用カメラｃ１の映像平面に平行な方向の補正を行う。これにより、図４に示すように、溶接点位置がｗ１、ｗ２、ｗ３のどの位置であっても溶接位置補正用カメラｃ１の画像中心に溶接点が位置することになる。

プロセスｐ３では、ワークｗの撮像（２）を行う。具体的には、プロセスｐ２の処理終了後、補正対象のワークｗをノズルギャップ補正用カメラｃ２によって撮像する。

プロセスｐ４では、溶接点検出を行う。プロセスｐ３で取得した画像を用いて溶接点位置の検出を行う。図４に示すように、ワークｗとノズルｎ１の距離が適正（ｗ１の位置）な場合、溶接点はノズルギャップ補正用カメラｃ２の画像中心に位置するが、ノズルｎ１がワークｗに近い（ｗ２の位置）場合と遠い（ｗ３の位置）場合は画像中心から外れた場所に位置することになる。

プロセスｐ５では、ノズルｎ１の位置（ワークｗに対して垂直方向）の補正を行い適正なノズルギャップを生成する。

詳細には、プロセスｐ４の結果から、図４に示すように、ノズルｎ１の移動距離を算出し、ノズルｎ１位置の補正を行う。プロセスｐ４で得た距離をXとすると、ノズルｎ１の調整量Ｌは、ノズルギャップ補正用カメラｃ２の取り付け角度θを用いてX＝Ｌｓｉｎθから、Ｌ＝X／ｓｉｎθと求められる。また、ノズルの前進・後退はノズルギャップ補正用カメラｃ２の画像中心に対して溶接点位置がどこに位置しているかで判断が可能である。

図５（ａ）、（ｂ）、（ｃ）は、ノズルギャップの補正値と、画像上の位置の関係を示している。ここでは、図５（ａ）に示すように、溶接位置がノズルｎ１に適正位置より近い場合（ｗ２の場合）を例に説明する。

ノズルｎ１とワークｗとのノズルギャップが最適でない場合、溶接位置が追加したノズルギャップ補正用カメラｃ２の画像中心から外れる。図５（ｂ）に示すように、溶接位置ｗ１はノズルギャップ補正用カメラｃ２の中心の位置ｗ２より紙面に対し左側に距離Ｘだけ離れている。

ワークｗとノズルｎ１の距離であるノズルギャップは追加したノズルギャップ補正用カメラｃ２で撮像した画像のどこに溶接位置があるかで判別する（中心位置ｗ２より、今回の例では左側の場合は近い。また、中心位置ｗ２より、今回の例では右側の場合は遠い）。

上述のように、溶接位置が追加のノズルギャップ補正用カメラｃ２の画像中心からＸ（ｍｍ）ズレている場合、製品との距離Ｌとノズルギャップ補正用カメラｃ２の取付角度θは、Ｘ＝Ｌｓｉｎθを満たすので、Ｌ＝Ｘ／ｓｉｎθだけヘッド（すなわちノズルｎ１）を動かせば適正なノズルギャップとなる。なお、図５（ｃ）は最適なノズルギャップの場合の画像であり、溶接位置が画像中心に一致する。

なお上記のフローは、ノズルギャップが適正な場合の溶接点位置を、溶接位置補正用カメラｃ１から見た場合の画像とノズルギャップ補正用カメラｃ２から見た場合の画像が、前もって保存されていることが前提となっている。

なお、画像が保存されていない場合、上述のプロセスｐ２、プロセスｐ４で行っている溶接点位置の検出を、オペレータが目視して行い、補正が完了した後で画像の保存を行う。

例えば、初回加工の場合は、図６に示すように、プロセスｐａ１では、加工対象の点に到着する。プロセスｐａ２では、溶接位置・ノズルギャップ調整（手動）を行う。

プロセスｐａ３では、画像撮影を行う。プロセスｐａ４では、次の点に移動する。

リピート加工の場合は、図７に示すように、プロセスｐｂ１では、加工対象の点に到達する。プロセスｐｂ２では、溶接位置補正用カメラｃ１により、位置調整用画像の撮影を行う。

プロセスｐｂ３では、溶接位置補正を行う。

プロセスｐｂ４では、ノズルギャップ補正用カメラｃ２により、ギャップ調整用画像の撮影を行う。プロセスｐｂ５では、ノズルギャップ調整を行う。

プロセスｐｂ６では、次の加工点に移動する。

図８（ａ）、（ｂ）、図９を参照し、溶接位置補正用カメラｃ１の画像と、ノズルギャップ補正用カメラｃ２の画像に基づき具体例を説明する。

図８（ａ）に示すワークｗを溶接する場合である。図８（ｂ）は、図８（ａ）のワークｗのエリアＥＲを矢印ＡＲから見たものである。

図９を参照する。画像Ｇ１は初期位置における溶接位置補正用カメラｃ１（メインカメラ）の画像である。画像Ｇ２は初期位置におけるノズルギャップ補正用カメラｃ２（追加カメラ）の画像である。溶接位置、ノズルギャップ共に不良である。

画像Ｇ3は位置合わせ後における溶接位置補正用カメラｃ１（メインカメラ）の画像である。画像Ｇ４は位置合わせ後におけるノズルギャップ補正用カメラｃ２（追加カメラ）の画像である。溶接位置は改善されたが、ノズルギャップが未改善である。

画像Ｇ５はギャップ調整後における溶接位置補正用カメラｃ１（メインカメラ）の画像である。画像Ｇ６はギャップ調整後におけるノズルギャップ補正用カメラｃ２（追加カメラ）の画像である。溶接位置、ノズルギャップ共に改善された。

また、溶接位置補正用カメラｃ１、ノズルギャップ補正用カメラｃ２における溶接対象箇所の位置は自動検出としたが、自動検出を行わず、撮影した画像をオペレータが目視確認して位置指示を行う方法でも構わない。

さらに、変形例を説明する。たとえば、図１０を参照する。カメラ（溶接位置補正用カメラｃ１、ノズルギャップ補正用カメラｃ２）の取り付け角度を既知として、ズレ量から移動量を求めたが、カメラを平行に取り付け（カメラ間距離Ｌを既知とする）、ズレ角を求める場合でも同様に補正を行える。カメラ間距離Ｌが既知なので、ワークｗとカメラの距離は、Ｌｔａｎθとなる。そして、移動量は本来取られるべき距離と実際の距離との差から計算する。

図１１を参照する。溶接ヘッドを傾斜させ追加のカメラの代わりとすることで、カメラを複数使用しない場合も可能である。移動量の計算方法は、カメラを２台使用する方法と同様である。なお、傾斜は距離が最適な場合の位置ｗ１を基準に所定の値だけ回転する。

図１２を参照する。溶接ヘッドを平行移動させ追加のカメラの代わりとすることで、カメラを複数使用しない場合も可能である。移動量の計算方法は、カメラを２台使用する方法と同様である。

この発明は前述の発明の実施の形態に限定されることなく、適宜な変更を行うことにより、その他の態様で実施し得るものである。

Ｓ画像処理システム
ｃ１溶接位置補正用カメラ
ｃ２ノズルギャップ補正用カメラ
ｎ１溶接ツール先端のノズル
ｗワーク
ｗ１ノズルギャップが適正な場合の溶接点位置
ｗ２ノズルギャップが適正値より小さい場合の溶接点位置
ｗ３ノズルギャップが適正値より大きい場合の溶接点位置

Claims

ワークを溶接ノズルよりのレーザにより溶接する場合に、前記ワークの溶接点位置を撮像可能な少なくとも１台のカメラを有する撮像手段と、生成手段とを備え、
前記撮像手段が、第１のカメラおよび第２のカメラからなり、
前記第１のカメラが前記ワークへのレーザ照射方向から画像を撮像し、
前記生成手段が前記第１のカメラで撮像された画像平面に対しての水平方向の平面補正量を求め、
前記平面補正量に基づいて溶接位置が補正された後に、前記第２のカメラが前記ワークへのレーザ照射方向と異なる方向から画像を撮像し、
前記生成手段が、前記第２のカメラで撮像された画像を用いて前記溶接ノズルの前記ワークに対して垂直方向のノズルギャップ補正量を算出することを特徴とする画像処理システム。
前記第１のカメラと前記第２のカメラとの間隔が既知に設定されていることを特徴とする請求項１に記載の画像処理システム。
前記第１のカメラと前記第２のカメラとの取り付け角度が既知に設定されていることを特徴とする請求項１に記載の画像処理システム。
前記生成手段が、前記第１のカメラが撮像した画像と保存された前記第１のカメラと同じ方向から撮像した適正なノズル位置における画像とを用いて溶接点の位置の検出を行うことにより前記平面補正量を求めることを特徴とする請求項１〜３のいずれかに記載の画像処理システム。
前記生成手段が、前記第２のカメラで撮像された画像と保存された前記第２のカメラと同じ方向から撮像した適正なノズルギャップ位置における画像とを用いて溶接点の位置の検出を行うことにより前記ノズルギャップ補正量を求めることを特徴とする請求項１〜４のいずれかに記載の画像処理システム。
前記生成手段が、前記第１のカメラが撮像した画像に対してのオペレータが指示した溶接点位置により前記平面補正量を求めることを特徴とする請求項１〜３のいずれか、または請求項５に記載の画像処理システム。
前記生成手段が、前記第２のカメラが撮像した画像に対してのオペレータが指示した溶接点位置により前記ノズルギャップ補正量を求めることを特徴とする請求項１〜４のいずれか、または請求項６に記載の画像処理システム。
前記撮像手段が、第１のカメラのみからなり、前記第１のカメラを、前記第２のカメラの位置に移動させ、前記第２のカメラの代わりに前記ワークへのレーザ照射方向と異なる方向から撮像を行うことを特徴とする請求項１〜７のいずれかに記載の画像処理システム。
ワークを溶接ノズルよりのレーザにより溶接する場合に、前記ワークの溶接点位置を撮像可能な撮像手段を備え、前記撮像手段が、第１のカメラおよび第２のカメラからなる画像処理システムにおける画像処理方法であって、
（ａ）前記第１のカメラが、前記ワークへのレーザ照射方向から撮像する工程と、
（ｂ）前記（ａ）の工程で撮像された画像を用い、前記第１のカメラの映像平面に対して水平方向の平面補正量を求め、前記平面補正量に基づいて、前記溶接ノズルの前記第１のカメラの映像平面に対して水平方向の溶接位置補正を行う工程と、
（ｃ）前記第２のカメラが、前記ワークへのレーザ照射方向と異なる方向から撮像する工程と、
（ｄ）前記（ｃ）の工程で撮像された画像を用い、前記ワークに対して垂直方向のギャップ量を算出し、前記ギャップ量に基づいて、前記溶接ノズルの前記ワークに対して垂直方向のノズルギャップ補正を行う工程と、を有することを特徴とする画像処理方法。