JP5679912B2 - 溶接異常検知方法及び溶接異常検知装置 - Google Patents
溶接異常検知方法及び溶接異常検知装置 Download PDFInfo
- Publication number
- JP5679912B2 JP5679912B2 JP2011130129A JP2011130129A JP5679912B2 JP 5679912 B2 JP5679912 B2 JP 5679912B2 JP 2011130129 A JP2011130129 A JP 2011130129A JP 2011130129 A JP2011130129 A JP 2011130129A JP 5679912 B2 JP5679912 B2 JP 5679912B2
- Authority
- JP
- Japan
- Prior art keywords
- welding
- molten pool
- image
- abnormality detection
- dimensional shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
このような問題に対して、特許文献1,2は、遠隔監視技術を開示している。
例えば、特許文献1は、溶融プールを照射するレーザ線状光照射手段と、照射されるレーザ光を透過させる干渉フィルタを備え、溶融プールを観測するように設置された撮像手段と、該撮像手段によって検出された画像信号をディジタル化したのち各画素の輝度値を記憶し、溶融プールの情報を算出する画像処理手段と、該画像処理手段が算出した溶融プール情報より溶接状況を判断し、適正な溶接状態に保つための溶接電力,トーチ移動速度,位置などを算出する溶接条件制御手段と、該溶接条件制御手段により算出された溶接電力,トーチ移動速度,位置などに基づき実際の加工機の制御を行う溶接加工手段とを備えた自動溶接加工装置において、前記レーザ線状光照射手段によりレーザ線状光を溶融プールの被測定部位に投射し、撮像手段を該レーザ線状光の投射された溶融プール被測定部位を観測できる位置に設置し、観測した画像よりレーザ線状光の輝線の座標を画像処理手法により計測し、溶融プールの情報として算出する自動溶接加工装置を開示する。
特許文献2は、溶接トーチを搭載した溶接ヘッドが溶接ラインに沿って自動的に移動して溶接を行う自動溶接システムにおいて、前記溶接ヘッドに搭載されて、溶融池を撮像する赤外線カメラと、該赤外線カメラからの撮像データに基づき、前記溶融池の温度分布や形状等を特徴づける特徴データを抽出して、当該特徴データを実測値として出力する画像処理部と、予め理想的な溶接を行い、その際に形成される溶融池の特徴データを目標値として記憶しておき、当該目標値に前記画像処理部からの前記実測値が一致するように溶接電流、溶接速度、溶接トーチの狙い位置等の溶接条件のうち少なくとも1を操作する制御部と有する自動溶接システムを開示する。
これらの状況は、溶融池や溶接ビード(ビード)の形状にその症状が現れるため、溶融池やビードの3次元形状を観察することが有効である。オペレータによる目視観察が有効であることはもちろんであるが、溶接対象であるワークが大型である場合や狭開先の溶接を行わなければならない場合はオペレータによる直接観察ができないことが多く、何よりもロボット溶接の場合は、オペレータの立ち入り範囲が制限され、直接観察が基本的に困難である。
そこで、本発明は、上記問題点を鑑み、溶接不良の発生の有無の確認のために、溶融池や溶接ビードの3次元形状を確実に検出することができる溶接異常の検知方法及び溶接異常の検知装置を提供することを目的とする。
本発明に係る溶接異常検知方法は、溶接中のワーク上に存在する溶融池の状況をステレオ視で撮像し、前記ステレオ視で撮像された2枚の撮像画像に映り込んだ溶融池の表面の文様を基に、溶融池の3次元形状を算出し、算出された溶融池の3次元形状を基にして溶接部位の異常を検出することを特徴とする。
好ましくは、前記2台の撮像カメラで撮影した撮像画像のそれぞれに対して、以下の処理を行って溶接部位の異常を検知するとよい。
(i) 撮像画像において、背景及びアーク放電の領域を除外することで、溶融池の領域のみを抽出する。
(iii) 処理(i)により得られた溶融池の表面の文様に基づき、2枚の撮像画像でステレオ視を実行し、溶融池の3次元形状を求め、溶融池の3次元形状モデルとする。
(iv) 処理(iii)により得られた溶融池の3次元形状モデルを実空間での座標系に投影し、当該実空間での座標系における3次元形状モデルの形状変化又は体積変化を基に、溶接状況の異常を検知する。
なお、本発明にかかる溶接異常検知方法の最も好ましい形態は、溶接中のワーク上に存在する溶融池の状況をステレオ視で撮像し、前記ステレオ視で撮像された2枚の撮像画像に映り込んだ溶融池の表面の文様を基に、溶融池の3次元形状を算出し、算出された溶融池の3次元形状を基にして溶接部位の異常を検出するものであって、2台の撮像カメラを同期させてワーク上の溶融池を撮像することとし、前記2台の撮像カメラで撮影した撮像画像のそれぞれに対して、以下の処理を行って溶接部位の異常を検知することを特徴とする。
(i) 撮像画像において、背景及びアーク放電の領域を除外することで、溶融池の領域のみを抽出する。
(ii) 処理(i)を行った画像において、溶融池の領域の輝度の正規化を行い、溶融池の表面に浮かぶスラグ起因の文様を得る。
(iii) 処理(i)により得られた溶融池の表面の文様に基づき、2枚の撮像画像でステレオ視を実行し、溶融池の3次元形状を求め、溶融池の3次元形状モデルとする。
(iv) 処理(iii)により得られた溶融池の3次元形状モデルを実空間での座標系に投影し、当該実空間での座標系における3次元形状モデルの形状変化又は体積変化を基に、溶接状況の異常を検知する。
本発明に係る溶接異常の検知装置は、溶接装置により溶接が施工されているワーク上に存在する溶融池をステレオ視で撮像可能とする2台の撮像カメラを有する撮像部と、前記撮像部により撮像された2枚の撮像画像を基に、上記した溶接異常の検知方法を実行することで、溶接部位の異常を検出する異常検出部と、を備えることを特徴とする。
なお、以下の説明では、同一の部品には同一の符号を付してある。それらの名称及び機能も同じである。したがって、それらについての詳細な説明は繰返さない。
図1は、本実施形態に係る溶接異常検知方法を行って溶接異常を自動的に検知する溶接異常検知装置1の概略を示す。
この溶接ロボット2には、制御装置4及びオフライン教示データ作成装置5などが接続されている。制御装置4は、溶接ロボット2の動作を、予め教示した教示プログラムに従って制御する。教示プログラムは、制御装置4に接続された教示ペンダント6や、オフライン教示データ作成装置5を使用して作成する場合がある。溶接ロボット2は、制御装置4内に格納された教示プログラムに基づいて、ワークWに対して溶接を行う。
撮像部10は、2台の撮像カメラ11,11から構成される。撮像カメラ11はCCD撮像素子やCMOS撮像素子を内蔵したカメラであり、撮像するためのレンズも備えている。このレンズには、減光フィルタや帯域フィルタ(赤外波長のみを通す干渉フィルタ)を取り付けることが好ましい。これらフィルタにより溶融池を撮影しやすくなり、撮像画像として、主に溶接ツール3の先端部、ワークW上に形成された溶融池、溶接後のビード部などを含む画像を得ることができる。図2(a)は、撮像画像の一例を示したものであり、図2(b)は、図2(a)の画像を模式的に示したものである。
2台の撮像カメラ11,11による撮像は外部トリガーにより同期しており、各撮像カメラ11で撮像された画像は、溶接ツール3の先端部の座標と共に画像処理部12へと送られる。
さらに、この画像処理部12は異常検出部13の機能を備えており、算出された溶融池の3次元形状を基にして溶接部位の異常を検出する。異常検出部13を含む画像処理部12はパソコン等で構成されている。
まず、図3のS1において、溶接異常検知装置1の2台の撮像カメラ11,11により、溶接中のワークW上に形成された溶融池を撮影する。
なお、撮影の際には、2台の撮像カメラ11,11に外部トリガーを入力することで、完全同期させる。これにより短時間で形状変化を起こす溶融池に対してもステレオ視が可能となる。
S3では、S1で取得した元画像からS2で得られたエッジ画像を除算することで、エッジ領域を取り除き、図5(c)のような画像を得る。この処理により、後述するラベリング処理時に溶融池とヒュームを分離することが可能となる。
すなわち、S3で得られた画像に対して、一定閾値以上の輝度を持つ領域に対してラベリング処理を施す。ラベリング処理で得られた各領域において、最大面積の領域(最大領域)のみを抽出する。最大領域は、アーク領域と溶融池領域が一体になったものとなっており、この段階では、溶融池に浮かぶスラグの領域が抽出されないことがあったとしても、後の処理(S5)を行うことで抽出可能となる。
包含処理は、例えば以下の条件が満たされたときに行うようにする。
・条件(i):包含対象の領域の外接矩形が、最大領域の外接矩形に包含される。
このS5の処理により、溶融池とアークの領域を全て抽出することができるようになる。
その後、S6にて、溶融池及びアーク領域を抽出のための領域(マスクパターン)を作成する(図5(e)参照)。すなわち、S5により得られた「最大領域」を、数ピクセル分膨張させて、マスクパターンを生成する(領域内の輝度値=255、領域外の輝度値=0)。このマスクパターンと元画像とで論理和をとることにより、図5(f)に示すような溶融池とアークのみが撮像された映像を取得することができる。なお、最大領域を膨張させる理由は、S3で除外されたエッジ領域を溶融池及びアーク領域に含ませるためである。
S8にて、図5(g)で示される溶融池領域の輝度値を正規化することで、溶融池のスラグ起因の文様を浮かび上がらせる(図5(h))。正規化の処理は、抽出した溶融池領域の輝度値最大値をMaxP、輝度値最小値をMinPとして、溶融池領域の輝度値Pixを式(1)でPix’に変換するとよい。
Pix’=(Pix−MinP)/(MaxP−MinP)×255 (1)
この処理により、溶融池領域の輝度値が0〜255に正規化され、溶融池の表面に存在するスラグ起因の文様(模様)がより明確に浮かび上がる。
すなわち、2台の撮像カメラ11,11で撮像された画像のそれぞれに対して、S1〜S8の処理を施し、得られた2枚の溶融池の画像(図5(h)のように処理された2枚の画像)に対し、ステレオ視を実行して溶融池の3次元モデルを取得する。
ステレオ視を行う際には、一方の画像上で任意に設定した計測対象点を、それに対応する他方の画像から探索する処理が必要となり、この処理は対応点探索と呼ばれる(図6参照)。
・処理(i):2枚の画像で別個抽出した特徴量間で対応をとる方法、
・条件(ii):1枚の画像で注目点を設定し、その周辺の領域と最も相関が高い領域をもう一枚の画像から探索する方法、
があり、そのどちらの方法を採用してもよい。
以上の処理を行った後、S10では、得られた溶融池の3次元形状をモデル化し、溶融池の3次元形状モデルをワークWの3次元モデルと共に実空間座標(溶接ロボット2の座標空間)に投影する(図8参照)。
まず、S11−1では、溶融池の3次元形状モデル及びワークWの3次元形状モデルに包含された領域を検出する。もし、ワークWの3次元形状モデルが存在しなければ、溶接ツール3の先端軌跡と溶融池の3次元形状モデルの両端を結んだ領域を検出する。この3次元の領域は凝固した時に溶接ビードになる部分なので、当該領域を溶融ビード領域と呼ぶ。
S11−3では、溶接ビードの体積変化が設定値以上か否かを判定し、所定値以上となり体積変化があると判断された場合(S11−3でNo)には、溶接異常が発生したとする。具体的には、溶融ビード領域の体積が縮小した場合には、抜け落ち(溶融金属の流出)が発生したと判断する。溶融ビード領域の体積が拡大した場合には、ブローホール(溶融池内で気泡)が発生したと判断する。
S11−4では、溶接ビード領域と溶接施工の設計値を付き合わせて比較する。すなわち、溶融ビード領域からビードの幅・高さ、脚長を導出して、溶接部の断面寸法の設計値と比較する。本実施形態の場合の比較方法として、ビード幅、ビード高さ、脚長を以下のように定義する(図8参照)。
・ビードの高さ:溶融池の3次元形状モデルの最も盛り上がった位置から開先位置までの距離。
・脚長:ビードの幅が最大になる部位における、溶融池の3次元形状モデルの縁と開先位置までの最短距離。
例えば、算出された脚長からオーバーラップ・アンダーカットが検出可能であり、設計値通りにビードが形成されていなければ溶接異常として検知する。異常検出の判断は、設計値から所定値閾値以上ずれているか否かによる。
S11−6において、溶接異常を検知した結果を出力し、オペレータに通知するようにする。
例えば、溶接装置が溶接ロボットである場合を例示して実施形態の説明を行ったが、これに限定はされない。
2 溶接ロボット
3 溶接ツール
4 制御装置
5 オフライン教示データ作成装置
6 教示ペンダント
10 撮像部
11 撮像カメラ
12 画像処理部
13 異常検出部
W ワーク
Claims (4)
- 溶接中のワーク上に存在する溶融池の状況をステレオ視で撮像し、前記ステレオ視で撮像された2枚の撮像画像に映り込んだ溶融池の表面の文様を基に、溶融池の3次元形状を算出し、算出された溶融池の3次元形状を基にして溶接部位の異常を検出するものであって、
2台の撮像カメラを同期させてワーク上の溶融池を撮像することとし、
前記2台の撮像カメラで撮影した撮像画像のそれぞれに対して、以下の処理を行って溶接部位の異常を検知することを特徴とする溶接異常検知方法。
(i) 撮像画像において、背景及びアーク放電の領域を除外することで、溶融池の領域のみを抽出する。
(ii) 処理(i)を行った画像において、溶融池の領域の輝度の正規化を行い、溶融池の表面に浮かぶスラグ起因の文様を得る。
(iii) 処理(i)により得られた溶融池の表面の文様に基づき、2枚の撮像画像でステレオ視を実行し、溶融池の3次元形状を求め、溶融池の3次元形状モデルとする。
(iv) 処理(iii)により得られた溶融池の3次元形状モデルを実空間での座標系に投影し、当該実空間での座標系における3次元形状モデルの形状変化又は体積変化を基に、溶接状況の異常を検知する。 - 前記処理(iv)を行うに際しては、ワークの3次元形状モデルを実空間での座標系に投影することを特徴とする請求項1に記載の溶接異常検知方法。
- 溶接装置により溶接が施工されているワーク上に存在する溶融池をステレオ視で撮像可能とする2台の撮像カメラを有する撮像部と、
前記撮像部により撮像された2枚の撮像画像を基に、請求項1又は2に記載された溶接異常の検知方法を実行することで、溶接部位の異常を検出する異常検出部と、
を備えることを特徴とする溶接異常検知装置。 - 前記溶接装置が溶接ロボットであることを特徴とする請求項3に記載の溶接異常検知装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011130129A JP5679912B2 (ja) | 2011-06-10 | 2011-06-10 | 溶接異常検知方法及び溶接異常検知装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011130129A JP5679912B2 (ja) | 2011-06-10 | 2011-06-10 | 溶接異常検知方法及び溶接異常検知装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012254477A JP2012254477A (ja) | 2012-12-27 |
JP5679912B2 true JP5679912B2 (ja) | 2015-03-04 |
Family
ID=47526559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011130129A Active JP5679912B2 (ja) | 2011-06-10 | 2011-06-10 | 溶接異常検知方法及び溶接異常検知装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5679912B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013106514B3 (de) * | 2013-06-21 | 2014-10-30 | Pilz Gmbh & Co. Kg | Vorrichtung und Verfahren zum Absichern einer automatisiert arbeitenden Maschine |
CN103949752B (zh) * | 2014-03-05 | 2018-02-02 | 北京航空航天大学 | 一种适用于超高频脉冲tig焊焊接温度场的实时观测装置 |
US20200391317A1 (en) * | 2018-02-26 | 2020-12-17 | Hitachi, Ltd. | Welding operation measurement system |
JP7236715B2 (ja) * | 2020-03-18 | 2023-03-10 | 浙江大学 | 材料の耐アブレーション性能を定量的に評価する方法およびその測定システム |
JP7477350B2 (ja) | 2020-04-10 | 2024-05-01 | 住友重機械工業株式会社 | 溶接観察装置および溶接システム |
CN114654047B (zh) * | 2022-05-12 | 2024-05-07 | 新疆大学 | 一种数控短电弧加工监测装置及其监测方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3463142B2 (ja) * | 1995-07-21 | 2003-11-05 | 住友金属プランテック株式会社 | 溶接装置 |
JP2003230959A (ja) * | 2002-02-06 | 2003-08-19 | Toshiba Corp | 遠隔操作型溶接ロボットシステム |
-
2011
- 2011-06-10 JP JP2011130129A patent/JP5679912B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012254477A (ja) | 2012-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5679912B2 (ja) | 溶接異常検知方法及び溶接異常検知装置 | |
JP6825109B2 (ja) | 三次元積層造形装置、三次元積層造形方法、及び、三次元積層造形物 | |
CN107175329B (zh) | 一种3d打印逐层检测反求零件模型及定位缺陷装置与方法 | |
KR102056076B1 (ko) | 용접비드 비전 검사 장치 및 용접 불량 검사방법 | |
JP2017106908A (ja) | 溶接部の自動インプロセス検査のためのシステム | |
CN106404795A (zh) | 一种基于红外信息的金属增材制造过程控制装置与方法 | |
JP5158406B2 (ja) | 溶接状況解析装置及び方法 | |
JP3322617B2 (ja) | 溶接中の溶接線倣い方法 | |
JP2017148841A (ja) | 溶接処理システム及び溶接不良検知方法 | |
JP5779152B2 (ja) | 溶接開先部の位置及び形状計測方法 | |
CN110238520B (zh) | 一种基于ccd视觉检测的自动精密激光焊接方法 | |
JP4324052B2 (ja) | レーザ溶接品質評価方法 | |
JP2007330987A (ja) | 溶接部可視化装置を用いた溶接状況解析装置及び方法 | |
JP2012223859A (ja) | 溶接ロボットシステム及び可搬式教示操作装置 | |
JP4240220B2 (ja) | レーザ溶接品質検査方法及び装置 | |
JP2009034731A (ja) | 溶接部可視化装置 | |
JP4186533B2 (ja) | 溶接位置自動倣い制御装置及び自動倣い溶接方法 | |
JPH08313217A (ja) | 非接触画像計測システム | |
JP2005334904A (ja) | 自動倣い溶接制御方法及び装置 | |
JP5348426B2 (ja) | 溶接品質検査方法及び装置 | |
JP2002205166A (ja) | 溶接状態表示装置 | |
JP4147390B2 (ja) | レーザ溶接品質検査方法及び装置 | |
WO2022065364A1 (ja) | 溶接計測システムおよび溶接計測方法 | |
Couto et al. | Weld Bead Width Measurement in a GMAW WAAM System by using Passive Vision | |
JPH09295146A (ja) | ウィービング溶接における溶接線倣い方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130902 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140603 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5679912 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |