JP7491876B2

JP7491876B2 - 溶接現象の挙動の計測方法、計測装置、溶接システム、およびプログラム

Info

Publication number: JP7491876B2
Application number: JP2021118757A
Authority: JP
Inventors: 敦史福永; 武小池
Original assignee: Kobe Steel Ltd
Current assignee: Kobe Steel Ltd
Priority date: 2021-07-19
Filing date: 2021-07-19
Publication date: 2024-05-28
Anticipated expiration: 2041-07-19
Also published as: CN117545583A; KR20240019361A; JP2023014675A; WO2023002753A1

Description

本発明は、溶接現象の挙動の計測方法、計測装置、溶接システム、およびプログラムに関する。

ガスメタルアーク溶接（以降、ＧＭＡＷとも称する）は、溶接中において起こる様々な溶接現象の挙動（以降、溶接挙動と称する）が発生する。溶接挙動の中には、例えばスパッタやヒュームのように、溶接品質に害を与えるものもあり、従来、リアルタイムでの溶接良否判定やトレーサビリティ等を目的として、これらの溶接挙動を計測する方法が求められてきた。

従来の計測方法として、特許文献１では、画像処理の手段を用いて、スパッタの発生量及びその挙動を正確に測定することを課題としたスパッタの認識方法及びスパッタ認識装置が開示されている。具体的には、アーク溶接中にアーク発生位置及びその周囲を複数のフレーム画像に撮像し、各フレーム画像に２値化又は多値化処理を施して１又は複数の高輝度の孤立領域を抽出し、抽出された各孤立領域の位置情報を検出する。更に、検出された各孤立領域の位置情報に基づいて連続するフレーム画像間における孤立領域の連続性の有無を判断し、連続性ありと判断される一連の孤立領域群をアーク溶接に伴い発生した１のスパッタとして認識している。

また、特許文献２では、コストを抑えつつ、簡便な方法でスパッタ数を計数することを課題とし、撮影装置を備える持ち運び可能な端末装置が行うスパッタ計数方法が開示されている。具体的には、溶接時においてスパッタを撮影可能な領域を動画像で撮影し、撮影された動画像を構成する静止画像毎に、静止画像に撮影されているスパッタの数をカウントするスパッタ計数方法について開示されている。

特開２００８－１２６２７４号公報特開２０１９－１８８４２１号公報

しかしながら、溶接時に計測を要する挙動はスパッタだけではなく、例えば、ヒュームや溶融池の形状等が挙げられる。特許文献１および特許文献２では溶接現象の挙動として、スパッタの計測は可能ではあるが、他の溶接挙動を複数同時に計測することは考慮されていない。言い換えると、特許文献１や特許文献２は、スパッタ計測に特化された方法である。

本願発明では、視覚センサで撮影した撮影画像に基づいて、溶接現象の複数の挙動を計測することを可能とする計測方法、およびその装置、システム、プログラム、およびこれらを用いた溶接方法、付加製造方法を提供することを目的とする。

上記課題を解決するために本願発明は以下の構成を有する。すなわち、溶接現象の挙動の計測方法であって、
視覚センサによって撮影された溶接画像に対し、着目する溶接現象の挙動に応じた画像処理を行う画像処理工程と、
前記画像処理工程にて生成された処理画像を用いて、前記溶接現象に対応する構成要素ごとの複数の分割画像を生成する画像分割工程と、
前記複数の分割画像のうちの少なくとも二つの分割画像を用いて、前記溶接現象の挙動を導出する導出工程と、
を有する。

また、本願発明の別の形態として以下の構成を有する。すなわち、溶接システムであって、
溶接装置と、
前記溶接装置による溶接動作を撮影する視覚センサと、
前記視覚センサによって撮影された溶接画像を用いて、溶接現象の挙動を計測する計測装置と、
を有し、
前記計測装置は、
前記溶接画像に対し、着目する溶接現象の挙動に応じた画像処理を行う画像処理手段と、
前記画像処理手段にて生成された処理画像を用いて、前記溶接現象に対応する構成要素ごとの複数の分割画像を生成する画像分割手段と、
前記複数の分割画像のうちの少なくとも二つの分割画像を用いて、前記溶接現象の挙動を導出する導出手段と、
を有する。

また、本願発明の別の形態として以下の構成を有する。すなわち、溶接現象の挙動の計測装置であって、
視覚センサによって撮影された溶接画像に対し、着目する溶接現象の挙動に応じた画像処理を行う画像処理手段と、
前記画像処理手段にて生成された処理画像を用いて、前記溶接現象に対応する構成要素ごとの複数の分割画像を生成する画像分割手段と、
前記複数の分割画像のうちの少なくとも二つの分割画像を用いて、前記溶接現象の挙動を導出する導出手段と、
を有する。

また、本願発明の別の形態として以下の構成を有する。すなわち、溶着現象の挙動の計測方法であって、
視覚センサによって撮影された溶着画像に対し、着目する溶着現象の挙動に応じた画像処理を行う画像処理工程と、
前記画像処理工程にて生成された処理画像を用いて、前記溶着現象に対応する構成要素ごとの複数の分割画像を生成する画像分割工程と、
前記複数の分割画像のうちの少なくとも二つの分割画像を用いて、前記溶着現象の挙動を導出する導出工程と、
を有する。

また、本願発明の別の形態として以下の構成を有する。すなわち、プログラムであって、
コンピュータに、
視覚センサによって撮影された溶接画像に対し、着目する溶接現象の挙動に応じた画像処理を行う画像処理工程と、
前記画像処理工程にて生成された処理画像を用いて、前記溶接現象に対応する構成要素ごとの複数の分割画像を生成する画像分割工程と、
前記複数の分割画像のうちの少なくとも二つの分割画像を用いて、前記溶接現象の挙動を導出する導出工程と、
を実行させる。

本発明によれば、視覚センサで撮影した撮影画像に基づいて、溶接現象の複数の挙動を計測することが可能となる。

本願発明の一実施形態に係る溶接システムの構成例を示す概略図。本願発明の一実施形態に係るロボット制御装置の構成例を示す概略図。本願発明の一実施形態に係るデータ処理装置の機構構成の例を示す概略図。本願発明の一実施形態に係る処理の流れを示すフローチャート。本願発明の一実施形態に係る各色成分画像の生成を説明するための説明図。本願発明の一実施形態に係る要素分類の処理を示すフローチャート。画像内に障害物が含まれる場合を説明するための説明図。本願発明の一実施形態に係る画像の変遷を説明するための説明図。本願発明の一実施形態に係る画像の変遷を説明するための説明図。

以下、本願発明を実施するための形態について図面などを参照して説明する。なお、以下に説明する実施形態は、本願発明を説明するための一実施形態であり、本願発明を限定して解釈されることを意図するものではなく、また、各実施形態で説明されている全ての構成が本願発明の課題を解決するために必須の構成であるとは限らない。また、各図面において、同じ構成要素については、同じ参照番号を付すことにより対応関係を示す。

また、本願発明に係る溶接挙動を計測する方法は溶接だけでなく、ＧＭＡＷを活用した付加製造技術、具体的には、金属積層造型技術（ＷＡＡＭ：ＷｉｒｅａｎｄＡｒｃＡｄｄｉｔｉｖｅＭａｎｕｆａｃｔｕｒｉｎｇ）においても有用である。なお、付加製造という用語は、広義では積層造形またはラピットプロトタイピングの用語で用いられることがあるが、本願発明においては、統一して付加製造の用語を用いる。本願発明に係る手法を付加製造技術に活用する場合は、「溶接」を「溶着」、「付加製造」または「積層造形」等に言い換えられる。例えば、溶接として扱う場合は「溶接挙動」となるが、付加製造として本願発明を活用する場合は、「溶着挙動」と言い換えたり、溶接として扱う場合は「溶接システム」となるが、付加製造として本願発明を活用する場合は、「付加製造システム」と言い換えたりすることができる。

＜第１の実施形態＞
以下、本願発明に係る一実施形態について図面を参照しつつ説明する。

［溶接システムの構成］
図１は、本実施形態に係る溶接システム１の構成例を示す。図１に示す溶接システム１は、溶接ロボット１０、ロボット制御装置２０、電源装置３０、視覚センサ４０、およびデータ処理装置５０を含んで構成される。なお、本願発明に係る手法を付加製造に適用して用いる場合は、例えば、溶接システム１を付加製造システム、溶接ロボット１０を付加製造用ロボットと読み替えてもよい。

図１に示す溶接ロボット１０は、６軸の多関節ロボットにより構成され、その先端部にはＧＭＡＷ用の溶接トーチ１１が取り付けられている。なお、ＧＭＡＷには、例えばＭＩＧ（ＭｅｔａｌＩｎｅｒｔＧａｓ）溶接やＭＡＧ（ＭｅｔａｌＡｃｔｉｖｅＧａｓ）溶接があり、本実施形態ではＭＡＧ溶接を例に挙げて説明する。また、溶接ロボット１０は６軸の多関節ロボットに限られたものではなく、例えば可搬型の小型ロボットを採用してもよい。

溶接トーチ１１には、ワイヤ送給装置１２から溶接ワイヤ１３が供給される。溶接ワイヤ１３は、溶接トーチ１１の先端から溶接個所に向けて送り出される。電源装置３０は、溶接ワイヤ１３に電力を供給する。この電力により、溶接ワイヤ１３とワークＷとの間にはアーク電圧が印加され、アークが発生する。電源装置３０には、溶接中の溶接ワイヤ１３からワークＷに流れる溶接電流を検出する不図示の電流センサ、および溶接ワイヤ１３とワークＷとの間のアーク電圧を検出する不図示の電圧センサが設けられている。

電源装置３０は、不図示の処理部と記憶部を有する。処理部は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）により構成される。また、記憶部は、例えば、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）やＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の揮発性や不揮発性のメモリにより構成される。処理部が、記憶部に記憶された電源制御用のコンピュータプログラムを実行することにより、溶接ワイヤ１３に印加する電力を制御する。電源装置３０は、ワイヤ送給装置１２にも接続され、処理部が溶接ワイヤ１３の送給速度や送給量を制御する。

溶接ワイヤ１３の組成や種類は、溶接対象に応じて使い分けられる。なお、本実施形態に係る溶接挙動は、上述したスパッタ、ヒュームに加え、アーク偏向、アーク圧、溶融池上の酸化物被覆量、溶滴移行形態、溶滴離脱周期、短絡回数、ピット等の溶接欠陥の発生等が挙げられる。

視覚センサ４０は、例えば、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）カメラにより構成される。視覚センサ４０の配置位置は特に問わず、溶接ロボット１０に直接取り付けてもよいし、また、監視カメラとして、周辺の特定の場所に固定されてもよい。溶接ロボット１０に視覚センサ４０を直接取り付けた場合には、視覚センサ４０は、溶接ロボット１０の動作に併せて、溶接トーチ１１の先端周辺を撮影するように移動する。視覚センサ４０を構成するカメラの台数は複数でもよい。

また、視覚センサ４０により撮影する方向も特に問わず、例えば、溶接が進行する方向を前方とした場合に、前方側を撮影するように配置してもよいし、側面側、後方側を撮影するように配置してもよい。したがって、視覚センサ４０による撮影範囲は、計測対象の溶接挙動によって、適宜決定すればよい。なお、スパッタ、ヒュームを対象とする場合は、溶接トーチ１１の干渉を抑制するために、前方側から撮影することが好ましい。

本実施形態においては、特定の場所に固定した視覚センサ４０を用い、少なくとも、ワークＷ、溶接ワイヤ１３、およびアークが含まれる撮像範囲となるように、溶接画像として動画像を撮像する。なお、溶接画像に係る各種撮影設定は、予め規定されていてもよいし、溶接システム１の動作条件に応じて切り替えられてもよい。撮影設定としては、例えば、フレームレート、画像のピクセル数、解像度、シャッタースピードなどが挙げられる。

溶接システム１を構成する各部位は、有線／無線の各種通信方式により、通信可能に接続される。ここでの通信方式は、１つに限定するものではなく、複数の通信方式を組み合わせて接続されてよい。

［ロボット制御装置の構成］
図２は、溶接ロボット１０の動作を制御するロボット制御装置２０の構成例を示す。ロボット制御装置２０は、装置全体を制御するＣＰＵ２０１、データを記憶するメモリ２０２、複数のスイッチを含む操作パネル２０３、教示作業で使用する教示ペンダント２０４、ロボット接続部２０５、および通信部２０６を含んで構成される。メモリ２０２は、例えば、ＲＯＭ、ＲＡＭ、ＨＤＤなどの揮発性や不揮発性の記憶装置により構成される。メモリ２０２には、溶接ロボット１０の制御に用いられる制御プログラム２０２Ａが記憶される。ＣＰＵ２０１は、制御プログラム２０２Ａを実行することにより、溶接ロボット１０による各種動作を制御する。

ロボット制御装置２０に対する指示の入力には、主に教示ペンダント２０４が用いられる。教示ペンダント２０４は、通信部２０６を介して、ロボット制御装置２０本体に接続される。オペレータは、教示ペンダント２０４を使用して、教示プログラムを入力することができる。ロボット制御装置２０は、教示ペンダント２０４から入力された教示プログラムに従って溶接ロボット１０の溶接動作を制御する。なお、教示プログラムは、例えば不図示のコンピュータを用いて、ＣＡＤ（Ｃｏｍｐｕｔｅｒ－ＡｉｄｅｄＤｅｓｉｇｎ）情報等に基づいて自動的に作成することも可能である。教示プログラムにて定義される動作内容は、特に限定するものではなく、溶接ロボット１０の仕様や溶接方式に応じて異なっていてよい。

ロボット接続部２０５には、溶接ロボット１０の駆動回路が接続されている。ＣＰＵ２０１は、制御プログラム２０２Ａに基づく制御信号を、ロボット接続部２０５を介して溶接ロボット１０が備える不図示の駆動回路に出力する。

通信部２０６は、有線又は無線通信用の通信モジュールである。通信部２０６は、電源装置３０やデータ処理装置５０とのデータ通信に使用される。通信部２０６にて用いられる通信の方式や規格は特に限定するものではなく、複数の方式が組み合わされてもよい。電源装置３０からは、例えば不図示の電流センサによって検出された溶接電流の電流値や、不図示の電圧センサによって検出されたアーク電圧の電圧値が通信部２０６を介してＣＰＵ２０１に与えられる。

ロボット制御装置２０は、溶接ロボット１０の各軸の制御により、溶接トーチ１１の移動速度や突出し方向も制御する。また、ロボット制御装置２０は、設定された周期、振幅、溶接速度に応じて、溶接ロボット１０のウィービング動作も制御する。ウィービング動作とは、溶接の進行方向に対して交差する方向に溶接トーチ１１を交互に揺動させることをいう。ロボット制御装置２０は、ウィービング動作と共に、溶接線倣い制御を実行する。溶接線倣い制御とは、溶接線に沿ってビードが形成されるように、溶接トーチ１１の進行方向に対して左右の位置を制御する動作である。また、ロボット制御装置２０は、電源装置３０を介してワイヤ送給装置１２を制御することで、溶接ワイヤ１３の送給速度なども制御する。

［データ処理装置の構成］
図３は、データ処理装置５０の機能構成の例を説明するための図である。データ処理装置５０は、例えば、不図示のＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク装置、入出力インタフェース、通信インタフェース、映像出力インタフェース等により構成される。データ処理装置５０は、上記の各構成部位が連携することにより、記憶部５０１、画像処理部５０２、画像分割部５０３、算出部５０４、および表示部５０５を実現する。また、視覚センサ４０が固定の監視カメラである場合には、データ処理装置５０は、視覚センサ制御部５０６を更に備える。なお、画像処理部５０２、画像分割部５０３、算出部５０４、表示部５０５で行われる一連の工程は、データ処理装置５０に上にインストールされたソフトウェアによってなされてもよい。

記憶部５０１は、視覚センサ４０で撮像した画像データを記録、管理し、各処理部からの要求に応じて画像データを提供する。ここでいう画像データは、静止画像データでもよいし、静止画像データを任意のフレームレートにおいて連続して撮像した動画像のデータでもよい。ここでいうフレームレートとは、例えば１秒間などの所定時間間隔において視覚センサ４０で撮像する静止画像データの枚数を示す。好ましくは、１～１０ＦＰＳ（ＦｒａｍｅｓＰｅｒＳｅｃｏｎｄ）の範囲で決めるとよい。なお、リアルタイムでの溶接挙動の計測やトレーサビリティとして活用する場合においては、動画像として記録してくことが好ましい。

画像処理部５０２は、記憶部５０１に記憶された画像データを用いて、本実施形態に係る計測のための前処理を行う。前処理としては、例えば、コントラスト補正、明るさ補正、色補正、二値化等のモノクロ画像変換、ノイズ除去、エッジ強調、収縮・膨張、画像特徴抽出等が挙げられる。本実施形態に係る画像処理の具体例については後述する。

画像分割部５０３は、画像処理部５０２において各種の画像処理を適用した処理画像データに基づいて、予め定めた構成要素ごとに複数の画像に分割した分割画像を作成する。なお、予め定めた構成要素とは、溶接挙動としてのスパッタ、ヒューム、アーク光や、溶接システム１の構成物である溶接ワイヤ１３やノズル、母材、溶融池、障害物、それ以外の背景などが挙げられる。ここでは、スパッタ、ヒューム、アーク光に特に着目して説明を行う。なお、画像処理部５０２にて行われる処理は、画像分割部５０３の分割画像を生成するための前処理に限定するものではない。必要に応じて、分割画像に対して画像処理部５０２が処理を行ってもよい。

算出部５０４は、分割画像や処理画像データに基づいて、溶接挙動としてのスパッタ、ヒューム、アーク光を定量的に計測するための各種指標値を算出する。ここでの算出は、例えば、時系列順に行われることが好ましい。ここでいう時系列とは、例えば、経過時間、教示プログラム順、動画像を構成する連続した静止画像データ順などが挙げられる。

表示部５０５は、算出部５０４による算出結果に基づいて構成される画面を表示する。また、表示部５０５は、電流センサ４１や電圧センサ４２にて検出された値や、ロボット制御装置２０から取得した各種情報を画面上にて表示させる。算出部５０４により時系列に沿って算出された結果は、例えば、溶接電流、アーク電圧等のデータと時系列を同期させて表示させることが好ましい。

視覚センサ制御部５０６は、視覚センサ４０の撮影動作を制御する。例えば、視覚センサ４０が溶接ロボット１０以外への設置型である場合には、視覚センサ４０として少なくともＰＴＺ機能を有するカメラを採用することが好ましく、そのパン（Ｐａｎ）、チルト（Ｔｉｌｔ）、ズーム（Ｚｏｏｍ）などを溶接ロボット１０の動作に併せて制御してよい。また、視覚センサ制御部５０６は、ロボット制御装置２０から溶接ロボットの１０の動作に関する情報を取得し、その情報に基づいて視覚センサ４０の動作を制御してよい。

［計測方法］
図４は、画像データから複数の溶接挙動を計測する際の一連の流れを説明するための図である。図４では、溶接挙動の一例であるスパッタ、ヒューム、およびアーク光を計測する一連の処理を示しているが、これらすべてを計測する必要は無く、その一部を計測するような構成であってもよい。また、図４では、例えば、１の溶接挙動に対して、複数の指標値を算出しているが、必ずしもすべての指標値を算出する必要はなく、１の溶接挙動に対して１の指標値を算出するように切り替えてもよい。なお、本実施形態は、トレーサビリティを目的として、溶接終了後の動画像データを処理した例であるが、処理は溶接終了後に限らず、溶接動作と並行して、即ちリアルタイムで以下に示す処理を行ってもよい。

図４の処理フローは、溶接動作と並行して、または、溶接時に撮影された画像を用いて、溶接挙動を測定する際に、データ処理装置５０の処理部が、記憶部に記憶されたプログラムを読み込んで実行することで、図３に示した各部位を機能させることで実現されてよい。

Ｓ４０１にて、データ処理装置５０は、処理対象となる動画像データを取得する。ここでは、フレームレート、シャッタースピード等の撮像条件を視覚センサ４０に設定し、視覚センサ４０により撮影対象となる溶接位置の範囲が動画像データとして撮像される。撮像条件は、作業者が任意の値に設定してもよいし、予め規定された固定値が用いられてもよい。撮影した動画像データは、データ処理装置５０の記憶部５０１に直接格納してもよいし、視覚センサ４０自体にメモリがある場合は、視覚センサ４０のメモリに一旦格納した後に、記憶部５０１へ動画像データを移行させてもよい。なお、以降の処理は、動画像データに含まれる複数の静止画像データそれぞれに対して処理が行われる。

Ｓ４０２にて、データ処理装置５０は、取得した動画像データに対して、色成分分解処理を行う。本実施形態に係る動画像データは、例えば、各画素がＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの色成分を示すＲＧＢ信号から構成される色画像により構成される。ＲＧＢ信号は例えば、各色成分を８ｂｉｔとし、１画素あたり計２４ｂｉｔにて示される。この場合、各色成分に対応する信号値は０～２５５の値をとる。ここでの色成分分解処理では、各色成分に着目し、ＲＧＢ毎の色成分に分けた動画像データが作成される。言い換えれば、１の動画像データから、Ｒの色成分のみの動画像データ、Ｇの色成分のみの動画像データ、およびＢの色成分のみの動画像データに分割して生成する。より具体的には、Ｒの色成分のみの動画像データを生成する場合、動画像データのＧおよびＢの信号値を０に変換することで、色成分分解処理が行われる。

図５は、動画像データからＲＧＢそれぞれの色成分のみの動画像データの生成を説明するための図である。図５に示すように、動画像データに含まれるある１の静止画像データから生成される３つの色成分のみの静止画像データは、それぞれ異なる表現となり、同じ溶接挙動が生じた場合であっても異なる特徴が捉えられる。以下、Ｒの色成分のみの静止画像データ、Ｇの色成分のみの静止画像データ、Ｂの色成分のみの静止画像データをそれぞれ「赤色成分画像」、「緑色成分画像」、「青色成分画像」と称して説明する。

本願発明者は、実験や検証等の結果、青色成分画像は、熱エネルギー光に対し、明確に確認できることを見出した。熱エネルギー光は、アーク光またはヒュームに関連する事象である。つまり、青色成分画像を用いることで、熱エネルギー光における濃淡が淡い光を抽出でき、この淡い光に基づいて、これまでは抽出が困難であった周囲に拡散するヒュームを算出することを可能にする。

また、本願発明者は、実験や検証等の結果、赤色成分画像は、金属、スラグ等の高温発光において、明確に確認できることを見出した。つまり、赤色成分画像を用いることで、それに含まれる高温発光に基づいて、スパッタや溶融池、もしくは粒子密度が高いヒュームをとらえることが可能となる。以下、画像上において粒子密度の高いヒュームを「濃いヒューム」、粒子密度の低いヒュームを「薄いヒューム」とも記載する。なお、ここでの濃淡は相対的なものであり、その濃度値が限定されるものではない。

各ＲＧＢ成分に分解する処理を行うことで、種々の溶接挙動の特徴抽出が容易となる。なお、本実施形態では、赤色成分画像および青色成分画像を用いて溶接挙動を計測する例について説明する。しかし、これに限定するものではなく、緑色成分画像を更に用いて、溶接挙動を計測してもよい。例えば、後述する構成要素の領域特定などにおいて、緑色成分画像を用いてもよい。

なお、本実施の形態では、ＲＧＢの色空間を例に挙げて説明しているが、これに限定するものではない。例えば、Ｒ、Ｇ、Ｂの各パラメータに対応して変換可能な他の色空間を用いてもよい。より具体的には、利用可能な色空間として、ＲＧＢＡ、ＹＣｂＣｒ、ＹＵＶなどが挙げられる。

まず、青色成分画像を用いた薄いヒュームを測定するための指標値の算出について説明する。Ｓ４０３にて、データ処理装置５０は、画像処理部５０２により、青色成分画像に対して背景減算処理を適用する。背景減算処理の手法は特に限定するものでは無いが、例えば、公知のＲｏｌｌｉｎｇＢａｌｌアルゴリズムを用いてノイズを除去することで背景減算を行ってもよい。そのほか、所定のフィルタを用いたフィルタリング処理により背景減算処理を行ってもよい。本工程の処理により、スバイク状の信号を除去して、滑らかに変動する画素値を取得することができる。本実施形態では、この滑らかに変動する画素値が薄いヒュームに由来するものであるとして扱う。

Ｓ４０４にて、データ処理装置５０は、算出部５０４により、Ｓ４０３にて背景減算処理が行われた青色成分画像において、輝度の合計値を薄いヒュームの指標値として算出する。ここでは、青色成分画像全体にて示される輝度ヒストグラムにおいて、各輝度値に基づいて重みづけを行った合計値を指標値として算出してよい。

次に、赤色成分画像を用いたアーク光および濃いヒュームを測定するための指標値について説明する。Ｓ４０５にて、データ処理装置５０は、画像処理部５０２により、赤色成分画像に対して背景減算処理を適用する。背景除去処理の手法は特に限定するものでは無いが、例えば、Ｓ４０３の処理と同様、公知のＲｏｌｌｉｎｇＢａｌｌアルゴリズムを用いてノイズを除去することで背景減算を行ってもよい。そのほか、所定のフィルタを用いたフィルタリング処理により背景減算処理を行ってもよい。本工程の処理により、スバイク状の信号を除去して、滑らかに変動する画素値を取得することができる。

Ｓ４０６にて、データ処理装置５０は、算出部５０４によりＳ４０５にて背景減算処理が行われた赤色成分画像において、輝度の合計値をアーク光の指標値として算出する。ここでは、赤色成分画像全体にて示される輝度ヒストグラムにおいて、各輝度値に基づいて重みづけを行った合計値を指標値として算出してよい。

Ｓ４０７にて、データ処理装置５０は、画像処理部５０２により、Ｓ４０２にて生成された赤色成分画像の各画素の輝度値から、Ｓ４０５にて生成された背景減算処理後の赤色成分画像の輝度値を除外する。本工程により、赤色成分画像において、滑らかに変動する画素値を除外することができる。

Ｓ４０８にて、データ処理装置５０は、画像処理部５０２により、Ｓ４０７の処理後の赤色成分画像に対して二値化処理を行い、二値化画像を生成する。ここでの二値化処理の方法は特に限定するものでは無く、公知の方法を用いてよい。また、二値化処理の際の閾値の設定についても特に限定するものではなく、例えば、画素値がとり得る値の中央値を閾値としてもよい。

Ｓ４０９にて、データ処理装置５０は、画像処理部５０２により、Ｓ４０８にて生成された二値化画像を用いて当該画像に含まれる各領域のラベリング処理を行う。二値化画像には、１以上の画素にて構成される複数の領域が含まれており、各領域の抽出を行う。本実施形態では、二値化画像において、画素値が「１」である画素からなる各領域を、溶接挙動により生じる構成要素のいずれかに対応する領域としてラベリングする。ラベリング処理の方法は特に限定するものでは無く、公知の手法が用いられてよい。また、領域のサイズの下限も特に限定するものではなく、例えば、最小の領域は、１画素からなる領域としてよい。なお、画素値が「０」である画素からなる領域が溶接挙動により生じる構成要素に対応する場合、そちらをラベリングしてよい。

Ｓ４１０にて、データ処理装置５０は、画像分割部５０３により、Ｓ４０９にてラベリングした画像内の各領域に対して要素分類処理を行う。本工程の詳細について、図６を用いて説明する。本工程は、処理対象となる複数の赤色成分画像それぞれを用いて行われたラベリング処理の結果に基づいて、都度行われる。

Ｓ６０１にて、画像分割部５０３は、二値化画像に含まれる１または複数のラベリングされた領域のうち、未処理の領域に着目する。このとき、着目する順序は特に限定するものでは無いが、例えば、領域のサイズに基づき降順にソートし、サイズが大きいものから順に着目してもよい。

Ｓ６０２にて、画像分割部５０３は、着目領域を構成する画素数が第１の閾値以下か否かを判定する。ここでの第１の閾値は、３００画素として説明する。なお、第１の閾値は、赤色成分画像の全体サイズに応じて規定されてもよいし、溶接状況に応じて変化させてもよい。例えば、視覚センサ４０が固定位置の監視カメラであった場合、溶接位置が変わる、即ち、視覚センサ４０の位置と溶接位置の距離、または撮影方向や撮影角度が変わるため、撮影対象の大きさが変化する。よって、予め、距離、方向と対象物の大きさの関係を設け、この関係に基づいて、第１の閾値を変化させてもよい。一方、視覚センサ４０の位置と溶接位置の距離が変化しても、撮影対象の大きさを一定、即ち、第１の閾値を一定としてもよいように、カメラ側の倍率を変えてもよい。着目領域の画素数が第１の閾値以下である場合、即ち、Ｓ６０２にてＹＥＳの場合、画像分割部５０３の処理は、Ｓ６０３へ進む。一方、着目領域の画素数が第１の閾値より小さい場合、即ち、Ｓ６０２にてＮＯの場合、画像分割部５０３の処理は、Ｓ６０３へ進む。

Ｓ６０３にて、画像分割部５０３は、着目領域は画像の中央に位置し、かつ、ラベリングされた領域のうち、最大のサイズであるか否かを判定する。つまり、通常の溶接挙動を撮影した画像においては、中央にアーク光が位置し、アーク光の領域は画像内において最大の領域となる。一方、撮影時に障害物等が映り込んだ結果、アーク光が中央にない場合がある。そのような場合には、着目領域はノイズとして扱う。図７は、画像上に障害物が映り込んだ例を示している。このような場合には、アーク光が画像の中央に位置しない画像となる。なお、ここでの中央とは、予め範囲が設定されていてよく、画像サイズや溶接挙動などに応じて変化してよい。また、本工程の判定にて用いられる最大のサイズとは、画像内の複数の領域間の相対的なサイズとなるため、画像によって異なる。着目領域が上記条件を満たす場合、即ち、Ｓ６０３にてＹＥＳの場合に、画像分割部５０３の処理はＳ６０５へ進む。一方、着目領域が上記条件を満たさない場合、即ち、Ｓ６０３にてＮＯの場合に、画像分割部５０３の処理はＳ６０６へ進む。

Ｓ６０４にて、画像分割部５０３は、着目領域のサイズが第２の閾値以上か否かを判定する。第２の閾値は、着目領域を包含する最小の矩形領域を規定し、その矩形領域の画素数に対する着目領域の画素数の割合として設定される。したがって、矩形領域のサイズは、各着目領域のサイズに応じて変化する。ここでの第２の閾値は、１５％として説明する。つまり、本工程での判定は、以下の条件を満たすか否かが判定される。
第２の閾値≦（着目領域のサイズ）／（着目領域を包含する矩形領域のサイズ）
着目領域のサイズが第２の閾値以上である場合、即ち、Ｓ６０４にてＹＥＳの場合、画像分割部５０３の処理はＳ６０７へ進む。一方、着目領域のサイズが第２の閾値より小さい場合、即ち、Ｓ６０４にてＮＯの場合、画像分割部５０３の処理はＳ６０８へ進む。

Ｓ６０５にて、画像分割部５０３は、着目領域をアーク光の領域として分類する。そして、画像分割部５０３の処理はＳ６０９へ進む。

Ｓ６０６にて、画像分割部５０３は、着目領域をノイズの領域として分類する。そして、画像分割部５０３の処理はＳ６０９へ進む。

Ｓ６０７にて、画像分割部５０３は、着目領域をスパッタの領域として分類する。そして、画像分割部５０３の処理はＳ６０９へ進む。

Ｓ６０８にて、画像分割部５０３は、着目領域を濃いヒュームの領域として分類する。そして、画像分割部５０３の処理はＳ６０９へ進む。

Ｓ６０９にて、画像分割部５０３は、未処理の領域があるか否かを判定する。未処理の領域がある場合、即ち、Ｓ６０９にてＹＥＳの場合、画像分割部５０３の処理はＳ６０１へ戻り、処理を繰り返す。一方、未処理の領域が無い場合は、即ち、Ｓ６０９にてＮＯの場合、本処理フローを終了し、図４のＳ４１１へ進む。

図４に戻り、アーク光の指標値を算出する動作について説明する。Ｓ４１１にて、データ処理装置５０は、図６を用いて説明した要素分類処理により、アーク光として分類された領域から構成される二値化画像を生成する。この二値化画像は、Ｓ４０９にてラベリングされた二値化画像から、アーク光として分類された領域を抽出することで生成されてよい。このときの二値化画像には、フレアに対応する構成要素が含まれる。フレアとは、視覚センサ４０を構成するレンズやカメラの中で反射することで発生する光である。そこで、データ処理装置５０は、画像分割部５０３により、フレアの構成要素を除去するために、生成した二値化画像に対して収縮・拡張処理を行う。収縮・拡張処理は、公知の手法を用いてよい。フレアの構成要素を適切に除去するために、複数回の収縮処理および膨張処理を行ってよく、また、その処理順序は特に限定されるものではない。

Ｓ４１２にて、データ処理装置５０は、算出部５０４により、Ｓ４１１にて処理された二値化画像を用いてアーク光の指標値を算出する。算出部５０４は、二値化画像に含まれるアーク光の領域の画素数をカウントし、その値を指標値として用いる。

なお、Ｓ４０６の処理では輝度値に基づくアーク光の指標値を算出し、Ｓ４１２の処理では画素数に基づくアーク光の指標値を算出している。これらは、別個の指標値として扱ってもよいし、上記の２つの指標値からアーク光全体の１つの指標値を導出してもよい。また、アーク光の指標値として更に、アーク幅、アーク長、アーク偏向の方向などを、アーク光の領域における面積、重心、主軸角度などに基づいて算出してもよい。

続いて、スパッタの指標値を算出する動作について説明する。Ｓ４１３にて、データ処理装置５０は、画像処理部５０２により、Ｓ４０７の処理後の赤色成分画像を用いて、図６の要素分類処理にてスパッタとして分類された領域から構成される赤色成分画像を生成する。

Ｓ４１４にて、データ処理装置５０は、算出部５０４により、Ｓ４１３にて生成した赤色成分画像を用いてスパッタの指標値を算出する。まず、算出部５０４は、赤色成分画像に含まれる各スパッタの領域のうち、所定の閾値以上の面積、すなわち、所定の閾値以上の画素数を有する領域を除去する。これは、１つ１つのスパッタは所定のサイズよりも小さいものであると仮定し、その領域を背景であるとみなして除去する。ここでの閾値は特に限定するものではないが、予め規定されているものとする。次に、算出部５０４は、残ったスパッタの領域を特定し、その画素の数や、特定した画素にて構成される領域の数を、スパッタの指標値として算出する。このとき、画素数をカウントする際には、Ｒの値が所定の閾値以上の画素のみをカウントしてもよい。

なお、ここでの評価値の算出の際には、発生したスパッタの実測量と、本実施形態による画像からの算出値との対応関係を、関係式やテーブルなどで予め定義しておき、それらを用いて指標値を導出してもよい。この場合、関係式やテーブルを用いて、画像からの算出値を単位時間当たりの重量を示すスパッタ量に変換してよい。

続いて、濃いヒュームの指標値を算出する動作について説明する。Ｓ４１５にて、データ処理装置５０は、画像処理部５０２により、Ｓ４０７にて生成した画像からＳ４１３にて生成されたスパッタの領域の値を減算することで、スパッタを除去した画像を生成する。

Ｓ４１６にて、データ処理装置５０は、画像処理部５０２により、Ｓ４１５にて生成された画像に対してガンマ補正を行う。ガンマ補正にて輝度値を変換することにより、画像内における微小な輝度値の領域を除外する。除外対象となる領域に対する閾値は、特に限定するものでは無く、ここでは予め規定されているものとする。また、ガンマ補正は、公知の方法を用いてよく、例えば、ガンマカーブの構成は特に限定するものではない。

Ｓ４１７にて、データ処理装置５０は、画像処理部５０２により、Ｓ４１６にて処理された画像に対してフィルタリング処理を行う。フィルタリング処理により、画像中のエッジを検出し、輝度値の勾配が急な部分を強調させる。ここでのフィルタリング処理では、例えば、Ｌａｐｌａｃｉａｎフィルタを用いることができるが、他のフィルタを用いてもよい。

Ｓ４１８にて、データ処理装置５０は、画像処理部５０２により、Ｓ４１７にてフィルタ処理が適用された画像に対して、輝度の勾配に基づいた領域分割を行う。ここでの領域分割処理は、例えば、Ｗａｔｅｒｓｈｅｄアルゴリズムを用いて行う。Ｗａｔｅｒｓｈｅｄアルゴリズムにより、輝度の大小、すなわち、濃淡の勾配が激しい部分をより細かく分割し、強調することが可能である。なお、用いる領域分割手法は特に限定するものではなく、他の手法であってもよい。

Ｓ４１９にて、データ処理装置５０は、算出部５０４により、Ｓ４１８にて生成した画像に基づき濃いヒュームの指標値を算出する。Ｓ４１８の処理において、画像を複数の領域に分割している。このとき、小さい分割領域が多いほど濃淡が多くあることとなる。本実施形態では、濃淡が多くあるという領域、すなわち、予め定めた面積以下の分割領域を濃いヒュームの発生個所として見立て、面積の合計値を濃いヒュームを示す指標値として想定する。本実施形態では、以下の式（１）を用いて濃いヒュームの指標値を導出する。以下の式（１）において、Ｔ_ｎは、分割領域ｎの面積、すなわち、画素数を示す（ｎ＝１，…，ｉ）。

なお、ここでの評価値の算出の際には、発生したヒュームの実測量と、本実施形態による画像からの算出値との対応関係を、関係式やテーブルなどで予め定義しておき、それらを用いて指標値を導出してもよい。この場合、関係式やテーブルを用いて、画像からの測定値を単位時間当たりの重量を示すヒューム量に変換してよい。

また、Ｓ４０４の処理では薄いヒュームの指標値を算出し、Ｓ４１９の処理では濃いヒュームの指標値を算出している。これらは、別個の指標値として扱ってもよいし、所定の変換式を用いて上記の２つの指標値からヒューム全体の１つの指標値を導出してもよい。

データ処理装置５０は、上記の各指標値を導出したのち、表示部５０５により、不図示の画面上にて表示する。この時、算出された指標値にとり特定されるスパッタやヒューム等の複数の溶接挙動は、時系列に並べて表示されるとよく、これら溶接挙動に対する指標値の算出結果だけでなく、溶接電流やアーク電圧値等も時系列で同期させ、並べて、つまり比較対象が視認しやすいように表示させてもよい。

図８、図９は、上記の処理において、画像処理による画像の変遷を説明するための図である。図８は、赤色成分画像から構成要素ごとの画像を生成するまでの画像の変遷を示し、図４の処理シーケンスのうち、Ｓ４０５～Ｓ４１５の処理による画像処理に相当する。

画像８０１は、赤色成分画像の例を示し、色成分分解処理後の画像を示す。画像８０２は、画像８０１に対して、二値化処理を適用した後の画像を示す。画像８０３、８０５は、画像８０２に対して、ラベリング処理および要素分解処理を適用して、構成要素ごとに生成された画像を示す。画像８０３は、スパッタとして分類された領域から構成される画像であり、Ｓ４１１にて生成される画像に相当する。画像８０５は、アーク光として分類された領域から構成される画像であり、Ｓ４１５にて生成される画像に相当する。

画像８０４は、画像８０３から背景として見なす領域を除去した画像であり、Ｓ４１４にて生成される画像に相当する。画像８０６は、画像８０５に障害物が映り込んでいない場合を示す。図７に示したように障害物が映り込んでいる場合には、画像の中央にアーク光に分類される領域が存在しない。一方、画像８０６は、画像の中央にアーク光に分類された領域が存在することとなる。

図９は、赤色成分画像から領域分割までの画像の変遷を示し、図４の処理シーケンスのうち、Ｓ４１５～Ｓ４１８の処理による画像処理に相当する。

画像９０１は、スパッタ領域を除去した赤色成分画像の例を示し、Ｓ４１５にて生成される画像に相当する。画像９０２は、画像９０１に対しガンマ補正およびフィルタリング処理を適用した画像であり、Ｓ４１７の処理後の画像に相当する。画像９０３は、画像９０２に対し領域分割を適用した画像であり、Ｓ４１８の処理後の画像に相当する。

なお、図４のＳ４０２、Ｓ４０５、Ｓ４０８の流れで示したように、色処理、背景減算処理（滑らかさに関する処理）、二値化処理の順で処理を行うことがより好ましい。これにより、画像に含まれる溶接挙動の領域を適切に検出することができる。

以上、本実施形態では溶接を行っている際に発生する複数の溶接挙動に対応する指標値を、画像に基づいて算出することができる。特に、従来では検出が困難であった、濃淡のあるヒュームやスパッタも併せて検出できる。これにより、画像センサで撮影した撮影画像に基づいて、溶接現象の複数の挙動を計測することが可能となる。特に、従来の手法では、スパッタとヒュームを同時に計測することは、困難であったが、本実施形態の手法により、これらを含む複数の挙動の計測が可能となる。

＜その他の実施形態＞
上記の構成において更に、計測時間を設定可能な構成であってもよい。例えば、所定時間の長さの動画像データにおいて、そのうちの測定対象となる時間帯を指定できるような構成であってもよい。そして、この時間帯において、ヒューム、スパッタ、アーク光の画素や輝度値をカウントし、各指標値を算出してもよい。これにより、例えば、所定の時間帯における溶接条件を踏まえながら、溶接挙動を確認するようなことが可能となる。

また、上記の構成において、計測結果、すなわち、各溶接挙動に対応する指標値に基づいて、溶接ロボット１０や視覚センサ４０の動作を制御するような構成であってもよい。例えば、視覚センサ４０の撮影設定を切り替えてもよいし、溶接ロボット１０の各種溶接パラメータを制御してもよい。これにより、例えば、溶接挙動の発生状況に応じて、より適切に溶接ロボット１０を動作させることが可能となる。

また、本願発明において、上述した１以上の実施形態の機能を実現するためのプログラムやアプリケーションを、ネットワーク又は記憶媒体等を用いてシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。

また、１以上の機能を実現する回路によって実現してもよい。なお、１以上の機能を実現する回路としては、例えば、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）やＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）が挙げられる。

以上の通り、本明細書には次の事項が開示されている。
（１）視覚センサによって撮影された溶接画像に対し、着目する溶接現象の挙動に応じた画像処理を行う画像処理工程と、
前記画像処理工程にて生成された処理画像を用いて、前記溶接現象に対応する構成要素ごとの複数の分割画像を生成する画像分割工程と、
前記複数の分割画像のうちの少なくとも二つの分割画像を用いて、前記溶接現象の挙動を導出する導出工程と、
を有する、ことを特徴とする溶接現象の挙動の計測方法。
この構成によれば、画像センサで撮影した撮影画像に基づいて、溶接現象の複数の挙動を計測することが可能となる。

（２）前記溶接現象に対応する構成要素は、スパッタ、ヒューム、アーク光、溶融池、背景、障害物の内、少なくとも二つが含まれる、
ことを特徴とする（１）に記載の溶接現象の挙動の計測方法。
この構成によれば、溶接現象に対応する構成要素として、スパッタ、ヒューム、アーク光、溶融池、背景、障害物の内、少なくとも二つを検出することができる。

（３）前記画像分割工程は、
前記処理画像に含まれる画素に対してラベリング処理を行うラベリング工程と、
前記ラベリング工程にてラベリングされた画素群から構成される１または複数の領域それぞれを、前記溶接現象に対応する構成要素に分類する分類工程と、
を有し、
前記分類工程は、前記１または複数の領域それぞれを、
画素数に基づいて、前記溶接現象に対応する構成要素に分類する工程、または、
位置およびサイズに基づいて、前記溶接現象に対応する構成要素に分類する工程、または、
着目領域を包含する矩形領域に対して、当該着目領域を構成する画素群が占める割合に基づいて、前記溶接現象に対応する構成要素に分類する工程、
のうち、少なくとも一つの工程を有する、
ことを特徴とする（１）または（２）に記載の溶接現象の挙動の計測方法。
この構成によれば、画像内に含まれる溶接現象に対応する各領域を適切に分類することが可能となる。

（４）前記画像分割工程において、前記溶接現象に対応する構成要素の内、少なくともスパッタの領域から構成される分割画像と、ヒュームの領域から構成される分割画像を生成する、
ことを特徴とする（１）～（３）のいずれかに記載の溶接現象の挙動の計測方法。
この構成によれば、溶接挙動の一種であるスパッタとヒュームのそれぞれを分けて検出することが可能となる。

（５）前記導出工程において、前記溶接現象の挙動として、スパッタ、または、ヒュームの少なくともいずれかの指標値を導出する、
ことを特徴とする（１）～（４）のいずれかに記載の溶接現象の挙動の計測方法。
この構成によれば、スパッタとヒュームを対象としてその挙動を計測することができる。

（６）前記導出工程において、ヒュームの指標値を導出する場合、
スパッタの領域が除去された分割画像に対し、エッジを検出し、
検出されたエッジに基づいて、複数の領域に分割し、
前記複数の領域の面積に基づいて、前記ヒュームの指標値を算出する、
ことを特徴とする（５）に記載の溶接現象の挙動の計測方法。
この構成によれば、溶接現象としてヒュームを適切に計測することが可能となる。

（７）計測対象となる期間を設定する設定工程を更に有し、
前記設定工程で設定された期間に含まれる溶接画像を用いて、前記画像処理工程、前記画像分割工程、および前記導出工程による処理が行われる、ことを特徴とする（５）に記載の溶接現象の挙動の計測方法。
この構成によれば、所望の時間範囲における溶接挙動を計測することが可能となる。

（８）前記画像処理工程は、前記溶接画像を、色成分ごとの画像に分解する処理、二値化処理、滑らかに変動する画素値を取得または除外する処理のうち、少なくとも一つの処理を含む、ことを特徴とする（１）～（７）のいずれかに記載の溶接現象の挙動の計測方法。
この構成によれば、溶接挙動を計測する際の画像処理として、色分解処理、二値化処理、特定の画措置の除外処理のいずれかを適用することが可能となる。

（９）前記色成分ごとの画像に分解する処理では、前記溶接画像からＲＧＢの色成分ごとの色成分画像が生成される、ことを特徴とする（８）に記載の溶接現象の挙動の計測方法。
この構成によれば、着目する溶接挙動を計測するために、ＲＧＢそれぞれの色成分画像を生成して利用することが可能となる。

（１０）Ｒの色成分画像を用いて、アーク光、スパッタ、濃いヒュームの少なくともいずれかの指標値が導出される、ことを特徴とする（９）に記載の溶接現象の挙動の計測方法。
この構成によれば、Ｒの色成分画像を用いることで、アーク光、スパッタ、濃いヒュームのいずれかを計測することが可能となる。

（１１）Ｂの色成分画像を用いて、薄いヒュームの指標値が導出される、（９）または（１０）に記載の溶接現象の挙動の計測方法。
この構成によれば、Ｂの色成分画像を用いることで、薄いヒュームを計測することが可能となる。

（１２）溶接装置と、
前記溶接装置による溶接動作を撮影する視覚センサと、
前記視覚センサによって撮影された溶接画像を用いて、溶接現象の挙動を計測する計測装置と、
を有する溶接システムであって、
前記計測装置は、
前記溶接画像に対し、着目する溶接現象の挙動に応じた画像処理を行う画像処理手段と、
前記画像処理手段にて生成された処理画像を用いて、前記溶接現象に対応する構成要素ごとの複数の分割画像を生成する画像分割手段と、
前記複数の分割画像のうちの少なくとも二つの分割画像を用いて、前記溶接現象の挙動を導出する導出手段と、
を有する、ことを特徴とする溶接システム。
この構成によれば、画像センサで撮影した撮影画像に基づいて、溶接システムにて発生する溶接現象の複数の挙動を計測することが可能となる。

（１３）視覚センサによって撮影された溶接画像に対し、着目する溶接現象の挙動に応じた画像処理を行う画像処理手段と、
前記画像処理手段にて生成された処理画像を用いて、前記溶接現象に対応する構成要素ごとの複数の分割画像を生成する画像分割手段と、
前記複数の分割画像のうちの少なくとも二つの分割画像を用いて、前記溶接現象の挙動を導出する導出手段と、
を有する、ことを特徴とする溶接現象の挙動の計測装置。
この構成によれば、画像センサで撮影した撮影画像に基づいて、溶接現象の複数の挙動を計測することが可能となる。

（１４）請求項１３に記載の計測装置により導出された溶接現象の挙動に基づいて、溶接動作を制御することを特徴とする溶接方法。
この構成によれば、計測された溶接現象の複数の挙動に基づいて、溶接動作を制御することが可能となる。

（１５）視覚センサによって撮影された溶着画像に対し、着目する溶着現象の挙動に応じた画像処理を行う画像処理工程と、
前記画像処理工程にて生成された処理画像を用いて、前記溶着現象に対応する構成要素ごとの複数の分割画像を生成する画像分割工程と、
前記複数の分割画像のうちの少なくとも二つの分割画像を用いて、前記溶着現象の挙動を導出する導出工程と、
を有する、ことを特徴とする溶着現象の挙動の計測方法。
この構成によれば、画像センサで撮影した撮影画像に基づいて、付加製造における溶着現象の複数の挙動を計測することが可能となる。

（１６）コンピュータに、
視覚センサによって撮影された溶接画像に対し、着目する溶接現象の挙動に応じた画像処理を行う画像処理工程と、
前記画像処理工程にて生成された処理画像を用いて、前記溶接現象に対応する構成要素ごとの複数の分割画像を生成する画像分割工程と、
前記複数の分割画像のうちの少なくとも二つの分割画像を用いて、前記溶接現象の挙動を導出する導出工程と、
を実行させるためのプログラム。
この構成によれば、画像センサで撮影した撮影画像に基づいて、溶接現象の複数の挙動を計測することが可能となる。

１溶接システム
１０溶接ロボット
１１溶接トーチ
１２ワイヤ送給装置
１３溶接ワイヤ
２０ロボット制御装置
３０電源装置
４０視覚センサ
４１電流センサ
４２電圧センサ
５０データ処理装置
２０１ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）
２０２メモリ
２０２Ａ制御プログラム
２０３操作パネル
２０４教示ペンダント
２０５ロボット接続部
２０６通信部
５０１記憶部
５０２画像処理部
５０３画像分割部
５０４算出部
５０５表示部
５０６視覚センサ制御部

Claims

視覚センサによって撮影された溶接画像に対し、着目する溶接現象の挙動に応じた画像処理を行う画像処理工程と、
前記画像処理工程にて生成された処理画像を用いて、前記溶接現象に対応する構成要素ごとの複数の分割画像を生成する画像分割工程と、
前記複数の分割画像のうちの少なくとも二つの分割画像を用いて、前記溶接現象の挙動を導出する導出工程と、
を有し、
前記画像分割工程は、
前記処理画像に含まれる画素に対してラベリング処理を行うラベリング工程と、
前記ラベリング工程にてラベリングされた画素群から構成される１または複数の領域それぞれを、前記溶接現象に対応する構成要素に分類する分類工程と、
を有し、
前記分類工程は、前記１または複数の領域それぞれを、
画素数に基づいて、前記溶接現象に対応する構成要素に分類する工程、または、
位置およびサイズに基づいて、前記溶接現象に対応する構成要素に分類する工程、または、
着目領域を包含する矩形領域に対して、当該着目領域を構成する画素群が占める割合に基づいて、前記溶接現象に対応する構成要素に分類する工程、
のうち、少なくとも一つの工程を有する、
ことを特徴とする溶接現象の挙動の計測方法。
前記溶接現象に対応する構成要素は、スパッタ、ヒューム、アーク光、溶融池、背景、障害物の内、少なくとも二つが含まれる、
ことを特徴とする請求項１に記載の溶接現象の挙動の計測方法。
前記画像分割工程において、前記溶接現象に対応する構成要素の内、少なくともスパッタの領域から構成される分割画像と、ヒュームの領域から構成される分割画像を生成する、ことを特徴とする請求項１または２に記載の溶接現象の挙動の計測方法。
前記導出工程において、前記溶接現象の挙動として、スパッタ、または、ヒュームの少なくともいずれかの指標値を導出する、
ことを特徴とする請求項１～３のいずれか一項に記載の溶接現象の挙動の計測方法。
前記導出工程において、ヒュームの指標値を導出する場合、
スパッタの領域が除去された分割画像に対し、エッジを検出し、
検出されたエッジに基づいて、複数の領域に分割し、
前記複数の領域の面積に基づいて、前記ヒュームの指標値を算出する、
ことを特徴とする請求項４に記載の溶接現象の挙動の計測方法。
計測対象となる期間を設定する設定工程を更に有し、
前記設定工程で設定された期間に含まれる溶接画像を用いて、前記画像処理工程、前記画像分割工程、および前記導出工程による処理が行われる、ことを特徴とする請求項４に記載の溶接現象の挙動の計測方法。
前記画像処理工程は、前記溶接画像を、色成分ごとの画像に分解する処理、二値化処理、滑らかに変動する画素値を取得または除外する処理のうち、少なくとも一つの処理を含む、ことを特徴とする請求項１～６のいずれか一項に記載の溶接現象の挙動の計測方法。
前記色成分ごとの画像に分解する処理では、前記溶接画像からＲＧＢの色成分ごとの色成分画像が生成される、ことを特徴とする請求項７に記載の溶接現象の挙動の計測方法。
Ｒの色成分画像を用いて、アーク光、スパッタ、濃いヒュームの少なくともいずれかの指標値が導出される、ことを特徴とする請求項８に記載の溶接現象の挙動の計測方法。
Ｂの色成分画像を用いて、薄いヒュームの指標値が導出される、請求項８または９に記載の溶接現象の挙動の計測方法。
視覚センサによって撮影された溶接画像に対し、着目する溶接現象の挙動に応じた画像処理を行う画像処理工程と、
前記画像処理工程にて生成された処理画像を用いて、前記溶接現象に対応する構成要素ごとの複数の分割画像を生成する画像分割工程と、
前記複数の分割画像のうちの少なくとも二つの分割画像を用いて、前記溶接現象の挙動を導出する導出工程と、
を有し、
前記導出工程において、前記溶接現象の挙動として、スパッタ、または、ヒュームの少なくともいずれかの指標値を導出する、ことを特徴とする溶接現象の挙動の計測方法。
溶接装置と、
前記溶接装置による溶接動作を撮影する視覚センサと、
前記視覚センサによって撮影された溶接画像を用いて、溶接現象の挙動を計測する計測装置と、
を有する溶接システムであって、
前記計測装置は、
前記溶接画像に対し、着目する溶接現象の挙動に応じた画像処理を行う画像処理手段と、
前記画像処理手段にて生成された処理画像を用いて、前記溶接現象に対応する構成要素ごとの複数の分割画像を生成する画像分割手段と、
前記複数の分割画像のうちの少なくとも二つの分割画像を用いて、前記溶接現象の挙動を導出する導出手段と、
を有し、
前記画像分割手段は、
前記処理画像に含まれる画素に対してラベリング処理を行うラベリング手段と、
前記ラベリング手段にてラベリングされた画素群から構成される１または複数の領域それぞれを、前記溶接現象に対応する構成要素に分類する分類手段と、
を有し、
前記分類手段は、前記１または複数の領域それぞれを、
画素数に基づいて、前記溶接現象に対応する構成要素に分類する手段、または、
位置およびサイズに基づいて、前記溶接現象に対応する構成要素に分類する手段、または、
着目領域を包含する矩形領域に対して、当該着目領域を構成する画素群が占める割合に基づいて、前記溶接現象に対応する構成要素に分類する手段、
のうち、少なくとも一つの手段を有する、
ことを特徴とする溶接システム。
視覚センサによって撮影された溶接画像に対し、着目する溶接現象の挙動に応じた画像処理を行う画像処理手段と、
前記画像処理手段にて生成された処理画像を用いて、前記溶接現象に対応する構成要素ごとの複数の分割画像を生成する画像分割手段と、
前記複数の分割画像のうちの少なくとも二つの分割画像を用いて、前記溶接現象の挙動を導出する導出手段と、
を有し、
前記画像分割手段は、
前記処理画像に含まれる画素に対してラベリング処理を行うラベリング手段と、
前記ラベリング手段にてラベリングされた画素群から構成される１または複数の領域それぞれを、前記溶接現象に対応する構成要素に分類する分類手段と、
を有し、
前記分類手段は、前記１または複数の領域それぞれを、
画素数に基づいて、前記溶接現象に対応する構成要素に分類する手段、または、
位置およびサイズに基づいて、前記溶接現象に対応する構成要素に分類する手段、または、
着目領域を包含する矩形領域に対して、当該着目領域を構成する画素群が占める割合に基づいて、前記溶接現象に対応する構成要素に分類する手段、
のうち、少なくとも一つの手段を有する、
ことを特徴とする溶接現象の挙動の計測装置。
請求項１３に記載の計測装置により導出された溶接現象の挙動に基づいて、溶接動作を制御することを特徴とする溶接方法。
視覚センサによって撮影された溶着画像に対し、着目する溶着現象の挙動に応じた画像処理を行う画像処理工程と、
前記画像処理工程にて生成された処理画像を用いて、前記溶着現象に対応する構成要素ごとの複数の分割画像を生成する画像分割工程と、
前記複数の分割画像のうちの少なくとも二つの分割画像を用いて、前記溶着現象の挙動を導出する導出工程と、
を有し、
前記画像分割工程は、
前記処理画像に含まれる画素に対してラベリング処理を行うラベリング工程と、
前記ラベリング工程にてラベリングされた画素群から構成される１または複数の領域それぞれを、前記溶着現象に対応する構成要素に分類する分類工程と、
を有し、
前記分類工程は、前記１または複数の領域それぞれを、
画素数に基づいて、前記溶着現象に対応する構成要素に分類する工程、または、
位置およびサイズに基づいて、前記溶着現象に対応する構成要素に分類する工程、または、
着目領域を包含する矩形領域に対して、当該着目領域を構成する画素群が占める割合に基づいて、前記溶着現象に対応する構成要素に分類する工程、
のうち、少なくとも一つの工程を有する、
ことを特徴とする溶着現象の挙動の計測方法。
コンピュータに、
視覚センサによって撮影された溶接画像に対し、着目する溶接現象の挙動に応じた画像処理を行う画像処理工程と、
前記画像処理工程にて生成された処理画像を用いて、前記溶接現象に対応する構成要素ごとの複数の分割画像を生成する画像分割工程と、
前記複数の分割画像のうちの少なくとも二つの分割画像を用いて、前記溶接現象の挙動を導出する導出工程と、
を実行させ、
前記画像分割工程は、
前記処理画像に含まれる画素に対してラベリング処理を行うラベリング工程と、
前記ラベリング工程にてラベリングされた画素群から構成される１または複数の領域それぞれを、前記溶接現象に対応する構成要素に分類する分類工程と、
を有し、
前記分類工程は、前記１または複数の領域それぞれを、
画素数に基づいて、前記溶接現象に対応する構成要素に分類する工程、または、
位置およびサイズに基づいて、前記溶接現象に対応する構成要素に分類する工程、または、
着目領域を包含する矩形領域に対して、当該着目領域を構成する画素群が占める割合に基づいて、前記溶接現象に対応する構成要素に分類する工程、
のうち、少なくとも一つの工程を有する、
プログラム。