JP4860523B2 - アーク溶接における酸化物認識方法及び酸化物認識装置 - Google Patents
アーク溶接における酸化物認識方法及び酸化物認識装置 Download PDFInfo
- Publication number
- JP4860523B2 JP4860523B2 JP2007079152A JP2007079152A JP4860523B2 JP 4860523 B2 JP4860523 B2 JP 4860523B2 JP 2007079152 A JP2007079152 A JP 2007079152A JP 2007079152 A JP2007079152 A JP 2007079152A JP 4860523 B2 JP4860523 B2 JP 4860523B2
- Authority
- JP
- Japan
- Prior art keywords
- isolated
- frame image
- oxide
- area
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、アーク溶接における酸化物認識方法及び酸化物認識装置に関するものである。
アーク溶接において、溶融池や溶滴等の溶融金属上に浮遊する酸化物は、溶融金属の対流や電磁気的な力によって溶融金属上を高速に移動する。また、該酸化物は、溶融金属を露出させている部分(酸化物が被覆していない部分)と比較して異なる電気伝導性や放電特性を示すため、これら酸化物の挙動はアーク放電の安定性に大きな影響を及ぼす。例えば、溶融金属よりも該溶融金属上に発生する酸化物の方がアーク溶接時の放電点（陰極点）となることがある。しかも、これら酸化物が溶融金属上を高速に移動するため、アーク放電は該酸化物の高速移動に伴って放電の向きを逐次変化させる。この結果、アーク放電は不安定なものとなり、スパッタの多量に発生させる等の原因となる。
したがって、酸化物の溶融金属上での存在状態を把握することができれば、より安定的なアーク放電を可能とする溶接材料の開発や溶接条件の効率的な選定が可能となる。
従来、アーク溶接中のアーク発生位置周辺を撮像することにより、該アーク発生位置及びその周辺の現象を把握する方法が知られている。例えば特許文献１には、カラー撮像装置と画像処理装置と画像表示装置とを備え、カラー撮像装置が溶接中の溶接部及びその周囲を撮影してカラー映像信号を発生し、画像処理装置が該カラー映像信号をＲＧＢ成分に分解し該ＲＧＢ成分の強度若しくは成分間の比率から溶融池の範囲を推定する溶接状態表示装置について開示されている。
特開２００２−２０５１６６号公報
従来、アーク溶接中のアーク発生位置周辺を撮像することにより、該アーク発生位置及びその周辺の現象を把握する方法が知られている。例えば特許文献１には、カラー撮像装置と画像処理装置と画像表示装置とを備え、カラー撮像装置が溶接中の溶接部及びその周囲を撮影してカラー映像信号を発生し、画像処理装置が該カラー映像信号をＲＧＢ成分に分解し該ＲＧＢ成分の強度若しくは成分間の比率から溶融池の範囲を推定する溶接状態表示装置について開示されている。
しかしながら、上記特許文献１に開示の溶接状態表示装置は、溶融池の輪郭や形状を的確に検出するための装置であって、該溶融池や溶滴上に発生する酸化物までは検出することができないという問題があった。
そこで、本発明は、画像処理の手段を用いることにより、アーク溶接時の溶融池や溶滴等の溶融金属上に発生する酸化物の存在状態を定量的に把握することが可能なアーク溶接における酸化物認識方法及び酸化物認識装置を提供するようにしたものである。
そこで、本発明は、画像処理の手段を用いることにより、アーク溶接時の溶融池や溶滴等の溶融金属上に発生する酸化物の存在状態を定量的に把握することが可能なアーク溶接における酸化物認識方法及び酸化物認識装置を提供するようにしたものである。
前記目的を達成するため、本発明においては以下の技術的手段を講じた。
即ち、本発明における課題解決のための技術的手段は、
アーク溶接中に溶融金属及びその周囲を複数のフレーム画像に撮像し、
所定の輝度範囲の有する領域を抽出し、
該領域内であって且つ予め規定した閾値よりも大きい輝度を有する１又は複数の孤立領域を抽出し、
該抽出された各孤立領域の位置情報及び特徴量を検出する、
ことを特徴としている。
即ち、本発明における課題解決のための技術的手段は、
アーク溶接中に溶融金属及びその周囲を複数のフレーム画像に撮像し、
所定の輝度範囲の有する領域を抽出し、
該領域内であって且つ予め規定した閾値よりも大きい輝度を有する１又は複数の孤立領域を抽出し、
該抽出された各孤立領域の位置情報及び特徴量を検出する、
ことを特徴としている。
アーク溶接において発生する溶融金属は、アーク発生位置において一定領域を示し、その形状、大きさ、輝度、色彩等、フレーム画像上で視認できる要素が背景画像に比べて著しい特徴を有している。
本発明は、これら溶融金属のこの様な特徴を踏まえ、先ず、アーク溶接の溶接状況をフレーム画像に撮像することにより、該フレーム画像に、溶融金属の上述の如き要素を画像情報として取り込み、該フレーム画像からこれら溶融金属を認識・抽出するものである。
また、これら溶融金属上に発生する酸化物は、これら溶融金属上のみにおいて一定領域を示し、その形状、大きさ、輝度、色彩等、フレーム画像上で視認できる要素がこれら酸化物に対し背景となるべき溶融金属に比べて著しい特徴を有している。
本発明は、これら溶融金属のこの様な特徴を踏まえ、先ず、アーク溶接の溶接状況をフレーム画像に撮像することにより、該フレーム画像に、溶融金属の上述の如き要素を画像情報として取り込み、該フレーム画像からこれら溶融金属を認識・抽出するものである。
また、これら溶融金属上に発生する酸化物は、これら溶融金属上のみにおいて一定領域を示し、その形状、大きさ、輝度、色彩等、フレーム画像上で視認できる要素がこれら酸化物に対し背景となるべき溶融金属に比べて著しい特徴を有している。
本発明は、これら酸化物のこの様な特徴を踏まえ、上述の如き工程の後に前記フレーム画像からこれら酸化物を認識・抽出するものである。
この様にフレーム画像から溶融金属を認識し、さらに該溶融金属を示す領域内からからす酸化物を認識することにより、上記アーク溶接状況下における個々の酸化物の発生を正確に把握することができると共に、各酸化物の大きさや移動速度等の性状も把握することができるものとなるのである。
また、本発明における課題解決のための他の技術的手段は、
アーク溶接中に溶融金属及びその周囲を複数のフレーム画像に撮像し、
所定の輝度範囲の有する領域を抽出し、
該領域内であって且つ予め規定した閾値よりも大きい輝度を有する１又は複数の孤立領域を抽出し、
該抽出された各孤立領域の位置情報及び特徴量を検出し、
該検出された各孤立領域の位置情報と特徴量とに基づいて連続するフレーム画像間における孤立領域の連続性の有無を判断し、
連続性ありと判断される一連の孤立領域群をアーク溶接に伴い発生した一の酸化物として認識する、
ことを特徴としている。
この様にフレーム画像から溶融金属を認識し、さらに該溶融金属を示す領域内からからす酸化物を認識することにより、上記アーク溶接状況下における個々の酸化物の発生を正確に把握することができると共に、各酸化物の大きさや移動速度等の性状も把握することができるものとなるのである。
また、本発明における課題解決のための他の技術的手段は、
アーク溶接中に溶融金属及びその周囲を複数のフレーム画像に撮像し、
所定の輝度範囲の有する領域を抽出し、
該領域内であって且つ予め規定した閾値よりも大きい輝度を有する１又は複数の孤立領域を抽出し、
該抽出された各孤立領域の位置情報及び特徴量を検出し、
該検出された各孤立領域の位置情報と特徴量とに基づいて連続するフレーム画像間における孤立領域の連続性の有無を判断し、
連続性ありと判断される一連の孤立領域群をアーク溶接に伴い発生した一の酸化物として認識する、
ことを特徴としている。
アーク溶接において発生する溶融金属は、アーク発生位置において一定領域を示し、その形状、大きさ、輝度、色彩等、フレーム画像上で視認できる要素が背景画像に比べて著しい特徴を有している。
本発明は、これら溶融金属の特徴を踏まえ、先ず、アーク溶接の溶接状況をフレーム画像に撮像することにより、該フレーム画像に、溶融金属の上述の如き要素を画像情報として取り込み、該フレーム画像からこれら溶融金属を認識・抽出するものである。
また、これら溶融金属上に発生する酸化物は、これら溶融金属上のみにおいて一定領域を示し、その形状、大きさ、輝度、色彩等、フレーム画像上で視認できる要素がこれら酸化物に対し背景となるべき溶融金属に比べて著しい特徴を有している。
本発明は、これら溶融金属の特徴を踏まえ、先ず、アーク溶接の溶接状況をフレーム画像に撮像することにより、該フレーム画像に、溶融金属の上述の如き要素を画像情報として取り込み、該フレーム画像からこれら溶融金属を認識・抽出するものである。
また、これら溶融金属上に発生する酸化物は、これら溶融金属上のみにおいて一定領域を示し、その形状、大きさ、輝度、色彩等、フレーム画像上で視認できる要素がこれら酸化物に対し背景となるべき溶融金属に比べて著しい特徴を有している。
本発明は、これら酸化物の特徴を踏まえ、上述の如き工程の後に前記フレーム画像からこれら酸化物を認識・抽出するものである。
フレーム画像から溶融金属を認識し、さらに該溶融金属を示す領域内から酸化物を認識することにより、上記アーク溶接状況下における個々の酸化物の発生を正確に把握することができると共に、各酸化物の大きさや移動速度等の性状も把握することができるものとなる。
一方、アーク溶接の溶接状況を撮像すると、溶融金属ばかりでなく、ヒュームや塵等がノイズとして撮像される。また、フレーム画像を送信する際に電気的なノイズが発生する場合もあり、これらのノイズが酸化物を示す孤立領域と近似した形状となってフレーム画像に現れる場合が考えられる。
フレーム画像から溶融金属を認識し、さらに該溶融金属を示す領域内から酸化物を認識することにより、上記アーク溶接状況下における個々の酸化物の発生を正確に把握することができると共に、各酸化物の大きさや移動速度等の性状も把握することができるものとなる。
一方、アーク溶接の溶接状況を撮像すると、溶融金属ばかりでなく、ヒュームや塵等がノイズとして撮像される。また、フレーム画像を送信する際に電気的なノイズが発生する場合もあり、これらのノイズが酸化物を示す孤立領域と近似した形状となってフレーム画像に現れる場合が考えられる。
そこで、本発明は、酸化物が著しく高速で溶融金属上を移動することに着眼し、かかる特性を用いてフレーム画像の中から酸化物を示す孤立領域のみを認識することとしている。即ち、酸化物が高速で飛散するため、フレーム画像にて酸化物を示す孤立領域は、連続するフレーム画像間でその位置を相対的に変化させているはずであり、各孤立領域の位置情報に基づいて連続するフレーム画像間での孤立領域の相対的な位置変化を判断することにより、フレーム画像中に現れる無数の孤立領域の中から酸化物を認識する一方、連続性を有しないと判断される孤立領域を酸化物ではないものとして認識対象から除外しているのである。
この様にフレーム画像から酸化物を認識することにより、上記アーク溶接状況下における個々の酸化物の発生を定量的に把握することができると共に、各酸化物の大きさや移動速度等の性状も把握することができる。
また、位置情報に付随して抽出する大きさや輝度等の特徴量も孤立領域の連続性の有無の判断要素とすることにより、より正確な酸化物の認識が可能となる。また、後処理によって認識された複数の酸化物を様々な指標により分類する場合には、この様に位置情報だけではなく特徴量も検出していることが有効である。
また、位置情報に付随して抽出する大きさや輝度等の特徴量も孤立領域の連続性の有無の判断要素とすることにより、より正確な酸化物の認識が可能となる。また、後処理によって認識された複数の酸化物を様々な指標により分類する場合には、この様に位置情報だけではなく特徴量も検出していることが有効である。
なお、アーク溶接の開始から終了に亘る全フレーム画像のうち、何れか複数のフレーム画像若しくは全てのフレーム画像を調査対象とするものとする。
また、アーク溶接の撮像は、１万フレーム／秒の撮像速度を有する高速度カメラ等を用いて数秒程度の溶接現象を撮像することとする。
例えば、アーク溶接を１０秒程度撮像すると、かかる撮像時間に撮像されたフレーム画像は１０万コマとなり、該フレーム画像の全体に亘って１つ１つ孤立領域を検出して連続性を判断するには膨大な時間がかかることが予想される。
また、アーク溶接の撮像は、１万フレーム／秒の撮像速度を有する高速度カメラ等を用いて数秒程度の溶接現象を撮像することとする。
例えば、アーク溶接を１０秒程度撮像すると、かかる撮像時間に撮像されたフレーム画像は１０万コマとなり、該フレーム画像の全体に亘って１つ１つ孤立領域を検出して連続性を判断するには膨大な時間がかかることが予想される。
このため、孤立領域の連続性の判断を効率的に行うことにより、酸化物認識に要する時間の短縮化を図ることが望ましい。
かかる点に鑑みれば、前記連続するフレーム画像とは、少なくとも３フレームに亘り続くフレーム画像であることは好ましい。
これによれば、少なくとも連続する３つのフレーム画像を判断対象として孤立領域の連続性を判断することができ、かかる処理を順次行うことによって効率的に一連の孤立領域群の連続性を判断することができる。
かかる点に鑑みれば、前記連続するフレーム画像とは、少なくとも３フレームに亘り続くフレーム画像であることは好ましい。
これによれば、少なくとも連続する３つのフレーム画像を判断対象として孤立領域の連続性を判断することができ、かかる処理を順次行うことによって効率的に一連の孤立領域群の連続性を判断することができる。
また、前記連続性の有無の判断は、
一のフレーム画像にて検出された孤立領域の位置情報を中心とする所定の半径領域を形成し、
該半径領域を次のフレーム画像に設定し、
該半径領域内に当該次のフレーム画像における孤立領域の位置情報が存在するか否かを判断し、
存在すると判断したときには前記一のフレーム画像の孤立領域と前記次のフレーム画像の孤立領域との間に連続性ありと認定する、
ことが好ましい。
一のフレーム画像にて検出された孤立領域の位置情報を中心とする所定の半径領域を形成し、
該半径領域を次のフレーム画像に設定し、
該半径領域内に当該次のフレーム画像における孤立領域の位置情報が存在するか否かを判断し、
存在すると判断したときには前記一のフレーム画像の孤立領域と前記次のフレーム画像の孤立領域との間に連続性ありと認定する、
ことが好ましい。
これによれば、半径領域を適正に設定することにより、一のフレーム画像において認識された孤立領域に対し、次のフレーム画像にて前記孤立領域の最も近傍に位置する孤立領域を前記孤立領域との間に連続性があるものとして認識することができ、連続するフレーム画像間での孤立領域の連続性を正確に認識することができる。
また、設定された半径領域内での孤立領域の有無を判断するものであるため、当該半径領域が孤立領域検出対象となる。このため、フレーム画像全体に亘って孤立領域の識別を行う必要はなく、処理速度の向上が図られる。
また、設定された半径領域内での孤立領域の有無を判断するものであるため、当該半径領域が孤立領域検出対象となる。このため、フレーム画像全体に亘って孤立領域の識別を行う必要はなく、処理速度の向上が図られる。
また、前記連続性の有無の判断を判断するに際し、
一のフレーム画像にて検出された少なくとも二以上の孤立領域の位置情報及び特徴量と次フレーム画像の孤立領域の位置情報及び特徴量とを比較して、該孤立領域を前記一のフレーム画像の二以上の孤立領域を結合したものと判断することは好ましい。
溶融金属上を移動する複数の酸化物は、互いに衝突することにより結合する場合がある。上述の構成によれば、一のフレーム画像と次フレーム画像とを比較判断することにより複数の酸化物の結合を判断することができ、より実情に即した酸化物の認識が可能となる。
一のフレーム画像にて検出された少なくとも二以上の孤立領域の位置情報及び特徴量と次フレーム画像の孤立領域の位置情報及び特徴量とを比較して、該孤立領域を前記一のフレーム画像の二以上の孤立領域を結合したものと判断することは好ましい。
溶融金属上を移動する複数の酸化物は、互いに衝突することにより結合する場合がある。上述の構成によれば、一のフレーム画像と次フレーム画像とを比較判断することにより複数の酸化物の結合を判断することができ、より実情に即した酸化物の認識が可能となる。
かかる点に鑑みれば、前記連続性の有無の判断を判断するに際し、
一のフレーム画像にて検出された一の孤立領域の位置情報及び特徴量と次フレーム画像の少なくとも二以上の孤立領域の位置情報及び特徴量とを比較して、これら二以上の孤立領域を前記一のフレーム画像の一の孤立領域を分離したものと判断することも好ましい。
また、前記各フレーム画像から１又は複数の孤立領域を抽出するに際し、
各フレーム画像のアーク発生位置にマスク処理を施すことが好ましい。
これによれば、アーク発生位置がマスクをかけられることにより後処理の処理対象から除外されるので、マスク処理後のフレーム画像には、溶融池や溶滴等、アーク発生位置よりも輝度の小さい画像情報のみを処理対象とすることができ、後過程での孤立領域の抽出・検出を精度良く且つ手早く行うことができるのである。
一のフレーム画像にて検出された一の孤立領域の位置情報及び特徴量と次フレーム画像の少なくとも二以上の孤立領域の位置情報及び特徴量とを比較して、これら二以上の孤立領域を前記一のフレーム画像の一の孤立領域を分離したものと判断することも好ましい。
また、前記各フレーム画像から１又は複数の孤立領域を抽出するに際し、
各フレーム画像のアーク発生位置にマスク処理を施すことが好ましい。
これによれば、アーク発生位置がマスクをかけられることにより後処理の処理対象から除外されるので、マスク処理後のフレーム画像には、溶融池や溶滴等、アーク発生位置よりも輝度の小さい画像情報のみを処理対象とすることができ、後過程での孤立領域の抽出・検出を精度良く且つ手早く行うことができるのである。
さらに、前記アーク溶接中に溶融金属及びその周囲を複数の連続するフレーム画像に撮像するに際し、バンドパスフィルタを介して前記溶融金属及びその周囲を撮像することも好ましい。
アーク溶接時のアーク発生位置はきわめて高輝度のアーク光が存在するためにきわめて高輝度であり、相対的に輝度が小さい溶融金属上の物質を鮮明に観察することは困難となる。上記構成によれば、前記溶融金属をバンドパスフィルタにて撮像することとしているため、所定の輝度範囲や色温度範囲等を有する画像をフレーム画像として撮像することができる。この結果、アーク光の輝度を低減させた状態でアーク発生位置及びその周辺の画像をフレーム画像として取得することができるのである。
アーク溶接時のアーク発生位置はきわめて高輝度のアーク光が存在するためにきわめて高輝度であり、相対的に輝度が小さい溶融金属上の物質を鮮明に観察することは困難となる。上記構成によれば、前記溶融金属をバンドパスフィルタにて撮像することとしているため、所定の輝度範囲や色温度範囲等を有する画像をフレーム画像として撮像することができる。この結果、アーク光の輝度を低減させた状態でアーク発生位置及びその周辺の画像をフレーム画像として取得することができるのである。
また、上記アーク溶接における酸化物認識方法を実施可能な酸化物認識装置は、
アーク溶接中に溶融金属及びその周囲を複数のフレーム画像に撮像する撮像手段と、
所定の輝度範囲の有する領域を抽出する第１抽出手段と、
該領域内であって且つ予め規定した閾値よりも大きい輝度を有する１又は複数の孤立領域を抽出する第２抽出手段と、
該抽出された各孤立領域の位置情報及び特徴量を検出する情報検出手段と、
を有することを特徴としている。
アーク溶接中に溶融金属及びその周囲を複数のフレーム画像に撮像する撮像手段と、
所定の輝度範囲の有する領域を抽出する第１抽出手段と、
該領域内であって且つ予め規定した閾値よりも大きい輝度を有する１又は複数の孤立領域を抽出する第２抽出手段と、
該抽出された各孤立領域の位置情報及び特徴量を検出する情報検出手段と、
を有することを特徴としている。
また、上記アーク溶接における酸化物認識方法を実施可能な他の酸化物認識装置は、
アーク溶接中に溶融金属及びその周囲を複数のフレーム画像に撮像する撮像手段と、
所定の輝度範囲の有する領域を抽出する第１抽出手段と、
該領域内であって且つ予め規定した閾値よりも大きい輝度を有する１又は複数の孤立領域を抽出する第２抽出手段と、
該抽出された各孤立領域の位置情報及び特徴量を検出する情報検出手段と、
該検出された各孤立領域の位置情報と特徴量とに基づいて連続するフレーム画像間における孤立領域の連続性の有無を判断する連続性判断手段と、
連続性ありと判断される一連の孤立領域群をアーク溶接に伴い発生した一の酸化物として認識する酸化物認識手段と、
を有することを特徴としている。
アーク溶接中に溶融金属及びその周囲を複数のフレーム画像に撮像する撮像手段と、
所定の輝度範囲の有する領域を抽出する第１抽出手段と、
該領域内であって且つ予め規定した閾値よりも大きい輝度を有する１又は複数の孤立領域を抽出する第２抽出手段と、
該抽出された各孤立領域の位置情報及び特徴量を検出する情報検出手段と、
該検出された各孤立領域の位置情報と特徴量とに基づいて連続するフレーム画像間における孤立領域の連続性の有無を判断する連続性判断手段と、
連続性ありと判断される一連の孤立領域群をアーク溶接に伴い発生した一の酸化物として認識する酸化物認識手段と、
を有することを特徴としている。
また、前記連続性判断手段は、少なくとも３フレームに亘り続くフレーム画像間で孤立領域の連続性を判断するものであることが好ましい。
また、前記連続性判断手段は、
一のフレーム画像にて検出された孤立領域の位置情報を中心とする所定の半径領域を形成する領域形成手段と、
該半径領域を次のフレーム画像に設定する領域設定手段と、
該半径領域内に当該次のフレーム画像における孤立領域の位置情報が存在するか否かを判断する領域判断手段と、
存在すると判断したときには前記一のフレーム画像の孤立領域と前記次のフレーム画像の孤立領域との間に連続性ありと認定する連続性認定手段と、
を有していることが好ましい。
また、前記連続性判断手段は、
一のフレーム画像にて検出された孤立領域の位置情報を中心とする所定の半径領域を形成する領域形成手段と、
該半径領域を次のフレーム画像に設定する領域設定手段と、
該半径領域内に当該次のフレーム画像における孤立領域の位置情報が存在するか否かを判断する領域判断手段と、
存在すると判断したときには前記一のフレーム画像の孤立領域と前記次のフレーム画像の孤立領域との間に連続性ありと認定する連続性認定手段と、
を有していることが好ましい。
前記連続性判断手段は、
一のフレーム画像にて検出された少なくとも二以上の孤立領域の位置情報及び特徴量と次フレーム画像の孤立領域の位置情報及び特徴量とを比較する比較手段と、
該孤立領域を前記一のフレーム画像の二以上の孤立領域を結合したものと判断する結合判断手段と、
を有していることが好ましい。
前記連続性判断手段は、
一のフレーム画像にて検出された一の孤立領域の位置情報及び特徴量と次フレーム画像の少なくとも二以上の孤立領域の位置情報及び特徴量とを比較する比較手段と、
これら二以上の孤立領域を前記一のフレーム画像の一の孤立領域を分離したものと判断する分離判断手段と、
を有していることが好ましい。
一のフレーム画像にて検出された少なくとも二以上の孤立領域の位置情報及び特徴量と次フレーム画像の孤立領域の位置情報及び特徴量とを比較する比較手段と、
該孤立領域を前記一のフレーム画像の二以上の孤立領域を結合したものと判断する結合判断手段と、
を有していることが好ましい。
前記連続性判断手段は、
一のフレーム画像にて検出された一の孤立領域の位置情報及び特徴量と次フレーム画像の少なくとも二以上の孤立領域の位置情報及び特徴量とを比較する比較手段と、
これら二以上の孤立領域を前記一のフレーム画像の一の孤立領域を分離したものと判断する分離判断手段と、
を有していることが好ましい。
また、前記抽出手段は、各フレーム画像のアーク発生位置にマスク処理を施すマスク手段を有していることが好ましい。
また、前記撮像手段は、光軸上にバンドパスフィルタを備えていることが好ましい。
なお、本発明に係る最も好ましいアーク溶接における酸化物認識方法の形態として、アーク溶接中に溶融金属及びその周囲を複数のフレーム画像に時系列で順次撮像し、所定の輝度範囲の有する領域を抽出し、該領域内であって且つ予め規定した閾値よりも大きい輝度を有する１又は複数の孤立領域を抽出し、該抽出された各孤立領域の位置情報、及び各孤立領域の面積、形状、真円度、長さ、幅、長軸短軸比、速度ベクトル、輝度の少なくとも一つ以上で規定される特徴量を検出し、該検出された各孤立領域の位置情報と前記特徴量とのフレーム画像間での比較に基づいて連続するフレーム画像間における孤立領域の連続性の有無を判断し、連続性ありと判断される一連の孤立領域群をアーク溶接に伴い発生した一の酸化物として認識する、ものがある。
また、本発明に係る最も好ましいアーク溶接における酸化物認識装置の形態として、アーク溶接中に溶融金属及びその周囲を複数のフレーム画像に時系列で順次撮像する撮像手段と、所定の輝度範囲の有する領域を抽出する第１抽出手段と、該領域内であって且つ予め規定した閾値よりも大きい輝度を有する１又は複数の孤立領域を抽出する第２抽出手段と、該抽出された各孤立領域の位置情報、及び各孤立領域の面積、形状、真円度、長さ、幅、長軸短軸比、速度ベクトル、輝度の少なくとも一つ以上で規定される特徴量を検出する情報検出手段と、該検出された各孤立領域の位置情報と前記特徴量とのフレーム画像間での比較に基づいて連続するフレーム画像間における孤立領域の連続性の有無を判断する連続性判断手段と、連続性ありと判断される一連の孤立領域群をアーク溶接に伴い発生した一の酸化物として認識する酸化物認識手段と、を有するものがある。
また、前記撮像手段は、光軸上にバンドパスフィルタを備えていることが好ましい。
なお、本発明に係る最も好ましいアーク溶接における酸化物認識方法の形態として、アーク溶接中に溶融金属及びその周囲を複数のフレーム画像に時系列で順次撮像し、所定の輝度範囲の有する領域を抽出し、該領域内であって且つ予め規定した閾値よりも大きい輝度を有する１又は複数の孤立領域を抽出し、該抽出された各孤立領域の位置情報、及び各孤立領域の面積、形状、真円度、長さ、幅、長軸短軸比、速度ベクトル、輝度の少なくとも一つ以上で規定される特徴量を検出し、該検出された各孤立領域の位置情報と前記特徴量とのフレーム画像間での比較に基づいて連続するフレーム画像間における孤立領域の連続性の有無を判断し、連続性ありと判断される一連の孤立領域群をアーク溶接に伴い発生した一の酸化物として認識する、ものがある。
また、本発明に係る最も好ましいアーク溶接における酸化物認識装置の形態として、アーク溶接中に溶融金属及びその周囲を複数のフレーム画像に時系列で順次撮像する撮像手段と、所定の輝度範囲の有する領域を抽出する第１抽出手段と、該領域内であって且つ予め規定した閾値よりも大きい輝度を有する１又は複数の孤立領域を抽出する第２抽出手段と、該抽出された各孤立領域の位置情報、及び各孤立領域の面積、形状、真円度、長さ、幅、長軸短軸比、速度ベクトル、輝度の少なくとも一つ以上で規定される特徴量を検出する情報検出手段と、該検出された各孤立領域の位置情報と前記特徴量とのフレーム画像間での比較に基づいて連続するフレーム画像間における孤立領域の連続性の有無を判断する連続性判断手段と、連続性ありと判断される一連の孤立領域群をアーク溶接に伴い発生した一の酸化物として認識する酸化物認識手段と、を有するものがある。
本発明によれば、アーク溶接時の溶融池又は溶滴等の溶融金属上に発生する酸化物の存在状態を定量的に把握することが可能となる。
以下、本発明を実施した形態につき、図面に沿って具体的に説明していく。
［第１実施形態］
図１〜図３は、本発明に係る第１実施形態の酸化物認識装置１を示している。該酸化物認識装置１は、アーク溶接の溶接状況を撮像し、該撮像から得られたフレーム画像Ｆkに基づいて、アーク溶接中に溶融池（溶融金属）Ｐに発生する酸化物Ｑを認識するための装置であって、該溶融池Ｐを中心としてアーク溶接の溶接状況を撮像する撮像装置２と、該撮像装置２によって撮像されたフレーム画像Ｆkを取得して処理する処理装置３とを備えている。
［第１実施形態］
図１〜図３は、本発明に係る第１実施形態の酸化物認識装置１を示している。該酸化物認識装置１は、アーク溶接の溶接状況を撮像し、該撮像から得られたフレーム画像Ｆkに基づいて、アーク溶接中に溶融池（溶融金属）Ｐに発生する酸化物Ｑを認識するための装置であって、該溶融池Ｐを中心としてアーク溶接の溶接状況を撮像する撮像装置２と、該撮像装置２によって撮像されたフレーム画像Ｆkを取得して処理する処理装置３とを備えている。
なお、本実施形態においては、一対の母材の突き合わせて形成される開先を溶接ワイヤｗによりアーク溶接する状況を撮像していくこととする。
撮像装置２は、少なくとも５００〜２０００フレーム／秒、好ましくは１万フレーム／秒の撮像速度を有する高速度カメラ（ＣＣＤカメラ）からなる撮像手段５と、該撮像手段５に配備されたレンズ６とを有している。なお、説明を簡単にするため、本実施形態においては撮像手段５をモノクロ型としているが、カラー型であっても構わない。
また、撮像装置２は、移動手段７に搭載されている。また、該移動手段７に搭載された撮像装置２と溶接ワイヤｗを備えた溶接トーチＴとは制御手段８に接続されており、同期して移動する。これにより、溶接作業の進展に伴って移動する溶接部位を撮像手段５により追跡して撮像することができ、該溶接部位をフレームアウトすることなく撮像することができる。
撮像装置２は、少なくとも５００〜２０００フレーム／秒、好ましくは１万フレーム／秒の撮像速度を有する高速度カメラ（ＣＣＤカメラ）からなる撮像手段５と、該撮像手段５に配備されたレンズ６とを有している。なお、説明を簡単にするため、本実施形態においては撮像手段５をモノクロ型としているが、カラー型であっても構わない。
また、撮像装置２は、移動手段７に搭載されている。また、該移動手段７に搭載された撮像装置２と溶接ワイヤｗを備えた溶接トーチＴとは制御手段８に接続されており、同期して移動する。これにより、溶接作業の進展に伴って移動する溶接部位を撮像手段５により追跡して撮像することができ、該溶接部位をフレームアウトすることなく撮像することができる。
図３に示す如く、撮像装置２により撮像されたフレーム画像Ｆkには、溶融池Ｐのみでなく、アークＡやヒュームＣ等も高輝度な領域として存在すると共に、スパッタＳやノイズＤ等も存在する。該ノイズＤは、アーク溶接の撮像時にフレーム画像Ｆkに入り込んでしまった埃や塵ばかりでなく、撮像装置２から処理装置３にフレーム画像Ｆkを出力する際等の電気的なノイズも含まれる。
図１に示す処理装置３は、この様に様々な物体が画像として映り込んでいるフレーム画像Ｆkから溶融池Ｐ上に存在する酸化物Ｑを抽出するものである。
図１に示す処理装置３は、この様に様々な物体が画像として映り込んでいるフレーム画像Ｆkから溶融池Ｐ上に存在する酸化物Ｑを抽出するものである。
処理装置３は、撮像手段５により撮像された画像を時系列でフレームごとに記憶するフレームメモリで構成されるフレーム画像取得手段１０と、高輝度抽出手段２０と、情報検出手段３０とを備えている。高輝度抽出手段２０及び情報検出手段３０は、パソコンやワークステーション上にプログラムという形で実現されているが、もちろん、これらの機能を実現するＡＳＩＣやＦＰＧＡ等のＬＳＩを搭載した組込み機器として構成してもよい。
フレーム画像取得手段１０は、撮像手段５から所定の時間幅で撮像されたフレーム画像Ｆkを時系列で順次取得する。
フレーム画像取得手段１０は、撮像手段５から所定の時間幅で撮像されたフレーム画像Ｆkを時系列で順次取得する。
なお、該時間幅は、数千分の一秒から数秒程度に規定されている。
高輝度抽出手段２０は、フレーム画像取得手段１０により取得された各フレーム画像Ｆkから、１又は複数の孤立領域を抽出する。
また、該高輝度抽出手段２０は、第１抽出手段２０ａと、第２抽出手段２０ｂとを有している。
第１抽出手段２０ａは、マスク手段２２と、選択手段２３とを備えている。
マスク手段２２は、フレーム画像Ｆkに撮像されるアークＡ及びその周囲（以下、アーク発生位置という）を後処理の処理対象から除外すべく該アーク発生位置にマスクＭをかける（図３参照）。撮像装置２は、溶接トーチＴと同期して移動しながらアーク溶接を撮像するので、各フレーム画像Ｆkに撮像されるアーク発生位置は所定の領域内に限定される。したがって、各フレーム画像Ｆkにおいてかかる領域一帯にマスク処理を画一的に施すこととし、これによって各フレーム画像Ｆkに存在するアーク発生位置を処理対象から除外する。
高輝度抽出手段２０は、フレーム画像取得手段１０により取得された各フレーム画像Ｆkから、１又は複数の孤立領域を抽出する。
また、該高輝度抽出手段２０は、第１抽出手段２０ａと、第２抽出手段２０ｂとを有している。
第１抽出手段２０ａは、マスク手段２２と、選択手段２３とを備えている。
マスク手段２２は、フレーム画像Ｆkに撮像されるアークＡ及びその周囲（以下、アーク発生位置という）を後処理の処理対象から除外すべく該アーク発生位置にマスクＭをかける（図３参照）。撮像装置２は、溶接トーチＴと同期して移動しながらアーク溶接を撮像するので、各フレーム画像Ｆkに撮像されるアーク発生位置は所定の領域内に限定される。したがって、各フレーム画像Ｆkにおいてかかる領域一帯にマスク処理を画一的に施すこととし、これによって各フレーム画像Ｆkに存在するアーク発生位置を処理対象から除外する。
なお、フレーム画像Ｆkに映り込むヒュームＣ等もアーク発生位置と同じく後処理の除外対象であると共に各フレーム画像Ｆkにて所定位置に現れるので、ヒュームＣ等及びその周囲にアーク発生位置と同じようにマスク処理を施すこととしても構わない。
選択手段２３は、予め設定した輝度以上の画素により画像領域を酸化物認識の判断対象として選択すると共に、該輝度よりも小さい画素により構成される画像領域を酸化物認識の判断対象から除外する。本実施形態の認識対象である酸化物Ｑは溶融池Ｐ上に存在し、該溶融池Ｐの輝度は、通常、背景となるべき母材等の輝度よりも大きい。この様な溶融池Ｐの特性を生かすべく、酸化物認識の判断対象とすべき画像の輝度範囲を溶融池Ｐの通常の輝度範囲に合わせて予め設定しておき、該輝度範囲外の輝度を有する画像を判断対象から除外することで、溶融池Ｐとして撮像されている画像領域を酸化物認識の判断対象として選択（抽出）する。
選択手段２３は、予め設定した輝度以上の画素により画像領域を酸化物認識の判断対象として選択すると共に、該輝度よりも小さい画素により構成される画像領域を酸化物認識の判断対象から除外する。本実施形態の認識対象である酸化物Ｑは溶融池Ｐ上に存在し、該溶融池Ｐの輝度は、通常、背景となるべき母材等の輝度よりも大きい。この様な溶融池Ｐの特性を生かすべく、酸化物認識の判断対象とすべき画像の輝度範囲を溶融池Ｐの通常の輝度範囲に合わせて予め設定しておき、該輝度範囲外の輝度を有する画像を判断対象から除外することで、溶融池Ｐとして撮像されている画像領域を酸化物認識の判断対象として選択（抽出）する。
第２抽出手段２０ｂは、変換手段２４と、除外手段２５と、ラベリング手段２６とを備えている。
変換手段２１は、第１抽出手段２０ａによりフレーム画像Ｆk上に抽出された画像領域に予め設定した閾値により２値化処理を施して、該フレーム画像Ｆkを２値画像に変換する。これによって、フレーム画像Ｆkは、白地となる高輝度の領域と、黒地となる低輝度の領域とにより構成される。
図３中のグラフは図中に示す一点鎖線上の輝度を示しており、該グラフに示す如く、一般的に酸化物Ｑの輝度は溶融池Ｐの輝度よりも大きい。
変換手段２１は、第１抽出手段２０ａによりフレーム画像Ｆk上に抽出された画像領域に予め設定した閾値により２値化処理を施して、該フレーム画像Ｆkを２値画像に変換する。これによって、フレーム画像Ｆkは、白地となる高輝度の領域と、黒地となる低輝度の領域とにより構成される。
図３中のグラフは図中に示す一点鎖線上の輝度を示しており、該グラフに示す如く、一般的に酸化物Ｑの輝度は溶融池Ｐの輝度よりも大きい。
したがって、上記２値化の処理後においては、白地の領域が酸化物Ｑの領域となり、黒地の領域が溶融池の領域（背景領域）として示される。
なお、上記２値化処理に代えて、前記所定の閾値よりも大きい輝度を有する画像に対し多値化処理を施すことも可能である。これにより、前記画像領域は、黒地からなる背景領域と、白地又はある閾値以上のグレー地からなる高輝度領域とに分割される。
除外手段２５は、上記変換手段２４により所定の閾値以下として示される画像を酸化物認識の判断対象から除外する。
なお、上記２値化処理に代えて、前記所定の閾値よりも大きい輝度を有する画像に対し多値化処理を施すことも可能である。これにより、前記画像領域は、黒地からなる背景領域と、白地又はある閾値以上のグレー地からなる高輝度領域とに分割される。
除外手段２５は、上記変換手段２４により所定の閾値以下として示される画像を酸化物認識の判断対象から除外する。
ラベリング手段２６は、除外手段により除外されずに残った画像領域に対し、当該画像領域を孤立領域として認識後、ラベル付け（番号付け）を行う。
情報検出手段３０は、ラベリング手段２６によりラベル付けされた各孤立領域の重心位置又は各孤立領域が外接する矩形の中心位置を求め、該重心位置又は中心位置を各孤立領域の位置情報として検出する。該位置情報はフレーム画像Ｆkごと区分けされて処理装置３内に配備された記憶装置（図示省略）に格納される。
また、各孤立領域の位置情報の検出に併せて、各孤立領域の面積、形状、真円度、楕円の長軸短軸比、長さ、幅、速度ベクトル等の特徴量を導出することも可能であり、これら特徴量及び位置情報はデータセットとして記憶装置に記録される。
情報検出手段３０は、ラベリング手段２６によりラベル付けされた各孤立領域の重心位置又は各孤立領域が外接する矩形の中心位置を求め、該重心位置又は中心位置を各孤立領域の位置情報として検出する。該位置情報はフレーム画像Ｆkごと区分けされて処理装置３内に配備された記憶装置（図示省略）に格納される。
また、各孤立領域の位置情報の検出に併せて、各孤立領域の面積、形状、真円度、楕円の長軸短軸比、長さ、幅、速度ベクトル等の特徴量を導出することも可能であり、これら特徴量及び位置情報はデータセットとして記憶装置に記録される。
なお、画像に対して上述の如く多値化処理を施していれば、輝度も特徴量として導出することが可能である。
次に、図１及び図２を参照して本実施形態の酸化物認識装置１の動作について説明する。
先ず、撮像装置２で撮像されたフレーム画像Ｆkが順次処理装置３に出力される。
フレーム画像取得手段１０は、撮像装置２のフレームメモリに１フレーム画像Ｆkを取得する命令を発行し、該フレーム画像Ｆkを記憶装置の“Ｉｍａｇｅ[ｎ]”に格納する（ステップＳ１）。
次に、図１及び図２を参照して本実施形態の酸化物認識装置１の動作について説明する。
先ず、撮像装置２で撮像されたフレーム画像Ｆkが順次処理装置３に出力される。
フレーム画像取得手段１０は、撮像装置２のフレームメモリに１フレーム画像Ｆkを取得する命令を発行し、該フレーム画像Ｆkを記憶装置の“Ｉｍａｇｅ[ｎ]”に格納する（ステップＳ１）。
高輝度抽出手段２０は、フレーム画像取得手段１０により取得されたフレーム画像Ｆに対し、第１抽出手段２０ａにてマスク処理（ステップＳ２）と選択処理（ステップＳ３）を行って、所定の輝度範囲を有する画像領域をフレーム画像Ｆkから抽出する。この様な第１抽出手段２０ａによる処理により、フレーム画像Ｆkから溶融池Ｐを示す画像領域が抽出されるのである。
その後、第２抽出手段２０ｂにより当該画像領域に２値化処理を施し（ステップＳ４）、当該領域を黒地の背景領域と白地の孤立領域とに区分する（ステップＳ４）。
その後、第２抽出手段２０ｂにより当該画像領域に２値化処理を施し（ステップＳ４）、当該領域を黒地の背景領域と白地の孤立領域とに区分する（ステップＳ４）。
その後、除外手段２３により黒地となる背景領域を検出対象から除外する（ステップＳ５）。
その後、該白地の孤立領域を対象に、ラベリング手段２６によりＩＤ番号が割り当てられる（ステップＳ６）。この様な第２抽出手段２０ｂによる処理により、フレーム画像Ｆkから溶融池Ｐを示す画像が孤立領域として抽出されるのである。
その後、該ラベリングされた各孤立領域の重心位置又は外接矩形の中心位置等の位置情報を情報検出手段３０により検出し、各位置情報を記憶装置の“ｓｅｌｅｃｔｅｄ［ｎ］”に格納する（ステップＳ７）。
その後、該白地の孤立領域を対象に、ラベリング手段２６によりＩＤ番号が割り当てられる（ステップＳ６）。この様な第２抽出手段２０ｂによる処理により、フレーム画像Ｆkから溶融池Ｐを示す画像が孤立領域として抽出されるのである。
その後、該ラベリングされた各孤立領域の重心位置又は外接矩形の中心位置等の位置情報を情報検出手段３０により検出し、各位置情報を記憶装置の“ｓｅｌｅｃｔｅｄ［ｎ］”に格納する（ステップＳ７）。
また、各孤立領域の位置情報を検出すると共に、各孤立領域の形状として特徴的な要素である面積、真円度、長さ、幅、楕円の長軸短軸比や速度ベクトル等を特徴量として検出し、該特徴量と位置情報とをデータセットとして“ｓｅｌｅｃｔｅｄ［ｎ］”に格納して処理を終了する。
本実施の形態によれば、撮像手段５により撮像されたフレーム画像Ｆkから溶融池Ｐ上の酸化物Ｑのみが認識されるものとなる。この結果、一のフレーム画像Ｆkに上述の如き処理を施すことにより、該フレーム画像Ｆkを撮像した瞬間におけるアーク溶接状況での個々の酸化物Ｑの発生状況が定量的に把握されることとなる。
［第２実施形態］
図４〜図６は本発明に係る第２実施形態を示している。本実施形態においては、撮像装置２の光軸上にバンドパスフィルタ９を配備した構成及び処理装置３が連続性判断手段４０及び酸化物認識手段５０を有している構成が上記第１実施形態と異なるものの、他の構成は第１実施形態と同じであるので、第１実施形態と同じ符号を付してその説明を省略する。
本実施の形態によれば、撮像手段５により撮像されたフレーム画像Ｆkから溶融池Ｐ上の酸化物Ｑのみが認識されるものとなる。この結果、一のフレーム画像Ｆkに上述の如き処理を施すことにより、該フレーム画像Ｆkを撮像した瞬間におけるアーク溶接状況での個々の酸化物Ｑの発生状況が定量的に把握されることとなる。
［第２実施形態］
図４〜図６は本発明に係る第２実施形態を示している。本実施形態においては、撮像装置２の光軸上にバンドパスフィルタ９を配備した構成及び処理装置３が連続性判断手段４０及び酸化物認識手段５０を有している構成が上記第１実施形態と異なるものの、他の構成は第１実施形態と同じであるので、第１実施形態と同じ符号を付してその説明を省略する。
図４に示す如く、本発明に係る第２実施形態の酸化物認識装置１２の撮像手段２の光軸上には、バンドパスフィルタ９が配備されている。該バンドパスフィルタ９は、少なくとも９００ｎｍ以上の波長を有する光を透過するものであり、好ましくは９３０ｎｍ〜９８０ｎｍの波長域を有する光波を透過するものが好ましい。
これにより、所定の輝度範囲又は色温度を有する撮像対象物のみがバンドパスフィルタ９を介して撮像される。この結果、通常きわめて高輝度なアーク光を発散するアーク発生位置及びその周辺であっても、アーク光の輝度を低減させた状態でアーク発生位置及びその周辺の画像をフレーム画像Ｆkとして取得することができ、該アーク発生位置の状況が撮像手段５２により明瞭に撮像されることとなる。
これにより、所定の輝度範囲又は色温度を有する撮像対象物のみがバンドパスフィルタ９を介して撮像される。この結果、通常きわめて高輝度なアーク光を発散するアーク発生位置及びその周辺であっても、アーク光の輝度を低減させた状態でアーク発生位置及びその周辺の画像をフレーム画像Ｆkとして取得することができ、該アーク発生位置の状況が撮像手段５２により明瞭に撮像されることとなる。
また、処理装置３は、フレーム画像取得手段１０と、高輝度抽出手段２０と、情報検出手段３０に加えて、連続性判断手段４０と、スパッタ認識手段５０とを備えている。該連続性判断手段４０及びスパッタ認識手段５０は、パソコンやワークステーション上にプログラムという形で実現されているが、もちろん、これらの機能を実現するＡＳＩＣやＦＰＧＡ等のＬＳＩを搭載した組込み機器として構成してもよい。
複数の連続するフレーム画像Ｆkについてフレーム画像取得手段１０から情報検出手段３０までの処理を行った後、連続性判断手段４０では、各フレーム画像Ｆk間の各孤立領域の位置情報（及び特徴量）に基づいて、連続するフレーム画像Ｆ1、Ｆ2、…Ｆk-1、Ｆk、Ｆk+1、…Ｆn間における孤立領域の連続性の判断を行う。
複数の連続するフレーム画像Ｆkについてフレーム画像取得手段１０から情報検出手段３０までの処理を行った後、連続性判断手段４０では、各フレーム画像Ｆk間の各孤立領域の位置情報（及び特徴量）に基づいて、連続するフレーム画像Ｆ1、Ｆ2、…Ｆk-1、Ｆk、Ｆk+1、…Ｆn間における孤立領域の連続性の判断を行う。
本実施形態においては、連続性判断手段４０として、第１判断手段４１と、第２判断手段４２と、連続性認定手段４３とを備えている。
また、連続性判断手段４０は、図６に示す如く、一度の処理につき、連続する３つのフレーム画像Ｆk、Ｆk+1、Ｆk+2を判断対象とする。
第１判断手段４１は、第１フレーム画像Ｆkと第２フレーム画像Ｆk+1の各孤立領域の位置情報に基づいて、これら第１及び第２フレーム画像Ｆk、Ｆk+1間において連続性ありと判断される孤立領域の組合せがあるか否かを判断する。かかる判断は、フレーム画像Ｆk、Ｆk+1間での位置情報の近傍性や方向性等により判断される。
また、連続性判断手段４０は、図６に示す如く、一度の処理につき、連続する３つのフレーム画像Ｆk、Ｆk+1、Ｆk+2を判断対象とする。
第１判断手段４１は、第１フレーム画像Ｆkと第２フレーム画像Ｆk+1の各孤立領域の位置情報に基づいて、これら第１及び第２フレーム画像Ｆk、Ｆk+1間において連続性ありと判断される孤立領域の組合せがあるか否かを判断する。かかる判断は、フレーム画像Ｆk、Ｆk+1間での位置情報の近傍性や方向性等により判断される。
また、これら第１及び第２フレーム画像Ｆk、Ｆk+1間で連続性ありと判断された位置情報にマークｑ1、ｑ2を付けて記憶装置に格納する。
第２判断手段４２は、第２フレーム画像Ｆk+1と第３フレーム画像Ｆk+2の各孤立領域の位置情報に基づいて、これら第２及び第３フレーム画像Ｆk+1、Ｆk+2間において連続性ありと判断される孤立領域の組合せがあるか否かを判断する。このとき、第２フレーム画像Ｆk+1の孤立領域の位置情報としては、第１判断手段４１によりマークを付けた位置情報ｑ2のみを判断対象とすれば良い。かかるマーク付けした位置情報ｑ1、ｑ2に対し、第３フレーム画像Ｆk+2との間で連続性を有する位置情報の組合せがあるか否かを判断する。
第２判断手段４２は、第２フレーム画像Ｆk+1と第３フレーム画像Ｆk+2の各孤立領域の位置情報に基づいて、これら第２及び第３フレーム画像Ｆk+1、Ｆk+2間において連続性ありと判断される孤立領域の組合せがあるか否かを判断する。このとき、第２フレーム画像Ｆk+1の孤立領域の位置情報としては、第１判断手段４１によりマークを付けた位置情報ｑ2のみを判断対象とすれば良い。かかるマーク付けした位置情報ｑ1、ｑ2に対し、第３フレーム画像Ｆk+2との間で連続性を有する位置情報の組合せがあるか否かを判断する。
これにより、これら第２及び第３フレーム画像Ｆk+1、Ｆk+2間で連続性ありと判断される位置情報ｑ2、ｑ3に位置情報ｑ1を加えた３つが、３つの連続するフレーム画像Ｆk、Ｆk+1、Ｆk+2で連続性を有していることとなる。これをもって、一連の位置情報を有する孤立領域に連続性ありと連続性認定手段４３により認定される。
酸化物認識手段５０は、上記連続性判断手段４０にて連続性ありと判断される一連の孤立領域群をアーク溶接に伴い発生した酸化物Ｑとして認識すると共に、連続性なしと判断される孤立領域をノイズＤとして認識する。
酸化物認識手段５０は、上記連続性判断手段４０にて連続性ありと判断される一連の孤立領域群をアーク溶接に伴い発生した酸化物Ｑとして認識すると共に、連続性なしと判断される孤立領域をノイズＤとして認識する。
次に、図４及び図５を参照して本実施の酸化物認識装置１２の動作について説明する。
先ず、撮像装置２で撮像されたフレーム画像Ｆが順次処理装置３に出力される。
フレーム画像取得手段１０は、撮像装置２のフレームメモリに１フレーム画像Ｆkを取得する命令を発行し、該フレーム画像Ｆを記憶装置の“Ｉｍａｇｅ[ｎ]”に格納する（ステップＳ１）。
高輝度抽出手段２０は、フレーム画像取得手段１０により取得されたフレーム画像Ｆに対し、第１抽出手段２０ａにてマスク処理（ステップＳ２）と選択処理（ステップＳ３）を行って、所定の輝度範囲を有する画像領域をフレーム画像から抽出する。この様な第１抽出手段２０ａによる処理により、フレーム画像Ｆkから溶融池Ｐを示す画像が抽出されるのである。
先ず、撮像装置２で撮像されたフレーム画像Ｆが順次処理装置３に出力される。
フレーム画像取得手段１０は、撮像装置２のフレームメモリに１フレーム画像Ｆkを取得する命令を発行し、該フレーム画像Ｆを記憶装置の“Ｉｍａｇｅ[ｎ]”に格納する（ステップＳ１）。
高輝度抽出手段２０は、フレーム画像取得手段１０により取得されたフレーム画像Ｆに対し、第１抽出手段２０ａにてマスク処理（ステップＳ２）と選択処理（ステップＳ３）を行って、所定の輝度範囲を有する画像領域をフレーム画像から抽出する。この様な第１抽出手段２０ａによる処理により、フレーム画像Ｆkから溶融池Ｐを示す画像が抽出されるのである。
その後、第２抽出手段２０ｂにより当該画像領域に２値化処理を施し（ステップＳ４）、当該領域を黒地の背景領域と白地の孤立領域とに区分する（ステップＳ４）。
その後、除外手段２３により背景領域を検出対象から除外する（ステップＳ５）。
その後、該白地の孤立領域を対象に、ラベリング手段２６によりＩＤ番号が割り当てられる（ステップＳ６）。この様な第２抽出手段２０ｂによる処理により、フレーム画像Ｆkから溶融池Ｐを示す画像が孤立領域として抽出されるのである。
その後、該ラベリングされた各孤立領域の重心位置又は外接矩形の中心位置等の位置情報を情報検出手段３０により検出し、各位置情報を記憶装置の“ｓｅｌｅｃｔｅｄ［ｎ］”に格納する（ステップＳ７）。
その後、除外手段２３により背景領域を検出対象から除外する（ステップＳ５）。
その後、該白地の孤立領域を対象に、ラベリング手段２６によりＩＤ番号が割り当てられる（ステップＳ６）。この様な第２抽出手段２０ｂによる処理により、フレーム画像Ｆkから溶融池Ｐを示す画像が孤立領域として抽出されるのである。
その後、該ラベリングされた各孤立領域の重心位置又は外接矩形の中心位置等の位置情報を情報検出手段３０により検出し、各位置情報を記憶装置の“ｓｅｌｅｃｔｅｄ［ｎ］”に格納する（ステップＳ７）。
各フレーム画像Ｆkに対しフレーム画像取得手段１０から情報検出手段３０までの処理を行った後、連続性判断手段４０により連続した３つフレーム画像Ｆk、Ｆk+1、Ｆk+2間での孤立領域の連続性の有無を判断する（ステップＳ８）。連続性を有すると判断された場合、酸化物認識手段５０にてこれら一連の位置情報を有する孤立領域群を酸化物Ｑとして認識する（ステップＳ９）。一方、連続性なしと判断された場合、これらの位置情報を有する孤立領域を酸化物ＱではないノイズＤと認識する（ステップＳ１０）。かかる判断を連続する複数の又は全ての各フレーム画像Ｆkに亘って行った後、処理を終了する。
本実施の形態によれば、撮像手段５により撮像されたフレーム画像Ｆkから酸化物Ｑのみが認識され、ノイズＤ等の酸化物Ｑとは異なるものを示す孤立領域が誤って酸化物Ｑとして認識されるおそれはない。また、各フレーム画像Ｆk間の孤立領域の関係から各酸化物Ｑの経時的な挙動を把握することができ、上記アーク溶接状況下における個々の酸化物Ｑの発生が正確に把握されることとなる。
また、所定の撮像時間の間に撮像した全フレーム画像Ｆkに処理を施すことにより、当該撮像時間内に発生した酸化物Ｑの発生量を正確に計数することができる。
また、所定の撮像時間の間に撮像した全フレーム画像Ｆkに処理を施すことにより、当該撮像時間内に発生した酸化物Ｑの発生量を正確に計数することができる。
また、本実施の形態によれば、少なくとも連続する３つのフレーム画像Ｆk、Ｆk+1、Ｆk+2間で孤立領域の連続性が判断される。このため、撮像手段５により得られたフレーム画像Ｆkの枚数が膨大なものとなっても、これによって迅速な処理が可能となっている。
また、上記酸化物Ｑの認識において、孤立領域の位置情報だけでなく該位置情報とデータセットとして抽出される特徴量を判断の対象とすることにより、より正確に酸化物Ｑが認識される。また、この様に特徴量を抽出しておくことにより、各酸化物Ｑの大きさや輝度等も把握することができる。この場合、認識された複数の酸化物Ｑを様々な特徴量を指標として分類することができ、酸化物Ｑの性状把握に効果的である。
［第３実施形態］
図７〜図９は本発明に係る第３実施形態を示している。本発明の第３実施形態の酸化物認識装置１３は、第２実施形態の連続性判断手段４０の第１判断手段４１として、領域形成手段４６と、領域設定手段４７と、領域判断手段４８と、連続性認定手段４９とを有している。同様に、第２判断手段４２として、領域形成手段４６と、領域設定手段４７と、領域判断手段４８と、位置連続認定手段４９とを有している。
また、上記酸化物Ｑの認識において、孤立領域の位置情報だけでなく該位置情報とデータセットとして抽出される特徴量を判断の対象とすることにより、より正確に酸化物Ｑが認識される。また、この様に特徴量を抽出しておくことにより、各酸化物Ｑの大きさや輝度等も把握することができる。この場合、認識された複数の酸化物Ｑを様々な特徴量を指標として分類することができ、酸化物Ｑの性状把握に効果的である。
［第３実施形態］
図７〜図９は本発明に係る第３実施形態を示している。本発明の第３実施形態の酸化物認識装置１３は、第２実施形態の連続性判断手段４０の第１判断手段４１として、領域形成手段４６と、領域設定手段４７と、領域判断手段４８と、連続性認定手段４９とを有している。同様に、第２判断手段４２として、領域形成手段４６と、領域設定手段４７と、領域判断手段４８と、位置連続認定手段４９とを有している。
領域形成手段４６は、高輝度抽出手段２０により抽出された図９に示すフレーム画像Ｆkの孤立領域の位置情報（例えば重心）ｑkを中心とした半径領域Ｅkを検索対象領域として設定する（ステップＳ８３１）。
領域設定手段４７は、図９に示す如く、該半径領域Ｅkを次のフレーム画像Ｆk+1にプロット（領域設定）する（ステップＳ８３２）。また、領域判断手段４８は、該半径領域Ｅk内に当該フレーム画像Ｆk+1の孤立領域の位置情報ｑk+1が包含されるか否か判断する（ステップＳ８３３）。
領域設定手段４７は、図９に示す如く、該半径領域Ｅkを次のフレーム画像Ｆk+1にプロット（領域設定）する（ステップＳ８３２）。また、領域判断手段４８は、該半径領域Ｅk内に当該フレーム画像Ｆk+1の孤立領域の位置情報ｑk+1が包含されるか否か判断する（ステップＳ８３３）。
該半径領域Ｅk内に位置情報がある場合には、これらの位置情報ｑk、ｑk+1に連続性ありとして位置連続認定手段４９により認定し、抽出する（ステップＳ８３４）。また、位置情報ｑk+1が存在しない場合には、位置情報ｑkに連続する位置情報は存在しないとして位置連続認定手段４９により認定する（ステップＳ８３５）。
本実施の形態においては、第１判断手段４１及び第２判断手段４２において上述の如き方法を用いて第１フレーム画像Ｆkと第２フレーム画像Ｆk+1、第２フレーム画像Ｆk+1と第３フレーム画像Ｆk+2の間での孤立領域の連続性を判断した後、連続性認定手段４８により該連続性を認定し、酸化物認識手段５０にて連続性ありと判断される一連の孤立領域群を同一の酸化物Ｑと認識し、処理を終了する。
本実施の形態においては、第１判断手段４１及び第２判断手段４２において上述の如き方法を用いて第１フレーム画像Ｆkと第２フレーム画像Ｆk+1、第２フレーム画像Ｆk+1と第３フレーム画像Ｆk+2の間での孤立領域の連続性を判断した後、連続性認定手段４８により該連続性を認定し、酸化物認識手段５０にて連続性ありと判断される一連の孤立領域群を同一の酸化物Ｑと認識し、処理を終了する。
本実施の形態によれば、一のフレーム画像Ｆkにおいて認識された孤立領域に対し、次のフレーム画像Ｆk+1にて孤立領域の最も近傍に位置する孤立領域が当該前フレーム画像Ｆkの孤立領域との間に連続性があるものとして認識される。
酸化物Ｑの移動速度は、撮像装置２により撮像される撮像対象にあって著しく速いものであり、該酸化物Ｑを上述の如き高速度カメラからなる撮像装置２によって撮像することにより、各フレーム画像Ｆkにて酸化物Ｑが一定の領域を有する孤立領域として撮像されると共に、連続するフレーム画像Ｆk、Ｆk+1間において同一の酸化物Ｑを示すこととなる孤立領域の間隔はきわめて小さなもの（他の孤立領域との間隔に比して、最小）となるのである。
酸化物Ｑの移動速度は、撮像装置２により撮像される撮像対象にあって著しく速いものであり、該酸化物Ｑを上述の如き高速度カメラからなる撮像装置２によって撮像することにより、各フレーム画像Ｆkにて酸化物Ｑが一定の領域を有する孤立領域として撮像されると共に、連続するフレーム画像Ｆk、Ｆk+1間において同一の酸化物Ｑを示すこととなる孤立領域の間隔はきわめて小さなもの（他の孤立領域との間隔に比して、最小）となるのである。
本実施の形態は、この様な酸化物Ｑの特性及び撮像装置２の特性を有効に利用しており、これによって、連続するフレーム画像Ｆk、Ｆk+1間での孤立領域の連続性から正確に酸化物Ｑが認識される。
また、設定された半径領域内での位置情報の有無を判断するものであるため、当該半径領域のみを処理対象とすることができ、処理速度の向上も図られる。
［第４実施形態］
図１０〜図１４は本発明に係る第４実施形態を示している。
また、設定された半径領域内での位置情報の有無を判断するものであるため、当該半径領域のみを処理対象とすることができ、処理速度の向上も図られる。
［第４実施形態］
図１０〜図１４は本発明に係る第４実施形態を示している。
図１０に示す如く、本発明に係る第４実施形態の酸化物認識装置１４の連続性判断手段４０は、第１判断手段４１として、領域形成手段４６と、領域設定手段４７と、領域判断手段４８と、位置連続認定手段４９とに加えて、比較手段６１と、結合判断手段６２と、分離判断手段６３とを有している。同様に、第２判断手段４２として、領域形成手段４６と、領域設定手段４７と、領域判断手段４８と、位置連続認定手段４９とに加えて、比較手段６１と、結合判断手段６２と、分離判断手段６３とを有している。
比較手段６１は、図１２に示す如く、一のフレーム画像Ｆkにて検出された少なくとも二以上の孤立領域の位置情報及び特徴量と次フレーム画像Ｆk+1の孤立領域の位置情報及び特徴量とを比較する。
比較手段６１は、図１２に示す如く、一のフレーム画像Ｆkにて検出された少なくとも二以上の孤立領域の位置情報及び特徴量と次フレーム画像Ｆk+1の孤立領域の位置情報及び特徴量とを比較する。
結合判断手段６２は、比較手段６１による比較結果から次フレーム画像Ｆk+1の孤立領域を前記一のフレーム画像Ｆkの二以上の孤立領域を結合したものか否かを判断する。
また、比較手段６１は、図１４に示す如く、一のフレーム画像Ｆkにて検出された一の孤立領域の位置情報及び特徴量と次フレーム画像Ｆk+1の少なくとも二以上の孤立領域の位置情報及び特徴量とを比較することも可能である。
そして、分離判断手段６３は、比較手段６１による比較結果から次フレーム画像Ｆk+1のこれら二以上の孤立領域を前記一のフレーム画像Ｆkの一の孤立領域を分離したものと判断する。
また、比較手段６１は、図１４に示す如く、一のフレーム画像Ｆkにて検出された一の孤立領域の位置情報及び特徴量と次フレーム画像Ｆk+1の少なくとも二以上の孤立領域の位置情報及び特徴量とを比較することも可能である。
そして、分離判断手段６３は、比較手段６１による比較結果から次フレーム画像Ｆk+1のこれら二以上の孤立領域を前記一のフレーム画像Ｆkの一の孤立領域を分離したものと判断する。
溶融池Ｐ上を移動する複数の酸化物Ｑは、互いに衝突することにより結合する場合がある。このとき、結合前の複数の酸化物Ｑと結合後の酸化物Ｑの面積を比較すると、結合前の酸化物Ｑの面積和は結合後の酸化物Ｑの面積に略等しい。また、変換手段２４により多値化処理を施していれば、輝度についても比較することができ、結合前の複数の酸化物Ｑと結合後の酸化物Ｑの輝度は互いに略等しいと考えられる。また、結合前の複数の酸化物Ｑの速度ベクトルから結合後の酸化物Ｑの速度ベクトルは演算により推定可能である。一の酸化物Ｑから複数の酸化物Ｑが分離する場合も同様である。
また、溶融金属上を浮遊する酸化物Ｑは、界面エネルギーを可及的低く保つべく溶融金属との接触面積を最小限のものとする円形や楕円形若しくはこれらに近似する円形状を呈している。かかる点に鑑みれば、結合・分離前後の各酸化物Ｑの形状も上述の如き円形状を維持しており、該形状からも酸化物Ｑの結合・分離を推定することも可能である。
本実施形態は、酸化物Ｑのこの様な特性に着眼したものであって、孤立領域の結合を結合判断手段６２により判断する方法としては、先ず、領域形成手段４６により、高輝度抽出手段２０により抽出された図１２に示すフレーム画像Ｆkの孤立領域の位置情報（例えば重心）ｑk、ｑl中心とした半径領域Ｅk、Ｅlを検索対象領域として設定する（ステップＳ８４１１）。
本実施形態は、酸化物Ｑのこの様な特性に着眼したものであって、孤立領域の結合を結合判断手段６２により判断する方法としては、先ず、領域形成手段４６により、高輝度抽出手段２０により抽出された図１２に示すフレーム画像Ｆkの孤立領域の位置情報（例えば重心）ｑk、ｑl中心とした半径領域Ｅk、Ｅlを検索対象領域として設定する（ステップＳ８４１１）。
次に、領域設定手段４７により、該半径領域Ｅk、Ｅlを次のフレーム画像Ｆk+1にプロット（領域設定）する（ステップＳ８４１２）。その後、領域判断手段４８により、該半径領域Ｅk、Ｅl内に当該フレーム画像Ｆk+1の孤立領域の位置情報ｑk+1が包含されるか否か判断する（ステップＳ８４１３）。
該半径領域Ｅk、Ｅl内に位置情報ｑk+1が存在しない場合には、これら位置情報間に連続性なしと認定する（ステップＳ８４１４）。
該半径領域Ｅk、Ｅl内に位置情報ｑk+1が存在する場合には、これらの位置情報ｑk、ｑlとｑk+1の特徴量を比較手段６１により比較し（ステップＳ８４１５）、これら位置情報に係る孤立領域の関連性について判断する（ステップＳ８４１６）。当該比較すべき特徴量としては、大きさ、速度ベクトル、輝度等が挙げられる。そして、これら特徴量に関連ありと判断される場合には、位置情報ｑk+1に係る孤立領域は前フレーム画像の位置情報ｑk、ｑlに係る孤立領域を結合して形成されたものであると判断する（ステップＳ８４１７）。
該半径領域Ｅk、Ｅl内に位置情報ｑk+1が存在しない場合には、これら位置情報間に連続性なしと認定する（ステップＳ８４１４）。
該半径領域Ｅk、Ｅl内に位置情報ｑk+1が存在する場合には、これらの位置情報ｑk、ｑlとｑk+1の特徴量を比較手段６１により比較し（ステップＳ８４１５）、これら位置情報に係る孤立領域の関連性について判断する（ステップＳ８４１６）。当該比較すべき特徴量としては、大きさ、速度ベクトル、輝度等が挙げられる。そして、これら特徴量に関連ありと判断される場合には、位置情報ｑk+1に係る孤立領域は前フレーム画像の位置情報ｑk、ｑlに係る孤立領域を結合して形成されたものであると判断する（ステップＳ８４１７）。
一方、これら特徴量に関連なしと判断される場合には、位置情報ｑk+1に係る孤立領域と前フレーム画像の位置情報ｑk、ｑlに係る孤立領域とは無関係であるとして認識する（ステップＳ８４１８）。
その後、上記第２の実施形態と同様に、スパッタ認識手段５０にて該一連の孤立領域群を同一の酸化物Ｑと認識し、処理を終了する。
また、孤立領域の分離を分離判断手段６３により判断する方法としては、先ず、領域形成手段４６により、高輝度抽出手段２０により抽出された図１４に示すフレーム画像Ｆkの孤立領域の位置情報（例えば重心）ｑk中心とした半径領域Ｅkを検索対象領域として設定する（ステップＳ８４２１）。
その後、上記第２の実施形態と同様に、スパッタ認識手段５０にて該一連の孤立領域群を同一の酸化物Ｑと認識し、処理を終了する。
また、孤立領域の分離を分離判断手段６３により判断する方法としては、先ず、領域形成手段４６により、高輝度抽出手段２０により抽出された図１４に示すフレーム画像Ｆkの孤立領域の位置情報（例えば重心）ｑk中心とした半径領域Ｅkを検索対象領域として設定する（ステップＳ８４２１）。
次に、領域設定手段４７により、該半径領域Ｅkを次のフレーム画像Ｆk+1にプロット（領域設定）する（ステップＳ８４２２）。その後、領域判断手段４８により、該半径領域Ｅk内に当該フレーム画像Ｆk+1の孤立領域の位置情報ｑk+1、ｑl+1が包含されるか否か判断する（ステップＳ８４２３）。
該半径領域Ｅk内に位置情報ｑk+1、ｑl+1が存在しない場合には、これら位置情報間に連続性なしと認定する（ステップＳ８４２４）。
該半径領域Ｅk内に位置情報ｑk+1、ｑl+1が存在する場合には、これらの位置情報ｑkとｑk+1、ｑl+1の特徴量を比較手段６１により比較し（ステップＳ８４２５）、これら位置情報に係る孤立領域の関連性について判断する（ステップＳ８４２６）。当該比較すべき特徴量としては、大きさ、輝度、速度ベクトル等が挙げられる。そして、これら特徴量に関連ありと判断される場合には、位置情報ｑk+1、ｑl+1に係る孤立領域は前フレーム画像の位置情報ｑkに係る孤立領域から分離して形成されたものであると判断する（ステップＳ８４２７）。
該半径領域Ｅk内に位置情報ｑk+1、ｑl+1が存在しない場合には、これら位置情報間に連続性なしと認定する（ステップＳ８４２４）。
該半径領域Ｅk内に位置情報ｑk+1、ｑl+1が存在する場合には、これらの位置情報ｑkとｑk+1、ｑl+1の特徴量を比較手段６１により比較し（ステップＳ８４２５）、これら位置情報に係る孤立領域の関連性について判断する（ステップＳ８４２６）。当該比較すべき特徴量としては、大きさ、輝度、速度ベクトル等が挙げられる。そして、これら特徴量に関連ありと判断される場合には、位置情報ｑk+1、ｑl+1に係る孤立領域は前フレーム画像の位置情報ｑkに係る孤立領域から分離して形成されたものであると判断する（ステップＳ８４２７）。
一方、これら特徴量に関連なしと判断される場合には、位置情報ｑk+1に係る孤立領域と前フレーム画像の位置情報ｑk、ｑlに係る孤立領域とは無関係であるとして認識する（ステップＳ８４２８）。
その後、上記第２の実施形態と同様に、酸化物認識手段５０にて該一連の孤立領域群を同一の酸化物Ｑと認識し、処理を終了する。
本実施形態によれば、一のフレーム画像Ｆkと次フレーム画像Ｆk+1とを比較判断することにより複数の酸化物Ｑの結合や分離を判断することができ、より実情に即した酸化物Ｑの認識を可能とする。
［第５実施形態］
図１５〜図１７は本発明に係る第５実施形態を示している。
その後、上記第２の実施形態と同様に、酸化物認識手段５０にて該一連の孤立領域群を同一の酸化物Ｑと認識し、処理を終了する。
本実施形態によれば、一のフレーム画像Ｆkと次フレーム画像Ｆk+1とを比較判断することにより複数の酸化物Ｑの結合や分離を判断することができ、より実情に即した酸化物Ｑの認識を可能とする。
［第５実施形態］
図１５〜図１７は本発明に係る第５実施形態を示している。
図５に示す如く、本発明の第５実施形態の酸化物認識装置１５の連続性判断手段４０は、軌跡判断手段７１と、連続性認定手段７２とを有している。
軌跡判断手段７１は、高輝度抽出手段２０を経て情報検出手段３０により抽出された各フレーム画像Ｆkの孤立領域の位置情報に基づいて軌跡を形成する。
具体的には、図１６に示す如く、先ず、高輝度抽出手段２０により抽出された各フレーム画像Ｆkの孤立領域の位置情報を仮想のフレーム画像Ｆvにプロットする（図１７参照）（ステップＳ８５１）。このとき、各孤立領域は、フレーム画像Ｆkごとに階層分け（区分け）をしておく。
軌跡判断手段７１は、高輝度抽出手段２０を経て情報検出手段３０により抽出された各フレーム画像Ｆkの孤立領域の位置情報に基づいて軌跡を形成する。
具体的には、図１６に示す如く、先ず、高輝度抽出手段２０により抽出された各フレーム画像Ｆkの孤立領域の位置情報を仮想のフレーム画像Ｆvにプロットする（図１７参照）（ステップＳ８５１）。このとき、各孤立領域は、フレーム画像Ｆkごとに階層分け（区分け）をしておく。
そして、同じ階層となるものを含まないこと、アーク発生位置側から溶融池Ｐを示す画像領域の外縁に向けて軌跡を描けること等の条件を満たす軌跡の形成を試みる（ステップＳ８５２）。
図１７に示す如く、これらの条件を満たす軌跡を形成できた場合には、該軌跡を形成する一連の位置情報に連続性ありとして連続性認定手段７２により認定し、抽出する（ステップＳ８５３）。一方、この様な軌跡を描くことができない孤立領域群は、連続性なしとして認定される（ステップＳ８５４）。
図１７に示す如く、これらの条件を満たす軌跡を形成できた場合には、該軌跡を形成する一連の位置情報に連続性ありとして連続性認定手段７２により認定し、抽出する（ステップＳ８５３）。一方、この様な軌跡を描くことができない孤立領域群は、連続性なしとして認定される（ステップＳ８５４）。
その後、上記第２の実施形態と同様に、スパッタ認識手段５０にて該一連の孤立領域群を同一の酸化物Ｑと認識し、処理を終了する。
本実施の形態によれば、アーク発生位置から延びる一の軌跡を描く一連の孤立領域群が一の酸化物Ｑと判断され、より正確に酸化物Ｑが認識されることとなる。
なお、図１７に２点鎖線で示すウインドＵ1を設定し、該ウインドＵ1を一側から他側に向けて通過する軌跡を軌跡判断手段７１により抽出し、連続性認定手段７２により認定して抽出することも可能である。また、アーク発生位置を中心に半径ＲのウインドＵ2を設定することも可能であり、該ウインドＵ2の中央付近から外周に向けて形成される軌跡を軌跡判断手段７１により抽出し、連続性認定手段７２により認定して抽出することも可能である。
本実施の形態によれば、アーク発生位置から延びる一の軌跡を描く一連の孤立領域群が一の酸化物Ｑと判断され、より正確に酸化物Ｑが認識されることとなる。
なお、図１７に２点鎖線で示すウインドＵ1を設定し、該ウインドＵ1を一側から他側に向けて通過する軌跡を軌跡判断手段７１により抽出し、連続性認定手段７２により認定して抽出することも可能である。また、アーク発生位置を中心に半径ＲのウインドＵ2を設定することも可能であり、該ウインドＵ2の中央付近から外周に向けて形成される軌跡を軌跡判断手段７１により抽出し、連続性認定手段７２により認定して抽出することも可能である。
以上、本発明の実施の形態を詳述したが、本発明は上記の実施の形態に限定されるものではない。例えば、領域形成手段４６と、領域設定手段４７と、領域判断手段４８と、位置連続認定手段４９から連続性判断手段４０を構成し、連続する２フレーム画像Ｆk、Ｆk+1間での連続性の判断を時系列で最初のフレーム画像Ｆ1から最後のフレーム画像Ｆnまで繰り返し行うことによって孤立領域の連続性を判断する構成を採用することもできる。
また、連続性判断手段４０においては、位置情報及び特徴量を判断対象として、画像処理におけるパターンマッチング等の探索の手法や運動物体の追跡の手法を用いることも可能である。
また、連続性判断手段４０においては、位置情報及び特徴量を判断対象として、画像処理におけるパターンマッチング等の探索の手法や運動物体の追跡の手法を用いることも可能である。
また、図１８に示す如く、撮像手段５の撮像倍率を拡大することにより、アーク発生領域周辺のうち、溶滴Ｐ’（溶融金属）及びその周辺のみをフレーム画像Ｆkとして撮像することも可能であり、該フレーム画像Ｆkに上記処理を施すことにより、溶滴Ｐ’上に発生する酸化物Ｑも定量的に把握することが可能となる。
１ 酸化物認識装置
２ 撮像装置
３ 処理装置
５ 撮像手段
７ 移動手段
９ バンドパスフィルタ
１０ フレーム画像取得手段
２０ 高輝度抽出手段
２０Ａ 第１抽出手段
２０Ｂ 第２抽出手段
２２ マスク手段
２３ 選択手段
２４ 変換手段
２５ 除外手段
２６ ラベリング手段
３０ 情報検出手段
４０ 連続性判断手段
４１ 第１判断手段
４２ 第２判断手段
４３ 連続性認定手段
４６ 領域形成手段
４７ 領域設定手段
４８ 領域判断手段
４９ 連続性認定手段
５０ 酸化物認識手段
６１ 比較手段
６２ 結合判断手段
６３ 分離判断手段
７１ 軌跡判断手段
７２ 連続性認定手段
Ｆ フレーム画像
Ｐ 溶融池
Ｐ’ 溶滴
Ｑ 酸化物
２ 撮像装置
３ 処理装置
５ 撮像手段
７ 移動手段
９ バンドパスフィルタ
１０ フレーム画像取得手段
２０ 高輝度抽出手段
２０Ａ 第１抽出手段
２０Ｂ 第２抽出手段
２２ マスク手段
２３ 選択手段
２４ 変換手段
２５ 除外手段
２６ ラベリング手段
３０ 情報検出手段
４０ 連続性判断手段
４１ 第１判断手段
４２ 第２判断手段
４３ 連続性認定手段
４６ 領域形成手段
４７ 領域設定手段
４８ 領域判断手段
４９ 連続性認定手段
５０ 酸化物認識手段
６１ 比較手段
６２ 結合判断手段
６３ 分離判断手段
７１ 軌跡判断手段
７２ 連続性認定手段
Ｆ フレーム画像
Ｐ 溶融池
Ｐ’ 溶滴
Ｑ 酸化物
Claims (14)
- アーク溶接中に溶融金属及びその周囲を複数のフレーム画像に時系列で順次撮像し、
所定の輝度範囲の有する領域を抽出し、
該領域内であって且つ予め規定した閾値よりも大きい輝度を有する１又は複数の孤立領域を抽出し、
該抽出された各孤立領域の位置情報、及び各孤立領域の面積、形状、真円度、長さ、幅、長軸短軸比、速度ベクトル、輝度の少なくとも一つ以上で規定される特徴量を検出し、
該検出された各孤立領域の位置情報と前記特徴量とのフレーム画像間での比較に基づいて連続するフレーム画像間における孤立領域の連続性の有無を判断し、
連続性ありと判断される一連の孤立領域群をアーク溶接に伴い発生した一の酸化物として認識する、
ことを特徴とするアーク溶接における酸化物認識方法。 - 前記連続するフレーム画像とは、少なくとも３フレームに亘り続くフレーム画像であることを特徴とする請求項１に記載のアーク溶接における酸化物認識方法。
- 前記連続性の有無の判断は、
一のフレーム画像にて検出された孤立領域の位置情報を中心とする所定の半径領域を形成し、
該半径領域を次のフレーム画像に設定し、
該半径領域内に当該次のフレーム画像における孤立領域の位置情報が存在するか否かを判断し、
存在すると判断したときには前記一のフレーム画像の孤立領域と前記次のフレーム画像の孤立領域との間に連続性ありと認定する、
ことを特徴とする請求項１又は請求項２に記載のアーク溶接における酸化物認識方法。 - 前記連続性の有無の判断を判断するに際し、
一のフレーム画像にて検出された少なくとも二以上の孤立領域の位置情報及び前記特徴量と次フレーム画像の孤立領域の位置情報及び前記特徴量とを比較して、該孤立領域を前記一のフレーム画像の二以上の孤立領域を結合したものと判断することを特徴とする請求項１乃至請求項３の何れかに記載の酸化物認識方法。 - 前記連続性の有無の判断を判断するに際し、
一のフレーム画像にて検出された一の孤立領域の位置情報及び前記特徴量と次フレーム画像の少なくとも二以上の孤立領域の位置情報及び前記特徴量とを比較して、これら二以上の孤立領域を前記一のフレーム画像の一の孤立領域を分離したものと判断することを特徴とする請求項１乃至請求項４の何れかに記載の酸化物認識方法。 - 前記各フレーム画像から１又は複数の孤立領域を抽出するに際し、
各フレーム画像のアーク発生位置にマスク処理を施すことを特徴とする請求項１乃至請求項５の何れかに記載のアーク溶接における酸化物認識方法。 - 前記アーク溶接中に溶融金属及びその周囲を複数の連続するフレーム画像に撮像するに際し、バンドパスフィルタを介して前記溶融金属及びその周囲を撮像することを特徴とする請求項１乃至請求項６の何れかに記載の酸化物認識方法。
- アーク溶接中に溶融金属及びその周囲を複数のフレーム画像に時系列で順次撮像する撮像手段と、
所定の輝度範囲の有する領域を抽出する第１抽出手段と、
該領域内であって且つ予め規定した閾値よりも大きい輝度を有する１又は複数の孤立領域を抽出する第２抽出手段と、
該抽出された各孤立領域の位置情報、及び各孤立領域の面積、形状、真円度、長さ、幅、長軸短軸比、速度ベクトル、輝度の少なくとも一つ以上で規定される特徴量を検出する情報検出手段と、
該検出された各孤立領域の位置情報と前記特徴量とのフレーム画像間での比較に基づいて連続するフレーム画像間における孤立領域の連続性の有無を判断する連続性判断手段と、
連続性ありと判断される一連の孤立領域群をアーク溶接に伴い発生した一の酸化物として認識する酸化物認識手段と、
を有することを特徴とするアーク溶接における酸化物認識装置。 - 前記連続性判断手段は、少なくとも３フレームに亘り続くフレーム画像間で孤立領域の連続性を判断するものであることを特徴とする請求項８に記載のアーク溶接における酸化物認識装置。
- 前記連続性判断手段は、
一のフレーム画像にて検出された孤立領域の位置情報を中心とする所定の半径領域を形成する領域形成手段と、
該半径領域を次のフレーム画像に設定する領域設定手段と、
該半径領域内に当該次のフレーム画像における孤立領域の位置情報が存在するか否かを判断する領域判断手段と、
存在すると判断したときには前記一のフレーム画像の孤立領域と前記次のフレーム画像の孤立領域との間に連続性ありと認定する連続性認定手段と、
を有していることを特徴とする請求項８又は請求項９に記載のアーク溶接における酸化物認識装置。 - 前記連続性判断手段は、
一のフレーム画像にて検出された少なくとも二以上の孤立領域の位置情報及び前記特徴量と次フレーム画像の孤立領域の位置情報及び前記特徴量とを比較する比較手段と、
該孤立領域を前記一のフレーム画像の二以上の孤立領域を結合したものと判断する結合判断手段と、
を有していることを特徴とする請求項８乃至請求項１０の何れかに記載のアーク溶接における酸化物認識装置。 - 前記連続性判断手段は、
一のフレーム画像にて検出された一の孤立領域の位置情報及び前記特徴量と次フレーム画像の少なくとも二以上の孤立領域の位置情報及び前記特徴量とを比較する比較手段と、
これら二以上の孤立領域を前記一のフレーム画像の一の孤立領域を分離したものと判断する分離判断手段と、
を有していることを特徴とする請求項８乃至請求項１１の何れかに記載のアーク溶接における酸化物認識装置。 - 前記抽出手段は、
各フレーム画像のアーク発生位置にマスク処理を施すマスク手段を有していることを特徴とする請求項８乃至請求項１２の何れかに記載のアーク溶接における酸化物認識装置。 - 前記撮像手段は、光軸上にバンドパスフィルタを備えていることを特徴とする請求項８乃至請求項１３の何れかに記載のアーク溶接における酸化物認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007079152A JP4860523B2 (ja) | 2007-03-26 | 2007-03-26 | アーク溶接における酸化物認識方法及び酸化物認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007079152A JP4860523B2 (ja) | 2007-03-26 | 2007-03-26 | アーク溶接における酸化物認識方法及び酸化物認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008238187A JP2008238187A (ja) | 2008-10-09 |
| JP4860523B2 true JP4860523B2 (ja) | 2012-01-25 |
Family
ID=39910150
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007079152A Expired - Fee Related JP4860523B2 (ja) | 2007-03-26 | 2007-03-26 | アーク溶接における酸化物認識方法及び酸化物認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4860523B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009057830A1 (ja) * | 2007-11-02 | 2009-05-07 | Nippon Steel Corporation | 溶接状態監視装置及び方法 |
| JP6626675B2 (ja) * | 2015-09-25 | 2019-12-25 | 株式会社Ｎｉｓｈｉｈａｒａ | 画像処理装置と画像処理方法及びレーザまたはｔｉｇ溶接装置とレーザまたはｔｉｇ溶接装置の制御方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3142401B2 (ja) * | 1992-10-16 | 2001-03-07 | トヨタ自動車株式会社 | レーザクラッド加工の異常判定方法 |
| JP2941588B2 (ja) * | 1992-12-24 | 1999-08-25 | 三菱重工業株式会社 | Ｔｉｇ溶接のワイヤ添加位置検出装置 |
| JPH11226766A (ja) * | 1998-02-17 | 1999-08-24 | Nkk Corp | レーザ溶接位置制御方法 |
| JP3748070B2 (ja) * | 2002-07-09 | 2006-02-22 | 川崎重工業株式会社 | アーク形状監視による自動開先倣い溶接装置および方法 |
| JP4180895B2 (ja) * | 2002-11-29 | 2008-11-12 | 中央精機株式会社 | 自動車用ホイールリムの溶接部検出方法 |
| JP2008126274A (ja) * | 2006-11-21 | 2008-06-05 | Kobe Steel Ltd | アーク溶接におけるスパッタ認識方法及びスパッタ認識装置 |
-
2007
- 2007-03-26 JP JP2007079152A patent/JP4860523B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008238187A (ja) | 2008-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4516516B2 (ja) | 人物検出装置、人物検出方法及び人物検出プログラム | |
| US8570371B2 (en) | Object tracking apparatus, object tracking method, and control program | |
| JP2008126274A (ja) | アーク溶接におけるスパッタ認識方法及びスパッタ認識装置 | |
| JP3880759B2 (ja) | 移動物体検出方法 | |
| JP2007334751A (ja) | 車両周辺監視装置 | |
| JP2004288156A (ja) | 眼の虹彩イメージの定義の評価 | |
| Leng et al. | Vision-based lane departure detection system in urban traffic scenes | |
| JP4874150B2 (ja) | 移動物体追跡装置 | |
| JP6226368B2 (ja) | 車両監視装置、および車両監視方法 | |
| US9412039B2 (en) | Blur detection system for night scene images | |
| US20170151943A1 (en) | Method, apparatus, and computer program product for obtaining object | |
| JP4235018B2 (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
| US9558410B2 (en) | Road environment recognizing apparatus | |
| JP4860523B2 (ja) | アーク溶接における酸化物認識方法及び酸化物認識装置 | |
| Wang | A laser back-lighting based metal transfer monitoring system for robotic gas metal arc welding | |
| JP2014014857A (ja) | 画像処理方法及び画像処理システム | |
| JP2009295112A (ja) | 物体認識装置 | |
| JP2005196359A (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
| JP5128454B2 (ja) | 瞼検出装置、瞼検出方法及びプログラム | |
| WO2021181715A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP2009193130A (ja) | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 | |
| JP4843368B2 (ja) | 電線異常検出方法、電線異常検出装置及び電線異常検出プログラム | |
| JP2007272785A (ja) | 画像処理式車両検出装置及び画像処理式車両検出方法 | |
| KR102201168B1 (ko) | 오버헤드 카메라를 이용한 사람 추적 방법 | |
| JP2015215235A (ja) | 物体検出装置及び物体検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090929 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110926 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111004 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111017 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111101 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111102 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141111 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |