JP6794685B2 - 画像処理方法及び画像処理装置 - Google Patents

Description

本発明は、溶接部における溶接条件の評価に用いられる画像処理方法及び画像処理装置に関する。

従来から、溶接部の溶接状態を評価するための種々の方法が検討されている。例えば、特許文献１では、レーザ溶接において被溶接物からの反射光を撮像して評価を行う方法が示されている。また、特許文献２では、レーザ溶接においてレーザ溶接貫通側を連続して撮像し、画像における特徴量の値の変化により溶接不良を判断する方法が示されている。

特開２００４−３１４０８７号公報 特開２０１５−５４３４３号公報

しかしながら、溶接作業により生じる光の強度及びその変動が大きく、その形状も変動が大きいため、溶接部を撮像した画像からどのような溶接条件で溶接が行われているかを評価するためには、複雑な画像処理等を行う必要がある。そのため、溶接部を撮像した画像に基づいて溶接条件を評価することは困難であった。

本発明は上記を鑑みてなされたものであり、溶接部を撮像した画像に基づいてより簡便に溶接部の溶接条件を評価することができる画像処理方法及び画像処理装置を提供することを目的とする。

上記目的を達成するため、本発明の一形態に係る画像処理方法は、溶接手段によって溶接が行われる溶接部を撮像した画像に基づいて、当該溶接部における溶接に係る溶接条件の評価を行う画像処理方法であって、溶接条件が既知である前記溶接部を撮像した複数の画像について、それぞれ高次局所自己相関特徴に係る複数の特徴量を求め、当該複数の特徴量を用いて多変量解析を行うことで、溶接条件を評価するための特徴空間の規定に用いられる規定特徴量を当該複数の特徴量から定める学習ステップと、前記溶接条件の評価対象となる前記溶接部を撮像した評価対象画像について前記高次局所自己相関特徴に係る複数の特徴量を求め、この複数の特徴量に含まれる規定特徴量を用いて、前記評価対象画像を前記学習ステップにおいて求められた前記特徴空間に対して投影することで、前記評価対象の溶接部に係る前記溶接条件を分析する分析ステップと、を備えることを特徴とする。

また、本発明の一形態に係る画像処理装置は、溶接手段によって溶接が行われる溶接部を撮像した画像に基づいて、当該溶接部における溶接に係る溶接条件の評価を行う画像処理装置であって、溶接条件が既知である前記溶接部を撮像した複数の画像について、それぞれ高次局所自己相関特徴に係る複数の特徴量を求め、当該複数の特徴量を用いて多変量解析を行うことで、溶接条件を評価するための特徴空間の規定に用いられる規定特徴量を当該複数の特徴量から定める学習手段と、前記溶接条件の評価対象となる前記溶接部を撮像した評価対象画像について前記高次局所自己相関特徴に係る複数の特徴量を求め、この複数の特徴量に含まれる規定特徴量を用いて、前記評価対象画像を前記学習手段において求められた前記特徴空間に対して投影することで、前記評価対象の溶接部に係る前記溶接条件を分析する分析手段と、を備えることを特徴とする。

上記の画像処理方法及び画像処理装置によれば、学習ステップ又は学習手段では、溶接条件が既知である溶接部を撮像した複数の画像について、それぞれ高次局所自己相関特徴に係る複数の特徴量を求めた後に、この特徴量を用いて多変量解析を行うことで、溶接条件を評価するための特徴空間を規定する。これにより、溶接条件が異なる場合には、特徴空間において互いに異なる配置となり、溶接条件の差異を特徴空間内で検出することができる。そして、分析ステップ又は分析手段では、評価対象画像に係る特徴量を求めた後に、評価対象画像を上記の特徴空間に投影をすることで、評価対象の溶接条件を評価することができる。したがって、評価対象画像に対する複雑な画像処理等を行うことなくより簡便な手順で溶接条件を評価することができる。

ここで、前記溶接条件には、設定値との差分を特定する情報が含まれ、前記学習ステップにおいて、前記溶接条件における前記設定値との差分が既知であり、その差異が互いに異なる複数の画像を用いて前記規定特徴量を定め、前記分析ステップにおいて、前記評価対象の溶接部に係る前記溶接条件について、前記設定値との差分を算出する態様とすることができる。

上記のように、設定値との差分が既知の画像を用いて特徴空間を規定することで、分析ステップにおいて、評価対象画像に基づいて溶接部における溶接条件の設定値との差分を簡便に算出することができる。

また、前記分析ステップにおいて、算出された前記設定値との差分に基づいて、前記溶接条件の補正を前記溶接手段に対して指示する態様とすることができる。

上記のように溶接条件の補正を指示する構成を備えていることで、評価対象画像の取得から溶接条件の補正を指示するまでの一連の流れを高速に行うことができ、よりリアルタイムに近い状態での溶接条件の補正が可能となる。

また、前記溶接手段は、パルスアーク溶接を行い、前記評価対象画像は、前記溶接部を前記パルスアーク溶接に用いられるパルス電流に対応して一定時間毎に撮像された画像である態様とすることができる。

パルスアーク溶接では、アーク光の強度がパルス電流に対応して周期的に変化するため、パルス電流に対応して一定時間毎に撮像することで、撮像した画像におけるアーク光の強度の変動を小さくすることができる。

本発明によれば、溶接部を撮像した画像に基づいてより簡便に溶接部の溶接条件を評価することができる画像処理方法及び画像処理装置が提供される。

画像処理装置を含む溶接システムの概略構成図である。 カメラにより溶接部を撮像した画像の例である。 学習用の画像をそれぞれその特徴量に基づいて特徴空間に投影した状態の模式図である。 画像処理方法（学習ステップ）を示すフローチャートである。 画像処理方法（分析ステップ）を示すフローチャートである。 カメラによる撮像タイミングについて説明する図である。

以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

本発明に係る画像処理装置を含んで構成される溶接システム１について図１を用いて説明する。溶接システム１は、溶接トーチ１０、カメラ２０、及び画像処理装置３０を含んで構成される。

図１の溶接システム１では、アーク溶接により被溶接物同士を溶接する構成を示している。すなわち、溶接トーチ１０に対して溶接電源（図示せず）から送電して、溶接トーチ１０において溶接ノズル１１の先端に設けられた溶接ワイヤ１２を溶接電源からの電流によって帯電させる。帯電した溶接ワイヤ１２を２つの溶接母材４０Ａ，４０Ｂと接触させることにより、アークを発生させる。アークの周囲には、溶接ノズル１１からシールドガスが供給される。アークの熱で溶接ワイヤ１２と溶接母材４０Ａ，４０Ｂとが溶融する溶融池４１を形成させると、溶融池４１が冷却されて固まることによりビード４２が形成される。これにより、２つの溶接母材４０Ａ，４０Ｂ間の溶接が行われる。溶接トーチ１０を移動させることで、２つの溶接母材４０Ａ，４０Ｂ間を線状に溶接することができる。このように、溶接トーチ１０及び溶接電源は、溶接を行うための溶接手段として機能する。

本実施形態に係る溶接システム１は、所謂パルスアーク溶接を行うことができる。パルスアーク溶接は、溶接トーチ１０に対して溶接電源からパルス電流が供給されるものである。この場合、溶接トーチ１０へ供給されるパルス電流の波形は、ベース電流といわれる低い電流に、高いピーク電流値の電流が周期的に加えられた所謂矩形状となる。

溶接システム１によって、溶接部においてどのような溶接条件で溶接が行われているかを評価するためには、溶接部、すなわち、溶融池４１の周辺を観察する必要がある。したがって、画像処理装置３０に接続されたカメラ２０は、２つの溶接母材４０Ａ，４０Ｂ間の開先であって、溶接トーチ１０における溶接ワイヤ１２の先端の周囲を撮像するように配置される。本実施形態では、カメラ２０は、溶接を行う方向、すなわち溶接トーチの移動方向（図１における破線Ｘ方向）から溶接部を観察するように配置されている。カメラ２０としては、例えばＣＣＤカメラを用いることができる。

カメラ２０により撮像した画像の例を図２に示す。図２（Ａ）〜図２（Ｄ）は、いずれも溶接部、すなわち、溶融池４１の周辺を撮像した画像である。ここでは、溶接母材４０Ａ，４０Ｂとして厚さ２５ｍｍの鋼板を用いた例を示している。なお、図２（Ａ）〜図２（Ｄ）では、フィルタを用いて波長８５０ｎｍ以下の光のみを撮像したものを示している。このように、カメラ２０による撮像の際に、フィルタ等を用いて特定の波長域の光のみを受光素子で受光する構成としてもよい。また、図２（Ａ）〜図２（Ｄ）は、アーク光の強度が一番小さいタイミングの溶融部を撮像したものである。

図２（Ａ）は、溶接が想定された溶接条件で行われている場合であって、溶接状態が良好な場合の画像である。図２（Ａ）に示すように、溶接部、すなわち、溶融池４１周辺を撮像すると、溶融池４１の輪郭、溶接ノズル１１の下端形状、及び、溶接ワイヤ１２の形状を確認することができる。また、溶融池４１におけるアークを確認することができる。

図２（Ｂ）及び図２（Ｃ）は、図２（Ａ）の溶接状態が良好な場合と比較して、溶接トーチ１０の移動速度を異ならせた場合の画像である。図２（Ｂ）は、溶接トーチ１０の移動速度が良好な場合よりも遅い場合であり、図２（Ｃ）は、溶接トーチ１０の移動速度が良好な場合よりも速い場合である。このような場合、溶融池４１の輪郭形状が図２（Ａ）とは異なる。

図２（Ｄ）は、図２（Ａ）の溶接状態が良好な場合と比較して、溶接トーチ１０の位置が溶接トーチの移動方向（図１の破線Ｘ方向）に対して交差する方向にずれている場合である。この場合、図２（Ｄ）の画像のように、溶融池４１の輪郭に対する溶接ワイヤ１２の配置がずれていることが確認できる。

このように、カメラ２０により溶融部を撮像することで、溶接条件に応じた画像を取得することができる。本実施形態に係る溶接システム１では、カメラ２０により撮像された画像に基づいた溶接条件の評価を画像処理装置３０によって行う。画像処理装置３０では、高次局所自己相関特徴（Higher-order Local AutoCorrelation：ＨＬＡＣ）を用いて画像に係る特徴量を抽出して、これを溶接条件の評価に利用することを特徴としている。ＨＬＡＣとは、画像認識のための特徴量抽出手法の一種である。ＨＬＡＣでは、画像の濃淡を表す関数をｇ（ｘ，ｙ）とした場合に、通常の自己相関は、ｇ（ｘ，ｙ）ｇ（ｘ＋ａ，ｙ＋ｂ）と求めるところを高次（Ｎ次）ｇ（ｘ，ｙ）ｇ（ｘ＋ａ_１，ｙ＋ｂ_１）…ｇ（ｘ＋ａ_Ｎ，ｙ＋ｂ_Ｎ）に拡張すると共に、しかも変位ａ_ｉ，ｂ_ｉを局所（例えば、参照点（ｘ，ｙ）を中心とする３×３画素近傍）に限定して、特徴ベクトルを求める。例えば、Ｎ＝２とし、変位を３×３画素近傍として、画像を２値化した場合には２５次元の特徴ベクトル（特徴量）として求めることができる。この特徴ベクトルは、位置不変性、加法性といった、画像認識にとって好ましい性質を持ち、対象の切り出しを必要としない（セグメンテーションフリーな）という特徴を有する。本実施形態の画像処理装置３０では、溶接部を撮像した画像に係るＨＬＡＣ特徴ベクトル（特徴量）をそれぞれ求め、これを利用して溶接部を撮像した画像の分析を行う。

図１に戻り、画像処理装置３０は、学習用画像格納部３１、ＨＬＡＣ特徴学習部３２、特徴空間情報格納部３３、評価対象画像取得部３４、ＨＬＡＣ特徴量算出部３５、分析部３６及び出力部３７を含んで構成される。画像処理装置３０は、ＣＰＵ（Central Processing Unit）、主記憶装置であるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）、検出ユニット等の他の機器との間の通信を行う通信モジュール、並びにハードディスク等の補助記憶装置等のハードウェアを備えるコンピュータとして構成される。そして、これらの構成要素が動作することにより、画像処理装置３０としての機能が発揮される。

詳細は後述するが、本実施形態に係る画像処理装置３０における画像処理方法には、２つの工程、すなわち、学習ステップ及び分析ステップが含まれている。学習ステップとは、溶接条件が既知である溶接部を撮像した複数の画像を用いて、それぞれＨＬＡＣに係る複数の特徴量を求め、当該複数の特徴量を用いて多変量解析を行うことで、溶接条件を評価するための特徴空間の作成に用いる規定特徴量を定めるステップである。また、分析ステップとは、溶接条件の評価の対象となる溶接部を撮像した評価対象画像についてＨＬＡＣに係る複数の特徴量を求め、この複数の特徴量を用いて学習ステップにおいて求められた特徴空間に対して投影することで、評価対象の溶接部に係る溶接条件を分析するステップである。すなわち、学習ステップとは、評価対象の溶接部に係る溶接状態を分析するための基準となる「特徴空間」を規定するステップである。また、分析ステップとは、評価対象の溶接部を撮像した評価対象画像を学習ステップで規定された「特徴空間」に当てはめることにより、評価対象における溶接条件の評価を行うステップである。

画像処理装置３０を構成する各機能部のうち、学習用画像格納部３１、ＨＬＡＣ特徴学習部３２及び特徴空間情報格納部３３は、上記の学習ステップに係る処理を行う学習手段としての機能を有する。また、評価対象画像取得部３４、ＨＬＡＣ特徴量算出部３５、分析部３６及び出力部３７は、上記の分析ステップに係る処理を行う分析手段としての機能を有する。

画像処理装置３０の学習用画像格納部３１は、溶接部を撮像した画像（画像データ）を格納する。学習用画像格納部３１に格納される画像は、学習ステップで用いられる画像であり、溶接条件が既知である溶接部をカメラ２０により撮像した画像である。「溶接条件が既知である」画像には、溶接条件が設定値通りであるために溶接状態が良好である画像と、溶接条件の一部が設定値から逸脱しているために溶接状態が良好ではない画像と、が含まれる。ここでの溶接条件とは、例えば、溶接トーチ１０の位置、溶接速度、溶接電圧、開先ギャップ幅等が挙げられる。これらが設定値通りとなっている場合、溶接状態を良好とすることができる。一方、溶接条件の少なくとも一部が設定値から逸脱している場合、逸脱している溶接条件の種類（どの条件が設定値から逸脱しているか）及びその度合い（設定値からの差分の大きさ）に応じて、溶接状態が変化し、画像にも変化が生じると考えられる。学習用画像格納部３１では、画像と、当該画像を撮像した際の溶接条件を特定する情報とを対応付けて保存する。学習ステップに用いられる画像は、実際に溶接を行うときに発生し得る逸脱の状況に類似する溶接条件での画像であることが好ましい。

ＨＬＡＣ特徴学習部３２では、学習用画像格納部３１に格納された画像のそれぞれについて、ＨＬＡＣ特徴量を算出した後に、ＨＬＡＣ特徴量を用いて多変量解析を行うことで、溶接条件を評価するための特徴空間の作成に用いる特徴量を定める。まず、ＨＬＡＣ特徴量とは、上述したようにＨＬＡＣによって求められる特徴量である。ここでは、Ｎ＝２とし、変位を３×３画素近傍として、画像を２値化した場合のように、１画像について２５個の特徴量が得られるとする。なお、ＨＬＡＣ特徴量の算出の前に、画像の平滑化、解析範囲の限定等の前処理を行う構成としてもよい。また、撮像した画像における溶融池４１の輪郭の特定処理等を行ってもよい。このような処理を行うことで、後段の処理を減らすことができ、処理の高速化を達成することができる。ただし、画像の２値化は必須ではなく、２値化をせずにＨＬＡＣ特徴量の算出を行ってもよい。この場合には特徴量の数が２５個から増加する。

次に、複数の画像に係るＨＬＡＣ特徴量について多変量解析を行うことで、溶接条件の変化に影響を受ける特徴量を抽出することができる。多変量解析には、主成分分析、因子分析等の公知の分析法を用いることができるが、より一般的であり且つ処理が簡便である点から主成分分析が好適に用いられる。なお、抽出する特徴量の数は特に限定されない。その後、抽出した特徴量を用いて新たな特徴空間を規定する。これにより、溶接条件の変化に対応して変化する溶接状態に影響を受ける特徴量により規定された特徴空間を作成することができる。

ＨＬＡＣ特徴学習部３２で規定される特徴空間では、溶接条件が互いに異なるため溶接状態が互いに異なる群はそれぞれ互いに異なる位置に配置される。図３は、学習用の画像をそれぞれその特徴量に基づいて特徴空間に投影した状態を模式的に示している。図３では、特徴空間が３つの規定特徴量によって規定されているので、特徴空間が３次元の空間とされている。このとき、第１〜第３の軸（Ａ１〜Ａ３）を構成する特徴量は、それぞれ溶接条件のうちの一部の値の変化に応じて変動するという特徴を有する。したがって、溶接条件が全て設定値通りであって、溶接状態が良好である溶接部を撮像した画像は、特定の集団Ｇ１を形成する。

また、設定値の一部、例えば溶接トーチ１０の移動速度が設定値から逸脱していて、溶接状態が良好ではない溶接部を撮像した画像は、良好である溶接部を撮像した画像による集団Ｇ１とは異なる位置に集中して集団Ｇ２を形成する。また、溶接状態が良好ではない場合に、溶接トーチ１０の位置ずれのように、溶接状態が設定値からの差分（位置ずれ量）に応じて変化する場合には、差分の大きさに応じて偏在する分布をなす集団Ｇ３を形成する（図３の集団Ｇ３では、第１の特徴量の増加に応じて第３の特徴量が減少する分布となっている）。このように、溶接条件が異なることによって溶接状態が異なる溶接部を撮像した画像の特徴量を用いて溶接部を撮像した画像を特徴空間に投影すると、それぞれ異なる集団に分布することになる。ＨＬＡＣ特徴学習部３２では、学習用の画像に基づいて上記のような特徴空間を規定する。

このとき、溶接トーチ１０の位置ずれのように、設定値からの差分に応じて特徴空間における分布が変化する場合には、設定値からの差分と、特徴空間における分布との対応関係を相関パラメータとして求めることもできる。相関パラメータを予め生成しておくと、これを利用して特徴空間における位置に基づいて、溶接条件における設定値からの差分を算出することができる。

なお、ＨＬＡＣ特徴学習部３２によって規定される特徴空間は、学習、すなわち特徴空間の規定に用いる画像の選択に応じて変化する。したがって、画像処理装置３０において評価したい溶接状態を予め想定して、学習に用いる画像を選択することが好ましい。学習用の画像の数は特に限定されない。

特徴空間情報格納部３３は、ＨＬＡＣ特徴学習部３２で規定された特徴空間を特定する情報を格納する。特徴空間を特定する情報には、少なくとも規定特徴量を特定する情報が含まれる。また、その特徴空間における各集団を特定する情報及び各集団の位置を示す情報も特徴空間を特定する情報として保持される。これにより、その特徴空間に特定の画像に係る特徴量を投影した場合に、その画像がどの集団に属するかを判断することができる。また、特徴空間を規定する際に、学習用の画像に関して前処理を行った場合には、前処理の内容も併せて格納する構成としてもよい。

評価対象画像取得部３４は、評価対象画像を取得する。評価対象画像は、カメラ２０で撮像された画像（画像データ）であり、学習ステップで用いられた画像と同じカメラ２０の位置で撮像されたものである。評価対象画像は、ＨＬＡＣ特徴量算出部３５へ送られる。

ＨＬＡＣ特徴量算出部３５は、ＨＬＡＣを用いて評価対象画像のＨＬＡＣ特徴量を算出する機能を有する。評価対象画像に係るＨＬＡＣ特徴量の算出結果は、ＨＬＡＣ特徴量算出部３５から分析部３６へ送られる。なお、ＨＬＡＣ特徴量の算出の前に、画像の２値化、平滑化、解析範囲の限定等の前処理を行う構成とすることもできる。ただし、学習ステップで用いられた画像に対する前処理と同様の処理が行われる。

分析部３６は、特徴空間情報格納部３３に格納された情報に基づいて、評価対象画像のＨＬＡＣ特徴量を利用して評価対象画像を特徴空間へ投影する。これにより、評価対象画像が特徴空間におけるどの集団に属するかを判断する。どの集団に属するかを判断することにより、溶接状態が良好であるか否か、すなわち、溶接条件が適切であるか否かを評価することができる。また、評価対象画像が特定の溶接条件が設定値から逸脱している集団に属する場合、評価対象の溶接部は、評価対象画像が属する集団と同じ状況、すなわち、特定の溶接条件が設定値から逸脱している可能性が高いと判断することができる。さらに、特徴空間における分布と溶接条件の設定値からの差分との対応を示す相関パラメータがある場合には、相関パラメータに基づいて、評価対象の溶接部における溶接条件の設定値からの差分を求める構成とすることができる。分析部３６による分析の結果は、出力部３７へ送られる。

出力部３７は、分析部３６による分析の結果を出力する機能を有する。出力部３７によって例えばモニタ等に出力することで、ユーザは分析の結果を取得することができる。また、分析部３６において溶接条件の設定値からの差分を算出した場合には、出力部３７から例えば溶接トーチ１０又は溶接電源等に対して当該差分を通知することで、溶接トーチ１０側での溶接条件の補正を指示する構成としてもよい。このような構成とした場合、評価対象の画像を利用した溶接条件のリアルタイムの制御が可能となる。

上記の溶接システム１の画像処理装置３０における画像処理方法について、図４及び図５を参照しながら説明する。図４は、学習ステップについて説明するフローチャートである。また、図５は、分析ステップについて説明するフローチャートである。

図４を参照しながら学習ステップについて説明する。まず、画像処理装置３０において、学習用画像を取得する（Ｓ０１）。学習用画像の取得時期は特に限定されない。取得された学習用画像は、学習用画像格納部３１に格納される。次に、ＨＬＡＣ特徴学習部３２において、ＨＬＡＣ特徴量の算出及び特徴空間の形成を行う（Ｓ０２）。上述したように、学習用画像格納部３１に格納された画像のそれぞれについて、ＨＬＡＣ特徴量を算出した後に、ＨＬＡＣ特徴量を用いて多変量解析を行う。これにより、溶接条件を評価するための特徴空間の作成に用いる特徴量が定められ、規定特徴量とされる。なお、ＨＬＡＣ特徴量の算出の前に、前処理を行う構成としてもよい。

その後、設定値からの差分との対応関係を示す相関パラメータを導出する（Ｓ０３）。なお、設定値からの差分を求める必要がない場合には、相関パラメータの導出はしなくてもよい。そして、これらのステップで作成された特徴空間に係る情報（規定特徴量を特定する情報、相関パラメータ等）を特徴空間情報格納部３３に格納する（Ｓ０４）。これにより、学習ステップが終了する。

次に、図５を参照しながら分析ステップについて説明する。まず、評価対象画像取得部３４によって評価対象画像が取得される（Ｓ１１）。評価対象画像はカメラ２０により撮像されるので、カメラ２０から送信された評価対象画像が評価対象画像取得部３４において取得される。次に、評価対象画像に係る前処理が行われる（Ｓ１２）。ここで行われる前処理は、学習用画像に対する前処理と同じ処理とされる。したがって、学習ステップで前処理を行わない場合には、評価対象画像に係る前処理も行わない。

次に、ＨＬＡＣ特徴量算出部３５において、評価対象画像に係るＨＬＡＣ特徴量の算出が行われる（Ｓ１３）。その後、分析部３６において、特徴空間情報格納部３３に格納された情報に基づいて、評価対象画像のＨＬＡＣ特徴量を利用して評価対象画像を特徴空間へ投影する（Ｓ１４）。これにより、評価対象画像が特徴空間におけるどの集団に属するかを判断する。さらに、相関パラメータが導出されている（Ｓ０３）場合には、相関パラメータに基づいて、設定値との差分の算出を行う（Ｓ１５）。

次に、溶接部における溶接条件の補正が必要であるか否かの判断を行う（Ｓ１６）。補正が必要であるかの判断基準は予め設定される。判断基準としては、例えば、評価対象画像を特徴空間に投影した結果、溶接状態が良好であると判断される群とは異なる群に属すると判断された場合には、補正要と判断し相関パラメータから導かれる設定値との差分の分だけ溶接条件を変更する、等が挙げられる。また、所定の群に属すると判断された場合に限り溶接条件を変更する等の基準としてもよい。このように判断基準は適宜変更することができる。

そして、判断の結果、補正が必要である場合には、出力部３７から溶接システム１に含まれる各機器に対して補正を行うための情報（設定値との差分等）を出力して、補正に係る制御を行う（Ｓ１７）。補正に係る制御の後、又は、補正が不要である場合、次の画像の有無を確認し（Ｓ１８）、次の画像がある場合には、次の評価対象画像に関して処理を繰り返す（Ｓ１１〜）。次の画像がない場合には、画像処理を終了する。

なお、カメラ２０による評価対象画像の撮像のタイミングは特に限定されないが、特に溶接システム１がパルスアーク溶接を行う場合には、カメラ２０による撮像のタイミングは、パルス電流の波形に対応して一定時間毎に行う構成とすることが好ましい。

図６は、カメラ２０による撮像タイミングの制御の一例である。図６では、パルス電流の波形Ｂ１と、カメラ２０による撮像を制御する制御信号の波形Ｂ２と、示している。制御信号は、パルス電流を出力する溶接電源からカメラ２０に対して出力する構成であってもよいし、溶接電源及びカメラ２０とは異なる制御装置を準備し、制御装置が溶接電源及びカメラ２０の双方を制御する構成であってもよい。カメラ２０では、制御信号を受信したｔ秒後にシャッターが切られるとする。このとき、図６に示すように、パルス電流の周期に対応させて、カメラ２０に対して制御信号を送信することで、パルス電流の波形Ｂ１に対して、カメラ２０の撮像のタイミングを一致させることができる。

パルスアーク溶接の場合、パルス電流に対応してアークが発生するため、溶接部から出射する光の強度が大きく変化する。したがって、撮像のタイミングによっては、アーク光の強度が非常に大きくなったり、非常に小さくなったりする。アーク光の強度が大きく変化すると、溶接条件の評価に影響する可能性がある。そこで、上記のように、パルス電流の波形に対応して一定時間毎にカメラ２０で撮像を行う構成とすることで、撮像した画像におけるアーク光の強度の変動を小さくすることができる。また、溶接部において生じる現象もパルス電流に対応して変化するので、撮像のタイミングを一定とすることで、毎回同じ現象を撮像することが可能となる。

このように、本実施形態に係る画像処理装置３０及び画像処理方法によれば、学習ステップでは、予め溶接条件が既知である溶接部を撮像した複数の画像について、それぞれＨＬＡＣ特徴量を求め、ＨＬＡＣ特徴量を用いて多変量解析を行うことで、溶接条件を評価するための特徴空間の規定に用いられる規定特徴量を当該複数の特徴量を定める。その後、評価対象の撮像を行う分析ステップでは、評価対象画像についてＨＬＡＣ特徴量を求めた後、このＨＬＡＣ特徴量に含まれる規定特徴量を用いて、評価対象画像を学習ステップにおいて求められた特徴空間に対して投影することで、評価対象の溶接部に係る溶接条件を分析する。このような構成とすることで、より簡便に溶接部の溶接条件を評価することができる。

従来から、溶接部の溶接条件を評価するために溶接部を撮像した画像が用いられていた。そして、従来の手法を用いて溶接部を撮像した画像から複数の溶接条件を評価するためには、予め溶接条件が既知である溶接部を撮像した複数の画像を利用して、溶接条件を評価するためのモデルを準備しておく必要があった。しかしながら、溶接部を撮像した画像には、例えばアーク光の強度のように溶接条件の変化とは関係なく変化するものが含まれるため、モデルの作成も容易ではない。また、モデルを作成及び評価対象の画像に対するモデルの適用の際には、複雑な画像処理が必要となる可能性があり、簡便に評価を行うことは困難であった。

これに対して、本実施形態に係る画像処理装置３０及び画像処理方法では、学習ステップでは、ＨＬＡＣ特徴量を求め、ＨＬＡＣ特徴量を用いて多変量解析を行うことで、溶接条件を評価するための特徴空間を規定する。この場合、画像の形状が異なる場合には、特徴空間において互いに異なる配置となるため、溶接条件を評価するためのモデルを予め作成する必要はなく、溶接条件の差異を特徴空間内で検出することができる。そして、分析ステップでは、評価対象画像のＨＬＡＣ特徴量を求めた後に、特徴空間に投影をすることで、溶接条件を評価することができるため、評価対象画像に対する複雑な画像処理等を行うことなくより簡便な手順で溶接条件を評価することができる。したがって、画像処理等に係る時間を短縮し、評価対象画像の取得から溶接条件の評価を終えるまでの処理を高速に行うことができる。

また、溶接条件には、設定値との差分を特定する情報が含まれ、学習ステップにおいて、溶接条件に係る前記設定値との差分が既知であり、その差異が互いに異なる複数の画像を用いて規定特徴量を定め、分析ステップにおいて、評価対象の溶接部に係る溶接条件における設定値との差分を算出する構成とする。この場合、上述のような簡便な処理でありながら、評価対象画像に基づいて溶接部における溶接条件の設定値との差分を算出することができる。

さらに、算出された前記設定値との差分に基づいて、溶接条件の補正を溶接トーチ１０等の溶接手段に対して指示する構成とした場合、評価結果に基づいた溶接条件のフィードバック制御を好適に行うことができる。本実施形態に係る画像処理装置３０及び画像処理方法では、上述のように評価対象画像の取得から溶接条件の評価を終えるまでの処理を高速に行うことができることから、溶接条件の補正の指示を行う構成をさらに備えている場合には、評価対象画像の取得から溶接条件の補正を指示するまでの一連の流れを高速に行うことができ、よりリアルタイムに近い状態での溶接条件の補正が可能となる。

また、溶接システム１において、パルスアーク溶接を行う場合、評価対象画像を、溶接部をパルスアーク溶接に用いられるパルス電流に対応してカメラ２０によって一定時間毎に撮像された画像とすることが好ましい。評価対象画像を上記のようにすることで、撮像した画像におけるアーク光の強度の変動を小さくすることができる。また、溶接部において生じる現象もパルス電流に対応して変化するので、撮像のタイミングを一定とすることで、毎回同じ現象を撮像することが可能となるため、溶接条件の評価精度を高めることが可能となる。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限られない。例えば、上記実施形態では、溶接システム１が所謂パルスアーク溶接である場合について説明したが、溶接の種類は特に限定されない。ただし、アーク溶接のように、作業の進行に応じて形状が大きく変化することがない溶接に対して、好適に適用することができる。

また、上記実施形態では、画像処理装置３０が一台の装置によって構成されている場合について説明したが、画像処理装置３０は複数台の装置を組み合わせたシステムによって実現されていてもよい。

１ 溶接システム
１０ 溶接トーチ
１１ 溶接ノズル
１２ 溶接ワイヤ
２０ カメラ
３０ 画像処理装置
３１ 学習用画像格納部
３２ ＨＬＡＣ特徴学習部
３３ 特徴空間情報格納部
３４ 評価対象画像取得部
３５ ＨＬＡＣ特徴量算出部
３６ 分析部
３７ 出力部

Claims (4)

1. 溶接手段によって溶接が行われる溶接部を撮像した画像に基づいて、当該溶接部における溶接に係る溶接条件の評価を行う画像処理方法であって、
   溶接条件が既知である前記溶接部を撮像した複数の画像について、それぞれ高次局所自己相関特徴に係る複数の特徴量を求め、当該複数の特徴量を用いて多変量解析を行うことで、溶接条件を評価するための特徴空間の規定に用いられる規定特徴量を当該複数の特徴量から定める学習ステップと、
   前記溶接条件の評価対象となる前記溶接部を撮像した評価対象画像について前記高次局所自己相関特徴に係る複数の特徴量を求め、この複数の特徴量に含まれる規定特徴量を用いて、前記評価対象画像を前記学習ステップにおいて求められた前記特徴空間に対して投影することで、前記評価対象の溶接部に係る前記溶接条件を分析する分析ステップと、
   を備え、
   前記溶接条件には、設定値との差分を特定する情報が含まれ、
   前記学習ステップにおいて、前記溶接条件における前記設定値との差分が既知であり、その差分が互いに異なる複数の画像を用いて前記規定特徴量を定め、
   前記分析ステップにおいて、前記評価対象の溶接部に係る前記溶接条件について、前記設定値との差分を算出する画像処理方法。
2. 前記分析ステップにおいて、算出された前記設定値との差分に基づいて、前記溶接条件の補正を前記溶接手段に対して指示する請求項１に記載の画像処理方法。
3. 前記溶接手段は、パルスアーク溶接を行い、
   前記評価対象画像は、前記溶接部を前記パルスアーク溶接に用いられるパルス電流に対応して一定時間毎に撮像された画像である請求項１または２に記載の画像処理方法。
4. 溶接手段によって溶接が行われる溶接部を撮像した画像に基づいて、当該溶接部における溶接に係る溶接条件の評価を行う画像処理装置であって、
   溶接条件が既知である前記溶接部を撮像した複数の画像について、それぞれ高次局所自己相関特徴に係る複数の特徴量を求め、当該複数の特徴量を用いて多変量解析を行うことで、溶接条件を評価するための特徴空間の規定に用いられる規定特徴量を当該複数の特徴量から定める学習手段と、
   前記溶接条件の評価対象となる前記溶接部を撮像した評価対象画像について前記高次局所自己相関特徴に係る複数の特徴量を求め、この複数の特徴量に含まれる規定特徴量を用いて、前記評価対象画像を前記学習手段において求められた前記特徴空間に対して投影することで、前記評価対象の溶接部に係る前記溶接条件を分析する分析手段と、
   を備え、
   前記溶接条件には、設定値との差分を特定する情報が含まれ、
   前記学習手段において、前記溶接条件における前記設定値との差分が既知であり、その差分が互いに異なる複数の画像を用いて前記規定特徴量を定め、
   前記分析手段において、前記評価対象の溶接部に係る前記溶接条件について、前記設定値との差分を算出する画像処理装置。