JP6126174B2 - 機械学習装置、アーク溶接制御装置、アーク溶接ロボットシステムおよび溶接システム - Google Patents

Description

本発明は、少なくとも一つのアーク溶接条件を決定する機械学習装置、アーク溶接制御装置、アーク溶接ロボットシステムおよび溶接システムに関する。

一般に、ロボットを用いてワークにアーク溶接を行うシステムにおいては、予め作成されたプログラムに記載された溶接条件によりアーク溶接を実行している。これら溶接条件の決定は、作業者の経験と勘とに基づいて行われることがほとんどである。そして、アーク溶接の品質及び作業性を高めることは、作業者の溶接技術に関する知識によるところが大きい。従って、溶接条件の調整を行う作業者の技術レベルによってアーク溶接の品質や作業性が左右されてしまうことがある。
一方、近年のアーク溶接の現場ではアーク溶接技術に熟練した作業者が不足している。アーク溶接の技術者を確保できない現場では、アーク溶接ロボットシステムを導入したとしても十分な品質と作業性が確保できないケースもある。
このような状況に対して、溶接条件を自動調整するための案がいくつか提案されている。特許文献１においては、赤外線カメラにより撮像された溶融池を画像処理して得られた実測値を、予め作成された目標値と比較して、少なくとも一つの溶接条件を操作することが開示されている。特許文献２においては、ニューラルネットワークにより溶接速度やアーク電流、アーク電圧と言った溶接条件を決定する方法が開示されている。

特開２０００−３５１０７１号公報 特許第３２００１０２号公報

特許文献１における目標値は、予め理想的な溶接を行ったときに形成される溶融池の特徴データである。言い換えれば、特許文献１では予め理想的な溶接を行う必要がある。理想的な溶接を行うためには熟練した作業者が必要とされるので、所望されるときに目標値が作成できない事態も生じうる。また、特許文献２においてニューラルネットワークを学習によって構成する際には複数の板厚に対して予め最適な入熱および溶接速度を求めておく必要があり、溶接に関する専門的な知識が必要とされる。

本発明はこのような事情に鑑みてなされたものであり、熟練した作業者や専門知識を必要とせずに最適な溶接条件を自動的に作成することのできる機械学習装置、アーク溶接制御装置、アーク溶接ロボットシステムおよび溶接システムを提供することを目的とする。

前述した目的を達成するために１番目の発明によれば、少なくとも一つのアーク溶接条件を決定することを学習する機械学習装置において、アーク溶接実行中またはアーク溶接実行後の少なくとも一方においてアーク溶接に関する少なくとも一つの物理量と、前記少なくとも一つのアーク溶接条件とから構成される状態変数を観測する状態観測部を具備し、前記少なくとも一つのアーク溶接条件は、溶接速度、溶接波形調整量、突出し長、溶接トーチの前進角・後退角、狙い角、狙い位置、シールドガス流量、ウィービング条件、アークセンサ条件、多層盛り溶接時の溶接位置オフセット量のうちの少なくとも一つを含んでおり、前記少なくとも一つの物理量は、撮像部により撮像された溶接部位の撮像データ、該撮像データを処理することにより得られる溶接ビードの外観、ビードの余盛り高さ、ビード幅、およびスパッタ発生量、溶込計測装置から得られる溶込み量、ならびに集音装置から得られるアーク音波形のうちの少なくとも一つを含んでおり、さらに、前記状態変数に基づいて、前記少なくとも一つのアーク溶接条件を決定する関数を更新することによって、前記少なくとも一つのアーク溶接条件を決定することを学習する学習部、を具備し、前記学習部は、前記状態変数に基づいて、前記少なくとも一つのアーク溶接条件を決定した結果に対する報酬を計算する報酬計算部と、該報酬計算部により計算された報酬に基づいて、前記関数を更新する関数更新部とを含み、前記関数更新部による前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる前記少なくとも一つのアーク溶接条件を学習する機械学習装置が提供される。
２番目の発明によれば、１番目の発明において、前記報酬計算部は、報酬条件を設定する報酬条件設定部を含んでおり、前記報酬計算部は、前記報酬条件設定部により設定された報酬条件に基づいて報酬を計算する。
３番目の発明によれば、１番目または２番目の発明において、さらに、前記学習部は、前記関数更新部が学習した結果を記憶する学習結果記憶部を含む。
４番目の発明によれば、１番目から３番目のいずれかの機械学習装置と、前記学習部の学習結果に基づいて、現在の前記状態変数から、前記少なくとも一つのアーク溶接条件と、該少なくとも一つのアーク溶接条件の最適調整量とを決定する意思決定部と、を具備するアーク溶接制御装置が提供される。
５番目の発明によれば、４番目の発明において、前記学習部は、アーク溶接実行中に前記少なくとも一つのアーク溶接条件の調整を学習、あるいは繰返し学習する。
６番目の発明によれば、４番目または５番目の発明において、さらに、前記機械学習装置により出力された結果に基づいてアーク溶接を実行する実行部を具備する。
７番目の発明によれば、アーク溶接を実行するロボットと、該ロボットによるアーク溶接の実行中または実行後の少なくとも一方においてアーク溶接に関する少なくとも一つの物理量を計測する物理量計測部と、４番目から６番目のいずれかに記載のアーク溶接制御装置と、を具備するアーク溶接ロボットシステムが提供される。
８番目の発明によれば、７番目の発明において、前記アーク溶接ロボットシステムが、さらに、 溶接すべきワークの姿勢を変更するポジショナを含んでおり、前記ロボットおよびポジショナが協調動作を行いながらアーク溶接を実行する。
９番目の発明によれば、７番目または８番目の複数のアーク溶接ロボットシステムと、該複数のアーク溶接ロボットシステムを互いに接続する通信部と、を具備し、前記通信部は、少なくとも一つの前記状態観測部により観測された少なくとも一つの物理量および少なくとも一つの前記学習結果記憶部により記憶された学習結果のうちの少なくとも一方を前記複数のアーク溶接ロボットシステムの間で送受信する、溶接システムが提供される。
１０番目の発明によれば、９番目の発明において、さらに、前記通信部に接続された上位コンピュータを具備し、前記少なくとも一つの状態観測部により観測された少なくとも一つの物理量および前記少なくとも一つの学習結果記憶部により記憶された学習結果のうちの少なくとも一方は前記上位コンピュータに保存される。

１番目から３番目の発明においては、より最適な少なくとも一つのアーク溶接条件を自動的に決定することのできる機械学習装置を提供できる。
４番目から８番目の発明においては、機械学習をアーク溶接制御装置またはアーク溶接ロボットシステムに導入しているので、より最適な少なくとも一つのアーク溶接条件を自動的に決定できる。このため、予め理想的な溶接を行って目標値を定める必要がない。
９番目および１０番目の発明においては、或る機械学習装置で得られた学習結果を上位コンピュータおよび／または通信部を介して他の機械学習装置に組み入れることができ、信頼性の高い学習結果などを流用できる。

添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれら目的、特徴および利点ならびに他の目的、特徴および利点がさらに明解になるであろう。

本発明の一実施形態に係るアーク溶接ロボットシステムの正面図および右側面図を含む図である。 機械学習器などを拡大して示す図である。 機械学習器の動作を示すフローチャートである。 溶接システムの略図である。

以下、添付図面を参照して本発明の実施形態を説明する。以下の図面において同様の部材には同様の参照符号が付けられている。理解を容易にするために、これら図面は縮尺を適宜変更している。
図１は本発明の一実施形態に係るアーク溶接ロボットシステムの正面図および右側面図を含む図である。図１に示されるように、本実施形態のアーク溶接ロボットシステム５は、溶接すべきワーク（図示しない）に対してアーク溶接を行う溶接トーチ１８を備えたロボット１０、ワークを保持してその姿勢を変更するポジショナ１９、およびこれらを制御する制御装置２０とを主に含んでいる。なお、溶接トーチ１８がポジショナ１９に備えられていて、アーク溶接ロボット１０がワークを把持する構成であってもよい。

ロボット１０は例えば垂直多関節ロボットである。ポジショナ１９はワークをその上面に固定しつつ、設置面Ｇに平行な第一軸線１２回りに回転可能および第一軸線１２に対して垂直な第二軸線１４回りに回転可能にワークを位置決めすることができる。また、第一軸線１２および第二軸線１４回りの回転運動は、ロボット１０の付加軸として制御されうる。このため、ロボット１０およびポジショナ１９を含むアーク溶接ロボットシステム５全体の制御がより単純になる。ロボット１０およびポジショナ１９は協調動作を行いながらアーク溶接を実行するものとする。

制御装置２０はデジタルコンピュータであり、ロボットによるアーク溶接の実行中または実行後の少なくとも一方においてアーク溶接に関する少なくとも一つの物理量を計測する物理量計測部２１を含んでいる。

アーク溶接に関する物理量は、例えばアーク溶接ロボットシステム５の電流電圧計測部から得られる溶接電流波形、溶接電圧波形を含みうる。さらに、アーク溶接に関する物理量は、例えば撮像部により撮像された溶接部位の撮像データおよび撮像データを処理することにより得られる溶接ビードの外観、ビードの余盛り高さ、ビード幅、スパッタ発生量を含みうる。なお、スパッタ発生量は溶接時にワークに形成されたスパッタ痕から取得できる。さらに、アーク溶接に関する物理量は、例えば溶込計測装置から得られる溶込み量、集音装置から得られるアーク音波形を含みうる。これら物理量は、少なくとも一つのアーク溶接条件を変更することによって変化する物理量である。

また、アーク溶接条件は、例えば溶接手法、溶接電流、溶接電圧、溶接ワイヤ送給速度、溶接速度、溶接波形調整量、突出し長、溶接トーチの前進角・後退角、狙い角、狙い位置、シールドガス流量、ウィービング条件、アークセンサ条件、多層盛り溶接時の溶接位置オフセット量のうちの少なくとも一つを含みうる。これら物理量はそれぞれ所定の計測手段により計測されるものとする。また、これらアーク溶接条件のそれぞれの調整量は、後述する機械学習器３０により決定される。なお、アーク溶接条件は、アーク溶接に関する物理量に含まれる場合もある。

図１に示されるように、制御装置２０はさらに、機械学習器３０を含んでいる。この機械学習器３０は、機械学習装置として制御装置２０に外付けされていてもよい。機械学習器を拡大して示す図２を参照すると、機械学習器３０は、アーク溶接実行中またはアーク溶接実行後の少なくとも一方においてアーク溶接に関する少なくとも一つの物理量と、少なくとも一つのアーク溶接条件とから構成される状態変数を観測する状態観測部３１を含んでいる。

状態観測部３１は、そのような物理量およびアーク溶接条件を、シールドガス種類、継手形状、板厚、母材姿勢、ギャップ量、溶接ワイヤ種類、溶接ワイヤ径の少なくとも一つの溶接施工条件および観測された時間と共に記憶する。

さらに、機械学習器３０は、状態観測部３１により観測された少なくとも一つの物理量の変化と、少なくとも一つのアーク溶接条件とを関連付けて学習する学習部３５とを含んでいる。

ここで、学習部３５は、教師あり学習、教師なし学習、半教師あり学習、強化学習、トランスダクション、マルチタスク学習など各種の機械学習を行い得る。以下においては、学習部３５はＱ学習（Ｑ−ｌｅａｒｎｉｎｇ）により強化学習を行うものとして説明を続ける。

ここで、図２を参照して分かるように、機械学習器３０は、強化学習におけるエージェントに相当する。また、状態観測部３１は環境の状態を検出する。

強化学習を行う学習部３５は、報酬条件を設定する報酬条件設定部３９と、状態観測部３１により観測された少なくとも一つの物理量および報酬条件に基づいて報酬を計算する報酬計算部３２と、報酬計算部３２により計算された報酬に基づいて、現在の状態変数から、少なくとも一つのアーク溶接条件を決定する関数、例えば行動価値関数（行動価値テーブル）を更新する関数更新部３３（人工知能）を含んでいる。当然のことながら、関数更新部３３が他の関数を更新するようにしてもよい。さらに、学習部３５は、関数更新部３３が学習した結果を記憶する学習結果記憶部３８を含んでいる。

報酬条件設定部３９により設定される報酬条件は、例えば物理量の安定度、サイクルタイム、スパッタ発生量、溶接品質、溶接ワイヤ消費量、エネルギ消費量の度合いに応じて定まる。例えば物理量が安定している、つまり物理量の変動が小さいと判断されれば、報酬が増え、そうでない場合には報酬は減る。さらに、サイクルタイムが長ければ報酬は減り、短ければ増える。さらに、スパッタ発生量が少なければ報酬が増え、多ければ減る。溶接品質が高ければ報酬が増え、低ければ減る。さらに、溶接ワイヤ消費量および／またはエネルギ消費量が多ければ報酬は減り、少なければ増える。このような判定については、それぞれのデータを取得する手段が設けられ、それぞれについて個別の閾値などが予め設定されているものとする。

さらに、機械学習器３０は、学習部３５の学習結果に基づいて、現在の状態変数から、少なくとも一つのアーク溶接条件と、該少なくとも一つのアーク溶接条件の最適調整量とを決定する意思決定部３４を含んでいる。意思決定部３４は、より良い行動の選択（意思決定）を学習するものである。なお、意思決定部３４が機械学習器３０に含まれなくて制御装置２０に含まれていてもよい。さらに、機械学習器３０は機械学習装置により出力された結果に基づいてアーク溶接を実行するアーク溶接実行部３７を含んでいる。

図３は機械学習器の動作を示すフローチャートである。以下、図１〜図３を参照しつつ、機械学習器３０の動作について説明する。図３に示される動作は、ロボット１０がアーク溶接する毎に、実施されるものとする。

はじめに、図３のステップＳ１１において、少なくとも一つのアーク溶接条件およびその内容（値など）が選択される。少なくとも一つのアーク溶接条件の内容はそれぞれの所定範囲からランダムに選択される。

あるいは、或るアーク溶接条件について、その所定範囲内の最小値がはじめに選択され、次いで、微少量だけ増加させた値が次のサイクルのときに選択されるようにしてもよい。他のアーク溶接条件についても同様である。全てのアーク溶接条件の全ての組み合わせが選択されるように、図３の処理を繰返してもよい。

次いで、ステップＳ１２においては、少なくとも一つの物理量が選択され、その物理量について連続する複数データが検出され、それら複数データの変動が大きいか否かが判定される。変動が小さい場合、つまり物理量が安定している場合には、ステップＳ１３において報酬が増える。これに対し、変動が大きい場合には、物理量が安定していないと判断され、ステップＳ２０において報酬が減るかまたはそのままとなる。

次いで、ステップＳ１４においては、サイクルタイムおよび／またはスパッタ発生量が検出され、それらが、それぞれの規定値と比較される。そして、サイクルタイムおよび／またはスパッタ発生量がそれぞれの規定値よりも小さい場合には、ステップＳ１５において報酬が増え、サイクルタイムおよび／またはスパッタ発生量がそれぞれの規定値よりも小さくない場合には、ステップＳ２０において報酬が減るかまたはそのままとなる。

次いで、ステップＳ１６においては、溶接品質が高いか否かが判定される。そして、溶接品質が高い場合には、ステップＳ１７において報酬が増え、溶接品質が高くない場合には、ステップＳ２０において報酬が減るかまたはそのままとなる。

なお、溶接品質が高いか否かは、溶接の画像などで判断してもよい。あるいは、溶接不良の有無を通じて溶接品質が高いか否かを判断してもよい。溶接の画像が、例えばピット、溶け落ち、アンダカット、オーバーラップ、ビード幅不揃い、ビード蛇行、予め設定された要求脚長の不足、予め設定された余盛り高さの不足、予め設定された許容歪みのオーバなどを含んでいる場合には、溶接不良であると判断する。

次いで、ステップＳ１８においては、溶接ワイヤ消費量および／またはエネルギ消費量が検出され、それらが、それぞれの規定値と比較される。そして、溶接ワイヤ消費量および／またはエネルギ消費量がそれぞれの規定値よりも小さい場合には、ステップＳ１９において報酬が増え、溶接ワイヤ消費量および／またはエネルギ消費量がそれぞれの規定値よりも小さくない場合には、ステップＳ２０において報酬が減るかまたはそのままとなる。

このような報酬の増減は報酬計算部３２によって算出される。また、報酬の増減の額については、ステップに応じてその値が異なるように設定されていても良い。また、ステップＳ１２、Ｓ１４、Ｓ１６、Ｓ１８のうちの少なくとも一つの判定ステップおよび関連する報酬増のステップを省略することもできる。

その後、ステップＳ２１においては、関数更新部３３が行動価値関数を更新する。ここで、学習部３５が実施するＱ学習は、或る環境状態ｓの下で、行動ａを選択する価値（行動の価値）Ｑ（ｓ、ａ）を学習する方法である。そして、Ｑ学習では、或る状態ｓのときに、Ｑ（ｓ、ａ）の最も高い行動ａを選択する。Ｑ学習では、試行錯誤により、或る状態ｓの下で様々な行動ａをとり、そのときの報酬を用いて正しいＱ（ｓ、ａ）を学習する。行動価値関数Ｑ（ｓ、ａ）の更新式は以下の式（１）で表される。

ここで、ここでｓ_ｔ，ａ_ｔは、時刻ｔにおける環境と行動を表す。行動ａ_ｔにより、環境はｓ_ｔ＋１に変化し、その環境の変化によって、報酬ｒ_ｔ＋１が算出される。また、ｍａｘの付いた項は、環境ｓ_ｔ＋１の下で、最も（その時に分かっている）Ｑ値の高い行動ａを選んだ場合のＱ値にγを掛けたものになる。ここでγは０＜γ≦１（通常は０．９〜０．９９）の割引率であり、αは０＜α≦１（通常は０．１程度）の学習係数である。

この更新式は、状態ｓに於ける行動ａの評価値Ｑ（ｓ_ｔ，ａ_ｔ）よりも、ａによる次の環境状態に於ける最良の行動の評価値Ｑ（ｓ_ｔ＋１，ｍａｘａ_ｔ＋１）の方が大きければ、Ｑ（ｓ_ｔ，ａ_ｔ）を大きくするし、逆に小さければ、Ｑ（ｓ_ｔ，ａ_ｔ）も小さくする事を示している。つまり、或る状態に於ける或る行動の価値を、それによる次の状態に於ける最良の行動の価値に近づけるようにしている。言い換えれば、学習部３５は、アーク溶接を実行するのに最も適した状態、つまり少なくとも一つの最適なアーク溶接条件を更新する。

このようにして、ステップＳ２１においては、前述した式（１）を用いて関数更新部３３が行動価値関数を更新する。そして、ステップＳ１１に戻り、少なくとも一つのアーク溶接条件の他の内容が選択され、同様にして行動価値関数が更新される。なお、行動価値関数の代わりに、行動価値テーブルを更新するようにしてもよい。

強化学習においてはエージェントとしての学習部３５が環境の状況に基づいて、行動を決定する。この場合における行動とは、意思決定部３４が、少なくとも一つのアーク溶接条件およびその内容（値など）を選択し、その内容に従ってアーク溶接実行部３７がロボット１０等を動作させることである。そして、これら内容で調整された少なくとも一つのアーク溶接条件によって図２に示される環境、例えば物理量の安定度、サイクルタイムなどが変化する。そのような環境の変化に伴って、前述したように報酬が機械学習器３０に与えられ、機械学習器３０の意思決定部３４は、例えばより高い報酬が得られるように、より良い行動の選択（意志決定）を学習する。前述したように学習結果は学習結果記憶部３８に前述したように記憶される。

このため、図３に示される処理が多数回にわたって繰返し行われることにより、行動価値関数の信頼度が高められる。そして、ステップＳ１１において、信頼性の高い行動価値関数に基づいて、例えばＱ値が高くなるように少なくとも一つのアーク溶接条件の内容をより最適に決定することが可能となる。

このようにして、本発明の機械学習部３０の関数更新部３３により更新された内容を、アーク溶接を実行するときの、より最適なアーク溶接条件の内容として自動的に決定することができる。そして、そのような機械学習部３０をアーク溶接ロボットシステム５および／またはその制御装置２０に導入することによって、最適な溶接条件を自動的に作成することができる。その結果、生産効率を向上させられる。

ところで、ポジショナ１９の第一軸線１２および第二軸線１４回りにおける移動量は、機械学習器３０により決定される物理量に含まれていてもよい。この場合には、機械学習器３０はポジショナ１９の移動量を最適に決定するので、ロボット１０およびポジショナ１９によるアーク溶接の協調動作をより最適に行うことが可能となる。

ところで、図４は溶接システム１の略図である。図４に示されるように溶接システム１は複数のアーク溶接ロボットシステム５、５ａ〜５ｎを含んでいる。各アーク溶接ロボットシステム５、５ａ〜５ｎは機械学習器３０、３０ａ〜３０ｎをそれぞれ含んでおり、各機械学習器３０、３０ａ〜３０ｎは前述したのと同様に状態観測部３１、３１ａ〜３１ｎ、学習結果記憶部３８、３８ａ〜３８ｎなどをそれぞれ含んでいる。図４から分かるように、これら各アーク溶接ロボットシステム５、５ａ〜５ｎは通信部４０により互いに接続されている。通信部４０はネットワークであり、有線または無線のいずれであってもよい。

機械学習を繰返し実施することによって、アーク溶接ロボットシステム５の状態観測部３１には各種の物理量および各種のアーク溶接条件が記憶されている。同様に、アーク溶接ロボットシステム５の学習結果記憶部３８には、機械学習器３０の学習結果が記憶されている。

従って、例えば他のアーク溶接ロボットシステム５ａの機械学習器３０ａが機械学習を行っていない場合であっても、アーク溶接ロボットシステム５の状態観測部３１および学習結果記憶部３８の記憶内容を通信部４０に通して他のアーク溶接ロボットシステム５ａの状態観測部３１ａおよび学習結果記憶部３８ａに組入れることができる。従って、アーク溶接ロボットシステム５ａの機械学習器３０ａが機械学習を実際に行うことなしに、信頼性の高い学習結果などを利用することができる。別のアーク溶接ロボットシステム５ｎ等についても同様である。

さらに、図４には記憶部５１を備えた上位コンピュータ５０、例えばサーバが通信部４０に有線または無線により接続されている。なお、上位コンピュータ５０は例えば一つのアーク溶接ロボットシステム５に直接的に接続されていてもよい。

そして、アーク溶接ロボットシステム５の状態観測部３１に記憶された物理量などおよびアーク溶接ロボットシステム５の学習結果記憶部３８に記憶された学習結果を通信部４０に通して上位コンピュータ５０の記憶部５１に記憶させてもよい。この場合には、他のアーク溶接ロボットシステム５ａは、上位コンピュータ５０の記憶部５１にアクセスして、前述した物理量などおよび学習結果を状態観測部３１ａおよび学習結果記憶部３８ａにそれぞれ組入れる。つまり、一つのアーク溶接ロボットシステム５が一時的にネットワークから外れている場合であっても、他のアーク溶接ロボットシステム５ａは前述した物理量などおよび学習結果を取得できるのが分かるであろう。

典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、前述した変更および種々の他の変更、省略、追加を行うことができるのを理解できるであろう。

１ 溶接システム
５、５ａ〜５ｎ アーク溶接ロボットシステム
１０ アーク溶接ロボット
１２ 第一軸線
１４ 第二軸線
１８ 溶接トーチ
１９ ポジショナ
２０ 制御装置（アーク溶接制御装置）
２１ 物理量計測部
３０、３０ａ〜３０ｎ 機械学習器（機械学習装置）
３１、３１ａ〜３１ｎ、 状態観測部
３２ 報酬計算部
３３ 関数更新部
３４ 意思決定部
３５ 学習部
３７ 実行部
３８、３８ａ〜３８ｎ 学習結果記憶部
３９ 報酬条件設定部
５０ 上位コンピュータ
５１ 記憶部

Claims (10)

1. 少なくとも一つのアーク溶接条件を決定することを学習する機械学習装置（３０）において、
   アーク溶接実行中またはアーク溶接実行後の少なくとも一方においてアーク溶接に関する少なくとも一つの物理量と、前記少なくとも一つのアーク溶接条件とから構成される状態変数を観測する状態観測部（３１）を具備し、
   前記少なくとも一つのアーク溶接条件は、溶接速度、溶接波形調整量、突出し長、溶接トーチの前進角・後退角、狙い角、狙い位置、シールドガス流量、ウィービング条件、アークセンサ条件、多層盛り溶接時の溶接位置オフセット量のうちの少なくとも一つを含んでおり、
   前記少なくとも一つの物理量は、撮像部により撮像された溶接部位の撮像データ、該撮像データを処理することにより得られる溶接ビードの外観、ビードの余盛り高さ、ビード幅、およびスパッタ発生量、溶込計測装置から得られる溶込み量、ならびに集音装置から得られるアーク音波形のうちの少なくとも一つを含んでおり、
   さらに、前記状態変数に基づいて、前記少なくとも一つのアーク溶接条件を決定する関数を更新することによって、前記少なくとも一つのアーク溶接条件を決定することを学習する学習部（３５）、を具備し、
   前記学習部は、前記状態変数に基づいて、前記少なくとも一つのアーク溶接条件を決定した結果に対する報酬を計算する報酬計算部（３２）と、
   該報酬計算部により計算された報酬に基づいて、前記関数を更新する関数更新部（３３）とを含み、
   前記関数更新部による前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる前記少なくとも一つのアーク溶接条件を学習する機械学習装置（３０）。
2. 前記報酬計算部は、報酬条件を設定する報酬条件設定部（３９）を含んでおり、前記報酬計算部は、前記報酬条件設定部により設定された報酬条件に基づいて報酬を計算する、請求項１に記載の機械学習装置。
3. さらに、前記学習部は、前記関数更新部が学習した結果を記憶する学習結果記憶部（３８）を含む、請求項１または２に記載の機械学習装置。
4. 請求項１から３のいずれか一項に記載の機械学習装置と、
   前記学習部の学習結果に基づいて、現在の前記状態変数から、前記少なくとも一つのアーク溶接条件と、該少なくとも一つのアーク溶接条件の最適調整量とを決定する意思決定部と、を具備するアーク溶接制御装置（２０）。
5. 前記学習部は、アーク溶接実行中に前記少なくとも一つのアーク溶接条件の調整を学習、あるいは繰返し学習する、請求項４に記載のアーク溶接制御装置。
6. さらに、前記機械学習装置により出力された結果に基づいてアーク溶接を実行する実行部（３７）を具備する、請求項４または５に記載のアーク溶接制御装置。
7. アーク溶接を実行するロボット（１０）と、
   該ロボットによるアーク溶接の実行中または実行後の少なくとも一方においてアーク溶接に関する少なくとも一つの物理量を計測する物理量計測部（２１）と、
   請求項４から６のいずれか一項に記載のアーク溶接制御装置と、を具備するアーク溶接ロボットシステム（５）。
8. 前記アーク溶接ロボットシステムが、さらに、 溶接すべきワークの姿勢を変更するポ
   ジショナ（１９）を含んでおり、
   前記ロボットおよびポジショナが協調動作を行いながらアーク溶接を実行する、請求項７に記載のアーク溶接ロボットシステム。
9. 請求項７または８に記載された複数のアーク溶接ロボットシステムと、
   該複数のアーク溶接ロボットシステムを互いに接続する通信部（４０）と、を具備し、
   前記通信部は、少なくとも一つの前記状態観測部により観測された少なくとも一つの物理量および少なくとも一つの前記学習結果記憶部により記憶された学習結果のうちの少なくとも一方を前記複数のアーク溶接ロボットシステムの間で送受信する、溶接システム。
10. さらに、前記通信部に接続された上位コンピュータ（５０）を具備し、
    前記少なくとも一つの状態観測部により観測された少なくとも一つの物理量および前記少なくとも一つの学習結果記憶部により記憶された学習結果のうちの少なくとも一方は前記上位コンピュータに保存される、請求項９に記載の溶接システム。

Images