JP7248517B2 - 学習装置、評価装置および学習モデルの生産方法 - Google Patents

Description

本発明は、学習装置、評価装置および学習モデルの生産方法に関する。

日本では少子高齢化が進展し、労働人口の減少が予測される中、高品質、高付加価値のモノづくりを支えてきた日本の熟練技能を継承することが難しくなりつつあり、技量やノウハウを十分に伝承できなくなることが危惧されている。 一方、センサや情報通信技術の進展により、各種物理量を精度よくデジタル化するセンサ類の性能が上がり、逆にコストは下がっている。これにより、温度や湿度、位置や速度、圧力や応力、歪みや振動等、モノづくり中の物理量をデジタルデータとして容易に取得することが可能になっている。そこで、モノづくり中のデジタルデータをセンシングすることで、モノづくりの技量を定量的に評価する手法が求められている。

その一例として、下記特許文献１の要約には、「作業の技能を修得する必要がある作業者の技能水準を評価する装置において、評価の対象となる技能が必要とされる作業に関連した作業の状態を測定し定量的な挙動データおよび作業状態データから得られる特定の有意なパターンと、あらかじめ構築された模範的なデータおよびそのデータ範囲・パターンに関する情報を記憶するパターン記憶装置１６が記憶する模範的なデータのパターンとを比較した結果から得られる指標を評価結果として提示する技能評価結果提示装置１９とを具備する。」と記載されている。

特開２００６－１７１１８４号公報

ところで、習熟した作業者は各々が長年の経験から身に着けた独自の熟練技能に基づいて作業しており、その技量の特徴量が必ずしも同じ傾向にない場合がある。また、施工後の品質と紐付けた場合であっても、高い品質の施工方法、施工状況が必ずしも同じ特徴量の傾向を示すわけではない。そのため、模範的なデータを一義的に決定することは困難であり、実用上大きな問題として模範的なデータをどのように設定するかが挙げられる。また、技量は様々な要素を含むため、作業者の技量は多面的に評価することが好ましい。しかし、多くの測定項目がある場合、何れの項目がどの程度技量に寄与するのか、その重要度や寄与度を定量的に決定することは容易ではない。
この発明は上述した事情に鑑みてなされたものであり、作業者の技量を適切に判定できる学習装置、評価装置および学習モデルの生産方法を提供することを目的とする。

上記課題を解決するため本発明の学習装置は、技量レベルが異なる複数の作業者の作業動作または前記作業者に操作される施工具の状態を測定した時系列データである挙動データと、前記挙動データに対応する時系列を有し、前記施工具に供給される電流、前記施工具に印加される電圧、または作業を行う周囲の状況を測定した環境データと、前記挙動データに対応する時系列を有し、作業中のワークの状況を測定したワーク状態データと、に対して信号処理を施し、信号処理結果を学習用データとして出力する信号処理部と、前記学習用データを入力データとし技量レベルを出力データとする機械学習を行うことによって学習モデルを生成する学習部と、を備えることを特徴とする。

本発明によれば、作業者の技量を適切に判定できる。

本発明の一実施形態による技量評価システムのブロック図である。 一実施形態におけるデータ取得システムの模式図である。 熟練者によるウィービング操作の一例を示すグラフである。 初級者によるウィービング操作の一例を示すグラフである。 図３におけるウィービング座標値に対する自己相関を示す図である。 図４におけるウィービング座標値に対する自己相関を示す図である。 学習部における正答率のグラフである。

〈技量評価システムの構成〉
図１は、本発明の一実施形態による技量評価システム１００のブロック図である。
技量評価システム１００は、学習装置１０２と、評価装置１０４と、を備えている。学習装置１０２および評価装置１０４は、それぞれ、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＳＳＤ（Solid State Drive）等、一般的なコンピュータとしてのハードウエアを備えており、ＳＳＤには、ＯＳ（Operating System）、アプリケーションプログラム、各種データ等が格納されている。ＯＳおよびアプリケーションプログラムは、ＲＡＭに展開され、ＣＰＵによって実行される。図１において、学習装置１０２および評価装置１０４の内部は、アプリケーションプログラム等によって実現される機能を、ブロックとして示している。

すなわち、学習装置１０２は、学習用データ記憶部１０と、信号処理部１２（第１の信号処理部）と、学習部１４と、学習モデル記憶部１６と、を備えている。また、評価装置１０４は、評価用データ記憶部２０と、信号処理部２２（第２の信号処理部）と、評価部２４と、学習モデル記憶部２６と、表示部２８と、を備えている。

学習装置１０２の学習用データ記憶部１０は、学習用原データＤＴを記憶する。学習用原データＤＴは、様々な技量レベルを有する溶接作業者に溶接作業を行わせ、その溶接作業の際に収集したデータである。学習用原データＤＴは、様々な溶接作業者の挙動を表す挙動データＤＴＭ（第１の挙動データ）と、挙動データＤＴＭを計測した際の作業環境を表す環境データＤＴＥ（第１の環境データ）と、挙動データＤＴＭを計測したワーク（溶接対象物）の状態を表すワーク状態データＤＴＷ（第１のワーク状態データ）と、を有している。これらのデータは、時刻に対応した値を有する時系列データである。

溶接作業者は、技量レベルに応じて、熟練者、中級者および初級者に分類されている。例えば、溶接施工経験２０年以上の者を熟練者とし、溶接施工経験１０年以上２０年未満の者を中級者とし、溶接施工経験１０年未満の者を初級者とすることができる。すなわち、学習用原データＤＴは、溶接作業者の技量レベルで分類すると、熟練者データＤＰＥと、中級者データＤＰＩと、初級者データＤＰＢと、に分類されている。

信号処理部１２は、学習部１４における機械学習をより適切にするために、学習用原データＤＴに含まれる時系列データの一部から特徴量を抽出する。そして、信号処理部１２は、学習用原データＤＴと、抽出した特徴量とを技量レベルでラベル付けし、その結果を学習用データＤＴＡとして出力する。学習部１４は、学習用データＤＴＡに基づいて技量レベルを再現するように、機械学習やディープラーニング等の人工知能技術を用いた学習処理を行うものである。学習モデル記憶部１６は、学習部１４における学習モデルＤＭの最適化が完了した後、その学習モデルＤＭを記憶するものである。なお、学習モデルＤＭの最適化については後述する。

一方、評価装置１０４における評価用データ記憶部２０は、技量レベルを判定しようとする新たな溶接作業者について、判定用原データＤＸを記憶する。判定用原データＤＸは、新たな溶接作業者について、その挙動を表す挙動データＤＸＭ（第２の挙動データ）と、挙動データＤＸＭを計測した際の作業環境を表す環境データＤＸＥ（第２の環境データ）と、挙動データＤＸＭを計測したワーク（溶接対象物）の状態を表すワーク状態データＤＸＷ（第２のワーク状態データ）と、を有している。

信号処理部２２は、学習装置１０２の信号処理部１２と同様に、判定用原データＤＸを処理し、その結果を判定用データＤＸＡとして出力する。ここで、判定用データＤＸＡは、施工開始から施工完了までの全期間に渡るデータであるが、信号処理部２２は、この全期間を複数の時間範囲に対応して区切ってもよい。判定用データＤＸＡをｎ個に区切ったものを、部分判定用データＤＸＡ１～ＤＸＡｎと呼ぶ。

学習モデル記憶部２６は、学習モデルＤＭを記憶する。なお、学習モデルＤＭは、学習装置１０２において最適化され、学習モデル記憶部１６に記憶されているものをコピーするとよい。評価部２４は、最適化された学習モデルＤＭに基づいて判定用原データＤＸＡに対して技量レベルの判定を行う。評価部２４は、その処理結果すなわち技量レベルを出力し、その内容を表示部２８に表示させる。ここで、判定用データＤＸＡが部分判定用データＤＸＡ１～ＤＸＡｎに区切られている場合、評価部２４は、部分判定用データ毎に技量レベルの判定を行う。また、表示部２８は、部分判定用データ毎に技量レベルを表示する。

〈データ取得システムの構成〉
図２は、本実施形態におけるデータ取得システム１０６の模式図である。
データ取得システム１０６は、溶接作業に際して、学習用原データＤＴまたは判定用原データＤＸ（図１参照）を取得するものである。そのため、データ取得システム１０６は、複数のマーカ５３と、制御装置５５と、電気計測装置５６と、視野映像用カメラ５７と、複数の（図示の例では５台の）モーションキャプチャ用のカメラ５８と、を備えている。

図中のワーク５１（第１のワーク、第２のワーク）は、溶接対象である金属板である。また、トーチ５２（施工具、第１の施工具、第２の施工具）は、溶接作業者５０（作業者、第１の作業者、第２の作業者）によって把持される。トーチ５２は、消耗電極式・半自動アーク溶接用のトーチである。また、半自動溶接電源５４は、トーチ５２に対して溶接用の電力を供給するものである。

消耗電極式・半自動アーク溶接においては、溶加材（図示せず）は、ワイヤ状の部材である。溶加材は、送給装置（図示せず）によって、トーチ５２の内部を通って、トーチ５２の先端まで供給される。また、ワーク５１の溶接部分の酸化を抑制するため、トーチ５２の先端からは不活性ガスが噴出される。また、トーチ５２にはスイッチ（図示せず）が設けられており、溶接作業者５０は、スイッチを操作することによって送給装置、不活性ガス、および半自動溶接電源５４のオン／オフ操作を行う。

電気計測装置５６は、溶接電流と、溶接電圧とを計測する。ここで溶接電流とは、半自動溶接電源５４が出力する電流である。また、溶接電圧とは、ワーク５１と、トーチ５２内の溶加材との間の電圧である。マーカ５３は、溶接作業者５０、トーチ５２およびワーク５１の各部に装着されている。

視野映像用カメラ５７は、溶接作業者５０から見た溶接中の視野を撮影するためのカメラである。視野映像用カメラ５７は、可視光線を撮影する機能を備える他、赤外線カメラ、紫外線カメラ、放射温度計、その他各種センサの機能も備えており、溶接時におけるワーク５１の溶融状態の変化をデジタルデータとして取得する。

図２に示す例においては、溶接作業者５０の後方において、溶接作業者５０の前方のワーク５１が撮影範囲に含まれるように視野映像用カメラ５７が配置されている。複数のモーションキャプチャ用のカメラ５８は、ワーク５１および溶接作業者５０の周辺において、様々な角度からワーク５１、トーチ５２および溶接作業者５０等を撮影する。制御装置５５は、電気計測装置５６と、視野映像用カメラ５７と、各カメラ５８と、に接続されている。そして、制御装置５５は、接続されている各機器に対して、測定開始、測定終了等の動作を指示する。

なお、図２においては、制御装置５５と各カメラ５８との接続関係について図示を省略したが、制御装置５５と各カメラ５８とは、無線通信または有線通信によって接続されている。ところで、上述した挙動データＤＴＭ，ＤＸＭ（図１参照）とは、溶接作業者５０の位置や姿勢、トーチ５２の位置や方向、ワーク５１の位置等の時間的変化を表すデータである。制御装置５５は、各カメラ５８から供給された動画に基づいて、各マーカ５３の位置を算出し、これによって挙動データＤＴＭ，ＤＸＭを取得する。

また、上述したワーク状態データＤＴＷ，ＤＸＷ（図１参照）とは、視野映像用カメラ５７によって取得した情報である。すなわち、ワーク状態データＤＴＷ，ＤＸＷは、施工中のワーク５１の温度、施工部の温度、施工部の色彩、酸化度、溶融状態等の時間的変化を表すデータである。また、上述した環境データＤＴＥ，ＤＸＥとは、電気計測装置５６が計測した溶接電流および溶接電圧の時間的変化を表すデータ等である。

制御装置５５は、学習用原データＤＴを取得する場合には、挙動データＤＴＭ、環境データＤＴＥおよびワーク状態データＤＴＷを同期させつつ同時に取得し、保存する。同様に、判定用原データＤＸを取得する場合には、挙動データＤＸＭ、環境データＤＸＥおよびワーク状態データＤＸＷを同期させつつ同時に取得し、保存する。

〈学習用原データＤＴの詳細〉
次に、図１に示した学習用原データＤＴの詳細を説明する。上述のように、学習用原データＤＴは、挙動データＤＴＭと、環境データＤＴＥと、ワーク状態データＤＴＷとを有している。
挙動データＤＴＭの例を列挙すると、例えば以下の通りになる。
・溶接作業者５０の頭、顔、体、目線、腕、手、指、足、若しくは関節のうち何れかである身体部位の位置、該身体部位の向き、該身体部位の傾き、該身体部位の回転状態、若しくは該身体部位と他の部位との相対的位置関係に関する時系列データである姿勢データ、
・該姿勢データに係る速度の時間的変化、
・該姿勢データに係る加速度の時間的変化、
・該姿勢データに係る角速度の時間的変化、
・トーチ５２の位置、向き、傾き、回転状態、若しくは該トーチ５２の各部の相対的位置関係に関する時系列データである施工具データ、
・該施工具データに係る速度の時間的変化、
・該施工具データに係る加速度の時間的変化、
・該施工具データに係る角速度の時間的変化

また、環境データＤＴＥの例を列挙すると、例えば以下の通りになる。
・トーチ５２に供給される溶接電流の時系列データ、
・トーチ５２に印加される溶接電圧の時系列データ、
・トーチ５２に印加される不活性ガスのガス量の時系列データ、
・溶接時に発生する音、施工時に発生する電磁波、若しくはその他施工時に環境に放射されるエネルギーの時系列データ。

また、ワーク状態データＤＴＷの例を列挙すると、例えば以下の通りになる。
・ワーク５１の溶接個所の温度溶接個所の色彩、溶接個所の酸化度、溶接個所の溶融状態、に関する時系列データである施工箇所データ、
・該施工箇所データの時間的変化。

〈信号処理部１２の詳細〉
（自己相関振幅）
次に、信号処理部１２，２２において実行される特徴量抽出処理の詳細を説明する。
本発明者らは、信号処理部１２，２２に適用される特徴量の算出について、上述の挙動データＤＴＭ、すなわち作業中の作業者の身体の位置等の経時的な変化に基づいて、熟練度すなわち技量レベルと相関が大きい特徴量を導き出すことを試みた。その結果、溶接作業においては、「ウィービング操作の自己相関が、技量レベルとの相関が大きい」ことが判明した。なお、ウィービングとは、溶接進行方向速度に対して交差する方向にトーチ５２（図２参照）を振る動作を指す。以下、図３～図６を参照し、その詳細を説明する。

図３は、熟練者によるウィービング操作の一例を示すグラフである。すなわち、溶接作業者５０（図２参照）は、溶接経験年数が２５年の熟練者である。
図３において横軸は時刻である。また、縦軸は、ウィービング座標値である。ここで、ウィービング座標値とは、溶接進行方向速度に対して直交する方向における、トーチ５２の先端位置の座標値である。なお、トーチ５２（図２参照）の先端にはマーカ５３を装着できないが、トーチ５２およびワーク５１は剛体である見做せるため、複数のマーカ５３の位置関係に基づいてトーチ５２の先端位置を算出することができる。

図４は、初級者によるウィービング操作の一例を示すグラフである。すなわち、溶接作業者５０は、溶接経験年数が５年の初級者である。
図４において横軸、縦軸の意義は図３のものと同様である。また、図３および図４において、ワーク５１は同一材質および同一形状のものを適用した。トーチ５２も同一のものを適用した。但し、溶接条件の設定は、各々の溶接作業者５０に委ねた。図３および図４のグラフそのものを単純に比較したのでは、定量的な特徴量を抽出することは困難である。しかし、後述するように、統計的な手法の一つである自己相関を取得することで、隠された特性を抽出できることを発明者らは発見した。

図５は、図３におけるウィービング座標値に対する自己相関を示す図である。同様に、図６は、図４におけるウィービング座標値に対する自己相関を示す図である。
図５および図６を比較すると、熟練者および初級者によるウィービング操作には、明らかに周期性が異なっていることが解る。すなわち、熟練者によるウィービング操作には、図５に示すように強い周期性が現れる。一方、初級者によるウィービング操作には、図６に示すように弱い周期性が現れる。図５および図６において、最初に現れる極小値をｂとし、極小値ｂの後に最初に現れる極大値をａとし、両者の差分を自己相関振幅ｃ＝ａ－ｂとする。この自己相関振幅ｃは、溶接作業者５０の技量レベルに対して強い相関性を有していることが解る。

図１について上述したように、信号処理部１２は、学習用原データＤＴから特徴量を抽出し、抽出した特徴量を学習用原データＤＴに加えたものを学習用データＤＴＡとして出力する。同様に、信号処理部２２は、判定用原データＤＸから特徴量を抽出し、抽出した特徴量を判定用原データＤＸに加えたものを判定用データＤＸＡとして出力する。その際、学習用原データＤＴまたは判定用原データＤＸから抽出される特徴量の中に、上述した自己相関振幅ｃが含まれる。

自己相関のグラフ（例えば図５または図６）および自己相関振幅ｃは、全溶接期間（溶接開始から溶接終了までの一連の期間）に対して１個のみ求めることが考えられる。また、全溶接期間を複数の部分期間に分割し、これら部分期間毎に自己相関のグラフおよび自己相関振幅ｃを求めてもよい。

（他の特徴量）
溶接作業において、溶接進行方向速度、トーチ５２の先端高さ（トーチ５２の先端とワーク５１との距離）等のパラメータは、変化すると溶接状態も大きく変化することから、安定した一定値を取ることが望ましいと考えられる。このようなパラメータ項目については、レベルを表す統計値として、平均値を適用することが好ましい。また、変化または分布を表す統計値として、標準偏差や分散値、最大値、最小値、パーセンタイル値等が適しているという知見を本発明者らは見出した。また、測定値そのものの原系列に対して、値の変化を表す階差系列（差分系列）、あるいは、原系列データに対して対数変換を施した対数系列、さらに対数系列に対して差分系列をとった対数差分系列も有効であることを本発明者らは見出した。

上述したように、挙動データＤＴＭ、環境データＤＴＥおよびワーク状態データＤＴＷには、技量レベル（熟練者、中級者、初級者）がラベル付けされている。信号処理部１２は、これらデータを元データとして取得した後、技量レベル毎の特徴量を抽出する。技量レベル毎に抽出される特徴量は、以下に列挙するもののうち、何れかを含む。
・元データの時間差分。
・元データを昇順に整列した際の分布が１％以上かつ９９％以下の範囲の少なくとも１つのパーセンタイル。
・元データのフーリエ変換結果に基づいて取得した値。
・元データの自己相関に基づいて取得した値。
・元データを畳み込みニューラルネットワーク（CNN：Convolutional Neural Network）に入力して取得した値。
・元データを再帰型ニューラルネットワーク（RNN：Recurrent Neural Network）に入力して取得した値。

より具体的には、信号処理部１２，２２において抽出される特徴量は、以下に列挙するもののうち何れかを含む。
・トーチ５２の溶接進行方向速度に対する自己相関、平均、標準偏差、最小値、最大値、２５パーセンタイル値、または７５パーセンタイル値。
・トーチ５２のウィービング座標値に対する自己相関、平均、標準偏差、最小値、最大値、２５パーセンタイル値、または７５パーセンタイル値。
・トーチ５２の先端高さに対する自己相関、平均、標準偏差、最小値、最大値、２５パーセンタイル値、または７５パーセンタイル値。
・トーチ５２の傾き（ワーク５１の表面に対するトーチ５２の角度）に対する自己相関、平均、標準偏差、最小値、最大値、２５パーセンタイル値、または７５パーセンタイル値。

上述した特徴量のうち「トーチ５２のウィービング座標値に対する自己相関」とは、図５および図６に示したものである。上記例においては、主としてトーチ５２の挙動に基づいて特徴量を抽出したが、上述した他の挙動データＤＴＭ（溶接作業者５０の姿勢データや、その速度や加速度の時間的変化等）、環境データＤＴＥ（溶接電流、溶接電圧等の時系列データ）、またはワーク状態データＤＴＷ（溶接個所の色彩等）に基づいて特徴量を抽出してもよい。

〈学習部１４の動作の詳細〉
次に、学習部１４（図１参照）において実行される学習処理の詳細を説明する。
機械学習の学習方法は大別して教師あり学習と教師なし学習とに分類される。例えば、溶接作業者５０（図２参照）等の被検者について制御装置５５等で収集されたデータに基づいて技量レベルを判定する場合、その技量レベル毎にデータを収集することが可能であれば、これらのデータを教師データとする教師あり学習が可能となる。

学習部１４は、技量判定に適した優れた学習モデルＤＭを構築するために、機械学習技術によって学習モデルＤＭを訓練する。具体的には、技量レベルの判定結果に対する正答率を算出し、正答率がなるべく高くなるように学習部１４および学習モデルＤＭにおける入力パラメータを調整する。これらの工程によって、技量判定に最適化された学習モデルＤＭを構築する。

そのため、学習部１４においては、学習用データＤＴＡの例えば８０％を訓練用データＤＴＡ１として用い、残りの例えば２０％をテスト用データＤＴＡ２として用いる。勿論、両者の割合は単なる例に過ぎないものであり、状況に応じて両者の割合を設定するとよい。まず、機械学習のため訓練用データＤＴＡ１を用いて所定の学習アルゴリズムにより、学習モデルＤＭを訓練する。その後、構築した学習モデルＤＭに対してテスト用データＤＴＡ２を適用し、これによってテスト用データＤＴＡ２の判定結果を取得する。その際、学習アルゴリズムに対する入力パラメータが最終的な識別結果の正答率に影響を及ぼす。そこで、訓練用データＤＴＡ１による学習モデルＤＭの構築とテスト用データＤＴＡ２による判定とを、学習アルゴリズムのパラメータを変更しながら繰り返し実行することにより、技量判定に最適化された学習モデルＤＭを構築することができる。

図７は、学習部１４における正答率のグラフである。
図示の例では、学習部１４における学習アルゴリズムとして、ニューラルネットの一種である多層パーセプトロン （MLP：Multi Layer Perceptron）を用いている。図７の横軸は、訓練用データＤＴＡ１の個数である。また、縦軸は正答率である。なお、テスト用データＤＴＡ２の個数は図示しないが、訓練用データＤＴＡ１の個数の１／４になる。また、特性Ｑ１は、最適化を行っていないデフォルトの学習モデルＤＭに対して訓練用データＤＴＡ１を適用した特性である。また、特性Ｑ２は、パラメータを最適化した学習モデルＤＭに対して、訓練用データＤＴＡ１を適用した特性である。

学習モデルＤＭにおけるパラメータの最適化は、主として隠れ層のユニットサイズを変更することである。デフォルトの学習モデルＤＭにおいて、隠れ層のユニットサイズは「１層×１００ノード」である。一方、最適化された学習モデルＤＭにおいて、隠れ層の層数は「４」であり、第１層のノード数は２００、第２層のノード数は１６０、第３層のノード数は４０、第４層のノード数は２０である。

この最適化された学習モデルＤＭにおいては、図７の特性Ｑ２に示すように、５０個の訓練用データＤＴＡ１に対して９７％の正答率を得た。そして、訓練用データＤＴＡ１の個数が増加するにつれて、正答率も上昇しており、入力パラメータとして、ニューラルネットの層数、ノード数等の入力パラメータを最適化してゆくと、特性Ｑ２に示すように、２００個の訓練データで９９％以上の正答率を得ることができる。

〈変形例〉
本発明は上述した実施形態に限定されるものではなく、種々の変形が可能である。上述した実施形態は本発明を理解しやすく説明するために例示したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記実施形態の構成に他の構成を追加してもよく、構成の一部について他の構成に置換をすることも可能である。また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、製品上で必要な全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。上記実施形態に対して可能な変形は、例えば以下のようなものである。

（１）上記実施形態においては、溶接作業者の技量レベルを定量的に評価するために技量評価システム１００を適用した例を説明した。しかし、技量評価システム１００において評価する技量レベルは、「溶接作業」に限定されるものではなく、例えば、ろう付け、グラインダ、塗装、鋳造、研磨等、様々な作業の技量レベルの評価に適用することができる。また、データ取得システム１０６（図２参照）や、特徴量の抽出方法、学習モデルＤＭの構築方法についても、評価しようとする技量レベルに応じて適宜変更するとよい。

（２）上記実施形態においては、各マーカ５３の位置を算出し、これによって溶接作業者５０の位置や姿勢、トーチ５２の位置や方向、ワーク５１の位置等の時間的変化を表す挙動データＤＴＭ，ＤＸＭを取得した。しかし、例えば、加速度・角速度・地磁気計測装置、全地球測位システム（ＧＰＳ：Global Positioning System）、屋内全地球測位システム（屋内ＧＰＳ）等を用いて挙動データＤＴＭ，ＤＸＭを計測してもよい。また、例えば、レーザーや超音波を用いた測距センサを適用してもよく、ステレオカメラ等の画像解析に基づいて、各部の位置の時間的変化を測定し、挙動データＤＴＭ，ＤＸＭを取得してもよい。

（３）また、上記実施形態においては、環境データＤＴＥ，ＤＸＥとして、電気計測装置５６で計測した溶接電圧および溶接電流の時間的変化を適用した例を説明した。しかし、これらに加えて、音響マイクによって施工中に発生する音を取得し、この音の音圧、周波数等の時間的変化を環境データＤＴＥ，ＤＸＥに適用してもよい。

（４）上記実施形態においては、ワーク状態データＤＴＷ，ＤＸＷとして、視野映像用カメラ５７によって取得した情報、すなわち、施工中のワーク５１の温度、施工部の温度、施工部の色彩、酸化度、溶融状態等の時間的変化を表すデータを適用した例を説明した。しかし、これらに加えて、例えば、熱電対等、ワーク５１に接触するセンサで温度計測等を行ってもよい。

（５）また、上記実施形態において、学習部１４における機械学習のアルゴリズムは、多層パーセプトロンを適用したが、これに代えて、決定木、ランダムフォレスト、ロジスティック回帰、スコアカードモデル、ベイジアンアルゴリズム、サポートベクターマシン、k近傍法、k平均法、アダブースト、または多層パーセプトロン以外のニューラルネットワークを適用してもよい。これにより、評価する技量レベルに対して最適なアルゴリズムを適用することができる。

（６）また、学習装置１０２、評価装置１０４およびデータ取得システム１０６は、必ずしも同じサイトに設置する必要は無い。従って、これらを離れた場所に設置し、通信ネットワーク等で接続してもよい。また、データ取得システム１０６は、学習装置１０２用のもの（第１のデータ取得システム）と、評価装置１０４用のもの（第２のデータ取得システム）と、を離れた場所に設けてもよい。また、学習装置１０２、評価装置１０４およびデータ取得システム１０６を構成する各要素についても、必ずしも同じサイトに設置する必要は無い。従って、これらを離れた場所に設置し、通信ネットワーク等で接続してもよい。例えば、学習装置１０２（図１参照）について、学習用データ記憶部１０、信号処理部１２、学習部１４および学習モデル記憶部１６を離れた場所に設置し、これらを通信ネットワーク等で接続してもよい。

（７）また、上記実施形態においては、溶接作業者の技量レベルを「熟練者」、「中級者」および「初級者」の３段階に分類したが、技量レベルの段階数は「３」に限られず、用途応じて決定してよい。また、技量レベルはラベルではなく数値として定義することもできる。この場合、機械学習によって、学習用原データＤＴから数値としての技量レベルを求める回帰分析の手法も知られている。従って、本実施形態においては、技量レベルをラベルによって表現してもよく、数値として表現してもよい。

（８）上述のように、技量評価システム１００は、「溶接作業」のみならず、「ろう付け」、「グラインダ」等、様々な作業の技量レベルの評価に適用することができる。そこで、「様々な作業」に対応して、環境データＤＴＥは、例えば以下のように表現することができる。
・施工具に供給される電流、施工具に印加される電圧、施工具に供給されるガス量施工具に供給されるエネルギー量、若しくは、施工具に供給される物品の量、に関する時系列データである供給データ。
・施工時に発生する音、施工時に発生する電磁波、若しくはその他施工時に環境に放射されるエネルギーの時系列データである放射エネルギーデータ。
・上述した供給データの時間的変化。
・上述した放射エネルギーデータの時間的変化。

（９）上記実施形態における学習装置１０２および評価装置１０４のハードウエアは一般的なコンピュータによって実現できるため、信号処理部１２や学習部１４等を機能させるプログラムや、生成した学習モデルＤＭ等を記憶媒体に格納し、または伝送路を介して頒布してもよい。

〈実施形態の効果〉
以上のように本実施形態の学習装置１０２は、技量レベルが異なる複数の作業者（５０）の作業動作または作業者（５０）に操作される施工具（５２）の状態を測定した時系列データである挙動データＤＴＭと、挙動データＤＴＭに対応する時系列を有し、施工具（５２）に供給される電流、施工具（５２）に印加される電圧、または作業を行う周囲の状況を測定した環境データＤＴＥと、挙動データＤＴＭに対応する時系列を有し、作業中のワーク５１の状況を測定したワーク状態データＤＴＷと、に対して信号処理を施し、信号処理結果を学習用データＤＴＡとして出力する信号処理部１２と、学習用データＤＴＡを入力データとし技量レベルを出力データとする機械学習を行うことによって学習モデルＤＭを生成する学習部１４と、を備える。

これにより、本実施形態によれば、作業者の技量を適切に判定できる。さらに、本実施形態によれば、施工技量が異なる作業者の挙動、ワーク状況、作業環境を定量的にデジタルデータとして計測し、その計測データを施工技量のラベルを利用した機械学習やディープラーニングなどの人工知能技術を用いて学習モデルを構築できる。これにより、技量を定量的に判定できる。また、本手法により、作業者の技量レベルを複数の測定データから多面的に評価することができるため、どの項目をどのように修正することで技量の改善を図ることができるのかを明示でき、効率的な技能訓練を実行することができる。

また、挙動データＤＴＭは、作業者（５０）の頭、顔、体、目線、腕、手、指、足、若しくは関節のうち何れかである身体部位の位置、身体部位の向き、身体部位の傾き、身体部位の回転状態、若しくは身体部位と他の部位との相対的位置関係に関する時系列データである姿勢データ、姿勢データに係る速度の時間的変化、姿勢データに係る加速度の時間的変化、姿勢データに係る角速度の時間的変化、施工具（５２）の位置、向き、傾き、回転状態、若しくは施工具（５２）の各部の相対的位置関係に関する時系列データである施工具データ、施工具データに係る速度の時間的変化、施工具データに係る加速度の時間的変化、または施工具データに係る角速度の時間的変化である。これにより、作業者（５０）の状態や挙動を適切に把握することができる。

また、環境データＤＴＥは、施工具（５２）に供給される電流、施工具（５２）に印加される電圧、施工具（５２）に供給されるガス量、施工具（５２）に供給されるエネルギー量、若しくは、施工具（５２）に供給される物品の量、に関する時系列データである供給データ、施工時に発生する音、施工時に発生する電磁波、若しくはその他施工時に環境に放射されるエネルギーの時系列データである放射エネルギーデータ、供給データの時間的変化または放射エネルギーデータの時間的変化である。これにより、施工時の環境等を適切に把握することができる。

また、ワーク状態データＤＴＷは、ワーク５１の施工具（５２）による施工箇所の温度、施工箇所の色彩、施工箇所の酸化度、若しくは施工箇所の溶融状態に関する時系列データである施工箇所データ、または施工箇所データの時間的変化である。これにより、ワーク５１の状態を適切に把握することができる。

また、信号処理部１２は、挙動データＤＴＭ、環境データＤＴＥ、またはワーク状態データＤＴＷのうち何れかを元データとし、元データの時間差分、元データを昇順に整列した際の分布が１％以上かつ９９％以下の範囲の少なくとも１つのパーセンタイル、元データのフーリエ変換結果に基づいて取得した値、元データの自己相関に基づいて取得した値、元データを畳み込みニューラルネットワークに入力して取得した値、または元データを再帰型ニューラルネットワークに入力して取得した値を特徴量として算出する機能を有し、学習部１４は、学習用データＤＴＡに加えて特徴量を入力データとする機械学習を行う機能を有する。
このように、機械学習を行う前に特徴量を算出することにより、機械学習を一層効率的に実行することが可能になる。

また、学習部１４における機械学習のアルゴリズムは、決定木、ランダムフォレスト、パーセプトロン、ロジスティック回帰、スコアカードモデル、ベイジアンアルゴリズム、サポートベクターマシン、k近傍法、k平均法、アダブースト、またはニューラルネットワークを適用したものである。
これにより、評価する技量レベルに対して最適なアルゴリズムを適用することができる。

また、学習部１４は、学習用データＤＴＡの一部を訓練用データＤＴＡ１とし、学習用データＤＴＡの残りをテスト用データＤＴＡ２とし、訓練用データに基づく学習モデルＤＭの構築と、テスト用データに基づく学習モデルＤＭの修正とを繰り返すことによって学習モデルＤＭの正答率を向上させてゆく。
これにより、一層適切な学習モデルＤＭを構築してゆくことができる。

また、本実施形態における評価装置１０４は、技量レベルが異なる複数の第１の作業者（５０）の作業動作または第１の作業者（５０）に操作される第１の施工具（５２）の状態を測定した時系列データである第１の挙動データＤＴＭと、第１の挙動データＤＴＭに対応する時系列を有し、第１の施工具（５２）に供給される電流、第１の施工具（５２）に印加される電圧、または作業を行う周囲の状況を測定した第１の環境データＤＴＥと、第１の挙動データＤＴＭに対応する時系列を有し、作業中の第１のワーク（５１）の状況を測定した第１のワーク状態データＤＴＷと、に対して信号処理を施し、信号処理結果を学習用データＤＴＡとして出力する第１の信号処理部（１２）と、学習用データＤＴＡを入力データとし技量レベルを出力データとする機械学習を行うことによって学習モデルＤＭを生成する学習部１４と、を有する学習装置１０２によって生成された学習モデルＤＭを記憶する学習モデル記憶部２６と、第２の作業者（５０）の作業動作または第２の作業者（５０）に操作される第２の施工具（５２）の状態を測定した時系列データである第２の挙動データＤＸＭと、第２の挙動データＤＸＭに対応する時系列を有し、第２の施工具（５２）に供給される電流、第２の施工具（５２）に印加される電圧、または作業を行う周囲の状況を測定した第２の環境データＤＸＥと、第２の挙動データＤＸＭに対応する時系列を有し、作業中の第２のワーク（５１）の状況を測定した第２のワーク状態データＤＸＷと、に対して信号処理を施し、信号処理結果を判定用データＤＸＡとして出力する第２の信号処理部２２と、学習モデル（ＤＭ）と、判定用データＤＸＡと、に基づいて、第２の作業者（５０）の技量レベルを出力する評価部２４と、を備える。
これにより、第２の作業者（５０）の技量レベルを適切に判断することができる。

また、判定用データＤＸＡは、複数の時間範囲に対応して区切られた複数の部分判定用データＤＸＡ１～ＤＸＡｎを有するものであり、評価部２４は、複数の部分判定用データＤＸＡ１～ＤＸＡｎに対応する複数の技量レベルを出力する。
これにより、時間範囲毎に技量レベルを判定することができる。

１０ 学習用データ記憶部
１２，２２ 信号処理部
１２ 信号処理部（第１の信号処理部）
１４ 学習部
２２ 信号処理部（第２の信号処理部）
２４ 評価部
２６ 学習モデル記憶部
５０ 溶接作業者（作業者、第１の作業者、第２の作業者）
５１ ワーク（第１のワーク、第２のワーク）
５２ トーチ（施工具、第１の施工具、第２の施工具）
１００ 技量評価システム
１０２ 学習装置
１０４ 評価装置
１０６ データ取得システム
ＤＭ 学習モデル
ＤＴＡ 学習用データ
ＤＴＡ１ 訓練用データ
ＤＴＡ２ テスト用データ
ＤＴＥ 環境データ（第１の環境データ）
ＤＴＭ 挙動データ（第１の挙動データ）
ＤＴＷ ワーク状態データ（第１のワーク状態データ）
ＤＸＡ 判定用データ
ＤＸＡ１～ＤＸＡｎ 部分判定用データ
ＤＸＥ 環境データ（第２の環境データ）
ＤＸＭ 挙動データ（第２の挙動データ）
ＤＸＷ ワーク状態データ（第２のワーク状態データ）

Claims (11)

1. 技量レベルが異なる複数の作業者の作業動作または前記作業者に操作される施工具の状態を測定した時系列データである挙動データと、前記挙動データに対応する時系列を有し、前記施工具に供給される電流、前記施工具に印加される電圧、または作業を行う周囲の状況を測定した環境データと、前記挙動データに対応する時系列を有し、作業中のワークの状況を測定したワーク状態データと、に対して信号処理を施し、信号処理結果を学習用データとして出力する信号処理部と、
   前記学習用データを入力データとし技量レベルを出力データとする機械学習を行うことによって学習モデルを生成する学習部と、を備える
   ことを特徴とする学習装置。
2. 前記挙動データは、
   前記作業者の頭、顔、体、目線、腕、手、指、足、若しくは関節のうち何れかである身体部位の位置、前記身体部位の向き、前記身体部位の傾き、前記身体部位の回転状態、若しくは前記身体部位と他の部位との相対的位置関係に関する時系列データである姿勢データ、
   前記姿勢データに係る速度の時間的変化、
   前記姿勢データに係る加速度の時間的変化、
   前記姿勢データに係る角速度の時間的変化、
   前記施工具の位置、向き、傾き、回転状態、若しくは前記施工具の各部の相対的位置関係に関する時系列データである施工具データ、
   前記施工具データに係る速度の時間的変化、
   前記施工具データに係る加速度の時間的変化、または
   前記施工具データに係る角速度の時間的変化である
   ことを特徴とする請求項１に記載の学習装置。
3. 前記環境データは、
   前記施工具に供給される電流、前記施工具に印加される電圧、前記施工具に供給されるガス量、前記施工具に供給されるエネルギー量、若しくは、前記施工具に供給される物品の量、に関する時系列データである供給データ、
   施工時に発生する音、施工時に発生する電磁波、若しくはその他施工時に環境に放射されるエネルギーの時系列データである放射エネルギーデータ、
   前記供給データの時間的変化、または
   前記放射エネルギーデータの時間的変化である
   ことを特徴とする請求項１に記載の学習装置。
4. 前記ワーク状態データは、前記ワークの前記施工具による施工箇所の温度、前記施工箇所の色彩、前記施工箇所の酸化度、若しくは前記施工箇所の溶融状態に関する時系列データである施工箇所データ、または前記施工箇所データの時間的変化である
   ことを特徴とする請求項１に記載の学習装置。
5. 前記信号処理部は、前記挙動データ、前記環境データ、または前記ワーク状態データのうち何れかを元データとし、前記元データの時間差分、前記元データを昇順に整列した際の分布が１％以上かつ９９％以下の範囲の少なくとも１つのパーセンタイル、前記元データのフーリエ変換結果に基づいて取得した値、前記元データの自己相関に基づいて取得した値、前記元データを畳み込みニューラルネットワークに入力して取得した値、または前記元データを再帰型ニューラルネットワークに入力して取得した値を特徴量として算出する機能を有し、
   前記学習部は、前記学習用データに加えて前記特徴量を前記入力データとする機械学習を行う機能を有する
   ことを特徴とする請求項１に記載の学習装置。
6. 前記学習部における機械学習のアルゴリズムは、決定木、ランダムフォレスト、パーセプトロン、ロジスティック回帰、スコアカードモデル、ベイジアンアルゴリズム、サポートベクターマシン、k近傍法、k平均法、アダブースト、またはニューラルネットワークを適用したものである
   ことを特徴とする請求項１に記載の学習装置。
7. 前記学習部は、前記学習用データの一部を訓練用データとし、前記学習用データの残りをテスト用データとし、前記訓練用データに基づく前記学習モデルの構築と、前記テスト用データに基づく前記学習モデルの修正とを繰り返すことによって前記学習モデルの正答率を向上させてゆく
   ことを特徴とする請求項１に記載の学習装置。
8. 前記信号処理部と前記学習部とは、通信ネットワーク経由で情報を送受信する
   ことを特徴とする請求項１に記載の学習装置。
9. 技量レベルが異なる複数の第１の作業者の作業動作または前記第１の作業者に操作される第１の施工具の状態を測定した時系列データである第１の挙動データと、前記第１の挙動データに対応する時系列を有し、前記第１の施工具に供給される電流、前記第１の施工具に印加される電圧、または作業を行う周囲の状況を測定した第１の環境データと、前記第１の挙動データに対応する時系列を有し、作業中の第１のワークの状況を測定した第１のワーク状態データと、に対して信号処理を施し、信号処理結果を学習用データとして出力する第１の信号処理部と、前記学習用データを入力データとし技量レベルを出力データとする機械学習を行うことによって学習モデルを生成する学習部と、を有する学習装置によって生成された前記学習モデルを記憶する学習モデル記憶部と、
   第２の作業者の作業動作または前記第２の作業者に操作される第２の施工具の状態を測定した時系列データである第２の挙動データと、前記第２の挙動データに対応する時系列を有し、前記第２の施工具に供給される電流、前記第２の施工具に印加される電圧、または作業を行う周囲の状況を測定した第２の環境データと、前記第２の挙動データに対応する時系列を有し、作業中の第２のワークの状況を測定した第２のワーク状態データと、に対して信号処理を施し、信号処理結果を判定用データとして出力する第２の信号処理部と、
   前記学習モデルと、前記判定用データと、に基づいて、前記第２の作業者の技量レベルを出力する評価部と、を備える
   ことを特徴とする評価装置。
10. 前記判定用データは、複数の時間範囲に対応して区切られた複数の部分判定用データを有するものであり、
    前記評価部は、複数の前記部分判定用データに対応する複数の技量レベルを出力する
    ことを特徴とする請求項９に記載の評価装置。
11. 技量レベルが異なる複数の作業者の作業動作または前記作業者に操作される施工具の状態を測定した時系列データである挙動データと、前記挙動データに対応する時系列を有し、前記施工具に供給される電流、前記施工具に印加される電圧、または作業を行う周囲の状況を測定した環境データと、前記挙動データに対応する時系列を有し、作業中のワークの状況を測定したワーク状態データと、に対して信号処理を施し、信号処理結果を学習用データとして出力する信号処理過程と、
    前記学習用データを入力データとし技量レベルを出力データとする機械学習を行うことによって学習モデルを生成する学習過程と、を有する
    ことを特徴とする学習モデルの生産方法。

Images