JP7150666B2 - ヒューム量推定システム、ヒューム量推定方法、学習装置、推定装置、及びプログラム - Google Patents

Description

本発明は、ヒューム量推定システム、ヒューム量推定方法、学習装置、推定装置、及びプログラムに関する。

溶接時に発生する金属の微粒子が浮遊したヒュームは、労働衛生上の観点から重視されており、JIS Z 3930（被覆アーク溶接棒の全ヒューム量測定方法）が制定され、溶接により発生するヒューム量を明確にすることが求められている。この規格では、溶接ヒューム捕集装置を設置し、溶接ヒューム捕集箱内で手動溶接を行い、箱内に発生した溶接ヒュームの全量をろ過材で捕集した後、その質量を計量することでヒューム発生量を測定することが定められている。

国際的には、ISO 15011-4（Health and safety in welding and allied processes－Laboratory method for sampling fume and gases－Part 4: Fume data sheets）が制定され、溶接ヒューム発生量及びその主要成分を記載する溶接ヒュームのデータシートの様式も制定されている。

特開２０１１－５０３５８１号公報

上記の測定方法は、溶接により発生したヒュームを漏れなく捕集することで正確なヒューム発生量を測定することができるものの、専用の設備を備えていなければ実施することはできない。また、溶接中にリアルタイムにヒューム発生量を測定することができず、異常発生時のフィードバック等に利用することもできない。

特許文献１には、煙等の粒子が存在する空間内にビームを照射し、その散乱光を測定する粒子検出方法が開示されているが、溶接に適用した場合にはアーク光により散乱光の測定が阻害されるおそれがある。

本発明は、上記課題に鑑みてなされたものであり、その主な目的は、溶接中であってもヒューム発生量を測定することが容易なヒューム量推定システム、ヒューム量推定方法、学習装置、推定装置、及びプログラムを提供することにある。

上記課題を解決するため、本発明の一の態様の学習装置は、ヒューム画像と背景画像とが合成された合成画像を取得する取得手段と、前記合成画像を入力データとし、ヒュームに係る情報を教師データとして、溶接の様子を撮影した画像から溶接により発生したヒュームに係る情報を推定するための学習済みモデルを機械学習により構築する学習手段と、を備える。

また、本発明の他の態様のプログラムは、ヒューム画像と背景画像とが合成された合成画像を取得する取得手段、及び、前記合成画像を入力データとし、ヒュームに係る情報を教師データとして、溶接の様子を撮影した画像から溶接により発生したヒュームに係る情報を推定するための学習済みモデルを機械学習により構築する学習手段、としてコンピュータを機能させる。

また、本発明の他の態様のヒューム量推定システムは、溶接の様子を撮影するカメラと、ヒューム画像と背景画像とが合成された合成画像を入力データとし、ヒュームに係る情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより撮影された画像から溶接により発生したヒュームに係る情報を推定する推定手段と、推定結果に基づく、溶接により発生したヒュームの量を出力する出力手段と、を備える。

また、本発明の他の態様のヒューム量推定方法は、カメラにより溶接の様子を撮影し、ヒューム画像と背景画像とが合成された合成画像を入力データとし、ヒュームに係る情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより撮影された画像から溶接により発生したヒュームに係る情報を推定し、推定結果に基づく、溶接により発生したヒュームの量を出力する。

また、本発明の他の態様の推定装置は、溶接の様子を撮影するカメラにより生成された画像を取得する取得手段と、ヒューム画像と背景画像とが合成された合成画像を入力データとし、ヒュームに係る情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記取得手段により取得された画像から溶接により発生したヒュームに係る情報を推定する推定手段と、を備える。

また、本発明の他の態様のプログラムは、溶接の様子を撮影するカメラにより生成された画像を取得する取得手段、及び、ヒューム画像と背景画像とが合成された合成画像を入力データとし、ヒュームに係る情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記取得手段により取得された画像から溶接により発生したヒュームに係る情報を推定する推定手段、としてコンピュータを機能させる。

本発明によれば、溶接中であってもヒューム発生量を測定することが容易となる。

実施形態に係るヒューム量推定システムの例を示すブロック図である。 学習フェーズを説明するための図である。 学習フェーズの手順例を示すフロー図である。 データセットを管理するテーブルの例を示す図である。 背景画像の例を示す図である。 ヒューム画像の例を示す図である。 合成画像の例を示す図である。 背景画像（モデル出力）の例を示す図である。 ヒューム画像（モデル出力）の例を示す図である。 推論フェーズを説明するための図である。 推論フェーズの手順例を示すフロー図である。 撮影画像の例を示す図である。

以下、本発明の実施形態について、図面を参照しながら説明する。

［システム］
図１は、実施形態に係るヒューム量推定システム１００の例を示すブロック図である。ヒューム量推定システム１００は、推定装置１、データベース２、カメラ３、出力部４及び学習装置５を備えている。ヒューム量推定システム１００は、溶接装置９の溶接の様子をカメラ３により撮影し、溶接により発生したヒュームＨの量を算出し、出力部４に出力する。

推定装置１は、制御部１０を備えている。制御部１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ及び入出力インターフェース等を含むコンピュータである。制御部１０は、取得部１１、推定部１２及び算出部１３を含んでいる。これらの機能部は、制御部１０のＣＰＵがＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行することにより実現される。

学習装置５は、制御部５０を備えている。制御部５０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ及び入出力インターフェース等を含むコンピュータである。制御部１０は、合成部５１、取得部５２及び学習部５３を含んでいる。これらの機能部は、制御部１０のＣＰＵがＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行することにより実現される。

プログラムは、例えば光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、例えばインターネット又はＬＡＮ等の通信ネットワークを介して供給されてもよい。

推定装置１及び学習装置５は、データベース２にアクセス可能である。データベース２は、推定装置１又は学習装置５の内部に設けられてもよいし、外部に設けられ、通信ネットワークを介してアクセスされてもよい。

なお、推定装置１の制御部１０により実現される取得部１１、推定部１２及び算出部１３の一部は、推定装置１と通信可能な別の装置で実現されてもよい。同様に、学習装置５の制御部５０により実現される合成部５１、取得部５２及び学習部５３の一部は、学習装置５と通信可能な別の装置で実現されてもよい。

出力部４は、例えば液晶表示ディスプレイ等の表示装置である。これに限らず、出力部４は、例えばプリンタ等の画像形成装置であってもよい。

［学習フェーズ］
以下、学習装置５により実現される学習フェーズについて説明する。図２は、学習フェーズを説明するための図である。図３は、学習フェーズの手順例を示すフロー図である。図４は、データセットを管理するテーブルの例を示す図である。

図２に示すように、本実施形態では、合成画像を入力データとし、背景画像、ヒューム画像、合成比α及び特徴量βを教師データとして機械学習が行われる。このうち、ヒューム画像又は特徴量βは、ヒュームに係る情報の例である。

背景画像は、背景を示す画像である。図５は、背景画像の例を示す図である。背景画像は、例えば溶接装置９（図１参照）を撮影した画像であることが好ましい。これに限らず、背景画像としては、他の装置を撮影した画像又は人を撮影した画像など、種々の画像を適用できる。

ヒューム画像は、ヒュームを示す画像である。図６は、ヒューム画像の例を示す図である。ヒューム画像は、例えば実際に溶接により発生したヒュームを撮影した画像であることが好ましい。また、ヒューム画像は、単調な背景でヒュームを撮影した画像であることが好ましい。例えば、JIS Z 3930に基づき溶接ヒューム捕集箱内で手動溶接を行ったときのヒュームを撮影した画像がヒューム画像として好適である。

また、ヒューム画像は、溶接により発生するヒュームを模した画像であってもよい。ヒュームを模した画像は、例えば煙を撮影した画像であってもよいし、人工的に生成した画像であってもよい。

合成画像は、背景画像とヒューム画像とを合成した画像である。図７は、合成画像の例を示す図である。合成比αは、合成画像における背景画像とヒューム画像との合成比であり、例えば０以上１以下の値で表される。

特徴量βは、ヒューム画像の特徴量である。具体的には、特徴量βは、例えばヒューム画像の平均輝度又は輝度総和などの、ヒューム画像に示されるヒュームの量に関連する特徴量である。

機械学習に用いるモデルは、全層が畳み込み層で構成されたネットワークであり、入力データと同じサイズの複数チャンネルの画像を出力する。ネットワークの前半はエンコーダに相当し、入力データを圧縮した特徴マップ生成する。ネットワークの後半はデコーダに相当し、特徴マップを元のサイズまで戻して出力する。

図示の例では、モデルは８チャンネルの画像を出力する。このうち、３チャンネルの画像（例えばＲＧＢの画像）は背景画像となり、他の３チャンネルの画像はヒューム画像となる。図８は、モデルから出力される背景画像の例を示す図である。図９は、モデルから出力されるヒューム画像の例を示す図である。

残りの２チャンネルのうち、１チャンネルの画像は平均値プーリングにより合成比αとなり、他の１チャンネルの画像は平均値プーリングにより特徴量βとなる。

図２及び図３に示す手順に従って、学習装置５は学習フェーズを実現する。学習装置５の制御部５０は、図３に示す情報処理をプログラムに従って実行することにより、合成部５１、取得部５２及び学習部５３として機能する。

まず、制御部５０は、背景画像とヒューム画像とを合成して合成画像を生成する（Ｓ１１）。生成した合成画像は、教師データとなる背景画像、ヒューム画像、合成比α及び特徴量βと関連付けられ、データセットとして管理される（図４参照）。

次に、制御部５０は、合成画像をモデルに入力し（Ｓ１２）、計算を行って、背景画像、ヒューム画像、合成比α及び特徴量βを出力する（Ｓ１３）。

次に、制御部５０は、背景画像、ヒューム画像、合成比α及び特徴量βのそれぞれについて、出力データと教師データとの差分を算出し（Ｓ１４）、差分が減少するように学習を行う（Ｓ１５）。

学習フェーズは、データセットから抽出されるバリデーションセットを用いてモデルの精度を確認しながら繰り返される。

学習フェーズの終了後、データセットから抽出されるテストセットを用いて学習済みモデルの精度が評価される。

以上により、学習済みモデルは、入力された画像を背景画像とヒューム画像とに分離して出力するとともに、その合成比αを出力し、さらにはヒューム画像の特徴量βを出力するためのものとして構築される。

学習フェーズには多数のデータセットが必要とされるため、多数の背景画像と多数のヒューム画像とをそれぞれ用意し、それらの組み合わせによって多数の合成画像を作成することが好ましい。また、背景画像とヒューム画像との合成に様々な合成比αを用いて多数の合成画像を作成することが好ましい。

ヒューム画像の作成には、種々の方法を適用できる。例えば、ヒューム又は煙をステレオカメラで撮影し、背景部分とヒューム部分とを分離することでヒューム画像を作成してもよい。また、対称な背景でヒューム又は煙を撮影した画像を反転して差分をとり、背景部分とヒューム部分とを分離することでヒューム画像を作成してもよい。

また、レーザー散乱法によりヒューム又は煙の粒子濃度の二次元マップを作成し、粒子濃度に応じて着色することでヒューム画像を作成してもよい。また、敵対的生成ネットワーク（ＧＡＮ：Generative Adversarial Network）等の画像生成モデルを用いてヒューム画像を作成してもよい。

［推論フェーズ］
以下、推定装置１により実現される推論フェーズについて説明する。図１０は、推論フェーズを説明するための図である。図１１は、推論フェーズの手順例を示すフロー図である。推定装置１の制御部１０は、図１１に示す情報処理をプログラムに従って実行することにより、取得部１１、推定部１２及び算出部１３として機能する。

図１０及び図１１に示すように、まず、制御部１０は、溶接装置９の溶接の様子を撮影するカメラ３により生成された撮影画像を取得する（Ｓ２１）。図１２は、撮影画像の例を示す図である。

なお、撮影画像にアーク光が含まれると、学習済みモデルの推定精度を劣化させるおそれがあるため、カメラ３による溶接の様子の撮影には、アーク光を遮光する遮光物又はアーク光の透過を抑制するフィルタが用いられることが好ましい。

次に、制御部１０は、学習フェーズで構築した学習済みモデルに撮影画像を入力し（Ｓ２２）、計算を行って、背景画像、ヒューム画像、合成比α及び特徴量βを出力する（Ｓ２３）。ヒューム画像又は特徴量βは、ヒュームに係る情報の例である。なお、次工程のヒューム量の算出に用いられない背景画像又は合成比α等の出力は省略されてもよい。

次に、制御部１０は、学習済みモデルによる推定結果に基づいて、溶接により発生したヒューム量を算出する（Ｓ２４）。出力部４は、制御部１０が算出したヒューム量を画面に出力する。

ヒューム画像を用いる場合、制御部１０は、学習済みモデルから出力されたヒューム画像の特徴量を抽出し、抽出した特徴量に基づいてヒューム量を算出する。抽出する特徴量は、特徴量βと同様、例えばヒューム画像の平均輝度又は輝度総和などの、ヒューム画像に示されるヒュームの量に関連する特徴量である。

特徴量βを用いる場合、制御部１０は、学習済みモデルから出力された特徴量βに基づいてヒューム量を算出する。

特徴量とヒューム量との対応関係は、例えばルックアップテーブルにまとめられ、制御部１０によって参照される。特徴量と対応付けられるヒューム量は、JIS Z 3930に規定された方法により測定されたヒューム発生量であることが好ましい。すなわち、JIS Z 3930に基づき溶接ヒューム捕集箱内で手動溶接を行ったときのヒュームを撮影した画像から抽出される特徴量と、当該ヒュームをろ過材で捕集して計量したヒューム発生量とを対応付けることが好ましい。

以上に説明した実施形態によれば、溶接の様子を撮影した撮影画像に基づいてヒューム量を出力するため、溶接中にリアルタイムにヒューム量を測定することが容易となる。このため、リアルタイムに測定したヒューム量を異常発生時のフィードバック等に利用することが可能となる。

また、実施形態によれば、撮影画像から分離したヒューム画像又はその特徴量βに基づいてヒューム量を測定するため、撮影画像に含まれる背景がヒューム量の測定に影響を及ぼすことを抑制することが可能となる。このため、ヒューム量の測定を、専用の捕集箱内での手動溶接だけでなく、捕集箱外での手動溶接や溶接装置による自動溶接などにも適用することが可能となる。

［変形例］
上記実施形態では、学習済みモデルにより推定されたヒューム画像又は特徴量βに基づいてヒューム量を算出したが、これに限らず、例えばヒューム画像に含まれるヒューム量を教師データとして学習済みモデルを構築し、溶接により発生したヒューム量を直接推定するようにしてもよい。

教師データとするヒューム量は、JIS Z 3930に規定された方法により測定されたヒューム発生量であることが好ましい。これにより、学習済みモデルにより推定されるヒューム量を、JIS Z 3930のヒューム発生量に相当する値とすることが可能となる。

以上、本発明の実施形態について説明したが、本発明は以上に説明した実施形態に限定されるものではなく、種々の変更が当業者にとって可能であることはもちろんである。

１ 推定装置、１０ 制御部、１１ 取得部、１２ 推定部、１３ 算出部、２ データベース、３ カメラ、４ 出力部、５ 学習装置、５０ 制御部、５１ 合成部、５２ 取得部、５３ 学習部、９ 溶接装置、１００ ヒューム量推定システム

Claims (19)

1. ヒューム画像と背景画像とが合成された合成画像を取得する取得手段と、
   前記合成画像を入力データとし、ヒュームに係る学習用情報を教師データとして、溶接の様子を撮影した画像から溶接により発生したヒュームに係る情報を推定するための学習済みモデルを機械学習により構築する学習手段と、
   を備える学習装置。
2. 前記ヒューム画像と前記背景画像とを合成して前記合成画像を生成する合成手段をさらに備える、
   請求項１に記載の学習装置。
3. 前記ヒュームに係る学習用情報は、前記ヒューム画像である、
   請求項１または２に記載の学習装置。
4. 前記教師データは、前記ヒューム画像及び前記背景画像を含む、
   請求項１ないし３の何れかに記載の学習装置。
5. 前記教師データは、前記合成画像における前記ヒューム画像と前記背景画像との合成比をさらに含む、
   請求項４に記載の学習装置。
6. 前記ヒュームに係る学習用情報は、前記ヒューム画像の特徴量である、
   請求項１または２に記載の学習装置。
7. 前記ヒュームに係る学習用情報は、前記ヒューム画像に含まれるヒュームの量である、
   請求項１または２に記載の学習装置。
8. 前記ヒューム画像は、溶接により発生したヒュームを撮影した画像である、
   請求項１ないし７の何れかに記載の学習装置。
9. 前記ヒューム画像は、溶接により発生するヒュームを模した画像である、
   請求項１ないし７の何れかに記載の学習装置。
10. ヒューム画像と背景画像とが合成された合成画像を取得する取得手段、及び、
    前記合成画像を入力データとし、ヒュームに係る学習用情報を教師データとして、溶接の様子を撮影した画像から溶接により発生したヒュームに係る情報を推定するための学習済みモデルを機械学習により構築する学習手段、
    としてコンピュータを機能させるためのプログラム。
11. 溶接の様子を撮影するカメラと、
    ヒューム画像と背景画像とが合成された合成画像を入力データとし、ヒュームに係る学習用情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより撮影された画像から溶接により発生したヒュームに係る情報を推定する推定手段と、
    推定結果に基づく、溶接により発生したヒュームの量を出力する出力手段と、
    を備えるヒューム量推定システム。
12. 前記推定手段により推定されるヒュームに係る情報は、前記ヒューム画像である、
    請求項１１に記載のヒューム量推定システム。
13. 前記推定手段により推定されるヒュームに係る情報は、前記ヒューム画像の特徴量である、
    請求項１１に記載のヒューム量推定システム。
14. 前記推定手段により推定されるヒュームに係る情報に基づいて、溶接により発生したヒュームの量を算出する算出手段をさらに備える、
    請求項１１ないし１３の何れかに記載のヒューム量推定システム。
15. 前記推定手段により推定されるヒュームに係る情報は、溶接により発生したヒュームの量である、
    請求項１１に記載のヒューム量推定システム。
16. 前記カメラによる溶接の様子の撮影に、アーク光を遮光する遮光物又はアーク光の透過を抑制するフィルタが用いられる、
    請求項１１ないし１５の何れかに記載のヒューム量推定システム。
17. カメラにより溶接の様子を撮影し、
    ヒューム画像と背景画像とが合成された合成画像を入力データとし、ヒュームに係る学習用情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記カメラにより撮影された画像から溶接により発生したヒュームに係る情報を推定し、
    推定結果に基づく、溶接により発生したヒュームの量を出力する、
    ヒューム量推定方法。
18. 溶接の様子を撮影するカメラにより生成された画像を取得する取得手段と、
    ヒューム画像と背景画像とが合成された合成画像を入力データとし、ヒュームに係る学習用情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記取得手段により取得された画像から溶接により発生したヒュームに係る情報を推定する推定手段と、
    を備える推定装置。
19. 溶接の様子を撮影するカメラにより生成された画像を取得する取得手段、及び、
    ヒューム画像と背景画像とが合成された合成画像を入力データとし、ヒュームに係る学習用情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記取得手段により取得された画像から溶接により発生したヒュームに係る情報を推定する推定手段、
    としてコンピュータを機能させるためのプログラム。
    

Images