JP7321953B2

JP7321953B2 - 自動溶接システム、溶接方法、学習装置、学習済みモデルの生成方法、学習済みモデル、推定装置、推定方法、及びプログラム

Info

Publication number: JP7321953B2
Application number: JP2020024214A
Authority: JP
Inventors: 圭太尾崎; 陽岡本
Original assignee: Kobe Steel Ltd
Current assignee: Kobe Steel Ltd
Priority date: 2020-02-17
Filing date: 2020-02-17
Publication date: 2023-08-07
Anticipated expiration: 2040-02-17
Also published as: CN115151367B; US20230064432A1; KR20220121878A; JP2021126693A; WO2021166555A1; CN115151367A; EP4074449A1; EP4074449A4

Description

本発明は、自動溶接システム、溶接方法、学習装置、学習済みモデルの生成方法、学習済みモデル、推定装置、推定方法、及びプログラムに関する。

特許文献１には、溶接ワイヤの先端を開先の上端部と下端部との間でウィービングさせつつ開先に沿って移動させ、溶接ワイヤの先端を開先の下端部から上端部へとウィービングさせる過程で溶接トーチの走行を停止させ、開先の上端部で溶接ワイヤの先端のウィービングを停止させると共に、溶接トーチを走行させつつ溶接ワイヤに対する電力量を低下させ、溶接ワイヤの先端を開先の上端部から下端部へとウィービングさせる過程で溶接トーチの走行速度、溶接ワイヤの先端のウィービング速度及び溶接ワイヤに対する電力量を上昇させることが開示されている。

特開２０１７－６９６８号公報

ところで、アーク溶接で生じたアーク及び溶融池を撮影した画像を利用して溶接ロボットを制御するためには、アークの中心等の特徴点及び溶融池の先端等の特徴点の認識精度を向上させることが好ましい。

本発明は、上記課題に鑑みてなされたものであり、その主な目的は、画像中の特徴点の認識精度を向上させることが可能な自動溶接システム、溶接方法、学習装置、学習済みモデルの生成方法、学習済みモデル、推定装置、推定方法、及びプログラムを提供することにある。

上記課題を解決するため、本発明の一の態様の自動溶接システムは、２つの被溶接部材の間に形成された開先でアーク溶接を行う溶接ロボットと、前記アーク溶接によって前記開先に生じたアーク及び溶融池を撮影するカメラと、学習用画像を入力データ、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により予め生成された学習済みモデルを用い、前記カメラ画像に基づく確率分布画像を出力する推定部と、前記確率分布画像から確率が所定以上の領域を抽出する抽出手段と、前記確率が所定以上の領域において前記アークの特徴点に対応する代表点及び前記溶融池の特徴点に対応する代表点を選定する選定手段と、前記アークの特徴点に対応する代表点及び前記溶融池の特徴点に対応する代表点の位置関係に基づいて、前記溶接ロボットの制御パラメータを補正する補正手段と、を備える。

また、本発明の他の態様の溶接方法は、２つの被溶接部材の間に形成された開先で溶接ロボットによりアーク溶接を行い、前記アーク溶接によって前記開先に生じるアーク及び溶融池をカメラにより撮影し、学習用画像を入力データ、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により予め生成された学習済みモデルを用い、前記カメラ画像に基づく確率分布画像を出力し、前記確率分布画像から確率が所定以上の領域を抽出し、前記確率が所定以上の領域において前記アークの特徴点に対応する代表点及び前記溶融池の特徴点に対応する代表点を選定し、前記アークの特徴点に対応する代表点及び前記溶融池の特徴点に対応する代表点の位置関係に基づいて、前記溶接ロボットの制御パラメータを補正する。

また、本発明の他の態様の学習装置は、学習用画像と、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データとを含むデータセットを取得する取得部と、前記学習用画像を入力データ、前記領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により学習済みモデルを生成する学習部と、を備える。

また、本発明の他の態様の学習済みモデルの生成方法は、学習用画像と、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データとを含むデータセットを取得し、前記学習用画像を入力データ、前記領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により学習済みモデルを生成する。

また、本発明の他の態様のプログラムは、学習用画像と、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データとを含むデータセットを取得する取得部、及び、前記学習用画像を入力データ、前記領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により学習済みモデルを生成する学習部、としてコンピュータを機能させる。

また、本発明の他の態様の学習済みモデルは、特徴点を含む入力画像に基づいて、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するよう、コンピュータを機能させるための学習済みモデルであって、畳み込み層を含む第１畳み込みネットワークと、畳み込み層を含む第１逆畳み込みネットワークと、プーリング層及び畳み込み層を含む第２畳み込みネットワークと、畳み込み層及びアップサンプリング層を含む第２逆畳み込みネットワークと、を備え、前記第１畳み込みネットワークは、入力画像に畳み込み処理を行って、生成された第１特徴画像を出力し、前記第２畳み込みネットワークは、前記第１特徴画像にプーリング処理を行い、さらに畳み込み処理を行って、生成された第２特徴画像を出力し、前記第２逆畳み込みネットワークは、前記第２特徴画像に逆畳み込み処理を行い、さらにアップサンプリング処理を行って、生成された第３特徴画像を出力し、前記第１逆畳み込みネットワークは、前記第１特徴画像と前記第３特徴画像とが合成された合成画像に逆畳み込み処理を行って、生成された出力画像を出力するように構成され、前記第１畳み込みネットワーク、前記第１逆畳み込みネットワーク、前記第２畳み込みネットワーク、及び前記第２逆畳み込みネットワークは、前記入力画像に含まれる特徴点を含み、前記特徴点に近づくに従って確率が高くなる確率分布を有する領域と、前記出力画像に含まれる特徴領域との差分を減少するように学習されたものであり、特徴点を含む入力画像に対し、学習済みの前記第１畳み込みネットワーク、前記第１逆畳み込みネットワーク、前記第２畳み込みネットワーク、及び前記第２逆畳み込みネットワークに基づく演算を行い、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するよう、コンピュータを機能させる。

また、本発明の他の態様の推定装置は、カメラにより生成されたカメラ画像を取得する取得部と、学習用画像を入力データ、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により予め生成された学習済みモデルを用い、前記カメラ画像に基づく確率分布画像を出力する推定部と、を備える。

また、本発明の他の態様の推定方法は、カメラにより生成されたカメラ画像を取得し、学習用画像を入力データ、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により予め生成された学習済みモデルを用い、前記カメラ画像に基づく確率分布画像を出力する。

また、本発明の他の態様のプログラムは、カメラにより生成されたカメラ画像を取得する取得部、及び、学習用画像を入力データ、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により予め生成された学習済みモデルを用い、前記カメラ画像に基づく確率分布画像を出力する推定部、としてコンピュータを機能させる。

本発明によれば、画像中の特徴点の認識精度を向上させることが可能となる。

自動溶接システムによる溶接例を示す図である。自動溶接システムの構成例を示す図である。アーク及び溶融池の画像例を示す図である。アーク及び溶融池の具体例を模式的に示す図である。学習フェーズに用いられるデータセット例を示す図である。特徴領域の例を示す図である。特徴領域の例を示す図である。特徴領域の例を示す図である。学習フェーズの手順例を示す図である。機械学習処理の手順例を示す図である。学習済みモデルの構成例を示す図である。推論フェーズの手順例を示す図である。実施形態の認識精度を示す図である。

以下、本発明の実施形態について、図面を参照しながら説明する。

［システム概要］
図１は、自動溶接システム１００の溶接ロボット３による溶接例を示す図である。図２は、自動溶接システム１００の構成例を示す図である。

図１に示すように、溶接ロボット３は、２つの被溶接部材Ｕ，Ｌの間に形成された開先Ｇにおいて、溶接トーチ３１を進行させながらアーク溶接を行う。溶接トーチ３１の先端部の近傍には溶融池Ｐが形成される。

本実施形態では、被溶接部材Ｕ，Ｌが鉛直方向（上下方向）に並んでおり、開先Ｇが水平方向（前後方向）に延びている。これに限らず、被溶接部材Ｕ，Ｌは、水平方向に並んでもよい。

被溶接部材Ｕ，Ｌ間の間隔（すなわち、開先Ｇの幅）は、例えば３～１０ｍｍ程度である。被溶接部材Ｕ，Ｌには、裏当て材が貼られてもよいし、貼られなくてもよい。開先Ｇの形状は、図示のＶ型形状に限らず、Ｘ型形状等であってもよい。

アーク溶接には、例えばＴＩＧ（Tungsten Inert Gas）溶接が適用される。これに限らず、ＭＩＧ（Metal Inert Gas）溶接又はＭＡＧ（Metal Active Gas）溶接等が適用されてもよい。

溶接ロボット３は、溶接トーチ３１をウィービングさせながらアーク溶接を行う。被溶接部材Ｕ，Ｌが上下方向に並び、溶接進行方向が前方向である場合、溶融池Ｐの垂れ下がりを抑制するために、溶接トーチ３１を前下－後上方向にウィービングさせる。

カメラ２は、溶接トーチ３１の先端部から生じるアーク及び溶融池Ｐを撮影して画像を生成する。また、カメラ２は、アークに向けて送り出される不図示のワイヤ（溶加材）も撮影する。

カメラ２は、溶接トーチ３１に対して前方向に配置されており、溶接トーチ３１と一緒に前方向に移動する。カメラ２のレンズには、アーク光の入射を抑制するために９５０ｎｍ近傍の近赤外光のみを透過するバンドパスフィルタが装着される。

カメラ２は、時系列の複数の静止画像（フレーム）を含む動画像を生成するビデオカメラである。これに限らず、カメラ２は、定期的な撮影により時系列の複数の静止画像を生成するスチルカメラであってもよい。

図２に示すように、自動溶接システム１００は、溶接支援装置１、カメラ２、溶接ロボット３、データベース５、及び学習装置６を備えている。これらの機器は、例えばインターネット又はＬＡＮ等の通信ネットワークを介して相互に通信可能である。溶接支援装置１は、推定装置の例である。

溶接支援装置１は、制御部１０を備えている。制御部１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ、及び入出力インターフェース等を含むコンピュータである。制御部１０のＣＰＵは、ＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行する。

制御部１０は、取得部１１、推定部１２、抽出部１３、選定部１４、及び補正部１５を備えている。これらの機能部は、制御部１０のＣＰＵがＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行することによって実現される。

プログラムは、例えば光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、例えばインターネット又はＬＡＮ等の通信ネットワークを介して供給されてもよい。

学習装置６も、溶接支援装置１と同様、制御部６０を備えている。制御部６０は、設定部６１、取得部６２、及び学習部６３を備えている。なお、学習装置６は、１又は複数のサーバコンピュータで構成されてもよい。

溶接支援装置１及び学習装置６は、データベース５にアクセス可能である。データベース５には、学習装置６により構築された学習済みモデル２００が、溶接支援装置１により読出し可能に保存されている。

図３は、アーク及び溶融池の画像例を示す図である。図４は、アーク及び溶融池を模式的に示す図である。これらの図に示すように、画像には、溶融池先端上部、溶融池先端下部、アーク中心、ワイヤ先端、溶融池上端、及び溶融池下端の６つの特徴点が存在する。

ところで、溶融池に対して溶接トーチが先行したり遅行すると溶接の不良に繋がるおそれがあるため、溶融池に対して溶接トーチを適切な位置に維持することが重要である。

しかしながら、溶接歪みや取り付け誤差等の様々な影響により開先幅や溶接線は設計値からずれる場合があり、それらの要因により溶融池の溜まり具合が変化することがあるため、溶融池に対して溶接トーチを適切な位置に維持することは容易ではない。

そこで、本実施形態では、以下に説明するようにカメラ画像に基づいて溶接ロボット３の制御パラメータを補正することで、溶融池に対して溶接トーチを適切な位置に維持することを実現している。

［学習フェーズ］
図５は、学習フェーズに用いられるデータセット例を示す図である。データセットは、入力データ及び教師データを含んでいる。入力データは、学習用画像である。学習用画像は、例えばカメラ２により撮影された画像であってもよいし、他のカメラにより撮影された画像であってもよい。

教師データは、学習用画像中の各特徴点に設定された特徴領域の領域データを含んでいる。特徴領域は、特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域である。具体的には、領域データは、特徴領域に含まれる各画素の座標及び確率を含んでいる。確率は、特徴点の存在確率を表す。

さらに、教師データは、学習用画像中で特徴点が見えるか否かを表す可視フラグを含んでもよい。溶融池先端上部、溶融池先端下部、及びワイヤ先端等の一部の特徴点は、溶接トーチ３１がウィービングするために見えない場合がある。

図６ないし図８は、領域データが表す特徴領域ＳＡの例を示す図である。図６では、画素の座標を表すｘｙ軸と直交する軸が確率を表している。図７及び図８では、画素の色濃度が確率を表している。

特徴領域ＳＡは、特徴点を中心に二次元的な広がりを持つ所定の大きさの領域であり、特徴点に近づくに従って確率が高くなる確率分布を有している。特徴領域ＳＡは、例えば二次元正規分布に従った確率分布を有している。

確率は、特徴領域ＳＡの全体で１になるように正規化されてもよいし、特徴領域ＳＡの画素毎に０～１の値を取るようにされてもよい。

図７に示すように、特徴点が点である場合には、特徴領域ＳＡは正方形の領域（例えば７×７画素）とされる。また、図８に示すように、特徴点が線である場合には、特徴領域ＳＡは長方形の領域（例えば７×３５画素）とされる。これに限らず、特徴領域ＳＡは、例えば略円形状等であってもよい。

例えば図３及び図４に示す６つの特徴点のうち、溶融池先端上部、溶融池先端下部、アーク中心、及びワイヤ先端は「点」の特徴点であり、正方形の特徴領域ＳＡが設定される。一方、溶融池上端及び溶融池下端は「線」の特徴点であり、長方形の特徴領域ＳＡが設定される。

なお、各特徴点の位置は、例えば学習用画像を見た技能者等の人によって判断され、ポインティングデバイス等を用いて学習装置６に入力される。学習装置６は、入力された特徴点の位置を基準として特徴領域ＳＡを設定し、教師データとして保存してもよい（設定部６１としての処理）。

図９は、学習装置６において実現される、学習済みモデルの生成方法としての学習フェーズの手順例を示す図である。学習装置６の制御部６０は、同図に示す処理をプログラムに従って実行することにより、取得部６２及び学習部６３として機能する。

まず、制御部６０は、学習用画像、学習用画像中の各特徴点に設定された特徴領域の領域データ、及び各特徴点の可視フラグを含むデータセットを取得する（Ｓ１１；取得部６２としての処理、図５参照）。

次に、制御部６０は、一部のデータセットをトレーニングデータとして用いて機械学習を行う（Ｓ１２；学習部６２としての処理）。機械学習処理Ｓ１２の具体的な手順例については後述する。

その後、制御部６０は、トレーニングデータとは別の一部のデータセットをテストデータとして用いて学習済みモデルを評価し（Ｓ１３）、学習済みモデルをデータベース５に保存する（Ｓ１４）。

図１０は、機械学習処理Ｓ１２の具体的な手順例を示す図である。図１１は、機械学習処理Ｓ１２により生成される学習済みモデル２００の構成例を示す図である。

学習装置６の制御部６０は、学習用画像を入力データとし、学習画像中の各特徴点に設定された特徴領域の領域データ及び各特徴点の可視フラグを教師データとして、確率分布画像を出力するように教師あり学習により学習済みモデルを生成する。

確率分布画像は、各画素における特徴点の確率を表す画像（マップ）である。確率分布画像に含まれる特徴領域は、上記学習用画像に設定された特徴領域と同様に、特徴点に対応する位置に近づくに従って確率が高くなる確率分布を有する。

確率分布画像は、複数の特徴点のそれぞれに対応する特徴領域を含む。具体的には、確率分布画像は、溶融池先端上部、溶融池先端下部、アーク中心、ワイヤ先端、溶融池上端、及び溶融池下端のそれぞれに対応する６つの特徴領域を含む。

可視フラグが特徴点の不可視を表す場合、確率分布画像は、その特徴点に対応する特徴領域を含まない。すなわち、全画素に亘って特徴点の確率が０となる。例えば、溶融池先端上部が不可視である場合、確率分布画像は、溶融池先端上部に対応する特徴領域を含まない。

図１０に示すように、機械学習処理Ｓ１２では、制御部６０は、学習用画像をモデルに入力し、モデルによる計算を行い、確率分布画像を出力する（Ｓ１２１～Ｓ１２３）。

次に、制御部６０は、モデルから出力された確率分布画像に含まれる特徴領域と、教師データである領域データが表す特徴領域との差分を算出し（Ｓ１２４）、差分を減少させるように誤差逆伝播計算を行う（Ｓ１２５）。

図１１に示すように、学習済みモデル２００は、第１畳み込みネットワーク７１、第２畳み込みネットワーク７２、第３畳み込みネットワーク７３、第１逆畳み込みネットワーク８１、及び第２逆畳み込みネットワーク８２を備えている。

この学習済みモデル２００は、完全畳み込みネットワークによるセマンティックセグメンテーションの技術を応用している。

第１畳み込みネットワーク７１は、畳み込み層を含んでおり、入力画像に畳み込み処理を行って、生成された特徴画像（特徴マップ）を第１逆畳み込みネットワーク８１及び第２畳み込みネットワーク７２に出力する。

第２畳み込みネットワーク７２は、プーリング層及び畳み込み層を含んでおり、第１畳み込みネットワーク７１からの特徴画像にプーリング処理を行い、さらに畳み込み処理を行って、生成された特徴画像を第２逆畳み込みネットワーク８２及び第３畳み込みネットワーク７３に出力する。

第３畳み込みネットワーク７３は、プーリング層、畳み込み層、及びアップサンプリング層を含んでおり、第２畳み込みネットワーク７２からの特徴画像にプーリング処理を行い、さらに畳み込み処理を行い、さらにアップサンプリング処理を行って、生成された特徴画像を第２逆畳み込みネットワーク８２に出力する。

第２逆畳み込みネットワーク８２は、畳み込み層及びアップサンプリング層を含んでおり、第２畳み込みネットワーク７２からの特徴画像と第３畳み込みネットワーク７３からの特徴画像とが合成された合成画像に逆畳み込み処理を行い、さらにアップサンプリング処理を行って、生成された特徴画像を第１逆畳み込みネットワーク８１に出力する。

第１逆畳み込みネットワーク８１は、畳み込み層及び出力層を含んでおり、第１畳み込みネットワーク７１からの特徴画像と第２逆畳み込みネットワーク８２からの特徴画像とが合成された合成画像に逆畳み込み処理を行って、生成された確率分布画像を出力する。

具体的には、特徴点の種類ごと（ラベル毎）の確率分布画像が生成され、それらが合成されることにより１つの確率分布画像が生成される。例えば、溶融池先端上部、溶融池先端下部、アーク中心、ワイヤ先端、溶融池上端、及び溶融池下端の６つの特徴点ごとに確率分布画像が生成され、それらが合成されることで、６つの特徴点に対応する６つの特徴領域を含む確率分布画像が得られる。

第１畳み込みネットワーク７１、第２畳み込みネットワーク７２、第３畳み込みネットワーク７３、第１逆畳み込みネットワーク８１、及び第２逆畳み込みネットワーク８２は、学習用画像（入力画像）に設定された特徴領域と、確率分布画像（出力画像）に含まれる特徴領域との差分を減少するように誤差逆伝播計算により学習される。

溶接支援装置１の制御部は、特徴点を含む画像に対し、上記のように学習された学習済みモデル２００（第１畳み込みネットワーク７１、第２畳み込みネットワーク７２、第３畳み込みネットワーク７３、第１逆畳み込みネットワーク８１、及び第２逆畳み込みネットワーク８２）に基づく演算を行うことで、特徴点に対応する特徴領域を含む確率分布画像を出力する。

本実施形態の学習済みモデル２００では、複数段の畳み込みネットワーク７１～７３及び逆畳み込みネットワーク８１、８２を設け、合成画像に逆畳み込み処理を行うことによって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含んだ確率分布画像を出力することを可能としている。

なお、学習済みモデル２００の構成は、図示の内容に限られるものではない。例えば、各ネットワークに含まれる畳み込み層の層数は２層に限らず、１層であってもよいし、３層以上であってもよい。また、ネットワークの段数は３段に限らず、２段であってもよいし、４段以上であってもよい。

［推論フェーズ］
図１２は、溶接支援装置（推定装置）１において実現される、実施形態に係る自動溶接方法としての推論フェーズの手順例を示す図である。溶接支援装置１の制御部１０は、同図に示す処理をプログラムに従って実行することにより、取得部１１、推定部１２、抽出部１３、選定部１４、及び補正部１５として機能する。

まず、制御部１０は、カメラ２からカメラ画像を取得する（Ｓ２１；取得部１１としての処理）。具体的には、制御部１０は、カメラ２により生成された動画像に含まれる時系列の複数の静止画像（フレーム）をカメラ画像として順次取得する。

次に、制御部１０は、学習フェーズで生成された学習済みモデル２００にカメラ画像を入力し、計算を行って、カメラ画像に基づく確率分布画像を出力する（Ｓ２２～Ｓ２４；推定部１２としての処理）。具体的には、制御部１０は、時系列の複数のカメラ画像を学習済みモデル２００に順次入力し、確率分布画像を順次出力する。

次に、制御部１０は、確率分布画像から確率が所定以上の領域を抽出し（Ｓ２５；抽出部１３としての処理）、確率が所定以上の領域において代表点を選定する（Ｓ２６；選定部１４としての処理）。

具体的には、制御部１０は、確率分布画像の各画素に格納された確率の値が閾値以上であるか否か判定し、確率の値が閾値以上の画素が集合した領域を抽出する。さらに、制御部１０は、抽出された領域の中で確率の値が最大の画素を代表点として選定する。

又は、制御部１０は、抽出された領域に含まれる各画素の座標を確率の値で加重平均した座標（下記式）を、代表点の座標としてもよい。

Ｘは加重平均した座標、Ｎは確率の値が閾値以上の画素の総数、ｘは画素の座標、ｐは確率の値を表す。

このように、確率分布画像から確率が所定以上の領域を抽出し、代表点を選定することで、カメラ画像に含まれる特徴点に対応する代表点が特定される。すなわち、溶融池先端上部、溶融池先端下部、アーク中心、ワイヤ先端、溶融池上端、及び溶融池下端のそれぞれに対応する代表点が特定される。

次に、制御部１０は、代表点間の距離を算出する（Ｓ２７）。例えば、溶融池先端上部又は下部に対応する代表点とアーク中心に対応する代表点との距離、溶融池上端又は下端に対応する代表点とアーク中心に対応する代表点との距離、及び溶融池上端に対応する代表点と溶融池下端に対応する代表点との距離などが算出される。

次に、制御部１０は、代表点の位置関係に基づいて、溶接ロボット３（図２参照）の制御パラメータを補正する（Ｓ２８；補正部１５としての処理）。具体的には、制御部１０が制御パラメータの補正量を算出し、溶接ロボット３に送信すると、溶接ロボット３のコントローラが、受信した補正量を用いて制御パラメータを補正する。

補正の対象となる制御パラメータは、例えば溶接進行方向（図１の前後方向）における溶接トーチ３１の速度若しくは位置、開先幅方向（図１の上下方向）における溶接トーチ３１の位置、又はウィービング幅などである。これに限らず、溶接ロボット３のアクチュエータの指令値等を直接的に補正の対象としてもよい。

例えば、制御部１０は、溶融池先端上部又は下部に対応する代表点とアーク中心に対応する代表点との距離が所定の基準値から外れている場合に、当該距離が基準値に近づくように、溶接進行方向における溶接トーチ３１の速度若しくは位置の補正量を算出する。

また、制御部１０は、溶融池上端又は下端に対応する代表点とアーク中心に対応する代表点との距離が所定の基準値から外れている場合に、当該距離が基準値に近づくように、開先幅方向における溶接トーチ３１の位置の補正量を算出してもよい。

なお、溶接トーチ３１のウィービングにより距離が周期的に変化する場合には、周期的に変化する距離が極小又は極大付近等にあるときに補正量が計算される。

また、制御部１０は、溶融池上端に対応する代表点と溶融池下端に対応する代表点との距離（すなわち、溶融池の幅）の増減に応じて溶接トーチ３１のウィービング幅が増減するように、ウィービング幅の補正量を算出してもよい。

以上のように溶接ロボット３の制御パラメータを補正することによって、溶接トーチ３１を溶融池Ｐに対して適切な位置に維持して、高品質な自動溶接を実現することが可能となる。

本実施形態によれば、学習済みモデルを用いて確率分布画像を出力し、確率分布画像から確率が所定以上の領域を抽出し、代表点を選定することによって、特徴点の認識精度を向上させることが可能となる。

図１３は、本実施形態における特徴点の認識精度を示す図である。同図は、学習用画像とは角度を変えて撮影したカメラ画像（学習用データセットには含まれない未知の画像）に対する特徴点の認識性能を評価した結果を表している。

縦軸は認識誤差を表している。横軸におけるＸは前後方向を表し、Ｙは上下方向を表している。参考技術は、特徴点の座標を直接出力する学習済みモデルを用いて画像中の特徴点を認識する技術である。

同図によると、本実施形態では、アーク中心、ワイヤ先端、及び溶融池先端上部の認識誤差（特に、前後方向における認識誤差）が参考技術と比べて低減されていることが分かる。

すなわち、参考技術では、学習用画像とは角度を変えて撮影したカメラ画像に対して認識精度が十分ではないが、本実施形態によれば、そのようなカメラ画像に対しても認識精度を確保することが可能である。

以上、本発明の実施形態について説明したが、本発明は以上に説明した実施形態に限定されるものではなく、種々の変更が当業者にとって可能であることはもちろんである。

本発明は、溶接の分野に限らず、画像中の特徴点を認識する工程を利用する種々の分野に適用することが可能である。

１溶接支援装置（推定装置）、１０制御部、１１取得部、１２推定部、１３抽出部、１４選定部、１５補正部、２カメラ、３溶接ロボット、３１溶接トーチ、５データベース、６学習装置、６０制御部、６１設定部、６２取得部、６学習部、７１第１畳み込みネットワーク、７２第２畳み込みネットワーク、７３第３畳み込みネットワーク、８１第１逆畳み込みネットワーク、８２第２逆畳み込みネットワーク、１００自動溶接システム、２００学習済みモデル、Ｕ被溶接部材、Ｌ被溶接部材、Ｇ開先、Ｐ溶融池

Claims

２つの被溶接部材の間に形成された開先でアーク溶接を行う溶接ロボットと、
前記アーク溶接によって前記開先に生じたアーク及び溶融池を撮影するカメラと、
学習用画像を入力データ、前記学習用画像中の特徴点を含み、特徴点に近づくに従って存在確率が高くなる確率分布を有する領域を表す領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の存在確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って存在確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により予め生成された学習済みモデルを用い、前記カメラ画像に基づく確率分布画像を出力する推定部と、
前記確率分布画像から存在確率が所定以上の領域を抽出する抽出手段と、
前記存在確率が所定以上の領域において前記アークの特徴点に対応する代表点及び前記溶融池の特徴点に対応する代表点を選定する選定手段と、
前記アークの特徴点に対応する代表点及び前記溶融池の特徴点に対応する代表点の位置関係に基づいて、前記溶接ロボットの制御パラメータを補正する補正手段と、
を備える、自動溶接システム。
２つの被溶接部材の間に形成された開先で溶接ロボットによりアーク溶接を行い、
前記アーク溶接によって前記開先に生じるアーク及び溶融池をカメラにより撮影し、
学習用画像を入力データ、前記学習用画像中の特徴点を含み、特徴点に近づくに従って存在確率が高くなる確率分布を有する領域を表す領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の存在確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って存在確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により予め生成された学習済みモデルを用い、前記カメラ画像に基づく確率分布画像を出力し、
前記確率分布画像から存在確率が所定以上の領域を抽出し、
前記存在確率が所定以上の領域において前記アークの特徴点に対応する代表点及び前記溶融池の特徴点に対応する代表点を選定し、
前記アークの特徴点に対応する代表点及び前記溶融池の特徴点に対応する代表点の位置関係に基づいて、前記溶接ロボットの制御パラメータを補正する、
自動溶接方法。
学習用画像と、前記学習用画像中の特徴点を含み、特徴点に近づくに従って存在確率が高くなる確率分布を有する領域を表す領域データとを含むデータセットを取得する取得部と、
前記学習用画像を入力データ、前記領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の存在確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って存在確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により学習済みモデルを生成する学習部と、
を備え、
前記学習部は、前記特徴点が見えるか否かを表す可視フラグをさらに教師データとし、前記特徴点が見えない場合に、前記特徴点に対応する前記特徴領域を含まない前記確率分布画像を出力するように前記学習済みモデルを生成する、
学習装置。
前記学習用画像は、複数種類の前記特徴点を含み、
前記確率分布画像は、複数種類の前記特徴点のそれぞれに対応する複数種類の前記特徴領域を含む、
請求項３に記載の学習装置。
学習用画像と、前記学習用画像中の特徴点を含み、特徴点に近づくに従って存在確率が高くなる確率分布を有する領域を表す領域データとを含むデータセットを取得する取得部と、
前記学習用画像を入力データ、前記領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の存在確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って存在確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により学習済みモデルを生成する学習部と、
を備え、
前記学習用画像は、２つの被溶接部材の間に形成された開先でアーク溶接により生じたアーク及び溶融池を撮影した画像であり、
前記特徴点は、前記アークの特徴点及び前記溶融池の特徴点である、
学習装置。
学習用画像と、前記学習用画像中の特徴点を含み、特徴点に近づくに従って存在確率が高くなる確率分布を有する領域を表す領域データとを含むデータセットを取得し、
前記学習用画像を入力データ、前記領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の存在確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って存在確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により学習済みモデルを生成し、
前記教師あり学習は、前記特徴点が見えるか否かを表す可視フラグをさらに教師データとし、前記特徴点が見えない場合に、前記特徴点に対応する前記特徴領域を含まない前記確率分布画像を出力するように前記学習済みモデルを生成する、
学習済みモデルの生成方法。
学習用画像と、前記学習用画像中の特徴点を含み、特徴点に近づくに従って存在確率が高くなる確率分布を有する領域を表す領域データとを含むデータセットを取得する取得部、及び、
前記学習用画像を入力データ、前記領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の存在確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って存在確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により学習済みモデルを生成する学習部、
としてコンピュータを機能させ、
前記学習部は、前記特徴点が見えるか否かを表す可視フラグをさらに教師データとし、前記特徴点が見えない場合に、前記特徴点に対応する前記特徴領域を含まない前記確率分布画像を出力するように前記学習済みモデルを生成する、
プログラム。
特徴点を含む入力画像に基づいて、各画素における特徴点の存在確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って存在確率が高くなる特徴領域を含む確率分布画像を出力するよう、コンピュータを機能させるための学習済みモデルであって、
畳み込み層を含む第１畳み込みネットワークと、
畳み込み層を含む第１逆畳み込みネットワークと、
プーリング層及び畳み込み層を含む第２畳み込みネットワークと、
畳み込み層及びアップサンプリング層を含む第２逆畳み込みネットワークと、
を備え、
前記第１畳み込みネットワークは、入力画像に畳み込み処理を行って、生成された第１特徴画像を出力し、
前記第２畳み込みネットワークは、前記第１特徴画像にプーリング処理を行い、さらに畳み込み処理を行って、生成された第２特徴画像を出力し、
前記第２逆畳み込みネットワークは、前記第２特徴画像に逆畳み込み処理を行い、さらにアップサンプリング処理を行って、生成された第３特徴画像を出力し、
前記第１逆畳み込みネットワークは、前記第１特徴画像と前記第３特徴画像とが合成された合成画像に逆畳み込み処理を行って、生成された出力画像を出力するように構成され、
前記第１畳み込みネットワーク、前記第１逆畳み込みネットワーク、前記第２畳み込みネットワーク、及び前記第２逆畳み込みネットワークは、前記入力画像に含まれる特徴点を含み、前記特徴点に近づくに従って存在確率が高くなる確率分布を有する領域と、前記出力画像に含まれる特徴領域との差分を減少するように学習されたものであり、
特徴点を含む入力画像に対し、学習済みの前記第１畳み込みネットワーク、前記第１逆畳み込みネットワーク、前記第２畳み込みネットワーク、及び前記第２逆畳み込みネットワークに基づく演算を行い、特徴点に対応する位置に近づくに従って存在確率が高くなる特徴領域を含む確率分布画像を出力するよう、コンピュータを機能させるための学習済みモデル。
プーリング層、畳み込み層、及びアップサンプリング層を含む第３畳み込みネットワー
クをさらに備え、
前記第３畳み込みネットワークは、前記第２畳み込みネットワークからの前記第２特徴画像にプーリング処理を行い、さらに畳み込み処理を行い、さらにアップサンプリング処理を行って、生成された第４特徴画像を出力し、
前記第２逆畳み込みネットワークは、前記第２特徴画像と前記第４特徴画像とが合成された合成画像に逆畳み込み処理を行い、さらにアップサンプリング処理を行って、前記第３特徴画像を生成するように構成される、
請求項８に記載の学習済みモデル。
カメラにより生成されたカメラ画像を取得する取得部と、
学習用画像を入力データ、前記学習用画像中の特徴点を含み、特徴点に近づくに従って存在確率が高くなる確率分布を有する領域を表す領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の存在確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って存在確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により予め生成された学習済みモデルを用い、前記カメラ画像に基づく確率分布画像を出力する推定部と、
前記確率分布画像から存在確率が所定以上の領域を抽出する抽出手段と、
前記存在確率が所定以上の領域における代表点を選定する選定手段と、
を備える、推定装置。
前記カメラ画像は、２つの被溶接部材の間に形成された開先でアーク溶接により生じたアーク及び溶融池を前記カメラにより撮影した画像であり、
前記推定部は、前記アークの特徴点に対応する特徴領域及び前記溶融池の特徴点に対応する特徴領域を含む前記確率分布画像を出力する、
請求項１０に記載の推定装置。
カメラにより生成されたカメラ画像を取得し、
学習用画像を入力データ、前記学習用画像中の特徴点を含み、特徴点に近づくに従って存在確率が高くなる確率分布を有する領域を表す領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の存在確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って存在確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により予め生成された学習済みモデルを用い、前記カメラ画像に基づく確率分布画像を出力し、
前記確率分布画像から存在確率が所定以上の領域を抽出し、
前記存在確率が所定以上の領域における代表点を選定する、
推定方法。
カメラにより生成されたカメラ画像を取得する取得部、及び、
学習用画像を入力データ、前記学習用画像中の特徴点を含み、特徴点に近づくに従って存在確率が高くなる確率分布を有する領域を表す領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の存在確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って存在確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により予め生成された学習済みモデルを用い、前記カメラ画像に基づく確率分布画像を出力する推定部、
前記確率分布画像から存在確率が所定以上の領域を抽出する抽出手段、及び、
前記存在確率が所定以上の領域における代表点を選定する選定手段、
としてコンピュータを機能させるためのプログラム。