JP7477849B1 - 作業システム及び溶接システム - Google Patents

Abstract

【課題】最低限の工数で安定的且つ高精度に溶接位置を検出することができ、且つその検出理由をオペレータが容易に把握可能にする。【解決手段】溶接システムは、溶接ヘッドを有し動作プログラムに基づいてこれを溶接位置まで移動させこれを用いて被加工物に対する溶接加工を実行する溶接装置と、動作プログラムを実行して溶接装置を制御する制御部と、溶接位置及びその周囲を撮像して溶接位置画像を出力する撮像装置と、溶接位置画像と動作プログラムによって溶接ヘッドが移動すべき基準溶接位置における基準画像とを入力し溶接位置画像で示される溶接位置と基準溶接位置との間の補正量及び溶接位置の信頼度を算出し溶接位置の確認のための画像を出力する画像処理部と、出力される画像を表示する表示部と、出力される補正量及び信頼度に基づいて動作プログラムを補正するプログラム補正部とを備える。【選択図】図２

Description

本発明は、作業システム及び溶接システムに関する。

溶接ロボットを備えた溶接システムにおいては、溶接ロボットにおける溶接位置の教示操作（ティーチング）が予め行われる。そして、このときの移動経路及び位置座標に基づき溶接ロボットの動作プログラムが作成され、この動作プログラムに従って溶接ロボットによる溶接が行われる。

また、同じ溶接が行われる被加工物に対しては、上記の教示操作で作成された動作プログラムに基づき、同じ溶接位置に対する連続した溶接が行われる。この際、被加工物の製造上のばらつき等の個体差により、溶接ロボットによる溶接位置と動作プログラム上の溶接位置とが必ずしも一致しない場合がある。このため、被加工物の溶接位置をカメラで撮像し、動作プログラム上の溶接位置との位置ずれを検出して、動作プログラムを自動補正した上で溶接を行うことが行われている（特許文献１参照）。

特許第５５３７８６８号公報

しかしながら、上記特許文献１に開示された従来技術の溶接ロボットでは、撮像画像のばらつき、カメラ自体の性能差、被加工物の表面状態等の個体差、及び周辺環境等の環境要因、並びにオペレータによる教示操作等の人的要因によって、被加工物のロット毎に抽出されるエッジ情報が異なることがある。このため、溶接位置の検出精度に差が生じ、誤検出が発生してしまう場合がある。また、抽出されたエッジ情報によっては、パターンマッチングの結果のピークが複数現れ、又はピークが広がることにより、溶接位置を一意に決定することができないことがある。このような場合、オペレータは環境要因の調整のために各種操作及び設定をしたり、誤検出の原因追及のために詳細な調査をしたりすることが必要となってしまう。このため、溶接に関する工数を削減することができないという問題がある。

本発明の一態様は、最低限の工数で安定的且つ高精度に溶接位置を検出することができ、且つその検出理由をオペレータが容易に把握可能な作業システム及び溶接システムである。

本発明の一態様に係る作業システムは、制御対象を含み、作業プログラムに基づいて、前記制御対象を所定の作業位置まで移動させ、前記制御対象を用いて所定の作業を実行する作業装置と、前記作業プログラムを実行して前記作業装置を制御する制御部と、前記作業位置及びその周辺を撮像して作業位置画像を出力する撮像装置と、前記作業位置画像と、前記作業プログラムによって前記制御対象が移動すべき基準作業位置における基準画像と、を入力し、前記作業位置画像で示される前記作業位置と前記基準作業位置との間の距離に相当する前記作業位置の補正量、及び前記作業位置の信頼度（補正された作業位置の信頼度）を算出し、前記作業位置の確認のための画像を出力する画像処理部と、前記画像処理部から出力される画像を表示する表示部と、前記画像処理部から出力される前記補正量及び信頼度に基づいて前記作業プログラムを補正するプログラム補正部と、を備え、前記画像処理部は、前記作業位置画像と前記基準画像との間の特徴量のマッチングによって、両画像の類似度の分布を示す第１ヒートマップ画像を生成する第１の画像処理部と、前記作業位置画像と学習済モデルとに基づいて前記作業位置の尤度の分布を示す第２ヒートマップ画像を生成する第２の画像処理部と、前記第１ヒートマップ画像と前記第２ヒートマップ画像とを合成して第３ヒートマップ画像を生成すると共に、前記作業位置の補正量および信頼度を算出する第３の画像処理部と、を含み、前記表示部は、前記第３ヒートマップ画像を表示する。

本発明の一態様に係る溶接システムは、溶接ヘッドを有し、動作プログラムに基づいて、前記溶接ヘッドを溶接位置まで移動させ、前記溶接ヘッドを用いて被加工物に対する溶接加工を実行する溶接装置と、前記動作プログラムを実行して前記溶接装置を制御する制御部と、前記溶接位置及びその周囲を撮像して溶接位置画像を出力する撮像装置と、前記溶接位置画像と、前記動作プログラムによって前記溶接ヘッドが移動すべき基準溶接位置における基準画像と、を入力し、前記溶接位置画像で示される前記溶接位置と前記基準溶接位置との間の距離に相当する前記溶接位置の補正量、及び前記溶接位置の信頼度を算出し、前記溶接位置の確認のための画像を出力する画像処理部と、前記画像処理部から出力される画像を表示する表示部と、前記画像処理部から出力される前記補正量及び信頼度に基づいて前記動作プログラムを補正するプログラム補正部と、を備え、前記画像処理部は、前記溶接位置画像と前記基準画像との間の特徴量のマッチングによって、両画像の類似度の分布を示す第１ヒートマップ画像を生成する第１の画像処理部と、前記溶接位置画像と学習済モデルとに基づいて前記溶接位置の尤度の分布を示す第２ヒートマップ画像を生成する第２の画像処理部と、前記第１ヒートマップ画像と前記第２ヒートマップ画像とを合成して第３ヒートマップ画像を生成すると共に、前記溶接位置の補正量及び信頼度を算出する第３の画像処理部と、を含み、前記表示部は、前記第３ヒートマップ画像を表示する。

本発明の一態様に係る作業システムによれば、画像処理部が、制御対象の作業位置及びその周囲を撮像した作業位置画像と、作業プログラムにより制御対象が移動すべき基準作業位置における基準画像と、を入力して、作業位置画像で示される作業位置と基準作業位置との間の距離に相当する作業位置の補正量、及び作業位置の信頼度を算出し、作業位置の確認のための画像を出力する。また、プログラム補正部が、画像処理部から出力される補正量及び信頼度に基づいて作業プログラムを補正する。このため、制御部が補正された作業プログラムを実行して制御対象を補正された作業位置へ自動的に移動させ所定の作業を実行するように作業装置を制御すると共に、表示部に表示される画像に基づき補正された作業位置を信頼度と共に確認することができるので、最低限の工数で安定的且つ高精度に作業位置を検出可能で、且つその検出理由をオペレータが容易に把握可能となる。

また、本発明の一態様に係る溶接システムによれば、画像処理部が、溶接装置の溶接ヘッドによる溶接位置及びその周囲を撮像した溶接位置画像と、動作プログラムにより溶接ヘッドが移動すべき基準溶接位置における基準画像と、を入力して、溶接位置画像で示される溶接位置と基準溶接位置との間の距離に相当する溶接位置の補正量、及び溶接位置の信頼度を算出し、溶接位置の確認のための画像を出力する。また、プログラム補正部が、画像処理部から出力される補正量及び信頼度に基づいて動作プログラムを補正する。このため、制御部が補正された動作プログラムを実行して溶接ヘッドを補正された溶接位置へ自動的に移動させるように溶接装置を制御すると共に、表示部に表示される画像に基づき補正された溶接位置を信頼度と共に確認することができるので、最低限の工数で安定的且つ高精度に溶接位置を検出可能で、且つその検出理由をオペレータが容易に把握可能となる。

本発明の一態様によれば、最低限の工数で安定的且つ高精度に溶接位置を検出することができ、且つその検出理由をオペレータが容易に把握可能となる。

図１は、本発明の一実施形態に係る作業システムの機能的構成を示すブロック図である。 図２は、本発明の一実施形態に係る溶接システムの機能的構成を示すブロック図である。 図３は、溶接システムの概略構成及びティーチング処理の流れを示す説明図である。 図４は、ＮＣ装置の基本的なハードウェア構成を示す説明図である。 図５は、画像処理部における画像処理１の概要を示す説明図である。 図６は、画像処理部における画像処理２の概要を示す説明図である。 図７は、画像処理部における画像処理３の概要を示す説明図である。 図８は、溶接システムのティーチング処理フローを示すフローチャートである。 図９は、表示部に表示される画像の一例を示す図である。

以下、添付の図面を参照して、本発明の実施の形態に係る作業システム及び溶接システムを詳細に説明する。ただし、以下の実施の形態は、各請求項に係る発明を限定するものではなく、また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。また、以下の実施の形態においては、同一又は相当する構成要素には、同一の符号を付して重複した説明を省略する。また、実施の形態においては、各構成要素の配置、縮尺及び寸法等が誇張あるいは矮小化されて実際のものとは一致しない状態で示されている場合、並びに一部の構成要素につき記載が省略されて示されている場合があるとする。

［作業システムの機能的構成］
図１は、本発明の一実施形態に係る作業システムの機能的構成を示すブロック図である。
図１に示すように、一実施形態に係る作業システム１００Ａは、制御対象１２Ａを含み、制御対象１２Ａを所定の作業位置まで移動させ、制御対象１２Ａを用いて所定の作業を実行する作業装置１０Ａと、制御対象１２Ａの移動及び制御対象１２Ａによる作業を指示する作業プログラムを作成するプログラム作成装置２０と、作業プログラムを実行して作業装置１０Ａを制御する制御部５０と、制御対象１２Ａが作業位置に移動したときに作業位置及びその周囲を撮像して作業位置画像を出力する撮像装置４０と、作業位置画像と、作業プログラムによって制御対象１２Ａが移動すべき基準作業位置における基準画像と、を入力し、作業位置画像で示される作業位置と基準作業位置との間の距離に相当する作業位置の補正量、及び作業位置の信頼度を算出し、作業位置の確認のための画像を出力する画像処理部６０と、画像処理部６０から出力される画像を表示する表示部８０と、画像処理部６０から出力される補正量及び信頼度に基づいて作業プログラムを補正するプログラム補正部７０と、を備える。

画像処理部６０は、作業位置画像と基準画像との間の特徴量のパターンマッチングによって、両画像の類似度の分布を示す第１ヒートマップ画像を生成する第１の画像処理部６１と、作業位置画像と学習済モデルとに基づいて作業位置の尤度の分布を示す第２ヒートマップ画像を生成する第２の画像処理部６２と、第１ヒートマップ画像と第２ヒートマップ画像とを合成して第３ヒートマップ画像を生成すると共に、作業位置の補正量及び信頼度を算出する第３の画像処理部６３と、を含む。表示部８０は、第３の画像処理部６３から出力された第３ヒートマップ画像を表示する。
このような作業システム１００Ａは、溶接システム、工作・加工システム、搬送システム等の種々のシステムに適用可能である。
以下、このような機能的構成を有する作業システム１００Ａを溶接システムに適用したものを、例に挙げて説明する。

［溶接システムの機能的構成］
図２は、本発明の一実施形態に係る溶接システムの機能的構成を示すブロック図である。
図２に示すように、一実施形態に係る溶接システム１００は、溶接ヘッド１２を有し、溶接ヘッド１２を溶接位置まで移動させ、溶接ヘッド１２を用いて被加工物に対する溶接加工を実行するマニピュレータ（溶接装置）１０と、溶接ヘッド１２の移動及び溶接ヘッド１２による溶接加工を指示する動作プログラムを作成するＣＡＭ（ＣＡＭ：Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｍａｎｕｆａｃｔｕｒｉｎｇ）等のプログラム作成装置２０と、動作プログラムを実行してマニピュレータ（溶接装置）１０を制御する制御部５０と、溶接ヘッド１２が溶接位置に移動したときに溶接位置及びその周囲を撮像して溶接位置画像を出力する撮像装置４０と、溶接位置画像と、動作プログラムによって溶接ヘッド１２が移動すべき基準溶接位置における基準画像と、を入力し、溶接位置画像で示される溶接位置と基準溶接位置との間の距離に相当する溶接位置の補正量、及び溶接位置の信頼度を算出し、溶接位置の確認のための画像を出力する画像処理部６０と、画像処理部６０から出力される画像を表示する表示部８０と、画像処理部６０から出力される補正量及び信頼度に基づいて動作プログラムを補正するプログラム補正部７０と、を備える。上記制御部５０、画像処理部６０、プログラム補正部７０及び表示部８０は、例えば、動作プログラムに基づいてマニピュレータ（溶接装置）１０を制御するＮＣ（Ｎｕｍｅｒｉｃａｌ Ｃｏｎｔｒｏｌ）装置３０に含まれている。

画像処理部６０は、溶接位置画像と基準画像との間の特徴量のテンプレートマッチングによって、両画像の類似度の分布を示す第１ヒートマップ画像を生成する第１の画像処理部６１と、溶接位置画像と学習済モデルとに基づいて溶接位置の尤度の分布を示す第２ヒートマップ画像を生成する第２の画像処理部６２と、第１ヒートマップ画像と第２ヒートマップ画像とを合成して第３ヒートマップ画像を生成すると共に、溶接位置の補正量及び信頼度を算出する第３の画像処理部６３と、を含む。

また、プログラム作成装置２０は、ＣＡＭのデータから被加工物及びその溶接位置を含む基準画像を生成する。第１の画像処理部６１は、溶接位置画像から第１の学習済モデルを用いてエッジ情報を抽出し、基準画像から溶接位置を含むエッジ情報からなるテンプレート画像を作成し、作成されたテンプレート画像を用いて溶接位置画像に対してテンプレートマッチングを行って溶接位置画像とテンプレート画像との類似度を示す第１ヒートマップ画像を生成する。第２の画像処理部６２は、溶接位置画像と第２の学習済モデルとに基づいて溶接位置の尤度を示す第２ヒートマップ画像を生成する。第３の画像処理部６３は、第１ヒートマップ画像及び第２ヒートマップ画像のそれぞれに重みを付けて両画像を合成し、第３ヒートマップ画像を生成する。表示部８０は、第３の画像処理部６３から出力される第３ヒートマップ画像と、第１ヒートマップ画像及び第２ヒートマップ画像の重みを調整する操作画像と、を表示する。第３の画像処理部６３は、表示部８０に表示された操作画像を介した操作入力情報に基づいて、第１ヒートマップ画像及び第２ヒートマップ画像の重みを変更し、表示部８０に表示される第３ヒートマップ画像を生成（変更）する。

［溶接システムの概略構成とティーチング処理の流れ］
図３は、溶接システムの概略構成及びティーチング処理の流れを示す説明図である。
図３に示すように、溶接システム１００は、概略的には、マニピュレータ（溶接装置）１０と、溶接ＣＡＭ２７を含むプログラム作成装置２０と、ＮＣ装置３０と、を備える。マニピュレータ１０、プログラム作成装置２０及びＮＣ装置３０は、例えば、イーサネット（Ｅｔｈｅｒｎｅｔ）等のネットワークで互いに通信可能に接続されている。

マニピュレータ１０は、多関節のロボット本体１１を有する。ロボット本体１１の先端部には、溶接ヘッド１２が取り付けられている。溶接ヘッド１２には、例えば、図示しないレーザ発振器が接続されている。溶接ヘッド１２には、レーザ発振器からレーザ光が供給される。

なお、レーザ発振器としては、例えば、レーザダイオードより発せられる種光が共振器でＹｂ（Ｙｔｔｅｒｂｉｕｍ）などを励起させ増幅させて所定の波長のレーザ光を射出するタイプのものが用いられ得る。また、レーザ発振器としては、レーザダイオードより発せられるレーザ光を直接利用するタイプのものも用いられ得る。レーザ発振器は、例えば、固体レーザ発振器としてはファイバレーザ発振器、ＹＡＧ（Ｙｔｔｒｉｕｍ Ａｌｕｍｉｎｕｍ Ｇａｒｎｅｔ）レーザ発振器、ディスクレーザ発振器、ＤＤＬ（Ｄｉｒｅｃｔ Ｄｉｏｄｅ Ｌａｓｅｒ）発振器等が挙げられる。

レーザ発振器は、例えば、波長９００ｎｍ～１１００ｎｍの１μｍ帯のレーザ光を射出する。具体的には、ＤＤＬ発振器は波長９１０ｎｍ～９５０ｎｍのレーザ光を射出し、ファイバレーザ発振器は波長１０６０ｎｍ～１０８０ｎｍのレーザ光を射出する。また、青色半導体レーザは波長４００ｎｍ～４６０ｎｍのレーザ光を射出する。グリーンレーザは、波長５００ｎｍ～５４０ｎｍのレーザ光を射出するファイバレーザ発振器又はＤＤＬ発振器でもよく、１μｍ帯のレーザ光Ｌと光合成した多波長共振器であってもよい。

撮像装置（カメラ）４０は、本実施形態ではマニピュレータ１０の溶接ヘッド１２に取り付けられているが、これに限定されるものではなく、溶接ヘッド１２以外の任意の箇所に設けられ得る。ここでは、撮像装置４０は、ベンドミラー等の光学要素を介して溶接ヘッド１２におけるレーザ光の射出方向と同方向に向けられるように配置されていてもよいし、レーザ光の出射軸と同軸配置されていてもよい。撮像装置４０は、例えば、安価に構成可能で汎用性の高いＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ：電荷結合素子）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補性金属酸化膜半導体）等の撮像素子を有する単眼カメラにより構成され得る。

なお、撮像装置４０は、被加工物の溶接位置（溶接代表点でもよい。）Ｐを撮像画像の中心とする溶接位置画像（画像Ｗ）１８を撮像可能に構成されている。この場合、溶接位置画像（画像Ｗ）１８の中心の位置座標を溶接位置Ｐの位置座標として認識することが可能となる。そして、撮像装置４０は、溶接ヘッド１２によるレーザ光の照射位置を含む周辺部を、例えば、少なくともグレースケールの二次元画像として撮像可能な性能を備えていればよい。撮像装置４０により撮像される溶接位置画像（画像Ｗ）１８については、各種のキャリブレーションは予め行われており、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）処理等による輝度の最適化処理も適用されているものとする。撮像装置４０で撮像された溶接位置画像（画像Ｗ）１８は、ＮＣ装置３０に転送される。なお、溶接代表点とは、被加工物における溶接継手の溶接加工の開始位置及び終了位置の少なくとも一つを含む溶接位置のことをいう。

プログラム作成装置２０は、オフラインで各種プログラムを作成可能に構成されている。プログラム作成装置２０は、溶接ＣＡＭ２７を有する。溶接ＣＡＭ２７は、ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データ等の被加工物の製品データに基づいて、被加工物の全ての溶接ステップｉ（０＜ｉ＜＝ｎ：ｎは正の整数、以下同じ。）に対応するマニピュレータ１０の動作プログラム（ＰＲＧ．（１～ｎ））１を作成する。

また、プログラム作成装置２０は、作成した動作プログラム１に対応させて、シミュレーション用のバーチャルな基準画像（画像Ｍ_１～ｎ）２８を、溶接ＣＡＭ２７の製品データに基づき生成する。基準画像（画像Ｍ）２８は、動作プログラム１によって溶接ヘッド１２が移動すべき基準溶接位置を表示し得る画像で、マニピュレータ１０に搭載された撮像装置４０により撮像される溶接位置画像（画像Ｗ）１８と同等なスケールで構成される。動作プログラム１及び基準画像（画像Ｍ）２８は、プログラム作成装置２０からＮＣ装置３０に転送される。

ＮＣ装置３０は、マニピュレータ１０を含めた溶接システム１００全体の制御を行う機能を有する。ＮＣ装置３０の制御部５０は、ティーチング処理において、プログラム作成装置２０から動作プログラム１及び基準画像（画像Ｍ）を取得する。制御部５０は、動作プログラム１に従って、マニピュレータ１０に対して溶接ステップｉの教示位置（溶接位置）Ｐ_ｉへのステップ移動指令（ｉ）を出力する（Ｓ１）。

マニピュレータ１０は、教示位置（溶接位置）Ｐ_ｉへ到達したら（Ｓ２）、撮像装置４０により溶接位置画像（画像Ｗ_ｉ）１８を撮像して、溶接位置画像（画像Ｗ_ｉ）１８をＮＣ装置３０に転送する。なお、溶接位置画像（画像Ｗ_ｉ）１８には、ＮＣ装置３０内にて上記ＨＤＲ処理等の輝度の最適化処理が適用されてもよい。

ＮＣ装置３０は、転送された溶接位置画像（画像Ｗ_ｉ）１８及び溶接ステップｉに対応した基準画像（画像Ｍ_ｉ）２８と、ＮＣ装置３０内で予め設定された処理引数データ２と、を画像処理部６０に転送する。画像処理部６０は、溶接位置画像（画像Ｗ_ｉ）１８、基準画像（画像Ｍ_ｉ）及び処理引数データ２を取得して（Ｓ３）、これらに基づき複数の画像処理として、後述する画像処理１（第１の画像処理）（Ｓ４）、画像処理２（第２の画像処理）（Ｓ５）及び画像処理３（第３の画像処理）（Ｓ６）を、第１～第３の画像処理部６１～６３でそれぞれ行う。

画像処理部６０は、第１の画像処理部６１での画像処理１（Ｓ４）において、第１の学習モデル（モデル（Ｎ１）、図５）６４を使用して、溶接位置画像（画像Ｗ_ｉ）１８及び基準画像（画像Ｍ_ｉ）２８からエッジを抽出し、それらの画像の類似度の分布を表す第１ヒートマップ画像（画像Ｈ_ｉ１）１１０を生成する。また、画像処理部６０は、第２の画像処理部６２での画像処理２（Ｓ５）において、第２の学習モデル（モデル（Ｎ２）、図６）６５を用い、「溶接位置らしさ（尤度）」の分布を表す第２ヒートマップ画像（Ｈ_ｉ２）１２０を生成する。

更に、画像処理部６０は、第３の画像処理部６３での画像処理３（Ｓ６）において、第１ヒートマップ画像（画像Ｈ_ｉ１）及び第２ヒートマップ画像（Ｈ_ｉ２）それぞれに重み（Ｗ_１，Ｗ_２）を付けて加算等の演算により合成した第３ヒートマップ画像（Ｈ_ｉ３）１３０を生成し、これに基づき表示される溶接位置Ｐ_ｉの補正量（ｄｘ，ｄｙ）および信頼度を算出する（Ｓ７）。

こうして得られた補正量及び信頼度のデータ３と、第３ヒートマップ画像（Ｈ_ｉ３）１３０を含む画像１４０は画像処理部６０から表示部８０に出力され、表示部８０に第３ヒートマップ画像（Ｈ_ｉ３）を含む画像１４０が表示される（Ｓ８）。また、制御部５０は、データ３の補正量に従って、マニピュレータ１０に対して溶接ステップｉの補正位置（溶接位置）Ｐ´_ｉへの補正移動指令を出力する。

そして、マニピュレータ１０が、補正位置（溶接位置）Ｐ´_ｉへ移動し（Ｓ９）、溶接位置の補正が完了したら、ＮＣ装置３０のプログラム補正部７０によってデータ３の補正量を動作プログラム１に反映させて書き換え（Ｓ１０）、更新された動作プログラム１´を作成し、次の溶接ステップｉ＋１について上記のティーチング処理が行われる。なお、溶接ステップｉは、例えば、曲線の連続溶接の場合、溶接の開始位置及び終了位置の間に必要な点数の補間点を含めた溶接位置（溶接代表点）Ｐの数だけ対応付けられて設けられる。

［ハードウェア構成］
図４は、ＮＣ装置の基本的なハードウェア構成を示す説明図である。
図４に示すように、ＮＣ装置３０は、例えば、ＧＰＵ（画像演算処理装置：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１２と、ＣＰＵ（中央演算処理装置：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３と、ＨＤＤ（ハードディスクドライブ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２０４と、ＳＳＤ（ソリッドステートドライブ：Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）２０５と、メモリカード２０６と、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）２１５と、を備えたハードウェアにより実現されている。

また、ＮＣ装置３０は、例えば、入力Ｉ／Ｆ（インタフェース：Ｉｎｔｅｒｆａｃｅ）２０７と、出力Ｉ／Ｆ（インタフェース：Ｉｎｔｅｒｆａｃｅ）２０８と、通信Ｉ／Ｆ（インタフェース：Ｉｎｔｅｒｆａｃｅ）２０９と、を含む各種のインタフェースを備える。ハードウェアの各構成部２０１～２０９，２１５は、それぞれバス２００によって相互に接続されている。

入力Ｉ／Ｆ２０７には、キーボード、マウス及びタッチパネル等の各種の入力デバイスの他、赤外線センサ、温度センサ、光センサ、音響センサ、画像センサ、分光センサ等の各種センサ、及び撮像装置４０を含む入力機器２１１が接続され得る。出力Ｉ／Ｆ２０８には、画像１４０、データ３の補正量及び信頼度等の情報を表示する表示部９０の他、図示しないスピーカ及びランプ等の各種情報の報知装置を含む出力機器２１０が接続され得る。通信Ｉ／Ｆ２０９は、イーサネット及びインターネット等のネットワーク２１３を介して、プログラム作成装置２０及びサーバ等を含む外部機器２１４と通信を行う。なお、プログラム作成装置２０及び溶接ＣＡＭ２７の各構成部も、このようなハードウェア構成によって構成され得るが、ハードウェア構成は上記のものに限定されない。

［画像処理１の内容］
図５は、画像処理部における画像処理１の概要を示す説明図である。
画像処理部６０の第１の画像処理部６１における画像処理１では、上述したように、まず、溶接位置画像（画像Ｗ）１８及び基準画像（画像Ｍ）２８それぞれの特徴量として、エッジ情報の抽出が行われる。エッジ情報の抽出には、公知の各種エッジ抽出処理（エッジ抽出フィルタ９４を利用した処理等）を利用し得るが、本実施形態の第１の画像処理部６１では、溶接位置画像（画像Ｗ）１８のエッジ情報の抽出に、予め深層学習（例えば、ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ又はＭＬＰ（Ｍｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）等の機械学習により作成された第１の学習モデル（モデル（Ｎ１））６４を利用している。

すなわち、第１の画像処理部６１は、モデル（Ｎ１）（第１の学習モデル）６４を有する。第１の画像処理部６１は、画像処理１（第１の画像処理）において、溶接位置画像（画像Ｗ）１８及び基準画像（画像Ｍ）２８のうち、少なくとも溶接位置画像（画像Ｗ）１８をモデル（Ｎ１）（第１の学習モデル）６４に入力してエッジ情報を抽出している。ただし、上記のように、エッジ情報の抽出は公知のエッジ抽出処理で可能なため、モデル（Ｎ１）６４は必須ではない。

従って、第１の学習モデル（モデル（Ｎ１））６４は、溶接位置画像（画像Ｗ）１８及び基準画像（画像Ｍ）２８のうち、少なくとも溶接位置画像（画像Ｗ）１８を説明変数の教師データとし、少なくとも溶接位置画像（画像Ｗ）１８のエッジ情報を目的変数の教師データとして入力して深層学習を行って作成された、学習モデルである。ここでは、第１の学習モデル（第１の学習済モデル）（モデル（Ｎ１））６４は、溶接位置画像（画像Ｗ）１８を説明変数、溶接位置画像（画像Ｗ）１８に対応するエッジ画像を目的変数とする機械学習によって生成される。

図５（ａ）は、モデル（Ｎ１）６４の学習イメージを表している。モデル（Ｎ１）６４は、複数の溶接位置画像（画像Ｗ）１８に相当する画像群（Ｗ_１，Ｗ_２，...，Ｗ_ｎ）９１を説明変数の教師データとし、これら各溶接位置画像（画像Ｗ）１８の画像群９１に対応するエッジ画像群（Ｅ_１，Ｅ_２，...，Ｅ_ｎ）９２を目的変数の教師データとして、図５（ａ）中白抜き矢印で示すように入力して深層学習（例えば、ＣＮＮ）を行って作成されている。なお、基準画像（画像Ｍ）２８については、製品データに基づき生成されたものであるため、モデル（Ｎ１）６４を利用せずに公知のエッジ抽出処理で十分にエッジ情報を抽出することはできるが、必要であればモデル（Ｎ１）６４について基準画像（画像Ｍ）２８に関する上記のような画像群に基づく深層学習を行って、モデル（Ｎ１）６４によりエッジ情報を抽出するようにしてもよい。

図５（ｂ）は、画像処理１の処理フロー及び処理イメージを表している。第１の画像処理部６１は、画像処理１において、溶接位置画像（画像Ｗ）１８及び基準画像（画像Ｍ）２８を取得する（ステップＳ１２０）。そして、溶接位置画像（画像Ｗ）１８を、図５（ｂ）中白抜き矢印で示すようにモデル（Ｎ１）６４に入力すると共に、基準画像（画像Ｍ）２８を、図５（ｂ）中白抜き矢印で示すようにエッジ抽出フィルタ９４にかけて、それぞれの特徴量としてエッジ情報の抽出及び二値化処理を行い（ステップＳ１２１）、図５（ｂ）中白抜き矢印で示すように、溶接位置画像（画像Ｗ）１８のエッジ情報を含む被処理画像１８ｅを得ると共に、基準画像（画像Ｍ）２８のエッジ情報を含むテンプレート画像２８ｅを生成（作成）する。

こうして作成されたテンプレート画像２８ｅを、得られた被処理画像１８ｅに対して、図５（ｂ）中白抜き矢印で示すように、位置をずらしながらパターンマッチングとしてのテンプレートマッチングを施す（ステップＳ１２２）。その結果、図５（ｂ）中白抜き矢印で示すように、溶接位置画像（画像Ｗ）１８とテンプレート画像２８ｅとのエッジ情報に基づく類似度が、溶接位置画像（画像Ｗ）１８の各画素又は数画素毎に求められる。これにより、類似度の分布を示す第１ヒートマップ画像（Ｈ１）１１０を生成する（ステップＳ１２３）。

［画像処理２の内容］
図６は、画像処理部における画像処理２の概要を示す説明図である。
画像処理部６０の第２の画像処理部６２における画像処理２では、予め深層学習（ＣＮＮ又はＦＣＮ）により作成された第２の学習モデル（モデル（Ｎ２））６５が用いられる。すなわち、第２の学習モデル（第２の学習済モデル）（モデル（Ｎ２））６５は、溶接位置画像（画像Ｗ）１８を説明変数、溶接位置画像（画像Ｗ）１８に対応する溶接位置の尤度を示すヒートマップ画像を目的変数とする機械学習（深層学習）によって生成された、学習モデルである。しかし、ここでは、説明変数の教師データとして、撮像装置４０で撮像された溶接位置画像（画像Ｗ）１８だけでなく、ＣＡＭデータから生成された基準画像（画像Ｍ）２８も含めている。すなわち、基準画像（画像Ｍ）２８には、溶接位置画像（画像Ｗ）１８と同様のテクスチャに近づけるために、テクスチャ情報が付加され、又は基準画像（画像Ｍ）２８のテクスチャ情報が変更される。このテクスチャ情報の付加又は変更には、基準画像（画像Ｍ）２８への影、疑似的ノイズ等のテクスチャ情報の付加、基準画像（画像Ｍ）２８に予め付加されている影等のテクスチャ情報に溶接位置画像（画像Ｗ）１８と同様の疑似的なノイズを付加してテクスチャ情報を変更することを含む。第２の学習モデル（第２の学習済モデル）（モデル（Ｎ２））６５は、これらの溶接位置画像（画像Ｗ）１８及びテクスチャ情報が付加又は変更された基準画像（画像Ｍ）２８を説明変数とし、溶接位置画像（画像Ｗ）１８及び基準画像（画像Ｍ）２８に対応する溶接位置Ｐの尤度を示すヒートマップ画像を目的変数とする機械学習によって生成される。

図６（ａ）は、モデル（Ｎ２）６５の学習イメージを表している。説明変数の教師データは、複数の溶接位置画像（画像Ｗ）１８の画像群（Ｗ_１，Ｗ_２，...，Ｗ_ｎ）と、溶接位置画像（画像Ｗ）と同様のテクスチャに近づけるために、テクスチャ情報が付加又は変更された基準画像（画像Ｍ）２８の画像群（Ｍ_ｔ１，Ｍ_ｔ２，...，Ｍ_ｔｎ）と、からなる画像群８１である。目的変数の教師データは、この画像群８１に、画像群８１における溶接位置（溶接代表点）Ｐの情報を追加したヒートマップ画像群（Ｈ_ｗ１，Ｈ_ｗ２，...，Ｈ_ｗｎ）と、ヒートマップ画像群（Ｈ_Ｍ１，Ｈ_Ｍ２，...，Ｈ_Ｍｎ）と、からなる溶接位置Ｐの尤度を表すヒートマップ画像群８２である。ここで、溶接位置Ｐの尤度は、溶接位置Ｐを中心としたガウス分布により表現されていても良い。そして、モデル（Ｎ２）６５は、これらの教師データを、図６（ａ）中白抜き矢印で示すように入力して深層学習（例えば、ＣＮＮ）を行って作成されている。

なお、モデル（Ｎ２）６５の学習に際して、画像群８１における基準画像（画像Ｍ）２８に溶接位置画像（画像Ｗ）１８と同様のテクスチャに近づけるために、テクスチャ情報を付加又は変更することにより、製品データから生成されたプレーンな画像に意図的にノイズを付けた状態を作り出すことができる。これにより、より現実に近づけたバーチャルな基準画像（画像Ｍ）を、この画像に含まれる基準溶接位置と共に説明変数の教師データに用いることが可能となり、学習効率及び出力結果の精度を向上させることができる。

図６（ｂ）は、画像処理２の処理フロー及び処理イメージを表している。第２の画像処理部６２は、画像処理２において、溶接位置画像（画像Ｗ）１８を取得する（ステップＳ１２４）。そして、図６（ｂ）中白抜き矢印で示すように、溶接位置画像（画像Ｗ）１８を説明変数の推定用データとしてモデル（Ｎ２）６５に入力して、溶接位置Ｐの尤度情報（尤度の分布に関する情報）を抽出する（ステップＳ１２５）。

こうして抽出された尤度情報に基づいて、溶接位置Ｐをヒートマップで表示可能な第２ヒートマップ画像（Ｈ２）１２０を生成する（ステップＳ１２６）。なお、尤度情報は、溶接位置Ｐの尤度の点数（スコア）であってもよい。この場合、第２ヒートマップ画像（Ｈ２）１２０は、第２の学習モデル（モデル（Ｎ２））６５により得られた、溶接位置画像（画像Ｗ）１８の画素毎又は画素群毎の溶接位置Ｐの尤度のスコアの分布に基づき生成され得る。

なお、図示は省略するが、モデル（Ｎ２）６５は、他の深層学習により作成されてもよい。また、第２の学習モデル（モデル（Ｎ２））６５は、溶接位置画像（画像Ｗ）１８及び基準画像（画像Ｍ）２８をそれぞれ細分化した部分画像及び部分画像それぞれにおける溶接位置Ｐの有無に関して付与されたスコア付きのラベルを説明変数の教師データとし、ラベルに基づく溶接位置Ｐの位置分布を表すヒートマップ情報を目的変数の教師データとして入力して深層学習を行って作成された、学習モデルであってもよい。そして、上記ステップＳ１２６で生成される第２ヒートマップ画像（Ｈ２）１２０は、溶接位置画像（画像Ｗ）の部分画像を再結合したときに表される、第２の学習モデル（モデル（Ｎ２））６５により得られた溶接位置Ｐのラベルのスコア及びその分布位置に基づき生成され得る。

［画像処理３の内容］
図７は、画像処理部における画像処理３の概要を示す説明図である。
画像処理部６０の第３の画像処理部６３における画像処理３では、まず、画像処理１で生成された第１ヒートマップ画像（Ｈ１）１１０及び画像処理２で生成された第２ヒートマップ画像（Ｈ２）１２０を取得する（ステップＳ１２７）。

次に、第１ヒートマップ画像（Ｈ１）１１０に重み（Ｗ_１）を付けると共に、第２ヒートマップ画像（Ｈ２）１２０に重み（Ｗ_２）を付けて両者を合成（例えば、加算）する重み付き演算処理（ステップＳ１２８）を行い、図７中白抜き矢印で示すように、これらを合成した第３ヒートマップ画像（Ｈ３）１３０を生成すると共に、これにより表され得る溶接位置画像（画像Ｗ）１８で示される溶接位置Ｐと基準溶接位置との間の距離に相当する溶接位置Ｐの補正量及び溶接位置Ｐの信頼度を算出する（ステップＳ１２９）。なお、ここで「信頼度」とは、補正位置（補正された溶接位置Ｐ）に対する評価点（又はスコア）を示す。

なお、第１ヒートマップ画像（Ｈ１）１１０及び第２ヒートマップ画像（Ｈ２）１２０に、それぞれ重み（Ｗ_１，Ｗ_２）を付けて合成するのは、以下の理由による。すなわち、作業位置の明るさ、治具の配置のような環境要因、外観傷のような素材要因、撮像装置４０の設定のような人的要因等に起因するノイズが、第１ヒートマップ画像（Ｈ１）及び第２ヒートマップ画像（Ｈ２）にそれぞれ与える影響は、ノイズの種類によって異なる。このため、第１ヒートマップ画像（Ｈ１）及び第２ヒートマップ画像（Ｈ２）のうち、ノイズの影響が小さい画像の重みを、影響が大きい画像の重みよりも大きくすることにより、第３ヒートマップ画像（Ｈ３）に現れるノイズの影響を抑えることができる。第３ヒートマップ画像（Ｈ３）１３０は、例えば、Ｊ段階（Ｊは正の整数、例えば１１）の重みに準拠した溶接位置Ｐを表示可能なヒートマップ情報に基づく画像群により構成される結果を表示可能に構成され得る。そして、第３ヒートマップ画像（Ｈ３）１３０と共に、データ３に基づく補正量及び信頼度を確認するための画像１４０（図３、図９）を表示部８０で表示可能に出力する。画像１４０においては、例えば、溶接位置Ｐの補正位置を、溶接位置画像（画像Ｗ）１８上に重ねて（併せて）表示したり、信頼度に基づいて最適な第３ヒートマップ画像（Ｈ３）１３０を表示したりすることができる。なお、ステップＳ１２８における重み付け演算処理は加算による合成に限定されるものではない。

［ティーチング処理の具体例］
図８は、溶接システムのティーチング処理フローを示すフローチャートである。図９は、表示部に表示される画像の一例を示す図である。
図８に示すように、溶接システム１００では、まず、溶接に際してプログラム作成装置２０により、上位システム（例えば、ＣＡＤシステム）から製品データが取得される（ステップＳ１００）。

製品データを取得したら、プログラム作成装置２０の溶接ＣＡＭ２７は、上述したようにマニピュレータ１０の動作プログラム１を作成し（ステップＳ１０１）、全ての溶接ステップに対応した基準画像（画像Ｍ）２８を生成する（ステップＳ１０２）。そして、プログラム作成装置２０は、作成した動作プログラム１と基準画像（画像Ｍ）２８とをＮＣ装置に転送する（ステップＳ１０３）。

ＮＣ装置３０は、例えば、オペレータによるボタン操作等に基づく入力機器２１１を介したティーチング処理の動作実行指令を待って（ステップＳ１０４のＮｏ）、動作実行指令を受け付けたら（ステップＳ１０４のＹｅｓ）、マニピュレータ１０に対してステップ移動指令を出力する（ステップＳ１０５）。マニピュレータ１０は、ステップ移動指令に基づき溶接位置Ｐの教示位置へ移動し（ステップＳ１０６）、撮像装置４０により溶接位置画像（画像Ｗ）１８を撮像する（ステップＳ１０７）。

撮像された溶接位置画像（画像Ｗ）１８はＮＣ装置３０に転送され（ステップＳ１０８）、ＮＣ装置３０は、転送された溶接位置画像（画像Ｗ）１８、基準画像（画像Ｍ）２８及び処理引数データ２を画像処理部６０に転送する。画像処理部６０は、これらに基づき、第１～第３の画像処理部６１～６３において上述したような画像処理１～画像処理３を含む画像処理を行い（ステップＳ１０９）、画像処理の結果に基づく各種の情報を表示部８０に出力する。そして、表示部８０は、各種の情報（例えば、画像１４０等）を表示する（ステップＳ１１０）。

このとき、表示部８０に表示される画像１４０において、画像処理で算出されたＪ段階の信頼度のうち、例えば、最も信頼度の高いＪ番目の信頼度に基づく第３ヒートマップ画像（Ｈ３_Ｊ）１３０をデフォルトで表示するようにしてもよい。そして、このような画像１４０を表示したら、ＮＣ装置３０は、マニピュレータ１０に対して補正移動指令を出力する（ステップＳ１１１）。

ここで、表示部８０に表示される情報の一例として、確認のための画像１４０について説明する。図９に示すように、画像１４０において、表示部８０は、第３ヒートマップ画像（Ｈ３）１３０と、第１ヒートマップ画像（Ｈ１）１１０及び第２ヒートマップ画像（Ｈ２）１２０の重みを調整する重み変更スライダ（操作画像）１４５と、を表示する。すなわち、図９に示すように、画像１４０には、溶接位置Ｐの補正位置を表す「×」印等の補正点マーカ１４１が表された溶接位置画像（画像Ｗ）１８が左側から２／３程度までの領域内に表示される。また、画像１４０には、上記のようなＪ番目の信頼度に基づく溶接位置Ｐを表示する第３ヒートマップ画像（Ｈ３_Ｊ）１３０を、重み（重みバランス）を変更して可変表示するための重み変更スライダ１４５と共に表示するヒートマップ表示欄１４２が右側から１／３程度までの領域内に表示される。

表示部８０に表示される画像１４０においては、例えば、オペレータが重み変更スライダ１４５を左右どちらかに動作させることで、第３ヒートマップ画像（Ｈ３）１３０に適用される重み（第１ヒートマップ画像（Ｈ１）１１０及び第２ヒートマップ画像（Ｈ２）１２０の重み）を調整することができる。これにより、第３の画像処理部６３は、重み変更スライダ（操作画像）１３５を介した操作入力情報に基づいて、第１ヒートマップ画像（Ｈ１）１１０及び第２ヒートマップ画像（Ｈ２）１２０の重みを変更し、第３ヒートマップ画像（Ｈ３）１３０を生成するので、変更された重みに対応した第３ヒートマップ画像（Ｈ３）をヒートマップ表示欄１４２に表示することができる。これと共に、この第３ヒートマップ画像（Ｈ３）の溶接位置Ｐの補正量に応じて表示箇所が異なる補正点マーカ１４１を、溶接位置画像（画像Ｗ）１８上に表示することもできる。なお、補正点マーカ１４１は、オペレータの操作入力により表示箇所を任意に移動させることもできる。この場合、移動された補正点マーカ１４１の表示箇所により表される補正量が、溶接位置Ｐの補正量として認識され得る。

オペレータは、画像１４０に表示された「前へ」ボタン１４４を操作することで、一つ前の溶接ステップの画像１４０の表示に戻ることができると共に、「次へ」ボタン１４３を操作することで、補正点マーカ１４１の表示箇所の位置座標に基づき算出される溶接位置Ｐの補正量を決定して、次の溶接ステップの画像１４０の表示に移行することができる。なお、「補正スキップ」チェックボックス１４６をチェックして「次へ」ボタン１４３を操作することにより、該当する溶接ステップにおける溶接位置Ｐの位置補正の確認をスキップすることも可能である。また、補正処理を実行する際に、補正位置の信頼度の評価点を、予め定めたしきい値と比較して、信頼度の評価点がしきい値を上回っている場合は補正処理を実行し、下回っている場合はアラームで報知する等の処理を行っても良い。

図８に戻り、マニピュレータ１０が補正位置に移動したら、上記のように表示された画像１４０へのオペレータの操作入力による入力情報を受け付けて（ステップＳ１１２）、動作プログラム１が算出された補正量を反映させた状態で書き換えられ更新される（ステップＳ１１３）。その後、全ての溶接ステップにおける溶接位置Ｐのティーチングが完了したかが判断され（ステップＳ１１４）、完了したと判断された場合（ステップＳ１１４のＹｅｓ）は、本フローチャートによる一連の処理を終了する。一方、完了していないと判断された場合（ステップＳ１１４のＮｏ）は、上記ステップＳ１０５に移行してマニピュレータ１０を次の溶接ステップにステップ移動させ、以降の処理を繰り返す。

以上のように、作業システム１００Ａを適用した溶接システム１００は、例えば、画像処理１において、シミュレーション用のバーチャルな画像である基準画像（画像Ｍ）２８のエッジ情報からなるテンプレート画像２８ｅを作成して、撮像装置４０により撮像された溶接位置画像（画像Ｗ）１８からモデル（Ｎ１）６４を用いてエッジ情報を抽出し、テンプレートマッチングを行っている。基準画像（画像Ｍ）２８は、上述した問題となり得る環境要因や人的要因に左右されない理想的なシミュレーションを可能とする画像である。このため、ロット毎による溶接位置画像（画像Ｗ）１８の変化に対して画像の類似度に基づく結果を、溶接加工の１ロット目から得ることができ、第１ヒートマップ画像（Ｈ１）１１０を生成することが可能となる。

また、画像処理２において、溶接位置らしさ（尤度）を学習したモデル（Ｎ２）６５を使用して、溶接位置画像（画像Ｗ）１８の溶接位置Ｐを推論可能な第２ヒートマップ画像（Ｈ２）１２０を生成している。このため、第２ヒートマップ画像（Ｈ２）１２０によれば、ユーザ（オペレータ）が認識或いは識別可能な溶接位置の候補を溶接位置Ｐとして尤度の分布に基づき客観的に表現し得るヒートマップとして出力可能である。なお、上述した素材要因としては、例えば、被加工物の表面状態に影響を与える外観傷が挙げられるが、このような外観傷は、第１ヒートマップ画像（Ｈ１）１１０のような画像の類似度には、ノイズとなり分布の結果に影響を与えてしまう懸念がある。一方で、第２ヒートマップ画像（Ｈ２）１２０のような溶接位置らしさ（尤度）は、外観傷に対する感度が低いため分布の結果に影響を与えにくいことが判明している。従って、第２ヒートマップ画像（Ｈ２）１２０も利用することにより、撮像装置４０による撮像時の環境要因に影響されにくく、画像処理１の第１ヒートマップ画像（Ｈ１）１１０のみでは識別困難となる場合の溶接位置Ｐの類似箇所の識別も容易に行うことが可能となる。

また、画像処理３において、画像処理１のアプローチから得られた結果（第１ヒートマップ画像（Ｈ１）１１０）と、画像処理２のアプローチから得られた結果（第２ヒートマップ画像（Ｈ２）１２０）と、に対して重み付け演算を行って合成した第３ヒートマップ画像（Ｈ３）１３０を生成している。このため、例えば、画像処理１及び画像処理２のいずれかの結果に偏りが生じてしまった場合でも、操作入力情報に基づき第１ヒートマップ画像（Ｈ１）１１０及び第２ヒートマップ画像（Ｈ２）１２０の重みを変更（調整）した第３ヒートマップ画像（Ｈ３）１３０を生成することができるので、画像１４０において高精度に溶接位置Ｐを表示することが可能となる。

また、第３ヒートマップ画像（Ｈ３）１３０と合わせて算出される溶接位置Ｐの補正量及び信頼度に関する情報を、第３ヒートマップ画像（Ｈ３）１３０と共に画像１４０において表示し得るので、これらの各種の情報をユーザ（オペレータ）が容易に認識できる形で可視化することができる。これにより、溶接位置Ｐの位置補正に関する根拠及び各種の情報の説明付けが可能となりその理解を深めさせることに寄与する効果が期待できる。このように、溶接システム１００によれば、最低限の工数で安定的且つ高精度に溶接位置Ｐを検出することができ、且つその検出理由をユーザ（オペレータ）が容易に把握可能とすることができる。

［変形例］
以上、本発明の好適な実施形態について説明したが、本発明の技術的範囲は、一実施形態に記載の範囲には限定されない。上述した実施形態には、多様な変更又は改良を加えることが可能である。

例えば、上述した一実施形態では、基準画像（画像Ｍ）２８を製品データに基づき生成されるものとして説明したが、これに限定されない。例えば、溶接位置画像（画像Ｗ）１８と同様に撮像装置４０で撮像して取得したＣＣＤ画像、上位のＣＡＤシステムから出力されたＣＡＤ画像、デプス（Ｄｅｐｔｈ）カメラ或いはＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）深度推定により出力された深度マップ画像、及びこれらを複数組み合わせた画像等を、基準画像（画像Ｍ）２８として利用するようにしてもよい。

また、画像処理１では、テンプレートマッチングにより溶接位置画像（画像Ｗ）１８と基準画像（画像Ｍ）２８（のテンプレート画像２８ｅ）との類似度を、両画像のエッジ情報で判定することについて説明したが、これに限定されない。エッジ情報のテンプレートマッチングに代えて、例えば、各画像１８，２８内における特徴量（コーナー、その間隔、輝度勾配等）又は特徴点（キーポイント）のマッチングを行ってもよい。この場合、キーポイントの抽出及び／又はマッチングには、汎用のアルゴリズムを用いてもよく、ＡＩにより行う方式であってもよい。キーポイントマッチングは、例えば、光切断法等により取得した３次元点群データとＣＡＤ／ＣＡＭからの３次元データ群とのマッチング等、３次元データに対しても適用することができるので汎用性が高い。

また、画像処理２では、モデル（Ｎ２）６５に溶接位置画像（画像Ｗ）１８及びテクスチャ情報を付加した基準画像（画像Ｍ）２８を説明変数の推定用データとして入力して第２ヒートマップ画像（Ｈ２）１２０を生成することについて説明したが、これに限定されない。説明変数の推定用データには、基準画像（画像Ｍ）２８の他に、ＣＡＤ画像、深度マップ画像、溶接継手パラメータ等の各種の情報が含まれていてもよい。この場合、モデル（Ｎ２）６５は、これらの各種の情報をも説明変数の教師データとして入力して深層学習等を行って作成されていればよい。

また、モデル（Ｎ２）６５は、以前のロットまでの結果に関する各種の情報を説明変数の教師データとして、順次追加して学習して行く時系列進化型のモデルであっても、ロット毎のデータをその都度クラウド又は基幹ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等で深層学習等して自律的に性能向上を図る自律発展型モデルであってもよい。なお、モデル（Ｎ２）６５における目的変数は、溶接位置Ｐを表し得るヒートマップ情報ではなく、溶接位置Ｐの位置座標そのもののみであっても、溶接位置Ｐそのものではなく１つの高次元の溶接線であってもよい。溶接線を目的変数とした場合は、検出した溶接線を、例えば線上の端点を選択する等の手法により、低次元に次元圧縮（点化）することで検出を図るようにしてもよい。なお、溶接線の検出は、ＡＩによる機械学習で行っても、上述した３次元点群データによるマッチングにより行ってもよい。また、画像１４０にヒートマップ表示欄１４２を設けずに、補正点マーカ１４１のみを表示するように構成してもよい。

以上、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 動作プログラム
２ 処理引数データ
３ データ
１０ 溶接装置（マニピュレータ）
１２ 溶接ヘッド
１８ 溶接位置画像（画像Ｗ）
２０ プログラム作成装置
２７ 溶接ＣＡＭ
２８ 基準画像（画像Ｍ）
３０ ＮＣ装置
４０ 撮像装置
５０ 制御部
６０ 画像処理部
６１ 第１の画像処理部
６２ 第２の画像処理部
６３ 第３の画像処理部
７０ プログラム補正部
８０ 表示部
１００ 溶接システム
１１０ 第１ヒートマップ画像（Ｈ１）
１２０ 第２ヒートマップ画像（Ｈ２）
１３０ 第３ヒートマップ画像（Ｈ３）
１４０ 画像

Claims (8)

1. 制御対象を含み、作業プログラムに基づいて、前記制御対象を所定の作業位置まで移動させ、前記制御対象を用いて所定の作業を実行する作業装置と、
   前記作業プログラムを実行して前記作業装置を制御する制御部と、
   前記作業位置及びその周囲を撮像して作業位置画像を出力する撮像装置と、
   前記作業位置画像と、前記作業プログラムによって前記制御対象が移動すべき基準作業位置における基準画像と、を入力し、前記作業位置画像で示される前記作業位置と前記基準作業位置との間の距離に相当する前記作業位置の補正量、及び前記作業位置の信頼度を算出し、前記作業位置の確認のための画像を出力する画像処理部と、
   前記画像処理部から出力される画像を表示する表示部と、
   前記画像処理部から出力される前記補正量及び信頼度に基づいて前記作業プログラムを補正するプログラム補正部と、
   を備え、
   前記画像処理部は、
   前記作業位置画像と前記基準画像との間の特徴量のマッチングによって、両画像の類似度の分布を示す第１ヒートマップ画像を生成する第１の画像処理部と、
   前記作業位置画像と学習済モデルとに基づいて前記作業位置の尤度の分布を示す第２ヒートマップ画像を生成する第２の画像処理部と、
   前記第１ヒートマップ画像と前記第２ヒートマップ画像とを合成して第３ヒートマップ画像を生成すると共に、前記作業位置の補正量及び信頼度を算出する第３の画像処理部と、を含み、
   前記表示部は、前記第３ヒートマップ画像を表示する
   作業システム。
2. 溶接ヘッドを有し、動作プログラムに基づいて、前記溶接ヘッドを溶接位置まで移動させ、前記溶接ヘッドを用いて被加工物に対する溶接加工を実行する溶接装置と、
   前記動作プログラムを実行して前記溶接装置を制御する制御部と、
   前記溶接位置及びその周囲を撮像して溶接位置画像を出力する撮像装置と、
   前記溶接位置画像と、前記動作プログラムによって前記溶接ヘッドが移動すべき基準溶接位置における基準画像と、を入力し、前記溶接位置画像で示される前記溶接位置と前記基準溶接位置との間の距離に相当する前記溶接位置の補正量、及び前記溶接位置の信頼度を算出し、前記溶接位置の確認のための画像を出力する画像処理部と、
   前記画像処理部から出力される画像を表示する表示部と、
   前記画像処理部から出力される前記補正量及び信頼度に基づいて前記動作プログラムを補正するプログラム補正部と、
   を備え、
   前記画像処理部は、
   前記溶接位置画像と前記基準画像との間の特徴量のマッチングによって、両画像の類似度の分布を示す第１ヒートマップ画像を生成する第１の画像処理部と、
   前記溶接位置画像と学習済モデルとに基づいて前記溶接位置の尤度の分布を示す第２ヒートマップ画像を生成する第２の画像処理部と、
   前記第１ヒートマップ画像と前記第２ヒートマップ画像とを合成して第３ヒートマップ画像を生成すると共に、前記溶接位置の補正量及び信頼度を算出する第３の画像処理部と、を含み、
   前記表示部は、前記第３ヒートマップ画像を表示する
   溶接システム。
3. 前記溶接ヘッドの移動及び前記溶接ヘッドによる溶接加工を指示する前記動作プログラムを作成するプログラム作成装置を更に備え、
   前記プログラム作成装置は、ＣＡＭのデータから前記被加工物及びその溶接位置を含む基準画像を生成する
   請求項２記載の溶接システム。
4. 前記第３の画像処理部は、前記第１ヒートマップ画像及び前記第２ヒートマップ画像のそれぞれに重みを付けて両画像を合成し、前記第３ヒートマップ画像を生成する
   請求項２記載の溶接システム。
5. 前記第１の画像処理部は、前記溶接位置画像から第１の学習済モデルを用いてエッジ情報を抽出し、前記基準画像から前記溶接位置を含むエッジ情報からなるテンプレート画像を作成し、前記作成されたテンプレート画像を用いて前記溶接位置画像に対してテンプレートマッチングを行って前記溶接位置画像と前記テンプレート画像との類似度を示す前記第１ヒートマップ画像を生成し、
   前記第２の画像処理部は、前記溶接位置画像と第２の学習済モデルとに基づいて前記溶接位置の尤度を示す前記第２ヒートマップ画像を生成する
   請求項２記載の溶接システム。
6. 前記第１の学習済モデルは、前記溶接位置画像を説明変数、前記溶接位置画像に対応するエッジ画像を目的変数とする機械学習によって生成され、
   前記第２の学習済モデルは、前記溶接位置画像を説明変数、前記溶接位置画像に対応する溶接位置の尤度を示すヒートマップ画像を目的変数とする機械学習によって生成される
   請求項５記載の溶接システム。
7. 前記基準画像には、前記溶接位置画像と同様のテクスチャに近づけるために、テクスチャ情報が付加され、又は前記基準画像のテクスチャ情報が変更され、
   前記第２の学習済モデルは、前記溶接位置画像及び前記基準画像を説明変数とし、前記溶接位置画像及び前記基準画像に対応する溶接位置の尤度を示すヒートマップ画像を目的変数とする機械学習によって生成される
   請求項６記載の溶接システム。
8. 前記表示部は、前記第３ヒートマップ画像と、前記第１ヒートマップ画像及び前記第２ヒートマップ画像の重みを調整する操作画像と、を表示し、
   前記第３の画像処理部は、前記操作画像を介した操作入力情報に基づいて、前記第１ヒートマップ画像及び前記第２ヒートマップ画像の重みを変更し、前記第３ヒートマップ画像を生成する
   請求項４記載の溶接システム。
   

Images