WO2021166555A1 - 自動溶接システム、自動溶接方法、学習装置、学習済みモデルの生成方法、学習済みモデル、推定装置、推定方法、及びプログラム - Google Patents

自動溶接システム、自動溶接方法、学習装置、学習済みモデルの生成方法、学習済みモデル、推定装置、推定方法、及びプログラム Download PDF

Info

Publication number
WO2021166555A1
WO2021166555A1 PCT/JP2021/002346 JP2021002346W WO2021166555A1 WO 2021166555 A1 WO2021166555 A1 WO 2021166555A1 JP 2021002346 W JP2021002346 W JP 2021002346W WO 2021166555 A1 WO2021166555 A1 WO 2021166555A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature
probability
probability distribution
feature points
Prior art date
Application number
PCT/JP2021/002346
Other languages
English (en)
French (fr)
Inventor
圭太 尾崎
陽 岡本
Original Assignee
株式会社神戸製鋼所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社神戸製鋼所 filed Critical 株式会社神戸製鋼所
Priority to CN202180014807.9A priority Critical patent/CN115151367B/zh
Priority to KR1020227027146A priority patent/KR20220121878A/ko
Priority to US17/904,158 priority patent/US20230064432A1/en
Priority to EP21757687.5A priority patent/EP4074449A4/en
Publication of WO2021166555A1 publication Critical patent/WO2021166555A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/127—Means for tracking lines during arc welding or cutting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B23K9/0953—Monitoring or automatic control of welding parameters using computing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/006—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to using of neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B23K9/0956—Monitoring or automatic control of welding parameters using sensing means, e.g. optical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/10—Other electric circuits therefor; Protective circuits; Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/10—Other electric circuits therefor; Protective circuits; Remote controls
    • B23K9/1087—Arc welding using remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/127—Means for tracking lines during arc welding or cutting
    • B23K9/1272—Geometry oriented, e.g. beam optical trading
    • B23K9/1274—Using non-contact, optical means, e.g. laser means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Abstract

自動溶接システムは、アーク溶接によって開先に生じたアーク及び溶融池を撮影するカメラと、学習済みモデルを用い、カメラ画像に基づく確率分布画像を出力する推定部と、確率分布画像から確率が所定以上の領域を抽出する抽出手段と、確率が所定以上の領域においてアークの特徴点に対応する代表点及び溶融池の特徴点に対応する代表点を選定する選定手段と、アークの特徴点に対応する代表点及び溶融池の特徴点に対応する代表点の位置関係に基づいて、溶接ロボットの制御パラメータを補正する補正手段を備える。

Description

自動溶接システム、自動溶接方法、学習装置、学習済みモデルの生成方法、学習済みモデル、推定装置、推定方法、及びプログラム
  本発明は、自動溶接システム、自動溶接方法、学習装置、学習済みモデルの生成方法、学習済みモデル、推定装置、推定方法、及びプログラムに関する。
  特許文献１には、溶接ワイヤの先端を開先の上端部と下端部との間でウィービングさせつつ開先に沿って移動させ、溶接ワイヤの先端を開先の下端部から上端部へとウィービングさせる過程で溶接トーチの走行を停止させ、開先の上端部で溶接ワイヤの先端のウィービングを停止させると共に、溶接トーチを走行させつつ溶接ワイヤに対する電力量を低下させ、溶接ワイヤの先端を開先の上端部から下端部へとウィービングさせる過程で溶接トーチの走行速度、溶接ワイヤの先端のウィービング速度及び溶接ワイヤに対する電力量を上昇させることが開示されている。
日本国特開２０１７－６９６８号公報
  ところで、アーク溶接で生じたアーク及び溶融池を撮影した画像を利用して溶接ロボットを制御するためには、アークの中心等の特徴点及び溶融池の先端等の特徴点の認識精度を向上させることが好ましい。
  本発明は、上記課題に鑑みてなされたものであり、その主な目的は、画像中の特徴点の認識精度を向上させることが可能な自動溶接システム、自動溶接方法、学習装置、学習済みモデルの生成方法、学習済みモデル、推定装置、推定方法、及びプログラムを提供することにある。
  上記課題を解決するため、本発明の一の態様の自動溶接システムは、２つの被溶接部材の間に形成された開先でアーク溶接を行う溶接ロボットと、前記アーク溶接によって前記開先に生じたアーク及び溶融池を撮影するカメラと、学習用画像を入力データ、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により予め生成された学習済みモデルを用い、前記カメラ画像に基づく確率分布画像を出力する推定部と、前記確率分布画像から確率が所定以上の領域を抽出する抽出手段と、前記確率が所定以上の領域において前記アークの特徴点に対応する代表点及び前記溶融池の特徴点に対応する代表点を選定する選定手段と、前記アークの特徴点に対応する代表点及び前記溶融池の特徴点に対応する代表点の位置関係に基づいて、前記溶接ロボットの制御パラメータを補正する補正手段と、を備える。
  また、本発明の他の態様の自動溶接方法は、２つの被溶接部材の間に形成された開先で溶接ロボットによりアーク溶接を行い、前記アーク溶接によって前記開先に生じるアーク及び溶融池をカメラにより撮影し、学習用画像を入力データ、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により予め生成された学習済みモデルを用い、前記カメラ画像に基づく確率分布画像を出力し、前記確率分布画像から確率が所定以上の領域を抽出し、前記確率が所定以上の領域において前記アークの特徴点に対応する代表点及び前記溶融池の特徴点に対応する代表点を選定し、前記アークの特徴点に対応する代表点及び前記溶融池の特徴点に対応する代表点の位置関係に基づいて、前記溶接ロボットの制御パラメータを補正する。
  また、本発明の他の態様の学習装置は、学習用画像と、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データとを含むデータセットを取得する取得部と、前記学習用画像を入力データ、前記領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により学習済みモデルを生成する学習部と、を備える。
  また、本発明の他の態様の学習済みモデルの生成方法は、学習用画像と、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データとを含むデータセットを取得し、前記学習用画像を入力データ、前記領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により学習済みモデルを生成する。
  また、本発明の他の態様のプログラムは、学習用画像と、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データとを含むデータセットを取得する取得部、及び、前記学習用画像を入力データ、前記領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により学習済みモデルを生成する学習部、としてコンピュータを機能させる。
  また、本発明の他の態様の学習済みモデルは、特徴点を含む入力画像に基づいて、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するよう、コンピュータを機能させるための学習済みモデルであって、畳み込み層を含む第１畳み込みネットワークと、畳み込み層を含む第１逆畳み込みネットワークと、プーリング層及び畳み込み層を含む第２畳み込みネットワークと、畳み込み層及びアップサンプリング層を含む第２逆畳み込みネットワークと、を備え、前記第１畳み込みネットワークは、入力画像に畳み込み処理を行って、生成された第１特徴画像を出力し、前記第２畳み込みネットワークは、前記第１特徴画像にプーリング処理を行い、さらに畳み込み処理を行って、生成された第２特徴画像を出力し、前記第２逆畳み込みネットワークは、前記第２特徴画像に逆畳み込み処理を行い、さらにアップサンプリング処理を行って、生成された第３特徴画像を出力し、前記第１逆畳み込みネットワークは、前記第１特徴画像と前記第３特徴画像とが合成された合成画像に逆畳み込み処理を行って、生成された出力画像を出力するように構成され、前記第１畳み込みネットワーク、前記第１逆畳み込みネットワーク、前記第２畳み込みネットワーク、及び前記第２逆畳み込みネットワークは、前記入力画像に含まれる特徴点を含み、前記特徴点に近づくに従って確率が高くなる確率分布を有する領域と、前記出力画像に含まれる特徴領域との差分を減少するように学習されたものであり、特徴点を含む入力画像に対し、学習済みの前記第１畳み込みネットワーク、前記第１逆畳み込みネットワーク、前記第２畳み込みネットワーク、及び前記第２逆畳み込みネットワークに基づく演算を行い、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するよう、コンピュータを機能させる。
  また、本発明の他の態様の推定装置は、カメラにより生成されたカメラ画像を取得する取得部と、学習用画像を入力データ、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により予め生成された学習済みモデルを用い、前記カメラ画像に基づく確率分布画像を出力する推定部と、を備える。
  また、本発明の他の態様の推定方法は、カメラにより生成されたカメラ画像を取得し、学習用画像を入力データ、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により予め生成された学習済みモデルを用い、前記カメラ画像に基づく確率分布画像を出力する。
  また、本発明の他の態様のプログラムは、カメラにより生成されたカメラ画像を取得する取得部、及び、学習用画像を入力データ、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により予め生成された学習済みモデルを用い、前記カメラ画像に基づく確率分布画像を出力する推定部、としてコンピュータを機能させる。
  本発明によれば、画像中の特徴点の認識精度を向上させることが可能となる。
自動溶接システムによる溶接例を示す図である。 自動溶接システムの構成例を示す図である。 アーク及び溶融池の画像例を示す図である。 アーク及び溶融池の具体例を模式的に示す図である。 学習フェーズに用いられるデータセット例を示す図である。 特徴領域の例を示す図である。 特徴領域の例を示す図である。 特徴領域の例を示す図である。 学習フェーズの手順例を示す図である。 機械学習処理の手順例を示す図である。 学習済みモデルの構成例を示す図である。 推論フェーズの手順例を示す図である。 実施形態の認識精度を示す図である。
  以下、本発明の実施形態について、図面を参照しながら説明する。
［システム概要］
  図１は、自動溶接システム１００の溶接ロボット３による溶接例を示す図である。図２は、自動溶接システム１００の構成例を示す図である。
  図１に示すように、溶接ロボット３は、２つの被溶接部材Ｕ，Ｌの間に形成された開先Ｇにおいて、溶接トーチ３１を進行させながらアーク溶接を行う。溶接トーチ３１の先端部の近傍には溶融池Ｐが形成される。
  本実施形態では、被溶接部材Ｕ，Ｌが鉛直方向（上下方向）に並んでおり、開先Ｇが水平方向（前後方向）に延びている。これに限らず、被溶接部材Ｕ，Ｌは、水平方向に並んでもよい。
  被溶接部材Ｕ，Ｌ間の間隔（すなわち、開先Ｇの幅）は、例えば３～１０ｍｍ程度である。被溶接部材Ｕ，Ｌには、裏当て材が貼られてもよいし、貼られなくてもよい。開先Ｇの形状は、図示のＶ型形状に限らず、Ｘ型形状等であってもよい。
  アーク溶接には、例えばＴＩＧ（Tungsten Inert Gas）溶接が適用される。これに限らず、ＭＩＧ（Metal Inert Gas）溶接又はＭＡＧ（Metal Active Gas）溶接等が適用されてもよい。
  溶接ロボット３は、溶接トーチ３１をウィービングさせながらアーク溶接を行う。被溶接部材Ｕ，Ｌが上下方向に並び、溶接進行方向が前方向である場合、溶融池Ｐの垂れ下がりを抑制するために、溶接トーチ３１を前下－後上方向にウィービングさせる。
  カメラ２は、溶接トーチ３１の先端部から生じるアーク及び溶融池Ｐを撮影して画像を生成する。また、カメラ２は、アークに向けて送り出される不図示のワイヤ（溶加材）も撮影する。
  カメラ２は、溶接トーチ３１に対して前方向に配置されており、溶接トーチ３１と一緒に前方向に移動する。カメラ２のレンズには、アーク光の入射を抑制するために９５０ｎｍ近傍の近赤外光のみを透過するバンドパスフィルタが装着される。
  カメラ２は、時系列の複数の静止画像（フレーム）を含む動画像を生成するビデオカメラである。これに限らず、カメラ２は、定期的な撮影により時系列の複数の静止画像を生成するスチルカメラであってもよい。
  図２に示すように、自動溶接システム１００は、溶接支援装置１、カメラ２、溶接ロボット３、データベース５、及び学習装置６を備えている。これらの機器は、例えばインターネット又はＬＡＮ等の通信ネットワークを介して相互に通信可能である。溶接支援装置１は、推定装置の例である。
  溶接支援装置１は、制御部１０を備えている。制御部１０は、ＣＰＵ(Central Processing Unit)、ＲＡＭ(Random Access Memory)、ＲＯＭ(Read Only Memory)、不揮発性メモリ、及び入出力インターフェース等を含むコンピュータである。制御部１０のＣＰＵは、ＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行する。
  制御部１０は、取得部１１、推定部１２、抽出部１３、選定部１４、及び補正部１５を備えている。これらの機能部は、制御部１０のＣＰＵがＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行することによって実現される。
  プログラムは、例えば光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、例えばインターネット又はＬＡＮ等の通信ネットワークを介して供給されてもよい。
  学習装置６も、溶接支援装置１と同様、制御部６０を備えている。制御部６０は、設定部６１、取得部６２、及び学習部６３を備えている。なお、学習装置６は、１又は複数のサーバコンピュータで構成されてもよい。
  溶接支援装置１及び学習装置６は、データベース５にアクセス可能である。データベース５には、学習装置６により構築された学習済みモデル２００が、溶接支援装置１により読出し可能に保存されている。
  図３は、アーク及び溶融池の画像例を示す図である。図４は、アーク及び溶融池を模式的に示す図である。これらの図に示すように、画像には、溶融池先端上部、溶融池先端下部、アーク中心、ワイヤ先端、溶融池上端、及び溶融池下端の６つの特徴点が存在する。
  ところで、溶融池に対して溶接トーチが先行したり遅行すると溶接の不良に繋がるおそれがあるため、溶融池に対して溶接トーチを適切な位置に維持することが重要である。
  しかしながら、溶接歪みや取り付け誤差等の様々な影響により開先幅や溶接線は設計値からずれる場合があり、それらの要因により溶融池の溜まり具合が変化することがあるため、溶融池に対して溶接トーチを適切な位置に維持することは容易ではない。
  そこで、本実施形態では、以下に説明するようにカメラ２により撮影されたカメラ画像に基づいて溶接ロボット３の制御パラメータを補正することで、溶融池に対して溶接トーチを適切な位置に維持することを実現している。
［学習フェーズ］
  図５は、学習フェーズに用いられるデータセット例を示す図である。データセットは、入力データ及び教師データを含んでいる。入力データは、学習用画像である。学習用画像は、例えばカメラ２により撮影された画像であってもよいし、他のカメラにより撮影された画像であってもよい。
  教師データは、学習用画像中の各特徴点に設定された特徴領域の領域データを含んでいる。特徴領域は、特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域である。具体的には、領域データは、特徴領域に含まれる各画素の座標及び確率を含んでいる。確率は、特徴点の存在確率を表す。
  さらに、教師データは、学習用画像中で特徴点が見えるか否かを表す可視フラグを含んでもよい。溶融池先端上部、溶融池先端下部、及びワイヤ先端等の一部の特徴点は、溶接トーチ３１がウィービングするために見えない場合がある。つまり、一部の特徴点は、溶接トーチ３１により隠れてしまう場合がある。
  図６ないし図８は、領域データが表す特徴領域ＳＡの例を示す図である。図６では、画素の座標を表すｘｙ軸と直交する軸が確率を表している。図７及び図８では、画素の色濃度が確率を表している。
  特徴領域ＳＡは、特徴点を中心に二次元的な広がりを持つ所定の大きさの領域であり、特徴点に近づくに従って確率が高くなる確率分布を有している。特徴領域ＳＡは、例えば二次元正規分布に従った確率分布を有している。
  確率は、特徴領域ＳＡの全体で１になるように正規化されてもよいし、特徴領域ＳＡの画素毎に０～１の値を取るようにされてもよい。
  図７に示すように、特徴点が点である場合には、特徴領域ＳＡは正方形の領域（例えば７×７画素）とされる。また、図８に示すように、特徴点が線である場合には、特徴領域ＳＡは長方形の領域（例えば７×３５画素）とされる。これに限らず、特徴領域ＳＡは、例えば略円形状等であってもよい。
  例えば図３及び図４に示す６つの特徴点のうち、溶融池先端上部、溶融池先端下部、アーク中心、及びワイヤ先端は「点」の特徴点であり、正方形の特徴領域ＳＡが設定される。一方、溶融池上端及び溶融池下端は「線」の特徴点であり、長方形の特徴領域ＳＡが設定される。
  なお、各特徴点の位置は、例えば学習用画像を見た技能者等の人によって判断され、ポインティングデバイス等を用いて学習装置６に入力される。学習装置６は、入力された特徴点の位置を基準として特徴領域ＳＡを設定し、教師データとして保存してもよい（設定部６１としての処理）。
  図９は、学習装置６において実現される、学習済みモデルの生成方法としての学習フェーズの手順例を示す図である。学習装置６の制御部６０は、同図に示す処理をプログラムに従って実行することにより、取得部６２及び学習部６３として機能する。
  まず、制御部６０は、学習用画像、学習用画像中の各特徴点に設定された特徴領域の領域データ、及び各特徴点の可視フラグを含むデータセットを取得する（Ｓ１１；取得部６２としての処理、図５参照）。
  次に、制御部６０は、一部のデータセットをトレーニングデータとして用いて機械学習を行う（Ｓ１２；学習部６３としての処理）。機械学習処理Ｓ１２の具体的な手順例については後述する。
  その後、制御部６０は、トレーニングデータとは別の一部のデータセットをテストデータとして用いて学習済みモデル２００を評価し（Ｓ１３）、学習済みモデル２００をデータベース５に保存する（Ｓ１４）。
  図１０は、機械学習処理Ｓ１２の具体的な手順例を示す図である。図１１は、機械学習処理Ｓ１２により生成される学習済みモデル２００の構成例を示す図である。
  学習装置６の制御部６０は、学習用画像を入力データとし、学習画像中の各特徴点に設定された特徴領域の領域データ及び各特徴点の可視フラグを教師データとして、確率分布画像を出力するように教師あり学習により学習済みモデル２００を生成する。
  確率分布画像は、各画素における特徴点の確率を表す画像（マップ）である。確率分布画像に含まれる特徴領域は、上記学習用画像に設定された特徴領域と同様に、特徴点に対応する位置に近づくに従って確率が高くなる確率分布を有する。
  確率分布画像は、複数の特徴点のそれぞれに対応する特徴領域を含む。具体的には、確率分布画像は、溶融池先端上部、溶融池先端下部、アーク中心、ワイヤ先端、溶融池上端、及び溶融池下端のそれぞれに対応する６つの特徴領域を含む。
  可視フラグが特徴点の不可視を表す場合、確率分布画像は、その特徴点に対応する特徴領域を含まない。すなわち、全画素に亘って特徴点の確率が０となる。例えば、溶融池先端上部が不可視である場合、確率分布画像は、溶融池先端上部に対応する特徴領域を含まない。
  図１０に示すように、機械学習処理Ｓ１２では、制御部６０は、学習用画像をモデルに入力し、モデルによる計算を行い、確率分布画像を出力する（Ｓ１２１～Ｓ１２３）。
  次に、制御部６０は、モデルから出力された確率分布画像に含まれる特徴領域と、教師データである領域データが表す特徴領域との差分を算出し（Ｓ１２４）、差分を減少させるように誤差逆伝播計算を行う（Ｓ１２５）。
  図１１に示すように、学習済みモデル２００は、第１畳み込みネットワーク７１、第２畳み込みネットワーク７２、第３畳み込みネットワーク７３、第１逆畳み込みネットワーク８１、及び第２逆畳み込みネットワーク８２を備えている。
  この学習済みモデル２００は、完全畳み込みネットワークによるセマンティックセグメンテーションの技術を応用している。
  第１畳み込みネットワーク７１は、畳み込み層を含んでおり、入力画像に畳み込み処理を行って、生成された特徴画像（特徴マップ）を第１逆畳み込みネットワーク８１及び第２畳み込みネットワーク７２に出力する。
  第２畳み込みネットワーク７２は、プーリング層及び畳み込み層を含んでおり、第１畳み込みネットワーク７１からの特徴画像にプーリング処理を行い、さらに畳み込み処理を行って、生成された特徴画像を第２逆畳み込みネットワーク８２及び第３畳み込みネットワーク７３に出力する。
  第３畳み込みネットワーク７３は、プーリング層、畳み込み層、及びアップサンプリング層を含んでおり、第２畳み込みネットワーク７２からの特徴画像にプーリング処理を行い、さらに畳み込み処理を行い、さらにアップサンプリング処理を行って、生成された特徴画像を第２逆畳み込みネットワーク８２に出力する。
  第２逆畳み込みネットワーク８２は、畳み込み層及びアップサンプリング層を含んでおり、第２畳み込みネットワーク７２からの特徴画像と第３畳み込みネットワーク７３からの特徴画像とが合成された合成画像に逆畳み込み処理を行い、さらにアップサンプリング処理を行って、生成された特徴画像を第１逆畳み込みネットワーク８１に出力する。
  第１逆畳み込みネットワーク８１は、畳み込み層及び出力層を含んでおり、第１畳み込みネットワーク７１からの特徴画像と第２逆畳み込みネットワーク８２からの特徴画像とが合成された合成画像に逆畳み込み処理を行って、生成された確率分布画像を出力する。　　　
  具体的には、特徴点の種類ごと（ラベル毎）の確率分布画像が生成され、それらが合成されることにより１つの確率分布画像が生成される。例えば、溶融池先端上部、溶融池先端下部、アーク中心、ワイヤ先端、溶融池上端、及び溶融池下端の６つの特徴点ごとに確率分布画像が生成され、それらが合成されることで、６つの特徴点に対応する６つの特徴領域を含む確率分布画像が得られる。
  第１畳み込みネットワーク７１、第２畳み込みネットワーク７２、第３畳み込みネットワーク７３、第１逆畳み込みネットワーク８１、及び第２逆畳み込みネットワーク８２は、学習用画像（入力画像）に設定された特徴領域と、確率分布画像（出力画像）に含まれる特徴領域との差分を減少するように誤差逆伝播計算により学習される。
  溶接支援装置１の制御部は、特徴点を含む画像に対し、上記のように学習された学習済みモデル２００（第１畳み込みネットワーク７１、第２畳み込みネットワーク７２、第３畳み込みネットワーク７３、第１逆畳み込みネットワーク８１、及び第２逆畳み込みネットワーク８２）に基づく演算を行うことで、特徴点に対応する特徴領域を含む確率分布画像を出力する。
  本実施形態の学習済みモデル２００では、複数段の畳み込みネットワーク７１～７３及び逆畳み込みネットワーク８１、８２を設け、合成画像に逆畳み込み処理を行うことによって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含んだ確率分布画像を出力することを可能としている。
  なお、学習済みモデル２００の構成は、図示の内容に限られるものではない。例えば、各ネットワークに含まれる畳み込み層の層数は２層に限らず、１層であってもよいし、３層以上であってもよい。また、ネットワークの段数は３段に限らず、２段であってもよいし、４段以上であってもよい。
［推論フェーズ］
  図１２は、溶接支援装置（推定装置）１において実現される、実施形態に係る自動溶接方法としての推論フェーズの手順例を示す図である。溶接支援装置１の制御部１０は、同図に示す処理をプログラムに従って実行することにより、取得部１１、推定部１２、抽出部１３、選定部１４、及び補正部１５として機能する。
  まず、制御部１０は、カメラ２からカメラ画像を取得する（Ｓ２１；取得部１１としての処理）。具体的には、制御部１０は、カメラ２により生成された動画像に含まれる時系列の複数の静止画像（フレーム）をカメラ画像として順次取得する。
  次に、制御部１０は、学習フェーズで生成された学習済みモデル２００にカメラ画像を入力し、計算を行って、カメラ画像に基づく確率分布画像を出力する（Ｓ２２～Ｓ２４；推定部１２としての処理）。具体的には、制御部１０は、時系列の複数のカメラ画像を学習済みモデル２００に順次入力し、確率分布画像を順次出力する。
  次に、制御部１０は、確率分布画像から確率が所定以上の領域を抽出し（Ｓ２５；抽出部１３としての処理）、確率が所定以上の領域において代表点を選定する（Ｓ２６；選定部１４としての処理）。
  具体的には、制御部１０は、確率分布画像の各画素に格納された確率の値が閾値以上であるか否か判定し、確率の値が閾値以上の画素が集合した領域を抽出する。ここで用いられる閾値は、予め設定され、ROM等の記憶装置に保持されている。さらに、制御部１０は、抽出された領域の中で確率の値が最大の画素を代表点として選定する。
  又は、制御部１０は、抽出された領域に含まれる各画素の座標を確率の値で加重平均した座標（下記式）を、代表点の座標としてもよい。
Figure JPOXMLDOC01-appb-M000001
   Ｘは加重平均した座標、Ｎは確率の値が閾値以上の画素の総数、ｘは画素の座標、ｐは確率の値を表す。
  このように、確率分布画像から確率が所定以上の領域を抽出し、代表点を選定することで、カメラ画像に含まれる特徴点に対応する代表点が特定される。すなわち、溶融池先端上部、溶融池先端下部、アーク中心、ワイヤ先端、溶融池上端、及び溶融池下端のそれぞれに対応する代表点が特定される。
  次に、制御部１０は、代表点間の距離を算出する（Ｓ２７）。例えば、溶融池先端上部又は下部に対応する代表点とアーク中心に対応する代表点との距離、溶融池上端又は下端に対応する代表点とアーク中心に対応する代表点との距離、及び溶融池上端に対応する代表点と溶融池下端に対応する代表点との距離などが算出される。
  次に、制御部１０は、代表点の位置関係に基づいて、溶接ロボット３（図２参照）の制御パラメータを補正する（Ｓ２８；補正部１５としての処理）。具体的には、制御部１０が制御パラメータの補正量を算出し、溶接ロボット３に送信すると、溶接ロボット３のコントローラが、受信した補正量を用いて制御パラメータを補正する。
  補正の対象となる制御パラメータは、例えば溶接進行方向（図１の前後方向）における溶接トーチ３１の速度若しくは位置、開先幅方向（図１の上下方向）における溶接トーチ３１の位置、又はウィービング幅などである。これに限らず、溶接ロボット３のアクチュエータの指令値等を直接的に補正の対象としてもよい。
  例えば、制御部１０は、溶融池先端上部又は下部に対応する代表点とアーク中心に対応する代表点との距離が所定の基準値から外れている場合に、当該距離が基準値に近づくように、溶接進行方向における溶接トーチ３１の速度若しくは位置の補正量を算出する。
  また、制御部１０は、溶融池上端又は下端に対応する代表点とアーク中心に対応する代表点との距離が所定の基準値から外れている場合に、当該距離が基準値に近づくように、開先幅方向における溶接トーチ３１の位置の補正量を算出してもよい。
  なお、溶接トーチ３１のウィービングにより距離が周期的に変化する場合には、周期的に変化する距離が極小又は極大付近等にあるときに補正量が計算される。
  また、制御部１０は、溶融池上端に対応する代表点と溶融池下端に対応する代表点との距離（すなわち、溶融池の幅）の増減に応じて溶接トーチ３１のウィービング幅が増減するように、ウィービング幅の補正量を算出してもよい。
  以上のように溶接ロボット３の制御パラメータを補正することによって、溶接トーチ３１を溶融池Ｐに対して適切な位置に維持して、高品質な自動溶接を実現することが可能となる。
  本実施形態によれば、学習済みモデルを用いて確率分布画像を出力し、確率分布画像から確率が所定以上の領域を抽出し、代表点を選定することによって、特徴点の認識精度を向上させることが可能となる。
  図１３は、本実施形態における特徴点の認識精度を示す図である。同図は、学習用画像とは角度を変えて撮影したカメラ画像（学習用データセットには含まれない未知の画像）に対する特徴点の認識性能を評価した結果を表している。
  縦軸は認識誤差を表している。横軸におけるＸは前後方向を表し、Ｙは上下方向を表している。参考技術は、特徴点の座標を直接出力する学習済みモデルを用いて画像中の特徴点を認識する技術である。
  同図によると、本実施形態では、アーク中心、ワイヤ先端、及び溶融池先端上部の認識誤差（特に、前後方向における認識誤差）が参考技術と比べて低減されていることが分かる。
  すなわち、参考技術では、学習用画像とは角度を変えて撮影したカメラ画像に対して認識精度が十分ではないが、本実施形態によれば、そのようなカメラ画像に対しても認識精度を確保することが可能である。
  以上、本発明の実施形態について説明したが、本発明は以上に説明した実施形態に限定されるものではなく、種々の変更が当業者にとって可能であることはもちろんである。
  本発明は、溶接の分野に限らず、画像中の特徴点を認識する工程を利用する種々の分野に適用することが可能である。
　以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
　なお、本出願は、２０２０年２月１７日出願の日本特許出願（特願２０２０－０２４２１４）に基づくものであり、その内容は本出願の中に参照として援用される。
１  溶接支援装置（推定装置）、１０  制御部、１１  取得部、１２  推定部、１３  抽出部、１４  選定部、１５  補正部、２  カメラ、３  溶接ロボット、３１  溶接トーチ、５  データベース、６  学習装置、６０  制御部、６１  設定部、６２  取得部、６３  学習部、７１  第１畳み込みネットワーク、７２  第２畳み込みネットワーク、７３  第３畳み込みネットワーク、８１  第１逆畳み込みネットワーク、８２  第２逆畳み込みネットワーク、１００  自動溶接システム、２００  学習済みモデル、Ｕ  被溶接部材、Ｌ  被溶接部材、Ｇ  開先、Ｐ  溶融池

Claims (15)

  1.   ２つの被溶接部材の間に形成された開先でアーク溶接を行う溶接ロボットと、
      前記アーク溶接によって前記開先に生じたアーク及び溶融池を撮影するカメラと、
      学習用画像を入力データ、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により予め生成された学習済みモデルを用い、前記カメラ画像に基づく確率分布画像を出力する推定部と、
      前記確率分布画像から確率が所定以上の領域を抽出する抽出手段と、
      前記確率が所定以上の領域において前記アークの特徴点に対応する代表点及び前記溶融池の特徴点に対応する代表点を選定する選定手段と、
      前記アークの特徴点に対応する代表点及び前記溶融池の特徴点に対応する代表点の位置関係に基づいて、前記溶接ロボットの制御パラメータを補正する補正手段と、
      を備える、自動溶接システム。
  2.   ２つの被溶接部材の間に形成された開先で溶接ロボットによりアーク溶接を行い、
      前記アーク溶接によって前記開先に生じるアーク及び溶融池をカメラにより撮影し、
      学習用画像を入力データ、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により予め生成された学習済みモデルを用い、前記カメラ画像に基づく確率分布画像を出力し、
      前記確率分布画像から確率が所定以上の領域を抽出し、
      前記確率が所定以上の領域において前記アークの特徴点に対応する代表点及び前記溶融池の特徴点に対応する代表点を選定し、
      前記アークの特徴点に対応する代表点及び前記溶融池の特徴点に対応する代表点の位置関係に基づいて、前記溶接ロボットの制御パラメータを補正する、
      自動溶接方法。
  3.   学習用画像と、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データとを含むデータセットを取得する取得部と、
      前記学習用画像を入力データ、前記領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により学習済みモデルを生成する学習部と、
      を備える、学習装置。
  4.   前記学習用画像は、複数種類の前記特徴点を含み、
      前記確率分布画像は、複数種類の前記特徴点のそれぞれに対応する複数種類の前記特徴領域を含む、
      請求項３に記載の学習装置。
  5.   前記学習部は、前記特徴点が見えるか否かを表す可視フラグをさらに教師データとし、前記特徴点が見えない場合に、前記特徴点に対応する前記特徴領域を含まない前記確率分布画像を出力するように前記学習済みモデルを生成する、
      請求項３に記載の学習装置。
  6.   前記学習用画像は、２つの被溶接部材の間に形成された開先でアーク溶接により生じたアーク及び溶融池を撮影した画像であり、
      前記特徴点は、前記アークの特徴点及び前記溶融池の特徴点である、
      請求項３に記載の学習装置。
  7.   学習用画像と、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データとを含むデータセットを取得し、
      前記学習用画像を入力データ、前記領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により学習済みモデルを生成する、
      学習済みモデルの生成方法。
  8.   学習用画像と、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データとを含むデータセットを取得する取得部、及び、
      前記学習用画像を入力データ、前記領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により学習済みモデルを生成する学習部、
      としてコンピュータを機能させるためのプログラム。
  9.   特徴点を含む入力画像に基づいて、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するよう、コンピュータを機能させるための学習済みモデルであって、
      畳み込み層を含む第１畳み込みネットワークと、
      畳み込み層を含む第１逆畳み込みネットワークと、
      プーリング層及び畳み込み層を含む第２畳み込みネットワークと、
      畳み込み層及びアップサンプリング層を含む第２逆畳み込みネットワークと、
      を備え、
      前記第１畳み込みネットワークは、入力画像に畳み込み処理を行って、生成された第１特徴画像を出力し、
      前記第２畳み込みネットワークは、前記第１特徴画像にプーリング処理を行い、さらに畳み込み処理を行って、生成された第２特徴画像を出力し、
      前記第２逆畳み込みネットワークは、前記第２特徴画像に逆畳み込み処理を行い、さらにアップサンプリング処理を行って、生成された第３特徴画像を出力し、
      前記第１逆畳み込みネットワークは、前記第１特徴画像と前記第３特徴画像とが合成された合成画像に逆畳み込み処理を行って、生成された出力画像を出力するように構成され、
      前記第１畳み込みネットワーク、前記第１逆畳み込みネットワーク、前記第２畳み込みネットワーク、及び前記第２逆畳み込みネットワークは、前記入力画像に含まれる特徴点を含み、前記特徴点に近づくに従って確率が高くなる確率分布を有する領域と、前記出力画像に含まれる特徴領域との差分を減少するように学習されたものであり、
      特徴点を含む入力画像に対し、学習済みの前記第１畳み込みネットワーク、前記第１逆畳み込みネットワーク、前記第２畳み込みネットワーク、及び前記第２逆畳み込みネットワークに基づく演算を行い、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するよう、コンピュータを機能させるための学習済みモデル。
  10.   プーリング層、畳み込み層、及びアップサンプリング層を含む第３畳み込みネットワークをさらに備え、
      前記第３畳み込みネットワークは、前記第２畳み込みネットワークからの前記第２特徴画像にプーリング処理を行い、さらに畳み込み処理を行い、さらにアップサンプリング処理を行って、生成された第４特徴画像を出力し、
      前記第２逆畳み込みネットワークは、前記第２特徴画像と前記第４特徴画像とが合成された合成画像に逆畳み込み処理を行い、さらにアップサンプリング処理を行って、前記第３特徴画像を生成するように構成される、
      請求項９に記載の学習済みモデル。
  11.   カメラにより生成されたカメラ画像を取得する取得部と、
      学習用画像を入力データ、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により予め生成された学習済みモデルを用い、前記カメラ画像に基づく確率分布画像を出力する推定部と、
      を備える、推定装置。
  12.   前記確率分布画像から確率が所定以上の領域を抽出する抽出手段と、
      前記確率が所定以上の領域における代表点を選定する選定手段と、
      をさらに備える、
      請求項１１に記載の推定装置。
  13.   前記カメラ画像は、２つの被溶接部材の間に形成された開先でアーク溶接により生じたアーク及び溶融池を前記カメラにより撮影した画像であり、
      前記推定部は、前記アークの特徴点に対応する特徴領域及び前記溶融池の特徴点に対応する特徴領域を含む前記確率分布画像を出力する、
      請求項１１に記載の推定装置。
  14.   カメラにより生成されたカメラ画像を取得し、
      学習用画像を入力データ、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により予め生成された学習済みモデルを用い、前記カメラ画像に基づく確率分布画像を出力する、
      推定方法。
  15.   カメラにより生成されたカメラ画像を取得する取得部、及び、
      学習用画像を入力データ、前記学習用画像中の特徴点を含み、特徴点に近づくに従って確率が高くなる確率分布を有する領域を表す領域データを教師データとし、特徴点を含む画像が入力されたときに、各画素における特徴点の確率を表す確率分布画像であって、特徴点に対応する位置に近づくに従って確率が高くなる特徴領域を含む確率分布画像を出力するように教師あり学習により予め生成された学習済みモデルを用い、前記カメラ画像に基づく確率分布画像を出力する推定部、
      としてコンピュータを機能させるためのプログラム。

     
PCT/JP2021/002346 2020-02-17 2021-01-22 自動溶接システム、自動溶接方法、学習装置、学習済みモデルの生成方法、学習済みモデル、推定装置、推定方法、及びプログラム WO2021166555A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180014807.9A CN115151367B (zh) 2020-02-17 2021-01-22 自动焊接系统、自动焊接方法、学习装置、神经网络系统以及推定装置
KR1020227027146A KR20220121878A (ko) 2020-02-17 2021-01-22 자동 용접 시스템, 자동 용접 방법, 학습 장치, 학습 완료 모델의 생성 방법, 학습 완료 모델, 추정 장치, 추정 방법 및 프로그램
US17/904,158 US20230064432A1 (en) 2020-02-17 2021-01-22 Automated welding system, learning device, neural network system, and estimation device
EP21757687.5A EP4074449A4 (en) 2020-02-17 2021-01-22 AUTOMATED WELDING SYSTEM, AUTOMATED WELDING METHOD, LEARNING DEVICE, LEARNED MODEL GENERATION METHOD, LEARNED MODEL, ESTIMATING DEVICE, ESTIMATING METHOD, AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020024214A JP7321953B2 (ja) 2020-02-17 2020-02-17 自動溶接システム、溶接方法、学習装置、学習済みモデルの生成方法、学習済みモデル、推定装置、推定方法、及びプログラム
JP2020-024214 2020-02-17

Publications (1)

Publication Number Publication Date
WO2021166555A1 true WO2021166555A1 (ja) 2021-08-26

Family

ID=77390893

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/002346 WO2021166555A1 (ja) 2020-02-17 2021-01-22 自動溶接システム、自動溶接方法、学習装置、学習済みモデルの生成方法、学習済みモデル、推定装置、推定方法、及びプログラム

Country Status (6)

Country Link
US (1) US20230064432A1 (ja)
EP (1) EP4074449A4 (ja)
JP (1) JP7321953B2 (ja)
KR (1) KR20220121878A (ja)
CN (1) CN115151367B (ja)
WO (1) WO2021166555A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017006968A (ja) 2015-06-24 2017-01-12 株式会社Ihi 溶接装置及び溶接方法
KR20180122927A (ko) * 2017-05-04 2018-11-14 주식회사 매스프레소 이미지에 포함된 텍스트 인식장치, 텍스트 인식방법 및 텍스트 인식방법을 실행하기 위한 프로그램을 기록한 기록매체
JP2018192524A (ja) * 2017-05-12 2018-12-06 株式会社神戸製鋼所 自動溶接システム、溶接制御方法、及び機械学習モデル
JP2019028657A (ja) * 2017-07-28 2019-02-21 株式会社パスコ 建物領域抽出用の学習済みモデル
CN109712128A (zh) * 2018-12-24 2019-05-03 上海联影医疗科技有限公司 特征点检测方法、装置、计算机设备和存储介质
JP2020024214A (ja) 2012-04-20 2020-02-13 ニュースケール パワー エルエルシー 原子炉蒸気発生器とこれを運転する方法、及び原子炉蒸気発生システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100762365B1 (ko) * 2006-10-09 2007-10-02 삼성중공업 주식회사 아크센서의 특성이 반영된 확률적 모델을 통한 용접심 추적방법
CN203791808U (zh) * 2013-11-06 2014-08-27 广东德科机器人技术与装备有限公司 一种基于机器视觉的智能焊接机器人
JP2019057024A (ja) * 2017-09-20 2019-04-11 株式会社Ｓｃｒｅｅｎホールディングス 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置
CN109816109A (zh) * 2018-12-12 2019-05-28 中国科学院深圳先进技术研究院 任务推理模型学习及任务推理方法、机器人及存储装置
CN109693018B (zh) * 2019-01-30 2021-04-27 湖北文理学院 自主移动机器人焊缝视觉跟踪系统及跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020024214A (ja) 2012-04-20 2020-02-13 ニュースケール パワー エルエルシー 原子炉蒸気発生器とこれを運転する方法、及び原子炉蒸気発生システム
JP2017006968A (ja) 2015-06-24 2017-01-12 株式会社Ihi 溶接装置及び溶接方法
KR20180122927A (ko) * 2017-05-04 2018-11-14 주식회사 매스프레소 이미지에 포함된 텍스트 인식장치, 텍스트 인식방법 및 텍스트 인식방법을 실행하기 위한 프로그램을 기록한 기록매체
JP2018192524A (ja) * 2017-05-12 2018-12-06 株式会社神戸製鋼所 自動溶接システム、溶接制御方法、及び機械学習モデル
JP2019028657A (ja) * 2017-07-28 2019-02-21 株式会社パスコ 建物領域抽出用の学習済みモデル
CN109712128A (zh) * 2018-12-24 2019-05-03 上海联影医疗科技有限公司 特征点检测方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4074449A4

Also Published As

Publication number Publication date
KR20220121878A (ko) 2022-09-01
EP4074449A4 (en) 2023-05-31
CN115151367A (zh) 2022-10-04
JP7321953B2 (ja) 2023-08-07
US20230064432A1 (en) 2023-03-02
EP4074449A1 (en) 2022-10-19
JP2021126693A (ja) 2021-09-02
CN115151367B (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
CN113894481B (zh) 复杂空间曲线焊缝的焊接位姿调整方法及装置
CN106971407A (zh) 一种基于二维线结构光的焊缝三维重建方法
WO2021100358A1 (ja) 自動溶接システム、自動溶接方法、溶接支援装置およびプログラム
JP2013010155A (ja) 対象物把持装置、対象物把持装置の制御方法、およびプログラム
US20190028645A1 (en) Image processing device, image processing method and storage medium
US10482584B1 (en) Learning method and learning device for removing jittering on video acquired through shaking camera by using a plurality of neural networks for fault tolerance and fluctuation robustness in extreme situations, and testing method and testing device using the same
CN108098134A (zh) 一种新型激光视觉焊缝跟踪系统及方法
Xu et al. Autonomous weld seam tracking under strong noise based on feature-supervised tracker-driven generative adversarial network
WO2021166555A1 (ja) 自動溶接システム、自動溶接方法、学習装置、学習済みモデルの生成方法、学習済みモデル、推定装置、推定方法、及びプログラム
CN113664825B (zh) 一种基于强化学习的堆叠场景机械臂抓取方法与装置
CN116188526A (zh) 一种轨迹生成方法、装置、设备及介质
CN109894779A (zh) 一种机器视觉跟踪系统及方法
Xu et al. A novel welding path generation method for robotic multi-layer multi-pass welding based on weld seam feature point
JP5712925B2 (ja) 画像変換パラメータ算出装置、画像変換パラメータ算出方法およびプログラム
JP4843787B2 (ja) 被写体追尾方法及び装置
CN109598720A (zh) 焊缝信息获取方法、装置及焊缝图像采集设备
JP4816538B2 (ja) 画像処理装置および画像処理方法
JP7395238B2 (ja) 学習用画像セットの生成装置及び生成方法、プログラム、画像生成モデルの学習装置、画像生成装置、画像判別モデルの学習装置、画像判別装置、並びに自動溶接システム
JP2020127102A (ja) 移動体制御システム、移動体、表示方法およびプログラム
JP2011048469A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN111368834B (zh) 食品包装生产日期识别方法、装置及存储介质
CN113392703B (zh) 基于注意力机制和非合理动作抑制的机械臂自主抓取方法
KR102656128B1 (ko) 후방 파노라마 뷰 생성 장치 및 방법
JP2023166121A (ja) 溶接装置、溶接方法、およびプログラム
CN110163859A (zh) 基于PoseCNN的焊缝焊接方法、装置及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21757687

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021757687

Country of ref document: EP

Effective date: 20220715

ENP Entry into the national phase

Ref document number: 20227027146

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE