JP7395238B2 - 学習用画像セットの生成装置及び生成方法、プログラム、画像生成モデルの学習装置、画像生成装置、画像判別モデルの学習装置、画像判別装置、並びに自動溶接システム - Google Patents
学習用画像セットの生成装置及び生成方法、プログラム、画像生成モデルの学習装置、画像生成装置、画像判別モデルの学習装置、画像判別装置、並びに自動溶接システム Download PDFInfo
- Publication number
- JP7395238B2 JP7395238B2 JP2020059645A JP2020059645A JP7395238B2 JP 7395238 B2 JP7395238 B2 JP 7395238B2 JP 2020059645 A JP2020059645 A JP 2020059645A JP 2020059645 A JP2020059645 A JP 2020059645A JP 7395238 B2 JP7395238 B2 JP 7395238B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- simulation
- camera
- welding
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003466 welding Methods 0.000 title claims description 159
- 238000000034 method Methods 0.000 title claims description 21
- 238000012549 training Methods 0.000 title claims description 16
- 238000004088 simulation Methods 0.000 claims description 98
- 238000012937 correction Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 35
- 238000012545 processing Methods 0.000 description 14
- 238000009941 weaving Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 239000011261 inert gas Substances 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
図1は、自動溶接システム100による溶接例を示す図である。図2は、自動溶接システム100の構成例を示す図である。図3は、溶接支援装置1の構成例を示す図である。図4は、画像セット生成部11の構成例を示す図である。
画像生成モデル200の学習に用いる学習用画像セットの生成について説明する。図7及び図8は、学習用画像セットの例を示す図である。学習用画像セットは、シミュレーション画像とカメラ画像のペアで構成されている。
上記のように生成された学習用画像セットを用いて画像生成モデル200を学習させる学習フェーズについて説明する。
上記のように生成された画像生成モデル200を用いてシミュレーション画像から擬似カメラ画像を生成する生成フェーズについて説明する。
上記のように画像生成モデル200により生成された擬似カメラ画像を用いて画像判別モデル300を学習させる学習フェーズについて説明する。
上記のように生成された画像判別モデル300を用いてカメラ画像中の特徴点の位置座標及び確度を推定するする推論フェーズについて説明する。
Claims (14)
- 画像生成モデルのための学習用画像セットの生成装置であって、
溶接装置によるアーク溶接により2つの被溶接部材の間に生じたアーク及び溶融池を撮影するカメラにより生成されたカメラ画像を取得する第1画像取得部と、
アーク溶接のシミュレーションを行うシミュレーション装置により生成されたアーク及び溶融池を表すシミュレーション画像を取得する第2画像取得部と、
前記カメラ画像及び前記シミュレーション画像を互いに関連付ける関連付け部と、
を備える、学習用画像セットの生成装置。 - 前記カメラ画像が生成された条件と、前記シミュレーション画像が生成された条件とが共通する、
請求項1に記載の学習用画像セットの生成装置。 - 前記カメラ画像及び前記シミュレーション画像の一方が生成された条件を表す条件データを取得し、他方を生成するために提供する条件提供部をさらに備える、
請求項1または2に記載の学習用画像セットの生成装置。 - 前記条件提供部は、前記カメラ画像が生成された条件の前記条件データを取得し、前記シミュレーション装置に提供し、
前記シミュレーション装置は、前記条件提供部から提供された前記条件データに基づいて前記シミュレーションを行う、
請求項3に記載の学習用画像セットの生成装置。 - 前記条件提供部は、前記シミュレーション画像が生成された条件の前記条件データを取得し、前記溶接装置に提供し、
前記溶接装置は、前記条件提供部から提供された前記条件データに基づいて前記アーク溶接を行う、
請求項3に記載の学習用画像セットの生成装置。 - 前記シミュレーション装置は、前記シミュレーション画像とともに、前記シミュレーション画像中の特徴点の位置データを生成し、
前記関連付け部は、前記カメラ画像及び前記シミュレーション画像に前記位置データを関連付ける、
請求項1ないし5の何れかに記載の学習用画像セットの生成装置。 - 画像生成モデルのための学習用画像セットの生成方法であって、
溶接装置によりアーク溶接を行い、
前記アーク溶接により2つの被溶接部材の間に生じたアーク及び溶融池をカメラにより撮影してカメラ画像を生成し、
アーク溶接のシミュレーションを行うシミュレーション装置によりアーク及び溶融池を表すシミュレーション画像を生成し、
前記カメラ画像及び前記シミュレーション画像を互いに関連付ける、
学習用画像セットの生成方法。 - 画像生成モデルのための学習用画像セットを生成するためのプログラムであって、
溶接装置によるアーク溶接により2つの被溶接部材の間に生じたアーク及び溶融池を撮影するカメラにより生成されたカメラ画像を取得する第1画像取得部、
アーク溶接のシミュレーションを行うシミュレーション装置により生成されたアーク及び溶融池を表すシミュレーション画像を取得する第2画像取得部、及び、
前記カメラ画像及び前記シミュレーション画像を互いに関連付ける関連付け部、
としてコンピュータを機能させるためのプログラム。 - 請求項1ないし6の何れかに記載の学習用画像セットの生成装置により互いに関連付けられたカメラ画像及びシミュレーション画像を取得する取得部と、
前記シミュレーション画像及び前記カメラ画像を用い、シミュレーション画像に基づき擬似カメラ画像を生成するための画像生成モデルを生成する学習部と、
を備える、画像生成モデルの学習装置。 - アーク溶接のシミュレーションを行うシミュレーション装置により生成されたアーク及び溶融池を表すシミュレーション画像を取得する取得部と、
請求項9に記載の画像生成モデルの学習装置により生成された画像生成モデルを用い、前記シミュレーション画像に基づき擬似カメラ画像を生成する生成部と、
を備える、画像生成装置。 - 請求項10に記載の画像生成装置により生成された擬似カメラ画像と、前記擬似カメラ画像中の特徴点の位置を表す位置データとを含むデータセットを取得する取得部と、
前記擬似カメラ画像を入力データ、前記位置データを教師データとして、カメラ画像中の特徴点の位置を推定するための画像判別モデルを生成する学習部と、
を備える、画像判別モデルの学習装置。 - 前記位置データは、請求項6に記載の学習用画像セットの生成装置においてカメラ画像及びシミュレーション画像に関連付けられた、前記シミュレーション画像中の特徴点の位置データである、
請求項11に記載の画像判別モデルの学習装置。 - 溶接装置によるアーク溶接により2つの被溶接部材の間に生じたアーク及び溶融池を撮影するカメラにより生成されたカメラ画像を取得する取得部と、
請求項11または12に記載の画像判別モデルの学習装置により生成された画像判別モデルを用い、前記カメラ画像中の特徴点の位置を推定する推定部と、
を備える、画像判別装置。 - 2つの被溶接部材の間でアーク溶接を行う溶接装置と、
前記アーク溶接により生じたアーク及び溶融池を撮影するカメラと、
請求項11または12に記載の学習装置により生成された画像判別モデルを用い、前記カメラにより生成されたカメラ画像中の特徴点の位置を推定する推定部と、
前記特徴点の位置に基づいて、前記溶接装置の制御パラメータを補正する補正部と、
を備える、自動溶接システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020059645A JP7395238B2 (ja) | 2020-03-30 | 2020-03-30 | 学習用画像セットの生成装置及び生成方法、プログラム、画像生成モデルの学習装置、画像生成装置、画像判別モデルの学習装置、画像判別装置、並びに自動溶接システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020059645A JP7395238B2 (ja) | 2020-03-30 | 2020-03-30 | 学習用画像セットの生成装置及び生成方法、プログラム、画像生成モデルの学習装置、画像生成装置、画像判別モデルの学習装置、画像判別装置、並びに自動溶接システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021157691A JP2021157691A (ja) | 2021-10-07 |
JP7395238B2 true JP7395238B2 (ja) | 2023-12-11 |
Family
ID=77918065
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020059645A Active JP7395238B2 (ja) | 2020-03-30 | 2020-03-30 | 学習用画像セットの生成装置及び生成方法、プログラム、画像生成モデルの学習装置、画像生成装置、画像判別モデルの学習装置、画像判別装置、並びに自動溶接システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7395238B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018101124A (ja) | 2016-11-07 | 2018-06-28 | リンカーン グローバル,インコーポレイテッド | シミュレートされたオブジェクトおよび実世界のオブジェクトを表示するヘッドアップディスプレイを使用する溶接訓練機 |
JP2018192524A (ja) | 2017-05-12 | 2018-12-06 | 株式会社神戸製鋼所 | 自動溶接システム、溶接制御方法、及び機械学習モデル |
JP2019195811A (ja) | 2018-05-07 | 2019-11-14 | 株式会社神戸製鋼所 | 溶接監視装置、溶接監視方法、及びプログラム |
-
2020
- 2020-03-30 JP JP2020059645A patent/JP7395238B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018101124A (ja) | 2016-11-07 | 2018-06-28 | リンカーン グローバル,インコーポレイテッド | シミュレートされたオブジェクトおよび実世界のオブジェクトを表示するヘッドアップディスプレイを使用する溶接訓練機 |
JP2018192524A (ja) | 2017-05-12 | 2018-12-06 | 株式会社神戸製鋼所 | 自動溶接システム、溶接制御方法、及び機械学習モデル |
JP2019195811A (ja) | 2018-05-07 | 2019-11-14 | 株式会社神戸製鋼所 | 溶接監視装置、溶接監視方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021157691A (ja) | 2021-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7021728B2 (ja) | 自動溶接システム、溶接制御方法、及び機械学習モデル | |
JP6126174B2 (ja) | 機械学習装置、アーク溶接制御装置、アーク溶接ロボットシステムおよび溶接システム | |
EP3863791B1 (en) | System and method for weld path generation | |
WO2021100358A1 (ja) | 自動溶接システム、自動溶接方法、溶接支援装置およびプログラム | |
Liu et al. | Fusing machine algorithm with welder intelligence for adaptive welding robots | |
US20210208563A1 (en) | Closed-loop robotic deposition of material | |
KR102229880B1 (ko) | 아크 엔드 조정 장치, 용접 시스템, 아크 엔드 조정 방법 및 컴퓨터 프로그램을 기억하는 기록매체 | |
CN102762331A (zh) | 焊接装置以及焊接方法 | |
WO2021220698A1 (ja) | 溶接情報の学習モデル生成方法、学習モデル、プログラム及び溶接システム | |
JP2019098341A (ja) | アークスタート調整装置、溶接システム、アークスタート調整方法及びコンピュータプログラム | |
Fang et al. | Adaptive pass planning and optimization for robotic welding of complex joints | |
CN108098134A (zh) | 一种新型激光视觉焊缝跟踪系统及方法 | |
CN116188526A (zh) | 一种轨迹生成方法、装置、设备及介质 | |
JP7395238B2 (ja) | 学習用画像セットの生成装置及び生成方法、プログラム、画像生成モデルの学習装置、画像生成装置、画像判別モデルの学習装置、画像判別装置、並びに自動溶接システム | |
Xu et al. | A novel welding path generation method for robotic multi-layer multi-pass welding based on weld seam feature point | |
Liu et al. | Seam tracking system based on laser vision and CGAN for robotic multi-layer and multi-pass MAG welding | |
US20180307206A1 (en) | Closed-loop robotic deposition of material | |
WO2022080015A1 (ja) | 溶接システム、溶接方法、溶接支援装置、プログラム、学習装置、及び学習済みモデルの生成方法 | |
KR20210122694A (ko) | 용접 조건 조정 장치 | |
JP7079592B2 (ja) | 消費量調整装置、溶接システム、消費量調整方法及びコンピュータプログラム | |
JP7321953B2 (ja) | 自動溶接システム、溶接方法、学習装置、学習済みモデルの生成方法、学習済みモデル、推定装置、推定方法、及びプログラム | |
JP7391709B2 (ja) | 造形物の製造方法、造形物の製造装置、及びプログラム | |
JP7059099B2 (ja) | 溶接監視装置、溶接監視方法、及びプログラム | |
JP7385410B2 (ja) | アーク溶接システム | |
JP2023133874A (ja) | 溶接制御システム及びその方法並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221101 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7395238 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |