JP7308461B2 - 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法 - Google Patents

外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法 Download PDF

Info

Publication number
JP7308461B2
JP7308461B2 JP2020561270A JP2020561270A JP7308461B2 JP 7308461 B2 JP7308461 B2 JP 7308461B2 JP 2020561270 A JP2020561270 A JP 2020561270A JP 2020561270 A JP2020561270 A JP 2020561270A JP 7308461 B2 JP7308461 B2 JP 7308461B2
Authority
JP
Japan
Prior art keywords
welding
shape
welded portion
determination
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020561270A
Other languages
English (en)
Other versions
JPWO2020129617A1 (ja
Inventor
成志 吉田
徹 酒井
鳴海 厚田
通雄 櫻井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2020129617A1 publication Critical patent/JPWO2020129617A1/ja
Application granted granted Critical
Publication of JP7308461B2 publication Critical patent/JP7308461B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/0037—Measuring of dimensions of welds
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/03—Observing, e.g. monitoring, the workpiece
    • B23K26/032—Observing, e.g. monitoring, the workpiece using optical means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/20—Bonding
    • B23K26/21—Bonding by welding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/006—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to using of neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B23K9/0953—Monitoring or automatic control of welding parameters using computing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B23K9/0956—Monitoring or automatic control of welding parameters using sensing means, e.g. optical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/16—Arc welding or cutting making use of shielding gas
    • B23K9/173—Arc welding or cutting making use of shielding gas and of a consumable electrode
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Plasma & Fusion (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法に関する。
従来、溶接箇所の形状検査は、作業者による目視で行われることが多く、その検査工数が問題となっていた。また、検査を行う作業員によって判断がばらつき、所定の溶接品質を担保できない場合があった。
そこで、形状計測センサーを有する外観検査装置を用いて、溶接箇所の形状を検査する技術が提案されている。例えば、特許文献１に開示された方法では、ワークの溶接箇所にレーザ光源からのスリット光を走査して投影し、得られた形状線を計測カメラで撮像する。さらに、撮像結果に基づいて溶接箇所の３次元形状を点群データとして取得し、この点群データから溶接箇所の所望の断面形状を得るようにしている。
特開２０１２－０３７４８７号公報
ところで、溶接箇所の形状の良否を判定する場合、予め設定された判定基準による判定を行っている。
しかしながら、その判定基準は、異なる種類の溶接箇所毎に、また、その形状検査項目毎に複数設定する必要があり、判定基準の設定作業が煩雑となり工数を要していた。また、溶接箇所の形状不良には多くのモードがあり、かつ、溶接工程での判定基準に応じて、単に形状不良の有無を判定するだけでなく、溶接箇所における不良箇所の位置や不良箇所のサイズ等も判定する必要があるため、良否判定に多くの工数を要していた。また、上記の判定を行うためには、大量の限度見本を取得する必要があり、非常に多くの工数を要していた。
しかし、特許文献１には上記の課題を解消する方策は何ら開示されていない。
本発明はかかる点に鑑みてなされたもので、その目的は、少ない工数で精度良く溶接箇所の形状良否を判定可能な外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法を提供することにある。
上記目的を達成するために、本発明に係る外観検査装置は、ワークの溶接箇所の外観を検査する外観検査装置であって、前記溶接箇所の形状を計測する形状計測部と、前記形状計測部で計測された形状データに基づいて前記溶接箇所の画像データを生成する画像処理部と、前記画像処理部で生成された複数の画像データを前記ワークの材質及び形状毎に分類するとともに、分類された前記画像データにデータ拡張処理を行って複数の学習データセットを生成する学習データセット生成部と、前記複数の学習データセットを用いて、前記溶接箇所の形状の良否判定を行うための判定モデルを前記ワークの材質及び形状毎に生成する判定モデル生成部と、前記画像処理部から読み出された前記画像データと前記判定モデル生成部で生成された１または複数の判定モデルとに基づいて前記溶接箇所の形状の良否を判定する第１判定部と、を備えたことを特徴とする。
この構成によれば、少ない画像データに基づいて、必要な量の学習データセットを生成し、判定モデルを高精度化できるため、溶接箇所の形状良否を精度良く判定することができる。また、学習用の画像データを大量に取得する必要がなくなり、形状良否を判定するための工数を大幅に削減できる。
本発明に係る溶接箇所の形状不良の有無及び種類の判定精度の向上方法は、前記外観検査装置を用いた、溶接箇所の形状不良の有無及び種類を判定する判定精度の向上方法であって、前記ワークの前記溶接箇所の外観を検査する外観検査ステップと、前記外観検査ステップでの検査結果に基づいて、前記溶接箇所における形状不良の有無及び形状不良の種類を判定する形状不良判定ステップと、前記溶接箇所を人の目で確認する目視確認ステップと、前記目視確認ステップでの確認結果と、前記形状不良判定ステップでの判定結果と比較照合して、前記形状不良判定ステップでの判定結果が正しいか否かを判断する正否判断ステップと、を少なくとも備え、前記正否判断ステップでの判断結果が否定的である場合は、前記目視確認ステップで特定した形状不良の有無及び形状不良の種類を、前記溶接箇所の画像データにタグ付けするアノテーションステップと、前記アノテーションステップの実行後の前記溶接箇所の画像データに基づいて、前記学習データセットを生成する学習データセット生成ステップと、前記学習データセット生成ステップで生成された前記学習データセットを用いて、前記判定モデルの再学習を行う再学習ステップと、を実行して、再度、形状不良判定ステップに戻り、前記正否判断ステップでの判断結果が肯定的になるまで、一連の処理を繰り返し実行することを特徴とする。
この方法によれば、判定モデルの学習効率及びその精度を向上できる。また、外観検査装置の第１判定部における溶接箇所の形状の良否の判定精度が高められ、ワークの溶接歩留まりを正しく評価できる。
また、本発明に係る溶接システムは、ワークを溶接する溶接装置と、前記外観検査装置と、を備え、前記溶接装置は、前記ワークに入熱するための溶接ヘッドと、前記溶接ヘッドの溶接出力を制御する出力制御部と、を少なくとも備えたことを特徴とする。
この構成によれば、溶接箇所の形状を精度良くかつ少ない工数で検査でき、溶接工程のコストを低減できる。
本発明に係るワークの溶接方法は、前記溶接装置により前記ワークの所定の箇所を溶接する溶接ステップと、前記溶接ステップの終了後に前記外観検査装置を用いて前記ワークの溶接箇所の形状の良否を判定する形状判定ステップと、前記形状判定ステップでの判定結果に基づいて、前記溶接箇所における形状不良箇所が再溶接により修復可能か否かを判定する再溶接可否判定ステップと、を備え、前記形状判定ステップでの判定結果が肯定的である場合は、当該ワークにおける別の箇所の溶接を開始するか、または次のワークの溶接を開始し、前記形状判定ステップでの判定結果が否定的である場合は、前記再溶接可否判定ステップを実行し、前記再溶接可否判定ステップでの判定結果が肯定的である場合は、前記出力制御部で設定された再溶接条件に従って、前記形状不良箇所を再溶接することを特徴とする。
この方法によれば、溶接箇所の形状の良否及び形状不良箇所の修復可能性を判定し、これらの判定結果に基づいた再溶接条件に従って溶接箇所を再溶接することで、ワークの溶接不良を低減し、また、溶接品質を向上できる。
本発明の外観検査装置によれば、少ない画像データに基づいて、溶接箇所の形状良否を精度良く判定することができる。本発明の溶接箇所の形状不良の有無及び種類の判定精度の向上方法によれば、判定モデルの学習効率及びその精度を向上できる。また、外観検査装置での溶接箇所の形状の良否の判定精度が高められる。本発明の溶接システムによれば、溶接箇所の形状を精度良くかつ少ない工数で検査でき、溶接工程のコストを低減できる。本発明のワークの溶接方法によれば、ワークの溶接不良を低減し、また、溶接品質を向上できる。
本発明の実施形態１に係る溶接システムの構成を示す模式図である。 外観検査装置の機能ブロック図である。 溶接箇所の不良モードの一例を示す平面模式図である。 図３ＡのＩＩＩＢ－ＩＩＩＢ線での断面模式図である。 図３ＡのＩＩＩＣ－ＩＩＩＣ線での断面模式図である。 図３ＡのＩＩＩＤ－ＩＩＩＤ線での断面模式図である。 図３ＡのＩＩＩＥ－ＩＩＩＥ線での断面模式図である。 学習データセットの作成手順の一例を示す模式図である。 学習データセットの作成手順の別の一例を示す模式図である。 学習データセットの作成手順のさらなる別の一例を示す模式図である。 形状不良の有無及び形状不良の種類の判定精度を向上させる作業手順を示すフローチャートである。 溶接ビードの始端部に関する学習データセットの作成手順の一例を示す模式図である。 本発明の実施形態２に係る外観検査装置の機能ブロック図である。 溶接装置の出力制御部の機能ブロック図である。 ワークの溶接手順を示すフローチャートである。 本発明の実施形態３に係る溶接装置の出力制御部の機能ブロック図である。 別の溶接システムの構成を示す模式図である。
以下、本発明の実施形態を図面に基づいて詳細に説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものでは全くない。
（実施形態）
［溶接システムの構成］
図１は、本実施形態に係る溶接システムの構成の模式図を示し、溶接システム１００は、溶接装置１０と外観検査装置２０とを有している。
溶接装置１０は、溶接トーチ１１とワイヤ送給装置１３と電源１４と出力制御部１５とロボットアーム１６とロボット制御部１７とを有している。溶接トーチ１１に保持された溶接ワイヤ１２に電源１４から電力が供給されることで、溶接ワイヤ１２の先端とワーク２００との間にアークが発生し、ワーク２００が入熱されてアーク溶接が行われる。なお、溶接装置１０は、溶接トーチ１１にシールドガスを供給するための配管やガスボンベ等の別の構成部品や設備を有しているが、説明の便宜上、これらの図示及び説明を省略する。
出力制御部１５は電源１４及びワイヤ送給装置１３に接続されて、所定の溶接条件に従って、溶接トーチ１１の溶接出力、言い換えると、溶接ワイヤ１２に供給される電力及び電力供給時間を制御している。また、出力制御部１５は、ワイヤ送給装置１３から溶接トーチ１１に送給される溶接ワイヤ１２の送給速度及び送給量を制御している。なお、溶接条件は図示しない入力部を介して直接、出力制御部１５に入力されてもよいし、別途、記録媒体等から読み出された溶接プログラムから選択されるようにしてもよい。
ロボットアーム１６は公知の多関節軸ロボットであり、先端に溶接トーチ１１を保持するとともに、ロボット制御部１７に接続されている。ロボット制御部１７は、溶接トーチ１１の先端、言い換えると、溶接トーチ１１に保持された溶接ワイヤ１２の先端が所定の溶接軌跡を描いて、所望の位置に移動するようにロボットアーム１６の動作を制御している。
外観検査装置２０は、形状計測部２１とデータ処理部２２とを有しており、形状計測部２１がロボットアーム１６または溶接トーチ１１に取り付けられて、ワーク２００の溶接箇所２０１の形状を計測する。外観検査装置２０の構成については後で詳述する。
なお、図１では、溶接装置１０としてアーク溶接装置を例示しているが、特にこれに限定されるものではない。例えば、溶接装置１０がレーザ溶接装置であってもよい。その場合、溶接トーチ１１に代わって、光ファイバ（図示せず）を介してレーザ発振器（図示せず）に接続されたレーザヘッド（図示せず）がロボットアーム１６に取り付けられ保持される。また、以降の説明において、溶接トーチ１１とレーザヘッドとを総称して溶接ヘッド１１と呼ぶことがある。
［外観検査装置の構成］
図２は、外観検査装置の機能ブロック図を示す。なお、データ処理部２２は複数の機能ブロックを有しており、具体的には、画像処理部２３と第１記憶部２４と学習データセット生成部２５と判定モデル生成部２６と第１判定部２７と通知部２８とを有している。通常、データ処理部２２は、パーソナルコンピュータで構成され、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）上に実装されたソフトウェアを実行することでデータ処理部２２内の複数の機能ブロックが構成される。
形状計測部２１は、公知の構成であり、例えば、ワーク２００の表面を走査可能に構成されたレーザ光源（図示せず）と、ワーク２００の表面に投影されたレーザ光の反射軌跡（以下、形状線と呼ぶことがある。）を撮像するカメラ（図示せず）とで構成された３次元形状計測センサーである。形状計測部２１によって、ワーク２００の溶接箇所２０１の全体をレーザ光線で走査し、溶接箇所２０１で反射されたレーザ光線をカメラで撮像することにより、溶接箇所２０１の形状が計測される。なお、形状計測部２１は溶接箇所２０１だけでなく、その周囲についても所定範囲で形状計測を行うように構成されている。これは、後述するスパッタ２０４やスマット２０６（図３Ａ参照）の有無を評価するためである。なお、カメラは撮像素子としてＣＣＤまたはＣＭＯＳイメージセンサを有している。また、形状計測部２１の構成は特に上記に限定されず、他の構成を採りうる。例えば、カメラの代わりに光干渉計を用いてもよい。
画像処理部２３は、形状計測部２１で取得された形状データを受け取って、これを画像データに変換する。例えば、画像処理部２３は、形状計測部２１で撮像された形状線の点群データを取得する。また、画像処理部２３は、所定の基準面、例えば、ワーク２００の設置面に対する溶接箇所２０１のベース部分の傾斜や歪み等を、点群データを統計処理することで補正し、溶接箇所２０１の形状に関する画像データを生成する。これ以外に、例えば、溶接箇所２０１の形状や位置を強調するために、溶接箇所２０１の周縁を強調するエッジ強調補正を行うこともある。
また、画像処理部２３は、ワーク２００の形状に応じて、また、溶接箇所２０１の形状の検査項目に応じて、画像データの特徴量を抽出する。この場合、１つの画像データに対して、１つまたは複数の検査項目に対応する１つまたは複数の特徴量が抽出される。また、抽出された特徴量は画像データに紐付けされて、以降のデータ処理で利用される。ここで、特徴量とは、画像データから抽出される特定の諸元であり、代表的なものとして、溶接箇所２０１の長さや幅や基準面からの高さ、また、溶接箇所２０１内の複数の点間での長さや幅や高さの差分等がある。ただし、これらに特に限定されず、各検査項目で判定される内容に応じて、適宜、特徴量が設定される。
また、画像処理部２３は、形状計測部２１で取得されたデータのノイズ除去機能を有している。ワーク２００の材質によって形状計測部２１から出射されたレーザ光の反射率が異なるため、反射率が高すぎるとハレーション等が起こってノイズとなり、点群データ等の画像データをうまく生成できない場合がある。このため、画像処理部２３では、ノイズのフィルタリング処理をソフトウェア上で行うように構成されている。なお、形状計測部２１自体に光学フィルタ（図示せず）を設けることによっても、同様にノイズを除去できる。光学フィルタとソフトウェア上のフィルタリング処理とを併用することで、高品質の画像データを得ることができる。また、このことにより、後で述べる学習データセットの判定モデルの品質が高められ、溶接箇所２０１の形状良否を高精度で判定できる。
第１記憶部２４は、評価対象となるワーク２００の溶接前までに処理された別のワーク２００における溶接箇所２０１の画像データを保存している。また、第１記憶部２４は、実際のワーク２００を溶接する前に実験的に取得されたサンプル画像データを保存している。サンプル画像データは、評価対象となる溶接箇所２０１の形状が良好である良品データと、形状に何らかの不具合がある不良品データとを含んでいる。なお、別のワーク２００における溶接箇所２０１の画像データと評価対象となるワーク２００での溶接箇所２０１の画像データとが、同様の形状及び材質を有するワーク２００内の同様の溶接箇所２０１に対して取得されていることは言うまでもない。
学習データセット生成部２５は、画像処理部２３で生成され、第１記憶部２４に保存された画像データを読み出して、ワーク２００の材質や形状毎に分類する。また、溶接箇所２０１の検査項目毎に分類してもよい。この場合、同じ画像データが異なる検査項目にそれぞれ含まれていてもよい。また、学習データセット生成部２５は、画像データに紐付けされた特徴量に基づいて、ワーク２００の材質や形状毎に学習データセット、つまり、後述する判定モデルに入力され、判定モデルの判定精度を向上させるための学習データの群を生成する。例えば、ワーク２００の材質と形状とをマトリックスで整理して分類のカテゴリーを決定し、このカテゴリーに対応させて学習データセットを分類する（図２参照）。なお、ワーク２００の形状の例として、板材の突き合わせや重ね合わせ、Ｔ字継手や十字継手等が挙げられる。
また、学習データセット生成部２５は、第１記憶部２４から読み出された画像データに対してデータ拡張処理を行って学習データセットを生成する。具体的には、画像データに紐付けされた１つまたは複数の特徴量を変化させるか、または、溶接箇所２０１の画像データにおける形状不良箇所の位置を変更するか、あるいはその両方を実行することで、データ拡張処理が実行される。学習データセットの生成手順については後で詳述する。
判定モデル生成部２６は、ワーク２００の材質や形状毎に設定された溶接箇所２０１の検査項目に関し、それぞれの項目で設定された判定基準に基づいて、判定モデルを生成する。生成された判定モデルは、それぞれ重み付けがなされた複数の識別器の組み合わせ等で表現される。例えば、ＣＮＮ（Convolutional Neural Network；畳み込みニューラルネットワーク）等で表現される。
また、判定モデル生成部２６は、ワーク２００の材質や形状毎に生成された各判定モデルに対して、複数の学習データセットのうち、ワーク２００の材質や形状毎に対応した学習データセットを入力し、学習を繰り返すことで、各判定モデルの判定精度を向上させている。この場合、図２に示す分類のカテゴリーに応じて判定モデルが生成される。なお、判定モデルの正解率や再現率や精度が予め設定された値を満足するまで、学習が繰り返し行われる。
また、判定モデルを生成するにあたって、ワーク２００の材質や形状に応じて、サンプル画像データ中の良品データ及び不良品データを適宜選択して用いることで、判定モデルの生成時間の短縮や高精度化が図れる。同様に、溶接箇所２０１の検査項目毎に判定モデルを生成する場合、検査項目に応じて、サンプル画像データ中の良品データ及び不良品データを適宜選択して用いることで、判定モデルの生成時間の短縮や高精度化が図れる。
第１判定部２７は、画像処理部２３で生成された溶接箇所２０１の画像データと、判定モデル生成部２６で生成された判定モデルのうち、選択された検査項目に対応する判定モデルと基づいて、溶接箇所２０１の形状が良好であるか否か、言い換えると、所定の判定基準を満たすか否かが判定される。
ただし、後述するように、形状不良のモードは多岐に亘るため、実際には、画像データに含まれる形状異常部分が、どのような不良モードであるのかが確率で算出され、所定以上の確率であれば形状不良であると判定される。例えば、画像データに形状不良箇所が含まれると判定され、さらにその種類がスパッタ２０４（図３Ａ参照）である確率（例えば、形状、サイズ、及び／あるいは位置等を考慮し確からしさを算出）が図示しない表示部に表示される。確率値が７０％以上であれば、当該形状不良箇所がスパッタ２０４であると判定される。なお、判定のしきい値や表示形式は任意に設定できる。例えば、スパッタ２０４であれば赤色に、穴あき２０２（図３Ａ参照）であれば黄色に表示してもよい。また、検査項目としてスパッタ２０４の有無及び上限個数が設定されている場合に、スパッタ２０４であると認識された部分を背景と別色で表示するとともに、スパッタ２０４である確率を色分けして表示させてもよい。例えば、３０％以下の確率であれば緑色で表示し、７０％以上の確率であれば赤色で表示させてもよい。なお、この場合の確率範囲の区分けや対応する色の設定等も任意に設定できることは言うまでもない。また、スパッタ２０４のサイズも形状良否の判定基準に含まれる場合は、画像データに基づいて算出されたスパッタ２０４のサイズと判定基準とを比較して、形状良否の判定がなされることは言うまでもない。
なお、溶接箇所２０１の形状の検査項目は多岐に亘るため、検査項目毎に形状の良否判定がなされ、判定が必要なすべての検査項目をクリアした場合にのみ、最終的な良品判定がなされる。
通知部２８は、第１判定部２７での判定結果を出力制御部１５やロボット制御部１７や溶接作業者またはシステム管理者に通知するように構成されている。判定結果は、溶接システム１００の図示しない表示部に表示されるか、または、図示しないプリンターから出力されるか、あるいはその両方を通じて通知されてもよい。単に、最終的な判定結果を通知するのみであれば、図示しない音声出力部から音声として出力されるようにしてもよい。なお、通知部２８から通知される判定結果は、最終的な判定だけでなく、検査項目毎の判定結果が通知されるのが好ましい。そのようにすることで、溶接作業者またはシステム管理者が、溶接箇所２０１においてどのような不具合が生じたのかを具体的に知ることができる。
なお、第１判定部２７での判定結果が肯定的、つまり、溶接箇所２０１の形状が良好であると判定された場合、溶接システム１００は、連続して同じワーク２００内の次の溶接箇所２０１を溶接するか、あるいは、次のワーク２００における同様の溶接箇所２０１を溶接するように構成されている。
一方、第１判定部２７での判定結果が否定的、つまり、溶接箇所２０１の形状が不良であると判定された場合、出力制御部１５は溶接トーチ１１の溶接出力を停止し、ロボット制御部１７はロボットアーム１６の動作を停止させるか、または溶接トーチ１１が所定の初期位置に来るようにロボットアーム１６を動作させる。
［学習データセットの生成手順］
図３Ａ～３Ｅは、溶接箇所に生じた形状不良箇所の一例を示し、図４Ａ～４Ｃは、学習データセットの生成手順の一例を示す。なお、図３Ａ～３Ｅは、突き合わせ溶接時の溶接箇所２０１の形状を示しており、図３Ａは平面形状を、図３Ｂ～３Ｅは図３ＡのＩＩＩＢ－ＩＩＩＢ線ないしＩＩＩＥ－ＩＩＩＥ線での断面図をそれぞれ示している。
図３Ａ～３Ｅに示すように、ワーク２００にアーク溶接やレーザ溶接を行った場合、その溶接箇所２０１には、溶接条件の設定の不具合や低品質のワーク２００を用いる等によって種々の形状不良が生じうる。例えば、溶接箇所２０１の一部が溶け落ちたり（以下、溶接箇所２０１の一部がワーク２００より溶け落ちてワーク２００に形成された貫通穴を、穴あき２０２と呼ぶことがある）、アンダーカット２０３が生じたりする場合がある。なお、アンダーカット２０３とは、溶接ビードの際の部分がワーク２００の表面よりもへこんでいる状態の不具合部分のことをいう。また、溶接箇所２０１の長さや幅や基準面からの高さが、それぞれの設計値Ｌ，Ｗ，Ｈから許容範囲ΔＬ，ΔＷ，ΔＨを超えて変動する場合がある。また、溶接ワイヤ１２の先端に形成された溶滴（図示せず）がワーク２００に移行する際に溶滴の一部やワーク２００の溶融金属の微粒子が飛び散ってスパッタ２０４が生じたり、ワーク２００が亜鉛めっき鋼板である場合には、溶接箇所２０１から一部が蒸発してピット２０５が生じたり、あるいは、ワーク２００や溶接ワイヤ１２がアルミ系材料である場合には、溶接箇所２０１の近傍にスマット２０６が生じたりする場合がある。
なお、ピット２０５は、溶接ビードの表面に開口しているものであり、スマット２０６は、溶接ビードの近傍に発生する黒いスス状の付着物であり、上述の穴あき２０２、アンダーカット２０３、スパッタ２０４、等も含めて、それぞれ形状不良のモード（種類）の一つである。
このように、溶接箇所２０１の形状不良には様々なモードがあり、それぞれに対して判定基準を設けて検査する必要がある。例えば、穴あき２０２やアンダーカット２０３に関しては、それらの有無だけではなく、穴あき２０２等であると同定するための、例えば、溶接箇所２０１の周囲とのコントラスト比または高さの差分等を設定して良否判定を行う必要がある。また、例えば、スパッタ２０４でいえば、その平均径を設定し、平均径が所定値以上のスパッタ２０４が単位面積当たりに存在する個数で良否判定を行う必要がある。しかも、ワーク２００の材質や溶接部位、さらに顧客の要求仕様等に応じて、溶接箇所２０１の検査項目数や形状の良否判定基準は変更または追加される。
さらに、ワーク２００の材質や形状によって、画像データから形状不良の有無を判定する判定基準が異なってくる。前述したように、ワーク２００の材質によって、レーザ光の反射率が異なるため、例えば、画像データの輝度レベルやコントラストも変わってくる。また、ワーク２００の形状によっては、同じ長さの直線部を溶接する場合にも、重力等の影響で溶接箇所２０１のビード形状が変化することがある。
このため、判定モデル生成部２６は、ワーク２００の材質や形状毎にそれぞれ大量の学習データを用いて判定モデルを生成する必要がある。つまり、学習データとして適した溶接箇所２０１の画像データをワーク２００の材質や形状毎に大量に取得する必要がある。しかし、ワーク２００の材質や形状毎に必要な画像データを予め取得することは、膨大な工数を要し、非効率である。
そこで、本実施形態では、学習データセット生成部２５において、第１記憶部２４から読み出された画像データをワーク２００の材質や形状毎に分類し、分類された画像データのそれぞれにデータ拡張処理を行って、判定モデルを生成するのに必要な学習データの群である学習データセットを複数生成している。
例えば、図４Ａに示すように、学習データセットとして、元となる画像データにおいて、特徴量の一つである溶接箇所２０１の長さや位置を変化させた複数のデータを生成している。なお、図４Ａでは、溶接箇所２０１の長さの基準値Ｌから許容範囲ΔＬを超えて短くなっている複数の画像データを生成した例を示しているが、特にこれに限定されず、長さの基準値Ｌから許容範囲ΔＬを超えて長くなっている画像データも別途生成している。
あるいは、図４Ｂに示すように、学習データセットとして、元となる画像データにおいて、穴あき２０２のサイズや位置を変化させた複数のデータを生成している。この場合、特徴量として、基準面からの高さ及び溶接箇所２０１内の複数の点間での当該高さの差分を抽出し、これらを変動させている。また、溶接箇所２０１の周囲において同様の特徴量を抽出し、当該特徴量に基づいて学習データセットを生成することで、スパッタ２０４やスマット２０６が許容範囲を超えて存在しているかどうかを判定することができる（図４Ｃ参照）。
また、ワーク２００の形状によっては、形状不良の誤判定が生じることがある。形状計測部２１から照射されるレーザ光は、通常、所定の方向のみに沿って走査される。このため、溶接箇所２０１の表面凹凸の程度によっては、レーザ光が遮蔽または乱反射されて、画像データの品質が低下する部分が生じうる。例えば、溶接箇所２０１に形成される溶接ビードの始端部や終端部の近傍では、ビードの余盛等が影響して。レーザ光が乱反射してしまい、形状不良、特にその種類を正しく判定できないことがある。このような場合は、計測された形状不良を、人の目で再確認してアノテーションを施し、形状不良の有無の判定精度や形状不良の種類の判定精度を向上させることが行われる。
図５は、形状不良の有無及び形状不良の種類の判定精度を向上させる作業手順を示す。
外観検査装置２０の形状計測部２１により、ワーク２００の溶接箇所２０１の外観を検査する（ステップＳ１）。この場合の溶接箇所２０１は、実際の製品におけるものではなくて、テスト用のワークに溶接されたものでよい。テスト用のワークを用いる場合、材質や形状に応じて複数準備される。
次に、検査結果に基づいて、溶接箇所２０１における形状不良の有無及び形状不良の種類を判定する（ステップＳ２）。ステップＳ２は、第１判定部２７で実行される。
さらに、溶接箇所２０１を人の目で確認し（ステップＳ４）、ステップＳ２での判定結果と比較照合して、ステップＳ２での判定結果が正しいか否かを判断する（ステップＳ４）。ステップＳ４での判断が、人の手により行われることは言うまでもない。
ステップＳ４での判断結果が肯定的であれば、判定モデルが一定以上の精度を有しているとして作業を終了する。
一方、ステップＳ４での判断結果が否定的であれば、ステップＳ５に進んでアノテーションを実行する。ここでいうアノテーションとは、実際の溶接箇所２０１を人の目で観察して特定した形状不良の有無及び種類を画像データの対応箇所にタグ付けする工程をいう。このアノテーションも人の手で行われることは言うまでもない。
ステップＳ５を実行することで、取得された画像データにおいて、形状不良の有無や形状不良の種類が特定される。この結果に基づいて、学習データセットの見直しや再作成あるいは新規作成が行われ（ステップＳ６）、ステップＳ６で作成された学習データセットを用いて判定モデルの再学習が実行される（ステップＳ７）。ステップＳ６における学習データセットの生成は、学習データセット生成部２５で実行される。なお、学習データセットは、ワークの材質及び形状毎に分類された画像データ用いて生成されているものであっても良い。
ステップ７の実行後、ステップＳ２に戻って、形状不良の有無及び形状不良の種類が再度、判定される。
図５に示すルーティーンを必要に応じて、適切な回数や頻度で行うことにより、溶接箇所の形状の良否判定を行うための判定モデルの精度を向上して、溶接箇所の形状の良否判定に関する重要な形状不良の有無及び種類の判定精度を向上できる。なお、ステップＳ４における判断基準は、形状不良の有無及び種類の正答率に基づいて決定される。また、ステップＳ７で再学習された判定モデルでは、溶接箇所２０１の形状不良の有無や形状不良の種類を判定するためのしきい値が、再学習前の判定モデルに比べて変化している。この場合のしきい値は、形状不良箇所の形状、サイズ、及び／あるいは位置等を考慮した前述の確率に対応している。
また、対象となるワーク２００の材質や形状に近いワークに関して、学習済みでかつ所定以上の精度（確率）が確保された判定モデルが別途準備されている場合は、ステップＳ５のアノテーションを、人手ではなく、当該判定モデルを用いて第１判定部２７で行うことも考えられる。
なお、ステップＳ６において、学習データセットの再作成や新規作成を行う場合、溶接箇所２０１の特定部分では、その他の部分と別個に学習データセットを作成することで、判定モデルの学習効率とともにその精度を向上できる。この場合、データ拡張処理も、当該特定部分を切り出して別個に行うとともに、精度が高められた判定モデルでの判定結果を反映させるのが好ましい。なお、本願明細書における「溶接箇所２０１の特定部分」とは、前述の溶接ビードの始端部や終端部等のように、形状不良の有無や種類の判定が溶接箇所２０１の他の部分に比べて困難な部分をいう。
図６は、溶接ビードの始端部に関する学習データセットの作成手順の一例を示す。なお、溶接ビードの終端部においても同様の処理がなされることは言うまでもない。
溶接ビードの始端部や終端部は、ワーク２００の平坦面からの高さの変化が急峻である。特に、形状不良の種類として、ビード表面に付着したピット２０５やスラグ２０７、また、ビードと平坦面との境界部に生じたアンダーカット２０３等の表面凹凸に関する形状不良が判別しにくくなる。なお、スラグ２０７とは、溶接時に付着した金属ゴミをいう。
したがって、図６に示すように、学習データを生成する際、溶接ビードの始端部に、これらの形状不良のデータを個数やサイズを変えて挿入する。このとき、図５に示す手順で、形状不良の種類の判別が確定した形状不良のデータを用いる。また、例えば、形状不良の輝度やその近傍とのコントラストの差を変化させたデータも生成して、始端部の画像データに挿入する。
このようにすることで、溶接箇所２０１の形状良否の判定精度を実用的なレベルに高めることが可能となる。
また、一つの溶接箇所２０１の形状良否を判定するために、特定部分とそれ以外の部分とで異なる判定モデルを用いてもよく、その場合は、特定部分に対応した学習データセットで学習させた判定モデルと、それ以外の部分に対応した学習データセットで学習させた判定モデルとを用いる。
なお、溶接ビードの始端部や終端部以外の溶接箇所２０１の特定部分においても、図５に示す作業を実行することで、判定モデルの学習精度や再現度が向上できることは言うまでもない。また、その際、必要に応じてアノテーションが適宜行われる。
もちろん、上記に限らず、元となる画像データから対応する特徴量をワーク２００の材質や形状毎に画像処理部２３で抽出し、当該特徴量に基づいて学習データセット生成部２５でデータ拡張して学習データセットを生成していることは言うまでもない。
なお、学習データセットを生成するのに、前述したサンプル画像データのみを用いてもよいし、サンプル画像データに加えてワーク２００の溶接工程で別途取得された画像データを用いるようにしてもよい。所望の精度等を満たす判定モデルを得るのに必要な学習データセットがワーク２００の材質や形状毎に確保できるようにすればよい。
［効果等］
以上説明したように、本実施形態に係る外観検査装置２０は、ワーク２００の溶接箇所２０１の形状を計測する形状計測部２１と、データ処理部２２とを有している。データ処理部２２は、形状計測部２１で計測された形状データに基づいて溶接箇所２０１の画像データを生成する画像処理部２３と、画像処理部２３で生成された複数の画像データをワーク２００の材質及び形状毎に分類するとともに、分類された画像データにデータ拡張処理を行って複数の学習データセットを生成する学習データセット生成部２５と、を備えている。
また、データ処理部２２は、複数の学習データセットを用いて、溶接箇所２０１の形状の良否判定を行うための判定モデルをワーク２００の材質及び形状毎に生成する判定モデル生成部２６と、画像処理部２３から読み出された画像データと判定モデル生成部２６で生成された１または複数の判定モデルとに基づいて溶接箇所２０１の形状の良否を判定する第１判定部２７と、を備えている。
外観検査装置２０をこのように構成することで、少ない画像データに基づいて、必要な量の学習データセットを生成し、判定モデルを高精度化できるため、溶接箇所２０１の形状良否を精度良く判定することができる。また、学習用の画像データを大量に取得する必要がなくなり、形状良否を判定するための工数を大幅に削減できる。また、複雑な判定基準を手動で設定することなく、溶接箇所２０１の形状不良を自動で検出することができる。さらに、ワーク２００の材質及び形状毎に予め画像データを分類してから学習データセットを生成するため、効率良く学習データセットを生成できる。
学習データセット生成部２５は、画像処理部２３において画像データから抽出された１または複数の特徴量に基づいて学習データセットを生成する。
画像データから抽出された特徴量を用いて学習データセットを生成することで、判定モデルの精度を低下させることなく学習データセットの生成処理を簡素化できる。
学習データセット生成部２５は、画像データから抽出された１つまたは複数の特徴量を変化させるか、または、画像データにおける形状不良箇所の位置を変更するか、あるいはその両方を実行することで、データ拡張処理を行っている。
画像データから抽出された１または複数の特徴量に基づいて学習データセットを生成することで、学習データの作成効率を向上でき、工数をさらに削減できる。また、特徴量や形状不良箇所の位置を変化させるという簡単な処理で、効率良く学習データセットを生成できる。
なお、学習データセット生成部２５は、画像処理部２３で生成された複数の画像データを溶接箇所２０１の検査項目毎に分類するとともに、分類された画像データにデータ拡張処理を行って複数の学習データセットを生成してもよい。
また、判定モデル生成部２６は、複数の学習データセットを用いて、溶接箇所２０１の形状の良否判定を行うための判定モデルを溶接箇所２０１の検査項目毎に生成してもよい。
さらに、学習データセット生成部２５は、画像処理部２３で生成された複数の画像データを溶接箇所２０１の形状不良の判定が他の部分に比べて困難な特定部分とそれ以外の部分とに分けて、それぞれの画像データに対して、別個にデータ拡張処理を行って複数の学習データセットを生成してもよい。
また、判定モデル生成部２６は、複数の学習データセットを用いて、判定モデルをワーク２００の材質及び形状毎に生成するにあたって、溶接箇所２０１の特定部分に対応した判定モデルとそれ以外の部分に対応した判定モデルとを別個に生成するようにしてもよい。
このようにすることで、形状不良の有無や形状不良の種類の判定が他の部分に比べて困難な溶接箇所２０１の特定部分においても、所定以上の精度で形状不良の有無やその種類を判定できる。その結果、外観検査における溶接箇所２０１の形状良否を精度良く判定することができる。
また、外観検査装置２０は、第１判定部２７での判定結果を通知する通知部２８をさらに備えている。
このようにすることで、ワーク２００の溶接中に、溶接作業者またはシステム管理者が、溶接箇所２０１に不具合が生じたか否かをリアルタイムで知ることができる。また、必要に応じて、ワーク２００の溶接を継続するか否かの処置を講じることができる。このことにより、溶接工程における溶接コストを低減できる。
また、外観検査装置２０は、画像処理部２３で生成された画像データを保存する第１記憶部２４を有していてもよい。この場合、第１記憶部２４に保存された画像データが学習データセット生成部２５に読み出されて、複数の学習データセットが生成される。
このようにすることで、学習データセットの生成及びそれに続く判定モデルの生成処理をスムーズに行うことができる。なお、第１記憶部２４はデータ処理部２２の外部にあってもよい。例えば、データ処理部２２に外部との通信インターフェース部を設け、この通信インターフェース部を介して第１記憶部２４とデータのやり取りを行うようにしてもよい。第１記憶部２４は、外部サーバー等であってもよい。
また、本実施形態に係る溶接箇所２０１の形状不良の有無及び種類を判定する判定精度の向上方法は、外観検査装置２０を用いて行われ、以下のステップを少なくとも備えている。
ワーク２００の溶接箇所２０１の外観を検査する外観検査ステップ（ステップＳ１）と、外観検査ステップでの検査結果に基づいて、溶接箇所２０１における形状不良の有無及び形状不良の種類を判定する形状不良判定ステップ（ステップＳ２）と、溶接箇所２０１を人の目で確認する目視確認ステップ（ステップＳ３）と、目視確認ステップでの確認結果と、形状不良判定ステップでの判定結果と比較照合して、形状不良判定ステップでの判定結果が正しいか否かを判断する正否判断ステップ（ステップＳ４）と、を少なくとも備えている。
正否判断ステップでの判断結果が否定的である場合は、目視確認ステップで特定した形状不良の有無及び形状不良の種類を、画像処理部２３で生成した溶接箇所２０１の画像データにタグ付けするアノテーションステップ（ステップＳ５）と、アノテーションステップ実行後の溶接箇所２０１の画像データに基づいて、学習データセットを生成する学習データセット生成ステップ（ステップＳ６）と、学習データセット生成ステップで生成された学習データセットを用いて、判定モデルの再学習を行う再学習ステップ（ステップＳ７）と、を実行して、再度、形状不良判定ステップに戻り、正否判断ステップでの判断結果が肯定的になるまで、一連の処理を繰り返し実行する。
この方法によれば、溶接箇所２０１において、形状不良の有無及び種類の判定が難しい場合に、人手による溶接箇所２０１の目視確認とアノテーションとを追加実行することで、判定モデルの学習効率とともにその精度を向上できる。このことにより、第１判定部２７における溶接箇所２０１の形状の良否の判定精度が高められ、ワーク２００の溶接歩留まりを正しく評価できる。
また、再学習ステップで再学習が行われた判定モデルは、溶接箇所２０１の形状不良の有無及び形状不良の種類を判定するためのしきい値が、再学習前の判定モデルに比べて変化している。
このことにより、判定モデルの再学習効果を定着でき、以降の外観検査において、形状不良の良否判定を高い精度を安定して実行できる。
溶接箇所２０１は、形状不良の有無や形状不良の種類の判定が他の部分に比べて困難な特定部分を含んでいてもよい。その場合、溶接箇所２０１の特定部分には、溶接ビードの始端部や終端部が含まれていてもよい。
溶接箇所２０１の特定部分では、他の部分に比べて形状不良の有無や種類の判定が難しく、少ない回数の学習では、判定モデルの学習精度を向上できない場合がある。特に、溶接ビードの始端部や終端部では、ワーク２００の表面に対する高さの変化が急峻であるため、その傾向が顕著である。
一方、本実施形態によれば、人手による溶接箇所２０１の目視確認とアノテーションとを実行することで、判定モデルの学習効率とともにその精度を向上している。このため、溶接ビードの始端部や終端部を含む溶接箇所２０１の特定部分においても、溶接箇所２０１の形状の良否の判定精度を高めることができる。
また、溶接箇所２０１の形状不良の種類には、溶接箇所２０１の一部がワーク２００より溶け落ちてワーク２００に形成された貫通穴である穴あき２０２や、溶接ビードの際の部分がワーク２００の表面よりもへこんでいる状態の部分であるアンダーカット２０３が、少なくとも含まれる。
また、溶接ワイヤ１２の先端に形成された溶滴の一部やワーク２００の溶融部分の微粒子が飛び散って溶接箇所２０１に付着したスパッタ２０４や、ワーク２００の溶接時に溶接箇所２０１に付着した金属ゴミであるスラグ２０７が、少なくとも含まれる。
ワーク２００が亜鉛めっき鋼板である場合には、溶接箇所２０１から一部が蒸発することで、溶接ビードの表面に開口して形成されたピット２０５が少なくとも含まれる。
これらの形状不良は、溶接箇所２０１において、表面凹凸の異常として検知される。一方、前述したように、溶接ビードの始端部や終端部では、そもそもワーク２００の表面に対する高さの変化が急峻であり、これらの形状不良の有無自体を正しく判定することが難しくなっていた。
一方、本実施形態によれば、人手による溶接箇所２０１の目視確認とアノテーションとを実行することで、溶接ビードの始端部や終端部を含む溶接箇所２０１の特定部分においても、形状不良の有無や形状不良の種類を正しく判別できる。また、この結果に基づいて、再学習を行うことで、判定モデルの学習効率とともにその精度を向上している。このため、溶接ビードの始端部や終端部等を含む溶接箇所２０１においても、溶接箇所２０１の形状の良否の判定精度を高めることができる。
本実施形態に係る溶接システム１００は、ワーク２００を溶接する溶接装置１０と、外観検査装置２０と、を備えている。
溶接システム１００をこのように構成することで、溶接箇所２０１の形状を精度良くかつ少ない工数で検査できる。このことにより、溶接工程のコストを低減できる。
また、溶接装置１０は、ワーク２００に入熱するための溶接ヘッド１１（溶接トーチ１１）と、溶接ヘッド１１（溶接トーチ１１）を保持するとともに所望の位置に移動させるロボットアーム１６と、溶接ヘッド１１（溶接トーチ１１）の溶接出力を制御する出力制御部１５と、ロボットアーム１６の動作を制御するロボット制御部１７と、を少なくとも備えている。
外観検査装置２０の第１判定部２７で溶接箇所２０１の形状が不良であると判定された場合、出力制御部１５は溶接ヘッド１１（溶接トーチ１１）の溶接出力を停止し、ロボット制御部１７はロボットアーム１６の動作を停止させるか、また溶接ヘッド１１（溶接トーチ１１）が所定の初期位置に来るようにロボットアーム１６を動作させる。
溶接システム１００をこのように構成することで、溶接箇所２０１の形状が不良である場合、次の溶接を停止して、不良品が多発するのを防止できる。なお、第１判定部２７での判定結果を検査項目毎に入手することで、溶接システム１００における不具合箇所を推定でき、不良原因を速やかに取り除いて、溶接システム１００のダウンタイムを短縮できる。
（実施形態２）
特許文献１に開示されるような方法で溶接箇所２０１の形状検査を行い、溶接箇所２０１の形状不良が発見された場合、再溶接により形状不良箇所が修復可能か否かの判断は、従来、溶接作業者が行っていた。また、修復可能と判断した場合の再溶接も溶接作業者が自ら行っていた。
しかし、溶接作業者が形状不良箇所の修復可否を判断すると、個人の技能等によって判断結果にばらつきが生じていた。その結果、修復可能な形状不良箇所を修復不可能と誤判断してワーク２００を不良品として廃棄したり、あるいは、修復不可能な形状不良箇所を修復可能と誤判断して、無駄な再溶接を行ったりする等の不具合が生じていた。
また、溶接されるワーク２００の種類が多様化するにつれて、溶接箇所２０１の形状や形状検査項目やその判定基準は複雑になってきている。したがって、溶接作業者が、形状不良箇所の修復可否を判断することが非常に難しくなっていた。また、ワーク２００を再溶接するにあたって、再溶接条件の見極めも難しくなってきていた。
かかる点に鑑みて、本実施形態では、溶接箇所２０１における形状不良箇所の修復可否を精度良くかつ自動的に判定可能な溶接システム１００及びそれを用いたワーク２００の溶接方法を開示する。
［外観検査装置の構成］
本実施形態に係る溶接システムは、実施形態１に示す溶接システム１００と同様の構成である一方、溶接装置１０の出力制御部１５の構成と外観検査装置２０のデータ処理部２２の構成とが、実施形態１に示す構成と異なる。よって、本実施形態では、データ処理部２２の構成と出力制御部１５の構成を中心に説明する。
図７は、外観検査装置の機能ブロック図を示し、形状計測部２１は、図２に示す構成と同様であるので説明を省略する。
データ処理部２２は、画像処理部２３と第１記憶部２４と学習データセット生成部２５と判定モデル生成部２６と第１判定部２７と通知部２８とフィードバック部２９とを有している。なお、データ処理部２２におけるフィードバック部２９以外の機能ブロックは、実施形態１と同様の構成であるため、詳細な説明を省略する。
フィードバック部２９は、第１判定部２７での判定結果と画像処理部２３から読み出された画像データとに基づいて、後述する溶接箇所２０１の不良モードや形状不良箇所の位置やサイズに関する情報（以下、総称して形状不良情報と呼ぶことがある。）を抽出するように構成されている。具体的には、フィードバック部２９は、溶接箇所２０１の形状が不良であると判定された場合に、画像処理部２３から読み出された画像データに基づいて、形状不良情報を抽出するように構成されている。また、フィードバック部２９は、抽出された形状不良情報と第１判定部２７での判定結果とを溶接装置１０の出力制御部１５やロボット制御部１７に出力するように構成されている。
なお、通知部２８は、第１判定部２７での判定結果をフィードバック部２９や溶接作業者またはシステム管理者に通知するように構成されている。
また、第１判定部２７での判定結果が肯定的、つまり、溶接箇所２０１の形状が良好であると判定された場合、溶接システム１００は、連続して同じワーク２００内の次の溶接箇所２０１を溶接するか、あるいは、次のワーク２００における同様の溶接箇所２０１を溶接するように構成されている。
一方、第１判定部２７での判定結果が否定的、つまり、溶接箇所２０１の形状が不良であると判定された場合、出力制御部１５は、溶接トーチ１１の溶接出力を停止し、ロボット制御部１７は、ロボットアーム１６の動作を停止させる。なお、後述するように、溶接箇所２０１における形状不良箇所が再溶接により修復可能な場合は、ロボット制御部１７は、フィードバック部２９で抽出された形状不良箇所の位置に基づいて、溶接トーチ１１が当該位置に来るようにロボットアーム１６を動作させる。
［溶接装置の出力制御部の構成］
図８は、溶接装置の出力制御部の機能ブロック図を示し、出力制御部１５は、外観検査装置２０のフィードバック部２９（図７参照）での抽出結果に基づいて溶接箇所２０１の再溶接条件を設定する。
出力制御部１５は複数の機能ブロックを有しており、具体的には、受信部１５１と第２記憶部１５２と第２判定部１５３と溶接条件設定部１５４と制御信号出力部１５５とを有している。通常、ＣＰＵ（Central Processing Unit）やＭＣＵ（Micro Controller Unit）上に実装されたソフトウェアを実行することで出力制御部１５内の複数の機能ブロックが構成される。
受信部１５１は、外観検査装置２０のフィードバック部２９から第１判定部２７での判定結果及び形状不良情報を受け取る。なお、フィードバック部２９と受信部１５１との間の通信は無線でも有線でもよい。
第２記憶部１５２は、ワーク２００の溶接条件及び溶接箇所２０１における形状不良箇所が修復可能か否かを判定する判定基準データを保存している。この判定基準データは、主に、溶接箇所２０１の不良モード及びサイズに基づいて設定されている。また、第２記憶部１５２は、ワーク２００の材質や厚さ、また、溶接箇所２０１の不良モードや形状不良箇所のサイズに応じて予め設定された再溶接条件をマトリックス形式で保存している。なお、再溶接条件は、所定の形状不良を起こすように溶接条件を調整して溶接されたワーク２００を用いて実験的に求められる。
また、第２記憶部１５２は出力制御部１５の外部にあってもよい。例えば、出力制御部１５の受信部１５１を介して第２記憶部１５２とデータのやり取りを行うようにしてもよい。第２記憶部１５２は、外部サーバー等であってもよい。また、第２記憶部１５２が出力制御部１５の内部にあり、これとは別の記憶部（図示せず）とデータのやり取りが可能である場合、第２記憶部１５２は、上記の溶接条件や再溶接条件や判定基準データを一時的に保存するように構成されていてもよい。
第２判定部１５３は、フィードバック部２９で抽出された形状不良情報に基づいて溶接箇所２０１における形状不良箇所が再溶接により修復可能か否かを判定する。なお、修復可否の判定に用いられる判定基準データは、必要に応じて第２記憶部１５２から読み出される。
溶接条件設定部１５４は、溶接される予定のワーク２００の材質及び形状に応じて、第２記憶部１５２に保存された複数の溶接条件の中から対応する条件を設定する。また、溶接条件設定部１５４は、第２判定部１５３での判定結果が肯定的、つまり溶接箇所２０１における形状不良箇所が修復可能であると判定された場合に、第２記憶部１５２に保存された再溶接条件の中から対応する条件を設定する。
制御信号出力部１５５は、ワイヤ送給装置１３や電源１４に制御信号を出力し、溶接ワイヤ１２に供給される電力及び電力供給時間と溶接ワイヤ１２の送給速度及び送給量とを制御している。この制御信号は、通常のワーク２００の溶接時には溶接条件設定部１５４で設定された溶接条件に基づいて、ワーク２００の再溶接時には溶接条件設定部１５４で設定された再溶接条件に基づいてそれぞれ生成される。
なお、ロボット制御部１７は、フィードバック部２９から受け取った形状不良情報と出力制御部１５の第２判定部１５３での判定結果とに基づき、溶接箇所２０１の修復可能な形状不良箇所が存在する所定の位置に溶接トーチ１１の先端が来るようにロボットアーム１６の動作を制御する。
［ワークの溶接手順］
実施形態１で説明したように、溶接箇所２０１の形状不良には様々なモードがあるが、これらは再溶接により修復できるものと修復できないものとに大別される。例えば、スパッタ２０４は溶接箇所２０１を再溶接しても除去することはできず、修復は不可能である。溶接箇所２０１の幅が許容範囲を超えて拡がっている場合も同様に修復は不可能である。一方、穴あき２０２やアンダーカット２０３、また、溶接箇所２０１の長さや幅の不足等は溶接箇所２０１を適切な条件で再溶接してやることで修復可能である。
このことを踏まえて、ワーク２００の溶接手順について図９を用いて説明する。
まず、ワーク２００を所定の溶接条件で溶接し（ステップＳ１１；溶接ステップ）、溶接箇所２０１の外観、具体的には、溶接箇所２０１の形状を外観検査装置２０で検査する（ステップＳ１２；外観検査ステップ）。
ステップＳ１２の検査結果に基づいて、外観検査装置２０は溶接箇所２０１の形状の良否を判定する（ステップＳ１３；形状判定ステップ）。ステップＳ１３での判定結果が肯定的、つまり、溶接箇所２０１の形状が良好であると判定された場合は、ワーク２００内のすべての対象箇所を溶接したか否かを判断し（ステップＳ１４）、ステップＳ１３での判定結果が肯定的であれば、ワーク２００の溶接を終了する。溶接すべき別のワークが残っていれば、溶接システム１００内に別のワーク２００を導入し、溶接を継続するか、または、ステップＳ１１に戻って、ワーク２００内の別の箇所を溶接する。
一方、ステップＳ１３での判定結果が否定的、つまり、溶接箇所２０１の形状が不良であると判定された場合は、フィードバック部２９は、形状不良情報、つまり、当該溶接箇所２０１における形状不良がどのようなモードであるか、また、形状不良箇所のサイズや溶接箇所２０１内での形状不良箇所の位置を抽出し（ステップＳ１５；形状不良情報抽出ステップ）、さらに、ステップＳ１５での抽出結果に基づいて、出力制御部１５は、当該形状不良箇所が再溶接により修復可能か否かを判定する（ステップＳ１６；再溶接可否判定ステップ）。
ステップＳ１６での判定結果が肯定的、つまり、再溶接により溶接箇所２０１の形状不良箇所の修復が可能であると判定された場合は、出力制御部１５は再溶接条件を設定し（ステップＳ１７；再溶接条件設定ステップ）、この再溶接条件に従って、ワーク２００の再溶接を行い（ステップＳ１８；再溶接ステップ）、ステップＳ１２に戻って、再度、溶接箇所２０１の外観を検査する。なお、ステップＳ１８に先立って、ロボット制御部１７は、フィードバック部２９で抽出された形状不良箇所の位置に基づいて、溶接トーチ１１の先端が当該位置に来るようにロボットアーム１６を動作させる。
ステップＳ１６での判定結果が否定的、つまり、再溶接による溶接箇所２０１の形状不良箇所の修復が不可能であると判定された場合は、溶接システム１００は、ワーク２００の溶接を中断し、ワーク２００を溶接システム１００から取り除く。
［効果等］
以上説明したように、本実施形態に係る溶接システム１００は、ワーク２００を溶接する溶接装置１０と、ワーク２００の溶接箇所２０１の外観を検査する外観検査装置２０とを備えている。
外観検査装置２０は、溶接箇所２０１の形状を計測する形状計測部２１と、形状計測部２１で計測された形状データに基づいて溶接箇所２０１の画像データを生成する画像処理部２３と画像処理部２３から読み出された画像データに基づいて溶接箇所２０１の形状の良否を判定する第１判定部２７と、第１判定部２７での判定結果と画像処理部２３から読み出された画像データに基づいて、溶接箇所２０１の不良モードと溶接箇所２０１における形状不良箇所のサイズ及び位置とを含む形状不良情報を抽出するフィードバック部２９と、を少なくとも有している。
溶接装置１０は、ワーク２００に入熱するための溶接ヘッド１１（溶接トーチ１１）と、溶接ヘッド１１（溶接トーチ１１）の溶接出力を制御する出力制御部１５と、を少なくとも有している。
第１判定部２７で溶接箇所２０１の形状が不良であると判定された場合、出力制御部１５は、フィードバック部２９で抽出された形状不良情報に基づいて形状不良箇所が再溶接により修復可能か否かを判定するとともに、形状不良箇所が再溶接可能な場合は再溶接条件を設定する。
溶接システム１００をこのように構成することで、外観検査装置２０での検査結果に基づいて、溶接箇所２０１における形状不良箇所の修復可否を自動的に判定できる。また、形状計測部２１で計測された形状データに基づいて、形状不良情報、つまり、溶接箇所２０１の不良モードや形状不良箇所の位置及びサイズを抽出するため、例えば、溶接作業者自らが、これらを抽出する場合に比べて、形状不良情報の抽出精度を高めることができる。また、形状不良情報に基づいて、出力制御部１５が形状不良箇所の修復可否を判定するため、修復可否の判定精度を高められる。さらに、フィードバック部２９で抽出された形状不良情報に基づいて、出力制御部１５で再溶接条件を設定するため、条件設定の精度を高められ、形状不良箇所の修復率を向上できる。このことにより、溶接工程の最終歩留まりを向上して、溶接工程のコストを低減できる。
また、溶接装置１０は、溶接ヘッド１１（溶接トーチ１１）を保持するとともに所望の位置に移動させるロボットアーム１６と、ロボットアーム１６の動作を制御するロボット制御部１７と、をさらに有している。
第１判定部２７で溶接箇所２０１の形状が不良であると判定された場合、ロボット制御部１７は、フィードバック部２９で抽出された形状不良箇所の位置に基づいて、溶接ヘッド１１（溶接トーチ１１）が当該位置に来るようにロボットアーム１６を動作させる。
溶接装置１０をこのように構成することで、再溶接も含めて、ワーク２００の溶接を自動で行うことができる。また、再溶接時に、溶接ヘッド１１（溶接トーチ１１）の複雑な位置調整が不要となり、再溶接工程を簡素化できる。
また、上記の溶接システム１００を用いて行われる、本実施形態に係るワーク２００の溶接方法は、溶接装置１０によりワーク２００の所定の箇所を溶接する溶接ステップ（ステップＳ１１）と、溶接ステップの終了後に外観検査装置２０を用いてワーク２００の溶接箇所２０１の形状の良否を判定する形状判定ステップ（ステップＳ１３）と、形状判定ステップでの判定結果に応じて、溶接箇所２０１における形状不良箇所が再溶接により修復可能か否かを判定する再溶接可否判定ステップ（ステップＳ１６）と、を備えている。
形状判定ステップでの判定結果が肯定的である場合は、ワーク２００における別の箇所の溶接を開始するか、または次のワーク２００の溶接を開始する。
一方、形状判定ステップでの判定結果が否定的である場合は、再溶接可否判定ステップを実行し、その判定結果が肯定的である場合は、出力制御部１５で設定された再溶接条件に従って、溶接箇所２０１における形状不良箇所を再溶接する。
本実施形態によれば、溶接箇所２０１の形状の良否を判定するとともに、形状不良箇所が再溶接により修復可能か否かを判定し、これらの判定結果及び出力制御部１５で設定された再溶接条件に従って、溶接箇所２０１における形状不良箇所を再溶接することで、ワーク２００の溶接不良を低減し、さらに、溶接品質を向上できる。
再溶接可否判定ステップでの判定結果が否定的である場合は、ワーク２００の溶接を中断するようにしてもよい。
このようにすることで、不良品と判定されたワーク２００を速やかに溶接システム１００から取り除き、溶接工程の工程時間を短縮できる。
（実施形態３）
図１０は、本実施形態に係る溶接装置の出力制御部の機能ブロック図を示す。
図１０に示す本実施形態の出力制御部１５は、再溶接条件拡張部１５６を有する点で図８に示す実施形態２の構成と異なる。また、第２記憶部１５２と再溶接条件拡張部１５６とは相互にデータのやり取りが可能であるように構成されている。
再溶接条件拡張部１５６は、第２記憶部１５２に保存された再溶接条件を読み出して、所定の拡張モデルに従ってデータ拡張処理を行い、拡張された再溶接条件を第２記憶部１５２に保存する。また、溶接条件設定部１５４は、第２記憶部１５２に保存された、拡張された再溶接条件の中から、ワーク２００の材質や厚さを含めた形状、さらに溶接箇所２０１の不良モード及び形状不良箇所のサイズに応じた再溶接条件を設定する。
なお、再溶接条件のデータ拡張を行うにあたって、元々のワーク２００の溶接条件に基づく拡張モデルが再溶接条件拡張部１５６に構成されている。この拡張モデルは、実際に再溶接された溶接箇所２０１の外観検査結果をフィードバックすることで、学習強化され、拡張された再溶接条件の精度が向上するように構成されている。
本実施形態によれば、予め取得された再溶接条件のデータ数が少なく、また条件の範囲が小さい場合に、これを適切に拡大することで、種々の不良モードを有する溶接箇所２０１を確実に修復することができる。
例えば、第２記憶部１５２に保存された再溶接条件が、所定の材質のワーク２００における所定の不良モードを有する溶接箇所２０１に関して設定されているものの、１種類の形状の溶接箇所２０１と１種類のサイズの形状不良箇所のみに対応した条件とする。このとき、再溶接条件拡張部１５６は、再溶接条件を第２記憶部１５２から読み出して、溶接箇所２０１の形状や形状不良箇所のサイズを変更した再溶接条件を新たに生成する。さらに、ワーク２００の材質や溶接箇所２０１の不良モードに応じて、溶接箇所２０１の形状や形状不良箇所のサイズを変更した再溶接条件を新たに生成する。このように、第２記憶部１５２に保存された再溶接条件がデータ拡張され、拡張された再溶接条件が第２記憶部１５２に保存される。
このようにすることで、少ないデータ数で、再溶接条件を適切に設定することができる。また、溶接箇所２０１の修復率を高めて、溶接工程の最終歩留まり向上が可能となる。
（その他の実施形態）
実施形態１～３において、形状計測部２１を溶接トーチ１１またはロボットアーム１６に取り付けるようにしたが、図１１に示すように、形状計測部２１を保持し、所望の位置に移動させるロボットアーム３０を別途設けて溶接システム１００を構成するようにしてもよい。このようにすることで、溶接工程と検査工程とを独立して行うことができ、全体の工程時間を短縮できる。また、図１１では、ロボット制御部１７，３１がロボットアーム１６，３０の動作をそれぞれ制御するように構成した例を示したが、特にこれに限定されず、例えば、ロボット制御部１７がロボットアーム１６，３０の動作をそれぞれ制御するようにしてもよい。
なお、サンプル学習データ及び／または取得済の画像データに対してデータ拡張処理を行って、学習データセットを作成したが、良否判定を行うのに十分な量の画像データが予め取得されていれば、データ拡張処理を行わずに、画像処理部２３で生成され、第１記憶部２４に保存された画像データをそのまま用いて良否判定を行うようにしてもよい。また、判定モデルの精度を向上させるために必要な量の学習データが確保できればよいので、データ拡張処理は、第１記憶部２４から読み出されたすべての画像データに対して行わなくてもよく、必要な分のみデータ拡張処理を行うようにしてもよい。
また、前述したように、判定モデルは、複数の識別器の組み合わせ等で表現される。よって、図２に破線の矢印で示すように、判定モデル生成部２６で生成され、かつ所定の学習が終了した判定モデル、つまり、各識別器の構成やこれらの組み合わせパターンが第１記憶部２４に保存されるようにしてもよい。その場合、ワーク２００の材質や形状に応じた判定モデルの構成情報が第１記憶部２４から判定モデル生成部２６に読み出され、判定モデル生成部２６で判定モデルが再構成されるようにしてもよい。このようにすることで、ワーク２００の材質や形状の種類、また、検査項目の増大に伴い、使用すべき判定モデルの個数が増加した場合にも容易に対応できる。
なお、実施形態２，３において、フィードバック部２９を外観検査装置２０のデータ処理部２２に設ける例を示したが、フィードバック部２９を出力制御部１５に設けるようにしてもよい。その場合、第１判定部２７での判定結果は、通知部２８を介して、出力制御部１５の受信部１５１で受け取られるようにしてもよい。
また、図８において、フィードバック部２９に対して、画像処理部２３から直接画像データが送られる例を示したが、データの流れは、説明の便宜上、例示的に図示しているだけであり、特にこれに限定されるものではない。例えば、第１判定部２７からフィードバック部２９に画像データが直接送られてもよい。また、第１判定部２７での判定結果がフィードバック部２９に直接送られてもよい。
なお、実施形態２，３における外観検査装置２０において、判定モデル生成部２６を省略して、代わりに、第１記憶部２４に溶接箇所２０１の検査項目毎に設定された判定基準を保存し、第１判定部２７で形状不良情報と第１記憶部２４に保存された判定基準とに基づいて溶接箇所２０１の形状の良否を判定するようにしてもよい。検査項目が少なくかつ判定基準が緩やかであれば、このようにしても、所定の判定精度が担保される。
本発明の外観検査装置は、少ないデータ数で精度良く溶接箇所の形状を検査できるため、溶接システムに用いる上で有用である。
１０ 溶接装置
１１ 溶接ヘッド（溶接トーチ）
１２ 溶接ワイヤ
１３ ワイヤ送給装置
１４ 電源
１５ 出力制御部
１６ ロボットアーム
１７ ロボット制御部
２０ 外観検査装置
２１ 形状計測部
２２ データ処理部
２３ 画像処理部
２４ 第１記憶部
２５ 学習データセット生成部
２６ 判定モデル生成部
２７ 第１判定部
２８ 通知部
２９ フィードバック部
３０ ロボットアーム
３１ ロボット制御部
１００ 溶接システム
１５１ 受信部
１５２ 第２記憶部
１５３ 第２判定部
１５４ 溶接条件設定部
１５５ 制御信号出力部
１５６ 再溶接条件拡張部
２００ ワーク
２０１ 溶接箇所

Claims (16)

  1. ワークの溶接箇所の外観を検査する外観検査装置であって、
    前記溶接箇所の形状を計測する形状計測部と、
    前記形状計測部で計測された形状データに基づいて前記溶接箇所の画像データを生成する画像処理部と、
    前記画像処理部で生成された複数の画像データを前記ワークの材質及び形状毎に分類するとともに、分類された前記画像データにデータ拡張処理を行って複数の学習データセットを生成する学習データセット生成部と、
    前記複数の学習データセットを用いて、前記溶接箇所の形状の良否判定を行うための判定モデルを前記ワークの材質及び形状毎に生成する判定モデル生成部と、
    前記画像処理部から読み出された前記画像データと前記判定モデル生成部で生成された１または複数の判定モデルとに基づいて前記溶接箇所の形状の良否を判定する第１判定部と、を備えたことを特徴とする外観検査装置。
  2. 請求項１に記載の外観検査装置において、
    前記学習データセット生成部は、前記画像処理部において前記画像データから抽出された１または複数の特徴量に基づいて前記学習データセットを生成することを特徴とする外観検査装置。
  3. 請求項２に記載の外観検査装置において、
    前記学習データセット生成部は、前記画像データから抽出された１つまたは複数の特徴量を変化させるか、または、前記画像データにおける形状不良箇所の位置を変更するか、あるいはその両方を実行することで、前記データ拡張処理を行うことを特徴とする外観検査装置。
  4. 請求項１ないし３のいずれか１項に記載の外観検査装置において、
    前記画像処理部で生成された画像データを保存する第１記憶部をさらに備え、
    前記第１記憶部に保存された複数の画像データが前記学習データセット生成部に読み出されて、前記複数の学習データセットが生成されることを特徴とする外観検査装置。
  5. 請求項１ないし４のいずれか１項に記載の外観検査装置において、
    前記第１判定部での判定結果を通知する通知部をさらに備えたことを特徴とする外観検査装置。
  6. 請求項１ないし５のいずれか１項に記載の外観検査装置を用いた、溶接箇所の形状不良の有無及び種類を判定する判定精度の向上方法であって、
    前記ワークの前記溶接箇所の外観を検査する外観検査ステップと、
    前記外観検査ステップでの検査結果に基づいて、前記溶接箇所における形状不良の有無及び形状不良の種類を判定する形状不良判定ステップと、
    前記溶接箇所を人の目で確認する目視確認ステップと、
    前記目視確認ステップでの確認結果と、前記形状不良判定ステップでの判定結果と比較照合して、前記形状不良判定ステップでの判定結果が正しいか否かを判断する正否判断ステップと、を少なくとも備え、
    前記正否判断ステップでの判断結果が否定的である場合は、
    前記目視確認ステップで特定した形状不良の有無及び形状不良の種類を、前記溶接箇所の画像データにタグ付けするアノテーションステップと、
    前記アノテーションステップの実行後の前記溶接箇所の画像データに基づいて、前記学習データセットを生成する学習データセット生成ステップと、
    前記学習データセット生成ステップで生成された前記学習データセットを用いて、前記判定モデルの再学習を行う再学習ステップと、を実行して、再度、形状不良判定ステップに戻り、
    前記正否判断ステップでの判断結果が肯定的になるまで、一連の処理を繰り返し実行することを特徴とする溶接箇所の形状不良の有無及び種類の判定精度の向上方法。
  7. 請求項６に記載の溶接箇所の形状不良の有無及び種類の判定精度の向上方法において、
    前記再学習ステップで再学習が行われた前記判定モデルは、前記溶接箇所の形状不良の有無及び種類を判定するためのしきい値が、再学習前の判定モデルに比べて変化していることを特徴とする溶接箇所の形状不良の有無及び種類の判定精度の向上方法。
  8. 請求項６または７に記載の溶接箇所の形状不良の有無及び種類の判定精度の向上方法において、
    前記溶接箇所は、形状不良の有無や形状不良の種類の判定が他の部分に比べて困難な特定部分を含んでおり、
    前記特定部分には、溶接ビードの始端部や終端部が含まれることを特徴とする溶接箇所の形状不良の有無及び種類の判定精度の向上方法。
  9. 請求項８に記載の溶接箇所の形状不良の有無及び種類の判定精度の向上方法において、
    前記溶接箇所の形状不良の種類には、
    前記溶接箇所の一部が前記ワークより溶け落ちて前記ワークに形成された貫通穴である穴あきや、
    前記溶接ビードの際の部分が前記ワークの表面よりもへこんでいる状態の部分であるアンダーカットや、
    溶接ワイヤの先端に形成された溶滴の一部や前記ワークの溶融部分の微粒子が飛び散って前記溶接箇所に付着したスパッタや、
    前記ワークの溶接時に前記溶接箇所に付着した金属ゴミであるスラグや、
    前記ワークが亜鉛めっき鋼板である場合には、前記溶接箇所から一部が蒸発することで、溶接ビードの表面に開口して形成されたピットが少なくとも含まれることを特徴とする溶接箇所の形状不良の有無及び種類の判定精度の向上方法。
  10. ワークを溶接する溶接装置と、
    請求項１ないし５のいずれか１項に記載の外観検査装置と、を備え、
    前記溶接装置は、
    前記ワークに入熱するための溶接ヘッドと、
    前記溶接ヘッドの溶接出力を制御する出力制御部と、を少なくとも備えたことを特徴とする溶接システム。
  11. 請求項１０に記載の溶接システムにおいて、
    前記溶接装置は、
    前記溶接ヘッドを保持するとともに所望の位置に移動させるロボットアームと、
    前記ロボットアームの動作を制御するロボット制御部と、をさらに備え、
    前記第１判定部で前記溶接箇所の形状が不良であると判定された場合、前記出力制御部は前記溶接ヘッドの溶接出力を停止し、前記ロボット制御部は前記ロボットアームの動作を停止させるか、または前記溶接ヘッドが所定の初期位置に来るように前記ロボットアームを動作させることを特徴とする溶接システム。
  12. 請求項１０または１１に記載の溶接システムにおいて、
    前記外観検査装置は、
    前記第１判定部での判定結果と前記画像処理部から読み出された前記画像データとに基づいて、前記溶接箇所の不良モードと前記溶接箇所における形状不良箇所のサイズ及び位置とを含む形状不良情報を抽出するフィードバック部をさらに有し、
    前記出力制御部は、前記第１判定部で前記溶接箇所の形状が不良であると判定された場合、前記フィードバック部で抽出された前記形状不良情報に基づいて前記形状不良箇所が再溶接により修復可能か否かを判定するとともに、前記形状不良箇所が修復可能な場合は再溶接条件を設定することを特徴とする溶接システム。
  13. 請求項１２に記載の溶接システムにおいて、
    前記出力制御部は、
    予め取得された再溶接条件を保存する第２記憶部と、
    前記第２記憶部に保存された前記再溶接条件を前記溶接箇所の不良モード及び前記ワークの材質に応じてデータ拡張し、拡張された再溶接条件を前記第２記憶部に保存する再溶接条件拡張部と、を少なくとも有し、
    前記形状不良箇所が修復可能な場合、前記出力制御部は、前記拡張された再溶接条件の中から実際に使用される再溶接条件を設定することを特徴とする溶接システム。
  14. 請求項１２または１３に記載の溶接システムにおいて、
    前記溶接装置は、
    前記溶接ヘッドを保持するとともに所望の位置に移動させるロボットアームと、
    前記ロボットアームの動作を制御するロボット制御部と、をさらに備え、
    前記第１判定部で前記溶接箇所の形状が不良であると判定され、かつ前記出力制御部で前記形状不良箇所が再溶接により修復可能であると判定された場合、前記ロボット制御部は、前記形状不良箇所の位置に基づいて、前記溶接ヘッドが当該位置に来るように前記ロボットアームを動作させることを特徴とする溶接システム。
  15. 請求項１２ないし１４のいずれか１項に記載の溶接システムを用いたワークの溶接方法であって、
    前記溶接装置により前記ワークの所定の箇所を溶接する溶接ステップと、
    前記溶接ステップの終了後に前記外観検査装置を用いて前記ワークの溶接箇所の形状の良否を判定する形状判定ステップと、
    前記形状判定ステップでの判定結果に基づいて、前記溶接箇所における形状不良箇所が再溶接により修復可能か否かを判定する再溶接可否判定ステップと、を備え、
    前記形状判定ステップでの判定結果が肯定的である場合は、当該ワークにおける別の箇所の溶接を開始するか、または次のワークの溶接を開始し、
    前記形状判定ステップでの判定結果が否定的である場合は、前記再溶接可否判定ステップを実行し、
    前記再溶接可否判定ステップでの判定結果が肯定的である場合は、前記出力制御部で設定された再溶接条件に従って、前記形状不良箇所を再溶接することを特徴とするワークの溶接方法。
  16. 請求項１５に記載のワークの溶接方法において、
    前記再溶接可否判定ステップでの判定結果が否定的である場合は、前記ワークの溶接を中断することを特徴とするワークの溶接方法。
JP2020561270A 2018-12-19 2019-12-03 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法 Active JP7308461B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2018237516 2018-12-19
JP2018237521 2018-12-19
JP2018237516 2018-12-19
JP2018237521 2018-12-19
PCT/JP2019/047218 WO2020129617A1 (ja) 2018-12-19 2019-12-03 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法

Publications (2)

Publication Number Publication Date
JPWO2020129617A1 JPWO2020129617A1 (ja) 2021-11-04
JP7308461B2 true JP7308461B2 (ja) 2023-07-14

Family

ID=71101683

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020561270A Active JP7308461B2 (ja) 2018-12-19 2019-12-03 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法

Country Status (4)

Country Link
EP (1) EP3900870A4 (ja)
JP (1) JP7308461B2 (ja)
CN (1) CN113207286B (ja)
WO (1) WO2020129617A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI744999B (zh) * 2020-07-23 2021-11-01 和碩聯合科技股份有限公司 焊點檢測模型訓練方法、焊點檢測方法及焊點檢測裝置
CN112067623B (zh) * 2020-09-16 2024-05-24 中国京冶工程技术有限公司 钢结构构件焊缝外观质量检测方法及系统
JP7416279B2 (ja) 2020-10-06 2024-01-17 富士通株式会社 訓練データ生成プログラム、訓練データ生成方法及び訓練データ生成装置
DE102020213650A1 (de) * 2020-10-29 2022-05-05 Trumpf Laser- Und Systemtechnik Gmbh Verfahren und Vorrichtung zur Charakterisierung einer Schweißstelle
CN113390881B (zh) * 2021-06-09 2023-11-21 杭州圣建钢结构工程管理有限公司 一种焊缝检测可视化系统
CN113610814B (zh) * 2021-08-10 2022-11-18 广东利元亨智能装备股份有限公司 焊缝质量检测方法、装置、电子设备及存储介质
DE102021123038A1 (de) 2021-09-06 2023-03-09 Trumpf Laser- Und Systemtechnik Gmbh Spritzerdetektion durch künstliche Intelligenz bei der Laserbearbeitung
CN113732496B (zh) * 2021-09-08 2023-04-25 东风本田汽车有限公司 一种白车身顶盖激光填丝钎焊再加工系统及加工方法
EP4425155A1 (en) 2021-10-28 2024-09-04 Panasonic Intellectual Property Management Co., Ltd. Annotation assistance system and training assistance system that is for model for inspecting appearance and that uses said annotation assistance system
CN118159832A (zh) * 2021-10-28 2024-06-07 松下知识产权经营株式会社 学习辅助系统、外观检查装置、外观检查用软件的更新装置及外观检查用模型的更新方法
CN114354618A (zh) * 2021-12-16 2022-04-15 浙江大华技术股份有限公司 一种焊缝检测的方法及装置
WO2023120111A1 (ja) * 2021-12-24 2023-06-29 パナソニックＩｐマネジメント株式会社 外見検査装置、溶接システム及び溶接箇所の外観検査方法
JPWO2023120110A1 (ja) 2021-12-24 2023-06-29
CN114295640B (zh) * 2022-01-07 2022-11-08 江苏省特种设备安全监督检验研究院 一种容器焊缝识别方法及系统
EP4234158A1 (en) * 2022-02-25 2023-08-30 General Electric Company System and method for analyzing weld quality
JP2023128940A (ja) * 2022-03-04 2023-09-14 株式会社日立製作所 外観分析システム、外観分析方法、及びプログラム
DE102022115255A1 (de) 2022-06-20 2023-12-21 Trumpf Laser Gmbh System und Verfahren zur Fehlerkontrolle von Laserschweißprozessen
WO2024120894A1 (de) * 2022-12-09 2024-06-13 Trumpf Laser Gmbh VERFAHREN ZUM KORREKTURSCHWEIßEN, NAHTBEARBEITUNGSVORRICHTUNG ZUM KORREKTURSCHWEIßEN
DE102023001602A1 (de) 2023-04-21 2024-10-24 Mercedes-Benz Group AG Verfahren zum Verschweißen zweier Bauteile
CN116609345B (zh) * 2023-07-19 2023-10-17 北京阿丘机器人科技有限公司 电池盖板缺陷检测方法、装置、设备及存储介质
CN117086465B (zh) * 2023-09-27 2024-10-11 盐城工学院 一种基于ai技术的搅拌摩擦焊接机器人控制方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008164461A (ja) 2006-12-28 2008-07-17 Kochi Univ Of Technology 薄板状部品の検査方法と検査装置
JP2012037487A (ja) 2010-08-11 2012-02-23 Koatec Kk 形状検査装置及び形状検査方法
JP2015095212A (ja) 2013-11-14 2015-05-18 株式会社デンソーアイティーラボラトリ 識別器、識別プログラム、及び識別方法
JP2017151813A (ja) 2016-02-25 2017-08-31 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0772909B2 (ja) * 1991-08-27 1995-08-02 松下電工株式会社 外観検査による溶接状態判定方法
DE102004016669B3 (de) * 2004-01-07 2005-10-13 Daimlerchrysler Ag Verfahren zur Prüfung einer Laserschweissnaht
CN101556598A (zh) * 2009-05-08 2009-10-14 中国矿业大学 射线检测焊缝图像管理系统及辅助评片方法
JP5954284B2 (ja) * 2013-09-25 2016-07-20 Ｊｆｅスチール株式会社 表面欠陥検査装置及び表面欠陥検査方法
CN103760229B (zh) * 2014-01-07 2016-03-30 天津大学 基于支持向量机的焊接缺陷巨磁电阻涡流检测方法
CN104977313A (zh) * 2014-04-09 2015-10-14 四川省特种设备检验研究院 一种焊缝x射线图像缺陷检测与识别方法和装置
CN104977305A (zh) * 2015-06-29 2015-10-14 华中科技大学 一种基于红外视觉的焊接质量分析装置及分析方法
CN105891215B (zh) * 2016-03-31 2019-01-29 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置
CN105938563A (zh) * 2016-04-14 2016-09-14 北京工业大学 一种基于图像纹理的焊缝表面缺陷识别方法
JP6745173B2 (ja) * 2016-09-06 2020-08-26 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP7021728B2 (ja) * 2017-05-12 2022-02-17 株式会社神戸製鋼所 自動溶接システム、溶接制御方法、及び機械学習モデル
CN107451997A (zh) * 2017-07-31 2017-12-08 南昌航空大学 一种基于深度学习的焊缝超声tofd‑d扫描缺陷类型的自动识别方法
CN108776964A (zh) * 2018-06-04 2018-11-09 武汉理工大学 一种基于Adaboost及Haar特征的船舶焊缝缺陷图像检测系统及方法
CN109034204B (zh) * 2018-07-02 2022-01-25 西安交通大学 一种基于改进卷积神经网络的焊缝缺陷识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008164461A (ja) 2006-12-28 2008-07-17 Kochi Univ Of Technology 薄板状部品の検査方法と検査装置
JP2012037487A (ja) 2010-08-11 2012-02-23 Koatec Kk 形状検査装置及び形状検査方法
JP2015095212A (ja) 2013-11-14 2015-05-18 株式会社デンソーアイティーラボラトリ 識別器、識別プログラム、及び識別方法
JP2017151813A (ja) 2016-02-25 2017-08-31 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置

Also Published As

Publication number Publication date
EP3900870A1 (en) 2021-10-27
JPWO2020129617A1 (ja) 2021-11-04
CN113207286B (zh) 2023-04-25
CN113207286A (zh) 2021-08-03
EP3900870A4 (en) 2022-02-16
WO2020129617A1 (ja) 2020-06-25

Similar Documents

Publication Publication Date Title
JP7308461B2 (ja) 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法
JP7316573B2 (ja) 溶接システム及びそれを用いたワークの溶接方法
JP7068950B2 (ja) 溶接設計支援方法、及びプログラム
JP2000167666A (ja) 自動溶接及び欠陥補修方法並びに自動溶接装置
JP7403907B2 (ja) 溶接品質を分析するためのシステムおよび方法
JP7422337B2 (ja) リペア溶接制御装置およびリペア溶接制御方法
CN115401220A (zh) 监视系统以及附加制造系统
JP2005014027A (ja) 溶接部のイメージ処理方法、溶接管理システム、溶接機のためのフィードバックシステム、突合わせ線検出システム
JP2024056076A (ja) 制御装置、表示装置の制御方法およびプログラム
KR102716913B1 (ko) 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 방법 및 용접 품질 검사 모델 생성 장치
WO2023068055A1 (ja) 溶接監視方法及び溶接監視装置、並びに積層造形方法及び積層造形装置
JP7555041B2 (ja) ビード外観検査装置、ビード外観検査方法、プログラムおよびビード外観検査システム
JP7555043B2 (ja) ビード外観検査装置、ビード外観検査方法、プログラムおよびビード外観検査システム
Soares et al. Computer vision system for weld bead geometric analysis
WO2004109268A1 (en) Weld quality evaluation
WO2024117262A1 (ja) 外観検査装置、溶接システム及び溶接箇所の外観検査方法
WO2023120111A1 (ja) 外見検査装置、溶接システム及び溶接箇所の外観検査方法
WO2023120110A1 (ja) 外観検査装置、溶接システム、形状データの補正方法及び溶接箇所の外観検査方法
WO2023074183A1 (ja) 学習支援システム、外観検査装置、外観検査用ソフトの更新装置及び外観検査用モデルの更新方法
JP7555042B2 (ja) ビード外観検査装置、ビード外観検査方法、プログラムおよびビード外観検査システム
JP7496540B2 (ja) ロボット制御装置およびオフライン教示システム
JP2023143763A (ja) 学習データ生成装置、学習データ生成方法、学習データ生成用プログラム及び溶接箇所の形状評価システム
JP2023549301A (ja) 加工操作の品質評価のための方法および装置
CN112362305A (zh) 一种检测气门杆正反面的方法及系统
CN115210034A (zh) 焊道外观检查装置和焊道外观检查系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230623

R151 Written notification of patent or utility model registration

Ref document number: 7308461

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151