KR20240015960A - Welding quality monitoring method and welding quality monitoring system - Google Patents

Welding quality monitoring method and welding quality monitoring system Download PDF

Info

Publication number
KR20240015960A
KR20240015960A KR1020220093893A KR20220093893A KR20240015960A KR 20240015960 A KR20240015960 A KR 20240015960A KR 1020220093893 A KR1020220093893 A KR 1020220093893A KR 20220093893 A KR20220093893 A KR 20220093893A KR 20240015960 A KR20240015960 A KR 20240015960A
Authority
KR
South Korea
Prior art keywords
welding
average value
welding quality
output
base material
Prior art date
Application number
KR1020220093893A
Other languages
Korean (ko)
Inventor
이희준
Original Assignee
(주)한국 모니터링 시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)한국 모니터링 시스템 filed Critical (주)한국 모니터링 시스템
Priority to KR1020220093893A priority Critical patent/KR20240015960A/en
Publication of KR20240015960A publication Critical patent/KR20240015960A/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125Weld quality monitoring
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/42Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

본 발명은 용접 공정 중 용접 품질을 예측 및 모니터링할 수 있는 용접 품질 모니터링 방법 및 용접 품질 모니터링 시스템에 관한 것으로서, 이미지 센서가 모재의 용접 부위에서 순간적으로 발생되는 용접광을 분광기를 통해 파장별로 분산된 상태로 센싱하고, 이를 파장 대역에 따른 빛의 세기의 변화를 나타내는 그래프 형태의 신호로서, 상기 모재의 용접 중, 소정의 시간동안 소정의 횟수로 복수의 스펙트럼 신호를 출력하는 스펙트럼 신호 출력 단계와, 상기 스펙트럼 신호 출력 단계에서 상기 소정의 시간동안 시간순으로 출력된 상기 복수의 스펙트럼 신호를 연산하여, 상기 소정의 시간동안 시간별 흐름에 따른 상기 용접광의 파장별 상기 빛의 세기의 분포를 색상으로 구분하여 나타낸 색상 이미지 맵으로 도출하는 신호 처리 단계와, 사전에 실험을 통해 도출된, 실험용 시편의 용접 결과와, 상기 실험용 시편의 실험용 용접광으로부터 도출된 실험용 색상 이미지 맵 간의 상관관계를 학습 데이터로 학습한 인공신경망에 기초하여, 상기 신호 처리 단계에서 도출된 상기 색상 이미지 맵으로부터 상기 모재의 용접 품질을 예측하는 용접 품질 예측 단계 및 상기 용접 품질 예측 단계에서 예측된 상기 모재의 예측 용접 상태를 출력 데이터로 출력하는 결과 출력 단계를 포함할 수 있다.The present invention relates to a welding quality monitoring method and a welding quality monitoring system that can predict and monitor welding quality during the welding process. A spectrum signal output step of sensing the state and outputting a plurality of spectrum signals as a signal in the form of a graph representing the change in light intensity according to the wavelength band, a predetermined number of times during a predetermined time during welding of the base material; In the spectrum signal output step, the plurality of spectrum signals output in chronological order for the predetermined time are calculated, and the distribution of the light intensity according to the wavelength of the welding light according to the time flow during the predetermined time is displayed by color classification. The correlation between the signal processing step derived from the color image map, the welding result of the experimental specimen derived through prior experiments, and the experimental color image map derived from the experimental welding light of the experimental specimen was learned as learning data. Based on a neural network, a welding quality prediction step of predicting the welding quality of the base material from the color image map derived in the signal processing step, and outputting the predicted welding state of the base material predicted in the welding quality prediction step as output data. A result output step may be included.

Description

용접 품질 모니터링 방법 및 용접 품질 모니터링 시스템{Welding quality monitoring method and welding quality monitoring system}Welding quality monitoring method and welding quality monitoring system}

본 발명은 용접 품질 모니터링 방법 및 용접 품질 모니터링 시스템에 관한 것으로서, 더 상세하게는 용접 공정 중 용접 품질을 예측 및 모니터링할 수 있는 용접 품질 모니터링 방법 및 용접 품질 모니터링 시스템에 관한 것이다.The present invention relates to a welding quality monitoring method and a welding quality monitoring system, and more specifically, to a welding quality monitoring method and a welding quality monitoring system that can predict and monitor welding quality during the welding process.

용접에 의한 소재의 접합은 매우 다양한 산업에서 오래전부터 사용되어 왔으며, 용접방법은 아크용접과 가스용접 외에 테르밋용접, 일렉트로 슬래그 용접 및 전자빔 용접과 같은 특수용접 등 매우 다양한 방법이 개발되어 활용되고 있다.Joining materials by welding has been used in a wide variety of industries for a long time, and in addition to arc welding and gas welding, a wide variety of welding methods have been developed and used, including special welding such as thermite welding, electro slag welding, and electron beam welding.

근래에 들어서는 자동차, 항공, 원자력, 이차전지 산업 등에서 다양한 부품 들에 대한 정밀 용접의 필요성이 증가되면서 고출력 산업용 레이저를 이용한 레이저 용접도 점차 활용범위가 넓어지고 있다. 아울러, 대량생산의 효율성 향상을 위하여 용접로봇 등을 이용하여 용접의 자동화 또한 수십 년 전부터 지속적으로 개발 및 활용되어 오고 있다. 용접의 자동화를 위해서는, 안정적인 용접품질을 얻기 위하여 실시간으로 용접부를 모니터링 할 수 있는 방안이 필수적으로 요구되고 있다.In recent years, as the need for precision welding of various parts has increased in the automobile, aviation, nuclear, and secondary battery industries, the scope of use of laser welding using high-power industrial lasers is gradually expanding. In addition, in order to improve the efficiency of mass production, automation of welding using welding robots has been continuously developed and utilized for several decades. In order to automate welding, a method that can monitor welds in real time is essential to obtain stable welding quality.

종래에, 용접의 품질을 모니터링하기 위해 용접부에서 방사되는 광을 분석하는 방법이 제안된 바 있다. 이는 용접이 올바르게 수행되었는가 여부에 따라 용접부에서 방사되는 광의 성격이 다르다는 원리를 활용한 것이다.Conventionally, a method of analyzing light emitted from a welded area has been proposed to monitor the quality of welding. This utilizes the principle that the nature of the light emitted from the weld zone varies depending on whether the welding was performed correctly.

그러나, 이러한 종래의 광을 이용한 용접 품질 모니터링은, 용접부에서 발생하는 광이 매우 여러 가지 인수의 영향을 받아 매우 다양하게 나타나, 용접 품질의 예측 및 모니터링의 정확도가 떨어지는 문제점이 있었다. 예컨대, 용접 공정 중 용접 부위에서 방출되는 광은 용접되는 모재의 재질 및 치수, 조사되는 레이저의 세기 및 상대적 이동 속도 등에 따라 매우 다르게 나타날 수 있으며, 양호한 용접과 불량 용접 사이의 차이 또한 광의 각 파장별로 다르게 나타날 수 있다. 이와 같이, 종래의 광을 이용한 용접 품질 모니터링은, 용접 시 매우 넓은 범위에 걸쳐 다양하게 나타날 수 있는 특징들을 종합적으로 고려하여 용접의 양호 또는 불량 여부를 정확하게 판단하는데 어려움이 따른다는 문제점이 있었다.However, the conventional welding quality monitoring using light had a problem in that the light emitted from the weld zone was affected by many factors and appeared in many different ways, resulting in low accuracy in predicting and monitoring the welding quality. For example, the light emitted from the weld area during the welding process can appear very different depending on the material and dimensions of the base material being welded, the intensity of the irradiated laser, and the relative moving speed. The difference between a good weld and a bad weld can also vary depending on each wavelength of light. It may appear differently. As such, conventional welding quality monitoring using light has the problem of difficulty in accurately determining whether the weld is good or bad by comprehensively considering various characteristics that may appear over a very wide range during welding.

본 발명은 상기와 같은 문제점을 포함하여 여러 문제점들을 해결하기 위한 것으로서, 레이저 용접 시, 용접 부위에서 발생되는 용접광을 분광기를 통해 파장별로 분산된 상태로 센싱한 이미지 신호를 이용하여, 용접의 양호 또는 불량 여부를 높은 정확도로 판단할 수 있는 용접 품질 모니터링 방법 및 용접 품질 모니터링 시스템을 제공하는 것을 목적으로 한다. 그러나 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.The present invention is intended to solve various problems including the problems described above. During laser welding, the welding light generated at the welding site is sensed in a dispersed state by wavelength through a spectroscope to determine the quality of welding. Alternatively, the purpose is to provide a welding quality monitoring method and a welding quality monitoring system that can determine defects with high accuracy. However, these tasks are illustrative and do not limit the scope of the present invention.

본 발명의 일 실시예에 따르면, 용접 품질 모니터링 방법이 제공된다. 상기 용접 품질 모니터링 방법은, 모재의 용접 중, 상기 모재의 용접 부위에서 발생되는 용접광을 실시간으로 모니터링 및 분석하여 상기 모재의 용접 품질을 평가할 수 있는 용접 품질 모니터링 방법에 있어서, 이미지 센서가 상기 모재의 상기 용접 부위에서 순간적으로 발생되는 상기 용접광을 분광기를 통해 파장별로 분산된 상태로 센싱하고, 이를 파장 대역에 따른 빛의 세기의 변화를 나타내는 그래프 형태의 신호로서, 상기 모재의 용접 중, 소정의 시간동안 소정의 횟수로 복수의 스펙트럼 신호를 출력하는 스펙트럼 신호 출력 단계; 상기 스펙트럼 신호 출력 단계에서 상기 소정의 시간동안 시간순으로 출력된 상기 복수의 스펙트럼 신호를 연산하여, 상기 소정의 시간동안 시간별 흐름에 따른 상기 용접광의 파장별 상기 빛의 세기의 분포를 색상으로 구분하여 나타낸 색상 이미지 맵으로 도출하는 신호 처리 단계; 사전에 실험을 통해 도출된, 실험용 시편의 용접 결과와, 상기 실험용 시편의 실험용 용접광으로부터 도출된 실험용 색상 이미지 맵 간의 상관관계를 학습 데이터로 학습한 인공신경망에 기초하여, 상기 신호 처리 단계에서 도출된 상기 색상 이미지 맵으로부터 상기 모재의 용접 품질을 예측하는 용접 품질 예측 단계; 및 상기 용접 품질 예측 단계에서 예측된 상기 모재의 예측 용접 상태를 출력 데이터로 출력하는 결과 출력 단계;를 포함할 수 있다.According to one embodiment of the present invention, a welding quality monitoring method is provided. The welding quality monitoring method is capable of evaluating the welding quality of the base material by monitoring and analyzing the welding light generated at the welding area of the base material in real time during welding of the base material, wherein an image sensor is used to monitor and analyze the welding quality of the base material. The welding light generated momentarily at the welding site is sensed in a dispersed state by wavelength through a spectrometer, and this is a signal in the form of a graph representing the change in the intensity of light according to the wavelength band, and during welding of the base material, a predetermined A spectrum signal output step of outputting a plurality of spectrum signals a predetermined number of times for a period of time; In the spectrum signal output step, the plurality of spectrum signals output in chronological order for the predetermined time are calculated, and the distribution of the light intensity according to the wavelength of the welding light according to the time flow during the predetermined time is displayed by color classification. A signal processing step to derive a color image map; The correlation between the welding results of the experimental specimen derived through prior experiments and the experimental color image map derived from the experimental welding light of the experimental specimen is derived in the signal processing step based on an artificial neural network learned with learning data. A welding quality prediction step of predicting the welding quality of the base material from the color image map; and a result output step of outputting the predicted welding state of the base material predicted in the welding quality prediction step as output data.

본 발명의 일 실시예에 의하면, 상기 신호 처리 단계는, 상기 스펙트럼 신호 출력 단계에서 출력되는 상기 복수의 스펙트럼 신호를 상기 소정의 시간동안 시간순으로 취득하는 신호 취득 단계; 상기 복수의 스펙트럼 신호에서 서로 다른 소정의 파장 대역 범위를 가지는 복수의 밴드 영역을 설정하는 밴드 설정 단계; 및 시간순으로 취득된 각각의 개별 스펙트럼 신호에서, 각 밴드 영역 내에서의 상기 빛의 세기의 복수의 평균값을 산출하고, 이를 상기 복수의 스펙트럼 신호가 취득된 시간 순에 따른 상기 용접광의 파장별 상기 복수의 평균값의 분포를 색상으로 구분하여 나타낸 상기 색상 이미지 맵으로 출력하는 이미지 도면 출력 단계;를 포함할 수 있다.According to one embodiment of the present invention, the signal processing step includes: a signal acquisition step of acquiring the plurality of spectrum signals output from the spectrum signal output step in chronological order for the predetermined time; A band setting step of setting a plurality of band areas having different predetermined wavelength band ranges in the plurality of spectrum signals; and calculating a plurality of average values of the light intensity within each band region from each individual spectrum signal acquired in time order, and calculating the plurality of average values for each wavelength of the welding light according to the time order in which the plurality of spectrum signals were acquired. It may include an image drawing output step of outputting the distribution of the average value of the color as the color image map.

본 발명의 일 실시예에 의하면, 상기 스펙트럼 신호 출력 단계는, 제 1 시간에 상기 분광기를 통해 파장별로 분산된 상태로 센싱된 상기 용접광을 제 1 스펙트럼 신호로 출력하는 제 1 스펙트럼 출력 단계; 상기 제 1 시간으로부터 소정의 시간 간격을 가지는 제 2 시간에 상기 분광기를 통해 파장별로 분산된 상태로 센싱된 상기 용접광을 제 2 스펙트럼 신호로 출력하는 제 2 스펙트럼 출력 단계; 및 제 n-1 시간으로부터 상기 소정의 시간 간격을 가지는 제 n 시간에 상기 분광기를 통해 파장별로 분산된 상태로 센싱된 상기 용접광을 제 n 스펙트럼 신호로 출력하는 제 n 스펙트럼 출력 단계;를 포함할 수 있다.According to one embodiment of the present invention, the spectrum signal output step includes: outputting the welding light sensed in a dispersed state by wavelength through the spectrometer at a first time as a first spectrum signal; A second spectrum output step of outputting the welding light sensed in a dispersed state by wavelength through the spectrometer at a second time at a predetermined time interval from the first time as a second spectrum signal; And an n-th spectrum output step of outputting the welding light sensed in a dispersed state by wavelength through the spectrometer at the n-th time having the predetermined time interval from the n-1 time as an n-th spectrum signal. You can.

본 발명의 일 실시예에 의하면, 상기 소정의 시간은, 상기 제 1 시간부터 상기 제 n 시간까지의 시간이고, 상기 스펙트럼 신호 출력 단계에서, 상기 복수의 스펙트럼 신호는, 상기 소정의 시간동안 n개가 출력될 수 있다.According to one embodiment of the present invention, the predetermined time is the time from the first time to the nth time, and in the spectrum signal output step, the plurality of spectrum signals are n during the predetermined time. can be printed.

본 발명의 일 실시예에 의하면, 상기 신호 취득 단계는, 상기 스펙트럼 신호 출력 단계에서 출력되는 상기 제 1 스펙트럼 신호 내지 상기 제 n 스펙트럼 신호를 상기 제 1 시간부터 상기 제 n 시간까지 상기 소정의 시간 간격으로 취득하고, 상기 밴드 설정 단계는, 상기 제 1 스펙트럼 신호 내지 상기 제 n 스펙트럼 신호를 포함하는 상기 복수의 스펙트럼 신호에서 소정의 파장 대역 범위를 가지는 제 1 밴드 영역을 설정하는 제 1 영역 설정 단계; 상기 복수의 스펙트럼 신호에서 상기 제 1 밴드 영역보다 높은 영역대의 소정의 파장 대역 범위를 가지는 제 2 밴드 영역을 설정하는 제 2 영역 설정 단계; 및 상기 복수의 스펙트럼 신호에서 제 n-1 밴드 영역보다 높은 영역대의 소정의 파장 대역 범위를 가지는 제 n 밴드 영역을 설정하는 제 n 영역 설정 단계;를 포함할 수 있다.According to an embodiment of the present invention, the signal acquisition step includes converting the first spectrum signal to the nth spectrum signal output from the spectrum signal output step at the predetermined time interval from the first time to the nth time. , and the band setting step includes: a first area setting step of setting a first band area having a predetermined wavelength band range in the plurality of spectrum signals including the first to the nth spectrum signals; A second area setting step of setting a second band area having a predetermined wavelength band range higher than the first band area in the plurality of spectrum signals; and an n-th region setting step of setting an n-th band region having a predetermined wavelength band range higher than the n-1-th band region in the plurality of spectrum signals.

본 발명의 일 실시예에 의하면, 상기 이미지 도면 출력 단계는, 상기 제 1 시간에 취득된 상기 제 1 스펙트럼 신호에서, 상기 제 1 밴드 영역에서의 상기 빛의 세기의 평균값을 제 1-1 평균값으로 산출하고, 상기 제 2 밴드 영역에서의 상기 빛의 세기의 평균값을 제 1-2 평균값으로 산출하며, 상기 제 n 밴드 영역에서의 상기 빛의 세기의 평균값을 제 1-n 평균값으로 산출하는 제 1 평균값 산출 단계; 상기 제 2 시간에 취득된 상기 제 2 스펙트럼 신호에서, 상기 제 1 밴드 영역에서의 상기 빛의 세기의 평균값을 제 2-1 평균값으로 산출하고, 상기 제 2 밴드 영역에서의 상기 빛의 세기의 평균값을 제 2-2 평균값으로 산출하며, 상기 제 n 밴드 영역에서의 상기 빛의 세기의 평균값을 제 2-n 평균값으로 산출하는 제 2 평균값 산출 단계; 및 상기 제 n 시간에 취득된 상기 제 n 스펙트럼 신호에서, 상기 제 1 밴드 영역에서의 상기 빛의 세기의 평균값을 제 n-1 평균값으로 산출하고, 상기 제 2 밴드 영역에서의 상기 빛의 세기의 평균값을 제 n-2 평균값으로 산출하며, 상기 제 n 밴드 영역에서의 상기 빛의 세기의 평균값을 제 n-n 평균값으로 산출하는 제 n 평균값 산출 단계;를 포함하고, 상기 제 1 평균값 산출 단계 내지 상기 제 n 평균값 산출 단계에서 산출된 상기 빛의 세기의 상기 제 1-1 평균값 내지 상기 제 n-n 평균값을 포함하는 상기 복수의 평균값을 상기 빛의 세기에 따른 색상으로 구분하여, 상기 복수의 평균값이 상기 제 1 시간부터 상기 제 n 시간까지 시간 순에 따른 상기 용접광의 파장별로 분포하도록 색상 분포로 나타낸 상기 색상 이미지 맵을 출력할 수 있다.According to one embodiment of the present invention, the image drawing output step is to set the average value of the light intensity in the first band region as a 1-1 average value in the first spectrum signal acquired at the first time. Calculating, calculating the average value of the light intensity in the second band region as a 1-2 average value, and calculating the average value of the light intensity in the n-th band region as a 1-n average value Average value calculation step; In the second spectrum signal acquired at the second time, the average value of the light intensity in the first band region is calculated as a 2-1 average value, and the average value of the light intensity in the second band region is calculated as a 2-1 average value. A second average value calculation step of calculating as a 2-2 average value, and calculating the average value of the light intensity in the n-th band region as a 2-n average value; And in the n-th spectrum signal acquired at the n-th time, the average value of the light intensity in the first band region is calculated as the n-1 average value, and the light intensity in the second band region is calculated as the n-1 average value. An nth average value calculation step of calculating the average value as the n-2th average value, and calculating the average value of the light intensity in the nth band region as the n-nth average value; comprising the first average value calculation step to the first average value. The plurality of average values, including the 1-1st average value to the n-nth average value of the light intensity calculated in the n average value calculation step, are divided into colors according to the light intensity, and the plurality of average values are the first The color image map expressed as a color distribution may be output so that the welding light is distributed by wavelength in chronological order from time to the nth time.

본 발명의 일 실시예에 의하면, 상기 이미지 도면 출력 단계는, 색상의 밝기 차이로 상기 복수의 평균값의 각각의 평균값이 나타내는 상기 빛의 세기를 구분할 수 있다.According to an embodiment of the present invention, in the image drawing output step, the light intensity indicated by each average value of the plurality of average values can be distinguished based on the difference in color brightness.

본 발명의 일 실시예에 의하면, 상기 제 1 평균값 산출 단계는, 상기 제 1 밴드 영역 내지 상기 제 n 밴드 영역을 포함하는 각 밴드 영역을 독립 변수로 하고, 상기 각 밴드 영역에서 산출된 상기 제 1-1 평균값 내지 상기 제 1-n 평균값을 종속 변수로 하여, 변수들 사이의 관계를 추정하는 회귀분석의 결과로 상관관계를 취득하며, 취득된 상관관계를 이용하여 상기 빛의 세기의 평균값이 산출되지 않은 밴드 영역의 상기 빛의 세기의 예상 평균값을 도출하고, 상기 이미지 도면 출력 단계는, 상기 색상 이미지 맵 출력 시 상기 예상 평균값을 상기 색상 분포에 포함할 수 있다.According to an embodiment of the present invention, the first average value calculation step uses each band region including the first band region to the nth band region as an independent variable, and the first average value calculated in each band region is used as an independent variable. Using the -1 average value or the 1-n average value as the dependent variable, a correlation is obtained as a result of a regression analysis that estimates the relationship between variables, and the average value of the light intensity is calculated using the obtained correlation. The expected average value of the light intensity of the unused band area may be derived, and the image drawing output step may include the expected average value in the color distribution when outputting the color image map.

본 발명의 일 실시예에 의하면, 상기 용접 품질 예측 단계는, 상기 실험용 시편의 용접 시 발생되는 상기 실험용 용접광으로부터 도출된 상기 실험용 색상 이미지 맵 및 상기 실험용 시편의 용접 결과를 학습 데이터로 저장하는 정보 저장 단계; 상기 학습 데이터로 저장된 상기 실험용 색상 이미지 맵 및 상기 실험용 시편의 용접 결과의 상관관계를 상기 인공신경망에 의해 기계적으로 학습하는 학습 단계; 및 상기 인공신경망에 기초하여, 상기 신호 처리 단계에서 도출된 상기 색상 이미지 맵으로부터 상기 모재의 용접 품질을 판단하는 판단 단계;를 포함할 수 있다.According to an embodiment of the present invention, the welding quality prediction step includes storing the experimental color image map derived from the experimental welding light generated during welding of the experimental specimen and the welding result of the experimental specimen as learning data. storage step; A learning step of mechanically learning the correlation between the experimental color image map stored as the learning data and the welding results of the experimental specimen by the artificial neural network; and a determination step of determining welding quality of the base material from the color image map derived in the signal processing step, based on the artificial neural network.

본 발명의 일 실시예에 의하면, 상기 정보 저장 단계는, 상기 실험용 색상 이미지 맵 및 그와 대응되는 상기 실험용 시편의 용접 결과를 사전에 실험을 통해 도출하여 상기 학습 데이터로 복수개 저장하고, 상기 학습 단계는, 복수개의 상기 학습 데이터를 상기 인공신경망을 기반으로 학습할 수 있다.According to an embodiment of the present invention, the information storage step includes deriving a plurality of welding results of the experimental color image map and the corresponding experimental specimen through experimentation in advance and storing them as the learning data, and the learning step. Can learn a plurality of the learning data based on the artificial neural network.

본 발명의 일 실시예에 의하면, 상기 용접 품질 예측 단계는, 상기 학습 단계에서 학습된 상기 인공신경망의 오류 발생을 최소화시킬 수 있도록, 상기 인공신경망을 최적화시키는 최적화 단계;를 더 포함할 수 있다.According to one embodiment of the present invention, the welding quality prediction step may further include an optimization step of optimizing the artificial neural network so as to minimize the occurrence of errors in the artificial neural network learned in the learning step.

본 발명의 일 실시예에 의하면, 상기 최적화 단계는, 상기 모재의 용접 중, 상기 인공신경망에 기초하여 상기 신호 처리 단계에서 도출된 상기 색상 이미지 맵으로부터 예측된 상기 모재의 상기 예측 용접 상태와, 상기 모재의 용접 완료 후 확인한 상기 모재의 실측 용접 결과를 비교하여, 상기 실측 용접 결과 대비 상기 예측 용접 상태의 오차의 합을 손실 함수(Loss function)으로 도출하는 비교 학습 단계; 및 상기 비교 학습 단계에서 도출된 상기 손실 함수를 고려하여 상기 예측 용접 상태의 오차를 최소화하기 위한 최적화 결과를 상기 학습 단계의 상기 인공신경망에 반영하는 보정 단계;를 포함할 수 있다.According to one embodiment of the present invention, the optimization step includes, during welding of the base material, the predicted welding state of the base material predicted from the color image map derived in the signal processing step based on the artificial neural network, and A comparison learning step of comparing the actual welding results of the base material confirmed after completion of welding of the base material and deriving the sum of the errors of the predicted welding state compared to the actual welding results as a loss function; and a correction step of reflecting the optimization result for minimizing the error of the predicted welding state in the artificial neural network of the learning step by considering the loss function derived in the comparative learning step.

본 발명의 일 실시예에 의하면, 상기 신호 처리 단계는, 상기 이미지 도면 출력 단계에서 출력된 상기 색상 이미지 맵을 CIE 1931 XYZ 색체계에 의해 RGB 값으로 변환하고, 이를 상기 복수의 스펙트럼 신호가 취득된 시간 순에 따른 상기 RGB 값의 변화를 나타내는 그래프 형태의 신호로서, 각 RGB 영역별로 구분해서 나타내는 RGB값 변화 그래프로 출력하는 신호 가공 단계;를 더 포함할 수 있다.According to one embodiment of the present invention, the signal processing step converts the color image map output in the image drawing output step into RGB values according to the CIE 1931 It is a signal in the form of a graph representing the change in the RGB values according to the order, and may further include a signal processing step of outputting the RGB value change graph separately for each RGB region.

본 발명의 일 실시예에 의하면, 상기 신호 처리 단계는, 상기 RGB 값 변화 그래프에서, R값의 평균(), G값의 평균(), B값의 평균(), R값의 표준편차(STD(R)), G값의 표준편차(STD(G)), B값의 표준편차(STD(B)), 최대 강도 파장 평균() 및 최대 강도 파장의 표준편차(STD()) 중 적어도 어느 하나 이상을 입력 변수로 추출할 수 있다.According to one embodiment of the present invention, the signal processing step is the average of the R value in the RGB value change graph ( ), average of G values ( ), average of B values ( ), standard deviation of R value (STD(R)), standard deviation of G value (STD(G)), standard deviation of B value (STD(B)), maximum intensity wavelength average ( ) and the standard deviation of the maximum intensity wavelength (STD( )) can be extracted as an input variable.

본 발명의 일 실시예에 의하면, 상기 정보 저장 단계는, 상기 실험용 색상 이미지 맵으로부터 실험용 RGB값 변화 그래프를 출력하여, 상기 실험용 RGB값 변화 그래프로부터 실험용 입력 변수를 추출하여 상기 학습 데이터로 저장하는 입력 변수 저장 단계; 및 상기 실험용 시편의 용접 결과를 미접합, 용입 부족, 완전 용입 및 갭의 의한 미접합 총 4개로 구분된 학습용 출력 변수로 추출하여 상기 학습 데이터로 저장하는 출력 변수 저장 단계;를 포함하고, 상기 학습 단계는, 상기 실험용 입력 변수와 상기 학습용 출력 변수의 상관관계를 상기 인공신경망에 의해 기계적으로 학습할 수 있다.According to one embodiment of the present invention, the information storage step includes outputting an experimental RGB value change graph from the experimental color image map, extracting experimental input variables from the experimental RGB value change graph, and storing them as the learning data. variable storage step; And an output variable storage step of extracting the welding results of the experimental specimen as a learning output variable divided into a total of four types: unjoined, insufficient penetration, full penetration, and not joined due to a gap, and storing the learning data as the learning data. In this step, the correlation between the experimental input variables and the learning output variables can be mechanically learned by the artificial neural network.

본 발명의 일 실시예에 의하면, 상기 출력 변수 저장 단계는, 상기 미접합, 상기 용입 부족, 상기 완전 용입 및 상기 갭의 의한 미접합 중, 가장 큰 값을 1로, 나머지 값을 0으로 처리하여, 1과 0의 숫자 조합으로 상기 학습용 출력 변수를 추출할 수 있다.According to one embodiment of the present invention, the output variable storage step processes the largest value among the non-bonding, the lack of penetration, the complete penetration, and the non-bonding due to the gap as 1 and the remaining values as 0. , the learning output variable can be extracted as a combination of numbers 1 and 0.

본 발명의 일 실시예에 의하면, 상기 판단 단계는, 상기 학습 단계에서, 상기 실험용 입력 변수와 상기 학습용 출력 변수의 상관관계를 기계적으로 학습한 상기 인공신경망을 기초로, 상기 입력 변수 추출 단계로부터 추출된 상기 입력 변수로부터 출력 변수를 산출하여 상기 모재의 용접 품질을 판단할 수 있다.According to one embodiment of the present invention, the decision step is to extract the input variable from the input variable extraction step based on the artificial neural network that mechanically learned the correlation between the experimental input variable and the learning output variable in the learning step. The welding quality of the base material can be determined by calculating output variables from the input variables.

본 발명의 다른 실시예에 따르면, 용접 품질 모니터링 시스템이 제공된다. 상기 용접 품질 모니터링 시스템은, 모재의 용접 부위에 레이저빔을 조사하여 상기 모재의 용접을 행하는 용접 헤드에서, 상기 레이저빔의 광경로 상에 설치되어, 상기 모재의 상기 용접 부위에서 발생되어 상기 용접 헤드로 입사되는 용접광을 분광하여 파장별로 분산된 상태로 스펙트럼을 형성하고, 상기 스펙트럼을 이미지 신호로 센싱하는 분광 센싱부; 및 상기 분광 센싱부로부터 수신되는 상기 이미지 신호에 따라 상기 모재의 예측 용접 상태를 모니터링하는 모니터링부;를 포함하고, 상기 모니터링부는, 상기 분광 센싱부를 통해 센싱된 상기 이미지 신호를 상기 모재의 용접 중 소정의 시간동안 소정의 횟수로 복수회 인가받고, 상기 이미지 신호를 파장 대역에 따른 빛의 세기의 변화를 나타내는 그래프 형태의 신호로서, 복수의 스펙트럼 신호를 출력하는 스펙트럼 신호 출력부; 상기 스펙트럼 신호 출력부에서 상기 소정의 시간동안 시간순으로 출력된 상기 복수의 스펙트럼 신호를 연산하여, 상기 소정의 시간동안 시간별 흐름에 따른 상기 용접광의 파장별 상기 빛의 세기의 분포를 색상으로 구분하여 나타낸 색상 이미지 맵으로 도출하는 신호 처리부; 사전에 실험을 통해 도출된, 실험용 시편의 용접 결과와, 상기 실험용 시편의 실험용 용접광으로부터 도출된 실험용 색상 이미지 맵 간의 상관관계를 학습 데이터로 학습한 인공신경망에 기초하여, 상기 신호 처리부에서 도출된 상기 색상 이미지 맵으로부터 상기 모재의 용접 품질을 예측하는 용접 품질 예측부; 및 상기 용접 품질 예측부에서 예측된 상기 모재의 예측 용접 상태를 출력 데이터로 출력하는 출력부;를 포함할 수 있다.According to another embodiment of the present invention, a weld quality monitoring system is provided. The welding quality monitoring system is installed on a welding head that performs welding of the base material by irradiating a laser beam to the welding area of the base material, is installed on the optical path of the laser beam, and is generated at the welding area of the base material to the welding head. A spectral sensing unit that specifies the incident welding light to form a spectrum distributed by wavelength and senses the spectrum as an image signal; And a monitoring unit that monitors the predicted welding state of the base material according to the image signal received from the spectral sensing unit, wherein the monitoring unit uses the image signal sensed through the spectral sensing unit to determine a predetermined condition during welding of the base material. A spectrum signal output unit that is applied a predetermined number of times for a period of time and outputs a plurality of spectrum signals as a signal in the form of a graph representing the change in light intensity according to the wavelength band of the image signal; The spectrum signal output unit calculates the plurality of spectrum signals output in chronological order for the predetermined time, and displays the distribution of the light intensity according to the wavelength of the welding light according to the flow by time during the predetermined time, classified by color. A signal processing unit derived from a color image map; Based on an artificial neural network that learned the correlation between the welding results of the experimental specimen, which was derived through a prior experiment, and the experimental color image map derived from the experimental welding light of the experimental specimen, as learning data, the signal processor derived a welding quality prediction unit that predicts welding quality of the base material from the color image map; and an output unit that outputs the predicted welding state of the base material predicted by the welding quality prediction unit as output data.

상기한 바와 같이 이루어진 본 발명의 일 실시예에 따르면, 레이저 용접 시, 용접 부위에서 발생되는 용접광을 분광기를 통해 파장별로 분산된 상태로 센싱한 이미지 신호를 파장 대역에 따른 빛의 세기의 변화를 나타내는 스펙트럼 신호로 출력하고, 출력된 복수의 스펙트럼 신호를 연산하여 빛의 세기의 분포를 등고선도 형태로 도출된 색상 이미지 맵을, 용접 상태와 색상 이미지 맵 형태의 상관관계를 학습한 인공신경망에 적용하여, 용접의 양호 또는 불량 상태 여부를 실시간으로 높은 정확도로 판단할 수 있다.According to an embodiment of the present invention as described above, during laser welding, the image signal sensed by dispersing the welding light generated at the welding site by wavelength through a spectrometer is used to measure the change in light intensity according to the wavelength band. A color image map derived in the form of a contour map of the distribution of light intensity by calculating the plurality of output spectrum signals is applied to an artificial neural network that learns the correlation between the welding state and the color image map form. Thus, it is possible to determine with high accuracy whether the welding is in good or bad condition in real time.

또한, 원신호 데이터인 색상 이미지 맵을 그대로 사용하지 않고, 색상 이미지 맵을 CIE 1931 XYZ 색체계에 의해 RGB 값으로 변환하고, 이를 상기 복수의 스펙트럼 신호가 취득된 시간 순에 따른 상기 RGB 값의 변화를 나타내는 표준화된 그래프 형태의 신호로서, 각 RGB 영역별로 구분해서 나타내는 RGB값 변화 그래프로 가공하여, 인공신경망에 적용함으로써, 연산량 관점에서 처리할 데이터를 감소시킬 수 있다. 이에 따라, 사용자가 적은 수의 명확하고 표준화된 신호를 통해 모니터링 하도록 함으로써, 용접 품질 모니터링을 직관적으로 하고 편의성을 증대시켜 줄 수 있는 용접 품질 모니터링 방법 및 용접 품질 모니터링 시스템을 구현할 수 있다. 물론 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.In addition, rather than using the color image map as the original signal data, the color image map is converted into RGB values according to the CIE 1931 It is a signal in the form of a standardized graph, and by processing it into a graph of changes in RGB values separately represented by each RGB region and applying it to an artificial neural network, the data to be processed can be reduced in terms of the amount of calculation. Accordingly, by allowing users to monitor through a small number of clear and standardized signals, it is possible to implement a welding quality monitoring method and a welding quality monitoring system that can intuitively monitor welding quality and increase convenience. Of course, the scope of the present invention is not limited by this effect.

도 1은 본 발명의 일 실시예에 따른 용접 품질 모니터링 시스템을 개략적으로 나타내는 개념도이다.
도 2는 도 1의 용접 품질 모니터링 시스템을 이용한 용접 품질 모니터링 방법의 일 실시예를 순서대로 나타내는 순서도이다.
도 3 및 도 4는 도 2의 용접 품질 모니터링 방법의 신호 처리 단계의 일 실시예를 나타내는 순서도 및 개념도이다.
도 5는 도 2의 용접 품질 모니터링 방법의 용접 품질 예측 단계의 일 실시예를 순서대로 나타내는 순서도이다.
도 6은 도 1의 용접 품질 모니터링 시스템을 이용한 용접 품질 모니터링 방법의 다른 실시예를 순서대로 나타내는 순서도이다.
도 7은 본 발명의 용접 품질 모니터링 방법을 이용한 실험 결과를 나타내는 이미지이다.
도 8 및 도 9는 도 2의 용접 품질 모니터링 방법의 신호 처리 단계의 다른 실시예를 나타내는 순서도 및 개념도이다.
도 10은 도 8의 신호 처리 단계를 통해 추출될 수 있는 입력 변수 및 입력 변수에 따른 출력 변수를 나타내는 표이다.
도 11은 도 2의 용접 품질 모니터링 방법의 용접 품질 예측 단계의 다른 실시예를 순서대로 나타내는 순서도이다.
도 12는 본 발명의 용접 품질 모니터링 방법을 이용한 실험 결과를 나타내는 그래프이다.
1 is a conceptual diagram schematically showing a welding quality monitoring system according to an embodiment of the present invention.
FIG. 2 is a flow chart sequentially showing an embodiment of a welding quality monitoring method using the welding quality monitoring system of FIG. 1.
3 and 4 are flowcharts and conceptual diagrams showing an embodiment of the signal processing step of the welding quality monitoring method of FIG. 2.
FIG. 5 is a flow chart sequentially showing an embodiment of the welding quality prediction step of the welding quality monitoring method of FIG. 2.
FIG. 6 is a flowchart sequentially showing another embodiment of a welding quality monitoring method using the welding quality monitoring system of FIG. 1.
Figure 7 is an image showing the results of an experiment using the welding quality monitoring method of the present invention.
FIGS. 8 and 9 are flowcharts and conceptual diagrams showing another embodiment of the signal processing step of the welding quality monitoring method of FIG. 2.
FIG. 10 is a table showing input variables that can be extracted through the signal processing step of FIG. 8 and output variables according to the input variables.
FIG. 11 is a flowchart sequentially showing another embodiment of the welding quality prediction step of the welding quality monitoring method of FIG. 2.
Figure 12 is a graph showing the results of an experiment using the welding quality monitoring method of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 여러 실시예들을 상세히 설명하기로 한다.Hereinafter, various preferred embodiments of the present invention will be described in detail with reference to the attached drawings.

본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려 이들 실시예들은 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다. 또한, 도면에서 각 층의 두께나 크기는 설명의 편의 및 명확성을 위하여 과장된 것이다.The embodiments of the present invention are provided to more completely explain the present invention to those skilled in the art, and the following examples may be modified into various other forms, and the scope of the present invention is as follows. It is not limited to examples. Rather, these embodiments are provided to make the present disclosure more faithful and complete and to fully convey the spirit of the present invention to those skilled in the art. Additionally, the thickness and size of each layer in the drawings are exaggerated for convenience and clarity of explanation.

이하, 본 발명의 실시예들은 본 발명의 이상적인 실시예들을 개략적으로 도시하는 도면들을 참조하여 설명한다. 도면들에 있어서, 예를 들면, 제조 기술 및/또는 공차(tolerance)에 따라, 도시된 형상의 변형들이 예상될 수 있다. 따라서, 본 발명 사상의 실시예는 본 명세서에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니 되며, 예를 들면 제조상 초래되는 형상의 변화를 포함하여야 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of the present invention will now be described with reference to drawings that schematically show ideal embodiments of the present invention. In the drawings, variations of the depicted shape may be expected, for example, depending on manufacturing technology and/or tolerances. Accordingly, embodiments of the present invention should not be construed as being limited to the specific shape of the area shown in this specification, but should include, for example, changes in shape resulting from manufacturing.

도 1은 본 발명의 일 실시예에 따른 용접 품질 모니터링 시스템(100)을 개략적으로 나타내는 개념도이고, 도 2는 도 1의 용접 품질 모니터링 시스템(100)을 이용한 용접 품질 모니터링 방법의 일 실시예를 순서대로 나타내는 순서도이며, 도 3 및 도 4는 도 2의 용접 품질 모니터링 방법의 신호 처리 단계(S200)의 일 실시예를 나타내는 순서도 및 개념도이다. 그리고, 도 5는 도 2의 용접 품질 모니터링 방법의 용접 품질 예측 단계(S300)의 일 실시예를 순서대로 나타내는 순서도이고, 도 6은 도 1의 용접 품질 모니터링 시스템을 이용한 용접 품질 모니터링 방법의 다른 실시예를 순서대로 나타내는 순서도이며, 도 7은 본 발명의 용접 품질 모니터링 방법을 이용한 실험 결과를 나타내는 이미지이다.Figure 1 is a conceptual diagram schematically showing a welding quality monitoring system 100 according to an embodiment of the present invention, and Figure 2 is a schematic diagram of an embodiment of a welding quality monitoring method using the welding quality monitoring system 100 of Figure 1. It is a flowchart shown as follows, and FIGS. 3 and 4 are flowcharts and conceptual diagrams showing an embodiment of the signal processing step (S200) of the welding quality monitoring method of FIG. 2. In addition, Figure 5 is a flowchart sequentially showing an embodiment of the welding quality prediction step (S300) of the welding quality monitoring method of Figure 2, and Figure 6 is another implementation of the welding quality monitoring method using the welding quality monitoring system of Figure 1. It is a flow chart showing examples in order, and Figure 7 is an image showing the results of an experiment using the welding quality monitoring method of the present invention.

먼저, 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 용접 품질 모니터링 시스템(100)은, 모재(S)에 레이저빔(1)을 조사하여 모재(S)의 용접을 행하는 레이저 용접 장치에서, 모재(S)의 용접 부위(W)에서 발생되는 용접광(2)을 실시간으로 모니터링 및 분석하여 모재(S)의 용접 품질을 평가할 수 있는 시스템일 수 있다.First, as shown in FIG. 1, the welding quality monitoring system 100 according to an embodiment of the present invention is a laser welding method that performs welding of the base material (S) by irradiating the base material (S) with the laser beam (1). The device may be a system capable of evaluating the welding quality of the base material (S) by monitoring and analyzing the welding light (2) generated at the welding area (W) of the base material (S) in real time.

예컨대, 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 용접 품질 모니터링 시스템(100)이 적용될 수 있는 상기 레이저 용접 장치는, 레이저빔(1)을 생성하는 광생성부(20) 및 광생성부(20)에서 생성된 레이저빔(1)을 모재(S)의 용접 부위(W)에 조사하여 모재(S)의 용접을 행하는 용접 헤드(10)를 포함할 수 있다. 또한, 도시되진 않았지만, 상기 레이저 용접 장치는, 용접 헤드(10)에 의해 용접이 행해지는 동안 모재(S)를 지지하는 지지대 및 상기 지지대를 용접 헤드(10)에 대하여 상대적으로 이동시킬 수 있는 이송 수단을 포함할 수 있다.For example, as shown in FIG. 1, the laser welding device to which the welding quality monitoring system 100 according to an embodiment of the present invention can be applied includes a light generator 20 that generates a laser beam 1, and It may include a welding head 10 that performs welding of the base material S by irradiating the laser beam 1 generated by the light generating unit 20 to the welding area W of the base material S. In addition, although not shown, the laser welding device includes a support that supports the base material (S) while welding is performed by the welding head (10) and a transport that can move the support relative to the welding head (10). It may include means.

이러한, 상기 레이저 용접 장치에서, 용접 헤드(10)로부터 모재(S)의 용접 부위(W)를 향하여 레이저빔(1)이 조사되어 용접이 행해지면, 모재(S)의 용접 부위(W)의 적어도 일부가 용융된 용융풀 및 키홀 등이 형성되고 스패터가 비산되며 용접광(2)이 발생할 수 있다. 이 용접광(2)에는 적외선 영역, 가시광선 영역 및 자외선 영역에 이르는 전자기파와 플라즈마가 포함될 수 있다.In this laser welding apparatus, when welding is performed by irradiating the laser beam 1 from the welding head 10 toward the welding area W of the base material S, the welding area W of the base material S is performed. At least a partially melted molten pool and keyhole may be formed, spatter may scatter, and welding light 2 may be generated. This welding light 2 may include electromagnetic waves and plasma ranging in the infrared region, visible region, and ultraviolet region.

이때, 본 발명의 일 실시예에 따른 용접 품질 모니터링 시스템(100)이 적용될 수 있는 용접 장치는, 반드시 상술한 상기 레이저 용접 장치에 국한되지 않고, 다른 종류의 용접 장치에 적용될 수도 있다. 예컨대, 플라즈마 용접이나, TIG(Tungsten ingot gas welding) 용접이나, MIG(Metal inert gas welding) 용접이나, MAG(Metal active gas welding) 용접 및 가스 용접 등에 적용될 수 있으며, 이러한 경우, 레이저빔(1)은 아크나 용접불꽃 등으로 대체될 수 있다.At this time, the welding device to which the welding quality monitoring system 100 according to an embodiment of the present invention can be applied is not necessarily limited to the laser welding device described above, and may be applied to other types of welding devices. For example, it can be applied to plasma welding, TIG (Tungsten ingot gas welding) welding, MIG (Metal inert gas welding) welding, MAG (Metal active gas welding) welding, and gas welding. In this case, the laser beam (1) It can be replaced by arc or welding flame.

이와 같이, 상술한 상기 레이저 용접 장치에서 모재(S)의 용접 중, 모재(S)의 용접 부위(W)에서 발생되는 용접광(2)을 실시간으로 모니터링 및 분석하여 모재(S)의 용접 품질을 평가할 수 있는 용접 품질 모니터링 시스템(100)은, 크게, 분광 센싱부(110) 및 모니터링부(120)를 포함할 수 있다.In this way, during welding of the base material (S) in the above-described laser welding device, the welding light (2) generated at the welding area (W) of the base material (S) is monitored and analyzed in real time to ensure the welding quality of the base material (S). The welding quality monitoring system 100 capable of evaluating may largely include a spectral sensing unit 110 and a monitoring unit 120.

도 1에 도시된 바와 같이, 분광 센싱부(110)는, 광생성부(20)에서 생성된 레이저빔(1)을 모재(S)의 용접 부위(W)에 조사하여 모재(S)의 용접을 행하는 용접 헤드(10)에서, 레이저빔(1)의 광경로 상에 설치되어, 모재(S)의 용접 부위(W)에서 발생되어 용접 헤드(10)로 입사되는 용접광(2)을 분광하여 파장별로 분산된 상태로 스펙트럼(3)을 형성하고, 스펙트럼(3)을 이미지 신호로 센싱할 수 있다.As shown in FIG. 1, the spectral sensing unit 110 irradiates the laser beam 1 generated by the light generating unit 20 to the welding site W of the base material S to weld the base material S. In the welding head 10, which is installed on the optical path of the laser beam 1, the welding light 2 generated at the welding site W of the base material S and incident on the welding head 10 is spectralized. Thus, the spectrum 3 is formed in a distributed state by wavelength, and the spectrum 3 can be sensed as an image signal.

예컨대, 분광 센싱부(110)는, 용접 헤드(10) 내에 설치되어, 용접 헤드(10)로 입사되는 용접광(2)을 레이저빔(1)의 광경로와 다른 방향으로 반사하는 미러(111)와, 미러(111)에 의해 반사되어 입사된 용접광(2)을 파장별로 분산된 상태인 스펙트럼(3)으로 분광시키는 분광기(112)와, 스펙트럼(3)을 상기 이미지 신호로 센싱하는 이미지 센서(113)와, 내부에 복수의 렌즈가 설치되어 미러(111)에 의해 반사된 용접광(2)을 집광시키는 경통(114) 및 경통(114)에 의해 집광된 용접광(2)을 분광기(112)로 전달하는 광케이블(115)을 포함하여 구성될 수 있다.For example, the spectral sensing unit 110 is installed within the welding head 10 and reflects the welding light 2 incident on the welding head 10 in a direction different from the optical path of the laser beam 1. ), a spectrometer 112 that specifies the welding light 2 reflected by the mirror 111 into a spectrum 3 distributed by wavelength, and an image that senses the spectrum 3 as the image signal. A sensor 113, a lens barrel 114 with a plurality of lenses installed inside to converge the welding light 2 reflected by the mirror 111, and a spectrometer It may be configured to include an optical cable 115 transmitted to (112).

더욱 구체적으로, 분광 센싱부(110)의 미러(111)는, 용접 헤드(10) 내에서 레이저빔(1)의 광경로에 배치되도록 설치되어, 모재(S)의 용접 부위(W)로부터 레이저빔(1)이 조사되는 방향과 동축으로 방사되는 용접광(2)을 수광할 수 있다. 이에 따라, 분광 센싱부(110)는, 모재(S)의 용접 부위(W)에 형성된 용융풀 및 키홀 등의 형상에 따른 정보를 최대한 왜곡되지 않은 형태로 수신할 수 있다.More specifically, the mirror 111 of the spectral sensing unit 110 is installed to be disposed in the optical path of the laser beam 1 within the welding head 10, and transmits the laser beam from the welding site W of the base material S. The welding light 2 radiated coaxially with the direction in which the beam 1 is irradiated can be received. Accordingly, the spectral sensing unit 110 can receive information according to the shape of the molten pool and keyhole formed at the welding site W of the base material S in a form that is as undistorted as possible.

이러한, 미러(111)로는, 레이저빔(1)은 투과시키고 모재(S)로부터 용접 헤드(10)로 입사되는 용접광(2)은 반사시키는 하프미러(Half mirror)가 사용될 수 있으며, 레이저빔(1)의 광경로와 동축으로 입사되는 용접광(2)을 경통(114) 방향으로 반사할 수 있는 소정의 경사 각도로 경사지게 설치될 수 있다.As the mirror 111, a half mirror that transmits the laser beam 1 and reflects the welding light 2 incident from the base material S to the welding head 10 may be used, and the laser beam It can be installed inclined at a predetermined inclination angle to reflect the welding light (2) incident coaxially with the optical path of (1) in the direction of the barrel 114.

또한, 미러(111)에 의해 반사된 용접광(2)이 입사되는 경통(114)에는, 도시되진 않았지만, 복수의 렌즈가 배치되어, 용접광(2)을 집광시킨 후 광케이블(115)의 일단부로 입사시킬 수 있다. 이때, 경통(114) 내에 배치되는 렌즈들은, 자외선차단 코팅이 되지 않는 것이 바람직할 수 있다. 이는, 용접 중 발생되는 용접광(2)에 포함된 유의미한 정보가 자외선 영역에 포함되어 있을 가능성이 높기 때문이다.In addition, although not shown, a plurality of lenses are disposed on the lens barrel 114, into which the welding light 2 reflected by the mirror 111 is incident, to condense the welding light 2 and then connect it to one end of the optical cable 115. You can join the company as a deputy. At this time, it may be desirable for the lenses disposed in the barrel 114 not to be coated with an ultraviolet ray blocking coating. This is because there is a high possibility that meaningful information contained in the welding light 2 generated during welding is included in the ultraviolet region.

또한, 광케이블(115)의 타단부는 분광기(112)에 근접하게 배치되어, 경통(114)을 통해 일단부로 입사된 용접광(2)이 분광기(112)로 조사되도록 할 수 있다.In addition, the other end of the optical cable 115 is disposed close to the spectrometer 112, so that the welding light 2 incident on one end through the barrel 114 is irradiated to the spectroscope 112.

따라서, 분광기(112)로 조사된 용접광(2)은, 파장별로 분산되어, 스펙트럼(3)을 형성하게 되는데, 이미지 센서(113)는, 이 스펙트럼(3)이 수광면에 분포되도록 배치될 수 있다.Accordingly, the welding light 2 irradiated by the spectrometer 112 is dispersed by wavelength to form a spectrum 3, and the image sensor 113 is arranged so that this spectrum 3 is distributed on the light-receiving surface. You can.

여기서, 분광기(112)는, 프리즘이 사용된 것으로 도시되었으나, 반드시 도 1에 국한되지 않고, 필요에 따라서 회절격자(Diffraction grating)가 사용될 수도 있다. 또한, 이미지 센서(113)로는 CCD(Charge-coupled device) 또는 CMOS(Complementary metal-oxide semiconductor) 등이 사용될 수 있으며, 이외에도, 적외선 영역으로부터 자외선 영역까지 모두 감지가 가능한 센서가 모두 선택되어 사용될 수 있다.Here, the spectroscope 112 is shown as using a prism, but it is not necessarily limited to FIG. 1, and a diffraction grating may be used as needed. In addition, the image sensor 113 may be a charge-coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS). In addition, any sensor capable of detecting everything from the infrared region to the ultraviolet region may be selected and used. .

또한, 상술한 분광 센싱부(110)에서, 광케이블(115)을 이용하여 분광기(112)를 용접 헤드(10)와 별도로 원격 배치되도록 한 것은, 용접 헤드(10)의 크기를 최소화하기 위한 것으로, 모재(S)가 요철부 또는 돌출부 등이 형성된 경우와 같이 다양한 형상을 갖는 경우에도 용접 헤드(10)와 간섭이 일어나는 것을 방지하기 위한 것일 수 있다.In addition, in the above-described spectral sensing unit 110, the spectrometer 112 is placed remotely separately from the welding head 10 using the optical cable 115 in order to minimize the size of the welding head 10. This may be to prevent interference with the welding head 10 even when the base material S has various shapes, such as when irregularities or protrusions are formed.

따라서, 분광 센싱부(110)의 이미지 센서(113)의 수광면에 스펙트럼(3)이 조사되면, 이미지 센서(113)는 이에 따른 상기 이미지 신호를 출력할 수 있다. 이때, 출력되는 상기 이미지 신호는, 용접광(2)에 포함된 파장별 세기의 정보를 담은 신호일 수 있다.Accordingly, when the spectrum 3 is irradiated to the light-receiving surface of the image sensor 113 of the spectral sensing unit 110, the image sensor 113 can output the image signal accordingly. At this time, the output image signal may be a signal containing information on the intensity of each wavelength included in the welding light 2.

또한, 도 1에 도시된 바와 같이, 모니터링부(120)는, 상술한 분광 센싱부(110)로부터 수신되는 상기 이미지 신호에 따라 모재(S)의 예측 용접 상태를 모니터링할 수 있다.Additionally, as shown in FIG. 1, the monitoring unit 120 may monitor the predicted welding state of the base material S according to the image signal received from the spectral sensing unit 110 described above.

예컨대, 모니터링부(120)는, 분광 센싱부(110)를 통해 센싱된 상기 이미지 신호를 모재(S)의 용접 중 소정의 시간동안 소정의 횟수로 복수회 인가받고, 상기 이미지 신호를 파장 대역에 따른 빛의 세기의 변화를 나타내는 그래프 형태의 신호로서, 복수의 스펙트럼 신호(SS)를 출력하는 스펙트럼 신호 출력부(121)와, 스펙트럼 신호 출력부(121)에서 상기 소정의 시간동안 시간순으로 출력된 복수의 스펙트럼 신호(SS)를 연산하여, 상기 소정의 시간동안 시간별 흐름에 따른 용접광(2)의 파장별 상기 빛의 세기의 분포를 색상으로 구분하여 나타낸 색상 이미지 맵(M)으로 도출하는 신호 처리부(122)와, 사전에 실험을 통해 도출된, 실험용 시편의 용접 결과와, 상기 실험용 시편의 실험용 용접광으로부터 도출된 실험용 색상 이미지 맵 간의 상관관계를 학습 데이터로 학습한 인공신경망에 기초하여, 신호 처리부(122)에서 도출된 색상 이미지 맵(M)으로부터 모재(S)의 용접 품질을 예측하는 용접 품질 예측부(123) 및 용접 품질 예측부(123)에서 예측된 모재(S)의 예측 용접 상태를 모니터와 같은 사용자 단말기(30)를 통해 출력 데이터로 출력하는 출력부(124)를 포함하여 구성될 수 있으며, 용접 품질 예측부(123)는, 사전에 실험을 통해 도출된, 상기 실험용 시편의 용접 결과와, 상기 실험용 시편의 상기 실험용 용접광으로부터 도출된 상기 실험용 색상 이미지 맵(실험용 시편의 용접 결과와 대응되는 색상 이미지 맵)이 저장되는 데이터베이스(123a)를 포함할 수 있다.For example, the monitoring unit 120 receives the image signal sensed through the spectral sensing unit 110 a predetermined number of times during welding of the base material (S), and transmits the image signal to the wavelength band. It is a signal in the form of a graph representing the change in light intensity according to the change, including a spectrum signal output unit 121 that outputs a plurality of spectrum signals (SS), and a spectrum signal output unit 121 that outputs a plurality of spectrum signals (SS) in chronological order for the predetermined time. A signal derived from a color image map (M) that calculates a plurality of spectral signals (SS) and shows the distribution of the intensity of the light according to the wavelength of the welding light (2) according to the time flow during the predetermined time by color. Based on an artificial neural network that learned the correlation between the processing unit 122, the welding result of the experimental specimen derived through a prior experiment, and the experimental color image map derived from the experimental welding light of the experimental specimen as learning data, A welding quality prediction unit 123 that predicts the welding quality of the base material (S) from the color image map (M) derived from the signal processing unit 122, and predictive welding of the base material (S) predicted by the welding quality prediction unit 123. It may be configured to include an output unit 124 that outputs the status as output data through a user terminal 30 such as a monitor, and the welding quality prediction unit 123 is a test specimen derived through a prior experiment. It may include a database 123a in which the welding results and the experimental color image map (color image map corresponding to the welding result of the experimental specimen) derived from the experimental welding light of the experimental specimen are stored.

이하에서는, 상술한 용접 품질 모니터링 시스템(100)의 모니터링부(120)에서 수행되는, 본 발명의 일 실시예에 따른 용접 품질 모니터링 방법에 대해서 상세하게 설명하도록 한다.Hereinafter, the welding quality monitoring method according to an embodiment of the present invention, which is performed in the monitoring unit 120 of the welding quality monitoring system 100 described above, will be described in detail.

예컨대, 도 2에 도시된 바와 같이, 상기 용접 품질 모니터링 방법은, 모재(S)의 용접 중, 상기 모재(S)의 용접 부위(W)에서 발생되는 용접광(2)을 실시간으로 모니터링 및 분석하여 상기 모재(S)의 용접 품질을 평가할 수 있는 방법으로서, 신호 출력 단계(S100)와, 신호 처리 단계(S200)와, 용접 품질 예측 단계(S300) 및 출력 단계(S400) 순으로 진행될 수 있다.For example, as shown in FIG. 2, the welding quality monitoring method monitors and analyzes in real time the welding light 2 generated at the welding site W of the base material S during welding of the base material S. As a method of evaluating the welding quality of the base material (S), the signal output step (S100), the signal processing step (S200), the welding quality prediction step (S300), and the output step (S400) can be performed in this order. .

먼저, 신호 출력 단계(S100)는, 스펙트럼 신호 출력부(121)를 통해 수행되는 단계로서, 이미지 센서(113)가 모재(S)의 용접 부위(W)에서 순간적으로 발생되는 용접광(2)을 분광기(112)를 통해 파장별로 분산된 상태로 센싱하여 출력한 상기 이미지 신호를 인가받고, 상기 이미지 신호를 파장 대역에 따른 빛의 세기의 변화를 나타내는 그래프 형태의 신호로서, 모재(S)의 용접 중, 소정의 시간동안 소정의 횟수로 복수의 스펙트럼 신호(SS)로 출력할 수 있다.First, the signal output step (S100) is a step performed through the spectrum signal output unit 121, where the image sensor 113 transmits the welding light 2 instantaneously generated at the welding site W of the base material S. Receives the image signal sensed and output in a dispersed state by wavelength through the spectrometer 112, and converts the image signal into a signal in the form of a graph representing the change in light intensity according to the wavelength band, of the base material (S). During welding, a plurality of spectrum signals (SS) can be output a predetermined number of times during a predetermined time.

더욱 구체적으로, 도 4에 도시된 바와 같이, 스펙트럼 신호 출력 단계(S100)는, 제 1 시간(T1)에 분광기(112)를 통해 파장별로 분산된 상태로 센싱된 용접광(2)을 제 1 스펙트럼 신호(SS-1)로 출력하는 제 1 스펙트럼 출력 단계(S110)와, 제 1 시간(T1)으로부터 소정의 시간 간격을 가지는 제 2 시간에 분광기(112)를 통해 파장별로 분산된 상태로 센싱된 용접광(2)을 제 2 스펙트럼 신호(미도시)로 출력하는 제 2 스펙트럼 출력 단계 및 제 n-1 시간으로부터 상기 소정의 시간 간격을 가지는 제 n 시간(Tn)에 분광기(112)를 통해 파장별로 분산된 상태로 센싱된 용접광(2)을 제 n 스펙트럼 신호(SS-n)로 출력하는 제 n 스펙트럼 출력 단계(S1n0)를 포함할 수 있다.More specifically, as shown in FIG. 4, the spectrum signal output step (S100) transmits the welding light (2) sensed in a dispersed state by wavelength through the spectrometer 112 at the first time (T1) to the first A first spectrum output step (S110) of outputting a spectrum signal (SS-1), and sensing dispersed by wavelength through the spectrometer 112 at a second time with a predetermined time interval from the first time (T1). A second spectrum output step of outputting the welding light 2 as a second spectrum signal (not shown) through the spectrometer 112 at the n-th time (Tn) having the predetermined time interval from the n-1 time. It may include an n-th spectrum output step (S1n0) in which the sensed welding light 2 dispersed by wavelength is output as an n-th spectrum signal (SS-n).

이때, 복수의 스펙트럼 신호(SS)가 출력되는 상기 소정의 시간은, 제 1 시간(T1)부터 제 n 시간(Tn)까지의 시간이고, 복수의 스펙트럼 신호(SS)는, 상기 소정의 시간 동안 상기 소정의 시간 간격 마다 출력되어 n개가 출력될 수 있다.At this time, the predetermined time during which the plurality of spectrum signals SS are output is from the first time T1 to the nth time Tn, and the plurality of spectrum signals SS are output during the predetermined time. n numbers may be output at each predetermined time interval.

이러한, 스펙트럼 신호 출력 단계(S100)에서 출력되는 복수의 스펙트럼 신호(SS)는, 분광기(112)를 통해 파장별로 분산된 상태의 용접광(2)을 순간적으로 측정한 데이터로서, 예컨대, 초당 5,000회와 같이, 제 1 시간(T1)부터 제 n 시간(Tn)까지의 시간인 상기 소정의 시간 및 복수의 스펙트럼 신호(SS)의 횟수(상기 n개)는, 사용자의 필요에 따라 매우 다양하게 설정될 수 있다.The plurality of spectrum signals (SS) output in the spectrum signal output step (S100) are data instantaneously measured by the welding light 2 dispersed by wavelength through the spectrometer 112, for example, at 5,000 per second. As in times, the predetermined time, which is the time from the first time (T1) to the nth time (Tn), and the number of times (n) of the plurality of spectrum signals (SS) vary greatly depending on the user's needs. can be set.

이어서, 도 2에 도시된 바와 같이, 신호 처리 단계(S200)는, 신호 처리부(122)를 통해 수행되는 단계로서, 스펙트럼 신호 출력 단계(S100)에서 상기 소정의 시간동안 시간순으로 출력된 복수의 스펙트럼 신호(SS)를 연산하여, 상기 소정의 시간동안 시간별 흐름에 따른 용접광(2)의 파장별 상기 빛의 세기의 분포를 색상으로 구분하여 나타낸 색상 이미지 맵(M)으로 도출할 수 있다.Next, as shown in FIG. 2, the signal processing step (S200) is performed through the signal processing unit 122, and a plurality of spectra are output in chronological order during the predetermined time in the spectrum signal output step (S100). By calculating the signal (SS), a color image map (M) can be derived that shows the distribution of the intensity of the light by wavelength of the welding light (2) according to the time flow during the predetermined time by dividing it into colors.

예컨대, 도 3에 도시된 바와 같이, 신호 처리 단계(S200)는, 스펙트럼 신호 출력 단계(S100)에서 출력되는 복수의 스펙트럼 신호(SS)를 상기 소정의 시간동안 시간순으로 취득하는 신호 취득 단계(S210)와, 복수의 스펙트럼 신호(SS)에서 서로 다른 소정의 파장 대역 범위를 가지는 복수의 밴드 영역(BA)을 설정하는 밴드 설정 단계(S220) 및 시간순으로 취득된 각각의 개별 스펙트럼 신호에서, 각 밴드 영역 내에서의 상기 빛의 세기의 복수의 평균값을 산출하고, 이를 복수의 스펙트럼 신호(SS)가 취득된 시간 순에 따른 용접광(2)의 파장별 상기 복수의 평균값의 분포를 색상으로 구분하여 나타낸 색상 이미지 맵(M)으로 출력하는 이미지 도면 출력 단계(S230) 순으로 진행될 수 있다.For example, as shown in FIG. 3, the signal processing step (S200) includes a signal acquisition step (S210) of acquiring a plurality of spectrum signals (SS) output in the spectrum signal output step (S100) in chronological order during the predetermined time. ) and a band setting step (S220) of setting a plurality of band areas (BA) having different predetermined wavelength band ranges in the plurality of spectrum signals (SS), and in each individual spectrum signal acquired in time order, each band Calculate a plurality of average values of the intensity of the light within the area, and color-code the distribution of the plurality of average values for each wavelength of the welding light 2 according to the time order in which the plurality of spectrum signals SS were acquired. The process may proceed in the order of the image drawing output step (S230) of outputting the indicated color image map (M).

더욱 구체적으로, 도 4에 도시된 바와 같이, 신호 처리 단계(S200)에서, 신호 취득 단계(S210)는, 스펙트럼 신호 출력 단계(S100)에서 출력되는 제 1 스펙트럼 신호(SS-1) 내지 제 n 스펙트럼 신호(SS-n)를 제 1 시간(T1)부터 제 n 시간(Tn)까지 상기 소정의 시간 간격으로 취득할 수 있다.More specifically, as shown in FIG. 4, in the signal processing step (S200), the signal acquisition step (S210) includes the first to nth spectrum signals (SS-1) output from the spectrum signal output step (S100). The spectrum signal SS-n can be acquired at the predetermined time interval from the first time T1 to the nth time Tn.

이어서, 밴드 설정 단계(S220)는, 제 1 스펙트럼 신호(SS-1) 내지 제 n 스펙트럼 신호(SS-n)를 포함하는 복수의 스펙트럼 신호(SS)에서 소정의 파장 대역 범위를 가지는 제 1 밴드 영역(BA-1)을 설정하는 제 1 영역 설정 단계와, 복수의 스펙트럼 신호(SS)에서 제 1 밴드 영역(BA-1)보다 높은 영역대의 소정의 파장 대역 범위를 가지는 제 2 밴드 영역(BA-2)을 설정하는 제 2 영역 설정 단계와, 복수의 스펙트럼 신호(SS)에서 제 2 밴드 영역(BA-2)보다 높은 영역대의 소정의 파장 대역 범위를 가지는 제 3 밴드 영역(BA-3)을 설정하는 제 3 영역 설정 단계 및 복수의 스펙트럼 신호(SS)에서 제 n-1 밴드 영역보다 높은 영역대의 소정의 파장 대역 범위를 가지는 제 n 밴드 영역(BA-n)을 설정하는 제 n 영역 설정 단계를 포함할 수 있다.Next, in the band setting step (S220), a first band having a predetermined wavelength band range is selected from the plurality of spectrum signals (SS) including the first spectrum signal (SS-1) to the n-th spectrum signal (SS-n). A first area setting step of setting an area (BA-1), and a second band area (BA) having a predetermined wavelength band range higher than the first band area (BA-1) in the plurality of spectrum signals (SS) A second area setting step of setting -2), and a third band area (BA-3) having a predetermined wavelength band range higher than the second band area (BA-2) in the plurality of spectrum signals (SS). A third area setting step of setting and an nth area setting of setting the nth band area (BA-n) having a predetermined wavelength band range higher than the n-1th band area in the plurality of spectrum signals (SS). May include steps.

이러한, 밴드 설정 단계(S220)에서 설정되는 복수의 밴드 영역(BA) 또한, 반드시 도 4에 도시된 개수(4개)에 국한되지 않고, 요구되는 용접 품질 모니터링의 정확도나, 상기 용접 품질 모니터링 방법이 연산되는 시스템의 사양에 따라, 매우 다양한 개수로 설정될 수 있다.The plurality of band areas (BA) set in the band setting step (S220) are not necessarily limited to the number (4) shown in FIG. 4, and are not limited to the required accuracy of welding quality monitoring or the welding quality monitoring method. Depending on the specifications of the system being operated on, this number can be set to very different numbers.

이어서, 이미지 도면 출력 단계(S230)는, 제 1 시간(T1)에 취득된 제 1 스펙트럼 신호(SS-1)에서, 제 1 밴드 영역(BA-1)에서의 상기 빛의 세기의 평균값을 제 1-1 평균값으로 산출하고, 제 2 밴드 영역(BA-2)에서의 상기 빛의 세기의 평균값을 제 1-2 평균값으로 산출하며, 제 3 밴드 영역(BA-3)에서의 상기 빛의 세기의 평균값을 제 1-3 평균값으로 산출하고, 제 n 밴드 영역(BA-n)에서의 상기 빛의 세기의 평균값을 제 1-n 평균값으로 산출하는 제 1 평균값 산출 단계와, 상기 제 2 시간에 취득된 상기 제 2 스펙트럼 신호(미도시)에서, 제 1 밴드 영역(BA-1)에서의 상기 빛의 세기의 평균값을 제 2-1 평균값으로 산출하고, 제 2 밴드 영역(BA-2)에서의 상기 빛의 세기의 평균값을 제 2-2 평균값으로 산출하며, 제 3 밴드 영역(BA-3)에서의 상기 빛의 세기의 평균값을 제 2-3 평균값으로 산출하고, 제 n 밴드 영역(BA-n)에서의 상기 빛의 세기의 평균값을 제 2-n 평균값으로 산출하는 제 2 평균값 산출 단계 및 제 n 시간(Tn)에 취득된 제 n 스펙트럼 신호(SS-n)에서, 제 1 밴드 영역(BA-1)에서의 상기 빛의 세기의 평균값을 제 n-1 평균값으로 산출하고, 제 2 밴드 영역(BA-2)에서의 상기 빛의 세기의 평균값을 제 n-2 평균값으로 산출하며, 제 3 밴드 영역(BA-3)에서의 상기 빛의 세기의 평균값을 제 n-3 평균값으로 산출하고, 제 n 밴드 영역(BA-n)에서의 상기 빛의 세기의 평균값을 제 n-n 평균값으로 산출하는 제 n 평균값 산출 단계를 포함할 수 있다.Next, in the image drawing output step (S230), the average value of the light intensity in the first band area (BA-1) is calculated from the first spectrum signal (SS-1) acquired at the first time (T1). Calculated as a 1-1 average value, the average value of the light intensity in the second band area (BA-2) is calculated as the 1-2 average value, and the light intensity in the third band area (BA-3) A first average value calculation step of calculating the average value of as the 1-3 average value and calculating the average value of the light intensity in the n-th band area (BA-n) as the 1-n average value, and at the second time In the acquired second spectrum signal (not shown), the average value of the light intensity in the first band area (BA-1) is calculated as the 2-1 average value, and in the second band area (BA-2) The average value of the light intensity is calculated as the 2-2 average value, the average value of the light intensity in the third band area (BA-3) is calculated as the 2-3 average value, and the n-th band area (BA-3) is calculated as the 2-3 average value. A second average value calculation step of calculating the average value of the light intensity at -n) as a 2-n average value, and in the nth spectrum signal (SS-n) acquired at the nth time (Tn), the first band region The average value of the light intensity in (BA-1) is calculated as the n-1th average value, and the average value of the light intensity in the second band area (BA-2) is calculated as the n-2th average value, The average value of the light intensity in the third band area (BA-3) is calculated as the n-3th average value, and the average value of the light intensity in the nth band area (BA-n) is calculated as the n-nth average value. It may include an nth average value calculation step.

이에 따라, 이미지 도면 출력 단계(S230)를 통해, 도 4에 도시된 바와 같이, 상기 제 1 평균값 산출 단계 내지 상기 제 n 평균값 산출 단계에서 산출된 상기 빛의 세기의 상기 제 1-1 평균값 내지 상기 제 n-n 평균값을 포함하는 상기 복수의 평균값을 상기 빛의 세기에 따른 색상으로 구분하여, 상기 복수의 평균값이 제 1 시간(T1)부터 제 n 시간(Tn)까지 시간 순에 따른 용접광(2)의 파장별로 분포하도록 색상 분포로 나타낸 색상 이미지 맵(M)을 출력할 수 있다.Accordingly, through the image drawing output step (S230), as shown in FIG. 4, the 1-1 average value of the light intensity calculated in the first average value calculation step to the nth average value calculation step to the The plurality of average values, including the n-nth average value, are divided into colors according to the intensity of the light, and the plurality of average values are welding light (2) according to time order from the first time (T1) to the nth time (Tn). A color image map (M) expressed as a color distribution can be output so that it is distributed by wavelength.

이때, 도 4에 도시된 바와 같이, 이미지 도면 출력 단계(S230)는, 상기 빛의 세기가 낮을수록 어둡게, 상기 빛의 세기가 높을수록 밝게 표현함으로써, 색상의 밝기 차이로 상기 복수의 평균값의 각각의 평균값이 나타내는 상기 빛의 세기를 구분할 수 있다.At this time, as shown in FIG. 4, in the image drawing output step (S230), the lower the light intensity, the darker it is, and the higher the light intensity, the brighter it is expressed, so that each of the plurality of average values is determined by the difference in color brightness. The intensity of the light represented by the average value of can be distinguished.

또한, 이미지 도면 출력 단계(S230)는, 회귀수식을 이용하여, 상기 빛의 세기의 평균값이 산출되지 않은 밴드 영역의 상기 빛의 세기의 예상 평균값을 도출함으로써, 출력되는 색상 이미지 맵(M)의 정확도를 더욱 증가시킬 수도 있다.In addition, the image drawing output step (S230) uses a regression equation to derive the expected average value of the light intensity of the band area for which the average value of the light intensity has not been calculated, thereby generating the output color image map (M). Accuracy can be further increased.

예컨대, 이미지 도면 출력 단계(S230)의 상기 제 1 평균값 산출 단계는, 제 1 밴드 영역(BA-1) 내지 제 n 밴드 영역(BA-n)을 포함하는 각 밴드 영역을 독립 변수로 하고, 상기 각 밴드 영역에서 산출된 상기 제 1-1 평균값 내지 상기 제 1-n 평균값을 종속 변수로 하여, 변수들 사이의 관계를 추정하는 회귀분석의 결과로 상관관계를 취득(회귀수식을 산출)하며, 취득된 상관관계를 이용하여 상기 빛의 세기의 평균값이 산출되지 않은 밴드 영역의 상기 빛의 세기의 상기 예상 평균값을 도출함으로써, 이미지 도면 출력 단계(S230)는, 색상 이미지 맵(M) 출력 시 상기 예상 평균값을 상기 색상 분포에 포함시킬 수 있다.For example, the first average value calculation step of the image drawing output step (S230) uses each band region including the first band region (BA-1) to the nth band region (BA-n) as an independent variable, and the Obtaining a correlation (calculating a regression equation) as a result of a regression analysis that estimates the relationship between variables, using the 1-1st average value to the 1-nth average value calculated in each band area as a dependent variable, By using the obtained correlation to derive the expected average value of the light intensity of the band area for which the average value of the light intensity has not been calculated, the image drawing output step (S230) is performed when outputting the color image map (M). The expected average value can be included in the color distribution.

이때, 상기 제 2 평균값 산출 단계 및 상기 제 n 평균값 산출 단계 또한, 상술한 상기 제 1 평균값 산출 단계와 같이 회귀분석을 이용하여 상기 빛의 세기의 평균값이 산출되지 않은 밴드 영역의 상기 빛의 세기의 상기 예상 평균값을 도출할 수 있다. 따라서, 상세한 설명은 생략한다.At this time, in the second average value calculation step and the nth average value calculation step, the light intensity of the band region in which the average value of the light intensity is not calculated is calculated using regression analysis like the above-described first average value calculation step. The expected average value can be derived. Therefore, detailed description is omitted.

이어서, 도 2에 도시된 바와 같이, 용접 품질 예측 단계(S300)는, 사전에 실험을 통해 도출된, 상기 실험용 시편의 용접 결과와, 상기 실험용 시편의 상기 실험용 용접광으로부터 도출된 상기 실험용 색상 이미지 맵이 저장되는 데이터베이스(123a)를 포함하는 용접 품질 예측부(123)를 통해 수행되는 단계로서, 사전에 실험을 통해 도출된, 상기 실험용 시편의 용접 결과와, 상기 실험용 시편의 실험용 용접광으로부터 도출된 실험용 색상 이미지 맵간의 상관관계를 학습 데이터로 학습한 상기 인공신경망에 기초하여, 신호 처리 단계(S200)에서 도출된 색상 이미지 맵(M)으로부터 모재(S)의 용접 품질을 용접 공정 중 실시간으로 예측할 수 있다.Subsequently, as shown in FIG. 2, the welding quality prediction step (S300) involves welding results of the experimental specimen derived through prior experimentation, and the experimental color image derived from the experimental welding light of the experimental specimen. This step is performed through the welding quality prediction unit 123 including the database 123a in which the map is stored, and is derived from the welding results of the experimental specimen derived through prior experiments and the experimental welding light of the experimental specimen. Based on the artificial neural network that learned the correlation between the experimental color image maps as learning data, the welding quality of the base material (S) is measured in real time during the welding process from the color image map (M) derived in the signal processing step (S200). It is predictable.

예컨대, 도 5에 도시된 바와 같이, 용접 품질 예측 단계(S300)는, 상기 실험용 시편의 용접 시 발생되는 상기 실험용 용접광으로부터 도출된 상기 실험용 색상 이미지 맵 및 상기 실험용 시편의 용접 결과를 학습 데이터로 데이터베이스(123a)에 저장하는 정보 저장 단계(S310)와, 상기 학습 데이터로 저장된 상기 실험용 색상 이미지 맵 및 상기 실험용 시편의 용접 결과의 상관관계를 상기 인공신경망에 의해 기계적으로 학습하는 학습 단계(S320) 및 상기 인공신경망에 기초하여, 신호 처리 단계(S200)에서 도출된 색상 이미지 맵(M)으로부터 모재(S)의 용접 품질을 판단하는 판단 단계(S330)를 포함할 수 있다.For example, as shown in FIG. 5, the welding quality prediction step (S300) uses the experimental color image map derived from the experimental welding light generated during welding of the experimental specimen and the welding result of the experimental specimen as learning data. An information storage step (S310) of storing information in the database 123a, and a learning step (S320) of mechanically learning the correlation between the experimental color image map stored as the learning data and the welding results of the experimental specimen by the artificial neural network. And based on the artificial neural network, it may include a determination step (S330) of determining the welding quality of the base material (S) from the color image map (M) derived in the signal processing step (S200).

이때, 정보 저장 단계(S310)는, 상기 실험용 색상 이미지 맵 및 그와 대응되는 상기 실험용 시편의 용접 결과를 사전에 실험을 통해 도출하여 상기 학습 데이터로 복수개 저장하고, 학습 단계(S320)는, 복수개의 상기 학습 데이터를 상기 인공신경망을 기반으로 학습함으로써, 상기 인공신경망을 이용한 예측 정확도를 더욱 증가시킬 수 있다.At this time, in the information storage step (S310), the experimental color image map and the welding results of the experimental specimen corresponding thereto are derived through prior experiments and stored as the learning data, and the learning step (S320) is performed in plural numbers. By learning the training data based on the artificial neural network, prediction accuracy using the artificial neural network can be further increased.

이에 따라, 최종적으로, 출력부(123)를 통해 수행되는 결과 출력 단계(S400)를 통해, 상기 인공신경망을 이용하여 용접 품질 예측 단계(S300)에서 예측된 모재(S)의 예측 용접 상태를 모니터와 같은 사용자 단말기(30)를 통해 출력 데이터로 출력할 수 있다.Accordingly, finally, through the result output step (S400) performed through the output unit 123, the predicted welding state of the base material (S) predicted in the welding quality prediction step (S300) is monitored using the artificial neural network. It can be output as output data through a user terminal 30 such as .

또한, 도 6의 본 발명의 다른 실시예에 따른 용접 품질 모니터링 방법에 도시된 바와 같이, 용접 품질 예측 단계(S300)는, 최적화 단계(S330)를 더 포함하여, 상술한 학습 단계(S320)에서 학습된 상기 인공신경망의 오류 발생을 최소화시킬 수 있도록, 상기 인공신경망을 최적화시킬 수 있다.In addition, as shown in the welding quality monitoring method according to another embodiment of the present invention in FIG. 6, the welding quality prediction step (S300) further includes an optimization step (S330), and in the above-described learning step (S320) The artificial neural network can be optimized to minimize the occurrence of errors in the learned artificial neural network.

여기서, 최적화 단계(S330)를 통해 이루어지는 상기 인공신경망의 최적화의 정의는, 상기 인공신경망을 이용한 예측의 정확도를 검증하고, 실제 결과와의 오차의 정도를 산출하여, 상기 인공신경망의 예측 정확도를 더욱 증가시킬 수 있도록, 상기 인공신경망을 보정하는 공정을 의미할 수 있다.Here, the definition of optimization of the artificial neural network made through the optimization step (S330) verifies the accuracy of the prediction using the artificial neural network and calculates the degree of error from the actual result, further improving the prediction accuracy of the artificial neural network. It may refer to a process of correcting the artificial neural network so as to increase it.

예컨대, 최적화 단계(S330)는, 모재(S)의 용접 중, 상기 인공신경망에 기초하여 신호 처리 단계(S200)에서 도출된 색상 이미지 맵(M)으로부터 예측된 모재(S)의 상기 예측 용접 상태와, 모재(S)의 용접 완료 후 확인한 모재(S)의 실측 용접 결과를 비교하여, 상기 실측 용접 결과 대비 상기 예측 용접 상태의 오차의 합을 손실 함수(Loss function)으로 도출하는 비교 학습 단계(S331) 및 비교 학습 단계(S331)에서 도출된 상기 손실 함수를 고려하여 상기 예측 용접 상태의 오차를 최소화하기 위한 최적화 결과를 학습 단계(S320)의 상기 인공신경망에 반영하는 보정 단계(S332)로, 상기 인공신경망을 최적화시킬 수 있다.For example, in the optimization step (S330), during welding of the base material (S), the predicted welding state of the base material (S) is predicted from the color image map (M) derived in the signal processing step (S200) based on the artificial neural network. And, a comparative learning step in which the actual welding results of the base material (S) confirmed after completion of welding of the base material (S) are compared, and the sum of the errors of the predicted welding state compared to the actual welding results is derived as a loss function (Loss function) In the correction step (S332), the optimization result for minimizing the error of the predicted welding state is reflected in the artificial neural network of the learning step (S320) by considering the loss function derived in the comparison learning step (S331) and (S331), The artificial neural network can be optimized.

따라서, 본 발명의 일 실시예에 따른, 용접 품질 모니터링 방법 및 용접 품질 모니터링 시스템(100)에 따르면, 레이저 용접 시, 모재(S)의 용접 부위(W)에서 발생되는 용접광(2)을 분광기(112)를 통해 파장별로 분산된 상태로 센싱한 상기 이미지 신호를 파장 대역에 따른 빛의 세기의 변화를 나타내는 복수의 스펙트럼 신호(SS)로 출력하고, 출력된 복수의 스펙트럼 신호(SS)를 연산하여 빛의 세기의 분포를 등고선도 형태로 도출된 색상 이미지 맵(M)을, 용접 상태와 색상 이미지 맵 형태의 상관관계를 학습한 상기 인공신경망에 적용하여, 용접의 양호 또는 불량 상태 여부를 실시간으로 높은 정확도로 판단할 수 있는 효과를 가질 수 있다.Therefore, according to the welding quality monitoring method and welding quality monitoring system 100 according to an embodiment of the present invention, during laser welding, the welding light 2 generated at the welding site W of the base material S is transmitted through a spectrometer. The image signal sensed in a dispersed state by wavelength through (112) is output as a plurality of spectrum signals (SS) representing the change in light intensity according to the wavelength band, and the output plurality of spectrum signals (SS) are calculated. By applying the color image map (M) derived from the distribution of light intensity in the form of a contour map to the artificial neural network that learned the correlation between the welding state and the color image map, it can determine whether the welding is good or bad in real time. This can have the effect of being judged with high accuracy.

예컨대, 도 7의 실험결과에 도시된 바와 같이, 본 발명의 일 실시예에 따른, 용접 품질 모니터링 방법 및 용접 품질 모니터링 시스템(100)에 따르면, 레이저 출력이 클수록 또는 레이저 용접의 속도가 빠를수록 광신호의 강도(Intensity)가 증가하는 것으로 나타났다.For example, as shown in the experimental results of FIG. 7, according to the welding quality monitoring method and welding quality monitoring system 100 according to an embodiment of the present invention, the greater the laser output or the faster the speed of laser welding, the more light The intensity of the signal appeared to increase.

더욱 구체적으로, 도 7의 실험결과를 나타내는 표의 가로축은 레이저의 출력(1,000W 내지 4,000w)을 나타내고, 세로축은 레이저 용접의 속도(1.5mpm 내지 2.5mpm)을 나타낼 수 있다.More specifically, the horizontal axis of the table showing the experimental results in FIG. 7 represents the output of the laser (1,000 W to 4,000 W), and the vertical axis may represent the speed of laser welding (1.5 mpm to 2.5 mpm).

본 실험 결과에 따르면, 도 7에 도시된 바와 같이, 레이저 출력이 클수록 또는 레이저 용접의 속도가 빠를수록 광신호의 강도(Intensity)가 증가하여 색상 이미지 맵의 등고선도가 더욱 선명하게 나타나는 것을 확인할 수 있었으며, 용접 조건(레이저의 출력이나 레이저 용접의 속도 등)이나 용접 품질(접합 양호나, 미접합 불량이나, 용입 부족 불량 등)에 따른 색상 이미지 맵(M)의 광신호의 크기(선명도)와 색상 분포(색상 등고선)가 유의미한 차이를 가지는 것이 확인됨에 따라, 특정한 광신호의 크기와 색상 분포를 가지는 색상 이미지 맵(M)을 이용하여 용접 품질의 예측이 가능함을 검증할 수 있었다.According to the results of this experiment, as shown in Figure 7, it can be seen that the greater the laser output or the faster the speed of laser welding, the more the intensity of the optical signal increases, and the more clearly the contour of the color image map appears. The size (sharpness) of the optical signal of the color image map (M) depending on the welding conditions (laser output, laser welding speed, etc.) or welding quality (good joint, poor joint, poor penetration, etc.) As it was confirmed that the color distribution (color contour) had a significant difference, it was possible to verify that welding quality could be predicted using a color image map (M) with a specific size and color distribution of the optical signal.

그러므로, 본 발명의 여러 실시예에 따른, 용접 품질 모니터링 방법 및 용접 품질 모니터링 시스템(100)에 따르면, 모재(S)의 용접 중, 특정한 광신호의 크기와 색상 분포를 가지는 색상 이미지 맵(M)을 도출하여 이를 상기 인공신경망에 대입함으로써, 실시간으로 모재(S)의 용접 부위(W)의 품질 예측이 정확하게 이루어질 수 있는 효과를 가질 수 있다.Therefore, according to the welding quality monitoring method and the welding quality monitoring system 100 according to various embodiments of the present invention, during welding of the base material (S), a color image map (M) having the size and color distribution of a specific optical signal is created. By deriving and substituting this into the artificial neural network, the quality of the welded area (W) of the base material (S) can be accurately predicted in real time.

또한, 본 발명의 용접 품질 모니터링 방법은, 처리할 데이터를 감소시켜 연산량을 줄이고, 적은 데이터 수로 이루어진 명확하고 표준화된 신호를 통해 용접 품질을 더욱 정확하게 모니터링할 수 있도록, 원신호 데이터인 색상 이미지 맵(M)을 그대로 사용하지 않고, 소정의 절차를 거쳐 표준화된 신호로 가공한 후 이용할 수도 있다.In addition, the welding quality monitoring method of the present invention reduces the amount of calculation by reducing the data to be processed, and allows more accurate monitoring of welding quality through a clear and standardized signal consisting of a small number of data, such as a color image map (color image map) of the raw signal data. Instead of using M) as is, it can be used after processing it into a standardized signal through a certain procedure.

이하에서는, 상술한 색상 이미지 맵(M)을 표준화된 신호로 가공하는 방법 및 가공된 데이터를 이용하여 용접 품질을 모니터링 하는 방법에 대해 더욱 상세하게 설명하도록 한다.Hereinafter, a method of processing the above-described color image map (M) into a standardized signal and a method of monitoring welding quality using the processed data will be described in more detail.

도 8 및 도 9는 도 2의 용접 품질 모니터링 방법의 신호 처리 단계(S200)의 다른 실시예를 나타내는 순서도 및 개념도이고, 도 10은 도 8의 신호 처리 단계(S200)를 통해 추출될 수 있는 입력 변수 및 입력 변수에 따른 출력 변수를 나타내는 표이며, 도 11은 도 2의 용접 품질 모니터링 방법의 용접 품질 예측 단계(S300)의 다른 실시예를 순서대로 나타내는 순서도이다. 그리고, 도 12는 본 발명의 다른 실시예에 따른 용접 품질 모니터링 방법을 이용한 실험 결과를 나타내는 그래프이다.FIGS. 8 and 9 are flowcharts and conceptual diagrams showing another embodiment of the signal processing step (S200) of the welding quality monitoring method of FIG. 2, and FIG. 10 shows the input that can be extracted through the signal processing step (S200) of FIG. 8. It is a table showing output variables according to variables and input variables, and FIG. 11 is a flowchart sequentially showing another embodiment of the welding quality prediction step (S300) of the welding quality monitoring method of FIG. 2. And, Figure 12 is a graph showing the results of an experiment using a welding quality monitoring method according to another embodiment of the present invention.

먼저, 도 8에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 용접 품질 모니터링 방법의 신호 처리 단계(S200)는, 상술한 본 발명의 일 실시예에 따른 용접 품질 모니터링 방법의 신호 처리 단계(S200)의 신호 취득 단계(S210)와, 밴드 설정 단계(S220) 및 이미지 도면 출력 단계(S230) 이후에, 신호 가공 단계(S240) 및 입력 변수 추출 단계(S250)를 더 포함할 수 있다.First, as shown in FIG. 8, the signal processing step (S200) of the welding quality monitoring method according to another embodiment of the present invention is the signal processing step (S200) of the welding quality monitoring method according to an embodiment of the present invention described above ( After the signal acquisition step (S210), the band setting step (S220), and the image drawing output step (S230) of S200), a signal processing step (S240) and an input variable extraction step (S250) may be further included.

도 8 및 도 9에 도시된 바와 같이, 신호 가공 단계(S240)는, 이미지 도면 출력 단계(S230)에서 출력된 색상 이미지 맵(M)을 CIE 1931 XYZ 색체계에 의해 RGB 값으로 변환하고, 이를 복수의 스펙트럼 신호(SS)가 취득된 시간 순에 따른 상기 RGB 값의 변화를 나타내는 그래프 형태의 신호로서, 각 RGB 영역별로 구분해서 나타내는 RGB값 변화 그래프(RG)로 출력할 수 있다.As shown in FIGS. 8 and 9, the signal processing step (S240) converts the color image map (M) output in the image drawing output step (S230) into RGB values by the CIE 1931 It is a signal in the form of a graph showing the change in the RGB values according to the time order in which the spectrum signal (SS) was acquired, and can be output as an RGB value change graph (RG) separately shown for each RGB region.

원신호 데이터인 색상 이미지 맵(M)을 그대로 사용할 경우, 불필요한 데이터가 존재할 수 있으며, 그로 인해 연산량이 증가(처리 시간 증가)할 수 있다. 예컨대, 도 9의 색상 이미지 맵(M)에도 도시된 바와 같이, 약 350nm 내지 750nm의 파장 영역에서는 특징적이고 유의미한 신호가 존재하지만, 이외의 파장 영역에서는 특징적이고 유의미한 신호가 없는 것으로 나타났다.If the color image map (M), which is the original signal data, is used as is, unnecessary data may exist, which may increase the amount of calculation (increase in processing time). For example, as shown in the color image map (M) of FIG. 9, a characteristic and significant signal exists in the wavelength region of about 350 nm to 750 nm, but there is no characteristic and significant signal in other wavelength regions.

또한, 유의미한 데이터로 사용될 수 있는 약 350nm 내지 750nm의 파장 영역의 신호는 데이터를 직관적으로 구분하기에 분명하지 않은 부분이 있었다. 즉, 해당 파장 영역에서 분명한 차이는 확인되지만 그 차이를 구분하기에는 적합하지 않는 데이터 형태라고 판단할 수 있다. 아울러, 이와 같은 색상 이미지 맵(M)에 대한 신호를 그리는(Plot) 기준(색상에 대한 기준 설정 및 축 설정), 사용되는 소프트웨어, 디스플레이하는 매체(모니터, 인쇄물 등)에 따라 색상과 형상이 다르게 표현될 수 있기 때문에, 표준화된 방법이나 표현 수단으로 원신호 데이터인 색상 이미지 맵(M)을 가공하는 것이 필요할 수 있다.In addition, signals in the wavelength range of about 350 nm to 750 nm, which can be used as meaningful data, were not clear enough to intuitively distinguish the data. In other words, although a clear difference is confirmed in the relevant wavelength range, it can be judged that the data type is not suitable for distinguishing the difference. In addition, the color and shape may vary depending on the standard for drawing (plot) the signal for the color image map (M) (color standard setting and axis setting), the software used, and the display medium (monitor, printed material, etc.). Because it can be expressed, it may be necessary to process the color image map (M), which is the original signal data, using a standardized method or means of expression.

이에 따라. 본 발명의 다른 실시예에 따른 용접 품질 모니터링 방법의 신호 처리 단계(S200)에서는, 신호 가공 단계(S240)를 통해, 원신호 데이터인 색상 이미지 맵(M)을 그대로 사용하지 않고, 원신호 데이터를 처리한 후 얻어지는 유의미한 특정 인자(Feature)를 이용하도록 할 수 있다. 또한, 원신호 데이터 처리를 통해, 신호 가독성을 향상시키고, 향상된 가독성을 기반으로 신호 분석 및 품질 판정에 대한 사용자의 편의를 증대하도록 할 수 있다.Accordingly. In the signal processing step (S200) of the welding quality monitoring method according to another embodiment of the present invention, rather than using the color image map (M), which is the original signal data, through the signal processing step (S240), the original signal data is It is possible to use specific meaningful features obtained after processing. In addition, through raw signal data processing, signal readability can be improved and user convenience for signal analysis and quality judgment can be increased based on improved readability.

더욱 구체적으로, 신호 가공 단계(S240)에서는, CIE 1931 2 Degree Standard Observer 기준에 의거하여 원신호 데이터인 색상 이미지 맵(M)을 일차적으로 CIE XYZ로 변환한 후, 상기 CIE XYZ 데이터를 다시 sRGB값으로 변환하고, 최종적으로 변환된 상기 sRBG값을 이용하여, 복수의 스펙트럼 신호(SS)가 취득된 시간 순에 따른 상기 RGB 값의 변화를 나타내는 그래프 형태의 신호로서, 각 RGB 영역별로 구분해서 나타내는 RGB값 변화 그래프(RG)로 출력할 수 있었다.More specifically, in the signal processing step (S240), the color image map (M), which is the original signal data, is first converted to CIE XYZ based on the CIE 1931 2 Degree Standard Observer standard, and then the CIE , and using the finally converted sRBG value, it is a signal in the form of a graph showing the change in the RGB value according to the time order in which the plurality of spectrum signals (SS) were acquired. RGB separately indicated for each RGB region. It was possible to output it as a value change graph (RG).

도 9에 도시된 바와 같이, 최종적으로 출력된 RGB값 변화 그래프(RG)는, 색상 이미지 맵(M) 대비 데이터의 차이를 명확하게 표현할 수 있었다. 또한, 연산량 관점에서도 처리할 데이터가 감소하기 때문에 이점을 가질 수 있으며, 사용자 입장에서도 보다 적은 수의 명확하고, 표준화된 신호를 통해 용접 품질의 모니터링을 더욱 직관적으로 함으로써, 편의성을 증대시킬 수 있다.As shown in FIG. 9, the final output RGB value change graph (RG) was able to clearly express the difference in data compared to the color image map (M). In addition, there is an advantage in terms of the amount of calculation because the data to be processed is reduced, and from the user's perspective, convenience can be increased by making monitoring of welding quality more intuitive through a smaller number of clear and standardized signals.

이러한, RGB값 변화 그래프(RG)를 이용하여, 본 발명의 다른 실시예에 따른 용접 품질 모니터링 방법의 알고리즘은, RGB값 변화 그래프(RG)의 RGB 신호와 최대 강도 파장값을 사용하여 용접 품질을 모니터링 할 수 있다.Using this RGB value change graph (RG), the algorithm of the welding quality monitoring method according to another embodiment of the present invention uses the RGB signal and the maximum intensity wavelength value of the RGB value change graph (RG) to determine welding quality. It can be monitored.

예컨대, 도 8 및 도 10에 도시된 바와 같이, 신호 처리 단계(S200)는, 신호 가공 단계(S240)에 이어서, 입력 변수 추출 단계(S250)를 통해, RGB값 변화 그래프(RG)에서, R값의 평균(), G값의 평균(), B값의 평균(), R값의 표준편차(STD(R)), G값의 표준편차(STD(G)), B값의 표준편차(STD(B)), 최대 강도 파장 평균() 및 최대 강도 파장의 표준편차(STD()) 중 적어도 어느 하나 이상을 입력 변수로 추출할 수 있다.For example, as shown in FIGS. 8 and 10, the signal processing step (S200) follows the signal processing step (S240), and then, through the input variable extraction step (S250), R in the RGB value change graph (RG) The average of the values ( ), average of G values ( ), average of B values ( ), standard deviation of R value (STD(R)), standard deviation of G value (STD(G)), standard deviation of B value (STD(B)), maximum intensity wavelength average ( ) and the standard deviation of the maximum intensity wavelength (STD( )) can be extracted as an input variable.

이어서, 도 11에 도시된 바와 같이, 용접 품질 예측 단계(S300)의 정보 저장 단계(S310)는, 상기 실험용 색상 이미지 맵으로부터 실험용 RGB값 변화 그래프를 출력하여, 상기 실험용 RGB값 변화 그래프로부터 실험용 입력 변수를 추출하여 상기 학습 데이터로 저장하는 입력 변수 저장 단계(S311) 및 상기 실험용 시편의 용접 결과를 미접합, 용입 부족, 완전 용입 및 갭의 의한 미접합 총 4개로 구분된 학습용 출력 변수로 추출하여 상기 학습 데이터로 저장하는 출력 변수 저장 단계(S312)를 포함하고, 학습 단계(S320)는, 상기 실험용 입력 변수와 상기 학습용 출력 변수의 상관관계를 상기 인공신경망에 의해 기계적으로 학습할 수 있다.Subsequently, as shown in FIG. 11, the information storage step (S310) of the welding quality prediction step (S300) outputs an experimental RGB value change graph from the experimental color image map, and experimental input is obtained from the experimental RGB value change graph. An input variable storage step (S311) in which variables are extracted and stored as the learning data, and the welding results of the experimental specimen are extracted as output variables for learning divided into a total of four categories: unjoined, insufficient penetration, full penetration, and unjoined due to gap. It includes an output variable storage step (S312) of storing the learning data as the learning data, and the learning step (S320) can mechanically learn the correlation between the experimental input variables and the learning output variables by the artificial neural network.

이때, 도 10에 도시된 바와 같이, 출력 변수 저장 단계(S312)는, 상기 미접합, 상기 용입 부족, 상기 완전 용입 및 상기 갭의 의한 미접합 중, 가장 큰 값을 1로, 나머지 값을 0으로 처리하여, 1과 0의 숫자 조합으로 상기 학습용 출력 변수를 추출할 수 있다.At this time, as shown in FIG. 10, in the output variable storage step (S312), among the non-bonding, the lack of penetration, the complete penetration, and the non-bonding due to the gap, the largest value is set to 1 and the remaining values are set to 0. By processing, the learning output variable can be extracted as a combination of numbers 1 and 0.

이에 따라, 용접 품질 예측 단계(S300)는, 최종적으로, 판단 단계(S330)를 통해, 상기 학습 단계(S320)에서, 상기 실험용 입력 변수와 상기 학습용 출력 변수의 상관관계를 기계적으로 학습한 상기 인공신경망을 기초로, 상기 입력 변수 추출 단계(S250)로부터 추출된 상기 입력 변수로부터 출력 변수를 산출하여 상기 모재(S)의 용접 품질을 판단할 수 있다.Accordingly, the welding quality prediction step (S300) is, finally, through the judgment step (S330), and in the learning step (S320), the artificial Based on a neural network, the welding quality of the base material (S) can be determined by calculating output variables from the input variables extracted from the input variable extraction step (S250).

이하, 본 발명의 이해를 돕기 위한 실험예에 대해서 기술한다. 하기의 실험예는 본 발명의 이해를 돕기 위해 예시적으로 제시되는 것으로서, 본 발명이 하기 실험예로 한정되는 것이 아님은 물론이다.Hereinafter, experimental examples to aid understanding of the present invention will be described. The following experimental examples are presented as examples to aid understanding of the present invention, and of course, the present invention is not limited to the following experimental examples.

도 10에 도시된 바와 같이, 입력 변수로서, RGB값 변화 그래프(RG)에서, 각각, R값의 평균(), G값의 평균(), B값의 평균(), R값의 표준편차(STD(R)), G값의 표준편차(STD(G)), B값의 표준편차(STD(B)), 최대 강도 파장 평균() 및 최대 강도 파장의 표준편차(STD()) 8개의 입력 변수를 계산하였다. 그리고 출력 변수로써, 미접합, 용입 부족, 완전 용입(품질 만족), 그리고 갭에 의한 미접합, 총 4개로 구분하여 출력 변수를 적용하였다.As shown in Figure 10, as an input variable, in the RGB value change graph (RG), the average of R values ( ), average of G values ( ), average of B values ( ), standard deviation of R value (STD(R)), standard deviation of G value (STD(G)), standard deviation of B value (STD(B)), maximum intensity wavelength average ( ) and the standard deviation of the maximum intensity wavelength (STD( )) Eight input variables were calculated. In addition, a total of four output variables were applied: non-bonding, insufficient penetration, complete penetration (quality satisfaction), and non-bonding due to a gap.

이때, 출력 변수의 경우, 상기 인공신경망 모델에서 출력되는 4개의 노드 중에서 가장 큰 값을 1로, 나머지 값을 0으로 처리할 수 있다. 즉, 출력이 1000, 0100, 0010, 0001은 순서대로 미접합, 용입 부족, 완전 용입, 갭에 의한 미접합을 나타낼 수 있다. 총 5,400개의 데이터를 생성하여, 그 중 85%인 4,590개의 데이터를 학습에 사용하였고, 검증용으로는 15%인 810개의 데이터를 사용하였다.At this time, in the case of the output variable, the largest value among the four nodes output from the artificial neural network model can be treated as 1, and the remaining values can be treated as 0. That is, the outputs of 1000, 0100, 0010, and 0001 may indicate non-joint, insufficient penetration, complete penetration, and non-connection due to gap in that order. A total of 5,400 pieces of data were generated, of which 4,590 pieces of data (85%) were used for learning, and 810 pieces of data (15%) were used for verification.

총 5,000번의 학습을 통해 최종 모델을 추정하였으며, 도 12는 이에 따른 학습 결과이다. 도 12에 도시된 바와 같이, 약 1,000회의 학습 이후부터 정확도 (accuracy)와 손실 함수가 수렴하는 것을 확인할 수 있었다. 이와 같이, 상기 인공신경망 모델의 학습을 통해 최종적으로 학습 데이터에 대해서는 97.67%의 정확도를 가지고, 검증 데이터에 대해서는 91.38%의 정확도를 가지는 것을 알 수 있었다.The final model was estimated through learning a total of 5,000 times, and Figure 12 shows the resulting learning results. As shown in Figure 12, it was confirmed that the accuracy and loss function converged after about 1,000 learning sessions. In this way, through learning of the artificial neural network model, it was finally found to have an accuracy of 97.67% for the training data and an accuracy of 91.38% for the verification data.

따라서, 본 발명의 다른 실시예에 따른, 용접 품질 모니터링 방법에 따르면, 원신호 데이터인 색상 이미지 맵(M)을 그대로 사용하지 않고, 색상 이미지 맵(M)을 CIE 1931 XYZ 색체계에 의해 RGB 값으로 변환하고, 이를 복수의 스펙트럼 신호(SS)가 취득된 시간 순에 따른 상기 RGB 값의 변화를 나타내는 표준화된 그래프 형태의 신호로서, 각 RGB 영역별로 구분해서 나타내는 RGB값 변화 그래프(RG)로 가공하여, 상기 인공신경망에 적용함으로써, 연산량 관점에서 처리할 데이터를 감소시킬 수 있다. 그러므로, 사용자가 적은 수의 명확하고 표준화된 신호를 통해 모니터링 하도록 함으로써, 용접 품질 모니터링을 직관적으로 하고 편의성을 증대시켜 줄 수 있는 효과를 가질 수 있다.Therefore, according to the welding quality monitoring method according to another embodiment of the present invention, rather than using the color image map (M), which is the original signal data, as is, the color image map (M) is converted to RGB values according to the CIE 1931 XYZ color system. Convert and process this into an RGB value change graph (RG), which is a signal in the form of a standardized graph representing the change in the RGB values according to the time order in which the plurality of spectrum signals (SS) were acquired, and is separately represented by each RGB region. , by applying it to the artificial neural network, the data to be processed can be reduced in terms of computational volume. Therefore, by allowing the user to monitor through a small number of clear and standardized signals, it can have the effect of making welding quality monitoring intuitive and increasing convenience.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.The present invention has been described with reference to the embodiments shown in the drawings, but these are merely exemplary, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true scope of technical protection of the present invention should be determined by the technical spirit of the attached patent claims.

1: 레이저빔
2: 용접광
3: 스펙트럼
10: 용접 헤드
20: 광생성부
30: 사용자 단말기
100: 용접 품질 모니터링 시스템
110: 분광 센싱부
111: 미러
112: 분광기
113: 이미지 센서
114: 경통
115: 광케이블
120: 모니터링부
121: 스펙트럼 신호 출력부
122: 신호 처리부
123: 용접 품질 예측부
123a: 데이터 베이스
124: 출력부
S: 모재
W: 용접 부위
SS: 복수의 스펙트럼 신호
BA: 복수의 밴드 영역
AG: 평균값 변화 그래프
RG: RGB값 변화 그래프
M: 색상 이미지 맵
1: Laser beam
2: Welding enthusiast
3: Spectrum
10: welding head
20: Light generation unit
30: user terminal
100: Welding quality monitoring system
110: Spectral sensing unit
111: mirror
112: Spectroscopy
113: image sensor
114: barrel
115: optical cable
120: Monitoring unit
121: Spectrum signal output unit
122: signal processing unit
123: Welding quality prediction unit
123a: database
124: output unit
S: Base material
W: Welding area
SS: Multiple spectral signals
BA: multiple band areas
AG: average value change graph
RG: RGB value change graph
M: color image map

Claims (18)

모재의 용접 중, 상기 모재의 용접 부위에서 발생되는 용접광을 실시간으로 모니터링 및 분석하여 상기 모재의 용접 품질을 평가할 수 있는 용접 품질 모니터링 방법에 있어서,
이미지 센서가 상기 모재의 상기 용접 부위에서 순간적으로 발생되는 상기 용접광을 분광기를 통해 파장별로 분산된 상태로 센싱하고, 이를 파장 대역에 따른 빛의 세기의 변화를 나타내는 그래프 형태의 신호로서, 상기 모재의 용접 중, 소정의 시간동안 소정의 횟수로 복수의 스펙트럼 신호를 출력하는 스펙트럼 신호 출력 단계;
상기 스펙트럼 신호 출력 단계에서 상기 소정의 시간동안 시간순으로 출력된 상기 복수의 스펙트럼 신호를 연산하여, 상기 소정의 시간동안 시간별 흐름에 따른 상기 용접광의 파장별 상기 빛의 세기의 분포를 색상으로 구분하여 나타낸 색상 이미지 맵으로 도출하는 신호 처리 단계;
사전에 실험을 통해 도출된, 실험용 시편의 용접 결과와, 상기 실험용 시편의 실험용 용접광으로부터 도출된 실험용 색상 이미지 맵 간의 상관관계를 학습 데이터로 학습한 인공신경망에 기초하여, 상기 신호 처리 단계에서 도출된 상기 색상 이미지 맵으로부터 상기 모재의 용접 품질을 예측하는 용접 품질 예측 단계; 및
상기 용접 품질 예측 단계에서 예측된 상기 모재의 예측 용접 상태를 출력 데이터로 출력하는 결과 출력 단계;
를 포함하는, 용접 품질 모니터링 방법.
In the welding quality monitoring method that can evaluate the welding quality of the base material by monitoring and analyzing the welding light generated at the welding site of the base material in real time during welding of the base material,
An image sensor senses the welding light momentarily generated at the welding site of the base material in a dispersed state by wavelength through a spectrometer, and this is a signal in the form of a graph representing the change in light intensity according to the wavelength band, wherein the base material A spectrum signal output step of outputting a plurality of spectrum signals a predetermined number of times during a predetermined time during welding;
In the spectrum signal output step, the plurality of spectrum signals output in chronological order for the predetermined time are calculated, and the distribution of the light intensity according to the wavelength of the welding light according to the time flow during the predetermined time is displayed by color classification. A signal processing step to derive a color image map;
The correlation between the welding results of the experimental specimen derived through prior experiments and the experimental color image map derived from the experimental welding light of the experimental specimen is derived in the signal processing step based on an artificial neural network learned with learning data. A welding quality prediction step of predicting the welding quality of the base material from the color image map; and
A result output step of outputting the predicted welding state of the base material predicted in the welding quality prediction step as output data;
Including, welding quality monitoring method.
제 1 항에 있어서,
상기 신호 처리 단계는,
상기 스펙트럼 신호 출력 단계에서 출력되는 상기 복수의 스펙트럼 신호를 상기 소정의 시간동안 시간순으로 취득하는 신호 취득 단계;
상기 복수의 스펙트럼 신호에서 서로 다른 소정의 파장 대역 범위를 가지는 복수의 밴드 영역을 설정하는 밴드 설정 단계; 및
시간순으로 취득된 각각의 개별 스펙트럼 신호에서, 각 밴드 영역 내에서의 상기 빛의 세기의 복수의 평균값을 산출하고, 이를 상기 복수의 스펙트럼 신호가 취득된 시간 순에 따른 상기 용접광의 파장별 상기 복수의 평균값의 분포를 색상으로 구분하여 나타낸 상기 색상 이미지 맵으로 출력하는 이미지 도면 출력 단계;
를 포함하는, 용접 품질 모니터링 방법.
According to claim 1,
The signal processing step is,
a signal acquisition step of acquiring the plurality of spectrum signals output from the spectrum signal output step in chronological order for the predetermined time;
A band setting step of setting a plurality of band areas having different predetermined wavelength band ranges in the plurality of spectrum signals; and
From each individual spectrum signal acquired in time order, a plurality of average values of the light intensity within each band region are calculated, and this is calculated as the plurality of average values for each wavelength of the welding light according to the time order in which the plurality of spectrum signals were acquired. An image drawing output step of outputting the color image map showing the distribution of the average value by color classification;
Including, welding quality monitoring method.
제 2 항에 있어서,
상기 스펙트럼 신호 출력 단계는,
제 1 시간에 상기 분광기를 통해 파장별로 분산된 상태로 센싱된 상기 용접광을 제 1 스펙트럼 신호로 출력하는 제 1 스펙트럼 출력 단계;
상기 제 1 시간으로부터 소정의 시간 간격을 가지는 제 2 시간에 상기 분광기를 통해 파장별로 분산된 상태로 센싱된 상기 용접광을 제 2 스펙트럼 신호로 출력하는 제 2 스펙트럼 출력 단계; 및
제 n-1 시간으로부터 상기 소정의 시간 간격을 가지는 제 n 시간에 상기 분광기를 통해 파장별로 분산된 상태로 센싱된 상기 용접광을 제 n 스펙트럼 신호로 출력하는 제 n 스펙트럼 출력 단계;
를 포함하는, 용접 품질 모니터링 방법.
According to claim 2,
The spectrum signal output step is,
A first spectrum output step of outputting the welding light sensed in a dispersed state by wavelength through the spectrometer at a first time as a first spectrum signal;
A second spectrum output step of outputting the welding light sensed in a dispersed state by wavelength through the spectrometer at a second time at a predetermined time interval from the first time as a second spectrum signal; and
an n-th spectrum output step of outputting the welding light sensed in a dispersed state by wavelength through the spectrometer at an n-th time having the predetermined time interval from the n-1 time as an n-th spectrum signal;
Including, welding quality monitoring method.
제 3 항에 있어서,
상기 소정의 시간은,
상기 제 1 시간부터 상기 제 n 시간까지의 시간이고,
상기 스펙트럼 신호 출력 단계에서, 상기 복수의 스펙트럼 신호는,
상기 소정의 시간동안 n개가 출력되는, 용접 품질 모니터링 방법.
According to claim 3,
The predetermined time is,
It is the time from the first time to the nth time,
In the spectrum signal output step, the plurality of spectrum signals are,
A welding quality monitoring method in which n items are output during the predetermined time.
제 3 항에 있어서,
상기 신호 취득 단계는,
상기 스펙트럼 신호 출력 단계에서 출력되는 상기 제 1 스펙트럼 신호 내지 상기 제 n 스펙트럼 신호를 상기 제 1 시간부터 상기 제 n 시간까지 상기 소정의 시간 간격으로 취득하고,
상기 밴드 설정 단계는,
상기 제 1 스펙트럼 신호 내지 상기 제 n 스펙트럼 신호를 포함하는 상기 복수의 스펙트럼 신호에서 소정의 파장 대역 범위를 가지는 제 1 밴드 영역을 설정하는 제 1 영역 설정 단계;
상기 복수의 스펙트럼 신호에서 상기 제 1 밴드 영역보다 높은 영역대의 소정의 파장 대역 범위를 가지는 제 2 밴드 영역을 설정하는 제 2 영역 설정 단계; 및
상기 복수의 스펙트럼 신호에서 제 n-1 밴드 영역보다 높은 영역대의 소정의 파장 대역 범위를 가지는 제 n 밴드 영역을 설정하는 제 n 영역 설정 단계;
를 포함하는, 용접 품질 모니터링 방법.
According to claim 3,
The signal acquisition step is,
Acquiring the first spectrum signal to the nth spectrum signal output from the spectrum signal output step at the predetermined time interval from the first time to the nth time,
The band setting step is,
A first area setting step of setting a first band area having a predetermined wavelength band range in the plurality of spectrum signals including the first spectrum signal to the nth spectrum signal;
A second area setting step of setting a second band area having a predetermined wavelength band range higher than the first band area in the plurality of spectrum signals; and
An n-th region setting step of setting an n-th band region having a predetermined wavelength band range higher than the n-1-th band region in the plurality of spectrum signals;
Including, welding quality monitoring method.
제 5 항에 있어서,
상기 이미지 도면 출력 단계는,
상기 제 1 시간에 취득된 상기 제 1 스펙트럼 신호에서, 상기 제 1 밴드 영역에서의 상기 빛의 세기의 평균값을 제 1-1 평균값으로 산출하고, 상기 제 2 밴드 영역에서의 상기 빛의 세기의 평균값을 제 1-2 평균값으로 산출하며, 상기 제 n 밴드 영역에서의 상기 빛의 세기의 평균값을 제 1-n 평균값으로 산출하는 제 1 평균값 산출 단계;
상기 제 2 시간에 취득된 상기 제 2 스펙트럼 신호에서, 상기 제 1 밴드 영역에서의 상기 빛의 세기의 평균값을 제 2-1 평균값으로 산출하고, 상기 제 2 밴드 영역에서의 상기 빛의 세기의 평균값을 제 2-2 평균값으로 산출하며, 상기 제 n 밴드 영역에서의 상기 빛의 세기의 평균값을 제 2-n 평균값으로 산출하는 제 2 평균값 산출 단계; 및
상기 제 n 시간에 취득된 상기 제 n 스펙트럼 신호에서, 상기 제 1 밴드 영역에서의 상기 빛의 세기의 평균값을 제 n-1 평균값으로 산출하고, 상기 제 2 밴드 영역에서의 상기 빛의 세기의 평균값을 제 n-2 평균값으로 산출하며, 상기 제 n 밴드 영역에서의 상기 빛의 세기의 평균값을 제 n-n 평균값으로 산출하는 제 n 평균값 산출 단계;를 포함하고,
상기 제 1 평균값 산출 단계 내지 상기 제 n 평균값 산출 단계에서 산출된 상기 빛의 세기의 상기 제 1-1 평균값 내지 상기 제 n-n 평균값을 포함하는 상기 복수의 평균값을 상기 빛의 세기에 따른 색상으로 구분하여, 상기 복수의 평균값이 상기 제 1 시간부터 상기 제 n 시간까지 시간 순에 따른 상기 용접광의 파장별로 분포하도록 색상 분포로 나타낸 상기 색상 이미지 맵을 출력하는, 용접 품질 모니터링 방법.
According to claim 5,
The image drawing output step is,
In the first spectrum signal acquired at the first time, the average value of the light intensity in the first band region is calculated as a 1-1 average value, and the average value of the light intensity in the second band region is calculated as a 1-1 average value. A first average value calculation step of calculating as a 1-2 average value, and calculating the average value of the light intensity in the n-th band region as a 1-n average value;
In the second spectrum signal acquired at the second time, the average value of the light intensity in the first band region is calculated as a 2-1 average value, and the average value of the light intensity in the second band region is calculated as a 2-1 average value. A second average value calculation step of calculating as a 2-2 average value, and calculating the average value of the light intensity in the n-th band region as a 2-n average value; and
In the n-th spectrum signal acquired at the n-th time, the average value of the light intensity in the first band region is calculated as the n-1 average value, and the average value of the light intensity in the second band region is calculated as the n-1th average value. An nth average value calculation step of calculating as the n-2th average value, and calculating the average value of the light intensity in the nth band region as the nnth average value,
The plurality of average values, including the 1-1st average value to the nnth average value of the light intensity calculated in the first average value calculation step to the nth average value calculation step, are divided into colors according to the light intensity. , A welding quality monitoring method that outputs the color image map expressed as a color distribution so that the plurality of average values are distributed by wavelength of the welding light in chronological order from the first time to the nth time.
제 6 항에 있어서,
상기 이미지 도면 출력 단계는,
색상의 밝기 차이로 상기 복수의 평균값의 각각의 평균값이 나타내는 상기 빛의 세기를 구분하는, 용접 품질 모니터링 방법.
According to claim 6,
The image drawing output step is,
A welding quality monitoring method that distinguishes the light intensity represented by each average value of the plurality of average values based on the difference in color brightness.
제 6 항에 있어서,
상기 제 1 평균값 산출 단계는,
상기 제 1 밴드 영역 내지 상기 제 n 밴드 영역을 포함하는 각 밴드 영역을 독립 변수로 하고, 상기 각 밴드 영역에서 산출된 상기 제 1-1 평균값 내지 상기 제 1-n 평균값을 종속 변수로 하여, 변수들 사이의 관계를 추정하는 회귀분석의 결과로 상관관계를 취득하며, 취득된 상관관계를 이용하여 상기 빛의 세기의 평균값이 산출되지 않은 밴드 영역의 상기 빛의 세기의 예상 평균값을 도출하고,
상기 이미지 도면 출력 단계는,
상기 색상 이미지 맵 출력 시 상기 예상 평균값을 상기 색상 분포에 포함하는, 용접 품질 모니터링 방법.
According to claim 6,
The first average value calculation step is,
Each band region including the first band region to the nth band region is an independent variable, and the 1-1st average value to the 1-nth average value calculated in each band region is a dependent variable, Obtaining a correlation as a result of a regression analysis that estimates the relationship between the two, and using the obtained correlation to derive an expected average value of the light intensity in a band area for which the average value of the light intensity has not been calculated,
The image drawing output step is,
Welding quality monitoring method including the expected average value in the color distribution when outputting the color image map.
제 2 항에 있어서,
상기 용접 품질 예측 단계는,
상기 실험용 시편의 용접 시 발생되는 상기 실험용 용접광으로부터 도출된 상기 실험용 색상 이미지 맵 및 상기 실험용 시편의 용접 결과를 학습 데이터로 저장하는 정보 저장 단계;
상기 학습 데이터로 저장된 상기 실험용 색상 이미지 맵 및 상기 실험용 시편의 용접 결과의 상관관계를 상기 인공신경망에 의해 기계적으로 학습하는 학습 단계; 및
상기 인공신경망에 기초하여, 상기 신호 처리 단계에서 도출된 상기 색상 이미지 맵으로부터 상기 모재의 용접 품질을 판단하는 판단 단계;
를 포함하는, 용접 품질 모니터링 방법.
According to claim 2,
The welding quality prediction step is,
An information storage step of storing the experimental color image map derived from the experimental welding light generated during welding of the experimental specimen and the welding result of the experimental specimen as learning data;
A learning step of mechanically learning the correlation between the experimental color image map stored as the learning data and the welding results of the experimental specimen by the artificial neural network; and
A determination step of determining welding quality of the base material from the color image map derived in the signal processing step, based on the artificial neural network;
Including, welding quality monitoring method.
제 9 항에 있어서,
상기 정보 저장 단계는,
상기 실험용 색상 이미지 맵 및 그와 대응되는 상기 실험용 시편의 용접 결과를 사전에 실험을 통해 도출하여 상기 학습 데이터로 복수개 저장하고,
상기 학습 단계는,
복수개의 상기 학습 데이터를 상기 인공신경망을 기반으로 학습하는, 용접 품질 모니터링 방법.
According to clause 9,
The information storage step is,
The experimental color image map and the corresponding welding results of the experimental specimen are derived through prior experiments and stored in plural numbers as the learning data,
The learning step is,
A welding quality monitoring method that learns a plurality of the learning data based on the artificial neural network.
제 9 항에 있어서,
상기 용접 품질 예측 단계는,
상기 학습 단계에서 학습된 상기 인공신경망의 오류 발생을 최소화시킬 수 있도록, 상기 인공신경망을 최적화시키는 최적화 단계;
를 더 포함하는, 용접 품질 모니터링 방법.
According to clause 9,
The welding quality prediction step is,
An optimization step of optimizing the artificial neural network so as to minimize the occurrence of errors in the artificial neural network learned in the learning step;
A method for monitoring welding quality, further comprising:
제 11 항에 있어서,
상기 최적화 단계는,
상기 모재의 용접 중, 상기 인공신경망에 기초하여 상기 신호 처리 단계에서 도출된 상기 색상 이미지 맵으로부터 예측된 상기 모재의 상기 예측 용접 상태와, 상기 모재의 용접 완료 후 확인한 상기 모재의 실측 용접 결과를 비교하여, 상기 실측 용접 결과 대비 상기 예측 용접 상태의 오차의 합을 손실 함수(Loss function)으로 도출하는 비교 학습 단계; 및
상기 비교 학습 단계에서 도출된 상기 손실 함수를 고려하여 상기 예측 용접 상태의 오차를 최소화하기 위한 최적화 결과를 상기 학습 단계의 상기 인공신경망에 반영하는 보정 단계;
를 포함하는, 용접 품질 모니터링 방법.
According to claim 11,
The optimization step is,
During welding of the base material, the predicted welding state of the base material predicted from the color image map derived in the signal processing step based on the artificial neural network is compared with the actual welding result of the base material confirmed after welding of the base material is completed. Thus, a comparative learning step of deriving the sum of the errors of the predicted welding state compared to the actual welding result as a loss function; and
A correction step of reflecting the optimization result for minimizing the error of the predicted welding state in the artificial neural network of the learning step by considering the loss function derived in the comparative learning step;
Including, welding quality monitoring method.
제 9 항에 있어서,
상기 신호 처리 단계는,
상기 이미지 도면 출력 단계에서 출력된 상기 색상 이미지 맵을 CIE 1931 XYZ 색체계에 의해 RGB 값으로 변환하고, 이를 상기 복수의 스펙트럼 신호가 취득된 시간 순에 따른 상기 RGB 값의 변화를 나타내는 그래프 형태의 신호로서, 각 RGB 영역별로 구분해서 나타내는 RGB값 변화 그래프로 출력하는 신호 가공 단계;
를 더 포함하는, 용접 품질 모니터링 방법.
According to clause 9,
The signal processing step is,
The color image map output in the image drawing output step is converted into RGB values according to the CIE 1931 , a signal processing step of outputting a graph of RGB value changes separately represented by each RGB region;
A method for monitoring welding quality, further comprising:
제 13 항에 있어서,
상기 신호 처리 단계는,
상기 RGB 값 변화 그래프에서, R값의 평균(), G값의 평균(), B값의 평균(), R값의 표준편차(STD(R)), G값의 표준편차(STD(G)), B값의 표준편차(STD(B)), 최대 강도 파장 평균() 및 최대 강도 파장의 표준편차(STD()) 중 적어도 어느 하나 이상을 입력 변수로 추출하는 입력 변수 추출 단계;
를 더 포함하는, 용접 품질 모니터링 방법.
According to claim 13,
The signal processing step is,
In the RGB value change graph, the average of R values ( ), average of G values ( ), average of B values ( ), standard deviation of R value (STD(R)), standard deviation of G value (STD(G)), standard deviation of B value (STD(B)), maximum intensity wavelength average ( ) and the standard deviation of the maximum intensity wavelength (STD( )) an input variable extraction step of extracting at least one of the following as an input variable;
A method for monitoring welding quality, further comprising:
제 14 항에 있어서,
상기 정보 저장 단계는,
상기 실험용 색상 이미지 맵으로부터 실험용 RGB값 변화 그래프를 출력하여, 상기 실험용 RGB값 변화 그래프로부터 실험용 입력 변수를 추출하여 상기 학습 데이터로 저장하는 입력 변수 저장 단계; 및
상기 실험용 시편의 용접 결과를 미접합, 용입 부족, 완전 용입 및 갭의 의한 미접합 총 4개로 구분된 학습용 출력 변수로 추출하여 상기 학습 데이터로 저장하는 출력 변수 저장 단계;를 포함하고,
상기 학습 단계는,
상기 실험용 입력 변수와 상기 학습용 출력 변수의 상관관계를 상기 인공신경망에 의해 기계적으로 학습하는, 용접 품질 모니터링 방법.
According to claim 14,
The information storage step is,
An input variable storage step of outputting an experimental RGB value change graph from the experimental color image map, extracting experimental input variables from the experimental RGB value change graph, and storing them as the learning data; and
An output variable storage step of extracting the welding results of the experimental specimen as learning output variables divided into a total of four categories: non-bonding, insufficient penetration, full penetration, and non-bonding due to a gap, and storing them as the learning data,
The learning step is,
A welding quality monitoring method that mechanically learns the correlation between the experimental input variables and the learning output variables by the artificial neural network.
제 15 항에 있어서,
상기 출력 변수 저장 단계는,
상기 미접합, 상기 용입 부족, 상기 완전 용입 및 상기 갭의 의한 미접합 중, 가장 큰 값을 1로, 나머지 값을 0으로 처리하여, 1과 0의 숫자 조합으로 상기 학습용 출력 변수를 추출하는, 용접 품질 모니터링 방법.
According to claim 15,
The output variable storage step is,
Among the non-bonding, the lack of penetration, the complete penetration, and the non-bonding due to the gap, the largest value is treated as 1 and the remaining values are treated as 0, and the learning output variable is extracted as a combination of numbers of 1 and 0, How to monitor weld quality.
제 15 항에 있어서,
상기 판단 단계는,
상기 학습 단계에서, 상기 실험용 입력 변수와 상기 학습용 출력 변수의 상관관계를 기계적으로 학습한 상기 인공신경망을 기초로, 상기 입력 변수 추출 단계로부터 추출된 상기 입력 변수로부터 출력 변수를 산출하여 상기 모재의 용접 품질을 판단하는, 용접 품질 모니터링 방법.
According to claim 15,
The judgment step is,
In the learning step, based on the artificial neural network that mechanically learns the correlation between the experimental input variables and the learning output variables, output variables are calculated from the input variables extracted from the input variable extraction step to weld the base material. Welding quality monitoring method to determine quality.
모재의 용접 부위에 레이저빔을 조사하여 상기 모재의 용접을 행하는 용접 헤드에서, 상기 레이저빔의 광경로 상에 설치되어, 상기 모재의 상기 용접 부위에서 발생되어 상기 용접 헤드로 입사되는 용접광을 분광하여 파장별로 분산된 상태로 스펙트럼을 형성하고, 상기 스펙트럼을 이미지 신호로 센싱하는 분광 센싱부; 및
상기 분광 센싱부로부터 수신되는 상기 이미지 신호에 따라 상기 모재의 예측 용접 상태를 모니터링하는 모니터링부;를 포함하고,
상기 모니터링부는,
상기 분광 센싱부를 통해 센싱된 상기 이미지 신호를 상기 모재의 용접 중 소정의 시간동안 소정의 횟수로 복수회 인가받고, 상기 이미지 신호를 파장 대역에 따른 빛의 세기의 변화를 나타내는 그래프 형태의 신호로서, 복수의 스펙트럼 신호를 출력하는 스펙트럼 신호 출력부;
상기 스펙트럼 신호 출력부에서 상기 소정의 시간동안 시간순으로 출력된 상기 복수의 스펙트럼 신호를 연산하여, 상기 소정의 시간동안 시간별 흐름에 따른 상기 용접광의 파장별 상기 빛의 세기의 분포를 색상으로 구분하여 나타낸 색상 이미지 맵으로 도출하는 신호 처리부;
사전에 실험을 통해 도출된, 실험용 시편의 용접 결과와, 상기 실험용 시편의 실험용 용접광으로부터 도출된 실험용 색상 이미지 맵 간의 상관관계를 학습 데이터로 학습한 인공신경망에 기초하여, 상기 신호 처리부에서 도출된 상기 색상 이미지 맵으로부터 상기 모재의 용접 품질을 예측하는 용접 품질 예측부; 및
상기 용접 품질 예측부에서 예측된 상기 모재의 예측 용접 상태를 출력 데이터로 출력하는 출력부;
를 포함하는, 용접 품질 모니터링 시스템.
A welding head that performs welding of a base material by irradiating a laser beam to the welding area of the base material is installed on the optical path of the laser beam and specifies the welding light generated at the welding area of the base material and incident on the welding head. a spectral sensing unit that forms a spectrum distributed by wavelength and senses the spectrum as an image signal; and
It includes a monitoring unit that monitors the predicted welding state of the base material according to the image signal received from the spectral sensing unit,
The monitoring unit,
The image signal sensed through the spectral sensing unit is applied a predetermined number of times during welding of the base material, and the image signal is a signal in the form of a graph showing the change in light intensity according to the wavelength band, a spectrum signal output unit that outputs a plurality of spectrum signals;
The spectrum signal output unit calculates the plurality of spectrum signals output in chronological order for the predetermined time, and displays the distribution of the light intensity according to the wavelength of the welding light according to the flow by time during the predetermined time, classified by color. A signal processing unit derived from a color image map;
Based on an artificial neural network that learned the correlation between the welding results of the experimental specimen, which was derived through a prior experiment, and the experimental color image map derived from the experimental welding light of the experimental specimen, as learning data, the signal processor derived a welding quality prediction unit that predicts welding quality of the base material from the color image map; and
an output unit that outputs the predicted welding state of the base material predicted by the welding quality prediction unit as output data;
Including, a welding quality monitoring system.
KR1020220093893A 2022-07-28 2022-07-28 Welding quality monitoring method and welding quality monitoring system KR20240015960A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220093893A KR20240015960A (en) 2022-07-28 2022-07-28 Welding quality monitoring method and welding quality monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220093893A KR20240015960A (en) 2022-07-28 2022-07-28 Welding quality monitoring method and welding quality monitoring system

Publications (1)

Publication Number Publication Date
KR20240015960A true KR20240015960A (en) 2024-02-06

Family

ID=89858458

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220093893A KR20240015960A (en) 2022-07-28 2022-07-28 Welding quality monitoring method and welding quality monitoring system

Country Status (1)

Country Link
KR (1) KR20240015960A (en)

Similar Documents

Publication Publication Date Title
US20220324056A1 (en) Systems and methods for measuring radiated thermal energy during an additive manufacturing operation
EP1415755B1 (en) Laser weld monitoring system and method
JP2024037833A (en) Measurement of radiant thermal energy density in the grid area of the build surface
Zhang et al. Real-time seam defect identification for Al alloys in robotic arc welding using optical spectroscopy and integrating learning
WO2020129618A1 (en) Welding system, and method for welding workpiece in which same is used
CN110458828B (en) Laser welding defect identification method and device based on multi-mode fusion network
EP2611565B1 (en) Method for detecting flaws in the process for the continuous laser welding of metallic portions
CN109297976B (en) Laser penetration welding defect detection platform and method based on laser welding energy distribution
CN112894126B (en) Method and system for adjusting detection parameters in laser processing process
CN110385512B (en) Welding monitoring and control system and welding monitoring and control method
US11940325B2 (en) Multi-spectral method for detection of anomalies during powder bed fusion additive manufacturing
US20240100626A1 (en) Laser working system for performing a working process on a workpiece by means of a laser beam and method for monitoring a working process on a workpiece by means of a laser beam
Mirapeix et al. Fast algorithm for spectral processing with application to on-line welding quality assurance
US20230201956A1 (en) Method for analyzing a laser machining process, system for analyzing a laser machining process, and laser machining system comprising such a system
KR20240015960A (en) Welding quality monitoring method and welding quality monitoring system
JP5704454B2 (en) Image processing apparatus and image processing method
JP4240220B2 (en) Laser welding quality inspection method and apparatus
KR20210083878A (en) Monitoring system of welding and monitoring method of the same
JP5224061B2 (en) Laser welding quality evaluation method and apparatus
Gutknecht et al. Relevance of single channel signals for two-colour pyrometer process monitoring of laser powder bed fusion
Mirapeix et al. Welding diagnostics by means of particle swarm optimization and feature selection
JP2005095942A (en) Laser welding quality inspection method and device
Cullen Development of a Smart Gas Metal Arc Welding System Using Acoustic Sensing
JP2001219287A (en) Monitoring method of laser beam welding
Mao et al. Development of a melt pool characteristics detection platform based on multi-information fusion of temperature fields and photodiode signals in plasma arc welding