KR102644641B1 - Quality monitoring device and method for laser welding - Google Patents
Quality monitoring device and method for laser welding Download PDFInfo
- Publication number
- KR102644641B1 KR102644641B1 KR1020210175971A KR20210175971A KR102644641B1 KR 102644641 B1 KR102644641 B1 KR 102644641B1 KR 1020210175971 A KR1020210175971 A KR 1020210175971A KR 20210175971 A KR20210175971 A KR 20210175971A KR 102644641 B1 KR102644641 B1 KR 102644641B1
- Authority
- KR
- South Korea
- Prior art keywords
- laser welding
- audio
- information
- deep learning
- learning process
- Prior art date
Links
- 238000003466 welding Methods 0.000 title claims abstract description 200
- 238000000034 method Methods 0.000 title claims abstract description 100
- 238000012806 monitoring device Methods 0.000 title claims abstract description 20
- 238000013135 deep learning Methods 0.000 claims abstract description 87
- 230000008569 process Effects 0.000 claims abstract description 82
- 238000012544 monitoring process Methods 0.000 claims abstract description 62
- 238000003384 imaging method Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims description 22
- 230000005236 sound signal Effects 0.000 claims description 14
- 239000000463 material Substances 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 10
- 238000009434 installation Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000002950 deficient Effects 0.000 description 4
- 230000035515 penetration Effects 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 2
- 229910052782 aluminium Inorganic materials 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008646 thermal stress Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K26/00—Working by laser beam, e.g. welding, cutting or boring
- B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
- B23K26/03—Observing, e.g. monitoring, the workpiece
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
- B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
- B23K31/125—Weld quality monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Plasma & Fusion (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Laser Beam Processing (AREA)
Abstract
본 발명에 따르는 레이저 용접에 대한 품질 모니터링 장치는, 레이저 용접영역을 촬상하는 촬상장치; 상기 촬상장치로부터 제공되는 촬상정보를 제공받아 이미지 딥러닝 프로세스로 처리하여 상기 레이저 용접에 대한 품질을 판별하고, 그 판별에 따라 모니터링 정보를 구성하는 제어장치;를 포함하며, 상기 이미지 딥러닝 프로세스는 레이저 용접의 다양한 상태 각각에 대한 이미지 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 촬상정보가 입력되면 상기 촬상정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류결과를 상기 판별정보로서 출력함을 특징으로 한다. 또한 상기의 레이저 용접에 대한 품질 모니터링 장치는 상기 레이저 용접영역에서 발생되는 오디오를 수득하는 마이크장치;를 더 구비하며, 상기 제어장치가 상기 마이크장치로부터 제공되는 오디오정보를 제공받아 오디오 딥러닝 프로세스로 처리하여 상기 레이저 용접에 대한 품질을 판별하고, 그 판별에 따른 정보를 상기 모니터링 정보에 부가하며, 상기 오디오 딥러닝 프로세서는 레이저 용접의 다양한 상태 각각에 대한 오디오 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 오디오정보가 입력되면 상기 오디오정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류결과를 상기 판별정보로서 출력함을 특징으로 한다. A quality monitoring device for laser welding according to the present invention includes an imaging device for imaging a laser welding area; A control device that receives imaging information provided from the imaging device, processes it through an image deep learning process to determine the quality of the laser welding, and configures monitoring information according to the determination, wherein the image deep learning process includes Learning is performed by receiving image learning data for each of the various states of laser welding. After the learning, when the imaging information is input, the imaging information is classified as belonging to one of the various states of laser welding, and the classification result is provided. It is characterized in that it is output as the determination information. In addition, the quality monitoring device for laser welding further includes a microphone device for obtaining audio generated in the laser welding area, and the control device receives audio information provided from the microphone device and performs an audio deep learning process. Processes to determine the quality of the laser welding, adds information according to the determination to the monitoring information, and the audio deep learning processor performs learning by receiving audio learning data for each of the various states of laser welding, After the learning, when the audio information is input, the audio information is classified into one of various states of laser welding, and the classification result is output as the determination information.
Description
본 발명은 용접 모니터링 기술에 관한 것으로, 더욱 상세하게는 딥러닝을 레이저 용접에 대한 품질 모니터링에 적용하여 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높이는 레이저 용접에 대한 품질 모니터링 장치 및 방법에 관한 것이다. The present invention relates to welding monitoring technology, and more specifically, to a quality monitoring device and method for laser welding that improves the accuracy and reliability of quality monitoring for laser welding by applying deep learning to quality monitoring for laser welding. .
레이저 가공이란 레이저 빔과 재료의 상호작용에 의해 발생하는 열을 이용하는 가공방법으로 레이저의 높은 에너지 밀도()와 고도의 지향성을 이용하는 가공기술이다.Laser processing is a processing method that uses heat generated by the interaction between a laser beam and a material. The high energy density of the laser ( ) and is a processing technology that uses high degree of directivity.
상기 레이저 빔은 큰 에너지 밀도를 만들어 낼 수 있기 때문에 용접, 절단, 열처리 등 정밀 가공에 이용되고 있으며 최근 레이저와 같은 고출력 레이저의 개발과 함께 급속하게 발전하고 있다. Since the laser beam can produce high energy density, it is used for precision processing such as welding, cutting, and heat treatment. It is developing rapidly with the development of high-power lasers such as lasers.
이러한 정밀 가공 중 레이저 용접은 기존 용접과는 달리 레이저를 용접 부위에 정밀 집속할 수 있으므로 열 영향 부위가 적어 정밀하게 용접 가공을 수행할 수 있고, 열의 입열량이 적어 재료의 뒤틀림 및 열응력의 변화가 적으며, 자동화가 용이하다.Among these precision processing, unlike conventional welding, laser welding can precisely focus the laser on the welding area, so the welding process can be performed precisely because the heat-affected area is small, and the amount of heat input is small, causing distortion of the material and changes in thermal stress. There is little and automation is easy.
고도의 용접 품질을 확보하기 위해서는 효율적인 레이저 미세용접 가공장치가 필요한데 이를 위해서는 용접의 품질을 판단할 수 있는 모니터링 시스템의 구축이 필수적이다.In order to secure high-level welding quality, an efficient laser micro-welding processing device is required, and for this, it is essential to establish a monitoring system that can judge the quality of welding.
따라서, 최근 고품질 레이저 용접 자동화를 위한 실시간 레이저 용접 모니터링 시스템의 연구가 활발하다.Therefore, recent research on real-time laser welding monitoring systems for high-quality laser welding automation has been active.
이러한 기술로는 대한민국 특허청에 실시간 레이저 용접 모니터링 시스템 및 레이저 미세용접 가공장치를 명칭으로 하여 특허등록된 제10-1409214호가 있다. 상기 특허등록된 기술은, 레이저 용접시에 재료에서 발생하는 반사 광을 적외선 신호와 자외선 신호로 분리하여 획득하는 광학헤드; 및 상기 광학헤드에서 획득된 적외선 신호와 자외선 신호를 입력받아 상기 적외선 신호로부터 레이저의 파워 및 입열량을 분석하고 상기 자외선 신호로부터 키홀의 생성 및 용입정도를 분석하는 모니터링 장치;를 포함하고, 상기 모니터링 장치:는 상기 적외선 신호와 상기 자외선 신호의 전원 잡음을 제거하는 노이즈 필터; 전원 잡음이 제거된 적외선 신호와 자외선 신호를 증폭하는 증폭 회로; 증폭된 적외선 신호 및 자외선 신호의 고주파를 제거하는 LC필터; 고주파가 제거된 적외선 신호 및 자외선 신호를 디지털 신호로 변환하는 DAQ보드(Data Acquisition Board); 및 상기 DAQ보드에서 출력되는 적외선 신호로부터 레이저의 파워 및 입열량을 분석하고, 자외선 신호로부터 키홀의 생성 및 용입정도를 분석하는 신호분석보드;를 포함하며, 상기 신호분석보드:는 상기 적외선 신호의 DC성분을 분리하는 버터워스형 저역 통과필터(Butterworth type Low pass filter)부; 상기 DC성분으로부터 레이저의 파워 및 입열량을 산출하는 DC성분 분석부; 상기 자외선 신호의 AC성분을 분리하는 역 체비세프형 밴드패스 필터(Inverse chebyshev type Band pass filter)부; 및 상기 AC성분으로부터 키홀의 생성 및 용입정도를 산출하는 AC성분 분석부;를 포함하는 레이저 용접 모니터링 시스템을 개시한다. This technology includes patent number 10-1409214 registered with the Korean Intellectual Property Office under the name of real-time laser welding monitoring system and laser micro-welding processing device. The patented technology includes an optical head that separates the reflected light generated from the material during laser welding into an infrared signal and an ultraviolet signal; And a monitoring device that receives the infrared and ultraviolet signals obtained from the optical head, analyzes the power and heat input of the laser from the infrared signals, and analyzes the creation and penetration degree of the keyhole from the ultraviolet signals. Device: a noise filter that removes power noise of the infrared signal and the ultraviolet signal; An amplification circuit that amplifies infrared and ultraviolet signals from which power noise has been removed; LC filter that removes high frequencies of amplified infrared and ultraviolet signals; DAQ board (Data Acquisition Board) that converts infrared and ultraviolet signals with high frequencies removed into digital signals; And a signal analysis board that analyzes the power and heat input of the laser from the infrared signal output from the DAQ board, and analyzes the creation and penetration degree of the keyhole from the ultraviolet signal. The signal analysis board: represents the infrared signal. Butterworth type low pass filter unit that separates DC components; a DC component analysis unit that calculates the power and heat input of the laser from the DC component; An inverse chebyshev type band pass filter unit that separates the AC component of the ultraviolet signal; And an AC component analysis unit that calculates the creation and penetration degree of the keyhole from the AC component. Disclosed is a laser welding monitoring system including a.
그리고 대한민국 특허청에 레이저 용접 모니터링 시스템 및 모니터링 방법을 명칭으로 하여 특허공개된 제10-2014-0057706호가 있다. 이는 자외선 대역의 광신호를 획득하는 제1 포토다이오드와, 적외선 대역의 광신호를 획득하는 제2 포토다이오드와, 가시광선 대역의 광신호를 획득하는 제3 포토다이오드 및 외부 환경으로부터 상기 포토다이오드를 보호하며 포토다이오드로 입사되는 광신호를 처리하는 광학계가 구비된 광학모듈; 상기 광학모듈에 의해 획득되는 광신호에 포함된 노이즈를 제거하는 노이즈 필터; 상기 노이즈 필터를 거친 신호를 증폭하는 연산증폭기; 상기 증폭된 신호를 처리하는 LC 필터; 상기 LC 필터에 의해 처리된 신호를 컴퓨터가 인식할 수 있는 디지털 신호로 변환하는 DAQ 보드; 및 상기 DAQ 보드로부터 전달되는 신호를 분석하여 용접 상태 정보를 검출하는 처리장치로 구성되는 레이저 용접 모니터링 시스템을 개시한다. And there is patent publication No. 10-2014-0057706 at the Korean Intellectual Property Office titled Laser Welding Monitoring System and Monitoring Method. This includes a first photodiode that acquires an optical signal in the ultraviolet band, a second photodiode that acquires an optical signal in the infrared band, a third photodiode that acquires an optical signal in the visible band, and a photodiode that detects the photodiode from the external environment. An optical module equipped with an optical system that protects and processes optical signals incident on a photodiode; a noise filter that removes noise included in the optical signal acquired by the optical module; an operational amplifier that amplifies the signal that has passed through the noise filter; LC filter for processing the amplified signal; A DAQ board that converts the signal processed by the LC filter into a digital signal that can be recognized by a computer; and a processing device that detects welding status information by analyzing signals transmitted from the DAQ board.
상기한 바와 같이 종래에는 레이저 용접시에 발생하는 반사광을 획득하고, 상기 획득된 정보를 이용하여 레이저 용접 모니터링을 이행하였으나 여전히 용접의 품질을 정확하고 신뢰있게 모니터링할 수 있게 하는 기술의 개발이 요구되었다. As mentioned above, in the past, reflected light generated during laser welding was acquired and laser welding monitoring was performed using the obtained information, but there was still a need for the development of technology that could accurately and reliably monitor the quality of welding. .
본 발명은 딥러닝을 레이저 용접에 대한 품질 모니터링에 적용하여 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높이는 레이저 용접에 대한 품질 모니터링 장치 및 방법을 제공하는 것을 그 목적으로 한다. The purpose of the present invention is to provide a quality monitoring device and method for laser welding that improves the accuracy and reliability of quality monitoring for laser welding by applying deep learning to quality monitoring for laser welding.
또한 본 발명의 다른 목적은 레이저 용접시 레이저 용접위치를 촬상한 촬상정보와 레이저 용접시 발생되는 오디오를 수음한 오디오정보를 이용하여 레이저 용접에 대한 품질 모니터링을 이행하여, 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높일 수 있는 레이저 용접에 대한 품질 모니터링 장치 및 방법을 제공하는 것이다. In addition, another object of the present invention is to perform quality monitoring for laser welding using imaging information captured by imaging the laser welding position during laser welding and audio information captured by audio generated during laser welding, thereby providing quality monitoring for laser welding. The aim is to provide a quality monitoring device and method for laser welding that can increase accuracy and reliability.
또한 본 발명의 또 다른 목적은 노이즈 필터링을 이행하여 레이저 용접시에 비산하는 칩으로 인하여 발생되는 노이즈성분을 제거함으로써 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높일 수 있는 레이저 용접에 대한 품질 모니터링 장치 및 방법을 제공하는 것이다. Another object of the present invention is to provide a quality monitoring device for laser welding that can improve the accuracy and reliability of quality monitoring for laser welding by performing noise filtering to remove noise components generated by chips flying during laser welding. and methods are provided.
상기한 목적을 달성하기 위한 본 발명에 따르는 레이저 용접에 대한 품질 모니터링 장치는, 레이저 용접영역을 촬상하는 촬상장치; 상기 촬상장치로부터 제공되는 촬상정보를 제공받아 이미지 딥러닝 프로세스로 처리하여 상기 레이저 용접에 대한 품질을 판별하고, 그 판별에 따라 모니터링 정보를 구성하는 제어장치;를 포함하며, 상기 이미지 딥러닝 프로세스는 레이저 용접의 다양한 상태 각각에 대한 이미지 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 촬상정보가 입력되면 상기 촬상정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류결과를 상기 판별정보로서 출력함을 특징으로 한다. 또한 상기의 레이저 용접에 대한 품질 모니터링 장치는 상기 레이저 용접영역에서 발생되는 오디오를 수득하는 마이크장치;를 더 포함하며, 상기 제어장치가 상기 마이크장치로부터 제공되는 오디오정보를 제공받아 오디오 딥러닝 프로세스로 처리하여 상기 레이저 용접에 대한 품질을 판별하고, 그 판별에 따른 정보를 상기 모니터링 정보에 부가하며, 상기 오디오 딥러닝 프로세서는 레이저 용접의 다양한 상태 각각에 대한 오디오 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 오디오정보가 입력되면 상기 오디오정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류결과를 상기 판별정보로서 출력함을 특징으로 한다. A quality monitoring device for laser welding according to the present invention for achieving the above object includes an imaging device for imaging a laser welding area; A control device that receives imaging information provided from the imaging device, processes it through an image deep learning process to determine the quality of the laser welding, and configures monitoring information according to the determination, wherein the image deep learning process includes Learning is performed by receiving image learning data for each of the various states of laser welding. After the learning, when the imaging information is input, the imaging information is classified as belonging to one of the various states of laser welding, and the classification result is provided. It is characterized in that it is output as the determination information. In addition, the quality monitoring device for laser welding further includes a microphone device for obtaining audio generated in the laser welding area, and the control device receives audio information provided from the microphone device and performs an audio deep learning process. Processes to determine the quality of the laser welding, adds information according to the determination to the monitoring information, and the audio deep learning processor performs learning by receiving audio learning data for each of the various states of laser welding, After the learning, when the audio information is input, the audio information is classified into one of various states of laser welding, and the classification result is output as the determination information.
본 발명은 딥러닝을 레이저 용접에 대한 품질 모니터링에 적용하여 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높일 수 있는 효과를 제공한다. The present invention provides the effect of increasing the accuracy and reliability of quality monitoring for laser welding by applying deep learning to quality monitoring for laser welding.
또한 본 발명은 레이저 용접시 레이저 용접위치를 촬상한 촬상정보와 레이저 용접시 발생되는 오디오를 수음한 오디오정보를 이용하여 레이저 용접에 대한 품질 모니터링을 이행하여, 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높일 수 있는 효과를 제공한다. In addition, the present invention performs quality monitoring for laser welding using imaging information captured by capturing the laser welding position during laser welding and audio information collected from the audio generated during laser welding, thereby improving the accuracy and reliability of quality monitoring for laser welding. Provides the effect of increasing .
또한 본 발명은 노이즈 필터링을 이행하여 레이저 용접시에 비산하는 칩으로 인하여 발생되는 노이즈성분을 제거함으로써 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높일 수 있는 효과를 제공한다. In addition, the present invention provides the effect of improving the accuracy and reliability of quality monitoring for laser welding by performing noise filtering to remove noise components generated by chips flying during laser welding.
도 1은 본 발명의 바람직한 실시예에 따르는 레이저 용접에 대한 품질 모니터링 장치의 블록구성도.
도 2는 도 1의 제어장치의 구성도.
도 3 내지 도 5는 도 1의 각부의 설치예를 도시한 도면.
도 6은 본 발명의 바람직한 실시예에 따르는 이미지 딥러닝 프로세스 수행화면을 예시한 도면.
도 7 및 도 18은 본 발명의 바람직한 실시예에 따르는 이미지 딥러닝 프로세스의 구성도.
도 8은 본 발명의 바람직한 실시예에 따르는 이미지 딥러닝 프로세스의 기능을 개략적으로 도시한 도면.
도 9 내지 도 12은 본 발명의 바람직한 실시예에 따르는 이미지 딥러닝 프로세스의 실험과정 및 결과를 예시한 도면.
도 13은 고출력 그린 레이저를 이용한 이종소재 용접과정을 예시한 도면.
도 14 내지 도 17, 도 19는 본 발명의 바람직한 실시예에 따르는 이미지 딥러닝 프로세스의 실험과정 및 결과를 예시한 도면.
도 20은 본 발명의 바람직한 실시예에 따르는 오디오 딥러닝 프로세스의 구성도.
도 21은 본 발명의 바람직한 실시예에 따르는 오디오 딥러닝 프로세스의 기능을 개략적으로 도시한 도면.
도 22는 레이저 용접시에 발생되는 오디오 신호를 예시한 도면.
도 23은 도 21의 딥러닝 처리부의 구성도.
도 24 및 도 25는 본 발명의 바람직한 실시예에 따르는 오디오 딥러닝 프로세스의 실험과정 및 결과를 예시한 도면.
도 26은 본 발명의 바람직한 실시에에 따르는 레이저 용접에 대한 품질 모니터링 방법의 절차도. 1 is a block diagram of a quality monitoring device for laser welding according to a preferred embodiment of the present invention.
Figure 2 is a configuration diagram of the control device of Figure 1.
3 to 5 are diagrams showing examples of installation of each part of FIG. 1.
Figure 6 is a diagram illustrating an image deep learning process execution screen according to a preferred embodiment of the present invention.
7 and 18 are schematic diagrams of an image deep learning process according to a preferred embodiment of the present invention.
Figure 8 is a diagram schematically showing the functionality of an image deep learning process according to a preferred embodiment of the present invention.
9 to 12 are diagrams illustrating experimental procedures and results of an image deep learning process according to a preferred embodiment of the present invention.
Figure 13 is a diagram illustrating a dissimilar material welding process using a high-power green laser.
Figures 14 to 17 and Figure 19 are diagrams illustrating experimental procedures and results of an image deep learning process according to a preferred embodiment of the present invention.
Figure 20 is a configuration diagram of an audio deep learning process according to a preferred embodiment of the present invention.
Figure 21 is a diagram schematically showing the functionality of an audio deep learning process according to a preferred embodiment of the present invention.
Figure 22 is a diagram illustrating an audio signal generated during laser welding.
Figure 23 is a configuration diagram of the deep learning processing unit of Figure 21.
Figures 24 and 25 are diagrams illustrating the experimental process and results of the audio deep learning process according to a preferred embodiment of the present invention.
26 is a flow diagram of a quality monitoring method for laser welding according to a preferred embodiment of the present invention.
본 발명은 딥러닝을 레이저 용접에 대한 품질 모니터링에 적용하여 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높일 수 있다. The present invention can increase the accuracy and reliability of quality monitoring for laser welding by applying deep learning to quality monitoring for laser welding.
또한 본 발명은 레이저 용접시 레이저 용접위치를 촬상한 촬상정보와 레이저 용접시 발생되는 오디오를 수음한 오디오정보를 이용하여 레이저 용접에 대한 품질 모니터링을 이행하여, 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높일 수 있다. In addition, the present invention performs quality monitoring for laser welding using imaging information captured by capturing the laser welding position during laser welding and audio information collected from the audio generated during laser welding, thereby improving the accuracy and reliability of quality monitoring for laser welding. can be increased.
또한 본 발명은 노이즈 필터링을 이행하여 레이저 용접시에 비산하는 칩으로 인하여 발생되는 노이즈성분을 제거함으로써 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높일 수 있다. In addition, the present invention implements noise filtering to remove noise components generated by chips flying during laser welding, thereby improving the accuracy and reliability of quality monitoring for laser welding.
이러한 본 발명에 따르는 딥러닝을 이용한 레이저 용접에 대한 품질 모니터링 장치 및 방법을 도면을 참조하여 상세히 설명한다. The quality monitoring device and method for laser welding using deep learning according to the present invention will be described in detail with reference to the drawings.
<딥러닝을 이용한 레이저 용접에 대한 품질 모니터링 장치의 구성><Configuration of a quality monitoring device for laser welding using deep learning>
도 1은 본 발명의 바람직한 실시예에 따르는 딥러닝을 이용한 레이저 용접에 대한 품질 모니터링 장치의 구성도이다. 상기 도 1을 참조하면, 상기 딥러닝을 이용한 레이저 용접에 대한 품질 모니터링 장치는 제어장치(100)와 CNC 머신(200)과 레이저 장치(300)와 촬상장치(400)와 마이크장치(500)로 구성된다. 1 is a configuration diagram of a quality monitoring device for laser welding using deep learning according to a preferred embodiment of the present invention. Referring to FIG. 1, the quality monitoring device for laser welding using deep learning includes a control device 100, a CNC machine 200, a laser device 300, an imaging device 400, and a microphone device 500. It is composed.
상기 제어장치(100)는 본 발명의 바람직한 실시예에 따라 레이저 용접 실행을 위해 상기 CNC 머신(200)과 상기 레이저 장치(300)를 제어하여 구동시킨다. 상기의 레이저 용접이 실행되는 동안, 상기 제어장치(100)는 상기 레이저 용접영역을 촬상하는 촬상장치(400)로부터 상기 레이저 용접영역을 촬상한 촬상정보를 제공받아 이미지 딥러닝 프로세스로 처리하여 상기 레이저 용접에 대한 품질을 판별하고, 그 판별에 따라 모니터링 정보를 구성하여 출력하여 사용자에게 안내한다. 여기서, 상기 이미지 딥러닝 프로세스는 레이저 용접의 다양한 상태 각각에 대한 이미지 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 촬상정보가 입력되면 상기 촬상정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류결과를 상기 판별정보로서 출력한다. The control device 100 controls and drives the CNC machine 200 and the laser device 300 to perform laser welding according to a preferred embodiment of the present invention. While the laser welding is being performed, the control device 100 receives imaging information of the laser welding area from the imaging device 400 that captures the laser welding area, processes it through an image deep learning process, and The quality of welding is determined, and monitoring information is configured and output according to the determination to guide the user. Here, the image deep learning process performs learning by receiving image learning data for each of the various states of laser welding, and when the imaging information is input after the learning, the imaging information belongs to one of the various states of laser welding. classification, and output the classification result as the discrimination information.
또한 상기 레이저 용접이 실행되는 동안, 상기 제어장치(100)는 상기 레이저 용접영역에서 발생되는 오디오를 수득하는 마이크장치(500)로부터 오디오정보를 제공받아 오디오 딥러닝 프로세스로 처리하여 상기 레이저 용접에 대한 품질을 판별하고, 그 판별에 따른 정보를 상기 모니터링 정보에 부가하며 출력하여 사용자에게 안내한다. 여기서, 상기 오디오 딥러닝 프로세서는 레이저 용접의 다양한 상태 각각에 대한 오디오 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 오디오정보가 입력되면 상기 오디오정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류결과를 상기 판별정보로서 출력한다. In addition, while the laser welding is being performed, the control device 100 receives audio information from the microphone device 500 that obtains audio generated in the laser welding area and processes it through an audio deep learning process to provide information about the laser welding. Quality is determined, information based on the judgment is added to the monitoring information, and output is provided to guide the user. Here, the audio deep learning processor performs learning by receiving audio learning data for each of the various states of laser welding, and when the audio information is input after the learning, the audio information belongs to one of the various states of laser welding. classification, and output the classification result as the discrimination information.
<제어장치(100)의 구성><Configuration of control device 100>
도 2는 상기의 제어장치(100)의 상세 구성을 도시한 것이다. 상기 도 2를 참조하면, 상기 제어장치(100)는 제어모듈(102)과, 메모리부(104)와, 사용자 인터페이스부(106)와, 외부기기 인터페이스 모듈(108)과, 디스플레이부(110)로 구성된다. Figure 2 shows the detailed configuration of the control device 100. Referring to FIG. 2, the control device 100 includes a control module 102, a memory unit 104, a user interface unit 106, an external device interface module 108, and a display unit 110. It consists of
상기 제어모듈(102)은 상기 제어장치(100)를 전반적으로 제어함은 물론이고 본 발명에 따라 레이저 용접 및 공정수행을 위해 상기 CNC 머신(200)과 상기 레이저 장치(300)를 제어하여 구동시키며, 상기의 레이저 용접이 이행되는 동안, 상기 레이저 용접영역을 촬상한 촬상정보 및 상기 레이저 용접영역에서 수음한 오디오정보 중 하나 이상을 제공받아 딥러닝 프로세스로 처리하여 레이저 용접에 대한 품질을 판별하고, 그 판별에 따라 모니터링 정보를 구성하여 상기 디스플레이부(110)를 통해 표시하여 사용자에게 안내한다. The control module 102 not only controls the control device 100 overall, but also controls and drives the CNC machine 200 and the laser device 300 to perform laser welding and processing according to the present invention. , While the laser welding is performed, one or more of the imaging information captured in the laser welding area and the audio information collected in the laser welding area are provided and processed through a deep learning process to determine the quality of the laser welding, Monitoring information is configured according to the determination and displayed through the display unit 110 to guide the user.
또한 상기 제어장치(100)는 레이저 용접의 다양한 상태 각각에 해당 이미지 학습 데이터를 토대로 딥러닝 처리를 위한 학습을 이행한다. In addition, the control device 100 performs learning for deep learning processing based on image learning data for each of the various states of laser welding.
상기 메모리부(104)는 상기 제어모듈(102)의 처리 프로그램을 포함하는 다양한 정보를 저장한다. The memory unit 104 stores various information including the processing program of the control module 102.
상기 사용자 인터페이스부(106)는 상기 제어모듈(102)과 사용자 사이의 인터페이스를 담당한다. The user interface unit 106 is responsible for the interface between the control module 102 and the user.
상기 외부기기 인터페이스 모듈(108)은 상기 제어모듈(102)과 외부기기, 즉 CNC 머신(200), 레이저 장치(300), 촬상장치(400), 마이크장치(500) 등과의 인터페이스를 담당한다. The external device interface module 108 is responsible for interfacing the control module 102 with external devices, such as a CNC machine 200, a laser device 300, an imaging device 400, and a microphone device 500.
상기 디스플레이부(110)는 상기 제어모듈(102)의 제어에 따른 정보를 표시하여 사용자에게 안내한다. The display unit 110 displays information according to the control of the control module 102 and guides the user.
<CNC 머신 및 레이저 장치의 설치예><Installation example of CNC machine and laser device>
도 3은 본 발명에 따라 레이저 용접을 위해 CNC 머신(200) 및 레이저 장치(300)를 설치한 것을 예시한 것으로, 상기 CNC 머신(200)은 상기 제어장치(100)에 연결되어 상기 제어장치(100)의 제어에 따라 레이저 장치(300)의 레이저 빔 출사구를 알루미늄 보드상에 거치된 대상물로 이송하며, 특히 제어장치(100)에 의해 설정된 용접경로에 대응되게 상기 레이저 빔 출사구를 이송한다. 상기 레이저 장치(300)는 상기 제어장치(100)에 연결되어 상기 제어장치(100)의 제어에 따라 레이저 빔을 생성하여 상기 CNC 머신(200)에 장착된 레이저 빔 출사구를 통해 출사한다. 또한 상기 대상물은 알루미늄 보드상에 결합부재를 통해 결합됨이 바람직하다. Figure 3 illustrates the installation of a CNC machine 200 and a laser device 300 for laser welding according to the present invention, and the CNC machine 200 is connected to the control device 100 and the control device ( Under the control of 100), the laser beam exit port of the laser device 300 is transferred to the object mounted on the aluminum board, and in particular, the laser beam exit port is transferred in correspondence to the welding path set by the control device 100. . The laser device 300 is connected to the control device 100, generates a laser beam under the control of the control device 100, and emits it through a laser beam exit port mounted on the CNC machine 200. Additionally, it is preferable that the object is coupled to the aluminum board through a coupling member.
<촬상장치의 설치예><Example of installation of imaging device>
도 4는 본 발명에 따르는 촬상장치(400)의 설치예를 도시한 것이다. 상기 도 4를 참조하면, 상기 촬상장치(400)는 대상물의 용접경로에 대응되는 용접영역을 촬상하며 레이저 빔이 제공된 대상물로부터 반환되는 광 및 대상물의 용접결과물을 촬상하고 그에 따른 촬상정보를 생성하여 상기 제어장치(100)에 제공한다. Figure 4 shows an example of installation of the imaging device 400 according to the present invention. Referring to FIG. 4, the imaging device 400 images the welding area corresponding to the welding path of the object, images the light returned from the object to which the laser beam is provided and the welding result of the object, and generates imaging information accordingly. Provided to the control device 100.
<마이크장치의 설치예><Example of installation of microphone device>
도 5는 본 발명에 따르는 마이크장치(500)의 설치예를 도시한 것이다. 상기 도 5를 참조하면, 상기 마이크장치(500)는 대상물의 용접경로에 대응되는 용접영역에 인접하여 대상물에 대한 레이저 용접시의 발생되는 오디오를 수음하고 그에 따른 오디오정보를 생성하여 상기 제어장치(100)에 제공한다. Figure 5 shows an installation example of the microphone device 500 according to the present invention. Referring to FIG. 5, the microphone device 500 is adjacent to the welding area corresponding to the welding path of the object, collects audio generated during laser welding of the object, and generates audio information accordingly to control the control device ( 100).
<이미지/오디오 딥러닝 프로세스를 통한 레이저 용접의 품질 판별과정><Quality determination process of laser welding through image/audio deep learning process>
본 발명은 레이저 용접시에 획득된 용접결과물에 대한 촬상을 이행한 촬상정보와 레이저 용접시에 발생된 오디오를 수음한 오디오정보 각각을 딥러닝 프로세싱하여 레이저 용접의 품질을 판별한다. The present invention determines the quality of laser welding by deep learning processing the imaging information obtained by capturing the welding result obtained during laser welding and the audio information obtained by collecting the audio generated during laser welding.
<이미지 딥러닝 프로세스><Image deep learning process>
먼저 이미지 딥러닝 프로세스에 대해 설명한다.First, the image deep learning process is explained.
도 6은 촬상정보에 대한 이미지 딥러닝 프로세스를 예시한 것으로 딥러닝 소프트웨어는 MATLAB TOOLBAX를 이용하며, 사용 알고리즘은 ALEXNET이다. 이를 위한 워크 스테이션은 그래픽카드로는 NVDIA 2070 SINGLE-GPU, 그래픽 소프트웨어로는 CUDA TOOLKIT(VER. 10.2), CPU는 i9-9900K, RAM은 32GB가 채용될 수 있다. Figure 6 illustrates an image deep learning process for imaging information. The deep learning software uses MATLAB TOOLBAX, and the algorithm used is ALEXNET. The workstation for this can use NVDIA 2070 SINGLE-GPU as the graphics card, CUDA TOOLKIT (VER. 10.2) as the graphics software, i9-9900K as the CPU, and 32GB of RAM.
도 7은 촬상정보에 대한 이미지 딥러닝 프로세스를 위한 구조를 도시한 것으로, GPU는 병렬구조를 가지며, 입력 이미지 사이즈는 227*227이며, 총 8개의 레이어(층)으로 구성되며, 이는 5개의 컨볼루션(convolution) 레이어와 3개의 Fully Connectd 레이어로 구성된다. Figure 7 shows a structure for an image deep learning process for imaging information. The GPU has a parallel structure, the input image size is 227*227, and consists of a total of 8 layers, which are 5 convolutions. It consists of a convolution layer and three fully connected layers.
도 8은 촬상정보에 대한 이미지 딥러닝 프로세스의 기능을 개략적으로 도시한 것으로, 이미지 딥러닝 프로세스 알고리즘은 분류 및 변환된 학습 데이터를 입력받아 학습을 이행한다. Figure 8 schematically shows the function of the image deep learning process for imaging information. The image deep learning process algorithm performs learning by receiving classified and converted learning data.
이후 상기 이미지 딥러닝 프로세스는 레이저 용접시에 획득된 촬상정보를 입력받아 레이저 용접의 레이저 용접의 다양한 상태 중 어디에 속하는지를 분류하고, 그 분류결과를 확률로서 출력한다. Afterwards, the image deep learning process receives the imaging information acquired during laser welding, classifies which of the various states of laser welding it belongs to, and outputs the classification result as a probability.
도 9는 폴리머 용접에 대한 품질 모니터링을 위해 용접결과를 분류한 것을 예시한 것이고, 도 10 및 도 12는 딥러닝 프로세스에 의한 분류결과를 예시한 것이다. Figure 9 illustrates the classification of welding results for quality monitoring of polymer welding, and Figures 10 and 12 illustrate the classification results by the deep learning process.
이러한 본 발명은 고출력의 그린 레이저를 이용한 이종소재 용접시에도 적용될 수 있다. 도 13은 고출력 그린 레이저를 이용한 이종소재 용접과정을 예시한 것으로 이종소재로는 CU와 AL이다.This invention can also be applied when welding dissimilar materials using a high-power green laser. Figure 13 illustrates the welding process of different materials using a high-power green laser, and the different materials are CU and AL.
도 14 내지 17은 이종소재 용접결과를 예시한 도면이다.Figures 14 to 17 are diagrams illustrating the results of welding dissimilar materials.
도 18은 고출력 그린 레이저를 이용한 이송소재 용접에 대한 품질 모니터링을 위한 이미지 딥러닝 프로세스를 예시한 것으로, 상기 딥러닝 프로세스는 컨볼루션 및 RELU, POOLING, 컨볼루션 및 RELU로 구성되는 특징 학습부와 FULLY CONNECTED와 SOFTMAX로 구성되는 분류부로 구성된다. Figure 18 illustrates an image deep learning process for quality monitoring of transfer material welding using a high-power green laser. The deep learning process includes a feature learning unit consisting of convolution, RELU, POOLING, convolution, and RELU, and FULLY It consists of a classification section consisting of CONNECTED and SOFTMAX.
도 19는 본 발명에 따르는 이미지 딥러닝 프로세스에 의한 분류결과를 예시한 도면이다. Figure 19 is a diagram illustrating the classification result by the image deep learning process according to the present invention.
<오디오 딥러닝 프로세스><Audio deep learning process>
이제 오디오 딥러닝 프로세스에 대해 설명한다. We now describe the audio deep learning process.
도 20은 본 발명의 바람직한 실시예에 따라 오디오 정보를 통해 용접에 대한 품질 모니터링을 이행하는 오디오 딥러닝 프로세스를 개략적으로 도시한 것이다. Figure 20 schematically shows an audio deep learning process that implements quality monitoring for welding through audio information according to a preferred embodiment of the present invention.
상기 오디오 정보를 통해 용접에 대한 품질 모니터링을 이행하는 오디오 딥러닝 프로세스는 입력부와, 오디오 딥러닝 처리부(VGGish)와, 출력부로 구성된다. The audio deep learning process that performs quality monitoring for welding through the audio information consists of an input unit, an audio deep learning processing unit (VGGish), and an output unit.
상기 입력부는 웨이브 폼의 오디오 신호를 입력받아 멜 스펙토그램으로 변환하여 오디오 정보로서 출력한다. 상기 오디오 딥러닝 처리부는 오디오 정보를 딥러닝 처리하며, 상기 딥러닝 처리결과는 출력부를 통해 출력된다. 상기 출력부를 통해 출력되는 딥러닝 처리결과는 용접에 대한 품질 분류 결과이다. The input unit receives an audio signal in a wave form, converts it into a mel spectogram, and outputs it as audio information. The audio deep learning processing unit deep learning processes audio information, and the deep learning processing results are output through the output unit. The deep learning processing result output through the output unit is a quality classification result for welding.
상기의 오디오 정보의 딥러닝 처리를 위해, 도 21에 도시한 바와 같은 딥러닝을 위한 빅 데이터는 오디오 데이터 분할과 오디오 데이터 취득 과정으로 이루어지며, WAVE PAD SW를 사용하여 3초 간격으로 데이터를 분할한다. 그리고 상기 오디오 데이터 취득은 Al 0.5mm, Al 1.0mm, Steel 0.5mm, Steel 1.0 mm의 4가지 범주로 설정하고, 각 조건에서 약 2000~2700개의 데이터를 취득하며, 총 9,913개의 데이터를 취득한다. For deep learning processing of the above audio information, big data for deep learning as shown in Figure 21 consists of audio data division and audio data acquisition process, and data is divided at 3 second intervals using WAVE PAD SW. do. And the audio data acquisition is set to four categories: Al 0.5mm, Al 1.0mm, Steel 0.5mm, and Steel 1.0 mm, and about 2000 to 2700 pieces of data are acquired in each condition, for a total of 9,913 pieces of data.
도 22는 본 발명에 따르는 오디오 데이터 취득 영상을 예시한 것이다. Figure 22 illustrates an image of audio data acquisition according to the present invention.
도 23은 본 발명에 따르는 오디오 딥러닝 처리부(VGGish)의 구조를 도시한 것이다. 상기 오디오 딥러닝 처리부(VGGish)는 6개의 컨볼루션 레이어(Convolution Layer)와 3개의 풀리 커넥티드 레이어(Fully Connected Layer)로 구성된다. 이는 CNN의 VGG 모델을 변형한 것으로 24개의 레이어가 있으며 학습 가능한 9개의 레이어가 있다. 그리고 입력 로그 스펙트로그램(Input Log Spectrogram)의 크기는 96*64*1이다. Figure 23 shows the structure of an audio deep learning processing unit (VGGish) according to the present invention. The audio deep learning processing unit (VGGish) consists of 6 convolution layers and 3 fully connected layers. This is a modification of CNN's VGG model and has 24 layers, 9 of which can be learned. And the size of the Input Log Spectrogram is 96*64*1.
도 24는 오디오 딥러닝 프로세스의 처리과정을 예시한 도면으로, 총 데이터는 11,813개이며, 훈련 데이터는 9,450개(80%)이며, 검증 데이터는 2,363개(20%)이며 Max Epoch는 30회, 초기 학습률은 0.001, iterarion은 17,430회, 소요시간은 1시간 45분 21초, 정확도는 97.48%이다. Figure 24 is a diagram illustrating the audio deep learning process. The total data is 11,813, training data is 9,450 (80%), verification data is 2,363 (20%), Max Epoch is 30, The initial learning rate is 0.001, the iterarion is 17,430 times, the time required is 1 hour 45 minutes 21 seconds, and the accuracy is 97.48%.
도 25는 상기한 본 발명에 따라 오디오 정보의 오디오 딥러닝 처리결과를 예시한 것이다. Figure 25 illustrates the results of audio deep learning processing of audio information according to the present invention described above.
<레이저 용접에 대한 품질 모니터링 및 학습방법의 절차><Procedures of quality monitoring and learning methods for laser welding>
이제 상기한 바와 같이 구성되는 레이저 용접 모니터링 장치에 적용가능한 레이저 용접에 대한 품질 모니터링 및 학습방법의 절차를 설명한다. Now, the procedures of the quality monitoring and learning method for laser welding applicable to the laser welding monitoring device configured as described above will be described.
도 26은 레이저 용접에 대한 품질 모니터링 및 학습방법의 절차도를 도시한 것이다. 상기 도 26을 참조하면, 상기 제어장치(100)는 사용자가 사용자 인터페이스부(106)를 통해 사용자가 레이저 용접에 대한 품질 모니터링 또는 학습을 요청하는지를 체크한다(600단계).Figure 26 shows a procedure diagram of the quality monitoring and learning method for laser welding. Referring to FIG. 26, the control device 100 checks whether the user requests quality monitoring or learning about laser welding through the user interface unit 106 (step 600).
상기 사용자가 레이저 용접에 대한 품질 모니터링을 위한 학습을 요청하면, 상기 제어장치(100)는 레이저 용접의 다양한 상태, 예를 들어 정상 및 결함상태 각각에 대한 학습데이터를 제공받아 학습을 이행한다(602단계). 상기 학습 데이터는 레이저 용접에 대한 품질 모니터링을 위한 촬상정보들과 레이저 용접에 대한 품질 모니터링을 위한 오디오정보들이 포함된다. When the user requests learning for quality monitoring of laser welding, the control device 100 receives learning data for various states of laser welding, for example, normal and defective states, and performs learning (602) step). The learning data includes imaging information for quality monitoring of laser welding and audio information for quality monitoring of laser welding.
상기한 바와 달리 상기 사용자가 레이저 용접에 대한 품질 모니터링을 요청하면, 상기 제어장치(100)는 사용자에 의해 설정된 레이저 용접 실행정보에 따라 레이저 용접을 실행하도록 CNC 머신(200)과 레이저 장치(300)를 구동한다(604단계). 이로서 상기 레이저 장치(300)의 레이저 빔 출사구가 CNC 머신(200)에 의해 레이저 용접경로를 따라 이송되어 보드상의 대상물에 용접을 위한 레이저 빔을 출사한다. Contrary to the above, when the user requests quality monitoring for laser welding, the control device 100 operates the CNC machine 200 and the laser device 300 to execute laser welding according to the laser welding execution information set by the user. Run (step 604). As a result, the laser beam exit port of the laser device 300 is transported along the laser welding path by the CNC machine 200 and emits a laser beam for welding to an object on the board.
상기한 레이저 용접이 이행하는 동안, 상기 제어장치(100)는 촬상장치(400)를 구동하여 상기 레이저 용접경로를 따라 촬상을 이행하고 그에 따르는 촬상정보를 제공받으며, 상기 촬상정보를 이미지 딥러닝 프로세스를 통해 처리하여 레이저 용접에 대한 정상 또는 결함여부를 판별한다(606단계). While the above-mentioned laser welding is performed, the control device 100 drives the imaging device 400 to capture images along the laser welding path and receives the corresponding imaging information, and performs the imaging information through an image deep learning process. Process through to determine whether the laser welding is normal or defective (step 606).
또한 상기 제어장치(100)는 마이크장치(500)를 구동하여 상기 레이저 용접경로를 따라 용접이 이행되면서 발생되는 오디오 수음을 이행하고 그에 따르는 오디오정보를 제공받으며, 상기 오디오정보를 오디오 딥러닝 프로세스를 통해 처리하여 레이저 용접에 대한 정상 또는 결함여부를 판별한다(608단계). 여기서, 상기 제어장치(100)는 상기 오디오정보가 제공되면 상기 레이저 용접시에 비산하는 칩으로 인하여 발생되는 노이즈를 필터링하여 상기 오디오정보가 실린 노이즈를 제거하며, 이는 본 발명에 의해 당업자에게 자명하다. In addition, the control device 100 drives the microphone device 500 to collect audio sounds generated as welding is performed along the laser welding path, receives corresponding audio information, and processes the audio information through an audio deep learning process. Through processing, it is determined whether the laser welding is normal or defective (step 608). Here, when the audio information is provided, the control device 100 filters noise generated by chips flying during laser welding to remove noise containing the audio information, and this is obvious to those skilled in the art by the present invention. .
상기 제어장치(100)는 이미지 및 오디오 딥러닝 프로세스를 통해 판별된 레이저 용접에 대한 정상 또는 결함 판별정보를 조합하여 레이저 용접에 대한 품질 모니터링 결과정보를 구성하고, 상기 레이저 용접에 대한 품질 모니터링 결과정보를 디스플레이부(110)를 통해 출력하여 사용자에게 안내한다(610단계).The control device 100 configures quality monitoring result information for laser welding by combining normal or defective judgment information for laser welding determined through an image and audio deep learning process, and quality monitoring result information for laser welding. is output through the display unit 110 and guided to the user (step 610).
이와 같이 본 발명은 인공지능인 딥러닝을 레이저 용접에 대한 품질 모니터링에 적용하여, 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높일 수 있는 효과를 야기한다. In this way, the present invention applies deep learning, an artificial intelligence, to quality monitoring for laser welding, resulting in the effect of increasing the accuracy and reliability of quality monitoring for laser welding.
또한 본 발명은 레이저 용접시 레이저 용접영역를 촬상한 촬상정보와 레이저 용접시 발생되는 오디오를 수음한 오디오정보를 이용하여 레이저 용접에 대한 품질 모니터링을 이행하여, 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높일 수 있는 효과를 제공한다. In addition, the present invention performs quality monitoring for laser welding using imaging information captured from the laser welding area and audio information collected from the audio generated during laser welding, thereby improving the accuracy and reliability of quality monitoring for laser welding. Provides an effect that can be improved.
또한 본 발명은 노이즈 필터링을 이행하여 오디오정보에 포함된 노이즈성분을 제거함으로써 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높일 수 있는 효과를 제공한다. In addition, the present invention provides the effect of improving the accuracy and reliability of quality monitoring for laser welding by performing noise filtering to remove noise components included in audio information.
이상의 설명에서 본 발명은 특정의 실시예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.In the above description, the present invention has been shown and described in relation to specific embodiments, but it is common knowledge in the art that various modifications and changes are possible without departing from the spirit and scope of the invention as indicated by the patent claims. Anyone who has it will be able to easily understand it.
100 : 제어장치
200 : CNC 머신
300 : 레이저 장치
400 : 촬상장치
500 : 마이크장치100: control device
200: CNC machine
300: Laser device
400: imaging device
500: Microphone device
Claims (14)
상기 레이저 용접영역에서 발생되는 오디오를 수득하여 오디오 신호를 출력하는 마이크장치;
상기 촬상장치로부터 제공되는 촬상정보를 이미지 딥러닝 프로세스로 처리하여 레이저 용접에 대한 품질을 판별하고, 그 판별에 대한 정보로 모니터링 정보를 구성하고,
상기 오디오 신호를 오디오 딥러닝 프로세스로 처리하여 레이저 용접에 대한 품질을 판별하고, 그 판별에 대한 정보를 상기 모니터링 정보에 부가하는 제어장치;를 포함하며,
상기 이미지 딥러닝 프로세스는 레이저 용접의 다양한 상태 각각에 대한 이미지 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 촬상정보가 입력되면 상기 촬상정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류에 따른 결과를 레이저 용접의 품질 판별에 대한 정보로서 출력하고,
상기 오디오 딥러닝 프로세스는 레이저 용접의 다양한 상태 각각에 대한 오디오 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 오디오 신호를 입력받아 멜 스펙토그램의 오디오 정보로 변환하고, 상기 오디오 정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류에 따른 결과를 레이저 용접의 품질 판별에 대한 정보로서 출력하고,
상기 오디오 딥러닝 프로세스는, 다수개의 컨볼루션 레이어(Convolution Layer)와 다수개의 풀리 커넥티드 레이어(Fully Connected Layer)로 구성되며,
상기 제어장치는, 레이저 용접시에 비산하는 칩으로 인하여 발생되는 노이즈성분을 제거하기 위해 상기 오디오 정보에 대해 노이즈 필터링을 이행하며,
상기 오디오 딥러닝 프로세스를 위한 학습데이터는,
재질이 상이한 다수개의 용접 대상 각각에 대해 미리 정해진 다수개의 두께에서 취득되며 미리 정해진 시간간격으로 분할된 것임을 특징으로 하는 레이저 용접에 대한 품질 모니터링 장치. An imaging device for imaging the laser welding area;
a microphone device that acquires audio generated in the laser welding area and outputs an audio signal;
The imaging information provided from the imaging device is processed through an image deep learning process to determine the quality of laser welding, and monitoring information is configured with information about the determination,
It includes a control device that processes the audio signal through an audio deep learning process to determine the quality of laser welding and adds information about the determination to the monitoring information,
The image deep learning process performs learning by receiving image learning data for each of the various states of laser welding, and when the imaging information is input after the learning, the imaging information is classified as belonging to one of the various states of laser welding. and output the results according to the classification as information on quality determination of laser welding,
The audio deep learning process performs learning by receiving audio learning data for each of the various states of laser welding. After the learning, the audio signal is input and converted into audio information of a mel spectogram, and the audio information is converted into audio information of a mel spectogram. Classifies which of the various states of welding it belongs to, and outputs the results according to the classification as information for determining the quality of laser welding,
The audio deep learning process consists of multiple convolution layers and multiple fully connected layers,
The control device performs noise filtering on the audio information to remove noise components generated by chips flying during laser welding,
The learning data for the audio deep learning process is,
A quality monitoring device for laser welding, characterized in that it is obtained from a plurality of predetermined thicknesses for each of a plurality of welding objects of different materials and divided into predetermined time intervals.
상기 이미지 딥러닝 프로세스는, 5개의 컨볼루션(convolution) 레이어와 3개의 Fully Connected 레이어로 구성됨을 특징으로 하는 레이저 용접에 대한 품질 모니터링 장치. According to paragraph 1,
The image deep learning process is a quality monitoring device for laser welding, characterized in that it consists of 5 convolution layers and 3 fully connected layers.
상기 이미지 딥러닝 프로세스는, 상기 분류에 따른 결과를 확률로 출력함을 특징으로 하는 레이저 용접에 대한 품질 모니터링 장치. According to paragraph 1,
The image deep learning process is a quality monitoring device for laser welding, characterized in that the results according to the classification are output with probability.
상기 오디오 신호를 입력받아 오디오 딥러닝 프로세스로 처리하여 상기 레이저 용접에 대한 품질을 판별하고, 그 판별에 따른 정보로 모니터링 정보를 구성하는 제어장치;를 포함하며,
상기 오디오 딥러닝 프로세스는 레이저 용접의 다양한 상태 각각에 대한 오디오 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 오디오 신호를 입력받아 멜 스펙토그램의 오디오 정보로 변환하고, 상기 오디오 정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류에 따른 결과를 레이저 용접의 품질 판별에 대한 정보로서 출력하고,
상기 오디오 딥러닝 프로세스는, 다수개의 컨볼루션 레이어(Convolution Layer)와 다수개의 풀리 커넥티드 레이어(Fully Connected Layer)로 구성되며,
상기 제어장치는, 레이저 용접시에 비산하는 칩으로 인하여 발생되는 노이즈성분을 제거하기 위해 상기 오디오 정보에 대해 노이즈 필터링을 이행하며,
상기 오디오 딥러닝 프로세스를 위한 학습데이터는,
재질이 상이한 다수개의 용접 대상 각각에 대해 미리 정해진 다수개의 두께에서 취득되며 미리 정해진 시간간격으로 분할된 것임을 특징으로 하는 레이저 용접에 대한 품질 모니터링 장치. A microphone device that acquires audio generated in the laser welding area and outputs an audio signal;
It includes a control device that receives the audio signal, processes it through an audio deep learning process, determines the quality of the laser welding, and configures monitoring information with information based on the determination,
The audio deep learning process performs learning by receiving audio learning data for each of the various states of laser welding. After the learning, the audio signal is input and converted into audio information of a mel spectogram, and the audio information is converted into audio information of a mel spectogram. Classifies which of the various states of welding it belongs to, and outputs the results according to the classification as information for determining the quality of laser welding,
The audio deep learning process consists of multiple convolution layers and multiple fully connected layers,
The control device performs noise filtering on the audio information to remove noise components generated by chips flying during laser welding,
The learning data for the audio deep learning process is,
A quality monitoring device for laser welding, characterized in that it is obtained from a plurality of predetermined thicknesses for each of a plurality of welding objects of different materials and divided into predetermined time intervals.
마이크장치를 통해 상기 레이저 용접영역에서 발생되는 오디오를 수득하여 오디오 신호를 출력하는 단계; 및
제어장치가, 상기 촬상장치로부터 제공되는 촬상정보를 이미지 딥러닝 프로세스로 처리하여 레이저 용접에 대한 품질을 판별하고, 그 판별에 따른 정보로 모니터링 정보를 구성하고,
상기 오디오 신호를 오디오 딥러닝 프로세스로 처리하여 레이저 용접에 대한 품질을 판별하고, 그 판별에 따른 정보를 상기 모니터링 정보에 부가하는 단계;를 포함하며,
상기 이미지 딥러닝 프로세스는 레이저 용접의 다양한 상태 각각에 대한 이미지 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 촬상정보가 입력되면 상기 촬상정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류에 따른 결과를 레이저 용접의 품질 판별에 대한 정보로서 출력하고,
상기 오디오 딥러닝 프로세스는 레이저 용접의 다양한 상태 각각에 대한 오디오 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 오디오 신호를 입력받아 멜 스펙토그램의 오디오 정보로 변환하고, 상기 오디오 정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류에 따른 결과를 레이저 용접의 품질 판별에 대한 정보로서 출력하고,
상기 오디오 딥러닝 프로세스는, 다수개의 컨볼루션 레이어(Convolution Layer)와 다수개의 풀리 커넥티드 레이어(Fully Connected Layer)로 구성되며,
상기 제어장치는, 레이저 용접시에 비산하는 칩으로 인하여 발생되는 노이즈성분을 제거하기 위해 상기 오디오 정보에 대해 노이즈 필터링을 이행하며,
상기 오디오 딥러닝 프로세스를 위한 학습데이터는,
재질이 상이한 다수개의 용접 대상 각각에 대해 미리 정해진 다수개의 두께에서 취득되며 미리 정해진 시간간격으로 분할된 것임을 특징으로 하는 레이저 용접에 대한 품질 모니터링 방법. Capturing a laser welding area using an imaging device;
Obtaining audio generated from the laser welding area through a microphone device and outputting an audio signal; and
The control device processes the imaging information provided from the imaging device through an image deep learning process to determine the quality of laser welding, and configures monitoring information with information based on the determination,
Processing the audio signal through an audio deep learning process to determine the quality of laser welding, and adding information according to the determination to the monitoring information,
The image deep learning process performs learning by receiving image learning data for each of the various states of laser welding, and when the imaging information is input after the learning, the imaging information is classified as belonging to one of the various states of laser welding. and output the results according to the classification as information on quality determination of laser welding,
The audio deep learning process performs learning by receiving audio learning data for each of the various states of laser welding. After the learning, the audio signal is input and converted into audio information of a mel spectogram, and the audio information is converted into audio information of a mel spectogram. Classifies which of the various states of welding it belongs to, and outputs the results according to the classification as information for determining the quality of laser welding,
The audio deep learning process consists of multiple convolution layers and multiple fully connected layers,
The control device performs noise filtering on the audio information to remove noise components generated by chips flying during laser welding,
The learning data for the audio deep learning process is,
A quality monitoring method for laser welding, characterized in that each of a plurality of welding objects of different materials is acquired from a plurality of predetermined thicknesses and divided into predetermined time intervals.
상기 이미지 딥러닝 프로세스는, 5개의 컨볼루션(convolution) 레이어와 3개의 Fully Connected 레이어로 구성됨을 특징으로 하는 레이저 용접에 대한 품질 모니터링 방법. According to clause 8,
The image deep learning process is a quality monitoring method for laser welding, characterized in that it consists of 5 convolution layers and 3 fully connected layers.
상기 이미지 딥러닝 프로세스는, 상기 분류에 따른 결과를 확률로 출력함을 특징으로 하는 레이저 용접에 대한 품질 모니터링 방법. According to clause 8,
The image deep learning process is a quality monitoring method for laser welding, characterized in that the results according to the classification are output with probability.
제어장치가, 상기 오디오 신호를 오디오 딥러닝 프로세스로 처리하여 레이저 용접에 대한 품질을 판별하고, 그 판별에 따른 정보로 모니터링 정보를 구성하는 단계;를 포함하며,
상기 오디오 딥러닝 프로세스는 레이저 용접의 다양한 상태 각각에 대한 오디오 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 오디오 신호를 입력받아 멜 스펙토그램의 오디오 정보로 변환하고, 상기 오디오 정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류에 따른 결과를 레이저 용접의 품질 판별에 대한 정보로서 출력하고,
상기 오디오 딥러닝 프로세스는, 다수개의 컨볼루션 레이어(Convolution Layer)와 다수개의 풀리 커넥티드 레이어(Fully Connected Layer)로 구성되며,
상기 제어장치는, 레이저 용접시에 비산하는 칩으로 인하여 발생되는 노이즈성분을 제거하기 위해 상기 오디오 정보에 대해 노이즈 필터링을 이행하며,
상기 오디오 딥러닝 프로세스를 위한 학습데이터는,
재질이 상이한 다수개의 용접 대상 각각에 대해 미리 정해진 다수개의 두께에서 취득되며 미리 정해진 시간간격으로 분할된 것임을 특징으로 하는 레이저 용접에 대한 품질 모니터링 방법. Obtaining audio generated in the laser welding area through a microphone device and outputting an audio signal; and
A control device processes the audio signal through an audio deep learning process to determine the quality of laser welding, and configures monitoring information with information based on the determination,
The audio deep learning process performs learning by receiving audio learning data for each of the various states of laser welding. After the learning, the audio signal is input and converted into audio information of a mel spectogram, and the audio information is converted into audio information of a mel spectogram. Classifies which of the various states of welding it belongs to, and outputs the results according to the classification as information for determining the quality of laser welding,
The audio deep learning process consists of multiple convolution layers and multiple fully connected layers,
The control device performs noise filtering on the audio information to remove noise components generated by chips flying during laser welding,
The learning data for the audio deep learning process is,
A quality monitoring method for laser welding, characterized in that each of a plurality of welding objects of different materials is acquired from a plurality of predetermined thicknesses and divided into predetermined time intervals.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210175971A KR102644641B1 (en) | 2021-12-09 | 2021-12-09 | Quality monitoring device and method for laser welding |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210175971A KR102644641B1 (en) | 2021-12-09 | 2021-12-09 | Quality monitoring device and method for laser welding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230087221A KR20230087221A (en) | 2023-06-16 |
| KR102644641B1 true KR102644641B1 (en) | 2024-03-06 |
Family
ID=86948240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210175971A KR102644641B1 (en) | 2021-12-09 | 2021-12-09 | Quality monitoring device and method for laser welding |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102644641B1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020044546A (en) * | 2018-09-18 | 2020-03-26 | 前田工業株式会社 | Laser welding state determination device |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11216583A (en) * | 1998-01-28 | 1999-08-10 | Sumitomo Heavy Ind Ltd | Method and device for detecting laser welding defect |
| KR20110075639A (en) | 2009-12-28 | 2011-07-06 | 주식회사 성우하이텍 | Laser welding monitoring system and method thereof |
| KR101405267B1 (en) | 2012-10-30 | 2014-06-13 | (주)아이비티 | Monitoring system and method for laser welding |
| KR101409214B1 (en) | 2013-02-27 | 2014-07-03 | 에스아이에스 주식회사 | Laser welding monitoring system in real time and laser welding apparatus |
| KR102134720B1 (en) | 2019-09-02 | 2020-07-16 | 모니텍주식회사 | A monitoring system and its method for laser beam modulation type laser welding |
-
2021
- 2021-12-09 KR KR1020210175971A patent/KR102644641B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020044546A (en) * | 2018-09-18 | 2020-03-26 | 前田工業株式会社 | Laser welding state determination device |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230087221A (en) | 2023-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100341658C (en) | High-energy beam welding process multi-signal fusion-monitoring instrument | |
| JP4896838B2 (en) | Imaging apparatus, image detection apparatus, and program | |
| US20140267701A1 (en) | Apparatus and techniques for determining object depth in images | |
| US20080314155A1 (en) | Remote Voice Detection System | |
| CN101267910A (en) | Method for controlling the quality of laser-welding processes, control system and program product therefor | |
| CN111337447B (en) | Coal and gangue bionic identification system and method | |
| CN112733929A (en) | Improved method for detecting small target and shielded target of Yolo underwater image | |
| EP2805676A1 (en) | Subject information acquisition device and subject information acquisition method | |
| KR102644641B1 (en) | Quality monitoring device and method for laser welding | |
| CN104070292B (en) | Laser spot welding monitoring method and monitoring device | |
| TWI597720B (en) | Baby cry detection circuit and associated detection method | |
| JP5990906B2 (en) | Measuring device, measuring method, program, and recording medium | |
| EP1371443A1 (en) | A system and method for monitoring laser welds and giving an indication of the quality of welding | |
| JP5559080B2 (en) | Photoacoustic imaging apparatus, probe unit used therefor, and method of operating photoacoustic imaging apparatus | |
| CN114184684A (en) | Online detection method and system for cutting state of cutter | |
| CN113723206A (en) | Brain wave identification method based on quantum neural network algorithm | |
| CN112287893A (en) | Sow lactation behavior identification method based on audio and video information fusion | |
| CN105791666B (en) | Automatic focusing mechanism | |
| JP6835314B2 (en) | Measurement method and measurement system | |
| CN112577960B (en) | Method and system for detecting impurities in tobacco leaves and computer-readable storage medium | |
| CN109444265B (en) | Laser ultrasonic vibration detection device and method | |
| CN113539298A (en) | Sound big data analysis calculates imaging system based on cloud limit end | |
| CN109332937B (en) | Laser soldering quality detection method based on temperature curve | |
| JP3249111B2 (en) | Tool life sensor | |
| CN113723521A (en) | Motor abnormal sound identification method and identification system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |