KR20230087221A - 레이저 용접에 대한 품질 모니터링 장치 및 방법 - Google Patents

레이저 용접에 대한 품질 모니터링 장치 및 방법 Download PDF

Info

Publication number
KR20230087221A
KR20230087221A KR1020210175971A KR20210175971A KR20230087221A KR 20230087221 A KR20230087221 A KR 20230087221A KR 1020210175971 A KR1020210175971 A KR 1020210175971A KR 20210175971 A KR20210175971 A KR 20210175971A KR 20230087221 A KR20230087221 A KR 20230087221A
Authority
KR
South Korea
Prior art keywords
laser welding
audio
information
deep learning
image
Prior art date
Application number
KR1020210175971A
Other languages
English (en)
Other versions
KR102644641B1 (ko
Inventor
최해운
김태원
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020210175971A priority Critical patent/KR102644641B1/ko
Publication of KR20230087221A publication Critical patent/KR20230087221A/ko
Application granted granted Critical
Publication of KR102644641B1 publication Critical patent/KR102644641B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/03Observing, e.g. monitoring, the workpiece
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125Weld quality monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Plasma & Fusion (AREA)
  • Laser Beam Processing (AREA)

Abstract

본 발명에 따르는 레이저 용접에 대한 품질 모니터링 장치는, 레이저 용접영역을 촬상하는 촬상장치; 상기 촬상장치로부터 제공되는 촬상정보를 제공받아 이미지 딥러닝 프로세스로 처리하여 상기 레이저 용접에 대한 품질을 판별하고, 그 판별에 따라 모니터링 정보를 구성하는 제어장치;를 포함하며, 상기 이미지 딥러닝 프로세스는 레이저 용접의 다양한 상태 각각에 대한 이미지 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 촬상정보가 입력되면 상기 촬상정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류결과를 상기 판별정보로서 출력함을 특징으로 한다. 또한 상기의 레이저 용접에 대한 품질 모니터링 장치는 상기 레이저 용접영역에서 발생되는 오디오를 수득하는 마이크장치;를 더 구비하며, 상기 제어장치가 상기 마이크장치로부터 제공되는 오디오정보를 제공받아 오디오 딥러닝 프로세스로 처리하여 상기 레이저 용접에 대한 품질을 판별하고, 그 판별에 따른 정보를 상기 모니터링 정보에 부가하며, 상기 오디오 딥러닝 프로세서는 레이저 용접의 다양한 상태 각각에 대한 오디오 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 오디오정보가 입력되면 상기 오디오정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류결과를 상기 판별정보로서 출력함을 특징으로 한다.

Description

레이저 용접에 대한 품질 모니터링 장치 및 방법{Quality monitoring device and method for laser welding}
본 발명은 용접 모니터링 기술에 관한 것으로, 더욱 상세하게는 딥러닝을 레이저 용접에 대한 품질 모니터링에 적용하여 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높이는 레이저 용접에 대한 품질 모니터링 장치 및 방법에 관한 것이다.
레이저 가공이란 레이저 빔과 재료의 상호작용에 의해 발생하는 열을 이용하는 가공방법으로 레이저의 높은 에너지 밀도(
Figure pat00001
)와 고도의 지향성을 이용하는 가공기술이다.
상기 레이저 빔은 큰 에너지 밀도를 만들어 낼 수 있기 때문에 용접, 절단, 열처리 등 정밀 가공에 이용되고 있으며 최근
Figure pat00002
레이저와 같은 고출력 레이저의 개발과 함께 급속하게 발전하고 있다.
이러한 정밀 가공 중 레이저 용접은 기존 용접과는 달리 레이저를 용접 부위에 정밀 집속할 수 있으므로 열 영향 부위가 적어 정밀하게 용접 가공을 수행할 수 있고, 열의 입열량이 적어 재료의 뒤틀림 및 열응력의 변화가 적으며, 자동화가 용이하다.
고도의 용접 품질을 확보하기 위해서는 효율적인 레이저 미세용접 가공장치가 필요한데 이를 위해서는 용접의 품질을 판단할 수 있는 모니터링 시스템의 구축이 필수적이다.
따라서, 최근 고품질 레이저 용접 자동화를 위한 실시간 레이저 용접 모니터링 시스템의 연구가 활발하다.
이러한 기술로는 대한민국 특허청에 실시간 레이저 용접 모니터링 시스템 및 레이저 미세용접 가공장치를 명칭으로 하여 특허등록된 제10-1409214호가 있다. 상기 특허등록된 기술은, 레이저 용접시에 재료에서 발생하는 반사 광을 적외선 신호와 자외선 신호로 분리하여 획득하는 광학헤드; 및 상기 광학헤드에서 획득된 적외선 신호와 자외선 신호를 입력받아 상기 적외선 신호로부터 레이저의 파워 및 입열량을 분석하고 상기 자외선 신호로부터 키홀의 생성 및 용입정도를 분석하는 모니터링 장치;를 포함하고, 상기 모니터링 장치:는 상기 적외선 신호와 상기 자외선 신호의 전원 잡음을 제거하는 노이즈 필터; 전원 잡음이 제거된 적외선 신호와 자외선 신호를 증폭하는 증폭 회로; 증폭된 적외선 신호 및 자외선 신호의 고주파를 제거하는 LC필터; 고주파가 제거된 적외선 신호 및 자외선 신호를 디지털 신호로 변환하는 DAQ보드(Data Acquisition Board); 및 상기 DAQ보드에서 출력되는 적외선 신호로부터 레이저의 파워 및 입열량을 분석하고, 자외선 신호로부터 키홀의 생성 및 용입정도를 분석하는 신호분석보드;를 포함하며, 상기 신호분석보드:는 상기 적외선 신호의 DC성분을 분리하는 버터워스형 저역 통과필터(Butterworth type Low pass filter)부; 상기 DC성분으로부터 레이저의 파워 및 입열량을 산출하는 DC성분 분석부; 상기 자외선 신호의 AC성분을 분리하는 역 체비세프형 밴드패스 필터(Inverse chebyshev type Band pass filter)부; 및 상기 AC성분으로부터 키홀의 생성 및 용입정도를 산출하는 AC성분 분석부;를 포함하는 레이저 용접 모니터링 시스템을 개시한다.
그리고 대한민국 특허청에 레이저 용접 모니터링 시스템 및 모니터링 방법을 명칭으로 하여 특허공개된 제10-2014-0057706호가 있다. 이는 자외선 대역의 광신호를 획득하는 제1 포토다이오드와, 적외선 대역의 광신호를 획득하는 제2 포토다이오드와, 가시광선 대역의 광신호를 획득하는 제3 포토다이오드 및 외부 환경으로부터 상기 포토다이오드를 보호하며 포토다이오드로 입사되는 광신호를 처리하는 광학계가 구비된 광학모듈; 상기 광학모듈에 의해 획득되는 광신호에 포함된 노이즈를 제거하는 노이즈 필터; 상기 노이즈 필터를 거친 신호를 증폭하는 연산증폭기; 상기 증폭된 신호를 처리하는 LC 필터; 상기 LC 필터에 의해 처리된 신호를 컴퓨터가 인식할 수 있는 디지털 신호로 변환하는 DAQ 보드; 및 상기 DAQ 보드로부터 전달되는 신호를 분석하여 용접 상태 정보를 검출하는 처리장치로 구성되는 레이저 용접 모니터링 시스템을 개시한다.
상기한 바와 같이 종래에는 레이저 용접시에 발생하는 반사광을 획득하고, 상기 획득된 정보를 이용하여 레이저 용접 모니터링을 이행하였으나 여전히 용접의 품질을 정확하고 신뢰있게 모니터링할 수 있게 하는 기술의 개발이 요구되었다.
대한민국 등록특허 제1014092140000호 대한민국 공개특허 제1020140057706호 대한민국 등록특허 제1021347200000호 대한민국 공개특허 제1020110075639호
본 발명은 딥러닝을 레이저 용접에 대한 품질 모니터링에 적용하여 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높이는 레이저 용접에 대한 품질 모니터링 장치 및 방법을 제공하는 것을 그 목적으로 한다.
또한 본 발명의 다른 목적은 레이저 용접시 레이저 용접위치를 촬상한 촬상정보와 레이저 용접시 발생되는 오디오를 수음한 오디오정보를 이용하여 레이저 용접에 대한 품질 모니터링을 이행하여, 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높일 수 있는 레이저 용접에 대한 품질 모니터링 장치 및 방법을 제공하는 것이다.
또한 본 발명의 또 다른 목적은 노이즈 필터링을 이행하여 레이저 용접시에 비산하는 칩으로 인하여 발생되는 노이즈성분을 제거함으로써 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높일 수 있는 레이저 용접에 대한 품질 모니터링 장치 및 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따르는 레이저 용접에 대한 품질 모니터링 장치는, 레이저 용접영역을 촬상하는 촬상장치; 상기 촬상장치로부터 제공되는 촬상정보를 제공받아 이미지 딥러닝 프로세스로 처리하여 상기 레이저 용접에 대한 품질을 판별하고, 그 판별에 따라 모니터링 정보를 구성하는 제어장치;를 포함하며, 상기 이미지 딥러닝 프로세스는 레이저 용접의 다양한 상태 각각에 대한 이미지 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 촬상정보가 입력되면 상기 촬상정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류결과를 상기 판별정보로서 출력함을 특징으로 한다. 또한 상기의 레이저 용접에 대한 품질 모니터링 장치는 상기 레이저 용접영역에서 발생되는 오디오를 수득하는 마이크장치;를 더 포함하며, 상기 제어장치가 상기 마이크장치로부터 제공되는 오디오정보를 제공받아 오디오 딥러닝 프로세스로 처리하여 상기 레이저 용접에 대한 품질을 판별하고, 그 판별에 따른 정보를 상기 모니터링 정보에 부가하며, 상기 오디오 딥러닝 프로세서는 레이저 용접의 다양한 상태 각각에 대한 오디오 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 오디오정보가 입력되면 상기 오디오정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류결과를 상기 판별정보로서 출력함을 특징으로 한다.
본 발명은 딥러닝을 레이저 용접에 대한 품질 모니터링에 적용하여 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높일 수 있는 효과를 제공한다.
또한 본 발명은 레이저 용접시 레이저 용접위치를 촬상한 촬상정보와 레이저 용접시 발생되는 오디오를 수음한 오디오정보를 이용하여 레이저 용접에 대한 품질 모니터링을 이행하여, 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높일 수 있는 효과를 제공한다.
또한 본 발명은 노이즈 필터링을 이행하여 레이저 용접시에 비산하는 칩으로 인하여 발생되는 노이즈성분을 제거함으로써 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높일 수 있는 효과를 제공한다.
도 1은 본 발명의 바람직한 실시예에 따르는 레이저 용접에 대한 품질 모니터링 장치의 블록구성도.
도 2는 도 1의 제어장치의 구성도.
도 3 내지 도 5는 도 1의 각부의 설치예를 도시한 도면.
도 6은 본 발명의 바람직한 실시예에 따르는 이미지 딥러닝 프로세스 수행화면을 예시한 도면.
도 7 및 도 18은 본 발명의 바람직한 실시예에 따르는 이미지 딥러닝 프로세스의 구성도.
도 8은 본 발명의 바람직한 실시예에 따르는 이미지 딥러닝 프로세스의 기능을 개략적으로 도시한 도면.
도 9 내지 도 12은 본 발명의 바람직한 실시예에 따르는 이미지 딥러닝 프로세스의 실험과정 및 결과를 예시한 도면.
도 13은 고출력 그린 레이저를 이용한 이종소재 용접과정을 예시한 도면.
도 14 내지 도 17, 도 19는 본 발명의 바람직한 실시예에 따르는 이미지 딥러닝 프로세스의 실험과정 및 결과를 예시한 도면.
도 20은 본 발명의 바람직한 실시예에 따르는 오디오 딥러닝 프로세스의 구성도.
도 21은 본 발명의 바람직한 실시예에 따르는 오디오 딥러닝 프로세스의 기능을 개략적으로 도시한 도면.
도 22는 레이저 용접시에 발생되는 오디오 신호를 예시한 도면.
도 23은 도 21의 딥러닝 처리부의 구성도.
도 24 및 도 25는 본 발명의 바람직한 실시예에 따르는 오디오 딥러닝 프로세스의 실험과정 및 결과를 예시한 도면.
도 26은 본 발명의 바람직한 실시에에 따르는 레이저 용접에 대한 품질 모니터링 방법의 절차도.
본 발명은 딥러닝을 레이저 용접에 대한 품질 모니터링에 적용하여 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높일 수 있다.
또한 본 발명은 레이저 용접시 레이저 용접위치를 촬상한 촬상정보와 레이저 용접시 발생되는 오디오를 수음한 오디오정보를 이용하여 레이저 용접에 대한 품질 모니터링을 이행하여, 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높일 수 있다.
또한 본 발명은 노이즈 필터링을 이행하여 레이저 용접시에 비산하는 칩으로 인하여 발생되는 노이즈성분을 제거함으로써 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높일 수 있다.
이러한 본 발명에 따르는 딥러닝을 이용한 레이저 용접에 대한 품질 모니터링 장치 및 방법을 도면을 참조하여 상세히 설명한다.
<딥러닝을 이용한 레이저 용접에 대한 품질 모니터링 장치의 구성>
도 1은 본 발명의 바람직한 실시예에 따르는 딥러닝을 이용한 레이저 용접에 대한 품질 모니터링 장치의 구성도이다. 상기 도 1을 참조하면, 상기 딥러닝을 이용한 레이저 용접에 대한 품질 모니터링 장치는 제어장치(100)와 CNC 머신(200)과 레이저 장치(300)와 촬상장치(400)와 마이크장치(500)로 구성된다.
상기 제어장치(100)는 본 발명의 바람직한 실시예에 따라 레이저 용접 실행을 위해 상기 CNC 머신(200)과 상기 레이저 장치(300)를 제어하여 구동시킨다. 상기의 레이저 용접이 실행되는 동안, 상기 제어장치(100)는 상기 레이저 용접영역을 촬상하는 촬상장치(400)로부터 상기 레이저 용접영역을 촬상한 촬상정보를 제공받아 이미지 딥러닝 프로세스로 처리하여 상기 레이저 용접에 대한 품질을 판별하고, 그 판별에 따라 모니터링 정보를 구성하여 출력하여 사용자에게 안내한다. 여기서, 상기 이미지 딥러닝 프로세스는 레이저 용접의 다양한 상태 각각에 대한 이미지 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 촬상정보가 입력되면 상기 촬상정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류결과를 상기 판별정보로서 출력한다.
또한 상기 레이저 용접이 실행되는 동안, 상기 제어장치(100)는 상기 레이저 용접영역에서 발생되는 오디오를 수득하는 마이크장치(500)로부터 오디오정보를 제공받아 오디오 딥러닝 프로세스로 처리하여 상기 레이저 용접에 대한 품질을 판별하고, 그 판별에 따른 정보를 상기 모니터링 정보에 부가하며 출력하여 사용자에게 안내한다. 여기서, 상기 오디오 딥러닝 프로세서는 레이저 용접의 다양한 상태 각각에 대한 오디오 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 오디오정보가 입력되면 상기 오디오정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류결과를 상기 판별정보로서 출력한다.
<제어장치(100)의 구성>
도 2는 상기의 제어장치(100)의 상세 구성을 도시한 것이다. 상기 도 2를 참조하면, 상기 제어장치(100)는 제어모듈(102)과, 메모리부(104)와, 사용자 인터페이스부(106)와, 외부기기 인터페이스 모듈(108)과, 디스플레이부(110)로 구성된다.
상기 제어모듈(102)은 상기 제어장치(100)를 전반적으로 제어함은 물론이고 본 발명에 따라 레이저 용접 및 공정수행을 위해 상기 CNC 머신(200)과 상기 레이저 장치(300)를 제어하여 구동시키며, 상기의 레이저 용접이 이행되는 동안, 상기 레이저 용접영역을 촬상한 촬상정보 및 상기 레이저 용접영역에서 수음한 오디오정보 중 하나 이상을 제공받아 딥러닝 프로세스로 처리하여 레이저 용접에 대한 품질을 판별하고, 그 판별에 따라 모니터링 정보를 구성하여 상기 디스플레이부(110)를 통해 표시하여 사용자에게 안내한다.
또한 상기 제어장치(100)는 레이저 용접의 다양한 상태 각각에 해당 이미지 학습 데이터를 토대로 딥러닝 처리를 위한 학습을 이행한다.
상기 메모리부(104)는 상기 제어모듈(102)의 처리 프로그램을 포함하는 다양한 정보를 저장한다.
상기 사용자 인터페이스부(106)는 상기 제어모듈(102)과 사용자 사이의 인터페이스를 담당한다.
상기 외부기기 인터페이스 모듈(108)은 상기 제어모듈(102)과 외부기기, 즉 CNC 머신(200), 레이저 장치(300), 촬상장치(400), 마이크장치(500) 등과의 인터페이스를 담당한다.
상기 디스플레이부(110)는 상기 제어모듈(102)의 제어에 따른 정보를 표시하여 사용자에게 안내한다.
<CNC 머신 및 레이저 장치의 설치예>
도 3은 본 발명에 따라 레이저 용접을 위해 CNC 머신(200) 및 레이저 장치(300)를 설치한 것을 예시한 것으로, 상기 CNC 머신(200)은 상기 제어장치(100)에 연결되어 상기 제어장치(100)의 제어에 따라 레이저 장치(300)의 레이저 빔 출사구를 알루미늄 보드상에 거치된 대상물로 이송하며, 특히 제어장치(100)에 의해 설정된 용접경로에 대응되게 상기 레이저 빔 출사구를 이송한다. 상기 레이저 장치(300)는 상기 제어장치(100)에 연결되어 상기 제어장치(100)의 제어에 따라 레이저 빔을 생성하여 상기 CNC 머신(200)에 장착된 레이저 빔 출사구를 통해 출사한다. 또한 상기 대상물은 알루미늄 보드상에 결합부재를 통해 결합됨이 바람직하다.
<촬상장치의 설치예>
도 4는 본 발명에 따르는 촬상장치(400)의 설치예를 도시한 것이다. 상기 도 4를 참조하면, 상기 촬상장치(400)는 대상물의 용접경로에 대응되는 용접영역을 촬상하며 레이저 빔이 제공된 대상물로부터 반환되는 광 및 대상물의 용접결과물을 촬상하고 그에 따른 촬상정보를 생성하여 상기 제어장치(100)에 제공한다.
<마이크장치의 설치예>
도 5는 본 발명에 따르는 마이크장치(500)의 설치예를 도시한 것이다. 상기 도 5를 참조하면, 상기 마이크장치(500)는 대상물의 용접경로에 대응되는 용접영역에 인접하여 대상물에 대한 레이저 용접시의 발생되는 오디오를 수음하고 그에 따른 오디오정보를 생성하여 상기 제어장치(100)에 제공한다.
<이미지/오디오 딥러닝 프로세스를 통한 레이저 용접의 품질 판별과정>
본 발명은 레이저 용접시에 획득된 용접결과물에 대한 촬상을 이행한 촬상정보와 레이저 용접시에 발생된 오디오를 수음한 오디오정보 각각을 딥러닝 프로세싱하여 레이저 용접의 품질을 판별한다.
<이미지 딥러닝 프로세스>
먼저 이미지 딥러닝 프로세스에 대해 설명한다.
도 6은 촬상정보에 대한 이미지 딥러닝 프로세스를 예시한 것으로 딥러닝 소프트웨어는 MATLAB TOOLBAX를 이용하며, 사용 알고리즘은 ALEXNET이다. 이를 위한 워크 스테이션은 그래픽카드로는 NVDIA 2070 SINGLE-GPU, 그래픽 소프트웨어로는 CUDA TOOLKIT(VER. 10.2), CPU는 i9-9900K, RAM은 32GB가 채용될 수 있다.
도 7은 촬상정보에 대한 이미지 딥러닝 프로세스를 위한 구조를 도시한 것으로, GPU는 병렬구조를 가지며, 입력 이미지 사이즈는 227*227이며, 총 8개의 레이어(층)으로 구성되며, 이는 5개의 컨볼루션(convolution) 레이어와 3개의 Fully Connectd 레이어로 구성된다.
도 8은 촬상정보에 대한 이미지 딥러닝 프로세스의 기능을 개략적으로 도시한 것으로, 이미지 딥러닝 프로세스 알고리즘은 분류 및 변환된 학습 데이터를 입력받아 학습을 이행한다.
이후 상기 이미지 딥러닝 프로세스는 레이저 용접시에 획득된 촬상정보를 입력받아 레이저 용접의 레이저 용접의 다양한 상태 중 어디에 속하는지를 분류하고, 그 분류결과를 확률로서 출력한다.
도 9는 폴리머 용접에 대한 품질 모니터링을 위해 용접결과를 분류한 것을 예시한 것이고, 도 10 및 도 12는 딥러닝 프로세스에 의한 분류결과를 예시한 것이다.
이러한 본 발명은 고출력의 그린 레이저를 이용한 이종소재 용접시에도 적용될 수 있다. 도 13은 고출력 그린 레이저를 이용한 이종소재 용접과정을 예시한 것으로 이종소재로는 CU와 AL이다.
도 14 내지 17은 이종소재 용접결과를 예시한 도면이다.
도 18은 고출력 그린 레이저를 이용한 이송소재 용접에 대한 품질 모니터링을 위한 이미지 딥러닝 프로세스를 예시한 것으로, 상기 딥러닝 프로세스는 컨볼루션 및 RELU, POOLING, 컨볼루션 및 RELU로 구성되는 특징 학습부와 FULLY CONNECTED와 SOFTMAX로 구성되는 분류부로 구성된다.
도 19는 본 발명에 따르는 이미지 딥러닝 프로세스에 의한 분류결과를 예시한 도면이다.
<오디오 딥러닝 프로세스>
이제 오디오 딥러닝 프로세스에 대해 설명한다.
도 20은 본 발명의 바람직한 실시예에 따라 오디오 정보를 통해 용접에 대한 품질 모니터링을 이행하는 오디오 딥러닝 프로세스를 개략적으로 도시한 것이다.
상기 오디오 정보를 통해 용접에 대한 품질 모니터링을 이행하는 오디오 딥러닝 프로세스는 입력부와, 오디오 딥러닝 처리부(VGGish)와, 출력부로 구성된다.
상기 입력부는 웨이브 폼의 오디오 신호를 입력받아 멜 스펙토그램으로 변환하여 오디오 정보로서 출력한다. 상기 오디오 딥러닝 처리부는 오디오 정보를 딥러닝 처리하며, 상기 딥러닝 처리결과는 출력부를 통해 출력된다. 상기 출력부를 통해 출력되는 딥러닝 처리결과는 용접에 대한 품질 분류 결과이다.
상기의 오디오 정보의 딥러닝 처리를 위해, 도 21에 도시한 바와 같은 딥러닝을 위한 빅 데이터는 오디오 데이터 분할과 오디오 데이터 취득 과정으로 이루어지며, WAVE PAD SW를 사용하여 3초 간격으로 데이터를 분할한다. 그리고 상기 오디오 데이터 취득은 Al 0.5mm, Al 1.0mm, Steel 0.5mm, Steel 1.0 mm의 4가지 범주로 설정하고, 각 조건에서 약 2000~2700개의 데이터를 취득하며, 총 9,913개의 데이터를 취득한다.
도 22는 본 발명에 따르는 오디오 데이터 취득 영상을 예시한 것이다.
도 23은 본 발명에 따르는 오디오 딥러닝 처리부(VGGish)의 구조를 도시한 것이다. 상기 오디오 딥러닝 처리부(VGGish)는 6개의 컨볼루션 레이어(Convolution Layer)와 3개의 풀리 커넥티드 레이어(Fully Connected Layer)로 구성된다. 이는 CNN의 VGG 모델을 변형한 것으로 24개의 레이어가 있으며 학습 가능한 9개의 레이어가 있다. 그리고 입력 로그 스펙트로그램(Input Log Spectrogram)의 크기는 96*64*1이다.
도 24는 오디오 딥러닝 프로세스의 처리과정을 예시한 도면으로, 총 데이터는 11,813개이며, 훈련 데이터는 9,450개(80%)이며, 검증 데이터는 2,363개(20%)이며 Max Epoch는 30회, 초기 학습률은 0.001, iterarion은 17,430회, 소요시간은 1시간 45분 21초, 정확도는 97.48%이다.
도 25는 상기한 본 발명에 따라 오디오 정보의 오디오 딥러닝 처리결과를 예시한 것이다.
<레이저 용접에 대한 품질 모니터링 및 학습방법의 절차>
이제 상기한 바와 같이 구성되는 레이저 용접 모니터링 장치에 적용가능한 레이저 용접에 대한 품질 모니터링 및 학습방법의 절차를 설명한다.
도 26은 레이저 용접에 대한 품질 모니터링 및 학습방법의 절차도를 도시한 것이다. 상기 도 26을 참조하면, 상기 제어장치(100)는 사용자가 사용자 인터페이스부(106)를 통해 사용자가 레이저 용접에 대한 품질 모니터링 또는 학습을 요청하는지를 체크한다(600단계).
상기 사용자가 레이저 용접에 대한 품질 모니터링을 위한 학습을 요청하면, 상기 제어장치(100)는 레이저 용접의 다양한 상태, 예를 들어 정상 및 결함상태 각각에 대한 학습데이터를 제공받아 학습을 이행한다(602단계). 상기 학습 데이터는 레이저 용접에 대한 품질 모니터링을 위한 촬상정보들과 레이저 용접에 대한 품질 모니터링을 위한 오디오정보들이 포함된다.
상기한 바와 달리 상기 사용자가 레이저 용접에 대한 품질 모니터링을 요청하면, 상기 제어장치(100)는 사용자에 의해 설정된 레이저 용접 실행정보에 따라 레이저 용접을 실행하도록 CNC 머신(200)과 레이저 장치(300)를 구동한다(604단계). 이로서 상기 레이저 장치(300)의 레이저 빔 출사구가 CNC 머신(200)에 의해 레이저 용접경로를 따라 이송되어 보드상의 대상물에 용접을 위한 레이저 빔을 출사한다.
상기한 레이저 용접이 이행하는 동안, 상기 제어장치(100)는 촬상장치(400)를 구동하여 상기 레이저 용접경로를 따라 촬상을 이행하고 그에 따르는 촬상정보를 제공받으며, 상기 촬상정보를 이미지 딥러닝 프로세스를 통해 처리하여 레이저 용접에 대한 정상 또는 결함여부를 판별한다(606단계).
또한 상기 제어장치(100)는 마이크장치(500)를 구동하여 상기 레이저 용접경로를 따라 용접이 이행되면서 발생되는 오디오 수음을 이행하고 그에 따르는 오디오정보를 제공받으며, 상기 오디오정보를 오디오 딥러닝 프로세스를 통해 처리하여 레이저 용접에 대한 정상 또는 결함여부를 판별한다(608단계). 여기서, 상기 제어장치(100)는 상기 오디오정보가 제공되면 상기 레이저 용접시에 비산하는 칩으로 인하여 발생되는 노이즈를 필터링하여 상기 오디오정보가 실린 노이즈를 제거하며, 이는 본 발명에 의해 당업자에게 자명하다.
상기 제어장치(100)는 이미지 및 오디오 딥러닝 프로세스를 통해 판별된 레이저 용접에 대한 정상 또는 결함 판별정보를 조합하여 레이저 용접에 대한 품질 모니터링 결과정보를 구성하고, 상기 레이저 용접에 대한 품질 모니터링 결과정보를 디스플레이부(110)를 통해 출력하여 사용자에게 안내한다(610단계).
이와 같이 본 발명은 인공지능인 딥러닝을 레이저 용접에 대한 품질 모니터링에 적용하여, 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높일 수 있는 효과를 야기한다.
또한 본 발명은 레이저 용접시 레이저 용접영역를 촬상한 촬상정보와 레이저 용접시 발생되는 오디오를 수음한 오디오정보를 이용하여 레이저 용접에 대한 품질 모니터링을 이행하여, 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높일 수 있는 효과를 제공한다.
또한 본 발명은 노이즈 필터링을 이행하여 오디오정보에 포함된 노이즈성분을 제거함으로써 레이저 용접에 대한 품질 모니터링의 정확도와 신뢰도를 높일 수 있는 효과를 제공한다.
이상의 설명에서 본 발명은 특정의 실시예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.
100 : 제어장치
200 : CNC 머신
300 : 레이저 장치
400 : 촬상장치
500 : 마이크장치

Claims (14)

  1. 레이저 용접영역을 촬상하는 촬상장치; 및
    상기 촬상장치로부터 제공되는 촬상정보를 제공받아 이미지 딥러닝 프로세스로 처리하여 상기 레이저 용접에 대한 품질을 판별하고, 그 판별에 따라 모니터링 정보를 구성하는 제어장치;를 포함하며,
    상기 이미지 딥러닝 프로세스는 레이저 용접의 다양한 상태 각각에 대한 이미지 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 촬상정보가 입력되면 상기 촬상정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류결과를 상기 판별정보로서 출력함을 특징으로 하는 레이저 용접에 대한 품질 모니터링 장치.
  2. 제1항에 있어서,
    상기 이미지 딥러닝 프로세스는, 5개의 컨볼루션(convolution) 레이어와 3개의 Fully Connected 레이어로 구성됨을 특징으로 하는 레이저 용접에 대한 품질 모니터링 장치.
  3. 제1항에 있어서,
    상기 이미지 딥러닝 프로세스는, 상기 분류결과를 확률로서 출력함을 특징으로 하는 레이저 용접에 대한 품질 모니터링 장치.
  4. 제1항에 있어서,
    상기 레이저 용접영역에서 발생되는 오디오를 수득하는 마이크장치;를 더 포함하며,
    상기 제어장치가 상기 마이크장치로부터 제공되는 오디오정보를 제공받아 오디오 딥러닝 프로세스로 처리하여 상기 레이저 용접에 대한 품질을 판별하고, 그 판별에 따른 정보를 상기 모니터링 정보에 부가하며,
    상기 오디오 딥러닝 프로세서는 레이저 용접의 다양한 상태 각각에 대한 오디오 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 오디오정보가 입력되면 상기 오디오정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류결과를 상기 판별정보로서 출력함을 특징으로 하는 레이저 용접에 대한 품질 모니터링 장치.
  5. 레이저 용접영역에서 발생되는 오디오를 수득하는 마이크장치; 및
    상기 마이크장치로부터 제공되는 오디오정보를 제공받아 오디오 딥러닝 프로세스로 처리하여 상기 레이저 용접에 대한 품질을 판별하고, 그 판별에 따라 모니터링 정보를 구성하는 제어장치;를 포함하며,
    상기 오디오 딥러닝 프로세서는 레이저 용접의 다양한 상태 각각에 대한 오디오 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 오디오정보가 입력되면 상기 오디오정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류결과를 상기 판별정보로서 출력함을 특징으로 하는 레이저 용접에 대한 품질 모니터링 장치.
  6. 제4항 또는 제5항에 있어서,
    상기 오디오 딥러닝 프로세스는, 6개의 컨볼루션 레이어(Convolution Layer)와 3개의 풀리 커넥티드 레이어(Fully Connected Layer)로 구성되며, CNN의 VGG 모델을 변형한 것임을 특징으로 하는 레이저 용접에 대한 품질 모니터링 장치.
  7. 제4항 또는 제5항에 있어서,
    상기 제어장치가, 레이저 용접시에 비산하는 칩으로 인하여 발생되는 노이즈성분을 제거하기 위해 노이즈 필터링을 이행함을 특징으로 하는 레이저 용접에 대한 품질 모니터링 장치.
  8. 촬상장치를 통해 레이저 용접영역을 촬상하는 단계; 및
    제어장치가, 상기 촬상장치로부터 제공되는 촬상정보를 제공받아 이미지 딥러닝 프로세스로 처리하여 상기 레이저 용접에 대한 품질을 판별하고, 그 판별에 따라 모니터링 정보를 구성하는 단계;를 포함하며,
    상기 이미지 딥러닝 프로세스는 레이저 용접의 다양한 상태 각각에 대한 이미지 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 촬상정보가 입력되면 상기 촬상정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류결과를 상기 판별정보로서 출력함을 특징으로 하는 레이저 용접에 대한 품질 모니터링 방법.
  9. 제8항에 있어서,
    상기 이미지 딥러닝 프로세스는, 5개의 컨볼루션(convolution) 레이어와 3개의 Fully Connected 레이어로 구성됨을 특징으로 하는 레이저 용접에 대한 품질 모니터링 방법.
  10. 제8항에 있어서,
    상기 이미지 딥러닝 프로세스는, 상기 분류결과를 확률로서 출력함을 특징으로 하는 레이저 용접에 대한 품질 모니터링 방법.
  11. 제8항에 있어서,
    마이크장치를 통해 상기 레이저 용접영역에서 발생되는 오디오를 수득하는 단계; 및
    상기 제어장치가 상기 마이크장치로부터 제공되는 오디오정보를 제공받아 오디오 딥러닝 프로세스로 처리하여 상기 레이저 용접에 대한 품질을 판별하고, 그 판별에 따른 정보를 상기 모니터링 정보에 부가하는 단계;를 더 구비하며,
    상기 오디오 딥러닝 프로세서는 레이저 용접의 다양한 상태 각각에 대한 오디오 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 오디오정보가 입력되면 상기 오디오정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류결과를 상기 판별정보로서 출력함을 특징으로 하는 레이저 용접에 대한 품질 모니터링 방법.
  12. 마이크장치를 통해 레이저 용접영역에서 발생되는 오디오를 수득하는 단계; 및
    제어장치가, 상기 마이크장치로부터 제공되는 오디오정보를 제공받아 오디오 딥러닝 프로세스로 처리하여 상기 레이저 용접에 대한 품질을 판별하고, 그 판별에 따라 모니터링 정보를 구성하는 단계;를 포함하며,
    상기 오디오 딥러닝 프로세서는 레이저 용접의 다양한 상태 각각에 대한 오디오 학습데이터를 제공받아 학습을 이행하며, 상기 학습후에 상기 오디오정보가 입력되면 상기 오디오정보가 레이저 용접의 다양한 상태 중 어느 하나에 속하는지 분류하고, 그 분류결과를 상기 판별정보로서 출력함을 특징으로 하는 레이저 용접에 대한 품질 모니터링 방법.
  13. 제11항 또는 제12항에 있어서,
    상기 오디오 딥러닝 프로세스는, 6개의 컨볼루션 레이어(Convolution Layer)와 3개의 풀리 커넥티드 레이어(Fully Connected Layer)로 구성되며, CNN의 VGG 모델을 변형한 것임을 특징으로 하는 레이저 용접에 대한 품질 모니터링 방법.
  14. 제11항 또는 제12항에 있어서,
    상기 제어장치가, 상기 오디오정보가 제공되면 레이저 용접시에 비산하는 칩으로 인하여 발생되는 노이즈성분을 제거하기 위해 노이즈 필터링을 이행하는 단계;를 더 포함하는 것을 특징으로 하는 레이저 용접에 대한 품질 모니터링 방법.
KR1020210175971A 2021-12-09 2021-12-09 레이저 용접에 대한 품질 모니터링 장치 및 방법 KR102644641B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210175971A KR102644641B1 (ko) 2021-12-09 2021-12-09 레이저 용접에 대한 품질 모니터링 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210175971A KR102644641B1 (ko) 2021-12-09 2021-12-09 레이저 용접에 대한 품질 모니터링 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230087221A true KR20230087221A (ko) 2023-06-16
KR102644641B1 KR102644641B1 (ko) 2024-03-06

Family

ID=86948240

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210175971A KR102644641B1 (ko) 2021-12-09 2021-12-09 레이저 용접에 대한 품질 모니터링 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102644641B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11216583A (ja) * 1998-01-28 1999-08-10 Sumitomo Heavy Ind Ltd レーザ溶接欠陥検出装置およびレーザ溶接欠陥検出方法
KR20110075639A (ko) 2009-12-28 2011-07-06 주식회사 성우하이텍 레이저 용접용 모니터링 장치 및 그 방법
KR20140057706A (ko) 2012-10-30 2014-05-14 조선대학교산학협력단 레이저 용접 모니터링 시스템 및 모니터링 방법
KR101409214B1 (ko) 2013-02-27 2014-07-03 에스아이에스 주식회사 실시간 레이저 용접 모니터링 시스템 및 레이저 미세용접 가공장치
JP2020044546A (ja) * 2018-09-18 2020-03-26 前田工業株式会社 レーザ溶接状態判定装置
KR102134720B1 (ko) 2019-09-02 2020-07-16 모니텍주식회사 레이저 빔 모듈레이션 방식의 레이저 용접을 위한 모니터링 시스템 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11216583A (ja) * 1998-01-28 1999-08-10 Sumitomo Heavy Ind Ltd レーザ溶接欠陥検出装置およびレーザ溶接欠陥検出方法
KR20110075639A (ko) 2009-12-28 2011-07-06 주식회사 성우하이텍 레이저 용접용 모니터링 장치 및 그 방법
KR20140057706A (ko) 2012-10-30 2014-05-14 조선대학교산학협력단 레이저 용접 모니터링 시스템 및 모니터링 방법
KR101409214B1 (ko) 2013-02-27 2014-07-03 에스아이에스 주식회사 실시간 레이저 용접 모니터링 시스템 및 레이저 미세용접 가공장치
JP2020044546A (ja) * 2018-09-18 2020-03-26 前田工業株式会社 レーザ溶接状態判定装置
KR102134720B1 (ko) 2019-09-02 2020-07-16 모니텍주식회사 레이저 빔 모듈레이션 방식의 레이저 용접을 위한 모니터링 시스템 및 그 방법

Also Published As

Publication number Publication date
KR102644641B1 (ko) 2024-03-06

Similar Documents

Publication Publication Date Title
CN101378455B (zh) 根据取得的图像确定主要拍摄物的图像区域的装置及方法
CN101267910B (zh) 控制激光焊接过程的质量的方法、系统
US20140267701A1 (en) Apparatus and techniques for determining object depth in images
US20160157831A1 (en) Apparatus and method for supporting computer-aided diagnosis
KR101723523B1 (ko) 탄성파 신호 추출 성능이 향상된 음향방출 시험장치
JP2011158373A (ja) 自動欠陥分類のための教師データ作成方法、自動欠陥分類方法および自動欠陥分類装置
EP3789958A1 (en) Optical condition determination system and optical condition determination method
CN111337447B (zh) 一种煤矸仿生识别系统及方法
JP2012018066A (ja) 異常検査装置
TWI597720B (zh) 嬰兒哭聲偵測電路及相關的偵測方法
KR102230886B1 (ko) 이미지인식 기반의 프로젝션용접 결함 검출시스템
EP2805676A1 (en) Subject information acquisition device and subject information acquisition method
TW202221624A (zh) 沖壓品質檢測系統及沖壓品質檢測方法
JP7419413B2 (ja) 信号処理装置、距離計測装置、および距離計測方法
KR20220163311A (ko) 이상 음원 결정 방법 및 ai 음향 영상 카메라
US20080073485A1 (en) Visual inspection of optical elements
CN104070292B (zh) 激光点焊监测方法及监测装置
KR20230087221A (ko) 레이저 용접에 대한 품질 모니터링 장치 및 방법
CN114184684A (zh) 一种刀具切削状态在线检测方法及系统
CN104161520A (zh) 一种基于光致声效应原理的测定表皮黑色素浓度的方法及其装置
CN113723206A (zh) 一种基于量子神经网络算法的脑电波识别方法
JP3148187B2 (ja) パーティクルモニタシステム及びパーティクル検出方法並びにパーティクル検出プログラムを格納した記録媒体
JP2003334679A (ja) レーザ溶接の診断装置
CN109444265B (zh) 一种激光超声振动检测装置及方法
CN113723521A (zh) 一种电机异响识别方法和识别系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant