KR20230118341A - 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 방법, 용접 품질 검사 모델 생성 장치 및 이를 이용한 아크 이미지 기반 용접 품질 모니터링 장치 - Google Patents

딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 방법, 용접 품질 검사 모델 생성 장치 및 이를 이용한 아크 이미지 기반 용접 품질 모니터링 장치 Download PDF

Info

Publication number
KR20230118341A
KR20230118341A KR1020220014802A KR20220014802A KR20230118341A KR 20230118341 A KR20230118341 A KR 20230118341A KR 1020220014802 A KR1020220014802 A KR 1020220014802A KR 20220014802 A KR20220014802 A KR 20220014802A KR 20230118341 A KR20230118341 A KR 20230118341A
Authority
KR
South Korea
Prior art keywords
welding
arc
image
welding quality
arc image
Prior art date
Application number
KR1020220014802A
Other languages
English (en)
Other versions
KR102716913B1 (ko
Inventor
박영환
이솔미
이종중
문성준
Original Assignee
부경대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부경대학교 산학협력단 filed Critical 부경대학교 산학협력단
Priority to KR1020220014802A priority Critical patent/KR102716913B1/ko
Priority to US18/160,478 priority patent/US20230249276A1/en
Publication of KR20230118341A publication Critical patent/KR20230118341A/ko
Application granted granted Critical
Publication of KR102716913B1 publication Critical patent/KR102716913B1/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/10—Other electric circuits therefor; Protective circuits; Remote controls
    • B23K9/1006—Power supply
    • B23K9/1043—Power supply characterised by the electric circuit
    • B23K9/1056—Power supply characterised by the electric circuit by using digital means
    • B23K9/1062—Power supply characterised by the electric circuit by using digital means with computing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/006—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to using of neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/09—Arrangements or circuits for arc welding with pulsed current or voltage
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B23K9/0953—Monitoring or automatic control of welding parameters using computing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B23K9/0956—Monitoring or automatic control of welding parameters using sensing means, e.g. optical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K15/00—Electron-beam welding or cutting
    • B23K15/0046—Welding
    • B23K15/0053—Seam welding
    • B23K15/0073—Seam welding with interposition of particular material to facilitate connecting the parts, e.g. using a filler

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Plasma & Fusion (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Arc Welding Control (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 방법, 용접 품질 검사 모델 생성 장치 및 이를 이용한 아크 이미지 기반 용접 품질 모니터링 장치에 관한 것으로, 본 발명에 따른 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 장치는 모재를 고정하고, 제어에 따라 상기 모재를 기 설정된 속도로 이송하는 용접 베드(bed), 용가재(Filler metal)를 공급하는 피더(feeder), 상기 피더를 통해 공급된 용가재를 아크(arc)를 이용하여 상기 모재에 용접하는 아크 용접기, 상기 아크 용접기를 통해 상기 모재에 흐르는 용접 전류를 측정하는 홀 센서(hall sensor), 상기 아크 용접기와 상기 모재 사이에 형성된 회로를 통해 용접 전압을 측정하는 전압 측정기, 상기 아크 용접기에 의해 용접되는 용접 영역을 촬영하는 카메라, 상기 용접 베드, 피더 및 아크 용접기를 제어하여 용접 프로세스를 제어하고, 용접 프로세스 진행 시 상기 홀 센서, 전압 측정기 및 카메라를 제어하여 용접 데이터의 수집을 제어하는 제어부 및 상기 홀센서를 통해 측정된 용접 전류와 상기 전압 측정기를 통해 측정된 용접 전압을 기초로 용접 상태를 식별하고, 상기 카메라를 통해 촬영된 영상을 기초로 아크 이미지를 획득하며, 상기 아크 이미지를 기초로 식별된 용접 품질과 상기 획득된 아크 이미지를 연계하여 데이터 세트를 생성하고, 상기 생성된 데이터 세트를 딥러닝 모델을 통해 학습하여 아크 이미지 기반 용접 품질 검사 모델을 생성하는 모델 생성부를 포함한다.

Description

딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 방법, 용접 품질 검사 모델 생성 장치 및 이를 이용한 아크 이미지 기반 용접 품질 모니터링 장치{METHOD AND APPARATUS FOR GENERATING ARC IMAGE-BASED WELDING QUALITY INSPECTION MODEL USING DEEP LEARNING AND ARC IMAGE-BASED WELDING QUALITY INSPECTING APPARATUS USING THE SAME}
본 발명은 실시간으로 용접 품질을 모니터링할 수 있는 기술에 관한 것으로, 더욱 상세하게는 카메라를 통해 획득한 아크 이미지를 분류 및 학습함으로써 아크 이미지로 용접 품질을 실시간으로 모니터링할 수 있는 아크 이미지 기반 용접 품질 검사 모델 생성 방법, 용접 품질 검사 모델 생성 장치 및 이를 이용한 아크 이미지 기반 용접 품질 모니터링 장치에 관한 것이다.
알루미늄 합금은 철보다 3배 이상 높은 열전도도와 2배가량 높은 열팽창계수를 가지고 있지만, 용융 온도는 약 660 ℃로 낮은 편에 속한다. 이러한 특성으로 인해 알루미늄 합금은 용접 후 열 변형 및 균열이 발생할 수 있으며, 액상에서 수소 용해도가 높기 때문에 기공이 발생하기 쉬운 문제점이 있다. 기공과 같은 용접 결함은 용접부의 강도 등에 큰 영향을 미친다. 용접 작업이 수작업으로 진행되는 중견, 중소 조선소의 경우 용접 품질 확보를 위해 숙련된 용접사가 필요하며, 이로 인해 용접에 필요한 시간 및 비용이 증가하는 문제가 발생하게 된다.
팁-회전 아크 용접(Tip-Rotating Arc Welding)은 이러한 결함을 완화할 수 있다. 팁-회전 아크 용접은 팁 회전으로 인한 입열 분산 효과가 있으며, 용융풀의 유동 발생에 의한 기공 감소 효과가 있다. 따라서, 용접하기 까다로운 알루미늄 합금에 팁-회전 아크용접을 사용하면 알루미늄 합금의 용접성을 향상시킬 수 있다.
그러나, 팁-회전 아크 용접과 같은 자동화 용접 기술의 경우, 용접 품질을 실시간으로 모니터링할 수 있는 수단이 필요하다. 종래에는 음향, 용접 전류, 용접 전압 등에 대한 주파수 분석을 통하여 용접 품질을 모니터링하는 기술들이 연구되었으나, 이러한 분석만으로는 정확한 품질 검사가 어려운 문제점이 있었다.
대한민국 등록특허공보 KR10-1779988 (2017.09.13)
본 발명은 카메라를 통해 획득한 아크 이미지를 분류 및 학습함으로써 아크 이미지로 용접 품질을 실시간으로 모니터링할 수 있는 아크 이미지 기반 용접 품질 검사 모델 생성 방법, 용접 품질 검사 모델 생성 장치 및 이를 이용한 아크 이미지 기반 용접 품질 모니터링 장치를 제공한다.
본 발명은 용접 전류와 용접 전압의 파형만으로 용접 품질을 판단하기 어려운 경우에도 정확하게 용접 품질을 검사할 수 있는 아크 이미지 기반 용접 품질 검사 모델 생성 방법, 용접 품질 검사 모델 생성 장치 및 이를 이용한 아크 이미지 기반 용접 품질 모니터링 장치를 제공한다.
본 발명은 카메라와 아크 이미지 기반 용접 품질 검사 모델을 이용하여 용접 품질 모니터링 장치를 구현하여, 유지 보수와 업그레이드가 용이하고 경제성을 높일 수 있는 아크 이미지 기반 용접 품질 검사 모델 생성 방법, 용접 품질 검사 모델 생성 장치 및 이를 이용한 아크 이미지 기반 용접 품질 모니터링 장치를 제공한다.
본 발명에 따른 아크 이미지 기반 용접 품질 검사 모델 생성 장치는 모재를 고정하고, 제어에 따라 상기 모재를 기 설정된 속도로 이송하는 용접 베드(bed), 용가재(Filler metal)를 공급하는 피더(feeder), 상기 피더를 통해 공급된 용가재를 아크(arc)를 이용하여 상기 모재에 용접하는 아크 용접기, 상기 아크 용접기를 통해 상기 모재에 흐르는 용접 전류를 측정하는 홀 센서(hall sensor), 상기 아크 용접기와 상기 모재 사이에 형성된 회로를 통해 용접 전압을 측정하는 전압 측정기, 상기 아크 용접기에 의해 용접되는 용접 영역을 촬영하는 카메라, 상기 용접 베드, 피더 및 아크 용접기를 제어하여 용접 프로세스를 제어하고, 용접 프로세스 진행 시 상기 홀 센서, 전압 측정기 및 카메라를 제어하여 용접 데이터의 수집을 제어하는 제어부 및 상기 홀센서를 통해 측정된 용접 전류와 상기 전압 측정기를 통해 측정된 용접 전압을 기초로 용접 상태를 식별하고, 상기 카메라를 통해 촬영된 영상을 기초로 아크 이미지를 획득하며, 상기 아크 이미지를 기초로 식별된 용접 품질과 상기 획득된 아크 이미지를 연계하여 데이터 세트를 생성하고, 상기 생성된 데이터 세트를 딥러닝 모델을 통해 학습하여 아크 이미지 기반 용접 품질 검사 모델을 생성하는 모델 생성부를 포함한다.
일 실시예에서, 상기 아크 용접기는 팁-회전 아크 용접기(Tip-Rotating Arc Welding Machine)일 수 있다.
일 실시예에서, 상기 용접 상태는 적정 상태, 저입열 상태, 고입열 상태, 고전압 상태 및 고전류 상태를 포함할 수 있다.
일 실시예에서, 상기 모델 생성부는 상기 획득한 아크 이미지에서 아크 영역을 획득하여 상기 아크의 길이를 산출하고, 상기 산출된 아크의 길이를 기초로 용접 품질의 적정 또는 불량을 식별하며, 상기 용접 품질과 아크 이미지를 연계하여 데이터 세트를 생성할 수 있다.
일 실시예에서, 상기 모델 생성부는 상기 아크 이미지를 적정, 저입열, 고입열, 고전류 또는 고전압 5가지 용접 상태 가운데 해당하는 아크 이미지로 분류하고, 해당 아크 이미지에서 산출된 아크 길이를 기초로 식별된 용접 품질을 연계하여 기 설정된 수 이상의 데이터 세트를 생성할 수 있다.
일 실시예에서, 상기 모델 생성부는 상기 아크 이미지에서 기 설정된 RGB 값을 갖는 픽셀 영역을 제외한 나머지 픽셀 영역을 임계처리하여 아크 영역을 획득할 수 있다.
일 실시예에서, 상기 모델 생성부는 상기 임계처리 후 상기 아크 영역이 복수 개 이상 추출되는 경우, 기 설정된 경계 박스(Bounding Box)를 이용하여 상기 경계 박스 내부에 포함된 아크 영역을 추출할 수 있다.
일 실시예에서, 상기 모델 생성부는 상기 추출된 아크 영역의 픽셀의 수를 기초로 상기 아크의 길이를 산출할 수 있다.
일 실시예에서, 상기 딥러닝 모델은 제1 합성곱 층, 제2 합성곱 층, 제3 합성곱 층 및 제4 합성곱 층을 포함하되, 제1 합성곱 층은 컨볼루션 필터의 수는 32 및 컨볼루션 커널은 (3,3) 사이즈를 갖는 Conv2D 레이어, 맥스 풀링(Max pooling) 층 및 렐루(ReLU) 활성화 함수를 포함하고, 제2 합성곱 층은 컨볼루션 필터의 수는 32 및 컨볼루션 커널은 (3,3) 사이즈를 갖는 Conv2D 레이어, 맥스 풀링(Max pooling) 층 및 렐루(ReLU) 활성화 함수를 포함하며, 제3 합성곱 층은 컨볼루션 필터의 수는 64 및 컨볼루션 커널은 (3,3) 사이즈를 갖는 Conv2D 레이어, 맥스 풀링(Max pooling) 층 및 렐루(ReLU) 활성화 함수를 포함하고, 제4 합성곱 층은 컨볼루션 필터의 수는 64 및 컨볼루션 커널은 (3,3) 사이즈를 갖는 Conv2D 레이어, 맥스 풀링(Max pooling) 층 및 렐루(ReLU) 활성화 함수를 포함할 수 있다.
본 발명에 따른 아크 이미지 기반 용접 품질 검사 모델 생성 방법은 홀 센서가 아크 용접기를 통해 모재에 흐르는 용접 전류를 측정하는 단계, 전압 측정기가 상기 아크 용접기와 상기 모재 사이에 형성된 회로를 통해 용접 전압을 측정하는 단계, 카메라가 상기 아크 용접기에 의해 용접되는 용접 영역을 촬영하는 단계, 모델 생성부가 상기 측정된 용접 전류와 상기 측정된 용접 전압을 기초로 용접 상태를 식별하는 단계, 모델 생성부가 상기 카메라를 통해 촬영된 영상을 기초로 아크 이미지를 획득하고, 상기 아크 이미지를 기초로 식별된 용접 품질과 상기 획득된 아크 이미지를 연계하여 데이터 세트를 생성하는 단계 및 모델 생성부가 상기 생성된 데이터 세트를 딥러닝 모델을 통해 학습하여 아크 이미지 기반 용접 품질 검사 모델을 생성하는 단계를 포함한다.
일 실시예에서, 상기 데이터 세트를 생성하는 단계는 상기 획득한 아크 이미지에서 아크 영역을 획득하여 상기 아크의 길이를 산출하는 단계, 상기 산출된 아크의 길이를 기초로 용접 품질의 적정 또는 불량을 식별하는 단계 및 상기 식별된 용접 품질과 상기 획득된 아크 이미지를 연계하여 데이터 세트를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 아크의 길이를 산출하는 단계는 상기 아크 이미지에서 기 설정된 RGB 값을 갖는 픽셀 영역을 제외한 나머지 픽셀 영역을 임계처리하여 아크 영역을 획득하는 단계를 포함할 수 있다.
일 실시예에서, 상기 아크 영역을 획득하는 단계는 상기 임계처리 후 상기 아크 영역이 복수 개 이상 추출되는 경우, 기 설정된 경계 박스(Bounding Box)를 이용하여 상기 경계 박스 내부에 포함된 아크 영역을 추출하는 단계를 포함할 수 있다.
본 발명에 따른 아크 이미지 기반 용접 품질 모니터링 장치는 모재를 고정하고, 제어에 따라 상기 모재를 기 설정된 속도로 이송하는 용접 베드, 용가재를 공급하는 피더, 상기 피더를 통해 공급된 용가재를 아크를 이용하여 상기 모재에 용접하는 아크 용접기, 상기 아크 용접기에 의해 용접되는 용접 영역을 촬영하는 카메라, 상기 용접 베드, 피더 및 아크 용접기를 제어하여 용접 프로세스를 제어하는 제어부 및 상기 카메라를 통해 촬영된 영상을 기초로 아크 이미지를 획득하여 용접 품질을 식별하고 용접 불량 여부를 모니터링하는 모니터링부를 포함한다.
이상에서 설명한 바와 같이, 본 발명에 따른 아크 이미지 기반 용접 품질 검사 모델 생성 방법, 용접 품질 검사 모델 생성 장치 및 이를 이용한 아크 이미지 기반 용접 품질 모니터링 장치는 카메라를 통해 획득한 아크 이미지를 분류 및 학습함으로써 아크 이미지로 용접 품질을 실시간으로 모니터링할 수 있다.
본 발명에 따른 아크 이미지 기반 용접 품질 검사 모델 생성 방법, 용접 품질 검사 모델 생성 장치 및 이를 이용한 아크 이미지 기반 용접 품질 모니터링 장치는 용접 전류와 용접 전압의 파형만으로 용접 품질을 판단하기 어려운 경우에도 정확하게 용접 품질을 검사할 수 있다.
본 발명에 따른 아크 이미지 기반 용접 품질 검사 모델 생성 방법, 용접 품질 검사 모델 생성 장치 및 이를 이용한 아크 이미지 기반 용접 품질 모니터링 장치는 카메라와 아크 이미지 기반 용접 품질 검사 모델을 이용하여 용접 품질 모니터링 장치를 구현하여, 유지 보수와 업그레이드가 용이하고 경제성을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 장치의 구성을 나타내는 도면
도 2는 팁-회전 아크 용접기(Tip-Rotating Arc Welding)의 토치(Torch)를 나타내는 도면
도 3은 팁-회전 아크 용접기를 이용한 용접 공정시 팁-회전 위빙을 나타내는 도면
도 4는 용접 상태가 적정 상태인 경우, 비드(Bead) 외관, 비드 단면부, 용접 전류의 파형 및 용접 전압의 파형을 나타내는 도면
도 5는 용접 상태가 저입열 상태인 경우, 비드 외관, 비드 단면부, 용접 전류의 파형 및 용접 전압의 파형을 나타내는 도면
도 6은 용접 상태가 고입열 상태인 경우, 비드 외관, 비드 단면부, 용접 전류의 파형 및 용접 전압의 파형을 나타내는 도면
도 7은 용접 상태가 고전류 상태인 경우, 비드 외관, 비드 단면부, 용접 전류의 파형 및 용접 전압의 파형을 나타내는 도면
도 8은 용접 상태가 고전압 상태인 경우, 비드 외관, 비드 단면부, 용접 전류의 파형 및 용접 전압의 파형을 나타내는 도면
도 9는 카메라를 통해 촬영된 영상을 기초로 아크 이미지를 획득하는 과정을 나타내는 도면
도 10은 용접 상태가 적정 상태인 경우, 용접 전류의 파형 및 용접 전압의 파형을 나타내는 도면
도 11은 용접 상태가 고전압 상태인 경우, 용접 전류의 파형 및 용접 전압의 파형을 나타내는 도면
도 12는 용접 상태가 적정 상태인 경우의 비드 단면부, 용접 상태가 고전압 상태인 경우의 비드 단면부를 나타내는 도면
도 13은 용접 상태가 적정 상태인 경우, 아크의 길이를 그래프로 나타낸 도면
도 14는 용접 상태가 고전압 상태인 경우, 아크의 길이를 그래프로 나타낸 도면
도 15는 용접 품질이 불량인 경우, 아크의 길이의 일 예를 그래프로 나타낸 도면
도 16은 용접 품질이 불량인 경우, 아크의 길이의 다른 예를 그래프로 나타낸 도면
도 17은 아크 이미지 기반 용접 품질 검사 모델을 생성하는 딥러닝 모델의 일 예를 나타내는 도면
도 18은 아크 이미지 기반 용접 품질 검사 모델을 통해 예측된 출력값을 나타내는 도면
도 19는 실제 아크 이미지를 통해 아크 길이를 측정하고 측정된 아크 길이를 기초로 용접 품질을 판단한 결과를 나타내는 도면
도 20은 본 발명의 일 실시예에 따른 아크 이미지 기반 용접 품질 모니터링 장치의 구성을 나타내는 도면
도 21은 본 발명의 일 실시예에 따른 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 방법을 설명하는 흐름도
이하, 본 발명에 따른 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 방법, 용접 품질 검사 모델 생성 장치 및 이를 이용한 아크 이미지 기반 용접 품질 모니터링 장치를 실시하기 위한 구체적인 내용을 설명하면 다음과 같다.
도 1은 본 발명의 일 실시예에 따른 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 장치의 구성을 나타내는 도면이다.
도 1을 참조하면, 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 장치(100)는 용접 베드(bed)(110), 용접기(Tip-Rotating Arc Welding)의 토치(Torch)(120), 피더(feeder)(130), 아크 용접기(arc welding machine)(140), 홀 센서(hall sensor)(150), 전압 측정기(155), DAQ 보드(Data acquisition board)(160), 카메라(170), 제어부(180) 및 모델 생성부(190)를 포함한다.
용접 베드(bed)(110)는 모재(Base Metal)를 고정하고, 제어에 따라 모재를 기 설정된 속도로 이송한다. 예를 들어, 용접 베드(110)는 3축 캐리지 로봇 시스템으로 구성될 수 있으며, 로봇의 용접 베드 위에 모재를 지그(jig)로 고정할 수 있다. 로봇은 용접 베드를 설정된 속도에 따라 용접 방향의 반대로 이송하여 모재를 용접할 수 있다.
용접기 토치(120)는 모터와 편심 디스크에 의하여 팁이 회전하는 팁-회전 아크 용접기(Tip-Rotating Arc Welding Machine)의 토치(Torch)에 해당할 수 있다. 팁-회전 아크 용접기는 토치의 팁을 회전시켜 공간적 모듈레이션을 이용하여 용접하는 장치이다.
도 2는 팁-회전 아크 용접기(Tip-Rotating Arc Welding)의 토치(Torch)를 나타내는 도면이다.
도 2의 (a)를 참조하면, 팁-회전 아크 용접기의 토치(120)는 팁이 회전함에 따라 아크가 공간적으로 회전하면서 용가재(Filler Metal)를 모재(Base Metal)에 용접한다.
도 2의 (b)는 팁-회전 아크 용접기의 토치의 구조를 나타내는 도면이다. 토치(120)는 내부에 중공축 모터와 편심 디스크가 포함되어 있으며, 팁이 회전하며 용접 와이어(용가재)를 공급한다. 팁-회전 아크 용접 방식은 팁이 회전함에 따라 입열 분산 효과가 있으며, 회전으로 인해 용융풀 유동이 발생하여 일부 기공 빠져나가 기공이 감소하는 효과가 있다. 또한, 팁-회전 아크 용접 방식은 구심력에 의해 같은 입열량에 비해 높은 용착량을 얻을 수 있어 생산량이 증가할 수 있다.
도 3은 팁-회전 아크 용접기를 이용한 용접 공정시 팁-회전 위빙을 나타내는 도면이다.
도 3을 참조하면, 팁-회전 용접의 위빙(Weaving)을 보면 회전을 하며 직선으로 용접이 진행되기 때문에 속도의 변화가 나타나지 않아 일정한 용접성을 확보할 수 있다. 또한, 위빙 용접법은 로봇이 적용되어, 직선 용접법보다 용접 속도가 빠르고 용접 비드 형성 범위가 넓으며 용착량이 많아 생산성을 높일 수 있다.
다시 도 1을 참조하면, 피더(130)는 용가재를 용접기 토치(120)에 공급한다. 아크 용접기(140)는 용접용 가스(예를 들어, 아르곤(argon) 가스 등)를 이용하여 용접기 토치(120)에 아크를 발생시킬 수 있다. 아크 용접기(140)는 피더(130)를 통해 공급된 용가재를 아크를 이용하여 모재에 용접할 수 있다. 일 실시예에서, 모재는 Al 5083 합금이고, 용가재는 모재와 물성이 유사한 ER 5183 용접 와이어일 수 있다. 모재와 용가재의 화학적 조성은 하기 표 1과 같다.
[표 1]
홀 센서(hall sensor)(150)는 용접 진행시 아크 용접기(140)를 통해 모재에 흐르는 용접 전류를 측정한다. 홀 센서(150)는 홀 효과(Hall-effect)를 이용하여 모재에 흐르는 용접 전류를 측정한다. 홀 센서(150)는 측정된 전류에 대응되는 전류 신호를 DAQ 보드(160)로 전송한다.
전압 측정기(155)는 용접 진행시 아크 용접기(140)와 모재(110) 사이에 형성된 전기적 회로를 통해 용접 전압을 측정한다. 전압 측정기(155)는 측정된 전압에 대응되는 전압 신호를 DAQ 보드(160)로 전송한다.
DAQ 보드(160)는 용접 전류와 용접 전압을 수집하여 모델 생성부(190)로 전송한다. 일 실시예에서, DAQ 보드(160)의 출력 범위는 ㅁ10 V이고 샘플링속도를 10 ks/s로 설정될 수 있다. 일 실시예에서, DAQ 보드(160)는 NI USB-6221 BNC가 사용될 수 있다.
카메라(170)는 아크 용접기(140)에 의해 용접되는 용접 영역을 촬영한다. 카메라(170)는 촬영된 영상을 모델 생성부(190)로 전송한다. 일 실시예에서, 용접광의 밝기가 매우 높으므로 이를 완화하기 위해 카메라(170)에는 필터가 구비될 수 있다. 예를 들어, 카메라(170)에는 Neutral density filter와 불 필요한 대역의 광을 완화를 위한 Band pass filter가 구비될 수 있다.
제어부(180)는 기 설정된 설정 정보에 따라 용접 베드(110), 피더(130) 및 아크 용접기(140)를 제어하여 용접 프로세스를 제어한다. 또한, 제어부(180)는 용접 프로세스 진행 시 홀 센서(150), 전압 측정기(155) 및 카메라(170)를 제어하여 용접 데이터(용접 전류, 용접 전압, 영상)의 수집을 제어한다.
모델 생성부(190)는 홀 센서(150)를 통해 측정된 용접 전류와 전압 측정기(155)를 통해 측정된 용접 전압을 기초로 용접 상태를 식별한다. 일 실시예에서, 모델 생성부(190)는 적정 상태, 저입열 상태, 고입열 상태, 고전압 상태 및 고전류 상태를 포함하는 용접 상태를 식별할 수 있다. 모델 생성부(190)는 용접 전류와 용접 전압에 따른 용접 상태 정보 및 용접 상태에 따른 용접 품질 정보를 미리 저장하고 이를 이용하여 용접 상태 및 용접 품질을 식별할 수 있다.
용접 상태는 용접 조건에 따라 달라질 수 있다. 이하에서는 설명의 편의를 위해 CTWD(Contact Tip to Workpiece Distance, 토치의 팁에서 용접 재료까지의 거리)는 18mm, 차폐 가스(Shielding Gas)는 99/9% Ar, 가스 유입률(Flow Rate)은 25I/min, 용접 속도(Welding Speed)는 90cm/min, 팁의 회전 반경(Rotating Diameter)는 3mm, 팁의 회전 속도(Rotation Per Minute)는 500RPM인 경우를 가정하여 설명하기로 한다.
일 실시예에서, 용접 전류와 용접 전압에 따른 용접 상태 및 용접 상태에 따른 용접 품질(불량 또는 정상)은 실험을 통해 미리 확인될 수 있다. 예를 들어, 하기 표 2는 상기와 같은 용접 조건에서 실험을 통해 미리 확인된 용접 전류와 용접 전압에 따른 용접 상태를 나타내는 일 예이다.
[표 2]
용접 품질은 용접 여부, 비드 품질 및 용입 깊이의 3가지 기준으로 불량 또는 정상이 판정될 수 있으며, 용접 여부, 비드 품질 및 용입 깊이 3가지 기준 가운데 적어도 하나의 기준에서 불량으로 판정되는 경우 용접 품질은 불량으로 판정될 수 있다.
예를 들어, 용접 여부는 비드 외관을 통해 확인될 수 있다. 토치의 팁이 녹아 와이어가 더 이상 공급되지 못하거나 와이어의 입열량이 충분하지 않아 와이어가 녹지 않아 와이어 공급이 이루어지지 않은 경우를 포함하여 용접기에서 오류가 발생하여 용접이 중단된 경우, 용접 여부 기준은 불량으로 판정될 수 있다.
비드 품질은 비드 외관을 통해 확인될 수 있다. 비드 외관에서 확인할 수 있는 언더컷(undercut), 험핑(humping)과 같은 결함들이 발견되는 경우, 비드 품질 기준은 불량으로 판정될 수 있다.
용입 깊이는 비드 단면을 통해 확인될 수 있다. 용접 조건을 고려하여 용입 깊이가 기 설정된 범위 내인 경우 용입 깊이 기준은 정상으로 판정될 수 있으며, 그 외의 경우 용입 깊이 기준은 불량으로 판정될 수 있다. 예를 들어, 6mm 두께의 모재에 비드온플레이트(Bead-on-plate: BOP) 용접된 경우, 용입 깊이가 3mm 이상이면 용입 깊이는 정상인 것으로 판정될 수 있다.
도 4는 용접 상태가 적정 상태인 경우, 비드(Bead) 외관, 비드 단면부, 용접 전류의 파형 및 용접 전압의 파형을 나타내는 도면이다.
도 4를 참조하면, 적정 상태의 경우 실험을 통해 획득한 비드 외관에서 확인할 수 있는 바와 같이 용접 여부 조건은 적정하고, 언더컷(undercut), 험핑(humping)과 같은 결함이 없어 비드 품질 조건도 적정하다. 용입 깊이는 4.7mm로 정상적인 깊이로 용입된 것을 확인할 수 있다.
도 4의 용접 전류의 파형 및 용접 전압의 파형 그래프는 아크 용접기(140)를 통해 적정 상태의 용접 전류 및 용접 전압(예를 들어, 280A 용접 전류, 26V 용접 전압)이 가해지는 경우, 홀 센서(150)와 전압 측정기(155)를 통해 측정된 값을 시간에 따른 파형으로 나타낸 도면이다. 용접 전류의 파형 및 용접 전압의 파형 그래프를 살펴보면, 양 끝단의 용접 시작 초기와 용접 종료 시를 제외하고 용접 전류와 용접 전압이 안정적으로 유지되는 것을 확인할 수 있다.
홀 센서(150)와 전압 측정기(155)를 통해 측정된 용접 전류와 용접 전압이 도 4와 같은 파형 패턴을 보이는 경우, 모델 생성부(190)는 용접 상태는 적정 상태이고, 용접 품질은 정상인 것으로 식별할 수 있다.
도 5는 용접 상태가 저입열 상태인 경우, 비드 외관, 비드 단면부, 용접 전류의 파형 및 용접 전압의 파형을 나타내는 도면이다.
도 5를 참조하면, 저입열 상태의 경우 실험을 통해 획득한 비드 외관에서 확인할 수 있는 바와 같이 용접 여부 조건은 적정하다. 그러나, 비드 품질 조건은 불량하고 용입 깊이도 정상 조건 미달성으로 불량인 것을 확인할 수 있다.
용접 전류의 파형 및 용접 전압의 파형 그래프는 아크 용접기(140)를 통해 저입열 상태의 용접 전류 및 용접 전압(예를 들어, 230A 용접 전류, 20V 용접 전압)이 가해지는 경우, 홀 센서(150)와 전압 측정기(155)를 통해 측정된 값을 시간에 따른 파형으로 나타낸 도면이다. 용접 전류의 파형 및 용접 전압의 파형 그래프를 살펴보면, 용접 전류의 파형의 변동이 커지고 용접 전압이 급강하하는 패턴이 있는 것을 확인할 수 있다.
홀 센서(150)와 전압 측정기(155)를 통해 측정된 용접 전류와 용접 전압이 도 5와 같은 파형 패턴을 보이는 경우, 모델 생성부(190)는 용접 상태는 저입열 상태이고, 용접 품질은 불량인 것으로 식별할 수 있다.
도 6은 용접 상태가 고입열 상태인 경우, 비드 외관, 비드 단면부, 용접 전류의 파형 및 용접 전압의 파형을 나타내는 도면이다.
도 6을 참조하면, 고입열 상태의 경우 실험을 통해 획득한 비드 외관에서 확인할 수 있는 바와 같이 용접 여부 조건은 적정하고, 용입 깊이도 정상 조건을 충족한 것을 확인할 수 있다. 그러나, 비드 품질 조건이 불량인 것을 확인할 수 있다.
용접 전류의 파형 및 용접 전압의 파형 그래프는 아크 용접기(140)를 통해 고입열 상태의 용접 전류 및 용접 전압(예를 들어, 290A 용접 전류, 27V 용접 전압)이 가해지는 경우, 홀 센서(150)와 전압 측정기(155)를 통해 측정된 값을 시간에 따른 파형으로 나타낸 도면이다. 용접 전류의 파형 및 용접 전압의 파형 그래프를 살펴보면, 양 끝단의 용접 시작 초기와 용접 종료 시를 제외하고 용접 전류와 용접 전압이 안정적으로 유지되는 것을 확인할 수 있다.
홀 센서(150)와 전압 측정기(155)를 통해 측정된 용접 전류와 용접 전압이 도 6과 같은 파형 패턴을 보이는 경우, 모델 생성부(190)는 용접 상태는 고입열 상태이고, 용접 품질은 불량인 것으로 식별할 수 있다.
도 7은 용접 상태가 고전류 상태인 경우, 비드 외관, 비드 단면부, 용접 전류의 파형 및 용접 전압의 파형을 나타내는 도면이다.
도 7을 참조하면, 고전류 상태의 경우 실험을 통해 획득한 비드 외관에서 확인할 수 있는 바와 같이 용접 여부 조건과 비드 품질 조건이 불량인 것을 확인할 수 있다. 용입 깊이도 정상 조건 미달성으로 불량인 것을 확인할 수 있다.
용접 전류의 파형 및 용접 전압의 파형 그래프는 아크 용접기(140)를 통해 고입열 상태의 용접 전류 및 용접 전압(예를 들어, 300A 용접 전류, 23V 용접 전압)이 가해지는 경우, 홀 센서(150)와 전압 측정기(155)를 통해 측정된 값을 시간에 따른 파형으로 나타낸 도면이다. 용접 전류의 파형 및 용접 전압의 파형 그래프를 살펴보면, 용접 전류와 용접 전압이 불안정하고 파형이 짧은 것을 확인할 수 있다.
홀 센서(150)와 전압 측정기(155)를 통해 측정된 용접 전류와 용접 전압이 도 7과 같은 파형 패턴을 보이는 경우, 모델 생성부(190)는 용접 상태는 고전류 상태이고, 용접 품질은 불량인 것으로 식별할 수 있다.
도 8은 용접 상태가 고전압 상태인 경우, 비드 외관, 비드 단면부, 용접 전류의 파형 및 용접 전압의 파형을 나타내는 도면이다.
도 8을 참조하면, 고전압 상태의 경우 실험을 통해 획득한 비드 외관에서 확인할 수 있는 바와 같이 용접 여부 조건은 적정한 것을 확인할 수 있다. 그러나, 비드 품질 조건은 불량인 것을 확인되며, 용입 깊이도 정상 조건 미달성으로 불량인 것을 확인할 수 있다.
용접 전류의 파형 및 용접 전압의 파형 그래프는 아크 용접기(140)를 통해 고입열 상태의 용접 전류 및 용접 전압(예를 들어, 230A 용접 전류, 29V 용접 전압)이 가해지는 경우, 홀 센서(150)와 전압 측정기(155)를 통해 측정된 값을 시간에 따른 파형으로 나타낸 도면이다. 용접 전류의 파형 및 용접 전압의 파형 그래프를 살펴보면, 용접 전류와 용접 전압이 안정적으로 유지되나, 적정 상태의 파형과 용접 종료 시 용접 전압이 급격히 하락하는 패턴을 보이는 것을 확인할 수 있다.
홀 센서(150)와 전압 측정기(155)를 통해 측정된 용접 전류와 용접 전압이 도 8과 같은 파형 패턴을 보이는 경우, 모델 생성부(190)는 용접 상태는 고전압 상태이고, 용접 품질은 불량인 것으로 식별할 수 있다.
다시 도 1을 참조하면, 모델 생성부(190)는 카메라(170)를 통해 촬영된 영상을 기초로 아크 이미지를 획득한다.
도 9는 카메라를 통해 촬영된 영상을 기초로 아크 이미지를 획득하는 과정을 나타내는 도면이다.
도 9를 참조하면, 모델 생성부(190)는 카메라(170)를 통해 촬영된 영상을 프레임(frame) 단위로 캡처(capture)하여 아크 이미지를 획득하여 저장한다(도 9(a)).
모델 생성부(190)는 획득한 아크 이미지를 전처리하여 아크 길이를 산출하고, 산출된 아크의 길이를 기초로 용접 품질의 적정 또는 불량을 결정한다. 모델 생성부(190)는 결정된 용접 품질, 식별된 용접 상태 및 획득된 아크 이미지를 연계하여 데이터 세트를 생성할 수 있다.
모델 생성부(190)는 획득한 아크 이미지를 전처리하는 과정은 다음과 같다. 일 실시예에서, 모델 생성부(190)는 아크 이미지의 각 픽셀에서 RGB값을 산출하고 기 설정된 RGB 값을 갖는 픽셀 영역을 제외한 나머지 픽셀 영역을 임계처리(Thresholding)하여 아크 영역을 획득한다(도 9(b)). RGB 값을 이용한 임계 처리를 통해 아크 빛 주위의 플라즈마 영역과 보호 가스 영역을 아크 이미지에서 제거할 수 있다. 임계처리 후 아크 이미지는 도 9(b)와 같이 아크 영역 이외의 부분은 검은색으로 나타난다.
구현 예에 따라 다른 방식으로 아크 영역을 획득하는 것도 가능하다. 예를 들어, 각 픽셀의 휘도 값을 산출하여, 특정 픽셀을 기준으로 해당 픽셀의 일측 방향 픽셀의 평균 휘도 값의 평균과 반대 방향 픽셀의 휘도 값의 평균이 기 설정된 값 이상 차이가 나는 경우, 모델 생성부(190)는 해당 특정 픽셀을 영역의 경계로 산출할 수 있다. 예를 들어, 하기 수학식 1을 만족하는 픽셀을 영역의 경계 픽셀로 산출할 수 있다.
[수학식 1]
여기에서, L(x,y)는 x,y 좌표 픽셀의 휘도 값, Vthreshold1, Vthreshold2는 각각 문턱값, j,k,m,n은 자연수를 나타낸다.
모델 생성부(190)는 연결된 경계 픽셀을 이용하여 폐곡선을 생성하고, 해당 폐곡선으로 둘러싸이는 영역을 식별할 수 있다. 모델 생성부(190)는 경계로 구분되는 식별된 영역 가운데 영역 내 픽셀들의 평균 휘도 값을 산출하여, 가장 밝은 평균 휘도 값을 갖는 영역을 아크 영역으로 획득할 수도 있다. 다른 구현 예에서, 상기와 같은 2가지 방식으로 획득된 영역을 모두 후보 아크 영역으로 식별하고, 경계 박스를 이용하여 아크 영역을 획득할 수도 있다.
임계처리 후 분리된 아크 영역이 복수 개 이상 추출되는 경우, 모델 생성부(190)는 기 설정된 경계 박스(Bounding Box)를 이용하여 경계 박스 내부에 포함된 아크 영역을 추출한다(도 9(c)).
아크 이미지에 아크 외에 주변에서 반사된 아크 빛이 포함되는 경우, 예를 들어 비드에 반사된 아크 빛이 포함되는 경우, 임계처리 후 이미지에 분리된 아크 영역이 복수 개 이상 포함될 수 있다. 임계처리 후 분리된 아크 영역이 복수 개 이상 추출되는 경우, 모델 생성부(190)는 기 설정된 경계 박스를 이용하여 반사된 아크 빛에 대응되는 영역을 제거할 수 있다. 예를 들어, 모델 생성부(190)는 임계처리 후 이미지에 CTWD 값의 사이즈를 갖는 경계 박스를 적용하여 토치(120)의 팁 위치로부터 아크가 존재할 수 있는 영역을 제외한 나머지 영역을 제거할 수 있다.
모델 생성부(190)는 추출된 아크 영역의 픽셀 수를 기초로 아크의 길이를 산출할 수 있다. 예를 들어, 모델 생성부(190)는 추출된 아크 영역에서 y축 방향(상하 방향)으로 가장 긴 위치의 픽셀 수를 산출하여 아크의 길이를 산출할 수 있다.
모델 생성부(190)는 산출된 아크의 길이를 기초로 용접 품질(적정 또는 불량)을 결정할 수 있다.
도 10은 용접 상태가 적정 상태인 경우, 용접 전류의 파형 및 용접 전압의 파형을 나타내는 도면이고, 도 11은 용접 상태가 고전압 상태인 경우, 용접 전류의 파형 및 용접 전압의 파형을 나타내는 도면이다. 도 12는 용접 상태가 적정 상태인 경우의 비드 단면부, 용접 상태가 고전압 상태인 경우의 비드 단면부를 나타내는 도면이다.
도 10은 용접 전류 280A, 용접 전압 26V의 적정 상태인 경우이고, 도 11은 용접 전류 240A, 용접 전압 28V의 고전압 상태인 경우이다. 도 10과 도 11의 용접 전류와 용접 전압의 파형을 비교하면 파형의 패턴에 차이가 없는 것을 확인할 수 있다. 따라서, 용접 전류와 용접 전압만으로는 적정 상태와 고전압 상태를 구분할 수 없어, 용접 품질을 정확하게 식별할 수 없다.
그러나, 도 12에서 확인되는 바와 같이, 용접 상태가 적정 상태인 경우의 비드 단면부(도 12(a))와 용접 상태가 고전압 상태인 경우의 비드 단면부(도 12(b), 도 12(c))를 비교해서 살펴보면, 용입 깊이에서 큰 차이가 나는 것을 확인할 수 있다.
도 13은 용접 상태가 적정 상태인 경우, 아크의 길이를 그래프로 나타낸 도면이고, 도 14는 용접 상태가 고전압 상태인 경우, 아크의 길이를 그래프로 나타낸 도면이다.
도 13과 도 14는 각각 도 9에서 설명한 영상을 이용하여 아크 길이를 측정하는 방법으로 적정 상태의 아크 이미지와 고전압 상태의 아크 이미지에서 아크 길이를 산출한 결과이다. 도 13을 참조하면, 적정 상태의 경우 용접 진행 중 아크 길이는 대부분 2 mm 와 6 mm 사이의 값을 갖는 것을 확인할 수 있다. 또한, 도 14를 참조하면 고전압 상태의 경우 용접 진행 중 아크 길이는 대부분 6 mm와 10 mm 사이의 값을 갖는 것을 확인할 수 있다.
도 15는 용접 품질이 불량인 경우, 아크의 길이의 일 예를 그래프로 나타낸 도면이고, 도 16은 용접 품질이 불량인 경우, 아크의 길이의 다른 예를 그래프로 나타낸 도면이다.
용입 깊이가 3mm 이상이 나오지 않은 경우, 아크 길이가 2mm 미만이거나 또는 6mm를 초과하는 것으로 나타났다. 일 실시예에서, 모델 생성부(190)는 용접 품질의 적정과 불량을 식별하는 아크의 길이 기준을 미리 저장할 수 있다. 예를 들어, 모델 생성부(190)는 산출된 아크의 길이를 기초로 아크의 길이가 2mm 이상 6mm 이하인 경우 용접 품질이 적정한 것으로 결정하고, 아크의 길이가 2mm 미만이거나 6mm를 초과하는 경우 용접 품질이 불량한 것으로 결정할 수 있다. 일 실시예에서, 용접 품질의 적정과 불량을 결정하는 기준은 용접 조건에 따라 달라질 수 있다.
다시 도 1을 참조하면, 모델 생성부(190)는 산출된 아크의 길이와 기 설정된 아크의 길이 기준을 기초로 용접 품질(적정 또는 불량)을 식별한다. 일 실시예에서, 모델 생성부(190)는 산출된 아크의 길이와 함께 해당 아크 이미지를 획득한 시점에 홀 센서(150)와 전압 측정기(155)를 통해 측정된 값을 기초로 식별된 용접 상태를 이용하여 용접 품질(적정 또는 불량)을 식별할 수도 있다. 예를 들어, 모델 생성부(190)는 아크의 길이와 용접 상태가 동시에 적정 용접 품질에 해당하는 경우 적정 용접 품질로 식별할 수 있다. 즉, 아크의 길이가 적정 용접 품질에 해당하는 아크 길이 기준에 해당하고 측정된 용접 전류와 용접 전압을 기초로 식별된 용접 상태가 적정 용접 품질에 해당하는 경우, 모델 생성부(190)는 적정 용접 품질로 식별할 수 있다.
모델 생성부(190)는 식별된 용접 품질과 해당 아크 이미지를 연계하여 데이터 세트를 생성하며, 학습을 위해 기 설정된 수 이상의 데이터 세트를 생성할 수 있다. 일 실시예에서, 데이터 세트는 식별된 용접 상태를 더 포함할 수도 있다. 일 실시예에서, 모델 생성부(190)는 아크 이미지를 적정, 저입열, 고입열, 고전류 또는 고전압 5가지 용접 상태 가운데 해당하는 아크 이미지로 분류하고, 해당 아크 이미지에서 산출된 아크 길이를 기초로 식별된 용접 품질을 연계하여 기 설정된 수 이상의 데이터 세트를 생성할 수 있다. 일 실시예에서, 모델 생성부(190)는 5가지 용접 상태 각각에 해당하는 아크 이미지를 기 설정된 수 이상 데이터 세트를 생성할 수 있다.
모델 생성부(190)는 생성된 데이터 세트를 딥러닝 모델을 통해 학습하여 아크 이미지 기반 용접 품질 검사 모델을 생성한다. 일 실시예에서, 딥러닝 모델은 합성곱 신경망(CNN, Convolutional Neural Networks)을 이용하고, 손실 함수는 Binary crossentropy, 최적화 함수는 Adam을 사용할 수 있다.
도 17은 아크 이미지 기반 용접 품질 검사 모델을 생성하는 딥러닝 모델의 일 예를 나타내는 도면이다.
합성곱 신경망은 크게 합성곱 층과(Convolution layer)와 풀링 층(Pooling layer)으로 구성된다. 합성곱 층은 합성곱(Convolution) 연산과 활성화 함수(Activation Function)를 통해 이미지의 특징을 추출하는 역할을 한다. 합성곱 층은 합성곱 연산을 통해 산출된 값에 활성화 함수를 적용하여 출력값을 결정한다. 예를 들어, 활성화 함수는 계단 함수(Step function), 시그모이드 함수(Sigmoid function), 하이퍼볼릭탄젠트 함수(Hyperbolic tangent function), 렐루 함수(ReLU), 리키 렐루(Leaky ReLU) 등을 포함할 수 있다.
풀링 층은 특성 맵을 다운샘플링하여 특성 맵의 크기를 줄이는 풀링 연산이 수행한다. 예를 들어, 풀링 층은 맥스 풀링(Max pooling) 층과 평균 풀링(average pooling) 층을 포함할 수 있다.
일 실시예에서, 도 17의 아크 이미지 기반 용접 품질 검사 모델을 생성하는 딥러닝 모델의 제1 합성곱 층은 Conv2D 레이어를 포함하며 Conv2D 레이어의 컨볼루션 필터의 수는 32, 컨볼루션 커널은 (3,3) 사이즈를 갖는다. Pooling 층은 맥스 풀링(Max pooling) 층을 포함할 수 있고, 활성화 함수는 렐루 함수(ReLU)를 포함할 수 있다.
제2 합성곱 층은 Conv2D 레이어를 포함하며 Conv2D 레이어의 컨볼루션 필터의 수는 32, 컨볼루션 커널은 (3,3) 사이즈를 갖는다. Pooling 층은 맥스 풀링(Max pooling) 층을 포함할 수 있고, 활성화 함수는 렐루 함수(ReLU)를 포함할 수 있다.
제3 합성곱 층은 Conv2D 레이어를 포함하며 Conv2D 레이어의 컨볼루션 필터의 수는 64, 컨볼루션 커널은 (3,3) 사이즈를 갖는다. Pooling 층은 맥스 풀링(Max pooling) 층을 포함할 수 있고, 활성화 함수는 렐루 함수(ReLU)를 포함할 수 있다.
제4 합성곱 층은 Conv2D 레이어를 포함하며 Conv2D 레이어의 컨볼루션 필터의 수는 64, 컨볼루션 커널은 (3,3) 사이즈를 갖는다. Pooling 층은 맥스 풀링(Max pooling) 층을 포함할 수 있고, 활성화 함수는 렐루 함수(ReLU)를 포함할 수 있다.
플래튼(Flatten) 층은 합성곱 층을 거친 2차원의 영상 데이터(행렬)를 Neural Network의 입력으로 사용하기 1차원 데이터(배열)로 변환하며, Dense 층은 입력(input)과 출력(output)을 모두 연결하여 완결 연결 계층을 만든다. 예를 들어, 입력이 64개, 출력이 1개이면 Dense 층은 64X1의 완결 연결 계층을 만든다.
일 실시예에서, 모델 생성부(190)는 용접 상태가 적정, 저입열, 고입열, 고전류 및 고전압 5가지로 분류된 아크 이미지와 해당 아크 이미지와 연계된 용접 품질을 포함하는 데이터 세트를 도 17과 같은 딥러닝 모델에 입력하여 아크 이미지 기반 용접 품질 검사 모델을 생성한다.
예를 들어, 5가지 용접 상태로 분류된 아크 이미지 2927개를 포함하되 아크 길이에 따른 용접 품질을 기준으로 불량(bad)은 1541개, 적정(good)은 1386개로 분류된 데이터 세트를 학습하여 아크 이미지 기반 용접 품질 검사 모델을 생성할 수 있다. 일 실시예에서, 데이터 세트 가운데 일부는 아크 이미지 기반 용접 품질 검사 모델을 생성하기 위한 학습 데이터 세트로 사용할 수 있고, 나머지 일부는 생성된 아크 이미지 기반 용접 품질 검사 모델을 검증하기 위한 검증 데이터 세트로 사용할 수 있다.
도 18은 아크 이미지 기반 용접 품질 검사 모델을 통해 예측된 출력값을 나타내는 도면이다.
도 18의 (a)는 상기에서 설명한 딥러닝 모델을 이용하여 생성된 아크 이미지 기반 용접 품질 검사 모델에 학습에 사용되지 않은 적정 용접 상태의 데이터를 입력하여 산출된 예측 결과를 나타내는 도면이다. 아크 이미지 기반 용접 품질 검사 모델을 통해 예측된 출력값이 0에 가까울수록 용접 품질은 불량(bad)에 가까우며, 1에 가까울수록 용접 품질은 적정(good)에 가깝다. 도 18의 (a)를 참조하면, 0.5를 기준으로 아크 이미지 기반 용접 품질 검사 모델을 통해 예측된 값이 0.5보다 크면 1을 출력하도록 하며, 예측된 값이 0.5보다 작으면 0을 출력하도록 할 수 있다. 도 18의 (b)는 0.5를 기준으로 아크 이미지 기반 용접 품질 검사 모델을 통해 예측된 값을 다시 정리하여 나타낸 도면이다.
도 19는 실제 아크 이미지를 통해 아크 길이를 측정하고 측정된 아크 길이를 기초로 용접 품질을 판단한 결과를 나타내는 도면이다.
도 19를 참조하면, 도 18의 (b)와 비교할 때 예측 모델의 예측 결과와 실제 아크 이미지를 기초로 용접 품질을 판단한 결과가 매우 유사한 것을 확인할 수 있다. 실험 예에서는 총 766개의 아크 이미지 가운데 8개의 이미지에서 예측 모델의 예측 결과와 실제 아크 이미지를 기초로 용접 품질을 판단한 결과가 다르게 나타났으며, 오차율은 1.04%였다. 따라서, 아크 이미지 기반 용접 품질 검사 모델의 예측 정확도가 높으며, 아크 이미지만으로 용접 품질의 판단이 가능하다는 것을 확인할 수 있다.
도 20은 본 발명의 일 실시예에 따른 아크 이미지 기반 용접 품질 모니터링 장치의 구성을 나타내는 도면이다.
도 20을 참조하면, 아크 이미지 기반 용접 품질 모니터링 장치(2000)는 용접 베드(2010), 용접기의 토치(2020), 피더(2030), 아크 용접기(2040), 카메라(2050), 모니터링부(2060) 및 제어부(2070)를 포함한다. 일 실시예에서, 아크 이미지 기반 용접 품질 모니터링 장치(2000)는 홀 센서, 전압 측정기 및 DAQ 보드를 더 포함할 수도 있다.
이하에서는, 설명의 편의를 위해 도 1의 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 장치(100)와 차이가 있는 부분을 중심으로 설명하기로 한다.
제어부(2070)는 용접 베드(2010), 피더(2030) 및 아크 용접기(2040)를 제어하여 용접 프로세스를 제어한다. 용접 진행시, 제어부(2070)는 카메라(2050)를 제어하여 아크 용접기에 의해 용접되는 용접 영역을 촬영한다.
카메라(2050)는 아크 용접기에 의해 용접되는 용접 영역을 촬영하여 촬영된 영상을 모니터링부(2060)에 전송한다. 모니터링부(2060)는 카메라(2050)를 통해 촬영된 영상을 기초로 아크 이미지를 획득하여 용접 품질을 식별하고 용접 불량 여부를 모니터링한다. 일 실시예에서, 모니터링부(2060)는 획득한 아크 이미지를 아크 이미지 기반 용접 품질 검사 모델에 입력하여 예측 값을 출력한다. 일 실시예에서, 모니터링부(2060)는 아크 이미지 기반 용접 품질 검사 모델을 통해 예측된 값이 0.5보다 크면 1(적정(good))을 출력하도록 하며, 예측된 값이 0.5보다 작으면 0(불량(bad))을 출력할 수 있다.
모니터링부(2060)는 아크 이미지 기반 용접 품질 검사 모델을 미리 저장할 수 있으며, 제어에 따라 모델을 업데이트할 수 있다. 일 실시예에서, 모니터링부(2060)는 유선 또는 무선 네트워크부(미도시)를 통해 업데이트된 버전의 아크 이미지 기반 용접 품질 검사 모델을 수신하여 이를 업데이트할 수 있다.
용접 품질이 불량 값이 출력되는 경우, 모니터링부(2060)는 불량 정보(예를 들어, 용접 조건, 불량 발생 시간(time), 불량이 발생한 시간의 용접 상태, 용접 전류, 용접 전압 등)를 디스플레이부(미도시)를 통해 디스플레이할 수 있다. 일 실시예에서, 모니터링부(2060)는 불량 정보를 네트워크부(미도시)를 통해 사용자 단말기에 전송할 수도 있다.
도 21은 본 발명의 일 실시예에 따른 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 방법을 설명하는 흐름도이다.
도 21을 참조하면, 용접 진행 시 홀 센서(150)는 아크 용접기(140)를 통해 모재에 흐르는 용접 전류를 측정하고(단계 S2110), 전압 측정기(155)는 아크 용접기(140)와 모재 사이에 형성된 회로를 통해 용접 전압을 측정한다(단계 S2120). 일 실시예에서, 아크 용접기(140)는 팁-회전 아크 용접기(Tip-Rotating Arc Welding Machine)에 해당할 수 있다.
카메라(170)는 아크 용접기(140)에 의해 용접되는 용접 영역을 촬영하여 모델 생성부(190)에 전송한다(단계 S2130). 모델 생성부(190)는 측정된 용접 전류와 측정된 용접 전압을 기초로 용접 상태를 식별한다(단계 S2140). 일 실시예에서, 용접 상태는 적정 상태, 저입열 상태, 고입열 상태, 고전압 상태 및 고전류 상태를 포함할 수 있다.
모델 생성부(190)는 카메라(170)를 통해 촬영된 영상을 기초로 아크 이미지를 획득하고, 아크 이미지를 기초로 식별된 용접 품질과 획득된 아크 이미지를 연계하여 데이터 세트를 생성한다(단계 S2150). 일 실시예에서, 모델 생성부(190)는 획득한 아크 이미지에서 아크 영역을 획득하여 아크의 길이를 산출하고, 산출된 아크의 길이를 기초로 용접 품질의 적정 또는 불량을 식별하며, 용접 품질과 아크 이미지를 연계하여 데이터 세트를 생성할 수 있다. 일 실시예에서, 모델 생성부(190)는 아크 이미지에서 기 설정된 RGB 값을 갖는 픽셀 영역을 제외한 나머지 픽셀 영역을 임계처리하여 아크 영역을 획득하되, 임계처리 후 아크 영역이 복수 개 이상 추출되는 경우, 기 설정된 경계 박스(Bounding Box)를 이용하여 경계 박스 내부에 포함된 아크 영역을 추출할 수 있다. 모델 생성부(190)는 추출된 아크 영역의 픽셀의 수를 기초로 아크의 길이를 산출할 수 있다.
모델 생성부(190)는 생성된 데이터 세트를 딥러닝 모델을 통해 학습하여 아크 이미지 기반 용접 품질 검사 모델을 생성한다(단계 S2160). 딥러닝 모델을 통해 학습하여 아크 이미지 기반 용접 품질 검사 모델을 생성하는 과정은 도 17에서 설명한 바와 같다.
도 1 내지 도 21을 통해 설명된 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 방법, 용접 품질 검사 모델 생성 장치 및 이를 이용한 아크 이미지 기반 용접 품질 모니터링 장치는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수도 있다.
이상 본 발명의 실시예로 설명하였으나 본 발명의 기술적 사상이 상기 실시예로 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양한 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 방법, 용접 품질 검사 모델 생성 장치 및 이를 이용한 아크 이미지 기반 용접 품질 모니터링 장치로 구현할 수 있다.
100 : 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 장치
110 : 용접 베드(bed) 120 : 용접기(Tip-Rotating Arc Welding)의 토치(Torch)
130 : 피더(feeder) 140 : 아크 용접기(arc welding machine)
150 : 홀 센서(hall sensor) 155 : 전압 측정기
160 : DAQ 보드(Data acquisition board) 170 : 카메라
180 : 제어부 190 : 모델 생성부

Claims (14)

  1. 모재를 고정하고, 제어에 따라 상기 모재를 기 설정된 속도로 이송하는 용접 베드(bed);
    용가재(Filler metal)를 공급하는 피더(feeder);
    상기 피더를 통해 공급된 용가재를 아크(arc)를 이용하여 상기 모재에 용접하는 아크 용접기;
    상기 아크 용접기를 통해 상기 모재에 흐르는 용접 전류를 측정하는 홀 센서(hall sensor);
    상기 아크 용접기와 상기 모재 사이에 형성된 회로를 통해 용접 전압을 측정하는 전압 측정기;
    상기 아크 용접기에 의해 용접되는 용접 영역을 촬영하는 카메라;
    상기 용접 베드, 피더 및 아크 용접기를 제어하여 용접 프로세스를 제어하고, 용접 프로세스 진행 시 상기 홀 센서, 전압 측정기 및 카메라를 제어하여 용접 데이터의 수집을 제어하는 제어부; 및
    상기 홀센서를 통해 측정된 용접 전류와 상기 전압 측정기를 통해 측정된 용접 전압을 기초로 용접 상태를 식별하고, 상기 카메라를 통해 촬영된 영상을 기초로 아크 이미지를 획득하며,
    상기 아크 이미지를 기초로 식별된 용접 품질과 상기 획득된 아크 이미지를 연계하여 데이터 세트를 생성하고, 상기 생성된 데이터 세트를 딥러닝 모델을 통해 학습하여 아크 이미지 기반 용접 품질 검사 모델을 생성하는 모델 생성부를 포함하는 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 장치.
  2. 제1항에 있어서, 상기 아크 용접기는
    팁-회전 아크 용접기(Tip-Rotating Arc Welding Machine)인 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 장치.
  3. 제1항에 있어서, 상기 용접 상태는
    적정 상태, 저입열 상태, 고입열 상태, 고전압 상태 및 고전류 상태를 포함하는 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 장치.
  4. 제1항에 있어서, 상기 모델 생성부는
    상기 획득한 아크 이미지에서 아크 영역을 획득하여 상기 아크의 길이를 산출하고, 상기 산출된 아크의 길이를 기초로 용접 품질의 적정 또는 불량을 식별하며, 상기 용접 품질과 아크 이미지를 연계하여 데이터 세트를 생성하는 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 장치.
  5. 제4항에 있어서, 상기 모델 생성부는
    상기 아크 이미지를 적정, 저입열, 고입열, 고전류 또는 고전압 5가지 용접 상태 가운데 해당하는 아크 이미지로 분류하고, 해당 아크 이미지에서 산출된 아크 길이를 기초로 식별된 용접 품질을 연계하여 기 설정된 수 이상의 데이터 세트를 생성하는 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 장치.
  6. 제4항에 있어서, 상기 모델 생성부는
    상기 아크 이미지에서 기 설정된 RGB 값을 갖는 픽셀 영역을 제외한 나머지 픽셀 영역을 임계처리하여 아크 영역을 획득하는 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 장치.
  7. 제6항에 있어서, 상기 모델 생성부는
    상기 임계처리 후 상기 아크 영역이 복수 개 이상 추출되는 경우, 기 설정된 경계 박스(Bounding Box)를 이용하여 상기 경계 박스 내부에 포함된 아크 영역을 추출하는 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 장치.
  8. 제7항에 있어서, 상기 모델 생성부는
    상기 추출된 아크 영역의 픽셀의 수를 기초로 상기 아크의 길이를 산출하는 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 장치.
  9. 제1항에 있어서, 상기 딥러닝 모델은 제1 합성곱 층, 제2 합성곱 층, 제3 합성곱 층 및 제4 합성곱 층을 포함하되,
    제1 합성곱 층은 컨볼루션 필터의 수는 32 및 컨볼루션 커널은 (3,3) 사이즈를 갖는 Conv2D 레이어, 맥스 풀링(Max pooling) 층 및 렐루(ReLU) 활성화 함수를 포함하고,
    제2 합성곱 층은 컨볼루션 필터의 수는 32 및 컨볼루션 커널은 (3,3) 사이즈를 갖는 Conv2D 레이어, 맥스 풀링(Max pooling) 층 및 렐루(ReLU) 활성화 함수를 포함하며,
    제3 합성곱 층은 컨볼루션 필터의 수는 64 및 컨볼루션 커널은 (3,3) 사이즈를 갖는 Conv2D 레이어, 맥스 풀링(Max pooling) 층 및 렐루(ReLU) 활성화 함수를 포함하고,
    제4 합성곱 층은 컨볼루션 필터의 수는 64 및 컨볼루션 커널은 (3,3) 사이즈를 갖는 Conv2D 레이어, 맥스 풀링(Max pooling) 층 및 렐루(ReLU) 활성화 함수를 포함하는 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 장치.
  10. 홀 센서가 아크 용접기를 통해 모재에 흐르는 용접 전류를 측정하는 단계;
    전압 측정기가 상기 아크 용접기와 상기 모재 사이에 형성된 회로를 통해 용접 전압을 측정하는 단계;
    카메라가 상기 아크 용접기에 의해 용접되는 용접 영역을 촬영하는 단계;
    모델 생성부가 상기 측정된 용접 전류와 상기 측정된 용접 전압을 기초로 용접 상태를 식별하는 단계;
    모델 생성부가 상기 카메라를 통해 촬영된 영상을 기초로 아크 이미지를 획득하고, 상기 아크 이미지를 기초로 식별된 용접 품질과 상기 획득된 아크 이미지를 연계하여 데이터 세트를 생성하는 단계; 및
    모델 생성부가 상기 생성된 데이터 세트를 딥러닝 모델을 통해 학습하여 아크 이미지 기반 용접 품질 검사 모델을 생성하는 단계를 포함하는 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 방법.
  11. 제10항에 있어서, 상기 데이터 세트를 생성하는 단계는
    상기 획득한 아크 이미지에서 아크 영역을 획득하여 상기 아크의 길이를 산출하는 단계;
    상기 산출된 아크의 길이를 기초로 용접 품질의 적정 또는 불량을 식별하는 단계; 및
    상기 식별된 용접 품질과 상기 획득된 아크 이미지를 연계하여 데이터 세트를 생성하는 단계를 포함하는 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 방법.
  12. 제11항에 있어서, 상기 아크의 길이를 산출하는 단계는
    상기 아크 이미지에서 기 설정된 RGB 값을 갖는 픽셀 영역을 제외한 나머지 픽셀 영역을 임계처리하여 아크 영역을 획득하는 단계를 포함하는 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 방법.
  13. 제11항에 있어서, 상기 아크 영역을 획득하는 단계는
    상기 임계처리 후 상기 아크 영역이 복수 개 이상 추출되는 경우, 기 설정된 경계 박스(Bounding Box)를 이용하여 상기 경계 박스 내부에 포함된 아크 영역을 추출하는 단계를 포함하는 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 방법.
  14. 모재를 고정하고, 제어에 따라 상기 모재를 기 설정된 속도로 이송하는 용접 베드;
    용가재를 공급하는 피더;
    상기 피더를 통해 공급된 용가재를 아크를 이용하여 상기 모재에 용접하는 아크 용접기;
    상기 아크 용접기에 의해 용접되는 용접 영역을 촬영하는 카메라;
    상기 용접 베드, 피더 및 아크 용접기를 제어하여 용접 프로세스를 제어하는 제어부; 및
    상기 카메라를 통해 촬영된 영상을 기초로 아크 이미지를 획득하여 용접 품질을 식별하고 용접 불량 여부를 모니터링하는 모니터링부를 포함하는 아크 이미지 기반 용접 품질 모니터링 장치.
KR1020220014802A 2022-02-04 2022-02-04 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 방법 및 용접 품질 검사 모델 생성 장치 KR102716913B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220014802A KR102716913B1 (ko) 2022-02-04 2022-02-04 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 방법 및 용접 품질 검사 모델 생성 장치
US18/160,478 US20230249276A1 (en) 2022-02-04 2023-01-27 Method and apparatus for generating arc image-based welding quality inspection model using deep learning and arc image-based welding quality inspecting apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220014802A KR102716913B1 (ko) 2022-02-04 2022-02-04 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 방법 및 용접 품질 검사 모델 생성 장치

Publications (2)

Publication Number Publication Date
KR20230118341A true KR20230118341A (ko) 2023-08-11
KR102716913B1 KR102716913B1 (ko) 2024-10-11

Family

ID=87521503

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220014802A KR102716913B1 (ko) 2022-02-04 2022-02-04 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 방법 및 용접 품질 검사 모델 생성 장치

Country Status (2)

Country Link
US (1) US20230249276A1 (ko)
KR (1) KR102716913B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117548824B (zh) * 2024-01-11 2024-04-02 武汉新耐视智能科技有限责任公司 一种光学精密测定机器人激光远程焊接方法
CN118699530A (zh) * 2024-07-31 2024-09-27 深圳市优尼特焊接机电有限公司 一种用于电焊机的焊接轨迹分析方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5283418A (en) * 1992-02-27 1994-02-01 Westinghouse Electric Corp. Automated rotor welding processes using neural networks
KR20100002583A (ko) * 2008-06-30 2010-01-07 한양대학교 산학협력단 고속 레이저 비전 센서 시스템, 이를 이용한 고속 이미지프로세싱 방법 및 용접부 외관 검사방법
KR101779988B1 (ko) 2016-01-27 2017-09-19 두산중공업 주식회사 아크 용접 모니터링 카메라 시스템
US20180147647A1 (en) * 2014-12-09 2018-05-31 Jiangsu University Of Science And Technology Adaptive control method and equipment of arc swing in narrow gap welding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5283418A (en) * 1992-02-27 1994-02-01 Westinghouse Electric Corp. Automated rotor welding processes using neural networks
KR20100002583A (ko) * 2008-06-30 2010-01-07 한양대학교 산학협력단 고속 레이저 비전 센서 시스템, 이를 이용한 고속 이미지프로세싱 방법 및 용접부 외관 검사방법
US20180147647A1 (en) * 2014-12-09 2018-05-31 Jiangsu University Of Science And Technology Adaptive control method and equipment of arc swing in narrow gap welding
KR101779988B1 (ko) 2016-01-27 2017-09-19 두산중공업 주식회사 아크 용접 모니터링 카메라 시스템

Also Published As

Publication number Publication date
KR102716913B1 (ko) 2024-10-11
US20230249276A1 (en) 2023-08-10

Similar Documents

Publication Publication Date Title
US20210318673A1 (en) In-Situ Inspection Method Based on Digital Data Model of Weld
JP7357463B2 (ja) 判定装置、判定システム、溶接システム、判定方法、プログラム、及び記憶媒体
JPWO2020129617A1 (ja) 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法
JPWO2020129618A1 (ja) 溶接システム及びそれを用いたワークの溶接方法
KR20230118341A (ko) 딥러닝을 이용한 아크 이미지 기반 용접 품질 검사 모델 생성 방법, 용접 품질 검사 모델 생성 장치 및 이를 이용한 아크 이미지 기반 용접 품질 모니터링 장치
EP4096861B1 (en) Method of monitoring the quality of a weld bead, related welding station and computer-program product
CN111451604B (zh) 一种gtaw电弧熔丝增材制造熄弧处补焊监测反馈方法及系统
JP7628932B2 (ja) 溶接監視方法及び溶接監視装置、並びに積層造形方法及び積層造形装置
WO2020205998A1 (en) Non-destructive evaluation and weld-to-weld adaptive control of metal resistance spot welds via topographical data collection and analysis
CN114012210B (zh) 电弧增材过程的沉积质量判断系统及方法
US20240383072A1 (en) Computer-implemented monitoring of a welding operation
CN107931802A (zh) 基于中红外温度传感的电弧焊焊缝质量在线检测方法
JP4240220B2 (ja) レーザ溶接品質検査方法及び装置
CN112129774B (zh) 一种焊接未熔合缺陷在线检测方法
Soares et al. Computer vision system for weld bead geometric analysis
CN118023670A (zh) 一种焊前－焊时－焊后的全过程质量保障方法
JP2021535836A (ja) 溶接ビード成形制御装置及び方法
Li Machine learning based defect detection in robotic wire arc additive manufacturing
Surovi et al. A heuristic approach to classify geometrically defective bead segments based on range of curvature, range of sound power and maximum height
Yu et al. Monitoring of backside weld bead width from high dynamic range images using CNN network
KR102773136B1 (ko) 머신-러닝을 이용한 용접 성능 평가 방법
JP7463257B2 (ja) 溶接品質評価方法および溶接装置
CN119016820A (zh) 一种铜、铝基材焊接控制方法
KR20230011736A (ko) 머신-러닝을 이용한 용접 성능 평가 방법
KR20240083990A (ko) 인공지능을 이용한 품질예측장치 및 그 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20220204

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240109

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240924

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20241008

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20241008

End annual number: 3

Start annual number: 1

PG1601 Publication of registration