KR102494301B1 - 용융풀 인식 및 용입깊이 제어 시스템 및 방법 - Google Patents
용융풀 인식 및 용입깊이 제어 시스템 및 방법 Download PDFInfo
- Publication number
- KR102494301B1 KR102494301B1 KR1020210085727A KR20210085727A KR102494301B1 KR 102494301 B1 KR102494301 B1 KR 102494301B1 KR 1020210085727 A KR1020210085727 A KR 1020210085727A KR 20210085727 A KR20210085727 A KR 20210085727A KR 102494301 B1 KR102494301 B1 KR 102494301B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- molten pool
- penetration depth
- unit
- welding
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/095—Monitoring or automatic control of welding parameters
- B23K9/0956—Monitoring or automatic control of welding parameters using sensing means, e.g. optical
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
- B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
- B23K31/125—Weld quality monitoring
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/09—Arrangements or circuits for arc welding with pulsed current or voltage
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
- B23K9/127—Means for tracking lines during arc welding or cutting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Plasma & Fusion (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 라벨링된 다수의 제1 용접영상을 지도 학습하여 다수의 제1 용접영상에 대한 특징점을 추출하고 추가로 촬영된 다수의 제2 용접영상에 다수의 제1 용접영상에 대한 특징점을 매칭시켜 제2 용융풀 영상을 인식 및 추출하며 제2 용융풀 영상으로부터 측정된 형상정보를 인공지능 학습하여 도출된 제2 용융풀의 용입깊이와 기설정된 용입깊이를 비교한 결과에 따라 용접부의 전류 및 용접속도를 제어하는 용융풀 인식 및 용입깊이 제어 시스템 및 방법을 제공한다.
Description
본 발명은 용융풀 인식 및 용입깊이 제어 시스템 및 방법에 관한 것으로, 보다 상세하게는 용접영상으로부터 용융풀을 정확하게 인식하고 인식된 용융풀의 용입깊이를 도출한 후 도출된 용입깊이와 기설정된 용입깊이를 비교한 결과에 따라 용접부의 전류 및 용접속도를 제어하는 용융풀 인식 및 용입깊이 제어 시스템 및 방법에 관한 것이다.
아크용접은 용접봉과 용접할 부분 사이에 생기는 전기 아크를 통해 용접에 필요한 열을 공급하여 적어도 2개의 모재를 접합하는 것이다.
일반적으로 용입이 불량할 경우 다양한 결함이 발생하게 된다. 이처럼 용입제어가 실패하게 되어 결함이 발생하면 용입에 필요한 전체 용접시간보다 결함 보수에 소요되는 시간이 5배 내지 10배 정도 소요된다.
따라서, 용접 자동화 기술은 용입 제어 여부가 매우 중요하다. 종래에는 용접 자동화 기술로서, 전압 신호, 아크 영상 촬영, 용접파형 제어에 따른 디지털 용접기 등을 적용한 기술이 개발되어 왔으나, 용입 제어 실패로 인한 결함 발생율이 높아 실제 적용이 어려워 수동 용접에 의존하고 있는 상황이다.
상기한 문제점을 해소하기 위해 측정되는 전압 신호에 따라 용입을 제어하는 기술이 있다.
상기한 종래기술은 기존 상품화된 용접부 용입 제어 장치의 경우 용접 전류가 증가할수록 용융풀이 커지고 용융풀이 커질수록 용접아크 압력에 의한 진동 주파수가 작아지는 특징을 이용해 용입을 예측한다.
아크 압력이 작용하는 용융풀의 경우 압력에 의해 용융풀이 상하로 진동하며 이로 인해 아크의 길이가 증감하게 되고 아크의 길이가 증감함에 따라 아크 길이에 의한 전압값이 변동된다.
정전류 용접기의 경우 V(전압)=I(전류)R(저항), 전류가 일정하므로 아크길이가 작아지면 저항이 작아지고(전압 감소), 아크 길이가 커지면 저항이 증가(전압증가)하게 되므로 전압값 측정을 통해 주파수를 예측하여 용입 제어를 수행할 수 있다.
그러나, 상기한 종래기술은 용접와이어가 추가 공급되는 경우 위 현상이 깨지게 되어 전압값 측정을 통해 주파수를 예측하여 용입 제어를 수행하는 것이 불가능해지기 때문에 정확한 용입 제어에 한계가 있었다.
이에 따라 영상처리기술을 이용하여 용입을 제어하는 기술에 대한 연구개발이 활발하게 진행되고 있다.
위와 같은 영상처리를 이용한 종래기술은 도 1의 (a), (b), (c), (d)에 도시된 바와 같이 다양한 용접조건마다 영상처리에 사용되는 알고리즘에 대한 각각의 감도를 조절하는 변수를 조절해야 한다.
그러나, 상기한 종래기술은 다양한 용접조건 환경에 따라 조절해야 하는 감도 변수의 개수가 너무 많아 조절하는 것이 용이하지 않고 그에 따라 용융풀의 인식 정확도가 저하되는 문제점이 있었다.
(특허문헌 1) 등록특허공보 제10-2187764호(2020.12.01.)
(특허문헌 2) 등록특허공보 제1 0-2155053(2020.09.07.)
상기와 같은 문제를 해결하기 위한 본 발명의 목적은 영상분할부가 영상촬영부에서 촬영된 다수의 제1 용접영상을 지도 학습하여 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 추출하고 영상촬영부에서 추가적으로 촬영되는 다수의 제2 용접영상에 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 매칭시켜 제2 용융풀 영상을 인식 및 추출하는 용융풀 인식 및 용입깊이 제어 시스템 및 방법을 제공하는 것이다.
또한, 상기와 같은 문제를 해결하기 위한 본 발명의 목적은 형상정보 측정부가 제2 용융풀 영상을 기반으로 제2 영상풀 영상에 대한 폭(w), 길이(l), 넓이(s) 및 폭(w) 대비 길이 비율(r)을 측정하고 용입깊이 도출부가 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 인공지능 학습시켜 제2 용융풀 영상의 용입깊이(p)를 실시간으로 도출하는 용융풀 인식 및 용입깊이 제어 시스템 및 방법을 제공하는 것이다.
또한, 상기와 같은 문제를 해결하기 위한 본 발명의 목적은 도출된 제어부가 제2 용융풀 영상의 용입깊이(p)와 기설정된 용입깊이(p)를 비교한 결과에 따라 용접부(110)의 전류 및 용접속도를 제어하는 용융풀 인식 및 용입깊이 제어 시스템 및 방법을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 구성은 아크광을 방전시켜 발생한 열을 적어도 2개의 모재가 접하는 접합부로 공급하는 용접부; 상기 용접부의 끝단을 촬영하여 제1 아크광 영상, 상기 접합부에 형성되는 제1 용융풀 영상 및 상기 제1 용융풀 영상의 주변에 위치하는 배경 영상을 포함하는 다수의 제1 용접영상을 실시간으로 획득하는 영상촬영부; 사용자에 의해 수동으로 라벨링된 상기 제1 아크광 영상, 상기 제1 용융풀 영상 및 상기 제1 배경 영상을 지도 학습하여 상기 제1 아크광 영상, 상기 제1 용융풀 영상 및 상기 제1 배경 영상에 대한 특징점을 설정하고 상기 제1 아크광 영상, 상기 제1 용융풀 영상 및 상기 제1 배경 영상에 대한 특징점을 기반으로 상기 영상촬영부로부터 추가로 획득되는 다수의 제2 용접영상로부터 제2 용융풀 영상을 추출하며 상기 제2 용융풀 영상을 영상처리하여 제2 용융풀 영상에 대한 형상정보를 측정하고 측정된 형상정보를 인공지능 학습하여 용입깊이를 도출하는 딥러닝부; 및 상기 도출된 용입깊이와 기설정된 용입깊이를 비교한 결과에 따라 상기 용접부의 전류 및 용접속도를 제어하는 제어부;를 포함하는 것을 특징으로 하는 용융풀 인식 및 용입깊이 제어 시스템을 제공한다.
본 발명의 실시예에 있어서, 상기 다수의 제1 용접영상은 상기 제2 용융풀 영상을 인식하기 위한 기준이 되는 상기 특징점을 설정하기 위한 빅데이터로서 다수로 구성되는 상기 제1 아크광 영상, 상기 제1 용융풀 영상 및 상기 제1 배경 영상으로 구성되는 영상 데이터셋(dataset)이고, 상기 딥러닝부는, 상기 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 지도 학습하여 상기 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 설정하는 설정하는 영상분할부;를 포함하고, 상기 영상분할부는 상기 제1 용융풀 영상에 대한 특징점을 기준으로 상기 영상촬영부로부터 전송되는 상기 다수의 제2 용접영상에 매칭시켜 상기 다수의 제2 용접영상으로부터 상기 제2 용융풀 영상을 분리시키는 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 영상분할부는 영상 분할 기법으로 VGG 16 넷(net) 기반의 CNN(Convolutional Neural Network) 알고리즘이 적용되고, 상기 제1 용융풀 영상에 대한 특징점은 상기 제1 아크광 영상 및 상기 제1 배경 영상과 다른 고유의 명도, 채도, 색상, 제1 용융풀 영상의 형상 패턴을 포함하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 딥러닝부는, 상기 영상분할부로부터 전송되는 상기 제2 용융풀 영상을 영상처리하여 상기 제2 용융풀 영상에 대한 형상정보를 측정하는 형상정보 측정부;를 더 포함하고, 상기 형상정보 측정부는 상기 제2 용융풀 영상에 해당하는 픽셀만을 추출한 후 상기 제2 용융풀 영상의 최외곽에 위치하는 픽셀들이 이어지는 제2 용융풀 경계선을 추출하고 상기 추출된 제2 용융풀 경계선을 기반으로 상기 제2 용융풀 영상의 폭(w), 길이(l), 넓이(s) 및 상기 폭(w) 대비 길이 비율(r)을 측정하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 형상정보 측정부는 영상처리 알고리즘을 적용하여 상기 제2 용융풀 영상에 대한 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 포함하는 형상정보를 측정하고, 상기 제2 용융풀 영상의 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 상기 모재의 두께(t)를 5x1 행렬의 특징 벡터 데이터로 변환시키는 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 딥러닝부는 상기 형상정보 측정부로부터 전송되는 상기 5x1 행렬의 특징 벡터 데이터를 인공지능 학습하여 상기 제2 용융풀 영상의 용입깊이(p)를 도출하는 용입깊이 도출부;를 더 포함하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 용입깊이 도출부는 상기 용입깊이를 상기 제어부로 전송하고, 상기 제어부는 상기 용입깊이와 기설정된 용입깊이가 같을 경우, 상기 용접부가 현재 상태를 유지하도록 용접부를 제어하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 용입깊이 도출부는 상기 용입깊이를 상기 제어부로 전송하고, 상기 제어부는 상기 용입깊이와 기설정된 용입깊이가 다를 경우, 상기 용접부의 전류 및 용접속도를 제어하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 제어부는 상기 용입깊이가 상기 기설정된 용입깊이보다 클 경우, 상기 용접부를 제어하여 상기 용접부의 전류를 감소시키거나 상기 용접부의 용접속도를 증가시키는 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 제어부는 상기 용입깊이가 상기 기설정된 용입깊이보다 작을 경우, 상기 용접부를 제어하여 상기 용접부의 전류를 증가시키거나 상기 용접부의 용접속도를 감소시키는 것을 특징으로 할 수 있다.
또한, 상기와 같은 문제를 해결하기 위한 본 발명의 목적은 (a) 영상촬영부에서 촬영된 다수의 제1 용접영상이 사용자에 의해 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상으로 라벨링되는 단계; (b) 딥러닝부에 구비된 영상분할부가 상기 다수의 제1 용접영상이 상기 제1 아크광 영상, 상기 제1 용융풀 영상 및 상기 제1 배경 영상으로 라벨링된 영상 데이터셋을 지도 학습하여 상기 제1 아크광 영상, 상기 제1 용융풀 영상 및 상기 제1 배경 영상에 대한 특징점을 설정하는 단계; (c) 상기 영상촬영부가 촬영된 다수의 제2 용접영상을 상기 영상분할부로 전송하는 단계; (d) 상기 영상분할부가 상기 제1 아크광 영상, 상기 제1 용접풀 영상 및 상기 제1 배경 영상에 대한 특징점을 기반으로 상기 다수의 제2 용접영상에서 제2 용융풀 영상을 분리하는 단계; (e) 딥러닝부에 구비된 형상정보 측정부가 상기 제2 용융풀 영상을 기반으로 상기 제2 용융풀 영상의 형상정보를 측정하는 단계; (f) 상기 용입깊이 도출부가 상기 제2 용융풀 영상의 형상정보를 인공지능 학습하여 용입깊이를 도출하는 단계; 및 (g) 제어부가 상기 용입깊이 도출부로부터 전송되는 상기 용입깊이와 기설정된 용입깊이를 비교한 결과에 따라 상기 용접부의 제어 여부를 결정하는 단계;를 포함하는 것을 특징으로 하는 용융풀 인식 및 용입깊이 제어 방법을 제공한다.
본 발명의 실시예에 있어서, 상기 (a) 단계는, (a1) 상기 영상촬영부가 상기 용접부의 끝단을 촬영하여 상기 다수의 제1 용접영상을 획득하는 단계; (a2) 상기 사용자에 의해 상기 제1 아크광 영상, 상기 제1 용융풀 영상 및 상기 제1 배경 영상이 라벨링되는 단계; 및 (a3) 상기 영상촬영부가 상기 영상분할부로 상기 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 전송하는 단계;를 포함하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 다수의 제1 용접영상은 상기 제2 용융풀 영상을 인식하기 위한 기준이 되는 상기 특징점을 설정하기 위한 빅데이터로서 다수로 구성되는 상기 제1 아크광 영상, 상기 제1 용융풀 영상 및 상기 제1 배경 영상으로 구성되는 영상 데이터셋(dataset)이고, 상기 (b) 단계는, (b1) 상기 영상분할부가 상기 영상촬영부로부터 전송되는 상기 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 수신하는 단계; 및 (b2) 상기 영상분할부가 상기 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 지도 학습하여 상기 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 설정하는 단계;를 포함하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 (c) 단계는, (c1) 상기 영상촬영부가 상기 용접부의 끝단을 다시 촬영하여 상기 다수의 제2 용접영상을 획득하는 단계; (c2) 상기 영상촬영부가 상기 영상분할부로 상기 다수의 제2 용접영상을 전송하는 단계;를 포함하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 (d) 단계는, (d1) 상기 영상분할부가 상기 영상촬영부로부터 전송되는 상기 다수의 제2 용접영상을 수신하는 단계; (d2) 상기 영상분할부가 상기 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 기준으로 상기 다수의 제2 용접영상에 매칭시켜 상기 다수의 제2 용접영상으로부터 상기 제2 용융풀 영상을 분리시키는 단계; 및 (d3) 상기 영상분할부가 상기 형상정보 측정부로 상기 제2 용융풀 영상을 전송하는 단계;를 포함하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 (e) 단계는, (e1) 상기 형상정보 측정부가 상기 영상분할부로부터 전송되는 상기 제2 용융풀 영상을 수신하는 단계; (e2) 상기 형상정보 측정부가 상기 제2 용융풀 영상에 해당하는 픽셀만을 추출하는 단계; (e3) 상기 형상정보 측정부가 상기 제2 용융풀 영상의 최외곽에 위치하는 픽셀들이 이어지는 제2 용융풀 경계선을 추출하는 단계; (e4) 상기 형상정보 측정부가 상기 추출된 제2 용융풀 경계선을 기반으로 상기 제2 용융풀 영상의 폭(w), 길이(l), 넓이(s) 및 상기 폭(w) 대비 길이 비율(r)을 측정하는 단계;를 포함하고, 상기 형상정보 측정부는 영상처리 알고리즘을 적용하여 상기 제2 용융풀 영상에 대한 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 포함하는 형상정보를 측정하고, 상기 제2 용융풀 영상의 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 상기 모재의 두께(t)를 5x1 행렬의 특징 벡터 데이터로 변환시키는 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 (f) 단계는, (f1) 상기 용입깊이 도출부가 상기 형상정보 측정부로부터 전송되는 상기 제2 용융풀 영상에 대한 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 포함하는 형상정보를 수신하는 단계; (f2) 상기 용입깊이 도출부가 상기 제2 용융풀 영상에 대한 폭(w), 길이(l), 넓이(s) 및 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 인공지능 학습하여 상기 제2 용융풀 영상에 대한 상기 용입깊이를 도출하는 단계; 및 (f3) 상기 용입깊이 도출부가 상기 제어부로 상기 용입깊이를 전송하는 단계;를 포함하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 (g) 단계는, (g1) 상기 제어부가 상기 용입깊이 도출부로부터 전송되는 상기 용입깊이를 수신하는 단계; 및 (g2) 상기 제어부가 상기 용입깊이와 기설정된 용입깊이를 비교한 결과에 따라 상기 용접부의 제어 여부를 결정하는 단계;를 포함하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 (g2) 단계 이후, (h) 상기 제어부가 상기 용접부의 전류 및 용접속도를 제어하는 단계;를 더 포함하고, 상기 (h) 단계는, 상기 용입깊이가 상기 기설정된 용입깊이보다 클 경우, 상기 제어부가 상기 용접부를 제어하여 상기 용접부의 전류를 감소시키거나 상기 용접부의 용접속도를 증가시키는 단계를 포함하는 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 (h) 단계는, 상기 용입깊이가 상기 기설정된 용입깊이보다 작을 경우, 상기 제어부가 상기 용접부를 제어하여 상기 용접부의 전류를 증가시키거나 상기 용접부의 용접속도를 감소시키는 단계를 더 포함하는 것을 특징으로 할 수 있다.
상기와 같은 구성에 따르는 본 발명의 효과는, 영상분할부가 영상촬영부에서 촬영된 다수의 제1 용접영상을 지도 학습하여 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 추출하고 영상촬영부에서 추가적으로 촬영되는 다수의 제2 용접영상에 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 매칭시켜 제2 용융풀 영상을 추출함으로써 용융풀의 인식 오류를 최소화하여 인식률을 향상시킬 수 있다.
또한, 상기와 같은 구성에 따르는 본 발명의 효과는, 형상정보 측정부가 제2 용융풀 영상을 기반으로 제2 영상풀 영상에 대한 폭(w), 길이(l), 넓이(s) 및 폭(w) 대비 길이 비율(r)을 측정하고 용입깊이 도출부가 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 인공지능 학습시켜 제2 용융풀 영상의 용입깊이(p)를 실시간으로 도출함으로써 아크 용접의 작업 상태를 실시간으로 모니터링할 수 있다.
또한, 상기와 같은 구성에 따르는 본 발명의 효과는, 도출된 제어부가 제2 용융풀 영상의 용입깊이(p)와 기설정된 용입깊이(p)를 비교한 결과에 따라 용접부(110)의 전류 및 용접속도를 제어함으로써 작업 오차를 최소화시킬 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1의 (a), (b), (c), (d)는 종래기술에 따라 영상처리된 용접영상을 나타낸 이미지이다.
도 2는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 영상촬영부에서 촬영된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 포함하는 제1 용접영상이 사용자에 의해 수동으로 라벨링된 것을 나타낸 이미지이다.
도 4의 (a), (b), (c)는 도 3에서 라벨링된 다수의 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상으로 구성되는 데이터셋(dateset)을 나타낸 이미지이다.
도 5는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 영상분할부에 적용되는 VGG 16 넷(net) 기반의 CNN(Convolutional Neural Network) 알고리즘을 나타낸 개념도이다.
도 6의 (a), (b), (c)는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 영상분할부가 다수의 제1 용접영상을 지도 학습하는 과정을 나타낸 이미지이다.
도 7 내지 도 10은 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 영상분할부의 지도 학습 과정에서 조건별 결과를 나타낸 도면이다.
도 11은 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 형상정보 측정부에서 영상처리 알고리즘을 이용하여 제1 용융풀 영상에 대한 형상정보를 추출하는 과정을 나타낸 도면이다.
도 12는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 형상정보 측정부에서 획득되는 형상정보 및 용입깊이 도출부에서 획득되는 용입깊이를 나타낸 도면이다.
도 13은 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템 및 방법에서 추출된 제1 용융풀 영상으로부터 용입깊이를 도출하는 과정을 나타낸 도면이다.
도 14는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 방법을 나타낸 순서도이다.
도 2는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 영상촬영부에서 촬영된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 포함하는 제1 용접영상이 사용자에 의해 수동으로 라벨링된 것을 나타낸 이미지이다.
도 4의 (a), (b), (c)는 도 3에서 라벨링된 다수의 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상으로 구성되는 데이터셋(dateset)을 나타낸 이미지이다.
도 5는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 영상분할부에 적용되는 VGG 16 넷(net) 기반의 CNN(Convolutional Neural Network) 알고리즘을 나타낸 개념도이다.
도 6의 (a), (b), (c)는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 영상분할부가 다수의 제1 용접영상을 지도 학습하는 과정을 나타낸 이미지이다.
도 7 내지 도 10은 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 영상분할부의 지도 학습 과정에서 조건별 결과를 나타낸 도면이다.
도 11은 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 형상정보 측정부에서 영상처리 알고리즘을 이용하여 제1 용융풀 영상에 대한 형상정보를 추출하는 과정을 나타낸 도면이다.
도 12는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 형상정보 측정부에서 획득되는 형상정보 및 용입깊이 도출부에서 획득되는 용입깊이를 나타낸 도면이다.
도 13은 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템 및 방법에서 추출된 제1 용융풀 영상으로부터 용입깊이를 도출하는 과정을 나타낸 도면이다.
도 14는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 방법을 나타낸 순서도이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
1. 용융풀 인식 및 용입깊이 제어 시스템(100)
이하, 도 2 내지 도 13을 참조하여 본 발명의 일 실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템을 설명하도록 한다.
도 2는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템을 나타낸 블록도이다.
본 발명의 일 실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템(100)은 용접부(110), 영상촬영부(120), 딥러닝부(130) 및 제어부(140)를 포함한다.
용접부(110)는 아크광을 방전시켜 발생한 열을 적어도 2개의 모재가 접하는 접합부로 공급한다.
이를 위한 용접부(110)는 적어도 2개의 모재가 접하는 접합부로 아크광을 전달하는 용접봉일 수 있다. 또한, 용접부(110)에는 사용자가 파지하기 위한 용접봉 홀더가 연결된다.
아울러, 용접부(110)가 동작하기 위해 용접봉 홀더와 전기적으로 연결되는 전기선, 모재에 전기적으로 연결되는 접지클램프, 접지 클램프와 전기적으로 연결되는 접지선 및 전기선과 접지선이 전기적으로 연결되고 아크광을 발생시키는 아크 용접기가 구비될 수 있다.
상기한 용접부(110)의 끝단은 적어도 2개의 모재가 접하는 접합부를 향하여 소정거리 이격된 상태에서 접합부를 따라 이동함에 따라 적어도 2개의 모재를 아크용접한다.
도 3은 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 영상촬영부에서 촬영된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 포함하는 제1 용접영상이 사용자에 의해 수동으로 라벨링된 것을 나타낸 이미지이다. 도 4의 (a), (b), (c)는 도 3에서 라벨링된 다수의 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상으로 구성되는 데이터셋(dateset)을 나타낸 이미지이다.
영상촬영부(120)는 용접부(110)의 끝단을 촬영하여 도 3의 (a) 및 도 4의 (b)에 도시된 바와 같이 제1 아크광 영상, 접합부에 형성되는 제1 용융풀 영상 및 제1 용융풀 영상의 주변에 위치하는 배경 영상을 포함하는 다수의 제1 용접영상을 실시간으로 획득한다.
여기서, 다수의 제1 용접영상은 제2 용융풀 영상을 인식하기 위한 기준이 되는 특징점을 설정하기 위한 빅데이터로서 다수로 구성되는 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상으로 구성되는 영상 데이터셋(dataset)이다.
획득된 다수의 제1 용접영상은 도 3의 (b)에 도시된 바와 같이 사용자가 수동으로 라벨링한다.
구체적으로 라벨링은 도 3의 (b) 및 도 4의 (a)에 도시된 바와 같이 제1 아크광 영상에 아크광이라고 표시하고, 제1 용융풀에 용융풀이라고 표시하며, 제1 배경 영상에 배경이라고 표시하여 해당 영상이 무엇에 관한 것인지를 표시하는 것이다.
여기서, 제1 아크광 영상, 제1 용융풀 영상, 제1 배경 영상은 딥러닝부(130)가 지도 학습을 통한 아크광, 용융풀 및 배경에 대한 특징점을 도출 및 선정하기 위한 이미지로서, 영상촬영부(120)가 최초로 촬영한 다수의 제1 용접영상이다.
상기한 제1 용접영상은 도 4의 (c)에 도시된 바와 같이 제1 아크광 영상, 제1 용융풀 영상, 제1 배경 영상을 포함하고, 다수로 구성되어 데이터셋을 이룬다.
한편, 후술되는 제2 아크광 영상, 제2 용융풀 영상, 제2 배경 영상은 본 발명에서 용융풀을 인식하고자 하는 이미지로서, 영상촬영부(110)로부터 촬영되며 딥러닝부(130)에 의해 아크광, 용융풀 및 배경에 대한 특징점과 매칭되는 이미지이다.
상기한 영상촬영부(120)는 라벨링된 제1 아크광 영상, 제1 용융풀 영상, 제1 배경 영상을 딥러닝부(130)에 구비된 영상분할부(131)로 전송한 후 추가적으로 제2 아크광 영상, 제2 용융풀 영상, 제2 배경 영상을 획득하여 영상분할부(130)로 전송한다.
딥러닝부(130)는 사용자에 의해 수동으로 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 지도 학습(supervised learning)하여 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 추출 및 설정하고 제1 용융풀 영상에 대한 특징점을 기반으로 영상촬영부(120)로부터 추가로 획득되는 다수의 제2 용접영상로부터 제2 용융풀 영상을 추출하며 제2 용융풀 영상을 영상처리하여 제2 용융풀 영상에 대한 형상정보를 측정하고 측정된 형상정보를 인공지능 학습하여 용입깊이를 도출한다.
이를 위한 딥러닝부(130)는 영상분할부(131), 형상정보 측정부(132) 및 용입깊이 도출부(133)를 포함한다.
도 5는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 영상분할부에 적용되는 VGG 16 넷(net) 기반의 CNN(Convolutional Neural Network) 알고리즘을 나타낸 개념도이다. 도 6의 (a), (b), (c)는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 영상분할부가 다수의 제1 용접영상을 지도 학습하는 과정을 나타낸 이미지이다. 도 7 내지 도 10은 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 영상분할부의 지도 학습 과정에서 조건별 결과를 나타낸 도면이다.
영상분할부(131)는 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 지도 학습하여 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 추출 및 설정한다.
구체적으로 영상분할부(131)는 도 5에 도시된 바와 같이 영상 분할 기법으로 VGG 16 넷(net) 기반의 CNN(Convolutional Neural Network) 알고리즘이 적용되며, 상기한 CNN 알고리즘은 공지기술에 해당하므로 구체적인 설명은 생략하도록 한다.
예시적으로 도 6의 (a), (b), (c)에 도시된 바와 같이 다양한 용접조건에 따른 제1 용접영상들이 영상분할부(131)에서 지도 학습될 수 있다.
지도 학습에 사용되는 학습변수는 도 6의 (a), (b), (c)에 도시된 바와 같이 학습에서 조절되는 변수는 학습률(learning rate), batch size, epoch로서 총 3개이다.
구체적으로 도 6의 (a)는 학습률(learning rate)=0.001, batch size=30, epoch=300일 때의 제1 용접 영상을 나타내고, 도 6의 (b)는 학습률(learning rate)=0.001, batch size=50, epoch=500일 때의 제1 용접 영상을 나타내며, 도 6의 (c)는 학습률(learning rate)=0.001, batch size=50, epoch=1000일 때의 제1 용접 영상을 나타낸다.
학습률(learning rate)은 스칼라와의 곱을 통해 다음 지점을 결정하기 위한 변수로서, 경사하강법 알고리즘에서 사용된다.
또한, 학습률(learning rate)은 local minimum에 효율적으로 도달할 수 있도록 너무 크지도 않고 작지도 않도록 적절하게 세팅해야 한다.
만약, 학습률이 클 경우, 데이터가 무질서하게 이탈하며, 최저점에 수렴하지 못한다.
한편, 학습률이 작을 경우, 학습시간이 매우 오래 걸리며, 최저점에 도달하지 못한다.
이와 같은 학습률은 변화에 따라 지도 학습이 빠르거나 천천히 진행되도록 한다.
다음, batch size는 데이터의 크기를 나타내는 것으로서, 도 4의 (c)에서 batch size는 16(=데이터의 개수)이다.
Epoch는 다수의 batch size를 한 번에 학습하는 데이터셋으로서, 도 4의 (c)에서 batch size가 16이면, Epoch는 1이다.
또한, 도 4의 (c)에서 batch size가 4(16개 중 가로열만 포함)이면, Epoch는 4이다.
이에 따라 상기한 3개의 변수(학습률(learning rate), batch size, epoch) 중 1개의 변수만 바꾸어 가면서 학습한 결과가 도 7 내지 도 10에 도시되어 있다.
도 7 및 도 8은 학습률(learning rate) 및 epoch가 0.001, 300으로 동일하고, batch size만 각각 20, 30으로 변화를 주어서 학습한 결과를 도시한다.
도 9 및 도 10은 학습률(learning rate) 및 batch size가 0.001, 50으로 동일하고, epoch만 각각 500, 1000으로 변화를 주어서 학습한 결과를 도시한다.
상기한 바와 같이 지도 학습을 위한 3가지 변수에 변화를 주면서 지도 학습시켜본 결과, 도 10에 도시된 바와 같이 학습률(learning rate) = 0.001, batch size = 50, epoch = 1000에서 용융풀 영상을 학습시키고 인식하는데 있어 최적 변수임이 도출되었다.
최적 변수를 도출하기 위한 기준은 추출된 용융풀 영상이 가지는 경계선의 명확한 정도, epoch의 증가(epoch의 증가에 따라 용융풀 영상을 인식하는 알고리즘의 정확도도 대체적으로 증가)시키는 것이다.
다만, 무조건적으로 epoch를 증가시킬 경우 학습에 소요되는 시간이 증가하고, 학습데이터에만 적합한 형태로 학습이 이루어져 실제 아크용접된 결과와 학습데이터의 결과가 달라서 용융풀 영상의 인식 정확도가 떨어져 나타나는 경우도 있다.
이에 따라 상기한 경우들도 종합적으로 고려하여 학습률(learning rate) = 0.001, batch size = 50, epoch = 1000를 최적 변수로 도출하었다.
다음, 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 추출 및 설정된 후 영상촬영부(120)로부터 다수의 제2 용접영상이 추가적으로 전송되면, 영상분할부(131)는 제1 용융풀 영상에 대한 특징점을 기준으로 영상촬영부(120)로부터 전송되는 다수의 제2 용접영상에 매칭시켜 다수의 제2 용접영상으로부터 제2 용융풀 영상을 추출 및 분리시킨다.
이를 위한 제1 용융풀 영상에 대한 특징점은 제1 아크광 영상 및 제1 배경 영상과 다른 고유의 명도, 채도, 색상, 제1 용융풀 영상의 형상 패턴을 포함할 수 있으나, 이에 한정되는 것은 아니다.
상기한 영상분할부(131)는 분리된 제2 용융풀 영상을 형상정보 측정부(132)로 전송한다.
도 11은 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 형상정보 측정부에서 영상처리 알고리즘을 이용하여 제1 용융풀 영상에 대한 형상정보를 추출하는 과정을 나타낸 도면이다. 도 12는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 형상정보 측정부에서 획득되는 형상정보 및 용입깊이 도출부에서 획득되는 용입깊이를 나타낸 도면이다.
형상정보 측정부(132)는 영상분할부(131)로부터 전송되는 제2 용융풀 영상을 영상처리하여 제2 용융풀 영상에 대한 형상정보를 측정한다.
구체적으로 형상정보 측정부(132)는 도 11에 도시된 바와 같이 제2 용융풀 영상에 해당하는 픽셀만을 추출(convex hull 영상처리 알고리즘 적용)한 후 제2 용융풀 영상의 최외곽에 위치하는 픽셀들이 이어지는 제2 용융풀 경계선을 추출하고 추출된 제2 용융풀 경계선을 기반으로 상기 제2 용융풀 영상의 폭(w), 길이(l), 넓이(s) 및 폭(w) 대비 길이 비율(r)을 측정한다.
즉, 상기한 형상정보 측정부(132)는 영상처리 알고리즘을 적용하여 도 12에 도시된 바와 같이 제2 용융풀 영상에 대한 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 포함하는 형상정보를 측정하고, 제2 용융풀 영상의 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 5x1 행렬의 벡터 데이터로 변환시킨다. 여기서, 모재의 두께(t)는 미리 알고 있는 정보이다.
정리하면, 영상분할부(131)가 1차 딥러닝 알고리즘을 통해 추출된 용융풀 형상을 인식하고, 형상정보 측정부(132)가 convex hull 영상처리 알고리즘을 통해 용융 풀 형상을 감싸는 최외각 경계선을 추출하며, 이를 통해 용융 풀 형상의 길이, 폭, 넓이, 폭 대비 길이 비(rate)를 측정한다.
이때, 측정된 용융풀 형상의 데이터는 모재의 두께(t) 정보와 결합하여 특징 벡터 데이터로 변환되며, 변환된 특징 벡터 데이터는 현재 용융풀 모니터링에서 포착된 용융풀 형상을 나타낸다.
상기한 형상정보 측정부(132)는 형상정보를 변환한 특징 벡터 데이터를 용입깊이 도출부(133)로 전송한다.
도 13은 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템 및 방법에서 추출된 제1 용융풀 영상으로부터 용입깊이를 도출하는 과정을 나타낸 도면이다.
도 13을 참조하면, 용입깊이 도출부(133)는 형상정보 측정부(132)로부터 전송되는 5x1 행렬의 특징 벡터 데이터를 인공지능 학습하여 제2 용융풀 영상의 용입깊이(p)를 도출한다.
정리하면, 용입깊이 도출부(133)에서 이루어지는 2차 학습은 현재 용융풀이 캡쳐된 위치에서의 용입 깊이와 연계하여 이루어지고, 용융풀에 대한 특징 벡터 데이터를 딥러닝 모델에 입력하여 용입 깊이를 도출하는 알고리즘에 의해 이루어진다.
이후, 용입깊이 도출부(133)는 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)가 변환된 5x1 행렬의 벡터 데이터가 입력되는 용입 깊이를 도출하는 알고리즘을 이용하여 용입 깊이를 실시간으로 도출한다.
상기한 용입깊이 도출부(133)는 용입깊이를 제어부로 전송한다.
제어부(140)는 도출된 용입깊이와 기설정된 용입깊이를 비교한 결과에 따라 용접부(110)의 전류 및 용접속도를 제어한다.
구체적으로 제어부(140)는 용입깊이와 기설정된 용입깊이가 같을 경우, 용접부(110)가 현재 상태를 유지하도록 용접부(110)를 제어한다.
즉, 상기한 경우, 구현하고자 하는 아크용접의 비드가 잘 형성되고 있기 때문에 용접부(110)가 현재의 전류 및 용접속도를 유지하도록 용접부(110)를 제어한다.
한편, 제어부는 용입깊이와 기설정된 용입깊이가 다를 경우, 용접부(110)의 전류 및 용접속도를 제어한다.
구체적으로 제어부(140)는 용입깊이가 기설정된 용입깊이보다 클 경우, 용접부(110)를 제어하여 용접부(110)의 전류를 감소시키거나 용접부(110)의 용접속도를 증가시킨다.
상기한 경우는 모재와 용접부(110)의 끝단이 가까운 상태로서 구현하고자 하는 아크용접의 비드보다 더 크고 깊게 형성되고 있으므로 용접부(110)의 전류를 감소시키거나 용접부(110)의 용접속도를 증가시켜 모재가 덜 녹게 하여 아크용접이 이루어지도록 함으로써 기설정된 용입깊이로 아크용접이 수행될 수 있도록 한다.
한편, 제어부(140)는 용입깊이가 기설정된 용입깊이보다 작을 경우, 용접부(110)를 제어하여 용접부(110)의 전류를 증가시키거나 용접부(110)의 용접속도를 감소시킨다.
상기한 경우는 모재와 용접부(110)의 끝단이 먼 상태로서 구현하고자 하는 아크용접의 비드보다 더 작고 얕게 형성되고 있으므로 용접부(110)의 전류를 증가시키거나 용접부(110)의 용접속도를 감소시켜 모재가 더 녹게 하여 아크용접이 이루어지도록 함으로써 기설정된 용입깊이로 아크용접이 수행될 수 있도록 한다.
2. 용융풀 인식 및 용입깊이 제어 방법
이하, 도 2 내지 도 14를 참조하여 본 발명의 일 실시예에 따른 용융풀 인식 및 용입깊이 제어 방법을 설명하도록 한다.
도 14는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 방법을 나타낸 순서도이다.
도 14를 참조하면, 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 방법은 (a) 영상촬영부(120)에서 촬영된 다수의 제1 용접영상이 사용자에 의해 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상으로 라벨링되는 단계(S100), (b) 딥러닝부(130)에 구비된 영상분할부(131)가 다수의 제1 용접영상이 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상으로 라벨링된 영상 데이터셋을 지도 학습하여 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 설정하는 단계(S200), (c) 영상촬영부(120)가 촬영된 다수의 제2 용접영상을 영상분할부(131)로 전송하는 단계(S300), (d) 영상분할부(131)가 제1 아크광 영상, 제1 용접풀 영상 및 제1 배경 영상에 대한 특징점을 기반으로 다수의 제2 용접영상에서 제2 용융풀 영상을 분리하는 단계(S400), (e) 딥러닝부(130)에 구비된 형상정보 측정부(132)가 제2 용융풀 영상을 기반으로 제2 용융풀 영상의 형상정보를 측정하는 단계, (f) 용입깊이 도출부(132)가 제2 용융풀 영상의 형상정보를 인공지능 학습하여 용입깊이를 도출하는 단계(S500) 및 (g) 제어부(140)가 용입깊이 도출부(133)로부터 전송되는 용입깊이와 기설정된 용입깊이를 비교한 결과에 따라 용접부(110)의 제어 여부를 결정하는 단계를 포함한다.
구체적으로 상기 (a) 단계는, (a1) 영상촬영부(120)가 용접부(110)의 끝단을 촬영하여 다수의 제1 용접영상을 획득하는 단계, (a2) 사용자에 의해 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상이 라벨링되는 단계 및 (a3) 영상촬영부(120)가 영상분할부(131)로 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 전송하는 단계를 포함한다.
여기서, 다수의 제1 용접영상은 제2 용융풀 영상을 인식하기 위한 기준이 되는 다수의 제1 용접영상에 대한 특징점을 설정하기 위한 빅데이터로서 다수로 구성되는 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상으로 구성되는 영상 데이터셋(dataset)이다.
또한, 상기 (a2) 단계에서, 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상은 도 3의 (b)에 도시된 바와 같이 문자로서 표현되거나 도 4의 (b)에 도시된 바와 같이 색상으로 표현될 수 있다.
다음, 상기 (b) 단계는, (b1) 영상분할부(131)가 영상촬영부(120)로부터 전송되는 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 수신하는 단계 및 (b2) 영상분할부(131)가 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 지도 학습하여 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 추출 및 설정하는 단계를 포함한다.
다음, 상기 (c) 단계는, (c1) 영상촬영부(120)가 용접부(110)의 끝단을 다시 촬영하여 다수의 제2 용접영상을 획득하는 단계, (c2) 영상촬영부(120)가 영상분할부(131)로 다수의 제2 용접영상을 전송하는 단계를 포함한다.
다음, 상기 (d) 단계는, (d1) 영상분할부(131)가 영상촬영부(120)로부터 전송되는 다수의 제2 용접영상을 수신하는 단계, (d2) 영상분할부(120)가 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 기준으로 다수의 제2 용접영상에 매칭시켜 다수의 제2 용접영상으로부터 제2 용융풀 영상을 추출 및 분리시키는 단계 및 (d3) 영상분할부(131)가 형상정보 측정부(132)로 제2 용융풀 영상을 전송하는 단계를 포함한다.
다음, 상기 (e) 단계는, (e1) 형상정보 측정부(132)가 영상분할부(131)로부터 전송되는 제2 용융풀 영상을 수신하는 단계, (e2) 형상정보 측정부(132)가 제2 용융풀 영상에 해당하는 픽셀만을 추출하는 단계, (e3) 형상정보 측정부(132)가 제2 용융풀 영상의 최외곽에 위치하는 픽셀들이 이어지는 제2 용융풀 경계선을 추출하는 단계, (e4) 형상정보 측정부(132)가 추출된 제2 용융풀 경계선을 기반으로 제2 용융풀 영상의 폭(w), 길이(l), 넓이(s) 및 폭(w) 대비 길이 비율(r)을 측정하는 단계를 포함한다.
여기서, 형상정보 측정부(132)는 영상처리 알고리즘을 적용하여 제2 용융풀 영상에 대한 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 포함하는 형상정보를 측정하고, 제2 용융풀 영상의 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 5x1 행렬의 벡터 데이터로 변환시킨다.
다음, 상기 (f) 단계는, (f1) 용입깊이 도출부(133)가 형상정보 측정부(132)로부터 전송되는 제2 용융풀 영상에 대한 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 포함하는 형상정보를 수신하는 단계, (f2) 용입깊이 도출부(132)가 제2 용융풀 영상에 대한 폭(w), 길이(l), 넓이(s) 및 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 인공지능 학습하여 제2 용융풀 영상에 대한 용입깊이를 도출하는 단계 및 (f3) 용입깊이 도출부(133)가 제어부로 용입깊이를 전송하는 단계를 포함한다.
다음, 상기 (g) 단계는, (g1) 제어부(140)가 용입깊이 도출부(133)로부터 전송되는 용입깊이를 수신하는 단계 및 (g2) 제어부(140)가 용입깊이와 기설정된 용입깊이를 비교한 결과에 따라 용접부(110)의 제어 여부를 결정하는 단계를 포함한다.
또한, 본 발명은 상기 (g2) 단계 이후, 용입깊이와 기설정된 용입깊이가 다를 경우, (h) 제어부(140)가 용접부(110)의 전류 및 용접속도를 제어하는 단계를 더 포함한다.
구체적으로 상기 (h) 단계는, 용입깊이가 기설정된 용입깊이보다 클 경우, 제어부(140)가 용접부(110)를 제어하여 용접부(110)의 전류를 감소시키거나 용접부(110)의 용접속도를 증가시키는 단계를 포함한다.
한편, 상기 (h) 단계는, 용입깊이가 기설정된 용입깊이보다 작을 경우, 제어부(140)가 용접부(110)를 제어하여 용접부(110)의 전류를 증가시키거나 용접부(110)의 용접속도를 감소시키는 단계를 더 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
1. 용융풀 인식 및 용입깊이 제어 시스템(100)
이하, 도 2 내지 도 13을 참조하여 본 발명의 일 실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템을 설명하도록 한다.
도 2는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템을 나타낸 블록도이다.
본 발명의 일 실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템(100)은 용접부(110), 영상촬영부(120), 딥러닝부(130) 및 제어부(140)를 포함한다.
용접부(110)는 아크광을 방전시켜 발생한 열을 적어도 2개의 모재가 접하는 접합부로 공급한다.
이를 위한 용접부(110)는 적어도 2개의 모재가 접하는 접합부로 아크광을 전달하는 용접봉일 수 있다. 또한, 용접부(110)에는 사용자가 파지하기 위한 용접봉 홀더가 연결된다.
아울러, 용접부(110)가 동작하기 위해 용접봉 홀더와 전기적으로 연결되는 전기선, 모재에 전기적으로 연결되는 접지클램프, 접지 클램프와 전기적으로 연결되는 접지선 및 전기선과 접지선이 전기적으로 연결되고 아크광을 발생시키는 아크 용접기가 구비될 수 있다.
상기한 용접부(110)의 끝단은 적어도 2개의 모재가 접하는 접합부를 향하여 소정거리 이격된 상태에서 접합부를 따라 이동함에 따라 적어도 2개의 모재를 아크용접한다.
도 3은 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 영상촬영부에서 촬영된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 포함하는 제1 용접영상이 사용자에 의해 수동으로 라벨링된 것을 나타낸 이미지이다. 도 4의 (a), (b), (c)는 도 3에서 라벨링된 다수의 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상으로 구성되는 데이터셋(dateset)을 나타낸 이미지이다.
영상촬영부(120)는 용접부(110)의 끝단을 촬영하여 도 3의 (a) 및 도 4의 (b)에 도시된 바와 같이 제1 아크광 영상, 접합부에 형성되는 제1 용융풀 영상 및 제1 용융풀 영상의 주변에 위치하는 배경 영상을 포함하는 다수의 제1 용접영상을 실시간으로 획득한다.
여기서, 다수의 제1 용접영상은 제2 용융풀 영상을 인식하기 위한 기준이 되는 특징점을 설정하기 위한 빅데이터로서 다수로 구성되는 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상으로 구성되는 영상 데이터셋(dataset)이다.
획득된 다수의 제1 용접영상은 도 3의 (b)에 도시된 바와 같이 사용자가 수동으로 라벨링한다.
구체적으로 라벨링은 도 3의 (b) 및 도 4의 (a)에 도시된 바와 같이 제1 아크광 영상에 아크광이라고 표시하고, 제1 용융풀에 용융풀이라고 표시하며, 제1 배경 영상에 배경이라고 표시하여 해당 영상이 무엇에 관한 것인지를 표시하는 것이다.
여기서, 제1 아크광 영상, 제1 용융풀 영상, 제1 배경 영상은 딥러닝부(130)가 지도 학습을 통한 아크광, 용융풀 및 배경에 대한 특징점을 도출 및 선정하기 위한 이미지로서, 영상촬영부(120)가 최초로 촬영한 다수의 제1 용접영상이다.
상기한 제1 용접영상은 도 4의 (c)에 도시된 바와 같이 제1 아크광 영상, 제1 용융풀 영상, 제1 배경 영상을 포함하고, 다수로 구성되어 데이터셋을 이룬다.
한편, 후술되는 제2 아크광 영상, 제2 용융풀 영상, 제2 배경 영상은 본 발명에서 용융풀을 인식하고자 하는 이미지로서, 영상촬영부(110)로부터 촬영되며 딥러닝부(130)에 의해 아크광, 용융풀 및 배경에 대한 특징점과 매칭되는 이미지이다.
상기한 영상촬영부(120)는 라벨링된 제1 아크광 영상, 제1 용융풀 영상, 제1 배경 영상을 딥러닝부(130)에 구비된 영상분할부(131)로 전송한 후 추가적으로 제2 아크광 영상, 제2 용융풀 영상, 제2 배경 영상을 획득하여 영상분할부(130)로 전송한다.
딥러닝부(130)는 사용자에 의해 수동으로 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 지도 학습(supervised learning)하여 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 추출 및 설정하고 제1 용융풀 영상에 대한 특징점을 기반으로 영상촬영부(120)로부터 추가로 획득되는 다수의 제2 용접영상로부터 제2 용융풀 영상을 추출하며 제2 용융풀 영상을 영상처리하여 제2 용융풀 영상에 대한 형상정보를 측정하고 측정된 형상정보를 인공지능 학습하여 용입깊이를 도출한다.
이를 위한 딥러닝부(130)는 영상분할부(131), 형상정보 측정부(132) 및 용입깊이 도출부(133)를 포함한다.
도 5는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 영상분할부에 적용되는 VGG 16 넷(net) 기반의 CNN(Convolutional Neural Network) 알고리즘을 나타낸 개념도이다. 도 6의 (a), (b), (c)는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 영상분할부가 다수의 제1 용접영상을 지도 학습하는 과정을 나타낸 이미지이다. 도 7 내지 도 10은 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 영상분할부의 지도 학습 과정에서 조건별 결과를 나타낸 도면이다.
영상분할부(131)는 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 지도 학습하여 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 추출 및 설정한다.
구체적으로 영상분할부(131)는 도 5에 도시된 바와 같이 영상 분할 기법으로 VGG 16 넷(net) 기반의 CNN(Convolutional Neural Network) 알고리즘이 적용되며, 상기한 CNN 알고리즘은 공지기술에 해당하므로 구체적인 설명은 생략하도록 한다.
예시적으로 도 6의 (a), (b), (c)에 도시된 바와 같이 다양한 용접조건에 따른 제1 용접영상들이 영상분할부(131)에서 지도 학습될 수 있다.
지도 학습에 사용되는 학습변수는 도 6의 (a), (b), (c)에 도시된 바와 같이 학습에서 조절되는 변수는 학습률(learning rate), batch size, epoch로서 총 3개이다.
구체적으로 도 6의 (a)는 학습률(learning rate)=0.001, batch size=30, epoch=300일 때의 제1 용접 영상을 나타내고, 도 6의 (b)는 학습률(learning rate)=0.001, batch size=50, epoch=500일 때의 제1 용접 영상을 나타내며, 도 6의 (c)는 학습률(learning rate)=0.001, batch size=50, epoch=1000일 때의 제1 용접 영상을 나타낸다.
학습률(learning rate)은 스칼라와의 곱을 통해 다음 지점을 결정하기 위한 변수로서, 경사하강법 알고리즘에서 사용된다.
또한, 학습률(learning rate)은 local minimum에 효율적으로 도달할 수 있도록 너무 크지도 않고 작지도 않도록 적절하게 세팅해야 한다.
만약, 학습률이 클 경우, 데이터가 무질서하게 이탈하며, 최저점에 수렴하지 못한다.
한편, 학습률이 작을 경우, 학습시간이 매우 오래 걸리며, 최저점에 도달하지 못한다.
이와 같은 학습률은 변화에 따라 지도 학습이 빠르거나 천천히 진행되도록 한다.
다음, batch size는 데이터의 크기를 나타내는 것으로서, 도 4의 (c)에서 batch size는 16(=데이터의 개수)이다.
Epoch는 다수의 batch size를 한 번에 학습하는 데이터셋으로서, 도 4의 (c)에서 batch size가 16이면, Epoch는 1이다.
또한, 도 4의 (c)에서 batch size가 4(16개 중 가로열만 포함)이면, Epoch는 4이다.
이에 따라 상기한 3개의 변수(학습률(learning rate), batch size, epoch) 중 1개의 변수만 바꾸어 가면서 학습한 결과가 도 7 내지 도 10에 도시되어 있다.
도 7 및 도 8은 학습률(learning rate) 및 epoch가 0.001, 300으로 동일하고, batch size만 각각 20, 30으로 변화를 주어서 학습한 결과를 도시한다.
도 9 및 도 10은 학습률(learning rate) 및 batch size가 0.001, 50으로 동일하고, epoch만 각각 500, 1000으로 변화를 주어서 학습한 결과를 도시한다.
상기한 바와 같이 지도 학습을 위한 3가지 변수에 변화를 주면서 지도 학습시켜본 결과, 도 10에 도시된 바와 같이 학습률(learning rate) = 0.001, batch size = 50, epoch = 1000에서 용융풀 영상을 학습시키고 인식하는데 있어 최적 변수임이 도출되었다.
최적 변수를 도출하기 위한 기준은 추출된 용융풀 영상이 가지는 경계선의 명확한 정도, epoch의 증가(epoch의 증가에 따라 용융풀 영상을 인식하는 알고리즘의 정확도도 대체적으로 증가)시키는 것이다.
다만, 무조건적으로 epoch를 증가시킬 경우 학습에 소요되는 시간이 증가하고, 학습데이터에만 적합한 형태로 학습이 이루어져 실제 아크용접된 결과와 학습데이터의 결과가 달라서 용융풀 영상의 인식 정확도가 떨어져 나타나는 경우도 있다.
이에 따라 상기한 경우들도 종합적으로 고려하여 학습률(learning rate) = 0.001, batch size = 50, epoch = 1000를 최적 변수로 도출하었다.
다음, 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 추출 및 설정된 후 영상촬영부(120)로부터 다수의 제2 용접영상이 추가적으로 전송되면, 영상분할부(131)는 제1 용융풀 영상에 대한 특징점을 기준으로 영상촬영부(120)로부터 전송되는 다수의 제2 용접영상에 매칭시켜 다수의 제2 용접영상으로부터 제2 용융풀 영상을 추출 및 분리시킨다.
이를 위한 제1 용융풀 영상에 대한 특징점은 제1 아크광 영상 및 제1 배경 영상과 다른 고유의 명도, 채도, 색상, 제1 용융풀 영상의 형상 패턴을 포함할 수 있으나, 이에 한정되는 것은 아니다.
상기한 영상분할부(131)는 분리된 제2 용융풀 영상을 형상정보 측정부(132)로 전송한다.
도 11은 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 형상정보 측정부에서 영상처리 알고리즘을 이용하여 제1 용융풀 영상에 대한 형상정보를 추출하는 과정을 나타낸 도면이다. 도 12는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 형상정보 측정부에서 획득되는 형상정보 및 용입깊이 도출부에서 획득되는 용입깊이를 나타낸 도면이다.
형상정보 측정부(132)는 영상분할부(131)로부터 전송되는 제2 용융풀 영상을 영상처리하여 제2 용융풀 영상에 대한 형상정보를 측정한다.
구체적으로 형상정보 측정부(132)는 도 11에 도시된 바와 같이 제2 용융풀 영상에 해당하는 픽셀만을 추출(convex hull 영상처리 알고리즘 적용)한 후 제2 용융풀 영상의 최외곽에 위치하는 픽셀들이 이어지는 제2 용융풀 경계선을 추출하고 추출된 제2 용융풀 경계선을 기반으로 상기 제2 용융풀 영상의 폭(w), 길이(l), 넓이(s) 및 폭(w) 대비 길이 비율(r)을 측정한다.
즉, 상기한 형상정보 측정부(132)는 영상처리 알고리즘을 적용하여 도 12에 도시된 바와 같이 제2 용융풀 영상에 대한 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 포함하는 형상정보를 측정하고, 제2 용융풀 영상의 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 5x1 행렬의 벡터 데이터로 변환시킨다. 여기서, 모재의 두께(t)는 미리 알고 있는 정보이다.
정리하면, 영상분할부(131)가 1차 딥러닝 알고리즘을 통해 추출된 용융풀 형상을 인식하고, 형상정보 측정부(132)가 convex hull 영상처리 알고리즘을 통해 용융 풀 형상을 감싸는 최외각 경계선을 추출하며, 이를 통해 용융 풀 형상의 길이, 폭, 넓이, 폭 대비 길이 비(rate)를 측정한다.
이때, 측정된 용융풀 형상의 데이터는 모재의 두께(t) 정보와 결합하여 특징 벡터 데이터로 변환되며, 변환된 특징 벡터 데이터는 현재 용융풀 모니터링에서 포착된 용융풀 형상을 나타낸다.
상기한 형상정보 측정부(132)는 형상정보를 변환한 특징 벡터 데이터를 용입깊이 도출부(133)로 전송한다.
도 13은 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템 및 방법에서 추출된 제1 용융풀 영상으로부터 용입깊이를 도출하는 과정을 나타낸 도면이다.
도 13을 참조하면, 용입깊이 도출부(133)는 형상정보 측정부(132)로부터 전송되는 5x1 행렬의 특징 벡터 데이터를 인공지능 학습하여 제2 용융풀 영상의 용입깊이(p)를 도출한다.
정리하면, 용입깊이 도출부(133)에서 이루어지는 2차 학습은 현재 용융풀이 캡쳐된 위치에서의 용입 깊이와 연계하여 이루어지고, 용융풀에 대한 특징 벡터 데이터를 딥러닝 모델에 입력하여 용입 깊이를 도출하는 알고리즘에 의해 이루어진다.
이후, 용입깊이 도출부(133)는 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)가 변환된 5x1 행렬의 벡터 데이터가 입력되는 용입 깊이를 도출하는 알고리즘을 이용하여 용입 깊이를 실시간으로 도출한다.
상기한 용입깊이 도출부(133)는 용입깊이를 제어부로 전송한다.
제어부(140)는 도출된 용입깊이와 기설정된 용입깊이를 비교한 결과에 따라 용접부(110)의 전류 및 용접속도를 제어한다.
구체적으로 제어부(140)는 용입깊이와 기설정된 용입깊이가 같을 경우, 용접부(110)가 현재 상태를 유지하도록 용접부(110)를 제어한다.
즉, 상기한 경우, 구현하고자 하는 아크용접의 비드가 잘 형성되고 있기 때문에 용접부(110)가 현재의 전류 및 용접속도를 유지하도록 용접부(110)를 제어한다.
한편, 제어부는 용입깊이와 기설정된 용입깊이가 다를 경우, 용접부(110)의 전류 및 용접속도를 제어한다.
구체적으로 제어부(140)는 용입깊이가 기설정된 용입깊이보다 클 경우, 용접부(110)를 제어하여 용접부(110)의 전류를 감소시키거나 용접부(110)의 용접속도를 증가시킨다.
상기한 경우는 모재와 용접부(110)의 끝단이 가까운 상태로서 구현하고자 하는 아크용접의 비드보다 더 크고 깊게 형성되고 있으므로 용접부(110)의 전류를 감소시키거나 용접부(110)의 용접속도를 증가시켜 모재가 덜 녹게 하여 아크용접이 이루어지도록 함으로써 기설정된 용입깊이로 아크용접이 수행될 수 있도록 한다.
한편, 제어부(140)는 용입깊이가 기설정된 용입깊이보다 작을 경우, 용접부(110)를 제어하여 용접부(110)의 전류를 증가시키거나 용접부(110)의 용접속도를 감소시킨다.
상기한 경우는 모재와 용접부(110)의 끝단이 먼 상태로서 구현하고자 하는 아크용접의 비드보다 더 작고 얕게 형성되고 있으므로 용접부(110)의 전류를 증가시키거나 용접부(110)의 용접속도를 감소시켜 모재가 더 녹게 하여 아크용접이 이루어지도록 함으로써 기설정된 용입깊이로 아크용접이 수행될 수 있도록 한다.
2. 용융풀 인식 및 용입깊이 제어 방법
이하, 도 2 내지 도 14를 참조하여 본 발명의 일 실시예에 따른 용융풀 인식 및 용입깊이 제어 방법을 설명하도록 한다.
도 14는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 방법을 나타낸 순서도이다.
도 14를 참조하면, 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 방법은 (a) 영상촬영부(120)에서 촬영된 다수의 제1 용접영상이 사용자에 의해 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상으로 라벨링되는 단계(S100), (b) 딥러닝부(130)에 구비된 영상분할부(131)가 다수의 제1 용접영상이 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상으로 라벨링된 영상 데이터셋을 지도 학습하여 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 설정하는 단계(S200), (c) 영상촬영부(120)가 촬영된 다수의 제2 용접영상을 영상분할부(131)로 전송하는 단계(S300), (d) 영상분할부(131)가 제1 아크광 영상, 제1 용접풀 영상 및 제1 배경 영상에 대한 특징점을 기반으로 다수의 제2 용접영상에서 제2 용융풀 영상을 분리하는 단계(S400), (e) 딥러닝부(130)에 구비된 형상정보 측정부(132)가 제2 용융풀 영상을 기반으로 제2 용융풀 영상의 형상정보를 측정하는 단계, (f) 용입깊이 도출부(132)가 제2 용융풀 영상의 형상정보를 인공지능 학습하여 용입깊이를 도출하는 단계(S500) 및 (g) 제어부(140)가 용입깊이 도출부(133)로부터 전송되는 용입깊이와 기설정된 용입깊이를 비교한 결과에 따라 용접부(110)의 제어 여부를 결정하는 단계를 포함한다.
구체적으로 상기 (a) 단계는, (a1) 영상촬영부(120)가 용접부(110)의 끝단을 촬영하여 다수의 제1 용접영상을 획득하는 단계, (a2) 사용자에 의해 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상이 라벨링되는 단계 및 (a3) 영상촬영부(120)가 영상분할부(131)로 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 전송하는 단계를 포함한다.
여기서, 다수의 제1 용접영상은 제2 용융풀 영상을 인식하기 위한 기준이 되는 다수의 제1 용접영상에 대한 특징점을 설정하기 위한 빅데이터로서 다수로 구성되는 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상으로 구성되는 영상 데이터셋(dataset)이다.
또한, 상기 (a2) 단계에서, 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상은 도 3의 (b)에 도시된 바와 같이 문자로서 표현되거나 도 4의 (b)에 도시된 바와 같이 색상으로 표현될 수 있다.
다음, 상기 (b) 단계는, (b1) 영상분할부(131)가 영상촬영부(120)로부터 전송되는 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 수신하는 단계 및 (b2) 영상분할부(131)가 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 지도 학습하여 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 추출 및 설정하는 단계를 포함한다.
다음, 상기 (c) 단계는, (c1) 영상촬영부(120)가 용접부(110)의 끝단을 다시 촬영하여 다수의 제2 용접영상을 획득하는 단계, (c2) 영상촬영부(120)가 영상분할부(131)로 다수의 제2 용접영상을 전송하는 단계를 포함한다.
다음, 상기 (d) 단계는, (d1) 영상분할부(131)가 영상촬영부(120)로부터 전송되는 다수의 제2 용접영상을 수신하는 단계, (d2) 영상분할부(120)가 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 기준으로 다수의 제2 용접영상에 매칭시켜 다수의 제2 용접영상으로부터 제2 용융풀 영상을 추출 및 분리시키는 단계 및 (d3) 영상분할부(131)가 형상정보 측정부(132)로 제2 용융풀 영상을 전송하는 단계를 포함한다.
다음, 상기 (e) 단계는, (e1) 형상정보 측정부(132)가 영상분할부(131)로부터 전송되는 제2 용융풀 영상을 수신하는 단계, (e2) 형상정보 측정부(132)가 제2 용융풀 영상에 해당하는 픽셀만을 추출하는 단계, (e3) 형상정보 측정부(132)가 제2 용융풀 영상의 최외곽에 위치하는 픽셀들이 이어지는 제2 용융풀 경계선을 추출하는 단계, (e4) 형상정보 측정부(132)가 추출된 제2 용융풀 경계선을 기반으로 제2 용융풀 영상의 폭(w), 길이(l), 넓이(s) 및 폭(w) 대비 길이 비율(r)을 측정하는 단계를 포함한다.
여기서, 형상정보 측정부(132)는 영상처리 알고리즘을 적용하여 제2 용융풀 영상에 대한 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 포함하는 형상정보를 측정하고, 제2 용융풀 영상의 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 5x1 행렬의 벡터 데이터로 변환시킨다.
다음, 상기 (f) 단계는, (f1) 용입깊이 도출부(133)가 형상정보 측정부(132)로부터 전송되는 제2 용융풀 영상에 대한 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 포함하는 형상정보를 수신하는 단계, (f2) 용입깊이 도출부(132)가 제2 용융풀 영상에 대한 폭(w), 길이(l), 넓이(s) 및 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 인공지능 학습하여 제2 용융풀 영상에 대한 용입깊이를 도출하는 단계 및 (f3) 용입깊이 도출부(133)가 제어부로 용입깊이를 전송하는 단계를 포함한다.
다음, 상기 (g) 단계는, (g1) 제어부(140)가 용입깊이 도출부(133)로부터 전송되는 용입깊이를 수신하는 단계 및 (g2) 제어부(140)가 용입깊이와 기설정된 용입깊이를 비교한 결과에 따라 용접부(110)의 제어 여부를 결정하는 단계를 포함한다.
또한, 본 발명은 상기 (g2) 단계 이후, 용입깊이와 기설정된 용입깊이가 다를 경우, (h) 제어부(140)가 용접부(110)의 전류 및 용접속도를 제어하는 단계를 더 포함한다.
구체적으로 상기 (h) 단계는, 용입깊이가 기설정된 용입깊이보다 클 경우, 제어부(140)가 용접부(110)를 제어하여 용접부(110)의 전류를 감소시키거나 용접부(110)의 용접속도를 증가시키는 단계를 포함한다.
한편, 상기 (h) 단계는, 용입깊이가 기설정된 용입깊이보다 작을 경우, 제어부(140)가 용접부(110)를 제어하여 용접부(110)의 전류를 증가시키거나 용접부(110)의 용접속도를 감소시키는 단계를 더 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
1. 용융풀 인식 및 용입깊이 제어 시스템(100)
이하, 도 2 내지 도 13을 참조하여 본 발명의 일 실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템을 설명하도록 한다.
도 2는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템을 나타낸 블록도이다.
본 발명의 일 실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템(100)은 용접부(110), 영상촬영부(120), 딥러닝부(130) 및 제어부(140)를 포함한다.
용접부(110)는 아크광을 방전시켜 발생한 열을 적어도 2개의 모재가 접하는 접합부로 공급한다.
이를 위한 용접부(110)는 적어도 2개의 모재가 접하는 접합부로 아크광을 전달하는 용접봉일 수 있다. 또한, 용접부(110)에는 사용자가 파지하기 위한 용접봉 홀더가 연결된다.
아울러, 용접부(110)가 동작하기 위해 용접봉 홀더와 전기적으로 연결되는 전기선, 모재에 전기적으로 연결되는 접지클램프, 접지 클램프와 전기적으로 연결되는 접지선 및 전기선과 접지선이 전기적으로 연결되고 아크광을 발생시키는 아크 용접기가 구비될 수 있다.
상기한 용접부(110)의 끝단은 적어도 2개의 모재가 접하는 접합부를 향하여 소정거리 이격된 상태에서 접합부를 따라 이동함에 따라 적어도 2개의 모재를 아크용접한다.
도 3은 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 영상촬영부에서 촬영된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 포함하는 제1 용접영상이 사용자에 의해 수동으로 라벨링된 것을 나타낸 이미지이다. 도 4의 (a), (b), (c)는 도 3에서 라벨링된 다수의 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상으로 구성되는 데이터셋(dateset)을 나타낸 이미지이다.
영상촬영부(120)는 용접부(110)의 끝단을 촬영하여 도 3의 (a) 및 도 4의 (b)에 도시된 바와 같이 제1 아크광 영상, 접합부에 형성되는 제1 용융풀 영상 및 제1 용융풀 영상의 주변에 위치하는 배경 영상을 포함하는 다수의 제1 용접영상을 실시간으로 획득한다.
여기서, 다수의 제1 용접영상은 제2 용융풀 영상을 인식하기 위한 기준이 되는 특징점을 설정하기 위한 빅데이터로서 다수로 구성되는 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상으로 구성되는 영상 데이터셋(dataset)이다.
획득된 다수의 제1 용접영상은 도 3의 (b)에 도시된 바와 같이 사용자가 수동으로 라벨링한다.
구체적으로 라벨링은 도 3의 (b) 및 도 4의 (a)에 도시된 바와 같이 제1 아크광 영상에 아크광이라고 표시하고, 제1 용융풀에 용융풀이라고 표시하며, 제1 배경 영상에 배경이라고 표시하여 해당 영상이 무엇에 관한 것인지를 표시하는 것이다.
여기서, 제1 아크광 영상, 제1 용융풀 영상, 제1 배경 영상은 딥러닝부(130)가 지도 학습을 통한 아크광, 용융풀 및 배경에 대한 특징점을 도출 및 선정하기 위한 이미지로서, 영상촬영부(120)가 최초로 촬영한 다수의 제1 용접영상이다.
상기한 제1 용접영상은 도 4의 (c)에 도시된 바와 같이 제1 아크광 영상, 제1 용융풀 영상, 제1 배경 영상을 포함하고, 다수로 구성되어 데이터셋을 이룬다.
한편, 후술되는 제2 아크광 영상, 제2 용융풀 영상, 제2 배경 영상은 본 발명에서 용융풀을 인식하고자 하는 이미지로서, 영상촬영부(110)로부터 촬영되며 딥러닝부(130)에 의해 아크광, 용융풀 및 배경에 대한 특징점과 매칭되는 이미지이다.
상기한 영상촬영부(120)는 라벨링된 제1 아크광 영상, 제1 용융풀 영상, 제1 배경 영상을 딥러닝부(130)에 구비된 영상분할부(131)로 전송한 후 추가적으로 제2 아크광 영상, 제2 용융풀 영상, 제2 배경 영상을 획득하여 영상분할부(130)로 전송한다.
딥러닝부(130)는 사용자에 의해 수동으로 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 지도 학습(supervised learning)하여 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 추출 및 설정하고 제1 용융풀 영상에 대한 특징점을 기반으로 영상촬영부(120)로부터 추가로 획득되는 다수의 제2 용접영상로부터 제2 용융풀 영상을 추출하며 제2 용융풀 영상을 영상처리하여 제2 용융풀 영상에 대한 형상정보를 측정하고 측정된 형상정보를 인공지능 학습하여 용입깊이를 도출한다.
이를 위한 딥러닝부(130)는 영상분할부(131), 형상정보 측정부(132) 및 용입깊이 도출부(133)를 포함한다.
도 5는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 영상분할부에 적용되는 VGG 16 넷(net) 기반의 CNN(Convolutional Neural Network) 알고리즘을 나타낸 개념도이다. 도 6의 (a), (b), (c)는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 영상분할부가 다수의 제1 용접영상을 지도 학습하는 과정을 나타낸 이미지이다. 도 7 내지 도 10은 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 영상분할부의 지도 학습 과정에서 조건별 결과를 나타낸 도면이다.
영상분할부(131)는 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 지도 학습하여 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 추출 및 설정한다.
구체적으로 영상분할부(131)는 도 5에 도시된 바와 같이 영상 분할 기법으로 VGG 16 넷(net) 기반의 CNN(Convolutional Neural Network) 알고리즘이 적용되며, 상기한 CNN 알고리즘은 공지기술에 해당하므로 구체적인 설명은 생략하도록 한다.
예시적으로 도 6의 (a), (b), (c)에 도시된 바와 같이 다양한 용접조건에 따른 제1 용접영상들이 영상분할부(131)에서 지도 학습될 수 있다.
지도 학습에 사용되는 학습변수는 도 6의 (a), (b), (c)에 도시된 바와 같이 학습에서 조절되는 변수는 학습률(learning rate), batch size, epoch로서 총 3개이다.
구체적으로 도 6의 (a)는 학습률(learning rate)=0.001, batch size=30, epoch=300일 때의 제1 용접 영상을 나타내고, 도 6의 (b)는 학습률(learning rate)=0.001, batch size=50, epoch=500일 때의 제1 용접 영상을 나타내며, 도 6의 (c)는 학습률(learning rate)=0.001, batch size=50, epoch=1000일 때의 제1 용접 영상을 나타낸다.
학습률(learning rate)은 스칼라와의 곱을 통해 다음 지점을 결정하기 위한 변수로서, 경사하강법 알고리즘에서 사용된다.
또한, 학습률(learning rate)은 local minimum에 효율적으로 도달할 수 있도록 너무 크지도 않고 작지도 않도록 적절하게 세팅해야 한다.
만약, 학습률이 클 경우, 데이터가 무질서하게 이탈하며, 최저점에 수렴하지 못한다.
한편, 학습률이 작을 경우, 학습시간이 매우 오래 걸리며, 최저점에 도달하지 못한다.
이와 같은 학습률은 변화에 따라 지도 학습이 빠르거나 천천히 진행되도록 한다.
다음, batch size는 데이터의 크기를 나타내는 것으로서, 도 4의 (c)에서 batch size는 16(=데이터의 개수)이다.
Epoch는 다수의 batch size를 한 번에 학습하는 데이터셋으로서, 도 4의 (c)에서 batch size가 16이면, Epoch는 1이다.
또한, 도 4의 (c)에서 batch size가 4(16개 중 가로열만 포함)이면, Epoch는 4이다.
이에 따라 상기한 3개의 변수(학습률(learning rate), batch size, epoch) 중 1개의 변수만 바꾸어 가면서 학습한 결과가 도 7 내지 도 10에 도시되어 있다.
도 7 및 도 8은 학습률(learning rate) 및 epoch가 0.001, 300으로 동일하고, batch size만 각각 20, 30으로 변화를 주어서 학습한 결과를 도시한다.
도 9 및 도 10은 학습률(learning rate) 및 batch size가 0.001, 50으로 동일하고, epoch만 각각 500, 1000으로 변화를 주어서 학습한 결과를 도시한다.
상기한 바와 같이 지도 학습을 위한 3가지 변수에 변화를 주면서 지도 학습시켜본 결과, 도 10에 도시된 바와 같이 학습률(learning rate) = 0.001, batch size = 50, epoch = 1000에서 용융풀 영상을 학습시키고 인식하는데 있어 최적 변수임이 도출되었다.
최적 변수를 도출하기 위한 기준은 추출된 용융풀 영상이 가지는 경계선의 명확한 정도, epoch의 증가(epoch의 증가에 따라 용융풀 영상을 인식하는 알고리즘의 정확도도 대체적으로 증가)시키는 것이다.
다만, 무조건적으로 epoch를 증가시킬 경우 학습에 소요되는 시간이 증가하고, 학습데이터에만 적합한 형태로 학습이 이루어져 실제 아크용접된 결과와 학습데이터의 결과가 달라서 용융풀 영상의 인식 정확도가 떨어져 나타나는 경우도 있다.
이에 따라 상기한 경우들도 종합적으로 고려하여 학습률(learning rate) = 0.001, batch size = 50, epoch = 1000를 최적 변수로 도출하었다.
다음, 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 추출 및 설정된 후 영상촬영부(120)로부터 다수의 제2 용접영상이 추가적으로 전송되면, 영상분할부(131)는 제1 용융풀 영상에 대한 특징점을 기준으로 영상촬영부(120)로부터 전송되는 다수의 제2 용접영상에 매칭시켜 다수의 제2 용접영상으로부터 제2 용융풀 영상을 추출 및 분리시킨다.
이를 위한 제1 용융풀 영상에 대한 특징점은 제1 아크광 영상 및 제1 배경 영상과 다른 고유의 명도, 채도, 색상, 제1 용융풀 영상의 형상 패턴을 포함할 수 있으나, 이에 한정되는 것은 아니다.
상기한 영상분할부(131)는 분리된 제2 용융풀 영상을 형상정보 측정부(132)로 전송한다.
도 11은 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 형상정보 측정부에서 영상처리 알고리즘을 이용하여 제1 용융풀 영상에 대한 형상정보를 추출하는 과정을 나타낸 도면이다. 도 12는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템에 구비된 형상정보 측정부에서 획득되는 형상정보 및 용입깊이 도출부에서 획득되는 용입깊이를 나타낸 도면이다.
형상정보 측정부(132)는 영상분할부(131)로부터 전송되는 제2 용융풀 영상을 영상처리하여 제2 용융풀 영상에 대한 형상정보를 측정한다.
구체적으로 형상정보 측정부(132)는 도 11에 도시된 바와 같이 제2 용융풀 영상에 해당하는 픽셀만을 추출(convex hull 영상처리 알고리즘 적용)한 후 제2 용융풀 영상의 최외곽에 위치하는 픽셀들이 이어지는 제2 용융풀 경계선을 추출하고 추출된 제2 용융풀 경계선을 기반으로 상기 제2 용융풀 영상의 폭(w), 길이(l), 넓이(s) 및 폭(w) 대비 길이 비율(r)을 측정한다.
즉, 상기한 형상정보 측정부(132)는 영상처리 알고리즘을 적용하여 도 12에 도시된 바와 같이 제2 용융풀 영상에 대한 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 포함하는 형상정보를 측정하고, 제2 용융풀 영상의 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 5x1 행렬의 벡터 데이터로 변환시킨다. 여기서, 모재의 두께(t)는 미리 알고 있는 정보이다.
정리하면, 영상분할부(131)가 1차 딥러닝 알고리즘을 통해 추출된 용융풀 형상을 인식하고, 형상정보 측정부(132)가 convex hull 영상처리 알고리즘을 통해 용융 풀 형상을 감싸는 최외각 경계선을 추출하며, 이를 통해 용융 풀 형상의 길이, 폭, 넓이, 폭 대비 길이 비(rate)를 측정한다.
이때, 측정된 용융풀 형상의 데이터는 모재의 두께(t) 정보와 결합하여 특징 벡터 데이터로 변환되며, 변환된 특징 벡터 데이터는 현재 용융풀 모니터링에서 포착된 용융풀 형상을 나타낸다.
상기한 형상정보 측정부(132)는 형상정보를 변환한 특징 벡터 데이터를 용입깊이 도출부(133)로 전송한다.
도 13은 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 시스템 및 방법에서 추출된 제1 용융풀 영상으로부터 용입깊이를 도출하는 과정을 나타낸 도면이다.
도 13을 참조하면, 용입깊이 도출부(133)는 형상정보 측정부(132)로부터 전송되는 5x1 행렬의 특징 벡터 데이터를 인공지능 학습하여 제2 용융풀 영상의 용입깊이(p)를 도출한다.
정리하면, 용입깊이 도출부(133)에서 이루어지는 2차 학습은 현재 용융풀이 캡쳐된 위치에서의 용입 깊이와 연계하여 이루어지고, 용융풀에 대한 특징 벡터 데이터를 딥러닝 모델에 입력하여 용입 깊이를 도출하는 알고리즘에 의해 이루어진다.
이후, 용입깊이 도출부(133)는 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)가 변환된 5x1 행렬의 벡터 데이터가 입력되는 용입 깊이를 도출하는 알고리즘을 이용하여 용입 깊이를 실시간으로 도출한다.
상기한 용입깊이 도출부(133)는 용입깊이를 제어부로 전송한다.
제어부(140)는 도출된 용입깊이와 기설정된 용입깊이를 비교한 결과에 따라 용접부(110)의 전류 및 용접속도를 제어한다.
구체적으로 제어부(140)는 용입깊이와 기설정된 용입깊이가 같을 경우, 용접부(110)가 현재 상태를 유지하도록 용접부(110)를 제어한다.
즉, 상기한 경우, 구현하고자 하는 아크용접의 비드가 잘 형성되고 있기 때문에 용접부(110)가 현재의 전류 및 용접속도를 유지하도록 용접부(110)를 제어한다.
한편, 제어부는 용입깊이와 기설정된 용입깊이가 다를 경우, 용접부(110)의 전류 및 용접속도를 제어한다.
구체적으로 제어부(140)는 용입깊이가 기설정된 용입깊이보다 클 경우, 용접부(110)를 제어하여 용접부(110)의 전류를 감소시키거나 용접부(110)의 용접속도를 증가시킨다.
상기한 경우는 모재와 용접부(110)의 끝단이 가까운 상태로서 구현하고자 하는 아크용접의 비드보다 더 크고 깊게 형성되고 있으므로 용접부(110)의 전류를 감소시키거나 용접부(110)의 용접속도를 증가시켜 모재가 덜 녹게 하여 아크용접이 이루어지도록 함으로써 기설정된 용입깊이로 아크용접이 수행될 수 있도록 한다.
한편, 제어부(140)는 용입깊이가 기설정된 용입깊이보다 작을 경우, 용접부(110)를 제어하여 용접부(110)의 전류를 증가시키거나 용접부(110)의 용접속도를 감소시킨다.
상기한 경우는 모재와 용접부(110)의 끝단이 먼 상태로서 구현하고자 하는 아크용접의 비드보다 더 작고 얕게 형성되고 있으므로 용접부(110)의 전류를 증가시키거나 용접부(110)의 용접속도를 감소시켜 모재가 더 녹게 하여 아크용접이 이루어지도록 함으로써 기설정된 용입깊이로 아크용접이 수행될 수 있도록 한다.
2. 용융풀 인식 및 용입깊이 제어 방법
이하, 도 2 내지 도 14를 참조하여 본 발명의 일 실시예에 따른 용융풀 인식 및 용입깊이 제어 방법을 설명하도록 한다.
도 14는 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 방법을 나타낸 순서도이다.
도 14를 참조하면, 본 발명의 일실시예에 따른 용융풀 인식 및 용입깊이 제어 방법은 (a) 영상촬영부(120)에서 촬영된 다수의 제1 용접영상이 사용자에 의해 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상으로 라벨링되는 단계(S100), (b) 딥러닝부(130)에 구비된 영상분할부(131)가 다수의 제1 용접영상이 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상으로 라벨링된 영상 데이터셋을 지도 학습하여 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 설정하는 단계(S200), (c) 영상촬영부(120)가 촬영된 다수의 제2 용접영상을 영상분할부(131)로 전송하는 단계(S300), (d) 영상분할부(131)가 제1 아크광 영상, 제1 용접풀 영상 및 제1 배경 영상에 대한 특징점을 기반으로 다수의 제2 용접영상에서 제2 용융풀 영상을 분리하는 단계(S400), (e) 딥러닝부(130)에 구비된 형상정보 측정부(132)가 제2 용융풀 영상을 기반으로 제2 용융풀 영상의 형상정보를 측정하는 단계, (f) 용입깊이 도출부(132)가 제2 용융풀 영상의 형상정보를 인공지능 학습하여 용입깊이를 도출하는 단계(S500) 및 (g) 제어부(140)가 용입깊이 도출부(133)로부터 전송되는 용입깊이와 기설정된 용입깊이를 비교한 결과에 따라 용접부(110)의 제어 여부를 결정하는 단계를 포함한다.
구체적으로 상기 (a) 단계는, (a1) 영상촬영부(120)가 용접부(110)의 끝단을 촬영하여 다수의 제1 용접영상을 획득하는 단계, (a2) 사용자에 의해 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상이 라벨링되는 단계 및 (a3) 영상촬영부(120)가 영상분할부(131)로 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 전송하는 단계를 포함한다.
여기서, 다수의 제1 용접영상은 제2 용융풀 영상을 인식하기 위한 기준이 되는 다수의 제1 용접영상에 대한 특징점을 설정하기 위한 빅데이터로서 다수로 구성되는 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상으로 구성되는 영상 데이터셋(dataset)이다.
또한, 상기 (a2) 단계에서, 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상은 도 3의 (b)에 도시된 바와 같이 문자로서 표현되거나 도 4의 (b)에 도시된 바와 같이 색상으로 표현될 수 있다.
다음, 상기 (b) 단계는, (b1) 영상분할부(131)가 영상촬영부(120)로부터 전송되는 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 수신하는 단계 및 (b2) 영상분할부(131)가 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 지도 학습하여 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 추출 및 설정하는 단계를 포함한다.
다음, 상기 (c) 단계는, (c1) 영상촬영부(120)가 용접부(110)의 끝단을 다시 촬영하여 다수의 제2 용접영상을 획득하는 단계, (c2) 영상촬영부(120)가 영상분할부(131)로 다수의 제2 용접영상을 전송하는 단계를 포함한다.
다음, 상기 (d) 단계는, (d1) 영상분할부(131)가 영상촬영부(120)로부터 전송되는 다수의 제2 용접영상을 수신하는 단계, (d2) 영상분할부(120)가 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 기준으로 다수의 제2 용접영상에 매칭시켜 다수의 제2 용접영상으로부터 제2 용융풀 영상을 추출 및 분리시키는 단계 및 (d3) 영상분할부(131)가 형상정보 측정부(132)로 제2 용융풀 영상을 전송하는 단계를 포함한다.
다음, 상기 (e) 단계는, (e1) 형상정보 측정부(132)가 영상분할부(131)로부터 전송되는 제2 용융풀 영상을 수신하는 단계, (e2) 형상정보 측정부(132)가 제2 용융풀 영상에 해당하는 픽셀만을 추출하는 단계, (e3) 형상정보 측정부(132)가 제2 용융풀 영상의 최외곽에 위치하는 픽셀들이 이어지는 제2 용융풀 경계선을 추출하는 단계, (e4) 형상정보 측정부(132)가 추출된 제2 용융풀 경계선을 기반으로 제2 용융풀 영상의 폭(w), 길이(l), 넓이(s) 및 폭(w) 대비 길이 비율(r)을 측정하는 단계를 포함한다.
여기서, 형상정보 측정부(132)는 영상처리 알고리즘을 적용하여 제2 용융풀 영상에 대한 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 포함하는 형상정보를 측정하고, 제2 용융풀 영상의 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 5x1 행렬의 벡터 데이터로 변환시킨다.
다음, 상기 (f) 단계는, (f1) 용입깊이 도출부(133)가 형상정보 측정부(132)로부터 전송되는 제2 용융풀 영상에 대한 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 포함하는 형상정보를 수신하는 단계, (f2) 용입깊이 도출부(132)가 제2 용융풀 영상에 대한 폭(w), 길이(l), 넓이(s) 및 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 인공지능 학습하여 제2 용융풀 영상에 대한 용입깊이를 도출하는 단계 및 (f3) 용입깊이 도출부(133)가 제어부로 용입깊이를 전송하는 단계를 포함한다.
다음, 상기 (g) 단계는, (g1) 제어부(140)가 용입깊이 도출부(133)로부터 전송되는 용입깊이를 수신하는 단계 및 (g2) 제어부(140)가 용입깊이와 기설정된 용입깊이를 비교한 결과에 따라 용접부(110)의 제어 여부를 결정하는 단계를 포함한다.
또한, 본 발명은 상기 (g2) 단계 이후, 용입깊이와 기설정된 용입깊이가 다를 경우, (h) 제어부(140)가 용접부(110)의 전류 및 용접속도를 제어하는 단계를 더 포함한다.
구체적으로 상기 (h) 단계는, 용입깊이가 기설정된 용입깊이보다 클 경우, 제어부(140)가 용접부(110)를 제어하여 용접부(110)의 전류를 감소시키거나 용접부(110)의 용접속도를 증가시키는 단계를 포함한다.
한편, 상기 (h) 단계는, 용입깊이가 기설정된 용입깊이보다 작을 경우, 제어부(140)가 용접부(110)를 제어하여 용접부(110)의 전류를 증가시키거나 용접부(110)의 용접속도를 감소시키는 단계를 더 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (20)
- 아크광을 방전시켜 발생한 열을 적어도 2개의 모재가 접하는 접합부로 공급하는 용접부;
상기 용접부의 끝단을 촬영하여 제1 아크광 영상, 상기 접합부에 형성되는 제1 용융풀 영상 및 상기 제1 용융풀 영상의 주변에 위치하는 제1 배경 영상을 포함하는 다수의 제1 용접영상을 실시간으로 획득하는 영상촬영부;
사용자에 의해 수동으로 라벨링된 상기 제1 아크광 영상, 상기 제1 용융풀 영상 및 상기 제1 배경 영상을 지도 학습하여 상기 제1 아크광 영상, 상기 제1 용융풀 영상 및 상기 제1 배경 영상에 대한 특징점을 설정하고 상기 제1 아크광 영상, 상기 제1 용융풀 영상 및 상기 제1 배경 영상에 대한 특징점을 기반으로 상기 영상촬영부로부터 추가로 획득되는 다수의 제2 용접영상로부터 제2 용융풀 영상을 추출하며 상기 제2 용융풀 영상을 영상처리하여 제2 용융풀 영상에 대한 형상정보를 측정하고 측정된 형상정보를 인공지능 학습하여 용입깊이를 도출하는 딥러닝부; 및
상기 도출된 용입깊이와 기설정된 용입깊이를 비교한 결과에 따라 상기 용접부의 전류 및 용접속도를 제어하는 제어부;를 포함하는 것을 특징으로 하는 용융풀 인식 및 용입깊이 제어 시스템.
- 제1 항에 있어서,
상기 다수의 제1 용접영상은 상기 제2 용융풀 영상을 인식하기 위한 기준이 되는 상기 특징점을 설정하기 위한 빅데이터로서 다수로 구성되는 상기 제1 아크광 영상, 상기 제1 용융풀 영상 및 상기 제1 배경 영상으로 구성되는 영상 데이터셋(dataset)이고,
상기 딥러닝부는, 상기 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 지도 학습하여 상기 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 설정하는 설정하는 영상분할부;를 포함하고,
상기 영상분할부는 상기 제1 용융풀 영상에 대한 특징점을 기준으로 상기 영상촬영부로부터 전송되는 상기 다수의 제2 용접영상에 매칭시켜 상기 다수의 제2 용접영상으로부터 상기 제2 용융풀 영상을 분리시키는 것을 특징으로 하는 용융풀 인식 및 용입깊이 제어 시스템.
- 제2 항에 있어서,
상기 영상분할부는 영상 분할 기법으로 VGG 16 넷(net) 기반의 CNN(Convolutional Neural Network) 알고리즘이 적용되고,
상기 제1 용융풀 영상에 대한 특징점은 상기 제1 아크광 영상 및 상기 제1 배경 영상과 다른 고유의 명도, 채도, 색상, 제1 용융풀 영상의 형상 패턴을 포함하는 것을 특징으로 하는 용융풀 인식 및 용입깊이 제어 시스템.
- 제2 항에 있어서,
상기 딥러닝부는, 상기 영상분할부로부터 전송되는 상기 제2 용융풀 영상을 영상처리하여 상기 제2 용융풀 영상에 대한 형상정보를 측정하는 형상정보 측정부;를 더 포함하고,
상기 형상정보 측정부는 상기 제2 용융풀 영상에 해당하는 픽셀만을 추출한 후 상기 제2 용융풀 영상의 최외곽에 위치하는 픽셀들이 이어지는 제2 용융풀 경계선을 추출하고 상기 추출된 제2 용융풀 경계선을 기반으로 상기 제2 용융풀 영상의 폭(w), 길이(l), 넓이(s) 및 상기 폭(w) 대비 길이 비율(r)을 측정하는 것을 특징으로 하는 용융풀 인식 및 용입깊이 제어 시스템.
- 제4 항에 있어서,
상기 형상정보 측정부는 영상처리 알고리즘을 적용하여 상기 제2 용융풀 영상에 대한 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 포함하는 형상정보를 측정하고, 상기 제2 용융풀 영상의 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 상기 모재의 두께(t)를 5x1 행렬의 특징 벡터 데이터로 변환시키는 것을 특징으로 하는 용융풀 인식 및 용입깊이 제어 시스템.
- 제4 항에 있어서,
상기 딥러닝부는 상기 형상정보 측정부로부터 전송되는 상기 5x1 행렬의 특징 벡터 데이터를 인공지능 학습하여 상기 제2 용융풀 영상의 용입깊이(p)를 도출하는 용입깊이 도출부;를 더 포함하는 것을 특징으로 하는 용융풀 인식 및 용입깊이 제어 시스템.
- 제6 항에 있어서,
상기 용입깊이 도출부는 상기 용입깊이를 상기 제어부로 전송하고,
상기 제어부는 상기 용입깊이와 기설정된 용입깊이가 같을 경우, 상기 용접부가 현재 상태를 유지하도록 용접부를 제어하는 것을 특징으로 하는 용융풀 인식 및 용입깊이 제어 시스템.
- 제6 항에 있어서,
상기 용입깊이 도출부는 상기 용입깊이를 상기 제어부로 전송하고,
상기 제어부는 상기 용입깊이와 기설정된 용입깊이가 다를 경우, 상기 용접부의 전류 및 용접속도를 제어하는 것을 특징으로 하는 용융풀 인식 및 용입깊이 제어 시스템.
- 제8 항에 있어서,
상기 제어부는 상기 용입깊이가 상기 기설정된 용입깊이보다 클 경우, 상기 용접부를 제어하여 상기 용접부의 전류를 감소시키거나 상기 용접부의 용접속도를 증가시키는 것을 특징으로 하는 용융풀 인식 및 용입깊이 제어 시스템.
- 제8 항에 있어서,
상기 제어부는 상기 용입깊이가 상기 기설정된 용입깊이보다 작을 경우, 상기 용접부를 제어하여 상기 용접부의 전류를 증가시키거나 상기 용접부의 용접속도를 감소시키는 것을 특징으로 하는 용융풀 인식 및 용입깊이 제어 시스템.
- (a) 영상촬영부에서 촬영된 다수의 제1 용접영상이 사용자에 의해 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상으로 라벨링되는 단계;
(b) 딥러닝부에 구비된 영상분할부가 상기 다수의 제1 용접영상이 상기 제1 아크광 영상, 상기 제1 용융풀 영상 및 상기 제1 배경 영상으로 라벨링된 영상 데이터셋을 지도 학습하여 상기 제1 아크광 영상, 상기 제1 용융풀 영상 및 상기 제1 배경 영상에 대한 특징점을 설정하는 단계;
(c) 상기 영상촬영부가 촬영된 다수의 제2 용접영상을 상기 영상분할부로 전송하는 단계;
(d) 상기 영상분할부가 상기 제1 아크광 영상, 상기 제1 용융풀 영상 및 상기 제1 배경 영상에 대한 특징점을 기반으로 상기 다수의 제2 용접영상에서 제2 용융풀 영상을 분리하는 단계;
(e) 딥러닝부에 구비된 형상정보 측정부가 상기 제2 용융풀 영상을 기반으로 상기 제2 용융풀 영상의 형상정보를 측정하는 단계;
(f) 용입깊이 도출부가 상기 제2 용융풀 영상의 형상정보를 인공지능 학습하여 용입깊이를 도출하는 단계; 및
(g) 제어부가 상기 용입깊이 도출부로부터 전송되는 상기 용입깊이와 기설정된 용입깊이를 비교한 결과에 따라 아크광을 방전시켜 발생한 열을 적어도 2개의 모재가 접하는 접합부로 공급하는 용접부의 제어 여부를 결정하는 단계;를 포함하는 것을 특징으로 하는 용융풀 인식 및 용입깊이 제어 방법.
- 제11 항에 있어서,
상기 (a) 단계는,
(a1) 상기 영상촬영부가 상기 용접부의 끝단을 촬영하여 상기 다수의 제1 용접영상을 획득하는 단계;
(a2) 상기 사용자에 의해 상기 제1 아크광 영상, 상기 제1 용융풀 영상 및 상기 제1 배경 영상이 라벨링되는 단계; 및
(a3) 상기 영상촬영부가 상기 영상분할부로 상기 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 전송하는 단계;를 포함하는 것을 특징으로 하는 용융풀 인식 및 용입깊이 제어 방법.
- 제12 항에 있어서,
상기 다수의 제1 용접영상은 상기 제2 용융풀 영상을 인식하기 위한 기준이 되는 상기 특징점을 설정하기 위한 빅데이터로서 다수로 구성되는 상기 제1 아크광 영상, 상기 제1 용융풀 영상 및 상기 제1 배경 영상으로 구성되는 영상 데이터셋(dataset)이고,
상기 (b) 단계는,
(b1) 상기 영상분할부가 상기 영상촬영부로부터 전송되는 상기 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 수신하는 단계; 및
(b2) 상기 영상분할부가 상기 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상을 지도 학습하여 상기 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 설정하는 단계;를 포함하는 것을 특징으로 하는 용융풀 인식 및 용입깊이 제어 방법.
- 제11 항에 있어서,
상기 (c) 단계는,
(c1) 상기 영상촬영부가 상기 용접부의 끝단을 다시 촬영하여 상기 다수의 제2 용접영상을 획득하는 단계;
(c2) 상기 영상촬영부가 상기 영상분할부로 상기 다수의 제2 용접영상을 전송하는 단계;를 포함하는 것을 특징으로 하는 용융풀 인식 및 용입깊이 제어 방법.
- 제14 항에 있어서,
상기 (d) 단계는,
(d1) 상기 영상분할부가 상기 영상촬영부로부터 전송되는 상기 다수의 제2 용접영상을 수신하는 단계;
(d2) 상기 영상분할부가 상기 라벨링된 제1 아크광 영상, 제1 용융풀 영상 및 제1 배경 영상에 대한 특징점을 기준으로 상기 다수의 제2 용접영상에 매칭시켜 상기 다수의 제2 용접영상으로부터 상기 제2 용융풀 영상을 분리시키는 단계; 및
(d3) 상기 영상분할부가 상기 형상정보 측정부로 상기 제2 용융풀 영상을 전송하는 단계;를 포함하는 것을 특징으로 하는 용융풀 인식 및 용입깊이 제어 방법.
- 제11 항에 있어서,
상기 (e) 단계는,
(e1) 상기 형상정보 측정부가 상기 영상분할부로부터 전송되는 상기 제2 용융풀 영상을 수신하는 단계;
(e2) 상기 형상정보 측정부가 상기 제2 용융풀 영상에 해당하는 픽셀만을 추출하는 단계;
(e3) 상기 형상정보 측정부가 상기 제2 용융풀 영상의 최외곽에 위치하는 픽셀들이 이어지는 제2 용융풀 경계선을 추출하는 단계;
(e4) 상기 형상정보 측정부가 상기 추출된 제2 용융풀 경계선을 기반으로 상기 제2 용융풀 영상의 폭(w), 길이(l), 넓이(s) 및 상기 폭(w) 대비 길이 비율(r)을 측정하는 단계;를 포함하고,
상기 형상정보 측정부는 영상처리 알고리즘을 적용하여 상기 제2 용융풀 영상에 대한 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 포함하는 형상정보를 측정하고, 상기 제2 용융풀 영상의 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 상기 모재의 두께(t)를 5x1 행렬의 특징 벡터 데이터로 변환시키는 것을 특징으로 하는 용융풀 인식 및 용입깊이 제어 방법.
- 제16 항에 있어서,
상기 (f) 단계는,
(f1) 상기 용입깊이 도출부가 상기 형상정보 측정부로부터 전송되는 상기 제2 용융풀 영상에 대한 폭(w), 길이(l), 넓이(s), 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 포함하는 형상정보를 수신하는 단계;
(f2) 상기 용입깊이 도출부가 상기 제2 용융풀 영상에 대한 폭(w), 길이(l), 넓이(s) 및 폭(w) 대비 길이 비율(r) 및 모재의 두께(t)를 인공지능 학습하여 상기 제2 용융풀 영상에 대한 상기 용입깊이를 도출하는 단계; 및
(f3) 상기 용입깊이 도출부가 상기 제어부로 상기 용입깊이를 전송하는 단계;를 포함하는 것을 특징으로 하는 용융풀 인식 및 용입깊이 제어 방법.
- 제11 항에 있어서,
상기 (g) 단계는,
(g1) 상기 제어부가 상기 용입깊이 도출부로부터 전송되는 상기 용입깊이를 수신하는 단계; 및
(g2) 상기 제어부가 상기 용입깊이와 기설정된 용입깊이를 비교한 결과에 따라 상기 용접부의 제어 여부를 결정하는 단계;를 포함하는 것을 특징으로 하는 용융풀 인식 및 용입깊이 제어 방법.
- 제18 항에 있어서,
상기 (g2) 단계 이후,
(h) 상기 제어부가 상기 용접부의 전류 및 용접속도를 제어하는 단계;를 더 포함하고,
상기 (h) 단계는,
상기 용입깊이가 상기 기설정된 용입깊이보다 클 경우, 상기 제어부가 상기 용접부를 제어하여 상기 용접부의 전류를 감소시키거나 상기 용접부의 용접속도를 증가시키는 단계를 포함하는 것을 특징으로 하는 용융풀 인식 및 용입깊이 제어 방법.
- 제19 항에 있어서,
상기 (h) 단계는,
상기 용입깊이가 상기 기설정된 용입깊이보다 작을 경우, 상기 제어부가 상기 용접부를 제어하여 상기 용접부의 전류를 증가시키거나 상기 용접부의 용접속도를 감소시키는 단계를 더 포함하는 것을 특징으로 하는 용융풀 인식 및 용입깊이 제어 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210085727A KR102494301B1 (ko) | 2021-06-30 | 2021-06-30 | 용융풀 인식 및 용입깊이 제어 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210085727A KR102494301B1 (ko) | 2021-06-30 | 2021-06-30 | 용융풀 인식 및 용입깊이 제어 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230003997A KR20230003997A (ko) | 2023-01-06 |
| KR102494301B1 true KR102494301B1 (ko) | 2023-02-06 |
Family
ID=84924153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210085727A KR102494301B1 (ko) | 2021-06-30 | 2021-06-30 | 용융풀 인식 및 용입깊이 제어 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102494301B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116871632B (zh) * | 2023-09-08 | 2023-11-21 | 南京理工大学 | 基于弧压和熔池视觉的机器人打底焊成形缺陷监测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102155053B1 (ko) | 2019-05-30 | 2020-09-11 | 한국생산기술연구원 | 용접부 용입 제어장치 |
| KR102187764B1 (ko) | 2019-05-30 | 2020-12-08 | 한국생산기술연구원 | 용융풀 거동 측정을 통한 용접부 용입 제어방법 및 이의 용융풀 거동 측정 장치 |
| KR102319258B1 (ko) | 2020-11-23 | 2021-10-29 | (주) 토탈소프트뱅크 | 실시간 용접 변수 수집 장치 |
-
2021
- 2021-06-30 KR KR1020210085727A patent/KR102494301B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102155053B1 (ko) | 2019-05-30 | 2020-09-11 | 한국생산기술연구원 | 용접부 용입 제어장치 |
| KR102187764B1 (ko) | 2019-05-30 | 2020-12-08 | 한국생산기술연구원 | 용융풀 거동 측정을 통한 용접부 용입 제어방법 및 이의 용융풀 거동 측정 장치 |
| KR102319258B1 (ko) | 2020-11-23 | 2021-10-29 | (주) 토탈소프트뱅크 | 실시간 용접 변수 수집 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230003997A (ko) | 2023-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109035204B (zh) | 一种焊缝目标实时检测方法 | |
| US11150200B1 (en) | Workpiece inspection and defect detection system indicating number of defect images for training | |
| CN116423005B (zh) | 一种提高焊接精度的锡焊工艺优化方法及系统 | |
| KR102494301B1 (ko) | 용융풀 인식 및 용입깊이 제어 시스템 및 방법 | |
| JP2022509143A (ja) | ディープ畳込みニューラルネットワークを使用するレーザ加工プロセスの監視 | |
| JP4445454B2 (ja) | 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム | |
| EP3812105A1 (en) | Artificial intelligence architecture for industrial welding | |
| CN109693140B (zh) | 一种智能化柔性生产线及其工作方法 | |
| JP6794685B2 (ja) | 画像処理方法及び画像処理装置 | |
| CN113470005B (zh) | 一种圆柱电池盖帽的焊点检测装置和焊点检测方法 | |
| Aviles-Viñas et al. | Acquisition of welding skills in industrial robots | |
| CN114769800B (zh) | 一种用于焊接过程的智能运行控制系统与方法 | |
| JP2022105404A (ja) | 処理装置、溶接システム、処理方法、プログラム、及び記憶媒体 | |
| CN117788446A (zh) | 基于领域自适应的等离子弧焊接缺陷预测方法及系统 | |
| CN111451604A (zh) | 一种gtaw电弧熔丝增材制造熄弧处补焊监测反馈方法及系统 | |
| CN114519792B (zh) | 基于机器与深度视觉融合的焊缝超声波图像缺陷识别方法 | |
| CN117890385B (zh) | 基于焊接缺陷检测的新能源汽车水冷板加工装置 | |
| CN111103306A (zh) | 检测与标记瑕疵的方法 | |
| SE526624C2 (sv) | Värdering av svetskvalitet | |
| KR102221526B1 (ko) | 용융풀 영상처리를 통한 용융풀 폭 및 처짐 측정방법 | |
| CN115546463A (zh) | 一种基于机器学习的换胎识别方法及自动换胎系统 | |
| CN111843272B (zh) | 基于焊接过程信息融合的质量判别方法及装置 | |
| KR102242477B1 (ko) | 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치 및 방법 | |
| CN117817211B (zh) | 基于机器视觉的焊接自动化控制方法及系统 | |
| KR102006248B1 (ko) | 용접부 아크이미지 분석을 통한 아크길이 조절장치 및 아크길이 조절방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |