KR102502840B1 - 용접부 균열 예측 장치 및 방법 - Google Patents
용접부 균열 예측 장치 및 방법 Download PDFInfo
- Publication number
- KR102502840B1 KR102502840B1 KR1020200167745A KR20200167745A KR102502840B1 KR 102502840 B1 KR102502840 B1 KR 102502840B1 KR 1020200167745 A KR1020200167745 A KR 1020200167745A KR 20200167745 A KR20200167745 A KR 20200167745A KR 102502840 B1 KR102502840 B1 KR 102502840B1
- Authority
- KR
- South Korea
- Prior art keywords
- crack
- unit
- image
- weld
- neural network
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000013528 artificial neural network Methods 0.000 claims abstract description 45
- 239000007769 metal material Substances 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000012417 linear regression Methods 0.000 claims abstract description 19
- 238000003466 welding Methods 0.000 claims abstract description 15
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 12
- 238000013434 data augmentation Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000000877 morphologic effect Effects 0.000 claims description 10
- 238000009499 grossing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 229910001338 liquidmetal Inorganic materials 0.000 claims description 4
- 239000000463 material Substances 0.000 abstract description 5
- 238000005336 cracking Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 8
- 238000002591 computed tomography Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 238000000275 quality assurance Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- HCHKCACWOHOZIP-UHFFFAOYSA-N Zinc Chemical compound [Zn] HCHKCACWOHOZIP-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 229910052725 zinc Inorganic materials 0.000 description 1
- 239000011701 zinc Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
- G01B11/20—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge using brittle lacquer
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
- B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
- B23K31/125—Weld quality monitoring
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Evolutionary Computation (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Mechanical Engineering (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Operations Research (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 일 실시예에 따른 용접부 균열 예측 장치는 용접부를 포함한 금속 자재의 표면 영상을 획득하는 표면 영상 획득부, 상기 표면 영상 획득부에 의해 획득한 영상을 신호 처리하는 영상 처리부, 사전에 상기 금속 자재의 표면 영상으로부터 용접부의 표면 균열 폭을 검출하도록 학습되어 상기 영상 처리부로부터의 표면 영상으로부터 용접부의 표면 균열 폭을 검출하는 신경 네트워크부, 사전에 설정된 표면 균열 폭과 균열 깊이 간의 관계를 갖는 선형회귀식에 따라 상기 신경 네트워크부에 의해 검출된 균열 폭으로부터 금속 자재의 용접부의 균열 깊이를 예측하는 균열 깊이 예측부를 포함할 수 있고, 본 발명의 일 실시예에 따른 용접부 균열 예측 방법은 사전에 금속 자재의 표면 영상으로부터 용접부의 표면 균열 폭을 검출하도록 신경 네트워크부를 학습시키는 단계, 용접부를 포함한 금속 자재의 표면 영상을 획득하는 표면 영상 획득부에 의해 획득한 영상을 영상 처리부가 신호 처리하여 균열 형상의 특징을 추출하는 단계, 상기 신경 네트워크부가 신호 처리된 용접부 이미지로부터 균열 폭을 검출하는 단계, 균열 깊이 예측부가 사전에 설정된 표면 균열 폭과 균열 깊이 간의 관계를 갖는 선형회귀식에 따라 상기 신경 네트워크부에 의해 검출된 균열 폭으로부터 금속 자재의 용접부의 균열 깊이를 예측하는 단계를 포함할 수 있다.
Description
본 발명은 용접부의 균열을 자동으로 예측하는 장치 및 방법에 관한 것이다.
최근 들어, 초고강도 금속 자재 수요에 대응하기 위해 고강도를 유지하면서 가공 성형성을 높인 인장강도를 갖는 강재가 개발되어 사용되고 있지만, 내식성 보증을 위해 일반적으로 행해지는 아연도금 채용과 강도 확보 차원의 합금성분 증가로 인하여 용접 중 액상 아연 발생 환경에 대한 응력 등 재료 민감성이 복합적으로 작용한 액상금속취성(Lquid Metal Embrittlement; LME) 균열이 증가하여 초고강도 금속 자재 적용이 제한되고 있다.
이러한 액상금속취성균열의 균열 크기의 관리를 위해서 다양한 비파괴 검사법이 채용될 수 있으나, 관찰가능한 균열크기의 제한이 있으며, 균열크기를 정량적으로 알 수 없다는 문제점이 있다
본 발명의 일 실시예에 따르면, 금속 소재의 표면 영상으로부터의 용접부의 균열 폭에 따라 균열 깊이를 예측할 수 있는 용접부 균열 예측 장치 및 방법이 제공된다.
상술한 본 발명의 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 용접부 균열 예측 장치는 용접부를 포함한 금속 자재의 표면 영상을 획득하는 표면 영상 획득부, 상기 표면 영상 획득부에 의해 획득한 영상을 신호 처리하는 영상 처리부, 사전에 상기 금속 자재의 표면 영상으로부터 용접부의 표면 균열 폭을 검출하도록 학습되어 상기 영상 처리부로부터의 표면 영상으로부터 용접부의 표면 균열 폭을 검출하는 신경 네트워크부, 사전에 설정된 표면 균열 폭과 균열 깊이 간의 관계를 갖는 선형회귀식에 따라 상기 신경 네트워크부에 의해 검출된 균열 폭으로부터 금속 자재의 용접부의 균열 깊이를 예측하는 균열 깊이 예측부를 포함할 수 있다.
더하여, 본 발명의 일 실시예에 따른 용접부 균열 예측 방법은 사전에 금속 자재의 표면 영상으로부터 용접부의 표면 균열 폭을 검출하도록 신경 네트워크부를 학습시키는 단계, 용접부를 포함한 금속 자재의 표면 영상을 획득하는 표면 영상 획득부에 의해 획득한 영상을 영상 처리부가 신호 처리하여 균열 형상의 특징을 추출하는 단계, 상기 신경 네트워크부가 신호 처리된 용접부 이미지로부터 균열 폭을 검출하는 단계, 균열 깊이 예측부가 사전에 설정된 표면 균열 폭과 균열 깊이 간의 관계를 갖는 선형회귀식에 따라 상기 신경 네트워크부에 의해 검출된 균열 폭으로부터 금속 자재의 용접부의 균열 깊이를 예측하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 용접부의 표면관찰을 통해 균열의 내부침투 깊이를 정량적으로 알 수 있으며, 이를 통해 형성된 용접부가 고객사의 내부 합부기준을 만족하는지 쉽게 판단할 수 있어 고객사의 제품의 안전성 등 품질 보증에 기여할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 용접부 균열 예측 장치의 개략적인 구성도이다.
도 2는 본 발명의 일 실시예에 따른 용접부 균열 예측 방법의 개략적인 플로우챠트이다.
도 3은 본 발명의 일 실시예에 따른 용접부 균열 예측 장치의 영상 처리부의 개략적인 구성도이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 용접부 균열 예측 장치의 신경 네트워크부의 균열폭 검출을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 용접부 균열 예측 장치의 신경 네트워크부의 개략적인 구성도이다.
도 7은 본 발명의 일 실시예에 따른 용접부 균열 예측 장치의 균열 깊이 예측부의 선형회귀식을 나타내는 그래프이다.
도 2는 본 발명의 일 실시예에 따른 용접부 균열 예측 방법의 개략적인 플로우챠트이다.
도 3은 본 발명의 일 실시예에 따른 용접부 균열 예측 장치의 영상 처리부의 개략적인 구성도이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 용접부 균열 예측 장치의 신경 네트워크부의 균열폭 검출을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 용접부 균열 예측 장치의 신경 네트워크부의 개략적인 구성도이다.
도 7은 본 발명의 일 실시예에 따른 용접부 균열 예측 장치의 균열 깊이 예측부의 선형회귀식을 나타내는 그래프이다.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 용접부 균열 예측 장치의 개략적인 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 용접부 균열 예측 장치(100)은 표면 영상 획득부(110), 영상 처리부(120), 신경 네트워크부(130) 및 균열 깊이 예측부(140)를 포함할 수 있다.
표면 영상 획득부(110)은 금속 자재의 용접부를 포함한 표면 영상을 획득할 수 있는 이동형 현미경(111) 및 카메라(112)를 포함할 수 있다.
영상 처리부(120)는 표면 영상 획득부에 의해 획득한 영상을 신호 처리하여 균열 형상의 특징을 추출할 수 있다.
신경 네트워크부(130)는 완전 합성곱 신경망 (Fully Convolutional Networks; FCN) 알고리즘을 포함하여 영상 처리부(120)로부터의 해당 표면 영상으로부터 용접부의 표면 균열 폭을 검출할 수 있다.
균열 깊이 예측부(140)는 사전에 설정된 표면 균열 폭과 균열 깊이 간의 관계를 갖는 선형회귀식에 따라 신경 네트워크부(130)에 의해 검출된 균열 폭으로부터 금속 자재의 용접부의 균열 깊이를 예측할 수 있다.
도 2는 본 발명의 일 실시예에 따른 용접부 균열 예측 방법의 개략적인 플로우챠트이다.
도 1과 함께, 도 2를 참조하면, 먼저, 신경 네트워크부(130)는 사전에 상기 금속 자재의 표면 영상으로부터 용접부의 표면 균열 폭을 검출하도록 학습될 수 있다(S10).
이후, 용접부를 포함한 금속 자재의 표면 영상을 획득하는 표면 영상 획득부(110)에 의해 획득한 영상을 영상 처리부(120)가 신호 처리하여 균열 형상의 특징을 추출할 수 있다(S20).
다음으로 신경 네트워크부(130)가 신호 처리된 용접부 이미지로부터 균열 폭을 검출하고(S30), 균열 깊이 예측부(140)가 사전에 설정된 표면 균열 폭과 균열 깊이 간의 관계를 갖는 선형회귀식에 따라 신경 네트워크부(130)에 의해 검출된 균열 폭으로부터 금속 자재의 용접부의 균열 깊이를 예측할 수 있다(S40).
한편, 기계 학습 기반 신경망 학습에서 필요한 데이터의 수는 명시적으로 정해지진 않지만, 영상에서 나타나는 특징 차이를 학습하여 신경망에 전달하는 기계학습 기법의 특성상 데이터가 부족한 경우 새로운 데이터가 입력되더라도 성능이 감소하는 과적합(Over Fitting) 현상을 보인다. 이러한 경우 일반적으로 기존 영상을 기반으로 데이터 증대 기법(Data Augmentation)을 통해 실제 모델 훈련 시 사용되는 데이터 수를 증가시키는 방법을 사용하여 데이터를 구축하게 된다.
도 3은 본 발명의 일 실시예에 따른 용접부 균열 예측 장치의 영상 처리부의 개략적인 구성도이다.
도 1 및 도 2와 함께, 도 3을 참조하면, 영상 처리부(130)는 데이터 증가부(121), 변환부(122), 윤곽선 검출부(123), 연산부(124) 및 히스토그램 평활부(125)를 포함할 수 있다.
데이터 증가부(121)는 회전(Rotation)과 반전(Flipped)을 사용한 데이터 증대 기법을 적용하여 용접부에 LME균열이 발생된 표면 영상의 데이터 수를 예를 들어 4203개 (Original images 107; Rotated images 3745; Flipped images 351)까지 증가시킬 수 있다.
변환부(122)는 데이터가 증가된 원본 용접부 이미지에 대하여 회색조(Grayscale) 변환할 수 있고, 윤곽선 검출부(123)는 이미지 내 균열 분리를 위하여 캐니 윤곽선 검출(Canny edge detection)을 수행할 수 있다. 연산부(124)는 형태학적 특징 추출을 위한 형태학적 연산(Morphological operation)을 수행할 수 있으며, 히스토그램 평활부(125)는 균열 특징을 강조하기 위해 색상 대비를 높이는 히스토그램 평활화(Histogram Equalization)를 수행하여, 영상 처리부(120)는 상술한 이미지 처리 기법의 조합을 통해 균열 형상의 특징을 추출할 수 있다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 용접부 균열 예측 장치의 신경 네트워크부의 균열폭 검출을 나타내는 도면이다.
먼저, 도 1과 함께 도 4를 참조하면, 신경 네트워크부(130)는 머신러닝 모델로서 완전 합성곱 신경망 (Fully Convolutional Networks; FCN) 알고리즘 모델을 사용하여 LME 균열이 발생한 용접부 영상에서 시멘틱 세그멘테이션(Semantic Segmentation)을 이용한 균열 폭을 검출할 수 있다.
FCN 알고리즘은 완전 연결 계층(Fully-Connected Layer)이 없는 완전한 합성곱 네트워크(Fully Convolutional networks; FCN)를 사용함으로써 입력 데이터의 크기를 고정된 크기로 재조정(resizing)하는 과정을 배제하고 연산 복잡도를 낮춘 균열 검출 방법을 제공할 수 있다. 도 4에 도시된 바와 같이 완전 합성곱신경망 모델의 시멘틱 세그멘테이션 결과에 나타내었으며, 균열 인근에 균열(초록색)과 유사한 값의 픽셀값을 갖는 노이즈(붉은색)가 존재함에도 불구하고 세부적인 균열 형태를 정확하게 추출할 수 있다. 이에 따라, 신경 네트워크부(130)는 균열 크기 측정이 요구되는 특정 위치에서 균열과 비균열 영역을 분리하고, 균열의 픽셀 수를 계산하는 방법으로 균열 폭을 측정할 수 있다.
도 1 및 도 4와 함께 도 5를 참조하면, 신경 네트워크부(130)는 도시된 바와 같이 시멘틱 세그멘테이션 결과에서 균열 영역만들 분리해 낼 수 있으며 균열 폭은 용접부를 하나의 원으로 가정했을 때 원점을 지나는 직선인 y=tanθㆍx를 그리고 균열을 지나는 두 점 ((x1,y1)(x2,y2))사이의 거리인 {(x2-x1)2+(y2-y1)2}1/2를 통해 도출할 수 있다. 위 방법은 균열이 크게 발생한 영역에 대한 평균 균열 폭을 도출할 수 있으며, 균열 판정 자동화 시스템에 포함되어 알고리즘화 될 수 있다.
즉, 신경 네트워크부(130)의 학습된 FCN 알고리즘에 LME균열이 발생한 표면 용접부 영상을 입력하면 균열과 비균열 영역을 분리해 측정하려는 균열 영역에 대한 평균 균열 폭을 측정할 수 있다.
도 6은 본 발명의 일 실시예에 따른 용접부 균열 예측 장치의 신경 네트워크부의 개략적인 구성도이다.
도 1과 함께 도 6을 참조하면, 신경 네트워크부(130)의 상술한 FCN 알고리즘은 종래의 합성곱 신경망 (Convolutional Neural Networks; CNN) 구조에서 특징부 추출(Feature Extraction)을 위해 사용되는 합성곱 레이어(Convolution Layer)와 풀링 레이어(Pooling Layer)(식별부호 a)는 그대로 사용하되 그 뒤쪽에 위치한 레이어들을 수정한 네트워크이다. 시멘틱 세그멘테이션을 위해서는 분류(Classification)한 객체에 대한 픽셀의 공간정보가 필요한데, 완전 연결된 레이어(Fully Connected Layer)를 거친 이미지 데이터는 레이어의 특성상 객체에 대한 픽셀의 위치정보를 잃게 된다. 이러한 문제를 해결하기 위하여 FCN 알고리즘에서는 종래의 합성곱 신경망에서 완전 연결된 레이어에 해당하는 레이어를 완전 합성곱 레이어(Fully Convelutiotion Layer)(식별부호 b)로 대체하여 객체의 공간적인 정보를 유지하고 있는 특징맵(Feature Map) (Heat Map)을 얻어낸다. 이렇게 얻어낸 특징맵은 공간 정보를 가지고 있기는 하지만, 합성곱 레이어와 풀링 레이어를 거치며 입력 데이터에 비하여 크기가 매우 작아지게 된다. 그렇기 때문에 입력 데이터와 같은 크기로 분할(Segmentation)하기 위해서는 특징맵의 크기를 업샘플링(Upsampling) 해주어야 한다. 이 과정에서 단순히 입력 데이터와 같은 크기로 업샘플링해주어 얻은 결과는 매우 거칠(Coarse)기 때문에, FCN 알고리즘에서는 분할의 정확성을 높이기 위하여 스킵 레이어(Skip Layer)를 사용하였다. 스킵 레이어는 특징맵을 업샘플링할 때, 이전 단계의 합성곱 레이어들의 특징맵을 업샘플링에 참고해서 계산하여 정확성을 높여주는 역할을 하는 레이어이다. 합성곱 레이어와 풀링 레이어에서 구현된 특성맵을 참고하여 원래 이미지 크기로 복원하는 그킵 아키텍쳐(skip architecture) (식별부호 c)단계를 거쳐 정확도가 향상된 분활맵(Segmentation map)(식별부호 d)을 최종적으로 얻을 수 있다. 도시된 바와 같이, 시맨틱 세그멘테이션을 통해 균열 영역에 대한 위치와 길이 측정이 가능한 특성을 갖는다 (LME균열: 빨강색 영역, 금속 자재의 모재: 초록색 영역).
도 7은 본 발명의 일 실시예에 따른 용접부 균열 예측 장치의 균열 깊이 예측부의 선형회귀식을 나타내는 그래프이다.
도 1과 함께, 도 7을 참조하면, 균열 깊이 예측부(140)는 평균 균열 폭과 최대 균열 길이에 관한 회귀식을 통해 최대 균열 길이를 예측할 수 있다.
구조물의 취성파괴 거동을 해석함에 있어서 균열 면에 가해지는 수평응력은 균열폭과 관계되는 것으로 가정하며, 균열 면에 작용하는 응력과 균열폭의 관계를 이용하여 균열 진행과정을 설명하기도 한다. 따라서 균열폭에 초점을 맞추어, 용접부 균열진전 거동의 중요한 변수로 갖는 균열 폭에 대해 크기를 정확하게 결정하는 과정이 필요하다. 도 7을 참조하면, 쿠폰(Coupon)단위실험을 통해 금속 자재의 표면에서 관찰되는 균열의 폭과 두께방향의 크기를 정량화한 데이터로, 이로부터 표면과 내부 균열 특징의 상관관계를 알 수 있으며, 내부 균열 깊이를 판단할 수 있는 변수인 표면에서의 평균 균열 폭에 대한 선형 회귀를 통한 회귀 과정을 더하여 정교하게 내부 균열 길이를 예측할 수 있는 선형 회귀식을 제공한다.
상술한 선형 회귀식은 하기의 수식과 같다.
(수식)
Y=20.46X-48.95
(여기서, Y는 최대 균열 깊이(μm), X는 표면 균열의 평균 폭(μm))
이를 통해 알고리즘에 용접부의 표면 사진 입력만으로도 균열 영역과 금속 자재의 모재 영역을 분리하고 균열에 대한 폭 측정 시 신속하고 정확하게 내부 균열 예측이 가능할 수 있다.
상술한 용접부 균열 예측 장치 및 방법은 산업용 X선(X-ray) 컴퓨터 단층 촬영 장치(Computed Tomography; CT)에 적용될 수 있다.
산업용 X선 컴퓨터 단층 촬영 장치는 측정하고자 하는 시료가 360도 회전하는 동안 연속적으로 촬영한 X-ray 2차원 투사 이미지를 수학적으로 조합하여 3차원의 시료 이미지를 획득하는 방법으로 원하는 깊이나 지점의 단면 영상을 획득하여 그 형상을 판독할 수 있으며, 자동차 부품 등 중대형 부품을 타깃으로 하여 기존의 단면 분석방법으로는 정확한 위치 및 길이 측정이 어려운 최대 균열 길이를 평가하는데 활용될 수 있다.
상술한 바와 같이, 본 발명에 따르면, 용접부의 표면관찰을 통해 균열의 내부침투 깊이를 정량적으로 알 수 있으며, 이를 통해 형성된 용접부가 고객사의 내부 합부기준을 만족하는지 쉽게 판단할 수 있어 고객사의 제품의 안전성 등 품질 보증에 기여할 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 발명의 구성은 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.
100: 용접부 균열 예측 장치
110: 표면 영상 획득부
111: 이동형 현미경
112: 카메라
120: 영상 처리부
121: 데이터 증가부
122: 변환부
123: 윤곽선 검출부
124: 연산부
125: 히스토그램 평활부
130: 신경 네트워크부
140: 균일 깊이 예측부
110: 표면 영상 획득부
111: 이동형 현미경
112: 카메라
120: 영상 처리부
121: 데이터 증가부
122: 변환부
123: 윤곽선 검출부
124: 연산부
125: 히스토그램 평활부
130: 신경 네트워크부
140: 균일 깊이 예측부
Claims (17)
- 용접부를 포함한 금속 자재의 표면 영상을 획득하는 표면 영상 획득부;
상기 표면 영상 획득부에 의해 획득한 영상을 신호 처리하는 영상 처리부;
사전에 상기 금속 자재의 표면 영상으로부터 용접부의 표면 균열 폭을 검출하도록 학습되어 상기 영상 처리부로부터의 표면 영상으로부터 용접부의 표면 균열 폭을 검출하는 신경 네트워크부; 및
사전에 설정된 표면 균열 폭과 균열 깊이 간의 관계를 갖는 선형회귀식에 따라 상기 신경 네트워크부에 의해 검출된 균열 폭으로부터 금속 자재의 용접부의 균열 깊이를 예측하는 균열 깊이 예측부를 포함하고,
상기 신경 네트워크부는 완전 합성곱 신경망 (Fully Convolutional Networks; FCN) 알고리즘을 포함하며,
상기 완전 합성곱 신경망 알고리즘은 시멘틱 세그멘테이션을 위해 분류(Classification)한 객체에 대한 픽셀의 공간정보를 유지하는 특징맵을 얻어내는 완전 합성곱 레이어를 포함하는 용접부 균열 예측 장치.
- 제1항에 있어서,
상기 선형회귀식은 하기의 수식을 갖는 용접부 균열 예측 장치.
(수식)
Y=20.46X-48.95
(여기서, Y는 최대 균열 깊이(μm), X는 표면 균열의 평균 폭(μm))
- 제1항에 있어서,
상기 균열은 액상금속취성(Lquid Metal Embrittlement; LME) 균열인 용접부 균열 예측 장치.
- 삭제
- 용접부를 포함한 금속 자재의 표면 영상을 획득하는 표면 영상 획득부;
상기 표면 영상 획득부에 의해 획득한 영상을 신호 처리하는 영상 처리부;
사전에 상기 금속 자재의 표면 영상으로부터 용접부의 표면 균열 폭을 검출하도록 학습되어 상기 영상 처리부로부터의 표면 영상으로부터 용접부의 표면 균열 폭을 검출하는 신경 네트워크부; 및
사전에 설정된 표면 균열 폭과 균열 깊이 간의 관계를 갖는 선형회귀식에 따라 상기 신경 네트워크부에 의해 검출된 균열 폭으로부터 금속 자재의 용접부의 균열 깊이를 예측하는 균열 깊이 예측부를 포함하고,
상기 신경 네트워크부는 완전 합성곱 신경망 (Fully Convolutional Networks; FCN) 알고리즘을 포함하며,
상기 신경 네트워크부는 시멘틱 세그멘테이션(Semantic Segmentation)을 이용하여 상기 영상 처리부로부터의 표면 영상으로부터 균열 영역과 비균열 영역을 분리하고, 상기 용접부를 하나의 원으로 가정하여 상기 원의 원점을 지나가는 직선이 상기 균열 영역을 지나가는 두 점 사이의 거리에 따라 상기 균열 폭을 검출하는 용접부 균열 예측 장치.
- 제1항에 있어서,
상기 영상 처리부는
상기 표면 영상 획득부에 의해 획득한 영상의 용접부 이미지에 회전 및 반전을 사용한 데이터 증대 기법을 적용하여 데이터 수를 증가시키는 데이터 증가부;
상기 데이터 증가부에 의해 데이터 수를 증가된 용접부 이미지의 그레이 스케일을 변환하는 변환부;
상기 변환부에 의해 변환된 용접부 이미지의 캐니(canny) 윤곽선을 검출하는 윤곽선 검출부;
상기 윤곽선 검출부로부터의 용접부 이미지에서 형태학적 특징을 추출하는 연산부; 및
상기 연산부에 의해 형태학적 특징이 추출된 용접부 이미지의 색상 대비를 높이는 히스토그램 평활부
를 포함하여 균열 형상의 특징을 추출하는 용접부 균열 예측 장치.
- 사전에 금속 자재의 표면 영상으로부터 용접부의 표면 균열 폭을 검출하도록 신경 네트워크부를 학습시키는 단계;
용접부를 포함한 금속 자재의 표면 영상을 획득하는 표면 영상 획득부에 의해 획득한 영상을 영상 처리부가 신호 처리하여 균열 형상의 특징을 추출하는 단계;
상기 신경 네트워크부가 신호 처리된 용접부 이미지로부터 균열 폭을 검출하는 단계; 및
균열 깊이 예측부가 사전에 설정된 표면 균열 폭과 균열 깊이 간의 관계를 갖는 선형회귀식에 따라 상기 신경 네트워크부에 의해 검출된 균열 폭으로부터 금속 자재의 용접부의 균열 깊이를 예측하는 단계를 포함하고,
상기 균열 폭을 검출하는 단계는 상기 신경 네트워크부가 완전 합성곱 신경망 (Fully Convolutional Networks; FCN) 알고리즘을 포함하고, 상기 완전 합성곱 신경망 알고리즘은 시멘틱 세그멘테이션을 위해 분류(Classification)한 객체에 대한 픽셀의 공간정보를 유지하는 특징맵을 얻어내는 완전 합성곱 레이어를 포함하는 용접부 균열 예측 방법.
- 제7항에 있어서,
상기 균열 형상의 특징을 추출하는 단계는
데이터 증가부가 상기 표면 영상 획득부에 의해 획득한 영상의 용접부 이미지에 회전 및 반전을 사용한 데이터 증대 기법을 적용하여 데이터 수를 증가시키는 단계;
변환부가 상기 데이터 증가부에 의해 데이터 수를 증가된 용접부 이미지의 그레이 스케일을 변환하는 단계;
윤곽선 검출부가 상기 변환부에 의해 변환된 용접부 이미지의 캐니(canny) 윤곽선을 검출하는 단계;
연산부가 상기 윤곽선 검출부로부터의 용접부 이미지에서 형태학적 특징을 추출하는 단계; 및
히스토그램 평활부가 상기 연산부에 의해 형태학적 특징이 추출된 용접부 이미지의 색상 대비를 높이는 단계
를 포함하는 용접부 균열 예측 방법.
- 사전에 금속 자재의 표면 영상으로부터 용접부의 표면 균열 폭을 검출하도록 신경 네트워크부를 학습시키는 단계;
용접부를 포함한 금속 자재의 표면 영상을 획득하는 표면 영상 획득부에 의해 획득한 영상을 영상 처리부가 신호 처리하여 균열 형상의 특징을 추출하는 단계;
상기 신경 네트워크부가 신호 처리된 용접부 이미지로부터 균열 폭을 검출하는 단계; 및
균열 깊이 예측부가 사전에 설정된 표면 균열 폭과 균열 깊이 간의 관계를 갖는 선형회귀식에 따라 상기 신경 네트워크부에 의해 검출된 균열 폭으로부터 금속 자재의 용접부의 균열 깊이를 예측하는 단계를 포함하고,
상기 균열 폭을 검출하는 단계는 상기 신경 네트워크부가 완전 합성곱 신경망 (Fully Convolutional Networks; FCN) 알고리즘을 포함하여 시멘틱 세그멘테이션(Semantic Segmentation)을 이용해서 상기 영상 처리부로부터의 표면 영상으로부터 균열 영역과 비균열 영역을 분리하고, 상기 용접부를 하나의 원으로 가정하여 상기 원의 원점을 지나가는 직선이 상기 균열 영역을 지나가는 두 점 사이의 거리에 따라 상기 균열 폭을 검출하는 단계인 용접부 균열 예측 방법.
- 제7항에 있어서,
상기 선형회귀식은 하기의 수식을 갖는 용접부 균열 예측 방법.
(수식)
Y=20.46X-48.95
(여기서, Y는 최대 균열 깊이(μm), X는 표면 균열의 평균 폭(μm)) - 제5항에 있어서,
상기 선형회귀식은 하기의 수식을 갖는 용접부 균열 예측 장치.
(수식)
Y=20.46X-48.95
(여기서, Y는 최대 균열 깊이(μm), X는 표면 균열의 평균 폭(μm))
- 제5항에 있어서,
상기 균열은 액상금속취성(Lquid Metal Embrittlement; LME) 균열인 용접부 균열 예측 장치.
- 제5항에 있어서,
상기 영상 처리부는
상기 표면 영상 획득부에 의해 획득한 영상의 용접부 이미지에 회전 및 반전을 사용한 데이터 증대 기법을 적용하여 데이터 수를 증가시키는 데이터 증가부;
상기 데이터 증가부에 의해 데이터 수를 증가된 용접부 이미지의 그레이 스케일을 변환하는 변환부;
상기 변환부에 의해 변환된 용접부 이미지의 캐니(canny) 윤곽선을 검출하는 윤곽선 검출부;
상기 윤곽선 검출부로부터의 용접부 이미지에서 형태학적 특징을 추출하는 연산부; 및
상기 연산부에 의해 형태학적 특징이 추출된 용접부 이미지의 색상 대비를 높이는 히스토그램 평활부
를 포함하여 균열 형상의 특징을 추출하는 용접부 균열 예측 장치.
- 제9항에 있어서,
상기 균열 형상의 특징을 추출하는 단계는
데이터 증가부가 상기 표면 영상 획득부에 의해 획득한 영상의 용접부 이미지에 회전 및 반전을 사용한 데이터 증대 기법을 적용하여 데이터 수를 증가시키는 단계;
변환부가 상기 데이터 증가부에 의해 데이터 수를 증가된 용접부 이미지의 그레이 스케일을 변환하는 단계;
윤곽선 검출부가 상기 변환부에 의해 변환된 용접부 이미지의 캐니(canny) 윤곽선을 검출하는 단계;
연산부가 상기 윤곽선 검출부로부터의 용접부 이미지에서 형태학적 특징을 추출하는 단계; 및
히스토그램 평활부가 상기 연산부에 의해 형태학적 특징이 추출된 용접부 이미지의 색상 대비를 높이는 단계
를 포함하는 용접부 균열 예측 방법.
- 제9항에 있어서,
상기 선형회귀식은 하기의 수식을 갖는 용접부 균열 예측 방법.
(수식)
Y=20.46X-48.95
(여기서, Y는 최대 균열 깊이(μm), X는 표면 균열의 평균 폭(μm))
- 제1항에 있어서,
상기 신경 네트워크부는 상기 시멘틱 세그멘테이션(Semantic Segmentation)을 이용하여 상기 영상 처리부로부터의 표면 영상으로부터 균열 영역과 비균열 영역을 분리하고, 상기 용접부를 하나의 원으로 가정하여 상기 원의 원점을 지나가는 직선이 상기 균열 영역을 지나가는 두 점 사이의 거리에 따라 상기 균열 폭을 검출하는 용접부 균열 예측 장치.
- 제7항에 있어서,
상기 균열 폭을 검출하는 단계는 상기 신경 네트워크부가 포함한 상기 완전 합성곱 신경망 (Fully Convolutional Networks; FCN) 알고리즘은 상기 시멘틱 세그멘테이션(Semantic Segmentation)을 이용해서 상기 영상 처리부로부터의 표면 영상으로부터 균열 영역과 비균열 영역을 분리하고, 상기 용접부를 하나의 원으로 가정하여 상기 원의 원점을 지나가는 직선이 상기 균열 영역을 지나가는 두 점 사이의 거리에 따라 상기 균열 폭을 검출하는 단계인 용접부 균열 예측 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200167745A KR102502840B1 (ko) | 2020-12-03 | 2020-12-03 | 용접부 균열 예측 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200167745A KR102502840B1 (ko) | 2020-12-03 | 2020-12-03 | 용접부 균열 예측 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220078324A KR20220078324A (ko) | 2022-06-10 |
| KR102502840B1 true KR102502840B1 (ko) | 2023-02-23 |
Family
ID=81986870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200167745A KR102502840B1 (ko) | 2020-12-03 | 2020-12-03 | 용접부 균열 예측 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102502840B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000301262A (ja) | 1999-04-20 | 2000-10-31 | Hitachi Metals Ltd | 金型寿命の予測方法及びそれを用いた金型材の最適物性値の予測方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102036963B1 (ko) * | 2017-01-03 | 2019-11-29 | 한국과학기술원 | Cnn 기반의 와일드 환경에 강인한 얼굴 검출 방법 및 시스템 |
| KR101973492B1 (ko) * | 2017-10-11 | 2019-04-30 | 한국도로공사 | 선형회귀분석에 따른 교량의 열화판별 방법 |
| KR20190088089A (ko) | 2017-12-26 | 2019-07-26 | 세종대학교산학협력단 | 용접 표면 결점 검출 장치 및 방법 |
-
2020
- 2020-12-03 KR KR1020200167745A patent/KR102502840B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000301262A (ja) | 1999-04-20 | 2000-10-31 | Hitachi Metals Ltd | 金型寿命の予測方法及びそれを用いた金型材の最適物性値の予測方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220078324A (ko) | 2022-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kothari | Detecting welding defects in steel plates using machine learning and computer vision algorithms | |
| Wang et al. | Automatic identification of different types of welding defects in radiographic images | |
| Shafeek et al. | Assessment of welding defects for gas pipeline radiographs using computer vision | |
| KR102256181B1 (ko) | 강구조물의 도막 상태 검사 및 평가 방법과 이를 위한 시스템 | |
| Shafeek et al. | Automatic inspection of gas pipeline welding defects using an expert vision system | |
| Sun et al. | Real-time automatic detection of weld defects in steel pipe | |
| Tyystjärvi et al. | Automated defect detection in digital radiography of aerospace welds using deep learning | |
| Kaftandjian et al. | Uncertainty modelling using Dempster–Shafer theory for improving detection of weld defects | |
| US20220415020A1 (en) | System and method for detection of anomalies in welded structures | |
| US20220244194A1 (en) | Automated inspection method for a manufactured article and system for performing same | |
| CN110097547B (zh) | 一种基于深度学习的焊缝底片造假的自动检测方法 | |
| JPH0896136A (ja) | 溶接欠陥の評価システム | |
| Liao et al. | Extraction of welds from radiographic images using fuzzy classifiers | |
| CN115803619A (zh) | 信息处理装置、判定方法、以及信息处理程序 | |
| CN117173461A (zh) | 一种多视觉任务的灌装容器缺陷检测方法、系统及介质 | |
| Yazid et al. | Discontinuities detection in welded joints based on inverse surface thresholding | |
| Snow et al. | Scalable in situ non-destructive evaluation of additively manufactured components using process monitoring, sensor fusion, and machine learning | |
| KR102502840B1 (ko) | 용접부 균열 예측 장치 및 방법 | |
| CN116381053A (zh) | 一种用于金属材料焊接的超声波检测方法及系统 | |
| Florez-Ospina et al. | Toward automatic evaluation of defect detectability in infrared images of composites and honeycomb structures | |
| Sutcliffe et al. | Automatic defect recognition of single-v welds using full matrix capture data, computer vision and multi-layer perceptron artificial neural networks | |
| Radi et al. | Segmenting welding flaws of non-horizontal shape | |
| CN114187256A (zh) | 一种焊缝x射线照片缺陷检测方法 | |
| Halim et al. | Automatic laser welding defect detection and classification using sobel-contour shape detection | |
| Hu et al. | Crack detection and evaluation method for self-piercing riveting button images based on BP neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |