KR102118809B1 - 용접 결함의 종류 판단 방법 및 이를 수행하는 단말 장치 - Google Patents

용접 결함의 종류 판단 방법 및 이를 수행하는 단말 장치 Download PDF

Info

Publication number
KR102118809B1
KR102118809B1 KR1020180153775A KR20180153775A KR102118809B1 KR 102118809 B1 KR102118809 B1 KR 102118809B1 KR 1020180153775 A KR1020180153775 A KR 1020180153775A KR 20180153775 A KR20180153775 A KR 20180153775A KR 102118809 B1 KR102118809 B1 KR 102118809B1
Authority
KR
South Korea
Prior art keywords
welding
defect
anchor box
image
type
Prior art date
Application number
KR1020180153775A
Other languages
English (en)
Inventor
공성곤
백종웅
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020180153775A priority Critical patent/KR102118809B1/ko
Application granted granted Critical
Publication of KR102118809B1 publication Critical patent/KR102118809B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/629—Specific applications or type of materials welds, bonds, sealing compounds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

용접 결함의 종류 판단 방법 및 이를 수행하는 단말 장치가 개시된다. 개시된 방법은 용접이 수행된 구조물에 대한 입력 이미지에 대해 전처리 과정을 수행하여 전처리된 이미지를 산출하는 단계; 및 상기 전처리된 이미지를 미리 학습된 신경망에 입력하여 상기 용접의 결함의 위치 및 종류를 판단하는 단계;를 포함하되,
상기 판단하는 단계는, 상기 신경망 내의 컨볼루션 레이어를 통해 상기 전처리 이미지에서 1차 특징 맵을 산출하는 단계; 서로 다른 모양을 가지는 복수 개의 앵커 박스 필터 각각을 상기 1차 특징 맵에 슬라이딩 이동하여 상기 용접의 결함의 위치를 포함하는 2차 특징 맵을 산출하는 단계; 및 상기 2차 특징 맵을 상기 신경망 내의 CNN 분류기에 입력하여 상기 용접의 결함의 종류를 판단하는 단계;를 포함한다.

Description

용접 결함의 종류 판단 방법 및 이를 수행하는 단말 장치{Method for determining type of welding defect and Terminal device for performing the method}
본 발명의 실시예들은 미리 학습된 신경망을 이용하여 구조물에 수행된 용접의 결함의 위치 및 종류를 정확하게 판단할 수 있는 용접 결함의 종류 판단 방법 및 이를 수행하는 단말 장치에 관한 것이다.
용접을 사용한 구조물은 이음의 형상이 자유롭고 그 구조가 간단하며, 이음의 두께에도 제한이 없는 장점이 있다. 그러나, 용접은 공정의 특성상 외부 조건의 변화에 따라 용접 품질이 변하는 단점이 있다. 이와 같은 변화는 용접 구조물에 필요한 성능과 용접 구조물의 사용 성능을 충족시키지 못하고, 용접 이음 파괴의 원인이 될 수 있다.
용접부에 발생하는 외관상 및 성능상의 각종 결함을 용접 결함이라고 하는데, 용접 공정에서 해결하기 어려운 문제점 중 하나가 이러한 용접 결함의 방지이다. 따라서, 용접 결함을 찾기 위하여 용접 상태의 정확한 평가를 수행하고 있다.
한편, 종래 기술의 경우, 별도의 장치로 용접의 결함 여부를 판별하고 있으며, 상기의 장치는 대부분 전류, 초음파, 방사선 등의 비파괴 검사 장치를 사용한다.
하지만, 종래의 장치를 사용하는 경우 경제적 부담 및 공간적 부담이 발생하는 단점이 있다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 미리 학습된 신경망을 이용하여 구조물에 수행된 용접의 결함의 위치 및 종류를 정확하게 판단할 수 있는 용접 결함의 종류 판단 방법 및 이를 수행하는 단말 장치를 제안하고자 한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 프로세서가 포함된 장치에서 수행되는 용접 결함의 종류 판단 방법에 있어서, 용접이 수행된 구조물에 대한 입력 이미지에 대해 전처리 과정을 수행하여 전처리된 이미지를 산출하는 단계; 및 상기 전처리된 이미지를 미리 학습된 신경망에 입력하여 상기 용접의 결함의 위치 및 종류를 판단하는 단계;를 포함하되, 상기 판단하는 단계는, 상기 신경망 내의 컨볼루션 레이어를 통해 상기 전처리 이미지에서 1차 특징 맵을 산출하는 단계; 서로 다른 모양을 가지는 복수 개의 앵커 박스 필터 각각을 상기 1차 특징 맵에 슬라이딩 이동하여 상기 용접의 결함의 위치를 포함하는 2차 특징 맵을 산출하는 단계; 및 상기 2차 특징 맵을 상기 신경망 내의 CNN 분류기에 입력하여 상기 용접의 결함의 종류를 판단하는 단계;를 포함하는 것을 특징으로 하는 용접 결함의 종류 판단 방법이 제공된다.
상기 복수 개의 앵커 박스는 상기 1차 특징 맵에서 순차적으로 상기 앵커 박스의 모양을 변화시키면서 슬라이딩 이동할 수 있다.
상기 복수 개의 앵커 박스는 3개의 앵커 박스로 구성되는 적어도 하나의 앵커 박스 세트를 포함하고, 상기 3개의 앵커 박스는 가로/세로의 비율이 1:1인 앵커 박스 A, 가로/세로의 비율이 1:2인 앵커 박스 B 및 가로/세로의 비율이 1:3인 앵커 박스 C로 구성되며, 상기 적어도 하나의 앵커 박스 세트 각각의 앵커 박스 A의 면적은 서로 다를 수 있다.
상기 앵커 박스 세트 각각에서 상기 앵커 박스 A, 상기 앵커 박스 B, 상기 앵커 박스 C의 순서로 상기 모양의 변화의 순서가 설정되고, 상기 앵커 박스 A의 면적이 작은 앵커 박스 세트의 순서로 상기 모양의 변화의 순서가 결정될 수 있다.
상기 신경망은 R-CNN(Region-CNN)이거나 R-CNN에서 파생된 신경망일 수 있다.
상기 용접의 결함 종류는 용접 부위가 과대 용접된 결함인 오버랩(overlap) 결함, 용접 부위가 과소 용접된 결함인 언더컷(undercut) 결함 및 용접 부위의 표면이 불균일한 결함인 불균형(Uneven) 결함을 포함할 수 있다.
상기 전처리 과정은 상기 입력 이미지를 그레이 스케일로 변환하고, 상기 그레이 스케일로 변환된 이미지에 대해 히스토그램 평활화를 수행하고, 상기 히스토그램 평활화가 수행된 이미지에 대해 영상 이진화를 수행하고, 상기 영상 이진화가 수행된 이미지에 대해 윤곽선을 검출하는 것을 포함하며, 상기 전처리된 이미지는 상기 윤곽선이 검출된 이미지일 수 있다.
상기 신경망은 복수 개의 학습 데이터를 이용하여 학습되며, 상기 학습 데이터는 용접이 수행된 구조물에 대한 복수 개의 학습 이미지 및 상기 복수 개의 학습 이미지의 결함 위치 정보와 결함 종류 정보를 포함하는 정보 데이터를 포함할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 용접 결함의 종류를 판단하는 단말 장치에 있어서, 컴퓨터에서 판독 가능한 명령을 저장하는 메모리부; 및 상기 명령을 실행하도록 구현되는 프로세서부:를 포함하되, 상기 프로세서부는, 용접이 수행된 구조물에 대한 입력 이미지에 대해 전처리 과정을 수행하여 전처리된 이미지를 산출하고, 상기 전처리된 이미지를 미리 학습된 신경망에 입력하여 상기 용접의 결함의 위치 및 종류를 판단하되, 상기 신경망 내의 컨볼루션 레이어를 통해 상기 전처리 이미지에서 1차 특징 맵을 산출하고, 서로 다른 모양을 가지는 복수 개의 앵커 박스 필터 각각을 상기 1차 특징 맵에 슬라이딩 이동하여 상기 용접의 결함의 위치를 포함하는 2차 특징 맵을 산출하고, 상기 2차 특징 맵을 상기 신경망 내의 CNN 분류기에 입력하여 상기 용접의 결함의 종류를 판단하는 것을 특징으로 하는 단말 장치가 제공된다.
본 발명에 따르면, 구조물에 수행된 용접의 결함의 위치 및 종류를 정확하게 판단할 수 있는 장점이 있다.
또한, 본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 단말 장치의 개략적인 구성을 도시한 도면이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 용접 결함의 종류 판단 방법의 흐름도를 도시한 도면이다.
도 4는 본 발명에 따른 입력 이미지의 전처리의 각 과정에서의 결과 이미지를 도시한 도면이다.
도 5는 용접 결함의 종류의 개념을 도시한 도면이다.
도 6은 용접 결함의 종류의 실제 사진을 도시한 도면이다.
도 7 및 도 8에서는 본 발명에 따른 복수 개의 앵커 박스의 일례를 도시하고 있다.
도 9은 본 발명에 따른 CNN 기반 분류기의 개념을 도시한 도면이다.
도 10는 본 발명의 용접 결함 검출 방법에 따른 검출 결과를 도시한 도면이다.
도 11은 본 발명에 따라서, 사용자의 이벤트 동작에 의해 상기 획득된 이미지 내의 용접의 작업 설정 정보를 획득된 이미지와 함께 표시하는 인터페이스를 도시한 도면이다.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술한다.
도 1은 본 발명의 일 실시예에 따른 단말 장치의 개략적인 구성을 도시한 도면이다.
도 1을 참조하면, 단말 장치(100)는 용접 결함의 종류를 판단하는 것으로서, 입력부(110), 메모리부(120), 프로세서부(130) 및 디스플레이부(140)를 포함한다. 이하, 각 구성 요소 별로 수행되는 기능을 설명하면 다음과 같다.
입력부(110)는 사용자로부터 용접이 수행된 구조물에 대한 입력 이미지를 구성요소이다. 일례로, 입력부(110)는 유선 통신 또는 무선 통신으로 통해 전송된 입력 이미지를 입력받을 수도 있고, 단말 장치(100)에 구비되어 있는 카메라에서 획득된 입력 이미지를 입력받을 수도 있다.
메모리부(120)는 휘발성 및/또는 비휘발성 메모리일 수 있고, 단말 장치(100)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장한다. 특히, 메모리부(120)는 용접 결함의 종류를 판단하는 컴퓨터 프로그램 내지 기록 매체에 관계된 명령어 또는 데이터를 저장할 수 있다.
프로세서부(130)는 중앙처리장치, 애플리케이션 프로세서, 또는 커뮤니케이션 프로세서 중 하나 또는 그 이상을 포함할 수 있다. 예를 들면, 프로세서부(130)는 단말 장치(100)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 특히, 프로세서부(130)는 상기 컴퓨터 프로그램의 실행에 관계된 명령을 실행할 수 있다.
디스플레이부(140)는 액정 디스플레이(LCD), 발광 다이오드 디스플레이(LED), 유기 발광 다이오드 디스플레이(OLED) 등으로 구성될 수 있으며, 프로세서부(130)에서 실행되는 컴퓨터 프로그램의 실행 화면 및 출력값을 표시할 수 있다.
본 발명의 일 실시예에 따르면, 단말 장치(100)는 용접이 수행된 구조물에 대한 입력 이미지에 대해 전처리 과정을 수행하여 전처리된 이미지를 산출하고, 전처리된 이미지를 미리 학습된 인공지능 신경망에 입력하여 상기 용접의 결함의 종류를 판단할 수 있다.
이하, 도 2를 참조하여 단말 장치(100) 내의 프로세서부(130)에서 수행되는 용접 결함의 종류 판단 방법에 대해 상세하게 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 용접 결함의 종류 판단 방법의 흐름도를 도시한 도면이다. 이하, 각 단계 별로 수행되는 과정을 설명하기로 한다.
먼저, 단계(210)에서는 용접이 수행된 구조물에 대한 입력 이미지(용접 표면 이미지)에 대해 전처리 과정을 수행하여 전처리된 이미지를 산출한다. 여기서, 입력 이미지는 CCD 또는 CMOS 디지털 카메라에 의하여 HD급 영상 데이터로 획득된 이미지일 수 있다.
이와 같은 입력 이미지에 대한 전처리 과정을 통해 용접 표면 외의 부분이 제거되고, 용접 표면 부분에 생성된 잡음이 완화되어 용접 상태가 정상인 부분이 결점 부분으로 분류되는 것이 방지될 수 있다.
본 발명의 일 실시예에 따르면, 전처리 과정은, 입력 이미지를 그레이 스케일로 변환하고, 그레이 스케일로 변환된 이미지에 대해 히스토그램 평활화를 수행하고, 히스토그램 평활화가 수행된 이미지에 대해 영상 이진화를 수행하고, 영상 이진화가 수행된 이미지에 대해 윤곽선을 검출하는 것을 포함할 수 있다. 이 때, 전처리된 이미지는 윤곽선이 검출된 이미지일 수 있다. 도 4에서는 전처리의 각 과정에서의 결과 이미지를 도시하고 있다.
참고로, 전처리 과정 중 그레이 스케일 변환 과정은 컬러 이미지인 입력 이미지를 그레이 스케일로 변환하는 과정이다. 특히 CNN 기반의 알고리즘 모델에서 컬러 이미지의 특정 색상이 특징으로 취급될 수 있으므로, 목적에 맞는 특징을 추출하기 위해서 그레이 스케일화 과정을 수행한다.
그리고, 전처리 과정 중 히스토그램 평활화 과정은 그레이 스케일화된 이미지의 명암을 균일화시킴으로써 용접 표면의 결점 부위가 명확하게 나타나게 하는 과정이다.
그리고, 전처리 과정 중 영상 이진화 과정은, 히스토그램 평활화된 이미지에 대하여 임계값을 60%로 설정하여 수행된다. 즉, 0~255의 픽셀값을 갖는 픽셀들 중 153 이상의 픽셀값을 가지는 픽셀은 픽셀값이 1로 설정되고, 153 미만의 픽셀값을 가지는 픽셀은 픽셀값이 0으로 설정된다. 임계값이 153으로 설정되는 이유는, 데이터 특성 상 60%의 임계값 이상의 픽셀값을 가지는 픽셀에서 빛의 반사가 이루어져 빛 반사가 이루어지는 영역과 그렇지 않은 영역이 구분될 수 있기 때문이다.
그리고, 전처리 과정 중 윤곽선 검출 과정의 경우, Canny Edge Detection 기법을 이용하여 이진화된 이미지로부터 윤곽선 검출이 수행된다. 이 경우, 영상 내 모든 에지를 검출할 수 있고, 에러율이 낮으며, 요구 성능과 관계없이 에지를 정확히 측정할 수 있다.
다음으로, 단계(220)에서는 전처리된 이미지를 미리 학습된 신경망에 입력하여 용접의 결함의 종류를 판단한다.
이 때, 용접 결함의 종류는 용접 부위가 과대 용접된 결함인 오버랩(overlap) 결함, 용접 부위가 과소 용접된 결함인 언더컷(undercut) 결함 및 용접 부위의 표면이 불균일한 결함인 불균형(Uneven) 결함을 포함할 수 있다. 도 5에서는 용접 결함의 종류의 개념을 도시하고 있고, 도 6에서는 용접 결함의 종류의 실제 사진을 도시하고 있다.
그리고, 신경망은 R-CNN(Region-CNN)이거나 R-CNN에서 파생된 신경망일 수 있으며, 컨볼루션 레이어, RPN(Region Proposal Network) 및 CNN 기반 분류기가 포함될 수 있다.
또한, 신경망은 복수 개의 학습 데이터를 이용하여 학습될 수 있으며, 상기한 학습을 통해 아래에서 설명되는 필터 및 앵커 박스 내의 가중치가 결정될 수 있다. 이 때, 학습 데이터는 용접이 수행된 구조물에 대한 복수 개의 학습 이미지와, 상기 복수 개의 학습 이미지의 결함 위치 정보 및 결함 종류 정보를 알려주는 정보 데이터를 포함할 수 있다.
다시 말해, 용접 결함의 종류에 대한 신경망의 학습을 진행하기 위해서는 데이터 셋에 대한 라벨링이 필요하다. 라벨링은 이미지에서 결함이 존재하는 위치와 해당 결함의 이름(어떤 결함인지 여부)를 정의하는 과정이다. 위치와 결함의 이름이 정의된 정보는 XML 파일로 저장된다. 초기 라벨링을 진행할 때, 사용자가 이미지 내 결함 부위의 위치와 정보를 수동으로 정의한다. 학습 시 라벨링 정보가 있는 XML 파일과 이미지 파일을 입력으로 사용하고 학습을 진행한다. 모델 학습은 지도 학습으로 수행된다.
이하, 도 3을 참조하여 단계(220)를 보다 상세하게 설명하기로 한다.
먼저, 단계(221)에서는 신경망 내의 컨볼루션 레이어를 통해 전처리 이미지에서 1차 특징 맵을 산출한다. 즉, 단계(221)에서는 전처리 이미지인 윤곽선 검출 이미지와 소정의 필터를 합성 곱하여 1차 특징 맵을 산출할 수 있다. 여기서, 1차 특징 맵의 각각의 원소는 숫자값이며, 상기 소정의 필터는 학습에 의해 필터 내의 가중치가 설정된다.
다음으로, 단계(222)에서는 신경망 내의 RPN를 통해 복수 개의 앵커 박스 필터 각각을 1차 특징 맵에 슬라이딩 이동하여 용접의 결함의 위치를 포함하는 2차 특징 맵을 산출한다. 즉, RPN에서는 1차 특징 맵 상에서의 용접 표면의 결함 위치와 결함일 확률을 도출한다.
이 때, 복수 개의 앵커 박스는 서로 다른 모양을 가지며, 1차 특징 맵의 하나의 위치에서 순차적으로 앵커 박스의 모양을 변화시키면서 슬라이딩 이동할 수 있되, 1차 특징 맵의 모든 위치에서 상기한 동작을 수행한다. 이 때, 슬라이딩 이동은 64 픽셀씩 이동하면서 수행될 수 있다. 또한, 각각의 앵커 박스는 학습에 의해 앵커 박스 내의 가중치가 설정된다.
본 발명의 일 실시예에 따르면, 복수 개의 앵커 박스는 3개의 앵커 박스로 구성되는 적어도 하나의 앵커 박스 세트를 포함하고, 도 7에 도시된 바와 같이, 각각의 앵커 박스 세트 내의 3개의 앵커 박스는 가로/세로의 비율이 1:1인 앵커 박스 A, 가로/세로의 비율이 1:2인 앵커 박스 B 및 가로/세로의 비율이 1:3인 앵커 박스 C로 구성되며, 적어도 하나의 앵커 박스 세트 각각의 앵커 박스 A의 면적은 서로 다를 수 있다. 그리고, 앵커 박스 세트 각각에서, 앵커 박스 A, 앵커 박스 B, 앵커 박스 C의 순서로 상기한 모양의 변화의 순서가 설정되고, 앵커 박스 A의 면적이 작은 앵커 박스 세트의 순서로 상기 모양의 변화의 순서가 결정될 수 있다.
도 8에서는 본 발명에 따른 복수 개의 앵커 박스의 일례를 도시하고 있다.
도 8를 참조하면, 9개의 앵커 박스가 사용될 수 있으며, 이는 3개의 앵커 박스 세트로 구분될 수 있다. 앵커 박스 세트 각각에는 3개의 앵커 박스인 앵커 박스 A, B 및 C가 포함된다.
여기서, 앵커 박스 A1는 128Х128의 크기를 가지고, 앵커 박스 A2는 256Х256의 크기를 가지고, 앵커 박스 A3는 325Х325의 크기를 가진다. 그리고, 앵커 박스 B는 앵커 박스 A의 크기에서 1:2 비율의 크기를 가지고, 앵커 박스 C는 앵커 박스 A의 크기에서 1:3 비율의 크기를 가진다.
일례로서, 용접 표면과 촬영 거리가 4cm인 상태에서, 앵커 박스 A1은 가로 및 세로가 0.5cm인 결함을 감지 할 수 있고, 앵커 박스 A2는 가로 및 세로가 1cm인 결함을 감지할 수 있고, 앵커 박스 A3은 가로 및 세로가 1.2cm인 결함을 감지할 수 있다. 따라서, 최소 0.5cm에서 최대 1.2cm인 크기의 용접 결함을 감지할 수 있다.
또한, 9개의 앵커 박스는 하나의 위치에서 모양을 변화하면서 1차 특징 맵에 대한 IoU(Intersection over Union)를 산출하되, 모든 위치에 대해 상기한 동작을 반복해서 수행한다. 이에 따라, 용접의 결함의 위치와 대응되는 2차 특징 맵이 산출된다. 여기서, IoU는 앵커 박스의 위치와 대응되는 1차 특징 맵의 특정 영역과 해당 앵커 박스에 대해 합성 곱을 수행하였을 때의 앵커 박스와 상기한 특정 영역이 겹치는 부분을 의미하며, 일례로 70% 이상이 겹쳤을 때 용접의 결함이 있는 위치라고 인식할 수 있다.
이 때, 상기에서 언급한 바와 같이 모양의 변화 순서는, 앵커 박스 A1 ⇒ 앵커 박스 B1 ⇒ 앵커 박스 C1 ⇒ 앵커 박스 A2 ⇒ 앵커 박스 B2 ⇒ 앵커 박스 C2 ⇒ 앵커 박스 A3 ⇒ 앵커 박스 B3 ⇒ 앵커 박스 C3일 수 있다. 이러한 순서대로 모양을 변화시킨 경우 용접 결함의 위치 영역 검출의 정확도가 향상될 수 있다.
계속하여, 단계(223)에서는 2차 특징 맵을 신경망 내의 CNN 기반 분류기에 입력하여 용접의 결함의 종류를 판단한다. 이 때, 상기에서 언급한 바와 같이, 용접의 결함의 종류는 오버랩 결함, 언더컷 결함 및 불균형 결함일 수 있다.
도 9는 CNN 기반 분류기의 개념을 도시한 도면이다.
도 9를 참조하면, CNN 기반 분류기는 총 6개의 레이어로 이루어진다. 첫 번째와 두 번째 계층은 합성곱 계층(C1, C2)이며, RPN에서 출력된 데이터에 대해서 특징을 추출하게 된다. 추출된 데이터는 서브 샘플링 계층(M3)에 의해 1/2로 특징이 압축된다. 압축된 특징 맵은 다시 세 번째와 네 번째 합성곱 계층(C4, C5)에 의해 특징이 추출되고, 마지막 서브 샘플링 계층(M6)에 의해 한 번 더 1/2로 압축된 후에, 가장 높은 확률을 가진 결함의 종류로 분류된다.
도 10에서는 본 발명의 용접 결함 검출 방법에 따른 검출 결과를 도시하고 있다.
도 10을 참조하면, 검출 결과는 입력된 용접 결함 이미지(입력 이미지) 위에 검출된 결함 부위의 위치 및 크기를 나타내는 Bounding box 및 결함의 종류를 나타내는 라벨을 포함한다. 이 때, Bounding box는 빨강색 테두리 선이며, Bounding box 내부의 영역은 결함인 것을 의미한다. 라벨은 Bounding box의 좌측 상단에 있는 하얀색 박스이며, 결함의 종류와 결함 검출 결과에 대한 신뢰도(Confidence) 값을 표시한다.
요컨대, 본 발명에 따르면, 구조물에 수행된 용접의 결함의 위치 및 종류를 정확하게 판단할 수 있는 장점이 있으며, 특히 인공지능을 접목하여 데이터가 쌓이면 쌓일수록 용접 검출의 정확도가 상승하는 효과가 있다.
한편, 본 발명의 다른 실시예에 따르면, 용접이 수행된 구조물의 모든 위치들에 대한 작업 설정 정보(일례로, 용접 작업 시의 전류 및 전압 정보)가 단말 장치(100) 내에 저장될 수 있으며, 로봇 내지 작업자가 용접이 수행된 구조물에 대한 이미지를 획득하여 단말 장치(100)로 전송할 수 있다. 이 경우, 단말 장치(100)는 상기 획득된 이미지를 사용자에게 표시하되, 사용자의 이벤트 동작에 의해 상기 획득된 이미지 내의 용접의 작업 설정 정보를 획득된 이미지와 함께 표시할 수 있다. 이는 도 11에 도시된 바와 같다.
또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (10)

  1. 프로세서가 포함된 장치에서 수행되는 용접 결함의 종류 판단 방법에 있어서,
    용접이 수행된 구조물에 대한 입력 이미지에 대해 전처리 과정을 수행하여 전처리된 이미지를 산출하는 단계; 및
    상기 전처리된 이미지를 미리 학습된 신경망에 입력하여 상기 용접의 결함의 위치 및 종류를 판단하는 단계;를 포함하되,
    상기 판단하는 단계는, 상기 신경망 내의 컨볼루션 레이어를 통해 상기 전처리 이미지에서 1차 특징 맵을 산출하는 단계; 서로 다른 모양을 가지는 복수 개의 앵커 박스 필터 각각을 상기 1차 특징 맵에 슬라이딩 이동하여 상기 용접의 결함의 위치를 포함하는 2차 특징 맵을 산출하는 단계; 및 상기 2차 특징 맵을 상기 신경망 내의 CNN 분류기에 입력하여 상기 용접의 결함의 종류를 판단하는 단계;를 포함하는 것을 특징으로 하는 용접 결함의 종류 판단 방법.
  2. 제1항에 있어서,
    상기 복수 개의 앵커 박스는 상기 1차 특징 맵에서 순차적으로 상기 앵커 박스의 모양을 변화시키면서 슬라이딩 이동하는 것을 특징으로 하는 용접 결함의 종류 판단 방법.
  3. 제2항에 있어서,
    상기 복수 개의 앵커 박스는 3개의 앵커 박스로 구성되는 적어도 하나의 앵커 박스 세트를 포함하고, 상기 3개의 앵커 박스는 가로/세로의 비율이 1:1인 앵커 박스 A, 가로/세로의 비율이 1:2인 앵커 박스 B 및 가로/세로의 비율이 1:3인 앵커 박스 C로 구성되며, 상기 적어도 하나의 앵커 박스 세트 각각의 앵커 박스 A의 면적은 서로 다른 것을 특징으로 하는 용접 결함의 종류 판단 방법.
  4. 제3항에 있어서,
    상기 앵커 박스 세트 각각에서 상기 앵커 박스 A, 상기 앵커 박스 B, 상기 앵커 박스 C의 순서로 상기 모양의 변화의 순서가 설정되고, 상기 앵커 박스 A의 면적이 작은 앵커 박스 세트의 순서로 상기 모양의 변화의 순서가 결정되는 것을 특징으로 하는 용접 결함의 종류 판단 방법.
  5. 제1항에 있어서,
    상기 신경망은 R-CNN(Region-CNN)이거나 R-CNN에서 파생된 신경망인 것을 특징으로 하는 용접 결함의 종류 판단 방법.
  6. 제1항에 있어서,
    상기 용접의 결함 종류는 용접 부위가 과대 용접된 결함인 오버랩(overlap) 결함, 용접 부위가 과소 용접된 결함인 언더컷(undercut) 결함 및 용접 부위의 표면이 불균일한 결함인 불균형(Uneven) 결함을 포함하는 것을 특징으로 하는 용접 결함의 종류 판단 방법.
  7. 제1항에 있어서,
    상기 전처리 과정은 상기 입력 이미지를 그레이 스케일로 변환하고, 상기 그레이 스케일로 변환된 이미지에 대해 히스토그램 평활화를 수행하고, 상기 히스토그램 평활화가 수행된 이미지에 대해 영상 이진화를 수행하고, 상기 영상 이진화가 수행된 이미지에 대해 윤곽선을 검출하는 것을 포함하며,
    상기 전처리된 이미지는 상기 윤곽선이 검출된 이미지인 것을 특징으로 하는 용접 결함의 종류 판단 방법.
  8. 제1항에 있어서,
    상기 신경망은 복수 개의 학습 데이터를 이용하여 학습되며,
    상기 학습 데이터는 용접이 수행된 구조물에 대한 복수 개의 학습 이미지 및 상기 복수 개의 학습 이미지의 결함 위치 정보와 결함 종류 정보를 포함하는 정보 데이터를 포함하는 것을 특징으로 하는 용접 결함의 종류 판단 방법.
  9. 제1항 내지 제8항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
  10. 용접 결함의 종류를 판단하는 단말 장치에 있어서,
    컴퓨터에서 판독 가능한 명령을 저장하는 메모리부; 및
    상기 명령을 실행하도록 구현되는 프로세서부:를 포함하되,
    상기 프로세서부는,
    용접이 수행된 구조물에 대한 입력 이미지에 대해 전처리 과정을 수행하여 전처리된 이미지를 산출하고, 상기 전처리된 이미지를 미리 학습된 신경망에 입력하여 상기 용접의 결함의 위치 및 종류를 판단하되,
    상기 신경망 내의 컨볼루션 레이어를 통해 상기 전처리 이미지에서 1차 특징 맵을 산출하고, 서로 다른 모양을 가지는 복수 개의 앵커 박스 필터 각각을 상기 1차 특징 맵에 슬라이딩 이동하여 상기 용접의 결함의 위치를 포함하는 2차 특징 맵을 산출하고, 상기 2차 특징 맵을 상기 신경망 내의 CNN 분류기에 입력하여 상기 용접의 결함의 종류를 판단하는 것을 특징으로 하는 단말 장치.
KR1020180153775A 2018-12-03 2018-12-03 용접 결함의 종류 판단 방법 및 이를 수행하는 단말 장치 KR102118809B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180153775A KR102118809B1 (ko) 2018-12-03 2018-12-03 용접 결함의 종류 판단 방법 및 이를 수행하는 단말 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180153775A KR102118809B1 (ko) 2018-12-03 2018-12-03 용접 결함의 종류 판단 방법 및 이를 수행하는 단말 장치

Publications (1)

Publication Number Publication Date
KR102118809B1 true KR102118809B1 (ko) 2020-06-03

Family

ID=71087648

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180153775A KR102118809B1 (ko) 2018-12-03 2018-12-03 용접 결함의 종류 판단 방법 및 이를 수행하는 단말 장치

Country Status (1)

Country Link
KR (1) KR102118809B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365491A (zh) * 2020-11-27 2021-02-12 上海市计算技术研究所 容器焊缝检测的方法、电子设备及存储介质
CN112950533A (zh) * 2021-01-21 2021-06-11 重庆大学 基于深度学习的焊点外观类别自动识别方法及系统
CN113066051A (zh) * 2021-02-23 2021-07-02 湖南大学 一种坡口缺陷检测方法、计算设备及可读存储介质
CN113129266A (zh) * 2021-03-22 2021-07-16 太原科技大学 基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法
KR102295541B1 (ko) 2021-05-25 2021-09-01 주식회사 현대알비 영상 판독 장치 및 용접부 검사 시스템
CN113808094A (zh) * 2021-09-10 2021-12-17 武汉联开检测科技有限公司 一种射线检测焊接缺陷图像评级系统及方法
CN114167189A (zh) * 2021-12-08 2022-03-11 华中科技大学鄂州工业技术研究院 一种焊接缺陷检测方法、电子设备及存储介质
KR20220091107A (ko) * 2020-12-23 2022-06-30 부경대학교 산학협력단 정확도가 향상된 용접 비드 검출 장치 및 방법
WO2023171845A1 (ko) * 2022-03-11 2023-09-14 주식회사 에스에프에스 딥러닝 및 위상최적설계를 이용한 형상 적응형 냉각 채널 설계방법
KR20230153668A (ko) 2022-04-29 2023-11-07 에이치디한국조선해양 주식회사 용접 결함 탐지 장치 및 방법
KR20240030690A (ko) 2022-08-31 2024-03-07 에이치디한국조선해양 주식회사 용접 결함 판별 장치
KR102666787B1 (ko) 2021-11-03 2024-05-17 (주)플레이오니 인공지능을 이용한 결함 검사방법, 장치 및 프로그램

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070005968A (ko) * 2005-07-05 2007-01-11 삼성중공업 주식회사 용접부 결함 검출 방법 및 장치
JP2007155578A (ja) * 2005-12-07 2007-06-21 Omron Corp 溶接品質検査装置、溶接品質検査方法、およびプログラム
JP2015064285A (ja) * 2013-09-25 2015-04-09 株式会社総合車両製作所 溶接部の評価方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070005968A (ko) * 2005-07-05 2007-01-11 삼성중공업 주식회사 용접부 결함 검출 방법 및 장치
JP2007155578A (ja) * 2005-12-07 2007-06-21 Omron Corp 溶接品質検査装置、溶接品質検査方法、およびプログラム
JP2015064285A (ja) * 2013-09-25 2015-04-09 株式会社総合車両製作所 溶接部の評価方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365491A (zh) * 2020-11-27 2021-02-12 上海市计算技术研究所 容器焊缝检测的方法、电子设备及存储介质
KR20220091107A (ko) * 2020-12-23 2022-06-30 부경대학교 산학협력단 정확도가 향상된 용접 비드 검출 장치 및 방법
KR102519717B1 (ko) * 2020-12-23 2023-04-06 부경대학교 산학협력단 정확도가 향상된 용접 비드 검출 장치 및 방법
CN112950533A (zh) * 2021-01-21 2021-06-11 重庆大学 基于深度学习的焊点外观类别自动识别方法及系统
CN113066051A (zh) * 2021-02-23 2021-07-02 湖南大学 一种坡口缺陷检测方法、计算设备及可读存储介质
CN113129266A (zh) * 2021-03-22 2021-07-16 太原科技大学 基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法
CN113129266B (zh) * 2021-03-22 2022-03-29 太原科技大学 基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法
KR102295541B1 (ko) 2021-05-25 2021-09-01 주식회사 현대알비 영상 판독 장치 및 용접부 검사 시스템
CN113808094A (zh) * 2021-09-10 2021-12-17 武汉联开检测科技有限公司 一种射线检测焊接缺陷图像评级系统及方法
KR102666787B1 (ko) 2021-11-03 2024-05-17 (주)플레이오니 인공지능을 이용한 결함 검사방법, 장치 및 프로그램
CN114167189A (zh) * 2021-12-08 2022-03-11 华中科技大学鄂州工业技术研究院 一种焊接缺陷检测方法、电子设备及存储介质
CN114167189B (zh) * 2021-12-08 2023-11-03 华中科技大学鄂州工业技术研究院 一种焊接缺陷检测方法、电子设备及存储介质
WO2023171845A1 (ko) * 2022-03-11 2023-09-14 주식회사 에스에프에스 딥러닝 및 위상최적설계를 이용한 형상 적응형 냉각 채널 설계방법
KR20230153668A (ko) 2022-04-29 2023-11-07 에이치디한국조선해양 주식회사 용접 결함 탐지 장치 및 방법
KR20240030690A (ko) 2022-08-31 2024-03-07 에이치디한국조선해양 주식회사 용접 결함 판별 장치

Similar Documents

Publication Publication Date Title
KR102118809B1 (ko) 용접 결함의 종류 판단 방법 및 이를 수행하는 단말 장치
JP7015001B2 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
CN113125458B (zh) 钢结构涂层状态的检查与评估方法及系统
US11830174B2 (en) Defect inspecting device, defect inspecting method, and storage medium
US11893724B2 (en) Methods of artificial intelligence-assisted infrastructure assessment using mixed reality systems
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
US10824906B2 (en) Image processing device, non-transitory computer readable storage medium, and image processing system
KR20190088089A (ko) 용접 표면 결점 검출 장치 및 방법
US10820307B2 (en) Systems and methods for automatic camera installation guidance (CIG)
Halfawy et al. Integrated vision-based system for automated defect detection in sewer closed circuit television inspection videos
EP3637318A1 (en) Learning method and testing method for object detector based on r-cnn, and learning device and testing device using the same
US10783643B1 (en) Segmentation-based damage detection
CN112446870A (zh) 管道损伤检测方法、装置、设备及存储介质
KR20200039043A (ko) 객체 인식 장치 및 그 동작 방법
CN113116377B (zh) 超声成像导航方法、超声设备及存储介质
CN104766329B (zh) 一种图像处理方法及电子设备
CN114419081B (zh) 一种图像语义分割方法、系统及可读存储介质
KR20230127121A (ko) 전자 기기 가치 평가 방법 및 장치와 딥러닝 모델 트레이닝 방법
US20240087105A1 (en) Systems and Methods for Paint Defect Detection Using Machine Learning
CN114463751A (zh) 基于神经网络和检测算法的边角定位方法及装置
KR20220125291A (ko) 패턴 에지 검출 방법, 패턴 에지 검출 장치, 패턴 에지 검출을 컴퓨터에 실행시키기 위한 프로그램이 기록된 기록 매체
EP4224417A1 (en) Assessing damages on vehicles
KR20230057117A (ko) 인공 신경망 적용 객체 감지 과정에서의 효과적인 하드웨어 사용을 위한 시스템 및 방법
JP2023173059A (ja) 物体検出モデル、および、物体検出モデルの訓練方法
CN114626452A (zh) 模型训练方法、检测方法、机器人和存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant