KR20190088089A - 용접 표면 결점 검출 장치 및 방법 - Google Patents
용접 표면 결점 검출 장치 및 방법 Download PDFInfo
- Publication number
- KR20190088089A KR20190088089A KR1020170179574A KR20170179574A KR20190088089A KR 20190088089 A KR20190088089 A KR 20190088089A KR 1020170179574 A KR1020170179574 A KR 1020170179574A KR 20170179574 A KR20170179574 A KR 20170179574A KR 20190088089 A KR20190088089 A KR 20190088089A
- Authority
- KR
- South Korea
- Prior art keywords
- surface image
- weld surface
- weld
- welding
- image
- Prior art date
Links
- 238000003466 welding Methods 0.000 title claims abstract description 61
- 230000007547 defect Effects 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000011156 evaluation Methods 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims description 20
- 238000003708 edge detection Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000002950 deficient Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 20
- 238000004891 communication Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G06T5/007—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biochemistry (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
용접 표면 결점 검출 장치 및 방법이 개시된다. 용접 표면 결점 검출 방법은, 용접표면 영상을 실시간으로 획득하는 단계, 획득된 용접표면 영상을 전처리하여 학습 데이터로 사용될 전처리된 용접표면 영상을 생성하는 단계, 컨볼루션 신경망(CNN: convolutional neural network)을 이용하여 전처리된 용접표면 영상을 평가 및 학습하는 단계 및 평가 및 학습을 통해 검증 대상 용접표면 영상에 대하여 용접 결점 가능성 정보를 생성하여 제공하는 단계를 포함한다.
Description
본 발명은 용접 표면 결점 검출 장치 및 방법에 관한 것이다.
용접을 사용한 구조물은 이음의 형상이 자유롭고 그 구조가 간단하며, 이음의 두께에도 제한이 없는 장점이 있다. 그러나, 용접은 공정의 특성상 외부 조건의 변화에 따라 용접 품질이 변하는 단점이 있다. 이와 같은 변화는 용접 구조물에 필요한 성능과 용접 구조물의 사용 성능을 충족시키지 못하고, 용접 이음 파괴의 원인이 될 수 있다. 용접부에 발생하는 외관상 및 성능상의 각종 결함을 용접 결함이라고 하는데, 용접 공정에서 해결하기 어려운 문제점 중 하나가 이러한 용접 결함의 방지이다.
그래서, 용접 결함을 찾기 위하여 용접 상태의 정확한 평가를 수행하고 있다. 일반적으로, 용접 결함에 대한 위치, 종류, 방향 등의 정량적 정보를 비파괴 시험을 통해 획득하여 평가가 수행되고 있다. 그리고, 용접부 내부의 가공이나 크랙은 일반적인 엑스레이(X-ray) 또는 초음파 탐상을 이용하여 검출되고 있다.
하지만, 이와 같은 방법은 용접 공정 후에 검사를 수행하고 많은 시간이 소요되므로, 생산현장에 적용하기에는 많은 어려움이 있다.
본 발명은 컨벌루션 신경망(CNN: convolutional neural network)을 이용한 딥러닝(Deep learning)을 통해 용접표면 영상으로부터 용접 상태의 불량 여부를 실시간으로 판단하는 용접 표면 결점 검출 장치 및 방법을 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 용접 표면 결점 검출 장치에 의하여 수행되는 용접 표면 결점 검출 방법이 개시된다.
본 발명의 실시예에 따른 용접 표면 결점 검출 방법은, 용접표면 영상을 실시간으로 획득하는 단계, 상기 획득된 용접표면 영상을 전처리하여 학습 데이터로 사용될 전처리된 용접표면 영상을 생성하는 단계, 컨볼루션 신경망(CNN: convolutional neural network)을 이용하여 상기 전처리된 용접표면 영상을 평가 및 학습하는 단계 및 상기 평가 및 학습을 통해 검증 대상 용접표면 영상에 대하여 용접 결점 가능성 정보를 생성하여 제공하는 단계를 포함한다.
상기 전처리된 용접표면 영상을 생성하는 단계는, 촬영을 통해 획득된 제1 용접표면 영상을 그레이 스케일(grayscale)화하여 그레이 스케일화된 제2 용접표면 영상을 생성하는 단계, 상기 제2 용접표면 영상에 대하여 히스토그램 평활화(Histogram Equalization)를 수행하여 히스토그램 평활화된 제3 용접표면 영상을 생성하는 단계, 상기 제3 용접표면 영상에 대하여 2진화(Binarization/Thresholding)을 수행하여 2진화된 제4 용접표면 영상을 생성하는 단계 및 상기 제4 용접표면 영상에서 에지 검출을 수행하여 용접특징지문 영상을 생성하는 단계를 포함한다.
상기 제1 용접표면 영상은 컬러 영상으로 획득되며, 상기 제2 용접표면 영상을 생성하는 단계는, 상기 컬러 영상의 RGB의 3채널을 흑백인 1채널로 감소시킴으로써, 상기 학습 시의 계산량을 감소시킨다.
상기 제3 용접표면 영상을 생성하는 단계는, 상기 그레이 스케일화된 제2 용접표면 영상의 명암을 균일화시켜 용접표면의 결점 부위가 나타나게 한다.
상기 제4 용접표면 영상을 생성하는 단계는, 상기 2진화를 위한 임계값이 60%로 설정되어, 0~255의 픽셀값을 갖는 픽셀들 중 153 이상의 픽셀값을 가지는 픽셀은 픽셀값이 1로 설정되고, 153 미만의 픽셀값을 가지는 픽셀은 픽셀값이 0으로 설정된다.
상기 60%의 임계값 이상의 픽셀값을 가지는 픽셀에서 빛의 반사가 이루어져 빛 반사가 이루어지는 영역과 그렇지 않은 영역이 구분된다.
상기 용접특징지문 영상을 생성하는 단계는, 상기 에지 검출이 Canny Edge Detection 기법을 이용하여 수행된다.
상기 전처리된 용접표면 영상을 평가 및 학습하는 단계는, 상기 컨볼루션 신경망에 포함되는 각 레이어의 필터의 크기 및 개수, 배치(batch) 크기, 드랍아웃(Dropout)의 비율, 옵티마이저(Optimizer) 중 적어도 하나를 조정하여 파라미터 파인 튜닝(Parameter Fine Tuning)을 수행한다.
상기 필터의 크기는 초기 3*3이 적용된 후 2배씩 증가되며, 최대 16*16까지 조정되고, 상기 필터의 개수는 초기 16개부터 시작되어 2배씩 증가되며, 최대 256까지 조정되고, 상기 배치 크기는 초기 32개부터 시작되어 2배씩 증가될 수 있으며, 최대 128까지 조정되고, 상기 드랍아웃의 비율은 최대 50% 이하 내에서 조정되고, 상기 옵티마이저는 SGD, RMSProps, Adam 중에서 어느 하나가 선택되고, 상기 파라미터 파인 튜닝은 상기 검증 대상 용접표면 영상에 대한 테스트 정확도가 미리 설정된 수준 이상으로 산출될 때까지 수행된다.
본 발명의 다른 측면에 따르면, 용접 표면 결점 검출 장치가 개시된다.
본 발명의 실시예에 따른 용접 표면 결점 검출 장치는, 명령어를 저장하는 메모리 및 상기 명령어를 실행하는 프로세서를 포함하되, 상기 명령어는, 용접표면 영상을 실시간으로 획득하는 단계, 상기 획득된 용접표면 영상을 전처리하여 학습 데이터로 사용될 전처리된 용접표면 영상을 생성하는 단계, 컨볼루션 신경망(CNN: convolutional neural network)을 이용하여 상기 전처리된 용접표면 영상을 평가 및 학습하는 단계 및 상기 평가 및 학습을 통해 검증 대상 용접표면 영상에 대하여 용접 결점 가능성 정보를 생성하여 제공하는 단계를 포함하는 용접 표면 결점 검출 방법을 수행한다.
본 발명의 실시예에 따른 용접 표면 결점 검출 장치 및 방법은, 컨볼루션 신경망(CNN: convolutional neural network)을 이용한 딥러닝(Deep learning)을 통해 용접표면 영상으로부터 용접 상태의 불량 여부를 실시간으로 정확히 판단할 수 있다.
도 1은 본 발명의 실시예에 따른 용접 표면 결점 검출 장치에 의하여 수행되는 용접 표면 결점 검출 방법을 나타낸 흐름도.
도 2는 본 발명의 실시예에 따른 용접 표면 영상의 전처리 과정을 나타낸 도면.
도 3 내지 도 5는 도 2의 전처리 과정을 설명하기 위한 도면.
도 6은 본 발명의 실시예에 따른 컨볼루션 신경망(CNN: convolutional neural network)을 이용한 용접 표면 결점 검출 방법을 나타낸 도면.
도 7은 본 발명의 실시예에 따른 용접 표면 결점 검출 방법에 따라 도출된 결과를 제공하는 사용자 인터페이스를 나타낸 도면.
도 8은 본 발명의 실시예에 따른 용접 표면 결점 검출 장치의 구성을 개략적으로 예시한 도면.
도 2는 본 발명의 실시예에 따른 용접 표면 영상의 전처리 과정을 나타낸 도면.
도 3 내지 도 5는 도 2의 전처리 과정을 설명하기 위한 도면.
도 6은 본 발명의 실시예에 따른 컨볼루션 신경망(CNN: convolutional neural network)을 이용한 용접 표면 결점 검출 방법을 나타낸 도면.
도 7은 본 발명의 실시예에 따른 용접 표면 결점 검출 방법에 따라 도출된 결과를 제공하는 사용자 인터페이스를 나타낸 도면.
도 8은 본 발명의 실시예에 따른 용접 표면 결점 검출 장치의 구성을 개략적으로 예시한 도면.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술하겠다.
도 1은 본 발명의 실시예에 따른 용접 표면 결점 검출 장치에 의하여 수행되는 용접 표면 결점 검출 방법을 나타낸 흐름도이고, 도 2는 본 발명의 실시예에 따른 용접 표면 영상의 전처리 과정을 나타낸 도면이고, 도 3 내지 도 5는 도 2의 전처리 과정을 설명하기 위한 도면이고, 도 6은 본 발명의 실시예에 따른 컨볼루션 신경망(CNN: convolutional neural network)을 이용한 용접 표면 결점 검출 방법을 나타낸 도면이고, 도 7은 본 발명의 실시예에 따른 용접 표면 결점 검출 방법에 따라 도출된 결과를 제공하는 사용자 인터페이스를 나타낸 도면이다. 이하, 도 1을 중심으로 본 발명의 실시예에 따른 용접 표면 결점 검출 방법에 대하여 설명하되, 도 2 내지 도 6을 참조하기로 한다.
S110 단계에서, 용접 표면 결점 검출 장치는 용접표면 영상을 실시간으로 획득한다. 예를 들어, 용접표면 영상은 CCD 또는 CMOS 디지털 카메라에 의하여 HD급 영상 데이터로 획득될 수 있다.
S120 단계에서, 용접 표면 결점 검출 장치는 획득된 용접표면 영상을 전처리하여 학습 데이터로 사용될 전처리된 용접표면 영상을 생성한다.
도 2를 참조하면, 용접 표면 결점 검출 장치는 우선, 카메라에 의하여 획득된 제1 용접표면 영상(1)을 그레이 스케일(grayscale)화하여 그레이 스케일화된 제2 용접표면 영상(2)을 생성할 수 있다. 이어, 용접 표면 결점 검출 장치는 제2 용접표면 영상(2)에 대하여 히스토그램 평활화(Histogram Equalization) 및 2진화(Binarization/Thresholding)을 수행하여 히스토그램 평활화 및 2진화된 제3 용접표면 영상(3)을 생성하고, 제3 용접표면 영상(3)에서 에지 검출을 수행하여 용접특징지문 영상(4)을 생성할 수 있다.
참고로, 히스토그램 평활화는 영상에서 각 픽셀값에 대한 빈도수를 계산하여 히스토그램을 생성하고, 모든 픽셀에 대한 빈도수 누적값을 생성하고, 생성된 누적값들을 정규화하고, 각 픽셀값을 정규화된 값으로 변환함으로써, 수행될 수 있다.
그리고, 용접 표면 결점 검출 장치는 생성된 용접특징지문 영상(4)에 미리 설정된 크기 및 간격에 따른 슬라이딩 윈도우를 설정하여 다수의 영상을 추출함으로써, 다수의 학습 데이터를 수집할 수 있다.
예를 들어, 용접표면 영상은 도 3에 도시된 바와 같이, 용접상태가 양호하거나 불량한 영상으로 획득될 수 있으며, 이렇게 획득된 용접표면 영상으로부터 도 4에 도시된 바와 같이, 정상 용접 및 불량 용접을 나타내는 용접특징지문 영상(4)이 생성될 수 있다.
이와 같은 획득된 용접표면 영상에 대한 전처리는 용접표면 영상 내 잡음을 제거하고, 용접 부위 특징을 부각하여 컨볼루션 신경망을 이용한 학습 효과를 강화하기 위함이다. 즉, 원본 용접표면 영상에 대한 전처리를 통해 용접표면 영상에서 용접표면 외의 부분이 제거되고, 용접표면 부분에 생성된 노이즈가 완화되어 용접 상태가 정상인 부분이 결점 부분으로 분류되는 것이 방지될 수 있다. 또한, 전처리를 통해 1차적으로 특징이 정제된 영상은 비인지도 특징 추출 단계에서 요구되는 계산 복잡도를 줄여 학습 속도가 향상될 수 있다.
예를 들어, 전처리 과정 중 그레이 스케일화 과정은, 컬러 영상으로 획득되는 원본 용접표면 영상의 RGB 3채널을 흑백인 1채널로 줄임으로써, 학습 시 계산량을 3배이상으로 감소시킬 수 있다. 또한, 원본 용접표면 영상이 컬러 영상일 경우, 컨볼루션 신경망에서 특정 색상이 특징으로 취급될 수 있으므로, 반드시 그레이 스케일화 과정이 필요하다.
그리고, 전처리 과정 중 히스토그램 평활화 과정은, 도 5에 도시된 바와 같이, 그레이 스케일화된 용접표면 영상의 명암을 균일화시킴으로써, 용접표면의 결점 부위가 명확하게 나타나게 할 수 있다. 도 5에서, 히스토그램 2와 3은 용접표면 영상이 연속촬영을 통해 수집되었기 때문에 유사하게 나타나며, 이 특징을 이용하여 전처리가 이루어질 수 있다.
그리고, 전처리 과정 중 2진화 과정은, 히스토그램 평활화된 용접표면 영상에 대하여 임계값을 60%로 설정하여 수행된다. 즉, 0~255의 픽셀값을 갖는 픽셀들 중 153 이상의 픽셀값을 가지는 픽셀은 픽셀값이 1로 설정되고, 153 미만의 픽셀값을 가지는 픽셀은 픽셀값이 0으로 설정된다. 임계값이 153으로 설정되는 이유는, 데이터 특성 상 60%의 임계값 이상의 픽셀값을 가지는 픽셀에서 빛의 반사가 이루어져 빛 반사가 이루어지는 영역과 그렇지 않은 영역이 구분될 수 있기 때문이다. 이를 통해, 컨볼루션 신경망의 학습 데이터로 사용될 때, 특징들이 부각되고 학습 계산량이 감소될 수 있다.
그리고, 전처리 과정 중 에지 검출 과정은, 2진화된 용접표면 영상에 대한 에지 검출이 Canny Edge Detection 기법을 이용하여 수행될 수 있다. Canny Edge Detection 기법은 영상 내 모든 에지를 검출할 수 있고 에러율이 낮으며, 요구 성능과 관계없이 에지를 정확히 측정할 수 있다.
S130 단계에서, 용접 표면 결점 검출 장치는 컨볼루션 신경망을 이용하여 전처리된 용접표면 영상을 평가 및 학습한다.
도 6을 참조하면, 본 발명의 실시예에 따른 컨볼루션 신경망은 특징 추출 레이어(100) 및 분류 레이어(200)을 포함한다.
전술한 바와 같이, 본 발명의 실시예에 따른 컨볼루션 신경망의 입력 영상은 전처리된 용접표면 영상인 용접특징지문 영상(4)이다.
특징 추출 레이어(100)는 입력되는 용접특징지문 영상(4)에 컨볼루션 신경망 모델을 적용하여 특징을 추출한다. 특징 추출 레이어(100)는 도 6에 도시된 바와 같이, 2개의 레이어 그룹을 포함하며, 각 레이어 그룹은 컨볼루션 레이어 및 최대 풀링(Max pooling) 레이어를 포함할 수 있다. 각 레이어 그룹의 컨볼루션 레이어는 영상 내 특징들을 추출하며, 최대 풀링 레이어는 추출된 특징 중 강한 특징들을 추출하여 요약한다.
분류 레이어(200)는 완전 연결(Fully connected) 레이어를 포함하며, 두 클래스로 분류하여 용접 결점 가능성을 생성한다. 즉, 제1 클래스는 결점이 발생하지 않을 확률값이고, 제2 클래스는 결점이 발생할 확률값이다. 여기서, 각 클래스의 확률값은 0~1의 값으로 정의될 수 있다.
본 발명의 실시예에 따른 용접 표면 결점 검출 장치는, 각 레이어의 필터의 크기 및 개수, 배치(batch) 크기, 드랍아웃(Dropout)의 비율, 옵티마이저(Optimizer)를 조정하여 파라미터 파인 튜닝(Parameter Fine Tuning)을 수행할 수 있다.
예를 들어, 필터의 크기는 초기 3*3이 적용된 후 2배씩 증가될 수 있으며, 최대 16*16까지만 조정될 수 있다. 그리고, 필터의 개수는 초기 16개부터 시작되어 2배씩 증가될 수 있으며, 최대 256까지만 조정될 수 있다. 그리고, 배치 크기는 초기 32개부터 시작되어 2배씩 증가될 수 있으며, 최대 128까지만 조정될 수 있다. 그리고, 드랍아웃의 비율은 최대 50% 이하 내에서 조정될 수 있다. 그리고, 옵티마이저는 SGD, RMSProps, Adam 중 가장 최적화된 방식이 선택될 수 있다. 학습 데이터와 검증 대상 데이터의 비율은 8:2가 될 수 있다.
이러한 파라미터 파인 튜닝은 검증 대상 데이터의 테스트 정확도가 원하는 수준 이상으로 산출될 때까지 수행될 수 있다.
S140 단계에서, 용접 표면 결점 검출 장치는 평가 및 학습을 통해 검증 대상이 되는 용접표면 영상에 대하여 용접 결점 가능성 정보를 생성하여 제공한다.
예를 들어, 용접 표면 결점 검출 장치는 용접 결점 가능성 정보를 사용자 단말로 제공할 수 있으며, 사용자 단말은 도 7에 도시된 바와 같은 유저 인터페이스를 이용하여 용접 결점 가능성 정보를 출력할 수 있다.
도 7을 참조하면, 유저 인터페이스는 실시간 용접표면 영상을 스트리밍으로 출력하는 영역(4), 채팅 영역(5) 및 결점 발생 가능성 표시 영역(6)을 포함할 수 있다.
여기서, 실시간 용접표면 영상을 스트리밍으로 출력하는 영역(4)은 카메라에 의하여 실시간 획득되는 용접표면 영상이 표시되는 영역이고, 채팅 영역(5)은 해당 용접 공정에 관련된 현장 작업자들의 상호 소통을 제공하는 영역이고, 결점 발생 가능성 표시 영역(6)은 실시간으로 해당 용접표면 영상에 대하여 결점 발생 가능성을 확률값(%)과 이에 상응하는 가로 막대형 차트로 표시하는 영역이다.
유저 인터페이스는 해당 사용자 단말의 해상도에 맞게 자동 크기조절 기능을 제공할 수 있다.
도 8은 본 발명의 실시예에 따른 용접 표면 결점 검출 장치의 구성을 개략적으로 예시한 도면이다.
도 8을 참조하면, 본 발명의 실시예에 따른 용접 표면 결점 검출 장치는 프로세서(10), 메모리(20), 통신부(30) 및 인터페이스(40)를 포함한다.
프로세서(10)는 메모리(20)에 저장된 처리 명령어를 실행시키는 CPU 또는 반도체 소자일 수 있다.
메모리(20)는 다양한 유형의 휘발성 또는 비휘발성 기억 매체를 포함할 수 있다. 예를 들어, 메모리(20)는 ROM, RAM 등을 포함할 수 있다.
예를 들어, 메모리(20)는 본 발명의 실시예에 따른 용접 표면 결점 검출 방법을 수행하는 명령어들을 저장할 수 있다.
통신부(30)는 통신망을 통해 다른 장치들과 데이터를 송수신하기 위한 수단이다.
인터페이스부(40)는 네트워크에 접속하기 위한 네트워크 인터페이스 및 사용자 인터페이스를 포함할 수 있다.
한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.
또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
10: 프로세서
20: 메모리
30: 통신부
40: 인터페이스부
20: 메모리
30: 통신부
40: 인터페이스부
Claims (10)
- 용접 표면 결점 검출 장치에 의하여 수행되는 용접 표면 결점 검출 방법에 있어서,
용접표면 영상을 실시간으로 획득하는 단계;
상기 획득된 용접표면 영상을 전처리하여 학습 데이터로 사용될 전처리된 용접표면 영상을 생성하는 단계;
컨볼루션 신경망(CNN: convolutional neural network)을 이용하여 상기 전처리된 용접표면 영상을 평가 및 학습하는 단계; 및
상기 평가 및 학습을 통해 검증 대상 용접표면 영상에 대하여 용접 결점 가능성 정보를 생성하여 제공하는 단계를 포함하는 용접 표면 결점 검출 방법.
- 제1항에 있어서,
상기 전처리된 용접표면 영상을 생성하는 단계는,
촬영을 통해 획득된 제1 용접표면 영상을 그레이 스케일(grayscale)화하여 그레이 스케일화된 제2 용접표면 영상을 생성하는 단계;
상기 제2 용접표면 영상에 대하여 히스토그램 평활화(Histogram Equalization)를 수행하여 히스토그램 평활화된 제3 용접표면 영상을 생성하는 단계;
상기 제3 용접표면 영상에 대하여 2진화(Binarization/Thresholding)을 수행하여 2진화된 제4 용접표면 영상을 생성하는 단계; 및
상기 제4 용접표면 영상에서 에지 검출을 수행하여 용접특징지문 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 용접 표면 결점 검출 방법.
- 제2항에 있어서,
상기 제1 용접표면 영상은 컬러 영상으로 획득되며,
상기 제2 용접표면 영상을 생성하는 단계는,
상기 컬러 영상의 RGB의 3채널을 흑백인 1채널로 감소시킴으로써, 상기 학습 시의 계산량을 감소시키는 것을 특징으로 하는 용접 표면 결점 검출 방법.
- 제2항에 있어서,
상기 제3 용접표면 영상을 생성하는 단계는,
상기 그레이 스케일화된 제2 용접표면 영상의 명암을 균일화시켜 용접표면의 결점 부위가 나타나게 하는 것을 특징으로 하는 용접 표면 결점 검출 방법.
- 제2항에 있어서,
상기 제4 용접표면 영상을 생성하는 단계는,
상기 2진화를 위한 임계값이 60%로 설정되어, 0~255의 픽셀값을 갖는 픽셀들 중 153 이상의 픽셀값을 가지는 픽셀은 픽셀값이 1로 설정되고, 153 미만의 픽셀값을 가지는 픽셀은 픽셀값이 0으로 설정되는 것을 특징으로 하는 용접 표면 결점 검출 방법.
- 제5항에 있어서,
상기 60%의 임계값 이상의 픽셀값을 가지는 픽셀에서 빛의 반사가 이루어져 빛 반사가 이루어지는 영역과 그렇지 않은 영역이 구분되는 것을 특징으로 하는 용접 표면 결점 검출 방법.
- 제2항에 있어서,
상기 용접특징지문 영상을 생성하는 단계는,
상기 에지 검출이 Canny Edge Detection 기법을 이용하여 수행되는 것을 특징으로 하는 용접 표면 결점 검출 방법.
- 제1항에 있어서,
상기 전처리된 용접표면 영상을 평가 및 학습하는 단계는,
상기 컨볼루션 신경망에 포함되는 각 레이어의 필터의 크기 및 개수, 배치(batch) 크기, 드랍아웃(Dropout)의 비율, 옵티마이저(Optimizer) 중 적어도 하나를 조정하여 파라미터 파인 튜닝(Parameter Fine Tuning)을 수행하는 것을 특징으로 하는 용접 표면 결점 검출 방법.
- 제8항에 있어서,
상기 필터의 크기는 초기 3*3이 적용된 후 2배씩 증가되며, 최대 16*16까지 조정되고,
상기 필터의 개수는 초기 16개부터 시작되어 2배씩 증가되며, 최대 256까지 조정되고,
상기 배치 크기는 초기 32개부터 시작되어 2배씩 증가될 수 있으며, 최대 128까지 조정되고,
상기 드랍아웃의 비율은 최대 50% 이하 내에서 조정되고,
상기 옵티마이저는 SGD, RMSProps, Adam 중에서 어느 하나가 선택되고,
상기 파라미터 파인 튜닝은 상기 검증 대상 용접표면 영상에 대한 테스트 정확도가 미리 설정된 수준 이상으로 산출될 때까지 수행되는 것을 특징으로 하는 용접 표면 결점 검출 방법.
- 용접 표면 결점 검출 장치에 있어서,
명령어를 저장하는 메모리; 및
상기 명령어를 실행하는 프로세서를 포함하되,
상기 명령어는,
용접표면 영상을 실시간으로 획득하는 단계;
상기 획득된 용접표면 영상을 전처리하여 학습 데이터로 사용될 전처리된 용접표면 영상을 생성하는 단계;
컨볼루션 신경망(CNN: convolutional neural network)을 이용하여 상기 전처리된 용접표면 영상을 평가 및 학습하는 단계; 및
상기 평가 및 학습을 통해 검증 대상 용접표면 영상에 대하여 용접 결점 가능성 정보를 생성하여 제공하는 단계를 포함하는 용접 표면 결점 검출 방법을 수행하는 것을 특징으로 하는 용접 표면 결점 검출 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170179574A KR20190088089A (ko) | 2017-12-26 | 2017-12-26 | 용접 표면 결점 검출 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170179574A KR20190088089A (ko) | 2017-12-26 | 2017-12-26 | 용접 표면 결점 검출 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190088089A true KR20190088089A (ko) | 2019-07-26 |
Family
ID=67469687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170179574A KR20190088089A (ko) | 2017-12-26 | 2017-12-26 | 용접 표면 결점 검출 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20190088089A (ko) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110487802A (zh) * | 2019-08-15 | 2019-11-22 | 苏州热工研究院有限公司 | 现场检测光伏组件缺陷的识别装置 |
| CN110675370A (zh) * | 2019-09-04 | 2020-01-10 | 武汉理工大学 | 一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法 |
| CN110853015A (zh) * | 2019-11-12 | 2020-02-28 | 中国计量大学 | 基于改进Faster-RCNN的铝型材缺陷检测方法 |
| CN110866920A (zh) * | 2020-01-20 | 2020-03-06 | 长沙琢冶信息技术有限公司 | 镀铜焊丝的缺陷检测方法、装置、设备及存储介质 |
| CN111076667A (zh) * | 2019-12-23 | 2020-04-28 | 长春工程学院 | 一种金属表面划痕动态快速测量方法 |
| CN112418198A (zh) * | 2021-01-25 | 2021-02-26 | 城云科技（中国）有限公司 | 基于灰度图能量值的人行走道的地砖起伏缺陷检测方法 |
| CN113066056A (zh) * | 2021-03-15 | 2021-07-02 | 南昌大学 | 一种基于深度学习的口罩耳带焊点检测方法 |
| KR20210117461A (ko) * | 2020-03-19 | 2021-09-29 | 동의대학교 산학협력단 | 딥러닝 기반의 프로젝션용접 결함 검출방법 |
| CN113838034A (zh) * | 2021-09-27 | 2021-12-24 | 力度工业智能科技(苏州)有限公司 | 基于机器视觉的糖果包装表面缺陷快速检测方法 |
| KR102379855B1 (ko) * | 2021-05-31 | 2022-03-28 | 한국교통대학교산학협력단 | 객체 검출 모델 생성 방법 및 장치 |
| CN114354882A (zh) * | 2021-12-29 | 2022-04-15 | 博迈科海洋工程股份有限公司 | 一种工艺管线焊缝的信息提取及缺陷检测方法 |
| KR20220078324A (ko) | 2020-12-03 | 2022-06-10 | 주식회사 포스코 | 용접부 균열 예측 장치 및 방법 |
| CN116664569A (zh) * | 2023-07-31 | 2023-08-29 | 山东正华建筑科技有限公司 | 一种焊瘤缺陷检测方法 |
| CN116735612A (zh) * | 2023-08-15 | 2023-09-12 | 山东精亿机械制造有限公司 | 一种精密电子元器件焊接缺陷检测方法 |
-
2017
- 2017-12-26 KR KR1020170179574A patent/KR20190088089A/ko not_active Application Discontinuation
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110487802A (zh) * | 2019-08-15 | 2019-11-22 | 苏州热工研究院有限公司 | 现场检测光伏组件缺陷的识别装置 |
| CN110675370A (zh) * | 2019-09-04 | 2020-01-10 | 武汉理工大学 | 一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法 |
| CN110853015A (zh) * | 2019-11-12 | 2020-02-28 | 中国计量大学 | 基于改进Faster-RCNN的铝型材缺陷检测方法 |
| CN111076667B (zh) * | 2019-12-23 | 2021-07-30 | 长春工程学院 | 一种金属表面划痕动态快速测量方法 |
| CN111076667A (zh) * | 2019-12-23 | 2020-04-28 | 长春工程学院 | 一种金属表面划痕动态快速测量方法 |
| CN110866920A (zh) * | 2020-01-20 | 2020-03-06 | 长沙琢冶信息技术有限公司 | 镀铜焊丝的缺陷检测方法、装置、设备及存储介质 |
| CN110866920B (zh) * | 2020-01-20 | 2020-05-08 | 长沙琢冶信息技术有限公司 | 镀铜焊丝的缺陷检测方法、装置、设备及存储介质 |
| KR20210117461A (ko) * | 2020-03-19 | 2021-09-29 | 동의대학교 산학협력단 | 딥러닝 기반의 프로젝션용접 결함 검출방법 |
| KR20220078324A (ko) | 2020-12-03 | 2022-06-10 | 주식회사 포스코 | 용접부 균열 예측 장치 및 방법 |
| CN112418198B (zh) * | 2021-01-25 | 2021-04-13 | 城云科技（中国）有限公司 | 基于灰度图能量值的人行走道的地砖起伏缺陷检测方法 |
| CN112418198A (zh) * | 2021-01-25 | 2021-02-26 | 城云科技（中国）有限公司 | 基于灰度图能量值的人行走道的地砖起伏缺陷检测方法 |
| CN113066056A (zh) * | 2021-03-15 | 2021-07-02 | 南昌大学 | 一种基于深度学习的口罩耳带焊点检测方法 |
| KR102379855B1 (ko) * | 2021-05-31 | 2022-03-28 | 한국교통대학교산학협력단 | 객체 검출 모델 생성 방법 및 장치 |
| CN113838034A (zh) * | 2021-09-27 | 2021-12-24 | 力度工业智能科技(苏州)有限公司 | 基于机器视觉的糖果包装表面缺陷快速检测方法 |
| CN113838034B (zh) * | 2021-09-27 | 2023-11-21 | 力度工业智能科技(苏州)有限公司 | 基于机器视觉的糖果包装表面缺陷快速检测方法 |
| CN114354882A (zh) * | 2021-12-29 | 2022-04-15 | 博迈科海洋工程股份有限公司 | 一种工艺管线焊缝的信息提取及缺陷检测方法 |
| CN116664569A (zh) * | 2023-07-31 | 2023-08-29 | 山东正华建筑科技有限公司 | 一种焊瘤缺陷检测方法 |
| CN116664569B (zh) * | 2023-07-31 | 2023-10-10 | 山东正华建筑科技有限公司 | 一种焊瘤缺陷检测方法 |
| CN116735612A (zh) * | 2023-08-15 | 2023-09-12 | 山东精亿机械制造有限公司 | 一种精密电子元器件焊接缺陷检测方法 |
| CN116735612B (zh) * | 2023-08-15 | 2023-11-07 | 山东精亿机械制造有限公司 | 一种精密电子元器件焊接缺陷检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20190088089A (ko) | 용접 표면 결점 검출 장치 및 방법 | |
| US11138478B2 (en) | Method and apparatus for training, classification model, mobile terminal, and readable storage medium | |
| KR102641115B1 (ko) | 객체 검출을 위한 영상 처리 방법 및 장치 | |
| RU2653461C2 (ru) | Обнаружение блика в кадре данных изображения | |
| US11830174B2 (en) | Defect inspecting device, defect inspecting method, and storage medium | |
| Kang et al. | A deep learning approach to document image quality assessment | |
| KR102118809B1 (ko) | 용접 결함의 종류 판단 방법 및 이를 수행하는 단말 장치 | |
| CN110930390B (zh) | 基于半监督深度学习的芯片管脚缺失检测方法 | |
| CN110287791B (zh) | 一种用于人脸图片的筛选方法和系统 | |
| CN107633237B (zh) | 图像背景分割方法、装置、设备及介质 | |
| JP5421192B2 (ja) | ひび割れ検出方法 | |
| KR102476022B1 (ko) | 얼굴검출 방법 및 그 장치 | |
| CN110596120A (zh) | 玻璃边界缺陷检测方法、装置、终端及存储介质 | |
| US20210271913A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| US11526963B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN117611590B (zh) | 一种缺陷轮廓复合检测方法、装置、设备及存储介质 | |
| CN110689524A (zh) | 一种无参考在线图像清晰度评价方法与系统 | |
| CN115171218A (zh) | 一种基于图像识别技术的物资送样异常行为识别系统 | |
| KR100923935B1 (ko) | Ｏｃｒ을 위한 문서 영상의 자동 평가 방법 및 시스템 | |
| CN114004858A (zh) | 基于机器视觉识别航空线缆表面编码的方法及装置 | |
| CN116740728B (zh) | 一种用于晶圆读码器动态获取方法和系统 | |
| JP4749879B2 (ja) | 顔判別方法および装置並びにプログラム | |
| KR102426829B1 (ko) | Ai 기반 제품 표면 검사 장치 및 방법 | |
| CN116309307A (zh) | 焊缝缺陷检测方法、装置、可读存储介质及电子设备 | |
| US9225876B2 (en) | Method and apparatus for using an enlargement operation to reduce visually detected defects in an image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |