KR102325347B1 - 머신러닝 기반 결함 분류 장치 및 방법 - Google Patents

머신러닝 기반 결함 분류 장치 및 방법 Download PDF

Info

Publication number
KR102325347B1
KR102325347B1 KR1020190127199A KR20190127199A KR102325347B1 KR 102325347 B1 KR102325347 B1 KR 102325347B1 KR 1020190127199 A KR1020190127199 A KR 1020190127199A KR 20190127199 A KR20190127199 A KR 20190127199A KR 102325347 B1 KR102325347 B1 KR 102325347B1
Authority
KR
South Korea
Prior art keywords
defect
feature map
feature
map
product
Prior art date
Application number
KR1020190127199A
Other languages
English (en)
Other versions
KR20210044080A (ko
Inventor
신우상
윤종필
구교권
김민수
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020190127199A priority Critical patent/KR102325347B1/ko
Publication of KR20210044080A publication Critical patent/KR20210044080A/ko
Application granted granted Critical
Publication of KR102325347B1 publication Critical patent/KR102325347B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

본 발명은 결함 분류 기술에 관한 것으로서, 상세하게는 결함 분류 학습만으로도 결함의 위치 및 형태를 검출할 수 있는 머신러닝 기반 결함 분류 장치 및 방법에 관한 것이다. 이를 위해, 본 발명에 따른 머신러닝 기반 결함 분류 장치는 제품의 입력 영상으로부터 다중 특징 맵(feature map)을 추출하는 특징 추출부와, 상기 특징 추출부에서 추출된 특징 맵을 분석하여 제품의 결함을 분류하는 분류부와, 상기 결함 분류 결과 제품 결함이 있는 경우 상기 특징 추출부에서 추출된 특징맵을 이용해 결함의 위치 및 형태를 검출하는 검출부를 포함한다.

Description

머신러닝 기반 결함 분류 장치 및 방법{Apparatus and method of defect classification based on machine-learning}
본 발명은 제품의 결함 분류 기술에 관한 것으로서, 상세하게는 결함 분류 학습만으로도 결함의 위치 및 형태를 검출할 수 있는 머신러닝 기반 결함 분류 장치 및 방법에 관한 것이다.
최근 알파고와 이세돌 9단의 대결로 인공지능에 대한 관심이 크게 증가하였다. 특히 알파고의 핵심 기술로 알려진 딥러닝에 대한 학계와 산업계의 연구가 폭발적으로 증가하였다.
딥러닝은 기존에 알려진 인공 신경망(Artificial Neural Network)의 여러 문제점(즉, vanishing problem, overfitting 등)을 활성함수(ReLU)의 개발과 드롭아웃(Drop-out)과 같은 알고리즘 개선으로 그 성능을 향상시켰고, 또한 GPU(Graphic Processing Units)와 같은 하드웨어의 발전과 복잡한 구조를 학습시킬 수 있는 빅데이터의 힘 덕분에 최근 여러 분야에 뛰어난 성능을 발휘하고 있다.
이러한 딥러닝 기술은 해외 많은 기업(구글, 페이스북, 애플, 마이크로소프트, 알리바바, 바이두)에 의해 빠르게 발전되고 있으며 얼굴인식, 음성인식, 자연어처리, 검색 서비스, 의료 등의 분야에 적용되고 있다. 이렇게 빠르게 발전하는 딥러닝의 최신 기술을 확보하고 더 나아가 응용 분야를 선점하고 빠르게 상용화 하는 것이 시급하다.
종래의 결함 검사 장비에서 사용되는 결함 분류 방법은 도 1과 같다.
알고리즘 개발자가 영상에서 분류가 잘 될 것 같은 특징을 영상처리 알고리즘으로 추출한 후 이러한 특징들을 분류기(SVM, Decision tree)로 학습한다.
조명과 카메라를 이용하여 광학 장치를 구성하고, 결함 부분에서 빛의 경로가 변함에 따라 카메라에 들어오는 빛의 양의 변화를 영상화하여 결함 부위의 신호대잡음비(S/N ratio)를 높인다. 이러한 영상에서 결함 검출 알고리즘이 결함 후보를 검출하고, 결함 후보 영상에 대해 특징 추출 알고리즘과 분류 알고리즘을 이용해 결함을 검출 및 분류하게 된다.
이러한 방법은 사람이 얼마나 특징 추출 알고리즘을 잘 디자인하여 특징을 추출하는지가 성능의 한계이다. 또한, 제품과 결함의 형태, 크기, 색상 등의 다양한 특징에 따라 알고리즘을 다르게 개발해야 하므로 개발 기간이 길어진다. 반면에 최근 딥러닝을 이용한 결함 분류 방법은 사람의 개입을 최소화 하여 인공지능이 스스로 특징을 추출하고 검출 및 분류하는 과정을 학습하는 것이다.
일반적인 딥러닝을 이용한 분류기의 구성은 도 2와 같다.
입력 영상(결함 영상)에 대해 컨벌루션 층(Convolution layer)과 활성함수(Activation function)를 적용시킨 후 나온 특징 맵(feature map)을 풀링 층(Pooling layer)을 통해 크기를 줄인 후 다음 컨벌루션 층(convolution layer)으로 전달하는 과정을 반복하면서 특징을 추출하고, 이렇게 추출된 특징벡터를 심층신경망을 통해 분석하여 결함의 검출 및 분류를 하게 된다.
딥러닝을 이용하여 결함을 검출하고 분류하기 위해서는 라벨링(Labeling) 작업이 필수이다.
라벨링 작업이란 도 3과 같이, 딥러닝의 출력이 되어야 하는 학습용 정답 데이터를 만드는 것이다. 즉, 결함 분류를 하기 위해서는 원본 영상을 딥러닝의 입력에 넣었을 때 최종 출력에서 결함의 위치, 형태, 종류가 나와야 한다. 딥러닝의 학습을 위해서는 이런 학습용 정답 데이터(Labeled data)가 충분히 많아야 한다. 하지만 이런 데이터를 만드는 작업은 매우 시간이 많이 걸릴 뿐만 아니라, 라벨링을 하는 사람 간의 편차가 발생하여 최종 결함 분류 성능을 떨어뜨린다.
종래 방법 중에서 영상의 분류(class) 정보, 즉 영상이 결함을 포함하면 1, 결함을 포함하지 않으면 0인 정보만으로 결함 분류 기술을 개발하면 도 4의 (a)와 같이 최종 출력에서 결함의 위치는 찾을 수 있으나, 정확한 형태를 찾기 어렵다.
반면에 의미론적 분할 기법(Semantic Segmentation)을 사용하면 도 4의 (b)와 같이 결함의 정확한 위치와 형태를 찾을 수 있으나, 결함의 위치 및 형태 정보가 포함된 학습용 정답 데이터가 있어야 하는 문제점이 있다.
미국등록특허 제9984325호
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 목적은 학습용 데이터에 결함의 위치 및 형태 정보가 없어도 결함의 위치 및 형태를 검출할 수 있도록 하는 것이다.
이를 위해, 본 발명에 따른 머신러닝 기반 결함 분류 장치는 제품의 입력 영상으로부터 다중 특징 맵(feature map)을 추출하는 특징 추출부와, 상기 특징 추출부에서 추출된 특징 맵을 분석하여 제품의 결함을 분류하는 분류부와, 상기 결함 분류 결과 제품 결함이 있는 경우 상기 특징 추출부에서 추출된 특징맵을 이용해 결함의 위치 및 형태를 검출하는 검출부를 포함한다.
본 발명에 따른 머신러닝 기반 결함 분류 장치는 제품의 입력 영상으로부터 다중 특징 맵(feature map)을 추출하는 특징 추출부와, 상기 특징 추출부에서 추출된 특징 맵을 완전 연결층의 신경망을 통해 분석하여 제품의 결함을 분류하는 분류부와, 상기 결함 분류 결과 제품 결함이 있는 경우 상기 특징 추출부에서 추출된 마지막 특징맵에 상기 완전 연결층의 가중치를 곱하여 생성한 결함 활성화 맵을 이용해 결함의 위치 및 형태를 검출하는 검출부를 포함한다.
또한, 본 발명에 따른 머신러닝 기반 결함 분류 방법은 머신러닝 기반 결함 분류 장치에서 제품의 결함 위치 및 형태를 검출하는 방법으로서, 제품의 입력 영상에 대해 특징 맵을 추출하는 특징 맵 추출 단계와, 상기 추출된 특징 맵을 분석하여 제품의 결함을 분류하는 결함 분류 단계와, 상기 결함 분류 결과 제품 결함이 있는 경우 상기 추출된 특징맵을 이용해 결함의 위치 및 형태를 검출하는 결함 검출 단계를 포함한다.
또한, 본 발명에 따른 머신러닝 기반 결함 분류 방법은 머신러닝 기반 결함 분류 장치에서 제품의 결함 위치 및 형태를 검출하는 방법으로서, 제품의 입력 영상에 대해 특징 맵을 추출하는 특징 맵 추출 단계와, 상기 추출된 특징 맵을 완전 연결층의 신경망을 통해 분석하여 제품의 결함을 분류하는 결함 분류 단계와, 상기 결함 분류 결과 제품 결함이 있는 경우 상기 특징 맵 추출 단계에서 마지막으로 추출된 특징맵에 상기 완전 연결층의 가중치를 곱하여 생성한 결함 활성화 맵을 이용해 결함의 위치 및 형태를 검출하는 결함 검출 단계를 포함한다.
상술한 바와 같이, 본 발명은 분류 코드(결함 없음과 있음)만 포함되고 결함의 위치 및 형태 정보가 포함되지 않은 학습용 데이터만을 사용해 학습하여도 결함의 위치 및 형태를 검출할 수 있는 효과가 있다.
즉, 결함 위치 및 형태 정보가 포함된 데이터가 충분히 많지 않은 상황에서 라벨링 작업에 필요한 시간을 들이지 않고 결함의 유무 정보만 포함된 데이터만으로 학습하여 제품 표면의 결함의 위치 및 형태를 정확히 검출할 수 있는 머신러닝 모델을 구현할 수 있다.
도 1은 종래 결함 분류 방법을 설명하기 위한 도면.
도 2는 일반적인 딥러닝 기반 분류 방법을 설명하기 위한 도면.
도 3은 라벨링 작업을 통해 만들어진 학습용 데이터를 나타낸 도면.
도 4는 종래의 머신러닝 기반 결함 분류 방식에서 입력 데이터, 라벨링된 데이터, 출력 데이터를 나타낸 도면.
도 5는 본 발명에 따른 머신러닝 기반 결함 분류 장치의 개략적 구성도.
도 6은 본 발명에 따른 머신러닝 기반 결함 분류 장치의 상세 내부 구성도.
도 7은 본 발명에 따른 입력 데이터, 라벨링된 데이터, 출력 데이터를 나타낸 도면.
도 8은 본 발명에 따른 머신러닝 기반 결합 분류 방법을 나타낸 도면.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다.
도 5는 본 발명에 따른 머신러닝 기반 결함 분류 장치의 개략적인 구성을 나타낸 것이다.
도 5를 참조하면, 본 발명에 따른 머신러닝 기반 결함 분류 장치는 특징 추출부(10), 분류부(20) 및 검출부(30)를 주요 구성요소로 한다.
머신러닝 기반 결함 분류 장치를 구성하는 특징 추출부(10), 분류부(20) 및 검출부(30)는 소프트웨어 또는 하드웨어로 구현될 수 있다. 결함 분류 장치의 특징 추출부(10) 및 분류부에(20)는 특징맵 추출 및 결함 분류를 위한 모델이 적용되어 있으며 이 모델은 머신러닝 기반으로 학습된 모델이다.
본 발명에 따른 결함 분류 장치는 제품의 표면 결함 검사뿐만 아니라 비파괴 검사와 같은 진단 분야에도 사용될 수 있다. 또한, 스마트 팩토리(smart factory) 구현의 필수 기술로서 생산 조업 조건에 따른 제품의 품질을 판정하는데도 사용될 수 있다.
특징 추출부(10)는 학습을 통해 결정된 복수의 커널(kernel)을 이용하여 제품의 입력 영상으로부터 다중 특징 맵(feature map)을 추출한다.
특징 추출부(10)는 복수의 커널을 이용하여 다중 특징 맵을 추출하는 컨벌루션(convolution) 과정 및 다중 특징 맵의 크기를 축소하는 풀링(pooling) 과정을 반복하여 입력 영상의 크기가 축소된 다중 특징 맵을 생성한다.
분류부(20)는 특징 추출부(10)에서 출력된 특징 맵을 분석하여 제품의 결함을 분류(classification)한다.
분류부(20)는 특징 추출부(10)에서 출력된 특징 맵에 대해 전역 평균 풀링(Global Average Pooling)을 수행한 후 완전 연결층(fully connected layer)의 신경망(Neural Network)을 통해 제품의 결함을 분류한다.
분류부(20)는 제품 결함의 분류 시 결함이 있는 경우 1로, 결함이 없는 경우 0으로 출력한다.
검출부(30)는 제품 결함이 있는 경우 특징 추출부(10)에서 생성된 특징맵을 이용해 결함의 위치 및 형태를 검출한다.
도 6은 본 발명에 따른 머신러닝 기반 결함 분류 장치의 구성을 구체적으로 나타낸 것이다.
도 6을 참조하면, 특징 추출부(10)는 2D 컨벌루션(convolution), 배치 정규화(batch normalization), 활성함수(ReLU), 최대풀링(maxpooling)으로 구성된 기본 블록으로 구성된다. 도 6에서 특징 추출부(10)에 4개의 블록이 있으나, 학습 과정에 따라 블록의 개수는 다를 수 있다.
분류부(20)는 특징 추출부(10)의 최종단에 연결된 전역 평균 풀링층(Global Average Pooling layer), 전역 평균 풀링층에서 출력된 특징 벡터가 배치 정규화 및 활성함수(ReLU)를 거쳐 연결된 완전 연결층(fully connected layer), 결함 유무를 판단하는 활성함수(softmax)로 구성된다.
전역 평균 풀링층(GAP)을 통해 생성된 특징 벡터는 최종 분류하고자 하는 결함의 종류의 수와 동일한 크기의 완전 연결층(FC)과 연결되고 활성함수(softmax)를 거쳐 최종 결함 분류 결과(결함 있음 또는 없음)가 출력된다. 즉, 특징 벡터의 원소 값이 완전 연결층의 신경망을 거쳐 제품의 결함 분류가 수행된다.
검출부(30)는 결함 활성화 맵 생성부(32), 특징맵 생성부(34), 이진화부(36) 등을 포함한다.
결함 활성화 맵 생성부(32)는 특징 추출부(10)의 마지막 특징맵의 각 픽셀에 완전 연결층의 가중치(weight)를 곱하여 결함 활성화 맵(DAM: Defect Activation Map)을 생성한다. 결함 활성화 맵 생성부(32)는 마지막 다중 특징맵에 대해 완전 연결층의 가중치를 픽셀별(pixel-wise) 곱 연산하여 깊이(depth) 방향으로 더함으로써 한 장의 결함 활성화 맵을 생성하다. 이렇게 함으로써 마지막 특징맵에서 결함이 있는 위치의 특징값이 활성화된다.
그러나 이렇게 생성된 결함 활성화 맵은 해상도가 떨어져 정확한 결함 위치를 추정하기 어렵다. 이를 보완하기 위해 결함 활성화 맵을 역전파(back propagation) 시킨다.
특징맵 생성부(34)는 각 블록에서 추출된 다중 특징맵을 깊이 방향으로 평균화하여 평균 특징맵을 생성하고, 각 블록의 평균 특징맵을 이전 단계의 결함 활성화 맵과 픽셀별 곱 연산하는 과정을 반복하여 입력 영상의 크기와 같은 특징 맵 즉, 결함 활성화 맵을 생성한다.
결함 활성화 맵 생성부(32)에서 생성된 결함 활성화 맵을 제1 결함 활성화 맵이라고 칭한다. 제1 결함 활성화 맵은 블록 4의 다중 특징맵과 완전 연결층의 가중치를 픽셀별 곱 연산하여 깊이 방향으로 합산한 것이다.
제1 결함 활성화 맵은 특징맵 생성부(34)로 입력되어 크기 조절된 후 블록 3의 다중 특징맵을 깊이 방향으로 평균화한 제1 평균 특징맵과 픽셀별 곱 연산되어 제2 결함 활성화 맵이 된다.
제2 결함 활성화 맵은 다시 크기 조절된 후 블록 2의 다중 특징맵을 깊이 방향으로 평균화한 제2 평균 특징맵과 픽셀별 곱 연산되어 제3 결함 활성화 맵이 된다.
제3 결함 활성화 맵은 다시 크기 조절된 후 블록 1의 다중 특징맵을 깊이 방향으로 평균화한 제3 평균 특징맵과 픽셀별 곱 연산되어 제4 결함 활성화 맵이 된다.
제4 결함 활성화 맵이 크기 조절되면 입력 영상의 크기와 같은 특징 맵이 된다. 이렇게 생성된 마지막 제4 결함 활성화 맵에서 결함이 있는 위치에 특징 값이 더 높은 값을 갖게 된다.
이진화부(36)는 최종의 결함 활성화 맵을 특정 임계치로 이진화하여 이진화 영상을 출력한다. 최종의 결함 활성화 맵에서 결함이 있는 부분은 상대적으로 큰 값을 갖고 결함이 없는 부분은 상대적으로 작은 값을 갖게 되므로 특정 임계치를 기준으로 결함이 있는 부분은 1, 결함이 없는 부분은 0으로 하여 이진화 영상을 생성할 수 있다. 이러한 이진화 영상을 통해 결함의 위치 및 형태를 검출하게 된다.
도 7은 본 발명에 따른 입력 데이터, 라벨링된 데이터, 출력 데이터를 나타낸 것이다.
도 7을 참조하면, 라벨링된 데이터에는 단순히 결함의 유무 정보만 포함되어 있고 이러한 데이터로만 모델을 학습하더라도 결함의 유무뿐만 아니라 결함의 위치 및 형태를 검출할 수 있음을 보여준다.
즉, 입력된 영상에 대해 결함 유무를 분류한 후 결함이 있는 영상에 대해 결함이 있는 위치의 특징값이 커지도록 하는 활성화 과정 즉, 지역화(localization)를 통해 입력 영상 내의 결함의 위치 및 형태를 검출할 수 있다.
도 8은 본 발명에 따른 머신러닝 기반 결함 분류 과정을 나타낸 것이다.
도 8을 참조하면, 먼저 입력 영상을 패치(patch) 단위로 분할하는 영상 분할 단계(S10)를 수행한다.
입력 영상을 패치 단위로 분할한 후 분할된 영상에 대해 특징 맵을 추출하는 특징 맵 추출 단계(S20)를 수행한다. 특징 맵 추출 단계(S20)는 입력 영상에 대해 컨벌루션 및 풀링 과정을 통해 특징 맵을 추출한다.
최종의 특징 맵이 추출되면, 결함 분류 단계(S30)는 최종 특징 맵에 대해 전역 평균 풀링을 수행한 후 완전 연결층의 신경망을 통해 제품의 결함을 분류(결함 있음 또는 없음)하게 된다.
결함 분류 결과를 확인하여(S40), 만약 제품에 결함이 있으면 결함 검출 단계(S50)를 수행하고, 분할된 영상이 마지막 패치인지 확인하여(S60), 그렇지 않은 경우 특징맵 추출 단계(S20)로 돌아가 상기 단계를 반복한다.
만약 제품이 결함이 없으면 결함 검출 단계(S50)를 수행하지 않고 바로 분할된 영상이 마지막 패치인지 확인하여(S60), 그렇지 않은 경우 특징맵 추출 단계(S20)로 돌아가 상기 단계를 반복한다.
결함 검출 단계(S50)에서는 특징맵 추출 단계(S20)의 최종 특징맵과 결함 분류 단계(S20)의 가중치를 이용해 결함 활성화 맵을 생성한 후, 결함 활성화 맵과 특징 추출 단계(S20)의 각 부분에서 추출된 특징맵을 이용해 입력 영상의 크기와 동일한 결함 활성화 맵을 생성하게 된다. 이렇게 입력 영상의 크기와 동일한 결함 활성화 맵에서 특정 값 기준으로 이진화를 수행하면 결함의 위치 및 형태를 검출할 수 있게 된다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다.
따라서 본 발명의 명세서에 개시된 실시예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
10: 특징 추출부 20: 분류부
30: 검출부 32: 결함 활성화 맵 생성부
34: 특징맵 생성부 36: 이진화부

Claims (16)

  1. 컨벌루션(convolution)층 및 풀링(pooling)층으로 구성된 복수의 블록을 포함하여 제품의 입력 영상으로부터 다중 특징 맵(feature map)을 추출하는 특징 추출부와,
    상기 특징 추출부에서 추출된 특징 맵을 분석하여 제품의 결함을 분류하는 분류부와,
    상기 결함 분류 결과 제품 결함이 있는 경우 상기 특징 추출부에서 추출된 특징맵을 이용해 결함의 위치 및 형태를 검출하는 검출부를 포함하여,
    상기 검출부는 상기 특징 추출부의 마지막 특징맵에서 결함이 있는 위치의 특징값이 커진 결함 활성화 맵(DAM: Defect Activation Map)을 생성하는 결함 활성화 맵 생성부와, 상기 결함 활성화 맵 생성부에서 생성된 결함 활성화 맵을 처리하여 입력 영상의 크기와 같은 특징 맵으로 출력하는 특징맵 생성부와, 상기 특징맵 생성부에서 출력된 최종의 특징 맵을 특정 임계치로 이진화하여 이진화 영상을 출력하는 이진화부를 포함하고,
    상기 특징맵 생성부는 각 블록에서 추출된 다중 특징맵을 깊이 방향으로 평균화하여 평균 특징맵을 생성하고, 각 블록의 평균 특징맵을 이전 단계의 결함 활성화 맵과 픽셀별 곱 연산하는 과정을 반복하여 입력 영상의 크기와 같은 특징 맵을 생성하는 것을 특징으로 하는 머신러닝 기반 결함 분류 장치.
  2. 제1항에 있어서,
    상기 분류부는 상기 특징 추출부의 최종단에 연결된 전역 평균 풀링층(Global Average Pooling layer) 및 전역 평균 풀링층에서 출력된 특징 벡터가 연결된 완전 연결층(fully connected layer)을 포함하는 것을 특징으로 하는 머신러닝 기반 결함 분류 장치.
  3. 삭제
  4. 제2항에 있어서,
    상기 결함 활성화 맵 생성부는 상기 특징 추출부의 마지막 다중 특징맵의 각 픽셀에 상기 완전 연결층의 가중치(weight)를 곱하여 깊이(depth) 방향으로 더함으로써 결함 활성화 맵을 생성하는 것을 특징으로 하는 머신러닝 기반 결함 분류 장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 이진화부는 최종의 특징 맵에서 특정 임계치를 기준으로 특정 임계치 이상이면 1, 특정 임계치 미만이면 0으로 하여 이진화 영상을 생성하는 것을 특징으로 하는 머신러닝 기반 결함 분류 장치.
  7. 머신러닝 기반 결함 분류 장치에서 제품의 결함 위치 및 형태를 검출하는 방법에 있어서,
    제품의 입력 영상에 대해 컨벌루션 및 풀링 과정을 반복적으로 수행하여 특징 맵을 추출하는 특징 맵 추출 단계와,
    상기 추출된 특징 맵을 분석하여 제품의 결함을 분류하는 결함 분류 단계와,
    상기 결함 분류 결과 제품 결함이 있는 경우 상기 추출된 특징맵을 이용해 결함의 위치 및 형태를 검출하는 결함 검출 단계를 포함하여,
    상기 결함 검출 단계는 상기 특징 맵 추출 단계의 마지막 특징맵에서 결함이 있는 위치의 특징값이 커진 결함 활성화 맵(DAM: Defect Activation Map)을 생성하는 과정과, 상기 생성된 결함 활성화 맵을 처리하여 입력 영상의 크기와 같은 특징 맵으로 출력하는 과정과, 상기 출력된 최종의 특징 맵을 특정 임계치로 이진화하여 이진화 영상을 생성하는 과정을 포함하고,
    상기 입력 영상의 크기와 같은 특징 맵으로 출력하는 과정은 각 컨벌루션 및 풀링 과정에서 추출된 다중 특징맵을 깊이 방향으로 평균화하여 평균 특징맵을 생성하고, 각 블록의 평균 특징맵을 이전 단계의 결함 활성화 맵과 픽셀별 곱 연산하는 과정을 반복하여 입력 영상의 크기와 같은 특징 맵을 생성하는 것을 특징으로 하는 머신러닝 기반 결함 분류 방법.
  8. 제7항에 있어서,
    상기 결함 분류 단계는 최종 특징 맵에 대해 전역 평균 풀링을 수행한 후 완전 연결층의 신경망을 통해 제품의 결함을 분류하는 것을 특징으로 하는 머신러닝 기반 결함 분류 방법.
  9. 삭제
  10. 제8항에 있어서,
    상기 결함 활성화 맵을 생성하는 과정은 상기 특징 맵 추출 단계의 마지막 다중 특징맵의 각 픽셀에 상기 완전 연결층의 가중치(weight)를 곱하여 깊이(depth) 방향으로 더함으로써 결함 활성화 맵을 생성하는 것을 특징으로 하는 머신러닝 기반 결함 분류 방법.
  11. 삭제
  12. 제7항에 있어서,
    상기 이진화 영상을 생성하는 과정은 최종의 특징 맵에서 특정 임계치를 기준으로 특정 임계치 이상이면 1, 특정 임계치 미만이면 0으로 하여 이진화 영상을 생성하는 것을 특징으로 하는 머신러닝 기반 결함 분류 방법.
  13. 제품의 입력 영상으로부터 다중 특징 맵(feature map)을 추출하는 특징 추출부와,
    상기 특징 추출부에서 추출된 특징 맵을 완전 연결층의 신경망을 통해 분석하여 제품의 결함을 분류하는 분류부와,
    상기 결함 분류 결과 제품 결함이 있는 경우 상기 특징 추출부에서 추출된 마지막 특징맵에 상기 완전 연결층의 가중치를 곱하여 생성한 결함 활성화 맵을 이용해 결함의 위치 및 형태를 검출하는 검출부를 포함하여,
    상기 검출부는 상기 생성된 결함 활성화 맵과 상기 특징 추출부에서 각 단계의 특징맵을 이용해 입력 영상의 크기와 같은 특징 맵을 생성하고, 상기 생성한 입력 영상의 크기와 같은 특징 맵을 특정 임계치로 이진화하여 이진화 영상을 출력하는 것을 특징으로 하는 머신러닝 기반 결함 분류 장치.
  14. 삭제
  15. 머신러닝 기반 결함 분류 장치에서 제품의 결함 위치 및 형태를 검출하는 방법에 있어서,
    제품의 입력 영상에 대해 특징 맵을 추출하는 특징 맵 추출 단계와,
    상기 추출된 특징 맵을 완전 연결층의 신경망을 통해 분석하여 제품의 결함을 분류하는 결함 분류 단계와,
    상기 결함 분류 결과 제품 결함이 있는 경우 상기 특징 맵 추출 단계에서 마지막으로 추출된 특징맵에 상기 완전 연결층의 가중치를 곱하여 생성한 결함 활성화 맵을 이용해 결함의 위치 및 형태를 검출하는 결함 검출 단계를 포함하여,
    상기 결함 검출 단계는 상기 생성된 결함 활성화 맵과 상기 특징 맵 추출 단계의 각 부분에서 추출된 특징맵을 이용해 입력 영상의 크기와 같은 특징 맵을 생성하고, 상기 생성한 입력 영상의 크기와 같은 특징 맵을 특정 임계치로 이진화하여 이진화 영상을 생성하는 것을 특징으로 하는 머신러닝 기반 결함 분류 방법.
  16. 삭제
KR1020190127199A 2019-10-14 2019-10-14 머신러닝 기반 결함 분류 장치 및 방법 KR102325347B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190127199A KR102325347B1 (ko) 2019-10-14 2019-10-14 머신러닝 기반 결함 분류 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190127199A KR102325347B1 (ko) 2019-10-14 2019-10-14 머신러닝 기반 결함 분류 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210044080A KR20210044080A (ko) 2021-04-22
KR102325347B1 true KR102325347B1 (ko) 2021-11-11

Family

ID=75731384

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190127199A KR102325347B1 (ko) 2019-10-14 2019-10-14 머신러닝 기반 결함 분류 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102325347B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102330055B1 (ko) * 2021-04-07 2021-11-23 주식회사 스마트인사이드에이아이 드론을 이용한 구조물의 변화 검출 방법 및 시스템
CN113610754B (zh) * 2021-06-28 2024-05-07 浙江文谷科技有限公司 一种基于Transformer的缺陷检测方法及系统
KR102465045B1 (ko) * 2021-09-14 2022-11-09 주식회사 파워인스 인공지능 모델을 이용한 비파괴검사시스템 및 비파괴검사 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101863196B1 (ko) * 2017-07-24 2018-06-01 한국생산기술연구원 딥러닝 기반 표면 결함 검출장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101879207B1 (ko) * 2016-11-22 2018-07-17 주식회사 루닛 약한 지도 학습 방식의 객체 인식 방법 및 장치
US9984325B1 (en) 2017-10-04 2018-05-29 StradVision, Inc. Learning method and learning device for improving performance of CNN by using feature upsampling networks, and testing method and testing device using the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101863196B1 (ko) * 2017-07-24 2018-06-01 한국생산기술연구원 딥러닝 기반 표면 결함 검출장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Weakly Supervised Semantic Segmentation Using Web-Crawled Videos, The IEEE Conference on Computer Vision and Pattern Recognition, 2017.*

Also Published As

Publication number Publication date
KR20210044080A (ko) 2021-04-22

Similar Documents

Publication Publication Date Title
CN109299274B (zh) 一种基于全卷积神经网络的自然场景文本检测方法
KR102325347B1 (ko) 머신러닝 기반 결함 분류 장치 및 방법
CN111461212B (zh) 一种用于点云目标检测模型的压缩方法
US20140270489A1 (en) Learned mid-level representation for contour and object detection
CN111488826A (zh) 一种文本识别方法、装置、电子设备和存储介质
CN109685065B (zh) 试卷内容自动分类的版面分析方法、系统
CN110349167A (zh) 一种图像实例分割方法及装置
KR102313215B1 (ko) 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법
US11600088B2 (en) Utilizing machine learning and image filtering techniques to detect and analyze handwritten text
US20210390282A1 (en) Training data increment method, electronic apparatus and computer-readable medium
Soumya et al. Emotion recognition from partially occluded facial images using prototypical networks
JP2021051589A5 (ko)
CN109740607B (zh) 字符图像的残缺区域检测和残缺字符图像恢复方法
CN111241897A (zh) 通过推断视觉关系的工业检验单数字化
Wang et al. Semantic segmentation of sewer pipe defects using deep dilated convolutional neural network
JP2023061387A (ja) 合成データ及び機械学習を使用した欠陥検出
Abid et al. A novel neural network approach for image edge detection
KR102239133B1 (ko) 영상 변환을 이용한 머신러닝 기반 결함 분류 장치 및 방법
Hegadi Classification of kannada numerals using multi-layer neural network
Kim et al. Automatic defect detection from SEM images of wafers using component tree
CN112733686A (zh) 用于云联邦的图像中的目标物识别方法及装置
Milyaev et al. Improving the processing of machine vision images of robotic systems in the Arctic
KR102513580B1 (ko) 웨이퍼분류모델 학습을 위한 웨이퍼 이미지를 생성하는 방법 및 그 장치와, 이를 이용하여 웨이퍼분류모델을 생성하는 방법 및 그 장치
CN117333730B (zh) 一种产品表面异常检测方法及终端
Bhanbhro et al. Symbol Detection in a Multi-class Dataset Based on Single Line Diagrams using Deep Learning Models

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right