KR102313215B1 - 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법 - Google Patents

특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법 Download PDF

Info

Publication number
KR102313215B1
KR102313215B1 KR1020190157416A KR20190157416A KR102313215B1 KR 102313215 B1 KR102313215 B1 KR 102313215B1 KR 1020190157416 A KR1020190157416 A KR 1020190157416A KR 20190157416 A KR20190157416 A KR 20190157416A KR 102313215 B1 KR102313215 B1 KR 102313215B1
Authority
KR
South Korea
Prior art keywords
feature
classification
feature values
learning
probability distribution
Prior art date
Application number
KR1020190157416A
Other languages
English (en)
Other versions
KR20210067606A (ko
Inventor
윤종필
구교권
신우상
김민수
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020190157416A priority Critical patent/KR102313215B1/ko
Publication of KR20210067606A publication Critical patent/KR20210067606A/ko
Application granted granted Critical
Publication of KR102313215B1 publication Critical patent/KR102313215B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/627—
    • G06N7/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 결함 분류 기술에 관한 것으로서, 상세하게는 데이터 확대 및 분류 기능을 일체화한 딥러닝 모델을 구성함으로써 적은 양의 데이터를 사용해도 제품 결함의 분류 성능을 향상시킬 수 있는 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법에 관한 것이다. 이를 위해, 본 발명에 따른 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치는 제품 영상으로부터 특징 값을 추출하는 특징 추출부와, 상기 특징 값에 대한 확률분포에 근거해 기본 특징 값을 샘플링하고 기본 특징 값으로부터 복수의 특징 값을 샘플링하는 특징 샘플링부와, 상기 샘플링된 복수의 특징 값을 입력 받아 심층 신경망을 통해 분석하여 제품 결함 분류를 수행하는 분류부를 포함한다.

Description

특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법{Apparatus and method for defect classification using feature generation based on machine-learning}
본 발명은 결함 분류 기술에 관한 것으로서, 상세하게는 데이터 확대 및 분류 기능을 일체화한 딥러닝 모델을 구성함으로써 적은 양의 데이터를 사용해도 제품 결함의 분류 성능을 향상시킬 수 있는 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법에 관한 것이다.
최근 알파고와 이세돌 9단의 대결로 인공지능에 대한 관심이 크게 증가하였다. 특히 알파고의 핵심 기술로 알려진 딥러닝에 대한 학계와 산업계의 연구가 폭발적으로 증가하였다.
딥러닝은 기존에 알려진 인공 신경망(Artificial Neural Network)의 여러 문제점(즉, vanishing problem, overfitting 등)을 활성함수(ReLU)의 개발과 드롭아웃(Drop-out)과 같은 알고리즘 개선으로 그 성능을 향상시켰고, 또한 GPU(Graphic Processing Units)와 같은 하드웨어의 발전과 복잡한 구조를 학습시킬 수 있는 빅데이터의 힘 덕분에 최근 여러 분야에 뛰어난 성능을 발휘하고 있다.
이러한 딥러닝 기술은 해외 많은 기업(구글, 페이스북, 애플, 마이크로소프트, 알리바바, 바이두)에 의해 빠르게 발전되고 있으며 얼굴인식, 음성인식, 자연어처리, 검색 서비스, 의료 등의 분야에 적용되고 있다. 이렇게 빠르게 발전하는 딥러닝의 최신 기술을 확보하고 더 나아가 응용 분야를 선점하고 빠르게 상용화 하는 것이 시급하다.
종래의 결함 검사 장비에서 사용되는 결함 분류 방법은 도 1과 같다.
알고리즘 개발자가 영상에서 분류가 잘 될 것 같은 특징을 영상처리 알고리즘으로 추출한 후 이러한 특징들을 분류기(SVM, Decision tree)로 학습한다.
조명과 카메라를 이용하여 광학 장치를 구성하고, 결함 부분에서 빛의 경로가 변함에 따라 카메라에 들어오는 빛의 양의 변화를 영상화하여 결함 부위의 S/N ratio를 높인다. 이러한 영상에서 결함 검출 알고리즘이 결함 후보를 검출하고, 결함 후보 영상에 대해 특징 추출 알고리즘과 분류 알고리즘을 이용해 결함을 검출 및 분류하게 된다.
이러한 방법은 사람이 얼마나 특징 추출 알고리즘을 잘 디자인하여 특징을 추출하는지가 성능의 한계이다. 또한 선택된 특징에 따라 분류 성능이 제한적이고, 영상의 회전, 밝기 변화, 크기 변화 등에 따라 분류 성능이 달라지는 문제점이 있다. 제품별로 영상의 특징이 달라서 이를 분석하여 개발하는데, 시간이 많이 소요되는 단점도 존재한다.
최신 기술인 딥러닝 중 CNN 방법을 응용한 분류 알고리즘은 영상에서 인공지능이 스스로 특징을 추출하고 학습하는 방법이다. 딥러닝 기술을 응용하여 결함 분류 알고리즘을 구성하면 위의 문제를 해결할 수 있다. 다양한 딥러닝 구조 중 영상 분야에서의 딥러닝은 CNN(Convolutional Neural Network)이라는 구조가 사용된다.
CNN을 이용한 영상 분류는 CNN 스스로가 분류 성능을 높일 수 있는 특징을 추출하고 학습한다는 특징이 있다. 이러한 특징을 이용하여 영상을 기반으로 하는 결함 검출 분야에 적용한다면 획기적인 성능 향상을 기대할 수 있다.
일반적인 딥러닝을 이용한 분류기의 구성은 도 2와 같다.
입력 영상에 대해 컨벌루션 층(Convolution layer)과 활성함수(Activation function)를 적용시킨 후 나온 특징 맵(feature map)을 풀링 층(Pooling layer)을 통해 크기를 줄인 후 다음 컨벌루션 층(convolution layer)으로 전달한다. 이러한 기본 구조를 반복적으로 깊게 쌓아서 영상에서 결함 분류를 위한 특징을 효과적으로 추출하게 한다.
이와 같이 딥러닝 기술을 결함 검출 분야에 적용하여 우수한 성능을 확보하기 위해서는 결함별로 충분한 데이터의 확보가 선행되어야 한다. 하지만 제조업 특성 상 일부 결함에 대해서는 충분하나 데이터를 확보하기 어렵고, 결함별로 수집된 데이터 수의 차이가 클 수 있다.
적은 수의 데이터를 이용하여 딥러닝 모델을 학습할 때는 주어진 데이터에 대해서만 잘 동작하고 실제 테스트 시에는 데이터의 변화가 조금만 나타나도 성능이 급격하게 떨어지는 오버피팅(overfitting) 문제가 발생하게 된다.
이러한 문제를 해결하기 위해 일반적으로, 플리핑(flipping), 회전(rotation), 시프팅(shifting), 노이즈(noise), 블러링(bluring), 쉐이핑(shaping) 등의 데이터 확대(data augmentaion) 방법을 사용하여 충분한 양의 학습 데이터를 만든다.
그러나 종래의 데이터 확대 방법은 제품마다 발생하는 결함의 유형을 미리 파악하고 결합의 발생 형태를 예측하여 인위적을 생성시켜야 하므로 개발 기간이 오래 걸리고 성능의 한계가 있다.
특히 인위적으로 생성시킨 결함이 실제 결함과 다를 경우 오히려 성능이 더 떨어지는 부작용도 발생한다. 또한 이러한 데이터 확대 방법으로 생성한 데이터로 다시 딥러닝 모델을 개발해야 되는 단점이 있다.
미국공개특허 제2017-0364798호
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 목적은 매우 적은 양의 데이터만으로도 딥러닝 기반 결함 분류 성능을 최대화하는 것이다.
이를 위해, 본 발명에 따른 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치는 제품 영상으로부터 특징 값을 추출하는 특징 추출부와, 상기 특징 값에 대한 확률분포에 근거해 기본 특징 값을 샘플링하고 기본 특징 값으로부터 복수의 특징 값을 샘플링하는 특징 샘플링부와, 상기 샘플링된 복수의 특징 값을 입력 받아 심층 신경망을 통해 분석하여 제품 결함 분류를 수행하는 분류부를 포함한다.
본 발명에 따른 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치는 제품 영상으로부터 특징 값을 추출하는 특징 추출부와, 특징 값에 대한 특정의 확률분포에 근거해 샘플링된 복수의 특징 값을 입력받아 학습된 이후 상기 특징 추출부로부터 입력 받은 제품 영상의 특징 값을 분석하여 제품 결함 분류를 수행하는 분류부를 포함한다.
본 발명에 따른 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 방법은 머신러닝 기반 결함 분류 장치에서 특정 생성 기술을 이용한 결함 분류 방법으로서, 제품 영상으로부터 특징 값을 추출하는 특징 추출 단계와, 상기 특징 값에 대한 확률분포에 근거해 기본 특징 값을 샘플링하고 기본 특징 값으로부터 복수의 특징 값을 샘플링하는 특징 샘플링 단계와, 상기 샘플링된 복수의 특징 값을 입력 받아 심층 신경망을 통해 분석하여 제품 결함 분류를 수행하는 결함 분류 단계를 포함한다.
본 발명에 따른 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 방법은 머신러닝 기반 결함 분류 장치에서 특정 생성 기술을 이용한 결함 분류 방법으로서, 제품 영상으로부터 특징 값을 추출하는 특징 추출 단계와,특징 값에 대한 특정의 확률분포에 근거해 샘플링된 복수의 특징 값을 입력받아 학습된 이후 상기 특징 추출 단계에서 추출된 제품 영상의 특징 값을 분석하여 제품 결함 분류를 수행하는 결함 분류 단계를 포함한다.
본 발명에 따른 컴퓨터 판독 기록매체는 제품 영상으로부터 추출한 특징 값의 확률분포가 특정한 확률분포가 되도록 KL 다이버전스 손실(KL-divergence loss)를 최소화하는 단계와, 상기 KL 다이버전스 손실이 최소화될 때의 확률분포에서 기본 특징 값을 선택하고 기본 특징 값 사이에서 가중치를 변화시켜 복수의 특징 값을 샘플링하는 단계를 수행하는 프로그램을 저장한다.
상술한 바와 같이, 본 발명은 데이터 확대(data augmentation)과 분류기(classifier)를 하나의 딥러닝 모델로 구성을 할 수 있고, 적은 수의 데이터만으로 일반화가 우수한 특징을 추출할 수 있어서 우수한 분류 성능을 확보할 수 있는 효과가 있다.
또한, 본 발명은 일반적인 CNN(Convolutional Neural Networks)으로 구성된 모델보다 간단하게 만들 수 있어서 연산량을 줄일 수 있으며, 딥러닝 기반 분류 모델을 개발하기가 용이하여 다양한 응용(application)에 이용될 수 있다.
도 1은 종래 결함 분류 방법을 설명하기 위한 도면.
도 2는 일반적인 딥러닝 기반 분류 방법을 설명하기 위한 도면.
도 3은 본 발명에 따른 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치의 개략적 구성을 나타낸 도면.
도 4는 본 발명에 따른 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치를 실제 사용하는 경우를 나타낸 도면.
도 5는 본 발명에 따른 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 방법의 과정을 나타낸 순서도.
도 6은 본 발명에 따른 특징 샘플링 과정을 나타낸 순서도.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "……부", "…… 모듈" 의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 도면을 참조로 하여 본 발명의 실시예에 따른 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법에 대하여 상세히 설명한다.
도 3은 본 발명에 따른 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치의 개략적인 구성을 나타낸 것이다.
도 3을 참조하면, 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치(이하, 결함 분류 장치)는 특징 추출부(10), 특징 샘플링부(20), 분류부(30) 등을 주요 구성요소로 한다.
결함 분류 장치를 구성하는 특징 추출부(10), 특징 샘플링부(20), 분류부(30)는 소프트웨어 또는 하드웨어로 구현될 수 있다. 특징 추출부(10)에는 영상의 특징 값을 추출하는 모델이 적용되어 있고 분류부(30)에는 제품의 결함 검출 및 분류 기능을 수행하는 모델이 적용되어 있으며, 이 모델들은 머신러닝 기반으로 학습된다.
본 발명에 따른 결함 분류 장치는 제품의 표면 결함 검사뿐만 아니라 비파괴 검사와 같은 진단 분야에도 사용될 수 있다. 또한, 스마트 팩토리(smart factory) 구현의 필수 기술로서 생산 조업 조건에 따른 제품의 품질을 판정하는데도 효율적으로 사용될 수 있다.
특징 추출부(10)는 대상물(제품, 복합재 구조체 등) 영상으로부터 특징 (feature) 값을 추출한다. 특징 추출부(10)에는 컨벌루션 신경망(Convolution Neural Network)이 적용될 수 있다. 컨벌루션 신경망은 컨벌루션(convolution), 배치 정규화(batch normalization), 활성함수(ReLU), 최대화 풀링(maxpooling)을 수행하는 다수의 층으로 구성되어 영상으로부터 특징 맵을 추출하게 된다.
본 발명의 실시예에 따르면, 특징 추출부(10)는 KL 다이버전스 손실(KL-divergence loss)에 근거하여 학습된다.
즉, 특징 추출부(10)에서 출력되는 특징 값의 분포가 특정한 확률 분포가 되도록 다시 말해서 특징 값의 평균과 분산이 일정한 값이 되도록 KL 다이버전스 손실(KL-divergence loss) 함수를 이용해 특징 추출부(10)를 학습시킨다.
특징 샘플링부(20)는 특징 추출부(10)에서 추출된 특징 값을 샘플링(sampling)하여 다양한 특징 값을 생성한다.
본 발명의 실시예에 따르면, 특징 샘플링부(20)는 특징 추출부(10)에서 추출된 특징 값의 평균과 분산에 근거하여 특징 값을 샘플링하게 된다.
예를 들어, 특징 샘플링부(20)는 특징 값의 평균과 분산에서 기본이 되는 두 개의 특징 값(Z1, Z2)을 샘플링한 후, 수학식 1과 같이 가중치(a)를 변화시켜 가면서 두 개의 특징 값 사이에서 원하는 수만큼의 특징 값을 샘플링할 수 있다.
Figure 112019123758189-pat00001
분류부(30)는 특징 샘플링부(20)에서 생성된 다양한 특징 값을 입력 받아 머신러닝 기반으로 학습된다. 본 발명의 실시예에 따르면, 분류부(30)는 분류 손실(classification loss)에 근거하여 학습된다. 분류 손실은 크로스 엔트로피(cross entropy)를 통해 구성될 수 있다.
학습 과정을 마친 분류부(30)는 도 4와 같이 특징 샘플링부(20)와 연결을 해제하고 특징 추출부(10)와 직접 연결함으로써 특징 추출부(10)에서 추출된 실제 영상의 특징 값을 입력받아 심층 신경망을 통해 분석하여 제품의 결함을 검출 및 분류하게 된다.
도 5는 본 발명에 따른 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 방법의 과정을 나타낸 것이다.
도 5를 참조하면, 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 방법은 특징 추출 단계(S10), 특징 샘플링 단계(S20), 결함 분류 단계(S30) 등을 포함한다.
특징 추출 단계(S10)와 결함 분류 단계(S30)는 머신러닝 기반 학습 과정이 필요하다.
학습 과정에서 손실 함수(loss function)가 사용되는데, 손실 함수로서 특징 샘플링(sampling)을 위한 KL 다이버전스 손실(KL-divergence loss)와 결함 분류를 위한 분류 손실(classification loss)을 사용한다.
예를 들어, 분류 손실은 크로스 엔트로피(cross entropy)를 통해 구성할 수 있고, KL 다이버전스 손실은 가우시안 함수(Gaussian function)로 샘플링하기 위한 손실(loss)로 구성될 수 있다.
학습 과정에서 특징 추출 단계(S10)는 특징 값에 대해 특정한 확률분포가 나오도록 KL 다이버전스 손실(KL-divergence loss) 함수를 이용한다. 즉, 수학식 2와 같이 특징 값의 평균(μ)과 분산(σ)이 일정한 값에 도달하도록 KL 다이버전스 손실 함수의 값을 최소화한다.
Figure 112019123758189-pat00002
여기서, KL 다이버전스란 특징 값의 확률분포와 샘플링을 위한 확률분포 간의 유사정도를 나타내는 것으로서, KL 다이버전스 손실은 두 확률분포 간의 차이값을 나타낸다. 따라서 KL 다이버전스 손실이 최소화될 때 특징 값의 확률분포와 샘플링을 위한 확률분포가 유사해진다.
이와 같이 특징 추출 단계(S10)를 완료하면, 그 특정한 확률분포에서 특징 샘플링 단계(S20)를 수행한다. 특징 샘플링 단계(S20)는 특징 값의 평균과 분산에서 두 개의 특징 값(Z1, Z2)을 샘플링한 후, 상술한 수학식 1을 이용해 원하는 수만큼의 특징 값을 샘플링한다.
도 6은 본 발명에 따른 특징 샘플링 과정을 나타낸 것이다.
도 6을 참조하면, 기본 샘플링 과정(S22)은 특징 값의 평균과 분산에서 기본이 되는 특징 값을 샘플링하는 것이고, 확장 샘플링 과정(S24)은 샘플링된 기본 특징 값을 이용해 다양한 특징 값을 생성하는 것이다.
특징 샘플링 단계(S20)를 완료하면, 다양한 특징 값을 이용하여 결함 분류 단계(S30)를 수행한다. 결함 분류 단계(S30)는 다양한 특징 값을 입력 받아 결함 검출 및 분류를 수행하면서, 실제 정답 분류값(y)과 출력 분류값(y')을 비교하여 수학식 3과 같이 분류 손실 함수가 최소화되도록 분류 학습을 수행한다.
Figure 112019123758189-pat00003
이와 같이 학습과정이 종료되면, 실제 영상을 입력 받아 특징 추출 단계(S10)에서 특징 값을 추출하고, 결함 분류 단계(S30)에서 특징 값을 분석하여 실제 영상에 대한 결함 분류를 수행하게 된다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다.
따라서 본 발명의 명세서에 개시된 실시예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
10: 특징 추출부 20: 특징 샘플링부
30: 분류부

Claims (15)

  1. 제품 영상으로부터 특징 값을 추출하는 특징 추출부와,
    상기 특징 값에 대한 확률분포에 근거해 기본 특징 값을 샘플링하고 기본 특징 값으로부터 복수의 특징 값을 샘플링하여 머신러닝에 사용되는 학습 데이터를 생성하는 특징 샘플링부와,
    상기 샘플링된 복수의 특징 값을 학습 데이터로 입력 받아 머신러닝의 심층 신경망을 통해 분석하여 제품 결함 분류를 반복적으로 수행하면서 학습되는 분류부를 포함하는 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치.
  2. 제1항에 있어서,
    상기 특징 추출부는 추출한 특징 값의 확률분포가 특정한 확률분포가 되도록 KL 다이버전스 손실(KL-divergence loss) 함수를 이용해 학습되는 것을 특징으로 하는 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치.
  3. 제1항에 있어서,
    상기 특징 샘플링부는 상기 특징 값에 대한 확률분포에서 두 개의 특징 값을 선택하고 두 개의 특징 값 사이에서 가중치를 변화시켜 복수의 특징 값을 샘플링하는 것을 특징으로 하는 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치.
  4. 제1항에 있어서,
    상기 분류부는 제품 영상에 대한 실제 정답 분류값과 출력한 분류값 간의 크로스 엔트로피(cross entropy)로 구성된 분류 손실 함수를 이용해 학습되는 것을 특징으로 하는 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치.
  5. 제품 영상으로부터 특징 값을 추출하는 특징 추출부와,
    특징 값에 대한 특정의 확률분포에 근거해 샘플링된 복수의 특징 값을 머신러닝에 사용되는 학습 데이터로서 입력받아 머신러닝의 심층 신경망을 통해 분석하여 제품 결함 분류를 반복적으로 수행하면서 학습된 이후 상기 특징 추출부로부터 입력 받은 제품 영상의 특징 값을 분석하여 제품 결함 분류를 수행하는 분류부를 포함하는 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치.
  6. 제5항에 있어서,
    상기 특징 추출부는 특징 값의 확률분포가 특정한 확률분포가 되도록 KL 다이버전스 손실(KL-divergence loss) 함수를 이용해 학습되는 것을 특징으로 하는 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치.
  7. 제5항에 있어서,
    상기 분류부는 제품 영상에 대한 실제 정답 분류값과 출력한 분류값 간의 크로스 엔트로피(cross entropy)로 구성된 분류 손실 함수를 이용해 학습되는 것을 특징으로 하는 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치.
  8. 머신러닝 기반 결함 분류 장치에서 특징 생성 기술을 이용한 결함 분류 방법에 있어서,
    제품 영상으로부터 특징 값을 추출하는 특징 추출 단계와,
    상기 특징 값에 대한 확률분포에 근거해 기본 특징 값을 샘플링하고 기본 특징 값으로부터 복수의 특징 값을 샘플링하여 머신러닝에 사용되는 학습 데이터를 생성하는 특징 샘플링 단계와,
    상기 샘플링된 복수의 특징 값을 학습 데이터로 입력 받아 머신러닝의 심층 신경망을 통해 분석하여 제품 결함 분류를 반복적으로 수행하면서 학습되는 결함 분류를 위한 학습 단계를 포함하는 방법.
  9. 제8항에 있어서,
    상기 특징 추출 단계는 추출한 특징 값의 확률분포가 특정한 확률분포가 되도록 KL 다이버전스 손실(KL-divergence loss) 함수를 이용해 학습되는 것을 특징으로 하는 방법.
  10. 제8항에 있어서,
    상기 특징 샘플링 단계는 상기 특징 값에 대한 확률분포에서 두 개의 특징 값을 선택하고 두 개의 특징 값 사이에서 가중치를 변화시켜 특징 값을 샘플링하는 것을 특징으로 하는 방법.
  11. 제8항에 있어서,
    상기 결함 분류를 위한 학습 단계는 제품 영상에 대한 실제 정답 분류값과 출력한 분류값 간의 크로스 엔트로피(cross entropy)로 구성된 분류 손실 함수를 이용해 제품 결함을 분류하는 분류부를 학습시키는 것을 특징으로 하는 방법.
  12. 머신러닝 기반 결함 분류 장치에서 특징 생성 기술을 이용한 결함 분류 방법에 있어서,
    제품 영상으로부터 특징 값을 추출하는 특징 추출 단계와,
    특징 값에 대한 특정의 확률분포에 근거해 샘플링된 복수의 특징 값을 머신러닝에 사용되는 학습 데이터로서 입력받아 머신러닝의 심층 신경망을 통해 분석하여 제품 결함 분류를 반복적으로 수행하면서 학습되는 결함 분류를 위한 학습 단계 이후 상기 특징 추출 단계에서 추출된 제품 영상의 특징 값을 분석하여 제품 결함 분류를 수행하는 결함 분류 단계를 포함하는 방법.
  13. 제12항에 있어서,
    상기 특징 추출 단계는 특징 값의 확률분포가 특정한 확률분포가 되도록 KL 다이버전스 손실(KL-divergence loss) 함수를 이용해 학습되는 것을 특징으로 하는 방법.
  14. 제12항에 있어서,
    상기 결함 분류를 위한 학습 단계는 제품 영상에 대한 실제 정답 분류값과 출력한 분류값 간의 크로스 엔트로피(cross entropy)로 구성된 분류 손실 함수를 이용해 제품 결함을 분류하는 분류부를 학습시키는 것을 특징으로 하는 방법.
  15. 제품 영상으로부터 추출한 특징 값의 확률분포가 특정한 확률분포가 되도록 KL 다이버전스 손실(KL-divergence loss)를 최소화하는 단계와,
    상기 KL 다이버전스 손실이 최소화될 때의 확률분포에서 기본 특징 값을 선택하고 기본 특징 값 사이에서 가중치를 변화시켜 복수의 특징 값을 샘플링하여 머신러닝에 사용되는 학습 데이터를 생성하는 단계와,
    상기 샘플링된 복수의 특징 값을 학습 데이터로 사용해 머신러닝의 심층 신경망을 통해 분석하여 제품 결함 분류를 반복적으로 수행하면서 제품 결함 분류 모델을 학습시키는 단계를 컴퓨팅 장치에 의해 수행하는 프로그램을 저장한 컴퓨터 판독 기록매체.
KR1020190157416A 2019-11-29 2019-11-29 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법 KR102313215B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190157416A KR102313215B1 (ko) 2019-11-29 2019-11-29 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190157416A KR102313215B1 (ko) 2019-11-29 2019-11-29 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210067606A KR20210067606A (ko) 2021-06-08
KR102313215B1 true KR102313215B1 (ko) 2021-10-15

Family

ID=76399895

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190157416A KR102313215B1 (ko) 2019-11-29 2019-11-29 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102313215B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230073720A (ko) 2021-11-19 2023-05-26 부산대학교 산학협력단 딥러닝 모델을 이용한 냉연강판에서의 표면결함 자동분류를 위한 장치 및 방법
KR102479531B1 (ko) * 2022-06-23 2022-12-19 서울대학교산학협력단 사출성형 공정 불량 검출 모델 학습 방법 및 사출성형 공정의 레시피 최적화 방법
CN115359054B (zh) * 2022-10-19 2023-04-18 福建亿榕信息技术有限公司 一种基于伪缺陷空间生成的电力设备缺陷检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101903283B1 (ko) * 2017-05-12 2018-10-01 한국전력공사 발전 설비의 자동 진단 시스템 및 자동 진단 방법
KR101993266B1 (ko) 2018-12-19 2019-06-26 주식회사 로민 영상 위변조 검출을 위한 가변모델 설계 및 학습방법과, 이를 이용한 영상 위변조 검출방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001274209A (ja) * 2000-03-28 2001-10-05 Toshiba Corp 半導体検査装置、半導体欠陥解析装置、半導体設計データ修正装置、半導体検査方法、半導体欠陥解析方法、半導体設計データ修正方法およびコンピュータ読み取り可能な記録媒体
US7016529B2 (en) * 2002-03-15 2006-03-21 Microsoft Corporation System and method facilitating pattern recognition
US11205119B2 (en) 2015-12-22 2021-12-21 Applied Materials Israel Ltd. Method of deep learning-based examination of a semiconductor specimen and system thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101903283B1 (ko) * 2017-05-12 2018-10-01 한국전력공사 발전 설비의 자동 진단 시스템 및 자동 진단 방법
KR101993266B1 (ko) 2018-12-19 2019-06-26 주식회사 로민 영상 위변조 검출을 위한 가변모델 설계 및 학습방법과, 이를 이용한 영상 위변조 검출방법

Also Published As

Publication number Publication date
KR20210067606A (ko) 2021-06-08

Similar Documents

Publication Publication Date Title
KR102313215B1 (ko) 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법
US11450012B2 (en) BBP assisted defect detection flow for SEM images
KR102325347B1 (ko) 머신러닝 기반 결함 분류 장치 및 방법
CN111507370A (zh) 获得自动标注图像中检查标签的样本图像的方法和装置
CN112102229A (zh) 一种基于深度学习的工业ct检测缺陷的智能识别方法
CN117893817A (zh) 晶圆缺陷分类方法及其装置、系统、电子设备和存储介质
KR102316286B1 (ko) 인공 지능을 이용한 모발 상태 분석 방법 및 이를 수행하기 위한 컴퓨팅 장치
TWI763451B (zh) 利用自動地選擇演算法模組來檢驗樣本的系統、方法、和非暫時性電腦可讀媒體
CN104751186A (zh) 一种基于bp网络和小波变换的虹膜图像质量分类方法
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
KR102179949B1 (ko) 딥러닝 기반 영상 데이터 생성 기술을 이용한 분류 시스템 및 그 제어 방법
Li et al. IC solder joint inspection via generator-adversarial-network based template
Soumya et al. Emotion recognition from partially occluded facial images using prototypical networks
KR102178238B1 (ko) 회전 커널을 이용한 머신러닝 기반 결함 분류 장치 및 방법
KR102239133B1 (ko) 영상 변환을 이용한 머신러닝 기반 결함 분류 장치 및 방법
KR101822963B1 (ko) 이진 영상을 이용한 결함 탐지장치 및 방법
US11397868B2 (en) Fungal identification by pattern recognition
Reshna et al. Recognition of static hand gestures of Indian sign language using CNN
Mohamed Yassin et al. An emotion and gender detection using hybridized convolutional 2D and batch norm residual network learning
KR20210050684A (ko) 이미지 처리 시스템
Kim et al. Line-Post Insulator Fault Classification Model Using Deep Convolutional GAN-Based Synthetic Images
CN117275076B (zh) 基于特征的人脸质量评估模型的构建方法及应用
KR20190078710A (ko) 이미지 분류 시스템 및 방법
US20220019749A1 (en) Techniques for generating natural language descriptions of neural networks
Gandhi et al. Sign Language Recognition Using Convolutional Neural Network

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)