KR20210067606A - 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법 - Google Patents

특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법 Download PDF

Info

Publication number
KR20210067606A
KR20210067606A KR1020190157416A KR20190157416A KR20210067606A KR 20210067606 A KR20210067606 A KR 20210067606A KR 1020190157416 A KR1020190157416 A KR 1020190157416A KR 20190157416 A KR20190157416 A KR 20190157416A KR 20210067606 A KR20210067606 A KR 20210067606A
Authority
KR
South Korea
Prior art keywords
feature
classification
feature values
probability distribution
value
Prior art date
Application number
KR1020190157416A
Other languages
English (en)
Other versions
KR102313215B1 (ko
Inventor
윤종필
구교권
신우상
김민수
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020190157416A priority Critical patent/KR102313215B1/ko
Publication of KR20210067606A publication Critical patent/KR20210067606A/ko
Application granted granted Critical
Publication of KR102313215B1 publication Critical patent/KR102313215B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/627—
    • G06N7/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Abstract

본 발명은 결함 분류 기술에 관한 것으로서, 상세하게는 데이터 확대 및 분류 기능을 일체화한 딥러닝 모델을 구성함으로써 적은 양의 데이터를 사용해도 제품 결함의 분류 성능을 향상시킬 수 있는 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법에 관한 것이다. 이를 위해, 본 발명에 따른 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치는 제품 영상으로부터 특징 값을 추출하는 특징 추출부와, 상기 특징 값에 대한 확률분포에 근거해 기본 특징 값을 샘플링하고 기본 특징 값으로부터 복수의 특징 값을 샘플링하는 특징 샘플링부와, 상기 샘플링된 복수의 특징 값을 입력 받아 심층 신경망을 통해 분석하여 제품 결함 분류를 수행하는 분류부를 포함한다.

Description

특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법{Apparatus and method for defect classification using feature generation based on machine-learning}
본 발명은 결함 분류 기술에 관한 것으로서, 상세하게는 데이터 확대 및 분류 기능을 일체화한 딥러닝 모델을 구성함으로써 적은 양의 데이터를 사용해도 제품 결함의 분류 성능을 향상시킬 수 있는 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법에 관한 것이다.
최근 알파고와 이세돌 9단의 대결로 인공지능에 대한 관심이 크게 증가하였다. 특히 알파고의 핵심 기술로 알려진 딥러닝에 대한 학계와 산업계의 연구가 폭발적으로 증가하였다.
딥러닝은 기존에 알려진 인공 신경망(Artificial Neural Network)의 여러 문제점(즉, vanishing problem, overfitting 등)을 활성함수(ReLU)의 개발과 드롭아웃(Drop-out)과 같은 알고리즘 개선으로 그 성능을 향상시켰고, 또한 GPU(Graphic Processing Units)와 같은 하드웨어의 발전과 복잡한 구조를 학습시킬 수 있는 빅데이터의 힘 덕분에 최근 여러 분야에 뛰어난 성능을 발휘하고 있다.
이러한 딥러닝 기술은 해외 많은 기업(구글, 페이스북, 애플, 마이크로소프트, 알리바바, 바이두)에 의해 빠르게 발전되고 있으며 얼굴인식, 음성인식, 자연어처리, 검색 서비스, 의료 등의 분야에 적용되고 있다. 이렇게 빠르게 발전하는 딥러닝의 최신 기술을 확보하고 더 나아가 응용 분야를 선점하고 빠르게 상용화 하는 것이 시급하다.
종래의 결함 검사 장비에서 사용되는 결함 분류 방법은 도 1과 같다.
알고리즘 개발자가 영상에서 분류가 잘 될 것 같은 특징을 영상처리 알고리즘으로 추출한 후 이러한 특징들을 분류기(SVM, Decision tree)로 학습한다.
조명과 카메라를 이용하여 광학 장치를 구성하고, 결함 부분에서 빛의 경로가 변함에 따라 카메라에 들어오는 빛의 양의 변화를 영상화하여 결함 부위의 S/N ratio를 높인다. 이러한 영상에서 결함 검출 알고리즘이 결함 후보를 검출하고, 결함 후보 영상에 대해 특징 추출 알고리즘과 분류 알고리즘을 이용해 결함을 검출 및 분류하게 된다.
이러한 방법은 사람이 얼마나 특징 추출 알고리즘을 잘 디자인하여 특징을 추출하는지가 성능의 한계이다. 또한 선택된 특징에 따라 분류 성능이 제한적이고, 영상의 회전, 밝기 변화, 크기 변화 등에 따라 분류 성능이 달라지는 문제점이 있다. 제품별로 영상의 특징이 달라서 이를 분석하여 개발하는데, 시간이 많이 소요되는 단점도 존재한다.
최신 기술인 딥러닝 중 CNN 방법을 응용한 분류 알고리즘은 영상에서 인공지능이 스스로 특징을 추출하고 학습하는 방법이다. 딥러닝 기술을 응용하여 결함 분류 알고리즘을 구성하면 위의 문제를 해결할 수 있다. 다양한 딥러닝 구조 중 영상 분야에서의 딥러닝은 CNN(Convolutional Neural Network)이라는 구조가 사용된다.
CNN을 이용한 영상 분류는 CNN 스스로가 분류 성능을 높일 수 있는 특징을 추출하고 학습한다는 특징이 있다. 이러한 특징을 이용하여 영상을 기반으로 하는 결함 검출 분야에 적용한다면 획기적인 성능 향상을 기대할 수 있다.
일반적인 딥러닝을 이용한 분류기의 구성은 도 2와 같다.
입력 영상에 대해 컨벌루션 층(Convolution layer)과 활성함수(Activation function)를 적용시킨 후 나온 특징 맵(feature map)을 풀링 층(Pooling layer)을 통해 크기를 줄인 후 다음 컨벌루션 층(convolution layer)으로 전달한다. 이러한 기본 구조를 반복적으로 깊게 쌓아서 영상에서 결함 분류를 위한 특징을 효과적으로 추출하게 한다.
이와 같이 딥러닝 기술을 결함 검출 분야에 적용하여 우수한 성능을 확보하기 위해서는 결함별로 충분한 데이터의 확보가 선행되어야 한다. 하지만 제조업 특성 상 일부 결함에 대해서는 충분하나 데이터를 확보하기 어렵고, 결함별로 수집된 데이터 수의 차이가 클 수 있다.
적은 수의 데이터를 이용하여 딥러닝 모델을 학습할 때는 주어진 데이터에 대해서만 잘 동작하고 실제 테스트 시에는 데이터의 변화가 조금만 나타나도 성능이 급격하게 떨어지는 오버피팅(overfitting) 문제가 발생하게 된다.
이러한 문제를 해결하기 위해 일반적으로, 플리핑(flipping), 회전(rotation), 시프팅(shifting), 노이즈(noise), 블러링(bluring), 쉐이핑(shaping) 등의 데이터 확대(data augmentaion) 방법을 사용하여 충분한 양의 학습 데이터를 만든다.
그러나 종래의 데이터 확대 방법은 제품마다 발생하는 결함의 유형을 미리 파악하고 결합의 발생 형태를 예측하여 인위적을 생성시켜야 하므로 개발 기간이 오래 걸리고 성능의 한계가 있다.
특히 인위적으로 생성시킨 결함이 실제 결함과 다를 경우 오히려 성능이 더 떨어지는 부작용도 발생한다. 또한 이러한 데이터 확대 방법으로 생성한 데이터로 다시 딥러닝 모델을 개발해야 되는 단점이 있다.
미국공개특허 제2017-0364798호
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 목적은 매우 적은 양의 데이터만으로도 딥러닝 기반 결함 분류 성능을 최대화하는 것이다.
이를 위해, 본 발명에 따른 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치는 제품 영상으로부터 특징 값을 추출하는 특징 추출부와, 상기 특징 값에 대한 확률분포에 근거해 기본 특징 값을 샘플링하고 기본 특징 값으로부터 복수의 특징 값을 샘플링하는 특징 샘플링부와, 상기 샘플링된 복수의 특징 값을 입력 받아 심층 신경망을 통해 분석하여 제품 결함 분류를 수행하는 분류부를 포함한다.
본 발명에 따른 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치는 제품 영상으로부터 특징 값을 추출하는 특징 추출부와, 특징 값에 대한 특정의 확률분포에 근거해 샘플링된 복수의 특징 값을 입력받아 학습된 이후 상기 특징 추출부로부터 입력 받은 제품 영상의 특징 값을 분석하여 제품 결함 분류를 수행하는 분류부를 포함한다.
본 발명에 따른 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 방법은 머신러닝 기반 결함 분류 장치에서 특정 생성 기술을 이용한 결함 분류 방법으로서, 제품 영상으로부터 특징 값을 추출하는 특징 추출 단계와, 상기 특징 값에 대한 확률분포에 근거해 기본 특징 값을 샘플링하고 기본 특징 값으로부터 복수의 특징 값을 샘플링하는 특징 샘플링 단계와, 상기 샘플링된 복수의 특징 값을 입력 받아 심층 신경망을 통해 분석하여 제품 결함 분류를 수행하는 결함 분류 단계를 포함한다.
본 발명에 따른 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 방법은 머신러닝 기반 결함 분류 장치에서 특정 생성 기술을 이용한 결함 분류 방법으로서, 제품 영상으로부터 특징 값을 추출하는 특징 추출 단계와,특징 값에 대한 특정의 확률분포에 근거해 샘플링된 복수의 특징 값을 입력받아 학습된 이후 상기 특징 추출 단계에서 추출된 제품 영상의 특징 값을 분석하여 제품 결함 분류를 수행하는 결함 분류 단계를 포함한다.
본 발명에 따른 컴퓨터 판독 기록매체는 제품 영상으로부터 추출한 특징 값의 확률분포가 특정한 확률분포가 되도록 KL 다이버전스 손실(KL-divergence loss)를 최소화하는 단계와, 상기 KL 다이버전스 손실이 최소화될 때의 확률분포에서 기본 특징 값을 선택하고 기본 특징 값 사이에서 가중치를 변화시켜 복수의 특징 값을 샘플링하는 단계를 수행하는 프로그램을 저장한다.
상술한 바와 같이, 본 발명은 데이터 확대(data augmentation)과 분류기(classifier)를 하나의 딥러닝 모델로 구성을 할 수 있고, 적은 수의 데이터만으로 일반화가 우수한 특징을 추출할 수 있어서 우수한 분류 성능을 확보할 수 있는 효과가 있다.
또한, 본 발명은 일반적인 CNN(Convolutional Neural Networks)으로 구성된 모델보다 간단하게 만들 수 있어서 연산량을 줄일 수 있으며, 딥러닝 기반 분류 모델을 개발하기가 용이하여 다양한 응용(application)에 이용될 수 있다.
도 1은 종래 결함 분류 방법을 설명하기 위한 도면.
도 2는 일반적인 딥러닝 기반 분류 방법을 설명하기 위한 도면.
도 3은 본 발명에 따른 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치의 개략적 구성을 나타낸 도면.
도 4는 본 발명에 따른 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치를 실제 사용하는 경우를 나타낸 도면.
도 5는 본 발명에 따른 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 방법의 과정을 나타낸 순서도.
도 6은 본 발명에 따른 특징 샘플링 과정을 나타낸 순서도.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "……부", "…… 모듈" 의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 도면을 참조로 하여 본 발명의 실시예에 따른 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법에 대하여 상세히 설명한다.
도 3은 본 발명에 따른 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치의 개략적인 구성을 나타낸 것이다.
도 3을 참조하면, 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치(이하, 결함 분류 장치)는 특징 추출부(10), 특징 샘플링부(20), 분류부(30) 등을 주요 구성요소로 한다.
결함 분류 장치를 구성하는 특징 추출부(10), 특징 샘플링부(20), 분류부(30)는 소프트웨어 또는 하드웨어로 구현될 수 있다. 특징 추출부(10)에는 영상의 특징 값을 추출하는 모델이 적용되어 있고 분류부(30)에는 제품의 결함 검출 및 분류 기능을 수행하는 모델이 적용되어 있으며, 이 모델들은 머신러닝 기반으로 학습된다.
본 발명에 따른 결함 분류 장치는 제품의 표면 결함 검사뿐만 아니라 비파괴 검사와 같은 진단 분야에도 사용될 수 있다. 또한, 스마트 팩토리(smart factory) 구현의 필수 기술로서 생산 조업 조건에 따른 제품의 품질을 판정하는데도 효율적으로 사용될 수 있다.
특징 추출부(10)는 대상물(제품, 복합재 구조체 등) 영상으로부터 특징 (feature) 값을 추출한다. 특징 추출부(10)에는 컨벌루션 신경망(Convolution Neural Network)이 적용될 수 있다. 컨벌루션 신경망은 컨벌루션(convolution), 배치 정규화(batch normalization), 활성함수(ReLU), 최대화 풀링(maxpooling)을 수행하는 다수의 층으로 구성되어 영상으로부터 특징 맵을 추출하게 된다.
본 발명의 실시예에 따르면, 특징 추출부(10)는 KL 다이버전스 손실(KL-divergence loss)에 근거하여 학습된다.
즉, 특징 추출부(10)에서 출력되는 특징 값의 분포가 특정한 확률 분포가 되도록 다시 말해서 특징 값의 평균과 분산이 일정한 값이 되도록 KL 다이버전스 손실(KL-divergence loss) 함수를 이용해 특징 추출부(10)를 학습시킨다.
특징 샘플링부(20)는 특징 추출부(10)에서 추출된 특징 값을 샘플링(sampling)하여 다양한 특징 값을 생성한다.
본 발명의 실시예에 따르면, 특징 샘플링부(20)는 특징 추출부(10)에서 추출된 특징 값의 평균과 분산에 근거하여 특징 값을 샘플링하게 된다.
예를 들어, 특징 샘플링부(20)는 특징 값의 평균과 분산에서 기본이 되는 두 개의 특징 값(Z1, Z2)을 샘플링한 후, 수학식 1과 같이 가중치(a)를 변화시켜 가면서 두 개의 특징 값 사이에서 원하는 수만큼의 특징 값을 샘플링할 수 있다.
Figure pat00001
분류부(30)는 특징 샘플링부(20)에서 생성된 다양한 특징 값을 입력 받아 머신러닝 기반으로 학습된다. 본 발명의 실시예에 따르면, 분류부(30)는 분류 손실(classification loss)에 근거하여 학습된다. 분류 손실은 크로스 엔트로피(cross entropy)를 통해 구성될 수 있다.
학습 과정을 마친 분류부(30)는 도 4와 같이 특징 샘플링부(20)와 연결을 해제하고 특징 추출부(10)와 직접 연결함으로써 특징 추출부(10)에서 추출된 실제 영상의 특징 값을 입력받아 심층 신경망을 통해 분석하여 제품의 결함을 검출 및 분류하게 된다.
도 5는 본 발명에 따른 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 방법의 과정을 나타낸 것이다.
도 5를 참조하면, 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 방법은 특징 추출 단계(S10), 특징 샘플링 단계(S20), 결함 분류 단계(S30) 등을 포함한다.
특징 추출 단계(S10)와 결함 분류 단계(S30)는 머신러닝 기반 학습 과정이 필요하다.
학습 과정에서 손실 함수(loss function)가 사용되는데, 손실 함수로서 특징 샘플링(sampling)을 위한 KL 다이버전스 손실(KL-divergence loss)와 결함 분류를 위한 분류 손실(classification loss)을 사용한다.
예를 들어, 분류 손실은 크로스 엔트로피(cross entropy)를 통해 구성할 수 있고, KL 다이버전스 손실은 가우시안 함수(Gaussian function)로 샘플링하기 위한 손실(loss)로 구성될 수 있다.
학습 과정에서 특징 추출 단계(S10)는 특징 값에 대해 특정한 확률분포가 나오도록 KL 다이버전스 손실(KL-divergence loss) 함수를 이용한다. 즉, 수학식 2와 같이 특징 값의 평균(μ)과 분산(σ)이 일정한 값에 도달하도록 KL 다이버전스 손실 함수의 값을 최소화한다.
Figure pat00002
여기서, KL 다이버전스란 특징 값의 확률분포와 샘플링을 위한 확률분포 간의 유사정도를 나타내는 것으로서, KL 다이버전스 손실은 두 확률분포 간의 차이값을 나타낸다. 따라서 KL 다이버전스 손실이 최소화될 때 특징 값의 확률분포와 샘플링을 위한 확률분포가 유사해진다.
이와 같이 특징 추출 단계(S10)를 완료하면, 그 특정한 확률분포에서 특징 샘플링 단계(S20)를 수행한다. 특징 샘플링 단계(S20)는 특징 값의 평균과 분산에서 두 개의 특징 값(Z1, Z2)을 샘플링한 후, 상술한 수학식 1을 이용해 원하는 수만큼의 특징 값을 샘플링한다.
도 6은 본 발명에 따른 특징 샘플링 과정을 나타낸 것이다.
도 6을 참조하면, 기본 샘플링 과정(S22)은 특징 값의 평균과 분산에서 기본이 되는 특징 값을 샘플링하는 것이고, 확장 샘플링 과정(S24)은 샘플링된 기본 특징 값을 이용해 다양한 특징 값을 생성하는 것이다.
특징 샘플링 단계(S20)를 완료하면, 다양한 특징 값을 이용하여 결함 분류 단계(S30)를 수행한다. 결함 분류 단계(S30)는 다양한 특징 값을 입력 받아 결함 검출 및 분류를 수행하면서, 실제 정답 분류값(y)과 출력 분류값(y')을 비교하여 수학식 3과 같이 분류 손실 함수가 최소화되도록 분류 학습을 수행한다.
Figure pat00003
이와 같이 학습과정이 종료되면, 실제 영상을 입력 받아 특징 추출 단계(S10)에서 특징 값을 추출하고, 결함 분류 단계(S30)에서 특징 값을 분석하여 실제 영상에 대한 결함 분류를 수행하게 된다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다.
따라서 본 발명의 명세서에 개시된 실시예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
10: 특징 추출부 20: 특징 샘플링부
30: 분류부

Claims (15)

  1. 제품 영상으로부터 특징 값을 추출하는 특징 추출부와,
    상기 특징 값에 대한 확률분포에 근거해 기본 특징 값을 샘플링하고 기본 특징 값으로부터 복수의 특징 값을 샘플링하는 특징 샘플링부와,
    상기 샘플링된 복수의 특징 값을 입력 받아 심층 신경망을 통해 분석하여 제품 결함 분류를 수행하는 분류부를 포함하는 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치.
  2. 제1항에 있어서,
    상기 특징 추출부는 추출한 특징 값의 확률분포가 특정한 확률분포가 되도록 KL 다이버전스 손실(KL-divergence loss) 함수를 이용해 학습되는 것을 특징으로 하는 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치.
  3. 제1항에 있어서,
    상기 특징 샘플링부는 상기 특징 값에 대한 확률분포에서 두 개의 특징 값을 선택하고 두 개의 특징 값 사이에서 가중치를 변화시켜 복수의 특징 값을 샘플링하는 것을 특징으로 하는 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치.
  4. 제1항에 있어서,
    상기 분류부는 제품 영상에 대한 실제 정답 분류값과 출력한 분류값 간의 크로스 엔트로피(cross entropy)로 구성된 분류 손실 함수를 이용해 학습되는 것을 특징으로 하는 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치.
  5. 제품 영상으로부터 특징 값을 추출하는 특징 추출부와,
    특징 값에 대한 특정의 확률분포에 근거해 샘플링된 복수의 특징 값을 입력받아 학습된 이후 상기 특징 추출부로부터 입력 받은 제품 영상의 특징 값을 분석하여 제품 결함 분류를 수행하는 분류부를 포함하는 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치.
  6. 제5항에 있어서,
    상기 특징 추출부는 특징 값의 확률분포가 특정한 확률분포가 되도록 KL 다이버전스 손실(KL-divergence loss) 함수를 이용해 학습되는 것을 특징으로 하는 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치.
  7. 제5항에 있어서,
    상기 분류부는 제품 영상에 대한 실제 정답 분류값과 출력한 분류값 간의 크로스 엔트로피(cross entropy)로 구성된 분류 손실 함수를 이용해 학습되는 것을 특징으로 하는 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치.
  8. 머신러닝 기반 결함 분류 장치에서 특정 생성 기술을 이용한 결함 분류 방법에 있어서,
    제품 영상으로부터 특징 값을 추출하는 특징 추출 단계와,
    상기 특징 값에 대한 확률분포에 근거해 기본 특징 값을 샘플링하고 기본 특징 값으로부터 복수의 특징 값을 샘플링하는 특징 샘플링 단계와,
    상기 샘플링된 복수의 특징 값을 입력 받아 심층 신경망을 통해 분석하여 제품 결함 분류를 수행하는 결함 분류 단계를 포함하는 방법.
  9. 제8항에 있어서,
    상기 특징 추출 단계는 추출한 특징 값의 확률분포가 특정한 확률분포가 되도록 KL 다이버전스 손실(KL-divergence loss) 함수를 이용해 학습되는 것을 특징으로 하는 방법.
  10. 제8항에 있어서,
    상기 특징 샘플링 단계는 상기 특징 값에 대한 확률분포에서 두 개의 특징 값을 선택하고 두 개의 특징 값 사이에서 가중치를 변화시켜 특징 값을 샘플링하는 것을 특징으로 하는 방법.
  11. 제8항에 있어서,
    상기 결함 분류 단계는 제품 영상에 대한 실제 정답 분류값과 출력한 분류값 간의 크로스 엔트로피(cross entropy)로 구성된 분류 손실 함수를 이용해 학습되는 것을 특징으로 하는 방법.
  12. 머신러닝 기반 결함 분류 장치에서 특정 생성 기술을 이용한 결함 분류 방법에 있어서,
    제품 영상으로부터 특징 값을 추출하는 특징 추출 단계와,
    특징 값에 대한 특정의 확률분포에 근거해 샘플링된 복수의 특징 값을 입력받아 학습된 이후 상기 특징 추출 단계에서 추출된 제품 영상의 특징 값을 분석하여 제품 결함 분류를 수행하는 결함 분류 단계를 포함하는 방법.
  13. 제12항에 있어서,
    상기 특징 추출 단계는 특징 값의 확률분포가 특정한 확률분포가 되도록 KL 다이버전스 손실(KL-divergence loss) 함수를 이용해 학습되는 것을 특징으로 하는 방법.
  14. 제12항에 있어서,
    상기 결함 분류 단계는 제품 영상에 대한 실제 정답 분류값과 출력한 분류값 간의 크로스 엔트로피(cross entropy)로 구성된 분류 손실 함수를 이용해 학습되는 것을 특징으로 하는 방법.
  15. 제품 영상으로부터 추출한 특징 값의 확률분포가 특정한 확률분포가 되도록 KL 다이버전스 손실(KL-divergence loss)를 최소화하는 단계와,
    상기 KL 다이버전스 손실이 최소화될 때의 확률분포에서 기본 특징 값을 선택하고 기본 특징 값 사이에서 가중치를 변화시켜 복수의 특징 값을 샘플링하는 단계를 수행하는 프로그램을 저장한 컴퓨터 판독 기록매체.
KR1020190157416A 2019-11-29 2019-11-29 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법 KR102313215B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190157416A KR102313215B1 (ko) 2019-11-29 2019-11-29 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190157416A KR102313215B1 (ko) 2019-11-29 2019-11-29 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210067606A true KR20210067606A (ko) 2021-06-08
KR102313215B1 KR102313215B1 (ko) 2021-10-15

Family

ID=76399895

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190157416A KR102313215B1 (ko) 2019-11-29 2019-11-29 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102313215B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359054A (zh) * 2022-10-19 2022-11-18 福建亿榕信息技术有限公司 一种基于伪缺陷空间生成的电力设备缺陷检测方法
KR102479531B1 (ko) * 2022-06-23 2022-12-19 서울대학교산학협력단 사출성형 공정 불량 검출 모델 학습 방법 및 사출성형 공정의 레시피 최적화 방법
KR20230073720A (ko) 2021-11-19 2023-05-26 부산대학교 산학협력단 딥러닝 모델을 이용한 냉연강판에서의 표면결함 자동분류를 위한 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010093674A (ko) * 2000-03-28 2001-10-29 니시무로 타이죠 반도체검사장치, 반도체결함해석장치,반도체설계데이터수정장치, 반도체검사방법,반도체결함해석방법, 반도체설계데이터수정방법 및컴퓨터판독가능한 기록매체
KR20030074141A (ko) * 2002-03-15 2003-09-19 마이크로소프트 코포레이션 패턴 인식을 용이하게 하는 시스템 및 방법
US20170364798A1 (en) 2015-12-22 2017-12-21 Applied Materials Israel Ltd. Method of deep learning-based examination of a semiconductor specimen and system thereof
KR101903283B1 (ko) * 2017-05-12 2018-10-01 한국전력공사 발전 설비의 자동 진단 시스템 및 자동 진단 방법
KR101993266B1 (ko) * 2018-12-19 2019-06-26 주식회사 로민 영상 위변조 검출을 위한 가변모델 설계 및 학습방법과, 이를 이용한 영상 위변조 검출방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010093674A (ko) * 2000-03-28 2001-10-29 니시무로 타이죠 반도체검사장치, 반도체결함해석장치,반도체설계데이터수정장치, 반도체검사방법,반도체결함해석방법, 반도체설계데이터수정방법 및컴퓨터판독가능한 기록매체
KR20030074141A (ko) * 2002-03-15 2003-09-19 마이크로소프트 코포레이션 패턴 인식을 용이하게 하는 시스템 및 방법
US20170364798A1 (en) 2015-12-22 2017-12-21 Applied Materials Israel Ltd. Method of deep learning-based examination of a semiconductor specimen and system thereof
KR101903283B1 (ko) * 2017-05-12 2018-10-01 한국전력공사 발전 설비의 자동 진단 시스템 및 자동 진단 방법
KR101993266B1 (ko) * 2018-12-19 2019-06-26 주식회사 로민 영상 위변조 검출을 위한 가변모델 설계 및 학습방법과, 이를 이용한 영상 위변조 검출방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230073720A (ko) 2021-11-19 2023-05-26 부산대학교 산학협력단 딥러닝 모델을 이용한 냉연강판에서의 표면결함 자동분류를 위한 장치 및 방법
KR102479531B1 (ko) * 2022-06-23 2022-12-19 서울대학교산학협력단 사출성형 공정 불량 검출 모델 학습 방법 및 사출성형 공정의 레시피 최적화 방법
CN115359054A (zh) * 2022-10-19 2022-11-18 福建亿榕信息技术有限公司 一种基于伪缺陷空间生成的电力设备缺陷检测方法
CN115359054B (zh) * 2022-10-19 2023-04-18 福建亿榕信息技术有限公司 一种基于伪缺陷空间生成的电力设备缺陷检测方法

Also Published As

Publication number Publication date
KR102313215B1 (ko) 2021-10-15

Similar Documents

Publication Publication Date Title
KR102313215B1 (ko) 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법
US11450012B2 (en) BBP assisted defect detection flow for SEM images
CN112102229A (zh) 一种基于深度学习的工业ct检测缺陷的智能识别方法
CN112418390A (zh) 使用单调属性函数对图像进行对比解释
KR102316286B1 (ko) 인공 지능을 이용한 모발 상태 분석 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR102179949B1 (ko) 딥러닝 기반 영상 데이터 생성 기술을 이용한 분류 시스템 및 그 제어 방법
KR102325347B1 (ko) 머신러닝 기반 결함 분류 장치 및 방법
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN109766934A (zh) 一种基于深度Gabor网络的图像目标识别方法
Depuru et al. Convolutional neural network based human emotion recognition system: A deep learning approach
Li et al. IC solder joint inspection via generator-adversarial-network based template
TWI763451B (zh) 利用自動地選擇演算法模組來檢驗樣本的系統、方法、和非暫時性電腦可讀媒體
KR101822963B1 (ko) 이진 영상을 이용한 결함 탐지장치 및 방법
US11397868B2 (en) Fungal identification by pattern recognition
US20230419170A1 (en) System and method for efficient machine learning
Reshna et al. Recognition of static hand gestures of Indian sign language using CNN
KR102239133B1 (ko) 영상 변환을 이용한 머신러닝 기반 결함 분류 장치 및 방법
KR102178238B1 (ko) 회전 커널을 이용한 머신러닝 기반 결함 분류 장치 및 방법
CN111612021B (zh) 一种错误样本识别方法、装置及终端
CN114022698A (zh) 一种基于二叉树结构的多标签行为识别方法及装置
JP2021072106A (ja) イメージ処理システム
Kim et al. Line-Post Insulator Fault Classification Model Using Deep Convolutional GAN-Based Synthetic Images
KR20190078710A (ko) 이미지 분류 시스템 및 방법
US20220019749A1 (en) Techniques for generating natural language descriptions of neural networks
BalaKrishna et al. Autism spectrum disorder detection using machine learning

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)