KR20220008530A - 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템 및 방법 - Google Patents
입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템 및 방법 Download PDFInfo
- Publication number
- KR20220008530A KR20220008530A KR1020200086725A KR20200086725A KR20220008530A KR 20220008530 A KR20220008530 A KR 20220008530A KR 1020200086725 A KR1020200086725 A KR 1020200086725A KR 20200086725 A KR20200086725 A KR 20200086725A KR 20220008530 A KR20220008530 A KR 20220008530A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- input
- reconstructed
- layer
- feature map
- Prior art date
Links
- 230000007547 defect Effects 0.000 title claims abstract description 127
- 238000007689 inspection Methods 0.000 title claims abstract description 65
- 238000013135 deep learning Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000009466 transformation Effects 0.000 title claims abstract description 34
- 230000004913 activation Effects 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 38
- 238000011176 pooling Methods 0.000 claims description 29
- 238000010606 normalization Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 230000001066 destructive effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000002994 raw material Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G06K9/6267—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Automation & Control Theory (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Manufacturing & Machinery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 원본 데이터의 부족 현상을 효과적으로 해결할 수 있게 하는 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템 및 방법에 관한 것으로서, 원본 영상이 입력되면 상기 원본 영상과 동일하거나 유사한 복수개의 복원 영상을 생성하고, 상기 복원 영상을 이용하여 보간 영상을 생성하는 보간 영상 생성 모듈; 및 상기 복원 영상과 상기 보간 영상을 딥러닝 방식으로 학습시켜서 제품의 결함을 분류하는 결함 검사 모듈;를 포함할 수 있다.
Description
본 발명은 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템에 관한 것으로서, 보다 상세하게는 원본 데이터의 부족 현상을 효과적으로 해결할 수 있게 하는 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템 및 방법에 관한 것이다.
최근 스마트 팩토리 구현을 위한 다양한 기술들이 집중적으로 연구되고 있다. 예컨대, 스마트 팩토리 구현을 위해서는 원료량, 원료 품질, 제조 공정 데이터(온도, 습도 등), 설비 운전 조건 등의 다양한 공정 데이터가 필요하고, 그 결과로 나타나는 제품의 품질 데이터가 데이터베이스화 되어야 한다. 즉, 공장의 인풋(input)과 아웃풋(output) 간의 상관 관계를 분석하여 품질을 예측하고, 대량 결함 발생을 사전에 방지하며, 설비 고장을 사전에 예측하여 선제적으로 대응할 수 있어야 한다.
이러한, 스마트 팩토리 구현을 위해 제품의 결함을 실시간 검사하고 제품 품질을 판정하는 결함 검사 시스템은 핵심 기술 중 하나이다.
일반적으로 결함 검사를 위한 비전 시스템의 구성은 다음과 같다.
제품의 상태를 영상화 하는 조명과 카메라로 구성된 광학 모듈, 영상에서 결함의 위치와 종류를 자동 판단하는 인식 모듈, 그리고 마지막으로 제품의 영상과 판단 결과를 저장하는 데이터베이스로 크게 3가지를 포함하여 구성될 수 있다.
특히, 이중에서도 영상에서 결함의 위치와 종류를 판단하는 인식 모듈이 결함 검사 성능에 영향을 미치는 주요 요소이다. 종래에는 정상과 결함을 판단하기 위해, 개발자의 경험적 판단으로 룰베이스(rule-base) 방법에 의존하여 특징의 주요 인자를 추출하는 알고리즘 개발 방법으로 시스템을 개발하였지만, 이러한 방법은 개발 기간이 길어지고, 제품과 결함에 따라 매번 주요 인자 추출 알고리즘을 개발해야하는 단점과 그에 따른 인식 성능 저하가 나타났다. 따라서 최근에는 결함 검출 및 분류를 위한 특징 추출을 스스로 할 수 있는 딥러닝 기술을 이용하여 인식 알고리즘을 개발하는 추세이다.
그러나, 실제 제조업에 데이터 드라이븐(data-driven) 기술 중 하나인 딥러닝 기술을 적용할 때 충분한 양의 데이터가 있어야 효과적인 성능을 확보할 수 있는 것으로서, 종래에는 이렇게 학습시킬 결함 데이터가 부족한 경우가 실제 제조업에서는 빈번히 발생했었다. 이러한 데이터 부족 현상으로 인해 제조업에 인공지능 적용이 어려운 경우가 많았다. 이렇게 적은 양의 데이터를 이용하여 학습을 진행할 경우 학습된 데이터에 대해서는 우수한 성능을 보이지만, 실제 학습된 모델을 이용하여 결함 검사를 진행할 경우에는 성능이 떨어지는 오버피팅(over-fitting) 문제가 발생했었다.
본 발명은 상기와 같은 문제점을 포함하여 여러 문제점들을 해결하기 위한 것으로서, 적은 양의 데이터만으로도 우수한 일반화 성능을 확보할 수 있는 획기적인 기술로서, 딥러닝 방식으로 스스로 적은 양의 원본 영상을 다수회로 복원한 대량의 복원 영상과 보간 영상을 학습하게 하여 결함의 특징을 추출할 수 있고, 복원 영상으로부터 보간 영상을 추가적으로 생성하여 데이터 부족 현상을 해결할 수 있으며, 다양하고도 많은 양의 복원 영상과 보간 영상을 빠른 시간 안에 취득할 수 있어서 원본 영상의 부족 현상을 방지함으로써 제조업 제품의 결함 검사 및 품질 진단에 대한 정밀도와 판정의 정확도를 크게 향상시킬 수 있고, 제품의 결함 검사 뿐만 아니라, 비파괴 검사와 같은 진단 분야에도 사용될 수 있으며, 스마트 팩토리(Smart Factory) 구현의 필수 기술로서 생산 조업 조건에 따른 설비의 상태를 판정하고 설비 상태에 따른 제품의 품질을 예측하여 생산 조건을 최적화하는 기술에도 응용할 수 있게 하는 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템 및 방법을 제공하는 것을 목적으로 한다. 그러나 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.
상기 과제를 해결하기 위한 본 발명의 사상에 따른 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템은, 원본 영상이 입력되면 상기 원본 영상과 동일하거나 유사한 복수개의 복원 영상을 생성하고, 상기 복원 영상을 이용하여 보간 영상을 생성하는 보간 영상 생성 모듈; 및 상기 복원 영상과 상기 보간 영상을 딥러닝 방식으로 학습시켜서 제품의 결함을 분류하는 결함 검사 모듈;를 포함할 수 있다.
또한, 본 발명에 따르면, 상기 보간 영상 생성 모듈은, 입력된 원본 영상을 특징맵으로 맵핑하는 제 1 인코더; 상기 특징맵을 제 1 복원용 제트값(Z1)에 기초하여 제 1 복원 영상으로 복원하고, 제 2 복원용 제트값(Z2)을 기초하여 제 2 복원 영상으로 복원하는 제 1 디코더; 및 상기 특징맵을 상기 제 1 복원용 제트값(Z1)과 상기 제 2 복원용 제트값(Z2)을 모두 이용한 양자 보간식에 의해서 상기 양자 보간식의 변수(a)를 N회 변화시키면서 산출된 복수개의 제 N 보간 제트값(ZNnew)에 기초하여 복수개의 제 N 보간 영상으로 복원하는 제 2 디코더;를 포함할 수 있다.
또한, 본 발명에 따르면, 상기 제 1 복원용 제트값과 상기 제 2 복원용 제트값은, 상기 제 1 복원 영상이 상기 원본 영상과 동일하거나 유사하게 생성되도록 학습되는 매개 랜덤 은닉 변수일 수 있다.
또한, 본 발명에 따르면, 상기 양자 보간식은, ZNnew = a*Z1 + (1-a)*Z2, (여기서, 0 < a < 1)일 수 있다.
또한, 본 발명에 따르면, 상기 양자 보간식에 따른 새로운 레이블(label) Y는, YNnew = a*Y1 + (1-a)*Y2, (여기서, 0 < a < 1)이고, [a, 1-a, 0, 0, 0,,,]과 같이. 클라스(class)별 가중치가 반영된 소프트(soft) 레이블 백터값으로 표시될 수 있다.
또한, 본 발명에 따르면, 상기 제 1 인코더는, 필터로 입력값을 컨볼루션하여 보다 작은 사이즈의 특징맵을 추출하는 컨볼루션 레이어(convolution layer); 배치의 평균이나 표준편차를 기초로 정규화된 출력값을 생성하는 배치 정규화 레이어(batch normalization layer); 컨볼루션 연산 이후에 추가적으로 데이터를 활성화하는 활성화 함수(activation function); 및 특징맵에서 풀링 커널 크기만큼의 데이터를 더 작은 사이즈의 데이터로 서브샘플링하는 풀링 레이어(pooling layer);를 포함할 수 있다.
또한, 본 발명에 따르면, 상기 제 1 디코더 또는 상기 제 2 디코더는, 필터로 입력값을 디컨볼루션하여 보다 큰 사이즈의 특징맵을 추출하는 디컨볼루션 레이어(deconvolution layer); 배치의 평균이나 표준편차를 기초로 정규화된 출력값을 생성하는 배치 정규화 레이어(batch normalization layer); 컨볼루션 연산 이후에 추가적으로 데이터를 활성화하는 활성화 함수(activation function); 및 특징맵에서 풀링 커널 크기만큼의 데이터를 더 큰 사이즈의 데이터로 업샘플링하는 언풀링 레이어(unpooling layer);를 포함할 수 있다.
또한, 본 발명에 따르면, 상기 결함 검사 모듈은, 적어도 컨볼루션 레이어, 풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 포함하여 복수개의 상기 복원 영상 및 상기 보간 영상으로부터 결함 특징맵을 추출하는 결함 특징 추출부; 적어도 디컨볼루션 레이어, 언풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 포함하여 상기 결함 특징맵을 결함 복원 영상으로 복원하는 결함 복원부; 및 상기 결함 복원 영상을 결함의 종류별로 분류하는 분류기;를 포함할 수 있다.
한편, 상기 과제를 해결하기 위한 본 발명의 사상에 따른 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 방법은, (a) 원본 영상이 입력되면 상기 원본 영상과 동일하거나 유사한 복수개의 복원 영상을 생성하고, 상기 복원 영상을 이용하여 보간 영상을 생성하는 단계; 및 (b) 상기 복원 영상과 상기 보간 영상을 딥러닝 방식으로 학습시켜서 제품의 결함을 분류하는 단계;를 포함할 수 있다.
또한, 본 발명에 따르면, 상기 (a) 단계는, (a-1) 입력된 원본 영상을 특징맵으로 맵핑하는 단계; (a-2) 상기 특징맵을 제 1 복원용 제트값(Z1)에 기초하여 제 1 복원 영상으로 복원하고, 제 2 복원용 제트값(Z2)을 기초하여 제 2 복원 영상으로 복원하는 단계; 및 (a-3) 상기 특징맵을 상기 제 1 복원용 제트값(Z1)과 상기 제 2 복원용 제트값(Z2)을 모두 이용한 양자 보간식에 의해서 상기 양자 보간식의 변수(a)를 N회 변화시키면서 산출된 복수개의 제 N 보간 제트값(ZNnew)에 기초하여 복수개의 제 N 보간 영상으로 복원하는 단계;를 포함할 수 있다.
또한, 본 발명에 따르면, 상기 (b) 단계는, (b-1) 적어도 컨볼루션 레이어, 풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 이용하여 복수개의 상기 복원 영상 및 상기 보간 영상으로부터 결함 특징맵을 추출하는 단계; (b-2) 적어도 디컨볼루션 레이어, 언풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 포함하여 상기 결함 특징맵을 결함 복원 영상으로 복원하는 단계; 및 (b-3) 상기 결함 복원 영상을 결함의 종류별로 분류하는 단계;를 포함할 수 있다.
상기한 바와 같이 이루어진 본 발명의 여러 실시예들에 따르면, 적은 양의 데이터만으로도 우수한 일반화 성능을 확보할 수 있는 획기적인 기술로서, 딥러닝 방식으로 스스로 적은 양의 원본 영상을 다수회로 복원한 대량의 복원 영상과 보간 영상을 학습하게 하여 결함의 특징을 추출할 수 있고, 복원 영상으로부터 보간 영상을 추가적으로 생성하여 데이터 부족 현상을 해결할 수 있으며, 다양하고도 많은 양의 복원 영상과 보간 영상을 빠른 시간 안에 취득할 수 있어서 원본 영상의 부족 현상을 방지함으로써 제조업 제품의 결함 검사 및 품질 진단에 대한 정밀도와 판정의 정확도를 크게 향상시킬 수 있고, 제품의 결함 검사 뿐만 아니라, 비파괴 검사와 같은 진단 분야에도 사용될 수 있으며, 스마트 팩토리(Smart Factory) 구현의 필수 기술로서 생산 조업 조건에 따른 설비의 상태를 판정하고 설비 상태에 따른 제품의 품질을 예측하여 생산 조건을 최적화하는 기술에도 응용할 수 있는 효과를 갖는 것이다. 물론 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.
도 1은 본 발명의 일부 실시예들에 따른 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템을 개념적으로 나타내는 블록도이다.
도 2는 도 1의 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템의 보간 영상 생성 모듈을 나타내는 개념도이다.
도 3은 도 1의 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템의 보간 영상 생성 모듈을 보다 상세하게 나타내는 개념도이다.
도 4는 도 1의 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템의 제 1 인코더와, 제 N 복원용 제트값 및 제 1 디코더 간의 관계의 일례를 개념적으로 나타내는 개념도이다.
도 5는 도 1의 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템의 결함 검사 모듈을 개념적으로 나타내는 개념도이다.
도 6은 본 발명의 일부 실시예들에 따른 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 방법을 나타내는 순서도이다.
도 7은 본 발명의 일부 다른 실시예들에 따른 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 방법을 나타내는 순서도이다.
도 2는 도 1의 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템의 보간 영상 생성 모듈을 나타내는 개념도이다.
도 3은 도 1의 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템의 보간 영상 생성 모듈을 보다 상세하게 나타내는 개념도이다.
도 4는 도 1의 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템의 제 1 인코더와, 제 N 복원용 제트값 및 제 1 디코더 간의 관계의 일례를 개념적으로 나타내는 개념도이다.
도 5는 도 1의 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템의 결함 검사 모듈을 개념적으로 나타내는 개념도이다.
도 6은 본 발명의 일부 실시예들에 따른 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 방법을 나타내는 순서도이다.
도 7은 본 발명의 일부 다른 실시예들에 따른 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 방법을 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 여러 실시예들을 상세히 설명하기로 한다.
본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려 이들 실시예들은 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다. 또한, 도면에서 각 층의 두께나 크기는 설명의 편의 및 명확성을 위하여 과장된 것이다.
본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이, 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 경우 "포함한다(comprise)" 및/또는 "포함하는(comprising)"은 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 형상, 숫자, 동작, 부재, 요소 및/또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다.
이하, 본 발명의 실시예들은 본 발명의 이상적인 실시예들을 개략적으로 도시하는 도면들을 참조하여 설명한다. 도면들에 있어서, 예를 들면, 제조 기술 및/또는 공차(tolerance)에 따라, 도시된 형상의 변형들이 예상될 수 있다. 따라서, 본 발명 사상의 실시예는 본 명세서에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니 되며, 예를 들면 제조상 초래되는 형상의 변화를 포함하여야 한다.
도 1은 본 발명의 일부 실시예들에 따른 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템(100)을 개념적으로 나타내는 블록도이다.
먼저, 도 1에 도시된 바와 같이, 본 발명의 일부 실시예들에 따른 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템(100)은, 크게 보간 영상 생성 모듈(10) 및 결함 검사 모듈(20)을 포함할 수 있다.
여기서, 예컨대, 도 1에 도시된 바와 같이, 상기 보간 영상 생성 모듈(10)은, 원본 영상(1)이 입력되면 상기 원본 영상(1)과 동일하거나 유사한 복수개의 복원 영상(2)을 생성하고, 상기 복원 영상(2)을 이용하여 보간 영상(3)을 생성하는 모듈로서, 예를 들면, 상기 보간 영상 생성 모듈(10)은 기계 학습 모드 및 개체 검출 모드의 2개 모드로 동작할 수 있다.
더욱 구체적으로 예를 들면, 기계 학습 모드에서는 상기 보간 영상 생성 모듈(10)이 학습 데이터(GTD, Ground Truth Data)를 통하여 개체 분류에 대한 학습을 수행할 수 있다.
이때, 상기 보간 영상 생성 모듈(10)은 영상에 대한 학습을 수행할 수 있는 신경망 회로(Neural Network), 예를 들어 CNN(Convolutional Neural Network)을 포함하여 기계 학습 및 영상 내의 특정 개체의 분류를 수행할 수 있다.
또한, 학습 데이터는 레이블링(labeling)된 GTD(Ground Truth Data)를 통하여 개체 분류 모듈을 기계 학습시킬 수 있다. 예를 들어 학습 데이터는 특정 개체의 복수의 종류의 분류명과 연결된 결함 영상을 포함할 수 있다.
또한, 예컨대, 도 1에 도시된 바와 같이, 상기 결함 검사 모듈(20)은, 상기 복원 영상(2)과 상기 보간 영상(3)을 딥러닝 방식으로 학습시켜서 제품의 결함을 분류하는 모듈로서, 예를 들면, 상기 결함 검사 모듈(20)은 기계 학습 모드 및 개체 검출 모드의 2개 모드로 동작할 수 있다.
예를 들면, 기계 학습 모드에서는 상기 결함 검사 모듈(20)이 학습 데이터(GTD, Ground Truth Data)를 통하여 개체 분류에 대한 학습을 수행할 수 있다.
이때, 상기 결함 검사 모듈(20)은 영상에 대한 학습을 수행할 수 있는 신경망 회로(Neural Network), 예를 들어 CNN(Convolutional Neural Network)을 포함하여 기계 학습 및 영상 내의 특정 개체의 분류를 수행할 수 있다.
또한, 학습 데이터는 레이블링(labeling)된 GTD(Ground Truth Data)를 통하여 개체 분류 모듈을 기계 학습시킬 수 있다. 예를 들어 학습 데이터는 특정 개체의 복수의 종류의 분류명과 연결된 결함 영상을 포함할 수 있다.
도 2는 도 1의 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템(100)의 보간 영상 생성 모듈(10)을 나타내는 개념도이다.
더욱 구체적으로 예를 들면, 도 2에 도시된 바와 같이, 상기 보간 영상 생성 모듈(10)은, 베리에이셔널 오토인코더(variational auto-encoder) 형태의 딥러닝 모델로서, 입력된 원본 영상을 특징맵으로 맵핑하는 제 1 인코더(E1)와, 상기 특징맵을 제 1 복원용 제트값(Z1)에 기초하여 제 1 복원 영상으로 복원하고, 제 2 복원용 제트값(Z2)을 기초하여 제 2 복원 영상으로 복원하는 제 1 디코더(D1) 및 상기 특징맵을 상기 제 1 복원용 제트값(Z1)과 상기 제 2 복원용 제트값(Z2)을 모두 이용한 양자 보간식에 의해서 상기 양자 보간식의 변수(a)를 N회 변화시키면서 산출된 복수개의 제 N 보간 제트값(ZNnew)에 기초하여 복수개의 제 N 보간 영상으로 복원하는 제 2 디코더(D2)를 포함할 수 있다.
여기서, N은 양의 정수로서, 상기 제 1 복원용 제트값(Z1)과 상기 제 2 복원용 제트값(Z2)은, 상기 제 1 복원 영상이 상기 원본 영상과 동일하거나 유사하게 생성되도록 학습되는 매개 랜덤 은닉 변수이고, 상기 양자 보간식은,
ZNnew = a*Z1 + (1-a)*Z2, (여기서, 0 < a < 1)
일 수 있다.
이 때, 상기 양자 보간식에 따른 새로운 레이블(label) Y는,
YNnew = a*Y1 + (1-a)*Y2, (여기서, 0 < a < 1)이고, [a, 1-a, 0, 0, 0,,,]과 같이. 클라스(class)별 가중치가 반영된 소프트(soft) 레이블 백터값으로 표시될 수 있다.
즉, 새로운 레이블 백터값은, 기존의 하드 레이블(hard label), 즉, class는 1이고, 나머지는 0으로 표기되는 원핫 인코딩(one-hot encoding)이 아니라, 예컨대, 1 보다 작은 a(클라스별 가중치인 분류 변수)를 class로 표시하는 [0.3, 0.7, 0, 0, 0]이나 [0.9, 0.1, 0, 0, 0] 등과 같이 소프트(soft) 레이블 백터값일 수 있다.
따라서, 인코더(Encoder)와 디코더(Decoder)로 구성된 베리에이셔널 오토인코더(Variational auto-encoder) 구조를 이용하여 입력 영상과 출력 영상이 동일하거나 유사하게 나오도록 딥러닝 모델을 학습할 수 있고, 학습된 베리에이셔널 오토인코더 구조에서 인코더 부분은 제거한 후 디코더 부분에 다양한 복원용 제트값(ZN)을 입력해서 많은 수의 데이터를 생성하고, 이를 통해 결함 검사 모델의 입력이 될 빅 데이터들을 생성할 수 있다.
여기서, 제트값은 임의의 제트값을 사용하지 않고, 양자 보간식을 이용하여 제트값을 보간(interpolation)하여 다양한 보간 영상을 생성할 수 있는 것으로서, 예컨대, Z1, Z2, ... ZN의 조합을 이용하여 새로운 ZNnew를 만들 때, 각 Z1, Z2. ... , ZN에 해당되는 레이블(label) Y도 보간해서 새로운 Ynew를 만들 수 있다.
이렇게 함으로써 데이터 증감(data augmentation) 효과뿐만 아니라 레이블(label)에 가중치를 주어서 우수한 일반화 성능을 가지는 딥러닝 모델을 구현할 수 있다. 그러므로, 이렇게 만든 새로운 ZNnew를 이용하여 디코더에 입력하여 새로운 영상 Xnew를 생성하고 Xnew의 label인 새로운 Ynew를 페어(pair)로 하는 대량의 빅 데이터들을 생성할 수 있다.
도 3은 도 1의 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템(100)의 보간 영상 생성 모듈(10)을 보다 상세하게 나타내는 개념도이다.
더욱 구체적으로 예를 들면, 도 3에 도시된 바와 같이, 상기 제 1 인코더(E1)는, 필터로 입력값을 컨볼루션하여 보다 작은 사이즈의 특징맵을 추출하는 컨볼루션 레이어(11)(convolution layer)와, 배치의 평균이나 표준편차를 기초로 정규화된 출력값을 생성하는 배치 정규화 레이어(12)(batch normalization layer)와, 컨볼루션 연산 이후에 추가적으로 데이터를 활성화하는 활성화 함수(13)(activation function) 및 특징맵에서 풀링 커널 크기만큼의 데이터를 더 작은 사이즈의 데이터로 서브샘플링하는 풀링 레이어(14)(pooling layer)를 포함할 수 있다.
또한, 상기 제 1 디코더(D1) 또는 상기 제 2 디코더(D2)는, 필터로 입력값을 디컨볼루션하여 보다 큰 사이즈의 특징맵을 추출하는 디컨볼루션 레이어(15)(deconvolution layer)와, 배치의 평균이나 표준편차를 기초로 정규화된 출력값을 생성하는 배치 정규화 레이어(16)(batch normalization layer)와, 컨볼루션 연산 이후에 추가적으로 데이터를 활성화하는 활성화 함수(17)(activation function) 및 특징맵에서 풀링 커널 크기만큼의 데이터를 더 큰 사이즈의 데이터로 업샘플링하는 언풀링 레이어(18)(unpooling layer)를 포함할 수 있다.
예를 들면, 도 3에 도시된 바와 같이, 상기 제 1 인코더(E1)의 상기 컨볼루션 레이어(11)는 제 1 컨볼루션 레이어와 제 2 컨볼루션 레이어 등을 포함할 수 있다. 이 경우, 상기 제 2 컨볼루션 레이어는 상기 제 1 컨볼루션 레이어의 후방에 존재한다. 즉, 상기 제 2 컨볼루션 레이어는 상기 제 1 컨볼루션 레이어의 출력을 이용할 수 있다.
보다 구체적으로, 상기 제 1 컨볼루션 레이어는 입력된 원본 영상의 사이즈 보다 작은 사이즈의 컨볼루션 필터 커널에 기초하여 특징맵(Feature Map)을 추출할 수 있다. 예컨대, 상기 컨볼루션 필터 커널은 원본 사이즈보다 작은 크기의 행렬이다. 이 때, 상기 제 1 컨볼루션 레이어는 컨볼루션 필터 커널을 이동시켜 가면서 원본 영상에 곱하여 특징맵을 추출할 수 있다. 이 때, 컨볼루션 연산을 완료한 후에, 정규화된 출력값을 생성하는 상기 배치 정규화 레이어(12) 또는 데이터 활성화를 위하여 추가적으로 상기 활성화 함수(13), 예를 들어, ReLU 등에 통과시킬 수 있다.
이러한, 상기 컨볼루션 레이어(11)를 통과한 후에는 데이터 및 연산량을 줄이기 위하여 상기 풀링 레이어(14)를 통과할 수 있다.
이 경우, 상기 풀링 레이어(14)는 특징맵에서 풀링 커널(예를 들어 n x m) 크기만큼의 데이터를 더 작은 사이즈의 데이터로 서브샘플링(Subsampling)할 수 있다.
이와 같이, 상기 제 1 인코더(E1)의 CNN은 복수의 컨볼루션 레이어(11) 및 풀링 레이어(14)를 반복적으로 통과시켜 연산을 수행할 수 있다.
또한, 예컨대, 도 3에 도시된 바와 같이, 상기 제 1 디코더(D1)는, 필터로 입력값을 디컨볼루션하여 보다 큰 사이즈의 특징맵을 추출하는 디컨볼루션 레이어(15)(deconvolution layer)와, 배치(batch)의 평균이나 표준편차를 기초로 정규화된 출력값을 생성하는 배치 정규화 레이어(16)(batch normalization layer)와, 컨볼루션 연산 이후에 추가적으로 데이터를 활성화하는 활성화 함수(17)(activation function) 및 특징맵에서 풀링 커널 크기만큼의 데이터를 더 큰 사이즈의 데이터로 업샘플링하는 언풀링 레이어(18)(unpooling layer)를 포함할 수 있다.
또한, 예컨대, 상기 제 1 디코더(D1)의 상기 디컨볼루션 레이어(15)는 제 1 디컨볼루션 레이어와 제 2 디컨볼루션 레이어 등을 포함할 수 있다. 이 경우, 상기 제 2 디컨볼루션 레이어는 상기 제 1 디컨볼루션 레이어의 후방에 존재한다. 즉, 상기 제 2 디컨볼루션 레이어는 상기 제 1 디컨볼루션 레이어의 출력을 이용할 수 있다.
보다 구체적으로, 상기 제 1 디컨볼루션 레이어는 입력된 특징맵의 사이즈 보다 넓은 사이즈의 특징맵을 추출할 수 있다. 이 때, 상기 제 1 디컨볼루션 레이어는 디컨볼루션 필터 커널을 이동시켜 가면서 원본 영상에 곱하여 특징맵을 추출할 수 있다. 이 때, 디컨볼루션 연산을 완료한 후에, 정규화된 출력값을 생성하는 상기 배치 정규화 레이어(16) 또는 데이터 활성화를 위하여 추가적으로 상기 활성화 함수(17), 예를 들어, ReLU 등에 통과시킬 수 있다.
이러한, 상기 디컨볼루션 레이어를 통과한 후에는 데이터 및 연산량을 늘리기 위하여 상기 언풀링 레이어(18)를 통과할 수 있다.
이 경우, 상기 언풀링 레이어(18)는 특징맵에서 언풀링 커널 크기만큼의 데이터를 더 큰 사이즈의 데이터로 업샘플링(Upsampling)할 수 있다.
이와 같이, 상기 제 1 디코더(D1)의 CNN은 복수의 디컨볼루션 레이어(15) 및 언풀링 레이어(18)를 반복적으로 통과시켜 연산을 수행할 수 있다.
도 4는 도 1의 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템(100)의 제 1 인코더(E1)와, 제 N 복원용 제트값(ZN) 및 제 1 디코더(D1) 간의 관계의 일례를 개념적으로 나타내는 개념도이다.
도 2 내지 도 4에 도시된 바와 같이, 상기 제 1 복원용 제트값(Z1)과 상기 제 2 복원용 제트값(Z2)은, 상기 제 1 복원 영상이 상기 원본 영상과 동일하거나 유사하게 생성되도록 학습되는 매개 랜덤 은닉 변수이고, 상기 제 N 보간 제트값(ZNnew)는 상기 제 1 복원용 제트값(Z1)과 상기 제 2 복원용 제트값(Z2)에 의해 결정되는 매개 랜덤 은닉 변수일 수 있다.
따라서, 도 4에 도시된 바와 같이, 이러한 매개 랜덤 은닉 변수(latent variables)는 입력층(input layer)와 출력층(output layer) 사이에서 입력된 데이터들의 변환 과정에서 가중치를 달리하여 출력될 수 있도록 학습되는 변수로서, 본 발명은 인코더(encoder)와 디코더(decoder) 사이의 매개 랜덤 은닉 변수를 달리하여 동일한 원본 영상(1)으로부터 상기 원본 영상(1)과 동일하거나 유사하게 복원된 복수개의 복원 영상(2) 및 이들 복원 영상들로부터 파생된 보간 영상(3)들을 생성할 수 있다.
그러므로, 하나의 원본 영상으로부터 복수개의 복원 영상과 보간 영상을 대량으로 생성하여 데이터 부족 현상을 해결할 수 있으며, 레이블링(labeling) 작업의 시간을 획기적으로 단축할 수 있고, 레이블링 작업시 발생할 수 있는 레이블 에러(label error) 현상을 획기적으로 줄일 수 있으며, 다양하고도 많은 양의 복원 영상과 보간 영상을 빠른 시간 안에 취득할 수 있어서 원본 영상의 부족 현상을 방지함으로써 제조업 제품의 결함 검사 및 품질 진단에 대한 정밀도와 판정의 정확도를 크게 향상시킬 수 있다.
도 5는 도 1의 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템(100)의 결함 검사 모듈(20)을 개념적으로 나타내는 개념도이다.
한편, 더욱 구체적으로 예를 들면, 도 1 및 도 5에 도시된 바와 같이, 상기 결함 검사 모듈(20)은, 적어도 컨볼루션 레이어(211), 풀링 레이어(212), 활성화 함수(213) 및 이들의 조합들 중 어느 하나 이상을 포함하여 복수개의 상기 복원 영상 및 상기 보간 영상으로부터 결함 특징맵을 추출하는 결함 특징 추출부(21)와, 적어도 디컨볼루션 레이어(221), 언풀링 레이어(222), 활성화 함수(223) 이들의 조합들 중 어느 하나 이상을 포함하여 상기 결함 특징맵을 결함 복원 영상으로 복원하는 결함 복원부(22) 및 상기 결함 복원 영상을 결함의 종류별로 분류하는 분류기(23)를 포함할 수 있다.
여기서, 예컨대, 상기 결함 특징 추출부(21)의 상기 컨볼루션 레이어(211)(convolution layer)는, 필터로 입력값을 컨볼루션하여 보다 작은 사이즈의 특징맵을 추출할 수 있는 계층이고, 상기 풀링 레이어(212)는, 특징맵에서 풀링 커널 크기만큼의 데이터를 더 작은 사이즈의 데이터로 서브샘플링할 수 있는 계층이며, 상기 활성화 함수(213)는 컨볼루션 연산 이후에 추가적으로 데이터를 활성화하는 함수일 수 있다.
또한, 예컨대, 상기 결함 복원부(22)의 상기 디컨볼루션 레이어(221)는, 필터로 입력값을 디컨볼루션하여 보다 큰 사이즈의 특징맵을 추출할 수 있는 계층이고, 상기 언풀링 레이어(222)는, 특징맵에서 풀링 커널 크기만큼의 데이터를 더 큰 사이즈의 데이터로 업샘플링할 수 있는 계층이며, 상기 활성화 함수(223)는, 컨볼루션 연산 이후에 추가적으로 데이터를 활성화하는 함수일 수 있다.
예를 들면, 도 5에 도시된 바와 같이, 상기 결함 특징 추출부(21)의 상기 컨볼루션 레이어(211)는 제 1 컨볼루션 레이어와 제 2 컨볼루션 레이어 등을 포함할 수 있다. 이 경우, 상기 제 2 컨볼루션 레이어는 상기 제 1 컨볼루션 레이어의 후방에 존재한다. 즉, 상기 제 2 컨볼루션 레이어는 상기 제 1 컨볼루션 레이어의 출력을 이용할 수 있다.
보다 구체적으로, 상기 제 1 컨볼루션 레이어는 입력된 원본 영상의 사이즈 보다 작은 사이즈의 컨볼루션 필터 커널에 기초하여 특징맵(Feature Map)을 추출할 수 있다. 예컨대, 상기 컨볼루션 필터 커널은 원본 사이즈보다 작은 크기의 행렬이다. 이 때, 상기 제 1 컨볼루션 레이어는 컨볼루션 필터 커널을 이동시켜 가면서 원본 영상에 곱하여 특징맵을 추출할 수 있다. 이 때, 컨볼루션 연산을 완료한 후에, 데이터 활성화를 위하여 추가적으로 상기 활성화 함수(213), 예를 들어, ReLU 등에 통과시킬 수 있다.
이러한, 상기 컨볼루션 레이어를 통과한 후에는 데이터 및 연산량을 줄이기 위하여 상기 풀링 레이어(212)를 통과할 수 있다.
이 경우, 상기 풀링 레이어(212)는 특징맵에서 풀링 커널(예를 들어 n x m) 크기만큼의 데이터를 더 작은 사이즈의 데이터로 서브샘플링(Subsampling)할 수 있다.
이와 같이, 상기 결함 특징 추출부(21)의 CNN은 복수의 컨볼루션 레이어(211) 및 풀링 레이어(212)를 반복적으로 통과시켜 연산을 수행할 수 있다.
또한, 예컨대, 상기 결함 복원부(22)의 상기 디컨볼루션 레이어(221)는 제 1 디컨볼루션 레이어와 제 2 디컨볼루션 레이어 등을 포함할 수 있다. 이 경우, 상기 제 2 디컨볼루션 레이어는 상기 제 1 디컨볼루션 레이어의 후방에 존재한다. 즉, 상기 제 2 디컨볼루션 레이어는 상기 제 1 디컨볼루션 레이어의 출력을 이용할 수 있다.
보다 구체적으로, 상기 제 1 디컨볼루션 레이어는 입력된 특징맵의 사이즈 보다 넓은 사이즈의 특징맵을 추출할 수 있다. 이 때, 상기 제 1 디컨볼루션 레이어는 디컨볼루션 필터 커널을 이동시켜 가면서 원본 영상에 곱하여 특징맵을 추출할 수 있다. 이 때, 디컨볼루션 연산을 완료한 후에, 데이터 활성화를 위하여 추가적으로 상기 활성화 함수(223), 예를 들어, ReLU 등에 통과시킬 수 있다.
이러한, 상기 디컨볼루션 레이어를 통과한 후에는 데이터 및 연산량을 늘리기 위하여 상기 언풀링 레이어(222)를 통과할 수 있다.
이 경우, 상기 언풀링 레이어(222)는 특징맵에서 언풀링 커널 크기만큼의 데이터를 더 큰 사이즈의 데이터로 업샘플링(Upsampling)할 수 있다.
이와 같이, 상기 결함 복원부(22)의 CNN은 복수의 디컨볼루션 레이어(221) 및 언풀링 레이어(222)를 반복적으로 통과시켜 연산을 수행할 수 있다.
그러므로, 상기 결함 특징 추출부(21)와 상기 결함 복원부(22) 및 상기 분류기(23)를 이용하여 상술된 상기 복원 영상들과 상기 보간 영상들을 반복적으로 학습시켜서 최종적으로 제품의 결함을 분류하여 높은 정확도와 정밀도로 판별할 수 있다.
도 6은 본 발명의 일부 실시예들에 따른 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 방법을 나타내는 순서도이다.
도 1 내지 도 6에 도시된 바와 같이, 본 발명의 일부 실시예들에 따른 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 방법은, (a) 원본 영상(1)이 입력되면 상기 원본 영상(1)과 동일하거나 유사한 복수개의 복원 영상(2)을 생성하고, 상기 복원 영상(2)을 이용하여 보간 영상(3)을 생성하는 단계 및 (b) 상기 복원 영상(2)과 상기 보간 영상(3)을 딥러닝 방식으로 학습시켜서 제품의 결함을 분류하는 단계를 포함할 수 있다.
도 7은 본 발명의 일부 다른 실시예들에 따른 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 방법을 나타내는 순서도이다.
도 1 내지 도 7에 도시된 바와 같이, 본 발명의 일부 다른 실시예들에 따른 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 방법은, (a) 원본 영상(1)이 입력되면 상기 원본 영상(1)과 동일하거나 유사한 복수개의 복원 영상(2)을 생성하고, 상기 복원 영상(2)을 이용하여 보간 영상(3)을 생성하는 단계 및 (b) 상기 복원 영상(2)과 상기 보간 영상(3)을 딥러닝 방식으로 학습시켜서 제품의 결함을 분류하는 단계를 포함할 수 있는 것으로서, 상기 (a) 단계는, (a-1) 입력된 원본 영상(1)을 특징맵으로 맵핑하는 단계와, (a-2) 상기 특징맵을 제 1 복원용 제트값(Z1)에 기초하여 제 1 복원 영상으로 복원하고, 제 2 복원용 제트값(Z2)을 기초하여 제 2 복원 영상으로 복원하는 단계 및 (a-3) 상기 특징맵을 상기 제 1 복원용 제트값(Z1)과 상기 제 2 복원용 제트값(Z2)을 모두 이용한 양자 보간식에 의해서 상기 양자 보간식의 변수(a)를 N회 변화시키면서 산출된 복수개의 제 N 보간 제트값(ZNnew)에 기초하여 복수개의 제 N 보간 영상으로 복원하는 단계를 포함할 수 있고, 상기 (b) 단계는, (b-1) 적어도 컨볼루션 레이어(211), 풀링 레이어(212), 활성화 함수(213) 및 이들의 조합들 중 어느 하나 이상을 이용하여 복수개의 상기 복원 영상(2) 및 상기 보간 영상(3)으로부터 결함 특징맵을 추출하는 단계와, (b-2) 적어도 디컨볼루션 레이어(221), 언풀링 레이어(222), 활성화 함수(223) 및 이들의 조합들 중 어느 하나 이상을 포함하여 상기 결함 특징맵을 결함 복원 영상으로 복원하는 단계 및 (b-3) 상기 결함 복원 영상(2)을 결함의 종류별로 분류하는 단계를 포함할 수 있다.
그러므로, 원본 영상을 얻기 어려운 환경 하에서도, 다양하고도 많은 양의 복원 영상과 이진 영상을 빠른 시간 안에 취득할 수 있어서 원본 영상의 부족 현상을 방지함으로써 제조업 제품의 결함 검사 및 품질 진단에 대한 정밀도와 판정의 정확도를 크게 향상시킬 수 있고, 제품의 결함 검사 뿐만 아니라, 비파괴 검사와 같은 진단 분야에도 사용될 수 있으며, 스마트 팩토리(Smart Factory) 구현의 필수 기술로서 생산 조업 조건에 따른 설비의 상태를 판정하고 설비 상태에 따른 제품의 품질을 예측하여 생산 조건을 최적화하는 기술에도 응용할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
1: 원본 영상
2: 복원 영상
3: 보간 영상
10: 보간 영상 생성 모듈
E1: 제 1 인코더
D1: 제 1 디코더
D2: 제 2 디코더
Z1: 제 1 복원용 제트값
Z2: 제 2 복원용 제트값
ZNnew: 제 N 보간 제트값
a: 변수
11: 컨볼루션 레이어
12: 배치 정규화 레이어
13: 활성화 함수
14: 풀링 레이어
15: 디컨볼루션 레이어
16: 배치 정규화 레이어
17: 활성화 함수
18: 언풀링 레이어
20: 결함 검사 모듈
21: 결함 특징 추출부
211: 컨볼루션 레이어
212: 풀링 레이어
213: 활성화 함수
22: 결함 복원부
221: 디컨볼루션 레이어
222: 언풀링 레이어
223: 활성화 함수
23: 분류기
100: 딥러닝 기반 제품 결함 검사 시스템
2: 복원 영상
3: 보간 영상
10: 보간 영상 생성 모듈
E1: 제 1 인코더
D1: 제 1 디코더
D2: 제 2 디코더
Z1: 제 1 복원용 제트값
Z2: 제 2 복원용 제트값
ZNnew: 제 N 보간 제트값
a: 변수
11: 컨볼루션 레이어
12: 배치 정규화 레이어
13: 활성화 함수
14: 풀링 레이어
15: 디컨볼루션 레이어
16: 배치 정규화 레이어
17: 활성화 함수
18: 언풀링 레이어
20: 결함 검사 모듈
21: 결함 특징 추출부
211: 컨볼루션 레이어
212: 풀링 레이어
213: 활성화 함수
22: 결함 복원부
221: 디컨볼루션 레이어
222: 언풀링 레이어
223: 활성화 함수
23: 분류기
100: 딥러닝 기반 제품 결함 검사 시스템
Claims (11)
- 원본 영상이 입력되면 상기 원본 영상과 동일하거나 유사한 복수개의 복원 영상을 생성하고, 상기 복원 영상을 이용하여 보간 영상을 생성하는 보간 영상 생성 모듈; 및
상기 복원 영상과 상기 보간 영상을 딥러닝 방식으로 학습시켜서 제품의 결함을 분류하는 결함 검사 모듈;
를 포함하는, 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템. - 제 1 항에 있어서,
상기 보간 영상 생성 모듈은,
입력된 원본 영상을 특징맵으로 맵핑하는 제 1 인코더;
상기 특징맵을 제 1 복원용 제트값(Z1)에 기초하여 제 1 복원 영상으로 복원하고, 제 2 복원용 제트값(Z2)을 기초하여 제 2 복원 영상으로 복원하는 제 1 디코더; 및
상기 특징맵을 상기 제 1 복원용 제트값(Z1)과 상기 제 2 복원용 제트값(Z2)을 모두 이용한 양자 보간식에 의해서 상기 양자 보간식의 변수(a)를 N회 변화시키면서 산출된 복수개의 제 N 보간 제트값(ZNnew)에 기초하여 복수개의 제 N 보간 영상으로 복원하는 제 2 디코더;
를 포함하는, 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템. - 제 2 항에 있어서,
상기 제 1 복원용 제트값과 상기 제 2 복원용 제트값은, 상기 제 1 복원 영상이 상기 원본 영상과 동일하거나 유사하게 생성되도록 학습되는 매개 랜덤 은닉 변수인, 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템. - 제 3 항에 있어서,
상기 양자 보간식은,
ZNnew = a*Z1 + (1-a)*Z2, (여기서, 0 < a < 1)
인, 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템. - 제 4 항에 있어서,
상기 양자 보간식에 따른 새로운 레이블(label) Y는,
YNnew = a*Y1 + (1-a)*Y2, (여기서, 0 < a < 1)이고,
[a, 1-a, 0, 0, 0,,,]과 같이. 클라스(class)별 가중치가 반영된 소프트(soft) 레이블 백터값으로 표시되는, 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템. - 제 2 항에 있어서,
상기 제 1 인코더는,
필터로 입력값을 컨볼루션하여 보다 작은 사이즈의 특징맵을 추출하는 컨볼루션 레이어(convolution layer);
배치의 평균이나 표준편차를 기초로 정규화된 출력값을 생성하는 배치 정규화 레이어(batch normalization layer);
컨볼루션 연산 이후에 추가적으로 데이터를 활성화하는 활성화 함수(activation function); 및
특징맵에서 풀링 커널 크기만큼의 데이터를 더 작은 사이즈의 데이터로 서브샘플링하는 풀링 레이어(pooling layer);
를 포함하는, 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템. - 제 2 항에 있어서,
상기 제 1 디코더 또는 상기 제 2 디코더는,
필터로 입력값을 디컨볼루션하여 보다 큰 사이즈의 특징맵을 추출하는 디컨볼루션 레이어(deconvolution layer);
배치의 평균이나 표준편차를 기초로 정규화된 출력값을 생성하는 배치 정규화 레이어(batch normalization layer);
컨볼루션 연산 이후에 추가적으로 데이터를 활성화하는 활성화 함수(activation function); 및
특징맵에서 풀링 커널 크기만큼의 데이터를 더 큰 사이즈의 데이터로 업샘플링하는 언풀링 레이어(unpooling layer);
를 포함하는, 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템. - 제 2 항에 있어서,
상기 결함 검사 모듈은,
적어도 컨볼루션 레이어, 풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 포함하여 복수개의 상기 복원 영상 및 상기 보간 영상으로부터 결함 특징맵을 추출하는 결함 특징 추출부;
적어도 디컨볼루션 레이어, 언풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 포함하여 상기 결함 특징맵을 결함 복원 영상으로 복원하는 결함 복원부; 및
상기 결함 복원 영상을 결함의 종류별로 분류하는 분류기;
를 포함하는, 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템. - (a) 원본 영상이 입력되면 상기 원본 영상과 동일하거나 유사한 복수개의 복원 영상을 생성하고, 상기 복원 영상을 이용하여 보간 영상을 생성하는 단계; 및
(b) 상기 복원 영상과 상기 보간 영상을 딥러닝 방식으로 학습시켜서 제품의 결함을 분류하는 단계;
를 포함하는, 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 방법. - 제 9 항에 있어서,
상기 (a) 단계는,
(a-1) 입력된 원본 영상을 특징맵으로 맵핑하는 단계;
(a-2) 상기 특징맵을 제 1 복원용 제트값(Z1)에 기초하여 제 1 복원 영상으로 복원하고, 제 2 복원용 제트값(Z2)을 기초하여 제 2 복원 영상으로 복원하는 단계; 및
(a-3) 상기 특징맵을 상기 제 1 복원용 제트값(Z1)과 상기 제 2 복원용 제트값(Z2)을 모두 이용한 양자 보간식에 의해서 상기 양자 보간식의 변수(a)를 N회 변화시키면서 산출된 복수개의 제 N 보간 제트값(ZNnew)에 기초하여 복수개의 제 N 보간 영상으로 복원하는 단계;
를 포함하는, 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 방법. - 제 10 항에 있어서,
상기 (b) 단계는,
(b-1) 적어도 컨볼루션 레이어, 풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 이용하여 복수개의 상기 복원 영상 및 상기 보간 영상으로부터 결함 특징맵을 추출하는 단계;
(b-2) 적어도 디컨볼루션 레이어, 언풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 포함하여 상기 결함 특징맵을 결함 복원 영상으로 복원하는 단계; 및
(b-3) 상기 결함 복원 영상을 결함의 종류별로 분류하는 단계;
를 포함하는, 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200086725A KR102475851B1 (ko) | 2020-07-14 | 2020-07-14 | 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200086725A KR102475851B1 (ko) | 2020-07-14 | 2020-07-14 | 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220008530A true KR20220008530A (ko) | 2022-01-21 |
| KR102475851B1 KR102475851B1 (ko) | 2022-12-09 |
Family
ID=80050258
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200086725A KR102475851B1 (ko) | 2020-07-14 | 2020-07-14 | 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102475851B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102611665B1 (ko) * | 2022-11-16 | 2023-12-08 | 서울시립대학교 산학협력단 | 수치형 학습 데이터를 증강시키는 서버, 방법 및 컴퓨터 프로그램 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005156334A (ja) * | 2003-11-25 | 2005-06-16 | Nec Tohoku Sangyo System Kk | 疑似不良画像自動作成装置及び画像検査装置 |
| JP2012226732A (ja) * | 2011-04-06 | 2012-11-15 | Nippon Steel Corp | 操業予測装置、操業予測方法、及びコンピュータプログラム |
| KR101688458B1 (ko) * | 2016-04-27 | 2016-12-23 | 디아이티 주식회사 | 깊은 신경망 학습 방법을 이용한 제조품용 영상 검사 장치 및 이를 이용한 제조품용 영상 검사 방법 |
| KR20190021967A (ko) * | 2017-08-24 | 2019-03-06 | 주식회사 수아랩 | 훈련 데이터를 생성하는 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램 |
| JP2019046390A (ja) * | 2017-09-06 | 2019-03-22 | 株式会社東芝 | 学習装置、学習方法、およびプログラム |
-
2020
- 2020-07-14 KR KR1020200086725A patent/KR102475851B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005156334A (ja) * | 2003-11-25 | 2005-06-16 | Nec Tohoku Sangyo System Kk | 疑似不良画像自動作成装置及び画像検査装置 |
| JP2012226732A (ja) * | 2011-04-06 | 2012-11-15 | Nippon Steel Corp | 操業予測装置、操業予測方法、及びコンピュータプログラム |
| KR101688458B1 (ko) * | 2016-04-27 | 2016-12-23 | 디아이티 주식회사 | 깊은 신경망 학습 방법을 이용한 제조품용 영상 검사 장치 및 이를 이용한 제조품용 영상 검사 방법 |
| KR20190021967A (ko) * | 2017-08-24 | 2019-03-06 | 주식회사 수아랩 | 훈련 데이터를 생성하는 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램 |
| JP2019046390A (ja) * | 2017-09-06 | 2019-03-22 | 株式会社東芝 | 学習装置、学習方法、およびプログラム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102611665B1 (ko) * | 2022-11-16 | 2023-12-08 | 서울시립대학교 산학협력단 | 수치형 학습 데이터를 증강시키는 서버, 방법 및 컴퓨터 프로그램 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102475851B1 (ko) | 2022-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Graham et al. | Denoising diffusion models for out-of-distribution detection | |
| CN114677346B (zh) | 基于记忆信息的端到端的半监督图像表面缺陷的检测方法 | |
| KR20210087874A (ko) | 시편의 기계 학습 기반 결함 검출 | |
| CN114972213A (zh) | 一种基于机器视觉的两阶段主板图像缺陷检测及定位方法 | |
| CN113129272A (zh) | 一种基于去噪卷积自编码器的缺陷检测方法及装置 | |
| Hong et al. | Uncertainty-driven dehazing network | |
| CN111126433A (zh) | 一种工厂pcb板缺陷检测中正负样本数据平衡方法 | |
| TWI786570B (zh) | 生成可用於檢查半導體樣本的訓練集 | |
| CN114943694A (zh) | 一种基于对抗生成网络与注意力的缺陷检测方法 | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| Cao et al. | Unsupervised defect segmentation of magnetic tile based on attention enhanced flexible U-Net | |
| US20220222794A1 (en) | Image anomaly detection method based on zero-shot learning | |
| Kong et al. | Semi-supervised classification of wafer map based on ladder network | |
| KR20220008530A (ko) | 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템 및 방법 | |
| CN116703885A (zh) | 一种基于Swin Transformer的表面缺陷检测方法及系统 | |
| Song et al. | Anomaly composition and decomposition network for accurate visual inspection of texture defects | |
| KR102302540B1 (ko) | 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템 및 방법 | |
| CN117540779A (zh) | 一种基于双源知识蒸馏的轻量化金属表面缺陷检测方法 | |
| US20240078659A1 (en) | Defect examination on a semiconductor specimen | |
| CN117011219A (zh) | 物品质量检测方法、装置、设备、存储介质和程序产品 | |
| Tokime et al. | Automatic Defect Detection for X-ray inspection: A U-Net approach for defect segmentation | |
| KR102302541B1 (ko) | 레이블 데이터 변형을 이용한 인공지능 기반 제품 품질 검사 시스템 및 방법 | |
| CN114758133A (zh) | 基于超像素主动学习和半监督学习策略的图像瑕疵分割方法 | |
| CN114980723A (zh) | 一种用于跨工况贴片机吸嘴的故障预测方法、系统 | |
| CN113379614A (zh) | 基于Resnet网络的计算鬼成像重建恢复方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |