KR102302540B1 - 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템 및 방법 - Google Patents
데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템 및 방법 Download PDFInfo
- Publication number
- KR102302540B1 KR102302540B1 KR1020200082915A KR20200082915A KR102302540B1 KR 102302540 B1 KR102302540 B1 KR 102302540B1 KR 1020200082915 A KR1020200082915 A KR 1020200082915A KR 20200082915 A KR20200082915 A KR 20200082915A KR 102302540 B1 KR102302540 B1 KR 102302540B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- feature map
- layer
- deep learning
- defect
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 원본 데이터의 부족 현상을 효과적으로 해결할 수 있게 하는 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템 및 방법에 관한 것으로서, 원본 영상이 입력되면 상기 원본 영상과 동일하거나 유사한 제 1 복원 영상을 생성하고, 상기 제 1 복원 영상의 제 1 이진 영상을 생성하는 데이터 페어 생성 모듈; 및 상기 데이터 페어 생성 모듈에서 출력된 상기 제 1 복원 영상을 입력으로 하고, 상기 제 1 이진 영상을 출력으로 하여 딥러닝 방식으로 학습시켜서 제품의 결함을 검사하는 결함 검사 모듈;를 포함할 수 있다.
Description
본 발명은 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템에 관한 것으로서, 보다 상세하게는 원본 데이터의 부족 현상을 효과적으로 해결할 수 있게 하는 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템 및 방법에 관한 것이다.
최근 스마트 팩토리 구현을 위한 다양한 기술들이 집중적으로 연구되고 있다. 예컨대, 스마트 팩토리 구현을 위해서는 원료량, 원료 품질, 제조 공정 데이터(온도, 습도 등), 설비 운전 조건 등의 다양한 공정 데이터가 필요하고, 그 결과로 나타나는 제품의 품질 데이터가 데이터베이스화 되어야 한다. 즉, 공장의 인풋(input)과 아웃풋(output) 간의 상관 관계를 분석하여 품질을 예측하고, 대량 결함 발생을 사전에 방지하며, 설비 고장을 사전에 예측하여 선제적으로 대응할 수 있어야 한다.
이러한, 스마트 팩토리 구현을 위해 제품의 결함을 실시간 검사하고 제품 품질을 판정하는 결함 검사 시스템은 핵심 기술 중 하나이다.
일반적으로 결함 검사를 위한 비전 시스템의 구성은 다음과 같다.
제품의 상태를 영상화 하는 조명과 카메라로 구성된 광학 모듈, 영상에서 결함의 위치와 종류를 자동 판단하는 인식 모듈, 그리고 마지막으로 제품의 영상과 판단 결과를 저장하는 데이터베이스로 크게 3가지를 포함하여 구성될 수 있다.
특히, 이중에서도 영상에서 결함의 위치와 종류를 판단하는 인식 모듈이 결함 검사 성능에 영향을 미치는 주요 요소이다. 종래에는 정상과 결함을 판단하기 위해, 개발자의 경험적 판단으로 룰베이스(rule-base) 방법에 의존하여 특징의 주요 인자를 추출하는 알고리즘 개발 방법으로 시스템을 개발하였지만, 이러한 방법은 개발 기간이 길어지고, 제품과 결함에 따라 매번 주요 인자 추출 알고리즘을 개발해야하는 단점과 그에 따른 인식 성능 저하가 나타났다. 따라서 최근에는 결함 검출 및 분류를 위한 특징 추출을 스스로 할 수 있는 딥러닝 기술을 이용하여 인식 알고리즘을 개발하는 추세이다.
그러나, 종래에는 시간이 많이 소요되는 레이블링(labeling) 작업의 특성과, 제조업 등과 같은 현장의 특성상 정상 또는 결함을 나타내는 다양하고도 많은 양의 원본 영상 데이터를 빠른 시간 안에 취득하기가 어려웠었기 때문에 원본 영상의 부족 현상으로 인하여 제조업 제품의 결함 검사 및 품질 진단에 대한 정밀도와 판정의 정확도가 떨어지는 등 많은 문제점들이 있었다.
본 발명은 상기와 같은 문제점을 포함하여 여러 문제점들을 해결하기 위한 것으로서, 딥러닝 방식으로 스스로 적은 양의 원본 영상을 다수회로 복원한 대량의 복원 영상을 학습하게 하여 결함의 특징을 추출할 수 있고, 원본 영상으로부터 복원 영상과 이진 영상을 동시에 생성하여 데이터 부족 현상을 해결할 수 있으며, 레이블링(labeling) 작업의 시간을 획기적으로 단축할 수 있고, 레이블링 작업시 발생할 수 있는 레이블 에러(label error) 현상을 획기적으로 줄일 수 있으며, 다양하고도 많은 양의 복원 영상과 이진 영상을 빠른 시간 안에 취득할 수 있어서 원본 영상의 부족 현상을 방지함으로써 제조업 제품의 결함 검사 및 품질 진단에 대한 정밀도와 판정의 정확도를 크게 향상시킬 수 있고, 제품의 결함 검사 뿐만 아니라, 비파괴 검사와 같은 진단 분야에도 사용될 수 있으며, 스마트 팩토리(Smart Factory) 구현의 필수 기술로서 생산 조업 조건에 따른 설비의 상태를 판정하고 설비 상태에 따른 제품의 품질을 예측하여 생산 조건을 최적화하는 기술에도 응용할 수 있게 하는 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템 및 방법을 제공하는 것을 목적으로 한다. 그러나 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.
상기 과제를 해결하기 위한 본 발명의 사상에 따른 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템은, 원본 영상이 입력되면 상기 원본 영상과 동일하거나 유사한 제 1 복원 영상을 생성하고, 상기 제 1 복원 영상의 제 1 이진 영상을 생성하는 데이터 페어 생성 모듈; 및 상기 데이터 페어 생성 모듈에서 출력된 상기 제 1 복원 영상을 입력으로 하고, 상기 제 1 이진 영상을 출력으로 하여 딥러닝 방식으로 학습시켜서 제품의 결함을 검사하는 결함 검사 모듈;을 포함할 수 있다.
또한, 본 발명에 따르면, 상기 데이터 페어 생성 모듈은, 입력된 원본 영상을 특징맵으로 맵핑하는 제 1 인코더; 상기 특징맵을 제 1 복원용 제트값에 기초하여 상기 제 1 복원 영상으로 복원하는 제 1-1 디코더; 및 상기 특징맵을 제 1 이진용 제트값에 기초하여 상기 제 1 이진 영상으로 복원하는 제 1-2 디코더;를 포함할 수 있다.
또한, 본 발명에 따르면, 상기 제 1 복원용 제트값은, 상기 제 1 복원 영상이 상기 원본 영상과 동일하거나 유사하게 생성되도록 학습되는 매개 랜덤 은닉 변수이고, 상기 제 1 이진용 제트값은, 상기 제 1 이진 영상이 상기 제 1 복원 영상의 이진화된 페어 영상으로 생성되도록 학습되는 매개 랜덤 은닉 변수일 수 있다.
또한, 본 발명에 따르면, 상기 제 1 인코더는, 필터로 입력값을 컨볼루션하여 보다 작은 사이즈의 특징맵을 추출하는 컨볼루션 레이어(convolution layer); 배치의 평균이나 표준편차를 기초로 정규화된 출력값을 생성하는 배치 정규화 레이어(batch normalization layer); 컨볼루션 연산 이후에 추가적으로 데이터를 활성화하는 활성화 함수(activation function); 및 특징맵에서 풀링 커널 크기만큼의 데이터를 더 작은 사이즈의 데이터로 서브샘플링하는 풀링 레이어(pooling layer);를 포함할 수 있다.
또한, 본 발명에 따르면, 상기 제 1-1 디코더 또는 상기 제 1-2 디코더는, 필터로 입력값을 디컨볼루션하여 보다 큰 사이즈의 특징맵을 추출하는 디컨볼루션 레이어(deconvolution layer); 배치의 평균이나 표준편차를 기초로 정규화된 출력값을 생성하는 배치 정규화 레이어(batch normalization layer); 컨볼루션 연산 이후에 추가적으로 데이터를 활성화하는 활성화 함수(activation function); 및 특징맵에서 풀링 커널 크기만큼의 데이터를 더 큰 사이즈의 데이터로 업샘플링하는 언풀링 레이어(unpooling layer);를 포함할 수 있다.
또한, 본 발명에 따르면, 상기 데이터 페어 생성 모듈은, 상기 특징맵을 제 N 복원용 제트값에 기초하여 제 N 복원 영상으로 복원하는 제 N-1 디코더; 및 상기 특징맵을 제 N 이진용 제트값에 기초하여 제 N 이진 영상으로 복원하는 제 N-2 디코더;를 더 포함할 수 있다.
또한, 본 발명에 따르면, 상기 결함 검사 모듈은, 적어도 컨볼루션 레이어, 풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 포함하여 결함 특징맵을 추출하는 결함 특징 추출부; 및 적어도 디컨볼루션 레이어, 언풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 포함하여 상기 결함 특징맵을 결함 복원 영상으로 복원하는 결함 복원부;를 포함할 수 있다.
한편, 상기 과제를 해결하기 위한 본 발명의 사상에 따른 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 방법은, (a) 원본 영상이 입력되면 상기 원본 영상과 동일하거나 유사한 제 1 복원 영상을 생성하고, 상기 제 1 복원 영상의 제 1 이진 영상을 생성하는 단계; 및 (b) 상기 제 1 복원 영상을 입력으로 하고, 상기 제 1 이진 영상을 출력으로 하여 딥러닝 방식으로 학습시켜서 제품의 결함을 검사하는 단계;를 포함할 수 있다.
또한, 본 발명에 따르면, 상기 (a) 단계는, (a-1) 입력된 상기 원본 영상을 특징맵으로 맵핑하는 단계; (a-2) 상기 특징맵을 제 1 복원용 제트값에 기초하여 상기 제 1 복원 영상으로 복원하는 단계; 및 (a-3) 상기 특징맵을 제 1 이진용 제트값에 기초하여 상기 제 1 이진 영상으로 복원하는 단계;를 포함할 수 있다.
또한, 본 발명에 따르면, 상기 (a) 단계는, (a-4) 상기 특징맵을 제 N 복원용 제트값에 기초하여 제 N 복원 영상으로 복원하는 단계; 및 (a-5) 상기 특징맵을 제 N 이진용 제트값에 기초하여 제 N 이진 영상으로 복원하는 단계;를 더 포함할 수 있다.
또한, 본 발명에 따르면, 상기 (b) 단계는, (b-1) 적어도 컨볼루션 레이어, 풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 이용하여 결함 특징맵을 추출하는 단계; 및 (b-2) 적어도 디컨볼루션 레이어, 언풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 이용하여 상기 결함 특징맵을 결함 복원 영상으로 복원하는 단계;를 포함할 수 있다.
상기한 바와 같이 이루어진 본 발명의 여러 실시예들에 따르면, 대량의 원본 영상을 머신 러닝으로 분류하는 결함 검출 기술이 아닌 딥러닝 방식으로 스스로 적은 양의 원본 영상을 다수회로 복원한 대량의 복원 영상을 학습하게 하여 결함의 특징을 추출할 수 있고, 원본 영상으로부터 복원 영상과 이진 영상을 동시에 생성하여 데이터 부족 현상을 해결할 수 있으며, 레이블링(labeling) 작업의 시간을 획기적으로 단축할 수 있고, 레이블링 작업시 발생할 수 있는 레이블 에러(label error) 현상을 획기적으로 줄일 수 있으며, 다양하고도 많은 양의 복원 영상과 이진 영상을 빠른 시간 안에 취득할 수 있어서 원본 영상의 부족 현상을 방지함으로써 제조업 제품의 결함 검사 및 품질 진단에 대한 정밀도와 판정의 정확도를 크게 향상시킬 수 있고, 제품의 결함 검사 뿐만 아니라, 비파괴 검사와 같은 진단 분야에도 사용될 수 있으며, 스마트 팩토리(Smart Factory) 구현의 필수 기술로서 생산 조업 조건에 따른 설비의 상태를 판정하고 설비 상태에 따른 제품의 품질을 예측하여 생산 조건을 최적화하는 기술에도 응용할 수 있는 효과를 갖는 것이다. 물론 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.
도 1은 본 발명의 일부 실시예들에 따른 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템을 개념적으로 나타내는 블록도이다.
도 2는 도 1의 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템의 데이터 페어 생성 모듈을 나타내는 개념도이다.
도 3은 도 1의 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템의 데이터 페어 생성 모듈을 보다 상세하게 나타내는 개념도이다.
도 4는 도 1의 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템의 제 1 인코더와, 제 1 복원용 제트값 및 제 1-1 디코더 간의 관계의 일례를 개념적으로 나타내는 개념도이다.
도 5는 도 1의 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템의 결함 검사 모듈을 개념적으로 나타내는 개념도이다.
도 6은 본 발명의 일부 실시예들에 따른 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 방법을 나타내는 순서도이다.
도 7은 본 발명의 일부 다른 실시예들에 따른 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 방법을 나타내는 순서도이다.
도 2는 도 1의 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템의 데이터 페어 생성 모듈을 나타내는 개념도이다.
도 3은 도 1의 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템의 데이터 페어 생성 모듈을 보다 상세하게 나타내는 개념도이다.
도 4는 도 1의 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템의 제 1 인코더와, 제 1 복원용 제트값 및 제 1-1 디코더 간의 관계의 일례를 개념적으로 나타내는 개념도이다.
도 5는 도 1의 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템의 결함 검사 모듈을 개념적으로 나타내는 개념도이다.
도 6은 본 발명의 일부 실시예들에 따른 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 방법을 나타내는 순서도이다.
도 7은 본 발명의 일부 다른 실시예들에 따른 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 방법을 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 여러 실시예들을 상세히 설명하기로 한다.
본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려 이들 실시예들은 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다. 또한, 도면에서 각 층의 두께나 크기는 설명의 편의 및 명확성을 위하여 과장된 것이다.
본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이, 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 경우 "포함한다(comprise)" 및/또는 "포함하는(comprising)"은 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 형상, 숫자, 동작, 부재, 요소 및/또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다.
이하, 본 발명의 실시예들은 본 발명의 이상적인 실시예들을 개략적으로 도시하는 도면들을 참조하여 설명한다. 도면들에 있어서, 예를 들면, 제조 기술 및/또는 공차(tolerance)에 따라, 도시된 형상의 변형들이 예상될 수 있다. 따라서, 본 발명 사상의 실시예는 본 명세서에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니 되며, 예를 들면 제조상 초래되는 형상의 변화를 포함하여야 한다.
도 1은 본 발명의 일부 실시예들에 따른 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템(100)을 개념적으로 나타내는 블록도이다.
예컨대, 도 1에 도시된 바와 같이, 본 발명의 일부 실시예들에 따른 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템(100)은, 크게 데이터 페어 생성 모듈(10) 및 결함 검사 모듈(20)을 포함할 수 있다.
여기서, 예컨대, 도 1에 도시된 바와 같이, 상기 데이터 페어 생성 모듈(10)은, 원본 영상(1)이 입력되면 상기 원본 영상(1)과 동일하거나 유사한 제 1 복원 영상(1a) 내지 제 N 복원 영상(Na)을 복수개로 생성하고, 상기 제 1 복원 영상(1a)의 페어 영상인 제 1 이진 영상(1b) 내지 상기 제 N 복원 영상(Na)의 페어 영상인 제 N 이진 영상(Nb)을 복수개로 생성하는 모듈로서, 예를 들면, 상기 데이터 페어 생성 모듈(10)은 기계 학습 모드 및 개체 검출 모드의 2개 모드로 동작할 수 있다.
예를 들면, 기계 학습 모드에서는 상기 데이터 페어 생성 모듈(10)이 학습 데이터(GTD, Ground Truth Data)를 통하여 개체 분류에 대한 학습을 수행할 수 있다.
이때, 상기 데이터 페어 생성 모듈(10)은 영상에 대한 학습을 수행할 수 있는 신경망 회로(Neural Network), 예를 들어 CNN(Convolutional Neural Network)을 포함하여 기계 학습 및 영상 내의 특정 개체의 분류를 수행할 수 있다.
또한, 학습 데이터는 레이블링(labeling)된 GTD(Ground Truth Data)를 통하여 개체 분류 모듈을 기계 학습시킬 수 있다. 예를 들어 학습 데이터는 특정 개체의 복수의 종류의 분류명과 연결된 결함 영상을 포함할 수 있다.
여기서, 예컨대, 도 1에 도시된 바와 같이, 상기 결함 검사 모듈(20)은, 상기 데이터 페어 생성 모듈(10)에서 출력된 상기 제 1 복원 영상(1a)을 입력으로 하고, 상기 제 1 이진 영상(1b)을 출력으로 하여 딥러닝 방식으로 학습시켜서 제품의 결함을 검사하는 모듈로서, 예를 들면, 상기 결함 검사 모듈(20)은 기계 학습 모드 및 개체 검출 모드의 2개 모드로 동작할 수 있다.
예를 들면, 기계 학습 모드에서는 상기 결함 검사 모듈(20)이 학습 데이터(GTD, Ground Truth Data)를 통하여 개체 분류에 대한 학습을 수행할 수 있다.
이때, 상기 결함 검사 모듈(20)은 영상에 대한 학습을 수행할 수 있는 신경망 회로(Neural Network), 예를 들어 CNN(Convolutional Neural Network)을 포함하여 기계 학습 및 영상 내의 특정 개체의 분류를 수행할 수 있다.
또한, 학습 데이터는 레이블링(labeling)된 GTD(Ground Truth Data)를 통하여 개체 분류 모듈을 기계 학습시킬 수 있다. 예를 들어 학습 데이터는 특정 개체의 복수의 종류의 분류명과 연결된 결함 영상을 포함할 수 있다.
도 2는 도 1의 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템(100)의 데이터 페어 생성 모듈(10)을 나타내는 개념도이다.
더욱 구체적으로 예를 들면, 도 2에 도시된 바와 같이, 상기 데이터 페어 생성 모듈(10)은, 오토인코더(Auto-encoder) 형태의 딥러닝 모델로서, 입력된 원본 영상(1)을 특징맵으로 맵핑하는 제 1 인코더(E1)와, 상기 특징맵을 상기 제 1 복원용 제트값(Z1a)에 기초하여 상기 제 1 복원 영상(1a)으로 복원하는 제 1-1 디코더(D1-1)와, 상기 특징맵을 상기 제 1 이진용 제트값(Z1b)에 기초하여 상기 제 1 이진 영상(1b)으로 복원하는 제 1-2 디코더(D1-2)와, 상기 특징맵을 제 N 복원용 제트값(ZNa)에 기초하여 제 N 복원 영상(Na)으로 복원하는 제 N-1 디코더(DN-1) 및 상기 특징맵을 제 N 이진용 제트값(ZNb)에 기초하여 제 N 이진 영상(Nb)으로 복원하는 제 N-2 디코더(DN-2)를 포함할 수 있다.
여기서, N은 양의 정수로서, 상술된 제트값들을 변화시키면서 N차로 서로 다르게 구성하여 1개의 원본 영상(1)을 복수개의 페어로 구성된 또 다른 원본 영상의 형태인 N개의 복원 영상과 N개의 이진 영상을 생성할 수 있다.
따라서, 하나의 인코더와 대응되는 복수개의 디코더들을 이용하여, 대량의 원본 영상을 머신 러닝으로 분류하는 결함 검출 기술이 아닌 딥러닝 방식으로 스스로 적은 양의 원본 영상을 다수회로 복원한 대량의 복원 영상을 학습하게 하여 결함의 특징을 추출할 수 있고, 원본 영상으로부터 복원 영상과 이진 영상을 동시에 생성하여 데이터 부족 현상을 해결할 수 있다. 즉, 상술된 상기 데이터 페어 생성 모듈(10)을 이용하여 적은 수의 데이터를 충분히 많은 양의 빅데이터로 형성할 수 있다.
도 3은 도 1의 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템(100)의 데이터 페어 생성 모듈(10)을 보다 상세하게 나타내는 개념도이다.
더욱 구체적으로 예를 들면, 도 3에 도시된 바와 같이, 상기 제 1 인코더(E1)는, 필터로 입력값을 컨볼루션하여 보다 작은 사이즈의 특징맵을 추출하는 컨볼루션 레이어(11)(convolution layer)와, 배치(batch)의 평균이나 표준편차를 기초로 정규화된 출력값을 생성하는 배치 정규화 레이어(12)(batch normalization layer)와, 컨볼루션 연산 이후에 추가적으로 데이터를 활성화하는 활성화 함수(13)(activation function) 및 특징맵에서 풀링 커널 크기만큼의 데이터를 더 작은 사이즈의 데이터로 서브샘플링하는 풀링 레이어(14)(pooling layer)를 포함할 수 있다.
예를 들면, 도 3에 도시된 바와 같이, 상기 제 1 인코더(E1)의 상기 컨볼루션 레이어(11)는 제 1 컨볼루션 레이어와 제 2 컨볼루션 레이어 등을 포함할 수 있다. 이 경우, 상기 제 2 컨볼루션 레이어는 상기 제 1 컨볼루션 레이어의 후방에 존재한다. 즉, 상기 제 2 컨볼루션 레이어는 상기 제 1 컨볼루션 레이어의 출력을 이용할 수 있다.
보다 구체적으로, 상기 제 1 컨볼루션 레이어는 입력된 원본 영상의 사이즈 보다 작은 사이즈의 컨볼루션 필터 커널에 기초하여 특징맵(Feature Map)을 추출할 수 있다. 예컨대, 상기 컨볼루션 필터 커널은 원본 사이즈보다 작은 크기의 행렬이다. 이 때, 상기 제 1 컨볼루션 레이어는 컨볼루션 필터 커널을 이동시켜 가면서 원본 영상에 곱하여 특징맵을 추출할 수 있다. 이 때, 컨볼루션 연산을 완료한 후에, 정규화된 출력값을 생성하는 상기 배치 정규화 레이어(12) 또는 데이터 활성화를 위하여 추가적으로 상기 활성화 함수(13), 예를 들어, ReLU 등에 통과시킬 수 있다.
이러한, 상기 컨볼루션 레이어(11)를 통과한 후에는 데이터 및 연산량을 줄이기 위하여 상기 풀링 레이어(14)를 통과할 수 있다.
이 경우, 상기 풀링 레이어(14)는 특징맵에서 풀링 커널(예를 들어 n x m) 크기만큼의 데이터를 더 작은 사이즈의 데이터로 서브샘플링(Subsampling)할 수 있다.
이와 같이, 상기 제 1 인코더(E1)의 CNN은 복수의 컨볼루션 레이어(11) 및 풀링 레이어(14)를 반복적으로 통과시켜 연산을 수행할 수 있다.
또한, 예컨대, 도 3에 도시된 바와 같이, 상기 제 1-1 디코더(D1-1)는, 필터로 입력값을 디컨볼루션하여 보다 큰 사이즈의 특징맵을 추출하는 디컨볼루션 레이어(15)(deconvolution layer)와, 배치(batch)의 평균이나 표준편차를 기초로 정규화된 출력값을 생성하는 배치 정규화 레이어(16)(batch normalization layer)와, 컨볼루션 연산 이후에 추가적으로 데이터를 활성화하는 활성화 함수(17)(activation function) 및 특징맵에서 풀링 커널 크기만큼의 데이터를 더 큰 사이즈의 데이터로 업샘플링하는 언풀링 레이어(18)(unpooling layer)를 포함할 수 있다.
또한, 예컨대, 상기 제 1-1 디코더(D1-1)의 상기 디컨볼루션 레이어(15)는 제 1 디컨볼루션 레이어와 제 2 디컨볼루션 레이어 등을 포함할 수 있다. 이 경우, 상기 제 2 디컨볼루션 레이어는 상기 제 1 디컨볼루션 레이어의 후방에 존재한다. 즉, 상기 제 2 디컨볼루션 레이어는 상기 제 1 디컨볼루션 레이어의 출력을 이용할 수 있다.
보다 구체적으로, 상기 제 1 디컨볼루션 레이어는 입력된 특징맵의 사이즈 보다 넓은 사이즈의 특징맵을 추출할 수 있다. 이 때, 상기 제 1 디컨볼루션 레이어는 디컨볼루션 필터 커널을 이동시켜 가면서 원본 영상에 곱하여 특징맵을 추출할 수 있다. 이 때, 디컨볼루션 연산을 완료한 후에, 정규화된 출력값을 생성하는 상기 배치 정규화 레이어(16) 또는 데이터 활성화를 위하여 추가적으로 상기 활성화 함수(17), 예를 들어, ReLU 등에 통과시킬 수 있다.
이러한, 상기 디컨볼루션 레이어를 통과한 후에는 데이터 및 연산량을 늘리기 위하여 상기 언풀링 레이어(18)를 통과할 수 있다.
이 경우, 상기 언풀링 레이어(18)는 특징맵에서 언풀링 커널 크기만큼의 데이터를 더 큰 사이즈의 데이터로 업샘플링(Upsampling)할 수 있다.
이와 같이, 상기 제 1-1 디코더(D1-1)의 CNN은 복수의 디컨볼루션 레이어(15) 및 언풀링 레이어(18)를 반복적으로 통과시켜 연산을 수행할 수 있다.
도 4는 도 1의 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템(100)의 제 1 인코더(E1)와, 제 1 복원용 제트값(Z1a) 및 제 1-1 디코더(D1-1) 간의 관계의 일례를 개념적으로 나타내는 개념도이다.
도 2 내지 도 4에 도시된 바와 같이, 상기 제 1 복원용 제트값(Z1a)은, 상기 제 1 복원 영상(1a)이 상기 원본 영상(1)과 동일하거나 유사하게 생성되도록 학습되는 매개 랜덤 은닉 변수이고, 상기 제 1 이진용 제트값(Z1b)은, 상기 제 1 이진 영상(1b)이 상기 제 1 복원 영상(1a)의 이진화된 페어 영상으로 생성되도록 학습되는 매개 랜덤 은닉 변수일 수 있다.
이와 마찬가지로, 도 2에 도시된 바와 같이, 상기 제 N 복원용 제트값(ZNa)은, 상기 제 N 복원 영상(Na)이 상기 원본 영상(1)과 동일하거나 유사하게 생성되도록 학습되는 매개 랜덤 은닉 변수이고, 상기 제 N 이진용 제트값(ZNb)은, 상기 제 N 이진 영상(Nb)이 상기 제 N 복원 영상(Na)의 이진화된 페어 영상으로 생성되도록 학습되는 매개 랜덤 은닉 변수일 수 있다.
따라서, 도 4에 도시된 바와 같이, 이러한 매개 랜덤 은닉 변수(latent variables)는 입력층(input layer)와 출력층(output layer) 사이에서 입력된 데이터들의 변환 과정에서 가중치를 달리하여 출력될 수 있도록 학습되는 변수로서, 본 발명은 인코더(encoder)와 디코더(decoder) 사이의 매개 랜덤 은닉 변수를 달리하여 동일한 원본 영상(1)으로부터 상기 원본 영상(1)과 동일하거나 유사하게 복원된 복수개의 복원 영상 및 이들 복원 영상들의 페어 영상인 복수개의 이진 영상들을 생성할 수 있다.
그러므로, 하나의 원본 영상으로부터 복수개의 복원 영상과 이진 영상을 동시에 생성하여 데이터 부족 현상을 해결할 수 있으며, 레이블링(labeling) 작업의 시간을 획기적으로 단축할 수 있고, 레이블링 작업시 발생할 수 있는 레이블 에러(label error) 현상을 획기적으로 줄일 수 있으며, 다양하고도 많은 양의 복원 영상과 이진 영상을 빠른 시간 안에 취득할 수 있어서 원본 영상의 부족 현상을 방지함으로써 제조업 제품의 결함 검사 및 품질 진단에 대한 정밀도와 판정의 정확도를 크게 향상시킬 수 있다.
도 5는 도 1의 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템(100)의 결함 검사 모듈(20)을 개념적으로 나타내는 개념도이다.
한편, 더욱 구체적으로 예를 들면, 도 1 및 도 5에 도시된 바와 같이, 상기 결함 검사 모듈(20)은, 적어도 컨볼루션 레이어(211), 풀링 레이어(212), 활성화 함수(213) 및 이들의 조합들 중 어느 하나 이상을 포함하여 결함 특징맵을 추출하는 결함 특징 추출부(21) 및 적어도 디컨볼루션 레이어(221), 언풀링 레이어(222), 활성화 함수(223) 및 이들의 조합들 중 어느 하나 이상을 포함하여 상기 결함 특징맵을 결함 복원 영상으로 복원하는 결함 복원부(22)를 포함할 수 있다.
여기서, 예컨대, 상기 결함 특징 추출부(21)의 상기 컨볼루션 레이어(211)(convolution layer)는, 필터로 입력값을 컨볼루션하여 보다 작은 사이즈의 특징맵을 추출할 수 있는 계층이고, 상기 풀링 레이어(212)는, 특징맵에서 풀링 커널 크기만큼의 데이터를 더 작은 사이즈의 데이터로 서브샘플링할 수 있는 계층이며, 상기 활성화 함수(213)는 컨볼루션 연산 이후에 추가적으로 데이터를 활성화하는 함수일 수 있다.
또한, 예컨대, 상기 결함 복원부(22)의 상기 디컨볼루션 레이어(221)는, 필터로 입력값을 디컨볼루션하여 보다 큰 사이즈의 특징맵을 추출할 수 있는 계층이고, 상기 언풀링 레이어(222)는, 특징맵에서 풀링 커널 크기만큼의 데이터를 더 큰 사이즈의 데이터로 업샘플링할 수 있는 계층이며, 상기 활성화 함수(223)는, 컨볼루션 연산 이후에 추가적으로 데이터를 활성화하는 함수일 수 있다.
예를 들면, 도 5에 도시된 바와 같이, 상기 결함 특징 추출부(21)의 상기 컨볼루션 레이어(211)는 제 1 컨볼루션 레이어와 제 2 컨볼루션 레이어 등을 포함할 수 있다. 이 경우, 상기 제 2 컨볼루션 레이어는 상기 제 1 컨볼루션 레이어의 후방에 존재한다. 즉, 상기 제 2 컨볼루션 레이어는 상기 제 1 컨볼루션 레이어의 출력을 이용할 수 있다.
보다 구체적으로, 상기 제 1 컨볼루션 레이어는 입력된 원본 영상의 사이즈 보다 작은 사이즈의 컨볼루션 필터 커널에 기초하여 특징맵(Feature Map)을 추출할 수 있다. 예컨대, 상기 컨볼루션 필터 커널은 원본 사이즈보다 작은 크기의 행렬이다. 이 때, 상기 제 1 컨볼루션 레이어는 컨볼루션 필터 커널을 이동시켜 가면서 원본 영상에 곱하여 특징맵을 추출할 수 있다. 이 때, 컨볼루션 연산을 완료한 후에, 데이터 활성화를 위하여 추가적으로 상기 활성화 함수(213), 예를 들어, ReLU 등에 통과시킬 수 있다.
이러한, 상기 컨볼루션 레이어를 통과한 후에는 데이터 및 연산량을 줄이기 위하여 상기 풀링 레이어(212)를 통과할 수 있다.
이 경우, 상기 풀링 레이어(212)는 특징맵에서 풀링 커널(예를 들어 n x m) 크기만큼의 데이터를 더 작은 사이즈의 데이터로 서브샘플링(Subsampling)할 수 있다.
이와 같이, 상기 결함 특징 추출부(21)의 CNN은 복수의 컨볼루션 레이어(211) 및 풀링 레이어(212)를 반복적으로 통과시켜 연산을 수행할 수 있다.
또한, 예컨대, 상기 결함 복원부(22)의 상기 디컨볼루션 레이어(221)는 제 1 디컨볼루션 레이어와 제 2 디컨볼루션 레이어 등을 포함할 수 있다. 이 경우, 상기 제 2 디컨볼루션 레이어는 상기 제 1 디컨볼루션 레이어의 후방에 존재한다. 즉, 상기 제 2 디컨볼루션 레이어는 상기 제 1 디컨볼루션 레이어의 출력을 이용할 수 있다.
보다 구체적으로, 상기 제 1 디컨볼루션 레이어는 입력된 특징맵의 사이즈 보다 넓은 사이즈의 특징맵을 추출할 수 있다. 이 때, 상기 제 1 디컨볼루션 레이어는 디컨볼루션 필터 커널을 이동시켜 가면서 원본 영상에 곱하여 특징맵을 추출할 수 있다. 이 때, 디컨볼루션 연산을 완료한 후에, 데이터 활성화를 위하여 추가적으로 상기 활성화 함수(223), 예를 들어, ReLU 등에 통과시킬 수 있다.
이러한, 상기 디컨볼루션 레이어를 통과한 후에는 데이터 및 연산량을 늘리기 위하여 상기 언풀링 레이어(222)를 통과할 수 있다.
이 경우, 상기 언풀링 레이어(222)는 특징맵에서 언풀링 커널 크기만큼의 데이터를 더 큰 사이즈의 데이터로 업샘플링(Upsampling)할 수 있다.
이와 같이, 상기 결함 복원부(22)의 CNN은 복수의 디컨볼루션 레이어(221) 및 언풀링 레이어(222)를 반복적으로 통과시켜 연산을 수행할 수 있다.
그러므로, 상기 결함 특징 추출부(21)와 상기 결함 복원부(22)를 이용하여 상술된 복수개의 페어 데이터들인 N개의 상기 제 N 복원 영상(Na) 및 N개의 상기 제 N 이진 영상(Nb)를 반복적으로 학습시켜서 최종적으로 제품의 결함을 높은 정확도와 정밀도로 판별할 수 있다.
도 6은 본 발명의 일부 실시예들에 따른 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 방법을 나타내는 순서도이다.
도 1 내지 도 6에 도시된 바와 같이, 본 발명의 일부 실시예들에 따른 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 방법은, (a) 원본 영상(1)이 입력되면 상기 원본 영상(1)과 동일하거나 유사한 제 1 복원 영상(1a)을 생성하고, 상기 제 1 복원 영상(1a)의 제 1 이진 영상(1b)을 생성하는 단계 및 (b) 결함으로 판정된 상기 제 1 복원 영상(1a)을 입력으로 하고, 결함의 형상이 이진 영상으로 두드러지게 나타낼 수 있는 상기 제 1 이진 영상(1b)을 출력으로 하여 딥러닝 방식으로 다수회 반복하면서 내부 가중치를 학습시켜서 이후 입력된 제 1 복원 영상을 반복 학습된 가중치를 이용하여 출력된 제 1 이진 영상의 형상을 이용하여 제품의 결함을 검사하는 단계를 포함할 수 있다.
도 7은 본 발명의 일부 다른 실시예들에 따른 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 방법을 나타내는 순서도이다.
도 1 내지 도 7에 도시된 바와 같이, 본 발명의 일부 다른 실시예들에 따른 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 방법은, (a) 원본 영상(1)이 입력되면 상기 원본 영상(1)과 동일하거나 유사한 제 1 복원 영상(1a)을 생성하고, 상기 제 1 복원 영상(1a)의 제 1 이진 영상(1b)을 생성하는 단계 및 (b) 상기 제 1 복원 영상(1a)을 입력으로 하고, 상기 제 1 이진 영상(1b)을 출력으로 하여 딥러닝 방식으로 학습시켜서 제품의 결함을 검사하는 단계를 포함하고, 상기 (a) 단계는, (a-1) 입력된 상기 원본 영상(1)을 특징맵으로 맵핑하는 단계와, (a-2) 상기 특징맵을 제 1 복원용 제트값(Z1a)에 기초하여 상기 제 1 복원 영상(1a)으로 복원하는 단계와, (a-3) 상기 특징맵을 제 1 이진용 제트값(Z1b)에 기초하여 상기 제 1 이진 영상(1b)으로 복원하는 단계와, (a-4) 상기 특징맵을 제 N 복원용 제트값(ZNa)에 기초하여 제 N 복원 영상(Na)으로 복원하는 단계 및 (a-5) 상기 특징맵을 제 N 이진용 제트값(ZNb)에 기초하여 제 N 이진 영상(Nb)으로 복원하는 단계를 포함하고, 상기 (b) 단계는, (b-1) 적어도 컨볼루션 레이어(211), 풀링 레이어(212), 활성화 함수(213) 및 이들의 조합들 중 어느 하나 이상을 이용하여 결함 특징맵을 추출하는 단계 및 (b-2) 적어도 디컨볼루션 레이어(221), 언풀링 레이어(222), 활성화 함수(223) 및 이들의 조합들 중 어느 하나 이상을 이용하여 상기 결함 특징맵을 결함 복원 영상으로 복원하는 단계를 포함할 수 있다.
그러므로, 원본 영상을 얻기 어려운 환경 하에서도, 다양하고도 많은 양의 복원 영상과 이진 영상을 빠른 시간 안에 취득할 수 있어서 원본 영상의 부족 현상을 방지함으로써 제조업 제품의 결함 검사 및 품질 진단에 대한 정밀도와 판정의 정확도를 크게 향상시킬 수 있고, 제품의 결함 검사 뿐만 아니라, 비파괴 검사와 같은 진단 분야에도 사용될 수 있으며, 스마트 팩토리(Smart Factory) 구현의 필수 기술로서 생산 조업 조건에 따른 설비의 상태를 판정하고 설비 상태에 따른 제품의 품질을 예측하여 생산 조건을 최적화하는 기술에도 응용할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
1: 원본 영상
1a: 제 1 복원 영상
1b: 제 1 이진 영상
Na: 제 N 복원 영상
Nb: 제 N 이진 영상
10: 데이터 페어 생성 모듈
E1: 제 1 인코더
D1-1: 제 1-1 디코더
D1-2: 제 1-2 디코더
DN-1: 제 N-1 디코더
DN-2: 제 N-2 디코더
Z1a: 제 1 복원용 제트값
Z1b: 제 1 이진용 제트값
ZNa: 제 N 복원용 제트값
ZNb: 제 N 이진용 제트값
11: 컨볼루션 레이어(convolution layer)
12: 정규화 레이어(batch normalization layer)
13: 활성화 함수(activation function)
14: 풀링 레이어(pooling layer)
15: 디컨볼루션 레이어(deconvolution layer)
16: 배치 정규화 레이어(batch normalization layer)
17: 활성화 함수(activation function)
18: 언풀링 레이어(unpooling layer)
20: 결함 검사 모듈
21: 결함 특징 추출부
211: 컨볼루션 레이어
212: 풀링 레이어
213: 활성화 함수
22: 결함 복원부
221: 디컨볼루션 레이어
222: 언풀링 레이어
223: 활성화 함수
100: 딥러닝 기반 제품 결함 검사 시스템
1a: 제 1 복원 영상
1b: 제 1 이진 영상
Na: 제 N 복원 영상
Nb: 제 N 이진 영상
10: 데이터 페어 생성 모듈
E1: 제 1 인코더
D1-1: 제 1-1 디코더
D1-2: 제 1-2 디코더
DN-1: 제 N-1 디코더
DN-2: 제 N-2 디코더
Z1a: 제 1 복원용 제트값
Z1b: 제 1 이진용 제트값
ZNa: 제 N 복원용 제트값
ZNb: 제 N 이진용 제트값
11: 컨볼루션 레이어(convolution layer)
12: 정규화 레이어(batch normalization layer)
13: 활성화 함수(activation function)
14: 풀링 레이어(pooling layer)
15: 디컨볼루션 레이어(deconvolution layer)
16: 배치 정규화 레이어(batch normalization layer)
17: 활성화 함수(activation function)
18: 언풀링 레이어(unpooling layer)
20: 결함 검사 모듈
21: 결함 특징 추출부
211: 컨볼루션 레이어
212: 풀링 레이어
213: 활성화 함수
22: 결함 복원부
221: 디컨볼루션 레이어
222: 언풀링 레이어
223: 활성화 함수
100: 딥러닝 기반 제품 결함 검사 시스템
Claims (11)
- 원본 영상이 입력되면 상기 원본 영상과 동일하거나 유사한 제 1 복원 영상을 생성하고, 상기 제 1 복원 영상의 제 1 이진 영상을 생성하는 데이터 페어 생성 모듈; 및
상기 데이터 페어 생성 모듈에서 출력된 상기 제 1 복원 영상을 입력으로 하고, 결함의 형상이 이진 영상으로 두드러지게 나타낼 수 있는 상기 제 1 이진 영상을 출력으로 하여 딥러닝 방식으로 다수회 반복하면서 내부 가중치를 학습시켜서 이후 입력된 제 1 복원 영상을 반복 학습된 가중치를 이용하여 출력된 제 1 이진 영상의 형상을 이용하여 제품의 결함을 검사하는 결함 검사 모듈;
을 포함하는, 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템. - 제 1 항에 있어서,
상기 데이터 페어 생성 모듈은,
입력된 원본 영상을 특징맵으로 맵핑하는 제 1 인코더;
상기 특징맵을 제 1 복원용 제트값에 기초하여 상기 제 1 복원 영상으로 복원하는 제 1-1 디코더; 및
상기 특징맵을 제 1 이진용 제트값에 기초하여 상기 제 1 이진 영상으로 복원하는 제 1-2 디코더;
를 포함하는, 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템. - 제 2 항에 있어서,
상기 제 1 복원용 제트값은, 상기 제 1 복원 영상이 상기 원본 영상과 동일하거나 유사하게 생성되도록 학습되는 매개 랜덤 은닉 변수이고,
상기 제 1 이진용 제트값은, 상기 제 1 이진 영상이 상기 제 1 복원 영상의 이진화된 페어 영상으로 생성되도록 학습되는 매개 랜덤 은닉 변수인, 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템. - 제 2 항에 있어서,
상기 제 1 인코더는,
필터로 입력값을 컨볼루션하여 보다 작은 사이즈의 특징맵을 추출하는 컨볼루션 레이어(convolution layer);
배치의 평균이나 표준편차를 기초로 정규화된 출력값을 생성하는 배치 정규화 레이어(batch normalization layer);
컨볼루션 연산 이후에 추가적으로 데이터를 활성화하는 활성화 함수(activation function); 및
특징맵에서 풀링 커널 크기만큼의 데이터를 더 작은 사이즈의 데이터로 서브샘플링하는 풀링 레이어(pooling layer);
를 포함하는, 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템. - 제 2 항에 있어서,
상기 제 1-1 디코더 또는 상기 제 1-2 디코더는,
필터로 입력값을 디컨볼루션하여 보다 큰 사이즈의 특징맵을 추출하는 디컨볼루션 레이어(deconvolution layer);
배치의 평균이나 표준편차를 기초로 정규화된 출력값을 생성하는 배치 정규화 레이어(batch normalization layer);
컨볼루션 연산 이후에 추가적으로 데이터를 활성화하는 활성화 함수(activation function); 및
특징맵에서 풀링 커널 크기만큼의 데이터를 더 큰 사이즈의 데이터로 업샘플링하는 언풀링 레이어(unpooling layer);
를 포함하는, 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템. - 제 2 항에 있어서,
상기 데이터 페어 생성 모듈은,
상기 특징맵을 제 N 복원용 제트값에 기초하여 제 N 복원 영상으로 복원하는 제 N-1 디코더; 및
상기 특징맵을 제 N 이진용 제트값에 기초하여 제 N 이진 영상으로 복원하는 제 N-2 디코더;
를 더 포함하는, 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템. - 제 1 항에 있어서,
상기 결함 검사 모듈은,
적어도 컨볼루션 레이어, 풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 포함하여 결함 특징맵을 추출하는 결함 특징 추출부; 및
적어도 디컨볼루션 레이어, 언풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 포함하여 상기 결함 특징맵을 결함 복원 영상으로 복원하는 결함 복원부;
를 포함하는, 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템. - (a) 원본 영상이 입력되면 상기 원본 영상과 동일하거나 유사한 제 1 복원 영상을 생성하고, 상기 제 1 복원 영상의 제 1 이진 영상을 생성하는 단계; 및
(b) 결함으로 판정된 상기 제 1 복원 영상을 입력으로 하고, 결함의 형상이 이진 영상으로 두드러지게 나타낼 수 있는 상기 제 1 이진 영상을 출력으로 하여 딥러닝 방식으로 다수회 반복하면서 내부 가중치를 학습시켜서 이후 입력된 제 1 복원 영상을 반복 학습된 가중치를 이용하여 출력된 제 1 이진 영상의 형상을 이용하여 제품의 결함을 검사하는 단계;
를 포함하는, 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 방법. - 제 8 항에 있어서,
상기 (a) 단계는,
(a-1) 입력된 상기 원본 영상을 특징맵으로 맵핑하는 단계;
(a-2) 상기 특징맵을 제 1 복원용 제트값에 기초하여 상기 제 1 복원 영상으로 복원하는 단계; 및
(a-3) 상기 특징맵을 제 1 이진용 제트값에 기초하여 상기 제 1 이진 영상으로 복원하는 단계;
를 포함하는, 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 방법. - 제 9 항에 있어서,
상기 (a) 단계는,
(a-4) 상기 특징맵을 제 N 복원용 제트값에 기초하여 제 N 복원 영상으로 복원하는 단계; 및
(a-5) 상기 특징맵을 제 N 이진용 제트값에 기초하여 제 N 이진 영상으로 복원하는 단계;
를 더 포함하는, 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 방법. - 제 8 항에 있어서,
상기 (b) 단계는,
(b-1) 적어도 컨볼루션 레이어, 풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 이용하여 결함 특징맵을 추출하는 단계; 및
(b-2) 적어도 디컨볼루션 레이어, 언풀링 레이어, 활성화 함수 및 이들의 조합들 중 어느 하나 이상을 이용하여 상기 결함 특징맵을 결함 복원 영상으로 복원하는 단계;
를 포함하는, 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200082915A KR102302540B1 (ko) | 2020-07-06 | 2020-07-06 | 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200082915A KR102302540B1 (ko) | 2020-07-06 | 2020-07-06 | 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102302540B1 true KR102302540B1 (ko) | 2021-09-16 |
Family
ID=77926619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200082915A KR102302540B1 (ko) | 2020-07-06 | 2020-07-06 | 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102302540B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113888523A (zh) * | 2021-10-20 | 2022-01-04 | 山西省机电设计研究院有限公司 | 一种强化x射线不锈钢焊缝缺陷实时语义分割方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101911061B1 (ko) * | 2018-03-26 | 2018-10-23 | 주식회사 대곤코퍼레이션 | 비지도 학습기반 영역별 자가부호기를 이용한 제품 불량판별 시스템 및 비지도 학습기반 영역별 자가부호기를 이용한 제품 불량판별 방법 |
| KR101992970B1 (ko) * | 2017-10-16 | 2019-06-26 | 한국생산기술연구원 | 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법 |
| JP2019124591A (ja) * | 2018-01-17 | 2019-07-25 | 東京エレクトロン株式会社 | 基板の欠陥検査装置、基板の欠陥検査方法及び記憶媒体 |
| JP2019148950A (ja) * | 2018-02-27 | 2019-09-05 | シスメックス株式会社 | 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム |
| KR20200039049A (ko) * | 2018-10-02 | 2020-04-16 | (주)지엘테크 | 외관불량 검사방법 및 외관불량 검사 시스템 |
-
2020
- 2020-07-06 KR KR1020200082915A patent/KR102302540B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101992970B1 (ko) * | 2017-10-16 | 2019-06-26 | 한국생산기술연구원 | 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법 |
| JP2019124591A (ja) * | 2018-01-17 | 2019-07-25 | 東京エレクトロン株式会社 | 基板の欠陥検査装置、基板の欠陥検査方法及び記憶媒体 |
| JP2019148950A (ja) * | 2018-02-27 | 2019-09-05 | シスメックス株式会社 | 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム |
| KR101911061B1 (ko) * | 2018-03-26 | 2018-10-23 | 주식회사 대곤코퍼레이션 | 비지도 학습기반 영역별 자가부호기를 이용한 제품 불량판별 시스템 및 비지도 학습기반 영역별 자가부호기를 이용한 제품 불량판별 방법 |
| KR20200039049A (ko) * | 2018-10-02 | 2020-04-16 | (주)지엘테크 | 외관불량 검사방법 및 외관불량 검사 시스템 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113888523A (zh) * | 2021-10-20 | 2022-01-04 | 山西省机电设计研究院有限公司 | 一种强化x射线不锈钢焊缝缺陷实时语义分割方法 |
| CN113888523B (zh) * | 2021-10-20 | 2024-05-28 | 山西省机电设计研究院有限公司 | 一种强化x射线不锈钢焊缝缺陷实时语义分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3465174B1 (en) | Generating simulated images from input images for semiconductor applications | |
| US20210209410A1 (en) | Method and apparatus for classification of wafer defect patterns as well as storage medium and electronic device | |
| CN111819676A (zh) | 训练用于低分辨率图像中的缺陷检测的神经网络 | |
| Caceres et al. | A probabilistic Bayesian recurrent neural network for remaining useful life prognostics considering epistemic and aleatory uncertainties | |
| JP2021057042A (ja) | 製品の分類システムおよび製品の分類方法 | |
| Gebregiorgis et al. | Testing of neuromorphic circuits: Structural vs functional | |
| US20200402221A1 (en) | Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device | |
| CN112102281B (zh) | 基于改进Faster Rcnn的货车制动缸故障检测方法 | |
| CN111126433A (zh) | 一种工厂pcb板缺陷检测中正负样本数据平衡方法 | |
| Shin et al. | Mixup-based classification of mixed-type defect patterns in wafer bin maps | |
| US20230259760A1 (en) | System and method for defect detection | |
| TW202211092A (zh) | 訓練機器學習模型以自檢查影像產生較高解析度影像 | |
| KR102302540B1 (ko) | 데이터 페어 생성 기술을 이용한 딥러닝 기반 제품 결함 검사 시스템 및 방법 | |
| CN116994044A (zh) | 一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法 | |
| Zheng et al. | MindFI: A fault injection tool for reliability assessment of MindSpore applicacions | |
| Kong et al. | Semi-supervised classification of wafer map based on ladder network | |
| CN110991124B (zh) | 集成电路修补方法及装置、存储介质、电子设备 | |
| CN114219762A (zh) | 基于图像修复的缺陷检测方法 | |
| CN117540779A (zh) | 一种基于双源知识蒸馏的轻量化金属表面缺陷检测方法 | |
| KR102475851B1 (ko) | 입출력 데이터 생성 및 변형을 이용한 딥러닝 기반 제품 결함 검사 시스템 및 방법 | |
| KR20210003661A (ko) | 패널의 이미지를 이용하여 패널의 결함을 검출하는 방법 및 시스템 | |
| CN117011219A (zh) | 物品质量检测方法、装置、设备、存储介质和程序产品 | |
| KR102302541B1 (ko) | 레이블 데이터 변형을 이용한 인공지능 기반 제품 품질 검사 시스템 및 방법 | |
| KR102434442B1 (ko) | 검사 대상의 결함 검사를 고속으로 수행하는 방법 및 이를 수행하는 장치들 | |
| CN117693754A (zh) | 训练用于图像修复的经掩模的自动编码器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |