KR20220159239A - Apparatus and method for detecting anomalies in manufacturing images based on deep learning - Google Patents
Apparatus and method for detecting anomalies in manufacturing images based on deep learning Download PDFInfo
- Publication number
- KR20220159239A KR20220159239A KR1020210127263A KR20210127263A KR20220159239A KR 20220159239 A KR20220159239 A KR 20220159239A KR 1020210127263 A KR1020210127263 A KR 1020210127263A KR 20210127263 A KR20210127263 A KR 20210127263A KR 20220159239 A KR20220159239 A KR 20220159239A
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- image
- deep learning
- learning
- data
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 37
- 238000007689 inspection Methods 0.000 claims abstract description 19
- 230000007547 defect Effects 0.000 claims abstract description 14
- 239000013598 vector Substances 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 29
- 230000002950 deficient Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 230000005856 abnormality Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 abstract description 7
- 238000004364 calculation method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 239000003990 capacitor Substances 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/007—Dynamic range modification
- G06T5/009—Global, i.e. based on properties of the image as a whole
-
- G06T5/92—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
Description
본 발명은 딥러닝 알고리즘을 이용하여 제조 물품의 영상에 대한 이상(Anomalies)을 탐지하는 딥러닝 기반 제조 영상의 이상 탐지 장치 및 방법에 관한 것이다.The present invention relates to a deep learning-based manufacturing image anomaly detection apparatus and method for detecting anomalies in an image of a manufactured article using a deep learning algorithm.
최근, 제조업에서 제조 물품의 영상(이하, '제조 영상'이라 함)에 대한 이상 여부를 검사하는 이상 검사 장치에 있어서, 기존의 영상 처리 알고리즘을 채용한 이상 검사 장치를 대체하기 위해, CNN(Convolutional Neural Network) 등의 딥러닝 기술을 채용한 비전 검사 시스템에 대한 연구 및 개발이 이루어지고 있다.Recently, in an anomaly inspection device for inspecting an abnormality in an image of a manufactured product (hereinafter referred to as 'manufacturing image') in a manufacturing industry, in order to replace an anomaly inspection device employing an existing image processing algorithm, CNN (Convolutional Research and development are being conducted on vision inspection systems employing deep learning technologies such as Neural Network).
특히, 분류(classification)는 딥러닝에서 특히 활용분야가 높으며 높은 정확도의 성능으로 제품의 양품과 불량을 구분하는데 사용될 수 있다. 하지만 분류의 경우, 많은 불량 데이터와 라벨이 필요하기 때문에 빠른 변화가 요구되는 제조현장에서는 그 사용에 매우 제한적이다. In particular, classification is particularly useful in deep learning and can be used to classify good and bad products with high accuracy performance. However, in the case of classification, since a lot of defective data and labels are required, its use is very limited in manufacturing sites where rapid changes are required.
이러한 문제를 해결하기 위해, 최근에는 라벨이 없이 학습을 하는 자율 학습(Unsupervised learning)이 매우 활발히 연구되고 있다. 하지만 딥러닝은 데이터에 매우 종속적이기 때문에 연구되는 SNS(Social Networking Services) 데이터나 일반 영상을 기반으로 하는 알고리즘을 그대로 적용하게 되면 성능 저하를 보이게 된다. In order to solve this problem, recently, unsupervised learning, which is learning without a label, is being studied very actively. However, since deep learning is very dependent on data, if the algorithm based on SNS (Social Networking Services) data or general images being studied is applied as it is, performance will deteriorate.
기존의 영상처리 방식 대신, 딥러닝의 분류(Classification)를 적용함으로써, 영상처리로는 검출하기 어려운 불량유형에 대해 많은 성능 개선이 이루어져 왔지만, 분류의 성능이 보장되기 위해서는 양품과 불량의 데이터의 균형이 맞춰진 상태로 많은 데이터를 수집해야 한다. 특히, 발생빈도가 매우 낮은 불량 유형의 경우의 데이터는 수집하는데 장 시간(예, 2주 내지 1개월 이상)이 소요되는 단점이 있다.By applying deep learning classification instead of the existing image processing method, many performance improvements have been made for defect types that are difficult to detect with image processing. A lot of data needs to be collected in this state. In particular, there is a disadvantage in that it takes a long time (eg, 2 weeks to 1 month or more) to collect data in the case of a defect type with a very low occurrence frequency.
기존의 이상탐지는 이러한 불량데이터 수집의 어려움을 해결할 수 있는 자율 학습(unsupervised learning) 알고리즘에 대해 많은 연구가 진행되어 왔다. 기존의 분류는 불량 유형별로 데이터를 수집하여 학습을 진행하지만, 기존의 이상탐지 방식은 오직 양품만을 수집하여 학습을 진행할 수 있다.As for the existing anomaly detection, many studies have been conducted on unsupervised learning algorithms that can solve the difficulty of collecting such bad data. Existing classification collects data for each defect type and proceeds with learning, but the existing anomaly detection method collects only good products and proceeds with learning.
실제로 양산에 사용중인 딥러닝의 분류 방식과 이상탐지 방식의 차이를 보면, 기존의 일반 분류 방식은 데이터 수집, 데이터 라벨링, 학습의 과정을 반복적으로 수행해야 하지만, 기존의 이상탐지 방식은 충분한 양품만을 수집하여 학습을 진행하기 때문에 데이터 수집기간이 매우 단축 될 수 있으며, 데이터 라벨링에 대한 작업도 필요 없게 되는 장점이 있지만, 기존의 이상탐지 방식은 학습된 데이터를 모두 이용하기 때문에 양품의 종류와 수량이 매우 많은 데이터에는 제대로 동작하지 않는다는 문제점이 있다.Looking at the difference between the deep learning classification method and anomaly detection method that are actually used in mass production, the existing general classification method has to repeatedly perform the process of data collection, data labeling, and learning, but the existing anomaly detection method only produces sufficient quality products Since data collection and learning are conducted, the data collection period can be greatly shortened, and there is an advantage in that data labeling is not required. The problem is that it doesn't work well for very large amounts of data.
일 예로, 오토 엔코더(Auto-encoder) 구조는 데이터를 효과적으로 압축 할 수 있는 딥러닝 구조로 자율 학습(Unsupervised learning)에서 널리 사용되는 구조이다. CNN 구조의 오토 엔코더(Auto-encoder)를 이용하면, 영상의 데이터 분포를 쉽게 학습 할 수 있기 때문에 양품 데이터를 학습한 뒤, 불량데이터를 오토 엔코더(Auto-encoder) 구조에 통과시키게 되면, 양품으로 복원되기 때문에 원본과의 영상차이를 이용하여 이상탐지에 이용 할 수 있다. For example, an auto-encoder structure is a deep learning structure capable of effectively compressing data and is widely used in unsupervised learning. If you use the auto-encoder of CNN structure, you can easily learn the data distribution of the image, so if you pass bad data through the auto-encoder structure after learning the good data, you can get a good product. Since it is restored, it can be used for anomaly detection by using the image difference from the original.
하지만, 오토 엔코더(Auto-encoder)는 병목구조를 가지기 때문에 데이터 복원 시에 고주파 영역에 흐릿해지는 문제가 발생된다. 이는 미세 불량과 고주파 정상영역의 구분이 어렵게 되며, 이상탐지의 성능을 떨어뜨리게 되는 문제점이 있다.However, since the auto-encoder has a bottleneck structure, a problem of blurring in a high-frequency region occurs during data restoration. This makes it difficult to distinguish between a fine defect and a high-frequency normal region, and has a problem of deteriorating the performance of anomaly detection.
한편, 오토 엔코더(Auto-encoder) 구조가 아닌 GAN(Generative adversarial network)을 이용하거나, VAE(Variational AutoEncoder)를 이용한 이상탐지도 많이 연구되는 분야이나, GAN의 경우 예측시에 랜덤 벡터를 파인튜닝하여야 한다는 단점이 있으며, VAE는 오토 엔코더(Auto-encoder)와 같은 복원영상의 퀄리티가 낮아지는 문제가 존재하는 문제점이 있다.On the other hand, anomaly detection using GAN (Generative adversarial network), which is not an auto-encoder structure, or using VAE ( Variational AutoEncoder) is a field that has been studied a lot, but in the case of GAN, random vectors must be fine-tuned during prediction. However, VAE has a problem in that the quality of the restored image is lowered, such as with an auto-encoder.
또한, 제조현장에서 이상탐지를 적용하기 위해서는 오토 엔코더(Auto-encoder)의 병목에 의한 데이터 소실문제가 해결되어야 하며, 매우 다양한 종류의 양품에도 적용이 가능해야 하는 문제점이 있다.In addition, in order to apply abnormality detection at the manufacturing site, the problem of data loss due to the bottleneck of an auto-encoder must be solved, and there is a problem that it must be applicable to a wide variety of non-defective products.
(선행기술문헌)(Prior art literature)
(특허문헌 1) JP 공개특허 공보 제2020-139905호 (2019.04.03) (Patent Document 1) JP Unexamined Patent Publication No. 2020-139905 (2019.04.03)
(특허문헌 2) KR 공개특허 공보 제10-2020-0135730 (2019.05.22) (Patent Document 2) KR Patent Publication No. 10-2020-0135730 (2019.05.22)
(특허문헌 3) KR 공개특허 공보 제10-2021-0050186 (2019.10.28) (Patent Document 3) KR Patent Publication No. 10-2021-0050186 (2019.10.28)
본 발명의 일 실시 예는, 오토-엔코더(Auto-encoder) 등의 이미지 제너레이터로 복원된 영상과 원본 영상에 대해, 패치단위로 대조학습을 수행하여, 신속하게 제조 영상의 이상을 감지할 수 있는 딥러닝 기반 제조 영상의 이상 탐지 장치 및 방법을 제공한다.An embodiment of the present invention performs contrast learning on a patch-by-patch basis on an image reconstructed with an image generator such as an auto-encoder and an original image, thereby quickly detecting anomalies in the manufactured image. Provides an apparatus and method for detecting anomalies in manufacturing images based on deep learning.
본 발명의 일 실시 예에 의해, 학습대상인 양품의 복수의 영상 데이터에 대상으로 제1 딥러닝 알고리즘을 학습하고, 검사대상인 제1 영상 데이터에 대해 상기 학습된 제1 딥러닝 알고리즘을 적용하여 제2 영상 데이터를 생성하는 이미지 제너레이터; 상기 제1 영상 데이터와 상기 제2 영상 데이터에 대해 제1 연산을 수행하여, 상기 제1 영상 데이터와 상기 제2 영상 데이터 간의 차이 영상에 해당되는 제3 영상 데이터를 출력하는 제1 연산부; 학습대상인 양품의 복수의 영상 데이터를 대상으로 제2 딥러닝 알고리즘을 학습하고, 검사대상인 상기 제1 영상 데이터와 상기 제2 영상 데이터에 대해 상기 학습된 제2 딥러닝 알고리즘을 적용하여, 상기 제1 영상 데이터와 상기 제2 영상 데이터 간의 특징 정보를 갖는 영상 마스크 데이터를 출력하는 특징 추출기; 및 상기 제3 영상 데이터와 상기 영상 마스크 데이터에 대해 제2 연산을 수행하여, 이상 정보를 갖는 제4 영상 데이터를 생성하는 제2 연산부; 를 포함하는 딥러닝 기반 제조 영상의 이상 탐지 장치가 제안된다.According to an embodiment of the present invention, a first deep learning algorithm is learned for a plurality of image data of a good product as a learning target, and the first deep learning algorithm is applied to the first image data as an inspection target to obtain a second deep learning algorithm. an image generator generating image data; a first calculator configured to perform a first operation on the first image data and the second image data and output third image data corresponding to a difference image between the first image data and the second image data; A second deep learning algorithm is learned for a plurality of image data of a non-defective product as a learning target, and the learned second deep learning algorithm is applied to the first image data and the second image data as an inspection target, a feature extractor outputting image mask data having feature information between image data and the second image data; and a second calculator configured to perform a second operation on the third image data and the image mask data to generate fourth image data having abnormality information. A device for detecting anomalies in manufacturing images based on deep learning including a is proposed.
또한, 본 발명의 다른 일 실시 예에 의해, 학습대상인 양품의 복수의 영상 데이터에 대상으로 제1 딥러닝 알고리즘을 학습하고, 검사대상인 제1 영상 데이터에 대해 상기 학습된 제1 딥러닝 알고리즘을 적용하여 제2 영상 데이터를 생성하는 이미지 제너레이팅 단계; 상기 제1 영상 데이터와 상기 제2 영상 데이터에 대해 제1 연산을 수행하여, 상기 제1 영상 데이터와 상기 제2 영상 데이터 간의 차이 영상에 해당되는 제3 영상 데이터를 출력하는 제1 연산 단계; 학습대상인 양품의 복수의 영상 데이터를 대상으로 제2 딥러닝 알고리즘을 학습하고, 검사대상인 상기 제1 영상 데이터와 상기 제2 영상 데이터에 대해 상기 학습된 제2 딥러닝 알고리즘을 적용하여, 상기 제1 영상 데이터와 상기 제2 영상 데이터 간의 특징 정보를 갖는 영상 마스크 데이터를 출력하는 특징 추출 단계; 및 상기 제3 영상 데이터와 상기 영상 마스크 데이터에 대해 제2 연산을 수행하여, 이상 정보를 갖는 제4 영상 데이터를 생성하는 제2 연산 단계; 를 포함하는 딥러닝 기반 제조 영상의 이상 탐지 방법이 제안된다.In addition, according to another embodiment of the present invention, a first deep learning algorithm is learned for a plurality of image data of a good product as a learning target, and the first deep learning algorithm is applied to the first image data as an inspection target. an image generating step of generating second image data by using the image; a first operation step of performing a first operation on the first image data and the second image data and outputting third image data corresponding to a difference image between the first image data and the second image data; A second deep learning algorithm is learned for a plurality of image data of a non-defective product as a learning target, and the learned second deep learning algorithm is applied to the first image data and the second image data as an inspection target, a feature extraction step of outputting image mask data having feature information between image data and the second image data; and performing a second operation on the third image data and the image mask data to generate fourth image data having abnormality information. A method for detecting anomalies in manufacturing images based on deep learning is proposed.
본 발명의 일 실시 예에 의하면, 제조 공정에서의 제조 영상에 대해, 오토 엔코더(Auto-encoder)등의 이미지 제너레이터로 복원된 영상과 원본 영상에 대해 패치단위로 콘트라-임베팅(contra-embedding) 알고리즘 학습을 통해, 각 패치(Patch)단위별로 특징벡터의 대조학습을 수행하여, 같은 위치의 특징벡터의 차이를 줄여주고, 다른 위치의 특징벡터의 차이가 커지도록 학습하여, 제조영상의 이상(Defect)을 신속하게 감지할 수 있는 효과가 있다.According to an embodiment of the present invention, for a manufacturing image in a manufacturing process, contra-embedding in a patch unit for an image reconstructed by an image generator such as an auto-encoder and an original image Through algorithm learning, contrast learning of feature vectors is performed for each patch unit to reduce the difference between feature vectors at the same location and learning to increase the difference between feature vectors at different locations, resulting in abnormalities in manufacturing images ( Defect) can be quickly detected.
부연하면, 양품만으로 학습을 진행함에 따라 적기에 생산에 대응할 수 있고, 불량의 종류 중 사이즈를 측정해야 하는 경우가 있으며, 이를 딥러닝으로 해결하기 위해서는 세그먼테이션(Segmentation) 방법을 사용할 수 있고, 자동 생성된 세그먼테이션 마스크(Segmentation mask)를 통해 세그먼테이션(Segmentation) 학습라벨로 사용하게 되면, 세그먼테이션(Segmentation)용 데이터 구성에 시간을 대폭 단축 할 수 있는 효과가 있다.To elaborate, it is possible to respond to production in a timely manner by learning only good products, and sometimes it is necessary to measure the size of defective products. To solve this problem with deep learning, a segmentation method can be used and automatic If the segmentation mask is used as a segmentation learning label through the segmentation mask, it has the effect of significantly reducing the time for configuring data for segmentation.
도 1은 본 발명의 일 실시 예에 따른 딥러닝 기반 제조 영상의 이상 탐지 장치의 일 예시도이다.
도 2는 도 1의 영상 데이터의 예시도이다.
도 3은 제1 딥러닝 알리고리즘의 동작과정 설명도이다.
도 4는 딥러닝 기반 제조 영상의 이상 탐지 장치의 콘트라-임베팅(contra-embedding) 알고리즘에 의한 학습 과정을 보이는 예시도이다.
도 5는 이상탐지 결과 예시도이다.
도 6은 부품1에 대한 이상 탐지한 결과 영상에 대한 일 예시도이다.
도 7은 부품2에 대한 이상 탐지한 결과 영상에 대한 일 예시도이다.
도 8은 본 발명의 일 실시 예에 따른 딥러닝 기반 제조 영상의 이상 탐지 방법의 일 예시도이다.1 is an exemplary diagram of an anomaly detection device for a deep learning-based manufactured image according to an embodiment of the present invention.
FIG. 2 is an exemplary view of the image data of FIG. 1 .
3 is an explanatory diagram of the operation process of the first deep learning algorithm.
4 is an exemplary diagram showing a learning process by a contra-embedding algorithm of an anomaly detection device for a deep learning-based manufacturing image.
5 is an exemplary view of an anomaly detection result.
6 is an exemplary view of an image as a result of detecting an abnormality in part 1;
7 is an exemplary view of an image as a result of detecting an abnormality in
8 is an exemplary view of a deep learning-based anomaly detection method of a manufactured image according to an embodiment of the present invention.
이하에서는, 본 발명은 설명되는 실시 예에 한정되지 않으며, 본 발명의 정신 및 범위를 벗어나지 않으면서 다양하게 변경될 수 있음이 이해되어야 한다.Hereinafter, it should be understood that the present invention is not limited to the described embodiments, and various changes can be made without departing from the spirit and scope of the present invention.
또한, 본 발명의 각 실시 예에 있어서, 하나의 예로써 설명되는 구조, 형상 및 수치는 본 발명의 기술적 사항의 이해를 돕기 위한 예에 불과하므로, 이에 한정되는 것이 아니라 본 발명의 정신 및 범위를 벗어나지 않으면서 다양하게 변경될 수 있음이 이해되어야 한다. 본 발명의 실시 예들은 서로 조합되어 여러 가지 새로운 실시 예가 이루어질 수 있다.In addition, in each embodiment of the present invention, the structure, shape, and numerical value described as an example are only examples to help the understanding of the technical details of the present invention, so they are not limited thereto, but the spirit and scope of the present invention It should be understood that various changes can be made without departing from it. Embodiments of the present invention can be combined with each other to make various new embodiments.
그리고, 본 발명에 참조된 도면에서 본 발명의 전반적인 내용에 비추어 실질적으로 동일한 구성과 기능을 가진 구성요소들은 동일한 부호를 사용할 것이다.In addition, in the drawings referred to in the present invention, elements having substantially the same configuration and function in light of the overall content of the present invention will use the same reference numerals.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위해서, 본 발명의 실시 예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily practice the present invention.
도 1은 본 발명의 일 실시 예에 따른 딥러닝 기반 제조 영상의 이상 탐지 장치의 일 예시도이고, 도 2는 도 1의 영상 데이터의 예시도이다.1 is an exemplary diagram of an anomaly detection device for a deep learning-based manufactured image according to an embodiment of the present invention, and FIG. 2 is an exemplary diagram of the image data of FIG. 1 .
도 1 및 도 2를 참조하면, 본 발명의 일 실시 예에 따른 딥러닝 기반 제조 영상의 이상 탐지 장치(10)는, 이미지 제너레이터(100), 제1 연산부(200), 특징 추출기(300), 및 제2 연산부(400)를 포함할 수 있다.Referring to FIGS. 1 and 2 , an anomaly detection apparatus 10 for a deep learning-based manufactured image according to an embodiment of the present invention includes an
이미지 제너레이터(100)는, 학습대상인 양품의 복수의 영상 데이터에 대상으로 제1 딥러닝 알고리즘을 학습하고, 검사대상인 제1 영상 데이터(VD1)에 대해 상기 학습된 제1 딥러닝 알고리즘을 적용하여 제2 영상 데이터를 생성할 수 있다.The
제1 연산부(200)는, 원본 영상에 대응되는 상기 제1 영상 데이터(VD1)와 이미지 제너레이터(100)에 의해 복원된 영상에 대응되는 상기 제2 영상 데이터(VD2)에 대해 제1 연산을 수행하여, 상기 제1 영상 데이터(VD1)와 상기 제2 영상 데이터(VD2) 간의 차이 영상에 해당되는 제3 영상 데이터(VD3)를 출력할 수 있다.The
특징 추출기(300)는, 학습대상인 양품의 복수의 영상 데이터를 대상으로 제2 딥러닝 알고리즘을 학습하고, 검사대상인 상기 제1 영상 데이터(VD1)와 상기 제2 영상 데이터(VD2)에 대해 상기 학습된 제2 딥러닝 알고리즘을 적용하여, 상기 제1 영상 데이터(VD1)와 상기 제2 영상 데이터(VD2) 간의 특징 정보를 갖는 영상 마스크 데이터(VMD)를 출력할 수 있다.The
일 예로, 상기 제2 딥러닝 알고리즘으로 콘트라-임베팅(contra-embedding) 알고리즘을 사용하여, 학습대상인 양품의 상기 제1 영상 데이터와 상기 제2 영상 데이터에 대해, 각 패치단위별 비교하는 상기 콘트라-임베팅(contra-embedding) 알고리즘을 학습하여, 상기 학습대상인 상기 제1 영상 데이터에 대해 각 패치단위별로 양품 및 불량을 분류할 수 있다.For example, the contra-embedding algorithm is used as the second deep learning algorithm to compare the first image data and the second image data of a good product to be learned for each patch unit. - By learning a contra-embedding algorithm, it is possible to classify good products and bad products for each patch unit with respect to the first image data, which is the learning target.
예를 들어, 제2 딥러닝 알고리즘은, 콘트라-임베딩(Contra-embedding) 학습 알로리즘에 해당될 수 있으며, 이에 대해서는 도 4 및 하기 수학식 2를 참조하여 설명한다.For example, the second deep learning algorithm may correspond to a contra-embedding learning algorithm, which will be described with reference to FIG. 4 and
이에 따라, 상기 콘트라-임베딩(Contra-embedding)을 통해 학습된 네트워크와 기존 이미지 제너레이터(100)를 결합하여 최종 이상탐지 결과를 도출할 수 있다.Accordingly, the final anomaly detection result may be derived by combining the network learned through the contra-embedding with the existing
부연하면, 본 발명에서는 이상탐지를 위해 두 개의 네트워크를 이용하는데, 첫 번째는 이미지 제너레이터(100) 구조이며, 두 번째는 콘트라-임베딩(Contra-embedding)을 통해 학습된 특징 추출기(Feature extractor)(300) 구조 이다. To elaborate, in the present invention, two networks are used for anomaly detection. The first is the
이미지 제너레이터(100) 구조는 양품의 제1 영상 데이터(VD1)를 압축한 뒤 복원하고, 이 경우, 만약 불량이 이미지 제너레이터(100)를 통과하면, 복원시 양품과 유사한 제2 영상 데이터(VD2)를 생성할 수 있다. 이들 두 영상 데이터(VD1,VD2) 간의 차이를 SSIM(Structural Similarity) 알고리즘을 통해 구하게 되면 제1 이상탐지 맵을 갖는 3 영상 데이터(VD3)를 생성할 수 있다. The structure of the
이어서, 특징 추출기(300)는, 학습대상인 야품 영상에 대해 콘트라-임베딩(Contra-embedding) 학습을 수행한 이후, 검사대상인 원본 영상의 제1 영상 데이터(VD1)와 이미지 제너레이터(100)에서 복원된 제2 영상 데이터(VD2) 사이의 패치단위 특징 벡터를 비교하여 제2 이상탐지 맵을 갖는 영상 마스크 데이터(VMD)를 생성할 수 있다.Next, the
일 예로, 특징 추출기(300)는, 제1 영상 데이터(VD1)는 각 패치(N*32*32)와, 제2 영상 데이터(VD2)의 각 패치(N*32*32)별로 비교할 수 있다. 여기서, N은 패치의 개수이고, '32*32'는 32픽셀*32픽셀 크기의 영상의 사이즈가 될 수 있다.For example, the
다음, 상기 제3 영상 데이터(VD3)와 영상 마스크 데이터(VMD)를 제2 연산(예, 곱셈)함으로써 최종 이상탐지 맵을 갖는 제4 영상 데이터(VD4)를 생성할 수 있으며, 상기 제4 영상 데이터(VD4)를 이용하여 이상 데이터를 검출할 수 있고 또한 세그멘테이션 마스크(Segmentation mask)로 이용할 수도 있다.Next, fourth image data VD4 having a final anomaly detection map may be generated by a second operation (eg, multiplication) of the third image data VD3 and the image mask data VMD. Abnormal data can be detected using the data VD4 and can also be used as a segmentation mask.
제2 연산부(400)는, 상기 제3 영상 데이터(VD3)와 상기 영상 마스크 데이터(VMD)에 대해 제2 연산(예, 곱셈)을 수행하여, 이상 정보를 갖는 제4 영상 데이터(VD4)를 생성할 수 있다.The
상기 이미지 제너레이터(100)에서의 제1 딥러닝 알고리즘은, 학습대상인 양품에 대해 학습한 이후에, 검사과정에서 불량 영상에 해당되는 제1 영상 데이터를 입력받으면 복원시 양품영상에 해당되는 상기 제2 영상 데이터를 생성할 수 있다.The first deep learning algorithm in the
상기 제1 연산부(200)의 제1 연산은, 상기 제1 영상 데이터(VD1)와 상기 제2 영상 데이터(VD2)를 감산하는 감산 연산을 포함할 수 있다.The first operation of the
일 예로, 상기 제1 연산부(200)의 제1 연산은, SSIM (Structural Similarity))-오토 엔코더 (Auto-encoder) 알고리즘을 학습하는 과정에 해당될 수 있다.For example, the first operation of the
일 예로, 이미지 제너레이터(100)의 학습은 SSIM (Structural Similarity))-오토 엔코더(Auto-encoder) 알고리즘의 학습 방법을 이용하며, 손실(Loss) 함수인 SSIM은 하기 수학식1과 같다. For example, the learning of the
[수학식 1][Equation 1]
상기 수학식1에서, p, q는 원본영상인 제1 영상 데이터(VD1)와 오토 엔코더(Auto-encoder)로 복원된 제2 영상 데이터(VD2)를 <k x k>로 크롭(crop)한 영상 데이터를 의미한다. μp, μq 는 평균강도이고, σp, σq는 분산이고, σpq는 공분산을 의미하며, c1 과 c2는 상수로 0.01, 0.03을 일반적으로 사용할 수 있다.In Equation 1, p and q are images obtained by cropping the first image data (VD1) as an original image and the second image data (VD2) reconstructed by an auto-encoder to <kx k>. means data. μ p and μ q are mean intensities, σ p and σ q are variances, σ pq are covariances, and c 1 and c 2 are constants of 0.01 and 0.03.
전술한 바와 같이, 양품인 영상 데이터를 오토 엔코더(Auto-encoder)에서 학습하게 되면, 양품의 데이터 분포를 배우게 되므로, 불량인 영상 데이터가 오토 엔코더(Auto-encoder)를 통과하면, 양품의 영상에 대응되는 영상 데이터로 복원되게 된다. As described above, when the auto-encoder learns the good video data, the good product data distribution is learned, so when the bad video data passes through the auto-encoder, the good product image Corresponding image data is restored.
본 발명의 각 도면에 대해, 동일한 부호 및 동일한 기능의 구성요소에 대해서는 가능한 불필요한 중복 설명은 생략될 수 있고, 각 도면에 대해 가능한 차이점에 대한 사항이 설명될 수 있다.For each drawing of the present invention, unnecessary redundant descriptions of the components having the same reference numerals and the same functions can be omitted, and possible differences can be described for each drawing.
도 3은 제1 딥러닝 알리고리즘의 동작과정 설명도이다.3 is an explanatory diagram of the operation process of the first deep learning algorithm.
도 3을 참조하여, 제1 딥러닝 알고리즘의 동작과정에 대해 설명하면, 상기 제1 딥러닝 알고리즘은 VD1의 데이터분포를 학습하는 알고리즘으로 입력된 영상을 그대로 복원하는 과정이 수행 된다. Referring to FIG. 3, the operation process of the first deep learning algorithm is described. The first deep learning algorithm is an algorithm that learns the data distribution of VD1, and a process of restoring an input image as it is is performed.
예를 들어, NxN크기의 영상이 입력되게 되면, 입력된 wxh의 영상크기는 일차원의 M크기의 벡터로 압축되게 되고, 압축된 벡터를 다시 wxh원본 크기로 복원하게 된다. For example, when an NxN size image is input, the input image size of wxh is compressed into a one-dimensional M size vector, and the compressed vector is restored to the wxh original size.
이 과정에서 VD1 데이터들의 중요한 요소가 M크기의 벡터에 압축되게 되고, 학습이 종료된 이후에 학습되지 않은 데이터(불량영상)가 VD1로 입력되면 학습되었던 영상 중하나로 복원을 하게 된다. In this process, important elements of the VD1 data are compressed into M-sized vectors, and if unlearned data (bad images) is input to VD1 after learning is finished, one of the learned images is restored.
도 4은 딥러닝 기반 제조 영상의 이상 탐지 장치의 콘트라-임베팅(contra-embedding) 알고리즘에 의한 학습 과정을 보이는 예시도이다.4 is an exemplary view showing a learning process by a contra-embedding algorithm of an anomaly detection device of a deep learning-based manufacturing image.
도 4을 참조하면, 상기 특징 추출기(300)는, 상기 제1 영상 데이터(VD1)와 상기 제2 영상 데이터(VD2)간의 특징 벡터 정보(FVI)를 추출하고, 상기 특징 벡터 정보(FVI)에 기초한 특징 정보를 갖는 영상 마스크 데이터(VMD)를 생성할 수 있다.Referring to FIG. 4 , the
일 예로, 상기 특징 추출기(300)는, 상기 제1 딥러닝 알고리즘을 학습하는 경우, 학습대상인 양품의 상기 제1 영상 데이터(VD1)와 상기 제2 영상 데이터(VD2)에 대해, 각 패치단위별 비교하는 콘트라-임베팅(contra-embedding) 알고리즘을 학습하여, 상기 학습대상인 상기 제1 영상 데이터(VD1)에 대해 각 패치단위별로 양품 및 불량을 분류할 수 있다.For example, when learning the first deep learning algorithm, the
또한, 상기 특징 추출기(300)는, 상기 학습된 콘트라-임베팅(contra-embedding) 알고리즘을 적용하여, 검사 대상인 상기 제1 영상 데이터(VD1)에 대해, 각 패치단위별 특징 벡터 정보(FVI)를 추출하고, 이 특징 벡터 정보(FVI)에 기초해 각 패치단위별 양품 정보 및 불량 정보를 갖는 영상 마스크 데이터(VMD)를 출력할 수 있다.In addition, the
일 예로, 콘트라-임베팅(contra-embedding) 알고리즘에 의한 학습에서 사용되는 손실(LOSS) 함수는 하기 수학식2와 같다.As an example, the loss (LOSS) function used in learning by the contra-embedding algorithm is as shown in
[수학식 2][Equation 2]
상기 수학식2에서, zi 는 원본영상인 제1 영상 데이터의 패치가 특징 추출기(300)(Feature extractor)를 통해 얻어진 특징 벡터이고, zj는 이미지 제너레이터(100)로 복원된 제2 영상 데이터의 패치가 특징 추출기(300)(Feature extractor)로 얻어진 특징 벡터이다. Sim은 코사인 유사도를 의미하며, 
도 4을 참조하면, 상기 특징 추출기(300)는, 크롭부(310), 대조학습부(330), 및 이상점수 산출부(350)를 포함할 수 있다.Referring to FIG. 4 , the
먼저, 크롭부(310)는 이미지 제너레이터(100)를 통해 복원된 영상과 원본영상을 패치단위로 크롭(crop)할 수 있다.First, the
대조학습부(330)는, 영상의 같은 위치에 대해서는 코사인 유사도가 같아지도록 학습하며, 다른 위치의 패치에 대해서는 코사인 유사도가 멀어지도록 학습하며, 여기서, 상기 대조학습부(330)는 프로젝터(Prpjector)를 더 포함할 수 있다. 예를 들어, 상기 프로젝터는 특징 추출기(feature extractor)에서 추출된 벡터 중 중요한 요소만 압축하는 역할을 수행할 수 있다.The
이상점수 산출부(350)는, 이미지 제너레이터(100)를 통해 복윈 시에, 같은 위치의 특징벡터는 같아지고, 다른 위치의 특징벡터는 달라지면서, 이상 여부에 따른 차이가 명확히 생기게 되며, 이를 이용하여, 이상점수(anomaly score)를 산출할 수 있다.When the anomaly
부연하면, 이상 탐지 맵(Anomaly Map)(M)은 SSIM 알고리즘을 통해 얻어진 제3 영상 데이터에 포함된 제1 이상탐지 맵(Mssim)과 특징 추출기(300)의 콘트라-임베팅(contra-embedding) 알고리즘을 통해 얻어진 영상 마스크 데이터(VMD)에 포함된 제2 이상탐지 맵(Mcontra)을 곱함으로써, 최종 이상 탐지 맵(M)을 구할 수 있으며, 이상 점수(anomaly score)는 이상 탐지 맵(Anomaly Map)(M)에서 하기 수학식3과 같이, 가장 큰 값으로 선택할 수 있다. In other words, the anomaly detection map (Anomaly Map) (M) is the first anomaly detection map (M ssim ) included in the third image data obtained through the SSIM algorithm and the contra-embedding of the feature extractor 300 ) The final anomaly detection map (M) can be obtained by multiplying the image mask data (VMD) obtained through the algorithm by the second anomaly detection map (M contra ), and the anomaly score is the anomaly detection map ( Anomaly Map) (M), as shown in Equation 3 below, can be selected as the largest value.
[수학식 3][Equation 3]
상기 제2 연산부(400)의 제2 연산은, 상기 제3 영상 데이터(VD3)와 상기 영상 마스크 데이터(VMD)를 곱하는 곰셈 연산을 포함할 수 있다.The second operation of the
또한, 도 4 및 상기 수학식 2를 참조하면, 일 예로, 제2 딥러닝 알고리즘은, 콘트라-임베딩(Contra-embedding) 학습 알로리즘에 해당될 수 있으며, 이는 이미지 제너레이터(100)에 의해 복원된 영상에 대응되는 제2 영상 데이터(VD2)와 원본영상에 대응되는 제1 영상 데이터(VD1)를 패치단위로 콘트라-임베딩(Contra-embedding) 학습을 수행하여, 같은 위치의 특징벡터의 차이를 줄여주고, 다른 위치의 특징벡터의 차이가 커지도록 학습할 수 있다.Also, referring to FIG. 4 and
도 5는 이상탐지 결과 예시도이다.5 is an exemplary view of an anomaly detection result.
도 5를 참조하면, 도 5에 도시된 테이블은, 학습 결과를 검사 정확도로 나타냈다.Referring to FIG. 5 , the table shown in FIG. 5 represents the learning result as test accuracy.
먼저, 커패시터(MLCC) 데이터를 본 발명에 적용한 경우, 커패시터(MLCC)에 본 방법을 적용하기 위해, 커패시터-부품1은 양품 6,880장을 이용하여 학습하였으며, 테스트 시에는 불량 587장, 양품 830장을 이용하였다. 이 경우, 검사 정확도는 97.1%를 보였다.First, when the capacitor (MLCC) data is applied to the present invention, in order to apply the present method to the capacitor (MLCC), capacitor-part 1 was learned using 6,880 good products, and during the test, 587 bad products and 830 good products was used. In this case, the test accuracy was 97.1%.
다음, 커패시터-부품2는 양품 2201장을 학습 한 뒤, 양품 639장, 불량 1,013장을 테스트 하였다. 이 경우, 검사 정확도는 94.5%를 보였다. Next, capacitor-
도 6은 부품1에 대한 이상 탐지한 결과 영상에 대한 일 예시도이고, 도 7은 부품2에 대한 이상 탐지한 결과 영상에 대한 일 예시도이다.FIG. 6 is an exemplary view of an image as a result of detecting an abnormality in part 1, and FIG. 7 is an exemplary view of an image as a result of detecting anomaly in
도 6을 참조하면, 커패시터의 경우, 6가지 서로 다른 이상(Defect)을 갖는 케이스(C1~C6)에 대한 원본영상(제1 영상 데이터(VD1)에 해당됨)에 대해 검사한 결과, 검사영상(제4 영상 데이터(VD4)에 해당됨)에는, 원본 영상에 있는 이상(Defect)이 정확히 표시되어 있음을 알 수 있다.Referring to FIG. 6, in the case of a capacitor, as a result of examining original images (corresponding to the first image data VD1) for cases C1 to C6 having six different defects, the inspection image ( It can be seen that defects in the original image are accurately displayed in the fourth image data (corresponding to VD4).
도 7을 참조하면, 카메라 모듈의 경우, 4가지 서로 다른 이상(Defect)을 갖는 케이스(C1~C4)에 대한 원본영상(VD1)에 대해 검사한 결과, 검사 영상 (VD4)에는, 원본 영상에 있는 이상(Defect)이 정확히 표시되어 있음을 알 수 있다. Referring to FIG. 7, in the case of the camera module, as a result of examining the original images (VD1) for the cases (C1 to C4) having four different defects, the original images (VD4) It can be seen that the defects present are accurately displayed.
이후, 도 1 내지 도 8을 참조하여, 딥러닝 기반 제조 영상의 이상 탐지 방법에 대해 설명한다. Next, with reference to FIGS. 1 to 8 , a method for detecting an anomaly in a deep learning-based manufactured image will be described.
본 출원 서류에서, 딥러닝 기반 제조 영상의 이상 탐지 장치에 대한 설명은, 특별히 반대 설명이 없는 한, 기반 제조 영상의 이상 탐지 방법에 대해서도 적용될 수 있다. 즉, 도 1 내지 도 7을 참조하여 이루어진 설명이, 딥러닝 기반 제조 영상의 이상 탐지 방법에 대한 적용에 적용될 수 있으며, 이에 따라 딥러닝 기반 제조 영상의 이상 탐지 방법에 대한 설명에서, 중복되는 세부 설명은 생략될 수 있다.In this application document, the description of the device for detecting anomalies in deep learning-based manufacturing images may also be applied to the method for detecting anomalies in manufacturing images based on deep learning, unless otherwise stated. That is, the description made with reference to FIGS. 1 to 7 may be applied to the method for detecting anomalies in deep learning-based manufacturing images, and accordingly, in the description of the method for detecting anomalies in deep learning-based manufacturing images, details overlapping Description may be omitted.
도 8은 본 발명의 일 실시 예에 따른 딥러닝 기반 제조 영상의 이상 탐지 방법의 일 예시도이다.8 is an exemplary view of a deep learning-based anomaly detection method of a manufactured image according to an embodiment of the present invention.
도 8을 참조하여, 본 발명의 일 실시 예에 따른 딥러닝 기반 제조 영상의 이상 탐지 방법에 대해 설명한다.Referring to FIG. 8 , a method for detecting an anomaly in a fabricated image based on deep learning according to an embodiment of the present invention will be described.
이미지 제너레이팅 단계(S100)에서는, 학습대상인 양품의 복수의 영상 데이터에 대상으로 제1 딥러닝 알고리즘을 학습하고, 검사대상인 제1 영상 데이터(VD1)에 대해 상기 학습된 제1 딥러닝 알고리즘을 적용하여 제2 영상 데이터를 생성할 수 있다. 이는 이미지 제너레이터(100)에서 수행될 수 있다.In the image generating step (S100), a first deep learning algorithm is learned for a plurality of image data of a good product as a learning target, and the first deep learning algorithm is applied to the first image data VD1 as an inspection target. In this way, second image data may be generated. This may be performed in the
제1 연산 단계(S200)에서는, 상기 제1 영상 데이터(VD1)와 상기 제2 영상 데이터(VD2)에 대해 제1 연산을 수행하여, 상기 제1 영상 데이터(VD1)와 상기 제2 영상 데이터(VD2) 간의 차이 영상에 해당되는 제3 영상 데이터(VD3)를 출력할 수 있다. 이는 제1 연산부(200)에 의해 수행될 수 있다.In the first calculation step (S200), a first calculation is performed on the first image data VD1 and the second image data VD2, so that the first image data VD1 and the second image data ( Third image data VD3 corresponding to the difference image between VD2) may be output. This may be performed by the
특징 추출 단계(S300)에서는, 학습대상인 양품의 복수의 영상 데이터를 대상으로 제2 딥러닝 알고리즘을 학습하고, 검사대상인 상기 제1 영상 데이터(VD1)와 상기 제2 영상 데이터(VD2)에 대해 상기 학습된 제2 딥러닝 알고리즘을 적용하여, 상기 제1 영상 데이터(VD1)와 상기 제2 영상 데이터(VD2) 간의 특징 정보를 갖는 영상 마스크 데이터(VMD)를 출력할 수 있다. 이는 특징 추출기(300)에 의해 수행될 수 있다.In the feature extraction step (S300), a second deep learning algorithm is learned for a plurality of image data of a good product as a learning target, and the first image data VD1 and the second image data VD2 as an inspection target are described above. By applying the learned second deep learning algorithm, image mask data VMD having feature information between the first image data VD1 and the second image data VD2 may be output. This may be performed by
제2 연산 단계(S400)에서는, 상기 제3 영상 데이터(VD3)와 상기 영상 마스크 데이터(VMD)에 대해 제2 연산을 수행하여, 이상 정보를 갖는 제4 영상 데이터(VD4)를 생성할 수 있다. 이는 제2 연산부(400)에 의해 수행될 수 있다.In the second operation step S400, a second operation is performed on the third image data VD3 and the image mask data VMD to generate fourth image data VD4 having abnormality information. . This may be performed by the
상기 학습된 제1 딥러닝 알고리즘은, 양품에 대해 압축-복원 학습을 수행하여, 이후 불량에 해당되는 상기 제1 영상 데이터를 입력되면 복원시 양품에 해당되는 상기 제2 영상 데이터를 생성할 수 있다.The learned first deep learning algorithm performs compression-decompression learning on good products, and then generates the second image data corresponding to good products upon restoration when the first image data corresponding to defective products is input. .
상기 제1 연산 단계(S200)의 제1 연산은, 상기 제1 영상 데이터(VD1)와 상기 제2 영상 데이터(VD2)를 감산하는 감산 연산을 포함할 수 있다.The first operation of the first operation step S200 may include a subtraction operation of subtracting the first image data VD1 and the second image data VD2.
상기 제1 연산 단계(S200)의 제1 연산은, SSIM (Structural Similarity))-오토 엔코더(Auto-encoder) 알고리즘을 학습하는 과정에 해당될 수 있다.The first operation of the first operation step S200 may correspond to a process of learning SSIM (Structural Similarity)-auto-encoder algorithm.
상기 특징 추출 단계(S300)는, 상기 제1 영상 데이터(VD1)와 상기 제2 영상 데이터(VD2)간의 특징 벡터 정보(FVI)를 추출하고, 상기 특징 벡터 정보(FVI)에 기초한 특징 정보를 갖는 영상 마스크 데이터(VMD)를 생성할 수 있다.In the feature extraction step (S300), feature vector information (FVI) between the first image data (VD1) and the second image data (VD2) is extracted, and feature information based on the feature vector information (FVI) is obtained. Image mask data VMD may be generated.
상기 특징 추출 단계(S300)는, 상기 제1 딥러닝 알고리즘을 학습하는 경우, 학습대상인 양품의 상기 제1 영상 데이터(VD1)와 상기 제2 영상 데이터(VD2)에 대해, 각 패치단위별 비교하는 콘트라-임베팅(contra-embedding) 알고리즘을 학습하여, 상기 학습대상인 상기 제1 영상 데이터(VD1)에 대해 각 패치단위별로 양품 및 불량을 분류할 수 있다.In the feature extraction step (S300), when the first deep learning algorithm is learned, the first image data (VD1) and the second image data (VD2) of the good product to be learned are compared for each patch unit. By learning a contra-embedding algorithm, it is possible to classify good products and bad products for each patch unit with respect to the first image data VD1 as the learning target.
상기 특징 추출 단계(S300)는, 상기 학습된 콘트라-임베팅(contra-embedding) 알고리즘을 적용하여, 검사 대상인 상기 제1 영상 데이터(VD1)에 대해, 각 패치단위별 특징 벡터 정보(FVI)를 추출하고, 이 특징 벡터 정보(FVI)에 기초해 각 패치단위별 양품 정보 및 불량 정보를 갖는 영상 마스크 데이터(VMD)를 출력할 수 있다.In the feature extraction step (S300), the feature vector information (FVI) for each patch unit is obtained with respect to the first image data (VD1) to be inspected by applying the learned contra-embedding algorithm. extracted, and based on this feature vector information (FVI), it is possible to output image mask data (VMD) having good product information and bad product information for each patch unit.
상기 제2 연산 단계(S400)의 제2 연산은, 상기 제3 영상 데이터(VD3)와 상기 영상 마스크 데이터(VMD)를 곱하는 곰셈 연산을 포함할 수 있다.The second operation of the second operation step S400 may include a subtraction operation of multiplying the third image data VD3 and the image mask data VMD.
이상에서는 본 발명을 실시 예로써 설명하였으나, 본 발명은 상기한 실시 예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형이 가능할 것이다.In the above, the present invention has been described as an embodiment, but the present invention is not limited to the above-described embodiments, and those skilled in the art in the field to which the invention pertains without departing from the gist of the present invention claimed in the claims Anyone can make various variations.
100: 이미지 제너레이터
200: 제1 연산부
300: 특징 추출기
400: 제2 연산부
VD1: 제1 영상 데이터
VD2: 제2 영상 데이터
VD3: 제3 영상 데이터
VMD: 영상 마스크 데이터
VD4: 제4 영상 데이터100: image generator
200: first calculation unit
300: feature extractor
400: second calculation unit
VD1: first image data
VD2: second image data
VD3: Third image data
VMD: image mask data
VD4: fourth image data
Claims (16)
상기 제1 영상 데이터와 상기 제2 영상 데이터에 대해 제1 연산을 수행하여, 상기 제1 영상 데이터와 상기 제2 영상 데이터 간의 차이 영상에 해당되는 제3 영상 데이터를 출력하는 제1 연산부;
학습대상인 양품의 복수의 영상 데이터를 대상으로 제2 딥러닝 알고리즘을 학습하고, 검사대상인 상기 제1 영상 데이터와 상기 제2 영상 데이터에 대해 상기 학습된 제2 딥러닝 알고리즘을 적용하여, 상기 제1 영상 데이터와 상기 제2 영상 데이터 간의 특징 정보를 갖는 영상 마스크 데이터를 출력하는 특징 추출기; 및
상기 제3 영상 데이터와 상기 영상 마스크 데이터에 대해 제2 연산을 수행하여, 이상 정보를 갖는 제4 영상 데이터를 생성하는 제2 연산부;
를 포함하는 딥러닝 기반 제조 영상의 이상 탐지 장치.
an image generator that learns a first deep learning algorithm for a plurality of image data of a good product as a learning target and generates second image data by applying the learned first deep learning algorithm to the first image data as an inspection target;
a first calculator configured to perform a first operation on the first image data and the second image data and output third image data corresponding to a difference image between the first image data and the second image data;
A second deep learning algorithm is learned for a plurality of image data of a non-defective product as a learning target, and the learned second deep learning algorithm is applied to the first image data and the second image data as an inspection target, a feature extractor outputting image mask data having feature information between image data and the second image data; and
a second calculator configured to perform a second operation on the third image data and the image mask data to generate fourth image data having abnormality information;
Deep learning-based manufacturing image anomaly detection device comprising a.
양품에 대해 압축-복원 학습을 수행하여, 이후 불량에 해당되는 상기 제1 영상 데이터를 입력되면 복원시 양품에 해당되는 상기 제2 영상 데이터를 생성하는
딥러닝 기반 제조 영상의 이상 탐지 장치.
The method of claim 1, wherein the first deep learning algorithm,
Performing compression-reconstruction learning on the good product, and then generating the second image data corresponding to the good product when the first image data corresponding to the defective product is input during restoration
A device for detecting anomalies in manufacturing images based on deep learning.
상기 제1 영상 데이터와 상기 제2 영상 데이터을 감산하는 감산 연산을 포함하는
딥러닝 기반 제조 영상의 이상 탐지 장치.
The method of claim 1, wherein the first operation of the first operation unit,
A subtraction operation for subtracting the first image data and the second image data
A device for detecting anomalies in manufacturing images based on deep learning.
SSIM (Structural Similarity))-오토 엔코더(Auto-encoder) 알고리즘을 학습하는 과정에 해당되는
딥러닝 기반 제조 영상의 이상 탐지 장치.
The method of claim 1, wherein the first operation of the first operation unit,
SSIM (Structural Similarity) - corresponding to the process of learning the auto-encoder algorithm
A device for detecting anomalies in manufacturing images based on deep learning.
상기 제1 영상 데이터와 상기 제2 영상 데이터 사이의 특징 벡터 정보를 추출하고, 상기 특징 벡터 정보에 기초한 특징 정보를 갖는 영상 마스크 데이터를 생성하는
딥러닝 기반 제조 영상의 이상 탐지 장치.
The method of claim 1, wherein the feature extractor,
Extracting feature vector information between the first image data and the second image data, and generating image mask data having feature information based on the feature vector information
A device for detecting anomalies in manufacturing images based on deep learning.
학습대상인 양품의 상기 제1 영상 데이터와 상기 제2 영상 데이터에 대해, 각 패치단위별 비교하는 상기 콘트라-임베팅(contra-embedding) 알고리즘을 학습하여, 상기 학습대상인 상기 제1 영상 데이터에 대해 각 패치단위별로 양품 및 불량을 분류하는
딥러닝 기반 제조 영상의 이상 탐지 장치.
The method of claim 1, wherein the feature extractor,
The contra-embedding algorithm that compares the first image data and the second image data of the non-defective product, which are learning objects, for each patch unit is learned, and each of the first image data, which is the learning target, is compared Classifying good and bad products by patch unit
A device for detecting anomalies in manufacturing images based on deep learning.
검사 대상인 상기 제1 영상 데이터에 대해, 각 패치단위별 특징 벡터 정보를 추출하고, 이 특징 벡터 정보에 기초해 각 패치단위별 양품 정보 및 불량 정보를 갖는 영상 마스크 데이터를 출력하는
딥러닝 기반 제조 영상의 이상 탐지 장치.
The method of claim 6, wherein the feature extractor,
Extracting feature vector information for each patch unit from the first image data to be inspected, and outputting image mask data having good product information and defect information for each patch unit based on the feature vector information
A device for detecting anomalies in manufacturing images based on deep learning.
상기 제3 영상 데이터와 상기 영상 마스크 데이터을 곱하는 곰셈 연산을 포함하는
딥러닝 기반 제조 영상의 이상 탐지 장치.
The method of claim 1, wherein the second operation of the second operation unit,
A subtraction operation of multiplying the third image data and the image mask data
A device for detecting anomalies in manufacturing images based on deep learning.
상기 제1 영상 데이터와 상기 제2 영상 데이터에 대해 제1 연산을 수행하여, 상기 제1 영상 데이터와 상기 제2 영상 데이터 간의 차이 영상에 해당되는 제3 영상 데이터를 출력하는 제1 연산 단계;
학습대상인 양품의 복수의 영상 데이터를 대상으로 제2 딥러닝 알고리즘을 학습하고, 검사대상인 상기 제1 영상 데이터와 상기 제2 영상 데이터에 대해 상기 학습된 제2 딥러닝 알고리즘을 적용하여, 상기 제1 영상 데이터와 상기 제2 영상 데이터 간의 특징 정보를 갖는 영상 마스크 데이터를 출력하는 특징 추출 단계; 및
상기 제3 영상 데이터와 상기 영상 마스크 데이터에 대해 제2 연산을 수행하여, 이상 정보를 갖는 제4 영상 데이터를 생성하는 제2 연산 단계;
를 포함하는 딥러닝 기반 제조 영상의 이상 탐지 방법.
An image generating step of generating second image data by learning a first deep learning algorithm on a plurality of image data of a good product, which is a learning target, and applying the learned first deep learning algorithm to the first image data, which is an inspection target. ;
a first operation step of performing a first operation on the first image data and the second image data and outputting third image data corresponding to a difference image between the first image data and the second image data;
A second deep learning algorithm is learned for a plurality of image data of a non-defective product as a learning target, and the learned second deep learning algorithm is applied to the first image data and the second image data as an inspection target, a feature extraction step of outputting image mask data having feature information between image data and the second image data; and
a second operation step of generating fourth image data having abnormality information by performing a second operation on the third image data and the image mask data;
A method for detecting anomalies in deep learning-based manufacturing images comprising a.
양품에 대해 압축-복원 학습을 수행하여, 이후 불량에 해당되는 상기 제1 영상 데이터를 입력되면 복원시 양품에 해당되는 상기 제2 영상 데이터를 생성하는
딥러닝 기반 제조 영상의 이상 탐지 방법.
The method of claim 9, wherein the first deep learning algorithm,
Performing compression-reconstruction learning on the good product, and then generating the second image data corresponding to the good product when the first image data corresponding to the defective product is input during restoration
A method for detecting anomalies in manufacturing images based on deep learning.
상기 제1 영상 데이터와 상기 제2 영상 데이터을 감산하는 감산 연산을 포함하는
딥러닝 기반 제조 영상의 이상 탐지 방법.
The method of claim 9, wherein the first operation of the first operation step,
A subtraction operation for subtracting the first image data and the second image data
A method for detecting anomalies in manufacturing images based on deep learning.
SSIM (Structural Similarity))-오토 엔코더(Auto-encoder) 알고리즘을 학습하는 과정에 해당되는
딥러닝 기반 제조 영상의 이상 탐지 방법.
The method of claim 9, wherein the first operation of the first operation step,
SSIM (Structural Similarity) - corresponding to the process of learning the auto-encoder algorithm
A method for detecting anomalies in manufacturing images based on deep learning.
상기 제1 영상 데이터와 상기 제2 영상 데이터 사이의 특징 벡터 정보를 추출하고, 상기 특징 벡터 정보에 기초한 특징 정보를 갖는 영상 마스크 데이터를 생성하는
딥러닝 기반 제조 영상의 이상 탐지 방법.
The method of claim 9, wherein the feature extraction step,
Extracting feature vector information between the first image data and the second image data, and generating image mask data having feature information based on the feature vector information
A method for detecting anomalies in manufacturing images based on deep learning.
학습대상인 양품의 상기 제1 영상 데이터와 상기 제2 영상 데이터에 대해, 각 패치단위별 비교하는 상기 콘트라-임베팅(contra-embedding) 알고리즘을 학습하여, 상기 학습대상인 상기 제1 영상 데이터에 대해 각 패치단위별로 양품 및 불량을 분류하는
딥러닝 기반 제조 영상의 이상 탐지 방법.
The method of claim 9, wherein the feature extraction step,
The contra-embedding algorithm that compares the first image data and the second image data of the non-defective product, which are learning objects, for each patch unit is learned, and each of the first image data, which is the learning target, is compared Classifying good and bad products by patch unit
A method for detecting anomalies in manufacturing images based on deep learning.
검사 대상인 상기 제1 영상 데이터에 대해, 각 패치단위별 특징 벡터 정보를 추출하고, 이 특징 벡터 정보에 기초해 각 패치단위별 양품 정보 및 불량 정보를 갖는 영상 마스크 데이터를 출력하는
딥러닝 기반 제조 영상의 이상 탐지 방법.
The method of claim 14, wherein the feature extraction step,
Extracting feature vector information for each patch unit from the first image data to be inspected, and outputting image mask data having good product information and defect information for each patch unit based on the feature vector information
A method for detecting anomalies in manufacturing images based on deep learning.
상기 제3 영상 데이터와 상기 영상 마스크 데이터을 곱하는 곰셈 연산을 포함하는
딥러닝 기반 제조 영상의 이상 탐지 방법.The method of claim 9, wherein the second operation of the second operation step,
A subtraction operation of multiplying the third image data and the image mask data
A method for detecting anomalies in manufacturing images based on deep learning.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202280026413.XA CN117121053A (en) | 2021-05-25 | 2022-03-02 | Apparatus and method for manufacturing anomaly detection |
| PCT/KR2022/002927 WO2022250253A1 (en) | 2021-05-25 | 2022-03-02 | Apparatus and method with manufacturing anomaly detection |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210067188 | 2021-05-25 | ||
| KR20210067188 | 2021-05-25 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220159239A true KR20220159239A (en) | 2022-12-02 |
| KR102609153B1 KR102609153B1 (en) | 2023-12-05 |
Family
ID=84417869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210127263A KR102609153B1 (en) | 2021-05-25 | 2021-09-27 | Apparatus and method for detecting anomalies in manufacturing images based on deep learning |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102609153B1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020171841A (en) * | 2018-09-12 | 2020-10-22 | 株式会社Ｓｐｌｉｎｋ | Diagnosis assistance system and method |
| KR20200132665A (en) * | 2019-05-17 | 2020-11-25 | 삼성전자주식회사 | Attention layer included generator based prediction image generating apparatus and controlling method thereof |
| US20210074036A1 (en) * | 2018-03-23 | 2021-03-11 | Memorial Sloan Kettering Cancer Center | Deep encoder-decoder models for reconstructing biomedical images |
| EP3798916A1 (en) * | 2019-09-24 | 2021-03-31 | Another Brain | Transformation of data samples to normal data |
| US20210120255A1 (en) * | 2020-01-10 | 2021-04-22 | Intel Corporation | Image compression using autoencoder information |
-
2021
- 2021-09-27 KR KR1020210127263A patent/KR102609153B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210074036A1 (en) * | 2018-03-23 | 2021-03-11 | Memorial Sloan Kettering Cancer Center | Deep encoder-decoder models for reconstructing biomedical images |
| JP2020171841A (en) * | 2018-09-12 | 2020-10-22 | 株式会社Ｓｐｌｉｎｋ | Diagnosis assistance system and method |
| KR20200132665A (en) * | 2019-05-17 | 2020-11-25 | 삼성전자주식회사 | Attention layer included generator based prediction image generating apparatus and controlling method thereof |
| EP3798916A1 (en) * | 2019-09-24 | 2021-03-31 | Another Brain | Transformation of data samples to normal data |
| US20210120255A1 (en) * | 2020-01-10 | 2021-04-22 | Intel Corporation | Image compression using autoencoder information |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102609153B1 (en) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rasheed et al. | Fabric defect detection using computer vision techniques: a comprehensive review | |
| CN114937055B (en) | Image self-adaptive segmentation method and system based on artificial intelligence | |
| US7027934B2 (en) | Apparatus and method for automated web inspection | |
| JP2024509411A (en) | Defect detection method, device and system | |
| CN112150460B (en) | Detection method, detection system, device and medium | |
| KR101992970B1 (en) | Apparatus And Method for Detecting A Surface Defect Using A Deep Neural Network And Noise Reduction | |
| Bong et al. | Vision-based inspection system for leather surface defect detection and classification | |
| CN113160200B (en) | Industrial image defect detection method and system based on multi-task twin network | |
| US20210096530A1 (en) | System and method for identifying manufacturing defects | |
| CN112862770A (en) | Defect analysis and diagnosis system, method and device based on artificial intelligence | |
| KR20210086303A (en) | Pattern inspection apparatus based on deep learning and inspection method using the same | |
| KR20230006822A (en) | Classification of abnormal wafer images | |
| KR20220159239A (en) | Apparatus and method for detecting anomalies in manufacturing images based on deep learning | |
| Ma et al. | An algorithm for fabric defect detection based on adaptive canny operator | |
| KR20230036650A (en) | Defect detection method and system based on image patch | |
| WO2022130814A1 (en) | Index selection device, information processing device, information processing system, inspection device, inspection system, index selection method, and index selection program | |
| CN115601293A (en) | Object detection method and device, electronic equipment and readable storage medium | |
| Revathy et al. | Fabric defect detection and classification via deep learning-based improved Mask RCNN | |
| Nguyen et al. | Defect analysis of inner-wall of pipes by differentiated residual blocks of convolutional neural network | |
| JP2021174194A (en) | Learning data processing device, learning device, learning data processing method, and program | |
| Kim et al. | Film line scratch detection using texture and shape information | |
| CN108508018A (en) | A kind of quality control method based on view data | |
| Soma et al. | Machine Learning System for Textile Fabric Defect Detection Using GLCM Technique | |
| KR102666787B1 (en) | Method, apparatus and program for inspecting defect | |
| WO2022250253A1 (en) | Apparatus and method with manufacturing anomaly detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |