KR102486230B1 - Method and system for quality inspection of new product using deep learning - Google Patents
Method and system for quality inspection of new product using deep learning Download PDFInfo
- Publication number
- KR102486230B1 KR102486230B1 KR1020200034488A KR20200034488A KR102486230B1 KR 102486230 B1 KR102486230 B1 KR 102486230B1 KR 1020200034488 A KR1020200034488 A KR 1020200034488A KR 20200034488 A KR20200034488 A KR 20200034488A KR 102486230 B1 KR102486230 B1 KR 102486230B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- learning
- product
- quality inspection
- defective
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Abstract
딥러닝을 이용한 신규 제품의 품질 검사 방법 및 시스템을 제시하며, 딥러닝을 이용한 신규 제품의 품질 검사 방법 및 시스템은 결함이 존재하는 기존 제품의 이미지인 불량 이미지를 기초로 상기 신규 제품의 품질검사를 위한 학습에 필요한 학습데이터를 생성하는 학습데이터생성시스템 및 상기 학습데이터를 학습하고, 학습에 기초하여 상기 신규 제품의 품질검사를 수행하는 불량식별시스템을 포함할 수 있다.A new product quality inspection method and system using deep learning are proposed, and the new product quality inspection method and system using deep learning perform quality inspection of the new product based on a defective image, which is an image of an existing product with defects. It may include a learning data generation system that generates learning data necessary for learning for learning, and a defect identification system that learns the learning data and performs a quality inspection of the new product based on the learning.
Description
본 명세서에서 개시되는 실시예들은 딥러닝을 이용한 신규 제품의 품질 검사 방법 및 시스템에 관한 것으로, 보다 상세하게는 생산라인에서 생산되는 제품의 불량을 검사하기 위해 기 학습된 모델을 이용하여 제품 생산라인에서 새롭게 생산되는 신규 제품의 불량을 검사하는 방법 및 시스템에 관한 것이다.Embodiments disclosed herein relate to a method and system for inspecting the quality of a new product using deep learning, and more particularly, to a product production line using a pre-learned model to inspect defects of products produced on the production line. It relates to a method and system for inspecting defects of new products newly produced in
컴퓨팅 기술의 발전에 따라 기계학습의 적용이 증가하고 있다. 특히, 최근에는 기계학습 중에서 인공신경망으로 대변되는 딥러닝 기술이 비약적으로 발전하고 있으며, 다양한 산업 현장에서 응용 사례가 늘어가고 있다. 제조업 분야에 있어서도 인공신경망은 혁신적으로 제조 현장을 변화시켜 가고 있다. The application of machine learning is increasing with the development of computing technology. In particular, in recent years, deep learning technology represented by artificial neural networks among machine learning has been rapidly developed, and application cases are increasing in various industrial fields. Even in the manufacturing sector, artificial neural networks are innovatively changing manufacturing sites.
기존 룰(Rule) 기반의 테스트 방식은 생산라인에서 발생하는 비정형 불량을 검출하지 못했지만, 인공신경망은 비정형 불량을 사람과 같이 추출하는 것이 가능하다. 기존에는 비정형 불량에 대해 제품의 생산라인에서 사람이 직접 불량을 판단하였으나, 이제는 인공신경망을 이용한 머신 비전을 이용하여 제품의 불량 여부를 판단하여 적용하는 사례가 늘고 있다.Existing rule-based test methods have not been able to detect atypical defects that occur on the production line, but artificial neural networks can extract atypical defects like humans. In the past, people directly judged defects on the product production line for atypical defects, but now, machine vision using artificial neural networks is used to determine whether or not a product is defective.
이와 같이 인공신경망을 이용하여 제품이 불량인지 여부를 식별하기 위해 인공신경망의 학습과정이 필요하다. 즉, 생산과정에서 발생할 수 있는 불량 제품의 이미지를 획득하고, 획득된 불량 제품의 이미지를 이용하여 인공신경망을 지도 학습 방식으로 학습시키는 것이 일반적이다. In this way, a learning process of the artificial neural network is required to identify whether or not a product is defective by using the artificial neural network. That is, it is common to acquire images of defective products that may occur in the production process, and to train an artificial neural network using a supervised learning method using the acquired images of defective products.
신규 생산되는 제품에 대해 인공신경망을 이용한 제품의 불량을 검출하기 위해서는 신규 제품의 불량이미지를 이용하여 인공신경망을 학습시켜야 하지만, 신규 제품의 생산과정에서 불량발생률이 매우 낮은 것이 보통이기에 신규 제품에 대한 불량상태의 이미지를 획득하기 어려워 인공신경망을 학습하는데 오랜 시간이 걸린다는 문제점이 있다. In order to detect product defects using artificial neural networks for newly produced products, artificial neural networks must be trained using defective images of new products. There is a problem that it takes a long time to learn an artificial neural network because it is difficult to acquire an image in a bad state.
관련하여 선행 기술 문헌인 한국특허공개번호 제10-2000-0087346 호는 인터넷 인공지능 학습 및 관리 방법에 관한 것이다. 인터넷을 통하여 선생과 학습자를 등록시키고 선생은 사용하고자 하는 문제출제와 시험문제를 만들어 사용할 수 있으며, 학습자는 문제데이터 베이스에 수록된 문제를 출제받아 학습하고 그 학습 결과를 정밀하게 평가받은 내용에 대해 기술하고 있지만 인공지능의 학습을 빠르게 수행하지 못한다.In this regard, Korean Patent Publication No. 10-2000-0087346, which is a prior art document, relates to an Internet artificial intelligence learning and management method. Teachers and learners are registered through the Internet, and teachers can create and use problem questions and test questions that they want to use. Although it is doing, it is not able to perform the learning of artificial intelligence quickly.
따라서 상술된 문제점을 해결하기 위한 기술이 필요하게 되었다.Therefore, a technique for solving the above problems has been required.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.On the other hand, the above-mentioned background art is technical information that the inventor possessed for derivation of the present invention or acquired in the process of derivation of the present invention, and cannot necessarily be said to be known art disclosed to the general public prior to filing the present invention. .
본 명세서에서 개시되는 실시예들은, 딥러닝을 이용한 신규 제품의 품질 검사 방법 및 시스템을 제시하는데 목적이 있다.Embodiments disclosed herein are aimed at presenting a method and system for quality inspection of a new product using deep learning.
본 명세서에서 개시되는 실시예들은, 신규 제품의 양품 이미지를 학습시켜 불량을 필터링하는 신규 제품의 품질 검사 방법 및 시스템을 제시하는데 목적이 있다.Embodiments disclosed in this specification are aimed at presenting a method and system for inspecting quality of a new product that filters defects by learning an image of a good product of the new product.
본 명세서에서 개시되는 실시예들은, 기존 제품의 불량 이미지를 기초로 생성된 불량 이미지 및 신규 제품의 양품 이미지를 기초로 신규 제품의 결함 이미지를 생성하는 신규 제품의 품질 검사 방법 및 시스템을 제시하는데 목적이 있다. Embodiments disclosed herein are aimed at presenting a quality inspection method and system for a new product that generates a defect image of a new product based on a defect image generated based on a defect image of an existing product and a good image of a new product. there is
본 명세서에서 개시되는 실시예들은, 기존 제품의 불량 이미지와 신규 제품의 결함 이미지를 기초로 패치(patch) 학습을 수행하는 신규 제품의 품질 검사 방법 및 시스템을 제시하는데 목적이 있다.Embodiments disclosed in this specification are aimed at presenting a new product quality inspection method and system for performing patch learning based on a defect image of an existing product and a defect image of a new product.
본 명세서에서 개시되는 실시예들은, 신규 제품 중 불량을 필터링하고, 필터링된 불량제품의 불량 유형을 분류하는 신규 제품의 품질 검사 방법 및 시스템을 제시하는데 목적이 있다.Embodiments disclosed in this specification are aimed at presenting a new product quality inspection method and system for filtering defects among new products and classifying defect types of the filtered defective products.
본 명세서에서 개시되는 실시예들은, 불량 이미지를 이용하여 분류 모델을 학습시키는 신규 제품의 품질 검사 방법 및 시스템을 제시하는데 목적이 있다. Embodiments disclosed in this specification are aimed at presenting a method and system for inspecting the quality of a new product in which a classification model is trained using defective images.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면, 신규 제품의 품질을 검사하는 시스템에 있어서, 결함이 존재하는 기존 제품의 이미지인 불량 이미지를 기초로 상기 신규 제품의 품질검사를 위한 학습에 필요한 학습데이터를 생성하는 학습데이터생성시스템 및 상기 학습데이터를 학습하고, 학습에 기초하여 상기 신규 제품의 품질검사를 수행하는 불량식별시스템을 포함할 수 있다.As a technical means for achieving the above-described technical problem, according to an embodiment, in a system for inspecting the quality of a new product, quality inspection of the new product is performed based on a defective image, which is an image of an existing product with defects. It may include a learning data generation system that generates learning data necessary for learning for learning, and a defect identification system that learns the learning data and performs a quality inspection of the new product based on the learning.
다른 실시예에 따르면, 품질검사시스템이 신규 제품의 품질을 검사하는 방법에 있어서, 결함이 존재하는 기존 제품의 이미지인 불량 이미지를 기초로 상기 신규 제품의 품질검사를 위한 학습에 필요한 학습데이터를 생성하는 단계, 상기 학습데이터를 학습하는 단계 및 학습에 기초하여 상기 신규 제품의 품질검사를 수행하는 단계를 포함할 수 있다. According to another embodiment, in the method for inspecting the quality of a new product by a quality inspection system, learning data necessary for learning for quality inspection of the new product is generated based on a defective image, which is an image of an existing product with defects. It may include the step of performing a quality test of the new product based on the step of learning, the step of learning the learning data, and the learning.
또 다른 실시예에 따르면, 품질검사방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체로 상기 품질검사방법은, 결함이 존재하는 기존 제품의 이미지인 불량 이미지를 기초로 상기 신규 제품의 품질검사를 위한 학습에 필요한 학습데이터를 생성하는 단계, 상기 학습데이터를 학습하는 단계 및 학습에 기초하여 상기 신규 제품의 품질검사를 수행하는 단계를 포함할 수 있다.According to another embodiment, a computer readable recording medium on which a program for performing a quality inspection method is recorded, wherein the quality inspection method performs a quality inspection of the new product based on a defective image, which is an image of an existing product with defects. It may include generating learning data necessary for learning for learning, learning the learning data, and performing quality inspection of the new product based on the learning.
그리고 다른 실시예에 따르면, 품질검사시스템에 의해 수행되며 품질검사방법을 수행하기 위해 매체에 저장된 컴퓨터프로그램으로 상기 품질검사방법은, 결함이 존재하는 기존 제품의 이미지인 불량 이미지를 기초로 상기 신규 제품의 품질검사를 위한 학습에 필요한 학습데이터를 생성하는 단계, 상기 학습데이터를 학습하는 단계 및 학습에 기초하여 상기 신규 제품의 품질검사를 수행하는 단계를 포함할 수 있다.And according to another embodiment, the quality inspection method is performed by the quality inspection system and is a computer program stored in a medium to perform the quality inspection method, the new product based on a defective image, which is an image of an existing product with defects. It may include generating learning data necessary for learning for quality inspection, learning the learning data, and performing quality inspection of the new product based on the learning.
전술한 과제 해결 수단 중 어느 하나에 의하면, 딥러닝을 이용한 신규 제품의 품질 검사 방법 및 시스템을 제시할 수 있다. According to any one of the above-described problem solving means, it is possible to propose a quality inspection method and system for a new product using deep learning.
전술한 과제 해결 수단 중 어느 하나에 의하면, 신규 제품의 양품 이미지를 학습시켜 신규 제품의 불량을 빠르게 필터링할 수 있는 신규 제품의 품질 검사 방법 및 시스템을 제시할 수 있다. According to any one of the above-described problem solving means, it is possible to propose a new product quality inspection method and system capable of quickly filtering out defects of a new product by learning good quality images of the new product.
전술한 과제 해결 수단 중 어느 하나에 의하면, 기존 제품의 불량 이미지를 기초로 생성된 불량 이미지 및 신규 제품의 양품 이미지를 기초로 신규 제품의 불량 이미지를 생성하는 신규 제품의 품질 검사 방법 및 시스템을 제시할 수 있다. According to any one of the above-described problem solving means, a new product quality inspection method and system for generating a defective image of a new product based on a defective image generated based on a defective image of an existing product and a good image of a new product are proposed. can do.
전술한 과제 해결 수단 중 어느 하나에 의하면, 기존 제품의 불량 이미지와 신규 제품의 결함 이미지를 기초로 패치(patch) 학습을 수행하여 결함에 대한 학습을 강화하는 신규 제품의 품질 검사 방법 및 시스템을 제시할 수 있다. According to any one of the above-described problem solving means, a new product quality inspection method and system for strengthening defect learning by performing patch learning based on a defect image of an existing product and a defect image of a new product are proposed. can do.
전술한 과제 해결 수단 중 어느 하나에 의하면, 신규 제품 중 불량을 필터링하고, 필터링된 불량제품의 불량 유형을 분류하는 신규 제품의 품질 검사 방법 및 시스템을 제시할 수 있다.According to any one of the above-described problem solving means, it is possible to propose a new product quality inspection method and system for filtering defects among new products and classifying defect types of the filtered defective products.
개시되는 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 개시되는 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Effects obtainable from the disclosed embodiments are not limited to those mentioned above, and other effects not mentioned are clear to those skilled in the art from the description below to which the disclosed embodiments belong. will be understandable.
도 1 은 일 실시예에 따른 품질검사시스템을 도시한 구성도이다.
도 2 는 일 실시예에 따른 품질검사시스템의 구성을 도시한 블록도이다.
도 3 내지 도 5 는 일 실시예에 따른 품질검사방법을 설명하기 위한 순서도이다. 1 is a configuration diagram showing a quality inspection system according to an embodiment.
2 is a block diagram showing the configuration of a quality inspection system according to an embodiment.
3 to 5 are flowcharts for explaining a quality inspection method according to an exemplary embodiment.
아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, various embodiments will be described in detail with reference to the accompanying drawings. Embodiments described below may be modified and implemented in various different forms. In order to more clearly describe the characteristics of the embodiments, detailed descriptions of matters widely known to those skilled in the art to which the following embodiments belong are omitted. And, in the drawings, parts irrelevant to the description of the embodiments are omitted, and similar reference numerals are attached to similar parts throughout the specification.
명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐 아니라, ‘그 중간에 다른 구성을 사이에 두고 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.Throughout the specification, when a component is said to be "connected" to another component, this includes not only the case of being 'directly connected', but also the case of being 'connected with another component in between'. In addition, when a certain component "includes" a certain component, this means that other components may be further included without excluding other components unless otherwise specified.
이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.
다만 이를 설명하기에 앞서, 아래에서 사용되는 용어들의 의미를 먼저 정의한다. However, prior to explaining this, the meaning of the terms used below is first defined.
‘인공신경망’은 생물 신경계의 고도의 정보처리기구를 공학적으로 모방해서 입력과 출력을 상호 간에 상세히 관련지어 복잡한 제어를 하는 정보처리기술로 스위치나 각 센서 등에서 신호를 보내는 입력 레이어, 그 정보를 바탕으로 입력과 출력의 우선순위를 정하면서 상호관계를 조정하는 은닉 레이어, 이것을 바탕으로 필요한 제어량을 산출해서 출력하는 출력 레이어로 구성된 3종류의 뉴론(신경세포) 모델이 복수로 연결된 네트워크이다.'Artificial neural network' is an information processing technology that engineeringally imitates the advanced information processing mechanism of the biological nervous system and performs complex control by relating inputs and outputs to each other in detail. It is a network in which a plurality of three types of neurons (nerve cell) models are connected, consisting of a hidden layer that prioritizes inputs and outputs and adjusts mutual relationships, and an output layer that calculates and outputs the necessary control amount based on this.
이하에서 설명할 품질검사시스템(10)은 예를 들어 머신 비전을 이용한 제품을 검사하는 검사장치에 결합 또는 연결되어 획득된 제품 이미지를 이용하여 인공신경망을 학습시키거나 제품의 결함 여부를 검사하거나 측정할 수 있다. The
여기서 머신 비전이란, 물체를 검사하거나 측정하기 위해, 사람이 육안으로 판단하던 기존의 방식을 대신하여, 카메라(시각 인식), CPU, SW를 통해 산업을 자동화시켜주는 것을 의미한다.Here, machine vision means automating the industry through a camera (visual recognition), CPU, and SW instead of the existing method in which a person judges with the naked eye to inspect or measure an object.
그리고 지도 학습방법(Supervised Learning)은 결과로 출력되어야 하는 값이 포함된 학습데이터(Training Data)를 이용하여 수행하는 기계 학습(Machine Learning)의 한 방법이다. Also, supervised learning is a method of machine learning performed using training data including values to be output as results.
비지도 학습방법(Unsupervised Learning)은 데이터가 어떻게 구성되었는지를 알아내기 위한 학습방법으로 지도 학습(Supervised Learning) 혹은 강화 학습(Reinforcement Learning)과는 달리 학습데이터에 결과로 출력되어야 하는 목표치가 주어지지 않는다.Unsupervised learning is a learning method to find out how data is structured. Unlike supervised learning or reinforcement learning, the learning data is not given a target value to be output as a result. .
‘미분류제품’은 정상제품의 촬영이미지를 기초로 비지도학습된 인공신경망에 의해 정상제품이 아닌 제품으로 분류된 제품이고, ‘불량제품’은 미분류제품 중 실제 제품에 결함이 존재하는 제품이다. ‘Unclassified product’ is a product that is classified as a non-normal product by an unsupervised artificial neural network based on the photographed image of a normal product, and ‘defective product’ is a product that has defects among the unclassified products.
‘불량 이미지’는 생산라인에서 생산되었던 기존 제품 중 불량제품으로 식별된 기존 제품을 촬영한 이미지이고, ‘결함 이미지’는 기존 제품이 생산되었던 생산라인에서 생산되는 신규 제품의 양품 이미지에 가상의 결함을 합성하여 생성된 가상의 불량 이미지이다. 'Defect image' is an image of an existing product identified as a defective product among existing products that were produced on the production line, and 'defect image' is a virtual defect in the good product image of a new product produced on the production line where the existing product was produced. It is a virtual bad image created by synthesizing .
위에 정의한 용어 이외에 설명이 필요한 용어는 아래에서 각각 따로 설명한다.In addition to the terms defined above, terms that require explanation are separately explained below.
도 1 은 일 실시예에 따른 품질검사시스템(10)를 설명하기 위한 구성도이다.1 is a configuration diagram for explaining a
품질검사시스템(10)은 기존 제품을 생산하던 기 생산라인에서 신규 제품을 생산하는 경우에도 머신 비전용 카메라를 통해 생산 중인 신규 제품을 촬영하여 획득된 촬영이미지를 인공신경망에 입력하여 불량인지 여부를 검사할 수 있다. 이를 위해 품질검사시스템(10)는 결함이 존재하는 기존 제품에 대한 불량 이미지를 기초로 신규 제품의 품질검사에 이용되는 인공신경망의 학습에 필요한 학습데이터를 생성할 수 있고, 생성된 학습데이터를 학습하여 신규 제품의 품질 검사를 수행할 수 있다.Even when a new product is produced on a production line that used to produce existing products, the
이러한 품질검사시스템(10)은 결함이 존재하는 기존 제품의 이미지인 불량 이미지를 기초로 신규 제품의 품질검사를 위한 인공신경망의 학습에 필요한 학습데이터를 생성하는 학습데이터생성시스템(11)과 학습데이터를 학습하여 신규 제품의 품질 검사를 수행하는 불량식별시스템(12)을 포함할 수 있다. This
그리고 품질검사시스템(10)을 구성하는 학습데이터생성시스템(11)과 불량식별시스템(12) 각각은 네트워크(N)를 통해 원격지의 서버에 접속하거나, 타 단말 및 서버와 연결 가능한 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop)등을 포함할 수 있다.In addition, each of the learning
그리고 품질검사시스템(10)을 구성하는 학습데이터생성시스템(11)과 불량식별시스템(12) 각각은 물리적으로 분리되어 별도의 서버에서 구현되거나 또는 하나의 서버에서 구현될 수 있다. 또한, 품질검사시스템(10)은 물리적으로 분리된 서버가 네트워크를 통해 연결되어 논리적으로 하나의 시스템을 형성하는 클라우드 형태로 구현될 수 있다. In addition, each of the learning
우선, 학습데이터생성시스템(11)은 머신 비전 카메라를 통해 촬영된 기존 제품의 이미지 중 결함이 존재하는 것으로 판단된 기존 제품의 이미지인 불량 이미지를 학습하여 후술할 불량식별시스템(12)에서 신규 제품의 품질 검사를 위해 이용되는 학습데이터를 생성할 수 있다. First of all, the learning
그리고 불량식별시스템(12)은 상술한 학습데이터생성시스템(11)에서 생성된 학습데이터를 인공신경망에 입력하여 학습할 수 있고, 학습된 인공신경망을 이용하여 머신 비전 카메라를 통해 촬영된 신규 제품의 이미지를 기초로 신규 제품이 불량인지 여부를 검사할 수 있고, 불량제품으로 판단된 신규 제품에 대해서는 불량 유형을 식별할 수 있다. And the
이때, 학습데이터생성시스템(11)과 불량식별시스템(12) 각각은 실시예에 따라, 인공신경망을 포함하거나 또는 물리적으로 이격된 제 3 의 서버에서 구현된 인공신경망과 연결될 수 있다. 이하에서는 학습데이터생성시스템(11)과 불량식별시스템(12) 내에 인공신경망이 구현된 것으로 가정하여 설명한다.At this time, each of the learning
도 2 는 일 실시예에 따른 품질검사시스템(10)의 구성을 도시한 블록도이다. 도 2 를 참조하면, 일 실시예에 따른 품질검사시스템(10)은, 학습데이터생성시스템(11)과 불량식별시스템(12)을 포함할 수 있다.2 is a block diagram showing the configuration of a
우선, 학습데이터생성시스템(11)은 학습데이터제어부(111), 학습데이터통신부(112) 및 학습데이터메모리(113)를 포함할 수 있다. First, the learning
학습데이터제어부(111)는 학습데이터생성시스템(11)의 전체적인 동작을 제어하며, CPU 등과 같은 프로세서를 포함할 수 있다. 학습데이터제어부(111)는 학습데이터통신부(112)를 통해 수신된 데이터를 처리하여 학습데이터를 생성하기 위한 동작을 수행하도록 학습데이터생성시스템(11)에 포함된 다른 구성들을 제어할 수 있다.The learning
예를 들어, 학습데이터제어부(111)는 학습데이터메모리(113)에 저장된 프로그램을 실행시키거나, 학습데이터메모리(113)에 저장된 파일을 읽어오거나, 새로운 파일을 학습데이터메모리(113)에 저장할 수도 있다.For example, the learning
이러한 학습데이터제어부(111)는 결함이 존재하는 기존 제품의 이미지인 불량 이미지를 후술할 학습데이터통신부(112)를 통해 획득할 수 있으며, 획득된 불량 이미지를 학습할 수 있다. The learning
예를 들어, 학습데이터제어부(111)는 후술할 불량식별시스템(12)에서 품질 검사를 수행하던 기존 제품 중 결함이 존재하는 기존 제품을 촬영한 이미지인 불량 이미지를 획득할 수 있고, 불량 이미지를 통해 불량 이미지에 포함된 결함의 패턴, 위치, 크기 또는 형태 등을 학습할 수 있다. For example, the learning
그리고 학습데이터제어부(111)는 품질검사의 통과가 가능한 신규 제품에 대한 이미지인 양품 이미지를 학습할 수 있다. Further, the learning
예를 들어, 학습데이터제어부(111)는 학습데이터통신부(112)를 통해 품질검사에서 통과 가능한 신규 제품에 대한 양품 이미지를 획득할 수 있고, 획득된 양품 이미지를 학습할 수 있다.For example, the learning
이후, 학습데이터제어부(111)는 학습된 기존 제품의 불량 이미지 및 신규 제품의 양품 이미지를 기초로 신규 제품에 대한 결함 이미지를 생성할 수 있다. Thereafter, the learning
예를 들어, 학습데이터제어부(111)는 학습된 불량 이미지에 포함된 결함의 패턴, 위치, 크기 또는 형태 등을 기초로 다양한 형태의 결함을 생성할 수 있고, 생성된 결함을 신규 제품의 양품 이미지에 합성하여 결함 이미지를 생성할 수 있다.For example, the learning
이와 같이 신규 제품의 양품 이미지에 기존 제품에서 발생되는 결함을 결합하여 생성된 결함 이미지를 이용하여 후술할 불량식별시스템(12)을 빠르게 학습시킬 수 있다. In this way, the
그리고 학습데이터제어부(111)는 신규 제품의 품질검사를 위한 학습에 필요한 학습데이터를 생성할 수 있다. Also, the learning
예를 들어, 학습데이터제어부(111)는 불량 이미지와 결함 이미지 각각에 결함이 존재하는 영역을 크롭핑하여 학습데이터를 생성하거나 또는 불량 이미지와 결함 이미지가 포함된 학습데이터를 생성할 수 있다. For example, the training
이후, 학습데이터제어부(111)는 생성된 학습데이터를 후술할 불량식별시스템(12)으로 제공할 수 있다.Thereafter, the learning
한편, 학습데이터통신부(112)는 다른 디바이스 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 학습데이터통신부(112)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 모듈은 칩셋(chipset)의 형태로 구현될 수 있다.Meanwhile, the learning
학습데이터통신부(112)가 지원하는 무선 통신은, 예를 들어 Wi-Fi(Wireless Fidelity), Wi-Fi Direct, 블루투스(Bluetooth), UWB(Ultra Wide Band) 또는 NFC(Near Field Communication) 등일 수 있다. 또한, 학습데이터통신부(112)가 지원하는 유선 통신은, 예를 들어 USB 또는 HDMI(High Definition Multimedia Interface) 등일 수 있다.The wireless communication supported by the learning
이러한 학습데이터통신부(112)는 제 3 의 서버 또는 후술할 불량식별시스템(12)으로부터 신규 제품의 양품 이미지를 수신하거나 기존 제품의 불량 이미지를 획득할 수 있으며, 학습데이터제어부(111)가 생성한 학습데이터를 불량식별시스템(12)으로 전송할 수 있다. The learning
학습데이터메모리(113)에는 파일, 어플리케이션 및 프로그램 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다. 학습데이터제어부(111)는 학습데이터메모리(113)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 학습데이터메모리(113)에 저장할 수도 있다. 또한, 학습데이터제어부(111)는 학습데이터메모리(113)에 설치된 프로그램을 실행할 수도 있다. In the learning
한편, 불량식별시스템(12)는 불량식별입출력부(121), 불량식별제어부(122), 불량식별통신부(123) 및 불량식별메모리(124)를 포함할 수 있다. Meanwhile, the
불량식별시스템(12)의 불량식별입출력부(121)는 머신 비전용 카메라를 통해 생산중인 신규 제품의 촬영을 위한 입력부와, 작업의 수행 결과 또는 불량식별시스템(12)의 상태 등의 정보를 표시하기 위한 출력부를 포함할 수 있다. 예를 들어, 불량식별입출력부(121)는 생산라인에 배치되어 생산되는 신규 제품을 촬영하는 카메라 및 화면을 표시하는 디스플레이 패널(display panel) 등을 포함할 수 있다.The defect identification input/
구체적으로, 입력부는 키보드, 물리 버튼, 터치 스크린, 카메라 또는 마이크 등과 같이 다양한 형태의 사용자 입력을 수신할 수 있는 장치들을 포함할 수 있다. 특히 머신 비전용 카메라는 제품이 생산되는 생산라인에 배치되어 생산라인을 따라 이동하는 제품을 실시간으로 촬영할 수 있다. Specifically, the input unit may include devices capable of receiving various types of user inputs, such as a keyboard, a physical button, a touch screen, a camera, or a microphone. In particular, a camera for machine vision can be placed in a production line where products are produced and take pictures of products moving along the production line in real time.
또한, 출력부는 디스플레이 패널 또는 스피커 등을 포함할 수 있다. 다만, 이에 한정되지 않고 불량식별입출력부(121)는 다양한 입출력을 지원하는 구성을 포함할 수 있다.Also, the output unit may include a display panel or a speaker. However, it is not limited thereto, and the defect identification input/
그리고 불량식별시스템(12)의 불량식별제어부(122)는 불량식별시스템(12)의 전체적인 동작을 제어하며, CPU 등과 같은 프로세서를 포함할 수 있다. 그리고 불량식별제어부(122)는 인공신경망으로 구현되거나 또는 제 3 의 서버에 구현된 인공신경망을 이용하여 불량식별입출력부(121)를 통해 획득한 신규 제품의 촬영이미지를 기초로 신규 제품의 정상 또는 불량 여부를 검사할 수 있으며, 이를 위해 불량식별시스템(12)에 포함된 다른 구성들을 제어할 수 있다. The defect
이러한, 불량식별제어부(122)는 신규 제품의 양품 이미지를 학습할 수 있다. The defect
예를 들어, 불량식별제어부(122)는 학습데이터에 포함된 신규 제품의 양품 이미지 또는 불량식별입출력부(121)를 통해 촬영된 신규 제품의 양품 이미지를 획득하여 학습할 수 있다. For example, the defect
그리고 불량식별제어부(122)는 학습데이터생성시스템(11)으로부터 획득되는 학습데이터를 이용하여 학습할 수 있다. And the defect
예를 들어, 불량식별제어부(122)는 학습데이터생성시스템(11)에서 생성된 학습데이터에 포함된 신규 제품에 대한 가상의 불량 이미지인 결함 이미지에서 결함이 존재하는 영역만을 기 설정된 크기로 분할하여 패치(patch) 학습을 수행할 수 있다. For example, the defect
이와 같이, 기존 제품의 불량 이미지를 기초로 생성된 학습데이터에 대해 패치 학습을 통해 결함이 존재하는 영역의 학습을 통해 생산라인(공정)이 같아 기존 제품에 발생되는 결함의 유형과 비슷한 결함이 발생되는 신규 제품에 대해서도 품질검사를 수행할 수 있다. In this way, defects similar to the types of defects that occur in existing products occur because the production line (process) is the same through learning the area where defects exist through patch learning for learning data generated based on defective images of existing products. Quality inspections can also be performed on new products.
그리고 불량식별제어부(122)는 학습에 기초하여 신규 제품의 품질검사를 수행할 수 있다. Also, the defect
실시예에 따라, 불량식별제어부(122)는 품질검사의 대상인 신규 제품 중 신규 제품의 양품 이미지와 상이한 신규 제품을 미분류제품으로 분류할 수 있다. Depending on the embodiment, the defect
예를 들어, 불량식별제어부(122)는 생산라인에서 생산되는 신규 제품을 불량식별입출력부(121)의 머신 비전 카메라로 촬영된 이미지와 기 학습된 양품 이미지를 비교할 수 있고, 양품 이미지와 상이한 신규 제품을 미분류제품으로 분류할 수 있다. For example, the defect
그리고 불량식별제어부(122)는 미분류제품 중 결함이 존재하는 불량제품을 식별할 수 있다. Also, the defect
예를 들어, 불량식별제어부(122)는 패치학습을 통해 학습된 결함이 미분류제품의 이미지상에 존재하는지 여부를 식별할 수 있고, 결함이 식별된 영역을 특정할 수 있다.For example, the defect
이후, 불량식별제어부(122)는 미분류제품 중 결함이 발견된 불량제품의 결함을 기초로 불량제품의 불량 유형을 결정할 수 있다. Thereafter, the defect
이때 실시예에 따라, 불량식별제어부(122)는 학습데이터를 이용하여 결함을 학습할 때, 결함을 불량의 유형에 따라 분류 학습할 수 있다.At this time, according to the embodiment, when learning defects using the learning data, the defect
예를 들어, 불량식별제어부(122)는 학습데이터 학습시 학습데이터에 포함된 결함의 패턴, 크기, 위치 또는 형태 등을 기준으로 결함을 분류할 수 있고, 분류된 결함에 따라 불량 유형을 결정할 수 있다. For example, when learning the learning data, the defect
그리고 불량식별제어부(122)는 불량제품의 결함에 기초하여 불량제품의 불량 유형을 결정할 수 있다.Also, the defect
예를 들어, 불량식별제어부(122)는 신규 제품인 유기발광다이오드 패널 중 표면에 결함이 존재한 것으로 판단된 불량제품에 대해 라인(Line) 결함, 스팟(spot) 결함, 에지(edge) 결함 등으로 불량제품의 불량 유형을 결정할 수 있다. For example, the defect
이와 같이 동일한 생산라인에서 신규 제품을 생산하더라도 기존 제품의 불량 이미지를 패치 학습함으로써 결함이 발생한 영역을 학습하고, 이를 신규 제품에 대한 품질검사에 적용함으로써 신규 제품에 대한 머신 비전의 적용시간을 단축시킴과 동시에 정확한 품질검사를 할 수 있다. In this way, even if a new product is produced on the same production line, the application time of machine vision for a new product is shortened by learning the defect area by patch learning the defective image of the existing product and applying it to the quality inspection of the new product. At the same time, accurate quality inspection can be performed.
도 3 내지 도 5 는 일 실시예에 따른 품질검사방법을 설명하기 위한 순서도이다. 3 to 5 are flowcharts for explaining a quality inspection method according to an exemplary embodiment.
도 3 내지 도 5 에 도시된 실시예에 따른 품질검사방법은 도 1 및 도 2 에 도시된 품질검사시스템(10)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 및 도 2 에 도시된 품질검사시스템(10)에 관하여 이상에서 기술한 내용은 도 3 내지 도 5 에 도시된 실시예에 따른 품질검사방법에도 적용될 수 있다.The quality inspection method according to the embodiment shown in FIGS. 3 to 5 includes steps processed time-sequentially in the
우선 도 3 을 참조하면, 품질검사시스템(10)의 학습데이터생성시스템(11)은 결함이 존재하는 기존 제품의 이미지인 불량 이미지를 기초로 신규 제품의 품질검사를 위한 학습에 필요한 학습데이터를 생성할 수 있다(S3001). First of all, referring to FIG. 3, the learning
예를 들어, 학습데이터생성시스템(11)은 생산라인에 설치된 머신 비전용 카메라를 통해 기존 제품 중 결함이 존재하는 기존 제품의 촬영 이미지인 불량 이미지에 포함된 결함을 이용하여 신규 제품의 양품 이미지에 결함을 결합하여 결함 이미지를 생성할 수 있다.For example, the learning
도 4 는 일 실시예에 따라 학습데이터를 생성하는 방법을 구체적으로 도시한 순서도이다. 4 is a flowchart specifically illustrating a method of generating learning data according to an embodiment.
도 4 를 참조하면, 학습데이터생성시스템(11)은 기존 제품의 불량 이미지를 학습할 수 있다(S4001). Referring to FIG. 4 , the learning
예를 들어, 학습데이터생성시스템(11)은 생산라인에 설치된 머신 비전용 카메라를 통해 촬영된 기존 제품의 이미지를 획득할 수 있고, 획득된 이미지를 비지도 학습방법으로 학습하여 결함이 존재하는 기존 제품의 불량 이미지를 학습할 수 있다. For example, the learning
또는 예를 들어, 학습데이터생성시스템(11)은 관리자로부터 획득된 기존 제품의 불량 이미지를 지도 학습방법으로 학습할 수 있다. Alternatively, for example, the learning
그리고 학습데이터생성시스템(11)은 품질검사의 통과가 가능한 신규 제품에 대한 이미지인 양품 이미지를 기초로 신규 제품에 대한 결함 이미지를 생성할 수 있다(S4002).Further, the learning
예를 들어, 학습데이터생성시스템(11)은 신규 제품의 양품 이미지를 획득할 수 있고, 획득된 양품 이미지를 기초로 S4001단계에서 학습된 기존 제품에 포함된 결함을 합성하여 신규 제품에 대한 결함 이미지를 생성할 수 있다. 이때, 학습데이터생성시스템(11)은 결함 이미지를 생성시 합성하는 결함의 위치, 크기, 형태를 기존 제품의 불량 이미지를 기초로 유사하거나 동일한 패턴으로 결함을 합성할 수 있다. For example, the learning
이후, 학습데이터생성시스템(11)은 불량 이미지 및 결함 이미지 중 적어도 하나를 기초로 학습데이터를 생성할 수 있다(S4003). Then, the learning
예를 들어, 학습데이터생성시스템(11)은 S4002단계를 통해 신규 제품에 대해 다양한 형태의 결함이 포함된 결함 이미지를 포함한 학습데이터를 생성할 수 있다.For example, the learning
이후, 품질검사시스템(10)의 불량식별시스템(12)은 S3001단계에서 생성된 학습데이터를 학습할 수 있다(S3002). Thereafter, the
예를 들어, 불량식별시스템(12)은 S3001단계에서 생성된 학습데이터에 포함된 이미지인 불량 이미지 또는 결함 이미지 중 적어도 하나에 대해 분할하여 결함이 포함된 영역을 패치(patch)학습할 수 있다. For example, the
또한, 불량식별시스템(12)은 신규 제품에 대한 양품 이미지를 획득하여 학습을 수행할 수 있다. In addition, the
예를 들어, 불량식별시스템(12)은 신규 제품을 촬영한 이미지를 획득할 수 있고, 획득된 이미지에 대해 비지도 학습방법을 통해 신규 제품의 양품 이미지를 학습할 수 있다. For example, the
그리고 불량식별시스템(12)은 학습에 기초하여 신규 제품의 품질검사를 수행할 수 있다(S3003). And the
예를 들어, 불량식별시스템(12)은 S3002단계의 학습에 기초하여 머신 비전용 카메라를 통해 촬영되는 신규 제품의 이미지상에 결함이 존재하는 여부를 식별할 수 있다. For example, the
도 5 는 일실시예에 따라 신규 제품에 대한 품질 검사과정을 도시한 순서도이다.5 is a flowchart illustrating a quality inspection process for a new product according to an embodiment.
도 5 를 참조하면, 불량식별시스템(12)는 머신 비전용 카메라를 통해 생산라인에서 생산되는 신규 제품을 촬영할 수 있고(S5001), S3002단계에서 학습된 신규 제품에 대한 양품 이미지를 기초로 신규 제품을 정상 제품과 미분류제품으로 분류할 수 있다. Referring to FIG. 5, the
예를 들어, 불량식별시스템(12)은 S3002단계에서 비지도 학습방법으로 학습된 신규 제품의 양품 이미지를 기초로 양품 이미지와 상이한 신규 제품을 미분류제품으로 분류할 수 있다. 그리고 불량식별시스템(12)은 미분류제품으로 분류되지 않은 신규 제품은 정상제품으로 분류할 수 있다. For example, the
그리고 불량식별시스템(12)은 미분류제품으로 분류된 신규 제품의 이미지에서 결함의 존재 여부를 식별할 수 있다(S5003). And the
예를 들어, 불량식별시스템(12)은 미분류제품으로 분류된 신규 제품의 이미지를 기초로 S3002단계에서 패치 방법으로 학습된 결함과 동일하거나 유사한 형태의 결함이 존재하는지 식별할 수 있다. 그리고 미분류제품으로 분류된 신규 제품의 이미지에서 결함이 존재하지 않으면, 불량식별시스템(12)은 해당 미분류제품인 신규 제품을 정상 제품으로 분류할 수 있으나 결함이 존재하는 경우 해당 미분류제품인 신규 제품을 불량제품으로 분류할 수 있다. For example, the
이후, 불량식별시스템(12)은 결함이 식별된 불량제품의 불량 유형을 식별할 수 있다(S5004). Thereafter, the
이를 위해, 불량식별시스템(12)은 S3002단계에서 학습데이터의 학습시 학습데이터에 포함된 결함을 비지도 학습방법으로 불량 유형별로 학습할 수 있다. To this end, the
예를 들어, 불량식별시스템(12)은 불량 유형에 따라 발생되는 결함의 패턴, 크기, 위치 또는 형태 등을 각각 학습할 수 있고, 학습에 기초하여 S5003단계에서 불량제품으로 분류된 신규 제품의 이미지에 포함된 결함을 기초로 라인(line) 불량, 스팟(spot) 불량, 에지(edge) 불량, 빛 번짐(light leak) 불량, 버터플라이(butterfly) 불량, 스테인(stain) 불량, 불균일(un-uniform) 불량, 클라우드(cloud) 불량, 터레인(terrain) 불량 중 어느 하나로 불량 유형을 식별할 수 있다. For example, the
이와 같이, 기존 제품의 불량 이미지를 이용하여 신규 제품에 대한 결함 이미지를 생성하여 학습함으로써 신규 제품에 대한 머신 비전을 이용한 품질검사를 위해 필요한 학습데이터의 수집과 학습에 걸리는 시간을 최소화함과 동시에 빠르게 신규 제품에 대한 품질검사를 수행할 수 있으며, 불량제품의 불량 유형도 식별할 수 있다. In this way, by using the defective image of the existing product to create and learn the defect image for the new product, the time required for the collection and learning of learning data required for quality inspection using machine vision for the new product is minimized and at the same time fast It can perform quality inspections on new products and identify types of defective products.
이상의 실시예들에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.The term '~unit' used in the above embodiments means software or a hardware component such as a field programmable gate array (FPGA) or ASIC, and '~unit' performs certain roles. However, '~ part' is not limited to software or hardware. '~bu' may be configured to be in an addressable storage medium and may be configured to reproduce one or more processors. Therefore, as an example, '~unit' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , subroutines, segments of program patent code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.
구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.Functions provided within components and '~units' may be combined into smaller numbers of components and '~units' or separated from additional components and '~units'.
뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다.In addition, components and '~units' may be implemented to play one or more CPUs in a device or a secure multimedia card.
도 3 내지 도 5 를 통해 설명된 실시예에 따른 품질검사방법은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는, 컴퓨터로 판독 가능한 매체의 형태로도 구현될 수 있다. 이때, 명령어 및 데이터는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터 기록 매체일 수 있는데, 컴퓨터 기록 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다.예를 들어, 컴퓨터 기록 매체는 HDD 및 SSD 등과 같은 마그네틱 저장 매체, CD, DVD 및 블루레이 디스크 등과 같은 광학적 기록 매체, 또는 네트워크를 통해 접근 가능한 서버에 포함되는 메모리일 수 있다. The quality inspection method according to the embodiment described with reference to FIGS. 3 to 5 may also be implemented in the form of a computer-readable medium storing instructions and data executable by a computer. In this case, instructions and data may be stored in the form of program codes, and when executed by a processor, a predetermined program module may be generated to perform a predetermined operation. Also, computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, a computer-readable medium may be a computer recording medium, which is a volatile and non-volatile memory implemented in any method or technology for storage of information such as computer-readable instructions, data structures, program modules, or other data. It may include both volatile, removable and non-removable media. For example, computer storage media include magnetic storage media such as HDDs and SSDs, optical media such as CDs, DVDs and Blu-ray discs, or media accessible through a network. It may be memory included in the server.
또한 도 3 내지 도 5 를 통해 설명된 실시예에 따른 품질검사방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다. In addition, the quality inspection method according to the embodiment described with reference to FIGS. 3 to 5 may be implemented as a computer program (or computer program product) including instructions executable by a computer. A computer program includes programmable machine instructions processed by a processor and may be implemented in a high-level programming language, object-oriented programming language, assembly language, or machine language. . Also, the computer program may be recorded on a tangible computer-readable recording medium (eg, a memory, a hard disk, a magnetic/optical medium, or a solid-state drive (SSD)).
따라서 도 3 내지 도 5 를 통해 설명된 실시예에 따른 품질검사방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다. Therefore, the quality inspection method according to the embodiment described with reference to FIGS. 3 to 5 can be implemented by executing the above-described computer program by a computing device. A computing device may include at least some of a processor, a memory, a storage device, a high-speed interface connected to the memory and a high-speed expansion port, and a low-speed interface connected to a low-speed bus and a storage device. Each of these components are connected to each other using various buses and may be mounted on a common motherboard or mounted in any other suitable manner.
여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다. Here, the processor may process commands within the computing device, for example, to display graphic information for providing a GUI (Graphic User Interface) on an external input/output device, such as a display connected to a high-speed interface. Examples include instructions stored in memory or storage devices. As another example, multiple processors and/or multiple buses may be used along with multiple memories and memory types as appropriate. Also, the processor may be implemented as a chipset comprising chips including a plurality of independent analog and/or digital processors.
또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다. Memory also stores information within the computing device. In one example, the memory may consist of a volatile memory unit or a collection thereof. As another example, the memory may be composed of a non-volatile memory unit or a collection thereof. Memory may also be another form of computer readable medium, such as, for example, a magnetic or optical disk.
그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다. Also, the storage device may provide a large amount of storage space to the computing device. A storage device may be a computer-readable medium or a component that includes such a medium, and may include, for example, devices in a storage area network (SAN) or other components, such as a floppy disk device, a hard disk device, an optical disk device, or a tape device, flash memory, or other semiconductor memory device or device array of the like.
상술된 실시예들은 예시를 위한 것이며, 상술된 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 상술된 실시예들이 갖는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 상술된 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above-described embodiments are for illustrative purposes, and those skilled in the art to which the above-described embodiments belong can easily transform into other specific forms without changing the technical spirit or essential features of the above-described embodiments. You will understand. Therefore, it should be understood that the above-described embodiments are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.
본 명세서를 통해 보호 받고자 하는 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태를 포함하는 것으로 해석되어야 한다.The scope to be protected through this specification is indicated by the following claims rather than the detailed description above, and should be construed to include all changes or modifications derived from the meaning and scope of the claims and equivalent concepts thereof. .
10: 품질검사시스템
11: 학습데이터생성시스템
111: 학습데이터제어부
112: 학습데이터통신부
113: 학습데이터메모리
12: 불량식별시스템
121: 불량식별입출력부
122: 불량식별제어부
123: 불량식별통신부
124: 불량식별메모리10: Quality inspection system
11: Learning data generation system
111: learning data control unit
112: learning data communication unit
113: learning data memory
12: defect identification system
121: defect identification input and output unit
122: defect identification control unit
123: defect identification communication unit
124: defect identification memory
Claims (18)
결함이 존재하는 기존 제품의 이미지인 불량 이미지를 학습하고, 상기 불량 이미지의 학습을 기초로 하여 품질검사의 통과가 가능한 신규 제품에 대한 이미지인 양품 이미지에 결함을 생성하여 결함 이미지를 생성하며, 상기 불량 이미지와 상기 결함 이미지 각각에 결함이 존재하는 영역을 크롭핑하여 학습데이터를 생성하는 학습데이터생성시스템; 및
상기 학습데이터를 학습하고, 학습에 기초하여 상기 신규 제품의 품질검사를 수행하는 불량식별시스템을 포함하고,
상기 불량식별시스템은,
상기 양품 이미지를 비지도 방식으로 학습하고, 상기 양품 이미지의 학습을 기초로 상기 품질검사의 대상인 신규 제품 중 상기 양품 이미지와 상이한 신규 제품을 미분류제품으로 분류하고, 상기 미분류제품으로 분류되지 않은 신규 제품을 정상 제품으로 분류하며, 상기 학습데이터의 학습을 기초로 상기 미분류제품 중 결함이 존재하는 불량제품과 결함이 존재하지 않는 정상 제품을 구분하여 식별하는, 품질검사시스템. In the quality inspection system for inspecting the quality of new products,
Learning a defective image, which is an image of an existing product with defects, and generating a defect image by creating a defect in a good image, which is an image of a new product that can pass the quality inspection based on the learning of the defective image, a learning data generating system for generating learning data by cropping a defective image and a region in which defects exist in each of the defective images; and
A defect identification system that learns the learning data and performs quality inspection of the new product based on the learning;
The defect identification system,
The good product image is learned in an unsupervised manner, and new products that are different from the good product image among the new products subject to the quality inspection are classified as unclassified products based on the learning of the good product image, and new products not classified as the unclassified product A quality inspection system that classifies products as normal products and classifies and identifies defective products with defects and normal products without defects among the unclassified products based on the learning of the learning data.
상기 불량식별시스템은,
상기 불량제품상의 결함을 기초로 상기 불량제품의 불량 유형을 결정하는, 품질검사시스템.According to claim 1,
The defect identification system,
A quality inspection system for determining a defect type of the defective product based on defects on the defective product.
결함이 존재하는 기존 제품의 이미지인 불량 이미지를 기초로 상기 신규 제품의 품질검사를 위한 학습에 필요한 학습데이터를 생성하는 단계; 및
상기 학습 데이터의 학습에 기초하여 상기 신규 제품의 품질검사를 수행하는 단계를 포함하고,
상기 학습데이터를 생성하는 단계는,
상기 불량 이미지를 학습하고, 상기 불량 이미지의 학습을 기초로 하여 품질검사의 통과가 가능한 신규 제품에 대한 이미지인 양품 이미지에 결함을 생성하여 상기 신규 제품에 대한 결함 이미지를 생성하는 단계; 및
상기 불량 이미지와 상기 결함 이미지 각각에 결함이 존재하는 영역을 크롭핑하여 상기 학습데이터를 생성하는 단계를 포함하고,
상기 품질검사를 수행하는 단계는,
상기 양품 이미지를 비지도 방식으로 학습하고, 상기 양품 이미지의 학습을 기초로 상기 품질검사의 대상인 신규 제품 중 상기 양품 이미지와 상이한 신규 제품을 미분류제품으로 분류하고, 상기 미분류제품으로 분류되지 않은 신규 제품을 정상 제품으로 분류하는 단계; 및
상기 학습데이터를 학습하고, 상기 학습데이터의 학습을 기초로 상기 미분류제품 중 결함이 존재하는 불량제품과 결함이 존재하지 않는 정상 제품을 구분하여 식별하는 단계를 포함하는, 품질검사방법. In the method for the quality inspection system to inspect the quality of a new product,
generating learning data necessary for learning for quality inspection of the new product based on a defective image, which is an image of an existing product with defects; and
Performing a quality inspection of the new product based on learning of the learning data;
The step of generating the learning data,
learning the defective image, and generating a defect image for the new product by generating a defect in a good product image, which is an image for a new product capable of passing a quality test, based on the learning of the defective image; and
generating the learning data by cropping an area in which a defect exists in each of the defective image and the defective image;
The step of performing the quality inspection is,
The good product image is learned in an unsupervised manner, and new products that are different from the good product image among the new products subject to the quality inspection are classified as unclassified products based on the learning of the good product image, and new products not classified as the unclassified product Classifying as a normal product; and
And learning the learning data, and classifying and identifying defective products with defects and normal products without defects among the unclassified products based on the learning of the learning data.
상기 품질검사방법은,
상기 불량제품상의 결함을 기초로 상기 불량제품의 불량 유형을 결정하는 단계를 더 포함하는, 품질검사방법.According to claim 9,
The quality inspection method,
and determining a defect type of the defective product based on defects on the defective product.
A computer program performed by the quality inspection system and stored in a medium to perform the method according to claim 9.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200034488A KR102486230B1 (en) | 2020-03-20 | 2020-03-20 | Method and system for quality inspection of new product using deep learning |
PCT/KR2020/010148 WO2021187683A1 (en) | 2020-03-20 | 2020-07-31 | Method and system for testing quality of new product by using deep learning |
CN202080076418.4A CN114631115A (en) | 2020-03-20 | 2020-07-31 | Method and system for quality inspection of new products using deep learning |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200034488A KR102486230B1 (en) | 2020-03-20 | 2020-03-20 | Method and system for quality inspection of new product using deep learning |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210117782A KR20210117782A (en) | 2021-09-29 |
KR102486230B1 true KR102486230B1 (en) | 2023-01-10 |
Family
ID=77768442
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200034488A KR102486230B1 (en) | 2020-03-20 | 2020-03-20 | Method and system for quality inspection of new product using deep learning |
Country Status (3)
Country | Link |
---|---|
KR (1) | KR102486230B1 (en) |
CN (1) | CN114631115A (en) |
WO (1) | WO2021187683A1 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102489115B1 (en) * | 2022-01-11 | 2023-01-17 | 주식회사 아이브 | Method and Apparatus for Deep Machine Learning for Vision Inspection of a Manufactured Product |
KR20230139068A (en) * | 2022-03-25 | 2023-10-05 | 경상국립대학교산학협력단 | Method for detecting defects in water and sewage facilities and a defect detection system supporting the same |
KR102644815B1 (en) * | 2023-07-27 | 2024-03-08 | 주식회사 인터엑스 | Deep learning-based quality inspection system applicable to injection process and its control method |
KR102627233B1 (en) * | 2023-09-26 | 2024-01-23 | (주) 웨다 | Ultra-high voltage cable surface quality inspection system using image based anomaly detection model |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009238992A (en) * | 2008-03-27 | 2009-10-15 | Tokyo Electron Ltd | Method for classifying defects, program, computer storage medium, and device for classifying defects |
JP2020027424A (en) * | 2018-08-10 | 2020-02-20 | 東京エレクトロンデバイス株式会社 | Learning data generating device, discrimination model generating device, and program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10181185B2 (en) * | 2016-01-11 | 2019-01-15 | Kla-Tencor Corp. | Image based specimen process control |
KR101863196B1 (en) * | 2017-07-24 | 2018-06-01 | 한국생산기술연구원 | An Apparatus and A Method For Detecting A Defect On Surfaces Based On Deep Learning |
WO2019107614A1 (en) * | 2017-11-30 | 2019-06-06 | 전자부품연구원 | Machine vision-based quality inspection method and system utilizing deep learning in manufacturing process |
KR101950681B1 (en) * | 2018-05-04 | 2019-02-21 | 주식회사 스켈터랩스 | Defect inspection device, system, method and computer readable storage medium |
KR101975186B1 (en) * | 2018-07-04 | 2019-05-07 | 광운대학교 산학협력단 | Apparatus and method of data generation for object detection based on generative adversarial networks |
-
2020
- 2020-03-20 KR KR1020200034488A patent/KR102486230B1/en active IP Right Grant
- 2020-07-31 WO PCT/KR2020/010148 patent/WO2021187683A1/en active Application Filing
- 2020-07-31 CN CN202080076418.4A patent/CN114631115A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009238992A (en) * | 2008-03-27 | 2009-10-15 | Tokyo Electron Ltd | Method for classifying defects, program, computer storage medium, and device for classifying defects |
JP2020027424A (en) * | 2018-08-10 | 2020-02-20 | 東京エレクトロンデバイス株式会社 | Learning data generating device, discrimination model generating device, and program |
Also Published As
Publication number | Publication date |
---|---|
WO2021187683A1 (en) | 2021-09-23 |
KR20210117782A (en) | 2021-09-29 |
CN114631115A (en) | 2022-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102486230B1 (en) | Method and system for quality inspection of new product using deep learning | |
TWI718573B (en) | Apparatus and method for inspecting for defects | |
TWI709919B (en) | Auto insurance image processing method, device, server and system | |
WO2019186915A1 (en) | Abnormality inspection device and abnormality inspection method | |
KR102141302B1 (en) | Object detection method based 0n deep learning regression model and image processing apparatus | |
JP7399906B2 (en) | Optical system using variable diffuser | |
KR20190126430A (en) | Image-based Counterfeit Detection | |
JP7453813B2 (en) | Inspection equipment, inspection methods, programs, learning devices, learning methods, and learned datasets | |
Chen et al. | Edge-glued wooden panel defect detection using deep learning | |
US20210365714A1 (en) | Detecting Artificial Multimedia Content Using Deep Network Response Analysis | |
KR20230038078A (en) | Apparatus and method for detecting defects of glossy surfaces of objects | |
KR102271418B1 (en) | Method and system for auto training for product inspection | |
KR20210056974A (en) | Method and apparatus for identifying object using multi- cameras | |
KR102225099B1 (en) | Apparatus and method for generating a defect image | |
Ruediger-Flore et al. | CAD-based data augmentation and transfer learning empowers part classification in manufacturing | |
KR20200044227A (en) | Method and apparatus for performing machine learning on image | |
Zeiser et al. | A data-centric approach to anomaly detection in layer-based additive manufacturing | |
KR102273334B1 (en) | Method and apparatus for learning neural network using multi channel image | |
KR102252590B1 (en) | Method and apparatus for setting test environment based on machine learning environment | |
KR20230069396A (en) | Method for detecting plant leaf from image, and computing apparatus for performing the same | |
KR102252591B1 (en) | Method and apparatus for compensating output of a display panel | |
KR20200125135A (en) | System for classifying brain regions based on artificial intelligence | |
KR20230165509A (en) | Apparatus and method for filtering unseen data | |
RU2774624C1 (en) | Method and system for determining synthetic changes of faces in video | |
US20210397897A1 (en) | Image Authentication Method and Real-Time Product Authentication System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |