KR102486230B1 - Method and system for quality inspection of new product using deep learning - Google Patents

Method and system for quality inspection of new product using deep learning Download PDF

Info

Publication number
KR102486230B1
KR102486230B1 KR1020200034488A KR20200034488A KR102486230B1 KR 102486230 B1 KR102486230 B1 KR 102486230B1 KR 1020200034488 A KR1020200034488 A KR 1020200034488A KR 20200034488 A KR20200034488 A KR 20200034488A KR 102486230 B1 KR102486230 B1 KR 102486230B1
Authority
KR
South Korea
Prior art keywords
image
learning
product
quality inspection
defective
Prior art date
Application number
KR1020200034488A
Other languages
Korean (ko)
Other versions
KR20210117782A (en
Inventor
추연학
정재호
양종현
Original Assignee
라온피플 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라온피플 주식회사 filed Critical 라온피플 주식회사
Priority to KR1020200034488A priority Critical patent/KR102486230B1/en
Priority to PCT/KR2020/010148 priority patent/WO2021187683A1/en
Priority to CN202080076418.4A priority patent/CN114631115A/en
Publication of KR20210117782A publication Critical patent/KR20210117782A/en
Application granted granted Critical
Publication of KR102486230B1 publication Critical patent/KR102486230B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Abstract

딥러닝을 이용한 신규 제품의 품질 검사 방법 및 시스템을 제시하며, 딥러닝을 이용한 신규 제품의 품질 검사 방법 및 시스템은 결함이 존재하는 기존 제품의 이미지인 불량 이미지를 기초로 상기 신규 제품의 품질검사를 위한 학습에 필요한 학습데이터를 생성하는 학습데이터생성시스템 및 상기 학습데이터를 학습하고, 학습에 기초하여 상기 신규 제품의 품질검사를 수행하는 불량식별시스템을 포함할 수 있다.A new product quality inspection method and system using deep learning are proposed, and the new product quality inspection method and system using deep learning perform quality inspection of the new product based on a defective image, which is an image of an existing product with defects. It may include a learning data generation system that generates learning data necessary for learning for learning, and a defect identification system that learns the learning data and performs a quality inspection of the new product based on the learning.

Description

딥러닝을 이용한 신규 제품의 품질 검사 방법 및 시스템{METHOD AND SYSTEM FOR QUALITY INSPECTION OF NEW PRODUCT USING DEEP LEARNING}Method and system for quality inspection of new products using deep learning {METHOD AND SYSTEM FOR QUALITY INSPECTION OF NEW PRODUCT USING DEEP LEARNING}

본 명세서에서 개시되는 실시예들은 딥러닝을 이용한 신규 제품의 품질 검사 방법 및 시스템에 관한 것으로, 보다 상세하게는 생산라인에서 생산되는 제품의 불량을 검사하기 위해 기 학습된 모델을 이용하여 제품 생산라인에서 새롭게 생산되는 신규 제품의 불량을 검사하는 방법 및 시스템에 관한 것이다.Embodiments disclosed herein relate to a method and system for inspecting the quality of a new product using deep learning, and more particularly, to a product production line using a pre-learned model to inspect defects of products produced on the production line. It relates to a method and system for inspecting defects of new products newly produced in

컴퓨팅 기술의 발전에 따라 기계학습의 적용이 증가하고 있다. 특히, 최근에는 기계학습 중에서 인공신경망으로 대변되는 딥러닝 기술이 비약적으로 발전하고 있으며, 다양한 산업 현장에서 응용 사례가 늘어가고 있다. 제조업 분야에 있어서도 인공신경망은 혁신적으로 제조 현장을 변화시켜 가고 있다. The application of machine learning is increasing with the development of computing technology. In particular, in recent years, deep learning technology represented by artificial neural networks among machine learning has been rapidly developed, and application cases are increasing in various industrial fields. Even in the manufacturing sector, artificial neural networks are innovatively changing manufacturing sites.

기존 룰(Rule) 기반의 테스트 방식은 생산라인에서 발생하는 비정형 불량을 검출하지 못했지만, 인공신경망은 비정형 불량을 사람과 같이 추출하는 것이 가능하다. 기존에는 비정형 불량에 대해 제품의 생산라인에서 사람이 직접 불량을 판단하였으나, 이제는 인공신경망을 이용한 머신 비전을 이용하여 제품의 불량 여부를 판단하여 적용하는 사례가 늘고 있다.Existing rule-based test methods have not been able to detect atypical defects that occur on the production line, but artificial neural networks can extract atypical defects like humans. In the past, people directly judged defects on the product production line for atypical defects, but now, machine vision using artificial neural networks is used to determine whether or not a product is defective.

이와 같이 인공신경망을 이용하여 제품이 불량인지 여부를 식별하기 위해 인공신경망의 학습과정이 필요하다. 즉, 생산과정에서 발생할 수 있는 불량 제품의 이미지를 획득하고, 획득된 불량 제품의 이미지를 이용하여 인공신경망을 지도 학습 방식으로 학습시키는 것이 일반적이다. In this way, a learning process of the artificial neural network is required to identify whether or not a product is defective by using the artificial neural network. That is, it is common to acquire images of defective products that may occur in the production process, and to train an artificial neural network using a supervised learning method using the acquired images of defective products.

신규 생산되는 제품에 대해 인공신경망을 이용한 제품의 불량을 검출하기 위해서는 신규 제품의 불량이미지를 이용하여 인공신경망을 학습시켜야 하지만, 신규 제품의 생산과정에서 불량발생률이 매우 낮은 것이 보통이기에 신규 제품에 대한 불량상태의 이미지를 획득하기 어려워 인공신경망을 학습하는데 오랜 시간이 걸린다는 문제점이 있다. In order to detect product defects using artificial neural networks for newly produced products, artificial neural networks must be trained using defective images of new products. There is a problem that it takes a long time to learn an artificial neural network because it is difficult to acquire an image in a bad state.

관련하여 선행 기술 문헌인 한국특허공개번호 제10-2000-0087346 호는 인터넷 인공지능 학습 및 관리 방법에 관한 것이다. 인터넷을 통하여 선생과 학습자를 등록시키고 선생은 사용하고자 하는 문제출제와 시험문제를 만들어 사용할 수 있으며, 학습자는 문제데이터 베이스에 수록된 문제를 출제받아 학습하고 그 학습 결과를 정밀하게 평가받은 내용에 대해 기술하고 있지만 인공지능의 학습을 빠르게 수행하지 못한다.In this regard, Korean Patent Publication No. 10-2000-0087346, which is a prior art document, relates to an Internet artificial intelligence learning and management method. Teachers and learners are registered through the Internet, and teachers can create and use problem questions and test questions that they want to use. Although it is doing, it is not able to perform the learning of artificial intelligence quickly.

따라서 상술된 문제점을 해결하기 위한 기술이 필요하게 되었다.Therefore, a technique for solving the above problems has been required.

한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.On the other hand, the above-mentioned background art is technical information that the inventor possessed for derivation of the present invention or acquired in the process of derivation of the present invention, and cannot necessarily be said to be known art disclosed to the general public prior to filing the present invention. .

본 명세서에서 개시되는 실시예들은, 딥러닝을 이용한 신규 제품의 품질 검사 방법 및 시스템을 제시하는데 목적이 있다.Embodiments disclosed herein are aimed at presenting a method and system for quality inspection of a new product using deep learning.

본 명세서에서 개시되는 실시예들은, 신규 제품의 양품 이미지를 학습시켜 불량을 필터링하는 신규 제품의 품질 검사 방법 및 시스템을 제시하는데 목적이 있다.Embodiments disclosed in this specification are aimed at presenting a method and system for inspecting quality of a new product that filters defects by learning an image of a good product of the new product.

본 명세서에서 개시되는 실시예들은, 기존 제품의 불량 이미지를 기초로 생성된 불량 이미지 및 신규 제품의 양품 이미지를 기초로 신규 제품의 결함 이미지를 생성하는 신규 제품의 품질 검사 방법 및 시스템을 제시하는데 목적이 있다. Embodiments disclosed herein are aimed at presenting a quality inspection method and system for a new product that generates a defect image of a new product based on a defect image generated based on a defect image of an existing product and a good image of a new product. there is

본 명세서에서 개시되는 실시예들은, 기존 제품의 불량 이미지와 신규 제품의 결함 이미지를 기초로 패치(patch) 학습을 수행하는 신규 제품의 품질 검사 방법 및 시스템을 제시하는데 목적이 있다.Embodiments disclosed in this specification are aimed at presenting a new product quality inspection method and system for performing patch learning based on a defect image of an existing product and a defect image of a new product.

본 명세서에서 개시되는 실시예들은, 신규 제품 중 불량을 필터링하고, 필터링된 불량제품의 불량 유형을 분류하는 신규 제품의 품질 검사 방법 및 시스템을 제시하는데 목적이 있다.Embodiments disclosed in this specification are aimed at presenting a new product quality inspection method and system for filtering defects among new products and classifying defect types of the filtered defective products.

본 명세서에서 개시되는 실시예들은, 불량 이미지를 이용하여 분류 모델을 학습시키는 신규 제품의 품질 검사 방법 및 시스템을 제시하는데 목적이 있다. Embodiments disclosed in this specification are aimed at presenting a method and system for inspecting the quality of a new product in which a classification model is trained using defective images.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면, 신규 제품의 품질을 검사하는 시스템에 있어서, 결함이 존재하는 기존 제품의 이미지인 불량 이미지를 기초로 상기 신규 제품의 품질검사를 위한 학습에 필요한 학습데이터를 생성하는 학습데이터생성시스템 및 상기 학습데이터를 학습하고, 학습에 기초하여 상기 신규 제품의 품질검사를 수행하는 불량식별시스템을 포함할 수 있다.As a technical means for achieving the above-described technical problem, according to an embodiment, in a system for inspecting the quality of a new product, quality inspection of the new product is performed based on a defective image, which is an image of an existing product with defects. It may include a learning data generation system that generates learning data necessary for learning for learning, and a defect identification system that learns the learning data and performs a quality inspection of the new product based on the learning.

다른 실시예에 따르면, 품질검사시스템이 신규 제품의 품질을 검사하는 방법에 있어서, 결함이 존재하는 기존 제품의 이미지인 불량 이미지를 기초로 상기 신규 제품의 품질검사를 위한 학습에 필요한 학습데이터를 생성하는 단계, 상기 학습데이터를 학습하는 단계 및 학습에 기초하여 상기 신규 제품의 품질검사를 수행하는 단계를 포함할 수 있다. According to another embodiment, in the method for inspecting the quality of a new product by a quality inspection system, learning data necessary for learning for quality inspection of the new product is generated based on a defective image, which is an image of an existing product with defects. It may include the step of performing a quality test of the new product based on the step of learning, the step of learning the learning data, and the learning.

또 다른 실시예에 따르면, 품질검사방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체로 상기 품질검사방법은, 결함이 존재하는 기존 제품의 이미지인 불량 이미지를 기초로 상기 신규 제품의 품질검사를 위한 학습에 필요한 학습데이터를 생성하는 단계, 상기 학습데이터를 학습하는 단계 및 학습에 기초하여 상기 신규 제품의 품질검사를 수행하는 단계를 포함할 수 있다.According to another embodiment, a computer readable recording medium on which a program for performing a quality inspection method is recorded, wherein the quality inspection method performs a quality inspection of the new product based on a defective image, which is an image of an existing product with defects. It may include generating learning data necessary for learning for learning, learning the learning data, and performing quality inspection of the new product based on the learning.

그리고 다른 실시예에 따르면, 품질검사시스템에 의해 수행되며 품질검사방법을 수행하기 위해 매체에 저장된 컴퓨터프로그램으로 상기 품질검사방법은, 결함이 존재하는 기존 제품의 이미지인 불량 이미지를 기초로 상기 신규 제품의 품질검사를 위한 학습에 필요한 학습데이터를 생성하는 단계, 상기 학습데이터를 학습하는 단계 및 학습에 기초하여 상기 신규 제품의 품질검사를 수행하는 단계를 포함할 수 있다.And according to another embodiment, the quality inspection method is performed by the quality inspection system and is a computer program stored in a medium to perform the quality inspection method, the new product based on a defective image, which is an image of an existing product with defects. It may include generating learning data necessary for learning for quality inspection, learning the learning data, and performing quality inspection of the new product based on the learning.

전술한 과제 해결 수단 중 어느 하나에 의하면, 딥러닝을 이용한 신규 제품의 품질 검사 방법 및 시스템을 제시할 수 있다. According to any one of the above-described problem solving means, it is possible to propose a quality inspection method and system for a new product using deep learning.

전술한 과제 해결 수단 중 어느 하나에 의하면, 신규 제품의 양품 이미지를 학습시켜 신규 제품의 불량을 빠르게 필터링할 수 있는 신규 제품의 품질 검사 방법 및 시스템을 제시할 수 있다. According to any one of the above-described problem solving means, it is possible to propose a new product quality inspection method and system capable of quickly filtering out defects of a new product by learning good quality images of the new product.

전술한 과제 해결 수단 중 어느 하나에 의하면, 기존 제품의 불량 이미지를 기초로 생성된 불량 이미지 및 신규 제품의 양품 이미지를 기초로 신규 제품의 불량 이미지를 생성하는 신규 제품의 품질 검사 방법 및 시스템을 제시할 수 있다. According to any one of the above-described problem solving means, a new product quality inspection method and system for generating a defective image of a new product based on a defective image generated based on a defective image of an existing product and a good image of a new product are proposed. can do.

전술한 과제 해결 수단 중 어느 하나에 의하면, 기존 제품의 불량 이미지와 신규 제품의 결함 이미지를 기초로 패치(patch) 학습을 수행하여 결함에 대한 학습을 강화하는 신규 제품의 품질 검사 방법 및 시스템을 제시할 수 있다. According to any one of the above-described problem solving means, a new product quality inspection method and system for strengthening defect learning by performing patch learning based on a defect image of an existing product and a defect image of a new product are proposed. can do.

전술한 과제 해결 수단 중 어느 하나에 의하면, 신규 제품 중 불량을 필터링하고, 필터링된 불량제품의 불량 유형을 분류하는 신규 제품의 품질 검사 방법 및 시스템을 제시할 수 있다.According to any one of the above-described problem solving means, it is possible to propose a new product quality inspection method and system for filtering defects among new products and classifying defect types of the filtered defective products.

개시되는 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 개시되는 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Effects obtainable from the disclosed embodiments are not limited to those mentioned above, and other effects not mentioned are clear to those skilled in the art from the description below to which the disclosed embodiments belong. will be understandable.

도 1 은 일 실시예에 따른 품질검사시스템을 도시한 구성도이다.
도 2 는 일 실시예에 따른 품질검사시스템의 구성을 도시한 블록도이다.
도 3 내지 도 5 는 일 실시예에 따른 품질검사방법을 설명하기 위한 순서도이다.
1 is a configuration diagram showing a quality inspection system according to an embodiment.
2 is a block diagram showing the configuration of a quality inspection system according to an embodiment.
3 to 5 are flowcharts for explaining a quality inspection method according to an exemplary embodiment.

아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, various embodiments will be described in detail with reference to the accompanying drawings. Embodiments described below may be modified and implemented in various different forms. In order to more clearly describe the characteristics of the embodiments, detailed descriptions of matters widely known to those skilled in the art to which the following embodiments belong are omitted. And, in the drawings, parts irrelevant to the description of the embodiments are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐 아니라, ‘그 중간에 다른 구성을 사이에 두고 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.Throughout the specification, when a component is said to be "connected" to another component, this includes not only the case of being 'directly connected', but also the case of being 'connected with another component in between'. In addition, when a certain component "includes" a certain component, this means that other components may be further included without excluding other components unless otherwise specified.

이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

다만 이를 설명하기에 앞서, 아래에서 사용되는 용어들의 의미를 먼저 정의한다. However, prior to explaining this, the meaning of the terms used below is first defined.

‘인공신경망’은 생물 신경계의 고도의 정보처리기구를 공학적으로 모방해서 입력과 출력을 상호 간에 상세히 관련지어 복잡한 제어를 하는 정보처리기술로 스위치나 각 센서 등에서 신호를 보내는 입력 레이어, 그 정보를 바탕으로 입력과 출력의 우선순위를 정하면서 상호관계를 조정하는 은닉 레이어, 이것을 바탕으로 필요한 제어량을 산출해서 출력하는 출력 레이어로 구성된 3종류의 뉴론(신경세포) 모델이 복수로 연결된 네트워크이다.'Artificial neural network' is an information processing technology that engineeringally imitates the advanced information processing mechanism of the biological nervous system and performs complex control by relating inputs and outputs to each other in detail. It is a network in which a plurality of three types of neurons (nerve cell) models are connected, consisting of a hidden layer that prioritizes inputs and outputs and adjusts mutual relationships, and an output layer that calculates and outputs the necessary control amount based on this.

이하에서 설명할 품질검사시스템(10)은 예를 들어 머신 비전을 이용한 제품을 검사하는 검사장치에 결합 또는 연결되어 획득된 제품 이미지를 이용하여 인공신경망을 학습시키거나 제품의 결함 여부를 검사하거나 측정할 수 있다. The quality inspection system 10, which will be described below, is coupled or connected to an inspection device that inspects a product using machine vision, for example, and learns an artificial neural network using an acquired product image, or inspects or measures whether a product is defective or not. can do.

여기서 머신 비전이란, 물체를 검사하거나 측정하기 위해, 사람이 육안으로 판단하던 기존의 방식을 대신하여, 카메라(시각 인식), CPU, SW를 통해 산업을 자동화시켜주는 것을 의미한다.Here, machine vision means automating the industry through a camera (visual recognition), CPU, and SW instead of the existing method in which a person judges with the naked eye to inspect or measure an object.

그리고 지도 학습방법(Supervised Learning)은 결과로 출력되어야 하는 값이 포함된 학습데이터(Training Data)를 이용하여 수행하는 기계 학습(Machine Learning)의 한 방법이다. Also, supervised learning is a method of machine learning performed using training data including values to be output as results.

비지도 학습방법(Unsupervised Learning)은 데이터가 어떻게 구성되었는지를 알아내기 위한 학습방법으로 지도 학습(Supervised Learning) 혹은 강화 학습(Reinforcement Learning)과는 달리 학습데이터에 결과로 출력되어야 하는 목표치가 주어지지 않는다.Unsupervised learning is a learning method to find out how data is structured. Unlike supervised learning or reinforcement learning, the learning data is not given a target value to be output as a result. .

‘미분류제품’은 정상제품의 촬영이미지를 기초로 비지도학습된 인공신경망에 의해 정상제품이 아닌 제품으로 분류된 제품이고, ‘불량제품’은 미분류제품 중 실제 제품에 결함이 존재하는 제품이다. ‘Unclassified product’ is a product that is classified as a non-normal product by an unsupervised artificial neural network based on the photographed image of a normal product, and ‘defective product’ is a product that has defects among the unclassified products.

‘불량 이미지’는 생산라인에서 생산되었던 기존 제품 중 불량제품으로 식별된 기존 제품을 촬영한 이미지이고, ‘결함 이미지’는 기존 제품이 생산되었던 생산라인에서 생산되는 신규 제품의 양품 이미지에 가상의 결함을 합성하여 생성된 가상의 불량 이미지이다. 'Defect image' is an image of an existing product identified as a defective product among existing products that were produced on the production line, and 'defect image' is a virtual defect in the good product image of a new product produced on the production line where the existing product was produced. It is a virtual bad image created by synthesizing .

위에 정의한 용어 이외에 설명이 필요한 용어는 아래에서 각각 따로 설명한다.In addition to the terms defined above, terms that require explanation are separately explained below.

도 1 은 일 실시예에 따른 품질검사시스템(10)를 설명하기 위한 구성도이다.1 is a configuration diagram for explaining a quality inspection system 10 according to an embodiment.

품질검사시스템(10)은 기존 제품을 생산하던 기 생산라인에서 신규 제품을 생산하는 경우에도 머신 비전용 카메라를 통해 생산 중인 신규 제품을 촬영하여 획득된 촬영이미지를 인공신경망에 입력하여 불량인지 여부를 검사할 수 있다. 이를 위해 품질검사시스템(10)는 결함이 존재하는 기존 제품에 대한 불량 이미지를 기초로 신규 제품의 품질검사에 이용되는 인공신경망의 학습에 필요한 학습데이터를 생성할 수 있고, 생성된 학습데이터를 학습하여 신규 제품의 품질 검사를 수행할 수 있다.Even when a new product is produced on a production line that used to produce existing products, the quality inspection system 10 photographs a new product being produced through a machine vision camera and inputs the acquired image to the artificial neural network to determine whether it is defective or not. can be inspected To this end, the quality inspection system 10 can generate learning data necessary for learning the artificial neural network used for quality inspection of a new product based on a defective image of an existing product with defects, and learn the generated learning data. to perform quality inspection of new products.

이러한 품질검사시스템(10)은 결함이 존재하는 기존 제품의 이미지인 불량 이미지를 기초로 신규 제품의 품질검사를 위한 인공신경망의 학습에 필요한 학습데이터를 생성하는 학습데이터생성시스템(11)과 학습데이터를 학습하여 신규 제품의 품질 검사를 수행하는 불량식별시스템(12)을 포함할 수 있다. This quality inspection system 10 includes a learning data generation system 11 and learning data for generating learning data necessary for learning an artificial neural network for quality inspection of a new product based on a defective image, which is an image of an existing product with defects. It may include a defect identification system 12 that learns and performs a quality inspection of a new product.

그리고 품질검사시스템(10)을 구성하는 학습데이터생성시스템(11)과 불량식별시스템(12) 각각은 네트워크(N)를 통해 원격지의 서버에 접속하거나, 타 단말 및 서버와 연결 가능한 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop)등을 포함할 수 있다.In addition, each of the learning data generation system 11 and the defect identification system 12 constituting the quality inspection system 10 can be implemented as a computer capable of accessing a remote server through a network N or connecting to other terminals and servers. can Here, the computer may include, for example, a laptop computer, a desktop computer, and a laptop computer equipped with a web browser.

그리고 품질검사시스템(10)을 구성하는 학습데이터생성시스템(11)과 불량식별시스템(12) 각각은 물리적으로 분리되어 별도의 서버에서 구현되거나 또는 하나의 서버에서 구현될 수 있다. 또한, 품질검사시스템(10)은 물리적으로 분리된 서버가 네트워크를 통해 연결되어 논리적으로 하나의 시스템을 형성하는 클라우드 형태로 구현될 수 있다. In addition, each of the learning data generation system 11 and the defect identification system 12 constituting the quality inspection system 10 may be physically separated and implemented in a separate server or in one server. In addition, the quality inspection system 10 may be implemented in the form of a cloud in which physically separated servers are connected through a network to logically form one system.

우선, 학습데이터생성시스템(11)은 머신 비전 카메라를 통해 촬영된 기존 제품의 이미지 중 결함이 존재하는 것으로 판단된 기존 제품의 이미지인 불량 이미지를 학습하여 후술할 불량식별시스템(12)에서 신규 제품의 품질 검사를 위해 이용되는 학습데이터를 생성할 수 있다. First of all, the learning data generation system 11 learns a defective image, which is an image of an existing product determined to have a defect among images of an existing product photographed through a machine vision camera, and learns a new product in the defect identification system 12 to be described later. It is possible to generate learning data used for quality inspection.

그리고 불량식별시스템(12)은 상술한 학습데이터생성시스템(11)에서 생성된 학습데이터를 인공신경망에 입력하여 학습할 수 있고, 학습된 인공신경망을 이용하여 머신 비전 카메라를 통해 촬영된 신규 제품의 이미지를 기초로 신규 제품이 불량인지 여부를 검사할 수 있고, 불량제품으로 판단된 신규 제품에 대해서는 불량 유형을 식별할 수 있다. And the defect identification system 12 can learn by inputting the learning data generated in the above-described learning data generation system 11 into the artificial neural network, and using the learned artificial neural network, the new product photographed through the machine vision camera. Based on the image, it is possible to inspect whether the new product is defective, and for the new product determined to be defective, the type of defect may be identified.

이때, 학습데이터생성시스템(11)과 불량식별시스템(12) 각각은 실시예에 따라, 인공신경망을 포함하거나 또는 물리적으로 이격된 제 3 의 서버에서 구현된 인공신경망과 연결될 수 있다. 이하에서는 학습데이터생성시스템(11)과 불량식별시스템(12) 내에 인공신경망이 구현된 것으로 가정하여 설명한다.At this time, each of the learning data generation system 11 and the defect identification system 12 may include an artificial neural network or be connected to an artificial neural network implemented in a physically separated third server, depending on the embodiment. Hereinafter, it is assumed that an artificial neural network is implemented in the learning data generation system 11 and the defect identification system 12.

도 2 는 일 실시예에 따른 품질검사시스템(10)의 구성을 도시한 블록도이다. 도 2 를 참조하면, 일 실시예에 따른 품질검사시스템(10)은, 학습데이터생성시스템(11)과 불량식별시스템(12)을 포함할 수 있다.2 is a block diagram showing the configuration of a quality inspection system 10 according to an embodiment. Referring to FIG. 2 , a quality inspection system 10 according to an embodiment may include a learning data generating system 11 and a defect identification system 12 .

우선, 학습데이터생성시스템(11)은 학습데이터제어부(111), 학습데이터통신부(112) 및 학습데이터메모리(113)를 포함할 수 있다. First, the learning data generation system 11 may include a learning data control unit 111, a learning data communication unit 112, and a learning data memory 113.

학습데이터제어부(111)는 학습데이터생성시스템(11)의 전체적인 동작을 제어하며, CPU 등과 같은 프로세서를 포함할 수 있다. 학습데이터제어부(111)는 학습데이터통신부(112)를 통해 수신된 데이터를 처리하여 학습데이터를 생성하기 위한 동작을 수행하도록 학습데이터생성시스템(11)에 포함된 다른 구성들을 제어할 수 있다.The learning data control unit 111 controls the overall operation of the learning data generating system 11 and may include a processor such as a CPU. The learning data control unit 111 may control other components included in the learning data generation system 11 to perform an operation for generating learning data by processing data received through the learning data communication unit 112 .

예를 들어, 학습데이터제어부(111)는 학습데이터메모리(113)에 저장된 프로그램을 실행시키거나, 학습데이터메모리(113)에 저장된 파일을 읽어오거나, 새로운 파일을 학습데이터메모리(113)에 저장할 수도 있다.For example, the learning data controller 111 may execute a program stored in the learning data memory 113, read a file stored in the learning data memory 113, or store a new file in the learning data memory 113. there is.

이러한 학습데이터제어부(111)는 결함이 존재하는 기존 제품의 이미지인 불량 이미지를 후술할 학습데이터통신부(112)를 통해 획득할 수 있으며, 획득된 불량 이미지를 학습할 수 있다. The learning data control unit 111 may obtain a defective image, which is an image of an existing product with defects, through the learning data communication unit 112 to be described later, and may learn the obtained defective image.

예를 들어, 학습데이터제어부(111)는 후술할 불량식별시스템(12)에서 품질 검사를 수행하던 기존 제품 중 결함이 존재하는 기존 제품을 촬영한 이미지인 불량 이미지를 획득할 수 있고, 불량 이미지를 통해 불량 이미지에 포함된 결함의 패턴, 위치, 크기 또는 형태 등을 학습할 수 있다. For example, the learning data control unit 111 may acquire a defective image, which is an image of an existing product having a defect among existing products for which a quality inspection was performed by the defect identification system 12 to be described later, and the defective image Through this, it is possible to learn the pattern, position, size or shape of defects included in the defective image.

그리고 학습데이터제어부(111)는 품질검사의 통과가 가능한 신규 제품에 대한 이미지인 양품 이미지를 학습할 수 있다. Further, the learning data control unit 111 may learn a good product image, which is an image of a new product capable of passing the quality test.

예를 들어, 학습데이터제어부(111)는 학습데이터통신부(112)를 통해 품질검사에서 통과 가능한 신규 제품에 대한 양품 이미지를 획득할 수 있고, 획득된 양품 이미지를 학습할 수 있다.For example, the learning data control unit 111 may acquire a non-defective product image for a new product passing the quality inspection through the learning data communication unit 112 and learn the obtained non-defective product image.

이후, 학습데이터제어부(111)는 학습된 기존 제품의 불량 이미지 및 신규 제품의 양품 이미지를 기초로 신규 제품에 대한 결함 이미지를 생성할 수 있다. Thereafter, the learning data control unit 111 may generate a defect image for a new product based on the learned defective image of the existing product and good image of the new product.

예를 들어, 학습데이터제어부(111)는 학습된 불량 이미지에 포함된 결함의 패턴, 위치, 크기 또는 형태 등을 기초로 다양한 형태의 결함을 생성할 수 있고, 생성된 결함을 신규 제품의 양품 이미지에 합성하여 결함 이미지를 생성할 수 있다.For example, the learning data control unit 111 may generate various types of defects based on the pattern, position, size, or shape of defects included in the learned defective image, and convert the generated defects into a good image of a new product. can be synthesized to create a defect image.

이와 같이 신규 제품의 양품 이미지에 기존 제품에서 발생되는 결함을 결합하여 생성된 결함 이미지를 이용하여 후술할 불량식별시스템(12)을 빠르게 학습시킬 수 있다. In this way, the defect identification system 12, which will be described later, can be rapidly learned using a defect image generated by combining a defect occurring in an existing product with a non-defective image of a new product.

그리고 학습데이터제어부(111)는 신규 제품의 품질검사를 위한 학습에 필요한 학습데이터를 생성할 수 있다. Also, the learning data control unit 111 may generate learning data required for learning for quality inspection of a new product.

예를 들어, 학습데이터제어부(111)는 불량 이미지와 결함 이미지 각각에 결함이 존재하는 영역을 크롭핑하여 학습데이터를 생성하거나 또는 불량 이미지와 결함 이미지가 포함된 학습데이터를 생성할 수 있다. For example, the training data control unit 111 may generate training data by cropping an area in which defects exist in each of the defective image and the defective image, or may generate training data including a defective image and a defective image.

이후, 학습데이터제어부(111)는 생성된 학습데이터를 후술할 불량식별시스템(12)으로 제공할 수 있다.Thereafter, the learning data control unit 111 may provide the generated learning data to the defect identification system 12 to be described later.

한편, 학습데이터통신부(112)는 다른 디바이스 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 학습데이터통신부(112)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 모듈은 칩셋(chipset)의 형태로 구현될 수 있다.Meanwhile, the learning data communication unit 112 may perform wired/wireless communication with other devices or networks. To this end, the learning data communication unit 112 may include a communication module supporting at least one of various wired/wireless communication methods. For example, the communication module may be implemented in the form of a chipset.

학습데이터통신부(112)가 지원하는 무선 통신은, 예를 들어 Wi-Fi(Wireless Fidelity), Wi-Fi Direct, 블루투스(Bluetooth), UWB(Ultra Wide Band) 또는 NFC(Near Field Communication) 등일 수 있다. 또한, 학습데이터통신부(112)가 지원하는 유선 통신은, 예를 들어 USB 또는 HDMI(High Definition Multimedia Interface) 등일 수 있다.The wireless communication supported by the learning data communication unit 112 may be, for example, Wi-Fi (Wireless Fidelity), Wi-Fi Direct, Bluetooth, UWB (Ultra Wide Band), or NFC (Near Field Communication). . In addition, wired communication supported by the learning data communication unit 112 may be, for example, USB or High Definition Multimedia Interface (HDMI).

이러한 학습데이터통신부(112)는 제 3 의 서버 또는 후술할 불량식별시스템(12)으로부터 신규 제품의 양품 이미지를 수신하거나 기존 제품의 불량 이미지를 획득할 수 있으며, 학습데이터제어부(111)가 생성한 학습데이터를 불량식별시스템(12)으로 전송할 수 있다. The learning data communication unit 112 may receive a good image of a new product or obtain a defective image of an existing product from a third server or a defect identification system 12 to be described later, and the learning data control unit 111 generates Learning data may be transmitted to the defect identification system 12 .

학습데이터메모리(113)에는 파일, 어플리케이션 및 프로그램 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다. 학습데이터제어부(111)는 학습데이터메모리(113)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 학습데이터메모리(113)에 저장할 수도 있다. 또한, 학습데이터제어부(111)는 학습데이터메모리(113)에 설치된 프로그램을 실행할 수도 있다. In the learning data memory 113, various types of data such as files, applications, and programs may be installed and stored. The learning data control unit 111 may access and use the data stored in the learning data memory 113, or may store new data in the learning data memory 113. In addition, the learning data control unit 111 may execute a program installed in the learning data memory 113 .

한편, 불량식별시스템(12)는 불량식별입출력부(121), 불량식별제어부(122), 불량식별통신부(123) 및 불량식별메모리(124)를 포함할 수 있다. Meanwhile, the defect identification system 12 may include a defect identification input/output unit 121, a defect identification control unit 122, a defect identification communication unit 123, and a defect identification memory 124.

불량식별시스템(12)의 불량식별입출력부(121)는 머신 비전용 카메라를 통해 생산중인 신규 제품의 촬영을 위한 입력부와, 작업의 수행 결과 또는 불량식별시스템(12)의 상태 등의 정보를 표시하기 위한 출력부를 포함할 수 있다. 예를 들어, 불량식별입출력부(121)는 생산라인에 배치되어 생산되는 신규 제품을 촬영하는 카메라 및 화면을 표시하는 디스플레이 패널(display panel) 등을 포함할 수 있다.The defect identification input/output unit 121 of the defect identification system 12 displays information such as an input unit for photographing a new product being produced through a camera for machine vision and the result of work or the status of the defect identification system 12. It may include an output unit for For example, the defect identification input/output unit 121 may include a camera arranged on a production line to photograph a new product being produced and a display panel displaying a screen.

구체적으로, 입력부는 키보드, 물리 버튼, 터치 스크린, 카메라 또는 마이크 등과 같이 다양한 형태의 사용자 입력을 수신할 수 있는 장치들을 포함할 수 있다. 특히 머신 비전용 카메라는 제품이 생산되는 생산라인에 배치되어 생산라인을 따라 이동하는 제품을 실시간으로 촬영할 수 있다. Specifically, the input unit may include devices capable of receiving various types of user inputs, such as a keyboard, a physical button, a touch screen, a camera, or a microphone. In particular, a camera for machine vision can be placed in a production line where products are produced and take pictures of products moving along the production line in real time.

또한, 출력부는 디스플레이 패널 또는 스피커 등을 포함할 수 있다. 다만, 이에 한정되지 않고 불량식별입출력부(121)는 다양한 입출력을 지원하는 구성을 포함할 수 있다.Also, the output unit may include a display panel or a speaker. However, it is not limited thereto, and the defect identification input/output unit 121 may include a configuration supporting various inputs/outputs.

그리고 불량식별시스템(12)의 불량식별제어부(122)는 불량식별시스템(12)의 전체적인 동작을 제어하며, CPU 등과 같은 프로세서를 포함할 수 있다. 그리고 불량식별제어부(122)는 인공신경망으로 구현되거나 또는 제 3 의 서버에 구현된 인공신경망을 이용하여 불량식별입출력부(121)를 통해 획득한 신규 제품의 촬영이미지를 기초로 신규 제품의 정상 또는 불량 여부를 검사할 수 있으며, 이를 위해 불량식별시스템(12)에 포함된 다른 구성들을 제어할 수 있다. The defect identification control unit 122 of the defect identification system 12 controls the overall operation of the defect identification system 12 and may include a processor such as a CPU. And the defect identification control unit 122 is implemented as an artificial neural network or by using an artificial neural network implemented in a third server, based on the captured image of the new product acquired through the defect identification input/output unit 121, whether the new product is normal or normal. Defects can be inspected, and for this, other components included in the defect identification system 12 can be controlled.

이러한, 불량식별제어부(122)는 신규 제품의 양품 이미지를 학습할 수 있다. The defect identification control unit 122 may learn good quality images of new products.

예를 들어, 불량식별제어부(122)는 학습데이터에 포함된 신규 제품의 양품 이미지 또는 불량식별입출력부(121)를 통해 촬영된 신규 제품의 양품 이미지를 획득하여 학습할 수 있다. For example, the defect identification control unit 122 may acquire and learn a non-defective image of a new product included in the learning data or a non-defective image of a new product photographed through the defect identification input/output unit 121 .

그리고 불량식별제어부(122)는 학습데이터생성시스템(11)으로부터 획득되는 학습데이터를 이용하여 학습할 수 있다. And the defect identification control unit 122 can learn using the learning data obtained from the learning data generating system 11 .

예를 들어, 불량식별제어부(122)는 학습데이터생성시스템(11)에서 생성된 학습데이터에 포함된 신규 제품에 대한 가상의 불량 이미지인 결함 이미지에서 결함이 존재하는 영역만을 기 설정된 크기로 분할하여 패치(patch) 학습을 수행할 수 있다. For example, the defect identification control unit 122 divides only a defect region in a defect image, which is a virtual defect image for a new product included in the learning data generated by the learning data generation system 11, into a preset size, You can perform patch learning.

이와 같이, 기존 제품의 불량 이미지를 기초로 생성된 학습데이터에 대해 패치 학습을 통해 결함이 존재하는 영역의 학습을 통해 생산라인(공정)이 같아 기존 제품에 발생되는 결함의 유형과 비슷한 결함이 발생되는 신규 제품에 대해서도 품질검사를 수행할 수 있다. In this way, defects similar to the types of defects that occur in existing products occur because the production line (process) is the same through learning the area where defects exist through patch learning for learning data generated based on defective images of existing products. Quality inspections can also be performed on new products.

그리고 불량식별제어부(122)는 학습에 기초하여 신규 제품의 품질검사를 수행할 수 있다. Also, the defect identification control unit 122 may perform a quality inspection of the new product based on the learning.

실시예에 따라, 불량식별제어부(122)는 품질검사의 대상인 신규 제품 중 신규 제품의 양품 이미지와 상이한 신규 제품을 미분류제품으로 분류할 수 있다. Depending on the embodiment, the defect identification control unit 122 may classify a new product that is different from the non-defective image of the new product among the new products subject to quality inspection as an unclassified product.

예를 들어, 불량식별제어부(122)는 생산라인에서 생산되는 신규 제품을 불량식별입출력부(121)의 머신 비전 카메라로 촬영된 이미지와 기 학습된 양품 이미지를 비교할 수 있고, 양품 이미지와 상이한 신규 제품을 미분류제품으로 분류할 수 있다. For example, the defect identification control unit 122 may compare an image of a new product produced on a production line with a machine vision camera of the defect identification input/output unit 121 and a previously learned non-defective product image, and may compare a new product image that is different from the non-defective product image. A product can be classified as an unclassified product.

그리고 불량식별제어부(122)는 미분류제품 중 결함이 존재하는 불량제품을 식별할 수 있다. Also, the defect identification control unit 122 may identify defective products among unclassified products.

예를 들어, 불량식별제어부(122)는 패치학습을 통해 학습된 결함이 미분류제품의 이미지상에 존재하는지 여부를 식별할 수 있고, 결함이 식별된 영역을 특정할 수 있다.For example, the defect identification control unit 122 may identify whether a defect learned through patch learning exists on an image of an unclassified product, and may specify an area where the defect is identified.

이후, 불량식별제어부(122)는 미분류제품 중 결함이 발견된 불량제품의 결함을 기초로 불량제품의 불량 유형을 결정할 수 있다. Thereafter, the defect identification control unit 122 may determine the defect type of the defective product based on the defect of the defective product among the unclassified products.

이때 실시예에 따라, 불량식별제어부(122)는 학습데이터를 이용하여 결함을 학습할 때, 결함을 불량의 유형에 따라 분류 학습할 수 있다.At this time, according to the embodiment, when learning defects using the learning data, the defect identification control unit 122 may classify and learn defects according to defect types.

예를 들어, 불량식별제어부(122)는 학습데이터 학습시 학습데이터에 포함된 결함의 패턴, 크기, 위치 또는 형태 등을 기준으로 결함을 분류할 수 있고, 분류된 결함에 따라 불량 유형을 결정할 수 있다. For example, when learning the learning data, the defect identification control unit 122 may classify defects based on patterns, sizes, locations, or shapes of defects included in the learning data, and determine defect types according to the classified defects. there is.

그리고 불량식별제어부(122)는 불량제품의 결함에 기초하여 불량제품의 불량 유형을 결정할 수 있다.Also, the defect identification control unit 122 may determine the defect type of the defective product based on the defects of the defective product.

예를 들어, 불량식별제어부(122)는 신규 제품인 유기발광다이오드 패널 중 표면에 결함이 존재한 것으로 판단된 불량제품에 대해 라인(Line) 결함, 스팟(spot) 결함, 에지(edge) 결함 등으로 불량제품의 불량 유형을 결정할 수 있다. For example, the defect identification control unit 122 determines that a defective product, which is a new organic light emitting diode panel, has a defect on the surface, such as a line defect, a spot defect, or an edge defect. Defect types of defective products can be determined.

이와 같이 동일한 생산라인에서 신규 제품을 생산하더라도 기존 제품의 불량 이미지를 패치 학습함으로써 결함이 발생한 영역을 학습하고, 이를 신규 제품에 대한 품질검사에 적용함으로써 신규 제품에 대한 머신 비전의 적용시간을 단축시킴과 동시에 정확한 품질검사를 할 수 있다. In this way, even if a new product is produced on the same production line, the application time of machine vision for a new product is shortened by learning the defect area by patch learning the defective image of the existing product and applying it to the quality inspection of the new product. At the same time, accurate quality inspection can be performed.

도 3 내지 도 5 는 일 실시예에 따른 품질검사방법을 설명하기 위한 순서도이다. 3 to 5 are flowcharts for explaining a quality inspection method according to an exemplary embodiment.

도 3 내지 도 5 에 도시된 실시예에 따른 품질검사방법은 도 1 및 도 2 에 도시된 품질검사시스템(10)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 및 도 2 에 도시된 품질검사시스템(10)에 관하여 이상에서 기술한 내용은 도 3 내지 도 5 에 도시된 실시예에 따른 품질검사방법에도 적용될 수 있다.The quality inspection method according to the embodiment shown in FIGS. 3 to 5 includes steps processed time-sequentially in the quality inspection system 10 shown in FIGS. 1 and 2 . Therefore, even if the contents are omitted below, the contents described above with respect to the quality inspection system 10 shown in FIGS. 1 and 2 can also be applied to the quality inspection method according to the embodiment shown in FIGS. 3 to 5. .

우선 도 3 을 참조하면, 품질검사시스템(10)의 학습데이터생성시스템(11)은 결함이 존재하는 기존 제품의 이미지인 불량 이미지를 기초로 신규 제품의 품질검사를 위한 학습에 필요한 학습데이터를 생성할 수 있다(S3001). First of all, referring to FIG. 3, the learning data generation system 11 of the quality inspection system 10 generates learning data necessary for learning for quality inspection of a new product based on a defective image, which is an image of an existing product with defects. It can be done (S3001).

예를 들어, 학습데이터생성시스템(11)은 생산라인에 설치된 머신 비전용 카메라를 통해 기존 제품 중 결함이 존재하는 기존 제품의 촬영 이미지인 불량 이미지에 포함된 결함을 이용하여 신규 제품의 양품 이미지에 결함을 결합하여 결함 이미지를 생성할 수 있다.For example, the learning data generation system 11 uses a defect included in a defective image, which is a photographed image of an existing product with defects among existing products, through a machine vision camera installed on a production line to generate a good image of a new product. Defects can be combined to create a defect image.

도 4 는 일 실시예에 따라 학습데이터를 생성하는 방법을 구체적으로 도시한 순서도이다. 4 is a flowchart specifically illustrating a method of generating learning data according to an embodiment.

도 4 를 참조하면, 학습데이터생성시스템(11)은 기존 제품의 불량 이미지를 학습할 수 있다(S4001). Referring to FIG. 4 , the learning data generating system 11 may learn a defective image of an existing product (S4001).

예를 들어, 학습데이터생성시스템(11)은 생산라인에 설치된 머신 비전용 카메라를 통해 촬영된 기존 제품의 이미지를 획득할 수 있고, 획득된 이미지를 비지도 학습방법으로 학습하여 결함이 존재하는 기존 제품의 불량 이미지를 학습할 수 있다. For example, the learning data generation system 11 can acquire an image of an existing product photographed through a camera for machine vision installed on a production line, and learn the acquired image by an unsupervised learning method to determine the existing defective product. Defective images of products can be learned.

또는 예를 들어, 학습데이터생성시스템(11)은 관리자로부터 획득된 기존 제품의 불량 이미지를 지도 학습방법으로 학습할 수 있다. Alternatively, for example, the learning data generating system 11 may learn the defective image of the existing product acquired from the manager using a supervised learning method.

그리고 학습데이터생성시스템(11)은 품질검사의 통과가 가능한 신규 제품에 대한 이미지인 양품 이미지를 기초로 신규 제품에 대한 결함 이미지를 생성할 수 있다(S4002).Further, the learning data generation system 11 may generate a defect image for the new product based on the good product image, which is an image for the new product capable of passing the quality inspection (S4002).

예를 들어, 학습데이터생성시스템(11)은 신규 제품의 양품 이미지를 획득할 수 있고, 획득된 양품 이미지를 기초로 S4001단계에서 학습된 기존 제품에 포함된 결함을 합성하여 신규 제품에 대한 결함 이미지를 생성할 수 있다. 이때, 학습데이터생성시스템(11)은 결함 이미지를 생성시 합성하는 결함의 위치, 크기, 형태를 기존 제품의 불량 이미지를 기초로 유사하거나 동일한 패턴으로 결함을 합성할 수 있다. For example, the learning data generation system 11 may acquire a good product image of a new product, synthesize defects included in the existing product learned in step S4001 based on the acquired good product image, and create a defect image for the new product. can create At this time, the learning data generation system 11 may synthesize defects in a similar or identical pattern based on the defect image of the existing product for the position, size, and shape of the defect to be synthesized when generating the defect image.

이후, 학습데이터생성시스템(11)은 불량 이미지 및 결함 이미지 중 적어도 하나를 기초로 학습데이터를 생성할 수 있다(S4003). Then, the learning data generating system 11 may generate learning data based on at least one of a defective image and a defective image (S4003).

예를 들어, 학습데이터생성시스템(11)은 S4002단계를 통해 신규 제품에 대해 다양한 형태의 결함이 포함된 결함 이미지를 포함한 학습데이터를 생성할 수 있다.For example, the learning data generation system 11 may generate learning data including defect images including various types of defects for new products through step S4002.

이후, 품질검사시스템(10)의 불량식별시스템(12)은 S3001단계에서 생성된 학습데이터를 학습할 수 있다(S3002). Thereafter, the defect identification system 12 of the quality inspection system 10 may learn the learning data generated in step S3001 (S3002).

예를 들어, 불량식별시스템(12)은 S3001단계에서 생성된 학습데이터에 포함된 이미지인 불량 이미지 또는 결함 이미지 중 적어도 하나에 대해 분할하여 결함이 포함된 영역을 패치(patch)학습할 수 있다. For example, the defect identification system 12 may segment at least one of a defect image or a defect image, which is an image included in the training data generated in step S3001, to patch-learn a defect-containing region.

또한, 불량식별시스템(12)은 신규 제품에 대한 양품 이미지를 획득하여 학습을 수행할 수 있다. In addition, the defect identification system 12 may perform learning by obtaining a non-defective image of a new product.

예를 들어, 불량식별시스템(12)은 신규 제품을 촬영한 이미지를 획득할 수 있고, 획득된 이미지에 대해 비지도 학습방법을 통해 신규 제품의 양품 이미지를 학습할 수 있다. For example, the defect identification system 12 may acquire an image of a new product and learn a non-defective image of the new product through an unsupervised learning method on the obtained image.

그리고 불량식별시스템(12)은 학습에 기초하여 신규 제품의 품질검사를 수행할 수 있다(S3003). And the defect identification system 12 may perform a quality inspection of the new product based on the learning (S3003).

예를 들어, 불량식별시스템(12)은 S3002단계의 학습에 기초하여 머신 비전용 카메라를 통해 촬영되는 신규 제품의 이미지상에 결함이 존재하는 여부를 식별할 수 있다. For example, the defect identification system 12 may identify whether a defect exists in an image of a new product photographed through a camera for machine vision based on the learning in step S3002.

도 5 는 일실시예에 따라 신규 제품에 대한 품질 검사과정을 도시한 순서도이다.5 is a flowchart illustrating a quality inspection process for a new product according to an embodiment.

도 5 를 참조하면, 불량식별시스템(12)는 머신 비전용 카메라를 통해 생산라인에서 생산되는 신규 제품을 촬영할 수 있고(S5001), S3002단계에서 학습된 신규 제품에 대한 양품 이미지를 기초로 신규 제품을 정상 제품과 미분류제품으로 분류할 수 있다. Referring to FIG. 5, the defect identification system 12 can photograph new products produced on the production line through a camera for machine vision (S5001), and based on the good product image of the new product learned in step S3002, the new product. can be classified into normal products and unclassified products.

예를 들어, 불량식별시스템(12)은 S3002단계에서 비지도 학습방법으로 학습된 신규 제품의 양품 이미지를 기초로 양품 이미지와 상이한 신규 제품을 미분류제품으로 분류할 수 있다. 그리고 불량식별시스템(12)은 미분류제품으로 분류되지 않은 신규 제품은 정상제품으로 분류할 수 있다. For example, the defective identification system 12 may classify a new product different from the non-defective product image as an unclassified product based on the non-defective image of the new product learned by the unsupervised learning method in step S3002. In addition, the defect identification system 12 may classify new products that are not classified as unclassified products as normal products.

그리고 불량식별시스템(12)은 미분류제품으로 분류된 신규 제품의 이미지에서 결함의 존재 여부를 식별할 수 있다(S5003). And the defect identification system 12 can identify the existence of a defect in the image of the new product classified as an unclassified product (S5003).

예를 들어, 불량식별시스템(12)은 미분류제품으로 분류된 신규 제품의 이미지를 기초로 S3002단계에서 패치 방법으로 학습된 결함과 동일하거나 유사한 형태의 결함이 존재하는지 식별할 수 있다. 그리고 미분류제품으로 분류된 신규 제품의 이미지에서 결함이 존재하지 않으면, 불량식별시스템(12)은 해당 미분류제품인 신규 제품을 정상 제품으로 분류할 수 있으나 결함이 존재하는 경우 해당 미분류제품인 신규 제품을 불량제품으로 분류할 수 있다. For example, the defect identification system 12 may identify whether a defect of the same or similar type as the defect learned by the patch method in step S3002 exists based on the image of the new product classified as an unclassified product. And if there is no defect in the image of the new product classified as unclassified product, the defect identification system 12 can classify the new product as the unclassified product as a normal product. can be classified as

이후, 불량식별시스템(12)은 결함이 식별된 불량제품의 불량 유형을 식별할 수 있다(S5004). Thereafter, the defect identification system 12 may identify the defect type of the defect product (S5004).

이를 위해, 불량식별시스템(12)은 S3002단계에서 학습데이터의 학습시 학습데이터에 포함된 결함을 비지도 학습방법으로 불량 유형별로 학습할 수 있다. To this end, the defect identification system 12 may learn defects included in the learning data for each defect type using an unsupervised learning method when learning the learning data in step S3002.

예를 들어, 불량식별시스템(12)은 불량 유형에 따라 발생되는 결함의 패턴, 크기, 위치 또는 형태 등을 각각 학습할 수 있고, 학습에 기초하여 S5003단계에서 불량제품으로 분류된 신규 제품의 이미지에 포함된 결함을 기초로 라인(line) 불량, 스팟(spot) 불량, 에지(edge) 불량, 빛 번짐(light leak) 불량, 버터플라이(butterfly) 불량, 스테인(stain) 불량, 불균일(un-uniform) 불량, 클라우드(cloud) 불량, 터레인(terrain) 불량 중 어느 하나로 불량 유형을 식별할 수 있다. For example, the defect identification system 12 may learn the pattern, size, position, shape, etc. of each defect generated according to the type of defect, and based on the learning, the image of the new product classified as a defective product in step S5003. Based on the defects included in the line defect, spot defect, edge defect, light leak defect, butterfly defect, stain defect, and un-uniformity The defect type may be identified as one of uniform defects, cloud defects, and terrain defects.

이와 같이, 기존 제품의 불량 이미지를 이용하여 신규 제품에 대한 결함 이미지를 생성하여 학습함으로써 신규 제품에 대한 머신 비전을 이용한 품질검사를 위해 필요한 학습데이터의 수집과 학습에 걸리는 시간을 최소화함과 동시에 빠르게 신규 제품에 대한 품질검사를 수행할 수 있으며, 불량제품의 불량 유형도 식별할 수 있다. In this way, by using the defective image of the existing product to create and learn the defect image for the new product, the time required for the collection and learning of learning data required for quality inspection using machine vision for the new product is minimized and at the same time fast It can perform quality inspections on new products and identify types of defective products.

이상의 실시예들에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.The term '~unit' used in the above embodiments means software or a hardware component such as a field programmable gate array (FPGA) or ASIC, and '~unit' performs certain roles. However, '~ part' is not limited to software or hardware. '~bu' may be configured to be in an addressable storage medium and may be configured to reproduce one or more processors. Therefore, as an example, '~unit' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , subroutines, segments of program patent code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.

구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.Functions provided within components and '~units' may be combined into smaller numbers of components and '~units' or separated from additional components and '~units'.

뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다.In addition, components and '~units' may be implemented to play one or more CPUs in a device or a secure multimedia card.

도 3 내지 도 5 를 통해 설명된 실시예에 따른 품질검사방법은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는, 컴퓨터로 판독 가능한 매체의 형태로도 구현될 수 있다. 이때, 명령어 및 데이터는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터 기록 매체일 수 있는데, 컴퓨터 기록 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다.예를 들어, 컴퓨터 기록 매체는 HDD 및 SSD 등과 같은 마그네틱 저장 매체, CD, DVD 및 블루레이 디스크 등과 같은 광학적 기록 매체, 또는 네트워크를 통해 접근 가능한 서버에 포함되는 메모리일 수 있다. The quality inspection method according to the embodiment described with reference to FIGS. 3 to 5 may also be implemented in the form of a computer-readable medium storing instructions and data executable by a computer. In this case, instructions and data may be stored in the form of program codes, and when executed by a processor, a predetermined program module may be generated to perform a predetermined operation. Also, computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, a computer-readable medium may be a computer recording medium, which is a volatile and non-volatile memory implemented in any method or technology for storage of information such as computer-readable instructions, data structures, program modules, or other data. It may include both volatile, removable and non-removable media. For example, computer storage media include magnetic storage media such as HDDs and SSDs, optical media such as CDs, DVDs and Blu-ray discs, or media accessible through a network. It may be memory included in the server.

또한 도 3 내지 도 5 를 통해 설명된 실시예에 따른 품질검사방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다. In addition, the quality inspection method according to the embodiment described with reference to FIGS. 3 to 5 may be implemented as a computer program (or computer program product) including instructions executable by a computer. A computer program includes programmable machine instructions processed by a processor and may be implemented in a high-level programming language, object-oriented programming language, assembly language, or machine language. . Also, the computer program may be recorded on a tangible computer-readable recording medium (eg, a memory, a hard disk, a magnetic/optical medium, or a solid-state drive (SSD)).

따라서 도 3 내지 도 5 를 통해 설명된 실시예에 따른 품질검사방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다. Therefore, the quality inspection method according to the embodiment described with reference to FIGS. 3 to 5 can be implemented by executing the above-described computer program by a computing device. A computing device may include at least some of a processor, a memory, a storage device, a high-speed interface connected to the memory and a high-speed expansion port, and a low-speed interface connected to a low-speed bus and a storage device. Each of these components are connected to each other using various buses and may be mounted on a common motherboard or mounted in any other suitable manner.

여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다. Here, the processor may process commands within the computing device, for example, to display graphic information for providing a GUI (Graphic User Interface) on an external input/output device, such as a display connected to a high-speed interface. Examples include instructions stored in memory or storage devices. As another example, multiple processors and/or multiple buses may be used along with multiple memories and memory types as appropriate. Also, the processor may be implemented as a chipset comprising chips including a plurality of independent analog and/or digital processors.

또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다. Memory also stores information within the computing device. In one example, the memory may consist of a volatile memory unit or a collection thereof. As another example, the memory may be composed of a non-volatile memory unit or a collection thereof. Memory may also be another form of computer readable medium, such as, for example, a magnetic or optical disk.

그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다. Also, the storage device may provide a large amount of storage space to the computing device. A storage device may be a computer-readable medium or a component that includes such a medium, and may include, for example, devices in a storage area network (SAN) or other components, such as a floppy disk device, a hard disk device, an optical disk device, or a tape device, flash memory, or other semiconductor memory device or device array of the like.

상술된 실시예들은 예시를 위한 것이며, 상술된 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 상술된 실시예들이 갖는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 상술된 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above-described embodiments are for illustrative purposes, and those skilled in the art to which the above-described embodiments belong can easily transform into other specific forms without changing the technical spirit or essential features of the above-described embodiments. You will understand. Therefore, it should be understood that the above-described embodiments are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.

본 명세서를 통해 보호 받고자 하는 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태를 포함하는 것으로 해석되어야 한다.The scope to be protected through this specification is indicated by the following claims rather than the detailed description above, and should be construed to include all changes or modifications derived from the meaning and scope of the claims and equivalent concepts thereof. .

10: 품질검사시스템
11: 학습데이터생성시스템
111: 학습데이터제어부
112: 학습데이터통신부
113: 학습데이터메모리
12: 불량식별시스템
121: 불량식별입출력부
122: 불량식별제어부
123: 불량식별통신부
124: 불량식별메모리
10: Quality inspection system
11: Learning data generation system
111: learning data control unit
112: learning data communication unit
113: learning data memory
12: defect identification system
121: defect identification input and output unit
122: defect identification control unit
123: defect identification communication unit
124: defect identification memory

Claims (18)

신규 제품의 품질을 검사하는 품질검사시스템에 있어서,
결함이 존재하는 기존 제품의 이미지인 불량 이미지를 학습하고, 상기 불량 이미지의 학습을 기초로 하여 품질검사의 통과가 가능한 신규 제품에 대한 이미지인 양품 이미지에 결함을 생성하여 결함 이미지를 생성하며, 상기 불량 이미지와 상기 결함 이미지 각각에 결함이 존재하는 영역을 크롭핑하여 학습데이터를 생성하는 학습데이터생성시스템; 및
상기 학습데이터를 학습하고, 학습에 기초하여 상기 신규 제품의 품질검사를 수행하는 불량식별시스템을 포함하고,
상기 불량식별시스템은,
상기 양품 이미지를 비지도 방식으로 학습하고, 상기 양품 이미지의 학습을 기초로 상기 품질검사의 대상인 신규 제품 중 상기 양품 이미지와 상이한 신규 제품을 미분류제품으로 분류하고, 상기 미분류제품으로 분류되지 않은 신규 제품을 정상 제품으로 분류하며, 상기 학습데이터의 학습을 기초로 상기 미분류제품 중 결함이 존재하는 불량제품과 결함이 존재하지 않는 정상 제품을 구분하여 식별하는, 품질검사시스템.
In the quality inspection system for inspecting the quality of new products,
Learning a defective image, which is an image of an existing product with defects, and generating a defect image by creating a defect in a good image, which is an image of a new product that can pass the quality inspection based on the learning of the defective image, a learning data generating system for generating learning data by cropping a defective image and a region in which defects exist in each of the defective images; and
A defect identification system that learns the learning data and performs quality inspection of the new product based on the learning;
The defect identification system,
The good product image is learned in an unsupervised manner, and new products that are different from the good product image among the new products subject to the quality inspection are classified as unclassified products based on the learning of the good product image, and new products not classified as the unclassified product A quality inspection system that classifies products as normal products and classifies and identifies defective products with defects and normal products without defects among the unclassified products based on the learning of the learning data.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제 1 항에 있어서,
상기 불량식별시스템은,
상기 불량제품상의 결함을 기초로 상기 불량제품의 불량 유형을 결정하는, 품질검사시스템.
According to claim 1,
The defect identification system,
A quality inspection system for determining a defect type of the defective product based on defects on the defective product.
품질검사시스템이 신규 제품의 품질을 검사하는 방법에 있어서,
결함이 존재하는 기존 제품의 이미지인 불량 이미지를 기초로 상기 신규 제품의 품질검사를 위한 학습에 필요한 학습데이터를 생성하는 단계; 및
상기 학습 데이터의 학습에 기초하여 상기 신규 제품의 품질검사를 수행하는 단계를 포함하고,
상기 학습데이터를 생성하는 단계는,
상기 불량 이미지를 학습하고, 상기 불량 이미지의 학습을 기초로 하여 품질검사의 통과가 가능한 신규 제품에 대한 이미지인 양품 이미지에 결함을 생성하여 상기 신규 제품에 대한 결함 이미지를 생성하는 단계; 및
상기 불량 이미지와 상기 결함 이미지 각각에 결함이 존재하는 영역을 크롭핑하여 상기 학습데이터를 생성하는 단계를 포함하고,
상기 품질검사를 수행하는 단계는,
상기 양품 이미지를 비지도 방식으로 학습하고, 상기 양품 이미지의 학습을 기초로 상기 품질검사의 대상인 신규 제품 중 상기 양품 이미지와 상이한 신규 제품을 미분류제품으로 분류하고, 상기 미분류제품으로 분류되지 않은 신규 제품을 정상 제품으로 분류하는 단계; 및
상기 학습데이터를 학습하고, 상기 학습데이터의 학습을 기초로 상기 미분류제품 중 결함이 존재하는 불량제품과 결함이 존재하지 않는 정상 제품을 구분하여 식별하는 단계를 포함하는, 품질검사방법.
In the method for the quality inspection system to inspect the quality of a new product,
generating learning data necessary for learning for quality inspection of the new product based on a defective image, which is an image of an existing product with defects; and
Performing a quality inspection of the new product based on learning of the learning data;
The step of generating the learning data,
learning the defective image, and generating a defect image for the new product by generating a defect in a good product image, which is an image for a new product capable of passing a quality test, based on the learning of the defective image; and
generating the learning data by cropping an area in which a defect exists in each of the defective image and the defective image;
The step of performing the quality inspection is,
The good product image is learned in an unsupervised manner, and new products that are different from the good product image among the new products subject to the quality inspection are classified as unclassified products based on the learning of the good product image, and new products not classified as the unclassified product Classifying as a normal product; and
And learning the learning data, and classifying and identifying defective products with defects and normal products without defects among the unclassified products based on the learning of the learning data.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제 9 항에 있어서,
상기 품질검사방법은,
상기 불량제품상의 결함을 기초로 상기 불량제품의 불량 유형을 결정하는 단계를 더 포함하는, 품질검사방법.
According to claim 9,
The quality inspection method,
and determining a defect type of the defective product based on defects on the defective product.
제 9 항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.A computer-readable recording medium in which a program for performing the method according to claim 9 is recorded. 품질검사시스템에 의해 수행되며, 제 9 항에 기재된 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램.
A computer program performed by the quality inspection system and stored in a medium to perform the method according to claim 9.
KR1020200034488A 2020-03-20 2020-03-20 Method and system for quality inspection of new product using deep learning KR102486230B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200034488A KR102486230B1 (en) 2020-03-20 2020-03-20 Method and system for quality inspection of new product using deep learning
PCT/KR2020/010148 WO2021187683A1 (en) 2020-03-20 2020-07-31 Method and system for testing quality of new product by using deep learning
CN202080076418.4A CN114631115A (en) 2020-03-20 2020-07-31 Method and system for quality inspection of new products using deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200034488A KR102486230B1 (en) 2020-03-20 2020-03-20 Method and system for quality inspection of new product using deep learning

Publications (2)

Publication Number Publication Date
KR20210117782A KR20210117782A (en) 2021-09-29
KR102486230B1 true KR102486230B1 (en) 2023-01-10

Family

ID=77768442

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200034488A KR102486230B1 (en) 2020-03-20 2020-03-20 Method and system for quality inspection of new product using deep learning

Country Status (3)

Country Link
KR (1) KR102486230B1 (en)
CN (1) CN114631115A (en)
WO (1) WO2021187683A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102489115B1 (en) * 2022-01-11 2023-01-17 주식회사 아이브 Method and Apparatus for Deep Machine Learning for Vision Inspection of a Manufactured Product
KR20230139068A (en) * 2022-03-25 2023-10-05 경상국립대학교산학협력단 Method for detecting defects in water and sewage facilities and a defect detection system supporting the same
KR102644815B1 (en) * 2023-07-27 2024-03-08 주식회사 인터엑스 Deep learning-based quality inspection system applicable to injection process and its control method
KR102627233B1 (en) * 2023-09-26 2024-01-23 (주) 웨다 Ultra-high voltage cable surface quality inspection system using image based anomaly detection model

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009238992A (en) * 2008-03-27 2009-10-15 Tokyo Electron Ltd Method for classifying defects, program, computer storage medium, and device for classifying defects
JP2020027424A (en) * 2018-08-10 2020-02-20 東京エレクトロンデバイス株式会社 Learning data generating device, discrimination model generating device, and program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10181185B2 (en) * 2016-01-11 2019-01-15 Kla-Tencor Corp. Image based specimen process control
KR101863196B1 (en) * 2017-07-24 2018-06-01 한국생산기술연구원 An Apparatus and A Method For Detecting A Defect On Surfaces Based On Deep Learning
WO2019107614A1 (en) * 2017-11-30 2019-06-06 전자부품연구원 Machine vision-based quality inspection method and system utilizing deep learning in manufacturing process
KR101950681B1 (en) * 2018-05-04 2019-02-21 주식회사 스켈터랩스 Defect inspection device, system, method and computer readable storage medium
KR101975186B1 (en) * 2018-07-04 2019-05-07 광운대학교 산학협력단 Apparatus and method of data generation for object detection based on generative adversarial networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009238992A (en) * 2008-03-27 2009-10-15 Tokyo Electron Ltd Method for classifying defects, program, computer storage medium, and device for classifying defects
JP2020027424A (en) * 2018-08-10 2020-02-20 東京エレクトロンデバイス株式会社 Learning data generating device, discrimination model generating device, and program

Also Published As

Publication number Publication date
WO2021187683A1 (en) 2021-09-23
KR20210117782A (en) 2021-09-29
CN114631115A (en) 2022-06-14

Similar Documents

Publication Publication Date Title
KR102486230B1 (en) Method and system for quality inspection of new product using deep learning
TWI718573B (en) Apparatus and method for inspecting for defects
TWI709919B (en) Auto insurance image processing method, device, server and system
WO2019186915A1 (en) Abnormality inspection device and abnormality inspection method
KR102141302B1 (en) Object detection method based 0n deep learning regression model and image processing apparatus
JP7399906B2 (en) Optical system using variable diffuser
KR20190126430A (en) Image-based Counterfeit Detection
JP7453813B2 (en) Inspection equipment, inspection methods, programs, learning devices, learning methods, and learned datasets
Chen et al. Edge-glued wooden panel defect detection using deep learning
US20210365714A1 (en) Detecting Artificial Multimedia Content Using Deep Network Response Analysis
KR20230038078A (en) Apparatus and method for detecting defects of glossy surfaces of objects
KR102271418B1 (en) Method and system for auto training for product inspection
KR20210056974A (en) Method and apparatus for identifying object using multi- cameras
KR102225099B1 (en) Apparatus and method for generating a defect image
Ruediger-Flore et al. CAD-based data augmentation and transfer learning empowers part classification in manufacturing
KR20200044227A (en) Method and apparatus for performing machine learning on image
Zeiser et al. A data-centric approach to anomaly detection in layer-based additive manufacturing
KR102273334B1 (en) Method and apparatus for learning neural network using multi channel image
KR102252590B1 (en) Method and apparatus for setting test environment based on machine learning environment
KR20230069396A (en) Method for detecting plant leaf from image, and computing apparatus for performing the same
KR102252591B1 (en) Method and apparatus for compensating output of a display panel
KR20200125135A (en) System for classifying brain regions based on artificial intelligence
KR20230165509A (en) Apparatus and method for filtering unseen data
RU2774624C1 (en) Method and system for determining synthetic changes of faces in video
US20210397897A1 (en) Image Authentication Method and Real-Time Product Authentication System

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant