WO2019107614A1 - 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템 - Google Patents

제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템 Download PDF

Info

Publication number
WO2019107614A1
WO2019107614A1 PCT/KR2017/013922 KR2017013922W WO2019107614A1 WO 2019107614 A1 WO2019107614 A1 WO 2019107614A1 KR 2017013922 W KR2017013922 W KR 2017013922W WO 2019107614 A1 WO2019107614 A1 WO 2019107614A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
learning
image
classifier
product image
Prior art date
Application number
PCT/KR2017/013922
Other languages
English (en)
French (fr)
Inventor
이승우
권영민
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Publication of WO2019107614A1 publication Critical patent/WO2019107614A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present invention relates to manufacturing management techniques, and more particularly, to a method and system for automated machine vision-based quality inspection in a manufacturing process.
  • Detection of defects in existing manufacturing processes is a passive method that most observers observe. Accordingly, there is a need for a method that can detect defects automatically because the accuracy is not consistent depending on the condition and judgment ability of the operator and takes a long time.
  • An automated vision-based inspection system called Automated Optical Inspection (AOI) or Machine Vision was introduced to overcome the problems of manual inspection.
  • Machine vision systems have replaced manual inspectors in many areas such as defect inspection and product classification.
  • the machine vision inspection method is a method of designing the engineers one by one according to the process characteristics and target items. Therefore, the accuracy of the machine vision is affected by the performance depending on how well the engineer made the rule, and the accuracy of the detection of the fine defect is lowered when the object to be analyzed is complex.
  • image processing techniques used in machine vision can detect very high accuracy and defect rate in a situation where there is no change in target items and the external factors are completely the same and controlled.
  • the engineer has a limitation in trying to extract new feature points or redesigning the discrimination algorithm in order to re-learn.
  • a quality checking method comprising: generating a product image for learning; Learning a classifier for classifying a good product and a defective product with the generated learning product image; And determining the product as a good product or a defective product using the learned classifier.
  • the learning product image generating step may include: segmenting the learning product image; And expanding the fragmented learning product image.
  • the expansion step can expand the learning product image using at least one of alignment, illumination effect conversion, and noise effect application to the learning product image.
  • a quality inspection method includes: photographing a product; And extracting a region of interest from the photographed product image, wherein the determining step can identify the defect in the extracted region of interest and determine the product as good or defective.
  • the determining step may output the classification number and the probability value of the learning product image that is the closest to the extracted interest area among the learning product images as the determination result.
  • the quality inspection method may further include collecting product images on which erroneous determination has been made, and re-learning the classifier.
  • the re-learning step can be performed by a remote server.
  • a quality inspection system including: a camera for generating a product image of a learning product; And a processor that learns a classifier for classifying a good product and a defective product using the generated learning product image, and determines the product as a good product or a defective product using the learned classifier.
  • learning data collected through user feedback is collected on-line so as to support updating and optimization of an online-based learning model and to improve the accuracy of learning or introducing a new bad pattern.
  • a re-learning model can be created to provide a service that can be replaced.
  • Fig. 1 is a block diagram of a learning data generation process
  • Figure 2 is a flow chart provided in the description of the deep learning-based classifier generation process
  • FIG. 3 is a flowchart provided in the explanation of the machine vision-based quality inspection process
  • FIG. 4 shows a concept of generating an optimization model based on on-line re-learning.
  • FIG. 5 is a block diagram of a system for performing the above-described machine vision-based quality checking method.
  • Deep Learning implements a human neural network and creates a Deep Neural Network to build up a layer between input and output to learn and solve the joint weight problem.
  • the in-depth learning used here is advantageous in the high level of abstraction of the objects that showed the weakest points in the existing machine learning technique through the combination of various nonlinear transformation techniques.
  • a machine vision-based quality inspection method utilizing deep running in a manufacturing process is presented.
  • An automated vision inspection method that learns and automatically detects good products and bad data of objects to be detected by using a deep learning technique in sorting production products produced in a manufacturing factory or inspecting and detecting external defects .
  • learning data (learning product image and good product / badness) are input to generate an automatically optimized discrimination model.
  • image is irregular, It is possible.
  • noise is included in the input data and learning is performed to show strengths in changes in external environmental factors, and re-learning and detection model replacement can be performed online through user feedback information.
  • CNNs Deep Convolutional Neural Networks
  • CNNs are used as an image analysis method for defect detection, and 1) generation of learning data, 2) generation of a deep learning based classifier based on learning data, and 3) ) Defect detection using deep learning based classifiers and 4) On-line based optimization for re-learning classifier models.
  • Fig. 1 is a diagram provided for explanation of a learning data generation process.
  • the target image is cropped so as to overlap with a small image of a certain size.
  • the labeling information including the image index and defect information together with the cropped image is used as the learning data of the deep learning.
  • the convolution neural network model requires a lot of data for learning as much as the complexity, the dataset is also used for expansion purposes for sufficient data collection.
  • Figure 2 is a flow chart provided in the description of the deep learning based classifier generation process.
  • a learning process must first be performed. That is, the classifier is determined through optimization based on a large amount of generated learning data.
  • the data used for learning are learned by using index and defect information together with image data as classification values, and the classifier model obtained as a result of learning through the optimization process is applied to the inspection apparatus.
  • the learning data (learning product image) is fragmented (S110), the label data is generated and expanded from the fragmented learning data (S120), the classifier is learned (S130) .
  • 3 is a flow chart provided in the description of the machine vision-based quality inspection process.
  • the position of the inspection camera is aligned and the inspection target product is photographed (S210), and the ROI is extracted from the image generated through the photographing and stored (S220) .
  • step S220 the stored target image is cropped so as to overlap with a small image of a predetermined size, as in the image preprocessing process of generating a learning model (S230).
  • the quality inspection apparatus performs inspection using a classifier for each piece image (S240).
  • the neural network algorithm outputs the classification number and the probability value of the closest image among the learning data used when generating the classifier through the learning as the classification result.
  • each of the sculptured images is checked (S250, S260, S270) whether the classification table is good or defective with the highest probability in the corresponding index through the deep learning-based classifier, and the determination result is displayed (S280). At this time, in the case of a defective product, it is determined that the defect is defective and the area can be displayed.
  • the improved model can be created by the following procedure.
  • the image data and the corresponding image data are fed back from the user and collected separately.
  • HMI Human-Machine Interface
  • the learning model of the deep learning algorithm requires a significant amount of computation and learning time to optimize weights, and in particular requires many GPU (Graphics Processing Unit) operations.
  • GPU Graphics Processing Unit
  • error data collected separately as user feedback information is used as learning data for creating a new discrimination model.
  • the newly created model can be replaced with a new classifier of the in-house inspection apparatus through the deep learning re-learning at the remote site, thereby improving the discrimination model of the inspection apparatus.
  • FIG. 4 shows the concept of creating an optimization model based on on-line re-learning.
  • the illustrated machine vision based quality inspection system is a computing system that includes a camera 310, a communication unit 320, a processor 330, a storage unit 340 and a display 350.
  • the camera 310 is an image generation device for generating an image by photographing a product to be inspected.
  • the processor 330 includes a CPU and GCUs as means for extracting a region of interest from an image generated by the camera 310, performing image processing, and generating and generating a classifier to perform an inspection.
  • the storage unit 340 provides the necessary storage space for the processor 330 to perform the above procedures.
  • the communication unit 320 is a means for on-line re-learning, and is means for receiving a model that the server has improved through re-learning.
  • a deep-learning algorithm is applied to perform classification and defect discrimination in a manufacturing factory, and a defect model is automatically generated through learning of image data through deep learning to create a non-standard pattern Which makes it possible to perform analysis for complex images.
  • a detection model can be automatically created by learning data, self-optimization through online learning through user feedback is possible, and by providing high flexibility, The introduction cost and the change cost can be lowered.
  • the technical idea of the present invention can also be applied to a computer-readable recording medium having a computer program for performing the functions of the apparatus and method according to the present embodiment.
  • the technical idea according to various embodiments of the present invention may be embodied in computer-readable code form recorded on a computer-readable recording medium.
  • the computer-readable recording medium is any data storage device that can be read by a computer and can store data.
  • the computer-readable recording medium may be a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical disk, a hard disk drive, or the like.
  • the computer readable code or program stored in the computer readable recording medium may be transmitted through a network connected between the computers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Computing Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Manufacturing & Machinery (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 품질 검사 방법은, 학습용 제품 영상을 생성하고, 생성된 학습용 제품 영상으로 양품과 불량품을 구분하기 위한 분류기를 학습시키며, 학습된 분류기를 이용하여 제품을 양품 또는 불량품으로 판정한다. 이에 의해, 학습에 의해 판별 대상의 데이터의 특징값을 스스로 찾을 수 있어, 결함의 정형화가 어려워 수동 검사에 의존하는 검사 영역에 대해서도 머신 비전 기반 검사가 가능해진다.

Description

제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
본 발명은 제조 관리 기술에 관한 것으로, 더욱 상세하게는 제조 공정에서 자동화된 머신 비전 기반의 품질검사 방법 및 시스템에 관한 것이다.
기존 제조 공정에서 발생하는 결함 검출은 대부분 작업자가 직접 관찰 수행하는 수동적 방법이다. 이에 따라, 작업자의 상태 및 판단 능력에 따라 정확도가 일관되지 못하고, 많은 시간이 소요되는바, 자동으로 결함을 검출할 수 있는 방법이 필요하다.
수동 검사의 문제점을 보완하려 자동 광학 검사(Automated Optical Inspection, AOI) 또는 머신 비전이라 불리는 자동화된 비전 기반 검사 시스템이 도입 되었다. 머신 비전 시스템은 결함 검사, 제품 분류 등의 여러 분야에서 수동 검사자를 대치하게 되었다.
하지만, 머신 비전 검사 방법은 공정 특성 및 대상 품목에 맞춰 엔지니어가 규칙을 하나씩 설정하면서 설계하는 방법이다. 따라서, 머신 비전의 정확도는 엔지니어가 규칙을 얼마나 잘 만들었는지에 따라 성능이 좌우되는 한계와 함께, 분석 대상이 복잡한 경우 미세한 불량에 대한 검출 정확도가 떨어지게 되는 문제를 보이게 ehlsek
특히, 이미지가 불규칙하고 비정형인 경우엔 불량의 특징 벡터(Feature)를 엔지니어가 정의하기 어려운 경우, 머신 비전에 의한 장비 정확도가 낮기 때문에 여전히 사람의 육안검사에 의존하는 경우도 존재한다.
일반적으로, 머신 비전에 사용되는 영상 처리 기법들은, 대상 품목의 변화가 없고 외부요인이 완전하게 동일하고 통제된 상황에서는 매우 높은 정확도와 불량률을 탐지가 가능하지만, 이렇게 엄격한 조건의 설정은 외부 환경의 변화 시에 엔지니어가 재학습을 하기 위해 새로운 특징점을 추출을 시도하거나 판별 알고리즘의 재설계가 필요하다는 한계를 가지고 있는 것이다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 품질 검사 방법은, 학습용 제품 영상을 생성하는 단계; 생성된 학습용 제품 영상으로 양품과 불량품을 구분하기 위한 분류기를 학습시키는 단계; 및 학습된 분류기를 이용하여, 제품을 양품 또는 불량품으로 판정하는 단계;를 포함한다.
그리고, 학습용 제품 영상 생성단계는, 학습용 제품 영상을 조각화하는 단계; 및 조각화된 학습용 제품 영상을 확장하는 단계;를 포함할 수 있다.
또한, 확장 단계는, 학습용 제품 영상에 얼라인먼트, 조명 효과 변환, 노이즈 효과 적용 중 적어로 하나를 이용하여 학습용 제품 영상을 확장할 수 있다.
그리고, 본 발명의 실시예에 따른 품질 검사 방법은, 제품을 촬영하는 단계; 촬영된 제품 영상에서 관심 영역을 추출하는 단계;를 더 포함하고, 판정 단계는, 추출된 관심 영역에서의 결함을 확인하여, 제품을 양품 또는 불량품으로 판정할 수 있다.
또한, 판정 단계는, 학습용 제품 영상들 중 추출된 관심 영역과 가장 근접한 학습용 제품 영상의 분류 번호 및 확률 값을 판정 결과로 출력할 수 있다.
그리고, 본 발명의 실시예에 따른 품질 검사 방법은, 잘못된 판정이 이루어진 제품 영상들을 수집하여, 분류기를 재학습시키는 단계;를 더 포함할 수 있다.
또한, 재학습 단계는, 원격의 서버에 의해 수행될 수 있다.
한편, 본 발명의 다른 실시예에 따른, 품질 검사 시스템은, 학습용 제품 영상을 생성하는 카메라; 및 생성된 학습용 제품 영상으로 양품과 불량품을 구분하기 위한 분류기를 학습시키고, 학습된 분류기를 이용하여 제품을 양품 또는 불량품으로 판정하는 프로세서;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 기존의 머신 비전 검사 기법과 달리, 학습에 의해 판별 대상의 데이터의 특징값(Feature)을 스스로 찾을 수 있어, 결함의 정형화가 어려워 수동 검사에 의존하는 검사 영역에 대해서도 머신 비전 기반 검사가 가능해진다.
또한, 본 발명의 실시예들에 따르면, 온라인 기반의 학습모델 업데이트 및 최적화를 지원하여, 새로운 불량 패턴이 들어오거나 학습의 정확도를 개선시키기 위해, 사용자 피드백을 통해 수집된 학습 데이터를 온라인을 통해 수집하고, 재학습 모델을 생성하여 교체가 가능한 서비스 제공이 가능하다.
뿐만 아니라, 본 발명의 실시예들에 따르면, 잦은 상품 변경이 필요한 경우에도 자동화된 학습 및 최적화 방안을 제공할 수 있어, 도입 비용을 줄이는 것이 가능해진다.
도 1에 학습 데이터 생성 과정의 설명에 제공되는 도면,
도 2는 딥러닝 기반 분류기 생성 과정의 설명에 제공되는 흐름도,
도 3은 머신 비전 기반 품질 검사 과정의 설명에 제공되는 흐름도,
도 4는 온라인 재학습 기반으로 최적화 모델을 생성하는 개념을 나타내었다.
도 5는 전술한 머신 비전 기반 품질검사 방법을 수행하기 위한 시스템의 블럭도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
1. 머신 비전 기반 품질검사 방법
딥러닝은 인간의 신경망을 모방하여 심층 신경망(Deep Neural Network)을 만들어 입력과 출력 사이에 겹겹이 층(Layer)을 쌓아 만든 네트워크로 결합 가중치(Weight) 문제를 학습하고 해결한다.
여기에 사용되는 심층 학습은 여러 비선형 변환 기법의 조합을 통하여, 기존의 머신 러닝의 기법에서 가장 취약점을 보이던 대상물의 높은 수준의 추상화에서 강점을 보인다.
본 발명의 실시예에서는, 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법을 제시한다. 제조 공장에서 생산되는 생산 제품을 분류하거나 외형적 불량을 검사 및 검출함에 있어, 딥러닝 기법을 사용하여 탐지 대상이 되는 대상물의 양품, 불량 데이터를 학습하고, 자동으로 판별하는 자동화된 비전 검사 방법이다.
본 발명의 실시예에 따른 품질검사 방법에서는, 학습 데이터(학습용 제품 영상과 양품/불량 여부)를 입력하여 자동으로 최적화된 판별 모델을 생성하는데, 이미지가 불규칙한 경우 비정형적 패턴에서도 학습을 통하여 판별이 가능하다.
또한, 본 발명의 실시예에 따른 품질검사 방법에서는, 입력 데이터에 노이즈를 포함시켜 학습함으로써 외부 환경 요인의 변화에 강점을 보이고, 온라인으로 사용자 피드백 정보를 통한 재학습 및 검출 모델 교체가 가능하다.
본 말명의 실시예에서는, 결함 탐지를 위한 이미지 분석 방법으로 심층 컨볼루션 신경망(Deep Convolutional Neural Networks, CNNs)을 활용하고, 1) 학습 데이터 생성, 2) 학습데이터 기반 딥러닝 기반 분류기 생성, (3) 딥러닝 기반 분류기를 사용한 결함 탐지 및 4) 기법과 분류기 모델의 재학습을 위한 온라인 기반 최적화를 수행한다. 이하에서 각각에 대해 상세히 설명한다.
1) 학습 데이터 생성
딥러닝 알고리즘에 기반한 검사 판별을 위해서는 데이터의 학습을 통해 컴퓨터 스스로가 특징 표현을 만들어 내는 특징 표현 학습(feature representation learning) 과정이 필요하므로, 양품의 영상 데이터와 불량품의 영상 데이터를 지도학습을 통해 학습된다.
도 1에 학습 데이터 생성 과정의 설명에 제공되는 도면이다. 복잡한 영상 이미지를 판별할 때 분류 정확도를 높이고, 구체화된 레이블 정보를 학습시키기 위해, 도 1에 도시된 바와 같이, 먼저 대상 이미지를 일정 규격의 사이즈의 작은 이미지로 중첩이 되도록 자른다(Cropping).
잘라진(Cropped) 이미지와 함께 이미지 인덱스 및 결함 여부의 정보를 포함한 레이블링 정보가 딥러닝의 학습데이터로 사용된다.
나아가, 외부 환경 변수에 의한 영향을 줄이기 위하여, 수집된 데이터에 임의의 얼라인먼트, 조명 효과 변환, 노이즈 효과를 적용한 데이터를 각각 생성하여, 학습 데이터 수를 늘린다. 이는 환경 변화에 따른 노이즈를 강화킨다.
뿐만 아니라, 컨볼루션 신경망 모델은 복잡한 만큼 학습을 위해 많은 데이터를 필요로 하기 때문에, 충분한 데이터 수집을 위해 데이터 셋을 확장을 위한 용도로도 사용한다.
2) 학습을 통한 딥러닝 기반 분류기 모델 생성
도 2는 딥러닝 기반 분류기 생성 과정의 설명에 제공되는 흐름도이다. 딥러닝 기반의 검사기를 만들기 위해, 도 2에 도시된 바와 같이, 먼저, 학습 과정을 거쳐야 한다. 즉, 생성된 많은 양의 학습 데이터를 기반으로 최적화를 통해 분류기가 결정된다.
학습에 사용되는 데이터는 영상 데이터와 함께, 인덱스와 결함 정보를 분류값으로 사용하여 학습하며, 최적화 과정을 통해 학습 결과로 나온 분류기 모델은 검사장치에 적용된다.
구체적으로, 학습 데이터(학습용 제품 영상)를 조각화하고(S110), 조각화된 학습 데이터로부터 레이블 데이터 생성 및 확장 후에(S120), 분류기를 학습시켜(S130), 비전 검사 장치에 적용하게 된다(S140).
3) 딥러닝 기반의 결함 탐지 과정
도 3은 머신 비전 기반 품질 검사 과정의 설명에 제공되는 흐름도이다.
품질 검사를 통해 제품을 양품 또는 불량으로 판정하기 위해, 먼저, 검사 카메라의 위치를 정렬하여 검사 대상 제품을 촬영하고(S210), 촬영을 통해 생성된 영상에서 관심 영역을 추출하여 저장한다(S220).
그리고, S220단계에서 저장된 대상 이미지를 학습 모델 생성의 이미지 전처리 과정에서와 같이, 일정 규격의 사이즈의 작은 이미지로 중첩되도록 자른다(Cropping)(S230).
다음, 품질 검사 장치는, 각각의 조각 이미지 각각에 대해 분류기를 이용하여 검사를 수행한다(S240). 이때, 심층신경망 알고리즘은 분류 결과로 학습을 통해 분류기를 생성할 때 사용된 학습 데이터들 중 가장 근접한 이미지의 분류 번호와 확률 값을 결과로 출력한다.
이에, 각각의 조각된 이미지를 딥러닝 기반 분류기를 통해, 해당 인덱스에서 가장 높은 확률로 분류표가 양품인지 결함인지 확인하여(S250, S260, S270), 판정 결과값을 표시한다(S280). 이때, 결함 제품인 경우에는 결함으로 판명하고 영역을 표시하여 줄 수 있다.
4) 온라인 기반 재학습을 통한 개선된 분류기 적용 과정
비젼 검사 장치를 생산 공정의 검사 장치로 활용하고 있는 상황에서, 기존에 학습되지 않은 새로운 타입의 결함이 발생하거나, 이전에 학습한 판별 모델에서 오류가 발생하는 경우 재학습이 필요한 경우 새로운 학습데이터를 추가로 활용하여 개선된 모델을 다음과 같은 절차로 만들어 낼 수 있다.
공장 내 작업자가 사용하는 HMI(Human-Machine Interface) 장치를 통해서 잘못 판별한 정보(양품 데이터를 불량으로 판별하거나 또는, 불량 제품을 양품으로 판별하는 경우)에 대해, 해당 영상 데이터와 해당 영상데이터의 레이블 정보를 사용자로부터 피드백 받아서 따로 수집을 한다.
딥러닝 알고리즘의 학습 모델은 가중치를 최적화하기 위해 상당한 연산량과 학습 시간이 필요하며 하며, 특히 많은 GPU(Graphics Processing Unit) 연산을 필요로 한다.
따라서, 원격지에 고성능의 GPU를 탑재한 서버에서, 사용자의 피드백 정보로 따로 수집된 오류 데이터를 새로운 판별 모델을 만들기 위한 학습 데이터로 사용된다.
원격지에서 딥러닝 재학습을 통해 새로운 만들어진 모델은, 공장 내 검사 장치의 새로운 분류기로 대체되어 검사 장치의 판별 모델을 개선시킬 수 있다.
도 4에는 온라인 재학습 기반으로 최적화 모델을 생성하는 개념을 나타내었다.
2. 머신 비전 기반 품질검사 시스템
도 5는 전술한 머신 비전 기반 품질검사 방법을 수행하기 위한 시스템의 블럭도이다. 도시된 머신 비전 기반 품질검사 시스템은, 카메라(310), 통신부(320), 프로세서(330), 저장부(340) 및 디스플레이(350)를 포함하여 구성되는 컴퓨팅 시스템이다.
카메라(310)는 검사 대상 제품을 촬영하여 영상을 생성하기 위한 영상 생성 장치다.
프로세서(330)는 카메라(310)에 의해 생성된 영상에서 관심 영역을 추출하고 영상 처리를 수행하며, 분류기를 학습시켜 생성하고 구동시켜 검사를 수행하는 수단으로 CPU와 GCU들로 구성된다.
저장부(340)는 프로세서(330)가 위 절차들을 수행함에 있어 필요한 저장공간을 제공한다.
디스플레이(350)에는 제품 검사에 따른 결함 판정 여부 및 판정 값이 표시된다.
통신부(320)는 온라인 기반 재학습을 위한 수단으로, 서버가 재학습을 통해 개선한 모델을 수신하기 위한 수단이다.
3. 변형예
지금까지, 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템에 대해 바람직한 실시예들을 들어 상세히 설명하였다.
본 발명의 실시예에서는, 딥러닝 알고리즘을 적용하여 제조 공장에서 생산품의 분류 및 불량 판별을 수행하며, 딥러닝을 통하여 영상 데이터 학습을 통한 불량을 검출 모델을 자동으로 만들어 단순 패턴이 아닌 비정형화되고 복잡한 영상 이미지까지 분석을 가능한 검사가 가능하게 하였다.
또한, 본 발명의 실시예들에서는, 학습 데이터에 의해서 자동으로 검출 모델이 만들 수 있고, 사용자 피드백을 통한 온라인 학습을 통한 자가-최적화(self optimization)가 가능하여 높은 유연성을 제공함으로써, 비전 검사 시스템 도입 비용과 변경 비용을 낮출 수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (8)

  1. 학습용 제품 영상을 생성하는 단계;
    생성된 학습용 제품 영상으로 양품과 불량품을 구분하기 위한 분류기를 학습시키는 단계; 및
    학습된 분류기를 이용하여, 제품을 양품 또는 불량품으로 판정하는 단계;를 포함하는 것을 특징으로 하는 품질 검사 방법.
  2. 청구항 1에 있어서,
    학습용 제품 영상 생성단계는,
    학습용 제품 영상을 조각화하는 단계; 및
    조각화된 학습용 제품 영상을 확장하는 단계;를 포함하는 것을 특징으로 하는 품질 검사 방법.
  3. 청구항 2에 있어서,
    확장 단계는,
    학습용 제품 영상에 얼라인먼트, 조명 효과 변환, 노이즈 효과 적용 중 적어로 하나를 이용하여 학습용 제품 영상을 확장하는 것을 특징으로 하는 품질 검사 방법.
  4. 청구항 1에 있어서,
    제품을 촬영하는 단계;
    촬영된 제품 영상에서 관심 영역을 추출하는 단계;를 더 포함하고,
    판정 단계는,
    추출된 관심 영역에서의 결함을 확인하여, 제품을 양품 또는 불량품으로 판정하는 것을 특징으로 하는 품질 검사 방법.
  5. 청구항 4에 있어서,
    판정 단계는,
    학습용 제품 영상들 중 추출된 관심 영역과 가장 근접한 학습용 제품 영상의 분류 번호 및 확률 값을 판정 결과로 출력하는 것을 특징으로 하는 품질 검사 방법.
  6. 청구항 4에 있어서,
    잘못된 판정이 이루어진 제품 영상들을 수집하여, 분류기를 재학습시키는 단계;를 더 포함하는 것을 특징으로 하는 품질 검사 방법.
  7. 청구항 6에 있어서,
    재학습 단계는,
    원격의 서버에 의해 수행되는 것을 특징으로 하는 품질 검사 방법.
  8. 학습용 제품 영상을 생성하는 카메라;
    생성된 학습용 제품 영상으로 양품과 불량품을 구분하기 위한 분류기를 학습시키고, 학습된 분류기를 이용하여 제품을 양품 또는 불량품으로 판정하는 프로세서;를 포함하는 것을 특징으로 하는 품질 검사 시스템.
PCT/KR2017/013922 2017-11-30 2017-11-30 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템 WO2019107614A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170162907A KR20190063839A (ko) 2017-11-30 2017-11-30 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
KR10-2017-0162907 2017-11-30

Publications (1)

Publication Number Publication Date
WO2019107614A1 true WO2019107614A1 (ko) 2019-06-06

Family

ID=66664462

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/013922 WO2019107614A1 (ko) 2017-11-30 2017-11-30 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR20190063839A (ko)
WO (1) WO2019107614A1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111912759A (zh) * 2020-07-15 2020-11-10 天津日博工业技术有限公司 一种防水透气膜的透气量测试方法
WO2021095991A1 (ko) * 2019-11-12 2021-05-20 라온피플 주식회사 불량 이미지 생성 장치 및 방법
CN113111946A (zh) * 2021-04-15 2021-07-13 宁波九纵智能科技有限公司 一种集手眼脑于一体的品质管控方法及其系统
US20210224994A1 (en) * 2018-09-19 2021-07-22 Edwards Lifesciences Corporation Medical implant inspection using imaging
US20210232104A1 (en) * 2018-04-27 2021-07-29 Joint Stock Company "Rotec" Method and system for identifying and forecasting the development of faults in equipment
KR102298708B1 (ko) * 2020-06-15 2021-09-07 한국생산기술연구원 검사 대상에 존재하는 결함을 검사하는 방법 및 이를 수행하는 장치들
CN113632140A (zh) * 2019-06-17 2021-11-09 乐人株式会社 用于产品检验的自动学习方法及系统
CN114113119A (zh) * 2021-12-03 2022-03-01 浙江伟星实业发展股份有限公司 基于缺陷等级的产品视觉质检方法、系统、设备及介质
US20220189002A1 (en) * 2020-12-15 2022-06-16 Hyundai Mobis Co., Ltd. Method and system for defect inspection based on deep learning

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220050083A (ko) 2019-08-19 2022-04-22 엘지전자 주식회사 제품 생산 라인 상의 비전 검사를 위한 ai 기반의 신규 학습 모델 생성 시스템
CN113906451A (zh) 2019-08-19 2022-01-07 Lg电子株式会社 基于ai的预训练模型决定系统及利用该系统的用于产品生产线的基于ai的视觉检查管理系统
KR20210031569A (ko) * 2019-09-11 2021-03-22 (주) 넥스트랩 제품 품질 관리 시스템 및 방법
KR102108956B1 (ko) 2019-11-13 2020-05-12 주식회사 만컴퍼니 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
KR20210071882A (ko) 2019-12-06 2021-06-16 주식회사 아이디알인비전 자동차 볼조인트 부품 제조공정에서 제품불량 모니터링 방법
KR102486230B1 (ko) * 2020-03-20 2023-01-10 라온피플 주식회사 딥러닝을 이용한 신규 제품의 품질 검사 방법 및 시스템
KR102323607B1 (ko) * 2020-05-19 2021-11-08 부산대학교 산학협력단 아노말리 영상 검사 방법 및 아노말리 영상 검사 장치
KR20220038858A (ko) 2020-09-21 2022-03-29 주식회사 스프링클라우드 가공된 자율주행 시나리오 데이터의 딥러닝 기반 불량 데이터 검출 장치 및 방법
KR102579783B1 (ko) 2020-09-28 2023-09-18 (주)미래융합정보기술 제품 결함 이미지 원격 학습을 통한 비전 검사 시스템
WO2022097775A1 (ko) * 2020-11-05 2022-05-12 위즈코어 주식회사 5g 기반 생산, 물류 관리 및 클라우드향 머신 비전 서비스 제공 방법
KR102558404B1 (ko) * 2020-11-13 2023-07-24 주식회사 트윔 비정형적 외형을 갖는 제품의 불량을 검사하는 장치
KR102542505B1 (ko) * 2020-11-17 2023-06-13 (주)자비스 학습데이터 생성 방법, 장치, 프로그램 및 이를 이용한 이물질 검출 방법
KR102362615B1 (ko) * 2020-11-27 2022-02-15 (주)리눅스아이티 Ａｉ 기반의 비전 검사를 지원하는 ｐｌｃ 시스템 및 그 제어방법
KR102613465B1 (ko) 2020-12-17 2023-12-13 연세대학교 산학협력단 다중 카메라 기반 순차적 머신 비전을 통한 공병 분류 및 물량 산출 방법 및 장치
KR20220105689A (ko) * 2021-01-20 2022-07-28 주식회사 솔루션에이 머신러닝 모델에 기반한 디스플레이 패널의 결함 판정 시스템
KR20220118140A (ko) 2021-02-18 2022-08-25 (주)라임 딥러닝 기반 사출물 품질 검사 시스템
KR20220132220A (ko) 2021-03-23 2022-09-30 정원기계 (주) 기어류 부품 실시간 비전검사장치
KR20220161601A (ko) * 2021-05-27 2022-12-07 주식회사 솔루션에이 딥러닝 모델을 이용한 영상검사 대상체의 결함 판정시스템
KR102358948B1 (ko) * 2021-08-18 2022-02-08 (주)썬컴퍼니 Ai 기반으로 포장용 종이 상자 제조를 위한 자동화 시스템
KR102402685B1 (ko) * 2021-08-31 2022-05-26 오성컨버전스 주식회사 IoT 기반 서비스를 제공하는 박스제조 방법
KR102602167B1 (ko) * 2021-11-05 2023-11-13 한국기술교육대학교 산학협력단 딥러닝 기반의 mlcc 적층 얼라인먼트 검사 시스템 및 방법
KR102527061B1 (ko) 2021-11-15 2023-04-28 (주)미래융합정보기술 Mes와 연동된 스마트 공장 제조 지능 서비스 시스템
KR20230115024A (ko) 2022-01-26 2023-08-02 부경대학교 산학협력단 비정형 결함 검출을 위한 cnn 기반 머신 비전 시스템 및 이의 제어 방법
KR102541166B1 (ko) 2022-10-31 2023-06-14 주식회사 인터엑스 로봇을 활용한 ai비전 검사 시스템
KR102660626B1 (ko) * 2023-11-07 2024-04-25 주식회사 파인더아이 현장 검증이 가능한 ai 기반 비전 검사 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005156334A (ja) * 2003-11-25 2005-06-16 Nec Tohoku Sangyo System Kk 疑似不良画像自動作成装置及び画像検査装置
KR100786823B1 (ko) * 2005-12-30 2007-12-20 한이진 도계 공정에서 품질 검사 시스템 및 그 방법
KR20100088410A (ko) * 2009-01-30 2010-08-09 (주) 티아이에스 에이치티엠 기반의 지능형 품질판단 시스템
KR20160105082A (ko) * 2015-02-27 2016-09-06 삼성전기주식회사 기판 검사 장치 및 그 검사 방법
KR101688458B1 (ko) * 2016-04-27 2016-12-23 디아이티 주식회사 깊은 신경망 학습 방법을 이용한 제조품용 영상 검사 장치 및 이를 이용한 제조품용 영상 검사 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005156334A (ja) * 2003-11-25 2005-06-16 Nec Tohoku Sangyo System Kk 疑似不良画像自動作成装置及び画像検査装置
KR100786823B1 (ko) * 2005-12-30 2007-12-20 한이진 도계 공정에서 품질 검사 시스템 및 그 방법
KR20100088410A (ko) * 2009-01-30 2010-08-09 (주) 티아이에스 에이치티엠 기반의 지능형 품질판단 시스템
KR20160105082A (ko) * 2015-02-27 2016-09-06 삼성전기주식회사 기판 검사 장치 및 그 검사 방법
KR101688458B1 (ko) * 2016-04-27 2016-12-23 디아이티 주식회사 깊은 신경망 학습 방법을 이용한 제조품용 영상 검사 장치 및 이를 이용한 제조품용 영상 검사 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210232104A1 (en) * 2018-04-27 2021-07-29 Joint Stock Company "Rotec" Method and system for identifying and forecasting the development of faults in equipment
US20210224994A1 (en) * 2018-09-19 2021-07-22 Edwards Lifesciences Corporation Medical implant inspection using imaging
US11941810B2 (en) * 2018-09-19 2024-03-26 Edwards Lifesciences Corporation Medical implant inspection using imaging
CN113632140A (zh) * 2019-06-17 2021-11-09 乐人株式会社 用于产品检验的自动学习方法及系统
WO2021095991A1 (ko) * 2019-11-12 2021-05-20 라온피플 주식회사 불량 이미지 생성 장치 및 방법
KR102298708B1 (ko) * 2020-06-15 2021-09-07 한국생산기술연구원 검사 대상에 존재하는 결함을 검사하는 방법 및 이를 수행하는 장치들
CN111912759A (zh) * 2020-07-15 2020-11-10 天津日博工业技术有限公司 一种防水透气膜的透气量测试方法
US20220189002A1 (en) * 2020-12-15 2022-06-16 Hyundai Mobis Co., Ltd. Method and system for defect inspection based on deep learning
CN113111946A (zh) * 2021-04-15 2021-07-13 宁波九纵智能科技有限公司 一种集手眼脑于一体的品质管控方法及其系统
CN114113119A (zh) * 2021-12-03 2022-03-01 浙江伟星实业发展股份有限公司 基于缺陷等级的产品视觉质检方法、系统、设备及介质

Also Published As

Publication number Publication date
KR20190063839A (ko) 2019-06-10

Similar Documents

Publication Publication Date Title
WO2019107614A1 (ko) 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
Li et al. An AR-assisted deep learning-based approach for automatic inspection of aviation connectors
CN109919934B (zh) 一种基于多源域深度迁移学习的液晶面板缺陷检测方法
WO2022055099A1 (ko) 이상 탐지 방법 및 이를 위한 장치
WO2020032506A1 (ko) 시각 감지 시스템 및 이를 이용한 시각 감지 방법
CN114998234A (zh) 一种基于数据增强策略的自监督弹簧缺陷检测方法
WO2017204519A2 (ko) 데이터 밸런싱을 통한 학습기반의 비전검사 방법 및 이를 이용한 데이터 밸런싱을 통한 학습기반의 비전검사 장치
CN113516146A (zh) 一种数据分类方法、计算机及可读存储介质
KR20210122429A (ko) 영상 딥러닝을 이용한 ai 기반 화장품 용기 인쇄 제조 공정에서의 자동 결함 탐지 방법 및 시스템
WO2021235682A1 (en) Method and device for performing behavior prediction by using explainable self-focused attention
CN114663382A (zh) 基于YOLOv5卷积神经网络的电子元器件表面缺陷检测方法
Khare et al. PCB-Fire: Automated Classification and Fault Detection in PCB
CN110817674B (zh) 一种扶梯的缺级检测方法、装置、设备及存储介质
US11978189B2 (en) Defect detection method and apparatus
WO2023113274A1 (ko) Ai 기반 제품 표면 검사 장치 및 방법
CN113420839B (zh) 用于堆叠平面目标物体的半自动标注方法及分割定位系统
CN115937555A (zh) 一种基于标准化流模型的工业缺陷检测算法
JP2020107104A (ja) 画像判定装置、画像判定方法及び画像判定プログラム
Klusek et al. Supporting the Process of Sewer Pipes Inspection Using Machine Learning on Embedded Devices
CN112801071B (zh) 一种基于深度学习的电梯非同步开门识别系统及方法
CN115330688A (zh) 一种考虑标签不确定性的图像异常检测方法
CN114638989A (zh) 一种基于目标检测和细粒度识别的故障分类可视化方法
JP2021072106A (ja) イメージ処理システム
CN112967292A (zh) 一种针对电商产品的自动抠图与评分方法及系统
CN114692887A (zh) 半监督学习系统及半监督学习方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17933272

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17933272

Country of ref document: EP

Kind code of ref document: A1