KR102579226B1 - Machine vision inspection system for non-circular container production process using deep learning - Google Patents
Machine vision inspection system for non-circular container production process using deep learning Download PDFInfo
- Publication number
- KR102579226B1 KR102579226B1 KR1020220016284A KR20220016284A KR102579226B1 KR 102579226 B1 KR102579226 B1 KR 102579226B1 KR 1020220016284 A KR1020220016284 A KR 1020220016284A KR 20220016284 A KR20220016284 A KR 20220016284A KR 102579226 B1 KR102579226 B1 KR 102579226B1
- Authority
- KR
- South Korea
- Prior art keywords
- learning
- deep learning
- machine vision
- inspection
- circular
- Prior art date
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 113
- 238000013135 deep learning Methods 0.000 title claims abstract description 93
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 52
- 239000011521 glass Substances 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims abstract description 34
- 230000002950 deficient Effects 0.000 claims abstract description 31
- 238000005259 measurement Methods 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000010276 construction Methods 0.000 claims abstract description 11
- 238000002372 labelling Methods 0.000 claims abstract description 10
- 238000004891 communication Methods 0.000 claims description 5
- 230000000644 propagated effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 40
- 230000006870 function Effects 0.000 description 16
- 230000004913 activation Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 238000011179 visual inspection Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 239000000872 buffer Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000009413 insulation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010292 electrical insulation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000008672 reprogramming Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
본 발명은 머신비전 검사 시스템에 관한 것으로, 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템에 관한 것이다. 본 발명에 따른 시스템은 카메라를 통해 비원형 유리병의 양품/불량 이미지를 촬영하여 검사하기 위한 머신비전 검사기, 양품 영상과 불량 영상을 라벨링하여 학습 데이터를 구축하는 학습 데이터 구축부, 카메라를 이용한 영상획득, 측정위치 검출, 딥러닝을 활용한 비원형 유리병의 이미지 학습 또는 분류과정을 수행하는 학습부 및 영상이 입력되면 학습 데이터와 비교하여 비원형 유리병의 양품 불량 판정을 제어하는 제어부를 포함하여 관심 영역을 정밀하게 설정하고 딥러닝으로 해당 영역을 검사하는 효과가 있다.The present invention relates to a machine vision inspection system for a non-circular container production process using deep learning. The system according to the present invention includes a machine vision inspection device for capturing and inspecting good/defective images of non-circular glass bottles through a camera, a learning data construction unit for constructing learning data by labeling good and defective images, and an image using a camera. It includes a learning unit that performs image learning or classification processes for non-circular glass bottles using acquisition, measurement position detection, and deep learning, and a control unit that controls the judgment of non-circular glass bottles as defective by comparing them with the learning data when the image is input. This has the effect of precisely setting the area of interest and inspecting the area using deep learning.
Description
본 발명은 머신비전 검사 시스템에 관한 것으로, 보다 상세하게는 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템에 관한 것이다.The present invention relates to a machine vision inspection system, and more specifically, to a machine vision inspection system for a non-circular container production process using deep learning.
기존 알고리즘으로 프로그래밍하기에 너무 복잡하거나, 시간과 비용이 많이 소모되는 제조 검사의 해결방안으로 딥러닝 기술을 도입하는 기업들이 늘어나고 있으며, 프로그래밍이 불가능했던 애플리케이션의 자동화를 가능하게 한다.An increasing number of companies are introducing deep learning technology as a solution to manufacturing inspection that is too complex or time-consuming and costly to program with existing algorithms, and enables the automation of applications that were previously impossible to program.
기존의 비원형 유리병 검사의 방법에는 작업자의 눈과 판단으로 검사를 수행한다. 이에 따른 대표적인 문제점은 아래와 같다.In the existing non-circular glass bottle inspection method, inspection is performed using the operator's eyes and judgment. The representative problems resulting from this are as follows.
제조 공정 불량에 따른 비원형 유리병 제조사가 납품처로 부터 클레임을 횟수 증가, 제약회사에서는 자동화 시스템에 의한 검사를 통하여 믿을 수 있는 제품을 납품 받기를 원한다.The number of claims from suppliers to manufacturers of non-circular glass bottles due to defective manufacturing processes is increasing, and pharmaceutical companies want to receive reliable products through inspection by automated systems.
검사 수작업으로 인한 유리 깨진 파편이 발견되는 등에 작업자 노출 및 작업자 육안으로 검사하므로 측정오차, 피로감 등으로 인한 불량 미검출 요인이 발생한다.Because broken glass fragments are found due to manual inspection, worker exposure and visual inspection are performed, factors such as measurement error and fatigue cause defects not to be detected.
생산량 증가에 따른 고용 인원 부족, 이에 따른 품질수준 및 생산성에 대한 기업 경쟁력 부족이 발생한다.As production increases, there is a shortage of employees, resulting in a lack of corporate competitiveness in quality level and productivity.
본 발명은 상술한 문제를 해결하고자 고안한 것으로, 제조현장에서 생산되는 다양한 제품들의 검사를 수행함에 있어서 사람의 육안검사나 머신비전 검사의 장점을 극대화하고 기존 머신비전의 한계를 극복하기 위하여 검사기 하드웨어와 소프트웨어를 이용하여 육안 검사로 인한 불량 유출을 방지하고 자동으로 양품/불량을 판정할 수 있도록 하는 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템을 제공함에 목적이 있다.The present invention was designed to solve the above-mentioned problems. In order to maximize the advantages of human visual inspection and machine vision inspection in performing inspection of various products produced at manufacturing sites, and to overcome the limitations of existing machine vision, inspection hardware is used. The purpose is to provide a machine vision inspection system for the non-circular container production process using deep learning that prevents leakage of defects due to visual inspection and automatically determines good/defective products using and software.
본 발명에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템은 카메라를 통해 비원형 유리병의 양품/불량 이미지를 촬영하여 검사하기 위한 머신비전 검사기(100), 상기 머신비전 검사기를 통한 양품 영상과 불량 영상을 라벨링하여 학습 데이터를 구축하는 학습 데이터 구축부(200), 상기 카메라를 이용한 영상획득, 측정위치 검출, 딥러닝을 활용한 비원형 유리병의 이미지 학습 또는 분류과정을 수행하는 학습부(300) 및 상기 카메라를 통해 영상이 입력되면 상기 학습 데이터와 비교하여 비원형 유리병의 양품 불량 판정을 제어하는 제어부(400)를 포함한다.The machine vision inspection system for the non-circular container production process using deep learning according to the present invention includes a machine vision inspection device 100 for capturing and inspecting good/defective images of non-circular glass bottles through a camera, and the machine vision inspection device. A learning data construction unit 200 that builds learning data by labeling good and defective images through the camera, acquires images using the camera, detects the measurement position, and performs an image learning or classification process of a non-circular glass bottle using deep learning. It includes a learning unit 300 that inputs an image through the camera and a control unit 400 that compares it with the learning data and controls the judgment of a non-circular glass bottle as good or defective.
상기 학습부는 카메라를 이용한 영상획득, 측정위치 검출, 딥러닝을 활용한 비원형 유리병 학습을 수행하는 학습과정 및 카메라를 이용한 영상획득, 측정위치 검출, 딥러닝을 활용한 비원형 유리병 분류를 수행하는 인식과정을 포함한다.The learning unit performs a learning process that performs image acquisition using a camera, measurement position detection, and learning of non-circular glass bottles using deep learning, and image acquisition using a camera, measurement position detection, and non-circular glass bottle classification using deep learning. It includes the cognitive process that is performed.
상기 머신비전 검사기는 BLU LED 조명을 사용하여 한방향의 각도로 애리어 카메라를 통해 비원형 유리병의 양품/불량 이미지를 1600 x 1200 해상도로 촬영한다.The machine vision inspector uses BLU LED lighting to capture good/defective images of non-circular glass bottles at a resolution of 1600 x 1200 through an area camera at an angle in one direction.
상기 학습 데이터 구축부는 양품 영상에는 1로 라벨링을 하고, 불량품 영상에는 0으로 라벨링을 하여 학습 데이터를 구축한다.The learning data construction unit constructs learning data by labeling images of good products as 1 and images of defective products as 0.
상기 머신비전 검사기는 외부 검사 스위치에 의해 딥러닝 기반 검사 시작 명령을 전송하는 검사 동작부, 검사 DB 설정 및 검사의 영역을 설정하는 스펙 설정부 및 딥러닝 기반 검사를 수행하는 검사 소프트웨어와 임베디드 제어보드 간의 통신 속도 및 검사 환경을 셋팅하는 장비 설정부를 구비하는 검사 소프트웨어를 포함한다.The machine vision inspector includes an inspection operation unit that transmits a deep learning-based inspection start command by an external inspection switch, a specification setting unit that sets the inspection DB setting and inspection area, inspection software that performs deep learning-based inspection, and an embedded control board. It includes inspection software that has an equipment setting section that sets the communication speed and inspection environment.
본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템은 관심 영역을 정밀하게 설정하고 딥러닝으로 해당 영역을 검사, 다음 딥러닝 기반 검사 결과를 기존 비전에 다시 전달하여 결함의 크기와 모양을 정확하게 측정함에 따라 불량품에 대한 빈도가 감소하는 효과가 있다.The machine vision inspection system for the non-circular container production process using deep learning according to an embodiment of the present invention precisely sets the area of interest, inspects the area using deep learning, and then re-enters the deep learning-based inspection results into the existing vision. This has the effect of reducing the frequency of defective products by accurately measuring the size and shape of defects.
또한 딥러닝 기술은 규칙 기반 방식을 보완하며, 비전 전문성이 요구되었던 기존의 애플리케이션을 비전 전문가 없이도 해결할 수 있다.In addition, deep learning technology complements rule-based methods, and existing applications that required vision expertise can be solved without the need for vision experts.
또한 작업자를 배제하고는 시도된 적이 없는 애플리케이션을 해결하기 위한 새로운 가능성을 열어줌에 따라 생산라인의 인력 애로에 따른 문제가 해결된다.Additionally, by opening up new possibilities for solving applications that have never been attempted without workers, problems caused by manpower difficulties on the production line are resolved.
또한 딥러닝은 머신비전을 더 쉽게 사용할 수 있게 해주며 컴퓨터와 카메라로 정확히 검사할 수 있는 범위를 넓힐 것으로 기대할 수 있다.Deep learning also makes machine vision easier to use and can be expected to expand the range of accurate inspections that can be performed with computers and cameras.
또한 기존 알고리즘으로 프로그래밍하기에 너무 복잡하거나, 시간과 비용이 많이 소모되는 제조 검사의 해결방안으로 딥러닝 기술을 도입하는 기업들이 늘어나고 있으며, 프로그래밍이 불가능했던 애플리케이션의 자동화를 가능하게 하고, 검사 시간을 단축시킬 것으로 기대할 수 있다.In addition, an increasing number of companies are introducing deep learning technology as a solution to manufacturing inspection that is too complicated or time-consuming and costly to program with existing algorithms. It enables automation of applications that were previously impossible to program and reduces inspection time. It can be expected to be shortened.
그리고 제조업체는 기존 머신비전 애플리케이션으로는 해결하기 어려웠던 문제들을 더욱 강력하고 안정적인 방식으로 해결할 수 있는 가능성을 얻게 될 것으로 기대할 수 있다.And manufacturers can expect to gain the possibility to solve problems that were difficult to solve with existing machine vision applications in a more powerful and reliable way.
도 1은 본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 동작을 설명하기 위한 도면이다.
도 3 내지 도 18은 본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 머신비전 검사기 하드웨어의 기구물 구성을 설명하기 위한 도면이다.
도 19는 본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 구조도이다.
도 20은 본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 구현을 나타낸 도면이다.
도 21은 본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 제어 GUI를 나타낸 도면이다.
도 22는 본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 양품 이미지와 불량 이미지에 대한 DB 구축을 설명하기 위한 도면이다.
도 23은 본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 딥러닝을 이용한 비원형 유리병 학습 및 인식 구조를 설명하기 위한 도면이다.
도 24 내지 도 37은 본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 영상 획득과정을 설명하기 위한 도면이다.
도 38 내지 도 40은 본 발명의 일 실시예에 따른 시스템의 딥러닝 기반의 검사 소프트웨어를 설명하기 위한 도면이다.Figure 1 is a diagram showing the configuration of a machine vision inspection system for a non-circular container production process using deep learning according to an embodiment of the present invention.
Figure 2 is a diagram for explaining the operation of a machine vision inspection system for a non-circular container production process using deep learning according to an embodiment of the present invention.
3 to 18 are diagrams for explaining the structure of the machine vision inspection hardware of the machine vision inspection system for the non-circular container production process using deep learning according to an embodiment of the present invention.
Figure 19 is a structural diagram of a machine vision inspection system for a non-circular container production process using deep learning according to an embodiment of the present invention.
Figure 20 is a diagram showing the implementation of a machine vision inspection system for a non-circular container production process using deep learning according to an embodiment of the present invention.
Figure 21 is a diagram showing a control GUI of a machine vision inspection system for a non-circular container production process using deep learning according to an embodiment of the present invention.
Figure 22 is a diagram illustrating the construction of a database for good and defective images of a machine vision inspection system for a non-circular container production process using deep learning according to an embodiment of the present invention.
Figure 23 is a diagram illustrating a non-circular glass bottle learning and recognition structure using deep learning of a machine vision inspection system for a non-circular container production process using deep learning according to an embodiment of the present invention.
Figures 24 to 37 are diagrams for explaining the image acquisition process of the machine vision inspection system for the non-circular container production process using deep learning according to an embodiment of the present invention.
Figures 38 to 40 are diagrams for explaining deep learning-based inspection software of a system according to an embodiment of the present invention.
본 발명의 실시예에서 제시되는 특정한 구조 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있다. 또한, 본 명세서에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 되며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경물, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The specific structural or functional descriptions presented in the embodiments of the present invention are merely illustrative for the purpose of explaining the embodiments according to the concept of the present invention, and the embodiments according to the concept of the present invention may be implemented in various forms. In addition, it should not be construed as being limited to the embodiments described in this specification, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention.
한편, 본 발명에서 제1 및/또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소들과 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않는 범위 내에서, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Meanwhile, in the present invention, terms such as first and/or second may be used to describe various components, but the components are not limited to the above terms. The above terms are used only for the purpose of distinguishing one component from other components, for example, without departing from the scope of rights according to the concept of the present invention, a first component may be named a second component, Similarly, the second component may also be referred to as the first component.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다. 본 발명의 실시예를 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 설명을 생략하였다.Hereinafter, embodiments of the present invention will be described with reference to the attached drawings. In describing embodiments of the present invention, if a description of a related known function or configuration is judged to unnecessarily obscure the gist of the present invention, the description is omitted.
우선, 본 발명에서 제안하는 시스템은 검사기 하드웨어 구성, 양품 및 불량 사진을 획득 및 분류하여 DB 구축, 딥러닝을 이용한 비원형 유리병 학습 및 인식 구조 개발, 딥러닝 기반의 검사 소프트웨어 개발 등의 4가지 과정으로 이루어진다.First, the system proposed in the present invention has four components, including inspection hardware configuration, acquisition and classification of photos of good and defective products to build a database, development of a non-circular glass bottle learning and recognition structure using deep learning, and development of deep learning-based inspection software. It is done through a process.
검사기 하드웨어는 머신비전 검사를 위한 검사기 하드웨어와 비원형 유리병의 영상을 획득을 위한 모터, LED, 카메라, 스위치 등을 제어하는 역할을 하는 제어보드로 구성된다.The inspection device hardware consists of inspection device hardware for machine vision inspection and a control board that controls motors, LEDs, cameras, and switches to acquire images of non-circular glass bottles.
양품 및 불량 사진을 획득 및 분류하여 DB 구축하는 과정은 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템을 통해 얻은 양품/불량 사진을 지정된 영역만 검출한 후 DB를 구축한다.The process of acquiring and classifying photos of good and defective products and building a DB involves detecting only designated areas of photos of good and defective products obtained through a machine vision inspection system for the non-circular container production process using deep learning and then building a DB.
딥러닝을 이용한 비원형 유리병 학습 및 인식 구조 개발 과정은 학습과정과 인식과정으로 구성된다. 학습과정에서는 카메라를 이용한 영상획득, 측정위치 검출, 딥러닝을 활용한 비원형 유리병 학습 등을 수행한다. 인식과정에서는 카메라를 이용한 영상획득, 측정위치 검출, 딥러닝을 활용한 비원형 유리병 분류 등을 수행한다.The process of developing a non-circular glass bottle learning and recognition structure using deep learning consists of a learning process and a recognition process. In the learning process, image acquisition using a camera, measurement position detection, and learning of non-circular glass bottles using deep learning are performed. In the recognition process, image acquisition using a camera, measurement position detection, and non-circular glass bottle classification using deep learning are performed.
딥러닝 기반의 머신비전 검사기의 검사 소프트웨어는 검사 동작부, 스펙 설정부, 장비 설정부로 나뉘어 진다. 검사 동작부는 외부 검사 스위치에 의해 딥러닝 기반 검사 시작 명령을 전송한다. 또한, 스펙 설정부는 검사 DB 설정 및 검사의 영역을 설정한다. 마지막으로 장비 설정부는 딥러닝 기반 검사를 수행하는 검사 소프트웨어와 임베디드 제어보드 간의 통신 속도 및 검사 환경을 셋팅한다.The inspection software of a deep learning-based machine vision inspector is divided into an inspection operation section, a specification setting section, and an equipment setting section. The inspection operation unit transmits a deep learning-based inspection start command by an external inspection switch. Additionally, the specification setting unit sets the inspection DB settings and inspection area. Lastly, the equipment settings section sets the communication speed and inspection environment between the inspection software that performs deep learning-based inspection and the embedded control board.
본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템은 성공적인 딥러닝 솔류션을 활용하여 기업으로 하여금 비용 절감, 처리 수준 향상을 실현할 수 있고 자체 생산 공정을 보다 잘 이해할 수 있게 한다. 도입 초기에는 소프트웨어 및 하드웨어 비용, 엔지니어링 인력의 개발 비용, 데이터 입력 수집에 소요되는 시간 등을 포함한 구현과 관련된 직접 비용이 존재하지만 딥러닝을 성공적으로 구현할 경우 비용 절감 및 비효율적인 내부 프로세스 개선을 실현할 수 있으며, 규칙 기반 비전 도구로 불가능한 복잡한 검사 애플리케이션을 자동화하며 생산량 향상을 실현할 수 있다. 딥러닝 기반 이미지 분석은 육안 검사의 정교함과 유연성에 컴퓨터 시스템의 신뢰성, 일관성, 속도를 결합시키기 때문에, 기존 머신러닝의 접근방식으로는 유지관리가 거의 불가능한 까다로운 비전 애플리케이션을 해결할 수 있다. 또한 딥러닝 모델은 허용 범위를 초과하는 실제 결함을 검출하는 동시에 변형이 많은 복잡한 패턴도 학습을 통해 찾아낼 수 있으며, 코어 알고리즘을 다시 프로그래밍하지 않고도 새로운 예시에 맞게 바로 조정할 수 있다. The machine vision inspection system for the non-circular container production process using deep learning according to an embodiment of the present invention can utilize a successful deep learning solution to enable companies to reduce costs, improve processing levels, and improve their own production processes. Make it understandable. Initially, there are direct costs associated with implementation, including software and hardware costs, development costs for engineering personnel, and time required to collect data input, but if deep learning is successfully implemented, cost savings and inefficient internal process improvement can be realized. It can automate complex inspection applications that are impossible with rule-based vision tools and improve production volume. Because deep learning-based image analysis combines the sophistication and flexibility of visual inspection with the reliability, consistency, and speed of computer systems, it can solve challenging vision applications that are nearly impossible to maintain with traditional machine learning approaches. In addition, deep learning models can detect actual defects that exceed the allowable range while also finding complex patterns with many variations through learning, and can be immediately adjusted to new examples without reprogramming the core algorithm.
따라서 본 발명에서는 이러한 문제를 해결하기 위해 제조현장에서 생산되는 다양한 제품들의 검사를 사람의 육안검사나 머신비전 검사의 장점을 극대화하고 기존 머신비전의 한계를 극복하기 위하여 검사기 하드웨어와 소프트웨어를 이용하여 육안 검사로 인한 불량 유출을 방지하고 자동으로 양품/불량을 판정할 수 있다.Therefore, in order to solve this problem, the present invention maximizes the advantages of human visual inspection or machine vision inspection of various products produced at manufacturing sites and uses inspection hardware and software to overcome the limitations of existing machine vision. It prevents leakage of defects due to inspection and automatically determines good/defective products.
도 1은 본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 구성을 나타낸 도면이다. 도 1에 도시된 바와 같이, 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템은 머신비전 검사기(100), 학습 데이터 구축부(200), 학습부(300), 제어부(400)를 포함한다.Figure 1 is a diagram showing the configuration of a machine vision inspection system for a non-circular container production process using deep learning according to an embodiment of the present invention. As shown in Figure 1, the machine vision inspection system for the non-circular container production process using deep learning includes a machine vision inspector 100, a learning data construction unit 200, a learning unit 300, and a control unit 400. Includes.
머신비전 검사기(100)는 카메라를 통해 비원형 유리병의 양품/불량 이미지를 촬영하여 검사하기 위한 구성이다.The machine vision inspection device 100 is configured to capture and inspect good/defective images of non-circular glass bottles through a camera.
학습 데이터 구축부(200)는 머신비전 검사기를 통한 양품 영상과 불량 영상을 라벨링하여 학습 데이터를 구축한다.The learning data construction unit 200 constructs learning data by labeling good and defective images using a machine vision inspector.
학습부(300)는 카메라를 이용한 영상획득, 측정위치 검출, 딥러닝을 활용한 비원형 유리병의 이미지 학습 또는 분류과정을 수행한다.The learning unit 300 performs image acquisition using a camera, measurement position detection, and image learning or classification of a non-circular glass bottle using deep learning.
제어부(400)는 카메라를 통해 영상이 입력되면 상기 학습 데이터와 비교하여 비원형 유리병의 양품 불량 판정을 디스플레이 제어한다.When an image is input through a camera, the control unit 400 compares it with the learning data and controls the display to determine whether a non-circular glass bottle is good or bad.
도 2는 본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 동작을 설명하기 위한 도면이다. 도 2에 도시된 바와 같이, 첫 번째로, 머신비전 검사기의 검사대에 비원형 유리병을 놓는다. 두 번째로, 작동 버튼을 누르면 BLU LED 조명을 사용하여 한방향의 각도로 애리어 카메라를 통해 비원형 유리병의 양품/불량 이미지를 1600 x 1200 해상도로 촬영하여 양품 영상에는 1로 라벨링을 하고, 불량품 영상에는 0으로 라벨링을 하여 학습 데이터를 구축한다. 세 번째로, 구축된 학습 데이터를 본 발명에서 개발한 딥러닝을 이용하여 이미지들을 학습시킨다. 네 번째로, 학습이 완료된 후에 카메라를 통해 실시간 영상이 입력되면 딥러닝 기반의 검사 소프트웨어를 통하여 학습된 이미지와 비교하여 현재 촬영된 비원형 유리병의 양품 불량 판정을 디스플레이하도록 제어한다. Figure 2 is a diagram for explaining the operation of a machine vision inspection system for a non-circular container production process using deep learning according to an embodiment of the present invention. As shown in Figure 2, first, a non-circular glass bottle is placed on the inspection table of the machine vision inspection machine. Second, when the operation button is pressed, a good/defective image of a non-circular glass bottle is captured at a resolution of 1600 Training data is constructed by labeling the video with 0. Third, the constructed training data is used to learn images using deep learning developed in the present invention. Fourth, after learning is completed, when real-time images are input through the camera, deep learning-based inspection software is used to compare them with the learned images and control the display to determine whether the non-circular glass bottle currently captured is good or defective.
도 3은 본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 머신비전 검사기 하드웨어의 기구물 구성을 설명하기 위한 도면이다.Figure 3 is a diagram for explaining the structure of the machine vision inspection hardware of the machine vision inspection system for the non-circular container production process using deep learning according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 머신비전 검사기 하드웨어는 카메라(ace classic), 카메라 거치대, 조명(LED), 조명 안착부, 제품 안착부, 모터 드라이브, 제어보드를 포함한다.The machine vision inspector hardware of the machine vision inspection system for the non-circular container production process using deep learning according to an embodiment of the present invention includes a camera (ace classic), camera holder, lighting (LED), lighting mount, and product mount. , motor drive, and control board.
카메라는 ace classic으로 비원형 용기의 영상 데이터 획득에 사용한다. 검사 시작 버튼에 의한 제어보드의 트리거 신호를 받아 1600 x 1200 해상도의 영상 데이터를 Ethenet을 통해 PC로 전송한다.The camera is an ace classic and is used to acquire image data of non-circular containers. It receives a trigger signal from the control board by pressing the test start button and transmits 1600 x 1200 resolution image data to the PC via Ethenet.
도 4는 본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 카메라 거치대를 나타낸 도면이다. 도 4에 도시된 바와 같이, 카메라 거치대는 비원형 유리병의 영상 촬영을 위한 기구 거치대로서, 카메라를 이용한 측정 대상에 대한 방향성을 고려한 기구이다. 카메라를 정면에 위치하게 하고, x,z축으로 변경가능하다.Figure 4 is a diagram showing a camera holder of a machine vision inspection system for a non-circular container production process using deep learning according to an embodiment of the present invention. As shown in Figure 4, the camera holder is an instrument holder for taking images of non-circular glass bottles, and is a device that takes into account the directionality of the measurement object using a camera. The camera is placed in front, and the x and z axes can be changed.
조명은 LED로, 비원형 용기의 영상 촬영을 위한 백라이트 조명이다. 직렬 6배열시 10 ~ 15V 동작이 가능하고, 제어보드에서의 0 ~ 100% 가변 시 밝기 조절이 일정하다.The lighting is LED, which is a backlight for video recording of non-circular containers. When arranged in 6 series, 10 ~ 15V operation is possible, and brightness control is constant when variable from 0 to 100% on the control board.
도 5는 본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 조명 안착부를 나타낸 도면이다. 도 5에 도시된 바와 같이, 조명 안착부는 BLU 보드가 안착되도록 고려한 기구이다. Figure 5 is a diagram showing the lighting installation part of the machine vision inspection system for the non-circular container production process using deep learning according to an embodiment of the present invention. As shown in Figure 5, the lighting mounting unit is a mechanism designed to seat the BLU board.
도 6은 본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 제품 안착부를 나타낸 도면이다. 도 6에 도시된 바와 같이, 제품 안착부는 제품 안착을 위한 원형 기구이다.Figure 6 is a diagram showing the product seating portion of the machine vision inspection system for the non-circular container production process using deep learning according to an embodiment of the present invention. As shown in Figure 6, the product seating portion is a circular mechanism for seating the product.
도 7은 본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 모터 드라이브를 나타낸 도면이다. 도 6에 도시된 바와 같이, 모터 드라이브는 제품 회전을 위한 모터 드라이브 사이즈를 검토하여 회전 각도에 대한 정밀 조작이 있어야 한다. 최고 분할수는 250분할이며, 기본 스텝이 0.72˚ 인 5상 스텝모터는 1펄스가 입력되면 0.00288˚씩 회전하고, 모터를 1회전 시키기 위해서 125,000 펄스가 필요하다.Figure 7 is a diagram showing a motor drive of a machine vision inspection system for a non-circular container production process using deep learning according to an embodiment of the present invention. As shown in Figure 6, the motor drive must have precise manipulation of the rotation angle by examining the motor drive size for product rotation. The maximum number of divisions is 250 divisions, and a 5-phase step motor with a basic step of 0.72˚ rotates by 0.00288˚ when 1 pulse is input, and 125,000 pulses are required to make the motor rotate 1 rotation.
본 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 제어보드는 BLU LED board, 입출력 제어부(IO_CONTROL), MCU 모듈부, 인터페이스를 포함한다.The control board of the machine vision inspection system for the non-circular container production process using deep learning according to this embodiment includes a BLU LED board, an input/output control unit (IO_CONTROL), an MCU module unit, and an interface.
도 8은 본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 BLU LED board를 나타낸 도면이다. BLU LED board는 비전검사를 하기 위한 BLU 역할을 하며 0~100%의 밝기 조절이 가능하다.Figure 8 is a diagram showing the BLU LED board of the machine vision inspection system for the non-circular container production process using deep learning according to an embodiment of the present invention. The BLU LED board serves as a BLU for vision inspection and can adjust brightness from 0 to 100%.
입출력 제어부(IO_CONTROL)는 비전 검사 테스트 지그의 전체적인 제어 기능 수행한다. 도 9는 본 실시예에 따른 입출력 제어부를 나타낸 도면이다.The input/output control unit (IO_CONTROL) performs the overall control function of the vision inspection test jig. Figure 9 is a diagram showing an input/output control unit according to this embodiment.
도 10은 본 실시예에 따른 시스템의 MCU 주변회로를 나타낸 도면이다. 도 11은 본 실시예에 따른 MCU 주변회로 중 USB인터페이스를 나타낸 도면이다. Figure 10 is a diagram showing the MCU peripheral circuit of the system according to this embodiment. Figure 11 is a diagram showing the USB interface among the MCU peripheral circuits according to this embodiment.
MCU 모듈부는 보드 리셋을 위한 리셋 회로를 구성하였으며, MCU 모듈부에 인가되는 전원전압을 안정화하기 위하여 bypass 커패시터를 추가하였다. 보드 동작을 확인하기 위한 확인용 LED를 추가하였다. 본 실시예에 따른 MCU 모듈부를 연결하기 위한 인터페이스를 설계하였다. 도 10의 STM32103C6 MCU는 내부적으로 usb 모듈을 지원하고 있으나 M1에서 제작한 MCU 모듈의 extension IO에는 USB 연결핀을 지원하지 않고 있으므로, 별도의 USB to serial IC를 추가하여 USB 인터페이스를 지원하였다. USB to serial IC는 CP2102N을 사용하였다. CP2102N과 MCU 모듈과의 연결은 UART 인터페이스를 사용하였다. 그리고 ESD 보호를 위하여 SP0504S 소자를 추가하였다.The MCU module part consisted of a reset circuit to reset the board, and a bypass capacitor was added to stabilize the power voltage applied to the MCU module part. A confirmation LED has been added to check board operation. An interface for connecting the MCU module unit according to this embodiment was designed. The STM32103C6 MCU in Figure 10 supports a USB module internally, but the extension IO of the MCU module manufactured by M1 does not support a USB connection pin, so a separate USB to serial IC was added to support the USB interface. USB to serial IC used CP2102N. The connection between CP2102N and the MCU module used the UART interface. And the SP0504S device was added for ESD protection.
도 10에서 나타낸 회로를 설명하면 다음과 같다. The circuit shown in FIG. 10 is explained as follows.
MCU : STM32103C6를 이용한 IN/OUT 설계, ETC : MCU 주변 소자, JTAG : MCU 다운로드 및 디버깅을 위한 회로, Buzzer : 검사 시작을 알리기 위한 사운드 장치, Debug LED : 제어보드의 정상동작 확인용MCU: IN/OUT design using STM32103C6, ETC: MCU peripheral elements, JTAG: Circuit for MCU download and debugging, Buzzer: Sound device to notify test start, Debug LED: To check normal operation of control board
본 실시예에 따른 시스템에서 입출력 제어부(IO_CONTROL)의 출력제어는 스텝모터 드라이브 제어, 카메라 트리거 제어를 수행한다. 이러한 입출력 제어부는 고속 CMOS 로직으로 8개의 버퍼와 라인드라이버, 3-STATE 출력형태를 갖는다. HIGH, LOW, High Impedance. 또한 버퍼에 /OE신호를 이용하여 출력 차단이 가능하다. 도 12의 회로는 3.3V의 Micom 신호를 24V로 변환하는 레벨 증폭 회로이다. 도 12는 본 실시예에 따른 입출력 제어부의 레벨증폭 회로를 나타낸 도면이다. In the system according to this embodiment, the output control of the input/output control unit (IO_CONTROL) performs step motor drive control and camera trigger control. This input/output control unit uses high-speed CMOS logic and has 8 buffers, line drivers, and 3-STATE output format. HIGH, LOW, High Impedance. Additionally, the output can be blocked using the /OE signal in the buffer. The circuit in Figure 12 is a level amplification circuit that converts a 3.3V Micom signal to 24V. Figure 12 is a diagram showing the level amplification circuit of the input/output control unit according to this embodiment.
도 13은 본 실시예에 따른 시스템에서 입출력 제어부의 제어신호 출력을 나타낸 도면이다. 도 13에 도시된 바와 같이, +24V의 전원을 출력하여 외부 회로를 제어한다. 스텝 모터 드라이브와 카메라의 트리거를 제어한다.Figure 13 is a diagram showing the control signal output of the input/output control unit in the system according to this embodiment. As shown in Figure 13, +24V power is output to control the external circuit. Controls step motor drives and camera triggers.
도 14는 본 실시예에 따른 시스템의 BLU LED board 제어를 위한 CEF540과 동작파형을 나타낸 도면이다. 도 14에 도시된 바와 같이, CEF540(TO220)를 이용한 BLU제어를 수행하여, 0~100%의 밝기를 프로그램적으로 가변할 수 있도록 구성하였다. LED bar를 제어하기 위한 LED Driver를 설계하였다. CEF540(TO220) 특성은 FET를 이용한 대전류 제어 소자, 3.3V 레벨의 MCU 신호가 VGS에 인가되면 드레인(D)과 소스(S)사이가 턴온되면서 Vout에 GND가 연결된다. RL 양단에 VDD가 형성이 되어 LED의 애노드 및 캐소드에 전원이 공급하고, VGS에 입력되는 펄스의 폭의 변화는 거의 없으며, 펄스의 딜레이가 발생한다.Figure 14 is a diagram showing the CEF540 and operating waveforms for controlling the BLU LED board of the system according to this embodiment. As shown in Figure 14, BLU control was performed using CEF540 (TO220), and the brightness was configured to be programmatically variable from 0 to 100%. An LED driver was designed to control the LED bar. The characteristics of the CEF540 (TO220) are that it is a high-current control device using a FET. When a 3.3V level MCU signal is applied to VGS, the drain (D) and source (S) are turned on and GND is connected to Vout. VDD is formed at both ends of RL to supply power to the anode and cathode of the LED. There is almost no change in the width of the pulse input to VGS, and pulse delay occurs.
도 15는 본 실시예에 따른 시스템에서 입출력 제어부(IO_CONTROL)의 PWM출력회로도이다. 도 15에 도시된 바와 같이, 입출력 제어부의 BLU LED board 제어를 위한 PWM출력회로는 Micom-PWM1, Micom-PWM2를 이용한 BLU 제어, 60KHz의 주파수에 0~100%의 듀티를 갖는 파형 통과가 가능하다.Figure 15 is a PWM output circuit diagram of the input/output control unit (IO_CONTROL) in the system according to this embodiment. As shown in Figure 15, the PWM output circuit for controlling the BLU LED board of the input/output control unit is capable of controlling BLU using Micom-PWM1 and Micom-PWM2 and passing waveforms with a duty of 0 to 100% at a frequency of 60 KHz. .
도 16은 본 실시예에 따른 시스템에서 입출력 제어부(IO_CONTROL)의 출력회로 구성을 나타낸 도면이다. 도 16에 도시된 바와 같이, 입출력 제어부(IO_CONTROL)의 출력회로는 2N2222(SOT23)를 이용한 출력 회로 구성으로, 제어보드 내에서 Micom-PWM의 3.3V 신호를 24V로 변환하는 용도로 사용한다. VDD의 입력 전원이 최대 30V까지 가능하여 BLU 제어에 있어 입력전원을 가변하여 밝기를 조절할 수 있다. 도 16의 회로는 3.3V의 Micom 신호를 5V로 변환하는 레벨 시프트 회로이다.Figure 16 is a diagram showing the output circuit configuration of the input/output control unit (IO_CONTROL) in the system according to this embodiment. As shown in Figure 16, the output circuit of the input/output control unit (IO_CONTROL) is an output circuit configuration using 2N2222 (SOT23), and is used to convert the 3.3V signal of Micom-PWM to 24V within the control board. The input power of VDD can be up to 30V, so the brightness can be adjusted by varying the input power in BLU control. The circuit in Figure 16 is a level shift circuit that converts a 3.3V Micom signal to 5V.
도 17은 본 실시예에 따른 시스템에서 입출력 제어부(IO_CONTROL)의 입력제어(입력 스위치 제어)를 설명하기 위한 회로와 동작파형을 나타낸 도면이다. 도 17에 도시된 바와 같이, 입력제어를 위한 TLP185(SMD) 부품은 회전 모터의 원점 및 외부 스위치 입력을 감지하여 통신으로 영상촬영 시작을 알린다. 전기적인 절연기능이 가능한 채로 신호 전달기능, 절연에 따른 외부 노이즈 혼입 방지, GND 전위가 상이한 회로간의 연결, 오픈 컬렉터 형태의 소자이기 때문에 외부 풀업(RL)에 의한 VCE 동작을 한다.Figure 17 is a diagram showing a circuit and operating waveforms for explaining input control (input switch control) of the input/output control unit (IO_CONTROL) in the system according to this embodiment. As shown in Figure 17, the TLP185 (SMD) component for input control detects the origin of the rotation motor and the external switch input and notifies the start of video shooting through communication. While electrical insulation is possible, it has a signal transmission function, prevents external noise from mixing due to insulation, connects circuits with different GND potentials, and because it is an open collector type device, it performs VCE operation by external pull-up (RL).
도 18은 본 실시예에 따른 시스템에서 입출력 제어부(IO_CONTROL)의 입력감지 회로를 나타낸 도면이다. 도 18에 도시된 바와 같이, 입력회로의 구성은 제어보드의 검사 동작 및 기능에 대한 입력 감지, 모터 드라이브의 상태에 대한 입력 감지, 절연에 따른 외부 노이즈 혼입 방지, 외부 입력 감지시 LED를 통한 동작 확인 등을 수행한다.Figure 18 is a diagram showing the input detection circuit of the input/output control unit (IO_CONTROL) in the system according to this embodiment. As shown in Figure 18, the configuration of the input circuit consists of detecting input for the inspection operation and function of the control board, detecting input for the status of the motor drive, preventing external noise from being mixed in due to insulation, and operating through LED when external input is detected. Perform verification, etc.
도 19는 본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 구조도이다. 도 20은 본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 구현을 나타낸 도면이다. 본 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 학습 데이터 구축부는 양품 및 불량 영상을 획득 및 분류하여 DB를 구축한다. 이러한 DB구축에 있어서, 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템은 한방향의 각도로 비형 유리병 영상을 촬영한다. 이때, 촬영에 사용되는 애리어 카메라는 1600 x 1200 해상도이다.Figure 19 is a structural diagram of a machine vision inspection system for a non-circular container production process using deep learning according to an embodiment of the present invention. Figure 20 is a diagram showing the implementation of a machine vision inspection system for a non-circular container production process using deep learning according to an embodiment of the present invention. The learning data construction unit of the machine vision inspection system for the non-circular container production process using deep learning according to this embodiment acquires and classifies good and defective images and builds a database. In building this DB, a machine vision inspection system for the non-circular container production process using deep learning captures images of non-circular glass bottles at an angle in one direction. At this time, the area camera used for filming has a resolution of 1600 x 1200.
도 21은 본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 제어 GUI를 나타낸 도면이다. 도 21에 도시된 바와 같이, 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 GUI는 카메라에서 받아오는 영상을 띄우는 부분과, 검사의 영역을 지정하는 부분, 카메라 트리거 신호를 제어하여 영상을 찍는 부분으로 구성된다.Figure 21 is a diagram showing a control GUI of a machine vision inspection system for a non-circular container production process using deep learning according to an embodiment of the present invention. As shown in Figure 21, the GUI of the machine vision inspection system for the non-circular container production process using deep learning controls the part that displays the image received from the camera, the part that specifies the inspection area, and the camera trigger signal. It consists of the video recording part.
도 22는 본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 양품 이미지와 불량 이미지에 대한 DB 구축을 설명하기 위한 도면이다. 도 22에 도시된 바와 같이, 본 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템은 연결된 애리어 카메라를 통해 양품/불량 이미지를 획득하여 데이터베이스를 구축한다.Figure 22 is a diagram illustrating the construction of a database for good and defective images of a machine vision inspection system for a non-circular container production process using deep learning according to an embodiment of the present invention. As shown in Figure 22, the machine vision inspection system for the non-circular container production process using deep learning according to this embodiment acquires good/defective images through a connected area camera and builds a database.
도 23은 본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 딥러닝을 이용한 비원형 유리병 학습 및 인식 구조를 설명하기 위한 도면이다. 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템은 크게 학습과정과 인식과정으로 구성된다. 학습과정에서는 카메라를 이용한 영상획득, 측정위치 검출, 딥러닝을 활용한 비원형 유리병 학습 등을 수행한다. 인식과정에서는 카메라를 이용한 영상획득, 측정위치 검출, 딥러닝을 활용한 비원형 유리병 분류 등을 수행한다.Figure 23 is a diagram illustrating a non-circular glass bottle learning and recognition structure using deep learning in a machine vision inspection system for a non-circular container production process using deep learning according to an embodiment of the present invention. The machine vision inspection system for the non-circular container production process using deep learning largely consists of a learning process and a recognition process. In the learning process, image acquisition using a camera, measurement position detection, and learning of non-circular glass bottles using deep learning are performed. In the recognition process, image acquisition using a camera, measurement position detection, and non-circular glass bottle classification using deep learning are performed.
도 24는 본 발명의 일 실시예에 따른 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템의 영상 획득과정을 설명하기 위한 도면이다. 도 24에 도시된 바와 같이, 카메라를 이용한 영상획득은 테스트 지그의 영상 획득 스위치를 누른다. 이후 제어보드에 스위치 신호가 입력되며, 제어보드에서는 카메라에 트리거 신호 전달한다. 카메라는 Ethernet 라인을 통해 PC에 영상 데이터 전송(영상 획득 과정)한다. 이후, 개발된 소프트웨어에 의해 영상 데이터 획득한다. 영상 획득 스위치는 푸쉬락 타입으로 되어있다(ON : 주기적인 영상 획득, OFF : 기능 사용안함). 검사 시작 스위치는 푸쉬-푸쉬 스위치 구조를 가지고 있고 푸쉬시 1번의 영상 획득만 한다.Figure 24 is a diagram for explaining the image acquisition process of the machine vision inspection system for the non-circular container production process using deep learning according to an embodiment of the present invention. As shown in Figure 24, to acquire an image using a camera, press the image acquisition switch of the test jig. Afterwards, a switch signal is input to the control board, and the control board transmits a trigger signal to the camera. The camera transmits image data (image acquisition process) to the PC through the Ethernet line. Afterwards, image data is acquired using the developed software. The image acquisition switch is a push lock type (ON: periodic image acquisition, OFF: function not used). The test start switch has a push-push switch structure and only acquires one image when pushed.
도 25는 본 발명의 일 실시예에 따른 시스템의 측정위치 검출(검사 영역 설정)을 설명하기 위한 도면이다. 도 25에 도시된 바와 같이, 측정위치 검출(검사 영역 설정)에서, 검사하고자 하는 ROI를 설정한다. 이때 설정된 영역 사이즈만큼의 영역을 획득할 수 있다.Figure 25 is a diagram for explaining measurement position detection (inspection area setting) of the system according to an embodiment of the present invention. As shown in Figure 25, in measurement position detection (inspection area setting), set the ROI to be inspected. At this time, an area equal to the set area size can be obtained.
도 26은 본 발명의 일 실시예에 따른 시스템의 학습에 사용된 데이터를 나타낸 도면이다. 도 26에 도시된 바와 같이, 학습에 사용된 데이터는 양품 이미지와 불량 이미지의 train data 200개, test data 100개의 이미지가 학습에 사용된다.Figure 26 is a diagram showing data used for learning of a system according to an embodiment of the present invention. As shown in Figure 26, the data used for learning includes 200 train data of good and defective images, and 100 test data.
도 27은 본 발명의 일 실시예에 따른 시스템에서 학습 데이터 구축부의 라벨링하여 DB구축하는 과정을 설명하기 위한 도면이다. 도 27에 도시된 바와 같이, 학습 데이터 구축부는 양품 영상에는 1로 라벨링을 하고, 불량품 영상에는 0으로 라벨링을 하여 DB를 구축한다.Figure 27 is a diagram for explaining the process of building a DB by labeling the learning data building unit in the system according to an embodiment of the present invention. As shown in Figure 27, the learning data construction unit constructs a DB by labeling images of good products with 1 and labeling images of defective products with 0.
도 28은 본 실시예에 따른 시스템의 딥러닝을 이용한 비원형 유리병 학습을 설명하기 위한 도면이다. 도 28에 도시된 바와 같이, 첫 번째인 convolution 3x3 ReLU 층은 도 29와 같이 입력 영상 또는 이전 층의 특징 영상을 여러 특징 필터와 convolution 3x3 연산하여 특징 영상을 얻어 내는 층이다. 특징 추출 필터는 비원형 유리병의 특징을 부각시키는 역할을 한다. 도 30은 비원형 유리병 이미지의 convolution 연산 과정을 나타낸다. 활성화 함수는 도 31과 같이 CNN에서 보편적으로 많이 쓰이는 ReLU 함수를 활용하여 특징들을 비선형으로 나누어 분류를 용이하게 한다. Figure 28 is a diagram for explaining learning of a non-circular glass bottle using deep learning of the system according to this embodiment. As shown in FIG. 28, the first convolution 3x3 ReLU layer is a layer that obtains a feature image by performing a convolution 3x3 operation on the input image or the feature image of the previous layer with several feature filters, as shown in FIG. 29. The feature extraction filter serves to highlight the features of non-circular glass bottles. Figure 30 shows the convolution operation process of a non-circular glass bottle image. As shown in Figure 31, the activation function uses the ReLU function, which is commonly used in CNNs, to non-linearly divide features to facilitate classification.
도 32는 bottleneck 연산과정을 나타낸 도면이다. Figure 32 is a diagram showing the bottleneck calculation process.
두 번째로 bottleneck 층은 그림 32와 같이 convolution 층을 통해 추출된 특징 영상의 특징들 중에서 최적의 특징들만 선별하여 convolution 1x1 ReLU로 채널을 감소시키고convolution 3x3 ReLU를 실시한다. 이후 다시 convolution 1x1로 채널수를 복구시킨다. convolution 연산을 마친 후 다시 입력과 합쳐지기 위하여 원래의 크기로 복원한다. 역전파 학습시에 출력층에서 입력층으로 오차값이 전파되는 과정을 거치게 되는데, 이때 전파되는 오차 값은 층을 지날수록 그 값이 줄어들게 된다. 그러나 도 32와 같이 입력과 출력이 직접적으로 연결되면 오차값을 직접 전달받는 구조기 때문에 전파되는 오차값이 줄지 않기 때문에 더욱 빠른 학습이 가능하다. 내부의 convolution 1x1의 경우 데이터 크기에는 영향이 없지만 필터수를 조절하여 차원을 줄이는 역할을 수행한다. 입력 데이터가 convolution 1x1 과정을 거치지 않고 수행한다면 고차원의 데이터를 연산해야 하기 때문에 처리속도가 상대적으로 늦어지고 메모리 점유율이 증가한다.Second, the bottleneck layer selects only the optimal features among the features of the feature image extracted through the convolution layer, reduces the channel with convolution 1x1 ReLU, and performs convolution 3x3 ReLU, as shown in Figure 32. Afterwards, the number of channels is restored using convolution 1x1. After completing the convolution operation, it is restored to its original size in order to be combined with the input again. During backpropagation learning, the error value goes through a process of propagating from the output layer to the input layer. At this time, the propagated error value decreases as it passes through the layers. However, when the input and output are directly connected as shown in Figure 32, since the error value is directly transmitted, the propagated error value does not decrease, so faster learning is possible. In the case of internal convolution 1x1, it does not affect the data size, but plays a role in reducing the dimension by adjusting the number of filters. If input data is performed without going through the convolution 1x1 process, processing speed is relatively slow and memory occupancy increases because high-dimensional data must be calculated.
도 33은 global average pooling 연산을 나타낸 도면이다.Figure 33 is a diagram showing the global average pooling operation.
이후, Bottleneck 층을 거친 후에 수행되는 global average pooling 연산과정은 도 33과 같이 convolution 층을 통해 추출된 특징 영상의 특징들 중에서 최적의 특징들만 선별하여 특징 영상의 크기를 감소시키는 과정이다. 즉, 추출된 특징 이미지에 불필요한 특징 데이터가 많아 최적의 특징데이터를 추출함과 동시에 연산 속도를 높이기 위하여 크기를 축소하는 역할을 한다.Afterwards, the global average pooling operation process performed after passing through the bottleneck layer is a process of reducing the size of the feature image by selecting only the optimal features among the features of the feature image extracted through the convolution layer, as shown in Figure 33. In other words, there is a lot of unnecessary feature data in the extracted feature image, so it extracts the optimal feature data and at the same time reduces the size to increase the computation speed.
딥러닝 구조의 학습 진행의 세 번째인 fully connect 층은 도 34와 같이 6개의 fully connect layer를 거쳐 출력 데이터가 산출된다. hidden layer 1과 hidden layer 2는 256개의 노드를 사용하며, hidden layer 3과 hidden layer 4는 128개의 노드를 사용하고, hidden layer 5와 hidden layer 6에서는 64개의 노드를 사용하여 특징을 추출한다.The third fully connected layer in the learning process of the deep learning structure produces output data through six fully connected layers, as shown in Figure 34. Hidden layer 1 and hidden layer 2 use 256 nodes, hidden layer 3 and hidden layer 4 use 128 nodes, and hidden layer 5 and hidden layer 6 use 64 nodes to extract features.
네 번째인 softmax 층은 입력층 노드의 값과 연산을 진행하려는 목표 노드 사이의 가중치와 곱을 하여 합하고 활성화 함수(sigmoid function)를 통해 0 ~ 1 사이의 값으로 변환한다. 실제 활성화 함수는 계단함수가 본 구조이지만 신경망 연산에서 필요한 미분연산을 위해 미분 가능한 활성화 함수로 계단함수를 대체한다. 식(1)은 위의 연산과정에 대한 수식이고 그 구조는 도 35와 같다. 도 35의 in은 노드들이 가지는 값이고 bias는 입력이 모두 0이어도 기본적으로 가지는 수치를 위해 존재한다. w는 각 노드간의 가중치이며 out은 다음 층의 노드가 가지는 수치이다. 식(2)는 활성화 함수를 수식으로 표현한 것이고, 도 36은 활성화 함수(sigmoid function)의 그래프를 나타내고 있다. 입력층과 은닉층 간의 연산이 마치고 나면 은닉층과 출력층 간에서 앞선 연산과정을 반복하게 된다.The fourth softmax layer multiplies the values of the input layer nodes and the weights between the target nodes for calculation, adds them, and converts them to values between 0 and 1 through an activation function (sigmoid function). The actual activation function is a step function, but the step function is replaced with a differentiable activation function for the differential operations required in neural network operations. Equation (1) is the formula for the above calculation process, and its structure is as shown in Figure 35. In Figure 35, in is the value held by the nodes, and bias exists for the basic value even if all inputs are 0. w is the weight between each node, and out is the value held by the node in the next layer. Equation (2) expresses the activation function as a formula, and Figure 36 shows a graph of the activation function (sigmoid function). After the calculation between the input layer and the hidden layer is completed, the previous calculation process is repeated between the hidden layer and the output layer.
(식1)(Equation 1)
(식2)(Equation 2)
softmax 층을 거치고 최종적으로 수행하는 backpropagation은 목표값과 출력값의 오차를 구조의 역방향으로 입력하여 가중치를 수정하며, 학습이 진행될수록 오차를 감소시켜 원하는 결과가 출력되도록 하는 학습 알고리즘이다. 총 200개의 학습 데이터에 대하여 학습을 수행하였으며, loss가 일정이상 올라가면 backpropagation을 통해 loss를 감소시켜서 정확도 향상의 효과를 얻었다. Backpropagation, which goes through the softmax layer and is finally performed, is a learning algorithm that modifies the weight by inputting the error between the target value and the output value in the reverse direction of the structure, and reduces the error as learning progresses to output the desired result. Learning was performed on a total of 200 learning data, and when the loss rose above a certain level, the loss was reduced through backpropagation to improve accuracy.
본 실시예에 따른 딥러닝을 이용한 비원형 유리병 학습 및 인식에 있어서, 최종적으로 딥러닝을 이용한 비원형 유리병 학습 구조는 도 37과 같이 convolution 층, bottleneck 층, fully connect 층, softmax 부분으로 이루어져 있다. 인식과정에서는 학습과정과 마찬가지로 카메라를 이용한 영상획득, 측정위치 검출, 딥러닝을 활용한 비원형 유리병 분류 등을 수행하여 비원형 유리병을 분류한다.In learning and recognizing non-circular glass bottles using deep learning according to this embodiment, the final non-circular glass bottle learning structure using deep learning consists of a convolution layer, bottleneck layer, fully connect layer, and softmax portion as shown in Figure 37. there is. In the recognition process, as in the learning process, non-circular glass bottles are classified by acquiring images using cameras, detecting measurement positions, and classifying non-circular glass bottles using deep learning.
한편, 표 1은 비원형 유리병 딥러닝 구조를 나타내고 있다. bottleneck 연산은 총 16번 수행하며 필터는 1x1, 3x3, 1x1의 필터이고 필터 개수는 No.2부터 각각 16, 24, 24, 32, 32, 32, 64, 64, 64, 64, 96, 96, 96, 160, 160, 160개이다. No.18까지 연산 후, No.19인 fully connect 연산은 모든 추출 특징을 연결하여 최종 특징 벡터를 생성하는 역할이며, 단순히 특징 벡터를 이어 붙여서 총 1,280개의 특징 벡터를 추출한다. 마지막 No.19에서는 fully connect 층까지 진행된 1,280개의 특징 벡터를 신경망의 입력으로 넣고 신경망 출력층의 노드 수를 학습시키는 클래스의 수로 설정한다. 비원형 유리병 검사의 경우, 학습시키는 클래스가 양품/불량 2개이므로 softmax층 노드는 2개로 설정된다.Meanwhile, Table 1 shows the non-circular glass bottle deep learning structure. The bottleneck operation is performed a total of 16 times, and the filters are 1x1, 3x3, and 1x1, and the number of filters starting from No.2 is 16, 24, 24, 32, 32, 32, 64, 64, 64, 64, 96, 96, respectively. They are 96, 160, 160, 160. After calculating up to No. 18, fully connect operation No. 19 is responsible for creating the final feature vector by connecting all extracted features. A total of 1,280 feature vectors are extracted by simply concatenating the feature vectors. In the last No. 19, 1,280 feature vectors that have progressed to the fully connect layer are input to the neural network, and the number of nodes in the neural network output layer is set to the number of classes to be learned. In the case of non-circular glass bottle inspection, there are two classes to learn: good/defective, so the number of softmax layer nodes is set to two.
(표1)(Table 1)
본 발명의 일 실시예에 따른 시스템의 딥러닝 기반의 검사 소프트웨어는 검사 동작부, 스펙 설정부, 장비 설정부를 포함한다.The deep learning-based inspection software of the system according to an embodiment of the present invention includes an inspection operation unit, a specification setting unit, and an equipment setting unit.
검사동작부는 외부 검사 스위치에 의해 딥러닝 기반 검사 소프트웨어에 검사 시작 명령을 전송한다. 이때 도 38에 도시된 바와 같이, 검사지그의 임베디드 보드에서 카메라에 트리거 신호를 보내고, 카메라는 딥러닝 기반 검사 소프트웨어에 영상 프레임을 전송한다. 딥러닝 기반 검사 소프트웨어에는 학습된 DB 기준으로 현재 촬영된 영상의 양품 불량 판정을 디스플레이한다.The inspection operation unit transmits an inspection start command to deep learning-based inspection software by an external inspection switch. At this time, as shown in Figure 38, the embedded board of the inspection jig sends a trigger signal to the camera, and the camera transmits an image frame to deep learning-based inspection software. Deep learning-based inspection software displays good or bad judgments of the currently captured video based on the learned database.
스펙 설정부는 도 39에 도시된 바와 같이, 딥러닝 기반 검사 소프트웨어에 검사 DB 설정 및 검사의 영역을 설정한다.As shown in Figure 39, the specification setting unit sets the inspection DB and inspection area in the deep learning-based inspection software.
장비 설정부는 도 40에 도시된 바와 같이, 딥러닝 기반 검사 소프트웨어와 임베디드 제어보드 간의 통신 속도 및 검사 환경을 셋팅한다. RS232를 통한 임베디드 보드의 스텝 동작 셋팅 및 검사 딜레이 시간을 조절 한다. 또한, LAN으로 연결된 카메라의 설정을 변경할 수 있다. As shown in Figure 40, the equipment setting unit sets the communication speed and inspection environment between deep learning-based inspection software and the embedded control board. Adjust the step operation settings and inspection delay time of the embedded board through RS232. Additionally, you can change the settings of cameras connected to LAN.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함은 당업자에게 명백할 것이다.The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and it will be clear to those skilled in the art that various substitutions, modifications, and changes can be made without departing from the technical spirit of the present invention.
Claims (5)
상기 머신비전 검사기를 통한 양품 영상과 불량 영상을 라벨링하여 학습 데이터를 구축하는 학습 데이터 구축부(200),
상기 카메라를 이용한 영상획득, 측정위치 검출, 딥러닝을 활용한 비원형 유리병의 이미지 학습 또는 분류과정을 수행하는 학습부(300) 및
상기 카메라를 통해 영상이 입력되면 상기 학습 데이터와 비교하여 비원형 유리병의 양품 불량 판정을 제어하는 제어부(400)를 포함하며,
상기 머신비전 검사기는 상기 카메라를 정면에 위치하게 하고, x,z축으로 변경가능하도록 하는 비원형 유리병의 영상 촬영을 위한 기구 거치대, 상기 비원형 유리병의 영상 촬영을 위한 백라이트 조명을 안착시키는 안착부, 상기 비원형 유리병을 안착시키는 제품 안착부, 상기 비원형 유리병의 관심 영역에 대한 회전 각도의 정밀 조작을 위한 모터 드라이브, 조명밝기 가변시 밝기 조절이 일정하도록 하는 제어보드를 포함하며,
상기 학습부는 추출된 특징 영상의 특징들 중에서 관심 영역을 정밀하게 설정하기 위한 특징들만 선별하여 채널을 감소시키도록 필터수를 조절하되, 출력층에서 입력층으로 오차값이 전파되는 역전파 학습시에 입력과 출력이 직접적으로 연결되어 오차값을 직접 전달받는 것을 특징으로 하는 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템.A machine vision inspection device (100) for capturing and inspecting good/defective images of non-circular glass bottles through a camera,
A learning data construction unit 200 that constructs learning data by labeling good and defective images through the machine vision inspector;
A learning unit 300 that performs image acquisition using the camera, measurement position detection, and image learning or classification process of a non-circular glass bottle using deep learning, and
When an image is input through the camera, it includes a control unit 400 that compares it with the learning data and controls a non-circular glass bottle to be judged as good or defective,
The machine vision inspector positions the camera in the front, holds an instrument holder for image capture of a non-circular glass bottle that can be changed in the x and z axes, and a backlight for image capture of the non-circular glass bottle. It includes a seating portion, a product seating portion for seating the non-circular glass bottle, a motor drive for precise manipulation of the rotation angle for the area of interest of the non-circular glass bottle, and a control board to ensure constant brightness control when the lighting brightness is variable. ,
The learning unit selects only the features for precisely setting the region of interest among the features of the extracted feature image and adjusts the number of filters to reduce the channel. However, during backpropagation learning, where error values are propagated from the output layer to the input layer, the learning unit selects only the features for precisely setting the region of interest. A machine vision inspection system for the non-circular container production process using deep learning, where the output is directly connected and the error value is directly transmitted.
상기 학습부는
카메라를 이용한 영상획득, 측정위치 검출, 딥러닝을 활용한 비원형 유리병 학습을 수행하는 학습과정 및
카메라를 이용한 영상획득, 측정위치 검출, 딥러닝을 활용한 비원형 유리병 분류를 수행하는 인식과정을 포함하는 것을 특징으로 하는 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템.According to paragraph 1,
The learning department
A learning process that performs image acquisition using a camera, measurement position detection, and learning of a non-circular glass bottle using deep learning, and
A machine vision inspection system for the non-circular container production process using deep learning, which includes a recognition process that performs image acquisition using a camera, measurement position detection, and classification of non-circular glass bottles using deep learning.
상기 머신비전 검사기는 BLU LED 조명을 사용하여 한방향의 각도로 애리어 카메라를 통해 비원형 유리병의 양품/불량 이미지를 1600 x 1200 해상도로 촬영하는 것을 특징으로 하는 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템.According to paragraph 1,
The machine vision inspection machine produces non-circular containers using deep learning, characterized by shooting good/defective images of non-circular glass bottles at a resolution of 1600 x 1200 through an area camera at an angle in one direction using BLU LED lighting. Process machine vision inspection system.
상기 학습 데이터 구축부는 양품 영상에는 1로 라벨링을 하고, 불량품 영상에는 0으로 라벨링을 하여 학습 데이터를 구축하는 것을 특징으로 하는 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템.According to paragraph 1,
The learning data construction unit constructs learning data by labeling good product images with 1 and defective product images with 0. A machine vision inspection system for the non-circular container production process using deep learning.
상기 머신비전 검사기는
외부 검사 스위치에 의해 딥러닝 기반 검사 시작 명령을 전송하는 검사 동작부,
검사 DB 설정 및 검사의 영역을 설정하는 스펙 설정부 및
딥러닝 기반 검사를 수행하는 검사 소프트웨어와 임베디드 제어보드 간의 통신 속도 및 검사 환경을 셋팅하는 장비 설정부를 구비하는 검사 소프트웨어를 포함하는 것을 특징으로 하는 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템.According to paragraph 1,
The machine vision inspector
An inspection operation unit that transmits a deep learning-based inspection start command by an external inspection switch,
Specification setting section that sets the inspection DB settings and inspection area, and
Machine vision inspection of the non-circular container production process using deep learning, characterized in that it includes inspection software that performs deep learning-based inspection and an equipment setting unit that sets the communication speed and inspection environment between the embedded control board and the embedded control board. system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220016284A KR102579226B1 (en) | 2022-02-08 | 2022-02-08 | Machine vision inspection system for non-circular container production process using deep learning |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220016284A KR102579226B1 (en) | 2022-02-08 | 2022-02-08 | Machine vision inspection system for non-circular container production process using deep learning |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| KR20230119928A KR20230119928A (en) | 2023-08-16 |
| KR102579226B1 true KR102579226B1 (en) | 2023-09-18 |
| KR102579226B9 KR102579226B9 (en) | 2024-03-13 |
Family
ID=87848584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220016284A KR102579226B1 (en) | 2022-02-08 | 2022-02-08 | Machine vision inspection system for non-circular container production process using deep learning |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102579226B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5833413B2 (en) * | 2011-11-18 | 2015-12-16 | 株式会社エヌテック | Container inspection equipment |
| JP2021139769A (en) * | 2020-03-05 | 2021-09-16 | 国立大学法人 筑波大学 | Defect detection classification system and defect determination training system |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB1541213A (en) * | 1974-12-31 | 1979-02-28 | Automotive Prod Co Ltd | Driven plates for friction clutches and to components for such driven plates |
| KR101711073B1 (en) | 2016-07-25 | 2017-02-28 | (주)제이엘케이인스펙션 | Micro cracks detection device and method of flexible touch screen panel using deep learning algorithm |
-
2022
- 2022-02-08 KR KR1020220016284A patent/KR102579226B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5833413B2 (en) * | 2011-11-18 | 2015-12-16 | 株式会社エヌテック | Container inspection equipment |
| JP2021139769A (en) * | 2020-03-05 | 2021-09-16 | 国立大学法人 筑波大学 | Defect detection classification system and defect determination training system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102579226B9 (en) | 2024-03-13 |
| KR20230119928A (en) | 2023-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2509332B1 (en) | Automatic test system for digital display systems | |
| CN107966454A (en) | A kind of end plug defect detecting device and detection method based on FPGA | |
| WO2017081736A1 (en) | Lead end-position image recognition method and lead end-position image recognition system | |
| US11947345B2 (en) | System and method for intelligently monitoring a production line | |
| CN112088387A (en) | System and method for detecting defects in imaged articles | |
| US20220284699A1 (en) | System and method of object detection using ai deep learning models | |
| CN110567987A (en) | Feeder terminal substrate detection system and method based on automatic vision technology | |
| TW202223740A (en) | Automatic inspection system and operation method thereof including a machine vision inspection device, a repair station, an artificial intelligence module and a processing platform | |
| CN112070762A (en) | Mura defect detection method and device for liquid crystal panel, storage medium and terminal | |
| CN114226262A (en) | Flaw detection method, flaw classification method and flaw detection system | |
| CN109581104B (en) | Method for testing touch screen of vehicle-mounted entertainment system | |
| KR102579226B1 (en) | Machine vision inspection system for non-circular container production process using deep learning | |
| CN117054517A (en) | Ultrasonic line detection method for display device | |
| Edwards | Machine vision and its integration with CIM systems in the electronics manufacturing industry | |
| JP2021067508A (en) | Visual inspection system and method | |
| CN113034496A (en) | PCB testing system | |
| JP2002031605A (en) | Defect-confirming apparatus and automatic visual inspection apparatus | |
| CN111105109A (en) | Operation detection device, operation detection method, and operation detection system | |
| CN110252686A (en) | Method and device for determining quality of remote controller | |
| Yu et al. | Printed circuit board inspection system PI/1 | |
| Aydın et al. | Detection of printed circuit board faults with FPGA-based real-time image processing | |
| TWI828545B (en) | Flexible and intuitive system for configuring automated visual inspection system | |
| KR20110001460U (en) | The development equipment of auto trimmibg defect machine vision and using methods of semiconductor IC | |
| JPH09172300A (en) | Method and device for inspecting appearance of printed board unit | |
| EP4254325A1 (en) | Inspection of printed circuit board assemblies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] |