KR20240057531A - Device and method for quality inspecting of automotive parts based on ai - Google Patents
Device and method for quality inspecting of automotive parts based on ai Download PDFInfo
- Publication number
- KR20240057531A KR20240057531A KR1020220137744A KR20220137744A KR20240057531A KR 20240057531 A KR20240057531 A KR 20240057531A KR 1020220137744 A KR1020220137744 A KR 1020220137744A KR 20220137744 A KR20220137744 A KR 20220137744A KR 20240057531 A KR20240057531 A KR 20240057531A
- Authority
- KR
- South Korea
- Prior art keywords
- artificial intelligence
- automobile parts
- learning
- quality inspection
- inspection device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000007689 inspection Methods 0.000 claims abstract description 117
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 65
- 238000013135 deep learning Methods 0.000 claims abstract description 31
- 230000007547 defect Effects 0.000 claims abstract description 30
- 230000002950 deficient Effects 0.000 claims abstract description 22
- 238000002372 labelling Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 239000002131 composite material Substances 0.000 claims description 3
- 238000000926 separation method Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000009413 insulation Methods 0.000 abstract description 4
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 239000004744 fabric Substances 0.000 abstract description 2
- 229910052751 metal Inorganic materials 0.000 abstract description 2
- 239000002184 metal Substances 0.000 abstract description 2
- 150000002739 metals Chemical class 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
- G01N2021/8845—Multiple wavelengths of illumination or detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Data Mining & Analysis (AREA)
- Analytical Chemistry (AREA)
- Immunology (AREA)
- Chemical & Material Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biochemistry (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Automobile Manufacture Line, Endless Track Vehicle, Trailer (AREA)
Abstract
본 발명은 비전 검사 기술에 관한 것으로, 더욱 상세하게는 딥 러닝 기반 머신 비전 기술로 자동차 부품을 촬영하여 양품 및 불량품의 품질 검사를 수행하는 인공지능 기반 자동차 부품 품질 검사 장치 및 방법에 대한 것이다. 본 발명의 일 실시 예에 따르면, 딥 러닝을 이용해 비정형 이미지에 포함된 금속, 직물 등의 비정형적인 긁힘, 찍힘, 단차, 기포, Burr 발생, 절연지 분리 등의 표면 결함까지 검출하여 생산 공정의 효율성을 높일 수 있다.The present invention relates to vision inspection technology, and more specifically, to an artificial intelligence-based automobile parts quality inspection device and method that performs quality inspection of good and defective products by photographing automobile parts using deep learning-based machine vision technology. According to an embodiment of the present invention, deep learning is used to improve the efficiency of the production process by detecting surface defects such as atypical scratches, nicks, steps, bubbles, burrs, and insulation paper separation of metals and fabrics included in atypical images. It can be raised.
Description
본 발명은 비전 검사 기술에 관한 것으로, 더욱 상세하게는 딥 러닝 기반 머신 비전 기술로 자동차 부품을 촬영하여 양품 및 불량품의 품질 검사를 수행하는 인공지능 기반 자동차 부품 품질 검사 장치 및 방법에 대한 것이다.The present invention relates to vision inspection technology, and more specifically, to an artificial intelligence-based automobile parts quality inspection device and method that performs quality inspection of good and defective products by photographing automobile parts using deep learning-based machine vision technology.
생산 라인 상에 장착된 카메라, 광학계, 조명장치 등으로 제품의 이미지를 촬영하여 품질을 분석/검증하는 솔루션인 머신 비전은 스마트 공장화의 도입과 함께 성장 중이다.Machine vision, a solution that analyzes/verifies quality by capturing images of products using cameras, optical systems, and lighting devices installed on the production line, is growing with the introduction of smart factories.
하지만 종래의 룰 기반 머신 비전 검사 시스템은 비정형적인 이미지에 대한 검사가 어려워 표면 결함(단차, 긁힘, 찍힘, 기포, Burr 등) 등을 탐지하기 어렵다. 또한 입력된 양품의 이미지와 조금이라도 다르면 불량품으로 판정하므로 오검 발생율이 높아 검사 인력이 항상 필요하다. 솔루션의 유연성도 낮아 신제품, 불량 조건 추가 등의 양품 판정 기준이 변하면 새로운 투자가 필요하여 유지비용이 증가하는 한계를 가진다. However, conventional rule-based machine vision inspection systems have difficulty inspecting atypical images, making it difficult to detect surface defects (steps, scratches, nicks, bubbles, burrs, etc.). In addition, if the product is even slightly different from the image of the input good product, it is judged as defective, so the false positive rate is high, so inspection personnel are always needed. The flexibility of the solution is also low, so if the standard for judging good products changes due to new products or the addition of defective conditions, new investments are required, which increases maintenance costs.
본 발명은 머신 비전 검사에 딥 러닝을 활용하여 단차, 긁힘, 찍힘, Burr 발생, 절연지 분리 또는 탈락(떨어짐) 등의 비정형인 표면 결함을 검출하는 인공지능 기반 자동차 부품 품질 검사 장치 및 방법을 제공한다.The present invention provides an artificial intelligence-based automobile parts quality inspection device and method that utilizes deep learning in machine vision inspection to detect atypical surface defects such as steps, scratches, nicks, burrs, and insulation paper separation or separation. .
본 발명은 딥 러닝을 이용해 판정 기준의 변화에도 유연하게 적용할 수 있는 인공지능 기반 자동차 부품 품질 검사 장치 및 방법을 제공한다.The present invention provides an artificial intelligence-based automobile parts quality inspection device and method that can be flexibly applied to changes in judgment standards using deep learning.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problem to be achieved by the present invention is not limited to the technical problem mentioned above, and other technical problems not mentioned can be clearly understood by those skilled in the art from the description below. There will be.
본 발명의 일 측면에 따르면, 인공지능 기반 자동차 부품 품질 검사 장치를 제공한다.According to one aspect of the present invention, an artificial intelligence-based automobile parts quality inspection device is provided.
본 발명의 일 실시 예에 따른 인공지능 기반 자동차 부품 품질 검사 장치는 비전 검사 장비를 통해 학습 및 검사를 위한 표준화된 이미지 데이터를 수집하는 수집부, 객체 인식 알고리즘을 이용해 생성된 딥 러닝 기반 비전 검사 모델을 생성하고 학습하는 학습부 및 딥 러닝 기반 비전 검사 모델을 이용해 결함을 검사하는 검사부를 포함할 수 있다.An artificial intelligence-based automobile parts quality inspection device according to an embodiment of the present invention includes a collection unit that collects standardized image data for learning and inspection through vision inspection equipment, and a deep learning-based vision inspection model created using an object recognition algorithm. It may include a learning unit that creates and learns and an inspection unit that inspects defects using a deep learning-based vision inspection model.
본 발명의 다른 일 측면에 따르면, 인공지능 기반 자동차 부품 품질 검사 방법 및 이를 실행하는 컴퓨터 프로그램을 제공한다.According to another aspect of the present invention, an artificial intelligence-based automobile parts quality inspection method and a computer program for executing the same are provided.
본 발명의 일 실시 예에 따른 인공지능 기반 자동차 부품 품질 검사 방법 및 이를 실행하는 컴퓨터 프로그램은 비전 검사 장비를 통해 부품 이미지를 획득하는 단계, 획득한 이미지 데이터를 전처리하는 단계, 이미지 데이터를 불량 여부 또는 불량 유형에 따라 레이블링하는 단계 및 딥 러닝 기반 비전 검사 모델을 생성하는 단계를 포함할 수 있다.An artificial intelligence-based automobile parts quality inspection method and a computer program executing the same according to an embodiment of the present invention include the steps of acquiring a part image through vision inspection equipment, preprocessing the obtained image data, and determining whether the image data is defective or not. It may include labeling according to the type of defect and creating a deep learning-based vision inspection model.
본 발명의 다른 일시 예에 따른 인공지능 기반 자동차 부품 품질 검사 방법 및 이를 실행하는 컴퓨터 프로그램은 비전 검사 장비를 통해 부품 이미지를 획득하는 단계, 비전 검사 장비 기반 1차 결함을 검사하는 단계, 딥 러닝 기반 비전 검사 모델을 이용하여 비정형 결함을 검사하는 단계 및 양품/불량품을 판단하는 단계를 포함할 수 있다.An artificial intelligence-based automobile parts quality inspection method and a computer program executing the same according to another example of the present invention include the steps of acquiring a part image through vision inspection equipment, inspecting primary defects based on vision inspection equipment, and deep learning-based It may include a step of inspecting atypical defects using a vision inspection model and a step of determining good/defective products.
본 발명의 일 실시 예에 따르면, 딥 러닝을 이용해 비정형 이미지에 포함된 금속, 직물 등의 비정형적인 긁힘, 찍힘, 단차, 기포, Burr 발생, 절연지 분리 등의 표면 결함까지 검출하여 생산 공정의 효율성을 높일 수 있다.According to an embodiment of the present invention, deep learning is used to improve the efficiency of the production process by detecting surface defects such as atypical scratches, nicks, steps, bubbles, burrs, and insulation paper separation of metals and fabrics included in atypical images. It can be raised.
또한, 본 발명의 일 실시 예에 따르면, 미리 학습된 모델을 이용하여 전이 학습 등을 통해 판정 기준이 변경되거나 신제품이 추가되어도 적용 비용으로 품질 검사를 할 수 있다.In addition, according to an embodiment of the present invention, quality inspection can be performed at application cost even if the judgment standard is changed or a new product is added through transfer learning, etc. using a pre-trained model.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 설명 또는 청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.The effects of the present invention are not limited to the effects described above, and should be understood to include all effects that can be inferred from the configuration of the invention described in the description or claims of the present invention.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반 자동차 부품 품질 검사 장치를 예시한 개략도.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반 자동차 부품 품질 검사 장치를 예시한 블록도.
도 3 내지 도 7은 본 발명의 일 실시예에 따른 인공지능 기반 자동차 부품 품질 검사 장치를 설명하기 위한 도면들.
도 8는 본 발명의 일 실시예에 따른 인공지능 기반 자동차 부품 검사 방법을 도시한 도면.1 is a schematic diagram illustrating an artificial intelligence-based automobile parts quality inspection device according to an embodiment of the present invention.
Figure 2 is a block diagram illustrating an artificial intelligence-based automobile parts quality inspection device according to an embodiment of the present invention.
3 to 7 are diagrams illustrating an artificial intelligence-based automobile parts quality inspection device according to an embodiment of the present invention.
Figure 8 is a diagram illustrating an artificial intelligence-based automobile parts inspection method according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail through detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention. In describing the present invention, if it is determined that a detailed description of related known technologies may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. Additionally, as used in this specification and claims, the singular expressions “a,” “a,” and “an” should generally be construed to mean “one or more,” unless otherwise specified.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the description with reference to the accompanying drawings, identical or corresponding components will be assigned the same drawing numbers and redundant description thereof will be omitted. Do this.
도 1 및 도 2는 본 발명의 일 실시예에 따른 인공지능 기반 자동차 부품 품질 검사 장치를 예시한 도면들이다.1 and 2 are diagrams illustrating an artificial intelligence-based automobile parts quality inspection device according to an embodiment of the present invention.
도 1및 도 2를 참조하면, 인공지능 기반 자동차 부품 품질 검사 장치(10)는 비전 검사 장비를 통해 표준화된 학습 이미지 데이터를 수집할 수 있다. 인공지능 기반 자동차 부품 품질 검사 장치(10)는 학습 이미지 데이터를 생성하여 딥 러닝 기반 객체 인식 알고리즘을 이용해 각 부품 별 딥 러닝 기반 비전 검사 모델을 생성할 수 있다. 이 부분은 이후 도 6을 참조하여 자세히 설명하도록 한다.Referring to Figures 1 and 2, the artificial intelligence-based automobile parts
인공지능 기반 자동차 부품 품질 검사 장치(10)는 비전 검사 장비를 통해 획득한 이미지에 표현된 결함을 검출하여 불량품을 탐지할 수 있다.The artificial intelligence-based automobile parts
인공지능 기반 자동차 부품 품질 검사 장치(10)는 수집한 데이터를 학습 데이터로 이용해 딥 러닝 기반 객체 인식 알고리즘으로 비정형인 긁힘, 찍힘, 단차, 기포, Burr 발생, 절연지 분리 등과 같은 다양한 표면 결함을 검출할 수 있다.The artificial intelligence-based automobile parts quality inspection device (10) uses the collected data as learning data to detect various surface defects such as atypical scratches, dents, steps, bubbles, burrs, and insulation paper separation with a deep learning-based object recognition algorithm. You can.
인공지능 기반 자동차 부품 품질 검사 장치(10)는 데이터를 전처리하고 증강시킨 후 객체 인식 알고리즘을 이용해 불량 유형을 학습하여 정확도 및 신뢰도가 높은 불량품 탐지 모델을 생성하고 이용할 수 있다.The artificial intelligence-based automobile parts
인공지능 기반 자동차 부품 품질 검사 장치(10)는 속도향상을 위해 이미지 패턴 매칭으로 합/불 판정이 가능한 경우 비전 검사 장비가 가공홀 또는 탭홀 누락과 같은 결함은 1차적으로 판단할 수 있다.If the artificial intelligence-based automobile parts
도 2를 참조하면, 인공지능 기반 자동차 부품 품질 검사 장치(10)는 학습 단계와 검사 단계를 이원화 하여 학습 데이터를 지속적으로 수집/ 딥 러닝하고, 그 결과를 검사 단계에 반영하여 불량 유형 항목 추가 또는 신규 부품을 추가가 용이하다.Referring to Figure 2, the artificial intelligence-based automobile parts
도 3 내지 도 7은 본 발명의 일 실시예에 따른 인공지능 기반 자동차 부품 품질 검사 장치를 설명하기 위한 도면들이다.3 to 7 are diagrams for explaining an artificial intelligence-based automobile parts quality inspection device according to an embodiment of the present invention.
도 3을 참조하면, 인공지능 기반 자동차 부품 품질 검사 장치(10)는 수집부(100), 학습부(200), 검사부(300)를 포함할 수 있다.Referring to FIG. 3, the artificial intelligence-based automobile parts
도 4 및 도 5를 참조하면, 수집부(100)는 비전 검사 장비를 통해 학습 및 검사를 위한 표준화된 이미지 데이터를 수집할 수 있다.Referring to FIGS. 4 and 5 , the
수집부(100)는 카메라, 렌즈 및 조명을 구비하여 이미지 데이터를 수집할 수 있다.The
수집부(100)는 LED 조명의 빛 색상(파장)을 변경하여 최적의 필터링 효과 이미지를 획득할 수 있다.The
수집부(100)는 서로 다른 LED 조명 파장에서 촬영된 이미지의 레이어를 겹친 합성 이미지를 생성하여 보다 정확한 제품 상태 이미지 데이터 획득할 수 있다.The
수집부(100)는 제품의 부분별 확대 촬영을 통한 상세한 제품 이미지 데이터를 획득할 수 있다.The
수집부(100)는 사선 촬영 기법을 사용한 탭홀 가공상태를 확인할 수 있는 이미지 데이터를 획득할 수 있다.The
도 6를 참조하면, 학습부(200)는 전처리부(210), 레이블링부(220) 및 객체 인식부(230)를 포함할 수 있다.Referring to FIG. 6 , the
학습부(200)는 수집한 이미지 데이터를 딥 러닝에 효과적인 학습 데이터로 생성하고 객체 인식 알고리즘을 통해 불량품을 검출하는 학습을 수행한다. The
전처리부(210)는 학습의 효과 및 검출의 정확도를 높이기 위해 이미지 데이터를 인공지능 학습에 적합하도록 전처리한다.The preprocessing
도7을 참조하면, 전처리부(210)는 불량 유형을 판단되는 객체의 사이즈가 작거나 희미한 경우 고해상도로 촬영된 원본 이미지에서 관심영역(ROI)을 설정하여 탐색 범위를 축소할 수 있다.Referring to Figure 7, if the size of the object for which the type of defect is determined is small or faint, the
전처리부(210)는 설정한 관심영역(ROI)을 그레이 스케일(Gray-scale)로 변환한 후 흑백 필터를 통해 이진화 한다. 예를 들면 전처리부(210)는 이진화 기준을 임계값을 기준으로 0.1로 나누며, Simple Threshold, OTSU 방법 등을 이용해 임계값을 조정할 수 있다.The
원본 이미지에서 노이즈를 제거해야 인공지능 학습 시 특징을 명확하게 구분할 수 있다. 따라서 전처리부(210)는 조명, 카메라, 자재 차제 등의 원인으로 인해 노이즈가 포함되어 있는 이미지 데이터의 노이즈를 제거할 수 있다. 전처리부(210)는 다양한 기법을 활용하여 이진화 된 이미지 데이터의 노이즈를 제거할 수 있다. 예를 들면, 전처리부(210)는 Average, Gaussian, Median, Bilateral, FastNL 등의 필터를 통해 특정 픽셀들의 값을 변경하여 노이즈를 제거할 수 있다.Noise must be removed from the original image to clearly distinguish features during artificial intelligence learning. Accordingly, the
레이블링부(220)는 비전 검사 장비를 통해 수집한 데이터를 학습 데이터로 사용할 수 있도록 레이블링 할 수 있다. 예를 들면 레이블링부(220)는 제품의 불량 여부와 불량 부위를 레이블링하여 양품 또는 불량품 구분 뿐만 아니라 불량의 유형도 레이블링 할 수 있다.The
다시 도 6을 참조하면, 객체 인식부(230)는 전처리가 완료된 학습 데이터를 객체 인식 알고리즘으로 학습하여 불량 유형에 속하는 객체를 인식할 수 있다. 객체 인식부(230)는 객체 인식 알고리즘을 이용해 딥 러닝 기반 비전 검사 모델을 생성할 수 있다. 예를 들면, 객체 인식부(230) CNN알고리즘 기반 Faster R-NN, YOLO(You Only Look Once) 등의 객체 인식 알고리즘을 이용할 수 있다. Referring again to FIG. 6, the
예를 들면, Faster R-CNN의 핵심 아이디어는 Region Proposal Network (이하 RPN)로 기존 Fast R-CNN 구조를 계승하면서 selective search를 대신해 RPN으로 RoI를 계산한다. 이를 통해서 객체 인식부(230)는 GPU를 통한 RoI 계산이 가능해져 정확도를 높일 수 있다.For example, the core idea of Faster R-CNN is Region Proposal Network (RPN), which inherits the existing Fast R-CNN structure and calculates RoI using RPN instead of selective search. Through this, the
YOLO(You Only Look Once)의 경우에는 클러스터링을 통해 앵커 박스(anchor box, 미리 정의된 형태를 가진 bounding box)를 생성하여, bounding box(학습 모델이 예측한 물체의 위치)를 예측할 수 있다.In the case of YOLO (You Only Look Once), the bounding box (position of the object predicted by the learning model) can be predicted by creating an anchor box (bounding box with a predefined shape) through clustering.
객체 인식부(230)는 부품에 따라 딥 러닝 기반 비전 검사 모델을 생성하여 정확도와 확장성을 가진다. 자세히 설명하면, 객체 인식부(230)는 새로운 부품이 추가되거나 새로운 결함이 추가되어도 딥 러닝을 통해 손쉽게 불량 여부 또는 불량 유형을 검사할 수 있다.The
다시 도 3을 참조하면, 검사부(300)는 객체 인식 알고리즘을 이용해 생성된 딥 러닝 기반 비전 검사 모델을 통해 원본 이미지 데이터의 불량 여부 또는 불량 유형을 판단할 수 있다. Referring again to FIG. 3, the
도 8는 본 발명의 일 실시예에 따른 인공지능 기반 자동차 부품 검사 방법을 도시한 도면이다. 이하 설명하는 각 과정은 단계에서 인공지능 기반 자동차 부품 품질 검사 장치를 구성하는 각 기능부가 수행하는 과정이나, 본 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 인공지능 기반 자동차 부품 품질 검사 장치로 통칭하도록 한다.Figure 8 is a diagram illustrating an artificial intelligence-based automobile parts inspection method according to an embodiment of the present invention. Each process described below is a process performed by each functional unit that constitutes the artificial intelligence-based automobile parts quality inspection device at each stage, but for a concise and clear explanation of the present invention, the subject of each step is referred to as an artificial intelligence-based automobile parts quality inspection device. Let's call it common.
도8을 참조하면, S810 단계에서 인공지능 기반 자동차 부품 품질 검사 장치(10)는 Referring to Figure 8, in step S810, the artificial intelligence-based automobile parts
S8100 단계에서 인공지능 기반 자동차 부품 품질 검사 장치(10)는 비전 검사 장비를 통해 부품의 이미지를 획득할 수 있다. 예를 들면 인공지능 기반 자동차 부품 품질 검사 장치(10)는 카메라, 렌즈 및 조명을 이용하여 이미지 데이터를 수집할 수 있다.In step S8100, the artificial intelligence-based automobile parts
실시예에 따라 인공지능 기반 자동차 부품 품질 검사 장치(10)는 LED 조명의 빛 색상(파장)을 변경하여 최적의 필터링 효과 이미지를 획득할 수 있다.Depending on the embodiment, the artificial intelligence-based automobile parts
실시예에 따라 인공지능 기반 자동차 부품 품질 검사 장치(10)는 서로 다른 LED 조명 파장에서 촬영된 이미지의 레이어를 겹친 합성 이미지를 생성하여 보다 정확한 제품 상태 이미지 데이터 획득할 수 있다.Depending on the embodiment, the artificial intelligence-based automobile parts
실시예에 따라 인공지능 기반 자동차 부품 품질 검사 장치(10)는 제품의 부분별 확대 촬영을 통한 상세한 제품 이미지 데이터를 획득할 수 있다.Depending on the embodiment, the artificial intelligence-based automobile parts
수집부(100)는 사선 촬영 기법을 사용한 탭홀 가공상태를 확인할 수 있는 이미지 데이터를 획득할 수 있다.The
인공지능 기반 자동차 부품 품질 검사 장치(10)는 S8210 단계로 이동하여 획득한 이미지를 학습 데이터로 생성하여 부품의 불량 여부를 검사할 수 있는 딥 러닝 기반 비전 검사 모델을 통해 인공지능 기반 불량 판정 모델을 생성하고, 딥 러닝 할 수 있다. 또한 인공지능 기반 자동차 부품 품질 검사 장치(10)는 S8310 단계로 이동하여 획득한 이미지의 결함을 검사할 수 있다.The artificial intelligence-based automobile parts
S8210 단계에서 인공지능 기반 자동차 부품 품질 검사 장치(10)는 획득한 이미지를 전처리 할 수 있다. 인공지능 기반 자동차 부품 품질 검사 장치(10)는 불량 유형을 판단되는 객체의 사이즈가 작거나 희미한 경우 고해상도로 촬영된 원본 이미지에서 관심영역(ROI)을 설정하여 탐색 범위를 축소할 수 있다.In step S8210, the artificial intelligence-based automobile parts
또한 인공지능 기반 자동차 부품 품질 검사 장치(10)는 설정한 관심영역(ROI)을 그레이 스케일(Gray-scale)로 변환한 후 흑백 필터를 통해 이진화 한다. 예를 들면 전처리부(210)는 이진화 기준을 임계값을 기준으로 0.1로 나누며, Simple Threshold, OTSU 방법 등을 이용해 임계값을 조정할 수 있다.In addition, the artificial intelligence-based automobile parts
또한 인공지능 기반 자동차 부품 품질 검사 장치(10)는 조명, 카메라, 자재 차제 등의 원인으로 인해 노이즈가 포함되어 있는 이미지 데이터의 노이즈를 다양한 기법을 활용하여 제거할 수 있다. 예를 들면, 전 인공지능 기반 자동차 부품 품질 검사 장치(10)는 Average, Gaussian, Median, Bilateral, FastNL 등의 필터를 통해 특정 픽셀들의 값을 변경하여 노이즈를 제거할 수 있다.In addition, the artificial intelligence-based automobile parts
S8220 단계에서 인공지능 기반 자동차 부품 품질 검사 장치(10)는 획득한 이미지의 불량 여부 또는 불량 유형을 레이블링 할 수 있다.In step S8220, the artificial intelligence-based automobile parts
S8230 단계에서 인공지능 기반 자동차 부품 품질 검사 장치(10)는 전처리하고 레이블링된 이미지를 학습 데이터로 하여 딥 러닝 기반 비전 검사 모델을 생성할 수 있다. 예를 들면, 인공지능 기반 자동차 부품 품질 검사 장치(10)는 전처리가 완료된 학습 데이터를 객체 인식 알고리즘으로 학습하여 불량 유형에 속하는 객체를 인식하는 딥 러닝 기반 비전 검사 모델을 생성할 수 있다. 인공지능 기반 자동차 부품 품질 검사 장치(10)는 CNN알고리즘 기반 Faster R-NN, YOLO(You Only Look Once) 등의 객체 인식 알고리즘을 이용할 수 있다.In step S8230, the artificial intelligence-based automobile parts
S8310 단계에서 인공지능 기반 자동차 부품 품질 검사 장치(10)는 비전 검사 장비를 통해 획득한 이미지의 결함을 1차적으로 검사할 수 있다. 예를 들면, 인공지능 기반 자동차 부품 품질 검사 장치(10)는 속도향상을 위해 이미지 패턴 매칭으로 합/불 판정이 가능한 경우 비전 검사 장비가 가공홀 또는 탭홀 누락과 같은 결함은 1차적으로 판단할 수 있다.In step S8310, the artificial intelligence-based automobile parts
S8320 단계에서 인공지능 기반 자동차 부품 품질 검사 장치(10)는 딥 러닝 기반 비전 검사를 통한 비정형 결함을 검사할 수 있다. S8230단계에서 생성한 딥 러닝 기반 비전 검사 모델을 이용해 획득한 이미지의 비정형 결함들을 검사할 수 있다.In step S8320, the artificial intelligence-based automobile parts
S8330 단계에서 인공지능 기반 자동차 부품 품질 검사 장치(10)는 검사 결과에 따라 양품/불량품을 판단할 수 있다.In step S8330, the artificial intelligence-based automobile parts
상술한 인공지능 기반 자동차 부품 검사 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.The artificial intelligence-based automobile parts inspection method described above can be implemented as computer-readable code on a computer-readable medium. The computer-readable recording medium may be, for example, a removable recording medium (CD, DVD, Blu-ray disk, USB storage device, removable hard disk) or a fixed recording medium (ROM, RAM, computer-equipped hard disk). You can. The computer program recorded on the computer-readable recording medium can be transmitted to another computing device through a network such as the Internet and installed on the other computing device, and thus can be used on the other computing device.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.In the above, even though all the components constituting the embodiment of the present invention have been described as being combined or operated in combination, the present invention is not necessarily limited to this embodiment. That is, within the scope of the purpose of the present invention, all of the components may be operated by selectively combining one or more of them.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시 예 들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.Although operations are shown in the drawings in a specific order, it should not be understood that the operations must be performed in the specific order shown or sequential order or that all illustrated operations must be performed to obtain the desired results. In certain situations, multitasking and parallel processing may be advantageous. Moreover, the separation of the various components in the embodiments described above should not be construed as necessarily requiring such separation, and the program components and systems described may generally be integrated together into a single software product or packaged into multiple software products. You must understand that it exists.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been examined focusing on its embodiments. A person skilled in the art to which the present invention pertains will understand that the present invention may be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from an illustrative rather than a restrictive perspective. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the equivalent scope should be construed as being included in the present invention.
10: 인공지능 기방 자동차 부품 검사 장치
100: 수집부
200: 학습부
210: 전처리부
220: 레이블링부
230: 객체 인식부
300: 검사부10: Artificial Intelligence Automobile Parts Inspection Device
100: Collection Department
200: Learning Department
210: Preprocessing unit
220: Labeling unit
230: Object recognition unit
300: Inspection department
Claims (8)
비전 검사 장비를 통해 학습 및 검사를 위한 표준화된 이미지 데이터를 수집하는 수집부;
객체 인식 알고리즘을 이용해 생성된 딥 러닝 기반 비전 검사 모델을 생성하고 학습하는 학습부 및
상기 딥 러닝 기반 비전 검사 모델을 이용해 결함을 검사하는 검사부를 포함하는 인공지능 기반 자동차 부품 품질 검사 장치.
In an artificial intelligence-based automobile parts quality inspection device,
A collection unit that collects standardized image data for learning and inspection through vision inspection equipment;
A learning unit that creates and learns a deep learning-based vision inspection model created using an object recognition algorithm, and
An artificial intelligence-based automobile parts quality inspection device including an inspection unit that inspects defects using the deep learning-based vision inspection model.
상기 학습부는
상기 이미지 데이터를 딥 러닝에 효과적인 학습 데이터로 생성하는 인공지능 기반 자동차 부품 품질 검사 장치.
According to paragraph 1,
The learning department
An artificial intelligence-based automobile parts quality inspection device that generates the image data as effective learning data for deep learning.
상기 수집부는
서로 다른 LED 조명 파장에서 촬영된 이미지의 레이어를 겹친 합성 이미지를 생성하여 보다 정확한 제품 상태 이미지 데이터 획득하는 인공지능 기반 자동차 부품 품질 검사 장치.
According to claim 1,
The collection department
An artificial intelligence-based automobile parts quality inspection device that obtains more accurate product status image data by creating a composite image that overlaps layers of images taken at different LED lighting wavelengths.
상기 학습부는
전처리가 완료된 학습 데이터를 객체 인식 알고리즘으로 학습하여 불량 유형에 속하는 객체를 인식하는 인공지능 기반 자동차 부품 품질 검사 장치.
According to paragraph 1,
The learning department
An artificial intelligence-based automobile parts quality inspection device that recognizes objects belonging to defective types by learning preprocessed learning data with an object recognition algorithm.
비전 검사 장비를 통해 부품 이미지를 획득하는 단계;
상기 획득한 이미지 데이터를 전처리하는 단계;
상기 이미지 데이터를 불량 여부 또는 불량 유형에 따라 레이블링하는 단계; 및
딥 러닝 기반 비전 검사 모델을 생성하는 단계를 포함하는 인공지능 기반 자동차 부품 검사 방법.
In the artificial intelligence-based automobile parts inspection method performed by an artificial intelligence-based automobile parts quality inspection device,
Acquiring an image of a part through vision inspection equipment;
Preprocessing the acquired image data;
labeling the image data according to defect status or defect type; and
An artificial intelligence-based automobile parts inspection method including the step of creating a deep learning-based vision inspection model.
상기 딥 러닝 기반 비전 검사 모델을 생성하는 단계는
상기 이미지 데이터를 딥 러닝에 효과적인 학습 데이터로 생성하고 객체 인식 알고리즘을 이용해 딥 러닝 기반 비전 검사 모델을 생성하는 인공지능 기반 자동차 부품 품질 검사 장치.
In paragraph 5
The step of generating the deep learning-based vision inspection model is
An artificial intelligence-based automobile parts quality inspection device that generates the image data as effective learning data for deep learning and creates a deep learning-based vision inspection model using an object recognition algorithm.
비전 검사 장비를 통해 부품 이미지를 획득하는 단계;
상기 비전 검사 장비 기반 1차 결함을 검사하는 단계;
딥 러닝 기반 비전 검사 모델을 이용하여 비정형 결함을 검사하는 단계 및
양품/불량품을 판단하는 단계를 포함하는 인공지능 기반 자동차 부품 검사 장치.
In the artificial intelligence-based automobile parts quality inspection method performed by an artificial intelligence-based automobile parts quality inspection device,
Acquiring an image of a part through vision inspection equipment;
Inspecting primary defects based on the vision inspection equipment;
Steps to inspect atypical defects using a deep learning-based vision inspection model and
An artificial intelligence-based automobile parts inspection device that includes the step of determining good/defective products.
A computer program recorded on a computer-readable recording medium that executes the artificial intelligence-based automobile parts quality inspection method according to any one of claims 5 to 7.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220137744A KR20240057531A (en) | 2022-10-24 | 2022-10-24 | Device and method for quality inspecting of automotive parts based on ai |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220137744A KR20240057531A (en) | 2022-10-24 | 2022-10-24 | Device and method for quality inspecting of automotive parts based on ai |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20240057531A true KR20240057531A (en) | 2024-05-03 |
Family
ID=91077613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220137744A KR20240057531A (en) | 2022-10-24 | 2022-10-24 | Device and method for quality inspecting of automotive parts based on ai |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20240057531A (en) |
-
2022
- 2022-10-24 KR KR1020220137744A patent/KR20240057531A/en unknown
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ren et al. | State of the art in defect detection based on machine vision | |
CN109490316B (en) | Surface defect detection algorithm based on machine vision | |
US7162073B1 (en) | Methods and apparatuses for detecting classifying and measuring spot defects in an image of an object | |
Xue-Wu et al. | A vision inspection system for the surface defects of strongly reflected metal based on multi-class SVM | |
CN110473179B (en) | Method, system and equipment for detecting surface defects of thin film based on deep learning | |
CN115082683A (en) | Injection molding defect detection method based on image processing | |
Kuo et al. | Automated optical inspection system for surface mount device light emitting diodes | |
JP2013167596A (en) | Defect inspection device, defect inspection method, and program | |
JP2016181098A (en) | Area detection device and area detection method | |
CN102175692A (en) | System and method for detecting defects of fabric gray cloth quickly | |
JP2008175588A (en) | Visual examination device | |
CN110412055A (en) | A kind of lens white haze defect inspection method based on multiple light courcess dark-ground illumination | |
JP7151426B2 (en) | Tube glass inspection method, learning method and tube glass inspection device | |
Aydin et al. | Defect classification of railway fasteners using image preprocessing and alightweight convolutional neural network | |
Hridoy et al. | A framework for industrial inspection system using deep learning | |
JP2019200775A (en) | Surface defect inspection device and surface defect inspection method | |
Hashmi et al. | Computer-vision based visual inspection and crack detection of railroad tracks | |
KR101822963B1 (en) | An Apparatus and A Method For Detecting A Defect Based On Binary Images | |
Koodtalang et al. | Glass bottle bottom inspection based on image processing and deep learning | |
Wang et al. | Identification and detection of surface defects of outer package printed matter based on machine vision | |
KR20240057531A (en) | Device and method for quality inspecting of automotive parts based on ai | |
CN117036259A (en) | Metal plate surface defect detection method based on deep learning | |
CN109584212B (en) | MATLAB-based SLM powder bed powder laying image scratch defect identification method | |
KR101543896B1 (en) | Apparatus and method of detecting scap defect | |
CN114820622A (en) | Interlayer foreign matter detection method and device |