KR20240026562A - Apparatus and method for part defect inspection through image analysis based on artificial intelligence - Google Patents
Apparatus and method for part defect inspection through image analysis based on artificial intelligence Download PDFInfo
- Publication number
- KR20240026562A KR20240026562A KR1020220104541A KR20220104541A KR20240026562A KR 20240026562 A KR20240026562 A KR 20240026562A KR 1020220104541 A KR1020220104541 A KR 1020220104541A KR 20220104541 A KR20220104541 A KR 20220104541A KR 20240026562 A KR20240026562 A KR 20240026562A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- defect
- analysis
- learning
- information
- Prior art date
Links
- 230000007547 defect Effects 0.000 title claims abstract description 222
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 66
- 238000010191 image analysis Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000007689 inspection Methods 0.000 title claims description 105
- 238000004458 analytical method Methods 0.000 claims abstract description 123
- 230000002950 deficient Effects 0.000 claims abstract description 17
- 230000009466 transformation Effects 0.000 claims description 41
- 238000012549 training Methods 0.000 claims description 9
- 238000013434 data augmentation Methods 0.000 claims description 8
- 238000011109 contamination Methods 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 5
- 238000010998 test method Methods 0.000 claims 2
- 230000003287 optical effect Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/888—Marking defects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/10—Scanning
- G01N2201/104—Mechano-optical scan, i.e. object and beam moving
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Theoretical Computer Science (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
인공지능 기반의 영상 분석을 통한 부품 결함 검사 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 방법은, 복수의 부품 각각의 표면 영역을 촬영한 학습 이미지 및 상기 학습 이미지 상에 등장하는 결함 영역에 대한 라벨 정보를 포함하는 학습 데이터를 수집하는 단계, 상기 학습 데이터에 기초하여, 대상 부품을 촬영한 분석 대상 이미지가 입력되면, 상기 분석 대상 이미지에 반영된 상기 대상 부품의 표면 특성을 이용하여 상기 대상 부품에 대한 결함 존부에 대한 정보 및 결함 유형에 대한 정보를 포함하는 결함 정보를 출력하는 인공지능 기반의 분석 모델을 학습시키는 단계, 상기 분석 대상 이미지를 수신하는 단계 및 상기 분석 모델을 이용하여 상기 대상 부품에 대응하는 상기 결함 정보를 도출하는 단계를 수행할 수 있다.An apparatus and method for inspecting defects in parts through image analysis based on artificial intelligence are disclosed, and a method for inspecting defects in parts through image analysis based on artificial intelligence according to an embodiment of the present application includes learning by photographing the surface area of each of a plurality of parts. Collecting learning data including an image and label information about a defective area appearing on the learning image; based on the learning data, when an analysis target image taken of a target part is input, an analysis target image reflected in the analysis target image is input. Learning an artificial intelligence-based analysis model that outputs defect information including information on the presence or absence of defects and information on defect types for the target part using surface characteristics of the target part, receiving the image to be analyzed and deriving the defect information corresponding to the target part using the analysis model.
Description
본원은 인공지능 기반의 영상 분석을 통한 부품 결함 검사 장치 및 방법에 관한 것이다.This application relates to an apparatus and method for inspecting component defects through artificial intelligence-based image analysis.
기존의 비전검사 시스템은 이미지 상에서 식별될 수 있는 결함에 대한 정의를 개별적으로 필요로 하며, 결함의 특징 값을 수동으로 설정해야 하는 번거로움이 있을 뿐만 아니라, PCB(Printed Circuit Board)나 LCD(liquid crystal display) 패널처럼 표면 형태가 정형화되어 있는 분야에서 주로 활용되는 한계가 있었다.Existing vision inspection systems require individual definitions for defects that can be identified on images, and there is the inconvenience of manually setting defect characteristic values, as well as the need for printed circuit boards (PCBs) or liquid There were limitations in its use mainly in fields where the surface shape is standardized, such as crystal display panels.
특히, 종래의 비전검사 시스템은 검사 환경과 검사기준이 바뀔 때마다 장비를 수동(Rule-Based)으로 새롭게 세팅해야 하는 번거로움이 있으며, 다양한 불량 유형이나 보다 정밀하고 세밀한 부분에서는 정확도가 떨어지는 문제점을 안고 있다.In particular, the conventional vision inspection system has the inconvenience of having to set up the equipment again manually (Rule-Based) every time the inspection environment and inspection standards change, and has the problem of low accuracy in various types of defects or more precise and detailed parts. holding it
더욱이, 모터 하우징과 같은 원통형 금속 제품의 경우에는 내부 표면과 외부 표면의 형태가 불규칙적이고 비정형화되어 있어 결함의 특징값을 수동으로 설정하기 어려운 측면이 존재하며, 이에 따라 원통형 제품이나 부품에 대한 결함은 대부분 육안에 의한 검사로 이루어지고 있다.Moreover, in the case of cylindrical metal products such as motor housings, the shapes of the inner and outer surfaces are irregular and unstructured, making it difficult to manually set the characteristic value of the defect. As a result, defects in cylindrical products or parts are difficult to set. Most inspections are carried out by visual inspection.
이와 관련하여, 원통형 제품이나 부품을 대상으로 한 인공지능 기반의 결함 검출 알고리즘을 도입하는 것을 고려할 수 있으나, 종래의 인공지능 알고리즘 기반 검사 시스템의 경우, 80% 수준의 낮은 결함 검출율을 보여 정확도 성능에 대한 개선이 필요할 뿐만 아니라, 결함 검사항목 또한 일부 표면 크랙과 본드 누락 부분에서만 제한적으로 적용 가능한 문제가 있었다.In this regard, it is possible to consider introducing an artificial intelligence-based defect detection algorithm for cylindrical products or parts. However, in the case of the conventional artificial intelligence algorithm-based inspection system, the defect detection rate is as low as 80% and the accuracy performance is poor. Not only was there a need for improvement, but there was also a problem with the defect inspection items being applicable only to some surface cracks and missing bonds.
본원의 배경이 되는 기술은 한국등록특허공보 제10-2108956호에 개시되어 있다.The technology behind this application is disclosed in Korean Patent Publication No. 10-2108956.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 원통 형상 등 비정형적인 형상을 가지는 부품에 대한 결함 정보를 해당 부품을 촬영한 분석 대상 이미지에 대한 인공지능 기반의 영상 분석을 통해 정밀하게 검출할 수 있는 인공지능 기반의 영상 분석을 통한 부품 결함 검사 장치 및 방법을 제공하려는 것을 목적으로 한다.The purpose of this application is to solve the problems of the prior art described above, and to accurately detect defect information on parts with atypical shapes, such as cylindrical shapes, through artificial intelligence-based image analysis of analysis target images taken of the parts. The purpose is to provide a device and method for inspecting defects in parts through image analysis based on artificial intelligence.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical challenges sought to be achieved by the embodiments of the present application are not limited to the technical challenges described above, and other technical challenges may exist.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 방법은, 복수의 부품 각각의 표면 영역을 촬영한 학습 이미지 및 상기 학습 이미지 상에 등장하는 결함 영역에 대한 라벨 정보를 포함하는 학습 데이터를 수집하는 단계, 상기 학습 데이터에 기초하여, 대상 부품을 촬영한 분석 대상 이미지가 입력되면, 상기 분석 대상 이미지에 반영된 상기 대상 부품의 표면 특성을 이용하여 상기 대상 부품에 대한 결함 존부에 대한 정보 및 결함 유형에 대한 정보를 포함하는 결함 정보를 출력하는 인공지능 기반의 분석 모델을 학습시키는 단계, 상기 분석 대상 이미지를 수신하는 단계 및 상기 분석 모델을 이용하여 상기 대상 부품에 대응하는 상기 결함 정보를 도출하는 단계를 수행할 수 있다.As a technical means for achieving the above-described technical task, a method for inspecting defects in parts through artificial intelligence-based image analysis according to an embodiment of the present application includes learning images taken of the surface area of each of a plurality of parts and images of the learning images. A step of collecting learning data including label information about defective areas appearing in the target part, based on the learning data, when an image to be analyzed taken of a target part is input, surface characteristics of the target part reflected in the image to be analyzed Learning an artificial intelligence-based analysis model that outputs defect information including information on the presence or absence of defects and information on defect types for the target part using , receiving the analysis target image, and the analysis model The step of deriving the defect information corresponding to the target component can be performed using .
또한, 상기 복수의 부품 및 상기 대상 부품은 각각 원통 형상의 부품일 수 있다.Additionally, the plurality of parts and the target part may each be a cylindrical part.
또한, 상기 학습 이미지 및 상기 분석 대상 이미지는 상기 원통 형상의 부품의 내부 표면 형상 및 외부 표면 형상을 포함하도록 촬영될 수 있다.Additionally, the learning image and the analysis target image may be captured to include an inner surface shape and an outer surface shape of the cylindrical part.
또한, 상기 내부 표면의 형상은 상기 원통 형상의 연장 방향에 대응하는 부품의 내벽의 형상을 포함할 수 있다.Additionally, the shape of the inner surface may include the shape of the inner wall of the component corresponding to the direction in which the cylindrical shape extends.
또한, 상기 학습 데이터를 수집하는 단계는, 상기 복수의 부품 각각을 상기 원통 형상의 개구 영역을 바라보는 촬영 방향으로 촬영된 상기 학습 이미지를 획득할 수 있다.Additionally, in the step of collecting the learning data, the learning image may be acquired by photographing each of the plurality of parts in a shooting direction looking at the cylindrical opening area.
또한, 상기 분석 대상 이미지를 수신하는 단계는, 상기 대상 부품을 상기 원통 형상의 개구 영역을 바라보는 촬영 방향으로 촬영된 상기 분석 대상 이미지를 획득할 수 있다.Additionally, in the step of receiving the analysis target image, the analysis target image may be obtained by capturing the target part in a shooting direction looking at the cylindrical opening area.
또한, 상기 결함 유형은 스크래치, 크랙, 파손, 누락, 조립 불량 및 이물질 오염 중 적어도 하나를 포함할 수 있다.Additionally, the defect type may include at least one of scratches, cracks, damage, omission, poor assembly, and contamination with foreign substances.
또한, 상기 라벨 정보는 상기 결함 유형 중 어느 하나에 대응되는 상기 결함 영역의 위치 정보, 상기 결함 영역의 규격 정보 및 상기 결함 유형에 대한 정보를 포함하도록 상기 학습 이미지 상에 중첩 표시될 수 있다.Additionally, the label information may be displayed overlaid on the learning image to include location information of the defective area corresponding to one of the defect types, standard information of the defective area, and information about the defect type.
또한, 상기 분석 대상 이미지를 수신하는 단계는, 상기 내부 표면 형상에 대응하는 밝기가 미리 설정된 밝기 이상이 되도록 상기 대상 부품을 향하여 조명에 의한 광이 조사되는 상태에서 촬영된 상기 분석 대상 이미지를 획득할 수 있다.In addition, the step of receiving the image to be analyzed may include obtaining the image to be analyzed captured in a state in which light by illumination is irradiated toward the target part such that the brightness corresponding to the inner surface shape is more than a preset brightness. You can.
또한, 상기 분석 대상 이미지를 수신하는 단계는, 상기 원통 형상의 연장 방향을 축으로 한 상기 대상 부품의 회전에 따른 복수의 분석 대상 이미지를 획득할 수 있다.In addition, the step of receiving the analysis target image may acquire a plurality of analysis target images according to rotation of the target component about the cylindrical extension direction as an axis.
또한, 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 방법은, 상기 학습 이미지 각각에 대한 회전 변환, 원근 왜곡 변환, 밝기 변환, 대비 변환 및 반전 변환 중 적어도 하나를 포함하는 데이터 증강을 적용하는 단계를 포함할 수 있다.In addition, the method for inspecting defects in parts through artificial intelligence-based image analysis according to an embodiment of the present application includes at least one of rotation transformation, perspective distortion transformation, brightness transformation, contrast transformation, and inversion transformation for each of the learning images. It may include applying data augmentation.
또한, 상기 대상 부품은 모터 하우징 부품일 수 있다.Additionally, the target component may be a motor housing component.
또한, 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 방법은, 상기 분석 대상 이미지 및 상기 결함 정보를 포함하는 결함 관리 인터페이스를 사용자 단말을 통해 제공하는 단계를 포함할 수 있다.In addition, the method of inspecting defects in parts through artificial intelligence-based image analysis according to an embodiment of the present application may include providing a defect management interface including the analysis target image and the defect information through a user terminal. .
한편, 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 장치는, 복수의 부품 각각의 표면 영역을 촬영한 학습 이미지 및 상기 학습 이미지 상에 등장하는 결함 영역에 대한 라벨 정보를 포함하는 학습 데이터를 수집하는 수집부, 상기 학습 데이터에 기초하여, 대상 부품을 촬영한 분석 대상 이미지가 입력되면, 상기 분석 대상 이미지에 반영된 상기 대상 부품의 표면 특성을 이용하여 상기 대상 부품에 대한 결함 존부에 대한 정보 및 결함 유형에 대한 정보를 포함하는 결함 정보를 출력하는 인공지능 기반의 분석 모델을 학습시키는 학습부 및 상기 분석 대상 이미지를 수신하고, 상기 분석 모델을 이용하여 상기 대상 부품에 대응하는 상기 결함 정보를 도출하는 결함 분석부를 포함할 수 있다.Meanwhile, the device for inspecting defects in parts through artificial intelligence-based image analysis according to an embodiment of the present application includes learning images taken of the surface areas of each of a plurality of parts and label information about the defective areas appearing on the learning images. A collection unit that collects learning data including, when an analysis target image of a target part is input based on the learning data, defects in the target part are detected using the surface characteristics of the target part reflected in the analysis target image. A learning unit that trains an artificial intelligence-based analysis model that outputs defect information including information on presence or absence and information on defect types, and receives the analysis target image and uses the analysis model to correspond to the target part. It may include a defect analysis unit that derives the defect information.
또한, 상기 수집부는, 상기 복수의 부품 각각을 상기 원통 형상의 개구 영역을 바라보는 촬영 방향으로 촬영된 상기 학습 이미지를 획득할 수 있다.Additionally, the collection unit may acquire the learning image in which each of the plurality of parts is photographed in a shooting direction looking toward the cylindrical opening area.
또한, 상기 결함 분석부는, 상기 대상 부품을 상기 원통 형상의 개구 영역을 바라보는 촬영 방향으로 촬영된 상기 분석 대상 이미지를 획득할 수 있다.In addition, the defect analysis unit may acquire the image of the analysis object captured in the direction in which the target component is viewed from the cylindrical opening area.
또한, 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 장치는, 상기 학습 이미지 각각에 대한 회전 변환, 원근 왜곡 변환, 밝기 변환, 대비 변환 및 반전 변환 중 적어도 하나를 포함하는 데이터 증강을 적용하는 전처리부를 포함할 수 있다.In addition, the device for inspecting defects in parts through artificial intelligence-based image analysis according to an embodiment of the present application includes at least one of rotation transformation, perspective distortion transformation, brightness transformation, contrast transformation, and inversion transformation for each of the learning images. It may include a preprocessor that applies data augmentation.
한편, 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 시스템은, 대상 부품의 표면 영역을 포함하는 분석 대상 이미지를 촬영하는 촬영 모듈, 상기 분석 대상 이미지를 수신하고, 복수의 부품 각각의 표면 영역을 촬영한 학습 이미지 및 상기 학습 이미지 상에 등장하는 결함 영역에 대한 라벨 정보를 포함하는 학습 데이터에 기초한 학습을 통해 생성된 인공지능 기반의 분석 모델을 이용하여 상기 분석 대상 이미지에 반영된 상기 대상 부품의 표면 특성에 따른 상기 대상 부품에 대한 결함 존부에 대한 정보 및 결함 유형에 대한 정보를 포함하는 결함 정보를 출력하는 분석 모듈 및 상기 분석 대상 이미지 및 상기 결함 정보를 표시하는 디스플레이 모듈을 포함할 수 있다.Meanwhile, a component defect inspection system through artificial intelligence-based image analysis according to an embodiment of the present application includes a photographing module for photographing an analysis target image including the surface area of the target component, receiving the analysis target image, and a plurality of Using an artificial intelligence-based analysis model created through learning based on learning data including learning images taken of the surface area of each part and label information about defective areas appearing on the learning images, the analysis target image is An analysis module that outputs defect information including information on the presence or absence of defects and information on defect types for the target part according to the reflected surface characteristics of the target part, and a display module that displays the analysis target image and the defect information. It can be included.
또한, 상기 대상 부품 및 상기 복수의 부품 각각은 원통 형상의 부품일 수 있다.Additionally, each of the target component and the plurality of components may be a cylindrical component.
또한, 상기 학습 이미지 및 상기 분석 대상 이미지는 상기 원통 형상의 부품의 내부 표면 형상 및 외부 표면 형상을 포함하도록 촬영될 수 있다.Additionally, the learning image and the analysis target image may be captured to include an inner surface shape and an outer surface shape of the cylindrical part.
또한, 상기 촬영 모듈은, 상기 원통 형상의 연장 방향에 대응하는 부품의 내벽의 형상을 포함하는 상기 내부 표면의 형상을 촬영하는 입체형 광학 카메라일 수 있다.Additionally, the photographing module may be a three-dimensional optical camera that photographs the shape of the inner surface including the shape of the inner wall of the component corresponding to the direction in which the cylindrical shape extends.
또한, 상기 입체형 광학 카메라는, 상기 대상 부품을 상기 원통 형상의 개구 영역을 바라보는 촬영 방향에 기반하여 상기 분석 대상 이미지를 촬영할 수 있다.Additionally, the three-dimensional optical camera may capture the image to be analyzed based on a shooting direction in which the target component is viewed from the cylindrical opening area.
또한, 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 시스템은, 상기 내부 표면 형상에 대응하는 밝기가 미리 설정된 밝기 이상이 되도록 상기 대상 부품을 향하여 광을 조사하는 조명 모듈을 포함할 수 있다.In addition, the part defect inspection system through artificial intelligence-based image analysis according to an embodiment of the present application includes a lighting module that irradiates light toward the target part so that the brightness corresponding to the inner surface shape is more than a preset brightness. It can be included.
또한, 상기 결함 유형은 스크래치, 크랙, 파손, 누락, 조립 불량 및 이물질 오염 중 적어도 하나를 포함할 수 있다.Additionally, the defect type may include at least one of scratches, cracks, damage, omission, poor assembly, and contamination with foreign substances.
또한, 상기 라벨 정보는 상기 결함 유형 중 어느 하나에 대응되는 상기 결함 영역의 위치 정보, 상기 결함 영역의 규격 정보 및 상기 결함 유형에 대한 정보를 포함하도록 상기 학습 이미지 상에 중첩 표시될 수 있다.Additionally, the label information may be displayed overlaid on the learning image to include location information of the defective area corresponding to one of the defect types, standard information of the defective area, and information about the defect type.
또한, 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 시스템은, 상기 원통 형상의 연장 방향을 축으로 하여 상기 대상 부품을 회전시키도록 상기 대상 부품이 안착되는 검사대 모듈을 포함할 수 있다.In addition, the part defect inspection system through artificial intelligence-based image analysis according to an embodiment of the present application includes an inspection table module on which the target part is seated to rotate the target part around the direction of extension of the cylindrical shape. can do.
또한, 상기 촬영 모듈은 상기 대상 부품의 회전에 따른 복수의 분석 대상 이미지를 획득할 수 있다.Additionally, the imaging module may acquire a plurality of analysis target images according to rotation of the target component.
또한, 상기 대상 부품은 모터 하우징 부품일 수 있다.Additionally, the target component may be a motor housing component.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.The above-described means of solving the problem are merely illustrative and should not be construed as intended to limit the present application. In addition to the exemplary embodiments described above, additional embodiments may be present in the drawings and detailed description of the invention.
전술한 본원의 과제 해결 수단에 의하면, 원통 형상 등 비정형적인 형상을 가지는 부품에 대한 결함 정보를 해당 부품을 촬영한 분석 대상 이미지에 대한 인공지능 기반의 영상 분석을 통해 정밀하게 검출할 수 있는 인공지능 기반의 영상 분석을 통한 부품 결함 검사 장치 및 방법을 제공할 수 있다.According to the above-described means of solving the problem of this institute, artificial intelligence can precisely detect defect information on parts with atypical shapes, such as cylindrical shapes, through artificial intelligence-based image analysis of analysis target images taken of the parts. A device and method for inspecting component defects through image analysis can be provided.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.However, the effects that can be obtained herein are not limited to the effects described above, and other effects may exist.
도 1은 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 시스템의 개략적인 구성도이다.
도 2는 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 시스템의 구현 예시를 촬영한 도면이다.
도 3은 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 시스템을 이용한 사용자 유형 별 관제 항목과 서버 유형별 시스템 기능을 설명하기 위한 개념도이다.
도 4a 및 도 4b는 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 시스템의 검사대 모듈을 설명하기 위한 도면이다.
도 5a 및 도 5b는 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 시스템의 조명 모듈을 설명하기 위한 도면이다.
도 6은 분석 대상 이미지에 분석된 결함 정보를 중첩하여 표시한 시각화 결과를 예시적으로 나타낸 도면이다.
도 7a 내지 도 7d는 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 시스템의 디스플레이 모듈을 통해 표출되는 결함 정보 표시 인터페이스를 예시적으로 나타낸 도면이다.
도 8은 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 장치의 개략적인 구성도이다.
도 9는 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 방법에 대한 동작 흐름도이다.1 is a schematic diagram of a component defect inspection system through artificial intelligence-based image analysis according to an embodiment of the present application.
Figure 2 is a diagram showing an example of the implementation of a component defect inspection system through artificial intelligence-based image analysis according to an embodiment of the present application.
Figure 3 is a conceptual diagram illustrating control items by user type and system functions by server type using a component defect inspection system through artificial intelligence-based image analysis according to an embodiment of the present application.
FIGS. 4A and 4B are diagrams for explaining the inspection table module of the component defect inspection system through artificial intelligence-based image analysis according to an embodiment of the present application.
FIGS. 5A and 5B are diagrams for explaining a lighting module of a component defect inspection system through artificial intelligence-based image analysis according to an embodiment of the present application.
Figure 6 is a diagram showing an example of a visualization result displayed by overlapping the analyzed defect information on the analysis target image.
7A to 7D are diagrams illustrating a defect information display interface displayed through a display module of a component defect inspection system through artificial intelligence-based image analysis according to an embodiment of the present application.
Figure 8 is a schematic configuration diagram of a device for inspecting defects in parts through artificial intelligence-based image analysis according to an embodiment of the present application.
Figure 9 is an operation flowchart of a method for inspecting defects in parts through artificial intelligence-based image analysis according to an embodiment of the present application.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Below, with reference to the attached drawings, embodiments of the present application will be described in detail so that those skilled in the art can easily implement them. However, the present application may be implemented in various different forms and is not limited to the embodiments described herein. In order to clearly explain the present application in the drawings, parts that are not related to the description are omitted, and similar reference numerals are assigned to similar parts throughout the specification.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다. Throughout this specification, when a part is said to be “connected” to another part, this means not only “directly connected” but also “electrically connected” or “indirectly connected” with another element in between. "Includes cases where it is.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.Throughout this specification, when a member is said to be located “on”, “above”, “at the top”, “below”, “at the bottom”, or “at the bottom” of another member, this means that a member is located on another member. This includes not only cases where they are in contact, but also cases where another member exists between two members.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification of the present application, when a part "includes" a certain component, this means that it may further include other components rather than excluding other components unless specifically stated to the contrary.
본원은 인공지능 기반의 영상 분석을 통한 부품 결함 검사 장치 및 방법에 관한 것이다.This application relates to an apparatus and method for inspecting component defects through artificial intelligence-based image analysis.
도 1은 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 시스템의 개략적인 구성도이고, 도 2는 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 시스템의 구현 예시를 촬영한 도면이다.Figure 1 is a schematic configuration diagram of a component defect inspection system through artificial intelligence-based image analysis according to an embodiment of the present application, and Figure 2 is a component defect inspection through artificial intelligence-based image analysis according to an embodiment of the present application. This is a drawing showing an example of system implementation.
도 1 및 도 2를 참조하면, 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 시스템(10)(이하, '검사 시스템(10)'라 한다.)은 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 장치(100)(이하, '결함 검사 장치(100)'라 한다.), 촬영 모듈(200), 사용자 단말(300) 및 관리자 단말(400)을 포함할 수 있다. 또한, 후술하는 도 4a 내지 도 5b를 참조하면, 검사 시스템(10)은 검사대 모듈(500) 및 조명 모듈(600)을 포함할 수 있다.Referring to FIGS. 1 and 2, the component defect inspection system 10 (hereinafter referred to as the ‘inspection system 10’) through artificial intelligence-based image analysis according to an embodiment of the present application is an implementation of the present application. Part
또한, 도 1을 참조하면, 결함 검사 장치(100)는 이하에서 상세히 설명하는 인공지능 기반의 분석 모델을 생성(학습)시키기 위한 학습 서버(102)와 학습 서버(102)에 의해 구축된 분석 모델을 이용한 결함 탐지 및 분류를 수행하는 메인 서버(101)를 구비할 수 있으나, 이에만 한정되는 것은 아니다. 다른 예로, 본원의 구현예에 따라서는 결함 검사 장치(100)는 메인 서버(101)의 기능과 학습 서버(102)의 기능을 통합적으로 수행하는 단일 서버 장치일 수 있다. 참고로, 본원에서 개시하는 결함 검사 장치(100)는 분석 모듈(100)로 달리 지칭될 수 있다. 달리 말해, 본원의 실시예에 관한 설명에서 도면 부호 100은 '결함 검사 장치' 및 '분석 모듈'을 함께 지칭하는 것일 수 있다.In addition, referring to FIG. 1, the
결함 검사 장치(100), 촬영 모듈(200), 사용자 단말(300), 관리자 단말(400), 검사대 모듈(500) 및 조명 모듈(600) 상호간은 네트워크(20)를 통해 통신할 수 있다. 네트워크(20)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(20)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.The
사용자 단말(300) 및 관리자 단말(400)은 예를 들면, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 무선 통신 장치일 수 있다.The
이하에서는 도 3 내지 도 7d를 참조하여 결함 검사 장치(100)의 구체적인 기능 및 동작에 대하여 설명하도록 한다.Hereinafter, specific functions and operations of the
도 3은 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 시스템을 이용한 사용자 유형 별 관제 항목과 서버 유형별 시스템 기능을 설명하기 위한 개념도이다.Figure 3 is a conceptual diagram illustrating control items by user type and system functions by server type using a component defect inspection system through artificial intelligence-based image analysis according to an embodiment of the present application.
도 3을 참조하면, 본원에서 개시하는 검사 시스템(10)은 소정의 부품(대상 부품)에 대한 영상 기반의 결함 검사를 수행하는 주체(도 3의 검사원 등), 소정의 부품 또는 소정의 부품이 탑재되는 장비, 설비 등에 대한 현장관리를 수행하는 주체(도 3의 현장 관리자), 결함 검사 장치(100)에 탑재되는 인공지능 기반의 분석 모델에 대한 학습, 학습된 분석 모델에 대한 서버 관리, 배포 등을 관리하는 주체(도 3의 서버 및 모델 관리자) 등을 포함하는 다양한 사용자에 대한 기능을 제공하도록 구현될 수 있으나, 이에만 한정되는 것은 아니다.Referring to FIG. 3, the
이와 관련하여, 본원의 실시예에 관한 설명에서 사용자 단말(300)은 결함 검사를 수행하는 주체인 검사원 등의 사용자가 보유한 단말을 지칭하고, 관리자 단말(400)은 현장 관리자, 서버 및 모델 관리자 등의 사용자가 보유한 단말을 지칭하는 것으로 상호 구분되는 것일 수 있으나, 이에만 한정되는 것은 아니다. 다른 예로, 본원의 구현예에 따라서는 사용자 단말(300) 및 관리자 단말(400)은 하나의 사용자의 단말을 지칭하되, 해당 단말을 통해 수행될 수 있는 기능이 상호 구분되는 방식일 수도 있다.In this regard, in the description of the embodiment of the present application, the
또한, 도 3을 참조하면, 결함 검사 장치(100)는 인공지능 기반의 분석 모델을 생성(학습)시키기 위한 학습 서버(102)와 학습 서버(102)에 의해 구축된 분석 모델을 이용한 결함 탐지 및 분류를 수행하는 메인 서버(101)를 구비할 수 있다.In addition, referring to FIG. 3, the
구체적으로, 학습 서버(102)는 '모델 훈련 시스템'을 통해 인공지능 기반의 분석 모델의 학습을 위한 학습 데이터에 대한 전처리 및 파라미터 설정, 분석 모델의 훈련(Training), 분석 모델의 출력 결과에 대한 분석 및 이에 기반한 분석 모델 업데이트(갱신, 최적화)를 수행하고, 메인 서버(101)는 학습 서버(102)에 의해 구축된 분석 모델을 이용한 '결함 탐지 및 분류'를 수행하고, 사용자 검사 소프트웨어를 이용하여 사용자 단말(300) 및 관리자 단말(400) 중 적어도 하나로 결함 검사에 대한 결과, 정보를 표시하고, 통계 및 분석 소프트웨어를 이용하여 사용자 단말(300) 및 관리자 단말(400) 중 적어도 하나로 여러 부품에 대한 종합적인 결함 검사 정보에 대한 통계 정보를 시각화하여 표시할 수 있다. 또한, 메인 서버(101)는 '데이터 및 서버 관리'를 통해 사용자 단말(300), 관리자 단말(400)에 대한 사용자 인증, 권한 관리(권한 부여), 서버 관리, 계정 관리, 데이터베이스 관리, 이미지/로그/모델 저장 등의 기능을 수행할 수 있다.Specifically, the learning
이하에서는 결함 검사 장치(100)가 인공지능 기반의 분석 모델을 생성하는 프로세스에 대하여 상세히 설명하도록 한다. 한편, 인공지능 기반의 분석 모델 생성 프로세스는 결함 검사 장치(100) 중 전술한 학습 서버(102)에 의해 수행되는 것일 수 있다.Hereinafter, the process by which the
결함 검사 장치(100)는 복수의 부품 각각의 표면 영역을 촬영한 학습 이미지 및 학습 이미지 상에 등장하는 결함 영역에 대한 라벨 정보를 포함하는 학습 데이터를 수집할 수 있다.The
보다 구체적으로, 결함 검사 장치(100)가 학습 데이터로서 수집하는 학습 이미지에 대하여 부여되는 라벨 정보는 분석 모델을 통해 탐지하고자 하는 복수의 결함 유형 중 어느 하나에 대응되는 결함 영역의 위치 정보, 결함 영역의 규격 정보 및 결함 유형에 대한 정보를 포함하도록 학습 이미지 상에 중첩 표시될 수 있다. 예시적으로, 결함 영역의 위치 정보 및 규격 정보는 결함 영역을 감싸는 경계 상자(Bounding Box, BBox) 형태로 표시되고, 결함 유형에 대한 정보는 미리 분류된 결함 유형에 대한 텍스트 기반의 정보를 포함하는 것일 수 있다.More specifically, the label information given to the learning image that the
이와 관련하여, 본원에서 개시하는 결함 검사 장치(100)에 의해 탐지될 수 있는 결함 유형은 스크래치, 크랙, 파손, 누락, 조립 불량 및 이물질 오염 중 적어도 하나를 포함할 수 있으나, 이에만 한정되는 것은 아니다. 보다 구체적으로, 결함 검사 장치(100)는 원통 형상의 부품인 모터 하우징 부품을 분석 대상으로 하여 모터 하우징 부품에 대한 결함 유형인 커버 조립 불량, 코킹 불량, 커버/클린칭 본드 오염, 내측 본드 오염, 클린칭 휠, 외관 파손, 마그네트 파손, 마그네트 크랙, 메탈부쉬 누락, 메탈부쉬 파손, 칩 불량 등의 다양한 범주를 포함하는 결함 유형을 라벨 정보로서 할당하는 것일 수 있다.In this regard, defect types that can be detected by the
달리 말해, 본원에서 개시하는 결함 검사 장치(100)는 각각이 원통 형상으로 이루어지는 복수의 부품에 대한 학습 이미지를 학습 데이터로서 수집하여 인공지능 기반의 분석 모델을 학습(구축)함으로써, 분석 모델을 이용하여 원통 형상의 부품인 대상 부품(예를 들면, 자동차에 탑재되는 모터 하우징 부품 등)에 대한 결함 탐지를 수행하도록 동작할 수 있다.In other words, the
즉, 결함 검사 장치(100)로 입력되는 복수의 부품에 대한 학습 이미지 및 대상 부품에 대한 분석 대상 이미지는 해당 오브젝트의 원통 형상의 부품의 내부 표면 형상 및 외부 표면 형상을 포함하도록 촬영된 이미지일 수 있다. 보다 구체적으로, 학습 이미지 및 분석 대상 이미지에 반영되는 해당 부품의 내부 표면의 형상은 원통 형상의 연장 방향에 대응하는 부품의 내벽의 형상을 포함할 수 있다.In other words, the learning image for a plurality of parts input to the
이와 관련하여, 결함 검사 장치(100)는 원통 형상의 연장 방향에 대응하는 부품의 내벽의 형상을 포함하는 내부 표면의 형상을 촬영할 수 있는 입체형 광학 카메라(210)를 포함하는 촬영 모듈(200)로부터 학습 이미지 및 분석 대상 이미지를 수신하는 것일 수 있다.In this regard, the
참고로, 종래의 영상 분석 기반의 결함 검출 솔루션들이 사용하는 카메라는 주로 핀홀 렌즈라 불리는 평평한 화각만을 촬영하는 일반적인 카메라 모듈을 사용하며, 주로 OLED/LCD 패널 검사, 태양열 패널 불량 검사, 2차 전지, 반도체 관련(PCB, Wafer 등) 표면검사 등에 사용된다. 이와 대비하여, 본원에서 개시하는 검사 시스템(10)은 원통 형상의 부품의 개구 영역(홀)의 바닥면과 원통의 연장 방향에 대응하는 수직 벽면을 촬영할 수 있도록 설계된 360도 인사이드 뷰 검사 렌즈가 장착된 광학카메라인 입체형 광학 카메라(210)를 사용할 수 있다. 이러한, 입체형 광학 카메라(210)는 원통 형상의 부품의 내부 표면 및 외부 표면을 통합적으로 고해상도로 촬영할 수 있는 장점이 있다.For reference, the cameras used in conventional video analysis-based defect detection solutions mainly use general camera modules that capture only a flat angle of view, called pinhole lenses, and are mainly used for OLED/LCD panel inspection, solar panel defect inspection, secondary battery, It is used for surface inspection of semiconductors (PCB, wafer, etc.). In contrast, the
또한, 본원에서 개시하는 검사 시스템(10)은 입체형 광학 카메라(210)를 촬영 모듈(200)로서 활용함으로써, 부품의 원통 홀 안으로 광학 카메라를 직접 넣을 필요가 없을 뿐만 아니라, 매우 높은 피사계 심도를 제공하여 다양한 모양과 치수를 가진 제품들을 모두 단일 렌즈로 촬영할 수 있다는 이점이 있다. 또한, 본원에서 개시하는 검사 시스템(10)은 후술하는 조명 모듈(600)을 통해 직접 조명과 간접 조명을 효과적으로 조합하여 미세하고 잘 보이지 않는 미세한 결함까지 찾아낼 수 있도록 표면결함 탐지 성능 최적화가 가능한 특징이 있다.In addition, the
한편, 도 1을 참조하면, 본원에서 개시하는 검사 시스템(10)은 원통 형상의 부품의 외부 표면에 대한 영상 내지 부품의 외면을 전체적으로 촬영한 추가 이미지를 획득하는 비전 카메라(220)를 추가로 구비할 수 있으며, 본원의 구현예에 따라서는 분석 모델에 학습에 사용되는 학습 이미지와 분석 대상인 대상 부품에 대하여 촬영된 분석 대상 이미지는 입체형 광학 카메라(210)에 의해 획득된 제1유형 이미지 및 비전 카메라(220)에 의해 획득된 제2유형 이미지를 포함하는 것일 수 있다.Meanwhile, referring to FIG. 1, the
달리 말해, 결함 검사 장치(100)는 복수의 부품 각각을 원통 형상의 개구 영역을 바라보는 촬영 방향으로 촬영된 제1유형 이미지를 학습 이미지로서 입체형 광학 카메라(210)로부터 획득하고, 대상 부품을 원통 형상의 개구 영역을 바라보는 촬영 방향으로 촬영된 제1유형 이미지를 분석 대상 이미지로서 입체형 광학 카메라(210)로부터 획득하고, 필요에 따라서는 비전 카메라(220)를 이용하여 촬영된 부품의 외면 형상에 대한 제2유형 이미지를 추가로 획득하도록 동작할 수 있다.In other words, the
또한, 결함 검사 장치(100)는 수집된 학습 이미지 각각에 대한 회전 변환, 원근 왜곡 변환, 밝기 변환, 대비 변환 및 반전 변환 중 적어도 하나를 포함하는 데이터 증강을 적용하는 전처리를 수행할 수 있다. 이와 관련하여, 결함 검사 장치(100)는 양품 데이터 대비 결함 영역을 포함하는 학습 데이터의 샘플 수가 충분하지 않을 수 있는 점을 고려하여, 소수의 학습 데이터로부터 다양한 형태의 결함 데이터를 생성하는 전처리 과정을 통해 충분한 수와 다양한 결함 데이터를 확보하고, 이에 기반하여 정확도가 높은 결함 탐지를 수행할 수 있는 분석 모델을 학습시킬 수 있다.Additionally, the
본원의 일 실시예에 따르면, 결함 검사 장치(100)는 경쟁적-대립 신경망(Generative Adversarial Networks, GAN) 기반의 데이터 증강(Data augmentation) 알고리즘을 적용함으로써 학습 이미지 각각에 대한 회전 변환, 원근 왜곡 변환, 밝기 변환, 대비 변환, 반전 변환 등의 이미지 변환을 수행하여 학습 데이터의 양을 늘릴 수 있다.According to an embodiment of the present application, the
또한, 결함 검사 장치(100)는 전처리가 수행된 학습 데이터에 기초하여, 분석 대상 이미지가 입력되면, 대상 부품의 표면 특성(외면 특성 및 내면 특성)을 이용하여 대상 부품에 대한 결함 존부에 대한 정보 및 결함 유형에 대한 정보를 포함하는 결함 정보를 출력하는 인공지능 기반의 분석 모델을 학습시킬 수 있다.In addition, when an image to be analyzed is input based on preprocessed learning data, the
이와 관련하여 본원의 일 실시예에 따르면, 결함 검사 장치(100)는 비정형적인 형상을 가지는 부품의 영상을 대상으로 결함 정보를 정밀하게 획득할 수 있도록, 다중 결함검출(Multi Object Detection) 알고리즘 기반의 분석 모델을 학습시킬 수 있다. 또한, 결함 검사 장치(100)는 실시간으로 촬영된 분석 대상 이미지에 대한 결함 탐지를 위해 종래의 Faster R-CNN(Regions with CNN features), YOLO 알고리즘, SSD(Single Shot Detector) 등의 복수의 심층 신경망 모델을 결합 및 확장한 분석 모델을 구축할 수 있다.In this regard, according to an embodiment of the present application, the
또한, 결함 검사 장치(100)는 인공지능 기반의 분석 모델의 학습이 완료되고 나면, 분석 대상 이미지를 수신하고, 분석 모델을 이용하여 대상 부품에 대응하는 결함 정보를 도출할 수 있다.Additionally, after learning of the artificial intelligence-based analysis model is completed, the
도 4a 및 도 4b는 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 시스템의 검사대 모듈을 설명하기 위한 도면이다.FIGS. 4A and 4B are diagrams for explaining the inspection table module of the component defect inspection system through artificial intelligence-based image analysis according to an embodiment of the present application.
도 4a 및 도 4b를 참조하면, 결함 검사 장치(100)는 원통 형상의 연장 방향을 축으로 한 대상 부품의 회전에 따라 촬영된 복수의 분석 대상 이미지를 획득할 수 있다. 이와 관련하여, 검사 시스템(10)은 원통 형상의 연장 방향을 축으로 하여 대상 부품을 회전시키도록 대상 부품이 안착되는 검사대 모듈(500)을 구비할 수 있다.Referring to FIGS. 4A and 4B , the
보다 구체적으로 도 4a를 참조하면, 검사대 모듈(500)은 상면에 대상 부품이 안착되도록 하고, 안착된 대상 부품을 원통 형상의 연장 방향을 축으로 하여 회전시킬 수 있도록 대상 부품의 축 방향에 직교하는 면 방향으로 회전하는 안착부(520) 및 안착부(520)의 상부에서 안착부(520)에 의해 지지된 대상 부품을 향하는 방향(달리 말해, 대상 부품의 원통 형상의 개구 영역을 바라보는 촬영 방향)으로 입체형 광학 카메라(210)의 촬영 위치 및 촬영 방향을 조정하도록 입체형 광학 카메라(210)를 지지 및 조정하는 카메라 고정부(510)를 포함할 수 있다.More specifically, referring to FIG. 4A, the inspection table module 500 allows the target part to be seated on the upper surface and rotates the seated target part around the direction of extension of the cylindrical shape, orthogonal to the axial direction of the target part. The seating portion 520 rotating in the plane direction and the direction toward the target part supported by the seating portion 520 at the top of the seating portion 520 (in other words, the shooting direction looking toward the cylindrical opening area of the target component) ) may include a camera fixing part 510 that supports and adjusts the three-dimensional
또한, 도 4b를 참조하면, 카메라 고정부(510)는 카메라 고정판의 좌우 간격을 조절하는 기능, 입체형 광학 카메라(210)의 고정 위치를 상하좌우로 조절하는 기능, 입체형 광학 카메라(210)의 촬영 방향(각도)을 조정하는 기능 등을 구비하는 거치대 구조로 구비될 수 있다.In addition, referring to Figure 4b, the camera fixing unit 510 has a function of adjusting the left and right spacing of the camera fixing plate, a function of adjusting the fixing position of the stereoscopic
도 5a 및 도 5b는 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 시스템의 조명 모듈을 설명하기 위한 도면이다.FIGS. 5A and 5B are diagrams for explaining a lighting module of a component defect inspection system through artificial intelligence-based image analysis according to an embodiment of the present application.
도 5a 및 도 5b를 참조하면, 결함 검사 장치(100)는 내부 표면 형상에 대응하는 밝기가 미리 설정된 밝기 이상이 되도록 대상 부품을 향하여 조명에 의한 광이 조사되는 상태에서 촬영된 상기 분석 대상 이미지를 획득할 수 있다.Referring to FIGS. 5A and 5B, the
또한, 이와 관련하여 검사 시스템(10)은 대상 부품의 내부 표면 형상에 대응하는 밝기가 미리 설정된 밝기 이상이 되도록 상기 대상 부품을 향하여 광을 조사하는 조명 모듈(600)을 구비할 수 있다.Additionally, in this regard, the
또한, 도 5a를 참조하면, 본원의 일 실시예에 따른 조명 모듈(600)은 대상 부품의 원통 형상의 축 방향(예를 들면, 도 5a에서 12시에서 6시 방향)과 비스듬한 경사 방향으로 배치되어 대상 부품의 내부 표면을 소정 수준의 밝기 이상이 되도록 광을 조사하는 복수 개의 광원 모듈(601a, 601b)을 포함할 수 있다. 참고로, 축 방향에 대한 광원 모듈(601a, 601b)의 경사 각도는 약 60도 수준으로 결정될 수 있으나, 이에만 한정되는 것은 아니고, 대상 부품의 부피, 대상 부품의 축 방향으로의 높이(깊이), 검사 환경의 외부 조도, 입체형 광학 카메라(210)의 높이, 광원 모듈의 개수 등을 고려하여 광원 모듈 각각의 경사 각도는 가변적으로 적용되는 것일 수 있다.In addition, referring to FIG. 5A, the
또한, 도 5b를 참조하면, 조명 모듈(600)은 광원 모듈(601a, 601b)을 파지하고, 광원 모듈(601a, 601b)의 배치 높이, 경사 각도 등을 조정하는 파지부(610)를 구비할 수 있다.In addition, referring to Figure 5b, the
한편, 본원의 일 실시예에 따르면, 결함 검사 장치(100)는 수신된 분석 대상 이미지로부터 대상 부품의 내부 표면의 형상이 용이하게 식별되는지 여부를 선제적으로 확인하여 내부 표면의 형상이 밝기 등에 의해 용이하게 식별되지 않는 것으로 판단되면, 광원 모듈(601a, 601b) 각각의 밝기, 광원 모듈(601a, 601b) 각각의 배치 높이, 광원 모듈(601a, 601b) 각각의 경사 각도 등을 조정한 후 분석 대상 이미지를 재촬영하도록 요청하는 제어 신호를 조명 모듈(600) 및 촬영 모듈(200)로 전송하도록 동작할 수 있다. 이와 관련하여, 분석 대상 이미지로부터 대상 부품의 내부 표면의 형상이 용이하게 식별되는지 여부는 수신된 분석 대상 이미지에서 대상 부품의 바닥면(하면)을 탐지함으로써 판단될 수 있다. Meanwhile, according to an embodiment of the present application, the
도 6은 분석 대상 이미지에 분석된 결함 정보를 중첩하여 표시한 시각화 결과를 예시적으로 나타낸 도면이다.Figure 6 is a diagram showing an example of a visualization result displayed by overlapping the analyzed defect information on the analysis target image.
도 6을 참조하면, 결함 분석 장치(100)는 인공지능 기반의 분석 모델을 통해 분석 대상 이미지에 대하여 도출된 결함 영역의 규격 정보 및 결함 유형에 대한 정보를 분석 대상 이미지 상에 중첩 표시할 수 있다. 또한, 결함 분석 장치(100)는 분석 대상 이미지 상에 표시되는 결함 유형에 대한 정보를 해당 결함 영역에 대하여 분류된 결함 명칭(예를 들면, 도 6의 'crack', 'fracture' 등의 텍스트)과 수치화된 신뢰도(확률) 정보(예를 들면, 도 6의 '0.73', '0.30', '0.60' 등의 수치)를 병기하는 방식으로 표시할 수 있다.Referring to FIG. 6, the
또한, 결함 분석 장치(100)는 분석 대상 이미지 및 결함 정보를 포함하는 결함 관리 인터페이스를 디스플레이 모듈(미도시)을 통해 표시할 수 있다. 예를 들어, 결함 분석 장치(100)는 사용자 단말(300) 및 관리자 단말(400) 중 적어도 하나로 생성된 결함 관리 인터페이스를 전송할 수 있다.Additionally, the
도 7a 내지 도 7d는 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 시스템의 디스플레이 모듈을 통해 표출되는 결함 정보 표시 인터페이스를 예시적으로 나타낸 도면이다.7A to 7D are diagrams illustrating a defect information display interface displayed through a display module of a component defect inspection system through artificial intelligence-based image analysis according to an embodiment of the present application.
도 7a 및 도 7b를 참조하면, 결함 검사 장치(100)는 다수의 부품에 대한 검사 현황 정보(불량 부품 개수, 불량률, 검사 목표/실적, 결함 유형 분포 등)를 시간 단위, 일단위로 표시하는 인터페이스를 제공할 수 있다.Referring to FIGS. 7A and 7B, the
또한, 도 7a 및 도 7b를 참조하면, 결함 검사 장치(100)는 일단위, 주단위, 월단위 등의 검사 결과 요약 정보(검사 날짜, 검사 수량, 불량 수량, 불량률, 결함 유형별 수량, 검사원 정보 등)를 표시하는 테이블(도표)을 표시하는 인터페이스를 제공할 수 있다.In addition, referring to FIGS. 7A and 7B, the
또한, 도 7c를 참조하면, 결함 검사 장치(100)는 결함이 존재하는 것으로 판단(달리 말해, 결함 정보가 도출)된 분석 대상 이미지(제1유형 이미지 및 제2유형 이미지)의 촬영 시의 원본 이미지를 표시하는 인터페이스를 제공할 수 있다.In addition, referring to FIG. 7C, the
또한, 도 7d를 참조하면, 결함 검사 장치(100)는 사용자 단말(300) 및 관리자 단말(400) 중 적어도 하나로 인가된 조회 기간 선택 입력(예를 들면, 도 7d의 '2022-02-01 ~ 2022-02-18' 등)에 기초하여 해당 기간의 부품의 생산 이력, 결함 검출 내역 등에 대한 통계 정보(일별 생산량 대비 불량률 추이, 불량 유형별 분석 그래프 등)를 2차 가공하여 표시하는 인터페이스를 제공할 수 있다.In addition, referring to FIG. 7D, the
도 8은 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 장치의 개략적인 구성도이다.Figure 8 is a schematic configuration diagram of a device for inspecting defects in parts through artificial intelligence-based image analysis according to an embodiment of the present application.
도 8을 참조하면, 결함 검사 장치(100)는 수집부(110), 전처리부(120), 학습부(130) 및 결함 분석부(140)를 포함할 수 있다.Referring to FIG. 8 , the
수집부(110)는 복수의 부품 각각의 표면 영역을 촬영한 학습 이미지 및 학습 이미지 상에 등장하는 결함 영역에 대한 라벨 정보를 포함하는 학습 데이터를 수집할 수 있다.The
구체적으로, 수집부(110)는 원통 형상의 부품인 복수의 부품 각각을 원통 형상의 개구 영역을 바라보는 촬영 방향으로 촬영된 학습 이미지를 획득할 수 있다.Specifically, the
전처리부(120)는 수집된 학습 이미지 각각에 대한 회전 변환, 원근 왜곡 변환, 밝기 변환, 대비 변환 및 반전 변환 중 적어도 하나를 포함하는 데이터 증강을 적용할 수 있다.The
학습부(130)는 학습 이미지에 대하여 전처리가 수행된 학습 데이터에 기초하여, 대상 부품을 촬영한 분석 대상 이미지가 입력되면, 분석 대상 이미지에 반영된 대상 부품의 표면 특성을 이용하여 대상 부품에 대한 결함 존부에 대한 정보 및 결함 유형에 대한 정보를 포함하는 결함 정보를 출력하는 인공지능 기반의 분석 모델을 학습시킬 수 있다.When an analysis target image of a target part is input based on learning data for which preprocessing has been performed on the learning image, the
결함 분석부(140)는 대상 부품을 촬영한 분석 대상 이미지를 수신할 수 있다. 구체적으로, 결함 분석부(140)는 원통 형상의 부품인 대상 부품을 원통 형상의 개구 영역을 바라보는 촬영 방향으로 촬영된 분석 대상 이미지를 획득할 수 있다.The
또한, 본원의 일 실시예에 따르면, 결함 분석부(140)는 대상 부품의 내부 표면 형상에 대응하는 밝기가 미리 설정된 밝기 이상이 되도록 대상 부품을 향하여 조명에 의한 광이 조사되는 상태에서 촬영된 분석 대상 이미지를 획득할 수 있다.In addition, according to an embodiment of the present application, the
또한, 본원의 일 실시예에 따르면, 결함 분석부(140)는 대상 부품의 원통 형상의 연장 방향을 축으로 한 대상 부품의 회전에 따른 복수의 분석 대상 이미지를 획득할 수 있다.In addition, according to an embodiment of the present application, the
또한, 결함 분석부(140)는 학습(구축)된 인공지능 기반의 분석 모델을 이용하여 대상 부품에 대응하는 결함 정보를 분석 대상 이미지로부터 도출할 수 있다.In addition, the
또한, 도면에는 도시되지 않았으나, 결함 검사 장치(100)는 분석 대상 이미지 및 결함 분석부(140)에 의해 도출된 결함 정보를 포함하는 결함 관리 인터페이스를 사용자 단말(300) 및 관리자 단말(400) 중 적어도 하나를 통해 제공하는 시각화부(미도시)를 포함할 수 있다.In addition, although not shown in the drawing, the
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.Below, we will briefly look at the operation flow of the present application based on the details described above.
도 9는 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 방법에 대한 동작 흐름도이다.Figure 9 is an operation flowchart of a method for inspecting defects in parts through artificial intelligence-based image analysis according to an embodiment of the present application.
도 9에 도시된 인공지능 기반의 영상 분석을 통한 부품 결함 검사 방법은 앞서 설명된 결함 분석 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 결함 분석 장치(100)에 대하여 설명된 내용은 인공지능 기반의 영상 분석을 통한 부품 결함 검사 방법에 대한 설명에도 동일하게 적용될 수 있다.The method of inspecting defects in parts through artificial intelligence-based image analysis shown in FIG. 9 can be performed by the
도 9를 참조하면, 단계 S11에서 수집부(110)는 복수의 부품 각각의 표면 영역을 촬영한 학습 이미지 및 학습 이미지 상에 등장하는 결함 영역에 대한 라벨 정보를 포함하는 학습 데이터를 수집할 수 있다.Referring to FIG. 9, in step S11, the
구체적으로, 단계 S11에서 수집부(110)는 원통 형상의 부품인 복수의 부품 각각을 원통 형상의 개구 영역을 바라보는 촬영 방향으로 촬영된 학습 이미지를 획득할 수 있다.Specifically, in step S11, the
다음으로, 단계 S12에서 전처리부(120)는 단계 S11에서 수집된 학습 이미지 각각에 대한 회전 변환, 원근 왜곡 변환, 밝기 변환, 대비 변환 및 반전 변환 중 적어도 하나를 포함하는 데이터 증강을 적용할 수 있다.Next, in step S12, the
다음으로, 단계 S13에서 학습부(130)는 학습 이미지에 대하여 전처리가 수행된 학습 데이터에 기초하여, 대상 부품을 촬영한 분석 대상 이미지가 입력되면, 분석 대상 이미지에 반영된 대상 부품의 표면 특성을 이용하여 대상 부품에 대한 결함 존부에 대한 정보 및 결함 유형에 대한 정보를 포함하는 결함 정보를 출력하는 인공지능 기반의 분석 모델을 학습시킬 수 있다.Next, in step S13, the
다음으로, 단계 S14에서 결함 분석부(140)는 대상 부품을 촬영한 분석 대상 이미지를 수신할 수 있다.Next, in step S14, the
구체적으로, 단계 S14에서 결함 분석부(140)는 원통 형상의 부품인 대상 부품을 원통 형상의 개구 영역을 바라보는 촬영 방향으로 촬영된 분석 대상 이미지를 획득할 수 있다.Specifically, in step S14, the
또한, 본원의 일 실시예에 따르면, 단계 S14에서 결함 분석부(140)는 대상 부품의 내부 표면 형상에 대응하는 밝기가 미리 설정된 밝기 이상이 되도록 대상 부품을 향하여 조명에 의한 광이 조사되는 상태에서 촬영된 분석 대상 이미지를 획득할 수 있다.In addition, according to an embodiment of the present application, in step S14, the
또한, 본원의 일 실시예에 따르면, 단계 S14에서 결함 분석부(140)는 대상 부품의 원통 형상의 연장 방향을 축으로 한 대상 부품의 회전에 따른 복수의 분석 대상 이미지를 획득할 수 있다.In addition, according to an embodiment of the present application, in step S14, the
다음으로, 단계 S15에서 결함 분석부(140)는 학습(구축)된 인공지능 기반의 분석 모델을 이용하여 대상 부품에 대응하는 결함 정보를 분석 대상 이미지로부터 도출할 수 있다.Next, in step S15, the
또한, 도면에는 도시되지 않았으나, 본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 방법은 분석 대상 이미지 및 단계 S15를 통해 도출된 결함 정보를 포함하는 결함 관리 인터페이스를 사용자 단말(300) 및 관리자 단말(400) 중 적어도 하나를 통해 제공하는 단계를 포함할 수 있다.In addition, although not shown in the drawings, the method of inspecting defects in parts through artificial intelligence-based image analysis according to an embodiment of the present application provides a defect management interface including the image to be analyzed and defect information derived through step S15 through a user terminal ( It may include providing information through at least one of 300) and the
상술한 설명에서, 단계 S11 내지 S15는 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.In the above description, steps S11 to S15 may be further divided into additional steps or combined into fewer steps, depending on the implementation of the present disclosure. Additionally, some steps may be omitted or the order between steps may be changed as needed.
본원의 일 실시예에 따른 인공지능 기반의 영상 분석을 통한 부품 결함 검사 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method for inspecting defects in parts through artificial intelligence-based image analysis according to an embodiment of the present application may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and constructed for the present invention or may be known and usable by those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
또한, 전술한 인공지능 기반의 영상 분석을 통한 부품 결함 검사 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.Additionally, the above-described method of inspecting parts for defects through image analysis based on artificial intelligence may also be implemented in the form of a computer program or application executed by a computer stored in a recording medium.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The description of the present application described above is for illustrative purposes, and those skilled in the art will understand that the present application can be easily modified into other specific forms without changing its technical idea or essential features. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive. For example, each component described as unitary may be implemented in a distributed manner, and similarly, components described as distributed may also be implemented in a combined form.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present application is indicated by the claims described below rather than the detailed description above, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present application.
10: 인공지능 기반의 영상 분석을 통한 부품 결함 검사 시스템
100: 인공지능 기반의 영상 분석을 통한 부품 결함 검사 장치, 분석 모듈
110: 수집부
120: 전처리부
130: 학습부
140: 결함 분석부
200: 촬영 모듈
210: 입체형 광학 카메라
220: 비전 카메라
300: 사용자 단말
400: 관리자 단말
500: 검사대 모듈
600: 조명 모듈
20: 네트워크10: Part defect inspection system through artificial intelligence-based image analysis
100: Part defect inspection device and analysis module through artificial intelligence-based image analysis
110: Collection department
120: Preprocessing unit
130: Learning Department
140: Defect analysis unit
200: Shooting module
210: Stereoscopic optical camera
220: Vision camera
300: User terminal
400: Administrator terminal
500: Inspection stand module
600: Lighting module
20: Network
Claims (17)
복수의 부품 각각의 표면 영역을 촬영한 학습 이미지 및 상기 학습 이미지 상에 등장하는 결함 영역에 대한 라벨 정보를 포함하는 학습 데이터를 수집하는 단계;
상기 학습 데이터에 기초하여, 대상 부품을 촬영한 분석 대상 이미지가 입력되면, 상기 분석 대상 이미지에 반영된 상기 대상 부품의 표면 특성을 이용하여 상기 대상 부품에 대한 결함 존부에 대한 정보 및 결함 유형에 대한 정보를 포함하는 결함 정보를 출력하는 인공지능 기반의 분석 모델을 학습시키는 단계;
상기 분석 대상 이미지를 수신하는 단계; 및
상기 분석 모델을 이용하여 상기 대상 부품에 대응하는 상기 결함 정보를 도출하는 단계,
를 포함하는, 검사 방법.In a method of inspecting defects in parts through artificial intelligence-based image analysis,
Collecting training data including training images of surface areas of each of a plurality of components and label information about defective areas appearing on the training images;
Based on the learning data, when an analysis target image taken of a target part is input, information on the presence or absence of defects and defect type for the target part is provided using the surface characteristics of the target part reflected in the analysis target image. Learning an artificial intelligence-based analysis model that outputs defect information including;
Receiving the image to be analyzed; and
Deriving the defect information corresponding to the target part using the analysis model,
Including, inspection method.
상기 복수의 부품 및 상기 대상 부품은 각각 원통 형상의 부품이고,
상기 학습 이미지 및 상기 분석 대상 이미지는 상기 원통 형상의 부품의 내부 표면 형상 및 외부 표면 형상을 포함하도록 촬영되는 것인, 검사 방법.According to paragraph 1,
The plurality of parts and the target part are each cylindrical parts,
An inspection method, wherein the learning image and the analysis target image are photographed to include an inner surface shape and an outer surface shape of the cylindrical part.
상기 내부 표면의 형상은 상기 원통 형상의 연장 방향에 대응하는 부품의 내벽의 형상을 포함하는 것인, 검사 방법.According to paragraph 2,
The inspection method, wherein the shape of the inner surface includes the shape of the inner wall of the component corresponding to the direction of extension of the cylindrical shape.
상기 학습 데이터를 수집하는 단계는,
상기 복수의 부품 각각을 상기 원통 형상의 개구 영역을 바라보는 촬영 방향으로 촬영된 상기 학습 이미지를 획득하는 것이고,
상기 분석 대상 이미지를 수신하는 단계는,
상기 대상 부품을 상기 원통 형상의 개구 영역을 바라보는 촬영 방향으로 촬영된 상기 분석 대상 이미지를 획득하는 것인, 검사 방법.According to paragraph 3,
The step of collecting the learning data is,
Obtaining the learning image taken of each of the plurality of parts in a shooting direction looking toward the cylindrical opening area,
The step of receiving the image to be analyzed is,
An inspection method, wherein the analysis target image is acquired by capturing the target part in a shooting direction looking at the cylindrical opening area.
상기 결함 유형은 스크래치, 크랙, 파손, 누락, 조립 불량 및 이물질 오염 중 적어도 하나를 포함하는 것인, 검사 방법.According to paragraph 1,
The inspection method wherein the defect type includes at least one of scratches, cracks, damage, omission, poor assembly, and foreign matter contamination.
상기 라벨 정보는 상기 결함 유형 중 어느 하나에 대응되는 상기 결함 영역의 위치 정보, 상기 결함 영역의 규격 정보 및 상기 결함 유형에 대한 정보를 포함하도록 상기 학습 이미지 상에 중첩 표시되는 것인, 검사 방법.According to clause 5,
The label information is displayed overlaid on the learning image to include location information of the defect area corresponding to one of the defect types, standard information of the defect area, and information about the defect type.
상기 분석 대상 이미지를 수신하는 단계는,
상기 내부 표면 형상에 대응하는 밝기가 미리 설정된 밝기 이상이 되도록 상기 대상 부품을 향하여 조명에 의한 광이 조사되는 상태에서 촬영된 상기 분석 대상 이미지를 획득하는 것인, 검사 방법.According to paragraph 2,
The step of receiving the image to be analyzed is,
An inspection method, wherein the analysis target image is acquired while the light from the illumination is irradiated toward the target component such that the brightness corresponding to the inner surface shape is equal to or higher than a preset brightness.
상기 분석 대상 이미지를 수신하는 단계는,
상기 원통 형상의 연장 방향을 축으로 한 상기 대상 부품의 회전에 따른 복수의 분석 대상 이미지를 획득하는 것인, 검사 방법.According to paragraph 2,
The step of receiving the image to be analyzed is,
An inspection method, wherein a plurality of analysis target images are acquired according to rotation of the target component about the direction of extension of the cylindrical shape.
상기 학습 이미지 각각에 대한 회전 변환, 원근 왜곡 변환, 밝기 변환, 대비 변환 및 반전 변환 중 적어도 하나를 포함하는 데이터 증강을 적용하는 단계,
를 더 포함하는 것인, 검사 방법.According to paragraph 1,
Applying data augmentation including at least one of rotation transformation, perspective distortion transformation, brightness transformation, contrast transformation, and inversion transformation to each of the learning images;
A test method further comprising:
상기 대상 부품은 모터 하우징 부품인 것을 특징으로 하는, 검사 방법.According to paragraph 1,
An inspection method, characterized in that the target part is a motor housing part.
상기 분석 대상 이미지 및 상기 결함 정보를 포함하는 결함 관리 인터페이스를 사용자 단말을 통해 제공하는 단계,
를 더 포함하는 것인, 검사 방법.According to paragraph 1,
Providing a defect management interface including the analysis target image and the defect information through a user terminal,
A test method further comprising:
복수의 부품 각각의 표면 영역을 촬영한 학습 이미지 및 상기 학습 이미지 상에 등장하는 결함 영역에 대한 라벨 정보를 포함하는 학습 데이터를 수집하는 수집부;
상기 학습 데이터에 기초하여, 대상 부품을 촬영한 분석 대상 이미지가 입력되면, 상기 분석 대상 이미지에 반영된 상기 대상 부품의 표면 특성을 이용하여 상기 대상 부품에 대한 결함 존부에 대한 정보 및 결함 유형에 대한 정보를 포함하는 결함 정보를 출력하는 인공지능 기반의 분석 모델을 학습시키는 학습부; 및
상기 분석 대상 이미지를 수신하고, 상기 분석 모델을 이용하여 상기 대상 부품에 대응하는 상기 결함 정보를 도출하는 결함 분석부,
를 포함하는, 검사 장치.In a device for inspecting defects in parts through artificial intelligence-based image analysis,
a collection unit that collects learning data including learning images of surface areas of each of a plurality of components and label information about defective areas appearing on the learning images;
Based on the learning data, when an analysis target image taken of a target part is input, information on the presence or absence of defects and defect type for the target part is provided using the surface characteristics of the target part reflected in the analysis target image. A learning unit that trains an artificial intelligence-based analysis model that outputs defect information including; and
A defect analysis unit that receives the image to be analyzed and derives the defect information corresponding to the target part using the analysis model;
Including, inspection device.
상기 복수의 부품 및 상기 대상 부품은 각각 원통 형상의 부품이고,
상기 학습 이미지 및 상기 분석 대상 이미지는 상기 원통 형상의 부품의 내부 표면 형상 및 외부 표면 형상을 포함하도록 촬영되는 것인, 검사 장치.According to clause 12,
The plurality of parts and the target part are each cylindrical parts,
The learning image and the analysis object image are photographed to include an inner surface shape and an outer surface shape of the cylindrical part.
상기 수집부는,
상기 복수의 부품 각각을 상기 원통 형상의 개구 영역을 바라보는 촬영 방향으로 촬영된 상기 학습 이미지를 획득하고,
상기 결함 분석부는,
상기 대상 부품을 상기 원통 형상의 개구 영역을 바라보는 촬영 방향으로 촬영된 상기 분석 대상 이미지를 획득하는 것인, 검사 장치.According to clause 13,
The collection department,
Obtaining the learning image taken of each of the plurality of parts in a shooting direction looking toward the cylindrical opening area,
The defect analysis unit,
An inspection device that acquires the image of the analysis target captured in a shooting direction looking at the cylindrical opening area of the target component.
상기 결함 유형은 스크래치, 크랙, 파손, 누락, 조립 불량 및 이물질 오염 중 적어도 하나를 포함하고,
상기 라벨 정보는 상기 결함 유형 중 어느 하나에 대응되는 상기 결함 영역의 위치 정보, 상기 결함 영역의 규격 정보 및 상기 결함 유형에 대한 정보를 포함하도록 상기 학습 이미지 상에 중첩 표시되는 것인, 검사 장치.According to clause 12,
The defect type includes at least one of scratches, cracks, damage, omission, poor assembly, and foreign matter contamination,
The label information is displayed overlaid on the learning image to include location information of the defect area corresponding to one of the defect types, standard information of the defect area, and information about the defect type.
상기 학습 이미지 각각에 대한 회전 변환, 원근 왜곡 변환, 밝기 변환, 대비 변환 및 반전 변환 중 적어도 하나를 포함하는 데이터 증강을 적용하는 전처리부,
를 더 포함하는 것인, 검사 장치.According to clause 12,
A preprocessor that applies data augmentation including at least one of rotation transformation, perspective distortion transformation, brightness transformation, contrast transformation, and inversion transformation to each of the learning images;
An inspection device further comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220104541A KR20240026562A (en) | 2022-08-22 | 2022-08-22 | Apparatus and method for part defect inspection through image analysis based on artificial intelligence |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220104541A KR20240026562A (en) | 2022-08-22 | 2022-08-22 | Apparatus and method for part defect inspection through image analysis based on artificial intelligence |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20240026562A true KR20240026562A (en) | 2024-02-29 |
Family
ID=90041540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220104541A KR20240026562A (en) | 2022-08-22 | 2022-08-22 | Apparatus and method for part defect inspection through image analysis based on artificial intelligence |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20240026562A (en) |
-
2022
- 2022-08-22 KR KR1020220104541A patent/KR20240026562A/en unknown
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Huang et al. | HRIPCB: a challenging dataset for PCB defects detection and classification | |
KR102022496B1 (en) | Process management and monitoring system using vision image detection and a method thereof | |
US20200005449A1 (en) | Defect inspection system and method using artificil intelligence | |
CN112352149A (en) | System and method for automatically analyzing air samples | |
CN101197301B (en) | Defect testing device and method | |
CN109086780B (en) | Method and device for detecting electrode plate burrs | |
CN104732900A (en) | Pixel defect detection method and device | |
CN113096119A (en) | Method and device for classifying wafer defects, electronic equipment and storage medium | |
Sahu et al. | A dual-channel dehaze-net for single image dehazing in visual Internet of Things using PYNQ-Z2 board | |
EP4033399A1 (en) | Computer device and method for estimating the density of a crowd | |
US20240104715A1 (en) | Production-speed component inspection system and method | |
WO2020168284A1 (en) | Systems and methods for digital pathology | |
Wolz et al. | X‐ray microscopy and automatic detection of defects in through silicon vias in three‐dimensional integrated circuits | |
Sha et al. | Development of an accurate and automated quality inspection system for solder joints on aviation plugs using fine-tuned YOLOv5 models | |
CN116580026B (en) | Automatic optical detection method, equipment and storage medium for appearance defects of precision parts | |
KR20240026562A (en) | Apparatus and method for part defect inspection through image analysis based on artificial intelligence | |
KR20240026561A (en) | System for part defect inspection through image analysis based on artificial intelligence | |
Malche et al. | Efficient solid waste inspection through drone‐based aerial imagery and TinyML vision model | |
CN113553986B (en) | Method and system for detecting moving target on ship | |
Xu et al. | A deep neural network-based intelligent detection model for manufacturing defects of automobile parts | |
Jamrozik et al. | Application of fused visual and thermal images in monitoring and evaluation of welding processes | |
Yousef et al. | Innovative inspection device for investment casting foundries | |
CN116735613B (en) | CCD camera-based product positioning and measuring system and use method | |
Wang et al. | Automated pavement crack detection based on multiscale fully convolutional network | |
TW202238110A (en) | Automatic optical inspection using hybrid imaging system |