KR102242996B1 - Method for atypical defects detect in automobile injection products - Google Patents
Method for atypical defects detect in automobile injection products Download PDFInfo
- Publication number
- KR102242996B1 KR102242996B1 KR1020190154765A KR20190154765A KR102242996B1 KR 102242996 B1 KR102242996 B1 KR 102242996B1 KR 1020190154765 A KR1020190154765 A KR 1020190154765A KR 20190154765 A KR20190154765 A KR 20190154765A KR 102242996 B1 KR102242996 B1 KR 102242996B1
- Authority
- KR
- South Korea
- Prior art keywords
- defect
- defects
- automobile injection
- edge
- type
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C45/00—Injection moulding, i.e. forcing the required volume of moulding material through a nozzle into a closed mould; Apparatus therefor
- B29C45/17—Component parts, details or accessories; Auxiliary operations
- B29C45/76—Measuring, controlling or regulating
- B29C45/768—Detecting defective moulding conditions
Abstract
Description
본 발명은 자동차 사출제품의 비정형 불량 검출 방법에 관한 것으로, 더욱 상세하게는 자동차 사출제품에서 발생하는 이물 불량, 스크래치 불량, 도장 불량, 얼룩 불량 및 가스 불량 등 비정형 불량을 검출하는 방법에 관한 것이다.The present invention relates to a method for detecting atypical defects in automobile injection products, and more particularly, to a method for detecting atypical defects such as foreign matter defects, scratch defects, painting defects, stain defects and gas defects occurring in automobile injection products.
다양한 산업 분야에서 제조되는 각종 제품은 소재의 결함이나 제조과정에서의 오류나 실수 등에 의해 표면에 스크래치, 이물질을 포함하는 각종 결함이 발생할 수 있는데, 이와 같은 표면상의 결함은 제품의 가치나 외관을 손상시킴에 다라 제조공정 과저에서 표면상의 결함을 가진 제품을 식별하여 제거하는 것이 바람직하다.Various products manufactured in various industrial fields may have various defects including scratches and foreign substances on the surface due to defects in materials or errors or mistakes in the manufacturing process. Such defects on the surface damage the value or appearance of the product. In addition, it is desirable to identify and remove products with surface defects at the bottom of the manufacturing process.
이를 위하여 검사원이 별도의 검사기구를 이용하거나 육안으로 제품과 같은 대상물의 표면을 일일이 검사할 수도 있으나, 인력과 시간이 많이 소요되는 문제점이 있으므로, 표면 검사를 위한 별도의 검사 장비를 구비하여 자동으로 대상물의 표면 검사가 수행되도록 하는 것이 일반적이다.To this end, the inspector may use a separate inspection device or inspect the surface of an object such as a product with the naked eye, but there is a problem that requires a lot of manpower and time, so it is automatically equipped with a separate inspection equipment for surface inspection. It is common to have an object surface inspection performed.
특히, 대상물의 표면을 촬영하는 촬영장비, 대상물을 촬영하여 획득한 정해진 크기의 표면영상을 분석하기 위한 분석용 알고리즘을 가진 컨트롤러를 구비하여 대상물의 표면 상의 결함을 찾아내는 영상 계측 시스템이 컴퓨터 장비의 발달과 영상용 보드(board)의 대중화에 의해 현재 일반적으로 활용되고 있다.In particular, the development of computer equipment is an image measurement system that detects defects on the surface of an object by having a controller with an algorithm for analyzing the surface image of a predetermined size obtained by photographing the object and a photographing equipment that photographs the surface of the object. Due to the popularization of video and video boards, they are currently being used in general.
하지만, 기존 영상처리 알고리즘의 경우 비정형 불량을 인식하는데 한계가 있다. 즉, 자동차 제품에서 발생하는 이물 불량, 스크래치 불량, 도장, 얼룩불량, 가스 불량 등은 이미지 상에 다양한 패턴으로 나타나기 때문에 기존의 영상 처리 알고리즘으로는 검사가 불가능하다. However, in the case of existing image processing algorithms, there is a limit to recognizing irregular defects. In other words, foreign matter defects, scratch defects, paintings, stain defects, gas defects, etc. that occur in automobile products appear in various patterns on the image, and thus cannot be inspected with existing image processing algorithms.
또한, 일반적으로 학습된 딥러닝 엔진을 상술한 제품 검사에 적용할 때는 불량의 유형만 판단하면, 그 유형에 해당하는 조건 검사를 시행하면 된다. 하지만 검사 조건은 검사해야 하는 영상의 면적이 증가하게 되면 가하급수적으로 검사 수행 시간이 늘어난다. 따라서 검사 조건을 시행하는 영역을 최소화하여야 하는데 그것을 위해 딥러닝 엔진이 불량의 유형 뿐만 아니라 전체 검사 제품 영상에서 어느 부위에 불량이 있는지 알 수 있는 불량 위치도 찾아 주어야 한다.In addition, when applying a generally learned deep learning engine to the above-described product inspection, if only the type of defect is determined, a conditional inspection corresponding to that type can be performed. However, the inspection conditions increase exponentially as the area of the image to be inspected increases. Therefore, the area in which the inspection conditions are enforced must be minimized. For this, the deep learning engine must find not only the type of defect, but also the defect location where the defect can be found in the entire inspection product image.
또한, 스크래치 크기를 확인해야 하는 검사 기준에 0.1㎜까지 미세하게 검사해야 할 필요가 있다. 이 문제를 해결하기 위해서는 영상이 매우 고해상도가 되어야 하며, 이는 카메라의 선택뿐만 아니라 검사해야 하는 데이터량의 매우 크게 되어 검사 시간의 증가를 초래하게 된다.In addition, it is necessary to inspect finely up to 0.1 mm in the inspection standard to confirm the scratch size. In order to solve this problem, the image must be very high-resolution, which not only selects a camera, but also increases the amount of data to be inspected, leading to an increase in inspection time.
현재 사출 공정에서는 매 3분마다 1개의 제품이 사출되고 있는데 생산성을 높이기 위해 회전율을 1분대로 줄이고자 한다. 그러면 1분 이내에 대용량 이미지의 불량 검사를 마무리해야 하는 문제가 있다.In the current injection process, one product is injected every 3 minutes, and we want to reduce the rotation rate to 1 minute to increase productivity. Then, there is a problem of finishing defect inspection of large images within one minute.
본 발명이 해결하려는 과제는 기존 영상처리 알고리즘으로 검출할 수 없는 비정형 불량을 인식하는 알고리즘을 제안함에 있다.The problem to be solved by the present invention is to propose an algorithm for recognizing atypical defects that cannot be detected by conventional image processing algorithms.
본 발명이 해결하려는 다른 과제는 불량 검사 시간을 줄이기 위해 비정형 불량의 유형과 위치를 파악하는 알고리즘을 제안함에 있다.Another problem to be solved by the present invention is to propose an algorithm for identifying the type and location of atypical defects in order to reduce the defect inspection time.
본 발명이 해결하려는 또 다른 과제는 큰 이미지 상에서 0.1㎜ 수준의 초미세 결함을 확인하는 알고리즘을 제안함에 있다.Another problem to be solved by the present invention is to propose an algorithm for checking ultra-fine defects of 0.1 mm level on a large image.
본 발명이 해결하려는 또 다른 과제는 짧은 시간내에 초고해상도 이미지를 분석해서 불량 유형과 검사기준을 만족할 수 있는 알고리즘을 제안함에 있다.Another problem to be solved by the present invention is to propose an algorithm capable of satisfying defect types and inspection criteria by analyzing an ultra-high resolution image within a short time.
이를 위해 본 발명의 자동차 사출제품의 비정형 불량 검출 방법은 자동차 사출제품을 촬영한 영상을 설정된 크기를 갖는 복수 개의 조각을 분할하는 단계; 분할된 각 조각별로 이동하면서 불량 검사를 진행하며, 불량으로 인식되는 조각이 있다면, 해당 불량이 어떤 유형의 불량인지 판단하는 단계; 및 불량 유형을 판단한 이후 해당 불량이 설정된 불량기준에 부합하는지 여부를 판단하는 단계를 포함한다.To this end, the method for detecting atypical defects in an automobile injection product of the present invention includes the steps of dividing a plurality of pieces having a set size of an image photographed of the automobile injection product; Performing a defect inspection while moving each divided piece, and if there is a piece recognized as a defect, determining what type of defect the corresponding defect is; And determining whether the defect meets the set defect criterion after determining the defect type.
본 발명에 따른 자동차 사출제품의 비정형 불량 검출 방법은 기존 영상처리 알고리즘에서 검출할 수 없는 비정형 불량을 검출하며, 특히 불량 검사 시간을 줄이기 위해 비정형 불량의 유형과 위치를 구분하여 파악한다. 또한, 본 발명은 큰 이미지 상에서 0.1㎜ 수준의 초미세 결함을 확인함으로써 스크래치 불량 등 크기의 제한이 없는 불량을 검출할 수 있게 된다.The method for detecting atypical defects in automobile injection products according to the present invention detects atypical defects that cannot be detected by existing image processing algorithms, and in particular, to reduce defect inspection time, the type and location of atypical defects are classified and identified. In addition, the present invention can detect defects with no size limitation, such as scratch defects, by confirming ultra-fine defects at the level of 0.1 mm on a large image.
도 1은 본 발명의 일실시 예에 따른 TFCL 방식의 사출제품의 불량 유무를 검사하는 방식을 도시하고 있다.
도 2는 본 발명의 일실시 예에 따른 영상 장비를 이용하여 사출제품을 촬영하고, 촬영한 사출제품을 패치 단위로 스캔하는 예를 도시하고 있다.1 is a diagram illustrating a method of inspecting the presence or absence of defects in a TFCL-type injection product according to an embodiment of the present invention.
FIG. 2 illustrates an example of photographing an injection product using the imaging equipment according to an embodiment of the present invention, and scanning the photographed injection product in units of patches.
전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시 예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명의 이러한 실시 예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.The above-described and additional aspects of the present invention will become more apparent through preferred embodiments described with reference to the accompanying drawings. Hereinafter, it will be described in detail so that those skilled in the art can easily understand and reproduce through these embodiments of the present invention.
본 발명은 제품의 불량을 검사하는 방법으로 다양한 형태의 불량 유형 검출을 위해 '선 불량 유형 판정, 후 기준검사(이하, 'First, Condition Last'이라 한다) 알고리즘'을 제안한다.The present invention proposes a'line defect type determination, post-standard inspection (hereinafter referred to as'first, condition last') algorithm' to detect various types of defect types as a method of inspecting product defects.
TFCL 불량 검사엔진은 딥러닝을 이용한 불량 유형 판정 기법과 전통적인 이미지 처리를 이용한 불량 판정 기법을 활용한다. 즉, TFCL 불량 검사 프로세스는 다음과 같다.The TFCL defect inspection engine utilizes a defect type judgment technique using deep learning and a defect judgment technique using traditional image processing. That is, the TFCL defect inspection process is as follows.
하나의 고해상도 대형 크래쉬패드(자동차 사출제품) 영상을 여러 개의 패드로 분할한다.It divides a single high-resolution, large-sized crash pad (automotive injection product) image into multiple pads.
각 패드 단위별로 불량 검사를 진행하여 불량으로 인식되는 패드가 하나도 없으면, 사출된 사출품은 불량이 없다고 판단한다.If there are no pads recognized as defective by performing a defect inspection for each pad unit, it is determined that the injected injection product has no defect.
그러나 어떤 패드가 불량이라고 판단되면 불량 후보가 될 부분의 위치를 패드 위치로 인식한다.However, if it is determined that a pad is defective, the position of a portion to be a defective candidate is recognized as the pad position.
실제 불량인지 여부는 해당 부위에 대한 정밀 검사를 진행하여 최종 불량 여부를 판단한다.Whether it is a real defect or not is determined whether it is a final defect by conducting a detailed inspection on the corresponding part.
TFCL 방식의 사출제품의 불량 유무를 검사하는 방식의 동작은 다음과 같다.The operation of the method to check the presence or absence of defects in the injection product of the TFCL method is as follows.
도 1은 본 발명의 일실시 예에 따른 TFCL 방식의 사출제품의 불량 유무를 검사하는 방식을 도시하고 있다. 이하 도 1을 이용하여 본 발명의 일실시 예에 따른 TFCL 방식의 사출제품의 불량 유무를 검사하는 방식에 대해 상세하게 알아보기로 한다.1 shows a method of inspecting the presence or absence of defects in a TFCL-type injection product according to an embodiment of the present invention. Hereinafter, a method of inspecting the presence or absence of defects in a TFCL-type injection product according to an embodiment of the present invention will be described in detail with reference to FIG. 1.
영상이 입력되면, 딥러닝 기반의 불량 판정 엔진이 불량의 유형과 불량이 될 수 있는 후보를 판별한다. 후보로 판정된 영상의 불량 유형이 가스 자국 불량이면 다음으로 진행하지 않고, 불량제품으로 결정한다. 이는 가스자국 불량이나 얼룩 불량의 경우 크기에 대한 기준이 없으므로 크기와 상관없이 불량으로 판정되어야 하기 때문이다.When an image is input, a deep learning-based defect determination engine determines the type of defect and a candidate that may be a defect. If the defect type of the video judged as a candidate is a defect with gas traces, it does not proceed to the next, and is determined as a defective product. This is because there is no standard for size in the case of defective gas marks or stains, so it must be determined as defective regardless of the size.
불량 유형이 도장 유형이나 얼룩 불량으로 판정된 영상을 제외하고 나머지는 불량 유형별 기준 검사 엔진으로 입력된다. 입력된 영상은 불량 후보가 있는 패치를 기준으로 주변 패치들과 함께 더 세밀한 검사를 한다. 그리고 불량에 대한 영상을 추출하여 그 크기를 계산하여 유형별로 합격 기준을 넘어서는지를 확인한다. Except for images whose defect type is determined to be painting type or stain defect, the rest are input to the standard inspection engine for each defect type. The input image is examined in more detail along with the surrounding patches based on the patch with the defective candidate. And, by extracting the image of the defect and calculating its size, it is checked whether it exceeds the acceptance criteria for each type.
불량의 크기가 합격 기준을 초과한다면 불량 제품으로 결정한다. 불량의 크기가 합격 기준 이내라면 해당 사출제품의 판정은 관리자의 눈을 통해 최종 판정할 수 있도록 미판정으로 결정한 후 검사를 종료한다.If the size of the defect exceeds the acceptance criteria, it is determined as a defective product. If the size of the defect is within the acceptance criterion, the judgment of the injection product is determined as undecided so that the final judgment can be made through the eyes of the manager, and the inspection is terminated.
딥러닝 기반의 불량 판정 엔진에서 양호한 영상으로 판정이 된 영상은 최종 정상 제품으로 판정하게 된다.The video that is judged as good by the deep learning-based defect judgment engine is judged as the final normal product.
이하에서는 딥러닝 기반 양/불량 판정 엔진 알고리즘에 대해 알아보기로 한다.In the following, a deep learning-based good/defect determination engine algorithm will be described.
딥러닝 기반 양/불량 판정 엔진은 입력된 영상에서 불량 가능성이 있는 결함이 존재하는지에 대한 유무를 검출하고, 해당 결함이 어떤 유형이며, 결함이 있을 수 있는 후보 위치를 판단하는 엔진은 다음과 같다.The deep learning-based good/defect determination engine detects the presence or absence of a defect with a possibility of defect in the input image, and the engine that determines the type of the defect and a candidate location that may have a defect is as follows. .
딥러닝의 한 종류로 영상인식에 사용되는 CNN(Convolutional Neural Network)은 특징점을 사전에 추출하지 않고, 입력 층에 영상 데이터를 직접 입력하여 컨볼루션 층을 통해 특징이 자동 추출되는 특징을 가지고 있다.As a type of deep learning, CNN (Convolutional Neural Network), which is used for image recognition, does not extract feature points in advance, but has the feature that features are automatically extracted through the convolution layer by directly inputting image data into the input layer.
CNN 모델을 이용하여 결함 검출을 수행하기 위해서는 결함 검출을 하고자하는 대상 이미지의 크기와 신경망의 입력 크기가 동일해야 한다. 그러나, 촬영하는 영상 장비는 그보다 높은 해상도로 제품 표면을 촬영한다. 또한, 검출하고자 하는 결함 크기가 작을 수 있기 때문에 결함을 탐지하기 위한 대상 이미지를 여러 조각으로 나누어 딥러닝 모델을 여러 번 적용할 필요가 있다. 이 때 결함부위가 딥러닝 모델 입력의 경계에 위치하는 경우 특징을 잘 탐지하지 못할 수 있으므로, 이 조각(패치, patch)을 이동하면서 단계별 스캔을 하는 기술을 제안한다.In order to perform defect detection using the CNN model, the size of the target image to be detected and the input size of the neural network must be the same. However, the imaging equipment that photographs photographs the product surface with a higher resolution. In addition, since the size of the defect to be detected may be small, it is necessary to apply the deep learning model several times by dividing the target image for detecting the defect into several pieces. In this case, if the defect area is located at the boundary of the deep learning model input, the feature may not be detected well, so we propose a technique that performs a step-by-step scan while moving this piece (patch).
도 2는 본 발명의 일실시 예에 따른 영상 장비를 이용하여 사출제품을 촬영하고, 촬영한 사출제품을 패치 단위로 스캔하는 예를 도시하고 있다.FIG. 2 illustrates an example of photographing an injection product using the imaging equipment according to an embodiment of the present invention, and scanning the photographed injection product in units of patches.
도 2에 도시된 바와 같이 영상 장비를 이용하여 사출제품이 모두 표시되도록 촬영하며, 촬영된 영상을 패치 단위로 이동하면서 스캔한다.As shown in FIG. 2, an imaging device is used to shoot so that all of the injection products are displayed, and the captured image is scanned while moving in a patch unit.
이하에서는 불량 유형별 기준 검사 엔진에 대해 알아보기로 한다.Hereinafter, a reference inspection engine for each defect type will be described.
불량 유형별 기준 검사 엔진은 앞선 과정에서 분류된 결과를 바탕으로 해당 결함이 존재하는 패치와 그 주변 패치를 대상으로 결함에 해당하는 부위의 형상을 찾아내고, 해당 형상에 대한 계측을 통해 합격 기준을 만족하는지를 검사하는 엔진이다.Based on the results classified in the previous process, the standard inspection engine finds the shape of the part corresponding to the defect targeting the patch where the defect exists and the surrounding patches, and meets the acceptance criteria through measurement of the shape. It is an engine that checks whether or not.
형상검사 기술Shape inspection technology
형상 검사 기술은 결함에 해당하는 부위의 형상을 찾아내는 기술이다. 형상 검사 기술은 Faster R-CNN(Regions with Convolutional Neural Network)을 활용한다. Faster R-CNN을 활용하는 이유는 CNN으로 직접 학습만을 수행하는 방법은 물체 인식에 많이 쓰이고, 뛰어난 인식률을 보인지만, 이는 대상의 특징이 일관되고, 다른 물체와 구별될 수 있으며, 비교적 크기도 커서 전처리 없이 학습할 수 있기 때문이다. 하지만, 산업용과 같은 사출제품에서의 불량의 경우에는 형태에 일관된 특징이 없고, 크기 또한 작은 경우가 많아서 학습만으로 특징을 자동 추출하기가 어렵다.The shape inspection technology is a technology that finds the shape of a part corresponding to a defect. The shape inspection technology utilizes Faster Regions with Convolutional Neural Network (R-CNN). The reason for using Faster R-CNN is that the method of performing only direct learning with CNN is widely used for object recognition and has an excellent recognition rate, but it has consistent characteristics of the object, can be distinguished from other objects, and is relatively large. Because you can learn without pre-processing. However, in the case of defects in injection products such as industrial use, there are no consistent features in shape, and in many cases the size is also small, it is difficult to automatically extract features only by learning.
이에 비해, Faster R-CNN 기법은 CNN에서 파생된 기법으로 실시간으로 이미지 내에 있는 객체 검출을 목표로 한다. Faster R-CNN은 CNN을 개선한 기법으로, 특징맵을 추출하기 위한 컨볼루션 네트워크와 분류를 위한 완전연결 층으로 이루어진 Fast R-CNN과 추출된 특징맵을 이용해 검출하고자 하는 객체가 있을 만한 영역을 제안하는 RPN(Region Proposal Network)라는 특수한 네트워크를 추가한 구조로 되어 있다. Faster R-CNN 내의 컨볼루션 네트워크는 일반적인 CNN과 같이 컨볼루션 층과 다운샘플링 층으로 이루어져 있고, 여기서 출력되는 특징맵은 RPN과 완전연결 층으로 연결된다. RPN은 특징맵에 슬라이딩 윈도우 방식으로 Anchor boxes를 적용한다. Anchor box는 크기와 비율을 변화시키며 다양한 크기로 적용할 수 있고, 검출하고자 하는 객체가 있을만한 다양한 영역을 제안한다. 제안된 영역 중 IOU(Intersection over Union)를 계산하여 최종 검출 영역을 결정한다.In contrast, the Faster R-CNN technique is a technique derived from CNN and aims to detect objects in an image in real time. Faster R-CNN is a CNN-improved technique. Fast R-CNN consisting of a convolutional network for extracting feature maps and a fully connected layer for classification, and an area where the object to be detected is likely to be detected using the extracted feature maps. It has a structure that adds a special network called RPN (Region Proposal Network). The convolutional network in Faster R-CNN consists of a convolutional layer and a downsampling layer like a general CNN, and the feature map output from this is connected to the RPN and the fully connected layer. RPN applies anchor boxes to the feature map in a sliding window method. Anchor box can be applied in various sizes by changing the size and ratio, and it proposes various areas where the object to be detected may be located. Among the proposed regions, an Intersection over Union (IOU) is calculated to determine a final detection region.
계측 기술Measurement technology
계측 기술은 형상 검사 기술을 통해 발견한 결함을 실측하여 합격 기준을 만족하는지를 검사하는 기술이다. 상업용 부품에서의 결함의 유형은 다양하며, 또한 검사 기준의 사이즈가 작다. 이에 따라, 모든 유형의 검사를 만족하기 위해서 시스템은 작은 단위의 사이즈에 대한 분해능이 필요하다.Measurement technology is a technology that inspects whether or not it satisfies the acceptance criteria by actually measuring defects found through shape inspection technology. The types of defects in commercial parts vary, and the size of the inspection criteria is also small. Accordingly, in order to satisfy all types of inspection, the system needs resolution for the size of a small unit.
계측 과정은 영상에서 형상 검사 기술을 통해 발견한 결함을 가장자리 검출 알고리즘을 적용해 가장자리 점의 연결된 구성 요소를 추출하고 연결된 각 구성 요소에 몇 개의 픽셀이 있는지를 계산한다. The measurement process extracts the connected components of the edge points by applying the edge detection algorithm to the defects found through the shape inspection technology in the image, and calculates how many pixels there are in each connected component.
본 발명에서 가장자리 검출을 위한 알고리즘은 캐니 에지 디텍션(Canny Edge Detection) 알고리즘을 기반으로 제안한다. 많이 사용하는 Sobel 등 공간영역 마스크 기반의 에지 검출 기법은 잡음에 민감하여 에지가 아님에도 에지로 검출하는 문제점이 많기 때문이다. 캐니 에지 디텍션은 이러한 부분을 보완하기 위해 제안된 방법이다. 캐니 에지 디텍션 알고리즘은 다음과 같은 주요 성질을 가지고 있다.In the present invention, an algorithm for edge detection is proposed based on the Canny Edge Detection algorithm. This is because edge detection techniques based on spatial masks such as Sobel, which are widely used, are sensitive to noise and have many problems in detecting as edges even if they are not edges. Canny edge detection is a proposed method to compensate for this. Canny edge detection algorithm has the following main properties.
- 탐지성 (good detection) : 모든 실제 개성을 탐지하는 능력-Good detection: Ability to detect all real personalities
-국부성 (good localization) : 실제 에지와 탐지된 에지의 차이를 최소화-Good localization: Minimizes the difference between the actual edge and the detected edge
-응답성 (clear response) : 각 에지에 대하여 단일한 응답-Responsiveness (clear response): a single response for each edge
이하에서는 가장자리 검출 방법에 대해 알아보기로 한다. 가장자리 검출은 노이즈 제거, 경사도 값이 높은 부분 탐색, 최대값이 아닌 픽셀의 값을 '0'으로 설정하기 및 이력 임계값(Hysteresis thresholding)으로 진행된다.Hereinafter, an edge detection method will be described. Edge detection is performed by removing noise, searching for a portion with a high slope value, setting a pixel value other than the maximum value to '0', and hysteresis thresholding.
노이즈 제거(Noise Reduction): 이미지에서 노이즈가 있으면 에지를 정확하게 찾는 것이 어려울 수 있다. 따라서 먼저 5x5 가우시안 필터(Gaussian Filter)를 적용해 이미지의 노이즈를 줄여준다.Noise Reduction: If there is noise in the image, it can be difficult to find the edges accurately. Therefore, first, a 5x5 Gaussian filter is applied to reduce noise in the image.
경사도(Gradient) 값이 높은 부분 찾기: 가우시안 필터로 노이즈가 제거된 이미지를 Sobel 커널을 수평방향, 수직방향으로 적용하여 각 방향의 경사도를 획득한다. 수평방향의 경사도를 Gx, 수직방향의 경사도를 Gy라 하고, 픽셀(x,y)에서 에지 경사도를 아래의 식을 통해 찾는다. 본 발명과 관련하여 경사도가 높은 부분은 이미지 내에서 경사도의 평균보다 높은 경사도를 갖는 부분을 의미한다.Finding areas with high gradient values: Apply the Sobel kernel horizontally and vertically to the image from which noise has been removed by a Gaussian filter to obtain gradients in each direction. The slope in the horizontal direction is called Gx and the inclination in the vertical direction is Gy, and the slope of the edge in the pixel (x,y) is found through the following equation. In the context of the present invention, a portion having a high slope means a portion in an image having a slope higher than the average of the slopes.
[수학식][Equation]
최대값이 아닌 픽셀의 값을 '0'으로 만들기: 실제 에지가 아니면서 발생하는 에지의 제거작업을 수행하고, 동일 방향에 대한 이웃 화소 설정 과정 후, 현재 위치와 상하, 좌우를 비교하여 현재 화소가 가장 크면 에지로 판단하며, 현재 화소가 가장 크지 않으면 에지가 아닌(non-에지)라고 판단하여 삭제한다.Make the value of the pixel that is not the maximum value '0': After removing the edge that occurs without the actual edge, setting the neighboring pixels in the same direction, the current position is compared to the top, bottom, left and right, and the current pixel If is the largest, it is determined as an edge, and if the current pixel is not the largest, it is determined as non-edge and deleted.
Hysteresis thresholding: Double thresholds 기법을 사용하여 두 개의 임계값으로 LOW 이하 값을 가지는 잡음 에지를 추가 제거한다. 이후 약한 에지를 대상으로 8개 방향으로 검사하여 연관성(연결성)을 확인하여 강한 에지 또는 non-에지로 판별하여 최종 에지에 도출한다. 최종으로 이렇게 추출한 에지의 픽셀 수를 계산하여 실제 치수를 계산하고 합격 범위내에 포함되는지를 분석한다. Hysteresis thresholding: Using the double thresholds technique, noise edges having a value less than or equal to LOW as two thresholds are additionally removed. Afterwards, the weak edge is examined in 8 directions to check the association (connectivity), and it is determined as a strong edge or a non-edge, and the final edge is derived. Finally, the actual dimensions are calculated by calculating the number of pixels of the extracted edge, and whether it is within the pass range is analyzed.
본 발명은 도면에 도시된 일실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. Although the present invention has been described with reference to an embodiment shown in the drawings, this is only exemplary, and those of ordinary skill in the art will understand that various modifications and other equivalent embodiments are possible therefrom. .
Claims (5)
분할된 각 조각별로 이동하면서 불량 검사를 진행하며, 불량으로 인식되는 조각이 있다면, 해당 불량이 어떤 유형이 불량인지 판단하는 단계; 및
불량 유형을 판단한 이후 해당 불량이 설정된 불량기준에 부합하는지 여부를 판단하는 단계를 포함하며,
상기 설정된 불량기준에 부합하는지 여부를 판단하는 단계는 자동차 사출제품의 가장자리를 검출하는 단계를 포함하며,
자동차 사출제품의 가장자리를 검출하는 단계는 노이즈 제거 단계, 경사도를 탐색하는 단계, 최대값이 아닌 픽셀 값을 '0'으로 설정하는 단계 및 이력 임계값(Hysteresis Thresholding)을 도출하는 단계를 포함함을 특징으로 하는 자동차 사출제품의 비정형 불량 검출 방법.
Dividing the image taken of the injection molding product into a plurality of pieces having a set size;
Performing a defect inspection while moving each divided piece, and if there is a piece recognized as a defective piece, determining which type of the defective piece is a defect; And
After determining the type of defect, determining whether the defect meets the set defect criteria, and
The step of determining whether or not the set defect criterion is met includes the step of detecting an edge of the automobile injection product,
The step of detecting the edge of an automobile injection product includes a step of removing noise, searching for a slope, setting a pixel value other than the maximum value to '0', and deriving a hysteresis threshold. A method for detecting atypical defects in automobile injection products, characterized by.
이물 불량, 스크래치 불량, 도장 불량, 얼룩 불량 및 가스자국 불량 중 어느 하나이며,
판단된 불량이 가스자국 불량이면 불량기준에 부합하는 지 여부를 판단하지 않음을 특징으로 하는 자동차 사출제품의 비정형 불량 검출 방법.
The method of claim 1, wherein the defect type is
It is any one of a foreign object defect, a scratch defect, a painting defect, a stain defect, and a gas mark defect,
A method for detecting atypical defects in automobile injection products, characterized in that it is not determined whether or not the determined defect meets the defect criteria if the determined defect is a gas trace defect.
상기 노이즈 제거 단계는, 가우시안 필터를 이용하여 에지가 발생하는 노이즈를 제거하며,
상기 경사도를 탐색하는 단계는, 하기 수학식에 의해 픽셀(x,y)의 경사도를 산출함을 특징으로 하는 자동차 사출제품의 비정형 불량 검출 방법.
수평방향의 경사도: Gx
수직방향의 경사도: Gy
The method of claim 1,
In the noise removal step, noise generated by an edge is removed using a Gaussian filter,
In the step of searching for the slope, the atypical defect detection method of an automobile injection product, characterized in that the slope of the pixel (x,y) is calculated by the following equation.
Horizontal slope: Gx
Vertical slope: Gy
상기 최대값이 아닌 픽셀의 값을 '0'으로 설정하는 단계는, 현재 위치와 상하, 좌우 위치를 비교하여 현재 화소의 경사도가 가장 크면 에지로 설정하며,
상기 이력 임계값(Hysteresis thresholding)을 도출하는 단계는, 두 개의 임계값으로 로우(LOW) 이하의 값을 가지는 노이즈 에지를 제거함을 특징으로 하는 자동차 사출제품의 비정형 불량 검출 방법.The method of claim 4,
In the step of setting a pixel value other than the maximum value to '0', the current position is compared with the upper, lower, left and right positions, and if the current pixel has the greatest inclination, it is set as an edge,
The step of deriving the hysteresis thresholding includes removing noise edges having a value less than or equal to LOW as two threshold values.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190154765A KR102242996B1 (en) | 2019-11-27 | 2019-11-27 | Method for atypical defects detect in automobile injection products |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190154765A KR102242996B1 (en) | 2019-11-27 | 2019-11-27 | Method for atypical defects detect in automobile injection products |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102242996B1 true KR102242996B1 (en) | 2021-04-21 |
Family
ID=75744329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190154765A KR102242996B1 (en) | 2019-11-27 | 2019-11-27 | Method for atypical defects detect in automobile injection products |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102242996B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022250481A1 (en) * | 2021-05-26 | 2022-12-01 | 주식회사 프로젝트노아 | Defect detection device |
| KR20220160470A (en) * | 2021-05-26 | 2022-12-06 | (주) 프로젝트노아 | Defect detection device |
| CN116674134A (en) * | 2023-08-03 | 2023-09-01 | 绵阳华远同创科技有限公司 | Automatic casting processing method and system for resin words |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0549331U (en) * | 1991-12-06 | 1993-06-29 | エヌオーケー株式会社 | Product defect prevention device |
| JPH0792103A (en) * | 1993-09-22 | 1995-04-07 | Toshiba Corp | Printed matter inspection system |
| KR200347781Y1 (en) | 2004-01-09 | 2004-04-14 | 주식회사 금창 | The device for inspecting automobile parts using vision system |
| JP2004191112A (en) * | 2002-12-10 | 2004-07-08 | Ricoh Co Ltd | Defect examining method |
| KR100598381B1 (en) * | 2004-06-18 | 2006-07-07 | 삼성전자주식회사 | in-line typed apparatus for auto wafer-defect classification and control method thereof |
| KR20110058219A (en) | 2009-11-26 | 2011-06-01 | 아진산업(주) | A device for inspecting automobile parts using vision system |
| KR20190101107A (en) * | 2018-02-22 | 2019-08-30 | (주)비에스피 | Method for detecting a defect in molding products using by analysis of conversion brightness |
-
2019
- 2019-11-27 KR KR1020190154765A patent/KR102242996B1/en active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0549331U (en) * | 1991-12-06 | 1993-06-29 | エヌオーケー株式会社 | Product defect prevention device |
| JPH0792103A (en) * | 1993-09-22 | 1995-04-07 | Toshiba Corp | Printed matter inspection system |
| JP2004191112A (en) * | 2002-12-10 | 2004-07-08 | Ricoh Co Ltd | Defect examining method |
| KR200347781Y1 (en) | 2004-01-09 | 2004-04-14 | 주식회사 금창 | The device for inspecting automobile parts using vision system |
| KR100598381B1 (en) * | 2004-06-18 | 2006-07-07 | 삼성전자주식회사 | in-line typed apparatus for auto wafer-defect classification and control method thereof |
| KR20110058219A (en) | 2009-11-26 | 2011-06-01 | 아진산업(주) | A device for inspecting automobile parts using vision system |
| KR20190101107A (en) * | 2018-02-22 | 2019-08-30 | (주)비에스피 | Method for detecting a defect in molding products using by analysis of conversion brightness |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022250481A1 (en) * | 2021-05-26 | 2022-12-01 | 주식회사 프로젝트노아 | Defect detection device |
| KR20220160470A (en) * | 2021-05-26 | 2022-12-06 | (주) 프로젝트노아 | Defect detection device |
| KR102516482B1 (en) * | 2021-05-26 | 2023-04-04 | (주)프로젝트노아 | Defect detection device |
| CN116674134A (en) * | 2023-08-03 | 2023-09-01 | 绵阳华远同创科技有限公司 | Automatic casting processing method and system for resin words |
| CN116674134B (en) * | 2023-08-03 | 2023-10-20 | 绵阳华远同创科技有限公司 | Automatic casting processing method and system for resin words |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107543828B (en) | Workpiece surface defect detection method and system | |
| CN108629775B (en) | Thermal state high-speed wire rod surface image processing method | |
| KR102242996B1 (en) | Method for atypical defects detect in automobile injection products | |
| CN114140679B (en) | Defect fusion method, device, recognition system and storage medium | |
| CN111179243A (en) | Small-size chip crack detection method and system based on computer vision | |
| CN110596120A (en) | Glass boundary defect detection method, device, terminal and storage medium | |
| CN112686858A (en) | Visual defect detection method, device, medium and equipment for mobile phone charger | |
| CN112577969B (en) | Defect detection method and defect detection system based on machine vision | |
| CN108665458A (en) | Transparent body surface defect is extracted and recognition methods | |
| CN114881915A (en) | Symmetry-based mobile phone glass cover plate window area defect detection method | |
| CN113077437B (en) | Workpiece quality detection method and system | |
| CN109886960A (en) | The method of glass edge defects detection based on machine vision | |
| CN111861979A (en) | Positioning method, positioning equipment and computer readable storage medium | |
| CN115760820A (en) | Plastic part defect image identification method and application | |
| KR101677070B1 (en) | System and Method for Automatically Detecting a Mura Defect using Morphological Image Processing and Labeling | |
| JP2005172559A (en) | Method and device for detecting line defect on panel | |
| TW201512649A (en) | Method of chip detects inspecting, system therefor, and computer program product thereof | |
| JP3620470B2 (en) | Defect inspection method and defect inspection apparatus | |
| JPH08189904A (en) | Surface defect detector | |
| Park et al. | Patch-based crack detection in black box road images using deep learning | |
| CN116563298A (en) | Cross line center sub-pixel detection method based on Gaussian fitting | |
| KR101696040B1 (en) | Apparatus and method for scalping defect detection | |
| JP4293653B2 (en) | Appearance inspection method | |
| JPH06103275B2 (en) | Defect extraction method by visual inspection | |
| JP2001028059A (en) | Method and device for color unevenness inspection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |