KR102272745B1 - Inspection System and Method for Compact Camera Module Cover - Google Patents
Inspection System and Method for Compact Camera Module Cover Download PDFInfo
- Publication number
- KR102272745B1 KR102272745B1 KR1020200064956A KR20200064956A KR102272745B1 KR 102272745 B1 KR102272745 B1 KR 102272745B1 KR 1020200064956 A KR1020200064956 A KR 1020200064956A KR 20200064956 A KR20200064956 A KR 20200064956A KR 102272745 B1 KR102272745 B1 KR 102272745B1
- Authority
- KR
- South Korea
- Prior art keywords
- defect
- camera module
- patch
- inspection
- compact camera
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B43/00—Testing correct operation of photographic apparatus or parts thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 컴팩트 카메라 모듈 덮개 외관 검사 기술에 관한 것으로서, 더욱 상세하게는 컴팩트 카메라 모듈 제조 공정 중에 코팅 벗겨짐, 스크래치, 얼룩, 찍힘, 파티클 결함 등을 검사하기 위한 기술에 관한 것이다. The present invention relates to a technology for inspecting the appearance of a cover of a compact camera module, and more particularly, to a technology for inspecting coating peeling, scratches, stains, nicks, and particle defects during a compact camera module manufacturing process.
컴팩트 카메라 모듈(Compact Camera Module, CCM) (이하 'CCM')은 다른 전자기기에 비해 높은 휴대성이 요구되어, 고도의 소형화가 필요한 소형 전자기기인 스마트폰, 태블릿 PC, 노트북 등에 사용된다. Compact Camera Module (CCM) (hereinafter 'CCM') requires high portability compared to other electronic devices, and is used in small electronic devices such as smartphones, tablet PCs, and laptops that require a high degree of miniaturization.
CCM은 이미지 센서와 주변 회로를 총칭하는 장치로서, 카메라 렌즈 모듈, IR 필터, 경통, 이미지 센서 등으로 구성된다. CCM is a device that collectively refers to an image sensor and peripheral circuits, and is composed of a camera lens module, IR filter, barrel, and image sensor.
도 1은 컴팩트 카메라 모듈 덮개를 도시한 것이다. 1 shows a compact camera module cover.
도 1에서 보는 바와 같이, 컴팩트 카메라 모듈 덮개는 조리개를 조립하지 않은 플라스틱 재질로 이루어져 있다.As shown in FIG. 1 , the cover of the compact camera module is made of a plastic material in which an aperture is not assembled.
CCM 덮개 표면에는 제조 라인의 코딩 공정, 이송, 적재 등의 제조 과정에서 스크래치, 얼룩 등의 다양한 결함이 발생한다.Various defects such as scratches and stains occur on the surface of the CCM cover during the manufacturing process, such as the coding process, transfer, and loading of the manufacturing line.
도 2는 컴팩트 카메라 모듈의 결함 종류를 도시한 것이다. 2 shows the types of defects in the compact camera module.
도 2에서 (a)는 코팅 벗겨짐 결함(Coating Defect)을 도시한 것으로서, 공정 이동 중 외부와의 마찰로 인해 컴팩트 카메라 모듈의 코팅이 벗겨진 결함을 지칭한다. 이 결함은 면적이 넓고 밝게 빛나는 특징이 있다. 2 (a) shows a coating defect, and refers to a defect in which the coating of the compact camera module is peeled off due to friction with the outside during process movement. This defect is characterized by a large area and bright light.
도 2에서 (b)는 스크래치 결함(Scratch Defect)을 도시한 것으로서, 공정 이동 중 외부와의 마찰로 인한 컴팩트 카메라 모듈에 얇은 선 모양의 결함이 나타난 것을 지칭한다. 이 결함은 흰색 또는 검은색의 얇은 선 모양의 특징을 가지고 있다.2 (b) shows a scratch defect, which refers to a thin line defect in the compact camera module due to friction with the outside during process movement. This defect is characterized by white or black thin lines.
도 2에서 (c)는 얼룩 결함(Stain Defect)을 도시한 것으로서, 코딩 공정에서 균일하게 코딩이 되지 않아 밝기가 불균형하거나, 공정 이동 중 작업자의 실수로 장갑 자국 등이 발생하는 결함을 지칭한다. 이 결함은 결함 주변과 색이 다르다고 하는 특징을 갖고 있다. In FIG. 2 (c), as showing a stain defect, it refers to a defect in which the brightness is unbalanced because coding is not uniformly performed in the coding process, or a glove mark is caused by an operator's mistake during the process movement. This defect has a characteristic that the color is different from that around the defect.
도 2에서 (d)는 파티클 결함(Particle Defect)을 도시한 것으로서, 공정 이동 중 컴팩트 카메라 모듈 영역 위에 먼지가 붙은 결함을 지칭한다. 이 결함은 밝게 빛나지 않고 흰색의 작은 점들이 모여 있는 특징을 가지고 있다.Figure 2 (d) shows a particle defect (Particle Defect), and refers to a defect attached to the dust on the compact camera module area during the process movement. This defect is characterized by a cluster of small white dots that do not shine brightly.
도 2에서 (e)는 찍힘 결함(Stamped Defect)을 도시한 것으로서, 공정 이동 중 컴팩트 카메라 모듈의 모서리 부분이 외부의 압력으로 인해 코팅이 벗겨진 결함을 지칭한다. 이 결함은 주로 컴팩트 카메라 모듈의 상단과 하단에 발생하는 특징을 갖고 있다. 2(e) shows a stamped defect, and refers to a defect in which the coating is peeled off due to external pressure on the edge of the compact camera module during process movement. This defect is characterized by mainly occurring at the top and bottom of the compact camera module.
이러한 CCM 제조 공정 중에 발생하는 결함을 검사하기 위해, 일반적으로 CCM 덮개를 생산한 뒤, 외관 검사를 위한 자동광학검사기(Automated Optical Inspector, AOI) (이하 'AOI')가 필수적으로 사용된다.In order to inspect defects occurring during the CCM manufacturing process, an Automated Optical Inspector (AOI) (hereinafter referred to as 'AOI') is essentially used for visual inspection after the CCM cover is produced.
자동광학검사기는 산업용 카메라를 통하여 모듈 덮개의 이미지를 취득한 후, 영상처리를 통하여 배경을 제거하고 딥러닝을 이용하여 모듈 덮개의 결함 유무 검사를 수행하는 장치를 지칭한다.The automatic optical inspection machine refers to a device that acquires an image of the module cover through an industrial camera, removes the background through image processing, and performs a defect inspection of the module cover using deep learning.
AOI는 카메라로 촬영한 CCM 덮개 영상으로부터 덮개의 결함을 검사하는 장비이다. AOI는 공정 이동 중 발생하는 덮개 결함을 영상처리 및 기계학습 알고리즘으로 검사한다. 특히 기계학습 방법 중 딥러닝은 손쉬운 사용방법과 높은 정확도를 바탕으로 산업 전반에서 활용도를 높여가고 있다.AOI is a device that inspects the defects of the cover from the CCM cover image taken with the camera. AOI inspects cover defects that occur during process movement with image processing and machine learning algorithms. In particular, among machine learning methods, deep learning is increasing its utilization throughout the industry based on its easy-to-use method and high accuracy.
CCM 덮개 결함 분류의 필요성은 CCM 덮개의 동일한 결함이 지속적으로 발생할 경우, 생산 공정에 빠르게 피드백을 주어 추가적인 불량품을 방지한다.The need to classify CCM cover defects is to provide a quick feedback to the production process when the same defects of the CCM cover continue to occur to avoid further rejects.
그리고, CCM 결함의 크기는 정해져있지 않기 때문에 크기 변화에 대한 강인함이 필요하다.In addition, since the size of the CCM defect is not determined, robustness against size change is required.
CCM 덮개에는 단일 결함이 존재하는 경우가 보편적이나, 하나 이상의 복합 결함이 존재하는 경우도 있다.It is common for a CCM sheath to have a single defect, but sometimes more than one complex defect is present.
도 3은 종래 컴팩트 카메라 모듈 덮개 외관 결함 분류 방법을 개념적으로 도시한 것이다. 3 is a conceptual view of a conventional compact camera module cover appearance defect classification method.
도 3을 참조하면, 기존의 학습된 CNN(Convolution Neural Network)을 이용한 결함 분류 방법은 하나의 CCM 덮개 이미지로부터 한 가지의 결함만 출력한다. 따라서 하나 이상의 복합 결함을 놓칠 수 있다는 위험이 존재한다는 문제점이 있다. Referring to FIG. 3 , the existing defect classification method using a learned Convolution Neural Network (CNN) outputs only one defect from one CCM cover image. Therefore, there is a problem that there is a risk that one or more complex defects may be missed.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, CCM 덮개의 결함 분류를 부품의 결함 분류를 위하여, 전체 CCM 덮개 이미지를 분할하여 패치 기반으로 검사하여 결함을 분류하는 시스템 및 방법을 제공하는데 그 목적이 있다. The present invention has been devised to solve the above problems, and provides a system and method for classifying defects by dividing the entire CCM cover image and inspecting it based on a patch for the defect classification of the CCM cover for defect classification of parts. There is a purpose.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Objects of the present invention are not limited to the objects mentioned above, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.
이와 같은 목적을 달성하기 위한 본 발명의 컴팩트 카메라 모듈 덮개 외관 검사 방법에서, 카메라 장치로부터 컴팩트 카메라 모듈 덮개 이미지를 취득하는 단계, 상기 컴팩트 카메라 모듈 덮개 이미지를 영상 처리하여 컴팩트 카메라 모듈 영역을 검출하는 단계, 검출한 컴팩트 카메라 모듈 영역에서 N개의 검사 패치를 추출하는 단계, 추출된 검사 패치를 이용하여 결함 분류 네트워크를 학습하는 단계, 학습된 결함 분류 네트워크를 통해 N개의 검사 패치에 대한 결과를 각각 출력하는 단계 및 N개의 검사 패치 결과를 병합하여 최종 결함 결과를 출력하는 단계를 포함한다. In the method for inspecting the appearance of the compact camera module cover of the present invention for achieving the above object, obtaining a compact camera module cover image from a camera device, image processing the compact camera module cover image to detect a compact camera module area , extracting N inspection patches from the detected compact camera module area, learning a defect classification network using the extracted inspection patches, and outputting the results for each of the N inspection patches through the learned defect classification network. and merging the N inspection patch results to output a final defect result.
상기 카메라 모듈 영역을 검출하는 단계에서, 템플릿 매칭 방법을 사용하여 컴팩트 카메라 모듈 영역을 검출할 수 있다. In the step of detecting the camera module area, the compact camera module area may be detected using a template matching method.
상기 검사 패치를 추출하는 단계에서, 슬라이딩 윈도우 방식을 사용하여 패치끼리 겹치도록 검사 패치를 추출할 수 있다. In the step of extracting the inspection patch, the inspection patch may be extracted so that the patches overlap each other using a sliding window method.
결함 분류 네트워크 학습에 사용하기 위해 컴팩트 카메라 모듈에서 발생한 결함의 종류와 위치를 표시한 정답 이미지를 GT(Ground Truth) 이미지라고 할 때, 상기 결함 분류 네트워크를 학습하는 단계에서, 상기 GT 이미지를 기반으로 상기 검사 패치 중에서 결함이 있는 것인 결함 패치를 추출하여 결함 분류 네트워크의 학습 데이터로 사용할 수 있다. When the correct image indicating the type and location of the defect generated in the compact camera module for use in learning the defect classification network is called a GT (Ground Truth) image, in the step of learning the defect classification network, based on the GT image A defect patch having a defect may be extracted from among the inspection patches and used as training data for a defect classification network.
컴팩트 카메라 모듈의 원본 이미지 크기에서 결함 패치를 1회 추출하고, 원본 이미지를 축소시킨 축소 이미지에서 결함 패치를 1회 추가적으로 추출할 수 있다. A defective patch may be extracted once from the original image size of the compact camera module, and a defective patch may be additionally extracted from the reduced image obtained by reducing the original image.
상기 결함 분류 네트워크는 CNN(Convolution Neural Network)으로 구현될 수 있다. The defect classification network may be implemented as a Convolution Neural Network (CNN).
상기 결함 분류 네트워크를 학습하는 단계에서, 추출한 결함 패치를 데이터베이스화 하고, 결함 패치들을 결함 분류 네트워크에 입력하여 학습할 수 있다. In the step of learning the defect classification network, the extracted defect patches may be converted into a database, and the defect patches may be input into the defect classification network to learn.
상기 결함 분류 네트워크를 학습하는 단계에서, 상기 결함 분류 네트워크의 입력은 결함 패치와 결함 라벨이고, 네트워크의 출력은 softmax 함수를 이용해 계산한 분류 확률이고, 결함 라벨과 분류 확률의 차를 이용하여 네트워크 모델의 웨이트(weight)를 조정하는 방법으로 학습할 수 있다.In the step of learning the defect classification network, the input of the defect classification network is a defect patch and a defect label, the output of the network is a classification probability calculated using a softmax function, and a network model using the difference between the defect label and the classification probability It can be learned by adjusting the weight of
상기 결함 라벨은 코팅 벗겨짐 결함, 파티클 결함, 스크래치 결함, 얼룩 결함, 찍힘 결함 및 정상을 포함하는 것일 수 있다. The defect label may include a coating peeling defect, a particle defect, a scratch defect, a stain defect, a dent defect, and a normal.
상기 검사 패치에 대한 결과를 각각 출력하는 단계에서, 각 검사 패치에 대한 분류 결과 중에서 가장 높은 softmax 값을 갖는 결함을 해당 검사 패치의 결함으로 출력할 수 있다. In the step of outputting the results for each inspection patch, a defect having the highest softmax value among the classification results for each inspection patch may be output as a defect of the corresponding inspection patch.
본 발명의 컴팩트 카메라 모듈 덮개 외관 검사 시스템은 컴팩트 카메라 모듈 덮개 이미지를 촬영하기 위한 카메라 장치 및 상기 카메라 장치로부터 컴팩트 카메라 모듈 덮개 이미지를 취득하고, 상기 컴팩트 카메라 모듈 덮개 이미지를 영상 처리하여 컴팩트 카메라 모듈 영역을 검출하고, 검출한 컴팩트 카메라 모듈 영역에서 N개의 검사 패치를 추출하고, 추출된 검사 패치를 이용하여 결함 분류 네트워크를 학습하고, 학습된 결함 분류 네트워크를 통해 N개의 검사 패치에 대한 결과를 각각 출력하고, N개의 검사 패치 결과를 병합하여 최종 결함 결과를 출력하는 외관 검사 장치를 포함한다. The compact camera module cover appearance inspection system of the present invention acquires a compact camera module cover image from a camera device and the camera device for photographing a compact camera module cover image, and image-processes the compact camera module cover image to process the compact camera module area , extracts N inspection patches from the detected compact camera module area, learns a defect classification network using the extracted inspection patches, and outputs the results for each of the N inspection patches through the learned defect classification network. and a visual inspection device for merging the N inspection patch results and outputting a final defect result.
상기 외관 검사 장치는 템플릿 매칭 방법을 사용하여 컴팩트 카메라 모듈 영역을 검출할 수 있다. The appearance inspection apparatus may detect the compact camera module area using a template matching method.
상기 외관 검사 장치는 슬라이딩 윈도우 방식을 사용하여 패치끼리 겹치도록 검사 패치를 추출할 수 있다. The appearance inspection apparatus may extract the inspection patch so that the patches overlap each other using a sliding window method.
결함 분류 네트워크 학습에 사용하기 위해 컴팩트 카메라 모듈에서 발생한 결함의 종류와 위치를 표시한 정답 이미지를 GT(Ground Truth) 이미지라고 할 때, 상기 외관 검사 장치는 상기 GT 이미지를 기반으로 상기 검사 패치 중에서 결함이 있는 것인 결함 패치를 추출하여 결함 분류 네트워크의 학습 데이터로 사용할 수 있다. When a correct image indicating the type and location of a defect occurring in a compact camera module for use in defect classification network learning is referred to as a GT (Ground Truth) image, the appearance inspection device performs a defect in the inspection patch based on the GT image. It can be used as training data for a defect classification network by extracting a defect patch that has .
상기 외관 검사 장치는 컴팩트 카메라 모듈의 원본 이미지 크기에서 결함 패치를 1회 추출하고, 원본 이미지를 축소시킨 축소 이미지에서 결함 패치를 1회 추가적으로 추출할 수 있다. The appearance inspection apparatus may extract a defective patch from the original image size of the compact camera module once, and additionally extract a defective patch from the reduced image obtained by reducing the original image.
상기 결함 분류 네트워크는 CNN(Convolution Neural Network)으로 구현될 수 있다. The defect classification network may be implemented as a Convolution Neural Network (CNN).
상기 외관 검사 장치는 상기 결함 분류 네트워크를 학습함에 있어서, 추출한 결함 패치를 데이터베이스화 하고, 결함 패치들을 결함 분류 네트워크에 입력하여 학습할 수 있다. In learning the defect classification network, the appearance inspection apparatus may convert the extracted defect patches into a database and input the defect patches into the defect classification network to learn.
상기 외관 검사 장치는 상기 결함 분류 네트워크를 학습함에 있어서, 상기 결함 분류 네트워크의 입력은 결함 패치와 결함 라벨이고, 네트워크의 출력은 softmax 함수를 이용해 계산한 분류 확률이고, 결함 라벨과 분류 확률의 차를 이용하여 네트워크 모델의 웨이트(weight)를 조정하는 방법으로 학습할 수 있다. When the appearance inspection apparatus learns the defect classification network, the input of the defect classification network is a defect patch and a defect label, and the output of the network is a classification probability calculated using a softmax function, and the difference between the defect label and the classification probability is obtained. It can be used to learn by adjusting the weight of the network model.
상기 결함 라벨은 코팅 벗겨짐 결함, 파티클 결함, 스크래치 결함, 얼룩 결함, 찍힘 결함 및 정상을 포함하는 것일 수 있다. The defect label may include a coating peeling defect, a particle defect, a scratch defect, a stain defect, a dent defect, and a normal.
상기 외관 검사 장치는 상기 검사 패치에 대한 결과를 각각 출력함에 있어서, 각 검사 패치에 대한 분류 결과 중에서 가장 높은 softmax 값을 갖는 결함을 해당 검사 패치의 결함으로 출력할 수 있다. When outputting the results of the inspection patches, the appearance inspection apparatus may output a defect having the highest softmax value among the classification results for each inspection patch as a defect of the inspection patch.
본 발명에 의하면, 기존 컴팩트 카메라 모듈의 결함 분류에서 하나의 결함만 판별할 수 있었던 단점을 개선하여, 이미지 분할을 이용하여 복합 결합을 판단할 수 있다는 효과가 있다. According to the present invention, there is an effect that a complex combination can be determined using image segmentation by improving the disadvantage that only one defect can be determined in the defect classification of the existing compact camera module.
또한, 본 발명에 의하면, 결함 패치를 추출하여 CNN의 입력으로 넣어 학습하기 때문에 데이터 수를 늘릴 수 있어 결함 데이터 수가 적은 생산 공정에 대해서 효과적이다.In addition, according to the present invention, since the number of data can be increased because the number of data can be increased by extracting the defect patch and putting it as an input of the CNN, it is effective for a production process with a small number of defective data.
또한, 본 발명에 의하면, 검사 패치를 추출할 때 원본 이미지의 크기를 축소하여 넓은 영역의 결함을 패치로 추출함으로써, 크기가 일정하지 않은 CCM 결함 특성을 고려하여 크기 변화에 강인하다는 장점이 있다. In addition, according to the present invention, by reducing the size of the original image when extracting the inspection patch and extracting the defect in a wide area as a patch, there is an advantage in that it is robust to size change in consideration of the characteristics of the CCM defect of which the size is not constant.
또한, 본 발명에 의하면 최종 결함 결과를 출력하는 과정에서, 결함으로 분류된 패치의 주변 패치의 softmax값을 비교하는 방법으로 정확한 결함 위치를 표시하도록 함으로써, 작업 효율을 높일 수 있다는 효과가 있다. In addition, according to the present invention, in the process of outputting the final defect result, there is an effect that work efficiency can be increased by displaying the exact defect location by comparing the softmax values of the patches around the patch classified as defects.
또한, 본 발명에 의하면 세분화된 결함 분류 과정으로 제조 과정에서 발생하는 결함에 대하여 세밀한 결함 원인 분석이 가능하다는 효과가 있다. In addition, according to the present invention, there is an effect that a detailed defect cause analysis is possible with respect to a defect occurring in a manufacturing process through a subdivided defect classification process.
도 1은 컴팩트 카메라 모듈 덮개를 도시한 것이다.
도 2는 컴팩트 카메라 모듈의 결함 종류를 도시한 것이다.
도 3은 종래 컴팩트 카메라 모듈 덮개 외관 결함 분류 방법을 개념적으로 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 카메라 모듈 덮개 외관 결함 분류 방법의 순서를 간략하게 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 컴팩트 카메라 모듈 덮개 외관 검사 시스템의 구성을 나타낸 블록도이다.
도 6은 본 발명의 일 실시예에 따른 컴팩트 카메라 모듈 덮개 외관 검사 방법을 보여주는 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 모듈 영역 검출 과정을 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 검사 패치 추출 과정을 도시한 것이다.
도 9는 본 발명의 일 실시예에 따른 사용자가 구성한 GT 이미지를 기반으로 학습용 결함 패치 추출 과정을 도시한 것이다.
도 10은 본 발명의 일 실시예에 따른 이미지의 크기를 조절하여 학습용 결함 패치를 추출하는 과정을 도시한 것이다.
도 11은 본 발명의 일 실시예에 따른 학습 네트워크를 학습하는 과정을 도시한 것이다.
도 12는 본 발명의 일 실시예에 따른 학습된 네트워크를 이용하여 분류 결과를 출력하는 과정을 도시한 것이다.
도 13은 본 발명의 일 실시예에 따른 CCM 덮개 외관 검사 결과를 도시한 것이다.
도 14는 본 발명의 일 실시예에 따른 결함 주변 패치의 softmax 값을 비교하여 결함 분류를 보정하는 과정을 도시한 것이다. 1 shows a compact camera module cover.
2 shows the types of defects in the compact camera module.
3 is a conceptual view of a conventional compact camera module cover appearance defect classification method.
Figure 4 schematically shows the sequence of the camera module cover appearance defect classification method according to an embodiment of the present invention.
5 is a block diagram showing the configuration of a compact camera module cover appearance inspection system according to an embodiment of the present invention.
6 is a flowchart illustrating a method for inspecting the appearance of a compact camera module cover according to an embodiment of the present invention.
7 illustrates a module region detection process according to an embodiment of the present invention.
8 is a diagram illustrating a test patch extraction process according to an embodiment of the present invention.
9 is a diagram illustrating a learning defect patch extraction process based on a user-configured GT image according to an embodiment of the present invention.
10 is a diagram illustrating a process of extracting a learning defect patch by adjusting the size of an image according to an embodiment of the present invention.
11 illustrates a process of learning a learning network according to an embodiment of the present invention.
12 illustrates a process of outputting a classification result using a learned network according to an embodiment of the present invention.
13 is a view showing the results of the CCM cover appearance inspection according to an embodiment of the present invention.
14 is a diagram illustrating a process of correcting defect classification by comparing softmax values of patches around defects according to an embodiment of the present invention.
본 명세서에서 개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시에서 제안하고자 하는 실시예는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 당해 기술분야에서 통상의 지식을 가진 자에게 실시예들의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.Advantages and features of the embodiments disclosed herein, and methods of achieving them will become apparent with reference to the embodiments described below in conjunction with the accompanying drawings. However, the embodiments to be proposed in the present disclosure are not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the present embodiments are provided to those of ordinary skill in the art. They are only provided to fully indicate their categories.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다. Terms used in this specification will be briefly described, and the disclosed embodiments will be described in detail.
본 명세서에서 사용되는 용어는 개시된 실시예들의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 상세한 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 명세서의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in this specification have been selected as widely used general terms as possible while considering the functions of the disclosed embodiments, but may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, and the like. In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the detailed description part of the corresponding specification. Therefore, the terms used in the present disclosure should be defined based on the meaning of the term and the content throughout the present specification, rather than the simple name of the term.
본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다.References in the singular herein include plural expressions unless the context clearly dictates that the singular is singular.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.When a part "includes" a certain element throughout the specification, this means that other elements may be further included, rather than excluding other elements, unless otherwise stated. Also, as used herein, the term “unit” refers to a hardware component such as software, FPGA, or ASIC, and “unit” performs certain roles. However, "part" is not meant to be limited to software or hardware. A “unit” may be configured to reside on an addressable storage medium and may be configured to refresh one or more processors. Thus, by way of example, “part” includes components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables. The functionality provided within components and “parts” may be combined into a smaller number of components and “parts” or further divided into additional components and “parts”.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same components are assigned the same reference numerals regardless of the reference numerals, and the overlapping description thereof will be omitted. In describing the present invention, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.
본 발명의 명세서에서 사용되는 용어를 정리하면 다음과 같다. The terms used in the specification of the present invention are summarized as follows.
패치(Patch)는 컴팩트 카메라 모듈 이미지를 일정 간격과 크기로 분할하여 추출한 분할 이미지를 지칭한다. A patch refers to a divided image extracted by dividing the compact camera module image at a predetermined interval and size.
GT(Ground Truth)는 결함 분류 네트워크 학습에 사용하기 위해 컴팩트 카메라 모듈에서 발생한 결함의 종류와 위치를 표시한 정답 이미지를 말한다. GT (Ground Truth) refers to a correct answer image that indicates the type and location of a defect that occurred in a compact camera module for use in learning a defect classification network.
도 4는 본 발명의 일 실시예에 따른 카메라 모듈 덮개 외관 결함 분류 방법의 순서를 간략하게 도시한 것이다. Figure 4 schematically shows the sequence of the camera module cover appearance defect classification method according to an embodiment of the present invention.
도 4를 참조하면, 본 발명의 카메라 모듈 덮개 외관 결함 분류 방법은 카메라로부터 CCM 덮개의 이미지가 입력되면, 영상처리를 이용하여 컴팩트 카메라 모듈 영역을 검출한다(a). 그리고, 배경을 제거한 뒤(b), 이미지를 패치로 분할하여 학습된 CNN에 입력하여 분류 결과를 출력한다(c). 그리고, 패치마다 출력된 결과를 결합하여 최종 결함 종류를 출력한다. 이처럼 본 발명에서는 결함 분류방법의 세분화를 통해 결함 연관도 분석을 통한 통계적 공정 관리로 제조 효율성을 높일 수 있다. Referring to FIG. 4 , in the method for classifying an exterior defect of a camera module cover of the present invention, when an image of a CCM cover is input from a camera, the compact camera module area is detected using image processing (a). Then, after removing the background (b), the image is divided into patches and input to the learned CNN to output the classification result (c). Then, the final defect type is output by combining the output results for each patch. As such, in the present invention, manufacturing efficiency can be increased by statistical process management through analysis of defect association through the subdivision of the defect classification method.
도 5는 본 발명의 일 실시예에 따른 컴팩트 카메라 모듈 덮개 외관 검사 시스템의 구성을 나타낸 블록도이다. 5 is a block diagram showing the configuration of a compact camera module cover appearance inspection system according to an embodiment of the present invention.
도 5를 참조하면, 본 발명의 컴팩트 카메라 모듈 덮개 외관 검사 시스템은 카메라 장치(100) 및 외관 검사 장치(200)를 포함한다. Referring to FIG. 5 , the compact camera module cover external inspection system of the present invention includes a
카메라 장치(100)는 컴팩트 카메라 모듈 덮개 이미지를 촬영하는 역할을 한다. The
외관 검사 장치(200)는 카메라 장치(100)로부터 컴팩트 카메라 모듈 덮개 이미지를 취득하고, 상기 컴팩트 카메라 모듈 덮개 이미지를 영상 처리하여 컴팩트 카메라 모듈 영역을 검출한다. 그리고, 검출한 컴팩트 카메라 모듈 영역에서 N개의 검사 패치를 추출하고, 추출된 검사 패치를 이용하여 결함 분류 네트워크를 학습한다. 그리고, 학습된 결함 분류 네트워크를 통해 N개의 검사 패치에 대한 결과를 각각 출력하고, N개의 검사 패치 결과를 병합하여 최종 결함 결과를 출력한다. The
본 발명에서 외관 검사 장치(200)는 템플릿 매칭 방법을 사용하여 컴팩트 카메라 모듈 영역을 검출할 수 있다. In the present invention, the
외관 검사 장치(200)는 슬라이딩 윈도우 방식을 사용하여 패치끼리 겹치도록 검사 패치를 추출할 수 있다. The
결함 분류 네트워크 학습에 사용하기 위해 컴팩트 카메라 모듈에서 발생한 결함의 종류와 위치를 표시한 정답 이미지를 GT(Ground Truth) 이미지라고 할 때, 외관 검사 장치(200)는 GT 이미지를 기반으로 검사 패치 중에서 결함이 있는 것인 결함 패치를 추출하여 결함 분류 네트워크의 학습 데이터로 사용할 수 있다. When the correct answer image indicating the type and location of the defect generated in the compact camera module for use in the defect classification network learning is called a GT (Ground Truth) image, the
외관 검사 장치(200)는 컴팩트 카메라 모듈의 원본 이미지 크기에서 결함 패치를 1회 추출하고, 원본 이미지를 축소시킨 축소 이미지에서 결함 패치를 1회 추가적으로 추출할 수 있다. The
본 발명의 일 실시예에서 결함 분류 네트워크는 CNN(Convolution Neural Network)으로 구현될 수 있다. In an embodiment of the present invention, the defect classification network may be implemented as a Convolution Neural Network (CNN).
외관 검사 장치(200)는 결함 분류 네트워크를 학습함에 있어서, 추출한 결함 패치를 데이터베이스화 하고, 결함 패치들을 결함 분류 네트워크에 입력하여 학습할 수 있다. In learning the defect classification network, the
외관 검사 장치(200)는 결함 분류 네트워크를 학습함에 있어서, 결함 분류 네트워크의 입력은 결함 패치와 결함 라벨이고, 네트워크의 출력은 softmax 함수를 이용해 계산한 분류 확률이다. 그리고, 결함 라벨과 분류 확률의 차를 이용하여 네트워크 모델의 웨이트(weight)를 조정하는 방법으로 학습할 수 있다. When the
본 발명의 일 실시예에서 결함 라벨은 코팅 벗겨짐 결함, 파티클 결함, 스크래치 결함, 얼룩 결함, 찍힘 결함 및 정상을 포함할 수 있다. In an embodiment of the present invention, the defect label may include a coating peeling defect, a particle defect, a scratch defect, a stain defect, a dent defect, and a normal.
외관 검사 장치(200)는 검사 패치에 대한 결과를 각각 출력함에 있어서, 각 검사 패치에 대한 분류 결과 중에서 가장 높은 softmax 값을 갖는 결함을 해당 검사 패치의 결함으로 출력할 수 있다. When outputting the results of the inspection patches, the
softmax 함수는 CNN 출력 결과를 
도 6은 본 발명의 일 실시예에 따른 컴팩트 카메라 모듈 덮개 외관 검사 방법을 보여주는 흐름도이다. 6 is a flowchart illustrating a method for inspecting the appearance of a compact camera module cover according to an embodiment of the present invention.
도 6을 참조하면, 카메라 장치(100)로부터 컴팩트 카메라 모듈 덮개 이미지를 전달받으면(S601), 외관 검사 장치(200)는 영상처리를 이용하여 컴팩트 카메라 모듈 영역을 검출한다(S603)Referring to FIG. 6 , upon receiving the compact camera module cover image from the camera device 100 ( S601 ), the
그리고, 검출한 컴팩트 카메라 모듈 영역에서 N개의 검사 패치를 추출한다(S605). Then, N inspection patches are extracted from the detected compact camera module area (S605).
그리고, 추출된 검사 패치를 이용하여 결함 분류 네트워크를 학습한다(S607). Then, the defect classification network is learned using the extracted inspection patch (S607).
그리고, 학습된 결함 분류 네트워크를 통해 검사 패치에 대한 결과를 출력한다(S607, S609). 그리고, S607, S609 과정을 N회 반복한다(S611). Then, the result of the inspection patch is output through the learned defect classification network (S607, S609). Then, the processes S607 and S609 are repeated N times (S611).
마지막으로, 검사 패치들의 결과를 병합하여 최종 결함 결과를 출력한다(S613). Finally, a final defect result is output by merging the results of the inspection patches (S613).
본 발명에서 템플릿 매칭을 이용한 모듈 영역 검출 과정(S603)은 CCM 덮개 이미지에서 컴팩트 카메라 모듈 영역만 검출하기 위해 템플릿 매칭(Template Matching) 방법을 사용하여 컴팩트 카메라 모듈 영역을 검출하는 과정이다. In the present invention, the module area detection process using template matching ( S603 ) is a process of detecting the compact camera module area using a template matching method to detect only the compact camera module area in the CCM cover image.
도 7은 본 발명의 일 실시예에 따른 모듈 영역 검출 과정을 도시한 것이다.7 illustrates a module region detection process according to an embodiment of the present invention.
도 7을 참조하면, 빠른 영상처리를 위해 CCM 덮개 이미지를 축소시키고(a), 배경 제거용 마스크(b)를 비트(bit) 연산하여 배경 노이즈를 제거한 컴팩트 카메라 모듈 영역을 검출한다(c).Referring to FIG. 7 , the CCM cover image is reduced for quick image processing (a), and the background noise is removed by bitwise operation of the mask for removing the background (b) to detect the area of the compact camera module (c).
도 8은 본 발명의 일 실시예에 따른 검사 패치 추출 과정을 도시한 것이다. 8 is a diagram illustrating a test patch extraction process according to an embodiment of the present invention.
도 8을 참조하면, 영상처리를 이용한 컴팩트 카메라 모듈 영역에서 배경 제거용 마스크와 겹쳐지지 않도록 검사 패치를 추출한다. 이때, 일정 간격을 두어 슬라이딩 윈도우 방식을 사용하여 패치끼리 겹치도록 검사 패치를 추출한다. 이는 검사 패치를 통해 결함을 검출하지 못하는 상황이 발생하지 않도록 하기 위함이다. Referring to FIG. 8 , an inspection patch is extracted so as not to overlap the background removal mask in the area of the compact camera module using image processing. At this time, the inspection patches are extracted so that the patches overlap each other using a sliding window method at regular intervals. This is to prevent a situation in which a defect cannot be detected through the inspection patch.
도 8의 실시예에서는 총 100개의 검사 패치를 추출한 것을 확인할 수 있다.In the embodiment of FIG. 8 , it can be seen that a total of 100 test patches are extracted.
본 발명에서 결함 분류 네트워크를 학습하기 위해 학습 데이터에서 결함 패치만을 추출하여 학습 데이터로 사용한다. In the present invention, in order to learn a defect classification network, only defect patches are extracted from training data and used as training data.
도 9는 본 발명의 일 실시예에 따른 사용자가 구성한 GT 이미지를 기반으로 학습용 결함 패치 추출 과정을 도시한 것이다. 9 is a diagram illustrating a defect patch extraction process for learning based on a GT image configured by a user according to an embodiment of the present invention.
도 9에서 보는 바와 같이, 결함 패치를 추출하는 방법은 결함을 가진 이미지에서 사용자가 구성한 GT 이미지를 기반으로 결함인 부분만 패치로 추출하는 것이다.As shown in FIG. 9 , the method of extracting the defective patch is to extract only the defective part as a patch based on the GT image configured by the user from the defective image.
본 발명의 일 실시예에서 결함의 크기 변화에 강인함을 주기 위해 결함 패치를 추출할 때, 원래 이미지 크기에서 1회 결함 패치를 추출하고, 이미지를 축소하여 1회 결함 패치를 추가적으로 추출한다. In an embodiment of the present invention, when extracting a defective patch to give robustness to a change in the size of a defect, the defective patch is extracted once from the original image size, and the defective patch is additionally extracted by reducing the image.
도 10은 본 발명의 일 실시예에 따른 이미지의 크기를 조절하여 학습용 결함 패치를 추출하는 과정을 도시한 것이다. 10 is a diagram illustrating a process of extracting a learning defect patch by adjusting the size of an image according to an embodiment of the present invention.
도 10에서 보는 바와 같이, 원본 이미지에서 결함 패치를 추출하고, 추가적으로 이미지를 축소시킨 후, 결함 패치를 추출한다. 이를 통해 같은 이미지에서 모양과 크기가 다른 결함 패치를 추출할 수 있다.As shown in FIG. 10 , a defective patch is extracted from the original image, and after the image is further reduced, the defective patch is extracted. This makes it possible to extract defect patches of different shapes and sizes from the same image.
도 11은 본 발명의 일 실시예에 따른 결함 분류 네트워크를 학습하는 과정을 도시한 것이다. 11 illustrates a process of learning a defect classification network according to an embodiment of the present invention.
도 11을 참조하면, 전술한 방법으로 추출한 결함 패치를 데이터베이스화 한 뒤, 결함 패치들을 결함 분류 네트워크에 입력하여 네트워크를 학습한다. 이때, 네트워크의 입력은 결함 패치와 결함 라벨이고, 네트워크의 출력은 softmax 함수를 이용해 계산한 분류 확률이다. 그리고, 결함 라벨과 분류 확률의 차를 이용하여 네트워크 모델의 웨이트(weight)를 조정하는 방법으로 학습한다.Referring to FIG. 11 , after the defect patches extracted by the above-described method are converted into a database, the defect patches are input to the defect classification network to learn the network. In this case, the input of the network is the defect patch and defect label, and the output of the network is the classification probability calculated using the softmax function. Then, it learns by adjusting the weight of the network model by using the difference between the defect label and the classification probability.
도 11에서 결함 라벨은 코팅 벗겨짐 결함, 정상, 파티클 결함, 스크래치 결함, 얼룩 결함, 찍힘 결함이 예시되어 있고, CNN 결과, '0.34'의 가장 큰 값을 갖는 '코팅 벗겨짐 결함'으로 분류된 것을 확인할 수 있다.In FIG. 11, the defect label exemplifies coating peeling defects, normal, particle defects, scratch defects, stain defects, and engraving defects, and as a result of CNN, it is confirmed that it is classified as a 'coating peeling defect' with the largest value of '0.34'. can
도 12는 본 발명의 일 실시예에 따른 학습된 네트워크를 이용하여 분류 결과를 출력하는 과정을 도시한 것이다. 12 is a diagram illustrating a process of outputting a classification result using a learned network according to an embodiment of the present invention.
도 12를 참조하면, 추출한 검사 패치를 학습된 결함 분류 네트워크에 입력하여 분류 결과를 출력한다. 여기서 가장 높은 softmax 값을 가지는 결함을 검사 패치의 결함으로 분류한다.Referring to FIG. 12 , the extracted inspection patch is input to the learned defect classification network to output the classification result. Here, a defect with the highest softmax value is classified as a defect of the inspection patch.
도 13은 본 발명의 일 실시예에 따른 CCM 덮개 외관 검사 결과를 도시한 것이다.13 is a view showing the results of the CCM cover appearance inspection according to an embodiment of the present invention.
도 13을 참조하면, 본 발명의 일 실시예에서 추출한 검사 패치들의 분류 결과를 사용자가 확인할 수 있도록, 결함 위치와 결함 종류를 사각형으로 표시한다. 도 13의 실시예에서 코팅 벗겨짐 불량은 RGB(255,0,0), 스크래치 불량은 RGB(0,255,0), 얼룩 불량은 RGB(0,0,255), 파티클 불량은 RGB(255,255,255), 찍힘 불량은 RGB(255,255,0)의 색으로 표시되 것을 확인할 수 있다. Referring to FIG. 13 , a defect location and a defect type are displayed in a rectangle so that a user can check the classification result of the inspection patches extracted according to an embodiment of the present invention. In the embodiment of FIG. 13, the coating peeling defect is RGB(255,0,0), the scratch defect is RGB(0,255,0), the stain defect is RGB(0,0,255), the particle defect is RGB(255,255,255), and the engraving defect is You can see that it is displayed in RGB(255,255,0) color.
도 13의 왼쪽 이미지에서는 코팅 벗겨짐, 스크래치, 파티클 결함의 검사 결과가 표시되어 있고, 오른쪽 이미지에서는 스크래치, 파티클 결함의 검사 결과가 표시되어 있다. In the left image of FIG. 13, the inspection results of coating peeling, scratches, and particle defects are displayed, and in the right image, inspection results of scratches and particle defects are displayed.
도 14는 본 발명의 일 실시예에 따른 결함 주변 패치의 softmax 값을 비교하여 결함 분류를 보정하는 과정을 도시한 것이다. 14 is a diagram illustrating a process of correcting defect classification by comparing softmax values of patches around a defect according to an embodiment of the present invention.
도 14에서 보는 바와 같이, 최종 결함 결과를 출력하였을 때 패치 기반의 분류 결과의 위치가 끊겨서 출력되는 경우가 발생할 수 있다. As shown in FIG. 14 , when the final defect result is output, the position of the patch-based classification result may be cut off and output.
이를 해결하기 위해, 본 발명에서는 결함 패치 주변 패치들의 해당 결함 분류 softmax값을 비교하여 분류 항목과 결함의 차가 임계값 이하일 경우, 결함으로 판단한다. 예를 들어 1번의 패치 분류 결과가 '얼룩' 결함이라면, 이웃한 패치들의 '얼룩' 결함에 대한 softmax 값과 기존 분류 항목의 softmax값과의 차가 임계값 이하이기 때문에, '얼룩' 결함으로 판정한다. 이러한 과정을 다음 수식으로 나타낼 수 있다. In order to solve this problem, in the present invention, when the difference between the classification item and the defect is less than a threshold value by comparing the corresponding defect classification softmax values of patches surrounding the defective patch, it is determined as a defect. For example, if the first patch classification result is a 'spotty' defect, the difference between the softmax value of the 'stained' defect of neighboring patches and the softmax value of the existing classification item is less than or equal to the threshold, so it is determined as a 'stained' defect. . This process can be expressed by the following formula.
T는 임계값, i는 네트워크 분류 결과, a는 주변 결함 종류라고 할 때, 
예를 들어, A 결함으로 분류된 결함 패치의 주변 8개의 패치들을 확인한다. 그리고, 주변 패치 중 B 결함으로 분류된 패치가 있으면, 그 패치의 B에 대한 softmax값 - A에 대한 softmax 값을 계산하여, 임계치 이하일 경우 B 결함으로 분류된 패치를 A 결함으로 변경하는 것이다. For example, 8 patches surrounding the defective patch classified as A defect are checked. And, if there is a patch classified as a B defect among the surrounding patches, the softmax value for B minus the softmax value for A of the patch is calculated, and if it is less than a threshold value, the patch classified as a B defect is changed to an A defect.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.Although the present invention has been described above using several preferred embodiments, these examples are illustrative and not restrictive. Those of ordinary skill in the art to which the present invention pertains will understand that various changes and modifications can be made without departing from the spirit of the present invention and the scope of the appended claims.
100 카메라 장치 200 외관 검사 장치100
Claims (20)
상기 컴팩트 카메라 모듈 덮개 이미지를 영상 처리하여 컴팩트 카메라 모듈 영역을 검출하는 단계;
검출한 컴팩트 카메라 모듈 영역에서 N개의 검사 패치를 추출하는 단계;
추출된 검사 패치를 이용하여 결함 분류 네트워크를 학습하는 단계;
학습된 결함 분류 네트워크를 통해 N개의 검사 패치에 대한 결과를 각각 출력하는 단계; 및
N개의 검사 패치 결과를 병합하여 최종 결함 결과를 출력하는 단계를 포함하고,
상기 카메라 모듈 영역을 검출하는 단계에서, 템플릿 매칭 방법을 사용하여 컴팩트 카메라 모듈 영역을 검출하고,
슬라이딩 윈도우 방식을 사용하여 패치끼리 겹치도록 검사 패치를 추출하고,
결함 분류 네트워크 학습에 사용하기 위해 컴팩트 카메라 모듈에서 발생한 결함의 종류와 위치를 표시한 정답 이미지를 GT(Ground Truth) 이미지라고 할 때,
상기 결함 분류 네트워크를 학습하는 단계에서, 상기 GT 이미지를 기반으로 상기 검사 패치 중에서 결함이 있는 것인 결함 패치를 추출하여 결함 분류 네트워크의 학습 데이터로 사용하고,
컴팩트 카메라 모듈의 원본 이미지 크기에서 결함 패치를 1회 추출하고, 원본 이미지를 축소시킨 축소 이미지에서 결함 패치를 1회 추가적으로 추출하고,
상기 결함 분류 네트워크는 CNN(Convolution Neural Network)이고,
상기 결함 분류 네트워크를 학습하는 단계에서, 추출한 결함 패치를 데이터베이스화 하고, 결함 패치들을 결함 분류 네트워크에 입력하여 학습하고,
상기 결함 분류 네트워크를 학습하는 단계에서, 상기 결함 분류 네트워크의 입력은 결함 패치와 결함 라벨이고, 네트워크의 출력은 softmax 함수를 이용해 계산한 분류 확률이고, 결함 라벨과 분류 확률의 차를 이용하여 네트워크 모델의 웨이트(weight)를 조정하는 방법으로 학습하고,
상기 결함 라벨은 코팅 벗겨짐 결함, 파티클 결함, 스크래치 결함, 얼룩 결함, 찍힘 결함 및 정상을 포함하고,
상기 검사 패치에 대한 결과를 각각 출력하는 단계에서, 각 검사 패치에 대한 분류 결과 중에서 가장 높은 softmax 값을 갖는 결함을 해당 검사 패치의 결함으로 출력하고,
결함으로 분류된 어느 결함 패치의 softmax 값과 그 주변에 위치한 주변 패치들의 softmax 값을 비교하여, 그 차이가 미리 정해진 임계값 이하인 경우, 주변 패치들을 해당 결함으로 판정하며, 이를
T는 임계값, i는 네트워크 분류 결과, a는 주변 결함 종류라고 할 때,
acquiring a compact camera module cover image from the camera device;
detecting an area of the compact camera module by image processing the cover image of the compact camera module;
extracting N inspection patches from the detected compact camera module area;
learning a defect classification network using the extracted inspection patch;
outputting the results for each of the N inspection patches through the learned defect classification network; and
outputting a final defect result by merging the N inspection patch results;
In the step of detecting the camera module area, detecting the compact camera module area using a template matching method,
Extracting inspection patches so that they overlap each other using the sliding window method,
When the correct answer image indicating the type and location of the defect that occurred in the compact camera module for use in learning the defect classification network is called a GT (Ground Truth) image,
In the step of learning the defect classification network, a defect patch having a defect is extracted from among the inspection patches based on the GT image and used as training data of the defect classification network,
A defect patch is extracted once from the original image size of the compact camera module, and a defect patch is additionally extracted from the reduced image of the original image.
The defect classification network is a Convolution Neural Network (CNN),
In the step of learning the defect classification network, the extracted defect patches are converted into a database, and the defect patches are inputted into the defect classification network to learn;
In the step of learning the defect classification network, the input of the defect classification network is a defect patch and a defect label, the output of the network is a classification probability calculated using a softmax function, and a network model using the difference between the defect label and the classification probability learn by adjusting the weight of
The defect label includes a coating peeling defect, a particle defect, a scratch defect, a stain defect, a dent defect and a normal,
In the step of outputting the results for the inspection patch, respectively, outputting a defect having the highest softmax value among the classification results for each inspection patch as a defect of the inspection patch,
The softmax value of a certain defective patch classified as a defect is compared with the softmax values of neighboring patches located in its vicinity, and if the difference is less than a predetermined threshold value, the neighboring patches are determined as the corresponding defect
When T is the threshold, i is the network classification result, and a is the type of peripheral fault,
상기 카메라 장치로부터 컴팩트 카메라 모듈 덮개 이미지를 취득하고, 상기 컴팩트 카메라 모듈 덮개 이미지를 영상 처리하여 컴팩트 카메라 모듈 영역을 검출하고, 검출한 컴팩트 카메라 모듈 영역에서 N개의 검사 패치를 추출하고, 추출된 검사 패치를 이용하여 결함 분류 네트워크를 학습하고, 학습된 결함 분류 네트워크를 통해 N개의 검사 패치에 대한 결과를 각각 출력하고, N개의 검사 패치 결과를 병합하여 최종 결함 결과를 출력하는 외관 검사 장치를 포함하고,
상기 외관 검사 장치는 템플릿 매칭 방법을 사용하여 컴팩트 카메라 모듈 영역을 검출하고,
상기 외관 검사 장치는 슬라이딩 윈도우 방식을 사용하여 패치끼리 겹치도록 검사 패치를 추출하고,
결함 분류 네트워크 학습에 사용하기 위해 컴팩트 카메라 모듈에서 발생한 결함의 종류와 위치를 표시한 정답 이미지를 GT(Ground Truth) 이미지라고 할 때,
상기 외관 검사 장치는 상기 GT 이미지를 기반으로 상기 검사 패치 중에서 결함이 있는 것인 결함 패치를 추출하여 결함 분류 네트워크의 학습 데이터로 사용하고,
상기 외관 검사 장치는 컴팩트 카메라 모듈의 원본 이미지 크기에서 결함 패치를 1회 추출하고, 원본 이미지를 축소시킨 축소 이미지에서 결함 패치를 1회 추가적으로 추출하고,
상기 결함 분류 네트워크는 CNN(Convolution Neural Network)이고,
상기 외관 검사 장치는 상기 결함 분류 네트워크를 학습함에 있어서, 추출한 결함 패치를 데이터베이스화 하고, 결함 패치들을 결함 분류 네트워크에 입력하여 학습하고,
상기 외관 검사 장치는 상기 결함 분류 네트워크를 학습함에 있어서, 상기 결함 분류 네트워크의 입력은 결함 패치와 결함 라벨이고, 네트워크의 출력은 softmax 함수를 이용해 계산한 분류 확률이고, 결함 라벨과 분류 확률의 차를 이용하여 네트워크 모델의 웨이트(weight)를 조정하는 방법으로 학습하고,
상기 결함 라벨은 코팅 벗겨짐 결함, 파티클 결함, 스크래치 결함, 얼룩 결함, 찍힘 결함 및 정상을 포함하고,
상기 외관 검사 장치는 상기 검사 패치에 대한 결과를 각각 출력함에 있어서, 각 검사 패치에 대한 분류 결과 중에서 가장 높은 softmax 값을 갖는 결함을 해당 검사 패치의 결함으로 출력하고,
결함으로 분류된 어느 결함 패치의 softmax 값과 그 주변에 위치한 주변 패치들의 softmax 값을 비교하여, 그 차이가 미리 정해진 임계값 이하인 경우, 주변 패치들을 해당 결함으로 판정하며, 이를
T는 임계값, i는 네트워크 분류 결과, a는 주변 결함 종류라고 할 때,
Obtaining a compact camera module cover image from the camera device, image processing the compact camera module cover image to detect a compact camera module area, extracting N inspection patches from the detected compact camera module area, and extracting inspection patches An appearance inspection device that learns a defect classification network using , outputs the results for each of the N inspection patches through the learned defect classification network, and outputs a final defect result by merging the N inspection patch results,
The appearance inspection device detects the compact camera module area using a template matching method,
The appearance inspection apparatus extracts inspection patches so that the patches overlap each other using a sliding window method,
When the correct answer image indicating the type and location of the defect that occurred in the compact camera module for use in learning the defect classification network is called a GT (Ground Truth) image,
The appearance inspection apparatus extracts a defect patch having a defect from the inspection patch based on the GT image and uses it as training data of a defect classification network,
The appearance inspection device extracts a defect patch from the original image size of the compact camera module once, and additionally extracts a defect patch from the reduced image obtained by reducing the original image,
The defect classification network is a Convolution Neural Network (CNN),
In learning the defect classification network, the appearance inspection apparatus converts the extracted defect patches into a database, inputs the defect patches to the defect classification network, and learns them;
When the appearance inspection apparatus learns the defect classification network, an input of the defect classification network is a defect patch and a defect label, and an output of the network is a classification probability calculated using a softmax function, and the difference between the defect label and the classification probability is obtained. learning by adjusting the weight of the network model using
The defect label includes a coating peeling defect, a particle defect, a scratch defect, a stain defect, a dent defect and a normal,
In outputting the results for the inspection patch, the appearance inspection apparatus outputs a defect having the highest softmax value among the classification results for each inspection patch as a defect of the inspection patch,
The softmax value of a certain defective patch classified as a defect is compared with the softmax values of neighboring patches located in its vicinity, and if the difference is less than a predetermined threshold value, the neighboring patches are determined as the corresponding defect
When T is the threshold, i is the network classification result, and a is the type of peripheral fault,
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200064956A KR102272745B1 (en) | 2020-05-29 | 2020-05-29 | Inspection System and Method for Compact Camera Module Cover |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200064956A KR102272745B1 (en) | 2020-05-29 | 2020-05-29 | Inspection System and Method for Compact Camera Module Cover |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102272745B1 true KR102272745B1 (en) | 2021-07-06 |
Family
ID=76860562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200064956A KR102272745B1 (en) | 2020-05-29 | 2020-05-29 | Inspection System and Method for Compact Camera Module Cover |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102272745B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115330693A (en) * | 2022-07-18 | 2022-11-11 | 广州超音速自动化科技股份有限公司 | Multi-system labeling signal combination control method, system and platform |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016071412A (en) * | 2014-09-26 | 2016-05-09 | キヤノン株式会社 | Image classification apparatus, image classification system, image classification method, and program |
| KR101699799B1 (en) | 2016-02-18 | 2017-01-25 | 주식회사 코바텍 | Quality inspection camera module for mobile devices |
| KR20180125905A (en) * | 2017-05-16 | 2018-11-26 | 삼성전자주식회사 | Method and apparatus for classifying a class to which a sentence belongs by using deep neural network |
| KR101926561B1 (en) * | 2018-03-13 | 2018-12-07 | 연세대학교 산학협력단 | Road crack detection apparatus of patch unit and method thereof, and computer program for executing the same |
-
2020
- 2020-05-29 KR KR1020200064956A patent/KR102272745B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016071412A (en) * | 2014-09-26 | 2016-05-09 | キヤノン株式会社 | Image classification apparatus, image classification system, image classification method, and program |
| KR101699799B1 (en) | 2016-02-18 | 2017-01-25 | 주식회사 코바텍 | Quality inspection camera module for mobile devices |
| KR20180125905A (en) * | 2017-05-16 | 2018-11-26 | 삼성전자주식회사 | Method and apparatus for classifying a class to which a sentence belongs by using deep neural network |
| KR101926561B1 (en) * | 2018-03-13 | 2018-12-07 | 연세대학교 산학협력단 | Road crack detection apparatus of patch unit and method thereof, and computer program for executing the same |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115330693A (en) * | 2022-07-18 | 2022-11-11 | 广州超音速自动化科技股份有限公司 | Multi-system labeling signal combination control method, system and platform |
| CN115330693B (en) * | 2022-07-18 | 2024-08-30 | 超音速人工智能科技股份有限公司 | Multi-system labeling signal combination control method, system and platform |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI603074B (en) | Optical film defect detection method and system thereof | |
| JP2018005639A (en) | Image classification device, image inspection device, and program | |
| KR102168724B1 (en) | Method And Apparatus for Discriminating Normal and Abnormal by using Vision Inspection | |
| CN107084992B (en) | Capsule detection method and system based on machine vision | |
| CN110567976B (en) | Mobile phone cover plate silk-screen defect detection device and detection method based on machine vision | |
| CN111179250B (en) | Industrial product defect detection system based on multitask learning | |
| CN110018172B (en) | Product detection system and method | |
| CN113034488B (en) | Visual inspection method for ink-jet printed matter | |
| CN111310826B (en) | Method and device for detecting labeling abnormality of sample set and electronic equipment | |
| WO2024002187A1 (en) | Defect detection method, defect detection device, and storage medium | |
| CN113083804A (en) | Laser intelligent derusting method and system and readable medium | |
| CN111739003B (en) | Machine vision method for appearance detection | |
| CN109870463B (en) | Electronic chip fault detection device | |
| CN117197112B (en) | Industrial screen printing defect detection method and system based on sample comparison | |
| CN114226262A (en) | Flaw detection method, flaw classification method and flaw detection system | |
| KR102272745B1 (en) | Inspection System and Method for Compact Camera Module Cover | |
| CN111882547A (en) | PCB missing part detection method based on neural network | |
| CN108615039A (en) | Cartridge case defect automatic testing method based on computer vision | |
| CN111563869B (en) | Stain test method for quality inspection of camera module | |
| TWM606740U (en) | Defect detection system | |
| CN115131355B (en) | Intelligent method for detecting waterproof cloth abnormity by using electronic equipment data | |
| CN115239690A (en) | PCB line sequence detection method and system based on image recognition | |
| CN112200200B (en) | LED light color detection method | |
| CN107122783A (en) | A kind of assembling connecting piece method for quickly identifying based on Corner Detection | |
| Ulger et al. | A standalone open-source system for optical inspection of printed circuit boards |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |