KR20220065545A - Apparatus for checking defect of object having atypical surface - Google Patents
Apparatus for checking defect of object having atypical surface Download PDFInfo
- Publication number
- KR20220065545A KR20220065545A KR1020200152185A KR20200152185A KR20220065545A KR 20220065545 A KR20220065545 A KR 20220065545A KR 1020200152185 A KR1020200152185 A KR 1020200152185A KR 20200152185 A KR20200152185 A KR 20200152185A KR 20220065545 A KR20220065545 A KR 20220065545A
- Authority
- KR
- South Korea
- Prior art keywords
- atypical
- product
- rotation
- cameras
- appearance
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
- G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
- G01N21/8901—Optical details; Scanning details
- G01N21/8903—Optical details; Scanning details using a multiple detector array
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/8858—Flaw counting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/04—Batch operation; multisample devices
- G01N2201/0415—Carrusel, sequential
- G01N2201/0423—Carrusel, sequential with rotating optics
Landscapes
- Chemical & Material Sciences (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Textile Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
본 발명은 비정형적 외형을 갖는 제품의 불량을 검사하는 장치에 관한 것으로 더욱 상세하게는 불량검사의 대상 제품을 특정된 루틴 알고리즘에 따라 회전시키면서 다수의 카메라를 통해 다수의 이미지를 획득하고 상기 획득한 이미지를 딥러닝 검사하여 상기 제품의 비정형적 외형에 대한 각종 불량을 보다 정확하게 검사하는 장치에 관한 것이다.The present invention relates to an apparatus for inspecting defects of products having an atypical appearance, and more particularly, while rotating a product subject to defect inspection according to a specified routine algorithm, acquiring a plurality of images through a plurality of cameras, It relates to an apparatus for more accurately inspecting various defects of the atypical appearance of the product by deep learning inspection of the image.
일반적으로, 비전 검사장치는 검사 대상물을 카메라나 센서 등에 의해 촬영 또는 감지하여 제품의 형상이나 치수 또는 이물이나 스크래치 등을 검사하여 제품의 불량여부를 판단 및 선별할 수 있도록 된 장치이다. 이러한 비전 검사장치는 대개 검사 대상물을 연속적으로 공급하여 자동적으로 불량 여부를 검사할 수 있음에 따라, 휴대폰이나 자동차의 부품 등 각종 제품을 전수검사하는 데에 유용하게 사용되고 있다.In general, a vision inspection apparatus is a device capable of determining and sorting whether a product is defective by photographing or sensing an object to be inspected by a camera or a sensor and inspecting the shape or size of a product, or a foreign object or scratch. As such a vision inspection device can automatically inspect for defects by continuously supplying inspection objects, it is usefully used to thoroughly inspect various products such as mobile phones and automobile parts.
종래의 비전 검사방식은 2D 이미지에서 단순 그레이(Gray) 변화량을 감지하여 불량(Defect)을 검출하고 분류하는 방식인데 이는 정형적인 외형을 갖는 제품에만 정상적으로 적용될 뿐, 비정형적인 제품의 경우 제품 면의 특성 상 그레이(Gray) 차가 발생한 부분을 불량이라고 단정할 수 없는 문제점이 있다. 굴곡면을 가진 금속 제품에 대해서는 굴곡면의 빛 난반사나 표면의 거칠기로 인해 컴퓨터 비전을 통한 외관의 불량(이물, 찍힘, Burr 등)을 검출하지 못한다. 종래의 방식은 단순하게 제품 이미지를 포화(Saturation)시킨 상태에서 치수 측정 혹은 구멍(Hole) 유/무 검사에 대해서만 컴퓨터 비전을 통해서 진행할 수 있다. The conventional vision inspection method detects and classifies defects by detecting simple gray changes in 2D images. There is a problem that it cannot be determined that the part where the phase gray difference occurs is defective. For metal products with curved surfaces, defects in appearance (foreign substances, dents, burrs, etc.) cannot be detected through computer vision due to diffuse light reflection on the curved surface or roughness of the surface. In the conventional method, only dimension measurement or hole presence/absence inspection can be performed through computer vision in a state in which the product image is simply saturated.
종래기술에 따른 제품 외형 검사는 검사자가 직접 검사 현미경을 통해 육안 검사로 진행하며 한 개의 제품을 돌려가거나 각도를 틀어서 외관의 불량 요소를 찾아내고 있는 실정이다. 그러나 이러한 방식은 검사자마다 눈대중으로 파악하는 방식의 한계로 인해 불량 검출의 차이가 발생할 수밖에 없으며, 검사 속도에 대해서도 빠른 사람과 느린 사람으로 나뉘는 불합리한 문제가 있다. 또한 같은 검사자라고 할지라도 날 마다, 혹은 시간 별로 검사하는 기준이 차이가 날 수 있다는 문제점이 있다. 이와 같이 종래의 검사 방식으로는 비정형적인 금속 제품의 외형 특성 상 컴퓨터 비전으로 검사가 불가하여 육안 검사에 의존할 수밖에 없어 비정형적 외형을 갖는 제품의 불량을 정확하게 검출하지 못하고 있는 실정이다. 이에 비정형적 외형을 갖는 제품의 외관에 대한 불량(defect)을 보다 정확하면서 신속하게 검출할 있는 장치의 개발이 요구되고 있다.Product appearance inspection according to the prior art is a situation in which the inspector directly proceeds with a visual inspection through an inspection microscope, and finds defective elements of the appearance by turning one product or changing an angle. However, this method inevitably causes a difference in defect detection due to the limitation of the method that each inspector recognizes by eye, and there is an unreasonable problem in that the inspection speed is divided into a fast person and a slow person. Also, there is a problem that even the same inspector may have different inspection standards for each day or time. As such, in the conventional inspection method, due to the external characteristics of the atypical metal product, the inspection by computer vision is impossible, and thus it has no choice but to rely on the visual inspection. Accordingly, there is a demand for the development of a device capable of more accurately and rapidly detecting defects on the appearance of products having an atypical appearance.
본 발명은 상기와 같은 종래 기술을 개선하기 위해 안출된 것으로서, 불량검사의 대상 제품을 특정된 루틴 알고리즘에 따라 회전시키면서 다수의 카메라를 통해 다수의 이미지를 획득하고 상기 획득한 이미지를 딥러닝 검사하여 상기 제품의 비정형적 외형에 대한 각종 불량을 보다 정확하게 검사하는 비정형적 외형을 갖는 제품의 불량을 검사하는 장치를 제공하는 것을 목적으로 한다.The present invention has been devised to improve the prior art as described above, and while rotating a product subject to defect inspection according to a specified routine algorithm, acquire a plurality of images through a plurality of cameras, and inspect the acquired images by deep learning. An object of the present invention is to provide an apparatus for inspecting defects of a product having an atypical appearance for more accurately inspecting various defects for the atypical appearance of the product.
상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명의 일실시예에 따른 비정형적 외형을 갖는 제품의 불량을 검사하는 장치는, 상기 비정형적 제품이 장착되고 상기 비정형적 제품을 선정된 알고리즘에 따라 회전시키는 회전 장착대; 상기 회전 장착대에 장착되는 상기 비정형적 제품을 둘러싸는 형태로 각각의 영역마다 배치되고, 상기 회전 장착대의 회전 알고리즘에 대응하여 상기 각각의 영역에서 상기 비정형적 제품을 촬영하는 다수의 카메라; 상기 다수의 카메라가 배치되는 각각의 영역마다 상기 각 카메라에 대응하여 배치되어 상기 비정형적 제품에 빛을 조사하는 다수의 조명; 상기 회전 장착대의 알고리즘에 따라 상기 회전 장착대의 회전을 제어하고 그에 대응하여 상기 다수의 카메라 각각의 촬영을 제어하는 회전촬영 제어부; 및 상기 다수의 카메라가 촬영한 이미지를 통해 상기 비정형적 제품의 불량을 검출하는 불량 검사부를 포함한다.In order to achieve the above object and solve the problems of the prior art, an apparatus for inspecting a defect of a product having an atypical appearance according to an embodiment of the present invention is a device in which the atypical product is mounted and the atypical product is selected a rotating mount that rotates according to an algorithm; a plurality of cameras disposed in each area in a form surrounding the atypical product mounted on the rotary mount and photographing the atypical product in each area in response to a rotation algorithm of the rotary mount; a plurality of lights disposed corresponding to the respective cameras in each area in which the plurality of cameras are disposed and irradiating light to the atypical product; a rotation photographing control unit for controlling the rotation of the rotation mount according to the algorithm of the rotation mount and correspondingly controlling the photographing of each of the plurality of cameras; and a defect inspection unit configured to detect defects of the atypical product through the images captured by the plurality of cameras.
또한, 본 발명의 일실시예에 따른 비정형적 외형을 갖는 제품의 불량을 검사하는 장치의 상기 회전촬영 제어부는 상기 알고리즘에 따라, 상기 회전 장착대가 36도의 회전각도만큼 회전한 후 일정시간동안 정지하는 루틴(routine)을 0도부터 360도의 회전각도까지 10회 연속으로 수행하도록 상기 회전 장착대의 회전을 제어하는 것을 특징으로 한다.In addition, according to the algorithm, the rotation imaging control unit of the device for inspecting defects of a product having an atypical appearance according to an embodiment of the present invention stops the rotation mount for a certain period of time after the rotation mount rotates by a rotation angle of 36 degrees It is characterized in that the rotation of the rotary mount is controlled to perform a routine 10 times consecutively from 0 degree to 360 degree rotation angle.
또한, 본 발명의 일실시예에 따른 비정형적 외형을 갖는 제품의 불량을 검사하는 장치의 상기 회전촬영 제어부는 상기 루틴마다 상기 회전이 정지되는 시간동안 상기 다수의 카메라가 각각의 위치에서 상기 비정형적 제품을 각각 촬영하여 상기 각 카메라마다 상기 10회의 루틴동안 각각 10장의 이미지를 획득하도록 제어하는 것을 특징으로 한다.In addition, the rotation imaging control unit of the apparatus for inspecting a defect of a product having an atypical appearance according to an embodiment of the present invention is configured to allow the plurality of cameras to display the atypical images at each position during the time when the rotation is stopped for each routine. It is characterized in that each product is photographed and each camera is controlled to acquire 10 images during the 10 routines.
또한, 본 발명의 일실시예에 따른 비정형적 외형을 갖는 제품의 불량을 검사하는 장치의 상기 불량 검사부는 CNN(Convolution Neural Network) 신경망을 갖는 인공지능이 구비된 컴퓨팅 디바이스이고, 상기 CNN 신경망을 이용한 딥러닝 이미지 학습을 통한 모델 생성을 통해 상기 비정형적 제품의 불량을 검사하는 것을 특징으로 한다.In addition, the defect inspection unit of the apparatus for inspecting a defect of a product having an atypical appearance according to an embodiment of the present invention is a computing device equipped with artificial intelligence having a CNN (Convolution Neural Network) neural network, and using the CNN neural network It is characterized in that the defect of the atypical product is inspected through model generation through deep learning image learning.
또한, 본 발명의 일실시예에 따른 비정형적 외형을 갖는 제품의 불량을 검사하는 장치에 있어서, 상기 CNN 신경망을 이용한 딥러닝 이미지 학습은 샘플 이미지 입력단계, 학습 데이터 라벨링 단계, 딥러닝 학습진행 단계, 모델 생성 단계를 통해 구현되고, 상기 불량 검사부는 상기 다수의 카메라로부터 수신하는 이미지를 상기 딥러닝을 통해 생성한 모델과 비교하여 상기 비정형적 제품의 외형 불량을 검사하는 것을 특징으로 한다.In addition, in the apparatus for inspecting a defect of a product having an atypical appearance according to an embodiment of the present invention, the deep learning image learning using the CNN neural network is a sample image input step, a learning data labeling step, a deep learning learning progress step , is implemented through the model generation step, and the defect inspection unit compares the images received from the plurality of cameras with the model generated through the deep learning to inspect the appearance defect of the atypical product.
본 발명의 비정형적 외형을 갖는 제품의 불량을 검사하는 장치에 따르면, 외형에 굴곡면을 갖는 제품에 대하여 굴곡면의 빛 난반사나 표면의 거칠기에 상관없이 외관의 이물, 찍힘, Burr 등의 불량을 보다 정확하게 검출하는 효과를 얻을 수 있다.According to the device for inspecting defects of products having an atypical appearance of the present invention, defects such as foreign substances, dents, burrs, etc. in the appearance are detected regardless of the light diffuse reflection of the curved surface or the roughness of the surface for a product having a curved surface in the exterior. A more accurate detection effect can be obtained.
또한, 본 발명의 비정형적 외형을 갖는 제품의 불량을 검사하는 장치에 따르면, 각종 불량 형태에 따른 다수의 검사 모델과 다수의 쓰레드로 이미지를 딥러닝 검사함으로써 보다 단축된 시간내에 다양한 형태의 불량을 보다 정확하게 검사할 수 있는 효과를 얻을 수 있다.In addition, according to the device for inspecting defects of products having an atypical appearance of the present invention, various types of defects are detected in a shorter time by deep learning inspection of images with multiple inspection models and multiple threads according to various defect types. The effect of more accurate inspection can be obtained.
도 1은 본 발명의 일실시예에 따른 비정형적 외형을 갖는 제품의 불량을 검사하는 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 다수의 카메라가 배치된 구성을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 조명의 구성을 도시한 도면이다.1 is a diagram showing the configuration of an apparatus for inspecting defects of a product having an atypical appearance according to an embodiment of the present invention.
2 is a diagram illustrating a configuration in which a plurality of cameras are disposed according to an embodiment of the present invention.
3 is a view showing the configuration of lighting according to an embodiment of the present invention.
본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.In order to clarify the characteristics and advantages of the problem solving means of the present invention, the present invention will be described in more detail with reference to specific embodiments of the present invention shown in the accompanying drawings. However, detailed descriptions of well-known functions or configurations that may obscure the gist of the present invention in the following description and accompanying drawings will be omitted. Also, it should be noted that, throughout the drawings, the same components are denoted by the same reference numerals as much as possible.
이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.The terms or words used in the following description and drawings should not be construed as being limited to conventional or dictionary meanings, and the inventor may appropriately define the concept of terms for describing his invention in the best way. Based on the principle that there is, it should be interpreted as meaning and concept consistent with the technical idea of the present invention. Therefore, the embodiments described in this specification and the configurations shown in the drawings are only the most preferred embodiment of the present invention, and do not represent all of the technical spirit of the present invention. It should be understood that there may be equivalents and variations.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다.In addition, terms including ordinal numbers such as 1st, 2nd, etc. are used to describe various components, and are used only for the purpose of distinguishing one component from other components, and to limit the components. not used For example, without departing from the scope of the present invention, the second component may be referred to as the first component, and similarly, the first component may also be referred to as the second component. In addition, when an element is referred to as being “connected” or “connected” to another element, it means that it is logically or physically connected or can be connected.
다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다. 또한, 본 명세서에서 기술되는 "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In other words, it should be understood that a component may be directly connected or connected to another component, but another component may exist in between, and may be indirectly connected or connected. In addition, terms such as "comprises" or "have" as used herein are intended to designate that the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification exist, but one or the It should be understood that the above does not preclude the possibility of the existence or addition of other features or numbers, steps, operations, components, parts, or combinations thereof.
또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.In addition, terms such as “…unit”, “…group”, and “module” described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software. there is. Also, "a or an", "one", "the" and similar terms are otherwise indicated herein in the context of describing the invention (especially in the context of the following claims). or may be used in a sense including both the singular and the plural unless clearly contradicted by context.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 비정형적 외형을 갖는 제품의 불량을 검사하는 장치의 구성을 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 다수의 카메라가 배치된 구성을 도시한 도면이며, 도 3은 본 발명의 일실시예에 따른 조명의 구성을 도시한 도면이다.1 is a view showing the configuration of an apparatus for inspecting defects of a product having an atypical appearance according to an embodiment of the present invention, and FIG. 2 is a configuration in which a plurality of cameras are disposed according to an embodiment of the present invention. 3 is a diagram showing the configuration of lighting according to an embodiment of the present invention.
본 발명의 일실시예에 따른 비정형적 외형을 갖는 제품의 불량을 검사하는 장치(100)는 회전 장착대(110), 다수의 카메라(120), 다수의 조명(130), 회전촬영 제어부(140), 불량 검사부(150)를 구성으로 포함한다.The
회전 장착대(110)에는 비정형적 제품이 장착되고 상기 비정형적 제품을 선정된 알고리즘에 따라 회전시킨다. 상기 비정형적 제품은 외형이 정형적으로 구성되지 않고 비정형적인 굴곡이 외관에 형성되어 굴곡면으로 인한 빛의 난반사나 표면의 거칠기가 일정하지 않은 제품을 의미한다. 회전 장착대(110)는 자전하는 형태로 구현될 수 있는데 이를 위하여 서보모터, 회전축, 받침대 등으로 구성될 수 있다. An atypical product is mounted on the rotating
다수의 카메라(120)는 회전 장착대(110)에 장착되는 상기 비정형적 제품을 둘러싸는 형태로 각각의 영역마다 배치된다. 예를 들어 도 2에 도시된 바와 같이 비정형적 제품의 측면을 둘러싸는 형태로 120도 간격마다 3대의 카메라가 설치되고, 3대의 상측에 하나 이상의 카메라가 더 설치될 수 있으며, 3대의 카메라와 직교하는 형태로 제품의 상단을 향하도록 하나 이상의 카메라가 더 설치될 수 있다. 카메라의 설치 개수나 설치 방향은 검사하고자 하는 비정형적 제품의 외형을 고려하여 관리자가 다양한 방법으로 설정하도록 구현될 수 있다. 다수의 카메라(120)는 회전 장착대(110)의 회전 알고리즘에 대응하여 상기 각각의 영역에서 상기 비정형적 제품을 촬영한다. 상기 회전 알고리즘은 회전촬영 제어부(140)에 의해 구현된다.A plurality of
다수의 조명(130)은 다수의 카메라(120)가 배치되는 각각의 영역마다 상기 각 카메라에 대응하여 배치되어 상기 비정형적 제품에 빛을 조사한다. 도 3에 도시된 바와 같이 다수의 조명(130)은 확산형 C자형 조명으로 구현될 수 있다. 일반적인 직광형 조명의 경우 비정형적 제품의 굴곡면에 조사되는 빛의 난반사로 인해 Saturation 상태가 발생하여 외관 검사 Dead Area 발생한다. 따라서, 본 발명에서는 특수 확산형 조명을 적용하여 굴곡면에서도 외관 검사가 가능한 정도의 일정한 조건을 만들 수 있다. The plurality of
회전촬영 제어부(140)는 회전 장착대(110)의 알고리즘에 따라 회전 장착대(110)의 회전을 제어하고 그에 대응하여 다수의 카메라(120) 각각의 촬영을 제어한다. 예를 들어, 회전촬영 제어부(140)는 상기 알고리즘에 따라, 회전 장착대(110)가 36도의 회전각도만큼 회전한 후 일정시간동안 정지하는 루틴(routine)을 0도부터 360도의 회전각도까지 10회 연속으로 수행하도록 회전 장착대(110)의 회전을 제어할 수 있다. 이러한 경우, 회전촬영 제어부(140)는 상기 루틴마다 상기 회전이 정지되는 시간동안 다수의 카메라(120)가 각각의 위치에서 상기 비정형적 제품을 각각 촬영하여 상기 각 카메라마다 상기 10회의 루틴동안 각각 10장의 이미지를 획득하도록 제어할 수 있다. 회전 장착대(110)의 회전 루틴 방식과 카메라의 촬영 루틴 방식은 관리자의 판단에 따라 다양한 값으로 설정될 수 있다.The rotation
불량 검사부(150)는 다수의 카메라(120)가 촬영한 이미지를 통해 상기 비정형적 제품의 불량을 검출한다. 불량 검사부(150)는 CNN(Convolution Neural Network) 신경망을 갖는 인공지능이 구비된 컴퓨팅 디바이스로 구현될 수 있다. 불량 검사부(150)는 상기 CNN 신경망을 이용한 딥러닝 이미지 학습을 통한 모델 생성을 통해 상기 비정형적 제품의 불량을 검사한다. 상기 CNN 신경망을 이용한 딥러닝 이미지 학습은 샘플 이미지 입력단계, 학습 데이터 라벨링 단계, 딥러닝 학습진행 단계, 모델 생성 단계를 통해 구현될 수 있다. 불량 검사부(150)는 다수의 카메라(120)로부터 수신하는 이미지를 상기 딥러닝을 통해 생성한 모델과 비교하여 상기 비정형적 제품의 외형 불량을 검사할 수 있다. The
기존의 검사 방식인 컴퓨터 비전(Rule 기반)으로는 비정형적인 제품의 외관 검사를 수행하기 어렵다. 기존의 컴퓨터 비젼은 플랫(Flat)한 외형, 민무늬의 제품의 외관 검사에 적합하다. 그러나 굴곡면 둥의 비정형적인 외형을 갖는 검사면 재질의 질감에서는 불량부와 검사면의 구분이 어렵기 때문에 외관 불량 검사를 할 수 없으며, 단순하게 치수 측정과 튀어나온 불량 정도만 검사 진행이 가능하고, 나머지 불량에 대해서는 검사자가 육안으로 검사할 수밖에 없었다. It is difficult to perform external inspection of atypical products with computer vision (Rule-based), which is the existing inspection method. Existing computer vision is suitable for inspection of the appearance of flat and smooth products. However, in the texture of the material of the inspection surface, which has an atypical appearance of a curved surface, it is difficult to distinguish between the defective part and the inspection surface, so it is not possible to inspect for poor appearance. For the remaining defects, the inspector had no choice but to visually inspect them.
비정형적인 금속 제품의 외관 검사에 적용되는 이미지는 단순한 신경망이나 얕은 Layer의 학습을 통해서는 불량을 검출하기 어려운 이미지이다. 본 발명에서는 Tensorflow를 이용한 CNN 신경망을 사용하여 이미지 불량에 대한 학습을 진행한다. 이 때, 이미지의 불량 검출이 어렵기 때문에 신경망의 깊이를 101 Layer 로 적용하여 학습의 양을 증대해서 불량 검출을 최적화할 수 있다.The image applied to the external inspection of atypical metal products is an image that is difficult to detect defects through simple neural networks or shallow layer learning. In the present invention, learning about image defects is performed using a CNN neural network using Tensorflow. In this case, since it is difficult to detect a defect in an image, the depth of the neural network is applied as 101 layers to increase the amount of learning and optimize the defect detection.
해당 알고리즘 및 모델은 Python 기반으로 개발되었기 때문에, 실제 검사 적용 시 이미지 획득 어플리케이션과 Python 딥러닝 검사 모델이 서로 통신으로 이미지 및 상태를 주고 받아야 하므로 검사 장치를 구성함에 있어 시간이 오래 걸릴 수 있는데, 본 발명에서는 8개의 검사 모델을 dll화하고 이미지 획득 어플리케이션에서 직접 함수 호출하도록 하여 Python 어플리케이션이 구동하지 않도록 함으로써 소요시간을 단축시키고 구성을 단순화할 수 있다. 검사 신뢰성을 높이기 위해 금속 불량 제품 1,000개 이상의 제품에서 각 Defect(긁힘, 찍힘, Burr, 눌림 등)을 라벨링 하고, 이를 각도 및 사이즈 등으로 증폭하여 수 만개의 데이터 세트(Data Set)를 생성하여 검사 정확도를 높일 수 있다. Since the algorithm and model were developed based on Python, it may take a long time to configure the inspection device because the image acquisition application and the Python deep learning inspection model must communicate with each other to exchange images and statuses when applying the actual inspection. In the present invention, the required time can be shortened and the configuration can be simplified by making the 8 inspection models dll and making the function call directly from the image acquisition application so that the Python application does not run. To increase inspection reliability, each defect (scratches, dents, burrs, pressed, etc.) is labeled in more than 1,000 products with defective metal, and tens of thousands of data sets are generated and inspected by amplifying them by angle and size. accuracy can be increased.
비정형적 제품의 전면을 검사해야 하기 때문에 8개의 검사 Model로 학습을 진행하고, 검사 장치의 택타임(Tact Time)을 설정하기 위해 초고속의 검사 속도가 필요하므로, 단일 쓰레드(Thread)의 Sequential한 검사 방식은 지양하고, 검사 Boost Algorithm를 적용하고 8개의 Multi Thread로 검사 수행을 진행하여 88장의 이미지를 6초 안에 검사 완료 진행하는 방식으로 구현할 수 있다. 딥러닝 학습으로 인한 검사는 불량(Defect)의 모양을 통해 검사하며, 이러한 불량(Defect)의 모양 학습으로도 어려운 검사에 대해서는 컴퓨터 비전(영상 처리)과 딥러닝을 적용하여 검사가 가능하도록 할 수 있다. Because it is necessary to inspect the entire surface of an atypical product, learning is carried out with 8 inspection models, and high-speed inspection speed is required to set the tact time of the inspection device, so single-thread sequential inspection It can be implemented by avoiding the method, applying the inspection Boost Algorithm, and performing the inspection with 8 Multi Threads to complete the inspection in 6 seconds for 88 images. Inspection by deep learning learning is inspected through the shape of the defect. there is.
원본 영상에서 잡영을 제거하고 필터링 처리(LOG), 이진화 알고리즘 처리(Adaptive)할 수 있다. Circle Fitting 알고리즘으로 근사치 원을 찾고, Circle을 기준으로 관심 영역을 분리한 후, 분리된 영상을 1/4씩 분리하여 딥러닝 학습을 진행할 수 있는데 이는 하나의 모델로 검사하기 위함이다. 최종적으로 검사 신뢰성 확인하여 비정형적 제품의 외형에 발생한 불량을 보다 정확하고 신속하게 검사할 수 있다. Noise can be removed from the original image, followed by filtering (LOG) and binarization algorithm processing (Adaptive). After finding an approximate circle with the Circle Fitting algorithm, separating the region of interest based on the circle, and dividing the separated images by 1/4, deep learning learning can be performed, which is to test with one model. Finally, by checking the reliability of the inspection, it is possible to inspect the defects that occur in the appearance of atypical products more accurately and quickly.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, although the present invention has been described with reference to limited embodiments and drawings, the present invention is not limited to the above embodiments, and various modifications and variations from these descriptions are provided by those skilled in the art to which the present invention pertains. This is possible.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by the following claims as well as the claims and equivalents.
100: 검사장치
110: 회전 장착대
120: 카메라
130: 조명
140: 회전촬영 제어부
150: 불량 검사부100: inspection device
110: swivel mount
120: camera
130: lighting
140: rotation shooting control unit
150: defective inspection unit
Claims (5)
상기 비정형적 제품이 장착되고 상기 비정형적 제품을 선정된 알고리즘에 따라 회전시키는 회전 장착대;
상기 회전 장착대에 장착되는 상기 비정형적 제품을 둘러싸는 형태로 각각의 영역마다 배치되고, 상기 회전 장착대의 회전 알고리즘에 대응하여 상기 각각의 영역에서 상기 비정형적 제품을 촬영하는 다수의 카메라;
상기 다수의 카메라가 배치되는 각각의 영역마다 상기 각 카메라에 대응하여 배치되어 상기 비정형적 제품에 빛을 조사하는 다수의 조명;
상기 회전 장착대의 알고리즘에 따라 상기 회전 장착대의 회전을 제어하고 그에 대응하여 상기 다수의 카메라 각각의 촬영을 제어하는 회전촬영 제어부; 및
상기 다수의 카메라가 촬영한 이미지를 통해 상기 비정형적 제품의 불량을 검출하는 불량 검사부
를 포함하는 것을 특징으로 하는 비정형적 외형을 갖는 제품의 불량을 검사하는 장치.In the device for inspecting the defect of the product having an atypical appearance,
a rotating mount on which the atypical product is mounted and rotating the atypical product according to a selected algorithm;
a plurality of cameras disposed in each area in a form surrounding the atypical product mounted on the rotary mount and photographing the atypical product in each area in response to a rotation algorithm of the rotary mount;
a plurality of lights disposed corresponding to the respective cameras in each area in which the plurality of cameras are disposed and irradiating light to the atypical product;
a rotation photographing control unit for controlling the rotation of the rotation mount according to the algorithm of the rotation mount and correspondingly controlling the photographing of each of the plurality of cameras; and
A defect inspection unit that detects defects in the atypical product through images taken by the plurality of cameras
Device for inspecting defects of products having an atypical appearance, characterized in that it comprises a.
상기 회전촬영 제어부는 상기 알고리즘에 따라, 상기 회전 장착대가 36도의 회전각도만큼 회전한 후 일정시간동안 정지하는 루틴(routine)을 0도부터 360도의 회전각도까지 10회 연속으로 수행하도록 상기 회전 장착대의 회전을 제어하는 것을 특징으로 하는 비정형적 외형을 갖는 제품의 불량을 검사하는 장치.According to claim 1,
The rotation imaging control unit is configured to perform a routine in which the rotation mount is stopped for a certain period of time after rotating by a rotation angle of 36 degrees according to the algorithm 10 times continuously from 0 degrees to a rotation angle of 360 degrees according to the algorithm. A device for inspecting defects of products having an atypical appearance, characterized in that the rotation is controlled.
상기 회전촬영 제어부는 상기 루틴마다 상기 회전이 정지되는 시간동안 상기 다수의 카메라가 각각의 위치에서 상기 비정형적 제품을 각각 촬영하여 상기 각 카메라마다 상기 10회의 루틴동안 각각 10장의 이미지를 획득하도록 제어하는 것을 특징으로 하는 비정형적 외형을 갖는 제품의 불량을 검사하는 장치.3. The method of claim 2,
The rotation photographing control unit controls the plurality of cameras to photograph the atypical product at each location during the time when the rotation is stopped for each routine, respectively, and to obtain 10 images for each of the cameras during the 10 routines. A device for inspecting defects of products having an atypical appearance, characterized in that.
상기 불량 검사부는 CNN(Convolution Neural Network) 신경망을 갖는 인공지능이 구비된 컴퓨팅 디바이스이고, 상기 CNN 신경망을 이용한 딥러닝 이미지 학습을 통한 모델 생성을 통해 상기 비정형적 제품의 불량을 검사하는 것을 특징으로 하는 비정형적 외형을 갖는 제품의 불량을 검사하는 장치.According to claim 1,
The defect inspection unit is a computing device equipped with artificial intelligence having a CNN (Convolution Neural Network) neural network, and inspects the defects of the atypical product through model generation through deep learning image learning using the CNN neural network. A device that inspects defects of products with atypical appearance.
상기 CNN 신경망을 이용한 딥러닝 이미지 학습은 샘플 이미지 입력단계, 학습 데이터 라벨링 단계, 딥러닝 학습진행 단계, 모델 생성 단계를 통해 구현되고, 상기 불량 검사부는 상기 다수의 카메라로부터 수신하는 이미지를 상기 딥러닝을 통해 생성한 모델과 비교하여 상기 비정형적 제품의 외형 불량을 검사하는 것을 특징으로 하는 비정형적 외형을 갖는 제품의 불량을 검사하는 장치.5. The method of claim 4,
Deep learning image learning using the CNN neural network is implemented through a sample image input step, a learning data labeling step, a deep learning learning progress step, and a model generation step, and the defect inspection unit receives the images received from the plurality of cameras in the deep learning An apparatus for inspecting defects of a product having an atypical appearance, characterized in that the inspection of the appearance defect of the atypical product is compared with a model generated through the .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200152185A KR102558404B1 (en) | 2020-11-13 | 2020-11-13 | Apparatus for checking defect of object having atypical surface |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200152185A KR102558404B1 (en) | 2020-11-13 | 2020-11-13 | Apparatus for checking defect of object having atypical surface |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220065545A true KR20220065545A (en) | 2022-05-20 |
KR102558404B1 KR102558404B1 (en) | 2023-07-24 |
Family
ID=81798296
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200152185A KR102558404B1 (en) | 2020-11-13 | 2020-11-13 | Apparatus for checking defect of object having atypical surface |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102558404B1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS555247B2 (en) * | 1974-08-16 | 1980-02-05 | ||
JP2004317361A (en) * | 2003-04-17 | 2004-11-11 | Kao Corp | Appearance inspection method for stick-shaped cosmetic |
KR101595708B1 (en) | 2015-12-08 | 2016-02-18 | (주)유한엔씨아이 | Vision inspection apparatus |
KR20190063839A (en) * | 2017-11-30 | 2019-06-10 | 전자부품연구원 | Method and System for Machine Vision based Quality Inspection using Deep Learning in Manufacturing Process |
JP6759699B2 (en) * | 2016-05-17 | 2020-09-23 | 大同特殊鋼株式会社 | Visual inspection method and visual inspection equipment for the object to be inspected |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5505247B2 (en) * | 2010-10-14 | 2014-05-28 | 大同特殊鋼株式会社 | Appearance inspection method and appearance inspection apparatus |
-
2020
- 2020-11-13 KR KR1020200152185A patent/KR102558404B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS555247B2 (en) * | 1974-08-16 | 1980-02-05 | ||
JP2004317361A (en) * | 2003-04-17 | 2004-11-11 | Kao Corp | Appearance inspection method for stick-shaped cosmetic |
KR101595708B1 (en) | 2015-12-08 | 2016-02-18 | (주)유한엔씨아이 | Vision inspection apparatus |
JP6759699B2 (en) * | 2016-05-17 | 2020-09-23 | 大同特殊鋼株式会社 | Visual inspection method and visual inspection equipment for the object to be inspected |
KR20190063839A (en) * | 2017-11-30 | 2019-06-10 | 전자부품연구원 | Method and System for Machine Vision based Quality Inspection using Deep Learning in Manufacturing Process |
Also Published As
Publication number | Publication date |
---|---|
KR102558404B1 (en) | 2023-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI598581B (en) | Inspection apparatus and inspection method | |
JP6370177B2 (en) | Inspection apparatus and inspection method | |
US11238303B2 (en) | Image scanning method for metallic surface and image scanning system thereof | |
CN107449779B (en) | Appearance inspection device and appearance inspection method | |
WO2017141611A1 (en) | Defect detection apparatus, defect detection method, and program | |
JP5174540B2 (en) | Wood defect detection device | |
KR102168724B1 (en) | Method And Apparatus for Discriminating Normal and Abnormal by using Vision Inspection | |
US7903865B2 (en) | Automatic optical inspection system and method | |
JP7157580B2 (en) | Board inspection method and board inspection apparatus | |
US11280744B2 (en) | Appearance inspection apparatus and appearance inspection method | |
JP2007212283A (en) | Visual inspection device and visual inspection method | |
JP2018025439A (en) | Appearance inspection method and appearance inspection apparatus | |
JP2017166957A (en) | Defect detection device, defect detection method and program | |
US20230342909A1 (en) | System and method for imaging reflecting objects | |
JP2009109243A (en) | Device for inspecting resin sealing material | |
JP6647903B2 (en) | Image inspection device, image inspection program, computer-readable recording medium, and recorded device | |
KR102558404B1 (en) | Apparatus for checking defect of object having atypical surface | |
JPH0926311A (en) | Visual inspection apparatus | |
Sills et al. | Defect identification on specular machined surfaces | |
KR20190119801A (en) | Vehicle Headlight Alignment Calibration and Classification, Inspection of Vehicle Headlight Defects | |
TWI779055B (en) | Damage inspection method of optical display panel | |
JP2017166956A (en) | Defect detection device detection method and program | |
JPH04194701A (en) | Picture image inputting method and apparatus and appearance inspecting instrument | |
JP4967132B2 (en) | Defect inspection method for object surface | |
KR102558406B1 (en) | Apparatus for checking defect of pouch |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |