KR101041524B1 - Optimal failure recognition system based HTM - Google Patents

Optimal failure recognition system based HTM Download PDF

Info

Publication number
KR101041524B1
KR101041524B1 KR1020090007630A KR20090007630A KR101041524B1 KR 101041524 B1 KR101041524 B1 KR 101041524B1 KR 1020090007630 A KR1020090007630 A KR 1020090007630A KR 20090007630 A KR20090007630 A KR 20090007630A KR 101041524 B1 KR101041524 B1 KR 101041524B1
Authority
KR
South Korea
Prior art keywords
product
image
learning
information
reading
Prior art date
Application number
KR1020090007630A
Other languages
Korean (ko)
Other versions
KR20100088421A (en
Inventor
이종문
강현석
성기원
김재억
Original Assignee
(주) 티아이에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 티아이에스 filed Critical (주) 티아이에스
Priority to KR1020090007630A priority Critical patent/KR101041524B1/en
Priority claimed from US12/696,042 external-priority patent/US20100194562A1/en
Publication of KR20100088421A publication Critical patent/KR20100088421A/en
Application granted granted Critical
Publication of KR101041524B1 publication Critical patent/KR101041524B1/en

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

본 발명은, 최적의 학습방식에 의해 제품의 양불을 판단하도록 구성되는 최적 불량인식 방법에 관한 것이다.The present invention relates to an optimal failure recognition method configured to determine the good or bad of a product by an optimal learning method.

본 발명에 의한 최적 불량인식 시스템은, 양품과 불량에 대한 정보를 학습에 의해 획득하는 학습단계(S10)와, 제품의 양불 판단을 위한 시스템의 기준 정보를 설정하는 설정단계(S100)와, 상기 설정단계(S100)에서 설정된 기준에 따라 제품을 검사하는 제품검사단계(S150)와, 제품의 유형과 정확한 제품 형상을 인식하는 제품인식단계(S160)와, 상기 제품인식단계(S160)에서 최종적으로 인식된 영상을 상기 학습단계(S10)에서 획득된 정보에 의해 불량과 양품을 판단하는 제품품질판단단계(S170)와, 불량이 발생한 경우에는 외부로 알림과 동시에 상기 설정단계(S100)에서 설정된 제어방법에 따라 설비를 제어하는 후속조치단계(S180)를 포함하며, 상기 학습단계(S10)에서는, 양품과 불량에 대해 학습하는 이미지(Image)데이터(Data) 수의 비를 실제 현장에서 발생하는 양품과 불량의 비율과 유사한 비율로 설정함을 특징으로 한다. 이와 같은 본 발명에 의하면, 양품과 불량 판단에 대한 정확도(Accuracy) 및 작업능률이 향상되는 이점이 있다.Optimal failure recognition system according to the present invention, learning step (S10) for obtaining the information on the goods and defects by learning, setting step (S100) for setting the reference information of the system for determining whether the product is defective, and Product inspection step (S150) for inspecting the product according to the criteria set in the setting step (S100), product recognition step (S160) for recognizing the type and correct product shape of the product, and finally in the product recognition step (S160) The product quality determination step (S170) of judging the defective product and the good quality based on the information acquired in the learning step (S10), and the control set in the setting step (S100) at the same time to notify the outside when a defect occurs Follow-up step (S180) for controlling the equipment according to the method, and in the learning step (S10), the ratio of the number of image data (Data) to learn about good quality and defective products in the actual site and It is characterized in that it is set at a rate similar to the rate of failure. According to the present invention as described above, there is an advantage that the accuracy (accuracy) and work efficiency for good quality and poor judgment.

불량, 양품, 판단, HTM, 학습 Defective, Good, Judgment, HTM, Learning

Description

최적 불량인식 방법 {Optimal failure recognition system based HTM}Optimal Failure Recognition Method {Optimal failure recognition system based HTM}

본 발명은 최적 불량인식 시스템에 관한 것으로, 보다 상세하게는 최적의 학습방식에 의해 제품의 양불을 판단하도록 구성되는 최적 불량인식 방법에 관한 것이다.The present invention relates to an optimal failure recognition system, and more particularly, to an optimal failure recognition method configured to determine the good or bad of a product by an optimal learning method.

종래에는 단조 등의 가공 작업에 의해 성형된 제품의 품질을 판단하기 위해서는 작업자가 일일이 제품을 눈으로 보고 판단한다. 즉, 작업자의 개별 판단에 의해 각각의 제품을 시각적으로 인식하여 불량과 양품을 판단하게 된다.In the related art, in order to determine the quality of a product formed by a forging operation, a worker visually judges the product. In other words, by visually recognizing each product by the individual judgment of the operator to determine the defect and good quality.

따라서, 이러한 작업자의 판단에 의하는 경우에는 일일이 제품을 검사하여야 하므로, 작업 능률이 저하되는 문제점이 있다. 또한, 작업자의 상황에 따라 검사기준이 변경되기도 한다. 즉, 작업자의 그날 컨디션에 따라 불량과 양품의 기준에 변화할 수 있기 때문에 품질판단이 주관적으로 되는 문제점이 있다.Therefore, in the case of the worker's judgment, because the product must be inspected one by one, there is a problem that the work efficiency is reduced. In addition, inspection standards may change depending on the worker's situation. That is, there is a problem that the quality judgment is subjective because it can be changed in the standard of defective and good quality according to the condition of the worker on that day.

한편, 근래에는 인공지능이나 신경망이론 등에 의해 제품의 형상을 인식하는 방법이 나오고 있다. 그러나, 이러한 인공지능이나 신경망이론에 의하는 경우에도 해당 제품을 설정하고, 그에 대한 변수를 지정해야 하는 등 기본적으로 해당 판단 기준을 모두 프로그램화하여 지정하여야 한다.Recently, a method of recognizing the shape of a product by artificial intelligence or neural network theory has emerged. However, even in the case of artificial intelligence or neural network theory, all the relevant criteria should be programmed and specified basically, such as setting the product and assigning a variable for it.

즉, 종래의 인공지능이나 신경망 이론에 의하여 제품 형상을 판단하는 경우에도 많은 신경망의 입력뉴런(input neuron)이 필요하므로, 이러한 신경망의 학습시간이 과다하게 소요되고 계산시간도 많이 소요된다. In other words, even when judging the shape of a product by conventional artificial intelligence or neural network theory, input neurons of many neural networks are required, so that the learning time of such neural networks is excessively excessive and computational time is required.

또한, 특정된 해당 제품에 대해서만 형상 판단이 가능하므로 다수의 제품에 대한 형상 판단을 위해서는 그때마다 프로그램을 수정하고, 해당 제품의 기준을 설정해 주어야 하는 번거로움이 있다. In addition, since the shape determination is possible only for a specific corresponding product, it is cumbersome to modify the program each time and set the standard of the corresponding product in order to determine the shape of a plurality of products.

그리고, 최소의 비용과 노력으로 제품의 양품과 불량을 판단하기 위한 기준에 없으므로, 품질판단을 위한 시간이 과다하게 요구되고 품질판단능률이 저하되는 문제점이 있다.In addition, there is a problem that the time for quality determination is excessively required and the quality determination efficiency is deteriorated because there is no standard for determining the quality and defect of the product with minimum cost and effort.

본 발명의 목적은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 에이치티엠(HTM)을 기반으로 하는 인식엔진(recognition engine)을 이용하여 제조공정에서 나오는 다수의 제품에 대해 제품 영상만으로 각 제품의 불량과 양품을 판단하는 최적 불량인식 방법을 제공하는 것이다. An object of the present invention is to solve the problems of the prior art as described above, using a recognition engine based on HTM (HTM) for a number of products coming out of the manufacturing process for each product by using only the image of each It is to provide an optimal defect recognition method for judging product defects and good quality.

본 발명의 다른 목적은, 학습시간이 짧으면서도 정밀도가 높은 학습방식을 가지는 최적 불량인식 방법을 제공하는 것이다. Another object of the present invention is to provide an optimal failure recognition method having a high learning method with a short learning time.

상기한 바와 같은 목적을 달성하기 위한 본 발명에 의한 최적 불량인식 방법은, Optimal failure recognition method according to the present invention for achieving the above object,

양품과 불량에 대한 정보를 학습에 의해 획득하는 학습단계와; 제품의 양불 판단을 위한 시스템의 기준 정보를 설정하는 설정단계와; 상기 설정단계에서 설정된 기준에 따라 제품을 검사하는 제품검사단계와; 상기 제품검사단계에서 측정된 제품의 영상을 구체화하여, 제품의 유형과 정확한 제품 형상을 인식하는 제품인식단계와; 상기 제품인식단계에서 최종적으로 인식된 영상을 상기 학습단계에서 획득된 정보에 의해 불량과 양품을 판단하는 제품품질판단단계와; 상기 제품품질판단단계에 의해 제품 불량이 발생한 경우에는, 이러한 사실을 외부로 알림과 동시에 상기 설정단계에서 설정된 제어방법에 따라 설비를 제어하는 후속조치단계;를 포함하며; 상기 학습단계에서는, 양품과 불량에 대해 학습하는 이미지(Image) 데이터(Data) 수의 비를 실제 현장에서 발생하는 양품과 불량의 비율과 유사한 비율로 설정함을 특징으로 한다.A learning step of acquiring information on the goods and defects by learning; A setting step of setting reference information of a system for determining whether or not a product is defective; A product inspection step of inspecting the product according to the criteria set in the setting step; A product recognition step of recognizing the image of the product measured in the product inspection step to recognize the type of the product and the correct product shape; A product quality judging step of judging defects and good quality of the image finally recognized in the product recognition step by the information obtained in the learning step; And a subsequent step of controlling the facility according to the control method set in the setting step at the same time when the product defect occurs by the product quality determination step, and at the same time to notify the outside to the fact; In the learning step, it is characterized in that the ratio of the number of image data (Data) for learning about good quality and defects is set to a ratio similar to the ratio of good quality and defects that occur in the actual site.

상기한 바와 같은 본 발명의 최적 불량인식 시스템에 따르면, 본 발명은 기본적으로 에이치티엠(HTM) 기술을 기반으로 한다. According to the optimal failure recognition system of the present invention as described above, the present invention is basically based on HTM technology.

따라서, 다수의 제품에 대해 별도의 조작없이도 학습에 의해 품질판단이 가능하므로 작업능률이 향상되고, 품질기능이 향상되는 장점이 있다. 즉, 본 발명에 의하면 제품의 유형이 달라지는 경우에도 학습에 의해 자동적으로 해당 유형을 판별하여 해당 제품의 품질 기준으로 제품의 불량여부를 판단하게 된다. 이와 같이 본 발명에 의하면, 보다 인간에 가까운 학습 및 판단이 가능하므로 품질판단 작업이 보다 효과적으로 가능하게 된다.Therefore, the quality can be determined by learning without a separate operation for a number of products, there is an advantage that the work efficiency is improved, the quality function is improved. That is, according to the present invention, even when the type of the product is different, the corresponding type is automatically determined by learning to determine whether the product is defective based on the quality standard of the corresponding product. Thus, according to the present invention, since it is possible to learn and judge closer to human beings, quality judgment work becomes more effective.

또한, 본 발명에서는, 크롭(crop)과 콘트라스트(contrast)에 의해 입력된 영상을 조작하고, 4개의 레벨(Level)에 의해 영상을 단계적으로 읽어들인다. 따라서, 영상을 통한 불량 판단이 보다 용이하고, 영상 인식에 대한 시간적 지연이 방지되는 이점이 있다.Further, in the present invention, an image inputted by crop and contrast is manipulated, and the image is read out step by step at four levels. Accordingly, there is an advantage in that defect determination through an image is easier and a time delay for image recognition is prevented.

뿐만 아니라, 본 발명에서는 최적의 학습방식을 제공한다. 즉, 학습과정에서가 이미지센서(Image sensor)가 여러 개의 이미지(Image)에서 랜덤(Random)하게 읽어들이는 횟수와, 최대거리 범위내의 벡터(vector)는 동시에 발생하는 것으로 간주하는 최대거리(MaxDistance) 및 추론(inference)과정에서 필요한 변수(parameter)이며 정규분포의 표준편차로서 동시에 발생하는 경우의 수의 범위를 지정하는 시그 마(Sigma)에 대한 최적의 수치를 제공한다. 따라서, 학습에 소요되는 시간이 단축되고 제품의 양불(良不) 판단의 정확도(Accuracy)가 향상되는 장점이 있다.In addition, the present invention provides an optimal learning method. That is, in the learning process, the number of times that the image sensor reads randomly from multiple images and the maximum distance within which the vector within the maximum distance range is regarded as occurring simultaneously (MaxDistance) ) And the parameters required for the inference process, and provide an optimal value for sigma that specifies the range of cases that occur simultaneously as the standard deviation of the normal distribution. Therefore, there is an advantage that the time required for learning is shortened and the accuracy of the good judgment of the product is improved.

이하 본 발명에 의한 최적 불량인식 방법에 대하여 설명한다.Hereinafter, an optimal failure recognition method according to the present invention will be described.

본 발명은 기본적으로 에이치티엠(HTM)을 기반으로 하는 인식엔진(recognition engine)에 의해 품질을 판단하는 시스템이다.The present invention is basically a system for judging quality by a recognition engine based on HTM.

에이치티엠(HTM: Hierarchical Temporal Memory) 모델은, 인간의 지능을 관장하는 신피질의 메커니즘을 의미한다. 즉, Hawkins가 인간 두뇌(Brain)의 뉴런(Neuron)과 시냅시스(Synapsis)의 동작을 모형화해 제안한 신피질(Neocortex)의 연산 모델(Computational Model)이다. Hierarchical Temporal Memory (HTM) model refers to the mechanism of the neocortex that governs human intelligence. In other words, Hawkins is a computational model of the neocortex proposed by modeling the behavior of neurons and synapses in the human brain.

이러한 에이치티엠(HTM: Hierarchical Temporal Memory) 모델은, 기존의 휴리스틱탐색(Huristic search)을 기본으로 하는 인공지능(Artificial intelligence(AI))이나, 단순 뉴런(Neuron)들의 연결로 보는 인공신경망(Artificial neural network(ANN))과는 다르다. This Hierarchical Temporal Memory (HTM) model is an artificial neural network based on conventional heuristic search (Artificial intelligence) or simple neurons (Artificial neural) network (ANN)).

그리고, 에이치티엠(HTM: Hierarchical Temporal Memory)에서는, 네트워크의 기본 단위인 노드(Node)를 6개 층으로 이루어진 신피질(Neocortex)의 기본 단위 즉, 신피질컬럼((Neocortex column)을 단위 노드(Node)로 하여(이는 대략 1,000개의 뉴런들과 1,000,000개의 시냅시스들로 구성됨), 이들을 계층 네트워크(Hierarchy network)로 구성하며, 이를 이용하여 세계(World)의 시공간 적(Spatial-temporal) 패턴(Pattern) 정보(특히, 시간(Temporal) 정보)를 기억해 효율적으로 지능적 판단을 할 수 있게 한다.In the HTM, Hierarchical Temporal Memory (HTM) is a basic unit of the neocortex consisting of six layers of a node, which is a basic unit of a network, that is, a neocortex column is a unit node. (Consisting of approximately 1,000 neurons and 1,000,000 synapses), they are organized into a hierarchy network, which uses the world's spatial-temporal pattern information. (Especially Temporal information) to memorize intelligent judgment efficiently.

따라서, 기존의 AI나 ANN에 비해 세계에 대한 인식이 효율적(Efficient)이면서 훨씬 강건한(Robust) 것으로 나타나고 있다.Therefore, the recognition of the world is more efficient and more robust than the existing AI or ANN.

보다 구체적으로 살펴보면 에이치티엠(HTM: Hierarchical Temporal Memory)은, ⅰ)계층적(Hierarchical)의 의미로, HTM은 트리 모양을 하는 노드들의 계층으로 조직되며, 각 노드는 학습과 메모리 기능을 가지며 이를 수행하는 내부 알고리즘을 갖는다. 낮은 수준의 노드는 외부로부터 많은 양의 입력을 받아 처리한 후 다음 상위 수준으로 그 처리 결과를 보낸다. More specifically, Hierarchical Temporal Memory (HTM), in the sense of hierarchical, is organized into a hierarchical group of nodes, each node having a learning and memory function and performing this. Has an internal algorithm. The lower level node receives a large amount of input from the outside, processes it, and sends the processing result to the next higher level.

ⅱ)시간적 (Temporal)의 의미로, 훈련하는 동안, HTM 응용은 해당 객체를 시간에 걸쳐 변해가는 형태로 나타내는데, 예를 들어, 그림 응용을 훈련시키는 동안에 이미지는 위에서 아래로, 그리고 왼쪽에서 오른쪽으로 마치 이미지가 시간에 걸쳐 움직이는 것으로 나타내어진다. 그리고, 이러한 시간적 요소가 매우 중요하며, 알고리즘은 시간에 따라 점차 변하는 입력을 기대하도록 되어 있다.Ii) In the sense of Temporal, during training, the HTM application presents the object in a form that changes over time, for example, while training a drawing application, the image is from top to bottom and from left to right. It is represented as if the image is moving over time. And this temporal factor is very important, and the algorithm is expected to expect inputs that change over time.

ⅲ)메모리(Memory)의 의미로, HTM 응용은 두 단계로 동작한다. 즉, 메모리를 훈련하고, 그 메모리를 추론에 사용한다. 우선 훈련하는 동안에 HTM 네트워크는 그것이 받아들이고 있는 입력에서 패턴을 인식하기 위해 학습하며, 이때 계층의 각 수준에서 분리적으로 훈련된다. I) In the sense of memory, HTM applications operate in two stages. That is, it trains memory and uses it for inference. During training, the HTM network learns to recognize patterns in the input it is accepting, where it is trained separately at each level of the hierarchy.

이렇게 하여 네트워크의 훈련이 완전히 끝나면, 계층의 각 수준은 그것의 세계에 있는 모든 객체들을 메모리 안에 체계적으로 갖게 된다. In this way, when the network is fully trained, each level in the hierarchy will systematically have all the objects in its world in memory.

다음으로 추론하여 인식하는 동안에 HTM 네트워크는 새로운 객체를 받아, 그것이 이미 알고 있는 객체들 중의 하나로 가장 그럴 것 같다고 판단한다.Next, while inferring and recognizing, the HTM network receives the new object and determines that it is most likely one of the objects it already knows.

이러한 HTM(Hierarchical Temporal Memory)은, 인간은 쉽게 해결하지만 기계는 해결하기 어려운 문제들을 컴퓨터로 해결할 수 있도록 하기 위해, 인간 두뇌의 신피질(neocortex)을 소프트웨어적으로 모델링한 새로운 컴퓨팅 패러다임이다.This hierarchical temporal memory (HTM) is a new computing paradigm that software-models the neocortex of the human brain to enable computers to solve problems that are easy for humans but hard for machines to solve.

HTM을 이용하면 입력되는 센서 데이터에 나타나는 패턴을 발견할 수 있으며, 몇 가지 간단한 응용들(이미지 인식, 다이아그램 인식, 웨이브 인식)에서는 성능의 우수성이 이미 입증되었다. With HTM, you can discover patterns in the incoming sensor data, and in some simple applications (image recognition, diagram recognition, wave recognition), the performance excellence has already been demonstrated.

본 발명은, 이러한 HTM을 이용하여, 제조 공장의 품질보증을 위한 판단에 활용할 수 있도록 한 것이다. 즉, 각종 센서(이미지, 온도, 습도, 먼지)들로부터 수집된 데이터를 이용해 공정 내 또는 공정 간의 품질 상황을 판단할 수 있는 시스템이다. The present invention, by using such HTM, can be utilized in the judgment for quality assurance of the manufacturing plant. That is, the system can determine the quality situation in or between processes using data collected from various sensors (image, temperature, humidity, dust).

이와 같이, 에이치티엠(HTM)을 기반으로 하는 인식엔진(recognition engine)에서는, 다수의 이미지(Image)가 혼재하여 있는 경우에 이러한 다수의 이미지(Image)들을 유사한 종류끼리 각각 분류하여 판단한다. 이는, 어린이에게 기차와 비행기를 사진이나 실물을 통해 인식시켜 주면, 이와 유사한 형체는 그 크기와 무관하게 기차와 비행기로 인식하게 되는 것과 같다.As described above, in a recognition engine based on HTM, when a plurality of images are mixed, the plurality of images are classified and judged by similar types. This is as if children were trained and recognized by pictures or in real life, and similar shapes would be recognized as trains and planes, regardless of their size.

도 1에서는 에이치티엠(HTM) 기반의 인식엔진(recognition engine)에 의한 인식기능을 도식적으로 예를 들어 나타내었다. 1 schematically illustrates a recognition function by an HTM-based recognition engine.

여기서, 좌측편에 있는 다수의 이미지(Image)들 중 삼각형 형상을 가진 이미 지(Image)들은 그 높이나 좌우 폭의 크기와는 무관하게 모두 텐트(Tent)로 인식하고, 원통형상의 이미지(Image)들은 실린더(Cylinder)로 인식하며, 상면이 뾰족한 사각형 형상의 이미지(Image)들은 집(House)으로 인식하게 된다.Here, among the plurality of images on the left side, images having a triangular shape are recognized as tents regardless of their height or the size of the left and right widths. It is recognized as a cylinder, and images of a rectangular shape with a sharp top surface are recognized as a house.

본 발명은 이와 같은 에이치티엠(HTM) 기반의 인식엔진(recognition engine)을 이용하여 다양한 제품의 품질 판단에 이용함으로써, 제품이 변경되거나 동시에 다수의 제품이 투입되는 경우에도 변수 변경 등과 같은 프로그램 변경이나 설비의 교체없이 학습을 바탕으로 품질판단이 가능하게 된다.The present invention can be used to determine the quality of various products using the HTM-based recognition engine, such as changing the program even if the product is changed or a large number of products at the same time or change the program Quality judgment is possible based on learning without changing equipment.

도 2는, 본 발명에 의한, 최적 불량인식 방법의 개략적인 구성 상태를 보인 블럭도이다.2 is a block diagram showing a schematic configuration of the optimum failure recognition method according to the present invention.

이에 도시된 바와 같이, 본 발명에 의한 최적 불량인식 방법은, 양품과 불량에 대한 정보를 학습에 의해 획득하는 학습단계(S10)와, 제품의 양불 판단을 위한 시스템의 기준 정보를 설정하는 설정단계(S100)와, 상기 설정단계(S100)에서 설정된 기준에 따라 제품을 검사하는 제품검사단계(S150)와, 상기 제품검사단계(S150)에서 측정된 제품의 영상을 구체화하여 제품의 유형과 정확한 제품 형상을 인식하는 제품인식단계(S160)와, 상기 제품인식단계(S160)에서 최종적으로 인식된 영상을 상기 학습단계(S10)에서 획득된 정보에 의해 불량과 양품을 판단하는 제품품질판단단계(S170)와, 상기 제품품질판단단계(S170)에 의해 제품 불량이 발생한 경우에는 이러한 사실을 외부로 알림과 동시에 상기 설정단계(S100)에서 설정된 제어방법에 따라 설비를 제어하는 후속조치단계(S180) 등으로 이루어진다.As shown in this, the optimal failure recognition method according to the present invention, the learning step (S10) for obtaining the information on the goods and defects by learning, and the setting step of setting the reference information of the system for determining whether the product is defective (S100), the product inspection step (S150) for inspecting the product according to the criteria set in the setting step (S100), and the product type and the exact product by specifying the image of the product measured in the product inspection step (S150) Product recognition step (S160) for recognizing the shape and the product quality determination step (S170) to determine the defective and good quality based on the information obtained in the learning step (S10) the image finally recognized in the product recognition step (S160) And, if a product failure occurs by the product quality determination step (S170) and at the same time to the outside and at the same time follow-up step to control the equipment according to the control method set in the setting step (S100) It comprises a (S180) and the like.

상기 학습단계(S10)에서는, 양품과 불량에 대해 학습하는 이미지(Image)데이터(Data) 수의 비를 실제 현장에서 발생하는 양품과 불량의 비율과 유사한 비율로 설정한다. 즉 학습하기 위한 양품과 불량의 기본 데이터 비는, 실제 현장에서 발생하는 비율과 같은 비가 되도록 함이 바람직하다.In the learning step (S10), the ratio of the number of image data (Data) for learning about good quality and defective is set to a ratio similar to the ratio of good quality and defective that occurs in the actual site. In other words, it is preferable that the ratio of the basic data between good and bad for learning to be the same as the ratio occurring in the actual field.

도 3a과 도 3b는 상기 학습단계(S10)에서 최적의 데이터(Data) 수를 찾기 위한 실험과정을 나타낸 것이다. 3A and 3B illustrate an experimental process for finding an optimal number of data in the learning step S10.

도 3a은 양품과 불량의 대표적 이미지를 보여주고 있다. 즉, 부품의 '양품' 이미지가 맨 좌측에 도시되어 있으며, 중앙부와 우측에는 '불량1' 및 '불량2'의 상태가 도시되어 있다. 도시된 바와 같이, '불량1'은 제품의 모서리가 잘린 상태를 도시하고 있으며, '불량2'는 제품에 뒤틀림이 발생한 상태를 도시하고 있다.3A shows representative images of good and bad. That is, the 'good' image of the part is shown at the far left, and the state of 'bad 1' and 'bad 2' is shown at the center and right. As shown, 'defect 1' shows a state in which the edge of the product is cut, 'defect 2' shows a state in which the warpage occurs.

도 3b에는 양품과 불량1 및 불량2의 데이터 수의 비(比)를 각각 다르게 한 경우에 나타나는 불량1과 불량2 및 양품의 비율(%)이 도표 및 그래프로 도시되어 있다.FIG. 3B is a chart and a graph showing the percentages of the defective 1, the defective 2, and the defective product when the ratio of the number of data between the good and the bad 1 and the bad 2 is different.

이에 도시된 바와 같이, 레벨(Level)1에서는 불량1:불량2:양품=120:120:120으로 한 경우의 양불(良不) 비율은 불량1:불량2:양품=60.86%:41.25%:62.50%이며, 레벨(Level)2에서는 불량1:불량2:양품=60:60:120으로 한 경우의 양불(良不) 비율은 불량1:불량2:양품=70.00%:27.50%:80.00%이고, 불량1:불량2:양품=30:30:120으로 한 경우의 양불(良不) 비율은 불량1:불량2:양품=51.67%:16.25%:80.38%이다.As shown in FIG. 1, at the level 1, defective ratio 1: defective 2: good quality = 120: 120: 120, the ratio of good quality is poor 1: poor 2: good quality = 60.86%: 41.25%: 62.50%, and at Level 2, the ratio of good or bad when bad 1: bad 2: good = 60: 60: 120 is bad 1: bad 2: good = 70.00%: 27.50%: 80.00% The ratio of good and bad in the case of bad 1: bad 2: good quality = 30: 30: 120 is bad 1: bad 2: good quality = 51.67%: 16.25%: 80.38%.

따라서, 이러한 양품과 불량의 비율을 실제 양품과 불량의 비율과 비교한 결과, 상기 학습단계(S10)에서는 양품과 불량1, 불량2로 유형을 분류하는 경우에는 학습하는 이미지(Image)데이터(Data) 수의 비(比)는 양품:불량1:불량2 = 4:1:1 로 하는 것이 최적임을 알 수 있다.Therefore, as a result of comparing the ratio of good and defective goods with the ratio of good and bad goods, in the learning step (S10), when classifying the types of good and bad goods 1 and the bad 2, the image data (Data) to be learned. ) The ratio of numbers is good: good: bad 1: bad 2 = 4: 1: 1.

즉 실제 현장에서는 양품의 비율이 높고, 불량품의 비율이 매우 낮음에도 불구하고, 상기 학습 실험에서 레벨1과 레벨2는 불량의 비율이 지나치게 높게 나온다. 따라서, 이러한 경우에는 많은 양품이 불량품으로 판정되어 제조라인의 중단이 빈번히 발생하는 폐단이 있다. 따라서, 결국 이미지(Image)데이터(Data) 수의 비(比)는 양품:불량1:불량2 = 4:1:1 로 하는 것이 보다 양품 판단의 정확도(Accuracy)를 높일 수 있다.In other words, despite the fact that the ratio of good products is high and the ratio of defective items is very low in the actual field, the level of defectives in Level 1 and Level 2 is excessively high in the learning experiment. Therefore, in such a case, there is a closed end in which many good products are judged as defective goods and frequent interruption of the production line occurs. Therefore, it is possible to increase the accuracy of the quality judgment by setting the ratio of the number of image data to good quality: bad 1: bad 2 = 4: 1: 1.

도 4a 및 도 4b은 학습과정에서 이미지센서(Image sensor)가 여러 개의 이미지(Image)에서 랜덤(Random)하게 읽어들이는 횟수를 의미하는 '반복(iteration)수'의 변화에 따른 정확도(Accuracy)를 테스트한 실험 결과를 보여주고 있다. 즉, 도 4a는 '반복(iteration)수'를 레벨1 내지 레벨3이 모두 동일하도록 한 경우의 실험 결과치이며, 도 4b은 '반복(iteration)수'를 레벨1과 레벨2는 동일하게 하고 레벨3만 변화시킨 경우의 결과치이다.4A and 4B show an accuracy according to a change in the number of iterations, which means the number of times that an image sensor is randomly read from a plurality of images in a learning process. Shows the experimental results of testing. That is, FIG. 4A is an experimental result when 'iteration number' is equal to level 1 to level 3. FIG. 4B shows 'iteration number' to be equal to level 1 and level 2. This is the result when only 3 is changed.

이들 실험결과에 의하면, 도 4a에서는 레벨1 내지 레벨3이 모두 '반복(iteration)수'의 변화는 의미가 없을 정도로 미약하며, 도 4b에서도 '반복(iteration)수'의 변화는 양품 판단의 정확도(Accuracy)에 별 영향을 미치지 못함을 알 수 있다. 결론적으로, '반복(iteration)수'의 많고 적음은 양품과 불량 판단의 정확도(Accuracy)에 영향을 미치지 못한다고 판단된다.According to these experimental results, in Fig. 4A, the level 1 to level 3 are all so insignificant that the change in the 'iteration number' is meaningless, and in Fig. 4B, the change in the iteration number is the accuracy of the good judgment. It can be seen that it does not affect Accuracy. In conclusion, it is judged that the high and low number of iterations does not affect the accuracy of good and bad judgments.

따라서, 불필요하게 '반복(iteration)수'를 많이 하게 되면, 컴퓨터의 수행 능력이 한계에 부딪히게 되고, 학습시간이 길어지게 되므로, 반복(iteration)수는 5,000회 이상이 되도록 하는 것이 바람직하며, 더 구체적으로는 최소한의 '반복(iteration)수'는 약 5,000회가 적당하다고 하겠다.Therefore, if the number of iterations is unnecessarily large, the performance of the computer hits the limit and the learning time becomes longer. Therefore, the number of iterations is preferably 5,000 or more. More specifically, the minimum number of iterations is about 5,000.

도 5a 내지 도 5c는, 본 발명에 이용되는 HTM 인식엔진(recognition engine)의 파라메터(parameter)인 '최대거리(MaxDistance)'의 최적값은 구한 실험결과를 나타내고 있다. 여기서 '최대거리(MaxDistance)'는 유클리드의 거리(Euclidean distance)로 학습하는 동안, 입력된 벡터(vector)들을 저장값으로부터의 최대거리를 설정하여, 최대거리 범위내의 벡터(vector)는 동시에 발생하는 것으로 간주하는 거리를 의미한다. 즉, '최대거리(MaxDistance)'는 하나의 기준 센서로부터 원본이미지와 비교할 이미지를 비교하는 최대거리를 뜻한다.5A to 5C show experimental results obtained by obtaining an optimum value of 'MaxDistance', which is a parameter of the HTM recognition engine used in the present invention. Here, 'MaxDistance' is the maximum distance from the stored values of the input vectors while learning the Euclidean distance, so that the vectors within the maximum distance range are generated simultaneously. Means the distance considered to be. In other words, 'MaxDistance' means the maximum distance for comparing the image to be compared with the original image from one reference sensor.

이러한 '최대거리(MaxDistance)'는 값은 작게 설정할 경우 보다 더 정확한 비교가 가능하다. 그러나, 너무 낮은 값의 '최대거리(MaxDistance)'를 설정하게 되면, 컴퓨터의 수행능력이 한계에 부딪히게 되어 학습 불능이 될 수 있으며 학습시간이 지나치게 과다하게 된다. 따라서, 양품과 불량을 판단하는 정확도(Accuracy)에 별 영향을 미치지 않는 범주내에서 최대한 작은 수치를 찾는 것이 바람직하다.This 'MaxDistance' can be compared more accurately than if the value is set small. However, if the value of the maximum distance (MaxDistance) is set too low, the performance of the computer hit the limit can be impossible to learn and the learning time is excessively excessive. Therefore, it is desirable to find the smallest value within the range that does not affect the accuracy of judging good or bad.

이와 같은 주변요건을 고려하여, 실험 결과를 살펴보면, '최대거리(MaxDistance)'는 약 1400 내지 1900이 되도록 하는 것이 바람직하다. 즉, 이 수치에서는 상대적으로 '최대거리(MaxDistance)'의 값이 작으면서도 양품의 비율이 높아 정확도(Accuracy) 수준이 상당히 높은 것으로 판단되며, 그 중에서도 '최대거리(MaxDistance)'의 값이 1,500이 되는 것이 보다 최적임을 알 수 있다.In consideration of such peripheral requirements, looking at the experimental results, it is preferable that the 'MaxDistance' is about 1400 to 1900. In other words, the value of 'MaxDistance' is relatively small and the ratio of good products is high, so the level of accuracy is considered to be quite high. Among them, the value of 'MaxDistance' is 1,500. It can be seen that it is more optimal to be.

도 6a와 도 6b는 '시그마(Sigma)'변화에 따른 정확도(Accuracy) 결과를 비교한 실험데이터이다. '시그마(Sigma)'는 추론(inference)과정에서 필요한 변수(parameter)이며 정규분포의 표준편차로서 동시에 발생하는 경우의 수의 범위를 지정하는 것이다. 즉, '시그마(Sigma)'는 비교범위 내의 노이즈(Noise)정도를 설정하는 파라메터(parameter)로, 비교할 이미지의 노이즈(Noise) 정도에 따라 정확도(Accuracy)가 많이 달라지기 때문에 적당한 시그마(Sigma)값의 설정이 중요하며, 정확도(Accuracy)가 가장 높게 나오는 시그마(Sigma)값을 찾을 필요가 있다.6a and 6b are experimental data comparing the accuracy (Accuracy) results according to the 'sigma (Sigma)' change. Sigma is a necessary parameter in the process of inference and specifies the range of cases that occur simultaneously as the standard deviation of the normal distribution. In other words, 'Sigma' is a parameter that sets the noise level within the comparison range, and since the accuracy varies greatly depending on the noise level of the image to be compared, the proper sigma Setting the value is important and you need to find the Sigma value with the highest accuracy.

실험 결과에 도시된 바와 같이, '시그마(Sigma)'값은 정확도(Accuracy)에 많은 영향을 미친다. 그리고, 이러한 '시그마(Sigma)'값은 '최대거리(MaxDistance)'의 제곱근 전후에서 가장 높은 정확도(Accuracy)를 보이는 것을 알 수 있다. 즉, 실험에서 '최대거리(MaxDistance)'가 1,500인 경우, 이러한 1,500의 제곱근에 해당하는 38.7 전후에서 가장 높은 정확도(Accuracy)를 나타냄을 알 수 있다.As shown in the experimental results, the 'sigma' value greatly influences the accuracy. In addition, the 'Sigma' value can be seen that the highest accuracy (Accuracy) before and after the square root of the 'MaxDistance'. That is, when the 'MaxDistance' in the experiment is 1,500, it can be seen that the highest accuracy (Accuracy) around 38.7 corresponding to the square root of 1,500.

또한, 이러한 학습단계(S10)에서는, 이미지센서(Image Sensor)가 영상을 스캐닝(scanning)하는 방식은, 시작위치와 방향을 랜덤(Random)으로 스위핑(Sweeping)하면서 스캐닝(scanning)하는 랜덤스윕(RandomSweep)으로 이루어지도록 하였다.In addition, in the learning step S10, a method of scanning an image by an image sensor includes: random sweep (scanning) while sweeping a starting position and a direction at random. RandomSweep).

물론, 모든 이미지(Image)를 정해진 방향과 위치에서 이미지(Image) 전체를 스위핑(Sweeping)하는 방식으로 학습하는 전체스윕(ExhaustiveSweep)방식을 사용하는 것이 보다 더 정확할 것이나, 이러한 전체스윕(ExhaustiveSweep)방식은 학습시간이 과다하고 컴퓨터의 능력 한계에 부딪히게 되므로, 랜덤스윕(RandomSweep) 방 식이 보다 적합하다.Of course, it would be more accurate to use the ExhaustiveSweep method, in which all images are learned by sweeping the entire image in a predetermined direction and position, but this ExhaustiveSweep method is more accurate. RandomSweep is more suitable because of the excessive learning time and the computer's ability limit.

상기 설정단계(S100)는, 제품을 생산하는 제품생산설비정보와 압력이나 온도 등과 같은 주위 환경 상태를 측정하는 센서정보를 입력하는 설비정보입력과정(S110)과, 제품 검사를 어떤 방식으로 실시할 것인지를 시간적 또는 수량적으로 조건을 설정하는 검사조건설정과정(S120)과, 다수의 제품 각각에 대하여 불량과 양품의 판단기준이 되는 상기 학습단계(S10)에서 학습한 정보를 로딩(Loading)하는 품질기준설정과정(S130)와, 불량이 발생할 경우에 설비 작동을 어떻게 제어할 것인지에 대한 제어방법을 설정하는 설비제어방법설정과정(S140) 등으로 이루어진다.In the setting step (S100), the facility information input process (S110) for inputting the product production equipment information for producing the product and the sensor information for measuring the environmental conditions such as pressure or temperature, and the product inspection in some way Loading condition (S120) for setting the conditions in terms of time or quantity, and loading the information learned in the learning step (S10) that is a criterion of defective and good quality for each of a plurality of products Quality standard setting process (S130), and equipment control method setting process (S140) for setting a control method for how to control the operation of the facility in the event of a failure occurs.

상기 설비정보입력과정(S110)는, 제품을 생산하는 설비와 기타 센서 정보 등을 입력하는 과정이다. 즉, 본 발명에 의한 품질판단 시스템은, 제품을 생산하는 공정 중에서 제품의 이미지(Image)를 판단하여 불량 여부를 가려내는 것이므로, 설비와 연동되어야 한다. 따라서, 이러한 설비에 대한 정보가 입력되어야 한다.The facility information input process (S110) is a process of inputting equipment for producing a product and other sensor information. That is, the quality judgment system according to the present invention is to determine whether the defective image by determining the image of the product in the process of producing the product, it should be linked with the facility. Therefore, information on these facilities must be entered.

또한, 본 발명에 의한 품질판단 시스템에서는, 공정 중의 제품 품질을 판단하기 위해 다양한 센서가 설치 가능하다. 즉, 이미지(Image) 센서(sensor)는 물론, 온도, 습도, 먼지 등을 감지하는 센서(sensor)들이 설치될 수 있으며, 이때 이러한 각종 센서(sensor)들에 대한 정보가 미리 입력된다.Further, in the quality judgment system according to the present invention, various sensors can be installed in order to determine the product quality during the process. That is, not only an image sensor, but also sensors for sensing temperature, humidity, dust, and the like may be installed. In this case, information on these various sensors is input in advance.

그리고, 설비에 대한 정보와 다양한 센서(sensor)들에 대한 정보는 서로 매칭(matching)되어야 한다.In addition, the information on the facility and the information on the various sensors should be matched with each other.

상기 검사조건설정과정(S120)에서는 어떤식으로 제품을 검사할 것인지를 설정하게 된다. 여기서는 시간적으로 조건을 정하거나 수량적으로 조건을 정하는 것 이 일반적이다. 즉, 예를 들어, 10초마다 또는 1분마다 한번씩 검사를 실행하도록 하거나, 10개 또는 20개의 제품이 나오는 경우에 그 중 하나를 검사하게 하는 수량적 검사방식을 설정할 수 있다.In the inspection condition setting process (S120), it is set how to inspect the product. It is common here to set the conditions in time or in terms of quantity. That is, for example, it is possible to set a quantitative inspection method to execute the inspection once every 10 seconds or once every minute or to inspect one of ten or twenty products.

상기 품질기준설정과정(S130)는 제품의 양품과 불량을 판단하는 정보를 설정하는 과정이다. 즉, 상기 학습단계(S100)에서 학습한 제품의 양품과 불량 상태에 대한 정보를 입력하여 판단기준을 설정하는 과정이다.The quality standard setting process (S130) is a process of setting the information to determine the good or bad of the product. That is, it is a process of setting the criterion by inputting information on the quality and defective state of the product learned in the learning step (S100).

상기 설비제어방법설정과정(S140)는, 불량이 발생하는 경우의 설비 제어를 어떻게 할 것인지에 관한 내용. 그리고, 이러한 불량 발생시 불량 상태를 외부로 알리도록 설정하는 과정이다. 여기서는, 불량이 연속적으로 발생하는 경우에 설비를 정지시키고, 이러한 상태를 부저(Buzzer)를 통해 외부로 알림과 동시에 문자메세지(SMS)를 통해 원거리의 사용자에게 알리도록 설정된다. 즉, 문자메세지(SMS)를 통해 사용자의 핸드폰으로 불량 상태를 송신하도록 설정된다.The facility control method setting process (S140), the contents of how to control the facility in the event of a failure. And, when such a failure occurs, it is a process of setting to notify the failure state to the outside. In this case, when failure occurs continuously, the equipment is stopped, and the status is set to notify the remote user through text message (SMS) at the same time as notifying to the outside through the buzzer (Buzzer). That is, it is set to transmit a bad state to the user's mobile phone through the text message (SMS).

여기서, 연속적인 불량 상태는 제품의 품질 요구 정도에 따라 또는 사용자의 의지에 따라 다양하게 변경될 수 있다. 즉, 연속적으로 3개의 불량이 나오는 경우에는 설비를 정지시킴과 동시에 외부로 알리도록 하거나, 연속적으로 3개의 불량이 나오는 경우에는 외부로 알리는 기능만 작동하도록 하고, 연속적으로 10개의 불량이 나오는 경우에는 설비를 정지시키도록 하는 등 다양하게 설정 가능하다.Here, the continuous failure state may be variously changed depending on the degree of quality requirements of the product or the user's will. In other words, if three defects are continuously reported, stop the equipment and notify the outside at the same time, or if three defects are continuously, only the function of notifying the outside is activated, and in case of ten consecutive defects Various settings are possible, such as to stop the equipment.

상기 제품검사단계(S150)는, 제품의 영상을 촬영하여 이미지(Image)를 읽어들이는 영상읽기과정(152)과, 상기 영상읽기과정(152)에서 읽어들인 영상을 편집하는 영상편집과정(154)과, 상기 영상편집과정(154)에 의해 조작된 영상을 저장하는 영상저장과정(156)을 통해 제품을 검사하는 단계이다. 이와 같은 제품검사단계(S150)는, 사용자에 의해 수동으로 이루어지는 것도 가능하나, 제어부(도시되지 않음)의 제어에 따라 상기의 각 과정이 자동으로 수행됨이 보다 바람직하다.The product inspection step (S150), the image reading process (152) for taking an image of the product to read the image (Image) and the image editing process for editing the image read in the image reading process (152) (154) And an image storing process 156 for storing the image manipulated by the image editing process 154. The product inspection step (S150) may be performed manually by a user, but it is more preferable that the above processes are automatically performed under the control of a controller (not shown).

도 7에는 상기 제품검사단계(S150)의 세부과정이 순차적으로 도시되어 있다.7 is a detailed process of the product inspection step (S150) is shown sequentially.

이에 도시된 바와 같이, 상기 제품검사단계(S150)의 영상읽기과정(152)은, 촬영기기(200)에 의해 촬영된 제품의 영상을 BMP파일로 읽어들이는 과정이다. 즉, 다수의 제품이 동시에 하나의 영상으로 입력되며, 이때 1024×768의 해상도로 입력된다.As shown in the drawing, the image reading process 152 of the product inspection step S150 is a process of reading an image of a product photographed by the photographing apparatus 200 into a BMP file. That is, a plurality of products are simultaneously input as one image, and at this time, the input is at a resolution of 1024 × 768.

그리고, 상기 제품검사단계(S150)의 영상편집과정(154)은, 상기 영상읽기과정(152)에 의해 읽어들인 영상을 이진 영상으로 변환하고 각 제품의 외곽선 위치를 파악함과 동시에 영역별로 잘라내는 제1조작과정(S154')과, 상기 제1조작과정(S154')을 거친 영상의 밝기 및 명암을 조절하여 영상판단이 용이하도록 하는 제2조작과정(S154")을 포함하는 과정이다.And, the image editing process 154 of the product inspection step (S150), converts the image read by the image reading process 152 into a binary image, grasp the position of each product and at the same time cut out by region A first operation S154 ′ and a second operation S154 ″ for facilitating image determination by adjusting the brightness and contrast of the image passed through the first operation S154 ′.

상기 제1조작과정(S154')은 도시된 바와 같이 다수의 제품을 하나씩 잘라내는 크롭(Crop)과정이며, 상기 제2조작과정(S154")은 밝기와 명암을 조절하여 선명도를 증가시키는 콘트라스트(Contrast)과정이다.The first operation S154 ′ is a crop process of cutting a plurality of products one by one as shown, and the second operation S154 ″ increases contrast by adjusting brightness and contrast. Contrast process.

상기 제품검사단계(S150)의 영상저장과정(156)은, 상기 영상편집과정(154)을 거친 BMP 영상파일을 각각 저장하는 과정이다. 즉, 도시된 바와 같이, 128×128의 해상도를 가지는 각각의 BMP 영상파일로 이미지를 저장하는 과정이다.The image storing process 156 of the product inspection step S150 is a process of storing the BMP image files which have undergone the image editing process 154, respectively. That is, as shown, the process of storing the image to each BMP image file having a resolution of 128 × 128.

도 8에는 제2조작과정(S154")에서 수행되는 콘트라스트(Contrast)의 강화에 따른 정확도(Accuracy) 변화 결과치가 나타나 있다.FIG. 8 shows the result of change in accuracy according to the enhancement of contrast performed in the second operation S154 ″.

이에 도시된 바와 같이, 콘트라스트(Contrast)를 강화한 경우에는 인식률이 전체적으로 상승함을 알 수 있다. 즉, 불량1의 경우에는 26.0% -> 56.0, 불량2의 경우에는 20.9% -> 23.0%, 양품의 경우에는 90.0% -> 92.5%로 그 인식률이 향상되었다.As shown in FIG. 2, when the contrast is enhanced, the recognition rate is increased as a whole. In other words, the recognition rate improved from 26.0% to 56.0 for defective 1, 20.9% to 23.0% for defective 2, and 90.0% to 92.5% for good products.

따라서, 정확도(Accuracy)를 높이기 위해서는 윤곽선을 뚜렷하게 할 필요가 있으며, 이와 같이 윤곽선을 명확하게 하는 방법으로 콘트라스트(Contrast)를 높이는 방법을 사용하였다.Therefore, in order to increase the accuracy, it is necessary to make the outline clear, and thus a method of increasing the contrast in a manner to make the outline clear is used.

한편, 도 9는 상기 영상읽기과정(152)에서 사용되는 촬영기기(200)의 구성을 나타낸 단면도이다. 9 is a cross-sectional view illustrating a configuration of the photographing apparatus 200 used in the image reading process 152.

이에 도시된 바와 같이, 상기 촬영기기(200)는, 제품이 이송되는 컨베이어벨트(210)의 일측에 고정 설치되는 지지대(220)와, 상기 컨베이어벨트(210)에 의해 이송되는 제품의 영상을 촬영하여 전송하는 카메라(230)와, 상기 카메라(230)의 선단에 구비되는 렌즈(240)와, 상기 카메라(230)의 촬영 범위 내에서 항상 동일한 조명을 제공하고 그림자를 최소화하기 위해 생산라인 방향으로 장착되는 바(Bar) 형태의 한 쌍의 조명(250) 등으로 이루어진다.As shown in the drawing, the photographing apparatus 200 captures an image of the support 220 which is fixedly installed on one side of the conveyor belt 210 to which the product is conveyed, and the product conveyed by the conveyor belt 210. The camera 230 to transmit the same, the lens 240 provided at the tip of the camera 230, and in the direction of the production line to provide the same illumination at all times within the shooting range of the camera 230 and to minimize shadows. It consists of a pair of lights 250, such as a bar (Bar) to be mounted.

상기 지지대(220)는 거치대(260)의 상단부에 설치되며, 이러한 거치대(260)에 상기 컨베이어벨트(210)가 경사지게 설치된다. 따라서, 상기 컨베이어벨트(210)를 따라 제품이 이송하게 되면, 상기 촬영기기(200)가 제품의 영상을 촬영하게 되는 것이다.The support 220 is installed at the upper end of the cradle 260, the conveyor belt 210 is inclined to the cradle 260. Therefore, when the product is transported along the conveyor belt 210, the photographing device 200 is to take an image of the product.

상기 카메라(230)는 장거리전송 프로토콜을 지원하는 기능을 가지도록 구성되며, 상기 지지대(220)에 업(UP)/다운(DOWN) 가능하게 설치된다. 따라서, 사용자 가 상기 카메라(230)의 높이를 임의로 조절 가능하게 된다.The camera 230 is configured to have a function of supporting a long-distance transmission protocol, and is installed on the support 220 so as to be able to be UP or DOWN. Therefore, the user can arbitrarily adjust the height of the camera 230.

상기 조명(250)은, 상기 렌즈(240)로부터 이격된 위치에 구비되며, 상기 지지대(220)에 업(UP)/다운(DOWN) 가능하게 장착된다. 즉, 상기 조명(250)은 도시된 바와 같이 상기 렌즈(240)의 아래쪽에 소정 거리 이격된 위치에 설치되며, 바(Bar) 형태로 이루어지며 서로 이격되어 한 쌍으로 이루어진다. 따라서, 이러한 한 쌍의 조명(250) 사이로 제품이 위치되면 상기 카메라(230)에 의해 촬영이 이루어진다.The illumination 250 is provided at a position spaced apart from the lens 240, and is mounted to the support 220 so as to be able to be UP or DOWN. That is, the illumination 250 is installed at a position spaced a predetermined distance below the lens 240, as shown in the form of a bar (Bar) and are spaced apart from each other in a pair. Therefore, when the product is positioned between the pair of lights 250, the photographing is performed by the camera 230.

그리고, 상기 한 쌍의 조명(250)은 상기 컨베이어벨트(210)와 수직을 이루도록 생산라인 방향으로 장착된다. 즉, 상기 한 쌍의 조명(250)은 상기 컨베이어벨트(210)를 전후(도 4에서)로 가로지르도록 각각 설치된다. 따라서, 상기 컨베이어벨트(210)의 좌측단으로부터 서서히 우측단으로 제품이 이동하게 되면, 어느 순간에 상기 한 쌍의 조명(250) 사이에 제품이 위치하게 되고(상방에서 볼 경우), 이때 상기 카메라(230)를 통해 촬영이 이루어지는 것이다.In addition, the pair of lights 250 are mounted in a production line direction to be perpendicular to the conveyor belt 210. That is, the pair of lights 250 are respectively installed to cross the conveyor belt 210 back and forth (in FIG. 4). Accordingly, when the product is gradually moved from the left end of the conveyor belt 210 to the right end, the product is positioned between the pair of lights 250 at any moment (when viewed from above). The photographing is performed through 230.

상기 제품인식단계(S160)는, 상기 제품검사단계(S150)에서 측정된 제품의 영상으로 제품의 유형을 판별하고, 각 제품의 품질 기준에 따라 입력된 영상 제품의 불량 여부를 판단하게 된다. 이러한 제품인식단계(S160)는,총 4개의 레벨로 구성되고, 각 노드(Node)는 하나의 사각형으로 표현된다.In the product recognition step (S160), the product type is determined by the image of the product measured in the product inspection step (S150), and it is determined whether or not the input image product is defective according to the quality standard of each product. This product recognition step (S160) is composed of a total of four levels, each node (Node) is represented by one rectangle.

도 10에는 상기 제품인식단계(S160)의 구성이 도식적으로 나타나 있다.10 schematically shows the configuration of the product recognition step (S160).

이에 도시된 바와 같이, 상기 제품인식단계(S160)는, 기 제품검사단계(S150)에서 입력되는 128×128 픽셀(pixel)의 이미지 파일을 로드(Load)하여 16×16노드(Node)로 읽어들이는 제1레벨과정(S162)과, 상기 제1레벨과정(S162)에 의해 16× 16노드(Node)로 변환된 결과를 8×8노드(Node)로 읽어들이는 제2레벨과정(S164)과, 상기 제2레벨과정(S164)에 의해 8×8노드(Node)로 변환된 결과를 4×4노드(Node)로 읽어들이는 제3레벨과정(S166)과, 상기 제3레벨과정(S166)에 의해 4×4노드(Node)로 변환된 전체 이미지 영역을 한번에 인식하는 제4레벨과정(S168) 등으로 구성된다.As shown in the drawing, the product recognition step (S160) loads an image file of 128 × 128 pixels input in the product inspection step (S150) and reads it as a 16 × 16 node. A second level process (S164) of reading a first level process (S162) and a result of the conversion into a 16x16 node (Node) by the first level process (S162) as an 8x8 node (S164). And a third level process S166 of reading the result of the transformation into an 8x8 node by the second level process S164 as a 4x4 node, and the third level process. And a fourth level process S168 for recognizing the entire image area converted into 4x4 nodes at a time (S166).

여기에서는 도시된 바와 같이 레벨이 증가할수록 즉, 상위레벨로 올라갈수록 노드(Node)의 수가 줄어든다. 즉, 제1레벨과정(S162) 내지 제3레벨과정(S166)에서는 자식 노드(Node)에서의 4개 노드(Node)가 부모 노드(Node)에서는 하나의 노드(Node)로 된다. 그리고, 제4레벨과정(S168)에서는 전체 16개의 노드(Node)가 하나의 노드(Node)로 합쳐져서 전체 이미지 영역이 한번에 인식 가능하게 된다.In this case, as the level is increased, that is, the number of nodes decreases as the level is increased. That is, in the first level process S162 to the third level process S166, four nodes in the child node become one node in the parent node. In the fourth level process S168, a total of 16 nodes are combined into one node so that the entire image area can be recognized at once.

이와 같이 최종적으로 영상이 확정되면, 제품의 유형이 판별되고, 따라서, 해당 제품의 학습된 영상과 입력된 영상을 비교하여, 입력된 영상을 가지는 제품이 불량인지 양품인지를 판단하게 된다. 이러한 단계가 상기 제품품질판단단계(S170)이다.When the image is finally determined as described above, the type of the product is determined. Accordingly, the learned image of the corresponding product is compared with the input image to determine whether the product having the input image is defective or good quality. This step is the product quality determination step (S170).

상기 후속조치단계(S180)는, 제품 중 불량이 발생한 경우에 이를 처리하는 과정으로, 상기 설비제어방법설정과정(S140)에서 설정된 내용에 따라 조치를 취하게 된다.The follow-up step (S180) is a process of processing when a defect occurs in the product, the action is taken according to the contents set in the facility control method setting process (S140).

상기 후속조치단계(S180)는, 제품의 불량이 연속으로 일정 회수 이상 발생하는 경우에는 설비를 정지시키는 설비제어과정(S182)과, 제품의 불량이 연속으로 일정 회수 이상 발생하는 경우에는 알람을 발생함과 동시에 메신저(SMS)를 통해 원거 리의 사용자에게 현재 상황을 송신하는 외부알림과정(S184) 등으로 이루어진다.The subsequent action step (S180), the facility control process (S182) for stopping the equipment when the product defects occur continuously for more than a predetermined number of times, and generates an alarm when the product defects occur more than a predetermined number of times in a row. At the same time, it consists of an external notification process (S184) for transmitting the current situation to the user of the distance via a messenger (SMS).

구체적으로 살펴보면, 상기 설비제어방법설정과정(S140)에서 설명한 바와 같이, 불량이 연속적으로 발생하는 경우에 설비를 정지시키고, 이러한 상태를 부저(buzzer)를 통해 외부로 알림과 동시에 문자메세지(SMS)를 통해 원거리의 사용자에게 알리게 된다. 즉, 연속적으로 3개의 불량이 나오는 경우에는 설비를 정지시킴과 동시에 외부로 알리도록 하는 등 조치를 취하게 된다.In detail, as described in the facility control method setting process (S140), when a failure occurs continuously, the facility is stopped, and a text message (SMS) is simultaneously notified to the outside through a buzzer. The remote user will be notified. In other words, if three defects occur continuously, measures are taken such as stopping the equipment and informing the outside at the same time.

한편, 상기 설비정보입력과정(S110), 검사조건설정과정(S120), 품질기준설정과정(S130) 및 설비제어방법설정과정(S140)은, 동시에 이루어지거나 순서에 관계없이 차례로 수행된다. 즉, 순서에 관계없이 각 단계가 이루어져도 무방하며, 동시에 이루어지는 것도 가능하다.Meanwhile, the facility information input process (S110), the inspection condition setting process (S120), the quality standard setting process (S130), and the facility control method setting process (S140) are performed simultaneously or sequentially regardless of the order. In other words, the steps may be performed regardless of the order, and may be simultaneously performed.

도 11에는 본 발명에 의한 최적 불량인식 방법에 의한 주요 흐름도가 도시되어 있다.11 is a main flowchart illustrating the optimal failure recognition method according to the present invention.

이에 도시된 바와 같이, 시스템이 시작되면, 설비 및 품목에 대한 기초정보가 로딩(Loading)된다(S300). 그리고, 불량으로 판명된 제품의 수량을 나타내는 불량수(C)는 제로(Zero)로 셋팅(Setting)된다(S310).As shown in this, when the system is started, basic information about equipment and items is loaded (S300). In addition, the defect number C representing the quantity of the product found to be defective is set to zero (S310).

다음으로는 영상(Image)이 입력되었는지를 판단하게 되고(S320), 영상이 입력되지 않은 경우에는 계속적으로 영상 입력여부를 감지하며, 영상이 입력된 경우에는 영상(Image)처리단계(S330)로 넘어간다. 상기 영상처리단계(S330)는 상기에서 설명한 제품검사단계(S150)에 대응되는 단계이다.Next, it is determined whether an image is input (S320). If an image is not input, it is continuously detected whether an image is input, and if an image is input, the image processing step (S330) is performed. Passing The image processing step S330 is a step corresponding to the product inspection step S150 described above.

그런 다음, 해당제품이 무엇인지 판단하여 해당 제품의 설정기준 즉, 상기 학습단계(S10)에서 학습에 의해 정해진 불량과 양품의 판단기준과 매칭(matching)시킨다(S340). 이러한 과정은 상기 제품인식단계(S160)에 대응된다. Then, it is determined what the corresponding product is, matching the setting criteria of the corresponding product, that is, the criterion of the defective and the good determined by the learning in the learning step (S10) (S340). This process corresponds to the product recognition step (S160).

이와 같이, 입력된 영상이 해당 제품의 불량판단을 위한 학습 영상과 매칭(Matching)되어 비교되면, 제품이 불량인지의 여부를 판단하게 된다(S350). 그리고, 이러한 단계(S350)는 앞에서 설명한 제품품질판단단계(S170)에 대응된다.As such, when the input image is matched with the learning image for the defective determination of the corresponding product, it is determined whether the product is defective (S350). In addition, this step (S350) corresponds to the product quality determination step (S170) described above.

이러한 단계(S350)에서의 판단결과, 제품이 양품인 경우에는 도시된 바와 같이 단계(S310)로 되돌아간다.As a result of the determination in step S350, if the product is a good product, the process returns to step S310 as shown.

반면, 제품이 불량인 경우에는 불량수(C)에 1이 더해지고(S360), 다음으로는 이러한 불량수(C)가 설정된 기준수(N)에 도달하였는지 여부를 판단하게 된다(S370). 즉, 사용자가 상기 설비제어방법설정과정(S140)에서 설정한 연속 불량 기준수(N)에 도달하였는지의 여부를 판단한다(S370).On the other hand, if the product is defective, 1 is added to the defective number C (S360), and then it is determined whether the defective number C reaches the set reference number N (S370). That is, it is determined whether the user has reached the continuous failure reference number N set in the facility control method setting process S140 (S370).

이러한 단계(S370)에서의 판단결과, 연속 불량수(C)가 기준수(N)에 도달하지 못한 경우에는 상기의 단계(S320)로 되돌아간다. As a result of the determination in step S370, when the continuous failure number C does not reach the reference number N, the flow returns to the above step S320.

반면, 연속 불량수(C)가 기준수(N)에 도달한 경우에는 상기 후속조치단계(S180)가 진행된다(S380). 즉, 이때에는 사용자의 설정에 따라 설비를 정지시키고, 이러한 상태를 부저(Buzzer)를 통해 외부로 알림과 동시에 문자메세지(SMS)를 사용자에게 송신하게 된다.On the other hand, when the continuous failure number (C) reaches the reference number (N), the subsequent action step (S180) proceeds (S380). That is, at this time, the facility is stopped according to the user's setting, and the text message (SMS) is transmitted to the user at the same time as the notification to the outside through the buzzer (Buzzer).

이상과 같은 과정에 의해 사용자에게 불량 상태가 전달되면, 사용자는 제품의 불량상태를 직접 확인하고, 설비를 점검하게 된다.When the defective state is delivered to the user by the above process, the user directly checks the defective state of the product and checks the equipment.

이러한 본 발명의 범위는 상기에서 예시한 실시예에 한정되지 않고, 상기와 같은 기술범위 안에서 당 업계의 통상의 기술자에게 있어서는 본 발명을 기초로 하는 다른 많은 변형이 가능할 것이다.The scope of the present invention is not limited to the above-exemplified embodiments, and many other modifications based on the present invention will be possible to those skilled in the art within the above technical scope.

도 1은 에이치티엠(HTM) 기반의 인식엔진(recognition engine)에 의한 인식기능을 도식적으로 보인 도면.1 is a diagram schematically showing a recognition function by an HTM-based recognition engine.

도 2는 본 발명에 의한 최적 불량인식 방법의 바람직한 실시예의 구성 상태를 개략적으로 보인 블럭도.Figure 2 is a schematic block diagram showing the configuration of a preferred embodiment of the optimal failure detection method according to the present invention.

도 3a는 본 발명 실시예를 구성하는 학습단계(S10)에서 양품과 불량의 상태를 보인 대표적 이미지.Figure 3a is a representative image showing the state of good or bad in the learning step (S10) constituting an embodiment of the present invention.

도 3b는 본 발명 실시예를 구성하는 학습단계(S10)에서 양품과 불량의 데이터(Data) 수에 따른 정확도(Accuracy) 결과를 보인 실험 결과표.Figure 3b is an experimental result table showing the accuracy (Accuracy) results according to the number of data of good and bad in the learning step (S10) constituting an embodiment of the present invention.

도 4a 및 도 4b는 본 발명 실시예를 구성하는 학습단계(S10)에서 '반복(iteration)수'의 변화에 따른 정확도(Accuracy)를 테스트한 실험 결과를 보인 도표 및 그래프.4A and 4B are diagrams and graphs showing experimental results of testing accuracy according to a change in the 'iteration number' in the learning step S10 constituting an embodiment of the present invention.

도 5a 내지 도 5c는 본 발명 실시예를 구성하는 학습단계(S10)에서 '최대거리(MaxDistance)'의 최적값은 구한 실험결과를 보인 도표 및 그래프.5A to 5C are diagrams and graphs showing experimental results obtained by obtaining an optimum value of 'MaxDistance' in a learning step S10 constituting an embodiment of the present invention.

도 6a와 도 6b는 본 발명 실시예를 구성하는 학습단계(S10)에서 '시그마(Sigma)'변화에 따른 정확도(Accuracy) 결과를 보인 도표 및 그래프.6A and 6B are diagrams and graphs showing accuracy results according to 'Sigma' change in the learning step S10 constituting the exemplary embodiment of the present invention.

도 7은 본 발명 실시예를 구성하는 제품검사단계의 세부과정을 보인 도면.7 is a view showing a detailed process of the product inspection step constituting the embodiment of the present invention.

도 8은 본 발명 실시예를에서 콘트라스트(Contrast)의 강화에 따른 정확도(Accuracy) 변화 결과치를 보인 도표.8 is a chart showing the result of the change in accuracy according to the enhancement of contrast in the embodiment of the present invention.

도 9는 본 발명 실시예를 구성하는 제품검사단계에서 사용되는 촬영기기의 설치구성을 보인 정면도.9 is a front view showing the installation configuration of the photographing apparatus used in the product inspection step of the embodiment of the present invention.

도 10는 본 발명 실시예를 구성하는 제품인식단계를 설명하기 위한 도면.10 is a view for explaining a product recognition step constituting an embodiment of the present invention.

도 11은 본 발명 실시예의 사용 상태를 보인 흐름도.11 is a flow chart showing a use state of an embodiment of the present invention.

* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings

S10.학습단계 S100. 설정단계\S10. Learning Level S100. Setup Step \

S150. 제품검사단계 S160. 제품인식단계S150. Product inspection step S160. Product recognition stage

S170. 제품품질판단단계 S180. 후속조치단계S170. Product quality judgment step S180. Follow-Up Steps

200. 촬영기기200. Shooting Equipment

Claims (5)

양품과 불량에 대한 정보를 학습에 의해 획득하는 학습단계(S10)와;Learning step (S10) of acquiring the information on the goods and defects by learning; 생산하는 제품에 대한 생산설비의 정보와, 생산 설비 외부의 압력이나 온도 상태를 측정하는 센서에 대한 정보와, 제품 검사를 어떤 방식으로 실시할 것인지를 시간적 또는 수량적으로 조건을 설정하는 검사조건에 대한 정보와, 다수의 제품 각각에 대하여 불량과 양품의 판단기준에 대한 정보와, 불량이 발생할 경우에 설비 작동을 어떻게 제어할 것인지에 대한 제어방법 정보를 설정하는 설정단계(S100)와;In addition to the information on the production equipment for the products to be produced, information on the sensors that measure the pressure or temperature conditions outside the production equipment, and how to perform the product inspection, the inspection conditions that set the conditions in terms of time and quantity A setting step (S100) of setting information about the plurality of products, information on a criterion of defectiveness and good quality for each of a plurality of products, and control method information on how to control the operation of the equipment in case of a failure; 상기 설정단계(S100)에서 설정된 기준에 따라 제품의 영상을 촬영하여 이미지(Image)를 읽어들이는 방식으로 검사하며, 제품의 영상을 촬영하여 이미지(Image)를 읽어들이는 영상읽기과정(152)과, 상기 영상읽기과정(152)에서 읽어들인 영상을 편집하는 영상편집과정(154)과, 상기 영상편집과정(154)에 의해 조작된 영상을 저장하는 영상저장과정(156)이 자동으로 이루어지는 제품검사단계(S150)와;The image reading process of taking an image of the product and reading an image according to the criteria set in the setting step S100, and reading the image, and reading an image of the product and reading the image. And an image editing process 154 for editing the image read in the image reading process 152, and an image storing process 156 for storing the image manipulated by the image editing process 154. An inspection step (S150); 상기 제품검사단계(S150)에서 입력되는 128×128 픽셀(pixel)의 이미지 파일을 로드(Load)하여 16×16노드(Node)로 읽어들이는 제1레벨과정(S162)과, 상기 제1레벨과정(S162)에 의해 16×16노드(Node)로 변환된 결과를 8×8노드(Node)로 읽어들이는 제2레벨과정(S164)과, 상기 제2레벨과정(S164)에 의해 8×8노드(Node)로 변환된 결과를 4×4노드(Node)로 읽어들이는 제3레벨과정(S166)과, 상기 제3레벨과정(S166)에 의해 4×4노드(Node)로 변환된 전체 이미지 영역을 한번에 인식하는 제4레벨과정(S168)으로 전체 이미지 영역을 한번에 인식함으로써 정확한 제품의 영상(Image)을 인식하는 제품인식단계(S160)와;A first level process (S162) of loading a 128 × 128 pixel image file input in the product inspection step (S150) and reading it into a 16 × 16 node (Node), and the first level A second level process S164 of reading the result of the conversion into a 16x16 node by the process S162 into an 8x8 node, and 8x by the second level process S164; The third level process (S166) of reading the result converted into 8 nodes (4x4 node) and the converted into 4x4 node (Node) by the third level process (S166) A product recognition step (S160) of recognizing an image of a correct product by recognizing the entire image area at once by a fourth level process S168 of recognizing the entire image area at once; 상기 제품인식단계(S160)에서 최종적으로 인식된 영상을, 상기 학습단계(S10)에서 획득된 양품과 불량에 대한 정보와 비교하여, 양품 정보와 일치하는지 불량 정보와 일치하는지에 따라 양품과 불량 여부를 판단하는 제품품질판단단계(S170)와;The image finally recognized in the product recognition step (S160) is compared with the information on the goods and defects obtained in the learning step (S10), whether the goods and whether or not according to the quality information or the defective information Determining the product quality step (S170); 상기 제품품질판단단계(S170)에 의해 제품 불량이 발생한 경우에는, 이러한 사실을 외부로 알림과 동시에 상기 설정단계(S100)에서 설정된 제어방법에 따라 생산설비를 제어하는 후속조치단계(S180);를 포함하는 것을 특징으로 하는 최적 불량인식 방법.When a product failure occurs by the product quality determination step (S170), the following measures step (S180) for controlling the production equipment according to the control method set in the setting step (S100) and at the same time notifying the fact to the outside; Optimal failure recognition method comprising a. 삭제delete 삭제delete 삭제delete 삭제delete
KR1020090007630A 2009-01-30 2009-01-30 Optimal failure recognition system based HTM KR101041524B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090007630A KR101041524B1 (en) 2009-01-30 2009-01-30 Optimal failure recognition system based HTM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090007630A KR101041524B1 (en) 2009-01-30 2009-01-30 Optimal failure recognition system based HTM
US12/696,042 US20100194562A1 (en) 2009-01-30 2010-01-28 Failure recognition system

Publications (2)

Publication Number Publication Date
KR20100088421A KR20100088421A (en) 2010-08-09
KR101041524B1 true KR101041524B1 (en) 2011-06-16

Family

ID=42754642

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090007630A KR101041524B1 (en) 2009-01-30 2009-01-30 Optimal failure recognition system based HTM

Country Status (1)

Country Link
KR (1) KR101041524B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200103150A (en) * 2019-02-11 2020-09-02 (주) 인텍플러스 Visual inspection system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102112809B1 (en) * 2019-05-08 2020-05-19 이영문 Automotive connector automated production system and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950026191A (en) * 1994-02-28 1995-09-18 모리시타 요이찌 method of inspection
KR20000058836A (en) * 2000-07-01 2000-10-05 이호재 Inspecting Method Of Electronic Parts
KR20010011835A (en) * 1999-07-30 2001-02-15 정선종 A Form Feature Classification Method Based on Neural Network technique

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950026191A (en) * 1994-02-28 1995-09-18 모리시타 요이찌 method of inspection
KR20010011835A (en) * 1999-07-30 2001-02-15 정선종 A Form Feature Classification Method Based on Neural Network technique
KR20000058836A (en) * 2000-07-01 2000-10-05 이호재 Inspecting Method Of Electronic Parts

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200103150A (en) * 2019-02-11 2020-09-02 (주) 인텍플러스 Visual inspection system
KR102208551B1 (en) * 2019-02-11 2021-01-27 (주) 인텍플러스 Visual inspection system

Also Published As

Publication number Publication date
KR20100088421A (en) 2010-08-09

Similar Documents

Publication Publication Date Title
KR101688458B1 (en) Image inspection apparatus for manufactured articles using deep neural network training method and image inspection method of manufactured articles thereby
KR101836096B1 (en) Method, apparatus and computer program stored in computer readable medium for state decision of image data
KR102171491B1 (en) Method for sorting products using deep learning
CN107402220A (en) A kind of selective laser fusing shaping powdering quality vision online test method and system
KR101105790B1 (en) Failure recognition system
Rios-Cabrera et al. ANN analysis in a vision approach for potato inspection
US20190213725A1 (en) Board defect filtering method and device thereof and computer-readable recording medium
Liu et al. A computer vision system for automatic steel surface inspection
CN108491867A (en) Image Matching based on artificial intelligence and recognition methods
KR101041524B1 (en) Optimal failure recognition system based HTM
Devika et al. Convolutional neural network for semiconductor wafer defect detection
KR101010136B1 (en) System for intelligent quality judgment based on HTM
KR101087022B1 (en) Testing method for failure recognition system
US20100194562A1 (en) Failure recognition system
CN113592813A (en) New energy battery welding defect detection method based on deep learning semantic segmentation
KR20180063869A (en) Method, apparatus and computer program stored in computer readable medium for state decision of image data
US20200082225A1 (en) Inspection device and machine learning method
CN111591715A (en) Belt longitudinal tearing detection method and device
TWI655412B (en) Light source detection system and method
JPWO2020071234A1 (en) Image processing equipment, image processing methods, visual inspection systems and computer programs
Ferreira et al. Dead pixel detection on liquid crystal displays using random forest, SVM, and harris detector
Rahman et al. A preprocessed counterpropagation neural network classifier for automated textile defect classification
Benchikhi et al. An optimization approach of parameters in image processing based on PSO: case of quality control
US20200265575A1 (en) Flaw inspection apparatus and method
WO2020175666A1 (en) Color filter inspection device, inspection device, color filter inspection method, and inspection method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
J501 Disposition of invalidation of trial
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140527

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160420

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170608

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190610

Year of fee payment: 9