KR100868884B1 - Flat glass defect information system and classification method - Google Patents
Flat glass defect information system and classification method Download PDFInfo
- Publication number
- KR100868884B1 KR100868884B1 KR1020070060550A KR20070060550A KR100868884B1 KR 100868884 B1 KR100868884 B1 KR 100868884B1 KR 1020070060550 A KR1020070060550 A KR 1020070060550A KR 20070060550 A KR20070060550 A KR 20070060550A KR 100868884 B1 KR100868884 B1 KR 100868884B1
- Authority
- KR
- South Korea
- Prior art keywords
- defect
- image
- classification
- dimensional vector
- image data
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/49—Analysis of texture based on structural texture description, e.g. using primitives or placement rules
Abstract
Description
도 1은 본 발명에 따른 일 실시예의 기판 불량 정보 시스템 구성도.1 is a block diagram of a substrate failure information system according to an embodiment of the present invention.
도 2는 본 발명에서 사용되는 서버 장치의 시스템 구성도.2 is a system configuration diagram of a server device used in the present invention.
도 3은 본 발명의 서버 장치에서 처리되는 기판 불량의 전처리, 데이터 가공 및 패턴 인식 처리에 대해서 설명하는 흐름도.3 is a flowchart for explaining pre-processing, data processing, and pattern recognition processing of substrate defects processed in the server apparatus of the present invention.
도 4는 3차 분류에서 수행되는 룰-기반 분류를 처리하는 일부 공정을 보여주는 부분 흐름도.4 is a partial flow diagram illustrating some processes for processing rule-based classification performed in a tertiary classification.
도 5는 본 발명에 따른 배경 제거 단계를 설명하는 영상 데이터 처리 과정도.5 is a video data processing procedure illustrating a background removal step according to the present invention;
도 6은 특징 정보 공간에서의 사영 오차 개념을 이용하여 특징 벡터를 산출하는 과정을 설명하는 개념도.6 is a conceptual diagram illustrating a process of calculating a feature vector using a projective error concept in a feature information space.
***** 도면상의 기호에 대한 간략한 설명 ********** Brief description of symbols on the drawing *****
10: 검사측정장비 20: IDS10: Inspection measuring equipment 20: IDS
50: 서버 장치 60: 클라이언트 장치50: server device 60: client device
70: 통신망 51: 통신 인터페이스70: communication network 51: communication interface
53: 데이터 가공부 55: 패턴 인식 처리부53: data processing unit 55: pattern recognition processing unit
56: 룰-기반 불량 인식 처리부 57: 불량 클러스터 DB56: rule-based bad recognition processing unit 57: bad cluster DB
58: 일차원 벡터 데이터 저장부58: one-dimensional vector data storage
본 발명은 기판 유리 불량 정보 시스템 및 분류 방법에 관한 것으로서, 보다 구체적으로는 유리 불량 영상 이미지를 일차원 벡터로 변환하고, PCA(Principle Component Analysis) 기반을 이용해 구축한 클러스터 DB를 이용하여 유리 기판 불량을 효과적으로 분석하는 기판 유리 불량 정보 시스템 및 분류 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a substrate glass defect information system and to a classification method. More specifically, the glass defect image is converted into a one-dimensional vector, and the glass substrate defect is solved using a cluster DB constructed using PCA (Principle Component Analysis). It relates to a substrate glass defect information system and classification method for effective analysis.
TFT-LCD 기판 유리 불량은 용해공정, 성형공정, 가공공정을 거치면서 다양한 원인에 의해 발생하는데 불량의 대부분이 비전 카메라나 센서에 의해 검출되어 영상으로 저장되고 영상 처리를 통해 불량 정보가 수치화되고 있다. 현재 TFT-LCD 기판 유리 불량 검출에는 현미경, 인라인 자동 검사 시스템, 리뷰(review) 시스템 등 다양한 검사측정 장비가 사용되고 있는데, 각 장비들은 해당 장비가 검출하는 특정 불량에만 초점이 맞춰져 설계되었기 때문에 장비 간의 불량 정보의 호환성이 없어 종합적인 분석이 되지 않아 정확한 불량 분석이 어려웠다.TFT-LCD substrate glass defects are caused by various causes during the melting process, forming process, and processing process. Most of the defects are detected by vision cameras and sensors, stored as images, and defect information is digitized through image processing. . Currently, various inspection and measurement equipments such as microscope, inline automatic inspection system, and review system are used to detect glass defects of TFT-LCD substrate, and each equipment is designed to focus only on specific defects detected by the equipment. Because the information was not compatible, comprehensive analysis was not possible, making accurate defect analysis difficult.
특히, 종래 기판 불량 정보 시스템은 IDS(Inspection Data System)을 사용하 는데, IDS상에서는 각 검사측정장비로부터 출력되는 데이터를 단순히 저장하는 방식을 사용하므로 각 검사측정장치로부터 출력되는 검출 정보의 상관성에 따른 분석이 곤란하여 정확한 불량 분류하고 분석하는데 어려움이 있었다. 이는 각 장비의 검사 측정 운영 방식 및 성능 기준이 제각기 다르고, 유리 기판에서 발생하는 불량은 종류별로 확연히 구분되지 않고 유사한 특징을 많이 내포하고 있기 때문이다. 따라서 종래 IDS로는 장비간 상이한 불량 영상 포맷(다양한 resolution)을 이용하여 전후 공정간 불량의 관련성을 고려할 수 없고, 공정의 불량 정보에 대한 통합적인 관리를 체계적으로 할 수 없다는 문제점이 있었다.In particular, the conventional substrate failure information system uses an IDS (Inspection Data System), because the IDS simply stores the data output from each inspection measuring equipment according to the correlation of the detection information output from each inspection measuring apparatus Difficult to analyze, it was difficult to accurately classify and analyze. This is because the inspection and measurement operation methods and performance standards of each equipment are different, and defects occurring in the glass substrate are not clearly distinguished by type, and include many similar features. Therefore, the conventional IDS has a problem in that it is impossible to consider the relationship between defects between front and rear processes by using different defective image formats (various resolutions) between equipments, and it is not possible to systematically manage integrated defect information of processes.
본 발명은 상기와 같은 문제점을 해결하고자 하는 것으로서, 본 발명은 다양한 기종의 검사 측정 장비로부터 출력되는 불량 영상 데이터를 일차원 벡터 데이터로 변환하여 상호 비교할 수 있게 함으로써 불량을 보다 정확하게 분류하며, 불량 정보를 체계적으로 제공하는 유리 기판 불량 정보 시스템 및 불량 분류 방법을 제공하는 것을 목적으로 한다.The present invention is to solve the above problems, the present invention by converting the bad image data output from the various types of inspection and measurement equipment to one-dimensional vector data to be compared with each other to classify the defect more accurately, An object of the present invention is to provide a glass substrate failure information system and a failure classification method that are systematically provided.
본 발명에서는 상기 목적을 달성하기 위하여 유리 기판 제조 공정 중에 발생되는 기판 불량을 분류 분석하는 유리 기판 불량 정보 시스템으로서, 유리 기판의 불량 이미지를 검사하고 이를 촬영하는 복수 개 종류의 검사측정 장비 및 상기 검 사측정 장비로부터 영상 이미지 데이터를 입력받아 이로부터 기판 불량을 분석하는 서버 장치를 구비하며, 상기 서버 장치는 검사측정 장비로부터 영상 이미지 데이터를 입력받는 통신 인터페이스와, 상기 영상 이미지 데이터를 전처리하여 일차원 벡터 데이터로 변환하는 데이터 가공부와, 상기 일차원 벡터 데이터를 이용하여 PCA(Principle Component Analysis) 특징값을 이용, 사영오차 특징 벡터를 구성하고, 상기 특징 벡터를 이용하여 불량을 분류하는 패턴 인식 처리부를 구비하는 것을 특징으로 하는 유리 기판 불량 정보 시스템이 제공된다.The present invention provides a glass substrate defect information system for classifying and analyzing substrate defects generated during a glass substrate manufacturing process in order to achieve the above object, a plurality of types of inspection and measurement equipment for inspecting and photographing a defect image of the glass substrate; And a server device configured to receive image image data from a measurement device and analyze substrate defects therefrom, wherein the server device includes a communication interface for receiving image image data from an inspection measurement device, and preprocessing the image image data to obtain a one-dimensional vector. A data processing unit for converting data into data and a pattern recognition processing unit for constructing a projection error feature vector using a PCA (Principle Component Analysis) feature value using the one-dimensional vector data, and classifying a defect using the feature vector. Glass substrate, characterized in that This information system is provided.
또한 본 발명에서는 상기 목적을 달성하기 위하여 유리 기판 제조 공정 중에 발생되는 기판 불량을 분류하는 유리 기판 불량 분류 방법으로서, 다양한 검사측정 장비로부터 유리 기판 불량 이미지 데이터를 입력받는 제 1단계와, 상기 이미지 데이터에서 불량이 차지하는 픽셀 수를 계산하고, 계산된 픽셀 수를 이용하여 불량을 1차 분류하는 제 2단계와, 상기 이미지 데이터로부터 정규화된 일차원 벡터 데이터를 생성하는 제 3단계와, 상기 일차원 벡터 데이터로부터 PCA(Principle Component Analysis) 특징값을 산출하고, 이를 이용하여 통계학적 방법으로 기판 불량을 2차 분류하는 제 4단계 및 상기 일차원 벡터 데이터로부터 형상적 특징 및 밝기적 특징을 추출하고 이를 기반한 룰(rule)-기반 분류에 의해 기판 불량을 3차 분류하는 제 5단계를 구비하는 것을 특징으로 하는 유리 기판 불량 분류 방법이 제공된다.In addition, the present invention is a glass substrate failure classification method for classifying substrate defects generated during the glass substrate manufacturing process in order to achieve the above object, the first step of receiving the glass substrate defect image data from a variety of inspection and measurement equipment, and the image data A second step of calculating the number of pixels occupied by the defect, and first classifying the defect using the calculated number of pixels, a third step of generating normalized one-dimensional vector data from the image data, and from the one-dimensional vector data. Principle component analysis (PCA) feature value is calculated, and the fourth step of classifying substrate defects by statistical method using the statistical method, and extracts the shape feature and the brightness feature from the one-dimensional vector data and the rule And a fifth step of tertiary classification of substrate defects by) -based classification. A glass substrate failure classification method is provided.
이하에서는, 첨부한 도면을 참조하여 본 발명의 장점, 특징 및 바람직한 실시례에 대해 상세히 설명하도록 한다.Hereinafter, with reference to the accompanying drawings will be described in detail the advantages, features and preferred embodiments of the present invention.
도 1은 본 발명에 따른 일 실시예의 기판 불량 정보 시스템 구성도이다. 기판 불량 정보 시스템은 네트워크상의 현미경, 인라인 자동 검사 장치, 리뷰(review) 장치 등 다양한 검사측정 장비(10)와, 다양한 검사측정 장비(10)로부터 검출 결과를 입력받는 IDS(20)와, 다양한 검사측정 장비(10) 및 IDS(20)로부터 영상 이미지 데이터를 입력받고 이로부터 영상 이미지 데이터를 전처리하고 특징 벡터를 출력하고 불량 종류를 분석하는 검사 서버 장치(50)와, 공정 전문가인 사용자에게 불량 이미지 정보를 제공하는 다수 개 클라이언트 장치(60) 및 이들 장치 간의 통신환경을 제공하는 통신망(70)으로 구성된다.1 is a block diagram of a substrate failure information system according to an embodiment of the present invention. Substrate failure information system includes a variety of inspection measurement equipment (10), such as a microscope, inline automatic inspection device, review device on the network, IDS (20) that receives the detection results from the various inspection measurement equipment (10), various inspection
다양한 검사측정 장비(10)는 특정 불량을 검출하여 해당 영상 이미지 데이터를 출력하는 장비이고, IDS(20)는 다양한 검사측정 장비(10)로부터 출력되는 영상 이미지 데이터를 저장하고, 해당 영상 이미지 데이터로부터 특정 불량을 분석하는 시스템이다. 다양한 검사측정 장비(10) 및 IDS(20)는 종래 검사측정 장비에서도 사용되는 종래 기술에 불과한 것이므로 자세한 설명은 생략하기로 한다.The various
클라이언트 장치(60)는 입출력 장치와 제어/연산 장치를 구비하는 통상의 컴퓨터로서, 서버 장치(60)에서 분류된 불량 정보를 사용자들이 조회 가능하도록 하고, 사용자들이 처리한 조치 상황을 입력 및 저장하는 장치이다.The
통신망(70)은 사내 인터라넷, 전용선, 또는 인터넷 망 등으로서, 검사측정장비(10), IDS(20), 서버장치(50) 및 클라이언트 장치(60) 간의 통신 연결망을 제공한다.The
도 2는 본 발명에서 사용되는 서버 장치의 시스템 구성도이다. 서버 장치는 통신 인터페이스부(51), 데이터 가공부(53), 패턴 인식 처리부(55), 룰-기반 불량 인식 처리부(56), 유리 기판의 불량을 종류별로 분류 저장하는 불량 클러스터 DB(57) 및 데이터 가공부(53)에서 출력되는 일차원 벡터 데이터를 저장하는 일차원 벡터 데이터 저장부(58)로 구성된다.2 is a system configuration diagram of the server device used in the present invention. The server apparatus includes a
통신 인터페이스부(51)는 검사측정장비(10), IDS(20) 및 클라이언트 장치(60)와의 데이터 입출력을 처리하는 인터페이스부이며, 데이터 가공부(53)는 검사측정장비(10) 및 IDS(20)로부터 입력되는 불량 영상 이미지 데이터를 전처리하여 일차원 벡터 데이터로 처리하는 처리부이다. 패턴 인식 처리부(55)는 전처리된 일차원 벡터 데이터를 이용하여 불량 패턴을 인식하고 불량을 종류별로 분류하는 처리부이다. 불량 클러스터 DB(57)는 기판에서 발생되는 다양한 불량을 PCA(Principle Component Analysis) 알고리듬을 이용하여 각 불량별로 기저 벡터 형태로 저장하는 데이터 베이스이다. 룰-기반 불량 인식 처리부(56)는 2차 분류 데이터 가공부에서 전처리된 일차원 벡터 데이터를 이용하여 입력 영상의 형상적 특징 및 밝기적 특징을 추출하고, 이를 활용하여 불량을 인식하는 처리부이며, 일차원 벡터 데이터 저장부(58)는 데이터 가공부(53)에서 출력되는 일차원 벡터 데이터를 임시 저장하는 저장부이다.The
이하, 도 3의 흐름도를 이용하여 본 발명의 서버 장치에서 처리되는 기판 불량의 전처리, 데이터 가공 및 패턴 인식 처리에 대해서 설명하기로 한다.Hereinafter, the pre-processing, data processing, and pattern recognition processing of substrate defects processed by the server apparatus of the present invention will be described using the flowchart of FIG. 3.
검사측정장비(10) 및 IDS(20)로부터 불량 영상 이미지 데이터가 입력되면(ST 110), 입력된 영상 이미지 데이터에서 배경 부분을 제거하여 불량 화소 영역만 축출한다(ST 120). 불량 화소 영역만 축출하는 단계에서는 다항 배경 추정 방법(Polynomial Background Modeling) 및 가장 밝은 밝기 분포 극대 검출법(Brightest Histogram Peak Detection)을 사용하였다. 다항 배경 추정 방법은 영상에서 결함 영역이 아주 적은 영역을 차지할 때 유용한 방법으로, 영상을 구성하는 전체 픽셀 영역을 1차원이나 2차원 함수로 모델링하고, 입력된 원본 영상 이미지의 각 픽셀 값(intensity)과 모델링 된 값을 비교하여 특정 임계치보다 어두운 영역을 결함 영역이라고 판단하는 방법이다. 가장 밝은 밝기 분포 극대 검출법은 '입력되는 영상 이미지에서 배경 영역이 결함 영역에 비해 밝다'라는 전제 하에서 2차원 영상 내의 전체 픽셀들의 intensity 값을 히스토그램으로 나타내면, 배경 영역은 히스토그램에서 나타난 여러 피크(peak) 중 가장 밝은 영역에서 나타나는 피크 영역에 해당되므로 이를 제외한 부분을 결함 영역이라 판단하는 검출법이다.When the bad image image data is input from the
본 발명에서는 다항 배경 추정 방법과 가장 밝은 밝기 분포 극대 검출법을 동시에 만족하는 영역을 최종 결함 영역이라고 판단하였다. 도 5는 본 발명에 따른 배경 제거 단계를 보여주는 영상 데이터로서, 통합 1 내지 통합 2는 가장 밝은 밝기 분포 극대 검출법과 다항 배경 추정 방법을 동시에 적용하는 중간 과정 상의 처리 영상 이미지이며, 통합 3은 최종 결함 영역이라고 판단한 상태의 영상 이미지 상태를 도시한 것이다.In the present invention, the region that satisfies the polynomial background estimation method and the brightest brightness distribution maximum detection method simultaneously is determined as the final defect region. 5 is image data showing a background elimination step according to the present invention, wherein integration 1 to integration 2 are processed image images of intermediate processes simultaneously applying the brightest brightness distribution maximum detection method and polynomial background estimation method, and integration 3 is the final defect. The image image state of the state determined as the region is shown.
배경 제거 단계(ST 120)를 거친 영상 이미지 데이터에 결함 영역이 존재하는지를 판단한다(ST 130). 이는 배경이 제거되고 결함 영역만이 축출된 영상 이미지 데이터의 픽셀 수를 카운터하여, 해당 카운터 값이 임계치를 넘을 경우 '결함 영역이 존재한다'라고 판단하는 것이다. 결함 영역이 존재하는 경우에는 검출이 용이한 불량이 존재하는지 판단하고(ST 140), 검출이 용이한 불량이 존재하는 경우에는 해당 불량을 분류한다(ST 150). 결함 영역이 존재하지 않을 경우에는 다음 영상 이미지를 입력받는다(ST 110). 검출이 용이한 불량의 예로는 기포 불량과 긁힘 불량 등을 들 수 있다. 기포 불량은 유리 기판 내부에 공기 방울이 들어 있는 불량으로서 영상에 불량이 차지하는 영역이 넓은 범위에서 전체적으로 발생되므로 용이하게 판별된다. 긁힘 불량은 유리에 긁힘이 발생한 불량으로서, 긁힘은 여러 방향으로 다수 개의 문질러진 영상으로 표현되므로 이로 인한 다수 개의 오브젝트가 존재하게 되므로 자세한 분석을 하는 전단계에서도 용이하게 파악할 수 있다.It is determined whether a defective area exists in the image image data which has undergone the background removing step (ST 120) (ST 130). This counts the number of pixels of the video image data from which the background is removed and only the defective area is evicted, and determines that the defective area exists when the corresponding counter value exceeds the threshold. If there is a defect area, it is determined whether there is a defect that can be easily detected (ST 140). If a defect that can be easily detected exists, the defect is classified (ST 150). If the defect area does not exist, the next image is input (ST 110). Examples of defects that are easy to detect include bubble defects and scratch defects. Bubble defects are defects in which air bubbles are contained in the glass substrate and are easily discriminated since an area occupied by the defects in the image is generally generated in a wide range. Scratching defects are scratches generated on the glass, and the scratches are represented by a plurality of rubbed images in various directions, so that a large number of objects exist. Therefore, the scratches can be easily identified even in the previous stage of detailed analysis.
1차 분류가 용이하지 않은 불량의 경우는 영상 이미지 데이터를 표준화하고(ST 160), 이로부터 표준화된 일차원 벡터 데이터를 생성한다(ST 170). 생성된 일차원 벡터 데이터는 일차원 벡터 데이터 저장부(58)에 저장시킨다(ST 175). 검출이 어려운 불량을 분류하기 위하여 우선 영상 이미지의 사이즈를 정규화(normalize)하고, 불량 위치를 영상의 중앙에 위치시킨 다음, 영상 처리를 위하여 정규화된 2차원 영상 이미지를 일차원 벡터로 변환한다. 표준화된 2차원 영상 이미지 데이터는 통상 가로 폭(Width), 세로 높이(Height)의 2차원 픽셀 블록으로 표시되는데 이를 '영상의 폭*영상의 높이 크기의 픽셀 밝기값 집합'인 일차원 벡터 데이터로 표시하고, 이때 다양한 불량을 객관적으로 분류하고 계산의 편의를 위하여 벡터 데이터를 구성하는 각 밝기값을 '0'과 '1' 사이값으로 정규화시킨다.In the case of a defect in which the primary classification is not easy, standardized image image data is generated (ST 160), and standardized one-dimensional vector data is generated therefrom (ST 170). The generated one-dimensional vector data is stored in the one-dimensional vector data storage unit 58 (ST 175). In order to classify defects that are difficult to detect, first, the size of the image image is normalized, the defect position is positioned at the center of the image, and then the normalized 2D image image is converted into a one-dimensional vector for image processing. Normalized two-dimensional image data is usually represented by two-dimensional pixel blocks of width and height, which are represented as one-dimensional vector data that is a set of pixel brightness values of the image width * height size of the image. In this case, the various defects are objectively classified and normalized to brightness values between '0' and '1' for the convenience of calculation.
클러스터 DB(57)는 각 클러스터를 표현하는 특징 정보가 학습된 결과물로서, 패턴 인식 분야에서 널리 알려진 PCA(Principle Component Analysis)를 이용하여 생성하였다. 클러스터 DB(57)에는 PCA를 통해서 각 클러스터 학습에 참여한 영상 샘플들을 잘 표현하는 고유벡터(eigen vector)와 고유값(eigen value)등의 특징 정보가 저장된다. 이와 같은 클러스터의 정보를 통해 PCA 특징 공간을 구성할 수 있는데, 일차원 입력 영상 벡터는 클러스터들의 PCA 특징 공간상의 한 점으로 표현된다(ST 180).The
다음으로 PCA 특징 공간상에서 입력 영상에 대한 특징 벡터를 산출한다(ST 190). 특징 벡터의 산출은 클러스터 DB(57)에 저장된 각 클러스터(cluster)와의 사영 오차를 이용하여 산출하였다. Next, the feature vector for the input image is calculated in the PCA feature space (ST 190). The feature vector was calculated using the projection error with each cluster stored in the
도 6은 특징 정보 공간에서의 사영 오차 개념을 이용하여 특징 벡터를 산출하는 과정을 설명하는 개념도이다. 각 클러스터별 특징 정보 공간(71, 73, 75, 77)은 뭉게 구름 형태로 표시하였고, 각 클러스터별 기저 벡터(81, 83, 85, 87)는 실선 화살표로 표시하였고, PCA 특징값(91)로부터 각 클러스터별 사영오차(d1, d2, d3, d4)는 점선 화살표로 도시하였다. 즉 사영 오차는 특징 정보 공간에서 분석하고자 하는 PCA 특징값(91)과 클러스터 기저벡터(81, 83, 85, 87) 까지의 거리(d)로 정의되는 것으로서, PCA 특징값(91)은 ST 190 단계에 의해 사영 오차의 함수 {d1, d2, d3, d4}인 특정 벡터로 정의된다. 도 6의 예에서 '특징 벡터 = {d1, d2, d3, d4}' 정의의 핵심은 분류의 범위가 4 종류의 클러스터로 구분하는 문제에서 동일 클러스터에 속할 가능성을 크게 하고(within class similarity 증대), 다른 클러스터와의 차별성을 크게 하는(between classes differentiation 증대) 방향으로 설정한 것이다. 다음으로 베이시안 분류기를 이용하여 불량 종류를 식별한다(ST 200).6 is a conceptual diagram illustrating a process of calculating a feature vector using a projective error concept in a feature information space. The
전술한 ST 110 단계부터 ST 150 단계를 수행하면 검출이 용이한 불량을 분류할 수 있으며, 이를 1차 분류라 정의하기로 한다. 유사하게 전술한 ST 160 단계 내지 ST 200 단계를 수행하면 불량 검출이 이루어지는데 이를 2차 분류라고 정의하기로 한다. 2차 분류 단계를 좀더 세분하면 ST 160 단계 및 ST 170 단계를 2차 분류의 전처리 단계라 할 수 있고, ST 180 단계 및 ST 190 단계를 2차 분류의 특징 추출 단계, 및 ST 200 단계를 2차 분류의 식별 단계라 할 수 있다.Performing the
유리 기판의 결함 형상은 동일한 클러스터 내에서도 다양한 형태를 띠고 있고 서로 다른 클러스터라도 통계적 특징이 비슷한 경우가 많아 2차 분류까지 수행하더라도 불량 종류에 따라서는 불량 인식율이 낮은 것이 있다. 이러한 인식률이 낮은 불량 종류에는 유리조각 불량, S원료성 불량, 오염 불량 등을 들 수 있으며, 인식률이 낮은 불량 종류를 대상으로 ST 210 단계 이후 처리를 수행하게 된다.The defect shape of the glass substrate has various shapes in the same cluster, and even different clusters have similar statistical characteristics, so even if the second classification is performed, the defect recognition rate is low depending on the type of defect. The types of defects with low recognition rate may include glass shards, S raw material defects, contamination defects, etc., and processing after the
여기서 인식률이라는 것은 입력 영상을 2차 분류까지 수행한 결과, 정확한 분류가 결과로 나타나는 퍼센트를 의미하는 것이다. 예를 들어 설명하면, 100개의 기포 불량 영상을 입력 영상으로 투입한 후 2차 분류까지 분류한 결과 70개가 기포 불량으로 정확하게 분류되고, 30개는 다른 불량으로 인식되는 경우 기포 불량의 인식률은 70%라고 할 수 있다.Here, the recognition rate refers to the percentage of accurate classification that results as a result of performing the second classification of the input image. For example, if 100 bubble defective images are inputted as input images and classified into secondary classification, 70 are correctly classified as bubble defects and 30 are recognized as other defects. It can be said.
2차 분류의 불량 식별 결과를 이용하여 3차 분류 대상 불량인지 여부를 판단한다(ST 210). 3차 분류 대상 불량이 아닌 경우에는 2차 분류의 결과를 가지고 불량을 분류한다(ST 220). 3차 분류 대상 불량인 경우에는 일차원 벡터 데이터 저장부(58)에 저장된 일차원 벡터 데이터를 불러와서(ST 225), 이로부터 입력 영상의 형상적 특징 및 밝기적 특징에 의한 3차 분류를 실시한 후(ST 230), 불량을 분류하게 된다(ST 240).It is determined whether the object of the third classification is defective using the result of the failure identification of the secondary classification (ST 210). If it is not the 3rd classification target defect, classify the defect with the result of the 2nd classification (ST 220). If the third classification target is bad, the one-dimensional vector data stored in the one-dimensional vector
2차 분류에서 사용한 클러스터 DB(57)는 많은 수의 학습 샘플로부터 만들어낸 통계적 특징 정보지만, 개개 영상에 대한 미세한 차이가 반영되지 않아 클러스터간의 유사한 입력 영상들은 제대로 인식을 하지 못하게 된다. 따라서 3차 분류에서는 룰(rule)-기반 (전문가 구조라고도 함) 분류법으로서, 3차 대상 종류들의 영상 이미지 데이터 분석을 통해 형상적 특징(결함의 장단축비)과 밝기적 특징(내부 밝기 복잡도, 히스토그램 상하위 20% 밝기, 주변 밝기 변화 정도)을 추출하고 이를 활용하여 불량 종류를 최종적으로 분류하는 것이다.The
도 4는 3차 분류에서 수행되는 룰-기반 분류를 처리하는 일부 공정을 보여주는 부분 흐름도이다. 우선 일차원 벡터 데이터를 입력받은 후(ST 225), 결함 계수 특징이 임의의 #1 임계치를 초과하는지 판단하고(ST 233), #1 임계치를 초과할 경우에는 다시 히스토그램 상위 20% 밝기 특징이 임의의 #2 임계치를 초과하는지 판 단하여(ST 235), #2 임계치를 초과할 경우에는 오염 불량으로 분류하고, #2 임계치를 초과하지 않을 경우에는 긁힘 불량으로 분류한다.4 is a partial flow diagram illustrating some processes for processing rule-based classification performed in a tertiary classification. First, after receiving one-dimensional vector data (ST 225), it is determined whether the defect count characteristic exceeds an arbitrary # 1 threshold (ST 233), and when the # 1 threshold is exceeded, the upper 20% brightness characteristic of the histogram is random again. If it exceeds the # 2 threshold (ST 235), if it exceeds the # 2 threshold, it is classified as dirty and if it is not exceeded, it is classified as scratched.
ST 233 단계의 판단 결과, #1 임계치를 초과하지 않는다고 판단되면, 결함 크기 특징이 #3 임계치를 초과하거나 또는 결함 크기 특징이 #4 임계치를 초과하는지 판단한다(ST 237). ST 237 단계의 조건을 만족할 경우 S원료성 불량으로 분류하고, ST 237 단계의 조건을 만족하지 않을 경우에는 다음 불량 분석을 진행한다(ST 239). 다음 불량 분석도 입력 영상의 형상적 특징 및 밝기적 특징에 의한 룰-기반 분류법으로 진행된다. 여기서, #1 임계치 ~ #4 임계치는 반복적인 실험을 통해서 정해지는 임계값이다.If it is determined in
본 발명에 따른 유리 기판 불량 정보 시스템 및 불량 분류 방법에 의하면, 유리 기판 제조 공정 중에 발생할 수 있는 불량을 (1) 결함 픽셀 사이즈를 이용한 1차 분류, (2) 입력 영상을 일차원 벡터 데이터로 변환한 후 사영 오차를 이용한 통계학적으로 분류하는 2차 분류 및 (3) 일차원 벡터 데이터로부터 불량의 형상적 특징과 밝기적 특징을 이용하여 분류하는 3차 분류 단계를 순차적으로 진행하면서 분류함으로써 불량 분류 정확도를 향상시킬 수 있게 되었다.According to the glass substrate failure information system and the failure classification method according to the present invention, (1) the primary classification using a defective pixel size, and (2) the input image is converted into one-dimensional vector data. Secondary classification to classify statistically using post-projection error and (3) 3rd classification step to classify by using shape feature and brightness feature of defect from one-dimensional vector data. I can improve it.
또한 종래에는 검사 장치에서 출력되는 영상 이미지 데이터를 이용해서 해당 검사 장치에서 분류할 수 있는 불량만을 처리할 수 있었던 반면에, 본 발명의 시스템 및 방법에 의하여 다양한 검사 장치의 출력 데이터를 호환할 수 있게 됨으로써 불량을 보다 정확하게 분류할 수 있으며, 체계적으로 관리할 수 있게 되었다.In addition, while conventionally, only the defects that can be classified by the inspection apparatus can be processed using the image image data output from the inspection apparatus, and the output data of the various inspection apparatuses can be compatible by the system and method of the present invention. As a result, the defects can be classified more accurately and systematically managed.
본 발명의 바람직한 실시예가 특정 용어들을 사용하여 기술되어 왔지만, 그러한 기술은 오로지 설명을 하기 위한 것이며, 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러 가지 변경 및 변화가 가해질 수 있는 것으로 이해 되어져야 한다.While preferred embodiments of the present invention have been described using specific terms, such descriptions are for illustrative purposes only, and it is understood that various changes and modifications may be made without departing from the spirit and scope of the following claims. You must lose.
Claims (9)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070060550A KR100868884B1 (en) | 2007-06-20 | 2007-06-20 | Flat glass defect information system and classification method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070060550A KR100868884B1 (en) | 2007-06-20 | 2007-06-20 | Flat glass defect information system and classification method |
Publications (1)
Publication Number | Publication Date |
---|---|
KR100868884B1 true KR100868884B1 (en) | 2008-11-14 |
Family
ID=40284284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070060550A KR100868884B1 (en) | 2007-06-20 | 2007-06-20 | Flat glass defect information system and classification method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100868884B1 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101064323B1 (en) * | 2011-01-03 | 2011-09-14 | 박윤배 | Brazing jig apparatus for coil assembly use in glow plug |
GB2526270A (en) * | 2014-05-16 | 2015-11-25 | Pre Chasm Res Ltd | Examining vehicle glass defects |
CN105241883A (en) * | 2015-09-25 | 2016-01-13 | 华南理工大学 | Printer pattern online detection and color division method |
KR20160108948A (en) * | 2015-03-09 | 2016-09-21 | 충북대학교 산학협력단 | Apparatus and Method for inspecting SMT Faulty |
CN109636781A (en) * | 2018-11-30 | 2019-04-16 | 电子科技大学 | A kind of defect extracting method based on feature mining and weighting Bayes classifier |
CN109816638A (en) * | 2019-01-03 | 2019-05-28 | 电子科技大学 | Defect extracting method based on dynamic environment feature and weighting Bayes classifier |
CN116629711A (en) * | 2023-07-21 | 2023-08-22 | 苏州友得利金属制品有限公司 | Shunting processing method and system based on steel pipe quality detection |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050055883A (en) * | 2003-12-09 | 2005-06-14 | 삼성코닝정밀유리 주식회사 | Apparatus for inspecting a glass substrate and method thereof |
KR20070015703A (en) * | 2005-08-01 | 2007-02-06 | 이현종 | Apparatus and method for detecting fire using image processing |
-
2007
- 2007-06-20 KR KR1020070060550A patent/KR100868884B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050055883A (en) * | 2003-12-09 | 2005-06-14 | 삼성코닝정밀유리 주식회사 | Apparatus for inspecting a glass substrate and method thereof |
KR20070015703A (en) * | 2005-08-01 | 2007-02-06 | 이현종 | Apparatus and method for detecting fire using image processing |
Non-Patent Citations (1)
Title |
---|
논문1:한국인터넷정보학회 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101064323B1 (en) * | 2011-01-03 | 2011-09-14 | 박윤배 | Brazing jig apparatus for coil assembly use in glow plug |
GB2526270A (en) * | 2014-05-16 | 2015-11-25 | Pre Chasm Res Ltd | Examining vehicle glass defects |
GB2526270B (en) * | 2014-05-16 | 2018-08-22 | Pre Chasm Res Ltd | Examining vehicle glass defects |
KR20160108948A (en) * | 2015-03-09 | 2016-09-21 | 충북대학교 산학협력단 | Apparatus and Method for inspecting SMT Faulty |
KR101678771B1 (en) * | 2015-03-09 | 2016-11-22 | 충북대학교 산학협력단 | Apparatus and Method for inspecting SMT Faulty |
CN105241883B (en) * | 2015-09-25 | 2018-06-22 | 华南理工大学 | A kind of method of printing machine pattern on-line checking and color segmentation |
CN105241883A (en) * | 2015-09-25 | 2016-01-13 | 华南理工大学 | Printer pattern online detection and color division method |
CN109636781A (en) * | 2018-11-30 | 2019-04-16 | 电子科技大学 | A kind of defect extracting method based on feature mining and weighting Bayes classifier |
CN109636781B (en) * | 2018-11-30 | 2021-05-14 | 电子科技大学 | Defect extraction method based on feature mining and weighted Bayesian classifier |
CN109816638A (en) * | 2019-01-03 | 2019-05-28 | 电子科技大学 | Defect extracting method based on dynamic environment feature and weighting Bayes classifier |
CN109816638B (en) * | 2019-01-03 | 2021-05-14 | 电子科技大学 | Defect extraction method based on dynamic environment characteristics and weighted Bayes classifier |
CN116629711A (en) * | 2023-07-21 | 2023-08-22 | 苏州友得利金属制品有限公司 | Shunting processing method and system based on steel pipe quality detection |
CN116629711B (en) * | 2023-07-21 | 2023-10-27 | 苏州友得利金属制品有限公司 | Shunting processing method and system based on steel pipe quality detection |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115082683B (en) | Injection molding defect detection method based on image processing | |
US10964004B2 (en) | Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program, and deep learning system thereof | |
CN111652085B (en) | Object identification method based on combination of 2D and 3D features | |
CN108334848B (en) | Tiny face recognition method based on generation countermeasure network | |
KR100868884B1 (en) | Flat glass defect information system and classification method | |
CN111539908B (en) | Method and system for detecting defects of sample | |
US20090010527A1 (en) | Defect Inspection Method | |
JP6420529B2 (en) | Apparatus and method for defect detection including patch-to-patch comparison | |
US9558403B2 (en) | Chemical structure recognition tool | |
JP6549396B2 (en) | Region detection apparatus and region detection method | |
CN109389105B (en) | Multitask-based iris detection and visual angle classification method | |
TWI765442B (en) | Method for defect level determination and computer readable storage medium thereof | |
CN113628179B (en) | PCB surface defect real-time detection method, device and readable medium | |
US20230351582A1 (en) | A line clearance system | |
JP2016191589A (en) | Defect classification device defect classification method | |
KR20220014805A (en) | Generating training data usable for examination of a semiconductor specimen | |
CN114155230A (en) | Quality classification method and system for injection molding PC board with smooth surface | |
CN110288040B (en) | Image similarity judging method and device based on topology verification | |
JP2010071826A (en) | Teacher data preparation method, and image sorting method and image sorter | |
CN107368826A (en) | Method and apparatus for text detection | |
Kuo et al. | Automated inspection of micro-defect recognition system for color filter | |
US8606017B1 (en) | Method for inspecting localized image and system thereof | |
JP2007192688A (en) | Flaw inspection method | |
CN115358981A (en) | Glue defect determining method, device, equipment and storage medium | |
Zhang et al. | An automatic defect detection method for TO56 semiconductor laser using deep convolutional neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20121011 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20130910 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20141015 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20151001 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20160927 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20170920 Year of fee payment: 10 |
|
FPAY | Annual fee payment |
Payment date: 20180920 Year of fee payment: 11 |
|
FPAY | Annual fee payment |
Payment date: 20190924 Year of fee payment: 12 |