KR101782366B1 - Vision inspection method based on learning data using normalization of sample scale - Google Patents

Vision inspection method based on learning data using normalization of sample scale Download PDF

Info

Publication number
KR101782366B1
KR101782366B1 KR1020160062792A KR20160062792A KR101782366B1 KR 101782366 B1 KR101782366 B1 KR 101782366B1 KR 1020160062792 A KR1020160062792 A KR 1020160062792A KR 20160062792 A KR20160062792 A KR 20160062792A KR 101782366 B1 KR101782366 B1 KR 101782366B1
Authority
KR
South Korea
Prior art keywords
image
data
intrinsic
learning
false
Prior art date
Application number
KR1020160062792A
Other languages
Korean (ko)
Inventor
오병준
전동철
신원종
Original Assignee
(주)에이앤아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에이앤아이 filed Critical (주)에이앤아이
Priority to KR1020160062792A priority Critical patent/KR101782366B1/en
Application granted granted Critical
Publication of KR101782366B1 publication Critical patent/KR101782366B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/30Polarising elements
    • G02B5/3025Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G06K9/42
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions
    • G01N2021/8806
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Abstract

According to the present invention, a learning-based vision inspection method performing normalization by scale correction comprises: a preliminary learning step of including the same number of real samples and virtual samples to form a first learning group, collecting a first learning image group consisting of real images and virtual images from the first learning group, dividing the real images and the virtual images included in the first learning image group into grids of an equal size to derive digitized real data and virtual data from the divided spaces, allowing the same number of the real data and the virtual data to form a first data group, and displaying the first data group in a feature space to derive a classification reference which is a boundary between a real area and a virtual area; a defect determination step of deriving digitized inspected data from an inspected sample acquired from an inspection target to substitute the inspected data into the feature space and determine an area where the inspected data are located in the feature space to classify the inspection target; and an additional learning step of applying the inspected data in the preliminary learning step to correct the classification reference in the feature space. The real samples, the virtual samples, and the inspected sample are converted into the real images, the virtual images, and an inspected image by undergoing an expanded or reduced normalization step. The defect determination step and the additional learning step are repeatedly performed.

Description

스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법{VISION INSPECTION METHOD BASED ON LEARNING DATA USING NORMALIZATION OF SAMPLE SCALE}[0001] VISION INSPECTION METHOD BASED ON LEARNING DATA USING NORMALIZATION OF SAMPLE SCALE [0002]

본 발명은 디스플레이패널에 접착되는 편광층의 불량을 검사하기 위한 비전검사 방법에 관한 것으로서, 보다 상세하게는 피검대상이 되는 이미지의 표본을 가공하는 정규화 과정을 포함하여 데이터의 인식오류 및 연산량을 줄인 비전검사 방법에 관한 것이다.The present invention relates to a vision inspection method for inspecting defects of a polarizing layer adhered to a display panel, and more particularly, to a vision inspection method for processing a sample of an image to be an object to be examined, Vision inspection method.

일반적으로 디스플레이 패널은 반사층, 도광층, 확산층, 편광층등으로 각각의 특징을 지닌 시트 또는 패널이 적층되어 형성되고, 각각의 시트 또는 패널이 적층되는 과정에서 찍힘이나 들뜸과 같은 불량이 발생될 수 있다.Generally, a display panel is formed by stacking a sheet or panel having characteristics of a reflective layer, a light guiding layer, a diffusion layer, a polarizing layer, etc., and defects such as sticking or lifting may occur in the process of stacking the respective sheets or panels have.

이러한 불량 상태의 디스플레이 패널은 불량을 판별하는 공정을 통하여 검수되어, 불량이 발생된 부위가 보수되거나 폐기되는 과정을 거치게 된다.Such a defective display panel is inspected through a process of determining defects, and a defective portion is subjected to a repair or discard process.

도 1은 디스플레이 패널의 검수과정에서 흔하게 발견되는 진성불량 및 가성불량의 이미지로서, 진성불량은 제품의 성능에 하자가 있는 디스플레이 패널이고, 가성불량은 제품의 성능에 하자는 없으나 검수과정에서 불량으로 검출되는 오차범위내에 존재하는 양품을 일컫는다.1 is an image of intrinsic defects and false defects commonly found in the inspection process of a display panel, wherein intrinsic defects are defects in the performance of a product, and false defects are detected as defects in the inspection process Quot; good "

도 1에 도시된 진성불량 및 가성불량의 표본은 디스플레이 패널의 면상에 다양한 크기 및 형상으로 존재하게 된다.The samples of the intrinsic defect and the false defect shown in Fig. 1 exist in various sizes and shapes on the surface of the display panel.

대부분의 경우 아주 작은 크기의 점으로 존재하기도 하며, 이러한 다양한 크기와 형상으로 존재하는 진성불량 및 가성불량의 표본을 통해 숙련된 인력이 아닌 자동화된 기기를 통하여 관찰하고 불량품 또는 양품으로 구분하는 것이 수월하지 않았다.In most cases, they exist in very small dots, and it is easy to distinguish them by defective or non-defective products through automated equipment rather than skilled manpower through specimens of intrinsic defects and false defects existing in various sizes and shapes Did not do it.

따라서, 자동화된 기기를 통하여, 특히 영상정보를 획득하고 획득된 영상정보를 판독하여 불량을 판별하는 비전검사 장치에서는 다양하게 존재하는 진성불량 및 가성불량의 표본을 정확하게 판별하고 구분하는 것이 여의치 않았고, 이러한 단점들은 불량판별의 낮은 변별력으로 이어져 양품임에도 불량품으로 분류되는 가성불량의 수가 많아지는 결과를 얻을 수 밖에 없었다.Therefore, it is not possible to accurately distinguish and distinguish various types of true defectiveness and false defectiveness in various vision inspection apparatuses that acquire image information and read image information obtained through automated apparatuses to discriminate defects, These disadvantages lead to low discriminative power of bad discrimination, resulting in a large number of false defects classified as defective products even though they are good products.

디스플레이 패널의 검사 대상이 되는 평면을 숙련된 인력이 육안으로 관찰하여 양품 및 불량의 판단을 수행하여 분류하는 시스템은 숙련된 인력을 필요로 하고 검수자의 숙련 정도에 따라 불량 검출율에 차이가 발생되며, 불량을 검수하는 속도에 한계가 있다는 단점이 있었고, 이러한 단점을 보완하기 위해 자동화된 시스템을 통하여 불량을 검출하는 방법 및 장치들이 제안되고 있으나, 상술한 바와 같은 이유로 가성불량이 과다하게 발생하는 단점을 지니고 있었다.The system for observing the flat surface to be inspected of the display panel by the human eye and performing the classification of the good and bad is required to have a skilled workforce and the defect detection rate is different according to the skill level of the inspector There has been a disadvantage in that there is a limit to the speed of inspecting defects. To overcome such disadvantages, methods and apparatuses for detecting defects through an automated system have been proposed. However, the above- .

따라서 이와 같은 문제점들을 해결하기 위한 방법이 요구된다.Therefore, a method for solving such problems is required.

본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여 안출된 발명으로서 비전검사 장치에 인식과 학습에 의한 판별 기술을 접목하여 진성불량과 가성불량의 판별력을 높이기 위함이다.SUMMARY OF THE INVENTION The present invention has been devised in order to solve the problems of the prior art described above and aims at enhancing discrimination between true defects and false defects by combining identification and learning discrimination techniques with a vision inspection apparatus.

또한, 불량판별의 기준이 되는 디스플레이 패널상의 불량표본을 최적화된 데이터로 수집될 수 있도록 가공하는 정규화 과정을 포함함으로 표본에 대한 인식오류 및 연산량을 줄이고 가성불량의 과검출량을 감소시킬 수 있는 비전검사 방법을 제공하기 위함이다.Also, by including a normalization process of processing bad samples on the display panel, which is a standard for defect classification, to be collected with optimized data, it is possible to reduce the recognition error and computation amount of the sample and reduce the detection amount of false defect. This is to provide a method.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the above-mentioned problems, and other problems not mentioned can be clearly understood by those skilled in the art from the following description.

상기한 목적을 달성하기 위한 본 발명의 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법은 진성불량품의 샘플인 진성표본 및 가성불량품의 샘플인 가성표본을 동일한 수로 포함하여 제1학습군이 형성되고, 제1학습군으로부터 각각 진성이미지 및 가성이미지로 구성되는 제1학습이미지군을 수집하며, 제1학습이미지군에 포함된 각각의 진성이미지 및 가성이미지는 동일한 크기의 격자로 구획되어 각각의 구획된 공간으로부터 수식화된 진성데이터 및 가성데이터가 도출되고, 진성데이터 및 가성데이터가 동일한 수로 제1데이터군을 형성하며, 제1데이터군을 특징공간상에 도식화하여 진성데이터가 위치하는 진성영역 및 가성데이터가 위치하는 가성영역의 경계인 분류기준을 도출하는 사전학습 단계, 검사대상물인 편광층이 접착된 디스플레이패널로부터 피검표본이 획득되고, 피검표본으로부터 피검이미지가 추출되어 수식화된 피검데이터를 특징공간상에 대입하고 분류기준을 경계로 특징공간상에서 피검데이터가 위치하는 영역을 판단하여 검사대상물을 진성불량 또는 가성불량으로 판단하는 불량판별 단계 및 사전학습 단계에 피검데이터를 적용하여 특징공간상의 분류기준을 수정하는 추가학습 단계를 포함하고, 진성표본, 가성표본 및 피검표본은 확대 또는 축소되는 정규화 단계를 거쳐 진성이미지, 가성이미지 및 피검이미지로 변환되고, 불량판별 단계 및 추가학습 단계가 반복 수행된다.According to another aspect of the present invention, there is provided a vision-based vision inspection method for performing sample normalization through scale correction according to the present invention, comprising the steps of: And collects a first learning image group composed of a true image and a false image, respectively, from the first learning group, and each intrinsic image and the false image included in the first learning image group are partitioned into a grid of the same size The intrinsic data and the pseudo-data are derived from the respective partitioned spaces, the intrinsic data and the pseudo-data form the first data group, and the first data group is displayed on the feature space, A preliminary learning step of deriving a classification criterion which is a boundary of a pseudo range where the area and the pseudo data are located, A test sample is obtained from the attached display panel, test image data extracted from the test sample is inputted into the feature space, and the region where the test data is located is set in the feature space with the classification reference as a boundary, And an additional learning step of correcting the classification criterion in the feature space by applying the test data to the failure discrimination step and the pre-learning step in which the false test or the false test is judged, and the intrinsic specimen, the false specimen and the test specimen are enlarged or reduced The false image, the false image, and the image to be inspected, and the failure determination step and the additional learning step are repeatedly performed.

그리고, 정규화 단계는 진성표본, 가성표본 및 피검표본을 기 설정된 크기에 맞추어 확대 또는 축소하고, 진성표본, 가성표본 및 피검표본의 여백이 최소가 되도록 보정한다.Then, the normalization step enlarges or reduces the intrinsic specimen, the false specimen, and the specimen to a predetermined size, and corrects the intrinsic specimen, the false specimen, and the specimen to minimize the margin of the specimen.

또는, 진성이미지, 가성이미지 및 피검이미지는 각각 16 분할된 격자 형상으로 구획되고 각각의 진성이미지, 가성이미지 및 피검이미지로부터 16개의 진성데이터, 가성데이터 및 피검데이터가 도출된다.Alternatively, the intrinsic image, the vital image, and the image to be inspected are each partitioned into a grid of 16 divisions and 16 intrinsic data, pseudo-data, and test data are derived from each intrinsic image, a false image, and a test image.

그리고, 진성표본, 가성표본 및 피검표본은 검사대상물의 검사대상 표면을 일정한 패턴에 따라 이동하며 촬영된 영상의 수식화된 신호가 급격하게 변화되는 지점의 영상정보이다.The intrinsic specimen, the false specimen, and the specimen are image information of a point where the specimen surface of the inspected object is moved according to a certain pattern and the modulated signal of the photographed image is abruptly changed.

또는, 사전학습 단계는 제1학습군에 포함된 각각의 진성표본 및 가성표본으로부터 진성이미지 및 가성이미지가 영상정보로 수집되는 영상 수집 단계, 각각의 진성이미지 및 가성이미지가 n개의 구획된 공간으로 분할되어 각각의 구획된 공간으로부터 도출된 n개의 특징점으로 진성데이터 및 가성데이터가 구해지고, 진성데이터 및 가성데이터는 제1데이터군을 형성하며, 제1데이터군을 도식화하여 인접한 특징점들을 k개의 그룹으로 그룹핑하며 각각의 그룹별로 특징점 평균을 구하여 k개의 평균점으로 구성되는 사전을 작성하는 사전작성 단계 및 진성데이터 및 가성데이터를 사전에 대입하여 특징공간상에 도식화하고 특징공간상에서 진성데이터가 위치하는 진성구역 및 가성데이터가 위치하는 가성구역의 경계인 분류기준을 결정하는 클래스 분류 단계를 포함한다.Alternatively, the pre-learning step may include an image collecting step in which intrinsic images and a false image are collected as image information from each of the intrinsic specimens and the false specimens included in the first learning group, The intrinsic data and the pseudo-data are obtained from the n minutiae points derived from the respective divided spaces, and the intrinsic data and the pseudo-data form the first data group, and the first data group is schematized, A dictionary creation step of creating a dictionary composed of k average points by obtaining a minutiae point average for each group, a step of creating a diagram in the feature space by substituting the intrinsic data and the pseudo data in advance, Classification that determines the classification criteria that is the boundary of the pseudo-zone where the zone and pseudo-data are located .

그리고, 사전작성 단계는 케이평균 군집화를 수행하여 k개의 평균점을 기준 단어로 하는 사전을 결정한다.And, in the pre-creation step, K average clustering is performed to determine a dictionary having k average points as reference words.

또는, 불량판별 단계는 피검이미지로부터 얻은 n개의 특징점인 피검데이터를 사전과 대비하고 k개의 평균점을 기준으로 피검데이터를 분류하여 특징공간상에 도식화한다.Alternatively, in the failure determination step, the test data, which is n feature points obtained from the image to be inspected, are compared with the dictionary, and the test data is classified based on k average points and displayed on the feature space.

상기한 과제를 해결하기 위한 본 발명의 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법은 디스플레이 패널의 진성불량 및 가성불량의 데이터를 영상정보로 획득하여 수식화하고 특징공간상에 도식화함으로 그 경계를 도출하여 진성불량 및 가성불량을 판별함으로 불량판별의 정확도를 높이고, 가성불량의 과검출을 감소시키는 효과를 얻을 수 있다.In order to solve the above-described problems, the learning-based vision inspection method in which the sample normalization is performed through the scale correction of the present invention is performed by obtaining data on the genuine defectiveness and false defectiveness of the display panel as image information, By deriving the boundaries, it is possible to obtain an effect of increasing the accuracy of the faulty discrimination and decreasing the detection of the false defect by discriminating the true defect and the false defect.

또한, 검사대상물로부터 획득되는 영상정보를 기 설정된 크기로 보정하는 가공과정을 거침으로 정규화된 정보를 추출하여 연산과정을 줄여 보다 신속하게 결과를 도출할 수 있다는 장점이 있으며, 디스플레이패널의 편광층 부착면이 지닌 영상의 특성이 단순함에도 높은 정확성을 기대할 수 있는 효과가 있다.Further, there is an advantage in that the image information obtained from the object to be inspected is corrected to a predetermined size, and the normalized information is extracted by extracting the normalized information, The accuracy of the image can be expected even if the characteristics of the image are simple.

이러한, 영상정보의 정규화는 불량이 의심되는 표본을 검수함에 있어 인식의 오류를 줄이고, 기 설정된 기준에 부합하는 데이터를 획득하기 수월하게 하여 보다 향상된 신뢰성을 지닌 검수 결과를 도출할 수 있는 효과가 있다.This normalization of the image information has an effect of reducing the error of recognition when examining a specimen suspected to be defective and making it easy to acquire data meeting predetermined criteria, thereby obtaining the inspection result with improved reliability .

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description of the claims.

도 1은 디스플레이 패널의 표면에 형성되는 진성불량 및 가성불량의 이미지이다.
도 2는 본 발명의 일 실시예에 따른 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법을 나타낸 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법에서 분류기준을 정하는 데이터를 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법의 표본 정규화 단계가 수행되는 과정을 나타낸 상태도이다.
도 5는 본 발명의 일 실시예에 따른 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법에서 정규화 단계를 거쳐 보정된 진성이미지를 나타낸 상태도이다.
도 6은 본 발명의 일 실시예에 따른 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법에서 정규화 단계를 거쳐 보정된 가성이미지를 나타낸 상태도이다.
도 7은 본 발명의 일 실시예에 따른 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법에서 사전이 도출되는 과정을 나타낸 개략도이다.
도 8은 본 발명의 일 실시예에 따른 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법에서 제1학습이미지군을 사전에 대입하는 과정을 나타낸 개략도이다.
도 9는 본 발명의 일 실시예에 따른 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법에서 사전학습단계 및 불량판별 단계를 나타낸 개략도이다.
도 10은 본 발명의 일 실시예에 따른 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법에서 특징공간상에 진성영역 및 가성영역이 도출된 상태를 3차원으로 예시하여 나타낸 그래프이다.
도 11은 본 발명의 일 실시예에 따른 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법을 구현하기 위한 장치를 나타낸 상태도이다.
FIG. 1 is an image of the intrinsic defect and the false defect formed on the surface of the display panel.
FIG. 2 is a flowchart illustrating a learning-based vision inspection method in which sample normalization is performed through scale correction according to an exemplary embodiment of the present invention.
FIG. 3 is a flowchart illustrating data defining a classification criterion in a learning-based vision inspection method in which sample normalization is performed through scale correction according to an embodiment of the present invention.
4 is a state diagram illustrating a procedure of performing a sample normalization step of a learning-based vision inspection method in which sample normalization is performed through scale correction according to an exemplary embodiment of the present invention.
FIG. 5 is a state diagram showing an intrinsic image corrected through a normalization step in a learning-based vision inspection method in which sample normalization is performed through scale correction according to an exemplary embodiment of the present invention.
6 is a state diagram illustrating a pseudo-image corrected through a normalization step in a learning-based vision inspection method in which sample normalization is performed through scale correction according to an embodiment of the present invention.
FIG. 7 is a schematic diagram illustrating a process of deriving a dictionary in a learning-based vision inspection method in which sample normalization is performed through scale correction according to an embodiment of the present invention.
FIG. 8 is a schematic diagram showing a process of assigning a first learning image group in advance in a learning-based vision inspection method in which sample normalization is performed through scale correction according to an embodiment of the present invention.
FIG. 9 is a schematic diagram showing a learning step and a defect determination step in a learning-based vision inspection method in which sample normalization is performed through scale correction according to an embodiment of the present invention.
FIG. 10 is a graph illustrating a three-dimensional state in which an intrinsic region and a false region are derived on a feature space in a learning-based vision inspection method in which sample normalization is performed through scale correction according to an exemplary embodiment of the present invention.
11 is a state diagram showing an apparatus for implementing a learning-based vision inspection method in which sample normalization is performed through scale correction according to an embodiment of the present invention.

이하 본 발명의 목적이 구체적으로 실현될 수 있는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 본 실시예를 설명함에 있어서, 동일 구성에 대해서는 동일 명칭 및 동일 부호가 사용되며 이에 따른 부가적인 설명은 생략하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. In describing the present embodiment, the same designations and the same reference numerals are used for the same components, and further description thereof will be omitted.

본 발명에 따른 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법은 하기 되는 것과 같이 실시될 수 있다.The learning-based vision inspection method in which the sample normalization is performed through the scale correction according to the present invention can be performed as follows.

도 2는 본 발명의 일 실시예에 따른 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법을 나타낸 흐름도이고, 도 3은 본 발명의 일 실시예에 따른 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법에서 분류기준을 정하는 데이터를 나타낸 흐름도이다.FIG. 2 is a flowchart illustrating a learning-based vision inspection method in which sample normalization is performed through scale correction according to an exemplary embodiment of the present invention. FIG. 3 is a flowchart illustrating a method of performing a normalization using a scale correction according to an exemplary embodiment of the present invention. Based vision inspection method according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법은 디스플레이패널(302)에 접착된 편광층(304)의 불량을 검사하기 위한 학습기반의 비전검사 방법이다.Based vision inspection method in which sample normalization is performed through scale correction according to an embodiment of the present invention is a learning-based vision inspection method for inspecting defects of the polarizing layer 304 adhered to the display panel 302 .

도 2 내지 도 3을 참조하여, 진성불량품의 샘플인 진성표본(100) 및 가성불량품의 샘플인 가성표본(200)을 동일한 수로 포함하여 형성되는 제1학습군이 마련된다.Referring to Figs. 2 to 3, a first learning group formed by including the intrinsic specimen 100, which is a sample of intrinsic defects, and the tentative specimen 200, which is a sample of a false defective, are provided in the same number.

제1학습군으로부터 각각 진성이미지(110) 및 가성이미지(210)로 구성되는 제1학습이미지군을 수집한다.A first learning image group consisting of the intrinsic image 110 and the false image 210 is collected from the first learning group.

제1학습이미지군에 포함된 각각의 진성이미지(110) 및 가성이미지(210)는 동일한 크기의 격자로 구획되고, 각각의 구획된 공간으로부터 수식화된 진성데이터(120) 및 가성데이터(220)가 도출된다.Each of the intrinsic image 110 and the tentative image 210 included in the first learning image group is partitioned into a lattice of the same size and the intrinsic data 120 and the tentative data 220 formulated from each of the divided spaces Lt; / RTI >

수식화된 진성데이터(120) 및 가성데이터(220)가 동일한 수로 구비되는 제1데이터군이 추출된다.The first data group in which the formulated intrinsic data 120 and the false data 220 are provided in the same number is extracted.

제1데이터군을 특징공간(400)상에 도식화하여 진성데이터(120)가 위치하는 진성영역(130) 및 가성데이터(220)가 위치하는 가성영역(230)의 경계인 분류기준(410)을 도출하는 사전학습 단계(S100)가 수행된다.The first data group is displayed on the feature space 400 to derive the classification reference 410 that is the boundary between the intrinsic region 130 where the intrinsic data 120 is located and the false region 230 where the false data 220 is located Learning step S100 is performed.

검사대상물(300)인 편광층(304)이 접착된 디스플레이패널(302)로부터 영상이미지로 추출되어 수식화된 피검데이터(320)를 특징공간(400)상에 대입하여, 분류기준(410)을 경계로 하여 특징공간(400)상에서 피검데이터(320)가 위치하는 영역을 판단하고 검사대상물(300)을 진성불량 또는 가성불량으로 판단하는 불량판별 단계(S200)가 수행된다.The test data 320 extracted and extracted from the display panel 302 on which the polarizing layer 304 which is the inspection object 300 is adhered and formulated is substituted into the feature space 400 so that the classification reference 410 is bounded A defect determination step S200 of determining a region where the test data 320 is located on the feature space 400 and determining the test object 300 as an intrinsic defect or a false defect is performed.

진성표본(100), 가성표본(200) 및 피검표본은 확대 또는 축소되는 정규화 단계를 거쳐 진성이미지(110), 가성이미지(210) 및 피검이미지(310)로 변환되고, 불량판별 단계(S200) 및 추가학습 단계(S300)는 반복 수행된다.The intrinsic specimen 100, the false specimen 200 and the inspected specimen are converted into the intrinsic image 110, the false image 210 and the inspected image 310 through the normalization step of being enlarged or reduced, And the additional learning step S300 are repeatedly performed.

아래에서는 상기된 각각의 단계를 구체적으로 자세하게 설명한다.Each of the above steps will be described in detail below.

제1학습군은 진성불량품의 샘플인 진성표본(100) 및 가성불량품의 샘플인 가성표본(200)을 각각 A개로 동일한 수를 포함한다.The first learning group includes the same number as the intrinsic specimen 100, which is a sample of the intrinsic defective product, and the simulated specimen 200, which is a sample of the false defective product.

제1학습이미지군은 진성표본(100)으로부터 도출된 진성이미지(110) 및 가성표본(200)으로부터 도출된 가성이미지(210)를 동일한 수를 포함한다.The first learning image group includes the same number of the intrinsic image 110 derived from the intrinsic specimen 100 and the intrinsic image 210 derived from the pseudo-specimen 200. [

제1데이터군은 진성이미지(110)를 수식화한 진성데이터(120) 및 가성이미지(210)를 수식화한 가성데이터(220)를 동일한 수를 포함한다.The first data group includes the same number of the intrinsic data 120 in which the intrinsic image 110 is formulated and the false data 220 in which the virgin image 210 is formulated.

따라서, 진성표본(100) 및 진성이미지(110)는 동일하게 A개이고, 가성표본(200) 및 가성이미지(210) 또한 동일하게 A개인 것으로 본 발명의 일 실시예에서는 가정한다.Therefore, it is assumed in the embodiment of the present invention that the intrinsic specimen 100 and the intrinsic image 110 are the same A, and the false specimen 200 and the false image 210 are also the same A.

특징공간(400)은 다수의 변수를 지닌 다차원 공간으로서 본 발명의 일 실시예에 따른 특정 데이터가 도식화되는 공간을 지칭한다.The feature space 400 is a multi-dimensional space having a plurality of variables, and refers to a space in which specific data according to an embodiment of the present invention is depicted.

사전학습 단계(S100)는 진성표본(100) 및 가성표본(200)으로부터 불량으로 의심되는 지점의 영상이미지인 진성이미지(110) 및 가성이미지(210)를 획득하는 영상 수집 단계(S110), 사전작성 단계(S120) 및 클래스 분류 단계(S130)를 포함한다.The pre-learning step S100 includes an image collecting step S110 for obtaining an intrinsic image 110 and a false image 210, which are image images of suspected bad points from the intrinsic specimen 100 and the false specimen 200, Creating step S120 and class classification step S130.

영상 수집 단계(S110)는 진성표본(100) 및 가성표본(200)의 측정대상 평면을 일정한 패턴으로 이동하며 촬영하는 촬영유닛(520)을 통해 영상이 수집되고, 특정 위치의 영상에서 기 설정된 조건을 만족하는 결과의 도출 시에 그 위치의 영상이미지를 촬영함으로 진성이미지(110) 또는 가성이미지(210)를 도 1에 나타난 이미지와 같은 형태로 획득하는 단계이다.In the image collection step S110, an image is collected through a photographing unit 520 for photographing the moving target planes of the intrinsic specimen 100 and the tentative specimen 200 in a predetermined pattern, The virtual image 110 or the false image 210 is acquired in the form of the image shown in FIG. 1 by photographing the image of the position at the time of deriving the result.

본 발명의 일 실시예로서 촬영유닛(520)을 통해 촬상되는 영상은 밝기의 변화가 급격하게 증가 또는 감소하는 경우 그 지점을 도 1에 나타난 이미지와 같이 촬영하여 영상이미지로 획득할 수 있다.In an embodiment of the present invention, when a change in brightness is rapidly increased or decreased in an image captured through the photographing unit 520, the point may be photographed as an image shown in FIG. 1 and acquired as a video image.

도 4는 본 발명의 일 실시예에 따른 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법의 표본 정규화 단계가 수행되는 과정을 나타낸 상태도이고, 도 5는 본 발명의 일 실시예에 따른 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법에서 정규화 단계를 거쳐 보정된 진성이미지를 나타낸 상태도, 도 6은 본 발명의 일 실시예에 따른 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법에서 정규화 단계를 거쳐 보정된 가성이미지를 나타낸 상태도이다.FIG. 4 is a state diagram illustrating a procedure of performing a sample normalization step of a learning-based vision inspection method in which sample normalization is performed through scale correction according to an exemplary embodiment of the present invention. FIG. FIG. 6 is a diagram illustrating a state in which an original image is corrected through a normalization step in a learning-based vision inspection method in which sample normalization is performed through scale correction. FIG. 6 is a diagram illustrating a state in which sample normalization is performed through scale correction according to an exemplary embodiment of the present invention Based vision inspection method in which a normalized image is corrected.

표본 정규화 단계(S10)는 진성표본(100) 및 가성표본(200)으로부터 진성이미지(110) 및 가성이미지(210)를 도출 시, 도 4 내지 도 6에 도시된 바와 같이 진성이미지(110) 및 가성이미지(210)에 포함되어 있는 배경을 제거하고, 특이점이 있는 부분을 확대 또는 축소하는 보정을 수행하여 기 설정된 이미지 크기로 정규화 한다.The sample normalization step S10 is a step of generating the intrinsic image 110 and the tentative image 210 from the intrinsic image 100 and the tentative image 200, A background included in the false image 210 is removed, and a correction for enlarging or reducing a portion having a singular point is performed to normalize the image to a preset image size.

그리고, 기 설정된 이미지 크기로 정규화된 진성이미지(110) 및 가성이미지(210)를 n개의 분할된 격자형태로 구획하고, 분할된 n개의 영역으로부터 각각 특징점을 벡터량으로 도출하여 진성데이터(120) 및 가성데이터(220)로서 도출하게 된다.Then, the intrinsic image 110 and the pseudo image 210 normalized to a preset image size are divided into n divided grid shapes, and the feature points are respectively derived from the divided n regions as vector quantities to generate intrinsic data 120 and As the falsification data 220.

이러한 표본 정규화 단계(S10)는 디스플레이패널의 편광층에서 찍힘 또는 들뜸 현상으로 나타나는 불량지점의 크기가 일정치 않고, 그 특징이 지닌 패턴이 단순하여 하나의 진성이미지(110) 또는 가성이미지(210)로부터 다수 개인 n개의 특징점을 도출하는 것이 용이하지 못하고, 진성이미지(110) 또는 가성이미지(210)를 스캔하여 n개의 특징점을 도출하는 과정의 실효성이 높지 않기 때문으로, n개의 특징점을 도출하여 진성데이터(120) 또는 가성데이터(220)를 도출함에 있어, 표본을 정규화하여 연산과정을 줄일 뿐만 아니라, 비교적 유사한 조건하에서 특징점들을 획득할 수 있어 진성데이터(120) 및 가성데이터(220)의 신뢰도를 높일 수 있는 효과가 있다.In this sample normalization step S10, the magnitude of the defective point, which appears as a phenomenon in the polarizing layer of the display panel or appears as a floating phenomenon, is not constant, and the pattern of the characteristic is simple, so that one intrinsic image 110 or the false image 210, It is not easy to derive n feature points from a plurality of feature points and it is not effective to derive n feature points by scanning the intrinsic image 110 or the false image 210. Accordingly, In deriving the data 120 or the false data 220, it is possible to normalize the sample to reduce the computational process, as well as to obtain the feature points under relatively similar conditions, thereby improving the reliability of the intrinsic data 120 and the false data 220 There is an effect that can be increased.

도 7은 본 발명의 일 실시예에 따른 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법에서 사전이 도출되는 과정을 나타낸 개략도이고, 도 8은 본 발명의 일 실시예에 따른 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법에서 제1학습이미지군을 사전에 대입하는 과정을 나타낸 개략도이다.FIG. 7 is a schematic diagram illustrating a process of deriving a dictionary in a learning-based vision inspection method in which sample normalization is performed through scale correction according to an embodiment of the present invention. FIG. FIG. 2 is a schematic view showing a process of assigning a first learning image group in advance in a learning-based vision inspection method in which sample normalization is performed through a normalization process.

사전작성 단계(S120)는 진성이미지(110) 및 가성이미지(210)로부터 각각 n개의 특징점으로 도출되는 진성데이터(120) 및 가성데이터(220)가 도출된다.The preprocessing step S120 derives the intrinsic data 120 and the pseudo-data 220 derived from the intrinsic image 110 and the voiced image 210, respectively, into n feature points.

진성데이터(120)는 A×n개가 획득되고, 가성데이터(220) 또한 A×n개가 획득된다.The intrinsic data 120 is obtained A x n, and the mantissa data 220 is also obtained A x n.

이때, 진성이미지(110) 및 가성이미지(210)로부터 진성데이터(120) 및 가성데이터(220)를 획득시에 표본 정규화 단계(S10)가 수행될 수 있다.At this time, the sample normalization step S10 may be performed upon acquiring the intrinsic data 120 and the false data 220 from the intrinsic image 110 and the false image 210.

도 7 내지 도 8을 참조하여, 진성이미지(110) 및 가성이미지(210)로부터 도출되는 진성데이터(120) 및 가성데이터(220)는 진성이미지(110) 및 가성이미지(210)내에서 색상, 명도, 채도, 형상, 곡률등과 같은 특징을 n개의 지점에서 추출하여 수집될 수 있다.7 through 8, intrinsic data 120 and tentative data 220 derived from intrinsic image 110 and tentative image 210 are used to generate color, Such as brightness, saturation, shape, curvature, etc., can be extracted from n points.

진성데이터(120) 및 가성데이터(220)는 색상, 명도, 채도, 형상, 곡률등과 같은 특징들을 변수로 하는 벡터(vector)량으로서, 이러한 벡터량을 변수로 하는 다차원의 공간상에 도식화된다.The intrinsic data 120 and the voiceless data 220 are vector quantities having characteristics such as color, lightness, saturation, shape, curvature, etc. as variables and are plotted on a multidimensional space having such vector quantities as variables.

도 7에는 진성이미지(110) 및 가성이미지(210)로부터 n개의 특징점이 벡터량으로 도출되어 다차원 공간상의 도식화되는 과정을 간략하게 나타내고 있다.FIG. 7 schematically shows a process in which n feature points are derived as vector quantities from the intrinsic image 110 and the tentative image 210 and are expressed in a multidimensional space.

이는 예시적인 것으로서 본 발명이 적용되는 실시예에 따라 다양한 인자를 기준으로 하여 진성데이터(120) 및 가성데이터(220)가 추출될 수 있다.This is an illustrative example, and the intrinsic data 120 and the false data 220 can be extracted based on various factors according to an embodiment to which the present invention is applied.

상술한 바와 같이 A개의 진성이미지(110)로 부터 A×n개의 진성데이터(120), A개의 가성이미지(210)로부터 A×n개의 가성데이터(220)가 벡터량으로 수집되고, 진성데이터(120) 및 가성데이터(220)는 상술한 바와 같이 다차원 공간상에 도식화되고, 각각 인접한 진성데이터(120) 및 가성데이터(220)를 군집화하여 k개의 그룹으로 그룹핑하며, 각각의 그룹내에 속하는 진성데이터(120) 및 가성데이터(220)의 평균점을 구하여 k개의 평균점을 산출하게 된다.As described above, A x n number of false data 220 are collected from A number of intrinsic images 110, A x n number of intrinsic data 120, A number of false images 210, and the intrinsic data 120 ) And the false data 220 are schematized on the multidimensional space as described above, and are grouped into k groups by grouping the adjacent intrinsic data 120 and the false data 220, and the intrinsic data 120 belonging to each group 120 and the false data 220 are calculated to calculate k average points.

진성이미지(110) 및 가성이미지(210)로부터 도출되는 n개의 특징점은 본 발명의 일 실시예에서는 도 4 내지 도 6에 도시된 바와 같이 확대 또는 축소되어 여백이 최소화된 진성이미지(110) 및 가성이미지(210)를 동일한 간격의 격자로 나누어 도출되는 공간의 개수로 나타날 수 있다.N feature points derived from the intrinsic image 110 and the tentative image 210 are enlarged or reduced as shown in Figs. 4 to 6 in an embodiment of the present invention to generate an intrinsic image 110 with a minimized margin, The image 210 may be represented by the number of spaces derived by dividing the image 210 by a grid of equal intervals.

상세하게는, 진성이미지(110) 및 가성이미지(210)를 가로로 4등분하여 구획하고 또한 세로로 4등분하여 구획함으로, 발생되는 16개의 격자상의 공간이 각각 n개의 특징점이 되고, 이때, n=16으로 확정된다.Specifically, the intrinsic image 110 and the false image 210 are divided into quadrants and quadrangled vertically, so that the sixteen lattice-shaped spaces generated are n feature points, respectively, where n = 16.

진성이미지(110) 및 가성이미지(210)를 동일한 간격의 16등분된 공간으로 구획하고 각각의 공간으로부터 색상, 명도, 채도, 형상, 곡률등과 같은 특징들을 변수로 하는 벡터(vector)량을 추출하여 진성데이터(120) 및 가성데이터(220)를 도출하게 된다.The intrinsic image 110 and the tentative image 210 are divided into sixteen equally spaced spaces and a vector amount having characteristics such as color, brightness, saturation, shape, curvature, etc. as variables is extracted from each space Thereby generating the intrinsic data 120 and the false data 220. [

사전작성 단계(S120)는 각각의 그룹을 단어라 정의하고, k개의 평균점을 사전이라 정의하여 k개의 단어를 지닌 사전을 작성하는 것으로, 주어진 데이터를 k개의 클러스터로 묶어 군집화 하는 알고리즘인 케이평균군집화를 이용하여 수행될 수 있다.In the dictionary creation step S120, each group is defined as a word, a dictionary having k words is defined by defining k average points as dictionaries, and a k average clustering algorithm, which is an algorithm for grouping the given data into k clusters, . ≪ / RTI >

클래스 분류 단계(S130)는 진성데이터(120)를 사전작성 단계(S120)를 통해 작성된 사전에 대입하여 k개의 단어들 각각에 속하게 되는 진성데이터(120)를 도 8에 도시된 바와 같이 히스토그램화 하는 히스토그램화 단계가 먼저 수행된다.The class classification step S130 is a step of classifying the intrinsic data 120 into dictionaries created through the preparation step S120 and histologizing the intrinsic data 120 belonging to each of the k words as shown in Fig. The histogramming step is performed first.

도 9는 본 발명의 일 실시예에 따른 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법에서 사전학습단계 및 불량판별 단계를 나타낸 개략도이고, 도 10은 본 발명의 일 실시예에 따른 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법에서 특징공간상에 진성영역 및 가성영역이 도출된 상태를 3차원으로 예시하여 나타낸 그래프이다.FIG. 9 is a schematic diagram showing a learning step and a failure determination step in a learning-based vision inspection method in which sample normalization is performed through scale correction according to an embodiment of the present invention. FIG. 3 is a graph illustrating a state in which an intrinsic region and a false region are derived on a feature space in a learning-based vision inspection method in which sample normalization is performed through scale correction.

상술한 히스토그램화 단계를 통해 구해진 히스토그램을 기준으로 하여 단어와 각각의 단어에 속하는 진성데이터(120)를 변수로 하여 특징공간(400)상에 도시하고, 도 10에 도시된 바와 같이, 특징공간(400)상에서 진성영역(130)을 도출한다.10 shows the words and the intrinsic data 120 belonging to the respective words on the basis of the histogram obtained through the histogramming step on the feature space 400 as variables, The intrinsic region 130 is derived.

또한, 가성데이터(220)를 사전작성 단계(S120)를 통해 작성된 사전에 대입하고, k개의 단어들 각각에 속하게 되는 가성데이터(220)를 도 8에 도시된 바와 같이 히스토그램화 하는 히스토그램화 단계가 수행된다.In addition, the histogramming step of substituting the pseudo-data 220 into the dictionary created through the preprocessing step S120 and histogramizing the pseudo-data 220 belonging to each of the k words, as shown in Fig. 8 .

가성데이터(220)를 통해 얻어진 히스토그램을 기준으로 단어와 각각의 단어에 속하는 가성데이터(130)를 특징공간(400)상에 도시하고, 도 10에 도시된 바와 같이, 특징공간(400)상에서 가성영역(230)을 도출한다.The words and the pseudo data 130 belonging to each word are displayed on the feature space 400 on the basis of the histogram obtained through the pseudo data 220 and the pseudo data 130 on the feature space 400, Area 230 is derived.

특징공간(400)상에 도시되는 기준이 되는 변수는 각각의 단어와 각각의 단어에 속하는 가성데이터(130)의 수가 된다.The reference variable shown on the feature space 400 is the number of each word and the pseudo data 130 belonging to each word.

분류기준(410)은 특징공간(400)상에서 진성영역(130)과 가성영역(230)의 경계가 되는 선, 면 또는 초평면(hyper plane)으로 표현될 수 있으며, 진성영역(130)과 가성영역(230)이 특징공간(400)상에서 서로간 여백이 극대화 될 수 있도록 그 경계를 구하는 서포트 벡터 머신(SVM, support vector machine)기법을 이용해 구해질 수도 있다.The classification reference 410 may be expressed as a line, a plane, or a hyperplane which is a boundary between the intrinsic region 130 and the pseudo region 230 on the feature space 400, and the intrinsic region 130 and the pseudo- A support vector machine (SVM) technique may be used to determine the boundary between the feature space 400 and the feature space 400 to maximize the space between them.

불량판별 단계(S200)는 검사대상물(300)인 디스플레이패널(302)에 편광층(304)가 접착된 면을 촬영유닛(520)을 통해 일정한 경로를 따라 연속적으로 촬영하여 기 설정된 조건과 부합되는 값을 나타내는 위치의 영상을 촬영한 피검이미지(310)를 획득하는 피검영상 수집 단계(S210) 및 피검이미지(310)를 상술하였던 진성이미지(110) 및 가성이미지(210)를 진성데이터(120) 및 가성데이터(220)로 변환하는 방법과 동일한 방법을 사용하여 피검이미지(310)로 변환하고, 피검이미지(310)를 사전에 대입하여 특징공간(400)상에 도시하며, 클래스 분류 단계(S130)를 통해 구해진 분류기준(410)을 경계로 하여 진성영역(130) 또는 가성영역(230)에 속하는지를 판단하여 그 속하는 영역에 따라서 진성불량 또는 가성불량으로 판단하는 분류기준에 따른 불량판별 단계(S220)를 포함한다.In the defect determination step S200, the surface on which the polarizing layer 304 is adhered is continuously photographed on the display panel 302, which is the inspection object 300, along a predetermined path through the photographing unit 520, (S210) of acquiring an image 310 of an image of a position indicating the position of the subject image 310 and the intrinsic image 110 and the false image 210 of the image 310, And the visible image 310 are previously substituted and displayed on the feature space 400 using the same method as the method of transforming the image into the visible image 310 and the false data 220, Judging whether the genuine region 130 or the false region 230 belongs to the classification reference 410 obtained through the classification step 410 and determining whether the genuine region 130 or the false region 230 is genuine or false S220).

피검영상 수집 단계(S210)는 피검이미지(310)로부터 피검데이터(320)를 획득시에도 상술하였던 사전작성 단계(S120)의 표본 정규화 단계(S10)가 수행될 수 있다.In the image sensing step S210, the sample normalization step S10 of the preprocessing step S120 described above may be performed even when the inspection data 320 is acquired from the image 310 to be inspected.

표본 정규화 단계(S10)는 검사대상물(100)로부터 피검이미지(310)를 도출시에 도 4에 도시된 바와 같이 피검이미지(310)에 포함되어 있는 배경을 제거하고, 특이점이 있는 부분을 확대 또는 축소하는 보정을 수행하여 기 설정된 이미지 크기로 정규화 한다.The sample normalization step S10 is a step of removing the background included in the image to be inspected 310 as shown in FIG. 4 when extracting the image 310 from the object to be inspected 100, And performs normalization to a preset image size.

그리고, 기 설정된 이미지 크기로 정규화된 피검이미지(310)를 n개로 분할된 격자형태로 구획하고, 분할된 n개의 영역으로부터 각각 특징점을 벡터량으로 도출하여 피검데이터(220)로서 도출하게 된다.Then, the image 310 to be normalized with a predetermined image size is divided into n divided grid shapes, and the feature points are derived from the divided n regions as the vector quantities, and are derived as the test data 220.

이러한 표본 정규화 단계(S10)는 디스플레이패널의 편광층에서 찍힘 또는 들뜸 현상으로 나타나는 불량지점의 크기가 일정치 않고, 그 특징이 지닌 패턴이 단순하여 하나의 피검이미지(310)로부터 다수 개인 n개의 특징점을 도출하는 것이 용이하지 못하고, 피검이미지(310)를 스캔하여 n개의 특징점을 도출하는 과정의 실효성이 높지 않기 때문으로, n개의 특징점을 도출하여 피검데이터(320)를 도출함에 있어, 표본을 정규화하여 연산과정을 줄일 뿐만 아니라, 비교적 유사한 조건하에서 특징점들을 획득할 수 있어 피검데이터(320)의 신뢰도를 높일 수 있는 효과가 있다.In the sample normalization step S10, the size of the defective point appearing as a phenomenon to be picked up or floating in the polarizing layer of the display panel is not fixed, and the pattern of the characteristic is simple, Since it is not easy to derive n feature points from the image 310 and derive the n feature points from the image 310, it is difficult to derive n feature points to derive the test data 320, So that the feature points can be obtained under relatively similar conditions, thereby improving the reliability of the test data 320. [

피검이미지(310)는 상술하였던 진성이미지(110) 및 가성이미지(210)를 정규화 하는 방법과 동일하게, 가로로 4등분하여 구획하고 또한 세로로 4등분하여 구획함으로, 발생되는 16개의 격자상의 공간이 각각 n개의 특징점이 되고, 이때, n=16으로 확정될 수 있다.Similar to the normalization method of the intrinsic image 110 and the voiced image 210 described above, the image to be inspected 310 is divided into four by four and divided into four vertically, Are n feature points, respectively, and n = 16 at this time.

피검이미지(310)를 동일한 간격의 16등분된 공간으로 구획하고 각각의 공간으로부터 색상, 명도, 채도, 형상, 곡률등과 같은 특징들을 변수로 하는 벡터(vector)량을 추출하여 피검데이터(320)를 도출하게 된다.The test image 310 is divided into 16 equally spaced spaces and extracted from each space to extract a vector amount having parameters such as color, lightness, saturation, shape, curvature, .

본 발명의 일 실시예에서는 도 4 내지 도 6에 도시된 바와 같이, 진성이미지(110), 가성이미지(210) 및 피검이미지(310)를 균등하게 16분할하는 격자형태로 구획하도록 구현될 수 있고, 이러한 16등분으로 구획하여 각각의 공간에서 벡터량을 추출하는 것은 디스플레이패널상의 들뜸이나 찍힘으로 인한 불량을 검수하기 위한 비전검사 장치에서 진성불량 및 가성불량을 변별할 수 있는 충분한 데이터가 제공될 수 있기 때문이나, 이는 예시적인 것으로서 본 발명이 적용되는 실시예에 따라 다양한 형태로 구획되어 구현되면 될 것이다.In an embodiment of the present invention, the intrinsic image 110, the false image 210, and the imaged image 310 may be configured to partition into a lattice form evenly dividing into 16 parts, as shown in Figs. 4 to 6 And extracting the vector quantities in the respective spaces by dividing them into 16 equal parts can provide sufficient data to discriminate between the true defectiveness and false defectiveness in the vision inspection apparatus for inspecting the defect caused by lifting or dropping on the display panel However, it should be understood that the present invention is not limited to the above-described embodiments, but may be variously embodied according to an embodiment to which the present invention is applied.

추가학습 단계(S300)는 불량판별 단계(S200)를 통해 획득된 피검이미지(310)를 사전에 추가하여 k개의 평균점을 재연산하는 과정을 거쳐 사전을 보정하는 단계가 추가될 수 있다.In the additional learning step S300, a step of correcting the dictionary through the process of adding the image 310 to be inspected obtained in the failure determination step S200 in advance and re-reproducing k average points may be added.

또는, 불량판별 단계(S200)를 통해 획득된 피검데이터(320)를 특징공간상에 추가하고 추가된 피검데이터(320)를 반영하여 분류기준(410)을 보정하는 분류기준 보정 단계(S320)가 수행될 수 있다.Alternatively, a classification criterion correction step S320 for adding the test data 320 obtained through the failure judgment step S200 on the feature space and correcting the classification criterion 410 by reflecting the added test data 320 is performed .

이러한 사전을 보정하는 단계, 분류기준 보정 단계(S320)는 사전학습 단계(S100)를 통하여 기 학습된 불량판별 기준에 불량판별을 수행하며 획득하게 되는 새로운 정보를 추가하여 학습표본을 증가시켜 가는 효과를 얻을 수 있다.In the step of correcting the dictionary, the classification criterion correction step (S320) may be performed by performing defect determination on the learned defect criterion learned through the pre-learning step (SlOO), adding new information to be acquired, Can be obtained.

학습표본을 증가시키므로 불량판별을 수행하는 정확성을 높여 나갈 수 있게 되며, 진성불량과 가성불량의 경계를 특징공간(400)상에서 보다 명확하게 하여 가성불량이 과검출되는 현상을 줄일 수 있게 된다.It is possible to increase the accuracy of performing the failure discrimination by increasing the number of learning samples and to reduce the phenomenon in which the false defect is detected by making the boundary between the true defect and the false defect more apparent in the feature space 400. [

도 11은 본 발명의 일 실시예에 따른 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법을 구현하기 위한 장치를 나타낸 상태도이다.11 is a state diagram showing an apparatus for implementing a learning-based vision inspection method in which sample normalization is performed through scale correction according to an embodiment of the present invention.

도 11에 도시된 바와 같이, 검사대상물(300)이 이송되는 이송수단(510), 검사대상물(300)의 검사면을 일정한 경로를 따라 이동하며 연속적으로 촬영하는 촬영유닛(520), 촬영유닛(520)을 통해 획득된 영상이미지를 판독하여 피검이미지(310)를 선별하는 판독부(530), 판독부(530)를 통해 획득된 피검이미지(310)를 수식화한 피검데이터(320)를 특징공간(400)상에 도식화하는 연산부(540) 및 연산부(540)를 통해 획득된 피검데이터(320)가 저장되는 저장부(550)를 포함하여 구현될 수 있다.11, the transfer unit 510 to which the inspection object 300 is transferred, the imaging unit 520 for continuously moving the inspection surface of the inspection object 300 along a predetermined path, A reading unit 530 for reading the image obtained through the reading unit 530 and a sensing unit 530 for reading the image obtained through the reading unit 520, An operation unit 540 for rendering the data on the display unit 400 and a storage unit 550 for storing the test data 320 obtained through the operation unit 540.

이상과 같이 본 발명에 따른 바람직한 실시예를 살펴보았으며, 앞서 설명된 실시예 이외에도 본 발명이 그 취지나 범주에서 벗어남이 없이 다른 특정 형태로 구체화될 수 있다는 사실은 해당 기술에 통상의 지식을 가진 이들에게는 자명한 것이다. 그러므로, 상술된 실시예는 제한적인 것이 아니라 예시적인 것으로 여겨져야 하고, 이에 따라 본 발명은 상술한 설명에 한정되지 않고 첨부된 청구항의 범주 및 그 동등 범위 내에서 변경될 수도 있다.It will be apparent to those skilled in the art that the present invention can be embodied in other specific forms without departing from the spirit or scope of the invention as defined in the appended claims. It is obvious to them. Therefore, the above-described embodiments are to be considered as illustrative rather than restrictive, and the present invention is not limited to the above description, but may be modified within the scope of the appended claims and equivalents thereof.

100: 진성표본 110: 진성이미지
120: 진성데이터 130: 진성영역
200: 가성표본 210: 가성이미지
220: 가성데이터 230: 가성영역
300: 검사대상물 302: 디스플레이패널
304: 편광층 310: 피검이미지
320: 피검데이터
400: 특징공간 410: 분류기준
510: 이송수단 520: 촬영유닛
530: 판독부 540: 연산부
550: 저장부
100: intrinsic specimen 110: intrinsic image
120: intrinsic data 130: intrinsic region
200: False sample 210: False image
220: falsifying data 230:
300: object to be inspected 302: display panel
304: polarization layer 310: image to be imaged
320: Test data
400: Feature Space 410: Classification Criteria
510: transfer means 520: photographing unit
530: Reading section 540:
550:

Claims (7)

디스플레이패널에 접착된 편광층의 불량을 검사하기 위한 학습기반의 비전검사 방법으로서,
진성불량품의 샘플인 진성표본 및 가성불량품의 샘플인 가성표본을 동일한 수로 포함하여 제1학습군이 형성되고, 상기 제1학습군으로부터 각각 진성이미지 및 가성이미지로 구성되는 제1학습이미지군을 수집하며, 상기 제1학습이미지군에 포함된 각각의 상기 진성이미지 및 상기 가성이미지는 동일한 크기의 격자로 구획되어 상기 각각의 구획된 공간으로부터 수식화된 진성데이터 및 가성데이터가 도출되고, 상기 진성데이터 및 가성데이터가 동일한 수로 제1데이터군을 형성하며, 상기 제1데이터군을 특징공간상에 도식화하여 상기 진성데이터가 위치하는 진성영역 및 상기 가성데이터가 위치하는 가성영역의 경계인 분류기준을 도출하는 사전학습 단계;
검사대상물인 편광층이 접착된 디스플레이패널로부터 피검표본이 획득되고, 상기 피검표본으로부터 피검이미지가 추출되어 수식화된 피검데이터를 상기 특징공간상에 대입하고 상기 분류기준을 경계로 상기 특징공간상에서 상기 피검데이터가 위치하는 영역을 판단하여 상기 검사대상물을 진성불량 또는 가성불량으로 판단하는 불량판별 단계; 및
상기 사전학습 단계에 상기 피검데이터를 적용하여 상기 특징공간상의 분류기준을 수정하는 추가학습 단계;를 포함하고,
상기 진성표본, 상기 가성표본 및 상기 피검표본은 확대 또는 축소되는 정규화 단계를 거쳐 상기 진성이미지, 상기 가성이미지 및 상기 피검이미지로 변환되고, 상기 불량판별 단계 및 상기 추가학습 단계가 반복 수행되며,
상기 정규화 단계는 상기 진성표본, 상기 가성표본 및 상기 피검표본을 기 설정된 크기에 맞추어 확대 또는 축소하고, 상기 진성표본, 상기 가성표본 및 상기 피검표본의 여백이 최소가 되도록 보정하는 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법.
A learning-based vision inspection method for inspecting defects of a polarizing layer adhered to a display panel,
A first learning group is formed by including the same number of false samples that are samples of intrinsic defective products and a false sample that is a sample of false defects and a first learning image group composed of a true image and a false image are collected from the first learning group, Wherein each of the intrinsic image and the pseudo image included in the first learning image group is partitioned into a lattice of the same size so that intrinsic data and pseudo data formulated from each of the partitioned spaces are derived, Wherein the first data group is formed with the same number of the pseudo-data, the first data group is displayed on the feature space, and a dictionary for deriving a classification criterion that is a boundary between the intrinsic region where the intrinsic data is located and the pseudo- Learning stage;
A method of analyzing an object to be inspected, comprising the steps of: acquiring a specimen from a display panel to which a polarizing layer as an object to be inspected is adhered; extracting an image to be inspected from the specimen to be inspected; Determining a region in which the data is located to determine that the object to be inspected is an intrinsic defect or a false defect; And
And an additional learning step of applying the test data to the pre-learning step and correcting the classification criteria in the feature space,
The false sample, the false sample, and the test sample are converted into the true image, the false image, and the detected image through a normalization step of being enlarged or reduced, and the failure determination step and the additional learning step are repeatedly performed,
Wherein the normalizing step includes a step of enlarging or reducing the intrinsic specimen, the pseudo specimen, and the specimen to a preset size, and performing a scale correction to scale the intrinsic specimen, the false specimen, A learning-based vision inspection method in which normalization is performed.
삭제delete 제1항에 있어서,
상기 진성이미지, 상기 가성이미지 및 상기 피검이미지는 각각 16 분할된 격자 형상으로 구획되고 각각의 상기 진성이미지, 상기 가성이미지 및 상기 피검이미지로부터 16개의 상기 진성데이터, 상기 가성데이터 및 상기 피검데이터가 도출되는 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법.
The method according to claim 1,
Wherein the intrinsic image, the false image, and the image to be examined are each partitioned into a grid shape of 16 divisions, and 16 intrinsic data, the false data, and the test data from each of the intrinsic image, the false image, Based vision inspection method in which sample normalization is performed through scale correction.
제1항에 있어서,
상기 진성표본, 상기 가성표본 및 상기 피검표본은,
상기 검사대상물의 검사대상 표면을 일정한 패턴에 따라 이동하며 촬영된 영상의 수식화된 신호가 급격하게 변화되는 지점의 영상정보인 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법.
The method according to claim 1,
Wherein the intrinsic specimen, the false specimen,
Wherein the sample normalization is performed through scale correction which is image information of a point at which a scanned surface of the object to be inspected is moved according to a predetermined pattern and a modified signal of the captured image is abruptly changed.
제1항에 있어서,
상기 사전학습 단계는,
상기 제1학습군에 포함된 각각의 상기 진성표본 및 상기 가성표본으로부터 상기 진성이미지 및 상기 가성이미지가 영상정보로 수집되는 영상 수집 단계;
각각의 상기 진성이미지 및 상기 가성이미지가 n개의 구획된 공간으로 분할되어 각각의 구획된 공간으로부터 도출된 n개의 특징점으로 상기 진성데이터 및 상기 가성데이터가 구해지고, 상기 진성데이터 및 상기 가성데이터는 제1데이터군을 형성하며, 상기 제1데이터군을 도식화하여 인접한 특징점들을 k개의 그룹으로 그룹핑하며 각각의 그룹별로 특징점 평균을 구하여 k개의 평균점으로 구성되는 사전을 작성하는 사전작성 단계; 및
상기 진성데이터 및 상기 가성데이터를 상기 사전에 대입하여 상기 특징공간상에 도식화하고 상기 특징공간상에서 상기 진성데이터가 위치하는 진성구역 및 상기 가성데이터가 위치하는 가성구역의 경계인 분류기준을 결정하는 클래스 분류 단계;
를 포함하는 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법.
The method according to claim 1,
Wherein the pre-
An image collection step in which the intrinsic image and the false image are collected as image information from each of the intrinsic specimen and the pseudo specimen included in the first learning group;
Each of the intrinsic image and the pseudo image is divided into n divided spaces and the intrinsic data and the pseudo data are obtained from n minutiae points derived from the respective divided spaces, 1) grouping the first data group, grouping adjacent feature points into k groups, obtaining a feature point average for each group, and creating a dictionary composed of k average points; And
A classifying unit for classifying the intrinsic data and the pseudo data into the dictionary and drawing it on the feature space and determining a classification reference that is a boundary between the intrinsic region where the intrinsic data is located and the pseudo- step;
Based vision inspection method in which sample normalization is performed through scale correction that includes scale correction.
제5항에 있어서,
상기 사전작성 단계는,
케이평균 군집화를 수행하여 k개의 평균점을 기준 단어로 하는 상기 사전을 결정하는 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법.
6. The method of claim 5,
The pre-
K-means clustering is performed to perform sample normalization through scale correction to determine the dictionary with k average points as a reference word.
제5항에 있어서,
상기 불량판별 단계는,
상기 피검이미지로부터 얻은 n개의 특징점인 피검데이터를 상기 사전과 대비하고 상기 k개의 평균점을 기준으로 상기 피검데이터를 분류하여 상기 특징공간상에 도식화하는 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법.
6. The method of claim 5,
In the failure determination step,
A learning-based vision in which sample normalization is performed through scale correction in which the test data, which is n feature points obtained from the image to be inspected, is compared with the dictionary and the test data is classified based on the k average points, method of inspection.
KR1020160062792A 2016-05-23 2016-05-23 Vision inspection method based on learning data using normalization of sample scale KR101782366B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160062792A KR101782366B1 (en) 2016-05-23 2016-05-23 Vision inspection method based on learning data using normalization of sample scale

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160062792A KR101782366B1 (en) 2016-05-23 2016-05-23 Vision inspection method based on learning data using normalization of sample scale

Publications (1)

Publication Number Publication Date
KR101782366B1 true KR101782366B1 (en) 2017-09-27

Family

ID=60036399

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160062792A KR101782366B1 (en) 2016-05-23 2016-05-23 Vision inspection method based on learning data using normalization of sample scale

Country Status (1)

Country Link
KR (1) KR101782366B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020245889A1 (en) * 2019-06-03 2020-12-10
US11521576B2 (en) 2020-01-21 2022-12-06 Samsung Display Co., Ltd. Display device and method of preventing afterimage thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3756507B1 (en) * 2004-09-17 2006-03-15 シャープ株式会社 Image processing algorithm evaluation method and apparatus, image processing algorithm generation method and apparatus, program, and program recording medium
JP2006292615A (en) 2005-04-13 2006-10-26 Sharp Corp Visual examination apparatus, visual inspection method, program for making computer function as visual inspection apparatus, and recording medium
JP4908995B2 (en) 2006-09-27 2012-04-04 株式会社日立ハイテクノロジーズ Defect classification method and apparatus, and defect inspection apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3756507B1 (en) * 2004-09-17 2006-03-15 シャープ株式会社 Image processing algorithm evaluation method and apparatus, image processing algorithm generation method and apparatus, program, and program recording medium
JP2006292615A (en) 2005-04-13 2006-10-26 Sharp Corp Visual examination apparatus, visual inspection method, program for making computer function as visual inspection apparatus, and recording medium
JP4908995B2 (en) 2006-09-27 2012-04-04 株式会社日立ハイテクノロジーズ Defect classification method and apparatus, and defect inspection apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020245889A1 (en) * 2019-06-03 2020-12-10
WO2020245889A1 (en) * 2019-06-03 2020-12-10 日本電気株式会社 Inspection device, control method, and program
US11906441B2 (en) 2019-06-03 2024-02-20 Nec Corporation Inspection apparatus, control method, and program
US11521576B2 (en) 2020-01-21 2022-12-06 Samsung Display Co., Ltd. Display device and method of preventing afterimage thereof

Similar Documents

Publication Publication Date Title
EP4280153A1 (en) Defect detection method, apparatus and system
CN110402487B (en) Method and apparatus for classifying defects detected from a wafer
CN107543828B (en) Workpiece surface defect detection method and system
CN110210448B (en) Intelligent face skin aging degree identification and evaluation method
CN111242899B (en) Image-based flaw detection method and computer-readable storage medium
JP5718781B2 (en) Image classification apparatus and image classification method
CN106290392A (en) A kind of little micro-bearing surface pitting defects online test method and system thereof
KR101782363B1 (en) Vision inspection method based on learning data
CN109632808A (en) Seamed edge defect inspection method, device, electronic equipment and storage medium
CN108711148A (en) A kind of wheel tyre defect intelligent detecting method based on deep learning
CN113850749A (en) Method for training defect detector
CN116152242B (en) Visual detection system of natural leather defect for basketball
KR101782364B1 (en) Vision inspection method based on learning data
CN110426395B (en) Method and device for detecting surface of solar EL battery silicon wafer
Fu et al. Medicine glass bottle defect detection based on machine vision
Abdellah et al. Defect detection and identification in textile fabric by SVM method
KR101782366B1 (en) Vision inspection method based on learning data using normalization of sample scale
WO2021109011A1 (en) Intelligent capacitor internal defect detection method based on ultrasound image
TW201512649A (en) Method of chip detects inspecting, system therefor, and computer program product thereof
CN108508023A (en) The defect detecting system of end puller bolt is contacted in a kind of railway contact line
CN112396580B (en) Method for detecting defects of round part
KR101929669B1 (en) The method and apparatus for analyzing an image using an entropy
JPH08189904A (en) Surface defect detector
CN115690468A (en) Face image similarity comparison optimization method and system
US11688055B2 (en) Methods and systems for analysis of wafer scan data

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant