KR101782363B1 - Vision inspection method based on learning data - Google Patents
Vision inspection method based on learning data Download PDFInfo
- Publication number
- KR101782363B1 KR101782363B1 KR1020160062783A KR20160062783A KR101782363B1 KR 101782363 B1 KR101782363 B1 KR 101782363B1 KR 1020160062783 A KR1020160062783 A KR 1020160062783A KR 20160062783 A KR20160062783 A KR 20160062783A KR 101782363 B1 KR101782363 B1 KR 101782363B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- intrinsic
- learning
- false
- image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G06F15/18—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
- G01N2021/8809—Adjustment for highlighting flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Chemical & Material Sciences (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
본 발명은 디스플레이패널에 접착되는 편광층의 불량을 검사하기 위한 비전검사 방법 및 비전검사 장치에 관한 것으로서, 보다 상세하게는 학습되는 데이터의 밸런싱을 통해 특정 클래스의 과표본 데이터가 편중되는 데이터 불균형 현상을 극복하여 불량판별의 정확성을 높인 비전검사 방법 및 비전검사 장치에 관한 것이다.BACKGROUND OF THE
일반적으로 디스플레이 패널은 반사층, 도광층, 확산층, 편광층등으로 각각의 특징을 지닌 시트 또는 패널이 적층되어 형성된다.In general, a display panel is formed by laminating a sheet or panel having characteristics of a reflective layer, a light guiding layer, a diffusion layer, a polarizing layer, or the like.
이러한 디스플레이 패널의 생산공정에서 시트 또는 패널의 접착상태를 점검하여 양품과 불량품을 분류하는 과정이 필수적으로 수행된다.In the production process of such a display panel, a process of sorting good products and defective products is essentially performed by checking the adhesion state of a sheet or a panel.
양품과 불량품을 분류하는 방법으로는 숙련된 인력이 동원되어 육안을 통해 관찰되는 양품 및 불량품의 시각적 정보를 비교하는 방법이 보편적이고, 정확성도 높다는 장점을 지니고 있다.As a method of classifying good products and defective products, it is common and highly accurate to compare visual information of good products and defective products which are observed through naked eyes by skilled workers.
하지만, 숙련된 인력에 의존하는 것은 높은 비용의 발생과 함께 단위 시간당 검수할 수 있는 디스플레이 패널의 양에 한계가 있었고, 검수 인력의 숙련 정도에 따라 검수의 신뢰성이 달라질 수 있다는 단점이 있었다.However, relying on skilled personnel has a disadvantage in that the amount of display panel that can be checked per unit of time is limited with the occurrence of high cost, and the reliability of the inspection may vary depending on the skill level of inspection personnel.
이에, 불량을 검출하기 위한 방법으로서 디스플레이 패널의 검사 대상이 되는 평면을 영상으로 촬영하여 검수하는 비전검사장치가 도입되어 실시되고 있으나, 디스플레이 패널에 접착된 편광층의 불량 여부를 검수하는 과정에 있어, 진성불량과 가성불량의 구분이 명확하지 않아 가성불량이 과검출 되는 경우가 빈번하게 발생되고, 따라서 진성불량의 검출 정확도가 떨어진다는 단점을 지니고 있었다.As a method for detecting defects, a vision inspection apparatus for photographing and inspecting a plane to be inspected of a display panel has been introduced and performed. However, in the process of inspecting whether or not a polarizing layer adhered to a display panel is defective , The distinction between the intrinsic defect and the false defect is not clear, so that the false defect is frequently detected, and thus, the accuracy of detection of the defect is low.
이는 디스플레이 패널에 접착된 편광층의 불량 여부를 판별함에 있어서, 들뜸이나 찍힘과 같은 진성불량품과 단순 얼룩이나 보호필름의 손상등으로 인해 양품임에도 불량으로 분류될 수 있는 가성불량품의 구분을 자동화 기기를 통하여 수행해 내기가 어렵기 때문이다.This is because, in judging whether or not the polarizing layer adhered to the display panel is bad, it is possible to distinguish the false defects that can be classified as defective due to intrinsic defects such as lifting or dropping, simple stains, This is because it is difficult to carry out through.
디스플레이 패널의 불량을 검출하는 공정을 자동화함으로 불량판별 속도를 높이고 인건비를 줄일 수 있는 잇점을 얻을 수는 있었으나, 기술적 한계로 인해 양품으로 분류될 수 있는 가성불량이 과검출 되어 신뢰도가 떨어지고 반복적인 재검수 과정을 더 필요로 하였다.Although it was possible to increase the fault detection speed and reduce the labor cost by automating the process of detecting the defective display panel, it was found that due to the technical limit, the false defect that can be classified as good product was detected, Furthermore, a number of processes were required.
그리고, 검수과정을 수행하며 축적되는 가성불량 및 진성불량의 데이터를 학습에 활용하여 보다 정확한 기준을 도출하고 이를 검수 시스템에 재적용하는 과정에서 축적되는 데이터의 표본이 어느 하나의 클래스로 편중되는 경우가 일반적이고, 추가로 수집되는 데이터를 학습에 적용함에 있어 오차를 줄이고 보다 정확한 기준을 도출하기 위해서는 수집되는 데이터를 가공하여 클래스간의 데이터 불균형을 해소하여야 할 필요성이 있었다.When a sample of accumulated data is biased to a class in a process of deriving a more precise criterion by utilizing data of pseudo-impairment and imperfection accumulated by carrying out the inspection process and reapplying it to the inspection system In addition, in order to reduce the error and to derive more precise criteria in applying the collected data to the learning, there is a need to solve the data imbalance among the classes by processing the collected data.
하나의 클래스에 속한 데이터의 수가 다른 클래스에 속한 데이터의 수보다 극히 많거나 적으면 데이터의 불균형이 발생된 것으로 볼 수 있다.If the number of data belonging to one class is more or less than the number of data belonging to another class, it can be seen that the data is unbalanced.
하지만, SVM(support vector machine)과 같은 학습 알고리즘들은 클래스간의 데이터 비율이 거의 비슷하다는 가정을 전제로 하기에 데이터의 불균형이 발생될 경우 가성불량과 진성불량을 결정하는 경계의 정확성이 낮아지는 경우가 초래될 수 있었다.However, learning algorithms such as SVM (support vector machine) are based on the assumption that the data ratios between classes are almost similar, so that if the data imbalance occurs, the accuracy of the boundary determining the pseudorandom and intrinsic error decreases Could be caused.
따라서 이와 같은 문제점들을 해결하기 위한 방법이 요구된다.Therefore, a method for solving such problems is required.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여 안출된 발명으로서 비전검사 장치에 인식과 학습에 의한 판별 기술을 접목하여 진성불량과 가성불량의 판별력을 높일 수 있는 기준데이터를 산출하여 가성불량의 과검출을 줄이고 진성불량의 검출 정확도를 향상시킨 비전검사 방법 및 비전검사 장치를 제공하기 위함이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems of the prior art, and it is an object of the present invention to provide a vision inspection apparatus which can obtain reference data capable of enhancing discrimination between true defectiveness and false defectiveness, And to provide a vision inspection method and a vision inspection apparatus in which the detection is reduced and the detection accuracy of the true defect is improved.
또한, 검수를 통해 얻어지는 데이터를 가공하여 학습에 활용함으로 공정이 반복됨에 따라 불량을 판별하기 위한 기준데이터의 정확성이 높아지도록 보정되는 알고리즘을 지닌 비전검사 방법 및 비전검사 장치를 제공하기 위함이다.It is another object of the present invention to provide a vision inspection method and a vision inspection apparatus having an algorithm that corrects data obtained through inspection to be used for learning so that accuracy of reference data for identifying defects increases as the process is repeated.
그리고, 학습을 위해 수집되는 데이터에 발생되는 클래스간 불균형을 랜덤샘플링 방식을 통해 보완하여 학습 알고리즘의 적용에 신뢰성을 높인 비전검사 방법 및 비전검사 장치를 제공하기 위함이다.The present invention is to provide a vision inspection method and a vision inspection apparatus which improve the reliability of application of a learning algorithm by complementing the imbalance between classes generated in data collected for learning through a random sampling method.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the above-mentioned problems, and other problems not mentioned can be clearly understood by those skilled in the art from the following description.
상기한 목적을 달성하기 위한 본 발명의 데이터 밸런싱을 통한 학습기반의 비전검사 방법은 진성불량품의 샘플인 진성표본 및 가성불량품의 샘플인 가성표본을 동일한 수로 포함하여 제1학습군이 형성되고, 제1학습군으로부터 수집된 영상이미지가 수식화된 진성데이터 및 가성데이터가 동일한 수로 구비되는 제1데이터군을 추출하고, 제1데이터군을 특징공간상에 도식화하여 진성데이터가 위치하는 진성영역 및 가성데이터가 위치하는 가성영역의 경계인 분류기준을 도출하는 사전학습 단계, 검사대상물인 편광층이 접착된 디스플레이패널로부터 영상이미지로 추출되어 수식화된 피검데이터를 특징공간상에 대입하고 분류기준을 경계로 하여 특징공간상에서 피검데이터가 위치하는 영역을 판단하여 검사대상물을 진성불량 또는 가성불량으로 판단하는 불량판별 단계 및 사전학습 단계에 피검데이터를 적용하여 특징공간상의 분류기준을 수정하되, 피검데이터는 진성데이터 및 가성데이터가 동일한 수로 제1데이터군을 구성하도록 데이터 밸런싱 단계를 통해 보정되는 추가학습 단계를 포함하고, 불량판별 단계 및 추가학습 단계가 반복 수행된다.In order to accomplish the above object, a learning-based vision inspection method using data balancing according to the present invention is characterized in that a first learning group is formed by including the intrinsic specimens, which are samples of genuine defective products, and the false specimens, Extracting a first data group having the same number of intrinsic data and pseudo-data as the video image collected from the first learning group and extracting the first data group on the feature space and extracting the intrinsic region and the false data A learning step of deriving a classification criterion that is a boundary of a pseudo region in which a polarizing layer is attached, and a step of assigning, on a feature space, The area where the test data is located in the space is judged, and the test object is judged to be an intrinsic defect or a false defect. The test data is applied to the defect discrimination step and the pre-learning step to correct the classification criterion in the feature space, and the test data is further learned through the data balancing step so that the intrinsic data and the pseudo- And a failure determination step and a further learning step are repeatedly performed.
그리고, 사전학습 단계는 제1학습군에 포함된 각각의 진성표본 및 가성표본으로부터 영상정보로 추출된 진성이미지 및 가성이미지로 구성되는 제1학습이미지군을 수집하는 영상 수집 단계, 진성데이터 및 가성데이터는 제1학습이미지군에 포함된 각각의 진성이미지 및 가성이미지로부터 각각 n개의 특징점으로 도출되어 제1데이터군을 형성하고 제1데이터군을 도식화하여 인접한 특징점들을 k개의 그룹으로 그룹핑하며 각각의 그룹별로 특징점 평균을 구하여 k개의 평균점으로 구성되는 사전을 작성하는 사전작성 단계 및 진성데이터 및 가성데이터를 사전에 대입하여 특징공간상에 도식화하고 특징공간상에서 진성데이터가 위치하는 진성구역 및 가성데이터가 위치하는 가성구역의 경계인 분류기준을 결정하는 클래스 분류 단계를 포함한다.The pre-learning step includes an image collecting step of collecting a first learning image group composed of a genuine image and a false image extracted from the respective intrinsic specimens included in the first learning group and the image information from the specimen, The data is derived from n respective feature points from each of the intrinsic images and the false images included in the first learning image group to form a first data group, a first data group is schematized to group adjacent feature points into k groups, A dictionary creation step of obtaining a feature point average for each group to create a dictionary composed of k average points and a step of creating a dictionary on the feature space by substituting the intrinsic data and the pseudo data in advance and extracting the intrinsic region and the pseudo- And a classifying step of determining a classifying criterion which is a boundary of the located caustic area.
또는, 사전작성 단계는 케이평균 군집화를 수행하여 k개의 평균점을 기준 단어로 하는 상기 사전을 작성한다.Alternatively, the dictionary creation step performs K average clustering to create the dictionary with k average points as reference words.
그리고, 불량판별 단계는 검사대상물로부터 영상정보로 추출된 피검이미지로부터 얻은 n개의 특징점인 피검데이터를 사전과 대비하고 k개의 평균점을 기준으로 피검데이터를 분류하여 특징공간상에 도식화한다.In the defect determination step, the test data, which is n feature points obtained from the image of the subject extracted from the image information, is compared with the dictionary, and the test data is classified based on k average points and displayed on the feature space.
또는, 추가학습 단계는 불량판별 단계를 통해 특징공간상에 도식화된 피검데이터를 클래스 분류 단계의 진성데이터 또는 가성데이터에 추가하여 상기 분류기준을 보정한다.Alternatively, the additional learning step corrects the classification criterion by adding the test data schematized on the characteristic space through the defect discrimination step to the intrinsic data or the caustic data of the class classification step.
그리고, 데이터 밸런싱 단계는 불량판별 단계를 통해 검사대상물이 진성불량으로 판단된 경우 피검데이터 및 사전학습 단계를 통해 기 도출된 가성데이터 중 무작위로 선택된 하나의 가성데이터를 클래스 분류 단계에 적용하여 분류기준을 보정하고, 불량판별 단계를 통해 검사대상물이 가성불량으로 판단된 경우 피검데이터 및 사전학습 단계를 통해 기 도출된 진성데이터 중 무작위로 선택된 하나의 진성데이터를 클래스 분류 단계에 적용하여 상기 분류기준을 보정한다.In the data balancing step, if the test object is judged to be an intrinsic defect through the defect determination step, the test data and the one of the pseudo data previously selected through the pre-learning step are applied to the class classification step, And if the inspected object is judged to be a false defect through the defective discrimination step, one of the genuine data randomly selected from the test data and the intrinsic data derived through the pre-learning step is applied to the class classification step, .
또는, 데이터 밸런싱 단계는 불량판별 단계를 통해 검사대상물이 진성불량으로 판단된 경우 피검데이터 및 사전학습 단계를 통해 기 도출된 가성데이터들의 평균값을 클래스 분류 단계에 적용하여 분류기준을 보정하고, 불량판별 단계를 통해 검사대상물이 가성불량으로 판단된 경우 피검데이터 및 사전학습 단계를 통해 기 도출된 진성데이터들의 평균값을 클래스 분류 단계에 적용하여 분류기준을 보정한다.Alternatively, in the data balancing step, the average value of the test data and the pseudo data derived through the pre-learning step when the object to be inspected is determined to be defective through the defect determination step is applied to the class classification step to correct the classification criterion, The average value of the test data and the intrinsic data derived through the pre-learning step is applied to the class classification step to correct the classification criterion.
그리고, 진성이미지, 가성이미지 및 피검이미지는 검사대상물의 검사대상 표면을 일정한 패턴에 따라 이동하며 촬영된 영상의 수식화된 신호가 급격하게 변화되는 지점의 영상정보이다.The intrinsic image, the false image, and the image to be inspected are image information of a point where the inspected surface of the inspected object is moved according to a certain pattern and the modulated signal of the photographed image is abruptly changed.
그리고, 상기한 목적을 달성하기 위한 본 발명의 데이터 밸런싱을 통한 비전검사 장치는 검사대상물이 이송되는 이송수단, 검사대상물의 검사면을 촬영하는 촬영유닛, 촬영유닛을 통해 획득된 영상이미지를 판독하여 피검이미지를 선별하는 판독부, 판독부를 통해 획득된 피검이미지를 수식화한 피검데이터를 특징공간상에 도식화하는 연산부 및 연산부를 통해 획득된 피검데이터가 저장되는 저장부를 포함하고, 연산부는 저장부에 기 저장된 데이터와 피검데이터를 대비하여 검사대상물의 불량여부를 판단하고, 저장부는 피검데이터 및 피검데이터를 통해 도출되는 가상데이터가 함께 저장된다.In order to accomplish the above object, the present invention provides a vision inspection apparatus through data balancing, comprising: a transfer unit to which an object to be inspected is transferred; a photographing unit to photograph an inspection surface of the object to be inspected; And a storage unit for storing the test data obtained through the operation unit. The operation unit may include a storage unit for storing the test data obtained through the operation unit, The stored data is compared with the test data to determine whether the test object is defective. The storage unit stores the test data and the virtual data derived from the test data together.
상기한 과제를 해결하기 위한 본 발명의 데이터 밸런싱을 통한 학습기반의 비전검사 방법 및 데이터 밸런싱을 통한 학습기반의 비전검사 장치는 디스플레이 패널의 진성불량 및 가성불량의 데이터를 영상정보로 획득하여 수식화하고 특징공간상에 도식화함으로 그 경계를 도출하여 진성불량 및 가성불량을 판별하는 학습기반의 알고리즘을 바탕으로 하여 진성불량 및 가성불량의 특징을 기반으로 불량판별의 정확도를 높이고, 가성불량의 과검출을 감소시키는 효과를 얻을 수 있다.In order to solve the above problems, a learning-based vision inspection method using data balancing and a learning-based vision inspection apparatus using data balancing according to the present invention acquires data on intrinsic defectiveness and false defectiveness of a display panel as image information, Based on a learning-based algorithm that identifies intrinsic and intrinsic defects by deriving the boundaries by plotting them on the feature space, it improves the accuracy of the fault discrimination based on the characteristics of intrinsic and intrinsic defects, Can be obtained.
또한, 반복 수행되는 불량판별 단계를 통해 획득되는 진성불량 및 가성불량의 데이터를 축적하여 추가 학습함으로 진성불량 및 가성불량의 경계를 지속적으로 수정하고, 추가 학습되는 데이터가 어느 하나의 영역으로 편중되지 않고 데이터의 밸런싱을 유지할 수 있도록 함으로 데이터의 불균형으로 인해 발생될 수 있는 오차의 증가 또는 학습 알고리즘의 성능저하를 방지할 수 있는 효과가 있다.Further, by accumulating the data of the intrinsic defect and the false defect obtained through the repeated defect discrimination step and further learning, the boundaries of the intrinsic defect and the false defect are continuously corrected, and the data to be further learned is not biased into any one area So that it is possible to prevent the increase of the error or the performance degradation of the learning algorithm caused by the unbalance of the data.
따라서, 학습 알고리즘을 통해 정확도가 더욱 향상된 경계를 비전검사에 활용할 수 있게 된다.Thus, learning algorithms can be used to enhance the accuracy of vision boundaries.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description of the claims.
도 1은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법을 나타낸 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 분류기준을 정하는 데이터를 나타낸 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 진성표본의 진성이미지를 나타낸 이미지이다.
도 4는 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 가성표본의 가성이미지를 나타낸 이미지이다.
도 5는 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 사전이 도출되는 과정을 나타낸 개략도이다.
도 6은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 제1이미지군을 사전에 대입하는 과정을 나타낸 개략도이다.
도 7은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 사전학습단계 및 불량판별 단계를 나타낸 개략도이다.
도 8은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 특징공간상에 진성영역 및 가성영역이 도출된 상태를 3차원으로 예시하여 나타낸 그래프이다.
도 9는 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법의 추가학습 단계에서 데이터 밸런싱이 수행되는 과정을 2차원 그래프로 나타낸 개략도이다.
도 10은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 장치를 나타낸 상태도이다.FIG. 1 is a flowchart illustrating a learning-based vision inspection method using data balancing according to an exemplary embodiment of the present invention.
FIG. 2 is a flowchart illustrating data defining a classification criterion in a learning-based vision inspection method using data balancing according to an exemplary embodiment of the present invention.
FIG. 3 is an image showing an intrinsic image of an intrinsic sample in a learning-based vision inspection method using data balancing according to an embodiment of the present invention.
4 is an image showing a false image of a false sample in a learning-based vision inspection method using data balancing according to an embodiment of the present invention.
FIG. 5 is a schematic diagram illustrating a process of deriving a dictionary in a learning-based vision inspection method using data balancing according to an embodiment of the present invention.
FIG. 6 is a schematic view showing a process of assigning a first image group in advance in a learning-based vision inspection method using data balancing according to an embodiment of the present invention.
FIG. 7 is a schematic view showing a learning step and a failure determination step in a learning-based vision inspection method using data balancing according to an embodiment of the present invention.
FIG. 8 is a graph illustrating a three-dimensional representation of a state in which an intrinsic region and a false region are derived on a feature space in a learning-based vision inspection method using data balancing according to an exemplary embodiment of the present invention.
FIG. 9 is a schematic diagram illustrating a process of performing data balancing in a learning step of a learning-based vision inspection method using data balancing according to an exemplary embodiment of the present invention.
FIG. 10 is a state diagram illustrating a learning-based vision inspection apparatus through data balancing according to an embodiment of the present invention.
이하 본 발명의 목적이 구체적으로 실현될 수 있는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 본 실시예를 설명함에 있어서, 동일 구성에 대해서는 동일 명칭 및 동일 부호가 사용되며 이에 따른 부가적인 설명은 생략하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. In describing the present embodiment, the same designations and the same reference numerals are used for the same components, and further description thereof will be omitted.
본 발명에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법은 하기 되는 것과 같이 실시될 수 있다.The learning-based vision inspection method through data balancing according to the present invention can be implemented as follows.
도 1은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법을 나타낸 흐름도이고, 도 2는 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 분류기준을 정하는 데이터를 나타낸 흐름도이다.FIG. 1 is a flowchart illustrating a method of inspecting a vision-based learning through data balancing according to an embodiment of the present invention. FIG. 2 is a flowchart illustrating a method of inspecting a vision-based vision by data balancing according to an exemplary embodiment of the present invention. As shown in FIG.
본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법은 디스플레이패널(302)에 접착된 편광층(304)의 불량을 검사하기 위한 학습기반의 비전검사 방법이다.The learning-based vision inspection method using data balancing according to an embodiment of the present invention is a learning-based vision inspection method for inspecting defects of the polarizing
도 1 내지 도 2를 참조하여, 진성불량품의 샘플인 진성표본(100) 및 가성불량품의 샘플인 가성표본(200)을 동일한 수로 포함하여 형성되는 제1학습군이 마련된다.Referring to Figs. 1 and 2, a first learning group formed by including the
제1학습군으로부터 수집된 영상이미지가 수식화된 진성데이터(120) 및 가성데이터(220)가 동일한 수로 구비되는 제1데이터군이 추출된다.The first data group including the same number of the
제1데이터군을 특징공간(400)상에 도식화하여 진성데이터(120)가 위치하는 진성영역(130) 및 가성데이터(220)가 위치하는 가성영역(230)의 경계인 분류기준(410)을 도출하는 사전학습 단계(S100)가 수행된다.The first data group is displayed on the feature space 400 to derive the
검사대상물(300)인 편광층(304)이 접착된 디스플레이패널(302)로부터 영상이미지로 추출되어 수식화된 피검데이터(320)를 특징공간(400)상에 대입한다.The inspected data 320 extracted from the
분류기준(410)을 경계로 하여 특징공간(400)상에서 피검데이터(320)가 위치하는 영역을 판단하여 검사대상물(300)을 진성불량 또는 가성불량으로 판단하는 불량판별 단계(S200)가 수행된다.The defect determination step S200 of determining the region where the test data 320 is located on the feature space 400 with the
사전학습 단계(S100)에 피검데이터(320)를 적용하여 특징공간(400)상의 분류기준(410)을 수정하되, 피검데이터(320)는 진성데이터(120)와 가성데이터(220)가 동일한 수로 제1데이터군을 구성하도록 데이터 밸런싱 단계(S310)를 통해 보정되는 추가학습 단계(S300)를 포함하고, 불량판별 단계(S200) 및 추가학습 단계(S300)는 반복 수행된다.The test data 320 is applied to the pretest learning step S100 to correct the
아래에서는 상기된 각각의 단계를 구체적으로 자세하게 설명한다.Each of the above steps will be described in detail below.
제1학습군은 진성불량품의 샘플인 진성표본(100) 및 가성불량품의 샘플인 가성표본(200)을 각각 A개로 동일한 수를 포함한다.The first learning group includes the same number as the
제1학습이미지군은 진성표본(100)으로부터 도출된 진성이미지(110) 및 가성표본(200)으로부터 도출된 가성이미지(210)를 동일한 수를 포함한다.The first learning image group includes the same number of the
제1데이터군은 진성이미지(110)를 수식화한 진성데이터(120) 및 가성이미지(210)를 수식화한 가성데이터(220)를 동일한 수를 포함한다.The first data group includes the same number of the
따라서, 진성표본(100) 및 진성이미지(110)는 동일하게 A개이고, 가성표본(200) 및 가성이미지(210) 또한 동일하게 A개인 것으로 본 발명의 일 실시예에서는 가정한다.Therefore, it is assumed in the embodiment of the present invention that the
특징공간(400)은 다수의 변수를 지닌 다차원 공간으로서 본 발명의 일 실시예에 따른 특정 데이터가 도식화되는 공간을 지칭한다.The feature space 400 is a multi-dimensional space having a plurality of variables, and refers to a space in which specific data according to an embodiment of the present invention is depicted.
사전학습 단계(S100)는 진성표본(100) 및 가성표본(200)으로부터 불량으로 의심되는 지점의 영상이미지인 진성이미지(110) 및 가성이미지(210)를 획득하는 영상 수집 단계(S110), 사전작성 단계(S120) 및 클래스 분류 단계(S130)를 포함한다.The pre-learning step S100 includes an image collecting step S110 for obtaining an
도 3은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 진성표본의 진성이미지를 나타낸 이미지이고, 도 4는 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 가성표본의 가성이미지를 나타낸 이미지이다.FIG. 3 is an image showing an intrinsic image of a genuine sample in a learning-based vision inspection method using data balancing according to an exemplary embodiment of the present invention. FIG. This is an image that shows the false image of the pseudo-sample in the vision inspection method.
도 3 내지 도 4를 참조하여, 영상 수집 단계(S110)는 진성표본(100) 및 가성표본(200)의 측정대상 평면을 일정한 패턴으로 이동하며 촬영하는 촬영유닛(520)을 통해 영상이 수집되고, 특정 위치의 영상에서 기 설정된 조건을 만족하는 결과의 도출 시에 그 위치의 영상이미지를 촬영함으로 진성이미지(110) 또는 가성이미지(210)를 획득하는 단계이다.3 to 4, in the image collection step S110, an image is collected through the photographing
본 발명의 일 실시예로서 촬영유닛(520)을 통해 촬상되는 영상의 밝기의 변화가 급격하게 증가 또는 감소하는 경우 그 지점을 도 3 내지 도 4에 도시된 바와 같이 촬영하여 영상이미지로 획득할 수 있다.In an embodiment of the present invention, when a change in brightness of an image picked up through the photographing
사전작성 단계(S120)는 진성이미지(110) 및 가성이미지(210)로부터 각각 n개의 특징점으로 도출되는 진성데이터(120) 및 가성데이터(220)가 도출된다.The preprocessing step S120 derives the
진성데이터(120)는 A×n개가 획득되고, 가성데이터(220) 또한 A×n개가 획득된다.The
도 5는 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 사전이 도출되는 과정을 나타낸 개략도이고, 도 6은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 제1학습이미지군을 사전에 대입하는 과정을 나타낸 개략도이다.FIG. 5 is a schematic diagram illustrating a process of deriving a dictionary in a learning-based vision inspection method using data balancing according to an exemplary embodiment of the present invention. FIG. FIG. 3 is a schematic diagram showing a process of assigning a first learning image group in advance in the vision inspection method. FIG.
도 5 내지 도 6을 참조하여, 진성이미지(110) 및 가성이미지(210)로부터 도출되는 진성데이터(120) 및 가성데이터(220)는 진성이미지(110) 및 가성이미지(210)내에서 색상, 명도, 채도, 형상, 곡률등과 같은 특징을 n개의 지점에서 추출하여 수집될 수 있다.5 through 6, the
진성데이터(120) 및 가성데이터(220)는 색상, 명도, 채도, 형상, 곡률등과 같은 특징들을 변수로 하는 벡터(vector)량으로 변환되고, 이러한 벡터량을 구성하는 변수에 대응되는 다차원의 공간상에 도식화된다.The
도 5에는 진성이미지(110) 및 가성이미지(210)로부터 n개의 특징점이 벡터량으로 도출되어 다차원 공간상의 도식화되는 과정을 간략하게 나타내고 있다.FIG. 5 schematically shows a process in which n feature points are derived as vector quantities from the
이는 예시적인 것으로서 본 발명이 적용되는 실시예에 따라 다양한 인자를 기준으로 하여 진성데이터(120) 및 가성데이터(220)가 추출될 수 있다.This is an illustrative example, and the
상술한 바와 같이 A개의 진성이미지(110)로 부터 A×n개의 진성데이터(120), A개의 가성이미지(210)로부터 A×n개의 가성데이터(220)가 벡터량으로 수집되고, 진성데이터(120) 및 가성데이터(220)는 상술한 바와 같이 다차원 공간상에 도식화되고, 각각 인접한 진성데이터(120) 및 가성데이터(220)를 군집화하여 k개의 그룹으로 그룹핑하며, 각각의 그룹내에 속하는 진성데이터(120) 및 가성데이터(220)의 평균점을 구하여 k개의 평균점을 산출하게 된다.As described above, A x n number of
이때, 각각의 그룹을 단어라 정의하고, k개의 평균점을 사전이라 정의하여 k개의 단어를 지닌 사전을 작성한다.At this time, each group is defined as a word, and a k-word dictionary is created by defining k average points as a dictionary.
사전작성 단계(S120)는 주어진 데이터를 k개의 클러스터로 묶어 군집화 하는 알고리즘인 케이평균군집화를 이용하여 수행될 수 있다.The preprocessing step (S120) may be performed using K average clustering, which is an algorithm for grouping the given data into k clusters.
클래스 분류 단계(S130)는 진성데이터(120)를 사전작성 단계(S120)를 통해 작성된 사전에 대입하여 k개의 단어들 각각에 속하게 되는 진성데이터(120)를 도 6에 도시된 바와 같이 히스토그램화 하는 히스토그램화 단계가 먼저 수행된다.The class classification step S130 substitutes the
도 7은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 사전학습단계 및 불량판별 단계를 나타낸 개략도이고, 도 8은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 특징공간상에 진성영역 및 가성영역이 도출된 상태를 3차원으로 예시하여 나타낸 그래프이다.FIG. 7 is a schematic diagram illustrating a learning step and a failure determination step in a learning-based vision inspection method using data balancing according to an embodiment of the present invention. FIG. 8 is a flowchart illustrating a method of learning through data balancing according to an exemplary embodiment of the present invention. 3 is a graph illustrating a state in which an intrinsic region and a pseudo-region are derived on a feature space in a vision-based vision inspection method.
상술한 히스토그램화 단계를 통해 구해진 히스토그램을 기준으로 하여 단어와 각각의 단어에 속하는 진성데이터(120)를 변수로 하여 특징공간(400)상에 도시하고, 도 8에 도시된 바와 같이, 특징공간(400)상에서 진성영역(130)을 도출한다.8, the
또한, 가성데이터(220)를 사전작성 단계(S120)를 통해 작성된 사전에 대입하여 k개의 단어들 각각에 속하게 되는 가성데이터(220)를 도 6에 도시된 바와 같이 히스토그램화 하는 히스토그램화 단계가 수행된다.The histogramming step of substituting the pseudo-data 220 into the dictionary created through the preprocessing step S120 to histogramize the pseudo-data 220 belonging to each of the k words as shown in Fig. 6 is performed do.
가성데이터(220)를 통해 얻어진 히스토그램을 기준으로 하여 단어와 각각의 단어에 속하는 가성데이터(130)를 변수로 하여 특징공간(400)상에 도시하고, 도 8에 도시된 바와 같이, 특징공간(400)상에서 가성영역(230)을 도출한다.The words and the
분류기준(410)은 특징공간(400)상에서 진성영역(130)과 가성영역(230)의 경계가 되는 선, 면 또는 초평면(hyper plane)으로 표현될 수 있으며, 진성영역(130)과 가성영역(230)이 특징공간(400)상에서 서로간 여백이 극대화 될 수 있도록 그 경계를 구하는 서포트 벡터 머신(SVM, support vector machine)기법을 이용해 구해질 수도 있다.The
불량판별 단계(S200)는 검사대상물(300)인 디스플레이패널(302)에 편광층(304)가 접착된 면을 촬영유닛(520)을 통해 일정한 경로를 따라 연속적으로 촬영하여 기 설정된 조건과 부합되는 값을 나타내는 위치의 영상을 촬영한 피검이미지(310)를 획득하는 피검영상 수집 단계(S210) 및 피검이미지(310)를 상술하였던 진성이미지(110) 및 가성이미지(210)를 진성데이터(120) 및 가성데이터(220)로 변환하는 방법과 동일한 방법을 사용하여 피검이미지(310)로 변환하고, 피검이미지(310)를 사전에 대입하여 특징공간(400)상에 도시하며, 클래스 분류 단계(S130)를 통해 구해진 분류기준(410)을 경계로 하여 진성영역(130) 또는 가성영역(230)에 속하는지를 판단하여 그 속하는 영역에 따라서 진성불량 또는 가성불량으로 판단하는 분류기준에 따른 불량판별 단계(S220)를 포함한다.In the defect determination step S200, the surface on which the
추가학습 단계(S300)는 불량판별 단계(S200)를 통해 획득된 피검이미지(310)를 사전에 추가하여 k개의 평균점을 재연산하는 과정을 거쳐 사전을 보정하는 단계가 추가될 수 있다.In the additional learning step S300, a step of correcting the dictionary through the process of adding the
또는, 불량판별 단계(S200)를 통해 획득된 피검데이터(320)를 특징공간상에 추가하고 추가된 피검데이터(320)를 반영하여 분류기준(410)을 보정하는 분류기준 보정 단계(S320)가 수행될 수 있다.Alternatively, a classification criterion correction step S320 for adding the test data 320 obtained through the failure judgment step S200 on the feature space and correcting the
이러한 사전을 보정하는 단계, 분류기준 보정 단계(S320)는 사전학습 단계(S100)를 통하여 기학습된 불량판별 기준에 불량판별을 수행하며 획득하게 되는 새로운 정보를 추가하여 학습표본을 증가시켜 가는 효과를 얻을 수 있다.In the step of correcting the dictionary, the classification criterion correction step (S320) may be performed by performing defect determination on the learned defect criterion learned through the pre-learning step (SlOO), adding new information to be acquired, Can be obtained.
학습표본을 증가시키므로 불량판별을 수행하는 정확성을 높여 나갈 수 있게 되며, 진성불량과 가성불량의 경계를 특징공간(400)상에서 보다 명확하게 하여 가성불량이 과검출되는 현상을 줄일 수 있게 된다.It is possible to increase the accuracy of performing the failure discrimination by increasing the number of learning samples and to reduce the phenomenon in which the false defect is detected by making the boundary between the true defect and the false defect more apparent in the feature space 400. [
그리고, 추가학습 단계(S300)는 데이터 밸런싱 단계(S310)가 포함될 수 있다.The additional learning step S300 may include a data balancing step S310.
도 9는 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 피검데이터를 통한 추가학습 단계에서 데이터 밸런싱이 수행되는 과정을 나타낸 개략도이다.FIG. 9 is a schematic view illustrating a process of performing data balancing in an additional learning step using test data in a learning-based vision inspection method using data balancing according to an exemplary embodiment of the present invention.
도 9에 도시된 바를 참고하여, 데이터 밸런싱 단계(S310)는 불량판별 단계(S200)를 통해 획득된 검사대상물(300)이 진성불량일 경우 분류기준 보정 단계(S320)에서 기학습된 특징공간(400)에 추가되는 자료가 진성데이터(120)로서 역할을 하게 되고, 검사대상물(300)이 가성불량일 경우 분류기준 보정 단계(S320)에서 기학습된 특징공간(400)에 추가되는 자료가 가성데이터(220)로서 역할을 하게 된다.Referring to FIG. 9, the data balancing step S310 is a step of balancing the data of the characteristic space (step S320), which has been learned in the classification criterion correction step S320 when the
진성데이터(120) 또는 가성데이터(220)로 분류되는 클래스간에 발생될 수 있는 데이터의 불균형 문제는 와 같은 수식으로 표현될 수 있으며, 입력벡터 x에 대해 입력공간(input space)이 되는 특징공간(400)상의 초평면(hyperplane)을 찾는 이진 분류 문제로 표현될 수 있다.The problem of data asymmetry that can occur between classes that are classified as
진성데이터(120) 또는 가성데이터(220)는 '+1'이나 '-1'의 두 클래스로 분류되고, 클래스 분류 문제는 우수한 일반화 성능을 얻을 수 있도록 하는 w를 찾는 것으로 볼 수 있다.The
이때, 진성데이터(120)와 가성데이터(220)에 속하는 데이터 수의 비율이 현격히 차이가 나는 경우를 불균형 데이터(imbalanced data)문제라고 볼 수 있다.At this time, the case where the ratio of the number of data belonging to the
이러한 불균형 데이터 문제의 발생 시 진성데이터(120) 또는 가성데이터(220) 중 하나의 클래스로 데이터가 편중되고 이는 사전학습 단계(S100)를 통하여 기학습된 불량판별 기준을 보정하는 분류기준 보정 단계(S320)에서 불량판별 기준의 신뢰성을 낮추는 결과를 초래할 수 있다.In the case of such an unbalance data problem, data is concentrated in one of the
따라서, 진성데이터(120) 또는 가성데이터(220) 중 어느 하나의 경우로 획득되는 피검데이터(320)가 편중될 경우 도 9의 (a)에 도시된 바와 같이 분류기준(410)이 진성영역(130) 또는 가성영역(230) 중 어느 한 쪽으로 치우치게 되는 경우가 발생될 수 있다.Therefore, when the test data 320 obtained in either case of the
특히, 디스플레이패널(302)의 편광층(304)의 불량검사를 수행하는 경우 가성불량에 비하여 진성불량의 검출 빈도가 현저히 높아, 이러한 데이터의 편중은 불량판별의 정확도를 향상시키는데 저해요인으로 작용될 수 있다.Particularly, when the defect inspection of the
따라서, 불량판별 단계(S200)에서 얻어진 피검데이터(320)가 특징공간(400)상에서 진성영역(130)에 속할 경우, 이와 대응되도록 가성영역(230)에 속한 가성데이터(220) 중 무작위로 선택된 하나의 가성데이터(220)를 획득된 피검데이터(320)와 함께 특징공간(400)상에 추가하여 분류기준(410)을 보정하도록 한다.Therefore, when the test data 320 obtained in the defect determination step S200 belongs to the
상세하게는 불량판별 단계(S200)를 통해 검사대상물(300)의 검수를 수행하여 총 4개의 진성불량 판정이 도출되었다면, 획득된 4개의 피검데이터(320)와 함께 기 도출된 가성데이터(220)를 특징공간(400)상에 추가하여 분류기준(410)을 재설정하는 과정을 수행하게 된다.More specifically, if a total of four true defect judgments are obtained by performing inspection of the
불량판별 단계(S200)를 통해 검사대상물(300)의 검수를 수행하여 가성불량 판정이 도출된 경우에는 기 도출된 진성데이터(120)를 피검데이터(320)와 함께 특징공간(400)상에 추가하여 분류기준(410)을 재설정하게 된다.When the false determination is obtained by performing verification of the
또 다른 실시예로서, 불량판별 단계(S200)를 통해 검사대상물(300)의 검수를 수행하여 진성불량 판정이 도출되었다면, 기 획득된 가성데이터(220)들의 평균값을 피검데이터(320)와 함께 특징공간상에 추가하여 분류기준(410)을 재설정하고, 가성불량 판정의 도출시에는 기 획득된 진성데이터(120)들의 평균값을 피검데이터(320)와 함께 특징공간상에 추가하여 분류기준(410)을 재설정할 수 있다.As another embodiment of the present invention, if the intrinsic defect determination is derived by performing the inspection of the
이러한 실시예는 무작위로 데이터를 선택하는 과정을 거치지 않고 단순 연산만으로 기 획득된 데이터의 평균값을 구해 데이터 밸런싱을 수행하게 되므로, 연산과정을 단순화하여 처리 속도를 향상시킬 수 있는 효과를 얻을 수 있다.In this embodiment, since data balancing is performed by obtaining an average value of data obtained by simple operations only without randomly selecting data, an operation process can be simplified and the processing speed can be improved.
본 발명에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 장치는 하기 되는 것과 같이 실시될 수 있다.The learning-based vision inspection apparatus through data balancing according to the present invention can be implemented as follows.
도 10은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 장치를 나타낸 상태도이다.FIG. 10 is a state diagram illustrating a learning-based vision inspection apparatus through data balancing according to an embodiment of the present invention.
도 10에 도시된 바와 같이, 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 장치는 검사대상물(300)이 이송되는 이송수단(510), 검사대상물(300)의 검사면을 일정한 경로를 따라 이동하며 연속적으로 촬영하는 촬영유닛(520), 촬영유닛(520)을 통해 획득된 영상이미지를 판독하여 피검이미지(310)를 선별하는 판독부(530), 판독부(530)를 통해 획득된 피검이미지(310)를 수식화한 피검데이터(320)를 특징공간(400)상에 도식화하는 연산부(540) 및 연산부(540)를 통해 획득된 피검데이터(320)가 저장되는 저장부(550)를 포함하고, 연산부(540)는 저장부(550)에 기 저장된 데이터와 피검데이터(310)를 대비하여 검사대상물(300)의 불량여부를 판단하고, 저장부(550)는 피검데이터(320) 및 피검데이터(320)를 통해 도출되는 가상데이터가 함께 저장될 수 있다.10, the learning-based vision inspection apparatus using data balancing according to an exemplary embodiment of the present invention includes a conveying
상세하게는, 판독부(530)는 상술하였던 영상수집 단계(S110) 및 피검 영상 수집 단계(S210)가 수행되며, 촬영유닛(520)을 통해 연속적으로 검사대상물(300)을 촬영하여 얻어지는 영상을 분석하여 기 설정된 조건에 부합되는 위치의 영상이미지를 획득하게 된다.More specifically, the
연산부(540)는 사전작성 단계(S120), 클래스분류 단계(S130), 분류기준에 따른 불량판별 단계(S220)가 수행된다.The
저장부(550)는 데이터 밸런싱 단계(S310) 및 분류기준 보정 단계(S320)를 포함하는 추가학습 단계(S300)가 수행된다.The
이상과 같이 본 발명에 따른 바람직한 실시예를 살펴보았으며, 앞서 설명된 실시예 이외에도 본 발명이 그 취지나 범주에서 벗어남이 없이 다른 특정 형태로 구체화될 수 있다는 사실은 해당 기술에 통상의 지식을 가진 이들에게는 자명한 것이다. 그러므로, 상술된 실시예는 제한적인 것이 아니라 예시적인 것으로 여겨져야 하고, 이에 따라 본 발명은 상술한 설명에 한정되지 않고 첨부된 청구항의 범주 및 그 동등 범위 내에서 변경될 수도 있다.It will be apparent to those skilled in the art that the present invention can be embodied in other specific forms without departing from the spirit or scope of the invention as defined in the appended claims. It is obvious to them. Therefore, the above-described embodiments are to be considered as illustrative rather than restrictive, and the present invention is not limited to the above description, but may be modified within the scope of the appended claims and equivalents thereof.
100: 진성표본 110: 진성이미지
120: 진성데이터 130: 진성영역
200: 가성표본 210: 가성이미지
220: 가성데이터 230: 가성영역
300: 검사대상물 302: 디스플레이패널
304: 편광층 310: 피검이미지
320: 피검데이터
400: 특징공간 410: 분류기준
510: 이송수단 520: 촬영유닛
530: 판독부 540: 연산부
550: 저장부100: intrinsic specimen 110: intrinsic image
120: intrinsic data 130: intrinsic region
200: False sample 210: False image
220: falsifying data 230:
300: object to be inspected 302: display panel
304: polarization layer 310: image to be imaged
320: Test data
400: Feature Space 410: Classification Criteria
510: transfer means 520: photographing unit
530: Reading section 540:
550:
Claims (9)
진성불량품의 샘플인 진성표본 및 가성불량품의 샘플인 가성표본을 동일한 수로 포함하여 제1학습군이 형성되고, 상기 제1학습군으로부터 수집된 영상이미지가 수식화된 진성데이터 및 가성데이터가 동일한 수로 구비되는 제1데이터군을 추출하고, 상기 제1데이터군을 특징공간상에 도식화하여 상기 진성데이터가 위치하는 진성영역 및 상기 가성데이터가 위치하는 가성영역의 경계인 분류기준을 도출하는 사전학습 단계;
검사대상물인 편광층이 접착된 디스플레이패널로부터 영상이미지로 추출되어 수식화된 피검데이터를 상기 특징공간상에 대입하고 상기 분류기준을 경계로 하여 상기 특징공간상에서 상기 피검데이터가 위치하는 영역을 판단하여 상기 검사대상물을 진성불량 또는 가성불량으로 판단하는 불량판별 단계; 및
상기 사전학습 단계에 상기 피검데이터를 적용하여 상기 특징공간상의 분류기준을 수정하되, 상기 피검데이터는 상기 진성데이터 및 상기 가성데이터가 동일한 수로 상기 제1데이터군을 구성하도록 데이터 밸런싱 단계를 통해 보정되는 추가학습 단계;를 포함하고,
상기 사전학습 단계는,
상기 제1학습군에 포함된 각각의 상기 진성표본 및 상기 가성표본으로부터 영상정보로 추출된 진성이미지 및 가성이미지로 구성되는 제1학습이미지군을 수집하는 영상 수집 단계;
상기 진성데이터 및 상기 가성데이터는 상기 제1학습이미지군에 포함된 각각의 상기 진성이미지 및 상기 가성이미지로부터 각각 n개의 특징점으로 도출되어 상기 제1데이터군을 형성하고 상기 제1데이터군을 도식화하여 인접한 특징점들을 k개의 그룹으로 그룹핑하며 각각의 그룹별로 특징점 평균을 구하여 k개의 평균점으로 구성되는 사전을 작성하는 사전작성 단계; 및
상기 진성데이터 및 상기 가성데이터를 상기 사전에 대입하여 상기 특징공간상에 도식화하고 상기 특징공간상에서 상기 진성데이터가 위치하는 진성구역 및 상기 가성데이터가 위치하는 가성구역의 경계인 분류기준을 결정하는 클래스 분류 단계;를 포함하며,
상기 불량판별 단계 및 상기 추가학습 단계가 반복 수행되는 데이터 밸런싱을 통한 학습기반의 비전검사 방법.
A learning-based vision inspection method for inspecting defects of a polarizing layer adhered to a display panel,
A first learning group is formed by including the same number of false samples that are samples of intrinsic defective products and a false sample that is a sample of false defects and the same number of the intrinsic data and the false data in which the video image collected from the first learning group is formulated Learning step of extracting a first data group that is a boundary between the first data group and the first data group and deriving a classification criterion that is a boundary between an intrinsic area where the intrinsic data is located and a pseudo area where the pseudo data is located;
The method comprising the steps of: inputting test data obtained by extracting and formulating a video image from a display panel to which a polarizing layer as an object to be inspected is adhered on the feature space, determining an area where the test data is located on the feature space, A defect judgment step of judging that the inspection object is an intrinsic defect or a false defect; And
Wherein the test data is applied to the pre-learning step to correct a classification criterion in the feature space, wherein the test data is corrected through a data balancing step such that the intrinsic data and the pseudo data constitute the first data group An additional learning step,
Wherein the pre-
An image collecting step of collecting a first learning image group composed of a genuine image and a false image extracted from each of the intrinsic specimens included in the first learning group and image information from the pseudo specimen;
Wherein the intrinsic data and the pseudo data are derived from n feature points respectively from the respective intrinsic images and the pseudo images included in the first learning image group to form the first data group and the first data group A dictionary creation step of grouping adjacent feature points into k groups and obtaining a feature point average for each group to create a dictionary composed of k average points; And
A classifying unit for classifying the intrinsic data and the pseudo data into the dictionary and drawing it on the feature space and determining a classification reference that is a boundary between the intrinsic region where the intrinsic data is located and the pseudo- Comprising:
Wherein the defective discrimination step and the additional learning step are repeatedly performed.
상기 사전작성 단계는,
케이평균 군집화를 수행하여 k개의 평균점을 기준 단어로 하는 상기 사전을 작성하는 데이터 밸런싱을 통한 학습기반의 비전검사 방법.
The method according to claim 1,
The pre-
K-means clustering to create the dictionary with k average points as a reference word.
상기 불량판별 단계는,
상기 검사대상물로부터 영상정보로 추출된 피검이미지로부터 얻은 n개의 특징점인 피검데이터를 상기 사전과 대비하고 상기 k개의 평균점을 기준으로 상기 피검데이터를 분류하여 상기 특징공간상에 도식화하는 데이터 밸런싱을 통한 학습기반의 비전검사 방법.
The method according to claim 1,
In the failure determination step,
Learning by data balancing in which the test data, which is n feature points obtained from the image to be inspected extracted from the image to be inspected, is compared with the dictionary and the test data is classified based on the k average points and the test data is displayed on the feature space Based vision inspection method.
상기 추가학습 단계는,
상기 불량판별 단계를 통해 상기 특징공간상에 도식화된 상기 피검데이터를 상기 클래스 분류 단계의 상기 진성데이터 또는 상기 가성데이터에 추가하여 상기 분류기준을 보정하는 데이터 밸런싱을 통한 학습기반의 비전검사 방법.
5. The method of claim 4,
Wherein the additional learning step comprises:
And adding the test data schematized on the feature space to the intrinsic data or the false data of the class classification step through the defect determination step to correct the classification criterion.
상기 데이터 밸런싱 단계는,
상기 불량판별 단계를 통해 상기 검사대상물이 진성불량으로 판단된 경우 상기 피검데이터 및 상기 사전학습 단계를 통해 기 도출된 상기 가성데이터 중 무작위로 선택된 하나의 가성데이터를 상기 클래스 분류 단계에 적용하여 상기 분류기준을 보정하고, 상기 불량판별 단계를 통해 상기 검사대상물이 가성불량으로 판단된 경우 상기 피검데이터 및 상기 사전학습 단계를 통해 기 도출된 상기 진성데이터 중 무작위로 선택된 하나의 진성데이터를 상기 클래스 분류 단계에 적용하여 상기 분류기준을 보정하는 데이터 밸런싱을 통한 학습기반의 비전검사 방법.
6. The method of claim 5,
The data balancing step includes:
If the inspected object is judged to be an intrinsic defect through the fault discrimination step, the test data and the one of the pseudo data derived in advance through the pre-learning step are randomly selected to be applied to the classification step, And a step of classifying at least one of the genuine data randomly selected from the test data and the intrinsic data pre-learned through the pre-learning step, when the inspected object is judged as a false defect through the defect determination step, Based vision inspection method using data balancing that corrects the classification standard by applying the method of claim 1. [
상기 데이터 밸런싱 단계는,
상기 불량판별 단계를 통해 상기 검사대상물이 진성불량으로 판단된 경우 상기 피검데이터 및 상기 사전학습 단계를 통해 기 도출된 상기 가성데이터들의 평균값을 상기 클래스 분류 단계에 적용하여 상기 분류기준을 보정하고, 상기 불량판별 단계를 통해 상기 검사대상물이 가성불량으로 판단된 경우 상기 피검데이터 및 상기 사전학습 단계를 통해 기 도출된 상기 진성데이터들의 평균값을 상기 클래스 분류 단계에 적용하여 상기 분류기준을 보정하는 데이터 밸런싱을 통한 학습기반의 비전검사 방법.
6. The method of claim 5,
The data balancing step includes:
Correcting the classification criterion by applying an average value of the test data and the pseudo data derived through the pre-learning step to the class classification step when the inspected object is determined to be a genuine defect through the defect determination step, Data balancing for correcting the classification criterion by applying an average value of the test data and the intrinsic data previously extracted through the pre-learning step to the class classification step when the inspection object is judged to be a false defect through the defect determination step Learning - based vision inspection method.
상기 진성이미지, 상기 가성이미지 및 상기 피검이미지는,
상기 검사대상물의 검사대상 표면을 일정한 패턴에 따라 이동하며 촬영된 영상의 수식화된 신호가 급격하게 변화되는 지점의 영상정보인 데이터 밸런싱을 통한 학습기반의 비전검사 방법.
5. The method of claim 4,
Wherein the intrinsic image, the false image,
Based vision inspection through data balancing, which is image information of a point where a surface of an object to be inspected of the object to be inspected moves according to a certain pattern and a modulated signal of the imaged image is abruptly changed.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160062783A KR101782363B1 (en) | 2016-05-23 | 2016-05-23 | Vision inspection method based on learning data |
CN201780001010.9A CN109462999B (en) | 2016-05-23 | 2017-05-23 | Visual inspection method based on learning through data balance and visual inspection device using same |
PCT/KR2017/005326 WO2017204519A2 (en) | 2016-05-23 | 2017-05-23 | Vision inspection method using data balancing-based learning, and vision inspection apparatus using data balancing-based learning utilizing vision inspection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160062783A KR101782363B1 (en) | 2016-05-23 | 2016-05-23 | Vision inspection method based on learning data |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101782363B1 true KR101782363B1 (en) | 2017-09-27 |
Family
ID=60036118
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160062783A KR101782363B1 (en) | 2016-05-23 | 2016-05-23 | Vision inspection method based on learning data |
Country Status (3)
Country | Link |
---|---|
KR (1) | KR101782363B1 (en) |
CN (1) | CN109462999B (en) |
WO (1) | WO2017204519A2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200072717A (en) * | 2018-12-13 | 2020-06-23 | 재단법인대구경북과학기술원 | Artificial inteligence learning methods and apparatus using analysis of data frequency value |
KR20200094846A (en) * | 2019-01-23 | 2020-08-10 | 한국과학기술원 | Method and apparatus for training neural network |
US11127134B2 (en) | 2018-10-01 | 2021-09-21 | Skc Co., Ltd. | Film defect detection method and system |
CN116484262A (en) * | 2023-05-06 | 2023-07-25 | 南通大学 | Textile equipment fault auxiliary processing method based on text classification |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019208754A1 (en) * | 2018-04-26 | 2019-10-31 | 大王製紙株式会社 | Sorting device, sorting method and sorting program, and computer-readable recording medium or storage apparatus |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3756507B1 (en) * | 2004-09-17 | 2006-03-15 | シャープ株式会社 | Image processing algorithm evaluation method and apparatus, image processing algorithm generation method and apparatus, program, and program recording medium |
JP2006292615A (en) | 2005-04-13 | 2006-10-26 | Sharp Corp | Visual examination apparatus, visual inspection method, program for making computer function as visual inspection apparatus, and recording medium |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0743126A (en) * | 1993-08-02 | 1995-02-10 | Nikon Corp | Pattern inspection device |
WO2001041068A1 (en) * | 1999-11-29 | 2001-06-07 | Olympus Optical Co., Ltd. | Defect inspecting system |
JP2002174603A (en) * | 2000-12-08 | 2002-06-21 | Olympus Optical Co Ltd | Defect classifying method |
JP4504612B2 (en) * | 2002-08-12 | 2010-07-14 | 株式会社日立ハイテクノロジーズ | Foreign matter inspection method and foreign matter inspection device |
DE602005022753D1 (en) * | 2004-11-19 | 2010-09-16 | Koninkl Philips Electronics Nv | STRATIFICATION PROCEDURE FOR OVERCOMING INCORRECT FALLANTS IN COMPUTER-AIDED LUNG KNOT FALSE POSITIVE REDUCTION |
CN101140619A (en) * | 2006-09-05 | 2008-03-12 | 大日本网目版制造株式会社 | Image processing device, data processing device and parameter adjusting method |
KR20100068734A (en) * | 2008-12-15 | 2010-06-24 | (주)워프비전 | Method for verifying defective on printed circuit board |
US9219886B2 (en) * | 2012-12-17 | 2015-12-22 | Emerson Electric Co. | Method and apparatus for analyzing image data generated during underground boring or inspection activities |
KR20150095053A (en) * | 2014-02-12 | 2015-08-20 | 한화테크윈 주식회사 | Validity verification apparatus of product inspection and method thereof |
-
2016
- 2016-05-23 KR KR1020160062783A patent/KR101782363B1/en active IP Right Grant
-
2017
- 2017-05-23 WO PCT/KR2017/005326 patent/WO2017204519A2/en active Application Filing
- 2017-05-23 CN CN201780001010.9A patent/CN109462999B/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3756507B1 (en) * | 2004-09-17 | 2006-03-15 | シャープ株式会社 | Image processing algorithm evaluation method and apparatus, image processing algorithm generation method and apparatus, program, and program recording medium |
JP2006292615A (en) | 2005-04-13 | 2006-10-26 | Sharp Corp | Visual examination apparatus, visual inspection method, program for making computer function as visual inspection apparatus, and recording medium |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11127134B2 (en) | 2018-10-01 | 2021-09-21 | Skc Co., Ltd. | Film defect detection method and system |
KR20200072717A (en) * | 2018-12-13 | 2020-06-23 | 재단법인대구경북과학기술원 | Artificial inteligence learning methods and apparatus using analysis of data frequency value |
KR102209505B1 (en) * | 2018-12-13 | 2021-02-01 | 재단법인대구경북과학기술원 | Artificial inteligence learning methods and apparatus using analysis of data frequency value |
KR20200094846A (en) * | 2019-01-23 | 2020-08-10 | 한국과학기술원 | Method and apparatus for training neural network |
KR102223070B1 (en) | 2019-01-23 | 2021-03-05 | 한국과학기술원 | Method and apparatus for training neural network |
CN116484262A (en) * | 2023-05-06 | 2023-07-25 | 南通大学 | Textile equipment fault auxiliary processing method based on text classification |
CN116484262B (en) * | 2023-05-06 | 2023-12-08 | 南通大学 | Textile equipment fault auxiliary processing method based on text classification |
Also Published As
Publication number | Publication date |
---|---|
CN109462999A (en) | 2019-03-12 |
CN109462999B (en) | 2021-05-07 |
WO2017204519A2 (en) | 2017-11-30 |
WO2017204519A3 (en) | 2018-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101782363B1 (en) | Vision inspection method based on learning data | |
CN110402487B (en) | Method and apparatus for classifying defects detected from a wafer | |
EP4280153A1 (en) | Defect detection method, apparatus and system | |
CN109946303A (en) | Check device and method | |
JP4908995B2 (en) | Defect classification method and apparatus, and defect inspection apparatus | |
US5933519A (en) | Cytological slide scoring apparatus | |
CN108520514B (en) | Consistency detection method for electronic elements of printed circuit board based on computer vision | |
CN111047655B (en) | High-definition camera cloth defect detection method based on convolutional neural network | |
CN106529559A (en) | Pointer-type circular multi-dashboard real-time reading identification method | |
CN111242899B (en) | Image-based flaw detection method and computer-readable storage medium | |
CN106290392A (en) | A kind of little micro-bearing surface pitting defects online test method and system thereof | |
CN106355188A (en) | Image detection method and device | |
JP2013167596A (en) | Defect inspection device, defect inspection method, and program | |
JP5718781B2 (en) | Image classification apparatus and image classification method | |
WO2015100099A1 (en) | Defect discovery and inspection sensitivity optimization using automated classification of corresponding electron beam images | |
CN116152242B (en) | Visual detection system of natural leather defect for basketball | |
KR101782364B1 (en) | Vision inspection method based on learning data | |
KR101867015B1 (en) | Device and method for inspecting defect of glass and inspection system | |
CN110458809B (en) | Yarn evenness detection method based on sub-pixel edge detection | |
CN108508023A (en) | The defect detecting system of end puller bolt is contacted in a kind of railway contact line | |
CN117392042A (en) | Defect detection method, defect detection apparatus, and storage medium | |
CN110866931A (en) | Image segmentation model training method and classification-based enhanced image segmentation method | |
JPH08189904A (en) | Surface defect detector | |
KR101929669B1 (en) | The method and apparatus for analyzing an image using an entropy | |
CN117237747A (en) | Hardware defect classification and identification method based on artificial intelligence |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |