KR101782363B1 - Vision inspection method based on learning data - Google Patents

Vision inspection method based on learning data Download PDF

Info

Publication number
KR101782363B1
KR101782363B1 KR1020160062783A KR20160062783A KR101782363B1 KR 101782363 B1 KR101782363 B1 KR 101782363B1 KR 1020160062783 A KR1020160062783 A KR 1020160062783A KR 20160062783 A KR20160062783 A KR 20160062783A KR 101782363 B1 KR101782363 B1 KR 101782363B1
Authority
KR
South Korea
Prior art keywords
data
intrinsic
learning
false
image
Prior art date
Application number
KR1020160062783A
Other languages
Korean (ko)
Inventor
오병준
전동철
신원종
Original Assignee
(주)에이앤아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에이앤아이 filed Critical (주)에이앤아이
Priority to KR1020160062783A priority Critical patent/KR101782363B1/en
Priority to CN201780001010.9A priority patent/CN109462999B/en
Priority to PCT/KR2017/005326 priority patent/WO2017204519A2/en
Application granted granted Critical
Publication of KR101782363B1 publication Critical patent/KR101782363B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G06F15/18
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8809Adjustment for highlighting flaws
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Chemical & Material Sciences (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

A learning-based vision inspection method through data balancing of the present invention includes: a pre-learning step of collecting and formulating a video image from an intrinsic sample, which is a sample of an intrinsic defective product, and a false sample, which is a sample of a false defective product, displaying the video image on a feature space, and acquiring a classification criterion which is a boundary of an intrinsic area where the intrinsic data is positioned and a false area where the false data is positioned; a failure discrimination step of inserting test data extracted and formulated as the video image from a test object into a feature space and discriminating an area in which the test data is located on the feature space with the classification criterion as a boundary so as to discriminate the test object as an intrinsic defect or a false defect; and an additional learning step in which the test data is applied to the pre-learning step so as to correct the classification criterion in the feature space, wherein the test data is corrected through a data balancing step such that the intrinsic data and the false data compose a first data group with the same number. The failure discrimination step and the additional learning step are repeatedly performed.

Description

데이터 밸런싱을 통한 학습기반의 비전검사 방법{VISION INSPECTION METHOD BASED ON LEARNING DATA} [0001] VISION INSPECTION METHOD BASED ON LEARNING DATA [0002]

본 발명은 디스플레이패널에 접착되는 편광층의 불량을 검사하기 위한 비전검사 방법 및 비전검사 장치에 관한 것으로서, 보다 상세하게는 학습되는 데이터의 밸런싱을 통해 특정 클래스의 과표본 데이터가 편중되는 데이터 불균형 현상을 극복하여 불량판별의 정확성을 높인 비전검사 방법 및 비전검사 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vision inspection method and a vision inspection apparatus for inspecting defects of a polarizing layer adhered to a display panel and more particularly, And more particularly, to a vision inspection method and a vision inspection apparatus which improve the accuracy of a defect determination.

일반적으로 디스플레이 패널은 반사층, 도광층, 확산층, 편광층등으로 각각의 특징을 지닌 시트 또는 패널이 적층되어 형성된다.In general, a display panel is formed by laminating a sheet or panel having characteristics of a reflective layer, a light guiding layer, a diffusion layer, a polarizing layer, or the like.

이러한 디스플레이 패널의 생산공정에서 시트 또는 패널의 접착상태를 점검하여 양품과 불량품을 분류하는 과정이 필수적으로 수행된다.In the production process of such a display panel, a process of sorting good products and defective products is essentially performed by checking the adhesion state of a sheet or a panel.

양품과 불량품을 분류하는 방법으로는 숙련된 인력이 동원되어 육안을 통해 관찰되는 양품 및 불량품의 시각적 정보를 비교하는 방법이 보편적이고, 정확성도 높다는 장점을 지니고 있다.As a method of classifying good products and defective products, it is common and highly accurate to compare visual information of good products and defective products which are observed through naked eyes by skilled workers.

하지만, 숙련된 인력에 의존하는 것은 높은 비용의 발생과 함께 단위 시간당 검수할 수 있는 디스플레이 패널의 양에 한계가 있었고, 검수 인력의 숙련 정도에 따라 검수의 신뢰성이 달라질 수 있다는 단점이 있었다.However, relying on skilled personnel has a disadvantage in that the amount of display panel that can be checked per unit of time is limited with the occurrence of high cost, and the reliability of the inspection may vary depending on the skill level of inspection personnel.

이에, 불량을 검출하기 위한 방법으로서 디스플레이 패널의 검사 대상이 되는 평면을 영상으로 촬영하여 검수하는 비전검사장치가 도입되어 실시되고 있으나, 디스플레이 패널에 접착된 편광층의 불량 여부를 검수하는 과정에 있어, 진성불량과 가성불량의 구분이 명확하지 않아 가성불량이 과검출 되는 경우가 빈번하게 발생되고, 따라서 진성불량의 검출 정확도가 떨어진다는 단점을 지니고 있었다.As a method for detecting defects, a vision inspection apparatus for photographing and inspecting a plane to be inspected of a display panel has been introduced and performed. However, in the process of inspecting whether or not a polarizing layer adhered to a display panel is defective , The distinction between the intrinsic defect and the false defect is not clear, so that the false defect is frequently detected, and thus, the accuracy of detection of the defect is low.

이는 디스플레이 패널에 접착된 편광층의 불량 여부를 판별함에 있어서, 들뜸이나 찍힘과 같은 진성불량품과 단순 얼룩이나 보호필름의 손상등으로 인해 양품임에도 불량으로 분류될 수 있는 가성불량품의 구분을 자동화 기기를 통하여 수행해 내기가 어렵기 때문이다.This is because, in judging whether or not the polarizing layer adhered to the display panel is bad, it is possible to distinguish the false defects that can be classified as defective due to intrinsic defects such as lifting or dropping, simple stains, This is because it is difficult to carry out through.

디스플레이 패널의 불량을 검출하는 공정을 자동화함으로 불량판별 속도를 높이고 인건비를 줄일 수 있는 잇점을 얻을 수는 있었으나, 기술적 한계로 인해 양품으로 분류될 수 있는 가성불량이 과검출 되어 신뢰도가 떨어지고 반복적인 재검수 과정을 더 필요로 하였다.Although it was possible to increase the fault detection speed and reduce the labor cost by automating the process of detecting the defective display panel, it was found that due to the technical limit, the false defect that can be classified as good product was detected, Furthermore, a number of processes were required.

그리고, 검수과정을 수행하며 축적되는 가성불량 및 진성불량의 데이터를 학습에 활용하여 보다 정확한 기준을 도출하고 이를 검수 시스템에 재적용하는 과정에서 축적되는 데이터의 표본이 어느 하나의 클래스로 편중되는 경우가 일반적이고, 추가로 수집되는 데이터를 학습에 적용함에 있어 오차를 줄이고 보다 정확한 기준을 도출하기 위해서는 수집되는 데이터를 가공하여 클래스간의 데이터 불균형을 해소하여야 할 필요성이 있었다.When a sample of accumulated data is biased to a class in a process of deriving a more precise criterion by utilizing data of pseudo-impairment and imperfection accumulated by carrying out the inspection process and reapplying it to the inspection system In addition, in order to reduce the error and to derive more precise criteria in applying the collected data to the learning, there is a need to solve the data imbalance among the classes by processing the collected data.

하나의 클래스에 속한 데이터의 수가 다른 클래스에 속한 데이터의 수보다 극히 많거나 적으면 데이터의 불균형이 발생된 것으로 볼 수 있다.If the number of data belonging to one class is more or less than the number of data belonging to another class, it can be seen that the data is unbalanced.

하지만, SVM(support vector machine)과 같은 학습 알고리즘들은 클래스간의 데이터 비율이 거의 비슷하다는 가정을 전제로 하기에 데이터의 불균형이 발생될 경우 가성불량과 진성불량을 결정하는 경계의 정확성이 낮아지는 경우가 초래될 수 있었다.However, learning algorithms such as SVM (support vector machine) are based on the assumption that the data ratios between classes are almost similar, so that if the data imbalance occurs, the accuracy of the boundary determining the pseudorandom and intrinsic error decreases Could be caused.

따라서 이와 같은 문제점들을 해결하기 위한 방법이 요구된다.Therefore, a method for solving such problems is required.

본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여 안출된 발명으로서 비전검사 장치에 인식과 학습에 의한 판별 기술을 접목하여 진성불량과 가성불량의 판별력을 높일 수 있는 기준데이터를 산출하여 가성불량의 과검출을 줄이고 진성불량의 검출 정확도를 향상시킨 비전검사 방법 및 비전검사 장치를 제공하기 위함이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems of the prior art, and it is an object of the present invention to provide a vision inspection apparatus which can obtain reference data capable of enhancing discrimination between true defectiveness and false defectiveness, And to provide a vision inspection method and a vision inspection apparatus in which the detection is reduced and the detection accuracy of the true defect is improved.

또한, 검수를 통해 얻어지는 데이터를 가공하여 학습에 활용함으로 공정이 반복됨에 따라 불량을 판별하기 위한 기준데이터의 정확성이 높아지도록 보정되는 알고리즘을 지닌 비전검사 방법 및 비전검사 장치를 제공하기 위함이다.It is another object of the present invention to provide a vision inspection method and a vision inspection apparatus having an algorithm that corrects data obtained through inspection to be used for learning so that accuracy of reference data for identifying defects increases as the process is repeated.

그리고, 학습을 위해 수집되는 데이터에 발생되는 클래스간 불균형을 랜덤샘플링 방식을 통해 보완하여 학습 알고리즘의 적용에 신뢰성을 높인 비전검사 방법 및 비전검사 장치를 제공하기 위함이다.The present invention is to provide a vision inspection method and a vision inspection apparatus which improve the reliability of application of a learning algorithm by complementing the imbalance between classes generated in data collected for learning through a random sampling method.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the above-mentioned problems, and other problems not mentioned can be clearly understood by those skilled in the art from the following description.

상기한 목적을 달성하기 위한 본 발명의 데이터 밸런싱을 통한 학습기반의 비전검사 방법은 진성불량품의 샘플인 진성표본 및 가성불량품의 샘플인 가성표본을 동일한 수로 포함하여 제1학습군이 형성되고, 제1학습군으로부터 수집된 영상이미지가 수식화된 진성데이터 및 가성데이터가 동일한 수로 구비되는 제1데이터군을 추출하고, 제1데이터군을 특징공간상에 도식화하여 진성데이터가 위치하는 진성영역 및 가성데이터가 위치하는 가성영역의 경계인 분류기준을 도출하는 사전학습 단계, 검사대상물인 편광층이 접착된 디스플레이패널로부터 영상이미지로 추출되어 수식화된 피검데이터를 특징공간상에 대입하고 분류기준을 경계로 하여 특징공간상에서 피검데이터가 위치하는 영역을 판단하여 검사대상물을 진성불량 또는 가성불량으로 판단하는 불량판별 단계 및 사전학습 단계에 피검데이터를 적용하여 특징공간상의 분류기준을 수정하되, 피검데이터는 진성데이터 및 가성데이터가 동일한 수로 제1데이터군을 구성하도록 데이터 밸런싱 단계를 통해 보정되는 추가학습 단계를 포함하고, 불량판별 단계 및 추가학습 단계가 반복 수행된다.In order to accomplish the above object, a learning-based vision inspection method using data balancing according to the present invention is characterized in that a first learning group is formed by including the intrinsic specimens, which are samples of genuine defective products, and the false specimens, Extracting a first data group having the same number of intrinsic data and pseudo-data as the video image collected from the first learning group and extracting the first data group on the feature space and extracting the intrinsic region and the false data A learning step of deriving a classification criterion that is a boundary of a pseudo region in which a polarizing layer is attached, and a step of assigning, on a feature space, The area where the test data is located in the space is judged, and the test object is judged to be an intrinsic defect or a false defect. The test data is applied to the defect discrimination step and the pre-learning step to correct the classification criterion in the feature space, and the test data is further learned through the data balancing step so that the intrinsic data and the pseudo- And a failure determination step and a further learning step are repeatedly performed.

그리고, 사전학습 단계는 제1학습군에 포함된 각각의 진성표본 및 가성표본으로부터 영상정보로 추출된 진성이미지 및 가성이미지로 구성되는 제1학습이미지군을 수집하는 영상 수집 단계, 진성데이터 및 가성데이터는 제1학습이미지군에 포함된 각각의 진성이미지 및 가성이미지로부터 각각 n개의 특징점으로 도출되어 제1데이터군을 형성하고 제1데이터군을 도식화하여 인접한 특징점들을 k개의 그룹으로 그룹핑하며 각각의 그룹별로 특징점 평균을 구하여 k개의 평균점으로 구성되는 사전을 작성하는 사전작성 단계 및 진성데이터 및 가성데이터를 사전에 대입하여 특징공간상에 도식화하고 특징공간상에서 진성데이터가 위치하는 진성구역 및 가성데이터가 위치하는 가성구역의 경계인 분류기준을 결정하는 클래스 분류 단계를 포함한다.The pre-learning step includes an image collecting step of collecting a first learning image group composed of a genuine image and a false image extracted from the respective intrinsic specimens included in the first learning group and the image information from the specimen, The data is derived from n respective feature points from each of the intrinsic images and the false images included in the first learning image group to form a first data group, a first data group is schematized to group adjacent feature points into k groups, A dictionary creation step of obtaining a feature point average for each group to create a dictionary composed of k average points and a step of creating a dictionary on the feature space by substituting the intrinsic data and the pseudo data in advance and extracting the intrinsic region and the pseudo- And a classifying step of determining a classifying criterion which is a boundary of the located caustic area.

또는, 사전작성 단계는 케이평균 군집화를 수행하여 k개의 평균점을 기준 단어로 하는 상기 사전을 작성한다.Alternatively, the dictionary creation step performs K average clustering to create the dictionary with k average points as reference words.

그리고, 불량판별 단계는 검사대상물로부터 영상정보로 추출된 피검이미지로부터 얻은 n개의 특징점인 피검데이터를 사전과 대비하고 k개의 평균점을 기준으로 피검데이터를 분류하여 특징공간상에 도식화한다.In the defect determination step, the test data, which is n feature points obtained from the image of the subject extracted from the image information, is compared with the dictionary, and the test data is classified based on k average points and displayed on the feature space.

또는, 추가학습 단계는 불량판별 단계를 통해 특징공간상에 도식화된 피검데이터를 클래스 분류 단계의 진성데이터 또는 가성데이터에 추가하여 상기 분류기준을 보정한다.Alternatively, the additional learning step corrects the classification criterion by adding the test data schematized on the characteristic space through the defect discrimination step to the intrinsic data or the caustic data of the class classification step.

그리고, 데이터 밸런싱 단계는 불량판별 단계를 통해 검사대상물이 진성불량으로 판단된 경우 피검데이터 및 사전학습 단계를 통해 기 도출된 가성데이터 중 무작위로 선택된 하나의 가성데이터를 클래스 분류 단계에 적용하여 분류기준을 보정하고, 불량판별 단계를 통해 검사대상물이 가성불량으로 판단된 경우 피검데이터 및 사전학습 단계를 통해 기 도출된 진성데이터 중 무작위로 선택된 하나의 진성데이터를 클래스 분류 단계에 적용하여 상기 분류기준을 보정한다.In the data balancing step, if the test object is judged to be an intrinsic defect through the defect determination step, the test data and the one of the pseudo data previously selected through the pre-learning step are applied to the class classification step, And if the inspected object is judged to be a false defect through the defective discrimination step, one of the genuine data randomly selected from the test data and the intrinsic data derived through the pre-learning step is applied to the class classification step, .

또는, 데이터 밸런싱 단계는 불량판별 단계를 통해 검사대상물이 진성불량으로 판단된 경우 피검데이터 및 사전학습 단계를 통해 기 도출된 가성데이터들의 평균값을 클래스 분류 단계에 적용하여 분류기준을 보정하고, 불량판별 단계를 통해 검사대상물이 가성불량으로 판단된 경우 피검데이터 및 사전학습 단계를 통해 기 도출된 진성데이터들의 평균값을 클래스 분류 단계에 적용하여 분류기준을 보정한다.Alternatively, in the data balancing step, the average value of the test data and the pseudo data derived through the pre-learning step when the object to be inspected is determined to be defective through the defect determination step is applied to the class classification step to correct the classification criterion, The average value of the test data and the intrinsic data derived through the pre-learning step is applied to the class classification step to correct the classification criterion.

그리고, 진성이미지, 가성이미지 및 피검이미지는 검사대상물의 검사대상 표면을 일정한 패턴에 따라 이동하며 촬영된 영상의 수식화된 신호가 급격하게 변화되는 지점의 영상정보이다.The intrinsic image, the false image, and the image to be inspected are image information of a point where the inspected surface of the inspected object is moved according to a certain pattern and the modulated signal of the photographed image is abruptly changed.

그리고, 상기한 목적을 달성하기 위한 본 발명의 데이터 밸런싱을 통한 비전검사 장치는 검사대상물이 이송되는 이송수단, 검사대상물의 검사면을 촬영하는 촬영유닛, 촬영유닛을 통해 획득된 영상이미지를 판독하여 피검이미지를 선별하는 판독부, 판독부를 통해 획득된 피검이미지를 수식화한 피검데이터를 특징공간상에 도식화하는 연산부 및 연산부를 통해 획득된 피검데이터가 저장되는 저장부를 포함하고, 연산부는 저장부에 기 저장된 데이터와 피검데이터를 대비하여 검사대상물의 불량여부를 판단하고, 저장부는 피검데이터 및 피검데이터를 통해 도출되는 가상데이터가 함께 저장된다.In order to accomplish the above object, the present invention provides a vision inspection apparatus through data balancing, comprising: a transfer unit to which an object to be inspected is transferred; a photographing unit to photograph an inspection surface of the object to be inspected; And a storage unit for storing the test data obtained through the operation unit. The operation unit may include a storage unit for storing the test data obtained through the operation unit, The stored data is compared with the test data to determine whether the test object is defective. The storage unit stores the test data and the virtual data derived from the test data together.

상기한 과제를 해결하기 위한 본 발명의 데이터 밸런싱을 통한 학습기반의 비전검사 방법 및 데이터 밸런싱을 통한 학습기반의 비전검사 장치는 디스플레이 패널의 진성불량 및 가성불량의 데이터를 영상정보로 획득하여 수식화하고 특징공간상에 도식화함으로 그 경계를 도출하여 진성불량 및 가성불량을 판별하는 학습기반의 알고리즘을 바탕으로 하여 진성불량 및 가성불량의 특징을 기반으로 불량판별의 정확도를 높이고, 가성불량의 과검출을 감소시키는 효과를 얻을 수 있다.In order to solve the above problems, a learning-based vision inspection method using data balancing and a learning-based vision inspection apparatus using data balancing according to the present invention acquires data on intrinsic defectiveness and false defectiveness of a display panel as image information, Based on a learning-based algorithm that identifies intrinsic and intrinsic defects by deriving the boundaries by plotting them on the feature space, it improves the accuracy of the fault discrimination based on the characteristics of intrinsic and intrinsic defects, Can be obtained.

또한, 반복 수행되는 불량판별 단계를 통해 획득되는 진성불량 및 가성불량의 데이터를 축적하여 추가 학습함으로 진성불량 및 가성불량의 경계를 지속적으로 수정하고, 추가 학습되는 데이터가 어느 하나의 영역으로 편중되지 않고 데이터의 밸런싱을 유지할 수 있도록 함으로 데이터의 불균형으로 인해 발생될 수 있는 오차의 증가 또는 학습 알고리즘의 성능저하를 방지할 수 있는 효과가 있다.Further, by accumulating the data of the intrinsic defect and the false defect obtained through the repeated defect discrimination step and further learning, the boundaries of the intrinsic defect and the false defect are continuously corrected, and the data to be further learned is not biased into any one area So that it is possible to prevent the increase of the error or the performance degradation of the learning algorithm caused by the unbalance of the data.

따라서, 학습 알고리즘을 통해 정확도가 더욱 향상된 경계를 비전검사에 활용할 수 있게 된다.Thus, learning algorithms can be used to enhance the accuracy of vision boundaries.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description of the claims.

도 1은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법을 나타낸 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 분류기준을 정하는 데이터를 나타낸 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 진성표본의 진성이미지를 나타낸 이미지이다.
도 4는 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 가성표본의 가성이미지를 나타낸 이미지이다.
도 5는 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 사전이 도출되는 과정을 나타낸 개략도이다.
도 6은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 제1이미지군을 사전에 대입하는 과정을 나타낸 개략도이다.
도 7은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 사전학습단계 및 불량판별 단계를 나타낸 개략도이다.
도 8은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 특징공간상에 진성영역 및 가성영역이 도출된 상태를 3차원으로 예시하여 나타낸 그래프이다.
도 9는 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법의 추가학습 단계에서 데이터 밸런싱이 수행되는 과정을 2차원 그래프로 나타낸 개략도이다.
도 10은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 장치를 나타낸 상태도이다.
FIG. 1 is a flowchart illustrating a learning-based vision inspection method using data balancing according to an exemplary embodiment of the present invention.
FIG. 2 is a flowchart illustrating data defining a classification criterion in a learning-based vision inspection method using data balancing according to an exemplary embodiment of the present invention.
FIG. 3 is an image showing an intrinsic image of an intrinsic sample in a learning-based vision inspection method using data balancing according to an embodiment of the present invention.
4 is an image showing a false image of a false sample in a learning-based vision inspection method using data balancing according to an embodiment of the present invention.
FIG. 5 is a schematic diagram illustrating a process of deriving a dictionary in a learning-based vision inspection method using data balancing according to an embodiment of the present invention.
FIG. 6 is a schematic view showing a process of assigning a first image group in advance in a learning-based vision inspection method using data balancing according to an embodiment of the present invention.
FIG. 7 is a schematic view showing a learning step and a failure determination step in a learning-based vision inspection method using data balancing according to an embodiment of the present invention.
FIG. 8 is a graph illustrating a three-dimensional representation of a state in which an intrinsic region and a false region are derived on a feature space in a learning-based vision inspection method using data balancing according to an exemplary embodiment of the present invention.
FIG. 9 is a schematic diagram illustrating a process of performing data balancing in a learning step of a learning-based vision inspection method using data balancing according to an exemplary embodiment of the present invention.
FIG. 10 is a state diagram illustrating a learning-based vision inspection apparatus through data balancing according to an embodiment of the present invention.

이하 본 발명의 목적이 구체적으로 실현될 수 있는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 본 실시예를 설명함에 있어서, 동일 구성에 대해서는 동일 명칭 및 동일 부호가 사용되며 이에 따른 부가적인 설명은 생략하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. In describing the present embodiment, the same designations and the same reference numerals are used for the same components, and further description thereof will be omitted.

본 발명에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법은 하기 되는 것과 같이 실시될 수 있다.The learning-based vision inspection method through data balancing according to the present invention can be implemented as follows.

도 1은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법을 나타낸 흐름도이고, 도 2는 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 분류기준을 정하는 데이터를 나타낸 흐름도이다.FIG. 1 is a flowchart illustrating a method of inspecting a vision-based learning through data balancing according to an embodiment of the present invention. FIG. 2 is a flowchart illustrating a method of inspecting a vision-based vision by data balancing according to an exemplary embodiment of the present invention. As shown in FIG.

본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법은 디스플레이패널(302)에 접착된 편광층(304)의 불량을 검사하기 위한 학습기반의 비전검사 방법이다.The learning-based vision inspection method using data balancing according to an embodiment of the present invention is a learning-based vision inspection method for inspecting defects of the polarizing layer 304 adhered to the display panel 302.

도 1 내지 도 2를 참조하여, 진성불량품의 샘플인 진성표본(100) 및 가성불량품의 샘플인 가성표본(200)을 동일한 수로 포함하여 형성되는 제1학습군이 마련된다.Referring to Figs. 1 and 2, a first learning group formed by including the intrinsic specimen 100, which is a sample of intrinsic defects, and the tentative specimen 200, which is a sample of a false defects, are provided in the same number.

제1학습군으로부터 수집된 영상이미지가 수식화된 진성데이터(120) 및 가성데이터(220)가 동일한 수로 구비되는 제1데이터군이 추출된다.The first data group including the same number of the intrinsic data 120 and the false data 220 extracted from the first learning group is extracted.

제1데이터군을 특징공간(400)상에 도식화하여 진성데이터(120)가 위치하는 진성영역(130) 및 가성데이터(220)가 위치하는 가성영역(230)의 경계인 분류기준(410)을 도출하는 사전학습 단계(S100)가 수행된다.The first data group is displayed on the feature space 400 to derive the classification reference 410 that is the boundary between the intrinsic region 130 where the intrinsic data 120 is located and the false region 230 where the false data 220 is located Learning step S100 is performed.

검사대상물(300)인 편광층(304)이 접착된 디스플레이패널(302)로부터 영상이미지로 추출되어 수식화된 피검데이터(320)를 특징공간(400)상에 대입한다.The inspected data 320 extracted from the display panel 302 to which the polarizing layer 304 as the inspection object 300 is adhered and formulated is substituted into the feature space 400.

분류기준(410)을 경계로 하여 특징공간(400)상에서 피검데이터(320)가 위치하는 영역을 판단하여 검사대상물(300)을 진성불량 또는 가성불량으로 판단하는 불량판별 단계(S200)가 수행된다.The defect determination step S200 of determining the region where the test data 320 is located on the feature space 400 with the classification reference 410 as a boundary is performed to determine the test object 300 as an intrinsic defect or a false defect .

사전학습 단계(S100)에 피검데이터(320)를 적용하여 특징공간(400)상의 분류기준(410)을 수정하되, 피검데이터(320)는 진성데이터(120)와 가성데이터(220)가 동일한 수로 제1데이터군을 구성하도록 데이터 밸런싱 단계(S310)를 통해 보정되는 추가학습 단계(S300)를 포함하고, 불량판별 단계(S200) 및 추가학습 단계(S300)는 반복 수행된다.The test data 320 is applied to the pretest learning step S100 to correct the classification criterion 410 on the feature space 400 so that the test data 320 can be obtained by using the same number of the intrinsic data 120 and the false data 220 (S300) that is corrected through a data balancing step (S310) so as to form a first data group, and the failure determination step (S200) and the additional learning step (S300) are repeatedly performed.

아래에서는 상기된 각각의 단계를 구체적으로 자세하게 설명한다.Each of the above steps will be described in detail below.

제1학습군은 진성불량품의 샘플인 진성표본(100) 및 가성불량품의 샘플인 가성표본(200)을 각각 A개로 동일한 수를 포함한다.The first learning group includes the same number as the intrinsic specimen 100, which is a sample of the intrinsic defective product, and the simulated specimen 200, which is a sample of the false defective product.

제1학습이미지군은 진성표본(100)으로부터 도출된 진성이미지(110) 및 가성표본(200)으로부터 도출된 가성이미지(210)를 동일한 수를 포함한다.The first learning image group includes the same number of the intrinsic image 110 derived from the intrinsic specimen 100 and the intrinsic image 210 derived from the pseudo-specimen 200. [

제1데이터군은 진성이미지(110)를 수식화한 진성데이터(120) 및 가성이미지(210)를 수식화한 가성데이터(220)를 동일한 수를 포함한다.The first data group includes the same number of the intrinsic data 120 in which the intrinsic image 110 is formulated and the false data 220 in which the virgin image 210 is formulated.

따라서, 진성표본(100) 및 진성이미지(110)는 동일하게 A개이고, 가성표본(200) 및 가성이미지(210) 또한 동일하게 A개인 것으로 본 발명의 일 실시예에서는 가정한다.Therefore, it is assumed in the embodiment of the present invention that the intrinsic specimen 100 and the intrinsic image 110 are the same A, and the false specimen 200 and the false image 210 are also the same A.

특징공간(400)은 다수의 변수를 지닌 다차원 공간으로서 본 발명의 일 실시예에 따른 특정 데이터가 도식화되는 공간을 지칭한다.The feature space 400 is a multi-dimensional space having a plurality of variables, and refers to a space in which specific data according to an embodiment of the present invention is depicted.

사전학습 단계(S100)는 진성표본(100) 및 가성표본(200)으로부터 불량으로 의심되는 지점의 영상이미지인 진성이미지(110) 및 가성이미지(210)를 획득하는 영상 수집 단계(S110), 사전작성 단계(S120) 및 클래스 분류 단계(S130)를 포함한다.The pre-learning step S100 includes an image collecting step S110 for obtaining an intrinsic image 110 and a false image 210, which are image images of suspected bad points from the intrinsic specimen 100 and the false specimen 200, Creating step S120 and class classification step S130.

도 3은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 진성표본의 진성이미지를 나타낸 이미지이고, 도 4는 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 가성표본의 가성이미지를 나타낸 이미지이다.FIG. 3 is an image showing an intrinsic image of a genuine sample in a learning-based vision inspection method using data balancing according to an exemplary embodiment of the present invention. FIG. This is an image that shows the false image of the pseudo-sample in the vision inspection method.

도 3 내지 도 4를 참조하여, 영상 수집 단계(S110)는 진성표본(100) 및 가성표본(200)의 측정대상 평면을 일정한 패턴으로 이동하며 촬영하는 촬영유닛(520)을 통해 영상이 수집되고, 특정 위치의 영상에서 기 설정된 조건을 만족하는 결과의 도출 시에 그 위치의 영상이미지를 촬영함으로 진성이미지(110) 또는 가성이미지(210)를 획득하는 단계이다.3 to 4, in the image collection step S110, an image is collected through the photographing unit 520 that photographs the moving target planes of the intrinsic specimen 100 and the tentative specimen 200 in a predetermined pattern And acquiring the intrinsic image 110 or the false image 210 by imaging the image of the specific position at the time of deriving a result satisfying predetermined conditions.

본 발명의 일 실시예로서 촬영유닛(520)을 통해 촬상되는 영상의 밝기의 변화가 급격하게 증가 또는 감소하는 경우 그 지점을 도 3 내지 도 4에 도시된 바와 같이 촬영하여 영상이미지로 획득할 수 있다.In an embodiment of the present invention, when a change in brightness of an image picked up through the photographing unit 520 rapidly increases or decreases, the point may be photographed as shown in FIGS. have.

사전작성 단계(S120)는 진성이미지(110) 및 가성이미지(210)로부터 각각 n개의 특징점으로 도출되는 진성데이터(120) 및 가성데이터(220)가 도출된다.The preprocessing step S120 derives the intrinsic data 120 and the pseudo-data 220 derived from the intrinsic image 110 and the voiced image 210, respectively, into n feature points.

진성데이터(120)는 A×n개가 획득되고, 가성데이터(220) 또한 A×n개가 획득된다.The intrinsic data 120 is obtained A x n, and the mantissa data 220 is also obtained A x n.

도 5는 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 사전이 도출되는 과정을 나타낸 개략도이고, 도 6은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 제1학습이미지군을 사전에 대입하는 과정을 나타낸 개략도이다.FIG. 5 is a schematic diagram illustrating a process of deriving a dictionary in a learning-based vision inspection method using data balancing according to an exemplary embodiment of the present invention. FIG. FIG. 3 is a schematic diagram showing a process of assigning a first learning image group in advance in the vision inspection method. FIG.

도 5 내지 도 6을 참조하여, 진성이미지(110) 및 가성이미지(210)로부터 도출되는 진성데이터(120) 및 가성데이터(220)는 진성이미지(110) 및 가성이미지(210)내에서 색상, 명도, 채도, 형상, 곡률등과 같은 특징을 n개의 지점에서 추출하여 수집될 수 있다.5 through 6, the intrinsic data 120 and the tentative data 220 derived from the intrinsic image 110 and the tentative image 210 are stored in the intrinsic image 110 and the tentative image 210, Such as brightness, saturation, shape, curvature, etc., can be extracted from n points.

진성데이터(120) 및 가성데이터(220)는 색상, 명도, 채도, 형상, 곡률등과 같은 특징들을 변수로 하는 벡터(vector)량으로 변환되고, 이러한 벡터량을 구성하는 변수에 대응되는 다차원의 공간상에 도식화된다.The intrinsic data 120 and the tentative data 220 are converted into a vector quantity having characteristics such as color, lightness, saturation, shape, curvature, and the like as variables, and a multidimensional space Lt; / RTI >

도 5에는 진성이미지(110) 및 가성이미지(210)로부터 n개의 특징점이 벡터량으로 도출되어 다차원 공간상의 도식화되는 과정을 간략하게 나타내고 있다.FIG. 5 schematically shows a process in which n feature points are derived as vector quantities from the intrinsic image 110 and the tentative image 210 and are expressed in a multidimensional space.

이는 예시적인 것으로서 본 발명이 적용되는 실시예에 따라 다양한 인자를 기준으로 하여 진성데이터(120) 및 가성데이터(220)가 추출될 수 있다.This is an illustrative example, and the intrinsic data 120 and the false data 220 can be extracted based on various factors according to an embodiment to which the present invention is applied.

상술한 바와 같이 A개의 진성이미지(110)로 부터 A×n개의 진성데이터(120), A개의 가성이미지(210)로부터 A×n개의 가성데이터(220)가 벡터량으로 수집되고, 진성데이터(120) 및 가성데이터(220)는 상술한 바와 같이 다차원 공간상에 도식화되고, 각각 인접한 진성데이터(120) 및 가성데이터(220)를 군집화하여 k개의 그룹으로 그룹핑하며, 각각의 그룹내에 속하는 진성데이터(120) 및 가성데이터(220)의 평균점을 구하여 k개의 평균점을 산출하게 된다.As described above, A x n number of false data 220 are collected from A number of intrinsic images 110, A x n number of intrinsic data 120, A number of false images 210, and the intrinsic data 120 ) And the false data 220 are schematized on the multidimensional space as described above, and are grouped into k groups by grouping the adjacent intrinsic data 120 and the false data 220, and the intrinsic data 120 belonging to each group 120 and the false data 220 are calculated to calculate k average points.

이때, 각각의 그룹을 단어라 정의하고, k개의 평균점을 사전이라 정의하여 k개의 단어를 지닌 사전을 작성한다.At this time, each group is defined as a word, and a k-word dictionary is created by defining k average points as a dictionary.

사전작성 단계(S120)는 주어진 데이터를 k개의 클러스터로 묶어 군집화 하는 알고리즘인 케이평균군집화를 이용하여 수행될 수 있다.The preprocessing step (S120) may be performed using K average clustering, which is an algorithm for grouping the given data into k clusters.

클래스 분류 단계(S130)는 진성데이터(120)를 사전작성 단계(S120)를 통해 작성된 사전에 대입하여 k개의 단어들 각각에 속하게 되는 진성데이터(120)를 도 6에 도시된 바와 같이 히스토그램화 하는 히스토그램화 단계가 먼저 수행된다.The class classification step S130 substitutes the intrinsic data 120 into the dictionary created through the pre-creation step S120 to histogram the intrinsic data 120 belonging to each of the k words as shown in Fig. 6 The histogramming step is performed first.

도 7은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 사전학습단계 및 불량판별 단계를 나타낸 개략도이고, 도 8은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 특징공간상에 진성영역 및 가성영역이 도출된 상태를 3차원으로 예시하여 나타낸 그래프이다.FIG. 7 is a schematic diagram illustrating a learning step and a failure determination step in a learning-based vision inspection method using data balancing according to an embodiment of the present invention. FIG. 8 is a flowchart illustrating a method of learning through data balancing according to an exemplary embodiment of the present invention. 3 is a graph illustrating a state in which an intrinsic region and a pseudo-region are derived on a feature space in a vision-based vision inspection method.

상술한 히스토그램화 단계를 통해 구해진 히스토그램을 기준으로 하여 단어와 각각의 단어에 속하는 진성데이터(120)를 변수로 하여 특징공간(400)상에 도시하고, 도 8에 도시된 바와 같이, 특징공간(400)상에서 진성영역(130)을 도출한다.8, the intrinsic data 120 belonging to a word and each word are displayed on the feature space 400 as a variable on the basis of the histogram obtained through the histogramming step described above, The intrinsic region 130 is derived.

또한, 가성데이터(220)를 사전작성 단계(S120)를 통해 작성된 사전에 대입하여 k개의 단어들 각각에 속하게 되는 가성데이터(220)를 도 6에 도시된 바와 같이 히스토그램화 하는 히스토그램화 단계가 수행된다.The histogramming step of substituting the pseudo-data 220 into the dictionary created through the preprocessing step S120 to histogramize the pseudo-data 220 belonging to each of the k words as shown in Fig. 6 is performed do.

가성데이터(220)를 통해 얻어진 히스토그램을 기준으로 하여 단어와 각각의 단어에 속하는 가성데이터(130)를 변수로 하여 특징공간(400)상에 도시하고, 도 8에 도시된 바와 같이, 특징공간(400)상에서 가성영역(230)을 도출한다.The words and the pseudo data 130 belonging to each word are shown on the feature space 400 as variables and the feature space 400 as shown in Fig. 8, based on the histogram obtained through the pseudo- 400). ≪ / RTI >

분류기준(410)은 특징공간(400)상에서 진성영역(130)과 가성영역(230)의 경계가 되는 선, 면 또는 초평면(hyper plane)으로 표현될 수 있으며, 진성영역(130)과 가성영역(230)이 특징공간(400)상에서 서로간 여백이 극대화 될 수 있도록 그 경계를 구하는 서포트 벡터 머신(SVM, support vector machine)기법을 이용해 구해질 수도 있다.The classification reference 410 may be expressed as a line, a plane, or a hyperplane which is a boundary between the intrinsic region 130 and the pseudo region 230 on the feature space 400, and the intrinsic region 130 and the pseudo- A support vector machine (SVM) technique may be used to determine the boundary between the feature space 400 and the feature space 400 to maximize the space between them.

불량판별 단계(S200)는 검사대상물(300)인 디스플레이패널(302)에 편광층(304)가 접착된 면을 촬영유닛(520)을 통해 일정한 경로를 따라 연속적으로 촬영하여 기 설정된 조건과 부합되는 값을 나타내는 위치의 영상을 촬영한 피검이미지(310)를 획득하는 피검영상 수집 단계(S210) 및 피검이미지(310)를 상술하였던 진성이미지(110) 및 가성이미지(210)를 진성데이터(120) 및 가성데이터(220)로 변환하는 방법과 동일한 방법을 사용하여 피검이미지(310)로 변환하고, 피검이미지(310)를 사전에 대입하여 특징공간(400)상에 도시하며, 클래스 분류 단계(S130)를 통해 구해진 분류기준(410)을 경계로 하여 진성영역(130) 또는 가성영역(230)에 속하는지를 판단하여 그 속하는 영역에 따라서 진성불량 또는 가성불량으로 판단하는 분류기준에 따른 불량판별 단계(S220)를 포함한다.In the defect determination step S200, the surface on which the polarizing layer 304 is adhered is continuously photographed on the display panel 302, which is the inspection object 300, along a predetermined path through the photographing unit 520, (S210) of acquiring an image 310 of an image of a position indicating the position of the subject image 310 and the intrinsic image 110 and the false image 210 of the image 310, And the visible image 310 are previously substituted and displayed on the feature space 400 using the same method as the method of transforming the image into the visible image 310 and the false data 220, Judging whether the genuine region 130 or the false region 230 belongs to the classification reference 410 obtained through the classification step 410 and determining whether the genuine region 130 or the false region 230 is genuine or false S220).

추가학습 단계(S300)는 불량판별 단계(S200)를 통해 획득된 피검이미지(310)를 사전에 추가하여 k개의 평균점을 재연산하는 과정을 거쳐 사전을 보정하는 단계가 추가될 수 있다.In the additional learning step S300, a step of correcting the dictionary through the process of adding the image 310 to be inspected obtained in the failure determination step S200 in advance and re-reproducing k average points may be added.

또는, 불량판별 단계(S200)를 통해 획득된 피검데이터(320)를 특징공간상에 추가하고 추가된 피검데이터(320)를 반영하여 분류기준(410)을 보정하는 분류기준 보정 단계(S320)가 수행될 수 있다.Alternatively, a classification criterion correction step S320 for adding the test data 320 obtained through the failure judgment step S200 on the feature space and correcting the classification criterion 410 by reflecting the added test data 320 is performed .

이러한 사전을 보정하는 단계, 분류기준 보정 단계(S320)는 사전학습 단계(S100)를 통하여 기학습된 불량판별 기준에 불량판별을 수행하며 획득하게 되는 새로운 정보를 추가하여 학습표본을 증가시켜 가는 효과를 얻을 수 있다.In the step of correcting the dictionary, the classification criterion correction step (S320) may be performed by performing defect determination on the learned defect criterion learned through the pre-learning step (SlOO), adding new information to be acquired, Can be obtained.

학습표본을 증가시키므로 불량판별을 수행하는 정확성을 높여 나갈 수 있게 되며, 진성불량과 가성불량의 경계를 특징공간(400)상에서 보다 명확하게 하여 가성불량이 과검출되는 현상을 줄일 수 있게 된다.It is possible to increase the accuracy of performing the failure discrimination by increasing the number of learning samples and to reduce the phenomenon in which the false defect is detected by making the boundary between the true defect and the false defect more apparent in the feature space 400. [

그리고, 추가학습 단계(S300)는 데이터 밸런싱 단계(S310)가 포함될 수 있다.The additional learning step S300 may include a data balancing step S310.

도 9는 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 방법에서 피검데이터를 통한 추가학습 단계에서 데이터 밸런싱이 수행되는 과정을 나타낸 개략도이다.FIG. 9 is a schematic view illustrating a process of performing data balancing in an additional learning step using test data in a learning-based vision inspection method using data balancing according to an exemplary embodiment of the present invention.

도 9에 도시된 바를 참고하여, 데이터 밸런싱 단계(S310)는 불량판별 단계(S200)를 통해 획득된 검사대상물(300)이 진성불량일 경우 분류기준 보정 단계(S320)에서 기학습된 특징공간(400)에 추가되는 자료가 진성데이터(120)로서 역할을 하게 되고, 검사대상물(300)이 가성불량일 경우 분류기준 보정 단계(S320)에서 기학습된 특징공간(400)에 추가되는 자료가 가성데이터(220)로서 역할을 하게 된다.Referring to FIG. 9, the data balancing step S310 is a step of balancing the data of the characteristic space (step S320), which has been learned in the classification criterion correction step S320 when the inspection object 300 acquired through the defect determination step S200 is an intrinsic defect The data added to the characteristic space 400 learned in the classification criterion correction step S320 when the object 300 to be inspected is a false defect, And serves as data 220.

진성데이터(120) 또는 가성데이터(220)로 분류되는 클래스간에 발생될 수 있는 데이터의 불균형 문제는

Figure 112016049175108-pat00001
와 같은 수식으로 표현될 수 있으며, 입력벡터 x에 대해 입력공간(input space)이 되는 특징공간(400)상의 초평면(hyperplane)을 찾는 이진 분류 문제로 표현될 수 있다.The problem of data asymmetry that can occur between classes that are classified as intrinsic data 120 or fuzzy data 220
Figure 112016049175108-pat00001
And can be expressed as a binary classification problem for finding a hyperplane on the feature space 400 as an input space for the input vector x.

진성데이터(120) 또는 가성데이터(220)는 '+1'이나 '-1'의 두 클래스로 분류되고, 클래스 분류 문제는 우수한 일반화 성능을 얻을 수 있도록 하는 w를 찾는 것으로 볼 수 있다.The intrinsic data 120 or the pseudo data 220 are classified into two classes of '+1' and '-1', and the class classification problem can be regarded as searching for a w that provides excellent generalization performance.

이때, 진성데이터(120)와 가성데이터(220)에 속하는 데이터 수의 비율이 현격히 차이가 나는 경우를 불균형 데이터(imbalanced data)문제라고 볼 수 있다.At this time, the case where the ratio of the number of data belonging to the intrinsic data 120 and the number of data belonging to the false data 220 is significantly different can be regarded as an imbalanced data problem.

이러한 불균형 데이터 문제의 발생 시 진성데이터(120) 또는 가성데이터(220) 중 하나의 클래스로 데이터가 편중되고 이는 사전학습 단계(S100)를 통하여 기학습된 불량판별 기준을 보정하는 분류기준 보정 단계(S320)에서 불량판별 기준의 신뢰성을 낮추는 결과를 초래할 수 있다.In the case of such an unbalance data problem, data is concentrated in one of the intrinsic data 120 or the false data 220, which is a classification reference correction step (step S100) for correcting the learned failure determination reference S320) may result in lowering the reliability of the failure detection standard.

따라서, 진성데이터(120) 또는 가성데이터(220) 중 어느 하나의 경우로 획득되는 피검데이터(320)가 편중될 경우 도 9의 (a)에 도시된 바와 같이 분류기준(410)이 진성영역(130) 또는 가성영역(230) 중 어느 한 쪽으로 치우치게 되는 경우가 발생될 수 있다.Therefore, when the test data 320 obtained in either case of the intrinsic data 120 or the false data 220 is biased, as shown in FIG. 9A, 130 or the pseudo region 230 may be shifted to either side.

특히, 디스플레이패널(302)의 편광층(304)의 불량검사를 수행하는 경우 가성불량에 비하여 진성불량의 검출 빈도가 현저히 높아, 이러한 데이터의 편중은 불량판별의 정확도를 향상시키는데 저해요인으로 작용될 수 있다.Particularly, when the defect inspection of the polarizing layer 304 of the display panel 302 is performed, the detection frequency of the intrinsic defect is remarkably higher than the false defect, and the bias of such data acts as an impediment to improve the accuracy of the defect discrimination .

따라서, 불량판별 단계(S200)에서 얻어진 피검데이터(320)가 특징공간(400)상에서 진성영역(130)에 속할 경우, 이와 대응되도록 가성영역(230)에 속한 가성데이터(220) 중 무작위로 선택된 하나의 가성데이터(220)를 획득된 피검데이터(320)와 함께 특징공간(400)상에 추가하여 분류기준(410)을 보정하도록 한다.Therefore, when the test data 320 obtained in the defect determination step S200 belongs to the intrinsic region 130 in the feature space 400, the pseudo data 220 included in the pseudo region 230 is randomly selected A single verifiable data 220 is added on the feature space 400 together with the obtained test data 320 to correct the classification criterion 410. [

상세하게는 불량판별 단계(S200)를 통해 검사대상물(300)의 검수를 수행하여 총 4개의 진성불량 판정이 도출되었다면, 획득된 4개의 피검데이터(320)와 함께 기 도출된 가성데이터(220)를 특징공간(400)상에 추가하여 분류기준(410)을 재설정하는 과정을 수행하게 된다.More specifically, if a total of four true defect judgments are obtained by performing inspection of the object 300 through the defect discrimination step S200, the four false data 320 together with the obtained false data 220, Is added to the feature space 400 to reset the classification reference 410.

불량판별 단계(S200)를 통해 검사대상물(300)의 검수를 수행하여 가성불량 판정이 도출된 경우에는 기 도출된 진성데이터(120)를 피검데이터(320)와 함께 특징공간(400)상에 추가하여 분류기준(410)을 재설정하게 된다.When the false determination is obtained by performing verification of the inspection object 300 through the defect determination step S200, the extracted derived intrinsic data 120 is added to the feature space 400 together with the test data 320 And the classification criteria 410 are reset.

또 다른 실시예로서, 불량판별 단계(S200)를 통해 검사대상물(300)의 검수를 수행하여 진성불량 판정이 도출되었다면, 기 획득된 가성데이터(220)들의 평균값을 피검데이터(320)와 함께 특징공간상에 추가하여 분류기준(410)을 재설정하고, 가성불량 판정의 도출시에는 기 획득된 진성데이터(120)들의 평균값을 피검데이터(320)와 함께 특징공간상에 추가하여 분류기준(410)을 재설정할 수 있다.As another embodiment of the present invention, if the intrinsic defect determination is derived by performing the inspection of the object 300 through the defect determination step S200, the average value of the previously obtained pseudo data 220 is used as the feature data 320 together with the test data 320 And adds the average value of the acquired intrinsic data 120 to the classification space 410 together with the test data 320 on the feature space when the false determination is derived. Can be reset.

이러한 실시예는 무작위로 데이터를 선택하는 과정을 거치지 않고 단순 연산만으로 기 획득된 데이터의 평균값을 구해 데이터 밸런싱을 수행하게 되므로, 연산과정을 단순화하여 처리 속도를 향상시킬 수 있는 효과를 얻을 수 있다.In this embodiment, since data balancing is performed by obtaining an average value of data obtained by simple operations only without randomly selecting data, an operation process can be simplified and the processing speed can be improved.

본 발명에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 장치는 하기 되는 것과 같이 실시될 수 있다.The learning-based vision inspection apparatus through data balancing according to the present invention can be implemented as follows.

도 10은 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 장치를 나타낸 상태도이다.FIG. 10 is a state diagram illustrating a learning-based vision inspection apparatus through data balancing according to an embodiment of the present invention.

도 10에 도시된 바와 같이, 본 발명의 일 실시예에 따른 데이터 밸런싱을 통한 학습기반의 비전검사 장치는 검사대상물(300)이 이송되는 이송수단(510), 검사대상물(300)의 검사면을 일정한 경로를 따라 이동하며 연속적으로 촬영하는 촬영유닛(520), 촬영유닛(520)을 통해 획득된 영상이미지를 판독하여 피검이미지(310)를 선별하는 판독부(530), 판독부(530)를 통해 획득된 피검이미지(310)를 수식화한 피검데이터(320)를 특징공간(400)상에 도식화하는 연산부(540) 및 연산부(540)를 통해 획득된 피검데이터(320)가 저장되는 저장부(550)를 포함하고, 연산부(540)는 저장부(550)에 기 저장된 데이터와 피검데이터(310)를 대비하여 검사대상물(300)의 불량여부를 판단하고, 저장부(550)는 피검데이터(320) 및 피검데이터(320)를 통해 도출되는 가상데이터가 함께 저장될 수 있다.10, the learning-based vision inspection apparatus using data balancing according to an exemplary embodiment of the present invention includes a conveying unit 510 for conveying an object to be inspected 300, an inspection surface of the object to be inspected 300 A reading unit 530 and a reading unit 530 for reading the image image obtained through the photographing unit 520 and selecting the image 310 to be inspected, An operation unit 540 for visualizing the test image 320 obtained by modifying the image 310 obtained through the operation unit 540 on the feature space 400 and a storage unit 540 for storing the test data 320 obtained through the operation unit 540 The arithmetic unit 540 determines whether the inspection object 300 is defective by comparing the data stored in the storage unit 550 with the inspection data 310. The storage unit 550 stores the inspection data 320 and the test data 320 may be stored together.

상세하게는, 판독부(530)는 상술하였던 영상수집 단계(S110) 및 피검 영상 수집 단계(S210)가 수행되며, 촬영유닛(520)을 통해 연속적으로 검사대상물(300)을 촬영하여 얻어지는 영상을 분석하여 기 설정된 조건에 부합되는 위치의 영상이미지를 획득하게 된다.More specifically, the reading unit 530 performs the image capturing step S110 and the image capturing step S210 described above, and sequentially captures the image obtained by photographing the object 300 through the image capturing unit 520 And acquires a video image at a position that meets predetermined conditions.

연산부(540)는 사전작성 단계(S120), 클래스분류 단계(S130), 분류기준에 따른 불량판별 단계(S220)가 수행된다.The operation unit 540 performs pre-creation step S120, class classification step S130, and defect classification step S220 according to the classification criteria.

저장부(550)는 데이터 밸런싱 단계(S310) 및 분류기준 보정 단계(S320)를 포함하는 추가학습 단계(S300)가 수행된다.The storage unit 550 performs an additional learning step S300 including a data balancing step S310 and a classification criterion correction step S320.

이상과 같이 본 발명에 따른 바람직한 실시예를 살펴보았으며, 앞서 설명된 실시예 이외에도 본 발명이 그 취지나 범주에서 벗어남이 없이 다른 특정 형태로 구체화될 수 있다는 사실은 해당 기술에 통상의 지식을 가진 이들에게는 자명한 것이다. 그러므로, 상술된 실시예는 제한적인 것이 아니라 예시적인 것으로 여겨져야 하고, 이에 따라 본 발명은 상술한 설명에 한정되지 않고 첨부된 청구항의 범주 및 그 동등 범위 내에서 변경될 수도 있다.It will be apparent to those skilled in the art that the present invention can be embodied in other specific forms without departing from the spirit or scope of the invention as defined in the appended claims. It is obvious to them. Therefore, the above-described embodiments are to be considered as illustrative rather than restrictive, and the present invention is not limited to the above description, but may be modified within the scope of the appended claims and equivalents thereof.

100: 진성표본 110: 진성이미지
120: 진성데이터 130: 진성영역
200: 가성표본 210: 가성이미지
220: 가성데이터 230: 가성영역
300: 검사대상물 302: 디스플레이패널
304: 편광층 310: 피검이미지
320: 피검데이터
400: 특징공간 410: 분류기준
510: 이송수단 520: 촬영유닛
530: 판독부 540: 연산부
550: 저장부
100: intrinsic specimen 110: intrinsic image
120: intrinsic data 130: intrinsic region
200: False sample 210: False image
220: falsifying data 230:
300: object to be inspected 302: display panel
304: polarization layer 310: image to be imaged
320: Test data
400: Feature Space 410: Classification Criteria
510: transfer means 520: photographing unit
530: Reading section 540:
550:

Claims (9)

디스플레이패널에 접착된 편광층의 불량을 검사하기 위한 학습기반의 비전검사 방법으로서,
진성불량품의 샘플인 진성표본 및 가성불량품의 샘플인 가성표본을 동일한 수로 포함하여 제1학습군이 형성되고, 상기 제1학습군으로부터 수집된 영상이미지가 수식화된 진성데이터 및 가성데이터가 동일한 수로 구비되는 제1데이터군을 추출하고, 상기 제1데이터군을 특징공간상에 도식화하여 상기 진성데이터가 위치하는 진성영역 및 상기 가성데이터가 위치하는 가성영역의 경계인 분류기준을 도출하는 사전학습 단계;
검사대상물인 편광층이 접착된 디스플레이패널로부터 영상이미지로 추출되어 수식화된 피검데이터를 상기 특징공간상에 대입하고 상기 분류기준을 경계로 하여 상기 특징공간상에서 상기 피검데이터가 위치하는 영역을 판단하여 상기 검사대상물을 진성불량 또는 가성불량으로 판단하는 불량판별 단계; 및
상기 사전학습 단계에 상기 피검데이터를 적용하여 상기 특징공간상의 분류기준을 수정하되, 상기 피검데이터는 상기 진성데이터 및 상기 가성데이터가 동일한 수로 상기 제1데이터군을 구성하도록 데이터 밸런싱 단계를 통해 보정되는 추가학습 단계;를 포함하고,
상기 사전학습 단계는,
상기 제1학습군에 포함된 각각의 상기 진성표본 및 상기 가성표본으로부터 영상정보로 추출된 진성이미지 및 가성이미지로 구성되는 제1학습이미지군을 수집하는 영상 수집 단계;
상기 진성데이터 및 상기 가성데이터는 상기 제1학습이미지군에 포함된 각각의 상기 진성이미지 및 상기 가성이미지로부터 각각 n개의 특징점으로 도출되어 상기 제1데이터군을 형성하고 상기 제1데이터군을 도식화하여 인접한 특징점들을 k개의 그룹으로 그룹핑하며 각각의 그룹별로 특징점 평균을 구하여 k개의 평균점으로 구성되는 사전을 작성하는 사전작성 단계; 및
상기 진성데이터 및 상기 가성데이터를 상기 사전에 대입하여 상기 특징공간상에 도식화하고 상기 특징공간상에서 상기 진성데이터가 위치하는 진성구역 및 상기 가성데이터가 위치하는 가성구역의 경계인 분류기준을 결정하는 클래스 분류 단계;를 포함하며,
상기 불량판별 단계 및 상기 추가학습 단계가 반복 수행되는 데이터 밸런싱을 통한 학습기반의 비전검사 방법.
A learning-based vision inspection method for inspecting defects of a polarizing layer adhered to a display panel,
A first learning group is formed by including the same number of false samples that are samples of intrinsic defective products and a false sample that is a sample of false defects and the same number of the intrinsic data and the false data in which the video image collected from the first learning group is formulated Learning step of extracting a first data group that is a boundary between the first data group and the first data group and deriving a classification criterion that is a boundary between an intrinsic area where the intrinsic data is located and a pseudo area where the pseudo data is located;
The method comprising the steps of: inputting test data obtained by extracting and formulating a video image from a display panel to which a polarizing layer as an object to be inspected is adhered on the feature space, determining an area where the test data is located on the feature space, A defect judgment step of judging that the inspection object is an intrinsic defect or a false defect; And
Wherein the test data is applied to the pre-learning step to correct a classification criterion in the feature space, wherein the test data is corrected through a data balancing step such that the intrinsic data and the pseudo data constitute the first data group An additional learning step,
Wherein the pre-
An image collecting step of collecting a first learning image group composed of a genuine image and a false image extracted from each of the intrinsic specimens included in the first learning group and image information from the pseudo specimen;
Wherein the intrinsic data and the pseudo data are derived from n feature points respectively from the respective intrinsic images and the pseudo images included in the first learning image group to form the first data group and the first data group A dictionary creation step of grouping adjacent feature points into k groups and obtaining a feature point average for each group to create a dictionary composed of k average points; And
A classifying unit for classifying the intrinsic data and the pseudo data into the dictionary and drawing it on the feature space and determining a classification reference that is a boundary between the intrinsic region where the intrinsic data is located and the pseudo- Comprising:
Wherein the defective discrimination step and the additional learning step are repeatedly performed.
삭제delete 제1항에 있어서,
상기 사전작성 단계는,
케이평균 군집화를 수행하여 k개의 평균점을 기준 단어로 하는 상기 사전을 작성하는 데이터 밸런싱을 통한 학습기반의 비전검사 방법.
The method according to claim 1,
The pre-
K-means clustering to create the dictionary with k average points as a reference word.
제1항에 있어서,
상기 불량판별 단계는,
상기 검사대상물로부터 영상정보로 추출된 피검이미지로부터 얻은 n개의 특징점인 피검데이터를 상기 사전과 대비하고 상기 k개의 평균점을 기준으로 상기 피검데이터를 분류하여 상기 특징공간상에 도식화하는 데이터 밸런싱을 통한 학습기반의 비전검사 방법.
The method according to claim 1,
In the failure determination step,
Learning by data balancing in which the test data, which is n feature points obtained from the image to be inspected extracted from the image to be inspected, is compared with the dictionary and the test data is classified based on the k average points and the test data is displayed on the feature space Based vision inspection method.
제4항에 있어서,
상기 추가학습 단계는,
상기 불량판별 단계를 통해 상기 특징공간상에 도식화된 상기 피검데이터를 상기 클래스 분류 단계의 상기 진성데이터 또는 상기 가성데이터에 추가하여 상기 분류기준을 보정하는 데이터 밸런싱을 통한 학습기반의 비전검사 방법.
5. The method of claim 4,
Wherein the additional learning step comprises:
And adding the test data schematized on the feature space to the intrinsic data or the false data of the class classification step through the defect determination step to correct the classification criterion.
제5항에 있어서,
상기 데이터 밸런싱 단계는,
상기 불량판별 단계를 통해 상기 검사대상물이 진성불량으로 판단된 경우 상기 피검데이터 및 상기 사전학습 단계를 통해 기 도출된 상기 가성데이터 중 무작위로 선택된 하나의 가성데이터를 상기 클래스 분류 단계에 적용하여 상기 분류기준을 보정하고, 상기 불량판별 단계를 통해 상기 검사대상물이 가성불량으로 판단된 경우 상기 피검데이터 및 상기 사전학습 단계를 통해 기 도출된 상기 진성데이터 중 무작위로 선택된 하나의 진성데이터를 상기 클래스 분류 단계에 적용하여 상기 분류기준을 보정하는 데이터 밸런싱을 통한 학습기반의 비전검사 방법.
6. The method of claim 5,
The data balancing step includes:
If the inspected object is judged to be an intrinsic defect through the fault discrimination step, the test data and the one of the pseudo data derived in advance through the pre-learning step are randomly selected to be applied to the classification step, And a step of classifying at least one of the genuine data randomly selected from the test data and the intrinsic data pre-learned through the pre-learning step, when the inspected object is judged as a false defect through the defect determination step, Based vision inspection method using data balancing that corrects the classification standard by applying the method of claim 1. [
제5항에 있어서,
상기 데이터 밸런싱 단계는,
상기 불량판별 단계를 통해 상기 검사대상물이 진성불량으로 판단된 경우 상기 피검데이터 및 상기 사전학습 단계를 통해 기 도출된 상기 가성데이터들의 평균값을 상기 클래스 분류 단계에 적용하여 상기 분류기준을 보정하고, 상기 불량판별 단계를 통해 상기 검사대상물이 가성불량으로 판단된 경우 상기 피검데이터 및 상기 사전학습 단계를 통해 기 도출된 상기 진성데이터들의 평균값을 상기 클래스 분류 단계에 적용하여 상기 분류기준을 보정하는 데이터 밸런싱을 통한 학습기반의 비전검사 방법.
6. The method of claim 5,
The data balancing step includes:
Correcting the classification criterion by applying an average value of the test data and the pseudo data derived through the pre-learning step to the class classification step when the inspected object is determined to be a genuine defect through the defect determination step, Data balancing for correcting the classification criterion by applying an average value of the test data and the intrinsic data previously extracted through the pre-learning step to the class classification step when the inspection object is judged to be a false defect through the defect determination step Learning - based vision inspection method.
제4항에 있어서,
상기 진성이미지, 상기 가성이미지 및 상기 피검이미지는,
상기 검사대상물의 검사대상 표면을 일정한 패턴에 따라 이동하며 촬영된 영상의 수식화된 신호가 급격하게 변화되는 지점의 영상정보인 데이터 밸런싱을 통한 학습기반의 비전검사 방법.
5. The method of claim 4,
Wherein the intrinsic image, the false image,
Based vision inspection through data balancing, which is image information of a point where a surface of an object to be inspected of the object to be inspected moves according to a certain pattern and a modulated signal of the imaged image is abruptly changed.
삭제delete
KR1020160062783A 2016-05-23 2016-05-23 Vision inspection method based on learning data KR101782363B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160062783A KR101782363B1 (en) 2016-05-23 2016-05-23 Vision inspection method based on learning data
CN201780001010.9A CN109462999B (en) 2016-05-23 2017-05-23 Visual inspection method based on learning through data balance and visual inspection device using same
PCT/KR2017/005326 WO2017204519A2 (en) 2016-05-23 2017-05-23 Vision inspection method using data balancing-based learning, and vision inspection apparatus using data balancing-based learning utilizing vision inspection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160062783A KR101782363B1 (en) 2016-05-23 2016-05-23 Vision inspection method based on learning data

Publications (1)

Publication Number Publication Date
KR101782363B1 true KR101782363B1 (en) 2017-09-27

Family

ID=60036118

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160062783A KR101782363B1 (en) 2016-05-23 2016-05-23 Vision inspection method based on learning data

Country Status (3)

Country Link
KR (1) KR101782363B1 (en)
CN (1) CN109462999B (en)
WO (1) WO2017204519A2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200072717A (en) * 2018-12-13 2020-06-23 재단법인대구경북과학기술원 Artificial inteligence learning methods and apparatus using analysis of data frequency value
KR20200094846A (en) * 2019-01-23 2020-08-10 한국과학기술원 Method and apparatus for training neural network
US11127134B2 (en) 2018-10-01 2021-09-21 Skc Co., Ltd. Film defect detection method and system
CN116484262A (en) * 2023-05-06 2023-07-25 南通大学 Textile equipment fault auxiliary processing method based on text classification

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019208754A1 (en) * 2018-04-26 2019-10-31 大王製紙株式会社 Sorting device, sorting method and sorting program, and computer-readable recording medium or storage apparatus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3756507B1 (en) * 2004-09-17 2006-03-15 シャープ株式会社 Image processing algorithm evaluation method and apparatus, image processing algorithm generation method and apparatus, program, and program recording medium
JP2006292615A (en) 2005-04-13 2006-10-26 Sharp Corp Visual examination apparatus, visual inspection method, program for making computer function as visual inspection apparatus, and recording medium

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0743126A (en) * 1993-08-02 1995-02-10 Nikon Corp Pattern inspection device
WO2001041068A1 (en) * 1999-11-29 2001-06-07 Olympus Optical Co., Ltd. Defect inspecting system
JP2002174603A (en) * 2000-12-08 2002-06-21 Olympus Optical Co Ltd Defect classifying method
JP4504612B2 (en) * 2002-08-12 2010-07-14 株式会社日立ハイテクノロジーズ Foreign matter inspection method and foreign matter inspection device
DE602005022753D1 (en) * 2004-11-19 2010-09-16 Koninkl Philips Electronics Nv STRATIFICATION PROCEDURE FOR OVERCOMING INCORRECT FALLANTS IN COMPUTER-AIDED LUNG KNOT FALSE POSITIVE REDUCTION
CN101140619A (en) * 2006-09-05 2008-03-12 大日本网目版制造株式会社 Image processing device, data processing device and parameter adjusting method
KR20100068734A (en) * 2008-12-15 2010-06-24 (주)워프비전 Method for verifying defective on printed circuit board
US9219886B2 (en) * 2012-12-17 2015-12-22 Emerson Electric Co. Method and apparatus for analyzing image data generated during underground boring or inspection activities
KR20150095053A (en) * 2014-02-12 2015-08-20 한화테크윈 주식회사 Validity verification apparatus of product inspection and method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3756507B1 (en) * 2004-09-17 2006-03-15 シャープ株式会社 Image processing algorithm evaluation method and apparatus, image processing algorithm generation method and apparatus, program, and program recording medium
JP2006292615A (en) 2005-04-13 2006-10-26 Sharp Corp Visual examination apparatus, visual inspection method, program for making computer function as visual inspection apparatus, and recording medium

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11127134B2 (en) 2018-10-01 2021-09-21 Skc Co., Ltd. Film defect detection method and system
KR20200072717A (en) * 2018-12-13 2020-06-23 재단법인대구경북과학기술원 Artificial inteligence learning methods and apparatus using analysis of data frequency value
KR102209505B1 (en) * 2018-12-13 2021-02-01 재단법인대구경북과학기술원 Artificial inteligence learning methods and apparatus using analysis of data frequency value
KR20200094846A (en) * 2019-01-23 2020-08-10 한국과학기술원 Method and apparatus for training neural network
KR102223070B1 (en) 2019-01-23 2021-03-05 한국과학기술원 Method and apparatus for training neural network
CN116484262A (en) * 2023-05-06 2023-07-25 南通大学 Textile equipment fault auxiliary processing method based on text classification
CN116484262B (en) * 2023-05-06 2023-12-08 南通大学 Textile equipment fault auxiliary processing method based on text classification

Also Published As

Publication number Publication date
CN109462999A (en) 2019-03-12
CN109462999B (en) 2021-05-07
WO2017204519A2 (en) 2017-11-30
WO2017204519A3 (en) 2018-08-09

Similar Documents

Publication Publication Date Title
KR101782363B1 (en) Vision inspection method based on learning data
CN110402487B (en) Method and apparatus for classifying defects detected from a wafer
EP4280153A1 (en) Defect detection method, apparatus and system
CN109946303A (en) Check device and method
JP4908995B2 (en) Defect classification method and apparatus, and defect inspection apparatus
US5933519A (en) Cytological slide scoring apparatus
CN108520514B (en) Consistency detection method for electronic elements of printed circuit board based on computer vision
CN111047655B (en) High-definition camera cloth defect detection method based on convolutional neural network
CN106529559A (en) Pointer-type circular multi-dashboard real-time reading identification method
CN111242899B (en) Image-based flaw detection method and computer-readable storage medium
CN106290392A (en) A kind of little micro-bearing surface pitting defects online test method and system thereof
CN106355188A (en) Image detection method and device
JP2013167596A (en) Defect inspection device, defect inspection method, and program
JP5718781B2 (en) Image classification apparatus and image classification method
WO2015100099A1 (en) Defect discovery and inspection sensitivity optimization using automated classification of corresponding electron beam images
CN116152242B (en) Visual detection system of natural leather defect for basketball
KR101782364B1 (en) Vision inspection method based on learning data
KR101867015B1 (en) Device and method for inspecting defect of glass and inspection system
CN110458809B (en) Yarn evenness detection method based on sub-pixel edge detection
CN108508023A (en) The defect detecting system of end puller bolt is contacted in a kind of railway contact line
CN117392042A (en) Defect detection method, defect detection apparatus, and storage medium
CN110866931A (en) Image segmentation model training method and classification-based enhanced image segmentation method
JPH08189904A (en) Surface defect detector
KR101929669B1 (en) The method and apparatus for analyzing an image using an entropy
CN117237747A (en) Hardware defect classification and identification method based on artificial intelligence

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant