KR20180117532A - 결함 검출 방법, 결함 검출을 위한 시스템 및 훈련 방법 - Google Patents

결함 검출 방법, 결함 검출을 위한 시스템 및 훈련 방법 Download PDF

Info

Publication number
KR20180117532A
KR20180117532A KR1020180037656A KR20180037656A KR20180117532A KR 20180117532 A KR20180117532 A KR 20180117532A KR 1020180037656 A KR1020180037656 A KR 1020180037656A KR 20180037656 A KR20180037656 A KR 20180037656A KR 20180117532 A KR20180117532 A KR 20180117532A
Authority
KR
South Korea
Prior art keywords
patches
image
defects
display panel
moment
Prior art date
Application number
KR1020180037656A
Other languages
English (en)
Other versions
KR102281106B1 (ko
Inventor
이장환
이웨이 장
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Publication of KR20180117532A publication Critical patent/KR20180117532A/ko
Application granted granted Critical
Publication of KR102281106B1 publication Critical patent/KR102281106B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G06N99/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/45—Analysis of texture based on statistical description of texture using co-occurrence matrix computation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/08—Fault-tolerant or redundant circuits, or circuits in which repair of defects is prepared
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/10—Dealing with defective pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

디스플레이 패널에서 이미지의 하나 이상의 결함을 검출하는 방법은, 상기 디스플레이 패널의 상기 이미지를 수신하는 단계; 상기 이미지를 복수의 패치들로 분할하는 단계; 상기 복수의 패치들에 대한 복수의 특징 벡터들을 생성하는 단계; 그리고 멀티 클래스 서포트 벡터 머신을 이용해, 상기 복수의 특징 벡터들 각각에 기초하여 상기 복수의 패치들 각각을 분류하여 상기 하나 이상의 결함을 검출하는 단계를 포함하고, 상기 복수의 패치들 각각은 m 픽셀 x n 픽셀 영역(m과 n은 1보다 크거나 같은 정수)에 대응하고, 상기 복수의 특징 벡터들 각각은 상기 복수의 패치들 각각에 대응하고, 하나 이상의 이미지 텍스처 특징 및 하나 이상의 이미지 모멘트 특징을 포함한다.

Description

결함 검출 방법, 결함 검출을 위한 시스템 및 훈련 방법{METHOD FOR DEFECT DETECTION, SYSTEM FOR DEFECT DETECTION AND TRAINING METHOD THEREFOR}
본 기재는 결함 검출을 위한 시스템 및 그 시스템을 이용한 결함 검출 방법에 관한 것이다.
최근, 새로운 디스플레이 기술이 시장에 소개됨에 따라 디스플레이 산업이 급속하게 성장하고 있다. 모바일 장치, TV, 가상 현실(VR) 헤드셋 및 기타 디스플레이는 보다 높은 해상도와 보다 정확한 색상 재현으로 디스플레이를 구동하는 데 있어 지속적인 힘이 되었다. 새로운 유형의 디스플레이 패널 모듈 및 생산 방법이 사용됨에 따라 종래의 방법을 사용하여 표면 결함을 검사하기가 어려워졌다.
본 기재는 디스플레이 패널의 이미지의 결함의 검출 속도 및 정확성을 향상시키기 위한 것이다.
본 발명의 실시 형태는, 화이트 스폿 무라 결함의 검출과 같은 결함 검출의 속도 및 정확성을 향상시키기 위해 머신 학습을 이용하는 자동화된 검사 시스템 및 방법에 관한 것이다. 한 실시예에 따른 자동화된 검사 시스템은 디스플레이 장치에서 촬영된 이미지를 수신하고, 이미지를 패치들로 분할하고, 각 패치의 이미지 특징들을 계산하고, 훈련된 서포트 벡터 머신(SVM)을 이용하여 계산된 특징들을 이용해 화이트 스폿 무라와 같은 결함을 포함하는 패치를 식별한다. 한 실시예에 따르면, 상기 특징들은 텍스처 특징과 이미지 모멘트의 조합을 포함한다.
본 발명의 한 실시예에 따라, 디스플레이 패널에서 이미지의 하나 이상의 결함을 검출하는 방법이 제공되는데, 상기 방법은: 상기 디스플레이 패널의 상기 이미지를 수신하는 단계; 상기 이미지를 복수의 패치들로 분할하는 단계; 상기 복수의 패치들에 대한 복수의 특징 벡터들을 생성하는 단계; 그리고 멀티 클래스 서포트 벡터 머신(SVM)을 이용해, 상기 복수의 특징 벡터들 각각에 기초하여 상기 복수의 패치들 각각을 분류하여 상기 하나 이상의 결함을 검출하는 단계를 포함하고, 상기 복수의 패치들 각각은 m 픽셀 x n 픽셀 영역(m과 n은 1보다 크거나 같은 정수)에 대응하고, 상기 복수의 특징 벡터들 각각은 상기 복수의 패치들 각각에 대응하고, 하나 이상의 이미지 텍스처 특징 및 하나 이상의 이미지 모멘트 특징을 포함한다.
복수의 패치는 서로 중첩하지 않을 수 있다.
상기 복수의 패치들의 각 패치는 평균적인 결함의 크기보다 클 수 있다.
상기 복수의 패치들의 각 패치는 상기 디스플레이 패널의 32 Х 32 픽셀 영역에 대응할 수 있다.
상기 하나 이상의 이미지 텍스처 특징은 대비 계조 레벨 동시 발생 매트릭스(GLCM) 텍스처 특징 및 비유사 GLCM 텍스처 특징 중 적어도 하나를 포함할 수 있다.
상기 하나 이상의 이미지 모멘트 특징은 3차 중심 모멘트(μ30), 제5 Hu 불변 모멘트(I5) 및 제1 Hu 불변 모멘트(I1) 중 적어도 하나를 포함할 수 있다.
상기 멀티 클래스 SVM은 결함을 포함하는 이미지 및 결함을 포함하지 않는 이미지 모두를 이용해 훈련될 수 있다.
상기 복수의 패치들을 분류하는 단계는, 상기 멀티 클래스 SVM에 상기 복수의 패치들에 대한 상기 복수의 특징 벡터들을 제공하여 상기 복수의 특징 벡터들을 바탕으로 상기 하나 이상의 결함을 식별하는 단계; 그리고 상기 복수의 패치들 중 상기 식별된 하나 이상의 결함을 포함하는 하나 이상의 패치를 결함으로 레이블링하는 단계를 포함할 수 있다.
한 실시예에 따른, 디스플레이 패널에서 이미지의 하나 이상의 결함을 검출하기 위한 시스템을 훈련하는 방법이 제공되며, 상기 방법은: 상기 디스플레이 패널의 상기 이미지를 수신하는 단계; 상기 이미지를 상기 디스플레이 패널의 상기 이미지에 각각 대응하는 제1 복수의 패치들 및 제2 복수의 패치들로 분해하는 단계; 각각이 상기 제1 및 제2 복수의 패치들 중 하나에 대응하고 결함이 있거나 결함이 없다는 것을 나타내는 복수의 라벨들을 수신하는 단계; 각각이 상기 제1 및 제2 복수의 패치들 중 하나에 대응하고 하나 이상의 이미지 텍스처 특징 및 하나 이상의 이미지 모멘트 특징을 포함하는 복수의 특징 벡터들을 생성하는 단계; 그리고 멀티 클래스 서포트 벡터 머신(SVM)에 상기 복수의 특징 벡터들 및 상기 복수의 라벨을 제공함으로써 하나 이상의 결함을 검출하도록 상기 SVM을 훈련하는 단계를 포함한다.
상기 제2 복수의 패치들은 상기 제1 복수의 패치들로부터 오프셋되어 있고 상기 제1 복수의 패치들과 중첩할 수 있다.
상기 복수의 패치들 각각은 상기 이미지의 m Х n 픽셀 영역(m 및 n은 1보다 크거나 같은 정수)에 대응할 수 있다.
상기 이미지를 분해하는 단계는, 상기 디스플레이 패널의 상기 이미지에 각각 대응하는 제3 복수의 패치들 및 제4 복수의 패치들로 상기 이미지를 더 분해하는 단계를 포함하고, 상기 복수의 라벨들은 상기 제3 및 제4 복수의 패치들에 대응하고 결함이 있거나 결함이 없다는 것을 나타내는 부가적인 라벨들을 더 포함하고, 상기 복수의 특징 벡터들 각각은 상기 제1, 제2, 제3 및 제4 복수의 패치들 중 하나에 대응하고, 하나 이상의 이미지 텍스처 특징들 및 하나 이상의 이미지 모멘트 특징을 포함하며, 상기 제1 내지 제4 복수의 패치들 각각은 상기 이미지의 32 Х 32 픽셀 영역에 대응하고, 상기 제1 내지 제4 복수의 패치 중 하나 이상은 상기 영상의 길이 방향 및 폭 방향 중 적어도 하나로 16 픽셀만큼 서로 오프셋되어 있을 수 있다.
상기 하나 이상의 이미지 텍스처 특징은 대비 계조 레벨 동시 발생 매트릭스(GLCM) 텍스처 특징과 비유사 GLCM 텍스처 특징 중 적어도 하나를 포함할 수 있다.
상기 하나 이상의 이미지 모멘트 특징은 3차 중심 모멘트(μ30), 제5 Hu 불변 모멘트(I5) 및 제1 Hu 불변 모멘트(I1) 중 적어도 하나를 포함할 수 있다.
한 실시예에 따른, 디스플레이 패널에서 하나 이상의 결함을 검출하기 위한 시스템이 제공되며, 상기 시스템은: 프로세서; 그리고 상기 프로세서에 연결되어 있는 프로세서 메모리를 포함하고, 상기 프로세서 메모리는. 상기 프로세서에 의해 실행될 때 상기 프로세서가, 상기 디스플레이 패널의 상기 이미지를 수신하는 단계; 상기 이미지를 복수의 패치들로 분할하는 단계; 상기 복수의 패치들에 대한 복수의 특징 벡터들을 생성하는 단계; 그리고 멀티 클래스 서포트 벡터 머신(SVM)을 이용해, 상기 복수의 특징 벡터들 각각에 기초하여 상기 복수의 패치들 각각을 분류하여 상기 하나 이상의 결함을 검출하는 단계를 수행하도록 하는 지시들을 저장한다.
상기 복수의 패치들은 서로 중첩하지 않고, 상기 복수의 패치들의 각 패치는 평균적인 결함의 크기보다 클 수 있다.
상기 하나 이상의 이미지 텍스처 특징은 대비 계조 레벨 동시 발생 매트릭스(GLCM) 텍스처 특징 및 비유사 GLCM 텍스처 특징 중 적어도 하나를 포함할 수 있다.
상기 하나 이상의 이미지 모멘트 특징은 3차 중심 모멘트(μ30), 제5 Hu 불변 모멘트(I5) 및 제1 Hu 불변 모멘트(I1) 중 적어도 하나를 포함할 수 있다.
상기 멀티 클래스 SVM은 결함을 포함하는 이미지 및 결함을 포함하지 않는 이미지 모두를 이용해 훈련되어 있을 수 있다.
상기 프로세스는, 상기 복수의 패치들 각각을 분류하는 단계에서, 상기 멀티 클래스 SVM에 상기 복수의 패치들에 대한 상기 복수의 특징 벡터들을 제공하여 상기 복수의 특징 벡터들을 바탕으로 상기 하나 이상의 결함을 식별하고, 상기 복수의 패치들 중 상기 식별된 하나 이상의 결함을 포함하는 하나 이상의 패치를 결함으로 레이블링할 수 있다.
본 실시예에 따르면 디스플레이 패널의 이미지의 결함의 검출 속도 및 정확성을 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 영상 획득 및 결함 검출 시스템의 블록도이다.
도 2는 본 발명의 실시예에 따른 결함 검출부의 블록도이다.
도 3a는 본 발명의 실시예에 따른, 훈련 모드에서 이미지 분해부에 의해 생성된 패치의 몇 개의 세트를 도시한다.
도 3b는 본 발명의 실시예에 따른, 디스플레이 패널의 분해된 이미지 안의 레이블링된 결함 포함 패치들을 도시한다.
도 4a는 본 발명의 실시예에 따른, 디스플레이 패널의 하나 이상의 결함을 검출하기 위한 결함 검출 시스템을 훈련하기 위한 프로세스를 나타내는 흐름도이다.
도 4b는 본 발명의 실시예에 따른, 결함 검출 시스템을 이용하여 디스플레이 패널에서 하나 이상의 화이트 스폿 결함을 검출하는 프로세스를 나타내는 흐름도이다.
아래의 상세한 설명은 본 발명에 따라 제공되는 결함 검출을 위한 시스템 및 방법의 예시적인 실시예의 설명으로서, 본 발명이 이해되거나 활용될 수 있는 유일한 형태를 나타내는 것은 아니다. 아래의 상세한 설명은 도시된 실시예와 관련하여 본 발명의 특징을 설명한다. 그러나, 본 발명의 사상 및 범위 내에 포함되도록 의도된 다른 실시예들에 의해 동일하거나 균등한 기능 및 구조가 달성될 수 있다. 본 명세서의 다른 곳에서도 언급된 바와 같이, 동일한 부호 또는 번호는 동일한 구성 요소 또는 특징을 나타낸다.
도 1은 본 발명의 한 실시예에 따른 이미지 획득 및 결함 검출 시스템(100)의 블록도이다.
도 1에 도시된 바와 같이, 이미지 획득 및 결함 검출 시스템(100)(간단히, 결함 검출 시스템이라고도 함)은 디스플레이 패널(102)의 이미지를 사용하여 디스플레이 패널(102)의 결함을 검출하도록 구성된다. 한 실시예에 따르면, 결함 검출 시스템(100)은 테스트 대상인 디스플레이 패널(102)에서 화이트 스폿(white spot) 무라 결함(Mura defect)(예를 들어, 휘도 비균일성(brightness non-uniformity))의 존재를 검출하고 위치를 파악하도록 구성될 수 있다. 한 실시예에 따르면, 블랙 스폿(black spot), 화이트 줄무늬(white streaks), 수평 라인 무라(horizontal line Muras), 유리의 결함, 먼지, 얼룩 등과 같은 디스플레이 패널(102)에 존재할 수 있는 모든 다른 유형의 결함을 무시하면서 화이트 스폿 무라 결함만이 검출될 수 있다.
한 실시예에 따르면, 결함 검출 시스템(100)은 카메라(104) 및 결함 검출부(106)를 포함한다. 카메라(104)는, 디스플레이 패널(102)의 상부면(예를 들어, 표시면)의 이미지(예를 들어, RAW, 비압축(uncompressed) 이미지)를 캡쳐(capture)할 수 있고, 한 실시예에 따르면 디스플레이 패널(102)은 테스트 또는 제조 설비의 컨베이어 벨트를 따라 이동하고 있을 수 있다. 한 실시예에 따르면, 이미지는 디스플레이 패널(102)의 전체 상부면의 비압축 이미지(예를 들어, RAW 포맷을 가지는 이미지)일 수 있고, 카메라(104)는 디스플레이 패널(102)의 모든 픽셀 또는 거의 모든 픽셀을 캡쳐할 수 있다. 카메라(104)는 캡쳐한 이미지를 결함 검출부(106)로 전송할 수 있다. 결함 검출부(106)는 이미지를 분석하여 결함(예를 들어, 화이트 스폿 무라 결함)의 존재를 검출할 수 있다.
한 실시예에 따르면, 프로세서(108) 및 프로세서(108)에 연결된 메모리(110)를 포함하는 결함 검출부(106)는 캡쳐된 이미지를 검출을 위한 패치들(patches)로 분할한다. 그 다음, 훈련된 기계 학습부(trained machine learning component)는 화이트 스폿 무라 결함과 같은 결함의 경우를 위해 각 패치를 분석한다. 한 실시예에 따르면, 기계 학습부는 예를 들어 멀티 클래스 SVM(multi-class SVM)과 같은 서포트 벡터 머신(support vector machine, SVM)을 포함한다. 서포트 벡터 머신은, 결함을 가지고 있는 경우(예를 들어, 화이트 스폿 무라 결함) 또는 결함이 없는 경우의 두 카테고리 중 하나로 입력을 분류하도록 구성되어 있는 관리형 학습 모델(supervised learning model)(그리고, 사전 결정된 수학 공식이 아님)이다. 결함 검출부(106)는 각 이미지 패치에 대한 특징들의 조합을 생성하고, 분류를 위해 이들을 SVM에 제공한다. 예를 들어, 이러한 특징들은 텍스처 특징(texture features)과 이미지 모멘트(image moments)의 조합을 포함할 수 있다. SVM은 각 이미지 패치를 결함을 가지거나 가지지 않는 것으로(예를 들어, 화이트 스폿 무라의 경우) 분류하고, 결함(예를 들어, 화이트 스폿 무라의 경우)이 존재하는 이미지 패치를 표시(labeling)한다.
한 실시예에 따르면, SVM은 아래에서 더 상세히 설명되는 바와 같이, 조작자(112)에 의해 훈련될 수 있다. 조작자(112)는 인간 조작자일 수 있다.
도 2는 본 발명의 한 실시예에 따른 결함 검출부(106)를 더 상세하게 도시한 블록도이다.
도 2를 참조하면, 결함 검출부(106)는 이미지 분해부(200), 특징 추출부(202) 및 SVM(예를 들어, 멀티 클래스 SVM)(204)을 포함한다. 결함 검출부(106)는 훈련 모드 및 검출 모드에서 동작하도록 구성된다.
한 실시예에 따르면, 이미지 분해부(200)는 훈련 모드에서 동작할 때 카메라(104)로부터 수신한 디스플레이 패널의 이미지를 패치들의 여러 세트로 분해(예를 들어, 분할 또는 구획)하도록 구성된다. 각 세트의 패치들은 디스플레이 패널의 픽셀의 전부 또는 거의 전부를 커버할 수 있다. 즉, 각 세트의 패치들은 다른 모든 세트의 대응하는 패치들과 중첩할 수 있다.
특징 추출부(202)는 이미지 분해부(200)에 의해 생성된 개별 패치들에 대해 동작하여 각 패치의 이미지 특징들을 추출한다. 한 실시예에 따르면, 특징들은 하나 이상의 이미지 텍스처 특징 및 하나 이상의 이미지 모멘트 특징을 포함한다. 한 실시예에 따르면, 이미지 텍스처 특징은 대비 계조 레벨 동시 발생 매트릭스(contrast grey-level co-occurrence matrix, GLCM) 텍스처 특징 및 비유사 GLCM 텍스처 특징 중 적어도 하나를 포함할 수 있다. 이미지 모멘트 특징은, 3차 중심 모멘트(centroid moment)(μ30), 제5 Hu 불변 모멘트(Hu invariant moment)(I5), 그리고 제1 Hu 불변 모멘트(I1) 중에서 적어도 하나를 포함할 수 있다.
당업자에 의해 이해되는 바와 같이, GLCM 특징들은, 한 이미지에서 특정 공간 관계에 있으면서 특정 휘도 값들(예를 들어, 계조 레벨들)을 가지는 픽셀의 쌍들이 얼마나 자주 발생하는지를 계산함으로써 이미지의 텍스처를 특성화하는 것을 돕는다. 또한, 3차 중심 모멘트(μ30)는 병진 불변자(translational invariant)이고, 제5 Hu 불변 모멘트(I5) 및 제1 Hu 불변 모멘트(I1)는 병진(translation), 스케일 및 회전 변환에 대해 불변자이다. 이러한 이미지 모멘트 특징들의 공식적인 정의들은 명세서 마지막에 기재된 내용에서 찾을 수 있으며, 그 전체 내용은 본 명세서에 참고로 포함된다.
특징 추출부(202)는 각각의 개별 패치에 대해 상기한 하나 이상의 이미지 텍스처 특징 및 상기한 하나 이상의 이미지 모멘트 특징을 포함하는 특징 벡터를 구성할 수 있다. 한 예에 따르면, 구성된 특징 벡터는 3차 중심 모멘트(μ30), 대비 GLCM 텍스처 특징, 비유사 GLCM 텍스처 특징, 제5 Hu 불변 모멘트(I5) 및 제1 Hu 불변 모멘트(I1)를 포함할 수 있다. 그러나, 본 발명의 실시예들은 이에 제한되지 않는다. 예를 들어, 구성된 특징 벡터는 제5 Hu 불변 모멘트(I5) 및 제1 Hu 불변 모멘트(I1) 및/또는 비유사 GLCM 텍스처 특징 중 하나 또는 모두를 배제할 수 있다. 훈련 단계에 있을 때, 특징 추출부(202)는 구성된 벡터를 제1 훈련 데이터 세트로서 SVM(204)에 전송한다.
이미지 분해부(200)에 의해 생성된 패치 세트들은, 개별 패치들을 결함(예를 들어, 화이트 스폿 무라 결함)의 존재에 대해 수동으로 검사하고 각 패치를 결함이 있거나 결함이 없는 것으로 수동으로 표시(레이블링)하는 조작자(112)에게도 전송될 수 있다. 그 결과는 제2 훈련 데이터 세트로서 SVM(204)에 제공된다. 한 실시예에 따르면, 조작자(112)는 블랙 스폿, 화이트 줄무늬 등과 같은 다른 모든 타입의 결함은 배제하고 화이트 스폿 무라 결함만을 식별할 수 있다. 이와 같이, 한 실시예에 따르면, 멀티 클래스 SVM(204)은 화이트 스폿 무라 결함만 검출하고 다른 모든 타입의 결함은 무시하도록 훈련될 수 있다.
다음, SVM(예를 들어, 멀티 클래스 SVM)(204)은, 결함(예를 들어, 화이트 스폿 무라 결함) 검출을 위한 결함 검출부(106)를 훈련하기 위해, 결함 패치 및 비결함 패치 모두를 포함하는 각 패치의 특징 벡터들뿐만 아니라 결함 또는 비결함의 대응하는 라벨(또는 표시)을 사용한다. 한 예에 따르면, SVM(204)은 단일 이미지로부터의 패치들뿐만 아니라 서로 다른 디스플레이 패널로부터의 여러 서로 다른 이미지들로부터의 패치들을 사용하여 훈련할 수 있다.
훈련이 완료되면, 결함 검출부(106)는 검출 모드에서 동작할 수 있고, 그 동안에 SVM(204)은 조작자(112)를 대체하여 디스플레이 패널(102)의 이미지의 패치들을 레이블링(표시)할 수 있다. 한 실시예에 따르면, 훈련 모드에서, 이미지 분해부(200)는 디스플레이 패널(102)의 캡쳐된 이미지를 디스플레이 패널(102)의 모든 픽셀 또는 거의 모든 픽셀을 커버하는 한 세트(예를 들어, 단지 하나의 세트)의 비중첩 패치들로 분해(예를 들어, 분할 또는 구획)할 수 있다. 그 다음, 특징 추출부(202)는 전술한 바와 같이 훈련 모드를 참조하여 비중첩 패치들의 세트에 동작하여 각 패치의 이미지 특징을 추출하고 각 패치에 대한 특징 벡터를 생성할 수 있다. 그 다음, SVM(204)은 생성된 특징 벡터들을 이용하여 각 패치를 결함 또는 비결함으로 분류할 수 있다.
한 실시예에서, 각 패치의 크기는 전형적인 결함의 크기(예를 들어, 화이트 스폿 무라 결함의 평균 크기)보다 크지만, 또한 디스플레이 패널 상의 결함의 위치를 결정할 때 충분한 세분성(granularity)을 제공하기에 충분히 작도록 선택될 수 있다.
따라서, 실시예들에 따르면, 디스플레이 패널(102)을 시각적으로 검사하고 이미지 특징들(예를 들어, 3차 중심 모멘트(μ30), 대비 GLCM 및 비유사 GLCM 텍스처 특징, 및 제1 및 제5 Hu 불변 모멘트(I1 및 I5))의 적절한 세트를 추출함으로써, 결함 검출부(106)는 화이트 스폿 무라 결함과 같은 특정 타입의 결함의 존재를 검출하고 위치를 찾을 수 있다. 이는 원하는 결함을 검출하고 및 위치를 파악하는 데 있어 높은 정밀도를 제공하고, 특정 경우에 결함을 보상할 수 있게 해 줄 수 있다.
한 예에 따르면, 결함 검출부(106)에 의해 결함을 포함하는 것으로 식별된 디스플레이 패널은 불합격되어 제품 라인으로부터 제거될 수 있다. 그러나, 다른 실시예들에 따르면, 결함으로 레이블링(표시)된 패치들의 위치(예를 들어, 좌표들)에 의해 식별되는 바와 같은 결함(예를 들어, 화이트 스폿 무라 결함)들의 위치는, 결함을 전자적으로(electronically) 보상하기 위해 이용될 수 있고, 이에 따라 디스플레이 패널의 결함을 실질적으로 제거할 수 있다. 따라서, 결함 검출부(106)는 디스플레이 패널의 결함 보상을 용이하게 함으로써, 디스플레이 패널의 제조/생산 수율을 향상시키는 데 도움을 줄 수 있다. 한 실시예에 따르면, 결함 검출부(106) 및 전자적 보상은 결함이 더 이상 보이지 않을 때까지 다양한 보상 파라미터를 통해 반복하는 루프를 형성할 수 있다. 따라서, 식별된 화이트 스폿 무라의 각 경우에 대해 디스플레이 패널에 보상 파라미터가 적용되고, 디스플레이 패널의 새로운 이미지가 얻어지고, 그 이미지는 결함 검출부(106)에 다시 제공될 수 있다.
당업자에 의해 이해될 수 있는 바와 같이, 이미지 분해부(200), 특징 추출부(202), 멀티 클래스 SVM(204) 및 결함 검출 시스템(106)의 다른 논리 구성 요소들은 프로세서(108) 및 메모리(110)에 의해 표현될 수 있다. 메모리(110)는 프로세서(108)에 의해 실행될 때 프로세서(108)가 결함 검출 시스템(106)(예를 들어, 이미지 분해부(200), 특징 추출부(202), 멀티 클래스 SVM(204))에 속하는 기능들을 수행하도록 하는 지시들을 저장하고 있을 수 있다.
도 3a는 본 발명의 한 실시예에 따라 훈련 모드에서 이미지 분해부(200)에 의해 생성된 패치들(300)의 몇몇 세트들을 도시한다. 도 3b는 본 발명의 한 실시예에 따라 디스플레이 패널의 분해된 이미지 내의 레이블링(표시)된 결함 포함 패치들을 도시한다.
도 3a를 참조하면, 이미지(301)는, 테스트 이미지를 표시할 수 있는 디스플레이 패널(102)의 상부면(예를 들어, 표시면)의 이미지로서 카메라(104)에 의해 캡쳐된 이미지를 나타낸다. 테스트 이미지는 연속적인 회색 이미지와 같이 결함(예를 들어, 화이트 스폿 무라 결함)의 존재를 테스트하기 위한 임의의 적합한 이미지를 포함할 수 있다. 이미지(301)는 디스플레이 패널(102)의 모든 픽셀을 포함할 수 있다. 그러나, 다른 실시예에 따르면, 이미지(301)는 디스플레이 패널(102)의 일부만을 커버할 수도 있다. 이미지 분해부(200)는 이미지(301)의 코너(A)로부터 시작하는 동일한 크기의 이미지 패치들(303)을 포함하는 제1 복수의 패치들(302)로 이미지(301)를 분할할 수 있다. 도 3a의 예에서, 코너(A)는 이미지(301)의 상부 좌측 코너를 나타내고, 패치들(303)은 정사각형 형상으로 도시되어 있으나, 본 발명의 실시예가 이에 한정되는 것은 아니며, 코너(A)는 이미지의 임의의 적합한 코너(예를 들어, 좌측 하단, 우측 상단 등의 코너)일 수 있고, 패치들(303)은 사각형의 형상일 수도 있다.
일반적으로, 각 이미지 패치(303)의 크기는, 그것이 포함하는 디스플레이 픽셀들의 수와 관련하여, m Х n 픽셀(m 및 n은 양의 정수)로 표현될 수 있다. 한 실시예에서, 각 이미지 패치(303)의 크기는 전형적인 결함의 크기보다 크게(예를 들어, 화이트 스폿 무라 결함의 평균 크기보다 크게) 설정될 수 있다. 예를 들어, 각 패치(303)는 32 Х 32 픽셀일 수 있고, 이 경우 1920 Х 1080 픽셀의 해상도를 갖는 디스플레이 패널(102)의 이미지(301) 내의 제1 복수의 패치들(302)은 2040 개의 패치들을 포함할 수 있다. 이들 패치들 중, 코너(A)와 반대쪽에 위치하는 이미지의 변들과 중첩하는 패치들은 부분 이미지 패치들일 수 있다.
한 실시예에 따르면, 훈련 모드에서, 이미지 분해부(200)는 이미지(301)를 패치들의 몇 개의 다른 중첩하는 세트로 더 분할할 수 있다. 예를 들어, 이미지 분해부(200)는 각각이 이미지 패치들(305, 307, 309)을 포함하는 제2, 제3 및 제4 복수의 패치들(304, 306, 308)로 이미지(301)를 더 분할할 수 있고, 이미지 패치들(305, 307, 309) 각각의 크기는 이미지 패치(303)의 크기와 동일할 수 있다.
각각의 패치 세트는 제1 방향(예를 들어, x축으로 표시된 바와 같은 이미지(301)의 길이 방향)으로 d1 오프셋 및/또는 제2 방향(예를 들어, y축으로 표시된 바와 같은 이미지(301)의 폭 방향)으로 d2 오프셋만큼 다른 패치 세트로부터 오프셋(offset)되어 있을 수 있다. 예를 들어, 제2 복수의 패치들(304)은 제1 방향(예를 들어, x축을 따라)의 오프셋(d1)만큼 제1 복수의 패치들(302)로부터 오프셋될 수 있고, 제3 복수의 패치들(306)은 제2 방향(예를 들어, y축을 따라)의 오프셋(d2)만큼 제1 복수의 패치들(302)로부터 오프셋될 수 있고, 제4 복수의 패치들(308)은 제1 방향 및 제2 방향으로 각각 오프셋(d1) 및 오프셋(d2)만큼 제1 복수의 패치들(302)로부터 오프셋될 수 있다. 한 실시예에 따르면, 각각의 패치 세트는, 패치들 각각이 선행하는 패치 세트의 대응하는 패치와 한 패치의 반만큼 중첩하도록, 선행하는 패치 세트로부터 오프셋될 수 있다. 예를 들어, 각 패치(303/305/307/309)가 32 Х 32 픽셀의 크기를 가질 때, 오프셋(d1) 및 오프셋(d2) 각각은 16 픽셀과 같을 수 있다.
도 3b를 참조하면, 훈련 모드에서, 이미지(301) 내의 임의의 결함(예를 들어, 화이트 스폿 무라 결점)(310)을 발견하고 결함의 전부 또는 일부를 포함하는 이미지 패치들을 레이블링(표시)하는 훈련된 조작자에 의해 이미지 패치들 각각이 검사된다. 예를 들어, 결함을 포함하는 패치들("결함 패치"라 함)(311)는 '1'로 레이블링(표시)될 수 있는 반면, 한 예에 따르면 나머지(예를 들어, 비결함) 패치는 '0'으로 레이블링(표시)될 수 있다. 도 3b에 도시된 바와 같이, 한 실시예에 따르면, 결함(310)이 2 개의 패치들의 경계 또는 4 개의 패치들의 코너에서 발견될 때, 그 경계 또는 코너를 공유하는 모든 패치들은 결함으로 분류된다. 한편, 도 3b는 설명을 용이하게 하기 위해 제4 복수의 패치들(308)의 레이블링(표시)된 결함 패치만을 도시하고, 패치들(303, 305, 307) 중 결함(310)을 포함하는 패치들도 결함으로 유사하게 분류될 수 있다.
수동으로 레이블링(표시)된 패치 세트들(예를 들어, 레이블링된 제1 내지 제4 복수의 패치들(302, 304, 306, 308))은, 세트(예를 들어, 패치들(303, 305, 307, 309))에 포함된 각 패치에 대응하는 특징 벡터들과 함께 결함 패치 및 비결함 패치 모두를 포함하고, 그 다음으로 훈련 데이터로서 SVM(204)에 제공된다.
한 실시예에 따르면, 검출 모드에서, 이미지 분해부(200)는 패치의 단일 세트만을 생성하고(훈련 모드에서 생성된 다수의 세트 대신에), 이 패치의 단일 세트는 도 3a에 도시된 제1 복수의 패치들(302)에 대응한다(예를 들어, 동일하다).
도 4a는 본 발명의 한 실시예에 따라, 디스플레이 패널(102)의 하나 이상의 결함을 검출하기 위한 결함 검출 시스템(100)을 훈련하기 위한 프로세스(400)를 나타내는 흐름도이다.
단계(S402)에서, 결함 검출부(106)(예를 들어, 이미지 분해부(200))는 하나 이상의 화이트 스폿 결함을 포함할 수 있는 디스플레이 패널(102)의 이미지를 수신한다.
단계(S404)에서, 이미지 분해부(200)는 이미지를 복수의 패치 세트들, 예를 들어 제1 복수의 패치들(302), 제2 복수의 패치들(304), 제3 복수의 패치들(306) 및 제4 복수의 패치들(308)로 분해(예를 들어, 분할)할 수 있다. 패치 세트들 각각은 복수의 패치들(예를 들어, 303, 305, 307 및 309)을 포함할 수 있고, 디스플레이 패널(102)의 이미지(301)에 대응할 수 있다. 패치들 각각은 이미지(301)의 m Х n 픽셀 영역(여기서, m 및 n은 1보다 크거나 같은 정수)에 대응할 수 있다. 패치 세트들 각각은 패치 세트들 중 다른 하나로부터 오프셋되고 중첩할 수 있다. 다른 예에 따르면, 패치 세트들 중 하나 이상(예를 들어, 제1 내지 제4 복수의 패치들(302, 304, 306 및 308) 중 하나 이상)은 이미지의 길이 방향 및 폭 방향 중 적어도 한 방향으로의 세트 오프셋(예를 들어, 1 픽셀, 2 픽셀, 4 픽셀, 16 픽셀 등)만큼 서로 오프셋되어 있을 수 있다.
단계(S406)에서, 결함 검출부(106)(예를 들어, 특징 추출부(202))는 복수의 패치 세트들의 각 패치에 대한 특징 벡터를 생성할 수 있다. 생성된 복수의 특징 벡터들은 각각 하나 이상의 이미지 텍스처 특징 및 하나 이상의 이미지 모멘트 특징을 포함할 수 있다. 하나 이상의 이미지 텍스처 특징은 대비 GLCM 텍스처 특징 및 비유사 GLCM 텍스처 특징 중 적어도 하나를 포함할 수 있고, 하나 이상의 이미지 모멘트 특징은 3차 중심 모멘트(μ30), 제5 Hu 불변 모멘트(I5) 및 제1 Hu 불변 모멘트(I1) 중 적어도 하나를 포함할 수 있다.
단계(S408)에서, 결함 검출부(106)(예를 들어, 멀티 클래스 서포트 벡터 머신(SVM)(204))은 복수의 라벨들을 수신하고, 각 라벨은 복수의 패치들 중 하나에 대응할 수 있고, 결함(예를 들어, 백색 스폿 무라 결함)의 존재 또는 결함(예를 들어, 백색 스폿 무라 결함)이 없음을 가리킬 수 있다. 한 예에 따르면, 복수의 라벨들은 패치들 각각을 시각적으로 검사하고 라벨을 생성하는 조작자에 의해 생성될 수 있다.
단계(S410)에서, 결함 검출부(106)(예를 들어, 멀티 클래스 SVM(204))는 복수의 특징 벡터들 및 복수의 라벨들에 기초하여 하나 이상의 화이트 스폿을 검출하도록 훈련된다. 멀티 클래스 SVM은 결함을 포함하는 이미지 및 결함을 포함하지 않는 이미지 모두를 사용하여 훈련될 수 있다.
도 4b는 본 발명의 한 실시예에 따라, 결함 검출부(106)을 이용하여 디스플레이 패널(102)에서 하나 이상의 화이트 스폿 결함을 검출하기 위한 프로세스(420)를 나타내는 흐름도이다.
단계(S422)에서, 결함 검출부(106)(예를 들어, 이미지 분해부(200))은 하나 이상의 화이트 스폿 결함을 포함할 수 있는 디스플레이 패널(102)의 이미지(301)를 수신한다.
단계(S424)에서, 결함 검출부(106)(예를 들어, 이미지 분해부(200))는 이미지(301)를 복수의 비중첩 패치들(303)로 분할하고, 비중첩 패치들(303) 각각은 이미지(301)의 m 픽셀 x n 픽셀 영역(여기서, m 및 n은 1보다 크거나 같은 정수임)에 대응하고 평균적 화이트 스폿 무라 결함보다 크기가 클 수 있다.
단계(S426)에서, 결함 검출부(106)(예를 들어, 특징 추출부(202))는 복수의 패치들(303)의 각 패치에 대한 특징 벡터들을 생성한다. 특징 벡터들 각각은 하나 이상의 이미지 텍스처 특징 및 하나 이상의 이미지 모멘트 특징을 포함할 수 있다. 하나 이상의 이미지 텍스처 특징은 대비 GLCM 텍스처 특징 및 비유사 GLCM 텍스처 특징 중 적어도 하나를 포함할 수 있고, 하나 이상의 이미지 모멘트 특징은 3차 중심 모멘트(μ30), 제5 Hu 불변 모멘트(I5), 그리고 제1 Hu 불변 모멘트(I1) 중 적어도 하나를 포함할 수 있다.
단계(S428)에서, 결함 검출부(106)는 멀티 클래스 SVM(204)을 이용하여, 복수의 특징 벡터들의 각각을 이용하여 복수의 패치들(303) 각각을 분류한다. 멀티 클래스 SVM(204)에 의한 분류에 기초하여, 복수의 패치들(303) 각각은 결함을 가지고 있거나 결함(예를 들어, 화이트 스폿 무라)이 없는 것으로 레이블링될 수 있다. 이 예에서, 멀티 클래스 SVM(204)은 화이트 스폿 무라의 분류를 위해 훈련되어 있을 수 있다. 다른 예에 따르면, 멀티 클래스 SVM(204)은 다른 타입들의 디스플레이 패널 무라 결함들을 식별하도록 훈련될 수도 있다. 예를 들어, 멀티 클래스 SVM(204)은 블랙 스폿 무라, 영역 무라(region Mura), 불순물 무라(impurity Mura), 또는 라인 무라 등을 식별하도록 훈련될 수 있다.
이와 같이, 본 발명의 실시예는, 결함 검출뿐만 아니라 훈련 목적을 위해, 공장에서 디스플레이 패널의 실제 그대로의(즉, 시뮬레이션되지 않은) 이미지 데이터를 사용할 수 있는 효율적이고 정밀한 결함(예를 들어, 화이트 스폿 무라 결함) 검출 시스템 및 방법을 제공한다. 이미지 획득 및 결함 검출 시스템은 인간 감독 하에 한번 훈련되면 자동 및 감독되지 않은 방식으로 동작하여 제조 및 테스트 중인 디스플레이 패널의 결함(예를 들어, 화이트 스폿 무라 결함)을 검출할 수 있다. 따라서, 이러한 자동화 시스템은 생산 효율을 향상시키고 사람의 육안 검사의 필요성을 줄이거나 없앨 수 있다. 또한, 한 실시예에 따른 결함 검출 시스템은 어떠한 결함이라도 위치를 식별하여 결함의 후속적인 전자적 보상을 가능하게 하고, 이로 인해 더 높은 생산 수율 및 더 적은 전체적인 생산 비용이 가능해질 수 있다.
제1", "제2", "제3"등의 용어는 본 명세서에서 다양한 구성 요소, 영역, 층 및/또는 섹션을 설명하기 위해 사용될 수 있지만, 이들 구성 요소, 영역, 층 및/또는 섹션이 이 용어에 의해 제한되지 않는다. 이러한 용어는 하나의 구성 요소, 영역, 층 또는 섹션을 다른 구성 요소, 영역, 층 또는 섹션과 구별하는 데 사용될 수 있다. 따라서, 위에서 논의된 제1 구성 요소, 제1 영역, 제1 층 또는 제1 섹션 등은 본 발명의 사상 및 범위를 벗어나지 않고 제2 구성 요소, 제2 영역, 제2 층 또는 제2 섹션 등으로 지칭될 수도 있다.
본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위한 것이며, 본 발명의 개념을 제한하려는 것은 아니다. 본 명세서에서 사용된 단수 형태는 문맥상 다르게 지시하지 않는 한 복수 형태를 포함하는 것으로도 의도된다. 본 명세서에서 사용된 "포함하는"의 용어는 명시된 특징, 정수, 단계, 동작 및/또는 구성 요소의 존재를 정의하고, 하나 이상의 다른 특징, 정수, 단계, 동작, 구성 요소 및/또는 이들의 조합의 존재 또는 추가를 배제하지 않는다. 본 명세서에 사용된 바와 같은, "및/또는"은 하나 이상의 관련하여 열거된 항목의 임의 및 모든 조합을 포함한다. "적어도 하나"의 표현이 요소들의 목록 앞에 위치할 때 요소들의 전체 목록을 수식하고 목록의 개별 요소를 수식하지 않다. 또한, 본 발명의 실시예를 기술할 때 "할 수 있다"라 하면 "본 발명 개념의 하나 이상의 실시예"를 의미한다. 또한, "예시적인"이라는 용어는 예 또는 설명을 의미한다.
요소 또는 층이 다른 요소 또는 층의 "위에", "연결된", "결합된" 또는 "인접한"으로 언급될 때, 그 요소 또는 층은 다른 요소 또는 층에 대해 직접 "위에", "연결된", "결합된" 또는 "인접한" 것일 수 있고, 또는 하나 이상의 다른 개재 요소 또는 층이 존재할 수도 있다. 하나의 요소 또는 층이 다른 요소 또는 층에 대해 "직접 위에", "직접적으로 연결된", "직접 결합된" 또는 "바로 인접한"으로 언급될 때는, 중간에 개재하는 요소 또는 층이 존재하지 않는다.
본 명세서에서 사용된 "실질적으로", "약" 및 이에 유사한 용어들은 근사의 용어로서 사용되며 정도의 용어로서 사용되지 않으며, 당업자에게 인식될 측정되거나 계산된 값에 내재된 변화를 설명하는 것으로 의도된다.
본 명세서에 사용된 "사용하다", "사용하는" 및 "사용된"의 용어는 각각 "이용하다", "이용하는" 및 "이용된"의 용어와 동의어로 간주될 수 있다.
본 발명의 실시예에 따른 결함 검출 시스템 및/또는 다른 관련 장치 또는 구성 요소는 적합한 하드웨어, 펌웨어(예를 들어, 특수 용도의 집적 회로), 소프트웨어, 또는 소프트웨어, 펌웨어 및 하드웨어의 적절한 조합을 이용해 구현될 수 있다. 예를 들어, 독립적인 멀티 소스 디스플레이 장치의 다양한 구성 요소는 하나의 집적 회로(IC) 칩 또는 분리된 IC 칩 상에 형성 될 수 있다. 또한, 결함 검출 시스템의 다양한 구성 요소는 가요성 인쇄 회로 필름, 테이프 캐리어 패키지(TCP), 인쇄 회로 기판(PCB), 또는 동일한 기판 상에 구현될 수 있다. 또한, 결함 검출 시스템의 다양한 구성 요소는 하나 이상의 프로세서상에서 실행되고, 하나 이상의 컴퓨팅 장치에서 실행되고, 컴퓨터 프로그램 명령을 실행하고, 여기서 설명된 다양한 기능을 수행하기 위한 다른 시스템 구성 요소와 상호 작용하는 프로세스 또는 스레드(thread)일 수 있다. 컴퓨터 프로그램 명령은 예를 들어 랜덤 액세스 메모리(RAM)와 같은 표준 메모리 장치를 사용하는 컴퓨팅 장치에서 구현될 수 있는 메모리에 저장될 수 있다. 컴퓨터 프로그램 명령은 또한 예를 들어 CD-ROM, 플래시 드라이브 등과 같은 다른 일시적이지 않은 컴퓨터 판독 가능 매체에 저장될 수 있다. 또한, 당업자는 다양한 컴퓨팅 장치의 기능이 단일 컴퓨팅 장치에 결합되거나 통합될 수 있고, 또는 특정 컴퓨팅 장치의 기능이 본 발명의 예시적인 실시예의 범위에서 벗어나지 않고 하나 이상의 다른 컴퓨팅 장치에 걸쳐 분산되어 있을 수도 있다.
본 명세서에서 기재한 이미지 모멘트(image moment)에 대해서는 https://en.wikipedia.org/wiki/Image_moment의 설명을 참고할 수 있으며, 그 내용은 다음과 같다.
Figure pat00001
Figure pat00002
Figure pat00003
Figure pat00004
Figure pat00005
본 발명은 그 예시적인 실시예에 대한 특정 부호로 구체적으로 설명되었으나, 여기에 기술된 실시예들은 그것이 전부라거나 발명을 개시된 정확한 형태에 본 발명의 권리 범위가 제한되는 것은 아니다. 본 발명이 속하는 기술 및 기술 분야의 당업자는, 설명된 구조 및 조립 방법의 변형 및 변경이 다음의 청구 범위에 기술된 것과 그 균등 범위에 따른 본 발명의 원리, 사상 및 범위로부터 유의미하게 벗어나지 않고 실시될 수 있음을 이해할 것이다.
100: 결함 검출 시스템 102: 디스플레이 패널
104: 카메라 106: 결함 검출부
108: 프로세서 110: 메모리
112: 조작자 200: 이미지 분해부
202: 특징 추출부 204: 서포트 벡터 머신
300, 302, 303, 304, 305, 306, 307, 308, 309: 패치
301: 이미지 310: 결함

Claims (20)

  1. 디스플레이 패널에서 이미지의 하나 이상의 결함을 검출하는 방법으로서,
    상기 디스플레이 패널의 상기 이미지를 수신하는 단계;
    상기 이미지를 복수의 패치들로 분할하는 단계;
    상기 복수의 패치들에 대한 복수의 특징 벡터들을 생성하는 단계; 그리고
    멀티 클래스 서포트 벡터 머신(SVM)을 이용해, 상기 복수의 특징 벡터들 각각에 기초하여 상기 복수의 패치들 각각을 분류하여 상기 하나 이상의 결함을 검출하는 단계
    를 포함하고,
    상기 복수의 패치들 각각은 m 픽셀 x n 픽셀 영역(m과 n은 1보다 크거나 같은 정수)에 대응하고,
    상기 복수의 특징 벡터들 각각은 상기 복수의 패치들 각각에 대응하고, 하나 이상의 이미지 텍스처 특징 및 하나 이상의 이미지 모멘트 특징을 포함하는
    결함 검출 방법.
  2. 제1항에서,
    상기 복수의 패치들은 서로 중첩하지 않는 결함 검출 방법.
  3. 제1항에서,
    상기 복수의 패치들의 각 패치는 평균적인 결함의 크기보다 큰 결함 검출 방법.
  4. 제1항에서,
    상기 복수의 패치들의 각 패치는 상기 디스플레이 패널의 32 Х 32 픽셀 영역에 대응하는 결함 검출 방법.
  5. 제1항에서,
    상기 하나 이상의 이미지 텍스처 특징은 대비 계조 레벨 동시 발생 매트릭스(GLCM) 텍스처 특징 및 비유사 GLCM 텍스처 특징 중 적어도 하나를 포함하는 결함 검출 방법.
  6. 제1항에서,
    상기 하나 이상의 이미지 모멘트 특징은 3차 중심 모멘트(μ30), 제5 Hu 불변 모멘트(I5) 및 제1 Hu 불변 모멘트(I1) 중 적어도 하나를 포함하는 결함 검출 방법.
  7. 제1항에서,
    상기 멀티 클래스 SVM은 결함을 포함하는 이미지 및 결함을 포함하지 않는 이미지 모두를 이용해 훈련되는 결함 검출 방법.
  8. 제1항에서,
    상기 복수의 패치들을 분류하는 단계는,
    상기 멀티 클래스 SVM에 상기 복수의 패치들에 대한 상기 복수의 특징 벡터들을 제공하여 상기 복수의 특징 벡터들을 바탕으로 상기 하나 이상의 결함을 식별하는 단계; 그리고
    상기 복수의 패치들 중 상기 식별된 하나 이상의 결함을 포함하는 하나 이상의 패치를 결함으로 레이블링하는 단계
    를 포함하는 결함 검출 방법.
  9. 디스플레이 패널에서 이미지의 하나 이상의 결함을 검출하기 위한 시스템을 훈련하는 방법으로서,
    상기 디스플레이 패널의 상기 이미지를 수신하는 단계;
    상기 이미지를 상기 디스플레이 패널의 상기 이미지에 각각 대응하는 제1 복수의 패치들 및 제2 복수의 패치들로 분해하는 단계;
    각각이 상기 제1 및 제2 복수의 패치들 중 하나에 대응하고 결함이 있거나 결함이 없다는 것을 나타내는 복수의 라벨들을 수신하는 단계;
    각각이 상기 제1 및 제2 복수의 패치들 중 하나에 대응하고 하나 이상의 이미지 텍스처 특징 및 하나 이상의 이미지 모멘트 특징을 포함하는 복수의 특징 벡터들을 생성하는 단계; 그리고
    멀티 클래스 서포트 벡터 머신(SVM)에 상기 복수의 특징 벡터들 및 상기 복수의 라벨을 제공함으로써 하나 이상의 결함을 검출하도록 상기 SVM을 훈련하는 단계
    를 포함하는 훈련 방법.
  10. 제9항에서,
    상기 제2 복수의 패치들은 상기 제1 복수의 패치들로부터 오프셋되어 있고 상기 제1 복수의 패치들과 중첩하는 훈련 방법.
  11. 제9항에서,
    상기 복수의 패치들 각각은 상기 이미지의 m Х n 픽셀 영역(m 및 n은 1보다 크거나 같은 정수)에 대응하는 훈련 방법.
  12. 제9항에서,
    상기 이미지를 분해하는 단계는, 상기 디스플레이 패널의 상기 이미지에 각각 대응하는 제3 복수의 패치들 및 제4 복수의 패치들로 상기 이미지를 더 분해하는 단계를 포함하고,
    상기 복수의 라벨들은 상기 제3 및 제4 복수의 패치들에 대응하고 결함이 있거나 결함이 없다는 것을 나타내는 부가적인 라벨들을 더 포함하고,
    상기 복수의 특징 벡터들 각각은 상기 제1, 제2, 제3 및 제4 복수의 패치들 중 하나에 대응하고, 하나 이상의 이미지 텍스처 특징들 및 하나 이상의 이미지 모멘트 특징을 포함하며,
    상기 제1 내지 제4 복수의 패치들 각각은 상기 이미지의 32 Х 32 픽셀 영역에 대응하고,
    상기 제1 내지 제4 복수의 패치 중 하나 이상은 상기 영상의 길이 방향 및 폭 방향 중 적어도 하나로 16 픽셀만큼 서로 오프셋되어 있는 훈련 방법.
  13. 제9항에서,
    상기 하나 이상의 이미지 텍스처 특징은 대비 계조 레벨 동시 발생 매트릭스(GLCM) 텍스처 특징과 비유사 GLCM 텍스처 특징 중 적어도 하나를 포함하는 훈련 방법.
  14. 제9항에서,
    상기 하나 이상의 이미지 모멘트 특징은 3차 중심 모멘트(μ30), 제5 Hu 불변 모멘트(I5) 및 제1 Hu 불변 모멘트(I1) 중 적어도 하나를 포함하는 훈련 방법.
  15. 디스플레이 패널에서 이미지의 하나 이상의 결함을 검출하는 시스템으로서,
    프로세서; 그리고
    상기 프로세서에 연결되어 있는 프로세서 메모리를 포함하고,
    상기 프로세서 메모리는. 상기 프로세서에 의해 실행될 때 상기 프로세서가,
    상기 디스플레이 패널의 상기 이미지를 수신하는 단계;
    상기 이미지를 복수의 패치들로 분할하는 단계;
    상기 복수의 패치들에 대한 복수의 특징 벡터들을 생성하는 단계; 그리고
    멀티 클래스 서포트 벡터 머신(SVM)을 이용해, 상기 복수의 특징 벡터들 각각에 기초하여 상기 복수의 패치들 각각을 분류하여 상기 하나 이상의 결함을 검출하는 단계
    를 수행하도록 하는 지시들을 저장하고 있는 시스템.
  16. 제15항에서,
    상기 복수의 패치들은 서로 중첩하지 않고,
    상기 복수의 패치들의 각 패치는 평균적인 결함의 크기보다 큰 시스템.
  17. 제15항에서,
    상기 하나 이상의 이미지 텍스처 특징은 대비 계조 레벨 동시 발생 매트릭스(GLCM) 텍스처 특징 및 비유사 GLCM 텍스처 특징 중 적어도 하나를 포함하는 시스템.
  18. 제15항에서,
    상기 하나 이상의 이미지 모멘트 특징은 3차 중심 모멘트(μ30), 제5 Hu 불변 모멘트(I5) 및 제1 Hu 불변 모멘트(I1) 중 적어도 하나를 포함하는 시스템.
  19. 제15항에서,
    상기 멀티 클래스 SVM은 결함을 포함하는 이미지 및 결함을 포함하지 않는 이미지 모두를 이용해 훈련된 시스템.
  20. 제15항에서,
    상기 프로세스는, 상기 복수의 패치들 각각을 분류하는 단계에서,
    상기 멀티 클래스 SVM에 상기 복수의 패치들에 대한 상기 복수의 특징 벡터들을 제공하여 상기 복수의 특징 벡터들을 바탕으로 상기 하나 이상의 결함을 식별하고,
    상기 복수의 패치들 중 상기 식별된 하나 이상의 결함을 포함하는 하나 이상의 패치를 결함으로 레이블링하는 시스템.
KR1020180037656A 2017-04-18 2018-03-30 결함 검출 방법, 결함 검출을 위한 시스템 및 훈련 방법 KR102281106B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762486928P 2017-04-18 2017-04-18
US62/486,928 2017-04-18
US15/639,859 US10453366B2 (en) 2017-04-18 2017-06-30 System and method for white spot mura detection
US15/639,859 2017-06-30

Publications (2)

Publication Number Publication Date
KR20180117532A true KR20180117532A (ko) 2018-10-29
KR102281106B1 KR102281106B1 (ko) 2021-07-23

Family

ID=63790832

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180037656A KR102281106B1 (ko) 2017-04-18 2018-03-30 결함 검출 방법, 결함 검출을 위한 시스템 및 훈련 방법

Country Status (5)

Country Link
US (1) US10453366B2 (ko)
JP (1) JP6917943B2 (ko)
KR (1) KR102281106B1 (ko)
CN (1) CN108734696B (ko)
TW (1) TWI754741B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020150538A1 (en) * 2019-01-18 2020-07-23 Kla Corporation Methods and systems for inspection of semiconductor structures with automatically generated defect features

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3489892B1 (en) * 2017-11-24 2022-01-05 Ficosa Adas, S.L.U. Determining clean or dirty captured images
US10681344B2 (en) * 2017-12-15 2020-06-09 Samsung Display Co., Ltd. System and method for mura detection on a display
US10643576B2 (en) 2017-12-15 2020-05-05 Samsung Display Co., Ltd. System and method for white spot Mura detection with improved preprocessing
KR102528980B1 (ko) * 2018-07-18 2023-05-09 삼성디스플레이 주식회사 표시 장치 및 이의 얼룩 보정 방법
CN109949725B (zh) * 2019-03-06 2022-09-20 武汉精立电子技术有限公司 一种aoi系统图像灰度标准化方法及系统
CN110120195B (zh) * 2019-05-31 2022-10-21 昆山国显光电有限公司 数据补偿方法及智能终端
CN110243937B (zh) * 2019-06-17 2020-11-17 江南大学 一种基于高频超声的倒装焊焊点缺失缺陷智能检测方法
CN110426873A (zh) * 2019-08-26 2019-11-08 深圳市全洲自动化设备有限公司 一种lcd液晶屏测试方法
JP2021060962A (ja) * 2019-10-08 2021-04-15 キヤノン株式会社 教師データの生成方法、学習済の学習モデル、及びシステム
US11580780B2 (en) * 2019-11-13 2023-02-14 Nec Corporation Universal feature representation learning for face recognition
CN111178190B (zh) * 2019-12-17 2023-10-27 中国科学院深圳先进技术研究院 基于深度图像的目标检测方法、装置及存储介质
CN111161246B (zh) * 2019-12-30 2024-05-14 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
DE102020000278A1 (de) * 2020-01-20 2021-07-22 Marquardt Gmbh Bedien-und/oder Anzeigevorrichtung
WO2021168733A1 (zh) * 2020-02-27 2021-09-02 京东方科技集团股份有限公司 缺陷图像的缺陷检测方法、装置及计算机可读存储介质
CN111583225B (zh) * 2020-05-08 2024-05-24 京东方科技集团股份有限公司 缺陷检测方法、装置及存储介质
CN111947895A (zh) * 2020-08-03 2020-11-17 深圳回收宝科技有限公司 一种用于显示装置白斑异常的检测方法及相关装置
CN112070762A (zh) * 2020-09-18 2020-12-11 惠州高视科技有限公司 液晶面板的mura缺陷检测方法、装置、存储介质及终端
CN112397002B (zh) * 2020-11-19 2024-01-12 Oppo广东移动通信有限公司 显示面板的检测方法、电子设备的检测装置及存储介质
CN113345328B (zh) * 2021-05-28 2022-08-02 Tcl华星光电技术有限公司 显示面板Mura修补方法
CN113592859B (zh) * 2021-09-26 2022-01-14 中导光电设备股份有限公司 一种基于深度学习的用于显示面板缺陷的分类方法
CN114037701B (zh) * 2022-01-08 2022-04-05 江苏南通元辰钢结构制造有限公司 一种基于图像处理的机械零件氢损伤检测方法
CN116797590A (zh) * 2023-07-03 2023-09-22 深圳市拓有软件技术有限公司 一种基于机器视觉的Mura缺陷检测方法及系统
CN116740056B (zh) * 2023-08-10 2023-11-07 梁山水泊胶带股份有限公司 用于整芯高花纹输送带涂覆层的缺陷检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010159979A (ja) * 2009-01-06 2010-07-22 Hitachi Ltd 外観検査方法及び外観検査システム
JP2012032369A (ja) * 2010-07-29 2012-02-16 Sharp Corp 欠陥識別方法、欠陥識別装置、プログラム、及び記録媒体
JP2012032370A (ja) * 2010-07-29 2012-02-16 Sharp Corp 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体
KR20180022619A (ko) * 2016-08-24 2018-03-06 주식회사 아이디디 Pcb 패널 검사 방법 및 그 장치

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08297020A (ja) * 1995-04-26 1996-11-12 Matsushita Electric Ind Co Ltd 欠陥検査方法とその装置
US7225107B2 (en) * 2001-05-24 2007-05-29 Test Advantage, Inc. Methods and apparatus for data analysis
JP2004012422A (ja) 2002-06-11 2004-01-15 Dainippon Screen Mfg Co Ltd パターン検査装置、パターン検査方法およびプログラム
US7233708B2 (en) * 2003-11-07 2007-06-19 Microsoft Corporation Systems and methods for indexing and retrieving images
US20050286753A1 (en) * 2004-06-25 2005-12-29 Triant Technologies Inc. Automated inspection systems and methods
KR100689890B1 (ko) 2004-07-22 2007-03-08 주식회사 쓰리비 시스템 플랫패널용 광관련판요소의 결함검출방법
JP2006098151A (ja) 2004-09-29 2006-04-13 Dainippon Screen Mfg Co Ltd パターン検査装置およびパターン検査方法
JP2012501011A (ja) * 2008-08-22 2012-01-12 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． 画像解析方法及びシステム
US8457414B2 (en) 2009-08-03 2013-06-04 National Instruments Corporation Detection of textural defects using a one class support vector machine
KR101249576B1 (ko) * 2010-09-13 2013-04-01 한국수력원자력 주식회사 서포트 벡터 머신을 이용한 회전기계의 결함진단 방법 및 장치
JP5775294B2 (ja) * 2010-12-15 2015-09-09 キヤノン株式会社 画像形成装置、画像処理装置、画像処理方法、及びプログラム
US8705839B2 (en) * 2011-11-18 2014-04-22 Sharp Laboratories Of America, Inc. Electronic devices for defect detection
KR101943069B1 (ko) * 2011-12-01 2019-04-18 삼성디스플레이 주식회사 배선 및 역다중화부의 불량 검출 방법, 불량 검출 장치 및 불량 검출 장치를 포함하는 표시 패널
WO2013090830A1 (en) * 2011-12-16 2013-06-20 University Of Southern California Autonomous pavement condition assessment
US10043264B2 (en) * 2012-04-19 2018-08-07 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
US20130278750A1 (en) * 2012-04-23 2013-10-24 Metrospec Technology, L.L.C. Self-learning machine vision system
KR20140067394A (ko) 2012-11-26 2014-06-05 엘지디스플레이 주식회사 표시장치의 얼룩 검출 장치 및 방법
KR101958634B1 (ko) * 2012-12-13 2019-03-15 엘지디스플레이 주식회사 디스플레이 장치의 무라 검출 장치 및 방법
US9378551B2 (en) * 2013-01-03 2016-06-28 Siemens Aktiengesellschaft Method and system for lesion candidate detection
JP5995756B2 (ja) * 2013-03-06 2016-09-21 三菱重工業株式会社 欠陥検出装置、欠陥検出方法および欠陥検出プログラム
KR101477665B1 (ko) 2013-04-04 2014-12-30 한국기술교육대학교 산학협력단 불균일한 텍스쳐 표면의 불량 검출방법
CN103913468B (zh) * 2014-03-31 2016-05-04 湖南大学 生产线上大尺寸lcd玻璃基板的多视觉缺陷检测设备及方法
KR102209953B1 (ko) 2014-09-11 2021-02-02 엘지디스플레이 주식회사 무라 검출 장치
CN105044127A (zh) * 2015-07-31 2015-11-11 深圳市星火辉煌系统工程有限公司 一种oled微型显示器缺陷检测装置及检测方法
CN105913419B (zh) 2016-04-07 2018-07-17 南京汇川图像视觉技术有限公司 基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010159979A (ja) * 2009-01-06 2010-07-22 Hitachi Ltd 外観検査方法及び外観検査システム
JP2012032369A (ja) * 2010-07-29 2012-02-16 Sharp Corp 欠陥識別方法、欠陥識別装置、プログラム、及び記録媒体
JP2012032370A (ja) * 2010-07-29 2012-02-16 Sharp Corp 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体
KR20180022619A (ko) * 2016-08-24 2018-03-06 주식회사 아이디디 Pcb 패널 검사 방법 및 그 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020150538A1 (en) * 2019-01-18 2020-07-23 Kla Corporation Methods and systems for inspection of semiconductor structures with automatically generated defect features
KR20210107149A (ko) * 2019-01-18 2021-08-31 케이엘에이 코포레이션 자동으로 생성된 결함 피처를 가진 반도체 구조의 검사를 위한 방법 및 시스템
US11379967B2 (en) 2019-01-18 2022-07-05 Kla Corporation Methods and systems for inspection of semiconductor structures with automatically generated defect features
TWI809243B (zh) * 2019-01-18 2023-07-21 美商科磊股份有限公司 利用自動產生缺陷特徵檢測半導體結構之方法及系統

Also Published As

Publication number Publication date
US20180301071A1 (en) 2018-10-18
CN108734696B (zh) 2023-05-30
TWI754741B (zh) 2022-02-11
CN108734696A (zh) 2018-11-02
KR102281106B1 (ko) 2021-07-23
TW201839384A (zh) 2018-11-01
JP6917943B2 (ja) 2021-08-11
JP2018180545A (ja) 2018-11-15
US10453366B2 (en) 2019-10-22

Similar Documents

Publication Publication Date Title
KR102281106B1 (ko) 결함 검출 방법, 결함 검출을 위한 시스템 및 훈련 방법
KR102611223B1 (ko) 표시 장치의 결함 감지 시스템 및 방법
US11830240B2 (en) Adversarial training method for noisy labels
US8743215B1 (en) Mura detection apparatus and method of display device
US8428334B2 (en) Inspection System
US20170069075A1 (en) Classifier generation apparatus, defective/non-defective determination method, and program
US10643576B2 (en) System and method for white spot Mura detection with improved preprocessing
KR101955052B1 (ko) 전체 원 화상을 사용하여 결함을 검출하는 시스템 및 방법
CN103927749A (zh) 图像处理方法、装置和自动光学检测机
JP2019144245A (ja) 前処理を含む線欠陥検出システム及び方法
KR20140075042A (ko) 표시패널 검사 장치 및 그 방법
KR101409568B1 (ko) 표시패널 검사장치 및 그 검사방법
KR20140067785A (ko) 표시패널의 색감차 얼룩 자동 검사 장치 및 방법
US11328637B2 (en) Inspecting device of display panel and inspecting method of display panel using the same
KR102034042B1 (ko) 평판 디스플레이 패널의 외관 스크래치 검사 방법
WO2024090054A1 (ja) 画像処理方法、プログラム、および、画像処理装置
JP2015042942A (ja) 画像処理装置、欠陥検出装置、画像処理方法、プログラム、及び、記録媒体
KR102640472B1 (ko) 디스플레이를 포함하는 전자 장치 및 이의 얼룩 검출 방법
CN117288430A (zh) 一种pmoled显示屏的缺陷测试方法、电子设备及存储介质
KR20240084988A (ko) 딥러닝을 이용한 인쇄물 품질 검사 방법
CN118314366A (zh) 图像审核方法、装置、电子设备及存储介质
JP2018173732A (ja) 検査装置、検査方法、検査プログラム及び記録媒体
JPH08287232A (ja) 画像処理における非監視対象物の除去方法

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant