KR20160054151A - 웨이블릿 변환에서 마스크 필터링을 이용한 얼룩 결함 자동 검출 시스템 및 방법 - Google Patents

웨이블릿 변환에서 마스크 필터링을 이용한 얼룩 결함 자동 검출 시스템 및 방법 Download PDF

Info

Publication number
KR20160054151A
KR20160054151A KR1020140153070A KR20140153070A KR20160054151A KR 20160054151 A KR20160054151 A KR 20160054151A KR 1020140153070 A KR1020140153070 A KR 1020140153070A KR 20140153070 A KR20140153070 A KR 20140153070A KR 20160054151 A KR20160054151 A KR 20160054151A
Authority
KR
South Korea
Prior art keywords
image
wavelet
coefficient
mask
equation
Prior art date
Application number
KR1020140153070A
Other languages
English (en)
Other versions
KR101635461B1 (ko
Inventor
이승호
박종승
Original Assignee
한밭대학교 산학협력단
한밭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한밭대학교 산학협력단, 한밭대학교 산학협력단 filed Critical 한밭대학교 산학협력단
Priority to KR1020140153070A priority Critical patent/KR101635461B1/ko
Publication of KR20160054151A publication Critical patent/KR20160054151A/ko
Application granted granted Critical
Publication of KR101635461B1 publication Critical patent/KR101635461B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Abstract

본 발명은 웨이블릿 변환에서 마스크 필터링을 이용한 얼룩 결함 자동 검출 시스템 및 방법에 관한 것으로서, 대상물의 원본 이미지를 취득하는 영상 획득부, DCT(Discrete Cosine Transform) 계수를 이용하여 배경 이미지를 생성하는 배경 이미지 생성부 및 상기 원본 이미지에서 상기 배경 이미지 성분을 제거하고 이산 웨이블릿 변환을 적용하여 웨이블릿 근사화 계수와 웨이블릿 디테일 계수를 생성하는 웨이블릿 변환부를 포함하는 영상 처리부 및 상기 웨이블릿 근사화 계수의 표준편차를 이용하여 얼룩 마스크를 생성하는 얼룩 마스크 생성부및 상기 웨이블릿 디테일 계수에 마스크 필터링을 적용하여 얼룩을 강조하는 마스크 필터링부를 포함하는 영상 해석부를 포함함으로써, 배경 영역과 명암 차이가 작은 얼룩 결함을 효과적으로 검출할 수 있다.

Description

웨이블릿 변환에서 마스크 필터링을 이용한 얼룩 결함 자동 검출 시스템 및 방법{System and Method for Automatically Detecting a Mura Defect using Mask Filtering in Wavelet Transform}
본 발명은 얼룩 결함 자동 검출 시스템 및 방법에 관한 것으로, 더욱 상세하게는 웨이블릿 변환에서 마스크 필터링을 이용한 얼룩 결함 자동 검출 시스템 및 방법에 관한 것이다.
스마트폰과 태블릿PC 시장의 확대로 평판 디스플레이(FPD; Flat Panel Display)의 수요가 증가함에 따라 평판 디스플레이의 수율과 품질의 신뢰성 향상에 대한 기술이 강조되고 있다. 평판 디스플레이의 결함은 제조 공정에서 기계의 오작동, 사용하는 필름의 불량, 먼지나 분진에 의한 미세한 결점, 제조자의 실수 등 많은 이유에 의해 발생하며, 이렇게 발생된 결함은 디스플레이 장치의 상품성을 낮추고 사용자에게 불편을 주게 되므로, 제조 공정에서 품질 검사 작업은 매우 중요하다. 따라서, 평판 디스플레이 패널의 품질 검사를 수행하여 품질의 신뢰성을 향상시키는 기술에 대한 연구가 활발하게 진행되고 있으나, 평판 디스플레이 패널에 대한 품질 검사는 조립된 평판 디스플레이 패널에서 검출된 결함을 수리할 수 없으므로 손실이 크고 평판 디스플레이의 수율을 증가시키기 어렵다.
한편, 평판 디스플레이 제조 공정에는 광학 필름, ITO 필름, 편광 필름 등의 다양한 디스플레이 필름이 사용되기 때문에, 결함을 미리 검출하여 평판 디스플레이의 수율과 품질의 신뢰성을 동시에 향상시킬 수 있는 디스플레이 필름에 대한 품질 검사 기술이 많은 주목을 받고 있다.
디스플레이 필름의 품질 검사는 육안 검사와 머신 비전 시스템을 통한 검사로 수행된다. 대량으로 생산되는 디스플레이 필름의 생산 속도에 비해 육안으로 수행하는 사람의 검사 속도가 느리기 때문에, 다수의 검사자가 투입되어 인건비의 비율을 증가시켜 생산 단가를 높이게 된다. 또한, 육안으로 수행하기 때문에 검사자의 컨디션에 따라 검사 결과가 차이가 있으며, 밝은 백라이트 조명에 노출됨으로 인해 눈의 피로 및 산업 재해 발생의 문제점을 가지고 있다.
따라서, 자동으로 품질 검사를 수행하고 불량 여부를 판단하는 머신 비전 시스템에 대한 관심이 높아지고 있다. 머신 비전 시스템은 컴퓨터에 의한 영상처리를 기반으로 하는 기술로, 머신비전 시스템의 구성요소는 카메라, 렌즈, 영상 입력장치(frame grabber), 컴퓨터, 조명장치 등이 있다. 머신 비전 시스템을 이용하여 자동으로 품질검사를 수행하고 불량 여부를 판단하는 방법은 검사하려는 생산제품의 영상을 컴퓨터로 가져오는 영상 형성 및 취득 단계, 소프트웨어를 활용하여 컴퓨터로 입력된 영상에 필요한 처리를 수행하는 영상 처리 단계 및 영상 처리 결과를 바탕으로 검사 대상인 제품에 불량이 있는지를 판별하는 영상 해석 단계의 3가지 단계로 구성된다.
이러한 머신 비전 시스템을 이용한 품질 검사 방법은 균일한 조명 성분을 가지는 디스플레이 필름 이미지에서 배경 영역과 뚜렷한 명암 차이를 가지는 결함을 비교적 쉽게 검출할 수 있다. 그러나, 균일하지 않은 조명 성분을 가지는 디스플레이 필름 이미지에서의 결함과 배경 영역과의 명암 차이가 아주 작은 결함에 대한 머신 비전 시스템의 결함 검출력은 현저히 낮아서 정교한 품질 검사는 여전히 육안으로 수행되고 있다.
한편, SEMI(Semiconductor Equipment and Materials International) 협회에서는, 배경 영역과의 명암 차이가 아주 작아서 명확한 윤곽선이 없으며 인간의 시각에 불쾌한 느낌을 주는 지역적 밝기 변화를 mura라고 한다. 본 명세서에서는 얼룩이라는 단어를 사용한다. 얼룩은 디스플레이 패널 결함의 여러 범주들 중 하나로서, 그림 1과 같이 얼룩의 종류는 크기와 모양에 따라 spot 얼룩, line 얼룩, region 얼룩으로 나눌 수 있다. spot 얼룩은 크기가 작은 원형의 결함이고 line 얼룩은 배경 영역과 밝기 차이가 일직선으로 나타나는 결함, region 얼룩은 크기가 일정하지 않으며, 배경 영역과의 밝기 차이가 아주 미세하게 나타나므로 자동으로 검출하기 가장 어려운 결함중 하나이다.
[그림 1] 얼룩의 종류
Figure pat00001
따라서, 본 발명에서는 배경 영역과의 명암 차이가 작은 얼룩 결함을 자동 검출 하기위한 방법으로 얼룩의 특징은 강조하고, 잡음의 영향은 최소화할 수 있는 마스크 필터링 기법을 제안한다.
대한민국 공개특허공보 제10-2012-0057351호(공개일 2012.06.05.) 대한민국 등록특허공보 제10-1166722호(공고일 2012.07.19.) 대한민국 등록특허공보 제10-0717863호(공고일 2007.05.14.)
따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 배경 성분을 제거하고 얼룩의 특징을 강조하는 웨이블릿 변환에서 마스크 필터링을 이용함으로써 배경 영역과의 명암 차이가 작은 얼룩 결함을 자동으로 검출하는 시스템 및 방법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 웨이블릿 변환에서 마스크 필터링을 이용한 얼룩 결함 자동 검출 시스템은, 대상물의 원본 이미지를 취득하는 영상 획득부, DCT(Discrete Cosine Transform) 계수를 이용하여 배경 이미지를 생성하는 배경 이미지 생성부 및 상기 원본 이미지에서 상기 배경 이미지 성분을 제거하고 이산 웨이블릿 변환을 적용하여 웨이블릿 근사화 계수와 웨이블릿 디테일 계수를 생성하는 웨이블릿 변환부를 포함하는 영상 처리부 및 상기 웨이블릿 근사화 계수의 표준편차를 이용하여 얼룩 마스크를 생성하는 얼룩 마스크 생성부및 상기 웨이블릿 디테일 계수에 마스크 필터링을 적용하여 얼룩을 강조하는 마스크 필터링부를 포함하는 영상 해석부를 포함한다.
한편, 본 발명의 웨이블릿 변환에서 마스크 필터링을 이용한 얼룩 결함 자동 검출 방법은, 얼룩이 포함된 대상물의 원본 이미지에 차단 주파수를 적용하고 DCT 계수를 필터링하여 배경 이미지를 생성하는 단계, 상기 원본 이미지에서 상기 배경 이미지 성분 제거하고 이산 웨이블릿 변환을 통해 웨이블릿 근사화 계수와 웨이블릿 디테일 계수를 생성하는 단계, 상기 웨이블릿 근사화 계수를 이용하여 얼룩 마스크를 생성하는 단계 및 상기 웨이블릿 디테일 계수에 마스크 필터링을 적용하여 얼룩을 강조하는 단계를 포함한다.
상술한 바와 같이, 본 발명에 의한 웨이블릿 변환에서 마스크 필터링을 이용한 얼룩 결함 자동 검출 시스템 및 방법에 따르면, 얼룩의 특징은 강조하고, 공간 영역의 저주파 잡음과 주파수 영역의 고주파 잡음의 영향을 최소화 할 수 있는 웨이블릿 변환에서 마스크 필터링 기법을 이용함으로써 배경 영역과 명암 차이가 작은 얼룩 결함을 효과적으로 검출할 수 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 웨이블릿 변환에서 마스크 필터링을 이용한 얼룩 결함 자동 검출 시스템을 개략적으로 나타낸 블록 구성도이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 얼룩 결함 자동 검출 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 얼룩 검출 방법에서 배경 이미지를 추정하기 위해 사용되는 DCT 계수를 나타내는 그림이다.
도 4는 DC 계수를 제외한 DCT 계수의
Figure pat00002
성분과
Figure pat00003
성분을 나타내는 그래프이다.
도 5는 변화율의 이동평균으로 결정된 차단 주파수
Figure pat00004
와
Figure pat00005
로 필터링된 DCT 계수를 나타낸 그래프이다.
도 6은 차단 주파수로 DCT 계수를 필터링하고, IDCT를 통해 재구성된 배경 이미지와 원본 이미지를 비교하여 나타낸 그림이다.
도 7은 배경 성분이 제거된 이미지를 획득하는 방법을 나타내는 그림이다.
도 8은 배경 성분이 제거된 이미지의 이산 웨이블릿 변환을 나타낸 그림이다.
도 9는 수학식 20의
Figure pat00006
의 변화에 따른 문턱치를 웨이블릿 근사화 계수에 적용하여 이진화한 결과를 나타낸 그림이다.
도 10은 본 발명의 일 실시예에 따른 마스크 생성부가 얼룩 마스크를 생성하는 과정을 나타낸 그림이다.
도 11은 본 발명의 일 실시예에 따른 마스크 필터링부가 마스크 필터링을 통해 얼룩이 강조된 이미지를 생성하는 과정을 나타내는 그림이다.
도 12는 본 발명의 실험예에 사용된 얼룩 샘플 이미지로서, 얼룩과 배경의 명암 차이를 1씩 감소시킨 얼룩 이미지이다.
도 13은 도 12의 얼룩과 배경의 명암 차이를 10에서 1까지 변화시킨 얼룩 이미지를 이용하여 본 발명의 일 실시예에 따른 얼룩 검출 방법으로 얼룩을 검출한 결과를 나타내는 그림이다.
도 14는 본 발명의 얼룩 검출 방법과 종래 얼룩 검출 방법, 그리고 샘플 이미지 생성 조건으로 계산한 Semu 값의 분포를 나타내는 그래프이다.
이하, 본 발명의 웨이블릿 변환에서 마스크 필터링을 이용한 얼룩 결함 자동 검출 시스템에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 웨이블릿 변환에서 마스크 필터링을 이용한 얼룩 결함 자동 검출 시스템을 개략적으로 나타낸 블록 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 얼룩 결함 자동 검출 시스템은 제품의 생산 과정에서 발생하는 얼룩을 빠르고 정확하게 검사할 수 있도록, 대상물의 이미지를 취득하는 영상 획득부(100), 영상 획득부(100)가 취득한 대상물의 영상에 이미지 처리 소프트웨어를 활용하여 필요한 처리를 수행하는 영상 처리부(200) 및 상기 영상 처리부(200)의 영상 처리 결과를 바탕으로 대상물에 얼룩 결함이 있는지 여부를 판별하는 영상 해석부(300)를 포함하여 이루어진다.
영상 획득부(100)는 검사하려는 대상물의 상면 이미지를 획득하고 획득한 이미지를 영상 처리부(200)에 전송하는 구성으로서, 대상물의 상면으로부터 이격되어 배치되고 대상물의 상면을 향해 빛을 조사하는 조명부(110), 대상물의 상면으로부터 이격되어 배치되고 조명부로부터 조사되어 대상물의 상면에서 반사된 빛을 이용하여 영상을 촬영하는 촬영부(120), 조명부 및 촬영부를 대상물의 상면과 이격되고 평행한 평면상에서 움직이도록 구동하는 구동부(미도시)를 포함할 수 있다.
영상 처리부(200)는 영상 획득부(100)가 취득한 대상물의 영상에 이미지 처리 소프트웨어를 활용하여 필요한 처리를 수행하고 그러한 이미지를 영상 해석부(300)에 전송하는 구성으로서, DCT(Discrete Cosine Transform) 계수를 이용하여 배경 이미지를 생성하는 배경 이미지 생성부(210) 및 원본 이미지에서 배경 이미지 생성부(210)가 생성한 배경 성분을 제거하고 이산 웨이블릿 변환을 적용하는 웨이블릿 변환부(220)를 포함하여 이루어진다.
영상 해석부(300)는 영상 처리부(200)에서 전송된 대상물의 이미지로부터 얼룩 결함을 추출함으로써 불량 유무를 판별하는 구성으로서, 원본 이미지의 공간 영역의 정보를 포함하는 웨이블릿 근사화 계수의 표준편차를 이용하여 얼룩 마스크를 생성하는 얼룩 마스크 생성부(310) 및 배경이 제거된 이미지의 수평, 수직, 대각선 방향의 고주파 성분을 포함하는 웨이블릿 디테일 계수에 마스크 필터링을 적용하는 마스크 필터링부(320)를 포함하여 이루어진다.
그러면, 여기서 상기와 같이 구성된 시스템을 이용한 본 발명의 웨이블릿 변환에서 마스크 필터링을 이용한 얼룩 결함 자동 검출 방법에 대해 설명하기로 한다.
도 2는 본 발명의 바람직한 일 실시예에 따른 얼룩 결함 자동 검출 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 먼저 영상 획득부(100)는 검사하려는 대상물의 상면 이미지를 획득하여 영상 처리부(200)에 전송한다. 예를 들면, 영상 획득부(100)는 촬영부(120)로 대상물의 상면을 촬영하여 촬영된 영상을 영상 처리부(200)에 입력할 수 있다.
다음으로, 영상 처리부(200)의 배경 이미지 생성부(210)는 1단계로 DCT 계수의 수직 성분과 수평 성분을 분석하여 차단 주파수를 결정하고, 각각의 차단 주파수를 적용하여 DCT 계수를 필터링한 후, 필터링된 계수로 IDCT(Inverse Cosine Transform)를 통한 이미지를 재구성하여 배경 이미지를 생성한다(단계 1).
그리고, 영상 처리부(200)의 웨이블릿 변환부(220)는 2단계로 얼룩이 포함된 대상물의 원본 이미지에서 배경 이미지 생성부(210)가 DCT 계수를 이용하여 생성한 배경 이미지를 제거하고, 배경 성분이 제거된 이미지에 웨이블릿 변환을 적용하여 근사화 계수, 수직 디테일 계수, 수평 디테일 계수, 대각선 디테일 계수로 분해하여 공간 영역에서의 특성과 주파수 영역에서의 특성을 동시에 관찰한다(단계 2).
이어서, 영상 해석부(300)는 다음 단계로 영상 처리부(200)에서 전송된 대상물의 이미지로부터 얼룩 결함을 추출함으로써 불량 유무를 판별한다. 이러한 얼룩의 검출은 얼룩 마스크 생성부(310)가 웨이블릿 근사화 계수의 표준편차에 상수배를 기준으로 하여 얼룩의 씨앗 성분과 얼룩 후보영역을 추출하고 추출된 얼룩의 씨앗 성분과 얼룩 후보영역에 영역 성장법을 적용하여 공간영역의 저주파 잡음을 최소화한 얼룩 마스크를 생성한 후(단계 3), 마스크 필터링부(320)가 각각의 수평, 수직, 대각선 디테일 계수에 근사화 계수를 이용하여 생성된 얼룩 마스크를 적용하여 마스크 필터링을 수행함으로써 얼룩이 강조된 이미지를 생성한다(단계 4).
이하, 상술한 각 단계들에 대해서 보다 상세하게 설명하기로 한다.
1. DCT 계수를 이용한 배경 이미지 생성
1) 이산 코사인 변환(DCT; Discrete Cosine Transform)
이산 함수
Figure pat00007
에 대한 1차원 이산 코사인 변환(discrete cosine transform, DCT)은 수학식 1과 같이 정의된다.
[수학식 1]
Figure pat00008
한편, 1차원 이산 코사인 역변환은 수학식 2와 같이 정의된다.
[수학식 2]
Figure pat00009
수학식 1과 수학식 2의 계수
Figure pat00010
는 수학식 3과 같이 정의된다.
[수학식 3]
Figure pat00011
첫 번째 DCT 변환 계수는 입력 시퀀스의 평균값으로 이 값을 DC 계수라 하고, 다른 변환 계수들은 AC 계수라고 부른다. 그림 2는 수학식 1에서
Figure pat00012
와
Figure pat00013
를 무시하고,
Figure pat00014
일 때
Figure pat00015
값의 변화에 따른 결과를 나타낸다. 첫 번째 파형
Figure pat00016
은 DC 계수를 만들고, 다른 파형
Figure pat00017
은 점진적으로 증가하는 주파수 파형을 제공한다. 이 직교 파형을 코사인 기저 함수(cosine basis function)라 한다.
[그림 2] 코사인 기저 함수
Figure pat00018
코사인 함수는 대칭이며
Figure pat00019
주기로 반복되어 각각의 코사인 기저 함수의 값은 바뀌지 않기 때문에, 코사인 기저 함수의 값을 미리 계산할 수 있다. 한편, 미리 계산된 코사인 기저 함수의 값을 입력 시퀀스에 따른
Figure pat00020
값에 곱하는 것으로 DCT 변환의 수학적 연산 수를 줄이고 계산상의 효율을 향상시킬 수 있다.
한편, MㅧN 이미지
Figure pat00021
에 대한 2차원 이산 코사인 변환은 수학식 4와 같이 정의된다.
[수학식 4]
Figure pat00022
한편, 역변환은 수학식 5와 같이 정의된다.
[수학식 5]
Figure pat00023
수학식 4와 수학식 5의 계수
Figure pat00024
와
Figure pat00025
는 수학식 6과 같이 정의된다.
[수학식 6]
Figure pat00026
2차원 코사인 기저 함수는 수직 방향의 1차원 코사인 기저 함수와 수평 방향의 1차원 코사인 기저 함수의 곱으로 생성할 수 있다. 그림 3은
Figure pat00027
일 때 2-D DCT 기본 패턴을 나타낸다. 1-D DCT 변환과 마찬가지로, 첫 번째 DCT 변환 계수
Figure pat00028
는 DC 계수이고, 다른 계수들은 주파수가 수평, 수직 방향으로 점점 증가하는 AC 계수이다.
[그림 3] 8ㅧ8 DCT 기본 패턴
Figure pat00029
2) 이산 코사인 변환 계수를 이용한 배경 이미지 생성
얼룩이 포함된 디스플레이 필름 표면 이미지에서 얼룩은 이미지의 일부분에 나타나는 반면, 얼룩을 제외한 나머지 영역은 모두 배경이 된다. 따라서, 본 발명의 일 실시예에 따른 얼룩 검출 방법에서는 원본 이미지에서 수평 방향으로 주요하게 나타나는 조명 성분과 수직 방향으로 주요하게 나타나는 조명 성분을 찾아, 얼룩이 제외된 배경 이미지를 추정한다.
도 3은 본 발명의 일 실시예에 따른 얼룩 검출 방법에서 배경 이미지를 추정하기 위해 사용되는 DCT 계수를 나타내는 그림으로서, 얼룩이 제외된 배경 이미지를 추정하기 위해, 그림 4와 같이 DCT 계수들 중 DC 계수인
Figure pat00030
와 각각 수평 방향과 수직 방향의 주파수 특징을 가지는
Figure pat00031
와
Figure pat00032
를 제외한 나머지 AC 계수들은 무시한다.
한편, 도 4는 DC 계수를 제외한 DCT 계수의
Figure pat00033
성분과
Figure pat00034
성분을 나타내는 그래프로서, DCT 계수의 수평 방향 주파수 특징을 가지는
Figure pat00035
와 수직 방향의 주파수 특징을 가지는
Figure pat00036
의 특성을 분석하기 위한 그래프를 나타낸 것이다. 도 4a는 DC 계수를 제외한 DCT 계수의
Figure pat00037
성분을 나타내며, 도 4b는 DC 계수를 제외한 DCT 계수의
Figure pat00038
성분을 나타낸다.
그리고, DCT 계수의 변화율이 점점 줄어들다가 변화율이 0에 가까워지는 구간의 시작점을 DCT 계수의 차단 주파수로 적용한다. 차단 주파수를 결정하기 위해 DCT 계수
Figure pat00039
와
Figure pat00040
성분의 변화율을 구하고, 변화율의 이동평균으로 변화율 0에 가까워지는 구간의 시작점을 탐색한다. 이동평균을 이용하여 수평 방향과 수직 방향의 차단 주파수
Figure pat00041
와
Figure pat00042
를 결정하는 기준은 수학식 7과 같다.
[수학식 7]
Figure pat00043
한편, 결정된 차단 주파수로
Figure pat00044
와
Figure pat00045
로 DCT 계수의
Figure pat00046
성분과
Figure pat00047
성분을 필터링하는 방법은 수학식 8과 같다.
[수학식 8]
Figure pat00048
한편, 도 5는 변화율의 이동평균으로 결정된 차단 주파수
Figure pat00049
와
Figure pat00050
로 필터링된 DCT 계수를 나타낸 그래프이다. 도 5a는 차단 주파수
Figure pat00051
로 필터링된
Figure pat00052
성분을 나타내며, 도 5b는 차단 주파수
Figure pat00053
로 필터링된
Figure pat00054
성분을 나타낸다.
도 6은 차단 주파수로 DCT 계수를 필터링하고, IDCT를 통해 재구성된 배경 이미지와 원본 이미지를 비교하여 나타낸 그림이다. 도 6a는 얼룩이 있는 디스플레이 필름 표면 이미지를 나타내고, 도 6b는 DCT 계수를 필터링하여 재구성된 배경 이미지를 나타낸다.
2. 배경 성분 제거 및 웨이블릿 변환 적용
1) 이산 웨이블릿 변환
이산 함수
Figure pat00055
에 대한 1차원 이산 웨이블릿 변환(DWT; Discrete Wavelet Tnsform)은 수학식 9의 근사화 계수와 수학식 10의 디테일 계수로 정의된다.
[수학식 9]
Figure pat00056
[수학식 10]
Figure pat00057
한편, 1차원 이산 웨이블릿 역변환은 수학식 11과 같이 정의된다.
[수학식 11]
Figure pat00058
이산 웨이블릿 변환을 2차원 함수로 확장하기 위해서는 2차원 스케일링 함수와 웨이블릿 함수가 필요하다. 각각의 2차원 함수는 1차원 스케일링 함수와 웨이블릿 함수의 곱으로 만들어진다. 2차원 스케일링 함수는 수학식 12와 같이 정의된다.
[수학식 12]
Figure pat00059
2차원 웨이블릿 함수는 방향에 민감하며, 서로 다른 방향의 함수 변화를 측정한다. 수평 방향의 변화와 수직 방향의 변화, 그리고 대각선 방향의 변화를 측정하는 웨이블릿 함수는 각각 수학식 13, 수학식 14, 수학식 15와 같이 정의된다.
[수학식 13]
Figure pat00060
[수학식 14]
Figure pat00061
[수학식 15]
Figure pat00062
MㅧN 이미지
Figure pat00063
에 대한 2차원 이산 웨이블릿 변환은 입력 이미지에 대한 근사화 계수를 나타내는 수학식 16과 수평, 수직, 대각선 디테일 계수를 나타내는 수학식 17과 같이 정의된다.
[수학식 16]
Figure pat00064
[수학식 17]
Figure pat00065
한편, 2차원 이산 웨이블릿 역변환은 수학식 18과 같이 정의된다.
[수학식 18]
Figure pat00066
이산 웨이블릿 변환의 계산 효율성을 향상시키기 위해, 두 개의 디지털 필터와 다운 샘플러를 이용하여 고속 웨이블릿 변환을 정의한다. 그림 4는 2차원 고속 웨이블릿 변환 필터 뱅크를 나타낸다. 스케일링 벡터
Figure pat00067
를 포함하는 블록은 저역통과 분해 필터, 웨이블릿 벡터
Figure pat00068
를 포함하는 블록은 고역통과 분해 필터를 나타내고, 2와 하향 화살표를 포함하는 블록은 다운 샘플링을 나타낸다.
[그림 4] 2차원 고속 웨이블릿 변환 필터 뱅크
Figure pat00069
2차원 고속 웨이블릿 변환 필터 뱅크의 입력이 낮은 해상도의 네 개의 성분들로 분해되는 결과는 그림 5와 같다. 두 개의 저역통과 필터를 통과하여 생성되는
Figure pat00070
는 근사화 계수이고, 나머지
Figure pat00071
,
Figure pat00072
,
Figure pat00073
는 각각 수평, 수직, 대각선 디테일 계수이다. 필터 뱅크의 출력
Figure pat00074
은 새로운 필터 뱅크의 입력으로 사용되어 더 낮은 해상도의 성분들로 분해될 수 있다.
[그림 5] 2차원 고속 웨이블릿 변환 필터 뱅크의 분해 결과
Figure pat00075
그림 6은 2차원 고속 웨이블릿 변환 합성 필터 뱅크를 나타낸다. 네 개의 성분들이 업샘플링되고 합성 필터를 통과하여 더해지면, j + 1 스케일의 근사화 계수가 재구성 된다.
[그림 6] 2차원 고속 웨이블릿 변환 합성 필터 뱅크
Figure pat00076
2) 배경 성분 제거 및 이산 웨이블릿 변환 적용
본 발명의 일 실시예에 따른 웨이블릿 변환부(220)는 얼룩이 포함된 디스플레이 필름 표면 이미지에서 DCT 계수를 이용하여 생성된 배경 이미지를 제거한다. 이때, 배경 성분이 제거된 이미지를 획득하는 방법은 수학식 19와 같다.
[수학식 19]
Figure pat00077
한편, 도 7은 배경 성분이 제거된 이미지를 획득하는 방법을 나타내는 그림으로서, 수학식 19를 이미지에 적용한 결과와 같다.
도 8은 배경 성분이 제거된 이미지의 이산 웨이블릿 변환을 나타낸 그림으로서, 웨이블릿 변환부(220)는 배경 성분이 제거된 이미지의 공간 영역에서의 특성과 주파수 영역에서의 특성을 동시에 관찰 할 수 있는 이산 웨이블릿 변환을 적용하여 도 8과 같이 배경 성분이 제거된 이미지를 근사화 계수, 수직 디테일 계수, 수평 디테일 계수, 대각선 디테일 계수로 분해한다.
3. 웨이블릿 근사화 계수를 이용한 얼룩 마스크 생성
1) 얼룩 마스크의 개요
웨이블릿 근사화 계수는 두 개의 저역통과 분해 필터를 통해 생성되어, 웨이블릿 변환에 입력 이미지로 사용된 배경 성분이 제거된 이미지의 고유 정보를 포함하고 있다. 그림 7과 같이 배경 성분이 제거된 이미지에는 원본 이미지에서 얼룩 영역을 제외한 배경 영역과 DCT 계수를 이용하여 재구성된 배경 이미지 사이의 픽셀값 차이 정보와 얼룩 영역과 배경 이미지 사이의 픽셀값 차이 정보가 함께 포함되어 있다. 한편, 원본 이미지의 배경 영역과 재구성된 배경 이미지 사이의 픽셀값 차이 정보를 저주파 잡음으로 분류한다.
[그림 7] 배경 성분이 제거된 이미지
Figure pat00078
본 발명의 일 실시예에 따른 얼룩 검출 방법에서는 저역통과 분해 필터를 통과하면 급격한 밝기 변화와 같은 고주파 잡음이 제거 되므로, 웨이블릿 근사화 계수에서 저주파 잡음의 영향을 최소화 하여 얼룩의 정보를 추출한다. 잡음 영역은 제거하고 얼룩 영역은 추출하여 얼룩 마스크를 생성하기 위해 씨앗(seed) 점들로부터 시작해서, 각 씨앗과 유사한 속성을 갖는 이웃 화소들을 해당 씨앗에 붙여서 영역을 분할하는 영역 성장법을 적용한다.
한편, 그림 8은 영역 성장법의 적용 과정을 나타낸다. 그림 8a는 얼룩과 저주파 잡음이 포함된 웨이블릿 근사화 계수를 나타내고, 그림 8b는 저주파 잡음이 제거된 얼룩 이미지로 그림 8a 이미지에서 저주파 잡음을 제거하여 획득된 얼룩 성분을 나타낸다. 저주파 잡음을 제거하는 과정에서 얼룩의 정보가 일부 손실될 수 있다. 그림 8c는 그림 8b의 얼룩 성분을 한 픽셀로 침식시킨 씨앗 이미지를 나태내고, 그림 8d는 얼룩의 정보가 손실되지 않는 범위 내에서 저주파 잡음의 일부를 제거한 이미지를 나타낸다. 그림 8d와 그림 8e에서는 그림 8c의 씨앗 점의 위치로부터 8-이웃 픽셀들을 탐색하고, 씨앗 점에 8-연결된 픽셀들을 모두 연결하여 그림 8a 이미지에서 얼룩 영역을 분할한다. 저주파 잡음이 제거된 그림 8f는 영역 성장법을 통해 생성된 얼룩 마스크를 나타낸다.
[그림 8] 영역 성장법의 적용 과정
Figure pat00079
2) 얼룩 마스크 생성 방법
일반적으로
Figure pat00080
이하의 데이터는 통계적인 잡음으로 분류하기 때문에 웨이블릿 근사화 계수의 표준편차를 기준으로 저주파 잡음을 필터링 한다. 웨이블릿 근사화 계수
Figure pat00081
의 저주파 잡음을 필터링 하기위한 기준은 수학식 20과 같이 정의한다.
[수학식 20]
Figure pat00082
한편, 웨이블릿 근사화 계수
Figure pat00083
의 이진화를 위한 문턱치 처리는 수학식 21과 같다.
[수학식 21]
Figure pat00084
도 9는 수학식 20의
Figure pat00085
의 변화에 따른 문턱치를 웨이블릿 근사화 계수에 적용하여 이진화한 결과를 나타낸 그림이다. 도 9a는 웨이블릿 근사화 계수 이미지로 밝은 영역은 픽셀 값 차이를 나타내고, 어두운 영역은 픽셀 값 차이가 없음을 나타낸다. 원본 이미지와 배경 이미지 사이의 픽셀 값 차이가 클수록 밝기의 강도도 강하다. 도 9b 내지 도 9d의 이진화된 이미지에서 흰색은 기준 이상의 값을 나타내고 검정색은 기준 미만의 값을 나타낸다. 도 9를 참조하면,
Figure pat00086
가 증가할수록 저주파 잡음으로 분류한 원본 이미지의 배경 영역과 재구성된 배경 이미지 사이의 픽셀 값 차이 정보가 줄어드는 것을 확인 할 수 있다.
본 발명의 일 실시예에 따른 얼룩 검출 방법에서 얼룩 마스크 생성부(310)가 웨이블릿 근사화 계수의 저주파 잡음을 제거하고, 영역 성장법을 적용하여 얼룩 마스크를 생성하는 알고리즘은 다음과 같다.
<단계 301>
Figure pat00087
의 문턱치를 기준으로 웨이블릿 근사화 계수를 이진화하여, 저주파 잡음이 제거된 얼룩 초기 씨앗 이미지
Figure pat00088
를 생성한다.
<단계 302> 얼룩 초기 씨앗 이미지
Figure pat00089
에 존재하는 각각의 영역에 대한 모든 연결 성분을 찾고, 각각의 영역의 연결 성분을 한 픽셀로 침식시켜 얼룩 씨앗 점 이미지
Figure pat00090
를 생성한다.
<단계 303>
Figure pat00091
의 문턱치를 기준으로 웨이블릿 근사화 계수를 이진화하여, 저주파 잡음이 일부 포함된 얼룩 영역 이미지
Figure pat00092
를 생성한다.
<단계 304> 얼룩 씨앗 점 이미지
Figure pat00093
의 각 씨앗 점에 8-연결된 얼룩 영역 이미지
Figure pat00094
의 픽셀들을 덧붙여서 얼룩 마스크를 생성한다.
한편, 얼룩 마스크를 생성하는 과정은 도 10에 도시하였다. 도 10a는 웨이블릿 근사화 계수 이미지를 나타낸다. 도 10b는 수학식 20의
Figure pat00095
문턱치를 이용하여 도 10a를 이진화한 저주파 잡음이 제거된 얼룩 초기 씨앗 이미지
Figure pat00096
를 나타낸다. 도 10c는 도 10b에 존재하는 얼룩 영역에 대한 모든 연결 성분을 찾아서 한 픽셀로 침식시킨 얼룩 씨앗 점 이미지
Figure pat00097
를 나타낸다. 도 10d는 수학식 20의
Figure pat00098
문턱치를 이용하여 도 10a를 이진화한 저주파 잡음이 일부 포함된 얼룩 영역 이미지
Figure pat00099
를 나타낸다. 도 10e는 도 10d에서 도 10c의 얼룩 씨앗 점에 8-연결된 픽셀들을 덧붙여서 생성된 얼룩 마스크를 나타낸다.
4. 웨이블릿 디테일 계수에 마스크 필터링 적용
1) 마스크 필터링의 개요
웨이블릿 디테일 계수는 고역통과 분해 필터를 통해 생성되므로, 웨이블릿 변환에 입력 이미지로 사용된 배경 성분이 제거된 이미지의 수평, 수직, 대각선 방향의 고주파 성분을 포함한다. 한편, 영상 처리에서는 점과 에지와 같은 급격한 같은 밝기 변화 등을 고주파 성분이라 한다. 고주파 성분에는 얼룩의 특징뿐만 아니라 배경 성분이 제거되면서 남게 되는 미세한 픽셀 차이까지 고주파 성분에 포함되어 있기 때문에, 고주파 성분에 있는 얼룩의 특징을 증폭시키기 위해서는 얼룩의 특징과 고주파 잡음을 분리해야한다. 따라서 얼룩의 특징과 고주파 잡음을 분리하기 위해 마스크 필터링을 적용한다.
한편, 그림 9는 마스크 필터링을 적용하는 과정을 나타낸다. 그림 9a와 그림 9b는 웨이블릿 근사화 계수로 만들어진 얼룩 마스크를 각각의 웨이블릿 디테일 계수에 적용하여 마스크 필터링 수행을 나타내고, 그림 9c는 마스크 필터링을 적용하여 각각의 웨이블릿 디테일 계수에서 얼룩의 특징을 분리한 결과를 나타낸다.
[그림 9] 마스크 필터링 적용 과정
Figure pat00100
2) 마스크 필터링
본 발명의 일 실시예에 따른 얼룩 검출 방법에서 마스크 필터링부(320)는 웨이블릿 근사화 계수의 저주파 잡음을 제거하여 생성된 얼룩 마스크를 수평, 수직, 대각선 디테일 계수
Figure pat00101
에 적용하여 얼룩 마스크에 해당되는 고주파 성분을 얼룩의 특징으로, 얼룩 마스크에 해당되지 않는 성분을 고주파 잡음으로 분류한다. 이에, 마스크 필터링부(320)는 수학식 22와 같이 얼룩 마스크의 on에 해당되는 각각의 디테일 계수는 상수배를 하여 증폭시키고, 얼룩 마스크의 off에 해당되는 각각의 디테일 계수는 0으로 치환하여 제거한다.
[수학식 22]
Figure pat00102
본 발명의 마스크 필터링부(320)가 수평, 수직, 대각선 웨이블릿 디테일 계수에 얼룩 마스크를 적용하여 얼룩이 강조된 이미지를 생성하는 마스크 필터링 알고리즘은 다음과 같다.
<단계 401> 각각의 웨이블릿 디테일 계수에 얼룩 마스크를 적용하여 얼룩 마스크의 on에 해당되는 디테일 계수는 증폭시키고, 얼룩 마스크의 off에 해당되는 디테일 계수는 제거한다.
<단계 402> 고주파 잡음이 제거되고, 얼룩 특징이 증폭된 각각의 웨이블릿 디테일 계수로 웨이블릿 역변환을 수행하여 얼룩이 강조된 이미지
Figure pat00103
를 생성한다.
<단계 403> 얼룩이 강조된 이미지
Figure pat00104
에 닫기 연산을 수행하여 강조된 얼룩 영역을 연결된 객체로 만들고, 연결된 객체의 윤곽선을 원본 이미지에 나타낸 얼룩이 검출된 이미지
Figure pat00105
를 생성한다.
한편, 도 11은 본 발명의 일 실시예에 따른 마스크 필터링부가 마스크 필터링을 통해 얼룩이 강조된 이미지를 생성하는 과정을 나타내는 그림으로서, 수평, 수직, 대각선 디테일 계수에 마스크 필터링을 수행 결과는 다음과 같다. 도 11a는 웨이블릿 근사화 계수의 저주파 잡음을 제거하여 생성된 얼룩 마스크를 나타낸다. 도 11b는 얼룩 마스크를 각각의 디테일 계수에 적용하여 얼룩 마스크의 on에 해당되는 계수는 증폭시키고, 얼룩 마스크의 off에 해당되는 계수는 제거하는 마스크 필터링을 나타낸다. 도 11c는 도 11b의 마스크 필터링을 수행한 결과 각각의 디테일 계수에서 고주파 잡음이 제거되고, 얼룩 특징이 증폭되었음을 나타낸다. 도 11d는 도 11c의 고주파 잡음이 제거되고, 얼룩 특징이 증폭된 각각의 디테일 계수로 웨이블릿 역변환을 수행하여 생성된 얼룩이 강조된 이미지
Figure pat00106
를 나타낸다. 도 11e는 도 11d의 결과에 닫기 연산을 수행하여 얼룩 영역을 연결된 객체로 만들고, 연결된 객체의 윤곽선을 원본 이미지에 표시한 얼룩이 검출된 이미지
Figure pat00107
를 나타낸다.
웨이블릿 변환에서 마스크 필터링을 이용한 얼룩 결함 자동 검출 방법에 대한 검출 평가를 위하여, 본 명세서에서 실험에 사용된 결함의 종류는 그림 10과 같이 얼룩 결함과 이물질, 복합 결함으로 분류하고, 얼룩 결함은 다시 spot 얼룩과 region 얼룩으로 분류할 수 있다.
[그림 10] 얼룩 결함의 종류
Figure pat00108
한편, 검출률을 산출하기 위하여 실험에 사용된 이미지는 410ㅧ410 픽셀의 그레이 스케일 이미지를 사용하였으며, 결함이 포함된 디스플레이 필름 표면 이미지는 총 200장으로 결함의 종류에 따라 분류한 결과는 표 1과 같다. 표 1에 보인바와 같이, 실험을 수행한 결과 총 검출된 이미지는 191장, 총 미검출된 이미지는 9장으로 95.5%의 검출률을 나타내었다.
얼룩 종류 실험 이미지 수 검출 이미지 수 검출률
spot 32 29 90.6%
region 135 131 97.0%
foreign substance 14 14 100%
complex 19 17 89.5%
총 계 200 191 95.5%
본 명세서에서는 본 발명의 실시예에 따른 얼룩 검출 방법의 객관적인 신뢰도를 평가하기 위해, SEMI 협회에서 정의한 얼룩 측정 지표(SEMU)("Definition of measurement index (SEMU) for luminance Mura in FPD image quality inspection", SEMI D31-1102, 2002.)를 적용하여 검출된 디스플레이 필름 표면 얼룩 결함을 양자화 한다. 얼룩 측정 지표는 검출 가능한 얼룩의 최소 명암의 차이를 정의하는
Figure pat00109
와 검출된 얼룩과 배경간의 명암의 차이를 정의하는
Figure pat00110
의 비율로 정의된다.
한편,
Figure pat00111
는 최소식별차이(JND; Just Noticeable Difference)를 적용하여 수학식 23과 같이 정의되고, 검출된 얼룩의 면적
Figure pat00112
에 반비례한다. 이는, 검출된 얼룩의 면적이 넓어짐에 따라 인간의 시각으로 인지할 수 있는 최소 명암 차이는 작아지고, 검출된 얼룩의 면적이 좁아짐에 따라 인간의 시각으로 인지할 수 있는 최소 명암 차이는 커진다는 것을 의미한다.
[수학식 23]
Figure pat00113
검출된 얼룩의 평균 대비
Figure pat00114
는 수학식 24와 같이 정의되고, 배경 이미지의 그레이 레벨과 명암 차이에 대한 비율을 나타낸다. 따라서, 배경이 밝은 이미지일수록
Figure pat00115
값은 작아지고, 어두운 이미지일수록
Figure pat00116
값은 커진다. 이는, 동일한 명암 차이를 어두운 이미지에서 구분하는 것 보다 밝은 이미지에서 구분하는 것이 더 어렵다는 것을 의미한다.
[수학식 24]
Figure pat00117
얼룩 측정 지표 Semu는
Figure pat00118
와
Figure pat00119
의 비율로 수학식 25와 같이 정의되고, 검출된 얼룩과 배경간의 명암의 차이
Figure pat00120
와 검출된 얼룩의 면적
Figure pat00121
에 비례한다. 검출된 얼룩과 배경간의 명암의 차이와 검출된 얼룩의 면적이 증가할수록 Semu 값도 증가하고, 검출된 얼룩과 배경간의 명암의 차이와 검출된 얼룩의 면적이 감소할수록 Semu 값도 감소한다. Semu 값의 크기는 결함의 양자화 레벨을 나타내므로 Semu 값이 클수록 결함의 정도가 큰 결함, Semu 값이 작을수록 결함의 정도가 작은 결함을 나타낸다. 한편, Semu 값이 작은 얼룩일수록 얼룩과 배경간의 명암 차이가 작고, 얼룩의 면적이 작은 얼룩으로서 검출이 어렵다.
[수학식 25]
Figure pat00122
한편, 본 발명의 실시예에 따른 얼룩 검출 방법의 Semu 평가는 종래의 방법(L. C. Chen, C. C. Kuo, "Automatic TFT-LCD mura defect inspection using discrete cosine transform-based background filtering and 'just noticeable difference' quantification strategies", Meas. Sci. Technol., vol. 19, pp. 1??10, 2008)의 Semu 평가 결과와 비교한다. 본 발명의 실시예에 따른 얼룩 검출 방법으로 검출이 가능한 얼룩과 배경의 최소 명암 차이를 확인하고, 검출된 얼룩의 Semu 값을 평가한다.
종래의 방법에서 사용된 이미지 크기는 256ㅧ256 이고, 얼룩의 크기는 약 1,800 픽셀이며 얼룩과 배경의 명암 차이를 1씩 감소시킨 얼룩을 생성하여 사용하였다. 종래 방법의 Semu 평가 결과의 명암 차이 10에서 6까지의
Figure pat00123
항목을 수학식 24에 대입하여 종래의 방법이 Semu 평가에 사용한 배경 이미지의 그레이 레벨을 추정하면, Semu 평가에 사용한 배경 이미지의 그레이 레벨은 약 120에서 125 사이로 가정할 수 있다. 따라서 종래의 방법에서 제안한 Semu 평가 자료와 본 발명의 실시예에 따른 방법과의 일치성을 확보하기 위해서 본 발명의 실험예에서 사용된 이미지의 크기는 410ㅧ410 이고, 얼룩의 크기는 약 1,800 픽셀이며 얼룩과 배경의 명암 차이를 1씩 감소시킨 얼룩을 사용하였다. 도 12와 같이 얼룩과 배경의 명암 차이를 변화시켜 얼룩 이미지를 생성하였다. 배경은 평균 픽셀값 125의 디스플레이 필름 표면 이미지를 사용하였으며, 도 12a는 얼룩과 배경의 명암 차이가 10인 픽셀값 135의 얼룩 이미지를 나타내고, 도 12b에서 도 12j까지는 얼룩과 배경의 명암 차이를 1씩 감소시킨 얼룩 이미지를 나타낸다.
도 13은 도 12의 얼룩과 배경의 명암 차이를 10에서 1까지 변화시킨 얼룩 이미지를 이용하여 본 발명의 일 실시예에 따른 얼룩 검출 방법으로 얼룩을 검출한 결과를 나타낸다. 명암 차이 10에서부터 4까지의 얼룩 이미지는 도 13a에서 도 13g와 같이 얼룩을 정확히 검출하였다. 한편, 명암차이 3에서부터 1까지의 얼룩 이미지는 도 13h에서 도 13i와 같이 얼룩을 검출하지 못하였다.
표 2는 본 발명의 얼룩 검출 방법에 대한 Semu 평가를 나타내고, 표 3은 종래의 방법(L. C. Chen, C. C. Kuo, "Automatic TFT-LCD mura defect inspection using discrete cosine transform-based background filtering and 'just noticeable difference' quantification strategies", Meas. Sci. Technol., vol. 19, pp. 1??10, 2008)에 대한 Semu 평가를 나타낸다.
표 2에서 첫 번째 열의 명암 차이 항목은 얼룩과 배경의 명암 차이를 나타내고, 두 번째 열의
Figure pat00124
항목은 검출된 얼룩의 평균 대비를 나타낸다. 동일한 명암 차이를 어두운 이미지에서 구분하는 것 보다 밝은 이미지에서 구분하는 것이 더 어렵다는 것으로, 배경 이미지의 그레이 레벨이 높은 밝은 이미지일수록
Figure pat00125
값은 작아진다. 세 번째 열의
Figure pat00126
항목은 얼룩 검출을 위한 최소 대비로, 검출된 얼룩의 크기에 따른 인간의 시각으로 인식할 수 있는 최소 명암 차이를 나타낸다. 따라서, 얼룩의 크기가 작아질수록 얼룩을 식별하기 위한 얼룩과 배경의 최소 명암 차이 값은 커진다는 것을 나타낸다. 네 번째 열의 Semu 값은
Figure pat00127
와
Figure pat00128
로 얼룩을 양자화한 값으로 얼룩과 배경의 명암 차이가 작고, 얼룩의 크기가 작을수록 Semu 값이 작아진다. Semu 값이 작은 얼룩일수록 검출이 어려움을 나타낸다. 본 발명의 얼룩 검출 방법으로 검출할 수 있는 얼룩과 배경의 최소 명암 차이는 4로서, 표 3의 종래의 방법의 Semu 평가 결과보다 향상된 결과를 나타내는 것을 확인하였다.
한편, 표 3의 종래 방법의 Semu 평가 결과는
Figure pat00129
의
Figure pat00130
항을 검출된 얼룩의 면적이 아닌 검출된 얼룩의 픽셀수로 계산하였으므로 본 명세서에서도 검출된 얼룩의 픽셀수로 계산하였다. 종래의 방법이 검출할 수 있는 얼룩과 배경의 최소 명암 차이는 5이다. 한편, 배경 이미지의 그레이 레벨 120에서 125에서 명암 차이 5에 대한
Figure pat00131
항목은 약 4.16에서 4에 근접한 값으로 예상할 수 있으나, 종래 방법의 Semu 평가 결과는 명암 차이 5에 대한
Figure pat00132
항목이 3.07로 예상 범위를 벗어난다. 얼룩과 배경의 명암 차이를 5로 하여 얼룩 이미지를 생성하였으나, 검출된 얼룩에 대한 명암 차이는 5에 근접한 값이 아닌 3과 4 사이의 값으로 추정된다. 따라서, 종래 방법의 명암 차이 5에서 얼룩의 영역을 정확히 검출하지 못한 것으로 판단된다.
명암 차이
Figure pat00133
(%)
Figure pat00134
(%)		 Semu 평가
10 8.1574 0.8827 9.2410 성공
9 7.3598 0.8831 8.3345 성공
8 6.5665 0.8836 7.4316 성공
7 5.7474 0.8835 6.5054 성공
6 4.9574 0.8836 5.6105 성공
5 4.1547 0.8844 4.6979 성공
4 3.3434 0.8877 3.7666 성공
3 1.9298 0.9287 2.0837 실패
2 2.3440 0.9011 2.6012 실패
1 2.7387 0.9597 2.8538 실패
명암 차이
Figure pat00135
(%)
Figure pat00136
(%)		 Semu 평가
10 8.32 0.88 9.3 성공
9 7.42 0.88 8.39 성공
8 6.61 0.88 7.48 성공
7 5.79 0.88 6.55 성공
6 4.78 0.88 5.39 성공
5 3.07 0.89 3.44 성공
4 0.52 1.22 0.43 실패
3 0.48 1.28 0.31 실패
2 0.37 1.28 0.29 실패
1 0.18 1.5 0.12 실패
도 14는 본 발명의 얼룩 검출 방법과 종래 얼룩 검출 방법, 그리고 샘플 이미지 생성 조건으로 계산한 Semu 값의 분포를 나타낸다. 본 발명의 실시예에 따른 방법은 샘플 이미지 생성 조건으로 계산한 Semu 값과 명암 차이 4까지 일치하고, 종래의 방법은 Kuo는 명암 차이 6까지 일치하므로 제안된 방법이 우수함을 확인하였다.
이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.
100 : 영상 획득부 200 : 영상 처리부
210 : 배경 이미지 생성부 220 : 웨이블릿 변환부
300 : 영상 해석부 310 : 얼룩 마스크 생성부
320 : 마스크 필터링부

Claims (9)

  1. 대상물의 원본 이미지를 취득하는 영상 획득부,
    이산 코사인 변환(DCT; Discrete Cosine Transform) 계수를 이용하여 배경 이미지를 생성하는 배경 이미지 생성부 및 상기 원본 이미지에서 상기 배경 이미지의 배경 성분을 제거하고 이산 웨이블릿 변환(DWT; Discrete Wavelet Transform)을 적용하여 웨이블릿 근사화 계수와 웨이블릿 디테일 계수를 생성하는 웨이블릿 변환부를 포함하는 영상 처리부 및
    상기 웨이블릿 근사화 계수의 표준편차를 이용하여 얼룩 마스크를 생성하는 얼룩 마스크 생성부및 상기 웨이블릿 디테일 계수에 마스크 필터링을 적용하여 얼룩을 강조하는 마스크 필터링부를 포함하는 영상 해석부를 포함하는 얼룩 결함 자동 검출 시스템.
  2. 청구항 제1항에서,
    상기 배경 이미지 생성부는,
    DCT 계수의 수평 성분
    Figure pat00137
    과 수직 성분
    Figure pat00138
    을 분석하여 수평 방향의 차단 주파수
    Figure pat00139
    와 수직 방향의 차단 주파수
    Figure pat00140
    를 결정하고, 각각의 상기 차단 주파수
    Figure pat00141
    ,
    Figure pat00142
    를 적용하여 DCT 계수의 상기 수평 성분
    Figure pat00143
    과 수직 성분
    Figure pat00144
    을 필터링한 후, 필터링된 계수로 역 이산 코사인 변환(IDCT; Inverse Discrete Cosine Transform)를 통해 재구성된 배경 이미지를 생성하는 얼룩 결함 자동 검출 시스템.
    단,
    Figure pat00145
    는 MㅧN 이미지
    Figure pat00146
    에 대한 2차원 이산 코사인 변환으로서 하기 수식 1과 같다.
    (수식 1)
    Figure pat00147

    Figure pat00148
  3. 청구항 제2항에서,
    상기 차단 주파수는,
    DCT 계수
    Figure pat00149
    와
    Figure pat00150
    성분의 변화율이 0에 가까워지는 구간의 시작점으로서, 하기 수식 2를 이용하여 결정되고,
    상기 필터링은,
    하기 수식 3을 이용하는 얼룩 결함 자동 검출 시스템.
    (수식 2)
    Figure pat00151

    (수식 3)
    Figure pat00152
  4. 청구항 제1항에서,
    상기 웨이블릿 변환부는,
    상기 배경 이미지의 배경 성분을 제거하고, 배경 성분이 제거된 이미지에 이산 웨이블릿 변환을 적용하여 하기 수식 4의 웨이블릿 근사화 계수
    Figure pat00153
    , 수식 5의 수평 웨이블릿 디테일 계수
    Figure pat00154
    , 수직 웨이블릿 디테일 계수
    Figure pat00155
    , 대각선 웨이블릿 디테일 계수
    Figure pat00156
    로 분해하는 얼룩 결함 자동 검출 시스템.
    (수식 4)
    Figure pat00157

    Figure pat00158

    (수식 5)
    Figure pat00159

    Figure pat00160
  5. 청구항 제1항 또는 제4항에서,
    상기 얼룩 마스크 생성부는,
    상기 웨이블릿 근사화 계수의 표준편차에 상수배를 기준으로 하여 얼룩의 씨앗 성분과 얼룩 후보 영역을 추출하고, 추출된 얼룩의 씨앗 성분과 얼룩 후보 영역에 영역 성장법을 적용하여 공간 영역의 저주파 잡음을 제거한 얼룩 마스크를 생성하는 얼룩 결함 자동 검출 시스템.
  6. 청구항 제5항에서,
    상기 얼룩 마스크 생성부는,
    하기 수식 6 및 수식 7을 통해
    Figure pat00161
    의 문턱치를 기준으로 웨이블릿 근사화 계수를 이진화하여 저주파 잡음이 제거된 얼룩 초기 씨앗 이미지
    Figure pat00162
    를 생성하고,
    상기 얼룩 초기 씨앗 이미지
    Figure pat00163
    에 존재하는 각각의 영역에 대한 모든 연결 성분을 찾고, 각각의 영역의 상기 연결 성분을 한 픽셀로 침식시켜 얼룩 씨앗 점 이미지
    Figure pat00164
    를 생성하고,
    의 문턱치를 기준으로 웨이블릿 근사화 계수를 이진화하여, 저주파 잡음이 일부 포함된 얼룩 영역 이미지
    Figure pat00166
    를 생성하며,
    상기 얼룩 씨앗 점 이미지
    Figure pat00167
    의 각 씨앗 점에 8-연결된 상기 얼룩 영역 이미지
    Figure pat00168
    의 픽셀들을 덧붙여서 얼룩 마스크를 생성하는 얼룩 결함 자동 검출 시스템.
    (수식 6)
    Figure pat00169

    (수식 7)
    Figure pat00170
  7. 청구항 제1항 또는 제4항에서,
    상기 마스크 필터링부는,
    상기 얼룩 마스크 생성부에서 생성된 얼룩 마스크를 수평 웨이블릿 디테일 계수, 수직 웨이블릿 디테일 계수 및 대각선 웨이블릿 디테일 계수에 적용하여 주파수 영역의 잡음을 제거하고 얼룩 특징을 강조하는 얼룩 결함 자동 검출 시스템.
  8. 청구항 제7항에서,
    상기 마스크 필터링 부는,
    상기 얼룩 마스크를 상기 수평 웨이블릿 디테일 계수, 수직 웨이블릿 디테일 계수 및 대각선 웨이블릿 디테일 계수에 적용하여 상기 하기 수식 8과 같이 상기 얼룩 마스크의 on에 해당하는 각각의 웨이블릿 디테일 계수는 증폭시키고, 상기 얼룩 마스크의 off에 해당하는 각각의 웨이블릿 디테일 계수는 0으로 치환하여 제거한 후,
    각각의 웨이블릿 디테일 계수로 웨이블릿 역변환을 수행하여 얼룩이 강조된 이미지
    Figure pat00171
    를 생성하고,
    상기 얼룩이 강조된 이미지
    Figure pat00172
    에 닫기 연산을 수행하여 강조된 얼룩 영역을 연결된 객체로 만들고, 상기 연결된 객체의 윤곽선을 상기 원본 이미지에 나타낸 얼룩이 검출된 이미지
    Figure pat00173
    를 생성하는 얼룩 결함 자동 검출 시스템.
    (수식 8)
    Figure pat00174
  9. 얼룩이 포함된 대상물의 원본 이미지에 차단 주파수를 적용하고 DCT 계수를 필터링하여 배경 이미지를 생성하는 단계,
    상기 원본 이미지에서 상기 배경 이미지 성분 제거하고 이산 웨이블릿 변환을 통해 웨이블릿 근사화 계수와 웨이블릿 디테일 계수를 생성하는 단계,
    상기 웨이블릿 근사화 계수를 이용하여 얼룩 마스크를 생성하는 단계 및
    상기 웨이블릿 디테일 계수에 마스크 필터링을 적용하여 얼룩을 강조하는 단계를 포함하는 얼룩 결함 자동 검출 방법.
KR1020140153070A 2014-11-05 2014-11-05 웨이블릿 변환에서 마스크 필터링을 이용한 얼룩 결함 자동 검출 시스템 및 방법 KR101635461B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140153070A KR101635461B1 (ko) 2014-11-05 2014-11-05 웨이블릿 변환에서 마스크 필터링을 이용한 얼룩 결함 자동 검출 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140153070A KR101635461B1 (ko) 2014-11-05 2014-11-05 웨이블릿 변환에서 마스크 필터링을 이용한 얼룩 결함 자동 검출 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20160054151A true KR20160054151A (ko) 2016-05-16
KR101635461B1 KR101635461B1 (ko) 2016-07-04

Family

ID=56108945

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140153070A KR101635461B1 (ko) 2014-11-05 2014-11-05 웨이블릿 변환에서 마스크 필터링을 이용한 얼룩 결함 자동 검출 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101635461B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108074238A (zh) * 2017-12-29 2018-05-25 惠州市华星光电技术有限公司 基于霍夫变换及高斯拟合的面内mura检测方法及检测系统
CN108961218A (zh) * 2018-06-11 2018-12-07 无锡维胜威信息科技有限公司 太阳能硅片晶花提取方法
CN111127415A (zh) * 2019-12-19 2020-05-08 信利(仁寿)高端显示科技有限公司 一种基于准分子激光退火的Mura的量化方法
US10740889B2 (en) 2017-12-29 2020-08-11 Huizhou China Star Optoelectronics Technology Co., Ltd. Method and system for detection of in-panel mura based on hough transform and gaussian fitting
US10939036B2 (en) 2017-05-23 2021-03-02 Samsung Display Co., Ltd. Spot detecting apparatus and method of detecting spot using the same
KR20210067709A (ko) * 2019-11-29 2021-06-08 부경대학교 산학협력단 인간 상피 세포 이미지 분류를 위한 동적 학습 장치 및 방법
CN113822884A (zh) * 2021-11-22 2021-12-21 中导光电设备股份有限公司 基于小波变换的mura缺陷检测方法和系统
KR102530482B1 (ko) * 2022-11-17 2023-05-09 (주)서용엔지니어링 정수처리시설 내 미세 유충 감지 장치
KR102533365B1 (ko) * 2021-12-22 2023-05-17 호서대학교 산학협력단 오토인코더를 이용한 비전 검사를 위한 장치 및 이를 위한 방법
CN116958182A (zh) * 2023-09-20 2023-10-27 广东华宸建设工程质量检测有限公司 基于图像数据的混凝土裂缝快速检测方法
CN117576089A (zh) * 2024-01-15 2024-02-20 山东恒力源精密机械制造有限公司 一种活塞环缺陷检测方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190051395A (ko) 2017-11-06 2019-05-15 삼성전자주식회사 피검사 장치의 검사 시스템 및 방법
US11538149B2 (en) 2019-07-31 2022-12-27 Samsung Display Co., Ltd. Spot detection device, spot detection method, and display device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100717863B1 (ko) 2006-02-13 2007-05-14 엘지전자 주식회사 웨이블릿 계수를 이용한 영상의 에지 방향 검출 방법
KR20120057351A (ko) 2010-11-26 2012-06-05 서강대학교산학협력단 속도 제한 표지판 인식 방법 및 장치, 이미지 인식 방법
KR101166722B1 (ko) 2011-03-17 2012-07-19 인하대학교 산학협력단 이미지 검색을 위한 국부적 색변화 기반 관심점 검출과 디스크립터 생성 방법 및 그 기록매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100717863B1 (ko) 2006-02-13 2007-05-14 엘지전자 주식회사 웨이블릿 계수를 이용한 영상의 에지 방향 검출 방법
KR20120057351A (ko) 2010-11-26 2012-06-05 서강대학교산학협력단 속도 제한 표지판 인식 방법 및 장치, 이미지 인식 방법
KR101166722B1 (ko) 2011-03-17 2012-07-19 인하대학교 산학협력단 이미지 검색을 위한 국부적 색변화 기반 관심점 검출과 디스크립터 생성 방법 및 그 기록매체

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
An effective and efficient defect inspection system for TFT-LCD polarised films using adaptive thresholds and shape-based image analyses(2009.08.21)* *
Automatic TFT-LCD mura defect inspection using discrete cosine transform-based background filtering and just noticeable diffeerence quantification strategies, Meas. Sci. technol. (2007.11.30)* *
The Defect Detection Using Human Visual System and Wavelet Transform in TFT-LCD image (2007.12.31)* *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11330169B2 (en) 2017-05-23 2022-05-10 Samsung Display Co., Ltd. Spot detecting apparatus and method of detecting spot using the same
US10939036B2 (en) 2017-05-23 2021-03-02 Samsung Display Co., Ltd. Spot detecting apparatus and method of detecting spot using the same
CN108074238A (zh) * 2017-12-29 2018-05-25 惠州市华星光电技术有限公司 基于霍夫变换及高斯拟合的面内mura检测方法及检测系统
US10740889B2 (en) 2017-12-29 2020-08-11 Huizhou China Star Optoelectronics Technology Co., Ltd. Method and system for detection of in-panel mura based on hough transform and gaussian fitting
CN108961218B (zh) * 2018-06-11 2021-07-02 无锡维胜威信息科技有限公司 太阳能硅片晶花提取方法
CN108961218A (zh) * 2018-06-11 2018-12-07 无锡维胜威信息科技有限公司 太阳能硅片晶花提取方法
KR20210067709A (ko) * 2019-11-29 2021-06-08 부경대학교 산학협력단 인간 상피 세포 이미지 분류를 위한 동적 학습 장치 및 방법
CN111127415A (zh) * 2019-12-19 2020-05-08 信利(仁寿)高端显示科技有限公司 一种基于准分子激光退火的Mura的量化方法
CN111127415B (zh) * 2019-12-19 2023-07-25 信利(仁寿)高端显示科技有限公司 一种基于准分子激光退火的Mura的量化方法
CN113822884B (zh) * 2021-11-22 2022-06-28 中导光电设备股份有限公司 基于小波变换的mura缺陷检测方法和系统
CN113822884A (zh) * 2021-11-22 2021-12-21 中导光电设备股份有限公司 基于小波变换的mura缺陷检测方法和系统
KR102533365B1 (ko) * 2021-12-22 2023-05-17 호서대학교 산학협력단 오토인코더를 이용한 비전 검사를 위한 장치 및 이를 위한 방법
KR102530482B1 (ko) * 2022-11-17 2023-05-09 (주)서용엔지니어링 정수처리시설 내 미세 유충 감지 장치
CN116958182A (zh) * 2023-09-20 2023-10-27 广东华宸建设工程质量检测有限公司 基于图像数据的混凝土裂缝快速检测方法
CN116958182B (zh) * 2023-09-20 2023-12-08 广东华宸建设工程质量检测有限公司 基于图像数据的混凝土裂缝快速检测方法
CN117576089A (zh) * 2024-01-15 2024-02-20 山东恒力源精密机械制造有限公司 一种活塞环缺陷检测方法及系统
CN117576089B (zh) * 2024-01-15 2024-03-22 山东恒力源精密机械制造有限公司 一种活塞环缺陷检测方法及系统

Also Published As

Publication number Publication date
KR101635461B1 (ko) 2016-07-04

Similar Documents

Publication Publication Date Title
KR101635461B1 (ko) 웨이블릿 변환에서 마스크 필터링을 이용한 얼룩 결함 자동 검출 시스템 및 방법
CN107845087B (zh) 液晶面板亮度不均匀缺陷的检测方法和系统
CN108346141B (zh) 单边侧入光式导光板缺陷提取方法
CN108416766B (zh) 双侧入光式导光板缺陷视觉检测方法
US7561751B2 (en) Image processing method
Tsai et al. Low-contrast surface inspection of mura defects in liquid crystal displays using optical flow-based motion analysis
CN109102497B (zh) 高分辨率的导光板图像缺陷检测方法
KR101677070B1 (ko) 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템 및 방법
CN110473194A (zh) 基于多图像块阈值分割算法的水果表面缺陷检测方法
JP5088165B2 (ja) 欠陥検出方法および欠陥検出装置
CN109828394A (zh) 一种显示面板的检测方法和检测机台
KR100250631B1 (ko) 화상처리방법
KR101862310B1 (ko) 얼룩결함 검사장치 및 얼룩결함 검사방법
JP2010181328A (ja) 太陽電池ウェハ表面の検査装置，太陽電池ウェハ表面の検査用プログラム，太陽電池ウェハ表面の検査方法
KR101608843B1 (ko) 개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 시스템 및 방법
US6731824B2 (en) Spatial filtering method for failure analysis of a device
CN110530894B (zh) 导光板亮点缺陷检测方法
Pollatou An automated method for removal of striping artifacts in fluorescent whole-slide microscopy
Prabha et al. Defect detection of industrial products using image segmentation and saliency
Mishra et al. Surface defects detection for ceramic tiles using image processing and morphological techniques
JP4863050B2 (ja) 色ムラ欠陥検査方法及び装置
Rosli et al. Some technique for an Image of defect in inspection process based on image processing
JP4247993B2 (ja) 画像検査装置、画像検査方法、制御プログラムおよび可読記憶媒体
KR100549166B1 (ko) 플랫패널용 광관련판요소의 선형 얼룩 검출방법
KR101615733B1 (ko) 카메라모듈의 렌즈와 적외선필터 사이의 이물 검사를 위한 표면 시각화 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190529

Year of fee payment: 4