KR101608843B1 - 개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 시스템 및 방법 - Google Patents

개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 시스템 및 방법 Download PDF

Info

Publication number
KR101608843B1
KR101608843B1 KR1020140153067A KR20140153067A KR101608843B1 KR 101608843 B1 KR101608843 B1 KR 101608843B1 KR 1020140153067 A KR1020140153067 A KR 1020140153067A KR 20140153067 A KR20140153067 A KR 20140153067A KR 101608843 B1 KR101608843 B1 KR 101608843B1
Authority
KR
South Korea
Prior art keywords
image
histogram
stain
smear
range
Prior art date
Application number
KR1020140153067A
Other languages
English (en)
Inventor
이승호
김명묵
Original Assignee
한밭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한밭대학교 산학협력단 filed Critical 한밭대학교 산학협력단
Priority to KR1020140153067A priority Critical patent/KR101608843B1/ko
Application granted granted Critical
Publication of KR101608843B1 publication Critical patent/KR101608843B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells

Landscapes

  • Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 시스템 및 방법에 관한 것으로서, 대상물의 이미지를 취득하는 영상 획득부, 상기 영상 획득부에서 취득한 상기 이미지를 그레이 레벨로 변환하는 영상 처리부 및 상기 영상 처리부에서 변환된 상기 이미지의 이미지 히스토그램에 베버의 법칙을 적용하여 상기 대상물의 얼룩 결함을 자동으로 추출하는 영상 해석부를 포함함으로써, 높은 검출률과 높은 신뢰도를 갖는 얼룩 결함 자동 검출 시스템 및 방법을 제공할 수 있다.

Description

개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 시스템 및 방법{System and Method for Automatically Detecting a Mura Defect using Advanced Weber's Law}
본 발명은 얼룩 결함 자동 검출 시스템 및 방법에 관한 것으로, 더욱 상세하게는 상대적인 자극을 통해 디스플레이 표면의 얼룩 결함을 검출하는 개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 시스템 및 방법에 관한 것이다.
디스플레이 산업은 최근 몇 년 동안 급격하게 성장하며 미래 산업으로 각광받고 있다. 이러한 디스플레이 산업이 성숙 과정에 진입하면서 경쟁 회사보다 나은 수율 향상을 목표로 하게 되었는데 수율 향상에 가장 큰 영향을 미치는 부분이 디스플레이에 발생하는 얼룩(mura, blemish)이다.
얼룩은 제작된 액정 패널의 화면 특성이 균일하지 않고 얼룩진 상태를 총칭하여 말하며, 특히 색이 균일하지 않은 경우로 나타날 때를 색채 불 균일이라 한다.
색채 불 균일은 패널을 단색으로 디스플레이 한 경우 전체가 균일한 색상을 띄지 못하고 위치마다 색도의 차이가 나타나는 현상으로 볼 수 있다. 이러한 불 균일 현상은 제조 공정상의 문제로 인해 발생하며 얼룩의 종류는 원인에 따라 다양하게 존재하기 때문에 분석하기가 까다롭다. 이러한 이유로 디스플레이의 얼룩을 검출하기 위하여 자동 시스템의 수요가 급격하게 증가되었다.
얼룩 결함 자동 검출 시스템을 사용하는 이유는 얼룩 특성상 디스플레이 필름 표면을 바라보는 시선의 각도, 바라보는 환경에 따라 보이는 얼룩이 각각 다르기 때문이다. 이 모든 과정을 인력이 담당 할 경우 생산 단가가 상승하고, 시간이 오래 걸리며 얼룩을 검출하는 과정에서 시야가 장시간 밝은 백라이트 조명에 노출되며 자외선, 적외선 등 인체에 해가 되는 환경에서 보이는 얼룩의 경우 육안으로 검출이 불가능한 상황이 발생한다. 이러한 측면에서 디스플레이 필름 평면에서 얼룩을 찾는 일은 매우 효율적이어야 한다.
그러나, 현재까지 연구된 디스플레이 필름 표면의 얼룩 검출 기법은 현장에서 요구하는 신뢰도를 만족하기엔 아직 미흡한 부분이 있다.
또한, 현재 디스플레이의 얼룩을 검출하기 위한 방법으로는 크게 주파수 영역에서의 얼룩 검출, 공간 영역에서의 얼룩 검출, 두 가지 방법을 혼합한 얼룩 검출 방법 등이 있다.
얼룩 검출에서 가장 중요한 부분 중 하나는 디스플레이 표면에 비친 조명 성분인데 조명 성분이 포함된 이미지는 얼룩이 아닌 부분을 얼룩이라 인식하여 찾아내는 왜곡된 결과를 발생시키기도 한다. 이러한 이유 때문에 대부분의 연구는 공간 영역에서만이 아닌 주파수 영역, 주파수 영역과 공간 영역 두 방법을 모두 이용하여 조명 성분과 얼룩 성분을 나눈 뒤 조명 성분을 검출하는 방향으로 진행되고 있다.
공간 영역에서의 얼룩 검출을 보면 주로 조명 성분과 상관없이 얼룩의 패턴과 지식 기반 데이터베이스를 구축하여 검출하는 방법, 패턴 인식 및 조명 성분이 없는 경우이며, 주파수 영역에서는 DCT, FFT, Wavelet Transform 등을 기반으로 조명 성분과 엣지(edge)를 찾아 디스플레이의 얼룩을 구분한다.
한편, 얼룩을 추출하는 연구 중 베버의 법칙을 기반으로 한 얼룩 검출에 관한 연구는 매우 적으며 그 이유로는 베버의 법칙을 기반으로 자극의 기준점을 찾을 때에 이미지를 검사하는데 시간이 오래 걸리기 때문이다.
대한민국 공개특허공보 제10-2005-0052028호(공개일 2003.11.28.) 대한민국 공개특허공보 제10-2014-0012485호(공개일 2014.02.03.)
따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 획득한 이미지에서 이미지 히스토그램을 획득하고 이에 베버의 법칙을 기반으로 한 알고리즘을 사용함으로써 얼룩을 자동으로 검출하는 개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 시스템 및 방법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 시스템은, 대상물의 이미지를 취득하는 영상 획득부, 상기 영상 획득부에서 취득한 상기 이미지를 그레이 레벨로 변환하는 영상 처리부 및 상기 영상 처리부에서 변환된 상기 이미지의 이미지 히스토그램에 베버의 법칙을 적용하여 상기 대상물의 얼룩 결함을 자동으로 추출하는 영상 해석부를 포함한다.
한편, 본 발명의 개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 방법은, 영상 획득부가 대상물 상면의 이미지를 획득하는 단계, 영상 처리부가 상기 영상 획득부에서 획득한 상기 이미지를 그레이 레벨로 변환하는 단계 및 영상 해석부가 상기 영상 처리부에서 변환된 상기 이미지의 이미지 히스토그램을 획득하고 상기 이미지 히스토그램에 베버의 법칙을 적용하여 상기 영상 처리부에서 변환된 상기 이미지로부터 얼룩 결함을 자동으로 추출하는 단계를 포함한다.
상술한 바와 같이, 본 발명에 의한 개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 시스템 및 방법은 다음과 같은 효과를 제공한다.
1. 기존 패턴에 의한 얼룩 검출, 주파수 영역의 영역 분할 등 절대적 자극이 아닌 상대적 자극을 통해 모양 또는 특성에 상관없이 얼룩을 찾아낼 수 있다.
2. 동시에, 과거 여러 픽셀값을 갖는 얼룩을 찾기 위해 평균 자극점을 달리하여 모든 이미지에 적용하는 방법과는 달리, 제안된 히스토그램 상에 베버의 법칙을 적용하여 배경 성분과 얼룩 성분을 구분하고, 이들의 경계점에서 베버의 법칙을 기반으로 검출 범위를 지정하여 얼룩 픽셀 범위만 검출함으로써 평균 자극점 재선정을 최소화할 수 있다.
3. 통상적으로 엣지 검출 등을 위해 오염된 이미지에서 전처리 단계로 쓰이는 중간값 필터를 본 발명에서는 마지막에 처리 단계를 둠으로써 높은 검출률과 높은 신뢰도를 갖는 얼룩 결함 자동 검출 시스템을 제공할 수 있다.
도 1은 본 발명의 바람직한 일 실시예를 실시하기 위한 전체 시스템 구성의 일례를 도시한 블록 구성도이다.
도 2는 본 발명의 바람직한 일 실시예에 의한 영상 해석부의 블록 구성도이다.
도 3은 수학식 2에 대한 이미지 히스토그램을 예시한 그래프이다.
도 4는 도 3의 이미지 히스토그램에서 얼룩 미 후보 영역과 얼룩 후보 영역을 추정하여 구분한 그래프이다.
도 5는 도 3의 이미지 히스토그램에서의 얼룩 방향성을 1차적으로 판단하는 그래프이다.
도 6은 상태가 양호하지 않은 이미지에서 획득한 일그러진 이미지 히스토그램을 예시한 그래프이다.
도 7은 이미지 히스토그램에서의 얼룩 방향성을 2차적으로 판단하는 그래프이다.
도 8a 내지 도 8d는 수학식 12의 적용 과정을 나타낸 그래프이다.
도 9는 이미지 히스토그램의 비율을 판단하기 위한 그래프이다.
도 10은 후처리부가 얼룩 이외의 노이즈를 제거하는 필터링 과정을 나타내는 도면이다.
도 11은 후처리부가 얼룩이 아닌 노이즈 성분을 제거하는 과정을 나타내는 도면이다.
도 12는 마스크가 노이즈가 아닌 얼룩에 적용되었을 때 얼룩 성분을 유지하는 과정을 나타내는 도면이다.
도 13은 원본 이미지에 중간값 필터링을 적용하여 최종 이미지를 획득한 이미지를 나타내는 도면이다.
도 14는 본 발명의 일 실시예에 의한 얼룩 결함 자동 검출 과정을 도시한 흐름도이다.
도 15는 FPD 얼룩 샘플 이미지이다.
도 16은 도 15의 얼룩 이미지 샘플에 본 발명의 실시예에 따른 방법으로 얼룩을 검출한 결과를 나타낸다.
도 17은 본 발명의 실시예에 따른 얼룩 검출 방법과 종래의 방법의 Semu 차이를 나타낸 그래프이다.
본 명세서에서 얼룩(mura)이란 획일화된 절대적 조건을 가진 자극이 아닌 이미지의 기존 픽셀들과 다른 픽셀과 여러 패턴을 가진 상대적 조건으로 정의된다.
이하, 본 발명의 개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 시스템에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 바람직한 일 실시예를 실시하기 위한 전체 시스템 구성의 일례를 도시한 블록 구성도이다.
도 1을 참조하면, 본 발명이 적용되는 전체 얼룩 결함 자동 검출 시스템은, 제품의 생산 과정에서 발생하는 얼룩을 빠르고 정확하게 검사할 수 있도록, 대상물의 이미지를 취득하는 영상 획득부(100), 영상 획득부(100)가 취득한 대상물의 영상에 이미지 처리 소프트웨어를 활용하여 필요한 처리를 수행하는 영상 처리부(200) 및 상기 영상 처리부(200)의 영상 처리 결과를 바탕으로 대상물에 얼룩 결함이 있는지 여부를 판별하는 영상 해석부(300)를 포함하여 이루어진다.
영상 획득부(100)는 대상물의 상면으로부터 이격되어 배치되고 대상물의 상면을 향해 빛을 조사하는 조명부(110), 대상물의 상면으로부터 이격되어 배치되고 조명부로부터 조사되어 대상물의 상면에서 반사된 빛을 이용하여 영상을 촬영하는 촬영부(120), 조명부 및 촬영부를 대상물의 상면과 이격되고 평행한 평면상에서 움직이도록 구동하는 구동부(미도시)를 포함하여, 검사하려는 대상물의 상면 이미지를 취득하고 취득한 이미지를 영상 처리부(200)에 전송한다.
영상 처리부(200)는 영상 획득부(100)가 취득한 대상물의 영상에 이미지 처리 소프트웨어를 활용하여 필요한 처리를 수행하고 그러한 이미지를 영상 해석부(300)에 전송하는 구성으로서, 영상 획득부(100)로부터 전송된 대상물의 이미지를 그레이 레벨로 변환하는 그레이 레벨 변환부(210)를 포함하여 이루어진다.
영상 해석부(300)는 영상 처리부(200)에서 전송된 대상물의 이미지로부터 개선된 베버의 법칙을 사용하여 얼룩 결함을 추출함으로써 불량 유무를 판별하는 구성으로서, 히스토그램 획득부(310), 얼룩 영역 추정부(321), 얼룩 방향성 판단부(322), 얼룩 경계 지정부(323) 및 범위 선택부(324)를 포함하는 히스토그램 분석부(320) 및 후처리부(330)를 포함하여 이루어진다. 영상 해석부(300) 각 부의 자세한 구성은 아래 도 2에서 설명된다.
도 2는 본 발명의 바람직한 일 실시예에 의한 영상 해석부의 블록 구성도이다.
도 2를 참조하면, 본 발명의 일 실시예에 의한 영상 해석부(300)는 히스토그램 획득부(310), 얼룩 영역 추정부(321), 얼룩 방향성 판단부(322), 얼룩 경계 지정부(323) 및 범위 선택부(324)로 구성되는 히스토그램 분석부(320) 및 후처리부(330)를 포함하고, 영상 처리부(200)에서 전송된 대상물의 이미지로부터 개선된 베버의 법칙을 사용하여 얼룩 결함을 자동으로 추출한다.
베버의 법칙은 상대적인 자극으로서 처음 자극과 다음 자극에 주어지는 자극 세기 간의 차이가 일정한 비율 이상이 되어야만 그 자극의 변화량을 감각기에서 느낄 수 있다는 법칙이다.
그림 1은 베버의 법칙의 자극역과 감각에 따른 변화를 나타낸 그래프이고, 수학식 1은 베버 상수를 나타내는 식으로서, 베버의 법칙은 다양한 감각의 인식에 해당되는데, 본 발명에서는 베버의 법칙 중 시각에 해당하는 베버 상수
Figure 112014106740119-pat00001
을 기준으로 한다.
(그림 1)
Figure 112014106740119-pat00002
Figure 112014106740119-pat00003
여기서,
Figure 112014106740119-pat00004
는 베버 상수,
Figure 112014106740119-pat00005
은 처음 자극,
Figure 112014106740119-pat00006
는 나중 자극,
Figure 112014106740119-pat00007
은 자극의 변화이다.
다만, 이러한 베버의 법칙은 조명 성분이 들어간 이미지 영역에서도 뛰어난 얼룩 검출 능력을 가진다는 장점이 있으나, 얼룩 추출 시 이미지 전체의 자극을 검사한 뒤 평균 자극점을 찾고 그 평균 자극점을 모든 자극점과 매칭하여 구분하여야 하기 때문에 자극의 기준점을 찾기 위해 이미지를 검사하는데 시간이 오래 걸린다는 문제점이 있다. 즉, 베버의 법칙을 기반으로 한 얼룩 추출 방법은 이미지 검색 방법 중 공간 영역에서 하나의 평균 자극점을 찾는데 이미지의 위치와 모든 정보가 필요한 전역 탐색(full search)과 같은 단점을 가진다.
따라서, 본 발명의 바람직한 실시예에 따른 영상 해석부(300)는 이미지 히스토그램에서 범위를 지정하여 베버의 법칙을 적용함으로써 여러 픽셀 값을 가진 얼룩을 검출하는 알고리즘 이른바, 개선된 베버의 법칙 기반 알고리즘을 사용한다. 즉, 본 발명에서는 베버의 법칙을 공간 영역에서 효율적으로 적용시키기 위해, 평균 자극점을 기준으로 전체 픽셀을 비교하는 것이 아니라, 먼저 이미지 히스토그램을 획득하고 이러한 이미지 히스토그램에 베버의 법칙을 적용하는 개선된 베버의 법칙을 제안한다. 이하, 도 3 내지 도 9을 참조하여 본 발명의 영상 해석부(300) 각 부에서의 동작을 상세히 살펴보기로 한다.
먼저, 히스토그램 획득부(310)는 영상 처리부(200)의 그레이 레벨 변화부(210)에서 변환된 흑백 이미지에서 이미지의 밝기 분포율을 볼 수 있는 이미지 히스토그램을 획득한다.
여기서, 이미지 히스토그램은 범위 [0, G]에서 전체 L개의 가능한 밝기 레벨을 갖는 디지털 영상 히스토그램을 말한다. 수학식 2는 이미지 히스토그램을 나타내는 것이며, 도 3은 수학식 2에 대한 이미지 히스토그램을 예시한 그래프이다.
Figure 112014106740119-pat00008
단,
Figure 112014106740119-pat00009
는 히스토그램,
Figure 112014106740119-pat00010
는 구간 [0, G]에서의
Figure 112014106740119-pat00011
번째 밝기,
Figure 112014106740119-pat00012
는 영상에서 밝기 레벨이
Figure 112014106740119-pat00013
인 화소의 수, G는 0~255이다.
다음으로, 히스토그램 분석부(320)는 얼룩 영역 추정부(321), 얼룩 방향성 판단부(322), 얼룩 경계 지정부(323) 및 범위 선택부(324)를 포함하며, 히스토그램 획득부(310)에서 획득한 이미지 히스토그램을 베버의 법칙을 사용하여 얼룩 후보 영역을 결정하고, 얼룩이 어두운지 밝은지 얼룩의 방향성을 판단하며, 얼룩 경계를 지정하여 얼룩 성분과 배경 성분을 구분한다.
즉, 앞서 살펴본 바와 같이, 본 발명의 바람직한 실시예에 따른 히스토그램 분석부(320)에서는 이미지에 베버의 법칙을 기반으로 한 알고리즘을 적용할 때 평균 자극점과 이미지의 전체 픽셀을 비교하는 것이 아니라, 히스토그램 획득부(310)에서 획득한 이미지 히스토그램을 사용하여 얼룩의 범위를 지정하여 비교함으로써 얼룩을 검출하는 개선된 베버의 법칙을 이용하게 된다.
이때, 이미지 히스토그램에서 가장 많은 밝기를 가진 최고 지점을
Figure 112014106740119-pat00014
라하고 히스토그램의 0부터 255의 방향으로 시작점을
Figure 112014106740119-pat00015
, 끝점을
Figure 112014106740119-pat00016
라 하면, 가장 많은 화소수를 가지고 있는
Figure 112014106740119-pat00017
는 이러한 히스토그램을 가진 이미지의 주성분 즉, 배경 성분이 되며, 반대로 얼룩 성분을 가진 부성분은
Figure 112014106740119-pat00018
에 비해 밝기의 개수가 아주 적은 값을 가지게 된다.
그리고, 본 발명에서는 앞서 살펴본 바와 같이 히스토그램에서 사람의 눈으로 밝기 변화를 감지하여 얼룩 결함을 검출하기 위해 시각적 베버 상수
Figure 112014106740119-pat00019
를 기준으로 베버의 법칙을 적용한다. 또한, 수학식 3을 참조하면, 그레이 레벨의 히스토그램은 256개의 밝기 레벨을 가지므로 그레이 레벨의 베버 상수
Figure 112014106740119-pat00020
를 가지며, 다만 히스토그램에서 [0, G]는 상수 단위이기 때문에 반올림한 근삿값 3을 기준으로 이미지의 밝기 변화를 감지한다.
Figure 112014106740119-pat00021
수학식 4는 이미지 히스토그램에 베버의 법칙을 적용하여 얼룩 미 후보 영역과 얼룩 후보 영역을 판단하는 수식이고, 도 4는 수학식 4를 이용하여 도 3의 이미지 히스토그램에서 얼룩 미 후보 영역과 얼룩 후보 영역을 추정하여 구분한 그래프로서, 히스토그램 분석부(320)의 영역 추정부(321)는 도 4와 같이 수학식 4를 이용하여 이미지 히스토그램을 얼룩 미 후보 영역과 얼룩 후보 영역으로 나누고 얼룩 후보 영역에 얼룩이 있는 것으로 추정하게 된다.
Figure 112014106740119-pat00022
단, 수학식 4 및 도 4에서 얼룩 미 후보는 이미지 통과 범위, 얼룩 후보는 얼룩 이미지 범위를 가리키며,
Figure 112014106740119-pat00023
는 이미지 히스토그램의 시작점,
Figure 112014106740119-pat00024
는 이미지 히스토그램의 끝점,
Figure 112014106740119-pat00025
는 히스토그램에서 가장 많은 밝기를 가진 최고점을 나타낸다.
다음으로, 도 5는 도 3의 이미지 히스토그램에서의 얼룩 방향성을 1차적으로 판단하는 그래프이고, 수학식 5 및 수학식 6은 각각 도 3의 이미지 히스토그램에서 얼룩 미 후보 영역으로부터 왼쪽 방향 픽셀의 총 합
Figure 112014106740119-pat00026
및 오른쪽 방향 픽셀의 총 합
Figure 112014106740119-pat00027
을 구하는 수식으로서, 히스토그램 분석부(320)의 방향성 판단부(322)는 도 5와 같이 수학식 5 및 수학식 6을 이용하여 이미지 히스토그램에서 얼룩의 방향성 즉, 얼룩의 속성이 어두운 얼룩인지 밝은 얼룩인지 판단한다.
Figure 112014106740119-pat00028
Figure 112014106740119-pat00029
단,
Figure 112014106740119-pat00030
은 얼룩 미 후보 영역으로부터 왼쪽 방향 픽셀의 총 합,
Figure 112014106740119-pat00031
은 얼룩 미 후보 영역으로부터 오른쪽 방향 픽셀의 총 합이다.
구체적으로, 방향성 판단부(322)는 이미지 히스토그램에서 이미지 통과 범위를 제외한 왼쪽 방향의 총 픽셀 수
Figure 112014106740119-pat00032
와 오른쪽 방향의 총 픽셀 수
Figure 112014106740119-pat00033
를 계산하여, 왼쪽 방향의 총 픽셀 수
Figure 112014106740119-pat00034
가 오른쪽 방향의 총 픽셀 수
Figure 112014106740119-pat00035
보다 많으면 얼룩 성분은 얼룩 미 후보 영역으로부터 왼쪽 방향에 있는 것으로서 어두운 얼룩, 오른쪽 방향의 총 픽셀 수
Figure 112014106740119-pat00036
가 왼쪽 방향의 총 픽셀 수
Figure 112014106740119-pat00037
보다 많으면 얼룩 성분은 얼룩 미 후보 영역으로부터 오른쪽 방향에 있는 것으로서 밝은 얼룩인 것으로 판별한다.
다만, 도 6은 상태가 양호하지 않은 이미지에서 획득한 일그러진 이미지 히스토그램을 예시한 그래프로서, 그림 2 및 그림 3에서 볼 수 있는 바와 같이 상태가 양호한 이미지의 히스토그램에서는 왼쪽 방향 픽셀의 총 합 및 오른쪽 방향 픽셀의 총 합으로 얼룩의 성분이 히스토그램에서 어디에 위치하는지 알 수 있는데, 상태가 양호하지 않은 이미지인 그림 4에서 획득한 히스토그램의 경우 도 6의 왼쪽 방향과 같이 픽셀이 부성분 방향으로 길게 늘어져 있는 현상을 볼 수 있다. 따라서, 그림 4와 같은 이미지의 히스토그램에서는 수학식 5 및 수학식 6의 얼룩 방향성 1차 판단 방법만으로 얼룩을 정확히 검출하기 어렵다.
(그림 2) 밝은 배경을 가진 어두운 얼룩
Figure 112014106740119-pat00038
(그림 3) 어두운 배경을 가진 밝은 얼룩의 특성
Figure 112014106740119-pat00039
(그림 4) 훼손된 이미지에서 얼룩의 특성
Figure 112014106740119-pat00040
이에, 도 7은 이미지 히스토그램에서의 얼룩 방향성을 2차적으로 판단하는 그래프로서, 방향성 판단부(322)는 그림 4와 같이 훼손된 이미지에서도 얼룩을 검출할 수 있도록 수학식 5, 수학식 6의 보조 값인 수학식 7, 수학식 8을 추가하여 방향을 결정하는 수학식 9로 수학식 10과 같이 얼룩의 방향성을 판단한다.
Figure 112014106740119-pat00041
Figure 112014106740119-pat00042
Figure 112014106740119-pat00043
Figure 112014106740119-pat00044
단,
Figure 112014106740119-pat00045
는
Figure 112014106740119-pat00046
의 보조 픽셀의 총 합,
Figure 112014106740119-pat00047
는
Figure 112014106740119-pat00048
의 보조 픽셀의 총 합을 나타내고,
Figure 112014106740119-pat00049
은 얼룩 미 후보 영역으로부터 왼쪽 방향 픽셀의 총 합,
Figure 112014106740119-pat00050
은 얼룩 미 후보 영역으로부터 오른쪽 방향 픽셀의 총 합을 나타내며,
Figure 112014106740119-pat00051
는 이미지 히스토그램의 부성분의 방향을 나타낸다.
방향성 판단부(322)는 상기 수학식 10에서
Figure 112014106740119-pat00052
가 0인 경우
Figure 112014106740119-pat00053
에서
Figure 112014106740119-pat00054
사이에 얼룩이 있으며, 1인 경우
Figure 112014106740119-pat00055
에서
Figure 112014106740119-pat00056
사이에 얼룩이 존재하는 것으로 판단한다.
이와 같이, 방향성 판단부(322)는 이미지 히스토그램을 분석하여 얼룩의 방향을 획득한 후 그 방향을 통해 얼룩으로 추정되는 이미지의 밝기를 검출한다.
그리고, 히스토그램 분석부(320)의 경계 지정부(323)는 배경 성분이 되는 이미지 히스토그램의 주성분과 얼룩이 되는 이미지 히스토그램의 부성분을 구분하기 위해, 이미지 히스토그램에서 얼룩 경계점을 지정한다. 이때,
Figure 112014106740119-pat00057
에서
Figure 112014106740119-pat00058
로 갈수록 이미지의 주성분에 가까워지며 마찬가지로
Figure 112014106740119-pat00059
가
Figure 112014106740119-pat00060
로 향할 때에도 이미지의 주성분에 가까워지는데, 얼룩 경계점 즉, 이미지와 얼룩의 경계 부분은 부성분에서 주성분이 되는 밝기의 개수가 기존의 밝기 개수의 증가량보다 급증하는 부분이 된다. 이러한 영역을 검출하기 위해, 경계 지정부(323)는
Figure 112014106740119-pat00061
의 방향으로 각 밝기 성분의 변화율을 구하여 가장 큰 변화율 지점을 찾는다.
이때, 이미지에서 얼룩 성분이 어두운 경우에는
Figure 112014106740119-pat00062
에서
Figure 112014106740119-pat00063
방향으로 찾지만 밝은 경우에는
Figure 112014106740119-pat00064
에서
Figure 112014106740119-pat00065
방향으로 즉, 반대 방향으로 찾아야 하는 번거로움이 발생한다. 이를 방지하기 위해, 경계 지정부(323)는 얼룩 성분이 밝은 이미지로 판단될 경우 먼저 이미지의 성분을 반전시켜 얼룩 성분이 밝던 어둡던
Figure 112014106740119-pat00066
에서 peak 방향으로 검출될 수 있게 통일하는 것이 바람직하다. 수학식 11은 이미지 성분의 반전을 나타낸다.
Figure 112014106740119-pat00067
단,
Figure 112014106740119-pat00068
은 반전된 이미지,
Figure 112014106740119-pat00069
은 원본 이미지를 의미한다.
다음으로, 경계 지정부(323)는 획득한 이미지 또는 획득한 반전 이미지에서 얼룩의 상수 범위를 적용할 변화율이 가장 큰 영역을 찾는다. 이 영역을 찾기 위해
Figure 112014106740119-pat00070
에서
Figure 112014106740119-pat00071
까지 범위를 2차 미분하여 가장 큰 변화율 즉, 변곡점을 구한다.
이때, 변곡점
Figure 112014106740119-pat00072
을 구하는 수식은 아래 수학식 12와 같으며, 도 8a 내지 도 8d는 수학식 12의 적용 과정을 나타낸 그래프이다. 이에, 도 8a는 이미지 히스토그램의 변곡점을 찾기 위해 변화율 구간을 설정한 그래프이고, 도 8a의 이미지 히스토그램을 1차 미분하면 도 8b와 같으며, 한 번 더 미분하여 2차 미분 할 때 도 8c와 같아진다. 마지막으로, 도 8d는 도 8c의 절댓값 수치를 나타낸 이미지 히스토그램이다. 도 8d의 히스토그램에서
Figure 112014106740119-pat00073
부터
Figure 112014106740119-pat00074
까지 가장 많은 값을 가진 픽셀이 변곡점
Figure 112014106740119-pat00075
으로서, 얼룩 성분과 배경 성분이 구분되는 경계점 구간이 된다.
Figure 112014106740119-pat00076
단,
Figure 112014106740119-pat00077
는 변곡점,
Figure 112014106740119-pat00078
는 이미지 히스토그램의 시작점,
Figure 112014106740119-pat00079
는 히스토그램에서 가장 많은 밝기를 가진 최고점을 나타낸다.
다음으로, 도 9는 이미지 히스토그램의 비율을 판단하기 위한 그래프로서, 범위 선택부(324)는 도 9와 같은 이미지 히스토그램의 비율을 이용하여 이미지의 비율에 따라 얼룩이 차지하는 부분만큼 범위를 설정하여 얼룩을 지정한다.
구체적으로, 범위 선택부(324)는 이미지 히스토그램에서
Figure 112014106740119-pat00080
가 아닌 이미지 히스토그램의 중간 지점
Figure 112014106740119-pat00081
을 기준으로(수학식 13), 중간 지점
Figure 112014106740119-pat00082
으로부터 왼쪽 픽셀의 합
Figure 112014106740119-pat00083
(수학식 14)과 중간 지점
Figure 112014106740119-pat00084
으로부터 오른쪽 픽셀의 합
Figure 112014106740119-pat00085
(수학식 15)을 비교하여 어느 방향에 이미지가 더 집중되었는지 판단한다.
Figure 112014106740119-pat00086
Figure 112014106740119-pat00087
Figure 112014106740119-pat00088
단,
Figure 112014106740119-pat00089
은 이미지 히스토그램의 중간 지점,
Figure 112014106740119-pat00090
은 중간 지점을 기준으로 왼쪽 픽셀의 합,
Figure 112014106740119-pat00091
은 중간 지점을 기준으로 오른쪽 픽셀의 합이다.
그 다음, 범위 선택부(324)는 수학식 16을 통해 이미지에서 얼룩이 육안으로 식별이 가능할 정도로 잘 보이는 얼룩인지 또는 사람의 시각으로 구분하기 힘든 정도인지 결정할 수 있는 비율을 결정한다.
Figure 112014106740119-pat00092
단,
Figure 112014106740119-pat00093
는 이미지의 비율이다.
Figure 112014106740119-pat00094
과
Figure 112014106740119-pat00095
의 거리가 가까워질수록 이미지 히스토그램의
Figure 112014106740119-pat00096
과
Figure 112014106740119-pat00097
이 안정적으로 분산되었음을 뜻하며, 이는 얼룩이 시각적으로 배경 이미지에서 잘 구분되어지지 않거나 부드러운 변화를 가진 얼룩이라 판단 할 수 있다. 이러한 상황의 얼룩은 얼룩 범위가 매우 민감하기 때문에 적은 양을 가지게 된다.
한편,
Figure 112014106740119-pat00098
과
Figure 112014106740119-pat00099
의 거리가 멀어질수록 이미지 히스토그램의
Figure 112014106740119-pat00100
과
Figure 112014106740119-pat00101
이 불안정적으로 분산되었음을 뜻하며, 이는 얼룩이 시각적으로 배경 이미지에서 잘 구분되어지며 급격한 변화를 가진 얼룩이라 볼 수 있다. 이러한 상황의 얼룩은 작은 개수를 가진 픽셀들이 이미지 히스토그램에서 넓게 퍼져있기 때문에 넓은 범위를 얼룩으로 검출한다.
아래 표 1은
Figure 112014106740119-pat00102
과
Figure 112014106740119-pat00103
로 구해진 비율에 따른 범위 통계 결과이다.
비율(Rate) 범위(V)
~ 1.35 이하 4
1.35 초과 ~ 1.8 이하 5
1.8 초과 ~ 2.3 이하 6
2.3 초과 ~ 4.3 이하 7
4.3 초과 ~ 23 이하 8
23 초과 ~ 105 이하 9
105 초과 ~ 10
else 0
이와 같은 범위와 경계점을 통해 이미지 히스토그램에서의 얼룩의 범위는 수학식 17과 같이 정의되어진다.
Figure 112014106740119-pat00104
단,
Figure 112014106740119-pat00105
은 이미지 히스토그램에서의 얼룩의 범위,
Figure 112014106740119-pat00106
는 범위,
Figure 112014106740119-pat00107
는 변곡점이다.
마지막으로, 후처리부(330)는 보다 정확한 얼룩을 획득하기 위해 얼룩의 주성분이 아닌 성분을 제거한다.
히스토그램에서 밝기의 범위를 얼룩 수치화하여 검출할 때의 장점은 작은 수치라도 찾을 수 있다는 부분이다. 그러나, 이와 반대로 이러한 장점 때문에 이미지에서 얼룩과 같은 속성을 가진 다른 영역의 픽셀이 얼룩으로 검출되는 결과가 발생하기도 한다. 이는 이미지 히스토그램에서 베버의 법칙을 기반으로 얼룩을 검출하는 과정의 장점이지만, 정확한 혹은 뚜렷한 얼룩 영역에서 확실한 얼룩 이외에 불확실한 얼룩을 검출하여 검출 이미지의 혼란을 가중시키기도 한다. 이러한 부분을 보안하기 위해 후처리부(330)는 후처리를 사용하여 확실한 또는 뚜렷이 밝혀진 얼룩 이외의 픽셀 성분을 제거한다.
본 발명의 후처리부(330)는 중간값 필터(Median Filter)를 이용하여 신호 잡음을 제거한다. 특히, 중간값 필터는 통상적으로 엣지 검출 등을 위해 오염된 이미지에서 전처리 단계로 쓰이는데, 본 발명에서는 마지막에 처리 단계를 둠으로써 히스토그램의 손상을 방지하며 기타 성분을 제거할 수 있다.
보다 구체적으로, 후처리부(330)는 베버 상수를 바탕으로 문턱치 처리하여 검출된 이미지에 중간값 필터를 사용하여 주 얼룩이 아닌 다른 성분의 값을 차단한다. 도 10은 후처리부가 얼룩 이외의 노이즈를 제거하는 필터링 과정을 나타내는 도면으로서, 도 10a는 원본 이미지, 도 10b는 중간값 필터링을 적용한 이미지, 도 10c는 필터링된 이미지를 나타낸다. 중간값 필터는 도 10a 내지 도 10c와 같은 과정을 거쳐 노이즈를 얼룩 이외의 노이즈를 제거한다.
그리고, 도 11은 후처리부가 얼룩이 아닌 노이즈 성분을 제거하는 과정을 나타내는 도면으로서, 도 11a는 노이즈 성분, 도 11b는 노이즈 성분 제거, 도 11c는 최종 이미지를 나타낸다. 도 11에서 A는 얼룩 성분, B는 노이즈 성분을 나타내며 후처리부(330)의 노이즈 제거는 그레이 레벨이 아닌 0과 1의 로직 레벨에서 진행된다. 한편, 로직 레벨에서의 중간값 필터링은 기존 그레이 레벨과는 다르게 도 11b와 같이 마스크의 중간 영역이 선택된 마스크 안의 픽셀 정보가 가장 많은 픽셀로 변경된다.
도 12는 마스크가 노이즈가 아닌 얼룩에 적용되었을 때 얼룩 성분을 유지하는 과정을 나타내는 도면으로서, 도 12a는 얼룩 성분 선택, 도 12b는 얼룩 성분 유지, 도 12c는 최종 이미지를 나타낸다. 이때, 도 12에서 A는 얼룩 성분, B는 노이즈 성분을 나타낸다.
도 13은 원본 이미지에 중간값 필터링을 적용하여 최종 이미지를 획득한 이미지를 나타내는 도면으로서, 도 13a는 원본 이미지를 나타내고, 도 13b는 범위 검출된 이미지를 나타내며, 도 13c는 노이즈가 제거된 최종 이미지를 나타낸다. 이때, 도 13b의 빨간색 원은 얼룩 이외의 성분인 노이즈를 나타낸다.
그러면, 여기서 상기와 같이 구성된 시스템을 이용한 본 발명의 개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 방법에 대해 설명하기로 한다.
도 14는 본 발명의 일 실시예에 의한 얼룩 결함 자동 검출 과정을 도시한 흐름도이다.
도 14에 도시된 바와 같이, 먼저 영상 획득부(100)는 검사하려는 대상물 상면을 촬영하여 대상물 이미지를 취득하고 이를 영상 처리부(200)로 전송하며(S1401), 영상 처리부(200)의 그레이 레벨 변환부(210)는 상기 영상 획득부(100)로부터 전송된 이미지를 그레이 레벨로 변환한다(S1402).
그리고, 히스토그램 획득부(310)가 그레이 레벨로 변환된 상기 이미지에서 밝기 분포를 나타내는 히스토그램을 획득한 후(S1403), 얼룩 영역 추정부(321)가 상기 히스토그램에 베버의 법칙을 적용하여 얼룩 미 후보 범위와 얼룩 후보 범위를 결정하고(S1404), 다음 단계 S1405로 진행한다.
다음으로, 단계 S1405에서는 방향성 판단부(322)가 이미지 히스토그램에서 얼룩 미 후보 범위로부터 왼쪽 픽셀 성분의 총 합과 오른쪽 픽셀 성분의 총 합을 비교하여 얼룩의 방향성을 통해 얼룩의 밝기를 판단한다.
그 후, 경계 지정부(323)는 단계 S1405의 판단 결과가 밝은 얼룩일 경우 히스토그램을 반전시키고 그렇지 않은 어두운 얼룩이면 그대로 유지하여 픽셀의 변화율이 가장 큰 지점인 얼룩 경계를 지정하고(S1406), 그 다음 범위 선택부(324)가 이미지 히스토그램의 비율을 이용하여 얼룩이 차지하는 부분만큼의 범위를 설정하여 얼룩을 지정한다(S1407).
마지막으로, 후처리부(330)는 단계 S1407에서 지정된 얼룩에서 보다 정확한 얼룩을 검출하기 위하여 얼룩의 범위에서 얼룩의 주성분이 아닌 성분을 제거한다(S1408).
표 2는 실험에 사용된 이미지 얼룩의 종류 및 본 발명의 실시예에 따른 검출 결과를 나타낸다.
개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 방법에 대한 검출 평가를 위하여, 표 2에 보인 것과 같이 spot 얼룩, region 얼룩, foreign 얼룩, complex 얼룩 등 총 200장의 얼룩 샘플을 사용하였다. spot 얼룩은 점 형태로 된 얼룩을 말하고, region 얼룩은 지문과 같은 모양을 가지는 얼룩이다. foreign substance는 머리카락과 같은 이물이 포함된 이미지이고, complex 얼룩은 복합적으로 두 개 이상의 종류의 얼룩이 합쳐진 것을 사용하였다.
얼룩 종류 실험 이미지 수 검출 이미지 수 검출률
spot 32 31 96.87%
region 135 128 94.8%
foreign substance 14 14 100%
complex 19 18 90%
총 계 200 190 95%
표 2에 보인 바와 같이, 본 발명의 실시예에 따른 얼룩 검출 방법은 실험을 수행한 결과 총 200장의 이미지에서 미 검출된 이미지는 10장으로써 95% 정도의 높은 검출률을 나타내었다.
본 명세서에서는 본 발명의 실시예에 따른 얼룩 검출 방법의 객관적인 신뢰도를 평가하기 위해 Semu 지수("Definition of measurement index (SEMU) for luminance Mura in FPD image quality inspection", SEMI D31-1102, 2002.)를 사용하였다. Semu 지수는 SEMI(Semiconductor Equipment and Materials International)의 FPD 일본 위원회가 제시한 얼룩 현상의 정량화에 대한 표준이다. Semu는 인간의 시각 감도에 의해 인체 공학적인 접근 방법으로 표준화하였으며, Semu 표준은 음극선 관(CRT) 및 헤드 마운트 디스플레이(HMD)를 제외한 평면 패널 디스플레이(FPD)에 적용되고 배경 화면이 흑백 디스플레이 또는 그레이 레벨로 제한되어 RGB 등 컬러 영역에서는 적용할 수 없다. 얼룩 측정 지표는 검출 가능한 얼룩의 최소 명암의 차이를 정의하는
Figure 112014106740119-pat00108
와 검출된 얼룩과 배경 간의 명암의 차이를 정의하는
Figure 112014106740119-pat00109
의 비율로 정의된다.
Figure 112014106740119-pat00110
는 검출된 얼룩의 표면적
Figure 112014106740119-pat00111
을 사용하여 두 자극 사이의 차이를 식별할 수 있는 최소 강도 차이인 최소식별차이(just noticeable difference, JND)를 획득하며 수학식 18과 같이 정의된다.
Figure 112014106740119-pat00112
는 검출된 얼룩의 면적이 넓어짐에 따라 인간의 시각으로 인지할 수 있는 최소 명암 차이는 커지고, 검출된 얼룩의 면적이 좁아짐에 따라 인간의 시각으로 인지할 수 있는 최소 명암 차이는 작아진다는 것을 의미한다.
한편, 검출된 얼룩과 배경의 명암의 차이
Figure 112014106740119-pat00113
는 수학식 19와 같이 정의되고, 배경 성분의 그레이 레벨과 명암 차이에 대한 비율을 나타낸다. 따라서 배경 성분이 밝은 이미지일수록
Figure 112014106740119-pat00114
값은 작아지고, 어두운 이미지일수록
Figure 112014106740119-pat00115
값은 커진다.
Semu의 정의는 수학식 20과 같으며
Figure 112014106740119-pat00116
/
Figure 112014106740119-pat00117
와 같이 나타낸다.
Figure 112014106740119-pat00118
단,
Figure 112014106740119-pat00119
는 검출된 얼룩의 표면적(단위:mm2)이다.
Figure 112014106740119-pat00120
단,
Figure 112014106740119-pat00121
은 검출된 얼룩의 평균 픽셀값,
Figure 112014106740119-pat00122
는 배경 성분의 평균 픽셀값이다.
Figure 112014106740119-pat00123
여기서,
Figure 112014106740119-pat00124
는 검출된 얼룩의 표면적(단위:mm2),
Figure 112014106740119-pat00125
는 검출된 얼룩의 평균 대비(단위:%),
Figure 112014106740119-pat00126
는 얼룩 검출을 위한 최소 대비(단위:%)이다.
한편, 본 발명의 실시예에 따른 얼룩 검출 방법의 Semu 평가는 객관적인 신뢰도 평가를 위해 표 3 및 표 4에 보인 바와 같이 본 발명에 따른 방법과 종래의 방법(L. C. Chen, C. C. Kuo, "Automatic TFT-LCD mura defect inspection using discrete cosine transform-based background filtering and 'just noticeable difference' quantification strategies", Meas. Sci. Technol., vol. 19, pp. 1??10, 2008)의 Semu 평가 결과를 비교하였다.
비교 목록은 Semu값과 검출 가능한 명암 차이이며 종래의 방법에서 사용된 샘플 이미지와 비슷한 환경을 만들어 Semu 평가를 진행하였다. 종래의 방법에서 사용된 이미지의 정보를 알아보려 Semu 평가 결과의 명암 차이 10에서 6까지의
Figure 112014106740119-pat00127
항목을 수학식 18에 대입하여 배경 이미지의 그레이 레벨을 추정한 결과 평가에 사용된 배경 이미지의 픽셀 평균은 약 120에서 125 사이로 가정할 수 있었으며 크기는 256ㅧ256, 얼룩의 크기는 약 1,800 픽셀을 사용하였다. 본 명세서에서 사용된 이미지 크기는 410ㅧ410, 얼룩의 크기 약 1,800픽셀, 배경 이미지 평균 픽셀 125를 사용하였으며 얼룩의 픽셀값은 135부터 1씩 감소시킨 샘플 이미지 10장으로 진행하였다. 도 15는 FPD 얼룩 샘플 이미지로서, 도 15a는 얼룩과 배경의 명암 차이가 10인 픽셀값 135의 얼룩 이미지를 나타내고, 도 15b 내지 도 15j는 얼룩과 배경의 명암 차이를 1씩 감소시킨 얼룩 이미지를 나타낸다.
도 16은 도 15의 얼룩 이미지 샘플에 본 발명의 실시예에 따른 방법으로 얼룩을 검출한 결과를 나타낸다. 명암 차이 10인 도 16a부터 명암 차이 4인 도 16g까지 검출되었으며, 명암 차이 3인 도 16h부터 명암차이 1인 도 16i까지는 배경 이미지에 생성된 얼룩을 검출하지 못했다.
표 3은 본 발명의 실시예에 따른 신뢰도를 나타내고, 표 4는 종래의 방법(L. C. Chen, C. C. Kuo, "Automatic TFT-LCD mura defect inspection using discrete cosine transform-based background filtering and 'just noticeable difference' quantification strategies", Meas. Sci. Technol., vol. 19, pp. 1??10, 2008)에 따른 신뢰도를 나타낸다.
표 3은 본 발명의 실시예에 따른 얼룩 검출 방법의 Semu 평가를 나타낸다. 표 3의 항목 중 첫 번째 항목인 명암 차이는 샘플 이미지에서 생성된 얼룩의 평균 픽셀과 배경 평균 픽셀의 명암 대비를 나타낸다. 두 번째 항목인
Figure 112014106740119-pat00128
는 배경성분의 그레이 레벨 값과 명암 대비에 대한 비율을 나타내는데 배경 성분이 밝을수록 값은 작아지며, 어두울수록 값은 커진다, 세 번째 항목인
Figure 112014106740119-pat00129
는 눈으로 인식할 수 있는 최소 명암 차이를 얼룩 크기에 대한 비율로 나타내며 얼룩이 커질수록 값은 작아지며 얼룩이 작을수록 값은 커진다. 네 번째 항목인 Semu는 찾기 어려운 얼룩일수록 값이 작아지며 찾기 쉬운 얼룩일수록 값은 커진다. 본 발명의 실시예에 따른 방법으로 검출할 수 있는 얼룩과 배경의 최소 명암 차이는 4로서, 표 4의 종래의 방법에 따른 Semu 평가 결과보다 향상된 결과를 나타내는 것을 확인할 수 있다. 그러나 명암 차이 4에서 얼룩 이외의 부분도 검출이 되는데 이는 얼룩 성분 값과 배경 성분 값이 같은 부분이 있기 때문이며 명암 차이 3 이하의 얼룩에서 검출에 실패하는 이유는 상기 수학식 4와 같이 명암 차이 3 영역은 얼룩 미 후보로 선정되어 그 이하의 얼룩은 검출하지 않는다.
도 17은 본 발명의 실시예에 따른 얼룩 검출 방법과 종래의 방법의 Semu 차이를 나타낸 그래프이다. 도 17의 x축은 Semu 이며 y축은 명암 차이이다. 명암 차이가 커질수록 종래의 방법과 본 발명의 실시예에 따른 방법의 Semu값이 비슷하지만 명암 차이가 작아질수록 종래의 방법보다 본 발명의 실시예에 따른 방법이 얼룩을 정확히 검출하는 것을 확인할 수 있다.
한편, 본 명세서에서는 객관적 신뢰도 평가를 위해 종래의 방법의 Semu 평가와 같이 수학식 18의
Figure 112014106740119-pat00130
를 얼룩의 면적이 아닌 픽셀로 계산하여 진행하였다. 종래의 방법보다 본 발명의 실시예에 따른 방법이 명암 차이 1단계 아래인 명암 차이 4까지 찾을 수 있지만 Semu값을 비교하였을 때 종래의 방법이 조금 더 구분이 어려운 얼룩을 찾을 수 있다는 것을 확인할 수 있었다. 그러나 종래의 방법의 Semu 평가 결과인 표 4에서 명암 차이 5의
Figure 112014106740119-pat00131
값은 얼룩 부분만 검출되었다면 명암 차이 4 또는 명암 차이 3의 값이라 추정할 수 있다. 따라서 종래의 방법은 명암 차이 5에서 얼룩과 얼룩 이외의 성분도 같이 검출한 것으로 추측할 수 있다.
명암 차이
Figure 112014106740119-pat00132
(%)
Figure 112014106740119-pat00133
(%)		 Semu 검출
10 8.432 0.884 9.535 성공
9 7.208 0.883 8.155 성공
8 6.408 0.883 7.251 성공
7 5.592 0.881 6.345 성공
6 4.808 0.834 5.762 성공
5 3.976 0.834 4.766 성공
4 3.104 0.834 3.718 성공
3 3.064 0.851 3.596 실패
2 3.064 0.851 3.599 실패
1 3.064 0.851 3.598 실패
명암 차이
Figure 112014106740119-pat00134
(%)
Figure 112014106740119-pat00135
(%)		 Semu 검출
10 8.32 0.88 9.3 성공
9 7.42 0.88 8.39 성공
8 6.61 0.88 7.48 성공
7 5.79 0.88 6.55 성공
6 4.78 0.88 5.39 성공
5 3.07 0.89 3.44 성공
4 0.52 1.22 0.43 실패
3 0.48 1.28 0.31 실패
2 0.37 1.28 0.29 실패
1 0.18 1.5 0.12 실패
이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.
100 : 영상 획득부 110 : 조명부
120 : 촬영부 200 : 영상 처리부
210 : 그레이 레벨 변환부 300 : 영상 해석부
310 : 히스토그램 획득부 320 : 히스토그램 분석부
321 : 얼룩 영역 추정부 322 : 얼룩 방향성 판단부
323 : 얼룩 경계 지정부 324 : 범위 선택부
330 : 후처리부

Claims (10)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 대상물의 이미지를 취득하는 영상 획득부,
    상기 영상 획득부에서 취득한 상기 이미지를 그레이 레벨로 변환하는 영상 처리부 및
    상기 영상 처리부에서 변환된 상기 이미지의 이미지 히스토그램에 베버의 법칙을 적용하여 상기 대상물의 얼룩 결함을 자동으로 추출하는 영상 해석부를 포함하며,

    상기 영상 해석부는,
    상기 영상 처리부에서 변환된 상기 이미지의 밝기 분포율을 나타내는 이미지 히스토그램을 획득하는 히스토그램 획득부;
    상기 히스토그램 획득부에서 획득한 상기 이미지 히스토그램에 베버의 법칙을 적용하여 얼룩 경계를 지정하고 얼룩 범위를 지정하는 히스토그램 분석부; 및
    상기 히스토그램 분석부에서 설정된 상기 얼룩 범위에서 얼룩의 주성분이 아닌 성분을 제거하는 후처리부를 포함하며,

    상기 히스토그램 분석부는,
    상기 이미지 히스토그램을 얼룩 미 후보 영역과 얼룩 후보 영역으로 나누고 상기 얼룩 후보 영역에 얼룩이 있는 것으로 추정하는 얼룩 영역 추정부;
    상기 이미지 히스토그램에서 상기 얼룩 미 후보 범위로부터 왼쪽 픽셀 성분의 총 합과 오른쪽 픽셀 성분의 총 합을 비교하여 얼룩의 밝기를 판단하는 얼룩 방향성 판단부;
    상기 이미지 히스토그램에서 픽셀의 변화율이 가장 큰 지점을 얼룩 경계점으로 지정하여 그러한 얼룩 경계를 기준으로 얼룩 성분과 배경 성분을 구분하는 얼룩 경계 지정부; 및
    얼룩이 육안으로 식별이 가능한 정도를 나타내는 상기 이미지 히스토그램의 비율에 따라 얼룩 성분의 범위를 지정하는 범위 선택부를 포함하며,

    상기 얼룩 방향성 판단부는,
    상기 이미지 히스토그램이 비대칭인 경우,
    하기 수식 3 내지 수식 5를 이용하여
    Figure 112015109449210-pat00146
    가 0인 경우
    Figure 112015109449210-pat00147
    에서
    Figure 112015109449210-pat00148
    사이에 얼룩이 있는 것으로써 어두운 얼룩,
    Figure 112015109449210-pat00149
    가 1인 경우
    Figure 112015109449210-pat00150
    에서
    Figure 112015109449210-pat00151
    사이에 얼룩이 존재하는 것으로써 밝은 얼룩으로 판별하는 개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 시스템.
    (수식 3)
    Figure 112015109449210-pat00152
    ,
    Figure 112015109449210-pat00153

    (수식 4)
    Figure 112015109449210-pat00154

    (수식 5)
    Figure 112015109449210-pat00155

    단,
    Figure 112015109449210-pat00212
    는 상기 이미지 히스토그램에서 가장 많은 밝기를 가진 최고 지점,
    Figure 112015109449210-pat00213
    은 얼룩 미 후보 영역으로부터 왼쪽 방향 픽셀의 총 합,
    Figure 112015109449210-pat00214
    은 얼룩 미 후보 영역으로부터 오른쪽 방향 픽셀의 총 합,
    Figure 112015109449210-pat00156
    는
    Figure 112015109449210-pat00157
    의 보조 픽셀의 총 합,
    Figure 112015109449210-pat00158
    는
    Figure 112015109449210-pat00159
    의 보조 픽셀의 총 합을 나타내고,
    Figure 112015109449210-pat00160
    은 얼룩 미 후보 영역으로부터 왼쪽 방향 픽셀의 총 합,
    Figure 112015109449210-pat00161
    은 얼룩 미 후보 영역으로부터 오른쪽 방향 픽셀의 총 합을 나타내며,
    Figure 112015109449210-pat00162
    는 이미지 히스토그램의 부성분의 방향을 나타내고,
    Figure 112015109449210-pat00215
    는 이미지 히스토그램의 시작점,
    Figure 112015109449210-pat00216
    는 이미지 히스토그램의 끝점을 나타낸다.
  6. 대상물의 이미지를 취득하는 영상 획득부,
    상기 영상 획득부에서 취득한 상기 이미지를 그레이 레벨로 변환하는 영상 처리부 및
    상기 영상 처리부에서 변환된 상기 이미지의 이미지 히스토그램에 베버의 법칙을 적용하여 상기 대상물의 얼룩 결함을 자동으로 추출하는 영상 해석부를 포함하며,

    상기 영상 해석부는,
    상기 영상 처리부에서 변환된 상기 이미지의 밝기 분포율을 나타내는 이미지 히스토그램을 획득하는 히스토그램 획득부;
    상기 히스토그램 획득부에서 획득한 상기 이미지 히스토그램에 베버의 법칙을 적용하여 얼룩 경계를 지정하고 얼룩 범위를 지정하는 히스토그램 분석부; 및
    상기 히스토그램 분석부에서 설정된 상기 얼룩 범위에서 얼룩의 주성분이 아닌 성분을 제거하는 후처리부를 포함하며,

    상기 히스토그램 분석부는,
    상기 이미지 히스토그램을 얼룩 미 후보 영역과 얼룩 후보 영역으로 나누고 상기 얼룩 후보 영역에 얼룩이 있는 것으로 추정하는 얼룩 영역 추정부;
    상기 이미지 히스토그램에서 상기 얼룩 미 후보 범위로부터 왼쪽 픽셀 성분의 총 합과 오른쪽 픽셀 성분의 총 합을 비교하여 얼룩의 밝기를 판단하는 얼룩 방향성 판단부;
    상기 이미지 히스토그램에서 픽셀의 변화율이 가장 큰 지점을 얼룩 경계점으로 지정하여 그러한 얼룩 경계를 기준으로 얼룩 성분과 배경 성분을 구분하는 얼룩 경계 지정부; 및
    얼룩이 육안으로 식별이 가능한 정도를 나타내는 상기 이미지 히스토그램의 비율에 따라 얼룩 성분의 범위를 지정하는 범위 선택부를 포함하며,

    상기 얼룩 경계 지정부는,
    상기 얼룩 방향성 판단부에서 얼룩이 밝은 얼룩으로 판단된 경우, 수식 6을 이용하여 이미지 성분을 반전시킨 후 상기 얼룩 경계점을 지정하는 개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 시스템.
    (수식 6)
    Figure 112015109449210-pat00163

    단,
    Figure 112015109449210-pat00164
    은 반전된 이미지,
    Figure 112015109449210-pat00165
    은 원본 이미지를 의미한다.
  7. 청구항 제6항에서,
    상기 얼룩 경계점은,
    하기 수식 7의 변곡점인 개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 시스템.
    (수식 7)
    Figure 112015109449210-pat00166

    단,
    Figure 112015109449210-pat00167
    는 변곡점,
    Figure 112015109449210-pat00168
    는 이미지 히스토그램의 시작점,
    Figure 112015109449210-pat00169
    는 히스토그램에서 가장 많은 밝기를 가진 최고점을 나타낸다.
  8. 대상물의 이미지를 취득하는 영상 획득부,
    상기 영상 획득부에서 취득한 상기 이미지를 그레이 레벨로 변환하는 영상 처리부 및
    상기 영상 처리부에서 변환된 상기 이미지의 이미지 히스토그램에 베버의 법칙을 적용하여 상기 대상물의 얼룩 결함을 자동으로 추출하는 영상 해석부를 포함하며,

    상기 영상 해석부는,
    상기 영상 처리부에서 변환된 상기 이미지의 밝기 분포율을 나타내는 이미지 히스토그램을 획득하는 히스토그램 획득부;
    상기 히스토그램 획득부에서 획득한 상기 이미지 히스토그램에 베버의 법칙을 적용하여 얼룩 경계를 지정하고 얼룩 범위를 지정하는 히스토그램 분석부; 및
    상기 히스토그램 분석부에서 설정된 상기 얼룩 범위에서 얼룩의 주성분이 아닌 성분을 제거하는 후처리부를 포함하며,

    상기 히스토그램 분석부는,
    상기 이미지 히스토그램을 얼룩 미 후보 영역과 얼룩 후보 영역으로 나누고 상기 얼룩 후보 영역에 얼룩이 있는 것으로 추정하는 얼룩 영역 추정부;
    상기 이미지 히스토그램에서 픽셀의 변화율이 가장 큰 지점을 얼룩 경계점으로 지정하여 그러한 얼룩 경계를 기준으로 얼룩 성분과 배경 성분을 구분하는 얼룩 경계 지정부; 및
    얼룩이 육안으로 식별이 가능한 정도를 나타내는 상기 이미지 히스토그램의 비율에 따라 얼룩 성분의 범위를 지정하는 범위 선택부를 포함하며,

    상기 범위 선택부는,
    수식 8을 이용하여 상기 이미지 히스토그램의 중간 지점으로부터 어느 방향에 이미지가 더 집중되었는지 판단하고,
    수식 9를 이용하여 상기 이미지 히스토그램의 비율을 결정하며,
    수식 10을 이용하여 얼룩 성분의 범위를 설정하는 개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 시스템.
    (수식 8)
    Figure 112015109449210-pat00170
    ,
    Figure 112015109449210-pat00171
    ,
    Figure 112015109449210-pat00172

    (수식 9)
    Figure 112015109449210-pat00173

    (수식 10)
    Figure 112015109449210-pat00174

    단,
    Figure 112015109449210-pat00175
    은 이미지 히스토그램의 중간 지점,
    Figure 112015109449210-pat00176
    은 중간 지점을 기준으로 왼쪽 픽셀의 합,
    Figure 112015109449210-pat00177
    은 중간 지점을 기준으로 오른쪽 픽셀의 합,
    Figure 112015109449210-pat00178
    는 이미지 히스토그램의 비율,
    Figure 112015109449210-pat00179
    은 이미지 히스토그램에서의 얼룩의 범위,
    Figure 112015109449210-pat00180
    는 범위,
    Figure 112015109449210-pat00181
    는 변곡점이다.
    여기서,
    Figure 112015109449210-pat00182
    는
    Figure 112015109449210-pat00183
    가 1.35 이하이면 4, 1.35 초과 1.8 이하이면 5, 1.8 초과 2.3 이하이면 6, 2.3 초과 4.3 이하이면 7, 4.3 초과 23이하이면 8, 23 초과 105 이하이면 9, 105 초과이면 10, 그 외의 경우에는 0이다.
  9. 영상 획득부가 대상물 상면의 이미지를 획득하는 단계,
    영상 처리부가 상기 영상 획득부에서 획득한 상기 이미지를 그레이 레벨로 변환하는 단계 및
    영상 해석부가 상기 영상 처리부에서 변환된 상기 이미지의 이미지 히스토그램에 베버의 법칙을 적용하여 상기 대상물의 얼룩 결함을 자동으로 추출하는 단계를 포함하며,
    상기 얼룩 결함을 자동으로 추출하는 단계는,
    히스토그램 획득부가 상기 영상 처리부에서 변환된 상기 이미지에서 이미지의 밝기 분포율을 나타내는 이미지 히스토그램을 획득하는 단계,
    얼룩 영역 추정부가 상기 이미지 히스토그램에 베버의 법칙을 적용하여 얼룩 미 후보 범위와 얼룩 후보 범위를 결정하는 단계,
    얼룩 방향성 판단부가 상기 이미지 히스토그램에서 상기 얼룩 미 후보 범위로부터 왼쪽 픽셀 성분의 총 합과 오른쪽 픽셀 성분의 총 합을 비교하여 얼룩의 밝기를 판단하는 단계,
    얼룩 경계 지정부가 상기 얼룩의 방향성 판단 결과 얼룩이 밝은 얼룩일 경우 히스토그램을 반전시키고 어두운 얼룩일 경우 그대로 유지하여 픽셀의 변화율이 가장 큰 지점인 얼룩 경계점을 지정하는 단계,
    범위 선택부가 상기 이미지 히스토그램의 비율에 따라 얼룩이 차지하는 부분만큼의 범위를 설정하여 얼룩의 범위를 선택하는 단계 및
    후처리부가 상기 얼룩의 범위에서 얼룩의 주성분이 아닌 성분들을 제거하는 단계를 포함하는 개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 방법.
  10. 삭제
KR1020140153067A 2014-11-05 2014-11-05 개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 시스템 및 방법 KR101608843B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140153067A KR101608843B1 (ko) 2014-11-05 2014-11-05 개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140153067A KR101608843B1 (ko) 2014-11-05 2014-11-05 개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101608843B1 true KR101608843B1 (ko) 2016-04-06

Family

ID=55790724

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140153067A KR101608843B1 (ko) 2014-11-05 2014-11-05 개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101608843B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108847170A (zh) * 2018-05-29 2018-11-20 信利（惠州）智能显示有限公司 显示屏产品检测方法及检测装置
US10643576B2 (en) 2017-12-15 2020-05-05 Samsung Display Co., Ltd. System and method for white spot Mura detection with improved preprocessing
US10681344B2 (en) 2017-12-15 2020-06-09 Samsung Display Co., Ltd. System and method for mura detection on a display
US11741865B2 (en) 2020-06-22 2023-08-29 Samsung Display Co., Ltd. Apparatus for testing display device and display device for performing mura compensation and mura compensation method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10643576B2 (en) 2017-12-15 2020-05-05 Samsung Display Co., Ltd. System and method for white spot Mura detection with improved preprocessing
US10681344B2 (en) 2017-12-15 2020-06-09 Samsung Display Co., Ltd. System and method for mura detection on a display
CN108847170A (zh) * 2018-05-29 2018-11-20 信利（惠州）智能显示有限公司 显示屏产品检测方法及检测装置
CN108847170B (zh) * 2018-05-29 2021-06-25 信利（惠州）智能显示有限公司 显示屏产品检测方法及检测装置
US11741865B2 (en) 2020-06-22 2023-08-29 Samsung Display Co., Ltd. Apparatus for testing display device and display device for performing mura compensation and mura compensation method

Similar Documents

Publication Publication Date Title
KR101635461B1 (ko) 웨이블릿 변환에서 마스크 필터링을 이용한 얼룩 결함 자동 검출 시스템 및 방법
KR101608843B1 (ko) 개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 시스템 및 방법
KR20080080998A (ko) 화상 해석에 의해서 결함 검사를 실시하는 결함검사장치
US8780097B2 (en) Newton ring mura detection system
CN109840901A (zh) 一种分屏Mura的快速判断方法
KR101677070B1 (ko) 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템 및 방법
JP5088165B2 (ja) 欠陥検出方法および欠陥検出装置
CN108022219B (zh) 一种二维图像灰度修正方法
KR101977647B1 (ko) 표시장치의 얼룩 검출 장치 및 방법
KR101966075B1 (ko) 표시장치의 얼룩 검출 장치 및 방법
KR101862310B1 (ko) 얼룩결함 검사장치 및 얼룩결함 검사방법
CA3132115C (en) Method and system for defect detection in image data of a target coating
JP4315243B2 (ja) 色の均一性の評価方法
KR101993654B1 (ko) 표시패널의 얼룩 검사 장치 및 그 방법
EP2966433B1 (en) Device for setting region of interest for analysis
JP2000199745A (ja) 色ムラの検査方法及び装置
Singh et al. Detection of defects in glass sheet using cs c based segmentation method
JP5239275B2 (ja) 欠陥検出方法および欠陥検出装置
JP7411155B2 (ja) 色ムラ検査装置および色ムラ検査方法
JP2007285868A (ja) 輝度勾配検出方法、欠陥検出方法、輝度勾配検出装置および欠陥検出装置
JP2001028059A (ja) 色ムラ検査方法及び装置
KR20140082335A (ko) 평판디스플레이의 얼룩 검사 방법 및 장치
Tzu et al. Non-uniformity evaluation of flat panel display by automatic optical detection
KR100765294B1 (ko) 액정 디스플레이 패널의 얼룩 결함 검출 방법
KR100549166B1 (ko) 플랫패널용 광관련판요소의 선형 얼룩 검출방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190327

Year of fee payment: 4