KR20160054150A - 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템 및 방법 - Google Patents

형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템 및 방법 Download PDF

Info

Publication number
KR20160054150A
KR20160054150A KR1020140153068A KR20140153068A KR20160054150A KR 20160054150 A KR20160054150 A KR 20160054150A KR 1020140153068 A KR1020140153068 A KR 1020140153068A KR 20140153068 A KR20140153068 A KR 20140153068A KR 20160054150 A KR20160054150 A KR 20160054150A
Authority
KR
South Korea
Prior art keywords
image
labeling
unit
histogram
smoothing
Prior art date
Application number
KR1020140153068A
Other languages
English (en)
Other versions
KR101677070B1 (ko
Inventor
이승호
조성제
Original Assignee
한밭대학교 산학협력단
한밭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한밭대학교 산학협력단, 한밭대학교 산학협력단 filed Critical 한밭대학교 산학협력단
Priority to KR1020140153068A priority Critical patent/KR101677070B1/ko
Publication of KR20160054150A publication Critical patent/KR20160054150A/ko
Application granted granted Critical
Publication of KR101677070B1 publication Critical patent/KR101677070B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Abstract

본 발명은 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템 및 방법에 관한 것으로서,
대상물의 이미지를 취득하는 영상 획득부, 형태학적 영상 처리를 이용하여 상기 영상 획득부가 취득한 상기 이미지에서 조명 성분을 제거하는 전처리부와, 상기 전처리부에서 조명 성분이 제거된 이미지의 히스토그램을 획득한 후 히스토그램 평활화를 통해 전체 그레이 레벨로 확장시켜 이미지를 재구성하는 히스토그램 평활화부를 구비하는 영상 처리부 및 상기 영상 처리부에서 변환된 상기 이미지에 가버 필터를 적용하여 얼룩 후보 영역을 구성하는 얼룩 후보 생성부와, 상기 얼룩 후보 생성부에서 구성된 얼룩 후보 영역에 레이블링을 이용하여 얼룩을 검출하는 얼룩 검출부를 구비하는 영상 해석부를 포함함으로써, 높은 검출률과 높은 신뢰도를 갖는 얼룩 결함 자동 검출 시스템 및 방법을 제공할 수 있다.

Description

형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템 및 방법{System and Method for Automatically Detecting a Mura Defect using Morphological Image Processing and Labeling}
본 발명은 얼룩 결함 자동 검출 시스템 및 방법에 관한 것으로, 더욱 상세하게는 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템 및 방법에 관한 것이다.
IT 산업이 발전함에 따라 스마트폰(smart phone)이나 태블릿 PC(tablet pc) 등의 휴대용 전자제품과 LCD 모니터, TV 등 가전제품 등의 사용이 증가함에 따라 다양한 종류와 크기에 따른 디스플레이에 관한 연구도 활발히 진행되고 있다.
이러한 디스플레이 표면에 이물이나 얼룩이 포함된 경우 백라이트 모듈(backlight module)에서 발생되는 빛이 왜곡되기 때문에 상품화 단계까지 진행되어 사용자가 이용하게 되면 디스플레이 화면이 흐릿해지거나 번지는 현상을 가진 휘도 불균일성(brightness non-uniformity)이 나타나게 되어 상품성이 떨어지고 사용자의 불편함을 느끼는 결과를 초래함과 동시에 수리하는 방법도 없으므로 제조 공정에서 디스플레이 표면의 품질 검사 작업이 중요하다. 따라서, 출고 전 디스플레이 표면의 얼룩(mura)을 확실하게 확인하는 작업을 수행해야 한다.
이때, 얼룩은 제조 공정 간 먼지나 이물, 검사자의 부주의로 인한 스크래치, 지문 등 많은 이유에 의해 생길 수가 있다. 현재까지는 이러한 얼룩들을 직접 육안으로 디스플레이 필름의 얼룩을 검사하여 불량을 판별하였으나, 육안으로 검사하게 되면 사람마다 완벽하게 똑같은 기준이 없을 뿐만 아니라 인건비와 시간이 많이 걸리는 단점이 있다.
이러한 단점을 극복하기 위해 이미지 프로세싱을 이용하여 자동으로 얼룩을 검출하는 머신 비전 시스템의 중요성이 점점 증가하고 있다. 머신 비전 시스템이란 이러한 디스플레이 표면을 자동으로 검사하는 시스템으로서, 사람이 아닌 컴퓨터로 검사하려는 생산 제품의 영상을 촬영하여 컴퓨터로 가져오는 영상 획득 단계, 소프트웨어를 활용하여 입력된 영상에 필요한 처리를 수행하는 영상 처리 단계 및 영상 처리 결과를 바탕으로 검사 대상 제품이 불량이 있는지 판별하는 영상 해석 단계를 통해 디스플레이 표면을 자동으로 검사한다.
이러한 머신 비전 시스템을 이용하여 전문가 수준의 검출 알고리즘을 적용시킨다면 사람이 직접 얼룩을 검출하는 것보다 시간적인 측면이나 비용적인 측면에서 큰 효과를 볼 수 있을 것으로 전망된다.
최근, 디스플레이 필름의 얼룩 검출 자동화를 위해 머신 비전 시스템을 이용하여 영상을 획득하고 처리하는 알고리즘 방법에 대해서 다양한 방법으로 제안되고 있다. 얼룩 검출에 대한 방법은 크게 공간 영역(spatial domain)에서의 검출과 주파수 영역(frequency domain)에서의 검출, 그리고 공간영역과 주파수 영역 모두에서의 검출 등이 있다.
먼저, 공간 영역 영상 처리로 연구한 방법으로는 Wang과 Ling의 다항식 근사화를 이용한 면 정합(surface fitting) 기법으로 Region-Mura를 찾는 방법을 제안되었지만 이는 다양한 종류의 얼룩을 검출하지 못하는 단점이 있다. Chen과 Chiang는 임계값을 이용하여 얼룩을 검출하는 방법을 제안하였다. 이 방법은 얼룩 검출 시 같은 그레이 레벨 값에 대한 얼룩과 배경이 있으면 같이 찾는 경우가 생겨 얼룩 검출에 한계가 있다. Song 외 2명은 형태학적 처리를 통한 전처리 후 다양한 레벨의 임계값을 설정하여 얼룩을 검출하는 방법을 제안하였지만 다양한 얼룩을 검출하지 못하는 단점이 있다. Baek 외 3명은 다항식 근사화를 이용한 면 정합을 이용하여 배경의 명암을 추정하는 방법을 사용하였으나 임계값에 따라 결과 차이가 많이 나는 단점이 있다.
주파수 영역에서의 얼룩 검출 방법으로 Chen과 Kuo는 DCT 변환 후 차단 주파수로 배경 이미지를 추출하여 얼룩을 찾는 방법은 배경 제거에 효과적이나 차단 주파수 설정이 정확하게 되어야 얼룩을 검출할 수 있다. C. J. Chen 외 2명은 고주파보다 저주파에서 일어나는 변화에 민감한 인간의 특성을 수학적 모델링한 CSF(contrast sensitivity function)으로 얼룩을 검출하였으나 얼룩이 배경과 가까운 성분이면 검출력이 낮아질 수 있다. S.J. Kim외 5명은 웨이블릿 변환을 이용하여 얼룩을 검출하였으나 속도는 빠르지만 전처리나 후처리 과정이 부족하여 얼룩이 아닌 부분을 찾을 수도 있다. Nakano와 Mori는 웨이블릿 영역에서의 영역 개선 방법과 공간 영역에서의 임계값을 기반으로 얼룩검출을 제안하였으나 모든 얼룩의 종류를 찾을 수 없다는 단점이 있다.
한편, Xin Bi는 가버 필터와 Level set 방법으로 얼룩을 검출하였는데 가버 필터링 후 전체 영역을 탐색하는 Active contour model을 사용하여 얼룩을 검출력이 우수하나 Active contour 방법은 속도가 느리다는 단점이 있고, Jiang 외 2명은 휘도 와 분산에 대한 분석 및 EWMA(exponentially weighted moving average)를 이용한 방법을 제안하였으나 이 방법은 시행착오에 의해 값이 결정되어 얼룩을 찾는 단점이 있다.
따라서, 본 발명에서는 형태학적 영상처리(morphology image processing)와 레이블링(labeling)을 이용하여 디스플레이 필름 표면의 얼룩을 자동으로 검출하는 기법을 제안한다.
대한민국 공개특허공보 제10-2014-0006582호(공개일 2014.01.16.) 대한민국 공개특허공보 제10-2011-0123512호(공개일 2011.11.15.)
따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 형태학적 영상 처리를 이용한 전처리 과정(preprocessing)을 거쳐 이미지에 포함되어 있는 조명을 제거하고, 가버 필터로 얼룩의 후보 영역을 구성하며, 레이블링을 통해 최종 얼룩을 검출하는 얼룩 결함 자동 검출 시스템 및 방법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템은, 대상물의 이미지를 취득하는 영상 획득부, 형태학적 영상 처리를 이용하여 상기 영상 획득부가 취득한 상기 이미지에서 조명 성분을 제거하는 전처리부와, 상기 전처리부에서 조명 성분이 제거된 이미지의 히스토그램을 획득한 후 히스토그램 평활화를 통해 전체 그레이 레벨로 확장시켜 이미지를 재구성하는 히스토그램 평활화부를 구비하는 영상 처리부 및 상기 영상 처리부에서 변환된 상기 이미지에 가버 필터를 적용하여 얼룩 후보 영역을 구성하는 얼룩 후보 생성부와, 상기 얼룩 후보 생성부에서 구성된 얼룩 후보 영역에 레이블링을 이용하여 얼룩을 검출하는 얼룩 검출부를 구비하는 영상 해석부를 포함한다.
한편, 본 발명의 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 방법은, 영상 획득부가 대상물 상면의 이미지를 획득하는 단계, 전처리부가 형태학적 영상 처리를 이용하여 상기 영상 획득부가 취득한 상기 이미지에서 조명 성분을 제거하는 단계, 히스토그램 평활화부가 상기 전처리부에서 조명 성분이 제거된 이미지의 히스토그램을 획득한 후 히스토그램 평활화를 통해 전체 그레이 레벨로 확장시켜 이미지를 재구성하는 단계, 얼룩 후보 생성부가 상기 히스토그램 평활화부에서 재구성된 변환된 이미지에 가버 필터를 적용하여 얼룩 후보 영역을 구성하는 단계 및 얼룩 검출부가 상기 얼룩 후보 생성부에서 구성된 얼룩 후보 영역에 레이블링을 이용하여 얼룩을 검출하는 단계를 포함한다.
상술한 바와 같이, 본 발명에 의한 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템 및 방법은 다음과 같은 효과를 제공한다.
1. 전처리 과정에서 형태학적 영상 처리를 이용해 배경을 추정하여 원본 이미지에서 조명 성분을 제거시킨 후 알고리즘을 적용시키기 때문에 조명이 있는 이미지에서도 얼룩을 검출할 수 있다.
2. 레이블링으로 후보 영역을 얼룩으로 선정하는 단계에서는 얼룩 비교 알고리즘을 통해 얼룩으로만 영상을 구성할 수 있어서 검출력이 우수하다는 장점이 있다.
3. 얼룩 모양이나 복합적인 얼룩 등 다양한 형태의 얼룩 검출과 색상에 영향 받지 않고 검출 가능한 결과를 도출할 수 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템을 개략적으로 나타낸 블록 구성도이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 얼룩 결함 자동 검출 방법을 설명하기 위한 흐름도이다.
도 3에 전처리부가 형태학적 영상 처리 기법을 이용하여 조명 성분을 제거하는 과정을 도시한 그림이다.
도 4a는 전처리부에서 조명 성분이 제거된 전처리 이미지의 히스토그램을 예시한 그래프이고, 도 4b는 전처리 이미지에 히스토그램 평활화를 수행한 후 이미지의 히스토그램을 예시한 그래프이다.
도 4a는 전처리부에서 조명 성분이 제거된 전처리 이미지의 히스토그램을 예시한 그래프이고, 도 4b는 전처리 이미지에 히스토그램 평활화를 수행한 후 이미지의 히스토그램을 예시한 그래프이다.
도 5는 이미지 상에 흰색 얼룩과 검은색 얼룩 두 가지가 포함되어 있는 경우 흰색 및 검은색 얼룩에 대한 히스토그램 평활화 과정을 나타내는 그림이다.
도 6은 본 발명의 바람직한 일 실시예에 따른 얼룩 후보 생성부의 가버 필터링 과정을 나타낸 그림이다.
도 7은 형태학적 전처리 후 가버 필터링을 적용한 이미지 상에 8-인접관계를 이용해 레이블링하는 과정을 나타내는 그림이다.
도 8은 가버 필터링 후 이미지의 후보 영역을 레이블링하여 번호를 매긴 이미지이다.
도 9는 레이블링을 통해 얼룩으로 판단된 객체들로 구성된 최종 얼룩 이미지이다.
도 10은 FPD 얼룩 샘플 이미지이다.
도 11은 도 10의 이미지를 이용하여 본 발명의 실시예에 따른 방법으로 얼룩을 검출한 결과를 나타낸다.
얼룩은 모양과 색에 따라 분류하는데 본 명세서에서는 그림 1과 같이 종류에 따라 점 같은 얼룩을 spot 얼룩, 지문같이 한 영역에 나타나는 얼룩을 region 얼룩, 머리카락 같은 이물질이 포함 되어 있는 얼룩의 경우에는 foreign Substance, 3가지 얼룩이 두 종류 이상 복합적으로 있으면 complex 얼룩이라고 분류하였다.
[그림 1] 얼룩의 종류
Figure pat00001
이하, 본 발명의 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템을 개략적으로 나타낸 블록 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 얼룩 결함 자동 검출 시스템은 제품의 생산 과정에서 발생하는 얼룩을 빠르고 정확하게 검사할 수 있도록, 대상물의 이미지를 취득하는 영상 획득부(100), 영상 획득부(100)가 취득한 대상물의 영상에 이미지 처리 소프트웨어를 활용하여 필요한 처리를 수행하는 영상 처리부(200) 및 상기 영상 처리부(200)의 영상 처리 결과를 바탕으로 대상물에 얼룩 결함이 있는지 여부를 판별하는 영상 해석부(300)를 포함하여 이루어진다.
영상 획득부(100)는 검사하려는 대상물의 상면 이미지를 획득하고 획득한 이미지를 영상 처리부(200)에 전송하는 구성으로서, 대상물의 상면으로부터 이격되어 배치되고 대상물의 상면을 향해 빛을 조사하는 조명부(110), 대상물의 상면으로부터 이격되어 배치되고 조명부로부터 조사되어 대상물의 상면에서 반사된 빛을 이용하여 영상을 촬영하는 촬영부(120), 조명부 및 촬영부를 대상물의 상면과 이격되고 평행한 평면상에서 움직이도록 구동하는 구동부(미도시)를 포함할 수 있다.
영상 처리부(200)는 영상 획득부(100)가 취득한 대상물의 영상에 이미지 처리 소프트웨어를 활용하여 필요한 처리를 수행하고 그러한 이미지를 영상 해석부(300)에 전송하는 구성으로서, 형태학적 영상 처리를 이용하여 영상 획득부(100)로부터 전송된 대상물의 이미지에서 조명을 제거하는 전처리부(210) 및 전처리부(220)에서 조명 성분이 제거된 이미지의 픽셀 값들을 히스토그램 평활화를 통해 전체 그레이 레벨로 분포시켜 가버 필터를 적용할 수 있는 형태로 재구성하는 히스토그램 평활화부(220)를 포함하여 이루어진다.
영상 해석부(300)는 영상 처리부(200)에서 전송된 대상물의 이미지로부터 얼룩 결함을 추출함으로써 불량 유무를 판별하는 구성으로서, 영상 처리부(200)에서 전송된 이미지에 가버 필터를 통해 얼룩 성분을 강조하여 얼룩 후보 영역을 구성하는 얼룩 후보 생성부(310), 및 얼룩 후보 생성부(310)에서 구성된 얼룩 후보 영역 이미지의 각 객체에 번호를 매기는 레이블링 방법으로 각 객체가 얼룩인지 아닌지 판단하여 이미지를 재구성하는 최종 얼룩 검출부(320)를 포함하여 이루어진다.
그러면, 여기서 상기와 같이 구성된 시스템을 이용한 본 발명의 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 방법에 대해 설명하기로 한다.
도 2는 본 발명의 바람직한 일 실시예에 따른 얼룩 결함 자동 검출 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 먼저 영상 획득부(100)는 검사하려는 대상물의 상면 이미지를 획득하여 영상 처리부(200)에 전송한다. 예를 들면, 영상 획득부(100)는 촬영부(120)로 대상물의 상면을 촬영하여 촬영된 영상을 영상 처리부(200)에 입력할 수 있다.
다음으로, 대상물의 영상을 입력받은 영상 처리부(200)의 전처리부(210)는 1단계로 대상물의 이미지가 불균일한 조명 성분을 포함하고 있는 경우 형태학적 영상 처리를 통해 조명을 제거하는 전처리 과정을 수행한다(단계 1).
그리고, 영상 처리부(200)의 평활화부(220)는 2단계로 조명 성분이 제거된 영상에 히스토그램 평활화를 통해 전 범위의 그레이 레벨로 확장시켜 영상을 재구성한다(단계 2).
이어서, 영상 해석부(300)는 3단계에서 영상 처리부(200)에서 전송된 대상물의 이미지로부터 얼룩 결함을 추출함으로써 불량 유무를 판별한다. 이러한 얼룩의 검출은 얼룩 후보 생성부(310)가 영상 처리부(200)에서 전송된 이미지에 가버 필터를 적용함으로써 얼룩 성분을 강조하여 얼룩 후보 영역을 구성하고(단계 3.1), 최종 얼룩 검출부(320)가 얼룩 후보 생성부(310)에서 구성된 얼룩 후보 영역 이미지의 각 객체에 번호를 매기는 방법으로 각 객체가 얼룩인지 아닌지 판단하여 이미지를 재구성한다(단계 3.2).
이하, 상술한 각 단계들에 대해서 보다 상세하게 설명하기로 한다.
1. 형태학적 영상 처리를 이용한 조명 성분 제거
1) 형태학적 영상 처리
형태학(morphology)이란 영상 내의 형태들을 분석하고 처리하는 기법이다. 형태학적 영상 처리는 영상의 경계, 블록, 골격 등 형태를 표현하거나 서술하는데 필요한 영상 요소를 추출하는데 사용되고, 영상의 객체 간 경계가 일정하지 않거나 단절되었을 때 연결하는데도 사용된다. 팽창과 침식은 형태학에 대해 필수적인 연산으로 사실상 대부분의 형태학적 영상 처리는 이 두 연산을 기반으로 한다.
침식(erosion)은 이미지 내의 객체의 크기를 구조요소를 이용하여 일정하게 줄여주는 것으로서 객체의 크기는 줄어들고 배경은 확대되는 결과를 나타낼 수 있다. 따라서 영상의 객체와 배경 사이에 잡음을 제거하거나 아주 작은 객체를 제거하는데 유용하다.
침식은 Z2의 공간에서 집합 A와 B가 있을 때 이를 수식으로 표현하면 수학식 1과 같다. 여기서, A는 객체이고 B는 구조요소이다. 이 식은 B에 의한 A의 침식이 Z에 의해 이동된 B가 A에 포함되는 모든 점 Z의 집합임을 의미한다. 그림 2는 침식 과정을 나타낸 것이다. 그림 2a는 원본 이미지, 그림 2b는 구조요소, 그림 2c는 원본 이미지에 구조요소로 침식 연산을 수행하는 과정이고, 그림 2d는 최종 침식이미지이다.
[수학식 1]
Figure pat00002
[그림 2] 침식 연산
Figure pat00003
팽창(dilation)은 객체 내부의 돌출부를 제거하고 외부의 돌출부는 증가시켜 객체의 크기를 확장하고 배경은 축소하는 결과를 나타낼 수 있다. 객체 내부에 발생한 구멍과 같은 공간을 채우거나 짧게 끊어진 영역을 연결하는데 사용된다.
팽창을 Z2의 공간에서 집합 A와 B 가 있을 때 수식으로 표현하면 수학식 2와 같다. 그림 3은 팽창 과정을 그림을 나타낸 것이다. 그림 3a는 원본 이미지, 그림 3b는 구조요소, 그림 3c는 원본 이미지에 구조요소로 팽창 연산을 수행하는 과정이고, 그림 3d는 최종 팽창 이미지이다.
[수학식 2]
Figure pat00004
[그림 3] 팽창 연산
Figure pat00005
열기(opening)는 침식 연산 후 팽창 연산을 하는 것을 말하는데 볼록한 부분을 제거하고 좁은 연결을 끊어 영상의 외곽선을 부드럽게 만든다. 객체의 형상과 크기는 보존되며 돌출 부분과 좁은 연결 부위를 제거하므로 제거 연산이라고도 한다.
구조요소 B에 의한 집합 A의 열기는 수학식 3과 같이 B에 의한 A의 침식 연산 후 그 결과를 B에 의해 팽창시키는 것이다. 그림 4는 열기 과정을 그림을 나타낸 것이다. 그림 4a는 원본 이미지, 그림 4b는 구조요소, 그림 4c는 원본 이미지에 침식 연산을 수행한 결과이고, 그림 4d는 팽창 과정을 거쳐 최종적으로 열기 연산을 수행한 이미지이다.
[수학식 3]
Figure pat00006
[그림 4] 열기 연산
Figure pat00007
닫기(closing)는 열림 연산과 반대로 팽창 연산 후 침식 연산을 수행하는 것을 말한다. 오목하게 들어간 부분이나 작은 구멍을 채워 열림 연산과 마찬가지로 영상의 외곽선 부분을 부드럽게 만들며, 객체의 형태와 크기는 보존된다. 작은 구멍이나 틈을 채우는 역할도 하므로 채움 연산이라도 한다.
마찬가지로 구조요소 B에 의한 집합 A의 닫기는 B에 의한 A의 팽창 연산 후 그 결과를 B에 의해 침식시키는 것이다. 닫기 연산을 식으로 나타내면 수학식 4와 같다. 그림 5는 닫기 과정을 그림을 나타낸 것이고 그림 5a는 원본 이미지, 그림 5b는 구조요소, 그림 5c는 원본 이미지에 팽창 연산을 수행한 결과이고 그림 5d는 침식 과정을 거쳐 최종적으로 닫기 연산을 수행한 이미지이다.
[수학식 4]
Figure pat00008
[그림 5] 닫기 연산
Figure pat00009
2) 형태학적 영상처리를 이용한 전처리 방법
본 발명의 일 실시예에 따른 얼룩 검출 방법에서는 조명 성분이 포함되어 있는 경우 조명 성분을 얼룩이라 판단하여 잘못된 결과가 나올 수 있기 때문에 얼룩 검출 알고리즘을 적용하기 전에 조명 성분을 제거하는 전처리 과정을 수행한다. 이하에서는 열기와 닫기 연산을 통한 얼룩 이미지의 전처리 방법에 관하여 살펴보기로 한다.
동일한 조명 조건을 가진 두 이미지 즉, 얼룩이 포함된 영상과 얼룩이 없는 두 영상을 나누게 되면 같은 그레이 스케일 성분을 가지는 픽셀 값은 같은 그레이스케일 성분으로 처리되므로 조명 성분이 제거되는 효과를 얻을 수 있지만, 그렇지 않은 경우 조명 성분을 제거하기 위해서 이미지 자체에서 조명을 추정하여 제거하는 방법을 이용해야 한다.
본 발명의 실시예에서는 형태학적 영상처리 기법을 이용하여 이미지의 조명성분을 제거하는 방법을 사용한다. 이에, 전처리부(210)는 원본과 똑같은 후보 이미지를 만들어 조명 성분을 추정하여 원본 이미지와 추정 이미지를 차연산하여 조명을 제거한다. 구체적으로, 형태학적 영상 처리 방법 중 구조요소를 사용하는 열기 연산 및 닫기 연산을 이용하여 이미지에 적용시키게 되면 원 이미지에서 조명을 추정할 수 있고, 이 영상을 원 영상과 차연산하게 되면 조명 성분을 제거하는 효과를 낼 수 있으며 원래 얼룩 성분은 그대로 남게 된다.
도 3에 전처리부가 형태학적 영상 처리 기법을 이용하여 조명 성분을 제거하는 과정이 도시되었다. 도 3에 도시된 바와 같이, 영상 획득부(100)로부터 전송된 원본 이미지에서 도 3a와 같이 열기 연산을 하게 되면 원본 이미지에서 작은 돌출부나 잡음 조각이 제거되고 그 이미지에 도 3b와 같이 닫기 연산을 하면 작은 구멍이나 틈새가 제거된다. 도 3c는 열기-닫기 연산 후 조명 성분을 추정하여 나타낸 그림이다. 도 3d는 원 이미지와 도 3c 이미지를 차연산하여 재구성된 영상을 나타내는 이미지이다.
2. 히스토그램 평활화
히스토그램 평활화부(220)는 전처리부(210)에서 조명 성분이 제거된 영상에 후술하는 얼룩 후보 생성부(310)의 가버 필터를 효율적으로 적용시키기 위해 히스토그램 평활화를 통해 전 범위의 그레이 레벨로 확장시켜 영상을 재구성한다.
도 4a는 전처리부에서 조명 성분이 제거된 전처리 이미지의 히스토그램을 예시한 그래프이고, 도 4b는 전처리 이미지에 히스토그램 평활화를 수행한 후 이미지의 히스토그램을 예시한 그래프이다.
도 4에 도시된 바와 같이, 히스토그램 평활화부(220)는 원 이미지에서 조명 성분을 추정한 이미지와 차연산을 하게 되면 배경 성분은 같은 값을 가지므로 0에 가까운 값이 되고 얼룩 성분은 도 4a와 같이 배경 성분의 그레이 스케일 값을 뺀 값이 나오게 되므로 도 4b와 같이 히스토그램 평활화를 통해 전체 그레이 레벨로 확장시켜 얼룩을 두드러지게 하는 효과를 적용한다.
한편, 도 5는 이미지 상에 흰색 얼룩과 검은색 얼룩 두 가지가 포함되어 있는 경우 흰색 및 검은색 얼룩에 대한 히스토그램 평활화 과정을 나타내는 그림으로서, 도 5를 참조하여 히스토그램 평활화부(220)는 이미지 상에 흰색 얼룩과 검은색 얼룩 두 가지가 포함되어있는 경우 한쪽 측면으로만 전처리 과정을 거치게 되면 검은색이나 흰색 얼룩 중 한 가지만 찾게 되므로 히스토그램 평활화를 두 가지 방법으로 한다. 이에, 첫 번째 이미지는 영상 그대로에 대해서 히스토그램 평활화 과정을 진행하고 두 번째 이미지는 히스토그램을 이미지 반전시킨 후 평활화를 하게 된다.
3. 얼룩 결함 추출
3.1 가버 필터를 이용한 얼룩 후보 영역 구성
1) 가버 필터링
가버 필터는 주파수 및 방위들이 인간의 시각 시스템과 유사하여 무늬의 표현이나 식별을 위해 적합한 필터이다. 2D 가버 필터는 2D 가우시안 함수와 복소수 함수에 의해 수학식 5와 같이 정의된다. 단, 수학식 5에서 u0, v0는 특정 공간 주파수이고, g(x,y)는 가우시안 함수이다.
[수학식 5]
Figure pat00010
가우시안 함수는 수학식 6과 같이 나타난다. 여기서,
Figure pat00011
는 표준편차이다.
[수학식 6]
Figure pat00012
2D 가버 필터 함수는 복소수 함수이므로 다음과 같이 실수부와 허수부로 나눌 수 있다. 가버 필터의 실수부는 수학식 7과 같이 나타내고 그림 6과 같다. 허수 부분은 수학식 8과 같고 그림 7과 같이 나타낸다.
[수학식 7]
Figure pat00013
[그림 6] 공간 도메인 가버 필터
Figure pat00014
[수학식 8]
Figure pat00015
[그림 7] 주파수 도메인 가버 필터
Figure pat00016
2) 가버 필터를 이용한 얼룩 후보 영역 구성
본 발명의 실시예에 따른 영상 해석부(300)의 얼룩 후보 생성부(310)는 이중 허수 부분의 가버 필터보다 실수 부분 가버 필터가 얼룩 강조에 유용하므로 실수 가버 필터링을 사용하여 얼룩을 강조하여 얼룩 후보 영역을 구성한다. 실수 가버 필터의 수식은 수학식 9와 같다.
[수학식 9]
Figure pat00017
단, 수학식 9에서
Figure pat00018
는 주파수,
Figure pat00019
는 회전각, u0는
Figure pat00020
, v0는
Figure pat00021
이다.
한편, 얼룩 후보 생성부(320)는 전처리 과정을 거친 후 생성된 두 개의 이미지에 대해 각각 가버 필터링을 한 후 두 개의 이미지를 AND 연산을 통해 하나의 이미지로 재구성을 하게 된다.
도 6은 본 발명의 바람직한 일 실시예에 따른 얼룩 후보 생성부의 가버 필터링 과정을 나타낸 그림이다. 도 6을 참조하면, 얼룩 후보 생성부(320)는 먼저 형태학적 전처리 후 히스토그램 평활화로 두 부분으로 나뉜 영상을 각각 가버 필터링 하여 나타내고 두 이미지를 AND 연산을 통해 한 이미지로 표현한다.
3.2 후보 영역 레이블링 후 얼룩 선정
1) 레이블링
레이블링은 가버 필터링 후 이진화된 이미지의 모든 화소를 탐색하여 4-연결성(4-connected)이나 8-연결성(8-connected) 등으로 연결 관계를 이용함으로써 번호를 매기는 방법으로 각 객체를 구분하는 방법이다.
레이블링시 4-연결성과 8-연결성은 그림 8과 같이 나타낼 수 있다.
이미지상의 (x, y)에 있는 한 화소 p는 좌표가 (x + 1 , y), (x - 1, y), (x, y + 1), (x, y-1)인 두 개의 수평 이웃과 두 개의 수직 이웃을 갖는데 p의 4 이웃 집합을 N4(p)로 표기하고 그림 8a와 같이 나타낸다. 화소 p의 네 개의 대각선 이웃은 (x + 1, y + 1), (x + 1, y - 1), (x - 1, y + 1), (x - 1, y -1)이고 수직 및 수평 성분과 함께 p의 8 이웃 집합이라 하고 N8(p)와 같이 표기하고 그림 8b와 같이 나타낸다.
한편, 이미지 상의 두 화소 p와 주변 화소가 만일 주변 화소 N4(p)이면 4-인접(4-adjacent)한다고 하고, 마찬가지로 p와 주변 화소가 만일 주변 화소 N8(p)이면 8-인접(8-adjacent)한다고 한다. 그림 8c와 같이 4-인접관계는 4-인접과 동시에 8-인접한다고 할 수 있지만 그림 8d는 4-인접하지 않고 8-인접한다고 할 수 있다.
[그림 8] 4-연결성과 8-연결성
Figure pat00022
4-인접관계와 8-인접관계에 따라 레이블링 결과가 달라지는데 4-인접관계를 이용하여 레이블링을 하게 되면 수직과 수평 성분에 관해서만 연결이 유지되므로 그림 9a와 같이 레이블링이 1부터 4까지 4단계로 나타내어지고, 8-인접관계를 이용하여 레이블링을 하면 수직, 수평 및 대각선 방향의 화소까지 인접관계에 포함되므로 그림 9b와 같이 2단계로 나타내어진다.
[그림 9] 4-연결성과 8-연결성을 이용한 레이블링
Figure pat00023
2) 후보영역 레이블링
본 발명의 실시예에 따른 얼룩 검출부(320)에서는 가버 필터링 후 이진화한 후보영역을 레이블링을 사용하여 최종적으로 얼룩인지를 판별하여 판단한다.
도 7은 형태학적 전처리 후 가버 필터링을 적용한 이미지 상에 8-인접관계를 이용해 레이블링하는 과정을 나타내는 그림으로서, 도 7a 내지 도 7d는 각각 하기 단계 701 내지 단계 704의 이미지를 나타낸다.
도 7c와 같이 1번 레이블링 영역의 평균값과 주변 영역의 평균값을 계산하여 97.5~100% 일치하게 되면 배경으로 인식하여 레이블링 영역에서 제외하고, 97.5%미만이면 얼룩이라 판단되어 레이블링 객체를 이미지에 유지한다. 최종 레이블링 이미지는 도 7d와 같고, 수학식 10은 레이블링 객체의 판단 기준을 나타내었다.
<단계 701> 가버 필터링 이미지 후보를 8-연결성을 이용해 레이블링한다.
<단계 702> 전체 레이블링 객체의 픽셀수가 3픽셀 이하인 경우 얼룩이라 판단하지 않고 레이블링 이미지에서 삭제하여 얼룩 후보에서 제외한다.
<단계 703> 각 레이블링한 객체에 대해 수학식 10과 같이 주변값 비교식을 적용하여 얼룩인지 배경인지 판단하여 배경이라 판단된 영역은 레이블링된 이미지에서 제외하고 얼룩이라 판단된 영역은 얼룩이라 판단하여 최종이미지를 구성한다.
<단계 704> 얼룩으로 판단된 객체들로 최종 이미지를 구성한다.
[수학식 10]
Figure pat00024
도 8은 가버 필터링 후 이미지의 후보 영역을 레이블링하여 번호를 매긴 이미지이고, 도 9는 레이블링을 통해 얼룩으로 판단된 객체들로 구성된 최종 얼룩 이미지이다. 번이 배경 성분이라 판단하고 나머지 , , 번은 얼룩이라 판단하였다면 최종 얼룩 이미지는 도 9와 같이 , , 번으로만 구성하게 된다.
표 1은 실험에 사용된 이미지 얼룩의 종류 및 본 발명의 실시예에 따른 검출 결과를 나타낸다.
형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 방법에 대한 검출 평가를 위하여, 각 이미지는 크기와 얼룩의 종류에 따라 구분하였고 모든 이미지는 410X410으로 총 168,100픽셀로 구성하였다. 표 1에 보인 것과 같이 검출률을 산출하기 위하여 사용된 샘플은 spot 얼룩, region 얼룩, foreign 얼룩, complex 얼룩 등으로 총 200장의 얼룩 샘플을 사용하였다. spot 얼룩점 형태로 된 얼룩을 말하고, region 얼룩은 지문 같은 모양을 가지는 얼룩이다. foreign substance는 머리카락 같은 이물이 포함된 이미지이고 complex 얼룩은 복합적으로 두 개 이상의 종류의 얼룩이 합쳐진 것을 사용하였다. 각 얼룩 이미지는 이미지 상에서 흰색과 검은색 두 가지 종류로 나누어 분류하여 실험을 진행하였다.
얼룩 종류 실험 이미지 수 검출 이미지 수 검출률
spot 32 26 81.25%
region 135 134 99.3%
foreign substance 14 14 100%
complex 19 17 88.2%
총 계 200 191 95.5%
표 1에 보인 바와 같이, 본 발명의 실시예에 따른 얼룩 검출 방법은 실험을 수행한 결과 총 200장의 이미지에서 미 검출된 이미지는 9장으로써 95.5% 정도의 높은 검출률을 나타내었다.
본 명세서에서는 Semu 지수("Definition of measurement index (SEMU) for luminance Mura in FPD image quality inspection", SEMI D31-1102, 2002.)를 적용하여 객관적인 신뢰도를 평가하였다. Semu 지수는 2002년에 SEMI에서 FPD 얼룩에 대한 평가를 객관적으로 평가하기 위해 만든 지수이다. Semu 지수는 인간의 시각으로 인지할 수 있는 최소 식별 차이인 CJND와 얼룩의 평균명암인 Cx의 비로 나타낸다.
여기서 CJND는 검출된 얼룩의 면적 Sx에 반비례하며 수학식 11과 같이 나타낸다.
[수학식 11]
Figure pat00025
Semu는 Cx와 CJND의 비율로 수학식 12와 같이 정의된다. 검출된 얼룩과 배경간의 명암의 차이 Cx는 검출된 얼룩의 면적 Sx에 비례하며 검출된 얼룩과 배경 간의 명암의 차이와 검출된 얼룩의 면적이 증가할수록 Semu값이 증가하고, 검출된 얼룩과 배경간의 명암의 차이와 검출된 얼룩의 면적이 감소할수록 Semu값도 감소한다.
[수학식 12]
Figure pat00026
여기서, CJND는 얼룩 검출을 위한 최소대비, Cx는 측정된 얼룩의 평균 대비, Sx는 측정된 얼룩의 표면적을 나타낸다.
한편, 객관적인 신뢰도 평가를 위해 표 2 및 표 3에 보인 바와 같이 본 발명에 따른 방법과 종래의 방법(L. C. Chen, C. C. Kuo, Automatic TFT-LCD mura defect inspection using discrete cosine transform-based background filtering and just noticeable difference quantification strategies, Meas. Sci. Technol., vol. 19, pp. 110, 2008)의 Semu 평가 결과를 비교하였다. 종래의 방법과 동일한 실험 조건에서 제안된 방법으로 검출이 가능한 얼룩과 배경의 최소 명암 차이를 확인하여 Semu값을 평가하였다.
종래의 방법의 실험 이미지 크기는 256256이고, 얼룩의 크기는 약 1,800픽셀이며 얼룩과 배경의 평균값의 명암 차이를 1씩 차이나는 얼룩을 총 10장을 만들어 사용하였다. 한편, 종래의 방법의 실험 이미지의 배경 값을 추정하기 위해 수학식 12에 대입하여 그레이 레벨이 120~125 사이인 것을 확인하였다.
본 발명의 실험예에서는 종래의 방법과 일치성을 확보하기 위해 410410 크기에 얼룩의 크기는 약 1800픽셀에 평균 그레이 레벨이 125인 실험 이미지를 사용하였다. 도 10은 FPD 얼룩 샘플 이미지로서, 도 10a는 얼룩과 배경의 명암 차이가 10인 픽셀값 135의 얼룩 이미지를 나타내고, 도 10b 내지 도 10j는 얼룩과 배경의 명암 차이를 1씩 감소시킨 얼룩 이미지를 나타낸다.
도 11은 도 10의 이미지를 이용하여 본 발명의 실시예에 따른 방법으로 얼룩을 검출한 결과를 나타낸다. 도 11g와 같이 명암 차이 4부터 얼룩을 검출하였지만 도 11h에서 얼룩을 검출하지 못한 것으로 비추어 보아, 본 발명의 실시예에 따른 검출 방법은 명암 차이 4부터 얼룩을 검출하는 것을 확인할 수 있다.
표 2는 본 발명의 실시예에 따른 신뢰도를 나타내고, 표 3은 종래의 방법(L. C. Chen, C. C. Kuo, Automatic TFT-LCD mura defect inspection using discrete cosine transform-based background filtering and just noticeable difference quantification strategies, Meas. Sci. Technol., vol. 19, pp. 110, 2008)에 따른 신뢰도를 나타낸다.
표 2는 본 발명의 실시예에 따른 Semu 평가를 나타낸다. 배경 성분이 밝은 이미지일수록 사람의 눈으로 인지하기 어려우므로 |Cx|값은 작아지고, 어두운 이미지일수록 |Cx|값은 커진다. CJND는 사람의 눈으로 인식할 수 있는 최소 명암 차이를 얼룩의 크기에 대한 비율로 나타낸다. 따라서, 얼룩의 크기가 클수록 CJND 항목의 값은 작아진다. 따라서 |Cx|/CJND와 같이 Semu값이 큰 얼룩일수록 얼룩 검출이 용이함을 나타낸다. 표 3의 종래의 방법의 얼룩과 배경의 명암 차이의 Semu 평가 결과는 명암 차이 5이고 본 발명의 실시예에 따른 방법은 명암 차이 4이므로 종래의 방법보다 향상된 결과를 나타내는 것을 확인할 수 있다.
한편, 표 3의 배경 이미지의 그레이 레벨 120~125에서 명암 차이 5에 대한 |Cx| 항목은 약 4.16으로 4에 근접한 값으로 예상하였으나, 종래의 방법의 Semu 평가 결과는 명암 차이 5에 대한 |Cx| 항목이 3.07로 3과 4정도의 Semu값으로 명암 차이 5에서 얼룩 검출이 제대로 되지 않았음을 알 수 있다.
명암 차이
Figure pat00027
(%)
Figure pat00028
(%)		 Semu 평가
10 8.1366 0.8958 9.0830 성공
9 7.3274 0.9080 8.0701 성공
8 6.5375 0.9056 7.2191 성공
7 5.7384 0.9034 6.3521 성공
6 4.9416 0.8990 5.4969 성공
5 4.1453 0.8978 4.6172 성공
4 3.3465 0.8972 3.7298 성공
3 2.8447 1.6414 1.7330 실패
2 2.8540 1.6414 1.7387 실패
1 2.8636 1.6414 1.7446 실패
명암 차이
Figure pat00029
(%)
Figure pat00030
(%)		 Semu 평가
10 8.32 0.88 9.3 성공
9 7.42 0.88 8.39 성공
8 6.61 0.88 7.48 성공
7 5.79 0.88 6.55 성공
6 4.78 0.88 5.39 성공
5 3.07 0.89 3.44 성공
4 0.52 1.22 0.43 실패
3 0.48 1.28 0.31 실패
2 0.37 1.28 0.29 실패
1 0.18 1.5 0.12 실패
이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.
100 : 영상 획득부 200 : 영상 처리부
210 : 전처리부 220 : 히스토그램 평활화부
300 : 영상 해석부 310 : 얼룩 후보 생성부
320 : 얼룩 검출부

Claims (10)

  1. 대상물의 이미지를 취득하는 영상 획득부,
    형태학적 영상 처리를 이용하여 상기 영상 획득부가 취득한 상기 이미지에서 조명 성분을 제거하는 전처리부와, 상기 전처리부에서 조명 성분이 제거된 이미지의 히스토그램을 획득한 후 히스토그램 평활화를 통해 전체 그레이 레벨로 확장시켜 이미지를 재구성하는 히스토그램 평활화부를 구비하는 영상 처리부 및
    상기 영상 처리부에서 변환된 상기 이미지에 가버 필터를 적용하여 얼룩 후보 영역을 구성하는 얼룩 후보 생성부와, 상기 얼룩 후보 생성부에서 구성된 얼룩 후보 영역에 레이블링을 이용하여 얼룩을 검출하는 얼룩 검출부를 구비하는 영상 해석부를 포함하는 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템.
  2. 청구항 제1항에서,
    상기 전처리부는,
    구조요소를 사용하는 열기 연산 및 닫기 연산을 이용하여 이미지에 적용시킴으로써 조명 성분을 추정하고, 상기 이미지로부터 상기 조명 성분을 차연산하여 조명 성분을 제거하는 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템.
  3. 청구항 제1항 또는 제2항에서,
    상기 히스토그램 평활화부는,
    상기 대상물의 이미지에 흰색 및 검은색 얼룩이 포함된 경우, 흰색 얼룩 이미지와 검은색 얼룩 이미지를 구분하여 검은색 얼룩은 히스토그램을 반전시킨 후 평활화를 수행하는 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템.
  4. 청구항 제1항에서,
    상기 얼룩 후보 생성부는,
    하기 수식 1의 실수 가버 필터링을 사용하는 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템.
    (수식 1)
    Figure pat00031

    단, 여기서
    Figure pat00032
    는 주파수,
    Figure pat00033
    는 회전각, u0는
    Figure pat00034
    , v0는
    Figure pat00035
    이다.
  5. 청구항 제1항에서,
    상기 얼룩 검출부는,
    상기 얼룩 후보 영역에 8-연결성을 이용하여 레이블링하고, 전체 레이블링 객체의 픽셀 수가 3픽셀 이하인 경우 얼룩이라 판단하지 않고 얼룩 후보에서 제외하며, 레이블링 객체의 각각에 대해 수식 2를 통해 얼룩인지 배경인지 판단하여 배경은 얼룩 후보에서 제외하는 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템.
    (수식 2)
    Figure pat00036
  6. 영상 획득부가 대상물 상면의 이미지를 획득하는 단계,
    전처리부가 형태학적 영상 처리를 이용하여 상기 영상 획득부가 취득한 상기 이미지에서 조명 성분을 제거하는 단계,
    히스토그램 평활화부가 상기 전처리부에서 조명 성분이 제거된 이미지의 히스토그램을 획득한 후 히스토그램 평활화를 통해 전체 그레이 레벨로 확장시켜 이미지를 재구성하는 단계,
    얼룩 후보 생성부가 상기 히스토그램 평활화부에서 재구성된 변환된 이미지에 가버 필터를 적용하여 얼룩 후보 영역을 구성하는 단계 및
    얼룩 검출부가 상기 얼룩 후보 생성부에서 구성된 얼룩 후보 영역에 레이블링을 이용하여 얼룩을 검출하는 단계를 포함하는 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 방법.
  7. 청구항 제6항에서,
    상기 조명 성분을 제거하는 단계는,
    구조요소를 사용하는 열기 연산 및 닫기 연산을 이용하여 이미지에 적용시킴으로써 조명 성분을 추정하는 단계 및
    상기 이미지로부터 상기 조명 성분을 차연산하여 조명 성분을 제거하는 단계를 포함하는 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 방법.
  8. 청구항 제6항 또는 제7항에서,
    상기 히스토그램 평활화를 통해 전체 그레이 레벨로 확장시켜 이미지를 재구성하는 단계는,
    상기 대상물의 이미지에 흰색 및 검은색 얼룩이 포함된 경우, 흰색 얼룩 이미지와 검은색 얼룩 이미지를 구분하여 검은색 얼룩은 히스토그램을 반전시킨 후 평활화를 수행하는 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 방법.
  9. 청구항 제6항에서,
    상기 얼룩 후보 영역을 구성하는 단계는,
    하기 수식 3의 실수 가버 필터링을 사용하는 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템.
    (수식 3)
    Figure pat00037

    단, 여기서
    Figure pat00038
    는 주파수,
    Figure pat00039
    는 회전각, u0는
    Figure pat00040
    , v0는
    Figure pat00041
    이다.
  10. 청구항 제6항에서,
    상기 얼룩을 검출하는 단계는,
    상기 얼룩 후보 영역에 8-연결성을 이용하여 레이블링하는 단계,
    전체 레이블링 객체의 픽셀 수가 3픽셀 이하인 경우 얼룩이라 판단하지 않고 얼룩 후보에서 제외하는 단계 및
    레이블링 객체의 각각에 대해 수식 4를 통해 얼룩인지 배경인지 판단하여 배경은 얼룩 후보에서 제외하는 단계를 포함하는 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 방법.
    (수식 4)
    Figure pat00042
KR1020140153068A 2014-11-05 2014-11-05 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템 및 방법 KR101677070B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140153068A KR101677070B1 (ko) 2014-11-05 2014-11-05 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140153068A KR101677070B1 (ko) 2014-11-05 2014-11-05 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20160054150A true KR20160054150A (ko) 2016-05-16
KR101677070B1 KR101677070B1 (ko) 2016-11-18

Family

ID=56108944

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140153068A KR101677070B1 (ko) 2014-11-05 2014-11-05 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101677070B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101899242B1 (ko) * 2017-03-27 2018-09-14 고려대학교 세종산학협력단 질감정보를 이용한 돈방의 배경 제거 방법 및 장치
KR20190119211A (ko) * 2018-03-30 2019-10-22 한국전력공사 인공지능을 이용한 고온부품 열화등급 판단 장치 및 그 방법
CN113838012A (zh) * 2021-09-13 2021-12-24 全芯智造技术有限公司 Mura检测方法及装置、计算机可读存储介质、终端
DE202022100786U1 (de) 2022-02-11 2022-03-03 Gaurav Kumar Arora Intelligentes System zur Erkennung bearbeiteter Bildern mit künstlicher Intelligenz und maschinellem Lernen

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220001125A (ko) 2020-06-29 2022-01-05 삼성전자주식회사 기판 불량 검출 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080098852A (ko) * 2007-05-07 2008-11-12 엘지전자 주식회사 얼룩 결함 검사 장치와 방법, 및 평판 디스플레이 패널의제조 방법
KR20110123512A (ko) 2010-05-07 2011-11-15 울산대학교 산학협력단 부분 이미지 추출기 및 그 부분 이미지 추출 방법
KR20140006582A (ko) 2012-07-06 2014-01-16 엘지디스플레이 주식회사 표시패널의 얼룩 검사 장치 및 그 방법
KR20140062993A (ko) * 2012-11-15 2014-05-27 엘지디스플레이 주식회사 표시장치의 얼룩 검출 장치 및 방법
KR20140073259A (ko) * 2012-12-06 2014-06-16 엘지디스플레이 주식회사 표시장치의 얼룩 검출 장치 및 방법
KR20140087606A (ko) * 2012-12-31 2014-07-09 엘지디스플레이 주식회사 평판디스플레이의 얼룩 검사 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080098852A (ko) * 2007-05-07 2008-11-12 엘지전자 주식회사 얼룩 결함 검사 장치와 방법, 및 평판 디스플레이 패널의제조 방법
KR20110123512A (ko) 2010-05-07 2011-11-15 울산대학교 산학협력단 부분 이미지 추출기 및 그 부분 이미지 추출 방법
KR20140006582A (ko) 2012-07-06 2014-01-16 엘지디스플레이 주식회사 표시패널의 얼룩 검사 장치 및 그 방법
KR20140062993A (ko) * 2012-11-15 2014-05-27 엘지디스플레이 주식회사 표시장치의 얼룩 검출 장치 및 방법
KR20140073259A (ko) * 2012-12-06 2014-06-16 엘지디스플레이 주식회사 표시장치의 얼룩 검출 장치 및 방법
KR20140087606A (ko) * 2012-12-31 2014-07-09 엘지디스플레이 주식회사 평판디스플레이의 얼룩 검사 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101899242B1 (ko) * 2017-03-27 2018-09-14 고려대학교 세종산학협력단 질감정보를 이용한 돈방의 배경 제거 방법 및 장치
KR20190119211A (ko) * 2018-03-30 2019-10-22 한국전력공사 인공지능을 이용한 고온부품 열화등급 판단 장치 및 그 방법
CN113838012A (zh) * 2021-09-13 2021-12-24 全芯智造技术有限公司 Mura检测方法及装置、计算机可读存储介质、终端
DE202022100786U1 (de) 2022-02-11 2022-03-03 Gaurav Kumar Arora Intelligentes System zur Erkennung bearbeiteter Bildern mit künstlicher Intelligenz und maschinellem Lernen

Also Published As

Publication number Publication date
KR101677070B1 (ko) 2016-11-18

Similar Documents

Publication Publication Date Title
KR101635461B1 (ko) 웨이블릿 변환에서 마스크 필터링을 이용한 얼룩 결함 자동 검출 시스템 및 방법
CN108460757B (zh) 一种手机TFT-LCD屏Mura缺陷在线自动检测方法
CN109816678B (zh) 一种基于视觉的喷嘴雾化角度自动检测系统及方法
KR101677070B1 (ko) 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템 및 방법
WO2017067342A1 (zh) 板卡位置检测方法及装置
CN115908269B (zh) 视觉缺陷检测方法、装置、存储介质和计算机设备
KR20160006852A (ko) 비전 검사 장치 및 이의 얼룩 검출 방법
Ngo et al. A new algorithm on the automatic TFT‐LCD mura defects inspection based on an effective background reconstruction
KR102242996B1 (ko) 자동차 사출제품의 비정형 불량 검출 방법
CN111242888A (zh) 一种基于机器视觉的图像处理方法及系统
JP5088165B2 (ja) 欠陥検出方法および欠陥検出装置
KR101966075B1 (ko) 표시장치의 얼룩 검출 장치 및 방법
KR20190023374A (ko) 디스플레이 패널 검사 방법
KR101608843B1 (ko) 개선된 베버의 법칙을 이용한 얼룩 결함 자동 검출 시스템 및 방법
JP4320990B2 (ja) 画面欠陥検出方法及び装置並びに画面欠陥検出のためのプログラム
KR20160097651A (ko) 유효화 영상처리기법을 이용한 시료의 패턴 검사 장치 및 방법, 그리고 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
Chen et al. An effective image segmentation method for noisy low-contrast unbalanced background in Mura defects using balanced discrete-cosine-transfer (BDCT)
WO2022153852A1 (ja) 画像解析装置、画像解析方法及びプログラム
KR101993654B1 (ko) 표시패널의 얼룩 검사 장치 및 그 방법
Di Leo et al. Online visual inspection of defects in the assembly of electromechanical parts
JP4115378B2 (ja) 欠陥検出方法
Shreya et al. Design of machine vision system for high speed manufacturing environments
JP5452035B2 (ja) 欠陥検査方法および欠陥検査装置
KR20140082335A (ko) 평판디스플레이의 얼룩 검사 방법 및 장치
KR20220154345A (ko) 가우시안 가중치 최소 자승법을 이용하는 영상 처리 장치 및 그것의 윤곽선 검출 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191105

Year of fee payment: 4