KR100779312B1 - 결함 검출 장치, 이미지 센서 디바이스, 이미지 센서 모듈,화상 처리 장치, 디지털 화상 품질 테스터, 및 결함 검출방법 - Google Patents

결함 검출 장치, 이미지 센서 디바이스, 이미지 센서 모듈,화상 처리 장치, 디지털 화상 품질 테스터, 및 결함 검출방법 Download PDF

Info

Publication number
KR100779312B1
KR100779312B1 KR1020060094105A KR20060094105A KR100779312B1 KR 100779312 B1 KR100779312 B1 KR 100779312B1 KR 1020060094105 A KR1020060094105 A KR 1020060094105A KR 20060094105 A KR20060094105 A KR 20060094105A KR 100779312 B1 KR100779312 B1 KR 100779312B1
Authority
KR
South Korea
Prior art keywords
block
image
defect
defect detection
area
Prior art date
Application number
KR1020060094105A
Other languages
English (en)
Other versions
KR20070035452A (ko
Inventor
도시마사 구찌이
히데유끼 이찌하라
Original Assignee
샤프 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 샤프 가부시키가이샤 filed Critical 샤프 가부시키가이샤
Priority to KR1020060094105A priority Critical patent/KR100779312B1/ko
Publication of KR20070035452A publication Critical patent/KR20070035452A/ko
Application granted granted Critical
Publication of KR100779312B1 publication Critical patent/KR100779312B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

결함 검출 장치는, 결함 영역을 검출하는 대상으로 되는 피검사 화상을, 복수의 블록으로 분할하는 블록 분할부와, 블록 분할부에 의해 분할된 각 블록에 대해서, 블록 내에 존재하는 화소의 화소 데이터를 가산한 값인 블록 가산값을 산출하는 블록 가산값 산출부와, 블록 가산값의 범위 외 값이 있는지의 여부를 통계적 처리에 의해 판정함으로써 결함 영역의 유무를 판정하는 통계 처리부 및 양부 판정부를 구비하고 있다. 이에 의해, 디지털 화상에서의 결함 영역의 유무를, 단시간에 또한 컴팩트한 회로 구성으로 판정한다.
결함 검출 장치, 화상 축소부, 점 결함 제거부, 필터링부, 블록 분할부, 통계 처리부, 양부 판정부, n×m 라플라시안 필터

Description

결함 검출 장치, 이미지 센서 디바이스, 이미지 센서 모듈, 화상 처리 장치, 디지털 화상 품질 테스터, 및 결함 검출 방법{DEFECT DETECTING DEVICE, IMAGE SENSOR DEVICE, IMAGE SENSOR MODULE, IMAGE PRECESSING DEVICE, DIGITAL IMAGE QUALITY TESTER, AND DEFECT DETECTING METHOD}
도 1은 본 발명의 결함 검출 장치의 일 실시예에 따른 구성을 도시하는 블록도.
도 2는 본 발명의 결함 검출 방법의 일 실시예를 도시하는 플로우차트.
도 3은 도 1의 결함 검출 장치가 이용하는 n×m 라플라시안 필터의 일 구성예를 도시하는 도면.
도 4는 도 1의 결함 검출 장치가 이용하는 9×9 라플라시안 필터의 일 구성예를 도시하는 도면.
도 5는 도 4의 9×9 라플라시안 필터에 이용되는 연산식을 도시하는 도면.
도 6의 (a)는, 도 4의 9×9 라플라시안 필터에 의한 필터링 처리를 2단계로 나누어 실행할 때에 이용하는 제1 필터의 구성예를 도시하는 도면이고, 도 6의 (b)는, 도 4의 9×9 라플라시안 필터에 의한 필터링 처리를 2단계로 나누어 실행할 때에 이용하는 제2 필터의 구성예를 도시하는 도면.
도 7은 도 6에 도시하는 제1 필터 및 제2 필터에 대해서 이용되는 연산식을 도시하는 도면.
도 8은, 도 1의 결함 검출 장치에 의해 피검사 화상을 복수의 블록으로 분할한 상태를 도시하는 도면.
도 9는 도 1의 결함 검출 장치의 블록 가산값 산출부가 블록 가산값을 구하기 위해 이용하는 연산식을 도시하는 도면.
도 10의 (a)는, 스폿 결함이 블록의 경계에 걸치도록 분포해서 발생하고 있는 상태를 도시하는 도면이고, 도 10의 (b)는, 도 1의 블록 분할부에 의해 서로 이웃하는 블록끼리를 중첩하도록 분할하는 상태를 도시하는 도면.
도 11은 도 1의 결함 검출 장치의 블록 가산값 산출부에 의해 구해지는 블록 가산값의 분포를 도시하는 히스토그램의 일례.
도 12는 도 1의 결함 검출 장치에서의 양부 판정부가, 피검사 화상으로부터 생성되는 블록마다 양부 판정을 행하는 경우의 플로우차트.
도 13은 도 1의 결함 검출 장치에서의 양부 판정부가, 블록 가산값의 최대값에 기초하여 양부 판정을 행하는 경우의 플로우차트.
도 14의 (a)는 피검사 화상의 일례를 도시하는 도면이고, 도 14의 (b)는 도 14의 (a)의 A부분을 확대한 화상의 도면이며, 도 14의 (c)는 도 14의 (b)의 A부분에서의 화소 데이터를 3차원적으로 표시한 그래프.
도 15의 (a)는 도 14의 (b)에 도시하는 화상에 대하여, 9×9 라플라시안 필터에 의한 필터링 처리를 실행한 후의 화상도이고, 도 15의 (b)는 도 15의 (a)에 도시하는 화상의 화소 데이터를 3차원적으로 표시한 그래프.
도 16의 (a)는 도 15의 (a)에 도시하는 화상의 블록 가산값을 구한 후의 화상을 도시하는 도면이고, 도 16의 (b)는 도 16의 (a)에 도시하는 화상에서의 블록 가산값을, 3차원적으로 표시한 그래프이며, 도 16의 (c)는 도 16의 (b)에 도시하는 화상의 결함 영역을 추출한 상태를 도시하는 도면.
도 17의 (a)는 도 14의 (a)에 도시하는 피검사 화상에 대하여, 본 발명의 결함 검출 방법에 의해 구해진 블록 가산값의 분포를 도시하는 히스토그램이고, 도 17의 (b)는 도 17의 (a)의 히스토그램을 통계 처리하여, 블록 가산값에 관한 최소값, 최대값, 평균값, 표준 편차를 구한 결과를 도시하는 도면이며, 도 17의 (c)는 도 17의 (b)에 도시하는 통계 처리의 결과에 기초하여 설정된 판정 임계값을 도시하는 도면.
도 18은 도 1의 결함 검출 장치를 이용하는 이미지 센서 디바이스의 검사 시스템의 구성예를 도시하는 도면.
도 19는 도 1의 결함 검출 장치를 이용하는 이미지 센서 디바이스의 검사 시스템에 관계되는 다른 구성예를 도시하는 도면.
도 20은 도 1의 결함 검출 장치를 이용하는 이미지 센서 디바이스의 검사 시스템에 관계되는 또 다른 구성예를 도시하는 도면.
도 21은 디지털 화상에 발생하는 「점 결함」, 「스폿 결함」, 및 「얼룩 결함」을 모식적으로 도시한 도면.
도 22는 디지털 화상에 발생하는 셰이딩을 도시하는 도면.
도 23은 종래의 결함 검출 방법을 도시하는 플로우차트.
도 24의 (a)는, 평활화 필터의 일례를 도시하는 도면이고, 도 24의 (b)는 라플라시안 필터의 일례를 도시하는 도면.
도 25는 도 24의 (a) 및 도 24의 (b)에 도시한 필터에 이용되는 연산식을 도시하는 도면.
도 26은 팽창·수축 처리에 의해, 2치화 처리 후의 피검사 화상(150)으로부터 노이즈가 제거될 때까지의 과정을 설명하기 위한 도면.
도 27은 종래의 결함 검출 방법에 이용되는 라벨링 처리를 설명하기 위한 도면.
<도면의 주요 부분에 대한 부호의 설명>
1 : 결함 검출 장치
2 : 화상 축소부
3 : 점 결함 제거부
4 : 필터링부
5 : 블록 분할부
6 : 블록 가산값 산출부
7 : 통계 처리부
8 : 양부 판정부
9 : 메모리
10 : n×m 라플라시안 필터
10a~10i : 블록
11a~11i : 블록
12, 13 : 필터
20, 100 : 피검사 화상
110 : 점 결함
120 : 스폿 결함
140 : 셰이딩
[비특허 문헌] 플랫 패널 디스플레이의 화질 검사 알고리즘(요코가와 기보 Vol.47 No.3, 2003)」
본 발명은, 디지털 화상에서의 결함 영역의 유무를 단시간에 판정할 수 있음과 함께, 컴팩트한 회로 구성으로 실현할 수 있는 결함 검출 장치, 이미지 센서 디바이스, 이미지 센서 모듈, 화상 처리 장치, 디지털 화상 품질 테스터, 결함 검출 방법, 결함 검출 프로그램, 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다. 또한, 본 발명에 따르면, 디지털 화상에서의 결함 영역의 유무를, 단시간에 또한 컴팩트한 회로 구성으로 판정할 수 있다. 특히, 본 발명은, 고품질화가 요구되고 있는 이미지 센서 디바이스의 품질 검사에 적합하다. 또한, 본 발명은, 이미지 센서 디바이스의 출력 화상뿐만 아니라, 액정 패널을 대표하는 플랫 패널에 표시되는 디 지털 화상의 검사에도 응용이 가능하다.
디지털 화상의 품질을 검사할 때, 화소 데이터가 불균일하게 변화되는 영역인 결함 영역의 유무를 판정하는 것은 매우 중요하다. 특히 최근에는, 디지털 스틸 카메라나 카메라 내장 휴대 전화 등, 이미지 센서 디바이스의 수요의 저변이 확대되고 있다. 그것에 수반하여, 이미지 센서 디바이스의 고품질화가 크게 요구되고 있어, 이미지 센서 디바이스로부터 얻어지는 디지털 화상(이미지 센서 화상)에 발생하는 결함 영역으로서, 스폿 결함·얼룩 결함을 검사 공정에서 검출하는 것에의 요구가 높아지고 있다.
즉, 이미지 센서 디바이스는 양품이어도, 화소 좌표에 대하여 화소 데이터(화소값)가 완만하게 변화되고 있는 셰이딩이라는 성분과, 노이즈 성분에 의해서, 화상 데이터가 일정값으로 되는 일은 없다. 특히, 이미지 센서 화상에서 점 결함이나, 스폿 결함·얼룩 결함이 존재하면, 각각의 결함에 따라 화소 데이터가 복잡하게 변화된다. 이러한 관점으로부터, 스폿 결함·얼룩 결함을 검사할 필요가 있다.
또한, 이미지 센서 디바이스의 화소수가 증가하고 있음에도 불구하고, 휴대 전화 등 제품 사이클이 짧은 것에 대해서는, 디바이스 납기가 짧게 되어 있기 때문에, 검사 시간의 단축화가 강하게 요구되고 있다.
종래, 이미지 센서 화상의 스폿 결함·얼룩 결함의 검사는 검사원의 육안에 의해 행하여지고 있는데, 검사원의 주관적 판단에 의존한 검사로 되기 때문에, 검사원 간의 검사 기준의 변동이나, 검사 시의 몸 상태에 따라, 검사 결과가 일정하 게 되지 않는다고 하는 문제나, 스폿 결함·얼룩 결함의 정량화가 어렵다고 하는 문제가 있다. 그래서, 최근에는, 스폿 결함·얼룩 결함을 정량화하여, 그들을 검출하는 검사 장치가 개발되어 있고 자동화도 진행되기 시작하고 있다.
여기에서, 「스폿 결함」 「얼룩 결함」의 의미에 대해서 설명해 둔다. 또한, 이미지 센서 화상에 발생하는 「점 결함」에 대해서도 설명한다.
「점 결함 」이란, 이미지 센서 화상에서의 1개의 화소 데이터가, 그 주위의 화소 데이터에 비하여, 현저하게 큰 차가 있어 돌출된 값으로 되는 상태를 의미한다. 또한, 「스폿 결함 」이란, 임의의 영역에서의 복수의 화소 데이터의 각각이, 주위의 화소 데이터에 대하여, 점 결함에서의 차분보다도 작은 차가 있는 상태를 의미한다. 또한, 「얼룩 결함 」이란, 스폿 결함의 화소보다도 더 화소 데이터 차가 작은 복수의 화소가, 스폿 결함보다도 넓은 영역에 모인 상태를 의미한다.
상술한 「점 결함」, 「스폿 결함」, 및 「얼룩 결함」을 모식적으로 도시한 것이 도 21이다. 도 21에 도시하는 바와 같이, 피검사 화상(100) 내에서는, 점 결함(110)이 면적이 작은 부분으로서 발생하고, 스폿 결함(120)의 면적이 약간 큰 부분으로서 발생하며, 얼룩 결함(130)이 면적이 큰 부분으로서 발생하고 있다. 또한, 「피검사 화상 」이란, 스폿 결함이나 얼룩 결함을 검출하기 위해 취득되는 이미지 센서 화상의 샘플을 의미한다.
다음으로, 「셰이딩」의 의미에 대해서 설명한다. 「셰이딩」이란, 얼룩 결함보다도 더 넓은 영역에서 화소 데이터가 완만하게 변화하여, 이미지 센서 화상의 상하 좌우의 종단 부분을 향해서 화소 데이터가 작아져 가는 상태를 의미한다. 셰 이딩은, 화상 중앙의 화소에 대하여, 화상단의 화소의 감도 저하가 원인으로 발생하는 것이다.
예를 들면, 피검사 화상(100)이 도 22에 도시하는 바와 같이 얻어져 있고, 이 피검사 화상(100) 내에, 스폿 결함(120)이 발생하고 있다. 이 때, 도 22에 도시하는 바와 같이, 셰이딩(140)은, 피검사 화상(100)의 상하 좌우의 종단 부분을 향해서 화소 데이터가 작아져 가는 부분으로서 발생한다.
그런데, 상술한 바와 같이, 최근에는, 스폿 결함·얼룩 결함을 정량화하여, 그들을 검출하는 검사 장치가 개발되어 있고 자동화도 진행되기 시작하고 있다. 그 기술의 일례로서, 비특허 문헌에 기재된 기술을 들 수 있다.
상기 비특허 문헌에 기재된 기술은, 도 23의 플로우차트에 도시하는 바와 같이, 크게 구별하면 결함 현재화 처리(스텝 100, 이하 간단히 스텝을 「S」로 기재함), 및 결함 영역 추출 처리(S200)의 2공정으로 이루어진다. 또한, 도 23의 플로우에 의해 스폿 결함이나 얼룩 결함이 판정되는 피검사 화상은, 휘도 변화 및 색 변화가 없는 백색 광 혹은 단색 광을, 이미지 센서 디바이스에 조사함으로써 얻어진 화상이다.
결함 현재화 처리(S100)는, 피검사 화상에서의 스폿 결함·얼룩 결함을 현재화시키기 위해서, 셰이딩 성분, 노이즈 성분, 및 점 결함 성분의 제거의 필터를 이용하는 처리이다. 구체적으로 설명하면, 결함 현재화 처리는, 도 23에 도시하는 바와 같이, 화상 축소 처리(S110)와, 셰이딩 보정 처리(S120)와, 평활화 필터를 이용하는 노이즈 제거 처리(S130), 점 결함 제거 필터를 이용하는 점 결함 제거 처 리(S140)와, 라플라시안 필터를 이용하는 엣지 검출 처리(S150)로 이루어진다. 이들 결함 현재화 처리(S100)를 구성하는 각 처리의 상세에 대해서는, 후술한다.
결함 영역 추출 처리(S200)는, 화소 데이터를 2치화하는 처리(S210)와, S210에서 2치화된 피검사 화상에 대하여 요철 노이즈 제거를 행하는 처리(S220)와, 결함 영역의 후보에 식별 번호를 붙이는 처리(S230, 라벨링 처리라고도 함)와, S230에서 식별 번호가 부여된 모든 개소에 대하여 특징량(스폿 면적이나 콘트라스트, 휘도 구배 등)을 계산하는 처리(S240)와, S240에서 계산된 특징량에 기초하여, 결함 후보의 양부 판정을 행하는 처리(S250)로 이루어진다. 이들 결함 영역 추출 처리(S200)를 구성하는 각 처리의 상세에 대해서는, 후술한다.
다음으로, 상술한 결함 현재화 처리(S100) 및 결함 영역 추출 처리(S200)를 구성하는 각 처리의 상세 내용을, 순서대로 설명한다.
화상 축소 처리(S110)는, 화상의 종횡 사이즈를 작게 하는 처리이다. 이에 의해, 피검사 화상의 데이터량이 삭감됨과 함께, 스폿 결함·얼룩 결함을 강조시킬 수 있다.
셰이딩 보정 처리(S120)는, 셰이딩 성분을 피검사 화상으로부터 제거하기 위해, 셰이딩에 의한 화소 데이터의 저하를, 각 화소 데이터를 가공함으로써 보정하는 처리이다. 셰이딩 보정 처리는, 예를 들면, 주목 화소를 중심으로 하는 3×3 화소의 매트릭스 내에 존재하는 9화소에 대해서, 화소 데이터의 평균값을 구하고, 주목 화소의 화소 데이터를 해당 평균값으로 제산한 값을 주목 화소의 화소 데이터로 함으로써 행하여진다.
노이즈 제거 처리(S130)는, 예를 들면 평활화 필터를 사용함으로써 피검사 화상의 노이즈를 제거하는 처리이다. 여기에서, 평활화 필터란, 화상의 고주파 성분이 컷트되어 노이즈를 제거할 수 있는 필터를 의미한다. 예를 들면, 도 24의 (a)에 도시하는 바와 같이, 주목 화소를 중심으로 한 3×3 영역의 9개의 화소 데이터의 평균값을 구하고, 이 평균값을 주목 화소의 화소 데이터로 하는 필터가 평활화 필터에 상당한다.
점 결함 제거 처리(S140)는, 점 결함 제거 필터를 이용하여, 피검사 화상에서의 점 결함을 제거하는 처리를 의미한다. 여기에서, 점 결함 제거 필터란, 예를 들면, 주목 화소를 중심으로 하는 3×3 영역의 9개의 화소에 대해서, 화소 데이터의 중앙값, 최대값, 최소값을 구하여, 주목 화소의 화소 데이터가 최대값(최소값)이면, 주목 화소의 화소 데이터를 중앙값으로 치환하는 필터를 의미한다.
엣지 검출 처리(S150)는, 예를 들면 라플라시안 필터를 이용하여 스폿 결함·얼룩 결함의 엣지를 현재화하는 처리이다. 여기에서, 라플라시안 필터란, 화상의 농담 변화의 엣지를 추출하기 위한 필터이다. 즉, 도 24의 (b)에 도시하는 바와 같이, 주목 화소의 화소 데이터를 4배한 값으로부터, 상하 좌우의 화소(4근방의 화소)의 화소 데이터를 빼고, 그것을 주목 화소의 화소 데이터로 하는 필터가, 라플라시안 필터에 상당한다.
또한, 도 24의 (a) 및 도 24의 (b)에 도시한 필터에 이용되는 연산식을, 도 25에 도시한다. 일반적으로 필터 처리를 행하는 경우, 처리 가능한 화상의 범위를 고려하는 것이 필요하다. 예를 들면, 사이즈가 3×3인 필터는, 서로 이웃하는 화 소가 존재하지 않는 화상단의 화소에 대해서는 처리할 수 없으므로, 각 화소를 주사하기 위한 루프의 초기값과 최종값에 주의가 필요로 된다.
2치화 처리(S210)는, 피검사 화상의 화소 데이터를, 소정의 임계값과 대소 판단해서 「0」 또는 「1」의 2치 데이터로 변환하는 처리이다. 그 목적은, 정보량 감소와, 기하학적인 형상 추출·면적 계산을 용이하게 하는 것에 있다. 또한, 2치 데이터가 「1」 또는 「0」 중 어느 쪽인지를 판단하기 위한 임계값은, 화상 전체면에 대해서 일정값, 혹은 영역마다 설정한다.
그리고, S210의 2치화 처리에서 2치화된 피검사 화상의 요철 노이즈가, S220의 노이즈 제거 처리에서 제거된다. 해당 노이즈 제거 처리는, 팽창·수축 처리 및 고립점 제거 등에 의해 행하여진다.
여기에서, 팽창·수축 처리에 대해서 설명한다. 팽창·수축 처리란, 2치 화상에서, 주목 도형의 주위에 존재하는 미소한 요철의 노이즈를 소거하기 위한 화상 처리 방법이다. 특히, 팽창 처리에서는, 주목 화소의 근방에 존재하는 화소(근방 화소) 중, 1개라도 화소 데이터가 「1」인 화소가 있으면, 주목 화소의 화소 데이터를 「1」로 한다. 또한, 수축 처리에서는, 근방 화소 중 1개라도 화소 데이터가 「0」인 화소가 있으면, 그 주목 화소의 화소 데이터를 「0」으로 한다. 또한, 팽창 처리 및 수축 처리는, 조합해서 사용되는 경우가 많다. 팽창 처리→수축 처리라고 하는 과정에 의해, 도형 중의 작은 오목 노이즈가 소거되고, 수축 처리→팽창 처리라고 하는 과정에 의해, 작은 볼록 노이즈가 소거된다.
도 26을 이용하여, 팽창·수축 처리에 의해, 2치화 처리 후의 피검사 화 상(150)으로부터 노이즈가 제거될 때까지의 과정에 대해서 설명한다. 우선, 피검사 화상(150)에서, 3개의 노이즈 화소(151)가 존재하는 것으로 한다. 이 노이즈 화소(151)는, 피검사 화상(150)에 대하여 수축 처리를 실시한 피검사 화상(152)에 대하여, 다시 팽창 처리를 실시해서 피검사 화상(153)으로 하는 과정에서, 제거된다. 또한, 도 26에서는, 화소 데이터가 「1」인 화소를 흰색의 사각으로 나타내고 있으며, 화소 데이터가 「0」인 화소를 해칭된 사각으로 나타내고 있다.
또한, 고립점 제거 처리란, 예를 들면, 2치 화상에서, 주목 화소의 화소 데이터가 0(1)이고 그 주변의 8화소의 화소 데이터가 1(0)인 경우, 그 주목 화소의 화소 데이터를 주변 8화소의 화소 데이터와 치환하는 처리를 의미한다.
다음으로, S230의 라벨링 처리에 대해서 설명한다. 라벨링 처리란, 화상 중의 연속된 도형을 그룹으로 나누고, 식별 번호를 붙이는 처리를 의미한다. 라벨링 처리는, 통상적으로, 화상의 전체 화소를 스캔하면서, 각 화소의 연결 상태를 판단하면서, 각 화소에 라벨 번호를 붙임으로써 행하여진다. 또한, 라벨링 처리에서는, 다른 그룹이 속하는 것과 스캔 초기에 판단된 도형이, 스캔 후에 연속된 1개의 도형이라고 판명하는 경우가 있으므로, 라벨링 처리는 통상 축차형으로 행할 필요가 있다.
예를 들면, 도 27에 도시하는 바와 같이, 피검사 화상(160)의 화소 데이터가 설정되어 있었던 것으로 한다. 이 경우, 피검사 화상(160) 내에는, 화소 데이터 「1」이 연속되는 부분으로서, 도형(161, 162, 163)이라는 3개의 도형이 존재한다. 이 피검사 화상(160)에 대하여 라벨링 처리를 행하면, 도 27에 도시하는 바와 같 이, 도형(161, 162, 163)의 각각에 대하여, 식별 번호 a, b, c 중 어느 하나가 부여된다.
상술한 라벨링 처리가 종료하면, 식별 번호가 부여된 모든 개소에 대하여 특징량(스폿 면적이나 콘트라스트, 휘도 구배 등)이 계산되고(S240), S240에서 계산된 특징량에 기초하여, 결함 후보의 양부 판정이 행하여진다(S250).
예를 들면 도 27에 도시하는 바와 같이 피검사 화상에 대하여 라벨링 처리가 행하여지면, 도형(161, 162, 163)이 결함 후보로 된다. 이 결함 후보의 각각에 대하여, S240에서는 특징량을 계산한다. 예를 들면, 특징량으로서의 스폿 면적은, 화소 데이터가 「1」인 화소수를 세는 것에 의해 구해진다.
그러나, 상기 비특허 문헌에 기재된 종래 기술에서는, 이미지 센서 화상의 화소수가 커짐에 따라서, 스폿 결함·얼룩 결함을 현재화시키는 복수회의 필터 처리, 식별 번호 부여 처리의 시간이 방대해지고, 그 결과, 이미지 센서 디바이스의 테스트 시간이 장대해진다는 과제가 있다.
또한, 양부 판정을 위한 특징량인 콘트라스트나 휘도 구배 등을 계산하기 위해, 원 화상 혹은 축소 화상이 필요하게 되어, 그것을 기억해 두는 메모리를 위해 회로 구성이 커지게 된다는 과제가 있다.
또한, 회로 구성이 커지게 된다는 과제는, 이하의 원인에 의해서도 발생한다. 즉, 종래 기술에서는, 스폿 결함·얼룩 결함을 검출하기 위해, 복수회의 필터 처리를 행하고 있다. 따라서, 이미지 센서 디바이스나 이미지 센서 모듈 내부의 DSP부, 또는 화상 처리 전용 장치로서의 하드웨어에, 종래의 화상 처리 방법을 실 장하면, 하드웨어의 회로 구성이 커지게 된다.
상술한 2개의 과제, 즉 (1) 이미지 센서 디바이스의 테스트 시간이 장대해진다, (2) 회로 구성이 커진다고 하는 과제는, 상기 비특허 문헌에 기재된 종래 기술을 이미지 센서 화상의 검사에 적용한 경우에 한하지 않고, 일반적인 디지털 화상에 결함 영역이 있는지 검사하기 위해 이용하는 경우에도 발생한다. 즉, 상기 비특허 문헌에 기재된 종래 기술을 이용하여, 일반적인 디지털 화상에 결함 영역이 있는지의 여부를 검사하면, (1) 결함 영역의 유무의 판정 시간이 길어지고, (2) 회로 구성이 커진다고 하는 2개의 과제가 발생한다.
본 발명의 목적은, 디지털 화상에서의 결함 영역의 유무를 단시간에 판정할 수 있음과 함께, 컴팩트한 회로 구성으로 실현할 수 있는 결함 검출 장치, 이미지 센서 디바이스, 이미지 센서 모듈, 화상 처리 장치, 디지털 화상 품질 테스터, 결함 검출 방법, 결함 검출 프로그램, 및 컴퓨터 판독 가능한 기록 매체를 제공하는 것에 있다.
본 발명의 결함 검출 장치는, 상기한 목적을 달성하기 위해, 자신의 주위의 영역에 비해서 화소 데이터가 불균일하게 변화되는 영역인 결함 영역을, 디지털 화상 내로부터 검출하는 결함 검출 장치로서, 상기 결함 영역을 검출하는 대상으로 되는 피검사 화상을, 복수의 블록으로 분할하는 블록 분할부와, 상기 블록 분할부에 의해 분할된 각 블록에 대해서, 블록 내에 존재하는 화소의 화소 데이터를 가산 한 값인 블록 가산값을 산출하는 블록 가산값 산출부를 구비하며, 상기 블록 가산값의 범위 외 값이 있는지의 여부를 통계적 처리에 의해 판정함으로써 상기 결함 영역의 유무를 판정하는 결함 영역 유무 판정부에 대하여, 상기 블록 가산값을 출력한다.
상기한 발명에 따르면, 블록 분할부에 의해 분할된 각 블록에 대해서, 블록 내에 존재하는 화소의 화소 데이터를 가산한 값인 블록 가산값에 기초하여, 결함 영역의 유무가 결함 영역 유무 판정부에서의 통계적 처리에 의해 판정된다.
여기에서, 「결함 영역」이란, 이미지 센서 디바이스로부터 얻어지는 디지털 화상이나, 액정 표시 장치 등의 디지털 화상 표시 장치에 표시되는 디지털 화상에 발생하는, 스폿 결함이나 얼룩 결함이 상당한다. 또한, 「통계적 처리」란, 일반적인 통계 해석에서의 범위 외 값 검정 처리를 의미한다.
그리고, 본 발명에서는, 블록 분할을 행함으로써, 결함 영역의 유무를 판정하기 위해서 필요한 데이터량을 삭감할 수 있으므로, 결함 영역의 유무의 판정을 단시간에 행할 수 있다.
또한, 결함 영역의 유무를 판정하기 위해 결함 영역 유무 판정부가 이용하는 블록 가산값은, 피검사 화상이나 그 축소 화상을 메모리에 기억해 두는 일없이 구해지는 것이다. 따라서, 본 발명의 결함 검출 장치를 하드웨어에 실장하였을 때의 회로 구성을 컴팩트하게 할 수 있다.
본 발명의 디지털 화상 품질 테스터는, 상기한 목적을 달성하기 위해, 자신의 주위의 영역에 비해서 화소 데이터가 불균일하게 변화되는 영역인 결함 영역을, 디지털 화상 내로부터 검출하는 결함 검출 장치에 외부 접속되어 있는 디지털 화상 품질 테스터로서, 상기 결함 검출 장치는, 상기 결함 영역을 검출하는 대상으로 되는 피검사 화상을, 복수의 블록으로 분할하는 블록 분할부와, 상기 블록 분할부에 의해 분할된 각 블록에 대해서, 블록 내에 존재하는 화소의 화소 데이터를 가산한 값인 블록 가산값을 산출하는 블록 가산값 산출부를 구비하는 것이며, 상기 블록 가산값 산출부로부터 입력되는 상기 블록 가산값을 통계적으로 처리하여, 블록 가산값의 범위 외 값이 있는지를 판정함으로써, 상기 결함 영역의 유무를 판정하는 결함 영역 유무 판정부를 구비하고 있다.
상기한 발명에 따르면, 블록 분할부에 의해 분할된 각 블록에 대해서, 블록 내에 존재하는 화소의 화소 데이터를 가산한 값인 블록 가산값에 기초하여, 결함 영역의 유무가 결함 영역 유무 판정부에서의 통계적 처리에 의해 판정된다.
그리고, 본 발명에서는, 블록 분할을 행함으로써, 결함 영역의 유무를 판정하기 위해 필요한 데이터량을 삭감할 수 있으므로, 결함 영역의 유무의 판정을 단시간에 행할 수 있다.
또한, 결함 영역의 유무를 판정하기 위해 결함 영역 유무 판정부가 이용하는 블록 가산값은, 피검사 화상이나 그 축소 화상을 메모리에 기억해 두는 일없이 구해지는 것이다. 따라서, 본 발명의 결함 검출 장치를 하드웨어에 실장하였을 때의 회로 구성을 컴팩트하게 할 수 있다.
본 발명의 결함 검출 장치는, 상기한 목적을 달성하기 위해, 자신의 주위의 영역에 비해서 화소 데이터가 불균일하게 변화되는 영역인 결함 영역을, 디지털 화 상 내로부터 검출하는 결함 검출 장치로서, (n/3)×(m/3)의 사이즈를 갖는 블록이, 9개 집합함으로써 구성되는 필터이며(n, m은 화소수로 3의 배수), 상기 (n/3)×(m/3)의 사이즈를 갖는 블록의 각각이 화소 데이터를 적분하는 것으로서 구성되며, 또한, 2차 미분을 행하는 하이패스 필터로서 구성되는 n×m 라플라시안 필터를 이용하여, 상기 결함 영역을 검출하는 대상으로 되는 피검사 화상에서의 상기 결함 영역을 현재화시키는 필터링 처리부를 구비하고 있다.
종래 기술에서는, 결함 영역을 검출할 때, 우선, 셰이딩 제거 처리, 노이즈 성분 제거 처리, 및 엣지 검출 처리를 실행함으로써, 결함 영역을 현재화시키는 것이 행하여졌다. 그러나, 이들 처리에서는, 복수회의 필터 처리를 행하므로, 종래 기술의 화상 처리 방법을 실장하면, 결함 영역의 유무의 판정 시간이 길어짐과 함께, 하드웨어의 회로 구성이 커지게 된다.
그러나, 상기한 발명에 따르면, n×m 라플라시안 필터가 2차 미분을 행하는 하이 패스 필터로서 구성되어 있다. 따라서, 셰이딩 성분보다 고차의 엣지를 검출할 수 있음과 함께, 셰이딩 성분 자체는 제거할 수 있다.
또한, n×m 라플라시안 필터는, (n/3)×(m/3)의 사이즈를 갖는 블록이, 9개 집합함으로써 구성되어 있다. 이 (n/3)×(m/3)의 사이즈를 갖는 블록의 각각이, 화소 데이터를 적분하므로, 노이즈 성분을 제거하는 것이 가능하다.
따라서, 종래, 복수회의 필터에 의해 행하여졌던 셰이딩 제거, 노이즈 성분 저감, 및 엣지 검출을, n×m 라플라시안 필터를 이용해서 동시에 행할 수 있다. 따라서, 보다 단시간에 또한 컴팩트한 회로 구성으로, 결함 영역의 유무의 판정을 행할 수 있다.
본 발명의 결함 검출 방법은, 상기한 목적을 달성하기 위해, 자신의 주위의 영역에 비해서 화소 데이터가 불균일하게 변화되는 영역인 결함 영역을, 디지털 화상 내로부터 검출하는 결함 검출 방법으로서, 상기 결함 영역을 검출하는 대상으로 되는 피검사 화상을, 복수의 블록으로 분할하는 블록 분할 스텝과, 상기 블록 분할 스텝에 의해 분할된 각 블록에 대해서, 블록 내에 존재하는 화소의 화소 데이터를 가산한 값인 블록 가산값을 산출하는 블록 가산값 산출 스텝과, 상기 블록 가산값의 범위 외 값이 있는지의 여부를 통계적 처리에 의해 판정함으로써 상기 결함 영역의 유무를 판정하는 결함 영역 유무 판정 스텝을 포함하고 있다.
또한, 본 발명의 결함 검출 방법은, 상기한 목적을 달성하기 위해, 자신의 주위의 영역에 비해서 화소 데이터가 불균일하게 변화되는 영역인 결함 영역을, 디지털 화상 내로부터 검출하는 결함 검출 방법으로서, (n/3)×(m/3)의 사이즈를 갖는 블록이, 9개 집합함으로써 구성되는 필터이며(n, m은 화소수로 3의 배수), 상기 (n/3)×(m/3)의 사이즈를 갖는 블록의 각각이 화소 데이터를 적분하는 것으로서 구성되며, 또한, 2차 미분을 행하는 하이 패스 필터로서 구성되는 n×m 라플라시안 필터를 이용하여, 상기 결함 영역을 검출하는 대상으로 되는 피검사 화상에서의 상기 결함 영역을 현재화시키는 필터링 처리 스텝을 포함하고 있다.
상기한 발명에 따르면, 각 스텝에서 본 발명의 결함 검출 장치와 마찬가지의 처리가 실현되고 있으므로, 본 발명의 결함 검출 장치와 마찬가지의 작용 효과를 얻을 수 있다.
본 발명의 또 다른 목적, 특징, 및 우수한 점은, 이하에 기재하는 기재에 의해 충분히 알 수 있을 것이다. 또한, 본 발명의 이점은, 첨부된 도면을 참조한 다음의 설명에서 명확하게 될 것이다.
<실시예>
[1.장치의 기본 구성]
본 발명의 결함 검출 장치에 따른 일 실시예에 대해서, 도 1을 이용하여 설명한다. 도 1에 도시하는 바와 같이, 본 실시예의 결함 검출 장치(1)는, 화상 축소부(화상 축소 수단)(2)와, 점 결함 제거부(점 결함 제거 수단)(3)와, 필터링부(필터링 처리 수단)(4)와, 블록 분할부(블록 분할 수단)(5)와, 블록 가산값 산출부(블록 가산값 산출 수단)(6)와, 통계 처리부(결함 영역 유무 판정 수단)(7)와, 양부 판정부(결함 영역 유무 판정 수단)(8)와, 메모리(9)를 구비하고 있다.
화상 축소부(2)는, 피검사 화상의 종횡 사이즈를 작게 하여, 피검사 화상을 축소하는 처리를 행하는 것이다. 이에 의해, 피검사 화상의 데이터량이 삭감됨과 함께, 피검사 화상 내에 존재하는 스폿 결함·얼룩 결함을 강조시킬 수 있다.
점 결함 제거부(3)는, 예를 들면 점 결함 제거 필터를 이용하여, 피검사 화상에서의 점 결함을 제거하는 처리를 행하는 것이다. 점 결함 제거 필터의 상세에 대해서는 상술한 바와 같다.
또한, 상술한 화상 축소부(2) 및 점 결함 제거부(3)는, 반드시 결함 검출 장치(1)의 내부에 설치되어 있을 필요는 없으며, 결함 검출 장치(1)의 외부의 장치에 설치해도 된다. 예를 들면, 결함 검출 장치(1)의 외부 장치로서의 이미지 센서 디 바이스나 디지털 화상 품질 테스터에, 화상 축소부(2) 또는 점 결함 제거부(3)를 설치해도 된다.
필터링부(4)는, n×m 라플라시안 필터(상세한 것은 후술함)를 이용하여, 셰이딩 제거, 노이즈 성분 저감, 및 스폿 결함의 엣지 검출을 행하는 것으로서, 결함 검출 장치(1)를 특징짓는 하나의 요소이다. 필터링부(4)에서의 처리의 상세에 관해서는, 후술한다.
블록 분할부(5)는, 피검사 화상을 메시 형상으로 분할하여, 복수의 블록을 생성하는 것으로서, 결함 검출 장치(1)를 특징짓는 또 하나의 요소이다. 상기 블록은, 정방형이어도 장방형이어도 되며, 나아가서는 각 블록의 면적이 동일하다면, 그 블록의 형상은 문제삼지 않는다. 또한, 블록 사이즈의 결정 방법에 대해서는 후술한다.
블록 가산값 산출부(6)는, 블록 분할부(5)에 의해 분할된 복수의 블록의 각각에 대해서, 블록 내의 모든 화소에 대한 화소 데이터를 가산한 값인 블록 가산값을 구하는 것이다.
통계 처리부(7)는, 스폿 결함이나 얼룩 결함이 존재하는 블록을 검출하기 위해, 블록 가산값 산출부(6)에서 산출된 블록 가산값을 통계 처리하는 것이다. 즉, 블록 내에 스폿 결함·얼룩 결함 등의 이상이 있으면, 그 결함이 존재하는 블록의 블록 가산값은 통계적으로 범위 외 값으로 된다. 그래서, 통계 처리부(7)는, 복수 블록의 각각에 대해서 구해진 블록 가산값의 최대값·평균값·표준 편차를 구한다고 하는 통계 처리를 행한다.
양부 판정부(8)는, 블록 가산값의 최대값에 대하여 범위 외 값 판정을 행하여, 그 블록 가산값이 범위 외 값인지의 여부를 판정함으로써, 피검사 화상 그 자체의 양부를 판정하고, 그 결과를 외부에 출력하는 것이다. 범위 외 값의 판정은, 다음의 수학식 1에서 행한다.
Figure 112006070333152-pat00001
또한, 수학식 1에서의 최대값, 평균값, 표준 편차는, 통계 처리부(7)에 의해 구해진 블록 가산값에 관한 것이다. 또한, 양부 판정부(8)가 판정 임계값을 결정하는 방법에 대해서는 후술한다.
또한, 양부 판정부(8)에서는, 블록 분할부(5)에 의해 분할된 복수의 블록의 각각에 대해서, 스폿 결함·얼룩 결함이 포함되어 있는지의 여부를 판정해도 된다. 이 경우, 양부 판정부(8)는, 하기의 수학식 2를 이용하여, 각 블록에 스폿 결함·얼룩 결함이 포함되어 있는지의 여부를 판정한다.
Figure 112006070333152-pat00002
으로 판정한다.
또한, 수학식 2에서의 평균값, 표준 편차는, 통계 처리부(7)에 의해 구해진 블록 가산값에 관한 것이다. 또한, 판정 임계값을 결정하는 방법에 대해서는 후술한다.
또한, 상술한 통계 처리부(7) 및 양부 판정부(8)는, 반드시 결함 검출 장치(1)의 내부에 설치되어 있을 필요는 없으며, 결함 검출 장치(1)의 외부의 장치에 설치되어도 된다. 예를 들면, 결함 검출 장치(1)의 외부 장치로서의 이미지 센서 디바이스나 디지털 화상 품질 테스터에, 통계 처리부(7) 또는 양부 판정부(8)를 설치해도 된다.
메모리(9)는, 결함 검출 장치(1)에서의 각종 처리에 필요한 필터, 파라미터, 연산 결과를 기억하는 것이다. 예를 들면, 메모리(9)는, 필터링부(4)에서 이용하는 n×m 라플라시안 필터, 블록 가산값 산출부(6)에서 구해지는 블록 가산값, 통계 처리부(7)에서 구해지는 블록 가산값의 평균값 등, 및 양부 판정부(8)로부터 출력되는 양부 판정 결과를 기억한다.
이상의 구성에 의해, 결함 검출 장치(1)는, 피검사 화상 내에 존재하는 스폿 결함 혹은 얼룩 결함을 검출함으로써, 피검사 화상의 양부를 판정한다. 특히, 본 실시예의 결함 검출 장치(1)에서 특징적인 것은,
(1) 필터링부(4)에서, n×m 라플라시안 필터를 이용하여, 셰이딩 제거, 노이즈 성분 저감, 및 스폿 결함의 엣지 검출을 동시에 행하고 있다는 점, 및,
(2) 블록 분할부(5)에서, 피검사 화상을 메시 형상으로 분할하여, 복수의 블록을 생성한다는 점에 있다.
즉, 종래 기술에서는, 결함 현재화 처리에서 복수회의 필터 처리를 행하고 있었으므로, 이미지 센서 디바이스의 테스트 시간이 장대해진다는 과제가 있었다. 이 과제에 대하여, 본 실시예의 결함 검출 장치(1)는, n×m 라플라시안 필터를 이 용하여, 셰이딩 제거, 노이즈 성분 저감, 및 스폿 결함의 엣지 검출을 동시에 행하고 있다. 이에 의해, 피검사 화상의 양부 판정에 수반하는 연산량을 저감하여, 테스트 시간을 대폭 단축하는 것이 가능하게 되어 있다.
또한, 이미지 센서 디바이스의 테스트 시간이 장대해진다는 종래의 과제는, 본 실시예의 결함 검출 장치(1)에서는, 블록 분할부(5)에서, 피검사 화상을 메시 형상으로 분할하여, 복수의 블록을 생성한다는 점으로부터도 해결되어 있다. 즉, 블록 분할함으로써, 피검사 화상의 양부 판정에 필요한 데이터량이 저감되어, 테스트 시간을 대폭 단축하는 것이 가능하게 되어 있다.
또한, 본 실시예의 결함 검출 장치(1)를 특징짓는 필터링부(4) 및 블록 분할부(5) 중 어느 구성에서도, 원 화상이나 축소 화상을 메모리에 기억해 둘 필요가 없다. 따라서, 본 실시예의 결함 검출 장치(1)는, 메모리에 필요한 기억 용량을 저감하여, 회로 구성을 작게 할 수 있다는 이점이 있다.
특히, 본 실시예의 결함 검출 장치(1)는, n×m 라플라시안 필터를 이용하여, 셰이딩 제거, 노이즈 성분 저감, 및 스폿 결함의 엣지 검출을 동시에 행한다. 이에 의해, 본 실시예의 결함 검출 장치(1)는, 필터 처리를 실행하는 횟수가 종래보다도 저감되어 있어, 작은 회로 구성으로 실현할 수 있다.
[2. 처리 플로우의 개요]
다음으로, 본 실시예의 결함 검출 장치(1)에 의해 실현되는 결함 검출 방법의 플로우에 대해서, 도 2를 이용하여 설명한다.
도 2에 도시하는 바와 같이, 본 실시예의 결함 검출 방법은, 크게 구별하면 결함 현재화 처리(S10) 및 결함 영역 추출 처리(S20)의 2공정으로 이루어진다. 더욱 구체적으로 설명하면, 결함 현재화 처리(S10)는, 화상 축소부(2)에 의해 실행되는 화상 축소 처리(S11)와, 점 결함 제거부(3)에 의해 실행되는 점 결함 제거 처리(S12)와, 필터링부(4)에 의해 실행되는 필터링 처리(S13)로 이루어진다. 또한, 결함 영역 추출 처리(S20)는, 블록 분할부(5)에 의해 실행되는 블록 분할 처리(S21)와, 블록 가산값 산출부(6)에 의해 실행되는 블록 가산값 산출 처리(S22)와, 통계 처리부(7)에 의해 실행되는 통계 처리(S23)와, 양부 판정부(8)에 의해 실행되는 양부 판정 처리(S24)로 이루어진다.
이들 결함 검출 방법을 구성하는 각 처리 중, S13의 필터링 처리와, S21의 블록 분할 처리에 의해, 본 실시예의 결함 검출 방법은 특징지어진다. 그래서, 우선, 필터링 처리 및 블록 분할 처리의 상세에 대해서 설명한다.
[3. 필터링 처리의 상세]
S13의 필터링 처리는, 상술한 바와 같이, 필터링부(4)에 의해 실행되는 것으로서, n×m 라플라시안 필터를 이용하여, 셰이딩 제거, 노이즈 성분 저감, 및 스폿 결함의 엣지 검출이 동시에 행하여진다.
우선, 「n×m 라플라시안 필터」의 의미에 대해서 설명한다. n×m 라플라시안 필터란, 2차 미분을 행하는 하이패스 필터이다. 또한, n과 m은, 화소수로 3의 배수이다. 즉, 도 3에 도시하는 바와 같이, n×m라플라시안 필터(10)는, (n/3)×(m/3)의 사이즈를 갖는 블록(10a~10i)이, 9개 집합함으로써 구성되어 있다.
즉, 도 3에 도시하는 n×m 라플라시안 필터(10)는, 중앙의 블록(10e)에 대해 서 가중 계수 「4」이 설정되어 있고, 이 블록(10e)에 인접하는 블록(10b, 10d, 10f, 10h)에 대해서 가중 계수 「-1」이 설정되어 있지만, 가중 계수는 이 이외의 값으로 설정해도 된다. 요는, 중앙의 블록(10e)의 가중 계수와, 중앙 블록의 주위에 존재하는 8개의 블록(10a, 10b, 10c, 10d, 10f, 10g, 10h, 10i)의 가중 계수와의 합이 0으로 되어 있으면 된다. 또한, 주위에 존재하는 8개의 블록의 가중 계수는, 균등 혹은 상하 좌우 대칭으로 설정되어 있는 것이 바람직하다.
또한, 도 3에 도시하는 n×m 라플라시안 필터(10)는, 좌측 상부에 배치된 블록(10a), 우측 상부에 배치된 블록(10c), 좌측 하부에 배치된 블록(10g), 및 우측 하부에 배치된 블록(10i)에 대해서, 가중 계수가 0으로 설정되어 있다.
또한, n=9, m=9의 경우에서의 n×m 라플라시안 필터(9×9 라플라시안 필터)의 구성에 대해서, 도 4를 이용하여 설명한다. 도 4에 도시하는 바와 같이, 9×9 라플라시안 필터(11)는, 3×3의 사이즈를 갖는 블록(11a~11i)이 9개 집합함으로써 구성된다.
이 9×9 라플라시안 필터(11)에서는, 중앙의 블록(11e)을 구성하는 9개의 가중 계수가 모두 「4」로 설정되어 있다. 또한, 이 블록(11e)에 인접하는 블록(11b, 11d, 11f, 11h)에 대해서는, 각 블록을 구성하는 9개의 가중 계수가 모두 「-1」로 설정되어 있다. 또한, 나머지의 블록(11a, 11c, 11g, 11i)에 대해서는, 9개의 가중 계수가 모두 「0」으로 설정되어 있다.
도 5에, 9×9 라플라시안 필터(11)에 대해서 이용되는 연산식을 도시한다. 또한, 9×9 라플라시안 필터와 같이, 사이즈가 9×9인 필터는, 필터 처리의 대상으 로 되는 화상에서의 단부 부근과 같이, 상하 좌우에 4화소분의 거리 내에 화소가 존재하지 않는 영역에 대해서는 연산을 행할 수 없다. 따라서, 필터링 처리 시에는, 각 화소를 주사하기 위한 루프의 초기값과 최종값에 주의가 필요하게 된다.
그리고, 상술한 n×m 라플라시안 필터를 이용함으로써, 셰이딩 제거, 노이즈 성분 저감, 및 스폿 결함의 엣지 검출이 동시에 행하여진다. 이 이유에 대해서 이하에 설명한다.
(이유 1)
n×m 라플라시안 필터는 2차 미분을 행하는 하이패스 필터이다. 따라서, 셰이딩 성분보다 고차의 엣지를 검출할 수 있음과 함께, 셰이딩 성분 자체는 제거할 수 있다.
(이유 2)
n×m 라플라시안 필터는, (n/3)×(m/3)의 사이즈를 갖는 블록이, 9개 집합함으로써 구성되어 있다. 이 (n/3)×(m/3)의 사이즈를 갖는 블록의 각각은, 화소 데이터를 적분하므로, 노이즈 성분을 제거하는 것이 가능하다.
또한, 경험적으로, 스폿 결함·얼룩 결함의 크기에 대하여, 3×3 라플라시안 필터보다도 사이즈가 큰 라플라시안 필터 쪽이, 결함의 검출 감도가 양호하다. 특히, 콘트라스트 차가 작은 스폿 결함 등에 대해서는, 사이즈가 큰 라플라시안 필터 쪽이 검출 감도가 양호하게 된다.
[4. n×m 라플라시안 필터의 변형예]
상술한 n×m 라플라시안 필터를 이용하면, 1개의 주목 화소에 대해서 필터 연산 후의 화소 데이터를 얻기 위해서, 주목 화소를 중심으로 한 n×m개의 화소에 대한 화소 데이터를 이용하여, 곱의 합 연산을 할 필요가 있다. 예를 들면, 9×9 라플라시안 필터에서는, 피검사 화상의 화소수를 N으로 하면 합계 81N회의 곱의 합 연산을 행하게 된다.
또한, 본 실시예에서는, 승산 1회 및 가산 1회를, 곱의 합 연산 1회로 간주하고 있지만, 엄밀한 의미에서는, 필터 계수가 「0」으로 설정되어 있는 화소에 대해서는, 승산 및 가산이 불필요하게 되므로, 곱의 합 연산이 전혀 행하여지지 않는다고 할 수 있다. 또한, 필터 계수가 「1」로 설정되어 있는 화소에 대해서는, 승산이 불필요하게 되지만, 가산은 필요하므로, 1회의 곱의 합 연산이 행하여지지 않는다고 할 수 있다.
이것을 고려하면, 도 4의 9×9 필터를 이용하는 경우, 합계 45N회의 곱의 합 연산을 행하게 된다.
이 n×m 라플라시안 필터의 곱의 합 연산의 횟수는, 2종류의 필터를 준비하여 필터 연산을 2단계로 나눔으로써 저감할 수 있다. 예를 들면, 9×9 라플라시안 필터의 곱의 합 연산의 횟수는, 도 6의 (a)에 도시하는 제1 필터(12)와, 도 6의 (b)에 도시하는 제2 필터(13)를 준비함으로써 저감할 수 있다.
여기서, 제1 필터(12)는, 도 6의 (a)에 도시하는 바와 같이, 3×3의 사이즈를 갖고 있으며, 필터를 구성하는 9개의 가중 계수가 모두 「1」로 설정되어 있는 필터이다. 또한, 제2 필터(13)는, 9×9의 사이즈를 갖고 있는 구성이며, 3×3의 사이즈를 갖는 블록(13a~13i)이 9개 집합함으로써 구성된다.
또한, 제2 필터(13)의 중앙에 위치하는 블록(13e)에서는, 중앙의 가중 계수만이 「4」로 설정되어 있으며, 그 주위의 8개의 가중 계수는 모두 「0」으로 설정되어 있다. 또한, 블록(13e)에 인접하는 블록(13b, 13d, 13f, 13h)의 각각에 대해서는, 중앙의 가중 계수만이 「-1」로 설정되어 있으며, 그 주위의 8개의 가중 계수는 모두 「0」으로 설정되어 있다. 남은 블록(13a, 13c, 13g, 13i)에 대해서는, 9개의 가중 계수가 모두 「0」으로 설정되어 있다.
그리고, 9×9 라플라시안 필터와 마찬가지의 곱의 합 연산은, 상기 구성의 제1 필터(12) 및 제2 필터(13)를 이용해서 2단계의 필터 연산을 행함으로써 실현할 수 있다. 여기에서, 제1 필터(12) 및 제2 필터(13)에 의한 연산은, 9화소의 곱의 합 연산을 2회 실시하는 형식으로 되므로, 합계 18N회의 곱의 합 연산으로 종료시킬 수 있다. 이와 같이 해서, 9×9 라플라시안 필터에 의한 연산 횟수를 저감시킬 수 있다. 또한, 제1 필터(12) 및 제2 필터(13)에 대해서 이용되는 연산식을, 도 7에 도시한다.
또한, n×m 라플라시안 필터의 연산 횟수도, 제1 필터(12) 및 제2 필터(13)와 마찬가지로 2종류의 필터를 설치함으로써 저감시킬 수 있다.
즉, 제1 필터로서, (n/3)×(m/3)의 사이즈를 갖는 필터이며, 필터를 구성하는 모든 가중 계수가, 「1」 등의 동일한 값으로 설정된 것을 준비한다. 또한, 제2 필터로서, (n/3)×(m/3)의 사이즈를 갖는 블록이 9개 집합함으로써 형성되는 필터를 준비한다. 그리고, 제2 필터의 가중 계수에 대해서는, 제2 필터의 중앙 블록(9개의 블록 중 중앙에 위치하는 블록)에서의 중앙의 가중 계수와, 중앙 블록을 둘러싸는 8개의 블록의 각각에서의 중앙의 가중 계수와의 합이, 0으로 되도록 설정하고, 또한 그 이외의 가중 계수는 0으로 설정한다. 또한, 중앙의 블록을 둘러싸는 8개의 블록의 각각에서의 중앙의 가중 계수는, 균등하게 혹은 상하 좌우 대칭으로 설정되는 것이 바람직하다.
단, n=6, m=6의 경우에는, 제1 필터는 2×2의 사이즈로 되는 한편, 제2 필터는 6×6의 사이즈로 된다. 그렇게 하면, 「블록의 중앙의 가중 계수」가 존재하지 않게 된다.
이 경우는, 제2 필터에서, 중앙 블록에서의 중심에 가장 가까운 가중 계수와, 중앙 블록을 둘러싸는 8개의 블록의 각각에서의 중심에 가장 가까운 가중 계수와의 합이, 0으로 되도록 설정하고, 또한 그 이외의 가중 계수는 0으로 설정하면 된다.
[5.블록 분할 처리의 상세]
다음으로, 블록 분할부(5)(도 1)에 의해 실행되는 블록 분할 처리(도 2의 S21 참조)에 대해서 설명한다.
예를 들면, 도 8에 도시하는 바와 같이, 피검사 화상(20)이, 가로 73화소×세로 43화소의 사이즈인 것으로 한다. 이 경우, 피검사 화상(20)은, 예를 들면, 1블록이 5×5화소인 영역을 갖도록, 복수의 블록으로 분할하는 것이 가능하다.
또한, 블록의 형상은, 정방형이어도 장방형이어도 되며, 나아가서는 면적이 균일하면 그 형상은 문제삼지 않는다. 또한, 1블록의 사이즈에 따라서는, 피검사 화상을 좌측 상부로부터 순서대로 분할해 가면, 피검사 화상의 단에서 블록에 포함 되지 않는 화소가 존재하는 경우가 있다. 그 경우에는, 도 8의 파선으로 나타내는 바와 같이, 화상의 가장자리에 맞도록 블록 분할을 행하면 된다. 나아가서는, 블록의 분할은, 특히 좌측 상부로부터 순서대로 하지 않아도 되며, 피검사 화상의 전체 화소를 포함하도록 분할할 수 있으면 된다.
또한, 블록 사이즈는, 화상의 총 화소수, 결함 검출 감도, 양부 판정부(8)의 판정 결과에 노이즈가 끼치는 영향, 또는 연산량 등으로부터, 적절한 값을 설정한다.
즉, 각 블록의 사이즈를 크게 하면, 양부 판정부(8)의 판정 결과에 노이즈가 끼치는 영향을 삭제할 수 있지만, 스폿 결함·얼룩 결함의 검출 감도가 저하한다. 한편, 각 블록의 사이즈를 작게 하면, 노이즈 성분이나, 점 결함 제거부(3)가 완전히 제거하지 못한 점 결함 성분이 검출되게 되지만, 스폿 결함·얼룩 결함의 검출 감도가 향상한다. 이러한 트레이드 오프 관계를 고려하여, 블록 사이즈를 적절하게 설정하면 된다. 또한, 트레이드 오프 관계를 표 1에 나타낸다.
결함 검출 감도와 노이즈가 판정 결과에 끼치는 영향의 트레이드 오프의 관계
파라미터 블록 사이즈 작게 하면 크게 하면
파라미터 조정에 의한 결과 결함 검출 감도 높다 낮다
노이즈가 판정 결과에 끼치는 영향 크다 작다
결함 영역 추출 처리의 연산량 크다 작다
이와 같이, 결정된 블록 사이즈에 기초하여, 블록 분할부(5)는 피검사 화상을 복수의 블록으로 분할하고, 블록 가산값 산출부(6)는, 분할된 각 블록에 대해서 블록 가산값을 산출한다. 도 9에, 블록 가산값을 연산하기 위한 식을 도시한다.
또한, 도 10의 (a)에 도시하는 바와 같이, 스폿 결함이 블록의 경계에 걸치도록 분포해서 발생하는 경우가 있다. 이 경우, 인접하는 2블록의 각각에서의 블록 가산값의 쌍방에 스폿 결함이 영향을 주어, 결함 검출의 감도가 저하할 가능성이 있다.
그러나, 도 10의 (b)에 도시하는 바와 같이, 서로 이웃하는 블록끼리를 중첩하도록 분할함으로써, 결함 검출 감도의 저하를 억제할 수 있다. 즉, 현재의 블록과, 다음의 열의 블록 또는 다음의 행의 블록이 중첩되도록, 순차적으로 블록을 분할한다. 이에 의해, 스폿 결함의 영향을 1개의 블록 내에 수용할 수 있어, 스폿 결함이 2블록의 블록 가산값에 영향을 주는 것을 방지할 수 있다.
또한, 블록 분할 처리가, 종래의 라벨링 처리보다도 적합한 이유에 대해서, 이하에 설명한다. 종래 기술에서는, 라벨링 처리를 행하기 전의 공정인 2치화 처리나 노이즈 제거 처리에 많은 공수가 필요하다. 또한, 종래 기술에서의 2치화 처리의 임계값에 따라서는, 실제의 결함 영역뿐만 아니라, 결함 현재화 처리에서 충분히 제거되어 있지 않은 점 결함 성분이나 노이즈 성분도 스폿 결함·얼룩 결함의 후보로 되어, 2치화하기 위한 임계값의 결정 방법이 어렵다. 이 문제에 대하여, 종래 기술에서는 팽창·수축 처리 등에서 2치 화상의 요철의 노이즈를 제거하지만, 그 때에 정도가 작은 스폿 결함·얼룩 결함의 후보도 제거될 가능성이 있다.
그것에 대하여, 본 실시예와 같이 블록 분할 처리를 행함으로써, 취급하는 데이터수를 대폭으로 작게 하는 것이 가능하게 되어, 양부 판정 처리를 고속으로 행할 수 있다. 또한, 블록 분할 처리에 따르면, 2치화 처리와는 달리, 결함이 없는 영역에 관한 정보를 놓치지 않고, 화상의 영역 전체에 대해서 결함이 존재할 수 있는 가능성을 블록 가산값에 의해 정량 평가하여, 결함이 없는 영역과 결함이 있는 영역과의 상대 비교로 양부 판정을 하기 때문에, 육안에 의한 결함 영역의 검사와의 상관이 높다.
[6.양부 판정 처리의 상세]
다음으로, 양부 판정부(8)(도 1)에 의해 실행되는 양부 판정 처리(도 2의 S24 참조)에 대해서 설명한다. 우선, 양부 판정부(8)는, 상술한 바와 같이, 판정 임계값을 이용하여 블록 가산값의 최대값이 범위 외 값인지의 여부를 판정한다. 이 판정 임계값을 결정하는 방법을 이하에 설명한다.
도 11은, 블록 가산값의 분포를 도시하는 히스토그램의 일례이다. 도 11에서, 횡축은 블록 가산값, 종축은 블록수를 나타내고 있다. 피검사 화상이 양품의 이미지 센서 디바이스로부터 얻어진 화상이면, 결함 현재화 처리(S10)에서 제거하지 못한 노이즈 성분이 지배적으로 되어, 블록 가산값의 분포는 정규 분포에 가까운 형태를 나타낸다.
그래서, 블록 가산값의 평균 및 표준 편차를, 통계 처리부(7)(도 1 참조)에 의해 구함과 함께, 이하의 식에 기초하여 판정 임계값을 양부 판정부(8)에 의해 결정한다.
판정 임계값=평균+a×표준 편차(a는 정수)
그리고, 판정 임계값보다도 큰 블록 가산값이 존재하는 경우, 양부 판정부(8)는, 피검사 화상에 스폿 결함·얼룩 결함이 존재하고, 피검사 화상이 불량이라고 판정한다.
또한, 상기 상수 a는, 기준으로 되는 양품 화상을 1개 또는 복수개 준비하고, 각 양품 화상에 대해서 블록 가산값을 구하여,
a=(블록 가산값의 최대값-블록 가산값의 평균값)/블록 가산값의 표준 편차
로서 결정해도 된다.
또는, 스미르노프·그럽스 기각 검정을 이용하여, 데이터수 n과 기각 영역 α(=0.01 등)로부터, 상수 a를 결정해도 된다. 또한, 스미르노프·그럽스 기각 검정이란, 동일한 모집단으로부터의 샘플 데이터에 대하여, 통계적인 범위 외 값을 검정하는 방법이다. 이 방법을 이용하면, 유의 수준(기각 영역이라고도 함, 통상적으로, 0.01, 0.05의 값이 자주 이용됨)과 샘플 데이터수를 결정함으로써, 검정 대상의 데이터가 범위 외 값인지의 여부를 결정하는 임계값을 일의적으로 결정할 수 있다.
또한, 양부 판정에 이용되는 값(평가값)은, 표준 편차로 정규된 값으로 되어 있으므로, 판정 임계값은, 절대값이 아니라, 표준 편차에 대한 배율(상수 a)을 고려한 값으로서 설정되어 있다. 이와 같이 판정 임계값을 설정함으로써, 피검사 화상 간의 휘도 변동에 영향을 받지 않는 양부 판정이 가능하게 된다.
다음으로, 양부 판정 처리의 플로우에 대해서 설명한다. 피검사 화상으로부터 생성되는 블록마다 양부 판정을 행하는 경우의 플로우를 도 12에 도시한다.
우선, 양부 판정부(8)는, 피검사 화상 내에서 양부 판정 처리가 아직 행하여져 있지 않은 블록을 1개 선택하고(S30), 선택된 블록에서의 평가값을 구한다(S31). 또한, 평가값은, 하기의 식에 기초하여 구해진다.
평가값=(선택된 블록에서의 블록 가산값-평균값)/표준 편차
그리고, 양부 판정부(8)는, 평가값과 판정 임계값을 비교하여(S32), 평가값이 판정 임계값 이상이면, 피검사 화상이 불량이라고 판정하고, 그 블록의 좌표와 평가값을 메모리에 기입한다(S33).
한편, 평가값이 판정 임계값 미만이면, 양부 판정부(8)는, 피검사 화상이 양호하다고 판정하고, 아직 양부 판정의 처리가 행하여져 있지 않은 블록(미처리 블록)이 있는지의 여부를 판단한다(S34). 미처리 블록이 있는 것 같으면, S30의 처리로 복귀한다.
S34의 판단에서 미처리 블록이 없다고 판단된 경우, 피검사 화상에서의 결함의 유무를 메모리에 기입한다(S35). S35에서는, S33에서 메모리에 기입하였는지의 여부로 화상의 양부 판정을 행해도 되며, S33에서 기입한 평가값을 다시 판정하여, 그 피검사 화상의 품질의 랭크를 구하여, 메모리에 기입하는 처리를 행해도 된다.
이 피검사 화상의 품질의 랭크를 구하는 처리에 대해서, 구체적인 설명을 행한다. 품질의 랭크를 구하기 위해서는, 평가값과 판정 임계값과의 차의 크기에 따라서, 복수의 랭크를 설정하는 것이 가능하다. 예를 들면, 평가값과 판정 임계값과의 차의 크기에 대해서, 「대」·「중」·「소」라고 하는 3단계의 기준을 마련함과 함께, 피검사 화상의 품질 랭크에 대해서도 「불량 정도 대」·「불량 정도 중」·「불량 정도 소」라고 하는 3단계의 기준을 마련해도 된다. 또는, 판정 임계값을 복수 형성함으로써, 피검사 화상의 품질 랭크를 평가해도 된다.
또한, 양부 판정 처리는, 상술한 바와 같이 피검사 화상으로부터 생성되는 각 블록에 대해서 행하는 것 이외에, 블록 가산값의 최대값에 기초하여 행하는 것도 가능하다. 이 경우의 처리 플로우에 대해서, 도 13을 이용하여 설명한다.
우선, 양부 판정부(8)는, 평가값을 하기의 식에 기초하여 구한다(S40).
평가값=(블록 가산값의 최대값-블록 가산값의 평균값)/표준 편차
그리고, 양부 판정부(8)는, S40에서 구해진 평가값과 판정 임계값과의 대소 비교를 행하고, S41, S42 또는 S43에서 그 판정 결과를 메모리에 기입한다.
[7. 실제의 화상을 이용한 설명]
이하, 상기 구성의 결함 검출 장치(1)에 의해 스폿 결함이 검출될 때까지의 과정에 대해서, 실제의 화상을 도면에 도시하면서 설명한다.
우선, 도 14의 (a)에 도시하는 바와 같이, 피검사 화상이 설정되어 있고, 그 피검사 화상 내의 A부분에 스폿 결함이 발생하고 있는 것으로 한다(A부분을 확대한 도면인 도 14의 (b) 참조).
도 14의 (b)의 A부분에서의 화소 데이터를 3차원적으로 표시하면, 도 14의 (c)에 도시하는 그래프와 같이 된다. 즉, 도 14의 (c)에 도시하는 바와 같이, 스폿 결함이 발생하고 있는 영역만, 화소 데이터가 증가하고 있다.
도 15의 (a)에, 도 14의 (b)에 도시하는 화상에 대해서, 9×9 라플라시안 필터에 의한 필터링 처리를 실행한 후의 화상을 도시한다. 또한, 도 15의 (b)에, 9×9 라플라시안 필터에 의해 필터링 처리된 후의 화상의 화소 데이터를 3차원적으로 표시한 그래프를 도시한다. 도 14의 (c)의 그래프와 도 15의 (b)의 그래프를 비교하면, 도 15의 (b)의 그래프에서는, 스폿 결함 이외의 영역에서 화소 데이터가 일정하게 되어 있으며, 또한, 스폿 결함 영역과, 그 이외의 영역에서, 화소 데이터의 차가 명확하게 나 있는 것을 알 수 있다. 이것으로 인해, 9×9 라플라시안 필터를 이용함으로써, 도 14의 (b)의 화상의 셰이딩이 제거됨과 함께, 노이즈 성분도 제거되며, 또한 스폿 결함의 엣지 검출도 실현할 수 있는 것을 알 수 있다.
또한, 도 15의 (a)에 도시하는 화상에 대하여 블록 분할 처리를 행하고, 또한 각 블록에 대해서 블록 가산값을 구한 후의 화상을, 도 16의 (a)에 도시한다. 또한, 도 16의 (a)에 도시하는 화상에서의 블록 가산값을, 3차원적으로 표시한 그래프를 도 16의 (b)에 도시한다. 도 16의 (b)에 도시하는 바와 같이, 스폿 결함의 영역에서는, 블록 가산값이 다른 영역에 비해서 크게 되어 있다. 이 도 16의 (b)에 도시하는 화상에 대해서는, 최종적으로, 도 16의 (c)에 도시하는 바와 같이, 결함 영역이 추출된다.
또한, 도 14의 (a)에 도시하는 피검사 화상에 대하여, 본 실시예의 결함 검출 방법에 의해 구해진 블록 가산값의 분포를 도 17의 (a)에 도시한다. 또한, 도 17의 (a)의 히스토그램을 통계 처리하여, 블록 가산값에 관한 최소값·최대값·평균값·표준 편차를 구한 결과를 도 17의 (b)에 도시한다. 이 도 17의 (a)에 도시하는 히스토그램, 및 도 17의 (b)에 도시하는 통계 처리의 결과에 기초하여, 도 17의 (c)에 도시하는 바와 같이 판정 임계값이 설정된다.
[8. 실장예]
다음으로, 본 실시예의 결함 검출 장치를 이용하는 이미지 센서 디바이스의 검사 시스템의 구성예를 설명한다.
우선, 도 18에 도시하는 바와 같이, 이미지 센서 디바이스 본체 및 DSP부를 갖는 이미지 센서 모듈과, 이미지 센서 디바이스의 테스터(디지털 화상 품질 테스터)로 구성되는 검사 시스템을 상정한다. 이미지 센서 디바이스 본체는, 광원으로부터의 광을 수광하는 것이다. 또한, DSP부는, RGB 분리부와, CPU부와, 복수의 메모리를 구비하고 있다. 이들 DSP부를 구성하는 요소는, 일반적인 이미지 센서 모듈에 설치된 DSP부를 구성하는 요소와 변함이 없으므로, 상세한 설명은 생략한다.
도 18에 도시하는 검사 시스템의 구성예에서는, 본 실시예의 결함 검출 장치(1)가 DSP부의 내부에 설치되어 있다. 이와 같이, 본 실시예의 결함 검출 장치(1)는, 이미지 센서 모듈 내에 실장하는 것이 가능하다. 이와 같이, 결함 검출 장치(1)를 실장하는 것의 메리트로서는, 이하의 점을 예를 들 수 있다.
·이미지 센서 모듈마다 연산·판정 기능을 갖게 할 수 있어, 스폿 결함·얼룩 결함의 패러렐 처리가 가능하다.
·이미지 센서 모듈로부터, 디지털 화상 품질 테스터 또는 화상 처리 장치에 화상 데이터를 전송하는 시간이 없어지기 때문에, 검사 시간의 단축이 가능하게 된다.
또한, 결함 검출 장치(1)에서 실행되는 블록 가산값의 표준 편차를 구하는 연산에서는, 제곱 연산을 행하는 과정이 존재한다. 그 연산을 하드웨어화하는 것이 엄격한 경우에는, 결함 검출 장치(1)에서의 블록 분할 처리까지를 하드웨어 실장하고, 그 후의 통계 처리와 양부 판정 처리를 디지털 화상 품질 테스터에서 행함으로써, 테스터 자체를 간소화할 수 있다.
또한, 도 18에 도시하는 실장예에서의 이미지 센서 모듈은, 「이미지 센서 디바이스」이어도 된다. 즉, 이미지 센서 디바이스의 일례인 CMOS 센서에서는, 해당 CMOS 센서 자체에 DSP부가 포함되어 있는 경우가 있다.
이러한 이미지 센서 디바이스에 대해서는, 그 내부에 설치되어 있는 DSP부에, 본 실시예의 결함 검출 장치(1)를 설치하는 것이 가능하다. 이와 같이 이미지 센서 디바이스 내의 DSP부에 결함 검출 장치(1)를 설치하는 실장예는, 도 18에 도시하는 실장예의 변경 양태로서 파악할 수 있다.
또한, 본 실시예의 결함 검출 장치(1)는, 이미지 센서 모듈의 외부에 실장하는 것도 가능하다. 즉, 도 19에 도시하는 바와 같이, 예를 들면 RGB 분리부, CPU부, 및 복수의 메모리를 갖는 화상 처리 장치 내에, 본 실시예의 결함 검출 장치(1)를 실장하는 것도 가능하다.
또한, 도 19에 도시하는 실장예에서는, 이미지 센서 모듈에 포함되는 이미지 센서 디바이스(도시하지 않음)로부터, 화상 처리 장치 내의 메모리에 피검사 화상을 입력해도 된다.
또한, 본 실시예의 결함 검출 장치(1)는, 디지털 화상 품질 테스터의 내부에 실장하는 것도 가능하다. 즉, 도 20에 도시하는 바와 같이, 디지털 화상 품질 테스터 내에 설치된 화상 처리부에, 본 실시예의 결함 검출 장치(1) 및 RGB 분리부를 설치하는 것도 가능하다.
또한, 도 20에 도시하는 실장예에서는, 이미지 센서 모듈에 포함되는 이미지 센서 디바이스(도시하지 않음)로부터, 디지털 화상 품질 테스터 내의 화상처리부에 피검사 화상을 입력해도 된다.
[9. 본 실시예의 결함 검출 방법의 연산량]
본 실시예의 결함 검출 방법에서의 연산량과, 종래 기술에서의 연산량을 정량적으로 비교한 결과를 이하에 기재한다.
우선, 피검사 화상의 화소수를 N, 화상 축소율을 a로 한 후에, 종래 기술에서의 화상 주사 횟수를 어림하면 이하와 같이 된다.
[결함 현재화 처리를 구성하는 각 처리의 화상 주사 횟수]
·화상 축소 처리 … N
·셰이딩 보정 처리 … 3*3*N/(a*a)
(각 화소에 대하여 3×3 필터에 의한 연산을 실행한 경우)
·노이즈 제거 처리(평활화 필터 사용) … 3*3*N/(a*a)
·점 결함 제거 처리 … 3*3*N/(a*a)
·엣지 검출 처리(라플라시안 필터 사용) … 3*3*N/(a*a)
[결함 영역 추출 처리를 구성하는 각 처리의 화상 주사 횟수]
·2치화 처리 … N/(a*a)
·2치 화상에 대한 노이즈 제거 처리 … (3*3*N/(a*a))*3
(적게 어림해도 화상을 3회 주사함)
·라벨링 처리 … N/(a*a)
(적게 어림해도 화상을 1회 주사함)
·특징량으로서 스폿 면적을 계산하는 처리 … N/(a*a)
·양부 판정 처리 … 결함 영역 추출 처리 전체의 화상 주사 횟수로부터 보면 미소한 횟수.
한편, 블록 분할 사이즈(화소수)를 b로 하면, 본 실시예의 결함 검출 방법에서의 화상 주사 횟수는, 이하와 같이 어림할 수 있다.
[결함 현재화 처리를 구성하는 각 처리의 화상 주사 횟수]
·화상 축소 처리 … N
·점 결함 제거 처리 … 3*3*N/(a*a)
·필터링 처리 … (3*3*N/(a*a))*2
9×9 라플라시안 필터에 의한 필터링 처리를 2단계로 나누어 행한 경우(도 6의 (a) 및 도 6의 (b) 참조)
[결함 영역 추출 처리를 구성하는 각 처리의 화상 주사 횟수]
·블록 분할 및 가산값 산출 처리 … N/(a*a)
·통계 처리 … N/(a*a*b*b)
·양부 판정 처리 … N/(a*a*b*b).
이상의 화상 주사 횟수에 대해서, N=400만(화소), 화상 축소율 a=2, 블록 분할 사이즈(화소수) b=40을 대입하면, 이하와 같이 된다.
[종래 기술]
·결함 현재화 처리 …40M
·결함 영역 추출 처리 …30M
합계 70M
[본 실시예의 결함 검출 방법]
·결함 현재화 처리 …31M
·결함 영역 추출 처리 …1.001M
합계 32.001M
이와 같이, 본 실시예의 결함 검출 방법에 따르면, 종래 기술에서의 결함 현재화 처리와 거의 마찬가지의 화상 주사 횟수에 의해, 피검사 화상의 양부 판정을 행할 수 있다고 할 수 있다.
[10. 보충]
또한, 본 실시예의 결함 검출 장치에 의해 실행되는 결함 검출 방법은, 컴퓨터에서 실행되는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체에, 프로그램으로서 기록할 수도 있다. 이 결과, 본 실시예의 결함 검출 방법을 행하는 프로그램을 기록한 기록 매체를 운반이 자유롭게 제공할 수 있다.
기록 매체로서는, 마이크로 컴퓨터에서 처리가 행하여지기 때문에 도시하지 않는 메모리, 예를 들면 ROM과 같은 프로그램 미디어이어도 되며, 도시하지 않는 외부 기억 장치로서의 프로그램 판독 장치가 설치되고, 거기에 기록 매체를 삽입함으로써 판독 가능한 프로그램 미디어이어도 된다.
어떠한 경우에서도, 저장되어 있는 프로그램은 마이크로프로세서가 액세스해서 실행시키는 구성이어도 되며, 프로그램을 판독하고, 판독한 프로그램은, 마이크로 컴퓨터의 도시되어 있지 않은 프로그램 기억 에리어에 다운로드되어, 그 프로그램이 실행되는 방식이어도 된다. 이 경우, 다운로드용의 프로그램은 미리 본체 장치에 저장되어 있는 것으로 한다.
여기에서, 상기 프로그램 미디어는, 본체와 분리 가능하게 구성되는 기록 매체이며, 자기 테이프나 카세트 테이프 등의 테이프계, 플로피 디스크나 하드 디스크 등의 자기 디스크 및 CD-ROM/MO/MD/DVD 등의 광 디스크의 디스크계, IC 카드(메모리 카드를 포함함)/광 카드 등의 카드계, 혹은 마스크 ROM, EPROM(Erasable Programmable Read Only Memory), EEPR0M(Electrically Erasable Programmable Read Only Memory), 플래시 ROM 등에 의한 반도체 메모리를 포함시킨 고정적으로 프로그램을 담지하는 매체이어도 된다.
또한, 이 경우, 인터넷을 포함하는 통신 네트워크를 접속 가능한 시스템 구성이기 때문에, 통신 네트워크로부터 프로그램을 다운로드하도록 유동적으로 프로그램을 담지하는 매체이어도 된다. 또한, 이와 같이 통신 네트워크로부터 프로그램을 다운로드하는 경우에는, 그 다운로드용의 프로그램은 미리 수신기에 저장해 두거나, 혹은 다른 기록 매체로부터 인스톨되는 것이어도 된다.
본 발명에 따르면, 디지털 화상에 발생하는 결함 영역의 유무를, 단시간에 또한 컴팩트한 회로 구성으로 판정할 수 있다.
본 발명의 결함 검출 장치는, 자신의 주위의 영역에 비해서 화소 데이터가 불균일하게 변화되는 영역인 결함 영역을, 디지털 화상 내로부터 검출하는 결함 검출 장치로서, 상기 결함 영역을 검출하는 대상으로 되는 피검사 화상을, 복수의 블록으로 분할하는 블록 분할부와, 상기 블록 분할부에 의해 분할된 각 블록에 대해서, 블록 내에 존재하는 화소의 화소 데이터를 가산한 값인 블록 가산값을 산출하는 블록 가산값 산출부를 구비하며, 상기 블록 가산값의 범위 외 값이 있는지를 통계적 처리에 의해 판정함으로써 상기 결함 영역의 유무를 판정하는 결함 영역 유무 판정부에 대하여, 상기 블록 가산값을 출력한다.
또한, 상기 구성의 결함 검출 장치는, 상기 블록 분할부가, 서로 이웃하는 블록끼리를 중첩시키도록, 상기 피검사 화상을 복수의 블록으로 분할하는 것인 것이 바람직하다.
즉, 서로 이웃하는 블록을 중첩시키지 않고 피검사 화상을 복수의 블록으로 분할한 경우, 결함 영역이 인접하는 블록에 걸쳐서 발생하는 경우가 있다. 이러한 경우, 결함 영역이, 서로 다른 2개의 블록에서의 블록 가산값에 분산되어 영향을 주기 때문에, 결함 영역의 유무를 적절하게 판정할 수 없는 경우가 있다.
그러나, 상기 구성에 따르면, 블록 분할부가, 서로 이웃하는 블록끼리를 중첩시키도록 피검사 화상을 복수의 블록으로 분할하므로, 결함 영역을 1개의 블록 내에 확실하게 수용할 수 있다. 이에 의해, 결함 영역의 영향이 서로 다른 2블록의 블록 가산값에 영향을 주는 것을 방지할 수 있으므로, 결함 영역을 양호한 감도로 검출할 수 있다.
또한, 상기 구성의 결함 검출 장치는, 상기 결함 영역 유무 판정부가, 자신의 내부에 설치되어 있어도 된다.
상기 구성에 따르면, 결함 영역 유무 판정부가 결함 검출 장치의 내부에 설치되어 있으므로, 블록 분할부에 의한 블록 분할 처리, 블록 가산값 산출부에 의한 블록 가산값 산출 처리, 및 결함 영역 유무 판정부에 의한 판정 처리를, 결함 검출 장치 단독으로 행하는 것이 가능하게 된다. 따라서, 상기 구성의 결함 검출 장치를 이용하는 것만으로, 결함 영역의 유무의 판정을 행하는 것이 가능하게 된다.
또한, 상기 결함 영역 유무 판정부는, 결함 검출 장치의 외부에 설치되어 있어도 된다.
상기 구성에 따르면, 결함 영역 유무 판정부가 결함 검출 장치의 외부에 설치되어 있으므로, 블록 가산값의 범위 외 값이 있는지를 판정하는 통계적 처리를 외부의 장치에 실행시킬 수 있다. 이에 의해, 결함 검출 장치는, 블록 분할부에 의한 블록 분할 처리와, 블록 가산값 산출부에 의한 블록 가산값 산출 처리만을 실현하면 되므로, 하드웨어에 실장하였을 때의 회로 구성을 컴팩트하게 할 수 있다.
또한, 상기 구성의 결함 검출 장치는, 상기 결함 영역 유무 판정부가, 상기 블록 분할부가 분할한 복수의 블록의 각각에 대해서 상기 블록 가산값 산출부에 의해 구해지는 상기 블록 가산값마다, 통계적으로 범위 외 값인지를 판정하는 것이 바람직하다.
상기 구성에 따르면, 블록 분할부가 분할한 복수의 블록의 각각에 대해서 블록 가산값 산출부에 의해 구해지는 블록 가산값마다, 통계적으로 범위 외 값인지가 판정되므로, 피검사 화상 내에서의 모든 블록에 대해서, 결함 영역의 유무가 결함 영역 유무 판정부에 의해 판정된다. 따라서, 결함 영역의 유무를 양호한 정밀도로 행할 수 있다.
또한, 상기 구성의 결함 검출 장치는, 상기 결함 영역 유무 판정부가, 상기 블록 분할부가 분할한 복수의 블록의 각각에 대해서 상기 블록 가산값 산출부에 의해 구해지는 상기 블록 가산값 중, 최대의 값을 취하는 블록 가산값에 대해서, 통계적으로 범위 외 값인지를 판정하는 것이어도 된다.
상기 구성에 따르면, 블록 가산값의 최대값에 대해서만, 통계적으로 범위 외 값인지의 여부를 판정하므로, 블록 분할부가 분할한 블록의 모두에 대해서 구해지는 블록 가산값에 대해서 통계적으로 범위 외 값인지는 판정하지 않는다. 따라서, 간이한 처리에 의해 단시간에 디지털 화상에서의 결함 영역의 유무를 판단할 수 있다.
또한, 상기 구성의 결함 검출 장치는, 상기 블록 가산값의 범위 외 값인지의 여부의 판정을, 상기 블록 분할부에 의해 상기 피검사 화상이 분할된 블록의 개수 및 통계적인 유의 수준에 의해 결정된 판정 임계값과, 판정 대상으로 되는 블록 가산값과의 대소 비교에 의해 행하는 것이 바람직하다.
상기 구성에 따르면, 판정 임계값을 통계적으로 구하므로, 블록 가산값이 범위 외 값인지의 여부의 판정을 적확하게 행할 수 있다. 따라서, 결함 영역의 유무의 판정을 보다 적확하게 행할 수 있다.
또한, 상기 구성의 결함 검출 장치는, 상기 블록 가산값의 범위 외 값이 있는지의 여부의 판정을, 상기 결함 영역이 없다는 것의 기준으로 되는 양품 화상에 대해서 구해진 상기 블록 가산값을 통계적으로 처리해서 얻어지는 판정 임계값과, 판정 대상으로 되는 블록 가산값과의 대소 비교에 의해 행해도 된다.
상기 구성에 따르면, 양품 화상을 준비하는 것만으로 판정 임계값을 구할 수 있으므로, 간이한 처리에 의해, 판정 임계값을 구할 수 있다. 따라서, 블록 가산값의 범위 외 값이 있는지의 여부의 판정을 보다 간이한 처리에 의해 행할 수 있으므로, 보다 단시간에 결함 영역의 유무의 판정을 행할 수 있다.
또한, 상기 피검사 화상은, 이미지 센서 디바이스로부터 얻어지는 것인 것이 바람직하다.
상기 구성에 따르면, 특히 결함 영역을 검출할 필요성이 높은, 이미지 센서 디바이스로부터 얻어지는 디지털 화상에 대해서, 결함 영역의 유무를 판정할 수 있다.
또한, 상기 구성의 결함 검출 장치는, 이미지 센서 디바이스 내에 설치되어도 되고, 이미지 센서 모듈 내에 설치되어도 되며, 화상 처리 장치 내에 설치되어도 되고, 디지털 화상 품질 테스터 내에 설치되어도 된다.
또한, 「이미지 센서 디바이스」란, CMOS 센서, CCD 등의 촬상 소자를 의미한다. 또한, 「이미지 센서 모듈」이란, CMOS 센서, CCD 등의 촬상 소자에 렌즈를 실장하고, 제어용의 DSP나 클럭 제너레이터 등을 탑재한 모듈을 의미한다. 따라서, 이미지 센서 디바이스는, 이미지 센서 모듈에 포함되는 것이라고 할 수 있다.
또한, 「디지털 화상 품질 테스터」란, 그 문언대로, 디지털 화상의 품질을 검사하는 테스터를 의미하고 있다. 디지털 화상 품질 테스터에서 검사되는 디지털 화상은, 이미지 센서 디바이스 등의 반도체 디바이스로부터 얻어지는 것이어도 되고, 액정 패널 등의 디지털 화상 표시 장치에 입출력되는 디지털 화상이어도 된다.
본 발명의 디지털 화상 품질 테스터는, 자신의 주위의 영역에 비해서 화소 데이터가 불균일하게 변화되는 영역인 결함 영역을, 디지털 화상 내로부터 검출하는 결함 검출 장치에 외부 접속되어 있는 디지털 화상 품질 테스터로서, 상기 결함 검출 장치는, 상기 결함 영역을 검출하는 대상으로 되는 피검사 화상을, 복수의 블록으로 분할하는 블록 분할부와, 상기 블록 분할부에 의해 분할된 각 블록에 대해서, 블록내에 존재하는 화소의 화소 데이터를 가산한 값인 블록 가산값을 산출하는 블록 가산값 산출부를 구비하는 것이며, 상기 블록 가산값 산출부로부터 입력되는 상기 블록 가산값을 통계적으로 처리하여, 블록 가산값의 범위 외 값이 있는지를 판정함으로써, 상기 결함 영역의 유무를 판정하는 결함 영역 유무 판정부를 구비하고 있다.
또한, 상기 구성의 디지털 화상 품질 테스터는, 상기 결함 검출 장치가, 자신의 외부에 설치되어 있는 것이 바람직하다.
상기 구성에 따르면, 결함 검출 장치가 디지털 화상 품질 테스터의 외부에 설치되어 있으므로, 블록 분할부에 의한 블록 분할 처리와, 블록 가산값 산출부에 의한 블록 가산값 산출 처리를, 디지털 화상 품질 테스터의 외부에서 실행할 수 있다. 이에 의해, 디지털 화상 품질 테스터는, 블록 가산값의 범위 외 값이 있는지를 판정하는 통계적 처리만을 행하면 되므로, 보다 단시간에 결함 영역의 유무의 판정을 행할 수 있다.
본 발명의 결함 검출 장치는, 자신의 주위의 영역에 비해서 화소 데이터가 불균일하게 변화되는 영역인 결함 영역을, 디지털 화상 내로부터 검출하는 결함 검출 장치로서, (n/3)×(m/3)의 사이즈를 갖는 블록이, 9개 집합함으로써 구성되는 필터이며(n, m은 화소수로 3의 배수), 상기 (n/3)×(m/3)의 사이즈를 갖는 블록의 각각이 화소 데이터를 적분하는 것으로서 구성되며, 또한, 2차 미분을 행하는 하이패스 필터로서 구성되는 n×m 라플라시안 필터를 이용하여, 상기 결함 영역을 검출하는 대상으로 되는 피검사 화상에서의 상기 결함 영역을 현재화시키는 필터링 처리부를 구비하고 있다.
또한, 상기 구성의 결함 검출 장치에서, 상기 필터링 처리부는, 상기 n×m 라플라시안 필터에 의한 필터링 처리를, (n/3)×(m/3)의 사이즈를 갖는 필터로서, 필터를 구성하는 모든 가중 계수가 동일한 값으로 설정된 제1 필터에 의한 필터링 처리와, (n/3)×(m/3)의 사이즈를 갖는 블록이 9개 집합함으로써 형성되는 필터로서, 9개의 블록 중 중앙에 위치하는 중앙 블록의 중앙의 가중 계수와, 상기 중앙 블록을 둘러싸는 8개의 블록의 각각에서의 중앙의 가중 계수와의 합이 0으로 되도록 설정된 제2 필터에 의한 필터링 처리로 나누어 행하는 것이 바람직하다.
상기 구성에 따르면, n×m 라플라시안 필터에 의한 연산 처리를 저감하는 것이 가능하게 된다. 예를 들면, n=9, m=9의 경우, 9×9 라플라시안 필터에 의한 연산 처리는, 피검사 화상의 화소수를 N으로 하면 81N회의 곱의 합 연산이 필요하지만, 상기 제1 필터 및 제2 필터에 의한 2단계의 필터 처리에 의해, 곱의 합 연산의 횟수를 18N회까지 저감할 수 있다. 또한, 제1 필터 및 제2 필터에 따르면, n×m 라플라시안 필터와 마찬가지의 필터링 처리를 행할 수 있다. 따라서, 보다 단시간에 결함 영역의 유무를 판정하는 것이 가능하게 된다.
또한, 상기 구성의 결함 검출 장치는, 임의의 화소의 화소 데이터가 그 주위의 화소 데이터에 비해서 돌출된 값으로 되는 점 결함을 상기 피검사 화상으로부터 제거하는 점 결함 제거부에 외부 접속되어 있고, 상기 필터링 처리부는, 점 결함이 제거된 피검사 화상에 대하여 n×m 라플라시안 필터에 의한 필터링 처리를 실행하는 것이 바람직하다.
상기 구성에 따르면, 점 결함 제거부에 의해 점 결함이 제거된 피검사 화상에 대하여 n×m 라플라시안 필터에 의한 필터링 처리가 행하여져, 결함 영역이 현재화된다. 즉, 잠재적으로 결함 영역으로 될 수 있는 점 결함이, 필터링 처리를 행하기 전에 피검사 화상으로부터 제거되어 있어, 점 결함이 결함 영역으로서 검출되는 것을 방지할 수 있다. 이에 의해, 결함 영역의 검출 정밀도를 향상시킬 수 있다.
또한, 점 결함 제거부에 의한 점 결함 제거 처리는, 결함 검출 장치의 외부에서 행하여지므로, 결함 검출 장치는 n×m 라플라시안 필터에 의한 필터링 처리만을 행하면 되어, 결함 검출 장치에서의 처리가 복잡화되는 것을 방지할 수 있다.
또한, 상기 구성의 결함 검출 장치는, 상기 피검사 화상을 축소하는 화상 축소부에 외부 접속되어 있고, 상기 필터링 처리부가, 축소된 피검사 화상에 대하여 n×m 라플라시안 필터에 의한 필터링 처리를 실행하는 것이 바람직하다.
상기 구성에 따르면, 피검사 화상이 화상 축소부에 의해 축소되므로, 피검사 화상의 데이터량이 삭감됨과 함께, 피검사 화상 내에 존재하는 결함 영역을 강조시킬 수 있다.
또한, 화상 축소부에 의한 화상 축소 처리는, 결함 검출 장치의 외부에서 행하여지므로, 결함 검출 장치는 n×m 라플라시안 필터에 의한 필터링 처리만을 행하면 되어, 결함 검출 장치에서의 처리가 복잡화되는 것을 방지할 수 있다.
또한, 상기 구성의 결함 검출 장치는, 임의의 화소의 화소 데이터가, 그 주위의 화소 데이터에 비해서 돌출된 값으로 되는 점 결함을, 상기 피검사 화상으로부터 제거하는 점 결함 제거부를 구비하고 있고, 상기 필터링 처리부가, 점 결함이 제거된 피검사 화상에 대하여 n×m 라플라시안 필터에 의한 필터링 처리를 실행하는 구성이어도 된다.
상기 구성에 따르면, 점 결함 제거부에 의해 점 결함이 제거된 피검사 화상에 대하여 n×m 라플라시안 필터에 의한 필터링 처리가 행하여져, 결함 영역이 현재화된다. 즉, 잠재적으로 결함 영역으로 될 수 있는 점 결함이, 필터링 처리를 행하기 전에 피검사 화상으로부터 제거되어 있어, 점 결함이 결함 영역으로서 검출되는 것을 방지할 수 있다. 이에 의해, 결함 영역의 검출 정밀도를 향상시킬 수 있다.
또한, 상기 구성의 결함 검출 장치는, 상기 피검사 화상을 축소하는 화상 축소부를 구비하고 있고, 상기 필터링 처리부는, 축소된 피검사 화상에 대하여 n×m 라플라시안 필터에 의한 필터링 처리를 실행하는 것이 바람직하다.
상기 구성에 따르면, 피검사 화상이 화상 축소부에 의해 축소되므로, 피검사 화상의 데이터량이 삭감됨과 함께, 피검사 화상 내에 존재하는 결함 영역을 강조시킬 수 있다.
또한, 상기 구성의 결함 검출 장치는, 이미지 센서 디바이스에 설치해도 되고, 디지털 화상 품질 테스터에 설치해도 된다.
또한, 컴퓨터에 상기 결함 검출 방법을 실행시키는 결함 검출 프로그램에 의해, 컴퓨터를 이용해서 본 발명의 결함 검출 방법과 마찬가지의 작용 효과를 얻을 수 있다. 또한, 상기 결함 검출 프로그램을 컴퓨터 판독 가능한 기록 매체에 기억시킴으로써, 임의의 컴퓨터 상에서 상기 결함 검출 프로그램을 실행시킬 수 있다.
또한, 발명의 상세한 설명의 항에서 이루어진 구체적인 실시 양태 또는 실시예는, 어디까지나, 본 발명의 기술 내용을 명확하게 하는 것으로서, 그러한 구체예에만 한정해서 협의로 해석될 것이 아니라, 본 발명의 정신과 다음에 기재하는 특허 청구 사항의 범위 내에서, 여러 가지 변경해서 실시할 수 있는 것이다.
이상과 같이, 본 발명에 따르면, 디지털 화상에서의 결함 영역의 유무를 단시간에 판정할 수 있음과 함께, 컴팩트한 회로 구성으로 실현할 수 있는 결함 검출 장치, 이미지 센서 디바이스, 이미지 센서 모듈, 화상 처리 장치, 디지털 화상 품질 테스터, 결함 검출 방법, 결함 검출 프로그램, 및 컴퓨터 판독 가능한 기록 매체를 제공할 수 있게 된다.

Claims (31)

  1. 자신의 주위의 영역에 비해서 화소 데이터가 불균일하게 변화되는 영역인 결함 영역을 디지털 화상 내로부터 검출하는 결함 검출 장치로서,
    상기 결함 영역을 검출하는 대상으로 되는 피검사 화상을, 복수의 블록으로 분할하는 블록 분할부와,
    상기 블록 분할부에 의해 분할된 각 블록에 대해서, 블록 내에 존재하는 화소의 화소 데이터를 가산한 값인 블록 가산값을 산출하는 블록 가산값 산출부
    를 구비하며,
    상기 블록 가산값의 범위 외 값이 있는지를 통계적 처리에 의해 판정함으로써 상기 결함 영역의 유무를 판정하는 결함 영역 유무 판정부에 대하여, 상기 블록 가산값을 출력하는 결함 검출 장치.
  2. 제1항에 있어서,
    상기 블록 분할부는, 서로 이웃하는 블록끼리를 중첩시키도록, 상기 피검사 화상을 복수의 블록으로 분할하는 것인 결함 검출 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 결함 영역 유무 판정부가, 자신의 내부에 설치되어 있는 결함 검출 장치.
  4. 제1항 또는 제2항에 있어서,
    상기 결함 영역 유무 판정부가, 자신의 외부에 설치되어 있는 결함 검출 장치.
  5. 제1항 또는 제2항에 있어서,
    상기 결함 영역 유무 판정부는, 상기 블록 분할부가 분할한 복수의 블록의 각각에 대해서 상기 블록 가산값 산출부에 의해 구해지는 상기 블록 가산값 마다, 통계적으로 범위 외 값인지를 판정하는 것인 결함 검출 장치.
  6. 제1항 또는 제2항에 있어서,
    상기 결함 영역 유무 판정부는, 상기 블록 분할부가 분할한 복수의 블록의 각각에 대해서 상기 블록 가산값 산출부에 의해 구해지는 상기 블록 가산값 중, 최대의 값을 취하는 블록 가산값에 대해서, 통계적으로 범위 외 값인지를 판정하는 것인 결함 검출 장치.
  7. 제1항 또는 제2항에 있어서,
    상기 블록 가산값의 범위 외 값이 있는지의 여부의 판정을, 상기 블록 분할부에 의해 상기 피검사 화상이 분할된 블록의 개수 및 통계적인 유의 수준에 의해 결정된 판정 임계값과, 판정 대상으로 되는 블록 가산값과의 대소 비교에 의해 행 하는 결함 검출 장치.
  8. 제1항 또는 제2항에 있어서,
    상기 블록 가산값의 범위 외 값이 있는지의 여부의 판정을, 상기 결함 영역이 없다는 것의 기준으로 되는 양품 화상에 대해서 구해진 상기 블록 가산값을 통계적으로 처리해서 얻어지는 판정 임계값과, 판정 대상으로 되는 블록 가산값과의 대소 비교에 의해 행하는 결함 검출 장치.
  9. 제1항 또는 제2항에 있어서,
    상기 피검사 화상이, 이미지 센서 디바이스로부터 얻어지는 것인 결함 검출 장치.
  10. 제1항 또는 제2항의 결함 검출 장치를 구비하는 이미지 센서 디바이스.
  11. 제1항 또는 제2항의 결함 검출 장치를 구비하는 이미지 센서 모듈.
  12. 제1항 또는 제2항의 결함 검출 장치를 구비하는 화상 처리 장치.
  13. 제1항 또는 제2항의 결함 검출 장치를 구비하는 디지털 화상 품질 테스터.
  14. 자신의 주위의 영역에 비해서 화소 데이터가 불균일하게 변화되는 영역인 결함 영역을, 디지털 화상 내로부터 검출하는 결함 검출 장치에 외부 접속되어 있는 디지털 화상 품질 테스터로서,
    상기 결함 검출 장치는, 상기 결함 영역을 검출하는 대상으로 되는 피검사 화상을, 복수의 블록으로 분할하는 블록 분할부와,
    상기 블록 분할부에 의해 분할된 각 블록에 대해서, 블록 내에 존재하는 화소의 화소 데이터를 가산한 값인 블록 가산값을 산출하는 블록 가산값 산출부를 구비하는 것이며,
    상기 블록 가산값 산출부로부터 입력되는 상기 블록 가산값을 통계적으로 처리하여, 블록 가산값의 범위 외 값이 있는지의 여부를 판정함으로써, 상기 결함 영역의 유무를 판정하는 결함 영역 유무 판정부를 구비하고 있는 디지털 화상 품질 테스터.
  15. 제14항에 있어서,
    상기 결함 검출 장치가, 자신의 외부에 설치되어 있는 디지털 화상 품질 테스터.
  16. 자신의 주위의 영역에 비해서 화소 데이터가 불균일하게 변화되는 영역인 결함 영역을, 디지털 화상 내로부터 검출하는 결함 검출 장치로서,
    (n/3)×(m/3)의 사이즈를 갖는 블록이, 9개 집합함으로써 구성되는 필터이 며(n, m은 화소수로 3의 배수), 상기 (n/3)×/(m/3)의 사이즈를 갖는 블록의 각각이 화소 데이터를 적분하는 것으로서 구성되며, 또한, 2차 미분을 행하는 하이패스 필터로서 구성되는 n×m 라플라시안 필터를 이용하여, 상기 결함 영역을 검출하는 대상으로 되는 피검사 화상에서의 상기 결함 영역을 현재화시키는 필터링 처리부를 구비하고 있는 결함 검출 장치.
  17. 제16항에 있어서,
    상기 필터링 처리부는,
    상기 n×m 라플라시안 필터에 의한 필터링 처리를,
    (n/3)×(m/3)의 사이즈를 갖는 필터로서, 필터를 구성하는 모든 가중 계수가 동일한 값으로 설정된 제1 필터에 의한 필터링 처리와,
    (n/3)×/(m/3)의 사이즈를 갖는 블록이 9개 집합함으로써 형성되는 필터로서, 9개의 블록 중 중앙에 위치하는 중앙 블록의 중앙의 가중 계수와, 상기 중앙 블록을 둘러싸는 8개의 블록의 각각에서의 중앙의 가중 계수와의 합이 0으로 되도록 설정된 제2 필터에 의한 필터링 처리로 나누어 행하는 결함 검출 장치.
  18. 제16항 또는 제17항에 있어서,
    임의의 화소의 화소 데이터가 그 주위의 화소 데이터에 비해서 돌출된 값으로 되는 점 결함을 상기 피검사 화상으로부터 제거하는 점 결함 제거부에 외부 접속되어 있고,
    상기 필터링 처리부는, 점 결함이 제거된 피검사 화상에 대하여 n×m 라플라시안 필터에 의한 필터링 처리를 실행하는 결함 검출 장치.
  19. 제16항 또는 제17항에 있어서,
    상기 피검사 화상을 축소하는 화상 축소부에 외부 접속되어 있고,
    상기 필터링 처리부는, 축소된 피검사 화상에 대하여 n×m 라플라시안 필터에 의한 필터링 처리를 실행하는 결함 검출 장치.
  20. 제16항 또는 제17항에 있어서,
    임의의 화소의 화소 데이터가, 그 주위의 화소 데이터에 비해서 돌출된 값으로 되는 점 결함을, 상기 피검사 화상으로부터 제거하는 점 결함 제거부를 구비하고 있고,
    상기 필터링 처리부는, 점 결함이 제거된 피검사 화상에 대하여 n×m 라플라시안 필터에 의한 필터링 처리를 실행하는 결함 검출 장치.
  21. 제16항 또는 제17항에 있어서,
    상기 피검사 화상을 축소하는 화상 축소부를 구비하고 있고,
    상기 필터링 처리부는, 축소된 피검사 화상에 대하여 n×m 라플라시안 필터에 의한 필터링 처리를 실행하는 결함 검출 장치.
  22. 제16항 또는 제17항의 결함 검출 장치를 구비하는 이미지 센서 디바이스.
  23. 제16항 또는 제17항의 결함 검출 장치를 구비하는 이미지 센서 모듈.
  24. 제16항 또는 제17항의 결함 검출 장치를 구비하는 화상 처리 장치.
  25. 제16항 또는 제17항의 결함 검출 장치를 구비하는 디지털 화상 품질 테스터.
  26. 자신의 주위의 영역에 비해서 화소 데이터가 불균일하게 변화되는 영역인 결함 영역을, 디지털 화상 내로부터 검출하는 결함 검출 방법으로서,
    상기 결함 영역을 검출하는 대상으로 되는 피검사 화상을, 복수의 블록으로 분할하는 블록 분할 스텝과,
    상기 블록 분할 스텝에 의해 분할된 각 블록에 대해서, 블록 내에 존재하는 화소의 화소 데이터를 가산한 값인 블록 가산값을 산출하는 블록 가산값 산출 스텝과,
    상기 블록 가산값의 범위 외 값이 있는지를 통계적 처리에 의해 판정함으로써 상기 결함 영역의 유무를 판정하는 결함 영역 유무 판정 스텝을 포함하는 결함 검출 방법.
  27. 자신의 주위의 영역에 비해서 화소 데이터가 불균일하게 변화되는 영역인 결 함 영역을, 디지털 화상 내로부터 검출하는 결함 검출 방법으로서,
    (n/3)×(m/3)의 사이즈를 갖는 블록이, 9개 집합함으로써 구성되는 필터이며(n, m은 화소수로 3의 배수), 상기 (n/3)×(m/3)의 사이즈를 갖는 블록의 각각이 화소 데이터를 적분하는 것으로서 구성되며, 또한, 2차 미분을 행하는 하이패스 필터로서 구성되는 n×m 라플라시안 필터를 이용하여, 상기 결함 영역을 검출하는 대상으로 되는 피검사 화상에서의 상기 결함 영역을 현재화시키는 필터링 처리 스텝을 포함하는 결함 검출 방법.
  28. 제27항에 있어서,
    임의의 화소의 화소 데이터가, 그 주위의 화소 데이터에 비해서 돌출된 값으로 되는 점 결함을, 상기 피검사 화상으로부터 제거하는 점 결함 제거 스텝을 구비하고 있고,
    상기 필터링 처리 스텝은, 점 결함이 제거된 피검사 화상에 대하여 n×m 라플라시안 필터에 의한 필터링 처리를 실행하는 스텝인 결함 검출 방법.
  29. 제27항에 있어서,
    상기 피검사 화상을 축소하는 화상 축소 스텝을 구비하고 있고,
    상기 필터링 처리 스텝은, 축소된 피검사 화상에 대하여 n×m 라플라시안 필터에 의한 필터링 처리를 실행하는 스텝인 결함 검출 방법.
  30. 제26항의 결함 검출 방법을 컴퓨터에 실행시키는 결함 검출 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
  31. 제27항의 결함 검출 방법을 컴퓨터에 실행시키는 결함 검출 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020060094105A 2005-09-27 2006-09-27 결함 검출 장치, 이미지 센서 디바이스, 이미지 센서 모듈,화상 처리 장치, 디지털 화상 품질 테스터, 및 결함 검출방법 KR100779312B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060094105A KR100779312B1 (ko) 2005-09-27 2006-09-27 결함 검출 장치, 이미지 센서 디바이스, 이미지 센서 모듈,화상 처리 장치, 디지털 화상 품질 테스터, 및 결함 검출방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2005-00280888 2005-09-27
KR1020060094105A KR100779312B1 (ko) 2005-09-27 2006-09-27 결함 검출 장치, 이미지 센서 디바이스, 이미지 센서 모듈,화상 처리 장치, 디지털 화상 품질 테스터, 및 결함 검출방법

Publications (2)

Publication Number Publication Date
KR20070035452A KR20070035452A (ko) 2007-03-30
KR100779312B1 true KR100779312B1 (ko) 2007-11-23

Family

ID=41637733

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060094105A KR100779312B1 (ko) 2005-09-27 2006-09-27 결함 검출 장치, 이미지 센서 디바이스, 이미지 센서 모듈,화상 처리 장치, 디지털 화상 품질 테스터, 및 결함 검출방법

Country Status (1)

Country Link
KR (1) KR100779312B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11915388B2 (en) 2020-12-14 2024-02-27 Samsung Display Co., Ltd. Afterimage detection device that repeats downscaling of an inputimage using at least one of downscaling weight and luminance weight based on a time parameter and display device including the same

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102169580B1 (ko) * 2019-02-07 2020-10-23 넷마블 주식회사 비정상 디스플레이 화면 검출 방법 및 시스템
KR102412996B1 (ko) * 2020-02-05 2022-06-24 오스템임플란트 주식회사 의료 영상 획득 방법 및 이를 위한 장치
CN116381974B (zh) * 2023-06-06 2023-08-11 深圳市瀚达美电子有限公司 一种miniLED像素检测方法及系统
CN116433666B (zh) * 2023-06-14 2023-08-15 江西萤火虫微电子科技有限公司 板卡线路缺陷在线识别方法、系统、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06284346A (ja) * 1993-03-30 1994-10-07 Sony Corp 固体撮像装置の自動欠陥検出装置
JPH0965378A (ja) * 1995-08-29 1997-03-07 Sanyo Electric Co Ltd 固体撮像素子の欠陥画素検出回路
KR0152048B1 (ko) * 1995-06-22 1998-10-01 김광호 고체촬상소자의 결함 자동판별장치
JPH1127585A (ja) 1997-06-30 1999-01-29 Hitachi Denshi Ltd 固体撮像素子の欠陥画素検出方法
KR20010067343A (ko) * 1999-10-27 2001-07-12 다카노 야스아키 화상 신호 처리 장치 및 화소 결함의 검출 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06284346A (ja) * 1993-03-30 1994-10-07 Sony Corp 固体撮像装置の自動欠陥検出装置
KR0152048B1 (ko) * 1995-06-22 1998-10-01 김광호 고체촬상소자의 결함 자동판별장치
JPH0965378A (ja) * 1995-08-29 1997-03-07 Sanyo Electric Co Ltd 固体撮像素子の欠陥画素検出回路
JPH1127585A (ja) 1997-06-30 1999-01-29 Hitachi Denshi Ltd 固体撮像素子の欠陥画素検出方法
KR20010067343A (ko) * 1999-10-27 2001-07-12 다카노 야스아키 화상 신호 처리 장치 및 화소 결함의 검출 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11915388B2 (en) 2020-12-14 2024-02-27 Samsung Display Co., Ltd. Afterimage detection device that repeats downscaling of an inputimage using at least one of downscaling weight and luminance weight based on a time parameter and display device including the same

Also Published As

Publication number Publication date
KR20070035452A (ko) 2007-03-30

Similar Documents

Publication Publication Date Title
JP4657869B2 (ja) 欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体
JP4399494B2 (ja) 欠陥検出装置、欠陥検出方法、イメージセンサデバイスおよびイメージセンサモジュール
US8391585B2 (en) Defect detecting device, defect detecting method, image sensor device, image sensor module, defect detecting program, and computer-readable recording medium
US10867382B2 (en) Detecting mura defects in master panel of flat panel displays during fabrication
KR100779312B1 (ko) 결함 검출 장치, 이미지 센서 디바이스, 이미지 센서 모듈,화상 처리 장치, 디지털 화상 품질 테스터, 및 결함 검출방법
US9442077B2 (en) Scratch filter for wafer inspection
JP2005172559A (ja) パネルの線欠陥検出方法及び装置
KR101716111B1 (ko) 이물질 검출 시스템 및 방법
JP4244046B2 (ja) 画像処理方法および画像処理装置
KR100754969B1 (ko) 화상 검사 장치, 화상 검사 방법 및 컴퓨터 판독가능한 기억 매체
JP2011008482A (ja) 欠陥検出方法、欠陥検出装置、および欠陥検出プログラム
CN117252861A (zh) 一种晶圆表面缺陷的检测方法、装置及系统
JPH06207909A (ja) 表面欠陥検査装置
CN114723650A (zh) 晶圆缺陷检测方法和装置、设备及存储介质
KR20160097651A (ko) 유효화 영상처리기법을 이용한 시료의 패턴 검사 장치 및 방법, 그리고 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
US10627351B2 (en) Inspection of components for imperfections
CN114419037B (zh) 工件缺陷检测方法和装置
JP4956077B2 (ja) 欠陥検査装置及び欠陥検査方法
CN114092384A (zh) 对图像亮度进行校正的方法、图像分析装置和分析系统
JP2008011005A (ja) 撮像素子の欠陥検査方法及びプログラム
JP2005025503A (ja) フィルタの設計方法、フィルタ、欠陥検査方法および欠陥検査装置
van Zwanenberg et al. Estimation of ISO12233 edge spatial frequency response from natural scene derived step-edge data (JIST-first)
JP2803388B2 (ja) 部品検査装置
JPH1114554A (ja) 視覚欠陥検査方法および装置
CN115829900A (zh) 检测方法及检测系统、设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121114

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131031

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee