KR101243363B1

KR101243363B1 - 불량픽셀 제거 장치 및 방법

Info

Publication number: KR101243363B1
Application number: KR1020100112779A
Authority: KR
Inventors: 김건표
Original assignee: 에스케이하이닉스 주식회사
Priority date: 2010-11-12
Filing date: 2010-11-12
Publication date: 2013-03-13
Also published as: US20120133804A1; KR20120051372A

Abstract

본 발명은 중심픽셀의 위치영역을 고려하여 불량픽셀 검출 및 보정 동작을 수행할 수 있도록 하는 불량픽셀 제거 장치 및 방법에 관한 것으로, 상기 불량픽셀 제거 장치는 중심픽셀의 위치영역을 판별하는 중심픽셀 영역 판별부; 상기 중심픽셀의 위치영역을 고려하여 주변픽셀들을 선택하고, 선택된 상기 주변픽셀들을 이용하여 상기 중심픽셀의 불량여부를 판별하는 불량픽셀 판별부; 및 선택된 상기 주변픽셀들을 이용하여 상기 중심픽셀을 보정하는 불량픽셀 보정부를 포함할 수 있다.

Description

불량픽셀 제거 장치 및 방법{Apparatus and method for concealing a dead pixel}

본 발명은 불량픽셀 제거 장치 및 방법에 관한 것이다.

CIS(CMOS Image Sensor)에서 비정상적으로 동작하는 픽셀(Pixel)을 데드픽셀(Dead Pixel), 배드 픽셀(Bad Pixel), 또는 디펙트 픽셀(Defect Pixel)로 다양하게 정의하며(이하, 불량픽셀), 이러한 불량픽셀은 픽셀을 구성하는 여러 가지 소자(Tr, Diode, etc)의 불량 및 공정상의 오류로 인해서 가장 많이 발생한다.

불량픽셀이 발생하고 이의 픽셀값이 어떤 특정 값으로 고정(Stuck)되어 있는 경우, 불량픽셀 값이 주변픽셀 값과 비슷하면 그로 인한 영향은 미미하나, 불량픽셀 값과 주변픽셀 값과의 차이가 클 경우에는 보간(Interpolation(또는 디모자이크(Demosaic))) 이후 이미지 왜곡을 발생하게 된다.

또한, 픽셀 채도 레벨(Pixel Saturation Level)이 픽셀값의 최대치 또는 래퍼런스 슬루프(Reference Sloop)에서 대칭값 형태로 나타나지 않고 값의 중간에서 나타나거나 리퍼런스 슬루프(Reference Sloop)의 상하에서 나타날 경우 색을 정확히 나타내지 못하는 단점이 있다.

이는 비단 이미지 왜곡 문제뿐 아니라 생산 수율(Yield) 문제과도 연결되어, DPC(Defect Pixel Compensation) 기능이 없는 CIS의 경우 DPC 기능으로 불량픽셀을 보정한 CIS 대비 생산성이 떨어진다. 이러한 DPC는 ISP를 넘어 CIS의 중요한 기능으로 부각되고 있으므로, 최대한 불량픽셀을 이미지 특성(Edge Preservation)을 고려하여 보정해야지만 최소한의 이미지 왜곡(Image Distortion)을 만족할 수 있다.

그러나 종래 기술의 경우, DPC에 있어 중심픽셀의 위치영역(또는 방향성)의 구분 없이 단일방식을 적용하고 있어 이미지 왜곡 현상이 발생되는 문제가 있다. 또한, 싱글(Single) 불량픽셀의 검출 및 보정에 기능이 제한되어 있어서 공유 픽셀 구조(Shared Pixel Structure)에서 발생 가능한 클러스터 불량픽셀(Cluster Dead Pixel)를 효과적으로 검출할 수 없다. 그리고 중심픽셀 이외의 다른 불량픽셀이 존재할 때 효과적인 에지검출(Edge Detection)이 어려우며 이에 따라 이미지 특성에 맞게 보정하는 것도 불가능하다.

이미지 특성(즉, 중심픽셀의 위치영역)을 고려하지 않은 싱글 DPC는 도1a 및 도1b에 나타난 바와 같이 중심픽셀(P33)과 중심픽셀(P33)에 상하좌우 및 대각선 방향으로 차인접된 다수개의 동종 픽셀들(P11, P13, P15, P31, P35, P51, P53, P55)과의 차이를 분석하여 중심픽셀의 불량픽셀 여부를 판단하고 보정하게 된다.

이 경우 중심픽셀이 평탄영역(저주파 영역)에 위치한 경우에는, 단순히 8개의 동종 픽셀들을 절대적으로 비교하면 되기 때문에, 불량픽셀의 검출(Detection) 및 보정(Compensation)에 어려움이 없다.

그러나 중심픽셀이 에지영역(고주파 영역)에 위치한 경우에는 도2에 나타난 바와 같이 중심픽셀(P33)과 8개의 이웃한 동종 픽셀들(P11, P13, P15, P31, P35, P51, P53, P55)과의 차이를 통해서 중심픽셀의 불량픽셀 여부를 판단하게 되면, 큰 변동량(variation)을 가지는 차이 값에 의해 화이트 픽셀(White Pixel)/블랙 픽셀(Black Pixel)/핫 픽셀(Hot Pixel)/콜드 픽셀(Cold Pixel)로 세분화되는 불량픽셀과 방향성을 갖는 에지를 정확히 구별해서 검출하기가 어렵게 된다.

또한 보정 방식에 있어서도 이미지 특성에 맞는 주변픽셀을 선택해 연산을 진행해야 자연스러운 영상 특성을 얻을 수 있는데, 평탄영역에서 진행한 보정 방식을 에지영역에 그대로 적용하면 이미지 특성이 희미(Blur)해져 결과적으로 이미지 왜곡이 발생된다. 이하, 수학식1은 평탄영역에서 진행되는 보정 방식에 따른 보정식을 나타낸 것이다.

[수학식1]

또한, 중심픽셀의 동종픽셀들 중에 추가적인 불량픽셀이 존재할 경우, 중심픽셀의 불량여부를 판단할 때 싱글 불량픽셀 검출 방식을 사용할 수 없게 되는데, 이는 도2a 및 도2b와 같이 5x5 윈도우(window) 내에 존재하는 또 다른 불량픽셀 (P13)이 중심픽셀의 판별에 필요한 연산에 영향을 미치기 때문이다.

더불어 보정 방법에서 평탄영역에 있는 불량픽셀이라도 5x5 window 내에 추가적인 불량픽셀(P13)에 의해 보정값이 영향을 받기 때문에, 이러한 경우 중심픽셀의 보정값은 주위와 어울리는 값으로 대치되는 것이 아니라, 화이트 픽셀인 경우에는 주변보다 좀더 밝은 색(Like Hot Pixel)으로, 블랙픽셀인 경우에는 주변보다 좀더 어두운 색(Like Cold Pixel)으로 보정되는 오류들이 발생하게 된다.

이에 본 발명에서는 중심픽셀의 위치영역을 고려하여 불량픽셀 검출 및 보정 동작을 수행할 수 있도록 하는 불량픽셀 제거 장치 및 방법을 제공하고자 한다.

또한 중심픽셀의 위치영역뿐 만 아니라 불량픽셀의 개수까지도 고려할 수 있는 불량픽셀 제거 장치 및 방법을 제공하고자 한다.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, 중심픽셀의 위치영역을 판별하는 중심픽셀 영역 판별부; 상기 중심픽셀의 위치영역을 고려하여 주변픽셀들을 선택하고, 선택된 상기 주변픽셀들을 이용하여 상기 중심픽셀의 불량여부를 판별하는 불량픽셀 판별부; 및 선택된 상기 주변픽셀들을 이용하여 상기 중심픽셀을 보정하는 불량픽셀 보정부를 포함하는 불량픽셀 제거 장치를 제공한다.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따르면, 중심픽셀에 상하좌우 및 대각선 방향으로 차인접된 픽셀들과 상기 중심픽셀에 상하 방향으로 인접된 픽셀들을 이용하여, 상기 중심픽셀의 위치영역을 판별하는 단계; 상기 중심픽셀의 위치영역을 고려하여 주변픽셀들을 선택하는 단계; 및 선택된 상기 주변 픽셀들을 이용하여 상기 중심픽셀의 불량여부를 판별하고, 상기 중심픽셀을 보정하는 단계를 포함하는 불량픽셀 제거 방법을 제공한다.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 또 다른 실시 형태에 따르면, 중심픽셀에 상하좌우 및 대각선 방향으로 인접된 픽셀들을 이용하여 상기 중심픽셀의 위치영역을 판별하는 단계; 중심픽셀의 인접픽셀들을 이용하여, 상기 중심픽셀의 위치영역을 판별하는 단계; 상기 중심픽셀의 위치영역을 고려하여 주변픽셀들을 선택하는 단계; 선택된 상기 주변 픽셀들을 이용하여 상기 중심픽셀의 불량 여부와 클러스터 불량 픽셀 발생 여부를 확인하는 단계; 및 상기 중심픽셀이 불량픽셀이면 상기 주변 픽셀들을 이용하여 상기 중심픽셀을 보상하되, 클러스터 불량 픽셀이 발생된 경우에는 상기 주변 픽셀들 중 중간 범위의 픽셀값을 가지는 주변 픽셀들만을 이용하여 상기 중심 픽셀을 보상하는 단계를 포함하는 불량픽셀 제거 방법을 제공한다.

본 발명의 불량픽셀 제거 장치 및 방법은 중심픽셀의 위치영역을 고려하여 주변픽셀을 선택하도록 함으로써, 불량검출 동작과 중심픽셀 보정 동작이 보다 정확하고 신뢰성있게 수행될 수 있도록 한다. 이에 본 발명에 따르면 중심픽셀의 위치영역에 상관없이 항상 자연스러운 영상 특성을 획득할 수 있어, 이미지 왜곡의 최소화가 가능하고 생산성(Yield)도 향상되게 된다.

또한 본 발명의 불량픽셀 제거 장치 및 방법은 중심픽셀의 위치영역뿐 만 아니라 불량픽셀의 개수까지도 고려하여 주변픽셀을 선택하도록 함으로써, 불량검출 동작과 중심픽셀 보정 동작의 정확성과 신뢰성을 극대화시켜 줄 수 있다.

도1a 및 도1b는 종래의 기술에 따른 불량픽셀 검출원리를 도시한 도면이다.
도2a 및 도2b는 클러스터 불량픽셀 발생 예를 도시한 도면이다.
도3은 본 발명의 일 실시예에 따른 불량픽셀 제거 장치를 도시한 도면이다.
도4a 내지 도4c는 본 발명의 일 실시예에 따른 중심픽셀 영역 판별부의 중심픽셀의 위치영역 판별 원리를 설명하기 위한 도면이다.
도5a 내지 도5c는 본 발명의 일 실시예에 따른 불량픽셀 판별부의 불량픽셀 판별 원리를 설명하기 위한 도면이다.
도6은 본 발명의 일 실시예에 따른 불량픽셀 제거 방법을 도시한 도면이다.
도7은 본 발명의 다른 실시예에 따른 불량픽셀 제거 장치를 도시한 도면이다.
도8a 내지 도8c는 본 발명의 일 실시예에 따른 중심픽셀 1차 판별부 및 중심픽셀 2차 판별부의 중심픽셀의 위치영역 판별 원리를 설명하기 위한 도면이다.
도9a 내지 도9e는 본 발명의 일 실시예에 따른 불량픽셀 판별부의 불량픽셀 판별 원리를 설명하기 위한 도면이다.
도10은 본 발명의 다른 실시예에 따른 불량픽셀 제거 방법을 도시한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

이하에서는 설명의 편이를 위해 베이어 로우 데이터(Bater Raw Data)에 포함된 싱글 불량픽셀을 검출 및 보정하기 위해 5ⅹ5 윈도우(window) 기반으로 연산을 수행하는 경우에 한하여 설명하기로 한다.

도3은 본 발명의 일 실시예에 따른 불량픽셀 제거 장치를 도시한 도면이다.

도3을 참조하면, 상기 불량픽셀 제거 장치는 중심픽셀이 위치하는 영역(평탄영역, 수평방향 에지영역, 수직방향 에지영역)을 판별하는 중심픽셀 영역 판별부(10), 중심픽셀의 위치영역을 고려하여 주변픽셀들을 선택하고 상기 중심픽셀의 불량여부를 판별하는 불량픽셀 판별부(20), 주변픽셀들을 이용하여 중심픽셀을 보정하는 불량픽셀 보정부(30), 보정된 중심픽셀값을 출력으로 내보내는 픽셀 출력부(40) 등을 포함할 수 있다.

이하, 각 구성요소의 기능을 보다 상세하게 살펴보면 다음과 같다.

상기 중심픽셀 영역 판별부(10)은 5x5 윈도우의 25개 구성 성분(특히, 중심픽셀의 동종픽셀들과 상하 인접픽셀들)을 이용하여 중심픽셀이 위치하는 영역을 평탄영역, 수평방향 에지영역, 및 수직방향 에지영역으로 구분한다.

이를 위해, 상기 중심픽셀 영역 판별부(10)는 우선 도4a 및 도4b에 나타난 바와 같이 다수개 픽셀들간 픽셀값을 행 및 열 기준으로 비교하여, 행기준 픽셀값차(dH1~dH9)와 열기준 픽셀값차(dV1~dV9)를 획득한다.

[수학식2]

dH1=abs(P11-P15)

dH2=((abs(P11-P13) +abs(P13-P15))/2)

dH3=abs(P21-P25)

dH4=((abs(P21-P23) +abs(P23-P25))/2)

dH5=abs(P31-P35)

dH6=abs(P41-P45)

dH7=((abs(P41-P43) +abs(P43-P45))/2)

dH8=abs(P51-P55)

dH9=((abs(P51-P53) +abs(P53-P55))/2)

[수학식3]

dV1=abs(P11-P51)

dV2=((abs(P11-P31) +abs(P31-P51))/2)

dV3=abs(P12-P52)

dV2=((abs(P12-P32) +abs(P32-P52))/2)

dV5= abs(P13-P53)

dV6= abs(P14-P54)

dV2=((abs(P14-P34) +abs(P34-P54))/2)

dV8= abs(P15-P55)

dV2=((abs(P15-P35) +abs(P35-P55))/2)

그리고 나서, 도4c에 나타난 바와 같이 행기준 픽셀값차(All dH=dH1~dH9)와 열기준 픽셀값차(All dV=dV1~dV9)를 에지검출 기준치(Egde_Threshold)와 비교한다. 비교결과, 모든 픽셀값차가 에지검출 기준치(Egde_Threshold) 보다 작으면, 중심픽셀의 위치영역을 평탄영역(P33=Flat)으로 정의한다. 반면, 모든 행기준 픽셀값차(All dH=)가 에지검출 기준치(Egde_Threshold) 보다 작은 경우에는 수직방향 에지영역(P33=Vertical_Edge)을, 모든 열기준 픽셀값차(dV1~dV9)가 에지검출 기준치(Egde_Threshold) 보다 작은 경우에는 수평방향 에지영역(P33=Horizontal_Edge)을, 중심픽셀의 위치영역으로 각각 정의한다.

상기 불량픽셀 판별부(20)는 중심픽셀의 위치영역에 따라 불량픽셀 검출에 이용할 주변픽셀들을 달리 선택한다. 즉, 중심픽셀의 위치영역을 고려하여 주변픽셀들을 선택하고, 주변픽셀들과 중심픽셀간의 픽셀값차가 불량픽셀 검출범위(즉, High_Threshold(%) ~ Low_Threshold(%))를 벗어나는 지 확인하여, 중심픽셀의 불량 여부를 확인한다.

이를 위해, 상기 불량픽셀 판별부(20)는 도5a에서와 같이, 중심픽셀(P33)의 위치영역이 평탄영역인 경우에는 중심픽셀(P33)의 동종픽셀들(즉, 중심픽셀으로부터 상하좌우 및 대각선 방향으로 1 픽셀만큼 이격된 픽셀들(P11, P13, P15, P31, P35, P51, P53, P55)) 모두를 주변픽셀들로 선택한다. 반면, 중심픽셀(P33)의 위치영역이 수평방향 에지영역인 경우에는, 도5b에서와 같이 중심픽셀의 좌우에 위치하는 동종픽셀(P31, P35)만을 주변픽셀들로 선택하고, 중심픽셀(P33)이 수직방향 에지영역에 위치하는 경우에는, 도5c에 나타난 바와 같이 중심픽셀의 상하에 위치하는 동종픽셀(P13, P53)만을 주변픽셀들로 선택한다.

그리고 선택완료된 주변픽셀들((P11, P13, P15, P31, P35, P51, P53, P55), (P31, P35), 또는 (P13, P53))과 중심픽셀간 픽셀값차를 구하고, 그 값 모두가 불량픽셀 검출범위(즉, High_Threshold(%) ~ Low_Threshold(%))내에 포함될 때에는 중심픽셀을 정상픽셀로 판정한다. 반면, 모든 값이 불량픽셀 검출범위(즉, High_Threshold(%) ~ Low_Threshold(%))를 벗어나면 중심픽셀을 불량픽셀로 판정한다.

상기 불량픽셀 보정부(30)도 중심픽셀의 위치영역에 따라 중심픽셀 보정에 이용할 주변픽셀들을 달리 선택한다. 즉, 중심픽셀의 위치영역이 평탄영역인 경우에는, 모든 동종픽셀들(P11, P13, P15, P31, P35, P51, P53, P55)만을 이용하여 중심픽셀(P33)을 보정하되(수학식4), 수평방향 에지영역인 경우에는 중심픽셀(P33)의 좌우에 위치하는 동종픽셀(P31, P35)만을 이용하여 중심픽셀(P33)을 보정하고(수학식5), 수직방향 에지영역에 위치하는 경우에는 중심픽셀(P33)의 상하에 위치하는 동종픽셀(P13, P53)만을 이용하여 중심픽셀(P33)을 보정한다(수학식 6).

[수학식4]

[수학식5]

[수학식6]

상기 픽셀 출력부(40)는 보정 결과의 오버-플로우(Over-Flow)를 방지하기 위해서 중심픽셀의 보정된 픽셀값을 클램프(cramp)하여 출력한다.

도6은 본 발명의 일 실시예에 따른 불량픽셀 제거 방법을 도시한 도면이다.

먼저, 5ⅹ5 윈도우 기반의 이미지가 입력되면(S1), 다수개 픽셀의 픽셀값을 행 및 열 기준으로 분석하여 행기준 픽셀값차(dH1~dH9)와 열기준 픽셀값차(dV1~dV9)를 획득한다. 그리고 에지검출 기준치(Egde_Threshold)와 비교하여 중심픽셀(P33)의 위치영역을 판별한다(S2).

만약, 중심픽셀(P33)이 평탄영역에 위치하면, 동종픽셀들(P11, P13, P15, P31, P35, P51, P53, P55) 모두를 주변픽셀들로 선택한다(S3).

반면, 중심픽셀(P33)이 수평방향 에지영역에 위치하는 경우에는 중심픽셀의 좌우에 위치하는 동종픽셀들(P31, P35)만을 주변픽셀들로 선택하고(S4), 중심픽셀(P33)이 수직방향 에지영역에 위치하는 경우에는 중심픽셀(P33)의 상하에 위치하는 동종픽셀들(P13, P53)만을 주변픽셀들로 선택한다(S5).

그리고 단계 S3, S4, 또는 S5에 의해 선택된 주변픽셀들((P11, P13, P15, P31, P35, P51, P53, P55), (P31, P35), 또는 (P13, P53))과 중심픽셀간 픽셀값 차를 구한 후, 불량픽셀 검출범위(High_Threshold(%) ~ Low_Threshold(%))와 비교하여, 중심픽셀의 불량여부를 확인한다(S6).

단계S6의 확인결과, 픽셀값차 모두가 불량픽셀 검출범위(High_Threshold(%) ~ Low_Threshold(%))를 벗어나 중심픽셀이 불량픽셀로 판정되면, 상기 수학식4에 따라 중심픽셀을 보정한다(S7)

반면, 픽셀값차 모두가 불량픽셀 검출범위(High_Threshold(%) ~ Low_Threshold(%))내에 포함되어 중심픽셀이 정상픽셀로 판정하고, 중심픽셀을 보정하지 않고 중심픽셀의 픽셀값을 그대로 유지한다(S8).

이와 같이, 본 발명의 일 실시예에서는 중심픽셀의 위치영역을 구분하고, 중심픽셀의 위치영역에 따라 주변픽셀의 선택 과정, 중심픽셀 보정 과정을 달리해줌으로써, 중심픽셀의 불량 여부를 보다 정확하게 검출하고, 보다 정확한 보정 동작이 수행될 수 있도록 한다.

한편, 앞서 설명된 바와 같이 5ⅹ5 윈도우내에 중심픽셀이 아닌 동종픽셀 중에도 불량픽셀이 발생할 수 있다. 이에 본 발명에서는 이러한 경우에도 정확하고 신뢰성있는 불량픽셀 제거 동작을 수행할 수 있도록 하는 장치를 추가적으로 제안하고자 한다.

도7은 본 발명의 다른 실시예에 따른 불량픽셀 제거 장치를 도시한 도면이다.

도7을 참조하면, 상기 불량픽셀 제거 장치는 중심픽셀 1차 판별부(11), 중심픽셀 2차 판별부(12)로 이루어지는 상기 중심픽셀 영역 판별부(10)를 구비함을 알 수 있다.

상기 중심픽셀 1차 판별부(11)는 5x5 윈도우의 25개 구성 성분(특히, 중심픽셀의 동종픽셀들과 상하 인접픽셀들)을 이용하여 중심픽셀의 위치영역을 평탄영역, 수직방향 에지영역, 수평방향 에지영역으로 세분화하여 구별한다.

다만, 상기 중심픽셀 1차 판별부(11)는 도8a에 나타난 바와 같이 행기준 픽셀값차(dH1~dH9) 또는 열기준 픽셀값차(dV1~dV9) 중 일부가 에지검출 기준치(Egde_Threshold) 보다 큰 값을 가지더라도, 중심픽셀의 위치영역을 구별할 수 있도록 한다. 즉, 행기준 픽셀값차(dH1~dH9) 및 열기준 픽셀값차(dV1~dV9) 중 일부(예를 들어, 7개 이상)가 에지검출 기준치(Egde_Threshold) 보다 작으면, 중심픽셀이 평탄영역에 위치하는 것으로 정의한다(P33=flat). 이와 동일하게 행기준 픽셀값차(dH1~dH9) 중 일부(예를 들어, 7개 이상)가 에지검출 기준치(Egde_Threshold) 보다 작으면 수평방향 에지영역을, 열기준 픽셀값차(dV1~dV9) 중 일부(예를 들어, 7개 이상)가 에지검출 기준치(Egde_Threshold) 보다 작으면 수직방향 에지영역을 중심픽셀의 위치영역으로 각각 정의한다.

상기 중심픽셀 2차 판별부(12)는 3x3 윈도우의 9개 구성 성분(특히, 중심픽셀의 인접픽셀들)을 이용하여 중심픽셀의 위치영역을 평탄영역, 수평방향 에지영역, 좌대각 에지영역, 및 우대각 에지영역으로 보다 세분화하여 구별한다. 즉, 상기 중심픽셀 2차 판별부(12)는 도8b에 나타난 바와 같이 중심픽셀(P33)에 인접된 인접픽셀들(P22, P23, P24, P32, P34, P42, P43, P44)만을 이용하여 중심픽셀의 위치영역을 판별한다.

이를 위해, 상기 중심픽셀 2차 판별부(12)는 수학식 7에서와 같이 인접픽셀(P22, P23, P24, P32, P34, P42, P43, P44)간 픽셀값을 서로 비교하여, 상하 픽셀값차(dH_sub), 좌우 픽셀값차(dV_sub), 좌대각 픽셀값차(dRD_sub), 및 우대각 픽셀값차(dLD_sub)를 산출한다. 그리고 이들중에서 최소값을 가지는 픽셀값차가 무엇인지 파악한다.

[수학식7]

dH_sub=abs(P23-P43)

dV_sub=abs(P32-P34)

dRD_sub=abs(P43-P24)

dLD_sub=abs(P22-P44)

SORT(asecending)={dH_sub, dV_sub, dRD_sub, dLD_sub}

그리고 나서, 도8c에 나타난 바와 같이 상하 픽셀값차(dH_sub), 좌우 픽셀값차(dV_sub), 우대각 픽셀값차(dRD_sub) 및 좌대각 픽셀값차(dLD_sub)를 에지검출 기준치(Egde_Threshold)와 비교하여 중심픽셀의 위치영역을 결정한다. 즉, 모든 픽셀값차(dH_sub, dV_sub, dRD_sub, dLD_sub)가 에지검출 기준치(Egde_Threshold) 보다 작은 경우에는, 중심픽셀은 평탄영역에 위치하는 것으로 정의하되, 상하 픽셀값차(dH_sub)이 에지검출 기준치(Egde_Threshold) 보다 작으며 최소값을 가지는 경우에는 수직 방향 에지영역을, 좌우 픽셀값차(dV_sub)이 에지검출 기준치(Egde_Threshold) 보다 작으며 최소값을 가지는 경우에는 수평방향 에지영역을, 우대각 픽셀값차(dRD_sub)이 에지검출 기준치(Egde_Threshold) 보다 작으며 최소값을 가지는 경우에는 우대각방향 에지영역을, 좌대각 픽셀값차(dLD_sub)이 에지검출 기준치(Egde_Threshold) 보다 작으며 최소값을 가지는 경우에는 좌대각방향 에지영역을 중심픽셀의 위치영역으로 각각 정의한다.

이때, 상기 중심픽셀 2차 판별부(12)의 판별결과는 상기 중심픽셀 1차 판별부(11)의 판별결과는 보다 높은 우선 순위를 가지며, 이에 따라 중심픽셀의 위치영역이 상기 중심픽셀 2차 판별부(12)의 판별결과에 따라 최종 결정된다. 또한, 필요한 경우, 상기 중심픽셀 1차 판별부(11)을 구비하지 않거나, 상기 중심픽셀 1차 판별부(11)가 신호 전달 역할만을 수행하도록 할 수도 있다.

상기 불량픽셀 판별부(20)는 중심픽셀의 위치영역에 따라 주변픽셀들을 달리 선택하고 중심픽셀의 불량 여부를 판별하되, 중심픽셀이 평탄영역에 위치하는 경우에는 해당 중심 픽셀이 싱글 불량 픽셀인지 클러스터 불량 픽셀인지도 추가적으로 판별한다.

즉, 상기 불량픽셀 판별부(20)는 중심픽셀(P33)이 평탄영역에 위치하는 경우에는 모든 동종픽셀들((P11, P13, P15, P31, P35, P51, P53, P55), (P31, P35)을 주변픽셀로 선택하고, 수평방향 에지영역에 위치하는 경우에는, 중심픽셀의 좌우에 위치하는 동종픽셀들(P31, P35)만이 주변픽셀들로 선택하고, 중심픽셀(P33)이 수직방향 에지영역에 위치하는 경우에는, 중심픽셀의 상하에 위치하는 동종픽셀들(P13, P53)이 주변픽셀들로 선택한다. 또한 중심픽셀(P33)이 우대각방향 에지영역인 경우에는 우대각 방향에 위치하는 동종픽셀들(P15, P51)을 주변픽셀들로 선택하고, 좌대각방향 에지영역인 경우에는 중심픽셀의 좌대각 방향에 위치하는 동종픽셀들(P11, P55)을 주변픽셀들로 선택한다.

그리고 도9a 내지 도9e에서와 같이 주변픽셀과 중심픽셀간 픽셀값차를 산출하고, 이들을 불량픽셀 검출범위(즉, High_Threshold(%) ~ Low_Threshold(%))와 비교하여 중심픽셀이 불량픽셀인지를 판별한다.

특히, 중심픽셀이 평탄영역에 위치하는 경우에는 도9a에서와 같이 불량픽셀 검출범위를 벗어나는 픽셀값차를 가지는 주변픽셀 개수를 추가 확인하여, 중심픽셀이 싱글 불량 픽셀인지 클러스터 불량 픽셀인지도 추가로 판단한다(즉, 중심픽셀 이외에 또 다른 불량 픽셀이 있는지도 추가로 판단한다). 예를 들어, 모든 픽셀값차가 불량픽셀 검출범위를 벗어나면 중심픽셀을 싱글 불량픽셀로 판단하고, 설정개수(즉, 7개) 이상의 픽셀값차가 불량픽셀 검출범위를 벗어나면 중심픽셀을 클러스터 불량픽셀로 판단하고, 설정개수(즉, 7개) 이상의 픽셀값차가 불량픽셀 검출범위 내에 포함되면 중심픽셀을 정상픽셀로 판단할 수 있을 것이다.

상기 불량픽셀 보정부(30)는 중심픽셀의 위치영역과 불량픽셀의 종류 모두를 고려하여 중심픽셀의 보정 방법을 달리한다. 특히, 중심픽셀이 평탄영역이 위치하며 싱글 불량픽셀이면 주변픽셀 모두의 픽셀값을 이용하여 중심픽셀을 보정하되, 중심픽셀이 클러스터 불량픽셀이면 주변픽셀 중 일부의 픽셀값을 이용하여 중심픽셀을 보정해준다.

[수학식8]

즉, 중심픽셀이 중심픽셀이 평탄영역이 위치하며 클러스터 불량픽셀이면, 상기 불량픽셀 보정부(30)는 주변픽셀들(P11, P13, P15, P31, P35, P51, P53, P55)을 픽셀값 순으로 정렬하여 중간 범위의 픽셀값을 가지는 주변픽셀들(p3rd, p4th, p5th, p6th)만을 이용하여 중심픽셀을 보정해준다.

그리고 중심픽셀이 수평방향 에지영역 및 수직방향 에지영역에 위치한 경우에는 상기의 수학식5 및 수학식6을 이용하여 중심픽셀을 보정하고, 중심픽셀이 우대각방향 에지영역 및 좌대각방향 에지영역에 위치한 경우에는 이하의 수학식9 및 수학식10을 이용하여 중심픽셀을 보정한다.

[수학식9]

[수학식10]

즉, 본 발명의 다른 실시예에 따른 불량픽셀 제거 장치는 중심픽셀의 위치영역뿐 만 아니라 불량픽셀의 개수까지도 고려하여 중심픽셀을 보정해줄 수 있음을 알 수 있다.

도10는 본 발명의 다른 실시예에 따른 불량픽셀 제거 방법을 도시한 도면으로, 이는 중심픽셀의 위치영역뿐 만 아니라 불량픽셀의 개수까지 고려하는 경우에 관한 것이다.

먼저, 5ⅹ5 윈도우 이미지와 3ⅹ3 윈도우 이미지를 동시에 입력받고, 5ⅹ5 윈도우 이미지와 3ⅹ3 윈도우 이미지 각각을 이용한 중심픽셀(P33)의 위치영역을 판별 동작을 수행한다(S21, S22).

S21 및 S22의 판별 결과를 고려하여, 중심픽셀(P33)의 위치영역을 평탄영역, 수평방향 에지영역, 수직방향 에지영역, 우대각 에지영역, 좌대각 에지영역으로 세분화하여 구분한다(S23). 단계 S23에서는 3ⅹ3 윈도우 이미지를 이용하여 판별된 중심픽셀(P33)의 위치영역에 우선 순위를 위해 중심픽셀(P33)의 위치영역을 최종 판별하도록 한다.

만약, 중심픽셀(P33)이 평탄영역에 위치한다고 판별되면, 동종픽셀들(P11, P13, P15, P31, P35, P51, P53, P55) 모두를 주변픽셀들로 선택하고(S24), 이들 모두(P11, P13, P15, P31, P35, P51, P53, P55)를 이용하여 중심픽셀의 불량 여부 및 불량픽셀 개수를 파악한다(S25).

단계 S25의 확인결과, 중심픽셀(P33)이 클러스터 불량픽셀이면, 앞서 설명된 수학식8에서와 같이 주변픽셀 중 일부만을 이용하여 중심픽셀을 보정한다(S26). 즉, 주변픽셀들(P11, P13, P15, P31, P35, P51, P53, P55) 중에서 중간 범위의 픽셀값을 가지는 픽셀들(p3rd, p4th, p5th, p6th)만을 이용하여 중심픽셀을 보정해준다.

단계 S25의 확인결과, 중심픽셀(P33)이 싱글 불량픽셀이면, 앞서 설명된 수학식4에서와 같이 주변픽셀 모두(P11, P13, P15, P31, P35, P51, P53, P55) 의 픽셀값을 이용하여 중심픽셀을 보정한다(S27).

반면, 단계 S25의 확인결과, 중심픽셀(P33)이 정상픽셀이면, 중심픽셀의 픽셀값을 그대로 유지한다. 즉, 별도의 보정 동작을 수행하지 않는다(S28).

계속하여, 중심픽셀(P33)이 수평방향 에지영역에 위치하면, 동종픽셀들(P11, P13, P15, P31, P35, P51, P53, P55) 중 좌우에 위치한 픽셀만(P31, P35)을 주변픽셀로 선택한다(S29).

이와 동일한 방식으로, 중심픽셀(P33)이 수직방향 에지영역에 위치하는 경우에는 중심픽셀(P33)의 상하에 위치한 동종픽셀만(P13, P53)을, 중심픽셀(P33)이 우대각 에지영역에 위치하는 경우에는 중심픽셀(P33)의 우대각선 방향에 위치한 픽셀만(P15, P51)을, 중심픽셀(P33)이 좌대각 에지영역에 위치하는 경우에는 중심픽셀(P33)의 좌대각선 방향에 위치한 픽셀만(P11, P55)을 주변픽셀로 각각 선택해준다(S30, S31, S32).

그리고 나서, 단계 S29, S30, S31, 또는 S32를 통해 선택된 주변픽셀을 이용하여 중심픽셀의 불량 여부를 파악한 후(S33), 중심픽셀이 불량픽셀인 경우에는 단계 S27로, 중심픽셀이 정상픽셀인 경우에는 단계 S28로 각각 진입해준다.

더하여, 본 발명의 에지검출 기준치(Egde_Threshold), 불량픽셀 검출범위(즉, High_Threshold(%) ~ Low_Threshold(%)), 싱글 또는 클러스터 불량픽셀의 판단 기준이 되는 설정 개수, 그리고 동종픽셀들의 선택 기준이 되는 거리는 이미지 타입, 적용 분야 등에 따라 다양하게 설정 및 변경되는 값이다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

10: 중심픽셀 영역 판별부 11: 중심픽셀 1차 판별부
12: 중심픽셀 2차 판별부 20: 불량픽셀 판별부
30: 불량픽셀 보정부 40: 픽셀 출력부

Claims

중심픽셀의 위치영역을 판별하는 중심픽셀 영역 판별부;
상기 중심픽셀의 위치영역을 고려하여 주변픽셀들을 선택하고, 선택된 상기 주변픽셀들을 이용하여 상기 중심픽셀의 불량여부를 판별하는 불량픽셀 판별부; 및
선택된 상기 주변픽셀들을 이용하여 상기 중심픽셀을 보정하는 불량픽셀 보정부를 포함하고,
상기 중심픽셀은 상하좌우 및 대각선 방향으로 차인접된 픽셀들을 동종 픽셀로 가지고,
상기 중심픽셀 영역 판별부는
상기 중심픽셀의 동종 픽셀들과 상기 중심픽셀에 상하 방향으로 인접된 픽셀들을 이용하여, 상기 중심픽셀의 위치영역을 평탄영역, 수직방향 에지영역, 및 수평방향 에지영역으로 세분화하여 구별하고,
상기 불량픽셀 판별부는
상기 중심픽셀의 위치영역이 평탄영역인 경우에는 상기 중심픽셀의 동종픽셀들 모두를, 수평방향 에지영역인 경우에는 상기 중심픽셀의 좌우에 위치하는 동종픽셀들만을, 수직방향 에지영역인 경우에는 상기 중심픽셀의 상하에 위치하는 동종픽셀들만을, 상기 중심픽셀의 주변픽셀들로 각각 선택하는 불량픽셀 제거 장치.
삭제
삭제
삭제
제1항에 있어서, 상기 불량픽셀 판별부는
상기 주변픽셀들의 픽셀값을 이용하여 상기 중심픽셀의 불량 여부를 판별하는 것을 특징으로 하는 불량픽셀 제거 장치.
제1항에 있어서, 상기 불량픽셀 보정부는
상기 중심픽셀이 불량픽셀이면, 상기 주변픽셀들의 픽셀 평균값을 이용하여 상기 중심픽셀을 보정하는 것을 특징으로 하는 불량픽셀 제거 장치.
삭제
중심픽셀의 위치영역을 판별하는 중심픽셀 영역 판별부;
상기 중심픽셀의 위치영역을 고려하여 주변픽셀들을 선택하고, 선택된 상기 주변픽셀들을 이용하여 상기 중심픽셀의 불량여부를 판별하는 불량픽셀 판별부; 및
선택된 상기 주변픽셀들을 이용하여 상기 중심픽셀을 보정하는 불량픽셀 보정부를 포함하고,
상기 중심픽셀은 상하좌우 및 대각선 방향으로 차인접된 픽셀들을 동종 픽셀로 가지고,
상기 중심픽셀 영역 판별부는
상기 중심픽셀의 상하좌우 및 대각선 방향으로 인접된 픽셀들을 이용하여, 상기 중심픽셀의 위치영역을 평탄영역, 수직방향 에지영역, 수평방향 에지영역, 좌대각 에지영역, 및 우대각 에지영역으로 세분화하여 구별하고,
상기 불량픽셀 판별부는
상기 중심픽셀의 위치영역이 평탄영역인 경우에는 상기 중심픽셀의 동종픽셀들 모두를, 수평방향 에지영역인 경우에는 상기 중심픽셀의 좌우에 위치하는 동종픽셀들만을, 수직방향 에지영역인 경우에는 상기 중심픽셀의 상하에 위치하는 동종픽셀들만을, 좌대각 에지영역인 경우에는 상기 중심픽셀의 좌대각방향에 위치하는 동종픽셀들만을, 우대각 에지영역인 경우에는 상기 중심픽셀의 우대각방향에 위치하는 동종픽셀들만을, 주변픽셀로 각각 선택하는 불량픽셀 제거 장치.
중심픽셀의 위치영역을 판별하는 중심픽셀 영역 판별부;
상기 중심픽셀의 위치영역을 고려하여 주변픽셀들을 선택하고, 선택된 상기 주변픽셀들을 이용하여 상기 중심픽셀의 불량여부를 판별하는 불량픽셀 판별부; 및
선택된 상기 주변픽셀들을 이용하여 상기 중심픽셀을 보정하는 불량픽셀 보정부를 포함하고,
상기 중심픽셀은 상하좌우 및 대각선 방향으로 차인접된 픽셀들을 동종 픽셀로 가지고,
상기 중심픽셀 영역 판별부는
상기 중심픽셀의 상하좌우 및 대각선 방향으로 인접된 픽셀들을 이용하여, 상기 중심픽셀의 위치영역을 평탄영역, 수직방향 에지영역, 수평방향 에지영역, 좌대각 에지영역, 및 우대각 에지영역으로 세분화하여 구별하고,
상기 불량픽셀 판별부는
상기 주변픽셀들의 픽셀값을 분석하여 상기 중심픽셀의 불량 여부를 판별하되,
상기 중심픽셀이 평탄영역에 위치하는 경우에는 상기 중심픽셀이 싱글 불량픽셀인지 클러스터 불량픽셀인지를 추가 판별하는 불량픽셀 제거 장치.
중심픽셀의 위치영역을 판별하는 중심픽셀 영역 판별부;
상기 중심픽셀의 위치영역을 고려하여 주변픽셀들을 선택하고, 선택된 상기 주변픽셀들을 이용하여 상기 중심픽셀의 불량여부를 판별하는 불량픽셀 판별부; 및
선택된 상기 주변픽셀들을 이용하여 상기 중심픽셀을 보정하는 불량픽셀 보정부를 포함하고,
상기 중심픽셀은 상하좌우 및 대각선 방향으로 차인접된 픽셀들을 동종 픽셀로 가지고,
상기 중심픽셀 영역 판별부는
상기 중심픽셀의 상하좌우 및 대각선 방향으로 인접된 픽셀들을 이용하여, 상기 중심픽셀의 위치영역을 평탄영역, 수직방향 에지영역, 수평방향 에지영역, 좌대각 에지영역, 및 우대각 에지영역으로 세분화하여 구별하고,
상기 불량픽셀 보정부는
상기 중심픽셀이 불량픽셀이면, 상기 주변픽셀들의 픽셀 평균값을 이용하여 상기 중심픽셀을 보정하되,
상기 중심픽셀이 클러스터 불량픽셀이면, 상기 주변픽셀들 중에서 중간 범위의 픽셀값을 가지는 픽셀들만을 이용하여 상기 중심픽셀을 보정하는 불량픽셀 제거 장치.
제1항, 제8항, 제9항, 및 제10항 중 어느 한 항에 있어서,
보정완료된 중심픽셀의 픽셀값을 클램프(cramp)하여 출력하는 픽셀 출력부를 더 포함하는 것을 특징으로 하는 불량픽셀 제거 장치.
삭제
중심픽셀에 상하좌우 및 대각선 방향으로 차인접된 픽셀들과 상기 중심픽셀에 상하 방향으로 인접된 픽셀들을 이용하여, 상기 중심픽셀의 위치영역을 판별하는 단계;
상기 중심픽셀의 위치영역을 고려하여 주변픽셀들을 선택하는 단계; 및
선택된 상기 주변 픽셀들을 이용하여 상기 중심픽셀의 불량여부를 판별하고, 상기 중심픽셀을 보정하는 단계를 포함하고,
상기 주변픽셀들을 선택하는 단계는
상기 중심픽셀의 위치영역이 평탄영역인 경우에는 상기 중심픽셀의 동종픽셀들 모두를 상기 주변픽셀들로 선택하는 단계;
상기 중심픽셀의 위치영역이 수평방향 에지영역인 경우에는 상기 중심픽셀의 좌우에 위치하는 동종픽셀들만을 상기 주변픽셀들로 선택하는 단계; 및
상기 중심픽셀의 위치영역이 수직방향 에지영역인 경우에는 상기 중심픽셀의 상하에 위치하는 동종픽셀들만을 상기 중심픽셀의 주변픽셀들로 선택하는 단계를 포함하는 불량픽셀 제거 방법.
중심픽셀의 인접픽셀들을 이용하여, 상기 중심픽셀의 위치영역을 판별하는 단계;
상기 중심픽셀의 위치영역을 고려하여 주변픽셀들을 선택하는 단계;
선택된 상기 주변 픽셀들을 이용하여 상기 중심픽셀의 불량 여부와 클러스터 불량 픽셀 발생 여부를 확인하는 단계; 및
상기 중심픽셀이 불량픽셀이면 상기 주변 픽셀들을 이용하여 상기 중심픽셀을 보상하되, 클러스터 불량 픽셀이 발생된 경우에는 상기 주변 픽셀들 중 중간 범위의 픽셀값을 가지는 주변 픽셀들만을 이용하여 상기 중심 픽셀을 보상하는 단계를 포함하는 불량픽셀 제거 방법.
제14항에 있어서, 상기 주변픽셀들을 선택하는 단계는
상기 중심픽셀의 위치영역이 평탄영역인 경우에는 상기 중심픽셀의 동종픽셀들 모두를 상기 주변픽셀들로 선택하는 단계;
상기 중심픽셀의 위치영역이 수평방향 에지영역인 경우에는 상기 중심픽셀의 좌우에 위치하는 동종픽셀들만을 상기 주변픽셀들로 선택하는 단계;
상기 중심픽셀의 위치영역이 수직방향 에지영역인 경우에는 상기 중심픽셀의 상하에 위치하는 동종픽셀들만을 상기 중심픽셀의 주변픽셀들로 선택하는 단계;
상기 중심픽셀의 위치영역이 좌대각 에지영역인 경우에는 상기 중심픽셀의 좌대각방향에 위치하는 동종픽셀들만을 상기 중심픽셀의 주변픽셀들로 선택하는 단계; 및
상기 중심픽셀의 위치영역이 우대각 에지영역인 경우에는 상기 중심픽셀의 우대각방향에 위치하는 동종픽셀들만을 상기 중심픽셀의 주변픽셀들로 선택하는 단계를 포함하는 것을 특징으로 하는 불량픽셀 제거 방법.
제14항에 있어서, 상기 중심픽셀이 싱글 불량 픽셀인지 클러스터 불량 픽셀인지를 확인하는 단계는
상기 중심픽셀이 평탄영역에 위치하지 않으면, 상기 중심픽셀의 불량 여부만을 판별하는 단계; 및
상기 중심픽셀이 평탄영역에 위치하면, 상기 중심픽셀이 불량 여부를 판별하면서 클러스터 불량 픽셀 발생 여부도 함께 판별하는 단계를 포함하는 것을 특징으로 하는 불량픽셀 제거 방법.