KR20110092078A

KR20110092078A - 불량 화소 제거 장치 및 방법

Info

Publication number: KR20110092078A
Application number: KR1020100011522A
Authority: KR
Inventors: 박민규; 송한새; 박희찬; 윤영권; 이용구
Original assignee: 삼성전자주식회사
Priority date: 2010-02-08
Filing date: 2010-02-08
Publication date: 2011-08-17
Also published as: US8837852B2; US20110194764A1; EP2357799A1; EP2357799B1; KR101114586B1; CN102158660A; CN102158660B

Abstract

본 발명은 신호처리 기법을 이용한 불량화소 제거 방법을 제안한다. 이를 위해 본 발명은 베이어 패턴을 사용하여 인터채널에 대해서는 중심화소와, 그 중심화소의 컬러와 동일한 컬러의 주변화소들의 평균값 간의 차이가 임계값 이상인지에 따라 인터채널의 출력값을 결정하는 과정과, 크로스채널에 대해서는 중심화소와 가장 가까운 주변화소들의 값을 입력으로 사용하며, 중심화소를 포함하는 수직라인 및 수평라인에서의 중앙값과, 대각선라인들의 중앙값 및 중심화소의 값 간의 중앙값(median)을 구함으로써 크로스채널에서의 출력값을 구하는 과정으로 이루어진다. 그리고나서 인터채널의 출력값과 크로스채널의 출력값 및 중심화소의 값을 이용하여 불량화소의 제거 여부를 판단한다. 만일 불량화소가 제거되지 않은 경우 추가 불량화소 제거 과정을 수행한다. 이렇게 함으로써 연속적인 불량화소의 제거가 가능한 이점이 있다.

Description

불량 화소 제거 장치 및 방법{APPARATUS AND METHOD FOR REMOVING OF DEFECT PIXEL}

본 발명은 불량 화소 제거 장치 및 방법에 관한 것으로, 특히 신호처리 기법을 이용한 불량 화소 제거 장치 및 방법에 관한 것이다.

일반적으로, 영상을 획득하기 위해서는 CMOS(Complementary Metal Oxide Semiconductor)와 CCD(Charge Coupled Device)와 같은 이미지 센서를 사용한다. 이러한 이미지 센서는 제조 공정상의 다양한 요인에 의해 모든 화소가 균일한 특성을 갖기 어렵다. 이러한 불균일한 특성은 화소가 고른 특성을 갖지 못하게 만드는 원인이 된다. 이때 발생하는 불량화소는 두 가지 종류로 구분된다. 즉, 주변 화소보다 현저히 밝게 나타나는 화소를 화이트 화소(white pixel)이라고 하고, 주변 화소보다 기준 화소가 현저하게 어둡게 나오는 화소를 블랙 화소(black pixel)라고 하며, 이와 같이 주변 화소와 확연히 구별되어짐에 따라 이를 불량화소라고 한다. 따라서 불량 화소를 검출하여 신호 처리를 통하여 보상하는 기술은 중요한 과제로 인식되고 있다.

이러한 불량화소를 제거하는 방법에는 라플라시안 잡음(Laplacian noise)을 제거하는 방법, 가중 평균 필터(weighted mean filter)를 사용하는 방법, 멀티 방향성 메디안 필터(multi directional median filter)를 사용하는 방법 등이 있다.

먼저, 라플라시안 잡음을 제거하는 방법은 불량화소가 라플라시안 잡음으로 모델링된다는 점을 고려한 것으로, 불량화소와 같은 라플라시안 잡음을 제거하는데 효과적으로 에지가 잘 보존되는 방법이다. 하지만, 에지가 얇은 경우에는 잡음처럼 인식되어 에지가 제거되는 문제점이 있다.

가중 평균 필터를 사용하는 방법은 중심이 불량화소인지를 판단하기 위한 부가적인 프로세서가 요구되며, 미리 정해놓은 임계값을 이용하여 불량화소 여부를 판단하는 방법이다. 여기서, 임계값은 잡음의 정도에 따라 결정되기 때문에 잡음에 대한 정확한 모델링이 필요하다. 즉, 불량화소의 효과적인 제거는 불량화소를 얼마나 정확하게 판단하고 어떤 방법으로 제거하느냐에 의해 성능이 결정된다.

멀티 방향성 메디안 필터를 사용하는 방법은 얇은 에지의 손상없이 불량화소를 제거하는 방법이다. 하지만 이미지 센서의 성능이 떨어져서 불량화소가 연속적으로 나타날 경우에는 그 연속되는 불량화소를 에지로 인식하게 되어 불량화소가 제거되지 않게 된다.

상기한 바와 같이 종래의 불량화소를 제거하는 방법들은 연속된 불량화소에 대해서는 검출하지 못하거나 또는 에지에서의 정상 화소를 불량화소로 분류할 경우에는 에지가 손상될 뿐만 아니라 얇은 에지의 경우에는 이미지에서의 경계 영역이 흐릿하게 표현되어 신뢰성이 낮아지게 된다. 따라서 연속되는 불량화소를 효율적으로 제거하면서 동시에 정확하게 불량화소만을 제거하는 방법이 제안될 필요성이 있다.

따라서 본 발명은 불량화소를 신호처리 기법을 사용하여 정확하게 제거하기 위한 장치 및 방법을 제공한다.

또한 본 발명은 연속되는 불량화소를 효율적으로 제거하기 위한 장치 및 방법을 제공한다.

상기한 바를 달성하기 위한 본 발명은, 불량화소 제거 장치에 있어서, 중심화소의 값과, 상기 중심화소의 컬러와 동일한 컬러의 주변화소들의 평균값을 이용하여 인터채널의 출력값을 결정하는 인터채널 결함 제거부와, 상기 중심화소와 다른 컬러를 가지는 상기 중심화소와 인접한 주변화소들의 값을 이용하여 크로스채널의 출력값을 결정하는 크로스채널 결함 제거부와, 상기 중심화소의 값을 출력하는 센터 처리부와, 상기 인터채널의 출력값, 상기 크로스채널의 출력값 및 상기 중심화소의 값 중에서 최종 중앙값을 산출하는 중앙값 산출부와, 상기 산출된 최종 중앙값과 상기 중심화소의 값 간의 차이를 근거로 불량화소를 제거하는 불량화소 판단부를 포함함을 특징으로 한다.

또한 본 발명은, 불량 화소 제거 장치에서 불량 화소 제거를 위한 방법에 있어서, 중심화소의 값과, 상기 중심화소의 컬러와 동일한 컬러의 주변화소들의 평균값을 이용하여 인터채널의 출력값을 결정하는 과정과, 상기 중심화소와 다른 컬러를 가지는 상기 중심화소와 인접한 주변화소들의 값을 이용하여 크로스채널의 출력값을 결정하는 과정과, 상기 중심화소의 값을 출력하는 과정과, 상기 인터채널의 출력값, 상기 크로스채널의 출력값 및 상기 중심화소의 값 중에서 최종 중앙값을 산출하는 과정과, 상기 산출된 최종 중앙값과 상기 중심화소의 값 간의 차이를 근거로 불량화소를 제거하는 과정을 포함함을 특징으로 한다.

본 발명에 따르면, 인터채널뿐만 아니라 크로스 채널을 이용하므로 여러 개의 연속된 불량화소를 해상도 저하없이 제거할 수 있는 이점이 있다. 또한 본 발명은 화이트 스팟(white spot)를 비롯하여 에지 처리에 강인한 이점이 있다. 또한 본 발명은 에지의 방향성을 고려하므로 에지의 끊김이 없는 이점이 있다. 또한 본 발명은 불량화소를 판별하기 위한 별도의 임계치가 필요없으며 자동으로 불량화소에 대한 보상을 할 수 있는 이점이 있다.

도 1은 본 발명에서 이용되는 베이어 패턴의 종류를 예시한 도면,
도 2는 본 발명의 실시예에 따른 5×5 마스크에서 각 화소의 위치좌표를 나타낸 도면,
도 3은 본 발명의 실시예에 따른 베이어 패턴의 화소의 종류를 도시한 도면,
도 4는 본 발명의 실시예에 따른 불량화소 제거 장치의 내부블록 구성도,
도 5는 본 발명의 실시예에 따라 인터채널에서 이용되는 각 라인을 도시한 도면,
도 6은 본 발명의 실시예에 따라 화소값들의 배치를 나타낸 도면,
도 7은 본 발명의 실시예에 따라 2개의 불량화소들의 위치를 나타낸 도면.

이하 첨부된 도면을 참조하여 본 발명을 구성하는 장치 및 동작 방법을 본 발명의 실시 예를 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

상기한 바와 같은 본 발명을 설명하기에 앞서, 본 발명에서 이용되는 베이어 패턴에 대해 도 1을 참조하여 간략하게 설명하면 다음과 같다. 이미지 센서를 이미지 센서에는 컬러 필터가 설치되는데, 색 신호를 구성하기 위해 적어도 3가지 종류의 컬러 필터가 배치된다. 가장 일반적인 컬러 필터는 한 행에 R(Red), Gr(Green) 2가지 컬러의 패턴 및 다른 행에 Gb(Green), B(Blue) 2가지 컬러의 패턴이 반복적으로 배치되는 베이어(Bayer) 패턴을 가진다. 이러한 베이어 패턴은 중심에서 가까운 화소가 다른 컬러 특성을 갖기 때문에 4가지의 중심화소에 따라 도 1에서처럼 4가지(100, 110, 120, 130)로 구분하여 나타낼 수 있다.

본 발명에서는 상기와 같은 5×5 베이어 패턴을 사용하며, 그 베이어 패턴에 하나의 불량화소가 있는 것으로 가정한 상태에서 검출 대상 화소인 불량화소를 제거하는 과정을 수행한다. 불량화소라고 가정된 검출 대상 화소의 위치 좌표를 (r,c)라 할 때 그 가정된 불량화소를 제거하기 위한 5×5 마스크는 도 2에 도시된 바와 같다. 이하에서는 설명의 편의를 위해 검출 대상 화소가 도 2에서와 같이 중심화소(200)인 경우를 예로 들어 설명하며, 중심화소(200)의 위치좌표가 (r, c)일 경우 그 중심화소의 값은 in[r][c](200)로 표현된다. 또한 설명의 편의를 위해 각 화소의 종류를 S0 ~ S3을 이용하여 표기하며, 이러한 표기의 예는 도 3에 도시된 바와 같다. 도 3은 본 발명의 실시예에 따른 베이어 패턴의 화소의 종류를 도시한 도면이다. 예를 들어, 도 3에서는 중심화소의 컬러가 R일 때 S0로 표시된 각각의 화소의 컬러는 R을 나타내며, S1은 Gr을 나타내며, S2는 Gb를 나타내며, S3는 B를 나타낸다.

이하에서, 도 4를 참조하여 본 발명의 실시예에 따른 불량화소 제거 장치의 구성요소 및 그 동작을 살펴보기로 한다. 불량화소 제거 장치는 입력 영상 데이터에서의 불량 화소를 제거하는데, 그 입력 영상 데이터는 이미지 센서에서 출력되는 도 3에서와 같은 베이어 패턴의 데이터일 수 있다. 여기서, 불량화소 제거 장치는 이미지 센서에 탑재될 수 있으며, 불량화소 제거 장치는 이미지 센서로 지칭될 수도 있다.

한편, 본 발명에서는 하나의 베이어 패턴을 인터채널(310)과 크로스채널(300)로 구분한 후, 연속되는 불량화소를 효율적으로 제거하기 위해 그 인터채널(310)뿐만 아니라 크로스채널(300)도 고려하여 불량화소를 제거하는 방법을 제안하는 것이다. 이에 따라 5×5 베이어 입력부(400)로부터의 베이어 패턴이 출력되면, 인터채널 결함 제거부(inter channel defect removal)(405)는 결함 제거를 위한 인터채널의 출력값을 산출한다. 또한 본 발명에서는 연속적인 불량화소 제거를 위한 크로스채널도 이용하는데, 크로스채널 결함 제거부(410)는 결함 제거를 위한 크로스채널의 출력값을 산출한다. 센터처리부(415)는 그 베이어 패턴의 중심화소의 값을 출력한다.

먼저, 인터채널 결함 제거부(405)에서의 동작을 도 3을 참조하여 설명하기로 한다. 인터채널 결함 제거부(405)에서 사용되는 값은 중심이 일치하는 인터채널(310)의 값으로써, 중심화소가 도 3에서와 같이 S0(315)일 경우 S0로 표현되는 8개의 주변화소들(320, 325, 330, 335, 340, 345, 350, 355)의 값이 해당된다. 즉, 결함 제거를 위해 인터채널 결함 제거부(405)는 입력값으로써 in[r-2][c-2], in[r-2][c], in[r-2][c+2], in[r][c-2], in[r][c], in[r][c+2], in[r+2][c-2], in[r+2][c], in[r+2][c+2]을 사용한다.

인터채널 결함 제거부(405)는 중심화소의 값을 제외한 나머지 주변화소의 값을 이용하여 평균값(AVE)를 산출한다. 이러한 평균값은 하기 수학식 1을 통해 산출된다.

이어, 인터채널 결함 제거부(405)는 중심화소를 기준으로 제1방향의 수직 라인(m000), 제2방향의 대각선라인(m045), 제3방향의 수평라인(m090), 제4방향의 대각선라인(m135)에 대한 중앙값(median)을 산출한다. 도 5를 참조하면, 제1방향은 수직 방향이며, 제2방향은 45도 방향이며, 제3방향은 90도 방향이며, 제4방향은 135도 방향이며, 각 방향으로 형성되는 중심화소(S0)(315)를 포함하는 수직라인(m000), 수평라인(m090), 대각선라인들(m045, m135)에 대한 중앙값(median)이 산출된다. 여기서, 도 5는 본 발명의 실시예에 따라 인터채널에서 이용되는 각 라인을 도시한 도면이다. 이러한 각 라인들에 대한 중앙값은 하기 수학식 2를 통해 산출된다.

상기 수학식 2에서, 중앙값을 산출하기 위한 수학식을 간략하게 표현하면 median(a, b, c)로 표현할 수 있는데, 이 수식에 따라 a, b, c 값들 중의 중앙값이 산출된다. 예를 들어, 도 5의 베이어 패턴에 대응하여 각 화소들이 도 6에서와 같은 값들을 가지는 경우를 설명하면 다음과 같다. 도 6은 본 발명의 실시예에 따라 화소값들의 배치를 나타낸 도면으로, 각 화소의 값이 0 또는 255를 가지는 경우를 예시하고 있다.

도 6을 참조하면, 각 라인들의 중앙값은 하기 수학식 3에서와 같이 구해진다.

상기 수학식 3에서와 같이, 수직라인(m000)의 중앙값을 구하기 위해 그 수직라인(m000)에 속하는 S0들의 화소값 즉, in[r-2][c], in[r][c], in[r+2][c]이 사용된다. 도 6에 따르면, in[r-2][c], in[r][c], in[r+2][c]는 각각 0, 255, 0이므로, 그 0, 255, 0 중의 중앙값으로는 0이 출력된다. 즉, 수직라인(m000)의 중앙값은 0이 된다.

마찬가지로 대각선라인(m045)의 중앙값을 구하기 위해서는 그 대각선라인(m045)에 속하는 화소값들 in[r-2][c+2], in[r][c], in[r+2][c-2]이 사용된다. 이러한 화소값들은 도 6에 따르면 각각 255, 255, 255이므로, 대각선라인(m045)의 중앙값은 255가 된다. 수평라인(m090) 및 대각선라인(m135)도 상기와 같은 방법으로 구해진다.

이와 같이 수학식 3을 통해 수평라인(m090), 수직라인(m000), 대각선라인들(m045, m135) 각각에 대한 중앙값(median)이 산출되면, 에지 방향성 메디안 필터(edge directional median filter)의 값(out1)을 하기 수학식 4를 통해 구할 수 있다.

상기 수학식 4에서, 우선 수직라인(m000)의 중앙값과, 수평라인(m090)의 중앙값 및 중심화소의 값에서의 중앙값은 도 6에 따르면 median(0, 0, 255)가 된다. 또한 대각선라인들(m045, m135) 각각에 대한 중앙값들과 중심화소의 값에서의 중앙값은 median(m045, m135, in[r][c])와 같이 표현되며, 도 6에 따르면 median(255, 0, 255)가 된다. 따라서 에지 방향성 메디안 필터의 값(out1)은 median(median(0, 0, 255), median(255, 0, 255), 255)로 표현된다. 즉, median(0, 255, 255)은 0, 255, 255 중의 중앙값으로써 255가 출력되어, 최종 출력값(out1)은 255가 된다. 이와 같은 방법을 사용하게 되면 얇은 에지의 손상없이 불량화소를 완벽하게 제거할 수 있게 된다.

상기한 바와 같이 도 6에 따른 각 화소값들을 대입하여 산출되는 에지 방향성 메디안 필터의 값(out1)은 하기 수학식 5와 같다.

인터채널 결함 제거부(405)는 상기 수학식 1을 통해 획득한 평균(AVE)과, 상기 수학식 4를 통해 얻은 에지 방향성 메디안 필터의 값(out1)으로부터 인터채널(310)의 출력값(dr_i)를 산출한다. 이러한 인터채널(310)의 출력값(dr_i)은 하기 수학식 6을 통해 구해진다.

상기 수학식 6에서, th(AVE)는 평균값에 따라 변하는 함수이며, 이미지 센서의 특성에 따라 달라지는데 일반적으로 평균 밝기에 따라 단조 증가하는 함수이다. count_i는 주변화소의 값이 얼마나 평균값에 잘 모여있는지를 판단하는 기준이 된다. c_i는 임의의 상수를 나타낸다. 예를 들어, count_i가 8이 되면 주변화소가 평균 주위에 잘 모여있다는 의미가 된다. 즉, 평균값(AVE)과 주변화소값간의 차이가 임계값을 나타내는 th(AVE)보다 작으면 count_i가 1 증가하는데, 이는 주변화소가 평균값과 유사하다는 것을 의미한다. 따라서 count_i가 8이 되면 주변화소들 8개가 모두 평균값과 유사하다는 것을 의미한다.

이때, abs(AVE-in[r][c])>th(AVE)×c_i 를 만족한다는 의미는 중심화소의 값이 평균값과 차이가 난다는 것을 나타내므로, 불량화소일 가능성이 크다는 것을 의미한다. 따라서 상기 수학식 6의 마지막 라인의 조건식

을 만족한다는 의미는, 주변화소들 8개가 모두 평균값과 유사하지만 중심화소만 평균값과 차이가 있다는 것을 의미하며, 이는 중심화소가 불량화소일 가능성이 높다는 것을 나타낸다. 따라서 이러한 조건을 만족할 경우에는 중심화소(S0)의 값을 상기 수학식 2, 4를 사용하여 수정한다. 이에 따라 인터채널(310)의 출력값(dr_i)은 에지 방향성 메디안 필터의 값(out1)이 된다. 만일 상기 조건을 만족하지 않을 경우에는 인터채널(310)의 출력값(dr_i)으로는 중심화소(S0)의 값 즉, in[r][c]를 그대로 사용한다. 그리고나서 인터채널 결함 제어부(405)는 출력값(dr_i)을 중앙값 산출부(420)로 전달한다.

한편, 본 발명에서는 연속적인 불량화소의 제거도 가능하도록 크로스채널을 이용한다. 이러한 크로스채널에 대한 출력값은 크로스채널 결함 제거부(410)에 의해 산출된다. 크로스채널 결함 제거부(410)는 인터채널 결함 제거부(405)에서와 같이 같은 컬러(또는 채널)만을 사용하는 것이 아니라, 중심화소에서 가장 가까운 8개의 주변화소들의 값을 입력값으로 사용한다. 예를 들어, 도 3에서와 같이 중심화소(S0)(315)를 기준으로 했을 때 크로스채널(300)내의 그 중심화소(S0)를 둘러싼 주변화소들이 이에 해당한다. 즉, 크로스채널 결함 제거부(410)는 입력값으로써 in[r-1][c-1], in[r-1][c], in [r-1][c+1], in[r][c-1], in[r][c+1], in[r+1][c-1], in[r+1][c], in[r+1][c+1]을 사용한다.

크로스채널 결함 제거부(410)의 출력값(dr_c)은 하기 수학식 7을 통해 구해진다.

상기 수학식 7에서, mc₀₀₀, mc₀₄₅, mc₀₉₀, m_c135는 하기 수학식 8로부터 얻을 수 있다.

상기 수학식 8에서, mc₀₀₀는 크로스채널(300)의 수직라인의 중앙값이며, 수직라인에 속하는 각 화소들의 값 즉, in[r-1][c], in [r][c], in[r+1][c]의 중앙값을 구함으로써 mc₀₀₀가 구해진다. 이와 마찬가지 방식으로 크로스채널(300)의 수평라인의 중앙값인 mc₀₉₀과_,크로스채널(300)의 대각선라인들의 중앙값인 mc₀₄₅, m_c135를 구할 수있다. 이렇게 구한 각각의 mc₀₀₀, mc₀₄₅, mc₀₉₀, m_c135을 상기 수학식 7에 대입함으로써 크로스채널(300)의 출력값(dr_c)을 획득할 수 있게 된다. 이러한 크로스채널 결함 제거부(410)의 출력값(dr_c)은 중앙값 산출부(420)로 전달된다.

그러면 중앙값 산출부(420)는 인터채널 결함 제거부(405)의 출력값(dr_i)와, 크로스채널 결함 제거부(410)의 출력값(dr_c) 및 센터 처리부(415)로부터의 출력값(center) 즉, 중심화소의 값 in[r][c]를 이용하여 최종 중앙값(out2)을 산출한다. 이러한 최종 중앙값(out2)은 하기 수학식 9를 통해 구해진다.

상기 수학식 9를 통해 구해진 최종 중앙값(out2)은 불량화소 판단부(425)로 전달된다. 그러면 불량화소 판단부(425)는 최종 중앙값(out2)이 불량화소가 제거된 값을 나타내는지를 판단한다. 구체적으로, 최종 중앙값(out2)과 중심화소의 값 즉, in[r][c] 간의 차이가 임계값 이상으로 크면 불량화소가 제거된 것으로 판단하여 그 결과를 출력부(430)로 출력한다. 만일 수학식 6에서 중심화소가 불량화소가 아니라고 판단되면 dr_i = in[r][c]가 된다. 따라서 최종 중앙값(out2)은 median(in[r][c], dr_c, in[r][c])이므로, 결과적으로 최종 중앙값(out2)은 in[r][c]이 된다. 이와 달리 최종 중앙값(out2)과 중심화소의 값 즉, in[r][c] 간의 차이가 임계값 이하이면 제거해야할 불량화소가 더 있다고 판단한다. 이에 따라 추가 불량화소 제거부(435)는 추가적인 불량화소 제거 동작을 수행한다. 이를 수학식으로 표현하면 하기 수학식 10과 같다.

상기 수학식 10에 따르면, (abs( out2 - in[r][c]) > abs ( AVE - out2 ) × 3)은 최종 중앙값(out2)이 중심화소의 값보다 평균값에 가까워지는지를 판단하기 위한 조건식이다. 만일 상기 조건을 만족하는 경우 더 이상의 불량화소 처리 과정없이 최종 중앙값(out2)을 결과로 출력한다. 이와 달리 상기 조건을 만족하지 않는 경우 추가적인 불량화소 제거 동작을 수행하는 과정으로 이동한다. 예를 들어, 최종 중앙값(out2)가 in[r][c]일 경우 abs(out2 - in[r][c])는 0이 되어, 상기 조건을 만족하지 않게 된다. 따라서 만일 하나의 불량화소 제거 과정을 수행하였다면 2개의 불량화소 제거하는 과정을 수행하게 된다. 이와 같이 본 발명에 따르면, 불량화소를 판별하기 위한 별도의 임계치가 필요없으며, 각 화소의 값들을 이용하므로 자동으로 불량화소에 대한 보상을 할 수 있는 이점이 있다.

추가 불량화소 제거를 위한 동작은 하나의 불량화소 제거를 위한 동작과 유사하나, 인터채널 결함 제거부(405)에서의 동작이 달라진다. 우선, 추가 불량화소 제거부(435)는 인터채널 결함 제거부(405)로 추가 불량화소 제거를 해야함을 알리는 역할을 한다. 인터채널 결함 제거부(405)에서의 추가 불량화소 제거를 위한 동작을 설명하기 위해 도 7을 참조한다. 도 7은 본 발명의 실시예에 따라 2개의 불량화소들의 위치를 나타낸 도면이다. 도 7에서와 같이 추가 불량화소 제거를 위해 중심화소(700)뿐만 아니라 주변화소 중 어느 하나(710)가 불량화소라고 가정하고 있다.

따라서 인터채널 결함 제거부(405)에 의해 산출되는 출력값(dr_i)도 달라진다. 우선, 인터채널에 대한 출력값(dr_i)을 구하기 위해 평균값(AVE)을 산출해야 하는데, 이전 하나의 불량화소를 제거할 경우의 평균값(AVE)을 구하는 수학식 1은 하기 수학식 11에서와 같이 변경된다.

상기 수학식 11에서, max(x,y)는 x,y 중에 큰 수를 의미한다. pr과 pc는 주변화소들 중 평균값과 차이가 크면서도 중심화소의 값에 가까운 세로 좌표 및 가로 좌표를 의미한다. 상기 수학식 11에서, 첫번째 조건(rr! = 0 && cc! = 0)은 주변화소인지를 판단하는 조건이다. 두번째 조건(abs( AVE -in[r+ rr ][c+ cc ]) > MAX)은 평균값(AVE)와 주변화소의 값 간의 차이가 MAX보다 큰 지를 판단하는 조건이다. 즉, 평균값(AVE)과의 차이가 가장 큰 화소를 구하는 것이다. 세번째 조건(abs( in [r+ rr ][c+ cc ]-in[r][c])<abs( AVE - in[r][c])은 현재 위치 좌표의 화소값과 중심화소의 값과의 차이가 평균값(AVE)와 중심화소의 값 간의 차이보다 작은지를 판단하는 조건이다. 따라서 상기한 3가지 조건을 만족할 경우, 주변화소에 해당하면서 불량화소라고 가정된 중심화소와 가장 일치하는 화소 즉, in[r+pr][c+pc]를 추가 불량화소라고 판단하게 된다. 이에 따라 그 추가 불량화소로 판단되는 화소의 값을 새로운 평균값(AVE')로 대체하고 이전 평균값(AVE)도 새로운 평균값(AVE')로 대체한다.

그리고나서 인터채널 결함 제거부(405)는 상기 수학식 11을 통해 얻은 평균값(AVE)와, 상기 수학식 2, 4를 통해 에지 방향성 메디안 필터의 값(out1)을 이용하여 새로운 출력값(dr_i)을 산출한다. 이와 같이 추가 불량화소 제거를 위한 인터채널에 대한 출력값(dr_i)은 하기 수학식 12를 통해 구할 수 있다.

상기 수학식 12는 상기 수학식 6과 유사해보이지만, c2값을 사용한다는 점에서 상이하다. 여기서, c2값은 1보다 크고 그 값이 커질수록 중심화소가 불량화소로 판단될 가능성이 떨어진다.

상기 수학식 12을 통해 새로운 출력값(dr_i)이 산출되면, 중앙값 산출부(420)는 새로운 출력값(dr_i)과, 이전 크로스채널에 대한 출력값(dr_c) 및 중심화소의 값(in[r][c])을 이용하여 최종 중앙값(out2)을 산출한다. 이러한 최종 중앙값(out2)은 불량화소 판단부(425)로 전달된다. 그러면 불량화소 판단부(425)는 최종 중앙값(out2)이 불량화소가 제거된 값을 나타내는지를 판단한다. 만일 수학식 10의 조건을 만족할 경우에는 2개의 불량화소가 제거되어 최종 결과가 출력부(430)를 통해 출력된다. 이와 달리 수학식 10의 조건을 만족하지 않는 경우에는 불량화소를 더 제거할지를 판단한다. 즉, 3개의 불량화소를 제거할 지를 결정하게 된다. 일반적인 경우에는 2개까지의 불량화소가 연속으로 존재하는 경우를 가정하는 것만으로도 충분히 불량화소가 제거되게 된다. 만일 두 개 이상의 불량화소가 존재할 경우에는 본 발명에 따르면 상기 전술한 과정을 반복 수행함으로써 N개의 불량화소를 제거하는 과정을 수행할 수 있다.

Claims

불량화소 제거 장치에 있어서,
중심화소의 값과, 상기 중심화소의 컬러와 동일한 컬러의 주변화소들의 평균값을 이용하여 인터채널의 출력값을 결정하는 인터채널 결함 제거부와,
상기 중심화소와 다른 컬러를 가지는 상기 중심화소와 인접한 주변화소들의 값을 이용하여 크로스채널의 출력값을 결정하는 크로스채널 결함 제거부와,
상기 중심화소의 값을 출력하는 센터 처리부와,
상기 인터채널의 출력값, 상기 크로스채널의 출력값 및 상기 중심화소의 값 중에서 최종 중앙값을 산출하는 중앙값 산출부와,
상기 산출된 최종 중앙값과 상기 중심화소의 값 간의 차이를 근거로 불량화소를 제거하는 불량화소 판단부를 포함함을 특징으로 하는 불량화소 제거 장치.
제1항에 있어서, 상기 인터채널 결함 제거부는,
상기 중심화소의 값과 상기 평균값 간의 차이가 임계값 이상일 경우 상기 중심화소의 값 및 상기 동일한 컬러의 주변화소들의 값을 이용하여 상기 중심화소를 중심으로 하는 제1방향 라인, 제2방향 라인, 제3방향 라인, 제4방향 라인에 대한 각각의 중앙값을 산출하고, 상기 산출된 중앙값들을 이용하여 상기 인터채널의 중앙값을 산출하고, 상기 산출된 인터채널의 중앙값을 상기 인터채널의 출력값으로 결정함을 특징으로 하는 불량화소 제거 장치.
제2항에 있어서, 상기 인터채널 결함 제거부는,
상기 각각의 중앙값이 산출되면, 상기 제1방향 라인의 중앙값과 상기 제3방향 라인의 중앙값 및 상기 중심화소의 값 중에서의 중앙값, 상기 제2방향 라인의 중앙값과 상기 제4방향 라인의 중앙값 및 상기 중심화소의 값 중에서의 중앙값 및 상기 중심화소의 값 중에서의 최종 중앙값을 상기 인터채널의 출력값으로 결정함을 특징으로 하는 불량화소 제거 장치.
제2항에 있어서, 상기 인터채널 결함 제거부는,
상기 중심화소의 값과 상기 평균값 간의 차이가 임계값 이하일 경우 상기 중심화소의 값을 상기 인터채널의 출력값으로 결정함을 특징으로 하는 불량화소 제거 장치.
제1항에 있어서, 상기 크로스채널 결함 제거부는,
상기 중심화소의 값 및 상기 인접한 주변화소들의 값을 이용하여 상기 중심화소를 중심으로 하는 제1방향 라인, 제2방향 라인, 제3방향 라인, 제4방향 라인에 대한 각각의 중앙값을 산출하고, 상기 산출된 중앙값들을 이용하여 상기 크로스채널의 출력값을 결정함을 특징으로 하는 불량화소 제거 장치.
제5항에 있어서, 상기 크로스채널 결함 제거부는,
상기 각각의 중앙값이 산출되면, 상기 제1방향 라인의 중앙값과 상기 제3방향 라인의 중앙값 및 상기 중심화소의 값 중에서의 중앙값, 상기 제2방향 라인의 중앙값과 상기 제4방향 라인의 중앙값 및 상기 중심화소의 값 중에서의 중앙값 및 상기 중심화소의 값 중에서의 최종 중앙값을 상기 크로스 채널의 출력값으로 결정함을 특징으로 하는 불량화소 제거 장치.
제2항 또는 제5항에 있어서,
상기 제1방향 라인은 수직방향 라인이며, 상기 제2방향 라인은 45도 방향 라인이며, 상기 제3방향 라인은 90도 방향 라인이며, 상기 제4방향 라인은 135도 방향 라인임을 특징으로 하는 불량화소 제거 장치.
제1항에 있어서, 상기 불량화소 판단부는,
상기 산출된 최종 중앙값과 상기 중심화소의 값 간의 차이가 상기 평균값과 상기 산출된 최종 중앙값과의 차이보다 클 경우, 상기 중심화소를 불량화소라고 판단함으로써 상기 불량화소를 제거함을 특징으로 하는 불량화소 제거 장치.
제8항에 있어서, 상기 불량화소 판단부는,
상기 산출된 최종 중앙값과 상기 중심화소의 값 간의 차이가 상기 평균값과 상기 산출된 최종 중앙값과의 차이보다 작을 경우, 추가로 제거해야 할 불량화소가 있다고 판단함을 특징으로 하는 불량화소 제거 장치.
제9항에 있어서, 상기 추가로 제거해야 할 불량화소가 있는 경우 상기 인터채널 결함 제거부는,
상기 중심화소의 컬러와 동일한 컬러의 주변화소들 중에서 상기 중심화소의 값과 가장 가까우면서 상기 평균값과 가장 차이가 큰 화소를 추가 불량화소로 판단하고, 상기 평균값을 상기 추가 불량화소의 값으로 대체함으로써 새로운 평균값을 결정함을 특징으로 하는 불량화소 제거 장치.
제10항에 있어서, 상기 인터채널 결함 제거부는,
상기 중심화소의 값, 상기 동일한 컬러의 주변화소들 및 상기 새로운 평균값을 이용하여 상기 인터채널의 새로운 출력값을 결정함을 특징으로 하는 불량화소 제거 장치.
제11항에 있어서, 상기 중앙값 산출부는, 상기 인터채널의 새로운 출력값, 상기 크로스채널의 출력값 및 상기 중심화소의 값 중에서 새로운 중앙값을 산출하고,
상기 불량화소 제거부는, 상기 산출된 새로운 중앙값과 상기 중심화소의 값 간의 차이를 근거로 추가 불량화소를 제거함을 특징으로 하는 불량화소 제거 장치.
불량 화소 제거 장치에서 불량 화소 제거를 위한 방법에 있어서,
중심화소의 값과, 상기 중심화소의 컬러와 동일한 컬러의 주변화소들의 평균값을 이용하여 인터채널의 출력값을 결정하는 과정과,
상기 중심화소와 다른 컬러를 가지는 상기 중심화소와 인접한 주변화소들의 값을 이용하여 크로스채널의 출력값을 결정하는 과정과,
상기 중심화소의 값을 출력하는 과정과,
상기 인터채널의 출력값, 상기 크로스채널의 출력값 및 상기 중심화소의 값 중에서 최종 중앙값을 산출하는 과정과,
상기 산출된 최종 중앙값과 상기 중심화소의 값 간의 차이를 근거로 불량화소를 제거하는 과정을 포함함을 특징으로 하는 불량 화소 제거를 위한 방법.
제13항에 있어서, 상기 인터채널의 출력값을 결정하는 과정은,
상기 중심화소의 값과 상기 평균값 간의 차이가 임계값 이상인지를 판단하는 과정과,
상기 임계값 이상일 경우 상기 중심화소의 값 및 상기 동일한 컬러의 주변화소들의 값을 이용하여 상기 중심화소를 중심으로 하는 제1방향 라인, 제2방향 라인, 제3방향 라인, 제4방향 라인에 대한 각각의 중앙값을 산출하는 과정과,
상기 산출된 중앙값들을 이용하여 상기 인터채널의 중앙값을 산출하는 과정과,
상기 산출된 인터채널의 중앙값을 상기 인터채널의 출력값으로 결정하는 과정을 포함함을 특징으로 하는 불량 화소 제거를 위한 방법.
제14항에 있어서, 상기 인터채널의 출력값은,
상기 제1방향 라인의 중앙값과 상기 제3방향 라인의 중앙값 및 상기 중심화소의 값 중에서의 중앙값, 상기 제2방향 라인의 중앙값과 상기 제4방향 라인의 중앙값 및 상기 중심화소의 값 중에서의 중앙값 및 상기 중심화소의 값 중에서의 최종 중앙값인 것을 특징으로 하는 불량 화소 제거를 위한 방법.
제14항에 있어서,
상기 중심화소의 값과 상기 평균값 간의 차이가 임계값 이하일 경우 상기 중심화소의 값을 상기 인터채널의 출력값으로 출력하는 과정을 더 포함함을 특징으로 하는 불량 화소 제거를 위한 방법.
제13항에 있어서, 상기 크로스채널의 출력값을 결정하는 과정은,
상기 중심화소의 값 및 상기 인접한 주변화소들의 값을 이용하여 상기 중심화소를 중심으로 하는 제1방향 라인, 제2방향 라인, 제3방향 라인, 제4방향 라인에 대한 각각의 중앙값을 산출하는 과정과,
상기 산출된 중앙값들을 이용하여 상기 크로스채널의 출력값을 결정하는 과정을 포함함을 특징으로 하는 불량 화소 제거를 위한 방법.
제17항에 있어서, 상기 크로스채널의 출력값은,
상기 제1방향 라인의 중앙값과 상기 제3방향 라인의 중앙값 및 상기 중심화소의 값 중에서의 중앙값, 상기 제2방향 라인의 중앙값과 상기 제4방향 라인의 중앙값 및 상기 중심화소의 값 중에서의 중앙값 및 상기 중심화소의 값 중에서의 최종 중앙값인 것을 특징으로 하는 불량 화소 제거를 위한 방법.
제14항 또는 제17항에 있어서,
상기 제1방향 라인은 수직방향 라인이며, 상기 제2방향 라인은 45도 방향 라인이며, 상기 제3방향 라인은 90도 방향 라인이며, 상기 제4방향 라인은 135도 방향 라인임을 특징으로 하는 불량 화소 제거를 위한 방법.
제13항에 있어서, 상기 불량화소를 제거하는 과정은,
상기 산출된 최종 중앙값과 상기 중심화소의 값 간의 차이가 상기 평균값과 상기 산출된 최종 중앙값과의 차이보다 큰 지를 판단하는 과정과,
상기 산출된 최종 중앙값과 상기 중심화소의 값 간의 차이가 상기 평균값과 상기 산출된 최종 중앙값과의 차이보다 큰 경우 상기 중심화소를 불량화소라고 판단함으로써 상기 불량화소를 제거하는 과정을 포함함을 특징으로 하는 불량 화소 제거를 위한 방법.
제20항에 있어서,
상기 산출된 최종 중앙값과 상기 중심화소의 값 간의 차이가 상기 평균값과 상기 산출된 최종 중앙값과의 차이보다 작을 경우, 추가로 제거해야 할 불량화소가 있다고 판단하는 과정과,
상기 중심화소의 컬러와 동일한 컬러의 주변화소들 중에서 상기 중심화소의 값과 가장 가까우면서 상기 평균값과 가장 차이가 큰 화소를 추가 불량화소로 판단하는 과정과,
상기 평균값을 상기 추가 불량화소의 값으로 대체함으로써 새로운 평균값을 결정하는 과정을 더 포함함을 특징으로 하는 불량 화소 제거를 위한 방법.
제21항에 있어서,
상기 중심화소의 값, 상기 동일한 컬러의 주변화소들 및 상기 새로운 평균값을 이용하여 상기 인터채널의 새로운 출력값을 결정하는 과정과,
상기 인터채널의 새로운 출력값, 상기 크로스채널의 출력값 및 상기 중심화소의 값 중에서 새로운 중앙값을 산출하는 과정과,
상기 산출된 새로운 중앙값과 상기 중심화소의 값 간의 차이를 근거로 추가 불량화소를 제거하는 과정을 더 포함함을 특징으로 하는 불량 화소 제거를 위한 방법.