KR20050102729A - 이미지센서의 불량 화소 제거 장치 및 불량 화소 제거 방법 - Google Patents

Abstract

본 발명은 비교적 간단한 알고리즘을 통해 영상 데이터에서 발생하는 불량 화소를 제거할 수 있는 불량 화소 제거 방법과 간단한 하드웨어 구성만으로 영상 데이터에서 발생하는 불량 화소를 제거할 수 있는 불량 화소 제거 장치를 제공하기 위한 것으로, 이를 위해 본 발명은, 화소 단위로 연속적으로 출력되는 영상 데이터 중 적어도 3개인 홀수개의 화소 데이터로 커널을 설정하여 저장하는 저장부-상기 홀수개의 화소 데이터 중 가장 중앙의 화소 데이터는 현재 화소의 데이터임; 상기 현재 화소의 데이터를 제외한 나머지 화소 데이터를 이용하여 제1문턱값을 결정하는 제1연산부; 상기 현재 화소의 데이터를 제외한 나머지 화소 데이터 중 상기 현재 화소와 동일한 베이어 색을 갖는 화소 데이터를 이용하여 제2문턱값을 결정하는 제2연산부; 상기 현재 화소의 데이터와 상기 제1문턱값을 비교하여 불량 화소 여부를 판정하며, 불량인 경우에는 보정하고 불량이 아닌 화소는 현재 화소의 데이터를 그대로 출력하는 필터/보정부; 및 상기 필터/보정부의 판정 결과 불량 화소로 판단된 현재 화소의 데이터와 상기 제2문턱값을 비교하여 불량 화소 여부를 판정하며, 불량인 경우에는 상기 보정된 데이터를 출력하고 불량이 아닌 경우에는 상기 현재 화소의 데이터를 그대로 출력하는 필터부를 포함하는 이미지센서의 불량 화소 제거 장치를 제공한다.

또한, 본 발명은 이미지센서의 불량 화소 제거 방법을 제공한다.

Description

이미지센서의 불량 화소 제거 장치 및 불량 화소 제거 방법{REMOVAL APPARATUS OF BAD PIXEL AND REMOVAL METHOD OF THE SAME IN IMAGE SENSOR}

본 발명은 이미지센서(Image sensor)에서의 불량 화소를 제거할 수 있는 불량 화소 제거 장치 및 이를 이용한 이미지센서에서의 불량 화소 제거 방법에 관한 것이다.

이미지센서란 반도체가 빛에 반응하는 성질을 이용하여 이미지를 찍어내는 장치를 말한다. 즉 각각의 피사체에서 나오는 각기 다른 빛의 밝기 및 파장을 화소가 감지하여 전기적인 값으로 읽어내는 장치이다. 이 전기적인 값을 신호처리가 가능한 레벨로 만들어 주는 것이 바로 이미지센서의 역할이다.

이미지센서를 채용한 제품에서 불량 화소로 인한 화질의 열화가 발생하므로 이를 제거하는 방법이 많이 연구되고 사용되고 있는 바, 그 대표적인 예가 1라인필터를 이용하여 불량 화소를 제거하며, 이 때 단순한 산술 평균이나 로우패스 필터 등을 이용하였다. 또는 매우 복잡한 알고리즘을 사용하여 실시간을 요하는 영상 입력 장치에서는 하드웨어 자원을 많이 필요로 한다.

따라서, 1라인필터를 사용하는 불량화소 제거 방법은 근본적인 한계가 있다고 알려져 있다.

본 발명은 상기한 종래기술의 문제점을 해결하기 위해 제안된 것으로서, 비교적 간단한 알고리즘을 통해 영상 데이터에서 발생하는 불량 화소를 제거할 수 있는 불량 화소 제거 방법을 제공하는 것을 그 목적으로 한다.

또한, 본 발명은 간단한 하드웨어 구성만으로 영상 데이터에서 발생하는 불량 화소를 제거할 수 있는 불량 화소 제거 장치를 제공하는 것을 다른 목적으로 한다.

상기의 목적을 달성하기 위해 본 발명은, 화소 단위로 연속적으로 출력되는 영상 데이터 중 적어도 3개인 홀수개의 화소 데이터로 커널을 설정하여 저장하는 저장부-상기 홀수개의 화소 데이터 중 가장 중앙의 화소 데이터는 현재 화소의 데이터임; 상기 현재 화소의 데이터를 제외한 나머지 화소 데이터를 이용하여 제1문턱값을 결정하는 제1연산부; 상기 현재 화소의 데이터를 제외한 나머지 화소 데이터 중 상기 현재 화소와 동일한 베이어 색을 갖는 화소 데이터를 이용하여 제2문턱값을 결정하는 제2연산부; 상기 현재 화소의 데이터와 상기 제1문턱값을 비교하여 불량 화소 여부를 판정하며, 불량인 경우에는 보정하고 불량이 아닌 화소는 현재 화소의 데이터를 그대로 출력하는 필터/보정부; 및 상기 필터/보정부의 판정 결과 불량 화소로 판단된 현재 화소의 데이터와 상기 제2문턱값을 비교하여 불량 화소 여부를 판정하며, 불량인 경우에는 상기 보정된 데이터를 출력하고 불량이 아닌 경우에는 상기 현재 화소의 데이터를 그대로 출력하는 필터부를 포함하는 이미지센서의 불량 화소 제거 장치를 제공한다.

또한, 상기의 목적을 달성하기 위해 본 발명은, 화소 단위로 연속적으로 출력되는 영상 데이터 중 적어도 3개인 홀수개의 화소 데이터로 커널을 설정하여 저장하는 단계-상기 홀수개의 화소 데이터 중 가장 중앙의 화소 데이터는 현재 화소의 데이터임; 상기 현재 화소의 데이터를 제외한 나머지 화소 데이터를 이용하여 제1문턱값을 결정하는 단계; 상기 현재 화소의 데이터와 상기 제1문턱값을 비교하여 불량 화소 여부를 판정하는 단계; 상기 현재 화소가 불량임에 따라 상기 현재 화소의 데이터를 보정하여 출력하고, 상기 현재 화소가 양호함에 따라 상기 현재 화소 데이터를 그대로 출력하는 단계; 상기 현재 화소의 데이터를 제외한 나머지 화소 데이터 중 상기 현재 화소와 동일한 베이어 색을 갖는 화소 데이터를 이용하여 제2문턱값을 결정하는 단계; 상기 불량 화소로 판단된 현재 화소의 데이터와 상기 제2문턱값을 비교하여 불량 화소 여부를 판정하는 단계; 및 상기 현재 화소가 불량임에 따라 상기 보정된 데이터를 현재 화소의 데이터로 출력하고, 상기 현재 화소가 양호함에 따라 상기 현재 화소의 데이터를 그대로 출력하는 단계를 포함하는 이미지센서의 불량 화소 제거 방법을 제공한다.

이미지센서의 출력은 화소 단위로 연속적으로 나오며, 베이어 패턴에 따라 같은 색깔의 값은 한 화소씩 걸러서 나오게 된다. 또한, 영상 데이터의 특징은 인접한 화소간의 상호 연관성이 높다. 따라서, 본 발명에서는 이러한 특성을 이용하여 인접 화소 간의 상호 연관성을 분석하여 불량 화소를 제거하는 방법을 사용한다.

이로써, 하드웨어 자원을 많이 사용하지 않으면서 1라인필터에서 치적의 성능을 발휘할 수 있도록 화소들의 주파수 특성을 이용하여 1차로 판단을 내리며, 같은 색상을 갖는 화소간의 상호 연관성을 분석하여 2차로 현재 화소가 불량인지를 판단한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 이미지센서의 불량 화소 제거 장치를 도시한 블럭도이다.

도 1을 참조하면, 불량 화소 제거 장치는, 화소 단위로 연속적으로 출력되는 영상 데이터 중 적어도 3개인 홀수개의 화소 데이터(여기서는 x(n-2),x(n-1),x(n),x(n+1),x(n+2))의 5개의 화소 데이터를 그 예로 하며, 홀수개의 화소 데이터 중 가장 중앙의 화소 데이터(x(n))는 현재 화소의 데이터임)로 커널을 설정하여 저장하는 저장부(10)와, 현재 화소의 데이터(x(n))를 제외한 나머지 화소 데이터(x(n-2),x(n-1),x(n+1),x(n+2))를 이용하여 제1문턱값(F1)을 결정하는 제1연산부(11)와, 현재 화소의 데이터(x(n))를 제외한 나머지 화소 데이터(x(n-2),x(n-1),x(n+1),x(n+2)) 중 현재 화소(x(n))와 동일한 베이어 색을 갖는 화소 데이터(x(n-2),x(n+2), 이미지센서의 출력은 화소 단위로 연속적으로 나오며 베이어 패턴에 따라 같은 색깔의 값은 한 화소씩 걸러서 나오게 되므로 현재 화소와 동일한 베이어 색을 갖는 화소 데이터는 x(n-2)와 x(n+2)임)를 이용하여 제2문턱값을 결정하는 제2연산부(13)와, 현재 화소의 데이터(x(n))와 제1문턱값(F1)을 비교하여 불량 화소 여부를 판정하며, 불량인 경우에는 보정하고 불량이 아닌 화소는 현재 화소의 데이터(x(n))를 그대로 출력하는 필터/보정부(12)와, 필터/보정부(12)의 판정 결과 불량 화소로 판단된 현재 화소의 데이터(x(n))와 제2문턱값(F2)을 비교하여 불량 화소 여부를 판정하며, 불량인 경우에는 보정된 데이터를 출력하고 불량이 아닌 경우에는 현재 화소의 데이터(x(n))를 그대로 출력하는 필터부(14)를 구비하여 구성된다.

여기서, 필터/보정부(12)는 현재 화소의 데이터가 제1문턱값(F1) 보다 큼에 따라 불량 화소로 판정하며, 현재 화소가 불량일 경우, 현재 화소에 인접하는 동일 베이어 색의 화소의 값(x(n-2),x(n+2)) 중 가장 큰 값으로 대체한다. 또한, 필터부(14)는 현재 화소의 데이터(x(n))가 제2문턱값(F2) 보다 큼에 따라 불량 화소로 판정한다.

제1연산부(11)는 현재 화소의 데이터(x(n))를 제외한 나머지 화소의 데이터(x(n-2),x(n-1),x(n+1),x(n+2))에 대한 평균값을 산출하는 제1평균값 산출부(110)와, k1(k1=1.5 ∼2)와 평균값을 곱하여 제1문턱값(F1)을 산출하는 제1문턱값 산출부(111)를 구비한다.

제2연산부(13)는 현재 화소의 데이터(x(n))를 제외한 나머지 화소 데이터(x(n-2),x(n-1),x(n+1),x(n+2)) 중 현재 화소와 동일한 베이어 색을 갖는 화소 데이터(x(n-2),x(n+2))에 대한 평균값을 산출하는 제2평균값 산출부(130)와, k2(k2=1.5 ∼2)와 평균값을 곱하여 제2문턱값(F2)을 산출하는 제2문턱값 산출부(131)를 구비한다.

도 1에서 예시된 불량 화소 제거 장치는, 먼저 인접한 4개의 화소 간의 평균을 구하고 평균에 대해 일정한 상수 k1을 곱하여 제1문턱값(F1)을 산출한 다음, 1차로 현재 화소가 불량인지를 한단한다. 이 때 사용한 상수 k1은 많은 실험과 영상의 특성을 파악한 결과 1.5 ∼ 2의 범위의 값을 갖는 것이 바람직하다.

평균값을 이용한 판단 방법은 연속적인 영상 데이터들 가운데서 주위 화소들에 비해 극단적으로 큰 값을 갖는 화소를 불량 화소로 판단하는 방법이다. 불량으로 판단되면, 인접한 자신과 동일한 색상을 갖는 화소들 가운데서 가장 큰 값으로 대체한다.

2차로 불량 화소를 판단하는 것은 1차 판단이 오동작 할 수 있는 경우를 방지하는 것을 목적으로 한다. 영상의 흐름이 다양하지 않고 현재 화소와 같은 색상의 데어터 값은 낮고 다른 색상의 게이터 값은 높을 때, 즉 현재 색상과 다른 색상의 영상이 연속적으로 들어 올 경우를 고려한다.

이 때, 현재 화소가 불량이 아닌데도 주변의 같은 색상들이 평균값을 낮춰 놓으므로 불량으로 판단을 내리는 경우가 생긴가. 따라서, 동일한 색상들 만을 이용하여 현재 화소가 불량인지도 판단을 내려야 한다.

이 방법도 1차와 같은 개념으로 동일 색상들만의 평균값에 일정 상수 k2를 곱하여 현재 화소와 비교를 하여 불량으로 판단을 내리면, 1차에서 교체된 값을 출력하고 그렇지 않으면 현재 화소 값을 그냥 통과시킨다. 이 때 사용한 상수 k2는 많은 실험과 영상의 특성을 파악한 결과 1.5 ∼ 2의 범위의 값을 갖는 것이 바람직하다

도 2는 본 발명의 일실시예에 따른 이미지센서의 불량 화소 제거 방법을 도식화한 플로우 챠트로서, 이를 참조하여 불량 화소 제거 방법을 상세히 살펴 본다.

화소 단위로 연속적으로 출력되는 영상 데이터 중 적어도 3개인 홀수개의 화소 데이터로 커널을 설정하여 저장한다(S201). 이어서, 홀수개의 화소 데이터 중 가장 중앙의 화소 데이터(x(n))를 현재 화소로 지정한다(S202).

이어서, 현재 화소의 데이터를 제외한 나머지 화소의 데이터에 대한 평균값을 산출한 다음(S203), 제1문턱값(F1)을 결정한다(S204).

문턱값(F1)은 현재 화소의 데이터를 제외한 나머지 화소의 데이터에 대한 평균값인 제1평균값과 k1(k1=1.5 ∼2)를 곱한 것이다.

이어서, 현재 화소의 데이터(x(n))와 제1문턱값(F1)을 비교하여 불량 화소 여부를 판정한다(S205). 이 때, 현재 화소가 불량임에 따라 현재 화소의 데이터(x(n))를 보정하여 출력하고(S206), 현재 화소가 양호함에 따라 현재 화소 데이터(x(n))를 그대로 출력한다(S210).

여기서, 현재 화소의 데이터(x(n))와 제1문턱값(F1)을 비교하여 불량 화소 여부를 판정할 때, 현재 화소의 데이터(x(n))가 제1문턱값(F1) 보다 큼에 따라 불량 화소로 판정한다.

또한, 현재 화소의 데이터(x(n))를 보정함에 있어서, 현재 화소가 불량임에 따라 현재 화소에 인접하는 동일 베이어 색의 화소의 값 중 가장 큰 값으로 대체한다. 이렇게 대체된 화소를 클램프 화소라고도 한다.

이어서, 현재 화소의 데이터(x(n))를 제외한 나머지 화소 데이터 중 현재 화소와 동일한 베이어 색을 갖는 화소 데이터의 평균값을 산출한 다음(S207), 제2문턱값(F2)을 결정한다(S208).

여기서, 문턱값(F2)은 현재 화소의 데이터(x(n))를 제외한 나머지 화소 데이터 중 현재 화소와 동일한 베이어 색을 갖는 화소 데이터에 대한 평균값인 제2평균값과 k2(k1=1.5 ∼2)를 곱한 것이다.

이어서, 불량 화소로 판단된 현재 화소의 데이터(x(n))와 제2문턱값(F2)을 비교하여 불량 화소 여부를 판정한다(S209).

이 때, 현재 화소가 불량임에 따라 보정된 데이터(클램프 화소의 데이터)를 현재 화소의 데이터로 출력하고(S211), 현재 화소가 양호함에 따라 현재 화소의 데이터(x(n))를 그대로 출력한다(S210).

여기서, 현재 화소의 데이터(x(n))와 제2문턱값(F2)을 비교하여 불량 화소 여부를 판정할 때, 현재 화소의 데이터(x(n))가 제2문턱값(F2) 보다 큼에 따라 불량 화소로 판정한다.

따라서, 도 1에 도시된 바와 같이 불량 화소가 제거된 최종적인 보정된 화소 값(Corrected_pixel)들만이 출력된다.

전술한 바와 같이 이루어지는 본 발명은, 이미지센서의 출력은 화소 단위로 연속적으로 나오고, 베이어 패턴에 따라 같은 색깔의 값은 한 화소씩 걸러서 나오며, 영상 데이터의 특징은 인접한 화소간의 상호 연관성이 높은 특성을 이용하여 인접 화소 간의 상호 연관성을 분석하여 불량 화소를 제거함으로써, 하드웨어 자원을 많이 사용하지 않으면서 불량 화소를 효과적으로 제거할 수 있음을 실시예를 통해 알아 보았다.

본 발명의 기술 사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.

상술한 바와 같은 본 발명은, 비교적 간단한 알고리즘을 통해 영상 데이터에서 발생하는 불량 화소를 제거할 수 있으며, 간단한 하드웨어 구성만으로 영상 데이터에서 발생하는 불량 화소를 제거할 수 있는 효과가 있다.

도 1은 본 발명의 일실시예에 따른 이미지센서의 불량 화소 제거 장치를 도시한 블럭도.

도 2는 본 발명의 일실시예에 따른 이미지센서의 불량 화소 제거 방법을 도식화한 플로우 챠트.

*도면의 주요 부분에 대한 부호의 설명*

10 : 저장부 11 : 제1연산부

12 : 필터/보정부 13 : 제2연산부

14 : 필터부 110 : 제1평균값 산출부

111 : 제1문턱값 산출부 130 : 제2평균값 산출부

131 : 제2문턱값 산출부

Claims (12)

1. 화소 단위로 연속적으로 출력되는 영상 데이터 중 적어도 3개인 홀수개의 화소 데이터로 커널을 설정하여 저장하는 저장수단-상기 홀수개의 화소 데이터 중 가장 중앙의 화소 데이터는 현재 화소의 데이터임;

   상기 현재 화소의 데이터를 제외한 나머지 화소 데이터를 이용하여 제1문턱값을 결정하는 제1연산수단;

   상기 현재 화소의 데이터를 제외한 나머지 화소 데이터 중 상기 현재 화소와 동일한 베이어 색을 갖는 화소 데이터를 이용하여 제2문턱값을 결정하는 제2연산수단;

   상기 현재 화소의 데이터와 상기 제1문턱값을 비교하여 불량 화소 여부를 판정하며, 불량인 경우에는 보정하고 불량이 아닌 화소는 현재 화소의 데이터를 그대로 출력하는 필터/보정수단; 및

   상기 필터/보정수단의 판정 결과 불량 화소로 판단된 현재 화소의 데이터와 상기 제2문턱값을 비교하여 불량 화소 여부를 판정하며, 불량인 경우에는 상기 보정된 데이터를 출력하고 불량이 아닌 경우에는 상기 현재 화소의 데이터를 그대로 출력하는 필터수단

   를 포함하는 이미지센서의 불량 화소 제거 장치.
2. 제 1 항에 있어서,

   상기 필터/보정수단은,

   상기 현재 화소의 데이터가 상기 제1문턱값 보다 큼에 따라 불량 화소로 판정하는 것을 특징으로 하는 이미지센서의 불량 화소 제거 장치.
3. 제 1 항 또는 제 2 항에 있어서,

   상기 필터/보정수단은,

   상기 현재 화소가 불량일 경우, 상기 현재 화소에 인접하는 동일 베이어 색의 화소의 값 중 가장 큰 값으로 대체하는 것을 특징으로 하는 이미지센서의 불량 화소 제거 장치.
4. 제 1 항에 있어서,

   상기 필터수단은,

   상기 현재 화소의 데이터가 상기 제2문턱값 보다 큼에 따라 불량 화소로 판정하는 것을 특징으로 하는 이미지센서의 불량 화소 제거 장치.
5. 제 1 항 또는 제 2 항에 있어서,

   상기 제1연산수단은,

   상기 현재 화소의 데이터를 제외한 나머지 화소의 데이터에 대한 평균값을 산출하는 제1평균값 산출부와, k1(k1=1.5 ∼2)와 상기 평균값을 곱하여 제1문턱값을 산출하는 제1문턱값 산출부를 포함하는 것을 특징으로 하는 이미지센서의 불량 화소 제거 장치.
6. 제 1 항 또는 제 4 항에 있어서,

   상기 제2연산수단은,

   상기 현재 화소의 데이터를 제외한 나머지 화소 데이터 중 상기 현재 화소와 동일한 베이어 색을 갖는 화소 데이터에 대한 평균값을 산출하는 제2평균값 산출부와, k2(k2=1.5 ∼2)와 상기 평균값을 곱하여 제2문턱값을 산출하는 제2문턱값 산출부를 포함하는 것을 특징으로 하는 이미지센서의 불량 화소 제거 장치.
7. 화소 단위로 연속적으로 출력되는 영상 데이터 중 적어도 3개인 홀수개의 화소 데이터로 커널을 설정하여 저장하는 단계-상기 홀수개의 화소 데이터 중 가장 중앙의 화소 데이터는 현재 화소의 데이터임;

   상기 현재 화소의 데이터를 제외한 나머지 화소 데이터를 이용하여 제1문턱값을 결정하는 단계;

   상기 현재 화소의 데이터와 상기 제1문턱값을 비교하여 불량 화소 여부를 판정하는 단계;

   상기 현재 화소가 불량임에 따라 상기 현재 화소의 데이터를 보정하여 출력하고, 상기 현재 화소가 양호함에 따라 상기 현재 화소 데이터를 그대로 출력하는 단계;

   상기 현재 화소의 데이터를 제외한 나머지 화소 데이터 중 상기 현재 화소와 동일한 베이어 색을 갖는 화소 데이터를 이용하여 제2문턱값을 결정하는 단계;

   상기 불량 화소로 판단된 현재 화소의 데이터와 상기 제2문턱값을 비교하여 불량 화소 여부를 판정하는 단계; 및

   상기 현재 화소가 불량임에 따라 상기 보정된 데이터를 현재 화소의 데이터로 출력하고, 상기 현재 화소가 양호함에 따라 상기 현재 화소의 데이터를 그대로 출력하는 단계

   를 포함하는 이미지센서의 불량 화소 제거 방법.
8. 제 7 항에 있어서,

   상기 현재 화소의 데이터와 상기 제1문턱값을 비교하여 불량 화소 여부를 판정할 때, 상기 현재 화소의 데이터가 상기 제1문턱값 보다 큼에 따라 불량 화소로 판정하는 것을 특징으로 하는 이미지센서의 불량 화소 제거 방법.
9. 제 7 항 또는 제 8 항에 있어서,

   상기 현재 화소가 불량임에 따라 상기 현재 화소의 데이터를 보정하는 단계에서, 상기 현재 화소에 인접하는 동일 베이어 색의 화소의 값 중 가장 큰 값으로 대체하는 것을 특징으로 하는 이미지센서의 불량 화소 제거 방법.
10. 제 7 항에 있어서,

    상기 현재 화소의 데이터와 상기 제2문턱값을 비교하여 불량 화소 여부를 판정할 때,

    상기 현재 화소의 데이터가 상기 제2문턱값 보다 큼에 따라 불량 화소로 판정하는 것을 특징으로 하는 이미지센서의 불량 화소 제거 방법.
11. 제 7 항 또는 제 8 항에 있어서,

    상기 제1문턱값은,

    상기 현재 화소의 데이터를 제외한 나머지 화소의 데이터에 대한 평균값인 제1평균값과 k1(k1=1.5 ∼2)를 곱한 것 임을 특징으로 하는 이미지센서의 불량 화소 제거 방법.
12. 제 7 항 또는 제 10 항에 있어서,

    상기 제2문턱값은,

    상기 현재 화소의 데이터를 제외한 나머지 화소 데이터 중 상기 현재 화소와 동일한 베이어 색을 갖는 화소 데이터에 대한 평균값과 k2(k2=1.5 ∼2)를 곱한 것 임을 특징으로 하는 이미지센서의 불량 화소 제거 방법.