KR20060077164A - 이미지 센서의 노이즈 제거 및 불량 화소 보정 방법 - Google Patents

Abstract

본 발명은 이미지 센서에 관한 것으로, 특히 실시간으로 불량 화소 및 노이즈를 검출할 수 있는 이미지 센서의 노이즈 제거 및 불량 화소 보정 방법에 관한 것이다. 본 발명에 따른 이미지 센서의 노이즈 제거 및 불량 화소 보정 방법은, 설정된 커널의 입력 데이터에 대하여 다양한 환경에 각각 상응하는 적어도 하나 이상의 문턱값을 설정하는 제 1 단계; 상기 적어도 하나 이상의 문턱값을 이용하여 상기 입력 데이터들의 강도값차(differential value)를 이용하여 불량화소를 판단하는 제 2 단계; 및 상기 불량화소를 주변화소의 강도값에 따라 보정을 수행하는 제 3 단계를 포함한다. 따라서, 복잡하고 많은 시간을 요하는 양산 테스트를 거치지 않고 실시간으로 불량 화소 및 노이즈를 검출할 수 있기 때문에 개발 시간을 단축할 수 있다.

불량회소, 문턱값, 환경, 강도값차, 이미지 센서

Description

이미지 센서의 노이즈 제거 및 불량 화소 보정 방법{Method for collecting defect pixel and removing noise in image sensor}

도 1은 본 발명이 적용되는 전반적인 이미지 데이터 처리를 도시한 블록도.

도 2는 본 발명에 따른 불량화소 및 노이즈 보정을 위한 커널 구조를 도시한 도면.

도 3a는 본 발명에 따른 이미지 센서의 노이즈 제거 및 불량 화소 보정 방법을 도시한 흐름도.

도 3b는 본 발명에 따른 문턱값 설명의 세부 흐름도.

*도면의 주요 부분에 대한 부호의 설명

11: 화소 어레이 12: 프리앰프부

13: A/D변환부 14: 불량화소 검출부

15: 불량화소 보정부 16: 메모리

본 발명은 이미지 센서에 관한 것으로, 특히 실시간으로 불량 화소 및 노이즈를 검출할 수 있는 이미지 센서의 노이즈 제거 및 불량 화소 보정 방법에 관한 것이다.

일반적으로, 이미지 센서는 공정이 복잡하기 때문에 여러 가지 오류에 의하여 수십 수백만개의 화소 중에 불량이 생기거나 각 화소간 오차가 발생하게 된다. 이로 인하여 센서의 화질에 열화가 생기며 이로 인하여 수율이 많이 떨어지는 문제가 있다.

또한, 종래의 불량 화소 보정 방법은 양산 테스트를 통하여 불량 화소의 위치를 찾은 다음 별도의 저장 장치에 그 주소를 저장하면 센서는 이 주소에 응답하여 화소 어레이로부터 출력되는 데이터를 보정 장치를 통해 보정하게 된다. 따라서, 종래의 보정방법은 테스트에 많은 시간이 걸리고, 실시간으로 불량화소를 검출 할 수 없기 때문에 개발에 필요한 시간과 비용이 생산성을 저하 시키는 문제점이 있었다.

상기와 같은 종래기술의 문제점을 해결하기 위하여 제안된 본 발명은, 복잡하고 많은 시간을 요하는 양산 테스트를 거치지 않고 실시간으로 불량 화소를 검출하고 이웃 화소를 이용하여 보정 가능하기 함으로써 개발에 필요한 시간과 비용을 절약할 수 있는 이미지 센서의 노이즈 제거 및 불량 화소 보정 방법을 제공하는데 그 목적이 있다.

상기의 목적을 달성하기 위해 본 발명은, 설정된 커널의 입력 데이터에 대하여 다양한 환경에 각각 상응하는 적어도 하나 이상의 문턱값을 설정하는 제 1 단계; 상기 적어도 하나 이상의 문턱값을 이용하여 상기 입력 데이터들의 강도값차(differential value)를 이용하여 불량화소를 판단하는 제 2 단계; 및 상기 불량화소를 주변화소의 강도값에 따라 보정을 수행하는 제 3 단계를 포함하는 이미지 센서의 노이즈 제거 및 불량 화소 보정 방법을 제공한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 보다 용이하게 실시할 수 있도록 하기 위하여 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명한다.

먼저, 도 1은 본 발명이 적용되는 전반적인 이미지 데이터 처리를 도시한 블록도로서, 도면에서 11은 화소 어레이, 12은 프리앰프부, 13은 A/D변환부, 14는 불량화소 검출부, 15는 불량화소 보정부, 16은 메모리를 각각 나타낸다.

상기 화소 어레이부(11)는 외부에서 들어오는 이미지에 대한 정보를 감지하는 부분으로 빛의 양에 대응되는 전기적 신호를 생성하여 읽어내는 장치이고, 상기 프리앰프부(12)는 화면 밝기를 조절하는 것으로 화면의 밝기가 소정 레벨보다 높거나 또는 소정 레벨보다 낮으면 화면 밝기를 적절하게 조절하기 위해 입력되는 신호의 레벨을 소정 레벨로 일정하게 조정하여 신호를 출력하게 하는 장치이다. 또한, 상기 A/D 변환부(13)는 상기 화소 어레이부(11)의 각 화소에서 감지한 아날로그 전압을 디지털 시스템에서 처리가능하도록 디지털 전압으로 바꾸는 역할을 한다.

한편, 상기 불량 화소 검출부(14)는 이전 라인의 에지 정보값을 이용하여 현재 화소가 불량 화소인지 혹은 노이즈인지를 검출하는 장치이고, 상기 불량 화소 보정부(15)는 검출부에서 검출된 불량 화소를 이용하여 보정하는 장치이며, 상기 메모리(16)는 한 라인의 각 화소가 에지인지 아닌지를 나타내는 플래그('0' 혹은 '1')를 저장하게 된다.

불량 화소의 검출은 기본적으로 도2와 같은 커널 구조를 가지고 이루어진다. 즉, 동일라인의 5개 화소를 가지고 커널 구조를 형성한다. 일단 커널에 5개의 데이터가 들어오면 도 3a에서와 같이 보정을 수행한다.

도 3a 및 3b를 참조하여 본 발명에 따른 불량 화소 보정방법을 상세히 섬령하면 다음과 같다.

도 3a에서와 같이, 커널에 5개의 데이터가 들어오면(310) 제 1 내지 제 3문턱값을 설정하게 된다(320). 도 3b는 문턱값 설정에 대하 상세 흐름도를 나타내고 있다. 먼저, 도 3b의 문턱값 설정을 상세히 설명하면 다음과 같다.

커널에 5개의 데이터가 들어오면(310), 첫 번째로 커널의 중심 화소(P(x,y))와 같은 컬러 성분을 가지는 주변 화소와의 강도값차를 이용해 불량 화소 혹은 노이즈인지를 판단하기 위한 제 1 문턱값(Th1)을 정한다(510). 다음에는 현재 커널이 고주파 영역에 있는지를 판단하기 위한 제 2 문턱값(Th2)을 설정한다(520). 상기 제 2 문턱값(Th2)이 결정되면, 불량 화소 혹은 노이즈인지를 판단하기 위한 제 3 문턱값(Th3)을 구하게 된다. 이 값은 현재 주변 환경이 어두운지(530) 혹은 매우 밝은지(540)와 현재 커널이 고주파 영역에 있는지(550)를 판단하여 설정된다. 여기서 주변 환경이 어두우냐 밝으냐는 프리 앰프의 앰프 레벨로 판단할 수 있다. 또한 현재 커널이 고주파 영역에 있는지 아닌지를 판단하는 방법은 커널의 각 화소들의 배리에이션(variation)과 상기 제 2 문턱값(Th2)을 이용하여 구할 수 있다. 이렇게 각 환경에 따라 제 3 문턱값(Th3)을 구하게 된다(560).

각 화소들간의 배리언스(variance)는 커널 안의 모든 화소 각각에 대해서 이루어질 수도 있고 같은 컬러 특성을 갖는 화소들간의 배리언스로도 구해질 수 있다. 만약 각 화소들간의 배리언스를 하드웨어 복잡도(hardware complexity)를 고려하여 간단하게 구하면 다음의 수학식을 통해 용이하게 구할 수 있다.

Variance = (2*Abs(Sum P -P(x-2,y))+Abs(SumP-P(x-1,y))+ 2*Abs(SumP-P(x,y))+Abs(SumP-P(x+1,y))+2*Abs(SumP-P(x+2,y)))/8

만약 배리언스가 상기 제 2 문턱값(Th2)보다 크다면 현재 고주파 영역에 있다고 판단하게 된다. 이렇게 문턱값들이 결정되면 도 3a에서와 같이 중심 화소의 감독값과 같은 컬러 특성을 갖는 화소와의 강도값차(differential value)(diff1, diff2)를 다음의 수학식을 이용하여 구한다(330).

diff1 = P(x,y) -P(x-2,y), diff2=P(x,y)-P(x+2,y)

이어서, 중심 화소와 바로 인접한 화소와의 강도값차(diff3, diff4)다음의 수학식을 이용하여 구한다(340).

diff3 =P(x,y) -P(x-1,y), diff4=P(x,y)-P(x+1,y)

일단 diff1과 diff2 가 제 1 문턱값(Th1)보다 크고 두 개의 부호가 같다면 일차적으로 불량 화소라고 판단하게 된다(350). 2차적으로 이렇게 분류된 불량 화소들 중 에지 영역에 속하는 것은 불량 화소에서 제외하게 된다. 에지 영역에 속하는 화소인지를 판단하는 일차 기준은 diff3과 diff4가 제 3 문턱값(Th3)보다 크면 에지 영역이라고 판단하고, 그렇지 않으면 에지 영역이 아니라고 판단하게 된다(360). 이것은 이웃한 화소간의 상관관계를 이용한 것이다. 즉 Blue 와 Red 화소의 강도값은 G 화소의 강도값과 상관 관계를 가지고 있다. 이차로 이전 라인의 에지 플래그를 이용하여 수직에지 인지를 판단하게 된다(370, 380, 390). 최종적으로 불량 화소로 분류된 화소들은 주변화소의 강도값에 비해 높게 나타나는 값인지 낮게 나타나는 값인지를 판단하여 적절하게 보정하게 되는데, diff1의 크기를 비교하여(400) 보정을 달리하게 된다. 즉, diff1이 0보다 작으면 다음의 수학식을 이용하여 구한다(410).

(낮게 나타나는 값) P(x,y)=(P(x-2,y)+P(x+2,y))/2 *1.25

한편, diff1이 0보다 크면 다음의 수학식을 이용하여 구한다(420).

(높게 나타나는 값) P(x,y)=(P(x-2,y)+P(x+2,y))/2 *0.75

끝으로, 보정할 필셀이 있는가를 판단하여 있으면 전술한 단계를 반복 수행함으로써 대상 픽셀의 보정을 완료하게 된다(430).

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

상기와 같이 이루어지는 본 발명은 복잡하고 많은 시간을 요하는 양산 테스트를 거치지 않고 실시간으로 불량 화소 및 노이즈를 검출할 수 있기 때문에 개발 시간을 단축할 수 있다. 또한, 이웃 화소를 이용하여 불량 화소와 노이즈의 보정이 가능하기 때문에 수율 향상에 따른 개발비용을 절약할 수 있는 효과가 있다.

Claims (4)

1. 설정된 커널의 입력 데이터에 대하여 다양한 환경에 각각 상응하는 적어도 하나 이상의 문턱값을 설정하는 제 1 단계;

   상기 적어도 하나 이상의 문턱값을 이용하여 상기 입력 데이터들의 강도값차(differential value)를 이용하여 불량화소를 판단하는 제 2 단계; 및

   상기 불량화소를 주변화소의 강도값에 따라 보정을 수행하는 제 3 단계

   를 포함하는 이미지 센서의 노이즈 제거 및 불량 화소 보정 방법.
2. 제 1 항에 있어서,

   상기 제 1 단계는,

   커널의 중심 화소(P(x,y))와 같은 컬러 성분을 가지는 주변 화소와의 강도값차를 이용해 불량 화소 혹은 노이즈인지를 판단하기 위한 제 1 문턱값을 설정하는 제 1 단계;

   현재 커널이 고주파 영역에 있는지를 판단하기 위한 제 2 문턱값을 설정하는 제 2 단계; 및

   주변 환경의 밝기 정도와 현재 커널이 고주파 영역에 있는지에 따라 제 3 문턱값을 설정하는 단계

   를 포함하는 것을 특징으로 하는 이미지 센서의 노이즈 제거 및 불량 화소 보정 방법.
3. 제 1 항에 있어서,

   상기 제 3 단계는,

   상기 불량화소의 강도값차와 주변화소의 강도값를 비교하여 크기에 따라 보정을 달리하는 것을 특징으로 하는 이미지 센서의 노이즈 제거 및 불량 화소 보정 방법.
4. 제 1 항에 있어서,

   상기 방법은 수직에지를 판단하기 위하여 메모리로터 에지 프래그 정보를 이용하는 것을 특징으로 하는 이미지 센서의 노이즈 제거 및 불량 화소 보정 방법.

Images