KR100573487B1

KR100573487B1 - 이미지센서

Info

Publication number: KR100573487B1
Application number: KR1020040029070A
Authority: KR
Inventors: 조완희
Original assignee: 매그나칩 반도체 유한회사
Priority date: 2004-04-27
Filing date: 2004-04-27
Publication date: 2006-04-24
Also published as: USRE43853E1; US20050238250A1; KR20050103773A; JP4721744B2; JP2005318565A; US7336850B2

Abstract

본 발명은 저조도 환경에서 두드러지게 나타나 점과 같은 노이즈 결함을 발생시키는 암 결함을 은폐하는 방법을 제공하기 위한 것으로, 이를 위해 본 발명은, 연속적으로 출력되는 복수의 화소 데이터로부터 연속적인 5개의 화소(P1,P2,P3,P4,P5)로 이루어진 윈도우를 설정하는 단계-상기 P3는 P1 및 P5과 동일한 컬러를 가지며, P2와 P4는 동일한 컬러를 가짐; 상기 P3와 동일한 컬러를 갖는 상기 P1 및 P5의 평균값 'α'와, 상기 평균값 'α'를 'n'(n은 2의 배수)으로 나눈 복수의 'α/n'을 산출하는 단계; 상기 복수의 'α/n' 중 어느 하나를 선택하는 단계; 상기 평균값 'α'와 선택된 상기 'α/n'을 더한 문턱값 'α + α/n'과 해당 화소인 상기 P3의 화소값의 대소를 비교하는 단계; 및 상기 문턱값 'α + α/n'이 상기 P3의 화소값 보다 큼에 따라 상기 화소 P3는 불량 화소가 아니므로 암 결함 은폐를 생략하는 단계를 포함하는 이미지센서의 암 결함 은폐 방법을 제공한다.

이미지센서, 암 결함 은폐(Dark defect concealment), 에지, 문턱값.

Description

이미지센서{IMAGE SENSOR}

도 1은 본 발명의 일실시예에 따른 암 결함 은폐 방법을 도식화한 플로우 챠트.

도 2는 모자이크 구조의 화소의 배열 및 데이터의 포맷을 설명하기 위한 도면.

도 3은 도 2에 도시된 바와 같은 일련의 순서로 출력되는 화소 데이터에 윈도우를 설정한 도면.

도 4는 평균값 'α'와 문턱값 'α + α/n'을 이용한 암 결함 판별 영역을 도식화한 그래프.

도 5는 설정된 윈도우 내에서의 암 결함 검출의 예를 도시한 도면.

도 6은 설정된 윈도우 내에서 에지가 존재하는 예를 도시한 도면.

도 7은 에지 판정 존을 도시한 도면.

도 8은 본 발명의 암 결함 은폐 방식을 적용하였을 경우의 이미지의 화질 개선을 도시한 사진.

본 발명은 이미지센서(Image sensor)에 관한 것으로, 화소 데이터에 따라 능동적으로 실시 가능한 암 결함 은폐를 제공할 수 있는 이미지센서에 관한 것이다.

이미지센서란 반도체가 빛에 반응하는 성질을 이용하여 이미지를 찍어내는 장치를 말한다. 즉 각각의 피사체에서 나오는 각기 다른 빛의 밝기 및 파장을 화소가 감지하여 전기적인 값으로 읽어내는 장치이다. 이 전기적인 값을 신호처리가 가능한 레벨로 만들어 주는 것이 바로 이미지센서의 역할이다.

근래에는 집적도가 높고 및 소비 전력이 낮아 생산성이 우수한 CMOS(Complementary Metal Oxide Semiconductor) 이미지센서가 기존의 고체 촬상 소자인 CCD에 비해 각광을 받고 있는 실정이다.

한편, 이러한 이미지센서의 취약한 부분이 저조도 환경에서의 광신호 재생이다. 이는 반도체 소자들의 고유의 특성으로부터 기인한 노이즈 신호의 영향 때문이다. 이러한 노이즈 성분은 신호대잡음비(SNR)를 저하시켜 화질 열화의 주요인이 된다.

특히, 광신호가 약하게 들어오는 저조도 환경에서는 내부적으로 증폭을 많이 하여 신호 성분을 증강하는데, 이 때 노이즈 성분도 동일 비율로 증가하므로 점(Spot)과 같은 노이즈 결함이 발생하게 되는데, 이를 암 결함이라 한다.

본 발명은 상기한 종래기술의 문제점을 해결하기 위해 제안된 것으로서, 저조도 환경에서 두드러지게 나타나 점과 같은 노이즈 결함을 발생시키는 암 결함을 은폐할 수 있는 이미지센서를 제공하는 것을 그 목적으로 한다.

상기의 목적을 달성하기 위해 본 발명은, 연속적으로 출력되는 복수의 화소 데이터로부터 연속적인 5개의 화소(P1,P2,P3,P4,P5)를 저장하되, 상기 P3는 P1 및 P5과 동일한 컬러를 가지며, P2와 P4는 동일한 컬러를 갖도록 상기 연속적인 5개의 화소를 저장하여 윈도우를 설정하는 쉬프트 레지스터와, 상기 P3와 동일한 컬러를 갖는 상기 P1 및 상기 P5의 평균값 'α'와, 상기 평균값 'α'를 'n'(n은 2의 배수)으로 나눈 복수의 'α/n'을 산출하기 위한 제1 산출부와, 상기 복수의 'α/n' 중 어느 하나를 선택하기 위한 선택부와, 상기 평균값 'α'와 상기 선택부를 통해 선택된 'α/n'을 더하여 문턱값 'α + α/n'을 산출하는 제2 산출부와, 상기 제2 산출부를 통해 산출된 상기 문턱값 'α + α/n'과 해당 화소인 상기 P3의 화소값의 대소를 비교하기 위한 비교부와, 상기 비교부의 비교결과에 따라 상기 P3의 화소값이 상기 문턱값 'α + α/n'보다 큰 경우 상기 윈도우 내에 에지가 있는 지의 유무를 판별하기 위한 판별부와, 상기 판별부의 판별결과 상기 윈도우 내에 에지가 존재하지 않는 경우 상기 평균값 'α'로 상기 P3의 화소값을 대체하는 암 결함 은폐를 수행하는 암 결함 은폐수단을 구비하는 이미지센서를 제공한다.

삭제

본 발명에서는 순차적으로 출력되는 이미지 화소 데이터의 출력에서 쉬프트 레지스터와 같은 단순한 하드웨어 구성을 이용하여 예컨대, 1*5의 윈도우를 형성하며, 이 때 각 윈도우에서 해당 화소와 동일 컬러를 갖는 화소를 이용하여 평균값 및 문턱값을 결정하고 이를 이용하여 암 결함을 판단하여 암 결함 은폐를 선택적으로 실시한다.

또한, 암 결함 판단시 동일 컬러 및 동일 컬러가 아닌 인접 화소들의 값들을 이용하여 에지 여부를 판단함으로써, 암 결함 판단시 그 정확도를 높일 수 있다.

또한, 윈도우 내에서 동일한 컬러를 갖는 화소의 값이 일정 레벨 이하일 경우 블록킹 영역을 설정함으로써, 에지 판별시의 정확도도 높일 수 있다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 암 결함 은폐 방법을 도식화한 플로우 챠트이고, 도 2는 모자이크 구조의 화소의 배열 및 데이터의 포맷을 설명하기 위한 도면이다.

이하, 도 1 및 도 2를 참조하여 본 발명의 일실시예에 따른 암 결함 은폐 방법을 설명한다.

화소 배열은 도 2에 도시된 바와 같이 모자이크 배열 방식을 가지며, a와 b 두개의 열(Row)에서 각각 GRGRGRGR과 BGBGBGBGBG의 일련의 순서로 화소 데이터가 출력된다.

도 3은 도 2에 도시된 바와 같은 일련의 순서로 출력되는 화소 데이터에 윈도우를 설정한 도면이다.

암 결함 은폐를 위한 첫 단계로, 연속적으로 출력되는 복수의 화소 데이터로부터 연속적인 5개의 화소, 예컨대 도 2의 b열의 1*5 형태의 P1∼P5의 BGBGB의 화소 데이터로 이루어진 윈도우(W)를 설정한다(S101). 여기서, P1 ∼ P5에서 암 결함 여부를 판별해야 할 현재의 화소는 가장 중앙인 'N'에 위치한 'B' 컬러의 P3이다.

P1, P3, P5는 'B'의 컬러를 가지고, P2와 P4는 'G'의 컬러를 가진다. 한편, 윈도우(W)는 5개의 쉬프트 레지스터를 이용하여 간단하게 구성이 가능하며, P3 화소에 대한 암 결함 은폐가 완료되면 다음인 N+1에 해당하는 'G' 컬러의 P2 화소에 대한 암 결함 은폐 동작이 이루어진다.

설정된 윈도우(W)에서 P3와 동일한 컬러 'B'를 갖는 화소인 P1과 P5를 이용하여 평균값(Avg, α)와, 평균값 'α'를 2의 배수인 'n'으로 나눈 복수의 'α/n'을 산출한다(S102).

여기서, 평균값 'α'는 화소 P1와 P5의 평균값이므로 '(P1 + P5)/2'이며, 이 때 P1 및 P5로 표시된 값은 예컨대, 8비트로 화소 데이터의 값을 표시할 경우 0 ~ 255의 코드 중 그 크기에 해당하는 코드(전압)이다.

한편, 평균값 'α' 만을 가지고 P3의 암 결함을 판단한다면, 커다란 문제점이 발생한다. 예를 들어, P1과 P5가 각각 '129'와 '131'의 코드값을 가져 그들의 평균값 'α'가 '130'이고, 이 때 P3의 코드값이 '131'이라면 '131'이 '130' 보다 크므로 P3를 암 결함으로 판단하게 된다.

또한, 극단적으로 평균값 'α'의 2배인 '2α'를 가지고 P3의 암 결함을 판단한다면, P1과 P5가 각각 '59'와 '61'의 코드값을 가져 '2α'가 '120'이고, 이 때 P3의 코드값이 '119'라면 '120'이 '119' 보다 크므로 P3를 암 결함이 아니라고 판단하게 된다.

상기한 두 예의 경우 모두 암 결함을 판단하기에는 문제점이 있다.

따라서, 본 발명에서는 암결함을 보다 정밀하게 판단하기 위해 2의 배수인 'n'으로 평균값 'α'를 나눈 'α/n' 예컨대, 'α/2', 'α/4' 등을 평균값 'α'와 더한 값을 의미하는 문턱값(Vt)을 암 결함의 판단 기준으로 사용한다.

따라서, 'n'은 이미지의 저조도 등에 따라 선택적으로 변경할 수 있도록 한 다. 'n'이 클 경우 문턱값 'Vt'가 감소하므로 암 결함 검출을 보다 정밀하게 할 수 있는 장점이 있으나, 이 경우에는 암 결함 은폐가 빈번하게 이루어져 오히려 화질의 열화를 초래할 수 있다. 따라서, 'n'의 선택은 이미지의 조도 등에 따라 선택적으로 결정하는 것이 바람직하다.

도 4는 평균값 'α'와 문턱값 'α + α/n'을 이용한 암 결함 판별 영역을 도식화한 그래프이다.

도 4를 참조하면, 평균값 'α'와 2개의 문턱값 Vt1(α + α/2)와 Vt2(α + α/4)를 그 예로 나타내고 있는 바, P3의 코드값이 Vt1 또는 Vt2 보다 큰 빗금친 영역일 경우 P3를 암 결함 화소로 판별하고, 이에 대한 암 결함 은폐한다. 암 결함 은폐는 예컨대, P1과 P5의 평균값으로 P3를 대체하는 방식 등이 있다.

이어서, 문턱값(Vt)들 중 현재 화소에 적용할 문턱값을 선택한 다음(S103), 현재 화소 P3의 코드값과 문턱값(Vt)의 대소를 비교한다(S104).

비교 결과, 해당 화소 P3의 코드값이 문턱값(Vt) 보다 작은 경우 해당 화소 P3는 암 결함이 발생하지 않았으므로, 암 결함 은폐를 생략한다(S105).

한편, 해당 화소 P3의 코드값이 문턱값(Vt) 보다 클 경우 해당 화소 P3는 일단은 암 결함이 발생한 화소로 판단한다.

도 5는 설정된 윈도우 내에서의 암 결함 검출의 예를 도시한 도면이다.

도 5를 참조하면, 암 결함 검출을 위한 해당 화소인 P3는 P1 및 P5와 동일한 컬러를 가지며, P2와 P4는 또한 동일한 컬러를 가진다.

따라서, ①은 평균값 'α'를 나타내고, ②는 'α + α/2'인 문턱값을 나타내 며, ③은 'α + α/4'인 문턱값을 나타낸다.

이 때, P1과 P5가 모두 '10'의 코드값을 가질 때 ③의 문턱값을 이용할 경우 문턱값은 12.5이다. 따라서, P3는 '15'로 문턱값 '12.5'보다 크므로 이 경우에는 일단은 P3가 암 결함이 존재하는 것으로 판단한다.

한편, 실제 이미지에 에지가 존재할 경우에는 상황이 달라지게 된다.

즉, 도 5와 같이 P3가 암 결함인 것으로 판단되었디만, 실제로 이 부분에 에지가 존재하여 그 코드값이 달라진 것일 수도 있다.

따라서, 해당 화소의 코드값이 문턱값 보다 클 경우 그 윈도우 내에서 에지가 존재하는지를 판단한다(S106).

도 6은 설정된 윈도우 내에서 에지가 존재하는 예를 도시한 도면이다.

도 6을 참조하면, P1과 P5가 각각 '10'과 '50'의 코드값을 가지고 P3가 '30'의 코드값을 가진다면, 평균값 'α'는 '(P1 + P5)/2'에 의해 '30'이 되며, 도 5의 ③에 해당하는 문턱값을 적용하게 되면, 문턱값은 '5α/4'이므로 '37.5'가 된다.

따라서, P3의 코드값 '50'이 문턱값 '37.5' 보다 크므로 암 검출로 판명된다. 하지만, 이 윈도의 경우 실제 점선으로 도시된 부분에 에지가 존재하여 P1과 P3가 서로 큰 차이의 코드값을 갖는다. 이 경우 암 결함으로 판단하여 암 결함 은폐를 실시하게 되면 화질이 열화되므로, 해당 윈도우에 대한 에지의 유무 파악이 중요하다.

이를 위해 에지 판정 존을 설정하고, 이러한 에지 판정 존을 이용하여 에지 유무를 파악한다.

도 7은 에지 판정 존을 도시한 도면이다.

도 7은 8비트 데이터 표현 방식에서, 가로축은 P1 화소의 코드값을 세로축은 P5 화소의 코드값을 각각 나타낸다.

도 7을 참조하면, R1' 영역은 'P4 - P2 ＞ (P4 + P2)/2'으로, 이 수식을 풀면 'P4 ＞ 3P2'가 된다. R1 영역은 'P2 - P4 ＞ (P2 + P4)/2'으로, 이 수식을 풀면 'P2 ＞ 3P4'가 된다. 이 두영역은 |P2 - P4| ＞ (P4 + P2)/2'으로 표현이 가능하다.

즉, P3에 인접한 화소인 P2와 P4의 관계에서 어느 한 쪽의 코드값이 다른 한 쪽의 코드값의 3배를 넘으므로, 이 영역에서는 에지가 존재하는 것으로 간주하게 된다.

또한, R2' 영역은 'P5 - P1 ＞ (P5 + P1)/4'으로, 이 수식을 풀면 'P5 ＞ 5/3P1'가 된다. R2 영역은 'P1 - P5 ＞ (P1 + P5)/4'으로, 이 수식을 풀면 'P1 ＞ 5/3P5'가 된다. 이 두영역은 |P5 - P1| ＞ (P5 + P1)/4'으로 표현이 가능하다.

즉, P3와 동일한 컬러를 갖는 화소인 P1와 P5의 관계에서 어느 한 쪽의 코드값이 다른 한 쪽의 코드값의 5/3배를 넘으므로, 이 영역에서는 에지가 존재하는 것으로 간주하게 된다.전술한 도 7에 도시된 R1,R1',R2,R2'의 4영역에 해당할 경우 비록 P3의 코드값이 문턱값을 초과하더라도 암 결함 은폐를 생략하게 된다(S105).

한편, 전술한 4개의 영역에 해당하지 않는 즉, R3의 영역일 경우에는 해당 윈도우에서 에지가 존재하지 않으므로 화소 P3와 문턱값의 대소 비교에 의해 암 결 함 은폐가 결정된다.

즉, 화소 P3의 코드값이 문턱값 보다 크고 에지가 존재하지 않으면, 화소 P3는 불량 화소로 판단하여 암 결함 은폐를 실시하게 된다.

한편, 극히 저조도인 이미지에서는 P1 ∼ P5의 코드값에서 약간의 차이가 나도 에지로 판단이 되어 암 결함 은폐를 실시하지 않는다. 이렇듯, 실제 에지가 아닌 곳이 |P2 - P4| ＞ (P2 + P4)/2 또는 |P1 - P5| ＞ (P1 + P5)/4를 만족하여 에지로 판명되는 것을 방지하기 위해 P1과 P5가 모두 소정의 코드값 이하인 영역을 블록킹 존(Blocking zone) R4로 지정한다.

따라서, P1과 P5의 코드값이 모두 블록킹 존 R4에 해당하면, P3에 대한 암 결함 은폐를 무조건 실시한다.

이 때, 블록킹 존 R4의 최대 임계값은 8비트의 데이터 표현 방식인 255코드의 경우 '7 ∼ 32'의 코드값이 된다.

도 8은 본 발명의 암 결함 은폐 방식을 적용하였을 경우의 이미지의 화질 개선을 도시한 사진이다.

도 8의 (a)에서는 보정 전을 나타내는 것으로 'X'와 같이 이미지에 복수의 결함이 존재함을 확인할 수 있으나, 도 8의 (b)에서는 보정 후로서 결함이 거의 제거되었음을 확인할 수 있다.

한편, 전술한 예에서는 화소 데이터가 RGB 포맷으로 이루어진 것을 그 예로 하였으나, 이외에도 YMgCy(옐로우, 마제타, 시안) 등의 보색 포맷에도 적용이 가능하다.

전술한 바와 같이 이루어지는 본 발명은, 순차적으로 출력되는 이미지 화소 데이터의 출력에서 쉬프트 레지스터와 같은 단순한 하드웨어 구성을 이용하여 1*5의 윈도우를 형성하며, 이 때 각 윈도우에서 해당 화소와 동일 컬러를 갖는 화소를 이용하여 평균값 및 문턱값을 결정하고 이를 이용하여 암 결함을 판단하여 암 결함 은폐를 선택적으로 실시하며, 암 결함 판단시 동일 컬러 및 동일 컬러가 아닌 인접 화소들의 값들을 이용하여 에지 여부를 판단하고, 윈도우 내에서 동일한 컬러를 갖는 화소의 값이 일정 레벨 이하일 경우 블록킹 영역을 설정함으로써, 암결함 판단시 정확도와 에지 판별시의 정확도를 높여서 이미지를 개선할 수 있음을 실시예를 통해 알아 보았다.

본 발명의 기술 사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.

상술한 바와 같은 본 발명은, 암 결함 은폐를 통한 이미지의 열화를 최소화하여 이미지센서의 영상 데이터의 화질을 개선할 수 있는 효과가 있다.

Claims

연속적으로 출력되는 복수의 화소 데이터로부터 연속적인 5개의 화소(P1,P2,P3,P4,P5)를 저장하되, 상기 P3는 P1 및 P5과 동일한 컬러를 가지며, P2와 P4는 동일한 컬러를 갖도록 상기 연속적인 5개의 화소를 저장하여 윈도우를 설정하는 쉬프트 레지스터;

상기 P3와 동일한 컬러를 갖는 상기 P1 및 상기 P5의 평균값 'α'와, 상기 평균값 'α'를 'n'(n은 2의 배수)으로 나눈 복수의 'α/n'을 산출하기 위한 제1 산출부;

상기 복수의 'α/n' 중 어느 하나를 선택하기 위한 선택부;

상기 평균값 'α'와 상기 선택부를 통해 선택된 'α/n'을 더하여 문턱값 'α + α/n'을 산출하는 제2 산출부;

상기 제2 산출부를 통해 산출된 상기 문턱값 'α + α/n'과 해당 화소인 상기 P3의 화소값의 대소를 비교하기 위한 비교부;

상기 비교부의 비교결과에 따라 상기 P3의 화소값이 상기 문턱값 'α + α/n'보다 큰 경우 상기 윈도우 내에 에지가 있는 지의 유무를 판별하기 위한 판별부; 및

상기 판별부의 판별결과 상기 윈도우 내에 에지가 존재하지 않는 경우 상기 평균값 'α'로 상기 P3의 화소값을 대체하는 암 결함 은폐를 수행하는 암 결함 은폐수단

을 구비하는 이미지센서.
삭제
제 1 항에 있어서,

상기 암 결함 은폐수단은 상기 판별부를 통해 상기 윈도우 내에 에지가 존재하는 것으로 판별되면 상기 P3에 대해 상기 암 결함 은폐를 수행하지 않는 것을 특징으로 하는 이미지 센서.
제 3 항에 있어서,

상기 판별부는 |P2 - P4| ＞ (P2 + P4)/2 또는 |P1 - P5| ＞ (P1 + P5)/4를 만족하는 경우 상기 윈도우 내에 에지가 존재하는 것으로 판단하는 것을 특징으로 하는 이미지센서.
제 4 항에 있어서,

상기 암 결함 은폐수단은 상기 |P2 - P4| ＞ (P2 + P4)/2 또는 |P1 - P5| ＞ (P1 + P5)/4를 만족하여 상기 윈도우 내에 에지가 존재하더라도, 상기 P1과 P5가 모두 소정의 값 이하를 갖는 블록킹 존에 해당하는 경우 상기 P3에 대해 상기 암 결함 은폐를 실시하는 것을 특징으로 하는 이미지센서.
제 5 항에 있어서,

상기 소정의 값은 8비트의 255코드인 경우 7 내지 32의 코드 값인 것을 특징으로 하는 이미지센서.
삭제
제 1 항, 제 3 항, 제 4 항, 제 5 항 및 제 6 항 중 어느 한 항에 있어서,

상기 화소 데이터는 RGB 포맷으로 이루어진 것을 특징으로 하는 이미지센서.
제 1 항에 있어서,

상기 암 결함 은폐수단은 상기 비교부의 비교결과 상기 P3의 화소값이 상기 문턱값 'α + α/n'보다 작은 경우 상기 P3에 대해 상기 암 결함 은폐를 실시하지 않는 것을 특징으로 하는 이미지센서.
삭제
삭제
삭제
삭제