KR20040069403A - 이미지센서의 칼라 정보 보간 방법 - Google Patents

Abstract

본 발명은 이미지센서의 칩효율 및 집적도를 향상시킬 수 있는 이미지센서의 칼라 보간 방법을 제공하기 위한 것으로, 이를 위해 본 발명은, 적색, 녹색 및 청색의 칼라 필터 어레이용 단위 화소가 배열된 칼라 필터 어레이를 포함하는 이미지센서의 보간 방법에 있어서, 해당 단위 화소 내의 상기 녹색 화소의 값은 인접한 3개의 단위 화소의 녹 색 값으로부터 메디안 필터를 적용한 값으로하며, 적색 및 청색 화소의 값은 각각 인접한 2개의 단위 화소의 적색 및 청색 화소로부터의 평균값으로 하는 것을 특징으로 하는 이미지센서의 보간 방법을 제공한다.

Description

이미지센서의 칼라 정보 보간 방법{METHOD FOR INTERPOLATION OF COLOR INFORMATION OF IMAGE SENSOR}

본 발명은 이미지센서에 관한 것으로, 더욱 상세하게는 이미지센서에서 칼라 정보를 보간(Interpolation) 하는 방법에 관한 것이다.

일반적으로, 이미지센서라 함은 광학 영상(Optical image)을 전기 신호로 변환시키는 반도체소자로서, 이중 전하결합소자(CCD : Charge Coupled Device)는 개개의 MOS(Metal-Oxide-Silicon) 커패시터가 서로 매우 근접한 위치에 있으면서 전하 캐리어가 커패시터에 저장되고 이송되는 소자이며, CMOS(Complementary MOS; 이하 CMOS) 이미지센서는 제어회로(Control circuit) 및 신호처리회로(Signal processing circuit)를 주변회로로 사용하는 CMOS 기술을 이용하여 화소 수 만큼 MOS 트랜지스터를 만들고 이것을 이용하여 차례차례 출력(Output)을 검출하는 스위칭 방식을 채용하는 소자이다.

한편, 이러한 이미지센서의 칼라 구현을 위해 RGB 등으로 구현된 CFA를 구비하여 원화상에 근접한 칼라를 구현하고자 하는 노력이 이어지고 있는 바, 잘 알려진 바와 같이, 칼라 보간은 이웃한 화소의 단위 색상 값들로부터 해당 화소의 RGB 칼라 값을 유추하여 출력함으로써, 이미지센서의 저해상도 이미지 데이타를 고해상도 이미지 데이타로 변화하는 것이다.

도 1은 단위 화소를 이루는 CFA의 배열을 도시한 개략도이다.

칼라의 단위 화소(1) 자체는 인간의 눈에 민감한 색깔인 G(녹색)를 R(적색) 및 B(청색)에 비해 두 배 정도 많이 포함하므로 R 및 B에 비해 G를 도 1에 도시된 바와 같이, G1, G2로 나누어 두 배로 사용하고 있다.

또한, 도 2는 종래의 보간 방법 중 3*3 주변의 화소 정보를 이용한 보간 방법을 도시한 개략도로서, 종래의 보간은 구현하고자 하는 영역(A)의 색상은 해당하는 그 자체의 색상이 아닌 인접한 8개 화소의 평균값을 통해 즉, A = (1+2+3+4+5+6+7+8)/8 과 같이 최종 출력을 계산하기 때문에 색 재현성이 떨어지는문제점이 발생하게 된다.

한편, CMOS 이미지센서를 채용한 단말기에서 R,G,B의 완전한 칼라 정보를 얻고자 할 때 많은 계산 시간과 메모리 공간 그리고 디지탈 로직회로가 소요된다. 아울러, 전술한 바와 같이 CMOS 이미지센서의 특징은 하나의 화소가 하나의 칼라 정보만을 가지고 있기 때문에 주위의 인접한 화소로부터 존재하지 않는 칼라 정보를 보간하기 위해 많은 판단 로직과 메모리를 필요로 한다.

CMOS 이미지센서로부터 들어오는 R이나 G,B 값으로부터 도 2에서 도시된 바와 같이 3*3 주변의 화소 정보를 이용하여 평균값을 취하거나 크기 순서로 정렬하여 중간값을 취하거나 또는 인접 화소로 대체하는 방법들이 사용된다.

이러한 방법들은 화질의 열화를 초래하거나 필요 이상의 많은 로직을 필요로 한다. 또한, 2라인 메모리를 필요로 하므로 메모리 공간이 추가로 필요하게 되어 칼라 보간회로를 위한 부분이 전체 로직에서 상당히 많은 부분을 차지하게 된다.

따라서, 이미지센서의 칩 효율 및 집적화에 상당한 부담으로 작용하게 된다.

상기와 같은 종래 기술의 문제점을 해결하기 위해 제안된 본 발명은, 이미지센서의 칩효율 및 집적도를 향상시킬 수 있는 이미지센서의 칼라 보간 방법을 제공하는데 그 목적이 있다.

도 1은 단위 화소를 이루는 CFA의 배열을 도시한 개략도.

도 2는 종래기술에 따른 보간 방법을 도시한 개략도.

도 3은 본 발명의 일실시예에 따른 이미지센서의 베이어 패턴을 개략적으로 도시한 평면도.

도 4는 칼라 정보가 보간된 R,G,B 패턴을 도시한 평면도.

도 5는 본 발명의 일실시예에 따른 R,G,B 각각의 칼라 정보 보간 방법을 도시한 평면도.

상기 목적을 달성하기 위하여 본 발명은, 적색, 녹색 및 청색의 칼라 필터 어레이용 단위 화소가 배열된 칼라 필터 어레이를 포함하는 이미지센서의 보간 방법에 있어서, 해당 단위 화소 내의 상기 녹색 화소의 값은 인접한 3개의 단위 화소의 녹 색 값으로부터 메디안 필터를 적용한 값으로하며, 적색 및 청색 화소의 값은 각각 인접한 2개의 단위 화소의 적색 및 청색 화소로부터의 평균값으로 하는 것을 특징으로 하는 이미지센서의 보간 방법을 제공한다.

본 발명은 CMOS 이미지센서를 채용한 단말기에서 디지탈 칼라 영상을 얻고자 할 때 존재하지 않는 화소에 대한 칼라 정보 보간 방법을 사용함으로써, R이나 G 또는 B 칼라에 대한 정보만을 갖는 화소로부터 완전한 R,G,B의 칼라 정보를 얻을 수 있도록 한다.

즉, 칼라 영상의 정보 중 녹색(G)의 경우 전체 영상의 50% 이상이 집중되어 있다는 점과 인간의 눈이 채도에 대한 인지도가 휘도에 대한 인지도보다 낮다는 점에 착안하여 눈에 직접적으로 영향을 미치는 휘도에 대한 화질의 열화를 방지하면서 빠른 수행 능력과 1라인 메모리의 적은 메모리와 로직회로를 사용하도록 한다.

이로써, CMOS 이미지센서를 채용한 단말기에서 1라인 메모리만을 사용하여 R,G,B에 대한 칼라 보간을 할 수 있고, 이러한 보간 방법 또한 단순하면서도 화면의 흐림 현상이 없이 빠른 처리 능력과 우수한 화질을 보장할 수 있도록 한다. 아울러, 본 발명의 칼라 정보 보간 방법을 로직으로 구현함에 있어서 적은 양의 로직회로가 사용되어 전체 칩 면적을 줄일 수 있도록 한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부한 도면을 참조하여 설명하기로 한다.

도 3은 본 발명의 일실시예에 따른 이미지센서의 베이어 패턴을 개략적으로 도시한 평면도이고, 도 4는 칼라 정보가 보간된 R,G,B 패턴을 도시한 평면도이며, 도 5는 본 발명의 일실시예에 따른 R,G,B 각각의 칼라 정보 보간 방법을 도시한 평면도이다.

CMOS 이미지센서를 채용한 시스템은 광학 렌즈로부터 초점이 모여진 빛이 칼라필터어레이를 거쳐 화소의 포토다이오드에서 아날로그 신호로 변화된다. 아날로그 신호는 상호 연관된 이중 샘플링(Correlated Double Sampling; 이하 CDS라 함) 회로에서 리셋신호와 데이타 신호가 복한된 신호로부터 데이타 신호만을 걸러내고 신호의 증폭을 위해 프로그래머블 이득 증폭기(Programmable Gain Amplifier; 이하 PGA라 함)를 거쳐 아날로그-디지탈 변환기(Analog to Digital Converter; 이하 ADC라 함)에서 디지탈 신호로 변환된다. 이렇게 변화된 디지탈 신호는 각각의 R,G,B 신호로부터 각 화소 당 R,G,B 정보를 모두 갖도록 보간을 하게 된다.

본 발명에서 사용한 방법은 도 3과 같은 베이어(Bayer) 패턴을 갖는 센서 어레이로부터 도 4와 같은 R,G,B 정보를 모두 갖도록 R화소, G화소, B화소에 대해 도 5와 같이 보정을 수행하였다.

도 3을 참조하면, 센서 어레이가

R G R G R G....

G B G B G G....

R G R G R G....

G B G B G B....

처럼 반복적인 구조의 단위 블럭을 갖는다.

도 4에서 G 화소에 대한 보정 방법으로는 충분한 화질을 보장해 주기 위해 메디안 필터(Median filter)를 사용하여 화면상에서 윤곽선을 보정하여 영상이 흐려지는 현상을 방지하였다. 메디안 필터의 사용은 일반적으로 많은 계산 시간과 메모리 및 로직회로를 필요로 하는데, 본 발명에서는 단지 1라인 메모리만을 사용하여 3개의 인접한 G 화소만으로 G 색상 정보가 없는 화소에 대해 G 색상 정보를 보간하였다. G 화소에 대한 메디안 필터 방법은 하기의 수학식1과 같다.

missG₂₂= median(G₁₂, G₂₁, G₂₃)

R과 B 색상에 대한 보간 방법은 센서의 각 라인마다 R과 B 화소가 위치하는 라인이 다르게 때문에 해당 화소가 존재하는 라인과 존재하지 않는 라인에 대해 서로 다른 방법을 사용하여 보간한다. R과 B 화소에 대한 보간 방법은 각각 하기의 수학식2 및 수학식3과 같다.

R 라인 : B₂₂= (B₁₁+ B₁₃)/2

B 라인 : R₂₂= (R₁₁+ R₁₃)/2

전술한 바와 같이 이루어지는 본 발명은, CMOS 이미지센서를 채용한 단말기 등에서 1라인 메모리만을 사용하여 R,G,B에 대한 칼라 정보를 보간할 수 있도록 한다.

또한, 칼라 보간 방법이 단순하면서도 화면의 흐림 현상이 없으므로 빠른 처리 능력을 가질 수 있으며 우수한 화질을 보장할 수 있으며, 칼라 보간 방법을 로직으로 구현함에 있어 적은 양의 로직회로가 사용되어 전체 칩 면적을 줄일 수 있음을 실시예를 통해 알아 보았다.

본 발명의 기술 사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.

상술한 본 발명은, 단순한 로직회로 및 1라인의 메모리만을 이용하여 빠르면서도 화질의 열화 없이 칼라 보간을 할 수 있어, 궁극적으로 이미지센서의 집적도및 해상도를 향상시킬 수 있는 탁월한 효과를 기대할 수 있다.

Claims (1)

1. 적색, 녹색 및 청색의 칼라 필터 어레이용 단위 화소가 배열된 칼라 필터 어레이를 포함하는 이미지센서의 보간 방법에 있어서,

   해당 단위 화소 내의 상기 녹색 화소의 값은 인접한 3개의 단위 화소의 녹 색 값으로부터 메디안 필터를 적용한 값으로하며, 적색 및 청색 화소의 값은 각각 인접한 2개의 단위 화소의 적색 및 청색 화소로부터의 평균값으로 하는 것을 특징으로 하는 이미지센서의 보간 방법.