KR100422579B1 - 이미지센서 및 이미지센서의 신호 처리 방법 - Google Patents

Abstract

본 발명은 이미지센서에 관한 것으로, 특히 화질의 열화없이 모든 디스플레이 장치의 감마 특성을 충족시키기에 적합한 이미지센서 및 이미지센서의 신호처리 방법을 제공하기 위한 것으로, 이를 위해 본 발명은, 촬상된 피사체의 광신호를 전기신호로 변환하여 출력하는 화소배열부; 입력한 상기 전기적인 신호를 아날로그 신호 처리하여 출력하는 아날로그신호처리부; 입력한 상기 아날로그 신호 처리된 데이타의 레벨을 소정 한계 레벨과 비교하고, 그 비교 결과에 응답하여 상기 소정 한계 레벨 이하의 데이타는 신장하고, 상기 소정 한계 레벨 이상의 데이타는 압축하여 출력하는 무릎보정부; 상기 무릎보정부로부터 입력한 데이타를 디지탈신호로 변환하여 출력하는 아날로그/디지탈 변환부; 상기 디지탈 변환된 데이타를 디스플레이의 감마 특성에 상응하여 역보정하는 감마보정부; 및 상기 감마보정된 데이타를 디지탈 신호 처리하여 출력하는 디지탈신호처리부를 포함하는 이미지센서를 제공한다.

또한, 상기 목적을 달성하기 위한 본 발명은, 촬상된 피사체의 광신호를 전기적인 신호로 변환하는 단계; 상기 전기적인 신호를 아날로그 신호 처리하는 단계; 상기 아날로그 신호 처리된 데이타의 레벨이 소정 한계 레벨 이하인가를 판단하는 단계; 상기 아날로그 신호 처리된 데이타의 레벨이 소정 한계 레벨 이하이면 상기 소정 한계 레벨 이하의 데이타를 신장하고, 상기 데이타의 레벨이 상기 한계 레벨 이상이면 상기 한계 레벨 이상의 데이타를 압축하여 출력하는 무릎보정 단계;상기 무릎보정된 데이타를 디지탈 신호로 변환하는 단계; 상기 디지탈 변환된 데이타를 감마보정하는 단계; 및 상기 디지탈 데이타를 디지탈 신호 처리하는 단계를 포함하는 이미지센서의 신호 처리 방법을 제공한다.

Description

이미지센서 및 이미지센서의 신호 처리 방법{Image sensor and method for signal processing of image sensor}

본 발명은 이미지센서에 관한 것으로 특히, 디지털 감마 노이즈를 줄이기 위해 아날로그 무릎 보정 특성을 갖는 이미지센서에 관한 것이다.

이미지센서란 반도체가 빛에 반응하는 성질을 이용하여 이미지를 재생해내는 장치를 나타내는 바, 각각의 피사체에서 나오는 각기 다른 빛의 밝기 및 파장을 화소가 감지하여 전기적인 값으로 읽어내는 장치이다. 이 전기적인 값을 신호처리가 가능한 레벨로 만들어 주는 것이 바로 이미지센서의 역할이다.

즉, 이미지센서라 함은 광학 영상(Optical image)을 전기 신호로 변환시키는 반도체 소자로서, 이중 전하결합소자(CCD : Charge Coupled Device)는 개개의 MOS(Metal-Oxide-Silicon) 캐패시터가 서로 매우 근접한 위치에 있으면서 전하 캐리어가 커패시터에 저장되고 이송되는 소자이며, CMOS 이미지센서는 제어회로(Control circuit) 및 신호처리회로(Signal processing circuit)를 주변회로로 사용하는 CMOS 기술을 이용하여 화소 수만큼 MOS 트랜지스터를 만들고 이것을 이용하여 차례차례 출력(Output)을 검출하는 스위칭 방식을 채용하는 소자이다.

CMOS 이미지센서는 저전력 소비라는 큰 장점을 가지고 있기 때문에 휴대폰등 개인휴대용 시스템에 매우 유용하다. 따라서, 이미지센서는 PC카메라, 의학용, 완구용등 다양하게 그 응용이 가능한 바, 최근의 휴대용 단말기의 응용분야에는 작은 크기의 이미지센서가 요구되고 있어 스틸 카메라(Still-camera) 등의 응용분야에는 고화질의 이미지센서가 요구되고 있다.

도 1은 종래기술에 따른 이미지센서를 도시한 블럭도이다.

도 1을 참조하면, 종래의 이미지센서는 제어 및 외부시스템 인터페이스부(10)와, 화소 배열부(Pixel array, 11)와, 아날로그 라인 버퍼부(12)와, 칼럼디코더(Column decoder)와 로디코더(Row decoder) 및 가변증폭부 등으로 이루어진 아날로그신호처리부(13)와, 아날로그-디지탈 변환부(Analog to Digital Converter; 이하 ADC라 함, 14)와, 감마보정부(Gamma correction, 15)와 디지탈신호처리부(16)를 구비하여 구성된다.

이하, 상기한 바와 같이 이미지센서를 구성하는 각 구성 요소들의 동작을 자세히 살펴본다.

화소 배열부(11)는 빛에 반응하는 성질을 극대화 시키도록 화소(Pixel)를 가로 N개, 세로 M개(N,M은 자연수)로 배치하여, 외부에서 들어오는 이미지에 대한 정보를 감지하는 부분으로 전체 이미지센서의 가장 핵심적인 부분이며, 제어 및 외부 시스템 인터페이스부(10)는 FSM(Finite State Machine)을 이용하여 이미지센서의 전체적인 동작을 제어하며 외부 시스템에 대한 인터페이스 역할을 담당하는 바, 배치 레지스터(도시하지 않음)를 갖고 있어 여러 가지 내부 동작에 관련된 사항에 대한 프로그램이 가능하며, 이 프로그램된 정보에 따라 전체 칩의 동작을 제어하는역할을 한다.

아날로그 라인 버퍼부(12)는 선택된 한 칼럼의 화소들의 전압을 감지하여 저장하는 역할을 하며, 아날로그 라인 버퍼부(12)에 저장된 아날로그 데이타는 칼럼디코더와 로디코더의 제어에 의해 선택된 데이타 값이 아날로그 버스를 통해 가변증폭부로 전송된다.

가변증폭부 예컨대, PGA(Programmable Gain Amplifier)는 아날로그 라인 버퍼부(12)에 저장된 화소 전압이 작은 경우 이를 증폭하는 역할을 한다.

이미지센서는 제조 공정 상의 미세한 차이에 의해 오프셋 전압(Offset voltage)에 의한 고정 패턴 잡음(Fixed pattern noise)이 발생한다. 이러한 고정 패턴 잡음을 보상하기 위해 이미지센서는 화소 배열부(11)의 각 화소에서 리셋 신호(Reset voltage signal)를 읽고 데이타 신호(Data voltage signal)를 읽은 후 그 차를 출력하는 상호연관된 이중 샘플링(Correlated Double Sampling; 이하 CDS라 함) 기법을 사용한다.

디지탈화된 데이타는 감마보정부(15)에서 디스플레이 장치의 감마 특성을 고려하여 신호의 영역을 세분화하여 영역에 따라 압축/신장 즉, 감마 보정된다. 감마 보정된 신호는 자동집광시간 조절장치와 자동 화이트 밸런스(Auto white balance) 회로와 색 영역 변환기 등으로 구성된 디지탈신호처리부를 통해 사람이 이미지를 볼 때 편하게 볼 수 있는 환경으로 가공된다.

한편, 전술한 감마(Gamma)는 비디오 입력 신호에 따른 모니터상에서의 빛의 출력 또는 루미넌스 사이의 관계를 뜻하는 용어로서, 모든 이미지 재생 장치는 화상의 모든 조건을 원래 보이는 그대로 표시하는 것을 최고의 목표로 삼고 있으나, 디스플레이 장치들은 원래의 색상을 재생하는데 있어서 비직선성(있는 그대로 재현할 수 없는 성질)에 따른 한계를 지니고 있다. 이를 자연적인 감마 또는 원래의 감마라고 하며 이러한 한계를 극복하고 모니터상에서 충실히 재생하기 위해 그 만큼의 차이를 보상하는데 이는 보정감마(Correction Gamma)라 한다.

도 2는 이러한 감마보정을 설명하기 위한 피사체의 입력과 화소 및 디스플레이 장치의 출력을 도시한 그래프이다.

도 2에 도시된 바와 같이, 피사체의 입력에 따른 화소의 출력(20a)은 선형적인 특성을 갖는 바, 이를테면 흑백의 경우를 놓고 볼 때, 제일 밝은 색(원래는 빛)의 기준과 제일 어두운 색(흑색)의 기준을 잡아 놓고 그 사이에 선형적으로(Linear) 밝기들이 존재한다.

하지만, 전술한 바와 같이 빛을 전기적인 신호로 바꾸는 카메라에서와는 달리 전기신호를 빛으로 바꾸는 역과정을 행하는 수상기 등에서의 광전변환특성이 도시된 '20c'와 같이 서로 다르고 또한 리니어하지 않기 즉, 작은 신호는 축소되고 큰 신호는 증폭되는 감마 특성을 갖기 때문에 이를 도시된 '20b'와 같이 감마보정하는 것이다.

따라서, 최종적인 디스플레이 장치의 출력을 원래의 피사체의 입력과 동일한 '20d'와 같이 출력하여 원래의 이미지와 동일하게 디스플레이 할 수 있다.

전술한 예에서는 ADC(14)를 거친 후 즉, 디지탈화된 신호를 감마보정한 경우로서, 이 경우에는 특히 감마보정 중 신호가 작은 영역을 신장하는 경우에 디지탈코드들이 많이 빠지게 되어 이미지가 열화되는 문제점이 발생한다. 특히, 신호가 작은 영역은 주로 인간이 감지하는 신호 영역이므로 이 영역에서 신호가 빠지는 것은 이미지의 열화에 큰 영향을 끼친다고 볼 수 있다.

한편, 전술한 예와는 달리 ADC(14)를 거치기 전 즉, 아날로그 상태의 신호를 감마보정하는 경우도 있다. 이 때에는 아날로그의 특성 상 전술한 코드가 빠지는 문제점은 발생하지 않아 양호한 화질을 얻기에는 적합한 장점이 있다.

그러나, 아날로그 회로의 특성상 감마보정회로의 조정범위가 줄어들어 디스플레이 장치마다 차이가 있는 감마 특성을 모두 충족시키기에 어려운 문제점이 있다.

상기한 바와 같은 종래의 문제점을 해결하기 위해 제안된 본 발명은, 화질의 열화없이 모든 디스플레이 장치의 감마 특성을 충족시키기에 적합한 이미지센서 및 이미지센서의 신호처리 방법을 제공하는 것을 그 목적으로 한다.

도 1은 종래기술에 따른 이미지센서를 도시한 블럭도,

도 2는 종래의 감마보정을 설명하기 위한 피사체의 입력과 화소 및 디스플레이 장치의 출력을 도시한 그래프,

도 3은 본 발명의 일실시예에 따른 이미지센서를 도시한 블럭도,

도 4는 본 발명의 무릎보정 및 감마보정에 의한 피사체의 입력과 화소 및 디스플레이 장치의 출력을 도시한 그래프.

* 도면의 주요 부분에 대한 부호의 설명

30 : 제어 및 외부시스템 인터페이스부

31 : 화소 배열부

32 : 아날로그 라인 버퍼부

33 : 아날로그신호처리부

34 : 아날로그-디지탈 변환부

35 : 감마보정부

36 : 디지탈신호처리부

37 : 무릎보정부

상기 목적을 달성하기 위한 본 발명은, 촬상된 피사체의 광신호를 전기신호로 변환하여 출력하는 화소배열부; 입력한 상기 전기적인 신호를 아날로그 신호 처리하여 출력하는 아날로그신호처리부; 입력한 상기 아날로그 신호 처리된 데이타의 레벨을 소정 한계 레벨과 비교하고, 그 비교 결과에 응답하여 상기 소정 한계 레벨이하의 데이타는 신장하고, 상기 소정 한계 레벨 이상의 데이타는 압축하여 출력하는 무릎보정부; 상기 무릎보정부로부터 입력한 데이타를 디지탈신호로 변환하여 출력하는 아날로그/디지탈 변환부; 상기 디지탈 변환된 데이타를 디스플레이의 감마 특성에 상응하여 역보정하는 감마보정부; 및 상기 감마보정된 데이타를 디지탈 신호 처리하여 출력하는 디지탈신호처리부를 포함하는 이미지센서를 제공한다.

또한, 상기 목적을 달성하기 위한 본 발명은, 촬상된 피사체의 광신호를 전기적인 신호로 변환하는 단계; 상기 전기적인 신호를 아날로그 신호 처리하는 단계; 상기 아날로그 신호 처리된 데이타의 레벨이 소정 한계 레벨 이하인가를 판단하는 단계; 상기 아날로그 신호 처리된 데이타의 레벨이 소정 한계 레벨 이하이면 상기 소정 한계 레벨 이하의 데이타를 신장하고, 상기 데이타의 레벨이 상기 한계 레벨 이상이면 상기 한계 레벨 이상의 데이타를 압축하여 출력하는 무릎보정 단계; 상기 무릎보정된 데이타를 디지탈 신호로 변환하는 단계; 상기 디지탈 변환된 데이타를 감마보정하는 단계; 및 상기 디지탈 데이타를 디지탈 신호 처리하는 단계를 포함하는 이미지센서의 신호 처리 방법을 제공한다.

본 발명은 ADC 앞단에서 무릎(Knee) 특성을 갖는 회로를 이용하여 낮은 영역의 신호를 증폭 즉, 신장하고 높은 영역을 신호를 압축(일종의 무릎 보정(Knee correction))시킨 다음, ADC 후 감마보정을 실시함으로써 종래의 디지탈 감마보정에 따른 낮은 영역의 신호가 빠지는 것을 최소화하여 화질의 열화를 방지하며, 디지탈 감마보정에 따라 조정 범위를 넓힐 수 있어 각기 다른 디스플레이 장치의 다양한 감마 특성에 적합하도록 하는 것을 특징으로 한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부된 도면을 참조하여 설명하는 바, 도 3은 본 발명의 일실시예에 따른 이미지센서를 도시한 블럭도이며, 도 4는 본 발명의 무릎보정 및 감마보정에 의한 피사체의 입력과 화소 및 디스플레이 장치의 출력을 도시한 그래프이다.

도 3을 참조하면, 본 발명의 이미지센서는, 촬상된 피사체의 광신호를 전기신호로 변환하여 출력하는 화소배열부(31)와, 화소배열부(31)로부터의 신호를 전달받아 버퍼링하는 아날로그 라인 버퍼부(32)와, 입력한 전기적인 신호를 아날로그 신호 처리하여 출력하는 아날로그신호처리부(33)와, 입력한 아날로그 신호 처리된 데이타의 레벨을 소정 한계 레벨과 비교하고, 그 비교 결과에 응답하여 소정 한계 레벨 이하의 데이타를 신장하고, 소정 한계 레벨 이상의 데이타를 압축하여 출력하는 무릎보정부(37)와, 무릎보정부(37)로부터 입력한 데이타를 디지탈신호로 변환하여 출력하는 아날로그/디지탈 변환부(34)와, 디지탈 변환된 데이타를 디스플레이의 감마 특성에 상응하여 역보정하는 감마보정부(35)와, 감마보정된 데이타를 디지탈 신호 처리하여 출력하는 디지탈신호처리부(36)를 구비하여 구성된다.

통상적인 무릎보정은 정상 상태의 레벨(입사 광량 기준:정상 밝기) 이하에서는 보정이 이루어지지 않고, 정상치 레벨 이상에서만 동작하여 그 이상의 밝은 신호에 대해서만 신호를 압축하지만, 여기서의 무릎보정부(37)는 그와는 달리 한계 레벨 이하의 데이타를 주로 신장시킴으로써 후속 디지탈 감마보정에 따른 낮은 영역의 신호가 빠지는 현상을 방지하기 위한 것으로, 한계 레벨 이상의 데이타를 압축하는 기능 또한 추가로 수행하며, 외부로부터 입력되는 제어신호에 응답하여 신장 또는 압축하는 양을 조절한다.

이하, 상기한 바와 같이 이미지센서를 구성하는 각 구성 요소들의 동작을 도 4를 참조하여 상세하게 살펴본다.

화소 배열부(31)는 빛에 반응하는 성질을 극대화 시키도록 화소(Pixel)를 가로 N개, 세로 M개로 배치하여, 외부에서 들어오는 피사체 즉, 이미지에 대한 정보를 감지하는 부분으로, 촬상된 피사체의 광신호를 전기적인 신호로 변환하는 전체 이미지센서의 가장 핵심적인 부분이며 그 출력은 피사체에 대해 도 4의 '40a'와 같이 선형적인 특성을 갖는다.

제어 및 외부 시스템 인터페이스부(30)는 FSM을 이용하여 이미지센서의 전체적인 동작을 제어하며 외부 시스템에 대한 인터페이스 역할을 담당하는 바, 배치 레지스터를 갖고 있어 여러 가지 내부 동작에 관련된 사항에 대한 프로그램이 가능하며, 이 프로그램된 정보에 따라 전체 칩의 동작을 제어하는 역할을 한다.

아날로그 라인 버퍼부(32)는 선택된 한 칼럼의 화소들의 전압을 감지하여 저장하는 역할을 하는 바, 화소 배열부(31)에서 나온 선형적인 아날로그 출력 데이타는 아날로그 라인 버퍼부(32)에 저장되어 있다가 제어 및 외부시스템 인터페이스부(30)의 제어에 따라 구체적으로, 칼럼디코더와 로디코더의 제어에 의해 선택된 데이타 값이 아날로그 버스를 통해 가변증폭부와 색상보정부 등으로 구성되어 있는 아날로그신호처리부(33)로 화소별로 순차적으로 입력된다. 여기서 가변증폭부 예컨대, PGA는 아날로그 라인 버퍼부(32)에 저장된 화소 전압이 작은 경우 이를 증폭하는 역할을 한다.

아날로그신호처리부(33)는 작은 화소 신호를 증폭하거나 공정이나 색상 필터의 특성에 의해 왜곡된 색상 성분을 보정한다.

아날로그 신호 처리된 데이타 즉, 화소의 증폭된 선형신호는 아날로그 무릎보정부(37)에서 소정의 한계 레벨 즉, 정해진 기준신호와 비교된다. 비교 결과 아날로그 신호 처리된 데이타가 한계 레벨 이하일 경우 그 이하인 데이타는 신장하고, 이상일 경우 그 이상인 데이타는 일정한 비율로 압축한다.

즉, 도 4에 도시된 '40b'와 같이 기준신호 레벨(X) 이하인 '가'의 데이타는 신장시키고, 기준신호 레벨(X) 이상인 '나'의 데이타는 압축시킨다. 한편, 전술한 무릎보정부(37)는 도시된 '40b'와 같은 무릎 모양의 입출력 특성을 갖는 모든 종류의 회로를 이용할 수 있는 바, 여기서는 그 구체적인 세부회로는 언급하지 않는다.

무릎보정부(37)에서 압축/신장된 아날로그 신호는 아날로그-디지탈 변환부(34)에서 디지탈 신호로 변환되고, 변환된 디지탈 신호는 디스플레이 장치의 감마 특성을 고려하여 신호의 영역을 세분화하여 영역에 따라 압축/신장을 실시하는 감마보정을 행한다. 도 4에 도시된 '40c'는 선형적인 입력일 경우의 감마보정부(35)의 출력을 나타내는데, 일반적인 감마 보정(도 2의 20b)과 비교하여 낮은 화소의 출력에 대해 급격히 변하지 않고, 높은 화소의 출력에 대해서는 거의비슷한 특성을 갖음으로써, 화소 출력이 낮은 영역에서 신호가 바지는 것을 최소화 하였다.

도면부호 '40d'는 화소의 출력을 입력으로 할 경우의 감마보정부(35)의 출력을 나타내는 바, 이 출력은 일반적인 감마 보정(도 2의 20b)와 같은 특성 곡선을 갖는다.

이렇게 감마보정된 디지탈 신호는 디지탈신호처리부(36)를 통해 디지탈 신호 처리되어 출력되며, 도 4에 도시된 '40e'와 같은 비선형적인 특성을 갖는 디스플레이를 통해 전기신호에서 광신호로 광전변환된다. 따라서, 출력되는 최종 이미지는 도시된 '40f'와 같이 선형적인 특성을 갖게 된다.

전술한 디지탈신호처리부(36)는 자동집광시간 조절장치와 자동 화이트 밸런스 회로와 색 영역 변환기 등으로 구성되는 바, 이를 통해 디지탈 신호 처리되어 사람이 이미지를 볼 때 편하게 볼 수 있는 환경으로 가공된다.

전술한 본 발명의 무릎보정부는 선형적인 화소 신호를 아날로그 영역에서 압축/신장한 무릎보정부의 아날로그 출력을 디지탈 변환 후 감마보정을 한다. 디지탈 감마보정의 신장은 이미 아날로그 무릎보정부에서 실시하였기 때문에 그 만큼 신장을 줄일 수 있어, 코드의 손실을 최소화할 수 있다. 이는 사람이 낮은 영역의 신호에 민감한 특성을 가지므로 이 영역에서의 코드의 손실을 적게하여 이미지의 화질 저하를 막을 수 있음을 의미한다.

본 발명의 기술 사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.

상기한 바와 같이 이루어지는 본 발명은, 인간이 시각적으로 민감한 영역의 신호들을 아날로그 영역에서 미리 신장하여 디지탈 변환 후 감마 보정시 그 신장율을 줄임으로써, 디지탈 코드의 손실을 최소화할 수 있으며, 디지탈 감마 보정을 이용함으로써 각기 다른 디스플레이 장치의 감마 특성을 쉽게 맞출 수 있어, 궁극적으로 이미지센서의 성능을 향상시킬 수 있는 탁월한 효과를 기대할 수 있다.

Claims (3)

1. 촬상된 피사체의 광신호를 전기신호로 변환하여 출력하는 화소배열부;

   입력한 상기 전기적인 신호를 아날로그 신호 처리하여 출력하는 아날로그신호처리수단;

   입력한 상기 아날로그 신호 처리된 데이타의 레벨을 소정 한계 레벨과 비교하고, 그 비교 결과에 응답하여 상기 소정 한계 레벨 이하의 데이타는 신장하고, 상기 소정 한계 레벨 이상의 데이타는 압축하여 출력하는 무릎보정수단;

   상기 무릎보정수단으로부터 입력한 데이타를 디지탈신호로 변환하여 출력하는 아날로그/디지탈 변환수단;

   상기 디지탈 변환된 데이타를 디스플레이의 감마 특성에 상응하여 역보정하는 감마보정수단; 및

   상기 감마보정된 데이타를 디지탈 신호 처리하여 출력하는 디지탈신호처리수단

   을 포함하는 이미지센서.
2. 제 1 항에 있어서,

   상기 무릎보정수단은,

   외부로부터 입력되는 제어신호에 응답하여 데이타를 신장 또는 압축하는 양을 조절하는 것을 특징으로 하는 이미지센서.
3. 촬상된 피사체의 광신호를 전기적인 신호로 변환하는 단계;

   상기 전기적인 신호를 아날로그 신호 처리하는 단계;

   상기 아날로그 신호 처리된 데이타의 레벨이 소정 한계 레벨 이하인가를 판단하는 단계;

   상기 아날로그 신호 처리된 데이타의 레벨이 소정 한계 레벨 이하이면 상기 소정 한계 레벨 이하의 데이타를 신장하고, 상기 데이타의 레벨이 상기 한계 레벨 이상이면 상기 한계 레벨 이상의 데이타를 압축하여 출력하는 무릎보정 단계;

   상기 무릎보정된 데이타를 디지탈 신호로 변환하는 단계;

   상기 디지탈 변환된 데이타를 감마보정하는 단계; 및

   상기 디지탈 데이타를 디지탈 신호 처리하는 단계

   를 포함하는 이미지센서의 신호 처리 방법.