KR100341572B1 - 이미지 센서에서의 이미지 개선 장치 - Google Patents

Abstract

본 발명은 R, G, B 각각의 옵셋(offset)을 이용하여 동적 범위를 확장하고, 이미지 센서로부터 출력되는 이미지를 개선하기 위한 이미지 센서에서의 이미지 개선 장치를 제공하기 위한 것으로, 이를 위해 본 발명은 상기 목적을 달성하기 위한 본 발명은, 상호 연관된 이중 샘플링 방식을 지원하기 위해 다수의 단위 화소 중 어느 한 단위 화소로부터 출력되는 리셋 레벨의 디지털화된 제1 데이터 및 생성된 광전하에 의한 디지털화된 제2 데이터에 응답하여 이미지 출력값을 내보내는 이미지 센서에서, 집적 시간 및 빛의 세기에 따른 포화 영역에서의 상기 이미지 출력값의 레벨을 감소시켜 동적 범위를 확장하는 이미지 개선 장치에 있어서, 상기 제1 데이터에 응답하여 R(Red), G(Green), B(Blue) 컬러값에 따른 옵셋을 상기 제1 데이터에 가산하기 위한 제1 스테이지; 및 상기 제1 스테이지에서 가산된 상기 제1 데이터 및 상기 제2 데이터 간의 차를 상기 이미지 출력값으로 내보내기 위한 제2 스테이지를 포함하고, 바람직하게 상기 제1 및 제2 스테이지는, 픽셀 클럭 신호에 응답하여 파이프라인으로 동작한다.

Description

이미지 센서에서의 이미지 개선 장치{Apparatus for improving image quality in image sensor}

본 발명은 CMOS(Complementary Metal Oxide semiconductor, 이하 CMOS라 함) 이미지 센서(image sensor)에 관한 것으로, 특히 이미지 센서로부터 출력되는 이미지의 개선을 위한 이미지 개선 장치에 관한 것이다.

일반적으로, 이미지 센서란 빛에 반응하는 반도체의 성질을 이용하여 이미지를 찍어(capture)내는 장치를 말하는 것이다. 자연계에 존재하는 각 피사체의 부분부분은 빛의 밝기 및 파장 등이 서로 달라서 감지하는 장치의 각 화소에서 다른 전기적인 값을 보이는데, 이 전기적인 값을 신호처리가 가능한 레벨로 만들어 주는 것이 바로 이미지 센서가 하는 일이다. 이를 위해 이미지 센서는 수만에서 수십 만개의 화소(pixel)로 구성된 화소 어레이와, 수백개 정도의 화소에서 감지한 아날로그(analog) 전압을 디지털(digital) 전압으로 바꿔주는 장치와, 수백에서 수천 개의 저장 장치 등으로 구성된다.

또한, 이미지 센서는 고화질의 이미지 생성을 위해 상호 연관된 이중 샘플링 방식(correlated double sampling method, 이하 CDS라 함)을 지원하는 데 여기서 CDS라 함은, 단위 화소를 구성하는 리셋 트랜지스터(reset transistor)를 턴-온(turn-on), 트랜스퍼 트랜지스터(transfer transistor)를 턴-오프(turn-off)시켜 리셋 레벨에 해당하는 데이터 값(이하, ref_data라 함)을 얻고, 그 다음에 리셋 트랜지스터를 턴-오프시킨 상태에서 트랜스퍼 트랜지스터를 턴-온시켜 단위 화소의 포토 다이오드에서 생성된 전하를 읽어내어 실제 데이터 값(이하, act_data라 함)을 얻은 후 ref_data와 act_data의 차이를 구해 이를 이미지 센서로부터 출력되는 이미지 출력값(data_out)으로 출력하는 방식이다.

도 1은 씨모스 이미지 센서의 특성을 도시한 그래프로서, 집적 시간(integration time)에 따른 R(Red), G(Green) 및 B(Blue)의 데이터 출력값(act_data - ref_data) 특성을 나타낸다.

잘 알려진 바와 같이, 집적 시간은 단위 화소의 트랜스퍼 트랜지스터를 턴-오프시킨 상태에서 빛을 흡수하여 생성된 광전하를 집적하는 시간을 말하며, 광학 사진기의 노출 시간과 비슷한 개념이다. 이 집적 시간을 조절하여 이미지 센서의 감도(sensitivity)를 조절할 수 있다.

도면에 도시된 바와 같이, 집적 시간이 길어짐에 따라 데이터 출력값(act_data - ref_data)이 서서히 증가하게 되는 데, 특히 집적 시간에 따라 R, G, B의 데이터 출력값이 서로 상이하게 나타나게 된다. 즉, 집적 시간에 따라 G의 출력값이 먼저 나오고 계속해서 R, B의 순서대로 데이터 출력값이 나온다.

즉, 어두운 곳(집적 시간이 비교적 짧은 구간, 도 1의 "A" 구간)에서는 원래의 이미지 데이터 값이 아니라 G의 데이터 출력값만이 나오고, 그 다음 집적 시간을 조금 더 길게 하면(도 1의 "B" 구간), G의 데이터 출력값에 약간의 R 출력값과 아주 적은 B 출력값이 포함되어 적색이 가미된 짙은 녹색을 띄는 화면을 출력하게 된다.

계속해서, 집적 시간을 아주 길게 하는 경우(도 1의 "D" 구간)에는 G의 데이터 출력값이 이미 포화(saturation) 레벨인 255(ff)를 넘은 상태가 되어 실제 화질과는 다른 이미지를 띄게 됨으로써 화질의 열화를 가져오게 된다.

따라서, 실제의 이미지 값을 제대로 표현할 수 있는 이미지 센서의 동적 범위(dynamic range)는 도 1에 도시된 "C" 구간(R, G, B 각각에 대한 데이터 출력값(act_data - ref_data)이 "0"에서 "255" 사이에 존재하는 범위)만큼이며, 이러한 좁은 동적 범위는 어둡거나 너무 밝은 지역에서의 이미지 센서 사용을 제한함과 동시에 이미지의 질을 떨어뜨리고, 응용처의 영역을 줄이는 결과를 초래하게 된다.

도 2는 상기 도 1과 같은 좁은 동적 범위를 가지는 씨모스 이미지 센서에서 이미지 출력값(data_out[7:0])을 내보내기 위한 간단한 하드웨어 장치도로서, ref_data 및 act_data를 입력받아 서로 비교한 후 에러 신호(data_error)를 출력하는 비교기(100), 비교기(100)로부터의 에러 신호(data_error)에 응답하여 데이터 출력값(act_data - ref_data") 또는 "0"값을 선택적으로 출력하는 멀티플렉서(110) 및 출력 데이터 타입에 관한 신호(out_data_type)에 응답하여 멀티플렉서(110)로부터의 신호를 최종 이미지 출력값(data_out[7:0])으로 출력하는 멀티플렉서(120)로 이루어진다. 여기서 멀티플렉서(120)는 본 발명과 직접 관련이 없는 구성 요소이므로, 그 상세한 설명은 생략한다.

잡음(noise) 등의 영향으로 ref_data가 act_data보다 큰 경우, 비교기(100)는 "0"의 에러 신호(data_error)를 출력하고, "0"의 에러 신호(data_error)를 선택 신호로 받는 멀티플렉서(110)는 "0"값을 멀티플렉서(120)로 출력하고, 마지막으로 멀티플렉서(120)를 통해 최종 이미지 출력값(data_out[7:0])을 출력하게 된다.

다음으로, act_data가 ref_data 보다 큰 경우 비교기(100)는 "1"의 에러 신호(data_error)를 출력하고, 멀티플렉서(110)는 "1"의 에러 신호(data_error)에 따라 CDS 방식에 의한 데이터 출력값(act_data - ref_data)을 선택하여 멀티플렉서(120)로 출력하고, 마지막으로 멀티플렉서(120)를 통해 최종 이미지 출력값(data_out)으로 나가게 된다.

상기 도 2와 같이 구성된 하드웨어 장치는 비교기를 통한 비교 결과에 따라 데이터 출력값을 단순히 선택하여 출력함으로써, 좁은 동적 범위로 인한 이미지 센서의 화질 저하 문제를 해결하지 못한다.

본 발명은 상기 문제점을 해결하기 위하여 안출된 것으로써, R, G, B 각각의 옵셋(offset)을 이용하여 동적 범위를 확장하고, 이미지 센서로부터 출력되는 이미지를 개선하기 위한 이미지 센서에서의 이미지 개선 장치를 제공하는데 그 목적이 있다.

도 1은 씨모스 이미지 센서의 특성을 도시한 그래프.

도 2는 상기 도 1과 같은 좁은 동적 범위를 가지는 씨모스 이미지 센서에서 이미지 출력값을 내보내기 위한 간단한 하드웨어 장치도.

도 3은 본 발명의 일실시예에 따른 이미지 개선 장치의 일실시 구성도.

도 4는 본 발명의 일실시예에 따른 이미지 개선 장치를 구비한 씨모스 이미지 센서의 개선된 특성을 도시한 그래프.

* 도면의 주요 부분에 대한 설명

200, 240 : 비교기 210 : 카운터

220, 290, 300 : 멀티플렉서 230 : 가산기

250, 260, 270 : 플립플롭 280 : 감산기

바람직하게, 상기 제1 및 제2 스테이지는, 픽셀 클럭 신호에 응답하여 파이프라인으로 동작한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부된 도면을 참조하여 설명하기로 한다.

도 3은 본 발명의 일실시예에 따른 이미지 개선 장치의 일실시 구성도이고, 도 4는 본 발명의 일실시예에 따른 이미지 개선 장치를 구비한 씨모스 이미지 센서의 개선된 특성을 도시한 그래프로서, 집적 시간에 따른 R(Red), G(Green) 및 B(Blue)의 출력값 특성을 나타낸다.

도면에 도시된 바와 같이, 본 발명의 이미지 개선 장치는 ref_data 및 십진수 "5"(3'd5)를 입력받아 비교하기 위한 비교기(200), 비교기(200)로부터의 비교 결과에 응답하여 ref_data가 "5"보다 작은 경우를 카운트하기 위한 카운터(210), 배치 레지스터(configuration register)에 할당된 R, G, B 옵셋 레지스터로부터 읽어낸 옵셋값(b_offset, g_offset, r_offset)을 선택 신호(offset_sel)에 응답하여 선택적으로 출력하는 멀티플렉서(220), ref_data 및 멀티플렉서(220)로부터 출력되는 옵셋값(offset)을 입력받아 가산하기 위한 가산기(230), act_data 및 가산기(230)로부터 출력되는 옵셋값이 더해진 ref_data 값(ref_data_add)을 입력받아 서로 비교하기 위한 비교기(240), 픽셀 클럭 신호(pixel_clock)에 응답하여 각각 act_data, 비교기(240)로부터의 에러 신호(data_error), ref_data_add를 입력받아 저장하는 3개의 플립플롭(250, 260, 270), 플립플롭(250)에 저장된 act_data 및 플립플롭(270)에 저장된 ref_data_add를 입력받아 감산 동작을 수행하기 위한 감산기(280), 플립플롭(260)에 저장된 data_error에 응답하여 감산기(280)로부터의 출력값 또는 "0"값을 선택적으로 출력하는 멀티플렉서(290) 및 출력 데이터 타입에 관한 신호(out_data_type)에 응답하여 멀티플렉서(290)로부터의 신호를 최종 이미지 출력값(data_out[7:0])으로 출력하는 멀티플렉서(300)로 이루어지고, 상기 카운터(210)는 "컬럼 어드레스 비트 + 로우 어드레스 비트"의 크기를 가진다. 그리고, 카운터(210)의 일입력인 십진수 "5"는 이미지 센서의 칩 특성에 응답하는 데이터 값으로서, 여러 번에 걸친 칩 실험 결과로 결정된 임의의 로우 레퍼런스 데이터 값(low reference data value)이다.

상기와 같이 이루어지는 본 발명에 따른 이미지 개선 장치는, ref_data가 act_data보다 큰 비정상적인 경우에 비교기(240), 감산기(280) 및 멀티플렉서(290, 300)를 통해 최종 이미지 출력값(data_out[7:0])으로 "0"값을 출력하게 된다.

다음으로, 집적 시간을 길게 하거나 아주 밝은 광원 하에서 발생하는 경우로, CDS 방식에 의한 데이터 출력값(act_data - ref_data)이 포화 영역에 있는 경우 본 발명에 따른 R, G, B 옵셋을 이용하여 동적 범위를 넓혀 이미지의 질을 개선하는 동작을 아래에 설명한다.

이미지 센서는 이미지 센서의 전체적인 동작을 제어하며, 외부 시스템(system)에 대한 인터페이스(interface) 역할을 담당하는 제어 및 외부 시스템 인터페이스 부를 구비하며, 특히 제어 및 외부 시스템 인터페이스부의 배치 레지스터(configuration register)에 이미지 센서의 내부 동작과 관련된 사항을 프로그램(program)하여 전체 이미지 센서의 동작을 제어하게 되는 데, 이때 R, G, B 옵셋을 이용하는 본 발명의 동작을 위해 배치 레지스터에 R, G, B 옵셋 레지스터를 할당한다.

본 발명의 이미지 개선 장치는 먼저, 이미지 센서가 한 프레임(frame)을 읽는 동안 카운터(210)에서 ref_data가 "5"보다 작은 경우를 카운트하고, 사용자가 카운터(210)의 카운트 결과 신호(ref_pixel_cnt[15:0])로부터 판단하여 배치 레지스터에 할당된 R, G, B 옵셋 레지스터의 옵셋값(b_offset, g_offset, r_offset)을 적절히 프로그램한다.

여기서, 카운터(200)에 누적된 값이 큰 경우 데이터 출력값(act_data - ref_data)이 포화 영역에 많이 분포한다는 것을 의미하기 때문에, 본 발명의 이미지 개선 장치는 ref_data에 R, G, B 옵셋 레지스터로부터의 해당 옵셋값(사용자가 프로그램한 값)을 가산한 후 act_data에서 감산하도록 함으로써, 포화 영역의 데이터 출력값(act_data - ref_data)을 활성 영역(active area)으로 낮춰 최종 이미지 출력값(data_out[7:0])으로 내보낸다. 따라서, 도 4에 도시된 바와 같이 동적 범위의 폭이 넓어지게 된다.

구체적으로, 가산기(230)에서 ref_data 및 멀티플렉서(220)로부터의 옵셋(offset)을 가산하고, 비교기(240)에서 가산된 ref_data 값(ref_data_add)과 act_data를 비교하여 가산된 ref_data 값(ref_data_add)이 act_data보다 큰 경우 "0"의 에러 신호(data_error)를 출력하고, 작은 경우 "1"의 에러 신호(data_error)를 출력한다. 그리고, act_data, 에러 신호(data_error) 및 가산된 ref_data 값(ref_data_add)을 픽셀 클럭 신호(pixel_clock)에 따라 플립플롭(250, 260, 270)에 저장하게 되는 데, 이때 3개의 플립플롭(250, 260, 270)은 픽셀 클럭 신호(pixel_clock)에 따른 이미지 개선 장치의 파이프라인 동작을 위한 것이다. 즉, 제1 클럭(제1 스테이지)에서 act_data 및 ref_data를 입력받아 에러 신호(data_error)를 출력하고, 제2 클럭(제2 스테이지)에서 3개의 플립플롭(250, 260, 270)에 저장된 값으로부터 최종 이미지 출력값(data_out[7:0])을 출력하고, 동시에 파이프라인 방식으로 그 다음의 act_data 및 ref_data를 입력받아 에러 신호(data_error)를 생성하여 플립플롭에 저장한다.

다음으로, 플립플롭(250)으로부터의 act_data 및 플립플롭(270)으로부터의 ref_data_add를 감산기(280)에서 가산하고, 에러 신호(data_error)를 선택 신호로 하는 멀티플렉서(290)에서 에러 신호(data_error)가 "0"일 때 "0"값을, "1"일 때 감산기(280)로부터의 출력값을 각각 선택하여 멀티플렉서(300)로 출력함으로써 포화 영역의 데이터 출력값(act_data - ref_data)을 활성 영역(active area)으로 낮춰 최종 이미지 출력값(data_out[7:0])으로 출력하게 된다.

그리고, 카운터(210)에 누적된 값이 작아, 데이터 출력값(act_data - ref_data)이 동적 범위 내에 분포하는 경우에는 옵셋값을 "0"으로 프로그램함으로써 종래와 동일하게 "act_data - ref_data"을 그대로 최종 이미지 출력값(data_out[7:0])으로 출력하게 된다.

상술한 바와 같이 사용자에 의해 이루어지는 R, G, B 옵셋값 프로그램 동작은, 매 프레임당 이루어지는 것이 아니라 사용자가 카운트 결과 신호(ref_pixel_cnt[15:0])로부터 판단하여 필요한 경우에만 적절한 옵셋값으로 프로그램한다.

본 발명의 기술 사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.

상기와 같이 이루어지는 본 발명은, R, G, B 옵셋값을 이용하여 포화 영역의 데이터 출력값을 활성 영역으로 낮춰 줌으로써 동적 범위를 확장시키고, 확장된 동적 범위로부터 보다 실제 이미지에 가까운 데이터를 출력하여 이미지 센서의 이미지를 개선하는 탁월한 효과를 가진다.

Claims (7)

1. 상호 연관된 이중 샘플링 방식을 지원하기 위해 다수의 단위 화소 중 어느 한 단위 화소로부터 출력되는 리셋 레벨의 디지털화된 제1 데이터 및 생성된 광전하에 의한 디지털화된 제2 데이터에 응답하여 이미지 출력값을 내보내는 이미지 센서에서, 집적 시간 및 빛의 세기에 따른 포화 영역에서의 상기 이미지 출력값의 레벨을 감소시켜 동적 범위를 확장하는 이미지 개선 장치에 있어서,

   상기 제1 데이터에 응답하여 R(Red), G(Green), B(Blue) 컬러값에 따른 옵셋을 상기 제1 데이터에 가산하기 위한 제1 스테이지; 및

   상기 제1 스테이지에서 가산된 상기 제1 데이터 및 상기 제2 데이터 간의 차를 상기 이미지 출력값으로 내보내기 위한 제2 스테이지

   를 포함하여 이루어지는 이미지 개선 장치.
2. 제 1 항에 있어서, 상기 제1 및 제2 스테이지는,

   픽셀 클럭 신호에 응답하여 파이프라인으로 동작하는 것을 특징으로 하는 이미지 개선 장치.
3. 제 2 항에 있어서, 상기 제1 스테이지는,

   상기 R, G, B 컬러값에 따른 옵셋을 각기 저장하기 위한 R, G 및 B 옵셋 저장 수단;

   상기 제1 데이터 및 상기 이미지 센서의 칩 특성에 응답하는 소정의 로우 레퍼런스 데이터 값을 입력받아 서로 비교하기 위한 제1 비교 수단;

   상기 제1 비교 수단으로부터의 비교 결과에 응답하여 상기 제1 데이터가 상기 로우 레퍼런스 데이터 값보다 작을 때 카운트 동작을 수행하는 카운팅 수단;

   선택 신호에 응답하여 상기 옵셋 저장 수단으로부터의 상기 R, G 및 B 옵셋 중 하나를 선택적으로 출력하기 위한 제1 선택 수단;

   상기 제1 데이터 및 상기 제1 선택 수단으로부터 출력되는 상기 옵셋을 입력받아 가산하기 위한 가산 수단; 및

   상기 제2 데이터 및 상기 가산 수단으로부터의 출력을 입력받아 서로 비교하기 위한 제2 비교 수단을 포함하며,

   상기 R, G 및 B 옵셋 저장 수단에 저장되는 상기 R, G, B 컬러값에 따른 옵셋은,

   상기 카운팅 수단으로부터의 카운팅 결과에 응답하여 사용자에 의해 프로그램되는 것을 특징으로 하는 이미지 개선 장치.
4. 제 3 항에 있어서, 상기 로우 레퍼런스 데이터 값은,

   십진수 "5"인 것을 특징으로 하는 이미지 개선 장치.
5. 제 3 항 또는 제 4 항에 있어서, 상기 제1 스테이지는,

   상기 픽셀 클럭 신호에 응답하여 상기 제2 데이터, 상기 제2 비교 수단으로부터 출력되는 비교 결과 신호 및 상기 가산 수단으로부터의 출력을 각기 입력받아 저장하기 위한 제1 내지 제3 데이터 저장 수단

   을 더 포함하여 이루어지는 이미지 개선 장치.
6. 제 5 항에 있어서, 상기 제2 스테이지는,

   상기 제1 데이터 저장 수단으로부터의 상기 제2 데이터 및 상기 제3 데이터 저장 수단으로부터의 출력을 입력받아 감산 동작을 수행하기 위한 감산 수단; 및

   상기 제2 데이터 저장 수단으로부터의 상기 비교 결과 신호에 응답하여 상기 감산 수단으로부터의 출력값 및 "0"값 중 하나를 상기 이미지 출력값으로 선택하여 출력하기 위한 제2 선택 수단

   을 포함하여 이루어지는 이미지 개선 장치.
7. 제 3 항 또는 제 4 항에 있어서, 상기 카운팅 수단은,

   "프레임의 컬럼 어드레스 비트 + 프레임의 로우 어드레스 비트" 크기로 구성됨을 특징으로 하는 이미지 개선 장치.