KR100594020B1 - 블랙 레벨 보정 장치 및 방법 - Google Patents

Abstract

본 발명은 이미지 센서에 관한 것으로, 특히 CMOS 이미지 센서가 가지는 블랙 레벨 값(black level value)을 측정하고, 이미지 데이터에 상기 측정한 블랙 레벨 값에 의해 이미지 데이터에 대한 블랙 레벨을 보정할 수 있도록 한 블랙 레벨 보정 장치 및 방법에 관한 것이다. 이를 위하여 본 발명은 암전류에 의해 발생되는 블랙 레벨을 보정하는 장치에 있어서, 렌즈를 통해 촬상되는 피사체의 빛 에너지를 출력하는 광학부와, 상기 빛 에너지를 전기적 신호로 변환하여 출력하는 픽셀 배열부와, 상기 전기적 신호를 이미지 처리하여 영상신호로 출력하고, 측정된 블랙 레벨 값을 통해 상기 영상신호의 블랙 레벨을 보정하며, 상기 보정된 영상신호로부터 감지된 빛의 양에 따라 노광 시간(Exposure Time)을 조절하기 위한 타이밍 신호 및 센서 제어 신호를 상기 픽셀 배열부로 출력하는 이미지 처리부와, 상기 암전류에 의한 블랙 레벨값을 측정하여 상기 이미지 처리부로 출력하며, 상기 출력된 타이밍 신호와 센서 제어신호에 따라 상기 픽셀부가 상기 빛 에너지를 제한적으로 입력받도록 제어하는 제어부로 구성됨을 특징으로 한다.

블랙 레벨, 보정, R, G, B, 영상 신호, 카메라, 이미지 센서

Description

블랙 레벨 보정 장치 및 방법{APPARATUS AND METHOD FOR COMPENSATING BLACK LEVEL}

도 1은 본 발명의 블랙 레벨 보정 장치를 구비한 카메라 모듈이 내장된 휴대용 단말기의 구성을 도시한 도면.

도 2는 도 1에 있어서, 카메라 모듈의 내부 구성을 보인 도면.

도 3은 도 2에 있어서, 이미지 처리부의 구체적인 구성을 보인 도면.

도 4는 본 발명의 실시 예에 따른 영상신호 조정부의 구체적인 구성을 보인 도면.

도 5는 본 발명의 실시예에 따른 블랙 레벨 보정방법을 보인 흐름도.

도 6은 본 발명의 실시예에 따른 블랙 레벨 검출을 통한 블랙 레벨측정을 설명하기 위해 도면.

도 7은 본 발명의 실시예에 따라 블랙 레벨 조정에 따른 이미지 데이터의 입력 밝기와 출력 밝기의 관계를 보이고 있는 도면.

***도면의 주요부분에 대한 부호의 설명***

10: 제어부 21: RF부

23: 모뎀 25: 오디오 처리부

27: 키패드 29: 메모리

60: 렌즈 경통 62: 픽셀 베이어

100: 카메라 모듈 110: 광학부

112: 픽셀 배열부 114: 이미지 처리부

310: 영상신호 조정부 312: 보간 및 픽셀 보정부

314: 컬러 보정부 316: 감마 보정부

318: 색공간 변환부 320: 자동 화이트 밸런스 조정부

322: 자동 노광 조정부 324: 타이밍 생성 및 센서 제어부

ANT: 안테나 MIC: 마이크

SPK: 스피커

본 발명은 이미지 센서에 관한 것으로, 특히 CMOS 이미지 센서가 가지는 블랙 레벨 값(black level value)을 측정하고, 이미지 데이터에 상기 측정한 블랙 레벨 값에 의해 이미지 데이터에 대한 블랙 레벨을 보정할 수 있도록 한 블랙 레벨 보정 장치 및 방법에 관한 것이다.

최근 들어 영상기기의 급속한 발전으로 인해 이미지 센서에 대한 개발이 가속화되고 있다. 상기 이미지 센서는 빛에 반응하는 반도체의 성질을 이용하여 이미 지를 찍어내는 장치를 통칭한다. 통상적으로 자연계에 존재하는 피사체의 각 부분은 빛의 밝기 및 파장 등이 서로 다르다. 따라서 상기 이미지 센서는 렌즈를 통해 빛의 밝기 및 파장 등에 의해 얻어진 빛 에너지(광자)를 전기적인 신호(전하)로 변환하는 기능을 수행한다. 이러한 이미지 센서의 대표적인 것으로, 전하결합소자(Charge Coupled Device : 이하 "CCD" 라 칭함) 이미지 센서와 상보성 금속 산화막 반도체(Complimentary Metal Oxide Semiconductor : 이하 "CMOS" 라 칭함) 이미지 센서가 있다. 상기 두 종류의 이미지 센서들은 주사된 빛에서 그 강약에 따른 전하를 생성하는 광 검출기(Photo Detector)와, 그 전하를 외부로 전달하는 회로로 구성된다. 이러한 구성을 가지는 상기 두 종류의 센서들은 광 검출기를 통해 전하를 생성하는데 까지는 같은 과정을 거치지만, 그 이후에 이루어지는 전하 처리 방식에 큰 차이가 있다.

상기 CCD 이미지 센서는 전하의 전송을 담당하는 것이 CCD라고 불리는 소자다. 상기 CCD 이미지 센서는 디지털카메라나 비디오카메라 등을 중심으로 오래 전부터 채용되고 있다.

상기 CMOS 이미지 센서는 CCD 대신에 CMOS 트랜지스터의 스위치 기능을 이용해 전하를 처리한다. 상기 CMOS 이미지 센서는 광 검출기마다 스위치를 갖고 있기 때문에 어느 장소의 전하라도 직접 처리할 수 있는 것이 특징이다. 따라서 상기 CCD 이미지 센서와 비교해 읽어내기가 빠르고, 소비전력도 적다. 또한 상기 CMOS 이미지 센서는 전세계적으로 컴퓨터 칩을 만드는데 사용되는 공정과 매우 유사한 공정에 의해 만들어 진다. 따라서 이미지 센서의 회로와 화상처리회로 등을 혼용해 서 배치하는 것도 가능하다.

이러한 CMOS 이미지 센서는 휴대전화나 소형 디지털카메라 등에서 많이 채용되어 왔다. 하지만, 최근에는 고급 디지털카메라 등에도 채용되고 있어, CCD 이미지 센서를 위협하는 존재로 성장하고 있다.

상기 CMOS 이미지 센서는 하나의 픽셀(Pixel)을 단위로 하는 셀의 내부에 하나 이상의 트랜지스터와 포토 다이오드로 화상을 촬상한다. 즉, 평면상으로 나열된 포토 다이오드의 광/전변환에 의한 전하를 내부의 트랜지스터로 증폭하고, 이를 스위치 회로를 통해 1 화소 씩 독출하는 이미지 캡쳐 장치(Image Capture Device)이다. 따라서, 각 화소마다 증폭기능을 갖기 때문에 고감도 및 높은 신호대 잡음비(High SNR)를 얻을 수 있는 가능성이 크다. 또한 수평, 수직의 신호선을 각각 하나씩 선택해서 임의의 화소를 독출할 수 있는 랜덤 억세스(Random Access) 기능을 갖는다.

따라서 상기 CMOS 이미지 센서는 표준 CMOS 처리 기술에 기반을 두고 있기 때문에 칩 사이즈의 소형화, 카메라의 경량화, 주변의 구동회로를 포함한 온-칩(On-Chip)화 가능, 저전력소비가 가능할 뿐만 아니라 신호전하에 비례한 전류의 증폭으로 미약한 조도에서 촬상이 가능하다는 장점을 가진다.

하지만 이미지센서의 기능으로 빠뜨릴 수 없는 것이 컬러 이미지에 대한 대응이다. 통상적으로 CMOS 이미지 센서에 사용되는 광 검출기는 색을 식별할 수 없기 때문에 컬러 대응 이미지 센서에서는 컬러필터에 의해 색 분해를 하고, 각 색의 강약을 읽어 들인다. 이때 사용하는 컬러필터로는 레드(R), 그린(G), 블루(B)로 이 루어진 원색필터와 시안(C), 마젠타(M), 옐로우(Y), 그린(G)으로 이루어진 보색필터가 있다. 최근에는 발색이 우수한 원색필터가 주로 사용된다. 단 컬러필터 방식에서는 한 화소당 한 개 색밖에 표현할 수 없어 정보가 부족해진다. 이러한 부족한 정보는 주변의 화소에서 보정(보간; interpolation)해야 하고, 이것이 화질저하의 주요 원인이 되고 있다.

이러한 상기 CMOS 이미지 센서를 통해 촬상되는 컬러 이미지는 색채화상을 찍기 위해서는 영상신호의 블랙레벨이 항상 규정레벨에 올바르게 고정되어 있지 않으면 안된다. 그러나 촬상관의 출력신호에는 암전류가 포함되어 있으며 이것은 주위온도에 의해 변동한다.

상기 암 전류는 CMOS 이미지 센서에 사용되는 광 다이오드에서 입사 광에 의해 상승하는 온도가 주요 원인이 되어, 영상신호의 블랙 레벨의 변동을 야기 시키므로 화면상에서는 검은 부분의 밸런스가 크게 무너져 화질이 대단히 떨어지게 되는 문제점이 있다.

따라서 상기한 바와 같은 문제점을 해결하기 위한 본 발명의 목적은 잡음 성분으로 인해 발생하는 암 전류를 보상하는 장치 및 방법을 제공함에 있다.

본 발명의 다른 목적은 카메라의 화질을 개선하기 위한 장치 및 방법을 제공함에 있다.

본 발명의 또 다른 목적은 CMOS 이미지 센서가 가지는 블랙 레벨 값을 측정 하고, 이미지 데이터에 상기 측정한 블랙 레벨 값에 의해 이미지 데이터에 대한 블랙 레벨을 보정할 수 있도록 한 블랙 레벨 보정 장치 및 방법을 제공함에 있다.

또한, 본 발명의 또 다른 목적은 노출 시간을 조절하고, 영상신호 이득을 통해 블랙 레벨을 보정하는 장치 및 방법을 제공함에 있다.

상기와 같은 목적을 달성하기 위한 본 발명은, 암전류에 의해 발생되는 블랙 레벨을 보정하는 장치에 있어서, 렌즈를 통해 촬상되는 피사체의 빛 에너지를 출력하는 광학부와, 상기 빛 에너지를 전기적 신호로 변환하여 출력하는 픽셀 배열부와, 상기 전기적 신호를 이미지 처리하여 영상신호로 출력하고, 측정된 블랙 레벨 값을 통해 상기 영상신호의 블랙 레벨을 보정하며, 상기 보정된 영상신호로부터 감지된 빛의 양에 따라 노광 시간(Exposure Time)을 조절하기 위한 타이밍 신호 및 센서 제어 신호를 상기 픽셀 배열부로 출력하는 이미지 처리부와, 상기 암전류에 의한 블랙 레벨값을 측정하여 상기 이미지 처리부로 출력하며, 상기 출력된 타이밍 신호와 센서 제어신호에 따라 상기 픽셀부가 상기 빛 에너지를 제한적으로 입력받도록 제어하는 제어부로 구성됨을 특징으로 한다.

또한 본 발명은 렌즈와 픽셀 베이어(bayer)를 통해 입력되는 영상신호에 대한 블랙 레벨을 보정하는 방법에 있어서, 픽셀 베이어로부터 완전히 차광된 광 다이오드의 암전류를 기준으로 블랙 레벨값을 검출하는 과정과, 렌즈를 통해 입사되는 빛 에너지를 영상신호로 출력하는 과정과, 상기 출력된 영상신호의 입력 밝기 값에 상기 검출된 블랙 레벨 값을 감산하는 과정과, 상기 입력 밝기 값이 감산된 영상신호로부터 상기 렌즈를 통해 입력된 빛의 양을 감지하는 과정과, 상기 감지된 빛의 양에 따라 노광 시간(Exposure Time)을 조정하여 상기 렌즈를 통해 입사되는 빛의 양을 조정하는 과정을 포함함을 특징으로 한다.

삭제

이하 본 발명에 따른 바람직한 실시 예들을 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.

하기의 설명에서 본 발명의 블랙 레벨 보정과 관련된 내용의 특정 상세들이 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있다. 이들 특정 상세들 없이 또한 이들의 변형에 의해서도 본 발명이 용이하게 실시될 수 있다는 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.

본 발명의 블랙 레벨 보정은 다음과 같다.

첫째, 상기 블랙 레벨의 발생원인의 암 전류(dark current)를 측정하기 위해 완전히 차광된 광 다이오드의 암전류를 기준으로 블랙 레벨값을 측정한후, 그 측정된 블랙 레벨값을 수식에 대입하여 이미지 데이터가 가지는 블랙 레벨을 보정하는 방법과 둘째, 상기 측정한 블랙 레벨값에 따라 노광 시간을 강제로 조정하여 이미 지 데이터가 가지는 블랙 레벨을 보정하는 방법이다.

상기한 두가지 방법을 통한 구체적인 방법과 그 방법이 적용되는 장치에 대해 기술한다.

도 1은 본 발명의 블랙 레벨 보정 장치를 구비한 카메라 모듈이 내장된 휴대용 단말기의 구성을 도시한 도면이다. 여기서, 상기 휴대용 단말기는 휴대용 전화기일 수 있다.

상기 도 1을 참조하면, RF부(21)는 휴대용 단말기의 통신을 수행한다. 상기 RF부(21)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 미도시된 RF송신기와 수신되는 신호를 저잡음 증폭하고 주파수를 하강변환하는 RF수신기등을 포함한다.

모뎀(MODEM)(23)은 상기 송신되는 신호를 부호화 및 변조하는 송신기 및 상기 수신되는 신호를 복조 및 복호화한다.

오디오 처리부(25)는 상기 모뎀(23)에서 출력되는 수신 오디오신호를 제어부(10)로부터 입력받아 재생하거나 또는 마이크(MIC)로부터 입력되는 음성신호를 데이터화하여 제어부(10)로 출력한다. 여기서, 상기 오디오 처리부(25)는 제어부(10)에 포함될 수 있다.

키패드(27)는 숫자 및 문자 정보를 입력하기 위한 키들 및 각종 기능 들을 설정하기 위한 기능키들을 구비한다.

메모리(29)는 프로그램 메모리 및 데이터 메모리들로 구성될 수 있다. 상기 프로그램 메모리에는 휴대용 단말기의 일반적인 동작을 제어하기 위한 프로그램들이 저장된다. 또한, 상기 프로그램 메모리에는 본 발명의 실시예에 따라 암전류에 의해 발생되는 블랙레벨을 보정하기 위한 프로그램들이 저장된다. 또한 상기 데이터 메모리에는 상기 프로그램들을 수행하는 중에 발생되는 데이터들이 저장된다.

제어부(10)는 휴대용 단말기의 전반적인 동작을 제어하는 기능을 수행한다. 또한, 상기 제어부(10)는 상기 모뎀(23)을 포함할 수도 있다. 또한 상기 제어부(10)는 본 발명의 실시예에 따라 카메라 모드시, 카메라 모듈(100)의 노광 시간을 제어하여 이미지 데이터가 가지는 블랙 레벨을 강제로 조정하고, 이를 색 신호 이득(G gain, R gain, B gain)을 조정하여 블랙 레벨을 보정하는 전반적인 동작을 제어한다. 또한, 상기 카메라 모듈(100)로부터 완전히 차광된 광 다이오드의 암전류를 기준으로 블랙 레벨을 측정하여 그 블랙 레벨이 보정된 이미지 데이터를 출력하도록 하는 전반적인 동작을 제어한다.

카메라 모듈(100)은 영상 데이터를 촬영하며, 촬영된 광신호를 전기적 신호로 변환하는 카메라 센서와, 상기 변환된 전기적신호를 제어부(10)의 제어하에 블랙 레벨이 보정된 이미지 데이터로 변환한후, 외부 디스플레이 화면에 맞춰 그 이미지 데이터를 출력한다.

표시부(80)는 상기 제어부(10)의 제어하에 프로그램 수행중에 발생되는 메시지들을 표시한다. 또한 상기 표시부(80)는 본 발명의 실시예에 따라 카메라 모드시 상기 카메라 모듈(100)로부터 블랙 레벨이 보정된 영상신호를 입력받아 이를 표시한다. 여기서 상기 표시부(80)는 LCD를 사용할 수 있으며, 이런 경우 상기 표시부80은 LCD제어부(LCD controller), 영상데이터를 저장할 수 있는 미도시된 메모리 및 LCD표시소자 등을 구비할 수 있다. 여기서 상기 LCD를 터치스크린(touch screen) 방식으로 구현하는 경우, 상기 키패드(27)와 상기 LCD는 입력부가 될 수 있다.

상기 도 1의 휴대용 단말기의 일반적인 동작은 생략하고, 본 발명의 카메라 모듈(100)과 관련된 블랙 레벨의 동작을 살펴보면 다음과 같다.

우선, 제어부(10)는 카메라 모드시, 카메라 모듈(100)이 촬영되는 영상을 전기적신호로 변환하고, 그 변환된 전기적 신호를 디지털 영상 데이터로 변환하여 출력하도록 제어한다. 이때, 상기 제어부(10)는 상기 카메라 모듈(100)로부터 완전히 차광된 광 다이오드의 암전류를 기준으로 블랙 레벨을 측정하고, 그 측정된 블랙 레벨이 보정된 이미지 데이터를 카메라 모듈(100)로부터 출력되도록 제어한다. 그러면, 상기 카메라 모듈(100)은 표시부(80)에 블랙 레벨이 보정된 이미지 데이터를 표시한다.

상기 카메라 모듈(100)의 내부 구성을 후술하면 다음과 같다.

도 2는 도 1에 있어서, 카메라 모듈의 내부 구성을 보인 도면이다. 상기 도 2를 통해 보이고 있는 이미지 처리 절차는 CMOS 이미지 센서가 사용된 경우를 가정하고 있다. 하지만 당업자라면 화상 신호를 처리하기 위한 장치에 용이하게 적용할 수 있음은 자명할 것이다.

상기 도 2를 참조하면, 광학부(110)는 렌즈를 통해 피사체를 촬상하고, 상기 촬상에 의해 얻어진 빛 에너지(광자)를 출력한다. 픽셀 배열부(Pixel Array)(112)는 수만에서 수십 만개의 픽셀(pixel)들로 구성되며, 상기 광학부(110)의 렌즈를 통해 입사되는 광 신호를 아날로그의 전기적인 신호(전하)로 변환하여 출력한다. 이때 상기 픽셀 배열부(112)는 이미지 처리부(114)로부터 제공되는 타이밍 신호(timing signal)와 센서 제어 신호(sensor control signal)에 의해 동작한다. 상기 타이밍 신호에 의해서는 상기 광 신호를 받아들이는 시간 등이 제어될 수 있다. 상기 광 신호를 받아들이는 시간은 추후 표시되는 이미지의 밝기뿐만 아니라 색상에 지대한 영향을 미치게 된다. 또한 상기 타이밍 신호는 본 발명의 실시 예에 따른 블랙 레벨 보정을 위해 사용된다.

상기 이미지 처리부(114)는 상기 픽셀 배열부(Pixel Array)(112)로부터의 전기적 신호에 의해 레드(R), 그린(G), 블루(B)로 이루어진 영상신호에 대한 이미지 처리를 수행한다. 그 후 상기 이미지 처리에 의해 얻어진 완전한 영상신호를 출력한다. 그리고 상기 이미지 처리부(114)는 상기 출력되는 영상신호를 보정하기 위한 타이밍 신호 및 센서 제어 신호를 생성하고, 이를 상기 픽셀 배열부(112)로 제공한다.

상기 이미지 처리부(114)로부터의 영상신호는 표시부(80)를 통해 표시되거나 메모리(29)에 기록된다. 상기 표시부(80)는 다양한 표시 창(CRT, LCD 등)과, 상기 표시 창을 통해 이미지를 표시하기 위해 상기 영상신호를 처리하기 위한 구성을 포함한다. 상기 저장부(118)에 저장된 영상신호는 추후에 다양하게 응용될 수 있다. 한편 상기 도면에는 도시 되고 있지 않으나 상기 이미지 처리부(114)로부터 출력되는 영상신호 또는 상기 저장부(118)에 저장된 영상신호는 프린터를 통한 인쇄가 가능하다.

도 3은 도 2에 있어서, 이미지 처리부의 구체적인 구성을 보이고 있다. 한편 상기 도 3에서는 본 발명의 실시 예를 설명함에 있어 발명의 요지를 흐릴 수 있는 불필요한 구성에 대해서는 생략하고 있다.

상기 도 3을 참조하면, 영상신호 조정부(310)는 픽셀 배열부(112)로부터의 영상신호와 함께 상기 영상신호를 조정하기 위한 제어 신호(control signal)를 입력으로 한다. 상기 제어 신호는 R 신호와 B 신호의 이득 값을 포함한다. 상기 R 신호와 상기 B 신호의 이득 값은 수동으로 조정할 수 있으나 본 발명에서는 자동으로 조정됨을 가정한다. 상기 R 신호와 B 신호의 이득 값은 화이트 보정을 위해 사용된다. 상기 영상신호 조정부(310)는 상기 제어 신호에 의해 상기 영상신호에 대한 블랙 레벨 조정 및 화이트 보정을 수행한다. 여기서, 상기 화이트 보정은 일반적으로 공지된 기술이므로 이에 대한 설명은 생략하기로 한다.

상기 블랙 레벨 조정은 암 전류로 인해 영상신호가 가지는 블랙 레벨을 조정함으로써, 원하는 블랙 색상이 표현될 수 있도록 한다. 이때 상기 영상신호에 대해 블랙 레벨을 조정하게 되면, 소정 영역에서의 출력 영상신호를 얻을 수 없게 된다. 따라서 이를 감안한 블랙 레벨 조정이 이루어져야 한다. 이러한 블랙 레벨 조정에 관한 구체적인 동작은 후술하기로 한다.

상기 영상신호 조정부(310)로부터 출력되는 영상신호는 보간 및 픽셀 보정부(312)로 제공된다. 상기 보간 및 픽셀 보정부(312)는 상기 영상신호의 불량 화소(dead pixel)에 대한 보간(Interpolation)을 수행한다. 그리고 상기 영상신호의 픽셀들에 대한 보정을 수행한다. 상기 불량 화소는 영상신호를 구성하는 화소들 중 잃어버린 화소를 가리킨다. 상기 보간은 일반적으로 주어진 화소에서 계산하려 는 칼라와 같은 칼라 정보를 갖는 주위의 화소값들을 사용하는 가장 인접한 이웃 화소 보간법(Nearest neighbor replication)과 양선형 보간법(Bilinear Interpolation) 및 중간값 보간법(Median interpolation) 등이 있다. 여기서, 상기 보간은 일반적으로 공지된 기술이므로 이에 대한 설명은 생략하며, 본 발명을 구현함에 있어서는 어떠한 상기 보간법의 사용에도 개의치 않는다.

상기 보간 및 픽셀 보정부(312)로부터의 영상신호는 컬러 보정부(314)로 제공된다. 상기 컬러 보정부(314)는 상기 영상신호를 표준 영상신호로 보정한다. 즉 입력되는 R 신호, G 신호 및 B 신호를 표준 R 신호(sR), 표준 G 신호(sG) 및 표준 B 신호(sB)로 보정한다.

상기 표준 영상신호는 감마 보정부(316)로 제공된다. 통상적으로 감마(gamma)는 콘트라스트 상태를 나타내는 척도로 특성곡선의 경사도, 즉 농도의 변화/노광량의 변화를 말한다. 그리고 CRT 등과 같은 표시장치에서 영상신호의 입력 전압에 대한 전자 빔 전류의 관계는 비선형적이다. 따라서 상기 감마 보정부(316)는 상기 표시장치의 비선형적인 특성을 고려하여 최종 영상신호가 선형성을 가질 수 있도록 상기 표준 영상신호에 대한 감마 보정을 수행한다. 즉 상기 감마 보정부(316)는 상기 표시장치가 가지는 비선형적인 특징을 보정한다. 이는 상기 표준 영상신호가 상기 표시장치가 가지는 비선형성을 보정할 수 있는 비선형성의 커브를 갖도록 한다.

상기 감마 보정된 영상신호(sR, sG, sB)는 색공간 변환부(318)로 제공된다. 상기 색공간 변환부(318)는 초당 요구되는 프레임 수를 출력하기 위해 상기 감마 보정된 영상신호의 픽셀을 변환한다. 상기 색공간 변환부(318)로부터는 Y 신호와 C_b, C_r 신호가 출력된다. 상기 Y 신호는 출력 영상신호의 휘도 성분에 해당하며, 상기 C_b, C_r 신호는 출력 영상신호의 색 성분에 해당한다. 따라서 상기 C_b , C_r 신호는 자동 화이트 밸런스 조정부(320)로 제공되며, 상기 Y 신호는 자동 노광 조정부(322)로 제공된다.

상기 자동 노광 조정부(322)는 렌즈를 통해 들어오는 빛의 양을 상기 Y 신호에 의해 감지하고, 상기 빛의 양에 의해 조리개의 열림 정도를 제어하는 노광 시간(Exposure Time)을 조정한다. 예컨대 빛의 양이 작아 출력 이미지가 전반적으로 어두운 경우에는 노광 시간을 증가시키는 조정을 행한다. 반대로 빛의 양이 커서 고스트 이미지가 출력되는 경우에는 노광 시간을 줄이는 조정을 행한다.

또한, 상기 노광 시간의 조정에 있어, 블랙 레벨의 발생 원인인 암 전류가 감안되어야 한다. 이는 본 발명에서 제안하는 블랙 레벨 조정에 따른 것이다. 상기 노광 시간은 소정 단계들(보통 1/50s부터 1/10000s까지 8단계 혹은 15단계)로 구분하여 조정될 수 있다. 통상적으로 이미지 처리에 있어 어두운 이미지에 대해서는 보상이 쉬운 반면 고스트 이미지에 대해서는 보상이 거의 불가능하다. 따라서 본 발명에서는 전반적으로 어두운 이미지의 영상신호를 입력 받아 이를 보상하기 위해 상기 자동 노광 조정부(322)가 노광 시간을 강제로 줄이도록 하고 있다. 이와 같이 노광 시간을 강제로 줄이는 정도는 암 전류로 인해 발생하는 블랙 레벨에 의해 정할 수 있다.

상기 노광 시간은 타이밍 생성 및 센서 제어부(324)로 입력된다. 상기 타이밍 생성 및 센서 제어부(324)는 상기 노광 시간뿐만 아니라 마스터 클럭을 입력으로 한다. 상기 타이밍 생성 및 센서 제어부(324)는 상기 노광 시간과 마스터 클럭에 의해 타이밍 신호 및 센서 제어 신호를 생성한다. 여기서, 상기 마스터 클럭은 제어부10에 의해 출력되는 제어신호이다.

상기 자동 화이트 밸런스 조정부(320)는 상기 C_b, C_r 신호에 의해 영상신호의 화이트 밸런스를 위한 이득 값을 조정한다. 이때 상기 이득 값은 R 신호를 보정하는 R 이득 값과 B 신호를 보정하는 B 이득 값으로 구성된다. 그 외의 영상신호인 G 신호의 이득 값은 임의의 값으로 고정된다. 한편 상기 이득 값의 조정은 상기 노광 시간만으로 빛의 양에 대한 조정이 충분하지 않거나 주변의 색 온도를 감안하여 이루어진다.

도 4는 본 발명의 실시 예에 따른 영상신호 조정부의 구체적인 구성을 보인 도면이다.

상기 도 4룰 참조하면, 픽셀 배열부로부터 제공되는 아날로그 형태의 R, G, B 신호는 아날로그/디지털 변환부(A/D 변환부)(412)로 입력된다. 상기 A/D 변환부(412)는 상기 아날로그 형태의 R, G, B 신호를 디지털 신호로 변환한다. 일 예로써, 상기 A/D 변환부(412)로부터의 디지털 신호는 12비트들로 이루어진다.

상기 디지털 형태의 R, G, B 신호는 블랙 레벨 조정부(414)로 입력된다. 상기 블랙 레벨 조정부(414)는 블랙 레벨 조정 값에 대응하는 오프 셋(offset)을 입 력 받아 상기 R, G, B 신호에 대한 블랙 레벨 조정을 수행한다. 상기 블랙 레벨은 상기 R, G, B 신호로부터 상기 오프 셋을 강제로 감산한 후 노광 시간에 의한 보상으로 조정하거나 일반화된 수식에 의해 조정할 수 있다. 다른 예로써, 미리 정하여진 조정 테이블에 의해 상기 R, G, B 신호에 대한 블랙 레벨을 조정할 수 있다. 한편 상기 오프 셋은 측정되는 블랙 레벨에 의해 정하여 진다. 상기 블랙 레벨은 앞서 제안한 바와 같이 렌즈를 통해 빛이 입사 되지 않지 않도록 차광한 상태에서 출력되는 영상신호에 의해 측정이 가능하다. 상기 블랙 레벨을 측정하는 구체적인 예는 후술하도록 한다.

상기 블랙 레벨이 조정된 R, G, B 신호는 화이트 보정부(416)를 구성하는 복수의 증폭기들 중 대응하는 증폭기로 입력된다.

상기 화이트 보정부(416)는 흰 물체가 정확하게 흰색으로 재현될 수 있도록 주어진 조명 아래에서 R, G, B 신호의 레벨을 조정한다. 이를 화이트 밸런스의 보정이라 한다. 상기 화이트 밸런스의 보정에 의해 피사체에 대한 정확한 색온도를 표현할 수 있게 된다. 따라서 상기 화이트 보정부(416)는 R, G, B 신호들 각각의 레벨을 조정하기 위한 증폭기들로 구성된다. 상기 증폭기들은 상기 R, G, B 신호들 각각에 대해 이득 값(G 이득, R 이득, B 이득)을 곱함으로써, 화이트 밸런스를 보정한다. 따라서 상기 증폭기들 각각으로는 소정의 이득 값이 제공된다. 즉, G 신호가 입력되는 증폭기로는 G 이득 값(G gain)이 제공된다. 상기 B 신호가 입력되는 증폭기로는 B 이득 값(B gain)이 제공되며, 상기 R 신호가 입력되는 증폭기로는 R 이득 값(R gain)이 제공된다. 상기 G 이득 값은 고정된 임의의 값을 가지며, 상기 B 이득 값과 상기 R 이득 값은 상기 고정된 G 이득 값에 대응하여 조정된다. 상기 B 이득 값과 R 이득 값은 앞서 살펴본 화이트 밸런스 조정부에 의해 결정된다. 상기 증폭기들에 의해서는 상기 R, G, B 신호의 크기 조정에 의해 화이트 보정이 이루어진다. 전술한 상기 화이트 보정은 본 발명의 블랙 레벨 보정에 직접적인 관련이 없으므로, 상기 화이트 보정에 대한 구체적인 기술은 이하 생략하기로 한다.

도 5는 본 발명의 실시예에 따른 블랙 레벨 보정방법을 보인 흐름도이다.

상기 도 5를 참조하면, 501단계에서 제어부(10)는 카메라 모드인가를 판단하여 상기 카메라 모드이면 503단계로 진행하여 8비트 또는 12비트의 촬상중인 영상신호가 카메라 모듈(100)을 통해 입력될 수 있도록 제어한다.

이후, 505단계에서 상기 제어부(10)는 암전류를 기준으로 차광된 이미지 센서 측면으로부터 블랙 레벨을 검출한다. 이는 본 발명의 실시예에 따른 블랙 레벨 검출을 통한 블랙 레벨측정을 설명하기 위해 첨부한 도 6을 통해 상세히 기술한다.

상기 도 6에 도시된 바와 같이 픽셀 베이어(62)의 상부에는 빛을 받아 들이는 원형의 렌즈 경통(60)이 부착된다. 이때 상기 픽셀 베이어(62)는 사각형으로 형성되는데 반하여 상기 렌즈 경통(60)은 원형을 가진다. 따라서 상기 픽셀 베이어(62)의 꼭지점측으로는 빛이 입사 되지 않는 픽셀들(6a,6b,6c,6d)이 발생한다.

상기 빛이 입사 되지 않는, 즉 차광된 픽셀들(6a,6b,6c,6d)은 블랙 레벨 값을 검출하기 위한 상기 차광된 이미지 센서 측면이 될 수 있다. 따라서, 상기 차광된 픽셀들(6a,6b,6c,6d)로부터 출력되는 이미지 데이터들을 검출된 블랙 레벨 값으 로 간주할 수 있다.

그러면, 507단계에서 제어부(10)는 차광된 픽셀들(6a,6b,6c,6d)로부터 구해진 R, G, B의 입력 밝기 평균 값을 취함으로써 원하는 블랙 레벨값을 측정할 수 있다.

상기 블랙 레벨 값이 측정되면, 상기 픽셀 베이어(810)로부터 출력되는 이미지 데이터의 입력 밝기 값에서 상기 측정된 블랙 레벨값을 감산한다. 한편 측정된 블랙 레벨값을 전체 이미지 데이터를 구성하는 R, G, B의 입력 밝기 값에 공통적으로 빼주면 전체적인 이미지의 밝기가 어두워질 것이다. 따라서 하기 수학식 1을 이용하여 전체 이미지 데이터의 입력 밝기 값(InImg[y][x])에 대한 블랙 레벨을 보정하도록 한다.

여기서, InImg[y][x]은 이미지 데이터의 입력 밝기 값을 의미하고, OutImg[y][x]은 이미지 데이터의 출력 밝기 값을 의미하며, Low는 측정된 블랙 레벨값을 의미한다. 여기서, 상기 Low는 이미지 센서에 따라 차이가 있을 수 있다.

상기 수학식 1에서는 이미지 데이터의 최대 출력 밝기 값으로서 8비트의 R, G, B 신호에 의한 255를 가정하고 있다. 그러나, 12비트의 R, G, B 신호에 의한 이미지 데이터의 최대 출력 밝기 값이 4095일때는 하기의 수학식 2를 통해 전체 이미 지 데이터의 입력 밝기 값(InImg[y][x])에 대한 블랙 레벨을 보정하도록 한다.

여기서, InImg[y][x]은 이미지 데이터의 입력 밝기 값을 의미하고, OutImg[y][x]은 이미지 데이터의 출력 밝기 값을 의미하며, Low는 측정된 블랙 레벨 값을 의미한다.

예를 들어, 블랙 레벨 값으로 50이 측정되고, 최대 출력 밝기로서 255를 가정하면, 수학식 1에 의해 블랙 레벨이 보정된 이미지 데이터는 0에서 255까지 선형적으로 표현될 것이다. 즉 입력 밝기가 0에서 50사이에 있는 이미지 데이터에 대해서는 출력 밝기가 0인 이미지 데이터로 보정한다. 한편 입력 밝기가 51에서 255사이의 이미지 데이터는 상기 수학식 1에 의해 구해진 출력 밝기의 이미지 데이터로 보정된다. 이는 블랙 레벨의 보정 뿐만 아니라 색 대비(contrast)의 향상으로 이미지가 전체적으로 어두워지는 문제점을 해소할 수 있다.

그래서, 509단계에서 제어부(10)는 A/D 변환부(412)로 입력되는 R, G, B 신호에 의한 이미지 데이터 각각의 비트수가 8비트이면 상기 수학식 1을 적용하고, R, G, B신호에 의한 이미지 데이터 각각의 비트수가 12비트이면 상기 수학식 2를 통해 상기 측정된 블랙 레벨 값을 적용하여 이미지 데이터의 입력 밝기 값에서 블랙 레벨 값을 보정한 출력 밝기값을 출력하도록 제어한다.

이후, 511단계에서 블랙 레벨 조정부(414)는 블랙 레벨이 보정된 8비트 또는 12비트의 이미지 데이터를 출력한다.

도 7은 본 발명의 실시예에 따라 블랙 레벨 조정에 따른 이미지 데이터의 입력 밝기와 출력 밝기의 관계를 보이고 있는 그래프이다.

상기 도 7를 참조하면, 참조번호 730은 블랙 레벨을 보정하지 않을 시의 입력 밝기(V_i)와 출력 밝기(V_o)의 관계를 보이고 있는 제1그래프이다. 상기 제1그래프(730)를 통해 완전히 검은색의 입력 밝기에 대응하여 일정한 값(black level value, 760)을 가지는 출력 밝기가 얻어짐을 알 수 있다. 한편 상기 입력 밝기의 소정 구간(참조번호 720)에서는 항상 일정한 값(black level value, 760)의 출력 밝기가 얻어진다.

상기 일정한 값(black level value, 760)을 보정하기 위해 모든 입력 밝기에 대응한 출력 밝기에 상기 일정한 값(black level value, 760)을 균등하게 빼주면 참조번호 740과 같은 제2그래프를 얻을 수 있다. 하지만 참조번호 710에서 보여지듯이 소정 구간(V_max-V_t)에 해당하는 출력 밝기가 표현되지 않게 된다.

그러나, 전술한 본 발명의 블랙 레벨 보정방법을 행하게 되면 참조번호 750과 같은 그래프를 얻을 수 있다. 상기 참조번호 750은 소정 구간(710)에 해당하는 출력 밝기가 표현되도록 블랙 레벨 보정을 행할 시에 얻을 수 있는 제3그래프로서, 일정한 레벨(720)의 입력 밝기에 대해서는 완전한 검은색에 해당하는 출력 밝기를 출력한다. 그리고 상기 일정한 레벨(720)을 넘어서는 모든 입력 밝기에 대해서는 0 에서 V_max까지의 모든 출력 밝기가 표현될 수 있도록 한다.

전술한 설명에서는 전체 이미지 데이터에 대해 블랙 레벨을 보정하는 방안에 대해서만 언급하였다. 하지만 이미지 데이터를 구성하는 레드, 그린 및 블루 각각에 대해 블랙 레벨 값을 구하고, 이를 이용하여 상기 레드, 그린 및 블루에 대한 블랙 레벨 보정이 이루어지도록 구현할 수 있음은 당업자에게 자명할 것이다.

또한, 블랙 레벨 보정을 위해 상기 수학식 1과 2를 사용하지 않고, 노광 시간(exposure time)에 의해 제2그래프(740)를 제3그래프(750)로 변경할 수 있다. 이를 위해서는 상기 노광 시간을 증가시킴으로써 가능하다. 상기 노광 시간에 의해 입력 밝기에 대한 출력 밝기의 변화는 앞에서 이미 설명되었다.

전술한 블랙 레벨에 대한 보정은 디지털 영역에서 이루어지는 것을 가정하고 있다. 따라서 모든 입력 밝기에 대해 측정된 블랙 레벨 값을 감산할 시 표현되지 않는 출력 밝기가 존재하게 된다. 만약 아날로그 영역에서 블랙 레벨을 보정하고자 하는 경우에는 모든 입력 밝기에 대해 측정된 블랙 레벨 값을 균등하게 감산하는 형태로의 블랙 레벨 보정이 가능할 것이다. 이는 아날로그 영역에서 모든 입력 밝기에 대해 측정 블랙 레벨을 균등하게 감산한다고 하더라도 표현되지 않는 출력 밝기가 존재하지 않기 때문이다.

한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술 하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

이상에서 상세히 설명한 바와 같이 본 발명은 이미지 센서에 사용되는 광 다이오드에서 입사 광에 의해 상승하는 온도에 의해 변동되는 영상신호의 블랙 레벨을 빛이 입사되지 않는 이미지센서의 픽셀로부터 검출하고 그 검출된 블랙 레벨을 이용하여 입력되는 이미지 데이터를 전체 이미지 데이터의 입력 밝기 값에 대한 블랙 레벨로 보정하여 이미지 데이터를 출력함으로써, 이미지 데이터의 블랙 레벨 보정과 색 대비(contrast)가 향상된 화질이 좋은 이미지를 사용자에게 제공할 수 있는 효과가 있다.

Claims (13)

1. 암전류에 의해 발생되는 블랙 레벨을 보정하는 장치에 있어서,

   렌즈를 통해 촬상되는 피사체의 빛 에너지를 출력하는 광학부와,

   상기 빛 에너지를 전기적 신호로 변환하여 출력하는 픽셀 배열부와,

   상기 전기적 신호를 이미지 처리하여 영상신호로 출력하고, 측정된 블랙 레벨 값을 통해 상기 영상신호의 블랙 레벨을 보정하며, 상기 보정된 영상신호로부터 감지된 빛의 양에 따라 노광 시간(Exposure Time)을 조절하기 위한 타이밍 신호 및 센서 제어 신호를 상기 픽셀 배열부로 출력하는 이미지 처리부와,

   상기 암전류에 의한 블랙 레벨값을 측정하여 상기 이미지 처리부로 출력하며, 상기 출력된 타이밍 신호와 센서 제어신호에 따라 상기 픽셀부가 상기 빛 에너지를 제한적으로 입력받도록 제어하는 제어부로 구성됨을 특징으로 하는 블랙 레벨 보정 장치.
2. 제1항에 있어서, 상기 이미지 처리부는

   영상신호를 조정하는 제어신호를 입력받아 영상신호의 블랙 레벨을 보정하여 출력하는 영상신호 조정부와,

   상기 보정된 영상신호의 불량 화소에 대한 보간 및 픽셀들을 보정하는 보간 및 픽셀 보정부와,

   상기 보간 및 픽셀 보정부에서 출력된 영상신호를 표준 영상신호로 보정하는 컬러 보정부와,

   비선형적인 표시장치의 특성을 고려하여 최종 영상신호가 선형성을 가질 수 있게 상기 표준 영상신호에 대한 감마 보정을 수행하는 감마 보정부와,

   상기 감마 보정된 영상신호의 픽셀을 초당 요구되는 프레임 수로 변환하여 출력하는 공간 변환부와,

   상기 공간 변환부의 출력신호를 통해 빛의 양을 감지하여 감지된 빛의 양에 따라 노광 시간을 조정하는 자동 노광 조정부를 포함하여 구성됨을 특징으로 하는 블랙 레벨 보정 장치.
3. 제2항에 있어서, 상기 이미지 처리부는

   상기 자동 노광 조정부로부터 노광 시간 입력받고, 상기 제어부로부터 마스터 클럭을 입력받아 블렉 레벨 보정에 적절한 노광시간을 제어하는 타이밍 신호와 센서 제어 신호를 출력하는 타이밍 생성 및 센서 제어부를 더 포함하여 구성됨을 특징으로 하는 블랙 레벨 보정 장치.
4. 제2항에 있어서, 상기 영상신호 조정부는

   아날로그 형태의 R, G, B 신호를 디지털 신호로 변환하는 A/D 변환부와;

   블랙 레벨 조정 값을 입력 받아 상기 R, G, B 신호에 대한 블랙 레벨을 조정하는 블랙 레벨 조정부로 구성됨을 특징으로 하는 블랙 레벨 보정 장치.
5. 삭제
6. 삭제
7. 제4항에 있어서, 상기 영상신호 조정부는 블랙 레벨이 조정된 R, G, B 신호들 각각에 대해 이득값만큼 곱하여 신호를 증폭시켜 상기 R, G, B 신호의 레벨을 조정하는 화이트 보정부를 포함하여 구성됨을 특징으로 하는 블랙 레벨 보정 장치.
8. 렌즈와 픽셀 베이어(bayer)를 통해 입력되는 영상신호에 대한 블랙 레벨을 보정하는 방법에 있어서,

   픽셀 베이어로부터 완전히 차광된 광 다이오드의 암전류를 기준으로 블랙 레벨값을 검출하는 과정과,

   렌즈를 통해 입사되는 빛 에너지를 영상신호로 출력하는 과정과,

   상기 출력된 영상신호의 입력 밝기 값에 상기 검출된 블랙 레벨 값을 감산하는 과정과,

   상기 입력 밝기 값이 감산된 영상신호로부터 상기 렌즈를 통해 입력된 빛의 양을 감지하는 과정과,

   상기 감지된 빛의 양에 따라 노광 시간(Exposure Time)을 조정하여 상기 렌즈를 통해 입사되는 빛의 양을 조정하는 과정을 포함함을 특징으로 하는 블랙 레벨 보정 방법.
9. 삭제
10. 삭제
11. 제8항에 있어서, 상기 블랙 레벨값은 픽셀 베이어의 상부에 부착되는 렌즈 경통을 통해 빛이 입사되지 않는 픽셀들을 통해 검출되는 것을 특징으로 하는 블랙 레벨 보정 방법.
12. 삭제
13. 제8항에 있어서, 상기 조정 과정은

    상기 렌즈를 통해 입사되는 빛의 양이 적어 상기 입력 밝기 값이 감산된 영상신호의 출력 이미지가 어두운 경우에는 노광 시간을 증가시키는 단계와,

    상기 렌즈를 통해 입사되는 빛의 양이 많아 상기 입력 밝기 값이 감산된 영상신호의 출력 이미지가 고스트(Ghost) 이미지인 경우 노광 시간을 줄이는 단계를 포함함을 특징으로 하는 블랙 레벨 보정 방법.

Images