KR20060098226A

KR20060098226A - 이미지 센서의 렌즈 세이딩 커렉션 방법

Info

Publication number: KR20060098226A
Application number: KR1020050020372A
Authority: KR
Inventors: 조영미; 김채성
Original assignee: 매그나칩 반도체 유한회사
Priority date: 2005-03-11
Filing date: 2005-03-11
Publication date: 2006-09-18
Also published as: KR100664869B1

Abstract

본 발명은 이미지 센서의 각 픽셀에 투사되는 광량의 편차를 보정하기 위한 세이딩 커렉션 방법에 관한 것으로, 특히 저조도에서 노이즈의 증폭을 방지하기 위한 세이딩 커렉션 방법에 관한 것이다.

본 발명의 세이딩 커렉션 방법은, 각 픽셀이 감지한 광량을 검출하는 단계; 및 상기 감지한 광량값에 각 픽셀의 위치에 따라 소정의 이득 보정 계수를 곱하는 단계를 포함하는 세이딩 커렉션 방법에 있어서, 각 픽셀의 위치가 보다 주변부일 수록 상기 이득 보정 계수를 증가시키는데, 보다 주변부일 수록 상기 이득 보정 계수의 증가분이 더 커지는 것을 특징으로 한다.

이미지 센서에서 생성한 픽셀 데이터에, 본 발명에 따른 세이딩 커렉션 방법을 적용함으로써, 저조도에서 촬영 이미지의 열화를 방지하면서도, 노이즈 신호를 효과적으로 억제할 수 있다.

이미지 센서, CMOS 센서, LENS SHADING, 세이딩 커렉션, 영상 처리

Description

이미지 센서의 렌즈 세이딩 커렉션 방법{LENS SHADING CORRECTION METHOD OF IMAGE SENSOR}

도 1은 이미지 센서에서 렌즈 세이딩 현상의 발생을 보여주는 원리도,

도 2는 렌즈 세이딩에 의해 동일 광도에 대하여 중심부 픽셀과 주변부 픽셀의 출력값의 차이를 보여주는 그래프,

도 3은 본 발명의 사상에 따른 보정을 수행할 때, 좌표에 따라 각 픽셀에 적용하는 이득값을 보여주는 그래프,

도 4는 픽셀 메트릭스의 전체 입사 광량과 일반적인 디지털 카메라의 자동 노출 조정 Gain 및 Integration time의 관계를 나타낸 그래프.

이미지 센서의 픽셀 메트릭스는 모든 픽셀에 동일한 각도로 동일한 광량의 빛이 들어오는 것을 가정하여 평면적으로 구현한다. 그러나, 도 1에 도시한 바와 같이 각 픽셀은, 그 위치에 따라 입사 광원으로부터 거리 및 각도가 다름에 따라 입사되는 광량이 다르게 된다. 즉, 중심부에 위치한 픽셀은 90도의 각도로 입사되는 많은 광량의 빛을 받으나, 주변부에 위치한 픽셀은 상당히 기울어진 각도로 입사되는 적은 광량의 빛을 받게 된다. 이는 픽셀 메트릭스의 중심과 렌즈의 중심을 연결하는 직선의 픽셀 메트릭스 정면의 소정 지점에 입사 영상의 초점이 형성되며, 픽셀 메트릭스의 모든 픽셀로 부여되는 빛은 상기 하나의 초점으로부터 입사되기 때문이다. 이와 같은 렌즈 세이딩(lens shading)현상은 픽셀 개수가 높은 고해상도 센서일수록 심화되며, 또한 초점을 맞출때 심도를 크게 하기 위해 입사되는 부분을 작게 하는 경우에도 심화된다.

상기 현상을 보상하기 위해, 종래 기술에서는 각 픽셀이 감지한 광도를 증폭시켜주는 증폭도를 각 픽셀의 위치에 따라 차별을 두고 있다. 즉, 충분한 빛을 받는 중심부 픽셀이 감지한 값은 작게 증폭하고, 부족한 빛을 받는 주변부 픽셀이 감지한 값은 크게 증폭함으로써, 주변부와 중심부간의 균형을 맞추는 것이다.

그런데, 종래 기술에서는 상기 각 픽셀의 증폭도를 입사되는 빛의 광도 및 광량에 무관하게 픽셀의 위치에 따라 조절하고 있는 바, 저조도에서 렌즈 세이딩 현상을 보상하면 저조도 상에서 발생하는 노이즈도 동시에 증폭하게 된다. 저조도에서는 광량이 절대적으로 부족하며 노이즈의 비중이 높아지는데, 상기 종래 기술과 같이 세이드 케렉션을 수행하면, 노이즈를 증폭하게 되어 이미지의 열화을 야기 시키게 된다.

본 발명은 상기 문제점들을 해결하기 위하여 안출된 것으로서, 저조도에서 촬영 이미지의 열화를 방지할 수 있는 세이딩 커렉션 방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명의 세이딩 커렉션 방법은, 각 픽셀이 감지한 광량을 검출하는 단계; 및 상기 감지한 광량값에 각 픽셀의 위치에 따라 소정의 이득 보정 계수를 곱하는 단계를 포함하는 세이딩 커렉션 방법에 있어서, 각 픽셀의 위치가 보다 주변부일수록 상기 이득 보정 계수를 증가시키는데, 픽셀 메트릭스에 입사된 전체 광량이 적을수록 상기 이득 보정 계수의 증가분이 더 커지는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

( 실시예 )

도 2는 동일한 광량의 빛을 입사시켰을 때(예컨데, 균등한 조도에서 단일 색상의 평면 물체를 촬영할 때) 상기 렌즈 세이딩에 의해 중심부 픽셀과 주변부 픽셀의 출력값의 차이를 나타내고 있다. 렌즈 세이딩이 수평, 수직적으로 각각 2차 곡선을 가지고 발생한다고 가정하면, 수평 또는 수직 좌표를 표시하는 x 및 세이딩에 의한 코드 변화를 표시하는 y의 관계는 다음 식 1과 같다.

y = ax² + bx + c

상기 수식의 계수 a 및 b는 소정의 위치좌표 x₀, x₁, x₂ 및 해당 위치에서 y값 y₀, y₁, y₂ 으로부터 구하면 다음 식2와 같다.

동일한 광량을 입사시켰으므로 x값에 따른 y값이 일정하도록 보정해야 하므로, 이를 위해 y값에 적용하는 소정의 보정 계수(M')를 구하면 다음 식 3과 같다.

그런데, 본 발명의 사상은 픽셀 메트릭스에 입사되는 광량(light)에 따라 상기 보정 계수(M')에 다시 보정을 가하는 것이다. 여기서 추후의 영상처리의 편의를 위해, 가장 중심의 픽셀(x=0인 픽셀)에 적용하는 보정계수를 항상 동일하게 고정시키면, 본 발명의 사상에 따른 이득 보정 계수(M)는 다음 식 4와 같다.

light는 픽셀 메트릭스의 전체 입사 광량

(a, b, c는 x값 및 light값에 무관하게 일정하다)

도 4는 상기 식 4에 적용하는 light값을 나타내고 있다.

상기 식 4에 적용하는 light값은, 전체 픽셀 메트릭스에 입사되는 전체 광량 또는 평균 광량에 비례하는 값으로서, 일반적인 디지털 카메라에서 자동노출 조정에 사용하는 light값을 사용할 수 있다. 일반적인 디지털 카메라에서 light값은 도 4에 도시한 바와 같이 자동노출 조절을 위한 Gain값 또는 Integration time에 반비례한다.

상기의 사상을 적용한 본 실시예의 세이딩 커렉션 방법은, 각 픽셀이 감지한 광량을 검출하여 감광값을 생성하는 단계(S120); 전체 픽셀 메트릭스에 입사된 광량에 따른 광량 보정 계수를 결정하는 단계(S140); 각 픽셀의 위치 및 상기 보정 계수에 따라 소정의 이득 보정 계수를 결정하는 단계(S160); 및 상기 감광값에 각 픽셀의 위치에 따라 소정의 이득 보정 계수를 적용하여 보정 픽셀값을 산출하는 단계(S180)를 포함한다.

상기 S120 단계는 일반적인 이미지 센서의 픽셀이 입사받은 광량에 비례하는 전기적 신호를 발생시키는 과정과 동일하다.

상기 S140 단계는 전체 프레임의 조도에 따라 정해지는 광량 보정 계수를 결정하기 위한 과정으로 상기 식4에 적용되는 light값을 결정하는 과정이다. 설명한 바와 같이 일반적인 디지털 카메라에서 자동노출 조절을 위한 기준값이 되는 light값을 사용하며, 상기 light값 산출 과정은 일반적인 디지털 카메라에서 널리 실시되는 공지 기술이므로 설명을 생략한다.

상기 S160 단계는 상기 식 4에 따라 이득 보상 계수(M)를 산출하는 과정이다. 산출된 상기 이득 보상 계수(M)는 픽셀의 좌표값 x의 -2승에 비례하는 곡선의 모양을 가지는데, lihgt값에 따라 곡선의 완만도가 결정되므로, 도 3에 도시한 형태를 띠게 된다.

본 실시예에서는 상기 전체 광량에 따른 보정을 적용하는 S140 단계 이후, 픽셀 위치에 따른 보정을 적용하는 S160 단계를 수행하는 것으로 설명하였지만, 구현에 따라서는 하나의 절차로 상기 전체 광량 및 픽셀 위치에 따른 보정을 수행할 수도 있으며, 먼저 픽셀 위치에 따른 보정을 적용한 후 다음 전체 광량에 따른 보정을 적용하도록 구현할 수도 있다.

상기 S180 단계는 상기 S120 단계에서 생성한 각 픽셀의 감광값에, 각 픽셀 위치 및 전체 광량에 따른 상기 이득 보정 계수(M)를 적용하여 보정된 픽셀값을 생성하는 과정으로서, 상기 감광값에 상기 이득 보정 계수(M)에 따른 증폭도로 증폭하도록 구현하는 것이 일반적인 이미지 센서에서 구현하기가 용이하다. 이 경우 증폭되는 비율의 차이만 있을 뿐 모든 픽셀의 감광값은 증폭이 이루어진다. 그러나, 경우에 따라서는(예컨대, 고감도 센서로 고광량의 영상을 촬영할 때) 상기 이득 보정 계수(M)의 전부 또는 일부가 상기 감광값을 감쇄시키도록 구현할 수도 있다.

본 발명의 사상은 각 픽셀에서 생성한 감광값에 상기 식 4으로부터 구해지는 이득 보정 계수(M)를 적용하는데 있는데, 상기 이득 보정 계수(M)에 적용받는 감광값의 특정 및 상기 이득 보정 계수(M)의 적용 동작을 수행하는 구성요소는, 실제 이미지 센서의 구조에 따라 다양하다. 상기 감광값의 경우 픽셀이 생성한 아날로그 형태의 전기적 신호(전압, 전류 또는 전하량의 아날로그값)가 될 수도 있으며, 소정의 AD 컨버터를 경유한 디지털값이 될 수도 있다.

전자의 경우, 각 감광셀에서 감지한 아날로그 형태의 감광값을 증폭하기 위한 아날로그 증폭기에서 상기 이득 보정 계수(M)의 적용이 수행되며, 수행된 결과(보정 픽셀값)는 다시 디지털 신호로 변환되어 이미지 센서 내부 또는 외부의 이미지 데이터 버퍼에 기록된다.

후자의 경우, 이미지 센서 내부 또는 외부에 베이어 데이터를 저장하기 위한 이미지 데이터 버퍼에 기록된 값을 상기 감광값으로 삼는 것이 실제 구현에 있어 용이하다. 이 경우 상기 이득 보정 계수(M)의 적용은 이미지 센서에 내장되거나, 별도의 칩으로 구현되는 디지털 영상 신호 처리 블록에서 수행되도록 구현할 수 있다.

본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

Claims

각 픽셀이 감지한 광량을 검출하여 감광값을 생성하는 단계(S120);

픽셀 메트릭스에 입사된 전체 광량에 따른 광량 보정 계수를 결정하는 단계(S140);

각 픽셀의 위치 및 상기 광량 보정 계수에 따라 소정의 이득 보정 계수를 결정하는 단계(S160); 및

상기 감광값에 각 픽셀의 위치에 따라 소정의 이득 보정 계수를 적용하여 보정 픽셀값을 산출하는 단계(S180)

를 포함하는 이미지 센서의 세이딩 커렉션 방법.
제1항에 있어서,

중심에 위치한 픽셀에 적용되는 상기 이득 보정 계수는 S140 단계의 광량 보정 계수에 무관하게 일정한 것을 특징으로 하는 이미지 센서의 세이딩 커렉션 방법.
제1항 또는 제2항에 있어서,

각 픽셀의 위치가 보다 주변부일수록 상기 이득 보정 계수를 증가시키는데, 픽셀 메트릭스에 입사된 전체 광량이 적을수록 상기 이득 보정 계수의 증가분이 더 커지는 것을 특징으로 하는 이미지 센서의 세이딩 커렉션 방법.
제1항 또는 제2항에 있어서,

각 픽셀의 중심으로부터의 위치(x)와, 상기 픽셀에 적용할 상기 이득 보정 계수(M)의 관계가 다음 식을 만족시키는 것을 특징으로 하는 이미지 센서의 세이딩 커렉션 방법.

,

light는 픽셀 메트릭스의 입사 광량

a, b, c는 소정의 고정된 계수