KR100645634B1

KR100645634B1 - 렌즈 쉐이딩 자동 보정방법 및 장치

Info

Publication number: KR100645634B1
Application number: KR1020040107204A
Authority: KR
Inventors: 민경중; 박근우; 박상현; 김강주; 곽부동
Original assignee: 삼성전기주식회사
Priority date: 2004-12-16
Filing date: 2004-12-16
Publication date: 2006-11-15
Also published as: KR20060068497A

Abstract

본 발명은 소형 카메라 모듈에 탑재되는 렌즈 쉐이딩 보정 방법 및 장치에 관한 것이다.

보다 구체적으로, 본 발명은 소형 카메라 모듈에 탑재되는 렌즈 각각에 대해 자동으로 보정 계수를 계산하여 보정하는 방법 및 장치에 관한 것으로서, 대량 생산 체제하에서 생산되는 다수의 카메라 모듈의 렌즈 각각에 대해 이득 계수를 설정함으로써 이미지 분석없이 보다 효율적이고 정확하게 보정 계수를 결정할 수 있는 렌즈 쉐이딩 보정 방법 및 장치에 관한 것이다.

카메라, 렌즈, 쉐이딩, 자동, 보정

Description

렌즈 쉐이딩 자동 보정방법 및 장치{Automatic correction method and apparatus for lens shading}

도1은 종래의 카메라 모듈에 장착된 렌즈의 쉐이딩을 나타내는 곡선이다.

도2는 도1에 도시된 바와 같은 쉐이딩된 이미지를 보정하기 위한 보정 이득 곡선을 나타낸다.

도3은 본 발명에 따른 렌즈 쉐이딩 자동 보정을 수행하는 영상 처리 장치(36)를 개략적으로 나타낸 블록도이다.

도4는 본 발명에 따른 렌즈 쉐이딩 자동 보정 방법을 단계별로 나타낸 흐름도이다.

도5는 보정 계수의 계산방법을 설명하기 위한 도면이다.

※ 도면의 주요 부분의 부호 설명 ※

31 : 이미지 데이터 입력부 32 : 프리프로세싱부

33 : 프레임 메모리 34 : MCU

35 : 이미지 보상부 36 : 영상 처리장치

근래에 들어 모바일 폰에 카메라 모듈이 탑재되면서 점점 작은 사이즈의 카메라 모듈이 요구되어 지고 있다. 이렇게 카메라 모듈이 작아 진다는 것은 카메라 모듈을 이루고 있는 CCD나 CMOS센서의 사이즈가 작아져야 함은 물론이고, 빛을 모아주는 렌즈의 사이즈의 지름을 줄이는 것 또한 중요하다. 이렇게 렌즈의 사이즈를 줄여 구경이 작아지다 보면 항상 나타나는 문제가 렌즈의 영역에 따른 빛의 투과율이 일정하도록 유지시켜 주는 것이 쉽지 않아서, 이미지 중심 부분으로부터 가장자리로 근접할수록 이미지가 어두워 지는 렌즈 쉐이딩 현상이 나타나게 된다.

도1은 종래의 임의의 제조된 카메라 모듈에 장착된 렌즈의 밝기 이득 Gx * Gy을 나타내는 곡선이다. 횡축은 렌즈의 x 방향 또는 y 방향을 나타내고, 종축은 렌즈의 밝기 이득을 나타낸다.

이상적인 경우, 즉 쉐이딩 현상이 없을 경우에는 이상적으로 이득=1(unity gain)이 되어야 하지만, 이미지 중심 부분으로부터 가장자리로 근접할수록 이미지가 어두워지기 때문에, 렌즈의 중심의 이득은 1이지만, 렌즈의 주변으로 갈수록 밝기 이득이 점점 작아지는 형태를 나타내며, 도1에 도시된 바와 같이, 위로 볼록한 이차 함수 곡선 형태를 나타낸다.

위와 같이, 렌즈 쉐이딩의 보정이 없는 이미지는 중심은 밝은 값을 갖는 반면, 가장자리로 갈수록 어두운 값의 분포를 갖게 되는데 이렇게 되면 이미지의 화질이 떨어지게 되므로, 렌즈 쉐이딩 보정 알고리즘을 수행하여 이미지의 중심이나, 가장자리가 비슷한 밝기 분포를 갖도록 보정을 해주어야 한다.

도2는 도1에 도시된 바와 같은 위로 볼록한 형태의 밝기 이득을 갖는 렌즈에 의해 쉐이딩된 이미지를 보정하기 위한 보정 이득 Gx' * Gy'에 대한 곡선을 나타낸다.

보정 이득 Gx' * Gy'을 나타내는에 대한 곡선은, 도1에 도시된 렌즈에 의해 발생하는 쉐이딩된 이득 Gx * Gy의 이차 함수 곡선을 상하 반전 시킨 형태를 갖는다. 마찬가지로 점선은 이상적인 경우인 이득=1의 경우를 나타낸다.

쉐이딩된 이득 Gx * Gy을 보상하기 위해, 쉐이딩된 이득 Gx * Gy에 보정 이득 Gx'*Gy'를 곱함으로써 이미지의 밝기 이득을 프레임 전체에 걸쳐 1로 만들어 주게된다.

카메라 모듈에 입력되기 전, 즉 렌즈를 통과하기 전에 쉐이딩이 발생하지 않은 입력 이미지 데이터를 I(x,y)라 하고, 입력된 이미지 데이터의 프레임의 x 방향 중심 좌표를 Cx, y 방향 중심 좌표를 Cy라 하면, 쉐이딩에 의해 발생하는 쉐이딩 이득의 x방향 이득 Gx 및 Gy는 다음과 같이 표현할 수 있다.

Gx = 1 - a(X - Cx)² (1)

Gy = 1 - b(Y - Cy)² (2)

입력 이미지 데이터 I(X,Y)는 렌즈를 통과하면서 쉐이딩 이득 Gx,Gy 만큼 쉐이딩되므로, 쉐이딩된 이미지 데이터를 U(X,Y)라 하면,

U(X,Y) = Gx * Gy * I(X,Y) (3)

로 나타낼 수 있다.

즉, 입력 이미지 데이터 I(X,Y)의 한 프레임 상의 임의의 좌표(X,Y)에서의 이미지 값은 Gx*Gy 만큼 감쇄되어 이미지가 어둡게 보여지게 된다.

위와 같이 쉐이딩되어 어둡게 보이는 이미지 데이터에 도2에 도시된 바와 같은 보정 이득 Gx' * Gy'를 쉐이딩된 데이터 U(X,Y)에 곱함으로써 쉐이딩을 보정할 수 있다.

보정 이득 Gx' * Gy'는 도2에 도시된 바와 같이, 도1의 쉐이딩 이득 Gx * Gy을 상하 반전 시킨 아래로 볼록한 이차 함수 곡선으로서, 다음 식으로 각각 나타낼 수 있다.

Gx' = 1 + a(X-Cx)²

Gy' = 1 + b(Y-Cy)²

쉐이딩된 이미지 데이터 U(X,Y)에 보정 이득 Gx' * Gy'을 곱함으로써 이미지 데이터의 쉐이딩을 보정할 수 있다.

즉, 보정된 이미지 데이터를 U'(X,Y)라 하면,

U'(X,Y) = Gx' * Gy' * U(X,Y)

가 된다.

쉐이딩이 보정된 이미지 데이터 U'(X,Y)는 입력 이미지 데이터 I(X,Y)와 거의 유사하게 된다. 즉, 렌즈를 통해서 쉐이딩된 밝기는 보정 이득 Gx' * Gy'에 의해 입력 이미지 데이터와 거의 같은 밝기를 갖도록 보상된다.

이와 같이 쉐이딩된 이미지 데이터에 보상 이득 Gx'*Gy'를 곱하여 보상을 수행하기 위해서는, Gx', Gy'를 구하여야 하며, Gx', Gy'를 구하기 위해서는 상수 a,b,Cx,Cy를 구하여야 한다. 그러나, 종래에는 이러한 상수 계산은 일단 센서 모듈을 이용하여 이미지를 획득하여, 이미지를 분석함으로써 이 값을 계산하여 보상하였다.

종래에는 렌즈 쉐이딩 현상을 보정하기 위해 하나의 카메라 모듈의 모델에 대해 이미지를 촬상하고 이를 분석하여 그 모델의 센서 및 렌즈 특성에 따른 렌즈 쉐이딩 파라미터를 구하여 그에 맞는 보정 값들을 계산하여, 이를 그 모델 전체 제품에 적용하는 방식을 채택하고 있다.

그러나, 대량 생산 체제하에서는 비록 같은 모델의 카메라 모듈이라도 각각에 탑재되는 렌즈의 쉐이딩 정도가 다르기 때문에 이와 같은 방식은 보다 정확한 쉐이딩 보정에는 한계가 있다.

이러한 한계를 극복하기 위해서는 이미지를 촬상하고 이를 분석하여 그 모델의 센서 및 렌즈 특성에 따른 렌즈 쉐이딩 파라미터를 구하여 그에 맞는 보정 값들을 계산하는 과정을 생산되는 모든 카메라 모듈 제품 각각에 적용해주어야 하는데, 이는 매우 번거롭고 비효율적인 방법이다.

생산되는 카메라 모듈 각각에 대해 보다 효율적으로 정확한 렌즈 쉐이딩 보정계수를 산출할 수 있는 방법 및 장치가 요구된다.

본 발명은 렌즈 쉐이딩 보정에 필요한 보정 계수들을 이미지의 분석 과정없이 계산할 수 있는 렌즈 쉐이딩 자동 보정 장치 및 방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은 개별 생산 제품 모두에 별도의 쉐이딩 보정 계수를 적용하여 개별 제품의 렌즈 특성에 맞추어 보다 정확하게 쉐이딩 현상을 보정할 수 있는 카메라 제품을 생산하는 것을 목적으로 한다.

본 발명에 따른 렌즈 쉐이딩 자동 보정 방법은, 레퍼런스 이미지를 촬상하여 쉐이딩된 이미지 데이터를 입력하는 단계;
상기 입력된 이미지 데이터에서 다크 오프셋이 보정된 유효 영역을 제외한 나머지 데이터들이 제거하는 프리프로세싱을 하여 레퍼런스 데이터를 준비하는 단계; 상기 레퍼런스 데이터 중 한 프레임의 이미지에 해당하는 레퍼런스 데이터를 프레임 메모리에 저장하는 단계; 상기 프레임 메모리에 저장된 데이터를 중앙처리장치로 전달하는 단계; 및 한 프레임에 대한 이득 분포의 최대값 좌표를 계산한 후 상기 계산된 중심 좌표값을 기반으로 x방향 및 y방향 각각의 이득을 계산하여 보정 계수를 산출하는 단계를 포함하는 것을 특징으로 한다.

쉐이딩 자동 보정 기능을 갖는 영상 처리 장치는, 레퍼런스 이미지를 촬상하여 쉐이딩된 이미지 데이터를 입력하는 이미지 데이터 입력부; 상기 입력된 이미지 데이터에서 다크 오프셋이 보정된 유효 영역을 제외한 나머지 데이터들을 제거하는 프리프로세싱을 수행하여 레퍼런스 데이터를 준비하는 프리프로세싱부; 1프레임에 해당하는 상기 프리프로세싱된 이미지 데이터를 저장하는 프레임 메모리; 상기 프레임 메모리에 저장된 데이터를 수신하여 한 프레임에 대한 이득 분포의 최대값 좌표를 계산한 후 상기 계산된 중심 좌표값을 기반으로 X방향 및 Y방향 각각의 이득을 계산하여 보정계수를 산출하는 MCU; 및 상기 보정계수를 기초로 보상된 이미지를 생성하여 출력하는 이미지 보상부를 포함하는 것을 특징으로 한다.

이하, 도면을 참조하여 본 발명을 보다 상세히 설명한다.

도3은 본 발명에 따른 렌즈 쉐이딩 자동 보정을 수행하는 영상 처리 장치(36)를 개략적으로 나타낸 블록도이고, 도4는 본 발명에 따른 렌즈 쉐이딩 자동 보정 방법을 단계별로 나타낸 흐름도이다.

우선, 흰색 또는 회색의 단일색으로 구성된 레퍼런스 이미지를 준비한다. 레퍼런스 이미지로는 임의의 이미지가 사용될 수 있으나, 바람직하게는 이미지의 밝기 값을 정확하게 산출할 수 있도록 레퍼런스 이미지 프레임 전체에 걸쳐 균일한 밝기를 나타내며, 아무런 무늬가 없는 회색 계열의 기준 이미지, 소위 그레이 차트(grey chart)가 바람직하다.

도3 및 도4를 참조하면, 단계(S41)에서, 쉐이딩을 보정하고자 하는 렌즈를 장착한 카메라 모듈로 상기 레퍼런스 이미지를 촬영하여 입력 이미지 데이터 I(x,y)를 획득하고, 그 입력 이미지 데이터를 이미지 데이터 입력부(31)에 입력한다.

그리고 나서, 단계(S42)에서, 프리프로세싱부(32)에서 상기 입력된 이미지 데이터에서 다크 오프셋이 보정된 유효 영역을 제외한 나머지 데이터들을 제거하는 프리프로세싱을 수행하여 레퍼런스 데이터 U(X,Y)를 준비한다.

렌즈의 쉐이딩 현상에 의해 발생하는 쉐이딩 이득을 G(x)*G(y)라 하면,

U(X,Y) = G(x)*G(y)*I(X,Y)

로 표현할 수 있다.

단계(S43)에서, 한 프레임의 이미지에 해당하는 레퍼런스 데이터 U(X,Y)를 프레임 메모리(33)에 저장한다.

단계(S44)에서, 상기 프레임 메모리(33)에 저장된 이미지를 MCU(34)로 전달한다.

단계(S45)에서, MCU(34)는 전달받은 이미지에 대해 x방향의 보상 이득인 Gx' = 1 + a(X-Cx)²과 y 방향의 보상 이득인 Gy' = 1 + b(Y-Cy)²를 계산하여 보상 이득, Gx'*Gy'을 구하기 위해, 보정 계수들, a,b,Cx,Cy를 계산한다.

MCU(34)에서 계산되는 보정 계수의 계산방법을 도5를 참조하여 설명한다.

도5는 프리프로세싱이 완료되어 프레임 메모리(33)에 저장되었다가 MCU(34) 로 전달되는 레퍼런스 데이터에 해당하는 한 프레임의 이미지를 나타낸다.

우선 x 방향 보상이득 Gx'의 중심 좌표인 Cx를 계산하기 위해, 이미지 프레임의 (1)방향, 즉 종방향 라인에 대해 각 픽셀의 밝기 값을 합산하여, 각 종방향 라인별 픽셀의 밝기의 합 Sx1, Sx2,Sx3,..., Sxn을 각각 계산한다. 여기서 n은 이미지 프레임의 횡방향 픽셀 수이며, 통상적인 1920 x 1080 픽셀 이미지에서 n=1920이다.

계산된 각 라인별 픽셀의 밝기의 합 Sx1, Sx2,Sx3,..., Sxn 중 최대값을 선택하여, 그 최대값에 해당하는 픽셀의 x좌표를 구한다. 이 x좌표가 중심 픽셀의 x 좌표값 즉, Cx가 된다.

마찬가지로, y 방향 보상이득 Gy'의 중심 좌표인 Cy를 계산하기 위해, 이미지 프레임의 (2)방향, 즉 횡방향 라인들에 대해 각 픽셀의 밝기 값을 합산하여, 각 종방향 라인별 픽셀의 밝기의 합 Sy1, Sy2, Sy3,..., Sym을 각각 계산한다. 여기서 m은 이미지 프레임의 횡방향 픽셀 수이며, 통상적인 1920 x 1080 픽셀 이미지에서 m=1080이다.

계산된 각 라인별 픽셀의 밝기의 합 Sy1, Sy2,Sy3,..., Sym 중 최대값을 선택하여, 그 최대값에 해당하는 픽셀의 y좌표를 구한다. 이 y좌표가 중심 픽셀의 y 좌표값 즉, Cy가 된다.

보상 이득 곡선의 중심좌표 (Cx,Cy)를 결정한 뒤에, x 방향의 보상 이득인 Gx'의 이차항 계수인 a와, y 방향의 보상 이득인 Gy'의 2차항 계수인 b는 쉐이딩된 레퍼런스 이미지의 밝기 이득 곡선, 즉 도1에 도시된 바와 같은 쉐이딩된 이미지를 도시하고, 이를 캡쳐하여 수치해석에 의해 이를 계산한다.

위와 같은 방식을 통해 별도의 이미지 분석 과정없이 개별 제품들에 대해 쉐이딩 보정에 필요한 보정 계수들을 산출할 수 있다.

완성된 카메라 모듈은 산출된 보정 계수들에 의해 다음과 같이 쉐이딩 보정 과정을 수행하게 된다.

이미지 보상부(35)는 MCU(34)가 계산한 보정 이득 Gx'*Gy'를 쉐이딩된 이미지 데이터 U(X,Y)에 곱하여 다음 식과 같이 쉐이딩된 이미지가 보정된 이미지 데이터 U(X,Y)'를 생성한다.

U(X,Y)' = Gx'*Gy'*U(X,Y)

쉐이딩이 보정된 이미지 데이터 U(X,Y)'는 레퍼런스 이미지 데이터 I(X,Y)와 동일한 밝기 이득을 갖는다.

그리고 나서, 단계(S46)에서, 이미지 보상부(35)는 보정된 이미지 데이터U(X,Y)'를 출력한다.

본 발명의 렌즈 쉐이딩 자동 보정 장치 및 방법에 따르면, 렌즈 쉐이딩 보정에 필요한 보정 계수들을 이미지의 분석 과정없이 계산할 수 있다.

본 발명의 렌즈 쉐이딩 자동 보정 장치 및 방법에 따르면, 개별 생산 제품 모두에 별도의 쉐이딩 보정 계수를 적용하여 개별 제품의 렌즈 특성에 맞추어 보다 정확하게 쉐이딩 현상을 보정하는 카메라 제품을 생산할 수 있다.

이상 본 발명을 실시예를 통해 설명하였으나, 본 발명의 범위가 상기 실시예로 한정되는 것이 아니며 본 발명의 범위 내에서 다양한 변형이 가능하다. 본 발명의 범위는 이하의 특허청구범위의 해석에 의해서만 한정된다.

Claims

레퍼런스 이미지를 촬상하여 쉐이딩된 이미지 데이터를 입력하는 단계;

상기 입력된 이미지 데이터에서 다크 오프셋이 보정된 유효 영역을 제외한 나머지 데이터들이 제거하는 프리프로세싱을 하여 레퍼런스 데이터를 준비하는 단계;

상기 레퍼런스 데이터 중 한 프레임의 이미지에 해당하는 레퍼런스 데이터를 프레임 메모리에 저장하는 단계;

상기 프레임 메모리에 저장된 데이터를 중앙처리장치로 전달하는 단계; 및

한 프레임에 대한 이득 분포의 최대값 좌표를 계산한 후 상기 계산된 중심 좌표값을 기반으로 x방향 및 y방향 각각의 이득을 계산하여 보정 계수를 산출하는 단계를 포함하는 것을 특징으로 하는 렌즈 쉐이딩 자동 보정 방법.
삭제
제1항에 있어서,

상기 이득 분포의 최대값 좌표를 계산하는 단계는,

각 라인별 이득값의 합을 계산하는 단계;

상기 계산된 라인별 이득값의 합 중 최대값을 결정하는 단계를 포함하는 것을 특징으로 하는 렌즈 쉐이딩 자동 보정 방법.
제1항에 있어서,

상기 보정 계수를 사용하여 보정된 이미지를 생성하는 단계를 더 포함하는 것을 특징으로 하는 렌즈 쉐이딩 자동 보정 방법.
제4항에 있어서,

상기 보정된 이미지를 생성하는 단계는,

상기 입력된 이미지 데이터에 상기 보정 계수를 곱하는 단계를 포함하는 것을 특징으로 하는 렌즈 쉐이딩 자동 보정 방법.
레퍼런스 이미지를 촬상하여 쉐이딩된 이미지 데이터를 입력하는 이미지 데이터 입력부;

상기 입력된 이미지 데이터에서 다크 오프셋이 보정된 유효 영역을 제외한 나머지 데이터들을 제거하는 프리프로세싱을 수행하여 레퍼런스 데이터를 준비하는 프리프로세싱부;

1프레임에 해당하는 상기 프리프로세싱된 이미지 데이터를 저장하는 프레임 메모리;

상기 프레임 메모리에 저장된 데이터를 수신하여 한 프레임에 대한 이득 분포의 최대값 좌표를 계산한 후 상기 계산된 중심 좌표값을 기반으로 X방향 및 Y방향 각각의 이득을 계산하여 보정계수를 산출하는 MCU; 및

상기 보정계수를 기초로 보상된 이미지를 생성하여 출력하는 이미지 보상부를 포함하는 것을 특징으로 하는 쉐이딩 자동 보정 기능을 갖는 영상 처리 장치.
제6항에 있어서,

상기 레퍼런스 이미지는 프레임 전체에 걸쳐 x방향 및 y방향으로 균일한 밝기를 갖는 이미지인 것을 특징으로 하는 영상 처리 장치.
제6항에 있어서,

상기 레퍼런스 이미지는 단일색을 갖는 이미지인 것을 특징으로 하는 영상 처리 장치.