KR100860699B1 - 색온도를 이용한 렌즈 쉐이딩 보정 기능을 갖는 카메라시스템 - Google Patents

Abstract

본 발명에 따른 카메라 시스템은, 피사체를 촬상하여 얻어진 이미지 검출 신호를 출력하는 카메라 모듈과; 제어부로부터 입력된 렌즈 쉐이딩 보정값에 따라 상기 카메라 모듈로부터 입력된 이미지 검출 신호를 렌즈 쉐이딩 보정하여 얻어진 이미지 신호를 출력하는 이미지신호처리부와; 상기 피사체의 색온도와 대응되는 렌즈 쉐이딩 보정값을 산출하고, 상기 산출된 렌즈 쉐이딩 보정값을 상기 이미지신호처리부로 출력하는 제어부를 포함한다.

렌즈 쉐이딩, 카메라, 이미지 센서, 이미지신호처리부, 색온도

Description

색온도를 이용한 렌즈 쉐이딩 보정 기능을 갖는 카메라 시스템{CAMERA SYSTEM WITH LENS SHADING COMPENSATION FUNCTION USING COLOR TEMPERATURE}

도 1은 전형적인 카메라 시스템의 렌즈 쉐이딩 보정 방법을 예시하기 위한 도면,

도 2는 본 발명의 바람직한 실시예에 따른 카메라 시스템을 나타내는 도면,

도 3은 도 2에 도시된 대역통과 필터의 투과도 곡선을 나타내는 도면,

도 4 및 5는 색온도에 따른 렌즈 쉐이딩 현상을 설명하기 위한 도면들.

본 발명은 카메라 모듈(camera module)을 구비한 휴대용 무선 단말기(휴대폰, PDA(personal digital assistants) 등), 디지털 카메라 등의 카메라 시스템에 관한 것으로서, 특히 상기 카메라 시스템에 의해 구현되는 렌즈 쉐이딩 보정(lens shading compensation) 방법에 관한 것이다.

휴대폰이 점차 슬림화되면서, 휴대폰에 탑재되는 카메라 모듈도 점차 소형화되는 추세에 있다. 이러한 카메라 모듈의 소형화는 주로 이미지 센서(image sensor), 대역통과 필터(band pass filter) 및 렌즈계를 각각 소형화함으로써 이루어진다. 렌즈계의 소형화에 따라서, 렌즈의 직경이 감소하고 렌즈의 주광선 입사각(chief ray angle: CRA)이 증가하며, 이로 인해 상기 렌즈계에 의해 생성되는 이미지에 있어서 그 주변부의 밝기가 그 중앙부의 밝기보다 감소되는 렌즈 쉐이딩 현상이 발생한다.

전형적인 카메라 시스템은 카메라 모듈 및 이미지신호처리부(image signal processor: ISP)를 포함하고, 상기 이미지신호처리부는 상기 카메라 모듈로부터 입력된 이미지 검출 신호를 측정된 색온도(color temperature)에 따라 자동 백색 보정(auto white balance: AWB)하여 얻어진 이미지 신호를 출력한다. 또한, 상기 이미지신호처리부는 렌즈 쉐이딩 보정을 수행할 수 있다.

도 1은 전형적인 카메라 시스템의 렌즈 쉐이딩 보정 방법을 예시하기 위한 도면이다. 도 1에는, 보정전의 이미지 밝기 곡선(110)(이하, 제1 밝기 곡선이라고 함)과, 보정후의 이미지 밝기 곡선(120)(이하, 제2 밝기 곡선이라고 함)이 도시되어 있고, 가로축은 픽셀 위치를 나타내며, 세로축은 보정전의 밝기가 최대 1의 값을 갖도록 정규화된 밝기를 나타낸다. 이때, 이미지 센서의 측정된 중심 라인은 픽셀수가 800이다.

상기 제1 밝기 곡선(110)을 보면, 중앙부가 밝고 주변부가 어두운 위로 볼록한 곡선 형태를 갖는다. 예를 들어, 상기 제1 밝기 곡선(110)은 아래의 <수학식 1>에 의해 표현되는 곡선 형태로 근사화될 수 있다.

G = 1 - a(p - c)²

상기 <수학식 1>에서, p는 픽셀 위치를 나타내고, c는 상기 중심 라인의 중심 픽셀의 위치를 나타내며, a는 렌즈 쉐이딩 보정 계수이고, G는 밝기를 나타낸다. 본 예에서, c는 400이 된다.

렌즈 쉐이딩 보정은 상기 제1 밝기 곡선(110)을 직선화하는 과정이며, 이는 상기 제1 밝기 곡선(110)을 반전한 형태의 보정 곡선(130)을 구하는 과정으로 볼 수 있다.

즉, 상기 보정 곡선(130)은 아래의 <수학식 2>로 표현된다.

G = 1 + a(p - c)²

상기 제1 밝기 곡선(110)의 형태, 즉 상기 제1 밝기 곡선(110)의 형태를 결정하는 인자들(본 예에서는 a 및 c)은 이미 알고 있는 값들이고, a가 렌즈 쉐이딩 보정 계수가 된다.

상기 <수학식 2>는 간단한 예를 든 것으로서, 이미지 센서 전체를 격자 형태로 분할하고 각 구획 영역에 보정값 또는 보정 계수를 적용하거나, 이미지 센서 전체를 동심원 또는 중첩된 타원 형태로 분할하고 각 원 영역 또는 타원 영역에 보정값 또는 보정 계수를 적용하는 등 다양한 보정 방법이 개시된 바 있다.

그러나, 전술한 바와 같은 전형적인 카메라 시스템에서는, 렌즈 쉐이딩 현상을 야기하는 원인으로서 렌즈의 직경 감소만을 고려하므로, 어느 한 색온도를 기준 으로 설정한 렌즈 쉐이딩 보정 계수를 피사체의 색온도와 상관없이 일률적으로 적용하나, 상기 기준 색온도와 차이가 큰 색온도를 갖는 피사체의 경우에 렌즈 쉐이딩 현상이 두드러지게 발생함을 알 수 있다.

따라서, 색온도를 고려한 렌즈 쉐이딩 보정 방법 및 이를 구현하는 카메라 시스템이 요구된다.

본 발명은 상술한 종래의 문제점을 해결하기 위하여 안출한 것으로서, 본 발명의 일 측면에 따라서 색온도를 고려한 렌즈 쉐이딩 보정 방법 및 이를 구현하는 카메라 시스템이 제공된다.

본 발명의 일 측면에 따른 카메라 시스템은, 피사체를 촬상하여 얻어진 이미지 검출 신호를 출력하는 카메라 모듈과; 제어부로부터 입력된 렌즈 쉐이딩 보정값에 따라 상기 카메라 모듈로부터 입력된 이미지 검출 신호를 렌즈 쉐이딩 보정하여 얻어진 이미지 신호를 출력하는 이미지신호처리부와; 상기 피사체의 색온도와 대응되는 렌즈 쉐이딩 보정값을 산출하고, 상기 산출된 렌즈 쉐이딩 보정값을 상기 이미지신호처리부로 출력하는 제어부를 포함한다.

이하에서는 첨부도면들을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다. 본 발명을 설명함에 있어서, 관련된 공지기능, 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하지 않게 하기 위하여 생략한다.

도 2는 본 발명의 바람직한 실시예에 따른 카메라 시스템을 나타내는 도면이다. 상기 카메라 시스템(200)은, 카메라 모듈(210)과, 이미지신호처리부(260)와, 표시부(290)와, 제어부(270)와, 메모리(memory, 280)를 포함한다.

상기 카메라 모듈(210)은 피사체를 촬상하여 얻어진 이미지 검출 신호와 상기 피사체의 색온도를 측정하여 얻어진 색온도 검출 신호를 출력하며, 피사체의 이미지를 생성하는 렌즈계(220)와, 상기 렌즈계(220)를 투과한 광의 파장 대역을 제한하는 대역통과 필터(230)와, 상기 렌즈계(220)에 의해 그 촬상면 상에 형성된 이미지를 전기 신호로 검출하여 출력하는 이미지 센서(240)와, 상기 피사체의 색온도를 측정하여 얻어진 색온도 검출 신호를 출력하는 색온도 검출기(250)를 포함한다.

상기 렌즈계(220)는 입사된 광을 수렴시키는 적어도 하나의 렌즈를 포함하고, 상기 렌즈는 양면 볼록 렌즈, 양면 비구면 렌즈 등일 수 있다. 본 실시예에서, 상기 렌즈계(220)는 광축에 대해 회전 대칭성을 갖는 것으로 한다. 이때, 광축은 렌즈면들의 정점을 지나는 축으로 정의될 수 있다. 예를 들어, 양면 볼록 렌즈는 동일한 곡률을 갖는 제1 및 제2 렌즈면을 포함한다.

상기 대역통과 필터(230)는 가시광선 파장 대역을 통과시키며, 나머지 불필요한 파장 대역은 차단한다. 이때, 상기 대역통과 필터(230)는 적어도 1㎛ 이하의 적외선 파장 대역을 차단하며, 이러한 투과 특성을 갖는 필터는 적외선을 차단하는 용도로 사용되므로 통상적으로 적외선 필터(IR filter)라고도 한다. 상기 대역통과 필터(230)는 유리 기판에 다층의 박막들을 코팅한 형태를 가질 수 있다. 가시광선 파장 대역은 380~780㎚의 파장 대역을 말하고, 458~480㎚는 청색(blue: B) 영역으로 분류되며, 510~550㎚는 녹색(green: G) 영역으로 분류되고, 630~780㎚는 적색(red: R) 영역으로 분류된다.

상기 이미지 센서(240)는 동일한 구성을 갖는 픽셀들(pixels)이 N*M 매트릭스(matrix) 구조로 배치된 구조를 갖는다. 본 실시예에서, 상기 이미지 센서(240)는 800개의 행 라인(row line)과 800개의 열 라인(column line)을 가지며, 그 중심 픽셀(행 라인의 수 및 열 라인의 수가 모두 짝수이므로, 상기 이미지 센서(240)의 어느 한 모서리를 기준으로 하여 상대적으로 정해짐), 즉 400번째 행 라인(중심 행 라인에 해당)과 400번째 열 라인(중심 열 라인에 해당)이 교차하는 지점에 위치하는 픽셀은 상기 렌즈계(220)의 광축에 정렬되어 있다. 상기 이미지 센서(240)로는 CCD(charge-coupled device) 이미지 센서, CMOS(complementary metal-oxide semiconductor) 이미지 센서 등을 사용할 수 있다.

상기 색온도 검출기(250)는 상기 피사체의 색온도를 측정하여 얻어진 색온도 검출 신호를 상기 이미지신호처리부(260) 및 제어부(270)로 출력한다. 유이치 이케무라(Yuichi Ikemura) 등에 의해 발명되어 특허허여된 미국특허번호 제4,682,210호{Automatic white balance adjusting circuit for image pickup device}는 색온도 검출기를 이용하여 측정된 피사체의 색온도에 따라 자동 백색 보정을 수행하는 기술을 개시한다.

본 실시예에서는 상기 색온도 검출기(250)를 이용하여 색온도 정보를 추출하는 것으로 예시하고 있으나, 촬상된 이미지 자체의 색 신호들로부터 색온도 정보를 추출할 수도 있다.

도시노부 하루키(Toshinobu Haruki) 등에 의해 발명되어 특허허여된 미국특허번호 제5,223,921호{White balance adjusting apparatus for automatically adjusting white balance on the basis of a color information signal obtained from an image-sensing device}는 촬상된 이미지의 색 신호들을 기초로 색온도 정보를 추출하고, 각 색신호의 이득을 제어하여 자동 백색 보정을 수행하는 기술을 개시한다.

도 3은 상기 대역통과 필터(230)의 투과도(transmittance) 곡선을 나타내는 도면이다. 도 3에는 다양한 주광선 입사각에 따른 투과도 곡선들이 도시되어 있다. 주광선 입사각이 0°인 경우의 투과도 곡선(310)(이하, 제1 투과도 곡선이라고 함)과 주광선 입사각이 30°인 경우의 투과도 곡선(320)(이하, 제2 투과도 곡선이라고 함)을 비교하여 보면, 적색 영역에서 차단 파장이 20~30㎚의 차이를 보이는 것을 알 수 있다.

이러한 사실로부터, 렌즈의 직경 및 입사광의 색상(다르게 말하자면, 색온도)에 따라 렌즈 쉐이딩 형태가 변화하게 됨을 알 수 있다.

도 4 및 5는 색온도에 따른 렌즈 쉐이딩 현상을 설명하기 위한 도면이다. 도 4에는 5100K의 색온도를 갖는 광원에 대해 설정된 보정 계수를 이용하여 렌즈 쉐이딩 보정된 RGB 밝기 곡선들이 도시되어 있고, 도 5에는 상기 보정 계수를 이용하여 3000K의 색온도를 갖는 광원에 대해 렌즈 쉐이딩 보정한 RGB 밝기 곡선들이 도시되어 있다. 예시된 바와 같이, 어느 한 색온도를 기준으로 설정한 렌즈 쉐이딩 보정 계수를 피사체의 색온도와 상관없이 일률적으로 적용하면, 상기 기준 색온도와 차이가 큰 색온도를 갖는 피사체의 경우에 렌즈 쉐이딩 현상이 두드러지게 발생함을 알 수 있다. 이로 인해 자동 백색 보정에 오류가 발생하고, 결과적으로 중앙부와 주변부의 색이 다른 이미지를 얻게 됨을 알 수 있다.

다시 도 2를 참고하면, 상기 이미지신호처리부(260)는 상기 제어부(270)로부터 입력된 렌즈 쉐이딩 보정 계수에 따라 상기 이미지 검출 신호를 렌즈 쉐이딩 보정하며, 보정된 이미지 검출 신호를 상기 색온도 검출기(250)로부터 입력된 색온도에 따라 자동 백색 보정하여 얻어진 이미지 신호를 출력한다. 상기 이미지신호처리부(260)는 상기 이미지 센서(240)로부터 입력되는 이미지 검출 신호를 프레임(frame) 단위로 처리하며, 상기 표시부(290)의 화면 특성(크기, 화질, 해상도 등)에 맞도록 변환된 이미지 신호를 출력한다.

상기 메모리(280)는 복수의 색온도와 이와 대응되는 렌즈 쉐이딩 보정 계수들을 나타내는 테이블(table)을 저장한다. 또한, 상기 메모리(280)는 상기 이미지신호처리부(260)로부터 입력된 이미지 신호를 상기 표시부(290)에 표시하기 위한 프로그램, 상기 카메라 시스템(200)을 구동하는데 필요한 이미지(메뉴 화면, 대기 화면 등) 등을 더 저장할 수 있다.

상기 제어부(270)는 상기 색온도 검출기(250)로부터 색온도를 입력받고, 상기 메모리(280)에 저장된 테이블을 참조하여 상기 입력된 색온도와 대응되는 렌즈 쉐이딩 보정 계수를 산출하고, 상기 산출된 렌즈 쉐이딩 보정 계수를 상기 이미지신호처리부(260)로 출력한다. 렌즈 쉐이딩 보정 계수를 산출함에 있어서, 상기 제 어부(270)는 상기 입력된 색온도를 상기 테이블 상의 인접 또는 일치하는 색온도와 매칭(matching)하거나, 통상의 보간법(interpolation mathod)을 이용하여 상기 테이블 상에서 상기 입력된 색온도와 인접한 색온도들과 상기 인접한 색온도들이 갖는 렌즈 쉐이딩 보정 계수들을 도출하고, 상기 입력된 색온도에 대응되는 상기 렌즈 쉐이딩 보정 계수들 사이의 렌즈 쉐이딩 보정 계수를 추정하여 산출할 수 있다.

본 실시예와 다르게, 상기 메모리(280)는 복수의 색온도와 이와 대응되는 {픽셀 위치, 렌즈 쉐이딩 보정값} 데이터쌍들을 나타내는 테이블(table)을 저장하고, 상기 제어부(270)는 전술한 매칭 방법 또는 보간법에 따라 상기 입력된 색온도에 대응되는 {픽셀 위치, 렌즈 쉐이딩 보정값} 데이터쌍들을 상기 이미지신호처리부(260)로 출력할 수 있다.

본 발명에서, 전술한 렌즈 쉐이딩 보정 계수 및 {픽셀 위치, 렌즈 쉐이딩 보정값} 데이터쌍들은 모두 렌즈 쉐이딩 보정값으로 통칭한다.

상기 이미지신호처리부(260)는 상기 제어부(270)로부터 입력된 렌즈 쉐이딩 보정 계수에 따라 상기 이미지 검출 신호를 렌즈 쉐이딩 보정한다. 예를 들어, 상기 이미지신호처리부(260)는 상기 렌즈 쉐이딩 보정 계수를 상기 <수학식 2>의 a에 대입하여 보정 곡선을 구하고, 상기 보정 곡선에 근거하여 도 1에 도시된 바와 같이 중앙부가 밝고 주변부가 어두운 위로 볼록한 곡선 형태를 갖는 보정전 이미지 밝기 곡선을 직선화한다.

상기 표시부(290)는 상기 이미지신호처리부(260)로부터 입력된 이미지 신호를 화면에 표시한다. 상기 표시부(290)로는 액정 유닛(liquid crystal unit)과 상 기 액정 유닛에 광을 조사하기 위한 백라이트 유닛(backlight unit)을 포함하는 통상의 액정표시장치를 사용할 수 있다.

이상에서 설명한 본 발명의 렌즈 쉐이딩 보정 방법 및 이를 구현하는 카메라 시스템은 전술한 실시예들 및 도면들에 의해 한정되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않은 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 자명하다.

예를 들어, 이미지신호처리부는 렌즈 쉐이딩 보정 회로, 자동 백색 보정 회로, 메모리 및 제어부를 포함할 수 있으며, 이러한 경우에 도 2에 도시된 이미지신호처리부(260)는 상기 렌즈 쉐이딩 보정 회로 및 자동 백색 보정회로의 조합에 해당하고, 도 2에 도시된 메모리(280) 및 제어부(270)는 상기 이미지신호처리부에 내장된다.

상술한 바와 같이, 본 발명에 따른 렌즈 쉐이딩 보정 방법 및 이를 구현하는 카메라 시스템은 피사체의 색온도에 따른 렌즈 쉐이딩 보정을 수행함으로써, 색온도와 상관없이 렌즈 쉐이딩 현상을 최소화할 수 있으며, 이로 인해 정밀한 자동 백색 보정을 가능하게 하며, 결과적으로 종래보다 양질의 이미지를 얻을 수 있다는 이점이 있다.

Claims (6)

1. 카메라 시스템에 있어서,

   피사체를 촬상하여 얻어진 이미지 검출 신호를 출력하는 카메라 모듈과;

   제어부로부터 입력된 렌즈 쉐이딩 보정값에 따라 상기 카메라 모듈로부터 입력된 이미지 검출 신호를 렌즈 쉐이딩 보정하여 얻어진 이미지 신호를 출력하는 이미지신호처리부와;

   상기 피사체의 색온도와 대응되는 렌즈 쉐이딩 보정값을 산출하고, 상기 산출된 렌즈 쉐이딩 보정값을 상기 이미지신호처리부로 출력하는 상기 제어부를 포함함을 특징으로 하는 카메라 시스템.
2. 제1항에 있어서, 상기 카메라 모듈은,

   피사체의 이미지를 생성하는 렌즈계와;

   상기 이미지를 전기 신호로 검출하여 출력하는 이미지 센서를 포함함을 특징으로 하는 카메라 시스템.
3. 제2항에 있어서, 상기 카메라 모듈은,

   상기 피사체의 색온도를 측정하여 얻어진 색온도 검출신호를 상기 제어부로 출력하는 색온도 검출기를 더 포함함을 특징으로 하는 카메라 시스템.
4. 제1항에 있어서,

   복수의 색온도와 이와 대응되는 렌즈 쉐이딩 보정값들을 나타내는 테이블을 저장하는 메모리를 더 포함하고,

   상기 제어부는 상기 메모리에 저장된 테이블을 참조하여 상기 피사체의 색온도와 대응되는 렌즈 쉐이딩 보정값을 산출하고, 상기 산출된 렌즈 쉐이딩 보정값을 상기 이미지신호처리부로 출력함을 특징으로 하는 카메라 시스템.
5. 제1항에 있어서,

   상기 이미지 신호를 화면에 표시하는 표시부를 더 포함함을 특징으로 하는 카메라 시스템.
6. 제2항에 있어서, 상기 카메라 모듈은,

   상기 피사체의 색온도를 측정하여 얻어진 색온도 검출신호를 상기 제어부 및 이미지신호처리부로 출력하는 색온도 검출기를 더 포함하고,

   상기 이미지신호처리부는 상기 이미지 검출 신호를 상기 제어부로부터 입력된 렌즈 쉐이딩 보정값에 따라 렌즈 쉐이딩 보정함과 동시에 상기 색온도 검출기로부터 입력된 색온도에 따라 자동 백색 보정하는 것을 특징으로 하는 카메라 시스템.

Images