KR20090131123A

KR20090131123A - Camera module for lens shading and method for operating the same

Info

Publication number: KR20090131123A
Application number: KR1020080056934A
Authority: KR
Inventors: 우재근
Original assignee: 엘지이노텍 주식회사
Priority date: 2008-06-17
Filing date: 2008-06-17
Publication date: 2009-12-28

Abstract

PURPOSE: A camera module for processing lens shading and an operating method thereof are provided to differently set values of a lens shading register according to color temperature. CONSTITUTION: An image sensor(20) changes an optical image to an image signal. A lens shading register(30) sets a register value for lens shading. An image signal processor(50) presumes the color temperature of the image signal. The image signal processor extracts the value of the lens shading register matched with the presumed color temperature.

Description

Camera module for lens shading and its operation method {Camera module for lens shading and method for operating the same}

본 발명의 실시 예는 렌즈 쉐이딩 처리하는 카메라모듈 및 렌즈 쉐이딩 처리 방법에 관한 것이다.An embodiment of the present invention relates to a camera module and a lens shading processing method for lens shading.

이미지센서의 픽셀 매트릭스는 모든 픽셀에 동일한 각도로 동일한 광량의 빛이 들어오는 것을 가정하여 평면적으로 구현한다. 그러나, 각 픽셀은, 그 위치에 따라 입사 광원으로부터 거리 및 각도가 다름에 따라 입사되는 광량이 다르게 된다. 즉, 중심부에 위치한 픽셀은 90도의 각도로 입사되는 많은 광량의 빛을 받으나, 주변부에 위치한 픽셀은 상당히 기울어진 각도로 입사되는 적은 광량의 빛을 받게 된다. The pixel matrix of the image sensor is implemented in a flat manner assuming that the same amount of light enters all pixels at the same angle. However, each pixel has a different amount of incident light as its distance and angle vary from the incident light source depending on its position. That is, the pixel located at the center receives a large amount of light incident at an angle of 90 degrees, but the pixel located at the periphery receives a small amount of light incident at a considerably inclined angle.

이와 같은 렌즈 쉐이딩(lens shading) 현상은 픽셀 개수가 높은 고해상도 센서일수록 심화되며, 또한 초점을 맞출때 심도를 크게 하기 위해 입사되는 부분을 작게 하는 경우에도 심화된다.Such a lens shading phenomenon is aggravated by a high resolution sensor having a high number of pixels, and also when the incident portion is made small to increase the depth when focusing.

상기 렌즈 쉐이딩 현상을 보상하기 위해, 각 픽셀이 감지한 광도를 증폭시켜주는 증폭도를 각 픽셀의 위치에 따라 차별을 두고 있다. 즉, 충분한 빛을 받는 중 심부 픽셀이 감지한 값은 작게 증폭하고, 부족한 빛을 받는 주변부 픽셀이 감지한 값은 크게 증폭하도록 렌즈 쉐이딩 레지스터를 설정함으로써, 중심부(center area)와 주변부(edge area)간의 균형을 맞추는 렌즈 쉐이딩 처리한다.To compensate for the lens shading phenomenon, the amplification degree for amplifying the brightness detected by each pixel is differentiated according to the position of each pixel. In other words, by setting the lens shading registers to amplify the value detected by the center pixel receiving enough light and to amplify the value detected by the peripheral pixel receiving insufficient light, the center area and the edge area. Lens shading to balance the balance.

그러나 상기와 같이 색온도에 상관없이 렌즈 쉐이딩 레지스터 설정을 할 경우, 색온도에 따라 이미지의 중심부와 주변부 간의 R,G,B 편차가 발생하는 문제가 있다.However, when the lens shading register is set regardless of the color temperature as described above, there is a problem in that R, G, and B deviations occur between the center and the peripheral portion of the image according to the color temperature.

예컨대, 똑같은 값으로서 렌즈 쉐이딩 레지스터를 설정할 경우에, 도 1(a)와 같이 5000K의 색온도에서 최적의 렌즈 쉐이딩 처리가 이루어지는 반면에, 도 1(b)와 같이 2800K의 색온도에서의 렌즈 쉐이딩 처리는 중심부와 주변부간에 편차가 발생한다. 이러한 현상들로 인해 사용자가 흰색 피사체 등을 촬영할 때 흰색이 녹색이나 붉은색으로 보여지는 문제가 발생할 수 있다. For example, when the lens shading register is set as the same value, the optimal lens shading process is performed at the 5000 K color temperature as shown in FIG. 1 (a), whereas the lens shading process at the 2800K color temperature as shown in FIG. Deviation occurs between the center and the periphery. Due to these phenomena, a white color may appear green or red when a user photographs a white subject.

본 발명의 실시 예는 색온도에 따라 렌즈 쉐이딩 처리를 달리함으로써 최적의 화질을 얻도록 한다.The embodiment of the present invention allows to obtain an optimal picture quality by varying the lens shading process according to the color temperature.

본 발명의 실시 예는, 복수 개의 렌즈와, 상기 렌즈로부터 입사되는 광학 영상을 이미지 신호로 변환시키는 이미지센서와, 상기 이미지센서에서 출력되는 이미지 신호에 대한 렌즈 쉐이딩을 위한 레지스터 값이 설정되는 렌즈 쉐이딩 레지스터와, 상기 렌즈 쉐이딩 최적화가 이루어지도록 하는 렌즈 쉐이딩 레지스터의 값이 각 색온도별로 저장되어 있는 색온도별 렌즈 쉐이딩 테이블과, 상기 이미지센서에서 출력되는 이미지 신호의 색온도를 추정하여, 상기 추정한 색온도에 매칭되는 렌즈 쉐이딩 레지스터의 값을 상기 색온도별 렌즈 쉐이딩 테이블에서 추출한 후, 추 출한 렌즈 쉐이딩 레지스터의 값을 상기 렌즈 쉐이딩 레지스터에 설정하는 이미지신호처리부를 포함한다.According to an embodiment of the present invention, a lens shading in which a plurality of lenses, an image sensor converting an optical image incident from the lens into an image signal, and a register value for lens shading of an image signal output from the image sensor are set. A lens shading table for each color temperature in which a register and a value of a lens shading register for optimizing the lens shading are stored for each color temperature, and a color temperature of an image signal output from the image sensor is estimated to match the estimated color temperature. And an image signal processor configured to extract the value of the lens shading register from the lens shading table for each color temperature, and then set the value of the extracted lens shading register to the lens shading register.

상기 렌즈 쉐이딩 테이블은, 색온도 구간 범위별로 렌즈 쉐이딩 레지스터의 값이 저장되며, 카메라모듈 내의 내부 메모리 영역에 위치하며, 실험에 의해 구해진 각 색온도별 최적화되는 렌즈 쉐이딩 레지스터의 값이 저장됨을 특징으로 한다.The lens shading table may store a value of a lens shading register for each color temperature section, is located in an internal memory area of the camera module, and stores a value of a lens shading register optimized for each color temperature obtained by an experiment.

상기 이미지신호처리부는, 자동 화이트 밸런스(AWB) 처리 시에 추정되는 색온도를 제공받아, 상기 색온도에 매칭되는 렌즈 쉐이딩 레지스터 값을 추출함을 특징으로 한다.The image signal processor may be configured to extract a lens shading register value matched with the color temperature by receiving a color temperature estimated at an automatic white balance (AWB) process.

또한, 본 발명의 실시 예는, 이미지센서에서 출력되는 이미지 신호의 색온도를 추정하는 제1과정과, 상기 색온도에 따른 최적의 렌즈 쉐이딩 레지스터 값을 미리 저장해 놓은 렌즈 쉐이딩 테이블에서 추출하는 제2과정과, 상기 렌즈 쉐이딩 테이블에서 추출한 렌즈 쉐이딩 레지스터의 값을 렌즈 쉐이딩 레지스터에 설정하는 제3과정을 포함한다.In addition, an embodiment of the present invention, the first process of estimating the color temperature of the image signal output from the image sensor, the second process of extracting the optimal lens shading register value according to the color temperature from the lens shading table previously stored; And setting a value of the lens shading register extracted from the lens shading table to the lens shading register.

촬영되는 이미지의 장면이 바뀔 때에는 상기 제1,제2,제3과정을 반복 수행하는 제4과정을 더 포함한다. 상기 제1과정은, 자동 화이트 밸런스(AWB) 처리 시에 추정된 색온도를 이용함을 특징으로 한다.The method may further include a fourth process of repeatedly performing the first, second, and third processes when the scene of the captured image is changed. The first process is characterized by using the color temperature estimated at the time of automatic white balance (AWB) processing.

본 발명의 실시 예는 색온도에 따라 렌즈 쉐이딩 레지스터의 값을 달리 설정함으로써, 피사체의 색온도 환경에 영향받지 않고 최적의 화질을 얻을 수 있는 효과가 있다.According to an embodiment of the present invention, by setting the value of the lens shading register differently according to the color temperature, an optimum image quality may be obtained without being affected by the color temperature environment of the subject.

이하, 본 발명의 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 하기에서 각 도면의 구성요소들에 참조부호를 부가함에 있어 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. Hereinafter, a detailed description of embodiments of the present invention will be described with reference to the accompanying drawings. In the following description of the reference numerals to the components of the drawings it should be noted that the same reference numerals as possible even if displayed on different drawings.

도 2는 본 발명의 실시 예에 따라 색온도를 감안한 렌즈 쉐이딩 처리를 수행하는 카메라모듈의 구성 블록도이다.2 is a block diagram illustrating a camera module performing lens shading processing in consideration of color temperature according to an exemplary embodiment of the present invention.

일반적인 SOC(System On Chip) 이미지센서는 이미지신호처리부(ISP)를 포함하고 있는데, 카메라모듈은 이러한 이미지신호처리부를 포함한 구조를 가져 렌즈 쉐이딩 처리를 한다.A general SOC image sensor includes an image signal processor (ISP), and the camera module has a structure including the image signal processor to perform lens shading.

본 발명의 실시 예인 카메라모듈은 촬상되는 피사체의 색온도에 따라 I2C 통신을 통해 카메라모듈 내부 메모리 영역에 있는 렌즈 쉐이딩 레지스터의 값을 달리 설정하여, 색온도가 낮거나 높더라도 항상 우수한 화질을 얻을 수 있다.The camera module according to the embodiment of the present invention sets a value of the lens shading register in the internal memory area of the camera module through I2C communication according to the color temperature of the photographed subject, so that even when the color temperature is low or high, excellent image quality can always be obtained.

이를 위하여 카메라모듈은 렌즈(10), 이미지센서(20), 이미지신호처리부(50;ISP), 렌즈 쉐이딩 레지스터(30), 색온도별 렌즈 쉐이딩 테이블(40)을 포함한다.To this end, the camera module includes a lens 10, an image sensor 20, an image signal processor 50 (ISP), a lens shading register 30, and a lens shading table 40 for each color temperature.

이미지센서(20)는, 복수 개의 렌즈(10)로부터 입사되는 광학 영상(optical image)을 R,G,B 컬러의 이미지 신호로 변환시키는 소자이다. 이러한 이미지센서로는 전하 결합 소자(Charge Coupled Device, 이하, CCD라 함)와 시모스(CMOS; Complementary Metal-Oxide-Semiconductor) 이미지센서가 널리 사용되고 있다.The image sensor 20 is a device for converting an optical image incident from the plurality of lenses 10 into image signals of R, G, and B colors. As such an image sensor, a charge coupled device (hereinafter referred to as CCD) and a CMOS (Complementary Metal-Oxide-Semiconductor) image sensor are widely used.

렌즈 쉐이딩 레지스터(30)는 R,G,B의 색상 이득 설정에 따라 이미지센서에서 출력되는 R,G,B 색상의 출력을 달리 제어하는 색상 제어 레지스터(color control register)의 일부로서, 렌즈 쉐이딩 레지스터에 설정되는 값에 따라 각각 다른 렌즈 쉐이딩 처리가 이루어진다. The lens shading register 30 is a part of a color control register for controlling the output of the R, G, and B colors output from the image sensor according to the color gain setting of the R, G, and B, and the lens shading register. Different lens shading processes are performed according to the value set in.

색온도별 렌즈 쉐이딩 테이블(40)은 카메라모듈의 내부 메모리 영역에 구비되어 있어, 미리 실험을 통해 각 색온도에 따라 렌즈 쉐이딩 최적화가 이루어지는 렌즈 쉐이딩 레지스터의 값이 저장되어 있다. 이러한 색온도별 렌즈 쉐이딩 테이블의 예시를 하기 [표 1]에 기재한다.The lens shading table 40 for each color temperature is provided in the internal memory area of the camera module, and the values of the lens shading registers for which lens shading optimization is performed according to each color temperature through experiments are stored in advance. An example of such a color temperature-specific lens shading table is described in the following [Table 1].

[표 1]TABLE 1

색온도 범위Color temperature range 렌즈 쉐이딩 레지스터의 값The value of the lens shading register 2500K 미만Less than 2500K 제1레지스터 값First register value 2500K ~ 3500K2500K to 3500K 제2레지스터 값Second register value 3501K ~ 4500K3501K to 4500K 제3레지스터 값Third register value 4501K ~ 5500K4501K-5500K 제4레지스터 값4th register value 5501K ~ 6500K5501K-6500K 제5레지스터 값5th register value 6500K 초과Over 6500K 제6레지스터 값6th register value

참고로, 색온도는 광원의 빛을 수치화한 값으로서, 물체의 색온도는 같은 색광의 흑체의 온도(절대온도 K(캘빈온도))로 표시된다. 대표적 색온도들로서는, 양 초 1,700K, 백열전구 2600K~3000K, 할로겐 램프 3,050K~3,200K, 백색 형광등 4,400K, 정오 태양광 5,035K, 흐린날 하늘 7,500K가 존재한다.For reference, the color temperature is a value obtained by quantifying the light of the light source, and the color temperature of the object is represented by the temperature (absolute temperature K (Kelvin temperature)) of the black body of the same color light. Representative color temperatures include 1,700K candles, 2600K ~ 3000K incandescent lamps, 3,050K ~ 3,200K halogen lamps, 4,400K white fluorescent lamps, 5,035K midday sunlight, and 7,500K cloudy skies.

따라서, 실험에 의해, 4,400K의 색온도를 갖는 백색 형광등의 촬영 시에 최적의 렌즈 쉐이딩이 이루어지는 렌즈 쉐이딩 레지스터의 값이 제3레지스터 값이라는 실험 결과가 도출되면, 상기 [표 1]과 같이 해당 색온도 범위에 제2레지스터 값이 매칭되어 저장된다.Therefore, when the experiment results show that the value of the lens shading register for which the optimal lens shading is achieved when photographing a white fluorescent lamp having a color temperature of 4,400K is the third register value, the corresponding color temperature as shown in [Table 1]. The second register value is matched and stored in the range.

이미지신호처리부(50;ISP)는 AWB 처리모듈(51)과 렌즈 쉐이딩 처리모듈(52)을 포함한다.The image signal processor 50 (ISP) includes an AWB processing module 51 and a lens shading processing module 52.

상기 AWB(Auto White Balance) 처리모듈(51)은 AWB 알고리즘을 처리하는 기존의 모듈이다. 상기 AWB 알고리즘은, AWB 처리 수행할 때 색온도를 필요로 하는데, 이때 색온도는 추정 알고리즘에 의해 추정된다. 본 발명의 실시 예는 기존의 AWB 알고리즘이 이루어질 때 추정된 색온도를 렌즈 쉐이딩 처리모듈에서 제공받아 이용하는 것이다.The AWB (Auto White Balance) processing module 51 is an existing module that processes the AWB algorithm. The AWB algorithm requires a color temperature when performing AWB processing, where the color temperature is estimated by the estimation algorithm. An embodiment of the present invention is to receive and use the estimated color temperature from the lens shading processing module when the existing AWB algorithm is performed.

렌즈 쉐이딩 처리모듈(52)은 상기 AWB 처리모듈(51)에서 추정 제공되는 색온도를 가지고서, 해당 색온도를 가지는 렌즈 쉐이딩 레지스터의 값을 색온도별 렌즈 쉐이딩 테이블(40)에서 추출한 후, 추출한 값으로서 렌즈 쉐이딩 레지스터(30)에 설정함으로써, 최적화된 렌즈 쉐이딩 처리가 이루어지도록 한다.The lens shading processing module 52 has a color temperature estimated by the AWB processing module 51, extracts a value of a lens shading register having a corresponding color temperature from the lens shading table 40 for each color temperature, and then extracts the lens shading as the extracted value. By setting in the register 30, an optimized lens shading process is performed.

도 3은 본 발명의 실시 예에 따른 렌즈 쉐이딩 처리 과정을 도시한 플로차트이다.3 is a flowchart illustrating a lens shading process according to an exemplary embodiment of the present invention.

피사체의 촬상(S31)이 이루어져 이미지 신호 입력이 있으면, 이미지신호처리부 내의 AWB 처리모듈은 AWB 처리를 위한 색온도를 추정(S32)한다.When imaging of the subject (S31) is performed and an image signal is input, the AWB processing module in the image signal processing unit estimates a color temperature for AWB processing (S32).

상기 추정된 색온도는 이미지신호처리부 내의 렌즈 쉐이딩 처리모듈로 제공되고, 렌즈 쉐이딩 처리모듈은 상기 제공된 색온도에 매칭되는 렌즈 쉐이딩 레지스터의 값을 색온도별 렌즈 쉐이딩 테이블로부터 추출(S33)한다. 렌즈 쉐이딩 처리모 듈은 상기 추출한 렌즈 쉐이딩 레지스터의 값을 렌즈 쉐이딩 레지스터에 설정(S34)한다.The estimated color temperature is provided to the lens shading processing module in the image signal processing unit, and the lens shading processing module extracts the value of the lens shading register matching the provided color temperature from the lens shading table for each color temperature (S33). The lens shading processing module sets the value of the extracted lens shading register to the lens shading register (S34).

그 후, 장면 변화가 있는지를 판단(S35)하여,장면 변화가 있을 경우에는 상기 색온도 추정 과정(S32)으로 돌아가 해당 색온도에 따른 렌즈 쉐이딩 레지스터의 값으로서 설정하는 과정들(S33,S34)을 반복 수행한다.Thereafter, it is determined whether there is a scene change (S35), and when there is a scene change, the process returns to the color temperature estimation process (S32) and repeats the steps (S33, S34) of setting as a value of the lens shading register according to the corresponding color temperature. To perform.

상기 렌즈 쉐이딩 처리 과정은 촬영이 종료(S36)될때까지 상기 과정들이 반복되면서 수행된다.The lens shading process is performed while the processes are repeated until the shooting is completed (S36).

참고로, 도 4는 2800K 색온도일 때의 출력된 이미지 색상을 도시한 사진이다. 도 4(a)는 종래의 렌즈 쉐이딩 처리할 때의 2800K 색온도 피사체의 출력 색상을 사진으로서, 중앙부와 주변부 간의 색상 차이가 발생함을 알 수 있다. 그러나, 본 발명의 실시 예인 렌즈 쉐이딩 처리 과정을 거칠 때에는 2800K 색온도 피사체의 출력 색상이 도 4(b)와 같이 중앙부와 주변부가 모두 일정한 색상을 가져 최적의 화질을 가지게 됨을 알 수 있다.For reference, FIG. 4 is a photograph showing the output image color when the 2800K color temperature. FIG. 4 (a) shows the output color of the 2800K color temperature subject in the conventional lens shading process, and it can be seen that a color difference occurs between the center part and the peripheral part. However, when the lens shading process is an embodiment of the present invention, it can be seen that the output color of the 2800K color temperature subject has a constant color as shown in FIG.

상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 특허 범위는 상기 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위뿐 아니라 균등 범위에도 미침은 자명할 것이다.In the above description of the present invention, specific embodiments have been described, but various modifications may be made without departing from the scope of the present invention. Therefore, the scope of the present invention is not to be determined by the embodiments described above, but will be apparent in the claims as well as equivalent scope.

도 1은 다른 색온도 환경에서 렌즈 쉐이딩 처리된 이미지 색상을 도시한 사진이다. 1 is a photograph showing the color of the lens shaded image in a different color temperature environment.

도 4는 2800K 색온도일 때의 출력된 이미지 색상을 도시한 사진이다.4 is a photograph showing the output image color when the 2800K color temperature.

*도면의 주요 부분에 대한 부호의 설명** Description of the symbols for the main parts of the drawings *

10: 렌즈 20: 이미지센서10: lens 20: image sensor

30: 렌즈 쉐이딩 레지스터 40: 색온도별 렌즈 쉐이딩 테이블30: lens shading register 40: lens shading table for each color temperature

50: 이미지신호처리부50: image signal processing unit

Claims

A plurality of lenses;

An image sensor converting an optical image incident from the lens into an image signal;

A lens shading register configured to set a register value for lens shading on the image signal output from the image sensor;

A lens shading table for each color temperature, in which a value of a lens shading register for optimizing the lens shading is stored for each color temperature;

The color temperature of the image signal output from the image sensor is estimated, the value of the lens shading register matching the estimated color temperature is extracted from the lens shading table for each color temperature, and the value of the extracted lens shading register is set in the lens shading register. Image signal processor

Camera module comprising a

The camera module of claim 1, wherein the lens shading table stores a value of a lens shading register for each color temperature section range.

The camera module of claim 1, wherein the lens shading table is located in an internal memory area of the camera module.

The camera module of claim 1, wherein the lens shading table stores values of lens shading registers optimized for each color temperature obtained by experiments.

The camera module of claim 1, wherein the image signal processor receives a color temperature estimated at an automatic white balance (AWB) process and extracts a lens shading register value matching the color temperature.

Estimating a color temperature of an image signal output from the image sensor;

Extracting an optimal lens shading register value according to the color temperature from a previously stored lens shading table;

A third process of setting the value of the lens shading register extracted from the lens shading table to the lens shading register

Lens shading processing method comprising a.

The lens shading processing method of claim 6, further comprising a fourth process of repeating the first, second, and third processes when the scene of the captured image is changed.

The method of claim 6, wherein the first process receives a color temperature estimated at an automatic white balance (AWB) process and extracts a lens shading register value matching the color temperature.