KR20110064306A - Lens shading correction method - Google Patents

Lens shading correction method Download PDF

Info

Publication number
KR20110064306A
KR20110064306A KR1020090120829A KR20090120829A KR20110064306A KR 20110064306 A KR20110064306 A KR 20110064306A KR 1020090120829 A KR1020090120829 A KR 1020090120829A KR 20090120829 A KR20090120829 A KR 20090120829A KR 20110064306 A KR20110064306 A KR 20110064306A
Authority
KR
South Korea
Prior art keywords
value
area
lens shading
image
center
Prior art date
Application number
KR1020090120829A
Other languages
Korean (ko)
Inventor
현진욱
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020090120829A priority Critical patent/KR20110064306A/en
Publication of KR20110064306A publication Critical patent/KR20110064306A/en

Links

Images

Classifications

    • G06T5/92—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Abstract

PURPOSE: An LSC method is provided to optimize LSC suitably to the distortion degree of a lens according to each camera module. CONSTITUTION: An LSC(Lens Shading Correction) gain table generator creates an LSC gain table from video data obtained from standard video input(S110). If a camera module is normally operated, a camera module obtains image data from a subject(S120,S130). An image signal processor processes the LSC of the obtained image through the LSC gain table(S140). A display outputs corrected image data(S150).

Description

렌즈 셰이딩 보상방법{Lens shading correction method} Lens shading correction method

본 발명은 카메라 모듈을 포함하는 영상시스템에서의 렌즈 셰이딩 보상방법에 관한 것이다.The present invention relates to a lens shading compensation method in an imaging system including a camera module.

카메라 모듈은 휴대용 전화기, 노트북 컴퓨터, PDA(personal digital assistants) 등 다양한 카메라 기능을 가진 제품에 장착되는데, 최근 일반 디지털 카메라와 비교할 때에도 손색이 없을 정도로 카메라 모듈의 성능이 향상되고 있다.Camera modules are installed in products with various camera functions, such as mobile phones, notebook computers, and personal digital assistants (PDAs). Recently, camera modules have been improved in performance so as to be comparable to general digital cameras.

일반적으로, 영상 촬상 장치 등에 의해 촬상된 영상에는 피사체에 해당하는 대상물의 여러가지 정보를 가지고 있지만, 대상물, 촬영 기기의 성능 혹은 촬영 조건등에 의해 그 영상 신호에 해당하는 휘도신호 및 색신호의 성분이 편중되거나 왜곡되는 경우가 빈번하게 발생한다. 따라서, 카메라 모듈은 피사체를 촬영시 렌즈 셰이딩 보상(lens shading correction), 노출 보정(auto exposure) 및 화이트 밸런스(auto white ) 등의 보정을 거친 후 이미지의 캡쳐를 진행한다.In general, an image captured by an image pickup device or the like has various pieces of information of an object corresponding to a subject, but components of luminance signals and color signals corresponding to the image signal are biased due to the object, the performance of the photographing apparatus, or the shooting conditions. Distortions frequently occur. Therefore, the camera module captures an image after undergoing correction such as lens shading correction, auto exposure, and white balance when capturing a subject.

이러한 카메라 모듈에서 이미지 센서의 주변영역은 렌즈의 광학 특성으로 인 해 충분한 빛을 받지 못하고 이로 인해 신호의 감쇄가 야기되는데 이를 렌즈 셰이딩 (lens shading)이라 한다. 렌즈 셰이딩에 의한 신호의 감쇄는 픽셀의 위치 및 컬러에 따라 달라진다. 따라서, 이미지 신호 처리기(image signal processor: ISP)는 더 향상된 이미지를 얻기 위하여 렌즈 셰이딩 보상(lens shading correction)이라는 영상처리과정을 통하여 주변의 영역의 신호의 감쇄를 보상한다. In such a camera module, the peripheral area of the image sensor does not receive enough light due to the optical characteristics of the lens, which causes attenuation of the signal. This is called lens shading. The attenuation of the signal by lens shading depends on the position and color of the pixel. Therefore, the image signal processor (ISP) compensates for the attenuation of the signal in the surrounding area through an image processing process called lens shading correction in order to obtain an improved image.

고정 렌즈 셰이딩 보상(fixed lens shading correction)은 양상되는 카메라 모듈에 동일한 렌즈 셰이딩 보상을 적용하는 것이다. 렌즈 셰이딩 보상을 적용하기 위한 게인 테이블이 카메라 모듈에 일괄적으로 생성되어 메모리에 저장되며, 이미지 신호 처리기에서 메모리에 저장된 게인 테이블을 이용하여 각 픽셀마다의 게인을 보상하여 렌즈 왜곡을 보정하게 된다. 따라서, 카메라 모듈마다 렌즈의 왜곡 정도가 상이하게 발생하여 왜곡 편차가 발생될 수 있으며, 한번 생성된 게인 테이블을 이용하여 모든 카메라 모듈에 적용하면 렌즈 왜곡 보정이 정상적으로 이루어지지 않는 문제점이 있으며, 이러한 렌즈 셰이딩 편차는 고화소 카메라 모듈로 갈수록 심해지므로 고정 렌즈 셰이딩 보상법은 카메라 화질 저하의 원인이 될 수 있다.Fixed lens shading correction is the application of the same lens shading compensation to the camera module being profiled. A gain table for applying lens shading compensation is collectively generated in the camera module and stored in a memory. The image signal processor compensates the gain for each pixel using a gain table stored in the memory to correct lens distortion. Therefore, a distortion degree of the lens may be differently generated for each camera module, and thus a distortion deviation may occur. When applied to all camera modules using a gain table generated once, lens distortion correction may not be normally performed. Since the shading deviation becomes more severe with the high pixel camera module, the fixed lens shading compensation method may cause the deterioration of the camera quality.

본 발명은 각각의 카메라 모듈에 따른 렌즈의 왜곡 정도에 적합화 된 렌즈 셰이딩 보상방법을 제공한다. The present invention provides a lens shading compensation method adapted to the degree of distortion of the lens according to each camera module.

본 발명의 일 실시예에 따른 렌즈 셰이딩 보상방법은 다수의 렌즈를 포함하는 렌즈부로부터 광 이미지를 입사 받아 이미지 센서에서 전기적 신호인 영상 데이터로 변환하고 상기 영상 데이터를 이미지 신호 처리부에서 렌즈 셰이딩 보상(lens shading correction)하는 방법에 있어서, 각 픽셀들이 균일한 밝기값을 가진 표준 영상 입력에 대하여 전체 픽셀들의 중심부인 중심영역 대비 상기 전체 픽셀들의 각 모서리를 중심으로 소정의 일정한 영역인 주변영역의 밝기값, 상기 중심영역 대비 상기 주변영역의 색감값 및 광축 좌표값(centerX, centerY)을 획득하여 저장하는 단계, 상기 중심영역 대비 상기 주변영역의 밝기값, 상기 중심영역 대비 상기 주변영역의 색감값 및 상기 광축 좌표값(centerX, centerY)을 렌즈 셰이딩 보상 파라미터(parameter)로 변환하는 단계, 및 상기 렌즈 셰이딩 보상 파라미터를 이용하여 상기 영상 데이터를 렌즈 셰이딩 보상하는 단계를 포함한다.Lens shading compensation method according to an embodiment of the present invention receives an optical image from a lens unit including a plurality of lenses and converts the image into an image signal which is an electrical signal in the image sensor and the lens shading compensation in the image signal processor ( A method of lens shading correction, wherein a brightness value of a peripheral area, which is a predetermined constant area around each corner of all pixels, relative to a center area of all pixels for a standard image input in which each pixel has a uniform brightness value Obtaining and storing color values and optical axis coordinate values (centerX, centerY) of the peripheral area relative to the central area, brightness values of the peripheral area relative to the center area, color values of the peripheral area relative to the center area, and Converting the optical axis coordinate values centerX, centerY into lens shading compensation parameters, and the image The image data by using a lens shading compensation parameters comprises the step of lens shading compensation.

본 실시예에 따른 렌즈 셰이딩 보상방법은 카메라 모듈마다 렌즈의 왜곡 정도가 상이하게 발생하여 왜곡 편차가 발생되는 문제점을 해결하여 각각의 카메라 모듈에 따른 렌즈의 왜곡 정도에 적합화됨으로써 렌즈 셰이딩 보상에 따른 왜곡 편차가 최소화된다.The lens shading compensation method according to the present embodiment solves the problem that the distortion of the lens is generated differently for each camera module, thereby causing the distortion deviation. Distortion variation is minimized.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, and the same or corresponding components will be denoted by the same reference numerals regardless of the reference numerals and redundant description thereof will be omitted.

도 1은 렌즈 셰이딩 보상 전/후의 밝기 상태를 나타내는 도면이다.1 is a diagram illustrating brightness states before and after lens shading compensation.

도 1을 참조하면, 렌즈 셰이딩 보상 전(a 참조)에는 렌즈의 광학 특성으로 인해 왜곡 상태가 발생하며 렌즈의 중심부의 밝기와 주변부의 밝기가 일정하지 않는 상태를 나타내며, 이미지의 중심으로부터의 거리에 따라 게인(gain)을 보상하는 렌즈 셰이딩 보상(b 참조)을 하게 된다. 렌즈 셰이딩 보상 후(c 참조)에는 렌즈의 중심부의 밝기와 주변부의 밝기가 일정한 상태를 나타낸다.Referring to FIG. 1, before the lens shading compensation (see a), a distortion state occurs due to the optical characteristics of the lens, and the brightness at the center of the lens and the brightness at the periphery of the lens are not constant. Accordingly, lens shading compensation (see b) is used to compensate for gain. After lens shading compensation (see c), the brightness of the central portion of the lens and the brightness of the peripheral portion are constant.

도 2는 본 실시예에 따른 렌즈 셰이딩 보상 방법을 나타내는 순서도이다.2 is a flowchart illustrating a lens shading compensation method according to the present embodiment.

도 2를 참조하면, 각 픽셀들이 균일한 밝기값을 가진 표준 영상 입력에 대하 여 렌즈 셰이딩 보상(LSC) 게인 테이블을 생성하여 저장한다(S110). 여기서, 렌즈 셰이딩 보상(LSC) 게인 테이블은 본 실시예에 따라 ISP 고유의 렌즈 셰이딩 보상 파라미터로 변환하기 위한 중심영역 대비 주변영역의 밝기(휘도)값, 중심영역 대비 주변영역의 색감값 및 광축 좌표값(centerX, centerY)을 포함하는 테이블을 말한다. 예를 들어, S110은 카메라 모듈이 제작되고나서 출고 전에 시행될 수 있다. 그런 다음, 카메라 모듈이 정상적으로 동작된다면(S120), 피사체를 촬영하여 이미지 데이터를 획득한다(S130). 획득된 이미지를 이미지 신호 처리부에서 저장된 렌즈 셰이딩 보상(LSC) 게인 테이블을 이용하여 렌즈 셰이딩 보상처리한다(S140). 다음으로, 렌즈 셰이딩 보상처리를 통하여 보정된 이미지 데이터를 출력한다(S150). 보정된 이미지 데이터를 디스플레이를 통하여 출력할 수 있다.Referring to FIG. 2, each pixel generates and stores a lens shading compensation (LSC) gain table for a standard image input having a uniform brightness value (S110). Herein, the lens shading compensation (LSC) gain table is a brightness (luminance) value of the peripheral area relative to the center area, the color value of the peripheral area relative to the center area, and the optical axis coordinates for converting into an ISP-specific lens shading compensation parameter according to the present embodiment. Refers to a table containing values (centerX, centerY). For example, S110 may be implemented before leaving the factory after the camera module is manufactured. Then, if the camera module is normally operated (S120), the subject is photographed to obtain image data (S130). The obtained image is subjected to lens shading compensation by using the lens shading compensation (LSC) gain table stored in the image signal processor (S140). Next, the corrected image data is output through the lens shading compensation process (S150). The corrected image data can be output through the display.

도 3은 본 실시예에 따라 렌즈 셰이딩 보상(LSC) 게인 테이블을 생성하는 방법을 설명하는 순서도이다.3 is a flowchart illustrating a method of generating a lens shading compensation (LSC) gain table according to the present embodiment.

도 3을 참조하면, 전체 픽셀을 공간적으로 중심영역 및 주변영역으로 나눈 후, 중심영역 대비 주변영역의 밝기(휘도)값을 계산한다(S111).Referring to FIG. 3, after dividing an entire pixel into a central area and a peripheral area, a brightness (luminance) value of the peripheral area is compared to the central area (S111).

도 4는 본 실시예에 따라 전체 픽셀들을 중심영역 및 주변영역으로 나눈 일 예를 보여주는 도면이다. 도 4를 참조하면, 전체 픽셀을 중심영역(250)과 주변영역(210,220,230,240)으로 나눈다. 중심영역(250)은 전체 픽셀의 중심부를 말하고, 주변영역(210,220,230,240)은 전체 픽셀의 각 모서리를 중심으로 소정의 일정한 영역을 말한다. 여기서, 주변영역(210)은 1영역, 주변영역(220)은 2영역, 주변영역(230)은3영역 및 주변영역(240)은 4영역으로 나타낼 수 있다.4 is a diagram illustrating an example in which all pixels are divided into a center area and a peripheral area according to the present embodiment. Referring to FIG. 4, all pixels are divided into a central region 250 and a peripheral region 210, 220, 230, and 240. The central area 250 refers to the center of the entire pixel, and the peripheral areas 210, 220, 230, and 240 refer to a predetermined constant area around each corner of the entire pixel. Here, the peripheral area 210 may be represented by one area, the peripheral area 220 by two areas, the peripheral area 230 by three areas, and the peripheral area 240 by four areas.

전체 픽셀을 중심영역(250) 및 주변영역(210,220,230,240)으로 나눈 후, 중심영역(250) 대비 주변영역(210,220,230,240)의 밝기(휘도)값을 계산하는 식은 다음 수학식 1과 같다.After dividing the entire pixel into the central region 250 and the peripheral regions 210, 220, 230, and 240, an equation for calculating the brightness (luminance) value of the peripheral regions 210, 220, 230, and 240 compared to the central region 250 is shown in Equation 1 below.

Figure 112009075539002-PAT00001
Figure 112009075539002-PAT00001

여기서, Yc는 중심영역(250)의 밝기값, Y(n)은 주변영역(210,220,230,240)인 n영역의 밝기값의 평균값 및 Sy(n)은 중심영역(250) 대비 주변영역(210,220,230,240)의 밝기(휘도)값을 나타낸다.Here, Yc is the brightness value of the center area 250, Y (n) is the average value of the brightness value of the n area that is the peripheral area (210, 220, 230, 240) and Sy (n) is the brightness of the peripheral area (210, 220, 230, 240) compared to the center area 250 The (luminance) value is shown.

다시 도 3을 참조하면, 중심영역(250) 대비 주변영역(210,220,230,240)의 색감값을 계산한다(S112). 중심영역(250) 대비 주변영역(210,220,230,240)의 색감값을 계산하는 식은 다음 수학식 2 및 수학식 3과 같다.Referring to FIG. 3 again, color values of the peripheral areas 210, 220, 230, and 240 are calculated in comparison with the central area 250 (S112). Equations for calculating color values of the peripheral areas 210, 220, 230, and 240 compared to the central area 250 are shown in Equations 2 and 3 below.

Figure 112009075539002-PAT00002
Figure 112009075539002-PAT00002

여기서, Gc는 중심영역(250)의 그린값, G(n)는 n영역의 그린값 평균, Rc는 중심영역(250)의 레드값, R(n)는 n영역의 레드값 평균 및 Srg(n)은 중심영역(250) 대비 주변영역(210,220,230,240)의 레드값을 나타낸다.Where Gc is the green value of the center region 250, G (n) is the green value average of the n region, Rc is the red value of the center region 250, and R (n) is the red value average of the n region and Srg ( n) represents red values of the peripheral areas 210, 220, 230, and 240 compared to the central area 250.

본 실시예에서 그린값, 레드값 및 블루값은 그린(green), 레드(red) 및 블루(blue)에 관한 게인 등의 정보를 의미할 수 있다.In the present embodiment, the green value, the red value, and the blue value may refer to information such as gain regarding green, red, and blue.

Figure 112009075539002-PAT00003
Figure 112009075539002-PAT00003

여기서, Bc는 중심영역(250)의 블루값, B(n)는 n영역의 블루값 평균 및 Sbg(n)은 중심영역(250) 대비 주변영역(210,220,230,240)의 블루값을 나타낸다.Here, Bc represents a blue value of the central region 250, B (n) represents an average of blue values of the n region, and Sbg (n) represents a blue value of the peripheral regions 210, 220, 230, and 240 compared to the central region 250.

그런 다음, 표준 영상의 광축 좌표값를 획득한다(S113). 구체적으로, 가로 선 및 세로선을 포함하는 픽셀들의 밝기 평균값을 구하고 나서 다음 수학식 4 및 수학식 5에 따라 각각 가로 중심 및 세로 중심을 구하여 광축 좌표값(centerX, centerY)을 획득한다.Then, the optical axis coordinate value of the standard image is obtained (S113). Specifically, the brightness average value of the pixels including the horizontal line and the vertical line is obtained, and then the horizontal center and the vertical center are obtained according to Equations 4 and 5, respectively, to obtain optical axis coordinate values centerX and centerY.

Figure 112009075539002-PAT00004
Figure 112009075539002-PAT00004

Figure 112009075539002-PAT00005
Figure 112009075539002-PAT00005

여기서, centerX는 가로 중심값, centerY는 세로 중심값, x는 이미지의 가로 축 좌표값, y는 이미지의 세로 축 좌표값, D(x,y)는 x,y위치의 픽셀의 밝기값, W는 이미지 가로 길이 및 H는 이미지 세로 길이를 나타낸다.Where centerX is the horizontal center value, centerY is the vertical center value, x is the horizontal axis coordinate value of the image, y is the vertical axis coordinate value of the image, and D (x, y) is the brightness value of the pixel at x, y position, W Is the image width and H is the image height.

도 5 및 도 6은 본 실시예에 따라 광축 좌표값(centerX, centerY)을 획득하는 방법을 보여주는 그래프이다.5 and 6 are graphs showing a method of obtaining optical axis coordinate values centerX and centerY according to the present embodiment.

도 5를 참조하면, 전체 픽셀에서 가로선(310a)에 해당되는 픽셀들의 밝기 평균값(310b)을 전체 픽셀에서 가로선(310a)이 해당되는 y좌표에 표시하고, 가로선(320a)에 해당되는 픽셀들의 밝기 평균값(320b)을 전체 픽셀에서 가로선(320a)이 해당되는 y좌표에 표시하는 방식으로 전체 픽셀에 대해 수행하면 centerY에서 밝기 평균값의 피크값이 나타난다.Referring to FIG. 5, the brightness average value 310b of pixels corresponding to the horizontal line 310a in all pixels is displayed at the y coordinate corresponding to the horizontal line 310a in all pixels, and the brightness of the pixels corresponding to the horizontal line 320a is displayed. When the average value 320b is performed on all pixels in such a manner that horizontal lines 320a are displayed on the corresponding y-coordinates in all pixels, the peak value of the brightness average value appears at centerY.

도 6을 참조하면, 전체 픽셀에서 세로선(410a)에 해당되는 픽셀들의 밝기 평균값(410b)을 전체 픽셀에서 세로선(410a)이 해당되는 x좌표에 표시하고, 세로선(420a)에 해당되는 픽셀들의 밝기 평균값(420b)을 전체 픽셀에서 세로선(420a)이 해당되는 x좌표에 표시하는 방식으로 전체 픽셀에 대해 수행하면 centerX에서 밝기 평균값의 피크값이 나타난다.Referring to FIG. 6, the brightness average value 410b of pixels corresponding to the vertical line 410a in all pixels is displayed at the x coordinate corresponding to the vertical line 410a in all pixels, and the brightness of the pixels corresponding to the vertical line 420a. When the average value 420b is performed on all pixels in such a manner that the vertical lines 420a are displayed on the corresponding x coordinates in all pixels, the peak value of the brightness average value appears at centerX.

이미지 신호 처리부에서는 메모리에 저장된 LSC 게인 테이블의 중심영역 대비 주변영역의 밝기(휘도)값, 중심영역 대비 주변영역의 색감값 및 광축 좌표값(centerX, centerY)을 이용하여 ISP 고유의 렌즈 셰이딩 보상 파라미터로 변환한 후 이용한다. 예를 들어, 이미지 신호 처리부에서 본 실시예에 따른 광축 좌표값(centerX, centerY)는 이미지에서 가장 밝은 부분에 대한 렌즈 셰이딩 보상 파라미터로 변환하고, 중심영역 대비 주변영역의 밝기(휘도)값은 주변영역의 밝기 게인에 대한 렌즈 셰이딩 보상 파라미터로 변환하며, 중심영역 대비 주변영역의 색감값은 주변영역의 컬러 게인에 대한 렌즈 셰이딩 보상 파라미터로 변환한 후, 각각의 렌즈 셰이딩 보상 파라미터를 이용하여 렌즈 셰이딩 보상을 처리한다.The image signal processor uses an ISP-specific lens shading compensation parameter by using the brightness (luminance) value of the peripheral area relative to the center area of the LSC gain table stored in the memory, the color value of the peripheral area relative to the center area, and the optical axis coordinate values (centerX, centerY). Use after converting to. For example, in the image signal processing unit, the optical axis coordinate values centerX and centerY are converted into lens shading compensation parameters for the brightest part of the image, and the brightness (luminance) value of the peripheral area relative to the center area is determined by the peripheral area. It is converted into the lens shading compensation parameter for the brightness gain of the area, and the color value of the peripheral area relative to the center area is converted to the lens shading compensation parameter for the color gain of the peripheral area, and then lens shading is performed using the respective lens shading compensation parameters. Handle the reward.

도 7은 본 실시예에 따른 렌즈 셰이딩 보상을 수행하는 카메라 모듈을 포함하는 영상시스템을 나타내는 블록도이다.7 is a block diagram illustrating an imaging system including a camera module for performing lens shading compensation according to the present embodiment.

도 7을 참조하면, 영상시스템(10)은 카메라 모듈(500) 및 디스플레이(600)를 포함하고, 카메라 모듈(500)은 렌즈부(510), 이미지 센서부(520), LSC 게인 테이블 생성부(530), 메모리(540), 이미지 신호 처리부(550)를 포함한다.Referring to FIG. 7, the imaging system 10 includes a camera module 500 and a display 600, and the camera module 500 includes a lens unit 510, an image sensor unit 520, and an LSC gain table generation unit. 530, a memory 540, and an image signal processor 550.

렌즈부(510)는 다수의 렌즈를 포함하여 피사체의 광 이미지를 입사 받는다. 이미지 센서부(520)는 렌즈부(510)로부터 입사받은 광 이미지를 전기적 신호인 원본 영상 데이터로 변환하여 영상 시스템에서 처리가능하게 한다. 여기서, 원본 영상 데이터는 로 데이터(raw data)를 의미하고, 빛의 강약에 따른 전기적 신호의 변화만이 기록된 정보이다. The lens unit 510 receives a light image of a subject including a plurality of lenses. The image sensor unit 520 converts the optical image incident from the lens unit 510 into original image data, which is an electrical signal, to be processed in an imaging system. Here, the original image data means raw data, and only the change of the electrical signal according to the intensity of light is recorded.

LSC 게인 테이블 생성부(530)는 본 실시예에 따라 균일한 밝기를 가진 표준 영상 입력에 대하여 획득된 영상 데이터로부터 렌즈 셰이딩 보상(LSC) 게인 테이블을 생성한다. 예를 들어, 중심영역 대비 주변영역의 밝기(휘도)값, 중심영역 대비 주변영역의 색감값 및 광축 좌표값(centerX, centerY)을 포함하는 테이블을 생성한다.The LSC gain table generator 530 generates a lens shading compensation (LSC) gain table from image data acquired for a standard image input having uniform brightness according to the present embodiment. For example, a table including a brightness (luminance) value of the peripheral area relative to the center area, a color value of the peripheral area relative to the center area, and an optical axis coordinate value (centerX, centerY) is generated.

메모리(540)는 LSC 게인 테이블 생성부(530)에서 생성된 렌즈 셰이딩 보상(LSC) 게인 테이블 및 이하에서 설명되는 이미지 신호 처리부(550)에서 처리된 영상 데이터를 인코더를 거쳐 인코딩된 압축 영상 데이터를 저장한다. The memory 540 stores the lens shading compensation (LSC) gain table generated by the LSC gain table generator 530 and the compressed image data encoded by the image data processed by the image signal processor 550 described below through an encoder. Save it.

이미지 신호 처리부(550)는 메모리(540)에 저장된 렌즈 셰이딩 보상(LSC) 게 인 테이블을 이용하여 이미지 센서부(520)로부터 입력받은 원본 영상 데이터를 미리 설정된 기준에 따라 렌즈 셰이딩 보상처리한다. 이미지 신호 처리부(550)는 메모리(540)에 저장된 LSC 게인 테이블의 중심영역 대비 주변영역의 밝기(휘도)값, 중심영역 대비 주변영역의 색감값 및 광축 좌표값(centerX, centerY)를 이용하여 이미지 신호 처리부 고유의 렌즈 셰이딩 보상 파라미터로 변환한 후 이용한다. 그밖에, 이미지 신호 처리부(550)는 적합 컬러 보간(Adaptive Color Interpolation), 컬러 보정(Color Correction), 감마 제어(GAMMA Control), 색상/게인 제어(Hue/Gain Control), 영상 효과(Image Effect), 자동 노출(Auto Exposure), 자동 화이트 밸런스(Auto White Balance), 역광 보정 등을 처리할 수 있다.The image signal processing unit 550 performs lens shading compensation processing on the original image data received from the image sensor unit 520 using a lens shading compensation (LSC) gain table stored in the memory 540 according to a preset reference. The image signal processor 550 uses the brightness (luminance) value of the peripheral area relative to the center area of the LSC gain table stored in the memory 540, the color value of the peripheral area relative to the center area, and the optical axis coordinate values (centerX, centerY). It is used after converting the lens shading compensation parameter unique to the signal processor. In addition, the image signal processor 550 may include adaptive color interpolation, color correction, gamma control, color / gain control, image effect, It can handle Auto Exposure, Auto White Balance, Backlight Compensation, and more.

디스플레이(600)는 메모리(540)에 저장된 영상 데이터를 읽어서 화면에 출력한다. 디스플레이(600)는 액정 디스플레이(LCD) 또는 유기 발광 소자 디바이스(OLED) 등이 될 수 있다. 이러한 영상 시스템은 휴대용 전화기에 탑재될 수 있다. The display 600 reads image data stored in the memory 540 and outputs the image data to the screen. The display 600 may be a liquid crystal display (LCD) or an organic light emitting device (OLED) or the like. Such an imaging system may be mounted in a portable telephone.

본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래 스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터,데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.The term '~ part' used in the present embodiment refers to software or a hardware component such as a field-programmable gate array (FPGA) or an ASIC, and '~ part' performs certain roles. However, '~' is not meant to be limited to software or hardware. '~ Portion' may be configured to be in an addressable storage medium or may be configured to play one or more processors. Thus, as an example, '~' means components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, procedures. , Subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. The functionality provided within the components and the 'parts' may be combined into a smaller number of components and the 'parts' or further separated into additional components and the 'parts'. In addition, the components and '~' may be implemented to play one or more CPUs in the device or secure multimedia card.

상술한 모든 기능은 상기 기능을 수행하도록 코딩된 소프트웨어나 프로그램 코드 등에 따른 마이크로프로세서, 제어기, 마이크로제어기, ASIC(Application Specific Integrated Circuit) 등과 같은 프로세서에 의해 수행될 수 있다. 상기 코드의 설계, 개발 및 구현은 본 발명의 설명에 기초하여 당업자에게 자명하다고 할 것이다.All of the above functions may be performed by a processor such as a microprocessor, a controller, a microcontroller, an application specific integrated circuit (ASIC), or the like according to software or program code coded to perform the function. The design, development and implementation of the code will be apparent to those skilled in the art based on the description of the present invention.

이상 본 발명에 대하여 실시예를 참조하여 설명하였지만, 해당 기술 분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시켜 실시할 수 있음을 이해할 수 있을 것이다. 따라서, 상술한 실시예에 한정되지 않고, 본 발명은 이하의 특허청구범위의 범위 내의 모든 실시예들을 포함한다고 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit and scope of the invention. You will understand. Therefore, it is not intended that the invention be limited to the above-described embodiments, but the present invention will include all embodiments within the scope of the following claims.

도 1은 렌즈 셰이딩 보상 전/후의 밝기 상태를 나타내는 도면이다.1 is a diagram illustrating brightness states before and after lens shading compensation.

도 2는 본 실시예에 따른 렌즈 셰이딩 보상 방법을 나타내는 순서도이다.2 is a flowchart illustrating a lens shading compensation method according to the present embodiment.

도 3은 본 실시예에 따라 렌즈 셰이딩 보상(LSC) 게인 테이블을 생성하는 방법을 설명하는 순서도이다.3 is a flowchart illustrating a method of generating a lens shading compensation (LSC) gain table according to the present embodiment.

도 4는 본 실시예에 따라 전체 픽셀들을 중심영역 및 주변영역으로 나눈 일 예를 보여주는 도면이다.4 is a diagram illustrating an example in which all pixels are divided into a center area and a peripheral area according to the present embodiment.

도 5 및 도 6은 본 실시예에 따라 광축 좌표값을 획득하는 방법을 보여주는 그래프이다.5 and 6 are graphs illustrating a method of obtaining optical axis coordinate values according to the present embodiment.

도 7은 본 실시예에 따른 렌즈 셰이딩 보상을 수행하는 카메라 모듈을 포함하는 영상시스템을 나타내는 블록도이다.7 is a block diagram illustrating an imaging system including a camera module for performing lens shading compensation according to the present embodiment.

<도면 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

10: 영상 시스템 500: 카메라 모듈10: imaging system 500: camera module

510: 렌즈부 520: 이미지 센서부510: lens unit 520: image sensor unit

530: LSC 게인 테이블 생성부 540: 메모리530: LSC gain table generator 540: memory

550: 이미지 신호 처리부 600: 디스플레이550: image signal processing unit 600: display

Claims (8)

다수의 렌즈를 포함하는 렌즈부로부터 광 이미지를 입사 받아 이미지 센서에서 전기적 신호인 영상 데이터로 변환하고 상기 영상 데이터를 이미지 신호 처리부에서 렌즈 셰이딩 보상(lens shading correction)하는 방법에 있어서,A method of receiving an optical image from a lens unit including a plurality of lenses, converting the optical image into image data, which is an electrical signal in an image sensor, and lens shading correction in the image signal processor, 각 픽셀들이 균일한 밝기값을 가진 표준 영상 입력에 대하여 전체 픽셀들의 중심부인 중심영역 대비 상기 전체 픽셀들의 각 모서리를 중심으로 소정의 일정한 영역인 주변영역의 밝기값, 상기 중심영역 대비 상기 주변영역의 색감값 및 광축 좌표값(centerX, centerY)을 획득하여 저장하는 단계;The brightness value of the peripheral area, which is a predetermined constant area around each corner of the whole pixels, with respect to the standard image input with each pixel having a uniform brightness value, and the brightness value of the peripheral area relative to the center area. Obtaining and storing color values and optical axis coordinate values centerX and centerY; 상기 중심영역 대비 상기 주변영역의 밝기값, 상기 중심영역 대비 상기 주변영역의 색감값 및 상기 광축 좌표값(centerX, centerY)을 렌즈 셰이딩 보상 파라미터(parameter)로 변환하는 단계; 및Converting a brightness value of the peripheral area relative to the center area, a color value of the peripheral area relative to the center area, and the optical axis coordinate values (centerX, centerY) into lens shading compensation parameters; And 상기 렌즈 셰이딩 보상 파라미터를 이용하여 상기 영상 데이터를 렌즈 셰이딩 보상하는 단계를 포함하는 렌즈 셰이딩 보상방법.And lens shading compensating the image data using the lens shading compensation parameter. 제 1 항에 있어서,The method of claim 1, 상기 중심영역 대비 상기 주변영역의 밝기값은
Figure 112009075539002-PAT00006
를 이용하여 획득하는 렌즈 셰이딩 보상방법.The brightness value of the peripheral area relative to the central area is
Figure 112009075539002-PAT00006
Lens shading compensation method obtained by using. 여기서, 여기서, Yc는 중심영역의 밝기값, Y(n)은 주변영역인 n영역의 밝기 값의 평균값 및 Sy(n)은 중심영역 대비 주변영역의 밝기값을 나타냄.Here, Yc is the brightness value of the center area, Y (n) is the average value of the brightness values of the n area which is the peripheral area, and Sy (n) is the brightness value of the peripheral area compared to the center area. 제 1 항에 있어서,The method of claim 1, 상기 중심영역 대비 상기 주변영역의 색감값은 상기 중심영역 대비 상기 주변영역의 레드값 및 상기 중심영역 대비 상기 주변영역의 블루값인 렌즈 셰이딩 보상방법.And a color value of the peripheral area relative to the central area is a red value of the peripheral area relative to the central area and a blue value of the peripheral area relative to the central area. 제 3 항에 있어서,The method of claim 3, wherein 상기 중심영역 대비 상기 주변영역의 레드값은
Figure 112009075539002-PAT00007
를 이용하여 획득하는 렌즈 셰이딩 보상방법.The red value of the peripheral area compared to the central area is
Figure 112009075539002-PAT00007
Lens shading compensation method obtained by using. 여기서, Gc는 중심영역의 그린값, G(n)는 n영역의 그린값 평균, Rc는 중심영역의 레드값, R(n)는 n영역의 레드값 평균 및 Srg(n)은 중심영역 대비 주변영역의 레드값을 나타냄.Where Gc is the green value of the center area, G (n) is the green value mean of the n area, Rc is the red value of the center area, R (n) is the red value average of the n area, and Srg (n) is compared to the center area. Red value of the surrounding area. 제 3 항에 있어서,The method of claim 3, wherein 상기 중심영역 대비 상기 주변영역의 블루값은
Figure 112009075539002-PAT00008
를 이용하여 획득하는 렌즈 셰이딩 보상방법.The blue value of the peripheral area relative to the central area is
Figure 112009075539002-PAT00008
Lens shading compensation method obtained by using. 여기서, Gc는 중심영역의 그린값, G(n)는 n영역의 그린값 평균, Bc는 중심영역의 블루값, B(n)는 n영역의 블루값 평균 및 Sbg(n)은 중심영역 대비 주변영역의 블루값을 나타냄.Where Gc is the green value of the center region, G (n) is the green value average of the n region, Bc is the blue value of the center region, B (n) is the blue value average of the n region, and Sbg (n) is compared to the center region. The blue value of the surrounding area. 제 1 항에 있어서,The method of claim 1, 상기 광축 좌표값(centerX, centerY)은 상기 전체 픽셀들의 각각의 가로선 및 세로선에 포함된 픽셀들의 밝기 평균값을 이용하여 획득하는 렌즈 셰이딩 보상방법.And the optical axis coordinate values (centerX, centerY) are obtained by using brightness average values of pixels included in each of the horizontal and vertical lines of all the pixels. 제 6 항에 있어서,The method of claim 6, 상기 centerX는
Figure 112009075539002-PAT00009
를 이용하여 획득하는 렌즈 셰이딩 보상방법.CenterX is
Figure 112009075539002-PAT00009
Lens shading compensation method obtained by using. 여기서, centerX는 가로 중심값, x는 이미지의 가로 축 좌표값, D(x,y)는 x,y위치의 픽셀의 밝기값 및 H는 이미지 세로 길이를 나타냄.Where centerX is the horizontal center value, x is the horizontal axis coordinate value of the image, D (x, y) is the brightness value of the pixel at x, y position, and H is the image length. 제 6 항에 있어서,The method of claim 6, 상기 centerY는
Figure 112009075539002-PAT00010
를 이용하여 획득하는 렌즈 셰이딩 보상방법.CenterY is
Figure 112009075539002-PAT00010
Lens shading compensation method obtained by using. 여기서, centerY는 세로 중심값, y는 이미지의 세로 축 좌표값, D(x,y)는 x,y위치의 픽셀의 밝기값, 및 W는 이미지 가로 길이를 나타냄.Where centerY is the vertical center value, y is the vertical axis coordinate value of the image, D (x, y) is the brightness value of the pixel at x, y position, and W is the image width length.
KR1020090120829A 2009-12-07 2009-12-07 Lens shading correction method KR20110064306A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090120829A KR20110064306A (en) 2009-12-07 2009-12-07 Lens shading correction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090120829A KR20110064306A (en) 2009-12-07 2009-12-07 Lens shading correction method

Publications (1)

Publication Number Publication Date
KR20110064306A true KR20110064306A (en) 2011-06-15

Family

ID=44397766

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090120829A KR20110064306A (en) 2009-12-07 2009-12-07 Lens shading correction method

Country Status (1)

Country Link
KR (1) KR20110064306A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101467909B1 (en) * 2013-07-17 2014-12-02 (주)탑중앙연구소 System for testing camera module lens uniformity and method for testing camera module lens uniformity using the same
US9386243B2 (en) 2013-12-27 2016-07-05 Samsung Electronics Co., Ltd. Lens shading correction method and image signal processing device and image sensor system employing the method
CN112929623A (en) * 2021-03-02 2021-06-08 卡莱特云科技股份有限公司 Lens shadow repairing method and device applied to whole screen in correction process

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101467909B1 (en) * 2013-07-17 2014-12-02 (주)탑중앙연구소 System for testing camera module lens uniformity and method for testing camera module lens uniformity using the same
US9386243B2 (en) 2013-12-27 2016-07-05 Samsung Electronics Co., Ltd. Lens shading correction method and image signal processing device and image sensor system employing the method
CN112929623A (en) * 2021-03-02 2021-06-08 卡莱特云科技股份有限公司 Lens shadow repairing method and device applied to whole screen in correction process
CN112929623B (en) * 2021-03-02 2022-09-23 卡莱特云科技股份有限公司 Lens shadow repairing method and device applied to whole screen in correction process

Similar Documents

Publication Publication Date Title
US11270663B2 (en) Method for detecting compensation parameters of brightness, method for compensating brightness, detection device for detecting compensation parameters of brightness, brightness compensation device, display device, and non-volatile storage medium
JP6559795B2 (en) Display unevenness correction method, apparatus, and system
US8106976B2 (en) Peripheral light amount correction apparatus, peripheral light amount correction method, electronic information device, control program and readable recording medium
JP5054184B2 (en) Lens shading compensation method with autofocus camera module
KR100843089B1 (en) Apparatus and method for improving visibility for images
US7916191B2 (en) Image processing apparatus, method, program, and recording medium
CN112202986B (en) Image processing method, image processing apparatus, readable medium and electronic device thereof
US8922681B2 (en) Image processing device that performs image processing to correct target pixels in a region surrounding a defective pixel
WO2014148074A1 (en) Restoration filter generation device and method, image processing device and method, image capturing apparatus, program, and recording medium
CN111885312B (en) HDR image imaging method, system, electronic device and storage medium
TW201325221A (en) Mobile device having wide-angle capturing image function and image capturing method thereof
US20210390658A1 (en) Image processing apparatus and method
JP2011077825A (en) Display device, display system, display method and program
JP2012204856A (en) Image processing method and camera module
KR20110064306A (en) Lens shading correction method
KR20110072213A (en) Image correction method
KR101613528B1 (en) image compensating method
US11122188B1 (en) Image noise reduction device and method thereof
US20070024718A1 (en) Image capturing device and image adjusting method thereof
WO2011141972A1 (en) Luminosity correction device, luminosity correction system, and luminosity correction method
US7356199B2 (en) Mobile communication terminal equipped with camera having image distortion compensation function
CN111903121A (en) Information processing apparatus, information processing method, and program
KR101065223B1 (en) Image sensor and method for correcting lense shading
JP2009188624A (en) Image processor and electronic camera, and allowable value setting method
KR20120012632A (en) Camera module, method for correcting lens shading thereof and device having thereof

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid