KR20100001807A - Image processing apparatus and method - Google Patents

Image processing apparatus and method Download PDF

Info

Publication number
KR20100001807A
KR20100001807A KR1020080061877A KR20080061877A KR20100001807A KR 20100001807 A KR20100001807 A KR 20100001807A KR 1020080061877 A KR1020080061877 A KR 1020080061877A KR 20080061877 A KR20080061877 A KR 20080061877A KR 20100001807 A KR20100001807 A KR 20100001807A
Authority
KR
South Korea
Prior art keywords
light source
lens shading
gain
shading correction
white balance
Prior art date
Application number
KR1020080061877A
Other languages
Korean (ko)
Inventor
이춘복
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020080061877A priority Critical patent/KR20100001807A/en
Publication of KR20100001807A publication Critical patent/KR20100001807A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

PURPOSE: An image processing device and a method thereof for adjusting image gain according to the applied light source are provided to minimize a white balance deviation which occurs after modifying lens shading according to the kind of light source used in the image in a lens shading correction process. CONSTITUTION: A gain storing unit(17) stores lens shading correction gain and white balance gain preset according to the properties of each light source. A light source determining unit(16) determines the light source properties of each photographed input image. A lens shading corrector(14) applies the lens shading correction gain corresponding to the light source properties of the inputted image with reference to the gain storing unit. A white balance unit(15) applies the white balance gain to the same inputted image which received the lens shading correction gain.

Description

이미지 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}Image Processing Apparatus and Method {IMAGE PROCESSING APPARATUS AND METHOD}

본 발명의 이미지 처리 장치 및 방법에 관한 것으로, 더욱 상세하게는 이미지가 촬상된 광원의 종류에 따라 서로 다른 이득으로 렌즈 쉐이딩을 수정함으로써 더욱 정확한 화이트밸런스를 수행하여 우수한 품질의 이미지를 획득할 수 있는 이미지 처리 장치 및 방법에 관한 것이다.The present invention relates to an image processing apparatus and method, and more particularly, to correct lens shading with different gains according to the type of light source in which an image is captured, thereby performing more accurate white balance to obtain an image of superior quality. An image processing apparatus and method are disclosed.

디지털 컨버전스의 확산에 따라 휴대폰과 같은 모바일 단말기에 디지털 카메라 기능을 이식하는 것은 매우 일반적인 기술이 되었다. 특히, 모바일 단말기의 소형화 및 경량화의 요구가 증가함에 따라 모바일 단말기에 포함되는 카메라 모듈에 대해서도 소형화가 요구되고 있다. 이에 따라 카메라 모듈에 포함되는 CCD 또는 CMOS와 같은 이미지 센서의 사이즈가 작아져야 함을 물론이고, 빛을 모으기 위한 렌즈의 사이즈의 소형화도 매우 중요한 문제가 되고 있다. 이러한 렌즈 사이즈 소형화에 따라 렌즈의 구경이 소형화 될수록 렌즈의 영역에 따른 빛의 투과율을 일정하게 유지하는 것이 어려운 문제가 되며, 이에 따라 이미지 중심 부분으로부터 가장자리로 근접할수록 이미지가 어두워 지는 렌즈 쉐이딩(shading) 현상이 발생하게 된다.With the proliferation of digital convergence, porting digital camera functions to mobile terminals such as cell phones has become a very common technique. In particular, as the demand for miniaturization and lightening of mobile terminals increases, miniaturization of camera modules included in mobile terminals is required. Accordingly, the size of an image sensor such as a CCD or a CMOS included in a camera module should be reduced, and the size reduction of a lens for collecting light has become a very important problem. As the lens size becomes smaller, it becomes more difficult to maintain a constant light transmittance according to the lens area as the lens size becomes smaller. Accordingly, the lens shading becomes darker as the lens gets closer to the edge from the center of the image. The phenomenon occurs.

한편 사람의 눈은 서로 다른 색온도를 갖는 광원 하에서 백색을 항상 동일한 백색으로 인식한다. 즉, 사람의 눈은 백열등 하에서 인식한 백색과 형광등 하에서 인식한 백색을 동일한 백색으로 인식한다. 그러나, 이미지 센서를 이용한 디지털 카메라가 서로 다른 색온도를 갖는 광원에서 촬상한 백색 이미지는 서로 다른 색상을 나타내게 된다. 이러한 디지털 카메라가 갖는 백색 검출 결과를 사람의 눈이 인식한 것과 동일하게 수정하는 이미지 처리 과정이 화이트밸런스 처리 과정이다.On the other hand, the human eye always recognizes white as the same white under light sources having different color temperatures. That is, the human eye recognizes white recognized under incandescent light and white recognized under fluorescent light as the same white color. However, a white image captured by a digital camera using an image sensor from light sources having different color temperatures may display different colors. An image processing process of correcting the white detection result of the digital camera in the same way as the human eye recognizes is a white balance process.

전술한 것과 같이, 이미지 센서 등으로부터 획득된 디지털 이미지를 처리하는 과정에서 렌즈 쉐이딩 수정 과정과 화이트밸런스 처리 과정을 우수한 품질의 이미지를 생성하기 위해 반드시 수반되는 이미지 처리 과정이다.As described above, in the process of processing the digital image obtained from the image sensor or the like, the lens shading correction process and the white balance process are necessarily image processing processes that are necessary to generate an image of high quality.

이와 같은 이미지 처리 과정에서, 종래의 렌즈 쉐이딩 수정 과정은 하나의 광원에서 측정된 기준 이미지를 참고하여 렌즈 쉐이딩 수정을 위한 이득을 결정하여 사용하였다. 예를 들어, 주광 하에서 기준 이미지를 촬상하고 촬상된 기준 이미지로부터 렌즈의 쉐이딩 분포를 검출한 후, 검출된 렌즈 쉐이딩 분포를 수정할 수 있는 색상 이득을 산출하였다. 이어, 하나의 광원에서 결정된 렌즈 쉐이딩 수정 이득을 먼저 이미지에 적용한 후, 다시 현재 사용된 광원에 적절한 화이트밸런스 이득을 렌즈 쉐이딩이 수정된 이미지에 적용하여 화이트밸런스를 수행하였다. 예를 들어, 렌즈 쉐이딩 수정 이득은 전술한 것과 같이 주광 조건하에서 검출한 이득을 사용하고, 현재 촬상 조건이 형광등인 경우 형광등 조건하에 적절한 화이트밸런스 이득을 이미지에 적용하였다. 즉, 종래에는 렌즈 쉐이딩을 수정하기 위한 이득과 화이트밸런스를 위한 이득이 적용되는 광원 조건이 서로 상이하게 되는 현상이 발생하게 된다. 이로 인해 종래에는 화이트밸런스를 수행하더라도 렌즈 쉐이딩 수정이 적절하게 이루어지지 못하여 화이트밸런스가 틀어진 영상을 출력하게 되는 등의 문제가 발생한다.In such an image processing process, the conventional lens shading correction process is used to determine a gain for lens shading correction by referring to a reference image measured by one light source. For example, after imaging the reference image under daylight and detecting the shading distribution of the lens from the captured reference image, a color gain that can correct the detected lens shading distribution is calculated. Subsequently, the lens shading correction gain determined by one light source is first applied to the image, and then white balance is performed by applying the white balance gain appropriate to the currently used light source to the image in which the lens shading is corrected. For example, the lens shading correction gain uses the gain detected under daylight conditions as described above, and when the current imaging condition is a fluorescent lamp, an appropriate white balance gain is applied to the image under fluorescent lamp conditions. That is, in the related art, a phenomenon in which a light source condition to which a gain for correcting lens shading and a gain for white balance are applied is different from each other occurs. For this reason, conventionally, even when the white balance is performed, the lens shading correction is not performed properly, resulting in a problem such as outputting an image in which the white balance is distorted.

본 발명은 렌즈 쉐이딩 수정 과정에서 처리되는 이미지에 사용된 광원의 종류에 적절한 렌즈 쉐이딩 수정이 가능하게 함으로써 이후 수행되는 화이트밸런스와의 편차를 최소화할 수 있는 이미지 처리 장치 및 방법을 제공하는 것을 기술적 과제로 한다.The present invention provides an image processing apparatus and method capable of minimizing a deviation from a white balance to be performed later by enabling lens shading correction appropriate to the type of light source used in an image processed in the lens shading correction process. Shall be.

상기 기술적 과제를 해결하기 위한 수단으로서 본 발명은,The present invention as a means for solving the above technical problem,

복수의 광원 조건 각각에 대해 사전 결정된 복수의 렌즈 쉐이딩 수정 이득 및 복수의 화이트밸런스 이득을 저장하는 이득 저장부;A gain storage unit for storing a plurality of lens shading correction gains and a plurality of white balance gains predetermined for each of the plurality of light source conditions;

입력 이미지가 촬상된 광원 조건을 결정하는 광원 판단부;A light source determination unit determining a light source condition in which the input image is captured;

상기 이득 저장부에 저장된, 상기 광원 판단부에 의해 결정된 광원 조건에 대한 렌즈 쉐이딩 수정 이득을 상기 입력 이미지에 적용하는 렌즈 쉐이딩 수정부; 및A lens shading correction unit for applying a lens shading correction gain for the light source condition determined by the light source determination unit, stored in the gain storage unit, to the input image; And

상기 렌즈 쉐이딩 수정부에서 적용한 렌즈 쉐이딩 수정 이득에 해당하는 광원 조건과 동일한 광원 조건의 화이트밸런스 이득을 상기 렌즈 쉐이딩 수정 이득이 적용된 입력 이미지에 적용하는 화이트밸런스부A white balance unit that applies a white balance gain of the same light source condition as that of the lens shading correction gain applied by the lens shading correction unit to the input image to which the lens shading correction gain is applied.

를 포함하는 이미지 처리 장치를 제공한다.It provides an image processing apparatus comprising a.

본 발명의 바람직한 실시형태에서, 상기 이득 저장부에 저장된 상기 복수의 렌즈 쉐이딩 수정 이득은, 상기 복수의 광원조건 하에서 촬상된 기준 이미지들로부터 각각 검출된 RGB 색상별 렌즈 쉐이딩을 수정하기 위한 복수의 RGB 색상별 렌즈 쉐이딩 수정 이득을 포함할 수 있다.In a preferred embodiment of the present invention, the plurality of lens shading correction gains stored in the gain storage unit include a plurality of RGB colors for correcting lens shading for each RGB color detected from reference images captured under the plurality of light source conditions. Color-specific lens shading correction gain.

본 발명의 일실시형태에서, 상기 이득 저장부는 주광(day light), 차가운 백색광(cool white), 호라이즌(horizon), 및 백열등 광원(A 기준광원)에서의 렌즈 쉐이딩을 각각 수정하기 위한 렌즈 쉐이딩 수정 이득 및 화이트밸런스 이득을 저장할 수 있으며, 상기 광원 판단부는, 상기 입력 이미지가 촬상된 광원 조건을 상기 주광, 차가운 백색광, 호라이즌, 및 백열등 광원 중 하나로 결정할 수 있다.In one embodiment of the invention, the gain storage section corrects lens shading to correct lens shading in day light, cool white, horizon, and incandescent light sources (A reference light source), respectively. A gain and a white balance gain may be stored, and the light source determiner may determine a light source condition in which the input image is captured as one of the main light, the cool white light, the horizont light, and the incandescent light source.

상기 기술적 과제를 해결하기 위한 다른 수단으로서 본 발명은,As another means for solving the above technical problem, the present invention,

a) 복수의 광원조건 하에서 촬상된 기준 이미지들로부터 각각 렌즈 쉐이딩을 검출하는 단계;a) detecting lens shading from reference images captured under a plurality of light source conditions, respectively;

b) 상기 복수의 광원조건하에서 검출된 렌즈 쉐이딩을 각각 수정하는 복수의 렌즈 쉐이딩 수정 이득 및 상기 복수의 광원조건 각각에 대한 화이트밸런스 이득을 산출하는 단계;b) calculating a plurality of lens shading correction gains each correcting the lens shading detected under the plurality of light source conditions and a white balance gain for each of the plurality of light source conditions;

c) 입력 이미지가 존재하는 경우, 상기 입력 이미지의 광원 조건을 결정하는 단계;c) if there is an input image, determining a light source condition of the input image;

d) 상기 단계 b)에서 산출된 렌즈 쉐이딩 수정 이득 중 상기 단계 c)에서 결정된 광원 조건에 대한 렌즈 쉐이딩 수정 이득을 상기 입력 이미지에 적용하는 단 계; 및d) applying a lens shading correction gain for the light source condition determined in step c) of the lens shading correction gains calculated in step b) to the input image; And

e) 상기 단계 b)에서 산출된 화이트밸런스 이득 중 상기 단계 c)에서 결정된 광원 조건에 대한 화이트밸런스 이득을 상기 렌즈 쉐이딩 수정 이득이 적용된 이미지에 적용하는 단계e) applying the white balance gain for the light source condition determined in step c) out of the white balance gains calculated in step b) to the image to which the lens shading correction gain is applied;

를 포함하는 이미지 처리 방법을 제공한다.It provides an image processing method comprising a.

본 발명의 바람직한 실시형태에서, 상기 단계 a)는, 상기 복수의 광원조건 하에서 촬상된 기준 이미지들로부터 각각의 광원조건에 따른 RGB 색상별 렌즈 쉐이딩을 검출하는 단계를 포함하며, 상기 단계 b)는, 상기 각각의 광원조건에 따른 RGB 색상별 렌즈 쉐이딩 수정하기 위한 복수의 RGB 색상별 렌즈 쉐이딩 수정 이득 산출하는 단계를 포함할 수 있다.In a preferred embodiment of the present invention, step a) includes detecting lens shading for each RGB color according to each light source condition from reference images picked up under the plurality of light source conditions, and step b) The method may include calculating a plurality of RGB color shading correction gains for correcting lens shading for each RGB color according to each light source condition.

본 발명의 일실시형태에서, 상기 단계 a)는, 주광(day light), 차가운 백색광(cool white), 호라이즌(horizon), 및 백열등 광원(A 기준광원)에서의 렌즈 쉐이딩을 검출하는 단계이며, 상기 단계 c)는, 상기 입력 이미지가 촬상된 광원 조건을 상기 주광, 차가운 백색광, 호라이즌, 및 백열등 광원 중 하나로 결정하는 단계일 수 있다.In an embodiment of the present invention, step a) is a step of detecting lens shading in day light, cool white, horizon, and incandescent light source (A reference light source), The step c) may be a step of determining a light source condition in which the input image is captured as one of the main light, the cool white light, the horizont light, and the incandescent light source.

본 발명에 따르면, 이미지 촬상에 사용된 광원에 따라 서로 다른 렌즈 쉐이딩 이득을 적용함으로써, 그 이후에 수행되는 화이트밸런스 처리 과정과의 편차를 줄여 더욱 우수한 품질의 이미지를 획득할 수 있는 효과가 있다.According to the present invention, by applying different lens shading gains according to the light source used in the image pickup, it is possible to reduce the deviation from the white balance processing performed thereafter to obtain a better quality image.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시형태를 보다 상세하게 설명한다. 그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시형태로 한정되는 것은 아니다. 본 발명의 실시형태는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에 도시된 구성요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다는 점을 유념해야 할 것이다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, embodiments of the present invention may be modified in various other forms, and the scope of the present invention is not limited to the embodiments described below. Embodiment of this invention is provided in order to demonstrate this invention more completely to the person skilled in the art to which this invention belongs. Therefore, it should be noted that the shape and size of the components shown in the drawings may be exaggerated for more clear explanation.

도 1은 본 발명의 일실시형태에 따른 이미지 처리 장치를 도시한 블록 구성도이다.1 is a block diagram illustrating an image processing apparatus according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시형태에 따른 이미지 처리 장치는, 이득 저장부(17)와 광원 판단부(16)와 렌즈 쉐이딩 수정부(14) 및 화이트밸런스부(15)를 포함할 수 있다. 더하여 본 발명의 일실시형태는 렌즈(11), 이미지 센서(12) 및 컬러 보간부(13)를 더 포함하여 카메라 모듈의 형태로 제공될 수도 있다.Referring to FIG. 1, an image processing apparatus according to an exemplary embodiment of the present invention may include a gain storage unit 17, a light source determination unit 16, a lens shading correction unit 14, and a white balance unit 15. Can be. In addition, one embodiment of the present invention may further be provided in the form of a camera module including a lens 11, an image sensor 12 and a color interpolator 13.

상기 이득 저장부(17)는, 복수의 광원 조건 각각에 대해 사전 결정된 복수의 렌즈 쉐이딩 수정 이득 및 복수의 화이트밸런스 이득을 저장할 수 있다. 상기 복수 의 광원 조건은 일반적으로 4 가지 대표적인 광원으로 알려진 주광(day light), 차가운 백색광(cool white), 호라이즌(horizon), 및 백열등 광원(A 기준광원)일 수 있다. 다른 실시형태에서는 여러가지 규격(예를 들어 국제조명위원회(CIE)에서 결정된 규격)이 상기 광원 조건이 될 수도 있다.The gain storage unit 17 may store a plurality of lens shading correction gains and a plurality of white balance gains predetermined for each of a plurality of light source conditions. The plurality of light source conditions may be daylight, cool white, horizon, and incandescent light source (A reference light source) generally known as four representative light sources. In other embodiments, various standards (e.g., standards determined by the International Commission on Illumination) may be the light source conditions.

상기 이득 저장부(17)는 사전 결정된 복수의 광원 조건에서 기준 이미지(백색 이미지, 회색 이미지)를 촬상하고 이 촬상된 기준 이미지의 렌즈 쉐이딩을 검출한 후, 각 광원 조건 하에서 검출된 렌즈 쉐이딩을 수정할 수 있는 이득을 산출하여 저장할 수 있다. 또한 상기 이득 저장부(17)는 상기 사전 결정된 복수의 광원 조건에서의 화이트밸런스 이득도 산출하여 저장할 수 있다.The gain storage unit 17 captures a reference image (white image, gray image) under a plurality of predetermined light source conditions, detects lens shading of the captured reference image, and then corrects the lens shading detected under each light source condition. It can calculate and save the gain. In addition, the gain storage unit 17 may calculate and store white balance gains under the predetermined plurality of light source conditions.

상기 광원 판단부(16)는 입력 이미지가 촬상된 광원 조건을 결정한다. 이 광원 판단부(16)는 이미지 센서(12)로부터 출력되는 이미지 신호 또는 이미지 센서(12)로부터 출력되는 이미지 신호를 컬러 보간한 신호로부터 사전 설정된 광원 추정 알고리즘을 이용하여 광원 조건을 결정할 수 있다. 또 다른 실시형태에서 상기 광원 판단부(16)는 외부로부터 사용자에 의해 입력되는 광원조건을 그대로 쉐이딩 수정 및 화이트밸런스에서 적용되는 광원조건으로 결정할 수 있다.The light source determining unit 16 determines a light source condition in which the input image is captured. The light source determination unit 16 may determine the light source condition using a preset light source estimation algorithm from an image signal output from the image sensor 12 or a signal interpolated from the image signal output from the image sensor 12. In another embodiment, the light source determination unit 16 may determine the light source condition input by the user from the outside as the light source condition applied in the shading correction and the white balance.

상기 렌즈 쉐이딩 수정부(14)는, 상기 이득 저장부에 저장된 복수의 광원조건에 대한 렌즈 쉐이딩 수정 이득 중, 상기 광원 판단부(16)에 의해 결정된 광원 조건에 대한 렌즈 쉐이딩 수정 이득을 상기 이득저장부(17)로부터 입력받아 입력 이미지에 적용할 수 있다. 특히, 상기 렌즈 쉐이딩 수정부(14)는 입력 이미지의 RGB 값에 대한 렌즈 쉐이딩을 각각 수정할 수 있다.The lens shading correction unit 14 stores the lens shading correction gain for the light source condition determined by the light source determination unit 16 among the lens shading correction gains for the plurality of light source conditions stored in the gain storage unit. The input from the unit 17 may be applied to the input image. In particular, the lens shading correction unit 14 may modify lens shading for the RGB values of the input image, respectively.

상기 화이트밸런스부(15)는, 상기 렌즈 쉐이딩 수정부(14)에서 적용한 렌즈 쉐이딩 수정 이득에 해당하는 광원 조건과 동일한 광원 조건의 화이트밸런스 이득을 상기 이득저장부(17)로부터 입력받아 상기 렌즈 쉐이딩 수정 이득이 적용된 입력 이미지에 적용할 수 있다.The white balance unit 15 receives the white balance gain of the same light source condition as the light source condition corresponding to the lens shading correction gain applied by the lens shading correction unit 14 from the gain storage unit 17. The correction gain can be applied to the input image.

도 2는 본 발명의 일실시형태에 따른 이미지 처리 방법을 도시한 플로우 차트이다.2 is a flowchart illustrating an image processing method according to an embodiment of the present invention.

상기 도 2를 참조하면, 본 발명의 일실시형태에 따른 이미지 처리 방법은, 복수의 광원조건 하에서 촬상된 기준 이미지들로부터 각각 렌즈 쉐이딩을 검출하는 단계(S21)와, 상기 복수의 광원조건하에서 검출된 렌즈 쉐이딩을 각각 수정하는 복수의 렌즈 쉐이딩 수정 이득 및 상기 복수의 광원조건 각각에 대한 화이트밸런스 이득을 산출하는 단계(S22)와, 입력 이미지가 존재하는 경우(S23), 상기 입력 이미지의 광원 조건을 결정하는 단계(S24)와, 상기 단계(S22)에서 산출된 렌즈 쉐이딩 수정 이득 중 상기 단계(S23)에서 결정된 광원 조건에 대한 렌즈 쉐이딩 수정 이득을 상기 입력 이미지에 적용하는 단계(S25) 및 상기 단계(S22)에서 산출된 화이트밸런스 이득 중 상기 단계(S23)에서 결정된 광원 조건에 대한 화이트밸런스 이득을 상기 렌즈 쉐이딩 수정 이득이 적용된 이미지에 적용하는 단계(S26)를 포함할 수 있다.Referring to FIG. 2, the image processing method according to an exemplary embodiment of the present disclosure may include detecting lens shading from reference images captured under a plurality of light source conditions (S21) and detecting the plurality of light source conditions under the plurality of light source conditions. Calculating a plurality of lens shading correction gains for correcting the respective lens shadings and a white balance gain for each of the plurality of light source conditions (S22); and when the input image exists (S23), the light source condition of the input image. (S25) and applying the lens shading correction gain for the light source condition determined in the step (S23) of the lens shading correction gain calculated in the step (S22) (S25) and the The lens shading correction gain is less than the white balance gain for the light source condition determined in the step S23 among the white balance gains calculated in the step S22. And applying to the used image (S26).

도 3의 (a) 및 (b)는 본 발명을 설명하기 위한 광원에 따른 렌즈 쉐이딩 분포의 일례를 도시한 그래프이다.3A and 3B are graphs showing an example of lens shading distribution according to a light source for explaining the present invention.

이하, 첨부 도면을 참조하여 본 발명의 작용 및 효과에 대해 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail the operation and effect of the present invention.

도 1 및 도 2를 참조하면, 본 발명은 입력 이미지에 대한 이미지 처리를 수행하기 이전에 미리 복수의 광원조건 각각에 대한 렌즈 쉐이딩 수정 이득 및 화이트밸런스 이득을 산출하여 이득 저장부(17)에 저장해 둔다. 이를 위해, 사전 설정된 각 광원조건 하에서 백색 또는 회색으로 이루어진 단색 기준 이미지를 촬상하고 이에 촬상된 기준 이미지를 분석하여 렌즈 쉐이딩을 먼저 검출한다(S21). 상기 렌즈 쉐이딩은 기준 이미지가 갖는 적색(R), 녹색(G), 청색(B) 각각의 색상채널에 대한 렌즈 쉐이딩을 검출하는 것이 바람직하다.Referring to FIGS. 1 and 2, the present invention calculates the lens shading correction gain and the white balance gain for each of a plurality of light source conditions in advance before performing image processing on the input image, and stores the gain in the gain storage unit 17. Put it. To this end, under a predetermined light source condition, a single color reference image made of white or gray is photographed, and the lens shading is first detected by analyzing the photographed reference image (S21). The lens shading preferably detects lens shading for each of the color channels of red (R), green (G), and blue (B) of the reference image.

도 3의 (a) 및 (b)는 서로 다른 광원 조건 하에서 검출된 렌즈 쉐이딩 분포를 도시한다. 도 3의 (a)는 광원조건이 주광(day light)일 때 RGB 각 색상 채널에 대한 렌즈 쉐이딩을 검출한 그래프이고, 도 3의 (b)는 광원조건이 호라이즌(horizon: 일출, 일몰때의 하늘에 해당하는 광원)인 경우 RGB 각 색상 채널에 대한 레늦 쉐이딩을 검출한 것이다. 광원조건이 주광인 경우 RGB 채널의 거의 유사한 형상의 곡선을 나타내고 각 색상별로 약간의 레벨차이만 존재하지만, 광원조건의 호라이즌인 경우 렌즈 중심부에서 적색(R)이 매우 높은 레벨로 나타나게 된다.3 (a) and 3 (b) show lens shading distributions detected under different light source conditions. Figure 3 (a) is a graph that detects the lens shading for each RGB color channel when the light source condition is day light (day), Figure 3 (b) is a light source condition when the horizon (horizon: sunrise, sunset) In the case of a light source corresponding to the sky), late shading for each color channel of RGB is detected. When the light source condition is daylight, the curve of the RGB channel is almost similar, and there is only a slight level difference for each color. However, when the light source condition is horizont, red (R) is displayed at a very high level at the center of the lens.

종래와 같이, 모든 광원조건에 동일한 렌즈 쉐이딩 수정 이득을 적용하게 되면 이후 각 광원조건에 따라 화이트밸런스를 적용하더라도, 색상의 불균형이 발생하게 된다. 즉, 종래의 렌즈 쉐이딩 수정은 도 3의 (a)에 도시된 것과 같은 주광에서의 렌즈 쉐이딩 수정 이득을 이용하여 이루어지는 것이 일반적이므로, 도 3의 (b)와 같은 렌즈 쉐이딩을 나타내는 호라이즌 광원 조건에 적용하는 경우 적색 채널에 대한 쉐이딩 수정이 적절하게 수행되지 못하므로, 화이트밸런스를 수행한 이후에도 이미지의 중심부에 적색이 강하게 나타나는 문제가 발생한다.As in the related art, if the same lens shading correction gain is applied to all light source conditions, color imbalance occurs even when white balance is applied according to each light source condition. That is, the conventional lens shading correction is generally made by using the lens shading correction gain in daylight as shown in FIG. 3 (a). Therefore, the lens shading correction is applied to the horizon light source condition showing the lens shading as shown in FIG. If applied, the shading correction for the red channel may not be performed properly. Therefore, a red color is strongly displayed in the center of the image even after the white balance is performed.

그러나 본 발명에서는 이 호라이즌 광원 조건에 대해 렌즈 쉐이딩을 검출하고, 이를 수정할 수 있는 렌즈 쉐이딩 수정 이득을 산출한 후(S22) 미리 이득 저장부(17)에 저장해 둠으로써 각 광원조건에 적절한 렌즈 쉐이딩 수정을 수행할 수 있게 된다.However, in the present invention, the lens shading is detected for the horizon light source condition, and the lens shading correction gain that can correct this is calculated (S22) and stored in the gain storage unit 17 in advance so as to correct the lens shading suitable for each light source condition. Will be able to perform

이와 유사하게, 본 발명은 각 광원조건에 적용할 수 있는 화이트밸런스 이득을 산출하여(S22) 상기 이득 저장부(17)에 저장할 수 있다.Similarly, the present invention may calculate the white balance gain applicable to each light source condition (S22) and store the gain in the gain storage unit 17.

상기 렌즈 쉐이딩 수정 이득 및 화이트밸런스 이득은 공지의 다양한 알고리즘을 통해 결정될 수 있으며, 본 발명의 요지를 흐리는 것을 방지하기 위해 이에 대한 더욱 상세한 설명은 생략하기로 한다.The lens shading correction gain and the white balance gain may be determined through various known algorithms, and more detailed description thereof will be omitted in order to avoid obscuring the subject matter of the present invention.

이와 같이, 사전에 결정되어 이득 저장부(17)에 저장된 렌즈 쉐이딩 수정 이 득은, 이미지가 입력되는 경우(S23) 광원 판단부(16)에 의해 결정된 광원 조건에 따라(S24), 렌즈 쉐이딩 수정부(14)에서 입력 이미지에 적용될 수 있다.As described above, the lens shading correction gain previously determined and stored in the gain storage unit 17 depends on the light source condition determined by the light source determination unit 16 when the image is input (S23). It can be applied to the input image at the government 14.

도 1에 도시된 렌즈(11)와 이미지 센서(12)를 구비한 카메라 모듈에서는, 렌즈(11)를 통과하여 상기 이미지 센서(12)에 결상된 이미지는 전기적 신호의 형태로 컬러 보간부(13)로 전달되고, 컬러 보간부(13)에서는 이미지의 각 픽셀이 갖는 RGB값을 결정하여 렌즈 쉐이딩 수정부(14)로 전달될 수 있다. 한편, 광원 판단부(16)는, 컬러 보간부(13)에 입력되기 이전의 이미지 신호(도 1의 실시형태) 또는 컬러 보간부(13)에 의해 보간된 이미지 신호를 입력받아 현재 촬상된 이미지의 광원조건을 특정 알고리즘으로 검출할 수 있다. 이 광원조건을 검출하는 알고리즘은 공지의 다양한 알고리즘을 적용할 수 있으며, 본 발명의 요지를 흐리는 것을 방지하기 위해 이에 대한 더욱 상세한 설명은 생략하기로 한다. 다른 실시형태에서, 상기 광원 판단부(16)는 외부로부터 사용자에 의해 입력된 광원으로 광원조건을 결정할 수 있다.In the camera module having the lens 11 and the image sensor 12 shown in FIG. 1, an image formed through the lens 11 and formed on the image sensor 12 is a color interpolator 13 in the form of an electrical signal. ), And the color interpolator 13 may determine an RGB value of each pixel of the image and transmit the same to the lens shading correction unit 14. Meanwhile, the light source judging unit 16 receives an image signal before the input to the color interpolation unit 13 (the embodiment of FIG. 1) or an image signal interpolated by the color interpolation unit 13 and is currently captured. The light source condition can be detected by a specific algorithm. The algorithm for detecting the light source condition may be applied to various known algorithms, and more detailed description thereof will be omitted in order to avoid obscuring the gist of the present invention. In another embodiment, the light source determination unit 16 may determine the light source condition with a light source input by a user from the outside.

상기 광원 판단부(16)에 의해 결정된 광원조건에 따라, 상기 이득 저장부(17)에 저장된 렌즈 쉐이딩 수정 이득 중 해당 광원 조건의 렌즈 쉐이딩 수정 이득이 렌즈 쉐이딩 수정부(14)로 전달되어 입력 이미지에 대한 렌즈 쉐이징 수정이 수행된다(S25). 유사하게, 상기 광원 판단부(16)에 의해 결정된 광원조건에 따라, 상기 이득 저장부(17)에 저장된 화이트밸런스 수정이득이 화이트밸런스부(15)로 전달되어 상기 렌즈 쉐이딩 수정이 이루어진 이미지에 대한 화이트밸런스가 수행된 다(S26).According to the light source condition determined by the light source determination unit 16, the lens shading correction gain of the corresponding light source condition among the lens shading correction gains stored in the gain storage unit 17 is transferred to the lens shading correction unit 14 to input the image. Lens shading correction is performed for (S25). Similarly, according to the light source condition determined by the light source determination unit 16, the white balance correction gain stored in the gain storage unit 17 is transferred to the white balance unit 15 so that the lens shading correction is performed. White balance is performed (S26).

이상에서 설명한 바와 같이, 본 발명에 따르면, 이미지 촬상에 사용된 광원에 따라 서로 다른 렌즈 쉐이딩 이득을 적용함으로써, 그 이후에 수행되는 화이트밸런스 처리 과정과의 편차를 줄여 더욱 우수한 품질의 이미지를 획득할 수 있다.As described above, according to the present invention, by applying different lens shading gains according to the light source used for image capturing, it is possible to reduce the deviation from the white balance processing performed thereafter to obtain a higher quality image. Can be.

본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위 및 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.In the detailed description of the present invention, specific embodiments have been described, but various modifications are possible without departing from the scope of the present invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by the following claims and their equivalents.

도 1은 본 발명의 일실시형태에 따른 이미지 처리 장치를 도시한 블록 구성도이다.1 is a block diagram illustrating an image processing apparatus according to an embodiment of the present invention.

도 2는 본 발명의 일실시형태에 따른 이미지 처리 방법을 도시한 플로우 차트이다.2 is a flowchart illustrating an image processing method according to an embodiment of the present invention.

도 3의 (a) 및 (b)는 본 발명을 설명하기 위한 광원에 따른 렌즈 쉐이딩 분포의 일례를 도시한 그래프이다.3A and 3B are graphs showing an example of lens shading distribution according to a light source for explaining the present invention.

*도면의 주요 부분에 대한 부호의 설명** Description of the symbols for the main parts of the drawings *

11: 렌즈 12: 이미지 센서11: lens 12: image sensor

13: 컬러보간부 14: 렌즈 쉐이딩 수정부13: Color interpolator 14: Lens shading correction

15: 화이트밸런스부 16: 광원 판단부15: white balance unit 16: light source determination unit

17: 이득 저장부17: gain storage

Claims (6)

복수의 광원 조건 각각에 대해 사전 결정된 복수의 렌즈 쉐이딩 수정 이득 및 복수의 화이트밸런스 이득을 저장하는 이득 저장부;A gain storage unit for storing a plurality of lens shading correction gains and a plurality of white balance gains predetermined for each of the plurality of light source conditions; 입력 이미지가 촬상된 광원 조건을 결정하는 광원 판단부;A light source determination unit determining a light source condition in which the input image is captured; 상기 이득 저장부에 저장된, 상기 광원 판단부에 의해 결정된 광원 조건에 대한 렌즈 쉐이딩 수정 이득을 상기 입력 이미지에 적용하는 렌즈 쉐이딩 수정부; 및A lens shading correction unit for applying a lens shading correction gain for the light source condition determined by the light source determination unit, stored in the gain storage unit, to the input image; And 상기 렌즈 쉐이딩 수정부에서 적용한 렌즈 쉐이딩 수정 이득에 해당하는 광원 조건과 동일한 광원 조건의 화이트밸런스 이득을 상기 렌즈 쉐이딩 수정 이득이 적용된 입력 이미지에 적용하는 화이트밸런스부A white balance unit that applies a white balance gain of the same light source condition as that of the lens shading correction gain applied by the lens shading correction unit to the input image to which the lens shading correction gain is applied. 를 포함하는 이미지 처리 장치.Image processing apparatus comprising a. 제1항에 있어서, The method of claim 1, 상기 이득 저장부에 저장된 상기 복수의 렌즈 쉐이딩 수정 이득은,The plurality of lens shading correction gains stored in the gain storage unit include: 상기 복수의 광원조건 하에서 촬상된 기준 이미지들로부터 각각 검출된 RGB 색상별 렌즈 쉐이딩을 수정하기 위한 복수의 RGB 색상별 렌즈 쉐이딩 수정 이득을 포함하는 것을 특징으로 하는 이미지 처리 장치.And a plurality of RGB color-specific lens shading correction gains for correcting lens shading for each RGB color detected from the reference images picked up under the plurality of light source conditions. 제1항에 있어서,The method of claim 1, 상기 이득 저장부는 주광(day light), 차가운 백색광(cool white), 호라이즌(horizon), 및 백열등 광원(A 기준광원)에서의 렌즈 쉐이딩을 각각 수정하기 위한 렌즈 쉐이딩 수정 이득 및 화이트밸런스 이득을 저장하며,The gain storage unit stores the lens shading correction gain and the white balance gain for correcting the lens shading in the day light, the cool white, the horizon, and the incandescent light source (A reference light source), respectively. , 상기 광원 판단부는, 상기 입력 이미지가 촬상된 광원 조건을 상기 주광, 차가운 백색광, 호라이즌, 및 백열등 광원 중 하나로 결정하는 것을 특징으로 하는 이미지 처리 장치.And the light source determining unit determines a light source condition in which the input image is captured as one of the main light, the cool white light, the horizont light, and the incandescent light source. a) 복수의 광원조건 하에서 촬상된 기준 이미지들로부터 각각 렌즈 쉐이딩을 검출하는 단계;a) detecting lens shading from reference images captured under a plurality of light source conditions, respectively; b) 상기 복수의 광원조건하에서 검출된 렌즈 쉐이딩을 각각 수정하는 복수의 렌즈 쉐이딩 수정 이득 및 상기 복수의 광원조건 각각에 대한 화이트밸런스 이득을 산출하는 단계;b) calculating a plurality of lens shading correction gains each correcting the lens shading detected under the plurality of light source conditions and a white balance gain for each of the plurality of light source conditions; c) 입력 이미지가 존재하는 경우, 상기 입력 이미지의 광원 조건을 결정하는 단계;c) if there is an input image, determining a light source condition of the input image; d) 상기 단계 b)에서 산출된 렌즈 쉐이딩 수정 이득 중 상기 단계 c)에서 결정된 광원 조건에 대한 렌즈 쉐이딩 수정 이득을 상기 입력 이미지에 적용하는 단계; 및d) applying the lens shading correction gain for the light source condition determined in step c) of the lens shading correction gains calculated in step b) to the input image; And e) 상기 단계 b)에서 산출된 화이트밸런스 이득 중 상기 단계 c)에서 결정된 광원 조건에 대한 화이트밸런스 이득을 상기 렌즈 쉐이딩 수정 이득이 적용된 이미지에 적용하는 단계e) applying the white balance gain for the light source condition determined in step c) out of the white balance gains calculated in step b) to the image to which the lens shading correction gain is applied; 를 포함하는 이미지 처리 방법.Image processing method comprising a. 제4항에 있어서,The method of claim 4, wherein 상기 단계 a)는, 상기 복수의 광원조건 하에서 촬상된 기준 이미지들로부터 각각의 광원조건에 따른 RGB 색상별 렌즈 쉐이딩을 검출하는 단계를 포함하며,Step a) may include detecting lens shading for each RGB color according to each light source condition from reference images captured under the plurality of light source conditions. 상기 단계 b)는, 상기 각각의 광원조건에 따른 RGB 색상별 렌즈 쉐이딩 수정하기 위한 복수의 RGB 색상별 렌즈 쉐이딩 수정 이득 산출하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.The step b) includes calculating a plurality of RGB color shading correction gains for correcting lens shading for each RGB color according to each light source condition. 제4항에 있어서,The method of claim 4, wherein 상기 단계 a)는, 주광(day light), 차가운 백색광(cool white), 호라이즌(horizon), 및 백열등 광원(A 기준광원)에서의 렌즈 쉐이딩을 검출하는 단계이며,Step a) is a step of detecting the lens shading in day light, cool white, horizon, and incandescent light source (A reference light source), 상기 단계 c)는, 상기 입력 이미지가 촬상된 광원 조건을 상기 주광, 차가운 백색광, 호라이즌, 및 백열등 광원 중 하나로 결정하는 단계인 것을 특징으로 하는 이미지 처리 방법.And said step c) is a step of determining a light source condition in which said input image is imaged as one of said daylight, cool white light, a horizont light, and an incandescent light source.
KR1020080061877A 2008-06-27 2008-06-27 Image processing apparatus and method KR20100001807A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080061877A KR20100001807A (en) 2008-06-27 2008-06-27 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080061877A KR20100001807A (en) 2008-06-27 2008-06-27 Image processing apparatus and method

Publications (1)

Publication Number Publication Date
KR20100001807A true KR20100001807A (en) 2010-01-06

Family

ID=41812070

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080061877A KR20100001807A (en) 2008-06-27 2008-06-27 Image processing apparatus and method

Country Status (1)

Country Link
KR (1) KR20100001807A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2540086A1 (en) * 2010-06-04 2013-01-02 Apple Inc. Adaptive lens shading correction
US9451226B2 (en) 2013-07-08 2016-09-20 Hanwha Techwin Co., Ltd. White balance method for shading compensation, and apparatus applied to the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2540086A1 (en) * 2010-06-04 2013-01-02 Apple Inc. Adaptive lens shading correction
US9451226B2 (en) 2013-07-08 2016-09-20 Hanwha Techwin Co., Ltd. White balance method for shading compensation, and apparatus applied to the same

Similar Documents

Publication Publication Date Title
KR101762081B1 (en) Automatic white balancing with skin tone correction for image processing
US7969480B2 (en) Method of controlling auto white balance
US8325248B2 (en) Dual processing of raw image data
US8817130B2 (en) Auto white balance adjustment system, auto white balance adjustment method, and camera module
US8228406B2 (en) Adaptive lens shading correction
US8319861B2 (en) Compensation for black level changes
US8629919B2 (en) Image capture with identification of illuminant
US8154629B2 (en) Noise canceling circuit, noise canceling method, and solid-state imaging device
US8593546B2 (en) Image processing apparatus, image processing method, and camera module for detecting and correcting defective pixels based on contrast and illuminance
US20120281110A1 (en) Image processing apparatus and image processing method
KR100978659B1 (en) Apparatus and method for controlling gain of color signal
US20200228770A1 (en) Lens rolloff assisted auto white balance
US8648937B2 (en) Image processing apparatus, image processing method, and camera module
US8559747B2 (en) Image processing apparatus, image processing method, and camera module
US8885062B2 (en) Auto white balance adjustment system, auto white balance adjustment method, and camera module
US20200228769A1 (en) Lens rolloff assisted auto white balance
KR20200145670A (en) Device and method for correcting white balance of image
KR20100001807A (en) Image processing apparatus and method
CN107948619B (en) Image processing method, device, computer readable storage medium and mobile terminal
KR101143834B1 (en) Aparatus and metod for controlling auto white balance
CN113096046A (en) Image processing method and device
US10393992B1 (en) Auto focus based auto white balance
Chen et al. Adaptive Color Calibration for Digital Cameras
CN117376539A (en) White balance coefficient correction method and electronic device
CN116993608A (en) Curve generating method for image correction and image color correction method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application