KR101639664B1 - Photographing apparatus and photographing method - Google Patents

Photographing apparatus and photographing method Download PDF

Info

Publication number
KR101639664B1
KR101639664B1 KR1020100024345A KR20100024345A KR101639664B1 KR 101639664 B1 KR101639664 B1 KR 101639664B1 KR 1020100024345 A KR1020100024345 A KR 1020100024345A KR 20100024345 A KR20100024345 A KR 20100024345A KR 101639664 B1 KR101639664 B1 KR 101639664B1
Authority
KR
South Korea
Prior art keywords
shading
image
white balance
shading correction
light source
Prior art date
Application number
KR1020100024345A
Other languages
Korean (ko)
Other versions
KR20110016812A (en
Inventor
쯔요시 모리야
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Publication of KR20110016812A publication Critical patent/KR20110016812A/en
Application granted granted Critical
Publication of KR101639664B1 publication Critical patent/KR101639664B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)

Abstract

셰이딩에 의한 화이트 밸런스 평가의 오판을 줄일 수 있는 촬상장치 및 촬상방법을 제공하는 것으로, 직전까지의 화상 프레임에 기초하여 산출된 직전 광원 추정값 또는 촬상시의 촬영 설정 정보에 기초하여 산출된 현재 셰이딩 계수에 기초하여 촬상 화상을 셰이딩 보정하여 생성된 제1 셰이딩 보정 완료 화상을 블럭으로 분할하여 통계 처리하여 제1 RGB블럭 통계값을 산출하는 수단과, 사전에 정해진 디폴트 셰이딩 계수에 기초하여 촬상 화상을 셰이딩 보정하여 생성된 제2 셰이딩 보정 완료 화상을 블럭으로 분할하여 통계 처리하여 제2 RGB블럭 통계값을 산출하는 수단과, 제2 RGB블럭 통계값에 기초하여 현재의 광원 추정값을 산출하는 수단과, 현재의 광원 추정값과 제1 RGB블럭 통계값에 기초하여 화이트 밸런스 게인을 산출하는 수단을 포함하는 것을 특징으로 한다.An image pickup apparatus and an image pickup method capable of reducing the misjudgment of white balance evaluation by shading are provided. The image pickup apparatus and the image pickup method are provided. The current shading coefficient Means for calculating a first RGB block statistical value by dividing a first shading correction completed image generated by shading correction of a sensed image based on the shading correction result into blocks and statistically processing the sensed image; Means for calculating a second RGB block statistic value by dividing the second shading correction completed image generated by the correction into blocks and statistically processing the second shading correction corrected image; means for calculating a current light source estimation value based on the second RGB block statistical value; And means for calculating a white balance gain based on the light source estimation value of the first RGB block and the first RGB block statistical value .

Figure R1020100024345
Figure R1020100024345

Description

촬상장치 및 촬상방법{Photographing apparatus and photographing method}[0002] Photographing apparatus and photographing method [0003]

본 발명은 촬상장치 및 촬상방법에 관한 것이다.The present invention relates to an imaging apparatus and an imaging method.

디지털 스틸 카메라 등의 전자적 촬상장치에서는 피사체 주변 환경의 광원색과 상관없이 흰 피사체가 희게 촬영되도록 화이트 밸런스 보정을 하는 처리가 추가되어 있다. 화이트 밸런스 보정은 디지털 화상을 여러 개의 블럭으로 분할하여 얻어지는 RGB블럭 통계값에 기초하여 어떤 광원인지 여부 등을 판단하고 화이트 밸런스 게인을 산출한다. 그리고 산출된 화이트 밸런스 게인을 화상에 적용함으로써 화질이 보정된다. 상술한 디지털 화상은 렌즈 등의 광학계를 통해 얻어지는 피사체상을 CCD이미지 센서 등의 촬상소자로 광전 변환함으로써 얻어진다.In an electronic imaging device such as a digital still camera, a process of performing white balance correction so that a white subject is whitened regardless of the light source color of the surrounding environment of the subject is added. The white balance correction determines whether or not a light source is based on the RGB block statistical values obtained by dividing the digital image into a plurality of blocks, and calculates the white balance gain. Then, the image quality is corrected by applying the calculated white balance gain to the image. The above digital image is obtained by photoelectrically converting a subject image obtained through an optical system such as a lens into an image pickup device such as a CCD image sensor.

또 화이트 밸런스의 문제와 상관없이 전자적 촬상장치에서는 렌즈 결상 광학계 자체 특성 등의 영향에 의해 주변 광량이 감쇠되는 현상이 발생하는 경우가 있다. 실제로는 빛의 삼원색의 색마다 휘도 분포 특성이 다르다. 따라서 색마다의 휘도 분포 특성의 차이에 기인하여 촬상 화상이 부자연스럽게 착색된다. 이 현상은 색 셰이딩(shading)이라고 불린다.In addition, irrespective of the problem of white balance, in an electronic image pickup apparatus, there is a case where a peripheral light amount is attenuated due to the influence of the characteristics of the lens imaging optical system itself. In fact, the luminance distribution characteristics are different for each of the three primary colors of light. Therefore, the captured image is unnaturally colored due to the difference in the luminance distribution characteristic for each color. This phenomenon is called color shading.

그런데 색 셰이딩이 발생하면 화이트 밸런스의 보정에 사용되는 디지털 화상에 영향을 미치기 때문에 화이트 밸런스 정밀도가 나빠진다는 문제가 발생한다.However, when color shading occurs, a problem arises that white balance accuracy is deteriorated because it affects a digital image used for white balance correction.

따라서 특허문헌 1에는 RGB블럭 통계값이 색 셰이딩의 영향을 받지 않도록, 화이트 밸런스의 평가로서 사용할 수 있는 영역을 문턱값을 사용하여 판정하여 화상 주변부는 평가하지 않고 화상 중앙부를 평가하는 기술이 개시되어 있다.Therefore, Patent Document 1 discloses a technique for evaluating a center portion of an image without determining an image peripheral portion by using a threshold value to determine an area usable as an evaluation of white balance so that the RGB block statistical value is not influenced by color shading have.

또 특허문헌 2에는 셰이딩 보정전에 화이트 밸런스를 위한 평가를 실시하여 광원을 판정하고 광원의 종류에 따라 셰이딩 계수를 적응적으로 변화시키는 방법이 개시되어 있다.Patent Document 2 discloses a method for judging a light source by performing an evaluation for white balance before shading correction and adaptively changing a shading coefficient according to the type of light source.

특허문헌 1: 일본특허공개 2007-325222호 공보Patent Document 1: JP-A-2007-325222

특허문헌 2: 일본특허공개 2008-85388호 명세서Patent Document 2: Japanese Patent Application Laid-Open No. 2008-85388

그러나 특허문헌 1에서는 셰이딩의 영향을 받지 않도록 화상 중심을 평가 대상으로 하지만 화상 주변부에 광원색의 피사체가 존재하는 씬도 많이 있다. 따라서 화이트 밸런스 게인 산출에서는 화상 중앙부만 평가하는 것이 아니라 화상 전체를 평가하지 않으면 광원을 효과적으로 검출할 수 없다는 문제가 있다.However, in Patent Document 1, there are many scenes in which a center of an image is evaluated so as not to be influenced by shading, but a subject of a light source color exists in the periphery of the image. Therefore, in the white balance gain calculation, there is a problem that the light source can not be detected effectively unless the whole image is evaluated, rather than only the center portion of the image is evaluated.

또 특허문헌 2에 기재된 기술은 색 셰이딩이 피사체의 촬영 환경광의 영향을 받아 변화되는 것을 고려하여 전자적 촬상장치의 촬영 환경에 적합한 셰이딩 보정 계수를 동적으로 산출하는 방법이다. 그러나 화이트 밸런스 게인 산출을 위한 광원 판정시에는 셰이딩 보정을 일절 하지 않기 때문에 광원 판정시에 셰이딩의 영향을 받는다. 따라서 화상 주변부에서의 색평가 오차가 커진다는 문제가 있다.The technique described in Patent Document 2 is a method for dynamically calculating a shading correction coefficient suitable for the photographing environment of the electronic imaging apparatus in consideration of the fact that the color shading is changed under the influence of the photographing environment light of the subject. However, shading correction is not performed at the time of light source determination for white balance gain calculation, and therefore, shading is influenced at the time of light source determination. Therefore, there is a problem that the color evaluation error at the periphery of the image becomes large.

또한 특허문헌 2에서는 셰이딩을 보정하지 않고 광원을 판정하고 화이트 밸런스 게인은 셰이딩 보정 후에 적용한다. 따라서 최적의 화이트 밸런스 게인의 산출을 위해 수속점(收束点)을 조정할 필요가 있어 일련의 처리가 복잡해진다는 문제가 있다.In Patent Document 2, the light source is judged without correcting the shading, and the white balance gain is applied after the shading correction. Therefore, it is necessary to adjust the convergence point in order to calculate the optimum white balance gain, which complicates a series of processes.

그런데 화이트 밸런스 게인 산출을 위한 광원 판정 처리의 전단(前段)에서 셰이딩 보정을 수행하는 방법을 생각할 수 있다.However, a method of performing the shading correction at the preceding stage of the light source determination processing for calculating the white balance gain can be considered.

그러나 셰이딩은 줌이나 조리개라는 렌즈의 광학적 요소뿐만 아니라 촬영 환경광의 영향을 받아 변화된다. 따라서 셰이딩 보정을 위해서는 촬영 환경에 적합한 셰이딩 보정 계수를 동적으로 산출하는 것이 바람직하다. 그런데 셰이딩 보정 계수를 동적으로 변화시키면 광원 판정을 위한 입력값인 RGB블럭 통계값이 동적으로 변화되는 셰이딩 보정의 영향을 받는다. 따라서 올바른 광원 판정을 할 수 없다는 문제가 발생한다.Shading, however, is affected by the optical components of the lens, such as zoom or iris, as well as the ambient light. Therefore, it is preferable to dynamically calculate a shading correction coefficient suitable for the photographing environment for the shading correction. However, if the shading correction coefficient is changed dynamically, the RGB block statistic value, which is an input value for the light source determination, is influenced by the dynamically changing shading correction. Therefore, there arises a problem that correct light source determination can not be performed.

본 발명은 상기 문제를 감안하여 이루어진 것으로서, 본 발명의 목적으로 하는 것은 화상의 화이트 밸런스 평가 영역을 화상의 일부로 한정하지 않고 화상 전체를 평가할 수 있으며, 셰이딩 보정 후의 화이트 밸런스 보정 평가가 가능해짐으로써 셰이딩에 의한 화이트 밸런스 평가의 오판을 줄일 수 있는 신규 및 개량된 촬상장치 및 촬상방법을 제공하는 데 있다.SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and it is an object of the present invention to provide a shading correction method capable of evaluating the entire image without limiting the white balance evaluation area of the image to a part of the image, Which is capable of reducing the misjudgment of the white balance evaluation by the image pickup device and the image pickup method.

상기 과제를 해결하기 위해 본 발명의 실시예에 따른 일 관점에 의하면, 직전까지의 화상 프레임에 기초하여 산출된 직전 광원 추정값 또는 촬상시의 촬영 설정 정보에 기초하여 현재 셰이딩 계수를 산출하는 현재 셰이딩 계수 산출부와, 현재 셰이딩 계수에 기초하여 촬상 화상을 셰이딩 보정하여 제1 셰이딩 보정 완료 화상을 생성하는 제1 셰이딩 보정부와, 제1 셰이딩 보정 완료 화상을 블럭으로 분할하여 통계 처리하여 제1 RGB블럭 통계값을 산출하는 제1 RGB블럭 통계부와, 사전에 정해진 디폴트 셰이딩 계수에 기초하여 촬상 화상을 셰이딩 보정하여 제2 셰이딩 보정 완료 화상을 생성하는 제2 셰이딩 보정부와, 제2 셰이딩 보정 완료 화상을 블럭으로 분할하여 통계 처리하여 제2 RGB블럭 통계값을 산출하는 제2 RGB블럭 통계부와, 제2 RGB블럭 통계값에 기초하여 현재의 광원 추정값을 산출하는 광원 추정부와, 현재의 광원 추정값과 제1 RGB블럭 통계값에 기초하여 화이트 밸런스 게인을 산출하는 화이트 밸런스 게인 산출부와, 화이트 밸런스 게인을 제1 셰이딩 보정 완료 화상에 적용하여 화이트 밸런스 보정하는 화이트 밸런스 처리부를 포함하는 것을 특징으로 하는 촬상장치가 제공된다.According to one aspect of the present invention, there is provided an image processing method for calculating a current shading coefficient for calculating a current shading coefficient on the basis of an immediately preceding light source estimated value calculated based on an image frame immediately before or an image pick- A first shading correction unit that divides the first shading correction finished image into blocks and performs statistical processing on the first shading correction finished image to generate a first shading correction corrected image by performing a shading correction on the sensed image based on the current shading coefficient, A second shading correction section for generating a second shading correction completion image by shading correction of the sensed image based on a predetermined default shading coefficient; A second RGB block statistic unit for calculating a second RGB block statistic value by dividing the first RGB block statistic value into blocks, A white balance gain calculating unit for calculating a white balance gain based on the current light source estimation value and the first RGB block statistical value, and a white balance gain calculating unit for calculating a white balance gain based on the first shading correction completion And a white balance processing unit for applying white balance correction to the image.

이 구성에 의해 화이트 밸런스 게인은 현재의 광원 추정값과 제1 RGB블럭 통계값에 기초하여 산출되고, 화이트 밸런스 게인이 제1 셰이딩 보정 완료 화상에 적용됨으로써 화이트 밸런스 보정이 이루어진다. 여기에서 현재의 광원 추정값을 산출하려면, 사전에 정해진 디폴트 셰이딩 계수에 기초하여 촬상 화상을 셰이딩 보정하여 제2 셰이딩 보정 완료 화상을 생성하고, 제2 셰이딩 보정 완료 화상을 블럭으로 분할하여 통계 처리하여 제2 RGB블럭 통계값을 산출한다. 그리고 현재의 광원 추정값은 제2 RGB블럭 통계값에 기초하여 산출된다. 또 제1 RGB블럭 통계값을 산출하려면, 우선 직전까지의 화상 프레임에 기초하여 산출된 직전 광원 추정값 또는 촬상시의 촬영 설정 정보에 기초하여 현재 셰이딩 계수를 산출하고, 현재 셰이딩 계수에 기초하여 촬상 화상을 셰이딩 보정하여 제1 셰이딩 보정 완료 화상을 생성한다. 그리고 제1 RGB블럭 통계값이 제1 셰이딩 보정 완료 화상을 블럭으로 분할하여 통계 처리하여 산출된다. 촬상시의 촬영 설정 정보는, 예를 들면 줌 위치, 조리개, 감도 등의 정보이다.With this configuration, the white balance gain is calculated based on the current light source estimation value and the first RGB block statistical value, and the white balance gain is applied to the first shading correction completed image, thereby performing the white balance correction. Here, in order to calculate the current light source estimation value, a second shading correction completed image is generated by performing shading correction on the sensed image based on a predetermined default shading coefficient, the second shading correction completed image is divided into blocks, 2 Calculate the RGB block statistics. And the current light source estimate is calculated based on the second RGB block statistic value. Also, in order to calculate the first RGB block statistic value, first, the current shading coefficient is calculated based on the immediately preceding light source estimated value calculated on the basis of the immediately preceding image frame or the image pick-up setting information at the time of image pick-up, To generate a first shading-corrected image. The first RGB block statistical value is calculated by dividing the first shading-corrected image into blocks and statistically processing the same. The photographing setting information at the time of photographing is, for example, information such as a zoom position, a diaphragm, and a sensitivity.

상기 제2 RGB블럭 통계부는 디폴트 셰이딩 계수와 현재 셰이딩 계수의 차분을 산출하고 제1 RGB블럭 통계값에 곱함으로써 제2 RGB블럭 통계값을 산출한다. 이 구성에 의해 제2 RGB블럭 통계값은 제1 RGB블럭 통계값을 사용하여 산출할 수 있으며 실질적인 통계 처리는 제1 RGB블럭 통계값의 산출시만으로 충분하다.The second RGB block statistics unit calculates the second RGB block statistics by calculating the difference between the default shading coefficient and the current shading coefficient and multiplying the first RGB block statistics. With this configuration, the second RGB block statistic value can be calculated using the first RGB block statistical value, and the actual statistical processing is sufficient only in the calculation of the first RGB block statistical value.

상기 디폴트 셰이딩 계수는 광원색에 의해 변화하는 셰이딩에 기초하여 산출한 평균적인 단일 계수이다. 이 구성에 의해 제2 셰이딩 보정 완료 화상은 하나로 결정되어 있는 디폴트 셰이딩 계수가 사용되어 촬상 화상을 셰이딩 보정하여 생성된다.The default shading coefficient is an average single coefficient calculated based on a shading that changes depending on the light source color. With this configuration, the second shading-corrected image is generated by shading-correcting the captured image by using the default shading coefficient determined as one.

상기 디폴트 셰이딩 계수는 촬상시의 촬영 설정 조건별로 여러 개 준비되어 있다. 이 구성에 의해 제2 셰이딩 보정 완료 화상은, 촬상시의 촬영 설정 조건별로 여러 개 준비된 디폴트 셰이딩 계수 중 하나가 사용되어 촬상 화상을 셰이딩 보정하여 생성된다. 촬영 설정 조건은, 예를 들면 조리개 등 렌즈의 서로 다른 상태별 조건이다.The default shading coefficient is prepared for each shooting setting condition at the time of imaging. With this configuration, the second shading-corrected image is generated by shading-correcting the captured image by using one of several prepared default shading coefficients for each of the imaging setting conditions at the time of imaging. The photographing setting conditions are, for example, conditions for different states of lenses such as diaphragm.

상기 디폴트 셰이딩 계수를 적용하여 촬상된 광원색 데이터에 기초하여 조정된 화이트 밸런스 설계 조정값과, 제2 RGB블럭 통계값에 기초하여 블럭의 색평가를 하여 블럭마다 블럭 가중치를 산출하고, 광원 추정부는 블럭 가중치와 제2 RGB블럭 통계값에 기초하여 광원 추정값을 산출한다. 이 구성에 의하면 화이트 밸런스 설계 조정값은 디폴트 셰이딩 계수를 적용하여 촬상된 광원색 데이터에 기초하여 조정된 값으로서, 블럭의 색평가가 화이트 밸런스 설계 조정값과 제2 RGB블럭 통계값에 기초하여 이루어져 블럭마다 블럭 가중치가 산출된다. 그리고 광원 추정값이 블럭 가중치와 제2 RGB블럭 통계값에 기초하여 산출된다.Wherein the color shade calculating unit calculates a block weight for each block by performing a color evaluation of the block based on the white balance design adjustment value adjusted based on the picked light source color data by applying the default shading coefficient and the second RGB block statistical value, And calculates the light source estimation value based on the weight and the second RGB block statistical value. According to this configuration, the white balance design adjustment value is adjusted based on the light source color data captured by applying the default shading coefficient, and the color evaluation of the block is made based on the white balance design adjustment value and the second RGB block statistical value, The block weight is calculated. Then, the light source estimation value is calculated based on the block weight value and the second RGB block statistic value.

상기 광원 추정부는, 제2 RGB블럭 통계값에 기초하여 산출한 색좌표와 블럭 가중치에 기초하여 가중 평균함으로써 광원 추정값을 산출한다. 이 구성에 의하면, 색좌표가 제2 RGB블럭 통계값에 기초하여 산출되고 광원 추정값은 색좌표와 색평가 결과를 반영한 블럭별 블럭 가중치에 기초하여 가중 평균함으로써 산출된다.The light source estimating unit calculates a light source estimation value by performing weighted averaging based on the color coordinates and block weights calculated based on the second RGB block statistical value. According to this configuration, the color coordinate is calculated based on the second RGB block statistical value, and the light source estimation value is calculated by weighted averaging based on the block weight for each block reflecting the color coordinate and color evaluation result.

상기 화이트 밸런스 게인 산출부는, 블럭 가중치를 사용하여 제1 RGB블럭 통계값에 기초하여 화이트 밸런스 게인을 산출한다. 이 구성에 의하면, 화이트 밸런스 게인은 색평가 결과를 반영한 블럭별 블럭 가중치를 이용하여 현재 셰이딩 보정 계수에 적합한 제1 RGB블럭 통계값에 기초하여 산출된다.The white balance gain calculating section calculates the white balance gain based on the first RGB block statistical value using the block weight value. According to this configuration, the white balance gain is calculated based on the first RGB block statistic value suitable for the current shading correction coefficient using the block weight for each block reflecting the color evaluation result.

상기 블럭 가중치는 광원 추정값과 촬영 설정 정보로부터 산출되는 피사체 휘도에 의해 변화되도록 산출된다. 이 구성에서, 촬영 설정 정보는 셔터 속도, 조리개, 감도 등의 정보이고, 블럭 가중치는 광원 추정값이나 피사체 휘도(예를 들면 환경광의 명도(BV값)에 따라 변화된다.The block weight is calculated so as to vary with the luminance of the object calculated from the light source estimation value and the photographing setting information. In this configuration, the photographing setting information is information such as a shutter speed, a diaphragm, and a sensitivity, and the block weight is changed according to the light source estimation value or the subject luminance (e.g., the brightness (BV value) of the ambient light.

또 상기 과제를 해결하기 위해 본 발명의 실시예에 따른 다른 관점에 의하면, 직전까지의 화상 프레임에 기초하여 산출된 직전 광원 추정값 또는 촬상시의 촬영 설정 정보에 기초하여 현재 셰이딩 계수를 산출하는 단계와, 현재 셰이딩 계수에 기초하여 촬상 화상을 셰이딩 보정하여 제1 셰이딩 보정 완료 화상을 생성하는 단계와, 제1 셰이딩 보정 완료 화상을 블럭으로 분할하여 통계 처리하여 제1 RGB블럭 통계값을 산출하는 단계와, 사전에 정해진 디폴트 셰이딩 계수에 기초하여 촬상 화상을 셰이딩 보정하여 제2 셰이딩 보정 완료 화상을 생성하는 단계와, 제2 셰이딩 보정 완료 화상을 블럭으로 분할하여 통계 처리하여 제2 RGB블럭 통계값을 산출하는 단계와, 제2 RGB블럭 통계값에 기초하여 현재의 광원 추정값을 산출하는 단계와, 현재의 광원 추정값과 제1 RGB블럭 통계값에 기초하여 화이트 밸런스 게인을 산출하는 단계와, 화이트 밸런스 게인을 제1 셰이딩 보정 완료 화상에 적용하여 화이트 밸런스 보정하는 단계를 포함하는 것을 특징으로 하는 촬상방법이 제공된다.According to another aspect of the present invention for solving the above problems, there is provided a method of calculating a shading coefficient, comprising the steps of: calculating a current shading coefficient based on an immediately preceding light source estimated value calculated based on an image frame immediately before or shooting setting information at the time of shooting; Calculating a first RGB block statistic value by dividing the first shading correction completed image into blocks and statistically processing the first shading corrected first image, calculating a first RGB block statistic value by performing a shading correction on the sensed image based on the current shading coefficient, , Generating a second shading-corrected image by shading-correcting the sensed image based on a predetermined default shading coefficient, calculating a second RGB block statistic value by dividing the second shading- Calculating a current light source estimate based on a second RGB block statistical value, The imaging method of claim 1, characterized in that on the basis of the RGB block statistics apply to the phase and complete the first shading correction, the white balance gain image for calculating a white balance gain comprising the step of correcting the white balance is provided.

본 발명의 실시예들에 따르면, 화상의 화이트 밸런스 평가 영역을 화상의 일부로 한정하지 않고 화상 전체를 평가할 수 있으며, 셰이딩 보정 후의 화이트 밸런스 보정 평가가 가능해짐으로써 셰이딩에 의한 화이트 밸런스 평가의 오판을 줄일 수 있다.According to the embodiments of the present invention, it is possible to evaluate the entire image without limiting the white balance evaluation area of the image to a part of the image, and it becomes possible to perform the white balance correction evaluation after the shading correction, thereby reducing the misjudgment of the white balance evaluation by the shading .

도 1은 본 발명의 일 실시형태에 따른 디지털 스틸 카메라의 화상 처리부(110)를 도시한 블럭도이다.
도 2는 동 실시형태에 따른 디지털 스틸 카메라의 화상 처리부(110), 셰이딩 테이블 산출부(120) 및 화이트 밸런스 게인 산출부(130)를 도시한 블럭도이다.
도 3은 동 실시형태에 따른 촬상장치의 개략적인 동작을 도시한 흐름도이다.
도 4는 동 실시형태의 셰이딩 보정 동작을 도시한 흐름도이다.
도 5는 동 실시형태의 화이트 밸런스 게인 산출 동작을 도시한 흐름도이다.
도 6은 조리개에 의한 셰이딩과 광원에 의한 셰이딩을 분리하는 경우의 실시형태를 도시한 설명도이다.
도 7은 화상 영역의 블럭 분할을 도시한 개념도이다.
도 8은 광원별 셰이딩 발생 상황을 도시한 단면도이다.
도 9는 광원별 셰이딩 발생 상황을 도시한 단면도이다.
도 10은 광원별 셰이딩 발생 상황을 도시한 단면도이다.
도 11은 디폴트 셰이딩 보정 계수를 도시한 단면도이다.
도 12는 촬영시에 적용되는 현재 셰이딩 보정 계수를 도시한 단면도이다.
도 13은 현재 셰이딩 보정 계수에서 디폴트 셰이딩 보정 계수로의 변환 계수를 도시한 단면도이다.
1 is a block diagram showing an image processing unit 110 of a digital still camera according to an embodiment of the present invention.
2 is a block diagram showing an image processing unit 110, a shading table calculating unit 120 and a white balance gain calculating unit 130 of a digital still camera according to the present embodiment.
3 is a flowchart showing a schematic operation of the image pickup apparatus according to the embodiment.
4 is a flowchart showing the shading correction operation of the embodiment.
5 is a flowchart showing the white balance gain calculating operation of the embodiment.
6 is an explanatory view showing an embodiment in which shading by the diaphragm and shading by the light source are separated.
7 is a conceptual diagram showing block division of an image area.
8 is a cross-sectional view illustrating a shading occurrence state according to a light source.
9 is a cross-sectional view illustrating a shading occurrence state of each light source.
FIG. 10 is a cross-sectional view illustrating a shading occurrence state for each light source.
11 is a cross-sectional view showing a default shading correction coefficient.
12 is a sectional view showing a current shading correction coefficient applied at the time of photographing.
13 is a cross-sectional view showing conversion coefficients from the current shading correction coefficient to the default shading correction coefficient.

이하 첨부 도면을 참조하여 본 발명의 바람직한 실시형태에 대해서 상세히 설명하기로 한다. 아울러 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 가진 구성 요소에 대해서는 동일 부호를 붙임으로써 중복 설명을 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In addition, elements having substantially the same functional configuration in the present specification and drawings are denoted by the same reference numerals, and redundant description will be omitted.

<본 발명의 일 실시형태><One embodiment of the present invention>

본 발명의 일 실시형태에 따른 디지털 스틸 카메라(촬상장치)는 촬상 화상에 발생하는 셰이딩을 보정하는 셰이딩 보정부(106)와, 촬상 화상의 화이트 밸런스 보정을 수행하는 화이트 밸런스 처리부(108)를 포함하는 것을 특징으로 한다. 그리고 광원 추정 결과 등에 기초하여 셰이딩 보정 계수를 적응적으로 동적으로 변화시킨 경우라 해도 셰이딩 보정 계수 변화의 영향을 받지 않고 화상 전체를 평가하여 최적의 화이트 밸런스 보정을 수행할 수 있다.The digital still camera (image pickup apparatus) according to the embodiment of the present invention includes a shading correction unit 106 for correcting the shading occurring in the captured image, and a white balance processing unit 108 for performing the white balance correction of the captured image . Even when the shading correction coefficient is adaptively changed dynamically based on the light source estimation result or the like, the entire image can be evaluated without being influenced by the change in the shading correction coefficient, and the optimum white balance correction can be performed.

도 1은, 본 실시형태에 따른 디지털 스틸 카메라의 화상 처리부(110)를 도시한 블럭도이다. 도 2는, 본 실시형태에 따른 디지털 스틸 카메라의 화상 처리부(110), 셰이딩 테이블 산출부(120) 및 화이트 밸런스 게인 산출부(130)를 도시한 블럭도이다. 도 3은, 본 실시형태에 따른 촬상장치의 개략적인 동작을 도시한 흐름도이다.1 is a block diagram showing an image processing unit 110 of a digital still camera according to the present embodiment. 2 is a block diagram showing an image processing unit 110, a shading table calculating unit 120, and a white balance gain calculating unit 130 of a digital still camera according to the present embodiment. Fig. 3 is a flowchart showing a schematic operation of the image pickup apparatus according to the present embodiment.

화상 처리부(110)(Image pipe line)는, 예를 들면 CCD이미지 센서 또는 CMOS이미지 센서(102)와, 화상 전처리부(104)와, 셰이딩 보정부(106)와, 화이트 밸런스 처리부(108)와, 디모자이킹(demosaic) 처리부(112)와, 색보정부(114)와, 감마 처리부(116) 등으로 이루어진다.The image processing unit 110 includes a CCD image sensor or a CMOS image sensor 102, an image preprocessing unit 104, a shading correction unit 106, a white balance processing unit 108, A demosaic processing unit 112, a color compensating unit 114, a gamma processing unit 116, and the like.

우선 RGB화상 신호(RAW데이터)가, 도 1의 CCD이미지 센서 또는 CMOS이미지 센서(102) 등의 촬상소자를 포함한 아날로그 프론트 엔드(AFE)에서 얻어진다(단계 S101). RGB화상 신호는 결함 화소 보정, 검정 레벨 보정 등의 화상 전처리가 이루어진다. 그리고 셰이딩 보정 처리, 화이트 밸런스 보정 처리, 베이어 색보간(디모자이킹) 처리, 색보정 처리, 감마 보정 처리 등 여러가지 전자적 처리가 이루어져 화상 기록이 이루어진다.First, an RGB image signal (RAW data) is obtained in an analog front end (AFE) including an image pickup element such as the CCD image sensor or the CMOS image sensor 102 in FIG. 1 (step S101). RGB image signals are subjected to image preprocessing such as defective pixel correction and black level correction. Various electronic processing such as shading correction processing, white balance correction processing, Bayer interpolation (demosaicing) processing, color correction processing, and gamma correction processing are performed to record images.

본 실시형태에서는 셰이딩 보정 처리가 화이트 밸런스 게인 산출부(130)의 전단에서 실시되는 것을 특징으로 한다(단계 S102, 단계 S105).In the present embodiment, shading correction processing is performed before the white balance gain calculating section 130 (steps S102 and S105).

촬상된 RGB화상 신호에 화상 전처리를 한 후 셰이딩 보정이 이루어진다. 셰이딩 보정은 렌즈 결상 광학계 자체의 특성 등의 영향에 의해 주변 광량이 감쇠되는 현상(셰이딩)을 보정하는 처리이다. 셰이딩은, 실제로는 광학계 특성의 영향뿐만 아니라 피사체 주변 환경의 광원에 의해서도 셰이딩의 발생 정도가 변화된다.After image preprocessing on the picked-up RGB image signal, shading correction is performed. The shading correction is a process for correcting the phenomenon (shading) in which the amount of ambient light is attenuated due to the influence of the characteristics and the like of the lens imaging optical system itself. In the shading, the degree of occurrence of the shading is changed not only by the influence of the optical characteristic but also by the light source of the surrounding environment of the subject.

도 8, 도 9, 도 10은 광원별 셰이딩 발생 상황을 도시한 단면도로서, 각각의 차이를 예시한 것이다. 도 8은 태양광 하에서 발생한 셰이딩의 상황을 도시하고, 도 9는 형광등 하에서 발생한 셰이딩의 상황을 도시하고, 도 10은 백열등 하에서 발생한 셰이딩의 상황을 도시한다.FIGS. 8, 9, and 10 are cross-sectional views illustrating shading occurrence states for respective light sources, and illustrate the differences between the shading generation states. FIG. 8 shows a situation of shading under sunlight, FIG. 9 shows a situation of shading under fluorescent lamp, and FIG. 10 shows a situation of shading under incandescent lamp.

이들 현상은 빛의 3원색인 RGB마다 서로 다른 셰이딩이 발생하기 때문에 색 셰이딩이라고 불린다. 그리고 색 RGB 각각에 대해서 화상 픽셀 좌표에 따른 보정 계수를 설정한다.These phenomena are called color shading because different shading occurs for each of the RGB three primary colors of light. Then, a correction coefficient according to the image pixel coordinates is set for each of the RGB colors.

셰이딩 테이블 산출부(120)는 조리개, 줌 등의 카메라 설정 정보와 화이트 밸런스 처리의 광원 추정 결과(Light source estimation)에 따라 최적의 셰이딩 보정 계수를 산출한다.The shading table calculator 120 calculates an optimal shading correction coefficient according to camera setting information such as diaphragm and zoom and light source estimation result of white balance processing.

산출한 셰이딩 보정 계수는, 도 1에 도시한 화상 처리부(110)의 셰이딩 보정부(106)에서 사용된다. 이 셰이딩 보정 후의 화상 데이터는 화이트 밸런스 게인 산출부(130)에 입력된다.The calculated shading correction coefficients are used in the shading correction unit 106 of the image processing unit 110 shown in Fig. The image data after the shading correction is input to the white balance gain calculating unit 130. [

도 2에 도시한 블럭 통계 처리부(132)는 이미 셰이딩 보정 완료된 화상을 블럭 분할하고 블록마다 RGB화소의 통계값을 취득한다(단계 S103). 이 RGB통계값은 AWB처리부(136)에 입력된다. 단, 화상에 적용되어 있는 셰이딩 보정 계수(현재 셰이딩 테이블)와, 화이트 밸런스 게인 산출부(130)가 광원 추정에 사용하는 셰이딩 보정 계수(디폴트 셰이딩 테이블)와의 차분을 곱한 후 입력한다(단계 S104).The block statistical processing unit 132 shown in Fig. 2 divides the already shaded-corrected image into blocks and acquires the statistical values of RGB pixels for each block (step S103). The RGB statistical values are input to the AWB processing unit 136. However, the shading correction coefficient (current shading table) applied to the image is multiplied by the difference between the shading correction coefficient (the default shading table) used by the white balance gain calculation unit 130 and the light source estimation (step S104) .

[셰이딩 보정][SHADING CORRECTION]

도 4는, 본 실시형태의 셰이딩 보정 동작을 도시한 흐름도이다.Fig. 4 is a flowchart showing the shading correction operation of the present embodiment.

셰이딩은 줌, 조리개 등의 렌즈의 광학적 요소나 촬영 환경 광원에 관계되어 변화한다. 따라서 도 4에 도시한 것처럼 셰이딩 보정 계수가 동적으로 산출된다.The shading changes with respect to the optical elements of the lens such as zoom, iris, and the shooting environment light source. Therefore, the shading correction coefficient is calculated dynamically as shown in Fig.

우선 셰이딩 보정부(106)에서 AV(조리개값), TV(셔터 속도), SV(촬상 감도), 줌 등의 촬영 설정 조건이나 직전의 프레임 화상에서 산출된 광원 추정값 등 촬영 정보가 취득된다(단계S111).The shading correction unit 106 acquires shooting information such as shooting setting conditions such as AV (aperture value), TV (shutter speed), SV (imaging sensitivity), and zoom and a light source estimated value calculated from the immediately preceding frame image S111).

그리고 취득된 촬영 설정 정보나 광원 추정값, 셰이딩 데이터 기억부에 사전에 기억해 놓은 셰이딩 정보에 기초하여 최적의 현재(current) 셰이딩 보정 계수를 산출한다(단계S112).Then, an optimal current shading correction coefficient is calculated based on the acquired image capturing setting information, the light source estimation value, and the shading information previously stored in the shading data storage unit (step S112).

아울러 상기에 나타낸 셰이딩을 변화시키는 요인은 여러 요인 중 일례이다. 따라서 셰이딩 보정 계수의 산출 방법은 본 명세서에 기재한 예로 한정되지 않는다. 즉, 다른 요인으로 동적으로 셰이딩 보정 계수를 바꾼 경우라 해도 후술하는 것처럼 적절한 화이트 밸런스를 제공할 수 있는 것이 중요하다.In addition, the factor for changing the shading shown above is an example of various factors. Therefore, the method of calculating the shading correction coefficient is not limited to the example described in this specification. That is, even when the shading correction coefficient is changed dynamically as another factor, it is important to provide a proper white balance as described later.

다음으로 단계S112에서 산출된 현재 셰이딩 보정 계수는 RGB화상 신호(화상 데이터)에 적용되어 화상 데이터는 셰이딩 보정이 이루어진다(단계S113).Next, the current shading correction coefficient calculated in step S112 is applied to the RGB image signal (image data), and the shading correction is performed on the image data (step S113).

셰이딩 보정된 화상 데이터는 RGB블럭 통계 처리에 사용된다(단계S114).The shading-corrected image data is used for the RGB block statistical processing (step S114).

[화이트 밸런스 게인 산출][White balance gain calculation]

도 5는, 본 실시형태의 화이트 밸런스 게인 산출 동작을 도시한 흐름도이다.5 is a flowchart showing the white balance gain calculating operation of the present embodiment.

(제1 RGB블럭 통계값에 대해서)(For the first RGB block statistic value)

화이트 밸런스 게인 산출부(130)는 셰이딩 보정을 적용한 화상 데이터의 화상 영역을, 예를 들면 도 7에 도시한 것처럼 N×M의 블럭으로 분할한다. 도 7은, 화상 영역의 블럭 분할을 도시한 개념도이다. 분할 블록내에는 여러 개의 화소가 포함되어 있다. 그리고 블럭별 RGB화소의 통계값이 제1 RGB블럭 통계값으로서 산출된다.The white balance gain calculating unit 130 divides the image area of the image data to which the shading correction is applied into N × M blocks as shown in FIG. 7, for example. 7 is a conceptual diagram showing block division of an image area. A plurality of pixels are included in the divided block. The statistical values of the RGB pixels are calculated as the first RGB block statistical values.

(화이트 밸런스 설계 조정값에 대해서)(For white balance design adjustment value)

그런데 광원 판정이나 동작 추종 범위를 결정하기 위한 파라미터군(이하, 「화이트 밸런스 설계 조정값」이라고도 한다.)은 화이트 밸런스 게인 산출에서 사용되며 화이트 밸런스 설계 조정값 기억부에 사전에 저장해 놓는다. 화이트 밸런스 설계 조정값은 사전에 전자적 촬상장치의 설계자가 화이트 밸런스 설계 조정 처리를 실시함으로써 산출된다.The parameter group (hereinafter, also referred to as &quot; white balance design adjustment value &quot;) for determining the light source determination or the operation following range is used in white balance gain calculation and is stored in advance in the white balance design adjustment value storage unit. The white balance design adjustment value is calculated by the designer of the electronic image pickup device in advance by performing white balance design adjustment processing.

화이트 밸런스 설계 조정 처리는 편입 대상으로 하는 전자적 촬상장치를 사용한다. 그리고 각종 광원하에서 그레이 차트나 컬러 차트를 촬영하여 광원색 데이터를 취득한다. 아울러 이 때 적용하는 셰이딩 보정 계수는 단일의 대표적인 셰이딩 보정 계수(디폴트 셰이딩 보정 계수)이다.The white balance design adjustment processing uses an electronic imaging device to be incorporated. Then, a gray chart or a color chart is photographed under various light sources to obtain light source color data. In addition, the shading correction coefficient applied at this time is a single representative shading correction coefficient (the default shading correction coefficient).

전자적 촬상장치의 설계자는 화이트 밸런스 설계 조정 처리로 얻어진 광원색 데이터에 기초하여 화이트 밸런스 게인 산출에서 사용되는 색평가 판정 문턱값이나 화이트 밸런스 추종 범위 등의 화이트 밸런스 설계 조정값을 결정한다.The designer of the electronic imaging apparatus determines a white balance design adjustment value such as a color evaluation determination threshold value or a white balance tracking range to be used in white balance gain calculation based on the light source color data obtained by the white balance design adjustment processing.

(색평가 처리에 대해서)(For color evaluation processing)

상술한 것처럼 화이트 밸런스 설계 조정값은 디폴트 셰이딩 보정 계수를 적용하여 셰이딩 보정된 화상 데이터에 최적화되어 있다. 따라서 촬상된 화상에 대해 RGB블럭 색평가를 할 때, 만일 셰이딩 보정 계수를 동적으로 변경하여 얻어진 제1 RGB블럭 통계값을 사용하면 올바르게 색평가를 할 수 없다는 문제가 있다. 현재 셰이딩 보정 계수와 디폴트 셰이딩 보정 계수간 차이의 영향을 받기 때문이다.As described above, the white balance design adjustment value is optimized for the shading-corrected image data by applying the default shading correction coefficient. Therefore, when the RGB block color evaluation is performed on the captured image, if the first RGB block statistical value obtained by dynamically changing the shading correction coefficient is used, color evaluation can not be performed correctly. Since it is affected by the difference between the current shading correction coefficient and the default shading correction coefficient.

그래서 본 실시형태에서는 현재 적용되고 있는 현재 셰이딩 보정 계수와 디폴트 셰이딩 보정 계수간의 차분을 고려한 색평가 처리를 수행한다.Thus, in the present embodiment, color evaluation processing is performed in consideration of the difference between the current shading correction coefficient and the default shading correction coefficient currently applied.

도 11은 디폴트 셰이딩 보정 계수를 도시한 단면도이다. R, G, B마다 서로 다른 계수를 설정함으로써 색 셰이딩을 보정할 수 있다. 셰이딩 보정 계수는 픽셀 단위로 계수를 곱하기 때문에 수학식 1에 나타난 것처럼 평균 곱셈 계수를 구하며, 이것을 Def_RAve, Def_GAve, Def_BAve로 한다.11 is a cross-sectional view showing a default shading correction coefficient. The color shading can be corrected by setting different coefficients for R, G and B. Since the shading correction coefficient is multiplied by the coefficient in units of pixels, an average multiplication coefficient is obtained as shown in Equation (1), which is defined as Def_RAve, Def_GAve, and Def_BAve.

수학식 1에서 h는 화상의 폭, v는 화상의 높이, DefRCoeff, DefGCoeff, DefBCoeff는 RGB 각각의 디폴트 셰이딩 보정 계수를 나타낸다.In Equation (1), h represents the width of the image, v represents the height of the image, and DefRCoeff, DefGCoeff, and DefBCoeff represent the default shading correction coefficients of RGB, respectively.

Figure 112010017300231-pat00001
Figure 112010017300231-pat00001

촬상시에는 촬영 설정 정보 등에 적합한 셰이딩 보정 계수(현재 셰이딩 보정 계수)가 적용된다. 도 12는 촬영시에 적용되는 현재 셰이딩 보정 계수를 도시한 단면도이다. 도 12에 도시한 예에서는, 도 11에 도시한 디폴트 셰이딩 계수보다도 큰 계수가 적용되어 있다.A shading correction coefficient (current shading correction coefficient) suitable for the photographing setting information or the like is applied. 12 is a sectional view showing a current shading correction coefficient applied at the time of photographing. In the example shown in Fig. 12, a coefficient larger than the default shading coefficient shown in Fig. 11 is applied.

디폴트 셰이딩 보정 계수와 마찬가지로, 수학식 2에 나타나는 것처럼 평균 곱셈 계수를 구하며, 이것을 Cur_RAve, Cur_GAve, Cur_BAve로 한다. 수학식 2에서, h는 화상의 폭, v는 화상의 높이, CurRCoeff, CurGCoeff, CurBCoeff는 RGB 각각의 현재 셰이딩 보정 계수를 나타낸다.As in the case of the default shading correction coefficient, an average multiplication coefficient is obtained as shown in Equation (2), which is set as Cur_RAve, Cur_GAve, and Cur_BAve. In Equation (2), h represents the width of the image, v represents the height of the image, and CurRCoeff, CurGCoeff, and CurBCoeff represent the respective current shading correction coefficients of RGB.

Figure 112010017300231-pat00002
Figure 112010017300231-pat00002

화이트 밸런스 설계 조정값은 디폴트 셰이딩 보정 계수를 적용한 상태에서 올바르게 광원 추정을 할 수 있도록 촬상장치에 편입되어 있다. 따라서 RGB블럭 색평가 처리를 수행할 때, 도 13에 도시된 현재 셰이딩 보정 계수에서 디폴트 셰이딩 보정 계수로의 변환 계수를 사용한다. 도 13은, 현재 셰이딩 보정 계수에서 디폴트 셰이딩 보정 계수로의 변환 계수를 도시한 단면도이다.The white balance design adjustment value is incorporated in the image sensing apparatus so that light source estimation can be correctly performed with the default shading correction coefficient applied. Therefore, when performing the RGB block color evaluation processing, the conversion coefficient from the current shading correction coefficient to the default shading correction coefficient shown in FIG. 13 is used. 13 is a cross-sectional view showing a conversion coefficient from the current shading correction coefficient to the default shading correction coefficient.

이미 산출되어 있는 디폴트 셰이딩 보정 계수의 평균 곱셈 계수와 현재 셰이딩 보정 계수의 평균 곱셈 계수에 기초하여 수학식 3을 사용하여 변환 계수 Delta_RAve, Delta_GAve, Delta_BAve를 구한다.Delta_RAve, Delta_GAve, and Delta_BAve are calculated using Equation (3) based on the already calculated average multiplication coefficient of the default shading correction coefficient and the average multiplication coefficient of the current shading correction coefficient.

Figure 112010017300231-pat00003
Figure 112010017300231-pat00003

셰이딩 차분 보정부(134)가 산출된 변환 계수 Delta_RAve, Delta_GAve, Delta_BAve를, 화이트 밸런스 게인을 산출할 때에 사용되는 제1 RGB블럭 통계값에 곱하고 그 결과를 제2 RGB블럭 통계값(R', G', B')으로 한다.The shading difference correction section 134 multiplies the calculated conversion coefficients Delta_RAve, Delta_GAve and Delta_BAve by the first RGB block statistic value used when calculating the white balance gain, and outputs the result to the second RGB block statistical values R ', G ', B').

그리고 광원 평가를 할 때, 제2 RGB블럭 통계값(R’, G’, B’)을 사용한다. 이로써 셰이딩 보정을 적용한 화상 데이터의 화상 영역에 대해 화이트 밸런스 설계 조정 처리에 사용한 디폴트 셰이딩 보정 계수를 적용한 경우에 상당하는 광원 평가를 수행할 수 있다.In the light source evaluation, the second RGB block statistical values (R ', G', B ') are used. This makes it possible to perform the light source evaluation equivalent to the case where the default shading correction coefficient used in the white balance design adjustment processing is applied to the image area of the image data to which the shading correction is applied.

다음으로 본 실시형태의 색평가 처리 순서에 대해서 설명하기로 한다.Next, the color evaluation processing procedure of the present embodiment will be described.

예를 들면, 제2 RGB블럭 통계값에 기초하여 블럭별 색좌표를 산출한다. 이 때의 색좌표는, 수학식 4에 나타나는 것처럼 R/G비 및 B/G비인 좌표계여도 좋고, 다른 색채의 규격값으로 변환된 좌표여도 좋다.For example, a color coordinate per block is calculated based on the second RGB block statistical value. The color coordinate at this time may be a coordinate system that is an R / G ratio and a B / G ratio as shown in Equation (4), or a coordinate converted to a standard value of another color.

Figure 112010017300231-pat00004
Figure 112010017300231-pat00004

RGB블럭 색평가에서는 색좌표(x,y)의 좌표값이나 휘도값 등에 의해 블럭별 평가 가중치 계수w(RGB블럭 가중치)가 결정된다.In the RGB block color evaluation, the evaluation weight coefficient w (RGB block weight) for each block is determined based on the coordinate values, luminance values, and the like of the color coordinates (x, y).

(광원 추정 처리)(Light source estimation processing)

그리고 수학식 5를 사용하여 RGB블럭 가중치 w와 블럭별 색좌표를 가중 평균하여 광원 추정 좌표(Cx,Cy)를 산출한다. 수학식 5에서, Bh 및 Bv는 화상을 복수의 블럭으로 분할한 경우에 있어서 가로방향 및 세로방향을 각각 나타낸다.The light source estimation coordinates (Cx, Cy) are calculated by weighted averaging the RGB block weight w and the block color coordinates using Equation (5). In Equation (5), Bh and Bv represent a horizontal direction and a vertical direction when an image is divided into a plurality of blocks.

Figure 112010017300231-pat00005
Figure 112010017300231-pat00005

산출된 광원 추정 좌표(Cx,Cy)는 다음 프레임 화상 처리에서 셰이딩 보정 계수를 산출할 때 셰이딩 보정 계수를 결정하기 위한 광원 정보로서 이용된다.The calculated light source estimation coordinates Cx and Cy are used as light source information for determining a shading correction coefficient when calculating a shading correction coefficient in the next frame image processing.

(화이트 밸런스 게인 산출)(White balance gain calculation)

화이트 밸런스 게인(Kr,Kg,Kb)은 제1 RGB블럭 통계값(R,G,B)과, RGB블럭 가중치 w를 이용하여 수학식 6에 나타난 것처럼 가중 평균을 내어 구해진다. 아울러 RGB블럭 가중치 w는 광원 추정 좌표(Cx,Cy)의 값이나 환경광의 명도(BV값)에 따라 변화시켜도 좋다.The white balance gains Kr, Kg, and Kb are obtained by weighted averaging as shown in Equation (6) using the first RGB block statistic values (R, G, B) and the RGB block weight w. The RGB block weight w may be changed according to the value of the light source estimation coordinates (Cx, Cy) or the brightness (BV value) of the ambient light.

Figure 112010017300231-pat00006
Figure 112010017300231-pat00006

상술한 화이트 밸런스 게인의 산출 방법의 설명은 본 발명의 일례를 나타낸 것으로서, 블럭별 평가 가중치의 산출 방법이나 색좌표로의 변환 방법을 한정하지는 않는다.The above description of the calculation method of the white balance gain is an example of the present invention and does not limit the calculation method of the evaluation weight for each block or the conversion method to the color coordinate.

이상에 의해 현재 셰이딩 보정 계수에서 디폴트 셰이딩 보정 계수로의 변환 계수를 제1 RGB블럭 통계값에 곱하고, 그 결과로서 얻어진 제2 RGB블럭 통계값을 사용하여 RGB블럭 색평가가 이루어진다. 그 결과, 현재 셰이딩 보정 계수의 영향을 받지 않고 디폴트 셰이딩 보정 계수를 적용한 경우에 상당하는 광원 평가를 할 수 있게 된다.Thus, the first RGB block statistic value is multiplied by the conversion coefficient from the current shading correction coefficient to the default shading correction coefficient, and the RGB block color evaluation is performed using the second RGB block statistic value obtained as a result. As a result, it is possible to evaluate the light source equivalent to the case where the default shading correction coefficient is applied without being influenced by the current shading correction coefficient.

또 화이트 밸런스 게인 산출부(130)는 디폴트 셰이딩 보정 계수의 결과를 반영한 RGB블럭 가중치와, 화상 데이터에 셰이딩 보정 계수를 적용하여 얻어지는 제1 RGB블럭 통계값에 기초하여 화이트 밸런스 게인을 산출한다.The white balance gain calculator 130 calculates the white balance gain based on the RGB block weight reflecting the result of the default shading correction coefficient and the first RGB block statistics obtained by applying the shading correction coefficient to the image data.

산출된 화이트 밸런스 게인(Kr,Kg,Kb)은 화이트 밸런스 처리부(108)에서, 도 1에 도시된 것처럼 화상 처리부(110)에 적용된다.The calculated white balance gains Kr, Kg and Kb are applied to the image processing section 110 in the white balance processing section 108 as shown in Fig.

이상, 제2 RGB블럭 통계값을 단일의 디폴트 셰이딩 계수로 하는 구성으로 설명하였다.The above description has been made on the assumption that the second RGB block statistic value is a single default shading coefficient.

<본 발명의 다른 실시형태>&Lt; Another embodiment of the present invention >

본 발명의 다른 실시형태로서, 셰이딩 보정 계수가 셰이딩 발생 요인별로 저장되도록 구성해도 좋다. 도 6은, 조리개에 의한 셰이딩과 광원에 의한 셰이딩을 분리하는 경우의 실시형태를 도시한 설명도이다.As another embodiment of the present invention, the shading correction coefficient may be stored for each shading generation factor. 6 is an explanatory view showing an embodiment in which shading by diaphragm and shading by a light source are separated.

도 6은, 조리개가 개방 상태와 좁혀진 상태의 2단계로 한 경우의 예시이다. 그리고 도 6에 도시한 것처럼 디폴트 셰이딩 보정 계수가 조리개의 상태에 따라, 즉 개방 상태용과 좁혀진 상태용의 2종류가 디폴트 셰이딩 테이블에 준비된다. 디폴트 셰이딩 보정 계수는 현재 조리개의 상태에 따라 선택된다. 이로써 제2 RGB블럭 통계값은 조리개에 의한 변화분을 보정한 통계값으로 할 수 있다. 또 화이트 밸런스 설계 조정값에 대해서도 개방 상태용과 좁혀진 상태용의 2종류를 준비한다.Fig. 6 is an example of a case in which the diaphragm is in the open state and the state in which the diaphragm is narrowed. As shown in FIG. 6, the default shading correction coefficient is prepared in the default shading table according to the state of the diaphragm, that is, the state for the open state and the state for the state where the default shading correction coefficient is narrowed. The default shading correction coefficient is selected according to the state of the current aperture. Thus, the second RGB block statistical value can be a statistical value corrected for the change due to the iris. In addition, the white balance design adjustment value is prepared for the open state and for the narrowed state.

그리고 RGB블럭 색평가에서는 조리개의 상태에 따라 2개의 디폴트 셰이딩 보정 계수 중 한쪽의 디폴트 셰이딩 보정 계수와 2개의 화이트 밸런스 설계 조정값 중 한쪽의 화이트 밸런스 설계 조정값이 선택된다. 다음으로, 선택된 디폴트 셰이딩 보정 계수를 사용하여 제2 RGB블럭 통계값을 산출하고, 산출된 제2 RGB블럭 통계값과 선택된 화이트 밸런스 설계 조정값을 사용함으로써 보다 올바르게 광원 추정을 할 수 있다.In the RGB block color evaluation, one of the two default shading correction coefficients and one of the two white balance design adjustment values is selected according to the state of the iris. Next, the second RGB block statistic value is calculated using the selected default shading correction coefficient, and more accurate light source estimation can be performed by using the calculated second RGB block statistical value and the selected white balance design adjustment value.

광원 추정 결과에 의해 사전에 광원 종류별로 준비된 셰이딩 보정 차분 계수 중 하나가 선택된다. 또는 셰이딩 보정 차분 계수는 여러 개의 광원 종류별 셰이딩 보정 차분 계수에 기초하여 보간 처리 등에 의해 산출된다. 이미 구해진 디폴트 셰이딩 보정 계수와, 선택 또는 산출된 셰이딩 보정 차분 계수의 곱셈에 의해 현재 셰이딩 보정 계수가 구해진다.One of the shading correction difference coefficients prepared in advance for each light source type is selected according to the light source estimation result. Or the shading correction difference coefficient is calculated by interpolation processing or the like based on the shading correction difference coefficient for each light source type. The current shading correction coefficient is obtained by multiplying the already obtained default shading correction coefficient by the selected or calculated shading correction correction coefficient.

이와 같이 디폴트 셰이딩 보정 계수를 여러 개 준비함으로써 보다 고정밀도의 광원 추정을 할 수 있게 된다.Thus, by providing a plurality of default shading correction coefficients, more accurate light source estimation can be performed.

<본 발명의 일 또는 다른 실시형태의 효과>&Lt; Effects of one or other embodiments of the present invention >

(1)화이트 밸런스 게인 산출시에 화상 전체를 평가하는 것, (2)화이트 밸런스 게인 산출을 위한 색평가시에 셰이딩의 영향을 억제하는 것, (3)화이트 밸런스 게인 수속점을 조정할 필요 없이 간단히 화이트 밸런스 게인을 산출하는 것,의 요구를 충족시키기 위해 화이트 밸런스 게인 산출을 위한 광원 판정 처리의 전단에서 셰이딩 보정을 수행하는 방법을 생각할 수 있다.(1) evaluating the entire image at the time of white balance gain calculation, (2) suppressing the influence of shading at the time of color evaluation for white balance gain calculation, (3) A method of performing the shading correction at the previous stage of the light source determination processing for calculating the white balance gain can be conceived in order to satisfy the requirement of calculating the white balance gain.

그러나 셰이딩은 줌이나 조리개라는 렌즈의 광학적 요소뿐만 아니라 촬영 환경광의 영향을 받아 변화된다. 따라서 셰이딩 보정을 위해서는 촬영 환경에 적합한 셰이딩 보정 계수를 동적으로 산출하는 것이 바람직하다. 그런데 셰이딩 보정 계수를 동적으로 변화시키면 광원 판정을 위한 입력값인 RGB블럭 통계값이 동적으로 변화되는 셰이딩 보정의 영향을 받는다. 따라서 올바른 광원 판정을 할 수 없다는 문제가 발생한다.Shading, however, is affected by the optical components of the lens, such as zoom or iris, as well as the ambient light. Therefore, it is preferable to dynamically calculate a shading correction coefficient suitable for the photographing environment for the shading correction. However, if the shading correction coefficient is changed dynamically, the RGB block statistic value, which is an input value for the light source determination, is influenced by the dynamically changing shading correction. Therefore, there arises a problem that correct light source determination can not be performed.

한편, 이상 상세히 설명한 것처럼 본 실시형태는 화이트 밸런스 게인 산출부(130)의 입력값에 디폴트 셰이딩 보정 계수를 적용함으로써 셰이딩의 영향을 억제하여 화상 전체에서 광원을 추정할 수 있다. 또 줌 위치나 조리개, 광원 추정 결과에 기초하여 동적으로 셰이딩 보정을 적용하는 경우라 해도 셰이딩 보정 계수의 변화분을 역보정함으로써 광원 추정에 영향을 주지 않도록 할 수 있다.On the other hand, as described in detail above, in this embodiment, by applying the default shading correction coefficient to the input value of the white balance gain calculating unit 130, the influence of the shading can be suppressed and the light source can be estimated from the whole image. Further, even when the shading correction is dynamically applied based on the zoom position, the diaphragm, and the light source estimation result, it is possible to prevent the light source estimation from being influenced by inversely correcting the change of the shading correction coefficient.

화이트 밸런스 게인은, 출력 화상의 화상 처리부(110)에 적용되는 셰이딩 보정 계수가 반영된 제1 RGB블럭 통계값으로부터 산출되기 때문에 화이트 밸런스의 수속점을 조정하는 등 복잡한 처리를 필요로 하지 않는다. 이상에 의해 셰이딩 보정 최적화와 화이트 밸런스 보정 최적화를 양립시킬 수 있게 되어 양호한 화질을 제공할 수 있다.Since the white balance gain is calculated from the first RGB block statistic value reflecting the shading correction coefficient applied to the image processing unit 110 of the output image, complicated processing such as adjusting the convergence point of white balance is not required. As a result, the shading correction optimization and the white balance correction optimization can be compatible with each other, thereby providing good image quality.

이상, 첨부 도면을 참조하여 본 발명의 바람직한 실시형태에 대해서 상세히 설명하였으나, 본 발명은 상기 예로 한정되지 않는다. 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 기술적 사상의 범주 내에서 각종 변경예 또는 수정예를 생각해낼 수 있는 것은 명백하며, 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.Although the preferred embodiments of the present invention have been described in detail with reference to the accompanying drawings, the present invention is not limited thereto. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims and their equivalents. .

예를 들면, 상술한 실시형태에서는 제1 RGB블럭 통계값에 변환 계수를 곱함으로써 제2 RGB블럭 통계값을 취득한다고 하였으나, 본 발명은 이 예로 한정되지 않는다. 예를 들면 제2 RGB블럭 통계값은 입력된 화상 데이터에 대해 디폴트 셰이딩 계수를 곱해 RGB블럭 통계값을 취득하는 것으로 해도 좋다.For example, in the above-described embodiment, the second RGB block statistic value is obtained by multiplying the first RGB block statistical value by the conversion coefficient, but the present invention is not limited to this example. For example, the second RGB block statistical value may be obtained by multiplying the input image data by the default shading coefficient to obtain the RGB block statistical value.

110 화상 처리부
102 이미지 센서
104 화상 전처리부
106 셰이딩 보정부
108 화이트 밸런스 처리부
112 디모자이킹 처리부
114 색보정부
116 감마 처리부
110 image processing section
102 Image Sensor
104 image pre-
106 Shading Correction
108 White Balance Processor
112 demosaicing processing unit
114 color government
116 Gamma processor

Claims (9)

직전까지의 화상 프레임에 기초하여 산출된 직전 광원 추정값 또는 촬상시의 촬영 설정 정보에 기초하여 현재 셰이딩 계수를 산출하는 현재 셰이딩 계수 산출부;
상기 현재 셰이딩 계수에 기초하여 촬상 화상을 셰이딩 보정하여 제1 셰이딩 보정 완료 화상을 생성하는 제1 셰이딩 보정부;
상기 제1 셰이딩 보정 완료 화상을 블럭으로 분할하여 통계 처리하여 제1 RGB블럭 통계값을 산출하는 제1 RGB블럭 통계부;
사전에 정해진 디폴트 셰이딩 계수에 기초하여 상기 촬상 화상을 셰이딩 보정하여 제2 셰이딩 보정 완료 화상을 생성하는 제2 셰이딩 보정부;
상기 제2 셰이딩 보정 완료 화상을 블럭으로 분할하여 통계 처리하여 제2 RGB블럭 통계값을 산출하는 제2 RGB블럭 통계부;
상기 제2 RGB블럭 통계값에 기초하여 현재의 광원 추정값을 산출하는 광원 추정부;
상기 현재의 광원 추정값과 상기 제1 RGB블럭 통계값에 기초하여 화이트 밸런스 게인을 산출하는 화이트 밸런스 게인 산출부; 및
상기 화이트 밸런스 게인을 상기 제1 셰이딩 보정 완료 화상에 적용하여 화이트 밸런스 보정하는 화이트 밸런스 처리부;
를 포함하는 것을 특징으로 하는 촬상장치.
A current shading coefficient calculating unit for calculating a current shading coefficient based on the immediately preceding light source estimated value calculated based on the immediately preceding image frame or photographing setting information at the time of photographing;
A first shading correction unit for shading-correcting the sensed image based on the current shading coefficient to generate a first shading correction completed image;
A first RGB block statistic unit for dividing the first shading-corrected image into blocks and statistically processing the first shading-corrected image to calculate a first RGB block statistic value;
A second shading correction unit for shading-correcting the captured image based on a predetermined default shading coefficient to generate a second shading-corrected image;
A second RGB block statistic unit for dividing the second shading-corrected image into blocks and statistically processing the second shading-corrected image to calculate a second RGB block statistic value;
A light source estimator for calculating a current light source estimate based on the second RGB block statistics;
A white balance gain calculating unit for calculating a white balance gain based on the current light source estimation value and the first RGB block statistical value; And
A white balance processor for applying the white balance gain to the first shading correction completed image to perform white balance correction;
And the image pickup device.
제1항에 있어서,
상기 제2 RGB블럭 통계부는, 상기 디폴트 셰이딩 계수와 상기 현재 셰이딩 계수의 차분을 산출하고 상기 제1 RGB블럭 통계값에 곱함으로써 상기 제2 RGB블럭 통계값을 산출하는 것을 특징으로 하는 촬상장치.
The method according to claim 1,
Wherein the second RGB block statistics unit calculates the second RGB block statistic value by calculating a difference between the default shading coefficient and the current shading coefficient and multiplying the first RGB block statistic value.
제1항에 있어서,
상기 디폴트 셰이딩 계수는 광원색에 의해 변화하는 셰이딩에 기초하여 산출한 평균적인 단일 계수인 것을 특징으로 하는 촬상장치.
The method according to claim 1,
Wherein the default shading coefficient is an average single coefficient calculated on the basis of a shading varying depending on a light source color.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020100024345A 2009-08-12 2010-03-18 Photographing apparatus and photographing method KR101639664B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009187300A JP5358344B2 (en) 2009-08-12 2009-08-12 Imaging apparatus and imaging method
JPJP-P-2009-187300 2009-08-12

Publications (2)

Publication Number Publication Date
KR20110016812A KR20110016812A (en) 2011-02-18
KR101639664B1 true KR101639664B1 (en) 2016-07-14

Family

ID=43768359

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100024345A KR101639664B1 (en) 2009-08-12 2010-03-18 Photographing apparatus and photographing method

Country Status (2)

Country Link
JP (1) JP5358344B2 (en)
KR (1) KR101639664B1 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101920816B1 (en) * 2013-07-08 2018-11-21 한화테크윈 주식회사 White balance method for shading compensation, and apparatus applied to the same
JP5646705B1 (en) * 2013-07-18 2014-12-24 アキュートロジック株式会社 Image processing apparatus, image processing method, and image processing program
JP6276564B2 (en) * 2013-11-18 2018-02-07 三星電子株式会社Samsung Electronics Co.,Ltd. Image processing apparatus and image processing method
JP6428072B2 (en) * 2014-09-11 2018-11-28 株式会社ソシオネクスト Image processing method and image processing apparatus
JP6573798B2 (en) * 2014-11-21 2019-09-11 三星電子株式会社Samsung Electronics Co.,Ltd. Image processing apparatus and image processing method
WO2017043811A1 (en) * 2015-09-09 2017-03-16 삼성전자 주식회사 Image processing apparatus and image processing method
JP6563751B2 (en) 2015-09-09 2019-08-21 三星電子株式会社Samsung Electronics Co.,Ltd. Image processing apparatus and image processing method
CN111670575B (en) * 2019-01-07 2021-09-21 华为技术有限公司 White balance processing method and device for image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343358A (en) * 2003-05-14 2004-12-02 Olympus Corp Image processing system, image processing control method, and program
JP2008085388A (en) * 2006-09-25 2008-04-10 Fujifilm Corp Imaging apparatus
JP2009506700A (en) * 2005-08-30 2009-02-12 ノキア コーポレイション Image processing apparatus with auto white balance

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3218761B2 (en) * 1992-12-28 2001-10-15 ソニー株式会社 Shading correction device
JP4487640B2 (en) * 2004-06-01 2010-06-23 ソニー株式会社 Imaging device
JP4603319B2 (en) * 2004-09-01 2010-12-22 パナソニック株式会社 Image input device
JP2008118491A (en) * 2006-11-07 2008-05-22 Sharp Corp Image processing device, solid photographing device, electronic device, image processing method, and image processing program
JP2009088800A (en) * 2007-09-28 2009-04-23 Nikon Corp Color imaging device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343358A (en) * 2003-05-14 2004-12-02 Olympus Corp Image processing system, image processing control method, and program
JP2009506700A (en) * 2005-08-30 2009-02-12 ノキア コーポレイション Image processing apparatus with auto white balance
JP2008085388A (en) * 2006-09-25 2008-04-10 Fujifilm Corp Imaging apparatus

Also Published As

Publication number Publication date
JP5358344B2 (en) 2013-12-04
JP2011041056A (en) 2011-02-24
KR20110016812A (en) 2011-02-18

Similar Documents

Publication Publication Date Title
KR101639664B1 (en) Photographing apparatus and photographing method
JP3892648B2 (en) Image input device, white balance adjustment method, and computer-readable recording medium storing program for executing the method
JP4768448B2 (en) Imaging device
US7030913B2 (en) White balance control apparatus and method, and image pickup apparatus
US9838625B2 (en) Image processing apparatus and control method for image processing apparatus for controlling correction of a black level in a combined image signal
JP6312487B2 (en) Image processing apparatus, control method therefor, and program
US10326947B2 (en) Image processing device, imaging device, image processing method, and program
JP2013162248A (en) Imaging device and method for controlling the same
US20070211165A1 (en) Imaging device, method for controlling imaging device, program of method for controlling imaging device, recording medium in which program of method for controlling imaging device is recorded
US10475162B2 (en) Image processing device, method, and storage medium for gamma correction based on illuminance
JP5631769B2 (en) Image processing device
JP5173664B2 (en) Image processing apparatus and image processing method
US8957990B2 (en) Apparatus and method for compensating for back light of image
JP4857856B2 (en) Electronic camera having saturation adjustment function and image processing program
US10937230B2 (en) Image processing
JP4993275B2 (en) Image processing device
JP2012065069A (en) Defect detection and compensation apparatus, program and storage medium
JP5649409B2 (en) Image processing device
US8625008B2 (en) Image processing apparatus having luminance-type gamma correction circuit capable of changing nonlinear characteristic, and image processing method therefor
JP4321317B2 (en) Electronic camera, camera system, and black spot correction method for electronic camera
JP2007189344A (en) Imaging apparatus and its signal processing method
KR101545323B1 (en) System and method for adjusting auto white balance(AWB)
KR20070099331A (en) A compensating apparatus and a compensating method for image
JP2003259206A (en) Device and method for processing signal, recording medium and program
JP2011023943A (en) Auto white balance system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190626

Year of fee payment: 4