KR101092539B1 - Image apparatus for controlling white-balance automatically and method for controlling white-balance thereof - Google Patents
Image apparatus for controlling white-balance automatically and method for controlling white-balance thereof Download PDFInfo
- Publication number
- KR101092539B1 KR101092539B1 KR1020050013718A KR20050013718A KR101092539B1 KR 101092539 B1 KR101092539 B1 KR 101092539B1 KR 1020050013718 A KR1020050013718 A KR 1020050013718A KR 20050013718 A KR20050013718 A KR 20050013718A KR 101092539 B1 KR101092539 B1 KR 101092539B1
- Authority
- KR
- South Korea
- Prior art keywords
- light source
- average value
- value
- source information
- gray
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6077—Colour balance, e.g. colour cast correction
- H04N1/608—Colour balance, e.g. colour cast correction within the L, C1, C2 colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
- H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
화이트 밸런스를 자동 조정하는 영상장치 및 그의 화이트밸런스 조정방법이 개시된다. 본 화이트 밸런스를 자동 조정하는 영상장치는 이미지센서에서 센싱된 입력영상의 데이터를 색도 성분을 갖는 색공간의 데이터로 변환하는 색공간 변환부, 다수의 광원들 및 소정의 칼라체커를 이용하여 검출되는 각각의 광원들의 그레이 영역들을 기초로 입력영상 데이터의 그레이 영역을 추출하는 그레이영역 추출부, 입력영상의 색역내 평균값 및 중심값을 이용하여 초기 광원 정보를 추출하며, 그레이 성분(gray component)과 색도 성분(chromatic component)간에 휘도차를 갖는 것을 이용하여 추출된 그레이 영역에 유입된 색도 성분이 배제되도록 초기 광원 정보를 조정하는 검출부, 조정된 광원 정보를 기초로 입력영상 데이터의 스케일링에 적용될 게인을 계산하며, 계산된 게인을 입력영상 데이터에 적용하여 화이트 밸런스를 조정하는 게인 제어부, 및 화이트 밸런스가 조정된 입력영상이 디스플레이되도록 신호처리하는 신호처리부를 포함한다.An image device for automatically adjusting white balance and a method of adjusting white balance thereof are disclosed. The image device for automatically adjusting the white balance is detected using a color space converter, a plurality of light sources, and a predetermined color checker, which converts data of an input image sensed by an image sensor into data of a color space having chromaticity components. The gray region extractor extracts the gray region of the input image data based on the gray regions of the respective light sources, and extracts the initial light source information by using the color gamut average and the center value of the input image. A detector which adjusts initial light source information to exclude chromatic components introduced into the extracted gray region by using a luminance difference between chromatic components, and calculates a gain to be applied to scaling of input image data based on the adjusted light source information A gain controller for adjusting the white balance by applying the calculated gain to the input image data; Byte and a signal processor for processing the signal so that the balance-adjusted input image display.
그레이영역, 광원정보, 화이트 포인트, 그레이 월드 가정, 스케일링 Gray area, light source information, white point, gray world assumption, scaling
Description
도 1은 본 발명의 일실시예에 따른 영상장치의 화이트 밸런스 조정 장치의 블럭도,1 is a block diagram of a white balance adjusting apparatus of an imaging apparatus according to an embodiment of the present invention;
도 2a 및 도 2b는 도 1의 색공간 변환부의 동작을 설명하기 위한 도면,2A and 2B are diagrams for describing an operation of the color space converter of FIG. 1;
도 3a 내지 도 3c는 도 1의 그레이영역 추출부의 동작을 설명하기 위한 도면,3A to 3C are diagrams for describing an operation of the gray region extraction unit of FIG. 1;
도 4는 도 1의 검출부의 블럭도,4 is a block diagram of a detection unit of FIG. 1;
도 5a 내지 도 5c는 도 1의 광원정보 추출부의 동작을 설명하기 위한 도면,5A to 5C are diagrams for describing an operation of the light source information extraction unit of FIG. 1;
도 6a 및 도 6b는 조정부의 동작을 설명하기 위한 도면, 6A and 6B are views for explaining the operation of the adjusting unit;
도 7은 본 발명의 일실시예에 따른 영상장치의 화이트 밸런스 조정 방법을 설명하기 위한 흐름도, 그리고7 is a flowchart illustrating a white balance adjustment method of an imaging apparatus according to an embodiment of the present invention;
도 8a 및 도 8b는 화이트 밸런스를 조정한 후의 그레이 패치에 대한 히스토그램을 나타낸 도면이다. 8A and 8B show histograms for gray patches after adjusting white balance.
* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings
100: 색공간 변환부 200: 그레이영역 추출부100: color space conversion unit 200: gray area extraction unit
300: 검출부 400: 광원정보 추출부300: detection unit 400: light source information extraction unit
410: 색역중심 계산부 420: 색역평균 계산부410: color gamut center calculating unit 420: color gamut average calculating unit
430: 가중평균값 추출부 500: 조정부430: weighted average value extraction unit 500: adjustment unit
600: 게인 제어부 600: gain control unit
본 발명은 색도 색공간(chromatic color space)에서 추출한 영상장치의 그레이 영역에 유입되는 색도 성분을 최소화하여 정확한 광원을 검출한 후, 검출한 광원 정보를 이용하여 화이트 밸런스를 자동으로 조정할 수 있는 화이트 밸런스를 자동 조정하는 영상장치 및 그의 화이트 밸런스 조정방법에 관한 것이다. The present invention detects an accurate light source by minimizing chromatic components introduced into a gray region of an imaging apparatus extracted from a chromatic color space, and then automatically adjusts the white balance using the detected light source information. The present invention relates to an image device for automatically adjusting the white balance and a method for adjusting the white balance thereof.
화이트 밸런스 조정은 입력된 영상데이터에서 광원에 의한 물체색의 변화가 가장 큰 화이트를 검출하여 검출한 화이트의 RGB 구성비로서 색온도를 판단한 후, 검출한 화이트를 기준으로 색온도에 따른 R(Red)과 B(Blue)를 보정함으로써 전체 색감을 시프트(shift)시켜 색 밸런스를 맞추는 색보정 기능을 말한다. The white balance adjustment is performed by detecting the white color having the largest change in the object color by the light source in the input image data and determining the color temperature as the RGB component ratio of the white. Then, R (Red) and B ( It is a color correction function that adjusts the color balance by shifting the overall color by correcting blue).
일반적으로 디지털 스틸 카메라, 디지털 비디오 카메라 등과 같은 영상장치를 사용하여 동일한 피사체를 촬상할 경우, 실내의 백색 램프, 형광 조명등, 태양광 아래 등 여러 가지 광원의 조건에 따라 촬상된 색의 겉보기는 달라지게 된다. 사람의 눈은 각각의 광원에 순응하여 화이트를 화이트로 느낄 수 있는 칼라 항상성(color constancy)을 가지나, 영상장치는 색온도(color temperature)가 상이한 광 원에 포함된 RGB 성분이 반영되어 광원의 색온도가 높을 경우에는 푸른색이 포함된 화이트를 재현하고 색온도가 낮은 경우에는 붉은색이 포함된 화이트를 재현하게 된다. In general, when photographing the same subject using an imaging device such as a digital still camera or a digital video camera, the apparent color of the captured image may vary depending on the conditions of various light sources such as white lamps, fluorescent lamps, and under sunlight. do. The human eye has color constancy, which can feel white as white in response to each light source, but the imaging device reflects RGB components included in light sources having different color temperatures. If it is high, it reproduces white with blue color, and if the color temperature is low, it reproduces white with red color.
따라서, 광원에 의해 색온도가 변한 경우에 화이트가 희게 보이도록 하는 화이트 밸런스 조정이 필요하다. 예를 들어, 푸른색이 포함된 화이트에서는 R의 게인을 증가시키고 B의 게인을 감소시키도록 조정하고, 붉은색이 포함된 화이트에서는 B의 게인을 증가시키고 R의 게인을 감소시키도록 조정할 필요가 있다. Therefore, it is necessary to adjust the white balance so that white appears white when the color temperature is changed by the light source. For example, white with blue should be adjusted to increase the gain of R and decrease the gain of B, and white with red would need to be adjusted to increase the gain of B and reduce the gain of R. have.
이러한 화이트 밸런스를 정확하게 조정하기 위해서는 기준이 되는 화이트를 정확하게 검출하여야 한다. 이를 위해서 촬상한 화면에 포함되는 색성분 전체를 적분하면 제로, 즉 무체색에 가깝다고 하는 그레이 월드 가정(gray world assumption)에 근거하여 화이트 밸런스를 조정할 수 있다. 특히, 그레이 월드 가정하에서의 화이트 밸런스 조정은, 입력영상이 다양한 색을 포함하여 색의 분포가 넓은 경우에 효과적으로 화이트를 검출할 수 있다. 그레이 월드 가정하에서 화이트 밸런스를 조정할 경우, 입력영상에 지배적인 칼라가 존재하거나 추출되는 그레이 영역에 유입되는 색도성분이 유입될 경우에도 정확한 광원 정보를 획득하여 화이트 밸런스를 정확하게 수행할 필요가 있다. In order to accurately adjust such a white balance, it is necessary to accurately detect white as a reference. To this end, by integrating all of the color components included in the picked-up screen, the white balance can be adjusted based on a gray world assumption of zero, that is, near bodyless color. In particular, the white balance adjustment under the gray world assumption can effectively detect white when the input image includes various colors and the color distribution is wide. When adjusting the white balance under the gray world assumption, it is necessary to accurately perform white balance by acquiring accurate light source information even when there is a dominant color in the input image or chromatic components introduced into the extracted gray region.
따라서, 본 발명의 목적은 색도 색공간(chromatic color space)에서 추출한 그레이 영역에 유입되는 색도 성분을 최소화하고, 입력영상에 존재하는 지배적인 칼라를 배제하여 검출한 광원 정보를 이용하여 정확하게 화이트 밸런스를 조정할 수 있는 화이트 밸런스를 자동 조정하는 영상장치 및 그의 화이트 밸런스 조정방법을 제공하는데 있다. Accordingly, an object of the present invention is to minimize the chromatic component introduced into the gray region extracted from the chromatic color space, and to accurately correct the white balance using light source information detected by excluding the dominant color present in the input image. An image device for automatically adjusting an adjustable white balance and a method for adjusting the white balance thereof are provided.
상기 목적을 달성하기 위한 본 발명에 따른 화이트 밸런스를 자동 조정하는 영상장치는 이미지센서에서 센싱된 입력영상의 데이터를 색도 성분을 갖는 색공간의 데이터로 변환하는 색공간 변환부, 다수의 광원들 및 소정의 칼라체커를 이용하여 검출되는 각각의 광원들의 그레이 영역들을 기초로 입력영상 데이터의 그레이 영역을 추출하는 그레이영역 추출부, 입력영상 데이터의 색역내 평균값 및 중심값을 이용하여 초기 광원 정보를 추출하며, 그레이 성분(gray component)과 색도 성분(chromatic component)간에 휘도차가 존재하는 것을 이용하여 추출된 그레이 영역에 유입된 색도 성분이 배제되도록 초기 광원 정보를 조정하는 검출부, 조정된 광원 정보를 기초로 입력영상 데이터의 스케일링에 적용될 게인을 계산하며, 계산된 게인을 입력영상 데이터에 적용하여 화이트 밸런스를 조정하는 게인 제어부, 및 화이트 밸런스가 조정된 입력영상이 디스플레이되도록 신호처리하는 신호처리부를 포함한다.The image device for automatically adjusting the white balance according to the present invention for achieving the above object is a color space conversion unit for converting the data of the input image sensed by the image sensor to the data of the color space having a chromaticity component, a plurality of light sources and A gray region extractor which extracts a gray region of the input image data based on the gray regions of the respective light sources detected by using a predetermined color checker, and extracts initial light source information using the color gamut average and the center value of the input image data. A detector for adjusting initial light source information to exclude chromatic components introduced into the extracted gray region by using a luminance difference between the gray component and the chromatic component, based on the adjusted light source information Calculate the gain to be applied to the scaling of the input image data and apply the calculated gain to the input image data. A gain control unit for adjusting the white balance by using the control unit, and a signal processing unit for signal processing to display the input image in which the white balance is adjusted.
이때, 색공간은 휘도(Y)축, R/R+G+B축, B/R+G+B축으로 이루어지는 색공간 및 휘도(Y)축, R/G축, B/G축으로 이루어지는 색공간 중 어느 하나이다.In this case, the color space includes a color space consisting of a luminance (Y) axis, an R / R + G + B axis, and a B / R + G + B axis, and a luminance (Y) axis, an R / G axis, and a B / G axis. One of the color spaces.
바람직하게는 그레이영역 추출부는, 다수의 광원을 이용하여 획득되는 그레이 패치의 데이터의 평균값을 이용하여 각 광원의 화이트 포인트를 검출한 후, 각 광원의 화이트 포인트 중심으로 소정 범위를 각 광원의 그레이 영역으로 검출하여 각 광원의 모든 그레이 영역을 포함하는 영역을 입력영상의 그레이 영역으로 추출한다.Preferably, the gray area extracting unit detects a white point of each light source by using an average value of data of gray patches obtained by using a plurality of light sources, and then sets a predetermined range around the white point of each light source. Is detected to extract an area including all gray areas of each light source as a gray area of the input image.
또한, 바람직하게는 검출부는, 입력영상의 색역내 평균값 및 중심값을 이용하여 색역내 평균값이 반영된 가중 평균값을 계산한 후, 가중 평균값을 기초로 초기 광원 정보를 추출하는 광원정보 추출부, 및 그레이 성분(gray component)과 색도 성분(chromatic component)간에 휘도차가 존재하는 것을 이용하여 그레이 영역을 저휘도의 제1 영역과 고휘도의 제2 영역으로 분할한 후, 제1 영역의 평균값 및 제2 영역의 평균값을 기초로 초기 광원 정보를 조정하는 조정부를 포함한다.Preferably, the detector may further include: a light source information extracting unit configured to calculate a weighted average value in which the color gamut average value is reflected by using the color gamut average and the center value of the input image, and then extract initial light source information based on the weighted average value; The gray region is divided into a low luminance first region and a high luminance second region by using a luminance difference between a gray component and a chromatic component, and then the average value of the first region and the second region And an adjusting unit for adjusting initial light source information based on the average value.
바람직하게는 광원정보 추출부는, 가중 평균값을 각 광원의 화이트 포인트를 연결한 중심축으로 수직 매핑한 후, 각 광원별 가중 평균값을 각 광원의 화이트 포인트로 매핑시 오차를 최소화할 수 있는 움직임을 기초로 상기 매핑된 중심축상의 가중 평균값을 보정하여 초기 광원정보로 추출한다.Preferably, the light source information extraction unit vertically maps the weighted average value to the central axis connecting the white points of each light source, and then based on the movement of minimizing the error when mapping the weighted average value of each light source to the white point of each light source. By correcting the weighted average value on the mapped central axis to extract as the initial light source information.
여기서, 가중 평균값은 다음의 수학식에 의해 계산된다.Here, the weighted average value is calculated by the following equation.
여기서, rweighted는 가중 평균값의 R/R+G+B값, bweighted는 가중 평균값의 B/R+G+B값이며, α와 β는 각각 상수이며, rave는 색역내 평균값의 R/R+G+B값, bave는 색역내 평균값의 B/R+G+B값을 나타낸다. Where r weighted is the R / R + G + B value of the weighted average value, b weighted is the B / R + G + B value of the weighted average value, α and β are constants, and r ave is R / R of the average value in the gamut The R + G + B value and b ave represent the B / R + G + B value of the color gamut mean value.
바람직하게는 조정부는, 그레이 영역에서 최대값과 최소값의 평균값 및 그레이 영역의 평균값을 이용하여 결정된 문턱 휘도값을 기준으로 제1 영역과 제2 영역으로 분할한 후, 제1 영역의 평균값과 제2 영역의 평균값을 이용하여 초기 광원정보를 조정한다. Preferably, the adjusting unit divides the first area and the second area based on the threshold luminance value determined using the average value of the maximum and minimum values and the average value of the gray area in the gray area, and then the average value and the second area of the first area. The initial light source information is adjusted using the average value of the area.
이때, 문턱 휘도값은 다음의 수학식에 의해 계산된다.At this time, the threshold luminance value is calculated by the following equation.
여기서, Ythreshold는 문턱 휘도값, Yregion은 제1 영역과 제2 영역의 평균값들의 평균값이며, Yave는 그레이 영역의 평균값이며, α 및 β는 임의의 상수를 나타낸다.Here, Y threshold is a threshold luminance value, Y region is an average value of average values of the first region and the second region, Y ave is an average value of the gray region, and α and β represent an arbitrary constant.
바람직하게는 조정부는, 제1 영역의 평균값 및 제2 영역의 평균값 중 초기 광원 정보와 최단거리를 갖는 평균값을 조정된 광원정보로 검출한다. Preferably, the adjusting unit detects the average value having the shortest distance from the initial light source information among the average value of the first region and the average value of the second region as the adjusted light source information.
이때, 조정된 광원정보는 다음의 수학식에 계산된다.At this time, the adjusted light source information is calculated by the following equation.
여기서, rwht와 bwht는 각각 조정된 광원 정보의 R/R+G+B값, B/R+G+B값이며, rdown과 bdown은 각각 제1 영역의 평균값의 R/R+G+B값, B/R+G+B값이며, rup과 bup은 각각 제2 영역의 색역 평균값의 R/R+G+B값, B/R+G+B값을 나타내며, Distup과 Distdown 은 각각 초기 광원 정보에서 제2 영역의 평균값과, 제1 영역의 평균값과의 거리를 나타낸다. Here, r wht and b wht are R / R + G + B and B / R + G + B values of the adjusted light source information, respectively, and r down and b down are R / R + of the average value of the first region, respectively. G + B value, B / R + G + B value, r up and b up respectively represent R / R + G + B value and B / R + G + B value of the gamut average value of the second area, and Dist up and Dist down indicate a distance between the average value of the second area and the average value of the first area in the initial light source information, respectively.
그리고, 게인은 다음의 수학식에 의해 계산된다.The gain is calculated by the following equation.
여기서, Rgain과 Bgain은 각각 레드(R)에 적용될 게인값과 블루(B)에 적용될 게인값이며, fscaling은 입력영상이 스케일링되는 스케일 요소(scaling factor)이며, rwht와 bwht는 각각 조정된 광원 정보의 R/R+G+B값, B/R+G+B값이다 Here, R gain and B gain are gain values to be applied to red (R) and gain values to be applied to blue (B), respectively, f scaling is a scaling factor to which the input image is scaled, and r wht and b wht are R / R + G + B and B / R + G + B values of the adjusted light source information, respectively.
바람직하게는 게인 제어부는 계산되는 스케일 요소의 역수 및 레드(R)의 게인값을 입력영상의 레드(R)에 곱하고, 스케일 요소의 역수 및 계산되는 블루(B)의 게인값을 입력영상의 블루(B)에 곱하여 입력영상의 화이트 밸런스를 조정한다.Preferably, the gain control unit multiplies the reciprocal of the scale element and the gain value of red (R) by the red (R) of the input image, and multiplies the reciprocal of the scale element and the gain value of the calculated blue (B) by the blue of the input image. Multiply by (B) to adjust the white balance of the input image.
한편, 본 발명의 영상장치의 화이트 밸런스를 자동 조정하는 방법은 이미지센서에서 센싱된 입력영상 데이터를 색도 성분을 갖는 색공간의 데이터로 변환하는 단계, 다수의 광원들 및 소정의 칼라체커를 이용하여 검출되는 각각의 광원들의 그레이 영역들을 기초로 입력영상 데이터의 그레이 영역을 추출하는 단계, 입력영상의 데이터의 색역내 평균값 및 중심값을 이용하여 초기 광원 정보를 추출하며, 그 레이 성분(gray component)과 색도 성분(chromatic component)간에 휘도차가 존재하는 것을 이용하여 추출된 그레이 영역에 유입된 색도 성분이 배제되도록 초기 광원정보를 조정하여 최종 광원정보를 추출하는 단계, 최종 광원정보를 기초로 입력영상 데이터의 스케일링에 적용될 게인을 계산하며, 계산된 게인을 입력영상 데이터에 적용하여 화이트 밸런스를 조정하는 단계, 및 화이트 밸런스가 조정된 입력영상이 디스플레이되도록 신호처리하는 단게를 포함한다.On the other hand, the method for automatically adjusting the white balance of the imaging apparatus of the present invention converts the input image data sensed by the image sensor to the data of the color space having a chromatic component, using a plurality of light sources and a predetermined color checker Extracting a gray region of the input image data based on the gray regions of the detected light sources, extracting initial light source information using the color gamut average and the center value of the input image data, and gray components Extracting the final light source information by adjusting initial light source information to exclude the chromatic component introduced into the extracted gray region by using the existence of the luminance difference between the chromatic component and the chromatic component, and input image data based on the final light source information. Calculate the gain to be applied to the scaling of the white balance and apply the calculated gain to the input image data. And adjusting the signal so that the input image whose white balance is adjusted is displayed.
이때, 색공간은 휘도(Y)축, R/R+G+B축, B/R+G+B축으로 이루어지는 색공간 및 휘도(Y)축, R/G축, B/G축으로 이루어지는 색공간 중 어느 하나이다.In this case, the color space includes a color space consisting of a luminance (Y) axis, an R / R + G + B axis, and a B / R + G + B axis, and a luminance (Y) axis, an R / G axis, and a B / G axis. One of the color spaces.
바람직하게는 그레이영역을 추출하는 단계는, 다수의 광원을 이용하여 획득되는 그레이 패치의 데이터의 평균값을 이용하여 각 광원의 화이트 포인트를 검출하는 단계, 및 각 광원의 화이트 포인트 중심으로 한 소정 범위를 각 광원의 그레이 영역으로 검출하여 각 광원의 모든 그레이 영역을 포함하는 영역을 입력영상의 그레이 영역으로 추출하는 단계를 포함한다.Preferably, extracting the gray region may include detecting a white point of each light source using an average value of data of gray patches obtained using a plurality of light sources, and a predetermined range centered on the white point of each light source. Detecting a gray area of each light source and extracting an area including all gray areas of each light source as a gray area of the input image.
또한, 바람직하게는 최종 광원정보를 추출하는 단계는, 입력영상의 색역내 평균값 및 중심값을 이용하여 색역내 평균값이 반영된 가중 평균값을 계산한 후, 가중 평균값을 기초로 초기 광원 정보를 추출하는 단계, 및 그레이 성분(gray component)과 색도 성분(chromatic component)간에 휘도차가 존재하는 것을 이용하여 그레이 영역을 저휘도의 제1 영역과 고휘도의 제2 영역으로 분할한 후, 제1 영역의 평균값 및 제2 영역의 평균값을 기초로 초기 광원 정보를 조정하는 단계를 포함한다.Preferably, the extracting of the final light source information comprises calculating a weighted average value in which the color gamut average value is reflected using the color gamut average value and the center value of the input image, and then extracting the initial light source information based on the weighted average value. And dividing the gray region into a low luminance first region and a high luminance second region by using a luminance difference between the gray component and the chroma component, and then the average value and the first value of the first region. Adjusting initial light source information based on an average value of the two areas.
바람직하게는 광원정보를 추출하는 단계는, 가중 평균값을 각 광원의 화이트 포인트를 연결한 중심축으로 수직 매핑한 후, 각 광원별 가중 평균값을 각 광원의 화이트 포인트로 매핑시 오차를 최소화할 수 있는 움직임을 기초로 매핑된 중심축상의 가중 평균값을 보정하여 초기 광원정보로 추출한다.Preferably, the step of extracting the light source information may vertically map the weighted average value to the central axis connecting the white points of each light source, and then minimize the error when mapping the weighted average value for each light source to the white point of each light source. The weighted average value on the central axis mapped based on the motion is corrected and extracted as initial light source information.
이때, 가중 평균값은 다음의 수학식에 의해 계산된다.At this time, the weighted average value is calculated by the following equation.
여기서, rweighted는 가중 평균값의 R/R+G+B값, bweighted는 가중 평균값의 B/R+G+B값이며, α와 β는 각각 상수이며, rave는 색역내 평균값의 R/R+G+B값, bave는 색역내 평균값의 B/R+G+B값을 나타낸다. Where r weighted is the R / R + G + B value of the weighted average value, b weighted is the B / R + G + B value of the weighted average value, α and β are constants, and r ave is R / R of the average value in the gamut The R + G + B value and b ave represent the B / R + G + B value of the color gamut mean value.
바람직하게는 초기 광원정보를 조정하는 단계는, 그레이 영역에서 최대값과 최소값의 평균값 및 그레이 영역의 평균값을 이용하여 결정된 문턱 휘도값을 기준으로 제1 영역과 제2 영역으로 분할한 후, 제1 영역의 평균값과 제2 영역의 평균값을 이용하여 초기 광원정보를 조정한다. Preferably, the adjusting of the initial light source information comprises dividing the first light source information into a first region and a second region based on a threshold luminance value determined by using an average value of the maximum and minimum values and an average value of the gray region in the gray region. The initial light source information is adjusted using the average value of the area and the average value of the second area.
이때, 문턱 휘도값은 다음의 수학식에 의해 계산된다.At this time, the threshold luminance value is calculated by the following equation.
여기서, Ythreshold는 문턱 휘도값, Yregion은 제1 영역과 제2 영역의 평균값들의 평균값이며, Yave는 그레이 영역의 평균값이며, α 및 β는 임의의 상수를 나타낸다.Here, Y threshold is a threshold luminance value, Y region is an average value of average values of the first region and the second region, Y ave is an average value of the gray region, and α and β represent an arbitrary constant.
바람직하게는 초기 광원정보를 조정하는 단계는, 제1 영역의 평균값 및 제2 영역의 평균값 중 초기 광원 정보와 최단거리를 갖는 평균값을 조정된 광원정보로 검출한다. Preferably, the adjusting of the initial light source information detects the average value having the shortest distance from the initial light source information among the average value of the first region and the average value of the second region as the adjusted light source information.
이때, 조정된 광원정보는 다음의 수학식에 계산된다.At this time, the adjusted light source information is calculated by the following equation.
여기서, rwht와 bwht는 각각 조정된 광원 정보의 R/R+G+B값, B/R+G+B값이며, rdown과 bdown은 각각 제1 영역의 평균값의 R/R+G+B값, B/R+G+B값이며, rup과 bup은 각각 제2 영역의 평균값의 R/R+G+B값, B/R+G+B값을 나타내며, Distup과 Distdown은 각각 초기 광원 정보에서 제2 영역의 평균값과, 제1 영역의 평균값과의 거리를 나타낸다. Here, r wht and b wht are R / R + G + B and B / R + G + B values of the adjusted light source information, respectively, and r down and b down are R / R + of the average value of the first region, respectively. G + B value, B / R + G + B value, r up and b up respectively represent R / R + G + B value and B / R + G + B value of the average value of the second area, and Dist up And Dist down indicate a distance between the average value of the second area and the average value of the first area in the initial light source information, respectively.
이때, 게인은 다음의 수학식에 의해 계산된다. At this time, the gain is calculated by the following equation.
여기서, Rgain과 Bgain은 각각 레드(R)에 적용될 게인값과 블루(B)에 적용될 게인값이며, fscaling은 입력영상이 스케일링되는 스케일 요소(scaling factor)이며, rwht와 bwht는 각각 조정된 광원 정보의 R/R+G+B값, B/R+G+B값이다 Here, R gain and B gain are gain values to be applied to red (R) and gain values to be applied to blue (B), respectively, f scaling is a scaling factor to which the input image is scaled, and r wht and b wht are R / R + G + B and B / R + G + B values of the adjusted light source information, respectively.
바람직하게는 화이트 밸런스를 조정하는 단계는, 스케일 요소의 역수 및 계산되는 레드(R)의 게인값을 입력영상의 레드(R)에 곱하고, 스케일 요소의 역수 및 계산되는 블루(B)의 게인값을 입력영상의 블루(B)에 곱하여 입력영상의 화이트 밸런스를 조정한다. Preferably, the adjusting of the white balance may include multiplying the inverse of the scale element and the gain of the calculated red R by the red of the input image to the red of the input image, and the inverse of the scale element and the gain of the calculated blue B. Multiply by blue (B) of the input image to adjust the white balance of the input image.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. Hereinafter, with reference to the drawings will be described the present invention in more detail.
도 1은 본 발명의 일실시예에 따른 영상장치의 화이트 밸런스 조정 장치의 블럭도이다. 1 is a block diagram of a white balance adjusting apparatus of an imaging apparatus according to an embodiment of the present invention.
도 1을 참조하면, 본 발명에 따른 영상장치의 화이트 밸런스 조정 장치는 색공간 변환부(100), 그레이영역 추출부(gray region detection unit)(200), 검출부(300), 게인 제어부(gain control unit)(600)를 구비한다. 이때, 검출부(300)는 광원정보 추출부(400) 및 조정부(500)를 포함한다. Referring to FIG. 1, a white balance adjusting apparatus of an imaging apparatus according to the present invention includes a
색공간 변환부(100)는 입력 영상데이터를 색도 색공간(chromatic color space)의 데이터로 변환한다. 실제 칼라 성분 중에서 광원 변화의 영향을 많이 반영하는 칼라는 그레이 칼라이므로, 그레이 영역 검출에 용이한 색도 색공간으로 입력 영상데이터를 변환한다. 즉, 이미지센서의 출력값인 CCD 출력 RGB값의 화이트 밸런스를 조정하기 위해 CCD 출력 RGB값을 그레이 검출이 용이한 색도 색공간의 데이터로 변환한다. The
이때, 색도 색공간은 휘도축, R/(R+G+B)축, B/(R+G+B)축으로 이루어지는 색공간, 및 휘도축, R/G축, B/G축으로 이루어지는 색공간 등이 될 수 있다. 이는 광원에 의해 칼라 캐스트(color cast)가 발생할 경우에는 그레이 칼라들의 RGB 구성성분간의 비(ratio)가 변화하므로, CCD 출력 RGB값의 RGB 구성 성분간의 비를 좌표축으로 사용하는 색도 색공간으로 입력 영상데이터를 변환한다. In this case, the chromaticity color space includes a color space consisting of a luminance axis, an R / (R + G + B) axis, and a B / (R + G + B) axis, and a luminance axis, an R / G axis, and a B / G axis. It may be a color space. This is because when the color cast is generated by the light source, the ratio between the RGB components of the gray colors changes, so that the input image is a chromaticity color space using the ratio between the RGB components of the CCD output RGB value as the coordinate axis. Convert the data.
그레이영역 추출부(200)는 다수의 광원들을 이용하여 획득되는 그레이 패치의 데이터를 기초로 그레이 영역 범위를 추출한다. 이때, 다수의 광원들은 D65, D50, CWF, A 등이 될 수 있으며, 광원의 수를 증가시킴으로써 그레이 영역 추출에 대한 정확도를 높일 수 있다. The
그레이영역 추출부(200)는 다수의 광원들에 대한 맥베스 칼라 체커(Macbeth Color Checker)의 그레이 패치의 데이터(gray patch data)를 획득하고, 획득한 그레이 패치의 데이터의 평균값을 각 광원의 화이트로 결정한다. 그리고, 각 광원 대한 분포 특성을 이용하여 각 광원의 화이트 포인트를 중심으로 소정 영역을 각 광원의 그레이 영역으로 결정하고, 결정된 각 광원의 그레이 영역을 모두 포함하는 영역을 입력영상의 그레이 영역으로 추출한다. The
광원정보 추출부(400)는 입력영상의 색역내의 중심값과 평균값을 이용하여 초기 광원 정보를 추출한다. 색역내의 중심값과 평균값을 계산하고, 평균값과 중심값간의 차가 큰 경우에는 계산된 평균값에 가중치를 부가한 가중 평균값 계산하여 초기 광원 정보를 추출하는데 이용한다. 그레이영역 추출부(200)에서 결정된 각 광원의 화이트 포인트를 연결한 중심축인 광궤적(light locus)상으로 계산된 가중 평균값을 수직 매핑하고, 수직 매핑된 광궤적 상에서 최종적인 초기 광원정보를 추출한다. The light source
조정부(500)는 그레이영역 추출부(200)에서 추출된 그레이 영역에 유입된 색도 성분이 배제되도록 초기 광원정보를 조정하여 최종 광원정보를 추출한다. 이때, 최종 광원정보의 추출은 그레이 성분과 색도 성분간에는 휘도 차이가 존재하는 것을 이용하여 문턱 휘도값을 기준으로 그레이 영역을 분할한 후, 분할한 그레이 영역에서의 각각의 평균값을 이용하여 최종 화이트 포인트(white point)를 결정한다. 분할된 그레이 영역 중에서 색도 성분이 포함되지 않은 영역에 해당하는 영역에서의 평균값을 조정된 광원정보로 추출한다. The adjusting
그리고, 정확한 광원정보를 추출하기 위하여 그레이 영역을 세분하여 분할할 수 있다. 또한, 단일 배경색을 갖는 영상이 입력된 경우에는 분할된 그레이 영역 중 그레이 영역을 다시 분할하여 하이라이트 영역을 검출한 후, 하이라이트 영역의 평균값이 광원정보 조정시 반영되도록 하여 정확한 광원정보를 추출할 수 있다. In order to extract accurate light source information, the gray area may be subdivided and divided. In addition, when an image having a single background color is input, the gray area of the divided gray areas is re-divided to detect the highlight area, and then accurate light source information may be extracted by reflecting the average value of the highlight area when adjusting the light source information. .
게인 제어부(600)는 조정부(500)에서 결정된 최종 광원정보를 이용하여 입력 영상데이터를 조정할 게인을 계산한 후, 계산된 게인을 각각의 입력 영상데이터에 적용하여 화이트 밸런스를 조정한다. The
도 2a 및 도 2b는 도 1의 색공간 변환부(100)의 동작을 설명하기 위한 도면이다. 도 2a는 휘도가 일정한 R/G, B/G 평면의 색도 색공간에서 칼라 성분의 R,G,B 성분을 균일하게 증가시킬 경우의 영상 데이터의 분포를 나타낸 도면이다. 그리고, 도 2b는 휘도가 일정한 R/(R+G+B), B/(R+G+B) 평면의 색도 색공간에서 칼라 성분 R,G,B 성분을 균일하게 증가시킬 경우의 영상 데이터의 분포를 나타낸 도면이다. 2A and 2B are diagrams for describing an operation of the
도 2a를 참조하면, 일반적으로 영상장치는 전체 CCD(Charge Coupled Device) 데이터를 사용하지 않고, CCD 데이터를 일정 간격으로 샘플링한 후, 샘플링된 데이터에 대해 정해진 윈도우 내 CCD 데이터의 평균값을 기초로 하는 패칭 데이터(patching data)를 이용한다. 그레이 영역의 평균값은 화이트 포인트로 볼 수 있으므로, 이러한 패칭 데이터를 이용하여 광원 정보 즉 화이트 포인트를 추출하기 위해 먼저 그레이 영역을 추출한다. Referring to FIG. 2A, in general, an imaging apparatus samples the CCD data at regular intervals without using full CCD (Charge Coupled Device) data, and then based on an average value of CCD data in a window determined for the sampled data. Patching data is used. Since the average value of the gray area can be viewed as a white point, the gray area is first extracted to extract the light source information, that is, the white point using the patching data.
그리고, 광원에 의해 칼라 캐스트(color cast)가 발생하는 경우에는 그레이 칼라들의 RGB 구성성분간의 비가 변하게 되므로 도 2a에 도시한 바와 같은 R/G, B/G 평면의 색도 색공간을 사용할 수 있다. When the color cast is generated by the light source, the ratio between the RGB components of the gray colors is changed, so that the chromaticity color space of the R / G and B / G planes as shown in FIG. 2A can be used.
도 2b를 참조하면, 각 칼라 성분에 대해 R, G, B 성분을 균일하게 증가시킬 경우 영상 데이터의 분포는 도 2a에 도시한 색도 색공간에 비해 상대적으로 균일(uniform)하게 분포하여 그레이 영역 추출의 정확도를 높일 수 있다. 따라서, 이하에서는 도 2b에 도시한 휘도가 일정한 R/(R+G+B), B/(R+G+B) 평면의 색도 색공간을 이용하여 광원에 대한 정보를 추출한다. Referring to FIG. 2B, when the R, G, and B components are uniformly increased for each color component, the distribution of image data is relatively uniformly distributed compared to the chromaticity color space shown in FIG. Can increase the accuracy. Therefore, hereinafter, information about a light source is extracted using chromaticity color spaces of R / (R + G + B) and B / (R + G + B) planes having constant luminance shown in FIG. 2B.
도 3a 내지 도 3c는 도 1의 그레이영역 추출부(200)의 동작을 설명하기 위한 도면이다. 도 3a는 일반적인 4개의 광원의 색역들을 나타낸 도면이며, 도 3b는 4개의 광원의 그레이 영역을 나타낸 도면이다. 그리고, 도 3c는 검출되는 영상장치의 그레이 영역에 색도 성분(chromatic component)가 유입되는 것을 설명하기 위한 도면이다. 여기서, Gr은 영상장치의 그레이 영역을 나타낸다. 3A to 3C are diagrams for describing an operation of the
도 3a를 참조하면, 각각의 광원의 색역은 각각의 광원을 사용하여 획득되는 칼라 체커(color checker)에 대한 영상 데이터를 기초로 검출될 수 있다. 이때, 4개의 광원은 D65, D50, CWF, 그리고 A 광원이며, 이 4개의 광원외의 다른 광원을 추가하여 입력영상의 색역을 추출할 수도 있다. Referring to FIG. 3A, the color gamut of each light source may be detected based on image data for a color checker obtained using each light source. In this case, the four light sources are D65, D50, CWF, and A light sources, and a color gamut of the input image may be extracted by adding other light sources other than the four light sources.
도 3b를 참조하면, 도 3a에 도시한 바와 같이 4개의 광원에 의해 검출된 색역 중에서 칼라 체커 그레이 패치 데이터를 이용하여 각 광원에 대한 그레이 영역을 검출할 수 있다. 각 광원에 의해 검출되는 칼라 체커의 그레이 패치 데이터의 평균값이 화이트 포인트에 해당한다. 따라서, 각 광원의 화이트 포인트를 검출한 후, 그레이 패치 분포 범위(variance range)를 각 광원의 화이트 포인트를 중심으로 형성한다. 그리고, 4개의 광원에 대한 그레이 분포 범위를 모두 포함하는 4개의 직선을 통해 입력영상의 그레이 영역을 모델링할 수 있다. Referring to FIG. 3B, the gray region for each light source may be detected using color checker gray patch data among color gamuts detected by four light sources as illustrated in FIG. 3A. The average value of the gray patch data of the color checker detected by each light source corresponds to a white point. Therefore, after detecting the white point of each light source, a gray patch distribution range is formed around the white point of each light source. The gray region of the input image may be modeled through four straight lines including all gray distribution ranges for the four light sources.
도 3c를 참조하면, 도 3a 및 도 3b에 도시한 바와 같은 칼라 체커의 색역 정보와 4개의 광원을 이용하여 설정된 입력영상 데이터의 그레이 영역에는 광원의 변화로 인한 색도 성분이 유입될 수 있다. 즉, 도 3b에 도시한 바와 같이 상이한 광 원에 의해 입력영상 데이터의 그레이 영역이 추출됨으로써 실제 입력영상에 사용된 광원의 그레이 영역의 분포 범위보다 넓은 그레이 영역이 추출되어 사이언(cyan)과 같은 색도 성분이 그레이 영역에 유입될 수 있다. 도 3c에 도시한 바와 같이 엘로우 및 사이언 계열의 색도 성분은 블루, 레드, 마젠타(magenta), 및 그린 계열의 색도 성분에 비해 상대적으로 많이 그레이 영역에 유입되었다. 따라서, 색도 성분이 유입된 그레이 영역에 유입되는 것이 배제하기 위해 추출되는 광원정보를 조정할 필요가 있다. Referring to FIG. 3C, chromaticity components due to the change of the light source may be introduced into the gray region of the input image data set using the color gamut information of the color checkers and the four light sources as illustrated in FIGS. 3A and 3B. That is, as shown in FIG. 3B, the gray region of the input image data is extracted by different light sources, thereby extracting a gray region wider than the distribution range of the gray region of the light source used in the actual input image. Ingredients may enter the gray region. As shown in FIG. 3C, the chroma and chrominance components of the yellow and cyan series are introduced into the gray region relatively more than the chroma components of the blue, red, magenta, and green series. Therefore, it is necessary to adjust the extracted light source information in order to exclude the inflow of the chromaticity component into the inflowed gray region.
도 4는 도 1의 검출부(300)의 블럭도이다. 4 is a block diagram of the
도 4를 참조하면, 검출부(300)는 광원정보 추출부(400)와 조정부(500)를 구비하며, 광원정보 추출부(400)는 색역중심 계산부(gamut center calculation unit)(410), 색역평균 계산부(420), 및 가중평균값 추출부(430)를 포함한다. Referring to FIG. 4, the
색역중심 계산부(410)는 그레이영역 추출부(200)에서 계산된 각 광원들의 화이트 포인트를 연결한 중심축인 광궤적을 모델링한 후, 모델링한 중심축의 연장선과 각각 R/(R+G+B)축, B/(R+G+B)축과의 교점을 이용하여 검출된 색역의 두 최외각점을 기초로 색역 중심값을 계산한다. The color
색역평균 계산부(420)는 입력영상의 색역에서 색역내 평균값을 계산한다. The gamut
가중평균값 추출부(430)는 색역중심 계산부(410)에서 계산된 색역 중심값과 색역평균 계산부(420)에서 계산된 색역내 평균값을 이용하여 가중 평균값을 계산한다. 이때, 가중 평균값은 계산된 색역내 평균값과 색역 중심값과의 차이를 기초로 색역내 평균값에 가중치를 부여하여 계산된 평균값이다. The weighted
조정부(500)는 광원정보 추출부(400)에서 추출된 초기 광원 정보에 상이한 광원을 이용하여 그레이 영역을 검출함으로써 그레이 영역에 유입되는 색도 성분을 배제하고 최종적인 광원 정보를 결정한다. The adjusting
도 5a 내지 도 5c는 도 1의 광원정보 추출부(400)의 동작을 설명하기 위한 도면이다. 도 5a는 색역중심 계산부(410)의 동작을 설명하기 위한 도면이며, 도 5b는 가중평균값 추출부(430)의 동작을 설명하기 위한 도면이다. 그리고, 도 5c는 가중평균값 추출부(430)에 계산된 가중평균값을 이용하여 결정되는 초기 광원 정보를 획득하는 동작을 설명하기 위한 도면이다. 5A to 5C are diagrams for describing an operation of the light source
도 5a를 참조하면, 색역 중심을 계산하기 위해서는 먼저 입력영상의 색역의 두 최외각점을 추출한 후, 두 최외각점의 평균값을 계산하여 색역 중심을 계산한다. Referring to FIG. 5A, in order to calculate a gamut center, first, two outermost points of a gamut of an input image are extracted, and then an average value of two outermost points is calculated to calculate a gamut center.
상세하게는 색도 색공간에서 그레이영역 추출부(200)에서 계산된 각 광원들의 화이트 포인트를 연결한 중심축을 검출한 후, 중심축의 연장선과 각각의 R /(R+G+B)축, B/(R+G+B)축과의 교점인 X0점과 Y0점을 검출한다. X0점으로부터 중심축과의 최소거리와 Y0점으로부터 중심축과의 최소거리인 점이 입력영상의 색역의 두 최외각점이 된다. 즉, X0점으로부터의 중심축과의 최소거리인 X1점, Y0점으로부터의 중심축과의 최소거리인 Y1점이 각각 최외각점이 된다. 따라서, 색역 중심값은 X1점과 Y1점의 중간값인 gm이 된다. In detail, after detecting the central axis connecting the white points of the respective light sources calculated by the gray
도 5b를 참조하면, 평균값 계산부(420)에서 계산된 평균값과 색역중심 계산 부(410)에서 계산된 색역의 중심값이 상이한 경우에는 색역내에 지배적인 칼라가 존재하여 평균 칼라가 회색이 된다는 그레이 월드 가정(gray world assumption)에 위반될 수 있다. 따라서, 계산된 색역 평균값이 정확한 화이트 정보를 나타내지 않을 가능성이 있으므로 화이트 정보 계산시 색역 중심값을 반영하여 가중 평균값을 결정한다. 가중평균값은 다음의 수학식에 의해 구할 수 있다. Referring to FIG. 5B, when the average value calculated by the
여기서, rweighted는 가중평균의 R/R+G+B값, bweighted는 가중평균의 B/R+G+B값이며, α와 β는 각각 상수이다. 그리고, rave는 색역내 평균의 R/R+G+B값, bave는 색역내 평균의 B/R+G+B값이다. Where r weighted is the R / R + G + B value of the weighted average, b weighted is the B / R + G + B value of the weighted average, and α and β are constants, respectively. And r ave is the R / R + G + B value of the color gamut, and b ave is the B / R + G + B value of the gamut average.
수학식1에 나타낸 바와 같이, 가중평균값 추출부(430)는 가중 평균값의 R/R+G+B값과 B/R+G+B값은 색역평균 계산부(420)에서 계산된 색역내 평균값에 색역 중심값을 반영한다. 즉, 색역내 평균값이 색역 중심과 차이가 있는 경우에 색역내 평균값이 색역 중심값 방향으로 이동되도록 색역내 평균값 및 색역 중심값에 가중치를 부여하여 색역의 지배적인 칼라에 의해 색역내 평균값이 일정방향으로 치우지는 것을 방지함으로써 정확한 초기 광원 정보를 추출할 수 있도록 한다. As shown in
예를 들어, 도 5b와 같이 색역 내에서 지배적인 칼라가 엘로우인 경우에 평 균값 계산부(420)에서 계산된 색역내 평균값은 그레이가 아닌 엘로우에 근접한 값을 갖게 되므로, 계산된 색역내 평균값에 색역 중심값을 반영시켜 색역내 평균값을 색역 중심값의 방향으로 이동시킨 가중 평균값을 추출한다. 따라서, 색역내의 균일하게 상이한 칼라들이 존재하는 것이 아니라 지배적인 칼라가 존재하는 것으로 인하여 부정확한 초기 광원 정보가 추출되는 것을 방지할 수 있다. For example, in the case where the dominant color in the gamut is yellow as shown in FIG. 5B, the in-gamut average value calculated by the
도 5c를 참조하면, a점은 가중평균값 추출부(430)에서 추출된 색역의 가중 평균을 나타내며, b점은 색역의 가중 평균이 각 광원들의 화이트 포인트를 연결한 중심축인 광궤적 상으로 매핑된 점을 나타내며, c점은 매핑된 b점을 기준으로 조정된 광원을 나타낸다. Referring to FIG. 5C, the point a represents a weighted average of the color gamuts extracted by the weighted
초기 광원 정보의 추출은 먼저 가중 평균값(a)을 각 광원들의 화이트 포인트를 연결한 중심축인 광궤적 상으로 수직으로 매핑한다. 즉, 가중 평균값(a)을 포함하는 광궤적과 수직하는 직선과 광궤적의 교점을 매핑 포인트로 결정한다. 그리고, 각 광원별 가중평균값을 광궤적상 원 광원(original illuminant)의 화이트 포인트로 매핑할 경우에 에러를 최소화할 수 있도록 광궤적으로 매핑된 가중평균값을 보정하여 초기 광원 정보를 추출한다. Extraction of the initial light source information first maps the weighted average value (a) vertically onto a light trajectory, which is a central axis connecting the white points of the light sources. That is, the intersection point of the straight line perpendicular to the light trace including the weighted average value a and the light trace is determined as the mapping point. When the weighted average value for each light source is mapped to the white point of the original illuminant on the light trajectory, the initial light source information is extracted by correcting the weighted average value mapped to the light trajectory so as to minimize an error.
여기서, rinitial 과 binitial은 초기 광원 정보값, rweighted는 가중평균값의 R/R+G+B값, bweighted는 가중평균값의 B/R+G+B값이다. 그리고, l,m,n 및 l'm'n'은 임의의 상수이다. 이때, 광궤적상에 매핑된 가중 평균값을 보정하기 위해 수학식2을 적용하기 위해서는 광궤적상에 매핑된 가중 평균값 근처에 위치하는 광원의 화이트 포인간의 거리가 소정값 이하일 때 적용할 수 있다. Where r initial And b initial are initial light source information values, r weighted is the R / R + G + B value of the weighted average value, and b weighted is the B / R + G + B value of the weighted average value. And l, m, n and l'm'n 'are arbitrary constants. In this case, in order to apply Equation 2 to correct the weighted average value mapped on the light trajectory, it may be applied when the distance between the white points of the light source located near the weighted average value mapped on the light trajectory is less than or equal to a predetermined value.
도 6a 및 도 6b는 조정부(500)의 동작을 설명하기 위한 도면이다.6A and 6B are diagrams for describing an operation of the adjusting
도 6a는 조정부(500)가 휘도에 따라 초기 광원 정보를 조정하는 것을 설명하기 위한 도면이다. 그리고,도 6b는 조정부(500)가 휘도를 기준으로 분할된 영역의 평균값들을 이용하여 최종적인 광원 정보를 추출하는 동작을 설명하기 도면이다. FIG. 6A is a diagram for explaining that the
도 6a를 참조하면, 가로축은 색도(chromaticity) 성분을 나타내며, 세로축은 휘도(luminance) 성분을 나타낸다. 그레이 영역 내에 유입된 색도 성분을 제거한 광원 정보를 추출하기 위해, 휘도 성분을 기준으로 그레이 영역을 분할한 후 분할된 영역별 색역 평균값을 이용하여 광원정보 추출부(300)에서 추출된 초기 광원 정보를 조정한다. Referring to FIG. 6A, the horizontal axis represents chromaticity components and the vertical axis represents luminance components. In order to extract the light source information from which the chromaticity component introduced into the gray region is extracted, the initial light source information extracted by the light source
이때, 초기 광원 정보를 휘도 성분을 기준으로 조정하는 것은 도 6a에 도시한 바와 같이 영상데이터의 색도값이 커질수록 색역 경계에 위치하게 된다. 반면, 영상데이터의 그레이값이 커질수록 휘도축(Y)에 근접하게 된다. 따라서, 그레이 성분과 색도 성분은 휘도값의 차이가 발생하게 되므로, 휘도를 기준으로 색도 성분이 포함된 영역과 색도 성분이 포함되지 않은 영역으로 그레이 영역을 분할하여 색도 성분이 유입된 그레이 영역을 이용하여 추출된 초기 광원정보를 조정한다. At this time, adjusting the initial light source information based on the luminance component is located at the color gamut boundary as the chromaticity value of the image data increases as shown in FIG. 6A. On the other hand, the larger the gray value of the image data, the closer the luminance axis Y is. Therefore, since the gray component and the chromaticity component have a difference in luminance value, the gray region is divided into a region containing the chromaticity component and a region not containing the chromaticity component based on the luminance to use the gray region into which the chromaticity component is introduced. To adjust the extracted initial light source information.
예를 들어, 칼라2는 칼라1에 비해 색도값이 더 크며 색역 경계에 더 가까이 위치한다. 즉, 칼라1은 칼라2에 비해 그레이값이 더 크며 상대적으로 휘도축 가까이에 위치한다. 이때, 칼라1과 칼라2은 휘도 차이가 발생하며, 발생되는 휘도 차이는 l2-l1가 된다. For example, color 2 has a larger chromatic value than
도 6b를 참조하면, 도 6a를 참조하여 상술한 바와 같이 그레이 성분과 색도 성분간에는 휘도값의 차이가 발생하므로 휘도값을 기준으로 그레이 영역을 휘도값이 작은 제1 영역과 휘도값이 큰 제2 영역으로 분할한다. 여기서, 가로축은 R/R+G+B이며, 세로축은 휘도이다. 도 6b에서는 R/R+G+B값에 대한 휘도를 기준으로 그레이 영역을 분할한 것을 도시하였으나, B/R+G+B값에 대한 휘도를 기준으로 그레이 영역을 분할하여 조정된 광원 정보의 R/R+G+B값과 B/R+G+B값을 구할 수 있다. Referring to FIG. 6B, as described above with reference to FIG. 6A, a difference in luminance occurs between the gray component and the chromaticity component. Thus, the gray region may be divided into a first region having a small luminance value and a second large luminance value based on the luminance value. Split into areas. Here, the horizontal axis is R / R + G + B, and the vertical axis is luminance. In FIG. 6B, the gray area is divided based on the luminance of the R / R + G + B value, but the gray area is divided based on the luminance of the B / R + G + B value to adjust the light source information. The R / R + G + B and B / R + G + B values are obtained.
이때, 제1 영역과 제2 영역으로 분할하는 기준이 되는 문턱 휘도값은 다음의 수학식에 의해 구할 수 있다.In this case, the threshold luminance value, which is a reference for dividing the first region and the second region, may be obtained by the following equation.
여기서, Ythreshold는 그레이 영역 분할의 기준이 되는 문턱 휘도값, Yregion은 분할된 그레이 영역들에서의 각각의 평균값들의 평균값이며, Yave는 그레이 영역의 평균값이다. 그리고, α 및 β는 임의의 상수이다.Here, Y threshold is a threshold luminance value that is a reference for gray region division, Y region is an average value of respective average values in the divided gray regions, and Y ave is an average value of the gray region. And α and β are arbitrary constants.
수학식2에 도시한 바와 같이 그레이 영역 분할의 기준이 되는 휘도값은 최대 휘도값과 최소 휘도값의의 평균값( Yregion)과 그레이 영역 전체의 색역 평균값( Yave)에 의해 구할 수 있다. As shown in Equation 2, the luminance value serving as the reference for gray area division can be obtained by the average value Y region of the maximum luminance value and the minimum luminance value and the gamut average value Y ave of the entire gray region.
계산된 문턱 휘도값 Ythreshold을 기준으로 휘도값이 낮은 제1 영역과 휘도값이 높은 제2 영역으로 분할할 수 있다. 그리고, 조정된 광원 정보는 제1 영역의 색역 평균값인 화이트 포인트 WP_down 과 제2 영역의 색역 평균값인 화이트 포인트 WP_up의 평균값을 이용하여 구할 수 있다. 즉, 조정부(600)에서 조정된 광원 정보는 다음의 수학식에 의해 구할 수 있다. The threshold region may be divided into a first region having a low luminance value and a second region having a high luminance value based on the calculated threshold luminance value Y threshold . The adjusted light source information may be obtained using an average value of the white point WP_down which is the color gamut average value of the first region and the white point WP_up which is the color gamut average value of the second region. That is, the light source information adjusted by the adjusting
여기서, rwht와 bwht는 각각 조정된 광원 정보인 화이트 포인트 값의 R/R+G+B값, B/R+G+B값이다. 그리고, rdown과 bdown은 각각 제1 영역의 평균값의 R/R+G+B값, B/R+G+B값이며, rup과 bup은 각각 제2 영역의 평균값의 R/R+G+B값, B/R+G+B값이다. 이때, Distup과 Distdown은 각각 초기 광원 정보로 검출된 점 즉, 도 5c에서의 c점과 각각 제2 영역의 평균값, 제1 영역의 평균값과의 거리를 나타낸다. 따라서, 초기 광원 정보값과 각각 제1 영역의 평균값, 제2 영역의 평균값과의 거리는 다음의 수학식에 의해 나타낼 수 있다. Here, r wht and b wht are R / R + G + B values and B / R + G + B values of white point values which are adjusted light source information, respectively. And r down and b down are R / R + G + B values and B / R + G + B values of the average values of the first region, respectively, and r up and b up are the R / R of the average values of the second region, respectively. + G + B and B / R + G + B. In this case, Dist up and Dist down represent distances detected from initial light source information, that is, points c in FIG. 5C, the average value of the second region, and the average value of the first region, respectively. Accordingly, the distance between the initial light source information value, the average value of the first region, and the average value of the second region may be represented by the following equation.
여기서, Distup과 Distdown은 각각 초기 광원 정보값에서 각각 제2 영역의 평균값, 제1 영역의 평균값과의 거리를 나타내며, rinitial 과 binitial은 광원정보 추출부(400)에서 추출된 초기 광원 정보값이다. 그리고, rdown과 bdown은 각각 제1 영역의 평균값의 R/R+G+B값, B/R+G+B값이며, rup과 bup은 각각 제2 영역의 평균값의 R/R+G+B값, B/R+G+B값이다.Here, Dist up and down Dist denotes the mean value, respectively, the distance of the first area, the average value of the second area in each of the initial light source information values, initial r And b initial are initial light source information values extracted by the light source
수학식3에 나타낸 바와 같이 조정된 광원 정보는 제1 영역의 평균값과 제2 영역의 평균값 중 초기 광원 정보값과 최단 거리를 갖는 평균값이 된다. 계산되는 휘도 문턱값을 이용하여 휘도값이 높은 제2 영역과 휘도값이 낮은 제1 영역으로 분할하여 색도 성분이 유입된 영역과 색도 성분이 유입되지 않은 영역으로 그레이 영역을 분할 한 후, 초기 광원이 포함된 영역의 화이트 포인트를 조정된 광원 정보로 결정한다. 따라서, 색도 성분이 유입되지 않은 그레이 영역에서의 화이트 포인트를 최종 광원정보로 결정함으로써, 그레이 영역에 유입된 색도 성분을 포함하여 결정된 초기 광원 정보에서 색도 성분을 배제한 광원 정보를 추출할 수 있다. As shown in Equation 3, the adjusted light source information is an average value having the shortest distance from the initial light source information value among the average value of the first region and the average value of the second region. After the gray threshold is divided into a second region having a high luminance value and a first region having a low luminance value by using the calculated luminance threshold value, the gray region is divided into a region into which a chroma component is introduced and a region into which a chroma component is not introduced, and then an initial light source. The white point of the included area is determined as the adjusted light source information. Therefore, by determining the white point in the gray region where the chroma component does not flow into the final light source information, it is possible to extract the light source information excluding the chroma component from the initial light source information determined including the chroma component introduced into the gray region.
한편, 입력영상이 단일 배경색을 갖는 영상인 경우에는 고휘도 영역 제2 영 역에 하이라이트 영역 포함되므로, 하이라이트 영역의 휘도값이 반영하여 광원정보를 조정하여 정확한 광원정보를 추출할 수 있도록 한다. 색도 성분이 포함되지 않은 분할된 그레이 영역 즉, 초기 광원 정보와 분할된 영역의 화이트 포인트가 최소값을 갖는 분할된 그레이 영역이 고휘도 영역인 경우에는 하이라이트 영역을 포함하는 것으로 판단할 수 있다. On the other hand, when the input image is an image having a single background color, since the highlight region is included in the second region of the high luminance region, the luminance value of the highlight region is reflected to adjust the light source information so that accurate light source information can be extracted. When the divided gray area that does not include the chromaticity component, that is, the divided gray area having the minimum value of the initial light source information and the white point of the divided area is a high luminance area, it may be determined to include a highlight area.
따라서, 문턱 휘도값에 의해 분할된 그레이 영역에서 고휘도 영역인 제2 영역을 다시 분할하여 하이라이트 영역을 포함하는 영역과 포함하지 않는 영역으로 분할한다. 하이라이트 영역을 포함하는 영역은 제2 영역의 휘도의 상위 20%에 해당하는 영역으로 할 수 있다. Therefore, the second region, which is a high luminance region, is further divided from the gray region divided by the threshold luminance value, and divided into a region including a highlight region and a region not including the highlight region. The area including the highlight area may be an area corresponding to the upper 20% of the luminance of the second area.
이때, 하이라이트 영역이 입력영상 자체에 의해 발생한 것인지 여부를 먼저 판단하여 하이라이트 영역의 화이트 포인트가 조정되는 광원정보에 반영되도록 한다. 하이라이트 영역이 입력영상 자체에 의해 발생하였는지 여부는 하이라이트 영역의 평균 휘도값이 전체 그레이 영역의 평균 휘도값에 3.5를 곱한 휘도값 보다 작은지 여부로 판단한다. In this case, it is first determined whether the highlight area is generated by the input image itself so that the white point of the highlight area is reflected in the adjusted light source information. Whether the highlight region is generated by the input image itself is determined by whether the average luminance value of the highlight region is smaller than the luminance value obtained by multiplying the average luminance value of the entire gray region by 3.5.
하이라이트 영역의 평균 휘도값이 전체 그레이 영역의 평균 휘도값에 3.5를 곱한 휘도값 보다 작은 경우에는 하이라이트 영역의 평균값을 조정된 광원정보로 한다. 반면, 하이라이트 영역의 평균 휘도값이 전체 그레이 영역의 평균 휘도값에 3.5를 곱한 휘도값 보다 큰 경우에는 제2 영역의 평균값을 조정된 광원정보로 한다. When the average luminance value of the highlight region is smaller than the luminance value obtained by multiplying the average luminance value of all gray regions by 3.5, the average value of the highlight region is adjusted light source information. On the other hand, when the average luminance value of the highlight region is larger than the luminance value obtained by multiplying the average luminance value of all gray regions by 3.5, the average value of the second region is adjusted light source information.
도 7은 본 발명의 일실시예에 따른 영상장치의 화이트 밸런스 조정 방법을 설명하기 위한 흐름도이다. 7 is a flowchart illustrating a method of adjusting white balance in an imaging apparatus according to an embodiment of the present invention.
도 7을 참조하면, 먼저 입력되는 영상데이터를 색도 성분을 갖는 색공간의 데이터로 변환한다(S901). 광원정보를 추출하여 화이트 밸런스를 조정하기 위해서는, 영상데이터를 색도 성분(chromatic component)과 비색도 성분(achromatic component)으로 구분할 수 있으며, 광원에 의해 칼라 캐스트가 발생할 경우 그레이 칼라들의 RGB 성분비가 달라지는 성질을 이용할 수 있는 색공간으로 변환한다. Referring to FIG. 7, firstly input image data is converted into data of a color space having a chromatic component. In order to adjust the white balance by extracting the light source information, the image data can be classified into chromatic components and achromatic components, and when the color cast is generated by the light source, the RGB component ratio of gray colors is changed. Convert to an available color space.
이러한 색공간으로는 휘도가 일정한 R/G와 B/G 평면, 그리고 휘도가 일정한 R/R+G+B와 B/R+G+B 평면을 이용할 수 있다. 이하에서는 입력 영상데이터를 휘도가 일정한 R/R+G+B와 B/R+G+B 평면 상으로 변환하여 추출된 광원 정보를 이용하여 화이트 밸런스를 조정하는 동작을 설명하기로 한다. As such a color space, R / G and B / G planes with constant luminance and R / R + G + B and B / R + G + B planes with constant luminance may be used. Hereinafter, an operation of adjusting the white balance using the extracted light source information by converting the input image data onto the R / R + G + B and B / R + G + B planes with constant luminance will be described.
그리고, 영상데이터는 이미센서에서 센싱된 데이터를 일정한 간격으로 샘플링하여 획득하며, 샘플링된 데이터에 대해 정해진 윈도우내 데이터의 평균값을 기초로 하는 패칭 데이터(patching data)를 이용할 수 있다. The image data may be obtained by sampling data sensed by the sensor at regular intervals, and may use patching data based on an average value of data in a window determined for the sampled data.
이어, 변환된 색공간에서 다수의 광원과 칼라 체커(color checker)를 이용하여 영상장치의 그레이 영역을 추출한다(S903). 다수의 광원은 일반적으로 촬상장치에서 광원이 되는 D65, D50, CWF, A 광원이 될 수 있으며, 칼라 체커는 멕베스 칼라 체커(Macbeth color checker)를 이용할 수 있다. Subsequently, the gray region of the imaging apparatus is extracted using a plurality of light sources and color checkers in the converted color space (S903). The plurality of light sources may be D65, D50, CWF, A light sources, which are generally light sources in the imaging device, and the color checker may use a Macbeth color checker.
각 광원을 이용하여 멕베스 칼라 체커로부터 획득되는 영상 데이터를 기초로 각 광원의 그레이 영역들을 추출한 후, 추출된 그레이 영역들을 모두 포함하는 영상장치의 그레이 영역을 추출한다. 상세하게는 멕베스 칼라 체커의 그레이 패치 데 이터의 평균값을 기초로 각 광원의 그레이 영역을 추출한 후, 추출된 각 광원의 그레이 영역을 모두 포함하도록 4개의 직선을 형성하여 영상장치의 그레이 영역을 추출할 수 있다. 이때, 광원의 수를 증가시키고, 각 광원의 그레이 영역을 포함하도록 설정되는 4개의 직선을 이용하는 대신 룩업테이블 등을 이용한 비선형적인 방법을 이용함으로써 영상장치의 그레이 영역 추출의 정확도를 높일 수도 있다. After extracting the gray areas of each light source based on the image data obtained from the Mexican color checker using each light source, the gray area of the imaging apparatus including all of the extracted gray areas is extracted. In detail, after extracting the gray areas of each light source based on the average value of the gray patch data of the Mexican color checker, four straight lines are formed to include all the gray areas of the extracted light sources to extract the gray areas of the imaging apparatus. Can be. In this case, by increasing the number of light sources and using a non-linear method using a lookup table or the like instead of using four straight lines set to include the gray areas of each light source, the accuracy of gray area extraction of the imaging apparatus may be increased.
이어, 입력영상의 색역 중심 및 색역 평균을 이용하여 초기 광원 정보를 추출한다(S905). 입력영상에 지배적인 칼라가 존재하여 입력영상의 평균은 그레이라는 그레이 월드 가정(gray world assumption)에 위배되는 것을 방지하기 위하여 입력영상의 색역 중심값이 반영되도록 계산한다. 입력영상에 지배적인 칼라가 존재하는 경우에는 입력영상의 색역의 평균값과 입력영상의 색역의 중심값의 차가 크므로, 계산된 색역내 평균값 및 색역의 중심값에 가중치를 부여하여 가중 평균값을 계산한다. Next, initial light source information is extracted using the gamut center and the gamut average of the input image (S905). Since the dominant color exists in the input image, the average of the input image is calculated to reflect the color gamut center value of the input image in order to prevent the gray from violating the gray world assumption. If there is a dominant color in the input image, the difference between the average value of the color gamut of the input image and the center of the color gamut of the input image is large. .
계산된 가중 평균값을 S903 단계에서 추출된 그레이 영역에서 각 광원의 화이트 포인트를 연결한 중심축으로 수직 매핑한다. 즉, 중심축과 수직하는 직선들 중 가중 평균값을 포함하는 직선이 중심축과 만나는 점으로 가중 평균값을 매핑한다. 그리고, 각 광원별 가중평균값을 광궤적상의 원 광원(original illuminant)의 화이트 포인트로 매핑할 경우에 에러를 최소화할 수 있도록 광궤적으로 매핑된 가중평균값을 보정하여 초기 광원 정보를 추출한다. The calculated weighted average value is vertically mapped to the central axis connecting the white points of each light source in the gray region extracted in step S903. That is, the weighted average value is mapped to a point where a straight line including the weighted average value among the straight lines perpendicular to the central axis meets the central axis. When the weighted average value for each light source is mapped to the white point of the original illuminant on the light trajectory, the initial light source information is extracted by correcting the weighted average value mapped to the light trajectory to minimize the error.
이어, 색도 성분이 유입된 그레이 영역을 이용하여 추출되는 초기 광원 정보를 조정한다(S907). 입력영상의 그레이 영역은 다수의 광원의 그레이 영역을 이용 하여 추출되므로, 실제 이용된 광원의 그레이 영역과 달리 색도 성분이 유입된 영역을 그레이 영역으로 사용하여 광원 정보를 추출하게 된다. 따라서, 색도 성분이 유입된 그레이 영역을 이용하여 추출된 초기 광원 정보를 조정할 필요가 있다. Subsequently, initial light source information extracted using the gray region into which the chromatic component is introduced is adjusted (S907). Since the gray region of the input image is extracted using the gray regions of the plurality of light sources, the light source information is extracted using the region into which the chromatic component is introduced as the gray region, unlike the gray region of the light source actually used. Therefore, it is necessary to adjust the extracted initial light source information by using the gray region into which the chromatic component is introduced.
초기 광원 정보를 조정하기 위하여 그레이 성분과 색도 성분간에는 휘도의 차이가 있는 것을 이용할 수 있다. 도 6a를 참조하여 상술한 바와 같이, 색도축과 휘도축으로 이루어진 평면상에서 그레이 성분과 색도 성분의 휘도를 비교하여 보면, 색도와 휘도가 비례하는 영역에서는 그레이 성분이 색도 성분 보다 휘도값이 낮으며 색도와 휘도가 반비례하는 영역에서는 그레이 성분이 색도 성분 보다 휘도값이 크다. In order to adjust the initial light source information, one having a difference in luminance between the gray component and the chromaticity component may be used. As described above with reference to FIG. 6A, when comparing the luminance of the gray component and the chromaticity component on a plane formed of the chromaticity axis and the luminance axis, the gray component has a lower luminance value than the chromaticity component in a region where the chromaticity and the luminance are in proportion. In an area where chromaticity and luminance are inversely proportional, the gray component has a higher luminance value than the chromaticity component.
따라서, 그레이 성분과 색도 성분간에는 휘도차가 존재하게 되므로, 문턱 휘도값을 기준으로 그레이 영역을 분할한 후, 분할된 영역들의 평균값들 중 초기 광원 정보와 근접한 위치에 있는 평균값을 조정된 광원 정보로 결정한다. 문턱 휘도값을 기준으로 색도 성분이 포함된 그레이 영역과 색도 성분이 포함되지 않은 그레이 영역으로 분할한 후, 초기 광원 정보와 근접한 분할 영역의 평균값을 광원 정보로 결정하여 색도 성분이 포함되지 않은 그레이 영역에서의 평균값을 조정된 광원 정보로 추출한다. 따라서, 그레이 영역에 유입되는 색도 성분을 배제한 광원 정보를 추출할 수 있게 된다. Therefore, since there is a luminance difference between the gray component and the chromaticity component, after dividing the gray region based on the threshold luminance value, the average value near the initial light source information among the average values of the divided regions is determined as the adjusted light source information. do. After dividing the gray region with the chromaticity component and the gray region without the chromaticity component based on the threshold luminance value, the average value of the divided region adjacent to the initial light source information is determined as the light source information to determine the gray region without the chromaticity component. The average value at is extracted as the adjusted light source information. Therefore, it is possible to extract the light source information excluding the chromatic component flowing into the gray region.
한편, 단일 배경색을 갖는 입력영상이 입력되는 경우에는 하나의 문턱 휘도값에 의해 그레이 영역을 두개의 영역으로 분할하는 것이 아니라, 고휘도 영역을 다시 분할하여 하이라이트 영역에 해당하는 휘도 평균값이 반영되도록 초기 광원 정보를 조정할 수 있다. On the other hand, when an input image having a single background color is input, instead of dividing the gray region into two regions by one threshold luminance value, the initial light source is reflected so that the luminance average value corresponding to the highlight region is reflected by dividing the high luminance region again. You can adjust the information.
이어, 조정된 광원 정보를 이용하여 입력 영상에 적용될 게인(gain)을 계산한다(S909). 광원에 의한 색온도 변화를 배제하기 위해 추출된 광원 정보를 이용하여 광원에 의한 색온도 변화를 배제하기 위해 각 입력영상의 RGB 데이터를 스케일링한다. 입력영상 RGB 데이터의 스케일에 이용되는 게인은 다음의 수학식에 의해 구할 수 있다. Next, a gain to be applied to the input image is calculated using the adjusted light source information (S909). The RGB data of each input image is scaled to exclude the change of the color temperature by the light source by using the extracted light source information to exclude the change of the color temperature by the light source. The gain used for the scale of the input image RGB data can be obtained by the following equation.
여기서, Rgain과 Bgain은 각각 R에 적용될 게인값과 B에 적용될 게인값이다. 그리고, fscaling은 스케일 요소(scaling factor)이며, rwht와 bwht는 각각 조정된 광원 정보인 화이트 포인트 값의 R/R+G+B값, B/R+G+B값이며, gwht는 광원 정보의 G값이다.Here, R gain and B gain are gain values to be applied to R and gain values to be applied to B, respectively. And, f scaling is the scale factor (scaling factor), r wht and b wht is R / R + G + B values of the white point value of light source information, each adjustment, B / R + G + B value, g wht Is the G value of the light source information.
이어, 계산된 게인을 적용하여 영상 데이터를 조정한다(S911). 수학식 5를 이용하여 계산된 Rgain과 Bgain을 각각 R과 B에 곱하여 화이트 밸런스를 조정할 수 있다. 즉, R'= R×Rgain/fscaling, G'=G, B'=B×Bgain/fscaling로 각 입력영상의 화이트 밸런 스를 조정할 수 있다. Next, the image data is adjusted by applying the calculated gain (S911). The R gain and B gain calculated using the equation (5) respectively, by multiplying the R and B may adjust the white balance. That is, the white balance of each input image can be adjusted with R '= R × R gain / f scaling and G' = G, B '= B × B gain / f scaling .
도 8a 및 도 8b는 패치에 대한 히스토그램을 나타낸 도면이다. 도 8a는 종래의 화이트 밸런스 조정방법이 적용된 패치에 대한 히스토그램을 나타낸 도면이며, 도 8b는 본 발명에 따른 화이트 밸런스 조정방법이 적용된 패치에 대한 히스토그램을 나타낸 도면이다. 8A and 8B show histograms for patches. 8A illustrates a histogram of a patch to which a conventional white balance adjustment method is applied, and FIG. 8B illustrates a histogram of a patch to which a white balance adjustment method is applied according to the present invention.
도 8a 및 도 8b를 참조하면, 종래의 화이트 밸런스 조정방법이 적용된 맥베스 칼라 체커에 대한 결과 영상은 그레이 패치에 대한 히스토그램 분포가 화이트 밸런스 조정이 정확하게 이루어지지 않아 도 8a에 도시한 바와 같이 RGB 성분간 히스토그램의 분포가 어긋나 있다. 반면, 도 8b에 도시한 바와 같이 본 발명에 따른 화이트 밸런스 조정방법이 적용된 영상은 RGB 성분간 밸런싱이 유지되고 있다. 8A and 8B, the resultant image of the Macbeth color checker to which the conventional white balance adjustment method is applied has a histogram distribution for gray patches, and thus the white balance adjustment is not performed accurately. The histogram distribution is out of order. On the other hand, as shown in FIG. 8B, the balancing between the RGB components is maintained in the image to which the white balance adjusting method according to the present invention is applied.
이상 설명한 바와 같이, 본 발명에 따르면 그레이 영역에 유입되는 색도 성분의 영향이 최소화된 광원 정보를 검출하여 화이트 밸런스를 조정함으로써 화이트 밸런싱의 정확도를 높일 수 있다. As described above, according to the present invention, the accuracy of the white balancing can be improved by detecting the light source information having the least influence of the chromaticity component introduced into the gray region and adjusting the white balance.
그리고, 광원 정보를 검출하기 위해 사용되는 그레이 영역 검출시 색역 중심값을 기초로 색역 평균값을 계산함으로써, 색역내 지배적인 칼라의 존재로 인한 부정확한 광원 정보 검출을 방지할 수 있다. In addition, by calculating the color gamut average value based on the color gamut center value at the time of detecting the gray area used to detect the light source information, it is possible to prevent inaccurate light source information detection due to the presence of the dominant color in the gamut.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiment of the present invention has been shown and described above, the present invention is not limited to the specific embodiments described above, but the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.
Claims (24)
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050013718A KR101092539B1 (en) | 2005-02-18 | 2005-02-18 | Image apparatus for controlling white-balance automatically and method for controlling white-balance thereof |
| US11/356,223 US7791649B2 (en) | 2005-02-18 | 2006-02-17 | Apparatus, medium, and method with automatic white balance control |
| JP2006042911A JP4214154B2 (en) | 2005-02-18 | 2006-02-20 | Video device for automatically adjusting white balance and white balance adjusting method thereof |
| CNB2006100077780A CN100508624C (en) | 2005-02-18 | 2006-02-20 | Equipment, medium and method possessing white balance control |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050013718A KR101092539B1 (en) | 2005-02-18 | 2005-02-18 | Image apparatus for controlling white-balance automatically and method for controlling white-balance thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20060092658A KR20060092658A (en) | 2006-08-23 |
| KR101092539B1 true KR101092539B1 (en) | 2011-12-14 |
Family
ID=36990843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020050013718A KR101092539B1 (en) | 2005-02-18 | 2005-02-18 | Image apparatus for controlling white-balance automatically and method for controlling white-balance thereof |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7791649B2 (en) |
| JP (1) | JP4214154B2 (en) |
| KR (1) | KR101092539B1 (en) |
| CN (1) | CN100508624C (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109215612A (en) * | 2017-06-30 | 2019-01-15 | 北京小米移动软件有限公司 | Adjusting method and device that screen is shown, electronic equipment, storage medium |
| WO2023013944A1 (en) * | 2021-08-03 | 2023-02-09 | Samsung Electronics Co., Ltd. | Content creative intention preservation under various ambient color temperatures |
Families Citing this family (74)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7728880B2 (en) * | 2004-06-25 | 2010-06-01 | Qualcomm Incorporated | Automatic white balance method and apparatus |
| US7528989B2 (en) * | 2004-07-08 | 2009-05-05 | Fuji Xerox Co., Ltd | Image processing apparatus and image processing method |
| TW200632771A (en) * | 2005-03-10 | 2006-09-16 | Avisonic Technology Corp | Automatic white balance method applicable for color digital image |
| JP4432818B2 (en) * | 2005-04-01 | 2010-03-17 | セイコーエプソン株式会社 | Image display device, image display method, and image display program |
| US7724982B2 (en) * | 2006-06-22 | 2010-05-25 | Qualcomm Incorporated | Estimation of lighting conditions based on near-gray pixel detection using cylindrical boundaries |
| US20080079749A1 (en) * | 2006-09-28 | 2008-04-03 | Faraday Technology Corp. | White balance method for image processing |
| JP2008124928A (en) * | 2006-11-14 | 2008-05-29 | Toshiba Corp | Auto white balance system |
| US8064691B2 (en) * | 2007-05-15 | 2011-11-22 | Creative Lifestyle, Inc. | Method for identifying color in machine and computer vision applications |
| US9536322B1 (en) | 2007-05-15 | 2017-01-03 | Peter Harmon Smith | Implementation of multi-camera tracking applications using rich color transition curve target sequences |
| US8526717B2 (en) | 2007-05-15 | 2013-09-03 | Vision Interface Technologies, LLC | Rich color transition curve tracking method |
| CN101682759B (en) * | 2007-06-27 | 2013-01-09 | 汤姆森许可贸易公司 | Enhancing image quality |
| KR101328955B1 (en) * | 2007-07-25 | 2013-11-14 | 엘지전자 주식회사 | Display apparatus and method for control color temperature |
| TW200908696A (en) * | 2007-08-07 | 2009-02-16 | Mitac Int Corp | Auto white balance control system, white balance module and method thereof |
| TWI343219B (en) * | 2007-08-28 | 2011-06-01 | Mstar Semiconductor Inc | Device and method for adjusting color value |
| KR101451982B1 (en) | 2008-02-12 | 2014-10-24 | 삼성전자주식회사 | Apparatus and method for adjusting white balance in digital image device |
| JP4941370B2 (en) * | 2008-03-18 | 2012-05-30 | 富士通株式会社 | Image correction program, image correction apparatus, and image correction method |
| EP2321958A1 (en) * | 2008-09-09 | 2011-05-18 | Hewlett-Packard Development Company, L.P. | Image sharpening |
| KR101516963B1 (en) | 2008-12-11 | 2015-05-04 | 삼성전자주식회사 | Apparatus and method for adjusting auto white balance using effective area |
| US8243162B2 (en) * | 2008-12-11 | 2012-08-14 | Omnivision Technologies, Inc. | Automatic white balancing using meter sensors |
| US8077352B2 (en) * | 2009-01-26 | 2011-12-13 | Xerox Corporation | GAMUT aim and GAMUT mapping method for spatially varying color lookup tables |
| KR100977055B1 (en) | 2009-02-20 | 2010-08-19 | 주식회사 코아로직 | Device and method for adjusting auto white balance(awb) and image processing apparatus comprising the same device |
| KR101030393B1 (en) * | 2009-02-20 | 2011-04-20 | 인하대학교 산학협력단 | Apparatus and method for adjusting white balance of digital image |
| US8310741B2 (en) * | 2009-02-27 | 2012-11-13 | Kyocera Document Solutions Inc. | Image reading device and image forming apparatus |
| CN101577831B (en) * | 2009-03-10 | 2013-08-21 | 北京中星微电子有限公司 | Control method and control device for starting white balance adjustment |
| US8355566B2 (en) * | 2009-04-03 | 2013-01-15 | Hong Kong Baptist University | Method and device for use in converting a colour image into a grayscale image |
| US20100259639A1 (en) * | 2009-04-13 | 2010-10-14 | Qualcomm Incorporated | Automatic backlight detection |
| CN101873504B (en) * | 2009-04-27 | 2012-06-27 | 倚强科技股份有限公司 | Method for correcting automatic white balance |
| JP5304529B2 (en) * | 2009-08-17 | 2013-10-02 | 富士ゼロックス株式会社 | Image processing apparatus and image processing program |
| KR101590771B1 (en) | 2009-08-27 | 2016-02-02 | 삼성전자주식회사 | Apparatus and method for adjusting auto white balance by detecting effective area |
| KR101131109B1 (en) * | 2010-05-31 | 2012-04-03 | 인하대학교 산학협력단 | Auto white balance setting method by white detection considering sensor characteristic |
| US8605167B2 (en) | 2010-09-01 | 2013-12-10 | Apple Inc. | Flexible color space selection for auto-white balance processing |
| CN102469243B (en) * | 2010-11-04 | 2014-12-17 | 卡西欧计算机株式会社 | Image capturing apparatus capable of adjusting white balance |
| US20120274799A1 (en) * | 2011-04-28 | 2012-11-01 | Yu-Wei Wang | Calibrating image sensors |
| US8929682B2 (en) | 2011-04-28 | 2015-01-06 | Hewlett-Packard Development Company, L.P. | Calibrating image sensors |
| EP2732677B1 (en) * | 2011-07-15 | 2014-12-17 | Koninklijke Philips N.V. | Controller for light-emitting devices |
| US8786730B2 (en) * | 2011-08-18 | 2014-07-22 | Microsoft Corporation | Image exposure using exclusion regions |
| CN102982785A (en) * | 2011-09-06 | 2013-03-20 | 台达电子工业股份有限公司 | Color tuning system used for television wall |
| US8780225B2 (en) | 2011-10-12 | 2014-07-15 | Apple Inc. | Use of noise-optimized selection criteria to calculate scene white points |
| KR101805005B1 (en) * | 2011-11-07 | 2018-01-10 | 삼성전자주식회사 | Digital photographing apparatus |
| JP5282833B1 (en) * | 2012-03-27 | 2013-09-04 | 富士ゼロックス株式会社 | COLOR ADJUSTMENT DEVICE, COLOR ADJUSTMENT SYSTEM, AND PROGRAM |
| US9142012B2 (en) | 2012-05-31 | 2015-09-22 | Apple Inc. | Systems and methods for chroma noise reduction |
| US8872946B2 (en) | 2012-05-31 | 2014-10-28 | Apple Inc. | Systems and methods for raw image processing |
| US9105078B2 (en) | 2012-05-31 | 2015-08-11 | Apple Inc. | Systems and methods for local tone mapping |
| US8917336B2 (en) | 2012-05-31 | 2014-12-23 | Apple Inc. | Image signal processing involving geometric distortion correction |
| US9031319B2 (en) | 2012-05-31 | 2015-05-12 | Apple Inc. | Systems and methods for luma sharpening |
| US11089247B2 (en) | 2012-05-31 | 2021-08-10 | Apple Inc. | Systems and method for reducing fixed pattern noise in image data |
| US9077943B2 (en) | 2012-05-31 | 2015-07-07 | Apple Inc. | Local image statistics collection |
| US9014504B2 (en) | 2012-05-31 | 2015-04-21 | Apple Inc. | Systems and methods for highlight recovery in an image signal processor |
| US8817120B2 (en) | 2012-05-31 | 2014-08-26 | Apple Inc. | Systems and methods for collecting fixed pattern noise statistics of image data |
| US9025867B2 (en) | 2012-05-31 | 2015-05-05 | Apple Inc. | Systems and methods for YCC image processing |
| US8953882B2 (en) | 2012-05-31 | 2015-02-10 | Apple Inc. | Systems and methods for determining noise statistics of image data |
| US9743057B2 (en) | 2012-05-31 | 2017-08-22 | Apple Inc. | Systems and methods for lens shading correction |
| US9332239B2 (en) | 2012-05-31 | 2016-05-03 | Apple Inc. | Systems and methods for RGB image processing |
| TWI554116B (en) * | 2012-10-16 | 2016-10-11 | 鴻海精密工業股份有限公司 | Method for regulating white balancing |
| CN103108469B (en) * | 2013-01-31 | 2015-02-18 | 北京半导体照明科技促进中心 | Method and device for controlling output light of illuminating device and illuminating system |
| US9424628B2 (en) | 2014-06-19 | 2016-08-23 | Microsoft Technology Licensing, Llc | Identifying gray regions for auto white balancing |
| CN104618703B (en) * | 2015-02-09 | 2016-08-24 | 傅邓文 | A kind of white balance adjustment method |
| JP6277984B2 (en) * | 2015-03-23 | 2018-02-14 | 株式会社Ｊｖｃケンウッド | Image correction apparatus, image correction method, and image correction program |
| CN104766310B (en) * | 2015-03-24 | 2017-08-29 | 厦门通士达照明有限公司 | light source detection system and detection method |
| US9697796B2 (en) | 2015-03-26 | 2017-07-04 | Intel Corporation | Adaptive linear luma domain video pipeline architecture |
| KR102346522B1 (en) * | 2015-09-10 | 2022-01-03 | 삼성전자주식회사 | Image processing device and auto white balancing metohd thereof |
| CN105894458A (en) * | 2015-12-08 | 2016-08-24 | 乐视移动智能信息技术（北京）有限公司 | Processing method and device of image with human face |
| CN105611184A (en) * | 2015-12-18 | 2016-05-25 | 珠海全志科技股份有限公司 | White balance debugging method and debugging system of digital video device |
| US20180176528A1 (en) * | 2016-12-20 | 2018-06-21 | Mediatek Inc. | Light locus generation for automatic white balance |
| CN108322637B (en) * | 2017-01-17 | 2020-02-11 | 杭州海康威视数字技术股份有限公司 | Equipment protection method and device under strong light |
| JP6705939B2 (en) * | 2017-03-13 | 2020-06-03 | 太洋電機産業株式会社 | Control and inspection equipment |
| CN108965685A (en) * | 2017-05-17 | 2018-12-07 | 中兴通讯股份有限公司 | A kind of image processing method and device |
| US10803341B2 (en) * | 2017-12-26 | 2020-10-13 | Augentix Inc. | Method and computer system of white point detection |
| CN109993687B (en) * | 2017-12-29 | 2023-06-13 | 阿里巴巴集团控股有限公司 | Image information processing method and device |
| CN113691793B (en) * | 2020-05-19 | 2024-01-05 | 瑞昱半导体股份有限公司 | Image white balance processing method |
| CN112509069B (en) * | 2020-11-18 | 2023-11-14 | 江汉大学 | Remote-controllable light source control method and device |
| CN112584117B (en) * | 2020-12-11 | 2022-07-15 | 中国第一汽车股份有限公司 | White balance adjusting method, device, equipment and storage medium |
| CN112995632B (en) * | 2021-04-21 | 2021-08-31 | 贝壳找房(北京)科技有限公司 | Image white balance processing method and device, electronic equipment and storage medium |
| US11509875B1 (en) * | 2021-08-06 | 2022-11-22 | Ford Global Technologies, Llc | Enhanced color consistency for imaging |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11243557A (en) | 1998-02-26 | 1999-09-07 | Sony Corp | Chrominance signal processing circuit and its processing method therefor and camera system |
| JP2005033330A (en) | 2003-07-08 | 2005-02-03 | Konica Minolta Opto Inc | White balance control apparatus and electronic equipment |
| JP2005033332A (en) | 2003-07-08 | 2005-02-03 | Konica Minolta Opto Inc | White balance control unit and electronic equipment |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6154217A (en) * | 1997-04-15 | 2000-11-28 | Software Architects, Inc. | Gamut restriction of color image |
| WO1999055074A1 (en) * | 1998-04-17 | 1999-10-28 | Mitsubishi Denki Kabushiki Kaisha | Color gamut compression method and color gamut compression device |
| US6377702B1 (en) * | 1999-12-08 | 2002-04-23 | Sony Corporation | Color cast detection and removal in digital images |
| US6738510B2 (en) * | 2000-02-22 | 2004-05-18 | Olympus Optical Co., Ltd. | Image processing apparatus |
| US7081918B2 (en) * | 2000-04-28 | 2006-07-25 | Fuji Photo Film Co., Ltd. | Image processing method, image processing apparatus and recording medium storing program therefor |
| US6989859B2 (en) * | 2000-12-22 | 2006-01-24 | Eastman Kodak Company | Camera having user interface ambient sensor viewer adaptation compensation and method |
| US7265781B2 (en) * | 2001-08-22 | 2007-09-04 | Fujifilm Corporation | Method and apparatus for determining a color correction matrix by minimizing a color difference maximum or average value |
| JP2003283731A (en) * | 2002-03-20 | 2003-10-03 | Konica Corp | Image input apparatus, image output apparatus, and image recorder comprising them |
| US6844881B1 (en) * | 2002-03-29 | 2005-01-18 | Apple Computer, Inc. | Method and apparatus for improved color correction |
| JP2004173010A (en) * | 2002-11-20 | 2004-06-17 | Konica Minolta Holdings Inc | Image pickup device, image processor, image recorder, image processing method, program and recording medium |
| US20040212546A1 (en) * | 2003-04-23 | 2004-10-28 | Dixon Brian S. | Perception-based management of color in display systems |
| JP4158592B2 (en) * | 2003-04-25 | 2008-10-01 | 富士フイルム株式会社 | Auto white balance adjustment method and camera to which this method is applied |
| US7382915B2 (en) * | 2004-03-16 | 2008-06-03 | Xerox Corporation | Color to grayscale conversion method and apparatus |
-
2005
- 2005-02-18 KR KR1020050013718A patent/KR101092539B1/en active IP Right Grant
-
2006
- 2006-02-17 US US11/356,223 patent/US7791649B2/en active Active
- 2006-02-20 JP JP2006042911A patent/JP4214154B2/en active Active
- 2006-02-20 CN CNB2006100077780A patent/CN100508624C/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11243557A (en) | 1998-02-26 | 1999-09-07 | Sony Corp | Chrominance signal processing circuit and its processing method therefor and camera system |
| JP2005033330A (en) | 2003-07-08 | 2005-02-03 | Konica Minolta Opto Inc | White balance control apparatus and electronic equipment |
| JP2005033332A (en) | 2003-07-08 | 2005-02-03 | Konica Minolta Opto Inc | White balance control unit and electronic equipment |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109215612A (en) * | 2017-06-30 | 2019-01-15 | 北京小米移动软件有限公司 | Adjusting method and device that screen is shown, electronic equipment, storage medium |
| WO2023013944A1 (en) * | 2021-08-03 | 2023-02-09 | Samsung Electronics Co., Ltd. | Content creative intention preservation under various ambient color temperatures |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20060092658A (en) | 2006-08-23 |
| JP4214154B2 (en) | 2009-01-28 |
| CN1832583A (en) | 2006-09-13 |
| JP2006229990A (en) | 2006-08-31 |
| US20060290957A1 (en) | 2006-12-28 |
| US7791649B2 (en) | 2010-09-07 |
| CN100508624C (en) | 2009-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101092539B1 (en) | Image apparatus for controlling white-balance automatically and method for controlling white-balance thereof | |
| KR101451982B1 (en) | Apparatus and method for adjusting white balance in digital image device | |
| EP1920610B1 (en) | Image processing device with automatic white balance | |
| JP4707450B2 (en) | Image processing apparatus and white balance adjustment apparatus | |
| KR101030393B1 (en) | Apparatus and method for adjusting white balance of digital image | |
| TWI549511B (en) | Image sensing apparatus and color-correction matrix correcting method and look-up table establishing method | |
| JP2009050003A (en) | Nonlinear color correction | |
| JP2000171304A (en) | Detecting method of color illumination color temperature and device therefor | |
| CN107680142B (en) | Method for improving out-of-gamut color overlay mapping | |
| TW200926838A (en) | Image sensor apparatus and methods employing unit pixel groups with overlapping green spectral content | |
| CN102088539A (en) | Method and system for evaluating pre-shot picture quality | |
| JP2012513722A (en) | Ridge-based color gamut mapping | |
| JPH11308634A (en) | White balance controller | |
| CN103366383A (en) | Color registration method and system of sequence image | |
| KR100723050B1 (en) | Method of color correction for display and apparatus thereof | |
| US10242461B1 (en) | Method to improve overlay mapping of out-of-gamut | |
| JPH11205812A (en) | White balance control method and system thereof | |
| KR101768071B1 (en) | Method and apparatus for correcting color blindness | |
| KR20090029545A (en) | Automatic white balance apparatus and method thereof | |
| CN103379253A (en) | Color processing apparatus and method | |
| CN108632582A (en) | The white balance adjustment method and device of image | |
| KR100581526B1 (en) | A digital still camera operating white correction in response to variable light source | |
| CN101345813B (en) | Image color compensation device and method | |
| JP4137779B2 (en) | Video signal processing apparatus and electronic apparatus | |
| KR102315200B1 (en) | Image processing apparatus for auto white balance and processing method therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20141119 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20151116 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20161118 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20171120 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20181119 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20191119 Year of fee payment: 9 |