WO2019150860A1 - ホワイトバランス調整装置及びホワイトバランス調整方法 - Google Patents

ホワイトバランス調整装置及びホワイトバランス調整方法 Download PDF

Info

Publication number
WO2019150860A1
WO2019150860A1 PCT/JP2018/047738 JP2018047738W WO2019150860A1 WO 2019150860 A1 WO2019150860 A1 WO 2019150860A1 JP 2018047738 W JP2018047738 W JP 2018047738W WO 2019150860 A1 WO2019150860 A1 WO 2019150860A1
Authority
WO
WIPO (PCT)
Prior art keywords
white balance
image signal
balance adjustment
unit
luminance
Prior art date
Application number
PCT/JP2018/047738
Other languages
English (en)
French (fr)
Inventor
孝行 根岸
仁 高木
大昌 新舎
諭 池谷
勉 薄井
憲彦 中野
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to US16/966,340 priority Critical patent/US10979683B2/en
Publication of WO2019150860A1 publication Critical patent/WO2019150860A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Definitions

  • the present invention relates to a white balance adjustment device and a white balance adjustment method for performing white balance adjustment on an received image signal.
  • the image signal output from the imaging apparatus is often output as a value in the RGB color space (RGB value).
  • RGB value RGB color space
  • the screen of the result of the white balance adjustment is displayed.
  • the brightness may change from the brightness of the screen before white balance adjustment. This is because the white balance adjustment in the RGB space is performed for each of the R value, the G value, and the B value. Therefore, when the ratio of the RGB value to a certain pixel changes due to the white balance adjustment, the brightness of the pixel changes as a result. It is because it may end up.
  • the white balance is adjusted to match the tunnel light.
  • the in-vehicle camera simultaneously captures the tunnel light, which is a self-luminous light source in the tunnel, and the scenery seen from the exit of the tunnel.
  • the saturation of the light from the road surface which is a low-luminance part
  • the self-luminance which is a high-luminance part Since the saturation of the light from the light source can be different, if the white balance is adjusted in accordance with the light from the road surface or the like, there is a possibility that appropriate white balance cannot be adjusted.
  • an object of the present invention is to provide a white balance adjustment device and a white balance adjustment method capable of performing appropriate white balance adjustment even when light from a light source having a plurality of luminances is imaged.
  • a white balance adjustment device of the present invention that performs white balance adjustment on an received image signal has a statistical acquisition unit and a correction unit, and the statistical acquisition unit has a plurality of luminance ranges.
  • An area setting unit including a luminance area setting unit to be set; and an average value calculating unit that calculates an average value of color difference values of the image signal in each luminance range set by the luminance area setting unit.
  • a correction function determining unit that determines a correction function of the color difference value of the image signal based on the average value of the color difference values calculated by the average value calculating unit, and a color difference of the image signal based on the correction function determined by the correction function determining unit And a color difference correction unit for correcting the value.
  • the correction function determination unit has the color difference value of the image signal based on the average value of the color difference values of the image signal in each luminance range set by the luminance region setting unit.
  • the color difference correction unit corrects the color difference value of the image signal based on the correction function determined by the correction function determination unit.
  • FIG. 1 is a block diagram showing a schematic configuration of a white balance adjustment apparatus according to the present embodiment.
  • the white balance adjustment device 1 receives an image signal from an unillustrated imaging device such as an in-vehicle camera.
  • the image signal input to the white balance adjusting device 1 is a so-called YUV format image signal.
  • an unillustrated device for converting the RGB signal from the imaging device into a YUV signal is provided in the preceding stage of the white balance adjustment device 1.
  • the white balance adjusting apparatus 1 has a calculation control means such as a CPU and a storage means such as a ROM and a RAM, and a control program stored in the storage means is read out at the time of activation, and the calculation control means.
  • a calculation control means such as a CPU and a storage means such as a ROM and a RAM
  • a control program stored in the storage means is read out at the time of activation, and the calculation control means.
  • the white balance adjustment device 1 is controlled as a whole, and the functions as various function realizing means shown below are executed by the white balance adjustment device 1.
  • the white balance adjustment device 1 includes a statistical acquisition unit 2 that performs statistical processing on an input image signal, and an input image signal based on a statistical processing result performed by the statistical acquisition unit 2 A white balance adjustment (especially saturation correction).
  • the statistics acquisition unit 2 includes a luminance region setting unit 4a for setting a plurality of luminance ranges, a screen region setting unit 4b for setting a screen range displayed by an image signal, and a saturation region setting unit for setting a saturation range. And an average value calculation unit 5 that calculates an average value of saturation (color difference) values of the image signal in each luminance range set by the luminance region setting unit 4a.
  • the correction unit 3 is determined by the correction function determination unit 6 and the correction function determination unit 6 that determine a correction function for the color difference value of the image signal based on the average value of the color difference values calculated by the average value calculation unit 5. And a color difference correction unit 7 for correcting the color difference value of the image signal based on the correction function. Details of these various function realizing means will be described later.
  • the image signal output from the white balance adjusting device 1 is provided to a display device such as a display provided in the vehicle, and a screen is displayed on the display device based on the image signal.
  • a display device such as a display provided in the vehicle
  • a screen is displayed on the display device based on the image signal.
  • image processing such as gamma correction, performed when displaying the screen may be performed on the image signal output from the white balance adjustment device 1.
  • various image processing may be performed in advance on the image signal input to the white balance adjusting device 1.
  • step S1 the region setting unit 4 of the statistical acquisition unit 2 sets a ROI (Region Of Interest: target region) for the input image signal.
  • ROI Region Of Interest: target region
  • the ROIs set by the region setting unit 4 are the screen ROI, the luminance ROI, and the saturation ROI.
  • Degree ROI is the screen ROI, the luminance ROI, and the saturation ROI.
  • the screen ROI is a range in which the white balance adjusting device 1 acquires a color-shifted image signal for white balance adjustment, and the statistics acquisition unit 2 and the correction unit 3 perform calculation on the image signal within the range of the screen ROI. Is called.
  • the screen ROI P_ROI is set in the upper part of the screen P displayed on the display device by the screen area setting unit 4b, for example, as shown in FIG.
  • the screen ROI P_ROI can be set to the screen in advance and arbitrarily. For example, in the above example, when the white balance adjustment is performed based on the image signal from the road surface, the screen ROI P_ROI is set in the lower half of the screen. That's fine.
  • the luminance ROI is a luminance range of an image signal acquired by the white balance adjustment device 1 for white balance adjustment.
  • the white balance adjustment device 1 according to the present embodiment performs white balance adjustment in a YUV color space as shown in FIG.
  • the image signal of each pixel can be expressed as a coordinate value on a YUV color space, which is a three-dimensional coordinate system defined by the luminance Y axis, the color difference U axis, and the color difference V axis.
  • the luminance ROI is set by the luminance area setting unit 4a.
  • An example of the luminance ROI Y_ROI (1) to Y_ROI (3) set by the luminance area setting unit 4a is shown in FIG.
  • the luminance ROIs Y_ROI (1) to Y_ROI (3) shown in FIG. 5 are represented on the YU plane with the luminance Y on the horizontal axis and the color difference U on the vertical axis as an example.
  • a plurality (three in the illustrated example) are set.
  • Luminance ROI Y_ROI (1) to Y_ROI (3) can also be set in advance and arbitrarily for the entire luminance range. For example, in the above example, white balance adjustment that does not include light from the self-luminous light source that is the high luminance portion When it is desired to perform the above, it is sufficient to set the luminance ROI excluding the luminance corresponding to the light from the self-light-emitting light source. Furthermore, since a plurality of luminance ROIs Y_ROI (1) to Y_ROI (3) can be set, it is possible to perform white balance adjustment focusing on the light from the low luminance part and the light from the high luminance part.
  • the saturation ROI is a saturation (color difference) range of the image signal acquired by the white balance adjustment device 1 for white balance adjustment.
  • the saturation ROI is set by the saturation area setting unit 4c.
  • An example of the saturation ROI U_ROI (1) to U_ROI (3) set by the saturation region setting unit 4c is shown in FIG. Similar to the luminance ROI Y_ROI (1) to Y_ROI (3), the saturation ROIs U_ROI (1) to U_ROI (3) shown in FIG. 6 are also expressed on the YU plane. A plurality (three in the illustrated example) are set.
  • the saturation ROI U_ROI (1) to U_ROI (3) can be set to the same number as the luminance ROI Y_ROI (1) to Y_ROI (3).
  • the luminance ROI Y_ROI (1) to Y_ROI ( 3) It is also possible to set the saturation ROI U_ROI (1) to U_ROI (3) every time.
  • FIG. 6 shows an example of the saturation ROI U_ROI (1) to U_ROI (3) set on the YU plane.
  • the saturation area setting unit 4c also displays the saturation ROI V_ROI on the YV plane. Set.
  • Saturation ROI U_ROI (1) to U_ROI (3) can also be set in advance and arbitrarily with respect to the entire saturation range. For example, in the above example, a part of light from a high saturation part such as a self-luminous light source or a signboard is used. When white balance adjustment that does not include saturation (for example, saturation in the high saturation range) is desired, a saturation ROI that excludes a specific saturation range from the light from the high saturation portion may be set. Furthermore, since a plurality of saturation ROIs U_ROI (1) to U_ROI (3) can be set, it is possible to perform white balance adjustment focusing on light having a plurality of saturations from the light imaged by the imaging device. .
  • step S ⁇ b> 2 the average value calculation unit 5 of the statistics acquisition unit 2 calculates an average value for the image signals of the pixels within the ROI range set by the region setting unit 4.
  • the image signal whose average value is calculated by the average value calculation unit 5 is an image signal of a pixel within the range of the screen ROI set by the screen region setting unit 4b. Further, the luminance of the image signal of the pixel within the range of the screen ROI An average value is calculated for the luminance within the range of the luminance ROI set by the region setting unit 4a and the saturation within the range of the saturation ROI set by the saturation region setting unit 4c.
  • the average value calculation unit 5 calculates an average value of luminance and saturation (color difference) for each luminance ROI. More specifically, the average value calculation unit 5 calculates the average value U_Ave of the color difference U and the corresponding average value Yu_Ave of the luminance Y for a specific luminance ROI, and similarly, the average value V_Ave of the color difference V and The average value Yv_Ave of the corresponding luminance Y is calculated.
  • the average value calculation unit 5 uses the luminances ROI Y_ROI (1) to Y_ROI (3).
  • An average value U_Ave (1) to U_Ave (3) of the color difference U and an average value Yu_Ave (1) to Yu_Ave (3) corresponding to the luminance Y are calculated.
  • the saturation ROI U_ROI (1) to U_ROI (3) are set to be the same in all the luminance ROI Y_ROI (1) to Y_ROI (3).
  • the average values of the luminance Y, color difference U, and color difference V calculated by the average value calculation unit 5 in step S2 are sent to the correction unit 3 as color misregistration information on the screen ROI representing the image signal from the imaging device.
  • step S3 the correction function determination unit 6 of the correction unit 3 performs white balance adjustment based on the average values of the luminance Y, the color difference U, and the color difference V calculated by the average value calculation unit 5 of the statistics acquisition unit 2.
  • the correction function is a function representing the color misregistration information of the image signal from the imaging device, more specifically, the color misregistration information in the screen ROI representing the image signal from the imaging device.
  • the average value U_Ave (1) to U_Ave (3) of the three color differences U shown in FIG. 7 and the average value Yu_Ave (1) to Yu_Ave (3) of the corresponding luminance Y are average values. It is assumed that the calculation unit 5 has been provided. In the following description, the luminance ROI Y_ROI (1) to Y_ROI (3) are set as the luminance regions Y_Reg (1) to Y_Reg (3).
  • the correction function f (U) for the color difference U in the first embodiment uses an average value of the color difference U as a representative value in each of the luminance regions Y_Reg (1) to Y_Reg (3). That is, in each of the luminance regions Y_Reg (1) to Y_Reg (3), the correction function f (U) for the color difference U is given by the following equation.
  • the correction function determination unit 6 defines the correction function f (V) for the color difference V in the same manner as the correction function for the color difference U.
  • step S4 the color difference correction unit 7 of the correction unit 3 calculates a correction function for all the pixels of the image signal from the imaging device based on the correction function defined in step S3. That is, the luminance value Y_in corresponding to each pixel is referred to, the luminance region Y_Reg to which the luminance value Y_in belongs is specified, and the correction function for each pixel is calculated based on the specified luminance region Y_Reg.
  • step S5 the color difference correction unit 7 of the correction unit 3 calculates correction amounts for the color differences U and V based on the correction function calculated in step S4.
  • the correction amount is defined by the difference between the calculation result of the correction function and the correction target value (that is, the white balance adjustment target value), and specifically, is defined by the following equation.
  • Target_U is a correction target value for the color difference U
  • Target_V is a correction target value for the color difference V.
  • the value 0 is set as an example.
  • the correction values of the luminance regions Y_Reg (1) to Y_Reg (3) are indicated by arrows.
  • step S6 the color difference correction unit 7 of the correction unit 3 performs correction processing based on the correction amounts of the color differences U and V calculated in step S5.
  • the correction process is to obtain a corrected color difference value by offsetting a correction amount corresponding to a pixel from the color difference value, that is, to obtain a color difference value subjected to white balance adjustment.
  • the corrected color difference values that is, the color difference values of the image signal input to the white balance adjustment device 1 are U_in and V_in, respectively
  • the color difference values of the image signal output from the white balance adjustment device 1 are U_out and V_out, respectively.
  • the color difference correction unit 7 performs correction processing for all pixels. As shown in the above equation, the color difference correction unit 7 performs the correction process only for the color differences U and V, and does not correct the luminance Y with the luminance value of the image signal input from the imaging device.
  • the white balance adjustment processing of the white balance adjustment apparatus 1 according to the first embodiment is performed according to the procedure described above.
  • the luminance ROI can be set in a large number of sections and further in a very small luminance range, and the color shift for each luminance area can be acquired in more detail.
  • the accuracy of balance adjustment can be improved.
  • the white balance adjustment device 1 that employs the correction method of this embodiment is mounted on an image signal processing unit associated with a digital camera, a video camera, or the like, the calculation scale can be obtained by setting the luminance ROI in a number of sections.
  • the calculation scale can be obtained by setting the luminance ROI in a number of sections.
  • the correction method of this embodiment defines a correction function that is a constant (average value) for each luminance region, the correction result may be discontinuous at the boundary portion of the luminance region. There is also a possibility that the color reproducibility of the image signal output from the white balance adjusting device 1 may result in an unnatural result.
  • step S3 of FIG. 8 the correction function determination unit 6 of the correction unit 3 defines a correction function different from that of the first embodiment.
  • the average values U_Ave (1) to U_Ave (3) of the three color differences U shown in FIG. 7 and the average values Yu_Ave (1) to Yu_Ave (3) of the corresponding luminance Y are average values. It is assumed that the calculation unit 5 has been provided.
  • the correction function for the color difference U in the second embodiment is a straight line connecting the average value U_Ave (1) and the average value U_Ave (2) on the YU plane, and the average value U_Ave (2) and the average value U_Ave (3). It is defined as a piecewise linear function of two regions consisting of connecting straight lines. Also, a luminance region corresponding to a straight line connecting the average value U_Ave (1) and the average value U_Ave (2) is defined as a luminance region Y_Reg (1), and a straight line connecting the average value U_Ave (2) and the average value U_Ave (3). A luminance region corresponding to is defined as a luminance region Y_Reg (2).
  • Knee_U is given by the average value Yu_Ave of the luminance Y
  • Offset_U is given by the average value U_Ave of the color difference U
  • Gain_U is given by the slope of a straight line connecting the average values U_Ave of the adjacent color differences U on the YU plane.
  • the lower limit value of the luminance Y is Knee_U (1), and the color difference U at that time is Offset_U (1).
  • the upper limit value of the luminance Y is Knee_U (3), and the color difference U at that time is Offset_U (3).
  • Knee_U (2) and Offset_U (2) at the boundary between the luminance regions Y_Reg (1) and Y_Reg (2) are given by the following equation using average values Yu_Ave (2) and U_Ave (2).
  • the slope of the piecewise linear function of the luminance area Y_Reg (1) is Gain_U (1)
  • the slope of the piecewise linear function of the brightness area Y_Reg (2) is Gain_U (2).
  • the correction function determination unit 6 also defines the correction function f (V) for the color difference V in the same manner as the correction function for the color difference U.
  • the white balance adjustment process of the white balance adjustment apparatus 1 according to the second embodiment is performed according to the procedure described above.
  • the correction method of the present embodiment as shown in FIG. 10, since the luminance regions Y_Reg (1) and Y_Reg (2) are set between the average values of the color differences U, the first implementation is performed. Compared to the example, the number of luminance regions Y_Reg can be reduced, the calculation scale can be reduced, and the mounting cost can be suppressed.
  • the correction function is set to be continuous at the boundary between the luminance regions Y_Reg (1) and Y_Reg (2), the color reproducibility of the image signal output from the white balance adjustment device 1 is unnatural. Can be suppressed.
  • the correction value is calculated even in the luminance lower limit value and the luminance upper limit value (the value of the correction function is not 0).
  • a correction value other than 0 is also given to light from a self-luminous light source or a low-luminance part at night, and as a result, white balance adjustment is performed and the saturation of these lights is changed, thereby causing a color shift. is there.
  • step S3 of FIG. 8 the correction function determination unit 6 of the correction unit 3 defines a correction function different from those of the first and second embodiments.
  • the correction function for the color difference U in the third embodiment is given by a piecewise linear function that connects the average values of the color differences U.
  • the luminance lower limit Luminance area Y_Reg (1) between the average value of the color difference U and the average value of the color difference U and a luminance area Y_Reg (4) between the average value of the color difference U and the luminance upper limit value are newly provided, for a total of four luminance areas Y_Reg ( 1) to Y_Reg (4) define a correction function.
  • the variable of the correction function will be explained in detail.
  • the luminance lower limit value is Knee_U (1)
  • the color difference U value corresponding to the luminance lower limit value is Offset_U (1)
  • the luminance upper limit value is Knee_U (5)
  • the color difference U value corresponding to the luminance upper limit value is Offset_U (5 ).
  • Offset_U (1) Offset_U (5) is set, and both are set on the luminance Y axis (that is, value 0).
  • the average value of the luminance Y corresponding to the average value of the color difference U is assumed to be Knee_U (2), Knee_U (3), and Knee_U (4) in order from the low frequency side. Expressing this in the formula: It becomes.
  • the average value of the color difference U is set to Offset_U (2), Offset_U (3), and Offset_U (4) in order from the low frequency side of the luminance Y. Expressing this in the formula: It becomes.
  • the slope of the straight line of the correction function that connects the change points of the area composed of Knee and Offset is set to Gain_U (1), Gain_U (2), Gain_U (3), Gain_U (4), Gain_U (5) in order from the lower side of the luminance Y. ).
  • the luminance region is Y_Reg (1), Y_Reg (2), Y_Reg (3), Y_Reg (4), and Y_Reg (5) in order from the low frequency side of luminance Y.
  • the correction function determination unit 6 also defines the correction function f (V) for the color difference V in the same manner as the correction function for the color difference U.
  • the white balance adjustment process of the white balance adjustment device 1 according to the third embodiment is performed according to the procedure described above.
  • the correction values in the luminance lower limit value and the luminance upper limit value are set to 0. Therefore, the correction value becomes closer to the high luminance portion and the low luminance portion.
  • the relationship between the operation by the statistics acquisition unit 2 and the operation by the correction unit 3 will be supplemented.
  • the operations of the statistical acquisition unit 2 and the correction unit 3 may be performed sequentially or in parallel. That is, since the operations of the statistics acquisition unit 2 and the correction unit 3 are performed in units of screens as described above, in other words, in units of frames of image signals from the imaging device, operations by the statistics acquisition unit 2 for image signals of a certain frame. After the operation is completed, the operation of the correction unit 3 may be performed on the image signal of this frame.
  • the statistic acquisition unit 2 operates on the image signal several frames before the frame currently transmitted from the imaging device, and based on the calculation result of the statistic acquisition unit 2 on the image signal several frames before, the correction unit 3 may perform computation on the image signal of the current frame.
  • white balance adjustment can be processed in real time by operating the statistics acquisition unit 2 and the correction unit 3 in parallel.
  • the correction function determination unit 6 sets the average value of the color difference values of the image signal in each luminance range set by the luminance region setting unit 4a. Based on the correction function determined by the correction function determination unit 6, the color difference correction unit 7 corrects the color difference value of the image signal.
  • the region setting unit 4 includes a luminance region setting unit 4a, a screen region setting unit 4b for setting a screen range displayed by an image signal, and a saturation region setting unit 4c for setting a saturation range. Therefore, by appropriately setting the range by the screen region setting unit 4b and the saturation region setting unit 4c, depending on which range of the screen displayed by the image signal the light from the light source is reflected, Thus, appropriate white balance adjustment can be performed in accordance with the deviation of the saturation of light from the light source.
  • the average value calculation unit 5 calculates the average value of the color difference values of the image signal corresponding to the screen range set by the screen region setting unit 4b, and the color difference correction unit 7 is set by the screen region setting unit 4b. Since the color difference value of the image signal corresponding to the screen range is corrected, more appropriate white balance adjustment can be performed by appropriately setting the screen range.
  • the correction function determination unit 6 determines a correction function that reduces the correction amount of the image signal as it approaches the lower limit value and the upper limit value of the luminance value of the image signal. However, appropriate white balance adjustment can be performed.
  • the correction function in each of the above-described embodiments is defined for each of the color difference U and the color difference V.
  • the variables relating to the color difference U and the color difference V are simultaneously included in the three-dimensional YUV space.
  • a defined correction function may be used.
  • the correction amount calculated by the color difference correction unit 7 of the correction unit 3 may be limited. Expressing this in the formula: It becomes.
  • Coef_U and Coef_V are correction amount adjustment coefficients for the color difference U and the color difference V, respectively, and 0 ⁇ Coef_U ⁇ 1 and 0 ⁇ Coef_V ⁇ 1.
  • the correction amount adjustment coefficient can be arbitrarily set and changed during and after the white balance adjustment device is mounted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

複数の輝度を有する光源からの光を撮像した場合でも適切なホワイトバランス調整を行いうるホワイトバランス調整装置及びホワイトバランス調整方法を提供する。　受け入れた画像信号に対してホワイトバランス調整を行うホワイトバランス調整装置（１）は統計取得部（２）と補正部（３）とを有し、統計取得部（２）は、複数の輝度範囲を設定する輝度領域設定部（４ａ）を備える領域設定部（４）と、輝度領域設定部（４ａ）により設定された各々の輝度範囲における画像信号の色差値の平均値を算出する平均値算出部（５）とを有し、補正部（３）は、平均値算出部（５）が算出した色差値の平均値に基づいて、画像信号の色差値の補正関数を決定する補正関数決定部（６）と、補正関数決定部（６）により決定された補正関数に基づいて画像信号の色差値を補正する色差補正部（７）とを有する。

Description

ホワイトバランス調整装置及びホワイトバランス調整方法
　本発明は、受け入れた画像信号に対してホワイトバランス調整を行うホワイトバランス調整装置及びホワイトバランス調整方法に関するものである。
　撮像装置から出力される画像信号はＲＧＢ色空間における値（ＲＧＢ値）として出力されることが多いが、このＲＧＢ値に対してホワイトバランス調整を行うと、ホワイトバランス調整を行った結果の画面の明るさが、ホワイトバランス調整前の画面の明るさから変わってしまうことがある。これは、ＲＧＢ空間におけるホワイトバランス調整はＲ値、Ｇ値、Ｂ値それぞれに行われることから、ある画素に対するＲＧＢ値の比率がホワイトバランス調整により変化すると、結果的に画素の明るさが変化してしまうことがあるからである。
　このため、ＲＧＢ値をＹＵＶ色空間における値（ＹＵＶ値）に変換し、ＹＵＶ色空間において輝度を変化させずに彩度（色差）のみを調整するホワイトバランス調整を行う技術が提案されている（例えば特許文献１、２参照）。かかる技術によれば、ホワイトバランス調整の前後において画面の明るさを変えることなくホワイトバランス調整を行うことができる。
特開平９－１３０８１５号公報 特開２００１－３６９２４号公報
　しかしながら、上述した特許文献１、２に開示された技術では、画面を構成する全ての画素に対して一律の彩度補正量を与えることでホワイトバランス調整を行っており、かかる技術では適切なホワイトバランス調整が実現しにくい場合があった。
　一例として、車両に搭載されて車両前方を撮像する車載カメラからの画像信号に対してホワイトバランス調整を行う場合を考えてみる。このような車載カメラを搭載した車両が夜間に道路を走行していた際に、車載カメラが車両前方にある信号機や街灯などの自発光光源を撮像すると、この自発光光源は任意の光を発光することから、路面等からの光の彩度と異なる彩度を有する自発光光源が画面に写り込むこととなる。この場合、路面等からの光に合わせてホワイトバランス調整を行うと、自発光光源からの光に対しては適切なホワイトバランス調整が行えない可能性がある。
　また、車両が昼間にトンネル内を走行していた際、車載カメラがトンネル内の自発光光源であるトンネル灯と、トンネルの出口から見える景色とを同時に撮像した場合、トンネル灯に合わせてホワイトバランス調整を行うと、やはり景色に対して適切なホワイトバランス調整が行えない可能性がある。
　より詳細に検討すると、路面等からの光と自発光光源からの光とを車載カメラが撮像しているとき、低輝度部である路面等からの光の彩度と高輝度部である自発光光源からの光の彩度が異なりうるので、路面等からの光に合わせてホワイトバランス調整を行うと適切なホワイトバランス調整ができない可能性がある。
　同様に、トンネル灯からの光と景色からの光とを車載カメラが撮像しているとき、低輝度部であるトンネル灯の光の彩度と高輝度部である景色からの光の彩度とが異なりうるので、トンネル灯からの光に合わせてホワイトバランス調整を行うと適切なホワイトバランス調整ができない可能性がある。
　そこで、本発明は、複数の輝度を有する光源からの光を撮像した場合でも適切なホワイトバランス調整を行いうるホワイトバランス調整装置及びホワイトバランス調整方法を提供することを目的としている。
　前記目的を達成するために、受け入れた画像信号に対してホワイトバランス調整を行う本発明のホワイトバランス調整装置は、統計取得部と補正部とを有し、統計取得部は、複数の輝度範囲を設定する輝度領域設定部を備える領域設定部と、輝度領域設定部により設定された各々の輝度範囲における画像信号の色差値の平均値を算出する平均値算出部とを有し、補正部は、平均値算出部が算出した色差値の平均値に基づいて、画像信号の色差値の補正関数を決定する補正関数決定部と、補正関数決定部により決定された補正関数に基づいて画像信号の色差値を補正する色差補正部とを有することを特徴とする。
　このように構成された本発明のホワイトバランス調整装置では、補正関数決定部が、輝度領域設定部により設定された各々の輝度範囲における画像信号の色差値の平均値に基づいて画像信号の色差値の補正関数を決定し、補正関数決定部により決定された補正関数に基づいて、色差補正部が画像信号の色差値を補正する。
　このようにすることで、画像信号に複数の輝度を有する光源からの光が写り込んでいた場合でも、輝度範囲を適切に設定することで各々の光源からの光に合わせたホワイトバランス調整を行うことができる。これにより、複数の輝度を有する光源からの光を撮像した場合でも適切なホワイトバランス調整を行いうるホワイトバランス調整装置及びホワイトバランス調整方法を提供することができる。
本実施の形態であるホワイトバランス調整装置の概略構成を示すブロック図である。 実施の形態であるホワイトバランス調整装置の統計取得部の動作を説明するためのフローチャートである。 実施の形態であるホワイトバランス調整装置の領域設定部により設定される画面ＲＯＩの一例を示す図である。 ＹＵＶ色空間を示す図である。 実施の形態であるホワイトバランス調整装置の領域設定部により設定される輝度ＲＯＩの一例を示す図である。 実施の形態であるホワイトバランス調整装置の領域設定部により設定される彩度ＲＯＩの一例を示す図である。 実施の形態であるホワイトバランス調整装置の平均値算出部により算出される平均値の一例を示す図である。 実施の形態であるホワイトバランス調整装置の補正部の動作を説明するためのフローチャートである。 第１の実施例であるホワイトバランス調整装置の補正関数決定部により決定される補正関数を示す図である。 第２の実施例であるホワイトバランス調整装置の補正関数決定部により決定される補正関数を示す図である。 第３の実施例であるホワイトバランス調整装置の補正関数決定部により決定される補正関数を示す図である。
　以下、実施の形態を図面に基づいて説明する。図１は、本実施の形態であるホワイトバランス調整装置の概略構成を示すブロック図である。
　本実施の形態であるホワイトバランス調整装置１には、例えば車載カメラ等の図略の撮像装置からの画像信号が入力される。ホワイトバランス調整装置１に入力される画像信号は、いわゆるＹＵＶ形式の画像信号である。撮像装置がＲＧＢ形式の画像信号を出力する場合は、ホワイトバランス調整装置１の前段に、撮像装置からのＲＧＢ信号をＹＵＶ信号に変換する図略の装置が設けられる。
　本実施の形態であるホワイトバランス調整装置１は、ＣＰＵ等の演算制御手段及びＲＯＭ、ＲＡＭ等の記憶手段を有し、起動時に記憶手段内に格納された制御プログラムが読み出されて演算制御手段により実行されることで、ホワイトバランス調整装置１全体の制御が行われるとともに、下記に示す各種機能実現手段としての機能がホワイトバランス調整装置１により実行される。
　本実施の形態であるホワイトバランス調整装置１は、入力された画像信号に対して統計処理を行う統計取得部２と、統計取得部２が行った統計処理結果に基づいて、入力された画像信号のホワイトバランス調整（特に彩度の補正）を行う補正部３とを有する。
　統計取得部２は、複数の輝度範囲を設定する輝度領域設定部４ａ、画像信号により表示される画面の範囲を設定する画面領域設定部４ｂ、及び、彩度範囲を設定する彩度領域設定部４ｃを備える領域設定部４と、輝度領域設定部４ａにより設定された各々の輝度範囲における画像信号の彩度（色差）値の平均値を算出する平均値算出部５とを有する。
　また、補正部３は、平均値算出部５が算出した色差値の平均値に基づいて、画像信号の色差値の補正関数を決定する補正関数決定部６と、補正関数決定部６により決定された補正関数に基づいて画像信号の色差値を補正する色差補正部７とを有する。これら各種機能実現手段の詳細については後述する。
　補正部３による補正の結果、ホワイトバランス調整装置１から出力される画像信号は、車内に設けられたディスプレイ等の表示装置に提供され、この画像信号に基づいて表示装置において画面が表示される。なお、画面表示をするに当たって行われる周知の画像処理、例えばガンマ補正などは、ホワイトバランス調整装置１から出力される画像信号について行えばよい。当然、ホワイトバランス調整装置１に入力される画像信号について予め各種画像処理を行ってもよい。
　次に、本実施の形態であるホワイトバランス調整装置１の統計取得部２の動作の詳細を図２のフローチャート及び図３～図７を参照して説明する。
　ステップＳ１では、統計取得部２の領域設定部４が、入力された画像信号に対してＲＯＩ（Region Of Interest：対象領域）を設定する。
　本実施の形態であるホワイトバランス調整装置１の領域設定部４（含む輝度領域設定部４ａ、画面領域設定部４ｂ及び彩度領域設定部４ｃ）が設定するＲＯＩは、画面ＲＯＩ、輝度ＲＯＩ及び彩度ＲＯＩである。
　画面ＲＯＩは、ホワイトバランス調整のためにホワイトバランス調整装置１が色ずれした画像信号を取得する範囲であり、この画面ＲＯＩの範囲内の画像信号について統計取得部２及び補正部３による演算が行われる。画面ＲＯＩ　Ｐ＿ＲＯＩは、例えば図３に示すように、画面領域設定部４ｂにより表示装置に表示される画面Ｐの上部に設定される。
　画面ＲＯＩ　Ｐ＿ＲＯＩは、画面に対して予めかつ任意に設定可能であり、例えば上述した例において路面からの画像信号に基づいてホワイトバランス調整を行いたい場合は、画面下半分に画面ＲＯＩ　Ｐ＿ＲＯＩを設定すればよい。
　輝度ＲＯＩは、ホワイトバランス調整のためにホワイトバランス調整装置１が取得する画像信号の輝度範囲である。本実施の形態であるホワイトバランス調整装置１は、図４に示すようなＹＵＶ色空間においてホワイトバランス調整を行う。図４に示すように、各々の画素の画像信号は、輝度Ｙ軸、色差Ｕ軸及び色差Ｖ軸により定められる３次元座標系であるＹＵＶ色空間上の座標値として表すことが可能である。
　輝度ＲＯＩは輝度領域設定部４ａにより設定される。輝度領域設定部４ａにより設定された輝度ＲＯＩ　Ｙ＿ＲＯＩ（１）～Ｙ＿ＲＯＩ（３）の一例を図５に示す。図５に示す輝度ＲＯＩ　Ｙ＿ＲＯＩ（１）～Ｙ＿ＲＯＩ（３）は、一例として横軸に輝度Ｙ、縦軸に色差Ｕを取ったＹＵ平面上で表現されており、輝度Ｙの全輝度範囲に対して複数（図示例では３つ）設定されている。
　輝度ＲＯＩ　Ｙ＿ＲＯＩ（１）～Ｙ＿ＲＯＩ（３）も、全輝度範囲に対して予めかつ任意に設定可能であり、例えば上述した例において高輝度部である自発光光源からの光を含まないホワイトバランス調整を行いたい場合は、この自発光光源からの光に対応する輝度を除いた輝度ＲＯＩを設定すればよい。さらには、輝度ＲＯＩ　Ｙ＿ＲＯＩ（１）～Ｙ＿ＲＯＩ（３）は複数設定可能であるので、低輝度部からの光や高輝度部からの光に着目したホワイトバランス調整を行うことができる。
　彩度ＲＯＩは、ホワイトバランス調整のためにホワイトバランス調整装置１が取得する画像信号の彩度（色差）範囲である。
　彩度ＲＯＩは彩度領域設定部４ｃにより設定される。彩度領域設定部４ｃにより設定された彩度ＲＯＩ　Ｕ＿ＲＯＩ（１）～Ｕ＿ＲＯＩ（３）の一例を図６に示す。図６に示す彩度ＲＯＩ　Ｕ＿ＲＯＩ（１）～Ｕ＿ＲＯＩ（３）も、輝度ＲＯＩ　Ｙ＿ＲＯＩ（１）～Ｙ＿ＲＯＩ（３）と同様にＹＵ平面上で表現されており、色差Ｕの全輝度範囲に対して複数（図示例では３つ）設定されている。
　彩度ＲＯＩ　Ｕ＿ＲＯＩ（１）～Ｕ＿ＲＯＩ（３）は輝度ＲＯＩ　Ｙ＿ＲＯＩ（１）～Ｙ＿ＲＯＩ（３）と同数設定することができ、特に、図６に示すように、輝度ＲＯＩ　Ｙ＿ＲＯＩ（１）～Ｙ＿ＲＯＩ（３）毎に彩度ＲＯＩ　Ｕ＿ＲＯＩ（１）～Ｕ＿ＲＯＩ（３）を設定することも可能である。なお、図６ではＹＵ平面上に設定された彩度ＲＯＩ　Ｕ＿ＲＯＩ（１）～Ｕ＿ＲＯＩ（３）の一例を示したが、同様に、彩度領域設定部４ｃはＹＶ平面上においても彩度ＲＯＩ　Ｖ＿ＲＯＩを設定する。
　彩度ＲＯＩ　Ｕ＿ＲＯＩ（１）～Ｕ＿ＲＯＩ（３）も、全彩度範囲に対して予めかつ任意に設定可能であり、例えば上述した例において自発光光源や看板といった高彩度部からの光から一部の彩度（例えば高彩度範囲の彩度）を含まないホワイトバランス調整を行いたい場合は、この高彩度部からの光から特定の彩度範囲を除いた彩度ＲＯＩを設定すればよい。さらには、彩度ＲＯＩ　Ｕ＿ＲＯＩ（１）～Ｕ＿ＲＯＩ（３）は複数設定可能であるので、撮像装置が撮像した光の中から複数の彩度を有する光に着目したホワイトバランス調整を行うことができる。
　次に、ステップＳ２では、統計取得部２の平均値算出部５が、領域設定部４により設定されたＲＯＩ範囲内の画素の画像信号に対して平均値を算出する。
　平均値算出部５が平均値を算出する画像信号は、画面領域設定部４ｂが設定した画面ＲＯＩの範囲内の画素の画像信号であり、さらに、画面ＲＯＩの範囲内の画素の画像信号について輝度領域設定部４ａにより設定された輝度ＲＯＩの範囲内の輝度及び彩度領域設定部４ｃにより設定された彩度ＲＯＩの範囲内の彩度について平均値が算出される。
　平均値算出部５は、個々の輝度ＲＯＩ毎に輝度及び彩度（色差）の平均値を算出する。より詳細には、平均値算出部５は、特定の輝度ＲＯＩについて色差Ｕの平均値　Ｕ＿Ａｖｅ及びこれに対応する輝度Ｙの平均値　Ｙｕ＿Ａｖｅを算出し、同様に、色差Ｖの平均値　Ｖ＿Ａｖｅ及びこれに対応する輝度Ｙの平均値　Ｙｖ＿Ａｖｅを算出する。
　一例として、図７に示すように３つの輝度ＲＯＩ　Ｙ＿ＲＯＩ（１）～Ｙ＿ＲＯＩ（３）が設定されていたとすると、平均値算出部５は、各々の輝度ＲＯＩ　Ｙ＿ＲＯＩ（１）～Ｙ＿ＲＯＩ（３）における色差Ｕの平均値　Ｕ＿Ａｖｅ（１）～Ｕ＿Ａｖｅ（３）及びこれに対応する輝度Ｙの平均値　Ｙｕ＿Ａｖｅ（１）～Ｙｕ＿Ａｖｅ（３）を算出する。
なお、図示の簡略化のため、彩度ＲＯＩ　Ｕ＿ＲＯＩ（１）～Ｕ＿ＲＯＩ（３）は全ての輝度ＲＯＩ　Ｙ＿ＲＯＩ（１）～Ｙ＿ＲＯＩ（３）において同一に設定している。
　ステップＳ２において平均値算出部５が算出した輝度Ｙ、色差Ｕ及び色差Ｖの平均値は、撮像装置からの画像信号を代表する画面ＲＯＩにおける色ずれ情報として補正部３に送出される。
　次に、本実施の形態であるホワイトバランス調整装置１の補正部３の動作の詳細を図８のフローチャート及び図９～図１１を参照して説明する。
（第１の実施例）
　まず、ステップＳ３では、統計取得部２の平均値算出部５により算出された輝度Ｙ、色差Ｕ及び色差Ｖの平均値に基づいて、補正部３の補正関数決定部６が、ホワイトバランス調整に用いる補正関数を定義する。ここで、補正関数とは、撮像装置からの画像信号の色ずれ情報、より詳細には、撮像装置からの画像信号を代表する画面ＲＯＩにおける色ずれ情報を表す関数である。
　図９を参照して、第１の実施例における補正関数について説明する。図９に示す例では、図７に示した３つの色差Ｕの平均値　Ｕ＿Ａｖｅ（１）～Ｕ＿Ａｖｅ（３）及びこれに対応する輝度Ｙの平均値　Ｙｕ＿Ａｖｅ（１）～Ｙｕ＿Ａｖｅ（３）が平均値算出部５に提供されたものとする。また、以下の説明では、輝度ＲＯＩ　Ｙ＿ＲＯＩ（１）～Ｙ＿ＲＯＩ（３）を輝度領域Ｙ＿Ｒｅｇ（１）～Ｙ＿Ｒｅｇ（３）として設定する。
　第１の実施例における色差Ｕの補正関数ｆ（Ｕ）は、各々の輝度領域Ｙ＿Ｒｅｇ（１）～Ｙ＿Ｒｅｇ（３）において色差Ｕの平均値を代表値として用いたものである。すなわち、各々の輝度領域Ｙ＿Ｒｅｇ（１）～Ｙ＿Ｒｅｇ（３）において、色差Ｕの補正関数ｆ（Ｕ）は次式で与えられる。
Figure JPOXMLDOC01-appb-M000001
　また、補正関数決定部６は、色差Ｖの補正関数ｆ（Ｖ）についても、色差Ｕの補正関数と同様に定義する。
　次に、ステップＳ４では、補正部３の色差補正部７が、ステップＳ３で定義された補正関数に基づいて、撮像装置からの画像信号の全ての画素について補正関数を計算する。つまり、各々の画素に対応する輝度値Ｙ＿ｉｎを参照し、この輝度値Ｙ＿ｉｎが属する輝度領域Ｙ＿Ｒｅｇを特定し、そして、特定した輝度領域Ｙ＿Ｒｅｇに基づいて各々の画素の補正関数を計算する。
　次に、ステップＳ５では、補正部３の色差補正部７が、ステップＳ４で計算された補正関数に基づいて、色差Ｕ、Ｖの補正量を算出する。ここで、補正量は、補正関数の計算結果と補正目標値（つまりホワイトバランス調整の目標値）との差分により定義され、具体的には次式により定義される。
Figure JPOXMLDOC01-appb-M000002
　ここで、Ｔａｒｇｅｔ＿Ｕは色差Ｕの補正目標値であり、Ｔａｒｇｅｔ＿Ｖは色差Ｖの補正目標値である。本実施の形態であるホワイトバランス調整装置１では、一例としていずれも値０に設定される。図９に、各輝度領域Ｙ＿Ｒｅｇ（１）～Ｙ＿Ｒｅｇ（３）の補正値を矢印で示す。
　そして、ステップＳ６では、補正部３の色差補正部７が、ステップＳ５で算出された色差Ｕ、Ｖの補正量に基づいて補正処理を行う。ここで、補正処理とは、画素に応じた補正量を色差値からオフセットすることで、補正された色差値を得る、すなわちホワイトバランス調整を行った色差値を得ることである。補正された色差値、つまり、ホワイトバランス調整装置１に入力される画像信号の色差値をそれぞれＵ＿ｉｎ、Ｖ＿ｉｎ、ホワイトバランス調整装置１から出力される画像信号の色差値をそれぞれＵ＿ｏｕｔ、Ｖ＿ｏｕｔとすると、これら出力色差値Ｕ＿ｏｕｔ、Ｖ＿ｏｕｔは次式により与えられる。
Figure JPOXMLDOC01-appb-M000003
　色差補正部７は、全ての画素について補正処理を行う。なお、上式に示すように、色差補正部７は色差Ｕ、Ｖについてのみ補正処理を行い、輝度Ｙについては撮像装置から入力される画像信号の輝度値のまま補正は行わない。
　以上説明した手順により、第１の実施例によるホワイトバランス調整装置１のホワイトバランス調整処理が行われる。ここで、本実施例の補正手法によれば、輝度ＲＯＩを複数設定してこの輝度ＲＯＩ＝輝度領域毎に色差Ｕ、Ｖの平均値を算出し、この平均値に基づいて補正関数を定めて補正処理を行っているので、表示装置の画面内に異なる色ずれが発生している場合でも、すなわち、複数の輝度を有する光源からの光を撮像した場合でも適切なホワイトバランス調整を行うことが可能となる。
　特に、本実施例の補正手法によれば、輝度ＲＯＩを多数の区間、さらには微少な輝度範囲で設定することができ、輝度領域毎の色ずれをより詳細に取得することができるので、ホワイトバランス調整の精度向上を図ることができる。
　一方で、本実施例の補正手法を採用したホワイトバランス調整装置１を、デジタルカメラやビデオカメラ等に付随する画像信号処理部に実装した場合、輝度ＲＯＩを多数の区間で設定することにより演算規模が増加し、実時間あるいはこれに近い速度でホワイトバランス調整を行うためには、高速演算が可能な画像信号処理部を実装する必要が生じる。これは実装コストの増加につながる可能性がある。
　また、本実施例の補正手法では輝度領域毎に定数（平均値）となる補正関数を定義しているので、輝度領域の境界部分において補正結果が不連続になる可能性があり、結果的にホワイトバランス調整装置１から出力される画像信号の色再現性が不自然な結果になる可能性もある。
　そこで、以下の第２の実施例において、より少ない輝度領域を設定し、かつ、補正関数に連続性を持たせた補正手法について説明する。
（第２の実施例）
　第２の実施例において、統計取得部２による動作は第１の実施例におけるそれと同一であるので、説明を省略する。
　図８のステップＳ３において、補正部３の補正関数決定部６が、第１の実施例と異なる補正関数を定義する。
　図１０を参照して、第２の実施例における補正関数について説明する。図１０に示す例でも、図７に示した３つの色差Ｕの平均値　Ｕ＿Ａｖｅ（１）～Ｕ＿Ａｖｅ（３）及びこれに対応する輝度Ｙの平均値　Ｙｕ＿Ａｖｅ（１）～Ｙｕ＿Ａｖｅ（３）が平均値算出部５に提供されたものとする。
　第２の実施例における色差Ｕの補正関数は、ＹＵ平面において平均値Ｕ＿Ａｖｅ（１）と平均値Ｕ＿Ａｖｅ（２）とを結ぶ直線と、平均値Ｕ＿Ａｖｅ（２）と平均値Ｕ＿Ａｖｅ（３）とを結ぶ直線とからなる２領域の区分線形関数として定義される。また、平均値Ｕ＿Ａｖｅ（１）と平均値Ｕ＿Ａｖｅ（２）とを結ぶ直線に対応する輝度領域を輝度領域Ｙ＿Ｒｅｇ（１）とし、平均値Ｕ＿Ａｖｅ（２）と平均値Ｕ＿Ａｖｅ（３）とを結ぶ直線に対応する輝度領域を輝度領域Ｙ＿Ｒｅｇ（２）とする。
　図１０に示す区分線形関数である補正関数は、複数の変数（Ｋｎｅｅ，Ｏｆｆｓｅｔ，Ｇａｉｎ）で定義される。ここで、Ｋｎｅｅ＿Ｕは輝度Ｙの平均値Ｙｕ＿Ａｖｅにより与えられ、Ｏｆｆｓｅｔ＿Ｕは色差Ｕの平均値Ｕ＿Ａｖｅにより与えられ、Ｇａｉｎ＿ＵはＹＵ平面で隣り合う色差Ｕの平均値Ｕ＿Ａｖｅを結ぶ直線の傾きにより与えられる。
　これら変数についてより詳細に説明する。輝度Ｙの下限値をＫｎｅｅ＿Ｕ（１）、そのときの色差Ｕの値をＯｆｆｓｅｔ＿Ｕ（１）とする。また、輝度Ｙの上限値をＫｎｅｅ＿Ｕ（３）、そのときの色差Ｕの値をＯｆｆｓｅｔ＿Ｕ（３）とする。輝度領域Ｙ＿Ｒｅｇ（１）、Ｙ＿Ｒｅｇ（２）の境界におけるＫｎｅｅ＿Ｕ（２）及びＯｆｆｓｅｔ＿Ｕ（２）は、平均値Ｙｕ＿Ａｖｅ（２）及びＵ＿Ａｖｅ（２）を用いて、次式により与えられる。
Figure JPOXMLDOC01-appb-M000004
　また、輝度領域Ｙ＿Ｒｅｇ（１）の区分線形関数の傾きをＧａｉｎ＿Ｕ（１）、輝度領域Ｙ＿Ｒｅｇ（２）の区分線形関数の傾きをＧａｉｎ＿Ｕ（２）とする。
　このときの補正関数ｆ（Ｕ）は次式により与えられる。
Figure JPOXMLDOC01-appb-M000005
　また、補正関数決定部６は、色差Ｖの補正関数ｆ（Ｖ）についても、色差Ｕの補正関数と同様に定義する。
　次のステップＳ４～Ｓ６の処理は、上述した第１の実施例と同一であるので説明を省略する。但し、補正量及び補正処理に用いる式が第１の実施例におけるそれと異なるので、以下にそれぞれ示す。まず、補正量の式は次式により与えられる。
Figure JPOXMLDOC01-appb-M000006
　また、補正処理に用いる式は次式により与えられる。
Figure JPOXMLDOC01-appb-M000007
　以上説明した手順により、第２の実施例によるホワイトバランス調整装置１のホワイトバランス調整処理が行われる。ここで、本実施例の補正手法によれば、図１０に示すように、輝度領域Ｙ＿Ｒｅｇ（１）、Ｙ＿Ｒｅｇ（２）を色差Ｕの平均値の間に設定しているので、第１の実施例と比較して輝度領域Ｙ＿Ｒｅｇの数を減少させることができて演算規模の削減が図れ、実装コストを抑制することができる。また、補正関数を輝度領域Ｙ＿Ｒｅｇ（１）、Ｙ＿Ｒｅｇ（２）の境界において連続となるように設定しているので、ホワイトバランス調整装置１から出力される画像信号の色再現性が不自然な結果になることを抑制することができる。
　一方で、本実施例の補正手法では、これも図１０に示すように、輝度下限値及び輝度上限値においても補正値が算出される（補正関数の値が０ではない）ので、高輝度部である自発光光源や夜間の低輝度部からの光についても０でない補正値が与えられ、結果としてホワイトバランス調整が行われてこれらの光の彩度が変更されて色ずれが生じる可能性がある。
　そこで、以下の第３の実施例において、補正関数に連続性を持たせつつ、輝度下限値及び輝度上限値における補正値を考慮した補正手法について説明する。
（第３の実施例）
　第３の実施例においても、統計取得部２による動作は第１の実施例におけるそれと同一であるので、説明を省略する。
　図８のステップＳ３において、補正部３の補正関数決定部６が、第１、第２の実施例と異なる補正関数を定義する。
　図１１を参照して、第３の実施例における補正関数について説明する。図１１に示す例でも、図７に示した３つの色差Ｕの平均値　Ｕ＿Ａｖｅ（１）～Ｕ＿Ａｖｅ（３）及びこれに対応する輝度Ｙの平均値　Ｙｕ＿Ａｖｅ（１）～Ｙｕ＿Ａｖｅ（３）が平均値算出部５に提供されたものとする。
　第３の実施例における色差Ｕの補正関数は、第２の実施例における補正関数と同様に、色差Ｕの平均値を結んだ区分線形関数により与えられるが、第３の実施例では、輝度下限値と色差Ｕの平均値との間の輝度領域Ｙ＿Ｒｅｇ（１）と、色差Ｕの平均値と輝度上限値との間の輝度領域Ｙ＿Ｒｅｇ（４）を新たに設け、合計４つの輝度領域Ｙ＿Ｒｅｇ（１）～Ｙ＿Ｒｅｇ（４）において補正関数を定義している。
　補正関数の変数について詳細に説明する。輝度下限値をＫｎｅｅ＿Ｕ（１）とし、輝度下限値に対応する色差Ｕの値をＯｆｆｓｅｔ＿Ｕ（１）、輝度上限値をＫｎｅｅ＿Ｕ（５）とし、輝度上限値に対応する色差Ｕの値をＯｆｆｓｅｔ＿Ｕ（５）とする。また、Ｏｆｆｓｅｔ＿Ｕ（１）＝Ｏｆｆｓｅｔ＿Ｕ（５）とし、いずれも輝度Ｙ軸上（つまり値０）に設定する。
　また、色差Ｕの平均値に対応する輝度Ｙの平均値を、低域側から順にＫｎｅｅ＿Ｕ（２）、Ｋｎｅｅ＿Ｕ（３）、Ｋｎｅｅ＿Ｕ（４）とする。これを式に表すと、
Figure JPOXMLDOC01-appb-M000008
  となる。
　色差Ｕの平均値は、輝度Ｙの低域側から順にＯｆｆｓｅｔ＿Ｕ（２）、Ｏｆｆｓｅｔ＿Ｕ（３）、Ｏｆｆｓｅｔ＿Ｕ（４）とする。これを式に表すと、
Figure JPOXMLDOC01-appb-M000009
  となる。
　Ｋｎｅｅ、Ｏｆｆｓｅｔからなる領域の変化点をつなぐ補正関数の直線の傾きを、輝度Ｙの低域側から順にＧａｉｎ＿Ｕ（１）、Ｇａｉｎ＿Ｕ（２）、Ｇａｉｎ＿Ｕ（３）、Ｇａｉｎ＿Ｕ（４）、Ｇａｉｎ＿Ｕ（５）とする。また、輝度領域は、輝度Ｙの低域側から順にＹ＿Ｒｅｇ（１）、Ｙ＿Ｒｅｇ（２）、Ｙ＿Ｒｅｇ（３）、Ｙ＿Ｒｅｇ（４）、Ｙ＿Ｒｅｇ（５）とする。
　このときの補正関数ｆ（Ｕ）は次式により与えられる。
Figure JPOXMLDOC01-appb-M000010
　また、補正関数決定部６は、色差Ｖの補正関数ｆ（Ｖ）についても、色差Ｕの補正関数と同様に定義する。
　次のステップＳ４～Ｓ６の処理は、上述した第２の実施例と同一であるので説明を省略する。
　以上説明した手順により、第３の実施例によるホワイトバランス調整装置１のホワイトバランス調整処理が行われる。ここで、本実施例の補正手法によれば、図１１に示すように、輝度下限値及び輝度上限値における補正値を０に設定したので、高輝度部、低輝度部に近付くほど補正値が小さくなり、この結果、高輝度部である自発光光源や夜間の低輝度部からの光についても色ずれを起こさないホワイトバランス調整を行うことができる。
　ここで、統計取得部２による動作と補正部３による動作の関係について補足する。これら統計取得部２及び補正部３の動作は順次行ってもよいし、並行して行ってもよい。つまり、統計取得部２及び補正部３の動作は、上述したように画面単位、言い換えれば撮像装置からの画像信号のフレーム単位で行われるので、あるフレームの画像信号についての統計取得部２による動作が終了してから、このフレームの画像信号について補正部３の動作を行ってもよい。あるいは、統計取得部２が、現在撮像装置から送出されているフレームの数フレーム前の画像信号について動作を行い、数フレーム前の画像信号についての統計取得部２の演算結果に基づいて、補正部３が現在のフレームの画像信号について演算を行ってもよい。このように、統計取得部２と補正部３とを並行動作させることで、ホワイトバランス調整を実時間処理することができる。
　以上のように構成された本実施の形態であるホワイトバランス調整装置１では、補正関数決定部６が、輝度領域設定部４ａにより設定された各々の輝度範囲における画像信号の色差値の平均値に基づいて画像信号の色差値の補正関数を決定し、この補正関数決定部６により決定された補正関数に基づいて、色差補正部７が画像信号の色差値を補正する。
　このようにすることで、画像信号に複数の輝度を有する光源からの光が写り込んでいた場合でも、輝度範囲を適切に設定することで各々の光源からの光に合わせたホワイトバランス調整を行うことができる。これにより、複数の輝度を有する光源からの光を撮像した場合でも適切なホワイトバランス調整を行いうるホワイトバランス調整装置１及びホワイトバランス調整方法を提供することができる。
　ここで、領域設定部４は、輝度領域設定部４ａと、画像信号により表示される画面の範囲を設定する画面領域設定部４ｂと、彩度範囲を設定する彩度領域設定部４ｃとを有するので、これら画面領域設定部４ｂ及び彩度領域設定部４ｃによる範囲を適切に設定することで、画像信号により表示される画面のどの範囲に光源からの光が写り込んでいるかに応じて、また、光源からの光の彩度の偏りに応じて適切なホワイトバランス調整を行うことができる。
　また、平均値算出部５は、画面領域設定部４ｂにより設定された画面範囲に対応する画像信号の色差値の平均値を算出し、色差補正部７は、画面領域設定部４ｂにより設定された画面範囲に対応する画像信号の色差値を補正するので、画面範囲を適切に設定することで、より適切なホワイトバランス調整を行うことができる。
　そして、補正関数決定部６は、画像信号の輝度値の下限値及び上限値に近付くほど画像信号の補正量が小さくなる補正関数を決定するので、高輝度部または低輝度部からの光に対しても適切なホワイトバランス調整を行うことができる。
　以上、図面を参照して、本実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。
　一例として、上述した各実施例における補正関数は、色差Ｕ及び色差Ｖそれぞれについて定義されていたが、３次元のＹＵＶ空間において色差Ｕ、色差Ｖに関する変数を同時に含む、つまり３次元のＹＵＶ空間において定義される補正関数を用いてもよい。
　また、上述した実施の形態であるホワイトバランス調整装置１の補正処理結果に対して調整を行ってもよい。一例として、補正部３の色差補正部７が算出する補正量に制限を設けてもよい。これを式に表すと、
Figure JPOXMLDOC01-appb-M000011
  となる。ここで、Ｃｏｅｆ＿Ｕ、Ｃｏｅｆ＿Ｖはそれぞれ色差Ｕ、色差Ｖの補正量調整係数であり、０≦Ｃｏｅｆ＿Ｕ≦１、０≦Ｃｏｅｆ＿Ｖ≦１とする。補正量調整係数はホワイトバランス調整装置の実装時及び実装後に任意に設定、変更可能である。
　このように補正量に制限を設けることで、例えば画面の大部分を有彩色が占めるような画像信号についても、彩度を過剰に補正することで人間が違和感を感じるようなホワイトバランス調整結果になることを回避できる。
関連出願の相互参照
　本出願は、２０１８年１月３０日に日本国特許庁に出願された特願２０１８－１３５１３に基づいて優先権を主張し、その全ての開示は完全に本明細書で参照により組み込まれる。

Claims (5)

  1. 　受け入れた画像信号に対してホワイトバランス調整を行うホワイトバランス調整装置であって、
    　統計取得部と補正部とを有し、
    　前記統計取得部は、
    　複数の輝度範囲を設定する輝度領域設定部を備える領域設定部と、
    　前記輝度領域設定部により設定された各々の前記輝度範囲における前記画像信号の色差値の平均値を算出する平均値算出部とを有し、
    　前記補正部は、
    　前記平均値算出部が算出した前記色差値の平均値に基づいて、前記画像信号の色差値の補正関数を決定する補正関数決定部と、
    　前記補正関数決定部により決定された前記補正関数に基づいて前記画像信号の前記色差値を補正する色差補正部とを有する
    ことを特徴とするホワイトバランス調整装置。
  2. 　前記領域設定部は、前記輝度領域設定部と、前記画像信号により表示される画面の範囲を設定する画面領域設定部と、彩度範囲を設定する彩度領域設定部とを有することを特徴とする請求項１に記載のホワイトバランス調整装置。
  3. 　前記平均値算出部は、前記画面領域設定部により設定された画面範囲に対応する前記画像信号の前記色差値の平均値を算出し、
    　前記色差補正部は、前記画面領域設定部により設定された画面範囲に対応する前記画像信号の前記色差値を補正する
    ことを特徴とする請求項２に記載のホワイトバランス調整装置。
  4. 　前記補正関数決定部は、前記画像信号の輝度値の下限値及び上限値に近付くほど前記画像信号の補正量が小さくなる前記補正関数を決定する
    ことを特徴とする請求項１に記載のホワイトバランス調整装置。
  5. 　受け入れた画像信号に対してホワイトバランス調整を行うホワイトバランス調整装置により実行されるホワイトバランス調整方法であって、
    　複数の輝度範囲を設定し、設定した各々の前記輝度範囲における前記画像信号の色差値の平均値を算出し、
    　算出した前記色差値の平均値に基づいて、前記画像信号の色差値の補正関数を決定し、
    　決定した前記補正関数に基づいて前記画像信号の前記色差値を補正する
    ことを特徴とするホワイトバランス調整方法。
     
     
PCT/JP2018/047738 2018-01-30 2018-12-26 ホワイトバランス調整装置及びホワイトバランス調整方法 WO2019150860A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/966,340 US10979683B2 (en) 2018-01-30 2018-12-26 White balance adjustment device and white balance adjustment method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018013513A JP6896658B2 (ja) 2018-01-30 2018-01-30 ホワイトバランス調整装置及びホワイトバランス調整方法
JP2018-013513 2018-01-30

Publications (1)

Publication Number Publication Date
WO2019150860A1 true WO2019150860A1 (ja) 2019-08-08

Family

ID=67479666

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/047738 WO2019150860A1 (ja) 2018-01-30 2018-12-26 ホワイトバランス調整装置及びホワイトバランス調整方法

Country Status (3)

Country Link
US (1) US10979683B2 (ja)
JP (1) JP6896658B2 (ja)
WO (1) WO2019150860A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006203393A (ja) * 2005-01-19 2006-08-03 Eastman Kodak Co オートホワイトバランス装置及びホワイトバランス調整方法
JP2009044681A (ja) * 2007-08-10 2009-02-26 Canon Inc 画像処理方法及び画像処理装置
JP2014032540A (ja) * 2012-08-03 2014-02-20 Clarion Co Ltd 車載撮像装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09130815A (ja) 1995-11-06 1997-05-16 Seiko Epson Corp 画像処理方法および画像処理装置
JP2001036924A (ja) 1999-07-23 2001-02-09 Victor Co Of Japan Ltd 自動ホワイトバランス調整方法及び調整装置
JP4948591B2 (ja) * 2009-12-25 2012-06-06 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006203393A (ja) * 2005-01-19 2006-08-03 Eastman Kodak Co オートホワイトバランス装置及びホワイトバランス調整方法
JP2009044681A (ja) * 2007-08-10 2009-02-26 Canon Inc 画像処理方法及び画像処理装置
JP2014032540A (ja) * 2012-08-03 2014-02-20 Clarion Co Ltd 車載撮像装置

Also Published As

Publication number Publication date
US10979683B2 (en) 2021-04-13
US20200374500A1 (en) 2020-11-26
JP6896658B2 (ja) 2021-06-30
JP2019134252A (ja) 2019-08-08

Similar Documents

Publication Publication Date Title
CN101193316B (zh) 一种自适应白平衡校正方法
EP2624204B1 (en) Image processing apparatus and method of controlling the same
US8254675B2 (en) Image processing apparatus, imaging apparatus and image processing program
US10521887B2 (en) Image processing device and image processing method
US20030184663A1 (en) Apparatus, method, program and recording medium for image restoration
US8422815B2 (en) Image processing apparatus, image processing method and image processing program
US8111301B2 (en) Method of performing auto white balance in YCbCr color space
EP3460748B1 (en) Dynamic range compression device and image processing device cross-reference to related application
JP2010244360A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP2004326082A5 (ja)
US7821532B2 (en) Image generating apparatus for vehicles and method of the same
CN106575434B (zh) 图像处理装置、摄像装置以及图像处理方法
JP2008009877A (ja) 画像処理装置，画像処理方法およびプログラム
JP2008118462A (ja) 画像処理装置、撮像装置、及び画像処理プログラム
JP2013106151A (ja) 画像処理装置及び画像処理方法
JP2007271771A (ja) 画像表示システム及びその制御方法
WO2019150860A1 (ja) ホワイトバランス調整装置及びホワイトバランス調整方法
JP2010147895A (ja) 画像処理装置、集積回路装置及び電子機器
JP6833751B2 (ja) 撮像制御装置、撮像装置、及び撮像制御方法
JP6730423B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5365881B2 (ja) 画像処理装置、画像処理方法
JP2006148607A (ja) 画像処理装置および画像処理方法
US11410274B2 (en) Information processing device and program
KR101909392B1 (ko) 서라운드 뷰 모니터링 시스템
WO2022215234A1 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18903102

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18903102

Country of ref document: EP

Kind code of ref document: A1