WO2020026561A1 - 画像処理装置と画像処理方法とプログラムおよび撮像装置 - Google Patents

画像処理装置と画像処理方法とプログラムおよび撮像装置 Download PDF

Info

Publication number
WO2020026561A1
WO2020026561A1 PCT/JP2019/019512 JP2019019512W WO2020026561A1 WO 2020026561 A1 WO2020026561 A1 WO 2020026561A1 JP 2019019512 W JP2019019512 W JP 2019019512W WO 2020026561 A1 WO2020026561 A1 WO 2020026561A1
Authority
WO
WIPO (PCT)
Prior art keywords
light source
image
white balance
estimation result
signal
Prior art date
Application number
PCT/JP2019/019512
Other languages
English (en)
French (fr)
Inventor
修 出田
西田　武司
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201980049604.6A priority Critical patent/CN112514376B/zh
Priority to JP2020534070A priority patent/JPWO2020026561A1/ja
Priority to US17/250,465 priority patent/US11490060B2/en
Priority to DE112019003836.2T priority patent/DE112019003836T5/de
Publication of WO2020026561A1 publication Critical patent/WO2020026561A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Definitions

  • This technology relates to an image processing device, an image processing method, a program, and an imaging device so that more accurate white balance adjustment can be stably performed.
  • the control value of the first photoelectric conversion signal is used.
  • White balance adjustment has been performed.
  • an object of the present technology is to provide an image processing device, an image processing method, a program, and an imaging device that can stably perform more accurate white balance adjustment.
  • the first aspect of this technology is: A light source estimation result based on an image signal of a captured image generated by photoelectrically converting light from a subject by an image sensor, and an optical sensor unit having a wider angle of view than the captured image and having a spectral sensitivity in a region different from the image sensor.
  • An image processing apparatus comprising: a white balance setting unit configured to set a white balance adjustment value of the image signal using a light source estimation result based on a sensor signal at the time of acquisition of the captured image generated by the method.
  • a white balance setting unit converts a light source estimation result based on an image signal generated by photoelectrically converting light from a subject by an imaging element into a sensor generated by an optical sensor unit that detects a spectral characteristic of an imaging environment.
  • the light source is classified into light source categories that can be estimated based on the signal.
  • the optical sensor unit has a spectral angle wider than the captured image and has a spectral sensitivity in a region different from the image sensor. For example, the angle of view encompasses the angle of view of the captured image, is wider than the captured image, and has sensitivity at least in the infrared region.
  • the white balance setting unit determines the reliability of the light source estimation result based on the image signal from the comparison result between the classified category and the light source estimated based on the sensor signal.
  • the determination of the reliability of the light source estimation result based on the image signal is performed on the light source estimation result based on the second and subsequent image signals when the image sensor continuously generates the image signal a plurality of times in image units. Further, the determination of the reliability of the light source estimation result based on the image signal may be performed when the difference between the angle of view of the imaging optical system and the angle of view of the optical sensor unit is equal to or larger than a predetermined value.
  • the white balance setting unit changes the light source estimated based on the sensor signal to a light source equal to the changed category. If not, the light source estimation result based on the image signal is not reliable, and the white balance adjustment value is not updated. Further, if the light source estimated based on the sensor signal is equal to the category after the classification, the white balance setting unit determines that the light source estimation result based on the image signal is reliable, and determines the white light according to the light source estimation result based on the image signal. Set the balance adjustment value.
  • the white balance setting unit sets an adjustment value for white balance adjustment according to the light source estimation result based on the image signal.
  • the image processing apparatus may further include a white balance adjustment unit that performs white balance adjustment on the image signal based on the white balance adjustment value. If the angle of view is wider than the angle of view by a predetermined value or more, the white balance adjustment value may be set using the light source estimation result based on the image signal and the light source estimation result based on the sensor signal.
  • the second aspect of this technology is: A light source estimation result based on an image signal of a captured image generated by photoelectrically converting light from a subject by an image sensor, and an optical sensor unit having a wider angle of view than the captured image and having a spectral sensitivity in a region different from the image sensor. And a white balance setting unit configured to set a white balance adjustment value of the image signal using a light source estimation result based on the sensor signal at the time of acquisition of the captured image generated by the method.
  • the program of the present technology is, for example, provided to a general-purpose computer capable of executing various program codes, in a computer-readable format, such as a storage medium and a communication medium, such as an optical disk, a magnetic disk, and a storage medium such as a semiconductor memory.
  • the program can be provided by a medium or a communication medium such as a network.
  • the white balance adjustment value of the image signal is set using the light source estimation result based on the sensor signal at the time of acquisition of the captured image generated by the optical sensor unit. Therefore, the white balance adjustment can be performed more accurately and stably than when the white balance adjustment value is set based only on the light source estimation result based on the image signal. It should be noted that the effects described in the present specification are merely examples and are not limited, and may have additional effects.
  • FIG. 1 illustrates a configuration of an imaging device of the present technology.
  • the imaging device 10 includes an imaging optical system 21, an imaging optical system driving unit 22, an imaging unit 23, a light emitting unit 24, an optical sensor unit 25, an image processing unit 30, a recording unit 41, a communication unit 42, and a viewfinder (VF) unit 43. , Display unit 44, user interface unit 45, and control unit 50.
  • the imaging optical system 21 is configured using a focus lens, a zoom lens, and the like.
  • the imaging optical system 21 drives a focus lens, a zoom lens, and the like based on a drive signal from the imaging optical system driving unit 22 to form an optical image of a subject on an imaging surface of the imaging unit 23.
  • the imaging optical system 21 may be provided with an iris (aperture) mechanism, a shutter mechanism, and the like, and drive each mechanism based on a drive signal from the imaging optical system driving unit 22.
  • the imaging optical system 21 may output setting information indicating a lens position and an iris position to the imaging optical system driving unit 22 or the control unit 50.
  • the imaging optical system 21 may be detachable so that imaging optical systems 21 having different optical characteristics can be used.
  • the light sensor unit 25 is a sensor having a spectral characteristic corresponding to an imaging environment including an invisible light region among light from a subject, that is, a sensor having a spectral sensitivity in the invisible light region. Generating sensor signals with sensors having different spectral sensitivities.
  • the angle of view which is the sensing range, includes the angle of view of the captured image acquired by the imaging unit 23 and is wider than the captured image.
  • the optical sensor unit 25 outputs a sensor signal generated according to the spectral characteristics within the angle of view at the time of imaging to the control unit 50.
  • FIG. 2 illustrates spectral characteristics and spectral sensitivity.
  • 2A shows the spectral characteristics of the light source
  • FIG. 2B shows the spectral sensitivity of the image sensor used in the imaging unit 23
  • FIG. 2C shows the spectral sensitivity of the light sensor unit 25.
  • 3 illustrates the spectral sensitivity of each sensor.
  • natural light and non-natural light have different powers in an infrared region.
  • the imaging unit 23 has sensitivity in, for example, each of a red area, a blue area, and a green area, and generates image signals of three primary colors including red, green, and blue.
  • the optical sensor unit 25 has sensitivity in at least the infrared region, and can determine natural light and non-natural light shown in FIG. 2A based on a sensor signal. Further, if the optical sensor unit 25 has sensitivity not only in the infrared region but also in the visible region, it is possible to determine a white light source or a light bulb color light source.
  • the imaging unit 23 has sensitivity in, for example, each of the red area, the blue area, and the green area, the light source can be finely classified based on the image signal.
  • the angle of view is narrow and the change in the background reflected in the captured image is large, for example, the light source estimation result may change even if the light source does not change, as described later.
  • the optical sensor unit 25 has a wider angle of view than the imaging unit 23, it is easier to obtain a light source estimation result corresponding to a light source than a light source estimation result based on an image signal.
  • the image processing unit 30 includes a pre-processing unit 31, a demosaic processing unit 32, a linear matrix conversion unit 33, a white balance (WB) adjustment unit 34, an aperture correction unit 35, a signal addition unit 36, a ⁇ correction unit 37, and a signal conversion unit 38. have.
  • the pre-processing unit 31 performs noise removal processing, gain adjustment processing, analog / digital conversion processing, defective pixel correction, and the like on the image signal generated by the imaging unit 23.
  • the pre-processing unit 31 outputs the processed image signal to the demosaic processing unit 32.
  • the demosaic processing unit 32 performs demosaic processing using the image signal that is the RAW data processed by the preprocessing unit 31, and performs an image signal in which one pixel indicates one color component from an image signal in which one pixel indicates one color component; For example, an image signal of three primary colors is generated.
  • the demosaic processing unit 32 outputs the generated image signal to the linear matrix conversion unit 33 and the aperture correction unit 35.
  • demosaicing is an example of color separation processing. When an image sensor having, for example, a stripe color filter other than a mosaic color filter is used, a different type of color separation processing is performed.
  • the linear matrix conversion unit 33 performs a matrix operation on the image signal output from the demosaic processing unit 32, generates an image signal of a target color tone, and outputs the image signal to the white balance adjustment unit 34.
  • the white balance adjustment unit 34 corrects imbalance between colors due to a difference in light source or the like.
  • the white balance adjustment unit 34 performs gain adjustment on the image signals of three primary colors, for example, red, green, and blue, output from the linear matrix conversion unit 33 based on the adjustment values supplied from the control unit 50, and The color balance of the achromatic part can be reproduced as an achromatic color.
  • the white balance adjustment unit 34 outputs the processed image signal to the signal addition unit 36.
  • the aperture correction unit 35 extracts a high-frequency component from the image signal supplied from the demosaic processing unit 32, adjusts the level of the extracted signal, and the like, generates an outline correction signal, and outputs it to the signal addition unit 36.
  • the signal addition unit 36 adds the contour correction signal supplied from the aperture correction unit 35 to the image signal supplied from the white balance adjustment unit 34 to generate a contour-corrected image signal, and generates a ⁇ correction unit. 37.
  • the correction unit 37 performs ⁇ correction on the image signal supplied from the signal addition unit 36, and outputs the corrected image signal to the signal conversion unit 38.
  • the ⁇ ⁇ signal converter 38 converts the image signal after the ⁇ correction into a signal corresponding to image recording.
  • the signal conversion unit 38 converts the image signals of the three primary colors after the ⁇ correction into a luminance signal and a color difference signal, performs an encoding process, and outputs the encoded signal to the recording unit 41.
  • the signal conversion unit 38 decodes the signal supplied from the recording unit 41 and converts the obtained luminance signal and color difference signal into three primary color image signals.
  • the signal conversion unit 38 converts the image signal of the three primary colors after the ⁇ correction into a signal suitable for communication.
  • a recording medium 410 is fixedly or detachably provided in the recording section 41.
  • the recording unit 41 stores the encoded signal supplied from the signal conversion unit 38 in the recording medium 410.
  • the recording unit 41 reads out the signal recorded on the recording medium 410 and outputs the signal to the signal conversion unit 38.
  • the communication unit 42 communicates with an external device, and outputs, for example, a signal supplied from the signal conversion unit 38 to the external device.
  • the communication unit 42 outputs a communication signal supplied from an external device to the control unit 50.
  • the control unit 50 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.
  • the ROM (Read Only Memory) stores various programs executed by the CPU (Central Processing Unit).
  • the RAM (Random Access Memory) stores information such as various parameters.
  • the CPU executes various programs stored in the ROM and responds to a user operation or a request from an external device based on an operation signal from the user interface unit 45, a communication signal from an external device received by the communication unit 42, and the like. Each unit is controlled so that the corresponding operation is performed by the imaging device 10.
  • the control unit 50 performs light source estimation based on the sensor signal supplied from the optical sensor unit 25. For example, as is clear from the spectral characteristics of the light source shown in FIG. 2, natural light (sunlight) and non-natural light (for example, a white light source or a light bulb color light source) have different powers in the infrared region. Therefore, if an optical sensor having sensitivity in the infrared region is used, it is possible to determine whether the light source is natural light or non-natural light according to the signal level of the sensor signal.
  • the difference in power of each sensitivity region in the sensor signal from the optical sensor unit for example, the ratio of the blue component to the green component and the red component to the green component It is also possible to determine a white light source or a light bulb color light source based on a difference in the ratio or the like.
  • control unit 50 determines that the difference between the angle of view of the captured image and the angle of view of the optical sensor unit 25 is equal to or greater than a predetermined value, that is, the angle of view of the optical sensor unit 25 is larger than the predetermined angle of view of the captured image. If the light source estimation result based on the image signal is reliable, it may be determined.
  • the predetermined value may be, for example, a case where the angle of view of the optical sensor unit 25 is slightly wider than the angle of view of the captured image, or a case where the angle of view is larger than a preset ratio.
  • the setting of the light source estimation based on the image signal, the light source estimation based on the sensor signal, and the adjustment value of the white balance adjustment based on the use determination result of the light source estimation result based on the image signal are not limited to the control unit 50, but are performed by the white balance adjustment unit. 34.
  • step ST3 the control unit performs light source estimation based on the sensor signal.
  • the control unit 50 estimates the light source based on the sensor signal supplied from the optical sensor unit 25, and proceeds to step ST4.
  • the light source estimated based on the sensor signal is also called a sensor estimated light source.
  • the stabilization process may be omitted. If the control unit 50 performs the stabilization process when the difference between the angle of view of the captured image and the angle of view of the optical sensor unit 25 is equal to or greater than a predetermined value, the angle of view of the captured image is If the wide angle of view is obtained by the appropriate zoom and there is no possibility that the white balance adjustment will vary due to the change in the background to be reflected, the stabilization processing can be omitted. If the control unit 50 determines that the stabilization process is to be performed, the process proceeds to step ST5. If the control unit 50 determines that the stabilization process is not to be performed, for example, at the time of capturing the first image in the moving image mode or the continuous shooting mode or in the single shooting mode If there is, the process proceeds to step ST10.
  • step ST5 the control unit performs a categorizing process.
  • the control unit 50 classifies the light source estimated based on the image signal in step ST2 into one of the light source categories that can be estimated by the light source estimation in step ST3, and proceeds to step ST6.
  • step ST6 the control unit determines whether there is a category change.
  • the control unit 50 determines that there is no category change when the category classified in step ST5 is equal to the previously stored category in step ST9 described later, and proceeds to step ST7, and determines that there is a category change when different. Proceed to step ST8.
  • step ST7 the control unit determines whether there is a change in the sensor estimated light source.
  • the control unit 50 proceeds to step ST8 if the sensor estimated light source estimated based on the sensor signal in step ST3 has changed from the previously stored sensor estimated light source in step ST9 described later, and proceeds to step ST9 if it has not changed. move on.
  • step ST8 the control unit determines whether the category of the sensor estimated light source matches the category.
  • the control unit 50 determines whether or not the category of the sensor estimated light source estimated based on the sensor signal in step ST7 of the current processing loop is equal to the category of the light source based on the image signal classified by the categorization processing in step ST5 of the current processing loop. .
  • the control unit 50 determines that the light source estimation result based on the image signal is reliable, and proceeds to step ST9. If the control unit 50 determines that the category is not equal to the sensor estimated light source, the control unit 50 determines that the light source estimation result based on the image signal is not reliable, and returns to step ST1.
  • the processing of step ST10 is not performed in the current processing loop. Thereby, white balance estimation and white balance adjustment are stabilized.
  • the control unit 50 also determines that the category of the light source estimation result based on the image signal changes and determines that the light source estimation result based on the image signal is reliable, that is, the category of the light source estimation result based on the image signal. If the light source estimation result based on the sensor signal is the same as that of the sensor signal, an adjustment value of the white balance adjustment is set according to the light source estimation result based on the image signal by the processing of ST2 performed immediately before. Note that as a result of performing the stabilization processing, the category of the light source estimation result based on the image signal has changed. However, if it is determined that the light source estimation result based on the image signal is not reliable, the processing in step ST8 described above is performed.
  • step ST1 the process of step ST9 is not performed. Therefore, the adjustment value of the white balance adjustment retains the value before the category change. As a result, white balance estimation and white balance adjustment are stabilized.
  • the control unit 50 outputs the generated adjustment value to the white balance adjustment unit 34, and returns to step ST1. Accordingly, the white balance adjustment unit 34 performs white balance adjustment on the image signal based on the adjustment value output from the control unit 50.
  • the control unit 50 determines that the light source estimation result based on the image signal of step ST2 of the current processing loop is used only when the sensor estimated light source and the category change and the changed results match. , A new adjustment value for white balance adjustment is set, and otherwise, the adjustment value for white balance adjustment that has been set so far is used. Thereby, the adjustment values of the white balance estimation and the white balance adjustment are stabilized.
  • FIG. 4 illustrates a detectable light source.
  • FIG. 4A illustrates a light source detectable based on an image signal
  • FIG. 4B illustrates a light source detectable based on a sensor signal.
  • the control unit 50 can determine the sunshine, shade, and cloudiness under sunlight, the bulb light source, the white light source, the daylight white light source, the daylight color light source, and the mercury lamp based on the image signal. Further, the control unit 50 can distinguish between natural light and non-natural light based on the sensor signal.
  • the types of light sources that can be detected based on image signals are larger than the types of light sources that can be detected based on sensor signals.
  • FIG. 5 shows a categorizing process performed by the control unit 50, in which the light source shown in FIG. 4A is divided into the light sources shown in FIG.
  • light sources that can be detected based on image signals such as "sunlight under sunlight, shade, and cloudiness” are classified into natural light categories, and "light bulb color light sources, white light sources, daylight white light sources, daylight light sources, and mercury lamps” are classified. Classify into the category of non-natural light.
  • This categorizing process is for absorbing a difference between a light source that can be estimated based on an image signal and a light source that can be estimated based on a sensor signal.
  • FIG. 6 shows a specific example of the control operation of white balance adjustment, for example, in a case where a motorcycle on a race track is imaged.
  • the motorcycle OB is traveling on a course, and moves the imaging direction of the imaging device 10 in accordance with the movement of the motorcycle OB, and captures a plurality of images by, for example, capturing the areas indicated by broken lines at the positions PS1 to PS6.
  • the angle of view of the optical sensor unit 25 is, for example, a range PR1 indicated by a dashed line at the position PS1, and a range PR4 indicated by a dashed line at the position PS4, and includes the angle of view of the captured image acquired by the imaging unit 23. The angle of view is wider than the captured image. As shown in FIG.
  • the optical sensor unit 25 has sensitivity in at least the infrared region, includes the angle of view of the captured image acquired by the imaging unit 23, and has an image wider than the captured image.
  • the light source L2 detected based on the sensor signal is determined to be “natural light” regardless of whether the angle of view of the optical sensor unit 25 is in the range PR1 or the range PR4.
  • FIG. 7 shows a light source estimation result of the specific example shown in FIG.
  • the light source detected based on the image signal is the light source L1
  • the light source detected based on the sensor signal is the light source L2
  • the category of the light source L1 detected by performing the categorizing process of the light source L1 is the category LC1.
  • the weather is sunny, for example, the course is paved with asphalt, and the part other than the course is grassland.
  • grassland is green and is included in a large amount in the imaging range, there is a possibility that the light source estimation may be performed to estimate a white light source even in the sunlight under sunlight.
  • the motorcycle OB, the course, and the grassland are included in the imaging range indicated by the broken line, and the proportion of the course is large.
  • the light source L1 detected based on the image signal is determined to be "sunshine”
  • the light source L2 detected based on the sensor signal is determined to be "natural light”.
  • the category LC1 is "natural light” because the light source L1 is "sunny”.
  • the light source L2 matches the category LC1.
  • control unit 50 determines that the estimation result of the light source L1 is reliable, sets the adjustment result of the white balance adjustment assuming that the estimation result of the light source L1, that is, the light source is "sunshine", and sets the adjusted adjustment value.
  • the value is output to the white balance adjustment unit 34 to perform white balance adjustment.
  • the white balance adjustment is performed using the adjustment value before the category change regardless of the estimation result of the light source L1. It is performed using. For this reason, the imaging device 10 can stably perform the white balance adjustment.
  • white balance adjustment is performed according to the light source estimation result based on the image signal. More accurate white balance adjustment can be performed.
  • FIG. 8 shows another specific example.
  • the background at the position PS11 is “sea”
  • the background at the position PS12 is “mountain”
  • the background at the position PS13 is “sky”.
  • the adjustment value is set based on the image signal, the color of the bird BR may change to reddish white or bluish white depending on the background.
  • the present technology when it is determined that the light source estimation result based on the image signal is not reliable, it is possible to maintain the adjustment value in a state before the change in the light source estimation result. It is possible to prevent the color of the bird BR from changing.
  • FIG. 9 shows another specific example of the control operation of white balance adjustment, for example, in a case where an image of the front of a vehicle MO traveling in a tunnel is taken.
  • the vehicle MO to which the imaging device 10 whose angle of view is fixed relative to the vehicle MO is traveling from the inside of the tunnel where the bulb color illumination is performed to the outside of the sunny tunnel.
  • the angle-of-view area indicated by the one-dot chain line of the optical sensor unit 25 moves.
  • the angle of view of the imaging unit 23 is not shown in FIG. 9, the angle of view of the imaging unit 23 is in a range narrower than the angle of view of the optical sensor unit 25.
  • the technology according to the present disclosure can be applied to various fields.
  • the technology according to the present disclosure may be realized as a device mounted on any moving body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot.
  • the present invention may be realized as a device mounted on a portable electronic device such as a smartphone, or may be applied to a monitoring camera or the like.
  • the program may be installed on the computer from a removable recording medium, or may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

撮像部２３は撮像画の画像信号を生成する。光センサ部２５は、撮像部２３以上の画角であり、撮像画を取得したときの分光特性に応じたセンサ信号を生成する。制御部５０は、撮像部２３で生成された画像信号に基づく光源推定結果の信頼性を、光センサ部２５で生成されたセンサ信号に基づく光源推定結果を用いて判別する。制御部５０は、例えば画像信号に基づく光源推定結果を、センサ信号に基づき推定可能な光源のカテゴリに分類して、分類後のカテゴリとセンサ信号に基づいて推定した光源を比較する。分類後のカテゴリが変化したときセンサ信号に基づき推定した光源が変化していない場合、画像信号に基づく光源推定結果の信頼性がないとして、ホワイトバランス調整の調整値を更新しないようにする。精度よく安定してホワイトバランス調整を行えるようになる。

Description

画像処理装置と画像処理方法とプログラムおよび撮像装置
　この技術は、画像処理装置と画像処理方法とプログラムおよび撮像装置に関し、より正確なホワイトバランス調整を安定して行えるようにする。
　従来、撮像装置では、太陽や蛍光灯などの撮像時の光源に応じた制御値を用いてホワイトバランス調整が行われている。例えば、特許文献１では、撮像画を複数のブロック領域に分割して、ブロック領域で検出した赤外線量等に基づき推定された色温度に応じてホワイトバランス調整が行われている。また、特許文献２では、撮像範囲が撮像素子の撮像範囲と同一である光センサを用いて、第１の分光感度特性である撮像素子で被写体光を光電変換して得られた第１の光電変換信号と第２の分光感度特性である光センサで被写体光を光電変換して得られた第２の光電変換信号とにより算出した色補正の制御値を用いて、第１の光電変換信号のホワイトバランス調整が行われている。
特開２０１５－２２８５４６号公報 特開２０１７－１２３５０２号公報
　ところで、撮像画あるいは撮像範囲の被写体光に基づいてホワイトバランス調整を行う場合、画角の違いによって撮像画に写り込む背景の範囲が変化する。また、動物体を撮像する場合、画角が狭いと撮像画に写り込む背景の変化が大きい。このため、写り込む背景の変化によって、ホワイトバランス調整のばらつきを生じるおそれがある。
　そこで、この技術ではより正確なホワイトバランス調整を安定して行うことができる、画像処理装置と画像処理方法とプログラムおよび撮像装置を提供することを目的とする。
　この技術の第１の側面は、
　被写体からの光を撮像素子で光電変換して生成された撮像画の画像信号に基づく光源推定結果と、前記撮像画より広い画角で、前記撮像素子と異なる領域に分光感度を有する光センサ部によって生成された前記撮像画の取得時のセンサ信号に基づく光源推定結果とを用いて、前記画像信号のホワイトバランス調整値の設定を行うホワイトバランス設定部
を備える画像処理装置にある。
　この技術において、ホワイトバランス設定部は、被写体からの光を撮像素子で光電変換して生成された画像信号に基づく光源推定結果を、撮像環境の分光特性を検出する光センサ部で生成されたセンサ信号に基づいて推定可能な光源のカテゴリに分類する。光センサ部は、撮像画より広い画角で、撮像素子と異なる領域に分光感度を有している。例えば、撮像画の画角を包含し、かつ撮像画よりも広い画角で、少なくとも赤外線領域に感度を有している。ホワイトバランス設定部は、分類後のカテゴリとセンサ信号に基づいて推定した光源との比較結果から、画像信号に基づく光源推定結果の信頼性を判別する。画像信号に基づく光源推定結果の信頼性の判別は、撮像素子で画像信号を画像単位で複数回連続して生成する場合、２回目以降の画像信号に基づく光源推定結果に対して行う。また、画像信号に基づく光源推定結果の信頼性の判別は、撮像光学系の画角と光センサ部の画角との差が所定値以上である場合に行うようにしてもよい。ホワイトバランス設定部は、画像信号に基づく光源推定結果の信頼性の判別において、例えば分類後のカテゴリが変化したとき、センサ信号に基づいて推定した光源が変化後のカテゴリと等しい光源に変化していない場合、画像信号に基づく光源推定結果は信頼性がないとして、ホワイトバランス調整値を更新しない。また、ホワイトバランス設定部は、分類後のカテゴリとセンサ信号に基づいて推定した光源が等しい場合、画像信号に基づく光源推定結果は信頼性があるとして、画像信号に基づく光源推定結果に応じてホワイトバランス調整の調整値を設定する。さらに、ホワイトバランス設定部は、画像信号に基づく光源推定結果の信頼性の判別を行わない場合、画像信号に基づく光源推定結果に応じてホワイトバランス調整の調整値を設定する。また、ホワイトバランス調整値に基づいて画像信号に対してホワイトバランス調整を行うホワイトバランス調整部をさらに備えてもよく、ホワイトバランス設定部は、撮像画の画角が光学的なズームにより前記センサ信号の画角より所定値以上広い場合に、画像信号に基づく光源推定結果とセンサ信号に基づく光源推定結果とを用いて、ホワイトバランス調整値を設定してもよい。
　この技術の第２の側面は、
　被写体からの光を撮像素子で光電変換して生成された撮像画の画像信号に基づく光源推定結果と、前記撮像画より広い画角で、前記撮像素子と異なる領域に分光感度を有する光センサ部によって生成された前記撮像画の取得時のセンサ信号に基づく光源推定結果とを用いて、前記画像信号のホワイトバランス調整値の設定をホワイトバランス設定部で行うこと
を含む画像処理方法にある。
　この技術の第３の側面は、
　ホワイトバランス調整をコンピュータで実行させるプログラムであって、
　被写体からの光を撮像素子で光電変換して生成された撮像画の画像信号に基づく光源推定結果を取得する手順と、
　前記撮像画より広い画角で、前記撮像素子と異なる領域に分光感度を有する光センサ部によって生成された前記撮像画の取得時のセンサ信号に基づく光源推定結果を取得する手順と、
　前記画像信号に基づく光源推定結果と前記センサ信号に基づく光源推定結果とを用いて、前記画像信号のホワイトバランス調整値の設定を行う手順と
を前記コンピュータで実行させるプログラムにある。
　なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
　この技術の第４の側面は、
　被写体からの光を光電変換して撮像画の画像信号を生成する撮像部と、
　前記撮像画より広い画角で、前記撮像素子と異なる領域に分光感度を有する光センサ部と、
　前記撮像部で生成された画像信号のホワイトバランス調整を行うホワイトバランス調整部と、
　前記撮像画の画像信号に基づく光源推定結果と、前記光センサ部によって生成された前記撮像画の取得時のセンサ信号に基づく光源推定結果とを用いて、前記画像信号のホワイトバランス調整値の設定を行うホワイトバランス設定部と
を備える撮像装置にある。
　この技術によれば、被写体からの光を撮像素子で光電変換して生成された撮像画の画像信号に基づく光源推定結果と、撮像画より広い画角で、撮像素子と異なる領域に分光感度を有する光センサ部によって生成された撮像画の取得時のセンサ信号に基づく光源推定結果とを用いて、画像信号のホワイトバランス調整値の設定が行われる。したがって、画像信号に基づく光源推定結果のみに基づいてホワイトバランス調整値を設定する場合よりも精度よく安定してホワイトバランス調整を行うことができる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
撮像装置の構成を例示した図である。 分光特性と分光感度を示した図である。 ホワイトバランス制御動作を例示したフローチャートである。 検出可能な光源を例示した図である。 カテゴライズ処理を示す図である。 ホワイトバランス調整の制御動作の具体例を示した図である。 具体例の光源推定結果を示す図である。 他の具体例を示す図である。 ホワイトバランス調整の制御動作の他の具体例を示した図である。 他の具体例の光源推定結果を示す図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．撮像装置の構成
　２．撮像装置の動作
　３．変形例
　＜１．撮像装置の構成＞
　図１は、本技術の撮像装置の構成を例示している。撮像装置１０は、撮像光学系２１、撮像光学系駆動部２２、撮像部２３、発光部２４、光センサ部２５、画像処理部３０、記録部４１、通信部４２、ビューファインダ（ＶＦ）部４３、表示部４４、ユーザインタフェース部４５、制御部５０を有している。
　撮像光学系２１は、フォーカスレンズやズームレンズ等を用いて構成されている。撮像光学系２１は、撮像光学系駆動部２２からの駆動信号に基づきフォーカスレンズやズームレンズ等を駆動して、被写体光学像を撮像部２３の撮像面に結像させる。また、撮像光学系２１には、アイリス（絞り）機構やシャッタ機構等が設けられて、撮像光学系駆動部２２からの駆動信号に基づき各機構を駆動する構成であってもよい。また、撮像光学系２１は、レンズ位置やアイリス位置を示す設定情報を撮像光学系駆動部２２あるいは制御部５０へ出力してもよい。また、撮像光学系２１は、異なる光学特性の撮像光学系２１を使用できるように、着脱可能とされてもよい。
　撮像部２３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の撮像素子を用いて構成されている。撮像部２３は、被写体からの光のうち可視光領域に応じた分光特性、即ち、可視光領域に分光感度を有する撮像素子で光電変換してＲＡＷデータである撮像画の画像信号を生成する。撮像部２３は、生成した画像信号を画像処理部３０へ出力する。また、発光部２４は、制御部５０からの制御信号に基づき照明光を出射する。
　光センサ部２５は、被写体からの光のうち、非可視光領域を含む撮像環境に応じた分光特性、即ち、非可視光領域に分光感度を有するセンサであって、撮像部２３の撮像素子と異なる分光感度を有するセンサでセンサ信号を生成する。光センサ部２５は、センシング範囲である画角が、撮像部２３で取得される撮像画の画角を包含し、かつ撮像画より広い画角とされている。光センサ部２５は、撮像時における画角内の分光特性に応じて生成されたセンサ信号を制御部５０へ出力する。
　図２は分光特性と分光感度を例示している。なお、図２の（ａ）は光源の分光特性、図２の（ｂ）は撮像部２３で用いられている撮像素子の分光感度、図２の（ｃ）は光センサ部２５で用いられているセンサの分光感度をそれぞれ例示している。
　図２の（ａ）に示すように、例えば自然光（太陽光）と非自然光（例えば白色光源や電球色光源）は、赤外線領域でパワーが相違する。撮像部２３は、例えば赤色領域と青色領域と緑色領域のそれぞれに感度を有しており、赤，緑，青からなる三原色の画像信号を生成する。光センサ部２５は、図２の（ｃ）に示すように、少なくとも赤外線領域に感度を有して、センサ信号に基づき図２の（ａ）に示す自然光と非自然光の判別を可能とする。さらに、光センサ部２５は、赤外線領域だけでなく可視領域に感度を有すれば、白色光源や電球色光源の判別等も可能となる。
　撮像部２３は、例えば赤色領域と青色領域と緑色領域のそれぞれに感度を有していることから、画像信号に基づいて光源を細かく分類できる。しかし、画角が狭く撮像画に写り込む例えば背景の変化が大きくなると後述するように光源が変化していなくとも光源推定結果が変化する場合がある。また、光センサ部２５は、撮像部２３よりも画角が広いことから、画像信号に基づく光源推定結果に比べて、光源に対応した光源推定結果を得られやすい。しかし、光センサ部２５で生成されたセンサ信号に基づいた光源の推定では、画像信号に基づいて光源を推定する場合に比べて光源を細かく分類できない。そこで、画像処理部３０は、画像信号に基づく光源推定結果とセンサ信号に基づく光源推定結果とを用いて、より正確なホワイトバランス調整を安定して行う。
　画像処理部３０は、前処理部３１、デモザイク処理部３２、リニアマトリクス変換部３３、ホワイトバランス（ＷＢ）調整部３４、アパーチャ補正部３５、信号加算部３６、γ補正部３７、信号変換部３８を有している。
　前処理部３１は、撮像部２３で生成された画像信号に対してノイズ除去処理や利得調整処理、アナログ／デジタル変換処理、欠陥画素補正等を行う。前処理部３１は、処理後の画像信号をデモザイク処理部３２へ出力する。
　デモザイク処理部３２は、前処理部３１で処理されたＲＡＷデータである画像信号を用いてデモザイク処理を行い、１画素が１つの色成分を示す画像信号から１画素が各色成分を示す画像信号、例えば三原色の画像信号を生成する。デモザイク処理部３２は、生成した画像信号をリニアマトリクス変換部３３とアパーチャ補正部３５へ出力する。なお、デモザイクは色分離処理の一例であって、モザイクカラーフィルタ以外の例えばストライプカラーフィルタを備えた撮像素子を用いた場合は異なる方式の色分離処理が行われる。
　リニアマトリクス変換部３３は、デモザイク処理部３２から出力された画像信号に対してマトリクス演算を行い、目標色調の画像信号を生成してホワイトバランス調整部３４へ出力する。
　ホワイトバランス調整部３４は、光源の違い等による色間のアンバランスを補正する。ホワイトバランス調整部３４は、リニアマトリクス変換部３３から出力された例えば赤，緑，青からなる三原色の画像信号に対して、制御部５０から供給された調整値に基づきゲイン調整を行い、被写体の無彩色部分の色バランスが無彩色として再現できるようにする。ホワイトバランス調整部３４は、処理後の画像信号を信号加算部３６へ出力する。
　アパーチャ補正部３５は、デモザイク処理部３２から供給された画像信号から高域成分の抽出や抽出した信号のレベル調整等を行い、輪郭補正信号を生成して信号加算部３６へ出力する。
　信号加算部３６は、ホワイトバランス調整部３４から供給された画像信号にアパーチャ補正部３５から供給された輪郭補正信号を加算して、輪郭補正処理が行われた画像信号を生成してγ補正部３７へ出力する。
　γ補正部３７は、信号加算部３６から供給された画像信号に対してγ補正を行い、補正後の画像信号を信号変換部３８へ出力する。
　信号変換部３８は、γ補正後の画像信号を画像記録に応じた信号に変換する。例えば、信号変換部３８は、γ補正後の三原色の画像信号を輝度信号と色差信号に変換したのち符号化処理して記録部４１へ出力する。また、信号変換部３８は、記録部４１から供給された信号の復号処理を行い、得られた輝度信号と色差信号を三原色の画像信号に変換する。また、信号変換部３８は、画像信号を外部機器に出力する場合、γ補正後の三原色の画像信号を通信に適した信号に変換する。例えば、信号変換部３８は、γ補正後の三原色の画像信号を輝度信号と色差信号に変換して符号化して通信部４２へ出力する。さらに、信号変換部３８は、γ補正後の画像信号や記録部４１から供給された信号の復号等を行って得られた画像信号を、ビューファインダ部４３や表示部４４の表示解像度に応じた画像信号に変換する。信号変換部３８は、解像度変換後の画像信号をビューファインダ部４３や表示部４４へ出力する。
　記録部４１には記録媒体４１０が固定あるいは着脱可能に設けられている。記録部４１は、信号変換部３８から供給された符号化信号を記録媒体４１０に記憶する。また、記録部４１は、記録媒体４１０に記録されている信号を読み出して信号変換部３８へ出力する。
　通信部４２は、外部機器と通信を行い、例えば信号変換部３８から供給された信号を外部機器へ出力する。また、通信部４２は外部機器から供給された通信信号を制御部５０へ出力する。
　ビューファインダ部４３および表示部４４は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されている。ビューファインダ部４３および表示部４４は信号変換部３８から供給された画像信号に基づき、撮像部２３で取得した撮像画や記録媒体４１０に記録されている撮像画を表示する。また、ビューファインダ部４３および表示部４４は、制御部５０から供給された表示信号に基づき撮像装置１０の機能や動作などの各種設定画面や各種情報等を表示する。
　ユーザインタフェース部４５は、操作スイッチや操作ボタン、操作ダイヤル、リモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を生成して制御部５０へ出力する。
　制御部５０は、ＣＰＵ(Central Processing Unit)やＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read　Only　Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random　Access　Memory）は、各種パラメータ等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、ユーザインタフェース部４５からの操作信号や通信部４２で受信した外部機器からの通信信号等に基づき、ユーザ操作や外部機器からの要求に応じた動作が撮像装置１０で行われるように各部を制御する。
　また、制御部５０は、ホワイトバランス処理前の画像信号に基づいた光源推定を行う。画像信号に基づいた光源推定では、既存の種々の技術を用いることができる。例えば特開２００４－１６５９３２号公報に記載されているように、制御部５０は、センサ応答値に対して、既知である撮像部の分光感度特性と仮定したテスト光源の分光特性とから測色的に近似可能な演算を行い、撮像時の光源に依存しない評価空間へ投影して、投影されたシーンのサンプル値の分布状態に基づいて複数のテスト光源についての正答性を評価することで光源を推定する。また、制御部５０は、信号成分検出を行い、その検波結果に基づいて光源を推定してもよく、色信号の分布から光源を推定してもよい。
　また、制御部５０は、光センサ部２５から供給されたセンサ信号に基づいて光源推定を行う。例えば図２に示す光源の分光特性から明らかなように、自然光（太陽光）と非自然光（例えば白色光源や電球色光源）では、赤外線領域でパワーが相違する。したがって、赤外線領域に感度を有する光センサ部を用いれば、センサ信号の信号レベルに応じて光源が自然光と非自然光のいずれであるか判別できる。また、光センサ部として、可視領域に複数の感度領域を設ければ、光センサ部からのセンサ信号における各感度領域のパワーの違い、例えば緑色成分に対する青色成分の比率と緑色成分に対する赤い成分の比率の違い等に基づき白色光源や電球色光源の判別も可能となる。
　さらに、制御部５０は、撮像画の画像信号に基づく光源推定結果と撮像画の取得時のセンサ信号に基づく光源推定結果とを用いて、画像信号のホワイトバランス調整の制御を行い、正確なホワイトバランス調整を行う。例えば、制御部５０は、撮像部２３で画像信号を画像単位で複数回連続して生成する場合、２回目以降の画像信号に基づく光源推定結果が信頼性のある光源推定結果であるかをセンサ信号に基づく光源推定結果を利用して判別する。さらに、制御部５０は、信頼性のある光源推定結果に基づいてホワイトバランス調整の調整値を決定して、決定した調整値をホワイトバランス調整部３４へ出力することで、正確なホワイトバランス調整を安定して行えるようにする。また、制御部５０は、撮像画の画角と光センサ部２５の画角との差が所定値以上である場合、即ち、光センサ部２５の画角が撮像画の画角より所定値よりも広い場合に、画像信号に基づく光源推定結果が信頼できるか判別してもよい。ここで所定値は光センサ部２５の画角が撮像画の画角より、少しでも広い場合や、予め設定された比率以上大きい時などが考えられる。なお、画像信号に基づく光源推定とセンサ信号に基づく光源推定、画像信号に基づく光源推定結果の使用判別結果に基づいたホワイトバランス調整の調整値の設定は、制御部５０に限らずホワイトバランス調整部３４で行ってもよい。
　撮像装置１０は、図１に示す構成に限らず、図に示されていない構成が含まれてもよく、また図に示す構成の一部が除かれた構成であってもよい。例えば、撮像部２３には、三原色の色成分毎に撮像素子が設けてもよい。この場合には、デモザイク処理部３２を設ける必要がない。また、撮像装置１０は、ＲＡＷデータや光源検出結果等を記録媒体４１０に記録する機能や外部機器に送信する機能を有してもよい。
　＜２．撮像装置の動作＞
　図３は、撮像装置のホワイトバランス制御動作を例示したフローチャートである。ステップＳＴ１で制御部はオートホワイトバランス（ＡＷＢ）モードであるか判別する。制御部５０は撮像装置１０の動作設定がオートホワイトバランスモードに設定されている場合はステップＳＴ２に進み、オートホワイトバランスモードに設定されていない場合はホワイトバランス制御動作を行わずに終了する。なお、ステップＳＴ１からステップＳＴ１０の処理のループは、例えばフレーム毎や複数フレーム毎などホワイトバランス調整の更新期間単位ごとに行われる。
　ステップＳＴ２で制御部は画像信号に基づく光源推定を行う。制御部５０は、ホワイトバランス処理前の画像信号に基づき光源を推定してステップＳＴ３に進む。
　ステップＳＴ３で制御部はセンサ信号に基づく光源推定を行う。制御部５０は、光センサ部２５から供給されたセンサ信号に基づき光源を推定してステップＳＴ４に進む。なお、センサ信号に基づき推定した光源をセンサ推定光源ともいう。
　ステップＳＴ４で制御部は安定化処理を実施するか判別する。制御部５０は、複数枚の撮像画を取得する動作モード例えば動画モードあるいは連写モードであり、撮影開始から２枚目以降の撮像を行う場合、安定化処理を実施すると判別する。つまり、安定化処理は１枚目の撮像画（フレーム）以降に撮像される撮像画（フレーム）に対して行われる。定化処理は常に行っても良いが、常に行わなくても良い。例えば、画像を記録しない場合は安定化処理を省いても良い。撮像装置本体や撮像装置と有線又は無線で接続され撮像装置本体から画像を受信して記録する外部機器の少なくとも一方で画像を記録している場合は安定化処理を行うことが望ましい。よってスルー画の表示を行うのみで、撮像画を記録していない場合は安定化処理を省いても良い。また、制御部５０は、撮像画の画角と光センサ部２５の画角との差が所定値以上である場合に安定化処理を実施するようにすれば、撮像画の画角が光学的なズームにより広画角とされて、写り込む背景の変化によってホワイトバランス調整のばらつきを生じるおそれがない場合には安定化処理を行わないようにできる。制御部５０は、安定化処理を実施すると判別した場合にステップＳＴ５に進み、安定化処理を実施しないと判別した場合、例えば動画モードあるいは連写モードにおける１枚目の撮像時あるいは単写モードである場合にステップＳＴ１０に進む。
　ステップＳＴ５で制御部はカテゴライズ処理を行う。制御部５０は、ステップＳＴ２で画像信号に基づき推定した光源を、ステップＳＴ３の光源推定で推定可能な光源のカテゴリの１つに分類してステップＳＴ６に進む。
　ステップＳＴ６で制御部はカテゴリ変化があるか判別する。制御部５０は、ステップＳＴ５で分類されたカテゴリが後述するステップＳＴ９で前回記憶したカテゴリと等しい場合にカテゴリ変化がないと判別してステップＳＴ７に進み、異なる場合にカテゴリ変化があると判別してステップＳＴ８に進む。
　ステップＳＴ７で制御部はセンサ推定光源の変化があるか判別する。制御部５０は、ステップＳＴ３でセンサ信号に基づき推定したセンサ推定光源が後述するステップＳＴ９で前回記憶したセンサ推定光源から変化している場合はステップＳＴ８に進み、変化していない場合はステップＳＴ９に進む。
　ステップＳＴ８で制御部はセンサ推定光源とカテゴリが一致するか判別する。制御部５０は、今回の処理ループのステップＳＴ７でセンサ信号に基づき推定したセンサ推定光源と、今回の処理ループのステップＳＴ５のカテゴライズ処理によって分類された画像信号に基づく光源のカテゴリが等しいか判別する。制御部５０は、センサ推定光源とカテゴリが等しいと判別した場合、画像信号に基づく光源推定結果は信頼性があると判別してステップＳＴ９に進む。また、制御部５０は、センサ推定光源とカテゴリが等しくないと判別した場合、画像信号に基づく光源推定結果は信頼性がないと判別してステップＳＴ１に戻る。ここで、ステップＳＴ８からステップＳＴ１に戻ることで、今回の処理ループではステップＳＴ１０の処理が行われない。これにより、ホワイトバランス推定及ホワイトバランス調整が安定化される。
　ステップＳＴ９で制御部は、センサ推定光源とカテゴリを記憶する。制御部５０は、その後にステップＳＴ６，７の処理が繰り返されたとき、過去の最後にホワイトバランス調整の調整値を設定したときのセンサ推定光源およびカテゴリを示す情報を用いて、ステップＳＴ６でカテゴリ変化とステップＳＴ７でセンサ推定光源の変化を判別できるように、センサ推定光源とカテゴリを示す情報を記憶（上書き）してステップＳＴ１０に進む。
　ステップＳＴ１０で制御部はホワイトバランス調整の調整値を設定することでホワイトバランス調整の調整値を更新する。制御部５０は、例えばユーザからの指示等に基づき安定化処理を実施しない場合、あるいは単写モード、つまり１枚の静止画のみを撮影する静止画撮影モードであるため安定化処理を行わない場合、または画像信号に基づく光源推定結果のカテゴリが変化していない場合、今回の処理のループ、即ち、直前に行われたＳＴ２の処理による画像信号に基づく光源推定結果に応じて、ホワイトバランス調整の調整値を設定する。また、制御部５０は、画像信号に基づく光源推定結果のカテゴリが変化し、かつ、画像信号に基づく光源推定結果に信頼性があると判別した場合、すなわち、画像信号に基づく光源推定結果のカテゴリとセンサ信号に基づく光源推定結果が等しい場合、直前に行われたＳＴ２の処理による画像信号に基づく光源推定結果に応じてホワイトバランス調整の調整値を設定する。なお、安定化処理を実施した結果、画像信号に基づく光源推定結果のカテゴリに変化を生じているが、画像信号に基づく光源推定結果は信頼性がないと判別した場合、上述のステップＳＴ８の処理からステップＳＴ１の処理に進み、ステップＳＴ９の処理を行わないため、ホワイトバランス調整の調整値はカテゴリ変化前の値が保持される。これにより、ホワイトバランス推定及びホワイトバランス調整の安定化がなされることになる。制御部５０は、生成した調整値をホワイトバランス調整部３４へ出力してステップＳＴ１に戻る。これにより、ホワイトバランス調整部３４は、制御部５０から出力された調整値に基づいて画像信号に対してホワイトバランス調整を行うことになる。
　纏めると、制御部５０は、安定化処理を実施する場合、センサ推定光源とカテゴリがともに変化し、変化した結果が一致した場合のみ、今回の処理ループのステップＳＴ２の画像信号に基づく光源推定結果に基づいて、ホワイトバランス調整の調整値を新たに設定し、それ以外の場合はこれまで設定していたホワイトバランス調整の調整値を用いる。これによりホワイトバランス推定及びホワイトバランス調整の調整値が安定化される。
　また、撮像装置のホワイトバランス制御動作は、図３に示す処理順序に限られない。例えば、ステップＳＴ２やステップＳＴ３で推定された光源が変化した場合に、ステップＳＴ５乃至ステップＳＴ９の処理を行うようにしてもよい。即ち、ステップＳＴ４の処理は無くても良い。
　次に、ホワイトバランス調整の制御動作について具体例を説明する。図４は、検出可能な光源を例示している。図４の（ａ）は、画像信号に基づき検出可能な光源を例示しており、図４の（ｂ）は、センサ信号に基づき検出可能な光源を例示している。例えば制御部５０は、画像信号に基づき太陽光下の日向，日陰，曇り、および電球色光源、白色光源、昼白色光源、昼光色光源、水銀灯を判別可能とする。また、制御部５０は、センサ信号に基づき自然光と非自然光を判別可能とする。なお、図４の（a）や図４の（ｂ）に示すように一般的に画像信号に基づき検出可能な光源の種類は、センサ信号に基づき検出可能な光源の種類より多い。
　図５は、制御部５０で行われるカテゴライズ処理を示しており、図４の（ａ）に示す光源を図４の（ｂ）に示す光源に区分する。例えば、画像信号に基づき検出可能な光源である「太陽光下の日向，日陰，曇り」を自然光のカテゴリに区分して、「電球色光源、白色光源、昼白色光源、昼光色光源、水銀灯」を非自然光のカテゴリに区分する。このカテゴライズ処理は、画像信号に基づき推定可能な光源とセンサ信号に基づき推定可能な光源の違いを吸収するためのものである。
　図６は、ホワイトバランス調整の制御動作について具体例を示しており、例えばレース場のオートバイを撮像する場合である。オートバイＯＢはコースを走行しており、オートバイＯＢの動きに合わせて撮像装置１０の撮像向きを移動させて、例えば位置ＰＳ1～ＰＳ6において破線で示す各領域を撮像して複数の画像を取得する。また、光センサ部２５の画角は、例えば位置ＰＳ1では一点鎖線で示す範囲ＰＲ1，位置ＰＳ4では一点鎖線で示す範囲ＰＲ4であり、撮像部２３で取得される撮像画の画角を包含し、かつ撮像画より広い画角とされている。光センサ部２５は、図２の（ｃ）に示すように、少なくとも赤外線領域に感度を有しており、撮像部２３で取得される撮像画の画角を包含し、かつ撮像画より広い画角であり、光センサ部２５の画角が例えば範囲ＰＲ1および範囲ＰＲ4のいずれでも、センサ信号に基づいて検出された光源Ｌ2は「自然光」と判別される。
　図７は、図６に示す具体例の光源推定結果を示している。なお、図７では、画像信号に基づいて検出された光源を光源Ｌ1、センサ信号に基づいて検出された光源を光源Ｌ2、光源Ｌ1のカテゴライズ処理を行って検出された光源Ｌ1のカテゴリをカテゴリＬＣ1とする。また、天候は晴れの状態であって、例えばコースはアスファルトで舗装されており、コースを除く部分は草地とされている。また、草地が緑色で撮像範囲に多く含まれると、太陽光下の日向であっても光源推定では白色光源と推定されてしまうおそれがある。
　位置ＰＳ1～ＰＳ3では、破線で示す撮像範囲内にオートバイＯＢとコースと草地が含まれており、コースの割合が大きい。このような場合、画像信号に基づいて検出された光源Ｌ1は「日向」、センサ信号に基づいて検出された光源Ｌ2は「自然光」と判別される。また、カテゴリＬＣ1は、光源Ｌ1が「日向」であることから「自然光」となる。位置ＰＳ1～ＰＳ3では、光源Ｌ2とカテゴリＬＣ1が一致している。したがって、制御部５０は、光源Ｌ1の推定結果は信頼性があると判別して、光源Ｌ1の推定結果すなわち光源が「日向」であるとしてホワイトバランス調整の調整値を設定して、設定した調整値をホワイトバランス調整部３４へ出力して、ホワイトバランス調整を行う。
　その後、位置ＰＳ4になると、撮像範囲内は草地の割合が多くなり、画像信号に基づいて検出された光源Ｌ1は「日向」から例えば「白色照明」に変化したとする。また、光源Ｌ1は「白色照明」であることからカテゴリＬＣ1は「非自然光」となる。このように光源Ｌ1のカテゴリＬＣ1が変化した場合、光源Ｌ2もカテゴリＬＣ1と同じ光源に変化していない場合、光源Ｌ1の光源推定結果は信頼性がないと判別して、ホワイトバランス調整の調整値は変更されることがない。また、位置ＰＳ5，ＰＳ6でも位置ＰＳ4と同様に光源Ｌ1が「白色光源」と推定されると、光源Ｌ1のカテゴリＬＣ1と光源Ｌ2が引き続き相違しており、光源Ｌ1の推定結果は信頼性がないと判別して、ホワイトバランス調整の調整値は変更されることがない。したがって、本技術によれば、位置ＰＳ1～ＰＳ3に対して位置ＰＳ4～ＰＳ6で推定された光源Ｌ1が変化しても、ホワイトバランス調整は光源Ｌ1の推定結果にかかわらずカテゴリ変化前の調整値を用いて行われる。このため、撮像装置１０は、ホワイトバランス調整を安定して行うことができるようになる。また、画像信号に基づく光源推定結果の信頼性があると判別されたされた場合、画像信号に基づく光源推定結果に応じてホワイトバランス調整が行われるので、センサ信号に基づく光源推定結果を用いる場合よりも正確なホワイトバランス調整を行うことができる。
　図８は、他の具体例を示している。例えば白い鳥ＢＲの動きに合わせて撮像装置１０の向きを移動させて、破線の領域内を撮像して複数の画像を連続して取得する場合、位置ＰＳ11～ＰＳ13では背景が異なる。例えば位置ＰＳ11における背景は「海」、位置ＰＳ12における背景は「山」、位置ＰＳ13における背景は「空」となっている。このような場合、画像信号に基づいて調整値を設定すると、鳥ＢＲの色が背景の違いによって赤みを帯びた白色や青みを帯びた白色等に変化するおそれがある。しかし、本技術によれば、画像信号に基づく光源推定結果の信頼性がないと判定された場合には、調整値を光源推定結果の変化前の状態に保つことが可能となり、背景の違いよって鳥ＢＲの色が変化してしまうことを防止できる。
　図９は、ホワイトバランス調整の制御動作についての他の具体例を示しており、例えばトンネル内を走行中の車両ＭＯから前方を撮像する場合である。車両ＭＯに対して画角が固定されている撮像装置１０を取り付けた車両ＭＯは、電球色照明が行われているトンネル内から、晴れの状態であるトンネル外に向けて走行しており、車両ＭＯの移動に伴い光センサ部２５の一点鎖線で示す画角領域が移動して、例えば位置ＰＳ21～ＰＳ26で撮像を行い複数の画像を取得する。なお、図９では、撮像部２３の画角を示していないが、撮像部２３の画角は光センサ部２５の画角よりも狭い範囲とされている。
　図１０は、図９に示す他の具体例の光源推定結果を示している。なお、図１０では、画像信号に基づいて検出された光源を光源Ｌ1、センサ信号に基づいて検出された光源を光源Ｌ2、光源Ｌ1のカテゴライズ処理を行って検出された光源Ｌ1のカテゴリをカテゴリＬＣ1とする。
　位置ＰＳ21，ＰＳ22では、一点鎖線で示す光センサ部２５の画角範囲にトンネル内の領域が多く含まれており、センサ信号に基づいて検出された光源Ｌ2は「非自然光」と判別されている。また、撮像部２３の画角内にトンネル内の領域が多く含まれており、画像信号に基づいて検出された光源Ｌ1は「電球色照明」と判別されている。また、カテゴリＬＣ1は、光源Ｌ1が「電球色照明」であることから「非自然光」となる。このように、位置ＰＳ21，ＰＳ22では、光源Ｌ2とカテゴリＬＣ1が一致していることから、光源Ｌ1の推定結果は信頼性があると判別して、制御部５０は、光源Ｌ1の推定結果である「電球色照明」を光源としてホワイトバランス調整の調整値を設定して、設定した調整値をホワイトバランス調整部３４へ出力して、ホワイトバランス調整を行う。
　位置ＰＳ23では、一点鎖線で示す光センサ部２５の画角範囲にトンネル内の領域が多く含まれており、センサ信号に基づいて検出された光源Ｌ2は「非自然光」と判別されている。また、撮像部２３の画角内にトンネル外の領域が多く含まれるようになり、画像信号に基づいて検出された光源Ｌ1は「電球色照明」から「日向」に変更される。また、カテゴリＬＣ1は、光源Ｌ1が「日向」であることから「自然光」となる。このように、位置ＰＳ23では、光源Ｌ2とカテゴリＬＣ1が異なることから、光源Ｌ1の推定結果は信頼性がないと判別して、制御部５０は、光源Ｌ1の推定結果のカテゴリ変化前の「電球色照明」を光源としてホワイトバランス調整の調整値を設定して、設定した調整値をホワイトバランス調整部３４へ出力して、ホワイトバランス調整を行う。
　位置ＰＳ24となると、一点鎖線で示す光センサ部２５の画角範囲にトンネル外の領域が多く含まれるようになり、センサ信号に基づいて検出された光源Ｌ2は「自然光」に変更される。また、撮像部２３の画角内にはトンネル外の領域が多く含まれていることから、画像信号に基づいて検出された光源Ｌ1は「日向」と判別されている。また、カテゴリＬＣ1は、光源Ｌ1が「日向」であることから「自然光」となる。このように、位置ＰＳ24では、光源Ｌ2とカテゴリＬＣ1が一致していることから、光源Ｌ1の推定結果は信頼性があると判別して、制御部５０は、光源Ｌ1の推定結果である「日向」を光源としてホワイトバランス調整の調整値を設定して、設定した調整値をホワイトバランス調整部３４へ出力して、ホワイトバランス調整を行う。
　位置ＰＳ25，ＰＳ26では、一点鎖線で示す光センサ部２５の画角範囲にトンネル外の領域が多く含まれており、センサ信号に基づいて検出された光源Ｌ2は「自然光」と判別されている。また、撮像部２３の画角内にトンネル外の領域が多く含まれており、画像信号に基づいて検出された光源Ｌ1は「日向」と判別されている。また、カテゴリＬＣ1は、光源Ｌ1が「日向」であることから「自然光」となる。このように、位置ＰＳ25，ＰＳ26では、光源Ｌ2とカテゴリＬＣ1が一致していることから、光源Ｌ1の推定結果は信頼性があると判別して、制御部５０は、光源Ｌ1の推定結果である「日向」を光源としてホワイトバランス調整の調整値を設定して、設定した調整値をホワイトバランス調整部３４へ出力して、ホワイトバランス調整を行う。したがって、本技術によれば、位置ＰＳ23で光源Ｌ1のみが変化しても、ホワイトバランス調整は光源Ｌ1の推定結果にかかわらずカテゴリ変化前の調整値を用いて行われる。また、位置ＰＳ24で光源Ｌ2が変化して、光源Ｌ2とカテゴリＬＣ1が一致するとき、光源Ｌ1の推定結果は信頼性があると判別して、画像信号に基づく光源推定結果に応じて画像信号のバランス調整が行われる。このため、撮像装置１０では、撮像時に用いられている光源の切り替えも考慮して、より正確なホワイトバランス調整を安定して行うことができるようになる。
　＜３．変形例＞
　本開示に係る技術は、様々な分野へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの移動体に搭載される装置として実現されてもよい。また、スマートフォン等の携帯電子機器に搭載される装置として実現されてもよく、監視カメラ等に適用されてもよい。このように光源が変化する環境下で使用可能な撮像機能を有する機器に適用すれば、ホワイトバランス調整が安定して行われることから、移動体の周辺に位置する被写体や撮影対象の被写体、監視対象の被写体の色が背景等の影響によって不安定に変化することを防止できる。
　また、ＲＡＷデータあるいはホワイトバランス調整前の画像信号とセンサ信号を関連付ける、即ち同じ記録媒体に記録する、あるいは通信部を介して双方を関連付けて出力すれば、記録媒体に記録された信号や通信部を介して出力された信号を用いて、画像信号およびセンサ信号に基づく光源推定結果に基づく上述のホワイトバランス制御をオフライン処理、即ち、撮像時以降に当該撮像装置や他の撮像装置、さらには撮像機能を持たない画像処理装置で行うことができる。
　また、ＲＡＷデータやホワイトバランス前の画像信号と、画像信号に基づく光源推定結果及びセンサ信号に基づく光源推定結果を関連付けておけば、オフライン処理でホワイトバランス調整を行うことができる。
　さらに、光センサ部２５は、センシング範囲である画角が、撮像部２３で取得される撮像画の画角を包含し、かつ撮像画より広い画角とするとしたが、これに限らず、光センサ部２５の画角が、撮像素子の画角より常に広くない場合にも適用することができる。この場合、ズームレンズを駆動して光学的にズームインすることに、撮像画の画角が光センサのセンシング範囲である画角より（所定値以上）狭くなった場合に、本技術によるホワイトバランス調整の調整値の設定の動作を行うようにしても良い。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）　被写体からの光を撮像素子で光電変換して生成された撮像画の画像信号に基づく光源推定結果と、前記撮像画より広い画角で、前記撮像素子と異なる領域に分光感度を有する光センサ部によって生成された前記撮像画の取得時のセンサ信号に基づく光源推定結果とを用いて、前記画像信号のホワイトバランス調整値の設定を行うホワイトバランス設定部
を備える画像処理装置。
　（２）　前記ホワイトバランス設定部は、前記画像信号に基づく光源推定結果の信頼性を、前記センサ信号に基づく光源推定結果を用いて判別して、前記信頼性の判別結果に基づいて前記ホワイトバランス調整値を設定する（１）に記載の画像処理装置。
　（３）　前記ホワイトバランス設定部は、前記画像信号に基づく光源推定結果を、前記センサ信号に基づいて推定可能な複数の光源のカテゴリのうちのいずれかのカテゴリに分類し、分類されたカテゴリと前記センサ信号に基づいて推定した光源とを比較することで、前記画像信号に基づく光源推定結果の信頼性を判別する（２）に記載の画像処理装置。
　（４）　前記ホワイトバランス設定部は、今回分類されたカテゴリが前回に分類されたカテゴリから変化しているが、前記センサ信号に基づいて推定した光源が、前記今回分類されたカテゴリと等しい光源に変化していない場合、前記画像信号に基づく光源推定結果は信頼性がないと判断し、前記ホワイトバランス調整値を更新しない（３）に記載の画像処理装置。
　（５）　前記ホワイトバランス設定部は、今回分類されたカテゴリと前記センサ信号に基づいて推定した光源が等しい場合、前記画像信号に基づく光源推定結果は信頼性があると判断し、前記画像信号に基づく今回の光源推定結果に応じて前記ホワイトバランス調整値を更新する（３）または（４）に記載の画像処理装置。
　（６）　前記ホワイトバランス設定部は、前記撮像素子で画像信号を画像単位で複数回連続して生成する場合、２回目以降の前記画像信号に基づく光源推定結果について信頼性の判別を行う（２）乃至（５）のいずれかに記載の画像処理装置。
　（７）　前記ホワイトバランス設定部は、前記撮像画の画角と前記光センサ部の画角との画角差が所定値以上である場合、前記画像信号に基づく光源推定結果の信頼性を判別する（２）乃至（６）のいずれかに記載の画像処理装置。
　（８）　前記ホワイトバランス設定部は、前記画像信号に基づく光源推定結果の信頼性の判定を行わない場合、前記画像信号に基づく光源推定結果に応じて前記ホワイトバランス調整値を設定する（７）に記載の画像処理装置。
　（９）　前記光センサ部は、少なくとも赤外線領域に感度を有する（１）乃至（８）のいずれかに記載の画像処理装置。
　（１０）　前記光センサ部の画角は、前記撮像画の画角を包含する（１）乃至（９）のいずれかに記載の画像処理装置。
　（１１）　前記ホワイトバランス調整値に基づいて前記画像信号に対してホワイトバランス調整を行うホワイトバランス調整部をさらに備える（１）乃至（１０）のいずれかに記載の画像処理装置。
　（１２）　前記ホワイトバランス設定部は、前記撮像画の画角が光学的なズームにより前記センサ信号の画角より所定値以上広い場合に、前記画像信号に基づく光源推定結果と前記センサ信号に基づく光源推定結果とを用いて、前記ホワイトバランス調整値を設定する（１）乃至（１１）のいずれかに記載の画像処理装置。
　この技術の画像処理装置と画像処理方法とプログラムおよび撮像装置によれば、被写体からの光を撮像素子で光電変換して生成された撮像画の画像信号に基づく光源推定結果と、撮像画より広い画角で、撮像素子と異なる領域に分光感度を有する光センサ部によって生成された撮像画の取得時のセンサ信号に基づく光源推定結果とを用いて、画像信号のホワイトバランス調整値の設定が行われる。このため、画像信号に基づく光源推定結果のみに基づいてホワイトバランス調整値を設定する場合よりも安定してホワイトバランス調整を行うことができる。したがって、光源の変化が生じる環境下で使用可能な撮像機能を有する機器に適している。
　１０・・・撮像装置
　２１・・・撮像光学系
　２２・・・撮像光学系駆動部
　２３・・・撮像部
　２４・・・発光部
　２５・・・光センサ部
　３０・・・画像処理部
　３１・・・前処理部
　３２・・・デモザイク処理部
　３３・・・リニアマトリクス変換部
　３４・・・ホワイトバランス（ＷＢ）調整部
　３５・・・アパーチャ補正部
　３６・・・信号加算部
　３７・・・γ補正部
　３８・・・信号変換部
　４１・・・記録部
　４２・・・通信部
　４３・・・ビューファインダ部
　４４・・・表示部
　４５・・・ユーザインタフェース部
　５０・・・制御部
　４１０・・・記録媒体

Claims (15)

  1. 　被写体からの光を撮像素子で光電変換して生成された撮像画の画像信号に基づく光源推定結果と、前記撮像画より広い画角で、前記撮像素子と異なる領域に分光感度を有する光センサ部によって生成された前記撮像画の取得時のセンサ信号に基づく光源推定結果とを用いて、前記画像信号のホワイトバランス調整値の設定を行うホワイトバランス設定部
    を備える画像処理装置。
  2. 　前記ホワイトバランス設定部は、前記画像信号に基づく光源推定結果の信頼性を、前記センサ信号に基づく光源推定結果を用いて判別して、前記信頼性の判別結果に基づいて前記ホワイトバランス調整値を設定する
    請求項１に記載の画像処理装置。
  3. 　前記ホワイトバランス設定部は、前記画像信号に基づく光源推定結果を、前記センサ信号に基づいて推定可能な複数の光源のカテゴリのうちのいずれかのカテゴリに分類し、分類されたカテゴリと前記センサ信号に基づいて推定した光源とを比較することで、前記画像信号に基づく光源推定結果の信頼性を判別する
    請求項２に記載の画像処理装置。
  4. 　前記ホワイトバランス設定部は、今回分類されたカテゴリが前回に分類されたカテゴリから変化しているが、前記センサ信号に基づいて推定した光源が、前記今回分類されたカテゴリと等しい光源に変化していない場合、前記画像信号に基づく光源推定結果は信頼性がないと判断し、前記ホワイトバランス調整値を更新しない
    請求項３に記載の画像処理装置。
  5. 　前記ホワイトバランス設定部は、今回分類されたカテゴリと前記センサ信号に基づいて推定した光源が等しい場合、前記画像信号に基づく光源推定結果は信頼性があると判断し、前記画像信号に基づく今回の光源推定結果に応じて前記ホワイトバランス調整値を更新する
    請求項３に記載の画像処理装置。
  6. 　前記ホワイトバランス設定部は、前記撮像素子で画像信号を画像単位で複数回連続して生成する場合、２回目以降の前記画像信号に基づく光源推定結果について信頼性の判別を行う
    請求項２に記載の画像処理装置。
  7. 　前記ホワイトバランス設定部は、前記撮像画の画角と前記光センサ部の画角との画角差が所定値以上である場合、前記画像信号に基づく光源推定結果の信頼性を判別する
    請求項２に記載の画像処理装置。
  8. 　前記ホワイトバランス設定部は、前記画像信号に基づく光源推定結果の信頼性の判定を行わない場合、前記画像信号に基づく光源推定結果に応じて前記ホワイトバランス調整値を設定する
    請求項２に記載の画像処理装置。
  9. 　前記光センサ部は、少なくとも赤外線領域に感度を有する
    請求項１に記載の画像処理装置。
  10. 　前記光センサ部の画角は、前記撮像画の画角を包含する
    請求項１に記載の画像処理装置。
  11. 　前記ホワイトバランス調整値に基づいて前記画像信号に対してホワイトバランス調整を行うホワイトバランス調整部をさらに備える
    請求項１に記載の画像処理装置。
  12. 　前記ホワイトバランス設定部は、前記撮像画の画角が光学的なズームにより前記センサ信号の画角より所定値以上広い場合に、前記画像信号に基づく光源推定結果と前記センサ信号に基づく光源推定結果とを用いて、前記ホワイトバランス調整値を設定する
    請求項１に記載の画像処理装置。
  13. 　被写体からの光を撮像素子で光電変換して生成された撮像画の画像信号に基づく光源推定結果と、前記撮像画より広い画角で、前記撮像素子と異なる領域に分光感度を有する光センサ部によって生成された前記撮像画の取得時のセンサ信号に基づく光源推定結果とを用いて、前記画像信号のホワイトバランス調整値の設定をホワイトバランス設定部で行うこと
    を含む画像処理方法。
  14. 　ホワイトバランス調整をコンピュータで実行させるプログラムであって、
    　被写体からの光を撮像素子で光電変換して生成された撮像画の画像信号に基づく光源推定結果を取得する手順と、
    　前記撮像画より広い画角で、前記撮像素子と異なる領域に分光感度を有する光センサ部によって生成された前記撮像画の取得時のセンサ信号に基づく光源推定結果を取得する手順と、
    　前記画像信号に基づく光源推定結果と前記センサ信号に基づく光源推定結果とを用いて、前記画像信号のホワイトバランス調整値の設定を行う手順と
    を前記コンピュータで実行させるプログラム。
  15. 　被写体からの光を光電変換して撮像画の画像信号を生成する撮像部と、
    　前記撮像画より広い画角で、前記撮像素子と異なる領域に分光感度を有する光センサ部と、
    　前記撮像部で生成された画像信号のホワイトバランス調整を行うホワイトバランス調整部と、
    　前記撮像画の画像信号に基づく光源推定結果と、前記光センサ部によって生成された前記撮像画の取得時のセンサ信号に基づく光源推定結果とを用いて、前記画像信号のホワイトバランス調整値の設定を行うホワイトバランス設定部と
    を備える撮像装置。
    　
PCT/JP2019/019512 2018-08-01 2019-05-16 画像処理装置と画像処理方法とプログラムおよび撮像装置 WO2020026561A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980049604.6A CN112514376B (zh) 2018-08-01 2019-05-16 图像处理装置、图像处理方法、记录介质和成像装置
JP2020534070A JPWO2020026561A1 (ja) 2018-08-01 2019-05-16 画像処理装置と画像処理方法とプログラムおよび撮像装置
US17/250,465 US11490060B2 (en) 2018-08-01 2019-05-16 Image processing device, image processing method, and imaging device
DE112019003836.2T DE112019003836T5 (de) 2018-08-01 2019-05-16 Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren, programm und bildaufnahmevorrichtung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-144935 2018-08-01
JP2018144935 2018-08-01

Publications (1)

Publication Number Publication Date
WO2020026561A1 true WO2020026561A1 (ja) 2020-02-06

Family

ID=69232350

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/019512 WO2020026561A1 (ja) 2018-08-01 2019-05-16 画像処理装置と画像処理方法とプログラムおよび撮像装置

Country Status (5)

Country Link
US (1) US11490060B2 (ja)
JP (1) JPWO2020026561A1 (ja)
CN (1) CN112514376B (ja)
DE (1) DE112019003836T5 (ja)
WO (1) WO2020026561A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111294576A (zh) * 2020-02-13 2020-06-16 展讯通信（上海）有限公司 一种自动白平衡处理方法、装置及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022034409A (ja) * 2020-08-18 2022-03-03 キヤノン株式会社 画像符号化装置及びその制御方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005303400A (ja) * 2004-04-07 2005-10-27 Ricoh Co Ltd 撮像装置、画像処理装置、照明光源及び照明装置
JP2008072575A (ja) * 2006-09-15 2008-03-27 Canon Inc 画像処理装置、方法、及びコンピュータプログラム
JP2009296102A (ja) * 2008-06-03 2009-12-17 Olympus Corp 撮像装置
JP2011223452A (ja) * 2010-04-13 2011-11-04 Nippon Hoso Kyokai <Nhk> 色補正装置
JP2016111475A (ja) * 2014-12-04 2016-06-20 ソニー株式会社 画像処理装置、画像処理方法、及び撮像システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3767541B2 (ja) 2002-11-12 2006-04-19 ソニー株式会社 光源推定装置、光源推定方法、撮像装置および画像処理方法
JP4740602B2 (ja) * 2005-01-19 2011-08-03 イーストマン コダック カンパニー オートホワイトバランス装置及びホワイトバランス調整方法
JP4754227B2 (ja) * 2005-01-31 2011-08-24 イーストマン コダック カンパニー オートホワイトバランス装置及びホワイトバランス調整方法
JP5092612B2 (ja) * 2007-08-03 2012-12-05 株式会社ニコン カラー撮像装置
US20100020193A1 (en) * 2008-07-28 2010-01-28 Texas Instruments Incorporated Method and apparatus for white balance
JP5073776B2 (ja) 2010-04-26 2012-11-14 シャープ株式会社 画像読取装置、画像データ出力処理装置、および画像読取方法
JP6494181B2 (ja) 2014-05-30 2019-04-03 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP2017123502A (ja) 2016-01-04 2017-07-13 株式会社ニコン 撮像装置
KR20190020578A (ko) * 2017-08-21 2019-03-04 삼성전자주식회사 외부 광에 기반하여 이미지를 처리하는 방법 및 이를 지원하는 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005303400A (ja) * 2004-04-07 2005-10-27 Ricoh Co Ltd 撮像装置、画像処理装置、照明光源及び照明装置
JP2008072575A (ja) * 2006-09-15 2008-03-27 Canon Inc 画像処理装置、方法、及びコンピュータプログラム
JP2009296102A (ja) * 2008-06-03 2009-12-17 Olympus Corp 撮像装置
JP2011223452A (ja) * 2010-04-13 2011-11-04 Nippon Hoso Kyokai <Nhk> 色補正装置
JP2016111475A (ja) * 2014-12-04 2016-06-20 ソニー株式会社 画像処理装置、画像処理方法、及び撮像システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111294576A (zh) * 2020-02-13 2020-06-16 展讯通信（上海）有限公司 一种自动白平衡处理方法、装置及电子设备
CN111294576B (zh) * 2020-02-13 2021-11-09 展讯通信（上海）有限公司 一种自动白平衡处理方法、装置及电子设备

Also Published As

Publication number Publication date
JPWO2020026561A1 (ja) 2021-08-02
US20210168345A1 (en) 2021-06-03
CN112514376A (zh) 2021-03-16
CN112514376B (zh) 2023-06-30
DE112019003836T5 (de) 2021-04-22
US11490060B2 (en) 2022-11-01

Similar Documents

Publication Publication Date Title
US10136076B2 (en) Imaging device, imaging system, and imaging method
CN103685971B (zh) 摄像设备及其控制方法
JP5733952B2 (ja) 撮像装置、撮像システム、及び撮像装置の制御方法
JP6394338B2 (ja) 画像処理装置、画像処理方法、及び撮像システム
JP6049343B2 (ja) 画像処理装置、画像処理方法及びプログラム
US9036045B2 (en) Image processing apparatus and image processing method
JP2007082026A (ja) 対象画像の位置検出装置および方法ならびに対象画像の位置検出装置を制御するプログラム
US9967527B2 (en) Imaging device, image processing device, image processing method, and image processing program
US11665433B2 (en) Image processing apparatus, control method thereof, image capturing apparatus, monitoring system, and recording medium
WO2020026561A1 (ja) 画像処理装置と画像処理方法とプログラムおよび撮像装置
US9615031B2 (en) Imaging device and scene determination method
US9769376B2 (en) Imaging device, imaging device body, and lens barrel
US9871969B2 (en) Image processing device, imaging device, image processing method, and image processing program
JP2010063065A (ja) 画像入力装置
US9113095B2 (en) Imaging device with the autofocus
US10187592B2 (en) Imaging device, image signal processing method, and image signal processing program
JP5000699B2 (ja) 対象画像の位置検出装置および方法ならびに対象画像の位置検出装置を制御するプログラム
JP2007295093A (ja) 車載監視カメラの露出制御方法
US11451719B2 (en) Image processing apparatus, image capture apparatus, and image processing method
JP2017092876A (ja) 撮像装置、撮像システム、及び撮像方法
US11470258B2 (en) Image processing apparatus and image processing method to perform image processing on divided areas
JP4326997B2 (ja) 撮像装置および合焦方法、制御プログラム、記録媒体
JPH11127380A (ja) 撮像装置
JP2010183191A (ja) 露光量制御装置および露光量制御方法
JP2018098540A (ja) 撮像装置および照明制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19843868

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020534070

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19843868

Country of ref document: EP

Kind code of ref document: A1