WO2012073657A1 - 画像処理装置、撮影装置、画像処理方法及びホワイトバランス調整方法 - Google Patents

画像処理装置、撮影装置、画像処理方法及びホワイトバランス調整方法 Download PDF

Info

Publication number
WO2012073657A1
WO2012073657A1 PCT/JP2011/075671 JP2011075671W WO2012073657A1 WO 2012073657 A1 WO2012073657 A1 WO 2012073657A1 JP 2011075671 W JP2011075671 W JP 2011075671W WO 2012073657 A1 WO2012073657 A1 WO 2012073657A1
Authority
WO
WIPO (PCT)
Prior art keywords
led
white balance
area
light source
balance adjustment
Prior art date
Application number
PCT/JP2011/075671
Other languages
English (en)
French (fr)
Inventor
芦田　哲郎
悟 大日方
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2012546753A priority Critical patent/JP5389274B2/ja
Priority to CN201180057647.2A priority patent/CN103250418B/zh
Publication of WO2012073657A1 publication Critical patent/WO2012073657A1/ja
Priority to US13/900,203 priority patent/US8743238B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination

Definitions

  • the present invention provides an image processing device, a photographing device, an image processing method, and a white that can accurately detect an LED region including the LED light when a subject including light of a flashing LED (Light Emitting Diode) is captured.
  • the present invention relates to a balance adjustment method.
  • Monochromatic light-emitting diodes used for illumination, etc. differ in terms of spectral characteristics and flicker (periodically blinking) compared to general light sources for illumination, and have a large effect on the white balance function of the camera. is there.
  • Patent Document 1 discloses a configuration in which a light source can be accurately detected in a subject illuminated by a plurality of light sources and a subject having an object color.
  • Patent Document 2 discloses a configuration in which white balance correction can be performed in consideration of changes in color temperature due to differences in individual light-emitting diodes and aging when LED lighting is used.
  • Examples of such a monochromatic LED device that generates flicker include LED traffic lights, illuminations, and electric bulletin boards.
  • Patent Document 2 The configuration described in Patent Document 2 is based on the premise that the LED is used for illumination, and therefore there may be cases where appropriate white balance correction cannot be performed when there is an LED that is not illumination light.
  • the present invention has been made in view of such circumstances, and an image processing apparatus and an imaging apparatus capable of accurately detecting an LED region including the LED light when a subject including the light of the flashing LED is captured.
  • An object of the present invention is to provide an image processing method and a white balance adjustment method.
  • an image processing apparatus divides an image acquisition unit that acquires captured images obtained by continuously capturing images into a plurality of divided regions.
  • a flicker detection means for detecting flickering blinking for each divided area, and for each divided area in which the flicker is detected, a luminance difference between a luminance in a lighting state and a luminance in a light extinction state of the divided area.
  • a comparison unit that detects whether or not the divided region is an LED region including LED light and outputs LED region information indicating the LED region in the captured image.
  • the image processing apparatus includes a white balance calculation unit that calculates a white balance adjustment value based on the detected LED area information, and the captured image based on the calculated white balance adjustment value. Or you may further provide the white balance adjustment means which adjusts the white balance of the image imaged following the said captured image. In this case, it is possible to perform appropriate white balance adjustment even when there is an LED region.
  • the white balance calculation unit determines that the LED area is an object color area that is strongly influenced by an object color, and excludes the LED area from the captured image.
  • a light source color may be determined based on information in the area, and the white balance adjustment value may be calculated based on the light source color. In this case, by excluding the LED area from the light source color determination target area as an object color area instead of the light source color area, it is possible to perform an appropriate white balance adjustment according to the ambient light.
  • the white balance calculating unit includes, when the ratio of the LED area in the captured image is larger than a threshold value, among the spectral characteristics of the LED and the information in the LED area.
  • a light source color may be determined based on at least one, and the white balance adjustment value may be calculated based on the light source color.
  • the ratio of the LED area is large, there is a problem such as erroneous determination or hunting if the light source color is determined only in the remaining non-LED area. Since the light source color is determined based on at least one of the information, appropriate white balance adjustment can be performed.
  • the white balance calculation unit includes a color of the LED area and an average of colors of the entire captured image, or a non-LED area that excludes the LED area from the captured image. If the difference from the average of the colors is larger than the threshold value, a light source color different from the color of the LED region is determined from information in the non-LED region, and the white balance adjustment value is calculated based on the light source color. You may do it.
  • the white balance calculation unit includes an area excluding the LED area in the entire area of the captured image when the brightness of the LED area in the extinguished state is equal to or less than a threshold value.
  • the light source color may be determined on the basis of the information in the information, and the white balance adjustment value may be calculated based on the light source color.
  • the white balance calculation unit when the white balance calculation unit has a luminance difference between the luminance of the LED region and the luminance of the non-LED region smaller than a threshold, the spectral characteristics of the LED, and the LED
  • the light source color may be determined based on at least one of the information in the region, and the white balance adjustment value may be calculated based on the light source color.
  • the white balance calculation unit determines a light source color based on information in the LED area in the extinguished state, and the white balance adjustment value based on the light source color. May be calculated.
  • the white balance calculation unit may adjust the following intensity of the white balance adjustment value with respect to the object color based on the information in the detected LED area. Good.
  • the LED area information may be recorded on a recording medium in association with the captured image.
  • an imaging apparatus includes the image processing apparatus and an imaging unit that can continuously image a subject.
  • an exposure amount may be calculated based on the detected LED area information, and the imaging unit may perform imaging according to the exposure amount.
  • the LED region including the LED light can be detected with high accuracy.
  • FIG. 1 is a block diagram illustrating an overall configuration of a photographing apparatus according to a first embodiment.
  • the flowchart which shows the LED detection process example in 1st Embodiment.
  • the block diagram which shows the whole structure of the imaging device in 2nd Embodiment. Schematic flowchart showing an example of shooting processing Flowchart showing an example of white balance calculation processing in the second embodiment
  • the block diagram which shows the whole structure of the imaging device in 3rd Embodiment.
  • Flowchart showing an example of white balance calculation processing in the third embodiment Explanatory drawing used to describe the entire area ⁇ , LED area ⁇ , and non-LED area ⁇ of the captured image Flowchart showing an example of white balance calculation processing in the fourth embodiment
  • FIG. 1 is a block diagram showing the overall configuration of the photographing apparatus 10 in the first embodiment.
  • the imaging apparatus 10 includes an imaging unit 11 that captures an image of a subject, a display unit 35 that performs display, and a calculation / processing unit 50 that executes various calculations and processes such as flicker detection processing and LED detection processing.
  • the imaging unit 11 includes a photographing optical unit 12 that forms a subject image on an image sensor 14 (to be described later), an image sensor 14 that images the subject, and signal processing such as amplification for an analog image signal output from the image sensor 14.
  • An analog signal processing unit 16 that performs an analog signal
  • an AD converter 18 that converts an analog imaging signal (captured image) into a digital imaging signal
  • a digital signal processing unit 20 that performs various types of digital signal processing on the digital imaging signal.
  • a digital imaging signal output from the imaging unit 11 is temporarily stored in a RAM (Random Access Memory) 26 as a captured image of digital data.
  • the photographing optical unit 12 includes optical devices such as a focus lens, a zoom lens, and an iris (aperture).
  • the imaging device 14 is configured by a CMOS (Complementary Metal Oxide Semiconductor) imaging sensor, a CCD (Charge Coupled Device) imaging sensor, or the like.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the analog signal processing unit 16, the AD converter 18, and the digital signal processing unit 20 are configured by known circuits.
  • the display unit 35 displays an image reproduction processing unit 36 that performs image processing for reproducing a captured image, an encoder 38 that performs encoding for displaying captured image data on the display device 40, and a captured image.
  • Display device 40 The image reproduction processing unit 36 and the encoder 38 are configured by a known microprocessor and circuit.
  • the display device 40 is configured by, for example, an LCD (liquid crystal display device).
  • a VRAM (Video Random Access Memory) 24 is a memory that temporarily stores images.
  • a memory interface (memory I / F) 30 is a circuit that interfaces with a RAM 26 and a ROM (Read-Only Memory) 28.
  • the external memory interface (external memory I / F) 34 is a circuit that interfaces with the memory card 32.
  • the calculation / processing unit 50 includes a shooting condition setting unit 51 that sets various shooting conditions such as a shutter speed (exposure time) in the imaging unit 11, an image acquisition unit 52 that acquires a captured image, and a plurality of divided captured images.
  • a flicker detection unit 53 that detects flicker that periodically flickers in each divided area, and a luminance in the lighting state of the divided area and a luminance in the extinguished state for each divided area in which the flicker is detected.
  • a comparison calculation unit 54 that determines whether each divided region is an LED region including LED light based on a luminance difference between the blinking state and the extinguished light state, and the respective units of the photographing apparatus 10 CPU (Central Processing Unit) 55 to be controlled.
  • CPU Central Processing Unit
  • the arithmetic / processing unit 50 includes a microprocessor and a circuit.
  • the imaging condition setting unit 51 includes an operation device that accepts user instruction input. Note that the shooting condition setting unit 51 may read shooting conditions stored in advance in a non-volatile memory (not shown) and set shooting conditions.
  • Incandescent lamps and fluorescent lamps have a slow luminance response to AC voltage cycles, so the variation in luminance does not correspond to the periodic maximum / minimum variation in voltage, and the difference between the maximum and minimum luminance is Get smaller.
  • the LED due to the characteristics of the element, the LED has a very fast luminance response speed with respect to voltage rise and fall compared to other light sources. For example, an incandescent lamp is several hundred ms, a fluorescent lamp is around 1 s, and an LED is 10 ns. For example, in a brake lamp of an automobile, a notice of danger to a following vehicle can be quickly made using the good response of an LED.
  • the frequency of the AC power source used for the LED is 50 Hz at the latest, and one cycle of flicker in the LED using the AC power source is 20 ms or less.
  • the difference between the highest luminance and the lowest luminance in the LED area of the captured image corresponds to the difference between the lowest luminance (that is, 0) of the LED and the highest luminance.
  • the LED region is detected by the following procedure.
  • the subject is continuously photographed at a frequency that is at least twice the frequency of the AC power supply (for example, 50 Hz, 60 Hz) (1/100 s or less, 1/120 s or less as the shutter speed).
  • a shutter speed (exposure time) smaller than 1 ⁇ 2 of one cycle of the AC power supply is preferable.
  • Such a shutter speed is set in the imaging unit 11 by the imaging condition setting unit 51.
  • the flashing luminance difference (the difference between the luminance of the LED region in the lit state and the luminance of the LED region in the extinguished state) is large, the LED region is determined. You may determine that it is an LED area
  • the area corresponding to the LED in the area may be small. For this reason, the luminance or the threshold value of the luminance difference for determining that the region is the LED region has an allowable range to some extent, and performs LED detection.
  • FIG. 2 is a flowchart showing LED detection processing. This process is executed according to the program under the control of the CPU 55. Below, the LED detection process which detects the LED area
  • the image acquisition unit 52 acquires captured images continuously captured from the RAM 26 (image buffer) (step S2).
  • the flicker detection unit 53 divides the captured image into a plurality (n) of divided regions of a two-dimensional array (step S4).
  • the loop process (steps S6 to S18) is started with the number of divided areas n.
  • a region of interest (hereinafter referred to as “region of interest”) is determined (step S8), and it is determined whether or not periodic blinking (flicker) exists in the region of interest (step S10). For example, from a plurality of captured images obtained by continuously capturing an object at an integer multiple (however, twice or more) of the frequency of the AC power supply (50 Hz or 60 Hz in this example), a time series of each divided region is obtained for each divided region. Based on the luminance, it is determined whether or not it is blinking at the frequency of the AC power supply.
  • the subject is continuously imaged with an exposure time (shutter speed) that is 1/2 or less of one cycle of the AC power supply, and periodic blinking is detected.
  • the detection accuracy of a blinking period is not ask
  • step S12 determines whether or not the flashing luminance difference is large. For example, since the luminance value of the light extinction state of the LED is substantially zero, when it is determined that the luminance value of the lighting state is equal to or higher than the threshold value and the luminance value of the extinction state is substantially zero, the luminance difference of blinking is You may determine with it being large. In addition, the difference between the brightness in the lighting state (when the brightness is high) of the attention area where blinking is detected and the brightness in the extinguishing state (when the brightness is low) of the attention area is calculated, and the brightness and the lighting condition in the lighting state are calculated.
  • the CPU 55 determines that the flashing luminance difference is large, the CPU 55 determines that the region of interest is an LED region, associates the LED region flag with the corresponding divided region, and stores the LED region flag in the RAM 26 as part of the LED region information (Ste S14).
  • the CPU 55 determines that the attention area is an area other than the LED area (non-LED area), associates the non-LED area flag with the corresponding divided area, and sets the LED.
  • the area information is stored in the RAM 26 as part of the area information (step S16).
  • the CPU 55 associates the LED area information (including the LED area flag and the non-LED area flag) temporarily stored in the RAM 26 with the captured image, and the memory card 32 through the external memory interface 34.
  • This LED area information indicates the LED area in the captured image.
  • the position of the LED area in the captured image is indicated by the arrangement of the LED area flag and the non-LED area flag. More preferably, the LED area information includes color information and luminance information of each LED area.
  • the present invention is not particularly limited to such a case.
  • the means for outputting the LED detection result is not particularly limited to the storage medium.
  • a network interface (not shown) may be transmitted to an external device in association with each frame of captured images that are continuously captured.
  • the display device 40 may display and output the image in association with the captured image.
  • the CPU 55 may calculate the exposure amount based on the detected LED area information, and the imaging unit 11 may perform imaging according to the exposure amount.
  • the exposure amount is adjusted by the control of the CPU 55 according to the shutter speed (exposure time) of the electronic shutter in the image sensor 14 and the iris amount (aperture amount) of the iris (aperture) of the photographing optical unit 12.
  • FIG. 3 is a block diagram illustrating an overall configuration of the imaging apparatus 10 according to the second embodiment.
  • symbol is attached
  • the white balance calculation unit 56 determines the light source color of the captured image based on the comparison result of the comparison calculation unit 54, and calculates the white balance adjustment value based on the light source color. Specifically, the white balance calculation unit 56 determines that the LED area is an object color area where the influence of the object color is strong, and based on the information in the area excluding the LED area in the captured image, the light source color Determine.
  • the CPU 55 adjusts the white balance of the captured image based on the white balance adjustment value calculated by the white balance calculation unit 56.
  • FIG. 4 is a schematic flowchart showing an example of the photographing process. This process is executed according to the program under the control of the CPU 55.
  • the subject is imaged by the imaging unit 11 (step S101).
  • the flicker detection unit 53 and the comparison calculation unit 54 of the calculation / processing unit 50 detect LED areas that periodically blink from the captured image (step S102).
  • the white balance calculation unit 56 of the calculation / processing unit 50 calculates a white balance adjustment value based on the LED region detection result (LED region information) (step S103).
  • the CPU 55 of the calculation / processing unit 50 adjusts the white balance of the captured image according to the white balance adjustment value (S104).
  • the captured image with the white balance adjusted is recorded on the memory card 32 by the external memory interface 34 (step S105).
  • FIG. 5 is a flowchart showing details of the white balance calculation process (step S103 in FIG. 4) in the second embodiment. This process is executed by the white balance calculation unit 56 according to a program.
  • the effective area (subject area) of the captured image is divided into a plurality of divided areas in units of white balance calculation (step S22).
  • step S24 a loop process is started with the number of area divisions (step S24), and it is determined whether or not the noticed divided area (hereinafter referred to as “target area”) is an LED area in accordance with the comparison result of the comparison calculation unit 54 (step S24).
  • target area the noticed divided area
  • the light source color evaluation value and the object color evaluation value of the attention area are calculated (step S28), and the influence of the object color is weak in the attention area based on the two calculated evaluation values. Is determined (step S30). If it is determined that the influence of the object color is weak, light source color estimation processing is performed assuming that the influence of the light source is strong (step S32). If it is determined that the influence of the object color is strong, the light source is assumed to be weak. Color estimation processing is performed (step S34).
  • the region of interest is determined as an object color region that is strongly influenced by the object color, and the region of interest (LED region) is determined. It excludes from a light source estimation process (step S36).
  • a white balance correction value is calculated based on the light source color estimation results in steps S32 and S34 (step S40). That is, the light source color is determined based on the color information of the non-LED region excluding the LED region in the captured image, and the white balance correction value is calculated based on the light source color.
  • Monochromatic LEDs are often used for direct viewing rather than for lighting applications due to their characteristics. Examples are signals, illumination, electronic bulletin boards, etc.
  • Such a monochromatic LED itself is a light source that emits light, but unlike a light source for illumination, it may be directly photographed as a subject and has color information like a normal object. Therefore, from the viewpoint of white balance adjustment, it is desirable to exclude the color of the single-color LED from the light source determination as an object color, not as a light source color (for example, white) as in this embodiment. That is, the accuracy of white balance is improved.
  • FIG. 6 is a block diagram illustrating an overall configuration of the imaging apparatus 10 according to the third embodiment.
  • symbol is attached
  • FIG. 7 is a flowchart showing details of the white balance calculation process (step S103 in FIG. 4) in the third embodiment. This process is executed by the white balance calculation unit 56 according to a program.
  • Steps S52 to S64 are the same as steps S22 to S34 shown in FIG. 5 in the second embodiment.
  • step S56 If it is determined in step S56 that the region of interest is the LED region, the white balance calculation unit 56 performs light source color estimation processing based on the conditions of the LED region (step S66).
  • the light source color is determined based on at least one of the spectral characteristics of the LED and the color information in the LED region in the extinguished state.
  • the white balance adjustment value is calculated based on the light source color. In other words, if the ratio of the LED area to the entire subject is a certain value or more, misjudgment or hunting occurs if light source color determination is performed only in the remaining non-LED area. The light source color is determined using the color information in the region. Further, when the ratio is large, the reference white balance of the apparatus is applied.
  • the light source color is determined based on the color information in the area (non-LED area) excluding the LED area in the entire area of the captured image.
  • the white balance adjustment value is calculated based on the light source color. That is, when the luminance of the LED region is small, the ambient light is more likely to be stronger than the light of the LED, and thus the light source color is determined.
  • the light source color is determined based on at least one of the spectral characteristics of the LED and the color information in the LED region, There is a mode in which the white balance adjustment value is calculated based on the light source color. That is, light source color determination is performed on the assumption that there is reflected light close to the light emission amount of the LED. Conversely, when the luminance difference from the non-LED area is larger than the threshold value, the ambient light is very weak, so it is determined that white balance is not necessary, and the reference white balance of the device is applied.
  • a white balance adjustment value is calculated such that the color after white balance adjustment is closer to the LED color than when no LED area is detected.
  • Steps S68 to S70 are the same as steps S38 to S40 in the second embodiment. However, in step S70, when step S66 is performed, a white balance adjustment value is calculated from the evaluation value as a result of the light source estimation process.
  • FIG. 8 shows an example of the entire captured image area ⁇ , the LED area ⁇ , and the non-LED area ⁇ .
  • FIG. 9 is a flowchart showing white balance adjustment processing in the present embodiment. The auto white balance process will be described with reference to FIG.
  • the luminance difference (pr) between the average luminance p when the LED region ⁇ is turned on and the average luminance r of the non-LED region is compared with the luminance difference threshold value x (step S81).
  • the area t of the LED region ⁇ is compared with the area ratio threshold z between the entire captured image region ⁇ and the LED region ⁇ (step S82). Even if the average luminance r of the non-LED region ⁇ is high, if the ratio (st) of the area t of the non-LED region ⁇ to the total region ⁇ of the captured image is small (that is, it occupies the total region ⁇ of the LED region ⁇ ). If the ratio t is large), accurate light source estimation is difficult. Therefore, if the ratio t of the LED region ⁇ is larger than the area ratio threshold z, the process branches to a process of performing light source estimation using the color information in the LED region in the extinguished state (steps S83 to S87).
  • step S83 loop processing is started with the number n of area divisions (step S83), and it is determined whether or not the noticed divided area is the LED area ⁇ (step S84).
  • the LED area is in the extinguished state, it can be considered that the light emission amount of the LED itself is almost zero and the object color is excluded. Therefore, when the attention area is the LED area, light source color estimation is performed based on the color information in the LED area in the extinguished state (when flicker is dark) (step S85).
  • step S86 normal light source color estimation is performed (step S86).
  • step S82 If it is determined in step S82 that the ratio t of the LED region ⁇ is equal to or less than the area ratio threshold z, the process branches to steps S88 to S94.
  • the area t of the LED region ⁇ is not dominant with respect to the entire region ⁇ , and the luminance r of the non-LED region is at a certain level or higher. Therefore, the influence of ambient light can be considered. For this reason, even if the white balance adjustment value is calculated using only the color information in the non-LED area, a certain level of accuracy can be obtained. However, by using the color information in the LED area, the accuracy of light source color estimation is further improved. Can be improved.
  • the loop processing is started with the area division number n (step S88), and it is determined whether or not the noticed divided area is the LED area ⁇ (step S89).
  • the average luminance q in the extinguished state of the LED region ⁇ is compared with the luminance threshold value y (step S90).
  • the light source color estimation is estimated using the color information (step S91), and if the average luminance q is equal to or less than the luminance threshold y, the LED region is excluded and the light source color estimation is performed (step S92). Further, if the divided area of interest is a non-LED area, normal light source color estimation is performed (step S93). When the process is repeated for the number of divided areas, the loop process is terminated (step S94).
  • step S81 if the luminance difference (pr) is larger than x, there is a high possibility that the influence of the LED as the object color is a dominant shooting scene (for example, a night scene).
  • the average brightness q when the LED region ⁇ is turned off is compared with the average brightness r of the non-LED region ⁇ (step S95). If q ⁇ r, the influence of the LED (however, the object color is handled) is dominant. Since there is a high possibility that there is no influence of ambient light, the reference gain prepared in the ROM 28 or the like is used as a white balance adjustment value (white balance gain). If q ⁇ r, the process branches to a process for estimating the light source color using the color information when the LED area is extinguished (steps S83 to S87).
  • this invention was not specifically limited in such a case. It goes without saying that the present invention may be applied to other image processing for detecting an LED region including LED light that periodically blinks from a captured image.
  • the present invention can be applied to various portable electronic devices such as mobile phones, and various computer devices such as personal computers and server devices.
  • White balance adjustment may be performed on the captured image.
  • flicker detection and LED detection may be performed on a live view image that is continuously captured immediately before the shutter switch is pressed, and white balance adjustment may be performed on the captured image after the shutter switch is pressed. Good.
  • the present invention is not particularly limited to such a case.
  • the present invention may be applied when image processing other than white balance adjustment is performed.
  • the shooting condition setting unit 51 sets shooting conditions (for example, exposure amount, angle of view, etc.) based on LED area information. ) May be switched.
  • the present invention may be applied to an LED detection device that simply outputs an LED detection result without performing image processing other than LED detection (that is, when the LED detection processing and subsequent steps are performed by another device).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

　本発明の一態様に係る画像処理方法は、連続的に撮像して得られた撮像画像を取得し、前記撮像画像を複数の分割領域に分割し、前記分割領域ごとに、点滅するフリッカを検出し、前記フリッカが検出された分割領域ごとに、点灯状態での輝度と滅灯状態での輝度との輝度差に基づいて、前記分割領域が発光ダイオード（ＬＥＤ）の光を含むＬＥＤ領域であるか否かを検出し、ＬＥＤ領域情報を出力する。

Description

画像処理装置、撮影装置、画像処理方法及びホワイトバランス調整方法
　本発明は、点滅するＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）の光を含む被写体を撮像した場合に、そのＬＥＤ光を含むＬＥＤ領域を精度よく検出することができる画像処理装置、撮影装置、画像処理方法及びホワイトバランス調整方法に関する。
　イルミネーションなどに使用される単色発光ダイオードは、照明用の一般の光源と比べ、分光特性やフリッカ（周期的な点滅）などの点において差異があり、カメラのホワイトバランス機能に大きな影響を与えるものがある。
　特許文献１には、複数の光源に照らされている被写体、物体色が存在する被写体において、光源を正確に検出することができるようにした構成が開示されている。
　特許文献２には、ＬＥＤ照明を使用したときに、発光ダイオードの固体差や経年劣化による色温度変化を考慮してホワイトバランス補正を行えるようにした構成が開示されている。
特開２０１０－１３０４６８号公報 特開２００９－１１８００１号公報
　イルミネーション用等の単色ＬＥＤを直視するようなシーンの場合、高輝度の情報が人間の目に入るため、残像効果が大きく働く。即ち、環境光として利用する場合に比べ、フリッカが目立たなくなる。このような事情により、コスト削減や設置容易性のためにフリッカの発生を除去しない単色ＬＥＤ装置が使用されている場合が多い。
　このようなフリッカを発生する単色ＬＥＤ装置としては、ＬＥＤ信号機、イルミネーション、電光掲示板などが挙げられる。
　特許文献１に記載の構成では、被写体の中から光源色推定エリアとその距離を算出しているが、物体色から明確に単色ＬＥＤの影響を除外できない可能性がある。
　特許文献２に記載の構成では、ＬＥＤを照明としていることを前提としているので、照明光でないＬＥＤがある場合に適切なホワイトバランス補正を行えない場合がある。
　本発明はこのような事情に鑑みてなされたもので、点滅するＬＥＤの光を含む被写体を撮像した場合に、そのＬＥＤ光を含むＬＥＤ領域を精度よく検出することができる画像処理装置、撮影装置、画像処理方法及びホワイトバランス調整方法を提供することを目的とする。
　前記目的を達成するために、本発明の一態様に係る画像処理装置は、連続的に撮像して得られた撮像画像を取得する画像取得手段と、前記撮像画像を複数の分割領域に分割し、前記分割領域ごとに、点滅するフリッカを検出するフリッカ検出手段と、前記フリッカが検出された分割領域ごとに、前記分割領域の点灯状態での輝度と滅灯状態での輝度との輝度差に基づいて、前記分割領域がＬＥＤの光を含むＬＥＤ領域であるか否かを検出し、前記撮像画像中の前記ＬＥＤ領域を示すＬＥＤ領域情報を出力する比較手段とを備える。即ち、点滅するＬＥＤの光を含む被写体を撮像した場合、撮像画像を分割した分割領域ごとにフリッカ（点滅）が検出されるとともに、各分割領域の点灯状態での輝度と滅灯状態での輝度との輝度差に基づいて撮像画像中のＬＥＤ領域が検出されるので、点滅するＬＥＤ光を含むＬＥＤ領域を精度よく検出することができる。
　本発明の一態様に係る画像処理装置は、前記検出されたＬＥＤ領域情報に基づいてホワイトバランス調整値を演算するホワイトバランス演算手段と、前記演算されたホワイトバランス調整値に基づいて、前記撮像画像又は前記撮像画像に続いて撮像された画像のホワイトバランスを調整するホワイトバランス調整手段とを更に備えていてもよい。この場合、ＬＥＤ領域がある場合でも適切なホワイトバランス調整を行うことが可能である。
　本発明の一態様に係る画像処理装置では、前記ホワイトバランス演算手段が、前記ＬＥＤ領域を物体色の影響が強い物体色領域であると判定するとともに、前記撮像画像のうち前記ＬＥＤ領域を除外した領域内の情報に基づいて、光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出するようにしてもよい。この場合、ＬＥＤ領域が光源色領域ではなく物体色領域として光源色判定の対象領域から除外されることで、環境光に応じた適切なホワイトバランス調整を行うことが可能になる。
　本発明の一態様に係る画像処理装置では、前記ホワイトバランス演算手段が、前記撮像画像における前記ＬＥＤ領域の割合が閾値よりも大きい場合、前記ＬＥＤの分光特性、及び前記ＬＥＤ領域内の情報のうち少なくとも一方に基づいて光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出するようにしてもよい。この場合、ＬＥＤ領域の割合が大きい場合には、残りの非ＬＥＤ領域のみで光源色が判定されると、誤判別やハンチングを起こしてしまう等の問題があるが、ＬＥＤの分光特性及びＬＥＤ領域内の情報のうち少なくとも一方に基づいて光源色が判定されるので、適切なホワイトバランス調整を行うことができる。
　本発明の一態様に係る画像処理装置では、前記ホワイトバランス演算手段が、前記ＬＥＤ領域の色と、前記撮像画像全体の色の平均、又は前記撮像画像のうち前記ＬＥＤ領域を除外した非ＬＥＤ領域の色の平均との差が閾値よりも大きい場合、前記ＬＥＤ領域の色とは異なる光源色を前記非ＬＥＤ領域内の情報から判定し、該光源色に基づいて前記ホワイトバランス調整値を算出するようにしてもよい。
　本発明の一態様に係る画像処理装置では、前記ホワイトバランス演算手段が、前記滅灯状態のＬＥＤ領域の輝度が閾値以下である場合、前記撮像画像の全領域のうち前記ＬＥＤ領域を除外した領域内の情報に基づいて、前記光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出するようにしてもよい。
　本発明の一態様に係る画像処理装置では、前記ホワイトバランス演算手段が、前記ＬＥＤ領域の輝度と非ＬＥＤ領域の輝度との輝度差が閾値よりも小さい場合、前記ＬＥＤの分光特性、及び前記ＬＥＤ領域内の情報のうち少なくとも一方に基づいて光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出するようにしてもよい。
　本発明の一態様に係る画像処理装置では、前記ホワイトバランス演算手段が、前記滅灯状態のＬＥＤ領域内の情報に基づいて、光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出するようにしてもよい。
　本発明の一態様に係る画像処理装置では、前記ホワイトバランス演算手段が、前記検出されたＬＥＤ領域内の情報に基づいて、前記ホワイトバランス調整値の物体色に対する追従強度を調整するようにしてもよい。
　本発明の一態様に係る画像処理装置では、前記ＬＥＤ領域情報を前記撮像画像に関連付けて記録媒体に記録するようにしてもよい。
　また、本発明の一態様に係る撮影装置は、前記画像処理装置と、被写体を連続的に撮像可能な撮像手段とを備える。
　本発明の一態様に係る撮影装置では、前記検出されたＬＥＤ領域情報に基づいて、露出量を算出し、前記撮像手段により前記露出量に応じた撮像を行うようにしてもよい。
　本発明によれば、点滅するＬＥＤの光を含む被写体を撮像した場合に、そのＬＥＤ光を含むＬＥＤ領域を精度よく検出することができる。
第１実施形態における撮影装置の全体構成を示すブロック図 第１実施形態におけるＬＥＤ検出処理例を示すフローチャート 第２実施形態における撮影装置の全体構成を示すブロック図 撮影処理例を示す概略フローチャート 第２実施形態におけるホワイトバランス演算処理例を示すフローチャート 第３実施形態における撮影装置の全体構成を示すブロック図 第３実施形態におけるホワイトバランス演算処理例を示すフローチャート 撮像画像の全体領域α、ＬＥＤ領域β、非ＬＥＤ領域γの説明に用いる説明図 第４実施形態におけるホワイトバランス演算処理例を示すフローチャート
　以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
　＜第１実施形態＞
　図１は、第１実施形態における撮影装置１０の全体構成を示すブロック図である。
　撮影装置１０は、被写体を撮像する撮像部１１と、表示を行う表示部３５と、フリッカ検出処理、ＬＥＤ検出処理などの各種演算及び処理を実行する演算・処理部５０とを含んでいる。
　撮像部１１は、後述の撮像素子１４に被写体像を結像する撮影光学ユニット１２と、被写体を撮像する撮像素子１４と、撮像素子１４から出力されたアナログの撮像信号に対し増幅等の信号処理を施すアナログ信号処理部１６と、アナログの撮像信号（撮像画像）をデジタルの撮像信号に変換するＡＤ変換器１８と、デジタルの撮像信号に対して各種のデジタル信号処理を施すデジタル信号処理部２０とを含んでいる。撮像部１１から出力されたデジタルの撮像信号は、デジタルデータの撮像画像として、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｒｓｓ　Ｍｅｍｏｒｙ）２６に一時的に記憶される。撮影光学ユニット１２は、フォーカスレンズ、ズームレンズ、アイリス（絞り）等の光学デバイスを含んでいる。撮像素子１４は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像センサ又はＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）撮像センサ等によって構成される。アナログ信号処理部１６、ＡＤ変換器１８、デジタル信号処理部２０は、公知の回路によって構成される。
　表示部３５は、撮像画像を再生するための画像処理を行う画像再生処理部３６と、撮像画像データを表示デバイス４０に表示するための符号化を行うエンコーダ３８と、撮像画像などの表示を行う表示デバイス４０とを含んでいる。画像再生処理部３６及びエンコーダ３８は、公知のマイクロプロセッサ及び回路によって構成される。表示デバイス４０は、例えば、ＬＣＤ（液晶表示デバイス）によって構成される。
　ＶＲＡＭ（Ｖｉｄｅｏ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２４は、画像を一時的に記憶するメモリである。メモリインタフェース（メモリＩ／Ｆ）３０は、ＲＡＭ２６及びＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）２８とのインタフェースを行う回路である。外部メモリインタフェース（外部メモリＩ／Ｆ）３４は、メモリカード３２とのインタフェースを行う回路である。
　演算・処理部５０は、シャッタスピード（露出時間）などの各種の撮影条件を撮像部１１に設定する撮影条件設定部５１と、撮像画像を取得する画像取得部５２と、撮像画像を複数の分割領域に分割し、分割領域ごとに、周期的に点滅するフリッカを検出するフリッカ検出部５３と、フリッカが検出された分割領域ごとに、分割領域の点灯状態での輝度と滅灯状態での輝度とを比較し、点滅状態と滅灯状態との輝度差に基づいて各分割領域がＬＥＤの光を含むＬＥＤ領域であるか否かを判別する比較演算部５４と、撮影装置１０の各部を統括して制御するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５５を含んでいる。演算・処理部５０は、マイクロプロセッサ及び回路によって構成されている。撮影条件設定部５１は、ユーザの指示入力を受け付ける操作デバイスを含んでいる。なお、撮影条件設定部５１は、不揮発性メモリ（不図示）にあらかじめ記憶された撮影条件を読み出して撮影条件を設定するようにしてもよい。
　次に、フリッカを発生する単色ＬＥＤの輝度差について説明する。
　白熱灯電球や蛍光灯では、交流の電圧周期に対する輝度応答が遅いため、電圧の周期的な最大／最小の変動に対して、輝度の変動が対応せず、最高輝度と最低輝度との差が小さくなる。これに対し、ＬＥＤは素子の特性上、電圧の昇降に対する輝度応答スピードが、他の光源に比べて極めて速い。例えば、白熱灯電球は数百ｍｓ、蛍光灯は１ｓ前後、ＬＥＤは１０ｎｓである。例えば、自動車のブレーキランプでは、ＬＥＤの応答性の良さを利用して、後続車への危険通知を迅速に行えるようにしている。
　また、ＬＥＤに用いる交流電源の周波数は遅くても５０Ｈｚであり、交流電源を利用したＬＥＤにおけるフリッカの１周期は２０ｍｓ以下である。
　つまり、交流電源の周期に対して、ＬＥＤの輝度応答性が十分小さいため、電圧の最大値／最小値の変動に対し、輝度の最大値／最小値の変動が追従する。言い換えると、撮像画像のＬＥＤ領域における最高輝度と最低輝度との差分が、ＬＥＤの最低輝度（つまり０）と最高輝度との差分に対応する。
　したがって、撮像画像中のＬＥＤ領域を精度良く検出するためには、次のような手順でＬＥＤ領域の検出を行う。
　（手順１）交流電源（例えば、５０Ｈｚ、６０Ｈｚ）の周波数の２倍以上（シャッタスピードにして１／１００ｓ以下、１／１２０ｓ以下）にて被写体を連続的に撮影する。交流電源の１周期の１／２よりも小さなシャッタスピード（露出時間）が好ましい。このようなシャッタスピードは、撮影条件設定部５１により撮像部１１に設定される。
　（手順２）判別する領域内の輝度の変動周期が交流電源の変動周期と略一致していれば、フリッカありと判断する。このようなフリッカ検出は、フリッカ検出部５３により行われる。ただし、両周期の一致の程度は高くなくてもよい。視覚効果のための通常の点滅（イルミネーション）では、残像効果によって人間の目は点滅と判断できないため、交流電源の変動周期のような速い点滅は存在しない。
　（手順３）点滅の輝度差（点灯状態のＬＥＤ領域の輝度と滅灯状態のＬＥＤ領域の輝度との差）が大きければ、ＬＥＤ領域であると判定する。滅灯状態の輝度値がほぼゼロであることを検出して、ＬＥＤ領域であると判定してもよい。このようなＬＥＤ領域検出は、比較演算部５４により行われる。
　なお、検出対象領域（画像の分割領域）の大きさによっては、その領域内のＬＥＤに相当する領域が小さい場合もある。このため、ＬＥＤ領域であると判定するための輝度又は輝度差の閾値は、ある程度許容範囲を持たせて、ＬＥＤ検出を行う。
　図２は、ＬＥＤ検出処理を示すフローチャートである。本処理は、ＣＰＵ５５の制御により、プログラムに従って実行される。以下では、図２を用いて、撮像画像から周期的に点滅するＬＥＤ領域を検出するＬＥＤ検出処理について説明する。なお、本例では、撮像部１１から出力された撮像画像は、ＲＡＭ２６に格納されているものとする。
　まず、画像取得部５２により、ＲＡＭ２６（画像バッファ）から連続的に撮像された撮像画像を取得する（ステップＳ２）。
　次に、フリッカ検出部５３により、撮像画像を二次元配列の複数個（ｎ個）の分割領域に分割する（ステップＳ４）。
　分割領域数ｎにてループ処理（ステップＳ６～Ｓ１８）を開始する。まず、注目する分割領域（以下「注目領域」という）を決定し（ステップＳ８）、注目領域に周期的な点滅（フリッカ）が存在する否かを判定する（ステップＳ１０）。例えば、交流電源の周波数（本例では５０Ｈｚ又は６０Ｈｚ）の整数倍（ただし２倍以上）で連続的に被写体を撮像した複数枚の撮像画像から、分割領域ごとに、各分割領域の時系列の輝度に基づいて、交流電源の周波数で点滅しているか否かを判定する。即ち、交流電源の１周期の１／２以下の露出時間（シャッタスピード）で連続的に被写体を撮像して、周期的な点滅を検出する。なお、点滅周期の検出精度は問わない。ほぼ周期的な点滅であることを検出するようにしてもよい。
　周期的な点滅が検出された場合（ステップＳ１０でｙｅｓ）、比較演算部５４により、点滅の輝度差が大きいか否かを判定する（ステップＳ１２）。例えば、ＬＥＤの滅灯状態の輝度値は略ゼロであるから、点灯状態の輝度が閾値以上であり、かつ、滅灯状態の輝度値が略ゼロであると判定したとき、点滅の輝度差が大きいと判定してもよい。また、点滅が検出された注目領域の点灯状態（輝度が高いとき）の輝度と、その注目領域の滅灯状態（輝度が低いとき）の輝度との差分を算出し、点灯状態の輝度と滅灯状態の輝度との輝度差を閾値と比較することで、点滅の輝度差が大きいか否かを判定してもよい。点灯状態の輝度と滅灯状態の輝度との比を閾値と比較することで、点滅の輝度差が大きいか否かを判定してもよい。
　ＣＰＵ５５は、点滅の輝度差が大きいと判定した場合、注目領域がＬＥＤ領域であると判定し、ＬＥＤ領域フラグを該当する分割領域と対応付けて、ＬＥＤ領域情報の一部としてＲＡＭ２６に記憶する（ステップＳ１４）。その一方で、ＣＰＵ５５は、輝度差が閾値以下である場合、注目領域がＬＥＤ領域以外の領域（非ＬＥＤ領域）であると判定し、非ＬＥＤ領域フラグを該当する分割領域と対応付けて、ＬＥＤ領域情報の一部としてＲＡＭ２６に記憶する（ステップＳ１６）。
　ループ処理を終了すると（ステップＳ１８）、ＣＰＵ５５は、ＲＡＭ２６に一時記憶したＬＥＤ領域情報（ＬＥＤ領域フラグ及び非ＬＥＤ領域フラグを含む）を、撮像画像と関連付けて、外部メモリインタフェース３４により、メモリカード３２に記憶する（ステップＳ１９）。このＬＥＤ領域情報は、撮像画像中のＬＥＤ領域を示す。本例では、ＬＥＤ領域フラグ及び非ＬＥＤ領域フラグの配列により、撮像画像におけるＬＥＤ領域の位置を示す。ＬＥＤ領域情報に、各ＬＥＤ領域の色情報及び輝度情報を含ませるのが、より好ましい。
　なお、ＬＥＤ検出結果を記憶媒体としてのメモリカード３２に出力する場合を例に説明したが、本発明はこのような場合に特に限定されない。ＬＥＤ検出結果の出力手段は、記憶媒体には特に限定されない。例えば、図示省略のネットワーク・インタフェースにより、外部の装置に対して、連続して撮像された撮像画像の各フレームと対応付けて送信出力するようにしてもよい。また、表示デバイス４０に撮像画像と対応付けて表示出力するようにしてもよい。
　また、ＣＰＵ５５により、検出されたＬＥＤ領域情報に基づいて露出量を算出し、撮像部１１により露出量に応じた撮像を行うようにしてもよい。露出量は、撮像素子１４における電子シャッタのシャッタスピード（露出時間）、撮影光学ユニット１２のアイリス（絞り）の絞り量（開口量）などによって、ＣＰＵ５５の制御により調整される。
　＜第２実施形態＞
　図３は、第２実施形態における撮影装置１０の全体構成を示すブロック図である。なお、図１に示す第１実施形態における構成要素と同じものには、同じ符号を付してあり、その説明を省略する。
　図３において、ホワイトバランス演算部５６は、比較演算部５４の比較結果に基づいて撮像画像の光源色を判定し、該光源色に基づいてホワイトバランス調整値を演算する。ホワイトバランス演算部５６は、具体的には、ＬＥＤ領域を物体色の影響が強い物体色領域であると判定するとともに、撮像画像のうちＬＥＤ領域を除外した領域内の情報に基づいて、光源色を判定する。
　ＣＰＵ５５は、ホワイトバランス演算部５６により演算されたホワイトバランス調整値に基づいて、撮像画像のホワイトバランスを調整する。
　図４は、撮影処理例を示す概略フローチャートである。本処理はＣＰＵ５５の制御により、プログラムに従って実行される。
　まず、撮像部１１により、被写体を撮像する（ステップＳ１０１）。次に、演算・処理部５０のフリッカ検出部５３及び比較演算部５４により、撮像画像から周期的に点滅するＬＥＤ領域を検出する（ステップＳ１０２）。次に、演算・処理部５０のホワイトバランス演算部５６により、ＬＥＤ領域の検出結果（ＬＥＤ領域情報）に基づいてホワイトバランス調整値を演算する（ステップＳ１０３）。次に、演算・処理部５０のＣＰＵ５５により、ホワイトバランス調整値に従って撮像画像のホワイトバランスを調整する（Ｓ１０４）。次に、外部メモリインタフェース３４により、ホワイトバランスが調整された撮像画像をメモリカード３２に記録する（ステップＳ１０５）。
　図５は、第２実施形態におけるホワイトバランス演算処理（図４のステップＳ１０３）の詳細を示すフローチャートである。本処理は、ホワイトバランス演算部５６により、プログラムに従って実行される。
　まず、撮像画像の有効領域（被写体の領域）を、ホワイトバランス演算単位に、複数の分割領域に分割する（ステップＳ２２）。
　次に、領域分割数でループ処理を開始し（ステップＳ２４）、比較演算部５４の比較結果に従って、注目した分割領域（以下「注目領域」という）がＬＥＤ領域であるか否かを判定する（ステップＳ２６）。
　注目領域が非ＬＥＤ領域である場合には、注目領域の光源色評価値及び物体色評価値を算出し（ステップＳ２８）、算出した二つの評価値に基づいて注目領域は物体色の影響が弱いか否かを判定する（ステップＳ３０）。物体色の影響が弱いと判定した場合には、光源の影響が強いとして光源色推定処理を行い（ステップＳ３２）、物体色の影響が強いと判定した場合には、光源の影響が弱いとして光源色推定処理を行う（ステップＳ３４）。
　ステップＳ２６にて、注目領域がＬＥＤ領域であると判定された場合には、その注目領域（即ちＬＥＤ領域）を物体色の影響が強い物体色領域と判定し、その注目領域（ＬＥＤ領域）を光源推定処理から除外する（ステップＳ３６）。
　ステップＳ３８にて分割領域数だけループが終了すると、ステップＳ３２及びステップＳ３４の光源色推定結果に基づいて、ホワイトバランス補正値を算出する（ステップＳ４０）。即ち、撮像画像のうちＬＥＤ領域を除外した非ＬＥＤ領域の色情報に基づいて、光源色を判定し、その光源色に基づいてホワイトバランス補正値を算出する。
　単色ＬＥＤ（分光特性の極大値がひとつの波長に対応するＬＥＤ）は、その特性から照明用途ではなく、直視されるものとして使用されることが多い。例としては、信号、イルミネーション、電光掲示板などである。このような単色ＬＥＤ自体は発光している光源であるが、照明用途の光源とは違い被写体として直接撮影することがあり、かつ通常の物体のように色情報を持っている。そこで、ホワイトバランス調整の観点からすると、本実施形態のように、単色ＬＥＤの色は光源色（例えば白色）としてではなく、物体色として光源判定から除外することが望ましい。即ち、ホワイトバランスの精度を向上させる。
　＜第３実施形態＞
　図６は、第３実施形態における撮影装置１０の全体構成を示すブロック図である。なお、図３に示す第２実施形態における構成要素と同じものには、同じ符号を付してあり、その説明を省略する。
　図７は、第３実施形態におけるホワイトバランス演算処理（図４のステップＳ１０３）の詳細を示すフローチャートである。本処理は、ホワイトバランス演算部５６により、プログラムに従って実行される。
　ステップＳ５２～Ｓ６４は、第２実施形態における図５に示したステップＳ２２～Ｓ３４と同様である。
　ステップＳ５６にて注目領域がＬＥＤ領域であると判定された場合、ホワイトバランス演算部５６により、ＬＥＤ領域の条件に基づいた光源色推定処理を行う（ステップＳ６６）。
　この光源色推定処理の態様には各種ある。
　第１に、撮像画像の全領域におけるＬＥＤ領域の割合が閾値よりも大きい場合、ＬＥＤの分光特性、及び滅灯状態のＬＥＤ領域内の色情報のうち少なくとも一方に基づいて、光源色を判定し、その光源色に基づいてホワイトバランス調整値を算出する態様がある。つまり、ＬＥＤ領域の被写体全体に占める割合が一定以上である場合、残りの非ＬＥＤ領域のみで光源色判定を行うと誤判定やハンチングが発生するため、ＬＥＤの分光特性、又は滅灯状態のＬＥＤ領域内の色情報を用いて光源色を判定する。更に、割合が大きい場合には、装置の基準ホワイトバランスを適用する。
　第２に、ＬＥＤ領域の色と、撮像画像全体の色の平均（又は撮像画像の全体領域のうちＬＥＤ領域を除外した非ＬＥＤ領域の色の平均）との差が閾値よりも大きい場合は、ＬＥＤ領域の色とは異なる光源色を非ＬＥＤ領域内の色情報から判定し、その光源色に基づいてホワイトバランス調整値を算出する態様がある。つまり、ＬＥＤ以外の光源が存在するとみなして、光源判定を行う。
　第３に、滅灯状態のＬＥＤ領域の輝度が閾値以下である場合、撮像画像の全領域のうちＬＥＤ領域を除外した領域（非ＬＥＤ領域）内の色情報に基づいて、光源色を判定し、その光源色に基づいてホワイトバランス調整値を算出する態様がある。つまり、ＬＥＤ領域の輝度が小さい場合は、環境光がＬＥＤの光よりも強い可能性が高いため、光源色判定を行う。
　第４に、ＬＥＤ領域の輝度と非ＬＥＤ領域の輝度との輝度差が閾値よりも小さい場合、ＬＥＤの分光特性、及びＬＥＤ領域内の色情報のうち少なくとも一方に基づいて光源色を判定し、その光源色に基づいてホワイトバランス調整値を算出する態様がある。つまり、ＬＥＤの発光量に近い反射光があるとみなして、光源色判定を行う。逆に、非ＬＥＤ領域との輝度差が閾値よりも大きい場合は、環境光がかなり弱いため、ホワイトバランスが必要ないと判断して、装置の基準ホワイトバランスを適用する。
　第５に、滅灯状態のＬＥＤ領域内の色情報に基づいて、光源色を判定し、その光源色に基づいてホワイトバランス調整値を算出する態様がある。
　第６に、検出されたＬＥＤ領域内の色情報に基づいて、ホワイトバランス調整値の物体色に対する追従強度を調整する態様がある。例えば、ＬＥＤ領域が検出されなかった場合よりもホワイトバランス調整後の色がＬＥＤの色に近くなるようなホワイトバランス調整値を算出する。
　ステップＳ６８～Ｓ７０は、第２実施形態におけるステップＳ３８～Ｓ４０と同様である。ただしステップＳ７０では、ステップＳ６６が行われた場合、その光源推定処理の結果の評価値からホワイトバランス調整値を算出する。
　＜第４実施形態＞
　次に、第４実施形態の撮影装置について説明する。なお、本実施形態の撮影装置１０の全体構成は、図６に示した第３実施形態と同様であり、以下では第３実施形態と異なる点のみを説明する。
　図８は、撮像画像全体領域α、ＬＥＤ領域β、及び非ＬＥＤ領域γの例を示す。
　図９は本実施形態におけるホワイトバランス調整処理を示すフローチャートである。図８を用いてオートホワイトバランス処理について説明する。
　まず、ＬＥＤ領域βの点灯時平均輝度ｐと非ＬＥＤ領域の平均輝度ｒとの輝度差（ｐ－ｒ）を、輝度差閾値ｘと比較する（ステップＳ８１）。
　輝度差（ｐ－ｒ）が輝度差閾値ｘ以下である場合には、ＬＥＤ領域以外の領域（非ＬＥＤ領域）に、環境光の影響があると考えられるため、非ＬＥＤ領域の情報で光源を推定する処理（ステップＳ８２～Ｓ９４）へと分岐する。
　輝度差（ｐ－ｒ）が輝度差閾値ｘ以下である場合、ＬＥＤ領域βの面積ｔを撮像画像全領域αとＬＥＤ領域βとの面積比閾値ｚと比較する（ステップＳ８２）。非ＬＥＤ領域γの平均輝度ｒが高くても、その非ＬＥＤ領域γの面積ｔが撮像画像の全領域αに占める割合（ｓ－ｔ）が小さければ（即ちＬＥＤ領域βの全領域αに占める割合ｔが大きければ）、正確な光源推定を行うことが難しい。このため、ＬＥＤ領域βの割合ｔが面積比閾値ｚよりも大きければ、滅灯状態のＬＥＤ領域内の色情報を使って光源推定を行う処理（ステップＳ８３～Ｓ８７）へと分岐する。
　その処理では、領域分割数ｎでループ処理を開始し（ステップＳ８３）、注目した分割領域がＬＥＤ領域βであるか否かを判定する（ステップＳ８４）。ＬＥＤ領域が滅灯状態である場合には、ＬＥＤ自体の発光量がほぼゼロであり、物体色が排除されている状態とみなすことができる。よって、注目領域がＬＥＤ領域である場合には、滅灯状態（フリッカの暗いとき）のＬＥＤ領域内の色情報に基づいて光源色推定を行う（ステップＳ８５）。一方で、注目領域が非ＬＥＤ領域である場合には、通常の光源色推定を行う（ステップＳ８６）。分割領域数だけ処理を繰り返すと、ループ処理を終了する（ステップＳ８７）。
　ステップＳ８２にて、ＬＥＤ領域βの割合ｔが面積比閾値ｚ以下であると判定された場合、ステップＳ８８～Ｓ９４へと分岐する。この場合、全領域αに対してＬＥＤ領域βの面積ｔが支配的でない、且つ、非ＬＥＤ領域の輝度ｒが一定以上のレベルであると考えられる。よって、環境光の影響が考えられる。このため非ＬＥＤ領域内だけの色情報を使用してホワイトバランス調整値を算出してもそれなりの精度は得られるが、ＬＥＤ領域内の色情報も使用することで、さらに光源色推定の精度を向上させることができる。
　そこで、領域分割数ｎでループ処理を開始し（ステップＳ８８）、注目した分割領域がＬＥＤ領域βであるか否かを判定する（ステップＳ８９）。ＬＥＤ領域である場合には、さらに、ＬＥＤ領域βの滅灯状態の平均輝度ｑを輝度閾値ｙと比較し（ステップＳ９０）、平均輝度ｑが輝度閾値ｙより大きければ滅灯状態のＬＥＤ領域内の色情報を使用して光源色推定を推定し（ステップＳ９１）、平均輝度ｑが輝度閾値ｙ以下であればＬＥＤ領域を除外して光源色推定を行う（ステップＳ９２）。また、注目する分割領域が非ＬＥＤ領域である場合には通常の光源色推定を行う（ステップＳ９３）。分割領域数だけ処理を繰り返すと、ループ処理を終了する（ステップＳ９４）。
　ステップＳ８１にて、輝度差（ｐ－ｒ）がｘよりも大きい場合には、物体色としてのＬＥＤの影響が支配的な撮影シーン（例えば、夜景）である可能性が高い。ＬＥＤ領域βの滅灯時平均輝度ｑを非ＬＥＤ領域γの平均輝度ｒと比較し（ステップＳ９５）、ｑ＜ｒである場合には、ＬＥＤ（ただし物体色扱い）の影響が支配的であり、環境光の影響が無いなどの可能性が高いので、ＲＯＭ２８等に用意されている基準ゲインをホワイトバランス調整値（ホワイトバランスゲイン）として使用する。ｑ≧ｒである場合には、ＬＥＤ領域の滅灯時の色情報を用いて光源色推定を行う処理（ステップＳ８３～Ｓ８７）へ分岐する。
　なお、本発明をカメラ等の撮影装置に適用した場合を例に説明したが、本発明はこのような場合に特に限定されない。本発明を、撮像された画像から周期的に点滅するＬＥＤの光を含むＬＥＤ領域を検出する他の画像処理に適用してもよいことは、言うまでもない。例えば、携帯電話等の各種の携帯電子機器や、パーソナルコンピュータ、サーバ装置等の各種のコンピュータ装置に適用できる。
　また、ＬＥＤ領域の検出結果に基づく画像処理として、フリッカ及びＬＥＤ領域を検出した撮像画像に対しホワイトバランス調整を行う場合を例に説明したが、その検出を行った撮像画像に時間的に続いて撮像された撮像画像に対して、ホワイトバランス調整を行ってもよい。例えば、シャッタスイッチが押される直前に時間的に連続して撮像されるライブビュー画像にてフリッカ検出及びＬＥＤ検出を行い、シャッタスイッチが押された後に撮像画像に対してホワイトバランス調整を行ってもよい。
　また、ＬＥＤ領域情報に基づいてホワイトバランス調整を行う場合を例に説明したが、本発明はこのような場合に特に限定されない。本発明は、ホワイトバランス調整以外の他の画像処理を実施する場合に適用してもよいし、例えば、撮影条件設定部５１によりＬＥＤ領域情報に基づいて撮影条件（例えば、露出量、画角など）を切り換えるようにしてもよい。また、ＬＥＤ検出以外の画像処理を行わないでＬＥＤ検出結果を出力するだけのＬＥＤ検出装置（即ち、ＬＥＤ検出処理以降を他の装置で実施する場合）に適用してもよい。
　本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
　１０…撮影装置（画像処理装置）、１１…撮像部、２６…ＲＡＭ、２８…ＲＯＭ、３２…メモリカード、３５…表示部、５１…撮影条件設定部、５２…画像取得部、５３…フリッカ検出部、５４…比較演算部、５５…ＣＰＵ、５６…ホワイトバランス演算部

Claims (21)

  1. 　連続的に撮像して得られた撮像画像を取得する画像取得手段と、
    　前記撮像画像を複数の分割領域に分割し、前記分割領域ごとに、点滅するフリッカを検出するフリッカ検出手段と、
    　前記フリッカが検出された分割領域ごとに、前記分割領域の点灯状態での輝度と滅灯状態での輝度との輝度差に基づいて、前記分割領域が発光ダイオード（ＬＥＤ）の光を含むＬＥＤ領域であるか否かを検出し、前記撮像画像中の前記ＬＥＤ領域を示すＬＥＤ領域情報を出力する比較手段と、
    　を備える画像処理装置。
  2. 　前記検出されたＬＥＤ領域情報に基づいてホワイトバランス調整値を演算するホワイトバランス演算手段と、
    　前記演算されたホワイトバランス調整値に基づいて、前記撮像画像又は前記撮像画像に続いて撮像された画像のホワイトバランスを調整するホワイトバランス調整手段と、
    　を更に備える請求項１に記載の画像処理装置。
  3. 　前記ホワイトバランス演算手段は、前記ＬＥＤ領域を物体色の影響が強い物体色領域であると判定するとともに、前記撮像画像のうち前記ＬＥＤ領域を除外した領域内の情報に基づいて、光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項２に記載の画像処理装置。
  4. 　前記ホワイトバランス演算手段は、前記撮像画像における前記ＬＥＤ領域の割合が閾値よりも大きい場合、前記ＬＥＤの分光特性、及び前記ＬＥＤ領域内の情報のうち少なくとも一方に基づいて光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項２に記載の画像処理装置。
  5. 　前記ホワイトバランス演算手段は、前記ＬＥＤ領域の色と、前記撮像画像全体の色の平均、又は前記撮像画像のうち前記ＬＥＤ領域を除外した非ＬＥＤ領域の色の平均との差が閾値よりも大きい場合、前記ＬＥＤ領域の色とは異なる光源色を前記非ＬＥＤ領域内の情報から判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項２に記載の画像処理装置。
  6. 　前記ホワイトバランス演算手段は、前記滅灯状態のＬＥＤ領域の輝度が閾値以下である場合、前記撮像画像の全領域のうち前記ＬＥＤ領域を除外した領域内の情報に基づいて、前記光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項２に記載の画像処理装置。
  7. 　前記ホワイトバランス演算手段は、前記ＬＥＤ領域の輝度と非ＬＥＤ領域の輝度との輝度差が閾値よりも小さい場合、前記ＬＥＤの分光特性、及び前記ＬＥＤ領域内の情報のうち少なくとも一方に基づいて光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項２に記載の画像処理装置。
  8. 　前記ホワイトバランス演算手段は、前記滅灯状態のＬＥＤ領域内の情報に基づいて、光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項２、４、及び７のうちいずれか１項に記載の画像処理装置。
  9. 　前記ホワイトバランス演算手段は、前記検出されたＬＥＤ領域内の情報に基づいて、前記ホワイトバランス調整値の物体色に対する追従強度を調整する、請求項１から８のうちいずれか１項に記載の画像処理装置。
  10. 　前記ＬＥＤ領域情報を前記撮像画像に関連付けて記録媒体に記録する、請求項１から９のうちいずれか１項に記載の画像処理装置。
  11. 　請求項１から１０のうちいずれか１項に記載の画像処理装置と、
    　被写体を連続的に撮像可能な撮像手段と、
    　を備える撮影装置。
  12. 　前記検出されたＬＥＤ領域情報に基づいて、露出量を算出し、前記撮像手段により前記露出量に応じた撮像を行う、請求項１１に記載の撮影装置。
  13. 　連続的に撮像して得られた撮像画像を取得するステップと、
    　前記撮像画像を複数の分割領域に分割するステップと、
    　前記分割領域ごとに、点滅するフリッカを検出するステップと、
    　前記フリッカが検出された分割領域ごとに、前記分割領域の点灯状態での輝度と滅灯状態での輝度との輝度差に基づいて、前記分割領域がＬＥＤの光を含むＬＥＤ領域であるか否かを検出するステップと、
    　前記撮像画像中の前記ＬＥＤ領域を示すＬＥＤ領域情報を出力するステップと、
    　を備える画像処理方法。
  14. 　連続的に撮像して得られた撮像画像を取得するステップと、
    　前記撮像画像を複数の分割領域に分割するステップと、
    　前記分割領域ごとに、点滅するフリッカを検出するステップと、
    　前記フリッカが検出された分割領域ごとに、前記分割領域の点灯状態での輝度と滅灯状態での輝度との輝度差に基づいて、前記分割領域がＬＥＤの光を含むＬＥＤ領域であるか否かを検出し、前記撮像画像中の前記ＬＥＤ領域を示すＬＥＤ領域情報を生成するステップと、
    　前記検出されたＬＥＤ領域情報に基づいてホワイトバランス調整値を演算するホワイトバランス演算ステップと、
    　前記演算されたホワイトバランス調整値に基づいて、前記撮像画像又は前記撮像画像に続いて撮像された画像のホワイトバランスを調整するステップと、
    　を備えるホワイトバランス調整方法。
  15. 　前記ホワイトバランス演算ステップにて、前記ＬＥＤ領域を物体色の影響が強い物体色領域であると判定するとともに、前記撮像画像のうち前記ＬＥＤ領域を除外した領域内の情報に基づいて、光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項１４に記載のホワイトバランス調整方法。
  16. 　前記ホワイトバランス演算ステップにて、前記撮像画像における前記ＬＥＤ領域の割合が閾値よりも大きい場合、前記ＬＥＤの分光特性、及び前記ＬＥＤ領域内の情報のうち少なくとも一方に基づいて光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項１４に記載のホワイトバランス調整方法。
  17. 　前記ホワイトバランス演算ステップにて、前記ＬＥＤ領域の色と、前記撮像画像全体の色の平均、又は前記撮像画像全体のうち前記ＬＥＤ領域を除外した非ＬＥＤ領域の色の平均との差が閾値よりも大きい場合、前記ＬＥＤ領域の色とは異なる光源色を前記非ＬＥＤ領域内の情報から判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項１４に記載のホワイトバランス調整方法。
  18. 　前記ホワイトバランス演算ステップにて、前記滅灯状態のＬＥＤ領域の輝度が閾値以下である場合、前記撮像画像の全領域のうち前記ＬＥＤ領域を除外した領域内の情報に基づいて、前記光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項１４に記載のホワイトバランス調整方法。
  19. 　前記ホワイトバランス演算ステップにて、前記ＬＥＤ領域の輝度と非ＬＥＤ領域の輝度との輝度差が閾値よりも小さい場合、前記ＬＥＤの分光特性、及び前記ＬＥＤ領域内の情報のうち少なくとも一方に基づいて光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項１４に記載のホワイトバランス調整方法。
  20. 　前記ホワイトバランス演算ステップにて、前記滅灯状態のＬＥＤ領域内の輝度に基づいて、光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項１４、１６、及び１９のうちいずれか１項に記載のホワイトバランス調整方法。
  21. 　前記ホワイトバランス演算ステップにて、前記検出されたＬＥＤ領域内の情報に基づいて、前記ホワイトバランス調整値の物体色に対する追従強度を調整する、請求項１４に記載のホワイトバランス調整方法。
PCT/JP2011/075671 2010-11-30 2011-11-08 画像処理装置、撮影装置、画像処理方法及びホワイトバランス調整方法 WO2012073657A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012546753A JP5389274B2 (ja) 2010-11-30 2011-11-08 画像処理装置、撮影装置、画像処理方法及びホワイトバランス調整方法
CN201180057647.2A CN103250418B (zh) 2010-11-30 2011-11-08 图像处理设备、成像设备、图像处理方法、及白平衡调整方法
US13/900,203 US8743238B2 (en) 2010-11-30 2013-05-22 Image processing apparatus, imaging apparatus, image processing method, and white balance adjustment method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-267053 2010-11-30
JP2010267053 2010-11-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/900,203 Continuation US8743238B2 (en) 2010-11-30 2013-05-22 Image processing apparatus, imaging apparatus, image processing method, and white balance adjustment method

Publications (1)

Publication Number Publication Date
WO2012073657A1 true WO2012073657A1 (ja) 2012-06-07

Family

ID=46171605

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/075671 WO2012073657A1 (ja) 2010-11-30 2011-11-08 画像処理装置、撮影装置、画像処理方法及びホワイトバランス調整方法

Country Status (4)

Country Link
US (1) US8743238B2 (ja)
JP (1) JP5389274B2 (ja)
CN (1) CN103250418B (ja)
WO (1) WO2012073657A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104219455A (zh) * 2013-05-29 2014-12-17 索尼公司 成像装置、检测闪烁的方法以及信息处理单元
US11212500B2 (en) 2017-12-05 2021-12-28 Nikon Corporation Image capture apparatus, electronic apparatus, and recording medium suppressing chroma in white balance correction performed based on color temperature
US11363211B2 (en) 2017-08-29 2022-06-14 Jvckenwood Corporation Image generation control device, image generation control method, and image generation control program

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6303352B2 (ja) * 2013-09-18 2018-04-04 株式会社デンソーウェーブ 外観検査システム
KR102294280B1 (ko) * 2014-03-05 2021-08-26 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
JP6521776B2 (ja) * 2015-07-13 2019-05-29 オリンパス株式会社 画像処理装置、画像処理方法
JP6300118B2 (ja) * 2015-09-24 2018-03-28 カシオ計算機株式会社 撮像装置、フリッカ検出方法及びプログラム
CN105427315B (zh) * 2015-11-24 2020-03-20 上海伟世通汽车电子系统有限公司 数字仪表图像位置测试方法及装置
JP6533336B2 (ja) * 2016-03-31 2019-06-19 富士フイルム株式会社 ホワイトバランス調整装置及びその作動方法並びに作動プログラム
KR101774691B1 (ko) * 2016-05-02 2017-09-05 주식회사 와이즈오토모티브 깜박임 보정 시스템
JP2017211891A (ja) * 2016-05-27 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
US11363235B2 (en) * 2017-10-16 2022-06-14 Sony Corporation Imaging apparatus, image processing apparatus, and image processing method
CN107801012B (zh) 2017-10-30 2019-05-17 Oppo广东移动通信有限公司 白平衡处理方法及装置、电子装置和计算机可读存储介质
CN110875999B (zh) * 2018-08-30 2022-03-18 神讯电脑(昆山)有限公司 车用取像装置及行车影像的筛选方法
JP2020072392A (ja) 2018-10-31 2020-05-07 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
NL2022598B1 (en) * 2019-02-19 2020-08-31 Easee Health B V A method of performing an eye examination test for examining eyes of a user as well as a corresponding computing device.
JP2021082907A (ja) * 2019-11-18 2021-05-27 富士フイルムビジネスイノベーション株式会社 情報処理装置、点灯装置、プログラム、及び情報処理システム
CN111654640B (zh) * 2020-05-27 2021-11-23 维沃移动通信有限公司 曝光调整方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092509A (ja) * 1998-09-11 2000-03-31 Eastman Kodak Japan Ltd オートホワイトバランス装置
JP2003189129A (ja) * 2001-12-18 2003-07-04 Sony Corp 撮像信号処理装置及びフリッカ検出方法
JP2005192015A (ja) * 2003-12-26 2005-07-14 Fuji Photo Film Co Ltd 撮影システム
JP2006054775A (ja) * 2004-08-16 2006-02-23 Nikon Corp 色バランス調整機能を有する電子カメラ、およびプログラム
JP2008235955A (ja) * 2007-03-16 2008-10-02 Sony Corp 撮像方法、固体撮像装置、撮像装置
JP2009130845A (ja) * 2007-11-27 2009-06-11 Canon Inc フリッカ補正装置、フリッカ補正方法並びに撮像装置
JP2010135921A (ja) * 2008-12-02 2010-06-17 Fujifilm Corp 撮像装置及び撮像方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5282022A (en) * 1989-11-17 1994-01-25 Sanyo Electric Co., Ltd. White balance adjusting apparatus for automatically adjusting white balance in response to luminance information signal and color information signal obtained from image sensing device
CN1075346C (zh) 1997-01-17 2001-11-28 四川省农业科学院水稻高粱研究所 一种杂交水稻育种方法
FI110211B (fi) * 1999-12-31 2002-12-13 Nokia Corp Valaistusolosuhteiden mittaus
JP3513506B2 (ja) * 2002-02-20 2004-03-31 キヤノン株式会社 ホワイトバランス補正装置およびそれを搭載した撮像装置、及びホワイトバランス補正方法
JP4207148B2 (ja) * 2003-01-21 2009-01-14 富士フイルム株式会社 デジタルカメラ
US7423674B2 (en) 2003-12-08 2008-09-09 Nikon Corporation Electronic camera having color adjustment function and program therefor
CN101159879B (zh) * 2006-10-08 2010-08-25 鸿富锦精密工业（深圳）有限公司 数字图像获取装置及其白平衡调整的方法
US7697062B2 (en) 2006-11-08 2010-04-13 Sony Ericsson Mobile Communications Ab Camera and method in a camera
JP4936534B2 (ja) * 2007-06-11 2012-05-23 キヤノン株式会社 撮像装置及びフォーカス制御方法
JP2009118001A (ja) 2007-11-02 2009-05-28 Olympus Imaging Corp 撮像装置
JP5308792B2 (ja) 2008-11-28 2013-10-09 オリンパス株式会社 ホワイトバランス調整装置、ホワイトバランス調整方法、ホワイトバランス調整プログラム、および、撮像装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092509A (ja) * 1998-09-11 2000-03-31 Eastman Kodak Japan Ltd オートホワイトバランス装置
JP2003189129A (ja) * 2001-12-18 2003-07-04 Sony Corp 撮像信号処理装置及びフリッカ検出方法
JP2005192015A (ja) * 2003-12-26 2005-07-14 Fuji Photo Film Co Ltd 撮影システム
JP2006054775A (ja) * 2004-08-16 2006-02-23 Nikon Corp 色バランス調整機能を有する電子カメラ、およびプログラム
JP2008235955A (ja) * 2007-03-16 2008-10-02 Sony Corp 撮像方法、固体撮像装置、撮像装置
JP2009130845A (ja) * 2007-11-27 2009-06-11 Canon Inc フリッカ補正装置、フリッカ補正方法並びに撮像装置
JP2010135921A (ja) * 2008-12-02 2010-06-17 Fujifilm Corp 撮像装置及び撮像方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104219455A (zh) * 2013-05-29 2014-12-17 索尼公司 成像装置、检测闪烁的方法以及信息处理单元
CN104219455B (zh) * 2013-05-29 2018-11-20 索尼公司 成像装置、检测闪烁的方法以及信息处理单元
US11363211B2 (en) 2017-08-29 2022-06-14 Jvckenwood Corporation Image generation control device, image generation control method, and image generation control program
US11212500B2 (en) 2017-12-05 2021-12-28 Nikon Corporation Image capture apparatus, electronic apparatus, and recording medium suppressing chroma in white balance correction performed based on color temperature
US11683596B2 (en) 2017-12-05 2023-06-20 Nikon Corporation Image capture apparatus, electronic apparatus, and chroma suppression program

Also Published As

Publication number Publication date
JP5389274B2 (ja) 2014-01-15
JPWO2012073657A1 (ja) 2014-05-19
US20130258134A1 (en) 2013-10-03
CN103250418B (zh) 2014-10-15
CN103250418A (zh) 2013-08-14
US8743238B2 (en) 2014-06-03

Similar Documents

Publication Publication Date Title
JP5389274B2 (ja) 画像処理装置、撮影装置、画像処理方法及びホワイトバランス調整方法
JP5438414B2 (ja) 明るさ検知システムおよびそれを用いた照明システム
RU2428811C2 (ru) Фотокамера и способ, выполняемый в фотокамере
CN100583957C (zh) 防止视频电子设备中的闪烁效应
JP6566737B2 (ja) 情報処理装置、情報処理方法、プログラム
US20160005362A1 (en) Determination Of Optical Condition And Adjustment Of Display
JP6627866B2 (ja) 撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム
US10313601B2 (en) Image capturing device and brightness adjusting method
US8315515B2 (en) Image display device, brightness control method and brightness control program
US8306413B2 (en) Image display device, brightness control method and brightness control program
JP2011093413A (ja) 車両用表示装置
US20200204716A1 (en) Electronic apparatus and image capture apparatus capable of detecting halation, method of controlling electronic apparatus, method of controlling image capture apparatus, and storage medium
US8670660B2 (en) Image display device, brightness control method and brightness control program
JP2017225073A (ja) 撮像装置とその制御方法、プログラム及び撮像システム
JP2009238410A (ja) 照明システム
JP6853216B2 (ja) 近赤外感受性ビデオカメラによって取得された画像における画像品質を改善する方法およびそのようなカメラ
US20110199527A1 (en) Image display device, brightness control method and brightness control program
JP2011199711A (ja) 画像処理装置
JP5549813B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP2007163837A (ja) 撮影用発光装置及びカメラ
US20210258463A1 (en) Camera Auto-Flash Optimization and Intelligent Slow Sync Flash Mode
JP4677924B2 (ja) 撮影システム、動画像処理方法および動画像処理装置
KR101675900B1 (ko) 카메라 모듈
JP2017097288A (ja) 撮像装置、その制御方法、および制御プログラム
KR100518299B1 (ko) 조명 영역을 제외한 영역에서의 밝기 측정을 이용한 감시카메라의 주간/야간모드 동작장치 및 동작방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11845567

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012546753

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11845567

Country of ref document: EP

Kind code of ref document: A1