WO2019111921A1 - 撮像装置、電子機器および彩度抑制プログラム - Google Patents

撮像装置、電子機器および彩度抑制プログラム Download PDF

Info

Publication number
WO2019111921A1
WO2019111921A1 PCT/JP2018/044650 JP2018044650W WO2019111921A1 WO 2019111921 A1 WO2019111921 A1 WO 2019111921A1 JP 2018044650 W JP2018044650 W JP 2018044650W WO 2019111921 A1 WO2019111921 A1 WO 2019111921A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
unit
color temperature
subject
saturation
Prior art date
Application number
PCT/JP2018/044650
Other languages
English (en)
French (fr)
Inventor
貴世 森川
徳光 穴田
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to CN201880078518.3A priority Critical patent/CN111567038B/zh
Priority to US16/770,291 priority patent/US11212500B2/en
Priority to JP2019558239A priority patent/JP7259761B2/ja
Publication of WO2019111921A1 publication Critical patent/WO2019111921A1/ja
Priority to US17/528,663 priority patent/US11683596B2/en
Priority to JP2023004553A priority patent/JP2023038275A/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination

Definitions

  • the present invention relates to an imaging device, an electronic device, and a saturation suppression program.
  • An imaging apparatus which is one aspect of the technology disclosed in the present application, specifies a color temperature of light from the subject based on an acquisition unit that acquires image data of the subject, and the image data acquired by the acquisition unit. If the identification unit, the adjustment unit that adjusts the white balance of the image data based on the color temperature identified by the identification unit, and the image data of a specific light emitter is included in the image data, the identification And a suppressing unit that suppresses the saturation of the image data that has been adjusted by the adjusting unit based on the color temperature specified by the unit.
  • An electronic device specifies a color temperature of light from the subject based on an acquisition unit that acquires image data of the subject, and the image data acquired by the acquisition unit. If the identification unit, the first adjustment unit that adjusts the color of the image data based on the color temperature identified by the identification unit, and the image data of the specific light emitter is included in the image data, And a second adjusting unit that adjusts the color of the image data that has been adjusted by the first adjusting unit based on the color temperature specified by the specifying unit.
  • the saturation reduction program includes an acquisition process for acquiring image data of an object, and a color of light from the object based on the image data acquired by the acquisition process.
  • the image data of a specific light emitter is included in the image data, and the adjustment process of adjusting the white balance of the image data based on the identification process of identifying the temperature and the color temperature identified by the identification process And causing the processor to execute suppression processing to suppress the saturation of the adjusted image data by the adjustment processing based on the color temperature identified by the identification processing.
  • a saturation suppression program is an acquisition process for acquiring image data of an object, and light of the light from the object based on the image data acquired by the acquisition process.
  • a specific process of specifying a color temperature; a first adjustment process of adjusting the color of the image data based on the color temperature specified by the specific process; and image data of a specific light emitter in the image data If so, the processor causes the processor to execute a second adjustment process of adjusting the color of the image data already adjusted by the first adjustment process based on the color temperature specified by the specific process.
  • FIG. 1 is an explanatory view showing an example of a shooting scene.
  • FIG. 2 is an explanatory view showing an example of saturation suppression.
  • FIG. 3 is a block diagram showing an example of the hardware configuration of the imaging apparatus.
  • FIG. 4 is a block diagram showing an example of a functional configuration of the imaging device.
  • FIG. 5 is an explanatory view showing the correspondence between the color space and the color temperature.
  • FIG. 6 is an explanatory view showing white balance adjustment and saturation suppression processing when the color of ambient light is blue.
  • FIG. 7 is an explanatory view showing white balance adjustment and saturation suppression processing when the color of the ambient light is green (green).
  • FIG. 8 is an explanatory view showing white balance adjustment and saturation suppression processing when the color of ambient light is amber.
  • FIG. 1 is an explanatory view showing an example of a shooting scene.
  • FIG. 2 is an explanatory view showing an example of saturation suppression.
  • FIG. 3 is a block diagram showing an example of the hardware configuration of the imaging apparatus.
  • FIG. 9 is a flowchart 1 illustrating an example of a shooting process procedure of a still image by the imaging device of the present embodiment.
  • FIG. 10 is a time chart showing an example of frame readout at the time of setting a high sampling rate in moving image shooting.
  • FIG. 11 is a flowchart 1 illustrating an example of a procedure for shooting processing of a moving image by the imaging device of the present embodiment.
  • FIG. 12 is an explanatory view showing an example of the system configuration of the imaging system.
  • FIG. 13 is a flowchart 2 illustrating an example of a still image shooting process procedure by the imaging device of the present embodiment.
  • FIG. 14 is a flowchart 2 illustrating an example of a still image shooting process procedure by the imaging device of the present embodiment.
  • FIG. 1 is an explanatory view showing an example of a shooting scene.
  • a scene where a soccer player P playing soccer at an outdoor stadium 100 is photographed is taken as an example.
  • the stadium 100 has a lamp 101, a field (ground) 102, and an LED signboard 103.
  • the lamp 101 lights up and it is possible to play soccer.
  • a mercury lamp, a metal hydride lamp, or a high pressure sodium lamp is used as the lamp 101.
  • the illuminating lamp 101 is a non-LED light source.
  • the LED sign 103 is disposed at a position where the light emitting surface 103 a faces the field 102 and can be seen by a spectator watching a football.
  • the LED sign 103 emits daylight white or daylight with a color temperature of about 4500 to 5800 [K].
  • an advertisement expressed by a character string or a graphic is displayed on the light emitting surface 103a, the background of the advertisement may be white in order to make the advertisement easy to view to the audience.
  • FIG. 2 is an explanatory view showing an example of saturation suppression.
  • the table 200 shows the relationship between the color of ambient light, the color temperature of ambient light, and the saturation suppression processing.
  • the color temperature is about 7000 to 8000 [K].
  • the color temperature is about 6000 to 7000 [K].
  • the color temperature is about 4000 [K].
  • the imaging device 110 such as a digital camera or a digital video camera images the soccer player P with the LED signboard 103 as a background, and the image data 201 is obtained.
  • the image data 201 is data indicating an image with the soccer player P as a main subject and the LED signboard 103 and the audience as a background.
  • the imaging device 110 performs white balance adjustment to whiten the white color of the light emitting surface 103 a of the LED sign 103, but is affected by ambient light from the illuminating lamp 101. Therefore, when the color of the ambient light is blue, the image of the LED sign 103 that should be white is colored in amber. In addition, when the color of the ambient light is green (bluish green), the image of the LED signboard 103 that should be white turns magenta. Similarly, when the color of the ambient light is amber, the image of the LED sign 103 that should be white turns blue.
  • the imaging device 110 suppresses the saturation of the image of the LED sign 103 colored in amber, magenta, or blue by white balance adjustment, and converts the image into white.
  • conversion processing is referred to as saturation suppression processing.
  • (B) is image data 202 in which the saturation suppression processing is executed from the image data 201 before the saturation suppression processing of (A).
  • the white balance adjustment can be made appropriate.
  • conversion to white is processing to bring the color of the LED signboard 103 closer to the original white.
  • FIG. 3 is a block diagram showing an example of the hardware configuration of the imaging device 110.
  • the imaging device 110 includes a lens unit 301, a shutter 302, a drive control circuit 303, an imaging element 304, an image processing circuit 305, a photometric sensor 306, a strobe 307, an input device 308, a processor 309, and a memory.
  • 310 a recording medium 311, a display device 312, an acceleration sensor 313, a geomagnetic sensor 314, a communication IF, and a GPS receiver.
  • the drive control circuit 303, the image processing circuit 305, the input device 308, the processor 309, the memory 310, the recording medium 311, the acceleration sensor 313, the geomagnetic sensor 314, the communication IF (interface) 315, and the GPS receiver 316 are connected to the bus 317 .
  • the lens unit 301 includes a condenser lens 301 a, a stop 301 b, and a focus lens 301 c.
  • the condensing lens 301 a condenses the light from the subject and emits the light to the imaging element 304 side.
  • the diaphragm 301 b adjusts the amount of light from the condensing lens 301 a.
  • the focus lens 301 c focuses on the subject by the movement of the focus lens 301 c in the optical axis direction.
  • the shutter 302 passes the light from the lens unit 301 to the imaging element 304 only during the exposure time, and blocks the light at other times.
  • the drive control circuit 303 controls driving of the lens unit 301 and the shutter 302. Specifically, for example, the drive control circuit 303 adjusts the opening and closing of the diaphragm 301b, controls the movement of the focus lens 301c in the optical axis direction, and controls the opening and closing of the shutter 302.
  • the image sensor 304 photoelectrically converts light from an object which has passed through the lens unit 301 and the shutter 302, and outputs an image signal as RAW data to the image processing circuit 305.
  • the imaging device 304 is, for example, a complementary metal oxide semiconductor (CMOS) image sensor or a charge coupled device (CCD) image sensor.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the image processing circuit 305 performs demosaicing, noise removal, tone correction, color correction, face detection, white balance adjustment, color temperature identification processing, saturation suppression processing, encoding processing, and decoding on RAW data from the image sensor 304. Execute various image processing such as processing.
  • the image processing circuit 305 is realized by an integrated circuit such as an application specific integrated circuit (ASIC) or a field-programmable gate array (FPGA).
  • ASIC application specific integrated circuit
  • FPGA field-programmable gate array
  • the photometric sensor 306 is a sensor that measures the light amount of the subject.
  • the strobe 307 is a device that generates a flash.
  • the photometric sensor 306 measures the amount of reflected light of flash light from the subject.
  • the input device 308 is a device operated by the user to give the imaging device 110 a trigger.
  • the input device 308 includes, for example, a release button, a dial for setting a shooting mode, a button, and a touch panel.
  • the processor 309 controls the entire imaging device 110. Further, the processor 309 executes a part of the image processing circuit 305 as a saturation suppression program.
  • the saturation suppression program is stored in the volatile memory 310 or the non-volatile storage medium 311.
  • the memory 310 functions as a work area of the processor 309.
  • the recording medium 311 is detachable from the imaging apparatus 110, and records various data such as the image data 201 and 202.
  • the recording medium 311 may be incorporated in the imaging device 110.
  • the memory 310 and the recording medium 311 are collectively referred to as “recording device”.
  • the storage device is a non-temporary or temporary storage medium for storing various programs and data.
  • the display device 312 is a device that displays an image (including a still image, a moving image, and a live view image) obtained by performing image processing on the RAW data from the imaging element 304 by the image processing circuit 305, various information, and the like.
  • RAW data is also one of the image data.
  • the display device 312 is a monitor provided on the back of the imaging device 110.
  • An electronic viewfinder is also included in the display device 312.
  • the acceleration sensor 313 detects acceleration of three axes orthogonal to each other in the X direction, the Y direction, and the Z direction, and detects the tilt of the imaging device 110.
  • the geomagnetic sensor 314 is a sensor that detects the direction in which the imaging device 110 is facing. The acceleration sensor 313 and the geomagnetic sensor 314 can identify in which direction and at what degree the inclination of the imaging device 110 is directed.
  • the communication IF 315 is a communication device that transmits and receives data.
  • the GPS receiver 316 receives signals from GPS satellites and acquires current position information (latitude and longitude information) of the imaging device 110.
  • FIG. 4 is a block diagram showing a functional configuration example of the imaging device 110.
  • the imaging device 110 includes an acquisition unit 401, a specification unit 402, an adjustment unit 403, a suppression unit 404, and a detection unit 405.
  • the acquisition unit 401, the identification unit 402, the adjustment unit 403, the suppression unit 404, and the detection unit 405 are, for example, saturation suppression recorded in the image processing circuit 305 or the recording device shown in FIG. It is realized by causing the processor 309 to execute the program.
  • the acquisition unit 401 acquires image data of a subject. Specifically, for example, the acquisition unit 401 acquires image data of a subject captured under a specific light source, for example, under the illumination light 101 illustrated in FIG. 1.
  • This image data is image data 201 including an image of the LED signboard 103 as a specific light emitter illuminated by the illumination light 101 as shown in FIG. 2A.
  • the identifying unit 402 identifies the color temperature of the light from the subject based on the image data acquired by the acquiring unit 401. Specifically, for example, the specifying unit 402 divides the RGB image data obtained from the imaging device 304 into a plurality of blocks (one block is a group of one or more pixels), and the luminance signal (Y component) And color difference signals (Cb component (blue) and Cr component (red)) to convert into YCbCr image data. Then, the specifying unit 402 specifies the color temperature corresponding to the color difference signal.
  • the luminance signal and the color difference signal of each block may be the luminance signal and the color difference signal of the pixel at a specific position (for example, the center or upper left) in the pixel group in the block, and the luminance signal of the pixel group in the block It may be an average value, median value, maximum value or minimum value of the signal and the color difference signal.
  • FIG. 5 is an explanatory view showing the correspondence between the color space and the color temperature.
  • the color space 500 is a coordinate system defined by the color difference signals Cb and Cr.
  • the horizontal axis is Cb and the vertical axis is Cr.
  • the horizontal axis Cb the direction from left to right is taken as + Cb, and the direction from right to left is taken as -Cb.
  • the vertical axis Cr the direction from the bottom to the top is the + Cr direction
  • the direction from the top to the bottom is the -Cr direction (the same applies to FIGS. 6 to 8 described later).
  • the first quadrant indicates magenta
  • the second quadrant indicates amber
  • the third quadrant indicates green
  • the fourth quadrant indicates blue.
  • the origin O indicates an achromatic color.
  • a color temperature curve 501 is set.
  • the color temperature curve is a curve indicating a preset color temperature, and has contour lines 502 indicating the same color temperature in the direction crossing the curve.
  • the color space 500 is recorded in advance in the recording device.
  • the image processing circuit 305 or the processor 309 may refer to the computer having the color space 500 via the communication IF 315.
  • the specifying unit 402 specifies the color saturations 503 and 504 on the color space 500 by plotting the color difference signals Cb and Cr on the color space 500.
  • the saturation of the image data 201 is plotted on the color space 500 for each block, here, in order to simplify the description, two saturations 503 and 504 will be described as an example.
  • the identifying unit 402 refers to the color temperature curve 501 set in the color space 500 to identify the color temperature corresponding to the saturation 503 or 504. Accordingly, the specifying unit 402 specifies the image area having the saturation 503 in the image data 201 as the main subject (soccer player P) or the non-LED area that is the background (the spectator except the LED sign 103 and the field 102). The image area having the saturation 504 in the image data 201 is specified as the image area of the LED signboard 103.
  • the adjustment unit 403 adjusts the white balance of the image data 201 acquired by the acquisition unit 401.
  • the adjustment unit 403 normally adjusts the white balance to make the white look white.
  • the adjusting unit 403 determines whether the ambient light is blue due to the influence of the ambient light from the illuminating lamp 101 (color temperature). For example, convert the image of the LED signboard 103 to amber, convert the image of the LED signboard 103 to magenta if the ambient light is green (blue-green), and turn the image of the LED signboard 103 blue if the ambient light is amber It will be converted.
  • the adjustment unit 403 performs white balance adjustment on the image data 201, whereby the saturation 503 (green of the third quadrant) on the color space 500 of the non-LED area is The correction amount x in the + Cb direction and the correction amount y in the + Cr direction are parallelly moved to the origin O, thereby being converted into the origin O indicating the achromatic color and becoming the saturation 505.
  • the chroma 504 on the color space 500 of the image area of the LED signboard 103 follows the white balance adjustment of the chroma 503, and performs the same translation as the translation of the chroma 503 to the origin O Become. Therefore, the saturation 504 is converted to magenta in the first quadrant to become the saturation 506, and the image of the white LED sign 103 is colored in magenta.
  • the suppression unit 404 adjusts the image data that has been adjusted by the adjustment unit 403 based on the color temperature identified by the identification unit 402. Suppress the saturation of Specifically, for example, when the image data 201 includes the image data of the LED signboard 103, the suppressing section 404 causes the adjusting section 403 to select the color temperature of the LED signboard 103 identified by the identifying section 402. Suppress the saturation of the adjusted image data. More specifically, the suppression unit 404 suppresses the saturation of the adjusted image data 201 when the light from the subject has a color temperature indicating blue, green, or amber. A specific example of the saturation suppression processing by the suppression unit 404 will be described using FIGS. 6 to 8. FIG.
  • FIG. 6 is an explanatory view showing white balance adjustment and saturation suppression processing when the color of ambient light is blue.
  • the chroma 503 of the non-LED area is located in blue in the fourth quadrant, and the chroma 504 of the LED sign 103 is also located in blue in the fourth quadrant.
  • the saturation 503 of the non-LED area moves in parallel to the position of the origin O (achromatic color) and becomes the saturation 505.
  • the chroma 504 of the LED sign 103 follows the white balance adjustment of the chroma 503 of the non-LED area to perform the same translation as the translation of the chroma 503 of the non-LED area to the origin O Become.
  • the saturation 504 of the LED sign 103 is converted to the amber of the second quadrant to be the saturation 506, and the color of the amber is colored in the image of the white LED sign 103.
  • the suppression unit 404 adjusts the values of the color difference signals Cb and Cr so that the saturation 506 of the LED signboard 103 in which the amber is colored becomes an achromatic color of the origin O, and sets the saturation 600. In this way, the amber can be extracted from the image of the LED sign 103 colored by the amber and converted to white.
  • FIG. 7 is an explanatory view showing white balance adjustment and saturation suppression processing when the color of the ambient light is green (green).
  • the chroma 503 of the non-LED area is located in green in the third quadrant, and the chroma 504 of the LED sign 103 is located in blue in the fourth quadrant.
  • the saturation 503 of the non-LED area moves in parallel to the position of the origin O (achromatic color) and becomes the saturation 505.
  • the chroma 504 of the LED sign 103 follows the white balance adjustment of the chroma 503 of the non-LED area to perform the same translation as the translation of the chroma 503 of the non-LED area to the origin O Become.
  • the saturation 504 of the LED sign 103 is converted to magenta in the first quadrant to become the saturation 506, and the image of the white LED sign 103 is colored with magenta.
  • the suppression unit 404 adjusts the values of the color difference signals Cb and Cr so that the saturation 506 of the LED signboard 103 in which magenta is colored becomes an achromatic color of the origin O, to be a saturation 600.
  • magenta it is possible to extract magenta from the image of the LED sign 103 colored in magenta and convert it to white.
  • FIG. 8 is an explanatory view showing white balance adjustment and saturation suppression processing when the color of ambient light is amber.
  • the saturation 503 of the non-LED area is located at the amber of the second quadrant, and the saturation 504 of the LED sign 103 is located at the blue of the second quadrant.
  • the saturation 503 of the non-LED area moves in parallel to the position of the origin O (achromatic color) and becomes the saturation 505.
  • the saturation 504 of the LED signboard 103 follows the white balance adjustment of the saturation 503 of the non-LED area, and performs the same parallel movement as translation of the saturation 503 of the non-LED area to the origin O .
  • the saturation 504 of the LED sign 103 moves in the fourth quadrant to become the saturation 506, and the image of the white LED sign 103 is colored with blue.
  • the suppression unit 404 adjusts the values of the color difference signals Cb and Cr so that the saturation 506 of the LED signboard 103 colored in blue becomes an achromatic color of the origin O, to be a saturation 600. Thereby, it is possible to extract blue from the image of the LED sign 103 colored in blue and convert it to white.
  • the suppressing unit 404 moves the saturation 506 only of the image area of the LED signboard 103 that has become colored due to the white balance adjustment by the adjusting unit 403 in parallel to the origin O, thereby You can extract the color of light (Amber, Magenta, Blue).
  • the suppression unit 404 can execute the saturation suppression process only in the image area of the LED signboard 103.
  • the detection unit 405 detects the flicker F due to a specific light emitter included in the subject from the image data of the subject (for example, a live view image).
  • the flicker F is a fine flicker phenomenon that occurs in the display.
  • the specific light emitter is, for example, an LED signboard 103, and the LED signboard 103 is a signboard using an LED as a light source.
  • the LED has a large difference in the brightness of flickering compared to a fluorescent lamp, and the flickering cycle depends on the frequency (50 [Hz] or 60 [Hz]) of the AC power supply. For example, when the frequency of the AC power supply is 50 Hz, the blink cycle is the reciprocal of a value obtained by doubling the frequency of 50 Hz, that is, 1/100 sec.
  • the detection unit 405 determines that the charge accumulation time for each line of the imaging device 304 is equal to or greater than the blink cycle (1/100 [sec]) and n of the blink cycle (1/100 [sec]).
  • the frame rate of the image sensor 304 is set so as to be doubled (n is an integer of 1 or more) (high-speed frame rate setting).
  • n is an integer of 1 or more
  • the detection unit 405 can detect the flicker F.
  • the trigger for the high-speed frame rate setting may be, for example, at still image shooting, or at any time after the start of capturing of a live view image by turning on the power of the imaging apparatus 110, or by the user
  • the release button may be pressed halfway.
  • the detection of the flicker F may be an existing technology. Further, in the present embodiment, instead of detecting the flicker F and suppressing the flicker, the detection of the flicker F is used to identify the presence of the LED light source such as the LED signboard 103. Therefore, the imaging device 110 detects the presence of the LED light source by intentionally creating a state in which the flicker F can be detected by the detection unit 405.
  • flicker F may be detected from the background other than the LED signboard 103, for example, if the block group for which the saturation 504 is obtained has a specific shape (for example, a horizontally long rectangle), the detection unit 405 May be detected as the LED signboard 103. Thereby, the detection accuracy of the LED signboard 103 can be improved.
  • the detection unit 405 detects the flicker F using the image sensor 304, but may use a photometric sensor 306. Thereby, even when the live view image is not captured, the LED light source in the subject can be detected by the detection of the flicker F.
  • the suppression unit 404 determines that the LED signboard 103 is present in the subject. Therefore, when the white balance adjustment is performed by the adjustment unit 403, as described above, the image area of the LED signboard 103 is colored in amber, magenta, or blue. Therefore, the suppression unit 404 is illustrated in FIGS. As described above, based on the color temperature specified by the specifying unit 402, the saturation of the image data 201 adjusted by the adjusting unit 403 is suppressed, and the image data 202 is obtained.
  • FIG. 9 is a flowchart 1 illustrating an example of a still image shooting process procedure by the imaging device 110 according to the present embodiment.
  • FIG. 9 shows an example of a still image shooting process procedure in the case where the detection unit 405 detects the flicker F.
  • the imaging apparatus 110 determines whether it is a specific imaging mode (step S901).
  • the specific shooting mode is a shooting mode in which auto white balance and saturation suppression processing are performed.
  • the specific imaging mode is set, for example, by the user operating the input device 308 of the imaging device 110.
  • the imaging mode is not the specific imaging mode (step S901: No)
  • the imaging device 110 performs imaging in another imaging mode (step S902).
  • the imaging device 110 sets the frame rate of the imaging element 304 at high speed (high-speed frame rate setting) (step S903). Thereby, when the subject includes the LED light source, the flicker F can be detected.
  • the imaging apparatus 110 causes the detection unit 405 to detect the flicker F (step S904), and determines whether the release button has been pressed (step S905). If the release button is not pressed (step S905: No), the process returns to step S904.
  • the imaging device 110 acquires image data (step S 906). If flicker F is detected for the subject when the release button is pressed (step S904: Yes), horizontal stripe unevenness exists in the acquired image data 201, and flicker F is detected for the subject when the release button is pressed. If not (step S904: No), horizontal stripe unevenness does not exist in the acquired image data.
  • the imaging device 110 causes the identifying unit 402 to identify the color temperature of the light from the subject based on the acquired image data (step S 907). Then, as illustrated in FIG. 5, the imaging device 110 causes the adjusting unit 403 to adjust the white balance of the image data based on the specified color temperature (step S 908). Thereafter, the imaging apparatus 110 determines whether the saturation suppression processing by the suppression unit 404 should be performed (step S909).
  • step S904: Yes when the flicker F is detected in step S904 (step S904: Yes), the LED light source is present in the subject. Therefore, since the image of the LED signboard 103, which is an LED light source, is colored in the white balance adjustment in step S908, the imaging device 110 determines that the saturation suppressing process should be performed (step S909: Yes). On the other hand, when the flicker F is not detected (step S904: No), since the LED signboard 103 does not exist in the subject, the imaging device 110 determines that the saturation suppression process should not be performed (step S909: No). ), Shift to step S911.
  • step S909: Yes the imaging device 110 executes the saturation suppression processing by the suppression unit 404 as shown in FIG. 6 to FIG. 8 (step In step S910, the process proceeds to step S911. If it is determined that the saturation suppressing process should not be performed (step S909: No), the process proceeds to step S911 without executing the saturation suppressing process (step S910).
  • step S911 the imaging device 110 stores the image data 202 in the recording device or displays the image data 202 on the display device 312 (step S911).
  • the saturation suppressing process step S 910 is executed, for example, the image data 201 shown in (A) of FIG. 2 suppresses the saturation of the image of the LED signboard 103 as shown in (B) It is converted into image data 202. As a result, it is possible to suppress the color saturation of the color of the image of the LED signboard 103 and reproduce the original color of the subject.
  • FIG. 10 is a time chart showing an example of frame readout at the time of setting a high sampling rate in moving image shooting.
  • (A) shows a time axis of the exposure or frame read start timing
  • (B) shows a time axis at the end time of frame read, that is, the recording timing to the recording device.
  • the horizontal axis is a time axis.
  • the imaging device 110 uses the vacant time ST until the start of exposure of the next frame after frame recording.
  • Read frames at high speed Specifically, for example, at a timing when the imaging device 110 records a frame, the frame rate is set such that the charge accumulation time for each line of the imaging device 304 is a blink cycle (1/100 [sec]) or more and blinks. It is set to be n times (n is a natural number) of the cycle (1/100 [sec]) (high-speed frame rate setting).
  • the frame rate is returned to the original moving image shooting.
  • the imaging device 110 causes the detection unit 405 to read the frame for detection of the flicker F at high speed, and detects the flicker F from the frame.
  • FIG. 11 is a flowchart 1 illustrating an example of a procedure of shooting processing of a moving image by the imaging device 110 of the present embodiment.
  • FIG. 11 illustrates an example of a moving image shooting process procedure in the case where the detection unit 405 detects the flicker F.
  • the imaging apparatus 110 determines whether the exposure has been started (step S1101). If it is not the exposure start (step S1101: NO), the process proceeds to step S1112. In step S1111, the imaging apparatus 110 determines whether the moving image shooting is finished (step S1112). If it is determined that the moving image shooting is ended (step S1111: YES), this flowchart ends. If it is not the end of movie shooting (step S1111: NO), the process returns to step S1101.
  • step S1101 If it is determined in step S1101 that the exposure is started (step S1101: YES), the imaging apparatus 110 waits for a frame to be recorded (step S1102: NO). If the frame is recorded in the recording device (step S1102: YES), the imaging device 110 sets the frame rate of the imaging element 304 at high speed (high-speed frame rate setting) (step S1103). As a result, when the subject includes the LED light source, the flicker F is generated.
  • the imaging apparatus 110 detects the flicker F with reference to the frame read after the frame rate high speed setting (step S1104). If the flicker F is not detected (step S1104: NO), the process proceeds to step S1110. As a result, when the flicker F is not detected, the processing of steps S1105 to S1109 can be omitted, so that the processing load at the time of moving image shooting processing can be reduced.
  • step S1104 When the flicker F is detected in step S1104 (step S1104: YES), the LED light source is present in the subject. Therefore, the imaging device 110 acquires the frame recorded in the recording device in step S1102: Yes (step S1105), and as illustrated in FIG. 5, the identifying unit 402 determines the light from the subject based on the acquired frame. Color temperature is identified (step S1106).
  • the imaging device 110 adjusts the white balance of the frame based on the specified color temperature by the adjustment unit 403 (step S1107). Thereafter, as shown in FIGS. 6 to 8, the imaging apparatus 110 executes the saturation suppression processing by the suppression unit 404 (step S1108).
  • the imaging device 110 updates the frame acquired in step S1105 to the frame after saturation suppression (step S1109). Thereafter, the frame rate of the image sensor 304 is returned to the original (step S1110), and the process returns to step S1101.
  • the flicker F can be detected, that is, the LED light source in the subject can be detected, by using the idle time ST between frame recording and the start of exposure of the next frame.
  • steps S1105 to S1109 are omitted when flicker F is not detected, but even if white balance adjustment is performed because consistency with detection of flicker F is obtained. Good.
  • the white balance is adjusted for all the frames regardless of the detection of the flicker F, so that a moving image in which the discomfort is reduced between successive frames can be obtained.
  • the three-dimensional model data of the stadium 100 is data that models the three-dimensional structure of the stadium 100, and in addition to the field 102, objects such as the illumination light 101, the LED signboard 103, and the audience seat are modeled. Each object has three-dimensional position information.
  • the three-dimensional model data of the stadium 100 it is possible to detect the LED light source in the subject at the time of shooting a still image or a moving image without using the detection of the flicker F.
  • FIG. 12 is an explanatory view showing an example of the system configuration of the imaging system.
  • the imaging system includes a server, a router, and an imaging device 110.
  • the imaging device 110 is communicably connected to a server via a LAN (Local Area Network) or the Internet via a router.
  • the server stores 3D model data of the stadium 100.
  • the router is installed, for example, in the stadium 100, and is communicably connected to the communication IF 315 of the imaging device 110 of the user who has visited the stadium 100.
  • the imaging device 110 is specified by the acquisition unit 401 using the current position information of the imaging device 110 and the three-dimensional model data of the facility including the specific light emitter in the current position information and the light source illuminating the specific light emitter.
  • Image data (frame in the case of a moving image) is acquired based on the imaging direction of the imaging device 110 in the selected facility.
  • the current position information of the imaging device 110 is acquired by the GPS receiver 316 shown in FIG.
  • the specific light emitter is, for example, the LED signboard 103 described above, the light source for illuminating the specific light emitter is the illumination light 101 described above, and the facility is the stadium 100 described above.
  • the imaging direction of the imaging device 110 in the facility is acquired by the acceleration sensor 313 and the geomagnetic sensor 314 shown in FIG.
  • the acceleration sensor 313 and the geomagnetic sensor 314 can identify in which direction and at what degree the inclination of the imaging device 110 is directed. Therefore, by using three-dimensional model data, the imaging device 110 can acquire the imaging direction from the current position.
  • FIG. 13 is a flowchart 2 illustrating an example of a still image shooting process procedure by the imaging device 110 according to the present embodiment.
  • FIG. 13 shows an example of a still image shooting process procedure when using three-dimensional model data.
  • the same processes as in FIG. 9 are assigned the same step numbers, and the description thereof is omitted.
  • the imaging apparatus 110 causes the acquisition unit 401 to acquire current position information of the imaging apparatus 110 (step S1301).
  • the imaging device 110 acquires three-dimensional model data of the facility (stadium 100) at the current position from the server (step S1302).
  • the imaging device 110 specifies the imaging direction which is the direction of the lens at the current position of the imaging device 110 using the three-dimensional model data of the facility (step S1303).
  • the imaging apparatus estimates the presence or absence of the LED signboard 103 in the subject in the imaging direction specified in step S1303 using the three-dimensional model data of the facility (step S1304).
  • step S905: No when the release button is not pressed (step S905: No), the process returns to step S1301, and when the release button is pressed (step S905: Yes), the imaging device 110 performs steps S906 and after shown in FIG. Execute S911. Thereby, saturation suppression can be realized without detecting the flicker F from the subject.
  • FIG. 14 is a flowchart 2 showing a procedure example of a still image shooting process by the imaging device 110 of the present embodiment.
  • FIG. 14 shows an example of a moving image shooting process procedure in the case of using three-dimensional model data.
  • the same steps as those in FIG. 11 carry the same step numbers, and the explanation thereof will be omitted.
  • the imaging device 110 acquires current position information of the imaging device 110 by the GPS receiver 316, which is an example of the acquisition unit 401 (step S1401).
  • the imaging device 110 may acquire position information of the router 1202 of the connection destination from the router 1202 as current position information of the imaging device 110.
  • the imaging device 110 acquires three-dimensional model data of the facility (stadium 100) at the current position from the server (step S1402).
  • the imaging device 110 specifies the imaging direction which is the direction of the lens at the current position of the imaging device 110 using the three-dimensional model data of the facility (step S1403).
  • the imaging apparatus determines whether the LED signboard 103 is present in the subject in the imaging direction identified in step S1303 using the three-dimensional model data of the facility (step S1404).
  • step S1404 If there is no LED sign 103 (step S1404: YES), the process returns to step S1101. As a result, when the flicker F is not detected, the processing of steps S1105 to S1109 can be omitted, so that the processing load at the time of moving image shooting processing can be reduced.
  • step S1404 If there is the LED signboard 103 in step S1404 (step S1404: YES), the imaging apparatus 110 executes the processing in steps S1105 to S1109 and returns to step S1101.
  • the LED light source in the subject can be detected by using the idle time ST between the frame recording and the exposure start of the next frame at the time of moving image shooting. .
  • steps S1105 to S1109 are omitted.
  • the white balance adjustment is performed. You may As a result, the white balance is adjusted for all the frames regardless of the detection of the LED signboard 103, so that a moving image with a sense of unity can be obtained.
  • the imaging device 110 described above specifies the color temperature of the light from the subject based on the acquisition unit 401 that acquires the image data of the subject and the image data acquired by the acquisition unit 401.
  • the adjustment unit 403 that adjusts the white balance of the image data based on the color temperature identified by the unit 402 and the identification unit 402, and the image data of a specific light emitter (for example, the LED signboard 103) is included in the image data
  • the suppression unit 404 that suppresses the saturation of the image data that has been adjusted by the adjustment unit 403.
  • the white balance adjustment can be made appropriate.
  • the suppression unit 404 determines, for example, light from the subject based on the color temperature identified by the identification unit 402. When the color temperature indicates blue, green, or amber, the saturation of the adjusted image data by the adjusting unit 403 may be suppressed. This enables saturation suppression in the case of the specified color temperature.
  • the image data is image data including an LED light emitter (for example, the LED signboard 103) as a specific light emitter illuminated by the illumination lamp 101.
  • an LED light emitter for example, the LED signboard 103
  • the suppressing unit 404 suppresses the saturation of the adjusted image data.
  • the image data of a specific light emitter is colored amber by white balance adjustment. If the light from the subject is green (or blue-green), the image data of a specific light emitter (for example, the LED signboard 103) is colored magenta by white balance adjustment. If the light from the subject is amber, the image data of a specific light emitter (for example, the LED signboard 103) is colored blue by white balance adjustment. As described above, it is possible to remove these colors from the specific illuminant colored in amber, magenta or blue after the white balance adjustment by the saturation suppression processing, and it is possible to optimize the white balance adjustment.
  • the suppression unit 404 suppresses the saturation of the image data of a specific light emitter (for example, the LED signboard 103) among the adjusted image data.
  • the saturation suppression target By incorporating the saturation suppression target into the image data of a specific light emitter, it is possible to suppress the influence on the soccer player P, the spectator, the other image data such as the field 102, etc. already subjected to the white balance adjustment.
  • the acquisition unit 401 determines the current position of the imaging device 110, a specific light emitter (for example, the LED sign 103) at the current position, and a light source (for example, the illumination light 101) that illuminates the specific light emitter.
  • Image data is acquired based on the three-dimensional model data of the facility (e.g., the stadium 100) including the image capturing direction of the imaging device 110 in the facility specified by the
  • the facility is not limited to the stadium 100 as long as the illumination light 101 and the LED light source such as the LED signboard 103 are installed.
  • the facility is not limited to the outdoors, and may be an indoor facility (such as a gymnasium or arena) if an LED light source such as the lamp 101 and the LED signboard 103 is installed.
  • the imaging device 110 includes the detection unit 405 that detects the flicker F due to a specific light emitter (for example, the LED signboard 103) included in the subject from the image data of the subject
  • the control unit 404 suppresses the saturation of the image data adjusted by the adjustment unit 403 based on the color temperature specified by the specification unit 402.
  • the detection of the flicker F is not used to suppress the flickering of the image, but is used to identify the presence of a specific light emitter. Therefore, the imaging device 110 can intentionally create a state in which the flicker F can be detected by the detection unit 405, and detect the presence of a specific light emitter. Further, the flicker F detection function can be diverted to the imaging device 110 provided with the flicker F detection function to suppress flicker of the image, and the number of parts and cost can be reduced and the size can be reduced. It can be reduced.
  • the detection unit 405 starts an operation of detecting the flicker F when there is a predetermined operation input (for example, half depression of the release button).
  • the detection of the flicker F that is, the detection of a specific light emitter can be performed at the photographing timing intended by the user.
  • the imaging device 110 is the imaging device 110 for capturing a moving image
  • the detection unit 405 records the next image data of the image data after the image data (frame) is recorded.
  • the flicker F is detected from the image data until the start of the exposure (for example, the idle time ST).
  • the specifying unit 402 specifies the color temperature of the light from the subject based on the image data.
  • the color temperature of the frame is specified only when the flicker F is detected. In other words, since the color temperature specification is omitted for a frame in which the flicker F is not detected, the processing load at the time of moving image shooting can be reduced.
  • imaging device 110 has been described by taking a digital camera and a digital video camera as an example, a smartphone or a tablet equipped with a camera, a game machine, a head mount for augmented reality, a personal computer, an on-board drive recorder May be.
  • the lens unit 301 and the imaging element 304 may be built in the imaging device 110 or may be detachable from the imaging device 110.
  • the saturation suppression program may be recorded on a recording medium (such as a CD-ROM) readable by the processor 309.
  • a recording medium such as a CD-ROM
  • the recording medium is inserted into a personal computer connected to the imaging device 110, and the saturation suppression program is installed in the imaging device 110 via the personal computer.
  • the saturation suppression program may be downloadably recorded on a server that can communicate with the imaging device 110.
  • the imaging device 110 downloads a saturation suppression program from the server.
  • the saturation suppression program such as the white balance adjustment, the saturation suppression processing, and the detection of the flicker F described above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)

Abstract

撮像装置は、被写体の画像データを取得する取得部と、前記取得部によって取得された画像データに基づいて、前記被写体からの光の色温度を特定する特定部と、前記特定部によって特定された色温度に基づいて、前記画像データのホワイトバランスを調整する調整部と、前記画像データに特定の発光体の画像データが含まれていると、前記特定部によって特定された色温度に基づいて、前記調整部による調整済みの画像データの彩度を抑制する抑制部と、を有する。

Description

撮像装置、電子機器および彩度抑制プログラム 参照による取り込み
 本出願は、平成29年(2017年)12月5日に出願された日本出願である特願2017-233354の優先権を主張し、その内容を参照することにより、本出願に取り込む。
 本発明は、撮像装置、電子機器および彩度抑制プログラムに関する。
 LED(Light Emitting Diode:発光ダイオード)を使用したLED光源を検出し、検出したLED光源の種類に基づいて、色補正を行う技術がある。この技術を用いてスタジアムなどで撮影を行う場合、環境光とLED光源であるLED看板の色が異なるため、環境光にAWB(Auto White Balance)を実行すると、LED看板の画像が色づいてしまい、自然な色合いの画像にならない。
特開2012-119780号公報
 本願において開示される技術の一側面となる撮像装置は、被写体の画像データを取得する取得部と、前記取得部によって取得された画像データに基づいて、前記被写体からの光の色温度を特定する特定部と、前記特定部によって特定された色温度に基づいて、前記画像データのホワイトバランスを調整する調整部と、前記画像データに特定の発光体の画像データが含まれていると、前記特定部によって特定された色温度に基づいて、前記調整部による調整済みの画像データの彩度を抑制する抑制部と、を有する。
 本願において開示される技術の一側面となる電子機器は、被写体の画像データを取得する取得部と、前記取得部によって取得された画像データに基づいて、前記被写体からの光の色温度を特定する特定部と、前記特定部によって特定された色温度に基づいて、前記画像データの色を調整する第1調整部と、前記画像データに特定の発光体の画像データが含まれていると、前記特定部によって特定された色温度に基づいて、前記第1調整部による調整済みの画像データの色を調整する第2調整部と、を有する。
 また、本願において開示される技術の一側面となる彩度抑制プログラムは、被写体の画像データを取得する取得処理と、前記取得処理によって取得された画像データに基づいて、前記被写体からの光の色温度を特定する特定処理と、前記特定処理によって特定された色温度に基づいて、前記画像データのホワイトバランスを調整する調整処理と、前記画像データに特定の発光体の画像データが含まれていると、前記特定処理によって特定された色温度に基づいて、前記調整処理による調整済みの画像データの彩度を抑制する抑制処理と、をプロセッサに実行させる。
 また、本願において開示される技術の他の側面となる彩度抑制プログラムは、被写体の画像データを取得する取得処理と、前記取得処理によって取得された画像データに基づいて、前記被写体からの光の色温度を特定する特定処理と、前記特定処理によって特定された色温度に基づいて、前記画像データの色を調整する第1調整処理と、前記画像データに特定の発光体の画像データが含まれていると、前記特定処理によって特定された色温度に基づいて、前記第1調整処理による調整済みの画像データの色を調整する第2調整処理と、をプロセッサに実行させる。
図1は、撮影シーンの一例を示す説明図である。 図2は、彩度抑制例を示す説明図である。 図3は、撮像装置のハードウェア構成例を示すブロック図である。 図4は、撮像装置の機能的構成例を示すブロック図である。 図5は、色空間と色温度との対応関係を示す説明図である。 図6は、環境光の色が青である場合のホワイトバランス調整および彩度抑制処理を示す説明図である。 図7は、環境光の色が緑(青緑)である場合のホワイトバランス調整および彩度抑制処理を示す説明図である。 図8は、環境光の色がアンバーである場合のホワイトバランス調整および彩度抑制処理を示す説明図である。 図9は、本実施例の撮像装置による静止画の撮影処理手順例を示すフローチャート1である。 図10は、動画撮影における高速サンプリングレート設定時におけるフレーム読出し例を示すタイムチャートである。 図11は、本実施例の撮像装置による動画の撮影処理手順例を示すフローチャート1である。 図12は、撮影システムのシステム構成例を示す説明図である。 図13は、本実施例の撮像装置による静止画の撮影処理手順例を示すフローチャート2である。 図14は、本実施例の撮像装置による静止画の撮影処理手順例を示すフローチャート2である。
 <撮影シーン例>
 図1は、撮影シーンの一例を示す説明図である。図1では、屋外のスタジアム100でサッカーをプレイしているサッカー選手Pを撮影するシーンを例に挙げる。スタジアム100は、照明灯101と、フィールド(グラウンド)102と、LED看板103と、を有する。夜になると、照明灯101が点灯し、サッカーをプレイすることが可能である。照明灯101には、たとえば、水銀灯やメタルハイドライドランプ、高圧ナトリウムランプが用いられる。照明灯101は、非LED光源である。
 LED看板103は、発光面103aがフィールド102に向いており、サッカーを観戦する観客から見える位置に配置される。LED看板103は、色温度が約4500~5800[K]程度の昼白色や昼光色で発光する。発光面103aには、文字列や図形で表現された広告が表示されるが、広告を観客に見やすくするため、広告の背景は白色となる場合がある。
 図2は、彩度抑制例を示す説明図である。表200は、環境光の色と、環境光の色温度と、彩度抑制処理と、の関係を示す。照明灯101からの環境光の色が青色である場合、その色温度は約7000~8000[K]である。照明灯101からの環境光の色が緑(青緑)である場合、その色温度は約6000~7000[K]である。照明灯101からの環境光の色がアンバーである場合、その色温度は約4000[K]程度である。
 この状態で、たとえば、図1において、デジタルカメラやデジタルビデオカメラのような撮像装置110が、LED看板103を背景としてサッカー選手Pを撮像して、画像データ201が得られたとする。画像データ201は、サッカー選手Pを主要被写体とし、LED看板103および観客を背景とした画像を示すデータである。
 この場合、撮像装置110は、LED看板103の発光面103aの白色を白くするためホワイトバランス調整をするが、照明灯101からの環境光の影響を受ける。したがって、環境光の色が青である場合、本来、白色であるはずのLED看板103の画像がアンバーに色づく。また、環境光の色が緑(青緑)である場合、本来、白色であるはずのLED看板103の画像がマゼンタに色づく。同様に、環境光の色がアンバーである場合、本来、白色であるはずのLED看板103の画像が青に色づく。
 したがって、撮像装置110は、ホワイトバランス調整によってアンバー、マゼンタ、または青に色づいたLED看板103の画像の彩度を抑制し、白色に変換する。このような変換処理を、彩度抑制処理と称す。(B)は、(A)の彩度抑制処理前の画像データ201から彩度抑制処理が実行された画像データ202である。これにより、ホワイトバランス調整の適正化を図ることができる。ここで、白色に変換するとは、LED看板103の色を本来の白色に近づける処理である。
 <撮像装置110のハードウェア構成例>
 図3は、撮像装置110のハードウェア構成例を示すブロック図である。撮像装置110は、レンズ部301と、シャッター302と、駆動制御回路303と、撮像素子304と、画像処理回路305と、測光センサ306と、ストロボ307と、入力デバイス308と、プロセッサ309と、メモリ310と、記録媒体311と、表示デバイス312と、加速度センサ313と、地磁気センサ314と、通信IFと、GPSレシーバと、を有する。
 駆動制御回路303、画像処理回路305、入力デバイス308、プロセッサ309、メモリ310、記録媒体311、加速度センサ313、地磁気センサ314、通信IF(インタフェース)315、GPSレシーバ316は、バス317に接続される。
 レンズ部301は、集光レンズ301aと、絞り301bと、フォーカスレンズ301cと、を有する。集光レンズ301aは、被写体からの光を集光して、撮像素子304側に出射する。絞り301bは、集光レンズ301aからの光の量を調整する。フォーカスレンズ301cは、フォーカスレンズ301cの光軸方向への移動により被写体に合焦する。シャッター302は、露光時間中のみレンズ部301からの光を撮像素子304に通し、それ以外の時は遮光する。
 駆動制御回路303は、レンズ部301およびシャッター302を駆動制御する。具体的には、たとえば、駆動制御回路303は、絞り301bの開閉を調節したり、フォーカスレンズ301cの光軸方向への移動を制御したり、シャッター302の開閉を制御する。
 撮像素子304は、レンズ部301およびシャッター302を通過した被写体からの光を光電変換して画像信号をRAWデータとして画像処理回路305に出力する。撮像素子304は、たとえば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサである。
 画像処理回路305は、撮像素子304からのRAWデータについて、デモザイク処理、ノイズ除去、階調補正、色補正、顔検出、ホワイトバランス調整、色温度特定処理、彩度抑制処理、符号化処理、復号処理などの各種画像処理を実行する。画像処理回路305は、たとえば、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)などの集積回路により実現される。
 測光センサ306は、被写体の光量を測定するセンサである。ストロボ307は、閃光を発生する装置である。測光センサ306は、被写体からの閃光の反射光の光量を測定する。
 入力デバイス308は、ユーザが操作して撮像装置110にトリガを与えるデバイスである。入力デバイス308には、たとえば、レリーズボタン、撮影モードを設定するためのダイヤル、ボタン、タッチパネルがある。
 プロセッサ309は、撮像装置110の全体を制御する。また、プロセッサ309は、画像処理回路305の一部を彩度抑制プログラムとして実行する。彩度抑制プログラムは、揮発性のメモリ310または不揮発性の記録媒体311に格納される。
 メモリ310は、プロセッサ309のワークエリアとして機能する。記録媒体311は、撮像装置110に着脱可能であり、画像データ201,202など各種データを記録する。なお、記録媒体311は、撮像装置110に内蔵されていてもよい。メモリ310および記録媒体311を総称して、「記録デバイス」と称す。記憶デバイスは、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。
 表示デバイス312は、撮像素子304からのRAWデータを画像処理回路305で画像処理した画像(静止画、動画、ライブビュー画像を含む)や、各種情報などを表示するデバイスである。RAWデータも画像データの1つである。表示デバイス312は、撮像装置110の背面に設けられるモニタである。また、電子ビューファインダも表示デバイス312に含まれる。
 加速度センサ313は、直交しあうX方向、Y方向、Z方向の3軸の加速度を検出して、撮像装置110の傾きを検出する。地磁気センサ314は、撮像装置110が向いている方角を検出するセンサである。加速度センサ313および地磁気センサ314により、撮像装置110がどの方角にどの程度の傾きで向いているかを特定することができる。
 通信IF315は、データを送受信する通信デバイスである。GPSレシーバ316は、GPS衛星からの信号を受信して撮像装置110の現在位置情報(緯度経度情報)を取得する。
 <撮像装置110の機能的構成例>
 図4は、撮像装置110の機能的構成例を示すブロック図である。撮像装置110は、取得部401と、特定部402と、調整部403と、抑制部404と、検出部405と、を有する。取得部401、特定部402、調整部403、抑制部404、および検出部405は、具体的には、たとえば、図3に示した画像処理回路305、または、記録デバイスに記録された彩度抑制プログラムをプロセッサ309に実行させることにより実現される。
 取得部401は、被写体の画像データを取得する。具体的には、たとえば、取得部401は、特定の光源下、たとえば、図1に示した照明灯101の下で撮影された被写体の画像データを取得する。この画像データは、図2の(A)に示したような、照明灯101に照らされた特定の発光体としてのLED看板103の画像を含む画像データ201である。
 特定部402は、取得部401によって取得された画像データに基づいて、被写体からの光の色温度を特定する。具体的には、たとえば、特定部402は、撮像素子304から得られたRGB画像データを複数のブロック(1つのブロックは1以上の画素のグループ)に分割し、ブロックごとに輝度信号(Y成分)と色差信号(Cb成分(青)とCr成分(赤))で表されるYCbCr画像データに変換する。そして、特定部402は、色差信号に対応する色温度を特定する。
 なお、各ブロックの輝度信号および色差信号は、ブロック内の画素群の中の特定の位置(たとえば、中央や左上)の画素の輝度信号および色差信号でもよく、また、ブロック内の画素群の輝度信号および色差信号の平均値、中央値、最大値、最小値でもよい。
 図5は、色空間と色温度との対応関係を示す説明図である。ここで、色空間500とは、色差信号Cb,Crで規定される座標系である。図5では、横軸をCb、縦軸をCrとする。横軸Cbについて、左から右へ向かう方向を+Cb方向、右から左へ向かう方向を-Cb方向とする。同様に、縦軸Crについて、下から上へ向かう方向を+Cr方向、上から下へ向かう方向を-Cr方向とする(後述の図6~図8も同様)。色空間500において、第1象限がマゼンタ、第2象限がアンバー、第3象限が緑、第4象限が青を示す。なお、隣接する象限に近づくほど、隣接する象限の色が混ざった色となる。原点Oは、無彩色を示す。
 また、色空間500には、色温度曲線501が設定されている。色温度曲線は、あらかじめ設定された色温度を示す曲線であり、当該曲線に交差する方向に、同一色温度であることを示す等高線502を有する。色空間500は、あらかじめ記録デバイスに記録されている。また、記録デバイスに記録されていない場合は、画像処理回路305またはプロセッサ309が通信IF315を介して、色空間500を有するコンピュータから参照してもよい。
 画像データ201の色差信号Cb,Crが特定されると、特定部402は、色差信号Cb,Crを色空間500にプロットすることにより、色空間500上の彩度503,504を特定する。画像データ201の彩度は、ブロックごとに色空間500上にプロットされるが、ここでは、説明を単純化するため、2つの彩度503,504を例に挙げて説明する。
 特定部402は、色空間500に設定された色温度曲線501を参照して、彩度503,504に対応する色温度を特定する。これにより、特定部402は、画像データ201のうち彩度503である画像領域を、主要被写体(サッカー選手P)や背景(LED看板103を除いた観客やフィールド102)である非LED領域と特定し、画像データ201のうち彩度504である画像領域をLED看板103の画像領域と特定する。
 図4に戻り、調整部403は、取得部401によって取得された画像データ201のホワイトバランスを調整する。調整部403は、通常であれば、白を白く見えるようにするためにホワイトバランスを調整する。このような通常のホワイトバランス調整では、上述したように、調整部403は、画像データ201が取得された場合、照明灯101からの環境光の影響(色温度)により、環境光が青であればLED看板103の画像をアンバーに変換し、環境光が緑(青緑)であればLED看板103の画像をマゼンタに変換し、環境光がアンバーであれば、LED看板103の画像を青に変換してしまうことになる。
 図5を用いて具体的に説明すると、調整部403は、画像データ201にホワイトバランス調整を実行することにより、非LED領域の色空間500上の彩度503(第3象限の緑)は、+Cb方向への補正量xで、かつ、+Cr方向への補正量yで原点Oに平行移動することで、無彩色を示す原点Oに変換されて彩度505となる。同様に、LED看板103の画像領域の色空間500上の彩度504は、彩度503のホワイトバランス調整に追従して、彩度503の原点Oへの平行移動と同じ平行移動をすることになる。したがって、彩度504は、第1象限のマゼンタに変換されて彩度506となり、白いLED看板103の画像にマゼンタが色づくことになる。
 図4に戻り、抑制部404は、画像データ201に特定の発光体の画像データが含まれていると、特定部402によって特定された色温度に基づいて、調整部403による調整済みの画像データの彩度を抑制する。具体的には、たとえば、抑制部404は、画像データ201にLED看板103の画像データが含まれていると、特定部402によって特定されたLED看板103の色温度に基づいて、調整部403による調整済みの画像データの彩度を抑制する。より具体的には、抑制部404は、被写体からの光が青、緑、またはアンバーを示す色温度である場合、調整済みの画像データ201の彩度を抑制する。抑制部404による彩度抑制処理の具体例について、図6~図8を用いて説明する。
 図6は、環境光の色が青である場合のホワイトバランス調整および彩度抑制処理を示す説明図である。図6の場合、非LED領域の彩度503は、第4象限の青に位置し、LED看板103の彩度504も第4象限の青に位置する。調整部403のホワイトバランス調整により、非LED領域の彩度503は、原点O(無彩色)の位置に平行移動して彩度505となる。同様に、LED看板103の彩度504は、非LED領域の彩度503のホワイトバランス調整に追従して、非LED領域の彩度503の原点Oへの平行移動と同じ平行移動をすることになる。
 したがって、LED看板103の彩度504は、第2象限のアンバーに変換されて彩度506となり、白いLED看板103の画像にアンバーが色づくこことになる。そして、抑制部404は、アンバーが色づいたLED看板103の彩度506を、原点Oの無彩色となるように色差信号Cb,Crの値を調整して、彩度600とする。これにより、アンバーが色づいたLED看板103の画像からアンバーを抜き出して、白色に変換することができる。
 図7は、環境光の色が緑(青緑)である場合のホワイトバランス調整および彩度抑制処理を示す説明図である。図7の場合、非LED領域の彩度503は、第3象限の緑に位置し、LED看板103の彩度504は、第4象限の青に位置する。調整部403のホワイトバランス調整により、非LED領域の彩度503は、原点O(無彩色)の位置に平行移動して彩度505となる。同様に、LED看板103の彩度504は、非LED領域の彩度503のホワイトバランス調整に追従して、非LED領域の彩度503の原点Oへの平行移動と同じ平行移動をすることになる。
 したがって、LED看板103の彩度504は、第1象限のマゼンタに変換されて彩度506となり、白いLED看板103の画像にマゼンタが色づくこことになる。そして、抑制部404は、マゼンタが色づいたLED看板103の彩度506を、原点Oの無彩色となるように色差信号Cb,Crの値を調整して、彩度600とする。これにより、マゼンタが色づいたLED看板103の画像からマゼンタを抜き出して、白色に変換することができる。
 図8は、環境光の色がアンバーである場合のホワイトバランス調整および彩度抑制処理を示す説明図である。図8の場合、非LED領域の彩度503は、第2象限のアンバーに位置し、LED看板103の彩度504は、第2象限の青に位置する。調整部403のホワイトバランス調整により、非LED領域の彩度503は、原点O(無彩色)の位置に平行移動して彩度505となる。一方、LED看板103の彩度504は、非LED領域の彩度503のホワイトバランス調整に追従して、非LED領域の彩度503の原点Oへの平行移動と同じ平行移動をすることになる。
 したがって、LED看板103の彩度504は、第4象限内で移動して彩度506となり、白いLED看板103の画像に青が色づくこことになる。そして、抑制部404は、青が色づいたLED看板103の彩度506を、原点Oの無彩色となるように色差信号Cb,Crの値を調整して、彩度600とする。これにより、青が色づいたLED看板103の画像から青を抜き出して、白色に変換することができる。
 このように、抑制部404は、調整部403によるホワイトバランス調整により色づいてしまったLED看板103の画像領域の彩度506のみを原点Oに平行移動させることで、LED看板103の画像領域から環境光の色(アンバー、マゼンタ、青)を抜くことができる。
 また、彩度504の色空間500上の位置により、画像データ201内のどの画像領域がLED看板103の画像であるかが特定される。したがって、抑制部404は、LED看板103の画像領域のみ彩度抑制処理を実行することができる。
 図4に戻り、検出部405は、被写体の画像データ(たええば、ライブビュー画像)から、被写体に含まれる特定の発光体によるフリッカFを検出する。フリッカFとは、ディスプレイに生じる細かいちらつき現象のことである。特定の発光体は、たとえば、LED看板103であり、LED看板103は、LEDを光源とする看板である。LEDは、蛍光灯に比べて明滅の輝度差が大きく、この明滅周期は、交流電源の周波数(50[Hz]または60[Hz])に依存する。たとえば、交流電源の周波数が50[Hz]の場合、明滅周期は、その周波数50[Hz]を2倍した値の逆数、すなわち、1/100[sec]となる。
 たとえば、ローリングシャッター制御において、検出部405は、撮像素子304のラインごとの電荷蓄積時間が明滅周期(1/100[sec])以上で、かつ、明滅周期(1/100[sec])のn倍(nは1以上の整数)となるように、撮像素子304のフレームレートを設定する(高速フレームレート設定)。これにより、撮像素子304のラインごとの電荷蓄積時間が明滅周期(1/100[sec])に対応する周期とは異なるため、フリッカFが発生する。したがって、検出部405は、フリッカFを検出することができる。
 なお、高速フレームレート設定のトリガは、たとえば、静止画撮影においては、撮像装置110の電源をONにして、ライブビュー画像の取り込みの開始時点またはそれ以降の任意の時点でもよく、また、ユーザによってレリーズボタンが半押しされた時点でもよい。
 本実施例では、フリッカFの検出は、既存技術でもよい。また、本実施例では、フリッカFを検出してそのちらつきを抑制するのではなく、フリッカFの検出を、LED看板103のようなLED光源の存在特定に利用する。このため、撮像装置110は、検出部405により、意図的にフリッカFが検出可能な状態を作り出すことにより、LED光源の存在を検出する。
 また、LED看板103以外の背景からもフリッカFが検出される場合もあるため、たとえば、彩度504が得られたブロック群が特定の形状(たとえば、横長の矩形)であれば、検出部405は、LED看板103であると検出してもよい。これにより、LED看板103の検出精度の向上を図ることができる。
 なお、検出部405は、撮像素子304を用いてフリッカFを検出するが、測光センサ306を用いてもよい。これにより、ライブビュー画像を取り込まない場合でも、フリッカFの検出により被写体内のLED光源を検出することができる。
 検出部405によってフリッカFが検出されると、抑制部404は、被写体内にLED看板103が存在することがわかる。したがって、調整部403によってホワイトバランス調整されると、上述したように、LED看板103の画像領域がアンバー、マゼンタ、または青に色づいてしまうため、抑制部404は、図6~図8に示したように、特定部402によって特定された色温度に基づいて、調整部403による調整済みの画像データ201の彩度を抑制し、画像データ202を得る。
 <静止画撮影処理手順1>
 図9は、本実施例の撮像装置110による静止画の撮影処理手順例を示すフローチャート1である。図9では、検出部405によりフリッカFを検出する場合の静止画撮影処理手順例である。まず、撮像装置110は、特定の撮影モードであるか否かを判断する(ステップS901)。
 特定の撮影モードとは、オートホワイトバランスおよび彩度抑制処理を実行する撮影モードである。特定の撮影モードは、たとえば、ユーザが撮像装置110の入力デバイス308を操作することで設定される。特定の撮影モードでない場合(ステップS901:No)、撮像装置110は、他の撮影モードで撮影することになる(ステップS902)。
 一方、特定の撮影モードである場合(ステップS901:Yes)、撮像装置110は、撮像素子304のフレームレートを高速に設定(高速フレームレート設定)する(ステップS903)。これにより、被写体にLED光源が含まれる場合にフリッカFが検出可能になる。
 つぎに、撮像装置110は、検出部405によりフリッカFを検出し(ステップS904)、レリーズボタンが押下されたか否かを判断する(ステップS905)。レリーズボタンが押下されていない場合(ステップS905:No)、ステップS904に戻る。レリーズボタンが押下された場合(ステップS905:Yes)、撮像装置110は、画像データを取得する(ステップS906)。レリーズボタン押下時の被写体についてフリッカFが検出されていれば(ステップS904:Yes)、取得した画像データ201には、横縞状のムラが存在し、レリーズボタン押下時の被写体についてフリッカFが検出されていなければ(ステップS904:No)、取得した画像データには、横縞状のムラが存在しない。
 つぎに、撮像装置110は、図5に示したように、特定部402により、取得した画像データに基づいて、被写体からの光の色温度を特定する(ステップS907)。そして、撮像装置110は、図5に示したように、調整部403により、特定された色温度に基づいて、画像データのホワイトバランスを調整する(ステップS908)。この後、撮像装置110は、抑制部404による彩度抑制処理を実行すべきか否かを判断する(ステップS909)。
 具体的には、たとえば、ステップS904でフリッカFが検出されている場合(ステップS904:Yes)、被写体内にLED光源が存在することになる。したがって、ステップS908のホワイトバランス調整でLED光源であるLED看板103の画像が色づくため、撮像装置110は、彩度抑制処理を実行すべきと判断する(ステップS909:Yes)。一方、フリッカFが検出されていない場合(ステップS904:No)、被写体内にLED看板103は存在しないため、撮像装置110は、彩度抑制処理を実行すべきでないと判断し(ステップS909:No)、ステップS911に移行する。
 彩度抑制処理を実行すべきと判断された場合(ステップS909:Yes)、撮像装置110は、図6~図8に示したように、抑制部404により彩度抑制処理を実行して(ステップS910)、ステップS911に移行する。また、彩度抑制処理を実行すべきでないと判断された場合(ステップS909:No)、彩度抑制処理(ステップS910)を実行することなく、ステップS911に移行する。
 ステップS911では、撮像装置110は、画像データ202を記録デバイスに保存したり、表示デバイス312に画像として表示したりする(ステップS911)。彩度抑制処理(ステップS910)が実行された場合は、たとえば、図2の(A)に示した画像データ201が、(B)に示したように、LED看板103の画像を彩度抑制した画像データ202に変換される。これにより、LED看板103の画像に色づいた色の彩度を抑制し、被写体本来の色を再現することができる。
 <動画撮影における彩度抑制>
 つぎに、動画撮影の場合の彩度抑制について説明する。上述したLED看板103の画像に対する色づきは、静止画撮影のみならず動画撮影でも発生する。したがって、ここでは、動画撮影時のフリッカFの検出、すなわち、被写体内のLED光源の検出について説明する。
 図10は、動画撮影における高速サンプリングレート設定時におけるフレーム読出し例を示すタイムチャートである。図10において、(A)は露光またはフレーム読出し開始タイミングの時間軸を示し、(B)はフレーム読出しの終了時期、すなわち、記録デバイスへの記録タイミングに時間軸を示す。なお、横軸は時間軸である。
 動画撮影時では、フレームごとに、露光開始からフレーム読出開始、フレーム記録までが1フレームを記録する撮影処理となる。このようにして、動画撮影時ではフレームごとに記録デバイスに記録されるが、フレーム記録後次のフレームの露光開始までの空き時間STを利用して、撮像装置110は、フリッカFの検出用のフレームを高速読出しする。具体的には、たとえば、撮像装置110は、フレームを記録するタイミングで、フレームレートを、撮像素子304のラインごとの電荷蓄積時間が明滅周期(1/100[sec])以上で、かつ、明滅周期(1/100[sec])のn倍(nは自然数)となるように設定する(高速フレームレート設定)。
 また、次の露光開始の時点で元の動画撮影用にフレームレートに戻す。空き時間STでの高速フレームレート設定により、撮像装置110は、検出部405により、フリッカFの検出用のフレームを高速読出しして、フレームからフリッカFを検出する。
 <動画撮影処理手順1>
 図11は、本実施例の撮像装置110による動画の撮影処理手順例を示すフローチャート1である。図11では、検出部405によりフリッカFを検出する場合の動画撮影処理手順例である。まず、撮像装置110は、露光開始か否かを判断する(ステップS1101)。露光開始でない場合(ステップS1101:No)、ステップS1112に移行する。ステップS1111では、撮像装置110は、動画撮影終了であるか否かを判断する(ステップS1112)。動画撮影終了である場合(ステップS1111:Yes)、本フローチャートを終了する。動画撮影終了でない場合(ステップS1111:No)、ステップS1101に戻る。
 ステップS1101で露光開始である場合(ステップS1101:Yes)、撮像装置110は、フレームが記録されるのを待ち受ける(ステップS1102:No)。フレームが記録デバイスに記録された場合(ステップS1102:Yes)、撮像装置110は、撮像素子304のフレームレートを高速に設定(高速フレームレート設定)する(ステップS1103)。これにより、被写体にLED光源が含まれる場合にフリッカFが発生することになる。
 つぎに、撮像装置110は、フレームレート高速設定後に読み出したフレームを参照して、フリッカFを検出する(ステップS1104)。フリッカFが検出されなかった場合(ステップS1104:No)、ステップS1110に移行する。これにより、フリッカFが検出されなかった場合は、ステップS1105~S1109の処理を省略することができるため、動画撮影処理時の処理負荷の低減を図ることができる。
 ステップS1104でフリッカFが検出された場合(ステップS1104:Yes)、被写体内にLED光源が存在することになる。したがって、撮像装置110は、ステップS1102:Yesで記録デバイスに記録されたフレームを取得し(ステップS1105)、図5に示したように、特定部402により、取得フレームに基づいて、被写体からの光の色温度を特定する(ステップS1106)。
 そして、撮像装置110は、図5に示したように、調整部403により、特定された色温度に基づいて、フレームのホワイトバランスを調整する(ステップS1107)。この後、撮像装置110は、図6~図8に示したように、抑制部404による彩度抑制処理を実行する(ステップS1108)。
 そして、撮像装置110は、ステップS1105で取得したフレームを、彩度抑制後のフレームに更新する(ステップS1109)。このあと、撮像素子304のフレームレートを元に戻して(ステップS1110)、ステップS1101に戻る。
 このように、動画撮影時においても、フレーム記録とつぎのフレームの露光開始との間の空き時間STを利用することにより、フリッカFの検出、すなわち、被写体内のLED光源の検出が可能となる。なお、図11では、フリッカFの検出しなかった場合は、ステップS1105~S1109を省略することとしたが、フリッカFを検出した場合との整合性をとるため、ホワイトバランス調整を実行してもよい。これにより、フリッカFの検出の有無にかかわらず、すべてのフレームについてホワイトバランスが調整されるため、連続するフレーム間で違和感が低減された動画が得られることになる。
 <スタジアム100の3次元モデルデータ活用例>
 つぎに、スタジアム100の3次元モデルデータ活用例について説明する。スタジアム100の3次元モデルデータは、スタジアム100の3次元的な構造をモデル化したデータであり、フィールド102のほか、照明灯101やLED看板103、観客席などのオブジェクトがモデル化されている。各オブジェクトは3次元の位置情報を有する。スタジアム100の3次元モデルデータを利用することにより、フリッカFの検出を利用しなくても、静止画または動画撮影時に被写体内のLED光源を検出することが可能となる。
 図12は、撮影システムのシステム構成例を示す説明図である。撮影システムは、サーバと、ルータと、撮像装置110と、により構成される。撮像装置110は、ルータ経由で、LAN(Local Area Network)またはインターネットを介してサーバと通信可能に接続される。サーバは、スタジアム100の3次元モデルデータを保存する。なお、ルータは、たとえば、スタジアム100に設置され、スタジアム100を訪れたユーザの撮像装置110の通信IF315と通信可能に接続される。
 この場合、撮像装置110は、取得部401により、撮像装置110の現在位置情報と、現在位置情報における特定の発光体および特定の発光体を照らす光源を含む施設の3次元モデルデータと、により特定された施設における撮像装置110の撮像方向に基づいて、画像データ(動画の場合はフレーム)を取得する。
 撮像装置110の現在位置情報は、図3に示したGPSレシーバ316により取得される。特定の発光体とは、たとえば、上述したLED看板103であり、特定の発光体を照らす光源とは、上述した照明灯101であり、施設とは、上述したスタジアム100である。施設における撮像装置110の撮像方向は、図3に示した加速度センサ313および地磁気センサ314により取得される。加速度センサ313および地磁気センサ314により、撮像装置110がどの方角にどの程度の傾きで向いているかを特定することができる。したがって、3次元モデルデータを利用することにより、撮像装置110は、現在位置からの撮影方向を取得することができる。
 <静止画撮影処理手順2>
 図13は、本実施例の撮像装置110による静止画の撮影処理手順例を示すフローチャート2である。図13は、3次元モデルデータを利用する場合の静止画撮影処理手順例である。なお、図9と同一処理については同一のステップ番号を付し、その説明を省略する。
 まず、撮像装置110は、取得部401により、撮像装置110の現在位置情報を取得する(ステップS1301)。つぎに、撮像装置110は、現在位置における施設(スタジアム100)の3次元モデルデータをサーバから取得する(ステップS1302)。撮像装置110は、施設の3次元モデルデータを用いて、撮像装置110の現在位置におけるレンズの向きとなる撮影方向を特定する(ステップS1303)。そして、撮影装置は、施設の3次元モデルデータを用いて、ステップS1303で特定された撮影方向の被写体内におけるLED看板103の存否を推定する(ステップS1304)。
 このあと、レリーズボタンが押下されていない場合(ステップS905:No)、ステップS1301に戻り、レリーズボタンが押下された場合(ステップS905:Yes)、撮像装置110は、図9に示したステップS906~S911を実行する。これにより、被写体からのフリッカFを検出しなくても彩度抑制を実現することができる。
 <動画撮影処理手順2>
 図14は、本実施例の撮像装置110による静止画の撮影処理手順例を示すフローチャート2である。図14は、3次元モデルデータを利用する場合の動画撮影処理手順例である。なお、図11と同一処理については同一のステップ番号を付し、その説明を省略する。
 ステップS1102において、フレームが記録された場合(ステップS1102:Yes)、撮像装置110は、取得部401の一例であるGPSレシーバ316により、撮像装置110の現在位置情報を取得する(ステップS1401)。なお、撮像装置110は、接続先のルータ1202の位置情報を撮像装置110の現在位置情報として当該ルータ1202から取得してもよい。
 つぎに、撮像装置110は、現在位置における施設(スタジアム100)の3次元モデルデータをサーバから取得する(ステップS1402)。撮像装置110は、施設の3次元モデルデータを用いて、撮像装置110の現在位置におけるレンズの向きとなる撮影方向を特定する(ステップS1403)。そして、撮影装置は、施設の3次元モデルデータを用いて、ステップS1303で特定された撮影方向の被写体内にLED看板103があるか否かを判断する(ステップS1404)。
 LED看板103がない場合(ステップS1404:Yes)、ステップS1101に戻る。これにより、これにより、フリッカFが検出されなかった場合は、ステップS1105~S1109の処理を省略することができるため、動画撮影処理時における処理負荷の低減を図ることができる。
 ステップS1404でLED看板103がある場合(ステップS1404:Yes)、撮像装置110は、ステップS1105~S1109の処理を実行してステップS1101に戻る。
 このように、フリッカFを検出しなくても、動画撮影時においてフレーム記録とつぎのフレームの露光開始との間の空き時間STを利用することにより、被写体内のLED光源の検出が可能となる。なお、図14では、LED看板103が検出されなかった場合は、ステップS1105~S1109を省略することとしたが、LED看板103が検出された場合との整合性をとるため、ホワイトバランス調整を実行してもよい。これにより、LED看板103の検出の有無にかかわらず、すべてのフレームについてホワイトバランスが調整されるため、統一感のある動画が得られることになる。
 (1)このように、上述した撮像装置110は、被写体の画像データを取得する取得部401と、取得部401によって取得された画像データに基づいて、被写体からの光の色温度を特定する特定部402と、特定部402によって特定された色温度に基づいて、画像データのホワイトバランスを調整する調整部403と、画像データに特定の発光体(たとえば、LED看板103)の画像データが含まれていると、調整部403による調整済みの画像データの彩度を抑制する抑制部404と、を有する。
 これにより、本来、ホワイトバランス調整で白く調整されるはずの特定の発光体が白く調整されずに色づいてしまった場合であっても、彩度抑制により、色づいた色を抜くことができる。したがって、ホワイトバランス調整の適正化を図ることができる。
 また、抑制部404は、画像データに特定の発光体(たとえば、LED看板103)の画像データが含まれていると、特定部402によって特定された色温度に基づいて、たとえば、被写体からの光が青、緑、またはアンバーを示す色温度である場合、調整部403による調整済みの画像データの彩度を抑制してもよい。これにより、特定された色温度の場合に彩度抑制が可能となる。
 (2)また、上記(1)において、画像データは、照明灯101に照らされた特定の発光体としてのLED発光体(たとえば、LED看板103)を含む画像データである。
 これにより、本来、ホワイトバランス調整で白く調整されるはずのLED発光体が白く調整されずに色づいてしまった場合であっても、彩度抑制により、色づいた色を抜くことができる。したがって、被写体本来の色に近づけることができる。
 (3)また、上記(1)において、抑制部404は、被写体からの光が青、緑、またはアンバーを示す色温度である場合、調整済みの画像データの彩度を抑制する。
 被写体からの光が青であれば、ホワイトバランス調整により特定の発光体(たとえば、LED看板103)の画像データは、アンバーに色づく。被写体からの光が緑(または青緑)であれば、ホワイトバランス調整により特定の発光体(たとえば、LED看板103)の画像データは、マゼンタに色づく。被写体からの光がアンバーであれば、ホワイトバランス調整により特定の発光体(たとえば、LED看板103)の画像データは、青に色づく。このように、ホワイトバランス調整後にアンバー、マゼンタまたは青が色づいた特定の発光体から彩度抑制処理によりこれらの色を抜くことができ、ホワイトバランス調整の適正化を図ることができる。
 (4)上記(1)において、抑制部404は、調整済みの画像データのうち特定の発光体(たとえば、LED看板103)の画像データの彩度を抑制する。
 彩度抑制対象を特定の発光体の画像データに絞り301b込むことにより、すでにホワイトバランス調整されたサッカー選手Pや観客、フィールド102などの他の画像データへの影響を抑制することができる。
 (5)上記(1)において、取得部401は、撮像装置110の現在位置と、現在位置における特定の発光体(たとえば、LED看板103)および特定の発光体を照らす光源(たとえば、照明灯101)を含む施設(たとえば、スタジアム100)の3次元モデルデータと、により特定された施設における撮像装置110の撮像方向に基づいて、画像データを取得する。
 これにより、ユーザは、撮像装置110を被写体に向けるだけで、撮像装置110は、被写体内に特定の発光体の存在を推定することができ、特定の発光体に対する彩度抑制処理を実現することができる。また、施設は、照明灯101とLED看板103などのLED光源が設置されていれば、スタジアム100には限定されない。また、施設は、屋外に限らず、照明灯101とLED看板103などのLED光源が設置されていれば、屋内型施設(体育館やアリーナなど)でもよい。
 (6)上記(1)において、撮像装置110は、被写体の画像データから、被写体に含まれる特定の発光体(たとえば、LED看板103)によるフリッカFを検出する検出部405を有し、抑制部404は、検出部405によってフリッカFが検出された場合、特定部402によって特定された色温度に基づいて、調整部403による調整済みの画像データの彩度を抑制する。
 フリッカFの検出を、画像のちらつきの抑制するために用いるのではなく、特定の発光体の存在特定に利用する。このため、撮像装置110は、検出部405により、意図的にフリッカFが検出可能な状態を作り出して、特定の発光体の存在を検出することができる。また、画像のちらつきの抑制するためにフリッカFの検出機能が備えられている撮像装置110に対しては、フリッカFの検出機能を流用することができ、部品点数やコストの低減化およびサイズの縮小化を図ることができる。
 (7)上記(6)において、検出部405は、所定の操作入力(たとえば、レリーズボタンの半押し)があった場合に、フリッカFを検出する動作を開始する。
 これにより、ユーザが意図した撮影タイミングでフリッカFの検出、すなわち、特定の発光体の検出をおこなうことができる。
 (8)上記(6)において、撮像装置110は、動画を撮像する撮像装置110であり、検出部405は、画像データ(フレーム)が記録された後、画像データの次の画像データを記録するための露光を開始するまでの間(たとえば、空き時間ST)に、画像データからフリッカFを検出する。
 これにより、動画撮影(記録)をしながらフレームの彩度抑制を実現することができる。なお、図11や図14では、ステップS1109でフレームを更新することとしたが、ステップS1102で記録されたフレームを残しつつ、彩度抑制後のフレームも記録してもよい。これにより、元の動画と、ホワイトバランス調整および彩度抑制後の動画と、を保存することができる。
 (9)上記(6)において、特定部402は、検出部405によってフリッカFが検出された場合、画像データに基づいて、被写体からの光の色温度を特定する。
 これにより、フリッカFの検出時のみそのフレームの色温度を特定する。換言すれば、フリッカFが検出されないフレームについては色温度特定を省略するため、動画撮影時における処理負荷の低減を図ることができる。
 なお、上述した撮像装置110は、デジタルカメラやデジタルビデオカメラを例に挙げて説明したが、カメラが搭載されているスマートフォンやタブレット、ゲーム機、拡張現実用ヘッドマウント、パーソナルコンピュータ、車載のドライブレコーダでもよい。また、レンズ部301や撮像素子304は、撮像装置110に内蔵されていてもよく、撮像装置110に着脱自在であってもよい。
 また、彩度抑制プログラムは、撮像装置110の記録デバイスのほか、プロセッサ309に読み取り可能な記録媒体(CD-ROMなど)に記録されていてもよい。この場合、撮像装置110と接続されたパーソナルコンピュータに当該記録媒体を挿入し、パーソナルコンピュータを介して撮像装置110に彩度抑制プログラムをインストールすることになる。
 また、彩度抑制プログラムは、撮像装置110と通信可能なサーバにダウンロード可能に記録されていてもよい。具体的には、たとえば、撮像装置110は、当該サーバから彩度抑制プログラムをダウンロードする。これにより、上述したホワイトバランス調整や彩度抑制処理、フリッカFの検出などの彩度抑制プログラムによる処理を実行することができる。
100 スタジアム、101 照明灯、102 フィールド、103 LED看板(LED光源)、103a 発光面、110 撮像装置、201,202 画像データ、301 レンズ部、304 撮像素子、305 画像処理回路、306 測光センサ、308 入力デバイス、309 プロセッサ、310 メモリ、311 記録媒体、312 表示デバイス、313 加速度センサ、314 地磁気センサ、316 GPSレシーバ、401 取得部、402 特定部、403 調整部、404 抑制部、405 検出部、500 色空間、501 色温度曲線、502 等高線、503~506,600 彩度、F フリッカ、ST 空き時間

Claims (14)

  1.  被写体の画像データを取得する取得部と、
     前記取得部によって取得された画像データに基づいて、前記被写体からの光の色温度を特定する特定部と、
     前記特定部によって特定された色温度に基づいて、前記画像データのホワイトバランスを調整する調整部と、
     前記画像データに特定の発光体の画像データが含まれていると、前記特定部によって特定された色温度に基づいて、前記調整部による調整済みの画像データの彩度を抑制する抑制部と、
     を有することを特徴とする撮像装置。
  2.  請求項1に記載の撮像装置であって、
     前記画像データは、照明灯に照らされた前記特定の発光体としてのLED発光体を含む画像データであることを特徴とする撮像装置。
  3.  請求項1に記載の撮像装置であって、
     前記抑制部は、前記被写体からの光が青、緑、またはアンバーを示す色温度である場合、前記調整済みの画像データの彩度を抑制することを特徴とする撮像装置。
  4.  請求項1に記載の撮像装置であって、
     前記抑制部は、前記調整済みの画像データのうち前記特定の発光体の画像データの彩度を抑制することを特徴とする撮像装置。
  5.  請求項1に記載の撮像装置であって、
     前記取得部は、前記撮像装置の現在位置と、前記現在位置における前記特定の発光体および前記特定の発光体を照らす光源を含む施設の3次元モデルデータと、により特定された前記施設における前記撮像装置の撮像方向に基づいて、前記画像データを取得することを特徴とする撮像装置。
  6.  請求項1に記載の撮像装置であって、
     前記被写体の画像データから、前記被写体に含まれる前記特定の発光体によるフリッカを検出する検出部を有し、
     前記抑制部は、前記検出部によって前記フリッカが検出された場合、前記特定部によって特定された色温度に基づいて、前記調整部による調整済みの画像データの彩度を抑制することを特徴とする撮像装置。
  7.  請求項6に記載の撮像装置であって、
     前記検出部は、所定の操作入力があった場合に、前記フリッカを検出する動作を開始することを特徴とする撮像装置。
  8.  請求項6に記載の撮像装置であって、
     前記撮像装置は、動画を撮像する撮像装置であり、
     前記検出部は、前記画像データが記録された後、前記画像データの次の画像データを記録するための露光を開始するまでの間に、前記画像データから前記フリッカを検出することを特徴とする撮像装置。
  9.  請求項6に記載の撮像装置であって、
     前記特定部は、前記検出部によって前記フリッカが検出された場合、前記画像データに基づいて、前記被写体からの光の色温度を特定することを特徴とする撮像装置。
  10.  被写体の画像データを取得する取得部と、
     前記取得部によって取得された画像データに基づいて、前記被写体からの光の色温度を特定する特定部と、
     前記特定部によって特定された色温度に基づいて、前記画像データのホワイトバランスを調整する調整部と、
     前記画像データに特定の発光体の画像データが含まれていると、前記調整部による調整済みの画像データの彩度を抑制する抑制部と、
     を有することを特徴とする撮像装置。
  11.  被写体の画像データを取得する取得部と、
     前記取得部によって取得された画像データに基づいて、前記被写体からの光の色温度を特定する特定部と、
     前記特定部によって特定された色温度に基づいて、前記画像データの色を調整する第1調整部と、
     前記画像データに特定の発光体の画像データが含まれていると、前記特定部によって特定された色温度に基づいて、前記第1調整部による調整済みの画像データの色を調整する第2調整部と、
     を有する電子機器。
  12.  被写体の画像データを取得する取得処理と、
     前記取得処理によって取得された画像データに基づいて、前記被写体からの光の色温度を特定する特定処理と、
     前記特定処理によって特定された色温度に基づいて、前記画像データのホワイトバランスを調整する調整処理と、
     前記画像データに特定の発光体の画像データが含まれていると、前記特定処理によって特定された色温度に基づいて、前記調整処理による調整済みの画像データの彩度を抑制する抑制処理と、
     をプロセッサに実行させることを特徴とする彩度抑制プログラム。
  13.  被写体の画像データを取得する取得処理と、
     前記取得処理によって取得された画像データに基づいて、前記被写体からの光の色温度を特定する特定処理と、
     前記特定処理によって特定された色温度に基づいて、前記画像データのホワイトバランスを調整する調整処理と、
     前記画像データに特定の発光体の画像データが含まれていると、前記調整処理による調整済みの画像データの彩度を抑制する抑制処理と、
     をプロセッサに実行させることを特徴とする彩度抑制プログラム。
  14.  被写体の画像データを取得する取得処理と、
     前記取得処理によって取得された画像データに基づいて、前記被写体からの光の色温度を特定する特定処理と、
     前記特定処理によって特定された色温度に基づいて、前記画像データの色を調整する第1調整処理と、
     前記画像データに特定の発光体の画像データが含まれていると、前記特定処理によって特定された色温度に基づいて、前記第1調整処理による調整済みの画像データの色を調整する第2調整処理と、
     をプロセッサに実行させることを特徴とする彩度抑制プログラム。
PCT/JP2018/044650 2017-12-05 2018-12-05 撮像装置、電子機器および彩度抑制プログラム WO2019111921A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201880078518.3A CN111567038B (zh) 2017-12-05 2018-12-05 摄像装置、电子设备以及记录介质
US16/770,291 US11212500B2 (en) 2017-12-05 2018-12-05 Image capture apparatus, electronic apparatus, and recording medium suppressing chroma in white balance correction performed based on color temperature
JP2019558239A JP7259761B2 (ja) 2017-12-05 2018-12-05 撮像装置、電子機器および彩度抑制プログラム
US17/528,663 US11683596B2 (en) 2017-12-05 2021-11-17 Image capture apparatus, electronic apparatus, and chroma suppression program
JP2023004553A JP2023038275A (ja) 2017-12-05 2023-01-16 撮像装置、電子機器および彩度抑制プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-233354 2017-12-05
JP2017233354 2017-12-05

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/770,291 A-371-Of-International US11212500B2 (en) 2017-12-05 2018-12-05 Image capture apparatus, electronic apparatus, and recording medium suppressing chroma in white balance correction performed based on color temperature
US17/528,663 Continuation US11683596B2 (en) 2017-12-05 2021-11-17 Image capture apparatus, electronic apparatus, and chroma suppression program

Publications (1)

Publication Number Publication Date
WO2019111921A1 true WO2019111921A1 (ja) 2019-06-13

Family

ID=66750235

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/044650 WO2019111921A1 (ja) 2017-12-05 2018-12-05 撮像装置、電子機器および彩度抑制プログラム

Country Status (4)

Country Link
US (2) US11212500B2 (ja)
JP (2) JP7259761B2 (ja)
CN (1) CN111567038B (ja)
WO (1) WO2019111921A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023064105A1 (en) * 2021-10-11 2023-04-20 Dolby Laboratories Licensing Corporation Context-dependent color-mapping of image and video data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013034222A (ja) * 2012-09-24 2013-02-14 Canon Inc 画像処理装置、画像処理装置の制御方法及びプログラム
JP2014220701A (ja) * 2013-05-09 2014-11-20 キヤノン株式会社 撮像装置及び撮像方法
JP2015192179A (ja) * 2014-03-27 2015-11-02 リコーイメージング株式会社 ホワイトバランス調整装置、撮影装置およびホワイトバランス調整方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4042432B2 (ja) * 2002-02-27 2008-02-06 株式会社日立製作所 撮像装置
JP3888456B2 (ja) 2002-09-10 2007-03-07 ソニー株式会社 デジタルスチルカメラ
JP4983962B2 (ja) * 2009-07-23 2012-07-25 カシオ計算機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2012119780A (ja) 2010-11-29 2012-06-21 Fujifilm Corp 撮像装置、撮像方法及びプログラム
CN103250418B (zh) * 2010-11-30 2014-10-15 富士胶片株式会社 图像处理设备、成像设备、图像处理方法、及白平衡调整方法
JP5687676B2 (ja) * 2012-10-23 2015-03-18 オリンパス株式会社 撮像装置及び画像生成方法
CN105940673B (zh) * 2014-02-07 2017-11-24 富士胶片株式会社 图像处理装置及图像处理方法
US9396571B2 (en) * 2014-02-10 2016-07-19 International Business Machines Corporation Simplified lighting compositing
JP6570252B2 (ja) * 2015-01-19 2019-09-04 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
CN107801012B (zh) * 2017-10-30 2019-05-17 Oppo广东移动通信有限公司 白平衡处理方法及装置、电子装置和计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013034222A (ja) * 2012-09-24 2013-02-14 Canon Inc 画像処理装置、画像処理装置の制御方法及びプログラム
JP2014220701A (ja) * 2013-05-09 2014-11-20 キヤノン株式会社 撮像装置及び撮像方法
JP2015192179A (ja) * 2014-03-27 2015-11-02 リコーイメージング株式会社 ホワイトバランス調整装置、撮影装置およびホワイトバランス調整方法

Also Published As

Publication number Publication date
JPWO2019111921A1 (ja) 2020-12-10
JP2023038275A (ja) 2023-03-16
CN111567038A (zh) 2020-08-21
JP7259761B2 (ja) 2023-04-18
US20210014465A1 (en) 2021-01-14
US20220078388A1 (en) 2022-03-10
CN111567038B (zh) 2022-04-08
US11212500B2 (en) 2021-12-28
US11683596B2 (en) 2023-06-20

Similar Documents

Publication Publication Date Title
US9241112B2 (en) Imaging apparatus, imaging method and computer-readable recording medium
TWI661725B (zh) 相機色溫補償系統及智慧終端機
US9264630B2 (en) Method and apparatus for creating exposure effects using an optical image stabilizing device
US8558913B2 (en) Capture condition selection from brightness and motion
JP6394338B2 (ja) 画像処理装置、画像処理方法、及び撮像システム
JP2018513640A (ja) パンニングショットの自動生成
US9684988B2 (en) Imaging device, image processing method, and recording medium
KR102415631B1 (ko) 촬상장치, 제어방법, 기록 매체, 및 정보처리장치
US20090027487A1 (en) Image display apparatus and image display method
JP2008066974A (ja) 画像表示方法及び画像表示装置並びにカメラ
JP2023038275A (ja) 撮像装置、電子機器および彩度抑制プログラム
US20120106840A1 (en) Combining images captured with different color patterns
WO2018142586A1 (ja) 投射型映像表示装置
US9922410B2 (en) Image processing apparatus and image processing method
US12010433B2 (en) Image processing apparatus, image processing method, and storage medium
JP5545596B2 (ja) 画像入力装置
JP2003309854A (ja) デジタルカメラ
US20170287140A1 (en) High quality Lightning resilient segmentation system using active background
JP2020150517A (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体
JP2020188417A (ja) 画像処理装置、画像処理方法、及び、コンピュータプログラム
US20230394788A1 (en) Image capturing apparatus that switches image capturing control according to capturing scene, information processing apparatus, control methods therefor, and storage media storing control programs therefor
US20230017498A1 (en) Flexible region of interest color processing for cameras
JP4709897B2 (ja) 視聴環境制御システム、視聴環境制御装置、視聴環境照明制御システム、及び視聴環境制御方法
JP2020150527A (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体
CN117581557A (zh) 用于相机的灵活的感兴趣区域色彩处理

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18885926

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019558239

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18885926

Country of ref document: EP

Kind code of ref document: A1