WO2017217137A1 - 撮像制御装置、撮像制御方法およびプログラム - Google Patents

撮像制御装置、撮像制御方法およびプログラム Download PDF

Info

Publication number
WO2017217137A1
WO2017217137A1 PCT/JP2017/017403 JP2017017403W WO2017217137A1 WO 2017217137 A1 WO2017217137 A1 WO 2017217137A1 JP 2017017403 W JP2017017403 W JP 2017017403W WO 2017217137 A1 WO2017217137 A1 WO 2017217137A1
Authority
WO
WIPO (PCT)
Prior art keywords
timing
flicker
imaging
flicker component
exposure
Prior art date
Application number
PCT/JP2017/017403
Other languages
English (en)
French (fr)
Inventor
鈴木　智子
雄太郎 本田
昌英 平澤
修 出田
大佑 葛西
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/099,379 priority Critical patent/US10771713B2/en
Priority to JP2018523573A priority patent/JPWO2017217137A1/ja
Priority to EP17813042.3A priority patent/EP3474537A4/en
Publication of WO2017217137A1 publication Critical patent/WO2017217137A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time

Definitions

  • the present technology relates to an imaging control apparatus, an imaging control method, and a program.
  • LEDs Light Emitting Diodes
  • flicker in which illumination light blinks periodically due to the influence of a commercial power supply frequency.
  • Patent Document 1 proposes a technique related to an imaging device for preventing the deterioration of image quality such as color unevenness due to such flicker (see, for example, Patent Document 1 below).
  • Patent Document 1 has a problem that it is difficult to miniaturize the device because a sensor different from the image sensor (imager) is used to detect flicker.
  • the present technology has been made in view of such problems, and an object thereof is to provide an imaging control apparatus, an imaging control method, and a program that prevent a decrease in image quality due to flicker.
  • the imaging control apparatus includes a control unit that performs control of synchronizing the exposure timing with the timing of the peak of the flicker component based on the detected period of the flicker component and the timing of the peak of the flicker component.
  • the control unit is an imaging control method that performs control to synchronize the exposure timing with the timing of the peak of the flicker component based on the detected period of the flicker component and the timing of the peak of the flicker component.
  • the control program is a program that causes a computer to execute an imaging control method that performs control to synchronize the exposure timing with the timing of the peak of the flicker component based on the detected period of the flicker component and the timing of the peak of the flicker component.
  • the present technology it is possible to suppress a decrease in image quality due to flicker.
  • the effect described here is not necessarily limited and may be any effect described in the present technology.
  • the contents of the present technology are not interpreted as being limited by the exemplified effects.
  • FIG. 1 is a block diagram showing a configuration example of an imaging device according to an embodiment of the present technology.
  • FIG. 2 is a block diagram illustrating a configuration example of a digital signal processing unit according to the first embodiment of the present technology.
  • FIG. 3 is a diagram showing an example of the flicker component.
  • FIG. 4 is a block diagram showing a configuration example of a flicker reduction unit according to an embodiment of the present technology.
  • FIG. 5 is a diagram for describing an operation example of the imaging device according to the embodiment of the present technology.
  • FIG. 6 is a diagram for explaining an example of the flickerless photographing process.
  • FIG. 7 is a flowchart illustrating an example of the flow of processing according to the first embodiment of the present technology.
  • FIG. 7 is a flowchart illustrating an example of the flow of processing according to the first embodiment of the present technology.
  • FIG. 8 is a diagram for explaining an example of the relationship between the flicker intensity and the shutter speed.
  • FIG. 9 is a diagram for explaining an example of control for correcting the exposure of an image.
  • FIG. 10 is a diagram for explaining another example of control for correcting the exposure of an image.
  • FIG. 11A, FIG. 11B, and FIG. 11C are figures which show the example of a waveform of RGB according to a flicker light source.
  • FIG. 12 is a diagram for explaining the color shift due to the flicker of the daylight white fluorescent lamp which is an example of the flicker light source.
  • FIG. 13 is a block diagram illustrating a configuration example of a digital signal processing unit according to a second embodiment of the present technology.
  • FIG. 14 is a flowchart illustrating an example of the flow of processing according to the second embodiment of the present technology.
  • FIG. 15 is a flowchart illustrating an example of the flow of processing according to the second embodiment of the present technology.
  • FIG. 16 is a diagram for explaining a modification.
  • FIG. 1 shows an example of a system configuration of an imaging device (imaging device 100) according to an embodiment of the present technology.
  • imaging apparatus 100 light from a subject is incident on a complementary metal oxide semiconductor (CMOS) imaging element 12 via an imaging optical system 11, photoelectrically converted by the CMOS imaging element 12, and an analog image signal from the CMOS imaging element 12 Is obtained.
  • CMOS complementary metal oxide semiconductor
  • the imaging optical system 11 and the CMOS imaging device 12 constitute an imaging unit.
  • the CMOS imaging device 12 includes a plurality of pixels having a photodiode (photogate), a transfer gate (shutter transistor), a switching transistor (address transistor), an amplification transistor, a reset transistor (reset gate), and the like on a CMOS substrate.
  • the vertical scanning circuit, the horizontal scanning circuit and the video signal output circuit are formed while being arranged in a shape.
  • the CMOS image sensor 12 may be either a primary color system or a complementary color system as described later, and an analog image signal obtained from the CMOS image sensor 12 is a primary color signal of each color of RGB or a color signal of a complementary color system.
  • the analog image signal from the CMOS image sensor 12 is sampled and held for each color signal in an analog signal processing unit 13 configured as an IC (Integrated Circuit) (Integrated Circuit), and AGC (Automatic Gain Control) (automatic gain control) The gain is controlled by the control) and converted into a digital signal by A / D (Analog to Digital) conversion.
  • IC Integrated Circuit
  • AGC Automatic Gain Control
  • the digital image signal from the analog signal processing unit 13 is processed as an IC in the digital signal processing unit 20 which functions as a detection unit and which will be described later. Then, in the flicker reduction unit 25 in the digital signal processing unit 20, the flicker component is reduced for each signal component as described later, and finally the luminance signal Y and the color difference signals RY and B of red and blue are reduced. It is converted to -Y and output from the digital signal processing unit 20.
  • a system controller 14 which is an example of a control unit is configured by a microcomputer or the like, and controls each unit of the imaging device 100.
  • a lens drive control signal is supplied from the system controller 14 to the lens drive driver 15 composed of an IC, and the lens drive iris 15 drives the lens and iris of the imaging optical system 11.
  • timing control signal is supplied from the system controller 14 to the timing generator 16, and various timing signals are supplied from the timing generator 16 to the CMOS imaging device 12 to drive the CMOS imaging device 12.
  • the shutter speed of the CMOS image sensor 12 is also controlled by the timing control signal from the system controller 14. Specifically, the shutter speed is set by the shutter control unit 14 c in the system controller 14.
  • the detection signal of each signal component is taken in from the digital signal processing unit 20 to the system controller 14, and the gain of each color signal is controlled as described above in the analog signal processing unit 13 by the AGC signal from the system controller 14.
  • the system controller 14 controls signal processing in the digital signal processing unit 20.
  • a camera shake sensor 17 is connected to the system controller 14, and camera shake information obtained from this is used for camera shake correction.
  • an operation unit 18a and a display unit 18b constituting the user interface 18 are connected to the system controller 14 through an interface 19 configured by a microcomputer or the like, and setting operation and selection operation and the like in the operation unit 18a While being detected by the system controller 14, the setting state and control state of the camera are displayed on the display unit 18 b by the system controller 14.
  • the operation unit 18a it is possible to use the operation unit 18a to set whether or not to perform flickerless shooting described later.
  • the imaging device 100 may include a storage device.
  • the storage device may be one incorporated in the imaging device 100 such as a hard disk, or may be a memory that is detachable from the imaging device 100 such as a USB (Universal Serial Bus) memory.
  • the imaging device 100 may include a communication device. Image data, various setting data, and the like may be transmitted and received to and from an external device via the Internet or the like using this communication device.
  • the communication may be wired or wireless.
  • FIG. 2 shows a configuration example of the digital signal processing unit 20 in the case of a primary color system.
  • the primary color system is a three-plate system in which the imaging optical system 11 of FIG. 1 has a separation optical system for separating light from an object into color lights of RGB colors and has a CMOS image pickup element for RGB colors as the CMOS image pickup element 12
  • the CMOS imaging device 12 is a one-plate system having one CMOS imaging device in which color filters of respective colors of RGB are sequentially and repeatedly arranged on a light incident surface for each pixel in the horizontal direction of the screen. In this case, primary color signals of RGB colors are read out in parallel from the CMOS image sensor 12.
  • the clamp circuit 21 clamps the black level of the input RGB primary color signal to a predetermined level, and the gain adjustment circuit 22 sets the gain of the clamped RGB primary color signal according to the exposure amount.
  • the flicker components in the RGB primary color signals after gain adjustment are adjusted by the flicker reduction units 25R, 25G, and 25B after adjustment. Also, at the time of shooting, processing for performing flickerless shooting is performed.
  • flicker-less imaging means imaging capable of preventing an influence on image quality (deterioration of image quality) due to flicker generated from a flicker light source.
  • the white balance adjustment circuit 27 adjusts the white balance of the RGB primary color signal after flicker reduction
  • the gamma correction circuit 28 adjusts the gray scale of the RGB primary color signal after white balance adjustment.
  • a luminance signal Y and color difference signals RY and BY are output from the RGB primary color signals after gamma correction in the synthesis matrix circuit 29.
  • the luminance signal Y is generally generated after all the processing of the RGB primary color signals is completed. Therefore, as shown in FIG. By reducing, both flicker components of each color component and luminance component can be sufficiently reduced.
  • the unit 25 may be provided to detect and reduce flicker components in the luminance signal Y.
  • the complementary color system is a one-plate system having one CMOS image sensor having a complementary color filter formed on the light incident surface as the CMOS image sensor 12 of FIG.
  • the digital signal processing unit 20 sets the black level of the complementary color signal (synthesized signal) to a predetermined level.
  • the gain of the clamped complementary color signal is adjusted in accordance with the exposure amount, and the luminance signal and the RGB primary color signal are generated from the complementary color signal after gain adjustment.
  • the flicker reduction unit 25 reduces the flicker component in the luminance signal and the flicker component in the RGB primary color signal, and further corrects the gradation of the luminance signal after the flicker reduction to obtain the output luminance signal Y.
  • the white balance of the RGB primary signal after flicker reduction is adjusted, the gradation of the RGB primary signal after white balance adjustment is converted, and the color difference signal RY, BY from the RGB primary signal after the gamma correction. Is generated.
  • the preparation operation is an operation for preparation for imaging, and is an operation performed immediately before imaging.
  • the preparation operation is, for example, a half-press operation in which the shutter button included in the operation unit 18a is pushed halfway (to about half).
  • a preparation operation for capturing a still image of the subject is performed.
  • preparation operations for capturing a still image of a subject include setting of an exposure control value, detection operation for detecting a focus, and light emission of an auxiliary light unit. Note that when the shutter button is released while the shutter button is pressed halfway, these preparation operations end.
  • the shutter button When the shutter button is further pressed from the half-pressed state and the shutter button is fully pressed, shooting is instructed to the imaging device 100, and the exposure operation for the subject image (light image of the subject) is performed using the CMOS imaging device 12. Is done. Predetermined signal processing by the analog signal processing unit 13 and the digital signal processing unit 20 is performed on the image data obtained by the exposure operation, and a still image is obtained. Image data corresponding to the obtained still image is appropriately stored in a storage device (not shown).
  • shooting of a moving image may be performed by the imaging device 100.
  • a moving image is taken, for example, when the shutter button is pressed, the moving image is taken and the moving image is recorded, and when the shutter button is pressed again, the moving image shooting is stopped.
  • the flicker reduction process is, for example, a process performed on a through image in live view display.
  • the frame rate is 60 fps (frames per second) and the commercial power supply frequency is 50 Hz (hertz)
  • the features of the flicker component generated in this case are as follows. (1) 5/3 cycles are generated in one screen (three frames (or fields) may be repeated). (2) The phase changes every line. (3) It can be treated as a sine wave having a frequency (100 Hz) twice that of the commercial power supply frequency (50 Hz).
  • FIG. 3 it is assumed that scanning is performed from the upper side (upper part of the screen) to the lower side (lower part of the screen).
  • the CMOS image sensor 12 since the exposure timing is different for each horizontal line, the light reception amount changes according to the horizontal line. Therefore, even if the fluorescent lamp illuminates spatially uniformly, as shown in FIG. 3, the horizontal line where the value of the video signal is higher than the average and the horizontal line where the value of the video signal is lower than the average It will exist.
  • the flicker component amplitude of the flicker component
  • the flicker component is the highest at the top horizontal line in the image, that is, the top line.
  • the flicker component is also the highest at a horizontal line shifted from the leading line by 3/5 of the total number of lines included in one screen.
  • the flicker component can be represented by a sin function (sine wave) having an amplitude, a period, and an initial phase as shown in FIG.
  • the initial phase in this example means the phase at the top line.
  • the phase of each horizontal line changes according to the frame. That is, for each frame, the horizontal line in which the value of the video signal is higher than the average value and the horizontal line in which the value of the video signal is lower than the average value change.
  • the initial phase is a different sine wave. For example, assuming that a flicker due to a fluorescent light occurs at 100 Hz and the frame rate is 60 fps, five cycles of the flicker of the fluorescent light correspond to a time corresponding to three frames. Therefore, the initial phase becomes the same phase every three frames. Thus, the flicker component fluctuates according to the horizontal line and the frame.
  • the flicker component can be represented by a sine wave having a period of 5 frames.
  • An example of the processing (operation) for reducing the flicker component having the above-described property will be described.
  • FIG. 4 shows a detailed configuration example of the flicker reduction unit 25.
  • the input image signal means the RGB primary color signal or the luminance signal before flicker reduction processing input to the flicker reduction unit 25, respectively, and the output image signal is the flicker reduction unit 25 respectively. It means the RGB primary color signal or the luminance signal after the flicker reduction processing which is output from.
  • the flicker reduction unit 25 includes, for example, a normalized integral value calculation block 30, an operation block 40, a DFT (discrete Fourier transform) block 50, a flicker generation block 55, and a frequency estimation / peak detection block 60.
  • the normalized integral value calculation block 30 includes an integral block 31, an integral value holding block 32, an average value calculation block 33, a difference calculation block 34, and a normalization block 35.
  • the integration block 31 integrates the input image signal In ′ (x, y) over one line in the horizontal direction of the screen to calculate an integrated value Fn (y).
  • the calculated integral value Fn (y) is stored and held in the integral value holding block 32 for flicker detection in the subsequent frames.
  • the integration value holding block 32 is configured to be able to hold integration values for at least two frames.
  • the average calculation block 33 calculates an average AVE [Fn (y)] of the three integrals Fn (y), Fn_1 (y) and Fn_2 (y).
  • Fn_1 (y) is the integral value Fn_1 (y) of the same line one frame before
  • Fn_2 (y) is the integral value Fn_2 (y) of the same line two frames ago, and these integral values Is a value read from the integral value holding block 32.
  • the difference calculation block 34 calculates the difference between the integrated value Fn (y) supplied from the integration block 31 and the integrated value Fn_1 (y) one frame before supplied from the integrated value holding block 32.
  • the difference value Fn (y) -Fn_1 (y) the influence of the subject is sufficiently removed, and the appearance of the flicker component (flicker coefficient) appears more clearly than the integral value Fn (y).
  • the difference value Fn (y) ⁇ Fn_1 (y) from the difference calculation block 34 is divided by the average value AVE [Fn (y)] from the average value calculation block 33.
  • a normalization process is performed to calculate a normalized difference value gn (y).
  • the DFT block 50 discrete Fourier transforms the data corresponding to one wavelength (the L line) of the flicker of the normalized difference value gn (y) from the normalization block 35. Thereby, the amplitude ⁇ m and the initial phase mnmn of each flicker component are estimated.
  • the initial phase mn mn is held in association with a counter for each predetermined time (for example, every 0.5 ⁇ s (microseconds)) generated in the imaging device 100.
  • a flicker coefficient ⁇ n (y) is calculated from the estimated values of ⁇ m and mn m n from the DFT block 50. Then, the calculation block 40 adds 1 to the flicker coefficient ⁇ n (y) from the flicker generation block 53, and applies an inverse gain divided by the sum [1 + ⁇ n (y)] of the input image signal In '(x, y) Do the processing. As a result, the flicker component included in the input image signal In ′ (x, y) is almost completely removed, and the operation block 40 substantially eliminates the flicker component as an output image signal (RGB primary color signal or luminance signal after flicker reduction processing). Thus, a signal component In (x, y) which does not include the flicker component is obtained.
  • the above-described flicker reduction process may be performed at the time of shooting (including recording) of a moving image.
  • flicker components for each of RGB are detected.
  • the timing of the peak of the color component (channel) at which the amplitude is maximum is detected.
  • the peak of the luminance signal may be detected.
  • the initial phase mn mn calculated by the DFT block 50 is supplied to the frequency estimation / peak detection block 60.
  • the frequency estimation / peak detection block 60 estimates at least the frequency of the flicker component (light source), that is, the period of the flicker component based on the input initial phase mn mn, and detects the timing of the peak of the flicker component. .
  • the frequency estimation / peak detection block 60 estimates the frequency of the flicker component from the time difference based on the frame rate and the phase difference of the initial phase mn mn.
  • the frequency estimation / peak detection block 60 detects the timing of the peak of the flicker component from, for example, the initial phase mnmn in the first frame and the counter associated with the initial phase ⁇ mn.
  • the initial phase mn mn is 60 degrees
  • the information obtained by the frequency estimation / peak detection block 60 is communicated to the system controller 14. Note that, as described above, the peak of the flicker component is a point where the amplitude of the flicker component is maximum.
  • the characteristics of the flicker component are determined based on the imaging result (captured image obtained through the imaging unit) It can be detected. Therefore, it is possible to prevent an increase in cost due to an increase in the number of parts.
  • the imaging device can be miniaturized. The process of obtaining the feature of the flicker component is not limited to the method described above, and a known method can be applied.
  • the flickerless shooting process is, for example, a process that is executed when the flickerless shooting mode is set to the imaging apparatus 100.
  • the frame rate after switching is, for example, N times the frequency of the light source (however, a frequency greater than the frequency of the flicker component (100 Hz or 120 Hz)), and preferably one cycle of the flicker component in the frame.
  • N 4, that is, 200 fps (if the light source frequency is 50 Hz) or 240 fps (if the light source frequency is 60 Hz).
  • the frequency of the flicker light source may be obtained from the setting of the user, or may be automatically set based on the result of the above-described flicker reduction processing in live view display. That is, in the flicker reduction processing, when the flicker rate is not detected when the frame rate is 60 fps, the frequency of the light source is determined to be 50 Hz, and when the flicker rate is not detected when the frame rate is 50 fps, The frequency may be determined to be 60 Hz and the result may be used for the flickerless imaging process. Further, the presence or absence of flicker may be detected in the flickerless photographing process.
  • the timing to switch the frame rate can be set appropriately, it is preferably immediately before shooting, and for example, the frame rate is switched when an operation to half-press the shutter button which is a preparation operation for shooting is performed. More specifically, an operation signal corresponding to an operation of pressing the shutter button halfway is supplied to the system controller 14 via the interface 19.
  • the system controller 14 controls the timing generator 16 to drive the CMOS image sensor 12 to increase the frame rate.
  • the repetition cycle of the flicker component changes. For example, when the frame rate is 200 fps, the repetition period of the flicker component is 20 frames, and when the frame rate is 240 fps, the repetition period of the flicker component is 12 frames.
  • Image data is obtained based on the accelerated frame rate.
  • the obtained image data is processed by the analog signal processing unit 13 and input to the digital signal processing unit 20.
  • the above-described flicker reduction processing is similarly performed by the flicker reduction unit 25 on image data obtained at a high frame rate.
  • the initial phase mn mn output from the DFT block 50 is input to the frequency estimation / peak detection block 60 of the flicker reduction unit 25.
  • the frequency estimation / peak detection block 60 estimates at least the frequency (period) of the flicker component (light source) based on the input initial phase mn mn, and further detects the peak timing of the flicker component.
  • FIG. 5 is a diagram summarizing the process described above.
  • An image captured at a normal frame rate for example, 50 or 60 fps
  • the image subjected to the flicker reduction processing is displayed on the display unit 18 b as a through image.
  • the frame rate is switched at high speed (for example, 200 or 240 fps), and frequency estimation and peak detection processing are performed together with the flicker reduction processing.
  • the image subjected to the flicker reduction processing is displayed on the display unit 18 b.
  • FIG. 6 is a diagram for explaining processing in photographing performed in response to a deep-press operation on the shutter button.
  • the frequency of the flicker component is estimated, and a process of detecting the peak timing is performed. This process is repeatedly performed while the half-press operation is performed.
  • the half-press operation it is determined whether the mode for performing flickerless shooting is set (the mode is set to ON).
  • the mode for performing flickerless shooting is set, the process described below is executed.
  • the flicker reduction unit 25 notifies the system controller 14 (shutter control unit 14c) of the timing (TB in this example) of the next peak of the flicker component.
  • the timing of the peak here is, for example, the timing obtained immediately before the deep pressing operation is performed.
  • the system controller 14 executes imaging in which the exposure timing is synchronized with the timing of the peak of the flicker component.
  • the closest timing at which the flicker component peaks is the timing TB.
  • the exposure timing is synchronized with the timing (for example, timing TC) later in time by the period multiple of the flicker component from the timing TB in consideration of the delay of the process related to the still image shooting.
  • the exposure timing may be synchronized with the timing TB if processing can be made in time.
  • the imaging in which the exposure timing is synchronized with the timing of the peak of the flicker component is, for example, the timing at which the shutter speed (exposure time) and the center of the curtain speed coincide with or substantially coincide with the peak of the flicker component.
  • substantially match means that the timing deviation is within a predetermined error range.
  • the barycenter (exposure barycenter) of the hatched square indicating the exposure amount matches or substantially matches the peak of the flicker component. Since the exposure timing is always synchronized with the peak of the flicker component, it is possible to realize flickerless imaging in which the image quality of the image is prevented from being degraded by the flicker component.
  • FIG. 7 is a flowchart illustrating an example of the flow of processing in flickerless imaging.
  • the system controller 14 determines whether the flickerless shooting mode (flickerless shooting mode) is set.
  • processing relating to normal imaging here, imaging that means flickerless imaging processing is not performed. If it is determined in step ST11 that the flickerless shooting mode is set, the process proceeds to step ST12.
  • step ST12 it is determined whether the shutter button included in the operation unit 18a has been half-pressed.
  • the flicker reduction processing is performed on the image captured at the normal frame rate (for example, 50 or 60 fps), and the image on which the flicker reduction processing is performed is displayed as the through image on the display unit 18b. Is displayed on.
  • the flicker reduction processing is not performed when no flicker such as shooting outside occurs and a flicker component is not detected. If the shutter button is pressed halfway, the process proceeds to step ST13.
  • step ST13 the flickerless photographing process is executed according to the half-press operation of the shutter button.
  • the CMOS imaging device 12 is driven at a high frame rate (for example, 200 or 240 fps), the frequency of the flicker component is estimated using the obtained image data, and the timing at which the peak of the flicker component comes is detected. Processing is performed.
  • the frequency of the flicker component is estimated in the flicker reduction processing, only the processing of detecting the timing of the peak of the flicker component may be performed. Data such as the obtained timing is notified to the system controller 14. The above process is continued, for example, while the half-press operation is continued. Then, the process proceeds to step ST14.
  • step ST14 it is determined whether or not the shutter button has been deeply pressed in the flicker environment where the flicker occurs. If it is determined that the shutter button has been deeply pressed in an environment where no flicker has occurred in this determination, the process proceeds to step ST15. In step ST15, a still image shooting process in which the flickerless shooting process is not performed is executed. On the other hand, if the shutter button has been deeply pressed in an environment where flicker has occurred, the process proceeds to step ST16.
  • step ST16 flickerless imaging is performed. That is, shooting is performed in which the exposure timing is synchronized with the peak of the flicker component obtained in the process of step ST13. As a result, it is possible to perform shooting that prevents the deterioration of the image quality of the still image due to the flicker component.
  • the flicker reduction process may not be performed on the through image.
  • flickerless photographing processing performed in response to a half-press operation of the shutter button, that is, using image data obtained by exposing at a high frame rate, flickers in a manner similar to the flicker reduction processing. The presence or absence may be detected.
  • shooting is performed in synchronization with the timing of the peak of the flicker component obtained before continuous shooting even after the second image. It is also good. That is, based on the timing of the peak of the flicker component detected before the first exposure, the imaging may be performed in synchronization with the timing of the second and subsequent exposures to the timing of the peak of the flicker component. .
  • processing may be performed to enhance the effects of processing to increase sensitivity and processing to reduce noise (noise reduction processing).
  • the flickerless shooting process may not be performed.
  • shooting is performed while synchronizing the exposure timing with the timing of the peak of the flicker component.
  • the image obtained by the photographing may be brighter than the image (the image displayed on the display unit 18 b) confirmed by the user at the time of the half-press operation. Therefore, gain control processing such as decreasing the luminance may be performed on the obtained image.
  • the flickerless photographing avoids the deterioration of the image quality due to the flicker component
  • the exposure of the image obtained by the photographing may be over as described above. Therefore, for example, in response to full imaging (for example, the shutter button is fully pressed), amplitude information of the flicker component obtained at the time of detection of the flicker component (for example, while the shutter button is half-pressed) is used.
  • the exposure correction is performed on an image obtained by photographing. Control for correcting the exposure is performed by, for example, the system controller 14. If the shutter speed at detection is made the same as the shutter speed at shooting, the exposure correction amount at shooting (correction amount required for exposure correction) can be determined from the amplitude of the flicker component obtained at detection.
  • exposure correction may be performed for the amplitude of the flicker component being detected.
  • the shutter speed at the time of detection is different from the shutter speed at the time of shooting, it is possible to predict the exposure correction amount necessary at the time of shooting based on the amplitude of the flicker component obtained at the time of detection.
  • the intensity of the flicker component appearing in the image depends on the shutter speed (exposure time).
  • the effect of the flicker light source on the image occurs as an integral of the exposure time of the light source flicker.
  • the exposure time is short, flickering of the light source appears in the image as it is, and when the exposure time becomes long, the difference between the brightest part and the darkest part of the flicker becomes smaller due to the integrated effect, and the exposure time is an integral multiple of the light source blink cycle. Then the blink completely cancels out by the integration.
  • the relationship (correlation value) between the shutter speed and the intensity of the flicker component in the image is illustrated, it becomes, for example, a line L1 in the graph of FIG.
  • the horizontal axis indicates (1 / shutter speed), and the vertical axis indicates normalized flicker intensity (hereinafter appropriately referred to as flicker intensity).
  • the normalized flicker intensity is a numerical value expressing the flicker intensity for convenience, and is also referred to as an amplitude coefficient.
  • the graph of FIG. 8 indicates that the flicker intensity is 0 at an integral multiple of the light source cycle (for example, 1/100 second).
  • the graph shown in FIG. 8 is stored in the system controller 14 as a table, for example.
  • the system controller 14 refers to this table to determine an appropriate exposure correction amount.
  • the numerical values described in the table may be numerical values obtained by actual measurement or numerical values obtained by simulation.
  • the system controller 14 determines a shutter speed (hereinafter referred to as a shutter speed SS1 as appropriate) at the time of detection of the flicker component and a shutter speed (hereinafter referred to as a shutter speed SS2 as appropriate) in the main photographing. This can be determined with reference to settings and the like for the imaging device 100.
  • the system controller 14 determines the flicker intensity corresponding to the shutter speed SS1 with reference to the table. For example, it is determined that the flicker intensity corresponding to the shutter speed SS1 is ⁇ 1. Further, the system controller 14 obtains the flicker intensity corresponding to the shutter speed SS2 with reference to the table. For example, the flicker intensity corresponding to the shutter speed SS2 is determined to be ⁇ 2.
  • the system controller 14 obtains the amplitude of the flicker component at the time of main shooting (the amount of flickering of the actual flicker component that is not normalized).
  • the amplitude of the flicker component at the time of main shooting is given by the following equation (1A).
  • Amplitude of flicker component at the time of real shooting amplitude of flicker component obtained at detection ⁇ ⁇ 2 / ⁇ 1 (1A)
  • the amplitude of the flicker component obtained at the time of detection can be obtained from the output of the DFT block 50.
  • the system controller 14 sets the amplitude of the flicker component at the time of main shooting, which is the result of the equation (1A), as the exposure correction amount at the time of main shooting.
  • exposure correction based on the exposure correction amount is performed with control values other than the shutter.
  • the system controller 14 sets the gain to be the obtained exposure correction amount.
  • the set gain is multiplied by the image obtained in the main shooting.
  • a gain control unit for performing such gain control may be provided in the digital signal processing unit 20, and the digital signal processing unit 20 may operate in accordance with the control of the system controller 14.
  • the system controller 14 may control the aperture so as to obtain the aperture value corresponding to the exposure correction amount.
  • the gain and the aperture value corresponding to the exposure correction amount may be described in a table, for example, or may be obtained by calculation.
  • the second example is an example in which the shutter speed at the time of main shooting is changed according to the exposure correction amount.
  • the amount of correction changes accordingly. Therefore, in the second example, an example of a method of determining the shutter speed at the time of main shooting at one time will be described.
  • the scales of the horizontal axis and the vertical axis of the graph shown in FIG. 8 are converted into, for example, EV (Exposure Value) values by a known method as shown in FIG.
  • EV Exposure Value
  • an imaginary straight line L2 having an inclination of 1 is set from an intersection point P1 of the shutter speed at detection and the vertical axis 0.
  • the system controller 14 identifies the shutter speed corresponding to the intersection point P2 of the line L1 and the line L2, and sets the shutter speed as the shutter speed at the time of main photographing.
  • the shutter speed at the time of the main photographing can be set appropriately, and the exposure of the image can be appropriately corrected.
  • the first example and the second example regarding the correction of the exposure described above may be switched and performed according to the mode or the like set in the imaging device 100.
  • the relationship (correlation value) between the shutter speed and the amplitude of the flicker component in the image may be determined not by a table but by a predetermined calculation or the like.
  • the shutter speed in the imaging device 100 becomes longer than a predetermined value
  • the waveform of the flicker component obtained is integrated and approximates to a sine wave.
  • the phase of the flicker component is inverted. Therefore, check the setting of the shutter speed, and if the shutter speed is longer than one cycle of the flicker component, flickerless shooting processing may not be performed, or the phase shift (for example, shift of 180 degrees)
  • a process of correcting the timing of the peak may be performed depending on the condition.
  • processing may be performed to notify the user that flickerless shooting can not be performed.
  • the preparation operation may be another operation such as an operation of stopping or substantially stopping the imaging device 100 for a certain period or more.
  • the digital signal processing unit 20 including the flicker reduction unit 25 is configured by hardware, but part or all of the flicker reduction unit 25 or the digital signal processing unit 20 is configured by software. May be In addition, multiple (for example, two) flicker reduction units 25 are provided, and processing blocks for performing flicker reduction processing for through images and image processing obtained for flickerless image processing obtained at a high frame rate are separately adopted. It may be done.
  • the fluorescent light source is described as an example of the light source that generates flicker, but the light source is not limited to the fluorescent light, and other light sources (for example, LEDs) may be used as long as they flicker with periodicity.
  • the present technology can be applied.
  • the process of specifying the frequency of the LED may be performed as a previous step.
  • the embodiment described above is also applicable to an imaging device using an imaging device to which an XY address scanning type imaging device other than a CMOS imaging device or a rolling shutter is applied.
  • FIG. 11 is a diagram for explaining that the waveform of each flicker component in RGB differs according to the type of flicker light source.
  • the horizontal axes of the graphs in FIGS. 11A, 11B, and 11C indicate time, and the vertical axes indicate output levels of images in the JPEG (Joint Photographic Experts Group) format.
  • the solid line indicates the component of R
  • the dotted line indicates the component of G
  • the dashed-dotted line indicates the component of B.
  • FIG. 11A shows a waveform example of the flicker component of a daylight white fluorescent lamp.
  • FIG. 11B shows a waveform example of the flicker component of the three-wavelength daylight white fluorescent lamp.
  • FIG. 11C shows an example of the waveform of the flicker component of the mercury lamp.
  • the waveforms of the flicker components for each of the RGB are different according to the type of the flicker light source. This characteristic of the flicker light source may affect the white balance (color tone) of the image obtained by the flickerless photographing process.
  • FIG. 12 is a diagram for explaining the color shift due to the flicker of the daylight white fluorescent lamp which is an example of the flicker light source.
  • FIG. 12 shows two exposure times when the exposure timing is synchronized with the timing of the peak of the flicker component.
  • the long exposure time Ta is, for example, 1/100 second
  • the short exposure time Tb is, for example, 1/1000 second.
  • the color of the image obtained at each exposure time is an integral value obtained by integrating RGB during the exposure time. If the same white balance processing is performed on the two obtained images, the integrated values of RGB are different, so the colors of the two images obtained by the white balance may be different.
  • the second embodiment is an embodiment corresponding to this point.
  • FIG. 13 is a configuration example of a digital signal processing unit (hereinafter appropriately referred to as a digital signal processing unit 20A) in the second embodiment.
  • a memory 27A is connected to the white balance adjustment circuit 27.
  • the memory 27A stores parameters for adjusting the white balance (hereinafter referred to as white balance gain as appropriate) according to the shutter speed.
  • the white balance gain read from the memory 27A is set in the white balance adjustment circuit 27 under the control of the system controller 14. In the present embodiment, the generation of the white balance gain is controlled by the system controller 14.
  • the auto white balance mode is a mode in which the white balance gain is automatically set by the imaging device 100A.
  • the preset white balance mode is a mode in which a plurality of representative light sources (sun, a light bulb, a fluorescent lamp, and the like) can be selected, and a white balance gain optimal for the selected light source is set.
  • the custom white balance mode is a mode in which the user experimentally shoots (a test shoot) an achromatic place such as a wall under the use environment of the imaging device 100A, and acquires a white balance gain according to the result.
  • step ST21 the user performs an operation of changing the setting of the white balance using the operation unit 18a. Then, the process proceeds to step ST22.
  • step ST22 the system controller 14 determines whether the auto white balance is set as the setting of the white balance. If the auto white balance mode is set, the process proceeds to step ST23.
  • step ST23 a white balance gain is automatically generated by, for example, the system controller 14 of the imaging device 100A, and the white balance gain is set in the white balance adjustment circuit 27.
  • step ST24 when the set white balance mode is not the auto white balance mode, the process proceeds to step ST24.
  • step ST24 the system controller 14 determines whether the preset white balance has been set as the setting of the white balance. If the preset white balance mode is set, the process proceeds to step ST25. In step ST25, the white balance gain corresponding to the selected light source is read from the memory 27A, and the white balance gain is set in the white balance adjustment circuit 27. In step ST24, when the set white balance mode is not the preset white balance mode, the process proceeds to step ST26.
  • step ST26 since the custom white balance mode is set as the white balance mode, test shooting is performed to generate (to obtain) a white balance gain.
  • a display for prompting test shooting may be displayed on the display unit 18b. The test imaging starts, and the user points the imaging device 100A to the achromatic area and the shutter button is pressed. Then, the process proceeds to step ST27.
  • step ST27 the drive rate of the CMOS image sensor 12 is controlled to increase the frame rate (for example, 200 or 240 fps). Then, the presence or absence of the flicker component, the frequency, the timing of the peak, etc. are detected. Note that details of this process are described in detail in the first embodiment, and thus redundant descriptions will be omitted. Then, the process proceeds to step ST28.
  • the frame rate for example, 200 or 240 fps
  • step ST28 the system controller 14 determines whether the flicker component is detected in the process of step ST27. If a flicker component is not detected, the process proceeds to step ST29, where a process according to photographing of an achromatic color such as one, white, gray, etc. is performed at an exposure time T1.
  • the exposure time T1 is 1 / n seconds (n is often 100 or 120 at the light source frequency) at which flicker does not occur. Then, the process proceeds to step ST30.
  • step ST30 the system controller 14 generates an appropriate white balance gain Wb for the image data obtained as a result of the test imaging. Then, the process proceeds to step ST31.
  • step ST31 the white balance gain Wb obtained in the process of step ST30 is stored and stored in the memory 27A according to the control by the system controller 14.
  • step ST32 a test shooting is performed to shoot a single achromatic area in the exposure time T1.
  • This test shooting is flickerless shooting processing in which the exposure timing is synchronized with the timing of the peak of the flicker component described in the first embodiment. Then, the process proceeds to step ST33.
  • step ST33 following the shooting in step ST32, test shooting is performed to shoot a single achromatic spot in the exposure time T2.
  • This test shooting is also flickerless shooting processing in which the exposure timing is synchronized with the timing of the peak of the flicker component.
  • the exposure time T2 is, for example, the fastest shutter speed that can be set in the imaging device 100A, and is 1/8000 seconds in this example.
  • the test shooting in steps ST32 and 33 is, for example, automatically and continuously executed by the user pressing the shutter button once to perform test shooting, and the user needs to press the shutter button twice. There is no. Then, the process proceeds to step ST34.
  • step ST34 the system controller 14 generates appropriate white balance gains WbT1 and WbT2 for the image A obtained in the test shooting in step ST32 and the image B obtained in the test shooting in step ST33. Then, the process proceeds to step ST35.
  • step ST35 the white balance gains WbT1 and WbT2 corresponding to the exposure times T1 and T2 are stored in the memory 27A in association with the exposure times.
  • the white balance gain obtained by the flickerless shooting is stored in association with a flag indicating that.
  • step ST41 after the shutter button for the main shooting (second shooting) for actually shooting a subject is pressed, a process of selecting the white balance gain stored in the memory 27A is performed. This selection process may be performed by the user, or the latest white balance gain may be selected by the control of the system controller 14. Then, the process proceeds to step ST42.
  • step ST42 it is determined whether the white balance gain selected in step ST41 is obtained by test imaging in flickerless imaging. Whether or not the selected white balance gain is obtained by the test shooting in flickerless shooting can be determined by referring to the flag associated with the white balance gain stored in the memory 27A. can do.
  • the selected white balance gain is the white balance gain Wb calculated and stored in steps ST30 and ST31 in FIG. 14, a negative determination is made in step ST42, and the process proceeds to step ST43.
  • step ST43 the selected white balance gain Wb is set in the white balance adjustment circuit 27 as the white balance gain used in the main photographing. Then, the process proceeds to step ST44.
  • step ST44 signal processing such as white balance adjustment processing using the white balance gain Wb is performed on the image data captured by the shooting processing of the main shooting. Image data subjected to various signal processing is stored appropriately.
  • step ST42 when the white balance gain selected in step ST41 is obtained by test imaging in flickerless imaging, the process proceeds to step ST45.
  • step ST45 an exposure time (shutter speed) Tact used for photographing is acquired. Then, the process proceeds to step ST46.
  • step ST46 the exposure times T1 and T2 used for generating the white balance gain are read out from the memory 27A. Then, the process proceeds to step ST47.
  • step ST48 the white balance gain WbT1 corresponding to the exposure time T1 is read from the memory 27A and set in the white balance adjustment circuit 27. Then, the process proceeds to step ST44.
  • step ST44 a photographing process is performed.
  • signal processing such as white balance adjustment processing using the white balance gain Wb1 is performed on image data obtained by main imaging. Image data subjected to various signal processing is stored appropriately.
  • step ST50 the white balance gain WbT2 corresponding to the exposure time T2 is read from the memory 27A and set in the white balance adjustment circuit 27. Then, the process proceeds to step ST44.
  • step ST44 a photographing process is performed.
  • signal processing such as white balance adjustment processing using the white balance gain Wb2 is performed on image data obtained by main imaging. Image data subjected to various signal processing is stored appropriately.
  • step ST49 the process proceeds to step ST51.
  • the system controller 14 applies a white balance gain WbTact corresponding to an exposure time Tact different from the exposure times T1 and T2 based on the generated white balance gains WbT1 and WbT2.
  • the white balance gain WbTact can be generated, for example, by linear interpolation processing.
  • the white balance gain WbTact corresponding to the exposure time Tact is generated by the processing in step ST51, and is set in the white balance adjustment circuit 27. Then, the process proceeds to step ST44.
  • step ST44 a photographing process is performed.
  • signal processing such as white balance adjustment processing in which the white balance gain WbTact set to the image data obtained by the main imaging is applied is executed.
  • Image data subjected to various signal processing is stored appropriately.
  • the second embodiment can be modified as follows.
  • two images are obtained by performing test imaging twice, and a white balance gain corresponding to each exposure time is generated based on the two images, but the invention is limited thereto. It is not something to be done.
  • three images are obtained by performing test imaging with flickerless imaging three times, with the center of the curtain speed aligned with the peak of the flicker component, and white balance gain WbT1 corresponding to each exposure time WbT2 and WbT3 may be calculated.
  • four or more test shots may be performed. It should be noted that, in the example of FIG. 10, since the B component decreases as the exposure time becomes longer, the gain of B is increased.
  • the exposure times T1, T2 and T3 in FIG. 16 are 1/100 sec, 1/1000 sec and 1/8000 sec, respectively, this exposure time should be appropriately set unless it is later than one cycle of the flicker component. Is possible.
  • the white balance gains corresponding to the exposure time outside may be obtained by interpolation from the white balance gains WbT1 and WbT2 corresponding to the exposure times T1 and T2.
  • the test imaging may be performed from the test imaging with the shorter exposure time or may be performed from the test imaging with the longer exposure time.
  • the white balance gain corresponding to the exposure time may be generated on the basis of a plurality of images obtained by flickerless imaging in the past.
  • information on the shutter speed may be included in metadata (accompanying information) associated with an image to generate a white balance gain corresponding to the shutter speed.
  • the generated white balance gain may be stored and used later.
  • the image obtained in the past may be an image stored in the imaging device, an image stored in a portable memory, or an image downloaded via the Internet or the like.
  • the generated white balance gain may be stored for later use.
  • position information such as GPS (Global Positioning System), exposure time (or shutter speed) and white balance gain are stored in association with each other, and shooting is performed at the same place and the same exposure time.
  • a process of setting the past white balance gain at that place or presenting it to the user may be performed.
  • the timing at which the test shooting and the main shooting are performed is synchronized with the timing of the peak of the flicker component, but other timings such as the timing of the bottom of the flicker component It may be synchronized with the timing, and the phase of the flicker component for synchronizing the exposure timing may be the same in each photographing.
  • the white balance corresponding to T1 and T2 may be used as white balance gains corresponding to the shutter speed.
  • the second embodiment is applicable to any of a mechanical shutter, an electronic shutter, a global shutter, a rolling shutter, and the like, and is also applicable to the case where the imaging device is a CCD (Charge Coupled Device).
  • CCD Charge Coupled Device
  • the light source frequency of the flicker light source is not limited to 100 Hz or 120 Hz, and the present technology can be applied to LEDs that blink rapidly.
  • test shooting is performed in advance while changing the exposure time for the achromatic color chart etc., and the white balance gain corresponding to the exposure time is calculated.
  • the second embodiment described above a plurality of subjects of various colors other than white such as Macbeth chart are photographed at different exposure times under a flicker light source, and parameters related to color reproduction for each exposure time are calculated. You may That is, the second embodiment of the present technology does not only generate white balance gain corresponding to different exposure times but also parameters related to color adjustment for each exposure time including at least one of white balance gain and parameters related to color reproduction. It can be configured to be controlled.
  • flickerless shooting may be performed during monitoring of an object, and a white balance gain for each exposure time may be generated also for a through image obtained by shooting.
  • the exposure time in step ST45 may be automatically set by the imaging device.
  • the exposure times T1 and T2 in steps ST32 and ST33 may be set to be different depending on the type of flicker light source, or the white balance gain etc. may be set according to the type of flicker light source.
  • the parameters of may be generated.
  • a white balance gain or the like according to the shutter speed set in the imaging device 100 may be generated.
  • the white generated in advance is generated.
  • a balance gain or the like may be applied.
  • system controller 14 generates the white balance gain and the like in the second embodiment described above, other functional blocks may generate the white balance gain according to the control of the system controller 14.
  • An imaging control apparatus comprising: a control unit that performs control of synchronizing the timing of exposure with the timing of the peak of the flicker component based on the detected period of the flicker component and the timing of the peak of the flicker component.
  • the imaging control device according to (1) wherein the period of the flicker component and the timing of the peak of the flicker component are detected based on an imaging result by an imaging unit.
  • the control unit controls the imaging unit to switch to a second frame rate that is faster than the first frame rate, and the cycle of the flicker component and the timing of the peak of the flicker component are the second frame.
  • the imaging control device according to (1) or (2) which is detected based on rate-based image data.
  • the imaging control apparatus is configured to perform control of switching the frame rate in accordance with a preparation operation for preparing to perform imaging.
  • the apparatus further comprises a detection unit that detects the presence or absence of the flicker component, The imaging control apparatus according to any one of (1) to (5), wherein the period of the flicker component and the timing of the peak of the flicker component are detected by the detection unit.
  • the imaging control apparatus according to any one of (3) to (5), wherein the second frame rate is N times (wherein N is an integer of 3 or more) the first frame rate.
  • the first frame rate is 50 fps or 60 fps (frames per second),
  • the imaging control apparatus according to (2) including the imaging unit.
  • the control unit is configured to continuously perform control to synchronize the timing of exposure with the timing of the peak of the flicker component according to the setting of shooting, according to any one of (1) to (9).
  • Imaging control device (11) The imaging control apparatus according to (10), wherein control to synchronize the exposure timing is continuously performed based on the timing of the peak of the flicker component detected before the first exposure.
  • the imaging control apparatus according to any one of (1) to (11), wherein the control unit is configured not to perform the control when ambient brightness is less than or equal to a predetermined value. (13) The imaging control apparatus according to any one of (3) to (5), wherein an additional process is performed when the frame rate is switched. (14) The imaging control apparatus according to (13), wherein the additional process is at least one of a process of increasing sensitivity and a process of enhancing the effect of noise reduction. (15) The imaging control apparatus according to any one of (1) to (14), wherein the control unit performs control to correct an exposure of an image obtained by the control.
  • the image pickup control apparatus controls the exposure of the image based on a correction value obtained from a relationship between a shutter speed and a flicker intensity.
  • the control unit determines the shutter speed at the time of the control based on the shutter speed at the time of the detection and the correction amount of the flicker component, and controls the exposure of the image by setting the shutter speed (15) Imaging control device.
  • the imaging control apparatus according to any one of (1) to (17), wherein the control unit is configured to determine whether to perform the control according to a set shutter speed.
  • the imaging device in the embodiment described above may be incorporated in a medical device, a smartphone, a computer device, a game device, a robot, a security camera, or a mobile body (train, airplane, helicopter, small flying body, etc.).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

検出されたフリッカ成分の周期および該フリッカ成分のピークのタイミングに基づいて、前記フリッカ成分のピークのタイミングに露光のタイミングを同期させる制御を行う制御部を備える撮像制御装置である。

Description

撮像制御装置、撮像制御方法およびプログラム
　本技術は、撮像制御装置、撮像制御方法およびプログラムに関する。
　室内用の光源として普及している蛍光灯や近年普及が拡大しているＬＥＤ(Light Emitting Diode)等は、商用電源周波数の影響により周期的に照明光が明滅するいわゆるフリッカが生じる。このようなフリッカによる色むら等の画質の低下を防止するための撮像装置に関する技術が提案されている（例えば、下記特許文献１を参照のこと。）。
特開２０１４－２２０７６３号公報
　特許文献１の装置は、フリッカを検出するために撮像素子（イメージャ）とは別のセンサを使用しているため、装置の小型化が困難になる、という問題がある。
　本技術はこのような問題点に鑑みなされたものであり、フリッカによる画質の低下を防止する撮像制御装置、撮像制御方法およびプログラムを提供することを目的の一つとする。
　上述の課題を解決するために、本技術は、例えば、
　検出されたフリッカ成分の周期および該フリッカ成分のピークのタイミングに基づいて、フリッカ成分のピークのタイミングに露光のタイミングを同期させる制御を行う制御部を備える撮像制御装置である。
　また、本技術は、例えば、
　制御部が、検出されたフリッカ成分の周期および該フリッカ成分のピークのタイミングに基づいて、フリッカ成分のピークのタイミングに露光のタイミングを同期させる制御を行う撮像制御方法である。
　また、本技術は、例えば、
　制御部が、検出されたフリッカ成分の周期および該フリッカ成分のピークのタイミングに基づいて、フリッカ成分のピークのタイミングに露光のタイミングを同期させる制御を行う撮像制御方法をコンピュータに実行させるプログラムである。
　本技術の少なくとも一の実施形態によれば、フリッカによる画質の低下を抑制することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本技術中に記載されたいずれの効果であってもよい。また、例示された効果により本技術の内容が限定して解釈されるものではない。
図１は、本技術の実施形態に係る撮像装置の構成例を示すブロック図である。 図２は、本技術の第１の実施形態に係るデジタル信号処理部の構成例を示すブロック図である。 図３は、フリッカ成分の一例を示す図である。 図４は、本技術の実施形態に係るフリッカ低減部の構成例を示すブロック図である。 図５は、本技術の実施形態に係る撮像装置の動作例を説明するための図である。 図６は、フリッカレス撮影処理の一例を説明するための図である。 図７は、本技術の第１の実施形態に係る処理の流れの一例を示すフローチャートである。 図８は、フリッカの強度とシャッタスピードとの関係例を説明するための図である。 図９は、画像の露出を補正する制御の一例を説明するための図である。 図１０は、画像の露出を補正する制御の他の例を説明するための図である。 図１１Ａ、図１１Ｂおよび図１１Ｃは、フリッカ光源に応じたＲＧＢの波形例を示す図である。 図１２は、フリッカ光源の一例である昼白色蛍光灯のフリッカに起因する色のずれを説明するための図である。 図１３は、本技術の第２の実施形態に係るデジタル信号処理部の構成例を示すブロック図である。 図１４は、本技術の第２の実施形態に係る処理の流れの一例を示すフローチャートである。 図１５は、本技術の第２の実施形態に係る処理の流れの一例を示すフローチャートである。 図１６は、変形例を説明するための図である。
　以下、本技術の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．第１の実施形態＞
＜２．第２の実施形態＞
＜３．その他の変形例＞
　以下に説明する実施形態等は本技術の好適な具体例であり、本技術の内容がこれらの実施形態等に限定されるものではない。
＜１．第１の実施形態＞
［撮像装置の構成例］
「全体的な構成例」
　図１は、本技術の実施形態に係る撮像装置（撮像装置１００）システム構成例を示している。撮像装置１００は、被写体からの光が、撮像光学系１１を介してＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子１２に入射して、ＣＭＯＳ撮像素子１２で光電変換され、ＣＭＯＳ撮像素子１２からアナログ画像信号が得られる。例えば、撮像光学系１１およびＣＭＯＳ撮像素子１２により撮像部が構成される。
　ＣＭＯＳ撮像素子１２は、ＣＭＯＳ基板上に、フォトダイオード（フォトゲート）、転送ゲート（シャッタトランジスタ）、スイッチングトランジスタ（アドレストランジスタ）、増幅トランジスタ、リセットトランジスタ（リセットゲート）などを有する画素が複数、２次元状に配列されて形成されるとともに、垂直走査回路、水平走査回路および映像信号出力回路が形成されたものである。
　ＣＭＯＳ撮像素子１２は、後述のように原色系と補色系のいずれでもよく、ＣＭＯＳ撮像素子１２から得られるアナログ画像信号は、ＲＧＢ各色の原色信号または補色系の色信号である。
　そのＣＭＯＳ撮像素子１２からのアナログ画像信号は、ＩＣ（Integrated circuit）（集積回路）として構成されたアナログ信号処理部１３において、色信号ごとに、サンプルホールドされ、ＡＧＣ(Automatic Gain Control)（自動利得制御）によってゲインが制御され、Ａ／Ｄ(Analog to Digital)変換によってデジタル信号に変換される。
　アナログ信号処理部１３からのデジタル画像信号は、ＩＣとして構成され、検出部として機能するデジタル信号処理部２０において、後述のように処理される。そして、デジタル信号処理部２０内のフリッカ低減部２５において、後述のように信号成分ごとにフリッカ成分が低減された上で、最終的に輝度信号Ｙと赤、青の色差信号Ｒ－Ｙ，Ｂ－Ｙに変換されて、デジタル信号処理部２０から出力される。
　制御部の一例であるシステムコントローラ１４は、マイクロコンピュータなどによって構成され、撮像装置１００の各部を制御する。
　具体的に、システムコントローラ１４から、ＩＣによって構成されたレンズ駆動用ドライバ１５に、レンズ駆動制御信号が供給され、レンズ駆動用ドライバ１５によって、撮像光学系１１のレンズやアイリスが駆動される。
　また、システムコントローラ１４からタイミングジェネレータ１６に、タイミング制御信号が供給され、タイミングジェネレータ１６からＣＭＯＳ撮像素子１２に、各種タイミング信号が供給されて、ＣＭＯＳ撮像素子１２が駆動される。
　このとき、ＣＭＯＳ撮像素子１２のシャッタスピードも、システムコントローラ１４からのタイミング制御信号によって制御される。具体的に、システムコントローラ１４内のシャッタ制御部１４ｃによって、シャッタスピードが設定される。
　さらに、デジタル信号処理部２０からシステムコントローラ１４に、各信号成分の検波信号が取り込まれ、システムコントローラ１４からのＡＧＣ信号によって、アナログ信号処理部１３において、上記のように各色信号のゲインが制御されるとともに、システムコントローラ１４によって、デジタル信号処理部２０における信号処理が制御される。
　また、システムコントローラ１４には、手ぶれセンサ１７が接続され、これから得られる手ぶれ情報が、手ぶれ補正に利用される。
　また、システムコントローラ１４には、マイクロコンピュータなどによって構成されたインタフェース１９を介して、ユーザインタフェース１８を構成する操作部１８ａおよび表示部１８ｂが接続され、操作部１８ａでの設定操作や選択操作などが、システムコントローラ１４によって検出されるとともに、カメラの設定状態や制御状態などが、システムコントローラ１４によって表示部１８ｂに表示される。例えば、操作部１８ａを使用して、後述するフリッカレス撮影を行うか否かの設定を行うことが可能とされている。
　なお、撮像装置１００が記憶装置を備えていてもよい。記憶装置は、ハードディスク等の撮像装置１００に内蔵されたものでもよく、ＵＳＢ(Universal Serial Bus)メモリ等の撮像装置１００に着脱自在とされるメモリでもよい。また、撮像装置１００が通信装置を備えていてもよい。この通信装置を使用して、インターネット等を介して、外部装置との間で画像データや各種の設定データ等が送受信可能とされてもよい。通信は、有線によるものでもよいし、無線によるものでもよい。
「デジタル信号処理部の構成例」
　図２は、原色系システムの場合のデジタル信号処理部２０の構成例を示す。原色系システムは、図１の撮像光学系１１が被写体からの光をＲＧＢ各色の色光に分離する分解光学系を有し、ＣＭＯＳ撮像素子１２としてＲＧＢ各色用のＣＭＯＳ撮像素子を有する３板システム、または、ＣＭＯＳ撮像素子１２として、光入射面にＲＧＢ各色の色フィルタが画面水平方向に１画素ごとに順次、繰り返し配列された一つのＣＭＯＳ撮像素子を有する１板システムである。この場合、ＣＭＯＳ撮像素子１２からは、ＲＧＢ各色の原色信号がパラレルに読み出される。
　図２のデジタル信号処理部２０では、クランプ回路２１で、入力のＲＧＢ原色信号の黒レベルが所定レベルにクランプされ、ゲイン調整回路２２で、露出量に応じてクランプ後のＲＧＢ原色信号のゲインが調整され、フリッカ低減部２５Ｒ，２５Ｇ，２５Ｂで、後述の方法によって、ゲイン調整後のＲＧＢ原色信号中のフリッカ成分が低減される。また、撮影時には、フリッカレス撮影を行うための処理が行われる。なお、フリッカレス撮影とは、フリッカ光源から生じるフリッカによる画質への影響（画質の低下）を防止することができる撮影を意味する。
　さらに、図２のデジタル信号処理部２０では、ホワイトバランス調整回路２７で、フリッカ低減後のＲＧＢ原色信号のホワイトバランスが調整され、ガンマ補正回路２８で、ホワイトバランス調整後のＲＧＢ原色信号の階調が変換され、合成マトリクス回路２９で、ガンマ補正後のＲＧＢ原色信号から、出力の輝度信号Ｙおよび色差信号Ｒ－Ｙ，Ｂ－Ｙが生成される。
　原色系システムでは、一般に図２のようにＲＧＢ原色信号の処理が全て終了した後に輝度信号Ｙが生成されるので、図２のようにＲＧＢ原色信号の処理過程でＲＧＢ原色信号中のフリッカ成分を低減することによって、各色成分および輝度成分のフリッカ成分を共に十分に低減することができる。
　ただし、図２のようにフリッカ低減部２５Ｒ，２５Ｇ，２５ＢによってＲＧＢ各色の原色信号ごとにフリッカ成分を検出し、低減する代わりに、例えば、合成マトリクス回路２９の輝度信号Ｙの出力側にフリッカ低減部２５を設けて、輝度信号Ｙ中のフリッカ成分を検出し、低減するように構成してもよい。
　一方、補色系システムは、図１のＣＭＯＳ撮像素子１２として、光入射面に補色系の色フィルタが形成された一つのＣＭＯＳ撮像素子を有する１板システムである。
　補色系システムでは、ＣＭＯＳ撮像素子１２からは、隣接する２水平ライン位置の映像信号が合成されて読み出され、デジタル信号処理部２０では、その補色信号（合成信号）の黒レベルが所定レベルにクランプされ、クランプ後の補色信号のゲインが露出量に応じて調整され、さらにゲイン調整後の補色信号から輝度信号およびＲＧＢ原色信号が生成される。
　そして、フリッカ低減部２５で、その輝度信号中のフリッカ成分およびＲＧＢ原色信号中のフリッカ成分が低減され、さらに、フリッカ低減後の輝度信号の階調が補正されて、出力の輝度信号Ｙが得られるとともに、フリッカ低減後のＲＧＢ原色信号のホワイトバランスが調整され、ホワイトバランス調整後のＲＧＢ原色信号の階調が変換され、そのガンマ補正後のＲＧＢ原色信号から色差信号Ｒ－Ｙ，Ｂ－Ｙが生成される。
［動作例］
「基本的な動作」
　次に、撮像装置１００の動作例について説明する。ここでは、静止画を撮影する例について説明する。撮像装置１００の電源が投入されると、撮像前における被写体の構図決め(フレーミング)等の際に、動画的態様の画像（スルー画像）が表示部１８ｂに表示される（ライブビュー表示）。
　続いて、被写体が決定された後、準備操作がなされる。準備操作は、撮影を行う準備の操作であり、撮影の直前になされる操作である。準備操作は、例えば、操作部１８ａに含まれるシャッタボタンを途中まで（半分程度まで）押し込む半押し操作である。シャッタボタンに対する半押し操作がなされると、例えば、被写体の静止画を撮像するための準備動作が行われる。被写体の静止画を撮像するための準備動作としては、露出制御値の設定や焦点を検出する検出動作、補助光部の発光等が挙げられる。なお、半押し状態でシャッタボタンの押下が解除されると、これらの準備動作が終了する。
　半押し状態からさらにシャッタボタンが押しこまれ、シャッタボタンが全押しされると撮像装置１００に対して撮影が指示され、ＣＭＯＳ撮像素子１２を使用して被写体像（被写体の光像）に関する露光動作が行われる。露光動作により得られた画像データに対して、アナログ信号処理部１３やデジタル信号処理部２０による所定の信号処理が施され、静止画像が得られる。得られた静止画像に対応する画像データが、図示しない記憶装置に適宜、記憶される。
　なお、撮像装置１００により動画の撮影が行われてもよい。動画の撮像がなされる場合は、例えば、シャッタボタンが押下されると動画の撮影および当該動画の記録がなされ、再度、シャッタボタンが押下されると動画の撮影が停止される。
「フリッカ低減処理について」
　次に、撮像装置１００におけるフリッカ低減処理等について説明する。フリッカ低減処理は、例えば、ライブビュー表示におけるスルー画像に対して施される処理である。説明の前に理解を容易とするために、ＮＴＳＣシステムで発生する蛍光灯により生じるフリッカ成分の一例について説明する。なお、本例では、フレームレートを６０ｆｐｓ（frames per second）、商用電源周波数を５０Ｈｚ（ヘルツ）とした場合について説明する。この場合に生じるフリッカ成分の特徴は以下の通りである。
（１）１画面中には、５／３周期分発生する（３フレーム（フィールドでもよい）を繰り返し周期とする）。
（２）１ラインごとに位相が変化する。
（３）商用電源周波数（５０Ｈｚ）の２倍の周波数（１００Ｈｚ）を持つ正弦波として扱うことができる。
　上記の特徴から、フリッカ現象が起きている際には、図３のようなフリッカ成分が発生している。なお、図３では、上側（画面上部）から下側（画面下部）に向かって走査が行われているものとする。ＣＭＯＳ撮像素子１２では、水平ラインごとに露光タイミングが異なるため、水平ラインに応じて受光量が変化してしまう。よって、蛍光灯が空間的に均一に照明していたとしても、図３のように、映像信号の値が平均値よりも高い水平ラインと、映像信号の値が平均値よりも小さい水平ラインが存在してしまう。例えば、図３のフレームでは、画像中の最も上の水平ライン、すなわち、先頭ラインでフリッカ成分（フリッカ成分の振幅）が最も高くなるピークとなっている。さらに、先頭ラインから、１画面に含まれる総ライン数の３／５に相当するラインずれた水平ラインで、フリッカ成分も最も高くなる。このように、フリッカ成分は、図３に示すような、振幅、周期、及び初期位相を持つ、ｓｉｎ関数（正弦波）で表すことができる。なお、本例での初期位相とは先頭ラインでの位相を意味している。
　さらに、フレームに応じて、各水平ラインの位相が変化する。すなわち、フレーム毎に、映像信号の値が平均値よりも高い水平ラインと、映像信号の値が平均値よりも低い水平ラインが変化する。次のフレームでは、初期位相が異なる正弦波となる。例えば、蛍光灯によるフリッカが１００Ｈｚで発生し、フレームレートが６０ｆｐｓであるとすると、蛍光灯のフリッカの５周期分が、３フレームに相当する時間となる。よって、３フレーム毎に初期位相が同じ位相となる。このように、水平ラインおよびフレームに応じて、フリッカ成分が変動する。なお、ＰＡＬ方式、すなわち、フレームレートが５０ｆｐｓで商用電源周波数を６０Ｈｚの場合には、フリッカ成分は５フレームを周期とする正弦波で表すことが可能となる。以上のような性質を有するフリッカ成分を低減する処理（動作）の一例について説明する。
　図４は、フリッカ低減部２５の詳細な構成例を示す。なお、以下の説明において、入力画像信号とは、それぞれ、フリッカ低減部２５に入力されるフリッカ低減処理前のＲＧＢ原色信号または輝度信号を意味し、出力画像信号とは、それぞれ、フリッカ低減部２５から出力されるフリッカ低減処理後のＲＧＢ原色信号または輝度信号を意味する。
　フリッカ低減部２５は、例えば、正規化積分値算出ブロック３０と、演算ブロック４０と、ＤＦＴ（離散フーリエ変換）ブロック５０と、フリッカ生成ブロック５５と、周波数推定／ピーク検出ブロック６０とを備えている。正規化積分値算出ブロック３０は、積分ブロック３１と、積分値保持ブロック３２と、平均値計算ブロック３３と、差分計算ブロック３４と、正規化ブロック３５とを備えている。
　積分ブロック３１は、入力画像信号Ｉｎ'（ｘ，ｙ）の画面水平方向に１ライン分に渡って積分し、積分値Ｆｎ（ｙ）を算出する。算出された積分値Ｆｎ（ｙ）は、以後のフレームでのフリッカ検出用に、積分値保持ブロック３２に記憶保持される。垂直同期周波数が６０Ｈｚの場合には、積分値保持ブロック３２は、少なくとも２フレーム分の積分値を保持できる構成とされる。
　平均値計算ブロック３３は、３つの積分値Ｆｎ（ｙ），Ｆｎ＿１（ｙ），Ｆｎ＿２（ｙ）の平均値ＡＶＥ［Ｆｎ（ｙ）］を算出する。なお、Ｆｎ＿１（ｙ）は、１フレーム前の同じラインの積分値Ｆｎ＿１（ｙ）であり、Ｆｎ＿２（ｙ）は、２フレーム前の同じラインの積分値Ｆｎ＿２（ｙ）であり、これらの積分値は積分値保持ブロック３２から読み出された値である。
　差分計算ブロック３４は、積分ブロック３１から供給される積分値Ｆｎ（ｙ）と、積分値保持ブロック３２から供給される１フレーム前の積分値Ｆｎ＿１（ｙ）との差分を算出する。差分値Ｆｎ（ｙ）－Ｆｎ＿１（ｙ）では、被写体の影響が十分除去されるため、積分値Ｆｎ（ｙ）に比べてフリッカ成分（フリッカ係数）の様子が明確に現れる。
　さらに、正規化ブロック３５で、差分計算ブロック３４からの差分値Ｆｎ（ｙ）－Ｆｎ＿１（ｙ）が、平均値計算ブロック３３からの平均値ＡＶＥ［Ｆｎ（ｙ）］で除算されることによる正規化処理がなされ、正規化後の差分値ｇｎ（ｙ）が算出される。
　ＤＦＴブロック５０は、正規化ブロック３５からの正規化後の差分値ｇｎ（ｙ）の、フリッカの１波長分（Ｌライン分）に相当するデータを、離散フーリエ変換する。これにより、各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎが推定される。なお、初期位相Φｍｎは、撮像装置１００内において生成される所定時間毎（例えば、０．５μｓ（マイクロ秒）毎）のカウンタに対応付けられて保持される。
　さらに、フリッカ生成ブロック５５で、ＤＦＴブロック５０からのγｍ，Φｍｎの推定値から、フリッカ係数Γｎ（ｙ）が算出される。そして、演算ブロック４０は、フリッカ生成ブロック５３からのフリッカ係数Γｎ（ｙ）に１を加え、その和［１＋Γｎ（ｙ）］で入力画像信号Ｉｎ'（ｘ，ｙ）が除算する逆ゲインをかける処理を行う。これによって、入力画像信号Ｉｎ'（ｘ，ｙ）に含まれるフリッカ成分がほぼ完全に除去され、演算ブロック４０からは、出力画像信号（フリッカ低減処理後のＲＧＢ原色信号または輝度信号）として、実質的にフリッカ成分を含まない信号成分Ｉｎ（ｘ，ｙ）が得られる。
　以上のようなフリッカ低減処理により、フリッカの有無を検出し、当該フリッカによるスルー画像の画質低下を防止することが可能となる。なお、上述したフリッカ低減処理が動画の撮影（記録を含む）時に行われてもよい。なお、本実施形態では、ＲＧＢ毎のフリッカ成分を検出している。この場合には、振幅が最大となる色成分（チャンネル）のピークのタイミングを検出する。これに代えて、輝度信号のピークを検出するようにしてもよい。
　なお、ＤＦＴブロック５０で計算された初期位相Φｍｎは、周波数推定／ピーク検出ブロック６０に供給される。周波数推定／ピーク検出ブロック６０は、入力される初期位相Φｍｎに基づいて、少なくともフリッカ成分（光源）の周波数、換言すればフリッカ成分の周期を推定し、さらに、フリッカ成分のピークのタイミングを検出する。例えば、周波数推定／ピーク検出ブロック６０は、フレームレートに基づく時間差と初期位相Φｍｎの位相差とからフリッカ成分の周波数を推定する。さらに、周波数推定／ピーク検出ブロック６０は、例えば最初のフレームにおける初期位相Φｍｎと当該初期位相Φｍｎに対応付けられたカウンタとからフリッカ成分のピークのタイミングを検出する。
　例えば、初期位相Φｍｎが６０度であれば、正弦波で近似できるフリッカ成分のピーク（例えば９０度）がでるタイミングをカウンタの時間間隔を使用して求めることが可能である。周波数推定／ピーク検出ブロック６０により得られた情報がシステムコントローラ１４に通知される。なお、フリッカ成分のピークとは、上述したように、フリッカ成分の振幅が最大となる箇所である。
　このように、別体のセンサ等を設けなくても、撮像部による撮像結果（撮像部を介して得られる撮影画像）に基づいてフリッカ成分の特徴（フリッカ成分の周期やピークのタイミング等）を検出することができる。このため、部品点数の増加によるコストの増加を防止できる。また、撮像装置の小型化が可能となる。なお、フリッカ成分の特徴を求める処理は、上述した方法に限定されるものではなく、公知の方法を適用することができる。
「フリッカレス撮影処理について」
　次に、フリッカレス撮影処理について説明する。フリッカレス撮影処理は、例えば、フリッカレス撮影モードが撮像装置１００に設定されている場合に実行される処理である。
　上述したフリッカ低減処理では、複数フレーム（例えば、３フレーム）の画像を使用してその平均から背景成分を抽出している。このため、フレームレートと蛍光灯等のフリッカ光源の明滅周期とが一致する場合には、背景とフリッカとの分離が困難となりフリッカの検出が困難となる。また、複数フレームの画像を使用するので、静止画像をフリッカレス撮影する場合には上述したフリッカ低減処理をそのまま適用することが困難である。そこで、静止画像をフリッカレス撮影する場合には、以下に説明するフリッカレス撮影処理が実行される。
　始めに、フレームレートを通常時のフレームレートより高速に切り替える処理が実行される。切り替え後のフレームレートは、例えば、光源の周波数のＮ倍（但し、フリッカ成分の周波数（１００Ｈｚまたは１２０Ｈｚ）より大きい周波数）であり、フレーム内においてフリッカ成分の１周期があることが好ましく、一例として、Ｎ＝４、すなわち２００ｆｐｓ（光源の周波数５０Ｈｚの場合）または２４０ｆｐｓ（光源の周波数６０Ｈｚの場合）に設定される。
　なお、フリッカ光源の周波数は、ユーザの設定から得てもよく、ライブビュー表示における上述したフリッカ低減処理の結果に基づいて、自動で設定されてもよい。すなわち、フリッカ低減処理において、フレームレートが６０ｆｐｓの場合にフリッカ成分が検出されない場合には、光源の周波数が５０Ｈｚと判別され、フレームレートが５０ｆｐｓの場合にフリッカ成分が検出されない場合には、光源の周波数が６０Ｈｚと判別されてその結果がフリッカレス撮影処理に使用されてもよい。また、フリッカレス撮影処理でフリッカの有無が検出されてもよい。
　フレームレートを切り替えるタイミングは適宜、設定可能であるが、好ましくは、撮影の直前であり、例えば、撮影の準備操作であるシャッタボタンを半押しする操作がなされたときにフレームレートが切り替えられる。より具体的には、シャッタボタンを半押しする操作に応じた操作信号がインタフェース１９を介してシステムコントローラ１４に供給される。システムコントローラ１４は、タイミングジェネレータ１６を制御してＣＭＯＳ撮像素子１２を駆動し、フレームレートを高速化する。
　フレームレートが高速化するとフリッカ成分の繰り返し周期が変化する。例えば、フレームレートが２００ｆｐｓの場合には、フリッカ成分の繰り返し周期は２０フレームとなり、フレームレートが２４０ｆｐｓの場合には、フリッカ成分の繰り返し周期は１２フレームとなる。
　高速化されたフレームレートに基づいて、画像データが得られる。得られた画像データがアナログ信号処理部１３による処理を経てデジタル信号処理部２０に入力される。高フレームレートで得られる画像データに対して、フリッカ低減部２５により上述したフリッカ低減処理が同様に行われる。さらに、この処理では、ＤＦＴブロック５０からの出力である初期位相Φｍｎが、フリッカ低減部２５の周波数推定／ピーク検出ブロック６０に入力される。
　周波数推定／ピーク検出ブロック６０は、入力される初期位相Φｍｎに基づいて、少なくともフリッカ成分（光源）の周波数（周期）を推定し、さらに、フリッカ成分のピークタイミングを検出する。
　図５は、上述した処理をまとめた図である。通常のフレームレート（例えば、５０または６０ｆｐｓ）で取り込まれた画像に対してフリッカ低減処理が施され、フリッカ低減処理が施された画像がスルー画像として表示部１８ｂに表示される。そして、シャッタボタンが半押しされると、フレームレートが高速に切り替えられ（例えば、２００または２４０ｆｐｓ）、フリッカ低減処理とともに、周波数推定およびピーク検出処理が行われる。そして、フリッカ低減処理が施された画像が表示部１８ｂに表示される。なお、表示系統におけるデータの帯域を減らす観点や、消費電力等の観点から表示部１８ｂには、得られた画像データの一部を間引いた画像データに基づく表示がなされる。そして、シャッタボタンが深押しされると、撮影がなされる。
　図６は、シャッタボタンに対する深押し操作に応じてなされる撮影における処理を説明するための図である。上述したように、シャッタボタンが半押しされる操作がなされると、フリッカ成分の周波数が推定され、ピークのタイミングを検出する処理が行われる。この処理は、半押し操作がなされている間、繰り返し実行される。なお、半押し操作がなされる際に、フリッカレス撮影を行うモードが設定されているか（モードがオンに設定されているか）否かが判断される。ここで、フリッカレス撮影を行うモードが設定されている場合には、以下に説明する処理が実行される。
　図６において、例えば、タイミングＴＡでシャッタボタンに対する深押し操作がなされたとする。深押し操作に応じて、フリッカ低減部２５がシステムコントローラ１４（シャッタ制御部１４ｃ）に対して、フリッカ成分の次のピークのタイミング（本例ではＴＢ）を通知する。なお、ここでのピークのタイミングは、例えば、深押し操作がなされる直前で得られたタイミングである。
　システムコントローラ１４は、フリッカ成分のピークのタイミングに露光のタイミングを同期させた撮影を実行する。なお、図６に示す例は、フリッカ成分がピークとなる直近のタイミングはタイミングＴＢである。本例では、静止画撮影に係る処理の遅延等を考慮して、タイミングＴＢからフリッカ成分の周期倍数分、時間的に後のタイミング（例えば、タイミングＴＣ）に露光のタイミングを同期させている。但し、処理的に間に合うのであればタイミングＴＢに露光のタイミングを同期させても構わない。
　フリッカ成分のピークのタイミングに露光のタイミングを同期させた撮影とは、例えば、シャッタスピード（露光時間）および幕速の中心がフリッカ成分のピークと一致または略一致するタイミングとすることである。略一致するとは、タイミングのずれが所定の誤差の範囲内であることを意味する。これにより図６中、露光量を示す斜線を付した四角形の重心（露光重心）がフリッカ成分のピークと一致または略一致することになる。フリッカ成分のピークに露光のタイミングが常に同期するため、フリッカ成分により画像の画質が低下することを防止したフリッカレス撮影を実現することができる。
「処理の流れ」
　図７は、フリッカレス撮影における処理の流れの一例を示すフローチャートである。ステップＳＴ１１では、フリッカレス撮影を行うモード（フリッカレス撮影モード）が設定されているか否かがシステムコントローラ１４により判断される。ここで、フリッカレス撮影モードが設定されていないと判断された場合には、以降の処理では通常撮影（ここでは、フリッカレス撮影処理がなされない撮影を意味する）に係る処理が実行される。ステップＳＴ１１において、フリッカレス撮影モードが設定されていると判断された場合には、処理がステップＳＴ１２に進む。
　ステップＳＴ１２では、操作部１８ａに含まれるシャッタボタンが半押しされたか否かが判断される。半押しされていない場合には、通常のフレームレート（例えば、５０または６０ｆｐｓ）で取り込まれた画像に対してフリッカ低減処理が行われ、フリッカ低減処理が実行された画像がスルー画像として表示部１８ｂに表示される。なお、フリッカ低減処理を実行する際に、屋外での撮影等のフリッカが生じずフリッカ成分が検出されない場合には、フリッカ低減処理は実行されない。シャッタボタンが半押しされた場合には、処理がステップＳＴ１３に進む。
　ステップＳＴ１３では、シャッタボタンの半押し操作に応じてフリッカレス撮影処理が実行される。具体的には、ＣＭＯＳ撮像素子１２を高フレームレート（例えば２００または２４０ｆｐｓ）で駆動し、得られた画像データを使用してフリッカ成分の周波数を推定し、フリッカ成分のピークがくるタイミングを検出する処理が実行される。なお、フリッカ低減処理においてフリッカ成分の周波数が推定されている場合には、フリッカ成分のピークのタイミングを検出する処理のみが実行されてもよい。得られたタイミング等のデータがシステムコントローラ１４に対して通知される。以上の処理は、例えば、半押し操作が継続されている間、継続される。そして、処理がステップＳＴ１４に進む。
　ステップＳＴ１４では、フリッカが発生するフリッカ環境下でシャッタボタンの深押し操作がなされたか否かが判断される。この判断でフリッカが発生していない環境下でシャッタボタンの深押し操作がなされた場合には、処理がステップＳＴ１５に進む。ステップＳＴ１５では、フリッカレス撮影処理が行われない静止画撮影処理が実行される。一方、フリッカが発生している環境下でシャッタボタンの深押し操作がなされた場合には、処理がステップＳＴ１６に進む。
　ステップＳＴ１６では、フリッカレス撮影が行われる。すなわち、ステップＳＴ１３の処理で得られたフリッカ成分のピークに露光タイミングを同期させた撮影が行われる。これにより、フリッカ成分による静止画の画質の低下を防止した撮影を行うことができる。
［第１の実施形態の効果］
　以上説明した第１の実施形態によれば、以下に例示する効果を得ることができる。
　フリッカ成分を検出するためのセンサ等を設ける必要がなくなり、装置の小型化が可能となり幅広いカテゴリの製品への応用が可能となる。
　高フレームレートに基づく画像に基づく十分なサンプリング数によりフリッカ成分の周波数推定処理等を実行しているので、処理結果の精度を向上させることができる。
　フリッカのピークのタイミングに合わせて静止画の撮影が行われるため、シャッタスピードの制約を受けずに色や明るさのばらつきのない画像を撮影することができる。
［第１の実施形態の変形例］
　以上説明した第１の実施形態は、例えば、以下のような変形が可能である。
　スルー画像に対するフリッカ低減処理が行われなくてもよい。この場合、シャッタボタンの半押し操作に応じてなされるフリッカレス撮影処理、すなわち、高速にしたフレームレートで露光することにより得られる画像データを使用して、フリッカ低減処理と同様の方法でフリッカの有無が検出されるようにしてもよい。
　また、半押し操作を経ずにシャッタボタンに対する深押し操作がなされた場合には、フリッカレス撮影処理が行わないようにしてもよいし、フリッカ成分の少なくとも１周期分を検波できるだけの時間、処理を遅延させてフリッカレス撮影処理が行われるようにしてもよい。
　静止画が連続して撮影される連写撮影やブラケット撮影等の場合には、２枚目以降も連写前に得られたフリッカ成分のピークのタイミングに同期させた撮影が行われるようにしてもよい。すなわち、１度目の露光の前に検出されたフリッカ成分のピークのタイミングに基づいて、２度目以降の露光のタイミングを当該フリッカ成分のピークのタイミングに同期させた撮影が行われるようにしてもよい。
　フレームレートを高速化した場合に、感度を上げる処理やノイズを低減するための処理（ノイズリダクション処理）の効果を強める処理が行われるようにしてもよい。また、輝度を検波して周囲の明るさが閾値以下等の場合には、フリッカレス撮影処理が行われないようにしてもよい。
　上述した実施形態では、フリッカ成分のピークのタイミングに露光のタイミングを同期させて撮影を行うようにしている。例えば、半押し操作の際にユーザが確認した画像（表示部１８ｂに表示された画像）に比べて、撮影により得られる画像が明るくなり得る。そこで、得られる画像に対して輝度を低下させる等のゲインコントロール処理が行われるようにしてもよい。
　フリッカレス撮影によりフリッカ成分による画質の低下が避けられるものの、上述したように撮影により得られる画像の露出がオーバーになり得る。そこで、例えば、フリッカ成分の検波時（例えば、シャッタボタンが半押しされている間）に得られるフリッカ成分の振幅情報を用いて、本撮影（例えば、シャッタボタンが全押しされることに応じてなされる撮影）により得られる画像にして露出補正を行う。露出を補正する制御は、例えば、システムコントローラ１４により行われる。検波時のシャッタスピードを撮影時のシャッタスピードと同一にした場合は、検波時に得られたフリッカ成分の振幅から撮影時の露出補正量（露出補正に必要な補正量）が決定できる。例えば、検波中のフリッカ成分の振幅の分だけ露出補正すればよい。一方、検波時のシャッタスピードが撮影時のシャッタスピードと異なる場合は、検波時に得られたフリッカ成分の振幅を元に撮影時に必要な露出補正量を予測することができる。
　以下、露出補正について具体的に説明する。画像内に映り混むフリッカ成分の強度（フリッカの明滅の強さでもありフリッカの振幅に対応するものである）は、シャッタースピード（露光時間）に依存する。フリッカ光源の画像に対する影響は、光源明滅の露光時間分の積分として生じる。露光時間が短い場合は光源の明滅がそのまま画像に現れ、露光時間が長くなると積分された効果によって明滅の最明部と最暗部の差が小さくなっていき、光源明滅周期の整数倍の露光時間では積分によって明滅が完全に打ち消される。シャッタスピードと画像内のフリッカ成分の強度との関係（相関値）を図示すると、例えば、図８のグラフにおけるラインＬ１のようになる。
　図８のグラフにおいて、横軸は（１／シャッタスピード）を示しており、縦軸は正規化されたフリッカの強度（以下、フリッカ強度と適宜称する）を示している。なお、正規化されたフリッカの強度は、フリッカの強さを便宜的に表現する数値であり、振幅係数とも称される。図８のグラフからは、光源周期（例えば、１／１００秒）の整数倍ではフリッカ強度が０になることが示されている。図８に示すグラフが、例えばテーブルとしてシステムコントローラ１４に記憶されている。システムコントローラ１４は、このテーブルを参照して適切な露出補正量を求める。なお、テーブルに記述される数値は、実測による数値でもよいし、シミュレーションによる数値でもよい。
　図９を参照して、露出補正量を計算する第１の例（制御例）について説明する。システムコントローラ１４は、フリッカ成分の検波時のシャッタスピード（以下、シャッタスピードＳＳ１と適宜、称する）と本撮影におけるシャッタスピード（以下、シャッタスピードＳＳ２と適宜、称する）を判別する。これは、撮像装置１００に対する設定等を参照して判別することができる。
　システムコントローラ１４は、シャッタスピードＳＳ１に対応するフリッカ強度を、テーブルを参照して求める。例えば、シャッタスピードＳＳ１に対応するフリッカ強度がα１であると求められる。また、システムコントローラ１４は、シャッタスピードＳＳ２に対応するフリッカ強度を、テーブルを参照して求める。例えば、シャッタスピードＳＳ２に対応するフリッカ強度がα２であると求められる。
　続いて、システムコントローラ１４は、本撮影時のフリッカ成分の振幅（正規化されていない実際のフリッカ成分の明滅の量）を求める。本撮影時のフリッカ成分の振幅は、下記の式（１Ａ）により与えられる。
本撮影時のフリッカ成分の振幅＝検波時に得られるフリッカ成分の振幅×α２／α１　・・・（１Ａ）
　なお、検波時に得られるフリッカ成分の振幅は、ＤＦＴブロック５０の出力から求めることができる。
　システムコントローラ１４は、式（１Ａ）の結果である本撮影時のフリッカ成分の振幅を本撮影時の露出補正量として設定する。第１の例では、シャッタ以外の制御値で露出補正量に基づく露出補正を行う。例えば、システムコントローラ１４は、求めた露出補正量となるようにゲインを設定する。当該設定されたゲインが本撮影で得られた画像に乗じられる。このようなゲインコントロールを行うゲインコントロール部がデジタル信号処理部２０に備えられるようにし、システムコントローラ１４の制御に応じてデジタル信号処理部２０が動作するようにしてもよい。また、システムコントローラ１４は、露出補正量に対応する絞り値となるように絞りを制御してもよい。露出補正量に対応するゲインや絞り値は、例えばテーブルに記述されてもよいし、演算により求められるようにしてもよい。
　次に、図１０を参照して、露出補正の補正量（以下、露出補正量と適宜、称する）を計算する第２の例について説明する。第２の例は、露出補正量に対応して本撮影時のシャッタスピードを変更する例である。露出補正によってシャッタスピードを速くするとそれにより補正量が変わる。そこで、第２の例では、一度で本撮影時のシャッタスピードを決定する方法の一例を説明する。
　始めに、図８に示したグラフの横軸および縦軸のスケールを、図１０に示すように例えばＥＶ(Exposure Value)値に公知の方法により変換する。例えば、検波時のシャッタスピードに対応する補正量がβ２［ＥＶ］とすると、当該補正量に対応した分、すなわちβ１［ＥＶ］＝β２［ＥＶ］となるβ１の分だけシャッタスピードを速くする。例えば、検波時のシャッタスピードと縦軸０との交点Ｐ１から傾きが１となる仮想的な直線Ｌ２を設定する。
　そして、システムコントローラ１４は、ラインＬ１とラインＬ２との交点Ｐ２に対応するシャッタスピードを識別し、当該シャッタスピードを本撮影時におけるシャッタスピードとして設定する。以上の方法により本撮影時におけるシャッタスピードを適切に設定でき、画像の露出を適切に補正することが可能となる。なお、上述した露出の補正に関する第１の例および第２の例は、撮像装置１００に設定されたモード等に応じて切り替えられて行われてもよい。また、シャッタスピードと画像内のフリッカ成分の振幅との関係（相関値）はテーブルではなく、所定の演算等により求めるようにしても構わない。
　他の変形例について説明する。撮像装置１００におけるシャッタスピードが所定以上、長くなると、得られるフリッカ成分の波形が積分されサイン波に近似したものになる。特に、フリッカ成分の１周期（１／１００または１／１２０）よりシャッタスピードが長くなるとフリッカ成分の位相が反転する。そこで、シャッタスピードの設定を確認し、フリッカ成分の１周期よりシャッタスピードが長い場合には、フリッカレス撮影処理が行われないようにしてもよいし、位相のずれ（例えば、１８０度のずれ）に応じてピークのタイミングを補正する処理等が行われるようにしてもよい。また、フリッカ成分の１周期より長いシャッタスピードが設定された場合には、フリッカレス撮影ができない旨をユーザに報知する処理が行われるようにしてもよい。
　上述した実施形態では、準備操作の例として半押し操作を挙げたか、準備操作は、一定期間以上、撮像装置１００を停止または略停止させる操作等、他の操作でもよい。
　また、上述した実施形態は、フリッカ低減部２５を含むデジタル信号処理部２０をハードウェアによって構成する場合であるが、フリッカ低減部２５またはデジタル信号処理部２０の一部または全部をソフトウェアによって構成してもよい。また、フリッカ低減部２５を複数（例えば２つ）設け、スルー画像に対するフリッカ低減処理および高速のフレームレートで得られた画像データに対してフリッカレス撮影処理を行う処理ブロックを別々にした構成が採用されてもよい。
　上述した実施形態では、フリッカが発生する光源として蛍光灯を例にして説明したが、蛍光灯に限定されるものではなく、周期性をもって明滅するものであれば他の光源（例えばＬＥＤ）にも本技術を適用することができる。この場合、ＬＥＤの周波数を特定する処理を前段階として行ってもよい。
　さらに、上述した実施形態は、ＣＭＯＳ撮像素子以外のＸＹアドレス走査型の撮像素子やローリングシャッタが適用される撮像素子を使用した撮像装置にも適用可能である。
＜２．第２の実施形態＞
　次に、本技術の第２の実施形態について説明する。なお、第１の実施形態で説明した事項（撮像装置１００の構成や機能等）は、特に断らない限り第２の実施形態に適用することができる。
「フリッカ光源に応じた色のずれ」
　第１の実施形態では、フリッカを生じる光源（フリッカ光源）のもとで撮影する場合を想定し、フリッカ成分による画質の低下を抑制するフリッカレス撮影処理について説明した。ところで、フリッカ光源はその種類に応じてフリッカ成分の波形がＲＧＢ毎に異なる光源が多く存在する。図１１は、フリッカ光源の種類に応じてフリッカ成分のＲＧＢ毎の波形が異なることを説明するための図である。図１１Ａ、図１１Ｂおよび図１１Ｃの各図におけるグラフの横軸は時間を示し、縦軸はＪＰＥＧ(Joint Photographic Experts Group)形式の画像の出力レベルである。また、図中、実線がＲの成分を示し、点線がＧの成分を示し、一点鎖線がＢの成分を示している。
　図１１Ａは、昼白色蛍光灯のフリッカ成分の波形例を示している。図１１Ｂは、三波長昼白色蛍光灯のフリッカ成分の波形例を示している。図１１Ｃは、水銀灯のフリッカ成分の波形例を示している。図示の通り、フリッカ光源の種類に応じてフリッカ成分のＲＧＢ毎の波形が異なっていることがわかる。フリッカ光源のこの特性がフリッカレス撮影処理により得られる画像のホワイトバランス（色味）に影響を与えるおそれがある。
　図１２は、フリッカ光源の一例である昼白色蛍光灯のフリッカに起因する色のずれを説明するための図である。図１２では、フリッカ成分のピークのタイミングに露光タイミングを同期させた場合における２つの露光時間が示されている。長い露光時間であるＴａは、例えば１／１００秒であり、短い露光時間であるＴｂは、例えば、１／１０００秒である。各々の露光時間で得られる画像の色は、当該露光時間の間のＲＧＢを積分した積分値となる。得られた２つの画像に対して同一のホワイトバランス処理を実行するとＲＧＢの積分値が異なるため、ホワイトバランスにより得られる２つの画像の色が異なるおそれがある。第２の実施形態は、この点に対応する実施形態である。
「デジタル信号処理部の構成例」
　図１３は、第２の実施形態におけるデジタル信号処理部（以下適宜、デジタル信号処理部２０Ａと称する）の構成例である。第１の実施形態におけるデジタル信号処理部２０と異なる点を中心に説明する。ホワイトバランス調整回路２７に対して、メモリ２７Ａが接続されている。メモリ２７Ａには、シャッタスピードに応じたホワイトバランス調整用のパラメータ（以下適宜、ホワイトバランスゲインと称する）が記憶されている。システムコントローラ１４による制御によりメモリ２７Ａから読み出されたホワイトバランスゲインがホワイトバランス調整回路２７に設定されるように構成されている。なお、本実施形態では、ホワイトバランスゲインの生成は、システムコントローラ１４により制御される。
「動作例」
　次に、第２の実施形態における撮像装置（以下適宜、撮像装置１００Ａと称する）の動作例について、図１４および図１５のフローチャートを参照して説明する。なお、撮像装置１００Ａには、ホワイトバランス（ＷＢ）に関する設定として例えば、以下の３つのモードが設定可能とされている。
・オートホワイトバランスモード
・プリセットホワイトバランスモード
・カスタムホワイトバランスモード
　３つのモードのうち、オートホワイトバランスモードは、撮像装置１００Ａにより自動でホワイトバランスゲインが設定されるモードである。プリセットホワイトバランスモードは、複数の代表的な光源（太陽、電球、蛍光灯等）が選択可能とされており、選択された光源に最適なホワイトバランスゲインが設定されるモードである。カスタムホワイトバランスモードは、ユーザが撮像装置１００Ａの使用環境下で壁等の無彩色の箇所を試験的に撮影（テスト撮影）し、その結果に応じたホワイトバランスゲインを取得するモードである。
　図１４のフローにおいて、ステップＳＴ２１では、ユーザが操作部１８ａを使用してホワイトバランスの設定を変更する操作がなされる。そして、処理がステップＳＴ２２に進む。
　ステップＳＴ２２では、ホワイトバランスの設定としてオートホワイトバランスが設定されたか否かがシステムコントローラ１４により判断される。オートホワイトバランスモードが設定された場合には、処理がステップＳＴ２３に進む。ステップＳＴ２３では、撮像装置１００Ａの例えばシステムコントローラ１４により自動でホワイトバランスゲインが生成され、当該ホワイトバランスゲインがホワイトバランス調整回路２７に設定される。ステップＳＴ２２において、設定されたホワイトバランスのモードがオートホワイトバランスモードでない場合には、処理がステップＳＴ２４に進む。
　ステップＳＴ２４では、ホワイトバランスの設定としてプリセットホワイトバランスが設定されたか否かがシステムコントローラ１４により判断される。プリセットホワイトバランスモードが設定された場合には、処理がステップＳＴ２５に進む。ステップＳＴ２５では、選択された光源に対応するホワイトバランスゲインがメモリ２７Ａから読み出され、当該ホワイトバランスゲインがホワイトバランス調整回路２７に設定される。ステップＳＴ２４において、設定されたホワイトバランスのモードがプリセットホワイトバランスモードでない場合には、処理がステップＳＴ２６に進む。
　ステップＳＴ２６では、ホワイトバランスのモードとしてカスタムホワイトバランスモードが設定されたことから、ホワイトバランスゲインを生成するため（得るため）のテスト撮影が実行される。なお、このとき表示部１８ｂにテスト撮影を促す表示等がなされてもよい。テスト撮影が始まり、ユーザが無彩色の箇所に撮像装置１００Ａを向けシャッタボタンが押される。そして、処理がステップＳＴ２７に進む。
　ステップＳＴ２７において、ＣＭＯＳ撮像素子１２の駆動レートが制御され、フレームレートが高速化（例えば、２００または２４０ｆｐｓ）される。そして、フリッカ成分の有無、周波数、ピークのタイミング等が検出される。なお、この処理の詳細は、第１の実施形態で詳細に説明しているので重複した説明を省略する。そして、処理がステップＳＴ２８に進む。
　ステップＳＴ２８では、ステップＳＴ２７の処理でフリッカ成分が検出されたか否かがシステムコントローラ１４により判断される。フリッカ成分が検出されない場合には、処理がステップＳＴ２９に進み、露光時間Ｔ１で１枚、白、灰色等の無彩色の箇所の撮影に応じた処理がなされる。なお、ここでの露光時間Ｔ１は、フリッカの生じない１/ｎ秒（ｎは光源周波数で１００または１２０の場合が多い）である。そして、処理がステップＳＴ３０に進む。
　ステップＳＴ３０では、テスト撮影の結果により得られる画像データに対する適切なホワイトバランスゲインＷｂがシステムコントローラ１４により生成される。そして、処理がステップＳＴ３１に進む。ステップＳＴ３１では、ステップＳＴ３０の処理で得られたホワイトバランスゲインＷｂが、システムコントローラ１４による制御に応じてメモリ２７Ａに記憶され保存される。
　ステップＳＴ２８において、フリッカ成分が検出された場合には、処理がステップＳＴ３２に進む。ステップＳＴ３２では、露光時間Ｔ１で１枚の無彩色の箇所を撮影するテスト撮影が行われる。このテスト撮影は、第１の実施形態で説明した、フリッカ成分のピークのタイミングに露光タイミングを同期させたフリッカレス撮影処理である。そして、処理がステップＳＴ３３に進む。
　ステップＳＴ３３では、ステップＳＴ３２の撮影に続いて、露光時間Ｔ２で１枚の無彩色の箇所を撮影するテスト撮影が行われる。このテスト撮影も、フリッカ成分のピークのタイミングに露光タイミングを同期させたフリッカレス撮影処理である。なお、露光時間Ｔ２は、例えば、撮像装置１００Ａに設定可能な最速のシャッタスピードであり、本例では、１／８０００秒である。なお、ステップＳＴ３２、３３のテスト撮影は、例えば、ユーザがテスト撮影をするためにシャッタボタンを１回押すことにより自動で連続的に実行されるものであり、ユーザが２回シャッタボタンを押す必要はない。そして、処理がステップＳＴ３４に進む。
　ステップＳＴ３４では、ステップＳＴ３２におけるテスト撮影で得られた画像ＡおよびステップＳＴ３３におけるテスト撮影で得られた画像Ｂのそれぞれに対する適切なホワイトバランスゲインＷｂＴ１、ＷｂＴ２がシステムコントローラ１４により生成される。そして、処理がステップＳＴ３５に進む。
　ステップＳＴ３５では、露光時間Ｔ１、Ｔ２に対応するそれぞれのホワイトバランスゲインＷｂＴ１、ＷｂＴ２が露光時間に対応付けられてメモリ２７Ａに記憶され、保存される。なお、フリッカレス撮影で得られたホワイトバランスゲインは、その旨を示すフラグが対応付けられて記憶される。
　次に、カスタムホワイトバランスモードが選択され、テスト撮影がなされた後の処理について、図１５のフローチャートを参照して説明する。
　ステップＳＴ４１では、実際に被写体を撮影する本撮影（第２の撮影）のためのシャッタボタンが押された後、メモリ２７Ａに記憶されたホワイトバランスゲインを選択する処理が行われる。なお、この選択処理はユーザによって行われてもよいし、システムコントローラ１４の制御によって最新のホワイトバランスゲインが選択されるようにしてもよい。そして、処理がステップＳＴ４２に進む。
　ステップＳＴ４２では、ステップＳＴ４１で選択されたホワイトバランスゲインがフリッカレス撮影でのテスト撮影で得られたものであるか否かが判断される。なお、選択されたホワイトバランスゲインがフリッカレス撮影でのテスト撮影で得られたものであるか否かは、メモリ２７Ａに記憶されているホワイトバランスゲインに対応付けられたフラグを参照することにより判断することができる。ここで、選択されたホワイトバランスゲインが図１４におけるステップＳＴ３０、３１で算出および記憶されたホワイトバランスゲインＷｂの場合には、ステップＳＴ４２で否定判断がなされ、処理がステップＳＴ４３に進む。
　ステップＳＴ４３では、選択されたホワイトバランスゲインＷｂが本撮影で使用されるホワイトバランスゲインとしてホワイトバランス調整回路２７に設定される。そして、処理がステップＳＴ４４に進む。
　ステップＳＴ４４では、本撮影の撮影処理によって取り込まれた画像データに対して、ホワイトバランスゲインＷｂによるホワイトバランス調整処理等の信号処理が実行される。各種の信号処理が施された画像データが適宜、記憶される。
　ステップＳＴ４２において、ステップＳＴ４１で選択されたホワイトバランスゲインがフリッカレス撮影でのテスト撮影で得られたものである場合には、処理がステップＳＴ４５に進む。ステップＳＴ４５では、撮影に使用する露光時間（シャッタスピード）Ｔａｃｔが取得される。そして、処理がステップＳＴ４６に進む。
　ステップＳＴ４６では、ホワイトバランスゲイン生成時に使用した露光時間Ｔ１、Ｔ２がメモリ２７Ａから読み出される。そして、処理がステップＳＴ４７に進む。
　ステップＳＴ４７では、Ｔａｃｔ＝Ｔ１であるか否かが判断される。Ｔａｃｔ＝Ｔ１である場合には、処理がステップＳＴ４８に進む。
　ステップＳＴ４８では、露光時間Ｔ１に対応するホワイトバランスゲインＷｂＴ１がメモリ２７Ａから読み出され、ホワイトバランス調整回路２７に設定される。そして、処理がステップＳＴ４４に進む。
　ステップＳＴ４４では、撮影処理が行われる。例えば、本撮影により得られた画像データに対してホワイトバランスゲインＷｂ１によるホワイトバランス調整処理等の信号処理が実行される。各種の信号処理が施された画像データが適宜、記憶される。
　ステップＳＴ４７において、Ｔａｃｔ＝Ｔ１でない場合には、処理がステップＳＴ４９に進む。ステップＳＴ４９では、Ｔａｃｔ＝Ｔ２であるか否かが判断される。Ｔａｃｔ＝Ｔ２である場合には、処理がステップＳＴ５０に進む。
　ステップＳＴ５０では、露光時間Ｔ２に対応するホワイトバランスゲインＷｂＴ２がメモリ２７Ａから読み出され、ホワイトバランス調整回路２７に設定される。そして、処理がステップＳＴ４４に進む。
　ステップＳＴ４４では、撮影処理が行われる。例えば、本撮影により得られた画像データに対してホワイトバランスゲインＷｂ２によるホワイトバランス調整処理等の信号処理が実行される。各種の信号処理が施された画像データが適宜、記憶される。
　ステップＳＴ４９において、Ｔａｃｔ＝Ｔ２でない場合には、処理がステップＳＴ５１に進む。ステップＳＴ５１では、システムコントローラ１４が、露光時間Ｔ１、Ｔ２と異なる露光時間Ｔａｃｔに対応するホワイトバランスゲインＷｂＴａｃｔを、生成したホワイトバランスゲインＷｂＴ１、ＷｂＴ２に基づいて適用する。ホワイトバランスゲインＷｂＴａｃｔは、例えば、線形補間処理により生成することができる。
　線形補間の一例について説明する。なお、以下の例は、Ｒ，Ｂに対するゲインを求める例であるが、Ｇに対するゲインを含めてもよい。
　露光時間Ｔ１のホワイトバランスゲイン（Ｒ，Ｂ）を（Ｒｔ１，Ｂｔ１）とし、露光時間Ｔ２のホワイトバランスゲイン（Ｒ，Ｂ）を（Ｒｔ２，Ｂｔ２）とするとき、露光時間Ｔａｃｔのホワイトバランスゲイン（Ｒ，Ｂ）である（Ｒｔｘ，Ｂｔｘ）は、下記の式（１ａ）、（１ｂ）で表すことができる。
Ｒｔｘ＝Ｒｔ１＋α（Ｒｔ２－Ｒｔ１）　・・・（１ａ）
Ｂｔｘ＝Ｂｔ１＋α（Ｂｔ２－Ｂｔ１）　・・・（１ｂ）
但し、αは補間係数であり、α＝（Ｔａｃｔ－Ｔ１）／（Ｔ２－Ｔ１）
なお、Ｔと露光時間との関係性は下記の式（１ｃ）で規定することができる
Ｔ＝ＬＯＧ｛（１／露光時間），２｝　・・・（１ｃ）
　なお、上述の補間計算例は一例であり、これに限定されるものではない。
　ステップＳＴ５１における処理により露光時間Ｔａｃｔに対応するホワイトバランスゲインＷｂＴａｃｔが生成され、ホワイトバランス調整回路２７に設定される。そして、処理がステップＳＴ４４に進む。
　ステップＳＴ４４では、撮影処理が行われる。例えば、本撮影により得られた画像データに対して設定されたホワイトバランスゲインＷｂＴａｃｔを適用したホワイトバランス調整処理等の信号処理が実行される。各種の信号処理が施された画像データが適宜、記憶される。
[第２の実施形態の効果]
　以上、説明した第２の実施形態によれば、フリッカレス撮影においてシャッタスピードが可変された場合でも、シャッタスピードに対応する適切なホワイトバランスゲインによるホワイトバランスゲイン処理を行うことが可能となり、適切な色の調整が可能となる。
[第２の実施形態の変形例]
　第２の実施形態は、例えば、以下のような変形が可能である。
　上述した第２の実施形態では、２回のテスト撮影を行うことで２つの画像を得、当該２つの画像に基づいて各露光時間に対応するホワイトバランスゲインを生成するようにしたがこれに限定されるものではない。図１６に示すように、例えば、幕速の中心をフリッカ成分のピークに合わせたフリッカレス撮影によるテスト撮影を３回行うことで３つの画像を得、各露光時間に対応するホワイトバランスゲインＷｂＴ１、ＷｂＴ２、ＷｂＴ３を算出してもよい。また、４回以上のテスト撮影が行われてもよい。なお、同図の例では、露光時間が長いほどＢの成分が少なくなるのでＢのゲインを大きくすること等が示されている。
　図１６の露光時間Ｔ１、Ｔ２、Ｔ３は、それぞれ１／１００秒、１／１０００秒、１／８０００秒であるが、この露光時間は、フリッカ成分の１周期より遅くなければ適宜、設定することが可能である。また、露光時間Ｔ１、Ｔ２に対応するホワイトバランスゲインＷｂＴ１、ＷｂＴ２から、外側（Ｔ１からＴ２までの範囲から外れる時間）の露光時間に対応するホワイトバランスゲインを補間により求めてもよい。テスト撮影は、露光時間が短い方のテスト撮影から行われてもよいし、露光時間の長い方のテスト撮影から行われてもよい。
　過去にフリッカレス撮影により得られた複数枚の画像に基づいて、露光時間に対応するホワイトバランスゲインを生成するようにしてもよい。例えば、画像に対応付けられたメタデータ（付随情報）にシャッタスピードに関する情報を含め、当該シャッタスピードに対応するホワイトバランスゲインを生成するようにしてもよい。また、生成されたホワイトバランスゲインが記憶され後から使用できるようにしてもよい。過去に得られた画像は、撮像装置に記憶されている画像でもよいし、可搬型のメモリに記憶されている画像でもよいし、インターネット等を介してダウンロードされた画像でもよい。
　上述した第２の実施形態において、生成されたホワイトバランスゲインが記憶され、後から使用できるようにしてもよい。また、ＧＰＳ（Global Positioning System）等の位置情報と、露光時間（シャッタスピードでもよい）およびホワイトバランスゲインとを対応付けて記憶し、同一の場所および同一の露光時間での撮影がなされる場合には、その場所における過去のホワイトバランスゲインを設定したり、ユーザに提示する処理が行われるようにしてもよい。
　上述した第２の実施形態では、テスト撮影および本撮影が行われるタイミングを、フリッカ成分のピークのタイミングに同期させたが、フリッカ成分のボトム（振幅が最も小さくなる箇所）のタイミング等、他のタイミングに同期させてもよく、露光のタイミングを同期させるフリッカ成分の位相が、各撮影において同じであればよい。
　上述した第２の実施形態におけるステップＳＴ４７、４９の処理において、シャッタスピードがＴ１やＴ２に厳密に一致していなくても、所定の範囲内の誤差であれば、Ｔ１、Ｔ２に対応するホワイトバランスゲインＷｂＴ１、ＷｂＴ２が当該シャッタスピードに対応するホワイトバランスゲインとして使用されるようにしてもよい。
　第２の実施形態は、メカニカルなシャッタ、電子シャッタ、グローバルシャッタ、ローリングシャッタ等、何れに対しても適用可能であり、撮像素子がＣＣＤ(Charge Coupled Device)である場合にも適用可能である。
　フリッカ光源の光源周波数は、１００Ｈｚや１２０Ｈｚに限定されず、高速に明滅するＬＥＤに対しても本技術を適用することができる。
　上述した第２の実施形態において、動画の撮影をフリッカ光源下で行う場合でも、予め無彩色チャート等を、露光時間を変えながらテスト撮影して、当該露光時間に対応するホワイトバランスゲインが算出されるようにしてもよい。
　上述した第２の実施形態において、フリッカ光源下でマクベスチャート等の白色以外の様々な色からなる被写体を異なる露光時間で複数枚撮影して、露光時間毎の色再現に関するパラメータが算出されるようにしてもよい。すなわち、本技術の第２実施形態は、異なる露光時間に対応するホワイトバランスゲインのみではなく、ホワイトバランスゲインおよび色再現に関するパラメータの少なくとも一方を含む、露光時間毎の色の調整に関するパラメータの生成を制御する構成とすることができる。
　上述した第２の実施形態において、被写体のモニタリング中にフリッカレス撮影を行い、撮影により得られるスルー画像に対しても露光時間毎のホワイトバランスゲインが生成されるようにしてもよい。
　上述した第２の実施形態において、ステップＳＴ４５における露光時間は、撮像装置により自動で設定されたものでもよい。
　上述した第２の実施形態において、フリッカ光源の種類に応じてステップＳＴ３２、３３における露光時間Ｔ１、Ｔ２が異なるように設定されてもよいし、フリッカ光源の種類に応じた方法でホワイトバランスゲイン等のパラメータが生成されるようにしてもよい。
　本撮影の前に、撮像装置１００に設定されているシャッタスピードに応じたホワイトバランスゲイン等を生成していてもよく、そのまま当該シャッタスピードで本撮影がなされる場合には、事前に生成したホワイトバランスゲイン等を適用してもよい。
　上述した第２の実施形態では、システムコントローラ１４がホワイトバランスゲイン等を生成したが、システムコントローラ１４の制御に応じて、他の機能ブロックがホワイトバランスゲインを生成するようにしてもよい。
＜３．その他の変形例＞
　なお、本技術は、以下のような構成も取ることができる。
（１）
　検出されたフリッカ成分の周期および該フリッカ成分のピークのタイミングに基づいて、前記フリッカ成分のピークのタイミングに露光のタイミングを同期させる制御を行う制御部を備える撮像制御装置。
（２）
　前記フリッカ成分の周期および前記フリッカ成分のピークのタイミングは、撮像部による撮像結果に基づき検出される
　（１）に記載の撮像制御装置。
（３）
　前記制御部は、撮像部に対して第１のフレームレートより高速である第２のフレームレートに切り替える制御を行い、前記フリッカ成分の周期および該フリッカ成分のピークのタイミングは、前記第２のフレームレートに基づく画像データに基づいて検出される
　（１）または（２）に記載の撮像制御装置。
（４）
　前記制御部は、撮影を行う準備をする準備操作に応じて前記フレームレートを切り替える制御を行うように構成される
　（３）に記載の撮像制御装置。
（５）
　前記準備操作は、シャッタボタンを半押しする操作である
　（４）に記載の撮像制御装置。
（６）
　前記フリッカ成分の有無を検出する検出部をさらに備え、
　前記フリッカ成分の周期および該フリッカ成分のピークのタイミングは前記検出部により検出される
　（１）乃至（５）のいずれかに記載の撮像制御装置。
（７）
　前記第２のフレームレートは、前記第１のフレームレートのＮ倍（但し、Ｎは３以上の整数）である
　（３）乃至（５）のいずれかに記載の撮像制御装置。
（８）
　前記第１のフレームレートは、５０または６０ｆｐｓ(frame per second)であり、
　前記第２のフレームレートは、２００または２４０ｆｐｓである
　（７）に記載の撮像制御装置。
（９）
　前記撮像部を備える
　（２）に記載の撮像制御装置。
（１０）
　前記制御部は、撮影の設定に応じて、前記フリッカ成分のピークのタイミングに露光のタイミングを同期させる制御を連続して行うように構成される
　（１）乃至（９）のいずれかに記載の撮像制御装置。
（１１）
　１度目の露光の前に検出された前記フリッカ成分のピークのタイミングに基づいて、前記露光のタイミングを同期させる制御が連続して行われる
　（１０）に記載の撮像制御装置。
（１２）
　前記制御部は、周囲の明るさが所定以下の場合に、前記制御を行わないように構成される
　（１）乃至（１１）のいずれかに記載の撮像制御装置。
（１３）
　前記フレームレートを切り替えた場合に、付加的な処理が行われるように構成される
　（３）乃至（５）のいずれかに記載の撮像制御装置。
（１４）
　前記付加的な処理は、感度を上げる処理およびノイズリダクションの効果を強める処理の少なくとも一方の処理である
　（１３）に記載の撮像制御装置。
（１５）
　前記制御部は、前記制御により得られる画像の露出を補正する制御を行う
　（１）乃至（１４）のいずれかに記載の撮像制御装置。
（１６）
　前記制御部は、シャッタスピードとフリッカの強度との関係から得られる補正値に基づいて、前記画像の露出を制御する
　（１５）に記載の撮像制御装置。
（１７）
　前記制御部は、前記検出時におけるシャッタスピードとフリッカ成分の補正量とに基づいて前記制御時におけるシャッタスピードを求め、前記シャッタスピードを設定することにより前記画像の露出を制御する
　（１５）に記載の撮像制御装置。
（１８）
　前記制御部は、設定されたシャッタスピードに応じて前記制御を行うか否かを判断するように構成される
　（１）乃至（１７）のいずれかに記載の撮像制御装置。
（１９）
　制御部が、検出されたフリッカ成分の周期および該フリッカ成分のピークのタイミングに基づいて、前記フリッカ成分のピークのタイミングに露光のタイミングを同期させる制御を行う撮像制御方法。
（２０）
　制御部が、検出されたフリッカ成分の周期および該フリッカ成分のピークのタイミングに基づいて、前記フリッカ成分のピークのタイミングに露光のタイミングを同期させる制御を行う撮像制御方法をコンピュータに実行させるプログラム。
　上述した実施形態における撮像装置は、医療用の機器やスマートフォン、コンピュータ装置、ゲーム機器、ロボット、防犯カメラ、移動体（電車、飛行機、ヘリコプター、小型飛行体等）に組み込まれていてもよい。
　以上、本技術の実施形態について具体的に説明したが、上述の各実施形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。例えば、上述の実施形態において挙げた構成、方法、工程、形状、材料および数値などはあくまでも例に過ぎず、必要に応じてこれと異なる構成、方法、工程、形状、材料および数値などを用いてもよい。上述した実施形態および変形例を実現するための構成が適宜、追加されてもよい。また、装置に限らず、方法、プログラム、プログラムが記録された記録媒体等、任意の形態によって本技術を実現することができる。
１００・・・撮像装置
１１・・・撮像光学系
１２・・・ＣＭＯＳ撮像素子
１４・・・システムコントローラ
２０・・・デジタル信号処理部
２５，２５Ｒ、２５Ｇ，２５Ｂ・・・フリッカ低減部
２７・・・ホワイトバランス調整回路

Claims (20)

  1. 　検出されたフリッカ成分の周期および該フリッカ成分のピークのタイミングに基づいて、前記フリッカ成分のピークのタイミングに露光のタイミングを同期させる制御を行う制御部を備える撮像制御装置。
  2. 　前記フリッカ成分の周期および前記フリッカ成分のピークのタイミングは、撮像部による撮像結果に基づき検出される
    　請求項１に記載の撮像制御装置。
  3. 　前記制御部は、撮像部に対して第１のフレームレートより高速である第２のフレームレートに切り替える制御を行い、前記フリッカ成分の周期および該フリッカ成分のピークのタイミングは、前記第２のフレームレートに基づく画像データに基づいて検出される
    　請求項１に記載の撮像制御装置。
  4. 　前記制御部は、撮影を行う準備をする準備操作に応じて前記フレームレートを切り替える制御を行うように構成される
    　請求項３に記載の撮像制御装置。
  5. 　前記準備操作は、シャッタボタンを半押しする操作である
    　請求項４に記載の撮像制御装置。
  6. 　前記フリッカ成分の有無を検出する検出部をさらに備え、
    　前記フリッカ成分の周期および該フリッカ成分のピークのタイミングは前記検出部により検出される
    　請求項１に記載の撮像制御装置。
  7. 　前記第２のフレームレートは、前記第１のフレームレートのＮ倍（但し、Ｎは３以上の整数）である
    　請求項３に記載の撮像制御装置。
  8. 　前記第１のフレームレートは、５０または６０ｆｐｓ(frame per second)であり、
    　前記第２のフレームレートは、２００または２４０ｆｐｓである
    　請求項７に記載の撮像制御装置。
  9. 　前記撮像部を備える
    　請求項２に記載の撮像制御装置。
  10. 　前記制御部は、撮影の設定に応じて、前記フリッカ成分のピークのタイミングに露光のタイミングを同期させる制御を連続して行うように構成される
    　請求項１に記載の撮像制御装置。
  11. 　１度目の露光の前に検出された前記フリッカ成分のピークのタイミングに基づいて、前記露光のタイミングを同期させる制御が連続して行われる
    　請求項１０に記載の撮像制御装置。
  12. 　前記制御部は、周囲の明るさが所定以下の場合に、前記制御を行わないように構成される
    　請求項１に記載の撮像制御装置。
  13. 　前記フレームレートを切り替えた場合に、付加的な処理が行われるように構成される
    　請求項３に記載の撮像制御装置。
  14. 　前記付加的な処理は、感度を上げる処理およびノイズリダクションの効果を強める処理の少なくとも一方の処理である
    　請求項１３に記載の撮像制御装置。
  15. 　前記制御部は、前記制御により得られる画像の露出を補正する制御を行う
    　請求項１に記載の撮像制御装置。
  16. 　前記制御部は、シャッタスピードとフリッカの強度との関係から得られる補正値に基づいて、前記画像の露出を制御する
    　請求項１５に記載の撮像制御装置。
  17. 　前記制御部は、前記検出時におけるシャッタスピードとフリッカ成分の補正量とに基づいて前記制御時におけるシャッタスピードを求め、前記シャッタスピードを設定することにより前記画像の露出を制御する
    　請求項１５に記載の撮像制御装置。
  18. 　前記制御部は、設定されたシャッタスピードに応じて前記制御を行うか否かを判断するように構成される
    　請求項１に記載の撮像制御装置。
  19. 　制御部が、検出されたフリッカ成分の周期および該フリッカ成分のピークのタイミングに基づいて、前記フリッカ成分のピークのタイミングに露光のタイミングを同期させる制御を行う撮像制御方法。
  20. 　制御部が、検出されたフリッカ成分の周期および該フリッカ成分のピークのタイミングに基づいて、前記フリッカ成分のピークのタイミングに露光のタイミングを同期させる制御を行う撮像制御方法をコンピュータに実行させるプログラム。
PCT/JP2017/017403 2016-06-15 2017-05-08 撮像制御装置、撮像制御方法およびプログラム WO2017217137A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/099,379 US10771713B2 (en) 2016-06-15 2017-05-08 Imaging control device, imaging control method, and program
JP2018523573A JPWO2017217137A1 (ja) 2016-06-15 2017-05-08 撮像制御装置、撮像制御方法およびプログラム
EP17813042.3A EP3474537A4 (en) 2016-06-15 2017-05-08 IMAGE CONTROL DEVICE, IMAGE CONTROL PROCEDURE AND PROGRAM

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016-118535 2016-06-15
JP2016118535 2016-06-15
JP2016-179442 2016-09-14
JP2016179442 2016-09-14

Publications (1)

Publication Number Publication Date
WO2017217137A1 true WO2017217137A1 (ja) 2017-12-21

Family

ID=60664004

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/017403 WO2017217137A1 (ja) 2016-06-15 2017-05-08 撮像制御装置、撮像制御方法およびプログラム

Country Status (4)

Country Link
US (1) US10771713B2 (ja)
EP (1) EP3474537A4 (ja)
JP (1) JPWO2017217137A1 (ja)
WO (1) WO2017217137A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019239945A1 (ja) * 2018-06-15 2019-12-19 オリンパス株式会社 取得方法、プログラムおよび撮像装置
EP3609175A1 (en) * 2018-08-07 2020-02-12 Samsung Electronics Co., Ltd. Apparatus and method for generating moving image data including multiple section images in electronic device
CN112771847A (zh) * 2018-09-27 2021-05-07 富士胶片株式会社 成像元件、摄像装置、图像数据处理方法及程序
WO2021095257A1 (ja) * 2019-11-15 2021-05-20 オリンパス株式会社 撮像装置、フリッカーによる色ムラ低減方法および色ムラ低減プログラム
WO2022153682A1 (ja) * 2021-01-12 2022-07-21 ソニーグループ株式会社 撮像装置、撮像制御方法、プログラム
WO2022172639A1 (ja) * 2021-02-09 2022-08-18 ソニーグループ株式会社 撮像装置、撮像方法、プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3474544B1 (en) * 2016-06-15 2023-06-28 Sony Group Corporation Image processing device, image processing method, and program
US20230026669A1 (en) * 2019-12-10 2023-01-26 Gopro, Inc. Image sensor with variable exposure time and gain factor
CN114143470A (zh) * 2020-09-04 2022-03-04 华为技术有限公司 一种调整摄像机曝光时间的方法、装置以及程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015088917A (ja) * 2013-10-30 2015-05-07 キヤノン株式会社 撮像装置、撮像方法、プログラム、及び記録媒体
JP2015097326A (ja) * 2013-11-15 2015-05-21 キヤノン株式会社 フリッカーレス撮影装置
JP2016039499A (ja) * 2014-08-07 2016-03-22 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
JP2016092786A (ja) * 2014-11-11 2016-05-23 キヤノン株式会社 撮像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4173457B2 (ja) * 2004-03-12 2008-10-29 富士フイルム株式会社 撮影装置及びその制御方法
JP2012134663A (ja) * 2010-12-20 2012-07-12 Samsung Electronics Co Ltd 撮像装置および撮像方法
US20120154628A1 (en) 2010-12-20 2012-06-21 Samsung Electronics Co., Ltd. Imaging device and method
KR101919479B1 (ko) * 2012-05-02 2018-11-19 삼성전자주식회사 카메라 모듈에서 플리커를 검출하는 장치 및 방법
JP5814865B2 (ja) 2012-06-20 2015-11-17 株式会社 日立産業制御ソリューションズ 撮像装置
JP6060824B2 (ja) * 2013-06-20 2017-01-18 株式会社Ｊｖｃケンウッド 撮像装置、及びフリッカ低減方法
US9648249B2 (en) * 2013-11-20 2017-05-09 Canon Kabushiki Kaisha Image capturing apparatus, method of controlling the same, and storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015088917A (ja) * 2013-10-30 2015-05-07 キヤノン株式会社 撮像装置、撮像方法、プログラム、及び記録媒体
JP2015097326A (ja) * 2013-11-15 2015-05-21 キヤノン株式会社 フリッカーレス撮影装置
JP2016039499A (ja) * 2014-08-07 2016-03-22 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
JP2016092786A (ja) * 2014-11-11 2016-05-23 キヤノン株式会社 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3474537A4 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019239945A1 (ja) * 2018-06-15 2019-12-19 オリンパス株式会社 取得方法、プログラムおよび撮像装置
US11330192B2 (en) 2018-06-15 2022-05-10 Olympus Corporation Acquisition method, computer readable recording medium and image apparatus
CN110830730A (zh) * 2018-08-07 2020-02-21 三星电子株式会社 电子装置中用于生成移动图像数据的设备和方法
KR20200016559A (ko) * 2018-08-07 2020-02-17 삼성전자주식회사 복수의 구간 영상들을 포함하는 동영상 데이터를 생성하는 전자 장치 및 방법
US11159739B2 (en) 2018-08-07 2021-10-26 Samsung Electronics Co., Ltd. Apparatus and method for generating moving image data including multiple section images in electronic device
EP3609175A1 (en) * 2018-08-07 2020-02-12 Samsung Electronics Co., Ltd. Apparatus and method for generating moving image data including multiple section images in electronic device
CN110830730B (zh) * 2018-08-07 2023-04-07 三星电子株式会社 电子装置中用于生成移动图像数据的设备和方法
KR102698647B1 (ko) * 2018-08-07 2024-08-26 삼성전자주식회사 복수의 구간 영상들을 포함하는 동영상 데이터를 생성하는 전자 장치 및 방법
CN112771847A (zh) * 2018-09-27 2021-05-07 富士胶片株式会社 成像元件、摄像装置、图像数据处理方法及程序
JPWO2020066187A1 (ja) * 2018-09-27 2021-08-30 富士フイルム株式会社 撮像素子、撮像装置、画像データ処理方法、及びプログラム
US11277570B2 (en) 2018-09-27 2022-03-15 Fujifilm Corporation Imaging element, imaging apparatus, image data processing method, and program
WO2021095257A1 (ja) * 2019-11-15 2021-05-20 オリンパス株式会社 撮像装置、フリッカーによる色ムラ低減方法および色ムラ低減プログラム
WO2022153682A1 (ja) * 2021-01-12 2022-07-21 ソニーグループ株式会社 撮像装置、撮像制御方法、プログラム
WO2022172639A1 (ja) * 2021-02-09 2022-08-18 ソニーグループ株式会社 撮像装置、撮像方法、プログラム

Also Published As

Publication number Publication date
EP3474537A4 (en) 2019-05-22
EP3474537A1 (en) 2019-04-24
US10771713B2 (en) 2020-09-08
JPWO2017217137A1 (ja) 2019-04-11
US20190215434A1 (en) 2019-07-11

Similar Documents

Publication Publication Date Title
WO2017217137A1 (ja) 撮像制御装置、撮像制御方法およびプログラム
JP6950698B2 (ja) 撮像制御装置、撮像制御方法および撮像装置
JP3607509B2 (ja) オートフォーカス装置
JP2010114834A (ja) 撮像装置
JP2009212627A (ja) 画像処理装置、フリッカ低減方法、撮像装置及びフリッカ低減プログラム
JP2005223898A (ja) 画像処理方法及び撮像装置
KR20060096916A (ko) 촬상장치 및 촬상방법
JP6911850B2 (ja) 画像処理装置、画像処理方法およびプログラム
US7714929B2 (en) Method for setting and adapting preset white balance of digital photographing apparatus and digital photographing apparatus performing the same
JP2012119788A (ja) 撮影装置、画像処理装置、撮影方法及び画像処理方法
JP6242129B2 (ja) 撮像装置、その制御方法、及び制御プログラム
JP2008228185A (ja) 撮像装置
JP2006135381A (ja) キャリブレーション方法およびキャリブレーション装置
JP2007208833A (ja) デジタルカメラ及び画像処理方法
JP5750262B2 (ja) 撮像装置及び撮像方法
JPH1169217A (ja) 電子カメラ及びその電子シャッター制御方法
JP3943613B2 (ja) 撮像装置及びレンズユニット
JP2012227744A (ja) 撮像装置
EP4280590A1 (en) Imaging device, imaging control method, and program
WO2022172639A1 (ja) 撮像装置、撮像方法、プログラム
US10848684B2 (en) Imaging control device, imaging control method, and imaging system
WO2020026595A1 (ja) 信号処理装置、撮像装置及び信号処理方法
JP4080282B2 (ja) ストロボ制御出力を有するｃｃｄカメラ
JP5597124B2 (ja) 画像信号処理装置
JPH11155107A (ja) 撮像装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018523573

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17813042

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017813042

Country of ref document: EP

Effective date: 20190115