WO2016132615A1 - 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム - Google Patents

撮像装置、フリッカ検出方法、及びフリッカ検出プログラム Download PDF

Info

Publication number
WO2016132615A1
WO2016132615A1 PCT/JP2015/082445 JP2015082445W WO2016132615A1 WO 2016132615 A1 WO2016132615 A1 WO 2016132615A1 JP 2015082445 W JP2015082445 W JP 2015082445W WO 2016132615 A1 WO2016132615 A1 WO 2016132615A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame period
period
flicker detection
flicker
frame
Prior art date
Application number
PCT/JP2015/082445
Other languages
English (en)
French (fr)
Inventor
善工 古田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201580076251.0A priority Critical patent/CN107251543B/zh
Priority to JP2017500285A priority patent/JP6175585B2/ja
Publication of WO2016132615A1 publication Critical patent/WO2016132615A1/ja
Priority to US15/677,468 priority patent/US9939712B2/en
Priority to US15/913,319 priority patent/US10126632B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Definitions

  • the present invention relates to an imaging apparatus, a flicker detection method, and a flicker detection program.
  • An image pickup apparatus including a general XY address scan type image pickup element employs a rolling shutter system that controls a charge accumulation time for each pixel scan line by address designation.
  • an information device having an imaging function such as a digital still camera, a digital video camera, and a smartphone is referred to as an imaging device.
  • the blinking cycle of the fluorescent lamp light source for example, 50 Hz (Hertz) or 60 Hz commercial power supply is 1/100 second or 1/120. Due to the influence of the periodic luminance change due to the second, horizontal stripe-like unevenness (hereinafter referred to as “flicker”) may occur in the captured image.
  • the fluorescent lamp light source for example, 50 Hz (Hertz) or 60 Hz commercial power supply is 1/100 second or 1/120.
  • flicker horizontal stripe-like unevenness
  • Patent Documents 1 to 3 propose a method for detecting the occurrence of flicker.
  • Patent Document 1 describes an imaging apparatus that detects flicker based on difference image data between captured image data obtained by setting an exposure time at which flicker does not occur and captured image data obtained by setting at an exposure time at which flicker occurs. Has been.
  • Patent Literature 2 and Patent Literature 3 captured image data obtained by setting the exposure time to a natural number multiple of 1/100 seconds and imaging obtained by setting the exposure time to a natural number times 1/120 seconds are disclosed.
  • An imaging device that detects the presence or absence of flicker based on a difference from image data is described.
  • the present invention has been made in view of the above circumstances, and provides an imaging apparatus, a flicker detection method, and a flicker detection program capable of accurately detecting flicker even when imaging a bright subject. With the goal.
  • An image pickup apparatus includes a MOS type image pickup device having a plurality of pixels arranged in a two-dimensional shape, and the image pickup device is driven by a rolling shutter system, and is picked up multiple times by the image pickup device at an arbitrary frame rate.
  • An image sensor driving unit for performing the first image signal read from the plurality of pixels in the first frame period based on the frame rate, and the plurality of pixels in the second frame period based on the frame rate.
  • a flicker detection unit that detects the presence or absence of flicker by comparison with a second captured image signal read from the image pickup device, wherein the image sensor driving unit is configured to detect signals from the plurality of pixels in the first frame period.
  • the end timing of the signal readout period for reading is set before the end timing of the first frame period, and the second frame period The end timing of the definitive the signal readout period, in which the same as the end timing of the second frame period.
  • an image pickup device in which a MOS type image pickup device having a plurality of pixels arranged two-dimensionally is driven by a rolling shutter method and an image is picked up multiple times by the image pickup device at an arbitrary frame rate.
  • An element driving step a first captured image signal read from the plurality of pixels in a first frame period based on the frame rate; and a first image signal read from the plurality of pixels in a second frame period based on the frame rate.
  • the end timing of the readout period is set before the end timing of the first frame period, and the second period
  • the end timing of the signal readout period in the frame period is to the same as the end timing of the second frame period.
  • the flicker detection program of the present invention drives a MOS type image pickup device having a plurality of pixels arranged two-dimensionally by a rolling shutter system, and causes the image pickup device to perform image pickup a plurality of times at an arbitrary frame rate.
  • a flicker detection program for causing a computer to execute a flicker detection step for detecting the presence or absence of flicker by comparison with two captured image signals, wherein the imaging element driving step includes: The end timing of the signal readout period for reading out signals from a plurality of pixels is Serial and before the end timing of the first frame period, the end timing of the signal readout period in the second frame period, a program the same as the end timing of the second frame period.
  • an imaging apparatus a flicker detection method, and a flicker detection program capable of accurately detecting flicker even when a bright subject is imaged.
  • FIG. 1 is a diagram illustrating a schematic configuration of a digital camera as an example of an imaging apparatus for describing an embodiment of the present invention. It is a flowchart for demonstrating a flicker detection operation
  • FIG. 1 is a diagram showing a schematic configuration of a digital camera as an example of an imaging apparatus for explaining an embodiment of the present invention.
  • the imaging system of the digital camera shown in FIG. 1 includes an imaging optical system (including an imaging lens 1 and a diaphragm 2) and an imaging element 5.
  • the image pickup device 5 is a MOS (Metal-Oxide Semiconductor) type image pickup device having a plurality of pixels arranged in a two-dimensional shape and capable of reading a signal from an arbitrary pixel by XY addressing.
  • MOS Metal-Oxide Semiconductor
  • the system control unit 11 that controls the entire electric control system of the digital camera controls the light emitting unit 12 and the light receiving unit 13.
  • the system control unit 11 controls the lens driving unit 8 to adjust the position of the focus lens and the like included in the imaging lens 1. Further, the system control unit 11 adjusts the exposure amount by controlling the aperture amount of the aperture 2 via the aperture drive unit 9.
  • the system control unit 11 drives the imaging device 5 via the imaging device driving unit 10 and outputs the subject image captured through the imaging lens 1 as a captured image signal.
  • An instruction signal is input from the user to the system control unit 11 through the operation unit 14.
  • the captured image signal is composed of a plurality of pixel signals arranged two-dimensionally in the X direction and the Y direction orthogonal to the X direction.
  • the image sensor driving unit 10 drives the image sensor 5 by a rolling shutter system.
  • the rolling shutter system is a system in which an exposure operation is sequentially performed for each of one or more scanning lines arranged in the vertical direction (lines composed of a plurality of pixels arranged in the horizontal direction) in a MOS type image pickup device.
  • the rolling shutter system sequentially resets each scanning line, accumulates charges in each pixel included in the scanning line, performs signal readout for each scanning line, and sequentially stores the charges accumulated in each pixel.
  • This is a reading method (also called a focal plane shutter method).
  • the image sensor driving unit 10 causes the image sensor 5 to perform image capturing a plurality of times at an arbitrary frame rate set by the system control unit 11.
  • the frame rate is a value indicating how many frames (captured image signal) are output from the image sensor 5 per unit time.
  • the frame rate is 120 frames / second, for example, the period from the fall of the vertical synchronization signal of the display unit 24 to be described later to the next fall is 1/120 seconds. Also for the vertical synchronization signal used to drive the image sensor 5, the period from the fall to the next fall is 1/120 seconds.
  • the electric control system of the digital camera further includes an analog signal processing unit 6 that performs analog signal processing such as correlated double sampling processing connected to the output of the image sensor 5 and an analog signal output from the analog signal processing unit 6. And an analog-to-digital conversion circuit (A / D) 7 for converting into a digital signal.
  • the analog signal processing unit 6 and the analog / digital conversion circuit 7 are controlled by the system control unit 11.
  • the electric control system of the digital camera includes an interpolation operation and a gamma correction operation on the main memory 16, the memory control unit 15 connected to the main memory 16, and the captured image signal output from the analog-digital conversion circuit 7.
  • the digital signal processing unit 17 that generates captured image data by performing RGB-YC conversion processing and the like, and the captured image data generated by the digital signal processing unit 17 are compressed or compressed into a JPEG (Joint Photographic Experts Group) format.
  • a compression / decompression processing unit 18 that decompresses image data, a flicker detection unit 20, an external memory control unit 21 to which a detachable recording medium 22 is connected, and a display unit 24 mounted on the back of the camera are connected.
  • Display control unit 23 Display control unit 23.
  • the memory control unit 15, digital signal processing unit 17, compression / decompression processing unit 18, flicker detection unit 20, external memory control unit 21, and display control unit 23 are mutually connected by a control bus 25 and a data bus 26, and system control is performed. It operates according to a command from the unit 11.
  • the flicker detection unit 20 detects flicker caused by the blinking cycle of the light source of the fluorescent lamp (for example, 1/100 second or 1/120 second for a commercial power supply of 50 Hz or 60 Hz). To do.
  • the flicker detection unit 20 includes a first captured image signal read from the plurality of pixels of the image sensor 5 in a first frame period based on the frame rate set by the system control unit 11, and a second image based on the frame rate. The presence or absence of flicker is detected by comparison with the second captured image signal read from the plurality of pixels of the image sensor 5 during the frame period.
  • the frame period refers to a period from the fall of the vertical synchronization signal of the image sensor 5 to the next fall.
  • FIG. 2 is a flowchart for explaining the flicker detection operation.
  • the system control unit 11 sets the frame rate to a value that is a natural number multiple of 60 Hz, which is one of the power supply frequencies of the commercial power supply (here, 120 frames / second) (step S1). ). Then, the system control unit 11 causes the image sensor driving unit 10 to drive the image sensor 5 according to the set frame rate.
  • the system control unit 11 calculates an appropriate exposure based on the captured image signal output from the image sensor 5, and calculates the calculated exposure value. Are set as imaging conditions (step S2).
  • the system control unit 11 controls the aperture amount of the aperture 2 via the aperture drive unit 9 based on the calculated exposure value, and the shutter speed (exposure time) of the image sensor 5 based on the calculated exposure value. ) To the image sensor driving unit 10. In accordance with this notification, the image sensor drive unit 10 performs control to expose each pixel of the image sensor 5 with the set exposure time.
  • exposure of an arbitrary pixel is started at the timing when this pixel is reset, and is ended when a signal corresponding to the electric charge accumulated in this pixel is read out to the signal line.
  • the image sensor driving unit 10 controls the reset timing and signal readout timing of each pixel to expose each pixel with the set exposure time.
  • FIG. 3 is a diagram showing a drive timing chart of the image sensor 5 after the process of step S2 of FIG.
  • symbol RS indicates a reset signal for resetting the pixels of the image sensor 5.
  • a symbol RE indicates a read signal for reading a signal from the pixel of the image sensor 5.
  • the reset signal and the readout signal can be independently supplied for each scanning line composed of a plurality of pixels arranged in the horizontal direction of the image sensor 5.
  • the image sensor 5 when the timing before the exposure time Tx from the time when the vertical synchronization signal of the image sensor 5 falls, the image sensor 5 is directed downward from the scanning line above the area where a plurality of pixels are arranged.
  • the reset signal RS is sequentially supplied toward the.
  • the image sensor 5 moves downward from a scanning line above the area where a plurality of pixels are arranged. Then, the read signal RE is sequentially supplied. The above operation is repeated.
  • the exposure time of each pixel is controlled to the exposure time Tx.
  • the image pickup device 5 outputs a picked-up image signal at a set frame rate.
  • the period from the start of reading of the first scanning line of the image sensor 5 to the end of reading of the signal of the last scanning line is a signal from a plurality of pixels of the image sensor 5. This is referred to as a signal reading period during which the reading is performed.
  • the flicker detection unit 20 compares two captured image signals output continuously from the image sensor 5 (step S3).
  • the flicker frequency of a fluorescent lamp operating with a commercial power supply of 50 Hz is 50 Hz.
  • the frame rate set in step S1 is not a natural number multiple of 50 Hz.
  • step S ⁇ b> 3 the flicker detection unit 20 determines whether or not such a difference in captured image signals occurs.
  • step S3 When the determination in step S3 is YES, the flicker detection unit 20 determines that 50 Hz flicker has occurred, and notifies the determination result to the system control unit 11 (step S4).
  • step S3 determines that the flicker caused by the commercial power frequency of 60 Hz (hereinafter also referred to as 60 Hz flicker) has occurred or that no flicker has occurred. Then, the processing after step S5 is performed.
  • 60 Hz flicker the flicker caused by the commercial power frequency of 60 Hz
  • the flicker frequency of a fluorescent lamp operating with a commercial power supply of 60 Hz is 60 Hz.
  • the frame rate set in step S1 is a natural number multiple of 60 Hz.
  • step S3 determines whether or not a 60 Hz flicker has occurred.
  • step S5 the system control unit 11 sets the exposure time of the image sensor 5 to a value (referred to as Txa) that is less than 1/120 second, which is the blinking cycle of a fluorescent lamp that operates with a commercial power supply of 60 Hz.
  • Txa a value that is less than 1/120 second
  • system control unit 11 captures an instruction to change the driving method of the image sensor 5 to a driving method for detecting 60 Hz flicker (referred to as 60 Hz flicker detection driving) while maintaining the frame rate set in step S ⁇ b> 1. This is performed on the element driving unit 10.
  • the image sensor driving unit 10 drives the image sensor 5 by a driving method different from that in FIG. 3 as illustrated in FIG. 4 (step S6).
  • the imaging element driving unit 10 performs the same driving as in each frame period in FIG. 3 in an arbitrary frame period F1. In other words, the image sensor driving unit 10 performs driving so that the start timing (time t1) of the signal readout period is the same as the start timing of the frame period F1.
  • the imaging element driving unit 10 performs driving in which the end timing of the signal readout period (time t2 in the drawing) is set before the end timing of the frame period F1 in the frame period F1.
  • the frame period F1 constitutes a first frame period.
  • the image sensor driving unit 10 performs driving so that the start timing of the signal readout period (time t3 in the drawing) is later than the start timing of the frame period F2.
  • the imaging element driving unit 10 performs driving so that the end timing of the signal reading period (time t4 in the figure) is the same as the end timing of the frame period F2 in the frame period F2.
  • the frame period F2 constitutes a second frame period.
  • the image sensor driving unit 10 performs the same drive as the frame period F1 in the frame period F3 following the frame period F2.
  • the frame period F3 constitutes a first frame period.
  • step S6 the image sensor driving unit 10 drives the image sensor 5 so that the first frame period and the second frame period are alternately arranged.
  • the image sensor driving unit 10 fixes the exposure time to Txa in each frame period. Further, the image sensor driving unit 10 controls the time between the time t1 and the time t2 and the time between the time t3 and the time t4 to be the same. That is, the length of the signal readout period is common in each frame period.
  • FIG. 4 shows a change in luminance of a fluorescent lamp operating at a power supply frequency of 60 Hz, in addition to the drive timing chart of the image sensor 5.
  • the first captured image signal read from the image sensor 5 in the frame period F3 in FIG. 4 is obtained by sequentially exposing the scanning lines during the period T2 in FIG.
  • the first captured image signal includes a signal corresponding to a portion overlapping the period T2 in the luminance change of the fluorescent lamp.
  • the second captured image signal read from the image sensor 5 in the frame period F2 in FIG. 4 is obtained by sequentially exposing the scanning lines during the period T1 in FIG.
  • the second captured image signal includes a signal corresponding to a portion overlapping the period T1 in the luminance change of the fluorescent lamp.
  • the portion overlapping the period T1 and the portion overlapping the period T2 are different in shape. For this reason, when 60 Hz flicker is generated, a difference in luminance occurs in the plane between the first captured image signal and the second captured image signal.
  • the presence or absence of 60 Hz flicker can be determined by comparing the first captured image signal and the second captured image signal.
  • the flicker detection unit 20 outputs the first output from the image sensor 5 in the first frame period (for example, the frame period F1) of FIG.
  • the one captured image signal is compared with the second captured image signal output from the image sensor 5 in the second frame period (for example, the frame period F2) in FIG. 4 (step S7).
  • each of the first captured image signal and the second captured image signal is divided into a plurality of blocks in the direction in which the scanning lines are arranged, and the average luminance of the pixel signals of each block is obtained.
  • step S8 the difference in luminance average between the same blocks is calculated, and if the average of the difference is equal to or greater than the threshold value TH, the flicker detection unit 20 It is determined that there is a difference (step S8: YES), and it is determined that 60 Hz flicker has occurred (step S9).
  • the flicker detection unit 20 determines that there is no difference between them (step S8: NO), and determines that no flicker has occurred (step S10).
  • the method of comparing the two captured image signals is not limited to this. For example, it may be determined that there is a difference when the difference between the luminance averages of all pixel signals of two captured image signals is equal to or greater than a threshold value.
  • the image sensor driving unit 10 performs the driving including the first frame period and the second frame period in which the positions of the signal reading periods are different.
  • the exposure time Txa is a natural number multiple of the blinking cycle of a fluorescent lamp operating at a commercial power supply frequency of 60 Hz.
  • the exposure time Txa is a natural number multiple of the blinking cycle of a fluorescent lamp operating at a commercial power supply frequency of 60 Hz
  • the exposure time can be shortened even when the subject is very bright.
  • the captured image signal can be prevented from being overexposed.
  • flicker detection can be performed with high accuracy.
  • the live view image displayed on the display unit 24 during flicker detection can be made appropriate, and the user does not feel uncomfortable.
  • the exposure time Txa does not change, when comparing the first captured image signal and the second captured image signal, it is not necessary to perform a process of adjusting the luminance difference due to the difference between the exposure times of both, and it is necessary for flicker detection.
  • the amount of processing can be reduced.
  • step S5 in FIG. 2 the exposure time is set to less than 1/120 seconds. However, when the exposure time based on the appropriate exposure set in step S2 is less than 1/120 seconds, In step S5, it is not necessary to change the exposure time setting.
  • the system control unit 11 may change the frame rate to a value smaller than the value set in step S1.
  • step S5 the system control unit 11 changes the frame rate from 120 frames / second to 60 frames / second.
  • the exposure time is set to less than 1/120 seconds in step S5.
  • the exposure time is not limited to less than 1/120 seconds in step S5, but other than a natural number multiple of 1/120 seconds. Can be set to a value. Even in this case, the presence of 60 Hz flicker can be determined by performing the driving shown in FIG.
  • the exposure time Txa can be made longer by slowing down the frame rate, flicker detection can be performed accurately even for a dark subject.
  • the frame rate changes only when there is a possibility that 60 Hz flicker has occurred, and the length does not change frequently in the adjacent frame period. For this reason, discomfort to the user can be minimized. In addition, system design costs can be minimized.
  • the presence / absence of 50 Hz flicker is determined first. However, when the presence / absence of 60 Hz flicker is determined first and it is determined that there is no 60 Hz flicker, the presence / absence of 50 Hz flicker is determined. Also good.
  • FIG. 5 is a flowchart showing a modification of the flicker detection operation of the digital camera shown in FIG.
  • the system control unit 11 sets the frame rate to a value that is a natural number multiple of 50 Hz, which is one of the power supply frequencies of the commercial power supply (here, 100 frames / second) (step S1a).
  • the system control unit 11 causes the image sensor driving unit 10 to drive the image sensor 5 according to the set frame rate.
  • step S2a the system control unit 11 calculates an appropriate exposure based on the captured image signal output from the image sensor 5, and sets the calculated exposure value as an imaging condition.
  • the flicker detection unit 20 compares two captured image signals output continuously from the image sensor 5 (step S3a).
  • the flicker frequency of a fluorescent lamp operating with a commercial power supply of 60 Hz is 60 Hz.
  • the frame rate set in step S1a is not a natural number multiple of 60 Hz.
  • step S3a the flicker detection unit 20 determines whether or not such a difference between the captured image signals is generated.
  • step S3a When the determination in step S3a is YES, the flicker detection unit 20 determines that 60 Hz flicker has occurred, and notifies the determination result to the system control unit 11 (step S4a).
  • step S3a determines that 50 Hz flicker has occurred or no flicker has occurred, and performs the processing from step S5a.
  • step S5a the system control unit 11 sets the exposure time of the image sensor 5 to a value less than 1/100 second, which is the blinking cycle of a fluorescent lamp operating with a commercial power supply of 50 Hz.
  • system control unit 11 gives an instruction to change the driving method of the image sensor 5 to the driving method for detecting 50 Hz flicker (50 Hz flicker detection driving) while maintaining the frame rate set in step S1a. This is performed for the drive unit 10.
  • This 50 Hz flicker detection drive is the same drive as the 60 Hz flicker detection drive described above.
  • the image sensor driving unit 10 drives the image sensor 5 by a driving method different from that in FIG. 3 (step S6a).
  • the flicker detection unit 20 includes the first captured image signal output from the image sensor 5 in the first frame period (for example, the frame period F1) in FIG. Comparison with the second captured image signal output from the image sensor 5 in the second frame period (for example, frame period F2) in FIG. 4 is performed (step S7a).
  • step S8a determines that there is a difference between them (step S8a: YES), it determines that 50 Hz flicker has occurred (step S9a).
  • step S10a determines that no flicker has occurred.
  • step S7 in FIG. 2 and step S7a in FIG. 5 do not cause a large difference in luminance due to factors other than flicker.
  • the image sensor driving unit 10 performs driving in which the first frame period and the second frame period are alternately arranged, and the flicker detection unit 20 performs the first frame period and the second frame that are temporally adjacent to each other. It is preferable to compare the captured image signals obtained in each period.
  • the two captured image signals to be compared use the captured image signal obtained in the second frame period and the captured image signal obtained in the first frame period following the second frame period. Is preferred. For example, in the example of FIG. 4, it is preferable to compare the captured image signals obtained in each of the frame period F2 and the frame period F3.
  • the captured image signal obtained in each of the frame period F2 and the frame period F3 was obtained by imaging at a timing close in time compared to the captured image signal obtained in each of the frame period F1 and the frame period F2. It will be a thing.
  • FIG. 6 is a timing chart for explaining modifications of the 50 Hz flicker detection drive and the 60 Hz flicker detection drive.
  • the frame period F4 shown in FIG. 6 is a period during which the same driving as the frame period F1 and the frame period F3 shown in FIG. 4 is performed, and constitutes a first frame period.
  • the signal reading period is longer than the signal reading period in the frame period F4.
  • the frame period F5 and the frame period F6 constitute a second frame period.
  • the frame period F5 constitutes another frame period.
  • the start timing of the signal readout period in the frame period F5 is the same as the start timing of the frame period F5, and the end timing of this signal readout period is the same as the end timing of the frame period F5.
  • the start timing of the signal readout period in the frame period F6 is the same as the start timing of the frame period F6, and the end timing of this signal readout period is the same as the end timing of the frame period F6.
  • the second picked-up image signal read from the image sensor 5 in the frame period F6 in FIG. 6 by such driving is obtained by sequentially exposing the scanning lines during the period T5 in FIG.
  • the second captured image signal includes a signal corresponding to a portion overlapping the period T5 in the luminance change of the fluorescent lamp.
  • the first captured image signal read from the image sensor 5 in the frame period F4 in FIG. 6 is obtained by sequentially exposing the scanning lines during the period T3 in FIG.
  • the first captured image signal includes a signal corresponding to a portion overlapping the period T3 in the luminance change of the fluorescent lamp.
  • the shape of the portion overlapping the period T3 and the portion overlapping the period T5 are different. For this reason, when 60 Hz flicker is generated, a difference in luminance occurs in the plane between the first captured image signal and the second captured image signal.
  • the presence or absence of 60 Hz flicker can be determined by comparing the first captured image signal and the second captured image signal.
  • the exposure time Txa of the image sensor 5 in each of the frame period F4, the frame period F5, and the frame period F6 is controlled to be the same. In some cases, the exposure time does not become Txa.
  • FIG. 7 is an enlarged view of a range H in FIG.
  • the reset signal is supplied to the image sensor 5 according to the timing signal set in the frame period F4.
  • the timing signal for determining the timing for supplying the reset signal is updated to that for the frame period F5, and the reset signal is supplied to the image sensor 5. Is done. For this reason, there is a difference between the slope of the reset signal RS between time t5 and time t6 and the slope of the reset signal RS after time t6.
  • the scanning line to which the reset signal is supplied from time t5 to time t6 has a shorter exposure time than the scanning line to which the reset signal is supplied after time t6.
  • the flicker detection unit 20 reads in the frame period F4 that is the first frame period when the driving shown in FIG. 6 is performed in step S6 in FIG. 2 or step S6a in FIG.
  • the flicker detection unit 20 reads in the frame period F4 that is the first frame period when the driving shown in FIG. 6 is performed in step S6 in FIG. 2 or step S6a in FIG.
  • the flicker detection unit 20 reads the first read out in the frame period F4 that is the first frame period.
  • the presence or absence of flicker may be determined by comparing the captured image signal with the second captured image signal read in the frame period F5, which is the second frame period following the frame period F4.
  • the luminance of the signal read from the pixel that was reset between time t5 and time t6 is calculated from time t5 to time t6. Is corrected in accordance with the ratio of the slope of the reset signal between and the slope of the reset signal after time t6 to obtain the same luminance level as the signal read after time t6, and then the first captured image signal and the first The comparison with the two captured image signals may be performed.
  • the image sensor driving unit 10 determines the signal readout timing for the pixel that has been reset in the frame period F4 (the pixel that has been reset between time t5 and time t6) in the frame period F5. You may control to the timing when the exposure time and the exposure time of the pixel reset during frame period F5 become the same.
  • the image sensor driving unit 10 does not supply the read signal RE from time t6 to time t7. Then, at time t7, the image sensor driving unit 10 supplies the read signal RE with the same inclination (dashed line in the drawing) as the inclination of the reset signal RS between time t5 and time t6.
  • the image sensor driving unit 10 supplies the read signal RE with the same inclination as the inclination of the reset signal RS after time t6.
  • the exposure time of each pixel from which a signal is read out in the frame period F5 can be made the same.
  • the flicker detection unit 20 reads the first captured image signal read in the frame period F4 and the second captured image signal read in the frame period F5 that is the second frame period following the frame period F4. The presence or absence of flicker can be determined by comparison with.
  • FIG. 8 shows an appearance of a smartphone 200 that is an embodiment of the photographing apparatus of the present invention.
  • a smartphone 200 shown in FIG. 8 includes a flat housing 201, and a display input in which a display panel 202 as a display unit and an operation panel 203 as an input unit are integrated on one surface of the housing 201. Part 204 is provided.
  • Such a casing 201 includes a speaker 205, a microphone 206, an operation unit 207, and a camera unit 208.
  • the configuration of the housing 201 is not limited thereto, and for example, a configuration in which the display unit and the input unit are independent can be employed, or a configuration having a folding structure and a slide mechanism can be employed.
  • FIG. 9 is a block diagram showing a configuration of the smartphone 200 shown in FIG.
  • the main components of the smartphone include a wireless communication unit 210, a display input unit 204, a call unit 211, an operation unit 207, a camera unit 208, a storage unit 212, and an external input / output unit. 213, a GPS (Global Positioning System) receiving unit 214, a motion sensor unit 215, a power supply unit 216, and a main control unit 220.
  • a wireless communication function for performing mobile wireless communication via a base station device (not shown) and a mobile communication network (not shown) is provided.
  • the wireless communication unit 210 performs wireless communication with a base station apparatus accommodated in the mobile communication network in accordance with an instruction from the main control unit 220. Using this wireless communication, transmission and reception of various file data such as audio data and image data, e-mail data, and reception of Web data and streaming data are performed.
  • the display input unit 204 displays images (still images and moving images), character information, and the like, visually transmits information to the user under the control of the main control unit 220, and detects user operations on the displayed information.
  • a so-called touch panel which includes a display panel 202 and an operation panel 203.
  • the display panel 202 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • LCD Liquid Crystal Display
  • OELD Organic Electro-Luminescence Display
  • the operation panel 203 is a device that is placed so that an image displayed on the display surface of the display panel 202 is visible and detects one or more coordinates operated by a user's finger or stylus.
  • a detection signal generated due to the operation is output to the main control unit 220.
  • the main control unit 220 detects an operation position (coordinates) on the display panel 202 based on the received detection signal.
  • the display panel 202 and the operation panel 203 of the smartphone 200 exemplified as an embodiment of the photographing apparatus of the present invention integrally constitute a display input unit 204.
  • the arrangement 203 covers the display panel 202 completely.
  • the operation panel 203 may have a function of detecting a user operation even in an area outside the display panel 202.
  • the operation panel 203 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 202 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 202. May be included).
  • the size of the display area and the size of the display panel 202 may be completely matched, it is not always necessary to match the two.
  • the operation panel 203 may include two sensitive areas of the outer edge portion and the other inner portion.
  • the width of the outer edge portion is appropriately designed according to the size of the housing 201 and the like.
  • examples of the position detection method employed in the operation panel 203 include a matrix switch method, a resistance film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, a capacitance method, and the like. You can also
  • the call unit 211 includes a speaker 205 and a microphone 206, converts user's voice input through the microphone 206 into voice data that can be processed by the main control unit 220, and outputs the voice data to the main control unit 220. 210 or the audio data received by the external input / output unit 213 is decoded and output from the speaker 205.
  • the speaker 205 can be mounted on the same surface as the surface on which the display input unit 204 is provided, and the microphone 206 can be mounted on the side surface of the housing 201.
  • the operation unit 207 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 207 is mounted on the side surface of the housing 201 of the smartphone 200 and turns on when pressed with a finger or the like, and turns off when a finger is released with a restoring force such as a spring. It is a push button type switch.
  • the storage unit 212 is a control program and control data of the main control unit 220, application software, address data that associates the name and telephone number of the communication partner, transmitted / received e-mail data, web data downloaded by web browsing, The downloaded content data is stored, and streaming data and the like are temporarily stored.
  • the storage unit 212 includes an internal storage unit 217 built in the smartphone and an external storage unit 218 having a removable external memory slot.
  • Each of the internal storage unit 217 and external storage unit 218 constituting the storage unit 212 includes a flash memory type, a hard disk type, a multimedia card micro type, a card type memory, a RAM (Random Access Memory), a ROM (Read Only). It is realized by using a storage medium such as Memory.
  • the external input / output unit 213 serves as an interface with all external devices connected to the smartphone 200, and communicates with other external devices (for example, universal serial bus, IEEE 1394, etc.) or a network (for example, Internet, wireless LAN (Local Area Network), Bluetooth (registered trademark), RFID (Radio Frequency Identification), infrared communication, UWB (Ultra Wideband) (registered trademark), ZigBee (registered trademark), etc. It is for connecting directly or indirectly.
  • other external devices for example, universal serial bus, IEEE 1394, etc.
  • a network for example, Internet, wireless LAN (Local Area Network), Bluetooth (registered trademark), RFID (Radio Frequency Identification), infrared communication, UWB (Ultra Wideband) (registered trademark), ZigBee (registered trademark), etc. It is for connecting directly or indirectly.
  • Examples of external devices connected to the smartphone 200 include a wired or wireless headset, a wired or wireless external charger, a wired or wireless data port, a memory card or a SIM (Subscriber Identity Module) card connected via a card socket. , UIM (User Identity Module Card) card, external audio video equipment connected via audio video I / O (Input / Output) terminal, external audio video equipment connected wirelessly, wired or wirelessly connected smartphone, wired Alternatively, there are a personal computer connected wirelessly, a personal computer wired or wirelessly connected, and an earphone.
  • the external input / output unit 213 transmits data received from such an external device to each component inside the smartphone 200, or allows the data inside the smartphone 200 to be transmitted to the external device. Can do.
  • the GPS receiving unit 214 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 220, executes a positioning calculation process based on the received plurality of GPS signals, A position consisting of longitude and altitude is detected.
  • the GPS reception unit 214 can acquire position information from the wireless communication unit 210 or the external input / output unit 213 (for example, a wireless LAN), the GPS reception unit 214 can also detect the position using the position information.
  • the motion sensor unit 215 includes, for example, a three-axis acceleration sensor, and detects the physical movement of the smartphone 200 in accordance with an instruction from the main control unit 220. By detecting the physical movement of the smartphone 200, the moving direction and acceleration of the smartphone 200 are detected. The detection result is output to the main control unit 220.
  • the power supply unit 216 supplies power stored in a battery (not shown) to each unit of the smartphone 200 in accordance with an instruction from the main control unit 220.
  • the main control unit 220 includes a microprocessor, operates according to a control program and control data stored in the storage unit 212, and controls each unit of the smartphone 200 in an integrated manner.
  • the main control unit 220 includes a mobile communication control function that controls each unit of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 210.
  • the application processing function is realized by the main control unit 220 operating according to the application software stored in the storage unit 212.
  • Examples of the application processing function include an infrared communication function for controlling the external input / output unit 213 to perform data communication with the opposite device, an e-mail function for transmitting / receiving e-mails, and a web browsing function for browsing web pages. .
  • the main control unit 220 has an image processing function such as displaying video on the display input unit 204 based on image data (still image or moving image data) such as received data or downloaded streaming data.
  • the image processing function is a function in which the main control unit 220 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 204.
  • the main control unit 220 executes display control for the display panel 202 and operation detection control for detecting a user operation through the operation unit 207 and the operation panel 203. By executing the display control, the main control unit 220 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
  • scroll bar refers to a software key for accepting an instruction to move the display portion of a large image that does not fit in the display area of the display panel 202.
  • the main control unit 220 detects a user operation through the operation unit 207 or accepts an operation on the icon or an input of a character string in the input field of the window through the operation panel 203. Or a display image scroll request through a scroll bar.
  • the main control unit 220 causes the operation position with respect to the operation panel 203 to overlap with the display panel 202 (display area) or other outer edge part (non-display area) that does not overlap with the display panel 202.
  • a touch panel control function for controlling the sensitive area of the operation panel 203 and the display position of the software key.
  • the main control unit 220 can also detect a gesture operation on the operation panel 203 and execute a preset function in accordance with the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but an operation that draws a trajectory with a finger or the like, designates a plurality of positions at the same time, or combines these to draw a trajectory for at least one of a plurality of positions. means.
  • the camera unit 208 includes configurations other than the external memory control unit 21, the recording medium 22, the display control unit 23, the display unit 24, and the operation unit 14 in the digital camera shown in FIG.
  • the captured image data generated by the camera unit 208 can be recorded in the storage unit 212 or output through the external input / output unit 213 or the wireless communication unit 210.
  • the camera unit 208 is mounted on the same surface as the display input unit 204, but the mounting position of the camera unit 208 is not limited to this, and the camera unit 208 may be mounted on the back surface of the display input unit 204. Good.
  • the camera unit 208 can be used for various functions of the smartphone 200.
  • an image acquired by the camera unit 208 can be displayed on the display panel 202, or the image of the camera unit 208 can be used as one of operation inputs of the operation panel 203.
  • the position can also be detected with reference to an image from the camera unit 208.
  • the optical axis direction of the camera unit 208 of the smartphone 200 is determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
  • the image from the camera unit 208 can also be used in the application software.
  • the position information acquired by the GPS receiver 214 to the image data of the still image or the moving image, the voice information acquired by the microphone 206 (the text information may be converted into voice information by the main control unit or the like), Posture information and the like acquired by the motion sensor unit 215 can be added and recorded in the storage unit 212, or can be output through the external input / output unit 213 and the wireless communication unit 210.
  • the disclosed imaging device includes a MOS type imaging device having a plurality of pixels arranged two-dimensionally, and the imaging device is driven by a rolling shutter system, and the imaging device performs multiple imaging at an arbitrary frame rate.
  • An image sensor driving unit for performing the first image signal read from the plurality of pixels in the first frame period based on the frame rate, and the plurality of pixels in the second frame period based on the frame rate.
  • a flicker detection unit that detects the presence or absence of flicker by comparison with a second captured image signal read from the image pickup device, wherein the image sensor driving unit is configured to detect signals from the plurality of pixels in the first frame period.
  • the end timing of the signal readout period for reading is set before the end timing of the first frame period, and the second frame period
  • the end timing of the signal readout period in is to the same as the end timing of the second frame period.
  • the imaging element driving unit causes the start timing of the signal readout period in the second frame period to be later than the start timing of the second frame period.
  • the imaging element driving unit makes the signal readout period in the second frame period longer than the signal readout period in the first frame period.
  • the imaging element driving unit sets the start timing of the signal readout period in the second frame period to the start timing of the second frame period.
  • another frame period exists between the first frame period and the second frame period, and the imaging element driving unit drives the imaging element in the another frame period.
  • the method is the same as the driving method of the image sensor in the second frame period.
  • the second frame period is a period following the first frame period
  • the flicker detection unit is configured to detect the second captured image signal in the first frame period.
  • the brightness of the signal read from the pixel that has been reset is corrected, and the presence or absence of flicker is detected by comparing the corrected second captured image signal with the first captured image signal.
  • the second frame period is a period following the first frame period, and the imaging element driving unit is reset in the first frame period in the second frame period.
  • the signal readout timing for the pixel subjected to the above is controlled so that the exposure time of the pixel and the exposure time of the pixel that is reset in the second frame period are the same.
  • the imaging element driving unit causes the imaging element to perform imaging a plurality of times by alternately repeating the first frame period and the second frame period.
  • the flicker detection unit reads the second captured image signal read in the second frame period and the first frame period read out in the first frame period following the second frame period. The presence or absence of flicker is detected by comparison with the captured image signal.
  • the imaging element driving unit calculates an exposure time of each of the plurality of pixels in the first frame period and an exposure time of the plurality of pixels in the second frame period. It is the same thing.
  • the imaging element driving unit calculates an exposure time of each of the plurality of pixels in the first frame period and an exposure time of the plurality of pixels in the second frame period. , 1/100 second or less than 1/120 second.
  • an image pickup device in which a MOS type image pickup device having a plurality of pixels arranged two-dimensionally is driven by a rolling shutter method and an image is picked up multiple times by the image pickup device at an arbitrary frame rate.
  • An element driving step a first captured image signal read from the plurality of pixels in a first frame period based on the frame rate; and a first image signal read from the plurality of pixels in a second frame period based on the frame rate.
  • the end timing of the reading period is set before the end timing of the first frame period, and the second period
  • the end timing of the signal readout period in the frame period is to the same as the end timing of the second frame period.
  • the start timing of the signal readout period in the second frame period is made after the start timing of the second frame period.
  • the signal readout period in the second frame period is longer than the signal readout period in the first frame period.
  • the start timing of the signal readout period in the second frame period is set to the start timing of the second frame period.
  • another frame period exists between the first frame period and the second frame period, and in the imaging element driving step, the imaging element in the another frame period is provided.
  • the driving method is the same as the driving method of the image sensor in the second frame period.
  • the second frame period is a period following the first frame period.
  • the first frame period is included in the second captured image signal.
  • the luminance of the signal read out from the pixel that has been reset in the above is corrected, and the presence or absence of flicker is detected by comparing the corrected second captured image signal with the first captured image signal. .
  • the second frame period is a period following the first frame period.
  • the imaging element driving step in the second frame period, in the first frame period.
  • the signal readout timing for the reset pixel is controlled so that the exposure time of the pixel is the same as the exposure time of the pixel that is reset in the second frame period.
  • the first frame period and the second frame period are alternately repeated to cause the image sensor to perform imaging a plurality of times.
  • a second captured image signal read in the second frame period and a first frame period read after the second frame period are read.
  • the presence or absence of flicker is detected by comparison with the captured image signal.
  • the exposure time of each of the plurality of pixels in the first frame period, and the exposure time of each of the plurality of pixels in the second frame period Are the same.
  • the exposure time of each of the plurality of pixels in the first frame period, and the exposure time of each of the plurality of pixels in the second frame period Is set to less than 1/100 second or 1/120 second.
  • the disclosed flicker detection program drives a MOS type image pickup device having a plurality of pixels arranged two-dimensionally by a rolling shutter method, and performs image pickup multiple times by the image pickup device at an arbitrary frame rate.
  • An element driving step a first captured image signal read from the plurality of pixels in a first frame period based on the frame rate; and a first image signal read from the plurality of pixels in a second frame period based on the frame rate.
  • a flicker detection program for causing a computer to execute a flicker detection step for detecting the presence or absence of flicker by comparison with two captured image signals, wherein the imaging element driving step includes: The end timing of the signal readout period for reading signals from multiple pixels And before the end timing of the first frame period, the end timing of the signal readout period in the second frame period, a program the same as the end timing of the second frame period.
  • the present invention is particularly convenient and effective when applied to a digital camera or the like.
  • Image sensor 10 Image sensor driver 11
  • System controller 20 Flicker detector F1 to F6 Frame period RS Reset signal RE Read signal t1 to t8 Time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　明るい被写体を撮像する場合であっても、フリッカを精度よく検出することのできる撮像装置、フリッカ検出方法、及びフリッカ検出プログラムを提供する。デジタルカメラは、任意のフレームレートでＭＯＳ型の撮像素子５により複数回の撮像を行わせ、このフレームレートに基づくフレーム期間Ｆ１，Ｆ２でそれぞれ撮像素子５から読み出される撮像画像信号の比較により、フリッカの有無を検出する。フレーム期間Ｆ１における信号読出し期間の終了タイミングはフレーム期間Ｆ１の終了タイミングよりも前であり、フレーム期間Ｆ２における信号読出し期間の終了タイミングはフレーム期間Ｆ２の終了タイミングと同じである。

Description

撮像装置、フリッカ検出方法、及びフリッカ検出プログラム
　本発明は、撮像装置、フリッカ検出方法、及びフリッカ検出プログラムに関する。
　一般的なＸＹアドレス走査型の撮像素子を備える撮像装置では、アドレス指定により画素の走査ライン毎に電荷蓄積時間を制御するローリングシャッタ方式が採用されている。本明細書では、デジタルスチルカメラ、デジタルビデオカメラ、及びスマートフォン等の撮像機能を有する情報機器を撮像装置と称する。
　このローリングシャッタ方式を用いて蛍光灯下で動画撮影が行われた場合、蛍光灯の光源の明滅周期（例えば、５０Ｈｚ（ヘルツ）又は６０Ｈｚの商用電源であれば、１／１００秒又は１／１２０秒）による周期的な輝度変化の影響により、撮像画像に横縞状のむら（以下、「フリッカ」という）が生じる場合がある。
　特許文献１～３には、フリッカ発生の有無を検出する方法が提案されている。
　特許文献１には、フリッカが生じない露光時間に設定して得た撮像画像データと、フリッカが生じる露光時間に設定して得た撮像画像データの差分画像データによってフリッカを検出する撮像装置が記載されている。
　特許文献２及び特許文献３には、露光時間を１／１００秒の自然数倍に設定して得た撮像画像データと、露光時間を１／１２０秒の自然数倍に設定して得た撮像画像データとの差分に基づいてフリッカの有無を検出する撮像装置が記載されている。
国際公開ＷＯ２００８／１０８０２５号公報 日本国特開２０１１－１７６６２２号公報 日本国特開２００７－３２９６５８号公報
　特許文献１に記載の撮像装置では、被写体が非常に明るい状況下においては、フリッカが生じない露光時間に設定して得た撮像画像データ全体が白とびしたものとなり、２つの撮像画像データの差分画像データからフリッカの発生を精度よく検出することが難しくなる。
　特許文献２及び特許文献３に記載の撮像装置では、被写体が非常に明るい状況下においては、１／１００秒の自然数倍や１／１２０秒の自然数倍に露光時間を設定すると、それぞれの露光時間で設定して得た撮像画像データの全体が白とびしたものとなり、フリッカの検出を精度よく行うことができない。
　本発明は、上記事情に鑑みてなされたものであり、明るい被写体を撮像する場合であっても、フリッカを精度よく検出することのできる撮像装置、フリッカ検出方法、及びフリッカ検出プログラムを提供することを目的とする。
　本発明の撮像装置は、二次元状に配列された複数の画素を有するＭＯＳ型の撮像素子と、上記撮像素子をローリングシャッタ方式で駆動し、任意のフレームレートで上記撮像素子により複数回の撮像を行わせる撮像素子駆動部と、上記フレームレートに基づく第一のフレーム期間で上記複数の画素から読み出される第一の撮像画像信号と、上記フレームレートに基づく第二のフレーム期間で上記複数の画素から読み出される第二の撮像画像信号との比較により、フリッカの有無を検出するフリッカ検出部と、を備え、上記撮像素子駆動部は、上記第一のフレーム期間における上記複数の画素からの信号の読み出しを行う信号読出し期間の終了タイミングを、上記第一のフレーム期間の終了タイミングよりも前にし、上記第二のフレーム期間における上記信号読出し期間の終了タイミングを、上記第二のフレーム期間の終了タイミングと同じにするものである。
　本発明のフリッカ検出方法は、二次元状に配列された複数の画素を有するＭＯＳ型の撮像素子をローリングシャッタ方式で駆動し、任意のフレームレートで上記撮像素子により複数回の撮像を行わせる撮像素子駆動ステップと、上記フレームレートに基づく第一のフレーム期間で上記複数の画素から読み出される第一の撮像画像信号と、上記フレームレートに基づく第二のフレーム期間で上記複数の画素から読み出される第二の撮像画像信号との比較により、フリッカの有無を検出するフリッカ検出ステップと、を備え、上記撮像素子駆動ステップでは、上記第一のフレーム期間における上記複数の画素からの信号の読み出しを行う信号読出し期間の終了タイミングを、上記第一のフレーム期間の終了タイミングよりも前にし、上記第二のフレーム期間における上記信号読出し期間の終了タイミングを、上記第二のフレーム期間の終了タイミングと同じにするものである。
　本発明のフリッカ検出プログラムは、二次元状に配列された複数の画素を有するＭＯＳ型の撮像素子をローリングシャッタ方式で駆動し、任意のフレームレートで上記撮像素子により複数回の撮像を行わせる撮像素子駆動ステップと、上記フレームレートに基づく第一のフレーム期間で上記複数の画素から読み出される第一の撮像画像信号と、上記フレームレートに基づく第二のフレーム期間で上記複数の画素から読み出される第二の撮像画像信号との比較により、フリッカの有無を検出するフリッカ検出ステップと、をコンピュータに実行させるためのフリッカ検出プログラムであって、上記撮像素子駆動ステップでは、上記第一のフレーム期間における上記複数の画素からの信号の読み出しを行う信号読出し期間の終了タイミングを、上記第一のフレーム期間の終了タイミングよりも前にし、上記第二のフレーム期間における上記信号読出し期間の終了タイミングを、上記第二のフレーム期間の終了タイミングと同じにするプログラムである。
　本発明によれば、明るい被写体を撮像する場合であっても、フリッカを精度よく検出することのできる撮像装置、フリッカ検出方法、及びフリッカ検出プログラムを提供することができる。
本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。 フリッカ検出動作を説明するためのフローチャートである。 図２のステップＳ２の処理後における撮像素子５の駆動タイミングチャートを示す図である。 図１の撮像素子駆動部１０が行うフリッカ検出用駆動の一例を説明するためのタイミングチャートである。 図１に示すデジタルカメラのフリッカ検出動作の変形例を示すフローチャートである。 図１の撮像素子駆動部１０が行うフリッカ検出用駆動の変形例を説明するためのタイミングチャートである。 図６の範囲Ｈの拡大図である。 撮像装置としてのスマートフォンの外観構成を示す図である。 図８のスマートフォンの内部構成を示す図である。
　以下、本発明の実施形態について図面を参照して説明する。
　図１は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。
　図１に示すデジタルカメラの撮像系は、撮像光学系（撮像レンズ１と絞り２とを含む）と撮像素子５とを備える。
　撮像素子５は、二次元状に配列された複数の画素を有し、ＸＹアドレス指定により任意の画素から信号を読み出し可能なＭＯＳ（Ｍｅｔａｌ－Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の撮像素子である。
　デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、発光部１２及び受光部１３を制御する。また、システム制御部１１は、レンズ駆動部８を制御して撮像レンズ１に含まれるフォーカスレンズ等の位置を調整する。更に、システム制御部１１は、絞り駆動部９を介して絞り２の開口量を制御することにより、露光量の調整を行う。
　また、システム制御部１１は、撮像素子駆動部１０を介して撮像素子５を駆動し、撮像レンズ１を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザから指示信号が入力される。撮像画像信号は、Ｘ方向とこれに直交するＹ方向に二次元状に配列された複数の画素信号からなる。
　撮像素子駆動部１０は、撮像素子５をローリングシャッタ方式で駆動する。ローリングシャッタ方式とは、ＭＯＳ型の撮像素子において、垂直方向に並ぶ１つ以上の走査ライン（水平方向に並ぶ複数の画素からなるライン）毎に順次露光動作を行う方式である。
　つまり、ローリングシャッタ方式は、走査ライン毎に順次リセットを行って、走査ラインに含まれる各画素に電荷を蓄積させ、走査ライン毎に信号読出しを行って、この各画素に蓄積された電荷を順次読み出す方式である（フォーカルプレーンシャッター方式とも言う）。
　後述するフリッカ検出動作時において、撮像素子駆動部１０は、システム制御部１１によって設定された任意のフレームレートで撮像素子５により複数回の撮像を行わせる。フレームレートとは、単位時間あたりにいくつのフレーム（撮像画像信号）を撮像素子５から出力させるかを示す値である。
　フレームレートが例えば１２０フレーム／秒であれば、後述する表示部２４の垂直同期信号の立ち下がりから次の立ち下がりまでの期間が１／１２０秒になる。また、撮像素子５を駆動するために用いる垂直同期信号についても、立ち下がりから次の立ち下がりまでの期間が１／１２０秒になる。
　デジタルカメラの電気制御系は、更に、撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、アナログ信号処理部６から出力されるアナログ信号をデジタル信号に変換するアナログデジタル変換回路（Ａ／Ｄ）７とを備える。アナログ信号処理部６及びアナログデジタル変換回路７は、システム制御部１１によって制御される。
　更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、アナログデジタル変換回路７から出力される撮像画像信号に対し、補間演算、ガンマ補正演算、及びＲＧＢ－ＹＣ変換処理等を行って撮像画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された撮像画像データをＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、フリッカ検出部２０と、着脱自在の記録媒体２２が接続される外部メモリ制御部２１と、カメラ背面等に搭載された表示部２４が接続される表示制御部２３と、を備えている。
　メモリ制御部１５、デジタル信号処理部１７、圧縮伸張処理部１８、フリッカ検出部２０、外部メモリ制御部２１、及び表示制御部２３は、制御バス２５及びデータバス２６によって相互に接続され、システム制御部１１からの指令によって動作する。
　以上の構成のデジタルカメラでは、フリッカ検出部２０が、蛍光灯の光源の明滅周期（例えば、５０Ｈｚ又は６０Ｈｚの商用電源であれば、１／１００秒又は１／１２０秒）に起因するフリッカを検出する。
　フリッカ検出部２０は、システム制御部１１によって設定されたフレームレートに基づく第一のフレーム期間で撮像素子５の複数の画素から読み出される第一の撮像画像信号と、このフレームレートに基づく第二のフレーム期間で撮像素子５の複数の画素から読み出される第二の撮像画像信号との比較により、フリッカの有無を検出する。フレーム期間とは、撮像素子５の垂直同期信号の立ち下がりから次の立ち下がりまでの期間を言う。
　図２は、フリッカ検出動作を説明するためのフローチャートである。
　フリッカ検出動作を開始すると、システム制御部１１は、フレームレートを、商用電源の電源周波数の１つである６０Ｈｚの自然数倍の値（ここでは１２０フレーム／秒とする）に設定する（ステップＳ１）。そして、システム制御部１１は、設定したフレームレートにしたがって撮像素子駆動部１０に撮像素子５を駆動させる。
　ステップＳ１で設定されたフレームレートにしたがって撮像素子５の駆動が開始されると、システム制御部１１は、撮像素子５から出力される撮像画像信号に基づいて適正露出を算出し、算出した露出値を撮像条件として設定する（ステップＳ２）。
　具体的には、システム制御部１１は、算出した露出値に基づいて絞り駆動部９を介して絞り２の開口量を制御し、算出した露出値に基づいて撮像素子５のシャッタスピード（露光時間）を撮像素子駆動部１０に通知する。この通知にしたがって、撮像素子駆動部１０は、設定された露光時間で撮像素子５の各画素を露光する制御を行う。
　なお、任意の画素の露光は、この画素をリセットしたタイミングで開始され、この画素に蓄積された電荷に応じた信号が信号線に読みだされたタイミングで終了される。
　つまり、撮像素子駆動部１０は、各画素のリセットタイミングと信号読出しタイミングを制御することで、設定された露光時間で各画素の露光を行う。
　図３は、図２のステップＳ２の処理後における撮像素子５の駆動タイミングチャートを示す図である。
　図３において、符号ＲＳは、撮像素子５の画素のリセットを行うためのリセット信号を示す。図３において、符号ＲＥは、撮像素子５の画素から信号読出しを行うための読出し信号を示す。
　本実施形態では、撮像素子５の水平方向に並ぶ複数の画素からなる走査ライン毎に、リセット信号及び読出し信号を独立して供給できるようになっている。
　図３の例では、撮像素子５の垂直同期信号が立ち下がる時点より露光時間Ｔｘ前のタイミングになると、撮像素子５に対し、複数の画素が配置されるエリアの上にある走査ラインから下方向に向かって順番にリセット信号ＲＳの供給が行われていく。
　リセット信号ＲＳの供給開始から露光時間Ｔｘ経過して撮像素子５の垂直同期信号が立ち下がると、撮像素子５に対し、複数の画素が配置されるエリアの上にある走査ラインから下方向に向かって順番に読出し信号ＲＥの供給が行われていく。以上の動作が繰り返し行われる。
　このような駆動によって、各画素の露光時間は露光時間Ｔｘに制御される。また、撮像素子５からは、設定されたフレームレートで撮像画像信号が出力される。
　以下の説明では、撮像素子５の１行目の走査ラインの読出しを開始してから、最終行の走査ラインの信号の読出しが終了するまでの期間を、撮像素子５の複数の画素からの信号の読出しを行う信号読出し期間という。
　図２の説明に戻り、ステップＳ２の処理の後、フリッカ検出部２０は、撮像素子５から連続して出力される２つの撮像画像信号の比較を行う（ステップＳ３）。
　５０Ｈｚの商用電源で動作する蛍光灯の明滅周波数は５０Ｈｚとなる。そして、ステップＳ１で設定されたフレームレートは、５０Ｈｚの自然数倍にはなっていない。
　このため、５０Ｈｚの商用電源周波数に起因するフリッカ（以下、５０Ｈｚフリッカともいう）が生じていた場合、図３に示す連続する２つのフレーム期間の各々で得られた撮像画像信号には、蛍光灯の明滅に起因する輝度差が生じる。ステップＳ３では、このような撮像画像信号の差が生じるか否かをフリッカ検出部２０が判定する。
　ステップＳ３の判定がＹＥＳのとき、フリッカ検出部２０は、５０Ｈｚフリッカが生じていると判定し、判定結果をシステム制御部１１に通知する（ステップＳ４）。
　一方、ステップＳ３の判定がＮＯのとき、フリッカ検出部２０は、６０Ｈｚの商用電源周波数に起因するフリッカ（以下、６０Ｈｚフリッカともいう）が生じている状態、又は、フリッカが生じていない状態と判定し、ステップＳ５以降の処理を行う。
　６０Ｈｚの商用電源で動作する蛍光灯の明滅周波数は６０Ｈｚとなる。そして、ステップＳ１で設定されたフレームレートは、６０Ｈｚの自然数倍にはなっている。
　このため、６０Ｈｚフリッカが発生している場合、図３に示す連続する２つのフレーム期間の各々で得られた撮像画像信号には、蛍光灯の明滅に起因する輝度差は生じない。このため、ステップＳ３の判定がＮＯのときは、６０Ｈｚフリッカが生じている状態なのか否かを判定する必要がある。
　ステップＳ５において、システム制御部１１は、撮像素子５の露光時間を６０Ｈｚの商用電源で動作する蛍光灯の明滅周期である１／１２０秒未満の値（Ｔｘａとする）に設定する。
　更に、システム制御部１１は、ステップＳ１で設定したフレームレートはそのままに、撮像素子５の駆動方法を、６０Ｈｚフリッカを検出するための駆動方法（６０Ｈｚフリッカ検出用駆動という）に変更する指示を撮像素子駆動部１０に対し行う。
　この指示にしたがい、撮像素子駆動部１０は、図４に例示するように、図３とは異なる駆動方法で撮像素子５を駆動する（ステップＳ６）。
　撮像素子駆動部１０は、任意のフレーム期間Ｆ１においては、図３の各フレーム期間と同様の駆動を行う。すなわち、撮像素子駆動部１０は、信号読出し期間の開始タイミング（時刻ｔ１）をフレーム期間Ｆ１の開始タイミングと同じにする駆動を行う。
　また、撮像素子駆動部１０は、フレーム期間Ｆ１において、信号読出し期間の終了タイミング（図中の時刻ｔ２）をフレーム期間Ｆ１の終了タイミングよりも前にする駆動を行う。フレーム期間Ｆ１は第一のフレーム期間を構成する。
　撮像素子駆動部１０は、フレーム期間Ｆ１に続くフレーム期間Ｆ２においては、信号読出し期間の開始タイミング（図中の時刻ｔ３）をフレーム期間Ｆ２の開始タイミングよりも後にする駆動を行う。
　また、撮像素子駆動部１０は、フレーム期間Ｆ２においては、信号読出し期間の終了タイミング（図中の時刻ｔ４）を、フレーム期間Ｆ２の終了タイミングと同じにする駆動を行う。フレーム期間Ｆ２は第二のフレーム期間を構成する。
　撮像素子駆動部１０は、フレーム期間Ｆ２に続くフレーム期間Ｆ３においては、フレーム期間Ｆ１と同じ駆動を行う。フレーム期間Ｆ３は第一のフレーム期間を構成する。
　このように、ステップＳ６において、撮像素子駆動部１０は、第一のフレーム期間と第二のフレーム期間が交互に並ぶよう撮像素子５を駆動する。
　なお、撮像素子駆動部１０は、各フレーム期間において露光時間をＴｘａに固定する。また、撮像素子駆動部１０は、時刻ｔ１から時刻ｔ２の間の時間と、時刻ｔ３から時刻ｔ４の間の時間を同じに制御する。つまり、各フレーム期間において信号読出し期間の長さは共通となっている。
　図４には、撮像素子５の駆動タイミングチャートに加えて、６０Ｈｚの電源周波数で動作する蛍光灯の輝度変化を示している。
　図４のフレーム期間Ｆ３において撮像素子５から読み出される第一の撮像画像信号は、図４中の期間Ｔ２の間に走査ラインが順次露光されて得られたものである。
　このため、この第一の撮像画像信号には、蛍光灯の輝度変化のうち、期間Ｔ２と重なる部分に応じた信号が含まれることになる。
　また、図４のフレーム期間Ｆ２において撮像素子５から読み出される第二の撮像画像信号は、図４中の期間Ｔ１の間に走査ラインが順次露光されて得られたものである。
　このため、この第二の撮像画像信号には、蛍光灯の輝度変化のうち、期間Ｔ１と重なる部分に応じた信号が含まれることになる。
　蛍光灯の輝度変化のうち、期間Ｔ１に重なる部分と期間Ｔ２に重なる部分とは形状が異なる。このため、６０Ｈｚフリッカが発生していると、第一の撮像画像信号と第二の撮像画像信号とでは面内において輝度の差が生じることになる。
　一方、フリッカが発生していなければ、第一の撮像画像信号と第二の撮像画像信号とでは面内において輝度の差が生じない。
　つまり、第一の撮像画像信号と第二の撮像画像信号を比較することで、６０Ｈｚフリッカの有無を判定することができる。
　図２の説明に戻り、ステップＳ６で図４に例示した駆動が行われると、フリッカ検出部２０は、図４の第一のフレーム期間（例えばフレーム期間Ｆ１）で撮像素子５から出力された第一の撮像画像信号と、図４の第二のフレーム期間（例えばフレーム期間Ｆ２）で撮像素子５から出力された第二の撮像画像信号との比較を行う（ステップＳ７）。
　例えば、第一の撮像画像信号と第二の撮像画像信号の各々を、走査ラインの並ぶ方向に複数ブロックに分割し、各ブロックの画素信号の輝度平均を求める。
　そして、第一の撮像画像信号と第二の撮像画像信号において、同一ブロック同士で輝度平均の差を算出し、この差の平均が閾値ＴＨ以上となっていれば、フリッカ検出部２０は両者に差があると判定し（ステップＳ８：ＹＥＳ）、６０Ｈｚフリッカが発生していると判定する（ステップＳ９）。
　一方、この差の平均が閾値ＴＨ未満となっていれば、フリッカ検出部２０は両者に差がないと判定し（ステップＳ８：ＮＯ）、フリッカが発生していないと判定する（ステップＳ１０）。
　なお、２つの撮像画像信号の比較の方法はこれに限らない。例えば２つの撮像画像信号の全画素信号の輝度平均同士の差が閾値以上の場合に差があると判定してもよい。
　以上のように、図１に示すデジタルカメラによれば、信号読出し期間の位置を異ならせた第一のフレーム期間及び第二のフレーム期間を含む駆動を撮像素子駆動部１０が行うことで、従来技術のように、露光時間Ｔｘａを６０Ｈｚの商用電源周波数で動作する蛍光灯の明滅周期の自然数倍にしたフレーム期間を設けることなく、６０Ｈｚフリッカの有無を判定することができる。
　このように、露光時間Ｔｘａを６０Ｈｚの商用電源周波数で動作する蛍光灯の明滅周期の自然数倍にしたフレーム期間を設ける必要がないため、被写体が非常に明るい状態であっても露光時間を短くして撮像画像信号が白とびするのを防ぐことができる。この結果、フリッカ検出を精度よく行うことができる。
　また、フリッカ検出中に表示部２４に表示されるライブビュー画像を適正なものとすることができ、利用者に違和感を与えることがない。
　また、図１に示すデジタルカメラによれば、フレームレートを一定にしてフリッカ検出が可能である。このため、フリッカの検出中に表示が乱れることはなく、利用者に違和感を与えることがない。
　また、フレームレートが一定になることで、システム全体の処理も簡易なものとなり、システム負荷の軽減、システム設計コストの削減が可能となる。
　また、露光時間Ｔｘａが変化しないことで、第一の撮像画像信号と第二の撮像画像信号を比較する際に、双方の露光時間差に起因する輝度差を合わせる処理が不要となり、フリッカ検出に要する処理量を削減することができる。
　なお、図２のステップＳ５では、露光時間を１／１２０秒未満に設定しているが、ステップＳ２で設定された適正露出に基づく露光時間が１／１２０秒未満になっていた場合には、ステップＳ５において露光時間の設定を敢えて変える必要はない。
　また、ステップＳ３の判定がＮＯになったときに、システム制御部１１は、フレームレートをステップＳ１で設定した値より小さな値に変更してもよい。
　例えば、ステップＳ５においてシステム制御部１１は、フレームレートを１２０フレーム／秒から６０フレーム／秒に変更する。
　このようにフレームレートを遅くすることで、各フレーム期間に占める信号読出し期間の割合を減らすことができる。この割合が減ることで、蛍光灯の輝度変化波形において、図４の期間Ｔ１に重なる部分と期間Ｔ２に重なる部分の形状をより大きく異ならせることが可能となる。このため、６０Ｈｚフリッカの有無をより高精度に検出することが可能となる。
　図２の動作例では、ステップＳ３の判定がＮＯのときにフレームレートを１２０フレーム／秒に維持するものとしたため、ステップＳ５では露光時間を１／１２０秒未満に設定するものとしている。
　しかし、ステップＳ３の判定がＮＯのときにフレームレートを１２０フレーム／秒より小さくするのであれば、ステップＳ５では露光時間を１／１２０秒未満に限らず、１／１２０秒の自然数倍以外の値に設定することができる。このようにしても、図４に示す駆動を行うことで、６０Ｈｚフリッカの有無を判定することができる。
　このように、フレームレートを遅くすることで露光時間Ｔｘａをより長くすることも可能なため、暗い被写体に対してもフリッカ検出を精度よく行うことができる。
　図２の動作において、フレームレートが変わるのは、６０Ｈｚフリッカが発生している可能性があるときのみであり、また、近接するフレーム期間で長さが頻繁に変化するわけでもない。このため、利用者への違和感は最小限に抑えることができる。またシステム設計コストも最小限に抑えることができる。
　図２の動作例では、５０Ｈｚフリッカの有無を先に判定するものとしたが、６０Ｈｚフリッカの有無を先に判定し、６０Ｈｚフリッカが無いと判断したときに、５０Ｈｚフリッカの有無を判定する構成としてもよい。
　図５は、図１に示すデジタルカメラのフリッカ検出動作の変形例を示すフローチャートである。
　まず、システム制御部１１は、フレームレートを、商用電源の電源周波数の１つである５０Ｈｚの自然数倍の値（ここでは１００フレーム／秒とする）に設定する（ステップＳ１ａ）。
　そして、システム制御部１１は、設定したフレームレートにしたがって撮像素子駆動部１０に撮像素子５を駆動させる。
　ステップＳ２ａにおいて、システム制御部１１は、撮像素子５から出力される撮像画像信号に基づいて適正露出を算出し、算出した露出値を撮像条件として設定する。
　ステップＳ２ａの処理の後、フリッカ検出部２０は、撮像素子５から連続して出力される２つの撮像画像信号の比較を行う（ステップＳ３ａ）。
　６０Ｈｚの商用電源で動作する蛍光灯の明滅周波数は６０Ｈｚとなる。そして、ステップＳ１ａで設定されたフレームレートは、６０Ｈｚの自然数倍にはなっていない。
　このため、６０Ｈｚフリッカが生じていた場合は、図３に示す連続する２つのフレーム期間の各々で得られた撮像画像信号には、蛍光灯の明滅に起因する輝度差が生じる。ステップＳ３ａでは、このような撮像画像信号の差が生じるか否かをフリッカ検出部２０が判定する。
　ステップＳ３ａの判定がＹＥＳのとき、フリッカ検出部２０は、６０Ｈｚフリッカが生じていると判定し、判定結果をシステム制御部１１に通知する（ステップＳ４ａ）。
　一方、ステップＳ３ａの判定がＮＯのとき、フリッカ検出部２０は、５０Ｈｚフリッカが生じている状態、又は、フリッカが生じていない状態と判定し、ステップＳ５ａ以降の処理を行う。
　ステップＳ５ａにおいて、システム制御部１１は、撮像素子５の露光時間を５０Ｈｚの商用電源で動作する蛍光灯の明滅周期である１／１００秒未満の値に設定する。
　更に、システム制御部１１は、ステップＳ１ａで設定したフレームレートはそのままに、撮像素子５の駆動方法を、５０Ｈｚフリッカを検出するための駆動方法（５０Ｈｚフリッカ検出用駆動）に変更する指示を撮像素子駆動部１０に対し行う。この５０Ｈｚフリッカ検出用駆動は、前述した６０Ｈｚフリッカ検出用駆動と同じ駆動である。
　この指示にしたがい、撮像素子駆動部１０は、図４に例示するように、図３とは異なる駆動方法で撮像素子５を駆動する（ステップＳ６ａ）。
　ステップＳ６ａで図４に例示した駆動が行われると、フリッカ検出部２０は、図４の第一のフレーム期間（例えばフレーム期間Ｆ１）で撮像素子５から出力された第一の撮像画像信号と、図４の第二のフレーム期間（例えばフレーム期間Ｆ２）で撮像素子５から出力された第二の撮像画像信号との比較を行う（ステップＳ７ａ）。
　フリッカ検出部２０は両者に差があると判定した場合（ステップＳ８ａ：ＹＥＳ）、５０Ｈｚフリッカが発生していると判定する（ステップＳ９ａ）。
　一方、フリッカ検出部２０は両者に差がないと判定した場合（ステップＳ８ａ：ＮＯ）、フリッカが発生していないと判定する（ステップＳ１０ａ）。
　図２のステップＳ７と図５のステップＳ７ａにおいて比較する２つの撮像画像信号は、フリッカ以外の要因で輝度に大きな差が生じないものであることが好ましい。
　このため、撮像素子駆動部１０は、第一のフレーム期間と第二のフレーム期間が交互に並ぶ駆動を行い、フリッカ検出部２０は、時間的に隣接する第一のフレーム期間と第二のフレーム期間とでそれぞれ得られた撮像画像信号の比較を行うことが好ましい。
　また、比較を行う２つの撮像画像信号は、第二のフレーム期間で得られた撮像画像信号と、この第二のフレーム期間に続く第一のフレーム期間で得られた撮像画像信号とを用いることが好ましい。例えば、図４の例では、フレーム期間Ｆ２とフレーム期間Ｆ３の各々で得られた撮像画像信号を比較するのがよい。
　フレーム期間Ｆ２とフレーム期間Ｆ３の各々で得られた撮像画像信号は、フレーム期間Ｆ１とフレーム期間Ｆ２の各々で得られた撮像画像信号と比較すると、時間的に近いタイミングで撮像して得られたものとなる。
　このため、被写体が動いている場合であっても、この動きによる２つの撮像画像信号の輝度変化を抑制することができ、フリッカ検出精度を向上させることができる。
　図６は、５０Ｈｚフリッカ検出用駆動と６０Ｈｚフリッカ検出用駆動の変形例を説明するためのタイミングチャートである。
　図６に示すフレーム期間Ｆ４は、図４に示すフレーム期間Ｆ１及びフレーム期間Ｆ３と同じ駆動が行われる期間であり、第一のフレーム期間を構成する。
　図６に示すフレーム期間Ｆ５とフレーム期間Ｆ６は、それぞれ、信号読出し期間を、フレーム期間Ｆ４における信号読出し期間より長くしたものとなっている。
　フレーム期間Ｆ５とフレーム期間Ｆ６は、それぞれ第二のフレーム期間を構成する。また、フレーム期間Ｆ５は別のフレーム期間を構成する。
　より具体的には、フレーム期間Ｆ５における信号読出し期間の開始タイミングはフレーム期間Ｆ５の開始タイミングと同じであり、この信号読出し期間の終了タイミングはフレーム期間Ｆ５の終了タイミングと同じになっている。
　同様に、フレーム期間Ｆ６における信号読出し期間の開始タイミングはフレーム期間Ｆ６の開始タイミングと同じであり、この信号読出し期間の終了タイミングはフレーム期間Ｆ６の終了タイミングと同じになっている。
　このような駆動により、図６のフレーム期間Ｆ６において撮像素子５から読み出される第二の撮像画像信号は、図６中の期間Ｔ５の間に走査ラインが順次露光されて得られたものである。
　このため、この第二の撮像画像信号には、蛍光灯の輝度変化のうち、期間Ｔ５と重なる部分に応じた信号が含まれることになる。
　また、図６のフレーム期間Ｆ４において撮像素子５から読み出される第一の撮像画像信号は、図６中の期間Ｔ３の間に走査ラインが順次露光されて得られたものである。
　このため、この第一の撮像画像信号には、蛍光灯の輝度変化のうち、期間Ｔ３と重なる部分に応じた信号が含まれることになる。
　蛍光灯の輝度変化のうち、期間Ｔ３に重なる部分と期間Ｔ５に重なる部分とは形状が異なる。このため、６０Ｈｚフリッカが発生していると、第一の撮像画像信号と第二の撮像画像信号とでは面内において輝度の差が生じることになる。
　一方、フリッカが発生していなければ、第一の撮像画像信号と第二の撮像画像信号とでは面内において輝度の差が生じない。
　つまり、第一の撮像画像信号と第二の撮像画像信号を比較することで、６０Ｈｚフリッカの有無を判定することができる。
　なお、フレーム期間Ｆ４、フレーム期間Ｆ５、及びフレーム期間Ｆ６の各々における撮像素子５の露光時間Ｔｘａは同じに制御されるが、システムの動作上、フレーム期間Ｆ５において信号が読み出される走査ラインのうちの一部は、露光時間がＴｘａにはならなくなる。
　図７は、図６の範囲Ｈの拡大図である。
　図７に示すように、フレーム期間Ｆ４からフレーム期間Ｆ５に移行する直前の時刻ｔ５では、フレーム期間Ｆ４において設定されているタイミング信号にしたがって、撮像素子５へのリセット信号の供給が行われる。
　時刻ｔ５から少し時間が経過してフレーム期間Ｆ５の開始時刻ｔ６になると、リセット信号を供給するタイミングを決めるタイミング信号がフレーム期間Ｆ５用のものに更新されて、撮像素子５へのリセット信号の供給が行われる。このため、時刻ｔ５から時刻ｔ６の間のリセット信号ＲＳの傾きと、時刻ｔ６以降のリセット信号ＲＳの傾きとにはずれが生じることになる。
　この結果、時刻ｔ５から時刻ｔ６の間にリセット信号が供給された走査ラインについては、時刻ｔ６以降にリセット信号が供給された走査ラインよりも露光時間が短くなる。
　なお、フレーム期間Ｆ５に続くフレーム期間Ｆ６において読み出される各画素は、フレーム期間Ｆ５におけるリセット信号の傾きがそのまま適用されるため、各画素の露光時間を同じにすることができる。
　このような現象を考慮し、フリッカ検出部２０は、図６に示す駆動が図２のステップＳ６又は図５のステップＳ６ａで行われる場合には、第一のフレーム期間であるフレーム期間Ｆ４において読み出された第一の撮像画像信号と、フレーム期間Ｆ４に続くフレーム期間Ｆ５に続く第二のフレーム期間であるフレーム期間Ｆ６において読み出された第二の撮像画像信号とを比較することで、５０Ｈｚフリッカ又は６０Ｈｚフリッカの有無を判定する。
　このようにすることで、露光時間が揃った２つの撮像画像信号の比較を行うことができ、フリッカの有無判定のための処理を簡素化することができる。
　なお、フリッカ検出部２０は、図６に示す駆動が図２のステップＳ６又は図５のステップＳ６ａで行われる場合には、第一のフレーム期間であるフレーム期間Ｆ４において読み出された第一の撮像画像信号と、フレーム期間Ｆ４に続く第二のフレーム期間であるフレーム期間Ｆ５において読み出された第二の撮像画像信号との比較によりフリッカの有無を判定してもよい。
　この場合は、フレーム期間Ｆ５において読み出された第二の撮像画像信号のうち、時刻ｔ５から時刻ｔ６の間にリセットがなされた画素から読み出された信号の輝度を、時刻ｔ５から時刻ｔ６の間のリセット信号の傾きと時刻ｔ６以降のリセット信号の傾きとの比に応じて補正し、時刻ｔ６以降に読みだされた信号と同じ輝度レベルにしたうえで、第一の撮像画像信号と第二の撮像画像信号との比較を行えばよい。
　又は、撮像素子駆動部１０は、フレーム期間Ｆ５において、フレーム期間Ｆ４においてリセットが行われた画素（時刻ｔ５から時刻ｔ６の間にリセットが行われた画素）についての信号読出しタイミングを、この画素の露光時間とフレーム期間Ｆ５中にリセットが行われる画素の露光時間とが同じになるタイミングに制御してもよい。
　具体的には、撮像素子駆動部１０は、図７に示すように、時刻ｔ６から時刻ｔ７までは読出し信号ＲＥの供給を行わない。そして、時刻ｔ７になると、撮像素子駆動部１０は、時刻ｔ５から時刻ｔ６の間のリセット信号ＲＳの傾きと同じ傾き（図中の一点鎖線）で読出し信号ＲＥの供給を行う。
　時刻ｔ８以降、撮像素子駆動部１０は、時刻ｔ６以降のリセット信号ＲＳの傾きと同じ傾きで読出し信号ＲＥの供給を行う。
　このようにすることで、フレーム期間Ｆ５において信号が読みだされる各画素の露光時間を同じにすることができる。
　したがって、フリッカ検出部２０は、フレーム期間Ｆ４において読み出された第一の撮像画像信号と、フレーム期間Ｆ４に続く第二のフレーム期間であるフレーム期間Ｆ５において読み出された第二の撮像画像信号との比較により、フリッカの有無を判定することができる。
　次に、撮像装置としてスマートフォンの構成について説明する。
　図８は、本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。図８に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。
　また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
　図９は、図８に示すスマートフォン２００の構成を示すブロック図である。
　図９に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。また、スマートフォン２００の主たる機能として、図示省略の基地局装置と図示省略の移動通信網とを介した移動無線通信を行う無線通信機能を備える。
　無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
　表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。
　表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。
　操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。
　図９に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。
　係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
　なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。
　更に、外縁部分の幅は、筐体２０１の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
　通話部２１１は、スピーカ２０５やマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。
　また、図１８に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。
　操作部２０７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図８に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
　記憶部２１２は、主制御部２２０の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ウェブブラウジングによりダウンロードしたウェブデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。
　外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信、ＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。
　スマートフォン２００に連結される外部機器としては、例えば、有線又は無線ヘッドセット、有線又は無線外部充電器、有線又は無線データポート、カードソケットを介して接続されるメモリカードやＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ）カード、ＵＩＭ（Ｕｓｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）カード、オーディオビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオビデオ機器、無線接続される外部オーディオビデオ機器、有線又は無線接続されるスマートフォン、有線又は無線接続されるパーソナルコンピュータ、有線又は無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達することや、スマートフォン２００の内部のデータが外部機器に伝送されるようにすることができる。
　ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０や外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
　モーションセンサ部２１５は、例えば、３軸の加速度センサなどを備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。
　電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
　主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
　アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、ウェブページを閲覧するウェブブラウジング機能などがある。
　また、主制御部２２０は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。
　更に、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。
　なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
　また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
　更に、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
　また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ部２０８は、図１に示したデジタルカメラにおける外部メモリ制御部２１、記録媒体２２、表示制御部２３、表示部２４、及び操作部１４以外の構成を含む。
　カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記録したり、外部入出力部２１３や無線通信部２１０を通じて出力したりすることができる。
　図８に示すにスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。
　また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することや、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。
　また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。更には、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。
　その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等などを付加して記憶部２１２に記録したり、外部入出力部２１３や無線通信部２１０を通じて出力したりすることもできる。
　以上のような構成のスマートフォン２００においても、図２及び図５に示した動作により、フリッカを精度よく検出することができる。
　以上説明してきたように、本明細書には以下の事項が開示されている。
　開示された撮像装置は、二次元状に配列された複数の画素を有するＭＯＳ型の撮像素子と、上記撮像素子をローリングシャッタ方式で駆動し、任意のフレームレートで上記撮像素子により複数回の撮像を行わせる撮像素子駆動部と、上記フレームレートに基づく第一のフレーム期間で上記複数の画素から読み出される第一の撮像画像信号と、上記フレームレートに基づく第二のフレーム期間で上記複数の画素から読み出される第二の撮像画像信号との比較により、フリッカの有無を検出するフリッカ検出部と、を備え、上記撮像素子駆動部は、上記第一のフレーム期間における上記複数の画素からの信号の読み出しを行う信号読出し期間の終了タイミングを、上記第一のフレーム期間の終了タイミングよりも前にし、上記第二のフレーム期間における上記信号読出し期間の終了タイミングを、上記第二のフレーム期間の終了タイミングと同じにするものである。
　開示された撮像装置は、上記撮像素子駆動部は、上記第二のフレーム期間における上記信号読出し期間の開始タイミングを、上記第二のフレーム期間の開始タイミングよりも後にするものである。
　開示された撮像装置は、上記撮像素子駆動部は、上記第二のフレーム期間における上記信号読出し期間を、上記第一のフレーム期間における上記信号読出し期間よりも長くするものである。
　開示された撮像装置は、上記撮像素子駆動部は、上記第二のフレーム期間における上記信号読出し期間の開始タイミングを、上記第二のフレーム期間の開始タイミングにするものである。
　開示された撮像装置は、上記第一のフレーム期間と上記第二のフレーム期間の間には別のフレーム期間が存在し、上記撮像素子駆動部は、上記別のフレーム期間における上記撮像素子の駆動方法を、上記第二のフレーム期間における上記撮像素子の駆動方法と同じにするものである。
　開示された撮像装置は、上記第二のフレーム期間は、上記第一のフレーム期間に続く期間であり、上記フリッカ検出部は、上記第二の撮像画像信号のうち、上記第一のフレーム期間においてリセットが行われた上記画素から読み出された信号の輝度を補正し、補正後の第二の撮像画像信号と上記第一の撮像画像信号との比較によりフリッカの有無を検出するものである。
　開示された撮像装置は、上記第二のフレーム期間は、上記第一のフレーム期間に続く期間であり、上記撮像素子駆動部は、上記第二のフレーム期間において、上記第一のフレーム期間においてリセットが行われた画素についての信号読出しタイミングを、その画素の露光時間と上記第二のフレーム期間においてリセットが行われる画素の露光時間とが同じになるタイミングに制御するものである。
　開示された撮像装置は、上記撮像素子駆動部は、上記第一のフレーム期間と上記第二のフレーム期間を交互に繰り返して上記撮像素子により複数回の撮像を行わせるものである。
　開示された撮像装置は、上記フリッカ検出部は、上記第二のフレーム期間で読み出される第二の撮像画像信号と、その第二のフレーム期間に続く上記第一のフレーム期間で読み出される第一の撮像画像信号との比較により、フリッカの有無を検出するものである。
　開示された撮像装置は、上記撮像素子駆動部は、上記第一のフレーム期間における上記複数の画素の各々の露光時間と、上記第二のフレーム期間における上記複数の画素の各々の露光時間とを同じにするものである。
　開示された撮像装置は、上記撮像素子駆動部は、上記第一のフレーム期間における上記複数の画素の各々の露光時間と、上記第二のフレーム期間における上記複数の画素の各々の露光時間とを、１／１００秒又は１／１２０秒未満に設定するものである。
　開示されたフリッカ検出方法は、二次元状に配列された複数の画素を有するＭＯＳ型の撮像素子をローリングシャッタ方式で駆動し、任意のフレームレートで上記撮像素子により複数回の撮像を行わせる撮像素子駆動ステップと、上記フレームレートに基づく第一のフレーム期間で上記複数の画素から読み出される第一の撮像画像信号と、上記フレームレートに基づく第二のフレーム期間で上記複数の画素から読み出される第二の撮像画像信号との比較により、フリッカの有無を検出するフリッカ検出ステップと、を備え、上記撮像素子駆動ステップでは、上記第一のフレーム期間における上記複数の画素からの信号の読み出しを行う信号読出し期間の終了タイミングを、上記第一のフレーム期間の終了タイミングよりも前にし、上記第二のフレーム期間における上記信号読出し期間の終了タイミングを、上記第二のフレーム期間の終了タイミングと同じにするものである。
　開示されたフリッカ検出方法は、上記撮像素子駆動ステップでは、上記第二のフレーム期間における上記信号読出し期間の開始タイミングを、上記第二のフレーム期間の開始タイミングよりも後にするものである。
　開示されたフリッカ検出方法は、上記撮像素子駆動ステップでは、上記第二のフレーム期間における上記信号読出し期間を、上記第一のフレーム期間における上記信号読出し期間よりも長くするものである。
　開示されたフリッカ検出方法は、上記撮像素子駆動ステップでは、上記第二のフレーム期間における上記信号読出し期間の開始タイミングを、上記第二のフレーム期間の開始タイミングにするものである。
　開示されたフリッカ検出方法は、上記第一のフレーム期間と上記第二のフレーム期間の間には別のフレーム期間が存在し、上記撮像素子駆動ステップでは、上記別のフレーム期間における上記撮像素子の駆動方法を、上記第二のフレーム期間における上記撮像素子の駆動方法と同じにするものである。
　開示されたフリッカ検出方法は、上記第二のフレーム期間は、上記第一のフレーム期間に続く期間であり、上記フリッカ検出ステップでは、上記第二の撮像画像信号のうち、上記第一のフレーム期間においてリセットが行われた上記画素から読み出された信号の輝度を補正し、補正後の第二の撮像画像信号と上記第一の撮像画像信号との比較によりフリッカの有無を検出するものである。
　開示されたフリッカ検出方法は、上記第二のフレーム期間は、上記第一のフレーム期間に続く期間であり、上記撮像素子駆動ステップでは、上記第二のフレーム期間において、上記第一のフレーム期間においてリセットが行われた画素についての信号読出しタイミングを、その画素の露光時間と上記第二のフレーム期間においてリセットが行われる画素の露光時間とが同じになるタイミングに制御するものである。
　開示されたフリッカ検出方法は、上記撮像素子駆動ステップでは、上記第一のフレーム期間と上記第二のフレーム期間を交互に繰り返して上記撮像素子により複数回の撮像を行わせるものである。
　開示されたフリッカ検出方法は、上記フリッカ検出ステップでは、上記第二のフレーム期間で読み出される第二の撮像画像信号と、その第二のフレーム期間に続く上記第一のフレーム期間で読み出される第一の撮像画像信号との比較により、フリッカの有無を検出するものである。
　開示されたフリッカ検出方法は、上記撮像素子駆動ステップでは、上記第一のフレーム期間における上記複数の画素の各々の露光時間と、上記第二のフレーム期間における上記複数の画素の各々の露光時間とを同じにするものである。
　開示されたフリッカ検出方法は、上記撮像素子駆動ステップでは、上記第一のフレーム期間における上記複数の画素の各々の露光時間と、上記第二のフレーム期間における上記複数の画素の各々の露光時間とを、１／１００秒又は１／１２０秒未満に設定するものである。
　開示されたフリッカ検出プログラムは、二次元状に配列された複数の画素を有するＭＯＳ型の撮像素子をローリングシャッタ方式で駆動し、任意のフレームレートで上記撮像素子により複数回の撮像を行わせる撮像素子駆動ステップと、上記フレームレートに基づく第一のフレーム期間で上記複数の画素から読み出される第一の撮像画像信号と、上記フレームレートに基づく第二のフレーム期間で上記複数の画素から読み出される第二の撮像画像信号との比較により、フリッカの有無を検出するフリッカ検出ステップと、をコンピュータに実行させるためのフリッカ検出プログラムであって、上記撮像素子駆動ステップでは、上記第一のフレーム期間における上記複数の画素からの信号の読み出しを行う信号読出し期間の終了タイミングを、上記第一のフレーム期間の終了タイミングよりも前にし、上記第二のフレーム期間における上記信号読出し期間の終了タイミングを、上記第二のフレーム期間の終了タイミングと同じにするプログラムである。
　本発明は、特にデジタルカメラ等に適用して利便性が高く、有効である。
　以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。本出願は、２０１５年２月１６日出願の日本特許出願（特願２０１５－０２７５９４）に基づくものであり、その内容はここに取り込まれる。
５　撮像素子
１０　撮像素子駆動部
１１　システム制御部
２０　フリッカ検出部
Ｆ１～Ｆ６　フレーム期間
ＲＳ　リセット信号
ＲＥ　読出し信号
ｔ１～ｔ８　時刻

Claims (23)

  1. 　二次元状に配列された複数の画素を有するＭＯＳ型の撮像素子と、
    　前記撮像素子をローリングシャッタ方式で駆動し、任意のフレームレートで前記撮像素子により複数回の撮像を行わせる撮像素子駆動部と、
    　前記フレームレートに基づく第一のフレーム期間で前記複数の画素から読み出される第一の撮像画像信号と、前記フレームレートに基づく第二のフレーム期間で前記複数の画素から読み出される第二の撮像画像信号との比較により、フリッカの有無を検出するフリッカ検出部と、を備え、
    　前記撮像素子駆動部は、前記第一のフレーム期間における前記複数の画素からの信号の読み出しを行う信号読出し期間の終了タイミングを、前記第一のフレーム期間の終了タイミングよりも前にし、前記第二のフレーム期間における前記信号読出し期間の終了タイミングを、前記第二のフレーム期間の終了タイミングと同じにする撮像装置。
  2. 　請求項１記載の撮像装置であって、
    　前記撮像素子駆動部は、前記第二のフレーム期間における前記信号読出し期間の開始タイミングを、前記第二のフレーム期間の開始タイミングよりも後にする撮像装置。
  3. 　請求項１記載の撮像装置であって、
    　前記撮像素子駆動部は、前記第二のフレーム期間における前記信号読出し期間を、前記第一のフレーム期間における前記信号読出し期間よりも長くする撮像装置。
  4. 　請求項３記載の撮像装置であって、
    　前記撮像素子駆動部は、前記第二のフレーム期間における前記信号読出し期間の開始タイミングを、前記第二のフレーム期間の開始タイミングにする撮像装置。
  5. 　請求項４記載の撮像装置であって、
    　前記第一のフレーム期間と前記第二のフレーム期間の間には別のフレーム期間が存在し、
    　前記撮像素子駆動部は、前記別のフレーム期間における前記撮像素子の駆動方法を、前記第二のフレーム期間における前記撮像素子の駆動方法と同じにする撮像装置。
  6. 　請求項４記載の撮像装置であって、
    　前記第二のフレーム期間は、前記第一のフレーム期間に続く期間であり、
    　前記フリッカ検出部は、前記第二の撮像画像信号のうち、前記第一のフレーム期間においてリセットが行われた前記画素から読み出された信号の輝度を補正し、補正後の第二の撮像画像信号と前記第一の撮像画像信号との比較によりフリッカの有無を検出する撮像装置。
  7. 　請求項３記載の撮像装置であって、
    　前記第二のフレーム期間は、前記第一のフレーム期間に続く期間であり、
    　前記撮像素子駆動部は、前記第二のフレーム期間において、前記第一のフレーム期間においてリセットが行われた画素についての信号読出しタイミングを、当該画素の露光時間と前記第二のフレーム期間においてリセットが行われる画素の露光時間とが同じになるタイミングに制御する撮像装置。
  8. 　請求項２記載の撮像装置であって、
    　前記撮像素子駆動部は、前記第一のフレーム期間と前記第二のフレーム期間を交互に繰り返して前記撮像素子により複数回の撮像を行わせる撮像装置。
  9. 　請求項８記載の撮像装置であって、
    　前記フリッカ検出部は、前記第二のフレーム期間で読み出される第二の撮像画像信号と、当該第二のフレーム期間に続く前記第一のフレーム期間で読み出される第一の撮像画像信号との比較により、フリッカの有無を検出する撮像装置。
  10. 　請求項１～４のいずれか１項記載の撮像装置であって、
    　前記撮像素子駆動部は、前記第一のフレーム期間における前記複数の画素の各々の露光時間と、前記第二のフレーム期間における前記複数の画素の各々の露光時間とを同じにする撮像装置。
  11. 　請求項１～１０のいずれか１項記載の撮像装置であって、
    　前記撮像素子駆動部は、前記第一のフレーム期間における前記複数の画素の各々の露光時間と、前記第二のフレーム期間における前記複数の画素の各々の露光時間とを、１／１００秒又は１／１２０秒未満に設定する撮像装置。
  12. 　二次元状に配列された複数の画素を有するＭＯＳ型の撮像素子をローリングシャッタ方式で駆動し、任意のフレームレートで前記撮像素子により複数回の撮像を行わせる撮像素子駆動ステップと、
    　前記フレームレートに基づく第一のフレーム期間で前記複数の画素から読み出される第一の撮像画像信号と、前記フレームレートに基づく第二のフレーム期間で前記複数の画素から読み出される第二の撮像画像信号との比較により、フリッカの有無を検出するフリッカ検出ステップと、を備え、
    　前記撮像素子駆動ステップでは、前記第一のフレーム期間における前記複数の画素からの信号の読み出しを行う信号読出し期間の終了タイミングを、前記第一のフレーム期間の終了タイミングよりも前にし、前記第二のフレーム期間における前記信号読出し期間の終了タイミングを、前記第二のフレーム期間の終了タイミングと同じにするフリッカ検出方法。
  13. 　請求項１２記載のフリッカ検出方法であって、
    　前記撮像素子駆動ステップでは、前記第二のフレーム期間における前記信号読出し期間の開始タイミングを、前記第二のフレーム期間の開始タイミングよりも後にするフリッカ検出方法。
  14. 　請求項１２記載のフリッカ検出方法であって、
    　前記撮像素子駆動ステップでは、前記第二のフレーム期間における前記信号読出し期間を、前記第一のフレーム期間における前記信号読出し期間よりも長くするフリッカ検出方法。
  15. 　請求項１４記載のフリッカ検出方法であって、
    　前記撮像素子駆動ステップでは、前記第二のフレーム期間における前記信号読出し期間の開始タイミングを、前記第二のフレーム期間の開始タイミングにするフリッカ検出方法。
  16. 　請求項１５記載のフリッカ検出方法であって、
    　前記第一のフレーム期間と前記第二のフレーム期間の間には別のフレーム期間が存在し、
    　前記撮像素子駆動ステップでは、前記別のフレーム期間における前記撮像素子の駆動方法を、前記第二のフレーム期間における前記撮像素子の駆動方法と同じにするフリッカ検出方法。
  17. 　請求項１５記載のフリッカ検出方法であって、
    　前記第二のフレーム期間は、前記第一のフレーム期間に続く期間であり、
    　前記フリッカ検出ステップでは、前記第二の撮像画像信号のうち、前記第一のフレーム期間においてリセットが行われた前記画素から読み出された信号の輝度を補正し、補正後の第二の撮像画像信号と前記第一の撮像画像信号との比較によりフリッカの有無を検出するフリッカ検出方法。
  18. 　請求項１４記載のフリッカ検出方法であって、
    　前記第二のフレーム期間は、前記第一のフレーム期間に続く期間であり、
    　前記撮像素子駆動ステップでは、前記第二のフレーム期間において、前記第一のフレーム期間においてリセットが行われた画素についての信号読出しタイミングを、当該画素の露光時間と前記第二のフレーム期間においてリセットが行われる画素の露光時間とが同じになるタイミングに制御するフリッカ検出方法。
  19. 　請求項１３記載のフリッカ検出方法であって、
    　前記撮像素子駆動ステップでは、前記第一のフレーム期間と前記第二のフレーム期間を交互に繰り返して前記撮像素子により複数回の撮像を行わせるフリッカ検出方法。
  20. 　請求項１９記載のフリッカ検出方法であって、
    　前記フリッカ検出ステップでは、前記第二のフレーム期間で読み出される第二の撮像画像信号と、当該第二のフレーム期間に続く前記第一のフレーム期間で読み出される第一の撮像画像信号との比較により、フリッカの有無を検出するフリッカ検出方法。
  21. 　請求項１２～１５のいずれか１項記載のフリッカ検出方法であって、
    　前記撮像素子駆動ステップでは、前記第一のフレーム期間における前記複数の画素の各々の露光時間と、前記第二のフレーム期間における前記複数の画素の各々の露光時間とを同じにするフリッカ検出方法。
  22. 　請求項１２～２１のいずれか１項記載のフリッカ検出方法であって、
    　前記撮像素子駆動ステップでは、前記第一のフレーム期間における前記複数の画素の各々の露光時間と、前記第二のフレーム期間における前記複数の画素の各々の露光時間とを、１／１００秒又は１／１２０秒未満に設定するフリッカ検出方法。
  23. 　二次元状に配列された複数の画素を有するＭＯＳ型の撮像素子をローリングシャッタ方式で駆動し、任意のフレームレートで前記撮像素子により複数回の撮像を行わせる撮像素子駆動ステップと、
    　前記フレームレートに基づく第一のフレーム期間で前記複数の画素から読み出される第一の撮像画像信号と、前記フレームレートに基づく第二のフレーム期間で前記複数の画素から読み出される第二の撮像画像信号との比較により、フリッカの有無を検出するフリッカ検出ステップと、をコンピュータに実行させるためのフリッカ検出プログラムであって、
    　前記撮像素子駆動ステップでは、前記第一のフレーム期間における前記複数の画素からの信号の読み出しを行う信号読出し期間の終了タイミングを、前記第一のフレーム期間の終了タイミングよりも前にし、前記第二のフレーム期間における前記信号読出し期間の終了タイミングを、前記第二のフレーム期間の終了タイミングと同じにするフリッカ検出プログラム。
PCT/JP2015/082445 2015-02-16 2015-11-18 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム WO2016132615A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201580076251.0A CN107251543B (zh) 2015-02-16 2015-11-18 成像装置、闪烁检测方法及记录介质
JP2017500285A JP6175585B2 (ja) 2015-02-16 2015-11-18 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム
US15/677,468 US9939712B2 (en) 2015-02-16 2017-08-15 Imaging apparatus, flicker detection method, and flicker detection program
US15/913,319 US10126632B2 (en) 2015-02-16 2018-03-06 Imaging apparatus, flicker detection method, and flicker detection program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-027594 2015-02-16
JP2015027594 2015-02-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/677,468 Continuation US9939712B2 (en) 2015-02-16 2017-08-15 Imaging apparatus, flicker detection method, and flicker detection program

Publications (1)

Publication Number Publication Date
WO2016132615A1 true WO2016132615A1 (ja) 2016-08-25

Family

ID=56692113

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/082445 WO2016132615A1 (ja) 2015-02-16 2015-11-18 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム

Country Status (4)

Country Link
US (2) US9939712B2 (ja)
JP (1) JP6175585B2 (ja)
CN (1) CN107251543B (ja)
WO (1) WO2016132615A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020036128A (ja) * 2018-08-28 2020-03-05 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6471953B2 (ja) * 2014-05-23 2019-02-20 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、及び撮像方法
JP2020072392A (ja) * 2018-10-31 2020-05-07 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
KR102459747B1 (ko) * 2019-02-12 2022-10-26 코니카 미놀타 가부시키가이샤 플리커 측정 장치, 플리커 측정 방법 및 플리커 측정 프로그램
US11039081B2 (en) * 2019-07-17 2021-06-15 Pixart Imaging Inc. Image sensor capable of eliminating rolling flicker and adjusting frame rate
CN111212242B (zh) * 2020-01-14 2021-03-12 维沃移动通信有限公司 曝光方法和电子设备
JP2022018906A (ja) * 2020-07-16 2022-01-27 キヤノン株式会社 撮像装置およびその制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008109253A (ja) * 2006-10-24 2008-05-08 Sanyo Electric Co Ltd 光源状態検出装置及び方法並びに撮像装置
JP2010098416A (ja) * 2008-10-15 2010-04-30 Nikon Corp 撮像装置
JP2013121099A (ja) * 2011-12-08 2013-06-17 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4106554B2 (ja) * 2003-09-08 2008-06-25 ソニー株式会社 撮影環境判定方法および撮像装置
JP2007329658A (ja) 2006-06-07 2007-12-20 Canon Inc 撮像装置及び撮像装置の駆動方法
JP4948090B2 (ja) * 2006-08-25 2012-06-06 キヤノン株式会社 撮像装置及び駆動制御方法
US8279303B2 (en) 2007-03-05 2012-10-02 Renesas Electronics Corporation Imaging apparatus and flicker detection method
US8441551B2 (en) * 2008-11-14 2013-05-14 Ati Technologies Ulc Flicker detection circuit for imaging sensors that employ rolling shutters
JP5625371B2 (ja) * 2010-01-29 2014-11-19 ソニー株式会社 画像処理装置、および信号処理方法、並びにプログラム
JP5440245B2 (ja) 2010-02-24 2014-03-12 株式会社ニコン 撮像装置
JP5541016B2 (ja) * 2010-09-08 2014-07-09 リコーイメージング株式会社 撮像システムおよび画素信号読出し方法
US8462229B2 (en) * 2010-09-30 2013-06-11 Hewlett-Packard Development Company, L.P. Detection of flicker within captured imaged frames
JP2012134663A (ja) * 2010-12-20 2012-07-12 Samsung Electronics Co Ltd 撮像装置および撮像方法
US9686505B2 (en) * 2014-01-03 2017-06-20 Mediatek Singapore Pte. Ltd. Method for flicker detection and associated circuit
JP6370134B2 (ja) * 2014-07-02 2018-08-08 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008109253A (ja) * 2006-10-24 2008-05-08 Sanyo Electric Co Ltd 光源状態検出装置及び方法並びに撮像装置
JP2010098416A (ja) * 2008-10-15 2010-04-30 Nikon Corp 撮像装置
JP2013121099A (ja) * 2011-12-08 2013-06-17 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020036128A (ja) * 2018-08-28 2020-03-05 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
US20170343882A1 (en) 2017-11-30
US9939712B2 (en) 2018-04-10
CN107251543A (zh) 2017-10-13
US10126632B2 (en) 2018-11-13
JPWO2016132615A1 (ja) 2017-06-29
JP6175585B2 (ja) 2017-08-02
US20180196332A1 (en) 2018-07-12
CN107251543B (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
JP6175587B2 (ja) 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム
JP6175585B2 (ja) 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム
JP6171116B2 (ja) 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム
JP6186521B2 (ja) 合焦制御装置、撮像装置、合焦制御方法、及び合焦制御プログラム
JP5948492B2 (ja) 撮像装置及び合焦制御方法
JP6272486B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5750558B2 (ja) 撮像装置及び合焦制御方法
JP5802846B2 (ja) 撮像装置
JP6569022B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
US11438521B2 (en) Image capturing device, image capturing method, and program
JP5838852B2 (ja) 撮像システム、撮像装置、撮像方法及びプログラム
JP5883992B2 (ja) 画素混合装置およびその動作制御方法
WO2019064757A1 (ja) 撮像装置、撮像方法、およびプログラム
JP7210517B2 (ja) 撮像装置、撮像制御方法、撮像制御プログラム
WO2014097792A1 (ja) 撮像装置、信号処理方法、信号処理プログラム
US10778880B2 (en) Imaging device, imaging method, and imaging program
JP7266102B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
WO2013145887A1 (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15882716

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017500285

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15882716

Country of ref document: EP

Kind code of ref document: A1