WO2010001741A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2010001741A1
WO2010001741A1 PCT/JP2009/061225 JP2009061225W WO2010001741A1 WO 2010001741 A1 WO2010001741 A1 WO 2010001741A1 JP 2009061225 W JP2009061225 W JP 2009061225W WO 2010001741 A1 WO2010001741 A1 WO 2010001741A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel
signal
correction value
correction
Prior art date
Application number
PCT/JP2009/061225
Other languages
English (en)
French (fr)
Inventor
敦也 太田
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2010518992A priority Critical patent/JP5365633B2/ja
Publication of WO2010001741A1 publication Critical patent/WO2010001741A1/ja
Priority to US12/980,879 priority patent/US8953068B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current

Definitions

  • the present invention relates to an imaging apparatus that corrects noise included in a pixel signal from an imaging element.
  • the imaging device has a plurality of pixels arranged in a matrix, captures a subject image and outputs a pixel signal, and the imaging device continuously outputs the image signal.
  • a calculation unit that calculates a correction value for correcting an error for each pixel column for each pixel signal read from the image sensor, and in the continuous shooting state, the calculated correction value is used.
  • a correction unit that corrects the pixel signal, and when the predetermined condition changes during the continuous shooting state, the correction unit corrects the pixel signal using the correction value that has already been used.
  • the correction unit performs imaging using the last correction value among the correction values already used in the continuous shooting state. It is preferable to correct the pixel signal output from the element.
  • the image pickup apparatus further includes a capacity detection unit that detects that the remaining capacity of the battery has changed below a predetermined threshold, Is preferably a change of the remaining capacity of the battery detected by the capacity detection unit to below a predetermined threshold.
  • the imaging device according to the first or second aspect further includes a temperature detection unit that detects that the temperature in the vicinity of the imaging element has changed to a predetermined threshold value or more, and changes in the predetermined condition Is preferably a change of the temperature detected by the temperature detection unit to a predetermined threshold value or more.
  • a shooting instruction signal instructing start of shooting is output, and is output from the image sensor in response to the shooting instruction signal.
  • a first instruction member that sequentially records image data corresponding to the pixel signal as a still image on a recording medium is further provided.
  • the image pickup apparatus further includes a display that displays an image corresponding to the pixel signal output from the image sensor, and the continuous shooting state is It is preferable to include an operation state in a live view mode in which an image is displayed on a display without recording image data corresponding to an image signal on a recording medium.
  • the start of the moving image shooting mode for recording the image data corresponding to the pixel signal continuously output from the image sensor as a moving image on the recording medium is instructed. It is preferable that the change of the predetermined condition is switching from the continuous shooting state to the moving image shooting mode by the second pointing member.
  • the imaging device of the sixth or seventh aspect further includes a sensitivity setting member that sets the imaging sensitivity of the imaging device, and the correction unit uses the correction value that has already been used.
  • the calculation unit calculates a new correction value for correcting an error for each pixel column with respect to the pixel signal, and the correction unit It is preferable to correct the pixel signal using a new correction value instead of the correction value already used.
  • correction when a predetermined condition is satisfied, correction can be performed using a correction value already used.
  • the figure which shows the principal part structure of the electronic camera by embodiment of this invention The block diagram which shows the structure of the control system of the electronic camera in 1st Embodiment
  • region of the pixel from which a pixel signal is read in still image shooting mode The figure which shows an example of the area
  • the figure explaining the timing which acquires the signal for amendment accompanying change of imaging sensitivity The block diagram which shows the structure of the control system of the electronic camera in 2nd Embodiment The figure explaining the timing which acquires the signal for amendment
  • the block diagram which shows the structure of the control system of the electronic camera in 3rd Embodiment The figure which shows an example of the area
  • FIG. 1 is a diagram showing a main configuration of the electronic camera 1.
  • An interchangeable lens 2 including a photographing lens L1 and a diaphragm 20 is detachably attached to the body of the electronic camera 1.
  • a quick return mirror 10 On the body side of the camera 1, a quick return mirror 10, a focusing screen 11, a pentaprism 12, an eyepiece lens 13, an image sensor 14, and a focus detection sensor 15 are provided.
  • FIG. 2 is a block diagram of the control system of the electronic camera 1.
  • the control system of the electronic camera 1 includes an image sensor 14, an A / D conversion circuit 16, a timing generator 17, a control circuit 18, an LCD drive circuit 19, a liquid crystal display 191, an operation unit 30, and a memory card interface 31. .
  • the subject light that has passed through the interchangeable lens 2 and entered the electronic camera 1 is guided upward by a quick return mirror 10 positioned as indicated by a solid line in FIG. 1 before the shutter release.
  • An image is formed on the focusing screen 11.
  • the subject image formed on the focusing screen 11 is guided to the eyepiece 13 by the pentaprism 12.
  • the subject image is observed by the photographer.
  • Part of the subject light passes through the semi-transmission region of the quick return mirror 10, is reflected downward by the sub mirror 10 a, and enters the focus detection sensor 15.
  • the quick return mirror 10 is rotated to the position indicated by the broken line in FIG. 1, the subject light is guided to the imaging device 14, and the subject image is formed on the imaging surface.
  • the image sensor 14 includes a plurality of pixel photodiodes 141 arranged in a matrix, a switch 142 provided in each of the pixel photodiodes 141, a vertical scanning circuit 143 for sequentially selecting each row of the pixel photodiodes 141, and column processing.
  • This is an XY address type photoelectric conversion element having a circuit 144.
  • the switch 142 includes a transfer gate switch 142A (hereinafter referred to as switch 142A), a pixel selection switch 142B (hereinafter referred to as switch 142B), and a capacitor 142C.
  • the switch 142A is a switch that is provided between the pixel photodiode 141 and the capacitor 142C and switches ON / OFF of the electrical connection between the pixel photodiode 141 and the capacitor 142C.
  • the capacitor 142C is provided to convert the charge photoelectrically converted by the pixel photodiode 141 into a voltage value.
  • the switch 142B is a switch that is provided between the capacitor 142C and the column processing circuit 144 and switches ON / OFF of the electrical connection between the capacitor 142C and the column processing circuit 144.
  • a signal equivalent to a signal in a state in which it is not (an element of FPN described later) is transmitted to the column processing circuit 144.
  • the pixel photodiode 141 converts the received subject light into a pixel signal corresponding to the intensity thereof, and outputs the pixel signal to the A / D conversion circuit 16 via the switch 142 (switch 142A, switch 142B) and the column signal circuit 144.
  • the imaging element 14 is configured to change imaging sensitivity (exposure sensitivity) in a predetermined step within a range corresponding to ISO 100 to ISO 1600, for example.
  • the imaging sensitivity is a controlled amount that changes the detection sensitivity of charges accumulated in the imaging device 14 or the amplification gain of an amplifier circuit (not shown).
  • the column processing circuit 144 includes a CDS circuit, a line memory, and the like for each column of the pixel photodiode 141, and the pixel photodiode 141 in a predetermined row selected by the vertical scanning circuit 143 (the switch 142A for each pixel in the selected row is turned off). And the switch 142B is turned on). In this case, at least the switches 142B of the pixel photodiodes 141 included in the unselected rows are all turned off.
  • the column processing circuit 144 holds the pixel signal obtained when the switch 142A for each pixel in the selected row is off and the switch 142B is on as an offset signal for each column. At this time, the switches 142A and 142B are turned on and off almost simultaneously between the selected pixels.
  • the offset signal obtained in this way is a streak-like fixed pattern noise (hereinafter referred to as FPN: Fixed Pattern Noise) generated in the vertical direction of the captured image due to the column processing circuit 144 described later, that is, the image sensor 14. Fixed pattern noise (FPN) for each column.
  • FPN Fixed Pattern Noise
  • the control circuit 18 to be described later calculates a correction value (FPN correction value) using the obtained FPN, and performs FPN correction on the image signal using the calculated FPN correction value.
  • the calculated FPN correction value is stored in a temporary memory 183 provided in an image processing unit 181 described later.
  • the pixel photodiodes 141 in a predetermined row (selected row) are turned off all at once (the pixel switches 142A in the selected row are turned on all at once, and the switches 142B are turned on all at once.
  • the following method may be used.
  • the FPN may be obtained in a state in which the switches 142A of all rows of pixels (that is, all pixels) are turned off all at once and only the pixel switches 142B of a predetermined row (selected row) are turned on all at once.
  • the A / D conversion circuit 16 is a circuit that performs analog processing on the pixel signal output from the image sensor 14 and then converts it to digital image data.
  • the timing generator 17 outputs a timing signal to the image sensor 14 and the A / D converter circuit 16 in accordance with a command from the control circuit 18 and controls the drive timing of the image sensor 14 and the A / D converter circuit 16. It is.
  • the control circuit 18 includes a CPU, a ROM, a RAM, and the like (not shown), and is an arithmetic circuit that controls each component of the electronic camera 1 and executes various data processing.
  • the control circuit 18 controls the timing generator 17 described above.
  • the control circuit 18 includes an image processing unit 181 and a compression unit 182.
  • the image processing unit 181 performs image processing such as white balance processing, gamma correction processing, color interpolation processing, contour enhancement, and vignette correction on the input image data.
  • the image processing unit 181 performs image processing on the input image data, and performs an electronic zoom process for changing the image enlargement rate according to the enlargement rate changed by the operation unit 30 described later.
  • the compression unit 182 is a circuit that performs JPEG compression processing on image data generated by image processing performed by the image processing unit 181.
  • the memory card interface 31 is an interface to which the memory card 32 can be attached and detached.
  • the memory card interface 31 writes image data to the memory card 32 or reads image data recorded on the memory card 32 based on the control of the control circuit 18.
  • the memory card 32 is a semiconductor memory card such as a compact flash (registered trademark) or an SD card.
  • the LCD drive circuit 19 is a circuit that drives the liquid crystal display 191 based on a command from the control circuit 18.
  • the liquid crystal display 191 displays the display data created by the control circuit 18 based on the image data recorded on the memory card 32 in the reproduction mode.
  • the liquid crystal display 191 is configured to display a so-called live view image.
  • the live view is a display mode in which the quick return mirror 10 is flipped upward before the release and an image captured by the image sensor 14 is displayed on the liquid crystal display 191 in real time, and is an imaging mode adopted in a single-lens reflex camera. is there.
  • the operation unit 30 is a switch that receives a user operation.
  • the operation unit 30 includes a power switch, a release switch, a zoom switch for changing an enlargement ratio of a photographed image, a display changeover switch for other setting menus, a setting menu determination button, and a change in imaging sensitivity of the image sensor 14 described above. It includes a sensitivity setting switch.
  • the operation unit 30 can be set to switch between a still image shooting mode and a moving image shooting mode as a shooting mode, and to set a live view mode for displaying the above live view image.
  • the camera switches to still image shooting and the movie shooting mode and live view mode are set. If the user presses the release switch fully while the live view image is displayed, the moving image shooting is started.
  • the control circuit 18 rotates the quick return mirror 10 to the position indicated by the broken line in FIG.
  • the subject light that has passed through the photographing lens L1 is guided to the image sensor 14.
  • the control circuit 18 instructs the timing generator 17 to output from the pixel photodiode 141 corresponding to, for example, a pixel corresponding to a region of 1/3 of the range of all pixels constituting the image sensor 14. Then, the switch 142A is turned off and the switch 142B is turned on via the vertical scanning circuit 143.
  • FIG. 3 shows a pixel area from which a pixel signal (correction value signal) used for calculation of the FPN correction value is read out as a hatched area.
  • the number of pixels of the image sensor 14 is 3000 ⁇ 1500 pixels.
  • the horizontal direction in the figure is the pixel row direction and the vertical direction is the pixel column direction.
  • pixel signals output from the pixels (3000 ⁇ 500 pixels) corresponding to the upper third region of the entire pixel range are read for 3000 columns. That is, the vertical scanning circuit 143 selects the first to 500th rows as the selected rows, turns off the switch 142A, and turns on the switch 142B.
  • the selected row may be set every predetermined pixel row (for example, three rows).
  • pixel signals FPN are read from the 500 pixel photodiodes 141 as correction signals and input to the column processing circuit 144. .
  • the column processing circuit 144 outputs the pixel signals for all columns, that is, 3000 columns to the control circuit 18 via the A / D conversion circuit 16.
  • the image processing unit 181 calculates the FPN correction value for each column by averaging the correction signals (for 500 pixels) for the 3000 columns input as described above, and stores them in the temporary memory 183. Keep it.
  • the control circuit 18 instructs the timing generator 17 to turn on all the switches 142A and 142B, and inputs pixel signals output from all the pixels of the image sensor 14 to the image processing unit 181 as main image signals.
  • the image processing unit 181 subtracts the corresponding first row FPN correction value from the input first row main image signal.
  • the image processing unit 181 performs the FPN correction process by performing the above subtraction on the respective main image signals for 3000 columns.
  • the main image signal subjected to the FPN correction process is subjected to the above-described image processing and compression processing by the control circuit 18, and is recorded in the memory card 32 as still image data. Note that the FPN correction processing in the case of shifting from still-view image display to still image shooting will be described later.
  • FIG. 4A shows a pixel row including pixels that are thinned out and read out during moving image shooting.
  • the control circuit 18 makes 1/3 (500 rows) in the vertical direction out of all the pixels constituting the image sensor 14, that is, every 3 pixel rows.
  • the main image signal is read from the pixel photodiode 141 included in the thinned pixel row (1/3 thinning). Then, the control circuit 18 generates moving image data for the main image using the main image signal read out by 1/3 thinning.
  • the control circuit 18 reads out a correction signal used for calculating the FPN correction value prior to reading out the main image signal.
  • the control circuit 18 further outputs a correction signal from the pixel photodiode 141 included in the pixel row thinned down to 1/3, for example, in the vertical direction.
  • the control circuit 18 instructs the timing generator 17 to switch the vertical scanning circuit 143 so that the correction signal is output from the pixel photodiode 141 included in the 500/3 (166th) pixel row.
  • the switch 142A is turned off and the switch 142B is turned on.
  • FIG. 4B shows pixel rows that are read out in order to acquire a correction signal during moving image shooting.
  • a pixel row including a pixel from which the correction signal is read is indicated by a hatched area. That is, the vertical scanning circuit 143 selects the first to 166th rows as the selected row, turns off the switch 142A, and turns on the switch 142B. Note that the selected row may be set every predetermined pixel row (for example, three rows).
  • correction signals (FPN) are read from a total of 166 pixel photodiodes 141 for the first column of the image sensor 14 and input to the column processing circuit 144.
  • the column processing circuit 144 outputs correction signals (FPN) for all columns, that is, 3000 columns to the control circuit 18 via the A / D conversion circuit 16.
  • the control circuit 18 calculates the FPN correction value by averaging the correction signals for each of the 3000 columns input as described above, and stores them in the temporary memory 183.
  • a pixel row including a pixel from which a main image signal is read out during moving image shooting is indicated by a hatched area. That is, for example, the vertical scanning circuit 143 turns on the switches 142A and 142B with the second row, the fifth row,..., The (3n ⁇ 1) th row (n is a natural number: n ⁇ 500) as the selected row. .
  • the main image signal is read from a total of 500 pixel photodiodes 141 for the first column of the image sensor 14 and input to the column processing circuit 144.
  • the main image signal is read out from a total of 500 pixel photodiodes 141 for every three pixel rows and input to the column processing circuit 144.
  • the column processing circuit 144 outputs the main image signals for all columns, that is, 3000 columns to the control circuit 18 via the A / D conversion circuit 16.
  • the image processing unit 181 calculates the FPN correction value for each column by averaging the correction signals for each of the 3000 columns input as described above. Store in the temporary memory 183. Then, the image processing unit 181 subtracts the FPN correction value corresponding to the first column from the main image signal in the first column. The image processing unit 181 performs the FPN correction process by performing the above subtraction on the respective main image signals for 3000 columns. For the image after the second frame, the image processing unit 181 performs FPN correction on the main image signal using the FPN correction value.
  • the main image signal subjected to the FPN correction processing is subjected to the above-described image processing and compression processing by the control circuit 18 and is recorded in the memory card 32 as moving image data. Further, the control circuit 18 displays a moving image corresponding to the acquired moving image data on the liquid crystal display 191. Note that FPN correction when moving from live view image display to moving image shooting will be described later.
  • the control circuit 18 rotates the quick return mirror 10 to a position indicated by a broken line in FIG. 1, and subject light that has passed through the photographing lens L 1 is applied to the image sensor 14. To be guided. Furthermore, the control circuit 18 selects a pixel row that includes a pixel from which a pixel signal is read out of all the pixels constituting the imaging device 14 according to whether or not the enlargement ratio is changed by the operation of the operation unit 30.
  • the following explanation is divided into a case where the processing for enlargement display is performed (hereinafter referred to as a case where the enlargement ratio is changed) and a case where the display is the same magnification (hereinafter referred to as a case where the enlargement ratio is not changed). To do.
  • the control circuit 18 is 1/3 (500 rows) in the vertical direction among all the pixels constituting the image sensor 14 in the same way as in moving image shooting.
  • the image data for the main image is generated using the main image signal read from the pixel photodiode 141 included in the pixel row thinned out. Note that the pixel signal is read at a period of 1/30 seconds, for example. Details will be described below.
  • the control circuit 18 reads out a correction signal (FPN) used for calculating the FPN correction value prior to reading out the main image signal.
  • FPN correction signal
  • the control circuit 18 further outputs a correction signal from the pixel photodiode 141 included in the pixel row thinned out in the vertical direction, for example, 1/3.
  • the control circuit 18 instructs the timing generator 17 to switch the vertical scanning circuit 143 so that the correction signal is output from the pixel photodiode 141 included in the 500/3 row (166 rows) of pixel rows.
  • the switch 142A is turned off and the switch 142B is turned on.
  • FIG. 5B shows a pixel row including pixels read out in order to obtain a correction signal in the live view mode.
  • a pixel row including a pixel from which the correction signal is read is indicated by a hatched area. That is, the vertical scanning circuit 143 selects the first to 166th rows as the selected row, turns off the switch 142A, and turns on the switch 142B. Note that the selected row may be set every predetermined pixel row (for example, three rows).
  • correction signals are read from a total of 166 pixel photodiodes 141 for the first column of the image sensor 14 and input to the column processing circuit 144.
  • the column processing circuit 144 outputs correction signals (FPN) for all columns, that is, 3000 columns to the control circuit 18 via the A / D conversion circuit 16.
  • FPN correction signals
  • the control circuit 18 calculates the FPN correction value 1 for each column by averaging the correction signals for each of the 3000 columns input as described above, and stores them in the temporary memory 183.
  • the control circuit 18 instructs the timing generator 17 to display the main image from the pixel photodiodes 141 included in the 500 pixel rows as shown in FIG.
  • the switches 142A and 142B are turned on via the vertical scanning circuit 143 so that a signal for use is output. That is, as in the case of moving image shooting, the vertical scanning circuit 143 selects, for example, the second row, the fifth row,..., The (3n ⁇ 1) th row (n is a natural number: n ⁇ 500).
  • the switches 142A and 142B are sequentially turned on.
  • the main image signal is output to the image processing unit 181 of the control circuit 18, and the FPN correction value 1 corresponding to the first column is obtained from the first column main image signal. Subtracted.
  • the image processing unit 181 performs the FPN correction process by performing the above subtraction on the respective main image signals for 3000 columns.
  • the control circuit 18 first reads out correction signals from a total of 166 pixel photodiodes 141 for each column of the image sensor 14 and inputs them to the column processing circuit 144.
  • the column processing circuit 144 outputs correction signals for all columns, that is, 3000 columns to the control circuit 18 via the A / D conversion circuit 16.
  • the control circuit 18 calculates the FPN correction value 2 for each column by averaging the correction signals for each column of 3000 columns, as in the case of the first frame.
  • the image processing unit 181 reads the FPN correction value 1 stored in the temporary memory 183, averages the calculated FPN correction value 2 and the read FPN correction value 1, and sets the FPN correction value 2 AVE for each column. Calculate and store in the temporary memory 183. Thereafter, as in the case of the first frame, the main image signal is read out, and the FPN correction value 2 AVE of the corresponding column is subtracted from the main image signal for 3000 columns to perform FPN correction.
  • the image processing unit 181 calculates the FPN correction value as described above. That is, when acquiring the image of the Nth frame, the FPN correction value (N ⁇ 1) AVE calculated when the image of the previous (N ⁇ 1) th frame is acquired is read out and The FPN correction value N AVE is calculated for each column using the equation (1).
  • FPN correction value N AVE ⁇ FPN correction value (N ⁇ 1) AVE + FPN correction value N ⁇ / 2 (1)
  • the image processing unit 181 performs FPN correction processing by subtracting the calculated FPN correction value NAVE from the main image signal. Then, the image processing unit 181 performs the above-described image processing on the main image signal after the FPN correction processing to generate image data, and the control circuit 18 displays an image corresponding to the image data on the liquid crystal display 191. To do. While the correction signal for the Nth frame is being read, the control circuit 18 displays the (N ⁇ 1) th frame image on the liquid crystal display 191.
  • the control circuit 18 When the magnification is changed-- When the enlargement ratio is changed in the live view mode, the control circuit 18 generates image data for the main image using pixel signals output from all the pixels constituting the image sensor 14 as the main image signal. To do. As shown in FIG. 6, the control circuit 18 corrects from the pixel photodiode 141 included in the pixel row thinned out to, for example, 1500/15 rows (100 rows) in reading the correction signal prior to reading the main image signal. Read the signal. The control circuit 18 instructs the timing generator 17 to output a correction signal from the pixel photodiodes 141 included in the first to 100th pixel rows via the vertical scanning circuit 143, so that the switch 142A is output. Is turned off and the switch 142B is turned on. Note that the selected row may be set every predetermined pixel row (for example, three rows).
  • the image processing unit 181 calculates the FPN correction value in the same manner as described above, and stores it in the temporary memory 183. Then, the image processing unit 181 corrects the FPN by subtracting the FPN correction value from the main image signal in the same manner as described above.
  • the image processing unit 181 reads the FPN correction value N AVE stored in the temporary memory 183 and subtracts the FPN correction value N AVE of the corresponding column from the input main image signal. That is, the image processing unit 181, by using the FPN correction value N AVE acquired last before recording starts, we perform FPN correction processing on the image signals that have been input.
  • the control circuit 18 inputs a shooting instruction signal by fully pressing the release switch, the control circuit 18 generates moving image data of the first frame.
  • the control circuit 18 instructs the timing generator 17 to read out the main image signal from the pixel photodiode 141 included in the pixel row thinned out in the vertical direction, for example, 2/3 rows (1000 rows).
  • the read main image signal is input to the image processing unit 181.
  • the image processing unit 181 reads the FPN correction value N AVE stored in the temporary memory 183 and subtracts the FPN correction value N AVE of the corresponding column from the inputted main image signal of the first frame. Subsequently, the control circuit 18 instructs acquisition of the main image signal of the second frame. As in the case of the first frame, a pixel signal is read out as a main image signal from the pixel photodiode 141 included in the pixel row thinned out by 2/3 in the vertical direction, and is input to the image processing unit 181. .
  • the image processing unit 181 reads the FPN correction value N AVE stored in the temporary memory 183 and subtracts the FPN correction value N AVE of the corresponding column from the input main image signal of the second frame. Thereafter, the image processing unit 181, by using the last acquired the FPN correction value N AVE before starting moving image shooting, subjected to FPN correction processing on the image signals of the M frame acquired during moving image shooting.
  • FIG. 7 shows a case where the imaging sensitivity is changed when moving image shooting is performed as described above.
  • the image processing unit 181 for (M + 1) th main image signals of a frame subjected to FPN correction processing using the FPN correction value N AVE which finally obtained in the live view mode. Then, after acquiring the main image signal of the (M + 1) th frame, the control circuit 18 commands acquisition of the correction signal.
  • the control circuit 18 reads out the pixel signal from the pixel photodiode 141 included in the pixel row thinned out to, for example, 500/6 rows (83 rows) in order to obtain a correction signal.
  • the control circuit 18 instructs the timing generator 17 to output a correction signal from the pixel photodiodes 141 included in the first to 83rd pixel rows via the vertical scanning circuit 143, so that the switch 142A is output. Is turned off and the switch 142B is turned on. Note that the selected row may be set every predetermined pixel row (for example, three rows).
  • the image processing unit 181 calculates the FPN correction value (M + 2) in the same manner as described above, and stores it in the temporary memory 183.
  • the control circuit 18 After acquiring the correction signal, the control circuit 18 acquires the main image signal of the (M + 2) th frame in the same manner as the first to (M + 1) th frames. Then, as in the case described above, the image processing unit 181 corrects the FPN by subtracting the FPN correction value (M + 2) from the main image signal of the (M + 2) th frame. As long as the operation for changing the imaging sensitivity is not performed, the image processing unit 181 performs the FPN correction process using the FPN correction value (M + 2) for the main image signal from the (M + 3) th frame onward.
  • the image processing unit 181 When the process proceeds from the live view mode to the moving image photographing, the image processing unit 181, by using the FPN correction value N AVE acquired in the live view mode, with respect to the image signals for generating the moving image data An FPN correction process was performed. Therefore, since it is not necessary to newly acquire a correction signal for calculating the FPN correction value for each frame during moving image shooting, it is possible to prevent a decrease in frame rate during moving image shooting.
  • the FPN correction value N AVE is the FPN calculated from the FPN correction value N calculated from the correction signal for the Nth frame and the correction signal one frame before ((N ⁇ 1) th) frame in the live view mode.
  • the correction value (N-1) is calculated by averaging AVE . Therefore, the FPN correction value N AVE, the variation of the characteristics of the internal circuits constituting the column processing circuit 144 due to factors such as temperature are taken into account, to obtain a moving image of high image quality by performing precisely FPN correction Can do.
  • the control circuit 18 instructs the acquisition of a new correction signal, and the image processing unit 181 uses the newly acquired correction signal. Based on this, an FPN correction value is calculated, and FPN correction is performed on the main image signal.
  • the imaging sensitivity is changed to, for example, twice, the FPN for each pixel is also doubled. Therefore, since the FPN correction value can be changed according to the change in imaging sensitivity, a high-quality moving image that has been subjected to FPN correction with high accuracy can be acquired.
  • the image processing unit 181 uses the subsequent frames until the imaging sensitivity is changed the next time.
  • An FPN correction process is performed on the main image signal for generating the acquired moving image data. Therefore, since it is not necessary to newly acquire a correction signal for calculating the FPN correction value for each frame during moving image shooting, it is possible to prevent a decrease in frame rate during moving image shooting.
  • FIGS. 9 A camera according to a second embodiment of the present invention will be described with reference to FIGS.
  • the same components as those in the first embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first embodiment.
  • FIG. 9 as in the description in the first embodiment, the horizontal direction in the drawing is described as the pixel row direction and the vertical direction is described as the pixel column direction.
  • the main image signal using the FPN correction value N AVE already used The second embodiment is different from the first embodiment in that FPN correction is performed.
  • the electronic camera 1 includes a battery 40 and a battery voltage detection circuit 41 for supplying power to each unit.
  • the battery voltage detection circuit 41 constantly measures the remaining power capacity of the battery 40.
  • the remaining capacity signal as the measurement result is output to the control circuit 18 via an A / D conversion circuit (not shown).
  • the control circuit 18 Based on the input remaining capacity signal, the control circuit 18 compares the remaining capacity of the battery 40 with a preset threshold (for example, 50% of the total capacity). In the live view mode, when the control circuit 18 detects that the remaining capacity of the battery 40 is equal to or greater than the threshold value, the control circuit 18 reads out the main image signal and the correction signal as in the first embodiment. A pixel row including the pixel is determined as a selected row.
  • the control circuit 18 reads the main image signal from the pixel photodiodes 141 included in the pixel rows that are thinned out to 1/3 (500 rows) in the vertical direction among all the pixels of the image sensor 14. Further, the control circuit 18 determines a pixel row thinned out to 500/3 rows (166 rows) among all the pixels of the image sensor 14 as a selected row, and receives a correction signal from the pixel photodiode 141 included in the selected row. read out. Thereafter, the image processing unit 181 calculates the FPN correction value and performs the FPN correction process on the main image signal in the same manner as in the first embodiment.
  • the control circuit 18 When the control circuit 18 detects that the remaining capacity of the battery 40 is less than 50% of the total capacity, which is the threshold, after acquiring the Nth frame image, the acquisition of the correction signal after the (N + 1) th frame is prohibited. to the (N + 1) -th frame subsequent FPN correction process is performed by using the FPN correction value N AVE you are already using. That is, the control circuit 18 instructs the timing generator 17 to read out only the main image signal. As shown in the time chart of FIG. 9, the image processing unit 181, for the (N + 1) th frame after the main image signal, it reads the FPN correction value N AVE stored in the temporary memory 183, the entered (N + 1) subtracting the FPN correction value N AVE of the corresponding column from the subsequent frames of the image signals.
  • FIG. 9 illustrates a case where the imaging sensitivity is changed by operating the sensitivity setting switch of the operation unit 30 after acquiring the main image signal of the Mth frame.
  • the image processing unit 181 for the (M + 1) th main image signals of a frame, subjected to FPN correction processing by using the data stored in the temporary memory 183 FPN correction value N AVE.
  • the control circuit 18 instructs the timing generator 17 to read out the correction signal. That is, the control circuit 18 once cancels the prohibition of reading the correction signal.
  • the control circuit 18 reads out the pixel signal from the pixel photodiode 141 included in the pixel row thinned out to 500/3 row (166 row) as described above in order to obtain the correction signal.
  • the image processing unit 181 calculates the FPN correction value (M + 2) in the same manner as described above, and stores it in the temporary memory 183.
  • the control circuit 18 acquires the main image signal of the (M + 2) th frame.
  • the image processing unit 181 corrects the FPN by subtracting the FPN correction value (M + 2) from the main image signal of the (M + 2) th frame.
  • the image processing unit 181 performs the FPN correction process using the FPN correction value (M + 2) for the main image signal from the (M + 3) th frame onward.
  • the FPN correction value 1 for the first frame is calculated, It is assumed that the FPN correction process using the FPN correction value 1 is also performed on the main image signals in the second and subsequent frames.
  • the control circuit 18 detects that the remaining capacity of the battery 40 is less than the threshold when the live view mode is set, the control circuit 18 prohibits acquisition of a correction signal used to calculate the FPN correction value. I tried to do it. That is, the control circuit 18 performs the FPN correction process using the already used FPN correction value. Therefore, when the remaining capacity of the battery 40 is reduced, the drive time of the image sensor 14 can be reduced, which contributes to power saving.
  • the FPN correction value N AVE is the FPN calculated from the FPN correction value N calculated from the correction signal for the Nth frame and the correction signal one frame before ((N ⁇ 1) th) frame in the live view mode.
  • the correction value (N-1) is calculated by averaging AVE . Therefore, since the FPN correction value N AVE takes into account fluctuations in the characteristics of the internal circuit that constitutes the column processing circuit 144 due to factors such as temperature, it is possible to accurately perform FPN correction and obtain a high-quality image. it can.
  • the control circuit 18 When the imaging sensitivity of the image sensor 14 is changed while an image is displayed in the live view mode, the control circuit 18 once cancels the prohibition of reading the correction signal and newly acquires the correction signal. Instruct. Then, the image processing unit 181 calculates the FPN correction value based on the newly acquired correction signal, and performs the FPN correction on the main image signal. Generally, when the imaging sensitivity is changed to, for example, twice, the FPN for each pixel is also doubled. Therefore, since the FPN correction value can be changed according to the change in imaging sensitivity, a high-quality image that has been subjected to FPN correction with high accuracy can be acquired and displayed.
  • the image processing unit 181 uses the subsequent frames until the imaging sensitivity is changed the next time. An FPN correction process is performed on the acquired main image signal. Therefore, since it is not necessary to newly acquire a correction signal for calculating the FPN correction value for each frame in the live view mode, the power consumption of the battery 40 can be suppressed.
  • FIG. 11 A camera according to a third embodiment of the present invention will be described with reference to FIG.
  • the same components as those in the first or second embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first or second embodiment.
  • FIG. 11 As in the description in the first and second embodiments, the horizontal direction in the figure is described as the pixel row direction, and the vertical direction is described as the pixel column direction.
  • live view temperature of the image pickup device 14 near the displayed image disables reading between the correction signal equal to or greater than a predetermined value, the main image signal using the FPN correction value N AVE already used
  • the second embodiment is different from the first and second embodiments in that FPN correction is performed.
  • the electronic camera 1 includes a temperature sensor 42.
  • the temperature sensor 42 constantly measures the temperature around the image sensor 14 and outputs a temperature signal as a measurement result to the control circuit 18 via an A / D conversion circuit (not shown).
  • the control circuit 18 compares the temperature in the vicinity of the image sensor 14 measured by the temperature sensor 42 with a preset threshold value (for example, 45 ° C.).
  • the threshold value is a value determined depending on the rating of the image sensor 14. In the case of a camera having a function of terminating the live view mode when the temperature in the vicinity of the image sensor 14 is equal to or higher than a predetermined value, the threshold value is set to a value lower than the predetermined value.
  • the control circuit 18 When the control circuit 18 detects that the temperature in the vicinity of the image sensor 14 measured by the temperature sensor 42 is less than the threshold (45 ° C.) in the live view mode, the control circuit 18 selects the main image signal and the correction signal. Determine the line. That is, the control circuit 18 reads the main image signal from the pixel photodiodes 141 included in the pixel rows that are thinned out to 1/3 (500 rows) in the vertical direction among all the pixels of the image sensor 14. Further, the control circuit 18 determines a pixel row thinned out to 500/3 rows (166 rows) among all the pixels of the image sensor 14 as a selected row, and receives a correction signal from the pixel photodiode 141 included in the selected row. read out. Thereafter, the image processing unit 181 calculates the FPN correction value and performs the FPN correction process on the main image signal in the same manner as in the first embodiment.
  • the control circuit 18 detects that the temperature in the vicinity of the image sensor 14 measured by the temperature sensor 42 is equal to or higher than a threshold (45 ° C.) after the N-th frame main image signal is acquired in the live view mode. If you, the (N + 1) prohibits the acquisition of the frame after the correction signal is subjected to FPN correction process already used by being FPN correction value N AVE to use. That is, the control circuit 18 instructs the timing generator 17 to read out only the main image signal. Then, the image processing unit 181, the relative (N + 1) frame after the main image signal, subjected to FPN correction processing by using the data stored in the temporary memory 183 FPN correction value N AVE. When the imaging sensitivity is changed, as described in the second embodiment, the control circuit 18 once cancels the prohibition of reading the correction signal.
  • a threshold 45 ° C.
  • the control circuit 18 detects that the temperature in the vicinity of the image sensor 14 is equal to or higher than the threshold (45 ° C.) when the live view mode is set, the FPN correction value 1 for the first frame is calculated, and the second It is assumed that the FPN correction process is performed using the FPN correction value 1 for the main image signal after the frame.
  • the control circuit 18 uses correction for calculating the FPN correction value. Acquisition of signal for use was prohibited. That is, the control circuit 18 performs the FPN correction process using the already used FPN correction value. Accordingly, the drive time of the image sensor 14 is reduced to prevent a temperature rise, and noise caused by a dark current or the like is suppressed from being generated in an image displayed in the live view mode, thereby preventing deterioration of the image quality of the displayed image. Can do.
  • the camera according to the embodiment described above can be modified as follows.
  • (1) When the enlargement ratio is changed in the live view mode, the pixel photodiode 141 arranged at a position corresponding to the enlarged position on the image is used instead of changing the selected row.
  • the image signal and the correction signal may be read out.
  • FIG. 11 shows an example of a pixel from which the main image signal and the correction signal are read out in this case.
  • the control circuit 18 reads out a pixel signal of 500 ⁇ 1000 pixels as a main image signal, as indicated by the hatched portion in FIG. Further, the control circuit 18 reads out a pixel signal of 33 ⁇ 1000 pixels as a correction signal, with 500/15 rows (33 rows) as a selected row, as indicated by the hatched portion in FIG.
  • the control circuit 18 determines that the temperature in the vicinity of the image sensor 14 detected by the temperature sensor 42 is equal to or higher than the threshold value, or the remaining capacity of the battery 40 is less than the threshold value. In any case, the acquisition of the correction signal may be prohibited.
  • the electronic camera 1 may be a photographic lens fixed type camera instead of a photographic lens exchangeable one.
  • the technique of the second embodiment can be applied not only during live view.
  • a continuous imaging state in which the imaging operation is continuously repeated for example, there is a continuous shooting operation (so-called continuous shooting) in which still image shooting is continuously repeated.
  • the technique described in the second embodiment can be applied even during such continuous shooting. As an example, a case where 15 frames of still images (still images) are continuously shot will be described.
  • the FPN correction data for the tenth frame and thereafter (10 to 15 frames) is obtained at the time of shooting the ninth frame.
  • the FPN correction data is used.
  • the same thing as the above can be applied to the above-described third embodiment, that is, the case where the temperature of the image sensor rises during continuous shooting of a still image.
  • the FPN correction data obtained at the time of shooting completed immediately before exceeding the reference temperature is used as each frame at the time of the subsequent continuous shooting.
  • FPN correction data is used.
  • the FPN correction data acquired in the last frame at the time of the still continuous shooting is used at the time of moving image shooting.
  • the FPN correction data may be used.
  • the present invention is not limited to the above-described embodiment as long as the characteristics of the present invention are not impaired, and other forms conceivable within the scope of the technical idea of the present invention are also within the scope of the present invention. included.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

 撮像装置は、行列状に配置された複数の画素を有し、被写体像を撮像して画素信号を出力する撮像素子と、撮像素子が画像信号を連続的に出力している連続撮影状態には、撮像素子から読み出された画素信号毎に画素列ごとの誤差を補正するための補正値を算出する算出部と、連続撮影状態時には、算出された補正値を用いて画素信号に対して補正を施す補正部とを備え、連続撮影状態時に、所定条件が変化したときには、補正部は、既に用いられた補正値を用いて、画素信号に対して補正を施す

Description

撮像装置
 本発明は、撮像素子からの画素信号に含まれるノイズを補正する撮像装置に関する。
 従来から、X-Yアドレス型固体撮像素子に起因する固定パターンノイズ(FPN)を補正するカメラが知られている(たとえば、特許文献1)。
特開平10-126697号公報
 しかしながら、画素リセット時の画素信号を読み出す時、動画撮影時に取得した画素信号から減算してFPNを補正しているので、動画撮影時のフレームレートが低下するという問題がある。
 本発明の第1の態様によると、行列状に配置された複数の画素を有し、被写体像を撮像して画素信号を出力する撮像素子と、撮像素子が画像信号を連続的に出力している連続撮影状態には、撮像素子から読み出された画素信号毎に画素列ごとの誤差を補正するための補正値を算出する算出部と、連続撮影状態時には、算出された補正値を用いて画素信号に対して補正を施す補正部とを備え、連続撮影状態時に、所定条件が変化したときには、補正部は、既に用いられた補正値を用いて、画素信号に対して補正を施す。
 本発明の第2の態様によると、第1の態様の撮像装置において、所定条件が変化した後に、補正部は、連続撮影状態時に既に用いた補正値のうち最後の補正値を用いて、撮像素子から出力された画素信号に対して補正を施すことが好ましい。
 本発明の第3の態様によると、第1または第2の態様の撮像装置において、バッテリの残容量が所定の閾値未満に変化したことを検出する容量検出部をさらに備え、所定条件の変化とは、容量検出部が検出したバッテリの残容量の所定の閾値未満への変化であることが好ましい。
 本発明の第4の態様によると、第1または第2の態様の撮像装置において、撮像素子近傍の温度が所定の閾値以上に変化したことを検出する温度検出部をさらに備え、所定条件の変化とは、温度検出部が検出した温度の所定の閾値以上への変化であることが好ましい。
 本発明の第5の態様によると、第1乃至第4のいずれかの態様の撮像装置において、撮影開始を指示する撮影指示信号を出力し、撮影指示信号に応じて、撮像素子から出力された画素信号に対応する画像データを静止画として順次記録媒体に記録させる第1指示部材をさらに備え、連続撮影状態は、撮影指示信号を入力している間中、静止画の撮影と画像データの記録媒体への記録とを連続的に繰り返す連写モードでの動作状態を含むことが好ましい。
 本発明の第6の態様によると、第1乃至第4のいずれかの態様の撮像装置において、撮像素子から出力された画素信号に対応する画像を表示する表示器をさらに備え、連続撮影状態は、画像信号に対応する画像データの記録媒体へ記録を伴わずに、画像を表示器に表示するライブビューモードでの動作状態を含むことが好ましい。
 本発明の第7の態様によると、第6の態様の撮像装置において、撮像素子から連続的に出力された画素信号に対応する画像データを動画として記録媒体へ記録する動画撮影モードの開始を指示する第2指示部材をさらに備え、所定条件の変化とは、第2指示部材による連続撮影状態から動画撮影モードへの切り換えであることが好ましい。
 本発明の第8の態様によると、第6または第7の態様の撮像装置において、撮像素子の撮像感度を設定する感度設定部材をさらに備え、補正部が既に用いられた補正値を用いて画素信号に対して補正を施している時に、撮像感度が変更された場合、算出部は、画素信号に対して画素列ごとの誤差を補正するための新たな補正値を算出し、補正部は、既に用いられた補正値に代えて新たな補正値を用いて画素信号に対して補正を施すことが好ましい。
 本発明によれば、所定条件が満たされているときには、既に用いられている補正値を用いて補正を施すことができる。
本発明の実施の形態による電子カメラの要部構成を示す図 第1の実施の形態における電子カメラの制御系の構成を示すブロック図 静止画撮影モードにおいて画素信号が読み出される画素の領域の一例を示す図 動画撮影モードにおいて画素信号が読み出される画素の領域の一例を示す図 ライブビューモードにおいて画素信号が読み出される画素の領域の一例を示す図 ライブビューモードにおいて拡大率が変更された場合に画素信号が読み出される画素の領域の一例を示す図 撮像感度の変更に伴う補正用信号の取得するタイミングを説明する図 第2の実施の形態における電子カメラの制御系の構成を示すブロック図 補正用信号を取得するタイミングを説明する図 第3の実施の形態における電子カメラの制御系の構成を示すブロック図 変形例において画素信号が読み出される画素の領域の一例を示す図
-第1の実施の形態-
 図面を参照して、本発明による第1の実施の形態におけるカメラを説明する。図1は電子カメラ1の要部構成を示す図である。電子カメラ1のボディに、撮影レンズL1と絞り20とを備える交換レンズ2が着脱可能に装着されている。カメラ1のボディ側には、クイックリターンミラー10、焦点板11、ペンタプリズム12、接眼レンズ13、撮像素子14、および焦点検出用センサ15が設けられている。
 図2は電子カメラ1の制御系のブロック図である。図2において、図1に示した構成要素には同一の符号を付して説明する。電子カメラ1の制御系は、撮像素子14、A/D変換回路16、タイミングジェネレータ17、制御回路18、LCD駆動回路19、液晶表示器191、操作部30、およびメモリカードインタフェース31を備えている。
 図1を参照して説明すると、交換レンズ2を通過して電子カメラ1に入射した被写体光は、シャッタレリーズ前は図1において実線で示すように位置するクイックリターンミラー10で上方へ導かれて焦点板11に結像する。焦点板11に結像された被写体像は、ペンタプリズム12により接眼レンズ13へ導かれる。その結果、被写体像が撮影者に観察される。被写体光の一部はクイックリターンミラー10の半透過領域を透過し、サブミラー10aにて下方に反射され、焦点検出用センサ15へ入射される。レリーズ後はクイックリターンミラー10が図1の破線で示される位置へ回動し、被写体光が撮像素子14へ導かれ、その撮像面上に被写体像が結像する。
 図2を参照して制御系について詳細に説明する。
 撮像素子14は、行列状に多数配列された画素フォトダイオード141、画素フォトダイオード141のそれぞれに設けられたスイッチ142、画素フォトダイオード141の各行を順に選択するための垂直走査回路143、およびカラム処理回路144を有する、X-Yアドレス型の光電変換素子である。スイッチ142には、トランスファーゲートスイッチ142A(以下、スイッチ142Aと称する)、画素選択スイッチ142B(以下、スイッチ142Bと称する)およびコンデンサ142Cが含まれている。
 スイッチ142Aは、画素フォトダイオード141と、コンデンサ142Cとの間に設けられ、画素フォトダイオード141とコンデンサ142Cとの間の電気的接続のON/OFFをスイッチングするスイッチである。コンデンサ142Cは、画素フォトダイオード141が光電変換した電荷を電圧値に変換するために設けられている。スイッチ142Bは、コンデンサ142Cとカラム処理回路144との間に設けられ、コンデンサ142Cとカラム処理回路144との間の電気的接続のON/OFFをスイッチングするスイッチである。ある画素のスイッチ142A、142Bが共にオンされている場合には、その画素で受光した信号が光電変換されてカラム処理回路144に伝達される。
 一方、ある画素のスイッチ142Aがオフされ、かつスイッチ142Bがオンされている場合には、画素フォトダイオード141とカラム処理回路144との接続が遮断されているときの信号、すなわち、その画素が受光していない状態における信号(後述するFPNの一要素)と等価な信号がカラム処理回路144に伝達される。画素フォトダイオード141は、受光した被写体光をその強度に応じた画素信号に変換して、スイッチ142(スイッチ142A、スイッチ142B)およびカラム信号回路144を介してA/D変換回路16へ出力する。
 撮像素子14は、たとえば、ISO100相当~ISO1600相当の範囲内において撮像感度(露光感度)を所定のステップで変更可能に構成されている。撮像感度とは、撮像素子14に蓄積される電荷の検出感度、もしくは不図示の増幅回路の増幅利得を変化させる被制御量のことをいう。
 カラム処理回路144はCDS回路やラインメモリなどを画素フォトダイオード141の列ごとに備え、垂直走査回路143によって選択された所定行の画素フォトダイオード141(選択された行の画素毎のスイッチ142Aはオフされ、かつスイッチ142Bはオンされる)から出力される画素信号を入力する。この場合において、選択されていない行に含まれる各画素フォトダイオード141の、少なくともスイッチ142Bは、全てオフにされている。
 そして、カラム処理回路144は選択行の画素毎のスイッチ142Aがオフで、かつスイッチ142Bがオンのときに得られる画素信号を、列毎にオフセット信号として保持する。このときのスイッチ142A、142Bのオンおよびオフは、選択画素間でほぼ同時に行われる。このようにして得られたオフセット信号が、後述するカラム処理回路144に起因して撮影画像の縦方向に発生する筋状の固定パターンノイズ(以下、FPN:Fixed Pattern Noise)、すなわち撮像素子14の列毎の固定パターンノイズ(FPN)である。
 後述する制御回路18は、この求められたFPNを使って補正値(FPN補正値)を算出し、その算出したFPN補正値を使って、画像信号に対してFPN補正を施す。また、算出されたFPN補正値は、後述する画像処理部181に設けられた一時メモリ183に格納される。
 なお、FPNを得る際には、上述のように所定行(選択行)の画素フォトダイオード141から(選択されている行の画素スイッチ142Aを一斉にオフし、かつスイッチ142Bを一斉にオンした状態で)画素信号を得る方法以外に、次のような方法で得てもよい。たとえば、全ての行の画素(つまり全画素)のスイッチ142Aを一斉にオフし、かつ所定行(選択行)の画素スイッチ142Bのみを一斉にオンした状態で、FPNを得るようにしてもよい。
 A/D変換回路16は、撮像素子14が出力する画素信号にアナログ的な処理をしてからデジタルの画像データに変換する回路である。タイミングジェネレータ17は、制御回路18の命令に応じて、撮像素子14とA/D変換回路16とにタイミング信号を出力し、撮像素子14とA/D変換回路16との駆動タイミングを制御する回路である。
 制御回路18は、図示しないCPU、ROM、RAMなどを有し、電子カメラ1の各構成要素を制御したり、各種のデータ処理を実行する演算回路である。制御回路18は、前述したタイミングジェネレータ17を制御する。
 制御回路18は、画像処理部181および圧縮部182を有する。画像処理部181は、入力した画像データに対して、ホワイトバランス処理、ガンマ補正処理、色補間処理、輪郭強調、ビネット補正などの画像処理を実行する。また、画像処理部181は、入力した画像データに対して画像処理を施して、後述する操作部30により変更された拡大率に応じて画像の拡大率を変更する電子ズーム処理を施す。圧縮部182は、画像処理部181で画像処理が施されて生成された画像データに対してJPEG圧縮処理を実行する回路である。
 メモリカードインタフェース31は、メモリカード32が着脱可能なインタフェースである。メモリカードインタフェース31は、制御回路18の制御に基づいて、画像データをメモリカード32に書き込んだり、メモリカード32に記録されている画像データを読み出す。メモリカード32はコンパクトフラッシュ(登録商標)やSDカードなどの半導体メモリカードである。
 LCD駆動回路19は、制御回路18の命令に基づいて液晶表示器191を駆動する回路である。液晶表示器191は、再生モードにおいて、メモリカード32に記録されている画像データに基づいて制御回路18で作成された表示データの表示を行う。また、液晶表示器191は、いわゆるライブビュー画像を表示するように構成されている。ライブビューとは、レリーズ前にクイックリターンミラー10を上方に跳ね上げて撮像素子14で撮像した画像をリアルタイムに液晶表示器191に表示する表示形態であり、一眼レフカメラにおいて採用される撮像モードである。
 操作部30は、ユーザの操作を受け付けるスイッチである。操作部30には、電源スイッチ、レリーズスイッチ、撮影画像の拡大率変更操作をするためのズームスイッチ、その他の設定メニューの表示切換スイッチ、設定メニュー決定ボタン、上述した撮像素子14の撮像感度を変化させるための感度設定スイッチなどが含まれる。また、操作部30により、撮影モードとして静止画撮影モードと動画撮影モードとの間の切り替えの設定、および上記のライブビュー画像を表示するためのライブビューモードの設定が可能である。したがって、静止画撮影モードおよびライブビューモードが設定されている場合は、ライブビュー画像表示中にユーザがレリーズスイッチを全押しすると静止画撮影に移行し、動画撮影モードおよびライブビューモードが設定されている場合は、ライブビュー画像表示中にユーザがレリーズスイッチを全押しすると動画撮影に移行する。
-静止画撮影モード-
 操作部30の操作により静止画撮影モードが設定され、レリーズスイッチの全押し操作により撮影が指示されると、制御回路18は、クイックリターンミラー10を図1の破線で示す位置へ回動し、撮影レンズL1を通過した被写体光が撮像素子14に導かれるようにする。さらに、制御回路18は、タイミングジェネレータ17に指示して、撮像素子14を構成する全画素の範囲のうち、たとえば1/3の領域に相当する画素に対応する画素フォトダイオード141から出力されるように垂直走査回路143を介してスイッチ142Aをオフし、かつスイッチ142Bをオンさせる。
 図3に、FPN補正値の算出に用いる画素信号(補正値信号)が読み出される画素の領域を斜線領域で示す。なお、説明を簡単にするため、撮像素子14の画素数を3000×1500画素とする。また、図3~図6の説明においては、図の水平方向を画素行方向、垂直方向を画素列方向とする。本実施の形態においては、たとえば全画素範囲の上部1/3の領域に相当する画素(3000×500画素)から出力される画素信号を列ごとに3000列分読み出す。すなわち、垂直走査回路143は、第1行から第500行までを選択行として、スイッチ142Aをオフし、かつスイッチ142Bをオンする。なお、選択行を所定の画素行(たとえば3行)おきに設定してもよい。その結果、撮像素子14の第1列~第3000列の各列について、それぞれ500個の画素フォトダイオード141から画素信号(FPN)が補正用信号として読み出され、カラム処理回路144に入力される。
 カラム処理回路144は、全ての列、すなわち3000列分のそれぞれの画素信号をA/D変換回路16を介して、制御回路18へ出力する。画像処理部181は、上述のようにして入力した3000列分の列ごとの補正用信号(500画素分)をそれぞれ平均して列毎のFPN補正値を算出して、一時メモリ183に格納しておく。
 次に、制御回路18は、タイミングジェネレータ17に指令して全てのスイッチ142Aおよび142Bをオンさせて、撮像素子14の全画素から出力される画素信号を本画像用信号として画像処理部181に入力させる。画像処理部181は、入力した第1列の本画像用信号から対応する第1列のFPN補正値を減算する。画像処理部181は、上記の減算を3000列分のそれぞれの本画像用信号に対して行うことにより、FPN補正処理を施す。FPN補正処理の施された本画像用信号は、制御回路18により上述した画像処理や圧縮処理が施されて、静止画像データとしてメモリカード32に記録される。なお、ライブビュー画像表示中から静止画撮影に移行する場合のFPN補正処理については後述する。
-動画撮影時-
 操作部30の操作により動画撮影モードが設定され、レリーズスイッチの全押し操作により撮影が指示されると、制御回路18は、クイックリターンミラー10を図1の破線で示す位置へ回動し、動画撮影を開始する。図4(a)に、動画撮影時に間引いて読み出される画素が含まれる画素行を示す。図4(a)に示すように、制御回路18は、動画撮影モード時においては、撮像素子14を構成する全画素のうち、垂直方向に1/3(500行)、すなわち3画素行間隔に間引かれた画素行に含まれる画素フォトダイオード141から本画像用信号を読み出させる(1/3間引き)。そして、制御回路18は、1/3間引きにより読み出された本画像用信号を用いて、本画像用の動画像データを生成する。
 制御回路18は、本画像用信号の読み出しに先立って、FPN補正値の算出に用いる補正用信号を読み出す。本画像用信号を1/3間引き(500行)により読み出す場合、制御回路18は、さらに垂直方向に、たとえば1/3に間引いた画素行に含まれる画素フォトダイオード141から補正用信号を出力させる。この場合、制御回路18は、タイミングジェネレータ17に指示して、500/3行(166行)の画素行に含まれる画素フォトダイオード141から補正用信号が出力されるように、垂直走査回路143を介してスイッチ142Aをオフし、かつスイッチ142Bをオンさせる。
 図4(b)に、動画撮影時に補正用信号を取得するために間引いて読み出される画素行を示す。この場合に補正用信号が読み出される画素が含まれる画素行を斜線領域で示す。すなわち、垂直走査回路143は、第1行~第166行を選択行として、スイッチ142Aをオフし、かつスイッチ142Bをオンする。なお、選択行を所定の画素行(たとえば3行)おきに設定してもよい。その結果、撮像素子14の第1列について合計166個の画素フォトダイオード141から補正用信号(FPN)が読み出され、カラム処理回路144に入力される。カラム処理回路144は、全ての列、すなわち3000列分のそれぞれの補正用信号(FPN)をA/D変換回路16を介して、制御回路18へ出力する。
 制御回路18は、上述したようにして入力した3000列分の列ごとの補正用信号をそれぞれ平均してFPN補正値を算出し、一時メモリ183に格納する。
 図4(a)において、動画撮影時に本画像用信号が読み出される画素が含まれる画素行を斜線領域で示す。すなわち、垂直走査回路143は、たとえば、第2行、第5行、・・・、第(3n-1)行(nは自然数:n≦500)を選択行として、スイッチ142Aおよび142Bをオンする。その結果、撮像素子14の第1列について合計500個の画素フォトダイオード141から本画像用信号が読み出され、カラム処理回路144に入力される。すなわち、撮像素子14の第1列について3画素行ごとに合計500個の画素フォトダイオード141から本画像用信号が読み出され、カラム処理回路144に入力される。カラム処理回路144は、全ての列、すなわち3000列分のそれぞれの本画像用信号をA/D変換回路16を介して、制御回路18へ出力する。
 第1フレームの画像を取得する際には、画像処理部181は、上述したようにして入力した3000列分の列ごとの補正用信号をそれぞれ平均してFPN補正値を列毎に算出し、一時メモリ183に格納する。そして、画像処理部181は、第1列の本画像用信号から第1列に対応するFPN補正値を減じる。画像処理部181は、上記の減算を3000列分のそれぞれの本画像用信号に対して行うことにより、FPN補正処理を施す。第2フレーム以降の画像については、画像処理部181は、上記のFPN補正値を用いて本画像用信号に対してFPN補正を施す。FPN補正処理の施された本画像用信号は、制御回路18により上述した画像処理や圧縮処理が施されて、動画像データとしてメモリカード32に記録される。さらに、制御回路18は、取得した動画像データ対応する動画を液晶表示器191に表示する。なお、ライブビュー画像表示中から動画撮影に移行する場合のFPN補正については後述する。
-ライブビューモード-
 操作部30の操作によりライブビューモードが設定されると、制御回路18は、クイックリターンミラー10を図1の破線で示す位置へ回動し、撮影レンズL1を通過した被写体光が撮像素子14に導かれるようにする。さらに、制御回路18は、操作部30の操作による拡大率の変更の有無に応じて、撮像素子14を構成する全画素の中から画素信号を読み出す画素が含まれる画素行を選択する。以下、拡大表示用の処理がなされているとき(以下、拡大率が変更されている場合という)と、等倍表示のとき(以下、拡大率が変更されていない場合という)とに分けて説明する。
--拡大率が変更されていない場合--
 図5(a)に示すように、制御回路18は、ライブビューモード時においては、動画撮影時と同様に、撮像素子14を構成する全画素のうち、垂直方向に1/3(500行)に間引いた画素行に含まれる画素フォトダイオード141から読み出された本画像用信号を用いて、本画像用の画像データを生成する。なお、画素信号は、たとえば1/30秒周期で読み出される。以下、詳細に説明する。
 制御回路18は、本画像用信号の読み出しに先立って、FPN補正値の算出に用いる補正用信号(FPN)を読み出す。本画像用信号の読み出しに500行を用いる場合、制御回路18は、さらに垂直方向に、たとえば1/3に間引いた画素行に含まれる画素フォトダイオード141から補正用信号を出力させる。この場合、制御回路18は、タイミングジェネレータ17に指示して、500/3行(166行)の画素行に含まれる画素フォトダイオード141から補正用信号が出力されるように、垂直走査回路143を介してスイッチ142Aをオフし、かつスイッチ142Bをオンさせる。
 図5(b)に、ライブビューモード時に補正用信号を取得するために間引いて読み出される画素が含まれる画素行を示す。この場合に補正用信号が読み出される画素が含まれる画素行を斜線領域で示す。すなわち、垂直走査回路143は、第1行~第166行を選択行として、スイッチ142Aをオフし、かつスイッチ142Bをオンする。なお、選択行を所定の画素行(たとえば3行)おきに設定してもよい。その結果、撮像素子14の第1列について合計166個の画素フォトダイオード141から補正用信号が読み出され、カラム処理回路144に入力される。カラム処理回路144は、全ての列、すなわち3000列分のそれぞれの補正用信号(FPN)をA/D変換回路16を介して、制御回路18へ出力する。
 制御回路18は、上述したようにして入力した3000列分の列ごとの補正用信号をそれぞれ平均してFPN補正値1を列毎に算出し、一時メモリ183に格納する。
 第1フレームの画像を取得する際には、制御回路18は、タイミングジェネレータ17に指示して、図5(a)に示すように、500行の画素行に含まれる画素フォトダイオード141から本画像用信号が出力されるように、垂直走査回路143を介してスイッチ142Aおよび142Bをオンさせる。すなわち、動画撮影時の場合と同様に、垂直走査回路143は、たとえば、第2行、第5行、・・・、第(3n-1)行(nは自然数:n≦500)を選択行として、スイッチ142Aおよび142Bを順次オンする。そして、動画撮影時の説明と同様にして、本画像用信号は、制御回路18の画像処理部181へ出力され、第1列の本画像用信号から第1列に対応するFPN補正値1が減算される。画像処理部181は、上記の減算を3000列分のそれぞれの本画像用信号に対して行って、FPN補正処理を施す。
 第2フレームの画像を取得する場合においても、制御回路18は、まず、撮像素子14の各列について合計166個の画素フォトダイオード141から補正用信号を読み出し、カラム処理回路144に入力させる。カラム処理回路144は、全ての列、すなわち3000列分のそれぞれの補正用信号をA/D変換回路16を介して、制御回路18へ出力する。
 制御回路18は、第1フレームの場合と同様にして、3000列分の列ごとの補正用信号をそれぞれ平均して、FPN補正値2を列毎に算出する。そして、画像処理部181は、一時メモリ183に格納されたFPN補正値1を読み出して、算出したFPN補正値2と読み出したFPN補正値1とを平均してFPN補正値2AVEを列毎に算出し、一時メモリ183に格納する。以後、第1フレームの場合と同様に、本画像用信号を読み出し、3000列分の本画像用信号に対して対応する列のFPN補正値2AVEを減算して、FPN補正を施す。
 ライブビューモードにより画像が取得されている間は、上述のようにして画像処理部181はFPN補正値を計算する。すなわち、第Nフレームの画像を取得する際には、1つ前の第(N-1)フレームの画像を取得した際に算出したFPN補正値(N-1)AVEが読み出されて、以下の式(1)を用いてFPN補正値NAVEが列毎に算出される。
FPN補正値NAVE={FPN補正値(N-1)AVE+FPN補正値N}/2 ・・・(1)
 画像処理部181は、算出したFPN補正値NAVEを本画像用信号から減算してFPN補正処理を施す。そして、画像処理部181は、FPN補正処理後の本画像用信号に対して上述した画像処理を施して画像データを生成し、制御回路18は画像データに対応する画像を液晶表示器191に表示する。なお、第Nフレームの補正用信号を読み出している間は、制御回路18は、第(N-1)フレームの画像を液晶表示器191に表示する。
--拡大率が変更されている場合--
 制御回路18は、ライブビューモード時において拡大率が変更されている場合は、撮像素子14を構成する全画素から出力される画素信号を本画像用信号として用い、本画像用の画像データを生成する。図6に示すように、制御回路18は、本画像用信号の読み出しに先立つ補正用信号の読み出しにおいて、たとえば1500/15行(100行)に間引いた画素行に含まれる画素フォトダイオード141から補正用信号を読み出す。制御回路18は、タイミングジェネレータ17に指示して、第1行~第100行の画素行に含まれる画素フォトダイオード141から補正用信号が出力されるように、垂直走査回路143を介してスイッチ142Aをオフし、かつスイッチ142Bをオンさせる。なお、選択行を所定の画素行(たとえば3行)おきに設定してもよい。
 補正用信号が読み出されると、画像処理部181は、上述した場合と同様にしてFPN補正値を算出して、一時メモリ183に格納する。そして、画像処理部181は、上述の場合と同様に、本画像用信号からFPN補正値を減算してFPNを補正する。
 次に、ライブビュー画像表示から静止画撮影に移行する場合と、ライブビュー画像表示から動画撮影に移行する場合について説明する。
-ライブビュー画像表示から静止画撮影への移行-
 上記のライブビューモードにおいて、第Nフレームの画像が取得された後に、制御回路18がレリーズスイッチの全押し操作による撮影指示信号を入力すると、制御回路18は、タイミングジェネレータ17に指令して全てのスイッチ142Aおよび142Bをオンさせる。そして、撮像素子14の全画素から出力される画素信号が本画像用信号として画像処理部181に入力される。画像処理部181は、一時メモリ183に格納したFPN補正値NAVEを読み出して、入力した本画像用信号から対応する列のFPN補正値NAVEを減算する。すなわち、画像処理部181は、撮影開始前に最後に取得したFPN補正値NAVEを用いて、入力した本画像用信号に対してFPN補正処理を施す。
-ライブビュー画像表示から動画撮影への移行-
 上記のライブビューモードにおいて、第Nフレームの画像が取得された後に、制御回路18がレリーズスイッチの全押し操作による撮影指示信号を入力すると、制御回路18は、第1フレームの動画像データを生成するための本画像用信号の取得を指令する。すなわち、制御回路18は、タイミングジェネレータ17に指令して、垂直方向に、たとえば2/3行(1000行)に間引いた画素行に含まれる画素フォトダイオード141から本画像用信号を読み出させる。読み出された本画像用信号は画像処理部181に入力される。
 画像処理部181は、一時メモリ183に格納したFPN補正値NAVEを読み出して、入力した第1フレームの本画像用信号から対応する列のFPN補正値NAVEを減算する。続いて、制御回路18は、第2フレームの本画像用信号の取得を指令する。第1フレームの場合と同様に、垂直方向に2/3に間引かれた画素行に含まれる画素フォトダイオード141から画素信号が本画像用信号として読み出され、画像処理部181に入力される。画像処理部181は、一時メモリ183に格納したFPN補正値NAVEを読み出して、入力した第2フレームの本画像用信号から対応する列のFPN補正値NAVEを減算する。以後、画像処理部181は、動画撮影開始前に最後に取得されたFPN補正値NAVEを用いて、動画撮影時に取得された第Mフレームの本画像用信号に対してFPN補正処理を施す。
 上述したようにして動画撮影が行われている時に、撮像感度が変更された場合について、図7の動画撮影時のタイムチャートを参照して説明する。なお、図7においては、斜線で示す領域は補正用信号の取得に要する時間を示す。第1フレーム~第Mフレームのそれぞれの本画像用信号に関しては、上述したようにしてライブビューモードで最後に取得されたFPN補正値NAVEによりFPN補正処理が施される。図7は、動画撮影中の第Mフレームの本画像用信号が取得された後に、操作部30の感度設定スイッチが操作されて撮像感度が変更された場合を示す。この時、画像処理部181は、第(M+1)フレームの本画像用信号については、ライブビューモードで最後に取得したFPN補正値NAVEを用いてFPN補正処理を施す。そして、制御回路18は、第(M+1)フレームの本画像用信号を取得した後、補正用信号の取得を指令する。
 制御回路18は、補正用信号を取得するために、たとえば500/6行(83行)に間引いた画素行に含まれる画素フォトダイオード141から画素信号を読み出す。制御回路18は、タイミングジェネレータ17に指示して、第1行~第83行の画素行に含まれる画素フォトダイオード141から補正用信号が出力されるように、垂直走査回路143を介してスイッチ142Aをオフし、かつスイッチ142Bをオンさせる。なお、選択行を所定の画素行(たとえば3行)おきに設定してもよい。補正用信号が読み出されると、画像処理部181は、上述した場合と同様にしてFPN補正値(M+2)を算出して、一時メモリ183に格納する。
 制御回路18は、補正用信号を取得した後、第1~第(M+1)フレームの場合と同様にして、第(M+2)フレームの本画像用信号を取得する。そして、画像処理部181は、上述の場合と同様に、第(M+2)フレームの本画像用信号からFPN補正値(M+2)を減算してFPNを補正する。撮像感度の変更操作が行われない限り、画像処理部181は、第(M+3)フレーム以降の本画像用信号に対しても、FPN補正値(M+2)を用いてFPN補正処理を施す。
 以上で説明した第1の実施の形態のカメラによれば、以下の作用効果が得られる。
(1)ライブビューモードから動画撮影に移行した場合、画像処理部181は、ライブビューモードにおいて取得したFPN補正値NAVEを用いて、動画像データを生成するための本画像用信号に対してFPN補正処理を施すようにした。したがって、動画撮影時に、フレームごとに、FPN補正値を算出するために新たに補正用信号を取得する必要がないので、動画撮影時におけるフレームレートの低下を防ぐことができる。
(2)ライブビューモードから動画撮影に移行した場合、画像処理部181は、ライブビューモードにおいて最後に取得したFPN補正値NAVEと同一のFPN補正値NAVEを用いて、本画像用信号に対してFPN補正処理を施すようにした。このFPN補正値NAVEは、ライブビューモード時において、第Nフレームの補正用信号から算出したFPN補正値Nと、1フレーム前(第(N-1)フレーム)の補正用信号から算出したFPN補正値(N-1)AVEとを平均して算出したものである。したがって、FPN補正値NAVEには、温度などの要因によるカラム処理回路144を構成する内部回路の特性の変動が加味されているので、精度良くFPN補正を施して高画質の動画像を得ることができる。
(3)動画撮影中に撮像素子14の撮像感度が変更された場合は、制御回路18は、新たに補正用信号の取得を指示し、画像処理部181は、新たに取得した補正用信号に基づいてFPN補正値を算出して、本画像用信号に対してFPN補正を施すようにした。一般的に、撮像感度が、たとえば2倍に変更されると、画素ごとのFPNも2倍になる。したがって、FPN補正値を撮像感度の変更に応じて変化させることができるので、精度良くFPN補正が施された高画質の動画像を取得できる。
(4)撮像素子14の撮像感度の変更に応じて算出したFPN補正値と同一のFPN補正値を用いて、画像処理部181は、次回に撮像感度が変更されるまでは、以後のフレームで取得された動画像データを生成するための本画像用信号に対してFPN補正処理を施すようにした。したがって、動画撮影時に、フレームごとに、FPN補正値を算出するために新たに補正用信号を取得する必要がないので、動画撮影時におけるフレームレートの低下を防ぐことができる。
-第2の実施の形態-
 図8、図9を参照して、本発明の第2の実施の形態によるカメラについて説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。また、図9においても、第1の実施の形態における説明と同様に、図の水平方向を画素行方向、垂直方向を画素列方向として説明する。本実施の形態では、ライブビュー画像表示中においてバッテリの残容量が所定値以下になると、補正用信号の読み出しを禁止し、既に用いられているFPN補正値NAVEを用いて本画像用信号に対してFPN補正を施す点で、第1の実施の形態と異なる。
 図8に示すように、電子カメラ1は、各部に電力を供給するためのバッテリ40およびバッテリ電圧検出回路41を備えている。バッテリ電圧検出回路41は、バッテリ40が有する電力残容量を常時計測する。計測結果である残容量信号は、図示しないA/D変換回路を介して制御回路18へ出力される。制御回路18は、入力した残容量信号に基づいて、バッテリ40の残容量と予め設定された閾値(たとえば全容量の50パーセント)とを比較する。制御回路18は、ライブビューモード時において、バッテリ40の残容量が閾値以上であることを検出した場合は、第1の実施の形態と同様に、本画像用信号および補正用信号を読み出すための画素が含まれる画素行を選択行として決定する。すなわち、制御回路18は、本画像用信号を撮像素子14の全画素のうち垂直方向に1/3(500行)に間引いた画素行に含まれる画素フォトダイオード141から読み出す。さらに、制御回路18は、撮像素子14の全画素のうち、500/3行(166行)に間引いた画素行を選択行として決定し、選択行に含まれる画素フォトダイオード141から補正用信号を読み出す。以後、画像処理部181は、第1の実施の形態と同様にして、FPN補正値を算出し、本画像用信号に対してFPNの補正処理を施す。
 第Nフレームの画像を取得した後、制御回路18がバッテリ40の残容量が閾値である全容量の50パーセント未満であることを検出すると、第(N+1)フレーム以後の補正用信号の取得を禁止して、既に使用しているFPN補正値NAVEを用いて第(N+1)フレーム以降のFPN補正処理を施す。すなわち、制御回路18は、タイミングジェネレータ17に指令して、本画像用信号のみを読み出させる。図9のタイムチャートに示すように、画像処理部181は、第(N+1)フレーム以後の本画像用信号に対しては、一時メモリ183に格納したFPN補正値NAVEを読み出して、入力した第(N+1)フレーム以降の本画像用信号から対応する列のFPN補正値NAVEを減算する。
 バッテリ40の残容量が閾値未満の時に撮像感度が変更された場合について説明する。図9は、第Mフレームの本画像用信号が取得された後に、操作部30の感度設定スイッチが操作されて撮像感度が変更された場合を示す。この時、画像処理部181は、第(M+1)フレームの本画像用信号に対しては、一時メモリ183に格納されたFPN補正値NAVEを用いてFPN補正処理を施す。そして、制御回路18は、第(M+1)フレームの本画像用信号を取得した後、タイミングジェネレータ17に指令して、補正用信号を読み出させる。すなわち、制御回路18は、補正用信号の読み出しの禁止を一旦解除する。
 制御回路18は、補正用信号を取得するために、上述したように500/3行(166行)に間引いた画素行に含まれる画素フォトダイオード141から画素信号を読み出す。補正用信号が読み出されると、画像処理部181は、上述した場合と同様にしてFPN補正値(M+2)を算出して、一時メモリ183に格納する。制御回路18は、補正用信号を取得した後、第(M+2)フレームの本画像用信号を取得する。そして、画像処理部181は、上述の場合と同様に、第(M+2)フレームの本画像用信号からFPN補正値(M+2)を減算してFPNを補正する。撮像感度の変更操作が行われない限り、画像処理部181は、第(M+3)フレーム以降の本画像用信号に対しても、FPN補正値(M+2)を用いてFPN補正処理を施す。
 なお、ライブビューモードが設定された時点で、制御回路18がバッテリ40の残容量が閾値である全容量の50パーセント未満であることを検出すると、第1フレームに対するFPN補正値1を算出し、第2フレーム以降の本画像用信号に対しても、FPN補正値1を用いてFPN補正処理を施すものとする。
 以上で説明した第2の実施の形態の電子カメラ1によれば、以下の作用効果が得られる。
(1)制御回路18は、ライブビューモードが設定されている時に、バッテリ40の残容量が閾値未満であることを検出すると、FPN補正値を算出するために使用する補正用信号の取得を禁止するようにした。すなわち、制御回路18は、既に使用しているFPN補正値を用いてFPN補正処理を施すようにした。したがって、バッテリ40の残容量が減少した場合には、撮像素子14の駆動時間を減少させることができるので、省電力化に寄与する。
(2)補正用信号の取得が禁止された後、画像処理部181は、補正用信号が取得される前に算出したFPN補正値NAVEと同一のFPN補正値NAVEを用いて、本画像用信号に対してFPN補正処理を施すようにした。このFPN補正値NAVEは、ライブビューモード時において、第Nフレームの補正用信号から算出したFPN補正値Nと、1フレーム前(第(N-1)フレーム)の補正用信号から算出したFPN補正値(N-1)AVEとを平均して算出したものである。したがって、FPN補正値NAVEには、温度などの要因によるカラム処理回路144を構成する内部回路の特性の変動が加味されているので、精度良くFPN補正を施して高画質の画像を得ることができる。
(3)ライブビューモードにより画像を表示中に撮像素子14の撮像感度が変更された場合は、制御回路18は、補正用信号の読み出し禁止を一旦解除して、新たに補正用信号の取得を指示する。そして、画像処理部181は、新たに取得した補正用信号に基づいてFPN補正値を算出して、本画像用信号に対してFPN補正を施すようにした。一般的に、撮像感度が、たとえば2倍に変更されると、画素ごとのFPNも2倍になる。したがって、FPN補正値を撮像感度の変更に応じて変化させることができるので、精度良くFPN補正が施された高画質の画像を取得して、表示できる。
(4)撮像素子14の撮像感度の変更に応じて算出したFPN補正値と同一のFPN補正値を用いて、画像処理部181は、次回に撮像感度が変更されるまでは、以後のフレームで取得された本画像用信号に対してFPN補正処理を施すようにした。したがって、ライブビューモード時に、フレームごとに、FPN補正値を算出するために新たに補正用信号を取得する必要がないので、バッテリ40の電力消費を抑制できる。
-第3の実施の形態-
 図10を参照して、本発明の第3の実施の形態によるカメラについて説明する。以下の説明では、第1または第2の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1または第2の実施の形態と同じである。また、図11においても、第1および第2の実施の形態における説明と同様に、図の水平方向を画素行方向、垂直方向を画素列方向として説明する。本実施の形態では、ライブビュー画像表示中に撮像素子14近傍の温度が所定値以上になると補正用信号の読み出しを禁止し、既に用いられているFPN補正値NAVEを用いて本画像用信号に対してFPN補正を施す点で、第1および第2の実施の形態と異なる。
 図10に示すように、電子カメラ1は温度センサ42を備えている。温度センサ42は、撮像素子14周辺の温度を常時測定し、測定結果である温度信号を図示しないA/D変換回路を介して制御回路18へ出力する。制御回路18は、入力した温度信号に基づいて、温度センサ42で計測された撮像素子14近傍の温度と予め設定された閾値(たとえば45℃)とを比較する。なお、閾値は撮像素子14の定格に依存して決定される値である。また、撮像素子14近傍の温度が所定値以上のときにライブビューモードを終了する機能を有するカメラの場合には、閾値は上記の所定値よりも低い値に設定されるものとする。
 制御回路18は、ライブビューモード時において、温度センサ42で計測された撮像素子14近傍の温度が閾値(45℃)未満であることを検出した場合は、本画像用信号および補正用信号の選択行を決定する。すなわち、制御回路18は、本画像用信号を撮像素子14の全画素のうち垂直方向に1/3(500行)に間引いた画素行に含まれる画素フォトダイオード141から読み出す。また、制御回路18は、撮像素子14の全画素のうち、500/3行(166行)に間引いた画素行を選択行として決定し、選択行に含まれる画素フォトダイオード141から補正用信号を読み出す。以後、画像処理部181は、第1の実施の形態と同様にして、FPN補正値を算出し、本画像用信号に対してFPNの補正処理を施す。
 制御回路18は、ライブビューモード時において、第Nフレームの本画像用信号が取得された後、温度センサ42で計測された撮像素子14近傍の温度が閾値(45℃)以上であることを検出した場合は、第(N+1)フレーム以後の補正用信号の取得を禁止して、既に使用しているFPN補正値NAVEを用いてFPN補正処理を施す。すなわち、制御回路18は、タイミングジェネレータ17に指令して、本画像用信号のみを読み出させる。そして、画像処理部181は、第(N+1)フレーム以降の本画像用信号に対して、一時メモリ183に格納されたFPN補正値NAVEを用いてFPN補正処理を施す。なお、撮像感度が変更された場合については、第2の実施の形態において説明したように、制御回路18は、補正用信号の読み出しの禁止を一旦解除する。
 なお、ライブビューモードが設定された時点で、制御回路18が撮像素子14近傍の温度が閾値(45℃)以上であることを検出すると、第1フレームに対するFPN補正値1を算出し、第2フレーム以降の本画像用信号に対しても、FPN補正値1を用いてFPN補正処理を施すものとする。
 以上で説明した第3の実施の形態の電子カメラ1によれば、第2の実施の形態により得られた(2)~(4)の作用効果に加えて、以下の作用効果が得られる。
(1)制御回路18は、ライブビューモードが設定されている時に、温度センサ42で検出した撮像素子14近傍の温度が閾値以上である場合には、FPN補正値を算出するために使用する補正用信号の取得を禁止するようにした。すなわち、制御回路18は、既に使用しているFPN補正値を用いてFPN補正処理を施すようにした。したがって、撮像素子14の駆動時間を減少させて温度上昇を防ぎ、ライブビューモードで表示される画像に暗電流等によるノイズが発生することを抑えるので、表示される画像の画質の劣化を防ぐことができる。
 以上で説明した実施の形態によるカメラを、以下のように変形できる。
(1)ライブビューモードにおいて、拡大率が変更された場合、選択行を変更するものに代えて、画像上で拡大された位置に対応する位置に配置された画素フォトダイオード141を用いて、本画像用信号および補正用信号を読み出すようにしてもよい。図11に、この場合に本画像用信号および補正用信号が読み出される画素の一例を示す。制御回路18は、図11(a)の斜線部に示すように、500×1000画素の画素信号を本画像用信号として読み出す。さらに、制御回路18は、図11(b)の斜線部に示すように、500/15行(33行)を選択行として、33×1000画素の画素信号を補正用信号として読み出す。
(2)電子カメラ1がバッテリ40および温度センサ42を備える場合は、制御回路18は、温度センサ42で検出した撮像素子14近傍の温度が閾値以上の時、もしくはバッテリ40の残容量が閾値未満の時のいずれかの場合に補正用信号の取得を禁止するようにしてもよい。
(3)電子カメラ1は、撮影レンズ交換可能なものに代えて、撮影レンズ固定式のカメラであってもよい。
(4)上述の第2の実施形態では、ライブビュー中に電池残量が少なくなったときに、ライブビュー中に得たFPN補正データを以降のFPN補正に流用することについて述べた。しかし、撮像素子が画素信号を連続的に出力している状態(連続撮像状態)であれば、ライブビュー中に限らず上記第2の実施形態の手法を適用することができる。連続的に撮像動作を繰り返す連続撮像状態として、例えば静止画の撮影を連続的に繰り返す連続撮影動作(いわゆる連写)がある。このような連写中にも上記第2の実施形態で述べた手法を適用できる。一例として、スチル画像(静止画)を15フレーム連写している最中について説明する。この場合、たとえば9フレーム目までの連写を終えた時点でバッテリ残量が所定の基準残量を下回ったら、10フレーム目以降(10~15フレーム)におけるFPN補正データは、9フレーム撮影時に得たFPN補正データを流用するようにする。
上記と同様のことは、上述の第3の実施形態、即ち、スチル画像の連写中に撮像素子の温度が上がった場合についても適用できる。この場合、所定の基準温度を超えた以降の連写フレームのFPN補正データについては、その基準温度を超える直前に完了された撮影時に得られたFPN補正データを、以降の連写時の各フレームにおけるFPN補正データとして流用するようにする。
上記と同様に、上述の第1の実施形態についても、スチル連写中に動画記録開始操作がなされた場合には、スチル連写時の最後のフレームにおいて取得されたFPN補正データを動画撮影時のFPN補正データに流用するようにすれば良い。
 また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
 日本国特許出願2008年第174737号(2008年7月3日出願)

Claims (8)

  1.  行列状に配置された複数の画素を有し、被写体像を撮像して画素信号を出力する撮像素子と、
     前記撮像素子が前記画像信号を連続的に出力している連続撮影状態には、前記撮像素子から読み出された前記画素信号毎に画素列ごとの誤差を補正するための補正値を算出する算出部と、
     前記連続撮影状態時には、前記算出された前記補正値を用いて前記画素信号に対して補正を施す補正部とを備え、
     前記連続撮影状態時に、所定条件が変化したときには、前記補正部は、既に用いられた前記補正値を用いて、前記画素信号に対して補正を施す撮像装置。
  2.  請求項1に記載の撮像装置において、
     前記所定条件が変化した後に、前記補正部は、前記連続撮影状態時に既に用いた補正値のうち最後の補正値を用いて、前記撮像素子から出力された前記画素信号に対して補正を施す撮像装置。
  3.  請求項1または2に記載の撮像装置において、
     バッテリの残容量が所定の閾値未満に変化したことを検出する容量検出部をさらに備え、
     前記所定条件の変化とは、前記容量検出部が検出した前記バッテリの残容量の前記所定の閾値未満への変化である撮像装置。
  4.  請求項1または2に記載の撮像装置において、
     前記撮像素子近傍の温度が所定の閾値以上に変化したことを検出する温度検出部をさらに備え、
     前記所定条件の変化とは、前記温度検出部が検出した前記温度の前記所定の閾値以上への変化である撮像装置。
  5.  請求項1乃至4のいずれか一項に記載の撮像装置において、
     撮影開始を指示する撮影指示信号を出力し、前記撮影指示信号に応じて、前記撮像素子から出力された前記画素信号に対応する画像データを静止画として順次記録媒体に記録させる第1指示部材をさらに備え、
     前記連続撮影状態は、前記撮影指示信号を入力している間中、前記静止画の撮影と前記画像データの記録媒体への記録とを連続的に繰り返す連写モードでの動作状態を含む撮像装置。
  6.  請求項1乃至4のいずれか一項に記載の撮像装置において、
     前記撮像素子から出力された前記画素信号に対応する画像を表示する表示器をさらに備え、
     前記連続撮影状態は、前記画像信号に対応する画像データの記録媒体へ記録を伴わずに、前記画像を前記表示器に表示するライブビューモードでの動作状態を含む撮像装置。
  7.  請求項6に記載の撮像装置において、
     前記撮像素子から連続的に出力された前記画素信号に対応する画像データを動画として前記記録媒体へ記録する動画撮影モードの開始を指示する第2指示部材をさらに備え、
     前記所定条件の変化とは、前記第2指示部材による前記連続撮影状態から前記動画撮影モードへの切り換えである撮像装置。
  8.  請求項6または7に記載の撮像装置において、
     前記撮像素子の撮像感度を設定する感度設定部材をさらに備え、
     前記補正部が既に用いられた前記補正値を用いて前記画素信号に対して補正を施している時に、前記撮像感度が変更された場合、前記算出部は、前記画素信号に対して画素列ごとの誤差を補正するための新たな補正値を算出し、
     前記補正部は、前記既に用いられた補正値に代えて前記新たな補正値を用いて前記画素信号に対して補正を施す撮像装置。
PCT/JP2009/061225 2008-07-03 2009-06-19 撮像装置 WO2010001741A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010518992A JP5365633B2 (ja) 2008-07-03 2009-06-19 撮像装置
US12/980,879 US8953068B2 (en) 2008-07-03 2010-12-29 Imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008174737 2008-07-03
JP2008-174737 2008-07-03

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/980,879 Continuation US8953068B2 (en) 2008-07-03 2010-12-29 Imaging device

Publications (1)

Publication Number Publication Date
WO2010001741A1 true WO2010001741A1 (ja) 2010-01-07

Family

ID=41465841

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/061225 WO2010001741A1 (ja) 2008-07-03 2009-06-19 撮像装置

Country Status (3)

Country Link
US (1) US8953068B2 (ja)
JP (1) JP5365633B2 (ja)
WO (1) WO2010001741A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101889932B1 (ko) * 2012-07-25 2018-09-28 삼성전자주식회사 촬영 장치 및 이에 적용되는 촬영 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0654262A (ja) * 1992-07-28 1994-02-25 Olympus Optical Co Ltd 高速度ビデオカメラにおける固定パターンノイズ抑圧方式
JP2000152097A (ja) * 1998-11-10 2000-05-30 Olympus Optical Co Ltd 電子カメラ
JP2003244513A (ja) * 2002-02-20 2003-08-29 Canon Inc 画像処理装置、補正処理方法、及びプログラム
JP2005051697A (ja) * 2003-07-31 2005-02-24 Canon Inc 撮像装置
JP2007096607A (ja) * 2005-09-28 2007-04-12 Sanyo Electric Co Ltd 画像処理装置
JP2008028757A (ja) * 2006-07-21 2008-02-07 Nikon Corp 固体撮像装置、及びカメラ
JP2008092282A (ja) * 2006-10-02 2008-04-17 Nikon Corp 撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4030605B2 (ja) * 1995-11-10 2008-01-09 オリンパス株式会社 電子的撮像装置
JPH10126697A (ja) 1996-10-17 1998-05-15 Sony Corp 固体撮像素子およびその信号処理方法並びにカメラ
JPH11261952A (ja) * 1998-03-12 1999-09-24 Nikon Corp 連写機能を有する電子カメラ
US7023479B2 (en) * 2000-05-16 2006-04-04 Canon Kabushiki Kaisha Image input apparatus having addition and subtraction processing
US7317481B2 (en) 2002-02-20 2008-01-08 Canon Kabushiki Kaisha Image data correction processing based on sensitivity
US7782377B2 (en) * 2003-02-26 2010-08-24 Canon Kabushiki Kaisha Image sensing apparatus, control method therefor, storage medium, and program to create correction data
JP4039386B2 (ja) * 2004-04-21 2008-01-30 コニカミノルタオプト株式会社 撮像センサ及び撮像装置
US8203629B2 (en) * 2006-10-26 2012-06-19 Canon Kabushiki Kaisha Image sensing apparatus and correction method
US8665350B2 (en) * 2008-05-08 2014-03-04 Altasens, Inc. Method for fixed pattern noise (FPN) correction
JP2012090051A (ja) * 2010-10-19 2012-05-10 Sony Corp 撮像装置及び撮像方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0654262A (ja) * 1992-07-28 1994-02-25 Olympus Optical Co Ltd 高速度ビデオカメラにおける固定パターンノイズ抑圧方式
JP2000152097A (ja) * 1998-11-10 2000-05-30 Olympus Optical Co Ltd 電子カメラ
JP2003244513A (ja) * 2002-02-20 2003-08-29 Canon Inc 画像処理装置、補正処理方法、及びプログラム
JP2005051697A (ja) * 2003-07-31 2005-02-24 Canon Inc 撮像装置
JP2007096607A (ja) * 2005-09-28 2007-04-12 Sanyo Electric Co Ltd 画像処理装置
JP2008028757A (ja) * 2006-07-21 2008-02-07 Nikon Corp 固体撮像装置、及びカメラ
JP2008092282A (ja) * 2006-10-02 2008-04-17 Nikon Corp 撮像装置

Also Published As

Publication number Publication date
JP5365633B2 (ja) 2013-12-11
JPWO2010001741A1 (ja) 2011-12-15
US8953068B2 (en) 2015-02-10
US20110234862A1 (en) 2011-09-29

Similar Documents

Publication Publication Date Title
JP6278713B2 (ja) 撮像装置および撮像方法
US10136079B2 (en) Method and apparatus for imaging an object
JP2009225072A (ja) 撮像装置
JP5343588B2 (ja) 撮像装置
JP2011087050A (ja) デジタルカメラ
JP2010016630A (ja) 撮像装置
JP4637029B2 (ja) 撮像装置及びその制御方法
US8081229B2 (en) Imaging apparatus
JP6277675B2 (ja) 撮像装置および撮像方法
JP2009017427A (ja) 撮像装置
JP5277752B2 (ja) 撮像装置
JP5365633B2 (ja) 撮像装置
JP2007282134A (ja) 撮像装置
JP6229436B2 (ja) 撮像装置および撮像方法
JP2007129328A (ja) 撮像装置
JP2001211388A (ja) 画像信号処理装置
JP5408029B2 (ja) デジタルカメラ
JP4538742B2 (ja) 撮像装置の信号処理方法及び撮像装置
JP2010016629A (ja) 撮像装置
JP5397313B2 (ja) デジタルカメラ
JP2010016631A (ja) 撮像装置
JP2007025129A (ja) 露出設定方法及び装置
JP5476725B2 (ja) 電子カメラ
JP2006165937A (ja) 撮像装置
JP2005176173A (ja) 固体撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09773319

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010518992

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09773319

Country of ref document: EP

Kind code of ref document: A1