WO2006013945A1 - 撮像装置、撮像方法および撮像制御プログラム - Google Patents

撮像装置、撮像方法および撮像制御プログラム Download PDF

Info

Publication number
WO2006013945A1
WO2006013945A1 PCT/JP2005/014341 JP2005014341W WO2006013945A1 WO 2006013945 A1 WO2006013945 A1 WO 2006013945A1 JP 2005014341 W JP2005014341 W JP 2005014341W WO 2006013945 A1 WO2006013945 A1 WO 2006013945A1
Authority
WO
WIPO (PCT)
Prior art keywords
light emission
preliminary light
image
flash
pixel
Prior art date
Application number
PCT/JP2005/014341
Other languages
English (en)
French (fr)
Inventor
Kazato Tanaka
Takuya Chiba
Naoki Hayashi
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP05768887A priority Critical patent/EP1775940A4/en
Priority to US11/659,234 priority patent/US7834931B2/en
Publication of WO2006013945A1 publication Critical patent/WO2006013945A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Definitions

  • Imaging apparatus imaging method, and imaging control program
  • the present invention relates to an imaging apparatus, an imaging method, and an imaging control program for imaging an image using a solid-state imaging device that can randomly access pixel signals of each pixel, and in particular, imaging using a flash is possible
  • the present invention relates to an imaging device, an imaging method, and an imaging control program.
  • a flash is emitted to compensate for the amount of light.
  • some imaging devices that use a solid-state imaging device to capture an image in advance Some of them had a function to obtain an appropriate amount of light emission at the time of main light emission by performing preliminary light emission of the flash to detect and analyze the reflected light of the subject power.
  • CMOS Complementary Metal Oxide Semiconductor
  • the present invention has been made in view of the above points, and in flash photography, the exposure time during preliminary light emission is shortened as much as possible so that the appropriate light quantity during main light emission is increased by the magnitude of external light. It is an object of the present invention to provide an imaging device that can calculate with high accuracy regardless of the size.
  • Another object of the present invention is to shorten the exposure time during preliminary light emission as much as possible during flash photography so that an appropriate amount of light during main light emission is increased regardless of the size of external light. It is to provide an imaging method that can be calculated accurately.
  • Another object of the present invention is to shorten the exposure time at the time of preliminary light emission as much as possible during flash photography so that an appropriate amount of light at the time of main light emission is increased regardless of the size of external light. It is to provide an imaging control program that can be calculated accurately.
  • an imaging apparatus that captures an image using a solid-state imaging device capable of random access to the pixel signal of each pixel, a flash that irradiates a subject with light, Detection means for detecting the brightness of a captured image from a captured image signal by the solid-state image sensor, and preliminary flash emission of the flash before the main flash operation of the flash, and the solid-state imaging of the image at the preliminary emission
  • the brightness of the picked-up image is detected by the detecting means based on the picked-up image signal at the time of preliminary light emission, and the flash is used for the main light emission based on the detected brightness at the time of preliminary light emission.
  • Control means for calculating the amount of light and the control means starts the exposure operation of all the pixels of the solid-state image sensor simultaneously during the preliminary light emission operation, and then There is provided an imaging apparatus characterized in that pixel signals are intermittently read out at predetermined pixel intervals and supplied to the detection means.
  • flash pre-light emission is performed to capture an image, and based on the brightness detection result of the image, the flash main light emission is performed.
  • the amount of light is calculated.
  • the exposure operation of all the pixels of the solid-state image sensor is started at the same time, and then the pixel signal of each pixel is intermittently read out at a predetermined pixel interval. All areas are affected by preliminary light emission, and the exposure time of the solid-state imaging device during preliminary light emission is shortened, so that the amount of detection of external light components is reduced.
  • the main light emission of the flash is performed.
  • Preliminary light emission of the flash is performed before operation, and the solid-state imaging device picks up an image at the time of preliminary light emission, and a detection means detects the brightness of the image captured at the time of preliminary light emission.
  • the step is characterized in that the pixel signals of each pixel are intermittently read out at predetermined pixel intervals after simultaneously starting the exposure operation of all the pixels of the solid-state imaging device.
  • Image method is provided.
  • the flash preliminary light emission is performed before the flash main light emission, and an image is picked up. Based on the detection result of the brightness of the image, the amount of light at the flash main light emission is Calculated.
  • the exposure operation of all the pixels of the solid-state image sensor is started at the same time, and then the pixel signal of each pixel is intermittently read out at a predetermined pixel interval.
  • the exposure time of the solid-state imaging device during preliminary light emission is shortened, and the amount of detection of external light components is reduced.
  • FIG. 1 is a diagram showing a main configuration of an imaging apparatus according to an embodiment.
  • FIG. 2 is a schematic configuration diagram of a CCD image sensor.
  • FIG. 3 is a schematic configuration diagram of a CMOS image sensor.
  • FIG. 4 is a time chart showing the operation of the CCD image sensor.
  • FIG. 5 is a time chart showing the operation of the CMOS image sensor.
  • FIG. 6 is a diagram showing a basic control flow of flash photography.
  • FIG. 7 is a diagram illustrating an example of a captured image.
  • FIG. 8 is a diagram illustrating a calculation example of a differential detection value when there is no external light.
  • FIG. 9 is a diagram illustrating an example of calculation of a differential detection value when there is external light.
  • FIG. 10 is a diagram showing an example of a flash photographing sequence of a conventional CCD image sensor.
  • FIG. 11 is a diagram showing an example of a flash photographing sequence of a conventional CMOS image sensor.
  • FIG. 12 is a diagram for explaining an image at the time of preliminary light emission obtained by a conventional CMOS image sensor.
  • FIG. 13 is a diagram showing another example of a flash photographing sequence of a conventional CMOS image sensor.
  • FIG. 14 is a diagram for explaining an image at the time of preliminary light emission obtained when the flash shooting sequence of FIG. 13 is applied.
  • FIG. 15 is a graph showing an example of detection of detection values before preliminary light emission when the flash photographing sequence of FIG. 13 is applied.
  • FIG. 16 is a diagram showing a calculation example of a differential detection value when a pixel signal at the bottom of the screen is clipped.
  • FIG. 17 is a diagram illustrating an example of a method for intermittently reading out pixel signals during pre-light emission exposure and pre-light emission exposure according to the present embodiment.
  • FIG. 18 is a diagram showing an example of a flash photographing sequence of the CMOS image sensor of the present embodiment.
  • FIG. 19 is a diagram showing a calculation example of a differential detection value in the present embodiment.
  • FIG. 20 is a diagram showing another example of a method for intermittently reading out pixel signals during preliminary light emission exposure and preliminary light emission exposure in the present embodiment.
  • FIG. 21 is a diagram for explaining the relationship between the focal length and the angle of view.
  • FIG. 22 is a diagram for explaining the relationship between the focal length and the pixel thinning amount.
  • FIG. 1 is a diagram illustrating a main configuration of an imaging apparatus according to an embodiment.
  • the imaging apparatus shown in FIG. 1 is realized as a digital still camera or a digital video camera capable of capturing a still image, for example.
  • This imaging device includes a lens 11, an aperture 12, an imaging device 13, an AGC (Auto Gain Control) circuit 14, an AZD conversion circuit 15, a camera signal processing circuit 16, a detection circuit 17, a system control unit 18, a memory 19, and a driver. 20, a flash 21, a driver 22, and a memory 23.
  • the lens 11 focuses the reflected light incident from the subject on the light receiving surface of the image sensor 13.
  • the aperture 12 allows the input light amount obtained through the lens 11 to be appropriate for the sensitivity of the image sensor 13.
  • the caliber is changed.
  • the aperture 12 has a function of a shirt.
  • the imaging element 13 photoelectrically converts light incident through the lens 11 to a plurality of pixels in which, for example, R, G, and B color filters are arranged into an analog image signal (charge).
  • the imaging element 13 is configured by an XY address type image sensor, for example, a CMOS image sensor, so that the exposure operation and the readout operation of each of the plurality of pixels are performed at different timings.
  • the AGC circuit 14 amplifies the image signal generated by the image sensor 13.
  • the AZD conversion circuit 15 converts the analog image signal amplified by the AGC circuit 14 into a digital image signal.
  • the camera signal processing circuit 16 performs various signal processing on the digital image signal converted by the AZD conversion circuit 15, and includes, for example, a white balance circuit (not shown), a Y-C separation circuit, a filter circuit, and an aperture. 'The controller, gamma correction circuit, etc. will also be useful.
  • the output image signal from the camera signal processing circuit 16 is, for example, a display system for displaying a captured image on a monitor, and a memory card or the like by encoding the image signal into a predetermined data format.
  • the detection circuit 17 detects the brightness and color distribution in the imaging screen based on the image signal processed by the camera signal processing circuit 16. As the detection value indicating the brightness, for example, the integrated value of the luminance signal of each pixel in the screen is used.
  • the system control unit 18 is constituted by, for example, a microcomputer, and based on the brightness and color distribution detected by the detection circuit 17, the image signal processed by the camera signal processing circuit 16, and the like, It controls the various parts of the system.
  • the system control unit 18 includes, for example, an exposure timing control signal that controls the exposure operation and readout operation of each pixel of the image sensor 13, a gain control signal that controls the gain of the AGC circuit 14, the focus of the lens 11 and the aperture 12. It calculates and outputs an optical block control signal for controlling the aperture via the driver 22 and a flash control signal for controlling the light emission operation of the flash 21 via the driver 20.
  • the memory 19 stores control data calculated by the system control unit 18.
  • the driver 20 drives the flash 21 in accordance with the flash control signal calculated by the system control unit 18 during flash photography.
  • the flash 21 emits light according to the drive signal from the driver 20.
  • the driver 22 drives the lens 11 and the diaphragm 12 according to the lens control signal calculated by the system control unit 18.
  • the memory 23 temporarily stores the image signal processed by the camera signal processing circuit 16 or being processed.
  • image signals received and photoelectrically converted by the imaging device 13 are sequentially supplied to the AGC circuit 14.
  • This image signal is amplified by the AGC circuit 14 as necessary, further converted into a digital signal by the AZD conversion circuit 15, and then subjected to various image quality correction processes by the camera signal processing circuit 16.
  • the processed image signal is output to a display system (not shown), whereby the camera-through image is displayed on the monitor, and the user can adjust the angle of view by looking at the monitor.
  • the system control unit 18 In this state, when a user presses a shirt release button (not shown), the system control unit 18 outputs a control signal to the driver 22 and the image sensor 13 to operate the shirt. As a result, the image sensor 13 outputs an image signal for one frame. At this time, the system control unit 18 sends control signals to the lens 11, the diaphragm 12, the imaging device 13, and the AGC circuit 14 according to various processing results in the camera signal processing circuit 16 and detection results in the detection circuit 17. Output and control the focus, exposure time, and exposure amount to be appropriate [0021]
  • the camera signal processing circuit 16 performs image quality correction processing or the like on the image signal for one frame supplied from the image sensor 13 via the AGC circuit 14 and the AZD conversion circuit 15, and illustrates the processed image signal. Output to the recording system. As a result, the image signal for one frame is encoded to generate a still image data file, which is recorded on a recording medium such as a memory card.
  • this imaging apparatus can cause the flash 21 to emit light during imaging, for example, in response to a user operation, or automatically based on a determination based on the detection result of the detection circuit 17.
  • the system controller 18 controls to perform preliminary light emission immediately before the main light emission of the flash 21, and detect the light by the detection circuit 17 based on the captured image signal at the time of preliminary light emission.
  • the light emission amount of the flash 21 during the main light emission is controlled so that an appropriate captured image can be obtained based on the detection result.
  • an image sensor 13 that can randomly access each pixel of the photoelectric conversion element is used.
  • this embodiment will be described using a CMOS image sensor as such an image sensor 13 and, if necessary, comparing with a CCD image sensor in which conventional power is generally used. .
  • FIG. 2 is a schematic configuration diagram of a CCD image sensor.
  • FIG. 3 is a schematic configuration diagram of a CMOS image sensor used in the present embodiment.
  • the CCD image sensor includes a plurality of light receiving units 31 arranged in a two-dimensional matrix, a number of V transfer registers 32 equal to the number of columns of the plurality of light receiving units 31, and H Transfer register 33 is provided.
  • Each light receiving unit 31 photoelectrically converts incident light to an analog image signal (charge) to generate a pixel signal of each pixel.
  • the plurality of V transfer registers 32 transfer the pixel signal of each pixel subjected to photoelectric conversion for each pixel (one line) in the vertical direction.
  • the V transfer register 32 transfers the pixel signals for one line transferred by the plurality of V transfer registers 32 for each pixel in the horizontal direction.
  • each light receiving unit 31 When light is applied to the CCD image sensor, the light incident on each light receiving unit 31 is photoelectrically converted into electric charges. Each light receiving unit 31 accumulates charges corresponding to the respective input light amounts. .
  • the charges accumulated in all the light receiving portions 31 are simultaneously transferred to the respective V transfer registers 32.
  • the charges in the V transfer register 32 are transferred in the vertical direction for each pixel (one line) and transferred to the H transfer register 33.
  • the pixel signals for one line transferred to the H transfer register 33 are transferred and output in the horizontal direction for each pixel. Since the V transfer register 32 and the H transfer register 33 are shielded, the amount of charge transferred to them is held constant.
  • each light receiving part 41 of the CMOS image sensor can have a larger area than each light receiving part 31 of the CCD image sensor, so that the dynamic range can be expanded and the sensitivity can be improved.
  • the CMOS image sensor can be configured to select and read a pixel having a free address.
  • CMOS image sensor is advantageous in these respects because it requires a structure that can freely read out only the necessary pixel signals.
  • the exposure operation and the readout operation become complicated as will be described below.
  • FIG. 4 is a time chart showing the operation of the CCD image sensor.
  • FIG. 5 is a time chart showing the operation of the CM OS image sensor.
  • the charges of all pixels are moved to the V transfer register 32 at timing T12 to simultaneously expose all pixels. be able to.
  • the accumulated charge is transferred to the transfer register 33 sequentially from the first line in the subsequent timing T12 to T13, for example.
  • the CMOS image sensor has a CCD image sensor V transfer register 32 When the pixel signal of a certain pixel is read out, the other pixels
  • the exposure operation of each pixel of the CMOS image sensor needs to be matched with the charge reading operation from each light receiving unit 41.
  • the pixel signal is read out from the upper part of the screen by one line at a time.
  • FIG. 6 is a diagram showing a basic control flow of flash photography.
  • step S32 when the shirt release button is pressed (step S31), the processing after step S32 is started.
  • the operation mode for automatically emitting the flash is set, the integrated value of the luminance signal included in the image signal picked up by the image pickup device 13 is detected by the detection circuit 17 and is detected by the system control unit 18. Based on the integrated value of the luminance signal, the brightness of the external light is detected, and it is determined whether or not the power of flash emission is sufficient (step S32). When it is determined that the outside light is bright, the process proceeds to step S33, and normal shooting without emitting the flash 21 is performed, and the process ends.
  • step S32 determines whether the outside light is dark. If it is determined in step S32 that the outside light is dark, the process proceeds to step S34, and flash photography is performed. If there is an operation mode in which flash photography is forcibly performed regardless of the brightness of external light, the process proceeds to step S34 regardless of the determination result in step S32, and flash photography is performed.
  • the aperture of the aperture 12 and the opening time, the exposure time of the image sensor 13 (shutter speed), and the gain of the AGC circuit 14 are set (step S34).
  • the aperture of the diaphragm 12 is preferably set so that the amount of incident light from a subject at a short distance does not exceed the dynamic range of the image sensor 13 during preliminary light emission of the flash 21.
  • Preliminary light emission is a process for calculating the light intensity of the main light emission. When light quantity exceeding the dynamic range is incident on the image sensor 13, a distorted (searched) image signal is obtained. It becomes impossible to calculate the quantity of emitted light with high accuracy.
  • the imaging element It is desirable to make the exposure time of the child 13 as short as possible.
  • the exposure time is long, the influence of external light increases, and the dynamic range for detecting the amount of preliminary light emission becomes narrow, so that the calculation accuracy of the light amount of main light emission decreases. Furthermore, it is desirable to set the gain of the AGC circuit 14 low so as to reduce the influence of noise on the image signal.
  • the image sensor 13 performs an exposure operation and a read operation before preliminary light emission in a state where the flash 21 does not emit light, and the detection circuit 17
  • the pre-preliminary pre-light emission detection value (referred to as D1) included in the luminance signal of the signal is detected and stored in the memory 19 (step S35).
  • This detection value D1 before preliminary light emission means a detection value of only external light without preliminary light emission.
  • preliminary light emission is performed with a predetermined light emission amount by the flash 21 while fixing the set aperture, exposure time, and gain (step S 36), and the image sensor 13 performs exposure operation and reading at the time of preliminary light emission.
  • the operation is performed, and a detection value (preliminary light emission D2), which is an integral value included in the luminance signal of the image signal, is detected by the detection circuit 17 and stored in the memory 19 (step S37).
  • the detection value D2 during preliminary light emission means a detection value including preliminary light emission and external light.
  • the pre-light emission detection value D1 and the pre-light emission detection value D1 stored in the memory 19 are read by the system control unit 18, and the pre-light emission detection value D1 is subtracted from the pre-light emission detection value D2.
  • the obtained differential detection value is calculated (step S38).
  • the differential detection value means a detection value including only preliminary light emission with the outside light excluded.
  • the system controller 18 obtains the light emission amount of the main light emission of the flash 21 based on the differential detection value (step S39), the light emission of the flash 21 is performed according to the obtained light emission amount, and flash photography is performed ( Step S40).
  • the pre-flash detection value D1 is obtained by capturing the image signal twice during flash pre-flash, when the flash is not flashing, and during flash. Is subtracted from the detection value D2 at the time of preliminary light emission, so that the influence of external light is offset and the light intensity at the main light emission is obtained more accurately.
  • the exposure operation before preliminary light emission by the image sensor 13 in step S35 and the exposure operation during preliminary light emission by the image sensor 13 in step S37 are performed in as short a time as possible. Flash shooting Generally, it is performed in a low illuminance environment. However, when there is no external light, the flash photography is almost always performed.
  • the correct detection value particularly the detection value D2 during preliminary light emission, cannot be obtained due to the influence of the external light, as described in FIGS. 7 to 9 below. Therefore, the correct differential detection value may not be obtained.
  • FIG. 7 is a diagram illustrating an example of a captured image.
  • FIG. 8 is a diagram showing an example of calculation of the differential detection value when there is no external light
  • FIG. 9 is a diagram showing an example of calculation of the differential detection value when there is external light.
  • the output of the image sensor 13 before preliminary light emission is 0, and the detection value D1 before preliminary light emission is also 0.
  • a detection value D2 at the time of preliminary light emission with a large output corresponding to the image A is obtained.
  • the differential detection value matches the detection value (D2) during preliminary light emission.
  • a pre-preliminary detection value D1 corresponding to external light is obtained before the preliminary light emission. Further, at the time of preliminary light emission, preliminary light emission is added to the external light and is input to the image sensor 13. At this time, of the output signal (luminance signal component) of the image sensor 13, the component exceeding the dynamic range of the image sensor 13 is clipped, so the differential detection value is distorted to a small extent by eliminating the clipped portion. End up. Therefore, it is not possible to calculate an accurate amount of main light emission. As mentioned above, flash photography is rare when there is almost no external light, so the exposure operation before and during preliminary light emission is made as short as possible to reduce the influence of external light, It is necessary to allow a sufficient margin in the dynamic range of the image sensor 13 during preliminary light emission.
  • Fig. 10 shows an example of a flash shooting sequence of a conventional CCD image sensor. is there.
  • the flash shooting by the main flash is performed at a predetermined timing after timing ⁇ 57.
  • the exposure timing of all the pixels is the same, the influence of the preliminary light emission in the exposure operation at the time of preliminary light emission is uniformly given to all areas in the screen.
  • FIG. 11 is a diagram showing an example of a flash photographing sequence of a conventional CMOS image sensor.
  • FIG. 12 is a diagram for explaining an image at the time of preliminary light emission obtained by a conventional CMOS image sensor.
  • the exposure before the preliminary light emission is started at the timing T61, and the exposure at the preliminary light emission is started at the timing T62. Are detected, and a differential detection value is calculated.
  • the exposure period gradually shifts from the top line at the top of the screen toward the bottom line at the bottom. For example, at the time of preliminary light emission, the force at which the exposure of the first line is started at the timing T62 in the drawing. The exposure of the final line is started at the subsequent timing T63.
  • the reflected light of the preliminary light emission can be received only by some pixels.
  • the influence of the preliminary light emission on the exposure operation during the preliminary light emission is limited to a part of the area B in the screen (the upper part of the screen in FIG. 12). From the remaining area, only the detection value of only the outside light that is not affected by the preliminary light emission can be obtained. Therefore, the detection value at the time of preliminary light emission cannot be obtained with high accuracy, and the light quantity of the main light emission cannot be calculated with high accuracy.
  • FIG. 13 is a diagram showing another example of a flash photography sequence of a conventional CMOS image sensor.
  • FIG. 14 is a diagram for explaining an image at the time of preliminary light emission obtained in this case.
  • the exposure time before the preliminary light emission and during the preliminary light emission becomes longer for the pixels in the lower line.
  • the exposure time (timing ⁇ 81 to ⁇ 82) of the pixel on the top line at the top of the screen is the shortest (
  • the exposure time (timing T81 to ⁇ 83) of the pixel in the last line is the longest (for example, about 1Z number lOOsec).
  • FIG. 15 is a graph showing an example of detection of the detection value D1 before preliminary light emission in this case.
  • FIG. 15 (A) shows the detection value when the subject is imaged when the output signal of the image sensor 13 reaches 50% of the dynamic range when exposed for the 1Z2 vertical synchronization period! / ⁇ The The exposure time is longer for pixels in the lower line on the screen.
  • the pixel signal in the center of the screen has an output value of about 50% of the dynamic range
  • the pixel signal in the last line in the lower part of the screen has an output value of about 100%.
  • FIG. 15B shows the output of the image sensor 13 when the exposure is performed for 1Z4 vertical synchronization period.
  • the image of a subject whose signal reaches 50% of the dynamic range is shown.
  • the output value of the pixel signal at the center of the screen reaches about 100% of the dynamic range, and the pixel signal below it Will exceed the dynamic range, making it impossible to detect the correct amount of external light.
  • FIG. 16 is a diagram illustrating a calculation example of the differential detection value when the pixel signal at the bottom of the screen is clipped.
  • the output value of the pixel signal on this line is about 20% of the dynamic range of the image sensor 13.
  • the pixel signal output value of this line reaches about 80% of the dynamic range.
  • the amount of reflected light (not including the external light component) incident by the preliminary light emission is set to about 50% of the dynamic range of the image sensor 13.
  • the reflected light of the preliminary light emission is received uniformly over the entire area of the screen.
  • the pixel signal is read out from the light receiving unit 41 to the column 42 and transferred, thereby reducing the pixel signal readout time of the entire screen. Shorten and reduce the influence of external light on the calculation of the amount of emitted light.
  • FIG. 17 is a diagram illustrating an example of a method for intermittently reading out pixel signals at the time of preliminary light emission pre-exposure and preliminary light emission exposure according to the present embodiment.
  • Figure 17 (A) Thus, when the position of the pixel to be read out is shifted one by one for each line, the pixel force signal charge that continues in the diagonal direction is read out across the entire screen, for example, as shown in FIG. Signal charge is read out in the pixel of lZn (1Z4 in this example).
  • FIG. 18 is a diagram showing an example of a flash photographing sequence of the CMOS image sensor of the present embodiment.
  • FIG. 18 shows an example in which one vertical synchronization period is required to read out charges from all pixels, as in FIGS. 11 and 13 described above.
  • the time required for reading is reduced to 1Z4.
  • the charge of all pixels of the image sensor 13 is swept away at timing T91, and then the exposure operation of all pixels is started simultaneously.
  • the top line force at the top of the screen is charged. Start reading. After that, the charge readout for the entire screen is completed after 1Z4 minutes of the vertical synchronization period (timing T93).
  • the charge of all the pixels is swept away at the timing ⁇ 94 to start the exposure operation, and the flash 21 is preliminarily emitted within the period up to the timing ⁇ 95 when the charge reading is started. Then, the charge readout for the entire screen is completed at timing ⁇ 96 after the start of charge readout of the first line force, 1 to 4 hours after the vertical synchronization period.
  • FIG. 19 is a diagram illustrating a calculation example of the differential detection value in the present embodiment.
  • FIG. 19 shows an example of detection when the conditions of the amount of external light and the amount of reflected light of preliminary light emission are the same as in FIG.
  • the power of the pixel signal exceeded 50% of the dynamic lens of the image sensor 13 while the charge was sequentially read out to the last line.
  • the charge readout time is 1 ⁇ 4
  • the rising rate of the detection value when the leading line force is directed toward the final line is 1Z4
  • the pixel signal level of all lines is 50% or less of the dynamic range. It has become. For this reason, the output signal level of the image sensor 13 does not exceed the dynamic range and is not clipped at the time of exposure at the time of preliminary light emission.
  • the detection value D2 at the time of preliminary light emission and the detection value D1 before the preliminary light emission are The differential detection value is equal to the reflected light component during actual preliminary light emission, and an accurate value is detected. Accordingly, it is possible to accurately obtain the flash emission amount during the main flash.
  • the output of the image sensor 13 is once every two cycles of the vertical synchronization signal, and the image signal Output is interrupted. In addition, since the pixel signal in the screen is read intermittently, the output image is also disturbed.
  • the output image signal that is several cycles before the vertical synchronization signal is preliminarily stored in the memory 23, and when the exposure operation before the preliminary light emission is started by the image sensor 13, the image sensor It is desirable that the previous image signal stored in the memory 23 is read out and output to the subsequent display system instead of the imaged image signal obtained in step 13. As a result, it is possible to prevent the user from recognizing video disturbance.
  • FIG. 20 is a diagram showing another example of the method for intermittently reading out pixel signals at the time of preliminary light emission pre-exposure and preliminary light emission exposure in the present embodiment.
  • the exposure operation of all the pixels of the imaging device 13 is started at the same time, and intermittently every n pixels.
  • the signal charge is read out and detected.
  • the exposure time of the image sensor 13 can be shortened over the entire area of the screen, and the entire area of the image sensor 13 can be affected by the preliminary light emission. Therefore, even when the amount of external light is relatively large, the amount of light received by the image sensor 13 during preliminary light emission is less likely to exceed the dynamic range, so the accuracy of the detection value is improved and the amount of light during main light emission is improved. Can be obtained with higher accuracy.
  • the detection value before preliminary light emission is subtracted from the detection value at the time of preliminary light emission, so that only the preliminary light emission from which external light has been excluded is subtracted.
  • the differential detection value it is possible to obtain the differential detection value including only the preliminary light emission from which the external light is excluded, so that the light quantity at the main light emission can be obtained with higher accuracy.
  • the pixel thinning amount (n) at the time of detection before preliminary light emission and detection at the time of preliminary light emission may be variable according to the amount of external light detected at that time. For example, by increasing the pixel thinning amount (n), the time required to read out charges on the entire screen is shortened, so the rate of increase of the pre-emission detection value D1 according to the pixel position in the screen is smaller. Become. Therefore, when the amount of external light is large, it is possible to more reliably avoid a situation in which the detection value is tapped by increasing the pixel thinning amount (n).
  • the pixel thinning amount (n) may be made variable according to the focal length. This is because, depending on the subject to which the flash is irradiated, when the zoom magnification is increased, sufficient calculation accuracy can be obtained for the amount of light emitted during the main flash even if the number of detected pixels is reduced compared to when the zoom magnification is low. It is based on the existence of
  • FIG. 21 is a diagram for explaining the relationship between the focal length and the angle of view.
  • FIG. 22 is a diagram for explaining the relationship between the focal length and the pixel thinning amount.
  • the subject 2 is assumed to be a human face.
  • the distance from the imaging surface of the imaging device 1 to the subject 2 is L
  • the distance in the vertical imaging range is 2Lver.
  • the diagonal distance of shooting range 3 is 2Ls.
  • the focal length f is 38 mm (35 mm equivalent)
  • the angle of view 2 ⁇ is about 60 °
  • the angle ⁇ between the horizontal direction and the diagonal direction of the shooting range 3 is 37 °.
  • Ls L * tan
  • the vertical distance 2Ls of the shooting range 3 is 0.7L. In this way, the size of the actual imaged range can be obtained based on the focal length f.
  • the subject 2 is at a distance L within the range where the flash can reach from the imaging device 1, the size of the subject 2 on the screen can be calculated.
  • the pixel signal is intermittently read every predetermined number of lines (n) as shown in Fig. 22, when the subject 2 is imaged in the shooting range 3a, Assume that 9 lines are required to be read out as shown in 22. If the state force also increases the focal length, the subject 2 is zoomed in the shooting range 3b.
  • Preliminary flash shooting In the exposure at the time of light emission, if the reflected light of the preliminary light emission from the subject (here assuming a human face) can be received, the light intensity of the main light emission can be calculated with sufficient accuracy, as shown in Fig. 22 When only 3 lines of reflected light from the subject 2's facial power is detected in the shooting range 3a, it is not necessary to detect 9 lines in the shooting range 3b. If only the line is detected, the calculation accuracy equivalent to the shooting range 3a can be obtained.
  • the pixel area to be intermittently read is about 3% of the entire screen, and the distance L to the subject 2 is 2.
  • the reflected light component corresponding to the interval of about 5 cm is read out on the actual subject 2.
  • the distance between the human jaw and forehead is 20 cm, about 3 to 4 lines will be detected in the human face.
  • the decimation amount (n) can be determined from values such as (vertical length in this case), the necessary decimation amount (n) at the wide-angle end can be set for each operation mode such as the portrait mode.
  • the focal length f is increased (that is, the zoom magnification is increased), and the amount of thinning (n) is increased to shorten the exposure time during the pre-flash and reduce the amount of main flash. It is possible to improve the calculation accuracy.
  • the present invention can be applied to a mobile phone and a PDA (Personal Digital Assistant) having similar functions in addition to an imaging apparatus such as a digital still camera and a digital video camera having a still image capturing function. Can also be applied.
  • PDA Personal Digital Assistant
  • an information processing device such as a personal computer, which is connected to an external imaging device and a flash, and controls the imaging operation by the imaging device and the flash to capture a captured image.
  • the present invention can be applied.
  • a program describing the processing contents of the functions that the imaging apparatus should have is provided.
  • the program describing the processing contents can be recorded on a computer-readable recording medium.
  • Computer readable description Examples of the recording medium include a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory.
  • a portable recording medium such as an optical disk in which the program is recorded is sold. It is also possible to store the program in a storage device of a server computer and transfer the program to another computer via a network.
  • the computer that executes the program stores, for example, the program recorded in the portable recording medium or the program to which the server computer power is also transferred in its own storage device.
  • the computer reads its own storage device power program and executes processing according to the program.
  • the computer can also read the program directly from the portable recording medium and execute processing according to the program.
  • the computer can also execute processing according to the received program sequentially each time the program is transferred to the server computer.
  • the exposure operation of all the pixels of the solid-state imaging device is started at the same time, and then the pixel signal of each pixel is intermittently read at a predetermined pixel interval.
  • all areas on the solid-state image sensor are affected by the preliminary light emission, and the exposure time of the solid-state image sensor during the preliminary light emission is shortened, so that the detection amount of the external light component is reduced. Less. For this reason, when the external light is relatively strong, the amount of detection during preliminary light emission does not exceed the dynamic range, and the reflected light component due to preliminary light emission can be accurately detected. The calculation accuracy of the amount of emitted light is improved, and a higher quality image can be obtained.

Abstract

　フラッシュ撮影の際に、予備発光時の露光時間をできるだけ短くして、本発光時の適切な光量を外光の大きさに関係なく高精度に演算できるようにする。 　フラッシュの本発光の前に、予備発光前露光動作および予備発光時露光動作を行う。予備発光前露光動作では、タイミングＴ９１で撮像素子の全画素の露光動作を同時に開始した後、タイミングＴ９２で各画素の画素信号を所定の画素間隔で間欠的に読み出す。予備発光時露光動作では、タイミングＴ９４で撮像素子の全画素の露光動作を同時に開始した後、フラッシュの予備発光を行い、タイミングＴ９５で各画素の画素信号を所定の画素間隔で間欠的に読み出す。そして、各露光動作での撮像画像信号を基に画像の明るさを検波し、その差分検波値を基にフラッシュの本発光時の光量を演算する。

Description

明 細 書
撮像装置、撮像方法および撮像制御プログラム
技術分野
[0001] 本発明は、各画素の画素信号に対してランダムアクセスが可能な固体撮像素子を 用いて画像を撮像する撮像装置、撮像方法および撮像制御プログラムに関し、特に 、フラッシュを用いた撮像が可能な撮像装置、撮像方法および撮像制御プログラムに 関する。
背景技術
[0002] 撮像装置によって低照度の被写体を撮像する場合には、フラッシュを発光させて光 量を補うようにするが、固体撮像素子を用いて画像を撮像する撮像装置の中には、 事前にフラッシュの予備発光を行って被写体力 の反射光を検出し、分析することで 、本発光時の適切な発光量を求める機能を備えたものがあった。
[0003] また、撮像素子に用いる撮像素子としては、 CCD (Charge Coupled Device)ィメー ジセンサが最も一般的であつたが、近年では、固体撮像素子の一層の多画素化が 進むのに従って、 CMOS (Complementary Metal Oxide Semiconductor)イメージセン サが注目されている。 CMOSイメージセンサは、画素信号のランダムアクセスが可能 である点や、 CCDイメージセンサと比較して読み出しが高速で、高感度、低消費電 力といった特徴がある。
[0004] しかし、 CMOSイメージセンサを用いた従来の撮像装置では、露光期間が画素ご とに異なるため、フラッシュの予備発光時には、撮像素子の一部の領域にしか予備 発光による反射光を受光することができず、本発光時の光量を精度よく求めることが 困難であるという問題があった。このような問題に対して、撮像素子内の一部を測光 エリアとして、その測光エリアに含まれる光電変換素子の蓄積時間に予備発光を行う ことで、測光エリアの全域で予備発光による反射光を正確に受光するようにした撮像 装置があった (例えば、特開 2000— 196951号公報（段落番号〔0018〕〜〔0026〕 、図 2)参照)。
発明の開示 [0005] しかし、上記の特許文献 1に開示された撮像装置のように、測光エリア内の全域で 予備発光による反射光を同時に受光させるためには、露光時間を長くする必要があ るので、外光が強いときに予備発光を行うと、 CMOSイメージセンサのある領域の入 力光量が設定されたダイナミックレンジを超える場合があり、その部分では本来の受 光量を検出できず、本発光時の光量を高精度に求めることが困難であるという問題 かあつた。
[0006] 本発明はこのような点に鑑みてなされたものであり、フラッシュ撮影の際に、予備発 光時の露光時間をできるだけ短くして、本発光時の適切な光量を外光の大きさに関 係なく高精度に演算できるようにした撮像装置を提供することを目的とする。
[0007] また、本発明の他の目的は、フラッシュ撮影の際に、予備発光時の露光時間をでき るだけ短くして、本発光時の適切な光量を外光の大きさに関係なく高精度に演算で きるようにした撮像方法を提供することである。
[0008] さらに、本発明の他の目的は、フラッシュ撮影の際に、予備発光時の露光時間をで きるだけ短くして、本発光時の適切な光量を外光の大きさに関係なく高精度に演算 できるようにした撮像制御プログラムを提供することである。
[0009] 本発明では上記課題を解決するために、各画素の画素信号に対してランダムァク セスが可能な固体撮像素子を用いて画像を撮像する撮像装置において、被写体に 光を照射するフラッシュと、前記固体撮像素子による撮像画像信号から撮像画像の 明るさを検波する検波手段と、前記フラッシュの本発光の動作前に前記フラッシュの 予備発光を行わせて、前記予備発光時の画像を前記固体撮像素子により撮像させ 、前記予備発光時の撮像画像信号を基に前記検波手段により撮像画像の明るさを 検波させ、検波された前記予備発光時の明るさに基づいて前記フラッシュの前記本 発光時の光量を演算する制御手段とを有し、前記制御手段は、前記予備発光の動 作時に、前記固体撮像素子の全画素の露光動作を同時に開始させた後、各画素の 画素信号を所定の画素間隔で間欠的に読み出し、前記検波手段に供給することを 特徴とする撮像装置が提供される。
[0010] このような撮像装置では、フラッシュの本発光の前に、フラッシュの予備発光が行わ れて画像が撮像され、その画像の明るさの検波結果を基にフラッシュの本発光時の 光量が演算される。この予備発光の際には、固体撮像素子の全画素の露光動作を 同時に開始させた後、各画素の画素信号を所定の画素間隔で間欠的に読み出すよ うにしたことで、固体撮像素子上のすべての領域に予備発光の影響が与えられるとと もに、予備発光時の固体撮像素子の露光時間が短縮化されて、外光成分の検波量 が少、なくなる。
[0011] また、本発明では、各画素の画素信号に対してランダムアクセスが可能な固体撮像 素子を用い、フラッシュを照射して画像を撮像するための撮像方法において、前記フ ラッシュの本発光の動作前に前記フラッシュの予備発光を行い、前記予備発光時の 画像を前記固体撮像素子が撮像する予備発光時撮像ステップと、検波手段が、前 記予備発光時に撮像された画像の明るさを検波する予備発光時検波ステップと、演 算手段が、前記予備発光時に検波された画像の明るさに基づいて前記フラッシュの 前記本発光時の光量を演算する演算ステップとを含み、前記予備発光時撮像ステツ プでは、前記固体撮像素子の全画素の露光動作を同時に開始した後、各画素の画 素信号を所定の画素間隔で間欠的に読み出すようにしたことを特徴とする撮像方法 が提供される。
[0012] このような撮像方法では、フラッシュの本発光の前に、フラッシュの予備発光が行わ れて画像が撮像され、その画像の明るさの検波結果を基にフラッシュの本発光時の 光量が演算される。この予備発光の際には、固体撮像素子の全画素の露光動作を 同時に開始させた後、各画素の画素信号を所定の画素間隔で間欠的に読み出すよ うにしたことで、固体撮像素子上のすべての領域に予備発光の影響が与えられるとと もに、予備発光時の固体撮像素子の露光時間が短縮化され、外光成分の検波量が 少なくなる。
図面の簡単な説明
[0013] [図 1]図 1は、実施の形態に係る撮像装置の要部構成を示す図である。
[図 2]図 2は、 CCDイメージセンサの概略構成図である。
[図 3]図 3は、 CMOSイメージセンサの概略構成図である。
[図 4]図 4は、 CCDイメージセンサの動作を示すタイムチャートである。
[図 5]図 5は、 CMOSイメージセンサの動作を示すタイムチャートである。 [図 6]図 6は、フラッシュ撮影の基本的な制御フローを示す図である。
[図 7]図 7は、撮像画像の一例を示す図である。
[図 8]図 8は、外光のない場合の差分検波値の演算例を示す図である。
[図 9]図 9は、外光のある場合の差分検波値の演算例を示す図である。
[図 10]図 10は、従来の CCDイメージセンサのフラッシュ撮影シーケンスの例を示す 図である。
[図 11]図 11は、従来の CMOSイメージセンサのフラッシュ撮影シーケンスの例を示 す図である。
[図 12]図 12は、従来の CMOSイメージセンサにより得られる予備発光時の画像につ いて説明するための図である。
[図 13]図 13は、従来の CMOSイメージセンサのフラッシュ撮影シーケンスの別の例 を示す図である。
[図 14]図 14は、図 13のフラッシュ撮影シーケンスを適用した場合に得られる予備発 光時の画像について説明するための図である。
[図 15]図 15は、図 13のフラッシュ撮影シーケンスを適用した場合の予備発光前検波 値の検波例を示すグラフである。
[図 16]図 16は、画面下方の画素信号がクリップされる場合の差分検波値の演算例を 示す図である。
[図 17]図 17は、本実施の形態での予備発光前露光時および予備発光露光時にお ける画素信号の間欠読み出し方法の一例を示す図である。
[図 18]図 18は、本実施の形態の CMOSイメージセンサのフラッシュ撮影シーケンス の例を示す図である。
[図 19]図 19は、本実施の形態での差分検波値の演算例を示す図である。
[図 20]図 20は、本実施の形態での予備発光前露光時および予備発光露光時にお ける画素信号の間欠読み出し方法の別の例を示す図である。
圆 21]図 21は、焦点距離と画角との関係を説明するための図である。
圆 22]図 22は、焦点距離と画素の間引き量との関係を説明するための図である。 発明を実施するための最良の形態 [0014] 以下、本発明の実施の形態を図面を参照して詳細に説明する。
図 1は、実施の形態に係る撮像装置の要部構成を示す図である。
図 1に示す撮像装置は、例えばデジタルスチルカメラ、あるいは静止画像の撮像が 可能なデジタルビデオカメラなどとして実現されるものである。この撮像装置は、レン ズ 11、絞り 12、撮像素子 13、 AGC (Auto Gain Control)回路 14、 AZD変換回路 1 5、カメラ信号処理回路 16、検波回路 17、システム制御部 18、メモリ 19、ドライバ 20 、フラッシュ 21、ドライバ 22およびメモリ 23を備える。
[0015] レンズ 11は、被写体から入射された反射光を、撮像素子 13の受光面に合焦させる 絞り 12は、レンズ 11を通して得られた入力光量が撮像素子 13の感度に対し適正に なるように、その口径を変化させる。また、絞り 12はシャツタの機能を有する。撮像素 子 13は、例えば R、 G、 Bのカラーフィルターが配置された複数の画素に対してレン ズ 11を通して入射された光を、アナログ画像信号 (電荷）に光電変換する。また、撮 像素子 13は、 XYアドレス型のイメージセンサ、例えば CMOSイメージセンサ力 なり 、複数の画素のそれぞれの露光動作および読出動作が異なるタイミングにより行わ れるように構成されている。
[0016] AGC回路 14は、撮像素子 13により生成された画像信号を増幅する。 AZD変換 回路 15は、 AGC回路 14により増幅されたアナログ画像信号をデジタル画像信号に 変換する。カメラ信号処理回路 16は、 AZD変換回路 15により変換されたデジタル 画像信号に対して種々の信号処理を施すものであり、例えば、図示しないホワイトバ ランス回路、 Y— C分離回路、フィルタ回路、アパーチャ 'コントローラ、ガンマ補正回 路など力もなる。なお、図示しないが、このカメラ信号処理回路 16からの出力画像信 号は、例えばモニタに撮像画像を表示するための表示系、および、画像信号を所定 のデータ形式にエンコードしてメモリカードなどの記録媒体に撮像画像データを記録 するための記録系に供給される。検波回路 17は、カメラ信号処理回路 16により処理 された画像信号を基に、撮像画面内の明るさおよび色の分布を検波する。明るさを 示す検波値としては、例えば画面内における各画素の輝度信号の積分値などが用 いられる。 [0017] システム制御部 18は、例えばマイクロコンピュータにより構成され、検波回路 17に より検波された明るさおよび色の分布、カメラ信号処理回路 16により処理された画像 信号などに基づいて、この撮像装置内の各部を統括的に制御するものである。シス テム制御部 18は、例えば、撮像素子 13の各画素の露光動作および読出動作を制 御する露光タイミング制御信号、 AGC回路 14のゲインを制御するゲイン制御信号、 レンズ 11の焦点および絞り 12の口径をドライバ 22を介して制御する光学ブロック制 御信号、フラッシュ 21の発光動作をドライバ 20を介して制御するフラッシュ制御信号 などを演算して出力する。メモリ 19は、システム制御部 18により演算された制御デー タを記憶する。
[0018] ドライバ 20は、フラッシュ撮影の際、システム制御部 18により演算されたフラッシュ 制御信号に従ってフラッシュ 21を駆動する。フラッシュ 21は、ドライバ 20からの駆動 信号に従って発光する。ドライバ 22は、システム制御部 18により演算されたレンズ制 御信号に従ってレンズ 11および絞り 12を駆動する。メモリ 23は、カメラ信号処理回路 16により処理された、または処理中の画像信号を一時的に記憶する。
[0019] この撮像装置における静止画像の撮像時における基本的な動作は以下のようにな る。
まず、ユーザによる撮像操作の前には、撮像素子 13によって受光されて光電変換 された画像信号が、 AGC回路 14に順次供給される。この画像信号は、 AGC回路 14 により必要に応じて増幅され、さらに AZD変換回路 15によりデジタル信号に変換さ れた後、カメラ信号処理回路 16により種々の画質補正処理などが施される。そして、 処理後の画像信号は図示しない表示系に出力され、これによりカメラスルー画像が モニタに表示されて、ユーザはモニタを見て画角合わせを行うことが可能となる。
[0020] この状態で、ユーザにより図示しないシャツタレリーズボタンが押下されると、システ ム制御部 18は、ドライバ 22や撮像素子 13に対して制御信号を出力してシャツタを動 作させる。これにより撮像素子 13からは 1フレーム分の画像信号が出力される。なお 、このとき、システム制御部 18は、カメラ信号処理回路 16における各種処理結果や 検波回路 17の検波結果に応じて、レンズ 11、絞り 12、撮像素子 13、 AGC回路 14 に対して制御信号を出力し、焦点や露光時間、露光量が適切になるように制御する [0021] カメラ信号処理回路 16は、撮像素子 13から AGC回路 14、 AZD変換回路 15を介 して供給された 1フレーム分の画像信号に画質補正処理などを施し、処理後の画像 信号を図示しない記録系に出力する。これにより、 1フレーム分の画像信号がェンコ ードされて静止画像のデータファイルが生成され、メモリカードなどの記録媒体に記 録される。
[0022] また、この撮像装置は、撮像時にお!、て例えばユーザ操作に応じて、あるいは検波 回路 17の検波結果に基づく判断により自動的に、フラッシュ 21を発光させることがで きる。後述するように、フラッシュ撮影を行う際には、システム制御部 18の制御により、 フラッシュ 21の本発光の直前に予備発光を行い、予備発光時の撮像画像信号を基 に検波回路 17で検波して、その検波結果を基に適切な撮像画像が得られるように、 本発光時のフラッシュ 21の発光量を制御する。
[0023] ところで、本実施の形態では、撮像素子 13として、光電変換素子の各画素に対し てランダムアクセスが可能なものを用いる。以下では、このような撮像素子 13として C MOSイメージセンサを用い、必要に応じて、従来力も一般的に用いられていた CCD イメージセンサと対比させながら、本実施の形態について説明を行うこととする。
[0024] まず、撮像素子 13の基本的な構造について説明する。
図 2は、 CCDイメージセンサの概略構成図である。また、図 3は、本実施の形態で 用いられる CMOSイメージセンサの概略構成図である。
[0025] 図 2に示すように、 CCDイメージセンサは、 2次元の行列状に配置された複数の受 光部 31と、複数の受光部 31の列数と同数の V転送レジスタ 32と、 H転送レジスタ 33 とを備える。各受光部 31は、それぞれに対する入射光をアナログ画像信号 (電荷）に 光電変換し、各画素の画素信号を生成する。複数の V転送レジスタ 32は、光電変換 された各画素の画素信号を垂直方向に 1画素（ 1ライン)ごとに転送する。 V転送レジ スタ 32は、複数の V転送レジスタ 32により転送される 1ライン分の画素信号を水平方 向に 1画素ごとに転送する。
[0026] CCDイメージセンサに光が当てられると、各受光部 31に入射した光が電荷に光電 変換される。各受光部 31には、それぞれの入力光量に応じた電荷が蓄積されていく 。 CCDイメージセンサに電荷を転送する信号が与えられると、すべての受光部 31に 蓄積された電荷が、それぞれの V転送レジスタ 32に同時に転送される。 V転送レジス タ 32の電荷は、 1画素（1ライン)ごとに垂直方向に転送されて、 H転送レジスタ 33に 転送される。 H転送レジスタ 33に転送された 1ライン分の画素信号は、 1画素ごと〖こ 水平方向に転送されて出力される。 V転送レジスタ 32および H転送レジスタ 33は遮 光されているため、ー且これらに転送された電荷の量は一定に保持される。
[0027] 一方、図 3に示すように、 CMOSイメージセンサは、 2次元の行列状に配置された 複数の受光部 41と、同列の複数の受光部 41が共通して電気的に接続され、各列の 何れかの受光部 41から転送された電荷を水平方向に 1画素ごとに転送するカラム 42 とを備える。 CMOSイメージセンサは、 CCDイメージセンサの V転送レジスタ 32に相 当するものを有しない。このため、 CMOSイメージセンサの各受光部 41は、 CCDィメ ージセンサの各受光部 31に比べ、その面積を大きくすることができるので、ダイナミツ タレンジを広げ、感度を向上させることができる。また、 CMOSイメージセンサは、自 由なアドレスの画素を選択して読み出すように構成することができる。
[0028] 撮像素子の多画素化が進むと画素ピッチが小さくなるが、その場合にも画素信号 のダイナミックレンジを比較的大きくすることができ、また多画素化された撮像素子で はその中の必要な画素の信号だけを自由に読み出せる構造が必要となるので、これ らの点で CMOSイメージセンサは有利である。その反面、同列の画素を同時に読み 出すことができないため、次に説明するように露光動作および読出動作が複雑にな る。
[0029] 図 4は、 CCDイメージセンサの動作を示すタイムチャートである。また、図 5は、 CM OSイメージセンサの動作を示すタイムチャートである。
CCDイメージセンサでは、図 4に示すように、例えばタイミング T11で全画素の露光 を開始した後、タイミング T12で全画素の電荷を V転送レジスタ 32に移動させること で、全画素の露光を同時に行うことができる。なお、蓄積された電荷は、例えばその 後のタイミング T12〜T13の期間において、 1ライン目のものから順に Η転送レジスタ 33に転送されていく。
[0030] これに対して、 CMOSイメージセンサは、 CCDイメージセンサの V転送レジスタ 32 に相当するものを有しないため、ある画素の画素信号が読み出されたとき、他の画素
1では外光の影響を受けて電荷が蓄積されてしまう。このため、図 5に示すように、 C MOSイメージセンサの各画素の露光動作は、それぞれの受光部 41からの電荷読出 動作に合わせる必要がある。この例では、タイミング T22〜T23の 1垂直同期期間に 、画素信号の読み出しが画面上方から下方に向力つて 1ラインずつずれて行われる のに合わせて、その直前のタイミング Τ21〜Τ22の 1垂直同期期間において、露光 開始タイミングを先頭ラインから 1ラインずつずらすことで、全画素の露光時間を同じ にしている。
[0031] 次に、フラッシュ撮影時の動作について説明する。
図 6は、フラッシュ撮影の基本的な制御フローを示す図である。
静止画像の撮影モードにお!、て、シャツタレリーズボタンが押下されると (ステップ S 31)、ステップ S32以後の処理が開始される。ここで、フラッシュを自動発光する動作 モードに設定されていた場合には、撮像素子 13により撮像された画像信号に含まれ る輝度信号の積分値が検波回路 17により検波され、システム制御部 18により輝度信 号の積分値に基づいて外光の明るさが検出されて、フラッシュを発光する力否かが 判断される (ステップ S32)。外光が明るいと判断されたときには、ステップ S33に進み 、フラッシュ 21を発光しない通常撮影が行われて、処理が終了される。一方、ステツ プ S32で、外光が暗いと判断されたときには、ステップ S34に進み、フラッシュ撮影が 行われる。なお、外光の明暗に関係なく強制的にフラッシュ撮影を行う動作モードが あるときには、ステップ S32の判定結果に関係なくステップ S34に進んで、フラッシュ 撮影が行われる。
[0032] フラッシュ撮影の際には、まず、絞り 12の口径や開放時間、撮像素子 13の露光時 間（シャツタ速度）および AGC回路 14のゲインの設定が行われる (ステップ S34)。 なお、絞り 12の口径は、フラッシュ 21の予備発光時に近距離の被写体からの入射光 量が撮像素子 13のダイナミックレンジを超えないように設定するのが好ましい。予備 発光は、本発光の光量を演算するための処理であり、ダイナミックレンジを超える光 量が撮像素子 13に入射されると、歪んだ (サーチレーシヨンを起こした)画像信号が 得られ、本発光の光量を精度良く演算することができなくなってしまう。また、撮像素 子 13の露光時間は、できるだけ短くするのが望ましい。露光時間が長くなると、外光 の影響が大きくなり、予備発光の光量を検波するためのダイナミックレンジが狭くなつ て、本発光の光量の演算精度が低下してしまう。さらに、 AGC回路 14のゲインは、画 像信号のノイズの影響を低減するように低めに設定するのが望まし 、。
[0033] 次に、設定された口径、露光時間およびゲインを固定しながら、フラッシュ 21が発 光しない状態で撮像素子 13により予備発光前の露光動作および読出動作が行われ 、検波回路 17により画像信号の輝度信号に含まれる積分値である予備発光前検波 値 (D1とする）が検波されてメモリ 19に記憶される (ステップ S35)。この予備発光前 検波値 D1は、予備発光のない外光のみの検波値を意味する。
[0034] 次に、設定された口径、露光時間およびゲインを固定しながら、フラッシュ 21により 所定の発光量で予備発光が行われ (ステップ S36)、撮像素子 13により予備発光時 の露光動作および読出動作が行われ、検波回路 17により画像信号の輝度信号に含 まれる積分値である予備発光時検波値 (D2とする）が検波されてメモリ 19に記憶され る (ステップ S37)。予備発光時検波値 D2は、予備発光および外光を含む検波値を 意味する。
[0035] 次に、システム制御部 18によりメモリ 19に記憶された予備発光時検波値 D2および 予備発光前検波値 D1が読み出され、予備発光時検波値 D2から予備発光前検波値 D1が減算された差分検波値が演算される (ステップ S38)。差分検波値は、外光が 排除されて予備発光のみを含む検波値を意味する。次に、システム制御部 18により 差分検波値に基づいてフラッシュ 21の本発光の発光量が求められ (ステップ S39)、 求められた発光量に従ってフラッシュ 21の発光が行われ、フラッシュ撮影が行われる (ステップ S40)。
[0036] このように、本実施の形態の撮像装置では、フラッシュ撮影の予備発光時に、フラッ シュの非発光時、発光時の 2回の画像信号の取り込みを行って、予備発光前検波値 D1を予備発光時検波値 D2から減算することで、外光の影響を相殺し、本発光時の 光量をより正確に求めるようにしている。ここで、ステップ S35における撮像素子 13に よる予備発光前の露光動作、およびステップ S37における撮像素子 13による予備発 光時の露光動作は、できるだけ短時間に行われるのが好ましい。フラッシュ撮影は、 一般に低照度の環境下で行われるが、外光を有しない場合はほとんどなぐ例えば、 逆光が暗く沈んだ人物撮影のハイライト時にもフラッシュ撮影が行われる。このように 外光の量が大きい場合には、以下の図 7〜図 9で説明するように、その外光の影響に より正しい検波値、特に、予備発光時検波値 D2が得られずに、正しい差分検波値が 得られない場合がある。
[0037] 図 7は、撮像画像の一例を示す図である。また、図 8は、外光のない場合の差分検 波値の演算例、図 9は、外光のある場合の差分検波値の演算例をそれぞれ示す図 である。
図 7に示すように、画面の中央部に丸い像 Aがある画像のフラッシュ撮影を行ったも のとする。このような場合において、この図 7中の垂直方向の点線で示される画面中 央位置における画素信号の出力、すなわち検波値に基づく差分検波値の演算結果 について、図 8および図 9を用いて説明する。
[0038] 図 8に示すように、外光のない場合には、予備発光前の撮像素子 13の出力は 0で あり、予備発光前検波値 D1も 0となる。また、予備発光時には、像 Aに相当する部分 の出力が大きい予備発光時検波値 D2が得られる。この結果、差分検波値は、予備 発光時検波値 (D2)に一致することになる。
[0039] 一方、図 9に示すように、外光のある場合には、予備発光前には、外光に相当する 予備発光前検波値 D1が得られる。また、予備発光時には、外光に予備発光が加え られて撮像素子 13に入力される。このとき、撮像素子 13の出力信号 (輝度信号成分 )のうち、この撮像素子 13のダイナミックレンジを超える成分はクリップされてしまうの で、差分検波値は、クリップされた部分が排除され、小さく歪んでしまう。従って、正確 な本発光の発光量を演算することができない。前述のように、外光がほとんどない場 合のフラッシュ撮影は稀であるので、予備発光前および予備発光時の露光動作をで きるだけ短時間にすることにより、外光の影響を小さくし、予備発光時の撮像素子 13 のダイナミックレンジに十分に余裕があるようにすることが必要になる。
[0040] 次に、フラッシュ撮影の予備発光タイミングについて説明する。はじめに、従来のフ ラッシュ撮影について説明する。
図 10は、従来の CCDイメージセンサのフラッシュ撮影シーケンスの例を示す図で ある。
[0041] 図 10に示すように、撮像素子 13に CCDイメージセンサを使用した場合、タイミング T51で予備発光前の露光が開始され、タイミング T52で受光部の信号電荷が V転送 レジスタに移動されて、その後のタイミング T53までの期間で信号電荷が順次出力読 み出され、予備発光前検波値 D1が検波される。続いて、タイミング T54〜T55の期 間で予備発光時の露光が行われ、その後のタイミング Τ55〜Τ56までの期間で同様 に信号電荷が読み出されて、予備発光時検波値 D2が検波される。このとき、差分検 波値が演算されて本発光時のフラッシュ光量が演算された後、タイミング Τ57以後の 所定タイミングで本発光によるフラッシュ撮影が行われる。このように、 CCDイメージ センサでは、全画素の露光タイミングが同じであるので、予備発光時の露光動作に おける予備発光の影響は、画面内の全領域に一様に与えられる。
[0042] 一方、図 11は、従来の CMOSイメージセンサのフラッシュ撮影シーケンスの例を示 す図である。また、図 12は、従来の CMOSイメージセンサにより得られる予備発光時 の画像について説明するための図である。
[0043] 図 11に示すように、撮像素子 13に従来の CMOSイメージセンサを使用した場合、 タイミング T61で予備発光前の露光が開始され、タイミング T62で予備発光時の露光 が開始されて、それぞれの検波値が取得され、差分検波値が演算される。ここで、上 述したように、 CMOSイメージセンサでは、画面上方の先頭ラインから下方の最終ラ インに向力つて露光期間が順にずれていく。例えば、予備発光時には、図中のタイミ ング T62において先頭ラインの露光が開始される力 最終ラインの露光はその後のタ イミング T63に開始される。これに対して、予備発光の時間は数 10 secと短いので 、予備発光の反射光は一部の画素でしか受光することができない。例えば、図 12に 示すように予備発光が行われた場合には、予備発光時の露光動作における予備発 光の影響は、画面内の一部の領域 B (図 12では画面上部）に限られ、残りの領域か らは、予備発光の影響のない外光のみの検波値しか求めることができない。従って、 予備発光時の検波値を高精度に求めることができず、本発光の光量を高精度に演 算することができない。
[0044] これに対して、以下の図 13に示すように、予備発光時における露光開始時に全画 素の電荷を一度に掃き捨てるようにすることが考えられて 、る。
図 13は、従来の CMOSイメージセンサのフラッシュ撮影シーケンスの別の例を示 す図である。また、図 14は、この場合に得られる予備発光時の画像について説明す るための図である。
[0045] 図 13に示すように、予備発光前の露光を開始する場合 (タイミング T71)、および予 備発光時の露光を開始する場合 (タイミング T72)に、撮像素子 13の全画素の電荷 を掃き捨てて、画面内の全画素の露光動作を同時に開始するようにする。これにより 、予備発光時の露光動作における予備発光の影響は、画面内の上部から下部まで 一様に得られるので、予備発光時の検波値を高精度に求めることができる。また、予 備発光の直前の露光期間が短縮されるので、少なくとも画面上方においては外光が 大きい場合にもそれによつて画素信号が撮像素子 13のダイナミックレンジを超えるこ とが避けられる。
[0046] し力し、画面内の全画素を同時に読み出すことはできないので、画面内の各画素 信号の読み出しは、 1ラインごとにずらされて順次行われる。従って、予備発光前およ び予備発光時の露光時間は、下方のラインの画素ほど長くなる。例えば、図 14に示 すように、タイミング T81〜T83の 1垂直同期期間にすべての画素信号の読み出しが 行われる場合、画面上方の先頭ラインの画素の露光時間（タイミング Τ81〜Τ82)が 最短 (例えば lZ4000sec程度)で、最終ラインの画素の露光時間（タイミング T81〜 Τ83)が最長（例えば 1Z数 lOOsec程度）となる。
[0047] ここで、図 14のように全画素の電荷読み出しに 1垂直同期期間を要するときに、画 面の全領域で同一の外光量を有する一様な被写体を撮像する場合を考える。図 15 は、この場合の予備発光前検波値 D1の検波例を示すグラフである。
[0048] 図 15 (A)は、 1Z2垂直同期期間分だけ露光したときに撮像素子 13の出力信号が ダイナミックレンジの 50%に達するような被写体を撮像した場合の検波値を示して!/ヽ る。露光時間は画面上の下方のラインの画素ほど長くなり、この場合には、画面中央 の画素信号はダイナミックレンジの 50%程度、画面下方の最終ラインの画素信号は 100%程度の出力値となる。
[0049] また、図 15 (B)は、 1Z4垂直同期期間分だけ露光したときに撮像素子 13の出力 信号がダイナミックレンジの 50%に達するような被写体を撮像した場合を示しており、 この場合には、画面中央の画素信号の出力値がダイナミックレンジの 100%程度に 達し、それより下方の画素信号はダイナミックレンジを超えてしまって、正しい外光量 を検波することができなくなる。
[0050] 図 16は、画面下方の画素信号がクリップされる場合の差分検波値の演算例を示す 図である。
図 16の例では、撮像素子 13上の先頭ラインの読み出し開始時に、このラインにお ける画素信号の出力値が撮像素子 13のダイナミックレンジの 20%程度となる一様な 外光が存在しており、最終ラインの読み出し時には、このラインの画素信号の出力値 がダイナミックレンジの 80%程度に達している。また、予備発光によって入射される反 射光の光量 (外光成分を含まない）は、撮像素子 13のダイナミックレンジの 50%程度 とされている。なお、ここでは、予備発光の反射光は画面の全域で一様に受光される ものとしている。
[0051] このような場合に、予備発光時には、外光成分と予備発光の反射成分とが合成され た値 (予備発光時検波値 D2)が検波されるので、画面中央より下方の画素信号はダ イナミックレンジを超えてしまい、検波値がクリップされる。従って、予備発光時検波値 D2と予備発光前検波値 D1との差分検波値は、検波値がクリップされた領域におい て、実際の予備発光の反射光成分とは一致しない。このように、露光開始時間を一 致させただけでは、本発光時の光量を正確に得るには不十分であった。
[0052] このような問題に対して、本実施の形態では、受光部 41からカラム 42に対して画素 を間引!/ヽて電荷を転送することで、画面全体の画素信号の読み出し時間を短縮し、 本発光光量の演算に対する外光の影響を低減する。
[0053] 図 17は、本実施の形態での予備発光前露光時および予備発光露光時における画 素信号の間欠読み出し方法の一例を示す図である。
図 17 (A)では、間欠読み出し方法の一例として、撮像素子 13上の受光部 41の画 素信号のうち、水平方向、垂直方向ともに n画素に 1つずつを間欠的に読み出す場 合について示している。このときカラム 42には、各列の受光部 41のうち n画素（図で は n=4)に 1つ力 信号電荷が間欠的に転送され、出力される。また、図 17 (A)のよ うに、読み出す画素の位置をラインごとに 1つずつずらした場合には、画面全体では 例えば図 17 (B)のように斜め方向に連続する画素力 信号電荷が読み出され、全画 素のうち lZn (この例では 1Z4)の画素において信号電荷の読み出しが行われる。
[0054] 図 18は、本実施の形態の CMOSイメージセンサのフラッシュ撮影シーケンスの例 を示す図である。
図 18では、上述した図 11および図 13と同様に、全画素の電荷読み出しに 1垂直 同期期間分を要する場合の例を示している。この場合、図 17のように 4画素に 1つず つ画素信号を間欠的に読み出すと、読み出しにかかる時間は 1Z4に短縮される。図 18において、予備発光前露光の際には、タイミング T91で撮像素子 13の全画素の 電荷を掃き捨ててから、全画素の露光動作を同時に開始させ、タイミング T92で画面 上方の先頭ライン力 電荷読み出しを開始させる。その後、垂直同期期間の 1Z4分 の時間後に画面全体に対する電荷読み出しが完了する（タイミング T93)。予備発光 時露光の際には、タイミング Τ94で全画素の電荷を掃き捨てて力も露光動作を開始 させ、電荷読み出しを開始するタイミング Τ95までの期間内にフラッシュ 21を予備発 光させる。そして、先頭ライン力 の電荷読み出しを開始してから、垂直同期期間の 1 Ζ4の時間後のタイミング Τ96に、画面全体に対する電荷読み出しが完了する。
[0055] 図 19は、本実施の形態での差分検波値の演算例を示す図である。
図 19では、外光の光量および予備発光の反射光量の条件を図 16と同じとした場 合の検波の例を示している。図 16の場合の予備発光前露光では、先頭ライン力 最 終ラインへ順に電荷を読み出していく間に、画素信号のレベルが撮像素子 13のダイ ナミックレンズの 50%を超えていた力 図 19の場合では、電荷の読み出し時間が 1 Ζ4となるので、先頭ライン力も最終ラインに向力つての検波値の上昇率が 1Z4とな り、全ラインの画素信号のレベルがダイナミックレンジの 50%以下になっている。この ため、予備発光時露光の際にも、撮像素子 13の出力信号レベルがダイナミックレン ジを超えず、クリップされることがなくなるので、予備発光時検波値 D2と予備発光前 検波値 D1との差分検波値は、実際の予備発光時の反射光成分と等しくなり、正確な 値が検波される。従って、本発光時のフラッシュの発光量を正確に求めることができ る。 [0056] なお、図 18において、撮像素子 13により予備発光前および予備発光時の動作が 行われる期間には、撮像素子 13の出力が垂直同期信号の 2サイクル分に 1回となり、 画像信号の出力が途切れる。また、画面内の画素信号が間欠的に読み出されること から、出力される画像も乱れた状態となる。そこで、この間より垂直同期信号の数サイ クル分だけ前の出力画像信号をあら力じめメモリ 23に記憶しておき、撮像素子 13に より予備発光前の露光動作が開始されたときには、撮像素子 13による撮像画像信号 の代わりに、メモリ 23に記憶された以前の画像信号を読み出して、後段の表示系に 出力するように構成することが望ましい。これにより、映像の乱れをユーザに認識させ ないようにすることができる。
[0057] 図 20は、本実施の形態での予備発光前露光時および予備発光露光時における画 素信号の間欠読み出し方法の別の例を示す図である。
図 20では、撮像素子 13上の受光部 41の画素信号のうち、 nライン（図では n=4) に 1つずつを間欠的に読み出す場合について示している。この場合にも、全画素の 1 Znからのみ信号電荷が読み出されるので、図 17の場合と同様に画面全体の電荷 読み出しに要する時間は lZnとなって、同様に本発光時のフラッシュの発光量の演 算精度を向上させることができる。また、この例ではすべての列について読み出しを 行う画素の位置が同じになるので、電荷読み出しのための撮像素子 13の回路構成 を単純ィ匕することができる。なお、他に例えば、 n列に 1つの画素から信号電荷を読 み出すようにしてもよい。
[0058] 以上説明したように、本実施の形態の撮像装置によれば、フラッシュの予備発光の 動作時には、撮像素子 13の全画素の露光動作を同時に開始するとともに、 n画素に 1つずつ間欠的に信号電荷を読み出して検波を行う。このため、撮像素子 13の露光 時間を画面の全領域に亘つて短くしつつ、撮像素子 13の全ての領域に予備発光の 影響を与えることができる。従って、特に外光の光量が比較的大きい場合にも、予備 発光時の撮像素子 13の受光量がダイナミックレンジを超えることが少なくなるので、 検波値の正確性が向上し、本発光時の光量をより高精度に求めることが可能となる。
[0059] また、予備発光時検波値に加え、予備発光前検波値を検波することにより、予備発 光時検波値から予備発光前検波値を減算し、外光が排除された予備発光のみを含 む差分検波値を得ることにより、外光が排除された予備発光のみを含む差分検波値 を得ることができるので、本発光時の光量を一層高精度に求めることが可能となる。
[0060] なお、予備発光前検波および予備発光時検波の際の画素の間引き量 (n)は、その ときに検出される外光の光量に応じて可変としてもよい。例えば、画素の間引き量 (n )を大きくすることで、画面全体の電荷読み出しに要する時間が短縮されるので、予 備発光前検波値 D1の画面内の画素位置に応じた上昇率がより小さくなる。従って、 外光の光量が大きいときには、画素の間引き量 (n)を大きくすることで、検波値がタリ ップされる事態をより確実に回避することができる。
[0061] さらに、レンズの移動によるズーム機能を搭載する撮像装置であれば、焦点距離に 応じて画素の間引き量 (n)を可変とするようにしてもよい。これは、フラッシュを照射す る被写体によっては、ズーム倍率を高めたときには、低い場合と比較して検波する画 素数を少なくしても、本発光時の発光量に対する十分な演算精度が得られる場合が あることを利用したものである。
[0062] 図 21は、焦点距離と画角との関係を説明するための図である。また、図 22は、焦点 距離と画素の間引き量との関係を説明するための図である。
ここでは、被写体 2として人物の顔を想定する。図 21 (A)において、撮像装置 1の 撮像面カゝら被写体 2までの距離を L、垂直方向の撮影範囲の距離を 2Lverとする。ま た、図 21 (B)において、撮影範囲 3の対角方向の距離を 2Lsとする。焦点距離 fが 38 mm (35mm換算）の場合の画角 2 ωは約 60° であり、撮影範囲 3の横方向と対角方 向とのなす角度 Θを 37° として、 Ls=L * tan Θ、 Lver=Ls * sin Θなる式に代入 すると、撮影範囲 3の垂直方向距離 2Lsは 0. 7Lとなる。このように、焦点距離 fを基 に実際に撮影される範囲の大きさを求めることができる。そして、被写体 2が、撮像装 置 1からフラッシュの届く範囲内の距離 Lにあるとき、その被写体 2が画面にしめる大 きさを演算することが可能となる。
[0063] ここで、例えば図 22に示すように所定のライン数 (n)ごとに画素信号を間欠的に読 み出す場合、撮影範囲 3aで被写体 2を撮像したときに、例えば画面全体で図 22のよ うに 9ライン分の読み出しが必要とされたとする。そして、その状態力も焦点距離を大 きくすると、撮影範囲 3b内に被写体 2がズームされて映る。フラッシュ撮影時の予備 発光時露光では、その被写体 (ここでは人物の顔を想定する)からの予備発光の反 射光を受光できれば、本発光の光量を十分な精度で演算することができるので、図 2 2のように撮影範囲 3aにおいて被写体 2の顔力 の反射光が 3ライン分だけ検出され ている場合に、撮影範囲 3bではその範囲内の 9ライン分を検波する必要はなぐ被 写体 2にかかっている 3ライン分だけを検波すれば、撮影範囲 3aと同等の演算精度 を得ることができる。
[0064] 一例として、 n= 16としたとき、撮像素子 13の総ライン数が 500とすると、間欠読み 出しされる画素領域は画面全体の 3%程度となり、被写体 2までの距離 Lが 2. 5mの 場合、実際の被写体 2上で約 5cmの間隔に相当する反射光成分が読み出されること になる。この場合、人間の顎と額との間を 20cmとすると、人間の顔の中で 3〜4ライン 程度を検波することになる。また、同様に、 n=4のときは、被写体 2上で約 lcmの間 隔となる。
[0065] このように、撮像素子 13の具備するライン数、焦点距離 f、想定する被写体の大きさ
(ここでは垂直方向の長さ）などの値から間引き量 (n)を決めることができるので、例え ば人物撮影モードといった動作モードごとに広角端での必要な間引き量 (n)を設定 しておき、フラッシュ撮影時には焦点距離 fを長くする (すなわちズーム倍率を大きく する）のに応じてその間引き量 (n)を大きくすることで、予備発光時の露光時間を短 縮して本発光の光量の演算精度を高めることが可能である。
[0066] なお、本発明は、デジタルスチルカメラや、静止画像の撮像機能を備えたデジタル ビデオカメラなどの撮像装置の他に、同様な機能を備えた携帯電話機および PDA ( Personal Digital Assistant)などにも適用することができる。
[0067] また、外部の撮像素子およびフラッシュが接続されて、その撮像素子およびフラッ シュによる撮像動作を制御して、撮像画像を取り込むことが可能なパーソナルコンビ ユータなどの情報処理機器 (コンピュータ）にも本発明を適用することが可能である。 その場合、上記の撮像装置が有すべき機能の処理内容を記述したプログラムが提供 される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能が コンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み 取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記 録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどが ある。
[0068] プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスク などの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶 装置に格納しておき、ネットワークを介して、サーバコンピュータ力も他のコンピュータ にそのプログラムを転送することもできる。
[0069] プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプロ グラムまたはサーバコンピュータ力も転送されたプログラムを、自己の記憶装置に格 納する。
そして、コンピュータは、自己の記憶装置力 プログラムを読み取り、プログラムに従 つた処理を実行する。なお、コンピュータは、可搬型記録媒体カゝら直接プログラムを 読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは 、サーバコンピュータ力もプログラムが転送される毎に、逐次、受け取ったプログラム に従った処理を実行することもできる。
産業上の利用の可能性
[0070] 本発明によれば、フラッシュの予備発光の際に、固体撮像素子の全画素の露光動 作を同時に開始させた後、各画素の画素信号を所定の画素間隔で間欠的に読み出 すようにしたことで、固体撮像素子上のすべての領域に予備発光の影響が与えられ るとともに、予備発光時の固体撮像素子の露光時間が短縮化されて、外光成分の検 波量が少なくなる。このため、外光が比較的強い場合に、予備発光時の検波量がダ イナミックレンジを超えてしまうことが少なくなり、予備発光による反射光成分を正確に 検波することが可能となるので、本発光の光量の演算精度が向上し、より高画質の画 像を得ることができる。

Claims

請求の範囲
[1] 各画素の画素信号に対してランダムアクセスが可能な固体撮像素子を用いて画像 を撮像
する撮像装置において、
被写体に光を照射するフラッシュと、
前記固体撮像素子による撮像画像信号から撮像画像の明るさを検波する検波手 段と、
前記フラッシュの本発光の動作前に前記フラッシュの予備発光を行わせて、前記予 備発光時の画像を前記固体撮像素子により撮像させ、前記予備発光時の撮像画像 信号を基に前記検波手段により撮像画像の明るさを検波させ、検波された前記予備 発光時の明るさに基づいて前記フラッシュの前記本発光時の光量を演算する制御手 段と、
を有し、
前記制御手段は、前記予備発光の動作時に、前記固体撮像素子の全画素の露光 動作を同時に開始させた後、各画素の画素信号を所定の画素間隔で間欠的に読み 出し、前記検波手段に供給する、
ことを特徴とする撮像装置。
[2] 前記制御手段はさらに、前記予備発光の直前に、前記フラッシュを発光させずに前 記固体撮像素子により画像を撮像させ、前記予備発光の直前での撮像画像信号を 基に前記検波手段により撮像画像の明るさを検波させ、前記予備発光の直前および 前記予備発光時にそれぞれ前記検波手段により検波された明るさの差分値に基づ V、て前記フラッシュの前記本発光時の光量を演算するようにし、前記予備発光の直 前での前記固体撮像素子の撮像にお！、ても、前記固体撮像素子の全画素の露光 動作を同時に開始させた後、各画素の画素信号を所定の画素間隔で間欠的に読み 出し、前記検波手段に供給する、
ことを特徴とする請求項 1記載の撮像装置。
[3] 前記制御手段は、前記予備発光の直前および前記予備発光時の各撮像動作では 、前記固体撮像素子の画素信号を水平方向のライン単位で読み出すことを特徴とす る請求項 2記載の撮像装置。
[4] 前記制御手段は、前記予備発光の直前および前記予備発光時の各撮像動作にお いて、前記固体撮像素子の画素信号を垂直方向のライン単位で読み出すことを特徴 とする請求項 2記載の撮像装置。
[5] 前記制御手段は、前記予備発光の直前および前記予備発光時の各撮像動作にお いて、外光の光量が大きいほど、前記固体撮像素子から画素信号を間欠的に読み 出すための前記画素間隔を大きくすることを特徴とする請求項 2記載の撮像装置。
[6] レンズを光軸に沿って移動させることで被写体の拡大画像を撮像するズーム機構 をさらに有し、
前記制御手段は、前記予備発光の直前および前記予備発光時の各撮像動作にお いて、前記ズーム機構の焦点距離が大きいほど、前記固体撮像素子から画像信号を 間欠的に読み出すための前記画素間隔を大きくすることを特徴とする請求項 2記載 の撮像装置。
[7] 前記予備発光の動作前に前記固体撮像素子により撮像された画像情報を記憶す る記憶手段をさらに有し、
前記制御手段は、前記固体撮像素子により前記予備発光の直前の撮像動作が開 始されたとき、当該撮像動作およびその直後の前記予備発光時の撮像動作により撮 像される画像の代わりに、前記記憶手段に記憶された画像情報を読み出して、後段 の画像表示処理装置に出力することを特徴とする請求項 2記載の撮像装置。
[8] 前記固体撮像素子は、 XYアドレス型のイメージセンサカゝらなることを特徴とする請 求項 1記載の撮像装置。
[9] 前記 XYアドレス型のイメージセンサは、 CMOSイメージセンサ力もなることを特徴と する請求項 8記載の撮像装置。
[10] 各画素の画素信号に対してランダムアクセスが可能な固体撮像素子を用い、フラッ シュを照射して画像を撮像するための撮像方法において、
前記フラッシュの本発光の動作前に前記フラッシュの予備発光を行い、前記予備 発光時の画像を前記固体撮像素子が撮像する予備発光時撮像ステップと、 検波手段が、前記予備発光時に撮像された画像の明るさを検波する予備発光時 検波ステップと、
演算手段が、前記予備発光時に検波された画像の明るさに基づいて前記フラッシ ュの前記本発光時の光量を演算する演算ステップと、
を含み、
前記予備発光時撮像ステップでは、前記固体撮像素子の全画素の露光動作を同 時に開始した後、各画素の画素信号を所定の画素間隔で間欠的に読み出すように したことを特徴とする撮像方法。
[11] 前記予備発光時撮像ステップの前に、前記フラッシュを発光させずに前記固体撮 像素子が画像を撮像する予備発光前撮像ステップと、
前記検波手段が、前記予備発光前撮像ステップでの撮像画像信号を基に画像の 明るさを検波する予備発光前検波ステップと、
をさらに含み、
前記予備発光前撮像ステップでは、前記固体撮像素子の全画素の露光動作を同 時に開始した後、各画素の画素信号を所定の画素間隔で間欠的に読み出すように し、
前記演算ステップでは、前記予備発光前検波ステップおよび前記予備発光時検波 ステップでそれぞれ検波された明るさの差分値に基づいて前記フラッシュの前記本 発光時の光量を演算するようにしたことを特徴とする請求項 10記載の撮像方法。
[12] 各画素の画素信号に対してランダムアクセスが可能な固体撮像素子を用い、フラッ シュを照射して画像を撮像するための撮像制御処理をコンピュータに実行させる撮 像制御プログラムにお ヽて、
前記フラッシュの本発光の動作前に前記フラッシュの予備発光を行わせて、前記予 備発光時の画像を前記固体撮像素子により撮像させ、前記予備発光時の撮像画像 信号を基に検波手段により撮像画像の明るさを検波させ、前記予備発光の動作時に は、前記固体撮像素子の全画素の露光動作を同時に開始させた後、各画素の画素 信号を所定の画素間隔で間欠的に読み出すようにした制御手段、
前記予備発光時に前記検波手段により検波された画像の明るさに基づいて前記フ ラッシュの前記本発光時の光量を演算する演算手段、 として前記コンピュータを機能させることを特徴とする撮像制御プログラム。
前記制御手段はさらに、前記予備発光の直前に、前記フラッシュを発光させずに前 記固体撮像素子により画像を撮像させ、前記予備発光の直前での撮像画像信号を 基に前記検波手段により撮像画像の明るさを検波させ、
前記演算手段はさらに、前記予備発光の直前および前記予備発光時にそれぞれ 前記検波手段により検波された明るさの差分値に基づいて前記フラッシュの前記本 発光時の光量を演算するようにし、
前記制御手段は、前記予備発光の直前での前記固体撮像素子の撮像においても 、前記固体撮像素子の全画素の露光動作を同時に開始させた後、各画素の画素信 号を所定の画素間隔で間欠的に読み出すようにしたことを特徴とする請求項 12記載 の撮像制御プログラム。
PCT/JP2005/014341 2004-08-05 2005-08-04 撮像装置、撮像方法および撮像制御プログラム WO2006013945A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP05768887A EP1775940A4 (en) 2004-08-05 2005-08-04 IMAGING APPARATUS, IMAGING METHOD AND IMAGE CONTROL PROGRAM
US11/659,234 US7834931B2 (en) 2004-08-05 2005-08-04 Apparatus and method for capturing an image using a flash and a solid-state image pickup device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004229662A JP2006050337A (ja) 2004-08-05 2004-08-05 撮像装置、撮像方法および撮像制御プログラム
JP2004-229662 2004-08-05

Publications (1)

Publication Number Publication Date
WO2006013945A1 true WO2006013945A1 (ja) 2006-02-09

Family

ID=35787224

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/014341 WO2006013945A1 (ja) 2004-08-05 2005-08-04 撮像装置、撮像方法および撮像制御プログラム

Country Status (6)

Country Link
US (1) US7834931B2 (ja)
EP (1) EP1775940A4 (ja)
JP (1) JP2006050337A (ja)
KR (1) KR20070054183A (ja)
CN (1) CN1993982A (ja)
WO (1) WO2006013945A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7944501B2 (en) * 2004-12-28 2011-05-17 Canon Kabushiki Kaisha Image sensing apparatus and image sensing apparatus control method
TW200746409A (en) * 2005-12-01 2007-12-16 Matsushita Electric Ind Co Ltd Solid-state image pickup device and camera including the same
JP4695541B2 (ja) * 2006-04-28 2011-06-08 三星電子株式会社 撮像装置
JP4659701B2 (ja) 2006-07-28 2011-03-30 キヤノン株式会社 撮像装置及びその制御方法
JP2008070611A (ja) * 2006-09-14 2008-03-27 Casio Comput Co Ltd 撮像装置、露出条件調整方法及びプログラム
US7859573B2 (en) * 2007-05-31 2010-12-28 Aptina Imaging Corporation Methods and apparatuses for image exposure correction
KR100904172B1 (ko) * 2007-11-28 2009-06-23 (주)아이엘에스커뮤니케이션 Ｌｅｄ 제어를 통한 움직이는 대상체의 영상 데이터 획득방법, 그를 위한 라인 노출 방법 및 영상 데이터 획득 장치
JP5258527B2 (ja) * 2008-11-27 2013-08-07 キヤノン株式会社 カメラシステムおよび撮像装置
KR101589013B1 (ko) * 2009-03-16 2016-01-27 삼성전자주식회사 플래시 발광 제어 방법 및 장치
US8768158B2 (en) * 2010-02-01 2014-07-01 Canon Kabushiki Kaisha Image pickup apparatus, flash apparatus, and camera system
JP5895334B2 (ja) * 2010-08-23 2016-03-30 株式会社ニコン 発光制御装置及び撮像装置
JP2012063664A (ja) * 2010-09-17 2012-03-29 Nikon Corp 測光装置及び電子カメラ
KR101739380B1 (ko) * 2011-04-11 2017-06-08 삼성전자주식회사 디지털 영상 촬영 장치 및 방법
JP2013005017A (ja) * 2011-06-13 2013-01-07 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
US8904451B2 (en) * 2012-04-13 2014-12-02 Theplatform, Llc Systems for prioritizing video processing events based on availability of media file and agent to process the event type
JP6025470B2 (ja) * 2012-09-13 2016-11-16 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
JP2015032917A (ja) * 2013-07-31 2015-02-16 株式会社東芝 固体撮像装置
JP6270854B2 (ja) * 2013-08-30 2018-01-31 マクセル株式会社 情報処理装置、情報処理方法、及び、プログラム
JP6220225B2 (ja) * 2013-10-30 2017-10-25 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、及び記録媒体
JP6814967B2 (ja) * 2016-06-17 2021-01-20 パナソニックＩｐマネジメント株式会社 撮像装置
KR20180056962A (ko) * 2016-11-21 2018-05-30 삼성전자주식회사 전원 제어 회로를 포함하는 이벤트 기반 센서
JP7158880B2 (ja) * 2018-04-04 2022-10-24 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP7103839B2 (ja) * 2018-05-07 2022-07-20 シャープ株式会社 電子機器、制御装置、制御方法及び制御プログラム
WO2020137217A1 (ja) * 2018-12-27 2020-07-02 富士フイルム株式会社 撮像素子、撮像装置、画像データ処理方法、及びプログラム
JP6803960B1 (ja) * 2019-12-09 2020-12-23 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 画像処理装置、画像処理方法、プログラム、及び記録媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261899A (ja) * 1998-03-12 1999-09-24 Canon Inc 固体撮像装置
JP2000041186A (ja) * 1998-07-22 2000-02-08 Minolta Co Ltd デジタルカメラおよびその制御方法
JP2002247443A (ja) * 2001-02-21 2002-08-30 Sanyo Electric Co Ltd ディジタルカメラ
JP2003333419A (ja) * 2002-05-13 2003-11-21 Fuji Photo Film Co Ltd 撮像装置
JP2004147278A (ja) * 2001-12-28 2004-05-20 Fuji Photo Film Co Ltd 固体電子撮像装置およびその駆動方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5660418A (en) * 1979-10-23 1981-05-25 Minolta Camera Co Ltd Photometric method for flash photography and its device
JP3170722B2 (ja) * 1991-09-03 2001-05-28 株式会社ニコン 露出演算装置
JPH05127215A (ja) * 1991-10-31 1993-05-25 Sony Corp カメラ
JPH06141225A (ja) * 1992-10-27 1994-05-20 Canon Inc 固体撮像装置
JP3265692B2 (ja) * 1993-02-23 2002-03-11 ミノルタ株式会社 定常光とフラッシュ光を分離測光・制御する機能を有したカメラ
JP3627821B2 (ja) * 1994-05-12 2005-03-09 オリンパス株式会社 電子的撮像装置
JP3780012B2 (ja) * 1995-08-17 2006-05-31 キヤノン株式会社 カメラシステム
JPH1032750A (ja) * 1996-07-18 1998-02-03 Sanyo Electric Co Ltd 電子スチルカメラ
US6069659A (en) * 1997-06-03 2000-05-30 Olympus Optical Co., Ltd. Strobe device that prevents the flicker of flashlight and flashing method thereof
JPH11196332A (ja) * 1997-12-26 1999-07-21 Canon Inc 固体撮像装置
JPH11237665A (ja) * 1998-02-20 1999-08-31 Canon Inc 電子画像撮影装置
US6906751B1 (en) * 1998-07-22 2005-06-14 Minolta Co., Ltd. Digital camera and control method thereof
JP2000111979A (ja) * 1998-10-06 2000-04-21 Nikon Corp 電子カメラ
JP3639734B2 (ja) 1998-12-28 2005-04-20 キヤノン株式会社 固体撮像装置
JP3682906B2 (ja) * 1999-03-23 2005-08-17 コニカミノルタフォトイメージング株式会社 デジタルカメラ
JP2001298659A (ja) * 2000-02-08 2001-10-26 Canon Inc 撮像装置、画像処理システム、撮像方法、及び記憶媒体
JP2001285720A (ja) * 2000-04-03 2001-10-12 Fuji Film Microdevices Co Ltd Ｍｏｓ型固体撮像装置および電子カメラ
JP4518616B2 (ja) * 2000-04-13 2010-08-04 ソニー株式会社 固体撮像装置およびその駆動方法並びにカメラシステム
JP3610291B2 (ja) * 2000-08-21 2005-01-12 オリンパス株式会社 電子カメラ
JP2002142151A (ja) * 2000-10-31 2002-05-17 Hitachi Ltd 撮像装置
FI111417B (fi) * 2001-06-01 2003-07-15 Nokia Corp Digitaalikameran salamavalon ohjaus
US6546203B2 (en) * 2001-06-21 2003-04-08 Hewlett-Packard Company Camera with adjustable strobe energy
JP4421793B2 (ja) * 2001-07-13 2010-02-24 富士フイルム株式会社 ディジタルカメラ
US7218353B2 (en) * 2001-12-26 2007-05-15 Nikon Corporation Electronic camera that selectively performs different exposure calculation routines
CN1169352C (zh) * 2001-12-28 2004-09-29 富士胶片株式会社 固体电子图像感应装置及其控制方法
JP3910180B2 (ja) * 2003-01-14 2007-04-25 エーエスエムエル ネザーランズ ビー．ブイ． リソグラフィ装置のレベルセンサ
JP4574185B2 (ja) * 2004-02-17 2010-11-04 キヤノン株式会社 撮像装置及び閃光装置の制御方法
US7265364B2 (en) * 2004-06-10 2007-09-04 Asml Netherlands B.V. Level sensor for lithographic apparatus
JP3748267B2 (ja) * 2004-06-16 2006-02-22 ソニー株式会社 撮像装置
US7428378B1 (en) * 2005-07-29 2008-09-23 Pure Digital Technologies, Inc. Controlling an exposure time for digital cameras

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261899A (ja) * 1998-03-12 1999-09-24 Canon Inc 固体撮像装置
JP2000041186A (ja) * 1998-07-22 2000-02-08 Minolta Co Ltd デジタルカメラおよびその制御方法
JP2002247443A (ja) * 2001-02-21 2002-08-30 Sanyo Electric Co Ltd ディジタルカメラ
JP2004147278A (ja) * 2001-12-28 2004-05-20 Fuji Photo Film Co Ltd 固体電子撮像装置およびその駆動方法
JP2003333419A (ja) * 2002-05-13 2003-11-21 Fuji Photo Film Co Ltd 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1775940A4 *

Also Published As

Publication number Publication date
EP1775940A4 (en) 2008-01-23
JP2006050337A (ja) 2006-02-16
US7834931B2 (en) 2010-11-16
KR20070054183A (ko) 2007-05-28
US20090213247A1 (en) 2009-08-27
EP1775940A1 (en) 2007-04-18
CN1993982A (zh) 2007-07-04

Similar Documents

Publication Publication Date Title
WO2006013945A1 (ja) 撮像装置、撮像方法および撮像制御プログラム
TWI293532B (ja)
US7428378B1 (en) Controlling an exposure time for digital cameras
US7884868B2 (en) Image capturing element, image capturing apparatus, image capturing method, image capturing system, and image processing apparatus
CN101489037B (zh) 摄像设备及其控制方法
US8072497B2 (en) Imaging apparatus and recording medium
CN103905731B (zh) 一种宽动态图像采集方法及系统
JP2007336470A (ja) 撮像装置及び撮像方法
JP2006246354A (ja) 撮影装置及び撮影プログラム
US20100272423A1 (en) Shake correcting apparatus and imaging apparatus having the same
US7400355B2 (en) Image pickup apparatus and photometer
JP2006148550A (ja) 画像処理装置及び撮像装置
CN109379535A (zh) 拍摄方法和装置、电子设备、计算机可读存储介质
JP2008187614A (ja) 撮影装置
JP2013118474A (ja) 撮像装置及び撮像装置の制御方法
JP2012063664A (ja) 測光装置及び電子カメラ
CN112468690B (zh) 数字摄像设备、数字摄像方法及存储介质
JP2003219259A (ja) デジタルカメラにおける片ぼけの補正方法及びデジタルカメラ
JP7034792B2 (ja) 撮像装置とその制御方法及びプログラム
JP2018037741A (ja) イメージセンサを有する撮像装置及びその制御プログラム
JP2006140581A (ja) 撮像素子及び画像入力装置
JP2020113909A (ja) 撮像装置、画像処理装置、および、プログラム
JP2002305689A (ja) 電子カメラ
JP2006222805A (ja) 撮影装置、感度調節方法及び感度調節プログラム
JP2010232909A (ja) 撮像装置及びその駆動制御方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005768887

Country of ref document: EP

Ref document number: 293/DELNP/2007

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 1020077002695

Country of ref document: KR

Ref document number: 200580026352.3

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2005768887

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11659234

Country of ref document: US