WO2008153085A1 - 撮像装置、撮像制御方法および撮像制御プログラム - Google Patents

撮像装置、撮像制御方法および撮像制御プログラム Download PDF

Info

Publication number
WO2008153085A1
WO2008153085A1 PCT/JP2008/060723 JP2008060723W WO2008153085A1 WO 2008153085 A1 WO2008153085 A1 WO 2008153085A1 JP 2008060723 W JP2008060723 W JP 2008060723W WO 2008153085 A1 WO2008153085 A1 WO 2008153085A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
signal
light
pixel
shielded
Prior art date
Application number
PCT/JP2008/060723
Other languages
English (en)
French (fr)
Inventor
Mitsuaki Kita
Nobuyuki Sato
Masashi Wakatsuki
Shinya Ishibashi
Jun Minakuti
Takahiro Koyama
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP08765494A priority Critical patent/EP2157784A4/en
Priority to CN2008800200299A priority patent/CN101682699B/zh
Priority to JP2009519294A priority patent/JP5229224B2/ja
Priority to US12/664,412 priority patent/US8237812B2/en
Publication of WO2008153085A1 publication Critical patent/WO2008153085A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Definitions

  • Imaging device imaging control method, and imaging control program
  • the present invention relates to an imaging apparatus, an imaging control method, and an imaging control program that are suitable for use in imaging with a long exposure using an imaging element.
  • the exposure time When taking an image with a small amount of light per unit time on the film or image sensor in the imaging device, set the exposure time longer, such as several tens of seconds to several minutes, or more to increase the amount of light.
  • a dark subject such as a dark place or an astronomical photograph, or narrowing down the aperture to increase the depth of the subject, an example of such an image is considered. It is done.
  • Imaging such as CCD (Charge Coupled Device) MOs (Simple Om ementary Met a l-0x i de Semi conductor) Imager etc. that converts the emitted light into an electrical signal by photoelectric conversion and outputs it
  • an imaging signal output at a predetermined period such as a frame period is added for each pixel to widen the dynamic range.
  • Patent Document 1 describes an image signal obtained from the imaging element for each frame. A configuration in which the dynamic range is expanded by accumulative addition is described in Patent Document 1 (Japanese Patent Application Laid-Open No. 5-231642).
  • a white spot (hereinafter, white spot) due to a leak current generated in the pixel portion of the image sensor is caused by a fixed pattern inherent to the image sensor, and the signal level of the white spot is proportional to the exposure time. Get higher. For this reason, the white spot near the black signal level during short-time exposure becomes a signal level that can be visually recognized during long-time exposure, and the number of visible white spots is exponentially increased. This is because that.
  • the white spot signal level due to the leakage current results in a signal level that overflows the memory word length due to the addition, the information of the pixel where the white spot has occurred is clipped and lost at the upper limit of the dynamic range. It will be. If the number of white spots in one screen is sufficiently small, the problem can be solved by performing interpolation using the signals of adjacent pixels.
  • imaging is performed in a state where the image sensor is shielded from light, and a white point is canceled using an image signal obtained thereby.
  • the image was obtained with the image sensor illuminated with light from the subject, then with the exposure time set equal and the image sensor shaded to obtain the light.
  • An image signal (hereinafter referred to as a light-shielded image signal) obtained in a light-shielded state from an image signal (hereinafter referred to as a non-light-shielded image signal) is subtracted for each pixel.
  • the white point signal level increases in the pixel where the white point occurs according to the exposure time, while pixels other than the white point ideally have the black signal level. It is possible to cancel a point.
  • Patent Document 2 Japanese Patent Laid-Open No. 2 0 3 0-2 1 9 2 8 2
  • Patent Document 3 Japanese Patent Laid-Open No. 8-5 1 5 7 1
  • a non-shielded image signal is thus obtained. Describes a technique in which the fixed pattern noise of the image sensor is removed by subtracting the light-shielded image signal from pixel to pixel.
  • the light-shielded image signal is set to 1 ZN, and the subtraction process of the light-shielded image signal from the non-light-shielded image signal is repeated N times so that white point removal is performed more appropriately. .
  • dark current accumulation cannot be ignored when performing extremely long exposures. That is, when the exposure is performed for a long time, there is a problem that the output signal of the image sensor may reach the saturation signal level only with the charge for the accumulated dark current.
  • an object of the present invention is to provide an imaging apparatus, an imaging control method, and an imaging control program capable of effectively removing white spots while maintaining the dynamic range of the subject signal.
  • the present invention includes a plurality of pixels, accumulates charges generated by photoelectric conversion for each pixel, and includes pixel data including charges accumulated in each pixel.
  • An image sensor that outputs an image signal;
  • First and second storage units for storing imaging signals
  • An adder that adds the imaging signal for each pixel data
  • the exposure time is divided into a plurality of number of divisions, and the image pickup signal is output from the image sensor for each divided exposure time, and the image pickup signal for each divided exposure time is cumulatively added for each pixel data.
  • the image signal is output from the image sensor for each divided exposure time obtained by dividing the exposure time into a plurality of division times, and the image pickup signal for each divided exposure time is cumulatively added for each pixel data.
  • each pixel data cumulatively added for a plurality of divisions stored in the first storage unit is obtained. Subtracting part to subtract
  • This invention has a plurality of pixels, accumulates electric charges generated by photoelectric conversion for each pixel, and outputs an imaging signal composed of pixel data composed of electric charges accumulated in each pixel.
  • an image pickup signal is output as a non-light-shielded image signal from the image sensor for each divided exposure time obtained by dividing the exposure time into a plurality of division times.
  • An imaging control method is provided.
  • This invention has a plurality of pixels, accumulates electric charges generated by photoelectric conversion for each pixel, and outputs an imaging signal composed of pixel data composed of electric charges accumulated in each pixel.
  • a program that causes a computer to execute an imaging method for imaging using
  • the imaging method is
  • the present invention reads charges from the non-light-shielded imaging device at each timing obtained by dividing the exposure time, and removes the component corresponding to the negative current component from the imaging signal based on the read charges. Then, the digital image signal from which the negative current component has been removed is cumulatively added and stored every time it is read out to the first storage unit, and stored in the first storage unit after the exposure time is completed. Since the data corresponding to the charge accumulated in the time corresponding to the exposure time is subtracted from the digital imaging signal thus output and output corresponding to the exposure time, the digital imaging signal is accumulated in the first storage unit. This has the advantage of suppressing the data clipping during addition and ensuring the dynamic range.
  • FIG. 1 is a schematic diagram for conceptually explaining an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a configuration of an example of an imaging apparatus according to an embodiment of the present invention.
  • FIG. 3 is a schematic diagram showing the configuration of an example of a memory.
  • FIG. 4 is a block diagram showing a configuration of an example of an addition / subtraction unit.
  • FIG. 5 is a timing chart showing an example of an imaging operation in the imaging apparatus.
  • FIG. 6 is a flowchart showing processing according to one embodiment of the present invention.
  • FIG. 7 is a flowchart showing a process for determining each of the number of divisions and one sheet exposure time according to the embodiment of the present invention.
  • FIG. 8 is a flowchart showing a process for determining the number of divisions and the exposure time for one sheet in the embodiment of the present invention.
  • FIG. 9 is a flowchart showing another example of the process according to the embodiment of the present invention.
  • FIG. 10 is a schematic diagram for explaining an example of the advantage of the control according to the embodiment of the present invention.
  • FIG. 11 is a schematic diagram for explaining an example of advantages of control according to an embodiment of the present invention.
  • FIG. 12 is a schematic diagram for explaining an example of the advantage of the control according to the embodiment of the present invention.
  • FIG. 1 conceptually shows the exposure processing according to the present invention.
  • exposure is divided in the image sensor in the same manner while the image sensor is shielded from light, and the light-shielded image signals obtained by the divided exposure in the shielded state are accumulated (see FIG. 1B).
  • the image pickup signal is obtained by subtracting the accumulated light-shielded image signal from the accumulated non-light-shielded image signal (see FIG. 1C).
  • the non-light-shielded image signal obtained by the exposure by the digital clamp for each exposure The signal component dark due to the dark current of the imaging element is subtracted from the light-shielded image signal, and the non-light-shielded image signal and the light-shielded image signal in which the dark current signal component dark (hereinafter referred to as the dark current component dark) is subtracted are accumulated. I am doing so. That is, in the non-shielding state in which the image sensor is irradiated with light from the subject, as illustrated in FIG.
  • Equation (1) the value I MGi represents the non-light-shielded image signal exposed at the exposure time t. Also, here, ⁇ current component dark is the clamping action The components that are canceled due to temperature change, and components that change due to temperature changes are also included.
  • the light-shielded image signals from which the current component dark has been reduced are added for each pixel to obtain an added light-shielded image signal IMGdk add . This can be expressed as Equation (2) below.
  • the value I MGdki represents the light-shielded image signal exposed at the exposure time t.
  • IMGdk add (IMGdk t -dark)... (2)
  • the imaging signal I MGnr add has a wide dynamic range because the white spot due to the fixed pattern is removed from the non-shielded image signal and the influence of the high current is removed.
  • Memory is used. That is, for example, in the case of a non-shielded image signal, the non-shielded image signal obtained by the first exposure is written to the memory, and when the non-shielded image signal is obtained by the next exposure, the non-shielded image signal previously written from the memory is obtained. Is added, and the read-out non-shielded image signal and the non-shielded image signal obtained in the next exposure are added, and the addition result is overwritten in the memory.
  • the number of bits allocated to one pixel in this memory and the number of bits corresponding to the calculation for one pixel in the adder that adds the non-shielded image signal and the shielded image signal are captured.
  • the AZD converter that performs A / D (Analog / Digital) conversion of the output of the element the number of quantization bits used for AZD conversion of the data of one pixel is set larger. As a result, the clip and rounding error at the time of adding the non-light-shielded image signal and the light-shielded image signal can be suppressed, and the image quality can be improved.
  • FIG. 2 shows an example of the configuration of the imaging apparatus 1 according to the embodiment of the present invention.
  • This imaging device 1 receives light incident through an optical system 10 and a mechanical shutter 11 1 by an imaging device 12, and receives an imaging signal obtained by converting the received light into an electrical signal by photoelectric conversion. The signal is processed and converted into a digital signal by the AZD converter 13 to obtain a digital image signal.
  • a shutter other than a mechanical shutter such as a liquid crystal shutter may be used.
  • This digital imaging signal is processed by the digital clamp circuit 14, the adder / subtractor 15 and the memory 16 as described later, the image signal processor 17 performs predetermined image processing, and the storage processor 18 records it. Record on media.
  • the image processing unit 17 also outputs image data to be displayed on the viewfinder 20 for confirming the captured image.
  • the control unit 19 controls the entire imaging apparatus 1.
  • the control unit 19 has a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory), and also performs timing control such as drive control of the image sensor and frame units and pixel units.
  • a synchronization signal generation unit that generates a synchronization signal is provided.
  • the CPU controls each part of the imaging device 1 using the RAM as a work memory according to the program stored in the ROM.
  • 11 1 part 2 5 is equipped with a release button for starting imaging, and multiple controls for setting the functions of the imaging device 1, such as shot speed, aperture, zoom, and focus.
  • a control signal corresponding to the operation is output to the control unit 19.
  • the optical system 10 includes a lens system, an aperture mechanism, a focus mechanism, a zoom mechanism, and the like, and the aperture, focus, zoom, and the like are controlled based on control of the control unit 19 and manual operation.
  • the mechanical force 11 is configured to be able to block an optical path between the lens system 10 and the image sensor 12 and physically blocks light incident on the image sensor 12. For example, when a release button (not shown) is pressed by the user, the mechanical shutter 11 is opened by the control of the control unit 19, and light is incident on the image sensor 11 through the optical system 10.
  • the mechanical shirt 11 is controlled so as to be automatically closed after a predetermined time from the open state, for example, according to a preset shutter speed.
  • the image sensor 12 is, for example, a CMO S (Complementary Metal-Oxide An image sensor using a semiconductor (hereinafter abbreviated as CMO S) can be applied. However, the present invention is not limited to this, and a CCD (Charge Coupled Device) can also be applied as the imaging device 12.
  • CMO S Complementary Metal-Oxide
  • CCD Charge Coupled Device
  • the image sensor 12 is a CMOS.
  • CMOS can control readout for each pixel. For example, it can control to read a pixel signal for each line. In the CMOS, the extracted charge is read and the extracted charge is reset.
  • the image sensor 12 can be both a rolling shirt and a global shutter.
  • the rolling shutter starts exposure after resetting for each line, and outputs pixel signals for one line when the exposure period ends. Therefore, the exposure period of each line is shifted by one line.
  • the global shirter resets all the lines at once, and exposure starts on all lines simultaneously. Then, signal charges are read from the photodiode to the charge detection unit simultaneously in the imaging region as a whole.
  • An imaging signal is output from the imaging device 12 as a signal for each pixel.
  • the imaging signal output from the imaging element 12 is subjected to signal processing such as noise suppression processing and gain control processing by a signal processing unit (not shown) and is input to the D converter 13.
  • the AZ D converter 13 converts the imaging signal input as an analog signal into a digital signal having a quantization bit number X for each pixel.
  • the digital imaging signal output from the AZD converter 13 is supplied to the digital clamp circuit 14.
  • the digital clamp circuit 14 digitally counts the supplied digital imaging signal and fixes the black signal level to a predetermined value.
  • the digital clamp circuit 14 corresponds to the average value of the signals corresponding to multiple pixels used as optical black for the digital imaging signal whose output from the image sensor 12 is AZD converted. Subtract from the signal you want.
  • the digital imaging signal whose black signal level is fixed by the digital clamp circuit 14 is supplied to the adder / subtractor 15.
  • the addition / subtraction unit 15 includes an addition processing unit 15 A and a subtraction processing unit 15 B. Using the memory 16, the accumulated addition processing of the supplied digital imaging signal and the data subjected to the cumulative addition processing are performed. Subtract each other.
  • the memory 16 has two areas, a memory area 16 A and a memory area 16 B (represented as area # 1 and area # 2 in FIG. 3, respectively). Each of them has a capacity to store at least one frame of digital imaging signal.
  • each of the memory areas 16 A and 16 B can be accessed in units of pixels, and the number of quantization bits per pixel of the AZD converter 13 per pixel is further exceeded. The number of bits is assigned. For example, if the A / D converter 13 A / D-converts and outputs 1-pixel data with a 14-bit quantization bit rate, 1 pixel in the memory areas 16 A and 16 B As a min- ute area, at least 15 bits of S damage ij are applied. It is more preferable if the number of bits allocated to one pixel is larger.
  • FIG. 4 shows an example of the configuration of the addition / subtraction unit 15.
  • the addition processing unit 15 A includes an adder 30 and switches 3 1 and 3 2.
  • the subtraction processing unit 15 B includes a subtracter 33.
  • the adder 30 has a word length that is at least the number of bits exceeding the number of quantization bits for each pixel of the AZ converter 13. Switches 3 1 and 3 2 select memory areas 16 A and 16 B.
  • Addition / subtraction unit 1 5 A digital imaging signal is supplied to one input terminal of the adder 30.
  • data is read out from the memory area 16 A and supplied to the other input terminal of the adder 30 through the switch 3 2.
  • the adder 30 the digital imaging signal input to one input terminal and the data input to the other input terminal are added.
  • the addition result by the adder 30 is overwritten in the memory area 16 A via the switch 31. Note that the addition of data in the adder 30 is performed for each pixel corresponding to each other.
  • the number of bits exceeding the number of quantization bits for each pixel of the A / D converter 13 is allocated to one pixel. As a result, it is possible to suppress errors caused by carry-out of data based on carry, data rounding processing, etc. that occur when cumulative addition of digital imaging signals is performed.
  • data read out from the memory area 16 A for each pixel is supplied to one input terminal of the subtractor 33.
  • the data read out from the memory area 16 ⁇ for each pixel is supplied to the other input terminal of the subtractor 33.
  • the subtracter 33 subtracts the data input to the other input terminal from the data input to one input terminal and outputs the result.
  • the subtraction process in the subtracter 33 is performed for each pixel corresponding to each other, for example.
  • the digital image signal output from the adder / subtractor 15 is supplied to the image signal processor 17.
  • the image signal processing unit 17 converts the supplied digital imaging signal into image data of a predetermined format, and performs image processing such as image quality correction on the image data.
  • the image data output from the image signal processing unit 17 is supplied to the storage processing unit 18.
  • the save processing unit 1 8 converts the supplied image data into, for example, JPEG (Joint The image is compressed and encoded by a predetermined compression code method that is similar to the Photographic Experts Group) method and recorded on a recording medium such as the memory 21.
  • JPEG Joint Photographic Experts Group
  • the release button is pressed and the ON state is entered at time t i (see Fig. 5A).
  • the release button is automatically set to ⁇ FF state when a time corresponding to the shutter speed has elapsed since being set to the ON state.
  • the mechanical shutter 11 is opened (see Fig. 5B), and light from the subject is irradiated to the image sensor 12 through the optical system 10 and is not shielded by the image sensor 12.
  • the control unit 19 generates a vertical synchronizing signal V D (see FIG. 5C) and supplies it to the image sensor 12.
  • the image sensor 12 outputs the charges stored in all the pixels simultaneously by the global shirter function (G SH), and resets the charges in all the pixels.
  • the memory clearing timing may be before the accumulation of data to the memory 16 is started, and is not limited to the time of the first pixel reading, for example, when the release button is pressed. You may do so.
  • the image sensor 12 sequentially reads out the charges accumulated in each pixel by the rolling shutter function (RSH) in units of lines (see Fig. 5D), Is output. Charge accumulation starts immediately after the pixel from which the charge has been read out.
  • RSH rolling shutter function
  • the imaging signal sequentially output in line units from the imaging device 12 is A / D converted by the AZD converter 13 and converted into a digital imaging signal in which the number of quantization bits per pixel is X bits.
  • the black signal level is fixed by being clamped by the digital clamp circuit 14. By the clamping process in the digital clamp circuit 14, the process of subtracting the saddle current component d ar k of the image sensor from the image signal described with reference to FIG. 1 is realized.
  • the digital imaging signal clamped by the digital clamp circuit 14 is supplied to the adder / subtractor 15 and is cumulatively written in the memory 16 (see Fig. 5E).
  • the mechanical-shirt motor 1 1 are open, since the image pickup element 1 2 is exposed by the light from an object, the digital imaging signal corresponds to the non-shaded image signal described above.
  • terminals 3 1 A and 3 2 A are selected by switches 3 1 and 3 2, respectively.
  • the digital imaging signal is supplied to one input terminal of the adder 30 and the data read from the memory area 16 A of the memory 16 is added to the adder 30.
  • 30 is supplied to the other input terminal.
  • the stored contents of the memory 16 are cleared at the previous time, and the value 0 is supplied to the other input terminal of the adder 30 for each pixel.
  • data supplied to one and the other input terminals is added for each pixel, and is overwritten in the memory area 16 A via the switch 31.
  • the digital image signal output from the image sensor 12 2 is clamped, and the clamped digital image signal is written to the memory area 16 A.
  • the digital imaging signal is written to the memory area 16 A by adding the data read from the memory area 16 A and the digital imaging signal that has been clamped and supplied to the addition / subtraction unit 15. This is added for each pixel by the device 30 and overwritten in the memory area 16 A.
  • Time t 4 is, for example, when the mechanical shirt motor 1 1 is shifted from the open state to the closed state.
  • FIG. 1A and Equation (1) are used for the divided exposure during the period when the mechanical shirt 11 is in the open state and the light from the subject is irradiated on the image sensor 12.
  • An addition process is performed on the result of subtracting the dark current dark from the non-shielded image signal.
  • the mechanical state remains closed, that is, the image sensor 12 is exposed to light and the exposure process of the image sensor 12 is performed.
  • the exposure time is approximately the same as the exposure time (1 minute in this example).
  • the image sensor 1 2 is exposed to light.
  • an addition process is performed on the result of subtracting the dark current component dark from the light-shielded image signal, as described using FIG. 1B and Equation (2).
  • the exposure process when the mechanical shirt 11 is closed is performed in substantially the same manner as the exposure process when the image sensor 12 is irradiated with light from the subject as described above.
  • the imaging element 1 2 is a vertical synchronizing signal in the control unit 1 9 at time t 5 after a predetermined time instant t the charge readout is performed accumulated in the pixel in the divided exposure of the last exposed with a non-light-shielded state VD Is generated (see FIG. 5C) and supplied to the image sensor 12.
  • the charges accumulated in all the pixels are simultaneously output by the global shutter function according to the vertical synchronization signal VD, and the accumulation of the charges is started in each pixel immediately after (see FIG. 5D).
  • a vertical synchronizing signal VD generated by the control unit 1 9, Supplied to image sensor 1 2.
  • the image sensor 12 sequentially reads out the charges accumulated in each pixel by the rolling shutter function in units of lines and outputs them as an image signal (FIG. 5D).
  • the pixel from which the charge has been read starts to accumulate electric charges immediately after the read.
  • the imaging signal output from the imaging device 12 is converted into a digital imaging signal in which the quantization bit number of one pixel is X bits by the AZD converter 13 and clamped by the digital clamp circuit 14 and the black signal level is increased. Fixed Is done.
  • the digital imaging signal whose black signal level is fixed is supplied to the adder / subtractor 15, and the value for each pixel is cumulatively written in the memory 16 in the same manner as described above.
  • the digital image signal that is exposed in a state where the image sensor 12 is shielded is written to the memory area 16 B of the memory 16.
  • terminals 3 1 B and 3 2 B are selected by switches 3 1 and 3 2, respectively.
  • the digital imaging signal is supplied to one input terminal of the adder 30, and the data read from the memory area 16 B of the memory 16 is supplied to the other input terminal of the adder 30.
  • the stored contents of the memory 16 are cleared at the previous time, and the value 0 is supplied to the other input terminal of the adder 30 for each pixel.
  • the adder 30 data supplied to one input terminal and the other input terminal is added for each pixel, and is overwritten in the memory area 16 B via the switch 31.
  • corresponding pixel data is read from memory area 16 A and memory area 16 B, and one of subtracters 33 and It is supplied to the other input end.
  • the subtracter 33 subtracts the data supplied to the other input terminal from the data supplied to one input terminal and outputs the result. This process is performed for all the pixel data for one frame written in the memory area 16 A and the memory area 16 B, respectively.
  • white spots due to the fixed pattern of the image sensor 12 can be effectively removed, and captured image data in which deterioration of the dynamic range due to accumulation of ⁇ current components is suppressed can be obtained.
  • FIG. 6 is a flowchart showing an example of exposure processing according to the embodiment of the present invention. Each determination in this flowchart is made based on a predetermined program in the control unit 19, for example.
  • the shutter speed is set, and the number of divisions for performing the divided exposure in the exposure time determined by the shutter speed is determined.
  • step S21 in Fig. 7A 3 minutes, 5 minutes, etc. are set as the exposure time for one sheet at the time of factory shipment.
  • the user sets the shutter speed (mechanical shutter speed) to 60 minutes, for example, during imaging (step S 2 2).
  • step S 3 the number of divisions is set to 20 at the time of factory shipment, for example.
  • step S 3 2 the user sets the shutter speed to 60 minutes, for example, during imaging.
  • step S 10 the timing for reading out electric charges from the image sensor 12 is awaited.
  • the control unit 19 If it is determined that the read timing is reached, for example, the control unit 19 generates a vertical synchronization signal VD and supplies it to the image sensor 12.
  • the next step S 11 it is determined whether or not the electric charge read out from the image sensor 12 by this timing is accumulated by the first exposure after the release button is pressed. For example, time t 2 in FIG. 5, it is determined that the release button is to be due to the first exposure from being pressed.
  • step S 11 If it is determined in step S 11 that it is not due to the first exposure, the process proceeds to step S 13. On the other hand, if it is determined that it is due to the first exposure, the process proceeds to step S 12, the stored contents of the memory 16 are cleared, and the process proceeds to step S 13.
  • step S 13 it is determined whether the exposure is performed in a non-shielded state where the image sensor 12 is irradiated with light from the subject or the exposure is performed in a state where the image sensor 12 is shielded. If it is determined that the exposure is performed in a non-shielded state in which the image sensor 12 is irradiated with light from the subject, the process proceeds to step S 14. On the other hand, if it is determined that the exposure is performed with the image sensor 12 in a light-shielded state, the process proceeds to step S 15.
  • step S 14 a non-light-shielded image signal, which is a digital image signal obtained by exposure performed on the image sensor 12 2 in a non-light-shielded state, is supplied to the adder / subtractor 15, and as described above, Memory area 1 6 Cumulatively written to A.
  • step S 15 a light-shielded image signal, which is a digital image signal obtained by exposure performed with the image sensor being in a light-shielded state, is supplied to the adder / subtractor 15, as described above. Are accumulated in memory area 16 B of memory 16.
  • step S 16 the predetermined number of exposures according to the determined number of divisions has been completed. Judgment is made. If it is determined that the predetermined number of exposures have not yet been completed, the process returns to step S 10 and the next exposure timing is awaited.
  • step S 16 determines whether the predetermined number of exposures have been completed. If it is determined in step S 16 that the predetermined number of exposures have been completed, the process proceeds to step S 17.
  • step S 17 the adder / subtractor 15 cumulatively writes to the memory area 16 B from the non-light-shielded image signal that has been cumulatively written to the memory area 16 A based on the equation (3) described above. The process of subtracting the shaded image signal is performed for each pixel. This subtraction process for each pixel is performed on all the pixel data for one frame written in the memory area 16 A and the memory area 16 B, respectively.
  • steps S 10, S 11, S 12, and S 14 in FIG. 6 are represented as steps S 1 10, S i 11, S 1 1 2, and S 1 1 4.
  • step S 1 0 the force value C NT 1 indicating the number of divided exposures is initialized to 0. Thereafter, similarly to the processing shown in the flowchart of FIG. 6, exposure in a non-light-shielded state is performed. Step In SI 0 2, the count value CNT 1 is incremented every time the divided exposure is performed, and the count value CNT 1 is stored. If it is determined in step S 103 that the release has been released, a non-light-shielded image signal is added in memory area # 1 in step S 104.
  • step S 2 0 the force count value CNT 2 indicating the number of divided exposures is initialized to 0.
  • the subject signal component is assumed to be a signal component obtained by removing the noise component due to the fixed pattern of the image sensor 12 or the current component dark from the captured image signal based on the output from the image sensor 12. To do.
  • the subject signal component increases with the exposure time, and the dark current component also accumulates and increases.
  • the subject signal component and the heel current component are separated by the exposure time et.
  • the added non-shielded image signal component reaches the X bit, which is the maximum output signal level in the AZD converter, and after the exposure time et, the non-shielded image signal component level is saturated and clipped. . Therefore, the dynamic range of the subject signal is significantly reduced after the exposure time et.
  • divided exposure is performed by dividing the exposure time in long exposure, and the dark current component dark is subtracted from the subject signal component for each divided exposure. Therefore, the dark current component dark is subtracted before the non-light-shielded image signal component reaches the maximum output signal level of the AZD converter, and only the subject signal component can be cumulatively added as the non-light-shielded image signal.
  • the dynamic range can be secured.
  • the non-shielded image signal is a signal in which a subject signal component based on light from a subject and a noise component based on a fixed pattern of the image sensor 12 are combined.
  • the subject signal component increases with the exposure time and the noise component based on the fixed pattern also increases.
  • the dynamic range of the subject signal component is compressed by the accumulated noise component.
  • the mechanical shutter 11 is opened and exposure is performed to obtain a non-shielded image signal. Then, the mechanical shutter 11 is closed and substantially the same as the exposure time of the non-shielded image signal. Exposure for The shaded image signal is obtained. In the shaded image signal, only noise based on the fixed pattern of the imaging element 12 is accumulated. Therefore, by subtracting the light-shielded image signal component from the non-light-shielded image signal component after exposure of the light-shielded image signal, only the subject signal component is added to the non-light-shielded image signal as illustrated in Fig. 11 B. The dynamic range of the subject signal component can be secured.
  • the number of bits exceeding the number of quantum bits per pixel in the AZD converter 13 is assigned to one pixel.
  • An example of the benefits of allocating to is described.
  • the straight line indicating the non-shielded image signal component indicates the value in the memory area 16 A
  • the straight line indicating the defective component is the value in the memory area 16 B. It shall be shown.
  • the difference between the non-shielded image signal component in the memory area 16 A and the defective component in the memory area 16 B becomes the subject signal component based on the light from the subject.
  • the non-shielded image signal component cumulatively increases with the exposure time, and in the memory area 16 A, the cumulative result of the non-shielded image signal component is, for example, the exposure time. It is conceivable that the et component is saturated at the data length of X bits in et, and the cumulative component of X bits or more is clipped after the exposure time et.
  • the dynamic range of the subject signal component which is the result of subtracting the cumulative result of the defect component from the cumulative result of the non-light-shielded image signal component, is greatly reduced. Therefore, in the embodiment of the present invention, in the memory 16, 1 The number of bits exceeding the number of quantization bits per pixel of the AZD converter 13 (assuming Y bits) is assigned to the pixels. As a result, as illustrated in Fig. 12B, even if the exposure is performed for a long time, the accumulation result of the non-shielded image signal component is suppressed from being saturated in the memory area 16 A, and the subject signal component The dynamic range is secured (see Fig. 12 C).

Abstract

露光時間を分割した分割露光による撮像信号をＡ／Ｄ変換したディジタル撮像信号から暗電流成分を減じて、第１の記憶部に順次累積加算する。その後、撮像素子を遮光状態にして分割露光を行い、撮像信号をＡ／Ｄ変換したディジタル撮像信号から暗電流成分を減じて第２の記憶部に順次累積加算する。第１の記憶部に記憶されたディジタル撮像信号から第２の記憶部に記憶されたディジタル撮像信号を減じて出力する。第１、第２の記憶部は、Ａ／Ｄ変換された１画素の語長より長い語長を１画素に割り当てる。

Description

明 細 書
撮像装置、 撮像制御方法および撮像制御プログラム 技術分野
この発明は、 撮像素子を用いて長時間露光で撮像を行う際に用い て好適な撮像装置、 撮像制御方法および撮像制御プログラムに関す る。 背景技術
撮像装置においてフィルムや撮像素子に照射される単位時間当た りの光量が少ない状態で撮像を行う場合、 露光時間を数十秒乃至数 分またはそれ以上といったように長く設定し、 より多くの光が撮像 素子やフィルムに照射されるようにする必要がある。 このような撮 像が行われる例と しては、 例えば暗い場所での撮像や天体写真など 暗い被写体の撮像を行う場合、 絞りを絞り込み被写体深度を深く し て精密な撮像を行う場合などが考えられる。
C C D (Charge Coupled Devi ceノ やし M O s (し omp l ementary Met a l-0x i de Semi conductor) イメージャなどの、 照射された光を光電変 換によって電気信号に変換して出力するような撮像素子の場合、 フ レーム周期など所定周期で出力される撮像信号を画素毎に加算して ダイナミ ックレンジを広げることが行われる。 特許文献 1には、 撮 像素子からフレーム毎に得られる画像信号を累積加算してダイナミ ックレンジを広げるようにした構成が特許文献 1 (特開平 5 - 2 3 6 4 2 2号公報） に記載されている。
このような長時間露光などの撮像条件下においては、 撮像素子の 固定パターンに基づく暗時白点の数の増加や信号レベルの拡大が生 じ、 撮像で得られた画像データがノイズの非常に多い、 見苦しいも のになつてしまうおそれがある。 すなわち、 撮像素子の画素部で発 生するリーク電流による白点 （以下、 白点） は、 撮像素子に固有の 固定パターンに起因するものであり、 白点の信号レベルは露光時間 に比例して高くなる。 そのため、 短時間の露光においては黒信号レ ベル付近である白点が、 長時間露光では視認できる信号レベルとな つてしまい、 視認可能な喑時白点の数が指数的に増加することにな るからである。
ところで、 リーク電流による白点信号レベルが加算によりメモリ の語長をオーバーフローするような信号レベルとなってしまう場合 、 白点が発生した画素の情報は、 ダイナミックレンジ上限でク リ ツ プされ欠損することになる。 1画面中の白点の数が十分少ない場合 は、 隣接する画素の信号を用いて補間を行うことで問題を解決する ことができる。
一方、 長時間露光時においては、 上述したように、 白点が多数発 生することにより白点に隣接する画素も白点となる可能性が高く、 隣接画素を用いて補間を行っても画質が改善されないおそれがある 。 そのため、 撮像信号の加算によりダイナミ ックレンジを拡大する と共に、 白点をキャンセルする必要が生じる。
従来から、 この問題を解決するために、 撮像素子を遮光した状態 で撮像を行い、 それにより得られた画像信号を用いて白点をキャン セルすることが行われている。 例えば、 撮像素子に対して被写体か らの光を照射した状態で撮像を行った後、 露光時間を等しく して撮 像素子を遮光した状態で撮像を行い、 光を照射した状態で得られた 画像信号 （以下、 非遮光画像信号と呼ぶ） から遮光した状態で得ら れた画像信号 （以下、 遮光画像信号と呼ぶ） を、 画素毎に減算する 。 遮光画像信号においては、 白点が発生する画素では、 露光時間に 応じて白点信号レベルが高くなる一方で、 白点以外の画素は理想的 には黒信号レベルとなるので、 この方法により 白点をキャンセルす ることが可能である。
特許文献 2 (特開 2 0 0 3— 2 1 9 2 8 2号公報） および特許文 献 3 (特開平 8 - 5 1 5 7 1号公報） には、 このよ うに、 非遮光画 像信号から遮光画像信号を画素毎に減算することで撮像素子の固定 パターンノイズを除去するようにした技術が記載されている。 特許 文献 3においては、 さらに、 遮光画像信号を 1 Z Nとし、 非遮光画 像信号からの遮光画像信号の減算処理を N回繰り返して行うことで 、 白点除去をより適切に行うようにしている。
発明の開示
発明が解決しよう とする課題
ところで、 非遮光画像信号から遮光画像信号を減算して白点をキ ヤンセルする場合に、 非常に長時間の露光を行う と、 長時間の露光 により蓄積された電荷に基づく非遮光画像信号や遮光画像信号が飽 和レベルに達してしまい、 非遮光画像信号や、 遮光画像信号におけ る白点信号レベルの信号のダイナミックレンジが著しく減少してし まうという問題点があった。
また、 極めて長時間の露光を行う場合には、 暗電流の蓄積も無視 できないものとなる。 すなわち、 露光が長時間に亘つた場合、 蓄積 された暗電流分の電荷のみで、 撮像素子の出力信号が飽和信号レべ ルに達してしまうおそれがあるという問題点があった。
したがって、 この発明の目的は、 被写体信号のダイナミ ックレン ジを保ちつつ、 白点を効果的に除去可能な撮像装置、 撮像制御方法 および撮像制御プログラムを提供することにある。 課題を解決するための手段
上述した課題を解決するために、 この発明は、 複数の画素を有し 、 各画素毎に光電変換によって生成された電荷を蓄積し、 各画素で 蓄積された電荷からなる画素データで構成される撮像信号を出力す る撮像素子と、
撮像信号を記憶する第 1および第 2の記憶部と、
撮像信号を各画素データ毎に加算する加算部と、 .
非遮光状態において、 露光時間を複数の分割回数に分割してなる 分割露光時間毎に撮像素子から撮像信号を出力させ、 分割露光時間 毎の撮像信号を画素データ毎に累積的に加算した上で第 1の記憶部 に記憶させ、
遮光状態において、 露光時間を複数の分割回数に分割してなる分 割露光時間毎に撮像素子から撮像信号を出力させ、 分割露光時間毎 の撮像信号を画素データ毎に累積的に加算した上で第 2の記憶部に 記憶させる制御部と、
第 1の記憶部に記憶された複数の分割回数分累積的に加算された 各画素データから、 第 2の記憶部に記憶された複数の分割回数分累 積的に加算された各画素データを減算する減算部とを
備える撮像装置である。
この発明は、 複数の画素を有し、 各画素毎に光電変換によって生 成された電荷を蓄積し、 各画素で蓄積された電荷からなる画素デー タで構成される撮像信号を出力する撮像素子を用いて撮像を行う撮 像方法において、
撮像信号を撮像素子から出力する撮像ステップと、
非遮光状態において、 露光時間を複数の分割回数に分割してなる 分割露光時間毎に撮像素子から非遮光画像信号として撮像信号を出 力させるステップと、
分割露光時間毎の非遮光画像信号を画素データ毎に累積的に加算 するステップと、
遮光状態において、 露光時間を複数の分割回数に分割してなる分 割露光時間毎に撮像素子から遮光画像信号として撮像信号を出力さ せるステップと、
分割露光時間毎の遮光画像信号を画素データ毎に累積的に加算す るステップと、
遮光状態で複数の分割回数分累積的に加算された各画素データか ら、 非遮光状態で複数の分割回数分累積的に加算された各画素デー タを減算する減算ステップとを
備える撮像制御方法である。
この発明は、 複数の画素を有し、 各画素毎に光電変換によって生 成された電荷を蓄積し、 各画素で蓄積された電荷からなる画素デー タで構成される撮像信号を出力する撮像素子を用いて撮像を行う撮 像方法をコンピュータに実行させるプログラムにおいて、
撮像方法は、
撮像信号を撮像素子から出力する撮像ステップと、
非遮光状態において、 露光時間を複数の分割回数に分割してなる 分割露光時間毎に撮像素子から非遮光画像信号として撮像信号を出 力させるステップと、
分割露光時間毎の非遮光画像信号を画素データ毎に累積的に加算 するステップと、
遮光状態において、 露光時間を複数の分割回数に分割してなる分 割露光時間毎に撮像素子から遮光画像信号として撮像信号を出力さ せるステップと、 分割露光時間毎の遮光画像信号を画素データ毎に累積的に加算す るステップと、
遮光状態で複数の分割回数分累積的に加算された各画素データか ら、 非遮光状態で複数の分割回数分累積的に加算された各画素デー タを減算する減算ステップとを
備える撮像制御プログラムである。 発明の効果
この発明は、 上述したように、 非遮光状態の撮像素子から、 露光 時間を分割したそれぞれのタイミングで電荷を読み出し、 この読み 出された電荷に基づく撮像信号を喑電流成分に対応する成分を除去 し、 この喑電流成分が除去されたディジタル撮像信号を第 1の記憶 部に対して、 読み出し毎に順次累積的に加算して記憶させ、 露光時 間の終了後、 第 1の記憶部に記憶されたディジタル撮像信号から、 遮光状態の撮像素子に露光時間に対応する時間で蓄積された電荷に 対応するデータを減じて出力するようにしているため、 第 1の記憶 部に対するディジタル撮像信号の累積加算におけるデータのクリ ッ ビングが抑制され、 ダイナミックレンジが確保される利点がある。 図面の簡単な説明
第 1図は、 この発明の実施の一形態を概念的に説明するための略 線図である。
第 2図は、 この発明の実施の一形態による撮像装置の一例の構成 を示すブロック図である。
第 3図は、 メモリの一例の構成を示す略線図である。
第 4図は、 加減算部の一例の構成を示すプロック図である。 第 5図は、 撮像装置における一例の撮像動作を示すタイ ミングチ ヤートである。
第 6図は、 この発明の実施の一形態による処理を示すフローチヤ ートである。
第 7図は、 この発明の実施の一形態における分割数および 1枚露 光時間のそれぞれを決定する処理を示すフローチヤ一トである。 第 8図は、 この発明の実施の一形態における分割数および 1枚露 光時間を決定する処理を示すフローチヤ一トである。
第 9図は、 この発明の実施の一形態の処理の他の例を示すフロ一 チャートである。
第 1 0図は、 この発明の実施の一形態による制御の利点の例を説 明するための略線図である。
第 1 1図は、 この発明の実施の一形態による制御の利点の例を説 明するための略線図である。
第 1 2図は、 この発明の実施の一形態による制御の利点の例を説 明するための略線図である。
符号の説明
1 撮像装置
1 2 撮像素子
1 3 A / D変換器
1 4 ディジタルクランプ回路
1 5 加減算部
1 6 メモリ
1 9 制御部 発明を実施するための最良の形態 以下、 この発明の実施の一形態を、 図面を参照しながら説明する 。 第 1図は、 この発明による露光処理を概念的に示す。 この発明の 実施の一形態では、 先ず撮像素子に被写体からの光が照射された状 態で、 撮像素子において露光を時間的に分割して行い、 分割露光で 得られた非遮光画像信号を累積する （第 1図 A参照） 。 次に、 撮像 素子を遮光した状態で、 同様にして撮像素子において露光を分割し て行い、 遮光された状態で分割露光され得られた遮光画像信号を累 積する （第 1図 B参照） 。 そして、 累積された非遮光画像信号から 累積された遮光画像信号を減ずることで、 撮像信号を得るようにす る （第 1図 C参照） 。
また、 この発明の実施の一形態では、 第 1'図 Aおよび第 1図 Bに それぞれ示されるように、 1回の露光毎に、 ディジタルクランプに よって、 露光で得られた非遮光画像信号や遮光画像信号から撮像素 子の喑電流による信号成分 d a r kを減じ、 この暗電流による信号 成分 d a r k (以下、 喑電流成分 d a r kと呼ぶ） が減じられた非 遮光画像信号や遮光画像信号をそれぞれ累積するようにしている。 すなわち、 撮像素子に被写体からの光が照射される非遮光状態に おいては、 第 1図 Aに例示されるように、 1回目の露光で得られた 非遮光画像信号 I MG 、 2回目の露光で得られた非遮光画像信号 I MG2 、 . · ·、 非遮光状態最後の露光である n回目の露光で得 られた非遮光画像信号 I MGn のそれぞれから、 暗電流成分 d a r kが減ぜられ、 この暗電流成分 d a r kが減ぜられた非遮光画像信 号同士を画素毎に加算して、 加算非遮光画像信号 I MGadd を得る
。 これは、 下記の数式 （ 1 ) のように表現できる。 なお、 数式 （ 1 ) において、 値 I MGi は、 露光時間 tで露光された非遮光画像信 号を表す。 また、 ここでは、 喑電流成分 d a r kは、 クランプ動作 によりキャンセルされる成分となり、 温度変化により変化した成分 も含まれる。
IMGadd = ^ - dark) … "）
'•=1
同様に、 撮像素子が遮光された遮光状態においても、 第 1図 Bに 例示されるように、 1回目の露光で得られた遮光画像信号 I MGdk 、 2回目の露光で得られた遮光画像信号 I MGdk2 、 · · · 、 非遮 光状態最後の露光である n回目の露光で得られた遮光画像信号 I M Gdkn のそれぞれから、 ディジタルクランプによって、 暗電流成分 d a r kが減ぜられ、 この暗電流成分 d a r kが減ぜられた遮光画 像信号同士を画素毎に加算して、 加算遮光画像信号 I MGdkadd を 得る。 これは、 下記の数式 （ 2) のように表現できる。 なお、 数式 (2) において、 値 I MGdki は、 露光時間 tで露光された遮光画 像信号を表す。
IMGdk add= ( IMGdkt - dark) … （2)
=1
遮光状態の期間が終了したら、 下記の数式 （ 3) のように、 加算 非遮光画像信号 I MGadd から加算遮光画像信号 I MGdkaod を画 素毎に減ずる。 これにより、 最終的な撮像信号 I MGnradd が得ら れる （第 1図 C参照） 。 この撮像信号 I MGnradd は、 非遮光画像 信号から固定パターンによる白点が除去され、 さらに、 喑電流によ る影響が取り除かれているため、 ダイナミ ックレンジを広く取るこ とができる。
IMGnr = IMGadd - IMGdk add … （3)
ここで、 非遮光画像信号や遮光画像信号がディジタルデータから なる場合、 これら非遮光画像信号や遮光画像信号を累積するために 、 メモリが用いられる。 すなわち、 例えば非遮光画像信号の場合、 最初の露光で得られた非遮光画像信号をメモリに書き込み、 次の露 光で非遮光画像信号が得られると、 メモリから前回書き込んだ非遮 光画像信号を読み出し、 読み出された非遮光画像信号と、 当該次の 露光で得られた非遮光画像信号とを加算し、 加算結果をメモリに上 書きする。
この実施の一形態では、 このメモリにおいて 1画素に割り当てる ビッ ト数と、 非遮光画像信号や遮光画像信号の加算を行う加算器に おける 1画素分の演算に対応するビッ ト数とを、 撮像素子の出力を A / D (Analog/Digital)変換する A Z D変換器において 1画素のデ ータを A Z D変換する際の量子化ビッ ト数よりも大きくする。 これ により、 非遮光画像信号や遮光画像信号の加算時におけるクリ ップ や、 丸め誤差を抑制することができ、 画質の向上が図られる。
第 2図は、 この発明の実施の一形態による撮像装置 1の一例の構 成を示す。 この撮像装置 1は、 光学系 1 0およびメカニカルシャツ タ 1 1を介して入射された光を撮像素子 1 2により受光し、 受光さ れた光が光電変換により電気信号に変換された撮像信号を信号処理 して A Z D変換器 1 3によりディジタル信号に変換しディジタル撮 像信号とする。 液晶によるシャッタ等メカニカルシャッタ以外のシ ャッタを使用しても良い。 このディジタル撮像信号を、 ディジタル クランプ回路 1 4、 加減算部 1 5およびメモリ 1 6で後述するよう に処理し、 画像信号処理部 1 7により所定に画像処理を行い保存処 理部 1 8にて記録媒体に記録する。 記録媒体は、 例えば不揮発性で 書き換え可能なタイプのメモリ 2 1が用いられる。 また、 画像処理 部 1 7は、 撮像画像の確認のためなどのためにビューファインダ 2 0に表示する画像データも出力する。 制御部 1 9は、 この撮像装置 1 の全体を制御する。 例えば、 制御 部 1 9は、 C P U (Central Processing Unit) 、 R OM(Read Only Memory)、 RAM (Random Access Memory)を有すると共に.、 撮像素子 の駆動制御やフレーム単位、 画素単位などのタイミング制御を行う 同期信号を生成する同期信号生成部を有する。 C P Uは、 R OMに 記億されたプログラムに従い、 R AMをワークメモリ と して、 撮像 装置 1の各部の制御を行う。 11 1部 2 5は、 撮像を開始するための レリーズボタンや、 シャツタ速度、 絞り、 ズーム、 フォーカスなど 撮像装置 1の機能に関する設定を行うための複数の操作子が設けら れ、 これら操作子に対する操作に応じた制御信号を制御部 1 9に対 して出力する。
光学系 1 0は、 レンズ系、 絞り機構、 フォーカス機構、 ズーム機 構などを有し、 制御部 1 9の制御やマニュアル操作に基づき絞りや フォーカス、 ズームなどが制御されるようにされている。 メカ二.力 ルシャツタ 1 1は、 レンズ系 1 0と撮像素子 1 2との間の光路を遮 断可能なようにされ、 撮像素子 1 2に入射する光を物理的に遮断す る。 例えば、 ユーザにより図示されないレリーズボタンが押下され ると、 制御部 1 9の制御によりメカニカルシャッタ 1 1が開状態と され、 光学系 1 0を介して光が撮像素子 1 1に入射される。 メカ二 カルシャツタ 1 1は、 例えば予め設定されたシャツタ速度に応じて 、 開状態から所定時間後に自動的に閉状態になるように制御される 撮像素子 1 2は、 例えば CMO S (Complementary Metal-Oxide Se miconductor) を用いたイメージセンサ （以下、 CMO Sと略称する ) を適用することができる。 これに限らず、 撮像素子 1 2として C C D (Charge Coupled Device) を適用することもできる。 以下では 、 撮像素子 1 2が C M O Sであるものと して説明する。 C M O Sは 、 周知のように、 画素毎に読み出しを制御することが可能とされ、 例えば、 ライン毎に画素信号を読み出すように制御することができ る。 C M O Sにおいては、 抽出された電荷が読み出され、 抽出され た電荷がリセッ トされる。 撮像素子 1 2は、 ローリングシャツタと グローバルシャッタの両者が可能とされている。
ローリングシャッタは、 ライン毎にリセッ ト後に露光が開始され 、 露光期間が終了すると、 1 ライン分の画素信号が出力される。 し たがって、 各ラインの露光期間が 1 ラインずつずれたものとなる。 グローバルシャツタは、 全ラインでリセッ トを一斉に行い、 全ライ ンで同時に露光が開始される。 そして、 フォ トダイオードから電荷 検出部への信号電荷の読み出しを撮像領域で全体で同時に行うよう になされる。
撮像素子 1 2から、 画素毎の信号として撮像信号が出力される。 この撮像素子 1 2から出力された撮像信号は、 図示されない信号処 理部でノィズ抑圧処理、 利得制御処理など信号処理を施されて D変換器 1 3に入力される。 A Z D変換器 1 3は、 アナログ信号と して入力された撮像信号を、 画素毎に量子化ビッ ト数 Xのディジタ ル信号に変換する。
A Z D変換器 1 3から出力されたディジタル撮像信号は、 デイジ タルクランプ回路 1 4に供給される。 ディジタルクランプ回路 1 4 は、 供給されたディジタル撮像信号をディジタル的にクヲンプし、 黒信号レベルを所定の値に固定する。 ディジタルクランプ回路 1 4 は、 一例と して、 撮像素子 1 2の出力が A Z D変換されたディジタ ル撮像信号に対し、 オプティカルブラックとして用いる複数の画素 に対応する信号の平均値を、 各画素に対応する信号から減算する。 ディジタルクランプ回路 1 4で黒信号レベルが固定されたディジ タル撮像信号は、 加減算部 1 5に供給される。 加減算部 1 5は、 加 算処理部 1 5 Aおよび減算処理部 1 5 Bを有し、 メモリ 1 6を用い て、 供給されたディジタル撮像信号の累積加算処理や、 累積加算処 理されたデータ同士の減算処理を行う。
メモリ 1 6は、 例えば第 3図に例示されるように、 メモリエリア 1 6 Aおよびメモリエリア 1 6 B (第 3図においてはそれぞれェリ ァ # 1、 エリア # 2と表記） の 2の領域からなり、 それぞれ少なく とも 1 フレーム分のディジタル撮像信号を格納可能な容量を有する 。 また、 メモリエリア 1 6 Aおよび 1 6 Bのそれぞれは、 画素単位 でのアクセスが可能なようにされ、 さらに 1画素に対して A Z D変 換器 1 3の画素毎の量子化ビッ ト数を超えるビッ ト数が割り当てら れる。 例えば、 A / D変換器 1 3が 1画素のデータを量子化ビッ ト 数が 1 4 ビッ トで A / D変換して出力すると した場合、 メモリエリ ァ 1 6 Aおよび 1 6 Bにおいて、 1画素分の領域として少なく とも 1 5 ビッ トカ S害 ijり当てられる。 1画素に対して割り当てられるビッ ト数がさらに多ければ、 より好ましい。
第 4図は、 加減算部 1 5の一例の構成を示す。 加減算部 1 5にお いて、 加算処理部 1 5 Aは、 加算器 3 0、 スィ ッチ 3 1および 3 2 からなる。 また、 減算処理部 1 5 Bは、 減算器 3 3からなる。 加算 器 3 0は、 例えば、 語長が少なく とも A Z D変換器 1 3の画素毎の 量子化ビッ ト数を超えるビッ ト数とされる。 スィッチ 3 1および 3 2は、 メモリエリア 1 6 Aおよび 1 6 Bの選択を行う。
一例と して、 メモリエリア 1 6 Aを用いてデータの累積的な加算 を行う場合には、 スィッチ 3 1および 3 2において出力端 3 1 Aお よび 3 2 Aがそれぞれ選択される。 加減算部 1 5に供給されたディ ジタル撮像信号が加算器 3 0の一方の入力端に供給される。 それと 共に、 メモリエリア 1 6 Aからデータが読み出され、 スィッチ 3 2 を介して加算器 3 0の他方の入力端に供給される。 加算器 3 0にお いて、 一方の入力端に入力されたディジタル撮像信号と、 他方の入 力端に入力されたデータとが加算される。 加算器 3 0による加算結 果は、 スィッチ 3 1を介してメモリエリア 1 6 Aに上書きされる。 なお、 加算器 3 0におけるデータの加算は、 互いに対応する画素毎 に ί亍ゎれる。
ここで、 上述したように、 メモリ 1 6は、 A / D変換器 1 3の画 素毎の量子化ビッ ト数を超えるビッ ト数が 1画素に対して割り当て られている。 これにより、 ディジタル撮像信号の累積的な加算を行 つた場合に発生する、 桁上がりなどに基づくデータのクリ ツビング や、 データ丸め処理などによる誤差を抑制することができる。
減算処理部 1 5 Βによる減算処理は、 メモリエリア 1 6 Aから画 素毎に読み出されたデータが減算器 3 3の一方の入力端に供給され る。 また、 メモリエリア 1 6 Βから画素毎に読み出されたデータが 減算器 3 3の他方の入力端に供給される。 減算器 3 3は、 一方の入 力端に入力されたデータから他方の入力端に入力されたデータを減 じて出力する。 この減算器 3 3における減算処理は、 例えば互いに 対応する画素毎に行われる。
加減算部 1 5から出力されたディジタル撮像信号は、 画像信号処 理部 1 7に供給される。 画像信号処理部 1 7は、 例えば、 供給され たディジタル撮像信号を所定の形式の画像データに変換し、 この画 像データに対して画質補正など画像処理を施す。 画像信号処理部 1 7から出力された画像データは、 保存処理部 1 8に供給される。 保 存処理部 1 8は、 供給された画像データを、 例えば J P E G (Joint Photograph i c Expert s Group)方式とレヽつた所定の圧縮符号ィ匕方式で 圧縮符号化して、 例えばメモリ 2 1 といった記録媒体に記録する。 上述のような構成の撮像装置 1における一例の撮像動作について 、 第 5図のタイミングチャートを用いて説明する。 なお、 ここでは 、 シャツタ速度を 1分と し、 レリーズが押下されメカニカルシャツ タが開いている 1分間を、 2 0秒ずつ 3つの期間に分割して露光を 行うものとする。
レリーズボタンが押下され、 時点 t i で O N状態とされる （第 5 図 A参照） 。 レリーズボタンは、 例えば、 O N状態とされてからシ ャッタ速度に応じた時間を経過した時点で自動的に〇 F F状態とさ れる。 時点 t i からメカニカルシャツタ 1 1が開状態とされ （第 5 図 B参照） 、 被写体からの光が光学系 1 0を介して撮像素子 1 2に 照射され、 撮像素子 1 2において非遮光状態での露光が行われる。 例えばレリーズボタンが押下された時点 t i において、 制御部 1 9で垂直同期信号 V Dが生成され （第 5図 C参照） 、 撮像素子 1 2 に供給される。 撮像素子 1 2は、 この垂直同期信号 V Dに応じて、 グローバルシャツタ機能 （G S H ) により全画素に蓄えられた電荷 を同時に出力させ、 全画素の電荷をリセッ トする。
時点 t i におけるグ口一バルシャツタ機能により全画素の電荷が リセッ トされた直後から、 各画素において電荷の蓄積が開始される 。 時点 t i から所定時間 （この例では 2 0秒） が経過した時点 t 2 において、 制御部 1 9で垂直同期信号 V Dが生成され、 撮像素子 1 2に供給される。
この時点 t 2 における垂直同期信号 V Dは、 レリーズボタンが押 下されてから最初の画素読み出しなので、 メモリ 1 6の記憶内容が メモリエリア 1 6 Aおよび 1 6 Bのそれぞれにおいてク リアされる 。 メモリ クリァを行ぅタイミングは、 メモリ 1 6に対してデータの 累積が開始される前であればよく、 最初の画素読み出しの時点に限 らず、 例えばレリーズボタンが押された時点で行っておく ようにし てもよい。
撮像素子 1 2は、 この垂直同期信号 V Dに応じて、 ローリ ングシ ャッタ機能 （R S H ) により各画素に蓄積された電荷がライン単位 で順次、 読み出され （第 5図 D参照） 、 撮像信号として出力される 。 電荷が読み出された画素は、 その直後から電荷の蓄積が開始され る。
撮像素子 1 2からライン単位で順次、 出力された撮像信号は、 A Z D変換器 1 3で A / D変換され 1画素の量子化ビッ ト数が Xビッ 卜のディジタル撮像信号とされる。 そして、 ディジタルクランプ回 路 1 4でクランプされて黒信号レベルが固定される。 このディジタ ルクランプ回路 1 4におけるクランプ処理により、 第 1図を用いて 説明した、 撮像信号から撮像素子の喑電流成分 d a r kを減算する 処理が実現される。
ディジタルクランプ回路 1 4でクランプされたディジタル撮像信 号は、 加減算部 1 5に供給され、 累積的にメモリ 1 6に書き込まれ る （第 5図 E参照） 。 現時点 t 2 では、 メカニカルシャツタ 1 1が 開状態とされており、 撮像素子 1 2が被写体からの光により露光さ れているので、 ディジタル撮像信号は、 上述した非遮光画像信号に 対応する。
例えば、 第 4図を参照し、 加減算部 1 5において、 スィッチ 3 1 および 3 2それぞれで端子 3 1 Aおよび 3 2 Aが選択される。 ディ ジタル撮像信号が加算器 3 0の一方の入力端に供給されると共に、 メモリ 1 6のメモリエリア 1 6 Aから読み出されたデータが加算器 3 0の他方の入力端に供給される。 この時点では、 先の時点 に おいてメモリ 1 6の記憶内容がクリァされており、 加算器 3 0の他 方の入力端には、 画素毎に値 0が供給される。 加算器 3 0において 、 一方および他方の入力端に供給されたデータが画素毎に加算され 、 スィッチ 3 1を介してメモリエリア 1 6 Aに上書きされる。 時点 t 2 から所定期間後の時点 t 3 および時点 t 4 でも、 この時 点 t 2 と同様に、 撮像素子 1 2におけるローリングシャツタ機能に よる画素毎の電荷のライン単位での読み出し処理、 この読み出し処 理に応じて撮像素子 1 2から出力されたディジタル撮像信号のクラ ンプ処理、 クランプされたディジタル撮像信号のメモリエリア 1 6 Aに対する書き込み処理がなされる。 メモリエリア 1 6 Aに対する ディジタル撮像信号の書き込みは、 上述と同様に、 メモリエリア 1 6 Aから読み出されたデータと、 クランプ処理されて加減算部 1 5 に供給されたディジタル撮像信号とが、 加算器 3 0により画素毎に 加算され、 メモリエリア 1 6 Aに上書きされて行われる。
なお、 第 5図の例では、 メカニカルシャツタ 1 1が開状態で露光 された最後の分割露光で画素に蓄積された電荷の読み出しが、 時点 t 4 において行われる。 時点 t 4 は、 例えばメカニカルシャツタ 1 1が開状態から閉状態に移行した時点である。
このように、 メカニカルシャツタ 1 1が開状態とされ、 被写体か らの光が撮像素子 1 2に照射されている期間の分割露光により、 第 1図 Aおよび式 （ 1 ) を用いて説明した、 非遮光画像信号から喑電 流 d a r kを減算した結果に対する加算処理が行われる。
メカニカルシャツタ 1 1が開状態から閉状態に移行すると、 次は 、 メカ状態が閉状態のままで、 すなわち、 撮像素子 1 2を遮光状態 として撮像素子 1 2の露光処理が行われる。 この第 5図の例では、 メカニカルシャッタ 1 1が開状態とされ撮像素子 1 2に対して被写 体からの光が照射された状態で露光が行われた時間と略等しい時間 (この例では 1分間） だけ、 遮光状態での撮像素子 1 2に対する露 光処理が行われる。 すなわち、 この遮光状態での露光処理において 、 第 1図 Bおよび式 （2 ) を用いて説明した、 遮光画像信号から喑 電流成分 d a r kを減算した結果に対する加算処理が行われる。 このメカニカルシャツタ 1 1が閉状態での露光処理は、 上述した 、 被写体からの光が撮像素子 1 2に照射される状態での露光処理と 略同様にして行われる。 撮像素子 1 2が非遮光状態で露光された最 後の分割露光で画素に蓄積された電荷の読み出しが行われた時点 t の所定時間後の時点 t 5 に制御部 1 9で垂直同期信号 V Dが生成さ れ （第 5図 C参照） 、 撮像素子 1 2に供給される。 撮像素子 1 2で は、 この垂直同期信号 V Dに応じてグローバルシャッタ機能により 全画素に蓄積された電荷が同時に出力され、 直後から各画素におい て電荷の蓄積が開始される （第 5図 D参照） 。
時点 t 5 から、 非遮光画像信号の露光における分割露光時間と対 応する所定時間 （この例では 2 0秒） が経過した時点 t 6 において 、 制御部 1 9で垂直同期信号 V Dが生成され、 撮像素子 1 2に供給 される。 撮像素子 1 2は、 この垂直同期信号 V Dに応じてローリン グシャッタ機能により各画素に蓄積された電荷がライン単位で順次 、 読み出され、 撮像信号と して出力される （第 5図 D ) 。 また、 電 荷が読み出された画素は、 読み出しがなされた直後から電荷の蓄積 が開始される。
撮像素子 1 2から出力された撮像信号は、 A Z D変換器 1 3で 1 画素の量子化ビッ ト数が Xビッ トのディジタル撮像信号に変換され 、 ディジタルクランプ回路 1 4でクランプされ黒信号レベルが固定 される。 この黒信号レベルが固定されたディジタル撮像信号は、 加 減算部 1 5に供給され、 上述と同様にして画素毎の値が累積的にメ モリ 1 6に書き込まれる。 撮像素子 1 2が遮光状態で露光されたデ ィジタル撮像信号は、 メモリ 1 6のメモリエリア 1 6 Bに書き込ま れる。
例えば、 加減算部 1 5において、 スィ ッチ 3 1および 3 2それぞ れで端子 3 1 Bおよび 3 2 Bが選択される。 ディジタル撮像信号が 加算器 3 0の一方の入力端に供給されると共に、 メモリ 1 6のメモ リエリア 1 6 Bから読み出されたデータが加算器 3 0の他方の入力 端に供給される。 この時点では、 先の時点 においてメモリ 1 6 の記憶内容がク リァされており、 加算器 3 0の他方の入力端には、 画素毎に値 0が供給される。 加算器 3 0において、 一方および他方 の入力端に供給されたデータが画素毎に加算され、 スィ ッチ 3 1を 介してメモリエリア 1 6 Bに上書きされる。
時点 t 6 から所定時間後の時点 t 7 および時点 t 8 でも、 この時 点 t 6 と同様に、 撮像素子 1 2からの画素の読み出し処理、 A Z D 変換器 1 3による画素毎の量子化ビッ ト数が Xビッ トでの A / D変 換処理、 ディジタルクランプ回路 1 4によるクランプ処理、 メモリ エリア 1 6 Bに対するディジタル撮像信号の累積的な書き込み処理 が行われる。
撮像素子 1 2が遮光状態で露光された最後の分割露光で画素に蓄 積された電荷の読み出しが時点 t 8 で行われると、 上述した式 （ 3 ) に基づき、 累積された非遮光画像信号と累積された遮光画像信号 との間の減算処理が行われる。
例えば、 メモリエリア 1 6 Aおよびメモリエリア 1 6 Bから対応 する画素のデータが読み出され、 それぞれ減算器 3 3の一方および 他方の入力端に供給される。 減算器 3 3は、 一方の入力端に供給さ れたデータから他方の入力端に供給されたデータを減じて出力する 。 この処理を、 メモリエリア 1 6 Aおよびメモリエリア 1 6 Bにそ れぞれ書き込まれる 1 フレーム分の画素データ全てに対して行う。 これにより、 撮像素子 1 2の固定パターンによる白点が効果的に除 去されると共に、 喑電流成分の累積によるダイナミ ックレンジの劣 化が抑えられた撮像画像データを得ることができる。
第 6図は、 この発明の実施の一形態による一例の露光処理を示す フローチャートである。 このフローチヤ一トにおける各判断などは 、 例えば制御部 1 9において所定のプログラムに基づきなされる。 このフローチヤ一トの処理に先立って、 シャッタ速度が設定され ると共に、 シャッタ速度により定められる露光時間において分割露 光を行う際の分割数が決められる。 第 7図 Aにおいてステップ S 2 1においては、 工場出荷時に 1枚露光時間と して 3分、 5分等が設 定される。 ユーザが撮像時にシャッター速度 （メカニカルシャツタ 一速度） を例えば 6 0分に設定する （ステップ S 2 2 ) 。 分割数は 、 ステップ S 2 3に示すように、 （シャッター速度 Z 1枚露光時間 = 6 0分 3分 = 2 0 ) と決定される。 他の方法と して、 第 7図 B に示すように、 ステップ S 3 1おいて、 工場出荷時に分割数が例え ば 2 0に設定される。 ステップ S 3 2において、 ユーザが撮像時に シャッター速度を例えば 6 0分に設定する。 ステップ S 3 3におい て、 1枚露光時間が （シャッター速度 分割数 = 6 0分/ / 2 0 = 3 分） と決定される。 長時間露光撮像時に、 シャッター速度を予め設 定しなくても良い。 この場合は、 第 8図のステップ S 4 1に示すよ うに、 1回の分割露光による露光時間を予め決めておき、 レリーズ が離された時点で露光を終了するようになされる。 第 6図のフローチヤ一トに戻って説明すると、 ステップ S 1 0で 、 撮像素子 1 2から電荷を読み出すタイ ミングが待機される。 読み 出しタイ ミングであると判断されれば、 例えば制御部 1 9において 垂直同期信号 V Dが生成され、 撮像素子 1 2に供給される。 次のス テツプ S 1 1で、 このタイ ミングにより撮像素子 1 2から読み出さ れる電荷が、 レリーズボタンが押下されてから最初の露光により蓄 積されたものであるか否かが判断される。 例えば、 第 5図における 時点 t 2 は、 レリーズボタンが押下されてから最初の露光によるも のであると判断される。
ステップ S 1 1で、 若し、 最初の露光によるものではないと判断. されれば、 処理はステップ S 1 3に移行される。 一方、 最初の露光 によるものであると判断されれば、 処理はステップ S 1 2に移行さ れ、 メモリ 1 6の記憶内容がクリアされ、 処理がステップ S 1 3に 移行される。 ステップ S 1 3は、 撮像素子 1 2に被写体からの光を 照射した非遮光状態で行った露光なのか、 撮像素子 1 2を遮光状態 で行った露光なのかが判断される。 撮像素子 1 2に被写体からの光 を照射した非遮光状態で行った露光であると判断されれば、 処理は ステップ S 1 4に移行される。 一方、 撮像素子 1 2を遮光状態で行 つた露光であると判断されれば、 処理はステップ S 1 5に移行され る。
ステップ S 1 4では、 撮像素子 1 2に非遮光状態で行われた露光 により得られたディジタル撮像信号である非遮光画像信号が加減算 部 1 5に供給され、 上述したようにしてメモリ 1 6のメモリエリア 1 6 Aに累積的に書き込まれる。 一方、 ステップ S 1 5では、 撮像 素子が遮光状態で行われた露光により得られたディジタル撮像信号 である遮光画像信号が加減算部 1 5に供給され、 上述したようにし てメモリ 1 6のメモリエリア 1 6 Bに累積的に書き込まれる。 ディジタル撮像信号のメモリエリア 1 6 Aまたは 1 6 Bへの累積 的な書き込みがなされたら、 処理はステップ S 1 6に移行され、 決 められた分割数に応じた所定回数の露光が終了したかどうかが判断 される。 若し、 未だ当該所定回数の露光が終了していないと判断さ れたら、 処理はステップ S 1 0に戻され、 次の露光タイミングが待 機される。
一方、 ステップ S 1 6で、 当該所定回数の露光が終了したと判断 されれば、 処理はステップ S 1 7に移行される。 ステップ S 1 7で は、 加減算部 1 5において、 上述した式 （3) に基づき、 メモリエ リア 1 6 Aに累積的に書き込まれた非遮光画像信号から、 メモリエ リア 1 6 Bに累積的に書き込まれた遮光画像信号を減算する処理が 、 画素毎に行われる。 この画素毎の減算処理を、 メモリエリア 1 6 Aおよびメモリエリア 1 6 Bにそれぞれ書き込まれる 1 フレーム分 の画素データ全てに対して行う。
第 8図を参照して説明したように、 工場出荷時に 1回の露光時間 が設定され、 レリーズが離された時点で露光を終了するようにした 場合の処理について、 第 9図 Aおよび第 9図 Bのフローチャートを 参照して声明する。
最初に、 第 9図 Aのフローチャートで示すように、 非遮光状態の 処理がなされる。 第 6図中のステップ S 1 0、 S l l、 S 1 2、 S 1 4に対応する処理をステップ S 1 1 0、 S i l l , S 1 1 2、 S 1 1 4 として表記する。
最初のステップ S 1 0 1において、 分割露光回数を示す力ゥント 値 C NT 1が 0に初期化される。 その後、 第 6図のフローチャート に示される処理と同様に、 非遮光状態の露光がなされる。 ステップ S I 0 2において、 カウント値 CNT 1が分割露光の度にィンク リ メントされ、 カウント値 CNT 1が記憶される。 そして、 ステップ S 1 0 3において、 レリーズが離されたと判定されると、 ステップ S 1 04において、 メモリエリア # 1にて非遮光画像信号の加算が なされる。
次に、 第 9図 Bに示される遮光状態の処理に移る。 第 9図 Bでは 、 第 6図中のステップ S 1 0、 S l l、 S 1 2、 S 1 5に対応する 処理をステップ S 2 1 0、 S 2 1 1、 S 2 1 2、 S 2 1 5 として表 記する。 最初のステップ S 2 0 1において、 分割露光回数を示す力 ゥント値 CNT 2が 0に初期化される。 ステップ S 2 0 2において 、 カウント値 C NT 2が分割露光の度にインクリメントされ、 カウ ント値 CNT 2が記憶される。 そして、 ステップ S 2 0 3において 、 (CNT 1 =CNT 2) と判定されると、 ステップ S 2 1 7にお いて、 メモリエリア # 1に保持されている非遮光画像信号の加算出 力からメモリエリア # 2に保持されている遮光画像信号の加算出力 が減算される。
上述した、 この発明の実施の一形態による制御の利点の例につい て、 第 1 0図〜第 1 2図を用いて説明する。 第 1 ◦図を用いて、 分 割露光毎に喑電流成分 d a r kを差し引いた上で、 ディジタル撮像 信号を累積加算することの一例の利点について説明する。 なお、 以 下の説明において、 被写体信号成分は、 撮像素子 1 2からの出力に 基づく撮像画像信号から撮像素子 1 2の固定パターンによるノイズ 成分ゃ喑電流成分 d a r kを除いた信号成分であるものとする。 長時間露光を行う と、 露光時間に伴い被写体信号成分が増加する と共に暗電流成分も累積され増加する。 その結果、 第 1 0図 Aに例 示されるように、 露光時間 e tで被写体信号成分と喑電流成分とを 加算した非遮光画像信号成分が A Z D変換器における最大出力信号 レベルである Xビッ トに達してしまレ、、 露光時間 e t以降において 、 非遮光画像信号成分レベルが飽和しク リ ップされてしまう。 した がって、 露光時間 e t以降において、 被写体信号のダイナミ ック レ ンジが著しく減少してしまう。 この実施の一形態では、 長時間露光において露光時間を分割して 分割露光を行い、 且つ、 分割露光毎に被写体信号成分から暗電流成 分 d a r kを差し引いている。 そのため、 非遮光画像信号成分が A Z D変換器の最大出力信号レベルに達する前に暗電流成分 d a r k が差し引かれ、 非遮光画像信号として被写体信号成分のみを累積加 算することができ、 第 1 0図 Bに例示されるように、 ダイナミック レンジを確保することができる。
第 1 1図を用いて、 撮像素子 1 2が非遮光状態で露光を行い得ら れた非遮光画像信号から、 撮像素子 1 2が遮光状態で露光を行い得 られた遮光画像信号を差し引く ことの一例の利点について説明する 。 非遮光画像信号は、 被写体からの光に基づく被写体信号成分と、 撮像素子 1 2の固定パターンに基づく ノイズ成分とが合成された信 号である。 長時間露光を行う と、 露光時間に伴い被写体信号成分が 増加すると共に固定パターンに基づく ノイズ成分も累積されて増加 する。 その結果、 第 1 1図 Aに例示されるように、 累積されたノィ ズ成分により被写体信号成分のダイナミ ック レンジが圧迫されてし まうことになる。
この実施の一形態では、 メカ-カルシャツタ 1 1を開状態として 露光を行い非遮光画像信号を得た後、 メカニカルシャツタ 1 1を閉 状態と して、 非遮光画像信号の露光時間と略同一の時間だけ露光を 行い遮光画像信号を得るようにしている。 遮光画像信号は、 撮像素 子 1 2の固定パターンに基づくノイズのみが累積される。 したがつ て、 遮光画像信号の露光後に、 非遮光画像信号成分から遮光画像信 号成分を差し引く ことで、 第 1 1図 Bに例示されるように、 非遮光 画像信号に被写体信号成分のみを得ることができ、 被写体信号成分 のダイナミックレンジを確保することができる。
第 1 2図を用いて、 ディジタル撮像信号の累積加算を行う際に用 いるメモリ 1 6において、 A Z D変換器 1 3における 1画素の量子 ィ匕ビッ ト数を超えるビッ ト数を、 1画素に対して割り当てることの 一例の利点について説明する。 なお、 第 1 2図 Aおよび第 1 2図 B において、 非遮光画像信号成分を示す直線は、 メモリエリア 1 6 A における値を示し、 欠陥成分を示す直線は、 メモリエリア 1 6 Bに おける値を示すものとする。 メモリエリア 1 6 Aの非遮光画像信号 成分とメモリエリア 1 6 Bの欠陥成分との差分が、 被写体からの光 に基づく被写体信号成分となる。
先ず、 メモリ 1 6において、 1画素に対して A Z D変換器 1 3の 1画素の量子化ビッ ト数 （Xビッ ト） と等しいビッ ト数を割り当て た場合について考える。 この場合、 第 1 2図 Aに例示されるように 、 露光時間に伴い非遮光画像信号成分が累積的に増加し、 メモリエ リア 1 6 Aでは、 非遮光画像信号成分の累積結果が例えば露光時間 e tにおいて Xビッ トのデータ長で飽和し、 露光時間 e t以降、 X ビッ ト以上の累積成分がク リ ップされてしまうことが考えられる。 この場合、 露光時間 e t以降で、 非遮光画像信号成分の累積結果か ら欠陥成分の累積結果を差し引いた結果である被写体信号成分にお いて、 ダイナミ ックレンジが大幅に減少してしまうことになる。 そこで、 この発明の実施の一形態では、 メモリ 1 6において、 1 画素に対して A Z D変換器 1 3の 1画素の量子化ビッ ト数を超える ビッ ト数 （Yビッ トとする） を割り当てるようにしている。 これに より、 第 1 2図 Bに例示されるように、 長時間の露光を行っても、 非遮光画像信号成分の累積結果がメモリエリア 1 6 Aにおいて飽和 するのが抑制され、 被写体信号成分のダイナミ ックレンジが確保さ れる （第 1 2図 C参照） 。

Claims

請 求 の 範 囲
1 . 複数の画素を有し、 各画素毎に光電変換によって生成された電 荷を蓄積し、 各画素で蓄積された電荷からなる画素データで構成さ れる撮像信号を出力する撮像素子と、
上記撮像信号を記憶する第 1および第 2の記憶部と、
上記撮像信号を各画素データ毎に加算する加算部と、
非遮光状態において、 露光時間を複数の分割回数に分割してなる 分割露光時間毎に上記撮像素子から上記撮像信号を出力させ、 上記 分割露光時間毎の撮像信号を画素データ毎に累積的に加算した上で 上記第 1 の記憶部に記憶させ、
遮光状態において、 上記露光時間を複数の分割回数に分割してな る上記分割露光時間毎に上記撮像素子から上記撮像信号を出力させ 、 上記分割露光時間毎の撮像信号を画素データ毎に累積的に加算し た上で上記第 2の記憶部に記憶させる制御部と、
上記第 1の記憶部に記憶された上記複数の分割回数分累積的に加 算された各画素データから、 上記第 2の記憶部に記憶された上記複 数の分割回数分累積的に加算された各画素データを減算する減算部 とを
備える撮像装置。
2 . 請求の範囲 1において、
上記撮像信号を A Z D変換してディジタル撮像信号を出力する A Z D変換部と、
上記ディジタル撮像信号から上記撮像素子の喑電流成分に対応す る成分を除去するディジタルクランプ部とをさらに備える撮像装置
3 . 請求の範囲 2において、
上記ディジタル撮像信号の 1画素に割り当てられる第 1の語長に 比して、 上記第 2の記憶部に記憶される 1画素に対して上記第 1の 5 語長より長い語長が割り当てられる撮像装置。
4 . 複数の画素を有し、 各画素毎に光電変換によって生成された電 荷を蓄積し、 各画素で蓄積された電荷からなる画素データで構成さ れる撮像信号を出力する撮像素子を用いて撮像を行う撮像方法にお
10 いて、
上記撮像信号を上記撮像素子から出力する撮像ステップと、 非遮光状態において、 露光時間を複数の分割回数に分割してなる 分割露光時間毎に上記撮像素子から非遮光画像信号として上記撮像 ' 信号を出力させるステップと、
15 上記分割露光時間毎の上記非遮光画像信号を画素データ毎に累積 的に加算するステップと、
遮光状態において、 露光時間を複数の分割回数に分割してなる上 記分割露光時間毎に上記撮像素子から遮光画像信号として上記撮像 信号を出力させるステップと、 ' 20 上記分割露光時間毎の上記遮光画像信号を画素データ毎に累積的 に加算するステップと、
上記遮光状態で上記複数の分割回数分累積的に加算された各画素 データから、 上記非遮光状態で上記複数の分割回数分累積的に加算 された各画素データを減算する減算ステップとを
25 備える撮像制御方法。
5 . 複数の画素を有し、 各画素毎に光電変換によって生成された電 荷を蓄積し、 各画素で蓄積された電荷からなる画素データで構成さ れる撮像信号を出力する撮像素子を用いて撮像を行う撮像方法をコ ンピュータに実行させるプログラムにおいて、
上記撮像方法は、
上記撮像信号を上記撮像素子から出力する撮像ステップと、 非遮光状態において、. 露光時間を複数の分割回数に分割してなる 分割露光時間毎に上記撮像素子から非遮光画像信号として上記撮像 信号を出力させるステップと、
上記分割露光時間毎の上記非遮光画像信号を画素データ毎に累積 的に加算するステップと、
遮光状態において、 露光時間を複数の分割回数に分割してなる上 記分割露光時間毎に上記撮像素子から遮光画像信号として上記撮像 信号を出力させるステップと、
上記分割露光時間毎の上記遮光画像信号を画素データ毎に累積的 に加算するステップと、
上記遮光状態で上記複数の分割回数分累積的に加算された各画素 データから、 上記非遮光状態で上記複数の分割回数分累積的に加算 された各画素データを減算する減算ステップとを.
備える撮像制御プログラム。
PCT/JP2008/060723 2007-06-14 2008-06-05 撮像装置、撮像制御方法および撮像制御プログラム WO2008153085A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP08765494A EP2157784A4 (en) 2007-06-14 2008-06-05 PICTURE RECORDING, IMAGE RECORDING AND PICTURE RECORDING PROGRAM
CN2008800200299A CN101682699B (zh) 2007-06-14 2008-06-05 成像装置、成像控制方法以及成像控制程序
JP2009519294A JP5229224B2 (ja) 2007-06-14 2008-06-05 撮像装置、撮像制御方法および撮像制御プログラム
US12/664,412 US8237812B2 (en) 2007-06-14 2008-06-05 Imaging apparatus, imaging control method, and imaging control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007-157183 2007-06-14
JP2007157183 2007-06-14

Publications (1)

Publication Number Publication Date
WO2008153085A1 true WO2008153085A1 (ja) 2008-12-18

Family

ID=40129690

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/060723 WO2008153085A1 (ja) 2007-06-14 2008-06-05 撮像装置、撮像制御方法および撮像制御プログラム

Country Status (7)

Country Link
US (1) US8237812B2 (ja)
EP (1) EP2157784A4 (ja)
JP (1) JP5229224B2 (ja)
KR (1) KR20100031599A (ja)
CN (1) CN101682699B (ja)
MY (1) MY151485A (ja)
WO (1) WO2008153085A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011234168A (ja) * 2010-04-28 2011-11-17 Canon Inc 撮像装置及び制御方法
JP2012163522A (ja) * 2011-02-09 2012-08-30 Mitsui Optronics:Kk 温度情報計測方法
WO2013054403A1 (ja) * 2011-10-12 2013-04-18 キヤノン株式会社 撮像装置及び撮像装置の制御方法
WO2013054402A1 (ja) * 2011-10-12 2013-04-18 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP2014086855A (ja) * 2012-10-23 2014-05-12 Olympus Imaging Corp 撮像装置
JP2016226059A (ja) * 2011-07-11 2016-12-28 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
JP2022500652A (ja) * 2018-09-18 2022-01-04 ホロジック, インコーポレイテッドHologic, Inc. 撮像アーチファクトを軽減するためのシステムおよび方法
JP7486477B2 (ja) 2018-09-18 2024-05-17 ホロジック， インコーポレイテッド 撮像アーチファクトを軽減するためのシステムおよび方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6104060B2 (ja) * 2013-06-06 2017-03-29 オリンパス株式会社 撮像装置、撮像方法
JP2015050671A (ja) * 2013-09-02 2015-03-16 株式会社東芝 固体撮像装置
CN103957364B (zh) * 2014-04-01 2017-06-06 聚光科技(杭州)股份有限公司 一种ccd数据采集处理方法
JP6418839B2 (ja) * 2014-08-04 2018-11-07 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP6746421B2 (ja) * 2016-07-29 2020-08-26 キヤノン株式会社 撮像装置
JP2018072390A (ja) * 2016-10-24 2018-05-10 オリンパス株式会社 撮像装置
KR20190114332A (ko) * 2018-03-29 2019-10-10 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
CN111432093B (zh) * 2020-03-19 2021-05-25 成都微光集电科技有限公司 一种cmos图像传感器的暗电流校正方法
CN115174819B (zh) * 2022-07-08 2023-11-03 重庆紫光华山智安科技有限公司 一种曝光控制方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001326850A (ja) * 2000-05-16 2001-11-22 Canon Inc 撮像装置、その制御方法およびコンピュータ読み取り可能な媒体
JP2003116064A (ja) * 2001-10-03 2003-04-18 Olympus Optical Co Ltd 撮像装置
JP2005079948A (ja) * 2003-09-01 2005-03-24 Pentax Corp デジタルカメラのノイズリダクション装置
JP2005191641A (ja) * 2003-12-24 2005-07-14 Mitsubishi Electric Corp 画像入力方法および画像入力装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2565261B2 (ja) 1987-10-17 1996-12-18 ソニー株式会社 固体撮像装置用画像欠陥補正装置
JP2990930B2 (ja) 1992-03-18 1999-12-13 ソニー株式会社 固体撮像装置
JPH0795841B2 (ja) 1992-04-21 1995-10-11 オリンパス光学工業株式会社 画像記録装置
JPH0851571A (ja) 1994-08-03 1996-02-20 Olympus Optical Co Ltd 電子的撮像装置
JP3840671B2 (ja) * 1995-03-24 2006-11-01 ソニー株式会社 撮像装置
JPH0918793A (ja) * 1995-06-26 1997-01-17 Nikon Corp 撮像装置
US7023479B2 (en) * 2000-05-16 2006-04-04 Canon Kabushiki Kaisha Image input apparatus having addition and subtraction processing
JP3897520B2 (ja) * 2000-07-11 2007-03-28 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP3931606B2 (ja) * 2001-09-20 2007-06-20 ソニー株式会社 撮像装置およびノイズ除去方法
US7167267B2 (en) * 2001-12-19 2007-01-23 Hewlett-Packard Development Company, L.P. Noise reduction in an image capturing device
JP4017874B2 (ja) 2002-01-28 2007-12-05 株式会社ニコンシステム 電子カメラ
JP2004007048A (ja) * 2002-05-30 2004-01-08 Minolta Co Ltd 撮像装置
JP4532819B2 (ja) * 2002-11-20 2010-08-25 キヤノン株式会社 撮像装置
JP4358606B2 (ja) * 2003-11-20 2009-11-04 オリンパス株式会社 インターバル撮影に適用される撮像装置およびそのための暗時ノイズ抑圧処理方法
JP3748267B2 (ja) * 2004-06-16 2006-02-22 ソニー株式会社 撮像装置
JP2006108950A (ja) 2004-10-04 2006-04-20 Sony Corp 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001326850A (ja) * 2000-05-16 2001-11-22 Canon Inc 撮像装置、その制御方法およびコンピュータ読み取り可能な媒体
JP2003116064A (ja) * 2001-10-03 2003-04-18 Olympus Optical Co Ltd 撮像装置
JP2005079948A (ja) * 2003-09-01 2005-03-24 Pentax Corp デジタルカメラのノイズリダクション装置
JP2005191641A (ja) * 2003-12-24 2005-07-14 Mitsubishi Electric Corp 画像入力方法および画像入力装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2157784A4 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011234168A (ja) * 2010-04-28 2011-11-17 Canon Inc 撮像装置及び制御方法
JP2012163522A (ja) * 2011-02-09 2012-08-30 Mitsui Optronics:Kk 温度情報計測方法
JP2016226059A (ja) * 2011-07-11 2016-12-28 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
US9838625B2 (en) 2011-07-11 2017-12-05 Canon Kabushiki Kaisha Image processing apparatus and control method for image processing apparatus for controlling correction of a black level in a combined image signal
WO2013054402A1 (ja) * 2011-10-12 2013-04-18 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US8976274B2 (en) 2011-10-12 2015-03-10 Canon Kabushiki Kaisha Apparatus and method for image pickup and correction
US8982249B2 (en) 2011-10-12 2015-03-17 Canon Kabushiki Kaisha Image capturing apparatus and method for controlling an image capturing apparatus for capturing and processing a plurality of pieces of exposure and dark image data to correct combined exposure image data in accordance with combined dark image data
JPWO2013054402A1 (ja) * 2011-10-12 2015-03-30 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JPWO2013054403A1 (ja) * 2011-10-12 2015-03-30 キヤノン株式会社 撮像装置及び撮像装置の制御方法
WO2013054403A1 (ja) * 2011-10-12 2013-04-18 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP2014086855A (ja) * 2012-10-23 2014-05-12 Olympus Imaging Corp 撮像装置
JP2022500652A (ja) * 2018-09-18 2022-01-04 ホロジック, インコーポレイテッドHologic, Inc. 撮像アーチファクトを軽減するためのシステムおよび方法
US11950948B2 (en) 2018-09-18 2024-04-09 Hologic, Inc. Systems and methods for mitigating imaging artifacts
JP7486477B2 (ja) 2018-09-18 2024-05-17 ホロジック， インコーポレイテッド 撮像アーチファクトを軽減するためのシステムおよび方法

Also Published As

Publication number Publication date
JP5229224B2 (ja) 2013-07-03
US20100182451A1 (en) 2010-07-22
EP2157784A1 (en) 2010-02-24
KR20100031599A (ko) 2010-03-23
CN101682699B (zh) 2012-10-10
MY151485A (en) 2014-05-30
CN101682699A (zh) 2010-03-24
EP2157784A4 (en) 2011-03-09
US8237812B2 (en) 2012-08-07
JPWO2008153085A1 (ja) 2010-08-26

Similar Documents

Publication Publication Date Title
WO2008153085A1 (ja) 撮像装置、撮像制御方法および撮像制御プログラム
JP4662880B2 (ja) 撮像装置，及び撮像方法
KR100391140B1 (ko) 화상데이터 중의 노이즈성분을 제거하는 것이 가능한전자스틸카메라 및 그 신호처리방법
JP5219778B2 (ja) 撮像装置及びその制御方法
JPS5934772A (ja) 画像信号処理装置
JP4027632B2 (ja) 撮像装置
JP2007300368A (ja) 固体撮像装置
JP2010050538A (ja) 撮像装置、スミア低減方法、および、プログラム
US7349015B2 (en) Image capture apparatus for correcting noise components contained in image signals output from pixels
JP2007019577A (ja) 固体撮像装置
JP5094252B2 (ja) 撮像装置及びその制御方法
JP2002027300A (ja) デジタルカメラ
JP3616870B2 (ja) 撮像装置及びその信号処理方法
JP4735994B2 (ja) 撮像装置及び方法、プログラム、並びに記録媒体
JP4306653B2 (ja) 撮像装置及びその信号処理方法
JP2009302850A (ja) 固体撮像素子のノイズ除去装置、撮像装置、固体撮像素子のノイズ除去方法
JP5163708B2 (ja) 撮像装置
JP4847281B2 (ja) 撮像装置及びその制御方法並びに撮像システム
JP4322258B2 (ja) ノイズ処理装置および撮像装置
JP2007096607A (ja) 画像処理装置
JP3788449B2 (ja) 撮像装置及びその信号処理方法
JP4498253B2 (ja) 画像処理装置
JP5404217B2 (ja) 撮像装置及びその制御方法
JP2005341261A (ja) 撮像装置
JP4341531B2 (ja) 撮像装置及びその信号処理方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200880020029.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08765494

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009519294

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2008765494

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20107000080

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 12664412

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: PI 20095270

Country of ref document: MY