WO2016175036A1 - 固体撮像素子およびその駆動方法、並びに電子機器 - Google Patents

固体撮像素子およびその駆動方法、並びに電子機器 Download PDF

Info

Publication number
WO2016175036A1
WO2016175036A1 PCT/JP2016/061988 JP2016061988W WO2016175036A1 WO 2016175036 A1 WO2016175036 A1 WO 2016175036A1 JP 2016061988 W JP2016061988 W JP 2016061988W WO 2016175036 A1 WO2016175036 A1 WO 2016175036A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
pixel
signal
unit
solid
Prior art date
Application number
PCT/JP2016/061988
Other languages
English (en)
French (fr)
Inventor
裕考 篠崎
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2016175036A1 publication Critical patent/WO2016175036A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Definitions

  • the present technology relates to a solid-state imaging device, a driving method thereof, and an electronic device, and particularly to a solid-state imaging device, a driving method thereof, and an electronic device that can generate an HDR image with little image quality degradation.
  • Patent Document 2 there is a method in which a high-sensitivity pixel and a low-sensitivity pixel are prepared in one image sensor and signals of a plurality of exposure times are simultaneously acquired.
  • the image resolution is lowered and aliasing or the like occurs.
  • the present technology has been made in view of such a situation, and makes it possible to generate an HDR image with little image quality degradation.
  • the solid-state imaging device provides the pixel array unit in which a plurality of pixels are two-dimensionally arranged in a matrix and the pixel signals of the pixels in a plurality of rows of the pixel array unit so as to read out simultaneously.
  • the pixel signal of the first pixel row is a pixel signal of the first frame
  • the pixels of the second pixel row The signal is a pixel signal of the second frame.
  • the solid-state imaging device including a pixel array unit in which a plurality of pixels are two-dimensionally arranged in a matrix form the pixels of the pixels in a plurality of rows of the pixel array unit.
  • the pixels are driven to read signals simultaneously, and the pixel signals of the first pixel row among the pixel signals of the plurality of rows read simultaneously are the pixel signals of the first frame, and the second pixels
  • the pixel signal of the row is the pixel signal of the second frame.
  • the electronic device includes a pixel array unit in which a plurality of pixels are two-dimensionally arranged in a matrix, and the pixel so that the pixel signals of the pixels in a plurality of rows of the pixel array unit are read simultaneously.
  • the pixel signal of the first pixel row is a pixel signal of the first frame
  • the pixel signal of the second pixel row is included in a solid-state imaging device which is a pixel signal of the second frame.
  • the pixels are driven so as to simultaneously read pixel signals of the pixels in a plurality of rows of the pixel array unit in which a plurality of pixels are two-dimensionally arranged in a matrix.
  • the pixel signal of the first pixel row is the pixel signal of the first frame
  • the pixel signal of the second pixel row is the pixel signal of the second frame. Is done.
  • the solid-state imaging device and the electronic device may be independent devices or modules incorporated in other devices.
  • an HDR image with little image quality degradation can be generated.
  • effect described here is not necessarily limited, and may be any effect described in the present technology.
  • 15 is a flowchart for describing HDR image generation processing according to the third embodiment. It is a figure explaining the pixel drive in 4th Embodiment. It is a block diagram which shows 4th Embodiment of a solid-state image sensor. 15 is a flowchart for describing HDR image generation processing according to the fourth embodiment. It is a block diagram which shows 5th Embodiment of a solid-state image sensor. 15 is a flowchart for describing HDR image generation processing according to the fifth embodiment. It is a block diagram which shows 6th Embodiment of a solid-state image sensor. 15 is a flowchart for describing HDR image generation processing according to the sixth embodiment.
  • First embodiment (configuration example in which two images are combined to generate an HDR image) 2.
  • Second Embodiment (Configuration Example Having Defect Correction Unit and Noise Reduction Unit) 3.
  • Third embodiment (configuration example in which a defect correction unit and a noise reduction unit are shared) 4).
  • Fourth embodiment (first configuration example in which the first frame is a short accumulation signal) 5.
  • Fifth embodiment (second configuration example in which the first frame is a short accumulation signal) 6).
  • Sixth embodiment (third configuration example in which the first frame is a short accumulation signal) 7).
  • Seventh embodiment (configuration example in which defect correction processing and noise reduction processing are performed after synthesis) 8).
  • Eighth embodiment (configuration example in which four images are combined to generate an HDR image) 9.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a solid-state imaging device to which the present technology is applied.
  • 1 includes a pixel area 11, a memory area 12, a logic area 13, and a control area 14.
  • the solid-state imaging device 1 has a function of generating and outputting an HDR image with an expanded dynamic range from two images having different exposure times.
  • the longer exposure time among the exposure times set for each of the two images is referred to as the long exposure time, and the shorter exposure time is referred to as the short exposure time.
  • one image obtained by exposure with a long exposure time is a long exposure image
  • one image obtained by exposure with a short exposure time is a short exposure image
  • a pixel signal obtained by exposure with a long exposure time A pixel signal obtained by exposure with a long exposure signal and a short exposure time is also referred to as a short exposure signal.
  • a pixel array section 21 and a column AD conversion section 22 are formed in the pixel area 11, and a frame memory 23 is formed in the memory area 12.
  • a frame addition unit 24 and an HDR synthesis unit 25 are formed in the logic region 13, and a control unit 26 is formed in the control region 14.
  • pixels 20 having photoelectric conversion sections that generate and accumulate photocharges according to the amount of incident light are two-dimensionally arranged in a matrix in the row direction and the column direction.
  • the column AD converter 22 converts an analog pixel signal output from each pixel 20 arranged two-dimensionally into a digital pixel signal.
  • the column AD converter 22 outputs, for example, the long exposure signal to the frame memory 23 in the memory area 12 and outputs the short exposure signal to the HDR synthesizing section 25 in the logic area 13.
  • the frame memory 23 in the memory area 12 is composed of, for example, a volatile memory such as DRAM (Dynamic Read Only Memory), stores one image (one frame) supplied from the column AD conversion unit 22, and stores a predetermined image. At timing, it is output to the frame adder 24 in the logic area 13.
  • DRAM Dynamic Read Only Memory
  • the logic area 13 is an area in which a logic circuit that performs predetermined signal processing on the pixel signal is formed.
  • the frame addition unit 24 adds the short exposure image supplied from the column AD conversion unit 22 and the long exposure image supplied from the frame memory 23 (frame addition), and outputs the added image to the HDR synthesis unit 25. To do. However, this frame addition processing is executed when the operation mode of the solid-state imaging device 1 is the frame addition mode. When the operation mode is a frame non-addition mode in which no frames are added, the frame addition unit 24 outputs the long exposure image supplied from the frame memory 23 to the HDR synthesis unit 25 as it is.
  • the HDR synthesizing unit 25 generates and outputs an HDR image with an expanded dynamic range from two images having different exposure times. Details of the HDR image generation will be described later. Here, two images having different exposure times used for generating an HDR image are referred to as a long accumulation image and a short accumulation image, and are used separately from the above-described short exposure image and long exposure image. Although details will be described later, when the operation mode is the frame addition mode, the HDR synthesizing unit 25 uses the image obtained by adding the short exposure image and the long exposure image as the long accumulation image, and the short exposure image as the short accumulation image. Is generated. On the other hand, when the operation mode is the non-frame addition mode, the long exposure image becomes a long accumulation image as it is, and the short exposure image becomes a short accumulation image as it is.
  • the control unit 26 in the control region 14 controls the driving of the pixels 20 and the column AD conversion unit 22 by supplying a predetermined clock signal and timing signal to each pixel 20 and the column AD conversion unit 22.
  • the control unit 26 also supplies a predetermined clock signal and timing signal to the memory area 12 to control writing of an image (data) to the frame memory 23 and reading of an image (data) from the frame memory 23. .
  • FIG. 2 shows a substrate configuration example of the solid-state imaging device 1.
  • the solid-state imaging device 1 can be formed by a three-layer structure in which three semiconductor substrates 31 to 33 are stacked.
  • the pixel region 11 is formed in the first semiconductor substrate 31 on the incident light side, and the second region in the middle.
  • a configuration in which the memory region 12 is formed in the semiconductor substrate 32 and the logic region 13 and the control region 14 are formed in the third semiconductor substrate 33 below the second semiconductor substrate 32 can be adopted.
  • the pixel region 11 and the control region 14 are formed in the first semiconductor substrate 31, and the second semiconductor substrate 32 is formed.
  • the memory region 12 may be formed, and the logic region 13 may be formed on the third semiconductor substrate 33.
  • the three semiconductor substrates 31 to 33 are electrically connected by, for example, through vias or Cu-Cu metal bonds.
  • the pixel area 11 that generates a pixel signal, the memory area 12 that temporarily stores the pixel signal, and the logic area 13 that performs predetermined signal processing such as image synthesis processing are integrated.
  • the amount of data can be compressed, thereby reducing the data transfer load, improving the transfer speed, and reducing power consumption.
  • an HDR image can be output without adding a new memory or logic circuit to an image processing device such as an image signal processor (ISP) after the solid-state imaging device 1.
  • ISP image signal processor
  • the pixel array unit 21 employs a shared pixel structure in which one FD (floating diffusion region) is shared by a plurality of pixels 20.
  • FIG. 3 shows a circuit diagram in the case of a shared pixel structure in which one FD is shared by a total of 8 pixels of 4 vertical pixels ⁇ 2 horizontal pixels.
  • Each pixel 20 individually has only a photodiode PD and a transfer transistor TG that transfers charges accumulated in the photodiode PD.
  • Each of the FD 35, the reset transistor (reset Tr) 36, the amplification transistor (amplification Tr) 37, and the selection transistor (selection Tr) 38 is commonly used by 8 pixels as a sharing unit.
  • each of the reset transistor 36, the amplification transistor 37, and the selection transistor 38 that are commonly used in the eight pixels that are the shared unit is also referred to as a shared pixel transistor. Further, in order to distinguish the photodiode PD and the transfer transistor TG disposed in each of the eight pixels in the shared unit, as shown in FIG. 3, they are referred to as photodiodes PD1 to PD8 and transfer transistors TG1 to TG8.
  • Each of the photodiodes PD1 to PD8 receives light and generates and accumulates photocharges.
  • the transfer transistor TG1 becomes conductive in response to this, and transfers the photocharge accumulated in the photodiode PD1 to the FD35. To do.
  • the transfer transistor TG2 becomes conductive in response to this, and transfers the photocharge accumulated in the photodiode PD2 to the FD35.
  • the transfer transistor TG3 becomes conductive in response to the transfer of the photocharge accumulated in the photodiode PD3 to the FD35. To do.
  • the transfer transistor TG4 becomes conductive in response to the transfer of the photocharge accumulated in the photodiode PD4 to the FD35. To do.
  • the photodiodes PD5 to PD8 and the transfer transistors TG5 to TG8 also operate in the same manner as the photodiodes PD1 to PD4 and the transfer transistors TG1 to TG4.
  • FD35 temporarily holds photocharges supplied from the photodiodes PD1 to PD8.
  • the reset transistor 36 When the drive signal supplied to the gate electrode through the signal line RST becomes active, the reset transistor 36 is turned on in response to resetting the potential of the FD 35 to a predetermined level (reset voltage VDD). To do.
  • the amplifying transistor 37 has a source electrode connected to the vertical signal line VSL via the selection transistor 38, whereby a load MOS (not shown) of the constant current source circuit unit connected to one end of the vertical signal line VSL. Configure the source follower circuit.
  • the selection transistor 38 is connected between the source electrode of the amplification transistor 37 and the vertical signal line VSL.
  • the selection signal supplied to the gate electrode via the signal line SEL becomes active, the selection transistor 38 becomes conductive in response to the selection signal, and the selection unit 38 becomes the selected state, and the selection unit 38 becomes the selected state.
  • the pixel signal of the pixel is output to the vertical signal line VSL.
  • the plurality of pixels 20 in the sharing unit can output a pixel signal in units of one pixel in accordance with a driving signal from a vertical driving circuit (not shown), or simultaneously output pixel signals in units of a plurality of pixels. You can also.
  • the solid-state imaging device 1 is described as having a shared pixel structure in which one FD is shared by a total of 8 pixels of 4 vertical pixels ⁇ 2 horizontal pixels as shown in FIG.
  • the structure may be shared by the number of pixels other than 8 pixels (for example, 2 pixels, 4 pixels, 16 pixels, etc.), or may be configured not to share the shared pixel transistor with the FD.
  • each of the long accumulation image and the short accumulation image is composed of an image having the number of rows H in the vertical direction and the number of columns W in the horizontal direction.
  • the first frame for acquiring the long accumulation image and the second frame for acquiring the short accumulation image are read out at equal time intervals, and the exposure time is set within the frame. It is a method to do.
  • the maximum exposure time is set within the frame period
  • the exposure time shorter than the first frame is set.
  • the time taken to output the HDR image (hereinafter referred to as the output frame length). Assuming T, the time taken to acquire each of the first frame long accumulation image and the second frame short accumulation image is T / 2 hours.
  • the time of each frame is kept constant, and the maximum exposure time of the long stored image is T / 2 hours.
  • the frame times of the first frame for obtaining the long accumulation image and the second frame for obtaining the short accumulation image are set to different times. If set, as shown in FIG. 4B, the exposure time of the long accumulated image can be further extended from T / 2 hours.
  • the first frame image is read sequentially from the 0th row, and after the H-th row reading of the first frame image is completed, the second frame is read.
  • raster scan driving in which an image is read sequentially from the 0th row, is also common.
  • the solid-state imaging device 1 in FIG. 1 drives the pixels 20 so as to minimize the difference in the readout time between the long accumulation image and the short accumulation image by performing signal readout of a plurality of rows at the same time.
  • the y-th row of the first frame image and the x-th row of the second frame image are simultaneously read at a certain time.
  • exposure can be started immediately without opening the first frame and the second frame, and the difference in readout time can be minimized.
  • the output frame length T required for generating the HDR image and the exposure time of the short accumulation image are the same as those in FIG. 4A and FIG. 4B described above. Therefore, the period of the blank portion between the exposure period of the long accumulation image and the exposure period of the short accumulation image in B of FIG. 4 can be set as the exposure period of the long accumulation image in the drive control of the solid-state imaging device 1. Even when the time required for generating the HDR image is the same T time, the exposure time of the long accumulated image can be made longer than the time A shown in FIG. 4 and the time B shown in FIG.
  • FIG. 5 shows a detailed structure of the solid-state imaging device 1 that realizes simultaneous readout of the first frame and the second frame described in C of FIG.
  • FIG. 5 illustrates a part of the pixel array unit 21, a part of the column AD conversion unit 22, and a DAC (Digital-to-Analog Converter) 41 that supplies a ramp signal to the column AD conversion unit 22.
  • the DAC 41 is included in the control area 14 of FIG.
  • one FD 35 is formed for eight pixels 20 in a shared unit arranged in a Bayer array, and a plurality of pixels in the same column are formed.
  • the FD 35 is connected to two vertical signal lines VSL1 and VSL2 arranged on the left and right respectively.
  • 1 includes column AD conversion units 22A and 22B arranged on the upper side and the lower side in FIG. 5 with respect to the pixel array unit 21, respectively.
  • One vertical signal line VSL1 of the two vertical signal lines VSL1 and VSL2 is connected to the ADC 50 of the lower column AD conversion unit 22A, and the other one vertical signal line VSL2 is connected to the upper side. It is connected to the ADC 50 of the column AD converter 22B.
  • the ADC 50 of the column AD conversion unit 22A counts the comparator (comparator) 51 that compares the pixel signal of a predetermined pixel input via the vertical signal line VSL1 with the ramp signal from the DAC 41A, and the comparison time of the comparator.
  • An up / down counter 52 is provided.
  • the ADC 50 of the column AD conversion unit 22B counts the comparator (comparator) 51 that compares the pixel signal of a predetermined pixel input via the vertical signal line VSL2 with the ramp signal from the DAC 41B, and the comparison time of the comparator.
  • An up / down counter 52 is provided.
  • the comparator 51 outputs a difference signal obtained by comparing the pixel signal and the ramp signal to the up / down counter 52. For example, when the ramp signal is larger than the pixel signal, the Hi (High) difference signal is supplied to the up / down counter 52, and when the ramp signal is smaller than the pixel signal, the Lo (Low) difference signal is It is supplied to the up / down counter 52.
  • the up / down counter 52 counts down only while the Hi difference signal is supplied in the P phase (Preset Phase) AD conversion period, and supplies the Hi difference signal in the D phase (Data Phase) AD conversion period. Count up only while you are.
  • the up / down counter 52 outputs the addition result of the down count value in the P-phase AD conversion period and the up count value in the D-phase AD conversion period as pixel data after CDS processing and AD conversion processing. Thereby, AD conversion of the pixel signal can be performed and reset noise can be removed. It is also possible to count up during the P-phase AD conversion period and count down during the D-phase AD conversion period.
  • Each of the plurality of FDs 35 arranged in a row outputs the stored charge from the two vertical signal lines VSL1 and VSL2 arranged on the right side, or two vertical signals arranged on the left side Whether to output from the lines VSL1 and VSL2 is properly used according to a predetermined condition such as imaging setting, for example.
  • the solid-state imaging device 1 outputs pixel signals using two vertical signal lines VSL1 and VSL2 in which a plurality of FDs 35 in the same column are arranged on the right side, as described with reference to FIG. 4C.
  • the reading is controlled as shown in FIG.
  • control unit 26 of the solid-state imaging device 1 outputs the pixel signal of the y-th row of the first frame image to the ADC 50 of the column AD conversion unit 22A on the lower side of the pixel array unit 21, and the second frame image.
  • Each pixel 20 is controlled so that the pixel signal of the x-th row is output to the ADC 50 of the column AD conversion unit 22B on the upper side of the pixel array unit 21.
  • a general column ADC structure in which an ADC is provided for a pixel column has one vertical signal line and one ADC on each of left and right sides of a plurality of FDs 35 arranged in a row.
  • the vertical signal line VSL1 and the ADC 50 on the column AD conversion unit 22A side are provided. In this case, since the reading of the image of the second frame cannot be started until the reading of the image of the first frame is completed, the driving shown in FIG. 4B is performed.
  • the solid-state imaging device 1 has a two-stage column ADC structure including two ADCs 50 as ADCs that can output to a plurality of FDs 35 arranged in a row, so that an image of the first frame is obtained. And the second frame image can be read out simultaneously.
  • the two-stage column ADC structure is used for simultaneous readout of the first frame image and the second frame image in the generation of the HDR image.
  • the read speed can be doubled.
  • FIG. 8 shows an example of a four-stage column ADC structure including four ADCs 50 as ADCs that can output a plurality of FDs 35 arranged in a row.
  • the solid-state imaging device 1 has four vertical signal lines VSL1 to VSL1 on the left and right sides of a plurality of FDs 35 arranged in a row as shown in FIG.
  • a four-stage column ADC structure including VSL4 and four ADCs 50 may be used. In this case, four rows of pixel signals in the pixel array unit 21 can be read out simultaneously.
  • the reading speed is set to 2 of the two-stage column ADC structure. Can be doubled.
  • the pixel driving of the solid-state imaging device 1 described with reference to FIG. 4C controls the output frame length T to be divided into the exposure period of the long accumulation image and the exposure period of the short accumulation image.
  • the pixel driving of the solid-state imaging device 1 described with reference to FIG. 4C uses the long exposure image of the first frame as it is as the long accumulation image of the HDR image and the short exposure image of the second frame as the HDR.
  • the drive in the frame non-addition mode used as a short image storage image is shown.
  • FIG. 9 is a diagram showing the exposure time of the long accumulation image and the exposure time of the short accumulation image at the three types of exposure ratios in the frame non-addition mode when the output frame length T is 30 msec.
  • the exposure time of the long accumulation image is set to 26.67 msec, and the exposure time of the short accumulation image is set to 3.33 msec.
  • the exposure time of the long accumulation image is set to 20 msec
  • the exposure time of the short accumulation image is set to 10 msec.
  • the exposure time of the long accumulation image is set to 15 msec
  • the exposure time of the short accumulation image is set to 15 msec.
  • the maximum exposure time of the long accumulation image is set to (30 ⁇ exposure time of the short accumulation image) msec.
  • the exposure ratio between the long accumulation image and the short accumulation image is 1: 2.
  • the exposure time of the long accumulation image cannot be extended to 20 msec or more.
  • FIG. 10 is a diagram showing the exposure time of the long accumulation image and the exposure time of the short accumulation image in the frame addition mode in the case of the same output frame length T and exposure ratio as in FIG.
  • the solid-state imaging device 1 adds the long exposure image acquired in the first frame and the short exposure image acquired in the second frame by the frame addition unit 24, and the resulting image is added to the length of the HDR image.
  • the short-exposure image of the second frame is used as the short-accumulation image of the HDR image.
  • the exposure time of the long accumulation image is represented by the sum of the exposure time of the first frame and the exposure time of the second frame, it is always constant regardless of the exposure ratio. Then, the output frame length T is 30 msec.
  • the exposure time of the second frame may be set to 3.75 msec as shown in FIG.
  • the exposure time of the second frame may be set to 15 msec, and the exposure ratio between the long accumulation image and the short accumulation image is 1: 1. In this case, the exposure time of the second frame may be set to 30 msec.
  • the exposure time of the long accumulation image is represented by the sum of the exposure time of the first frame and the exposure time of the second frame. You can always keep the time constant. Further, in the frame addition mode, as is apparent from the comparison with FIG. 9, the exposure time of the long accumulated image can be secured longer than that in the frame non-addition mode.
  • step S1 the control unit 26 of the solid-state imaging device 1 starts reading the long exposure signal of the first frame obtained by setting the long exposure time in each pixel 20 of the pixel array unit 21.
  • the long exposure signal of the first frame is read sequentially from the 0th row, for example, by raster scan driving.
  • Each pixel 20 of the pixel array unit 21 outputs the accumulated analog long exposure signal (pixel signal) to the column AD conversion unit 22 in accordance with the read control of the control unit 26, and the column AD conversion unit 22 performs reset noise. Convert to digital while removing.
  • the column AD conversion unit 22 outputs the long exposure signal after AD conversion to the frame memory 23.
  • step S2 the frame memory 23 temporarily stores the long exposure signal of the first frame sequentially supplied from the column AD conversion unit 22 in the pixel area 11.
  • the long exposure signal of the first frame is held at least until reading of the short exposure signal of the second frame to be added is started in step S4 described later.
  • step S3 the control unit 26 of the solid-state imaging device 1 starts reading the short exposure signal of the second frame obtained by setting the short exposure time in each pixel 20 of the pixel array unit 21.
  • the short exposure signal of the second frame is also read by raster scan driving in order from the 0th row after the short exposure time of the second frame has elapsed after the end of reading of the first frame.
  • Each pixel 20 of the pixel array unit 21 outputs the accumulated analog short exposure signal (pixel signal) to the column AD conversion unit 22 according to the readout control of the control unit 26, and the column AD conversion unit 22 performs reset noise. Convert to digital while removing.
  • the column AD conversion unit 22 outputs the short exposure signal after AD conversion to the frame addition unit 24 and the HDR synthesis unit 25.
  • the solid-state imaging device 1 reads out the long exposure signal of the first frame and the short exposure signal of the second frame at the same time using the multistage column ADC structure. After the reading of the short exposure signal of the second frame is started, the reading of the long exposure signal of the first frame and the reading of the short exposure signal of the second frame are executed in parallel.
  • step S ⁇ b> 4 the frame adder 24 acquires the long exposure signal of the first frame stored in the frame memory 23, and the acquired long exposure signal of the first frame and the first AD supplied from the column AD converter 22. An addition signal obtained by adding the short exposure signals of two frames is generated and output to the HDR synthesizing unit 25.
  • step S ⁇ b> 5 the HDR synthesizing unit 25 uses the addition signal supplied from the frame addition unit 24 as a pixel signal of the long accumulation image (hereinafter referred to as a long accumulation signal), and the second frame supplied from the column AD conversion unit 22.
  • the short exposure signal is used as a pixel signal of a short accumulation image (hereinafter referred to as a short accumulation signal), and HDR synthesis processing for generating an HDR image is executed.
  • the HDR synthesizing unit 25 outputs the HDR image obtained by the HDR synthesizing process and ends the process.
  • steps S11 to S13 in FIG. 12 are the same as steps S1 to S3 in FIG. 11 described above, description thereof will be omitted.
  • step S14 the frame adding unit 24 acquires the long exposure signal of the first frame stored in the frame memory 23, and outputs the acquired long exposure signal of the first frame to the HDR synthesizing unit 25 as it is.
  • step S15 the HDR synthesizing unit 25 uses the first frame long exposure signal supplied from the frame addition unit 24 as a long accumulation signal, and the second frame short exposure signal supplied from the column AD conversion unit 22 as a short accumulation signal. As a signal, HDR synthesis processing for generating an HDR image is executed. The HDR synthesizing unit 25 outputs the HDR image obtained by the HDR synthesizing process and ends the process.
  • the read is performed in order from the 0th row, but it is not always necessary to read from the 0th row.
  • an image obtained by adding the long exposure image of the first frame and the short exposure image of the second frame is used as the long accumulation image
  • An HDR image is generated using the short exposure image of the frame as a short accumulation image.
  • an HDR image is generated with the long exposure image of the first frame as a long accumulation image and the short exposure image of the second frame as a short accumulation image.
  • the exposure time of the long accumulated image can always be kept constant regardless of the exposure ratio, and can be secured longer than the frame non-addition mode.
  • the unit time (output frame length) for outputting the frame image is set according to the exposure time of the long accumulation pixel in both cases of generating an image (normal image) in units of one sheet and generating an HDR image. Since it is not necessary to change adaptively, drive control becomes easy.
  • the solid-state imaging device 1 has a multi-stage column ADC structure including a plurality of ADCs 50 as ADCs that can output to a plurality of FDs 35 arranged in a row.
  • the reading of the long exposure image of the first frame and the reading of the short exposure image of the second frame can be performed simultaneously.
  • the reading of the short exposure image of the second frame can be started even if the reading of the long exposure image of the first frame is not completed. Thereby, since there is little difference in the readout time between the short accumulation image and the long accumulation image, it is difficult to be influenced by the moving subject.
  • the solid-state imaging element 1 Compared to the method of simultaneously acquiring signals of a plurality of exposure times by preparing a long accumulation pixel (high sensitivity pixel) and a short accumulation pixel (low sensitivity pixel) in one imaging element, the solid-state imaging element 1 According to the configuration and control, the pixel signal can be acquired from all the pixels of the pixel array unit 21 for both the long accumulation image and the short accumulation image. Therefore, image quality degradation such as moire and aliasing can be achieved without reducing the spatial resolution and temporal resolution. Does not occur. Therefore, it is possible to generate an HDR image with little image quality degradation.
  • FIG. 13 is a block diagram showing the detailed configuration of the HDR synthesizing unit 25 together with the frame memory 23 and the frame adding unit 24.
  • the HDR synthesis unit 25 includes LPFs 81 and 82, a moving subject blend rate calculation unit 83, a luminance blend rate calculation unit 84, and a synthesis calculation unit 85.
  • the short exposure signal output from the column AD conversion unit 22 as a short accumulation signal for generating an HDR image is supplied to the LPF 81 and the composition calculation unit 85. Also, the addition signal output from the frame addition unit 24 as a long accumulation signal for generating an HDR image is supplied to the LPF 82 and the synthesis calculation unit 85.
  • the LPF 81 performs low-pass filter processing on the supplied short accumulation signal to generate a short accumulation signal from which high-frequency noise has been removed, and supplies the short accumulation signal to the moving subject blend ratio calculation section 83 and the luminance blend ratio calculation section 84.
  • the LPF 82 performs a low-pass filter process on the supplied long accumulation signal to generate a long accumulation signal from which high-frequency noise has been removed, and supplies the long accumulation signal to the moving subject blend ratio calculation section 83 and the luminance blend ratio calculation section 84.
  • the moving subject blending rate calculation unit 83 calculates a moving subject blending rate ⁇ that is a blending rate (composition ratio) according to whether or not each pixel of the generated HDR image is a moving subject.
  • the moving subject blend ratio calculation unit 83 calculates the absolute difference diff between the long accumulation signal and the short accumulation signal for each pixel of the generated HDR image by the following equation (1).
  • L is a long accumulation signal (pixel value of a long accumulation pixel)
  • S is a short accumulation signal (pixel value of a short accumulation pixel)
  • B opb is a black level signal
  • gain is a long accumulation pixel and a short accumulation pixel. Represents exposure ratio.
  • the moving subject blending rate calculation unit 83 refers to the moving subject blending rate function (moving subject blending rate table) shown in FIG. 14 and calculates the moving subject blending rate from the calculated absolute difference diff between the long accumulation signal and the short accumulation signal. ⁇ is calculated.
  • the horizontal axis of FIG. 14 is the absolute difference value diff calculated by Expression (1), and the vertical axis represents the moving subject detection rate ⁇ .
  • Th0 and Th1 on the horizontal axis are thresholds that are adaptively changed according to the long accumulation signal L calculated by the following equation (2), and each of coef0 to coef3 is a predetermined coefficient (parameter) set in advance. ).
  • the moving subject blend rate ⁇ using the long accumulation signal is calculated.
  • the absolute difference diff is between the threshold value Th0 and the threshold value Th1
  • the moving subject blend rate ⁇ changes linearly, for example.
  • the moving subject blend rate ⁇ that uses a short accumulation signal with less moving body shake is calculated in a portion where the movement is large.
  • the moving subject blend ratio calculation unit 83 supplies the moving subject blend ratio ⁇ calculated for each pixel of the HDR image as described above to the composition calculation unit 85.
  • the luminance blend rate calculation unit 84 calculates a luminance blend rate ⁇ that is a blend rate (combination ratio) according to the luminance value for each pixel of the generated HDR image.
  • 15A shows a long accumulation blend ratio function (long accumulation blend ratio table) for calculating a blend ratio ⁇ L based on the long accumulation signal L
  • B in FIG. 15 shows a blend ratio ⁇ S based on the short accumulation signal S
  • 3 shows a short accumulation blend rate function (short accumulation blend rate table) for calculating.
  • 15A represents the long accumulation signal L
  • the vertical axis represents the long accumulation blend rate ⁇ L
  • the horizontal axis of B in FIG. 15 represents the short accumulation signal S
  • the vertical axis represents the short accumulation blend rate ⁇ S.
  • Th0L and Th1L, and Th0S and Th1S represent predetermined threshold values set in advance.
  • the long accumulation blend ratio function of A in FIG. 15 and the short accumulation blend ratio function of B in FIG. 15 when the brightness of the subject is dark, the long accumulation signal L that can be imaged to the dark part by long exposure is used.
  • the blend rate ⁇ L and the blend rate ⁇ S are calculated so that the short accumulation signal S that is bright and does not saturate is used.
  • the composition calculation unit 85 calculates the HDR from the moving subject blend rate ⁇ supplied from the moving subject blend rate calculation unit 83 and the luminance blend rate ⁇ supplied from the luminance blend rate calculation unit 84.
  • composition calculation unit 85 uses the calculated HDR blend rate ⁇ to calculate a pixel value according to the following expression (3) for each pixel of the HDR image, and generates an HDR image.
  • HDR synthesizing process by the HDR synthesizing unit 25 will be described with reference to the flowchart of FIG. This process corresponds to the process of step S5 in FIG. 11 and step S15 in FIG.
  • step S31 the LPF 81 and the LPF 82 perform low-pass filter processing on each of the short accumulation signal and the long accumulation signal. That is, the LPF 81 performs a low pass filter process on the short accumulation signal, and the LPF 82 performs a low pass filter process on the long accumulation signal.
  • the moving subject blend rate calculation unit 83 calculates a moving subject blend rate ⁇ that is a blend rate according to whether or not each pixel of the generated HDR image is a moving subject. More specifically, the moving subject blend ratio calculation unit 83 calculates the absolute difference diff between the long accumulation signal and the short accumulation signal according to Expression (1) for each pixel of the generated HDR image. Then, the moving subject blend rate calculation unit 83 refers to the moving subject blend rate function shown in FIG. 14, calculates the moving subject blend rate ⁇ from the calculated absolute value diff of the long accumulation signal and the short accumulation signal, This is supplied to the composition calculation unit 85.
  • step S34 the composition calculation unit 85, for each pixel of the generated HDR image, the moving subject blend rate ⁇ supplied from the moving subject blend rate calculation unit 83 and the luminance blend rate supplied from the luminance blend rate calculation unit 84.
  • step S35 the composition calculation unit 85 calculates a pixel value by Equation (3) using the calculated HDR blend rate ⁇ for each pixel of the HDR image, and generates an HDR image.
  • an HDR image is generated from the short accumulation signal S and the long accumulation signal L and output from the HDR synthesis unit 25.
  • FIG. 17 is a block diagram showing a second embodiment of the solid-state imaging device 1.
  • FIG. 17 the pixel area 11 and the control area 14 are not shown. Moreover, in FIG. 17, the same code
  • 2nd Embodiment of the solid-state image sensor 1 has shown the structural example which performed the defect correction process and the noise reduction process with respect to the short accumulation signal and the long accumulation signal.
  • the defect correction unit 91 and the noise reduction unit 92 are added to the signal line of the short accumulation signal and the signal line of the long accumulation signal, respectively. This is different from the embodiment.
  • the defect correction unit 91S detects the presence or absence of a defective pixel with respect to the supplied short accumulation signal, and executes a defect correction process for correcting the defective pixel when a defective pixel is detected.
  • the noise reduction unit 92S performs a noise reduction process on the short accumulation signal after the defect correction process output from the defect correction unit 91S.
  • the defect correction unit 91L performs defect correction processing on the supplied long accumulation signal.
  • the noise reduction unit 92L performs a noise reduction process on the long accumulation signal after the defect correction process output from the defect correction unit 91L.
  • the defect correction processing performed by the defect correction unit 91 serving as the defect correction unit 91S or 91L is performed, for example, with each pixel constituting the image as a target pixel, and peripheral pixels positioned around the target pixel (for example, centering on the target pixel).
  • the difference value between the average value of 3 ⁇ 3 pixel values (eight pixels excluding the target pixel) and the pixel value of the target pixel is calculated, and when the difference value is equal to or greater than a predetermined threshold, the pixel value of the target pixel is A process of replacing with the average value of pixels is performed.
  • This defect correction process is merely an example, and any other defect correction process can be adopted.
  • a weight is set such that the weight decreases as the difference between the pixel value of the target pixel and the average value of the surrounding pixels increases.
  • a process of setting the weighted average result of the pixel and the average value of the peripheral pixels to which the weight is added as the pixel value of the target pixel is performed. This noise reduction process is merely an example, and any other noise reduction process can be employed.
  • the solid-state imaging device 1 it is possible to generate an HDR image using a short accumulation signal and a long accumulation signal that have been subjected to defect correction processing and noise reduction processing.
  • FIG. 18 is a block diagram showing a third embodiment of the solid-state imaging device 1.
  • the third embodiment of the solid-state imaging device 1 also shows a configuration example in which defect correction processing and noise reduction processing are performed on the short accumulation signal and the long accumulation signal.
  • the defect correction unit 91 and the noise reduction unit 92 are provided in each of the signal line of the short accumulation signal and the signal line of the long accumulation signal.
  • the defect correction unit 91 and the noise reduction unit 92 are shared.
  • one defect correction unit 91 and noise reduction unit 92 are arranged in the previous stage of the frame memory 23.
  • the single defect correction unit 91 and the noise reduction unit 92 sequentially process the long exposure signal of the first frame and the short exposure signal of the second frame with a time difference, so that the defect correction unit 91 and the noise reduction unit 92 We are trying to make it common. Therefore, since the short exposure signal of the second frame needs to wait until the defect correction processing and noise reduction processing of the long exposure signal of the first frame are completed, the short exposure signal of the second frame is delayed for a predetermined time.
  • the delay adjusting unit 101 is provided in front of the defect correcting unit 91.
  • the delay adjustment unit 101 is configured by a DRAM or the like similar to the frame memory 23, for example.
  • the defect correction unit 91 As an input signal to the defect correction unit 91, as an input signal to the defect correction unit 91, the first frame long exposure signal output from the column AD conversion unit 22 or the second frame output from the delay adjustment unit 101 is input. Although a switch for selecting one of the short exposure signals is provided, the illustration is omitted. Further, a switch for switching the output destination of the output signal from the noise reduction unit 92 to either the frame memory 23 or the HDR synthesis unit 25 is provided at the subsequent stage of the noise reduction unit 92, but the illustration is omitted. Yes.
  • the long exposure signal of the first frame is supplied to the frame memory 23 after being subjected to defect correction processing and noise reduction processing in the defect correction section 91 and noise reduction section 92, and stored for a predetermined time.
  • the short exposure signal of the second frame is waited by the delay adjustment unit 101 until the defect correction processing and noise reduction processing are completed for all the long exposure signals of the first frame. Then, after the defect correction process and the noise reduction process for all the long exposure signals of the first frame are completed, the defect correction unit 91 and the noise reduction unit 92 are supplied to execute the defect correction process and the noise reduction process.
  • step S51 the control unit 26 of the solid-state imaging device 1 starts reading the long exposure signal of the first frame obtained by setting the long exposure time in each pixel 20 of the pixel array unit 21.
  • the long exposure signal of the first frame is read sequentially from the 0th row, for example, by raster scan driving.
  • step S52 the defect correction unit 91 and the noise reduction unit 92 sequentially perform defect correction processing and noise reduction processing on the first frame long exposure signal that is sequentially input.
  • step S53 the frame memory 23 temporarily stores the long exposure signal of the first frame after the noise reduction processing sequentially supplied from the noise reduction unit 92.
  • step 54 the control unit 26 of the solid-state imaging device 1 starts reading the short exposure signal of the second frame obtained by setting the short exposure time in each pixel 20 of the pixel array unit 21.
  • the short exposure signal of the second frame is also read by raster scan driving in order from the 0th row after the short exposure time of the second frame has elapsed after the end of reading of the first frame.
  • step S54 after the readout of the short exposure signal of the second frame in step S54 is started, the readout of the long exposure signal of the first frame and the readout of the short exposure signal of the second frame are performed in parallel. And executed.
  • step 55 the delay adjustment unit 101 delays the short exposure signal of the second frame supplied from the column AD conversion unit 22 for a predetermined time.
  • the delay time here is the time until the defect correction processing and noise reduction processing are completed for all the long exposure signals of the first frame.
  • step S56 the defect correction unit 91 and the noise reduction unit 92 sequentially perform defect correction processing and noise reduction processing for the second frame short exposure signals sequentially input from the delay adjustment unit 101 after a predetermined time delay. To run.
  • step S57 the frame addition unit 24 acquires the long exposure signal stored in the frame memory 23, and generates an addition signal obtained by adding the acquired long exposure signal and the short exposure signal supplied from the noise reduction unit 92. And output to the HDR synthesizing unit 25.
  • step S58 the HDR synthesizing unit 25 uses the addition signal supplied from the frame addition unit 24 as a long accumulation signal, and the short exposure signal of the second frame after the defect correction processing and noise reduction processing supplied from the noise reduction unit 92. Is used as a short accumulation signal to execute HDR synthesis processing for generating an HDR image.
  • This HDR synthesizing process is the same as the process of FIG. 16 described above.
  • the HDR synthesizing unit 25 outputs the HDR image obtained by the HDR synthesizing process and ends the process.
  • each pixel 20 of the pixel array unit 21 is driven so that the first frame is a long exposure signal and the second frame is a short exposure signal.
  • the first frame is a short exposure signal and the second frame is a long exposure signal.
  • Each pixel 20 of the pixel array unit 21 is driven.
  • the short exposure signal of the first frame is the short accumulation signal
  • the addition signal obtained by adding the short exposure signal of the first frame and the long exposure signal of the second frame is the long accumulation signal.
  • the read start positions of the short accumulation signal and the long accumulation signal can be aligned as shown in FIG.
  • FIG. 21 is a block diagram showing a fourth embodiment of the solid-state imaging device 1.
  • the frame memory 23 arranged before the defect correcting unit 91 is referred to as a first frame memory 23-1
  • the frame memory 23 arranged after the noise reducing unit 92 is referred to as the second frame memory 23-1. This is referred to as a frame memory 23-2.
  • the first frame memory 23-1 is arranged on the signal line of the short exposure signal of the first frame, and the frame adder 24 is arranged on the signal line of the long exposure signal of the second frame.
  • the second frame memory 23-2 is arranged between the noise reduction unit 92 and the HDR synthesis unit 25.
  • the short exposure signal of the first frame output from the first frame memory 23-1 or the frame addition is input as an input signal to the defect correction unit 91 before the defect correction unit 91.
  • a switch for selecting one of the addition signals output from the unit 24 is provided, the illustration is omitted.
  • a switch for switching the output destination of the output signal from the noise reduction unit 92 to either the second frame memory 23-2 or the HDR synthesis unit 25 is provided at the subsequent stage of the noise reduction unit 92. The illustration is omitted.
  • the first frame memory 23-1 supplies the acquired short exposure signal of the first frame to the subsequent defect correction unit 91, holds it for a predetermined time, and then supplies it to the frame addition unit 24.
  • the frame addition unit 24 acquires the long exposure signal of the second frame, adds it to the short exposure signal of the first frame supplied from the first frame memory 23-1, and outputs the addition result to the defect correction unit 91. To do.
  • the second frame memory 23-2 temporarily stores the short exposure signal of the first frame after the noise reduction processing output from the noise reduction unit 92, and supplies it to the HDR synthesis unit 25 after a predetermined time has elapsed.
  • step S71 the control unit 26 of the solid-state imaging device 1 starts reading the short exposure signal of the first frame obtained by setting the short exposure time in each pixel 20 of the pixel array unit 21.
  • the short exposure signal of the first frame is read sequentially from the 0th row, for example, by raster scan driving.
  • step S72 the first frame memory 23-1 supplies the short exposure signal of the first frame supplied from the column AD conversion unit 22 in the pixel area 11 to the subsequent defect correction unit 91 and temporarily stores it. .
  • step S73 the defect correction unit 91 and the noise reduction unit 92 sequentially execute defect correction processing and noise reduction processing on the first frame short exposure signals sequentially input from the first frame memory 23-1. To do.
  • step S74 the second frame memory 23-2 supplies the short exposure signal of the first frame after the noise reduction processing sequentially supplied from the noise reduction unit 92 to the subsequent HDR synthesizing unit 25 and temporarily stores it. To do.
  • step 75 the control unit 26 of the solid-state imaging device 1 starts reading the long exposure signal of the second frame obtained by setting the long exposure time in each pixel 20 of the pixel array unit 21.
  • the long exposure signal of the second frame is also read out by raster scan driving in order from the 0th row after the long exposure time of the second frame has elapsed after the end of reading out of the first frame.
  • step 76 the frame addition unit 24 acquires the short exposure signal stored in the first frame memory 23-1 and is supplied from the acquired short exposure signal and the column AD conversion unit 22 in the pixel region 11. An addition signal obtained by adding the long exposure signals of the second frame is generated and output to the defect correction unit 91.
  • step S77 the defect correction unit 91 and the noise reduction unit 92 sequentially execute defect correction processing and noise reduction processing on the addition signals sequentially input from the frame addition unit 24.
  • the processed addition signal is supplied to the HDR synthesizing unit 25.
  • step S78 the HDR synthesizing unit 25 uses the addition signal supplied from the noise reduction unit 92 as a long accumulation signal, and the short exposure signal after the defect correction processing and noise reduction processing supplied from the second frame memory 23-2. Is used as a short accumulation signal to execute HDR synthesis processing for generating an HDR image.
  • This HDR synthesizing process is the same as the process of FIG. 16 described above.
  • the HDR synthesizing unit 25 outputs the HDR image obtained by the HDR synthesizing process and ends the process.
  • FIG. 23 is a block diagram showing a fifth embodiment of the solid-state imaging device 1.
  • each pixel 20 of the pixel array unit 21 is set so that the first frame is a short exposure signal and the second frame is a long exposure signal.
  • the structural example which does not require two frame memories 23 is shown.
  • the frame memory 23 and the frame addition unit 24 are provided after the defect correction unit 91 and the noise reduction unit 92 in the fifth embodiment.
  • a switch for selecting either the first frame short exposure signal or the second frame long exposure signal as an input signal to the defect correction unit 91 is provided in the preceding stage of the defect correction unit 91. However, the illustration is omitted. Further, a switch for switching the output destination of the output signal from the noise reduction unit 92 to either the frame memory 23 or the frame addition unit 24 is provided at the subsequent stage of the noise reduction unit 92, but the illustration is omitted. Yes.
  • the frame memory 23 temporarily stores the short exposure signal of the first frame that has been subjected to the defect correction process and the noise reduction process, and supplies it to the HDR synthesizing unit 25 as a short accumulation signal after a predetermined time has elapsed.
  • the frame memory 23 also supplies the acquired short exposure signal of the first frame to the frame adder 24 after a predetermined time has elapsed.
  • the frame addition unit 24 acquires the long exposure signal of the second frame that has been subjected to the defect correction process and the noise reduction process, and generates an addition signal that is added to the short exposure signal of the first frame supplied from the frame memory 23.
  • the long accumulation signal is supplied to the HDR synthesizing unit 25.
  • step S91 the control unit 26 of the solid-state imaging device 1 starts reading the short exposure signal of the first frame obtained by setting the short exposure time in each pixel 20 of the pixel array unit 21.
  • the short exposure signal of the first frame is read sequentially from the 0th row, for example, by raster scan driving.
  • step S ⁇ b> 92 the defect correction unit 91 and the noise reduction unit 92 sequentially perform defect correction processing and noise reduction processing on the first frame short exposure signal sequentially input from the column AD conversion unit 22 in the pixel region 11. Execute.
  • step S93 the frame memory 23 supplies the short exposure signal of the first frame after the noise reduction processing sequentially supplied from the noise reduction unit 92 to the subsequent HDR synthesizing unit 25 and temporarily stores it.
  • step S94 the control unit 26 of the solid-state imaging device 1 starts reading the long exposure signal of the second frame obtained by setting the long exposure time in each pixel 20 of the pixel array unit 21.
  • the long exposure signal of the second frame is also read out by raster scan driving in order from the 0th row after the long exposure time of the second frame has elapsed after the end of reading out of the first frame.
  • step S95 the defect correction unit 91 and the noise reduction unit 92 sequentially perform defect correction processing and noise reduction processing on the second frame long exposure signal sequentially input from the column AD conversion unit 22 in the pixel region 11. Execute.
  • step 96 the frame addition unit 24 acquires the short exposure signal of the first frame stored in the frame memory 23, and corrects the acquired short exposure signal of the first frame and the defect correction output from the noise reduction unit 92.
  • An added signal obtained by adding the long exposure signal of the second frame after the processing and the noise reduction processing is generated and output to the HDR synthesizing unit 25.
  • step S97 the HDR synthesizing unit 25 generates an HDR image using the addition signal supplied from the frame adding unit 24 as a long accumulation signal and the short exposure signal supplied from the frame memory 23 as a short accumulation signal. Execute. This HDR synthesizing process is the same as the process of FIG. 16 described above. The HDR synthesizing unit 25 outputs the HDR image obtained by the HDR synthesizing process and ends the process.
  • the solid-state imaging device 1 of the fourth embodiment in FIG. 21 generates a long accumulation signal first by adding the short exposure signal and the long exposure signal of the first frame, and with respect to the generated long accumulation signal Defect correction processing and noise reduction processing are executed.
  • the solid-state imaging device 1 executes defect correction processing and noise reduction processing for each of the short exposure signal of the first frame and the long exposure signal of the second frame.
  • the subsequent short exposure signal and long exposure signal are added to generate a long accumulation signal.
  • FIG. 25 is a block diagram showing a sixth embodiment of the solid-state imaging device 1.
  • the sixth embodiment has a configuration in which the first frame is a short exposure signal, the second frame is a long exposure signal, and two frame memories 23 are not required. An example is shown.
  • the frame addition unit 24 is provided before the defect correction unit 91 and the noise reduction unit 92, and the frame memory 23 is provided after the defect correction unit 91 and the noise reduction unit 92. It has been.
  • the frame addition unit 24 is arranged on the signal line of the long exposure signal of the second frame.
  • a switch for selecting either the short exposure signal of the first frame or the addition signal from the frame addition unit 24 as an input signal to the defect correction unit 91 is provided in front of the defect correction unit 91. Although provided, illustration is omitted. Further, a switch for switching the output destination of the output signal from the noise reduction unit 92 to either the frame memory 23 or the HDR synthesis unit 25 is provided at the subsequent stage of the noise reduction unit 92, but the illustration is omitted. Yes.
  • the frame memory 23 temporarily stores the short exposure signal of the first frame that has been subjected to the defect correction process and the noise reduction process, and supplies it to the HDR synthesizing unit 25 as a short accumulation signal after a predetermined time has elapsed.
  • the frame memory 23 also supplies the acquired short exposure signal of the first frame to the frame adder 24 after a predetermined time has elapsed.
  • the frame addition unit 24 acquires the long exposure signal of the second frame output from the column AD conversion unit 22, generates an addition signal that is added to the short exposure signal of the first frame supplied from the frame memory 23, and The accumulated signal is supplied to the subsequent defect correcting unit 91.
  • step S101 the control unit 26 of the solid-state imaging device 1 starts reading the short exposure signal of the first frame obtained by setting the short exposure time in each pixel 20 of the pixel array unit 21.
  • the short exposure signal of the first frame is read sequentially from the 0th row, for example, by raster scan driving.
  • step S102 the defect correction unit 91 and the noise reduction unit 92 sequentially perform defect correction processing and noise reduction processing on the first frame short exposure signal sequentially input from the column AD conversion unit 22 in the pixel region 11. Execute.
  • step S103 the frame memory 23 supplies the short exposure signal of the first frame after the noise reduction processing sequentially supplied from the noise reduction unit 92 to the subsequent HDR synthesizing unit 25 and temporarily stores it.
  • step S104 the control unit 26 of the solid-state imaging device 1 starts reading the long exposure signal of the second frame obtained by setting the long exposure time in each pixel 20 of the pixel array unit 21.
  • the long exposure signal of the second frame is also read by raster scan driving in order from the 0th row after the long exposure time of the second frame has elapsed after the end of reading of the first frame.
  • step S ⁇ b> 105 the frame addition unit 24 acquires the second frame long exposure signal sequentially input from the column AD conversion unit 22 in the pixel region 11, and acquires the acquired long exposure signal and the first memory acquired from the frame memory 23.
  • An addition signal is generated by adding the short exposure signals of the frames.
  • step 106 the defect correction unit 91 and the noise reduction unit 92 sequentially perform defect correction processing and noise reduction processing on the addition signals sequentially supplied from the frame addition unit 24.
  • step S107 the HDR synthesizing unit 25 acquires the short exposure signal of the first frame stored in the frame memory 23, and the addition signal after the defect correction processing and the noise reduction processing supplied from the noise reduction unit 92 is performed. Is used as a long accumulation signal, and the first frame short exposure signal acquired from the frame memory 23 is used as a short accumulation signal to execute HDR synthesis processing for generating an HDR image.
  • This HDR synthesizing process is the same as the process of FIG. 16 described above.
  • the HDR synthesizing unit 25 outputs the HDR image obtained by the HDR synthesizing process and ends the process.
  • the solid-state imaging device 1 according to the fifth embodiment shown in FIG. 23 performs defect correction processing and noise reduction processing on each of the short exposure signal of the first frame and the long exposure signal of the second frame.
  • the long exposure signal is generated by adding the short exposure signal and the long exposure signal.
  • the solid-state imaging device 1 according to the sixth embodiment in FIG. 25 adds the short exposure signal of the first frame after the defect correction process and the noise reduction process and the long exposure signal of the second frame before the process. Then, defect correction processing and noise reduction processing are executed on the addition signal (long accumulation signal) obtained as a result.
  • FIG. 27 is a block diagram showing a seventh embodiment of the solid-state imaging device 1.
  • the defect correcting unit 91 and the noise reducing unit 92 are arranged in the preceding stage of the HDR synthesizing unit 25, whereas the seventh embodiment In the embodiment, the defect correction unit 91 and the noise reduction unit 92 are arranged at the subsequent stage of the HDR synthesis unit 25.
  • the HDR synthesizing process of the present technology does not perform alignment or interpolation processing of two images when synthesizing, so that defective pixels do not affect surrounding pixels after the HDR synthesizing process. Therefore, as shown in FIG. 27, a defect correction unit 91 and a noise reduction unit 92 can be provided after the HDR synthesis unit 25 that performs the HDR synthesis process, so that the defect correction process and the noise reduction process can be performed.
  • the noise reduction unit 92 since it is necessary to inform the noise reduction unit 92 of the ratio of the combined pixel signal (hereinafter referred to as HDR signal) to which the long accumulation signal and the short accumulation signal are combined, the combination ratio As information, the HDR blend rate ⁇ is supplied from the synthesis calculation unit 85 to the noise reduction unit 92.
  • the HDR image generation processing in the frame addition mode in the seventh embodiment of the solid-state imaging device 1 is performed after the processing in step S5 of the HDR image generation processing in the first embodiment described with reference to FIG. Processing for sequentially executing defect correction processing and noise reduction processing is added to each pixel signal (HDR signal) of the image.
  • an HDR image is generated using two types of pixel signals obtained by exposing each pixel 20 of the pixel array unit 21 at two different exposure times. It was an example.
  • FIG. 28 is a diagram showing pixel driving when four exposure times are set in the output frame length T and four types of pixel signals are output.
  • the pixel signal of the first frame in which the first exposure time is set is the first exposure signal
  • the pixel signal of the second frame in which the second exposure time is set is the second exposure signal
  • the pixel signal of the third frame in which the third exposure time is set is referred to as a third exposure signal
  • the pixel signal of the fourth frame in which the fourth exposure time is set is referred to as a fourth exposure signal.
  • the first exposure time to the fourth exposure time may be the same exposure time or different exposure times.
  • the solid-state imaging device 1 uses, for example, a signal obtained by adding the first exposure signal to the fourth exposure signal as the first long accumulation signal and the second exposure signal.
  • a signal obtained by adding the signal to the fourth exposure signal is a second long accumulation signal
  • a signal obtained by adding the third exposure signal and the fourth exposure signal is a third long accumulation signal
  • a fourth exposure signal is an HDR image.
  • FIG. 29 shows a configuration example of the solid-state imaging device 1 when four exposure times are set and an HDR image is generated using four types of pixel signals as the eighth embodiment of the solid-state imaging device 1. It is a block diagram.
  • the memory area 12 includes a first frame memory 23-1, a second frame memory 23-2, and a third frame memory 23-3.
  • the logic area 13 includes a first frame addition unit 24-1, a second frame addition unit 24-2, a third frame addition unit 24-3, and an HDR synthesis unit 25.
  • the fourth exposure signal output from the pixel area 11 is supplied to the first frame adder 24-1 and the HDR synthesizer 25 in the logic area 13.
  • the third exposure signal output from the pixel area 11 is supplied to the first frame memory 23-1 in the memory area 12, temporarily stored, and then sent to the first frame adder 24-1 in the logic area 13. Supplied.
  • the second exposure signal output from the pixel area 11 is supplied to the second frame memory 23-2 in the memory area 12, temporarily stored, and then to the second frame adder 24-2 in the logic area 13. Supplied.
  • the first exposure signal output from the pixel area 11 is supplied to the third frame memory 23-3 in the memory area 12, temporarily stored, and then to the third frame adder 24-3 in the logic area 13. Supplied.
  • the first frame adder 24-1 adds the third exposure signal supplied from the first frame memory 23-1 and the fourth exposure signal output from the pixel region 11, and obtains the result.
  • the HDR synthesizing unit 25 synthesizes each of the first long accumulation signal to the third long accumulation signal and the short accumulation signal at a predetermined HDR blend rate ⁇ , and executes an HDR synthesis process for generating an HDR image.
  • the HDR synthesizing unit 25 outputs the HDR image obtained by the HDR synthesizing process and ends the process.
  • both the long accumulation image and the short accumulation image can acquire the pixel signal with all the pixels of the pixel array unit 21, both spatial resolution and temporal resolution are reduced. And image quality degradation such as moire and aliasing does not occur. Therefore, it is possible to generate an HDR image with little image quality degradation.
  • the multi-stage column ADC structure enables simultaneous readout of a plurality of rows of the pixel array unit 21, and the difference in readout time between the short accumulation image and the long accumulation image can be reduced. It is possible to generate an HDR image that is not easily affected.
  • the present technology is not limited to application to a solid-state imaging device. That is, the present technology is applied to an image capturing unit (photoelectric conversion unit) such as an imaging device such as a digital still camera or a video camera, a portable terminal device having an imaging function, or a copying machine using a solid-state imaging device as an image reading unit.
  • the present invention can be applied to all electronic devices using a solid-state image sensor.
  • the solid-state imaging device may be formed as a one-chip, or may be in a module shape having an imaging function in which an imaging unit and a signal processing unit or an optical system are packaged together.
  • FIG. 30 is a block diagram illustrating a configuration example of an imaging apparatus as an electronic apparatus according to the present technology.
  • An imaging device 200 in FIG. 30 includes an optical unit 201 including a lens group, a solid-state imaging device (imaging device) 202 that employs the configuration of the solid-state imaging device 1 in FIG. Processor) circuit 203 is provided.
  • the imaging apparatus 200 also includes a frame memory 204, a display unit 205, a recording unit 206, an operation unit 207, and a power supply unit 208.
  • the DSP circuit 203, the frame memory 204, the display unit 205, the recording unit 206, the operation unit 207, and the power supply unit 208 are connected to each other via a bus line 209.
  • the optical unit 201 takes in incident light (image light) from a subject and forms an image on the imaging surface of the solid-state imaging device 202.
  • the solid-state imaging device 202 converts the amount of incident light imaged on the imaging surface by the optical unit 201 into an electrical signal for each pixel and outputs the electrical signal as a pixel signal.
  • the solid-state imaging device 202 the solid-state imaging device 1 of FIG. 1, that is, a multistage column ADC structure, enables simultaneous readout of a plurality of rows of the pixel array unit 21, and a pixel signal obtained by adding the first frame and the second frame is obtained.
  • a solid-state imaging device capable of generating an HDR image using a long accumulation signal and one pixel signal of the first frame and the second frame as a short accumulation signal can be used.
  • the display unit 205 includes a panel type display device such as a liquid crystal panel or an organic EL (Electro Luminescence) panel, and displays a moving image or a still image captured by the solid-state image sensor 202.
  • the recording unit 206 records a moving image or a still image captured by the solid-state image sensor 202 on a recording medium such as a hard disk or a semiconductor memory.
  • the operation unit 207 issues operation commands for various functions of the imaging apparatus 200 under the operation of the user.
  • the power supply unit 208 appropriately supplies various power sources serving as operation power sources for the DSP circuit 203, the frame memory 204, the display unit 205, the recording unit 206, and the operation unit 207 to these supply targets.
  • an HDR image with little read time difference between the short accumulation image and the long accumulation image and little image quality degradation is generated. be able to. Therefore, even in the imaging apparatus 200 such as a video camera, a digital still camera, or a camera module for mobile devices such as a mobile phone, it is possible to improve the image quality of the captured image.
  • FIG. 31 is a diagram illustrating a usage example in which the image sensor as the solid-state imaging device 1 described above is used.
  • the image sensor as the solid-state imaging device 1 described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-ray as follows.
  • Devices for taking images for viewing such as digital cameras and mobile devices with camera functions
  • Devices used for traffic such as in-vehicle sensors that capture the back, surroundings, and interiors of vehicles, surveillance cameras that monitor traveling vehicles and roads, and ranging sensors that measure distances between vehicles, etc.
  • Equipment used for home appliances such as TVs, refrigerators, air conditioners, etc. to take pictures and operate the equipment according to the gestures ⁇ Endoscopes, equipment that performs blood vessel photography by receiving infrared light, etc.
  • Equipment used for medical and health care ⁇ Security equipment such as security surveillance cameras and personal authentication cameras ⁇ Skin measuring instrument for photographing skin and scalp photography Such as a microscope to do beauty Equipment used for sports-Equipment used for sports such as action cameras and wearable cameras for sports applications-Used for agriculture such as cameras for monitoring the condition of fields and crops apparatus
  • the present technology is not limited to application to a solid-state imaging device that detects the distribution of the amount of incident light of visible light and captures it as an image, but a solid-state that captures the distribution of the amount of incident light such as infrared rays, X-rays, or particles Applicable to imaging devices and, in a broad sense, solid-state imaging devices (physical quantity distribution detection devices) such as fingerprint detection sensors that detect the distribution of other physical quantities such as pressure and capacitance and capture images as images. is there.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • this technique can also take the following structures.
  • a pixel array unit in which a plurality of pixels are two-dimensionally arranged in a matrix;
  • a controller that drives the pixels so as to simultaneously read out pixel signals of the pixels in a plurality of rows of the pixel array unit, and Of the pixel signals read out simultaneously, the pixel signal of the first pixel row is the pixel signal of the first frame, and the pixel signal of the second pixel row is the pixel signal of the second frame.
  • a solid-state image sensor that is a signal.
  • a first AD conversion unit for AD converting pixel signals of the first frame read simultaneously;
  • the solid-state imaging device according to (1), further including: a second AD conversion unit that performs AD conversion on the pixel signals of the second frame that are simultaneously read.
  • the solid-state imaging device wherein the pixel signal of the first frame is a signal having a longer exposure time than the pixel signal of the second frame.
  • the solid-state imaging device wherein the pixel signal of the first frame is a signal having an exposure time shorter than that of the pixel signal of the second frame.
  • It is configured by stacking three semiconductor substrates composed of first to third semiconductor substrates, In the first semiconductor substrate, at least the pixel array portion is formed, In the second semiconductor substrate, at least the storage unit is formed, The solid-state imaging device according to (5), wherein at least the addition unit and the synthesis calculation unit are formed on the third semiconductor substrate.
  • the solid-state imaging device (9) The solid-state imaging device according to (8), wherein the second semiconductor substrate is disposed between the first semiconductor substrate and the third semiconductor substrate. (10) The solid-state imaging device according to any one of (5) to (9), wherein the storage unit stores the pixel signal of the first frame until at least reading of the pixel signal of the second frame is started. . (11) The solid-state imaging according to any one of (5) to (10), wherein the synthesis calculation unit generates an HDR image by synthesizing the addition signal and the pixel signal of the first frame at a predetermined synthesis ratio. element.
  • the storage unit stores two or more images
  • the solid-state imaging device according to any one of (5) to (11), wherein the synthesis calculation unit synthesizes image signals of three or more images at a predetermined synthesis ratio.
  • a solid-state imaging device including a pixel array unit in which a plurality of pixels are two-dimensionally arranged in a matrix form, Driving the pixels to simultaneously read out pixel signals of the pixels in a plurality of rows of the pixel array unit; Of the pixel signals read out simultaneously, the pixel signal of the first pixel row is the pixel signal of the first frame, and the pixel signal of the second pixel row is the pixel signal of the second frame.
  • a driving method of a solid-state image sensor which is a signal.
  • a pixel array unit in which a plurality of pixels are two-dimensionally arranged in a matrix;
  • a controller that drives the pixels so as to simultaneously read out pixel signals of the pixels in a plurality of rows of the pixel array unit, and Of the pixel signals read out simultaneously, the pixel signal of the first pixel row is the pixel signal of the first frame, and the pixel signal of the second pixel row is the pixel signal of the second frame.
  • 1 solid-state imaging device 11 pixel area, 12 memory area, 13 logic area, 14 control area, 20 pixels, 21 pixel array part, 22 (22A, 22B) column AD conversion part, 23 frame memory, 24 frame addition part, 25 HDR synthesis unit, 26 control unit, 31 to 33 semiconductor substrate, 35 FD, 50 ADC, 85 synthesis operation unit, 91 (91S, 91L) defect correction unit, 92 (92S, 92L) noise reduction unit, 101 delay adjustment unit, 200 imaging device, 202 solid-state imaging device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Abstract

本技術は、画質劣化の少ないHDR画像を生成することができるようにする固体撮像素子およびその駆動方法、並びに電子機器に関する。 固体撮像素子は、複数の画素が行列状に２次元配置された画素アレイ部と、画素アレイ部の複数行の画素の画素信号を同時に読み出すように画素を駆動する制御部とを備える。同時に読み出された複数行の画素信号のうちの第１の画素行の画素信号は、第１のフレームの画素信号であり、第２の画素行の画素信号は、第２のフレームの画素信号である。本技術は、例えば、固体撮像素子等に適用できる。

Description

固体撮像素子およびその駆動方法、並びに電子機器
　本技術は、固体撮像素子およびその駆動方法、並びに電子機器に関し、特に、画質劣化の少ないHDR画像を生成することができるようにする固体撮像素子およびその駆動方法、並びに電子機器に関する。
　ダイナミックレンジを拡げたHDR（High Dynamic Range：ハイダイナミックレンジ）画像を撮像する技術として、互いに異なる露光時間で撮像された複数枚の画像を用いてHDR画像を生成する方法がある（例えば、特許文献１参照）。
　しかし、そのような手法では、複数枚の画像を撮影している間に、被写体が動いたり、手ブレ等により画面が動いた場合に、動いた部分の画像が不自然になってしまう。そのため、例えば、特許文献１に記載の手法では、動被写体部分での位置合わせを行うようにしているが、このような信号処理で位置合わせを行う手法では、動きが大きい場合や、動被写体によって隠蔽された物体などがあった場合に完全に位置合わせを行えない場合がある。
　そこで、動被写体の誤差をなるべく少なくするために、１つの撮像素子内に、高感度画素と低感度画素を用意し、同時に複数の露光時間の信号を取得する方法がある（例えば、特許文献２参照）。
特開２０１１－４３５３号公報 特開２０１３－２１６６０号公報
　しかし、同時に複数の露光時間の信号を取得する手法では、画像解像度が低下し、エイリアシングなどが発生してしまう。
　本技術は、このような状況に鑑みてなされたものであり、画質劣化の少ないHDR画像を生成することができるようにするものである。
　本技術の第１の側面の固体撮像素子は、複数の画素が行列状に２次元配置された画素アレイ部と、前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動する制御部とを備え、同時に読み出された複数行の前記画素信号のうちの第１の画素行の画素信号は、第１のフレームの画素信号であり、第２の画素行の画素信号は、第２のフレームの画素信号である。
　本技術の第２の側面の固体撮像素子の駆動方法は、複数の画素が行列状に２次元配置された画素アレイ部を備える固体撮像素子が、前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動し、同時に読み出された複数行の前記画素信号のうちの第１の画素行の画素信号は、第１のフレームの画素信号であり、第２の画素行の画素信号は、第２のフレームの画素信号である。
　本技術の第３の側面の電子機器は、複数の画素が行列状に２次元配置された画素アレイ部と、前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動する制御部とを備え、同時に読み出された複数行の前記画素信号のうちの第１の画素行の画素信号は、第１のフレームの画素信号であり、第２の画素行の画素信号は、第２のフレームの画素信号である固体撮像素子を備える。
　本技術の第１乃至第３の側面においては、複数の画素が行列状に２次元配置された画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素が駆動され、同時に読み出された複数行の前記画素信号のうちの第１の画素行の画素信号は、第１のフレームの画素信号とされ、第２の画素行の画素信号は、第２のフレームの画素信号とされる。
　固体撮像素子及び電子機器は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
　本技術の第１乃至第３の側面によれば、画質劣化の少ないHDR画像を生成することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本技術中に記載されたいずれかの効果であってもよい。
本技術を適用した固体撮像素子の概略構成を示すブロック図である。 固体撮像素子の基板構成例を示す図である。 共有画素構造の場合の画素回路を示す図である。 HDR画像を生成する際の画素駆動について説明する図である。 固体撮像素子の詳細構造を示す図である。 固体撮像素子の画素駆動について説明する図である。 一般的なカラムADC構造について説明する図である。 本技術を適用した固体撮像素子が４段カラムADC構造の場合を説明する図である。 フレーム非加算モードによる駆動を説明する図である。 フレーム加算モードによる駆動を説明する図である。 フレーム加算モードのHDR画像生成処理を説明するフローチャートである。 フレーム非加算モードのHDR画像生成処理を説明するフローチャートである。 HDR合成部の詳細を説明するブロック図である。 動被写体ブレンド率算出部を説明するブロック図である。 輝度ブレンド率算出部を説明するブロック図である。 HDR合成処理を説明するフローチャートである。 固体撮像素子の第２の実施の形態を示すブロック図である。 固体撮像素子の第３の実施の形態を示すブロック図である。 第３の実施の形態のHDR画像生成処理を説明するフローチャートである。 第４の実施の形態における画素駆動を説明する図である。 固体撮像素子の第４の実施の形態を示すブロック図である。 第４の実施の形態のHDR画像生成処理を説明するフローチャートである。 固体撮像素子の第５の実施の形態を示すブロック図である。 第５の実施の形態のHDR画像生成処理を説明するフローチャートである。 固体撮像素子の第６の実施の形態を示すブロック図である。 第６の実施の形態のHDR画像生成処理を説明するフローチャートである。 固体撮像素子の第７の実施の形態を示すブロック図である。 第４の実施の形態における画素駆動を説明する図である。 固体撮像素子の第８の実施の形態を示すブロック図である。 本技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。 イメージセンサを使用する使用例を説明する図である。
　以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（２枚の画像を合成してHDR画像を生成する構成例）
２．第２の実施の形態（欠陥補正部及びノイズ低減部を有する構成例）
３．第３の実施の形態（欠陥補正部及びノイズ低減部を共通化した構成例）
４．第４の実施の形態（第１フレームを短蓄信号とした第１構成例）
５．第５の実施の形態（第１フレームを短蓄信号とした第２構成例）
６．第６の実施の形態（第１フレームを短蓄信号とした第３構成例）
７．第７の実施の形態（欠陥補正処理及びノイズ低減処理を合成後に行う構成例）
８．第８の実施の形態（４枚の画像を合成してHDR画像を生成する構成例）
９．電子機器への適用例
＜１．第１の実施の形態＞
＜１．１　固体撮像素子の全体構成例＞
　図１は、本技術を適用した固体撮像素子の概略構成を示すブロック図である。
　図１の固体撮像素子１は、画素領域１１、メモリ領域１２、ロジック領域１３、及び制御領域１４を有している。
　固体撮像素子１は、露光時間の異なる２枚の画像から、ダイナミックレンジを拡大したHDR画像を生成して出力する機能を有する。
　なお、以下では、HDR画像の生成に際し、２枚の画像それぞれにおいて設定される露光時間のうち、長い方の露光時間を長露光時間と称し、短い方の露光時間を短露光時間と称する。また、長露光時間で露光して得られる１枚の画像を長露光画像、短露光時間で露光して得られる１枚の画像を短露光画像、長露光時間で露光して得られる画素信号を長露光信号、短露光時間で露光して得られる画素信号を短露光信号とも称する。
　画素領域１１には、画素アレイ部２１とカラムAD変換部２２が形成され、メモリ領域１２には、フレームメモリ２３が形成されている。また、ロジック領域１３には、フレーム加算部２４及びHDR合成部２５が形成され、制御領域１４には、制御部２６が形成されている。
　画素領域１１の画素アレイ部２１には、入射光の光量に応じた光電荷を生成して蓄積する光電変換部を有する画素２０が行方向及び列方向の行列状に２次元配置されている。カラムAD変換部２２は、２次元配置された各画素２０から出力されるアナログの画素信号をデジタルの画素信号に変換する。
　カラムAD変換部２２は、例えば、長露光信号についてはメモリ領域１２のフレームメモリ２３に出力し、短露光信号についてはロジック領域１３のHDR合成部２５に出力する。
　メモリ領域１２のフレームメモリ２３は、例えば、DRAM(Dynamic Read Only Memory)等の揮発性メモリで構成され、カラムAD変換部２２から供給される１枚（１フレーム）の画像を記憶し、所定のタイミングで、ロジック領域１３のフレーム加算部２４に出力する。
　ロジック領域１３は、画素信号に対して所定の信号処理を実行するロジック回路が形成された領域である。フレーム加算部２４は、カラムAD変換部２２から供給される短露光画像と、フレームメモリ２３から供給される長露光画像とを加算（フレーム加算）し、加算後の画像をHDR合成部２５に出力する。ただし、このフレーム加算をする処理は、固体撮像素子１の動作モードがフレーム加算モードの場合に実行される。動作モードがフレームを加算しないフレーム非加算モードの場合は、フレーム加算部２４は、フレームメモリ２３から供給される長露光画像をそのまま、HDR合成部２５に出力する。
　HDR合成部２５は、露光時間の異なる２枚の画像から、ダイナミックレンジを拡大したHDR画像を生成して出力する。HDR画像生成の詳細については後述する。ここで、HDR画像の生成に用いられる、露光時間の異なる２枚の画像を、長蓄画像と短蓄画像と称することとし、上述した短露光画像と長露光画像と区別して使用する。詳細は後述するが、動作モードがフレーム加算モードである場合は、HDR合成部２５は、短露光画像と長露光画像を加算した画像を長蓄画像、及び短露光画像を短蓄画像としてHDR画像を生成する。一方、動作モードがフレーム非加算モードである場合は、長露光画像がそのまま長蓄画像となり、短露光画像がそのまま短蓄画像となる。
　制御領域１４の制御部２６は、所定のクロック信号やタイミング信号を、各画素２０やカラムAD変換部２２に供給することにより、画素２０及びカラムAD変換部２２の駆動を制御する。また、制御部２６は、所定のクロック信号やタイミング信号をメモリ領域１２に供給し、フレームメモリ２３への画像（データ）の書き込み、及び、フレームメモリ２３からの画像（データ）の読み出しを制御する。
＜１．２　固体撮像素子の基板構成例＞
　図２は、固体撮像素子１の基板構成例を示している。
　固体撮像素子１は、図２に示されるように、３枚の半導体基板３１乃至３３を積層した３層構造により形成することができる。
　より具体的には、図２のAに示されるように、３枚の半導体基板３１乃至３３のうち、入射光側の第１の半導体基板３１には画素領域１１を形成し、真ん中の第２の半導体基板３２にはメモリ領域１２を形成し、第２の半導体基板３２の下層の第３の半導体基板３３に、ロジック領域１３と制御領域１４を形成した構成を採用することができる。
　あるいはまた、図２のBに示されるように、３枚の半導体基板３１乃至３３のうち、第１の半導体基板３１には画素領域１１と制御領域１４を形成し、第２の半導体基板３２にはメモリ領域１２を形成し、第３の半導体基板３３に、ロジック領域１３を形成した構成とすることもできる。
　３枚の半導体基板３１乃至３３どうしは、例えば、貫通ビアやCu-Cuの金属結合により電気的に接続される。
　以上のように、固体撮像素子１は、画素信号を生成する画素領域１１、画素信号を一時記憶するメモリ領域１２、及び、画像合成処理等の所定の信号処理を行うロジック領域１３が一体となっていることで、データ量を圧縮できるため、データ転送の負荷を低減し、転送速度の向上、消費電力の低減などの効果がある。
　また、固体撮像素子１の後段に、イメージシグナルプロセッサ（ISP）などの画像処理装置に新たなメモリやロジック回路を増設することなく、HDR画像を出力することができる。
＜１．３　共有画素構造の回路例＞
　次に、図１の固体撮像素子１で採用されている共有画素構造について説明する。
　画素アレイ部２１では、１つのFD（浮遊拡散領域）を、複数の画素２０で共有する共有画素構造が採用されている。
　図３は、縦４画素×横２画素の計８画素で１つのFDを共有させた共有画素構造の場合の回路図を示している。
　各画素２０は、フォトダイオードPDと、フォトダイオードPDに蓄積された電荷を転送する転送トランジスタTGのみを個別に保有している。そして、FD３５、リセットトランジスタ（リセットTr）３６、増幅トランジスタ（増幅Tr）３７、及び選択トランジスタ（選択Tr）３８のそれぞれは、共有単位である８画素で共通に利用される。
　なお、以下では、共有単位である８画素で共通に利用されるリセットトランジスタ３６、増幅トランジスタ３７、及び選択トランジスタ３８のそれぞれを、共有画素トランジスタとも称する。また、共有単位内の８画素の各々に配置されたフォトダイオードPDと転送トランジスタTGを区別するため、図３に示されるように、フォトダイオードPD１乃至PD８及び転送トランジスタTG１乃至TG８と称する。
　フォトダイオードPD１乃至PD８のそれぞれは、光を受光して光電荷を生成して蓄積する。
　転送トランジスタTG１は、信号線TG１Aを介してゲート電極に供給される駆動信号がアクティブ状態になるとこれに応答して導通状態になることで、フォトダイオードPD１に蓄積されている光電荷をFD３５に転送する。転送トランジスタTG２は、信号線TG２Aを介してゲート電極に供給される駆動信号がアクティブ状態になるとこれに応答して導通状態になることで、フォトダイオードPD２に蓄積されている光電荷をFD３５に転送する。転送トランジスタTG３は、信号線TG３Aを介してゲート電極に供給される駆動信号がアクティブ状態になるとこれに応答して導通状態になることで、フォトダイオードPD３に蓄積されている光電荷をFD３５に転送する。転送トランジスタTG４は、信号線TG４Aを介してゲート電極に供給される駆動信号がアクティブ状態になるとこれに応答して導通状態になることで、フォトダイオードPD４に蓄積されている光電荷をFD３５に転送する。フォトダイオードPD５乃至PD８と転送トランジスタTG５乃至TG８についても、フォトダイオードPD１乃至PD４と転送トランジスタTG１乃至TG４と同様に動作する。
　FD３５は、フォトダイオードPD１乃至PD８から供給された光電荷を一時保持する。
　リセットトランジスタ３６は、信号線RSTを介してゲート電極に供給される駆動信号がアクティブ状態になるとこれに応答して導通状態になることで、FD３５の電位を所定のレベル（リセット電圧VDD）にリセットする。
　増幅トランジスタ３７は、ソース電極が選択トランジスタ３８を介して垂直信号線VSLに接続されることにより、垂直信号線VSLの一端に接続されている定電流源回路部の負荷MOS（図示せず）とソースフォロワ回路を構成する。
　選択トランジスタ３８は、増幅トランジスタ３７のソース電極と垂直信号線VSLとの間に接続されている。選択トランジスタ３８は、信号線SELを介してゲート電極に供給される選択信号がアクティブ状態になるとこれに応答して導通状態となり、共有単位を選択状態として増幅トランジスタ３７から出力される共有単位内の画素の画素信号を垂直信号線VSLに出力する。共有単位内の複数の画素２０は、垂直駆動回路（不図示）からの駆動信号に応じて、１画素単位で画素信号を出力することもできるし、複数画素単位で画素信号を同時出力することもできる。
　本実施の形態では、固体撮像素子１が、図３に示したような、縦４画素×横２画素の計８画素で１つのFDを共有させた共有画素構造を有するものとして説明するが、８画素以外の画素数（例えば、２画素、４画素、１６画素など）で共有する構造でもよいし、FDと共有画素トランジスタを共有しない構造とすることもできる。
＜１．４　固体撮像素子の画素駆動の説明＞
　次に、図４を参照して、長蓄画像と短蓄画像の２枚の画像を用いてHDR画像を生成する際の画素駆動について説明する。
　なお、図４の説明では、長蓄画像と短蓄画像それぞれは、垂直方向の行数H及び水平方向の列数Wの画像で構成されるものとする。
　長蓄画像と短蓄画像の２枚の画像を用いてHDR画像を作成する場合、例えば、図４のAに示されるような画素駆動が考えられる。図４のAの画素駆動方法は、長蓄画像を取得する第１フレームと、短蓄画像を取得する第２フレームの各フレームを等時間間隔で読み出していき、そのフレーム内で露光時間を設定する方法である。長蓄画像を取得する第１フレームでは、例えば、フレーム期間内で最大の露光時間が設定され、短蓄画像を取得する第２フレームでは、第１フレームよりも短い露光時間が設定される。１枚のHDR画像は、第１フレームの長蓄画像と第２フレームの短蓄画像が得られて初めて生成できるので、HDR画像を出力するのにかかる時間（以下、出力フレーム長という。）をTとすると、第１フレームの長蓄画像及び第２フレームの短蓄画像それぞれの画像取得にかかる時間は、T/2時間である。
　図４のAの画素駆動では、各フレームの時間が一定に保たれており、長蓄画像の最大露光時間は、T/2時間となる。
　そこで、出力フレーム長Tと、短蓄画像の露光時間は、同じ条件であっても、長蓄画像を取得する第１フレームと、短蓄画像を取得する第２フレームのフレーム時間を異なる時間に設定すれば、図４のBに示されるように、長蓄画像の露光時間をT/2時間よりさらに延ばすことが可能となる。
　しかし、CMOSイメージセンサなどの撮像素子では、例えば、第１フレームの画像の0行目から順番に読み出していき、第１フレームの画像のH行目の読み出しが終了してから、第２フレームの画像を、同様に0行目から順次読みだしていくという、ラスタスキャン駆動が一般的である。
　このラスタスキャン駆動の場合、最後のH行目の信号を読み出し終わってからでないと、次フレームの画像の読み出しを開始することができないため、前フレームの読み出しが完全に終了するのを待つ必要があり、その待ち時間の分だけ、図４のBに示されるように、長蓄画像と短蓄画像の読み出し時間差が発生してしまう。
　そこで、図１の固体撮像素子１は、同一時刻に複数行の信号読み出しを行うことで、長蓄画像と短蓄画像の読み出し時間差を最小限にするように画素２０を駆動する。
　例えば、図４のCに示されるように、ある時刻において第１フレームの画像のy行目と第２フレームの画像のx行目が同時に読み出される。これにより、第１フレームと第２フレームの間を開けずにすぐに露光を開始することができ、読み出し時間差を最小にすることができる。
　なお、図４のCにおいても、HDR画像の生成に必要な出力フレーム長Tと、短蓄画像の露光時間は、上述した図４のA及び図４のBと同じである。したがって、図４のBにおける、長蓄画像の露光期間と短蓄画像の露光期間の間の空白部分の期間は、固体撮像素子１の駆動制御では、長蓄画像の露光期間とすることができ、HDR画像の生成に必要な時間は、同じT時間であっても、上述した図４のA及び図４のBと比べて、長蓄画像の露光時間を長く取ることができる。
＜１．５　固体撮像素子の複数段カラムADC構造＞
　図５は、図４のCで説明した第１フレームと第２フレームの同時読み出しを実現する固体撮像素子１の詳細構造を示している。
　図５では、画素アレイ部２１の一部と、カラムAD変換部２２の一部、及び、カラムAD変換部２２へランプ信号を供給するDAC（Digital to Analog Converter）４１が、図示されている。DAC４１は、図１の制御領域１４に含まれている。
　固体撮像素子１の画素アレイ部２１では、図５に示されるように、例えばベイヤ配列で配置された共有単位の８個の画素２０に対して１つのFD３５が形成されており、同一列の複数のFD３５は、左右それぞれに配置された２本の垂直信号線VSL1及びVSL2に接続されている。
　図１のカラムAD変換部２２は、画素アレイ部２１に対して、図５において上側と下側のそれぞれに配置されたカラムAD変換部２２Aと２２Bで構成される。
　２本の垂直信号線VSL1及びVSL2のうちの１本の垂直信号線VSL1は、下側のカラムAD変換部２２AのADC５０と接続されており、他の１本の垂直信号線VSL2は、上側のカラムAD変換部２２BのADC５０と接続されている。
　カラムAD変換部２２AのADC５０は、垂直信号線VSL1を介して入力される所定画素の画素信号と、DAC４１Aからのランプ信号とを比較するコンパレータ（比較器）５１と、コンパレータの比較時間をカウントするアップダウンカウンタ（counter）５２を有する。
　カラムAD変換部２２BのADC５０は、垂直信号線VSL2を介して入力される所定画素の画素信号と、DAC４１Bからのランプ信号とを比較するコンパレータ（比較器）５１と、コンパレータの比較時間をカウントするアップダウンカウンタ（counter）５２を有する。
　コンパレータ５１は、画素信号とランプ信号とを比較して得られる差信号をアップダウンカウンタ５２に出力する。例えば、ランプ信号が画素信号より大である場合にはHi(High)の差信号がアップダウンカウンタ５２に供給され、ランプ信号が画素信号より小である場合にはLo(Low)の差信号がアップダウンカウンタ５２に供給される。
　アップダウンカウンタ５２は、P相（Preset Phase）AD変換期間で、Hiの差信号が供給されている間だけダウンカウントするとともに、D相（Data Phase）AD変換期間で、Hiの差信号が供給されている間だけアップカウントする。そして、アップダウンカウンタ５２は、P相AD変換期間のダウンカウント値と、D相AD変換期間のアップカウント値との加算結果を、CDS処理およびAD変換処理後の画素データとして出力する。これにより、画素信号のAD変換を行うとともにリセットノイズを除去することができる。なお、P相AD変換期間でアップカウントし、D相AD変換期間でダウンカウントしてもよい。
　一列に配置された複数のFD３５それぞれが、保持しておいた電荷を、右側に配置された２本の垂直信号線VSL1及びVSL2から出力するか、または、左側に配置された２本の垂直信号線VSL1及びVSL2から出力するかは、例えば、撮像設定等の所定の条件に応じて適宜使い分けられる。
　いま例えば、固体撮像素子１は、同一列の複数のFD３５が右側に配置された２本の垂直信号線VSL1及びVSL2を使用して画素信号を出力するものとし、図４のCで説明したように、ある時刻において第１フレームの画像のy行目と第２フレームの画像のx行目を同時に読み出す場合、図６に示すように、読み出しが制御される。
　即ち、固体撮像素子１の制御部２６は、第１フレームの画像のy行目の画素信号を、画素アレイ部２１の下側のカラムAD変換部２２AのADC５０に出力し、第２フレームの画像のx行目の画素信号を、画素アレイ部２１の上側のカラムAD変換部２２BのADC５０に出力するように、各画素２０を制御する。
　画素列に対してADCを設ける一般的なカラムADC構造は、図７に示されるように、一列に配置された複数のFD３５に対して、左右それぞれに１本の垂直信号線と１個のADC(例えば垂直信号線VSL1とカラムAD変換部２２A側のADC５０）だけを設けた構造である。この場合には、第１フレームの画像の読み出しが終了するまでは、第２フレームの画像の読み出しを開始することができないため、図４のBに示したような駆動となる。
　これに対し、固体撮像素子１は、一列に配置された複数のFD３５に対して、出力可能なADCとして、２個のADC５０を備えた２段カラムADC構造とすることで、第１フレームの画像と第２フレームの画像を同時に読み出すことが可能となる。
　なお、２段カラムADC構造は、HDR画像の生成においては、上述したように、第１フレームの画像と第２フレームの画像の同時読み出しとして利用されるが、例えば、通常の１枚単位の撮像等においては、読み出し速度を２倍にする目的として利用することができる。
　図８は、一列に配置された複数のFD３５に対して、出力可能なADCとして、４個のADC５０を備えた４段カラムADC構造の例を示している。
　固体撮像素子１は、図５に示した２段カラムADC構造の他、図８に示されるような、一列に配置された複数のFD３５に対して、左右それぞれに４本の垂直信号線VSL1乃至VSL4と４個のADC５０を備えた４段カラムADC構造とすることもできる。この場合、画素アレイ部２１内の４行の画素信号を同時に読み出すことが可能となり、HDR画像の生成のために２枚の画像を用いる場合には、読み出し速度を、２段カラムADC構造の２倍にすることができる。また、２段、４段以外の多段カラムADC構造としてもよい。
＜１．６　フレーム加算モードとフレーム非加算モード＞
　ところで、図４のCを参照して説明した固体撮像素子１の画素駆動は、出力フレーム長Tを、長蓄画像の露光期間と短蓄画像の露光期間に振り分けるように制御するものである。
　換言すれば、図４のCを参照して説明した固体撮像素子１の画素駆動は、第１フレームの長露光画像をHDR画像の長蓄画像としてそのまま用い、第２フレームの短露光画像をHDR画像の短蓄画像として用いるフレーム非加算モードの駆動を示している。
　図９は、出力フレーム長Tを３０msecとしたときの、フレーム非加算モードの３種類の露光比における長蓄画像の露光時間と短蓄画像の露光時間を示した図である。
　長蓄画像と短蓄画像の露光比が１：８である場合、長蓄画像の露光時間は２６．６７msecに設定され、短蓄画像の露光時間は３．３３msecに設定される。
　長蓄画像と短蓄画像の露光比が１：２である場合、長蓄画像の露光時間は２０msecに設定され、短蓄画像の露光時間は１０msecに設定される。
　長蓄画像と短蓄画像の露光比が１：１である場合、長蓄画像の露光時間は１５msecに設定され、短蓄画像の露光時間は１５msecに設定される。
　従って、フレーム非加算モードでは、長蓄画像の最大露光時間は、（３０－短蓄画像の露光時間）msecで設定され、例えば、長蓄画像と短蓄画像の露光比が１：２である場合に、長蓄画像の露光時間は２０msec以上に延ばすことはできない。
　次に、図１０を参照して、固体撮像素子１によるフレーム加算モードによる駆動について説明する。
　図１０は、図９と同じ出力フレーム長T及び露光比の場合のフレーム加算モードにおける、長蓄画像の露光時間と短蓄画像の露光時間を示した図である。
　フレーム加算モードでは、固体撮像素子１は、第１フレームで取得した長露光画像と第２フレームで取得した短露光画像をフレーム加算部２４で加算し、その結果得られる画像を、HDR画像の長蓄画像として用い、第２フレームの短露光画像をHDR画像の短蓄画像として用いる。
　この場合、長蓄画像の露光時間は、第１フレームの露光時間と第２フレームの露光時間の和で表されるため、どのような露光比であっても、常に一定となり、図１０の例では、出力フレーム長Tと同じ３０msecとなる。
　そして、長蓄画像と短蓄画像の露光比を１：８とする場合には、図１０に示されるように、第２フレームの露光時間を３．７５msecに設定すればよい。
　また、長蓄画像と短蓄画像の露光比を１：２とする場合には、第２フレームの露光時間を１５msecに設定すればよく、長蓄画像と短蓄画像の露光比を１：１とする場合には、第２フレームの露光時間を３０msecに設定すればよい。
　従って、フレーム加算モードでは、長蓄画像の露光時間は第１フレームの露光時間と第２フレームの露光時間の和で表されるため、どのような露光比であっても、長蓄画像の露光時間を常に一定に保つことができる。また、フレーム加算モードでは、図９と比較して明らかなように、長蓄画像の露光時間を、フレーム非加算モードよりも長く確保することができる。
＜１．７　フレーム加算モードにおけるHDR画像生成処理＞
　図１１のフローチャートを参照して、フレーム加算モードにおける固体撮像素子１のHDR画像生成処理について説明する。
　初めに、ステップＳ１において、固体撮像素子１の制御部２６は、画素アレイ部２１の各画素２０において長露光時間に設定されて得られた第１フレームの長露光信号の読み出しを開始する。第１フレームの長露光信号は、上述したように、ラスタスキャン駆動により、例えば、0行目から順番に読み出される。
　画素アレイ部２１の各画素２０は、制御部２６の読み出し制御に従い、蓄積されているアナログの長露光信号（画素信号）をカラムAD変換部２２に出力し、カラムAD変換部２２は、リセットノイズを除去しつつデジタルに変換する。カラムAD変換部２２は、AD変換後の長露光信号を、フレームメモリ２３へ出力する。
　ステップＳ２において、フレームメモリ２３は、画素領域１１のカラムAD変換部２２から順次供給された、第１フレームの長露光信号を一時記憶する。第１フレームの長露光信号は、後述するステップＳ４において、加算対象の第２フレームの短露光信号の読み出しが開始されるまでは少なくとも保持される。
　ステップＳ３において、固体撮像素子１の制御部２６は、画素アレイ部２１の各画素２０において短露光時間に設定されて得られた第２フレームの短露光信号の読み出しを開始する。第２フレームの短露光信号も、上述したように、第１フレームの読み出し終了後から、第２フレームの短露光時間が経過した0行目から順番に、ラスタスキャン駆動により読み出される。
　画素アレイ部２１の各画素２０は、制御部２６の読み出し制御に従い、蓄積されているアナログの短露光信号（画素信号）をカラムAD変換部２２に出力し、カラムAD変換部２２は、リセットノイズを除去しつつデジタルに変換する。カラムAD変換部２２は、AD変換後の短露光信号を、フレーム加算部２４及びHDR合成部２５に出力する。
　なお、図６等を参照して説明したように、固体撮像素子１は、第１フレームの長露光信号と第２フレームの短露光信号を、多段カラムADC構造を用いて同時に読み出すので、ステップＳ３の第２フレームの短露光信号の読み出しが開始された後は、第１フレームの長露光信号の読み出しと第２フレームの短露光信号の読み出しが、並行して実行される。
　ステップＳ４において、フレーム加算部２４は、フレームメモリ２３に記憶されている第１フレームの長露光信号を取得し、取得した第１フレームの長露光信号と、カラムAD変換部２２から供給された第２フレームの短露光信号を加算した加算信号を生成し、HDR合成部２５に出力する。
　ステップＳ５において、HDR合成部２５は、フレーム加算部２４から供給された加算信号を長蓄画像の画素信号（以下、長蓄信号という。）とし、カラムAD変換部２２から供給された第２フレームの短露光信号を短蓄画像の画素信号（以下、短蓄信号という。）として、HDR画像を生成するHDR合成処理を実行する。HDR合成部２５は、HDR合成処理により得られたHDR画像を出力して処理を終了する。
＜１．８　フレーム非加算モードにおけるHDR画像生成処理＞
　次に、図１２のフローチャートを参照して、フレーム非加算モードにおける固体撮像素子１のHDR画像生成処理について説明する。
　図１２のステップＳ１１乃至Ｓ１３は、上述した図１１のステップＳ１乃至Ｓ３と、それぞれ同様であるので、その説明は省略する。
　ステップＳ１４において、フレーム加算部２４は、フレームメモリ２３に記憶されている第１フレームの長露光信号を取得し、取得した第１フレームの長露光信号をそのまま、HDR合成部２５に出力する。
　ステップＳ１５において、HDR合成部２５は、フレーム加算部２４から供給された第１フレームの長露光信号を長蓄信号とし、カラムAD変換部２２から供給された第２フレームの短露光信号を短蓄信号として、HDR画像を生成するHDR合成処理を実行する。HDR合成部２５は、HDR合成処理により得られたHDR画像を出力して処理を終了する。
　なお、上述した説明では、ラスタスキャン駆動の読み出しにおいて、0行目から順番に読み出すように説明したが、必ずしも0行目から読み出す必要はない。
　以上のように、図１１のフレーム加算モードのHDR画像生成処理では、第１フレームの長露光画像と、第２フレームの短露光画像を加算して得られた画像を長蓄画像とし、第２フレームの短露光画像を短蓄画像として、HDR画像が生成される。
　一方、図１２のフレーム非加算モードのHDR画像生成処理では、第１フレームの長露光画像を長蓄画像とし、第２フレームの短露光画像を短蓄画像として、HDR画像が生成される。
　フレーム加算モードでは、長蓄画像の露光時間を、どのような露光比であっても常に一定に保つことができ、フレーム非加算モードよりも長く確保することができる。換言すれば、１枚単位の画像（通常画像）を生成する場合も、HDR画像を生成する場合も、フレーム画像を出力する単位時間（出力フレーム長）を、長蓄画素の露光時間に応じて適応的に変更する必要が無いため、駆動制御が容易となる。
　また、固体撮像素子１は、図５または図８に示したように、一列に配置された複数のFD３５に対して、出力可能なADCとして、複数個のADC５０を備えた多段カラムADC構造を有しており、第１フレームの長露光画像の読み出しと、第２フレームの短露光画像の読み出しを同時に行うことができる。換言すれば、第１フレームの長露光画像の読み出しが終了していなくても、第２フレームの短露光画像の読み出しを開始することができる。これにより、短蓄画像と長蓄画像の読み出し時間差が少ないため、動被写体の影響を受けにくくなる。
　１つの撮像素子内に、長蓄画素（高感度画素）と短蓄画素（低感度画素）を用意することで、複数の露光時間の信号を同時に取得する方法と比べて、固体撮像素子１の構成及び制御によれば、長蓄画像も短蓄画像も画素アレイ部２１の全画素で画素信号を取得することができるので、空間解像度も時間解像度も落とすことなく、モアレやエイリアシングといった画質劣化が発生しない。したがって、画質劣化の少ないHDR画像を生成することができる。
＜１．９　HDR合成部の詳細＞
　次に、図１３乃至図１６を参照して、HDR合成部２５によるHDR合成処理について説明する。
　なお、以下の説明では、フレーム加算モードのHDR画像生成を行うものとして、長蓄信号としての、長露光信号と短露光信号を加算した加算信号がフレーム加算部２４から供給される場合について説明し、フレーム非加算モードについての説明は省略する。
＜ブロック図＞
　図１３は、HDR合成部２５の詳細構成を、フレームメモリ２３及びフレーム加算部２４とともに示したブロック図である。
　HDR合成部２５は、LPF８１及び８２、動被写体ブレンド率算出部８３、輝度ブレンド率算出部８４、並びに、合成演算部８５を有している。
　カラムAD変換部２２から出力された、HDR画像を生成するための短蓄信号としての短露光信号は、LPF８１と合成演算部８５に供給される。また、フレーム加算部２４から出力された、HDR画像を生成するための長蓄信号としての加算信号は、LPF８２と合成演算部８５に供給される。
　LPF８１は、供給された短蓄信号にローパスフィルタ処理を施すことにより、高周波ノイズを除去した短蓄信号を生成し、動被写体ブレンド率算出部８３及び輝度ブレンド率算出部８４に供給する。
　LPF８２は、供給された長蓄信号にローパスフィルタ処理を施すことにより、高周波ノイズを除去した長蓄信号を生成し、動被写体ブレンド率算出部８３及び輝度ブレンド率算出部８４に供給する。
　動被写体ブレンド率算出部８３は、生成するHDR画像の各画素について、動被写体かどうかに応じたブレンド率（合成比）である動被写体ブレンド率βを算出する。
　具体的には、動被写体ブレンド率算出部８３は、生成するHDR画像の各画素について、次式（１）により、長蓄信号と短蓄信号の差分絶対値diffを算出する。
Figure JPOXMLDOC01-appb-M000001
　式（１）のLは長蓄信号（長蓄画素の画素値）、Sは短蓄信号（短蓄画素の画素値）、Bopbは黒レベル信号、gainは長蓄画素と短蓄画素の露光比を表す。
　動被写体ブレンド率算出部８３は、図１４に示される動被写体ブレンド率関数（動被写体ブレンド率テーブル）を参照し、算出した長蓄信号と短蓄信号の差分絶対値diffから、動被写体ブレンド率βを算出する。
　図１４の横軸は、式（１）で算出される差分絶対値diffであり、縦軸は、動被写体検出率βを表す。横軸のTh0及びTh1は、次式（２）で計算される、長蓄信号Lに応じて適応的に変動される閾値であり、coef0乃至coef3それぞれは、予め設定される所定の係数（パラメータ）である。
Figure JPOXMLDOC01-appb-M000002
　図１４の動被写体検出率関数によれば、式（１）で算出される差分絶対値diffが大きい（閾値Th1より大である）ときは、明るい被写体が動いていると推定し、短蓄信号を使用する動被写体ブレンド率βが算出される。
　一方、式（１）で算出される差分絶対値diffが小さい（閾値Th0より小である）ときは、長蓄信号を使用する動被写体ブレンド率βが算出される。差分絶対値diffが閾値Th0から閾値Th1までは、動被写体ブレンド率βは、例えば、線形に変化する。
　従って、図１４のような動被写体検出率関数によれば、動きが大きい部分では、より動体ブレの少ない短蓄信号を使用するような動被写体ブレンド率βが算出される。
　図１３に戻り、動被写体ブレンド率算出部８３は、以上のようにしてHDR画像の各画素について算出した動被写体ブレンド率βを、合成演算部８５に供給する。
　輝度ブレンド率算出部８４は、生成するHDR画像の各画素について、輝度値に応じたブレンド率（合成比）である輝度ブレンド率αを算出する。
　具体的には、輝度ブレンド率算出部８４は、生成するHDR画像の各画素について、長蓄信号Lに基づく長蓄ブレンド率αLを算出し、短蓄信号Sに基づく短蓄ブレンド率αSを算出する。そして、輝度ブレンド率算出部８４は、算出した長蓄ブレンド率αLと短蓄ブレンド率αSとを用いて、α＝αL＊αSを算出することにより、輝度レベルに基づくブレンド率（輝度ブレンド率）αを算出する。
　図１５のAは、長蓄信号Lに基づくブレンド率αLを算出するための長蓄ブレンド率関数（長蓄ブレンド率テーブル）を示し、図１５のBは、短蓄信号Sに基づくブレンド率αSを算出するための短蓄ブレンド率関数（短蓄ブレンド率テーブル）を示している。
　図１５のAの横軸は長蓄信号Lを表し、縦軸は長蓄ブレンド率αLを表す。図１５のBの横軸は短蓄信号Sを表し、縦軸は短蓄ブレンド率αSを表す。Th0L及びTh1Lと、Th0S及びTh1Sは、予め設定された所定の閾値を表す。
　図１５のAの長蓄ブレンド率関数及び図１５のBの短蓄ブレンド率関数によれば、被写体の明るさが暗い場合は、長時間露光により暗部まで撮像できている長蓄信号Lを使用し、被写体の明るさが明るい場合は、明るくて飽和しない短蓄信号Sを使用するような、ブレンド率αLとブレンド率αSが算出される。
　図１３に戻り、輝度ブレンド率算出部８４は、以上のようにして算出した長蓄ブレンド率αLと短蓄ブレンド率αSとを用いて、α＝αL＊αSを算出することにより、輝度ブレンド率αを算出し、合成演算部８５に供給する。
　合成演算部８５は、生成するHDR画像の各画素について、動被写体ブレンド率算出部８３から供給される動被写体ブレンド率βと、輝度ブレンド率算出部８４から供給される輝度ブレンド率αから、HDR画像を生成するための最終的な短蓄信号Sと長蓄信号Lのブレンド率（合成比）であるHDRブレンド率γを、γ＝α＊βにより算出する。
　そして、合成演算部８５は、算出したHDRブレンド率γを用いて、HDR画像の各画素について次式（３）により画素値を算出し、HDR画像を生成する。
Figure JPOXMLDOC01-appb-M000003
＜HDR合成処理＞
　図１６のフローチャートを参照して、HDR合成部２５によるHDR合成処理について説明する。この処理は、図１１のステップＳ５及び図１２のステップＳ１５の処理に相当する。
　初めに、ステップＳ３１において、LPF８１とLPF８２は、短蓄信号と長蓄信号のそれぞれについて、ローパスフィルタ処理を施す。即ち、LPF８１は、短蓄信号に対してローパスフィルタ処理を施し、LPF８２は、長蓄信号に対してローパスフィルタ処理を施す。
　ステップＳ３２において、動被写体ブレンド率算出部８３は、生成するHDR画像の各画素について、動被写体かどうかに応じたブレンド率である動被写体ブレンド率βを算出する。より具体的には、動被写体ブレンド率算出部８３は、生成するHDR画像の各画素について、式（１）による長蓄信号と短蓄信号の差分絶対値diffを算出する。そして、動被写体ブレンド率算出部８３は、図１４に示される動被写体ブレンド率関数を参照し、算出した長蓄信号と短蓄信号の差分絶対値diffから、動被写体ブレンド率βを算出し、合成演算部８５に供給する。
　ステップＳ３３において、輝度ブレンド率算出部８４は、生成するHDR画像の各画素について、輝度値に応じたブレンド率である輝度ブレンド率αを算出する。より具体的には、輝度ブレンド率算出部８４は、生成するHDR画像の各画素について、長蓄信号Lに基づく長蓄ブレンド率αLを算出し、短蓄信号Sに基づいて短蓄画素のブレンド率αSを算出する。そして、輝度ブレンド率算出部８４は、α＝αL＊αSを算出することにより、輝度ブレンド率αを算出し、合成演算部８５に供給する。
　ステップＳ３４において、合成演算部８５は、生成するHDR画像の各画素について、動被写体ブレンド率算出部８３から供給された動被写体ブレンド率βと、輝度ブレンド率算出部８４から供給された輝度ブレンド率αから、HDR画像を生成するための最終的な短蓄信号Sと長蓄信号Lのブレンド率であるHDRブレンド率γを、γ＝α＊βにより算出する。
　ステップＳ３５において、合成演算部８５は、HDR画像の各画素について、算出したHDRブレンド率γを用いて式（３）により画素値を算出し、HDR画像を生成する。
　以上のHDR合成処理により、短蓄信号Sと長蓄信号Lから、HDR画像が生成され、HDR合成部２５から出力される。
＜２．第２の実施の形態＞
＜ブロック図＞
　図１７は、固体撮像素子１の第２の実施の形態を示すブロック図である。
　図１７では、画素領域１１と制御領域１４の図示が省略されている。また、図１７において、上述した第１の実施の形態と対応する部分については同一の符号を付してあり、その説明は省略する。後述するその他の実施の形態の説明においても同様とする。
　固体撮像素子１の第２の実施の形態は、短蓄信号及び長蓄信号に対して、欠陥補正処理とノイズ低減処理を行うようにした構成例を示している。
　図１７の第２の実施の形態では、短蓄信号の信号ラインと、長蓄信号の信号ラインのそれぞれに、欠陥補正部９１とノイズ低減部９２が追加されている点が、上述した第１の実施の形態と異なる。
　HDR合成処理によって２枚の画像を合成したあとでは、ノイズの特性や欠陥画素の特性が変化するため、欠陥補正処理やノイズ低減処理は、合成前の段階で行うことが望ましい。
　欠陥補正部９１Sは、供給された短蓄信号に対して欠陥画素の有無を検出し、欠陥画素が検出された場合に、その欠陥画素を補正する欠陥補正処理を実行する。ノイズ低減部９２Sは、欠陥補正部９１Sから出力された欠陥補正処理後の短蓄信号に対して、ノイズ低減処理を実行する。
　欠陥補正部９１Lは、供給された長蓄信号に対して欠陥補正処理を実行する。ノイズ低減部９２Lは、欠陥補正部９１Lから出力された欠陥補正処理後の長蓄信号に対して、ノイズ低減処理を実行する。
　欠陥補正部９１Sまたは９１Lとしての欠陥補正部９１が行う欠陥補正処理は、例えば、画像を構成する各画素を注目画素として、注目画素の周辺に位置する周辺画素（例えば、注目画素を中心とする３ｘ３の、注目画素を除く８画素）の画素値の平均値と、注目画素の画素値との差分値を算出し、差分値が所定の閾値以上である場合に、注目画素の画素値を周辺画素の平均値で置き換える処理などを行う。なお、この欠陥補正処理は、あくまで一例であって、その他の任意の欠陥補正処理を採用することができる。
　ノイズ低減部９２Sまたは９２Lとしてのノイズ低減部９２が行うノイズ低減処理は、例えば、注目画素の画素値と周辺画素の平均値との差分が大きいほど重みが小さくなるような重みを設定し、注目画素と重みを付加した周辺画素の平均値との重み付け平均の結果を、注目画素の画素値とする処理を行う。なお、このノイズ低減処理は、あくまで一例であって、その他の任意のノイズ低減処理を採用することができる。
　固体撮像素子１の第２の実施の形態によれば、欠陥補正処理とノイズ低減処理を行った短蓄信号及び長蓄信号を用いて、HDR画像を生成することが可能となる。
＜３．第３の実施の形態＞
＜ブロック図＞
　図１８は、固体撮像素子１の第３の実施の形態を示すブロック図である。
　図１８においても、画素領域１１と制御領域１４については、図示が省略されている。
　固体撮像素子１の第３の実施の形態も、短蓄信号及び長蓄信号に対して、欠陥補正処理とノイズ低減処理を行うようにした構成例を示している。ただし、図１７に示した第２の実施の形態では、短蓄信号の信号ラインと、長蓄信号の信号ラインのそれぞれに、欠陥補正部９１とノイズ低減部９２が設けられたが、第３の実施の形態では、欠陥補正部９１とノイズ低減部９２が共通化されている。
　具体的には、１つの欠陥補正部９１とノイズ低減部９２が、フレームメモリ２３の前段に配置されている。この１つの欠陥補正部９１とノイズ低減部９２で、第１フレームの長露光信号と、第２フレームの短露光信号を時間差で逐次処理を行うことで、欠陥補正部９１とノイズ低減部９２の共通化を図っている。そのため、第２フレームの短露光信号は、第１フレームの長露光信号の欠陥補正処理とノイズ低減処理が終了するまで待機させる必要があるので、第２フレームの短露光信号を所定時間遅延させるための遅延調整部１０１が、欠陥補正部９１の前段に設けられている。遅延調整部１０１は、例えば、フレームメモリ２３と同様のDRAM等で構成される。
　欠陥補正部９１の前段には、欠陥補正部９１への入力信号として、カラムAD変換部２２から出力される第１フレームの長露光信号、または、遅延調整部１０１から出力される第２フレームの短露光信号のいずれかを選択するスイッチが設けられているが、図示が省略されている。また、ノイズ低減部９２の後段には、ノイズ低減部９２からの出力信号の出力先を、フレームメモリ２３またはHDR合成部２５のいずれかに切り替えるスイッチが設けられているが、図示が省略されている。
　第１フレームの長露光信号は、欠陥補正部９１とノイズ低減部９２において、欠陥補正処理及びノイズ低減処理が実行された後、フレームメモリ２３に供給され、所定時間、記憶される。
　第２フレームの短露光信号は、第１フレームの全ての長露光信号に対して、欠陥補正処理及びノイズ低減処理が終了するまで、遅延調整部１０１で待機される。そして、第１フレームの全ての長露光信号の欠陥補正処理及びノイズ低減処理が終了した後、欠陥補正部９１とノイズ低減部９２に供給され、欠陥補正処理及びノイズ低減処理が実行される。
＜HDR画像生成処理＞
　図１９のフローチャートを参照して、固体撮像素子１の第３の実施の形態におけるフレーム加算モードのHDR画像生成処理について説明する。
　初めに、ステップＳ５１において、固体撮像素子１の制御部２６は、画素アレイ部２１の各画素２０において長露光時間に設定されて得られた第１フレームの長露光信号の読み出しを開始する。第１フレームの長露光信号は、ラスタスキャン駆動により、例えば、0行目から順番に読み出される。
　ステップＳ５２において、欠陥補正部９１とノイズ低減部９２は、順次入力される第１フレームの長露光信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。
　ステップＳ５３において、フレームメモリ２３は、ノイズ低減部９２から順次供給されるノイズ低減処理後の第１フレームの長露光信号を一時記憶する。
　ステップ５４において、固体撮像素子１の制御部２６は、画素アレイ部２１の各画素２０において短露光時間に設定されて得られた第２フレームの短露光信号の読み出しを開始する。第２フレームの短露光信号も、上述したように、第１フレームの読み出し終了後から、第２フレームの短露光時間が経過した0行目から順番に、ラスタスキャン駆動により読み出される。
　第３の実施の形態においても、ステップＳ５４の第２フレームの短露光信号の読み出しが開始された後は、第１フレームの長露光信号の読み出しと第２フレームの短露光信号の読み出しが、並行して実行される。
　ステップ５５において、遅延調整部１０１は、カラムAD変換部２２から供給された第２フレームの短露光信号を、所定時間遅延させる。ここでの遅延時間は、第１フレームの全ての長露光信号に対して、欠陥補正処理及びノイズ低減処理が終了するまでの時間である。
　ステップＳ５６において、欠陥補正部９１とノイズ低減部９２は、所定時間の遅延後、遅延調整部１０１から順次入力される第２フレームの短露光信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。
　ステップＳ５７において、フレーム加算部２４は、フレームメモリ２３に記憶されている長露光信号を取得し、取得した長露光信号と、ノイズ低減部９２から供給された短露光信号を加算した加算信号を生成し、HDR合成部２５に出力する。
　ステップＳ５８において、HDR合成部２５は、フレーム加算部２４から供給された加算信号を長蓄信号とし、ノイズ低減部９２から供給された欠陥補正処理及びノイズ低減処理後の第２フレームの短露光信号を短蓄信号として、HDR画像を生成するHDR合成処理を実行する。このHDR合成処理は、上述した図１６の処理と同一である。HDR合成部２５は、HDR合成処理により得られたHDR画像を出力して処理を終了する。
＜４．第４の実施の形態＞
　次に、固体撮像素子１の第４の実施の形態について説明する。
　上述した第１乃至第３の実施の形態では、第１フレームを長露光信号とし、第２フレームが短露光信号となるように、画素アレイ部２１の各画素２０が駆動された。
　これに対して、以下に説明する固体撮像素子１の第４の実施の形態では、図２０に示されるように、第１フレームを短露光信号とし、第２フレームが長露光信号となるように、画素アレイ部２１の各画素２０が駆動される。
　このように、第１フレームを短露光信号とした場合、第１フレームの短露光信号が短蓄信号、第１フレームの短露光信号と第２フレームの長露光信号を加算した加算信号が長蓄信号となる。また、第１フレームを短露光信号とした場合には、図２０に示されるように、短蓄信号と長蓄信号の読出し開始位置を揃えることができる。
＜ブロック図＞
　図２１は、固体撮像素子１の第４の実施の形態を示すブロック図である。
　なお、図２１においても、画素領域１１と制御領域１４については、図示が省略されている。
　第１フレームを短露光信号とする場合、図２１に示されるように、上述した第１乃至第３の実施の形態におけるフレームメモリ２３とフレーム加算部２４のほかに、もう１つのフレームメモリ２３が必要となる。第４の実施の形態において、欠陥補正部９１の前段に配置されたフレームメモリ２３を第１のフレームメモリ２３－１と称し、ノイズ低減部９２の後段に配置されたフレームメモリ２３を第２のフレームメモリ２３－２と称する。
　第１のフレームメモリ２３－１は、第１フレームの短露光信号の信号ラインに配置され、フレーム加算部２４は、第２フレームの長露光信号の信号ラインに配置される。第２のフレームメモリ２３－２は、ノイズ低減部９２とHDR合成部２５との間に配置される。
　なお、図２１においても、欠陥補正部９１の前段には、欠陥補正部９１への入力信号として、第１のフレームメモリ２３－１から出力される第１フレームの短露光信号、または、フレーム加算部２４から出力される加算信号のいずれかを選択するスイッチが設けられているが、図示が省略されている。また、ノイズ低減部９２の後段には、ノイズ低減部９２からの出力信号の出力先を、第２のフレームメモリ２３－２またはHDR合成部２５のいずれかに切り替えるスイッチが設けられているが、図示が省略されている。
　第１のフレームメモリ２３－１は、取得した第１フレームの短露光信号を、後段の欠陥補正部９１に供給するとともに、所定時間保持し、その後、フレーム加算部２４に供給する。
　フレーム加算部２４は、第２フレームの長露光信号を取得し、第１のフレームメモリ２３－１から供給される第１フレームの短露光信号と加算して、加算結果を欠陥補正部９１に出力する。
　第２のフレームメモリ２３－２は、ノイズ低減部９２が出力するノイズ低減処理後の第１フレームの短露光信号を一時記憶し、所定時間経過後、HDR合成部２５に供給する。
＜HDR画像生成処理＞
　図２２のフローチャートを参照して、固体撮像素子１の第４の実施の形態におけるフレーム加算モードのHDR画像生成処理について説明する。
　初めに、ステップＳ７１において、固体撮像素子１の制御部２６は、画素アレイ部２１の各画素２０において短露光時間に設定されて得られた第１フレームの短露光信号の読み出しを開始する。第１フレームの短露光信号は、ラスタスキャン駆動により、例えば、0行目から順番に読み出される。
　ステップＳ７２において、第１のフレームメモリ２３－１は、画素領域１１のカラムAD変換部２２から供給される第１フレームの短露光信号を、後段の欠陥補正部９１に供給するとともに、一時記憶する。
　ステップＳ７３において、欠陥補正部９１とノイズ低減部９２は、第１のフレームメモリ２３－１から順次入力される第１フレームの短露光信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。
　ステップＳ７４において、第２のフレームメモリ２３－２は、ノイズ低減部９２から順次供給されるノイズ低減処理後の第１フレームの短露光信号を、後段のHDR合成部２５に供給するとともに、一時記憶する。
　ステップ７５において、固体撮像素子１の制御部２６は、画素アレイ部２１の各画素２０において長露光時間に設定されて得られた第２フレームの長露光信号の読み出しを開始する。第２フレームの長露光信号も、上述したように、第１フレームの読み出し終了後から、第２フレームの長露光時間が経過した0行目から順番に、ラスタスキャン駆動により読み出される。
　ステップ７６において、フレーム加算部２４は、第１のフレームメモリ２３－１に記憶されている短露光信号を取得し、取得した短露光信号と、画素領域１１のカラムAD変換部２２から供給された第２フレームの長露光信号を加算した加算信号を生成し、欠陥補正部９１に出力する。
　ステップＳ７７において、欠陥補正部９１とノイズ低減部９２は、フレーム加算部２４からから順次入力される加算信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。処理後の加算信号は、HDR合成部２５に供給される。
　ステップＳ７８において、HDR合成部２５は、ノイズ低減部９２から供給された加算信号を長蓄信号とし、第２のフレームメモリ２３－２から供給された欠陥補正処理及びノイズ低減処理後の短露光信号を短蓄信号として、HDR画像を生成するHDR合成処理を実行する。このHDR合成処理は、上述した図１６の処理と同一である。HDR合成部２５は、HDR合成処理により得られたHDR画像を出力して処理を終了する。
＜５．第５の実施の形態＞
＜ブロック図＞
　図２３は、固体撮像素子１の第５の実施の形態を示すブロック図である。
　なお、図２３においても、画素領域１１と制御領域１４については、図示が省略されている。
　第５の実施の形態は、上述した第４の実施の形態と同様に、第１フレームを短露光信号とし、第２フレームが長露光信号となるように、画素アレイ部２１の各画素２０を駆動する場合の構成であるが、２つのフレームメモリ２３を必要としない構成例を示している。
　図２３の第５の実施の形態では、欠陥補正部９１とノイズ低減部９２の後段に、フレームメモリ２３とフレーム加算部２４が設けられる。
　図２３においても、欠陥補正部９１の前段には、欠陥補正部９１への入力信号として、第１フレームの短露光信号、または、第２フレームの長露光信号のいずれかを選択するスイッチが設けられているが、図示が省略されている。また、ノイズ低減部９２の後段には、ノイズ低減部９２からの出力信号の出力先を、フレームメモリ２３またはフレーム加算部２４のいずれかに切り替えるスイッチが設けられているが、図示が省略されている。
　フレームメモリ２３は、欠陥補正処理とノイズ低減処理が施された第１フレームの短露光信号を一時記憶し、所定時間経過後、短蓄信号として、HDR合成部２５に供給する。また、フレームメモリ２３は、取得した第１フレームの短露光信号を、所定時間経過後、フレーム加算部２４にも供給する。
　フレーム加算部２４は、欠陥補正処理とノイズ低減処理が施された第２フレームの長露光信号を取得し、フレームメモリ２３から供給される第１フレームの短露光信号と加算した加算信号を生成し、長蓄信号として、HDR合成部２５に供給する。
＜HDR画像生成処理＞
　図２４のフローチャートを参照して、固体撮像素子１の第５の実施の形態におけるフレーム加算モードのHDR画像生成処理について説明する。
　初めに、ステップＳ９１において、固体撮像素子１の制御部２６は、画素アレイ部２１の各画素２０において短露光時間に設定されて得られた第１フレームの短露光信号の読み出しを開始する。第１フレームの短露光信号は、ラスタスキャン駆動により、例えば、0行目から順番に読み出される。
　ステップＳ９２において、欠陥補正部９１とノイズ低減部９２は、画素領域１１のカラムAD変換部２２から順次入力される第１フレームの短露光信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。
　ステップＳ９３において、フレームメモリ２３は、ノイズ低減部９２から順次供給されるノイズ低減処理後の第１フレームの短露光信号を、後段のHDR合成部２５に供給するとともに、一時記憶する。
　ステップＳ９４において、固体撮像素子１の制御部２６は、画素アレイ部２１の各画素２０において長露光時間に設定されて得られた第２フレームの長露光信号の読み出しを開始する。第２フレームの長露光信号も、上述したように、第１フレームの読み出し終了後から、第２フレームの長露光時間が経過した0行目から順番に、ラスタスキャン駆動により読み出される。
　ステップＳ９５において、欠陥補正部９１とノイズ低減部９２は、画素領域１１のカラムAD変換部２２から順次入力される第２フレームの長露光信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。
　ステップ９６において、フレーム加算部２４は、フレームメモリ２３に記憶されている第１フレームの短露光信号を取得し、取得した第１フレームの短露光信号と、ノイズ低減部９２から出力された欠陥補正処理及びノイズ低減処理後の第２フレームの長露光信号とを加算した加算信号を生成し、HDR合成部２５に出力する。
　ステップＳ９７において、HDR合成部２５は、フレーム加算部２４から供給された加算信号を長蓄信号とし、フレームメモリ２３から供給された短露光信号を短蓄信号として、HDR画像を生成するHDR合成処理を実行する。このHDR合成処理は、上述した図１６の処理と同一である。HDR合成部２５は、HDR合成処理により得られたHDR画像を出力して処理を終了する。
　図２１の第４の実施の形態の固体撮像素子１は、第１フレームの短露光信号と長露光信号を加算することで、先に長蓄信号を生成し、生成した長蓄信号に対して欠陥補正処理及びノイズ低減処理を実行する。
　一方、図２３の第５の実施の形態の固体撮像素子１は、第１フレームの短露光信号と第２フレームの長露光信号のそれぞれに対して欠陥補正処理及びノイズ低減処理を実行し、処理後の短露光信号と長露光信号を加算して、長蓄信号を生成する。
＜６．第６の実施の形態＞
＜ブロック図＞
　図２５は、固体撮像素子１の第６の実施の形態を示すブロック図である。
　なお、図２５においても、画素領域１１と制御領域１４については、図示が省略されている。
　第６の実施の形態は、上述した第５の実施の形態と同様に、第１フレームを短露光信号とし、第２フレームを長露光信号とし、かつ、２つのフレームメモリ２３を必要としない構成例を示している。
　図２５の第６の実施の形態では、欠陥補正部９１とノイズ低減部９２の前段に、フレーム加算部２４が設けられ、欠陥補正部９１とノイズ低減部９２の後段に、フレームメモリ２３が設けられている。フレーム加算部２４は、第２フレームの長露光信号の信号ラインに配置されている。
　図２５においても、欠陥補正部９１の前段には、欠陥補正部９１への入力信号として、第１フレームの短露光信号、または、フレーム加算部２４からの加算信号のいずれかを選択するスイッチが設けられているが、図示が省略されている。また、ノイズ低減部９２の後段には、ノイズ低減部９２からの出力信号の出力先を、フレームメモリ２３またはHDR合成部２５のいずれかに切り替えるスイッチが設けられているが、図示が省略されている。
　フレームメモリ２３は、欠陥補正処理とノイズ低減処理が施された第１フレームの短露光信号を一時記憶し、所定時間経過後、短蓄信号として、HDR合成部２５に供給する。また、フレームメモリ２３は、取得した第１フレームの短露光信号を、所定時間経過後、フレーム加算部２４にも供給する。
　フレーム加算部２４は、カラムAD変換部２２から出力される第２フレームの長露光信号を取得し、フレームメモリ２３から供給される第１フレームの短露光信号と加算した加算信号を生成し、長蓄信号として、後段の欠陥補正部９１に供給する。
＜HDR画像生成処理＞
　図２６のフローチャートを参照して、固体撮像素子１の第６の実施の形態におけるフレーム加算モードのHDR画像生成処理について説明する。
　初めに、ステップＳ１０１において、固体撮像素子１の制御部２６は、画素アレイ部２１の各画素２０において短露光時間に設定されて得られた第１フレームの短露光信号の読み出しを開始する。第１フレームの短露光信号は、ラスタスキャン駆動により、例えば、0行目から順番に読み出される。
　ステップＳ１０２において、欠陥補正部９１とノイズ低減部９２は、画素領域１１のカラムAD変換部２２から順次入力される第１フレームの短露光信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。
　ステップＳ１０３において、フレームメモリ２３は、ノイズ低減部９２から順次供給されるノイズ低減処理後の第１フレームの短露光信号を、後段のHDR合成部２５に供給するとともに、一時記憶する。
　ステップＳ１０４において、固体撮像素子１の制御部２６は、画素アレイ部２１の各画素２０において長露光時間に設定されて得られた第２フレームの長露光信号の読み出しを開始する。第２フレームの長露光信号も、第１フレームの読み出し終了後から、第２フレームの長露光時間が経過した0行目から順番に、ラスタスキャン駆動により読み出される。
　ステップＳ１０５において、フレーム加算部２４は、画素領域１１のカラムAD変換部２２から順次入力される第２フレームの長露光信号を取得し、取得した長露光信号と、フレームメモリ２３から取得した第１フレームの短露光信号を加算した加算信号を生成する。
　ステップ１０６において、欠陥補正部９１とノイズ低減部９２は、フレーム加算部２４から順次供給される加算信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。
　ステップＳ１０７において、HDR合成部２５は、フレームメモリ２３に記憶されている第１フレームの短露光信号を取得し、ノイズ低減部９２から供給された欠陥補正処理及びノイズ低減処理の処理後の加算信号を長蓄信号とし、フレームメモリ２３から取得した第１フレームの短露光信号を短蓄信号として、HDR画像を生成するHDR合成処理を実行する。このHDR合成処理は、上述した図１６の処理と同一である。HDR合成部２５は、HDR合成処理により得られたHDR画像を出力して処理を終了する。
　図２３の第５の実施の形態の固体撮像素子１は、第１フレームの短露光信号と第２フレームの長露光信号のそれぞれに対して欠陥補正処理及びノイズ低減処理を実行し、処理後の短露光信号と長露光信号を加算して、長蓄信号を生成する。
　一方、図２５の第６の実施の形態の固体撮像素子１は、欠陥補正処理及びノイズ低減処理の処理後の第１フレームの短露光信号と、処理前の第２フレームの長露光信号を加算し、その結果得られる加算信号（長蓄信号）に対して欠陥補正処理及びノイズ低減処理を実行する。
＜７．第７の実施の形態＞
＜ブロック図＞
　図２７は、固体撮像素子１の第７の実施の形態を示すブロック図である。
　図２７においても、画素領域１１と制御領域１４については、図示が省略されている。
　上述した第１乃至第６の実施の形態は、いずれも、HDR合成部２５の前段に欠陥補正部９１とノイズ低減部９２が配置された構成であったのに対して、第７の実施の形態では、欠陥補正部９１とノイズ低減部９２が、HDR合成部２５の後段に配置されている。
　本技術のHDR合成処理は、合成をする際に、２枚の画像の位置合わせや補間処理を行わないので、HDR合成処理後に欠陥画素が周囲の画素に影響することがない。そのため、図２７に示されるように、HDR合成処理を行うHDR合成部２５の後段に、欠陥補正部９１とノイズ低減部９２を設け、欠陥補正処理とノイズ低減処理を行うことができる。ただし、この場合、ノイズ低減部９２には、合成後の画素信号（以下、HDR信号という。）が、長蓄信号と短蓄信号をどの比率で合成したのかを知らせる必要があるため、合成比率情報として、HDRブレンド率γが、合成演算部８５からノイズ低減部９２に供給される。
　固体撮像素子１の第７の実施の形態におけるフレーム加算モードのHDR画像生成処理は、図１１を参照して説明した第１の実施の形態におけるHDR画像生成処理のステップＳ５の処理の後に、HDR画像の各画素信号（HDR信号）に対して、欠陥補正処理及びノイズ低減処理を順番に実行する処理が追加されたものとなる。
＜８．第８の実施の形態＞
＜４枚の画像合成の例＞
　上述した第１乃至第７の実施の形態は、いずれも、画素アレイ部２１の各画素２０を、２種類の異なる露光時間で露光して得られる２種類の画素信号を用いてHDR画像を生成する例であった。
　しかし、露光時間を３回以上に分割し、３種類以上の画素信号を用いてHDR画像を生成する構成とすることもできる。
　図２８は、出力フレーム長Tにおいて４回の露光時間を設定し、４種類の画素信号を出力する場合の画素駆動を示す図である。
　図２８において、第１の露光時間が設定された第１のフレームの画素信号を第１の露光信号、第２の露光時間が設定された第２のフレームの画素信号を第２の露光信号、第３の露光時間が設定された第３のフレームの画素信号を第３の露光信号、第４の露光時間が設定された第４のフレームの画素信号を第４の露光信号という。第１の露光時間乃至第４の露光時間それぞれは、同一の露光時間であってもよいし、異なる露光時間であってもよい。
　このように、４種類の画素信号が生成される場合、固体撮像素子１は、例えば、第１の露光信号乃至第４の露光信号を加算した信号を第１の長蓄信号、第２の露光信号乃至第４の露光信号を加算した信号を第２の長蓄信号、第３の露光信号と第４の露光信号を加算した信号を第３の長蓄信号、及び、第４の露光信号を短蓄信号として用いて、HDR画像を生成することができる。
＜ブロック図＞
　図２９は、固体撮像素子１の第８の実施の形態として、４回の露光時間を設定し、４種類の画素信号を用いてHDR画像を生成する場合の固体撮像素子１の構成例を示すブロック図である。
　図２９においても、画素領域１１と制御領域１４の図示は省略されている。
　メモリ領域１２は、第１のフレームメモリ２３－１、第２のフレームメモリ２３－２、及び、第３のフレームメモリ２３－３を有する。
　ロジック領域１３は、第１のフレーム加算部２４－１、第２のフレーム加算部２４－２、及び第３のフレーム加算部２４－３と、HDR合成部２５を有する。
　画素領域１１から出力された第４の露光信号は、ロジック領域１３の第１のフレーム加算部２４－１とHDR合成部２５に供給される。
　画素領域１１から出力された第３の露光信号は、メモリ領域１２の第１のフレームメモリ２３－１に供給され、一時記憶された後、ロジック領域１３の第１のフレーム加算部２４－１に供給される。
　画素領域１１から出力された第２の露光信号は、メモリ領域１２の第２のフレームメモリ２３－２に供給され、一時記憶された後、ロジック領域１３の第２のフレーム加算部２４－２に供給される。
　画素領域１１から出力された第１の露光信号は、メモリ領域１２の第３のフレームメモリ２３－３に供給され、一時記憶された後、ロジック領域１３の第３のフレーム加算部２４－３に供給される。
　第１のフレーム加算部２４－１は、第１のフレームメモリ２３－１から供給された第３の露光信号と、画素領域１１から出力された第４の露光信号とを加算し、その結果得られる第３の長蓄信号（＝第３の露光信号＋第４の露光信号）を、第２のフレーム加算部２４－２とHDR合成部２５に供給する。
　第２のフレーム加算部２４－２は、第２のフレームメモリ２３－２から供給された第２の露光信号と、第１のフレーム加算部２４－１から出力された第３の長蓄信号（＝第３の露光信号＋第４の露光信号）とを加算し、その結果得られる第２の長蓄信号（＝第２の露光信号＋第３の露光信号＋第４の露光信号）を、第３のフレーム加算部２４－３とHDR合成部２５に供給する。
　第３のフレーム加算部２４－３は、第３のフレームメモリ２３－３から供給された第１の露光信号と、第２のフレーム加算部２４－２から出力された第２の長蓄信号（＝第２の露光信号＋第３の露光信号＋第４の露光信号）とを加算し、その結果得られる第１の長蓄信号（＝第１の露光信号＋第２の露光信号＋第３の露光信号＋第４の露光信号）を、HDR合成部２５に供給する。
　HDR合成部２５は、第１の長蓄信号乃至第３の長蓄信号及び短蓄信号のそれぞれを、所定のHDRブレンド率γで合成し、HDR画像を生成するHDR合成処理を実行する。HDR合成部２５は、HDR合成処理により得られたHDR画像を出力して処理を終了する。
　上述した第２乃至第８の実施の形態においても、長蓄画像及び短蓄画像のいずれも画素アレイ部２１の全画素で画素信号を取得することができるので、空間解像度も時間解像度も落とすことなく、モアレやエイリアシングといった画質劣化が発生しない。したがって、画質劣化の少ないHDR画像を生成することができる。
　また、固体撮像素子１では、多段カラムADC構造により、画素アレイ部２１の複数行の同時読出しを可能とし、短蓄画像と長蓄画像の読み出し時間差を少なくすることができるため、動被写体の影響を受けにくいHDR画像を生成することができる。
＜９．電子機器への適用例＞
　本技術は、固体撮像素子への適用に限られるものではない。即ち、本技術は、デジタルスチルカメラやビデオカメラ等の撮像装置や、撮像機能を有する携帯端末装置や、画像読取部に固体撮像素子を用いる複写機など、画像取込部（光電変換部）に固体撮像素子を用いる電子機器全般に対して適用可能である。固体撮像素子は、ワンチップとして形成された形態であってもよいし、撮像部と信号処理部または光学系とがまとめてパッケージングされた撮像機能を有するモジュール状の形態であってもよい。
　図３０は、本技術に係る電子機器としての、撮像装置の構成例を示すブロック図である。
　図３０の撮像装置２００は、レンズ群などからなる光学部２０１、図１の固体撮像素子１の構成が採用される固体撮像素子（撮像デバイス）２０２、およびカメラ信号処理回路であるDSP(Digital Signal Processor)回路２０３を備える。また、撮像装置２００は、フレームメモリ２０４、表示部２０５、記録部２０６、操作部２０７、および電源部２０８も備える。DSP回路２０３、フレームメモリ２０４、表示部２０５、記録部２０６、操作部２０７および電源部２０８は、バスライン２０９を介して相互に接続されている。
　光学部２０１は、被写体からの入射光（像光）を取り込んで固体撮像素子２０２の撮像面上に結像する。固体撮像素子２０２は、光学部２０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この固体撮像素子２０２として、図１の固体撮像素子１、即ち、多段カラムADC構造により、画素アレイ部２１の複数行の同時読出しを可能とし、第１フレームと第２フレームを加算した画素信号を長蓄信号、第１フレームと第２フレームの一方の画素信号を短蓄信号としてHDR画像を生成することができる固体撮像素子を用いることができる。
　表示部２０５は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等のパネル型表示装置からなり、固体撮像素子２０２で撮像された動画または静止画を表示する。記録部２０６は、固体撮像素子２０２で撮像された動画または静止画を、ハードディスクや半導体メモリ等の記録媒体に記録する。
　操作部２０７は、ユーザによる操作の下に、撮像装置２００が持つ様々な機能について操作指令を発する。電源部２０８は、DSP回路２０３、フレームメモリ２０４、表示部２０５、記録部２０６および操作部２０７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
　上述したように、固体撮像素子２０２として、上述した各実施の形態に係る固体撮像素子１を用いることで、短蓄画像と長蓄画像の読み出し時間差が少なく、画質劣化の少ないHDR画像を生成することができる。従って、ビデオカメラやデジタルスチルカメラ、さらには携帯電話機等のモバイル機器向けカメラモジュールなどの撮像装置２００においても、撮像画像の高画質化を図ることができる。
＜イメージセンサの使用例＞
　図３１は、上述した固体撮像素子１としてのイメージセンサを使用する使用例を示す図である。
　上述した固体撮像素子１としてのイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
　・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
　また、本技術は、可視光の入射光量の分布を検知して画像として撮像する固体撮像素子への適用に限らず、赤外線やＸ線、あるいは粒子等の入射量の分布を画像として撮像する固体撮像素子や、広義の意味として、圧力や静電容量など、他の物理量の分布を検知して画像として撮像する指紋検出センサ等の固体撮像素子（物理量分布検知装置）全般に対して適用可能である。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　複数の画素が行列状に２次元配置された画素アレイ部と、
　前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動する制御部と
　を備え、
　同時に読み出された複数行の前記画素信号のうちの第１の画素行の画素信号は、第１のフレームの画素信号であり、第２の画素行の画素信号は、第２のフレームの画素信号である
　固体撮像素子。
（２）
　同時に読み出された前記第１のフレームの画素信号をAD変換する第１のAD変換部と、
　同時に読み出された前記第２のフレームの画素信号をAD変換する第２のAD変換部と
　をさらに備える
　前記（１）に記載の固体撮像素子。
（３）
　同時に読み出された前記第１のフレームの画素信号と前記第２のフレームの画素信号は、同一の画素列の画素信号である
　前記（１）または（２）に記載の固体撮像素子。
（４）
　前記制御部は、前記画素アレイ部の４行の前記画素の画素信号を同時に読み出すように前記画素を駆動する
　前記（１）乃至（３）のいずれかに記載の固体撮像素子。
（５）
　前記第１のフレームの画素信号を記憶する記憶部と、
　前記第１のフレームの画素信号と、前記第２のフレームの画素信号を加算する加算部と、
　前記加算部で算出して得られた加算信号と、前記第１のフレームの画素信号を、所定の合成比で合成する合成演算部と
　をさらに備える
　前記（１）乃至（４）のいずれかに記載の固体撮像素子。
（６）
　前記第１のフレームの画素信号は、前記第２のフレームの画素信号よりも、露光時間が長い信号である
　前記（５）に記載の固体撮像素子。
（７）
　前記第１のフレームの画素信号は、前記第２のフレームの画素信号よりも、露光時間が短い信号である
　前記（５）に記載の固体撮像素子。
（８）
　第１乃至第３の半導体基板からなる３枚の半導体基板を積層して構成され、
　前記第１の半導体基板には、前記画素アレイ部が少なくとも形成され、
　前記第２の半導体基板には、前記記憶部が少なくとも形成され、
　前記第３の半導体基板には、前記加算部と前記合成演算部が少なくとも形成されている
　前記（５）に記載の固体撮像素子。
（９）
　前記第２の半導体基板は、前記第１の半導体基板と前記第３の半導体基板との間に配置されている
　前記（８）に記載の固体撮像素子。
（１０）
　前記記憶部は、少なくとも前記第２のフレームの画素信号の読み出しが開始されるまで、前記第１のフレームの画素信号を記憶する
　前記（５）乃至（９）のいずれかに記載の固体撮像素子。
（１１）
　前記合成演算部は、前記加算信号と前記第１のフレームの画素信号を所定の合成比で合成することにより、HDR画像を生成する
　前記（５）乃至（１０）のいずれかに記載の固体撮像素子。
（１２）
　前記記憶部は、２枚以上の画像を記憶し、
　前記合成演算部は、３枚以上の画像それぞれの画像信号を、所定の合成比で合成する
　前記（５）乃至（１１）のいずれかに記載の固体撮像素子。
（１３）
　複数の画素が行列状に２次元配置された画素アレイ部を備える固体撮像素子が、
　前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動し、
　同時に読み出された複数行の前記画素信号のうちの第１の画素行の画素信号は、第１のフレームの画素信号であり、第２の画素行の画素信号は、第２のフレームの画素信号である
　固体撮像素子の駆動方法。
（１４）
　複数の画素が行列状に２次元配置された画素アレイ部と、
　前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動する制御部と
　を備え、
　同時に読み出された複数行の前記画素信号のうちの第１の画素行の画素信号は、第１のフレームの画素信号であり、第２の画素行の画素信号は、第２のフレームの画素信号である
　固体撮像素子
　を備える電子機器。
　１　固体撮像素子，　１１　画素領域，　１２　メモリ領域，　１３　ロジック領域，　１４　制御領域，　２０　画素，　２１　画素アレイ部，　２２（２２A,２２B）　カラムAD変換部，　２３　フレームメモリ，　２４　フレーム加算部，　２５　HDR合成部，　２６　制御部，　３１乃至３３　半導体基板，　３５　FD，　５０　ADC，　８５　合成演算部，　９１（９１S,９１L）　欠陥補正部，　９２（９２S,９２L）　ノイズ低減部，　１０１　遅延調整部，　２００　撮像装置，　２０２　固体撮像素子

Claims (14)

  1. 　複数の画素が行列状に２次元配置された画素アレイ部と、
    　前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動する制御部と
    　を備え、
    　同時に読み出された複数行の前記画素信号のうちの第１の画素行の画素信号は、第１のフレームの画素信号であり、第２の画素行の画素信号は、第２のフレームの画素信号である
    　固体撮像素子。
  2. 　同時に読み出された前記第１のフレームの画素信号をAD変換する第１のAD変換部と、
    　同時に読み出された前記第２のフレームの画素信号をAD変換する第２のAD変換部と
    　をさらに備える
    　請求項１に記載の固体撮像素子。
  3. 　同時に読み出された前記第１のフレームの画素信号と前記第２のフレームの画素信号は、同一の画素列の画素信号である
    　請求項１に記載の固体撮像素子。
  4. 　前記制御部は、前記画素アレイ部の４行の前記画素の画素信号を同時に読み出すように前記画素を駆動する
    　請求項１に記載の固体撮像素子。
  5. 　前記第１のフレームの画素信号を記憶する記憶部と、
    　前記第１のフレームの画素信号と、前記第２のフレームの画素信号を加算する加算部と、
    　前記加算部で算出して得られた加算信号と、前記第１のフレームの画素信号を、所定の合成比で合成する合成演算部と
    　をさらに備える
    　請求項１に記載の固体撮像素子。
  6. 　前記第１のフレームの画素信号は、前記第２のフレームの画素信号よりも、露光時間が長い信号である
    　請求項５に記載の固体撮像素子。
  7. 　前記第１のフレームの画素信号は、前記第２のフレームの画素信号よりも、露光時間が短い信号である
    　請求項５に記載の固体撮像素子。
  8. 　第１乃至第３の半導体基板からなる３枚の半導体基板を積層して構成され、
    　前記第１の半導体基板には、前記画素アレイ部が少なくとも形成され、
    　前記第２の半導体基板には、前記記憶部が少なくとも形成され、
    　前記第３の半導体基板には、前記加算部と前記合成演算部が少なくとも形成されている
    　請求項５に記載の固体撮像素子。
  9. 　前記第２の半導体基板は、前記第１の半導体基板と前記第３の半導体基板との間に配置されている
    　請求項８に記載の固体撮像素子。
  10. 　前記記憶部は、少なくとも前記第２のフレームの画素信号の読み出しが開始されるまで、前記第１のフレームの画素信号を記憶する
    　請求項５に記載の固体撮像素子。
  11. 　前記合成演算部は、前記加算信号と前記第１のフレームの画素信号を所定の合成比で合成することにより、HDR画像を生成する
    　請求項５に記載の固体撮像素子。
  12. 　前記記憶部は、２枚以上の画像を記憶し、
    　前記合成演算部は、３枚以上の画像それぞれの画像信号を、所定の合成比で合成する
    　請求項５に記載の固体撮像素子。
  13. 　複数の画素が行列状に２次元配置された画素アレイ部を備える固体撮像素子が、
    　前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動し、
    　同時に読み出された複数行の前記画素信号のうちの第１の画素行の画素信号は、第１のフレームの画素信号であり、第２の画素行の画素信号は、第２のフレームの画素信号である
    　固体撮像素子の駆動方法。
  14. 　複数の画素が行列状に２次元配置された画素アレイ部と、
    　前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動する制御部と
    　を備え、
    　同時に読み出された複数行の前記画素信号のうちの第１の画素行の画素信号は、第１のフレームの画素信号であり、第２の画素行の画素信号は、第２のフレームの画素信号である
    　固体撮像素子
    　を備える電子機器。
PCT/JP2016/061988 2015-04-27 2016-04-14 固体撮像素子およびその駆動方法、並びに電子機器 WO2016175036A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015090375A JP2016208402A (ja) 2015-04-27 2015-04-27 固体撮像素子およびその駆動方法、並びに電子機器
JP2015-090375 2015-04-27

Publications (1)

Publication Number Publication Date
WO2016175036A1 true WO2016175036A1 (ja) 2016-11-03

Family

ID=57199136

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/061988 WO2016175036A1 (ja) 2015-04-27 2016-04-14 固体撮像素子およびその駆動方法、並びに電子機器

Country Status (2)

Country Link
JP (1) JP2016208402A (ja)
WO (1) WO2016175036A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040633A (zh) * 2018-11-02 2018-12-18 上海晔芯电子科技有限公司 具有增益补偿的hdr图像传感器、读出电路及方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018142706A1 (ja) * 2017-02-01 2018-08-09 ソニーセミコンダクタソリューションズ株式会社 撮像システム、撮像装置、及び制御装置
JP7057635B2 (ja) 2017-08-15 2022-04-20 キヤノン株式会社 撮像装置、カメラおよび輸送機器
WO2019171782A1 (ja) * 2018-03-09 2019-09-12 富士フイルム株式会社 撮像装置、撮像方法、およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011071958A (ja) * 2009-08-28 2011-04-07 Sony Corp 撮像素子およびカメラシステム
WO2012042967A1 (ja) * 2010-09-27 2012-04-05 富士フイルム株式会社 撮像装置及び撮像方法
JP2012257193A (ja) * 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
WO2014065055A1 (ja) * 2012-10-23 2014-05-01 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2014099582A (ja) * 2012-10-18 2014-05-29 Sony Corp 固体撮像装置
JP2014165526A (ja) * 2013-02-21 2014-09-08 Canon Inc 固体撮像装置、その制御方法、および制御プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011071958A (ja) * 2009-08-28 2011-04-07 Sony Corp 撮像素子およびカメラシステム
WO2012042967A1 (ja) * 2010-09-27 2012-04-05 富士フイルム株式会社 撮像装置及び撮像方法
JP2012257193A (ja) * 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2014099582A (ja) * 2012-10-18 2014-05-29 Sony Corp 固体撮像装置
WO2014065055A1 (ja) * 2012-10-23 2014-05-01 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2014165526A (ja) * 2013-02-21 2014-09-08 Canon Inc 固体撮像装置、その制御方法、および制御プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040633A (zh) * 2018-11-02 2018-12-18 上海晔芯电子科技有限公司 具有增益补偿的hdr图像传感器、读出电路及方法
CN109040633B (zh) * 2018-11-02 2021-04-20 思特威(上海)电子科技股份有限公司 具有增益补偿的hdr图像传感器、读出电路及方法

Also Published As

Publication number Publication date
JP2016208402A (ja) 2016-12-08

Similar Documents

Publication Publication Date Title
US10771718B2 (en) Imaging device and imaging system
JP6969539B2 (ja) 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器
JP4311181B2 (ja) 半導体装置の制御方法および信号処理方法並びに半導体装置および電子機器
JP4691930B2 (ja) 物理情報取得方法および物理情報取得装置、並びに物理量分布検知の半導体装置、プログラム、および撮像モジュール
JP4821921B2 (ja) 固体撮像装置および電子機器
WO2016147885A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
JP4609428B2 (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置
WO2017169885A1 (ja) 撮像装置、駆動方法、および、電子機器
WO2017141727A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
JP2014154982A (ja) 撮像装置およびその制御方法
JP2010283573A (ja) 電子カメラ
WO2016175036A1 (ja) 固体撮像素子およびその駆動方法、並びに電子機器
JP5885431B2 (ja) 撮像素子及び撮像装置
JP2017175345A (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
JP4419675B2 (ja) 固体撮像装置および固体撮像装置の駆動方法
JP2019161577A (ja) 撮像装置、画素補正処理回路、及び、画素補正処理方法
WO2020022120A1 (ja) ストリーキング補正回路、撮像装置、及び、電子機器
JP5168319B2 (ja) 固体撮像装置および固体撮像装置の駆動方法
JP5115602B2 (ja) 半導体装置およびその制御方法
WO2016147887A1 (ja) 固体撮像装置およびその制御方法、並びに電子機器
JP5115601B2 (ja) 半導体装置およびその制御方法
JP4916095B2 (ja) 固体撮像装置および固体撮像装置の駆動方法
JP2014175778A (ja) 撮像装置および撮像方法
WO2016203966A1 (ja) 撮像装置、撮像方法、並びにプログラム
JP2018093301A (ja) 撮像素子及び撮像素子の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16786313

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16786313

Country of ref document: EP

Kind code of ref document: A1