WO2018012051A1 - 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 - Google Patents

固体撮像素子、撮像装置、および、固体撮像素子の制御方法 Download PDF

Info

Publication number
WO2018012051A1
WO2018012051A1 PCT/JP2017/013518 JP2017013518W WO2018012051A1 WO 2018012051 A1 WO2018012051 A1 WO 2018012051A1 JP 2017013518 W JP2017013518 W JP 2017013518W WO 2018012051 A1 WO2018012051 A1 WO 2018012051A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
image
gain
unit
time exposure
Prior art date
Application number
PCT/JP2017/013518
Other languages
English (en)
French (fr)
Inventor
乾一 佐野
文仁 安間
亮 広野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/314,548 priority Critical patent/US10652476B2/en
Publication of WO2018012051A1 publication Critical patent/WO2018012051A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767—Horizontal readout lines, multiplexers or registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Definitions

  • the present technology relates to a solid-state imaging device, an imaging apparatus, and a control method for the solid-state imaging device.
  • the present invention relates to a solid-state imaging device, an imaging apparatus, and a control method for the solid-state imaging device that synthesize a plurality of image data.
  • HDR High Dynamic Range
  • the above-described conventional technology if the amount of peripheral light at the time of imaging is small and a composite image with sufficient luminance cannot be obtained even if the aperture value is adjusted, it is necessary to lengthen the exposure time.
  • the above-described prior art when a plurality of composite images are captured at a constant imaging interval, it is not possible to set an exposure time longer than the imaging interval. Even when only one composite image is captured, if the exposure time is too long, the subject may move when the subject moves, and the image quality may deteriorate. Thus, the above-described imaging apparatus has a problem that it is difficult to increase the exposure time.
  • the present technology has been created in view of such a situation, and aims to increase the exposure time in an imaging apparatus that synthesizes a plurality of images.
  • the present technology has been made in order to solve the above-described problems.
  • the first aspect of the present technology includes a gain processing unit that increases / decreases each of a plurality of image signals with different gains, and a plurality of the increased / decreased plurality of image signals.
  • An analog-to-digital conversion unit that generates a plurality of image data by analog-to-digital conversion on an image signal, a data obtained by multiplying the short-time exposure data, which is one of the plurality of image data, by the gain ratio, and the plurality of image data Among them, an arithmetic unit that adds data not corresponding to the short-time exposure data and outputs it as long-time exposure data, and a combining unit that combines the short-time exposure data and the long-time exposure data at a predetermined combining ratio. It is the solid-state image sensor to comprise, and its control method. As a result, data obtained by multiplying the short-time exposure data by the gain ratio and data not corresponding to the short-time exposure data are added.
  • the first aspect may further include a pixel array unit provided with a predetermined number of lines each having a plurality of pixels arranged in a predetermined direction, and the gain processing unit may include the predetermined number of lines.
  • a first amplifier that increases or decreases a pixel signal from a specific line by a first gain; and a second amplifier that increases or decreases a pixel signal from a line that does not correspond to the specific line among the predetermined number of lines by a second gain.
  • the amplifier may be provided.
  • the image signal of a specific line and the image signals of other lines are increased or decreased by the first and second gains.
  • the analog-to-digital conversion unit includes a first analog-to-digital converter that generates first pixel data by analog-to-digital conversion on a pixel signal increased or decreased by the first amplifier; You may provide the 2nd analog-digital converter which produces
  • the predetermined number of lines are sequentially driven to output the pixel signal, and the second before the output of the predetermined number of lines is completed.
  • a driver may be further included that sequentially drives the predetermined number of lines and outputs the pixel signal when the exposure end time has elapsed. Thereby, before the output of the predetermined number of lines is completed, the lines are sequentially driven.
  • the plurality of image signals include first and second image signals
  • the gain processing unit increases or decreases the first image signal by a first gain.
  • the image signal of 2 is increased / decreased by a second gain
  • the analog-to-digital conversion unit generates first and second image data by analog-to-digital conversion on the first and second image signals
  • the second image data is used as the short-time exposure data
  • the data obtained by multiplying the short-time exposure data by the ratio of the second gain to the first gain and the first image data is added to obtain a long You may output as time exposure data.
  • the plurality of image signals include more than two image signals
  • the combining unit includes a predetermined number of the long-time exposure data that is one less than the number of the plurality of image signals.
  • the short-time exposure data is combined, and the calculation unit multiplies the short-time exposure data by using the second image data as the short-time exposure data and the ratio of the second gain to the first gain.
  • the process of adding the data and the first image data and outputting as the long-time exposure data may be performed for the predetermined number of times. Accordingly, there is an effect that data obtained by multiplying any one of the fixed number of image data and the remaining image data of the fixed number of image data by the gain ratio is added.
  • the calculation unit includes a multiplication unit that multiplies each of the plurality of image data by a predetermined value, data obtained by multiplying the multiplied short-time exposure data by the gain ratio, and the A long-time data operation unit that adds data that does not correspond to the short-time exposure data among the plurality of multiplied image data and outputs the data as the long-time exposure data may be provided. This brings about the effect that each of the plurality of image data is multiplied by a predetermined value.
  • a gain processing unit that increases or decreases each of a plurality of image signals with different gains, and an analog that generates a plurality of image data by analog-to-digital conversion on the increased or decreased image signals.
  • a digital conversion unit adding data obtained by multiplying short-time exposure data, which is one of the plurality of image data, by the gain ratio, and data not corresponding to the short-time exposure data among the plurality of image data
  • a calculation unit that outputs the data as long-time exposure data, a combining unit that combines the short-time exposure data and the long-time exposure data at a predetermined combining ratio, and outputs the result as a combined frame;
  • An imaging apparatus including a digital signal processing unit that performs signal processing. As a result, data obtained by multiplying the short-time exposure data by the gain ratio and data not corresponding to the short-time exposure data are added, and the predetermined digital signal processing is performed on the combined frame.
  • an excellent effect that the exposure time can be extended can be achieved.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • FIG. 1 is a block diagram illustrating a configuration example of the imaging apparatus 100 according to the first embodiment.
  • the imaging apparatus 100 includes an optical unit 110, a solid-state imaging device 200, a DSP (Digital Signal Processing) circuit 120, a display unit 130, an operation unit 140, a bus 150, a power supply unit 160, a recording unit 170, and a frame memory 180.
  • DSP Digital Signal Processing
  • the optical unit 110 condenses incident light from a subject and guides it to the solid-state imaging device 200.
  • the optical unit 110 includes, for example, a plurality of lenses, a diaphragm, a shutter, and the like.
  • the solid-state imaging device 200 captures image data by photoelectrically converting incident light.
  • the solid-state imaging device 200 operates in one of an operation mode of a frame addition mode and a frame non-addition mode.
  • the frame addition mode is a mode in which a plurality of image data (frames) are added
  • the frame non-addition mode is a mode in which no frames are added.
  • the solid-state imaging device 200 adds a plurality of frames, and synthesizes the added data and the frame before the addition to generate a combined frame.
  • the frame non-addition mode the solid-state imaging device 200 generates a composite frame by combining a plurality of frames.
  • the solid-state imaging device 200 when the solid-state imaging device 200 generates image data, the solid-state imaging device 200 increases or decreases the analog pixel signal generated by photoelectric conversion by a set gain.
  • the DSP circuit 120 performs predetermined digital signal processing on the composite frame from the solid-state image sensor 200. For example, various digital signal processing including demosaic processing, white balance processing, filter processing, and the like is executed. In these processes, the DSP circuit 120 holds the synthesized frame in the frame memory 180 as necessary. Then, the DSP circuit 120 outputs the processed composite frame to the display unit 130 and the recording unit 170.
  • the DSP circuit 120 is an example of a digital signal processing unit described in the claims.
  • the display unit 130 displays a composite frame, an operation screen, and the like.
  • the operation unit 140 generates an operation signal in accordance with a user operation.
  • Various set values are set in the solid-state imaging device 200 in accordance with the operation signal.
  • This set value includes an exposure ratio, a gain, an operation mode, a composition rate, and the like.
  • the exposure ratio is the ratio of the exposure times of the two frames to be synthesized.
  • the gain is an increase / decrease rate when increasing / decreasing the pixel signals of the pixels in the solid-state imaging device 200.
  • the user sets all of the exposure ratio, gain, operation mode, and synthesis rate, but some of them may be set by the DSP circuit 120 or the solid-state imaging device 200 itself.
  • the bus 150 is a common path for the solid-state imaging device 200, the DSP circuit 120, the display unit 130, the operation unit 140, the power supply unit 160, the recording unit 170, and the frame memory 180 to exchange data with each other.
  • the power supply unit 160 supplies power to the circuits in the imaging apparatus 100.
  • the recording unit 170 records a frame.
  • the frame memory 180 holds a frame.
  • the optical unit 110, the solid-state imaging device 200, the DSP circuit 120, the display unit 130, the operation unit 140, the bus 150, the power supply unit 160, the recording unit 170, and the frame memory 180 are provided in the same device. It may be provided in a distributed manner.
  • the optical unit 110 and the solid-state imaging element 200 may be arranged in the imaging apparatus, and the DSP circuit 120 and the like may be arranged in the information processing apparatus.
  • FIG. 2 is a diagram illustrating an example of a stacked structure of the solid-state imaging device 200 according to the first embodiment.
  • the solid-state imaging device 200 includes three stacked semiconductor substrates. Among these semiconductor substrates, the one closest to the optical unit 110 is referred to as an upper layer substrate 201, and the one farthest from the optical unit 110 is referred to as a lower layer substrate 203. In addition, a substrate between the upper substrate 201 and the lower substrate 203 among the three substrates is referred to as an intermediate substrate 202.
  • the circuits in the solid-state imaging device 200 are distributed and arranged on the upper layer substrate 201, the middle layer substrate 202, and the lower layer substrate 203, respectively. Note that the circuit in the solid-state imaging device 200 may be arranged on one semiconductor substrate or may be arranged in a distributed manner on two semiconductor substrates.
  • FIG. 3 is a block diagram illustrating a configuration example of the upper layer substrate 201 according to the first embodiment.
  • a pixel region 210 is provided on the upper layer substrate 201.
  • ramp signal generation units 211 and 213, a driver 212, signal processing units 260 and 270, and a pixel array unit 220 are arranged.
  • the ramp signal generators 211 and 213 generate a sawtooth ramp signal by DA (Digital-to-Analog) conversion.
  • the ramp signal generation unit 211 supplies the generated ramp signal to the signal processing unit 260.
  • the ramp signal generation unit 213 supplies the generated ramp signal to the signal processing unit 270.
  • a plurality of pixels are arranged in a two-dimensional grid.
  • a set of pixels arranged in a predetermined direction (such as the horizontal direction) is referred to as a “row”, and a set of pixels arranged in a direction perpendicular to the row is referred to as a “column”.
  • the driver 212 drives the pixel array unit 220 to output an analog pixel signal.
  • the exposure time of each of the two frames to be combined is input to the driver 212 by the lower layer substrate 203.
  • the driver 212 drives the pixel array unit 220 in synchronization with a vertical synchronization signal having a predetermined frequency f VSYNC (60 Hz or the like).
  • f VSYNC 60 Hz or the like.
  • the driver 212 performs the process of exposing all the rows in order for each 1 / f VSYNC cycle T VSYNC to generate two image signals for each cycle T VSYNC .
  • the driver 212 generates a switching signal SW for changing the output destination of the frame and supplies it to the signal processing units 260 and 270.
  • the signal processing units 260 and 270 perform an increase / decrease process and an AD (Analog-to-Digital) conversion process on the pixel signal from the pixel array unit 220.
  • the signal processing unit 260 is connected to a different row from the signal processing unit 270.
  • the digital gain Dg which is a digital signal indicating the gain, is input to the signal processing units 260 and 270 by the lower layer substrate 203.
  • the signal processing unit 260 or the like increases or decreases the pixel signal by an analog gain obtained by DA converting the digital gain Dg, and AD converts the pixel signal to generate pixel data. Then, the signal processing unit 260 or the like supplies a frame made up of pixel data to the middle layer substrate 202 or the lower layer substrate 203 in accordance with the switching signal SW.
  • the driver 212 causes the frame generated first in the cycle T VSYNC to be supplied to the intermediate layer substrate 202 by the switching signal SW, and then causes the generated frame to be supplied to the lower layer substrate 203.
  • FIG. 4 is a plan view illustrating a configuration example of the pixel array unit 220 according to the first embodiment.
  • the pixel array unit 220 is divided into a plurality of pixel blocks 230 each composed of a plurality of pixels (e.g., 8 in 4 rows ⁇ 2 columns).
  • Each pixel generates a color signal of any one of R (Red), G (Green), and B (Blue), and the pixels corresponding to each color are arranged in, for example, a Bayer array.
  • a set of pixel blocks 230 arranged in a predetermined direction is referred to as a “block row”, and a set of pixel blocks 230 arranged in a direction perpendicular to the block row is referred to as a “block column”.
  • the number of block rows is I
  • the number of block columns is J.
  • I and J are integers.
  • each block column two vertical signal lines 228-j (j is an integer from 0 to J-1) and 229-j are wired.
  • ten horizontal signal lines are wired for each block row.
  • horizontal signal lines are omitted.
  • one transmits a selection signal SELi and the remaining eight lines , Transfer signals TRG0i to TRG7i are transmitted.
  • the horizontal signal line is connected to the driver 212 and the pixel block 230 in the wired block row.
  • the vertical signal line 228-j is connected to the odd-numbered block row and the signal processing unit 260, and the vertical signal line 229-j is connected to the even-numbered block row and the signal processing unit 270.
  • FIG. 5 is a circuit diagram showing a configuration example of the pixel block 230 in the first embodiment.
  • the pixel block 230 includes transfer transistors 231, 232, 235, 236, 239, 240, 243, and 244, and photoelectric conversion elements 233, 234, 237, 238, 241, 242, 245, and 246.
  • the pixel block 230 includes a reset transistor 247, a floating diffusion layer 248, an amplification transistor 249, and a selection transistor 250.
  • the photoelectric conversion elements 233, 234, 237, 238, 241, 242, 245, and 246 generate charges by photoelectrically converting incident light. These photoelectric conversion elements are connected to different transfer transistors.
  • the transfer transistors 231, 232, 235, 236, 239, 240, 243 and 244 transfer charges from the corresponding photoelectric conversion elements to the floating diffusion layer 248 in accordance with the transfer signals TRG 0 i to TRG 7 i.
  • the floating diffusion layer 248 generates a voltage corresponding to the amount of accumulated charges by accumulating charges.
  • the reset transistor 247 sweeps out the charge of the floating diffusion layer 248 to the power supply in accordance with the reset signal RSTi, and initializes the charge amount.
  • the amplification transistor 249 amplifies the voltage signal of the floating diffusion layer 248.
  • the selection transistor 250 outputs the signal amplified by the amplification transistor 249 according to the selection signal SELi as a pixel signal to the connected one of the vertical signal lines 228-j and 229-j.
  • the driver 212 selects a row of pixels in order and supplies a reset signal RSTi to the row to start exposure of the row.
  • the driver 212 supplies a selection signal SELi to the selected row.
  • the driver 212 supplies the transfer signal TRG0i to end the exposure.
  • Each exposure of a row starts when a certain amount of time has passed since the previous row. In this way, a control method in which rows are sequentially selected and exposed is called a rolling shutter method.
  • FIG. 6 is a block diagram illustrating a configuration example of the signal processing unit 260 corresponding to the odd-numbered block rows in the first embodiment.
  • the signal processing unit 260 includes a DA conversion unit 261, a plurality of amplifiers 262, a plurality of AD converters 263, and a plurality of switches 266.
  • the amplifier 262, the AD converter 263, and the switch 266 are provided for each block row.
  • J amplifiers 262, AD converters 263, and switches 266 are also provided.
  • the DA converter 261 converts the digital gain Dg into an analog gain Ag.
  • the digital gain Dg is set by the operation unit 140 or the like.
  • the digital gain Dg includes a digital gain Dg L for the longer exposure time of the two frames to be combined and a digital gain Dg S for the shorter exposure time.
  • the analog gain includes an analog gain Ag 1 for the first image signal in the cycle T VSYNC and an analog gain Ag 2 for the second image signal.
  • the correspondence relationship between the digital gain Dg and the analog gain Ag is determined depending on which of the first and second exposure times is set to be shorter. For example, when short exposure is performed on the second sheet, an analog signal obtained by DA conversion of the digital gain Dg L is used as the analog gain Ag 1 , and an analog signal obtained by DA conversion of the digital gain Dg S is an analog gain Ag 2. Used as The DA converter 261 supplies one of the analog gains Ag 1 and Ag 2 to the J amplifiers 262 in accordance with the switching signal SW.
  • the amplifier 262 increases / decreases the pixel signal of the corresponding block row by the supplied analog gain Ag.
  • the amplifier 262 supplies the increased / decreased pixel signal to the corresponding AD converter 263.
  • the amplifier 262 is an example of a gain processing unit described in the claims.
  • the AD converter 263 performs AD conversion on the increased / decreased pixel signal.
  • the AD converter 263 includes a comparator 264 and a counter 265.
  • the comparator 264 compares the pixel signal from the amplifier 262 with the ramp signal REF and supplies the comparison result to the counter 265.
  • the counter 265 counts the count value in synchronization with a predetermined clock signal until the comparison result is inverted.
  • the counter 265 supplies data indicating the count value to the switch 266 as pixel data. Note that the AD converter 263 is an example of an analog-digital converter described in the claims.
  • the switch 266 switches the output destination to either the middle layer substrate 202 or the lower layer substrate 203 according to the switching signal SW and outputs pixel data.
  • FIG. 7 is a block diagram showing a configuration example of the signal processing unit 270 corresponding to the even-numbered block rows in the first embodiment.
  • the configuration of the signal processing unit 270 is the same as that of the signal processing unit 260 except that the connected block rows are different.
  • FIG. 8 is a diagram illustrating a configuration example of the intermediate layer substrate 202 according to the first embodiment.
  • the middle layer substrate 202 is provided with a memory region 280.
  • a frame memory 281 is arranged in this memory area 280.
  • the frame memory 281 holds a frame composed of pixel data output from the upper layer substrate 201.
  • the frame held in the frame memory 281 is read by the lower layer substrate 203.
  • this frame memory 281 for example, a DRAM (Dynamic Random Access Memory) is used.
  • DRAM Dynamic Random Access Memory
  • FIG. 9 is a block diagram showing a configuration example of the lower layer substrate 203 in the first embodiment.
  • the lower layer substrate 203 is provided with a logic region 290.
  • a control unit 291 In the logic area 290, a control unit 291, a frame addition unit 292, and an HDR (High Dynamic Range) synthesis unit 296 are arranged.
  • HDR High Dynamic Range
  • the control unit 291 controls the entire solid-state image sensor 200.
  • Digital gain Dg (Dg L and Dg S ), exposure ratio, and operation mode are input to the control unit 291 as set values via the bus 150.
  • t s : t L is input as an exposure ratio, with t s being the shorter of the exposure times of the two frames to be combined and t L being the longer exposure time.
  • Control unit 291 based on the exposure ratio is set first sheet of exposure time of the two frames to be combined t 1 and the second sheet of the exposure time t 2.
  • Frame in the non-addition mode for example, is set to the value of the exposure time t L in the exposure time t 1, the value of the exposure time t S in the exposure time t 2 is set. Thereby, the exposure time of the first sheet becomes longer.
  • the control unit 291 sets the exposure times t 1 and t 2 so that the sum of the exposure times t 1 and t 2 becomes the exposure time t L.
  • the control unit 291 sets the difference between the exposure times t L and t S as the exposure time t 1 and sets the exposure time t S as the exposure time t 2 .
  • control unit 291 holds the input digital gains Dg L and Dg S , and outputs the held digital gains Dg L and Dg S and the exposure times t 1 and t 2 to the upper layer substrate 201. Further, in the frame addition mode, the control unit 291 supplies the gain ratio Dg L / Dg S to the frame addition unit 292.
  • the frame adder 292 includes a multiplier 293, an adder 294, and a switch 295.
  • the multiplier 293 multiplies each pixel data in the first frame from the upper substrate 201 and the gain ratio Dg L / Dg S.
  • the multiplier 293 supplies the multiplied data to the adder 294.
  • the switch 295 outputs each pixel data in the first frame from the intermediate layer substrate 202 to either the adder 294 or the HDR synthesizing unit 296 according to the operation mode.
  • the switch 295 In the frame non-addition mode, the switch 295 outputs the pixel data to the HDR synthesizing unit 296.
  • the switch 295 In the frame addition mode, the switch 295 outputs the pixel data to the adder 294.
  • the adder 294 adds the pixel data from the switch 295 and the multiplication data from the multiplier 293. Pixel data from the switch 295, or data that has been added by the adder 294 is output as the long-exposure data I L in the HDR combining unit 296. The pixel data in the first frame from the upper substrate 201 is output as the short-time exposure data I S the HDR combining unit 296.
  • the frame addition unit 292 is an example of a calculation unit described in the claims.
  • HDR synthesizing unit 296 is for combining the long-exposure data I L and the short exposure data I S by a predetermined synthesis ratio. For example, assuming that the synthesis ratio is R HDR , the pixel data I HDR in the synthesis frame is calculated by the following formula.
  • the HDR synthesizing unit 296 supplies the generated pixel data I HDR to the DSP circuit 120.
  • the frame addition unit 292 determines whether or not to add according to the operation mode, but the addition may always be performed without dividing the operation mode into the frame addition mode and the frame non-addition mode. In this case, the switch 295 is unnecessary.
  • FIG. 10 is a diagram for explaining the synthesis process of the solid-state imaging device according to the first embodiment.
  • the pixel array unit 220 sequentially generates two image signals.
  • the DA conversion unit 261 converts the digital gain Dg L for a frame with a long exposure time into an analog gain Ag 1 for the first image signal.
  • the amplifier 272 increases or decreases each of the pixel signals in the first image signal by the analog gain Ag 1 , and the amplifier 272 calculates each of the pixel signals in the second image signal. increased or decreased by an analog gain Ag 2.
  • the AD converters 263 and 273 convert each of the increased and decreased pixel signals into pixel data. As a result, two frames are generated. Of these, the first frame is held in the frame memory 281. On the other hand, the pixel data in the second sheet of the frame is output as the short-time exposure data I S.
  • the frame addition unit 292 adds the data obtained by multiplying the short-time exposure data I S by the gain ratio Dg L / Dg S and the pixel data in the first frame to generate the long-time exposure data I L. To do.
  • the calculations performed by the amplifiers 262 and 272 and the frame adder 292 are expressed by the following equations.
  • I L Ag 1 ⁇ I 1 + (Ag 2 ⁇ I 2 ) ⁇ Dg L / Dg S
  • Formula 1 I S Ag 2 ⁇ I 2 ...
  • the DA conversion units 261 and 271 convert the digital gain Dg L into the analog gain Ag 1
  • the DA conversion unit 271 converts the digital gain Dg S into the analog gain Ag 2 . Therefore, Ag 1 in Formula 1 and Formula 2 can be replaced with Dg L , and Ag 2 can be replaced with Dg S.
  • I S Dg S ⁇ I 2 Formula 4
  • Equation 3 by multiplying the gain ratio Dg L / Dg S , the increase / decrease rate of the second image signal (I 2 ) is adjusted to the digital gain Dg L corresponding to the long-time exposure data. be able to.
  • the second image signal (I 2 ) is increased or decreased by the corresponding gain Dg S , so that multiplication of Dg L / Dg S is not necessary.
  • I S 0.9 ⁇ I 2
  • the gain ratio 1.1 / 0.9 is multiplied by the short exposure data (0.9 ⁇ I 2 ) and then added, the rate of increase / decrease with respect to the added signal (I 1 + I 2 ) is The set value can be adjusted to 1.1.
  • the solid-state imaging device 200 although synthesized first frame as short exposure data I S, be synthesized 2nd frame as short exposure data I S instead of the first sheet Good.
  • the DA conversion unit 261 and the like convert the digital gain Dg S to the analog gain Ag 1 and convert the digital gain Dg L to the analog gain Ag 2 .
  • both the memory area 280 and the logic area 290 are provided inside the solid-state image sensor 200, at least a part of these may be provided outside the solid-state image sensor 200.
  • the logic region 290 may be arranged in the DSP circuit 120.
  • the memory area 280 and the logic area 290 are arranged in the solid-state imaging device 200, the data transfer load is reduced and high-speed processing is possible, and a new circuit is added to the DSP circuit 120 in the subsequent stage. It does not have to be. For this reason, it is preferable to arrange the memory area 280 and the logic area 290 in the solid-state imaging device 200.
  • FIG. 11 is a diagram for explaining pixel drive timing in the comparative example.
  • the exposure time of each frame is set in the following period T VSYNC.
  • the vertical axis indicates a row (in other words, a line), and the horizontal axis indicates time.
  • the hatched portion indicates the first frame, and the white portion indicates the second frame.
  • 11a is a diagram illustrating a case where reading of the second sheet is started at a timing ts2 when a certain time has elapsed from the timing te1 at which reading of all the rows of the first sheet has been completed. Further, b in the figure shows a case where the exposure time of the first sheet is further increased and the reading of the second sheet is started at the timing te1 when the reading of all the lines of the first sheet is completed.
  • two rows cannot be read out at the same time. Therefore, unless the exposure time for the second sheet is shortened, the exposure time for the first sheet cannot be made longer than b in FIG.
  • the second sheet of exposure time and t 2 when the time required for reading of all the rows and t read, the time between the first sheet of exposed end and the second sheet of the exposure start time, t read and it is necessary to set more than the difference dt of t 2. That is, the second exposure cannot be started simultaneously with the end of the first exposure.
  • the solid-state imaging device 200 two AD converters 263 and AD converters 273 are arranged for each column. Therefore, the solid-state imaging device 200 can simultaneously read and perform AD conversion on two rows. it can.
  • FIG. 12 is a diagram illustrating an example of pixel drive timing in the first embodiment.
  • the vertical axis indicates a row (line), and the horizontal axis indicates time.
  • the hatched portion indicates the first frame, and the white portion indicates the second frame.
  • the reading of the second frame can be started at the timing ts2 during the reading of the first image.
  • the driver 212 outputs the first frame to the frame memory 281 and outputs the second frame to the logic area 290 by the switching signal SW.
  • the first frame row after the L1 row is read by the signal processing unit 260 if it is in the odd block row, and is read by the signal processing unit 270 if it is in the even block row. The same applies to the second frame. Since the block rows are four rows, the driver 212 changes the output destinations of the signal processing unit 260 and the signal processing unit 270 by the switching signal SW every time the four rows are read.
  • the solid-state imaging device 200 can start reading the second image without waiting for the completion of reading all the first row. For this reason, it is not necessary to provide dt between the end of exposure of the first sheet and the start of exposure of the second sheet, and the exposure time of the first sheet can be made longer than that of the comparative example.
  • the solid-state imaging device 200 reads two rows at the same time by the signal processing units 260 and 270. However, even if three or more signal processing units connected to different rows are provided and three or more rows are read at the same time. Good.
  • FIG. 13 is a diagram showing the drive timing for each mode when the exposure ratio in the first embodiment is set to 1: 8.
  • the vertical axis indicates rows, and the horizontal axis indicates time.
  • the hatched portion indicates the first frame, and the white portion indicates the second frame.
  • a shows the drive timing in the frame addition mode
  • b in the figure shows the drive timing in the frame non-addition mode.
  • the frame addition mode since the first frame and the second frame of a frame is added, a second sheet of exposure time t 2, the first sheet of the total exposure time t 1 and the exposure time t 2 (t The exposure times t 1 and t 2 are set so that the ratio to 1 + t 2 ) is 1: 8.
  • T VSYNC is 30 milliseconds (ms)
  • the exposure time t 2 is set to 3.75 milliseconds (ms) and the total (t 1 + t 2 ) is set to 30 milliseconds (ms)
  • the exposure ratio is 1: 8.
  • the exposure time t 1 is set to 26.25 milliseconds (ms), which is the difference between them.
  • the exposure times t 1 and t are set so that the ratio of the exposure time t 2 of the second sheet and the exposure time t 1 of the first sheet is 1: 8. 2 is set. For example, if the exposure time t 2 is set to 3.33 milliseconds (ms) and the exposure time t 1 is set to 26.67 milliseconds (ms), the exposure ratio becomes 1: 8.
  • the exposure time of long exposure data can be set longer than in the frame non-addition mode.
  • FIG. 14 is a diagram showing the drive timing for each mode when the exposure ratio in the first embodiment is set to 1: 2.
  • the vertical axis indicates rows, and the horizontal axis indicates time.
  • the hatched portion indicates the first frame, and the white portion indicates the second frame.
  • a shows the drive timing in the frame addition mode
  • b in the figure shows the drive timing in the frame non-addition mode.
  • the exposure time is set so that the ratio of the exposure time t 2 to the total (t 1 + t 2 ) is 1: 2.
  • t 1 and t 2 are set.
  • the cycle T VSYNC is 30 milliseconds (ms)
  • the exposure time t 2 is set to 15 milliseconds (ms) and the total (t 1 + t 2 ) is set to 30 milliseconds (ms)
  • the exposure ratio Becomes 1: 2.
  • the exposure time t 1 is set to 15 milliseconds (ms), which is the difference between them.
  • the exposure times t 1 and t are set so that the ratio of the exposure time t 2 of the second sheet and the exposure time t 1 of the first sheet is 1: 2.
  • 2 is set.
  • the exposure time t 2 to 10 milliseconds (ms)
  • the exposure ratio is 1: 2.
  • FIG. 15 is a diagram showing the drive timing for each mode when the exposure ratio in the first embodiment is set to 1: 1.
  • the vertical axis indicates rows, and the horizontal axis indicates time.
  • the hatched portion indicates the first frame, and the white portion indicates the second frame.
  • a shows the drive timing in the frame addition mode
  • b in the figure shows the drive timing in the frame non-addition mode.
  • the exposure time is set so that the ratio of the exposure time t 2 to the total (t 1 + t 2 ) is 1: 1.
  • t 1 and t 2 are set.
  • the cycle T VSYNC is 30 milliseconds (ms)
  • the exposure time t 2 is set to 30 milliseconds (ms) and the total (t 1 + t 2 ) is set to 30 milliseconds (ms)
  • the exposure ratio Becomes 1: 1.
  • the exposure times t 1 and t are set so that the ratio of the exposure time t 2 of the second sheet and the exposure time t 1 of the first sheet is 1: 1. 2 is set.
  • the exposure time t 2 is set to 15 milliseconds (ms)
  • the exposure ratio is 1: 1.
  • the exposure time (t 1 + t 2 ) of the long-time exposure data can be set to the cycle T VSYNC regardless of the value of the exposure ratio. .
  • FIG. 16 is a flowchart illustrating an example of the operation of the solid-state imaging device according to the first embodiment. This operation is started, for example, when the frame addition mode is set.
  • the solid-state imaging device 200 captures the first image (step S901), and increases or decreases the image signal by analog gain (step S902). Then, the solid-state imaging device 200 performs AD conversion of the increased / decreased image signal into image data (frame) and holds it in the frame memory 281 (step S903).
  • the solid-state imaging device 200 captures the second image (step S904), and increases or decreases the image signal by analog gain (step S905). Then, the solid-state imaging device 200 AD-converts the image signal after the increase / decrease into a frame (step S906), and multiplies the frame by a gain ratio (step S907). The solid-state imaging device 200 adds the multiplication result to the first frame to generate long exposure data (step S908), and the second frame (short exposure data) and the addition result (long exposure). Data) is synthesized (step S909).
  • the solid-state imaging device 200 determines whether or not the end of imaging has been instructed by an operation for ending imaging or the like (step S910).
  • step S910: No the solid-state imaging device 200 repeatedly executes step S901 and subsequent steps.
  • step S910: Yes the solid-state imaging device 200 ends the operation for imaging.
  • the exposure time can be lengthened, and the increase / decrease rate for the second sheet can be adjusted to the set Dg L.
  • the image signal is amplified with the analog gain before AD conversion.
  • the value that can be set for the analog gain is limited within a certain range depending on the specifications of the amplifier. For this reason, gain by analog gain may be insufficient. In this case, it may be further amplified after AD conversion.
  • the solid-state imaging device 200 according to the modification of the first embodiment is different from the first embodiment in that it is further amplified after AD conversion.
  • FIG. 17 is a diagram illustrating a configuration example of the frame addition unit 292 according to the modification of the first embodiment.
  • the frame addition unit 292 in the modification of the first embodiment further includes multipliers 297 and 298.
  • the multiplier 297 is for multiplying a gain ratio Dg L / Dg 1 to the first frame from the middle layer substrate 202.
  • the multiplier 297 supplies the multiplication result to the switch 295.
  • the multiplier 298 multiplies the second frame from the upper substrate 201 by a gain ratio Dg S / Dg 2 .
  • the multiplier 298 supplies the multiplication result to the multiplier 293 and the HDR synthesizing unit 296.
  • the multiplier 297 multiplies the gain ratio between Dg 1 and Dg L corresponding to the analog gain Ag 1 to compensate for the lack of gain.
  • the multiplier 298 multiplies the gain ratio between Dg 2 and Dg S corresponding to the analog gain Ag 2 to compensate for the lack of gain.
  • the multipliers 297 and 298 can also correct the gain when the user sets the gain by mistake or when the gain for the long exposure data is set in the digital gain Dg S.
  • the analog gain is insufficient because the multiplier 297 and 298 further increase / decrease the frame after the AD conversion. But we can make up for that shortage.
  • Second Embodiment> In the first embodiment described above, two frames are combined to generate a combined frame. However, if the number of combined frames is two, there is a possibility that gradation cannot be expressed sufficiently. Generally, as the number of images to be combined increases, a natural combined frame with smooth gradation can be generated.
  • the solid-state imaging device 200 according to the second embodiment is different from the first embodiment in that three or more frames are combined.
  • FIG. 18 is a diagram for explaining a synthesis process of the solid-state imaging device 200 according to the second embodiment.
  • the solid-state imaging device 200 according to the second embodiment synthesizes three or more frames.
  • the logic area 290 is provided with one frame addition unit 292 that is one less than the number of combined images. For example, when combining five frames, four frame adders 292 are provided.
  • the memory area 280 is provided with the same number of frame memories 281 as the frame adder 292.
  • the pixel data of the last frame is short-time exposure data IS
  • the remaining N ⁇ 1 pieces of pixel data are long-time exposure data IL 1 to IL (N ⁇ 1) .
  • the digital gain corresponding to the short-time exposure data I S is Dg S
  • the digital gain corresponding to the long-time exposure data I L1 to IL N ⁇ 1 is Dg L1 to Dg L (N ⁇ 1) .
  • the pixel signals of the first to (N ⁇ 1) th images are increased or decreased by analog gains Ag 1 to Ag N ⁇ 1 obtained by converting the digital gains Dg L1 to Dg L (N ⁇ 1)
  • the pixel signals of the N-th image is increased or decreased by the analog gain Ag N obtained by converting the digital gain Dg S.
  • the N-1th frame from the first frame is held in N ⁇ 1 frame memories 281.
  • the nth to Nth frames are input to the frame adder 292 corresponding to the nth (n is an integer from 1 to N ⁇ 1) th frame.
  • n is an integer from 1 to N ⁇ 1) th frame.
  • a total of N frames from the first to the Nth frame are input to the frame addition unit 292 corresponding to the first image, and the frame addition unit 292 corresponding to the second image starts from the second image.
  • a total of N-1 frames up to the Nth frame are input.
  • the pixel ratio in the kth frame (k is an integer from n + 1 to N) is multiplied by the gain ratio Dg Ln / Dg k .
  • the frame addition unit 292 corresponding to the second frame multiplies the pixel data in the third frame by the gain ratio Dg L2 / Dg 3 .
  • each of the multiplication results and the nth frame are added to generate long-time exposure data ILn .
  • the frame addition unit 292 corresponding to the second frame adds each of the multiplication results for the third to Nth frames and the second frame.
  • FIG. 19 is a diagram illustrating an example of pixel drive timing in the second embodiment.
  • N frames are generated in order within the cycle T VSYNC . Then, by adding from the first sheet to the Nth sheet, long-time exposure data of the exposure time t L1 is generated. Further, the addition of the second sheet to N th, long exposure data of the exposure time t L2 is generated.
  • long-time exposure data of the exposure time tLn is generated by addition from the nth sheet to the Nth sheet. Then, N-th frame, as short exposure data exposure time t N, is combined with each of the long exposure data.
  • FIG. 20 is a block diagram illustrating an example of a schematic configuration of a patient in-vivo information acquisition system using a capsule endoscope to which the technology according to the present disclosure (present technology) can be applied.
  • the in-vivo information acquisition system 10001 includes a capsule endoscope 10100 and an external control device 10200.
  • the capsule endoscope 10100 is swallowed by the patient at the time of examination.
  • the capsule endoscope 10100 has an imaging function and a wireless communication function, and moves inside the organs such as the stomach and intestine by peristaltic motion etc. until it is spontaneously discharged from the patient.
  • Images (hereinafter also referred to as in-vivo images) are sequentially captured at a predetermined interval, and information about the in-vivo images is sequentially wirelessly transmitted to the external control device 10200 outside the body.
  • the external control device 10200 comprehensively controls the operation of the in-vivo information acquisition system 10001. Also, the external control device 10200 receives information about the in-vivo image transmitted from the capsule endoscope 10100, and based on the received information about the in-vivo image, displays the in-vivo image on the display device (not shown). The image data for displaying is generated.
  • an in-vivo image obtained by imaging the inside of the patient's body can be obtained from time to time until the capsule endoscope 10100 is swallowed and discharged.
  • the capsule endoscope 10100 includes a capsule-type housing 10101.
  • a light source unit 10111 In the housing 10101, a light source unit 10111, an imaging unit 10112, an image processing unit 10113, a wireless communication unit 10114, a power feeding unit 10115, and a power supply unit 10116 and a control unit 10117 are accommodated.
  • the light source unit 10111 includes a light source such as an LED (light emitting diode), and irradiates the imaging field of the imaging unit 10112 with light.
  • a light source such as an LED (light emitting diode)
  • the imaging unit 10112 includes an imaging device and an optical system including a plurality of lenses provided in the preceding stage of the imaging device. Reflected light (hereinafter referred to as observation light) of light irradiated on the body tissue to be observed is collected by the optical system and enters the image sensor. In the imaging unit 10112, in the imaging element, the observation light incident thereon is photoelectrically converted, and an image signal corresponding to the observation light is generated. The image signal generated by the imaging unit 10112 is provided to the image processing unit 10113.
  • the image processing unit 10113 is configured by a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), and performs various signal processing on the image signal generated by the imaging unit 10112.
  • the image processing unit 10113 provides the image signal subjected to signal processing to the wireless communication unit 10114 as RAW data.
  • the wireless communication unit 10114 performs predetermined processing such as modulation processing on the image signal that has been subjected to signal processing by the image processing unit 10113, and transmits the image signal to the external control device 10200 via the antenna 10114A. Further, the wireless communication unit 10114 receives a control signal related to drive control of the capsule endoscope 10100 from the external control device 10200 via the antenna 10114A. The radio communication unit 10114 provides the control signal received from the external control device 10200 to the control unit 10117.
  • the power feeding unit 10115 includes a power receiving antenna coil, a power regeneration circuit that regenerates power from a current generated in the antenna coil, a booster circuit, and the like. In the power feeding unit 10115, electric power is generated using a so-called non-contact charging principle.
  • the power supply unit 10116 is composed of a secondary battery, and stores the electric power generated by the power supply unit 10115.
  • FIG. 20 in order to avoid complication of the drawing, illustration of an arrow or the like indicating a power supply destination from the power supply unit 10116 is omitted, but the power stored in the power supply unit 10116 is stored in the light source unit 10111. , Supplied to the imaging unit 10112, the image processing unit 10113, the wireless communication unit 10114, and the control unit 10117, and can be used for driving them.
  • the control unit 10117 includes a processor such as a CPU, and a control signal transmitted from the external control device 10200 to drive the light source unit 10111, the imaging unit 10112, the image processing unit 10113, the wireless communication unit 10114, and the power feeding unit 10115. Control accordingly.
  • a processor such as a CPU
  • the external control device 10200 is configured by a processor such as a CPU or GPU, or a microcomputer or a control board in which a processor and a storage element such as a memory are mixedly mounted.
  • the external control device 10200 controls the operation of the capsule endoscope 10100 by transmitting a control signal to the control unit 10117 of the capsule endoscope 10100 via the antenna 10200A.
  • the capsule endoscope 10100 for example, the light irradiation condition on the observation target in the light source unit 10111 can be changed by a control signal from the external control device 10200.
  • an imaging condition for example, a frame rate, an exposure value, etc. in the imaging unit 10112
  • the external control device 10200 performs various image processing on the image signal transmitted from the capsule endoscope 10100, and generates image data for displaying the captured in-vivo image on the display device.
  • image processing for example, development processing (demosaic processing), image quality enhancement processing (band enhancement processing, super-resolution processing, NR (Noise reduction) processing and / or camera shake correction processing, etc.), and / or enlargement processing ( Various signal processing such as electronic zoom processing can be performed.
  • the external control device 10200 controls the drive of the display device to display an in-vivo image captured based on the generated image data.
  • the external control device 10200 may cause the generated image data to be recorded on a recording device (not shown) or may be printed out on a printing device (not shown).
  • the technology according to the present disclosure can be applied to the imaging unit 10112 among the configurations described above.
  • the exposure time can be extended, so that the image can be brightened and the inspection accuracy can be improved.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device that is mounted on any type of mobile body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 21 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are illustrated as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of devices related to the vehicle drive system according to various programs.
  • the drive system control unit 12010 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the body control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 12020 can be input with radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the outside information detection unit 12030 detects information outside the vehicle on which the vehicle control system 12000 is mounted.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal corresponding to the amount of received light.
  • the imaging unit 12031 can output an electrical signal as an image, or can output it as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or invisible light such as infrared rays.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of driver fatigue or concentration based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generator, the steering mechanism or the braking device based on the information inside and outside the vehicle acquired by the vehicle outside information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, tracking based on inter-vehicle distance, vehicle speed maintenance traveling, vehicle collision warning, or vehicle lane departure warning. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generation device, the steering mechanism, the braking device, etc. based on information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare, such as switching from a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 22 is a diagram illustrating an example of an installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper portion of a windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirror mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 22 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of the imaging unit 12104 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, an overhead image when the vehicle 12100 is viewed from above is obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change of this distance (relative speed with respect to the vehicle 12100)
  • the closest three-dimensional object on the traveling path of the vehicle 12100 can be extracted as a preceding vehicle that travels at a predetermined speed (for example, 0 km / h or more) in substantially the same direction as the vehicle 12100. it can.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like.
  • cooperative control for the purpose of autonomous driving or the like autonomously traveling without depending on the operation of the driver can be performed.
  • the microcomputer 12051 converts the three-dimensional object data related to the three-dimensional object to other three-dimensional objects such as two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, and power poles based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 as obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is connected via the audio speaker 12061 or the display unit 12062.
  • driving assistance for collision avoidance can be performed by outputting an alarm to the driver and performing forced deceleration or avoidance steering via the drive system control unit 12010.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the captured images of the imaging units 12101 to 12104. Such pedestrian recognition is, for example, whether or not the person is a pedestrian by performing a pattern matching process on a sequence of feature points indicating the outline of an object and a procedure for extracting feature points in the captured images of the imaging units 12101 to 12104 as infrared cameras. It is carried out by the procedure for determining.
  • the audio image output unit 12052 displays a rectangular contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to be superimposed. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the technology according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above.
  • the exposure time can be lengthened, so that a captured image that is bright and easy to view can be obtained.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
  • this technique can also take the following structures.
  • a gain processing unit that increases or decreases each of the plurality of image signals with different gains;
  • An analog-to-digital converter that generates a plurality of image data by analog-to-digital conversion with respect to the plurality of increased and decreased image signals;
  • Data obtained by multiplying the short-time exposure data, which is one of the plurality of image data, by the gain ratio, and data that does not correspond to the short-time exposure data among the plurality of image data are added as long-time exposure data.
  • a solid-state imaging device comprising: a combining unit that combines the short-time exposure data and the long-time exposure data at a predetermined combining ratio.
  • the gain processing unit A first amplifier that increases or decreases a pixel signal from a specific line among the predetermined number of lines by a first gain;
  • the solid-state imaging device further comprising: a second amplifier that increases or decreases a pixel signal from a line that does not correspond to the specific line among the predetermined number of lines by a second gain.
  • the analog-digital converter is A first analog-to-digital converter that generates first pixel data by analog-to-digital conversion on the pixel signal increased or decreased by the first amplifier;
  • the solid-state imaging device according to (2) further comprising: a second analog-digital converter that generates first pixel data by analog-digital conversion with respect to a pixel signal increased or decreased by the second amplifier.
  • the predetermined number of lines are sequentially driven to output the pixel signal, and when the second exposure end time before the completion of the output of the predetermined number of lines elapses.
  • the solid-state imaging device according to (2) or (3) further including a driver that sequentially drives the predetermined number of lines to output the pixel signal.
  • the plurality of image signals include first and second image signals
  • the gain processing unit increases or decreases the first image signal by a first gain, increases or decreases the second image signal by a second gain
  • the analog-to-digital converter generates first and second image data by analog-to-digital conversion with respect to the first and second image signals
  • the arithmetic unit uses the second image data as the short-time exposure data, the data obtained by multiplying the short-time exposure data by the ratio of the second gain to the first gain, and the first image data.
  • the solid-state imaging device according to any one of (1) to (4), wherein the addition is performed and output as the long-time exposure data.
  • the plurality of image signals include more than two image signals
  • the combining unit combines a predetermined number of the long-time exposure data and the short-time exposure data, one less than the number of the plurality of image signals;
  • the calculation unit adds the predetermined number by adding one of the predetermined number of the image data not exceeding the predetermined number and data obtained by multiplying the remaining image data of the predetermined number of image data by the gain ratio.
  • the calculation unit includes: A multiplier for multiplying each of the plurality of image data by a predetermined value; Data obtained by multiplying the multiplied short-time exposure data by the gain ratio and data not corresponding to the short-time exposure data among the plurality of multiplied image data are added and output as the long-time exposure data.
  • the solid-state imaging device according to any one of (1) to (6), further including a long-time data calculation unit.
  • a gain processing unit that increases or decreases each of the plurality of image signals with different gains;
  • An analog-to-digital converter that generates a plurality of image data by analog-to-digital conversion with respect to the plurality of increased and decreased image signals;
  • Data obtained by multiplying the short-time exposure data, which is one of the plurality of image data, by the gain ratio, and data that does not correspond to the short-time exposure data among the plurality of image data are added as long-time exposure data.
  • a combining unit that combines the short-time exposure data and the long-time exposure data at a predetermined combining ratio and outputs the combined frame;
  • An imaging apparatus comprising: a digital signal processing unit that executes predetermined digital signal processing on the synthesized frame.
  • a control method for a solid-state imaging device comprising: a combining procedure for combining the short-time exposure data and the long-time exposure data at a predetermined combining ratio.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

複数の画像を合成する撮像装置において、露光時間を長くすることを目的とする。　ゲイン処理部は、複数の画像信号のそれぞれを互いに異なるゲインにより増減する。アナログデジタル変換部は、増減された複数の画像信号に対するアナログデジタル変換により複数の画像データを生成する。演算部は、複数の画像データのいずれかである短時間露光データに前記ゲインの比率を乗算したデータと複数の画像データのうち短時間露光データに該当しないデータとを加算して長時間露光データとして出力する。合成部は、短時間露光データと長時間露光データとを所定の合成比率により合成する。

Description

固体撮像素子、撮像装置、および、固体撮像素子の制御方法
　本技術は、固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。詳しくは、複数の画像データを合成する固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。
　従来より、撮像装置においては、通常より広いダイナミックレンジを実現するために、ＨＤＲ（High Dynamic Range）合成と呼ばれる画像合成技術が用いられている。例えば、露光時間の比較的長い露光により画像を撮像した後に、露光時間の比較的短い露光により画像を撮像し、それらの画像を合成する撮像装置が提案されている（例えば、特許文献１参照。）。
特開２００９－８８９２７号公報
　上述の従来技術では、撮像時の周辺光量が少なく、絞り値を調整しても十分な輝度の合成画像が得られない場合には露光時間を長くする必要がある。しかしながら、上述の従来技術では、一定の撮像間隔で複数の合成画像を撮像する際に、その撮像間隔以上の露光時間を設定することはできない。また、合成画像を１枚のみ撮像する際であっても、露光時間を長くし過ぎると、被写体が動いた際にブレが生じて画質が低下するおそれがある。このように、上述の撮像装置では、露光時間を長くすることが困難であるという問題がある。
　本技術はこのような状況に鑑みて生み出されたものであり、複数の画像を合成する撮像装置において、露光時間を長くすることを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、複数の画像信号のそれぞれを互いに異なるゲインにより増減するゲイン処理部と、上記増減された複数の画像信号に対するアナログデジタル変換により複数の画像データを生成するアナログデジタル変換部と、上記複数の画像データのいずれかである短時間露光データに上記ゲインの比率を乗算したデータと上記複数の画像データのうち上記短時間露光データに該当しないデータとを加算して長時間露光データとして出力する演算部と、上記短時間露光データと上記長時間露光データとを所定の合成比率により合成する合成部とを具備する固体撮像素子、および、その制御方法である。これにより、短時間露光データにゲインの比率を乗算したデータと短時間露光データに該当しないデータとが加算されるという作用をもたらす。
　また、この第１の側面において、所定方向に複数の画素がそれぞれに配列された所定数のラインが設けられた画素アレイ部をさらに具備し、上記ゲイン処理部は、上記所定数のラインのうち特定のラインからの画素信号を第１のゲインにより増減する第１のアンプと、上記所定数のラインのうち上記特定のラインに該当しないラインからの画素信号を第２のゲインにより増減する第２のアンプとを備えてもよい。これにより、特定のラインの画像信号と、それ以外のラインの画像信号とが第１および第２のゲインにより増減されるという作用をもたらす。
　また、この第１の側面において、上記アナログデジタル変換部は、上記第１のアンプにより増減された画素信号に対するアナログデジタル変換により第１の画素データを生成する第１のアナログデジタル変換器と、上記第２のアンプにより増減された画素信号に対するアナログデジタル変換により第２の画素データを生成する第２のアナログデジタル変換器とを備えてもよい。これにより、第１および第２の画素データが生成されるという作用をもたらす。
　また、この第１の側面において、第１の露光終了時刻が経過すると上記所定数のラインを順に駆動して上記画素信号を出力させ、上記所定数のラインの出力が完了する前の第２の露光終了時刻が経過すると上記所定数のラインを順に駆動して上記画素信号を出力させるドライバをさらに具備してもよい。これにより、上記所定数のラインの出力が完了する前に、それらのラインが順に駆動するという作用をもたらす。
　また、この第１の側面において、上記複数の画像信号は、第１および第２の画像信号を含み、上記ゲイン処理部は、上記第１の画像信号を第１のゲインにより増減し、上記第２の画像信号を第２のゲインにより増減し、上記アナログデジタル変換部は、上記第１および第２の画像信号に対するアナログデジタル変換により第１および第２の画像データを生成し、上記演算部は、上記第２の画像データを上記短時間露光データとして上記第１のゲインに対する上記第２のゲインの比率を上記短時間露光データに乗算したデータと上記第１の画像データとを加算して長時間露光データとして出力してもよい。これにより、第１のゲインに対する第２のゲインの比率を短時間露光データに乗算したデータと第１の画像データとが加算されるという作用をもたらす。
　また、この第１の側面において、上記複数の画像信号は２枚より多くの画像信号を含み、上記合成部は、上記複数の画像信号の枚数より１つ少ない所定数の上記長時間露光データと上記短時間露光データとを合成し、上記演算部は、上記第２の画像データを上記短時間露光データとして上記第１のゲインに対する上記第２のゲインの比率を上記短時間露光データに乗算したデータと上記第１の画像データとを加算して上記長時間露光データとして出力する処理を上記所定数の回数に亘って行ってもよい。これにより、一定数の上記画像データのいずれかと一定数の画像データの残りの画像データのそれぞれに上記ゲインの比率を乗算したデータとが加算されるという作用をもたらす。
　また、この第１の側面において、上記演算部は、上記複数の画像データのそれぞれに所定値を乗算する乗算部と、上記乗算された短時間露光データに上記ゲインの比率を乗算したデータと上記乗算された複数の画像データのうち上記短時間露光データに該当しないデータとを加算して上記長時間露光データとして出力する長時間データ演算部とを備えてもよい。これにより、複数の画像データのそれぞれに所定値が乗算されるという作用をもたらす。
　また、本技術の第２の側面は、複数の画像信号のそれぞれを互いに異なるゲインにより増減するゲイン処理部と、上記増減された複数の画像信号に対するアナログデジタル変換により複数の画像データを生成するアナログデジタル変換部と、上記複数の画像データのいずれかである短時間露光データに上記ゲインの比率を乗算したデータと上記複数の画像データのうち上記短時間露光データに該当しないデータとを加算して長時間露光データとして出力する演算部と、上記短時間露光データと上記長時間露光データとを所定の合成比率により合成して合成フレームとして出力する合成部と、上記合成フレームに対して所定のデジタル信号処理を実行するデジタル信号処理部とを具備する撮像装置である。これにより、短時間露光データにゲインの比率を乗算したデータと短時間露光データに該当しないデータとが加算され、合成フレームに対して所定のデジタル信号処理が実行されるいう作用をもたらす。
　本技術によれば、複数の画像を合成する撮像装置において、露光時間を長くすることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の積層構造の一例を示す図である。 本技術の第１の実施の形態における上層基板の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素アレイ部の一構成例を示す平面図である。 本技術の第１の実施の形態における画素ブロックの一構成例を示す回路図である。 本技術の第１の実施の形態における奇数ブロック行に対応する信号処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態における偶数ブロック行に対応する信号処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態における中層基板の一構成例を示す図である。 本技術の第１の実施の形態における下層基板の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の合成処理を説明するための図である。 比較例における画素の駆動タイミングについて説明するための図である。 本技術の第１の実施の形態における画素の駆動タイミングの一例を示す図である。 本技術の第１の実施の形態における露光比を１：８に設定した場合のモードごとの駆動タイミングを示す図である。 本技術の第１の実施の形態における露光比を１：２に設定した場合のモードごとの駆動タイミングを示す図である。 本技術の第１の実施の形態における露光比を１：１に設定した場合のモードごとの駆動タイミングを示す図である。 本技術の第１の実施の形態における固体撮像素子の動作の一例を示すフローチャートである。 本技術の第１の実施の形態の変形例におけるフレーム加算部の一構成例を示す図である。 本技術の第２の実施の形態における固体撮像素子の合成処理を説明するための図である。 本技術の第２の実施の形態における画素の駆動タイミングの一例を示す図である。 体内情報取得システムの概略的な構成の一例を示すブロック図である。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（ゲイン比を乗算してから２枚を加算する例）
　２．第２の実施の形態（ゲイン比を乗算してから３枚以上を加算する例）
　＜１．第１の実施の形態＞
　［撮像装置の構成例］
　図１は、第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、光学部１１０、固体撮像素子２００、ＤＳＰ（Digital Signal Processing）回路１２０、表示部１３０、操作部１４０、バス１５０、電源部１６０、記録部１７０およびフレームメモリ１８０を備える。
　光学部１１０は、被写体からの入射光を集光して固体撮像素子２００に導くものである。光学部１１０は、例えば、複数のレンズ、絞り、および、シャッターなどにより構成される。
　固体撮像素子２００は、入射光を光電変換して画像データを撮像するものである。この固体撮像素子２００は、フレーム加算モードおよびフレーム非加算モードのいずれかの動作モードで動作する。ここで、フレーム加算モードは、複数の画像データ（フレーム）を加算するモードであり、フレーム非加算モードは、フレームを加算しないモードである。フレーム加算モードにおいて固体撮像素子２００は、複数のフレームを加算し、その加算したデータと、加算前のフレームとを合成して合成フレームを生成する。一方、フレーム非加算モードにおいて固体撮像素子２００は、複数のフレームを合成して合成フレームを生成する。
　また、固体撮像素子２００は、画像データを生成する際に、光電変換により生成したアナログの画素信号を、設定されたゲインにより増減する。
　ＤＳＰ回路１２０は、固体撮像素子２００からの合成フレームに対して所定のデジタル信号処理を実行するものである。例えば、デモザイク処理、ホワイトバランス処理やフィルタ処理などを含む様々なデジタル信号処理が実行される。これらの処理において、ＤＳＰ回路１２０は、必要に応じて合成フレームをフレームメモリ１８０に保持させる。そして、ＤＳＰ回路１２０は、処理した合成フレームを表示部１３０や記録部１７０に出力する。なお、ＤＳＰ回路１２０は、特許請求の範囲に記載のデジタル信号処理部の一例である。
　表示部１３０は、合成フレームや操作画面などを表示するものである。操作部１４０は、ユーザの操作に従って操作信号を生成するものである。この操作信号に従って、様々な設定値が固体撮像素子２００に設定される。この設定値は、露光比、ゲイン、動作モード、および、合成率などを含む。ここで、露光比は、合成される２つのフレームのそれぞれの露光時間の比率である。また、ゲインは、固体撮像素子２００内の画素の画素信号を増減する際の増減率である。
　なお、露光比、ゲイン、動作モード、および、合成率の全てをユーザが設定しているが、それらの一部をＤＳＰ回路１２０や固体撮像素子２００自身が設定してもよい。
　バス１５０は、固体撮像素子２００、ＤＳＰ回路１２０、表示部１３０、操作部１４０、電源部１６０、記録部１７０およびフレームメモリ１８０が互いにデータをやり取りするための共通の経路である。
　電源部１６０は、撮像装置１００内の回路に電源を供給するものである。記録部１７０は、フレームを記録するものである。フレームメモリ１８０は、フレームを保持するものである。
　なお、光学部１１０、固体撮像素子２００、ＤＳＰ回路１２０、表示部１３０、操作部１４０、バス１５０、電源部１６０、記録部１７０およびフレームメモリ１８０を同一の装置に設けているが、これらを複数の装置に分散して設けてもよい。例えば、光学部１１０や固体撮像素子２００を撮像装置に配置し、ＤＳＰ回路１２０などを情報処理装置に配置してもよい。
　図２は、第１の実施の形態における固体撮像素子２００の積層構造の一例を示す図である。この固体撮像素子２００は、積層された３枚の半導体基板を備える。これらの半導体基板のうち、光学部１１０に最も近いものを上層基板２０１とし、光学部１１０から最も遠いものを下層基板２０３とする。また、３枚のうち上層基板２０１と下層基板２０３との間の基板を中層基板２０２とする。
　固体撮像素子２００内の回路は、上層基板２０１、中層基板２０２および下層基板２０３のそれぞれに分散して配置される。なお、固体撮像素子２００内の回路を１枚の半導体基板に配置してもよいし、２枚の半導体基板に分散して配置してもよい。
　［上層基板の構成例］
　図３は、第１の実施の形態における上層基板２０１の一構成例を示すブロック図である。上層基板２０１には、画素領域２１０が設けられる。この画素領域２１０には、ランプ信号生成部２１１および２１３と、ドライバ２１２と、信号処理部２６０および２７０と、画素アレイ部２２０とが配置される。
　ランプ信号生成部２１１および２１３は、ＤＡ（Digital to Analog）変換により、のこぎり刃状のランプ信号を生成するものである。ランプ信号生成部２１１は、生成したランプ信号を信号処理部２６０に供給する。一方、ランプ信号生成部２１３は、生成したランプ信号を信号処理部２７０に供給する。
　画素アレイ部２２０には、二次元格子状に複数の画素が配列される。以下、所定方向（水平方向など）に配列された画素の集合を「行」と称し、行に垂直な方向に配列された画素の集合を「列」と称する。
　ドライバ２１２は、画素アレイ部２２０を駆動してアナログの画素信号を出力させるものである。このドライバ２１２には、合成する２つのフレームのそれぞれの露光時間が下層基板２０３により入力される。また、ドライバ２１２は、所定の周波数ｆＶＳＹＮＣ（６０ヘルツなど）の垂直同期信号に同期して、画素アレイ部２２０を駆動する。例えば、ドライバ２１２は、１／ｆＶＳＹＮＣの周期ＴＶＳＹＮＣごとに、全行を順に露光させる処理を２回行って、周期ＴＶＳＹＮＣごとに２枚の画像信号を生成させる。
　また、ドライバ２１２は、フレームの出力先を変更させるための切替信号ＳＷを生成して信号処理部２６０および２７０に供給する。
　信号処理部２６０および２７０は、画素アレイ部２２０からの画素信号に対して、増減処理と、ＡＤ（Analog to Digital）変換処理とを行うものである。また、信号処理部２６０は、信号処理部２７０と異なる行に接続される。
　また、信号処理部２６０および２７０には、ゲインを示すデジタル信号であるデジタルゲインＤｇが下層基板２０３により入力される。信号処理部２６０等は、そのデジタルゲインＤｇをＤＡ変換したアナログゲインにより画素信号を増減し、画素信号をＡＤ変換して画素データを生成する。そして、信号処理部２６０等は、切替信号ＳＷに従って、画素データからなるフレームを中層基板２０２または下層基板２０３に供給する。
　ドライバ２１２は、切替信号ＳＷにより、周期ＴＶＳＹＮＣ内において最初に生成されたフレームを中層基板２０２に供給させ、次に生成されたフレームを下層基板２０３に供給させる。
　［画素アレイ部の構成例］
　図４は、第１の実施の形態における画素アレイ部２２０の一構成例を示す平面図である。画素アレイ部２２０は、それぞれが複数（４行×２列の８個など）の画素からなる複数の画素ブロック２３０に分割される。また、それぞれの画素は、Ｒ（Red）、Ｇ(Green)およびＢ（Blue）のいずれかの色信号を生成し、それぞれの色に対応する画素は例えば、ベイヤー配列により配列される。
　以下、所定方向（水平方向など）に配列された画素ブロック２３０の集合を「ブロック行」と称し、ブロック行に垂直な方向に配列された画素ブロック２３０の集合を「ブロック列」と称する。ブロック行の行数は、Ｉであり、ブロック列の列数はＪである。ここで、ＩおよびＪは整数である。
　ブロック列ごとに、垂直信号線２２８－ｊ（ｊは、０乃至Ｊ－１の整数）および２２９－ｊの２本が配線される。また、ブロック行ごとに１０本の水平信号線が配線される。図４において水平信号線は省略されている。行ごとの１０本の水平信号線のうち、１本は、リセット信号ＲＳＴｉ（ｉは、０乃至Ｉ－１の整数）を伝送し、１本は選択信号ＳＥＬｉを伝送し、残りの８本は、転送信号ＴＲＧ０ｉ乃至ＴＲＧ７ｉを伝送する。
　水平信号線はドライバ２１２と、配線されたブロック行内の画素ブロック２３０とに接続される。垂直信号線２２８－ｊは、奇数のブロック行と信号処理部２６０に接続され、垂直信号線２２９－ｊは、偶数のブロック行と信号処理部２７０に接続される。
　［画素ブロックの構成例］
　図５は、第１の実施の形態における画素ブロック２３０の一構成例を示す回路図である。この画素ブロック２３０は、転送トランジスタ２３１、２３２、２３５、２３６、２３９、２４０、２４３および２４４と、光電変換素子２３３、２３４、２３７、２３８、２４１、２４２、２４５および２４６とを備える。また、画素ブロック２３０は、リセットトランジスタ２４７、浮遊拡散層２４８、増幅トランジスタ２４９および選択トランジスタ２５０を備える。
　光電変換素子２３３、２３４、２３７、２３８、２４１、２４２、２４５および２４６は、入射光を光電変換して電荷を生成するものである。これらの光電変換素子は、互いに異なる転送トランジスタに接続される。
　転送トランジスタ２３１、２３２、２３５、２３６、２３９、２４０、２４３および２４４は、転送信号ＴＲＧ０ｉ乃至ＴＲＧ７ｉに従って、対応する光電変換素子から浮遊拡散層２４８へ電荷を転送するものである。浮遊拡散層２４８は、電荷を蓄積して蓄積した電荷量に応じた電圧を生成するものである。
　リセットトランジスタ２４７は、リセット信号ＲＳＴｉに従って、浮遊拡散層２４８の電荷を電源へ掃きだして、電荷量を初期化するものである。
　増幅トランジスタ２４９は、浮遊拡散層２４８の電圧の信号を増幅するものである。選択トランジスタ２５０は、選択信号ＳＥＬｉに従って、増幅トランジスタ２４９により増幅された信号を画素信号として、垂直信号線２２８－ｊおよび２２９－ｊのうち接続された方に出力するものである。
　ドライバ２１２は、画素の行を順に選択して、その行にリセット信号ＲＳＴｉを供給することにより、行の露光を開始させる。また、ドライバ２１２は、選択した行に選択信号ＳＥＬｉを供給する。そして、設定された露光時間が経過するとドライバ２１２は、転送信号ＴＲＧ０ｉを供給することにより、露光を終了させる。行のそれぞれの露光は、前の行から一定時間が経過したときに開始される。このように、行を順に選択して露光させる制御方式は、ローリングシャッター方式と呼ばれる。
　［信号処理部の構成例］
　図６は、第１の実施の形態における奇数ブロック行に対応する信号処理部２６０の一構成例を示すブロック図である。この信号処理部２６０は、ＤＡ変換部２６１と、複数のアンプ２６２と、複数のＡＤ変換器２６３と、複数のスイッチ２６６とを備える。アンプ２６２、ＡＤ変換器２６３およびスイッチ２６６は、ブロック列ごとに設けられる。ブロック列の列数がＪである場合、アンプ２６２、ＡＤ変換器２６３およびスイッチ２６６のそれぞれもＪ個ずつ設けられる。
　ＤＡ変換部２６１は、デジタルゲインＤｇをアナログゲインＡｇに変換するものである。このデジタルゲインＤｇは、操作部１４０などにより設定される。また、デジタルゲインＤｇは、合成対象の２つのフレームのうち露光時間の長い方に対するデジタルゲインＤｇＬと、露光時間の短い方に対するデジタルゲインＤｇＳとを含む。また、アナログゲインは、周期ＴＶＳＹＮＣ内の１枚目の画像信号に対するアナログゲインＡｇ１と、２枚目の画像信号に対するアナログゲインＡｇ２とを含む。
　デジタルゲインＤｇとアナログゲインＡｇとの対応関係は、１枚目および２枚目のいずれの露光時間の方を短時間とするかにより決定される。例えば、２枚目の方を短時間露光とする際は、デジタルゲインＤｇＬをＤＡ変換したアナログ信号がアナログゲインＡｇ１として用いられ、デジタルゲインＤｇＳをＤＡ変換したアナログ信号がアナログゲインＡｇ２として用いられる。ＤＡ変換部２６１は、切替信号ＳＷに従って、アナログゲインＡｇ１およびＡｇ２のいずれかをＪ個のアンプ２６２に供給する。
　アンプ２６２は、供給されたアナログゲインＡｇにより、対応するブロック列の画素信号を増減するものである。このアンプ２６２は、増減した画素信号を対応するＡＤ変換器２６３に供給する。なお、アンプ２６２は、特許請求の範囲に記載のゲイン処理部の一例である。
　ＡＤ変換器２６３は、増減された画素信号に対してＡＤ変換を行うものである。このＡＤ変換器２６３は、コンパレータ２６４およびカウンタ２６５を備える。コンパレータ２６４は、アンプ２６２からの画素信号と、ランプ信号ＲＥＦとを比較して比較結果をカウンタ２６５に供給するものである。カウンタ２６５は、所定のクロック信号に同期して、比較結果が反転するまで計数値を計数するものである。このカウンタ２６５は、計数値を示すデータを画素データとしてスイッチ２６６に供給する。なお、ＡＤ変換器２６３は、特許請求の範囲に記載のアナログデジタル変換部の一例である。
　スイッチ２６６は、切替信号ＳＷに従って、中層基板２０２および下層基板２０３のいずれかに出力先を切り替えて画素データを出力するものである。
　図７は、第１の実施の形態における偶数ブロック行に対応する信号処理部２７０の一構成例を示すブロック図である。この信号処理部２７０の構成は、接続されるブロック行が異なる点以外は、信号処理部２６０と同様である。
　［中層基板の構成例］
　図８は、第１の実施の形態における中層基板２０２の一構成例を示す図である。この中層基板２０２には、メモリ領域２８０が設けられる。このメモリ領域２８０には、フレームメモリ２８１が配置される。フレームメモリ２８１は、上層基板２０１から出力された画素データからなるフレームを保持するものである。フレームメモリ２８１に保持されたフレームは、下層基板２０３により読み出される。このフレームメモリ２８１として、例えば、ＤＲＡＭ（Dynamic Random Access Memory）が用いられる。
　［下層基板の構成例］
　図９は、第１の実施の形態における下層基板２０３の一構成例を示すブロック図である。この下層基板２０３にはロジック領域２９０が設けられる。このロジック領域２９０には、制御部２９１、フレーム加算部２９２、および、ＨＤＲ（High Dynamic Range）合成部２９６が配置される。
　制御部２９１は、固体撮像素子２００全体を制御するものである。この制御部２９１には、バス１５０を介して、デジタルゲインＤｇ（ＤｇＬおよびＤｇＳ）と、露光比と、動作モードとが設定値として入力される。また、合成対象の２つのフレームのそれぞれの露光時間のうち短い方をｔｓとし、長い方をｔＬとしてｔｓ：ｔＬが露光比として入力される。
　制御部２９１は、露光比に基づいて、合成対象の２つのフレームのうち１枚目の露光時間ｔ１と２枚目の露光時間ｔ２とを設定する。フレーム非加算モードにおいては、例えば、露光時間ｔ１に露光時間ｔＬの値が設定され、露光時間ｔ２に露光時間ｔＳの値が設定される。これにより、１枚目の露光時間の方が長くなる。
　一方、フレーム加算モードにおいては、１枚目のフレームと２枚目のフレームとを加算したフレームが露光時間の長い方のフレームとして、２枚目のフレームと合成される。このため、制御部２９１は、露光時間ｔ１およびｔ２の合計が露光時間ｔＬとなるように、露光時間ｔ１およびｔ２を設定する。例えば、制御部２９１は、露光時間ｔＬおよびｔＳの差分を露光時間ｔ１とし、露光時間ｔＳを露光時間ｔ２とする。
　また、制御部２９１は、入力されたデジタルゲインＤｇＬおよびＤｇＳを保持し、保持したデジタルゲインＤｇＬおよびＤｇＳと、露光時間ｔ１およびｔ２とを上層基板２０１に出力する。さらに、フレーム加算モードにおいて制御部２９１は、ゲイン比ＤｇＬ／ＤｇＳをフレーム加算部２９２に供給する。
　フレーム加算部２９２は、乗算器２９３、加算器２９４およびスイッチ２９５を備える。乗算器２９３は、上層基板２０１からの１枚目のフレーム内のそれぞれの画素データとゲイン比ＤｇＬ／ＤｇＳとを乗算するものである。乗算器２９３は、乗算したデータを加算器２９４に供給する。
　スイッチ２９５は、動作モードに従って、中層基板２０２からの１枚目のフレーム内の画素データのそれぞれを加算器２９４およびＨＤＲ合成部２９６のいずれかに出力するものである。フレーム非加算モードにおいてスイッチ２９５は、画素データをＨＤＲ合成部２９６に出力する。一方、フレーム加算モードにおいてスイッチ２９５は、画素データを加算器２９４に出力する。
　加算器２９４は、スイッチ２９５からの画素データと、乗算器２９３からの乗算データとを加算するものである。スイッチ２９５からの画素データ、または、加算器２９４により加算されたデータは、長時間露光データＩＬとしてＨＤＲ合成部２９６に出力される。また、上層基板２０１からの１枚目のフレーム内の画素データは、短時間露光データＩＳとしてＨＤＲ合成部２９６に出力される。なお、フレーム加算部２９２は、特許請求の範囲に記載の演算部の一例である。
　ＨＤＲ合成部２９６は、長時間露光データＩＬと短時間露光データＩＳとを所定の合成比率により合成するものである。例えば、合成比率をＲＨＤＲとすると、次の式により合成フレーム内の画素データＩＨＤＲが算出される。ＨＤＲ合成部２９６は、生成した画素データＩＨＤＲをＤＳＰ回路１２０に供給する。なお、ＨＤＲ合成部２９６は、特許請求の範囲に記載の合成部の一例である。
　　ＩＨＤＲ＝ＲＨＤＲ×ＩＬ＋（１－ＲＨＤＲ）×ＩＳ
　なお、フレーム加算部２９２は、動作モードに従って加算するか否かを判断しているが、動作モードをフレーム加算モードとフレーム非加算モードとに分けずに、加算を常に行う構成としてもよい。この場合には、スイッチ２９５は不要となる。
　図１０は、第１の実施の形態における固体撮像素子の合成処理を説明するための図である。フレーム加算モードにおいて画素アレイ部２２０は、２枚の画像信号を順に生成する。一方、ＤＡ変換部２６１は、露光時間の長いフレームに対するデジタルゲインＤｇＬを１枚目の画像信号に対するアナログゲインＡｇ１に変換したものとする。また、ＤＡ変換部２７１は、露光時間の短いフレームに対するデジタルゲインＤｇＳを２枚目の画像信号に対するアナログゲインＡｇ２に変換したものとする。
　そして、アンプ２７２は、１枚目の画像信号内の画素信号のぞれぞれをアナログゲインＡｇ１により増減し、アンプ２７２は、２枚目の画像信号内の画素信号のぞれぞれをアナログゲインＡｇ２により増減する。ＡＤ変換器２６３および２７３は、増減された画素信号のそれぞれを画素データにＡＤ変換する。これにより、２枚のフレームが生成される。これらのうち１枚目のフレームは、フレームメモリ２８１に保持される。一方、２枚目のフレーム内の画素データは、短時間露光データＩＳとして出力される。
　フレーム加算部２９２は、短時間露光データＩＳに対してゲイン比ＤｇＬ／ＤｇＳを乗算したデータと、１枚目のフレーム内の画素データとを加算して長時間露光データＩＬを生成する。上述のアンプ２６２、２７２、および、フレーム加算部２９２により行われた演算は、次の式により表される。
　　ＩＬ＝Ａｇ１×Ｉ１＋（Ａｇ２×Ｉ２）×ＤｇＬ／ＤｇＳ　　　　 ・・・式１
　　ＩＳ＝Ａｇ２×Ｉ２　　　　　　　　　　　　　　　　　　　　・・・式２
　ここで、前述したように、ＤＡ変換部２６１および２７１は、デジタルゲインＤｇＬをアナログゲインＡｇ１に変換し、ＤＡ変換部２７１は、デジタルゲインＤｇＳをアナログゲインＡｇ２に変換している。このため、式１および式２のＡｇ１をＤｇＬに、Ａｇ２をＤｇＳに置き換えることができる。この結果、次の式が得られる。
　　ＩＬ＝ＤｇＬ×Ｉ１＋（ＤｇＳ×Ｉ２）×ＤｇＬ／ＤｇＳ
　　　　＝ＤｇＬ×（Ｉ１＋Ｉ２）　　　　　　　　　　　　　　・・・式３
　　ＩＳ＝ＤｇＳ×Ｉ２　　　　　　　　　　　　　　　　　　　・・・式４
　式３に例示するように、ゲイン比ＤｇＬ／ＤｇＳを乗算することにより、２枚目の画像信号（Ｉ２）の増減率を、長時間露光データに対応するデジタルゲインＤｇＬに調整することができる。一方、式４より、２枚目の画像信号（Ｉ２）の方は、対応するゲインＤｇＳで増減されているため、ＤｇＬ／ＤｇＳの乗算は必要ない。
　例えば、ユーザがデジタルゲインＤｇＬに１．１を設定し、デジタルゲインＤｇＳに０．９を設定したものとする。式３および式４に、これらの数値を代入すると、次の式が得られる。
　　ＩＬ＝１．１×Ｉ１＋（０．９×Ｉ２）×１．１／０．９
　　　　＝１．１×（Ｉ１＋Ｉ２）　　　　　　　　　　　　　　・・・式５
　　ＩＳ＝０．９×Ｉ２
　ここで、仮に、式５においてゲイン比１．１／０．９を乗算せずに加算を行うと、１．１倍に増減された信号Ｉ１と、０．９倍に増減された信号Ｉ２とが加算されてしまう。このため、加算した信号（Ｉ１＋Ｉ２）に対する増減率は、設定した１．１と異なる値になってしまう。
　これに対して、ゲイン比１．１／０．９を短時間露光データ（０．９×Ｉ２）に乗算してから加算すれば、加算した信号（Ｉ１＋Ｉ２）に対する増減率を、設定した１．１に調整することができる。
　また、２枚のフレームを加算して長時間露光データとすることにより、加算しない場合と比較して、長時間露光データの露光時間を長くすることができる。
　なお、アナログゲインで増減しないままでＡＤ変換した後にフレーム加算し、その加算データにデジタルゲインＤｇＬを乗算すれば、ゲイン比ＤｇＬ／ＤｇＳの乗算が不要となるが、この構成は望ましくない。デジタルゲインにより増減すると、オーバーフローなどにより、階調が失われて信号品質が低下するおそれがある理由による。
　また、固体撮像素子２００は、１枚目のフレームを短時間露光データＩＳとして合成しているが、１枚目の代わりに２枚目のフレームを短時間露光データＩＳとして合成してもよい。この場合にＤＡ変換部２６１等は、デジタルゲインＤｇＳをアナログゲインＡｇ１に変換し、デジタルゲインＤｇＬをアナログゲインＡｇ２に変換する。
　また、メモリ領域２８０およびロジック領域２９０の両方を固体撮像素子２００の内部に設けているが、これらの少なくとも一部を固体撮像素子２００の外部に設けてもよい。例えば、ロジック領域２９０をＤＳＰ回路１２０に配置してもよい。ただし、メモリ領域２８０およびロジック領域２９０を固体撮像素子２００内に配置した方が、データ転送の負荷を軽減して高速な処理が可能となるほか、後段のＤＳＰ回路１２０に新たな回路を追加しなくてもよい。このため、メモリ領域２８０およびロジック領域２９０を固体撮像素子２００内に配置した方が好ましい。
　図１１は、比較例における画素の駆動タイミングについて説明するための図である。周期ＴＶＳＹＮＣごとに２枚のフレームを撮像して合成する場合、それぞれのフレームの露光時間は、周期ＴＶＳＹＮＣ以下に設定される。同図において、縦軸は、行（言い換えれば、ライン）を示し、横軸は時間を示す。また、斜線部分は、１枚目のフレームを示し、白抜きの部分は、２枚目のフレームを示す。
　ここで、列ごとにＡＤ変換器を１つのみ配置した比較例を想定する。この比較例では、固体撮像素子が同時に２行のＡＤ変換を行うことができないため、１枚目の読出しが完了した後でないと２枚目の読出しを開始することができない。
　図１１におけるａは、１枚目の全行の読出しが完了したタイミングｔｅ１から一定時間が経過したタイミングｔｓ２に２枚目の読出しを開始した場合を示す図である。また、同図におけるｂは、１枚目の露光時間をさらに長くして、１枚目の全行の読出しが完了したタイミングｔｅ１において、２枚目の読出しを開始した場合を示す図である。比較例では同時に２行を読み出すことができないため、２枚目の露光時間を短くしない限り、１枚目の露光時間を同図におけるｂよりも長くすることはできない。
　したがって、２枚目の露光時間をｔ２とし、全行の読出しに要する時間をｔreadとすると、１枚目の露光終了時と２枚目の露光開始時との間の時間を、ｔreadおよびｔ２の差分ｄｔ以上に設定する必要がある。すなわち、１枚目の露光終了と同時に２枚目の露光を開始することができない。
　これに対して、固体撮像素子２００では、列ごとにＡＤ変換器２６３およびＡＤ変換器２７３の２つを配置しているため、固体撮像素子２００は、２行を同時に読み出してＡＤ変換することができる。
　図１２は、第１の実施の形態における画素の駆動タイミングの一例を示す図である。同図において、縦軸は、行（ライン）を示し、横軸は時間を示す。また、斜線部分は、１枚目のフレームを示し、白抜きの部分は、２枚目のフレームを示す。前述したように、固体撮像素子２００は２行を同時に読み出すことができるため、１枚目の読出しの途中のタイミングｔｓ２において、２枚目のフレームの読出しを開始することができる。
　例えば、１枚目のＬ１行の読出しの際に、２枚目のＬ２行を読み出す場合を考える。Ｌ１行が奇数ブロック行内の行で、Ｌ２行が偶数ブロック行内の行である場合、Ｌ１行はＡＤ変換器２６３を含む信号処理部２６０により読み出され、Ｌ２行はＡＤ変換器２７３を含む信号処理部２７０により読み出される。ドライバ２１２は、切替信号ＳＷにより１枚目のフレームをフレームメモリ２８１へ出力させ、２枚目のフレームをロジック領域２９０へ出力させる。Ｌ１行以降の１枚目のフレームの行は、奇数ブロック行内のものであれば信号処理部２６０により読み出され、偶数ブロック行内のものであれば、信号処理部２７０により読み出される。２枚目のフレームについても同様である。ブロック行は、４行であるため、ドライバ２１２は、４行の読出しのたびに、信号処理部２６０と信号処理部２７０とのそれぞれの出力先を切替信号ＳＷにより変更させる。
　このように、固体撮像素子２００は、１枚目の全行の読出し終了を待たずに、２枚目の読出しを開始することができる。このため、１枚目の露光終了時と２枚目の露光開始時との間にｄｔを設ける必要がなくなり、１枚目の露光時間を比較例よりも長くすることができる。
　なお、固体撮像素子２００は、信号処理部２６０および２７０により、２行を同時に読み出しているが、互いに異なる行に接続された３つ以上の信号処理部を設け、３行以上を同時に読み出してもよい。
　図１３は、第１の実施の形態における露光比を１：８に設定した場合のモードごとの駆動タイミングを示す図である。同図における縦軸は、行（ライン）を示し、横軸は時間を示す。また、斜線部分は、１枚目のフレームを示し、白抜きの部分は、２枚目のフレームを示す。同図におけるａは、フレーム加算モードの駆動タイミングを示し、同図におけるｂは、フレーム非加算モードの駆動タイミングを示す。
　フレーム加算モードでは、１枚目のフレームと２枚目のフレームとが加算されるため、２枚目の露光時間ｔ２と、１枚目の露光時間ｔ１および露光時間ｔ２の合計（ｔ１＋ｔ２）との比率が１：８になるように、露光時間ｔ１およびｔ２が設定される。周期ＴＶＳＹＮＣが３０ミリ秒（ｍｓ）である場合、例えば、露光時間ｔ２を３．７５ミリ秒（ｍｓ）にし、合計（ｔ１＋ｔ２）を３０ミリ秒（ｍｓ）に設定すれば、露光比が１：８になる。露光時間ｔ１には、それらの差分である２６．２５ミリ秒（ｍｓ）が設定される。
　一方、フレーム非加算モードでは、フレームが加算されないため、２枚目の露光時間ｔ２と、１枚目の露光時間ｔ１との比率が１：８になるように、露光時間ｔ１およびｔ２が設定される。例えば、露光時間ｔ２を３．３３ミリ秒（ｍｓ）にし、露光時間ｔ１を２６．６７ミリ秒（ｍｓ）に設定すれば、露光比が１：８になる。
　図１３におけるａおよびｂに例示したように、露光比を同一にして比較すると、フレーム加算モードでは、フレーム非加算モードよりも長時間露光データの露光時間を長く設定することができる。
　図１４は、第１の実施の形態における露光比を１：２に設定した場合のモードごとの駆動タイミングを示す図である。同図における縦軸は、行（ライン）を示し、横軸は時間を示す。また、斜線部分は、１枚目のフレームを示し、白抜きの部分は、２枚目のフレームを示す。同図におけるａは、フレーム加算モードの駆動タイミングを示し、同図におけるｂは、フレーム非加算モードの駆動タイミングを示す。
　フレーム加算モードでは、１枚目のフレームと２枚目のフレームとが加算されるため、露光時間ｔ２と、合計（ｔ１＋ｔ２）との比率が１：２になるように、露光時間ｔ１およびｔ２が設定される。周期ＴＶＳＹＮＣが３０ミリ秒（ｍｓ）である場合、例えば、露光時間ｔ２を１５ミリ秒（ｍｓ）にし、合計（ｔ１＋ｔ２）を３０ミリ秒（ｍｓ）に設定すれば、露光比が１：２になる。露光時間ｔ１には、それらの差分である１５ミリ秒（ｍｓ）が設定される。
　一方、フレーム非加算モードでは、フレームが加算されないため、２枚目の露光時間ｔ２と、１枚目の露光時間ｔ１との比率が１：２になるように、露光時間ｔ１およびｔ２が設定される。例えば、露光時間ｔ２を１０ミリ秒（ｍｓ）にし、露光時間ｔ１を２０ミリ秒（ｍｓ）に設定すれば、露光比が１：２になる。
　図１５は、第１の実施の形態における露光比を１：１に設定した場合のモードごとの駆動タイミングを示す図である。同図における縦軸は、行（ライン）を示し、横軸は時間を示す。また、斜線部分は、１枚目のフレームを示し、白抜きの部分は、２枚目のフレームを示す。同図におけるａは、フレーム加算モードの駆動タイミングを示し、同図におけるｂは、フレーム非加算モードの駆動タイミングを示す。
　フレーム加算モードでは、１枚目のフレームと２枚目のフレームとが加算されるため、露光時間ｔ２と、合計（ｔ１＋ｔ２）との比率が１：１になるように、露光時間ｔ１およびｔ２が設定される。周期ＴＶＳＹＮＣが３０ミリ秒（ｍｓ）である場合、例えば、露光時間ｔ２を３０ミリ秒（ｍｓ）にし、合計（ｔ１＋ｔ２）を３０ミリ秒（ｍｓ）に設定すれば、露光比が１：１になる。
　一方、フレーム非加算モードでは、フレームが加算されないため、２枚目の露光時間ｔ２と、１枚目の露光時間ｔ１との比率が１：１になるように、露光時間ｔ１およびｔ２が設定される。例えば、露光時間ｔ２を１５ミリ秒（ｍｓ）にし、露光時間ｔ１を１５ミリ秒（ｍｓ）に設定すれば、露光比が１：１になる。
　図１３乃至図１５に例示したように、フレーム加算モードでは、露光比を如何なる値に設定しても、長時間露光データの露光時間（ｔ１＋ｔ２）を、周期ＴＶＳＹＮＣにすることができる。
　［固体撮像素子の動作例］
　図１６は、第１の実施の形態における固体撮像素子の動作の一例を示すフローチャートである。この動作は、例えば、フレーム加算モードが設定された場合に開始される。固体撮像素子２００は、１枚目の画像を撮像し（ステップＳ９０１）、その画像信号をアナログゲインにより増減する（ステップＳ９０２）。そして、固体撮像素子２００は、増減後の画像信号を画像データ（フレーム）にＡＤ変換してフレームメモリ２８１に保持する（ステップＳ９０３）。
　また、固体撮像素子２００は、２枚目の画像を撮像し（ステップＳ９０４）、その画像信号をアナログゲインにより増減する（ステップＳ９０５）。そして、固体撮像素子２００は、増減後の画像信号をフレームにＡＤ変換し（ステップＳ９０６）、そのフレームにゲイン比を乗算する（ステップＳ９０７）。そして、固体撮像素子２００は、１枚目のフレームに乗算結果を加算して長時間露光データを生成し（ステップＳ９０８）、２枚目のフレーム（短時間露光データ）と加算結果（長時間露光データ）とを合成する（ステップＳ９０９）。
　続いて、固体撮像素子２００は、撮像を終了するための操作などにより、撮像の終了が指示されたか否かを判断する（ステップＳ９１０）。撮像の終了が指示されていない場合に（ステップＳ９１０：Ｎｏ）、固体撮像素子２００は、ステップＳ９０１以降を繰り返し実行する。一方、撮像の終了が指示された場合に（ステップＳ９１０：Ｙｅｓ）、固体撮像素子２００は、撮像のための動作を終了する。
　このように、本技術の第１の実施の形態によれば、ゲインＤｇＳで増減した２枚目のフレームにゲイン比ＤｇＬ／ＤｇＳを乗算してから１枚目のフレームと加算するため、露光時間を長くし、２枚目に対する増減率を、設定したＤｇＬに調整することができる。これにより、設定したゲインで増幅した、適切なレベルの合成フレームを生成することができる。
　［変形例］
　上述の第１の実施の形態では、ＡＤ変換前に画像信号をアナログゲインにより増幅していたが、アナログゲインに設定することができる値は、アンプの仕様により一定範囲内に制限される。このため、アナログゲインによる増幅では、ゲインが不足する場合がある。この場合は、ＡＤ変換後にさらに増幅すればよい。この第１の実施の形態の変形例の固体撮像素子２００は、ＡＤ変換後にさらに増幅する点において第１の実施の形態と異なる。
　図１７は、第１の実施の形態の変形例におけるフレーム加算部２９２の一構成例を示す図である。この第１の実施の形態の変形例におけるフレーム加算部２９２は、乗算器２９７および２９８をさらに備える。
　乗算器２９７は、中層基板２０２からの１枚目のフレームにゲイン比ＤｇＬ／Ｄｇ１を乗算するものである。この乗算器２９７は、乗算結果をスイッチ２９５に供給する。また、乗算器２９８は、上層基板２０１からの２枚目のフレームにゲイン比ＤｇＳ／Ｄｇ２を乗算するものである。この乗算器２９８は、乗算結果を乗算器２９３およびＨＤＲ合成部２９６に供給する。
　ＤｇＬが、アンプに設定可能なゲイン範囲外である場合には、そのゲイン範囲内でＤｇＬに最も近いアナログゲインＡｇ１により１枚目が増減される。この場合には、アナログゲインＡｇ１に対応するＤｇ１とＤｇＬとのゲイン比を乗算器２９７が乗算することにより、ゲインの不足を補うことができる。
　同様に、ＤｇＳが、アンプに設定可能なゲイン範囲を超える場合には、そのゲイン範囲内でＤｇＳに最も近いアナログゲインＡｇ２により２枚目が増減される。この場合には、アナログゲインＡｇ２に対応するＤｇ２とＤｇＳとのゲイン比を乗算器２９８が乗算することにより、ゲインの不足を補うことができる。
　また、ユーザが誤ってゲインを設定した場合や、デジタルゲインＤｇＳに長時間露光データに対するゲインが設定された場合などにも、乗算器２９７および２９８により補正することができる。
　このように、本技術の第１の実施の形態の変形例によれば、アナログゲインで増減し、ＡＤ変換後に乗算器２９７および２９８がフレームをさらに増減するため、アナログゲインが不足する場合であっても、その不足を補うことができる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、２枚のフレームを合成して合成フレームを生成していたが、合成枚数が２枚では、階調を十分に表現することができないおそれがある。一般に、合成する枚数が多いほど、階調が滑らかで自然な合成フレームを生成することができる。この第２の実施の形態の固体撮像素子２００は、３枚以上のフレームを合成する点において第１の実施の形態と異なる。
　図１８は、第２の実施の形態における固体撮像素子２００の合成処理を説明するための図である。この第２の実施の形態の固体撮像素子２００は、３枚以上のフレームを合成する。また、ロジック領域２９０には合成枚数より１つ少ない個数のフレーム加算部２９２が設けられる。例えば、５枚を合成する場合には、４個のフレーム加算部２９２が設けられる。また、メモリ領域２８０には、フレーム加算部２９２と同じ個数のフレームメモリ２８１が設けられる。
　合成枚数をＮとし、最後のフレームの画素データを短時間露光データＩＳとし、残りのＮ－１枚のそれぞれの画素データを長時間露光データＩＬ１乃至ＩＬ（Ｎ－１）とする。また、短時間露光データＩＳに対応するデジタルゲインをＤｇＳとし、長時間露光データＩＬ１乃至ＩＬＮ－１に対応するデジタルゲインをＤｇＬ１乃至ＤｇＬ（Ｎ－１）とする。この場合、１枚目からＮ－１枚目の画像の画素信号は、デジタルゲインＤｇＬ１乃至ＤｇＬ（Ｎ－１）を変換したアナログゲインＡｇ１乃至ＡｇＮ－１により増減される。また、Ｎ枚目の画像の画素信号は、デジタルゲインＤｇＳを変換したアナログゲインＡｇＮにより増減される。
　そして、１枚目からＮ－１枚目のフレームは、Ｎ－１個のフレームメモリ２８１に保持される。また、ｎ（ｎは１乃至Ｎ－１の整数）枚目に対応するフレーム加算部２９２には、ｎ枚目からＮ枚目までのフレームが入力される。例えば、１枚目に対応するフレーム加算部２９２には、１枚目からＮ枚目までの計Ｎ枚のフレームが入力され、２枚目に対応するフレーム加算部２９２には、２枚目からＮ枚目までの計Ｎ－１枚のフレームが入力される。
　また、ｎ枚目に対応するフレーム加算部２９２において、ｋ（ｋはｎ＋１からＮまでの整数）枚目のフレーム内の画素データに、ゲイン比ＤｇＬｎ／Ｄｇｋが乗算される。例えば、２枚目に対応するフレーム加算部２９２において、３枚目のフレーム内の画素データにゲイン比ＤｇＬ２／Ｄｇ３が乗算される。
　そして、乗算結果のそれぞれと、ｎ枚目のフレームとが加算されて、長時間露光データＩＬｎが生成される。例えば、２枚目に対応するフレーム加算部２９２では、３枚目からＮ枚目までに対する乗算結果のそれぞれと、２枚目のフレームとが加算される。
　上述の演算は、次の式により表される。
Figure JPOXMLDOC01-appb-M000001
　図１９は、第２の実施の形態における画素の駆動タイミングの一例を示す図である。周期ＴＶＳＹＮＣ内においてＮ枚のフレームが順に生成される。そして、１枚目からＮ枚目までの加算により、露光時間ｔＬ１の長時間露光データが生成される。また、２枚目からＮ枚目までの加算により、露光時間ｔＬ２の長時間露光データが生成される。以下、同様に、ｎ枚目からＮ枚目までの加算により、露光時間ｔＬｎの長時間露光データが生成される。そして、Ｎ枚目のフレームは、露光時間ｔＮの短時間露光データとして、長時間露光データのそれぞれと合成される。
　このように、本技術の第２の実施の形態によれば、３枚以上のフレームを合成するため、２枚を合成する場合よりも階調を滑らかにして合成フレームの画質を向上させることができる。
　＜体内情報取得システムへの応用例＞
　図２０は、本開示に係る技術（本技術）が適用され得る、カプセル型内視鏡を用いた患者の体内情報取得システムの概略的な構成の一例を示すブロック図である。
　体内情報取得システム10001は、カプセル型内視鏡10100と、外部制御装置10200とから構成される。
　カプセル型内視鏡10100は、検査時に、患者によって飲み込まれる。カプセル型内視鏡10100は、撮像機能及び無線通信機能を有し、患者から自然排出されるまでの間、胃や腸等の臓器の内部を蠕動運動等によって移動しつつ、当該臓器の内部の画像（以下、体内画像ともいう）を所定の間隔で順次撮像し、その体内画像についての情報を体外の外部制御装置10200に順次無線送信する。
　外部制御装置10200は、体内情報取得システム10001の動作を統括的に制御する。また、外部制御装置10200は、カプセル型内視鏡10100から送信されてくる体内画像についての情報を受信し、受信した体内画像についての情報に基づいて、表示装置（図示せず）に当該体内画像を表示するための画像データを生成する。
　体内情報取得システム10001では、このようにして、カプセル型内視鏡10100が飲み込まれてから排出されるまでの間、患者の体内の様子を撮像した体内画像を随時得ることができる。
　カプセル型内視鏡10100と外部制御装置10200の構成及び機能についてより詳細に説明する。
　カプセル型内視鏡10100は、カプセル型の筐体10101を有し、その筐体10101内には、光源部10111、撮像部10112、画像処理部10113、無線通信部10114、給電部10115、電源部10116、及び制御部10117が収納されている。
　光源部10111は、例えばLED(light emitting diode)等の光源から構成され、撮像部10112の撮像視野に対して光を照射する。
　撮像部10112は、撮像素子、及び当該撮像素子の前段に設けられる複数のレンズからなる光学系から構成される。観察対象である体組織に照射された光の反射光（以下、観察光という）は、当該光学系によって集光され、当該撮像素子に入射する。撮像部10112では、撮像素子において、そこに入射した観察光が光電変換され、その観察光に対応する画像信号が生成される。撮像部10112によって生成された画像信号は、画像処理部10113に提供される。
　画像処理部10113は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等のプロセッサによって構成され、撮像部10112によって生成された画像信号に対して各種の信号処理を行う。画像処理部10113は、信号処理を施した画像信号を、RAWデータとして無線通信部10114に提供する。
　無線通信部10114は、画像処理部10113によって信号処理が施された画像信号に対して変調処理等の所定の処理を行い、その画像信号を、アンテナ10114Aを介して外部制御装置10200に送信する。また、無線通信部10114は、外部制御装置10200から、カプセル型内視鏡10100の駆動制御に関する制御信号を、アンテナ10114Aを介して受信する。無線通信部10114は、外部制御装置10200から受信した制御信号を制御部10117に提供する。
　給電部10115は、受電用のアンテナコイル、当該アンテナコイルに発生した電流から電力を再生する電力再生回路、及び昇圧回路等から構成される。給電部10115では、いわゆる非接触充電の原理を用いて電力が生成される。
　電源部10116は、二次電池によって構成され、給電部10115によって生成された電力を蓄電する。図２０では、図面が煩雑になることを避けるために、電源部10116からの電力の供給先を示す矢印等の図示を省略しているが、電源部10116に蓄電された電力は、光源部10111、撮像部10112、画像処理部10113、無線通信部10114、及び制御部10117に供給され、これらの駆動に用いられ得る。
　制御部10117は、CPU等のプロセッサによって構成され、光源部10111、撮像部10112、画像処理部10113、無線通信部10114、及び、給電部10115の駆動を、外部制御装置10200から送信される制御信号に従って適宜制御する。
　外部制御装置10200は、CPU，GPU等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイクロコンピュータ若しくは制御基板等で構成される。外部制御装置10200は、カプセル型内視鏡10100の制御部10117に対して制御信号を、アンテナ10200Aを介して送信することにより、カプセル型内視鏡10100の動作を制御する。カプセル型内視鏡10100では、例えば、外部制御装置10200からの制御信号により、光源部10111における観察対象に対する光の照射条件が変更され得る。また、外部制御装置10200からの制御信号により、撮像条件（例えば、撮像部10112におけるフレームレート、露出値等）が変更され得る。また、外部制御装置10200からの制御信号により、画像処理部10113における処理の内容や、無線通信部10114が画像信号を送信する条件（例えば、送信間隔、送信画像数等）が変更されてもよい。
　また、外部制御装置10200は、カプセル型内視鏡10100から送信される画像信号に対して、各種の画像処理を施し、撮像された体内画像を表示装置に表示するための画像データを生成する。当該画像処理としては、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、NR(Noise reduction)処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の信号処理を行うことができる。外部制御装置10200は、表示装置の駆動を制御して、生成した画像データに基づいて撮像された体内画像を表示させる。あるいは、外部制御装置10200は、生成した画像データを記録装置（図示せず）に記録させたり、印刷装置（図示せず）に印刷出力させてもよい。
　以上、本開示に係る技術が適用され得る体内情報取得システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部10112に適用され得る。撮像部10112に本開示に係る技術を適用することにより、露光時間を長くすることができるため、画像を明るくして検査の精度を向上させることができる。
　＜移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図２１に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
　駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２１の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図２２は、撮像部12031の設置位置の例を示す図である。
　図２２では、撮像部12031として、撮像部12101，12102，12103，12104，12105を有する。
　撮像部12101，12102，12103，12104，12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102，12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２２には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112，12113は、それぞれサイドミラーに設けられた撮像部12102，12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
　撮像部12101ないし12104の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化（車両12100に対する相対速度）を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度（例えば、0km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部12101ないし12104の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。 
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。撮像部12031に本開示に係る技術を適用することにより、、露光時間を長くすることができるため、画像を明るくして、見やすい撮影画像を得ることができる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）複数の画像信号のそれぞれを互いに異なるゲインにより増減するゲイン処理部と、
　前記増減された複数の画像信号に対するアナログデジタル変換により複数の画像データを生成するアナログデジタル変換部と、
　前記複数の画像データのいずれかである短時間露光データに前記ゲインの比率を乗算したデータと前記複数の画像データのうち前記短時間露光データに該当しないデータとを加算して長時間露光データとして出力する演算部と、
　前記短時間露光データと前記長時間露光データとを所定の合成比率により合成する合成部と
を具備する固体撮像素子。
（２）所定方向に複数の画素がそれぞれに配列された所定数のラインが設けられた画素アレイ部をさらに具備し、
　前記ゲイン処理部は、
　前記所定数のラインのうち特定のラインからの画素信号を第１のゲインにより増減する第１のアンプと、
　前記所定数のラインのうち前記特定のラインに該当しないラインからの画素信号を第２のゲインにより増減する第２のアンプと
を備える前記（１）記載の固体撮像素子。
（３）前記アナログデジタル変換部は、
　前記第１のアンプにより増減された画素信号に対するアナログデジタル変換により第１の画素データを生成する第１のアナログデジタル変換器と、
　前記第２のアンプにより増減された画素信号に対するアナログデジタル変換により第１の画素データを生成する第２のアナログデジタル変換器と
を備える前記（２）記載の固体撮像素子。
（４）第１の露光終了時刻が経過すると前記所定数のラインを順に駆動して前記画素信号を出力させ、前記所定数のラインの出力が完了する前の第２の露光終了時刻が経過すると前記所定数のラインを順に駆動して前記画素信号を出力させるドライバをさらに具備する前記（２）または（３）に記載の固体撮像素子。
（５）前記複数の画像信号は、第１および第２の画像信号を含み、
　前記ゲイン処理部は、前記第１の画像信号を第１のゲインにより増減し、前記第２の画像信号を第２のゲインにより増減し、
　前記アナログデジタル変換部は、前記第１および第２の画像信号に対するアナログデジタル変換により第１および第２の画像データを生成し、
　前記演算部は、前記第２の画像データを前記短時間露光データとして前記第１のゲインに対する前記第２のゲインの比率を前記短時間露光データに乗算したデータと前記第１の画像データとを加算して前記長時間露光データとして出力する
前記（１）から（４）のいずれかに記載の固体撮像素子。
（６）前記複数の画像信号は２枚より多くの画像信号を含み、
　前記合成部は、前記複数の画像信号の枚数より１つ少ない所定数の前記長時間露光データと前記短時間露光データとを合成し、
　前記演算部は、前記所定数を超えない一定数の前記画像データのいずれかと前記一定数の画像データの残りの画像データのそれぞれに前記ゲインの比率を乗算したデータとを加算して前記所定数の長時間画像データのいずれかとして出力する処理を前記所定数の回数に亘って行う
前記（１）から（５）のいずれかに記載の固体撮像素子。
（７）前記演算部は、
　前記複数の画像データのそれぞれに所定値を乗算する乗算部と、
　前記乗算された短時間露光データに前記ゲインの比率を乗算したデータと前記乗算された複数の画像データのうち前記短時間露光データに該当しないデータとを加算して前記長時間露光データとして出力する長時間データ演算部と
を備える前記（１）から（６）のいずれかに記載の固体撮像素子。
（８）複数の画像信号のそれぞれを互いに異なるゲインにより増減するゲイン処理部と、
　前記増減された複数の画像信号に対するアナログデジタル変換により複数の画像データを生成するアナログデジタル変換部と、
　前記複数の画像データのいずれかである短時間露光データに前記ゲインの比率を乗算したデータと前記複数の画像データのうち前記短時間露光データに該当しないデータとを加算して長時間露光データとして出力する演算部と、
　前記短時間露光データと前記長時間露光データとを所定の合成比率により合成して合成フレームとして出力する合成部と、
　前記合成フレームに対して所定のデジタル信号処理を実行するデジタル信号処理部と
を具備する撮像装置。
（９）複数の画像信号のそれぞれを互いに異なるゲインにより増減するゲイン処理手順と
　前記増減された複数の画像信号に対するアナログデジタル変換により複数の画像データを生成するアナログデジタル変換手順と、
　前記複数の画像データのいずれかである短時間露光データに前記ゲインの比率を乗算したデータと前記複数の画像データのうち前記短時間露光データに該当しないデータとを加算して長時間露光データとして出力する演算手順と、
　前記短時間露光データと前記長時間露光データとを所定の合成比率により合成する合成手順と
を具備する固体撮像素子の制御方法。
　１００　撮像装置
　１１０　光学部
　１２０　ＤＳＰ回路
　１３０　表示部
　１４０　操作部
　１５０　バス
　１６０　電源部
　１７０　記録部
　１８０、２８１　フレームメモリ
　２００　固体撮像素子
　２０１　上層基板
　２０２　中層基板
　２０３　下層基板
　２１０　画素領域
　２１１、２１３　ランプ信号生成部
　２１２　ドライバ
　２２０　画素アレイ部
　２３０　画素ブロック
　２３１、２３２、２３５、２３６、２３９、２４０、２４３、２４４　転送トランジスタ
　２３３、２３４、２３７、２３８、２４１、２４２、２４５、２４６　光電変換素子
　２４７　リセットトランジスタ
　２４８　浮遊拡散層
　２４９　増幅トランジスタ
　２５０　選択トランジスタ
　２６０、２７０　信号処理部
　２６１、２７１　ＤＡ変換部
　２６２、２７２　アンプ
　２６３、２７３　ＡＤ変換器
　２６４、２７４　コンパレータ
　２６５、２７５　カウンタ
　２６６、２７６、２９５　スイッチ
　２８０　メモリ領域
　２９０　ロジック領域
　２９１　制御部
　２９２　フレーム加算部
　２９３、２９７、２９８　乗算器
　２９４　加算器
　２９６　ＨＤＲ合成部

Claims (9)

  1. 　複数の画像信号のそれぞれを互いに異なるゲインにより増減するゲイン処理部と、
    　前記増減された複数の画像信号に対するアナログデジタル変換により複数の画像データを生成するアナログデジタル変換部と、
    　前記複数の画像データのいずれかである短時間露光データに前記ゲインの比率を乗算したデータと前記複数の画像データのうち前記短時間露光データに該当しないデータとを加算して長時間露光データとして出力する演算部と、
    　前記短時間露光データと前記長時間露光データとを所定の合成比率により合成する合成部と
    を具備する固体撮像素子。
  2. 　所定方向に複数の画素がそれぞれに配列された所定数のラインが設けられた画素アレイ部をさらに具備し、
    　前記ゲイン処理部は、
    　前記所定数のラインのうち特定のラインからの画素信号を第１のゲインにより増減する第１のアンプと、
    　前記所定数のラインのうち前記特定のラインに該当しないラインからの画素信号を第２のゲインにより増減する第２のアンプと
    を備える請求項１記載の固体撮像素子。
  3. 　前記アナログデジタル変換部は、
    　前記第１のアンプにより増減された画素信号に対するアナログデジタル変換により第１の画素データを生成する第１のアナログデジタル変換器と、
    　前記第２のアンプにより増減された画素信号に対するアナログデジタル変換により第２の画素データを生成する第２のアナログデジタル変換器と
    を備える請求項２記載の固体撮像素子。
  4. 　第１の露光終了時刻が経過すると前記所定数のラインを順に駆動して前記画素信号を出力させ、前記所定数のラインの出力が完了する前の第２の露光終了時刻が経過すると前記所定数のラインを順に駆動して前記画素信号を出力させるドライバをさらに具備する請求項２記載の固体撮像素子。
  5. 　前記複数の画像信号は、第１および第２の画像信号を含み、
    　前記ゲイン処理部は、前記第１の画像信号を第１のゲインにより増減し、前記第２の画像信号を第２のゲインにより増減し、
    　前記アナログデジタル変換部は、前記第１および第２の画像信号に対するアナログデジタル変換により第１および第２の画像データを生成し、
    　前記演算部は、前記第２の画像データを前記短時間露光データとして前記第１のゲインに対する前記第２のゲインの比率を前記短時間露光データに乗算したデータと前記第１の画像データとを加算して前記長時間露光データとして出力する
    請求項１記載の固体撮像素子。
  6. 　前記複数の画像信号は２枚より多くの画像信号を含み、
    　前記合成部は、前記複数の画像信号の枚数より１つ少ない所定数の前記長時間露光データと前記短時間露光データとを合成し、
    　前記演算部は、前記所定数を超えない一定数の前記画像データのいずれかと前記一定数の画像データの残りの画像データのそれぞれに前記ゲインの比率を乗算したデータとを加算して前記所定数の長時間画像データのいずれかとして出力する処理を前記所定数の回数に亘って行う
    請求項１記載の固体撮像素子。
  7. 　前記演算部は、
    　前記複数の画像データのそれぞれに所定値を乗算する乗算部と、
    　前記乗算された短時間露光データに前記ゲインの比率を乗算したデータと前記乗算された複数の画像データのうち前記短時間露光データに該当しないデータとを加算して前記長時間露光データとして出力する長時間データ演算部と
    を備える請求項１記載の固体撮像素子。
  8. 　複数の画像信号のそれぞれを互いに異なるゲインにより増減するゲイン処理部と、
    　前記増減された複数の画像信号に対するアナログデジタル変換により複数の画像データを生成するアナログデジタル変換部と、
    　前記複数の画像データのいずれかである短時間露光データに前記ゲインの比率を乗算したデータと前記複数の画像データのうち前記短時間露光データに該当しないデータとを加算して長時間露光データとして出力する演算部と、
    　前記短時間露光データと前記長時間露光データとを所定の合成比率により合成して合成フレームとして出力する合成部と、
    　前記合成フレームに対して所定のデジタル信号処理を実行するデジタル信号処理部と
    を具備する撮像装置。
  9. 　複数の画像信号のそれぞれを互いに異なるゲインにより増減するゲイン処理手順と
    　前記増減された複数の画像信号に対するアナログデジタル変換により複数の画像データを生成するアナログデジタル変換手順と、
    　前記複数の画像データのいずれかである短時間露光データに前記ゲインの比率を乗算したデータと前記複数の画像データのうち前記短時間露光データに該当しないデータとを加算して長時間露光データとして出力する演算手順と、
    　前記短時間露光データと前記長時間露光データとを所定の合成比率により合成する合成手順と
    を具備する固体撮像素子の制御方法。
PCT/JP2017/013518 2016-07-13 2017-03-31 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 WO2018012051A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/314,548 US10652476B2 (en) 2016-07-13 2017-03-31 Solid-state image pickup element, image pickup apparatus, and control method of solid-state image pickup element

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-138087 2016-07-13
JP2016138087A JP2018011162A (ja) 2016-07-13 2016-07-13 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Publications (1)

Publication Number Publication Date
WO2018012051A1 true WO2018012051A1 (ja) 2018-01-18

Family

ID=60952003

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/013518 WO2018012051A1 (ja) 2016-07-13 2017-03-31 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Country Status (3)

Country Link
US (1) US10652476B2 (ja)
JP (1) JP2018011162A (ja)
WO (1) WO2018012051A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11575842B2 (en) 2018-08-03 2023-02-07 Canon Kabushiki Kaisha Imaging apparatus
US20230102607A1 (en) * 2020-02-03 2023-03-30 Sony Semiconductor Solutions Corporation Electronic device
US11678080B2 (en) 2021-02-04 2023-06-13 Canon Kabushiki Kaisha Photoelectric conversion device and photoelectric conversion system
WO2023105916A1 (ja) * 2021-12-08 2023-06-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11379961B2 (en) 2018-03-16 2022-07-05 Sony Corporation Information processing apparatus, information processing method, and program
JP7221286B2 (ja) * 2018-06-21 2023-02-13 株式会社半導体エネルギー研究所 撮像装置及びその動作方法、並びに電子機器
WO2021246093A1 (ja) * 2020-06-02 2021-12-09 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
CN111770282B (zh) * 2020-06-28 2021-06-01 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质及终端设备
JP2022086116A (ja) * 2020-11-30 2022-06-09 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、固体撮像素子の制御方法、および、撮像装置
CN117837166A (zh) * 2021-10-15 2024-04-05 索尼半导体解决方案公司 固态成像元件、成像装置和固态成像元件的控制方法
WO2023162471A1 (ja) * 2022-02-28 2023-08-31 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008167004A (ja) * 2006-12-27 2008-07-17 Sony Corp 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP2014022931A (ja) * 2012-07-18 2014-02-03 Canon Inc 撮像装置、その制御方法、および制御プログラム
JP2014039170A (ja) * 2012-08-16 2014-02-27 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2016053849A (ja) * 2014-09-03 2016-04-14 ソニー株式会社 画像処理装置および画像処理方法、並びに固体撮像装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9544505B2 (en) * 2014-04-11 2017-01-10 Hanwha Techwin Co., Ltd. Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof
JP6385192B2 (ja) * 2014-08-14 2018-09-05 キヤノン株式会社 撮像装置、撮像システム及び撮像システムの駆動方法
US10880504B2 (en) * 2016-12-27 2020-12-29 Canon Kabushiki Kaisha Image pickup device, image capturing system, and movable body

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008167004A (ja) * 2006-12-27 2008-07-17 Sony Corp 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP2014022931A (ja) * 2012-07-18 2014-02-03 Canon Inc 撮像装置、その制御方法、および制御プログラム
JP2014039170A (ja) * 2012-08-16 2014-02-27 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2016053849A (ja) * 2014-09-03 2016-04-14 ソニー株式会社 画像処理装置および画像処理方法、並びに固体撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11575842B2 (en) 2018-08-03 2023-02-07 Canon Kabushiki Kaisha Imaging apparatus
US20230102607A1 (en) * 2020-02-03 2023-03-30 Sony Semiconductor Solutions Corporation Electronic device
US11678080B2 (en) 2021-02-04 2023-06-13 Canon Kabushiki Kaisha Photoelectric conversion device and photoelectric conversion system
WO2023105916A1 (ja) * 2021-12-08 2023-06-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Also Published As

Publication number Publication date
JP2018011162A (ja) 2018-01-18
US10652476B2 (en) 2020-05-12
US20190364188A1 (en) 2019-11-28

Similar Documents

Publication Publication Date Title
WO2018012051A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020105314A1 (ja) 固体撮像素子、および、撮像装置
JP2019029985A (ja) 固体撮像装置、及び電子機器
US10880509B2 (en) Solid-state imaging element, electronic device, and method for correcting uneven luminance
US11196956B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
US11252367B2 (en) Solid-stage image sensor, imaging device, and method of controlling solid-state image sensor
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
US11089249B2 (en) Imaging apparatus and electronic equipment
WO2017163890A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
WO2017169233A1 (ja) 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器
JPWO2019003675A1 (ja) 撮像装置とフリッカー補正方法およびプログラム
KR102493027B1 (ko) 촬상 소자 및 그 구동 방법, 그리고 전자 기기
WO2021060118A1 (ja) 撮像装置
WO2018105372A1 (ja) 固体撮像装置、駆動方法、および電子機器
WO2017169274A1 (ja) 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器
WO2018139187A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
US11889207B2 (en) Solid-state imaging element, imaging device, and method for controlling solid-state imaging element
WO2017203752A1 (ja) 撮像装置、および制御方法
CN111801935B (zh) 摄像装置和电子设备
CN111713100B (zh) 摄像器件和电子设备
WO2023105916A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020205507A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020017552A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2021192459A1 (ja) 撮像装置
JP2018113615A (ja) 固体撮像素子、駆動方法、および電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17827185

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17827185

Country of ref document: EP

Kind code of ref document: A1