WO2017111154A1 - 固体撮像装置、固体撮像装置の駆動方法、および電子機器 - Google Patents

固体撮像装置、固体撮像装置の駆動方法、および電子機器 Download PDF

Info

Publication number
WO2017111154A1
WO2017111154A1 PCT/JP2016/088654 JP2016088654W WO2017111154A1 WO 2017111154 A1 WO2017111154 A1 WO 2017111154A1 JP 2016088654 W JP2016088654 W JP 2016088654W WO 2017111154 A1 WO2017111154 A1 WO 2017111154A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
high gain
threshold value
threshold
processing unit
Prior art date
Application number
PCT/JP2016/088654
Other languages
English (en)
French (fr)
Inventor
高根　靖雄
Original Assignee
ブリルニクスジャパン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブリルニクスジャパン株式会社 filed Critical ブリルニクスジャパン株式会社
Priority to CN201680074824.0A priority Critical patent/CN108432238B/zh
Priority to US16/065,351 priority patent/US10735676B2/en
Publication of WO2017111154A1 publication Critical patent/WO2017111154A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range

Definitions

  • the present invention relates to a solid-state imaging device, a driving method for the solid-state imaging device, and an electronic apparatus.
  • CMOS Complementary Metal Oxide Semiconductor
  • image sensor solid-state imaging device
  • CMOS image sensors are widely applied as a part of various electronic devices such as digital cameras, video cameras, surveillance cameras, medical endoscopes, personal computers (PCs), and mobile terminal devices (mobile devices) such as mobile phones. Yes.
  • the CMOS image sensor has an FD amplifier having a photodiode (photoelectric conversion element) and a floating diffusion layer (FD: Floating Diffusion) for each pixel, and the readout selects one row in the pixel array.
  • FD floating diffusion layer
  • a column parallel output type in which these are simultaneously read in the column direction is the mainstream.
  • CMOS image sensor having a high dynamic range
  • HDR High Dynamic Range
  • a method for increasing (enlarging) the dynamic range for example, two types of signals with different accumulation times are read from the same pixel of the image sensor, and the two types of signals are combined to obtain a dynamic range.
  • a method of expanding the dynamic range by combining a signal having a high sensitivity pixel and a small dynamic range and a signal having a low sensitivity and an expanded dynamic range.
  • Patent Document 1 discloses a high dynamic range technology that divides into two or more different exposure times for imaging corresponding to a high illuminance side with a short exposure time and imaging corresponding to a low illuminance with a long exposure time. . Patent Document 1 discloses a technique for increasing the dynamic range in which the floating diffusion capacity is variable.
  • Patent Document 2 a low-illuminance side output OUT1 and a high-sensitivity low-illuminance side small diffusion C1 floating diffusion and a low-sensitivity high-illuminance large-capacity C2 floating diffusion are connected to the photodiode PD.
  • a technique for increasing the dynamic range by outputting the illuminance side output OUT2 is disclosed.
  • These signal synthesizing methods include those of a method over a plurality of frames and a method of outputting a plurality of types of signals having different dynamic ranges within one frame.
  • a plurality of signals to be combined have linearity of output voltage with respect to incident light quantity (illuminance) in the vicinity of the signal value to be combined (signal switching). It needs to be kept approximately the same.
  • Each signal is designed to have a different gain for the amount of light (illuminance) in order to expand the dynamic range (D range), so the gain is corrected mainly by the digital signal processing circuit after digital conversion by the analog-digital converter (ADC).
  • ADC analog-digital converter
  • the linearity (or inclination) is kept the same.
  • the present invention enables smooth switching of a plurality of signals to be combined regardless of individual variations, etc., and can realize a high dynamic range while suppressing image deterioration, and thus can realize high image quality. It is an object to provide a solid-state imaging device, a driving method of the solid-state imaging device, and an electronic apparatus.
  • a first aspect of the present invention is a solid-state imaging device capable of expanding a dynamic range by combining a plurality of readout signals, and when combining the plurality of readout signals, Signal processing that selects at least one signal necessary for synthesis according to the comparison result between at least one readout signal and a threshold value, and generates a synthesized signal with an expanded dynamic range by applying the selected signal to the synthesis processing And the signal processing unit can dynamically change the threshold value.
  • a second aspect of the present invention is a method for driving a solid-state imaging device capable of expanding a dynamic range by combining a plurality of readout signals, wherein the plurality of readout signals are combined when the plurality of readout signals are combined.
  • a generation step for generating a combined signal with an expanded range, and the threshold value is dynamically changed to perform the comparison step, the selection step, and the generation step.
  • An electronic apparatus includes a solid-state imaging device capable of expanding a dynamic range by combining a plurality of readout signals, and an optical system that forms a subject image on the solid-state imaging device, When combining the plurality of readout signals, the solid-state imaging device generates at least one signal necessary for the synthesis according to a comparison result between at least one readout signal of the plurality of readout signals and a threshold value. And a signal processing unit that generates a combined signal with an expanded dynamic range by applying the selected signal to the combining process, and the signal processing unit can dynamically change the threshold value.
  • the present invention it is possible to smoothly switch a plurality of signals to be combined regardless of individual variations, etc., to realize a high dynamic range while suppressing image deterioration, and to realize high image quality. it can.
  • FIG. 1 is a block diagram showing an example of the overall configuration of the signal processing system of the solid-state imaging device according to the first embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a configuration example of pixels (pixels) capable of generating a low gain signal and a high gain signal in the pixel array unit according to the first embodiment.
  • FIG. 3 is a diagram illustrating a configuration example of the signal processing unit according to the first embodiment of the present invention.
  • FIG. 4 is a diagram for specifically explaining a synthesis method for synthesizing a high gain signal and a low gain signal into a high dynamic range signal.
  • FIG. 1 is a block diagram showing an example of the overall configuration of the signal processing system of the solid-state imaging device according to the first embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a configuration example of pixels (pixels) capable of generating a low gain signal and a high gain signal in the pixel array unit according to the first embodiment.
  • FIG. 3 is a diagram illustrating
  • FIG. 5 schematically shows the relationship among a signal level, a central threshold, each coupling position (point), and a threshold that is dynamically set when a low gain signal and a high gain signal are smoothly synthesized in four steps.
  • FIG. FIG. 6 is a flowchart for explaining an example of the synthesizing process in the signal processing unit according to the first embodiment.
  • FIG. 7 is a diagram illustrating a configuration example of a signal processing unit according to the second embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a specific configuration example of the random number generation unit of FIG.
  • FIG. 9 is a diagram for explaining a process of combining three signals of a high gain signal, a medium gain signal, and a low gain signal with the same slope.
  • FIG. 10 is a diagram illustrating an example of a high dynamic range technique that divides the exposure time into two or more different exposure times for imaging corresponding to the high illuminance side with a short exposure time and imaging corresponding to low illuminance with a long exposure time.
  • FIG. 11 is a diagram for explaining an example of increasing the dynamic range in units of frames.
  • FIG. 12 is a diagram illustrating an example of a configuration of an electronic apparatus to which the solid-state imaging device according to the embodiment of the present invention is applied.
  • SYMBOLS 10 Solid-state imaging device, 20 ... Register controller, 30 ... Timing controller, 40 ... Pixel (pixel) array part, 50 ... Analog gain part, 60 ... Analog-digital converter (ADC) ), 70 ... Digital signal processor (DSP), 710, 710A ... Signal processing unit, 711,712 ... Multiplier, 713,713A ... Composition processing unit, 714 ... Random number generation unit, 80 ... Scalable low-voltage signal transmission (SLVS) interface unit, 90 ... Clock generator, 100 ... Electronic equipment, 110 ... CMOS image sensor, 120 ... Optical system, 130 ... Signal processing Circuit (PRC).
  • PRC Signal processing Circuit
  • FIG. 1 is a block diagram showing an example of the overall configuration of the signal processing system of the solid-state imaging device according to the first embodiment of the present invention.
  • the solid-state imaging device 10 is configured to be able to expand a dynamic range by synthesizing a plurality of (two or three or more) read signals read out from pixels (pixels), for example, a CMOS image sensor.
  • pixels for example, a CMOS image sensor.
  • ADC Analog Digital Converter
  • DSP Digital Signal Processor
  • SVS Scalable Low Voltage Signal Transmission
  • Clock Generator Clock Generator
  • the register controller 20, the timing controller 30, the analog gain unit 50, the ADC unit 60, the DSP unit 70, and the SLVS interface unit 80 are connected by a bus BS for transmitting and receiving signals. Further, the system clock CLK generated by the clock generator 90 is supplied to the register controller 20, the timing controller 30, the analog gain unit 50, the ADC unit 60, the DSP unit 70, and the SLVS interface unit 80.
  • the register controller 20 communicates with an external control device such as a CPU and a DSP (not shown), and functions as a storage unit in which operation mode settings and various control parameters are written.
  • an external control device such as a CPU and a DSP (not shown)
  • the timing controller 30 generates a control pulse S30 for reading pixel data in accordance with various operation modes, and performs read control of the pixel array unit 40.
  • a plurality of pixels including photodiodes (photoelectric conversion elements) and in-pixel amplifiers are arranged in a two-dimensional matrix (matrix) of N rows ⁇ M columns.
  • the read signal read from the pixel group including the photoelectric conversion elements of the pixel array unit 40 is amplified with a predetermined gain by the analog gain unit 50 and converted into a digital signal by the ADC unit 60.
  • the signal is converted and input to a DSP unit 70 that functions as a signal processing unit as will be described in detail later.
  • a column memory is arranged at the output stage of the ADC unit 60.
  • the DSP unit 70 performs image signal processing such as correlated double sampling (CDS: Correlated Double Sampling), black correction, and digital gain on the input digital signal, and then the output type (see FIG. 1 is output in conformity with SLVS).
  • CDS Correlated Double Sampling
  • black correction black correction
  • digital gain digital gain
  • the readout signals read from the pixel group including the photoelectric conversion elements of the pixel array unit 40 are a plurality of types (two types in this example) having different photoelectric conversion gains. Two signals, a gain signal (HCG: High conversion gain) and a low gain signal (LCG: Low conversion gain) are read out. Then, the signal processing unit 710 of the DSP unit 70 combines the two signals to generate a high dynamic range signal with an expanded dynamic range.
  • HCG High conversion gain
  • LCG Low conversion gain
  • the high gain signal HCG is a high gain output signal from the photoelectric conversion element unit, but is saturated with a smaller amount of incident light than the low gain signal LCG. Since the low gain signal LCG is a low gain output signal, there is a margin in the amount of incident light reaching saturation, which is larger than the high gain signal HCG. Therefore, in the signal processing unit 710 of the DSP unit 70, the slopes of the low gain signal LCG and the high gain signal HCG are equalized, and the area before the high gain signal HCG is saturated, that is, the region where linearity is maintained (unsaturated region). In (2), a synthesized signal which is a signal having an increased dynamic range is obtained by synthesizing these two types of signals.
  • the signal processing unit 710 of the DSP unit 70 that performs synthesis processing of the high gain signal HCG and the low gain signal LCG basically has the following characteristic configuration and function. Specific composition processing will be described in detail later.
  • the signal processing unit 710 of the present embodiment is configured to be able to expand the dynamic range by combining a plurality of read signals (in this example, a high gain signal HCG and a low gain signal LCG).
  • the signal processing unit 710 equalizes the slopes of a plurality of readout signals to be combined, for example, the high gain signal HCG and the low gain signal LCG.
  • the signal processing unit 710 compares at least one readout signal (high gain signal HCG, low gain signal LCG) of the plurality of readout signals with a threshold (Joint Threshold). Accordingly, at least one signal necessary for synthesis is selected, and a synthesized signal with an expanded dynamic range is generated by applying the selected signal to the synthesis process.
  • the signal processing part 710 of this embodiment is comprised so that a threshold value can be changed dynamically.
  • the signal processing unit 710 uses a preset reference threshold (center threshold) Joint Threshold (hereinafter, J Thresh) and reference threshold value J
  • J Thresh Joint Threshold
  • a preset reference threshold (center threshold) J Threshold is rewritably written in, for example, a register (REG) serving as a storage unit.
  • the signal processing unit 710 uses a threshold value (J According to a comparison result with Thresh, JThresh ⁇ step ⁇ ), a weighting processing unit for weighting a plurality of readout signals (high gain signal HCG and low gain signal LCG) to be combined is provided.
  • the weighting processing unit calculates a weighted average value according to the weighting value assigned to this area at the signal level of the area sandwiched between the threshold values, and outputs the weighted average value as a combined signal of the area.
  • the weighting processing unit of the signal processing unit 710 is configured to include an addition averaging processing function that averages a plurality of read signals.
  • an addition averaging processing function that averages a plurality of read signals.
  • each signal at the signal level in the region sandwiched between the threshold values has a value obtained by the addition average to be one output.
  • FIG. 2 is a diagram illustrating a configuration example of the pixel PXL that can generate the low gain signal LCG and the high gain signal HCG in the pixel array unit 40 according to the first embodiment.
  • the pixel PXL in FIG. 2 includes a photodiode PD, a capacitor C11 formed by a parasitic capacitor or an additional capacitor connected to the cathode side of the photodiode PD, and a reset transistor RST ⁇ that resets the photodiode PD and capacitors C11 to C13. It has Tr.
  • the photodiode PD generates and accumulates signal charges (electrons here) in an amount corresponding to the amount of incident light.
  • signal charges electron here
  • each transistor is an n-type transistor
  • the signal charge may be a hole or each transistor may be a p-type transistor.
  • the pixel PXL includes a transfer transistor TG11-Tr as a transfer switch connected to the capacitor C11, a capacitor C12 that accumulates charges transferred from the photodiode PD and the capacitor C11, a selection transistor SEL11-Tr as a selection switch, and a gate.
  • a source follower transistor SF11-Tr connected to the capacitor C12 is included.
  • the pixel PXL includes a transfer transistor TG12-Tr as a transfer switch connected to the capacitor C11, a capacitor C13 that accumulates charges transferred from the photodiode PD and the capacitor C11, a selection transistor SEL12-Tr as a selection switch, and
  • the source follower transistor SF12-Tr has a gate connected to the capacitor C13.
  • the control pulse S30 generated by the timing controller 30 is supplied to the gates of the reset transistor RST-Tr, transfer transistors TG11-Tr, TG12-Tr, selection transistors SEL11-Tr, SEL12-Tr of the pixel PXL. On / off control is performed.
  • the pixel PXL in FIG. 2 is configured such that the charges accumulated in the photodiode PD and the capacitor C11 are output via the two output systems out1 and out2.
  • the low gain signal LCG is output to the output system out1
  • the high gain signal HCG is output to the output system out2.
  • the output system out1 and the output system out2 are wired OR
  • the high-gain signal HCG and the low-gain signal LCG of the two systems in each column are common signal lines (vertical signal lines). Output to LSGN in time division.
  • the potential of the capacitor C11 formed by the photodiode PD, parasitic capacitance or additional capacitance is reset to the reset potential Vr (VDD in the example of FIG. 2) by the reset transistor RST-Tr.
  • Vr VDD in the example of FIG. 2
  • the reset transistor RST-Tr When light enters the photodiode PD during the accumulation period, the generated photocharge is accumulated in the photodiode PD and the capacitor C11. In this state, by turning on the transfer transistor TG11-Tr as the transfer switch or the transfer transistor TG12-Tr as the transfer switch, the potential of the capacitor C12 or the capacitor C13 changes according to the generated photocharge.
  • the capacitances C12 and C13 are dominated by the parasitic capacitances of the gate electrodes of the source follower transistors SF11-Tr and SF12-Tr, respectively.
  • the selection transistors SEL11-Tr and SEL12-Tr are row selection switches, and are switches for selecting a row in which the pixels PXL are arranged in a two-dimensional array.
  • the selection transistors SEL11-Tr and SEL12-Tr are connected to the power supply VDD.
  • the output system out1 and the output system out2 are connected to a constant current source (not shown) via a signal line LSGN, and form a source follower amplifier together with the source follower transistors SF11-Tr and SF12-Tr. .
  • the selection transistors SEL11-Tr and SEL12-Tr form a source follower amplifier with a constant current source, and the transistor TG11-Tr and the transistor SEL11-Tr are selected. Any one of the source follower amplifiers can be selected by selecting the transistor TG12-Tr and the transistor SEL12-Tr.
  • the two high gain signals HCG and the low gain signal LCG are output to the common signal line (vertical signal line) LSGN in a time division manner.
  • the advantage of selecting the reading capacitors C12 and C13 in some cases is that a dynamic range (DR: D-range) can be selected depending on the photographing conditions.
  • a plurality of readout signals read out from the pixel PXL including the photoelectric conversion elements are at least one set of a low gain signal LCG and a high gain signal HCG that is saturated with a smaller amount of incident light than the low gain signal LCG.
  • FIG. 3 is a diagram illustrating a configuration example of the signal processing unit according to the first embodiment of the present invention.
  • the signal processing unit 710 in FIG. 3 includes multipliers 711 and 712 and a synthesis processing unit 713 having a function as a weighting processing unit.
  • the multiplier 711 sets the slope of the low gain signal LCG having linearity before saturation to the slope of the high gain signal HCG having linearity before saturation.
  • the multiplier 712 multiplies the input high gain signal HCG by a gain ratio of 1.0 in order to finely adjust the slope of the high gain signal HCG, and supplies the result to the synthesis processing unit 713. Note that the multiplier 712 is arranged for fine adjustment, and is not necessarily required.
  • the synthesis processing unit 713 receives the low gain signal LCG and the high gain signal HCG that are adjusted to have the same slope, and is in a non-saturated region ANSAT that maintains linearity before the high gain signal HCG is saturated. Thus, the low gain signal LCG and the high gain signal HCG are synthesized by the synthesis process.
  • the synthesis processing unit 713 functions as a weighting processing unit, and for example, a threshold (J) corresponding to a reference high gain signal HCG among a plurality of low gain signals LCG and high gain signals HCG.
  • Thresh, J It has a function as a weighting processing unit that performs weighting processing on the high gain signal HCG and the low gain signal LCG to be synthesized according to the comparison result with (Thresh ⁇ step ⁇ ).
  • the synthesis processing unit 713 calculates a weighted average value according to a weighting value assigned to this region at the signal level of the region sandwiched between the threshold values, and outputs the weighted average value as a combined signal of the region. It has the function to do.
  • the synthesis processing unit 713 is configured to include, as a weighting processing unit, an addition average processing function that adds and averages the low gain signal LCG and the high gain signal HCG.
  • an addition average processing function that adds and averages the low gain signal LCG and the high gain signal HCG.
  • each signal at the signal level in the region sandwiched between the threshold values has a value obtained by the addition average to be one output.
  • a plurality of signal processing units 710 having the above configuration are arranged corresponding to each column of the matrix arrangement of the pixel array unit 40.
  • the basic block configuration of the signal processing unit 710 according to the present embodiment has been described.
  • a synthesizing method in which the high gain signal HCG and the low gain signal LCG having two different characteristics are synthesized by the signal processing unit 710 according to the present embodiment to obtain a high dynamic range signal will be illustrated and described more specifically.
  • FIGS. 4A to 4C are diagrams for specifically explaining a synthesis method for synthesizing the high gain signal HCG and the low gain signal LCG into a high dynamic range signal.
  • FIG. 4A shows an outline of processing for adjusting the slopes of the high gain signal HCG and the low gain signal LCG to be the same.
  • FIG. 4B shows that the high gain signal HCG and the low gain signal LCG are smoothly smoothed in four steps by synthesizing processing in the non-saturated region ANSAT where the linearity is maintained just before the high gain signal HCG is saturated. It shows that it is synthesized.
  • FIG. 4C shows a center threshold value J when the high gain signal HCG and the low gain signal LCG are smoothly synthesized in four steps in a stepwise manner.
  • Thresh each coupling position (point) jp0 to jp3, dynamically set threshold (J Thresh-step2), (J Thresh-step 1), (J Thresh + step1), (J Thresh + step 2), schematically illustrating the relationship between weight values.
  • FIG. 5 shows the signal level and the central threshold value J when the high gain signal HCG and the low gain signal LCG are smoothly synthesized in four steps.
  • Thresh each coupling position (point) jp0 to jp3, dynamically set threshold (J Thresh-step2), (J Thresh-step 1), (J Thresh + step1), (J Thresh + step 2), schematically showing the relationship of the area between the threshold values.
  • a high gain signal HCG and a low gain signal LCG correspond to the above-mentioned two systems of signals.
  • the high gain signal HCG and the low gain signal LCG are both digital signals.
  • the high gain signal HCG is a high gain output signal from the photoelectric conversion element unit, but is saturated with a smaller amount of incident light than the low gain signal LCG. Since the low gain signal LCG is a low gain output signal, there is a margin in the amount of incident light reaching saturation, which is larger than the high gain signal HCG.
  • the signal processing unit 710 of the DSP unit 70 equalizes the slopes of the low gain signal LCG and the high gain signal HCG, and in the non-saturated region ANSAT before the high gain signal HCG is saturated, that is, in the non-saturation region ANSAT where the linearity is maintained.
  • a signal with an enhanced dynamic range (DR) can be obtained by combining two types of signals.
  • the synthesis processing unit 713 of the signal processing unit 710 can perform synthesis processing with reference to, for example, the high gain signal HCG. For example, as illustrated in FIGS. 4C and 5, the composition processing unit 713 sets the reference threshold value to the center threshold value JC at the center position JC (Joint Center) of the non-saturated region ANSAT. Set as Thresh.
  • the high gain signal endmost side coupling position jp0 is between the high gain signal endmost side coupling position jp (joint point) 0 from which the synthesized signal is to be combined with the high gain signal HCG from the center position JC where Thresh is set.
  • Thresh is set to two high gain side coupling positions jp0, jp1 and gradually increase from the center position JC toward the end of the high gain signal, corresponding to the set high gain side coupling positions jp1, jp0.
  • the gain side step values ( ⁇ ) step1, ( ⁇ ) step2 (step2> step1) are set.
  • Two low gain signal endmost side coupling positions jp3 are included between the low gain signal endmost side coupling position jp3 from which the synthesized signal is to be combined with the low gain signal LCG from the center position JC where Thresh is set.
  • the gain side coupling positions jp3 and jp2 are set, and the low gain side step value step1 corresponding to the set low gain side coupling positions jp2 and jp3 gradually increases from the center position JC toward the end of the low gain signal.
  • Step2 (step2> step1) is set.
  • the composition processing unit 713 performs, for example, a center threshold value J as shown in FIGS.
  • a center threshold value J By adding the low gain side step values step1 and step2 set to Thresh, new threshold values (J for the corresponding low gain side coupling positions jp2 and jp3) Thresh + step1), (J (Thresh + step2).
  • the composition processing unit 713 applies a new threshold value to the threshold value (J in the low gain side coupling positions jp2, jp3).
  • Thresh + step1), (J (Thresh + step2) and the high gain signal HCG are combined to perform synthesis processing.
  • the synthesis processing unit 713 performs processing on the threshold values (J Thresh-step2), (J Thresh-step1), or the threshold value of the low gain side coupling position jp2, jp3 (J Thresh + step1), (J Thresh + step2) and the signal level of the regions A01, A12, A23 sandwiched between the values selected by comparison with the high gain signal HCG are weighted according to the weighting values WV01, WV12, WV23 assigned to the regions A01, A12, A23.
  • the average values AVW01, AVW12, and AVW23 are calculated, and the weighted average values AVW01, AVW12, and AVW23 are used as synthesized signals (synthesized data) data of the area. Output as dhdr.
  • High gain side coupling position jp1 threshold J Threshold of the low gain side coupling position jp2 adjacent to Thresh-step1
  • Low gain side coupling position jp2 threshold J Threshold of the low gain side coupling position jp3 adjacent to Thresh + step1
  • the synthesis processing unit 713 generates a threshold value (J Thresh-step 2) and high gain signal HCG (data As a result of comparison with hcg), the level of the high gain signal HCG is When smaller than Thresh-step2), the high gain signal HCG (data hcg) is a composite signal (composite data) data. Apply as dhdr.
  • the synthesis processing unit 713 generates a threshold value (J Thresh + step2) and the high gain signal HCG (data As a result of comparison with hcg), the level of the high gain signal HCG is If greater than Thresh + step2), the low gain signal LCG (data lcg) is a synthesized signal (synthesized data) data Apply as dhdr.
  • FIG. 6 is a flowchart for explaining an example of the synthesis processing in the signal processing unit 710 according to the present embodiment.
  • the low gain signal LCG can be expressed as follows when converted by applying a digital gain so that the slope is the same as that of the high gain signal HCG.
  • K represents the gain ratio of HCG / LCG.
  • the synthesis processing unit 713 first sets the threshold value (J Thresh-step 2) and high gain signal HCG (data hcg) (step PR1), and the level of the high gain signal HCG is equal to the threshold (J It is determined whether it is smaller than Thresh-step2) (step PR2).
  • the synthesis processing unit 713 performs the high gain signal HCG (data hcg) is the threshold (J If it is determined that it is smaller than Thresh-step2), the high gain signal HCG (data hcg) is a composite signal (composite data) data. Apply as dhdr (step PR3).
  • the synthesis processing unit 713 performs the high gain signal HCG (data hcg) is the threshold (J If it is determined that it is larger than Thresh-step2), the threshold value (J Thresh-step 1) and high gain signal HCG (data hcg) (step PR4) and the high gain signal HCG (data hcg) is the threshold (J It is determined whether it is smaller than Thresh-step1) (step PR5).
  • step PR5 the synthesis processing unit 713 selects the high gain signal HCG (data hcg) is the threshold (J If it is determined that it is smaller than Thresh-step 1), the following processing is performed (steps PR6 and PR7).
  • the composition processing unit 713 generates a threshold value (J Thresh-step2) and the threshold value of the adjacent high gain side coupling position jp1 (J
  • the weighted average value AVW01 is used as the synthesized signal (synthesized data) data of the area. Apply as dhdr (step PR7).
  • step PR5 the synthesis processing unit 713 selects the high gain signal HCG (data hcg) is the threshold (J If it is determined that it is larger than Thresh-step1), the threshold value (J Thresh + step1) and the high gain signal HCG (data hcg) (step PR8) and the high gain signal HCG (data hcg) is the threshold (J It is determined whether it is smaller than Thresh + step1) (step PR9).
  • the synthesis processing unit 713 selects the high gain signal HCG (data hcg) is the threshold (J If it is determined that it is smaller than (Thresh + step1), the following processing is performed (steps PR10 and PR11).
  • the composition processing unit 713 generates a threshold value (J Threshold of the low gain side coupling position jp2 adjacent to Thresh-step1) (J
  • the weighted average value AVW12 is used as a composite signal (composite data) data of the area. Apply as dhdr (step PR11).
  • step PR9 the synthesis processing unit 713 selects the high gain signal HCG (data hcg) is the threshold (J If it is determined that it is larger than Thresh + step1), the threshold value (J Thresh + step2) and the high gain signal HCG (data hcg) (step PR12) and the high gain signal HCG (data hcg) is the threshold (J It is determined whether it is smaller than Thresh + step2) (step PR13).
  • step PR13 the synthesis processing unit 713 executes the high gain signal HCG (data hcg) is the threshold (J If it is determined that it is smaller than (Thresh + step2), the following processing is performed (steps PR14 and PR15).
  • the composition processing unit 713 generates a threshold value (J Threshold of the low gain side coupling position jp3 adjacent to Thresh + step1) (J
  • the weighted average value AVW23 is used as a composite signal (composite data) data of the area. Apply as dhdr (step PR15).
  • step PR13 the synthesis processing unit 713 executes the high gain signal HCG (data hcg) is the threshold (J If it is determined that it is not smaller than Thresh + step2) (step PR16), the low gain signal LCG (data lcg) is a synthesized signal (synthesized data) data Apply as dhdr (step PR17).
  • the signal processing unit 710 of the solid-state imaging device 10 is configured to be able to expand the dynamic range by combining a plurality of readout signals, for example, the high gain signal HCG and the low gain signal LCG.
  • the signal processing unit 710 equalizes the slopes of a plurality of readout signals to be combined, for example, the low gain signal LCG and the high gain signal HCG.
  • the signal processing unit 710 compares at least one readout signal (high gain signal HCG, low gain signal LCG) of the plurality of readout signals with a threshold (Joint Threshold).
  • the signal processing unit 710 is configured to be able to dynamically change the threshold, and a preset reference threshold (center threshold) J is set as the threshold.
  • Threshold and reference threshold J A new threshold value (J) determined by performing a comparison operation (for example, addition or subtraction) between Thresh and a predetermined step value step ⁇ ( ⁇ is a natural number) (Thresh ⁇ step ⁇ ), is applied to the synthesis process.
  • the combination is attempted. It is possible to smoothly switch a plurality of signals (to be combined), to reduce discontinuities, and to reduce noise, and to generate a high-quality and high-dynamic image signal with less noise. In addition, since individual variations can be absorbed, the yield of products can be improved.
  • the first embodiment it is possible to smoothly switch a plurality of signals to be combined regardless of individual variations, etc., and to realize a high dynamic range while suppressing image deterioration, and thus high image quality. Can be realized.
  • the signal processing unit 710 uses a threshold (J) corresponding to a reference readout signal (for example, the high gain signal HCG) among a plurality of readout signals. Thresh, J And a synthesis processing unit 713 including a function as a weighting processing unit for weighting a plurality of readout signals to be synthesized (high gain signal HCG and low gain signal LCG) according to the comparison result with (Thresh ⁇ step ⁇ ). Yes.
  • a synthesis processing unit 713 including a weighting processing unit calculates a weighted average value according to a weighting value assigned to this region at the signal level of the region sandwiched between the threshold values, and outputs the weighted average value as a combined signal of the region.
  • the weighting processing unit is configured to include an addition average processing function that adds and averages a plurality of read signals. In the addition average processing function, each signal at the signal level in the region sandwiched between the threshold values has a value obtained by the addition average to be one output.
  • a plurality of signals to be combined (synthesized) can be switched more smoothly, discontinuous points can be reliably reduced, and noise can be reduced. It is possible to generate a high-quality and high-dynamic image signal with less noise.
  • FIG. 7 is a diagram illustrating a configuration example of a signal processing unit according to the second embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a specific configuration example of the random number generation unit of FIG.
  • the signal processing unit 710A of FIG. 7 according to the second embodiment is different from the signal processing unit 710 of FIG. 3 according to the first embodiment in that a random number generation unit 714 is provided, and the synthesis processing unit 713A is a random number.
  • rnd (clk) is the threshold value J The threshold value is set by adding or subtracting from Threshold.
  • clk has the same frequency as the transfer clock for pixel data, and the random number changes in units of pixels.
  • the composition processing unit 713A uses, for example, an average value of a plurality of threshold values as a reference threshold value J It can be set as a central threshold corresponding to Thresh, and the central threshold is the initial central threshold J
  • a value newly calculated is added to the second central threshold (J Threshold + rnd (clk)) and the second central threshold (J Based on (Thresh + rnd (clk))
  • a signal selection process necessary for synthesis is performed.
  • the random number generator 714 is formed by a linear feedback shift register LFSR including exclusive OR gates EXOR1 to EXOR3 as shown in FIG. 8, for example.
  • FIG. 8 shows an example in the case of 16 bits.
  • this calculation process is performed by the initial center threshold value J
  • the value newly calculated by adding the random number rnd (clk) generated by the random number generator 714 to Threshold is the second central threshold (J Except for being applied as (Thresh + rnd (clk)), the same processing as the processing of Equation 3 and FIG. 6 is performed. Therefore, detailed description is omitted here.
  • the same effects as those of the first embodiment described above can be obtained. That is, according to the second embodiment, even when there is a variation in individual units of the solid-state imaging device or a variation between pixels in one individual, an attempt is made to combine (synthesize) And a plurality of signals can be smoothly switched, discontinuities can be reduced, and noise can be reduced, and a high-quality and dynamic image signal with less noise can be generated. In addition, since individual variations can be absorbed, the yield of products can be improved.
  • FIG. 9 is a diagram for explaining a process of combining the three signals of the high gain signal HCG, the medium gain signal MCG, and the low gain signal LCG with the same slope.
  • a medium gain signal MCG between high gain and low gain is added to the synthesis target.
  • the medium gain signal MCG and the high gain signal HCG are stepped by the same process as the synthesis process of the above-described embodiment. Is synthesized smoothly.
  • the gain ratio for adjusting the inclination at this time is HCG / MCG.
  • the medium gain signal MCG is treated as a signal similar to the low gain signal in the synthesis process of the above-described embodiment.
  • the medium gain signal MCG and the low gain signal LCG are staged by the same process as the synthesis process of the above-described embodiment. Is synthesized smoothly.
  • the gain ratio for adjusting the inclination at this time is MCG / LCG.
  • the medium gain signal MCG is treated as a signal similar to the high gain signal in the synthesis process of the above-described embodiment.
  • FIG. 10 is a diagram illustrating an example of a high dynamic range technique that divides the exposure time into two or more different exposure times for imaging corresponding to the high illuminance side with a short exposure time and imaging corresponding to low illuminance with a long exposure time.
  • two systems of the selection transistor SEL-Tr and the source follower transistor SF-Tr are provided in the configuration of the pixel PXL itself, and two high gain signals HCG and low gain signal LCG which are a plurality of readout signals are provided.
  • the configuration itself of the pixel PXL is provided with only one selection transistor SEL-Tr and source follower transistor SF-Tr.
  • imaging corresponding to the high illuminance side with a short exposure time and long exposure time. It is also possible to employ a high dynamic range technique that divides the exposure time into two or more exposure times that correspond to low illuminance.
  • a shutter scan SSCN is performed, and then a read scan RSCN is performed.
  • a read scan RSCN is performed.
  • Two exposure periods Tint0 and Tint1 from when SSCN is performed until readout scan RSCN is performed thereafter are provided with a difference in time.
  • FIG. 11 is a diagram for explaining an example of increasing the dynamic range in units of frames.
  • the example in which the dynamic range is increased in units of pixels has been described.
  • the present invention can also be applied to the case where the dynamic range is increased in units of frames as shown in FIG.
  • the solid-state imaging device 10 described above can be applied as an imaging device to an electronic apparatus such as a digital camera, a video camera, a portable terminal, a monitoring camera, or a medical endoscope camera.
  • FIG. 12 is a diagram illustrating an example of the configuration of an electronic apparatus equipped with a camera system to which the solid-state imaging device according to the embodiment of the present invention is applied.
  • the electronic apparatus 100 includes a CMOS image sensor 110 to which the solid-state imaging device 10 according to the present embodiment can be applied.
  • the electronic device 100 further includes an optical system (lens or the like) 120 that guides incident light (forms a subject image) to the pixel region of the CMOS image sensor 110.
  • the electronic device 100 includes a signal processing circuit (PRC) 130 that processes an output signal of the CMOS image sensor 110.
  • PRC signal processing circuit
  • the signal processing circuit 130 performs predetermined signal processing on the output signal of the CMOS image sensor 110.
  • the image signal processed by the signal processing circuit 130 can be displayed as a moving image on a monitor composed of a liquid crystal display or the like, or output to a printer, or directly recorded on a recording medium such as a memory card. Is possible.
  • CMOS image sensor 110 As described above, by mounting the above-described solid-state imaging device 10 as the CMOS image sensor 110, it is possible to provide a high-performance, small, and low-cost camera system.
  • Electronic devices such as surveillance cameras and medical endoscope cameras are used for applications where the camera installation requirements include restrictions such as mounting size, number of connectable cables, cable length, and installation height. Can be realized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置１０であって、複数の読み出し信号の合成をする際に、複数の読み出し信号のうちの少なくとも一つの読み出し信号（高利得信号ＨＣＧ、低利得信号ＬＣＧ）と閾値（Ｊｏｉｎｔ Ｔｈｒｅｓｈ)との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する信号処理部７１０を有し、信号処理部は、閾値を動的に変更可能である。この構成により、個体ばらつき等にかかわりなく組み合わせようとする複数の信号のスムーズな切り替えが可能で、画像劣化を抑止しつつ高ダイナミックレンジ化を実現でき、ひいては高画質化を実現することが可能となる。

Description

固体撮像装置、固体撮像装置の駆動方法、および電子機器
　本発明は、固体撮像装置、固体撮像装置の駆動方法、および電子機器に関するものである。
　光を検出して電荷を発生させる光電変換素子を用いた固体撮像装置（イメージセンサ）として、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが実用に供されている。
　ＣＭＯＳイメージセンサは、デジタルカメラ、ビデオカメラ、監視カメラ、医療用内視鏡、パーソナルコンピュータ（ＰＣ）、携帯電話等の携帯端末装置(モバイル機器)等の各種電子機器の一部として広く適用されている。
　ＣＭＯＳイメージセンサは、画素毎にフォトダイオード（光電変換素子）および浮遊拡散層（ＦＤ：Floating Diffusion、フローティングディフュージョン)を有するＦＤアンプを持ち合わせており、その読み出しは、画素アレイの中のある一行を選択し、それらを同時に列（カラム）方向へと読み出すような列並列出力型が主流である。
　ところで、特性向上のため、高ダイナミックレンジ（ＨＤＲ：High Dynamic Range）を持つ高画質の固体撮像装置（ＣＭＯＳイメージセンサ）を実現する方法が種々提案されている。
　従来、固体撮像装置において、ダイナミックレンジを高める（拡大させる）方法としては、たとえば、イメージセンサの同一の画素から蓄積時間の異なる２種類の信号を読み出し、この２種類の信号を組み合わせて、ダイナミックレンジを拡大させる方法や、高感度の画素でダイナミックレンジの小さい信号と、低感度でダイナミックレンジを拡大した信号を組み合わせてダイナミックレンジを拡大させる方法などが知られている。
　たとえば特許文献１には、短い露光時間による高照度側に対応した撮像と長い露光時間による低照度に対応した撮像の異なる２回以上の露光時間に分割する高ダイナミックレンジ化技術が開示されている。
　また、特許文献１には、フローティングディフュージョンの容量を可変とした高ダイナミックレンジ化技術が開示されている。
　また、特許文献２には、フォトダイオードＰＤに高感度低照度側の小容量Ｃ１のフローティングディフュージョンと低感度高照度側の大容量Ｃ２のフローティングディフュージョンを接続して、低照度側の出力ＯＵＴ１と高照度側出力ＯＵＴ２をそれぞれ出力することで高ダイナミックレンジ化する技術が開示されている。
　これらの信号の合成方法は時間的に見ると、複数のフレームに亘っている方式のものや、１フレーム内で複数種類のダイナミックレンジの異なる信号が出力される方式のもの等がある。
特許第３９８４８１４号 特許第３５９２１０６号
　ところで、いずれの方法においても、組み合わせようとする(合成しようとする)複数の信号は、組み合わせ（信号の切り替え）を行う信号値の近傍において、それぞれ入射光量（照度）に対する出力電圧の直線性がほぼ同等に保たれている必要がある。
　各々の信号はダイナミックレンジ（Ｄレンジ）を拡大するために光量（照度）に対するゲインが異なるように設計されるため、主としてアナログデジタルコンバータ（ＡＤＣ）でデジタル変換後のデジタル信号処理回路でゲインを補正し、直線性（あるいは傾き）が同じに保たれるようにしている。
　しかし、固体撮像装置の個体単位でのばらつき、あるいは１個体の中での画素間のばらつき等が存在するため、ばらつきの中心値のパラメータを基に補正した数値で、各々の信号を切り替えたとしても、そのレベルの近傍においての直線性（リニアリティ）が必ずしも保証されない場合がある。
　このように補正精度が低い（ばらついている）場合、スムーズな切り替えが不能となり、その不連続点がノイズとなってしまい、いわゆるトーンジャンプ等の画像劣化の要因になるという不利益がある。
　本発明は、個体ばらつき等にかかわりなく組み合わせようとする複数の信号のスムーズな切り替えが可能で、画像劣化を抑止しつつ高ダイナミックレンジ化を実現でき、ひいては高画質化を実現することが可能な固体撮像装置、固体撮像装置の駆動方法、および電子機器を提供することにある。
　本発明の第１の観点は、複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置であって、前記複数の読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する信号処理部を有し、前記信号処理部は、前記閾値を動的に変更可能である。
　本発明の第２の観点は、複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置の駆動方法であって、前記複数の読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値とを比較する比較工程と、比較結果に応じて合成に必要となる信号を少なくとも一つ選択する選択工程と、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する生成工程と、を有し、前記閾値を動的に変更して前記比較工程、前記選択工程、および前記生成工程の処理を行う。
　本発明の第３の観点の電子機器は、複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置と、前記固体撮像装置に被写体像を結像する光学系と、を有し、前記固体撮像装置は、前記複数の読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する信号処理部を含み、前記信号処理部は、前記閾値を動的に変更可能である。
　本発明によれば、個体ばらつき等にかかわりなく組み合わせようとする複数の信号のスムーズな切り替えが可能で、画像劣化を抑止しつつ高ダイナミックレンジ化を実現でき、ひいては高画質化を実現することができる。
図１は、本発明の第１の実施形態に係る固体撮像装置の信号処理系の全体の構成例を示すブロック図である。 図２は、本第１の実施形態に係るピクセルアレイ部における低利得信号と高利得信号を生成可能なピクセル(画素)の構成例を示す図である。 図３は、本発明の第１の実施形態に係る信号処理部の構成例を示す図である。 図４は、高利得信号と低利得信号を合成し、ハイダイナミックレンジ信号とする合成方法を具体的に説明するための図である。 図５は、低利得信号と高利得信号を４ステップで段階的にスムーズに合成する場合の、信号レベル、中心閾値、各結合位置（点）、動的に設定される閾値の関係を模式的に示す図である。 図６は、本第１の実施形態に係る信号処理部における合成処理の一例を説明するためのフローチャートである。 図７は、本発明の第２の実施形態に係る信号処理部の構成例を示す図である。 図８は、図７の乱数発生部の具体的な構成例を示す図である。 図９は、高利得信号と中利得信号と低利得信号の３つの信号を、傾きを等しくしつつ合成する処理を説明するための図である。 図１０は、短い露光時間による高照度側に対応した撮像と長い露光時間による低照度に対応した撮像の異なる２回以上の露光時間に分割する高ダイナミックレンジ化技術の一例を示す図である。 図１１は、フレーム単位でダイナミックレンジを高める例を説明するための図である。 図１２は、本発明の実施形態に係る固体撮像装置が適用される電子機器の構成の一例を示す図である。
　１０・・・固体撮像装置、２０・・・レジスタコントローラ、３０・・・タイミングコントローラ、４０・・・ピクセル(画素)アレイ部、５０・・・アナログゲイン部、６０・・・アナログデジタルコンバータ(ADC)、７０・・・デジタルシグナルプロセッサ(DSP)、７１０，７１０Ａ・・・信号処理部、７１１，７１２・・・乗算器、７１３，７１３Ａ・・・合成処理部、７１４・・・乱数発生部、８０・・・スケーラブル低電圧信号伝送(SLVS)インタフェース部、９０・・・クロックジェネレータ、１００・・・電子機器、１１０・・・ＣＭＯＳイメージセンサ、１２０・・・光学系、１３０・・・信号処理回路（ＰＲＣ）。
　以下、本発明の実施形態を図面に関連付けて説明する。
（第１の実施形態）
　図１は、本発明の第１の実施形態に係る固体撮像装置の信号処理系の全体の構成例を示すブロック図である。
　本実施形態において、固体撮像装置１０は、ピクセル（画素）から読み出された複数(２または３以上)の読み出し信号を合成してダイナミックレンジを拡大可能に構成され、たとえばＣＭＯＳイメージセンサにより構成される。
　図１の固体撮像装置１０は、レジスタコントローラ(Register Controller）２０、タイミングコントローラ(Timing Controller)３０、ピクセル(画素)アレイ (Pixel Array)部４０、アナログゲイン(Analog Gain)部５０、アナログデジタルコンバータ(ADC : Analog Digital Converter)部６０、信号処理部としての機能を含むデジタルシグナルプロセッサ(DSP : Digital Signal Processor)部７０、スケーラブル低電圧信号伝送(SLVS : Scalable Low Voltage Signaling)インタフェース部８０、およびクロックジェネレータ(Clock Generator)９０を主構成要素として有している。
　固体撮像装置１０において、レジスタコントローラ２０、タイミングコントローラ３０、アナログゲイン部５０、ＡＤＣ部６０、ＤＳＰ部７０、およびＳＬＶＳインタフェース部８０が、信号の授受を行うためのバスＢＳにより接続されている。
　また、クロックジェネレータ９０により生成されたシステムクロックＣＬＫが、レジスタコントローラ２０、タイミングコントローラ３０、アナログゲイン部５０、ＡＤＣ部６０、ＤＳＰ部７０、およびＳＬＶＳインタフェース部８０に供給される。
　レジスタコントローラ２０は、図示しないＣＰＵ、ＤＳＰ等の外部制御装置と通信し、動作モードの設定や各種制御パラメータが書き込まれる記憶部として機能する。
　タイミングコントローラ３０は、各種動作モードに合わせてピクセル（画素）データを読み出す制御パルスＳ３０を生成し、ピクセルアレイ部４０の読み出し制御を行う。
　ピクセルアレイ部４０は、フォトダイオード（光電変換素子）と画素内アンプとを含む複数のピクセルがＮ行×Ｍ列の２次元の行列状（マトリクス状）に配列されている。
　タイミングコントローラ３０による制御パルスＳ３０に従って、ピクセルアレイ部４０の光電変換素子を含むピクセル群から読み出された読み出し信号は、アナログゲイン部５０で所定のゲインをもって増幅され、ＡＤＣ部６０にてデジタル信号に変換され、 後で詳述するような信号処理部として機能するＤＳＰ部７０に入力される。
　なお、ＡＤＣ部６０の出力段には、たとえばカラムメモリ(Column Memory)が配置される。
　ＤＳＰ部７０では、入力されたデジタル信号に対して相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）、黒補正、デジタルゲイン等の画像信号処理が施された後、ＳＬＶＳインタフェース部８０において出力型式（図１ではＳＬＶＳ)に適合させて出力される。 
　本実施形態においては、ピクセルアレイ部４０の光電変換素子を含むピクセル群から読み出された読み出し信号は、図１に示すように、光電変換利得の異なる複数種類(本例では２種類)の高利得信号(HCG : High conversion gain )と低利得信号(LCG : Low conversion gain)の２系統の信号が読み出される。
　そして、ＤＳＰ部７０の信号処理部７１０にて２つの信号を合成してダイナミックレンジが拡大されたハイダイナミックレンジ信号を生成する。
　なお、読み出し信号が２系統存在するが、後で説明するように、信号の読み出しに関する部分(たとえば信号線)を１系統として時分割で処理することが可能である。
　高利得信号ＨＣＧは光電変換素子部からの高利得出力信号であるが、その分低利得信号ＬＣＧに比べて少ない入射光量で飽和する。低利得信号ＬＣＧは低利得出力信号であるため、飽和に達する入射光量に余裕があり、高利得信号ＨＣＧに比較して大きい。
　そこで、ＤＳＰ部７０の信号処理部７１０では、低利得信号ＬＣＧと高利得信号ＨＣＧの傾きを等しくするとともに、高利得信号ＨＣＧが飽和する手前すなわち直線性が保たれている領域（非飽和領域）において、この２種類の信号を合成することでダイナミックレンジを高めた信号である合成信号を取得する。
　この高利得信号ＨＣＧと低利得信号ＬＣＧの合成処理を行うＤＳＰ部７０の信号処理部７１０は、基本的に以下に示す特徴的な構成、機能を有する。具体的な合成処理については、後で詳述する。
　本実施形態の信号処理部７１０は、複数の読み出し信号（この例では、高利得信号ＨＣＧと低利得信号ＬＣＧ）を合成してダイナミックレンジを拡大可能に構成されている。
　信号処理部７１０は、合成すべき複数の読み出し信号、たとえば高利得信号ＨＣＧと低利得信号ＬＣＧの傾きを等しくする。
　信号処理部７１０は、複数の読み出し信号の合成をする際に、複数の読み出し信号のうちの少なくとも一つの読み出し信号（高利得信号ＨＣＧ、低利得信号ＬＣＧ）と閾値（Ｊｏｉｎｔ Ｔｈｒｅｓｈ)との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する。
　そして、本実施形態の信号処理部７１０は、閾値を動的に変更可能に構成されている。
　信号処理部７１０は、閾値として、あらかじめ設定された基準閾値(中心閾値) Ｊｏｉｎｔ Ｔｈｒｅｓｈ(以下、Ｊ Ｔｈｒｅｓｈ)と、基準閾値Ｊ Ｔｈｒｅｓｈと所定のステップ値ｓｔｅｐα(αは自然数)とを比較演算（たとえば加算、減算）することで決定した新たな閾値（Ｊ Ｔｈｒｅｓｈ ± ｓｔｅｐα）と、を合成処理に適用する。
　なお、あらかじめ設定された基準閾値(中心閾値) Ｊ Ｔｈｒｅｓｈは、たとえば記憶部としてのレジスタ（ＲＥＧ）に書き換え可能に書き込まれる。
　信号処理部７１０は、たとえば複数の読み出し信号のうち基準とする読み出し信号（たとえば高利得信号ＨＣＧ）と対応する閾値（Ｊ Ｔｈｒｅｓｈ、Ｊ Ｔｈｒｅｓｈ±ｓｔｅｐα）との比較結果に応じて、合成対象の複数の読み出し信号（高利得信号ＨＣＧおよび低利得信号ＬＣＧ）を重み付け処理する重み付け処理部を有している。
　重み付け処理部は、閾値に挟まれた領域の信号レベルにおいては、この領域に割り当てられた重み付け値に従って重み付け平均値を算出し、重み付け平均値をその領域の合成信号として出力する。
　また、信号処理部７１０の重み付け処理部は、複数の読み出し信号を加算平均する加算平均処理機能を含んで構成される。
　加算平均処理機能は、閾値に挟まれた領域の信号レベルにある各々の信号は、加算平均された値をもって１つの出力とする。
　以下に、低利得信号ＬＣＧと高利得信号ＨＣＧを生成可能なピクセルＰＸＬの構成例を説明した後、ＤＳＰ部７０の信号処理部７１０における構成例および低利得信号ＬＣＧと高利得信号ＨＣＧの具体的な合成処理について説明する。
（ピクセルアレイ部４０におけるピクセルＰＸＬの構成例）
　図２は、本第１の実施形態に係るピクセルアレイ部４０における低利得信号ＬＣＧと高利得信号ＨＣＧを生成可能なピクセルＰＸＬの構成例を示す図である。
　図２のピクセルＰＸＬは、フォトダイオードＰＤ、フォトダイオードＰＤのカソード側に接続される、寄生容量もしくは付加容量によって形成される容量Ｃ１１、並びにフォトダイオードＰＤおよび容量Ｃ１１～Ｃ１３をリセットするリセットトランジスタＲＳＴ－Ｔｒを有する。
　フォトダイオードＰＤは、入射光量に応じた量の信号電荷（ここでは電子）を発生し、蓄積する。
　以下、信号電荷は電子であり、各トランジスタがｎ型トランジスタである場合について説明するが、信号電荷がホールであったり、各トランジスタがｐ型トランジスタであっても構わない。
　ピクセルＰＸＬは、容量Ｃ１１に接続される転送スイッチとしての転送トランジスタＴＧ１１－Ｔｒ、フォトダイオードＰＤおよび容量Ｃ１１から転送される電荷を蓄積する容量Ｃ１２、選択スイッチとしての選択トランジスタＳＥＬ１１－Ｔｒ、およびゲートが容量Ｃ１２に接続されるソースフォロワトランジスタＳＦ１１－Ｔｒを有する。
　また、ピクセルＰＸＬは、容量Ｃ１１に接続される転送スイッチとしての転送トランジスタＴＧ１２－Ｔｒ、フォトダイオードＰＤおよび容量Ｃ１１から転送される電荷を蓄積する容量Ｃ１３、選択スイッチとしての選択トランジスタＳＥＬ１２－Ｔｒ、およびゲートが容量Ｃ１３に接続されるソースフォロワトランジスタＳＦ１２－Ｔｒを有する。
　なお、ピクセルＰＸＬのリセットトランジスタＲＳＴ－Ｔｒ、転送トランジスタＴＧ１１－Ｔｒ，ＴＧ１２－Ｔｒ、選択トランジスタＳＥＬ１１－Ｔｒ，ＳＥＬ１２－Ｔｒのゲートには、タイミングコントローラ３０で生成された制御パルスＳ３０がそれぞれ供給されて、オン、オフ制御が行われる。
　このように、図２のピクセルＰＸＬは、フォトダイオードＰＤおよび容量Ｃ１１に蓄積された電荷は２系統の出力系ｏｕｔ１，ｏｕｔ２を介して出力されるように構成されている。
　図２の例では、出力系ｏｕｔ１に低利得信号ＬＣＧが出力され、出力系ｏｕｔ２に高利得信号ＨＣＧが出力される。
　そして、図２の構成においては、たとえば出力系ｏｕｔ１と出力系ｏｕｔ２はワイヤードオアされ、各列(カラム)で２系統の高利得信号ＨＣＧと低利得信号ＬＣＧは共通の信号線（垂直信号線）ＬＳＧＮに時分割で出力される。
　次に、図２のピクセルＰＸＬの動作を説明する。
　フォトダイオードＰＤ、寄生容量もしくは付加容量によって形成される容量Ｃ１１の電位はリセットトランジスタＲＳＴ－Ｔｒによってリセット電位Ｖｒ(図２の例ではＶＤＤ)にリセットされる。
　蓄積期間にフォトダイオードＰＤに光が入射すると、発生した光電荷はフォトダイオードＰＤおよび容量Ｃ１１に蓄積される。
　この状態で、転送スイッチとしての転送トランジスタＴＧ１１－Ｔｒもしくは転送スイッチとしての転送トランジスタＴＧ１２－Ｔｒをオンすることで容量Ｃ１２もしくは容量Ｃ１３の電位は発生した光電荷に応じて変化する。
　ここで容量Ｃ１２および容量Ｃ１３はそれぞれソースフォロワトランジスタＳＦ１１－Ｔｒ、ＳＦ１２－Ｔｒのゲート電極の寄生容量が支配的である。
　選択トランジスタＳＥＬ１１－Ｔｒ，ＳＥＬ１２－Ｔｒは行選択スイッチであり、２次元アレイ状に配列されているピクセルＰＸＬのある行を選択するためのスイッチである。選択トランジスタＳＥＬ１１－Ｔｒ，ＳＥＬ１２－Ｔｒは電源ＶＤＤに接続されている。
　出力系ｏｕｔ１と出力系ｏｕｔ２は、信号線ＬＳＧＮを介して図には示していない定電流源に接続されており、ソースフォロワトランジスタＳＦ１１－Ｔｒ、ＳＦ１２－Ｔｒとともに、ソースフォロワアンプを形成している。
　選択トランジスタＳＥＬ１１－Ｔｒ，ＳＥＬ１２－ＴｒもソースフォロワトランジスタＳＦ１１－Ｔｒ、ＳＦ１２－Ｔｒと同様に定電流源とでソースフォロワアンプを形成しており、トランジスタＴＧ１１－ＴｒとトランジスタＳＥＬ１１－Ｔｒを選択するか、トランジスタＴＧ１２－ＴｒとトランジスタＳＥＬ１２－Ｔｒを選択することで、いずれかのソースフォロワアンプを選択することができる。
これにより、２系統の高利得信号ＨＣＧと低利得信号ＬＣＧは共通の信号線（垂直信号線）ＬＳＧＮに時分割で出力される。
　読み出しの容量Ｃ１２、Ｃ１３を場合によって選べることの利点は，撮影条件によって、ダイナミックレンジ（ＤＲ：Ｄ－ｒａｎｇｅ）を選択できることにある。
（ＤＳＰ部７０における低利得信号ＬＣＧと高利得信号ＨＣＧの具体的な合成処理）
　次に、ＤＳＰ部７０の信号処理部７１０における構成例および低利得信号ＬＣＧと高利得信号ＨＣＧの具体的な合成処理について説明する。
　以下の説明においては、光電変換素子を含むピクセルＰＸＬから読み出される複数の読み出し信号は、少なくとも一組の、低利得信号ＬＣＧと、低利得信号ＬＣＧに比べて少ない入射光量で飽和する高利得信号ＨＣＧと、を含むものとする。
　図３は、本発明の第１の実施形態に係る信号処理部の構成例を示す図である。
　図３の信号処理部７１０は、乗算器７１１，７１２、および重み付け処理部としての機能を有する合成処理部７１３を有する。
　乗算器７１１は、飽和する前に直線性を有する低利得信号ＬＣＧの傾きを、同じく飽和する前に直線性を有する高利得信号ＨＣＧの傾きと等しくするために、入力される低利得信号ＬＣＧに、ゲイン比Ｋ（＝ＨＣＧ／ＬＣＧ）を掛け合わせ、その結果を合成処理部７１３に供給する。
　乗算器７１２は、高利得信号ＨＣＧの傾きを微調整するために、入力される高利得信号ＨＣＧに、ゲイン比１．０を掛け合わせ、その結果を合成処理部７１３に供給する。
　なお、乗算器７１２は、微調整のために配置されており、必ずしも必要ではなく、なくてもよい。
　合成処理部７１３は、傾きが等しくなるように調整された低利得信号ＬＣＧと高利得信号ＨＣＧを受けて、高利得信号ＨＣＧが飽和する手前であって直線性が保たれている非飽和領域ＡＮＳＡＴで、合成処理により低利得信号ＬＣＧと高利得信号ＨＣＧを合成する。
　合成処理部７１３は、重み付け処理部として機能し、たとえば複数の低利得信号ＬＣＧと高利得信号ＨＣＧのうち基準とする高利得信号ＨＣＧと対応する閾値（Ｊ Ｔｈｒｅｓｈ、Ｊ Ｔｈｒｅｓｈ±ｓｔｅｐα）との比較結果に応じて、合成対象の高利得信号ＨＣＧおよび低利得信号ＬＣＧを重み付け処理する重み付け処理部としての機能を有している。
　合成処理部７１３は、重み付け処理部として、閾値に挟まれた領域の信号レベルにおいては、この領域に割り当てられた重み付け値に従って重み付け平均値を算出し、重み付け平均値をその領域の合成信号として出力する機能を有する。
　また、合成処理部７１３は、重み付け処理部として、低利得信号ＬＣＧと高利得信号ＨＣＧを加算平均する加算平均処理機能を含んで構成される。
　加算平均処理機能は、閾値に挟まれた領域の信号レベルにある各々の信号は、加算平均された値をもって１つの出力とする。
　以上の構成を有する信号処理部７１０は、ピクセルアレイ部４０のマトリクス配列の各列(カラム)に対応して複数配置される。
　以上、本実施形態に係る信号処理部７１０の基本的なブロック構成について説明した。
　次に、本実施形態に係る信号処理部７１０によって２つの特性の異なる高利得信号ＨＣＧと低利得信号ＬＣＧを合成し、ハイダイナミックレンジ信号とする合成方法をより具体的に図解して説明する。
　図４（Ａ）～（Ｃ）は、高利得信号ＨＣＧと低利得信号ＬＣＧを合成し、ハイダイナミックレンジ信号とする合成方法を具体的に説明するための図である。
　図４（Ａ）は高利得信号ＨＣＧと低利得信号ＬＣＧの傾きを同じとなるように調整する処理概要を示している。
　図４（Ｂ）は高利得信号ＨＣＧが飽和する手前であって直線性が保たれている非飽和領域ＡＮＳＡＴにおいて、合成処理により高利得信号ＨＣＧと低利得信号ＬＣＧを４ステップで段階的にスムーズに合成することを示している。
　図４（Ｃ）は高利得信号ＨＣＧと低利得信号ＬＣＧを４ステップで段階的にスムーズに合成する場合の、中心閾値Ｊ Ｔｈｒｅｓｈ、各結合位置（点）ｊｐ０～ｊｐ３、動的に設定される閾値（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ２）、（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）、重み付け値の関係を模式的に図解して示している。
　図５は高利得信号ＨＣＧと低利得信号ＬＣＧを４ステップで段階的にスムーズに合成する場合の、信号レベル、中心閾値Ｊ Ｔｈｒｅｓｈ、各結合位置（点）ｊｐ０～ｊｐ３、動的に設定される閾値（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ２）、（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）、閾値間の領域の関係を模式的に示している。
　図４において、高利得信号ＨＣＧと低利得信号ＬＣＧは前述の２系統の信号に相当する。ここで、図２で示したように高利得信号ＨＣＧと低利得信号ＬＣＧはいずれもデジタル信号である。
　前述したように、高利得信号ＨＣＧは光電変換素子部からの高利得出力信号であるが、その分低利得信号ＬＣＧに比べて少ない入射光量で飽和する。低利得信号ＬＣＧは低利得出力信号であるため、飽和に達する入射光量に余裕があり、高利得信号ＨＣＧに比較して大きい。
　そこで、ＤＳＰ部７０の信号処理部７１０では、低利得信号ＬＣＧと高利得信号ＨＣＧの傾きを等しくするとともに、高利得信号ＨＣＧが飽和する手前すなわち直線性が保たれている非飽和領域ＡＮＳＡＴでこの２種類の信号を合成することでダイナミックレンジ（ＤＲ）を高めた信号が得られる。
　信号処理部７１０の合成処理部７１３は、たとえば高利得信号ＨＣＧを基準として合成処理を行うことが可能である。
　合成処理部７１３は、たとえば図４（Ｃ）および図５に示すように、非飽和領域ＡＮＳＡＴの中心部位置ＪＣ（Ｊｏｉｎｔ Ｃｅｎｔｅｒ）に、基準閾値を中心閾値Ｊ Ｔｈｒｅｓｈとして設定する。
　合成処理部７１３は、たとえば図４（Ｃ）および図５に示すように、中心閾値Ｊ Ｔｈｒｅｓｈが設定された中心部位置ＪＣから合成信号を高利得信号ＨＣＧと結合すべき高利得信号最端部側結合位置ｊｐ（ｊｏｉｎｔ ｐｏｉｎｔ）０の間に、高利得信号最端部側結合位置ｊｐ０を含む二つの高利得側結合位置ｊｐ０、ｊｐ１を設定するとともに、中心部位置ＪＣから高利得信号最端部に向かって徐々に大きくなる、設定した高利得側結合位置ｊｐ１、ｊｐ０に対応する高利得側ステップ値（－）ｓｔｅｐ１，（－）ｓｔｅｐ２（ｓｔｅｐ２＞ｓｔｅｐ１）を設定する。
　合成処理部７１３は、たとえば図４（Ｃ）および図５に示すように、中心閾値Ｊ Ｔｈｒｅｓｈが設定された中心部位置ＪＣから合成信号を低利得信号ＬＣＧと結合すべき低利得信号最端部側結合位置ｊｐ３の間に、低利得信号最端部側結合位置ｊｐ３を含む二つの低利得側結合位置ｊｐ３、ｊｐ２を設定するとともに、中心部位置ＪＣから低利得信号最端部に向かって徐々に大きくなる、設定した低利得側結合位置ｊｐ２、ｊｐ３に対応する低利得側ステップ値ｓｔｅｐ１，ｓｔｅｐ２（ｓｔｅｐ２＞ｓｔｅｐ１）を設定する。
　そして、合成処理部７１３は、たとえば図４（Ｃ）および図５に示すように、中心閾値Ｊ Ｔｈｒｅｓｈから設定した高利得側ステップ値ｓｔｅｐ２，ｓｔｅｐ１を減算して対応する高利得側結合位置ｊｐ０，ｊｐ１の新たな閾値（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ２）、（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ１）として設定する。合成処理部７１３は、新たな閾値を適用して高利得側結合位置ｊｐ０，ｊｐ１における閾値（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ２）、（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ１）と高利得信号ＨＣＧとの比較結果に応じて合成処理を行う。
　同様に、合成処理部７１３は、たとえば図４（Ｃ）および図５に示すように、中心閾値Ｊ Ｔｈｒｅｓｈに設定した低利得側ステップ値ｓｔｅｐ１，ｓｔｅｐ２を加算して対応する低利得側結合位置ｊｐ２，ｊｐ３の新たな閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）として設定する。合成処理部７１３は、新たな閾値を適用して低利得側結合位置ｊｐ２、ｊｐ３における閾値(Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１)、(Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２)と高利得信号ＨＣＧとの比較結果に応じて合成処理を行う。
　合成処理部７１３は、合成処理に係る比較処理において、高利得側結合位置ｊｐ０、ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ２）、（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ１）、または、低利得側結合位置ｊｐ２、ｊｐ３の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）と高利得信号ＨＣＧとの比較により選択された値に挟まれた領域Ａ０１，Ａ１２，Ａ２３の信号レベルにおいては、領域Ａ０１，Ａ１２，Ａ２３に割り当てられた重み付け値ＷＶ０１，ＷＶ１２，ＷＶ２３に従って重み付け平均値ＡＶＷ０１、ＡＶＷ１２，ＡＶＷ２３を算出し、重み付け平均値ＡＶＷ０１、ＡＶＷ１２，ＡＶＷ２３をその領域の合成信号（合成データ）ｄａｔａ ｄｈｄｒとして出力する。
　たとえば、高利得側結合位置ｊｐ０の閾値（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ２）と隣接の高利得側結合位置ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ１）に挟まれた領域Ａ０１においては、低利得信号ＬＣＧに「１」で高利得信号ＨＣＧに「３」の重み付け値（ＬＣＧ：ＨＣＧ＝１：３）ＷＶ０１が割り当てられる。
　高利得側結合位置ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ１）と隣接の低利得側結合位置ｊｐ２の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）に挟まれた領域Ａ１２においては、低利得信号ＬＣＧに「１」で高利得信号ＨＣＧに「１」の重み付け値（ＬＣＧ：ＨＣＧ＝１：１）ＷＶ１２が割り当てられる。
　低利得側結合位置ｊｐ２の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）と隣接の低利得側結合位置ｊｐ３の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）に挟まれた領域Ａ２３においては、低利得信号ＬＣＧに「３」で高利得信号ＨＣＧに「１」の重み付け値（ＬＣＧ：ＨＣＧ＝３：１）ＷＶ２３が割り当てられる。
　合成処理部７１３は、高利得信号最端部側結合位置ｊｐ０の閾値（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ２）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）との比較の結果、高利得信号ＨＣＧのレベルが閾値（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ２）より小さい場合は、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）を合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する。
　合成処理部７１３は、低利得信号最端部側結合位置ｊｐ３の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）との比較の結果、高利得信号ＨＣＧのレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）より大きい場合は、低利得信号ＬＣＧ（ｄａｔａ ｌｃｇ）を合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する。
　以上、信号処理部７１０における合成処理部７１３の構成および機能について説明した。
　ここで、合成処理部７１３における高利得信号ＨＣＧと低利得信号ＬＣＧの具体的な合成処理の一例を説明する。
　図６は、本実施形態に係る信号処理部７１０における合成処理の一例を説明するためのフローチャートである。
　今、高利得信号ＨＣＧを基準に合成する場合を考えると、下記のように表現できる。 
（数１）
　　ｄａｔａ_ｈｃｇ = ｄａｔａ_ｈｃｇ_ｉｎ + ｈｃｇ_ｏｆｆｓｅｔ
　低利得信号ＬＣＧは、高利得信号ＨＣＧと傾きが同じになるようにデジタル利得を掛けて変換した場合次のように表現できる。 
（数２）
　　ｄａｔａ_ｌｃｇ ＝ (ｄａｔａ_ｌｃｇ_ｉｎ + ｌｃｇ_ｏｆｆｓｅｔ ) × Ｋ 
　ここで、ＫはＨＣＧ/ＬＣＧのゲイン比を示す。
　この２信号を合成するにあたり、次の条件設定に沿って演算を行う。
（数３）
　ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ - ｓｔｅｐ２ ） ） 
　　　　ｄａｔａ_ｄｈｄｒ= ｄａｔａ_ｈｃｇ ； 
　ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ - ｓｔｅｐ１ ） ) 
　　　　ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ ×３ + ｄａｔａ_ｌｃｇ ） / ４  ; 
　ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｓｔｅｐ1 ） ） 
　　　　ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ ） / ２  ; 
　ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｓｔｅｐ２ ） ） 
　　　　ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ × ３） / ４  ; 
　ｉｆ （ ｄａｔａ_ｈｃｇ ＞ （ ｊ_ｔｈｒｅｓｈ + ｓｔｅｐ２ ） ） 
　　　　ｄａｔａ_ｄｈｄｒ =  ｄａｔａ_ｌｃｇ　;
　この合成処理部７１３の合成に係る演算処理について図６に関連付けて説明する。
　合成処理部７１３は、たとえば、まず、高利得信号最端部側結合位置ｊｐ０の閾値（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ２）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）とを比較し（工程ＰＲ１）、高利得信号ＨＣＧのレベルが閾値（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ２）より小さいか否かを判定する（工程ＰＲ２）。
　合成処理部７１３は、工程ＰＲ２において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ２）より小さいと判定すると、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）を合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する（工程ＰＲ３）。
　合成処理部７１３は、工程ＰＲ２において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ２）より大きいと判定すると、高利得側結合位置ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ１）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）とを比較し（工程ＰＲ４）、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ１）より小さいか否かを判定する（工程ＰＲ５）。
　合成処理部７１３は、工程ＰＲ５において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ１）より小さいと判定すると、次の処理を行う（工程ＰＲ６、ＰＲ７）。
　合成処理部７１３は、高利得側結合位置ｊｐ０の閾値（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ２）と隣接の高利得側結合位置ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ１）に挟まれた領域Ａ０１に割り当てられた重み付け値（ＬＣＧ：ＨＣＧ＝１：３）ＷＶ０１に従って高利得信号ＨＣＧと低利得信号ＬＣＧの重み付け平均値ＡＶＷ０１を次式により算出し（工程ＰＲ６）、重み付け平均値ＡＶＷ０１をその領域の合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する（工程ＰＲ７）。
（数４）
　　ＡＶＷ０１= （ ｄａｔａ_ｈｃｇ ×３ + ｄａｔａ_ｌｃｇ ） / ４
　合成処理部７１３は、工程ＰＲ５において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ１）より大きいと判定すると、低利得側結合位置ｊｐ２の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）とを比較し（工程ＰＲ８）、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）より小さいか否かを判定する（工程ＰＲ９）。
　合成処理部７１３は、工程ＰＲ９において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）より小さいと判定すると、次の処理を行う（工程ＰＲ１０、ＰＲ１１）。
　合成処理部７１３は、高利得側結合位置ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ－ｓｔｅｐ１）と隣接の低利得側結合位置ｊｐ２の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）に挟まれた領域Ａ１２に割り当てられた重み付け値（ＬＣＧ：ＨＣＧ＝１：１）ＷＶ１２に従って高利得信号ＨＣＧと低利得信号ＬＣＧの重み付け平均値ＡＶＷ１２を次式により算出し（工程ＰＲ１０）、重み付け平均値ＡＶＷ１２をその領域の合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する（工程ＰＲ１１）。
（数５）
　　ＡＶＷ１２= （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ ） / ２
　合成処理部７１３は、工程ＰＲ９において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）より大きいと判定すると、低利得信号最端部側結合位置ｊｐ３の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）とを比較し（工程ＰＲ１２）、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）より小さいか否かを判定する（工程ＰＲ１３）。
　合成処理部７１３は、工程ＰＲ１３において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）より小さいと判定すると、次の処理を行う（工程ＰＲ１４、ＰＲ１５）。
　合成処理部７１３は、低利得側結合位置ｊｐ２の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）と隣接の低利得側結合位置ｊｐ３の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）に挟まれた領域Ａ２３に割り当てられた重み付け値（ＬＣＧ：ＨＣＧ＝３：１）ＷＶ２３に従って高利得信号ＨＣＧと低利得信号ＬＣＧの重み付け平均値ＡＶＷ２３を次式により算出し（工程ＰＲ１４）、重み付け平均値ＡＶＷ２３をその領域の合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する（工程ＰＲ１５）。
（数６）
　　ＡＶＷ２３= （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ × ３） / ４
　合成処理部７１３は、工程ＰＲ１３において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）より小さくなく、大きいと判定すると（工程ＰＲ１６）、低利得信号ＬＣＧ（ｄａｔａ ｌｃｇ）を合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する（工程ＰＲ１７）。
　以上説明したように、本第１の実施形態の固体撮像装置１０の信号処理部７１０は、複数の読み出し信号、たとえば高利得信号ＨＣＧと低利得信号ＬＣＧを合成してダイナミックレンジを拡大可能に構成されている。
　信号処理部７１０は、合成すべき複数の読み出し信号、たとえば低利得信号ＬＣＧと高利得信号ＨＣＧの傾きを等しくする。
　信号処理部７１０は、複数の読み出し信号の合成をする際に、複数の読み出し信号のうちの少なくとも一つの読み出し信号（高利得信号ＨＣＧ、低利得信号ＬＣＧ）と閾値（Ｊｏｉｎｔ Ｔｈｒｅｓｈ)との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する。
　そして、本第１の実施形態の信号処理部７１０は、閾値を動的に変更可能に構成され、閾値として、あらかじめ設定された基準閾値(中心閾値)Ｊ Ｔｈｒｅｓｈと、基準閾値Ｊ Ｔｈｒｅｓｈと所定のステップ値ｓｔｅｐα(αは自然数)とを比較演算（たとえば加算、減算）することで決定した新たな閾値（Ｊ Ｔｈｒｅｓｈ ± ｓｔｅｐα）と、を合成処理に適用する。
　したがって、本第１の実施形態によれば、固体撮像装置の個体単位でのばらつき、あるいは１個体の中でのピクセル（画素）間のばらつき等が存在する場合であっても、組み合わせようとする（合成しようとする）複数の信号のスムーズな切り替えが可能で、不連続点を削減でき、ひいてはノイズを削減でき、ノイズの少ない高品質かつ高ダイナミックな画像信号を生成することが可能となる。
　また、個体ばらつきを吸収することが可能となるため、製品の歩留まりを向上させることが可能となる。
　すなわち、本第１の実施形態によれば、個体ばらつき等にかかわりなく組み合わせようとする複数の信号のスムーズな切り替えが可能で、画像劣化を抑止しつつ高ダイナミックレンジ化を実現でき、ひいては高画質化を実現することが可能となる。
　また、本第１の実施形態の信号処理部７１０は、たとえば複数の読み出し信号のうち基準とする読み出し信号（たとえば高利得信号ＨＣＧ）と対応する閾値（Ｊ Ｔｈｒｅｓｈ、Ｊ Ｔｈｒｅｓｈ±ｓｔｅｐα）との比較結果に応じて、合成対象の複数の読み出し信号（高利得信号ＨＣＧおよび低利得信号ＬＣＧ）を重み付け処理する重み付け処理部としての機能を含む合成処理部７１３を有している。
　重み付け処理部を含む合成処理部７１３は、閾値に挟まれた領域の信号レベルにおいては、この領域に割り当てられた重み付け値に従って重み付け平均値を算出し、重み付け平均値をその領域の合成信号として出力する。
　また、重み付け処理部は、複数の読み出し信号を加算平均する加算平均処理機能を含んで構成される。
　加算平均処理機能は、閾値に挟まれた領域の信号レベルにある各々の信号は、加算平均された値をもって１つの出力とする。
　したがって、本第１の実施形態によれば、組み合わせようとする（合成しようとする）複数の信号のよりスムーズな切り替えが可能で、不連続点を確実に削減でき、ひいてはノイズを削減でき、さらにノイズの少ない高品質かつ高ダイナミックな画像信号を生成することが可能となる。
（第２の実施形態）
　図７は、本発明の第２の実施形態に係る信号処理部の構成例を示す図である。
　図８は、図７の乱数発生部の具体的な構成例を示す図である。
　本第２の実施形態に係る図７の信号処理部７１０Ａが第１の実施形態に係る図３の信号処理部７１０と異なる点は、乱数発生部７１４が設けられ、合成処理部７１３Ａは、乱数ｒｎｄ(clk)を閾値Ｊ Ｔｈｒｅｓｈと加算あるいは減算して閾値を設定することにある。
　ここで、ｃｌｋは、ピクセル（画素）データの転送クロックと同じ周波数であり、乱数はピクセル（画素）単位で変化する。
　合成処理部７１３Ａは、たとえば複数の閾値の平均値を基準閾値Ｊ Ｔｈｒｅｓｈに相当する中心閾値として設置可能で、中心閾値は初期の中心閾値Ｊ Ｔｈｒｅｓｈに乱数発生部７１４で発生された乱数ｒｎｄ(clk)を加算することで新たに算出された値を第２の中心閾値（Ｊ Ｔｈｒｅｓｈ＋ｒｎｄ(clk)）とし、第２の中心閾値（Ｊ Ｔｈｒｅｓｈ＋ｒｎｄ(clk)）をもとに合成に必要となる信号の選択処理を行う。
　乱数発生部７１４は、たとえば図８に示すように、排他的論理和ゲートＥＸＯＲ１～ＥＸＯＲ３を含む線形帰還シフトレジスタＬＦＳＲにより形成される。図８は１６ビットの場合の一例として示されている。
　第２の実施形態の合成処理部７１３Ａで第１の実施形態の数３に対応する２信号を合成するにあたり、次の条件設定に沿って演算を行う。
（数７）
　ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｒｎｄ(clk) - ｓｔｅｐ２ ） ） 
　　　　ｄａｔａ_ｄｈｄｒ= ｄａｔａ_ｈｃｇ ； 
　ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｒｎｄ(clk) - ｓｔｅｐ１ ） ) 
　　　　ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ ×３ + ｄａｔａ_ｌｃｇ ） / ４  ; 
　ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｒｎｄ(clk) + ｓｔｅｐ1 ） ） 
　　　　ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ ） / ２  ; 
　ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｒｎｄ(clk) + ｓｔｅｐ２ ） ） 
　　　　ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ × ３） / ４  ; 
　ｉｆ （ ｄａｔａ_ｈｃｇ ＞ （ ｊ_ｔｈｒｅｓｈ + ｒｎｄ(clk) + ｓｔｅｐ２ ） ） 
　　　　ｄａｔａ_ｄｈｄｒ =  ｄａｔａ_ｌｃｇ　;
　すなわち、この演算処理は、初期の中心閾値Ｊ Ｔｈｒｅｓｈに乱数発生部７１４で発生された乱数ｒｎｄ(clk)を加算することで新たに算出された値が第２の中心閾値（Ｊ Ｔｈｒｅｓｈ＋ｒｎｄ(clk)）として適用される他は、上記数３および図６の処理と同様の処理が行われる。
　したがって、ここでは、詳細な説明は省略する。
　本第２の実施形態によれば、上述した第１の実施形態と同様の効果を得ることができる。
　すなわち、本第２の実施形態によれば、固体撮像装置の個体単位でのばらつき、あるいは１個体の中での画素間のばらつき等が存在する場合であっても、組み合わせようとする（合成しようとする）複数の信号のスムーズな切り替えが可能で、不連続点を削減でき、ひいてはノイズを削減でき、ノイズの少ない高品質かつ高ダイナミックな画像信号を生成することが可能となる。
　また、個体ばらつきを吸収することが可能となるため、製品の歩留まりを向上させることが可能となる。
（応用例）
　上述した実施形態においては、複数の読み出し信号の例として、２つの高利得信号ＨＣＧと低利得信号ＬＣＧを合成してダイナミックレンジを拡大する場合について説明したが、本発明は、３つあるいは４以上の特性の異なる信号を、傾きを等しくしつつ合成する場合にも適用することが可能である。
　図９は、高利得信号ＨＣＧと中利得信号ＭＣＧと低利得信号ＬＣＧの３つの信号を、傾きを等しくしつつ合成する処理を説明するための図である。
　図９の例は、高利得と低利得の中間の中利得信号ＭＣＧが合成対象に追加されている。
　この場合、高利得信号ＨＣＧが飽和する手前であって直線性が保たれている非飽和領域ＡＮＳＡＴ１において、前述した実施形態の合成処理と同様の処理により中利得信号ＭＣＧと高利得信号ＨＣＧが段階的にスムーズに合成される。このときの傾きを調整するためのゲイン比はＨＣＧ／ＭＣＧである。
　非飽和領域ＡＮＳＡＴ１における合成処理では、中利得信号ＭＣＧが前述した実施形態の合成処理の低利得信号と同様の信号として扱われる。
　同様に、中利得信号ＭＣＧが飽和する手前であって直線性が保たれている非飽和領域ＡＮＳＡＴ２において、前述した実施形態の合成処理と同様の処理により中利得信号ＭＣＧと低利得信号ＬＣＧが段階的にスムーズに合成される。このときの傾きを調整するためのゲイン比はＭＣＧ／ＬＣＧである。
　非飽和領域ＡＮＳＡＴ２における合成処理では、中利得信号ＭＣＧが前述した実施形態の合成処理の高利得信号と同様の信号として扱われる。
　この場合も、上述した第１および第２の実施形態と同様の効果を得ることができる。
（変形例）
　図１０は、短い露光時間による高照度側に対応した撮像と長い露光時間による低照度に対応した撮像の異なる２回以上の露光時間に分割する高ダイナミックレンジ化技術の一例を示す図である。
　上述した実施形態においては、ピクセルＰＸＬの構成自体に、選択トランジスタＳＥＬ－ＴｒおよびソースフォロワトランジスタＳＦ－Ｔｒを２系統設けて、複数の読み出し信号である２つの高利得信号ＨＣＧと低利得信号ＬＣＧを生成するように構成されている場合を例に説明したが、本発明は、このような構成に限定されない。
　たとえばピクセルＰＸＬの構成自体に、選択トランジスタＳＥＬ－ＴｒおよびソースフォロワトランジスタＳＦ－Ｔｒを１系統のみ設けて、図１０に示すように、短い露光時間による高照度側に対応した撮像と長い露光時間による低照度に対応した撮像の異なる２回以上の露光時間に分割する高ダイナミックレンジ化技術を採用することも可能である。
　ピクセル（画素）の読み出し動作においては、タイミングコントローラ等の制御の下、図１０に示すように、シャッタースキャンＳＳＣＮが行われ、その後、読み出しスキャンＲＳＣＮが行われるが、図１０の例は、シャッタースキャンＳＳＣＮが行われ、その後、読み出しスキャンＲＳＣＮが行われるまでの露光期間Ｔｉｎｔ０，Ｔｉｎｔ１を２つ設け、時間に差を持たせている。
　この場合も、上述した第１および第２の実施形態と同様の効果を得ることができる。
　図１１は、フレーム単位でダイナミックレンジを高める例を説明するための図である。
　また、上述した実施形態では、ピクセル単位でダイナミックレンジを高める例を説明したが、本発明は、図１１に示すように、フレーム単位でダイナミックレンジを高める場合にも適用可能である。
　この場合も、上述した第１および第２の実施形態と同様の効果を得ることができる。
　以上説明した固体撮像装置１０は、デジタルカメラやビデオカメラ、携帯端末、あるいは監視用カメラ、医療用内視鏡用カメラなどの電子機器に、撮像デバイスとして適用することができる。
　図１２は、本発明の実施形態に係る固体撮像装置が適用されるカメラシステムを搭載した電子機器の構成の一例を示す図である。
　本電子機器１００は、図１２に示すように、本実施形態に係る固体撮像装置１０が適用可能なＣＭＯＳイメージセンサ１１０を有する。
　さらに、電子機器１００は、このＣＭＯＳイメージセンサ１１０の画素領域に入射光を導く（被写体像を結像する）光学系（レンズ等）１２０を有する。
　電子機器１００は、ＣＭＯＳイメージセンサ１１０の出力信号を処理する信号処理回路(ＰＲＣ)１３０を有する。
　信号処理回路１３０は、ＣＭＯＳイメージセンサ１１０の出力信号に対して所定の信号処理を施す。
　信号処理回路１３０で処理された画像信号は、液晶ディスプレイ等からなるモニタに動画として映し出し、あるいはプリンタに出力することも可能であり、またメモリカード等の記録媒体に直接記録する等、種々の態様が可能である。
　上述したように、ＣＭＯＳイメージセンサ１１０として、前述した固体撮像装置１０を搭載することで、高性能、小型、低コストのカメラシステムを提供することが可能となる。
　そして、カメラの設置の要件に実装サイズ、接続可能ケーブル本数、ケーブル長さ、設置高さなどの制約がある用途に使われる、たとえば、監視用カメラ、医療用内視鏡用カメラなどの電子機器を実現することができる。

Claims (16)

  1. 　複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置であって、
    　前記複数の読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する信号処理部を有し、
    　前記信号処理部は、
    　　前記閾値を動的に変更可能である
    　固体撮像装置。
  2. 　前記信号処理部は、前記閾値として、
    　　あらかじめ設定した基準閾値と、
    　　前記基準閾値と所定のステップ値とを比較演算することで決定した新たな閾値と、を前記合成処理に適用する
    　請求項１記載の固体撮像装置。
  3. 　前記信号処理部は、
    　　前記複数の読み出し信号を重み付け処理する重み付け処理部を含み、
    　　重み付けするための更なる新たな閾値を有し、
    　　前記重み付け処理部は、
    　　　前記閾値に挟まれた領域の信号レベルにおいては、当該領域に割り当てられた重み付け値に従って重み付け平均値を算出し、当該重み付け平均値を当該領域の合成信号として出力する
    　請求項１記載の固体撮像装置。
  4. 　複数の閾値を有し、
    　前記重み付け処理部は、
    　　前記複数の読み出し信号を加算平均する加算平均処理機能を含み、
    　　前記加算平均処理機能は、
    　　　前記閾値に挟まれた領域の信号レベルにある各々の信号は、加算平均された値をもって１つの出力とする
    　請求項３記載の固体撮像装置。
  5. 　前記信号処理部は、
    　　乱数発生部を含み、
    　　複数の閾値の平均値を前記基準閾値に相当する中心閾値として設置可能で、
    　　前記中心閾値は初期の中心閾値に前記乱数発生部で発生された乱数を加算することで新たに算出された値を第２の中心閾値とし、当該第２の中心閾値をもとに前記合成に必要となる信号の選択処理を行う
    　請求項２記載の固体撮像装置。
  6. 　書き換え可能な記憶部を含み、
    　前記基準閾値は前記記憶部に書き込まれている
    　請求項１記載の固体撮像装置。
  7. 　前記信号処理部を複数有する
    　請求項１記載の固体撮像装置。
  8. 　光電変換素子を含む画素から読み出される前記複数の読み出し信号は、少なくとも一組の、
    　　低利得信号と、
    　　当該低利得信号に比べて少ない入射光量で飽和する高利得信号と、を含み、
    　前記信号処理部は、
    　　前記低利得信号と前記高利得信号の傾きを等しくするとともに、前記高利得信号が飽和する手前であって直線性が保たれている非飽和領域で、前記合成処理により前記低利得信号と前記高利得信号を合成する
    　請求項１記載の固体撮像装置。
  9. 　前記信号処理部は、
    　　前記低利得信号と前記高利得信号の少なくとも一方を基準として前記合成処理を行う
    　請求項８記載の固体撮像装置。
  10. 　前記信号処理部は、
    　　前記高利得信号を基準として前記合成処理を行い、
    　　前記閾値として、
    　　あらかじめ設定した基準閾値と、
    　　前記基準閾値と所定のステップ値とを比較演算することで決定した少なくとも一つの新たな閾値と、を前記合成処理に適用することが可能であり、
    　　前記非飽和領域の中心部位置に、前記基準閾値を中心閾値として設定し、
    　　前記中心閾値の設定位置から合成信号を前記高利得信号と結合すべき高利得信号最端部側結合位置の間に、当該高利得信号最端部側結合位置を含む少なくとも二つの高利得側結合位置を設定するとともに、中心部位置から高利得信号最端部に向かって徐々に大きくなる、設定した前記高利得側結合位置に対応する高利得側ステップ値を設定し、
    　　前記中心閾値から設定した前記高利得側ステップ値を減算して対応する前記高利得側結合位置の新たな閾値として設定し、当該新たな閾値を適用して前記高利得側結合位置における閾値と前記高利得信号との比較結果に応じて前記合成処理を行う
    　請求項８記載の固体撮像装置。
  11. 　前記信号処理部は、
    　　前記高利得信号を基準として前記合成処理を行い、
    　　前記閾値として、
    　　あらかじめ設定した基準閾値と、
    　　前記基準閾値と所定のステップ値とを比較演算することで決定した少なくとも一つの新たな閾値と、を前記合成処理に適用することが可能であり、
    　　前記非飽和領域の中心部位置に、前記基準閾値を中心閾値として設定し、
    　　前記中心閾値の設定位置から合成信号を前記低利得信号と結合すべき低利得信号最端部側結合位置の間に、当該低利得信号最端部側結合位置を含む少なくとも二つの低利得側結合位置を設定するとともに、中心部位置から低利得信号最端部に向かって徐々に大きくなる、設定した前記低利得側結合位置に対応する低利得側ステップ値を設定し、
    　　前記中心閾値に設定した前記低利得側ステップ値を加算して対応する前記低利得側結合位置の新たな閾値として設定し、当該新たな閾値を適用して前記低利得側結合位置における閾値と前記高利得信号との比較結果に応じて前記合成処理を行う
    　請求項８記載の固体撮像装置。
  12. 　前記信号処理部は、
    　　前記高利得信号を基準として前記合成処理を行い、
    　　前記閾値として、
    　　あらかじめ設定した基準閾値と、
    　　前記基準閾値と所定のステップ値とを比較演算することで決定した少なくとも一つの新たな閾値と、を前記合成処理に適用することが可能であり、
    　　前記非飽和領域の中心部位置に、前記基準閾値を中心閾値として設定し、
    　　前記中心閾値の設定位置から合成信号を前記高利得信号と結合すべき高利得信号最端部側結合位置の間に、当該高利得信号最端部側結合位置を含む少なくとも二つの高利得側結合位置を設定するとともに、中心部位置から高利得信号最端部に向かって徐々に大きくなる、設定した前記高利得側結合位置に対応する高利得側ステップ値を設定し、
    　　前記中心閾値の設定位置から合成信号を前記低利得信号と結合すべき低利得信号最端部側結合位置の間に、当該低利得信号最端部側結合位置を含む少なくとも二つの低利得側結合位置を設定するとともに、中心部位置から低利得信号最端部に向かって徐々に大きくなる、設定した前記低利得側結合位置に対応する低利得側ステップ値を設定し、
    　　前記中心閾値から設定した前記高利得側ステップ値を減算して対応する前記高利得側結合位置の新たな閾値として設定し、当該新たな閾値を適用して前記高利得側結合位置における閾値と前記高利得信号との比較結果に応じて前記合成処理を行い、
    　　前記中心閾値に設定した前記低利得側ステップ値を加算して対応する前記低利得側結合位置の新たな閾値として設定し、当該新たな閾値を適用して前記低利得側結合位置における閾値と前記高利得信号との比較結果に応じて前記合成処理を行う
    　請求項８記載の固体撮像装置。
  13. 　前記信号処理部は、
    　　前記高利得側結合位置または低利得側結合位置の閾値と前記高利得信号との比較により選択された前記閾値に挟まれた領域の信号レベルにおいては、当該領域に割り当てられた重み付け値に従って重み付け平均値を算出し、当該重み付け平均値を当該領域の合成信号として出力する
    　請求項１２記載の固体撮像装置。
  14. 　前記信号処理部は、
    　　前記高利得信号最端部側結合位置の閾値と前記高利得信号との比較の結果、閾値の方が大きい場合は前記高利得信号を合成信号として適用し、
    　　前記低利得信号最端部側結合位置の閾値と前記高利得信号との比較の結果、閾値の方が小さい場合は前記低利得信号を合成信号として適用する
    　請求項１２記載の固体撮像装置。
  15. 　複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置の駆動方法であって、
    　前記複数の読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値とを比較する比較工程と、
    　比較結果に応じて合成に必要となる信号を少なくとも一つ選択する選択工程と、
    　合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する生成工程と、を有し、
    　前記閾値を動的に変更して前記比較工程、前記選択工程、および前記生成工程の処理を行う
    　固体撮像装置の駆動方法。
  16. 　複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置と、
    　前記固体撮像装置に被写体像を結像する光学系と、を有し、
    　前記固体撮像装置は、
    　　前記複数の読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する信号処理部を含み、
    　　前記信号処理部は、
    　　　前記閾値を動的に変更可能である
    　電子機器。
PCT/JP2016/088654 2015-12-25 2016-12-26 固体撮像装置、固体撮像装置の駆動方法、および電子機器 WO2017111154A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201680074824.0A CN108432238B (zh) 2015-12-25 2016-12-26 固体摄像装置、固体摄像装置的驱动方法以及电子设备
US16/065,351 US10735676B2 (en) 2015-12-25 2016-12-26 Solid-state imaging device, method for driving solid-state imaging device and electronic apparatus for extending a dynamic range

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-253286 2015-12-25
JP2015253286A JP6731725B2 (ja) 2015-12-25 2015-12-25 固体撮像装置およびその駆動方法、電子機器

Publications (1)

Publication Number Publication Date
WO2017111154A1 true WO2017111154A1 (ja) 2017-06-29

Family

ID=59090577

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/088654 WO2017111154A1 (ja) 2015-12-25 2016-12-26 固体撮像装置、固体撮像装置の駆動方法、および電子機器

Country Status (4)

Country Link
US (1) US10735676B2 (ja)
JP (1) JP6731725B2 (ja)
CN (1) CN108432238B (ja)
WO (1) WO2017111154A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10432879B2 (en) * 2018-01-16 2019-10-01 Omnivision Technologies, Inc. Dual conversion gain high dynamic range image sensor readout circuit memory storage structure
KR20210109769A (ko) * 2020-02-28 2021-09-07 삼성전자주식회사 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 구동 방법
KR20220033298A (ko) 2020-09-09 2022-03-16 삼성전자주식회사 이미지 센서
US11889219B2 (en) 2021-11-15 2024-01-30 Samsung Electronics Co., Ltd. Analog-to-digital converting circuit for optimizing power consumption of dual conversion gain operation, operation method thereof, and image sensor including the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008263522A (ja) * 2007-04-13 2008-10-30 Canon Inc 画像処理装置及び方法
JP2009088928A (ja) * 2007-09-28 2009-04-23 Sony Corp 撮像装置、撮像制御方法及び撮像制御プログラム
JP2013009105A (ja) * 2011-06-23 2013-01-10 Jvc Kenwood Corp 画像処理装置及び画像処理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592106B2 (ja) 1998-11-27 2004-11-24 キヤノン株式会社 固体撮像装置およびカメラ
JP3984814B2 (ja) 2001-10-29 2007-10-03 キヤノン株式会社 撮像素子、その撮像素子を用いた放射線撮像装置及びそれを用いた放射線撮像システム
JP4290066B2 (ja) * 2004-05-20 2009-07-01 キヤノン株式会社 固体撮像装置および撮像システム
EP2538661B1 (en) * 2011-06-23 2014-07-16 JVC KENWOOD Corporation Image processing apparatus and image processing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008263522A (ja) * 2007-04-13 2008-10-30 Canon Inc 画像処理装置及び方法
JP2009088928A (ja) * 2007-09-28 2009-04-23 Sony Corp 撮像装置、撮像制御方法及び撮像制御プログラム
JP2013009105A (ja) * 2011-06-23 2013-01-10 Jvc Kenwood Corp 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
US10735676B2 (en) 2020-08-04
CN108432238B (zh) 2020-11-24
US20190020832A1 (en) 2019-01-17
CN108432238A (zh) 2018-08-21
JP2019054302A (ja) 2019-04-04
JP6731725B2 (ja) 2020-07-29

Similar Documents

Publication Publication Date Title
JP4843461B2 (ja) 固体撮像装置
TWI394448B (zh) 固態成像裝置，成像裝置及固態成像裝置之驅動方法
TWI425830B (zh) A solid-state imaging element and a driving method thereof, and a camera system
US20100321532A1 (en) Solid-state imaging device, imaging system, and method of driving solid-state imaging device
US8792033B2 (en) Image pickup apparatus capable of changing operation condition of image sensing device and control method therefor
US9036052B2 (en) Image pickup apparatus that uses pixels different in sensitivity, method of controlling the same, and storage medium
US8411188B2 (en) Solid-state image pickup device
WO2017111154A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、および電子機器
JP2008172289A (ja) 固体撮像装置
JP2006333035A (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP6762806B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2004282552A (ja) 固体撮像素子および固体撮像装置
JP5487845B2 (ja) 撮像素子、駆動制御方法、並びにプログラム
WO2017115744A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、および電子機器
JP6733159B2 (ja) 撮像素子、及び撮像装置
JP2010098616A (ja) 画像処理回路
JP2010192659A (ja) 撮像装置
JP2009159269A (ja) 固体撮像素子及びそれを用いた撮像装置
WO2017119331A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、および電子機器
JP2018093301A (ja) 撮像素子及び撮像素子の制御方法
JP6967173B1 (ja) 撮像素子及び撮像装置
WO2016203966A1 (ja) 撮像装置、撮像方法、並びにプログラム
JP2010177873A (ja) 撮像装置、固体撮像素子の駆動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16879038

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16879038

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP