WO2022149355A1 - 撮像装置、撮像装置の画素信号処理方法、及び、撮像システム - Google Patents

撮像装置、撮像装置の画素信号処理方法、及び、撮像システム Download PDF

Info

Publication number
WO2022149355A1
WO2022149355A1 PCT/JP2021/042409 JP2021042409W WO2022149355A1 WO 2022149355 A1 WO2022149355 A1 WO 2022149355A1 JP 2021042409 W JP2021042409 W JP 2021042409W WO 2022149355 A1 WO2022149355 A1 WO 2022149355A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pair
phase difference
difference detection
blooming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/042409
Other languages
English (en)
French (fr)
Inventor
卓也 藤川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of WO2022149355A1 publication Critical patent/WO2022149355A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/621—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Definitions

  • the present disclosure relates to an image pickup device, a pixel signal processing method of the image pickup device, and an image pickup system.
  • image plane phase difference AF is known as one of the AF (autofocus) methods that automatically focus the camera.
  • AF autofocus
  • pixels having a configuration that can detect the defocus amount and the defocus direction partially or completely in the pixel array portion in which the pixels are two-dimensionally arranged in a matrix will be arranged.
  • an image pickup device having a configuration capable of acquiring a plurality of pixel signals having different exposure times.
  • a wide dynamic range can be achieved by synthesizing the luminance data of L / R of a plurality of exposures.
  • signal processing is performed in a state where each signal of the pair of L / R photoelectric conversion units is separated. If the linearity of the pixel data cannot be maintained due to the occurrence of the blooming phenomenon, a brightness step may occur at the switching points of the pixel data having different exposure times.
  • An image pickup device, a pixel signal processing method of an image pickup device, and an image pickup having the image pickup device which can avoid the occurrence of a brightness step at a switching point of pixel data having different exposure times due to the occurrence of a blooming phenomenon. It is desirable to provide a system.
  • the image pickup apparatus is a pixel array unit in which pixels are two-dimensionally arranged in a matrix and includes phase difference detection pixels having a pair of photoelectric conversion units in the two-dimensional arrangement of the pixels. , And a pixel signal processing unit that processes the pixel signal output from the phase difference detection pixel, and outputs a plurality of pixel signals having different exposure times from each pixel of the pixel array unit including the phase difference detection pixel.
  • the pixel signal processing unit is a pair of pixel characteristic correction circuits that perform predetermined correction processing on a pair of pixel signals output from the pair of photoelectric conversion units, and a pair of correction processing after the correction processing by the pixel characteristic correction circuit.
  • the pixel signal processing method of the image pickup apparatus is a phase difference detection pixel having pixels arranged in a matrix in two dimensions and having a pair of photoelectric conversion units in the two-dimensional arrangement of the pixels. It is possible to output a plurality of pixel signals having different exposure times from each pixel of the pixel array unit including the phase difference detection pixel, and the pixel signal output from the phase difference detection pixel. Based on the pixel characteristic correction step in which a predetermined correction process is performed on the pair of pixel signals output from the pair of photoelectric conversion units, and the pair of pixel signals after the correction process in the pixel characteristic correction step.
  • a blooming phenomenon has occurred in the phase difference detection pixel based on the pair of pixel signals before the correction processing in the brightness signal generation step and the pixel characteristic correction step that generate a plurality of brightness signals corresponding to different exposure times. It has a blooming determination step for determining the above, and a synthesis step for generating a composite brightness signal by synthesizing a plurality of brightness signals corresponding to different exposure times based on the determination result of the blooming determination step.
  • the imaging system is a pixel array unit in which pixels are two-dimensionally arranged in a matrix and includes phase difference detection pixels having a pair of photoelectric conversion units in the two-dimensional arrangement of the pixels.
  • an image pickup device provided with a pixel signal processing unit that processes the pixel signal output from the phase difference detection pixel, an image pickup lens arranged in the incident light path of the image pickup device, and a pair of photoelectrics of the phase difference detection pixel.
  • a focus control unit that controls the focus of the imaging lens based on an autofocus signal generated from a pair of pixel signals output from the conversion unit is provided, and each pixel of the pixel array unit including the phase difference detection pixel can be used from each pixel.
  • the pixel signal processing unit is a pixel characteristic correction circuit and pixel characteristics that perform predetermined correction processing on a pair of pixel signals output from the pair of photoelectric conversion units.
  • a brightness signal generation circuit that generates a plurality of brightness signals corresponding to different exposure times, and a pair of pixel signals before correction processing in the pixel characteristic correction circuit.
  • a composition that synthesizes a plurality of brightness signals corresponding to different exposure times based on the judgment result of the blooming judgment circuit that judges whether or not the blooming phenomenon has occurred in the phase difference detection pixel and the judgment result of the blooming judgment circuit. It has a synthesis circuit that generates a brightness signal.
  • FIG. 1 is a block diagram schematically showing a system configuration of a CMOS image sensor, which is an example of an image pickup apparatus to which the technique according to the present disclosure is applied.
  • FIG. 2 is a circuit diagram showing an example of a pixel circuit configuration.
  • FIG. 3 is a diagram illustrating a color filter bayer arrangement, three-exposure composition, and a pixel for phase difference detection.
  • FIG. 4 is a cross-sectional view showing an example of the cross-sectional structure of the phase difference detection pixel.
  • FIG. 5 is an explanatory diagram of measures against blooming.
  • FIG. 6 is an explanatory diagram for maintaining linearity at the time of pixel addition by taking measures against blooming.
  • FIG. 1 is a block diagram schematically showing a system configuration of a CMOS image sensor, which is an example of an image pickup apparatus to which the technique according to the present disclosure is applied.
  • FIG. 2 is a circuit diagram showing an example of a pixel circuit configuration.
  • FIG. 3 is a
  • FIG. 7 is a block diagram schematically showing an example of the configuration of the pixel signal processing unit according to the embodiment of the present disclosure.
  • FIG. 8 is a block diagram schematically showing an example of the configuration of the pixel signal processing unit according to the first embodiment.
  • FIG. 9 is a diagram schematically showing an example of a three-exposure synthesis process by a blooming determination circuit and a synthesis circuit.
  • FIG. 10 is a diagram showing an example of a long-time storage map, a medium-time storage map, and a short-time storage map.
  • FIG. 11 is a block diagram schematically showing an example of the configuration of the pixel signal processing unit according to the second embodiment.
  • FIG. 12 is a block diagram schematically showing an example of the configuration of the pixel signal processing unit according to the third embodiment.
  • FIG. 13 is a block diagram schematically showing an example of the configuration of the pixel signal processing unit according to the fourth embodiment.
  • FIG. 14 is a block diagram schematically showing an outline of the configuration of the imaging system
  • Example 4 (Variation example of Example 3: An example in which the pixels for phase difference detection are composed of pixels in an RGB bayer array and the synthesis process is performed outside the sensor). 4. The imaging system of the present disclosure 5. Modification example 6. Configuration that can be taken by this disclosure
  • the pixel characteristic correction circuit is configured to perform a process of correcting a sensitivity difference between a pair of photoelectric conversion units as a predetermined correction process.
  • the blooming phenomenon is a phenomenon that occurs when one of the photoelectric conversion units of the pair of photoelectric conversion units is saturated first due to the difference in sensitivity of the pair of photoelectric conversion units.
  • the blooming determination circuit has a blooming threshold value, and the pixel value of the phase difference detection pixel is blooming. It is possible to determine that the pixel is a phase difference detection pixel in which a blooming phenomenon occurs when the threshold value is equal to or higher than the threshold value. Further, for the synthesis circuit (step), a plurality of pixel signals corresponding to different exposure times are used by using a pair of pixel signals output from the phase difference detection pixels determined by the blooming determination circuit to prevent the blooming phenomenon. It is possible to generate a composite luminance signal by synthesizing the luminance signals.
  • the blooming determination circuit (step) is output from the phase difference detection pixel having a pixel value equal to or higher than the blooming threshold value.
  • the pair of pixel signals to be generated can be configured to generate a blend map for each exposure time so as not to be used for generating a composite brightness signal.
  • the composition circuit (step) can be configured to perform composition processing by adjusting the luminance level according to the exposure ratio.
  • the luminance step generated at the switching point of the pixel data of different exposure times is set in the synthesis circuit (step). , It can be configured to be relaxed by the blending process using the blend map. Further, regarding the phase difference detection pixel, when one of the photoelectric conversion units of the pair of photoelectric conversion units is saturated first due to the sensitivity difference of the pair of photoelectric conversion units, the saturated signal is transmitted to the other photoelectric conversion unit. It is possible to have a configuration having a pixel structure that allows the pixel structure to escape.
  • the phase difference detection pixels are completely provided as all the pixels of the pixel array unit.
  • the phase difference detection pixel may be configured such that the color filter is composed of pixels in a bayer array or is composed of white pixels.
  • CMOS Complementary Metal Oxide Semiconductor
  • a CMOS image sensor is an image sensor made by applying or partially using a CMOS process.
  • FIG. 1 is a block diagram schematically showing a system configuration of a CMOS image sensor, which is an example of an image pickup apparatus to which the technique according to the present disclosure is applied.
  • the CMOS image sensor 1 has a configuration including a pixel array unit 11 and a peripheral circuit unit arranged around the pixel array unit 11.
  • the pixel array unit 11 has a configuration in which pixels 20 including a photoelectric conversion unit (photoelectric conversion element) are two-dimensionally arranged in a row direction and a column direction, that is, in a matrix.
  • the row direction means the arrangement direction of the pixels 20 in the pixel row
  • the column direction means the arrangement direction of the pixels 20 in the pixel row.
  • the pixel 20 generates and accumulates a light charge corresponding to the amount of received light by performing photoelectric conversion in the photoelectric conversion unit.
  • the peripheral circuit unit of the pixel array unit 11 is composed of, for example, a row selection unit 12, a load MOS unit 13, a column signal processing unit 14, an output circuit unit 15, a pixel signal processing unit 16, a timing control unit 17, and the like.
  • Peripheral circuit units such as row selection unit 12, load MOS unit 13, column signal processing unit 14, output circuit unit 15, pixel signal processing unit 16, and timing control unit 17 are, for example, the same semiconductor substrate as the pixel array unit 11. It has a structure formed on the 18.
  • the semiconductor chip structure a so-called flat-mounted semiconductor chip structure in which a peripheral circuit portion is formed on the same semiconductor substrate (semiconductor chip) as the pixel array portion 11 is exemplified, but the flat-mounted semiconductor chip is illustrated. It is not limited to the structure. That is, at least two semiconductor substrates, a first-layer semiconductor substrate and a second-layer semiconductor substrate, are laminated, a pixel array portion 11 is formed on the first-layer semiconductor substrate, and a peripheral circuit portion is formed on the second-layer semiconductor substrate. Can be formed into a so-called laminated semiconductor chip structure.
  • the pixel array portion 11 on the first-layer semiconductor substrate and the peripheral circuit portion on the second-layer semiconductor substrate are Cu-Cu that directly joins the Cu electrodes to each other. It is electrically connected via a direct junction, a junction made of a through silicon via (Through Silicon Via: TSV), microbumps, etc. (not shown).
  • pixel control lines 31 (31 1 to 31 m ) are wired along the row direction for each pixel row with respect to the matrix-shaped pixel array. Further, signal lines 32 ( 321 to 32 n ) are wired along the row direction for each pixel row.
  • the pixel control line 31 transmits a drive signal for driving when reading a signal from the pixel 20.
  • the pixel control line 31 is shown as one wiring, but the wiring is not limited to one.
  • One end of the pixel control line 31 is connected to the output end corresponding to each row of the row selection unit 12.
  • each component of the peripheral circuit section of the pixel array section 11, that is, the row selection section 12, the load MOS section 13, the column signal processing section 14, the output circuit section 15, the pixel signal processing section 16, and the timing control section is composed of 17 mag.
  • the row selection unit 12, the load MOS unit 13, the column signal processing unit 14, the output circuit unit 15, the pixel signal processing unit 16, and the timing control unit 17 will be described.
  • the row selection unit 12 is composed of a shift register, an address decoder, and the like, and controls the scanning of the pixel row and the address of the pixel row when selecting each pixel 20 of the pixel array unit 11. Although the specific configuration of the row selection unit 12 is not shown, it generally has two scanning systems, a read scanning system and a sweep scanning system.
  • the read scanning system selectively scans the pixels 20 of the pixel array unit 11 row by row in order to read the pixel signal from the pixels 20.
  • the pixel signal read from the pixel 20 is an analog signal.
  • the sweep scanning system performs sweep scanning in advance of the read scan performed by the read scan system by the time of the shutter speed.
  • the photoelectric conversion element is reset by sweeping out unnecessary charges from the photoelectric conversion element of the pixel 20 in the read row. Then, by sweeping out (resetting) unnecessary charges by this sweeping scanning system, a so-called electronic shutter operation is performed.
  • the electronic shutter operation refers to an operation of discarding the optical charge of the photoelectric conversion element and starting a new exposure (starting the accumulation of the optical charge).
  • the signal read by the read operation by the read scan system corresponds to the amount of light received after the read operation or the electronic shutter operation immediately before that.
  • the period from the read timing by the immediately preceding read operation or the sweep timing by the electronic shutter operation to the read timing by the current read operation is the exposure period of the light charge in the pixel 20.
  • the load MOS unit 13 is composed of a set of current sources I (see FIG. 2) composed of MOS transistors connected to each of the vertical signal lines 32 ( 321 to 32 n ) for each pixel row, and is selected by the row selection unit 12. A bias current is supplied to each pixel 20 in the scanned pixel row through each of the vertical signal lines 32 ( 321 to 32 n ) .
  • the column signal processing unit 14 is composed of a set of circuit units provided corresponding to the pixel strings of the pixel array unit 11, and noise reduction is performed for each pixel column with respect to the pixel signal output from the pixel 20 in pixel row units. Signal processing such as. Specifically, the column signal processing unit 14 performs signal processing such as CDS (Correlated Double Sampling) processing for removing fixed pattern noise peculiar to pixels and analog-to-digital conversion processing. .. The pixel data signal-processed by the column signal processing unit 14 is supplied to the output circuit unit 15 through the output signal line L.
  • CDS Correlated Double Sampling
  • the output circuit unit 15 reads pixel data from the column signal processing unit 14 through the output signal line L and performs predetermined signal processing. Specifically, the output circuit unit 15 performs predetermined signal processing such as correction of vertical line defects and point defects, or signal clamping, and further, parallel-serial conversion, compression, coding, addition, and averaging. , And digital signal processing such as intermittent operation is performed and output as image data.
  • predetermined signal processing such as correction of vertical line defects and point defects, or signal clamping, and further, parallel-serial conversion, compression, coding, addition, and averaging.
  • digital signal processing such as intermittent operation is performed and output as image data.
  • the pixel signal processing unit 16 is a circuit portion to which the technique of the present disclosure is applied, and details such as its configuration and operation will be described later.
  • the timing control unit 17 generates various timing signals, clock signals, control signals, etc. based on the synchronization signal given from the outside. Then, the timing control unit 17 performs drive control of the row selection unit 12, the column signal processing unit 14, the pixel signal processing unit 16, and the like based on these generated signals.
  • FIG. 2 is a circuit diagram showing an example of the circuit configuration of the pixel 20.
  • the pixel 20 has, for example, a photodiode 21 as a photoelectric conversion element.
  • the pixel 20 has a transfer transistor 22, a reset transistor 23, an amplification transistor 24, and a selection transistor 25.
  • the four transistors of the transfer transistor 22, the reset transistor 23, the amplification transistor 24, and the selection transistor 25, for example, an N-channel MOS type field effect transistor is used.
  • the combination of the conductive type of the four transistors 22 to 25 exemplified here is only an example, and is not limited to these combinations.
  • a plurality of pixel control lines are commonly wired to each pixel 20 in the same pixel row as the pixel control lines 31 (31 1 to 31 m ) described above for the pixel 20. These plurality of pixel control lines are connected to the output end corresponding to each pixel row of the row selection unit 12 in pixel row units.
  • the row selection unit 12 appropriately outputs the transfer signal TRG, the reset signal RST, and the selection signal SEL to the plurality of pixel control lines.
  • the anode electrode is connected to a low-potential side power supply (for example, ground), and the received light is photoelectrically converted into a light charge (here, photoelectrons) having a charge amount corresponding to the light amount, and the light thereof is converted. Accumulates electric charge.
  • the cathode electrode of the photodiode 21 is electrically connected to the gate electrode of the amplification transistor 24 via the transfer transistor 22.
  • the region in which the gate electrode of the amplification transistor 24 is electrically connected is a floating diffusion (floating diffusion region / impurity diffusion region) FD.
  • the floating diffusion FD is a charge-voltage conversion unit that converts electric charge into voltage.
  • a transfer signal TRG in which a high level (for example, V DD level) is active is given to the gate electrode of the transfer transistor 22 from the row selection unit 12.
  • the transfer transistor 22 becomes conductive in response to the transfer signal TRG, is photoelectrically converted by the photodiode 21, and transfers the optical charge stored in the photodiode 21 to the floating diffusion FD.
  • the reset transistor 23 is connected between the node of the high potential side power supply voltage V DD and the floating diffusion FD.
  • a reset signal RST that activates a high level is given to the gate electrode of the reset transistor 23 from the row selection unit 12.
  • the reset transistor 23 becomes conductive in response to the reset signal RST, and resets the floating diffusion FD by discarding the charge of the floating diffusion FD to the node of the voltage V DD .
  • the gate electrode is connected to the floating diffusion FD, and the drain electrode is connected to the node of the high potential side power supply voltage VDD .
  • the amplification transistor 24 serves as an input unit for a source follower that reads out a signal obtained by photoelectric conversion in the photodiode 21. That is, in the amplification transistor 24, the source electrode is connected to the signal line 32 via the selection transistor 25.
  • the drain electrode is connected to the source electrode of the amplification transistor 24, and the source electrode is connected to the signal line 32.
  • a selection signal SEL in which a high level is active is given to the gate electrode of the selection transistor 25 from the row selection unit 12.
  • the selection transistor 25 enters a conduction state in response to the selection signal SEL, so that the signal output from the amplification transistor 24 is transmitted to the signal line 32 with the pixel 20 in the selection state.
  • the pixel 20 is composed of a transfer transistor 22, a reset transistor 23, an amplification transistor 24, and a selection transistor 25, that is, a 4Tr configuration composed of four transistors (Tr) is given as an example.
  • the selection transistor 25 may be omitted, and the amplification transistor 24 may have a 3Tr configuration in which the function of the selection transistor 25 is provided. If necessary, the number of transistors may be increased to a configuration of 5Tr or more. ..
  • a reset signal (so-called P-phase signal) which is a reset level at the time of resetting the floating diffusion FD by the reset transistor 23, and a signal level based on photoelectric conversion in the photodiode 21.
  • Data signals (so-called D-phase signals) are output in order. That is, the pixel signal output from the pixel 20 includes a reset signal at the time of reset and a data signal at the time of photoelectric conversion by the photodiode 21.
  • each pixel 20 of the pixel array unit 11 has, for example, a color filter 47 (see FIG. 4) in units of 4 pixels of 2 ⁇ 2 (2 pixels in the column direction ⁇ 2 pixels in the row direction). ) Is placed.
  • the color filter 47 may not be arranged.
  • the bayer arrangement of R (red) G (green) B (blue) shown in FIG. 3 is illustrated.
  • the arrangement example of the color filter is not limited to the bayer arrangement and the RGB primary color filter, and various configurations such as a complementary color filter such as C (cyan) M (magenta) Y (yellow) are applied. May be done.
  • the CMOS image sensor 1 having the above configuration is configured to acquire a plurality of pixel signals having different exposure times in order to achieve a wide dynamic range, that is, to generate an image having a wide dynamic range. ..
  • a pixel signal with a relatively long exposure time and a long-time storage a pixel signal with a relatively medium exposure time and a medium-time storage
  • a short-time storage with a relatively short exposure time 3 An example is illustrated in which a wide dynamic range is achieved by synthesizing pixel signals based on different types of exposure times (hereinafter, abbreviated as "3 exposures").
  • the long-time storage pixel is L
  • the medium-time storage pixel is M
  • the short-time storage pixel S is shown.
  • Pixel L, medium-time storage pixel M, and short-time storage pixel S are arranged.
  • the phase difference is partially or wholly detected in the two-dimensional arrangement of the pixels 20. It has a configuration in which pixels are arranged.
  • a configuration in which all the pixels 20 in the pixel array unit 11 are phase difference detection pixels that is, a configuration in which the phase difference detection pixels 20 are completely arranged in the pixel array unit 11 is illustrated.
  • the phase difference detection pixel 20 has a pair of photoelectric conversion units, that is, a pair of left and right photodiodes 21L divided into left and right (L / R) in the row direction of the two-dimensional arrangement of the pixels 20. , 21R.
  • the pair of photodiodes 21L and 21R have different formation positions in one pixel 20.
  • the images generated from the signals of the pair of L / R photodiodes 21L and 21R are displaced. Therefore, by detecting the relative position of each L / R image based on the respective signals of the pair of photodiodes 21L and 21R, it is possible to detect the defocus amount and the defocus direction used in the autofocus described later.
  • phase difference detection pixel a pixel having a pair of photodiodes 21L and 21R and capable of detecting a defocus amount and a defocus direction used in autofocus is referred to as a phase difference detection pixel. ..
  • the phase difference detection pixel is not only used for detecting the defocus amount and the defocus direction, but is also used by adding the signals of the pair of photodiodes 21L and 21R in the same manner as the normal pixel. It can also be used as a pixel for acquiring a pixel signal of one pixel, and can be used for calculating depth information (Depth) from the difference information of a pair of L / R synthetic brightness data.
  • the color filter arrangement is, for example, an RGB bayer arrangement, and the exposure times are different for long-time storage, medium-time storage, and
  • the pixel array unit 11 has, for example, the entire phase difference detecting pixel 20 capable of detecting the defocus amount and the defocus direction.
  • the photodiodes 21L and 21R are formed by forming the N-type (second conductive type) semiconductor region 42 in the P-type (first conductive type) semiconductor region 31.
  • a pair of left and right photodiodes 21L and 21R are formed in one pixel of the phase difference detection pixel 20.
  • the pair of left and right photodiodes 21L and 21R are formed so that the pixel region is evenly divided into two and arranged symmetrically.
  • a pixel transistor (not shown) that is generated by a pair of left and right photodiodes 21L and 21R of the phase difference detection pixel 20 and reads out the accumulated charge and the like (not shown).
  • a plurality of wirings 43, and a multilayer wiring layer 45 composed of an interlayer insulating film 44 are formed.
  • an inter-pixel light-shielding film 46 is formed at the pixel boundary portion on the back surface side of the semiconductor substrate 18 on the upper side in FIG.
  • the inter-pixel light-shielding film 46 may be any material that blocks light, but a material that has strong light-shielding properties and can be processed with high precision by microfabrication, for example, etching is desirable.
  • the interpixel light-shielding film 46 can be formed of, for example, a metal film such as tungsten (W), aluminum (Al), copper (Cu), titanium (Ti), molybdenum (Mo), and nickel (Ni).
  • an antireflection film made of a silicon oxide film or the like may be further formed on the back surface side interface of the semiconductor substrate 18.
  • a color filter 47 is formed on the back surface of the semiconductor substrate 18 including the interpixel light-shielding film 46.
  • the color filter 47 is formed by rotationally applying a photosensitive resin containing a dye such as a pigment or a dye.
  • a photosensitive resin containing a dye such as a pigment or a dye.
  • an on-chip lens 48 is formed in pixel units, that is, in common with a pair of photodiodes 21L and 21R.
  • the on-chip lens 48 is formed of, for example, a resin-based material such as a styrene-based resin, an acrylic resin, a styrene-acrylic copolymer resin, or a siloxane-based resin.
  • the image pickup apparatus to which the technique of the present disclosure is applied has a color filter 47 or an on-chip on the back surface side opposite to the front surface side of the semiconductor substrate 18 on which the multilayer wiring layer 45 is formed. It is a back-illuminated CMOS image sensor 1 that forms a lens 48 and captures light emitted from the back surface side.
  • the type is not limited to the backside irradiation type, and a surface irradiation type that captures the light emitted from the front side can also be used.
  • the CMOS image sensor 1 is provided with a phase difference detection pixel 20 having a pair of left and right (L / R) photodiodes 21L and 21R while being able to acquire a plurality of pixel signals having different exposure times.
  • the signals of the pair of photodiodes 21L and 21R can be used for the calculation of depth information (Dept).
  • predetermined signal processing is performed on a plurality of pixel signals L / R having different exposure times, which are output from a pair of photodiodes 21L and 21R for each pixel.
  • a predetermined pixel signal L / R for long-time storage, medium-time storage, and short-time storage output from the pair of photodiodes 21L and 21R is used.
  • a sensitivity difference may occur between the pair of photodiodes 21L and 21R.
  • a blooming phenomenon in which the linearity of the pixel data of one pixel after adding the signals of the pair of photodiodes 21L and 21R cannot be maintained occurs. Occur. If the linearity of the pixel data cannot be maintained due to the occurrence of the blooming phenomenon, a luminance step occurs at the switching points of the pixel data having different exposure times, and erroneous depth information is detected at the step portion.
  • the phase difference detection pixel 20 has the following pixel structure.
  • An explanatory diagram of this blooming countermeasure is shown in FIG.
  • the upper view of FIG. 5 is an enlarged plan view of the phase difference detection pixel 20 of the medium-time storage (M) of the 2 ⁇ 2 pixels of R, and the lower view of FIG. 5 is a pair of photos.
  • It is a potential conceptual diagram which shows the potential of a diode 21L, 21R schematically.
  • the phase difference detection pixel 20 has a pixel structure in which the potential barrier 201 between the pair of L / R photodiodes 21L and 21R is formed lower than the potential barrier 202 at the pixel boundary.
  • the impurity concentration of the impurity layer between the pair of photodiodes 21L and 21R (not shown in FIG. 4) that separates the pair of photodiodes 21L and 21R is adjusted. By doing so, it can be formed to be lower than the potential barrier 202 at the pixel boundary.
  • the sensitivity difference between the pair of photodiodes 21L and 21R causes the sensitivity difference.
  • one of the pair of photodiodes 21L and 21R (photodiode 21L in the example of FIG. 5) is saturated first, the saturated signal can be released to the other (photodiode 21R in the example of FIG. 5).
  • FIG. 6 shows an explanatory diagram of maintaining linearity at the time of pixel addition by the above-mentioned blooming countermeasure. Since the image data (for example, the bayer array) output to the outside of the sensor is used by adding the signals of the pair of L / R photodiodes 21L and 21R, the problem of blooming phenomenon is not affected by the above blooming countermeasures. ..
  • CMOS image sensor 1 using the phase difference detection pixel 20 a pair of L / R photodiodes for detecting defocus information (defocus amount and defocus direction) for autofocus or depth information. Signal processing is performed with the 21L and 21R signals separated. Therefore, when the blooming phenomenon occurs, the linearity of the pixel data cannot be maintained, and the signal levels at the time of synthesis do not match.
  • FIG. 7 schematically shows a block diagram of an example of the configuration of the pixel signal processing unit according to the embodiment of the present disclosure, that is, the pixel signal processing unit 16 shown in FIG.
  • the pixel signal processing unit 16 can acquire a plurality of pixel signals having different exposure times, and has an L / R pair of photodiodes 21L.
  • a predetermined value is provided for a plurality of pixel signals L / R having different exposure times, which are output from a pair of photodiodes 21L, 21R for each pixel.
  • It is a signal processing unit for performing signal processing.
  • the pixel signal processing unit 16 according to the present embodiment has a configuration including a pixel characteristic correction circuit 161, a luminance signal generation circuit 162, a blooming determination circuit 163, and a synthesis circuit 164.
  • the pixel characteristic correction circuit 161 is output from a pair of L / R photodiodes 21L, 21R, and has a plurality of pixel signals L / R having different exposure times, for example, long-time storage, medium-time storage, and short-time storage.
  • a predetermined correction process is performed on the three pixel signals L / R.
  • the pixel characteristic correction circuit 161 changes the balance of L / R depending on the image height position, as an example of predetermined correction processing, there are 3 types of long-time storage, medium-time storage, and short-time storage. Processing is performed to correct the sensitivity difference between the pair of L / R photodiodes 21L and 21R for one pixel signal L / R.
  • the brightness signal generation circuit 162 has different exposure times (long-time storage) based on three pixel signals L / R of long-time storage, medium-time storage, and short-time storage after correction processing by the pixel characteristic correction circuit 161. , Medium-time storage, and short-time storage) to generate a plurality of brightness signals (brightness data) L / R.
  • the blooming determination circuit 163 detects the phase difference based on the pixel signal before the correction process in the pixel characteristic correction circuit 161, that is, the three pixel signals L / R of long-time storage, medium-time storage, and short-time storage. It is determined whether or not the blooming phenomenon has occurred in the pixel 20.
  • the pixel value at which linearity cannot be maintained due to the influence of the occurrence of the blooming phenomenon depends on the characteristics of the phase difference detection pixel 20. Therefore, a blooming threshold value is set in the blooming determination circuit 163. Then, the blooming determination circuit 163 determines that the phase difference detection pixel 20 has a blooming phenomenon when the pixel value before the correction process in the pixel characteristic correction circuit 161 is equal to or greater than the blooming threshold value.
  • the synthesis circuit 164 has a plurality of luminance signals corresponding to different exposure times based on the determination result of the blooming determination circuit 163, that is, three luminance data L / R of long-term storage, medium-time storage, and short-time storage. Is combined and output as the combined luminance data L / R. Specifically, the synthesis circuit 164 excludes the phase difference detection pixel 20 determined by the blooming determination circuit 163 that the blooming phenomenon has occurred, and the phase difference detection pixel 20 determined that the blooming phenomenon has not occurred. For 20, the three luminance data L / R of long-term storage, medium-time storage, and short-time storage are combined and output as the combined luminance data L / R.
  • the reason why the pixel in which the blooming phenomenon is generated is determined based on the data before the correction processing in the pixel characteristic correction circuit 161 is as follows. That is, the signal level of the L / R changes due to the correction processing such as the sensitivity difference in the pixel characteristic correction circuit 161 and the signal level of the original pixel cannot be known. Further, since the luminance data after the sensor output is subjected to various signal processing, the original signal level cannot be restored for the same reason. Therefore, by performing the blooming determination process and the synthesis process using the blooming determination process based on the data before the correction process in the pixel characteristic correction circuit 161, it is possible to accurately determine the linearity maintenance.
  • the contrast is an important point when calculating the depth data from the difference information of the L / R pair of synthetic luminance data.
  • sufficient contrast cannot be obtained with luminance data stored only for medium time, and it is easy to calculate erroneous depth data. Therefore, more accurate depth data can be calculated by using the combined luminance data L / R having a wide dynamic range.
  • the pixel data of one pixel can be acquired.
  • the pixel characteristic correction circuit 161 the brightness signal generation circuit 162, the blooming determination circuit 163, and the synthesis are performed.
  • the circuit 164 is replaced with a pixel characteristic correction step, a brightness signal generation step, a blooming determination step, and a synthesis step.
  • the pixel signal processing unit uses the pixel data before the sensitivity correction processing by the pixel characteristic correction circuit 161 for phase difference detection in which the blooming phenomenon occurs.
  • the pixel 20 is determined, and the pixel data of the phase difference detection pixel 20 in which the blooming phenomenon does not occur is used to perform the synthesis processing of the three exposure brightness data.
  • the combined luminance data L / R having a wider dynamic range can be obtained as compared with the case of using one luminance data, so that the detection accuracy of the depth information in the dark part or the bright part can be improved.
  • the luminance step does not occur at the switching point of the pixel data having different exposure times, the detection of erroneous depth information does not occur.
  • the first embodiment is an example in which the functions of avoiding the influence of blooming and synthesizing three exposure luminance data are incorporated in the luminance data generation block.
  • FIG. 8 schematically shows a block diagram of an example of the configuration of the pixel signal processing unit according to the first embodiment.
  • the brightness data generation block 50 has a gradation compression circuit 165 in addition to the brightness signal generation circuit 162, the blooming determination circuit 163, and the synthesis circuit 164, and is a pair of L / R photodiodes of the phase difference detection pixels 20.
  • a composite brightness signal L based on a plurality of pixel signals L / R with different exposure times output from 21L and 21R, for example, three pixel signals L / R of long-term storage, medium-time storage, and short-time storage. Generate / R.
  • the luminance data generation block 50 has a function of avoiding the influence of blooming based on the determination result of the blooming determination circuit 163 and a function of synthesizing three exposure luminance data by the luminance signal generation circuit 162 and the synthesis circuit 164.
  • the blooming determination circuit 163 blooms based on the pixel data before the sensitivity difference correction process in the pixel characteristic correction circuit 161, that is, the three pixel data L / R of long-time storage, medium-time storage, and short-time storage. Detect the pixel where the phenomenon is occurring. Since the R / G / G / B pixel data of the Bayer array is used to generate the luminance data in the luminance signal generation circuit 162, if the blooming phenomenon occurs in any one of the pixels, the pixel data is used. Luminance data cannot be used. Further, since it affects the L / R of the same color pixel in which the blooming phenomenon occurs, both the L / R of the generated luminance data cannot be used.
  • the blooming determination circuit 163 creates a blend map as a blooming determination result for each of the pixel data of long-time storage, medium-time storage, and short-time storage based on the information of the pixel in which the blooming phenomenon occurs.
  • the blend map of the pixel data accumulated for a long time is used in combination with the luminance data accumulated for a long time, and is used to extract only usable pixels, that is, pixels in which the blooming phenomenon does not occur.
  • FIG. 9 is a diagram schematically showing an example of a three-exposure composition process by the blooming determination circuit 163 and the composition circuit 164.
  • Three types of luminance data L / R for long-term storage, medium-time storage, and short-time storage by the luminance signal generation circuit 162, and a blend map by the blooming determination circuit 163 are generated.
  • the luminance data of each of the long-time, medium-time, and short-time exposure times of 10 bits is multiplied by the blend map, and the luminance data synthesized by 3 exposures is generated in each of L / R.
  • the combined luminance data L / R after the three-exposure composition processing is expanded to 16 bits, but is compressed to 10 bits by the gamma processing and the limit processing in the gradation compression circuit 165 in the subsequent stage.
  • the contrast tends to be weak in the low illuminance region, so that the gradation compression circuit 165 performs gamma processing.
  • This gamma processing is not indispensable, and it is possible to perform processing not only inside the CMOS image sensor but also outside the CMOS image sensor.
  • the luminance signal generation circuit 162 includes each functional unit of the L / R separation unit 1621, the channel decomposition unit 1622, and the luminance signal generation unit 1623.
  • the L / R separation unit 1621 performs L / R separation on the pixel data after the sensitivity difference correction.
  • the channel decomposition unit 1622 performs channel decomposition for dividing L / R pixel data in units of 2 ⁇ 2 4 pixels into the same group for each exposure time.
  • the luminance signal generation unit 1623 generates the luminance data of L ⁇ 4 and the luminance data of R ⁇ 4 based on the pixel data of L ⁇ 4 and the pixel data of R ⁇ 4 channel-decomposed by the channel decomposition unit 1622. It is supplied to the synthesis circuit 164.
  • the blooming determination circuit 163 includes each functional unit of the L / R separation unit 1631, the channel decomposition unit 1632, the blooming determination unit 1633, and the blend map generation unit 1634.
  • the L / R separation unit 1631 performs L / R separation on the pixel data before the sensitivity difference correction.
  • the channel decomposition unit 1632 performs channel decomposition for dividing L / R pixel data in units of 2 ⁇ 2 4 pixels into the same group for each exposure time.
  • the blooming determination unit 1633 determines whether or not a blooming phenomenon has occurred in the phase difference detection pixel 20 based on the L ⁇ 4 pixel data and the R ⁇ 4 pixel data channel-decomposed by the channel decomposition unit 1622. conduct. Since the pixel value at which linearity cannot be maintained due to the influence of the occurrence of the blooming phenomenon depends on the pixel characteristics, the pixel at which the blooming phenomenon occurs is determined using the threshold parameter. Specifically, the blooming determination unit 1633 determines that a pixel whose pixel value is equal to or greater than the blooming threshold value is a pixel in which the blooming phenomenon has occurred.
  • the blend map generation unit 1634 creates a blend map for each of the pixel data of long-term storage, medium-time storage, and short-time storage based on the information of the pixels determined by the blooming determination unit 1633 that the blooming phenomenon has occurred. create. Specifically, the blend map generation unit 1634 generates a map for each exposure time so that the pixel value is not used for the pixel whose pixel value is equal to or larger than the blooming threshold, that is, the pixel in which the blooming phenomenon occurs.
  • FIG. 10 shows an example of a long-time storage map, a medium-time storage map, and a short-time storage map.
  • the blend map generation unit 1634 performs a simple blend process, expands the number of bits of the map so as to blend pixel data having different exposure times from the stage before the pixel value exceeds the blooming threshold, and generates a blend map. It is composed.
  • the synthesis circuit 164 uses the blend map generated by the blend map generation unit 1634 of the blooming determination circuit 163, and accumulates for a long time by blending the luminance data of long-term storage, medium-time storage, and short-time storage. , Medium-time storage, and short-time storage of three exposure luminance data are combined. Specifically, in order to match the overall luminance level based on the luminance data accumulated for a long time, the luminance data obtained by multiplying the luminance data accumulated for medium time by the exposure ratio and the luminance data accumulated for a short time are used as the exposure ratio 2. Prepare the multiplied brightness data in advance.
  • the synthesis circuit 164 generates 3-exposure composite luminance data by multiplying and adding the above-mentioned blend map and the luminance data prepared in advance.
  • the pixel signal processing unit 16 adjusts the brightness for each local area and performs a process of blending.
  • the composition processing is performed by simply switching the luminance data whose exposure ratio is doubled, in other words, by adjusting the luminance level according to the exposure ratio. To reduce the weight of the processing.
  • the boundary of a plurality of luminance data having different exposure times is switched by the blend processing by the blend map to suppress a sudden change in the signal level and the luminance step. Is relaxing.
  • the second embodiment is an example in which the phase difference detection pixel is composed of a white pixel without a color filter.
  • FIG. 11 schematically shows a block diagram of an example of the configuration of the pixel signal processing unit according to the second embodiment.
  • the phase difference detection pixels 20 are composed of white pixels without a color filter and are white. It is configured to perform a plurality of exposure composition processing using only pixels, for example, a three-exposure composition process of long-term storage, medium-time storage, and short-time storage. That is, if the pixel structure has a pair of photodiodes 21L and 21R and is capable of outputting a plurality of pixel signals having different exposure times, the composition processing is the same as in the case of the first embodiment, not limited to the RGB bayer arrangement. It is possible to do.
  • the pixel characteristic correction circuit 161 is output from a pair of L / R photodiodes 21L, 21R, and has a plurality of pixel data L / Rs having different exposure times, for example, long-time storage, medium-time storage, and short-time storage.
  • a predetermined correction process is performed on the three pixel data L / R.
  • the pixel characteristic correction circuit 161 changes the balance of L / R depending on the image height position, as an example of predetermined correction processing, there are 3 types of long-time storage, medium-time storage, and short-time storage. Processing is performed to correct the sensitivity difference between the pair of L / R photodiodes 21L and 21R for one pixel data L / R.
  • the L / R separation circuit 166 stores three pixel data L / R, which are accumulated for a long time, medium time, and short time after the correction process in the pixel characteristic correction circuit 161 for a long time and medium time. Pixel data accumulated and stored for a short time and pixel data accumulated for a long time, medium time, and short time of R are separated and supplied to the synthesis circuit 164. In the case of the phase difference detection pixel 20 composed of white pixels, the pixel data is luminance data.
  • the synthesis circuit 164 Based on the determination result of the blooming determination circuit 163, the synthesis circuit 164 synthesizes three luminance data L / R of long-time storage, medium-time storage, and short-time storage, and obtains three exposure composite luminance data L / R. Output. Specifically, the synthesis circuit 164 has three types of phase difference detection pixels 20 determined by the blooming determination circuit 163 that the blooming phenomenon has not occurred: long-time storage, medium-time storage, and short-time storage. The brightness data L / R is combined. The three-exposure composite luminance data L / R output from the composite circuit 164 is supplied to, for example, an application processor 60 provided outside the sensor.
  • the phase difference detection pixel 20 is composed of white pixels, and the three-exposure composition process is performed using only the white pixels.
  • white pixels it is not necessary to generate luminance (Y) data. Therefore, by synthesizing using the pixel data of long-term storage, medium-time storage, and short-time storage as they are. It is possible to output L / R three-exposure composite luminance data.
  • the third embodiment is an example in which the phase difference detection pixel is composed of a white pixel without a color filter, and the synthesis process is performed outside the sensor.
  • FIG. 12 schematically shows a block diagram of an example of the configuration of the pixel signal processing unit according to the third embodiment.
  • the pixel signal processing unit 16 is configured to generate the three-exposure composite luminance data L / R by using the application processor 60 provided outside the sensor.
  • the application processor 60 outside the sensor from the L / R separation circuit 166 inside the sensor, pixel data of long-term storage, medium-time storage, and short-time storage of L, and long-term storage and medium-time storage of R, In addition, pixel data stored for a short time is supplied.
  • the application processor 60 performs the blooming determination process in the same manner as the blooming determination circuit 163 of the first embodiment by software processing, and also performs the three-exposure composition process in the same manner as the synthesis circuit 164 of the first embodiment. 3 Output the combined exposure brightness data L / R.
  • the load on the application processor 60 becomes heavy because the blooming determination processing and the three-exposure composition processing are performed outside the sensor. Therefore, from the viewpoint of reducing the load on the application processor 60, it can be said that it is preferable to perform the blooming determination process and the three-exposure composition process in the sensor as in the case of the first and second embodiments. ..
  • the fourth embodiment is a modification of the third embodiment, in which the pixels for phase difference detection are composed of pixels in an RGB bayer array, and the synthesis process is performed outside the sensor.
  • FIG. 13 schematically shows a block diagram of an example of the configuration of the pixel signal processing unit according to the fourth embodiment.
  • the application processor 60 performs luminance data generation processing in the same manner as the luminance signal generation circuit 162 of the first embodiment, and performs luminance determination processing in the same manner as the blooming determination circuit 163 of the first embodiment by software processing.
  • the 3-exposure composition processing is output.
  • the load of the application processor 60 is higher than that in the case of the third embodiment in order to perform the luminance data generation processing, the blooming determination processing, and the three-exposure composition processing outside the sensor. It will be even heavier. Therefore, from the viewpoint of reducing the load on the application processor 60, it can be said that it is preferable to perform the blooming determination process and the three-exposure composition process in the sensor as in the case of the first and second embodiments. ..
  • FIG. 14 is a block diagram schematically showing an outline of the configuration of the imaging system of the present disclosure.
  • the image pickup system 100 of the present disclosure includes an optical system 110, an image pickup element 120, a signal processing unit 130, and an autofocus unit 140.
  • the optical system 110 is composed of an image pickup lens 111, a diaphragm (not shown), and the like.
  • the image pickup lens 111 is shown as one lens, but the present invention is not limited to this. That is, the image pickup lens 111 may be composed of one lens or may be composed of a plurality of lenses.
  • the image pickup element 120 converts the amount of incident light beam imaged on the image pickup surface by the image pickup lens 111 into an electric signal in pixel units and outputs it as a pixel signal.
  • the image pickup element 120 includes a CMOS image sensor according to the above-described embodiment, that is, a pixel array unit including a phase difference detection pixel having a pair of photoelectric conversion units in a two-dimensional arrangement of pixels, and is used for phase difference detection.
  • a CMOS image sensor capable of outputting a plurality of pixel signals having different exposure times can be used from each pixel of the pixel array unit including the pixels. From this CMOS image sensor, for example, three-exposure composite luminance data L / R is output to the autofocus unit 140.
  • the signal processing unit 130 has a configuration including a DSP (Digital Signal Processor) circuit 131, a frame memory 132, a display unit 133, a recording unit 134, an operation system 135, and the like.
  • the DSP circuit 131, the frame memory 132, the display unit 133, the recording unit 134, and the operation system 135 are connected to each other via the bus line 136 so as to be communicable with each other.
  • the DSP circuit 131 performs various well-known signal processing on the image pickup signal supplied from the image pickup element 120 while using the frame memory 132 as necessary.
  • the display unit 133 comprises a panel-type display device such as a liquid crystal display device or an organic EL (electroluminescence) display device, and displays a moving image or a still image captured by the image pickup device 120.
  • the recording unit 134 records a moving image or a still image captured by the image sensor 120 on a recording medium such as a hard disk or a DVD.
  • the operation system 135 issues operation commands for various functions of the image pickup system 100 under the operation of the photographer.
  • the signal processing unit 130 is also provided with a power supply system, which operates the DSP circuit 131, the frame memory 132, the display unit 133, the recording unit 134, and the operation system 135.
  • Various power sources that serve as power sources are appropriately supplied to these supply targets.
  • the autofocus unit 140 has a configuration including a focus control unit 141, a lens drive unit 142, and the like.
  • the three-exposure composite luminance data L / R generated by the image sensor 120 is supplied to the lens driving unit 142.
  • the focus control unit 141 is configured by a microcomputer or the like, and based on the three-exposure composite brightness data L / R supplied from the image pickup element 120, the focus shift amount and shift direction of the image pickup lens 111, that is, the defocus amount and Generates a phase difference detection signal that indicates the defocus direction. Then, the focus control unit 141 moves the image pickup lens 111 in the optical axis direction via the lens drive unit 142 based on the generated phase difference detection signal to bring the image pickup lens 111 into a focused state. I do.
  • the image pickup system 100 of the present disclosure uses the CMOS image sensor according to the above-described embodiment as the image pickup element 120, and the CMOS image sensor has different exposure times due to the occurrence of the blooming phenomenon. It is possible to avoid the occurrence of a luminance step at the switching point of the pixel data of. Therefore, since the CMOS image sensor outputs the multi-exposure composite luminance data L / R without the occurrence of the luminance step at the switching points of the pixel data with different exposure times, it is based on the multi-exposure composite luminance data L / R. Autofocus control can be performed more accurately.
  • the image pickup system 100 of the present disclosure can be used as an image pickup unit of various electronic devices including a mobile terminal device having an image pickup function such as a smartphone.
  • the technique according to the present disclosure has been described above based on the preferred embodiment, the technique according to the present disclosure is not limited to the embodiment.
  • the configuration and structure of the image pickup apparatus described in the above embodiment are examples, and can be changed as appropriate.
  • the configuration of three exposures of long-term storage, medium-time storage, and short-time storage has been described as an example, but the configuration is not limited to the three-exposure configuration, and the configuration is two-exposure.
  • the configuration may be 4 or more exposures.
  • the luminance data to be combined and output can be realized only with the G pixel data, although the accuracy is reduced.
  • the circuit scale can be made smaller than the case where the composite luminance data is output using the data of each pixel of RGB, it can be said that the configuration is advantageous when the chip size is prioritized.
  • the present disclosure may also have the following configuration.
  • Imaging device ⁇ [A-01] Pixels are arranged two-dimensionally in a matrix, and a pixel array unit including a phase difference detection pixel having a pair of photoelectric conversion units in the two-dimensional arrangement of the pixels, and a pixel array unit. It is equipped with a pixel signal processing unit that processes the pixel signal output from the phase difference detection pixel. It is possible to output a plurality of pixel signals having different exposure times from each pixel of the pixel array portion including the pixel for phase difference detection.
  • the pixel signal processing unit A pixel characteristic correction circuit that performs predetermined correction processing on a pair of pixel signals output from a pair of photoelectric conversion units.
  • a luminance signal generation circuit that generates a plurality of luminance signals corresponding to different exposure times based on a pair of pixel signals after correction processing by the pixel characteristic correction circuit.
  • a blooming determination circuit that determines whether or not a blooming phenomenon has occurred in a pixel for phase difference detection based on a pair of pixel signals before correction processing in the pixel characteristic correction circuit, and a blooming determination circuit. It has a composite circuit that generates a composite luminance signal by synthesizing a plurality of luminance signals corresponding to different exposure times based on the determination result of the blooming determination circuit.
  • Imaging device [A-02]
  • the pixel characteristic correction circuit performs a process of correcting a sensitivity difference between a pair of photoelectric conversion units as a predetermined correction process.
  • the image pickup apparatus according to the above [A-01].
  • A-03 The blooming phenomenon occurs when one of the photoelectric conversion units of the pair of photoelectric conversion units is saturated first due to the sensitivity difference between the pair of photoelectric conversion units.
  • the image pickup apparatus according to the above [A-02].
  • the blooming determination circuit has a blooming threshold value, and determines that the phase difference detection pixel has a blooming phenomenon when the pixel value of the phase difference detection pixel is equal to or greater than the blooming threshold value.
  • the image pickup apparatus according to the above [A-03].
  • the synthesis circuit uses a pair of pixel signals output from the phase difference detection pixels determined by the blooming determination circuit to prevent the blooming phenomenon, and has a plurality of luminances corresponding to different exposure times. Generate a composite luminance signal by synthesizing the signal, The image pickup apparatus according to the above [A-04].
  • the blooming determination circuit creates a blend map for each exposure time so as not to be used for generating a composite luminance signal for a pair of pixel signals output from pixels for detecting a phase difference of pixel values equal to or higher than the blooming threshold. Generate, The image pickup apparatus according to the above [A-05].
  • the compositing circuit performs compositing processing by adjusting the luminance level according to the exposure ratio.
  • the synthesis circuit alleviates the luminance step that occurs at the switching points of pixel data with different exposure times by blending processing using a blend map.
  • [A-09] In the phase difference detection pixel, when one of the photoelectric conversion units of the pair of photoelectric conversion units is saturated first due to the sensitivity difference of the pair of photoelectric conversion units, the saturated signal is transmitted to the other. It has a pixel structure that allows it to escape to the photoelectric conversion unit.
  • phase difference detection pixels are provided entirely as all the pixels of the pixel array unit.
  • the image pickup apparatus according to any one of the above [A-01] to the above [A-09].
  • the color filter is composed of pixels in a bayer array.
  • the image pickup apparatus according to any one of the above [A-01] to the above [A-09].
  • the phase difference detection pixel is composed of white pixels.
  • the image pickup apparatus according to any one of the above [A-01] to the above [A-10].
  • Pixel signal processing method of image pickup device ⁇ [B-01] Pixels are arranged two-dimensionally in a matrix, and a pixel array unit including a phase difference detection pixel having a pair of photoelectric conversion units is provided in the two-dimensional arrangement of the pixels. It is possible to output a plurality of pixel signals having different exposure times from each pixel of the pixel array portion including the pixel for phase difference detection.
  • Pixel characteristic correction step which performs predetermined correction processing on a pair of pixel signals output from a pair of photoelectric conversion units.
  • Luminance signal generation step which generates a plurality of luminance signals corresponding to different exposure times based on a pair of pixel signals after correction processing in the pixel characteristic correction step.
  • a blooming determination step for determining whether or not a blooming phenomenon has occurred in the phase difference detection pixel based on the pair of pixel signals before the correction process in the pixel characteristic correction step, and It has a synthesis step of generating a composite luminance signal by synthesizing a plurality of luminance signals corresponding to different exposure times based on the determination result of the blooming determination step.
  • Pixel signal processing method of an image pickup device [B-02]
  • the pixel characteristic correction step as a predetermined correction process, a process of correcting the sensitivity difference between the pair of photoelectric conversion units is performed.
  • the pixel signal processing method of the image pickup apparatus according to the above [B-01].
  • B-03 The blooming phenomenon occurs when one of the photoelectric conversion units of the pair of photoelectric conversion units is saturated first due to the sensitivity difference between the pair of photoelectric conversion units.
  • the pixel signal processing method of the image pickup apparatus according to the above [B-02].
  • B-04 In the blooming determination step, it is determined that the pixel has a blooming threshold value and the phase difference detection pixel has a blooming phenomenon when the pixel value of the phase difference detection pixel is equal to or greater than the blooming threshold value.
  • the pixel signal processing method of the image pickup apparatus according to the above [B-03].
  • [B-05] In the synthesis step, a plurality of luminances corresponding to different exposure times are used by using a pair of pixel signals output from the phase difference detection pixels determined by the blooming determination circuit to prevent the blooming phenomenon. Generate a composite luminance signal by synthesizing the signal, The pixel signal processing method of the image pickup apparatus according to the above [B-04].
  • [B-06] In the blooming determination step, for a pair of pixel signals output from pixels for detecting a phase difference of pixel values equal to or higher than the blooming threshold, a blend map is created for each exposure time so as not to be used for generating a composite luminance signal. Generate, The pixel signal processing method of the image pickup apparatus according to the above [B-05].
  • the compositing process is performed by adjusting the luminance level according to the exposure ratio.
  • the luminance step generated at the switching point of the pixel data having different exposure times is alleviated by the blending process using the blend map.
  • [B-09] In the phase difference detection pixel, when one of the photoelectric conversion units of the pair of photoelectric conversion units is saturated first due to the sensitivity difference of the pair of photoelectric conversion units, the saturated signal is transmitted to the other.
  • the phase difference detection pixels are provided entirely as all the pixels of the pixel array unit.
  • the color filter is composed of pixels in a bayer array.
  • the phase difference detection pixel is composed of white pixels.
  • Imaging system ⁇ [C-01] Pixels are arranged two-dimensionally in a matrix, and a pixel array unit including a phase difference detection pixel having a pair of photoelectric conversion units in the two-dimensional arrangement of the pixels, and a phase difference detection pixel.
  • An image pickup device including a pixel signal processing unit that processes a pixel signal output from An image pickup lens arranged in the incident optical path of the image pickup device, and It is equipped with a focus control unit that controls the focus of the imaging lens based on the autofocus signal generated from the pair of pixel signals output from the pair of photoelectric conversion units of the phase difference detection pixels. It is possible to output a plurality of pixel signals having different exposure times from each pixel of the pixel array portion including the pixel for phase difference detection.
  • the pixel signal processing unit A pixel characteristic correction circuit that performs predetermined correction processing on a pair of pixel signals output from a pair of photoelectric conversion units.
  • a luminance signal generation circuit that generates a plurality of luminance signals corresponding to different exposure times based on a pair of pixel signals after correction processing by the pixel characteristic correction circuit.
  • a blooming determination circuit that determines whether or not a blooming phenomenon has occurred in the phase difference detection pixel based on the pair of pixel signals before the correction processing in the pixel characteristic correction circuit, and It has a composite circuit that generates a composite luminance signal by synthesizing a plurality of luminance signals corresponding to different exposure times based on the determination result of the blooming determination circuit.
  • the pixel characteristic correction circuit performs a process of correcting a sensitivity difference between a pair of photoelectric conversion units as a predetermined correction process.
  • [C-03] The blooming phenomenon occurs when one of the photoelectric conversion units of the pair of photoelectric conversion units is saturated first due to the sensitivity difference between the pair of photoelectric conversion units.
  • [C-04] The blooming determination circuit has a blooming threshold value, and determines that the phase difference detection pixel has a blooming phenomenon when the pixel value of the phase difference detection pixel is equal to or greater than the blooming threshold value.
  • the synthesis circuit uses a pair of pixel signals output from the phase difference detection pixels determined by the blooming determination circuit to prevent the blooming phenomenon, and has a plurality of luminances corresponding to different exposure times. Generate a composite luminance signal by synthesizing the signal, The imaging system according to the above [C-04].
  • the blooming determination circuit creates a blend map for each exposure time so as not to be used for generating a composite luminance signal for a pair of pixel signals output from pixels for detecting a phase difference of pixel values equal to or higher than the blooming threshold. Generate, The imaging system according to the above [C-05].
  • the compositing circuit performs compositing processing by adjusting the luminance level according to the exposure ratio.
  • the synthesis circuit alleviates the luminance step that occurs at the switching points of pixel data with different exposure times by blending processing using a blend map.
  • [C-09] In the phase difference detection pixel, when one of the photoelectric conversion units of the pair of photoelectric conversion units is saturated first due to the sensitivity difference of the pair of photoelectric conversion units, the saturated signal is transmitted to the other. It has a pixel structure that allows it to escape to the photoelectric conversion unit.
  • phase difference detection pixels are provided entirely as all the pixels of the pixel array unit.
  • the color filter is composed of pixels in a bayer array.
  • the phase difference detection pixel is composed of white pixels.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

本開示の一実施形態に係る撮像装置は、画素の２次元配置内に、一対の光電変換部を有する位相差検出用画素を含む画素アレイ部、及び、位相差検出用画素から出力される画素信号を処理する画素信号処理部を備え、画素アレイ部の各画素からは、露光時間が異なる複数の画素信号の出力が可能である。画素信号処理部は、一対の光電変換部から出力される一対の画素信号に対して補正処理を行う回路、補正処理後の一対の画素信号に基づいて、異なる露光時間に対応する複数の輝度信号を生成する回路、補正処理前の一対の画素信号に基づいて、位相差検出用画素にブルーミング現象が発生したか否かの判定を行う判定回路、及び、その判定結果に基づいて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する合成回路を有する。

Description

撮像装置、撮像装置の画素信号処理方法、及び、撮像システム
　本開示は、撮像装置、撮像装置の画素信号処理方法、及び、撮像システムに関する。
　デジタルカメラ等の撮像システムにおいて、カメラの焦点を自動的に合わせるＡＦ（オートフォーカス）方式の一つとして像面位相差ＡＦが知られている。像面位相差ＡＦを実現するために、画素が行列状に２次元配置されて成る画素アレイ部内に、部分的にあるいは全面的に、デフォーカス量及びデフォーカス方向を検出可能な構成の画素（以下、便宜上、「位相差検出用画素」と記述する）が配置されることになる。
　画素アレイ部内に位相差検出用画素を設けた撮像装置として、１つの画素内に一対の光電変換部を有し、当該一対の光電変換部が生成する各像の相対位置を検出する構成の位相差検出用画素を有する撮像装置が提案されている（例えば、特許文献１参照）。
ＷＯ２０１９／１０２８８７　Ａ１
　特許文献１に記載の位相差検出用画素のように、１つの画素内を左右（Ｌ／Ｒ）に分割したＬ／Ｒ一対の光電変換部を有する場合、Ｌ／Ｒ一対の光電変換部間で感度差が発生することがある。Ｌ／Ｒ一対の光電変換部間で感度差が発生すると、一方の光電変換部に蓄積された電荷が飽和レベルに達した場合、一対の光電変換部の信号を加算した後の１画素の画素データのリニアリティを維持できない問題が発生する。本明細書では、この問題をブルーミング現象と定義する。
　ところで、広ダイナミックレンジ化を図るために、露光時間が異なる複数の画素信号を取得可能な構成の撮像装置がある。このような撮像装置では、複数露光のＬ／Ｒの輝度データを合成することで、広ダイナミックレンジ化を図ることになる。しかし、Ｌ／Ｒ一対の光電変換部を有する位相差検出用画素を備える撮像装置にあっては、Ｌ／Ｒ一対の光電変換部の各信号を分離した状態で信号処理を行うため、上記のブルーミング現象の発生によって画素データのリニアリティが維持できないと、異なる露光時間の画素データの切り替え箇所で輝度段差が発生する場合がある。
　ブルーミング現象の発生に起因して、異なる露光時間の画素データの切り替え箇所での輝度段差の発生を回避することができる、撮像装置、撮像装置の画素信号処理方法、及び、当該撮像装置を有する撮像システムを提供することが望ましい。
　本開示の一実施の形態に係る撮像装置は、画素が行列状に２次元配置されて成り、画素の２次元配置内に、一対の光電変換部を有する位相差検出用画素を含む画素アレイ部、及び、位相差検出用画素から出力される画素信号を処理する画素信号処理部を備え、位相差検出用画素を含む画素アレイ部の各画素からは、露光時間が異なる複数の画素信号の出力が可能であり、画素信号処理部は、一対の光電変換部から出力される一対の画素信号に対して所定の補正処理を行う画素特性補正回路、画素特性補正回路での補正処理後の一対の画素信号に基づいて、異なる露光時間に対応する複数の輝度信号を生成する輝度信号生成回路、画素特性補正回路での補正処理前の一対の画素信号に基づいて、位相差検出用画素にブルーミング現象が発生したか否かの判定を行うブルーミング判定回路、及び、ブルーミング判定回路の判定結果に基づいて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する合成回路を有する。
　本開示の一実施の形態に係る撮像装置の画素信号処理方法は、画素が行列状に２次元配置されて成り、画素の２次元配置内に、一対の光電変換部を有する位相差検出用画素を含む画素アレイ部を備え、位相差検出用画素を含む画素アレイ部の各画素からは、露光時間が異なる複数の画素信号の出力が可能であり、位相差検出用画素から出力される画素信号を処理するに当たって、一対の光電変換部から出力される一対の画素信号に対して所定の補正処理を行う画素特性補正ステップ、画素特性補正ステップでの補正処理後の一対の画素信号に基づいて、異なる露光時間に対応する複数の輝度信号を生成する輝度信号生成ステップ、画素特性補正ステップでの補正処理前の一対の画素信号に基づいて、位相差検出用画素にブルーミング現象が発生したか否かの判定を行うブルーミング判定ステップ、及び、ブルーミング判定ステップの判定結果に基づいて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する合成ステップを有する。
　本開示の一実施の形態に係る撮像システムは、画素が行列状に２次元配置されて成り、画素の２次元配置内に、一対の光電変換部を有する位相差検出用画素を含む画素アレイ部、及び、位相差検出用画素から出力される画素信号を処理する画素信号処理部を備える撮像装置、撮像装置の入射光路中に配された撮像レンズ、並びに、位相差検出用画素の一対の光電変換部から出力される一対の画素信号から生成されるオートフォーカス信号に基づいて、撮像レンズのフォーカス制御を行うフォーカス制御部を備え、位相差検出用画素を含む画素アレイ部の各画素からは、露光時間が異なる複数の画素信号の出力が可能であり、画素信号処理部は、一対の光電変換部から出力される一対の画素信号に対して所定の補正処理を行う画素特性補正回路、画素特性補正回路での補正処理後の一対の画素信号に基づいて、異なる露光時間に対応する複数の輝度信号を生成する輝度信号生成回路、画素特性補正回路での補正処理前の一対の画素信号を基に、位相差検出用画素にブルーミング現象が発生したか否かの判定を行うブルーミング判定回路、及び、ブルーミング判定回路の判定結果に基づいて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する合成回路を有する。
図１は、本開示に係る技術が適用される撮像装置の一例であるＣＭＯＳイメージセンサのシステム構成を模式的に示すブロック図である。 図２は、画素の回路構成の一例を示す回路図である。 図３は、カラーフィルタのベイヤ配列、３露光合成、及び、位相差検出用画素について説明する図である。 図４は、位相差検出用画素の断面構造の一例を示す断面図である。 図５は、ブルーミング対策についての説明図である。 図６は、ブルーミング対策による画素加算時のリニアリティ維持についての説明図である。 図７は、本開示の実施形態に係る画素信号処理部の構成の一例を模式的に示すブロック図である。 図８は、実施例１に係る画素信号処理部の構成の一例を模式的に示すブロック図である。 図９は、ブルーミング判定回路及び合成回路による３露光合成処理の一例を模式的に示す図である。 図１０は、長時間蓄積用マップ、中時間蓄積用マップ、及び、短時間蓄積用マップの一例を示す図である。 図１１は、実施例２に係る画素信号処理部の構成の一例を模式的に示すブロック図である。 図１２は、実施例３に係る画素信号処理部の構成の一例を模式的に示すブロック図である。 図１３は、実施例４に係る画素信号処理部の構成の一例を模式的に示すブロック図である。 図１４は、本開示の撮像システムの構成の概略を模式的に示すブロック図である。
　以下、本開示に係る技術を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。本開示に係る技術は実施形態に限定されるものではなく、実施形態における種々の数値や材料などは例示である。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
１．本開示の撮像装置、撮像装置の画素信号処理方法、及び、撮像システム、全般に関する説明
２．本開示に係る技術が適用される撮像装置
２－１．ＣＭＯＳイメージセンサの構成例
２－２．画素の回路例
２－３．画素の構成例
２－３－１．ベイヤ配列
２－３－２．露光時間が異なる複数の画素信号の合成
２－３－３．位相差検出用画素
２－３－４．本開示の画素
２－３－５．位相差検出用画素の断面構造例
２－４．画素の構成例
３．本開示の実施形態に係る画素信号処理部
３－１．画素信号処理部の構成例
３－２．合成輝度データＬ／Ｒの活用例
３－３．実施例１（輝度データ生成ブロックに、ブルーミング影響回避及び３露光輝度データ合成の機能を組み込んだ例）
３－４．実施例２（位相差検出用画素が白色画素から成る例）
３－５．実施例３（位相差検出用画素が白色画素から成り、且つ、センサ外部で合成処理を行う例）
３－６．実施例４（実施例３の変形例：位相差検出用画素がＲＧＢベイヤ配列の画素から成り、且つ、センサ外部で合成処理を行う例）
４．本開示の撮像システム
５．変形例
６．本開示がとることができる構成
＜本開示の撮像装置、画素信号処理方法、及び、撮像システム、全般に関する説明＞
　本開示の撮像装置、画素信号処理方法、及び、撮像システムにあっては、画素特性補正回路（ステップ）について、所定の補正処理として、一対の光電変換部の感度差を補正する処理を行う構成とすることができる。ブルーミング現象は、一対の光電変換部の感度差に起因して、一対の光電変換部の一方の光電変換部が先に飽和したときに発生する現象である。
　上述した好ましい構成を含む本開示の撮像装置、画素信号処理方法、及び、撮像システムにあっては、ブルーミング判定回路（ステップ）について、ブルーミング閾値を有し、位相差検出用画素の画素値がブルーミング閾値以上のときにブルーミング現象が発生した位相差検出用画素と判定する構成とすることができる。また、合成回路（ステップ）については、ブルーミング判定回路によってブルーミング現象が発生していないと判定された位相差検出用画素から出力される一対の画素信号を用いて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像装置、画素信号処理方法、及び、撮像システムにあっては、ブルーミング判定回路（ステップ）について、ブルーミング閾値以上の画素値の位相差検出用画素から出力される一対の画素信号については、合成輝度信号の生成に使用しないように露光時間毎にブレンドマップを生成する構成とすることができる。また、合成回路（ステップ）について、露光比に応じて輝度レベルを合わせることによって合成処理を行う構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像装置、画素信号処理方法、及び、撮像システムにあっては、合成回路（ステップ）について、異なる露光時間の画素データの切り替え箇所で発生する輝度段差を、ブレンドマップを用いたブレンド処理によって緩和する構成とすることができる。また、位相差検出用画素について、一対の光電変換部の感度差に起因して、一対の光電変換部の一方の光電変換部が先に飽和したとき、その飽和した信号を他方の光電変換部に逃がす画素構造を有する構成とすることができる。
　また、上述した好ましい構成を含む本開示の撮像装置、画素信号処理方法、及び、撮像システムにあっては、位相差検出用画素について、画素アレイ部の全画素として全面的に設けられている構成とすることができる。また、位相差検出用画素について、カラーフィルタがベイヤ配列の画素から成る、あるいは、白色の画素から成る構成とすることができる。
＜本開示に係る技術が適用される撮像装置＞
　本開示に係る技術が適用される撮像装置として、Ｘ－Ｙアドレス方式の撮像装置の一種であるＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを例に挙げて説明する。ＣＭＯＳイメージセンサは、ＣＭＯＳプロセスを応用して、又は、部分的に使用して作製されたイメージセンサである。
［ＣＭＯＳイメージセンサの構成例］
　図１は、本開示に係る技術が適用される撮像装置の一例であるＣＭＯＳイメージセンサのシステム構成を模式的に示すブロック図である。
　本適用例に係るＣＭＯＳイメージセンサ１は、画素アレイ部１１及び当該画素アレイ部１１の周辺に配置される周辺回路部を有する構成となっている。画素アレイ部１１は、光電変換部（光電変換素子）を含む画素２０が行方向及び列方向に、即ち、行列状に２次元配置された構成となっている。ここで、行方向とは、画素行の画素２０の配列方向を言い、列方向とは、画素列の画素２０の配列方向を言う。画素２０は、光電変換部にて光電変換を行うことにより、受光した光量に応じた光電荷を生成し、蓄積する。
　画素アレイ部１１の周辺回路部は、例えば、行選択部１２、負荷ＭＯＳ部１３、カラム信号処理部１４、出力回路部１５、画素信号処理部１６、及び、タイミング制御部１７等によって構成されている。行選択部１２、負荷ＭＯＳ部１３、カラム信号処理部１４、出力回路部１５、画素信号処理部１６、及び、タイミング制御部１７等の周辺回路部は、例えば、画素アレイ部１１と同じ半導体基板１８上に形成された構成となっている。
　尚、ここでは、半導体チップ構造として、画素アレイ部１１と同じ半導体基板（半導体チップ）上に周辺回路部が形成された、所謂、平置型の半導体チップ構造を例示したが、平置型の半導体チップ構造に限られるものではない。すなわち、１層目の半導体基板及び２層目の半導体基板の少なくとも２つの半導体基板が積層され、１層目の半導体基板に画素アレイ部１１が形成され、２層目の半導体基板に周辺回路部が形成された、所謂、積層型の半導体チップ構造とすることができる。
　上述した例えば２層の積層型の半導体チップ構造において、１層目の半導体基板上の画素アレイ部１１と２層目の半導体基板に周辺回路部とは、Ｃｕ電極同士を直接接合するＣｕ－Ｃｕ直接接合、シリコン貫通電極（Through Silicon Via：ＴＳＶ）、マイクロバンプ等から成る接合部（図示を省略）を介して電気的に接続される。
　画素アレイ部１１において、行列状の画素配列に対し、画素行毎に画素制御線３１（３１1～３１m）が行方向に沿って配線されている。また、画素列毎に信号線３２（３２1～３２n）が列方向に沿って配線されている。画素制御線３１は、画素２０から信号を読み出す際の駆動を行うための駆動信号を伝送する。図１では、画素制御線３１について１本の配線として図示しているが、１本に限られるものではない。画素制御線３１の一端は、行選択部１２の各行に対応した出力端に接続されている。
　以下に、画素アレイ部１１の周辺回路部の各構成要素、即ち、行選択部１２、負荷ＭＯＳ部１３、カラム信号処理部１４、出力回路部１５、画素信号処理部１６、及び、タイミング制御部１７等によって構成されている。行選択部１２、負荷ＭＯＳ部１３、カラム信号処理部１４、出力回路部１５、画素信号処理部１６、及び、タイミング制御部１７について説明する。
　行選択部１２は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部１１の各画素２０の選択に際して、画素行の走査や画素行のアドレスを制御する。この行選択部１２は、その具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系の２つの走査系を有する構成となっている。
　読出し走査系は、画素２０から画素信号を読み出すために、画素アレイ部１１の画素２０を行単位で順に選択走査する。画素２０から読み出される画素信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりもシャッタスピードの時間分だけ先行して掃出し走査を行う。
　この掃出し走査系による掃出し走査により、読出し行の画素２０の光電変換素子から不要な電荷が掃き出されることによって当該光電変換素子がリセットされる。そして、この掃出し走査系による不要電荷の掃き出す（リセットする）ことにより、所謂、電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換素子の光電荷を捨てて、新たに露光を開始する（光電荷の蓄積を開始する）動作のことを言う。
　読み出し走査系による読み出し動作によって読み出される信号は、その直前の読み出し動作又は電子シャッタ動作以降に受光した光量に対応するものである。そして、直前の読み出し動作による読み出しタイミング又は電子シャッタ動作による掃き出しタイミングから、今回の読み出し動作による読み出しタイミングまでの期間が、画素２０における光電荷の露光期間となる。
　負荷ＭＯＳ部１３は、画素列毎に垂直信号線３２（３２1～３２n）の各々に接続されたＭＯＳトランジスタから成る電流源Ｉ（図２参照）の集合から成り、行選択部１２によって選択走査された画素行の各画素２０に対し、垂直信号線３２（３２1～３２n）の各々を通してバイアス電流を供給する。
　カラム信号処理部１４は、画素アレイ部１１の画素列に対応して設けられた回路部の集合から成り、画素行単位で画素２０から出力される画素信号に対して、画素列毎にノイズ除去などの信号処理を行う。具体的には、カラム信号処理部１４は、例えば、画素固有の固定パターンノイズを除去するためのＣＤＳ（Correlated Double Sampling：相関二重サンプリング）処理や、アナログ－デジタル変換処理などの信号処理を行う。カラム信号処理部１４で信号処理された画素データは、出力信号線Ｌを通して出力回路部１５に供給される。
　出力回路部１５は、カラム信号処理部１４からの出力信号線Ｌを通しての画素データの読出しや所定の信号処理を行う。具体的には、出力回路部１５は、所定の信号処理として、例えば、縦線欠陥、点欠陥の補正、又は、信号のクランプ、更には、パラレル－シリアル変換、圧縮、符号化、加算、平均、及び、間欠動作などのデジタル信号処理を行い、画像データとして出力する。
　画素信号処理部１６は、本開示の技術が適用される回路部分であり、その構成及び動作などの詳細については後述する。
　タイミング制御部１７は、外部から与えられる同期信号に基づいて、各種のタイミング信号、クロック信号、及び、制御信号等を生成する。そして、タイミング制御部１７は、これら生成した信号を基に、行選択部１２、カラム信号処理部１４、及び、画素信号処理部１６等の駆動制御を行う。
［画素の回路例］
　図２は、画素２０の回路構成の一例を示す回路図である。画素２０は、光電変換素子として、例えば、フォトダイオード２１を有している。画素２０は、フォトダイオード２１の他に、転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４、及び、選択トランジスタ２５を有する構成となっている。
　転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４、及び、選択トランジスタ２５の４つのトランジスタとしては、例えばＮチャネルのＭＯＳ型電界効果トランジスタを用いている。但し、ここで例示した４つのトランジスタ２２～２５の導電型の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。
　この画素２０に対して、先述した画素制御線３１（３１1～３１m）として、複数の画素制御線が同一画素行の各画素２０に対して共通に配線されている。これら複数の画素制御線は、行選択部１２の各画素行に対応した出力端に画素行単位で接続されている。行選択部１２は、複数の画素制御線に対して転送信号ＴＲＧ、リセット信号ＲＳＴ、及び、選択信号ＳＥＬを適宜出力する。
　フォトダイオード２１は、アノード電極が低電位側電源(例えば、グランド)に接続されており、受光した光をその光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換してその光電荷を蓄積する。フォトダイオード２１のカソード電極は、転送トランジスタ２２を介して増幅トランジスタ２４のゲート電極と電気的に接続されている。ここで、増幅トランジスタ２４のゲート電極が電気的に繋がった領域は、フローティングディフュージョン（浮遊拡散領域／不純物拡散領域）ＦＤである。フローティングディフュージョンＦＤは、電荷を電圧に変換する電荷電圧変換部である。
　転送トランジスタ２２のゲート電極には、高レベル（例えば、ＶDDレベル）がアクティブとなる転送信号ＴＲＧが行選択部１２から与えられる。転送トランジスタ２２は、転送信号ＴＲＧに応答して導通状態となることで、フォトダイオード２１で光電変換され、当該フォトダイオード２１に蓄積された光電荷をフローティングディフュージョンＦＤに転送する。
　リセットトランジスタ２３は、高電位側電源電圧ＶDDのノードとフローティングディフュージョンＦＤとの間に接続されている。リセットトランジスタ２３のゲート電極には、高レベルがアクティブとなるリセット信号ＲＳＴが行選択部１２から与えられる。リセットトランジスタ２３は、リセット信号ＲＳＴに応答して導通状態となり、フローティングディフュージョンＦＤの電荷を電圧ＶDDのノードに捨てることによってフローティングディフュージョンＦＤをリセットする。
　増幅トランジスタ２４は、ゲート電極がフローティングディフュージョンＦＤに、ドレイン電極が高電位側電源電圧ＶDDのノードにそれぞれ接続されている。増幅トランジスタ２４は、フォトダイオード２１での光電変換によって得られる信号を読み出すソースフォロワの入力部となる。すなわち、増幅トランジスタ２４は、ソース電極が選択トランジスタ２５を介して信号線３２に接続される。
　選択トランジスタ２５は、ドレイン電極が増幅トランジスタ２４のソース電極に接続され、ソース電極が信号線３２に接続されている。選択トランジスタ２５のゲート電極には、高レベルがアクティブとなる選択信号ＳＥＬが行選択部１２から与えられる。選択トランジスタ２５は、選択信号ＳＥＬに応答して導通状態となることで、画素２０を選択状態として増幅トランジスタ２４から出力される信号を信号線３２に伝達する。
　尚、上記の回路例では、画素２０として、転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４、及び、選択トランジスタ２５から成る、即ち、４つのトランジスタ（Ｔｒ）から成る４Ｔｒ構成を例に挙げたが、これに限られるものではない。例えば、選択トランジスタ２５を省略し、増幅トランジスタ２４に選択トランジスタ２５の機能を持たせる３Ｔｒ構成とすることもできるし、必要に応じて、トランジスタの数を増やした５Ｔｒ以上の構成とすることもできる。
　上記の回路構成例の画素２０からは、リセットトランジスタ２３によるフローティングディフュージョンＦＤのリセット時のリセットレベルであるリセット信号（所謂、Ｐ相信号）と、フォトダイオード２１での光電変換に基づく信号レベルであるデータ信号（所謂、Ｄ相信号）とが順に出力される。すなわち、画素２０から出力される画素信号は、リセット時のリセット信号、及び、フォトダイオード２１での光電変換時のデータ信号を含んでいる。
［画素の構成例］
（ベイヤ配列）
　上記の構成のＣＭＯＳイメージセンサ１において、画素アレイ部１１の各画素２０には、例えば、２×２（列方向２画素×行方向２画素）の４画素を単位としてカラーフィルタ４７（図４参照）が配置される。但し、後述するように、カラーフィルタ４７が配置されない場合もある。ここでは、カラーフィルタ４７の配置例として、図３に示すＲ（赤色）Ｇ（緑色）Ｂ（青色）のベイヤ配列を例示する。尚、カラーフィルタの配置例としては、ベイヤ配列やＲＧＢの原色系フィルタに限定されるものではなく、Ｃ（シアン）Ｍ（マゼンタ）Ｙ（イエロー）等の補色系フィルタ等、種々の構成が適用されてもよい。
（露光時間が異なる複数の画素信号の合成）
　また、上記の構成のＣＭＯＳイメージセンサ１では、広ダイナミックレンジ化を図るために、即ち、ダイナミックレンジの広い画像を生成するために、露光時間が異なる複数の画素信号を取得する構成となっている。ここでは、一例として、露光時間が相対的に長い長時間蓄積の画素信号、露光時間が相対的に中程度の中時間蓄積の画素信号、及び、露光時間が相対的に短い短時間蓄積の３種類の露光時間（以下、「３露光」と略記する）に基づく画素信号を合成することによって広ダイナミックレンジ化を図る場合を例示する。図３に示す３露光合成の例では、長時間蓄積の画素をＬ、中時間蓄積の画素をＭ、短時間蓄積の画素Ｓとして図示し、上記のカラーフィルタのベイヤ配列を単位として長時間蓄積の画素Ｌ、中時間蓄積の画素Ｍ、及び、短時間蓄積の画素Ｓが配置されている。
（位相差検出用画素）
　上記の構成のＣＭＯＳイメージセンサ１では、更に、画素２０が行列状に２次元配置されて成る画素アレイ部１１において、画素２０の２次元配置内に、部分的にあるいは全面的に位相差検出用画素が配置された構成となっている。ここでは、画素アレイ部１１内の全ての画素２０が位相差検出用画素である構成、即ち、画素アレイ部１１内に全面的に位相差検出用画素２０が配置されている構成を例示する。
　位相差検出用画素２０は、図３に示すように、一対の光電変換部、即ち、画素２０の２次元配置の行方向において、左右（Ｌ／Ｒ）に分割された左右一対のフォトダイオード２１Ｌ，２１Ｒを有している。一対のフォトダイオード２１Ｌ，２１Ｒは、１つの画素２０内において形成位置が異なる。これにより、Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒのそれぞれの信号から生成される像にずれが生じる。従って、一対のフォトダイオード２１Ｌ，２１Ｒのそれぞれの信号に基づくＬ／Ｒ各像の相対位置を検出すことにより、後述するオートフォーカスで用いるデフォーカス量及びデフォーカス方向を検出することができる。
　本明細書においては、便宜上、一対のフォトダイオード２１Ｌ，２１Ｒを有し、オートフォーカスで用いるデフォーカス量及びデフォーカス方向を検出するために用いることができる画素を位相差検出用画素と呼んでいる。尚、位相差検出用画素については、デフォーカス量及びデフォーカス方向を検出するために用いるだけでなく、一対のフォトダイオード２１Ｌ，２１Ｒの各信号を加算することによって、通常の画素と同様に、１画素の画素信号を取得する画素としても用いることができるし、Ｌ／Ｒ一対の合成輝度データの差分情報から深度情報（Ｄｅｐｔｈ）の算出に用いることができる。
（本開示の画素）
　上述したように、本開示の技術が適用される撮像装置、即ち、ＣＭＯＳイメージセンサ１は、カラーフィルタの配置が例えばＲＧＢのベイヤ配列であり、露光時間が異なる長時間蓄積、中時間蓄積、及び、短時間蓄積の画素信号を取得するとともに、デフォーカス量及びデフォーカス方向の検出が可能な位相差検出用画素２０を、例えば画素アレイ部１１内に全面的に有する構成となっている。
（位相差検出用画素の断面構造例）
　ここで、位相差検出用画素２０の断面構造の一例について図４の断面図を用いて説明する。半導体基板１８において、例えば、Ｐ型（第１導電型）の半導体領域３１に、Ｎ型（第２導電型）の半導体領域４２を形成することにより、フォトダイオード２１Ｌ，２１Ｒが形成されている。位相差検出用画素２０には、１画素内に左右一対のフォトダイオード２１Ｌ，２１Ｒが形成されている。左右一対のフォトダイオード２１Ｌ，２１Ｒは、画素領域を均等に２分割して対称配置となるように形成されている。
　図４において下側となる半導体基板１８の表面側には、位相差検出用画素２０の左右一対のフォトダイオード２１Ｌ，２１Ｒで生成され、蓄積された電荷の読出し等を行う画素トランジスタ（図示せず）、複数の配線４３、及び、層間絶縁膜４４からなる多層配線層４５が形成されている。
　一方、図４において上側となる半導体基板１８の裏面側の画素境界部分には、画素間遮光膜４６が形成されている。画素間遮光膜４６は、光を遮光する材料であればよいが、遮光性が強く、且つ、微細加工、例えばエッチングで精度よく加工できる材料が望ましい。画素間遮光膜４６については、例えば、タングステン（Ｗ）、アルミニウム（Ａｌ）、銅（Ｃｕ）、チタン（Ｔｉ）、モリブデン（Ｍｏ）、ニッケル（Ｎｉ）などの金属膜で形成することができる。
　また、半導体基板１８の裏面側界面には、例えば、シリコン酸化膜などによる反射防止膜（絶縁層）などを更に形成してもよい。
　画素間遮光膜４６を含む半導体基板１８の裏面上には、カラーフィルタ４７が形成されている。カラーフィルタ４７は、例えば顔料や染料などの色素を含んだ感光性樹脂を回転塗布することによって形成される。カラーフィルタ４７の色配列については、図３で説明したＲＧＢベイヤ配列を例示することができる。
　カラーフィルタ４７の上には、オンチップレンズ４８が画素単位、即ち、一対のフォトダイオード２１Ｌ，２１Ｒに対して共通に形成されている。オンチップレンズ４８は、例えば、スチレン系樹脂、アクリル系樹脂、スチレン－アクリル共重合系樹脂、又は、シロキサン系樹脂等の樹脂系材料で形成される。
　上記の画素構造から明らかなように、本開示の技術が適用される撮像装置は、多層配線層４５が形成された半導体基板１８の表面側と反対側の裏面側に、カラーフィルタ４７やオンチップレンズ４８を形成して、裏面側から照射される光を取り込む裏面照射型のＣＭＯＳイメージセンサ１である。但し、裏面照射型に限られるものではなく、表面側から照射される光を取り込む表面照射型とすることもできる。
［ブルーミング現象について］
　以上のように、露光時間が異なる複数の画素信号の取得が可能であるとともに、左右（Ｌ／Ｒ）一対のフォトダイオード２１Ｌ，２１Ｒを有する位相差検出用画素２０を備えＣＭＯＳイメージセンサ１において、一対のフォトダイオード２１Ｌ，２１Ｒの信号は、深度情報（Ｄｅｐｔｈ）の算出に用いることができる。図１に示す画素信号処理部１６では、画素毎に、一対のフォトダイオード２１Ｌ，２１Ｒから出力される、露光時間が異なる複数の画素信号Ｌ／Ｒに対して所定の信号処理が行われる。
　ここで、画素信号処理部１６における参考処理例として、一対のフォトダイオード２１Ｌ，２１Ｒから出力される、長時間蓄積、中時間蓄積、及び、短時間蓄積の画素信号Ｌ／Ｒに対して所定の補正処理を行った後の露光データから、どれか１つの露光データＬ／Ｒを選択し、この選択した露光データＬ／Ｒを基に輝度データＬ／Ｒを生成する処理を考える。
　この参考処理例の場合、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの露光データＬ／Ｒを取得したとしても、どれか１つの露光データＬ／Ｒのみしか出力として選択されないため、３露光撮影を行っても、輝度データＬ／Ｒのダイナミックレンジが狭く、暗部や明部での深度情報の検出精度が悪くなる。
　また、左右一対のフォトダイオード２１Ｌ，２１Ｒを有する位相差検出用画素２０を備えるＣＭＯＳイメージセンサ１では、一対のフォトダイオード２１Ｌ，２１Ｒ間で感度差が発生することがある。その結果、一方のフォトダイオード２１Ｌ／２１Ｒに蓄積された電荷が飽和レベルに達した場合、一対のフォトダイオード２１Ｌ，２１Ｒの信号を加算した後の１画素の画素データのリニアリティを維持できないブルーミング現象が発生する。そして、ブルーミング現象の発生によって画素データのリニアリティが維持できないと、異なる露光時間の画素データの切り替え箇所で輝度段差が発生し、段差部で間違った深度情報の検出が起こる。
　ブルーミング現象の問題を回避するために、位相差検出用画素２０は、次のような画素構造となっている。このブルーミング対策についての説明図を図５に示す。図５の上側の図は、Ｒの２×２画素のうちの中時間蓄積（Ｍ）の位相差検出用画素２０を拡大した平面図であり、図５の下側の図は、一対のフォトダイオード２１Ｌ，２１Ｒのポテンシャルを模式的に示すポテンシャル概念図である。
　位相差検出用画素２０は、Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒ間のポテンシャル障壁２０１が、画素境界のポテンシャル障壁２０２よりも低く形成された画素構造となっている。Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒ間のポテンシャル障壁２０１の高さについては、一対のフォトダイオード２１Ｌ，２１Ｒを分離する両者間の不純物層（図４では、図示を省略）の不純物濃度を調整することにより、画素境界のポテンシャル障壁２０２よりも低く形成することができる。
　このように、Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒ間のポテンシャル障壁２０１を、画素境界のポテンシャル障壁２０２よりも低く形成することにより、一対のフォトダイオード２１Ｌ，２１Ｒの感度差に起因して、一対のフォトダイオード２１Ｌ，２１Ｒの一方（図５の例では、フォトダイオード２１Ｌ）が先に飽和したとき、その飽和した信号を他方（図５の例では、フォトダイオード２１Ｒ）に逃がすことができる。この画素構造により、Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒを加算（画素加算）した後の１画素の画素データのリニアリティを確保することができる。
　上記のブルーミング対策による画素加算時のリニアリティ維持についての説明図を図６に示す。センサ外に出力する画像データ（例えば、ベイヤ配列）については、Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒの各信号を加算して使用するため、上記のブルーミング対策によってブルーミング現象発生の問題は影響しない。
　しかし、位相差検出用画素２０用いるＣＭＯＳイメージセンサ１では、オートフォーカスのためのデフォーカス情報（デフォーカス量及びデフォーカス方向）、あるいは、深度情報を検出するために、Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒの各信号を分離した状態で信号処理を行う。そのため、ブルーミング現象が発生すると、画素データのリニアリティを維持できないため、合成時の信号レベルが合わなくなる。
＜本開示の実施形態に係る画素信号処理部＞
　本開示の実施形態に係る画素信号処理部、即ち、図１に示す画素信号処理部１６の構成の一例のブロック図を図７に模式的に示す。
［画素信号処理部の構成例］
　本開示の実施形態（以下、「本実施形態」と略記する）に係る画素信号処理部１６は、露光時間が異なる複数の画素信号の取得が可能であるとともに、Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒを有する位相差検出用画素２０を備えるＣＭＯＳイメージセンサ１において、画素毎に、一対のフォトダイオード２１Ｌ，２１Ｒから出力される、露光時間が異なる複数の画素信号Ｌ／Ｒに対して所定の信号処理を行うための信号処理部である。具体的には、本実施形態に係る画素信号処理部１６は、画素特性補正回路１６１、輝度信号生成回路１６２、ブルーミング判定回路１６３、及び、合成回路１６４を有する構成となっている。
　画素特性補正回路１６１は、Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒから出力される、露光時間が異なる複数の画素信号Ｌ／Ｒ、例えば、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの画素信号Ｌ／Ｒに対して所定の補正処理を行う。具体的には、画素特性補正回路１６１は、像高位置によってＬ／Ｒのバランスが変化するために、所定の補正処理の一例として、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの画素信号Ｌ／Ｒに対して、Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒの感度差を補正する処理を行う。
　輝度信号生成回路１６２は、画素特性補正回路１６１での補正処理後の長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの画素信号Ｌ／Ｒに基づいて、異なる露光時間（長時間蓄積、中時間蓄積、及び、短時間蓄積）に対応する複数の輝度信号（輝度データ）Ｌ／Ｒを生成する。
　ブルーミング判定回路１６３は、画素特性補正回路１６１での補正処理前の画素信号、即ち、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの画素信号Ｌ／Ｒに基づいて、位相差検出用画素２０にブルーミング現象が発生したか否かの判定を行う。ブルーミング現象の発生の影響により、リニアリティが維持できなくなる画素値は、位相差検出用画素２０の特性に依存する。そこで、ブルーミング判定回路１６３には、ブルーミング閾値が設定されている。そして、ブルーミング判定回路１６３は、画素特性補正回路１６１での補正処理前の画素値がブルーミング閾値以上のときにブルーミング現象が発生した位相差検出用画素２０と判定する。
　合成回路１６４は、ブルーミング判定回路１６３の判定結果に基づいて、異なる露光時間に対応する複数の輝度信号、即ち、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの輝度データＬ／Ｒを合成し、合成輝度データＬ／Ｒとして出力する。具体的には、合成回路１６４は、ブルーミング判定回路１６３でブルーミング現象が発生したと判定された位相差検出用画素２０を除外し、ブルーミング現象が発生していないと判定された位相差検出用画素２０について、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの輝度データＬ／Ｒを合成し、合成輝度データＬ／Ｒとして出力する。
　ここで、画素特性補正回路１６１での補正処理前のデータに基づいて、ブルーミング現象が発生している画素の判定を行うのは、次の理由による。すなわち、画素特性補正回路１６１での感度差などの補正処理により、Ｌ／Ｒの信号レベルが変化してしまい、本来の画素が持つ信号レベルがわからなくなるためである。また、センサ出力後の輝度データでは、様々な信号処理が施されているため、同様の理由で元の信号レベルを復元することができない。従って、画素特性補正回路１６１での補正処理前のデータに基づいて、ブルーミング判定処理とそれを使った合成処理を行うことで、リニアリティ維持の判断を正確に行うことができる。
［合成輝度データＬ／Ｒの活用例］
　Ｌ／Ｒ一対の合成輝度データについては、それぞれのデータに基づいて、Ｌ／Ｒ各像の相対位置を検出し、オートフォーカスで用いるデフォーカス情報（デフォーカス量及びデフォーカス方向）を検出する用途や、Ｌ／Ｒ一対の合成輝度データの差分情報から深度データを算出する用途に用いることができる。そして、例えば、深度データと合成輝度データとを組み合わせることにより、撮像画像の背景をぼかす、所謂、「背景ぼかし」の技術に活用することができる。
　ここで、Ｌ／Ｒ一対の合成輝度データの差分情報から深度データを算出する際に重要なポイントとなるのがコントラストである。ダイナミックレンジが広いシーンでは、中時間蓄積のみの輝度データではコントラストが十分に得られず、誤った深度データを算出しやすい。そのため、ダイナミックレンジが広い合成輝度データＬ／Ｒを使うことで、より正確な深度データを算出することが可能になる。尚、Ｌ／Ｒ一対の合成輝度データを加算することで、１つの画素の画素データを取得することができる。
　尚、本開示の撮像装置の画素信号処理方法について、図７に示す本実施形態に係る画素信号処理部１６において、画素特性補正回路１６１、輝度信号生成回路１６２、ブルーミング判定回路１６３、及び、合成回路１６４を、画素特性補正ステップ、輝度信号生成ステップ、ブルーミング判定ステップ、及び、合成ステップと置き換えたものとなる。
　上述したように、本実施形態に係る画素信号処理部（画素信号処理方法）では、画素特性補正回路１６１による感度補正処理前の画素データを使用し、ブルーミング現象が発生している位相差検出用画素２０の判定を行い、ブルーミング現象が発生していない位相差検出用画素２０の画素データを使用し、３露光輝度データの合成処理を行っている。これによって、１つの輝度データを使用する場合に比べて、ダイナミックレンジが広い合成輝度データＬ／Ｒを得ることができるため、暗部や明部での深度情報の検出精度を向上できる。また、異なる露光時間の画素データの切り替え箇所で輝度段差が発生することもないため、間違った深度情報の検出が起こることもない。
　以下に、ブルーミング現象の発生に起因して、異なる露光時間の画素データの切り替え箇所での輝度段差の発生を回避するための本実施形態に係る画素信号処理部１６の具体的な実施例について説明する。
［実施例１］
　実施例１は、輝度データ生成ブロックに、ブルーミング影響回避及び３露光輝度データ合成の機能を組み込んだ例である。実施例１に係る画素信号処理部の構成の一例のブロック図を図８に模式的に示す。
　輝度データ生成ブロック５０は、輝度信号生成回路１６２、ブルーミング判定回路１６３、及び、合成回路１６４の他に、階調圧縮回路１６５を有し、位相差検出用画素２０のＬ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒから出力される、露光時間が異なる複数の画素信号Ｌ／Ｒ、例えば、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの画素信号Ｌ／Ｒに基づいて合成輝度信号Ｌ／Ｒを生成する。すなわち、輝度データ生成ブロック５０は、ブルーミング判定回路１６３の判定結果に基づくブルーミング影響回避、並びに、輝度信号生成回路１６２及び合成回路１６４による３露光輝度データ合成の機能を有している。
（ブルーミング判定処理）
　ブルーミング判定回路１６３は、画素特性補正回路１６１での感度差補正処理前の画素データ、即ち、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの画素データＬ／Ｒに基づいて、ブルーミング現象が発生している画素を検出する。輝度信号生成回路１６２での輝度データの生成には、ベイヤ配列のＲ／Ｇ／Ｇ／Ｂの画素データを使用するため、どれか１つの画素でもブルーミング現象が発生している場合には、その輝度データは使用できない。また、ブルーミング現象が発生した同色画素のＬ／Ｒにも影響するため、生成された輝度データのＬ／Ｒの両方が使用できない。
（ブレンドマップ生成処理）
　ブルーミング判定回路１６３では、ブルーミング現象が発生した画素の情報を基に、長時間蓄積、中時間蓄積、及び、短時間蓄積の画素データのそれぞれについて、ブルーミング判定結果としてブレンドマップを作成する。長時間蓄積の画素データのブレンドマップは、長時間蓄積の輝度データと掛け合わせて使用し、使用可能な画素、即ち、ブルーミング現象が発生していない画素のみを抽出するために使用する。
（３露光合成処理）
　こごで、ブルーミング判定回路１６３で生成されたブレンドマップを用いた、合成回路１６４での長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの画素データＬ／Ｒについての合成処理（即ち、３露光合成処理）について説明する。図９は、ブルーミング判定回路１６３及び合成回路１６４による３露光合成処理の一例を模式的に示す図である。
　輝度信号生成回路１６２による長時間蓄積、中時間蓄積、及び、短時間蓄積の輝度データＬ／Ｒ、並びに、ブルーミング判定回路１６３によるブレンドマップがそれぞれ３種類生成される。例えば、１０ｂｉｔの長時間、中時間、短時間の各露光時間の輝度データとブレンドマップとを掛け合わせ、３露光合成した輝度データをＬ／Ｒのそれぞれで生成する。３露光合成処理後の合成輝度データＬ／Ｒは１６ｂｉｔに拡張されるが、後段の階調圧縮回路１６５でのガンマ処理及びリミット処理によって１０ｂｉｔに圧縮される。
　３露光合成した輝度データでも、低照度領域ではコントラストが弱い傾向にあるため、階調圧縮回路１６５では、ガンマ処理が行われるようになっている。このガンマ処理については、必須のものではなく、また、ＣＭＯＳイメージセンサ内での処理だけでなく、ＣＭＯＳイメージセンサ外での処理とすることも可能である。
　輝度信号生成回路１６２は、Ｌ／Ｒ分離部１６２１、チャネル分解部１６２２、及び、輝度信号生成部１６２３の各機能部から成る。Ｌ／Ｒ分離部１６２１は、感度差補正後の画素データについてＬ／Ｒ分離を行う。チャネル分解部１６２２は、２×２の４画素を単位とするＬ／Ｒの画素データについて、各露光時間毎に同じグループに分けるチャネル分解を行う。輝度信号生成部１６２３は、チャネル分解部１６２２でチャネル分解されたＬ×４の画素データ及びＲ×４の画素データに基づいて、Ｌ×４の輝度データ及びＲ×４の輝度データを生成し、合成回路１６４に供給する。
　ブルーミング判定回路１６３は、Ｌ／Ｒ分離部１６３１、チャネル分解部１６３２、ブルーミング判定部１６３３、及び、ブレンドマップ生成部１６３４の各機能部から成る。Ｌ／Ｒ分離部１６３１は、感度差補正前の画素データについてＬ／Ｒ分離を行う。チャネル分解部１６３２は、２×２の４画素を単位とするＬ／Ｒの画素データについて、各露光時間毎に同じグループに分けるチャネル分解を行う。
　ブルーミング判定部１６３３は、チャネル分解部１６２２でチャネル分解されたＬ×４の画素データ及びＲ×４の画素データを基に、位相差検出用画素２０にブルーミング現象が発生したか否かの判定を行う。ブルーミング現象の発生の影響により、リニアリティが維持できなくなる画素値は画素特性に依存するため、閾値パラメータを用いてブルーミング現象の発生の画素の判定を行う。具体的には、ブルーミング判定部１６３３は、画素値がブルーミング閾値以上の画素を、ブルーミング現象が発生した画素と判定する。
　ブレンドマップ生成部１６３４は、ブルーミング判定部１６３３によってブルーミング現象が発生したと判定された画素の情報を基に、長時間蓄積、中時間蓄積、及び、短時間蓄積の画素データのそれぞれについてブレンドマップを作成する。具体的には、ブレンドマップ生成部１６３４は、画素値がブルーミング閾値以上の画素、即ち、ブルーミング現象が発生した画素については、その画素値は使用しないように露光時間毎にマップを生成する。図１０に、長時間蓄積用マップ、中時間蓄積用マップ、及び、短時間蓄積用マップの一例を示す。
　ここで、ブルーミング現象が発生した画素の判定を、ブルーミング閾値を基準として０／１で行うと、露光の異なるデータが突然切り替わるため、輝度段差が発生する懸念がある。そこで、ブレンドマップ生成部１６３４では、簡易ブレンド処理を行い、画素値がブルーミング閾値を超える前段階から、露光時間が異なる画素データをブレンドするようにマップのビット数を拡張し、ブレンドマップを生成する構成となっている。
　合成回路１６４は、ブルーミング判定回路１６３のブレンドマップ生成部１６３４で生成されたブレンドマップを使用し、長時間蓄積、中時間蓄積、及び、短時間蓄積の輝度データをブレンドすることで、長時間蓄積、中時間蓄積、及び、短時間蓄積の３露光の輝度データについて合成処理を行う。具体的には、長時間蓄積の輝度データを基準として、全体の輝度レベルを合わせるため、中時間蓄積の輝度データを露光比倍した輝度データ、及び、短時間蓄積の輝度データを露光比の２乗倍した輝度データをあらかじめ用意する。
　そして、合成回路１６４は、前述のブレンドマップと、あらかじめ用意した輝度データをそれぞれ掛け合わせて加算することで、３露光合成輝度データを生成する。通常の広ダイナミックレンジ処理では、このような単純な掛け合わせでは、切り替えの境界で輝度段差が発生する。そのため、実施例１に係る画素信号処理部１６では、ローカルエリア毎に輝度を調整し、ブレンドする処理を行っている。
　上述したように、実施例１に係る画素信号処理部１６による合成処理では、単純に露光比倍した輝度データを切り替えることによって、換言すれば、露光比に応じて輝度レベルを合わせることによって合成処理を行い、処理の軽量化を行っている。しかし、露光比による信号レベルの調整には誤差が生じるため、ブルーミング現象の発生を回避し、リニアリティを維持しても、露光時間が異なる輝度データには多少の輝度差が発生する。その対策として、実施例１に係る画素信号処理部１６では、露光時間が異なる複数の輝度データの境界については、ブレンドマップによるブレンド処理によって切り替えることにより、急激な信号レベルの変化を抑え、輝度段差を緩和している。
［実施例２］
　実施例２は、位相差検出用画素がカラーフィルタのない白色画素から成る例である。実施例２に係る画素信号処理部の構成の一例のブロック図を図１１に模式的に示す。
　ＲＧＢベイヤ配列の位相差検出用画素２０に対して３露光合成処理を行う構成の実施例１に対して、実施例２では、位相差検出用画素２０がカラーフィルタのない白色画素から成り、白色画素のみでの複数露光合成処理、例えば、長時間蓄積、中時間蓄積、及び、短時間蓄積の３露光合成処理を行う構成となっている。すなわち、ＲＧＢベイヤ配列に限らず、一対のフォトダイオード２１Ｌ，２１Ｒを有する画素構造で、露光時間が異なる複数の画素信号の出力が可能な構造であれば、実施例１の場合と同様の合成処理を行うことが可能である。
　画素特性補正回路１６１は、Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒから出力される、露光時間が異なる複数の画素データＬ／Ｒ、例えば、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの画素データＬ／Ｒに対して所定の補正処理を行う。具体的には、画素特性補正回路１６１は、像高位置によってＬ／Ｒのバランスが変化するために、所定の補正処理の一例として、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの画素データＬ／Ｒに対して、Ｌ／Ｒ一対のフォトダイオード２１Ｌ，２１Ｒの感度差を補正する処理を行う。
　Ｌ／Ｒ分離回路１６６は、画素特性補正回路１６１での補正処理後の長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの画素データＬ／Ｒを、Ｌの長時間蓄積、中時間蓄積、及び、短時間蓄積の画素データと、Ｒの長時間蓄積、中時間蓄積、及び、短時間蓄積の画素データとに分離し、合成回路１６４に供給する。白色画素から成る位相差検出用画素２０の場合、画素データは輝度データである。
　合成回路１６４は、ブルーミング判定回路１６３の判定結果に基づいて、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの輝度データＬ／Ｒを合成し、３露光合成輝度データＬ／Ｒとして出力する。具体的には、合成回路１６４は、ブルーミング判定回路１６３でブルーミング現象が発生していないと判定された位相差検出用画素２０について、長時間蓄積、中時間蓄積、及び、短時間蓄積の３つの輝度データＬ／Ｒを合成する。合成回路１６４から出力される３露光合成輝度データＬ／Ｒは、センサ外部に設けられた例えばアプリケーションプロセッサ６０に供給される。
　上述したように、実施例２に係る画素信号処理部１６では、位相差検出用画素２０が白色画素から成り、白色画素のみでの３露光合成処理が行われる。白色画素を使う場合は、輝度（Ｙ）データの生成処理を行う必要がないために、そのままの長時間蓄積、中時間蓄積、及び、短時間蓄積の画素データを使用して合成することで、Ｌ／Ｒの３露光合成輝度データを出力することができる。
［実施例３］
　実施例３は、位相差検出用画素がカラーフィルタのない白色画素から成り、且つ、センサ外部で合成処理を行う例である。実施例３に係る画素信号処理部の構成の一例のブロック図を図１２に模式的に示す。
　実施例３に係る画素信号処理部１６は、センサ外部に設けられたアプリケーションプロセッサ６０を用いて、３露光合成輝度データＬ／Ｒを生成する構成となっている。センサ外部のアプリケーションプロセッサ６０には、センサ内部のＬ／Ｒ分離回路１６６から、Ｌの長時間蓄積、中時間蓄積、及び、短時間蓄積の画素データと、Ｒの長時間蓄積、中時間蓄積、及び、短時間蓄積の画素データが供給される。
　アプリケーションプロセッサ６０は、ソフトウェア処理によって、実施例１のブルーミング判定回路１６３と同じようにしてブルーミング判定処理を行うとともに、実施例１の合成回路１６４と同じようにして３露光合成処理を行うことで、３露光合成輝度データＬ／Ｒを出力する。
　実施例３に係る画素信号処理部１６の場合、センサ外でブルーミング判定処理、及び、３露光合成処理を行うために、アプリケーションプロセッサ６０の負荷が重くなる。従って、アプリケーションプロセッサ６０の負荷を軽減する観点からすると、実施例１や実施例２の場合のように、センサ内でブルーミング判定処理、及び、３露光合成処理を行う方が好ましいと言うことができる。
［実施例４］
　実施例４は、実施例３の変形例であり、位相差検出用画素がＲＧＢベイヤ配列の画素から成り、且つ、センサ外部で合成処理を行う例である。実施例４に係る画素信号処理部の構成の一例のブロック図を図１３に模式的に示す。
　実施例４に係る画素信号処理部１６の場合、位相差検出用画素がＲＧＢベイヤ配列の画素から成ることから、輝度（Ｙ）データの生成処理を行う必要がある。アプリケーションプロセッサ６０は、ソフトウェア処理によって、実施例１の輝度信号生成回路１６２と同じようにして輝度データの生成処理を行い、実施例１のブルーミング判定回路１６３と同じようにしてブルーミング判定処理を行い、実施例１の合成回路１６４と同じようにして３露光合成処理を行うことで、３露光合成輝度データＬ／Ｒを出力する。
　実施例４に係る画素信号処理部１６の場合、センサ外で輝度データの生成処理、ブルーミング判定処理、及び、３露光合成処理を行うために、アプリケーションプロセッサ６０の負荷が実施例３の場合よりも更に重くなる。従って、アプリケーションプロセッサ６０の負荷を軽減する観点からすると、実施例１や実施例２の場合のように、センサ内でブルーミング判定処理、及び、３露光合成処理を行う方が好ましいと言うことができる。
＜本開示の撮像システム＞
　図１４は、本開示の撮像システムの構成の概略を模式的に示すブロック図である。図１４に示すように、本開示の撮像システム１００は、光学系１１０、撮像素子１２０、信号処理部１３０、及び、オートフォーカス部１４０を備える構成となっている。
　光学系１１０は、撮像レンズ１１１や絞り（図示せず）などによって構成されている。尚、ここでは、撮像レンズ１１１について、１つのレンズとして図示しているが、これに限られるものではない。すなわち、撮像レンズ１１１は、１つのレンズによって構成される場合もあるし、複数のレンズによって構成される場合もある。
　撮像素子１２０は、撮像レンズ１１１によって撮像面上に結像される入射光束の光量を画素単位で電気信号に変換して画素信号として出力する。この撮像素子１２０として、先述した実施形態に係るＣＭＯＳイメージセンサ、即ち、画素の２次元配置内に、一対の光電変換部を有する位相差検出用画素を含む画素アレイ部を備え、位相差検出用画素を含む画素アレイ部の各画素からは、露光時間が異なる複数の画素信号の出力が可能なＣＭＯＳイメージセンサを用いることができる。このＣＭＯＳイメージセンサからは、オートフォーカス部１４０に対して、例えば３露光合成輝度データＬ／Ｒが出力される。
　信号処理部１３０は、ＤＳＰ(Digital Signal Processor)回路１３１、フレームメモリ１３２、表示部１３３、記録部１３４、及び、操作系１３５などを有する構成となっている。そして、ＤＳＰ回路１３１、フレームメモリ１３２、表示部１３３、記録部１３４、及び、操作系１３５が、バスライン１３６を介して相互に通信可能に接続されている。
　ＤＳＰ回路１３１は、撮像素子１２０から供給される撮像信号に対し、必要に応じて、フレームメモリ１３２を利用しつつ周知の種々の信号処理を施す。表示部１３３は、液晶表示装置や有機ＥＬ(electro luminescence)表示装置などのパネル型表示装置から成り、撮像素子１２０で撮像された動画又は静止画を表示する。記録部１３４は、撮像素子１２０で撮像された動画又は静止画を、ハードディスクやＤＶＤ等の記録媒体に記録する。
　操作系１３５は、撮影者による操作の下に、本撮像システム１００が持つ様々な機能について操作指令を発する。尚、図示を省略するが、信号処理部１３０には電源系も設けられており、当該電源系は、ＤＳＰ回路１３１、フレームメモリ１３２、表示部１３３、記録部１３４、及び、操作系１３５の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
　オートフォーカス部１４０は、フォーカス制御部１４１及びレンズ駆動部１４２等を有する構成となっている。レンズ駆動部１４２には、撮像素子１２０で生成された例えば３露光合成輝度データＬ／Ｒが供給される。フォーカス制御部１４１は、マイクロコンピュータなどによって構成され、撮像素子１２０から供給される３露光合成輝度データＬ／Ｒに基づいて、撮像レンズ１１１の焦点のずれ量及びずれ方向、即ち、デフォーカス量及びデフォーカス方向を表わす位相差検出信号を生成する。そして、フォーカス制御部１４１は、生成した位相差検出信号を基に、レンズ駆動部１４２を介して撮像レンズ１１１をその光軸方向に移動させることによって焦点（ピント）が合った状態にするフォーカス制御を行う。
　上述したように、本開示の撮像システム１００は、撮像素子１２０として、先述した実施形態に係るＣＭＯＳイメージセンサを用いており、当該ＣＭＯＳイメージセンサは、ブルーミング現象の発生に起因して、異なる露光時間の画素データの切り替え箇所での輝度段差の発生を回避することができる。従って、ＣＭＯＳイメージセンサからは、異なる露光時間の画素データの切り替え箇所での輝度段差の発生のない複数露光合成輝度データＬ／Ｒが出力されるために、複数露光合成輝度データＬ／Ｒに基づくオートフォーカス制御をより正確に行うことができる。
　本開示の撮像システム１００は、スマートフォンなどの撮像機能を有する携帯端末装置を含む種々の電子機器の撮像部として用いることができる。
＜変形例＞
　以上、本開示に係る技術について、好ましい実施形態に基づき説明したが、本開示に係る技術は当該実施形態に限定されるものではない。上記の実施形態において説明した撮像装置の構成、構造は例示であり、適宜、変更することができる。例えば、上記の実施形態では、長時間蓄積、中時間蓄積、及び、短時間蓄積の３露光の構成を例に挙げて説明したが、３露光の構成に限られるものではなく、２露光の構成、あるいは、４露光以上の構成とすることもできる。
　ＲＧＢベイヤ配列から成る位相差検出用画素を用いる場合、合成出力する輝度データについては、精度は落ちるものの、Ｇ画素のデータのみでも実現することが可能である。その場合、ＲＧＢの各画素のデータを用いて合成輝度データを出力する場合よりも、回路規模を小さくできるため、チップサイズを優先する場合には、有利な構成と言うことができる。
＜本開示がとることができる構成＞
　尚、本開示は、以下のような構成をとることもできる。
≪Ａ．撮像装置≫
［Ａ－０１］画素が行列状に２次元配置されて成り、画素の２次元配置内に、一対の光電変換部を有する位相差検出用画素を含む画素アレイ部、及び、
位相差検出用画素から出力される画素信号を処理する画素信号処理部を備え、
位相差検出用画素を含む画素アレイ部の各画素からは、露光時間が異なる複数の画素信号の出力が可能であり、
画素信号処理部は、
一対の光電変換部から出力される一対の画素信号に対して所定の補正処理を行う画素特性補正回路、
画素特性補正回路での補正処理後の一対の画素信号に基づいて、異なる露光時間に対応する複数の輝度信号を生成する輝度信号生成回路、
画素特性補正回路での補正処理前の一対の画素信号に基づいて、位相差検出用画素にブルーミング現象が発生したか否かの判定を行うブルーミング判定回路、及び、
ブルーミング判定回路の判定結果に基づいて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する合成回路を有する、
撮像装置。
［Ａ－０２］画素特性補正回路は、所定の補正処理として、一対の光電変換部の感度差を補正する処理を行う、
上記［Ａ－０１］に記載の撮像装置。
［Ａ－０３］ブルーミング現象は、一対の光電変換部の感度差に起因して、一対の光電変換部の一方の光電変換部が先に飽和したときに発生する、
上記［Ａ－０２］に記載の撮像装置。
［Ａ－０４］ブルーミング判定回路は、ブルーミング閾値を有し、位相差検出用画素の画素値がブルーミング閾値以上のときにブルーミング現象が発生した位相差検出用画素と判定する、
上記［Ａ－０３］に記載の撮像装置。
［Ａ－０５］合成回路は、ブルーミング判定回路によってブルーミング現象が発生していないと判定された位相差検出用画素から出力される一対の画素信号を用いて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する、
上記［Ａ－０４］に記載の撮像装置。
［Ａ－０６］ブルーミング判定回路は、ブルーミング閾値以上の画素値の位相差検出用画素から出力される一対の画素信号については、合成輝度信号の生成に使用しないように露光時間毎にブレンドマップを生成する、
上記［Ａ－０５］に記載の撮像装置。
［Ａ－０７］合成回路は、露光比に応じて輝度レベルを合わせることによって合成処理を行う、
上記［Ａ－０５］に記載の撮像装置。
［Ａ－０８］合成回路は、異なる露光時間の画素データの切り替え箇所で発生する輝度段差を、ブレンドマップを用いたブレンド処理によって緩和する、
上記［Ａ－０７］に記載の撮像装置。
［Ａ－０９］位相差検出用画素は、一対の光電変換部の感度差に起因して、一対の光電変換部の一方の光電変換部が先に飽和したとき、その飽和した信号を他方の光電変換部に逃がす画素構造を有する、
上記［Ａ－０４］に記載の撮像装置。
［Ａ－１０］位相差検出用画素は、画素アレイ部の全画素として全面的に設けられている、
上記［Ａ－０１］乃至上記［Ａ－０９］のいずれかに記載の撮像装置。
［Ａ－１１］位相差検出用画素は、カラーフィルタがベイヤ配列の画素から成る、
上記［Ａ－０１］乃至上記［Ａ－０９］のいずれかに記載の撮像装置。
［Ａ－１２］位相差検出用画素は、白色の画素から成る、
上記［Ａ－０１］乃至上記［Ａ－１０］のいずれかに記載の撮像装置。
≪Ｂ．撮像装置の画素信号処理方法≫
［Ｂ－０１］画素が行列状に２次元配置されて成り、画素の２次元配置内に、一対の光電変換部を有する位相差検出用画素を含む画素アレイ部を備え、
位相差検出用画素を含む画素アレイ部の各画素からは、露光時間が異なる複数の画素信号の出力が可能であり、
位相差検出用画素から出力される画素信号を処理するに当たって、
一対の光電変換部から出力される一対の画素信号に対して所定の補正処理を行う画素特性補正ステップ、
画素特性補正ステップでの補正処理後の一対の画素信号に基づいて、異なる露光時間に対応する複数の輝度信号を生成する輝度信号生成ステップ、
画素特性補正ステップでの補正処理前の一対の画素信号に基づいて、位相差検出用画素にブルーミング現象が発生したか否かの判定を行うブルーミング判定ステップ、及び、
ブルーミング判定ステップの判定結果に基づいて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する合成ステップを有する、
撮像装置の画素信号処理方法。
［Ｂ－０２］画素特性補正ステップでは、所定の補正処理として、一対の光電変換部の感度差を補正する処理を行う、
上記［Ｂ－０１］に記載の撮像装置の画素信号処理方法。
［Ｂ－０３］ブルーミング現象は、一対の光電変換部の感度差に起因して、一対の光電変換部の一方の光電変換部が先に飽和したときに発生する、
上記［Ｂ－０２］に記載の撮像装置の画素信号処理方法。
［Ｂ－０４］ブルーミング判定ステップでは、ブルーミング閾値を有し、位相差検出用画素の画素値がブルーミング閾値以上のときにブルーミング現象が発生した位相差検出用画素と判定する、
上記［Ｂ－０３］に記載の撮像装置の画素信号処理方法。
［Ｂ－０５］合成ステップでは、ブルーミング判定回路によってブルーミング現象が発生していないと判定された位相差検出用画素から出力される一対の画素信号を用いて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する、
上記［Ｂ－０４］に記載の撮像装置の画素信号処理方法。
［Ｂ－０６］ブルーミング判定ステップでは、ブルーミング閾値以上の画素値の位相差検出用画素から出力される一対の画素信号については、合成輝度信号の生成に使用しないように露光時間毎にブレンドマップを生成する、
上記［Ｂ－０５］に記載の撮像装置の画素信号処理方法。
［Ｂ－０７］合成ステップでは、露光比に応じて輝度レベルを合わせることによって合成処理を行う、
上記［Ｂ－０５］に記載の撮像装置の画素信号処理方法。
［Ｂ－０８］合成ステップでは、異なる露光時間の画素データの切り替え箇所で発生する輝度段差を、ブレンドマップを用いたブレンド処理によって緩和する、
上記［Ｂ－０７］に記載の撮像装置の画素信号処理方法。
［Ｂ－０９］位相差検出用画素は、一対の光電変換部の感度差に起因して、一対の光電変換部の一方の光電変換部が先に飽和したとき、その飽和した信号を他方の光電変換部に逃がす画素構造を有する、
上記［Ｂ－０４］に記載の撮像装置の画素信号処理方法。
［Ｂ－１０］位相差検出用画素は、画素アレイ部の全画素として全面的に設けられている、
上記［Ｂ－０１］乃至上記［Ｂ－０９］のいずれかに記載の撮像装置の画素信号処理方法。
［Ｂ－１１］位相差検出用画素は、カラーフィルタがベイヤ配列の画素から成る、
上記［Ｂ－０１］乃至上記［Ｂ－０９］のいずれかに記載の撮像装置の画素信号処理方法。
［Ｂ－１２］位相差検出用画素は、白色の画素から成る、
上記［Ｂ－０１］乃至上記［Ｂ－１０］のいずれかに記載の撮像装置の画素信号処理方法。
≪Ｃ．撮像システム≫
［Ｃ－０１］画素が行列状に２次元配置されて成り、画素の２次元配置内に、一対の光電変換部を有する位相差検出用画素を含む画素アレイ部、及び、位相差検出用画素から出力される画素信号を処理する画素信号処理部を備える撮像装置、
撮像装置の入射光路中に配された撮像レンズ、並びに、
位相差検出用画素の一対の光電変換部から出力される一対の画素信号から生成されるオートフォーカス信号に基づいて、撮像レンズのフォーカス制御を行うフォーカス制御部を備え、
位相差検出用画素を含む画素アレイ部の各画素からは、露光時間が異なる複数の画素信号の出力が可能であり、
画素信号処理部は、
一対の光電変換部から出力される一対の画素信号に対して所定の補正処理を行う画素特性補正回路、
画素特性補正回路での補正処理後の一対の画素信号に基づいて、異なる露光時間に対応する複数の輝度信号を生成する輝度信号生成回路、
画素特性補正回路での補正処理前の一対の画素信号を基に、位相差検出用画素にブルーミング現象が発生したか否かの判定を行うブルーミング判定回路、及び、
ブルーミング判定回路の判定結果に基づいて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する合成回路を有する、
撮像システム。
［Ｃ－０２］画素特性補正回路は、所定の補正処理として、一対の光電変換部の感度差を補正する処理を行う、
上記［Ｃ－０１］に記載の撮像システム。
［Ｃ－０３］ブルーミング現象は、一対の光電変換部の感度差に起因して、一対の光電変換部の一方の光電変換部が先に飽和したときに発生する、
上記［Ｃ－０２］に記載の撮像システム。
［Ｃ－０４］ブルーミング判定回路は、ブルーミング閾値を有し、位相差検出用画素の画素値がブルーミング閾値以上のときにブルーミング現象が発生した位相差検出用画素と判定する、
上記［Ｃ－０３］に記載の撮像システム。
［Ｃ－０５］合成回路は、ブルーミング判定回路によってブルーミング現象が発生していないと判定された位相差検出用画素から出力される一対の画素信号を用いて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する、
上記［Ｃ－０４］に記載の撮像システム。
［Ｃ－０６］ブルーミング判定回路は、ブルーミング閾値以上の画素値の位相差検出用画素から出力される一対の画素信号については、合成輝度信号の生成に使用しないように露光時間毎にブレンドマップを生成する、
上記［Ｃ－０５］に記載の撮像システム。
［Ｃ－０７］合成回路は、露光比に応じて輝度レベルを合わせることによって合成処理を行う、
上記［Ｃ－０５］に記載の撮像システム。
［Ｃ－０８］合成回路は、異なる露光時間の画素データの切り替え箇所で発生する輝度段差を、ブレンドマップを用いたブレンド処理によって緩和する、
上記［Ｃ－０７］に記載の撮像システム。
［Ｃ－０９］位相差検出用画素は、一対の光電変換部の感度差に起因して、一対の光電変換部の一方の光電変換部が先に飽和したとき、その飽和した信号を他方の光電変換部に逃がす画素構造を有する、
上記［Ｃ－０４］に記載の撮像システム。
［Ｃ－１０］位相差検出用画素は、画素アレイ部の全画素として全面的に設けられている、
上記［Ｃ－０１］乃至上記［Ｃ－０９］のいずれかに記載の撮像システム。
［Ｃ－１１］位相差検出用画素は、カラーフィルタがベイヤ配列の画素から成る、
上記［Ｃ－０１］乃至上記［Ｃ－０９］のいずれかに記載の撮像システム。
［Ｃ－１２］位相差検出用画素は、白色の画素から成る、
上記［Ｃ－０１］乃至上記［Ｃ－１０］のいずれかに記載の撮像システム。
　本出願は、日本国特許庁において２０２１年１月１１日に出願された日本特許出願番号２０２１－２４８４号を基礎として優先権を主張するものであり、この出願の全ての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (14)

  1. 　画素が行列状に２次元配置されて成り、画素の２次元配置内に、一対の光電変換部を有する位相差検出用画素を含む画素アレイ部、及び、
    　位相差検出用画素から出力される画素信号を処理する画素信号処理部を備え、
    　位相差検出用画素を含む画素アレイ部の各画素からは、露光時間が異なる複数の画素信号の出力が可能であり、
    　画素信号処理部は、
    　一対の光電変換部から出力される一対の画素信号に対して所定の補正処理を行う画素特性補正回路、
    　画素特性補正回路での補正処理後の一対の画素信号に基づいて、異なる露光時間に対応する複数の輝度信号を生成する輝度信号生成回路、
    　画素特性補正回路での補正処理前の一対の画素信号に基づいて、位相差検出用画素にブルーミング現象が発生したか否かの判定を行うブルーミング判定回路、及び、
    　ブルーミング判定回路の判定結果に基づいて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する合成回路を有する、
    　撮像装置。
  2. 　画素特性補正回路は、所定の補正処理として、一対の光電変換部の感度差を補正する処理を行う、
    　請求項１に記載の撮像装置。
  3. 　ブルーミング現象は、一対の光電変換部の感度差に起因して、一対の光電変換部の一方の光電変換部が先に飽和したときに発生する、
    　請求項２に記載の撮像装置。
  4. 　ブルーミング判定回路は、ブルーミング閾値を有し、位相差検出用画素の画素値がブルーミング閾値以上のときにブルーミング現象が発生した位相差検出用画素と判定する、
    　請求項３に記載の撮像装置。
  5. 　合成回路は、ブルーミング判定回路によってブルーミング現象が発生していないと判定された位相差検出用画素から出力される一対の画素信号を用いて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する、
    　請求項４に記載の撮像装置。
  6. 　ブルーミング判定回路は、ブルーミング閾値以上の画素値の位相差検出用画素から出力される一対の画素信号については、合成輝度信号の生成に使用しないように露光時間毎にブレンドマップを生成する、
    　請求項５に記載の撮像装置。
  7. 　合成回路は、露光比に応じて輝度レベルを合わせることによって合成処理を行う、
    　請求項５に記載の撮像装置。
  8. 　合成回路は、異なる露光時間の画素データの切り替え箇所で発生する輝度段差を、ブレンドマップを用いたブレンド処理によって緩和する、
    　請求項７に記載の撮像装置。
  9. 　位相差検出用画素は、一対の光電変換部の感度差に起因して、一対の光電変換部の一方の光電変換部が先に飽和したとき、その飽和した信号を他方の光電変換部に逃がす画素構造を有する、
    　請求項４に記載の撮像装置。
  10. 　位相差検出用画素は、画素アレイ部の全画素として全面的に設けられている、
    　請求項１に記載の撮像装置。
  11. 　位相差検出用画素は、カラーフィルタがベイヤ配列の画素から成る、
    　請求項１に記載の撮像装置。
  12. 　位相差検出用画素は、白色の画素から成る、
    　請求項１に記載の撮像装置。
  13. 　画素が行列状に２次元配置されて成り、画素の２次元配置内に、一対の光電変換部を有する位相差検出用画素を含む画素アレイ部を備え、
    　位相差検出用画素を含む画素アレイ部の各画素からは、露光時間が異なる複数の画素信号の出力が可能であり、
    　位相差検出用画素から出力される画素信号を処理するに当たって、
    　一対の光電変換部から出力される一対の画素信号に対して所定の補正処理を行う画素特性補正ステップ、
    　画素特性補正ステップでの補正処理後の一対の画素信号に基づいて、異なる露光時間に対応する複数の輝度信号を生成する輝度信号生成ステップ、
    　画素特性補正ステップでの補正処理前の一対の画素信号に基づいて、位相差検出用画素にブルーミング現象が発生したか否かの判定を行うブルーミング判定ステップ、及び、
    　ブルーミング判定ステップの判定結果に基づいて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する合成ステップを有する、
    　撮像装置の画素信号処理方法。
  14. 　画素が行列状に２次元配置されて成り、画素の２次元配置内に、一対の光電変換部を有する位相差検出用画素を含む画素アレイ部、及び、位相差検出用画素から出力される画素信号を処理する画素信号処理部を備える撮像装置、
    　撮像装置の入射光路中に配された撮像レンズ、並びに、
    　位相差検出用画素の一対の光電変換部から出力される一対の画素信号から生成されるオートフォーカス信号に基づいて、撮像レンズのフォーカス制御を行うフォーカス制御部を備え、
    　位相差検出用画素を含む画素アレイ部の各画素からは、露光時間が異なる複数の画素信号の出力が可能であり、
    　画素信号処理部は、
    　一対の光電変換部から出力される一対の画素信号に対して所定の補正処理を行う画素特性補正回路、
    　画素特性補正回路での補正処理後の一対の画素信号に基づいて、異なる露光時間に対応する複数の輝度信号を生成する輝度信号生成回路、
    　画素特性補正回路での補正処理前の一対の画素信号を基に、位相差検出用画素にブルーミング現象が発生したか否かの判定を行うブルーミング判定回路、及び、
    　ブルーミング判定回路の判定結果に基づいて、異なる露光時間に対応する複数の輝度信号を合成した合成輝度信号を生成する合成回路を有する、
    　撮像システム。
PCT/JP2021/042409 2021-01-11 2021-11-18 撮像装置、撮像装置の画素信号処理方法、及び、撮像システム Ceased WO2022149355A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021002484A JP2022107563A (ja) 2021-01-11 2021-01-11 撮像装置、撮像装置の画素信号処理方法、及び、撮像システム
JP2021-002484 2021-01-11

Publications (1)

Publication Number Publication Date
WO2022149355A1 true WO2022149355A1 (ja) 2022-07-14

Family

ID=82357245

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/042409 Ceased WO2022149355A1 (ja) 2021-01-11 2021-11-18 撮像装置、撮像装置の画素信号処理方法、及び、撮像システム

Country Status (2)

Country Link
JP (1) JP2022107563A (ja)
WO (1) WO2022149355A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014030073A (ja) * 2012-07-31 2014-02-13 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2014041845A1 (ja) * 2012-09-12 2014-03-20 富士フイルム株式会社 撮像装置及び信号処理方法
JP2015142364A (ja) * 2014-01-30 2015-08-03 キヤノン株式会社 画像処理装置、撮像装置、及び画像処理方法
WO2019102887A1 (ja) * 2017-11-22 2019-05-31 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および電子機器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014030073A (ja) * 2012-07-31 2014-02-13 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2014041845A1 (ja) * 2012-09-12 2014-03-20 富士フイルム株式会社 撮像装置及び信号処理方法
JP2015142364A (ja) * 2014-01-30 2015-08-03 キヤノン株式会社 画像処理装置、撮像装置、及び画像処理方法
WO2019102887A1 (ja) * 2017-11-22 2019-05-31 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および電子機器

Also Published As

Publication number Publication date
JP2022107563A (ja) 2022-07-22

Similar Documents

Publication Publication Date Title
US10021321B2 (en) Imaging device and imaging system
TWI653892B (zh) 固態成像器件及其驅動方法，以及電子裝置
CN105308748B (zh) 固态成像装置和电子设备
US10594961B2 (en) Generation of pixel signal with a high dynamic range and generation of phase difference information
US9749556B2 (en) Imaging systems having image sensor pixel arrays with phase detection capabilities
JP6369233B2 (ja) 固体撮像素子及びその信号処理方法、並びに電子機器
CN101964877B (zh) 固体摄像装置、用于固体摄像装置的驱动方法和电子设备
US9591244B2 (en) Solid-state imaging device having plural hybrid pixels with dual storing function
US9871985B2 (en) Solid-state image pickup device and electronic apparatus including a solid-state image pickup device having high and low sensitivity pixels
WO2022088311A1 (zh) 图像处理方法、摄像头组件及移动终端
JPWO2017022220A1 (ja) 固体撮像装置
JP2013145779A (ja) 固体撮像装置及び電子機器
CN112235494B (zh) 图像传感器、控制方法、成像装置、终端及可读存储介质
TWI795796B (zh) 固體攝像裝置、固體攝像裝置的信號處理方法、以及電子機器
JP6362511B2 (ja) 撮像装置及びその制御方法
US12003875B2 (en) Photoelectric conversion device and method of driving photoelectric conversion device
JP2012227889A (ja) 固体撮像装置
US12316989B2 (en) Driving method for AD conversion circuit, AD conversion circuit, photoelectric conversion device, and apparatus
WO2022149355A1 (ja) 撮像装置、撮像装置の画素信号処理方法、及び、撮像システム
US12432465B2 (en) Imaging device, sensor, and imaging control device
JP2020061758A (ja) 撮像素子及び撮像装置
JPWO2020067503A1 (ja) 撮像素子および撮像装置
US20240290893A1 (en) Photoelectric conversion device, control method for photoelectric conversion device, and storage medium
US20260075314A1 (en) Image sensor and image capturing apparatus
JP6547265B2 (ja) 撮像素子および撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21917580

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21917580

Country of ref document: EP

Kind code of ref document: A1