WO2020166284A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2020166284A1
WO2020166284A1 PCT/JP2020/002075 JP2020002075W WO2020166284A1 WO 2020166284 A1 WO2020166284 A1 WO 2020166284A1 JP 2020002075 W JP2020002075 W JP 2020002075W WO 2020166284 A1 WO2020166284 A1 WO 2020166284A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
partial pixel
partial
signal
imaging
Prior art date
Application number
PCT/JP2020/002075
Other languages
English (en)
French (fr)
Inventor
直哉 佐藤
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/310,523 priority Critical patent/US11483499B2/en
Publication of WO2020166284A1 publication Critical patent/WO2020166284A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K3/00—Thermometers giving results other than momentary value of temperature
    • G01K3/005—Circuits arrangements for indicating a predetermined temperature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters

Definitions

  • the present disclosure relates to an imaging device having a plurality of imaging pixels.
  • An imaging device includes a pixel array in which a plurality of pixels including a first partial pixel, a second partial pixel, and a third partial pixel are arranged, and a pixel array for each pixel.
  • a pixel array in which a plurality of pixels including a first partial pixel, a second partial pixel, and a third partial pixel are arranged, and a pixel array for each pixel.
  • the first partial pixel signal generated from the first partial pixel and the second partial pixel signal generated from the second partial pixel based on the temperature of the third partial pixel.
  • an addition processing unit that adds the third partial pixel signal generated from
  • a first partial pixel signal generated from the first partial pixel and a second partial pixel generated based on the temperature of the pixel array for each pixel, a first partial pixel signal generated from the first partial pixel and a second partial pixel generated based on the temperature of the pixel array.
  • the third partial pixel signal generated from the third partial pixel is added to either one of the second partial pixel signals.
  • FIG. 9 is an explanatory diagram schematically showing an example of the relationship between the amount of light incident on an image pickup pixel and the amount of signal charge in an image pickup apparatus according to a comparative example.
  • FIG. 11 is an explanatory diagram schematically showing a problem when the imaging dynamic range is expanded using the pixel structure in the imaging device according to the comparative example.
  • FIG. 1 is a configuration diagram schematically showing an example of an imaging device according to a first embodiment of the present disclosure. It is a top view which shows roughly an example of the pixel structure in the imaging device which concerns on 1st Embodiment.
  • FIG. 3 is a plan view schematically showing a configuration example of a pixel array in the image pickup device according to the first embodiment. It is a block diagram which shows schematically the 1st example of the method of the pixel structure in the imaging device and the addition process of a pixel signal which concern on 1st Embodiment.
  • FIG. 6 is a configuration diagram schematically showing a second example of a pixel structure and a pixel signal addition processing method in the imaging device according to the first embodiment.
  • FIG. 6 is an explanatory diagram schematically showing an example of the relationship between the amount of light incident on an image pickup pixel and the amount of signal charge in the image pickup apparatus according to the first embodiment.
  • FIG. 9 is an explanatory diagram schematically showing a difference in shooting dynamic range between the image pickup apparatus according to the comparative example and the image pickup apparatus according to the first embodiment.
  • FIG. 6 is an explanatory diagram showing an outline of pixel addition control by temperature in the image pickup apparatus according to the first embodiment.
  • FIG. 6 is an explanatory diagram schematically showing a first example of pixel addition control by temperature in the image pickup apparatus according to the first embodiment.
  • FIG. 7 is an explanatory diagram schematically showing a second example of pixel addition control by temperature in the image pickup apparatus according to the first embodiment.
  • FIG. 9 is an explanatory diagram schematically showing a third example of pixel addition control by temperature in the image pickup apparatus according to the first embodiment.
  • FIG. 8 is an explanatory diagram schematically showing a fourth example of pixel addition control by temperature in the image pickup apparatus according to the first embodiment.
  • FIG. 11 is an explanatory diagram schematically showing an example of a pixel structure and a pixel addition control by temperature in the imaging device according to the second embodiment. It is a block diagram showing a schematic example of composition of a vehicle control system. It is explanatory drawing which shows an example of the installation position of a vehicle exterior information detection part and an imaging part.
  • FIG. 1 schematically shows a planar configuration example of a pixel structure in an imaging device according to a comparative example.
  • FIG. 2 schematically shows a planar configuration example of the pixel array 100 in the image pickup apparatus according to the comparative example.
  • FIG. 3 schematically illustrates a cross-sectional configuration example of a pixel structure in an image pickup device according to a comparative example.
  • one image pickup pixel P100 includes a large pixel P101 having a large pixel area (light receiving area) and a small pixel P102 having a small pixel area. ..
  • the image pickup apparatus includes the pixel array 100 in which a plurality of such image pickup pixels P100 are arranged in a matrix as shown in FIG.
  • An on-chip lens 511 is arranged at a position corresponding to the large pixel P101, and an on-chip lens 512 is arranged at a position corresponding to the small pixel P102 on the imaging pixel P100.
  • the photodiode PD11 is arranged at a position corresponding to the large pixel P101
  • the photodiode PD12 is arranged at a position corresponding to the small pixel P102.
  • the photodiodes PD11 and PD12 are photoelectric conversion elements that generate an electric charge of an amount according to the amount of received light and accumulate the electric charges inside.
  • a pixel signal corresponding to the amount of signal charges generated by the photodiodes PD11 and PD12 is generated.
  • the light condensed by the on-chip lens 511 is incident on the photodiode PD11 via the large pixel P101.
  • the light condensed by the on-chip lens 512 enters the photodiode PD12 through the small pixel P102.
  • the light receiving sensitivity of the photodiode PD12 is smaller than the light receiving sensitivity of the photodiode PD11.
  • FIG. 4 schematically shows an example of the relationship between the amount of incident light (horizontal axis) on the imaging pixel P100 and the amount of signal charge (vertical axis) in the imaging device according to the comparative example.
  • the pixel sensitivity of the small pixel P102 is larger than that of the large pixel P101 due to the difference in pixel area and the difference in light receiving sensitivity between the photodiodes PD11 and PD12. It is smaller than the pixel sensitivity.
  • the signal charge amount generated by the photodiode PD11 corresponding to the large pixel P101 is saturated at a predetermined incident light amount.
  • FIG. 5 schematically shows a problem when the imaging dynamic range is expanded by using the pixel structure in the imaging device according to the comparative example.
  • the horizontal axis represents the exposure time and the vertical axis represents the pixel signal level.
  • the level of the pixel signal generated by the large pixel P101 is saturated in a predetermined exposure time. Therefore, as shown in FIG. 5, in the image pickup apparatus according to the comparative example, when the exposure time is less than the predetermined exposure time, the pixel signal generated by the large pixel P101 is set as the pixel signal of the image pickup pixel P100. When the exposure time reaches a predetermined exposure time, the pixel signal of the imaging pixel P100 is a combined pixel signal obtained by adding the pixel signal generated by the small pixel P102 to the pixel signal generated by the large pixel P101. This makes it possible to expand the shooting dynamic range.
  • the generated pixel signal has a poor signal-to-noise ratio.
  • the pixel signal generated by the large pixel P101 and the pixel signal generated by the small pixel P102 are combined, noise due to the small pixel P102 is easily visible in the boundary area of the combination. This noise increases as the temperature around the imaging pixel P100 rises.
  • the pixel sensitivity is determined by the difference in pixel area, the pixel sensitivity of the large pixel P101 and the pixel sensitivity of the small pixel P102 are fixed.
  • the shutter ratio between the large pixel P101 and the small pixel P102 can be adjusted to suppress noise in the combined boundary area.
  • the shutter ratio is adjusted so that the exposure time of the small pixel P102 is longer than that of the large pixel P101.
  • the shutter ratio is released at different times, so that coloring occurs when the subject moves.
  • FIG. 6 schematically shows a configuration example of the imaging device 1 according to the first embodiment of the present disclosure.
  • the imaging device 1 includes a pixel array 2, a scanning unit 10, a reading unit 20, an imaging control unit 30, and a signal processing unit 40.
  • the scanning unit 10 has an address decoder 11, a logic unit 12, and a driver unit 13.
  • the imaging control unit 30 has a temperature sensor 31.
  • the signal processing unit 40 has an image processing unit 41.
  • a plurality of imaging pixels P1 are arranged in a matrix.
  • the scanning unit 10 sequentially drives the imaging pixels P1 in the pixel array 2 in pixel line units based on an instruction from the imaging control unit 30.
  • the address decoder 11 selects a pixel line in the pixel array 2 according to the address indicated by the address signal, based on the address signal supplied from the imaging control unit 30.
  • the logic unit 12 and the driver unit 13 generate a signal corresponding to each pixel line.
  • the reading unit 20 has a plurality of AD (Analog to Digital) conversion units.
  • the AD conversion unit AD-converts the analog pixel signal generated by the imaging pixel P1 of the pixel array 2 to generate a digital pixel signal.
  • the readout unit 20 generates and outputs the image signal DATA0 based on the digital pixel signal.
  • the imaging control unit 30 supplies a control signal to the scanning unit 10, the reading unit 20, and the signal processing unit 40 to control the operation of these circuits, thereby controlling the operation of the imaging apparatus 1. Specifically, the imaging control unit 30 supplies an address signal to the scanning unit 10, for example, so that the scanning unit 10 sequentially drives the imaging pixels P1 in the pixel array 2 in pixel line units. Control. In addition, the imaging control unit 30 supplies a control signal to the reading unit 20 to control the reading unit 20 to generate the image signal DATA0 based on the pixel signal from the imaging pixel P1. The imaging control unit 30 also controls the operation of the signal processing unit 40 by supplying a control signal to the signal processing unit 40.
  • the temperature sensor 31 is a temperature detection unit that detects the temperature of the pixel array 2.
  • the temperature sensor 31 generates a detection signal according to the temperature of the pixel array 2.
  • the image processing unit 41 performs predetermined image processing on the image signal DATA0 from the reading unit 20 and outputs it as the image signal DATA.
  • FIG. 7 schematically shows a planar configuration example of the pixel structure of the imaging pixel P1 in the imaging device 1 according to the first embodiment.
  • FIG. 8 schematically shows a planar configuration example of the pixel array 2 in the image pickup device 1 according to the first embodiment.
  • the image pickup pixel P1 includes a plurality of partial pixels.
  • the plurality of partial pixels include a first partial pixel P11, a second partial pixel P12, and a third partial pixel P13.
  • the pixel areas of the first partial pixel P11, the second partial pixel P12, and the third partial pixel P13 are the same.
  • a plurality of first partial pixels P11 are arranged for each imaging pixel P1.
  • at least one second partial pixel P12 is arranged for each imaging pixel P1.
  • at least one third partial pixel P13 is arranged for each imaging pixel P1.
  • the on-chip lens 51 is arranged on the imaging pixel P1.
  • the on-chip lenses 51 may be individually arranged at positions corresponding to the first partial pixel P11, the second partial pixel P12, and the third partial pixel P13.
  • the pixel area occupied by the plurality of first partial pixels P11 in one imaging pixel P1 is larger than the pixel area occupied by at least one second partial pixel P12 and third partial pixel P13.
  • the first combined pixel area obtained by combining the first partial pixel P11 and the third partial pixel P13 is larger than the second combined pixel area formed by combining the second partial pixel P12 and the third partial pixel P13. large. Accordingly, the first partial pixel P11 has a role corresponding to the large pixel P101 (FIG. 1) in the imaging device according to the comparative example.
  • the second partial pixel P12 has a role corresponding to the small pixel P102 (FIG. 1) in the imaging device according to the comparative example.
  • the third partial pixel P13 is a partial pixel whose role is variable, and has a role corresponding to the large pixel P101 and a role corresponding to the small pixel P102 according to the temperature of the pixel array 2 detected by the temperature sensor 31. Have one of the roles.
  • the third partial pixel signal generated from the third partial pixel P13 is the first partial pixel signal generated from the first partial pixel P11 according to the temperature of the pixel array 2 detected by the temperature sensor 31.
  • FIGS. 7 and 8 show an example in which only one second partial pixel P12 is arranged in the center of one imaging pixel P1.
  • the arrangement position of the second partial pixel P12 is not limited to the central portion.
  • the number of the second partial pixels P12 is not limited to one.
  • FIGS. 7 and 8 show the states of the pixels during normal operation.
  • the normal operation corresponds to the case where the temperature of the pixel array 2 detected by the temperature sensor 31 is lower than a predetermined temperature.
  • the third partial pixel P13 has a role corresponding to the large pixel P101, and is added to the first partial pixel P11.
  • the pixel P13 is shown without distinction.
  • FIG. 9 schematically shows a first example of a pixel structure and a pixel signal addition processing method in the imaging device 1 according to the first embodiment.
  • the pixel structure is simplified and only one each of the first partial pixel P11, the second partial pixel P12, and the third partial pixel P13 is shown.
  • the imaging device 1 includes a plurality of photodiodes PD1, PD2 and PD3, a plurality of analog circuits AN1, AN2 and AN3, AD conversion units ADC1, ADC2 and ADC3, and an addition processing unit 21. have.
  • the photodiode PD1 is arranged at a position corresponding to the first partial pixel P11.
  • the photodiode PD2 is arranged at a position corresponding to the second partial pixel P12.
  • the photodiode PD3 is arranged at a position corresponding to the third partial pixel P13.
  • the photodiodes PD1, PD2, PD3 are photoelectric conversion elements that generate an amount of electric charge according to the amount of received light and store it inside.
  • a pixel signal corresponding to the amount of signal charges generated by the photodiodes PD1, PD2, PD3 is generated.
  • the light condensed by the on-chip lens 51 is incident on the photodiode PD1 via the first partial pixel P11.
  • the light condensed by the on-chip lens 51 is incident on the photodiode PD2 via the second partial pixel P12.
  • the light condensed by the on-chip lens 51 enters the photodiode PD3 through the third partial pixel P13.
  • the photodiodes PD1, PD2 and PD3 have the same light receiving sensitivity.
  • Each of the analog circuits AN1, AN2, AN3 includes a circuit element such as a transistor, a capacitive element, and a floating diffusion.
  • the analog circuit AN1 is connected to the photodiode PD1 and generates an analog pixel signal (first partial pixel signal) according to the charges accumulated in the photodiode PD1.
  • the analog circuit AN2 is connected to the photodiode PD2 and generates an analog pixel signal (second partial pixel signal) according to the charges accumulated in the photodiode PD2.
  • the analog circuit AN3 is connected to the photodiode PD3 and generates an analog pixel signal (third partial pixel signal) according to the charge accumulated in the photodiode PD3.
  • the AD conversion units ADC1, ADC2, ADC3 are provided in the reading unit 20.
  • the AD conversion unit ADC1 is connected to the analog circuit AN1 and generates a digital first partial pixel signal.
  • the AD conversion unit ADC2 is connected to the analog circuit AN2 and generates a digital second partial pixel signal.
  • the AD conversion unit ADC3 is connected to the analog circuit AN3 and generates a digital third partial pixel signal.
  • the addition processing unit 21 is provided in the reading unit 20.
  • the addition processing unit 21 calculates the first partial pixel signal generated from the first partial pixel P11 based on the temperature of the pixel array 2 detected by the temperature sensor 31 for each of the plurality of imaging pixels P1 and the first partial pixel signal
  • the third partial pixel signal generated from the third partial pixel P13 is added to either one of the second partial pixel signals generated from the second partial pixel P12.
  • the addition processing unit 21 adds the third partial pixel signal to the first partial pixel signal when the temperature of the pixel array 2 is lower than the predetermined temperature, and when the temperature of the pixel array 2 is higher than the predetermined temperature, The partial pixel signal of No. 3 is added to the second partial pixel signal.
  • the addition processing unit 21 converts the third partial pixel signal into one of the first partial pixel signal and the second partial pixel signal after being converted into a digital signal by the AD conversion units ADC1, ADC2, ADC3. to add.
  • FIG. 10 schematically shows a second example of a pixel structure and a pixel signal addition processing method in the image pickup apparatus 1 according to the first embodiment. Note that in FIG. 10, for convenience of description, the pixel structure is simplified and only one each of the first partial pixel P11, the second partial pixel P12, and the third partial pixel P13 is shown.
  • FIG. 9 illustrates an example in which the addition processing unit 21 is provided in the reading unit 20 and the addition of the third partial pixel signal generated from the third partial pixel P13 is performed by digital processing. An example in which the partial pixel signals of No. 3 are added before being converted into a digital signal will be shown.
  • each of the analog circuits AN1, AN2, and AN3 is connected to the addition processing unit 21, and the addition processing unit 21 adds the third partial pixel signal in the state of the analog pixel signal.
  • the reading unit 20 includes an AD conversion unit ADC1 that converts the analog first partial pixel signal after addition processing by the addition processing unit 21 into a digital signal, and an addition processing unit 21 after addition processing by the addition processing unit 21.
  • An AD conversion unit ADC2 for converting the analog second partial pixel signal into a digital signal is provided.
  • FIG. 11 schematically shows an example of the relationship between the amount of incident light (horizontal axis) and the amount of signal charge (vertical axis) on the imaging pixel P1 in the imaging device 1 according to the first embodiment.
  • FIG. 12 schematically shows a difference in shooting dynamic range between the image pickup apparatus according to the comparative example and the image pickup apparatus 1 according to the first embodiment.
  • 11 and 12 show characteristics depending on the number of partial pixels (the first partial pixel P11, the second partial pixel P12, or the third partial pixel P13) in one imaging pixel P1. Since the total pixel area increases as the number of partial pixels added increases, the signal charge amount with respect to the incident light amount increases as shown in FIG. Since the total pixel area increases as the number of partial pixels added increases, the pixel sensitivity increases. Therefore, as shown in FIG. 12, as the number of partial pixels to be added increases, the shooting dynamic range becomes closer to the pixel sensitivity of the large pixel P101 in the imaging device according to the comparative example.
  • FIG. 13 shows an outline of pixel addition control by temperature in the image pickup apparatus 1 according to the first embodiment.
  • the image pickup apparatus 1 operates in any one of a plurality of pixel addition modes depending on the temperature of the pixel array 2 detected by the temperature sensor 31.
  • the third partial pixel P13 is added to the second partial pixel P12 having a role corresponding to the small pixel P102 (FIG. 1) in the image pickup apparatus according to the comparative example.
  • the pixel P12 is added.
  • Mode B is an operation mode when the temperature is higher than that of mode A.
  • 14 to 17 show specific examples of the pixel addition state in each operation mode shown in FIG.
  • FIG. 14 schematically shows a first example of pixel addition control by temperature in the image pickup apparatus 1.
  • FIG. 15 schematically shows a second example of pixel addition control by temperature in the image pickup apparatus 1.
  • FIG. 16 schematically shows a third example of temperature-dependent pixel addition control in the image pickup apparatus 1.
  • FIG. 17 schematically shows a fourth example of pixel addition control by temperature in the image pickup apparatus 1.
  • (A) shows the pixel addition state in the operation mode at the time of normal operation
  • (B) shows the pixel addition state in mode A shown in FIG. 13
  • (C) shows the pixel addition state. The addition state of pixels in the mode B is shown.
  • FIG. 14 to 16 show an example in which only one second partial pixel P12 is arranged in the center of one image pickup pixel P1.
  • FIG. 17 shows an example in which only one second partial pixel P12 is arranged in the peripheral area within one imaging pixel P1.
  • the third partial pixel P13 has a role equivalent to that of the large pixel P101 (FIG. 1) in the imaging device according to the comparative example, and the third partial pixel P13 becomes the first partial pixel P11. Is added.
  • FIGS. 14 to 17 show the first partial pixel P11 and the third partial pixel P13 without distinction.
  • the third partial pixel P13 arranged around the second partial pixel P12 is sequentially arranged in the second partial pixel in Mode A and Mode B with respect to the state of the pixel in the normal operation. It is added as P12.
  • the third partial pixel P13 arranged diagonally is sequentially added to the second partial pixel P12 with respect to the state of the pixel at the time of normal operation. There is.
  • the third partial pixels P13 arranged in a part in the diagonal direction and a part in the cross direction are set to the second partial pixel P13.
  • the pixels are sequentially added to the partial pixel P12.
  • the example shown in FIG. 17 is suitable for the case where pixel signals are subjected to analog addition processing as shown in FIG.
  • the power consumption can be reduced as compared with the case where the pixel signal is subjected to the digital addition process as shown in FIG.
  • the third partial pixels P13 added to the first partial pixel P11 or the second partial pixel P12 are arranged in a group, and the pixel arrangement is likely to be restricted.
  • the shapes of the first partial pixel P11, the second partial pixel P12, and the third partial pixel P13 are not limited to circular shapes, and may be other shapes such as rectangular shapes and polygonal shapes.
  • FIGS. 13 to 17 show an example in which there are two operation modes at high temperature, mode A and mode B, the operation mode at high temperature may be 1 or 3 or more. Further, the number and position of the third partial pixels P13 to be added in the modes A and B are not limited to the examples shown in FIGS.
  • the same shooting dynamic range performance as that of the image pickup apparatus according to the comparative example (FIGS. 1 to 5) can be obtained.
  • the noise increases in the combined boundary area due to the temperature rise, the pixel sensitivity ratio between the first partial pixel P11 corresponding to the large pixel P101 and the second partial pixel P12 corresponding to the small pixel P102 is small.
  • the addition control of the third partial pixel P13 so that the noise can be suppressed in the boundary area of the combination without changing the shutter ratio of the first partial pixel P11 and the second partial pixel P12. ..
  • FIG. 18 schematically shows an example of a pixel structure and a pixel addition control by temperature in the image pickup apparatus according to the second embodiment.
  • one image pickup pixel P1 has the same pixel area for each of the first partial pixel P11, the second partial pixel P12, and the third partial pixel P13.
  • some or all of the areas of the plurality of partial pixels may have different pixel areas.
  • the first partial pixel P11, the second partial pixel P12, and the third partial pixel P13 are arranged one by one in one imaging pixel P1.
  • the pixel area of the first partial pixel P11 is larger than the pixel areas of the second partial pixel P12 and the third partial pixel P13.
  • the first partial pixel P11 is arranged in the center of one image pickup pixel P1, and the second partial pixel P12 and the third partial pixel P13 are arranged in the peripheral area of the first partial pixel P11.
  • FIG. 18 shows the pixel addition state in the normal operation mode
  • (B) shows the pixel addition state in the high temperature operation mode.
  • the third partial pixel P13 is added as the first partial pixel P11.
  • the third partial pixel P13 is added as the second partial pixel P12.
  • FIG. 18 shows the case where the shapes of the first partial pixel P11, the second partial pixel P12, and the third partial pixel P13 are circular, but the shape of each partial pixel is rectangular, polygonal, or the like. Other shapes may be used.
  • FIG. 18 shows an example in which there are two operation modes, that is, a normal operation and a high temperature. You may increase to the above. Further, the number and position of each partial pixel are not limited to the example shown in FIG.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on any type of moving body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 19 is a block diagram showing a schematic configuration example of a vehicle control system which is an example of a mobile body control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio/video output unit 12052, and an in-vehicle network I/F (Interface) 12053 are illustrated as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a drive force generation device for generating a drive force of a vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to wheels, and a steering angle of the vehicle. It functions as a steering mechanism for adjustment and a control device such as a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a head lamp, a back lamp, a brake lamp, a winker, or a fog lamp.
  • the body system control unit 12020 may receive radio waves or signals of various switches transmitted from a portable device that substitutes for a key.
  • the body system control unit 12020 receives input of these radio waves or signals and controls the vehicle door lock device, power window device, lamp, and the like.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the imaging unit 12031 is connected to the vehicle outside information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the image capturing unit 12031 to capture an image of the vehicle exterior and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of received light.
  • the imaging unit 12031 can output the electric signal as an image or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • a driver state detection unit 12041 that detects the state of the driver is connected.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generation device, the steering mechanism or the braking device based on the information on the inside and outside of the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes functions of ADAS (Advanced Driver Assistance System) including collision avoidance or impact mitigation of a vehicle, follow-up traveling based on an inter-vehicle distance, vehicle speed maintenance traveling, a vehicle collision warning, or a vehicle lane departure warning. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generation device, the steering mechanism, the braking device, or the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, so that the driver's It is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12030 based on the information on the outside of the vehicle acquired by the outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control for the purpose of anti-glare such as switching the high beam to the low beam. It can be carried out.
  • the voice image output unit 12052 transmits an output signal of at least one of a voice and an image to an output device capable of visually or audibly notifying information to an occupant of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a head-up display.
  • FIG. 20 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose of the vehicle 12100, the side mirrors, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior.
  • the image capturing unit 12101 provided on the front nose and the image capturing unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the image capturing units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic signal, a traffic sign, a lane, or the like.
  • FIG. 20 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors
  • the imaging range 12114 indicates The imaging range of the imaging part 12104 provided in a rear bumper or a back door is shown.
  • a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the image capturing units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image capturing units 12101 to 12104 may be a stereo camera including a plurality of image capturing elements, or may be an image capturing element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object within the imaging range 12111 to 12114 and the temporal change of this distance (relative speed with respect to the vehicle 12100).
  • the closest three-dimensional object on the traveling path of the vehicle 12100 which travels in the substantially same direction as the vehicle 12100 at a predetermined speed (for example, 0 km/h or more), can be extracted as a preceding vehicle by determining it can.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of autonomous driving or the like that autonomously travels without depending on the operation of the driver.
  • the microcomputer 12051 uses the distance information obtained from the imaging units 12101 to 12104 to convert three-dimensional object data regarding a three-dimensional object into another three-dimensional object such as a two-wheeled vehicle, an ordinary vehicle, a large vehicle, a pedestrian, and a utility pole. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles visible to the driver of the vehicle 12100 and obstacles difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or more than the set value and there is a possibility of collision, the microcomputer 12051 outputs the audio through the audio speaker 12061 and the display unit 12062. A driver can be assisted for avoiding a collision by outputting an alarm to the driver and performing forced deceleration or avoidance steering through the drive system control unit 12010.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the images captured by the imaging units 12101 to 12104.
  • the audio image output unit 12052 causes the recognized pedestrian to have a rectangular contour line for emphasis.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 to display an icon indicating a pedestrian or the like at a desired position.
  • the imaging device of the present disclosure can be applied to, for example, the imaging unit 12031 and the driver state detection unit 12041.
  • the technology according to the present disclosure to the image capturing unit 12031 and the driver state detecting unit 12041, it is possible to obtain image data with an expanded shooting dynamic range while suppressing noise, and obtain information outside and inside the vehicle. It is possible to improve the accuracy of.
  • the present technology may have the following configurations. According to the present technology having the following configuration, it is possible to expand the shooting dynamic range while suppressing noise.
  • a pixel array in which a plurality of pixels including the first partial pixel, the second partial pixel, and the third partial pixel P13 are arranged; For each of the pixels, a first partial pixel signal generated from the first partial pixel and a second partial pixel signal generated from the second partial pixel based on the temperature of the pixel array.
  • An image pickup apparatus comprising: an addition processing unit that adds a third partial pixel signal generated from the third partial pixel to either one of the two.
  • the imaging device according to (1) further including a temperature detection unit that detects a temperature of the pixel array.
  • the addition processing unit adds the third partial pixel signal to the first partial pixel signal when the temperature of the pixel array is lower than a predetermined temperature, and when the temperature is equal to or higher than the predetermined temperature, the addition processing unit adds the third partial pixel signal to the first partial pixel signal.
  • a first combined pixel area obtained by combining the first partial pixel and the third partial pixel is larger than a second combined pixel area formed by combining the second partial pixel and the third partial pixel. Large An image pickup apparatus according to any one of (1) to (3) above.
  • Pixel areas of the first partial pixel, the second partial pixel, and the third partial pixel are the same, The imaging device according to any one of (1) to (4), in which each of the pixels includes a plurality of the first partial pixels. (6) The pixel area of the first partial pixel is larger than the pixel area of the second partial pixel and the pixel area of the third partial pixel, The imaging according to any one of (1) to (4) above. apparatus. (7) An AD converter that converts the first partial pixel signal, the second partial pixel signal, and the third partial pixel signal into digital signals, respectively. The addition processing unit adds the third partial pixel signal to one of the first partial pixel signal and the second partial pixel signal after being converted into a digital signal by the AD conversion unit.
  • the imaging device according to any one of (1) to (6) above.
  • An AD converter that converts the first partial pixel signal and the second partial pixel signal into digital signals
  • the addition processing unit converts the third partial pixel signal into one of the first partial pixel signal and the second partial pixel signal before being converted into a digital signal by the AD conversion unit.
  • the image pickup apparatus according to any one of the above (1) to (6), which performs addition.
  • the imaging device In each of the pixels, the imaging device according to any one of (1) to (5), (7), and (8), in which the second partial pixel is arranged in a central portion.
  • the imaging device In each of the pixels, the imaging device according to (9), wherein the third partial pixel is arranged around the second partial pixel.
  • the second partial pixel and the third partial pixel are arranged in a peripheral region.
  • the image pickup device according to any one of (1) to (8) above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本開示の撮像装置は、第１の部分画素、第２の部分画素、および第３の部分画素を含む画素が複数、配列された画素アレイと、各画素について、画素アレイの温度に基づいて、第１の部分画素から生成される第１の部分画素信号と、第２の部分画素から生成される第２の部分画素信号とのいずれか一方に、第３の部分画素から生成される第３の部分画素信号を加算する加算処理部とを備える。

Description

撮像装置
　本開示は、複数の撮像画素を有する撮像装置に関する。
　撮像装置において、複数の撮像画素からの画素信号を合成することで撮影ダイナミックレンジの拡大を行う技術がある（特許文献１～３参照）。例えば、明るさに応じて、複数の撮像画素からの画素信号を加算処理することで、撮影ダイナミックレンジの拡大を行う技術がある。
特開２００８－２９４６８９号公報 特開２０１０－２８４２３号公報 特開２０１５－８９０３６号公報
　複数の撮像画素からの画素信号を合成する際に、温度上昇によりノイズが増幅される。
　ノイズを抑制しつつ撮影ダイナミックレンジの拡大を行うことが可能な撮像装置を提供することが望ましい。
　本開示の一実施の形態に係る撮像装置は、第１の部分画素、第２の部分画素、および第３の部分画素を含む画素が複数、配列された画素アレイと、各画素について、画素アレイの温度に基づいて、第１の部分画素から生成される第１の部分画素信号と、第２の部分画素から生成される第２の部分画素信号とのいずれか一方に、第３の部分画素から生成される第３の部分画素信号を加算する加算処理部とを備える。
　本開示の一実施の形態に係る撮像装置では、各画素について、画素アレイの温度に基づいて、第１の部分画素から生成される第１の部分画素信号と、第２の部分画素から生成される第２の部分画素信号とのいずれか一方に、第３の部分画素から生成される第３の部分画素信号が加算される。
比較例に係る撮像装置における画素構造の一例を概略的に示す平面図である。 比較例に係る撮像装置における画素アレイの一構成例を概略的に示す平面図である。 比較例に係る撮像装置における画素構造の一例を概略的に示す断面図である。 比較例に係る撮像装置における撮像画素への入射光量と信号電荷量との関係の一例を概略的に示す説明図である。 比較例に係る撮像装置における画素構造を用いて撮像ダイナミックレンジの拡大を行った場合の問題点を概略的に示す説明図である。 本開示の第１の実施の形態に係る撮像装置の一例を概略的に示す構成図である。 第１の実施の形態に係る撮像装置における画素構造の一例を概略的に示す平面図である。 第１の実施の形態に係る撮像装置における画素アレイの一構成例を概略的に示す平面図である。 第１の実施の形態に係る撮像装置における画素構造および画素信号の加算処理の手法の第１の例を概略的に示す構成図である。 第１の実施の形態に係る撮像装置における画素構造および画素信号の加算処理の手法の第２の例を概略的に示す構成図である。 第１の実施の形態に係る撮像装置における撮像画素への入射光量と信号電荷量との関係の一例を概略的に示す説明図である。 比較例に係る撮像装置と第１の実施の形態に係る撮像装置とにおける撮影ダイナミックレンジの違いを模式的に示す説明図である。 第１の実施の形態に係る撮像装置における、温度による画素加算制御の概要を示す説明図である。 第１の実施の形態に係る撮像装置における、温度による画素加算制御の第１の例を概略的に示す説明図である。 第１の実施の形態に係る撮像装置における、温度による画素加算制御の第２の例を概略的に示す説明図である。 第１の実施の形態に係る撮像装置における、温度による画素加算制御の第３の例を概略的に示す説明図である。 第１の実施の形態に係る撮像装置における、温度による画素加算制御の第４の例を概略的に示す説明図である。 第２の実施の形態に係る撮像装置における画素構造、および温度による画素加算制御の一例を概略的に示す説明図である。 車両制御システムの概略的な構成例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
　０．比較例（図１～図５）
　１．第１の実施の形態（図６～図１７）
　　１．１　第１の実施の形態に係る撮像装置の構成および動作
　　１．２　効果
　２．第２の実施の形態（図１８）
　３．移動体への応用例（図１９～図２０）
　４．その他の実施の形態
＜０．比較例＞
（比較例に係る撮像装置の概要と課題）
　図１は、比較例に係る撮像装置における画素構造の平面構成例を概略的に示している。図２は、比較例に係る撮像装置における画素アレイ１００の平面構成例を概略的に示している。図３は、比較例に係る撮像装置における画素構造の断面構成例を概略的に示している。
　図１に示した比較例に係る撮像装置における画素構造は、１つの撮像画素Ｐ１００が、画素面積（受光面積）の大きい大画素Ｐ１０１と画素面積の小さい小画素Ｐ１０２とを含む構成とされている。
　比較例に係る撮像装置では、このような撮像画素Ｐ１００が、図２に示したようにマトリクス状に複数、配列された画素アレイ１００を備えている。撮像画素Ｐ１００の上には、大画素Ｐ１０１に相当する位置にオンチップレンズ５１１が配置され、小画素Ｐ１０２に相当する位置にオンチップレンズ５１２が配置されている。
　また、図３に示したように、大画素Ｐ１０１に相当する位置にフォトダイオードＰＤ１１が配置され、小画素Ｐ１０２に相当する位置にフォトダイオードＰＤ１２が配置されている。フォトダイオードＰＤ１１，ＰＤ１２は、受光量に応じた量の電荷を生成して内部に蓄積する光電変換素子である。撮像装置では、フォトダイオードＰＤ１１，ＰＤ１２によって生成された信号電荷量に応じた画素信号が生成される。フォトダイオードＰＤ１１には、オンチップレンズ５１１によって集光された光が大画素Ｐ１０１を介して入射する。フォトダイオードＰＤ１２には、オンチップレンズ５１２によって集光された光が小画素Ｐ１０２を介して入射する。フォトダイオードＰＤ１２の受光感度は、フォトダイオードＰＤ１１の受光感度よりも小さくなっている。
　図４は、比較例に係る撮像装置における撮像画素Ｐ１００への入射光量（横軸）と信号電荷量（縦軸）との関係の一例を概略的に示している。
　図４に示したように、比較例に係る撮像装置における撮像画素Ｐ１００では、画素面積の違いとフォトダイオードＰＤ１１，ＰＤ１２の受光感度の違いとによって、小画素Ｐ１０２の画素感度は、大画素Ｐ１０１の画素感度よりも小さくなっている。大画素Ｐ１０１に相当するフォトダイオードＰＤ１１によって生成される信号電荷量は、所定の入射光量で飽和する。
　図５は、比較例に係る撮像装置における画素構造を用いて撮像ダイナミックレンジの拡大を行った場合の問題点を概略的に示している。図５において、横軸は露光時間、縦軸は画素信号のレベルを示す。
　図４に示した特性により、大画素Ｐ１０１によって生成される画素信号のレベルは、所定の露光時間で飽和する。そこで、図５に示したように、比較例に係る撮像装置では、露光時間が所定の露光時間未満の場合には、大画素Ｐ１０１によって生成される画素信号を撮像画素Ｐ１００の画素信号とする。露光時間が所定の露光時間に達する場合には、大画素Ｐ１０１によって生成される画素信号に小画素Ｐ１０２によって生成される画素信号を加算した合成の画素信号を撮像画素Ｐ１００の画素信号とする。これにより、撮影ダイナミックレンジの拡大を行うことが可能となる。
　ここで、小画素Ｐ１０２では、図５に示したように、所定の露光時間よりも短い露光時間ではノイズが多く、生成される画素信号はＳＮ比（signal-to-noise ratio）が悪くなる。大画素Ｐ１０１によって生成される画素信号と小画素Ｐ１０２によって生成される画素信号とを合成する場合、合成の境界領域では小画素Ｐ１０２によるノイズが見えやすい。このノイズは、撮像画素Ｐ１００の周囲の温度が上昇すると大きくなる。比較例に係る撮像装置の場合、画素面積の違いにより画素感度を決めているため、大画素Ｐ１０１の画素感度と小画素Ｐ１０２の画素感度はそれぞれ、固定となる。このため、撮像画素Ｐ１００の周囲の温度が上昇し、合成の境界領域においてノイズが大きくなった場合に、小画素Ｐ１０２の画素感度を大画素Ｐ１０１の画素感度に近付けてノイズを抑制することはできない。この場合、大画素Ｐ１０１と小画素Ｐ１０２とのシャッタ比を調整して合成の境界領域におけるノイズを抑制することができる。例えば大画素Ｐ１０１に対して小画素Ｐ１０２の露光時間が長くなるようにシャッタ比を調整する。しかしながら、シャッタ比の調整で合成の境界領域におけるノイズを抑制した場合、異なる時間でシャッタを切るため、被写体が移動する場合、色付きが発生してしまう。
　そこで、温度上昇時のノイズを抑制しつつ撮影ダイナミックレンジの拡大を行うことを可能にする技術の開発が望まれる。
＜１．第１の実施の形態＞
［１．１　第１の実施の形態に係る撮像装置の構成および動作］
（撮像装置の概要）
　図６は、本開示の第１の実施の形態に係る撮像装置１の一構成例を概略的に示している。
　第１の実施の形態に係る撮像装置１は、画素アレイ２と、走査部１０と、読出部２０と、撮像制御部３０と、信号処理部４０とを備えている。走査部１０は、アドレスデコーダ１１と、ロジック部１２と、ドライバ部１３とを有している。撮像制御部３０は、温度センサ３１を有している。信号処理部４０は、画像処理部４１を有している。
　画素アレイ２には、複数の撮像画素Ｐ１がマトリクス状に配列されている。
　走査部１０は、撮像制御部３０からの指示に基づいて、画素ライン単位で、画素アレイ２における撮像画素Ｐ１を順次駆動する。
　アドレスデコーダ１１は、撮像制御部３０から供給されたアドレス信号に基づいて、画素アレイ２における、そのアドレス信号が示すアドレスに応じた画素ラインを選択する。ロジック部１２およびドライバ部１３は、各画素ラインに対応する信号を生成する。
　読出部２０は、複数のＡＤ（Analog to Digital）変換部を有している。ＡＤ変換部は、画素アレイ２の撮像画素Ｐ１によって生成されたアナログの画素信号をＡＤ変換してデジタルの画素信号を生成する。読出部２０は、デジタルの画素信号に基づいて画像信号ＤＡＴＡ０を生成して出力する。
　撮像制御部３０は、走査部１０、読出部２０、および信号処理部４０に制御信号を供給し、これらの回路の動作を制御することにより、撮像装置１の動作を制御する。具体的には、撮像制御部３０は、例えば、走査部１０に対してアドレス信号を供給することにより、走査部１０が、画素ライン単位で、画素アレイ２における撮像画素Ｐ１を順次駆動するように制御する。また、撮像制御部３０は、読出部２０に対して、制御信号を供給することにより、読出部２０が、撮像画素Ｐ１からの画素信号に基づいて画像信号ＤＡＴＡ０を生成するように制御する。また、撮像制御部３０は、信号処理部４０に対して制御信号を供給することにより、信号処理部４０の動作を制御する。
　温度センサ３１は、画素アレイ２の温度を検出する温度検出部である。温度センサ３１は、画素アレイ２の温度に応じた検出信号を生成する。
　信号処理部４０において、画像処理部４１は、読出部２０からの画像信号ＤＡＴＡ０に対して所定の画像処理を行って、画像信号ＤＡＴＡとして出力する。
（撮像装置１における画素構造および画素信号の加算処理の概要）
　図７は、第１の実施の形態に係る撮像装置１における撮像画素Ｐ１の画素構造の平面構成例を概略的に示している。図８は、第１の実施の形態に係る撮像装置１における画素アレイ２の平面構成例を概略的に示している。
　撮像画素Ｐ１は、複数の部分画素を含んでいる。複数の部分画素は、第１の部分画素Ｐ１１、第２の部分画素Ｐ１２、および第３の部分画素Ｐ１３を含む。第１の部分画素Ｐ１１、第２の部分画素Ｐ１２、および第３の部分画素Ｐ１３のそれぞれの画素面積は同一となっている。１つの撮像画素Ｐ１につき、第１の部分画素Ｐ１１は複数、配置されている。また、１つの撮像画素Ｐ１につき、第２の部分画素Ｐ１２は少なくとも１つ配置されている。また、１つの撮像画素Ｐ１につき、第３の部分画素Ｐ１３は少なくとも１つ配置されている。
　撮像画素Ｐ１の上には、オンチップレンズ５１が配置されている。オンチップレンズ５１は、第１の部分画素Ｐ１１、第２の部分画素Ｐ１２、および第３の部分画素Ｐ１３のそれぞれに相当する位置に個々に配置されていてもよい。
　１つの撮像画素Ｐ１内において、複数の第１の部分画素Ｐ１１が占める画素面積は、少なくとも１つの第２の部分画素Ｐ１２および第３の部分画素Ｐ１３が占める画素面積に比べて大きい。第１の部分画素Ｐ１１と第３の部分画素Ｐ１３とを合わせた第１の合成画素面積は、第２の部分画素Ｐ１２と第３の部分画素Ｐ１３とを合わせた第２の合成画素面積よりも大きい。これにより、第１の部分画素Ｐ１１は、比較例に係る撮像装置における大画素Ｐ１０１（図１）に相当する役割を持つ。第２の部分画素Ｐ１２は、比較例に係る撮像装置における小画素Ｐ１０２（図１）に相当する役割を持つ。第３の部分画素Ｐ１３は、役割が可変となる部分画素であり、温度センサ３１によって検出された画素アレイ２の温度に応じて、大画素Ｐ１０１に相当する役割と小画素Ｐ１０２に相当する役割とのいずれか一方の役割を持つ。第３の部分画素Ｐ１３から生成される第３の部分画素信号は、温度センサ３１によって検出された画素アレイ２の温度に応じて、第１の部分画素Ｐ１１から生成される第１の部分画素信号と、第２の部分画素Ｐ１２から生成される第２の部分画素信号とのいずれか一方に加算される。
　なお、図７および図８には、１つの撮像画素Ｐ１内で、第２の部分画素Ｐ１２が中心部に１つのみ配置されている例を示す。ただし、第２の部分画素Ｐ１２の配置位置は中心部に限定されるものではない。また、第２の部分画素Ｐ１２の数は１つに限定されるものではない。
　また、図７および図８には、通常動作時における画素の状態を示す。ここで、通常動作時とは、温度センサ３１によって検出された画素アレイ２の温度が、所定の温度未満の場合に相当する。通常動作時には、図７および図８に示したように、例えば、第３の部分画素Ｐ１３がすべて大画素Ｐ１０１に相当する役割を持ち、第１の部分画素Ｐ１１に加算される。図７および図８において、第３の部分画素Ｐ１３はＮ（＝１以上の整数）個配置されているが、便宜上、図７および図８には、第１の部分画素Ｐ１１と第３の部分画素Ｐ１３とを区別なく図示している。
　図９は、第１の実施の形態に係る撮像装置１における画素構造および画素信号の加算処理の手法の第１の例を概略的に示している。なお、図９では、説明の便宜上、画素構造を簡略化し、第１の部分画素Ｐ１１、第２の部分画素Ｐ１２、および第３の部分画素Ｐ１３をそれぞれ１つずつのみ図示している。
　図９に示したように、撮像装置１は、複数のフォトダイオードＰＤ１，ＰＤ２，ＰＤ３と、複数のアナログ回路ＡＮ１，ＡＮ２，ＡＮ３と、ＡＤ変換部ＡＤＣ１，ＡＤＣ２，ＡＤＣ３と、加算処理部２１とを有している。
　フォトダイオードＰＤ１は、第１の部分画素Ｐ１１に相当する位置に配置されている。フォトダイオードＰＤ２は、第２の部分画素Ｐ１２に相当する位置に配置されている。フォトダイオードＰＤ３は、第３の部分画素Ｐ１３に相当する位置に配置されている。
　フォトダイオードＰＤ１，ＰＤ２，ＰＤ３は、受光量に応じた量の電荷を生成して内部に蓄積する光電変換素子である。撮像装置１では、フォトダイオードＰＤ１，ＰＤ２，ＰＤ３によって生成された信号電荷量に応じた画素信号が生成される。フォトダイオードＰＤ１には、オンチップレンズ５１によって集光された光が第１の部分画素Ｐ１１を介して入射する。フォトダイオードＰＤ２には、オンチップレンズ５１によって集光された光が第２の部分画素Ｐ１２を介して入射する。フォトダイオードＰＤ３には、オンチップレンズ５１によって集光された光が第３の部分画素Ｐ１３を介して入射する。フォトダイオードＰＤ１，ＰＤ２，ＰＤ３のそれぞれの受光感度は同一となっている。
　アナログ回路ＡＮ１，ＡＮ２，ＡＮ３はそれぞれ、トランジスタ、容量素子、およびフローティングディフュージョン等の回路素子を含む。
　アナログ回路ＡＮ１はフォトダイオードＰＤ１に接続され、フォトダイオードＰＤ１に蓄積された電荷に応じたアナログの画素信号（第１の部分画素信号）を生成する。アナログ回路ＡＮ２はフォトダイオードＰＤ２に接続され、フォトダイオードＰＤ２に蓄積された電荷に応じたアナログの画素信号（第２の部分画素信号）を生成する。アナログ回路ＡＮ３はフォトダイオードＰＤ３に接続され、フォトダイオードＰＤ３に蓄積された電荷に応じたアナログの画素信号（第３の部分画素信号）を生成する。
　ＡＤ変換部ＡＤＣ１，ＡＤＣ２，ＡＤＣ３は、読出部２０に設けられている。ＡＤ変換部ＡＤＣ１は、アナログ回路ＡＮ１に接続され、デジタルの第１の部分画素信号を生成する。ＡＤ変換部ＡＤＣ２は、アナログ回路ＡＮ２に接続され、デジタルの第２の部分画素信号を生成する。ＡＤ変換部ＡＤＣ３は、アナログ回路ＡＮ３に接続され、デジタルの第３の部分画素信号を生成する。
　加算処理部２１は、読出部２０に設けられている。加算処理部２１は、複数の撮像画素Ｐ１のそれぞれについて、温度センサ３１によって検出された画素アレイ２の温度に基づいて、第１の部分画素Ｐ１１から生成される第１の部分画素信号と、第２の部分画素Ｐ１２から生成される第２の部分画素信号とのいずれか一方に、第３の部分画素Ｐ１３から生成される第３の部分画素信号を加算する。
　加算処理部２１は、例えば、画素アレイ２の温度が、所定の温度未満の場合には、第３の部分画素信号を第１の部分画素信号に加算し、所定の温度以上の場合は、第３の部分画素信号を第２の部分画素信号に加算する。加算処理部２１は、ＡＤ変換部ＡＤＣ１，ＡＤＣ２，ＡＤＣ３によってデジタル信号に変換された後に、第３の部分画素信号を、第１の部分画素信号と第２の部分画素信号とのいずれか一方に加算する。
　図１０は、第１の実施の形態に係る撮像装置１における画素構造および画素信号の加算処理の手法の第２の例を概略的に示している。なお、図１０では、説明の便宜上、画素構造を簡略化し、第１の部分画素Ｐ１１、第２の部分画素Ｐ１２、および第３の部分画素Ｐ１３をそれぞれ１つずつのみ図示している。
　図９には、加算処理部２１を読出部２０に設け、第３の部分画素Ｐ１３から生成される第３の部分画素信号の加算をデジタル処理により行う例を示したが、図１０には第３の部分画素信号をデジタル信号に変換される前に加算する例を示す。
　図１０に示したように、アナログ回路ＡＮ１，ＡＮ２，ＡＮ３のそれぞれを加算処理部２１に接続し、加算処理部２１において、アナログの画素信号の状態で、第３の部分画素信号を加算する処理を行ってもよい。図１０の例では、読出部２０には、加算処理部２１による加算処理後のアナログの第１の部分画素信号をデジタル信号に変換するＡＤ変換部ＡＤＣ１と、加算処理部２１による加算処理後のアナログの第２の部分画素信号をデジタル信号に変換するＡＤ変換部ＡＤＣ２とが設けられている。
　図１１は、第１の実施の形態に係る撮像装置１における撮像画素Ｐ１への入射光量（横軸）と信号電荷量（縦軸）との関係の一例を概略的に示している。図１２は、比較例に係る撮像装置と第１の実施の形態に係る撮像装置１とにおける撮影ダイナミックレンジの違いを模式的に示している。
　図１１および図１２には、１つの撮像画素Ｐ１における部分画素（第１の部分画素Ｐ１１、第２の部分画素Ｐ１２、または第３の部分画素Ｐ１３）の数の違いによる特性を示す。部分画素を加算する数が増えるにつれて、全体の画素面積が大きくなるので、図１１に示したように、入射光量に対する信号電荷量は増加する。部分画素を加算する数が増えるにつれて、全体の画素面積が大きくなるので、画素感度は大きくなる。従って、図１２に示したように、部分画素を加算する数が増えるにつれて、撮影ダイナミックレンジは、比較例に係る撮像装置における大画素Ｐ１０１の画素感度に近くなる。
（温度による画素加算制御の具体例）
　図１３は、第１の実施の形態に係る撮像装置１における、温度による画素加算制御の概要を示している。
　撮像装置１は、温度センサ３１によって検出された画素アレイ２の温度に応じて、複数の画素加算モードのいずれかで動作する。撮像装置１では、温度が上昇するにつれて、比較例に係る撮像装置における小画素Ｐ１０２（図１）に相当する役割を持つ第２の部分画素Ｐ１２に、第３の部分画素Ｐ１３を第２の部分画素Ｐ１２として加算していく。これにより、温度上昇時において、小画素Ｐ１０２に相当する第２の部分画素Ｐ１２に発生するノイズを抑制する。例えば図１３に示したように、温度が上昇して高温になった場合、順次、モードＡ、モードＢで動作する。モードＢはモードＡよりも温度が高い場合の動作モードである。以下、図１４ないし図１７に、図１３に示した各動作モードにおける画素の加算状態の具体例を示す。
　図１４は、撮像装置１における、温度による画素加算制御の第１の例を概略的に示している。図１５は、撮像装置１における、温度による画素加算制御の第２の例を概略的に示している。図１６は、撮像装置１における、温度による画素加算制御の第３の例を概略的に示している。図１７は、撮像装置１における、温度による画素加算制御の第４の例を概略的に示している。
　図１４ないし図１７において（Ａ）には通常動作時の動作モードにおける画素の加算状態、（Ｂ）には図１３に示したモードＡにおける画素の加算状態、（Ｃ）には図１３に示したモードＢにおける画素の加算状態を示す。
　図１４ないし図１６には、１つの撮像画素Ｐ１内で、第２の部分画素Ｐ１２が中心部に１つのみ配置されている例を示す。図１７には、１つの撮像画素Ｐ１内で、第２の部分画素Ｐ１２が周辺領域に１つのみ配置されている例を示す。
　図１４ないし図１７の各例において、通常動作時には、第３の部分画素Ｐ１３がすべて比較例に係る撮像装置における大画素Ｐ１０１（図１）に相当する役割を持ち、第１の部分画素Ｐ１１に加算される。便宜上、図１４ないし図１７には、第１の部分画素Ｐ１１と第３の部分画素Ｐ１３とを区別なく図示している。
　図１４の例では、通常動作時の画素の状態に対して、モードＡ、モードＢでは、第２の部分画素Ｐ１２の周囲に配置された第３の部分画素Ｐ１３を順次、第２の部分画素Ｐ１２として加算している。
　図１５の例では、通常動作時の画素の状態に対して、モードＡ、モードＢでは、対角方向に配置された第３の部分画素Ｐ１３を第２の部分画素Ｐ１２に順次、加算している。
　図１６の例では、通常動作時の画素の状態に対して、モードＡ、モードＢでは、対角方向の一部および十字方向の一部に配置された第３の部分画素Ｐ１３を第２の部分画素Ｐ１２に順次、加算している。
　図１７の例では、通常動作時の画素の状態に対して、モードＡ、モードＢでは、撮像画素Ｐ１内の周辺領域において、第２の部分画素Ｐ１２の周囲に配置された第３の部分画素Ｐ１３を順次、第２の部分画素Ｐ１２として加算している。
　なお、図１７に示した例は、図１０のように画素信号をアナログ的に加算処理する場合に適している。図１０のように画素信号をアナログ的に加算処理する場合、図９のように画素信号をデジタル的に加算処理する場合に比べて低消費電力で実施可能である。第１の部分画素Ｐ１１、第２の部分画素Ｐ１２、および第３の部分画素Ｐ１３のそれぞれにおいて、電荷を加算するフローティングディフュージョンをフォトダイオードＰＤ１，ＰＤ２，ＰＤ３の近傍に配置することが好ましい。このため、第１の部分画素Ｐ１１または第２の部分画素Ｐ１２に加算される第３の部分画素Ｐ１３は、まとまって配置されていることが好ましく、画素配置に制約が発生しやすい。これに対し、図９のように画素信号をデジタル的に加算処理する場合には、画素信号をアナログ的に加算処理する場合に比べて、読出部２０における画素信号の読み出しおよび加算処理が複雑になる可能性があるが、画素配置に制約はなく、図１４ないし図１７の例のいずれの配置であってもよい。
　図１４ないし図１６の例では、比較例に係る撮像装置における大画素Ｐ１０１（図１）に相当する画素部分と、小画素Ｐ１０２（図１）に相当する画素部分とで画素の空間位相ずれが少ない。
（変形例）
　第１の部分画素Ｐ１１、第２の部分画素Ｐ１２、および第３の部分画素Ｐ１３の形状は円形に限らず、矩形状や多角形状等、他の形状であってもよい。また、図１３ないし図１７には、高温時の動作モードがモードＡおよびモードＢの２つの場合である例を示したが、高温時の動作モードが１または３以上であってもよい。また、モードＡおよびモードＢにおいて加算する第３の部分画素Ｐ１３の数および位置は図１４ないし図１７に示した例に限定されるものではない。
［１．２　効果］
　以上説明したように、第１の実施の形態に係る撮像装置１によれば、画素アレイ２の温度に基づいて、第１の部分画素Ｐ１１から生成される第１の部分画素信号と、第２の部分画素Ｐ１２から生成される第２の部分画素信号とのいずれか一方に、第３の部分画素Ｐ１３から生成される第３の部分画素信号を加算するようにしたので、温度上昇時のノイズを抑制しつつ撮影ダイナミックレンジの拡大を行うことが可能となる。
　第１の実施の形態に係る撮像装置１によれば、通常動作時には、比較例に係る撮像装置（図１～図５）と同様の撮影ダイナミックレンジの性能が得られる。また、温度上昇により合成の境界領域においてノイズが大きくなる場合には、大画素Ｐ１０１に相当する第１の部分画素Ｐ１１と小画素Ｐ１０２に相当する第２の部分画素Ｐ１２との画素感度比が小さくなるように第３の部分画素Ｐ１３を加算制御することで、第１の部分画素Ｐ１１と第２の部分画素Ｐ１２とのシャッタ比を変えずに、合成の境界領域におけるノイズを抑制することができる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
＜２．第２の実施の形態＞
　次に、本開示の第２の実施の形態に係る撮像装置について説明する。なお、以下では、上記第１の実施の形態に係る撮像装置の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
　図１８は、第２の実施の形態に係る撮像装置における画素構造、および温度による画素加算制御の一例を概略的に示している。
　第１の実施の形態では、１つの撮像画素Ｐ１において、第１の部分画素Ｐ１１、第２の部分画素Ｐ１２、および第３の部分画素Ｐ１３のそれぞれの画素面積が同一である場合を例に説明したが、複数の部分画素の面積の一部またはすべてが互いに異なる画素面積となっていてもよい。
　図１８に示した例では、１つの撮像画素Ｐ１において、第１の部分画素Ｐ１１、第２の部分画素Ｐ１２、および第３の部分画素Ｐ１３が１つずつ配置されている。そして、第１の部分画素Ｐ１１の画素面積が、第２の部分画素Ｐ１２および第３の部分画素Ｐ１３の画素面積に対して大きくなっている。第１の部分画素Ｐ１１は１つの撮像画素Ｐ１内において中央部に配置され、第２の部分画素Ｐ１２および第３の部分画素Ｐ１３は第１の部分画素Ｐ１１の周辺領域に配置されている。
　図１８において（Ａ）には通常動作時の動作モードにおける画素の加算状態、（Ｂ）には高温時の動作モードにおける画素の加算状態を示す。通常動作時には、第３の部分画素Ｐ１３が第１の部分画素Ｐ１１として加算される。高温時には、第３の部分画素Ｐ１３が第２の部分画素Ｐ１２として加算される。
（変形例）
　図１８には第１の部分画素Ｐ１１、第２の部分画素Ｐ１２、および第３の部分画素Ｐ１３の形状が円形である場合を示したが、各部分画素の形状は矩形状や多角形状等、他の形状であってもよい。また、図１８には、動作モードが通常動作時と高温時との２つの場合である例を示したが、第３の部分画素Ｐ１３の数を２以上に増やし、高温時の動作モードを３以上に増やしてもよい。また、各部分画素の数および位置は図１８に示した例に限定されるものではない。
　その他の構成、動作および効果は、上記第１の実施の形態に係る撮像装置１と略同様であってもよい。
＜３．移動体への応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１９に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１９の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図２０は、撮像部１２０３１の設置位置の例を示す図である。
　図２０では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２０には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上説明した車両制御システム１２０００において、本開示の撮像装置は、例えば、撮像部１２０３１、および運転者状態検出部１２０４１に適用することができる。撮像部１２０３１、および運転者状態検出部１２０４１に本開示に係る技術を適用することにより、ノイズを抑制しつつ撮影ダイナミックレンジの拡大された画像データを得ることが可能となり、車外および車内の情報取得の精度を向上させることが可能となる。
＜４．その他の実施の形態＞
　本開示による技術は、上記各実施の形態の説明に限定されず種々の変形実施が可能である。
　例えば、本技術は以下のような構成を取ることもできる。
　以下の構成の本技術によれば、ノイズを抑制しつつ撮影ダイナミックレンジの拡大を行うことが可能となる。
（１）
　第１の部分画素、第２の部分画素、および第３の部分画素Ｐ１３を含む画素が複数、配列された画素アレイと、
　前記各画素について、前記画素アレイの温度に基づいて、前記第１の部分画素から生成される第１の部分画素信号と、前記第２の部分画素から生成される第２の部分画素信号とのいずれか一方に、前記第３の部分画素から生成される第３の部分画素信号を加算する加算処理部と
　を備える
　撮像装置。
（２）
　前記画素アレイの温度を検出する温度検出部、をさらに備える
　上記（１）に記載の撮像装置。
（３）
　前記加算処理部は、前記画素アレイの温度が、所定の温度未満の場合は、前記第３の部分画素信号を前記第１の部分画素信号に加算し、前記所定の温度以上の場合は、前記第３の部分画素信号を前記第２の部分画素信号に加算する
　上記（１）または（２）に記載の撮像装置。
（４）
　前記第１の部分画素と前記第３の部分画素とを合わせた第１の合成画素面積は、前記第２の部分画素と前記第３の部分画素とを合わせた第２の合成画素面積よりも大きい
　上記（１）ないし（３）のいずれか１つに記載の撮像装置。
（５）
　前記第１の部分画素、前記第２の部分画素、および前記第３の部分画素のそれぞれの画素面積は同一であり、
　前記各画素は、前記第１の部分画素を複数含む
　上記（１）ないし（４）のいずれか１つに記載の撮像装置。
（６）
　前記第１の部分画素の画素面積は、前記第２の部分画素の画素面積および前記第３の部分画素の画素面積よりも大きい
　上記（１）ないし（４）のいずれか１つに記載の撮像装置。
（７）
　前記第１の部分画素信号、前記第２の部分画素信号、および前記第３の部分画素信号をそれぞれデジタル信号に変換するＡＤ変換部、をさらに備え、
　前記加算処理部は、前記ＡＤ変換部によってデジタル信号に変換された後に、前記第３の部分画素信号を、前記第１の部分画素信号と前記第２の部分画素信号とのいずれか一方に加算する
　上記（１）ないし（６）のいずれか１つに記載の撮像装置。
（８）
　前記第１の部分画素信号、および前記第２の部分画素信号をそれぞれデジタル信号に変換するＡＤ変換部、をさらに備え、
　前記加算処理部は、前記ＡＤ変換部によってデジタル信号に変換される前に、前記第３の部分画素信号を、前記第１の部分画素信号と前記第２の部分画素信号とのいずれか一方に加算する
　上記（１）ないし（６）のいずれか１つに記載の撮像装置。
（９）
　前記各画素において、前記第２の部分画素は中心部に配置されている
　上記（１）ないし（５）、（７）、および（８）のいずれか１つに記載の撮像装置。
（１０）
　前記各画素において、前記第３の部分画素は前記第２の部分画素の周囲に配置されている
　上記（９）に記載の撮像装置。
（１１）
　前記各画素において、前記第２の部分画素、および前記第３の部分画素は周辺領域に配置されている
　上記（１）ないし（８）のいずれか１つに記載の撮像装置。
　本出願は、日本国特許庁において２０１９年２月１５日に出願された日本特許出願番号第２０１９－２５５９６号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (11)

  1. 　第１の部分画素、第２の部分画素、および第３の部分画素を含む画素が複数、配列された画素アレイと、
    　前記各画素について、前記画素アレイの温度に基づいて、前記第１の部分画素から生成される第１の部分画素信号と、前記第２の部分画素から生成される第２の部分画素信号とのいずれか一方に、前記第３の部分画素から生成される第３の部分画素信号を加算する加算処理部と
    　を備える
    　撮像装置。
  2. 　前記画素アレイの温度を検出する温度検出部、をさらに備える
    　請求項１に記載の撮像装置。
  3. 　前記加算処理部は、前記画素アレイの温度が、所定の温度未満の場合は、前記第３の部分画素信号を前記第１の部分画素信号に加算し、前記所定の温度以上の場合は、前記第３の部分画素信号を前記第２の部分画素信号に加算する
    　請求項１に記載の撮像装置。
  4. 　前記第１の部分画素と前記第３の部分画素とを合わせた第１の合成画素面積は、前記第２の部分画素と前記第３の部分画素とを合わせた第２の合成画素面積よりも大きい
    　請求項１に記載の撮像装置。
  5. 　前記第１の部分画素、前記第２の部分画素、および前記第３の部分画素のそれぞれの画素面積は同一であり、
    　前記各画素は、前記第１の部分画素を複数含む
    　請求項１に記載の撮像装置。
  6. 　前記第１の部分画素の画素面積は、前記第２の部分画素の画素面積および前記第３の部分画素の画素面積よりも大きい
    　請求項１に記載の撮像装置。
  7. 　前記第１の部分画素信号、前記第２の部分画素信号、および前記第３の部分画素信号をそれぞれデジタル信号に変換するＡＤ変換部、をさらに備え、
    　前記加算処理部は、前記ＡＤ変換部によってデジタル信号に変換された後に、前記第３の部分画素信号を、前記第１の部分画素信号と前記第２の部分画素信号とのいずれか一方に加算する
    　請求項１に記載の撮像装置。
  8. 　前記第１の部分画素信号、および前記第２の部分画素信号をそれぞれデジタル信号に変換するＡＤ変換部、をさらに備え、
    　前記加算処理部は、前記ＡＤ変換部によってデジタル信号に変換される前に、前記第３の部分画素信号を、前記第１の部分画素信号と前記第２の部分画素信号とのいずれか一方に加算する
    　請求項１に記載の撮像装置。
  9. 　前記各画素において、前記第２の部分画素は中心部に配置されている
    　請求項１に記載の撮像装置。
  10. 　前記各画素において、前記第３の部分画素は前記第２の部分画素の周囲に配置されている
    　請求項９に記載の撮像装置。
  11. 　前記各画素において、前記第２の部分画素、および前記第３の部分画素は周辺領域に配置されている
    　請求項１に記載の撮像装置。
PCT/JP2020/002075 2019-02-15 2020-01-22 撮像装置 WO2020166284A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/310,523 US11483499B2 (en) 2019-02-15 2020-01-22 Imaging apparatus for addition of pixels on the basis of a temperature of an imaging array

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-025596 2019-02-15
JP2019025596A JP2020136813A (ja) 2019-02-15 2019-02-15 撮像装置

Publications (1)

Publication Number Publication Date
WO2020166284A1 true WO2020166284A1 (ja) 2020-08-20

Family

ID=72045274

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/002075 WO2020166284A1 (ja) 2019-02-15 2020-01-22 撮像装置

Country Status (3)

Country Link
US (1) US11483499B2 (ja)
JP (1) JP2020136813A (ja)
WO (1) WO2020166284A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008047664A1 (fr) * 2006-10-19 2008-04-24 Panasonic Corporation Dispositif de création d'image et procédé de création d'image
JP2011114680A (ja) * 2009-11-27 2011-06-09 Nikon Corp 撮像装置
JP2014168112A (ja) * 2013-02-28 2014-09-11 Toshiba Corp 固体撮像装置
JP2018014740A (ja) * 2014-10-08 2018-01-25 パナソニックＩｐマネジメント株式会社 撮像装置およびその駆動方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4337911B2 (ja) 2007-05-24 2009-09-30 ソニー株式会社 撮像装置、撮像回路、および撮像方法
JP4661912B2 (ja) 2008-07-18 2011-03-30 ソニー株式会社 固体撮像素子およびカメラシステム
JP5764740B2 (ja) * 2010-10-13 2015-08-19 パナソニックＩｐマネジメント株式会社 撮像装置
JP6311272B2 (ja) 2013-10-31 2018-04-18 リコーイメージング株式会社 撮像装置および撮像方法
US9967501B2 (en) 2014-10-08 2018-05-08 Panasonic Intellectual Property Management Co., Ltd. Imaging device
US10630919B2 (en) * 2018-02-05 2020-04-21 Novatek Mircoelectronics Corp. Image sensing apparatus and black level correction method thereof and computer readable medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008047664A1 (fr) * 2006-10-19 2008-04-24 Panasonic Corporation Dispositif de création d'image et procédé de création d'image
JP2011114680A (ja) * 2009-11-27 2011-06-09 Nikon Corp 撮像装置
JP2014168112A (ja) * 2013-02-28 2014-09-11 Toshiba Corp 固体撮像装置
JP2018014740A (ja) * 2014-10-08 2018-01-25 パナソニックＩｐマネジメント株式会社 撮像装置およびその駆動方法

Also Published As

Publication number Publication date
US20220159203A1 (en) 2022-05-19
US11483499B2 (en) 2022-10-25
JP2020136813A (ja) 2020-08-31

Similar Documents

Publication Publication Date Title
CN109076163B (zh) 成像控制装置、成像控制方法以及成像装置
US11330202B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
WO2020105314A1 (ja) 固体撮像素子、および、撮像装置
JP2017017480A (ja) カメラ装置及び車載システム
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
WO2020110537A1 (ja) 固体撮像素子、および、撮像装置
JP7230824B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20210297589A1 (en) Imaging device and method of controlling imaging device
KR20220006520A (ko) 화상 인식 장치 및 화상 인식 방법
US20240163588A1 (en) Solid-state imaging element and imaging device
WO2017169233A1 (ja) 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器
US11025828B2 (en) Imaging control apparatus, imaging control method, and electronic device
JP7144926B2 (ja) 撮像制御装置、撮像装置、および、撮像制御装置の制御方法
US11469518B2 (en) Array antenna, solid-state imaging device, and electronic apparatus
WO2020166284A1 (ja) 撮像装置
WO2017203752A1 (ja) 撮像装置、および制御方法
WO2020230635A1 (ja) 撮像装置および撮像方法
US11818333B2 (en) Imaging device, imaging system, and failure detection method
WO2020255496A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020021826A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2022254813A1 (ja) 撮像装置、電子機器、および光検出方法
WO2022075065A1 (ja) 半導体装置、光学構造物
WO2022196139A1 (ja) 撮像装置および撮像システム
WO2020100399A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US20200099852A1 (en) Solid-state imaging device, driving method, and electronic apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20755664

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20755664

Country of ref document: EP

Kind code of ref document: A1