WO2024095630A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2024095630A1
WO2024095630A1 PCT/JP2023/034185 JP2023034185W WO2024095630A1 WO 2024095630 A1 WO2024095630 A1 WO 2024095630A1 JP 2023034185 W JP2023034185 W JP 2023034185W WO 2024095630 A1 WO2024095630 A1 WO 2024095630A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
unit
image
pixel
imaging device
Prior art date
Application number
PCT/JP2023/034185
Other languages
English (en)
French (fr)
Inventor
興 石橋
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2024095630A1 publication Critical patent/WO2024095630A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Definitions

  • This disclosure relates to an imaging device.
  • the reduction process for generating reduced images is carried out within a logic section such as a DSP (Digital Signal Processor).
  • a logic section such as a DSP (Digital Signal Processor).
  • DSP Digital Signal Processor
  • the present disclosure provides an imaging device that can reduce the processing load of reduced images in the logic unit.
  • An imaging device includes a sensor unit that generates image data for a reference image in which the imaging target area is imaged at the maximum resolution with respect to the angle of view, and a reduced image in which the imaging target area is imaged at a resolution lower than that of the reference image, and a logic unit that processes the image data.
  • the sensor unit includes a pixel array unit having a plurality of pixels that each generate an analog pixel signal by photoelectrically converting incident light from the imaging target area, a row selection unit that selects pixels from the pixel array unit that output an analog pixel signal according to the resolution, and a signal processing unit that digitally processes the analog pixel signal of the pixel selected by the row selection unit to generate image data, and outputs the image data to the logic unit while indicating the resolution.
  • Each of the plurality of pixels is a photoelectric conversion circuit having a light receiving element that photoelectrically converts the incident light; a first source follower circuit having a first amplifying transistor that amplifies an output signal of the photoelectric conversion circuit; a signal holding circuit that holds an output signal of the first source follower circuit; a second source follower circuit including a second amplifying transistor that amplifies a signal read out from the signal holding circuit, and a selection transistor that selects whether or not to transmit the signal amplified by the second amplifying transistor to the signal processing unit as the analog pixel signal based on control of the row selection unit; [0043]
  • the number of select transistors in the on state among the plurality of pixels may decrease.
  • the plurality of pixels are arranged in a matrix in the pixel array section, Selection transistors provided in each of the pixels belonging to the same pixel column among the plurality of pixels may be commonly connected to one signal line.
  • the sensor unit may further include a switch element that switches whether or not the signal lines are connected together based on the control of the row selection unit.
  • the switch element may switch between connecting or not connecting signal lines connected to pixel columns having the same combination of light receiving colors of the pixels.
  • the switch element may switch between connecting or not connecting signal lines arranged every other line in the row direction.
  • the row selection unit may turn on the switch element at the same time as the selection transistor.
  • the switch element may be an N-channel MOS transistor.
  • the signal holding circuit is a first capacitance element that holds a first signal that resets the photoelectric conversion circuit; a first sample transistor that sets a timing for holding the first signal in the first capacitance element based on control of the row selection unit; a second capacitance element that holds a second signal generated by photoelectric conversion of the photoelectric conversion circuit; a second sample transistor that sets a timing for holding the second signal in the second capacitive element based on control of the row selection unit; [0043]
  • the resolution may be indicated in a header or footer of the image data.
  • the signal processing unit an AD converter for converting the analog pixel signal into a digital pixel signal; a processing circuit that generates the image data based on the digital pixel signal, indicates the resolution in the image data, and outputs the image data to the logic unit; [0043]
  • the logic unit is a moving object region detection unit that detects a moving object region in the reference image based on the plurality of reduced images; an image synthesis unit that synthesizes the two reference images based on a detection result of the moving object region detection unit;
  • FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to a first embodiment.
  • FIG. 2 is a diagram showing a configuration of a sensor unit according to the first embodiment.
  • FIG. 2 is a diagram showing a circuit configuration of a pixel and a signal processing unit according to the first embodiment.
  • FIG. 2 is a block diagram showing a schematic configuration of a logic unit.
  • FIG. 2 is a perspective view showing an example of a two-layer structure of a sensor unit.
  • FIG. 2 is a perspective view showing an example of a three-layer structure of a sensor unit.
  • 4 is a flowchart showing an operation procedure of the imaging apparatus according to the first embodiment. 4 is a timing chart for explaining an imaging process of a sensor unit according to the first embodiment.
  • FIG. 5 is a schematic diagram showing an example of a structure of image data of a sensor unit;
  • FIG. 1 is a diagram showing a circuit configuration of a pixel of an imaging device according to a comparative example.
  • FIG. 11 is a block diagram showing a configuration of a sensor unit 20 of an imaging device 2 according to a second embodiment.
  • 1 is a block diagram showing an example of a schematic configuration of a vehicle control system; 4 is an explanatory diagram showing an example of the installation positions of an outside-vehicle information detection unit and an imaging unit;
  • First Embodiment Fig. 1 is a block diagram showing an example of the configuration of an imaging device according to a first embodiment.
  • the imaging device 1 shown in Fig. 1 includes an optical system 10, a sensor unit 20, a logic unit 30, a frame memory 40, a display unit 50, a recording unit 60, an operation unit 70, and a control unit 80.
  • the sensor unit 20, the logic unit 30, the frame memory 40, the display unit 50, the recording unit 60, the operation unit 70, and the control unit 80 are connected to each other via a bus line 90.
  • the imaging device 1 can be applied to, for example, a web camera used in a web conference, a surveillance camera installed at a surveillance location, an in-vehicle camera, and the like.
  • the optical system 10 includes a lens group that captures incident light (image light) from the imaging target area and forms an image on the imaging surface of the sensor unit 20.
  • the sensor unit 20 generates image data by converting the amount of incident light formed on the imaging surface by the optical system 10 into an electrical signal on a pixel-by-pixel basis.
  • the logic unit 30 is composed of, for example, a DSP circuit, and performs predetermined image processing on the image data generated by the sensor unit 20.
  • the frame memory 40 is used to store data as appropriate during signal processing in the sensor unit 20 and image processing in the logic unit 30.
  • the display unit 50 is made up of a panel-type display device such as a liquid crystal display device or an organic EL (electro luminescence) display device, and displays the images captured by the imaging device 1.
  • the recording unit 60 is made up of recording media such as a portable semiconductor memory, optical disc, or HDD (Hard Disk Drive), and records the images captured by the imaging device 1.
  • the operation unit 70 issues operation commands for the various functions of the sensor unit 20 under the operation of the user.
  • the control unit 80 controls the operation of the sensor unit 20, logic unit 30, frame memory 40, display unit 50, recording unit 60, and operation unit 70.
  • FIG. 2 is a block diagram showing the configuration of the sensor unit 20 according to the first embodiment.
  • the sensor unit 20 according to this embodiment has a pixel array unit 21, a row selection unit 22, and a signal processing unit 23.
  • a plurality of pixels 24 are arranged two-dimensionally in the row and column directions, i.e., in a matrix.
  • the row direction refers to the arrangement direction of the pixels 24 arranged in the horizontal direction
  • the column direction refers to the arrangement direction of the pixels 24 arranged in the vertical direction perpendicular to the row direction.
  • the pixels 24 generate and accumulate electric charges according to the amount of light received by photoelectric conversion of the incident light.
  • pixel control lines CL are wired in the row direction for each pixel row. Furthermore, signal lines VSL are wired in the column direction for each pixel column.
  • the pixel control lines CL transmit drive signals for driving the pixels 24 when reading out analog pixel signals.
  • One end of the pixel control line CL is connected to an output terminal of the row selection section 22 corresponding to each row.
  • the row selection unit 22 is composed of a shift register, an address decoder, etc., and controls the scanning of pixel rows and the addresses of pixel rows when selecting each pixel 24 in the pixel array unit 21.
  • the specific configuration of the row selection unit 22 is not shown in the figure, but it is generally configured to have two scanning systems: a read scanning system and a sweep scanning system.
  • the readout scanning system sequentially selects and scans the pixels 24 in the pixel array section 21 row by row in order to read out pixel signals from the pixels 24.
  • the pixel signals read out from the pixels 24 are analog signals.
  • the sweep scanning system performs sweep scanning on the readout row on which the readout scanning is performed by the readout scanning system, prior to the readout scanning by the shutter speed.
  • the sweep scanning by this sweep scanning system sweeps out unnecessary charges from the photoelectric conversion elements of the pixels 24 in the readout row, thereby resetting the photoelectric conversion elements. Then, the sweep scanning system sweeps out (resets) the unnecessary charges, thereby performing what is known as an electronic shutter operation.
  • electronic shutter operation refers to the operation of discarding the charge in the photoelectric conversion elements and starting a new exposure (starting the accumulation of charge).
  • the signal processing unit 23 performs signal processing such as AD (Analog to Digital) conversion processing to convert the analog pixel signals generated by the pixel array unit 21 into digital pixel signals, and CDS (Correlated Double Sampling) processing to remove fixed pattern noise specific to the pixels 24.
  • AD Analog to Digital
  • CDS Correlated Double Sampling
  • the signal processing unit 23 is arranged on one side of the pixel array unit 21 in the column direction (the lower side in FIG. 1), but another signal processing unit 23 may be arranged on the other side of the column direction (the upper side in FIG. 1). In this case, the other signal processing unit 23 also processes the analog pixel signal output from the pixel array unit 21.
  • another logic unit 30 connected to the other signal processing unit 23 is also arranged. The other logic unit 30 performs predetermined image processing on the output signal of the other signal processing unit 23.
  • FIG. 3 is a diagram showing the circuit configuration of the pixel 24 and the signal processing unit 23 according to the first embodiment.
  • Pixel 24 has a photoelectric conversion circuit 25, a first source follower circuit 26, a signal holding circuit 27, and a second source follower circuit 28. Each circuit will be described below.
  • the photoelectric conversion circuit 25 has a light receiving element 251, a transfer transistor 252, and a first reset transistor 253.
  • a photodiode such as an avalanche photodiode can be used as the light receiving element 251.
  • the light receiving element 251 receives incident light and accumulates a photoelectric charge according to the amount of light received.
  • the anode of the light receiving element 251 is connected to a low potential power supply (e.g., ground).
  • the cathode of the light receiving element 251 is connected to the first source follower circuit 26 via the transfer transistor 252.
  • the transfer transistor 252 is composed of, for example, an N-channel MOS transistor.
  • a transfer signal TRG is input to the gate of the transfer transistor 252 from the row selection unit 22 through the pixel control line CL.
  • the transfer transistor 252 is turned on in response to the level of the transfer signal TRG, the photocharge accumulated in the light receiving element 251 is transferred to the floating diffusion (floating diffusion region/impurity diffusion region) FD.
  • the floating diffusion FD is an electrical connection region between the transfer transistor 252 and the first source follower circuit 26, and functions as a charge-voltage conversion unit that converts the photocharge photoelectrically converted by the light receiving element 251 into a voltage signal.
  • the first reset transistor 253 is connected between the positive power supply that supplies the power supply voltage VDD and the floating diffusion FD.
  • the first reset transistor 253 is composed of, for example, an N-channel MOS transistor, and the first reset signal RST1 is input to its gate from the row selection unit 22 through the pixel control line CL.
  • the first reset transistor 253 is turned on based on the high-level first reset signal RST1, the charge of the floating diffusion FD is discharged to the positive power supply. This resets the floating diffusion FD.
  • the first source follower circuit 26 is a circuit for amplifying the voltage signal held in the floating diffusion FD, and has a first amplification transistor 261 and a first current source 262.
  • the first amplification transistor 261 is an element for amplifying the output signal of the photoelectric conversion circuit 25, and is composed of, for example, an N-channel MOS transistor.
  • the gate of the first amplification transistor 261 is connected to the floating diffusion FD.
  • the drain is connected to a positive power supply that supplies the power supply voltage VDD.
  • the source is connected to the first current source 262.
  • the first amplification transistor 261 amplifies and outputs the voltage signal read from the floating diffusion FD.
  • the first current source 262 is connected in series to the first amplification transistor 261 and supplies a constant current to the first amplification transistor 261 based on the control of the row selection unit 22.
  • a reset signal (first signal) and a data signal (second signal) are output in sequence from the first amplification transistor 261.
  • This reset signal corresponds to a so-called P-phase signal, and indicates the voltage level when the first reset transistor 253 is turned on and the photoelectric conversion circuit 25 is in a reset state.
  • the data signal corresponds to a so-called D-phase signal, and indicates a voltage level based on the amount of charge accumulated in the floating diffusion FD by the photoelectric conversion of the light receiving element 251.
  • the signal holding circuit 27 is a circuit for holding the voltage of the reset signal and the voltage of the data signal, and has a first capacitive element 271, a second capacitive element 272, a first sample transistor 273, a second sample transistor 274, and a second reset transistor 275.
  • the first capacitive element 271 is an element for holding the voltage of the reset signal.
  • the second capacitive element 272 is an element for holding the voltage of the data signal.
  • One end of each of the first capacitive element 271 and the second capacitive element is connected to the input node V1.
  • the other end of the first capacitive element 271 is connected to the first sample transistor 273, and the other end of the second capacitive element 272 is connected to the second sample transistor 274.
  • the capacitance value C1 of the first capacitive element 271 and the capacitance value C2 of the second capacitive element 272 may be the same value or different values as long as they are capable of holding the voltages of the reset signal and the data signal, respectively.
  • the first sample transistor 273 is an element for setting the timing for holding a reset signal in the first capacitance element 271, and is composed of, for example, an N-channel MOS transistor.
  • the first sample hold signal S1 is input to the gate of the first sample transistor 273 from the row selection unit 22 through the pixel control line CL.
  • the drain is connected to the other end of the first capacitance element 271, and the source is connected to the second reset transistor 275 and the second source follower circuit 206.
  • the reset signal is held in the first capacitance element 271.
  • the second sample transistor 274 is an element for setting the timing for holding a data signal in the second capacitance element 272, and is composed of, for example, an N-channel MOS transistor.
  • the second sample hold signal S2 is input to the gate of the second sample transistor 274 from the row selection unit 22 through the pixel control line CL.
  • the drain is connected to the other end of the second capacitance element 272, and the source is connected to the second reset transistor 275 and the second source follower circuit 206.
  • the second sample transistor 274 is turned on based on the high-level second sample hold signal S2, the data signal is held in the second capacitance element 272.
  • the second reset transistor 275 is an element for resetting the potential of the output node V2 of the signal holding circuit 27, and is composed of, for example, an N-channel MOS transistor.
  • the second reset signal RST2 is input to the gate of the second reset transistor 275 from the row selection unit 22 through the pixel control line CL.
  • the drain is connected to a regulator that outputs a constant voltage VREG.
  • the constant voltage VREG is set to a potential lower than the power supply voltage VDD.
  • the source is connected to the sources of the first sample transistor 273 and the second sample transistor 274.
  • the second source follower circuit 28 is a circuit for selectively reading out and amplifying a reset signal or a data signal from the signal holding circuit 27, and has a second amplification transistor 281, a selection transistor 282, and a second current source 283. Note that in this embodiment, the second source follower circuit 28 is provided for each pixel 24, but may be shared among multiple pixels 24 commonly connected to the signal line VSL.
  • the second amplification transistor 281 is an element for amplifying the reset signal and data signal read from the signal holding circuit 27, and is composed of, for example, an N-channel MOS transistor.
  • the gate of the second amplification transistor 281 is connected to the output node V2 of the signal holding circuit 27.
  • the drain is connected to the positive power supply that supplies the power supply voltage VDD.
  • the source is connected to the selection transistor 282.
  • the selection transistor 282 is an element for selecting whether or not to transmit the reset signal or data signal amplified by the second amplification transistor 281 to the AD converter 231, and is composed of, for example, an N-channel MOS transistor.
  • a selection signal SEL is input to the gate of the selection transistor 282 from the row selection unit 22 through the pixel control line CL.
  • the drain is connected to the source of the second amplification transistor 281, and the source is connected to the second current source 283 and the signal line VSL.
  • the selection transistor 282 is turned on based on a high-level selection signal SEL, the output signal of the second amplification transistor 281, i.e., the analog pixel signal, is transmitted to the AD converter 231 through the signal line VSL.
  • the selection transistors 282 provided in each of the pixels 24 belonging to the same pixel column are commonly connected to one signal line VSL.
  • the second current source 283 is connected in series to the selection transistor 282.
  • the second current source 283 supplies a constant current to the second amplification transistor 281 and the selection transistor 282 based on the control of the row selection unit 22.
  • the signal processing unit 23 includes an AD converter 231, a processing circuit 232, and a signal generating circuit 233.
  • the signal processing unit 23 is provided with a plurality of AD converters 231 corresponding to the pixel columns of the pixel array unit 21 (for example, for each pixel column). These multiple AD converters 231 function as column-parallel analog-digital converters that convert the analog pixel signals output through each signal line VSL into digital pixel signals.
  • Each AD converter 231 has a comparator 234 and a counter 235 (CN).
  • the comparator 234 compares the pixel signal generated by the pixel 24 with a triangular wave ramp signal RAMP. When the voltage of the pixel signal matches, or crosses, the voltage of the ramp signal RAMP, the output signal level of the comparator 234 is inverted.
  • the counter 235 measures the number of times the output signal level of the comparator 234 is inverted within a unit time (frame time).
  • the processing circuit 232 performs signal processing such as CDS processing on the digital pixel signals digitally converted by each AD converter 231 to create image data.
  • the created image data is stored in the frame memory 40.
  • the processing circuit 232 may perform signal processing other than CDS processing, such as correction of vertical line defects and point defects, signal clamping, parallel-serial conversion, etc.
  • the signal generating circuit 233 (DA) generates a ramp signal RAMP and outputs it to the comparator 234.
  • the signal generating circuit 233 is composed of, for example, a current integration type digital-to-analog converter (DAC) provided for each pixel column.
  • the ramp signal RAMP is generated using this digital-to-analog converter.
  • the row selection unit 22 can reduce the image resolution by adjusting the number of selection transistors 282 to be turned on. For example, when capturing a 1/4 image with a resolution 1/4 of the 1/1 image with the maximum angle of view, the number of selection transistors 282 to be turned on is 1/4 of the 1/1 image. Also, when capturing a 1/16 image with a resolution 1/16 of the 1/1 image and a 1/64 image with a resolution 1/64 of the 1/1 image, the number of selection transistors 282 to be turned on is 1/16 and 1/64 of the 1/1 image.
  • FIG. 4 is a block diagram showing a schematic configuration of the logic unit 30.
  • the logic unit 30 shown in FIG. 4 includes a moving object region detection unit 31 and an image synthesis unit 32.
  • the moving object region detection unit 31 reads out from the frame memory 40 a plurality of reduced images whose resolution has been reduced by the sensor unit 20, and detects a moving object region in the image captured by the sensor unit 20.
  • the image synthesis unit 32 uses the detection result of the moving object region detection unit 31 to synthesize a first reference image captured by the sensor unit 20 and a second reference image that has the same imaging range as the first reference image and is captured by the sensor unit 20 at a later timing than the first reference image.
  • the configuration of the logic unit 30 is not limited to the configuration shown in FIG. 4.
  • the logic unit 30 may include image processing circuits that perform general camera image processing, such as white balance processing, demosaic processing, and gamma correction processing.
  • FIG. 5 is a perspective view showing an example of a two-layer structure of the sensor unit 20.
  • a second substrate 502 is stacked on the underside of a first substrate 501, and these two substrates are bonded to each other.
  • the first substrate 501 and the second substrate are semiconductor substrates such as silicon substrates.
  • the photoelectric conversion circuit 25 of the pixel 24 and the first amplification transistor 261 of the first source follower circuit 26 are arranged on the first substrate 501.
  • the first current source 262 of the first source follower circuit 26, the signal holding circuit 27, and the second source follower circuit 28 are arranged on the second substrate 502.
  • the signal processing unit 23 is also arranged on the second substrate 502.
  • FIG. 6 is a perspective view showing an example of a three-layer structure of pixels 24.
  • pixels 24 are distributed among a first substrate 501, a second substrate 502, and a third substrate 503.
  • the third semiconductor substrate 3 is a semiconductor substrate such as a silicon substrate, like the first substrate 501 and the second substrate.
  • the third substrate 503 is disposed in the bottom layer, and these three substrates are bonded together.
  • the light receiving element 251 and transfer transistor 252 of the photoelectric conversion circuit 25 are arranged on the first substrate 501.
  • the first reset transistor 253 and first source follower circuit 26 of the photoelectric conversion circuit 25 are arranged on the second substrate 502.
  • the signal holding circuit 27 and second source follower circuit 28 are arranged on the third substrate 503.
  • the signal processing unit 23 is also arranged on the third substrate 503.
  • first capacitive element 271 and second capacitive element 272 may be realized using first substrate 501 and second substrate 502. In this case, a pair of opposing conductors is disposed on first substrate 501 and second substrate 502, respectively.
  • the capacitance value of each of first capacitive element 271 and second capacitive element 272 can be set by adjusting the distance between the pair of conductors.
  • FIG. 7 is a flowchart showing the operation procedure of the imaging device 1 according to the first embodiment.
  • step S101 the sensor unit 20 captures a 1/1 image.
  • step S101 the operation of step S101 will be described in detail with reference to FIG. 8.
  • FIG. 8 is a timing chart for explaining the imaging process of the sensor unit 20 according to the first embodiment.
  • FIG. 8 shows the waveforms of the first reset signal RST1, the transfer signal TRG, the second reset signal RST2, the first sample-and-hold signal S1, the second sample-and-hold signal S2, the selection signal SEL, the input node V1, and the output node V2.
  • the row selection unit 22 supplies a high-level first reset signal RST1 and a transfer signal TRG to a plurality of pixels 24 arranged in a matrix in the pixel array unit 21.
  • the first reset transistor 253 is turned on based on the first reset signal RST1
  • the transfer transistor 252 is turned on based on the transfer signal TRG.
  • the row selection unit 22 also supplies a high-level second reset signal RST2 to each pixel 24.
  • the second reset transistor 275 turns on, and the voltages of the first capacitance element 271 and the second capacitance element 272 are reset to the constant voltage VREG.
  • the first sample transistor 273 is in an on state based on the high-level first sample hold signal S1, while the second sample transistor 274 is in an off state based on the low-level second sample hold signal S2.
  • the first reset transistor 253 turns on again based on the first reset signal RST1 at a high level.
  • the transfer signal TRG is at a low level, so the transfer transistor 252 is in an off state.
  • the voltage value of the reset signal is sampled and held in the first capacitance element 271 (P phase S/H).
  • the second sample hold signal S2 changes from low to high. This causes the second sample transistor 274 to switch from the off state to the on state. At this time, the first sample transistor 273 is in the off state based on the low-level first sample hold signal S1.
  • the voltage value of the data signal corresponding to the amount of charge photoelectrically converted by the light receiving element 251 is sampled and held in the second capacitance element 272 (D phase S/H).
  • the voltage level of the data signal is ⁇ V lower than the voltage level of the reset signal.
  • the second sample hold signal S2 is at a low level, so the second sample transistor 274 is in the off state, just like the first sample transistor 273.
  • a readout period begins in which the voltage values of the reset signal and data signal held in the signal holding circuit 27 are read out.
  • the row selection unit 22 inputs a high-level selection signal SEL to the gate of the selection transistor 282 of a pixel 24 that is predetermined according to the resolution of the 1/1 image. Therefore, the readout period is a period in which the reset signal and data signal held in the signal holding circuit 27 can be transmitted to the AD converter 231.
  • a high-level second reset signal RST2 is input to the gate of the second reset transistor 275, so that the second reset transistor 275 is turned on and the potential of the output node V2 is reset to the constant voltage VREG.
  • the first sample hold signal S1 is at a high level. This causes the first sample transistor 273 to be turned on, and the reset signal is read out to the second source follower circuit 28.
  • This reset signal is amplified by the second amplification transistor 281.
  • the amplified reset signal is transmitted from the selection transistor 282 to the AD converter 231 through the signal line VSL.
  • the output signal of the AD converter 231 is inverted from a high level to a low level.
  • the counter 235 measures the number of inversions of the output signal of the AD converter 231.
  • the first sample and hold signal S1 goes to a low level, while the second sample and hold signal S2 goes to a high level.
  • the amplified data signal is transmitted from the selection transistor 282 through the signal line VSL to the AD converter 231.
  • the output signal of the AD converter 231 changes from a high level to a low level.
  • the counter 235 measures the number of inversions of the output signal of the AD converter 231.
  • the processing circuit 232 calculates the difference between the measurement value of the counter 235 corresponding to the data signal and the measurement value of the counter 235 corresponding to the reset signal.
  • This difference value is stored in the frame memory 40 as the pixel value of the first reference image having the maximum resolution (1/1).
  • the sensor unit 20 again performs the imaging process based on the timing chart shown in FIG. 8, the pixel value of the second reference image having the maximum resolution (1/1) is stored in the frame memory 40.
  • the second reference image is an image captured after the first reference image. This ends the operation of step S101.
  • step S102 the sensor unit 20 captures a 1/4 image (step S102).
  • This 1/4 image includes a 1/4 first reference image whose resolution is reduced to 1/4 of the 1/1 first reference image captured in step S101, and a 1/4 second reference image whose resolution is reduced to 1/4 of the 1/1 second reference image captured in step S101.
  • step S102 the sensor unit 20 captures the 1/4 first reference image and the 1/4 second reference image according to the flowchart shown in FIG. 8, similar to step S101.
  • step S102 during the readout period, the row selection unit 22 inputs a high-level selection signal SEL to the gates of the selection transistors 282 of predetermined pixels 24 so that the resolution becomes 1/4. Because the resolution of the 1/4 image is smaller than that of the 1/1 image, the number of selection transistors 282 whose gates receive a high-level selection signal SEL, i.e., the number of selection transistors 282 that are turned on, is reduced. For example, in the 1/4 image, the number of selection transistors 282 that are turned on is set to 1/4 of the 1/1 image.
  • step S102 the processing circuit 232 calculates the pixel values of the 1/4 first reference image and the pixel values of the 1/4 second reference image in the same manner as in step S101.
  • the calculated pixel values are stored in the frame memory 40. This completes the operation of step S102.
  • the sensor unit 20 captures a 1/16 image (step S103).
  • This 1/16 image includes a 1/16 first reference image whose resolution is reduced to 1/16 of the 1/1 first reference image captured in step S101, and a 1/16 second reference image whose resolution is reduced to 1/16 of the 1/1 second reference image captured in step S101.
  • the sensor unit 20 captures the 1/16 first reference image and the 1/16 second reference image according to the flowchart shown in FIG. 8, similar to step S101.
  • step S103 during the readout period, the row selection unit 22 inputs a high-level selection signal SEL to the gates of the selection transistors 282 of predetermined pixels 24 so that the resolution becomes 1/16. Because the resolution of a 1/16 image is smaller than that of a 1/1 image, the number of selection transistors 282 whose gates receive a high-level selection signal SEL, i.e., the number of selection transistors 282 that are turned on, is reduced. For example, in a 1/16 image, the number of selection transistors 282 that are turned on is set to 1/16 of the 1/1 image.
  • step S103 the processing circuit 232 calculates the pixel values of the 1/16 first reference image and the 1/16 second reference image in the same manner as in step S101.
  • the calculated pixel values are stored in the frame memory 40. This completes the operation of step S103.
  • the sensor unit 20 captures a 1/64 image (step S104).
  • This 1/64 image includes a 1/16 first reference image whose resolution is reduced to 1/64 with respect to the 1/1 first reference image captured in step S101, and a 1/64 second reference image whose resolution is reduced to 1/64 with respect to the 1/1 second reference image captured in step S101.
  • the sensor unit 20 captures the 1/64 first reference image and the 1/64 second reference image according to the flowchart shown in FIG. 8, similar to step S101.
  • step S104 during the readout period, the row selection unit 22 inputs a high-level selection signal SEL to the gates of the selection transistors 282 of predetermined pixels 24 so that the resolution becomes 1/64. Because the resolution of a 1/64 image is smaller than that of a 1/1 image, the number of selection transistors 282 whose gates receive a high-level selection signal SEL, i.e., the number of selection transistors 282 that are turned on, is reduced. For example, in a 1/64 image, the number of selection transistors 282 that are turned on is set to 1/64 of the 1/1 image.
  • step S104 the processing circuit 232 calculates the pixel values of the 1/64 first reference image and the pixel values of the 1/64 second reference image in the same manner as in step S101.
  • the calculated pixel values are stored in the frame memory 40. This completes the operation of step S104.
  • the number of times the image is reduced is set to three, i.e., 1/4, 1/16, and 1/64, but it may be set to two, i.e., 1/4 and 1/16, for the resolution.
  • the image reduction ratio is set to 1/4, 1/16, and 1/64, but is not limited to these values.
  • FIG. 9 is a schematic diagram showing an example of the structure of image data from the sensor unit 20.
  • Image data 300 shown in FIG. 9 is transmitted to the frame memory 40 by the processing circuit 232 in a packet format, and is composed of payload data 301, a header 302, and a footer 303.
  • Payload data 301 indicates the pixel values of pixels 24 that belong to the same pixel column (signal line VSL) in pixel array section 21. This pixel value corresponds to the counter value of counter 235. Since pixel array section 21 has multiple pixel columns (signal lines VSL) as shown in FIG. 1, image data 300 of the first reference image and second reference image is composed of payload data 301 for the number of pixel columns, a header 302, and a footer 303.
  • Data indicating the pixel row number to which it belongs, the resolution, etc. is embedded in the header 302. For example, if the sensor unit 20 outputs 1/4 image data, the header 302 indicates that the resolution is 1/4. This allows the logic unit 30 to identify the resolution when processing the image data 300. Note that all or part of the data embedded in the header 302 may be embedded in the footer 303.
  • the moving object region detection unit 31 of the logic unit 30 detects moving object regions in the 1/1 first reference image and the 1/1 second reference image using the reduced images generated in steps S102 to S104 (step S105).
  • the image synthesis unit 32 performs synthesis processing of the 1/1 first reference image and the 1/1 second reference image using the detection result of the moving object region detection unit 31 (step S106).
  • the moving object region detection process of the moving object region detection unit 31 is not particularly limited as long as it is a method using a reduced image.
  • the image synthesis process of the image synthesis unit 32 is not particularly limited as long as it is a method of synthesizing two images captured at different timings using the detection result of the moving object region detection unit 31.
  • a moving object region can be detected by a method in which the processing of the reduction processing unit 1650 is removed from the moving object region detection unit 202 disclosed in JP2019-101977A.
  • images can be synthesized by a method similar to the processing of the image synthesis unit 203 disclosed in JP2019-101977A.
  • step S106 the moving object region detection unit 31 reads the 1/1 first reference image data and the 1/1 second reference image data from the frame memory 40, and calculates the difference between the pixel values of these images. Next, the moving object region detection unit 31 calculates a first moving object likelihood corresponding to this difference value. At this time, the moving object region detection unit 31 calculates the first moving object likelihood using a conversion formula that defines a relationship between the difference value and the first moving object likelihood for the 1/1 image in advance.
  • the moving object region detection unit 31 similarly calculates the pixel values of the first reference image and the pixel values of the second reference image for the reduced images of 1/4 image, 1/16 image, and 1/64 image. The moving object region detection unit 31 then calculates the second moving object likelihood, the third moving object likelihood, and the fourth moving object likelihood corresponding to each difference value. At this time, the moving object region detection unit 31 calculates each moving object likelihood for each reduced image using a conversion formula that defines the relationship between the difference value and each moving object likelihood in advance.
  • the moving object region detection unit 31 calculates a first edge degree corresponding to the difference value of the 1/1 image, and second to fourth edge degrees corresponding to the difference values of each reduced image. At this time, the moving object region detection unit 31 calculates each edge degree for the 1/1 image and reduced image using a conversion formula that defines the relationship between the difference value and each edge degree in advance.
  • the moving object region detection unit 31 determines a first combination ratio of the third moving object likelihood and the fourth moving object likelihood based on the third edge degree. At this time, the moving object region detection unit 31 determines the first combination ratio using a conversion formula that defines a relationship between the third edge degree and the first combination ratio in advance. The moving object region detection unit 31 then generates a first combined moving object likelihood by combining the third moving object likelihood and the fourth moving object likelihood in accordance with the first combination ratio.
  • the moving object region detection unit 31 determines a second combination ratio of the second moving object likelihood and the first combined moving object likelihood in a manner similar to the above-mentioned first combination ratio.
  • the moving object region detection unit 31 then generates a second combined moving object likelihood by combining the second moving object likelihood and the first combined moving object likelihood according to the second combination ratio in a manner similar to the first combined moving object likelihood.
  • the moving object region detection unit 31 determines a third combination ratio of the first moving object likelihood and the second combined moving object likelihood in a manner similar to the above-mentioned first combination ratio.
  • the moving object region detection unit 31 then generates a third combined moving object likelihood by combining the first moving object likelihood and the second combined moving object likelihood according to the third combination ratio in a manner similar to the first combined moving object likelihood. This completes the operation of step S106.
  • step S7 the image synthesis unit 32 calculates a fourth synthesis ratio corresponding to the third synthesized moving object likelihood.
  • the image synthesis unit 32 calculates the fourth synthesis ratio using a conversion formula that defines the relationship between the third synthesized moving object likelihood and the fourth synthesis ratio in advance.
  • the image synthesis unit 32 synthesizes the 1/1 first reference image and the 1/1 second reference image at the fourth synthesis ratio.
  • the imaging device according to this comparative example has a different pixel circuit configuration from that of the first embodiment.
  • FIG. 10 is a diagram showing the circuit configuration of a pixel of an imaging device according to a comparative example.
  • circuit elements similar to those of pixel 24 according to the first embodiment are given the same reference numerals, and detailed descriptions thereof are omitted.
  • the pixel 240 shown in FIG. 10 does not have a signal holding circuit 27 and a second source follower circuit 28. Therefore, the sensor unit 20 of the comparative example outputs only a 1/1 image and cannot generate a reduced image with a lower resolution than the 1/1 image. As a result, the logic unit 30 needs a reduction processing unit that performs processing to reduce the resolution of the 1/1 image. In this case, the area of the logic unit 30 increases. Furthermore, as the number of reduced images increases, the processing load on the reduction processing unit increases.
  • the pixels 24 have the signal holding circuit 27 and the second source follower circuit 28, so that not only 1/1 images but also reduced images can be output. Therefore, the logic unit 30 does not need the above-mentioned reduction processing unit.
  • the reference image and reduced image can be created by adjusting the number of selection transistors 282 provided in each pixel 24 that are in the on state, so the processing load on the sensor unit 20 associated with generating reduced images is approximately the same as when creating a reference image.
  • the resolution of the reduced image can be adjusted by the number of selection transistors 282 that are in the on state, so even if the number of reduced images increases, the load on the sensor unit 20 does not increase significantly.
  • the reduction processing unit is not necessary, so the area of the logic unit 30 can be reduced.
  • a reduced image can be generated by adjusting the drive of the selection transistor 282 as described above, so the area of the sensor unit 20 does not increase.
  • the imaging device 1 can be made more compact as the area of the logic unit 30 is reduced.
  • the signal line VSL is commonly connected to multiple pixels 24 belonging to the same pixel column, so the sensor unit 20 generates a reduced image using averaging. Furthermore, the row selection unit 22 controls the operation of the selection transistor 282 of each pixel 24, so that the ratio of averaging can be flexibly determined, making it possible to detect a moving object at an optimal reduction ratio and optimal number of reductions depending on the imaging subject.
  • Second Embodiment 11 is a block diagram showing the configuration of a sensor unit 20 of an imaging device 2 according to the second embodiment.
  • the same components as those in the first embodiment described above are denoted by the same reference numerals, and detailed description thereof will be omitted.
  • the sensor unit 20 shown in FIG. 11 is further provided with a plurality of switch elements 29 that switch whether or not the signal lines VSL are connected to each other.
  • Each switch element 29 is formed of, for example, an N-channel MOS transistor, and is turned on and off based on a control signal input to the gate from the row selection unit 22.
  • the switch element 29 When the switch element 29 is turned on simultaneously with the selection transistors 282 that are connected to the two signal lines VSL connected to this switch element 29, the pixel values in the pixel column direction (vertical direction) and pixel row direction (horizontal direction) can be added. This makes it possible to create a reduced image. At this time, as the resolution of the reduced image becomes smaller, the number of switch elements 29 in the on state decreases.
  • the reduction ratio can be flexibly set by appropriately combining the on and off combinations of the switch element 29 and the selection transistor 282.
  • the switch element 29 does not connect signal lines VSL adjacent to each other in the row direction, but rather connects signal lines VSL arranged every other one apart in the row direction.
  • the signal lines VSL connected by the switch element 29 may be pixel columns having the same combination of pixel light receiving colors. Therefore, for example, when a plurality of first pixel columns are arranged adjacent to each other in the row direction, the switch element 29 connects adjacent signal lines VSL.
  • a reduced image can be generated by the sensor unit 20, eliminating the need for a reduction processing unit in the logic unit 30. This makes it possible to reduce the processing load on the logic unit 30.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be realized as a device mounted on any type of moving body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility device, an airplane, a drone, a ship, or a robot.
  • FIG. 12 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile object control system to which the technology disclosed herein can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an inside vehicle information detection unit 12040, and an integrated control unit 12050.
  • Also shown as functional components of the integrated control unit 12050 are a microcomputer 12051, an audio/video output unit 12052, and an in-vehicle network I/F (Interface) 12053.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 functions as a control device for a drive force generating device for generating the drive force of the vehicle, such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, a steering mechanism for adjusting the steering angle of the vehicle, and a braking device for generating a braking force for the vehicle.
  • the body system control unit 12020 controls the operation of various devices installed in the vehicle body according to various programs.
  • the body system control unit 12020 functions as a control device for a keyless entry system, a smart key system, a power window device, or various lamps such as headlamps, tail lamps, brake lamps, turn signals, and fog lamps.
  • radio waves or signals from various switches transmitted from a portable device that replaces a key can be input to the body system control unit 12020.
  • the body system control unit 12020 accepts the input of these radio waves or signals and controls the vehicle's door lock device, power window device, lamps, etc.
  • the outside-vehicle information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image capturing unit 12031 is connected to the outside-vehicle information detection unit 12030.
  • the outside-vehicle information detection unit 12030 causes the image capturing unit 12031 to capture images outside the vehicle and receives the captured images.
  • the outside-vehicle information detection unit 12030 may perform object detection processing or distance detection processing for people, cars, obstacles, signs, or characters on the road surface based on the received images.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of light received.
  • the imaging unit 12031 can output the electrical signal as an image, or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light, or may be invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects information inside the vehicle.
  • a driver state detection unit 12041 that detects the state of the driver is connected.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 may calculate the driver's degree of fatigue or concentration based on the detection information input from the driver state detection unit 12041, or may determine whether the driver is dozing off.
  • the microcomputer 12051 can calculate control target values for the driving force generating device, steering mechanism, or braking device based on information inside and outside the vehicle acquired by the outside-vehicle information detection unit 12030 or the inside-vehicle information detection unit 12040, and output control commands to the drive system control unit 12010.
  • the microcomputer 12051 can perform cooperative control aimed at realizing the functions of an Advanced Driver Assistance System (ADAS), including vehicle collision avoidance or impact mitigation, following driving based on the distance between vehicles, maintaining vehicle speed, vehicle collision warning, or vehicle lane departure warning.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 can also control the driving force generating device, steering mechanism, braking device, etc. based on information about the surroundings of the vehicle acquired by the outside vehicle information detection unit 12030 or the inside vehicle information detection unit 12040, thereby performing cooperative control aimed at automatic driving, which allows the vehicle to travel autonomously without relying on the driver's operation.
  • the microcomputer 12051 can also output control commands to the body system control unit 12030 based on information outside the vehicle acquired by the outside information detection unit 12030. For example, the microcomputer 12051 can control the headlamps according to the position of a preceding vehicle or an oncoming vehicle detected by the outside information detection unit 12030, and perform cooperative control aimed at preventing glare, such as switching high beams to low beams.
  • the audio/image output unit 12052 transmits at least one output signal of audio and image to an output device capable of visually or audibly notifying the occupants of the vehicle or the outside of the vehicle of information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
  • FIG. 13 shows an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at the front nose, side mirrors, rear bumper, back door, and upper part of the windshield inside the vehicle cabin of the vehicle 12100.
  • the imaging unit 12101 provided at the front nose and the imaging unit 12105 provided at the upper part of the windshield inside the vehicle cabin mainly acquire images of the front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided at the side mirrors mainly acquire images of the sides of the vehicle 12100.
  • the imaging unit 12104 provided at the rear bumper or back door mainly acquires images of the rear of the vehicle 12100.
  • the imaging unit 12105 provided at the upper part of the windshield inside the vehicle cabin is mainly used to detect leading vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, etc.
  • FIG. 13 shows an example of the imaging ranges of the imaging units 12101 to 12104.
  • Imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • imaging ranges 1211212113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors
  • imaging range 12114 indicates the imaging range of the imaging unit 12104 provided on the rear bumper or back door.
  • an overhead image of the vehicle 12100 viewed from above is obtained by superimposing the image data captured by the imaging units 12101 to 12104.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera consisting of multiple imaging elements, or an imaging element having pixels for detecting phase differences.
  • the microcomputer 12051 can obtain the distance to each solid object within the imaging ranges 12111 to 12114 and the change in this distance over time (relative speed with respect to the vehicle 12100) based on the distance information obtained from the imaging units 12101 to 12104, and can extract as a preceding vehicle, in particular, the closest solid object on the path of the vehicle 12100 that is traveling in approximately the same direction as the vehicle 12100 at a predetermined speed (e.g., 0 km/h or faster). Furthermore, the microcomputer 12051 can set the inter-vehicle distance that should be maintained in advance in front of the preceding vehicle, and perform automatic braking control (including following cut-off control) and automatic acceleration control (including following start control). In this way, cooperative control can be performed for the purpose of automatic driving, which runs autonomously without relying on the driver's operation.
  • automatic braking control including following cut-off control
  • automatic acceleration control including following start control
  • the microcomputer 12051 classifies and extracts three-dimensional object data on three-dimensional objects, such as two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects, based on the distance information obtained from the imaging units 12101 to 12104, and can use the data to automatically avoid obstacles.
  • the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk, which indicates the risk of collision with each obstacle, and when the collision risk is equal to or exceeds a set value and there is a possibility of a collision, it can provide driving assistance for collision avoidance by outputting an alarm to the driver via the audio speaker 12061 or the display unit 12062, or by performing forced deceleration or avoidance steering via the drive system control unit 12010.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104. The recognition of such a pedestrian is performed, for example, by a procedure of extracting feature points in the captured image of the imaging units 12101 to 12104 as infrared cameras, and a procedure of performing pattern matching processing on a series of feature points that indicate the contour of an object to determine whether or not it is a pedestrian.
  • the audio/image output unit 12052 controls the display unit 12062 to superimpose a rectangular contour line for emphasis on the recognized pedestrian.
  • the audio/image output unit 12052 may also control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • the technology of the present disclosure can be applied to, for example, the imaging unit 12031.
  • imaging device 1 and imaging device 2 can be applied to the imaging unit 12031.
  • the present technology can be configured as follows. (1) a sensor unit that generates image data of a reference image captured with a maximum resolution and an image of a target area with a maximum angle of view, and a reduced image captured with a lower resolution than the reference image, a logic unit for processing the image data;
  • the sensor unit is a pixel array unit having a plurality of pixels each generating an analog pixel signal by photoelectrically converting incident light from the imaging target area; a row selection unit that selects pixels from the pixel array unit that output the analog pixel signal in accordance with the resolution; a signal processing unit that digitally processes analog pixel signals of the pixels selected by the row selection unit to generate the image data, indicates the resolution in the image data, and outputs the image data to the logic unit;
  • An imaging device comprising: (2) Each of the plurality of pixels is a photoelectric conversion circuit having a light receiving element that photoelectrically converts the incident light; a first source follower circuit having a first amplifying transistor that amplifies an output signal of the photoelectric
  • the plurality of pixels are arranged in a matrix in the pixel array unit, The imaging device according to (2) or (3), wherein selection transistors provided in each of the pixels belonging to the same pixel column among the plurality of pixels are commonly connected to one signal line.
  • the sensor unit further includes a switch element that switches between connecting and not connecting the signal lines based on control of the row selection unit.
  • the switch element switches between connecting and not connecting signal lines connected to pixel columns having the same combination of light-receiving colors of the pixels.
  • the switch element switches between connecting and not connecting the signal lines arranged at every other signal line in the row direction.
  • the signal holding circuit a first capacitance element that holds a first signal that resets the photoelectric conversion circuit; a first sample transistor that sets a timing for holding the first signal in the first capacitive element based on control of the row selection unit; a second capacitance element that holds a second signal generated by photoelectric conversion of the photoelectric conversion circuit; a second sample transistor that sets a timing for holding the second signal in the second capacitive element based on control of the row selection unit;
  • the imaging device according to any one of (2) to (9), (11) The imaging device according to any one of (1) to (10), wherein the resolution is indicated in a header or a footer of the image data.
  • the signal processing unit an AD converter for converting the analog pixel signal into a digital pixel signal; a processing circuit that generates the image data based on the digital pixel signal, indicates the resolution in the image data, and outputs the image data to the logic unit;
  • the imaging device according to any one of (1) to (12), (13)
  • the sensor unit generates image data of two reference images captured at different timings and the reduced images having different resolutions
  • the logic unit is a moving object region detection unit that detects a moving object region in the reference image based on the plurality of reduced images; an image synthesis unit that synthesizes the two reference images based on a detection result of the moving object region detection unit;
  • the imaging device according to any one of (1) to (12),
  • Imaging device 20 Sensor section 21: Pixel array section 22: Row selection section 23: Signal processing section 24: Pixel 25: Photoelectric conversion circuit 26: First source follower circuit 27: Signal holding circuit 28: Second source follower circuit 29: Switch element 30: Logic section 231: AD converter 232: Processing circuit 251: Light receiving element 261: First amplifying transistor 271: First capacitive element 272: Second capacitive element 273: First sampling transistor 274: Second sampling transistor 281: Second amplifying transistor 282: Selection transistor VSL: Signal line

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

［課題］ロジック部における縮小画像の処理負荷を軽減することが可能な撮像装置を提供する。 ［解決手段］本開示の一実施形態に係る撮像装置は、画角が最大の解像度で撮像対象領域を撮像した基準画像、および基準画像よりも低い解像度で撮像対象領域を撮像した縮小画像の画像データをそれぞれ生成するセンサ部と、画像データを処理するロジック部と、を備える。センサ部は、撮像対象領域からの入射光を光電変換したアナログ画素信号をそれぞれ生成する複数の画素を有する画素アレイ部と、解像度に応じて画素アレイ部からアナログ画素信号を出力する画素を選択する行選択部と、行選択部によって選択された画素のアナログ画素信号をデジタル処理して画像データを生成し、画像データに解像度を示してロジック部へ出力する信号処理部と、を有する。

Description

撮像装置
　本開示は、撮像装置に関する。
　近年、ウェブ会議では、自宅等のプライバシーを保護する手段として、予め設定された画像を背景画像として合成する方法が用いられている。しかし、このような画像合成では、人が動くと、背景画像と人との境界部から自宅等の一部が見えてしまう場合がある。
　そこで、画像合成する際に動体領域を検出し、検出した動体領域のみ画像合成しない画像処理技術が知れている。さらに、動体領域の検出精度向上させる技術として、解像度を縮小した縮小画像をいくつか生成する技術が知られている。この技術によれば、ＲＮ（Random Noise）誤差を減らすことによって小さな移動体の検出が可能となる。
特開２０１９－１０１９７７号公報
　上記技術では、例えば、縮小画像を生成するための縮小処理が、ＤＳＰ（Digital Signal Processor）等のロジック部内で行われる。生成する縮小画像の数が多くなるほど、ロジック部の処理負荷が大きくなる。
　そこで、本開示は、ロジック部における縮小画像の処理負荷を軽減することが可能な撮像装置を提供する。
　本開示の一実施形態に係る撮像装置は、画角が最大の解像度で撮像対象領域を撮像した基準画像、および基準画像よりも低い解像度で撮像対象領域を撮像した縮小画像の画像データをそれぞれ生成するセンサ部と、画像データを処理するロジック部と、を備える。センサ部は、撮像対象領域からの入射光を光電変換したアナログ画素信号をそれぞれ生成する複数の画素を有する画素アレイ部と、解像度に応じて画素アレイ部からアナログ画素信号を出力する画素を選択する行選択部と、行選択部によって選択された画素のアナログ画素信号をデジタル処理して画像データを生成し、画像データに解像度を示してロジック部へ出力する信号処理部と、を有する。
　前記複数の画素の各々が、
　前記入射光を光電変換する受光素子を有する光電変換回路と、
　前記光電変換回路の出力信号を増幅する第１増幅トランジスタを有する第１ソースフォロワ回路と、
　前記第１ソースフォロワ回路の出力信号を保持する信号保持回路と、
　前記信号保持回路から読み出した信号を増幅する第２増幅トランジスタと、前記行選択部の制御に基づいて、前記第２増幅トランジスタで増幅された信号を前記アナログ画素信号として前記信号処理部に伝送するか否かを選択する選択トランジスタと、を有する第２ソースフォロワ回路と、
を有していてもよい。
　前記解像度が低くなるにつれて、前記複数の画素の中でオン状態の選択トランジスタの数が少なくなっていてもよい。
　前記画素アレイ部で前記複数の画素が行列状に配列され、
　前記複数の画素の中で同じ画素列に属する画素の各々に設けられた選択トランジスタが、一つの信号線に共通に接続されていてもよい。
　前記センサ部が、前記行選択部の制御に基づいて、前記信号線同士を接続するか否かを切り替えるスイッチ素子をさらに有していてもよい。
　前記スイッチ素子は、前記画素の受光色の組み合わせが同じ画素列に接続された信号線同士を接続するか否かを切り替えてもよい。
　前記スイッチ素子は、行方向に一つ置きに離れて配置された信号線同士を接続するか否かを切り替えてもよい。
　前記行選択部は、前記スイッチ素子を前記選択トランジスタと同時にオンさせてもよい。
　前記スイッチ素子が、Ｎチャネル型のＭＯＳトランジスタで構成されていてもよい。
　前記信号保持回路が、
　前記光電変換回路をリセットした第１信号を保持する第１容量素子と、
　前記行選択部の制御に基づいて、前記第１信号を前記第１容量素子に保持するタイミングを設定する第１サンプルトランジスタと、
　前記光電変換回路の光電変換によって生成された第２信号を保持する第２容量素子と、
　前記行選択部の制御に基づいて、前記第２信号を前記第２容量素子に保持するタイミングを設定する第２サンプルトランジスタと、
を有していてもよい。
　前記解像度が、前記画像データのヘッダまたはフッタに示されていてもよい。
　前記信号処理部が、
　前記アナログ画素信号をデジタル画素信号に変換するＡＤ変換器と、
　前記デジタル画素信号に基づいて前記画像データを生成し、前記画像データに前記解像度を示して前記ロジック部へ出力する処理回路と、
を有していてもよい。
　前記センサ部が、撮像タイミングが異なる２つの基準画像、および前記解像度が異なる複数の縮小画像の画像データをそれぞれ生成し、
　前記ロジック部が、
　前記複数の縮小画像に基づいて、前記基準画像における動体領域を検出する動体領域検出部と、
　前記動体領域検出部の検出結果に基づいて、前記２つの基準画像を合成する画像合成部と、
を有していてもよい。
第１実施形態に係る撮像装置の構成を示すブロック図である。 第１実施形態に係るセンサ部の構成を示す図である。 第１実施形態に係る画素および信号処理部の回路構成を示す図である。 ロジック部の概略的な構成を示すブロック図である。 センサ部の２層構造の一例を示す斜視図である。 センサ部の３層構造の一例を示す斜視図である。 第１実施形態に係る撮像装置の動作手順を示すフローチャートである。 第１実施形態に係るセンサ部の撮像処理を説明するためのタイミングチャートである。 センサ部の画像データの構造の一例を示す模式図である。 比較例に係る撮像装置の画素の回路構成を示す図である。 第２実施形態に係る撮像装置２のセンサ部２０の構成を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部および撮像部の設置位置の一例を示す説明図である。
　（第１実施形態）
　図１は、第１実施形態に係る撮像装置の構成例を示すブロック図である。図１に示す撮像装置１は、光学系１０、センサ部２０、ロジック部３０、フレームメモリ４０、表示部５０、記録部６０、操作部７０、および、制御部８０を含む。センサ部２０、ロジック部３０、フレームメモリ４０、表示部５０、記録部６０、操作部７０、および、制御部８０は、バスライン９０を介して相互に接続されている。撮像装置１は、例えば、ウェブ会議で用いられるウェブカメラ、監視場所に設置される監視カメラ、および車載用カメラ等に適用することができる。
　光学系１０は、撮像対象領域からの入射光（画像光）を取り込んでセンサ部２０の撮像面上に結像するレンズ群等を含む。センサ部２０は、光学系１０によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換した画像データを生成する。ロジック部３０は、例えばＤＳＰ回路で構成され、センサ部２０で生成された画像データに対して所定の画像処理を行う。
　フレームメモリ４０は、センサ部２０の信号処理やロジック部３０の画像処理の過程で適宜データの格納に用いられる。表示部５０は、液晶表示装置や有機ＥＬ(electro luminescence)表示装置等のパネル型表示装置から成り、撮像装置１の撮像画像を表示する。記録部６０は、可搬型の半導体メモリや、光ディスク、ＨＤＤ(Hard Disk Drive)等の記録媒体で構成され、撮像装置１の撮像画像を記録する。
　操作部７０は、ユーザによる操作の下に、センサ部２０が有する様々な機能について操作指令を発する。制御部８０は、センサ部２０、ロジック部３０、フレームメモリ４０、表示部５０、記録部６０、および、操作部７０の動作を制御する。
　図２は、第１実施形態に係るセンサ部２０の構成を示すブロック図である。本実施形態に係るセンサ部２０は、画素アレイ部２１、行選択部２２、および信号処理部２３を有する。
　画素アレイ部２１では、複数の画素２４が行方向および列方向に、すなわち、行列状に２次元配置されている。ここで、行方向とは、水平方向に並べられた画素２４の配列方向であり、列方向とは、行方向に直交し、垂直方向に並べられた画素２４の配列方向である。画素２４は、入射光の光電変換により、受光量に応じた電荷を生成して蓄積する。
　画素アレイ部２１では、画素制御線ＣＬが画素行毎に行方向に沿って配線されている。また、信号線ＶＳＬが画素列毎に列方向に沿って配線されている。画素制御線ＣＬは、画素２４からアナログ画素信号を読み出す際の駆動を行うための駆動信号を伝送する。画素制御線ＣＬの一端は、行選択部２２の各行に対応した出力端に接続されている。
　行選択部２２は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部２１の各画素２４の選択に際して、画素行の走査や画素行のアドレスを制御する。この行選択部２２は、その具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系の２つの走査系を有する構成となっている。
　読出し走査系は、画素２４から画素信号を読み出すために、画素アレイ部２１の画素２４を行単位で順に選択走査する。画素２４から読み出される画素信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりもシャッタスピードの時間分だけ先行して掃出し走査を行う。
　この掃出し走査系による掃出し走査により、読出し行の画素２４の光電変換素子から不要な電荷が掃き出されることによって当該光電変換素子がリセットされる。そして、この掃出し走査系が不要電荷を掃き出す（リセットする）ことにより、いわゆる、電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換素子の電荷を捨てて、新たに露光を開始する（電荷の蓄積を開始する）動作のことを言う。
　信号処理部２３は、画素アレイ部２１で生成されたアナログ画素信号をデジタル画素信号に変換するＡＤ（Analog to Digital）変換処理や、画素２４固有の固定パターンノイズを除去するためのＣＤＳ(Correlated Double Sampling：相関２重サンプリング)処理等の信号処理を行う。
　なお、図２では、信号処理部２３が、画素アレイ部２１の列方向の一方（図１の下側）に配置されているが、別の信号処理部２３が列方向の他方（図１の上側）に配置されていてもよい。この場合、別の信号処理部２３も、画素アレイ部２１から出力されたアナログ画素信号を処理する。また、別の信号処理部２３に接続される別のロジック部３０も配置される。別のロジック部３０は、別の信号処理部２３の出力信号に対して所定の画像処理を行う。
　図３は、第１実施形態に係る画素２４および信号処理部２３の回路構成を示す図である。
　まず、画素２４の回路構成について説明する。画素２４は、光電変換回路２５と、第１ソースフォロワ回路２６と、信号保持回路２７と、第２ソースフォロワ回路２８と、を有する。以下、各回路について説明する。
　光電変換回路２５は、受光素子２５１と、転送トランジスタ２５２と、第１リセットトランジスタ２５３と、を有する。受光素子２５１には、アバランシェフォトダイオード等のフォトダイオードを適用することができる。受光素子２５１は、入射光を受光し、受光量に応じた光電荷を蓄積する。受光素子２５１のアノードは、低電位側電源(例えば、グランド)に接続されている。受光素子２５１のカソードは、転送トランジスタ２５２を介して第１ソースフォロワ回路２６に接続されている。
　転送トランジスタ２５２は、例えばＮチャネル型のＭＯＳトランジスタで構成される。転送トランジスタ２５２のゲートには、転送信号ＴＲＧが行選択部２２から画素制御線ＣＬを通じて入力される。転送トランジスタ２５２が、転送信号ＴＲＧのレベルに応じてオン状態になると、受光素子２５１に蓄積された光電荷がフローティングディフュージョン（浮遊拡散領域／不純物拡散領域）ＦＤに転送される。フローティングディフュージョンＦＤは、転送トランジスタ２５２と第１ソースフォロワ回路２６との電気的接続領域であり、受光素子２５１で光電変換された光電荷を電圧信号に変換する電荷電圧変換部として機能する。
　第１リセットトランジスタ２５３は、電源電圧ＶＤＤを供給する正電源とフローティングディフュージョンＦＤとの間に接続されている。第１リセットトランジスタ２５３は、例えばＮチャネル型のＭＯＳトランジスタで構成され、そのゲートには、第１リセット信号ＲＳＴ１が行選択部２２から画素制御線ＣＬを通じて入力される。第１リセットトランジスタ２５３が、ハイレベルの第１リセット信号ＲＳＴ１に基づいてオン状態になると、フローティングディフュージョンＦＤの電荷が上記正電源に排出される。これにより、フローティングディフュージョンＦＤがリセットされる。
　第１ソースフォロワ回路２６は、フローティングディフュージョンＦＤに保持された電圧信号を増幅するための回路であり、第１増幅トランジスタ２６１および第１電流源２６２を有する。
　第１増幅トランジスタ２６１は、光電変換回路２５の出力信号を増幅するための素子であり、例えばＮチャネル型のＭＯＳトランジスタで構成される。第１増幅トランジスタ２６１のゲートはフローティングディフュージョンＦＤに接続されている。また、ドレインは電源電圧ＶＤＤを供給する正電源に接続されている。さらに、ソースは、第１電流源２６２に接続されている。第１増幅トランジスタ２６１は、フローティングディフュージョンＦＤから読み出した電圧信号を増幅して出力する。
　第１電流源２６２は、第１増幅トランジスタ２６１に直列に接続され、行選択部２２の制御に基づいて、第１増幅トランジスタ２６１に一定の電流を供給する。
　第１ソースフォロワ回路２６では、リセット信号（第１信号）とデータ信号（第２信号）とが、第１増幅トランジスタ２６１から順に出力される。このリセット信号は、いわゆるＰ相信号に相当し、第１リセットトランジスタ２５３がオン状態となって光電変換回路２５がリセット状態となったときの電圧レベルを示す。一方、データ信号は、いわゆるＤ相信号に相当し、受光素子２５１の光電変換によってフローティングディフュージョンＦＤに蓄積された電荷量に基づく電圧レベルを示す。
　信号保持回路２７は、リセット信号の電圧およびデータ信号の電圧をそれぞれ保持するための回路であり、第１容量素子２７１と、第２容量素子２７２と、第１サンプルトランジスタ２７３と、第２サンプルトランジスタ２７４と、第２リセットトランジスタ２７５と、を有する。
　第１容量素子２７１は、リセット信号の電圧を保持するための素子である。第２容量素子２７２は、データ信号の電圧を保持するための素子である。第１容量素子２７１および第２容量素子の各々の一端は、入力ノードＶ１に接続されている。第１容量素子２７１の他端は、第１サンプルトランジスタ２７３に接続され、第２容量素子２７２の他端は、第２サンプルトランジスタ２７４に接続されている。なお、第１容量素子２７１の容量値Ｃ１および第２容量素子２７２の容量値Ｃ２は、リセット信号およびデータ信号の電圧をそれぞれ保持可能な値であればよく、互いに同じ値であってもよいし、異なる値であってもよい。
　第１サンプルトランジスタ２７３は、第１容量素子２７１にリセット信号を保持するタイミングを設定するための素子であり、例えばＮチャネル型のＭＯＳトランジスタで構成される。第１サンプルトランジスタ２７３のゲートには、第１サンプルホールド信号Ｓ１が行選択部２２から画素制御線ＣＬを通じて入力される。また、ドレインは、第１容量素子２７１の他端に接続され、ソースは、第２リセットトランジスタ２７５および第２ソースフォロワ回２０６にそれぞれ接続されている。第１サンプルトランジスタ２７３が、ハイレベルの第１サンプルホールド信号Ｓ１に基づいてオン状態になると、リセット信号が第１容量素子２７１に保持される。
　第２サンプルトランジスタ２７４は、第２容量素子２７２にデータ信号を保持するタイミングを設定するための素子であり、例えばＮチャネル型のＭＯＳトランジスタで構成される。第２サンプルトランジスタ２７４のゲートには、第２サンプルホールド信号Ｓ２が行選択部２２から画素制御線ＣＬを通じて入力される。また、ドレインは、第２容量素子２７２の他端に接続され、ソースは、第２リセットトランジスタ２７５および第２ソースフォロワ回２０６にそれぞれ接続されている。第２サンプルトランジスタ２７４が、ハイレベルの第２サンプルホールド信号Ｓ２に基づいてオン状態になると、データ信号が第２容量素子２７２に保持される。
　第２リセットトランジスタ２７５は、信号保持回路２７の出力ノードＶ２の電位をリセットするための素子であり、例えばＮチャネル型のＭＯＳトランジスタで構成される。第２リセットトランジスタ２７５のゲートには、第２リセット信号ＲＳＴ２が行選択部２２から画素制御線ＣＬを通じて入力される。また、ドレインは、定電圧ＶＲＥＧを出力するレギュレータに接続される。定電圧ＶＲＥＧは、電源電圧ＶＤＤよりも低い電位に設定される。さらにソースは、第１サンプルトランジスタ２７３および第２サンプルトランジスタ２７４の各々のソースに接続されている。第２リセットトランジスタ２７５が、ハイレベルの第２リセット信号ＲＳＴ２に基づいてオン状態になると、出力ノードＶ２の電位が定電圧ＶＲＥＧにリセットされる。
　第２ソースフォロワ回路２８は、信号保持回路２７からリセット信号またはデータ信号を選択的に読み出して増幅するための回路であり、第２増幅トランジスタ２８１と、選択トランジスタ２８２と、第２電流源２８３と、を有する。なお、本実施形態では、第２ソースフォロワ回路２８は、画素２４毎に設けられているが、信号線ＶＳＬに共通に接続された複数の画素２４間で共用されてもよい。
　第２増幅トランジスタ２８１は、信号保持回路２７から読み出したリセット信号およびデータ信号を増幅するための素子であり、例えばＮチャネル型のＭＯＳトランジスタで構成される。第２増幅トランジスタ２８１のゲートは信号保持回路２７の出力ノードＶ２に接続されている。また、ドレインは電源電圧ＶＤＤを供給する正電源に接続されている。さらに、ソースは、選択トランジスタ２８２に接続されている。
　選択トランジスタ２８２は、第２増幅トランジスタ２８１で増幅されたリセット信号またはデータ信号をＡＤ変換器２３１へ伝送するか否かを選択するための素子であり、例えばＮチャネル型のＭＯＳトランジスタで構成される。選択トランジスタ２８２のゲートには、選択信号ＳＥＬが行選択部２２から画素制御線ＣＬを通じて入力される。また、ドレインは、第２増幅トランジスタ２８１のソースに接続され、ソースは、第２電流源２８３および信号線ＶＳＬに接続されている。選択トランジスタ２８２が、ハイレベルの選択信号ＳＥＬに基づいてオン状態になると、第２増幅トランジスタ２８１の出力信号、すなわちアナログ画素信号が信号線ＶＳＬを通じてＡＤ変換器２３１に伝送される。一つの信号線ＶＳＬには、同じ画素列に属する画素２４の各々に設けられた選択トランジスタ２８２が、共通に接続されている。
　第２電流源２８３は、選択トランジスタ２８２に直列に接続されている。第２電流源２８３は、行選択部２２の制御に基づいて、第２増幅トランジスタ２８１および選択トランジスタ２８２に一定の電流を供給する。
　次に、信号処理部２３の構成について説明する。信号処理部２３は、ＡＤ変換器２３１、処理回路２３２、および信号生成回路２３３を含む。
　信号処理部２３には、複数のＡＤ変換器２３１が、画素アレイ部２１の画素列に対応して（例えば、画素列毎に）設けられている。これら複数のＡＤ変換器２３１は、各信号線ＶＳＬを通じて出力されるアナログ画素信号を、デジタルの画素信号に変換する列並列型のアナログ－デジタル変換器として機能する。
　各ＡＤ変換器２３１は、比較器２３４およびカウンタ２３５（ＣＮ）を有する。比較器２３４は、画素２４で生成された画素信号を三角波のランプ信号ＲＡＭＰと比較する。画素信号の電圧が、ランプ信号ＲＡＭＰの電圧と一致、換言するとクロスすると、比較器２３４の出力信号レベルが反転する。カウンタ２３５は、単位時間（フレーム時間）内における比較器２３４の出力信号レベルの反転回数を計測する。
　処理回路２３２は、各ＡＤ変換器２３１でデジタル変換されたデジタル画素信号に対してＣＤＳ処理等の信号処理を行って画像データを作成する。作成された画像データは、フレームメモリ４０に格納される。なお、処理回路２３２は、ＣＤＳ処理だけでなく、例えば、縦線欠陥、点欠陥の補正、信号のクランプ、パラレル－シリアル変換等の信号処理を行ってもよい。
　信号生成回路２３３（ＤＡ）は、ランプ信号ＲＡＭＰを生成して比較器２３４へ出力する。信号生成回路２３３は、例えば、画素列毎に設けられた電流積分型デジタル－アナログ変換器（ＤＡＣ）等で構成される。ランプ信号ＲＡＭＰは、このデジタル－アナログ変換器を用いて生成される。
　上記のように構成されたセンサ部２０では、行選択部２２が、オンさせる選択トランジスタ２８２の数を調整することによって、画像の解像度を縮小することができる。例えば、画角が最大である１／１画像に対して解像度が１／４となる１／４画像を撮像する場合、オンさせる選択トランジスタ２８２の数は、１／１画像の１／４となる。また、解像度が１／１画像の１／１６となる１／１６画像、１／６４となる１／６４画像を撮像する場合には、オンさせる選択トランジスタ２８２の数は１／１画像の１／１６、１／６４となる。
　図４は、ロジック部３０の概略的な構成を示すブロック図である。図４に示すロジック部３０は、動体領域検出部３１および画像合成部３２を含む。動体領域検出部３１は、センサ部２０によって解像度が縮小された複数の縮小画像をフレームメモリ４０から読み出して、センサ部２０の撮像画像における動体領域を検出する。画像合成部３２は、センサ部２０によって撮像された第１基準画像と、撮像範囲が第１基準画像と同じで第１基準画像よりも後のタイミングでセンサ部２０によって撮像された第２基準画像と、を動体領域検出部３１の検出結果を用いて合成する。
　なお、ロジック部３０の構成は、図４に示す構成に限定されない。ロジック部３０は、一般的なカメラ画像処理、例えば、ホワイトバランス処理、デモザイク処理、ガンマ補正処理などをそれぞれ行う画像処理回路を含んでいてもよい。
　ここで、図５および図６を参照して、センサ部２０の積層構造について説明する。
　図５は、センサ部２０の２層構造の一例を示す斜視図である。図５では、図５では、第２基板５０２が第１基板５０１の下側に積層され、これら２つの基板は、互いに接合される。第１基板５０１および第２基板は、シリコン基板等の半導体基板である。
　図５に示す２層構造では、例えば、第１基板５０１には、画素２４の光電変換回路２５、第１ソースフォロワ回路２６の第１増幅トランジスタ２６１が配置される。この場合、第２基板５０２には、第１ソースフォロワ回路２６の第１電流源２６２、信号保持回路２７、および第２ソースフォロワ回路２８が配置される。また、第２基板５０２には、信号処理部２３も配置される。
　図６は、画素２４の３層構造の一例を示す斜視図である。図６では、画素２４が、第１基板５０１、第２基板５０２、および第３基板５０３に分散して配置される。第３半導体基板３は、第１基板５０１および第２基板と同じく、シリコン基板等の半導体基板である。図６では、第３基板５０３は、最下層に配置され、これら３つの基板は、接合される。
　図６に示す３層構造では、例えば第１基板５０１には、光電変換回路２５の受光素子２５１および転送トランジスタ２５２が配置される。第２基板５０２には、光電変換回路２５の第１リセットトランジスタ２５３、第１ソースフォロワ回路２６が配置される。第３基板５０３には、信号保持回路２７および第２ソースフォロワ回路２８が配置される。また、第３基板５０３には、信号処理部２３も配置される。
　なお、画素２４の積層構造は、図５に示す２層構造や、図６に示す３層構造に限定されない。例えば、第１容量素子２７１および第２容量素子２７２を、第１基板５０１と第２基板５０２とを用いて実現してもよい。この場合、互いに対向する一対の導電体を第１基板５０１と第２基板５０２とにそれぞれ配置する。第１容量素子２７１および第２容量素子２７２の各々の容量値は、一対の導電体間における距離を調整することによって、設定することができる。
　以下、図７を参照して、第１実施形態に係る撮像装置１の動作について説明する。図７は、第１実施形態に係る撮像装置１の動作手順を示すフローチャートである。
　図７に示すフローチャートでは、センサ部２０が、１／１画像を撮像する（ステップＳ１０１）。ここで、図８を参照して、ステップＳ１０１の動作について詳しく説明する。
　図８は、第１実施形態に係るセンサ部２０の撮像処理を説明するためのタイミングチャートである。図８は、第１リセット信号ＲＳＴ１、転送信号ＴＲＧ、第２リセット信号ＲＳＴ２、第１サンプルホールド信号Ｓ１、第２サンプルホールド信号Ｓ２、選択信号ＳＥＬ、入力ノードＶ１、および出力ノードＶ２の波形をそれぞれ示している。
　まず、タイミングＴ０からタイミングＴ１の期間では、行選択部２２が画素アレイ部２１に行列状に配列された複数の画素２４に対してハイレベルの第１リセット信号ＲＳＴ１および転送信号ＴＲＧを供給する。これにより、各画素２４では、第１リセットトランジスタ２５３が第１リセット信号ＲＳＴ１に基づいてオンし、転送トランジスタ２５２が転送信号ＴＲＧに基づいてオンする。これにより、各画素２４がリセットされ、各画素行で同じ期間に露光するグローバルスイッチ期間（以下、ＧＳ期間と称する）が開始される。
　タイミングＴ０では、行選択部２２は、各画素２４に対してハイレベルの第２リセット信号ＲＳＴ２も供給する。これにより、各画素２４では、第２リセットトランジスタ２７５がオンするため、第１容量素子２７１および第２容量素子２７２の電圧が定電圧ＶＲＥＧにリセットされる。また、タイミングＴ０では、第１サンプルトランジスタ２７３は、ハイレベルの第１サンプルホールド信号Ｓ１に基づいてオン状態である一方で、第２サンプルトランジスタ２７４は、ローレベルの第２サンプルホールド信号Ｓ２に基づいてオフ状態である。
　ＧＳ期間の途中のタイミングＴ２では、第１リセットトランジスタ２５３は、再びハイレベルの第１リセット信号ＲＳＴ１に基づいてオンする。このとき、転送信号ＴＲＧはローレベルであるため、転送トランジスタ２５２はオフ状態である。続いて、第１サンプルホールド信号Ｓ１がハイレベルからローレベルに変化するタイミングＴ３で、リセット信号の電圧値が第１容量素子２７１にサンプルホールドされる（Ｐ相Ｓ／Ｈ）。
　続いて、転送トランジスタ２５２が、再びハイレベルの転送信号ＴＲＧに基づいてオンするタイミングＴ４では、第２サンプルホールド信号Ｓ２がローレベルからハイレベルに変化する。これにより、第２サンプルトランジスタ２７４が、オフ状態からオン状態に切り替わる。このとき、第１サンプルトランジスタ２７３は、ローレベルの第１サンプルホールド信号Ｓ１に基づいてオフ状態である。
　続いて、第２サンプルホールド信号Ｓ２がハイレベルからローレベルに変換するタイミングＴ５で、受光素子２５１で光電変換された電荷量に対応するデータ信号の電圧値が第２容量素子２７２にサンプルホールドされる（Ｄ相Ｓ／Ｈ）。データ信号の電圧レベルは、リセット信号の電圧レベルよりもΔＶ低い。
　ＧＳ期間が終了するタイミングＴ６では、第２サンプルホールド信号Ｓ２がローレベルであるため、第２サンプルトランジスタ２７４は、第１サンプルトランジスタ２７３と同様にオフ状態となる。
　続いて、タイミングＴ７において、信号保持回路２７に保持されたリセット信号およびデータ信号の各々の電圧値を読み出す読出期間が開始される。読出期間では、行選択部２２が、１／１画像の解像度に応じて予め定められた画素２４の選択トランジスタ２８２のゲートにハイレベルの選択信号ＳＥＬを入力する。そのため、読出期間は、信号保持回路２７に保持されたリセット信号およびデータ信号を、ＡＤ変換器２３１に伝送可能な期間となる。
　続いて、タイミングＴ７からタイミングＴ８までの期間に、ハイレベルの第２リセット信号ＲＳＴ２が第２リセットトランジスタ２７５のゲートに入力されるため、第２リセットトランジスタ２７５がオン状態となって、出力ノードＶ２の電位が定電圧ＶＲＥＧにリセットされる。
　続いて、タイミングＴ９からタイミングＴ１０までのＰ相期間では、第１サンプルホールド信号Ｓ１がハイレベルである。これにより、第１サンプルトランジスタ２７３がオン状態となるため、リセット信号が、第２ソースフォロワ回路２８に読み出される。このリセット信号は、第２増幅トランジスタ２８１で増幅される。増幅されたリセット信号は、選択トランジスタ２８２から信号線ＶＳＬを通じてＡＤ変換器２３１に伝送される。Ｐ相期間では、リセット信号の電圧が、信号生成回路２３３からＡＤ変換器２３１の入力端子に入力されたランプ信号ＲＡＭＰの電圧と一致すると、ＡＤ変換器２３１の出力信号がハイレベルからローレベルに反転する。続いて、カウンタ２３５が、ＡＤ変換器２３１の出力信号の反転回数を計測する。
　続いて、タイミングＴ１１からタイミングＴ１２までのＤ相期間では、第１サンプルホールド信号Ｓ１がハローレベルになる一方で、第２サンプルホールド信号Ｓ２がハイレベルとなる。これにより、第２サンプルトランジスタ２７４がオン状態となるため、データ信号が、第２増幅トランジスタ２８１で増幅される。増幅されたデータ信号は、選択トランジスタ２８２から信号線ＶＳＬを通じてＡＤ変換器２３１に伝送される。Ｄ相期間でも、データ信号の電圧が、ランプ信号ＲＡＭＰの電圧と一致すると、ＡＤ変換器２３１の出力信号がハイレベルからローレベルに変化する。続いて、カウンタ２３５が、ＡＤ変換器２３１の出力信号の反転回数を計測する。
　続いて、処理回路２３２が、ＣＤＳ処理として、データ信号に対応するカウンタ２３５の計測値とリセット信号に対応するカウンタ２３５の計測値との差分を算出する。この差分値が、解像度が最大（１／１）の第１基準画像の画素値としてフレームメモリ４０に格納される。その後、センサ部２０が、再び図８に示すタイミングチャートに基づいて撮像処理を行うと、解像度が最大（１／１）の第２基準画像の画素値がフレームメモリ４０に格納される。第２基準画像は、第１基準画像よりも後に撮像された画像である。これにより、ステップＳ１０１の動作が終了する。
　次に、図７に戻って、センサ部２０が、１／４画像を撮像する（ステップＳ１０２）。この１／４画像は、ステップＳ１０１で撮像された１／１第１基準画像に対して解像度を１／４に縮小した１／４第１基準画像と、ステップＳ１０１で撮像された１／１第２基準画像に対して解像度を１／４に縮小した１／４第２基準画像と、を含む。ステップＳ１０２では、センサ部２０は、ステップＳ１０１と同様に、図８に示すフローチャートに従って、１／４第１基準画像および１／４第２基準画像をそれぞれ撮像する。
　ただし、ステップＳ１０２では、読出期間において、行選択部２２は、解像度が１／４になるように、予め定められた画素２４の選択トランジスタ２８２のゲートにハイレベルの選択信号ＳＥＬを入力する。１／４画像の解像度は、１／１画像の解像度よりも小さいため、ハイレベルの選択信号ＳＥＬがゲートに入力される選択トランジスタ２８２の数、すなわちオンする選択トランジスタ２８２の数は、少なくなる。例えば、１／４画像では、オンする選択トランジスタ２８２の数は、１／１画像の１／４に設定される。
　また、ステップＳ１０２では、処理回路２３２が、ステップＳ１０１と同様にして、１／４第１基準画像の画素値および１／４第２基準画像の画素値を算出する。算出された画素値は、フレームメモリ４０に格納される。これにより、ステップＳ１０２の動作が終了する。
　次に、センサ部２０が、１／１６画像を撮像する（ステップＳ１０３）。この１／１６画像は、ステップＳ１０１で撮像された１／１第１基準画像に対して解像度を１／１６に縮小した１／１６第１基準画像と、ステップＳ１０１で撮像された１／１第２基準画像に対して解像度を１／１６に縮小した１／１６第２基準画像と、を含む。ステップＳ１０３では、センサ部２０は、ステップＳ１０１と同様に、図８に示すフローチャートに従って、１／１６第１基準画像および１／１６第２基準画像をそれぞれ撮像する。
　ただし、ステップＳ１０３では、読出期間において、行選択部２２は、解像度が１／１６になるように、予め定められた画素２４の選択トランジスタ２８２のゲートにハイレベルの選択信号ＳＥＬを入力する。１／１６画像の解像度は、１／１画像の解像度よりも小さいため、ハイレベルの選択信号ＳＥＬがゲートに入力される選択トランジスタ２８２の数、すなわちオンする選択トランジスタ２８２の数は、少なくなる。例えば、１／１６画像では、オンする選択トランジスタ２８２の数は、１／１画像の１／１６に設定される。
　また、ステップＳ１０３では、処理回路２３２が、ステップＳ１０１と同様にして、１／１６第１基準画像の画素値および１／１６第２基準画像の画素値を算出する。算出された画素値は、フレームメモリ４０に格納される。これにより、ステップＳ１０３の動作が終了する。
　次に、センサ部２０が、１／６４画像を撮像する（ステップＳ１０４）。この１／６４画像は、ステップＳ１０１で撮像された１／１第１基準画像に対して解像度を１／６４に縮小した１／１６第１基準画像と、ステップＳ１０１で撮像された１／１第２基準画像に対して解像度を１／６４に縮小した１／６４第２基準画像と、を含む。ステップＳ１０４では、センサ部２０は、ステップＳ１０１と同様に、図８に示すフローチャートに従って、１／６４第１基準画像および１／６４第２基準画像をそれぞれ撮像する。
　ただし、ステップＳ１０４では、読出期間において、行選択部２２は、解像度が１／６４になるように、予め定められた画素２４の選択トランジスタ２８２のゲートにハイレベルの選択信号ＳＥＬを入力する。１／６４画像の解像度は、１／１画像の解像度よりも小さいため、ハイレベルの選択信号ＳＥＬがゲートに入力される選択トランジスタ２８２の数、すなわちオンする選択トランジスタ２８２の数は、少なくなる。例えば、１／６４画像では、オンする選択トランジスタ２８２の数は、１／１画像の１／６４に設定される。
　また、ステップＳ１０４では、処理回路２３２が、ステップＳ１０１と同様にして、１／６４第１基準画像の画素値および１／６４第２基準画像の画素値を算出する。算出された画素値は、フレームメモリ４０に格納される。これにより、ステップＳ１０４の動作が終了する。
　なお、本実施形態では、画像の縮小処理の回数が１／４、１／１６、１／６４の３回に設定されているが、例えば、解像度が１／４、１／１６の２回であってもよい。また、画像の縮小率は、１／４、１／１６、１／６４に設定されているが、これらの値に限定されない。
　図９は、センサ部２０の画像データの構造の一例を示す模式図である。図９に示す画像データ３００は、処理回路２３２によって、パケット方式でフレームメモリ４０に伝送され、ペイロードデータ３０１、ヘッダ３０２、およびフッタ３０３で構成される。
　ペイロードデータ３０１には、画素アレイ部２１で同じ画素列（信号線ＶＳＬ）に属する画素２４の画素値が示されている。この画素値は、カウンタ２３５のカウンタ値に相当する。画素アレイ部２１には、図１に示すように複数の画素列（信号線ＶＳＬ）が存在するため、第１基準画像および第２基準画像の画像データ３００は、画素列数のペイロードデータ３０１、ヘッダ３０２、およびフッタ３０３で構成される。
　ヘッダ３０２には、所属する画素列の番号、解像度などを示すデータが埋め込まれている。例えば、センサ部２０が１／４画像データを出力する場合、ヘッダ３０２には、解像度が１／４であることが示される。これにより、ロジック部３０が、画像データ３００を処理する際に、解像度を識別することができる。なお、ヘッダ３０２に埋め込まれたデータの全部または一部は、フッタ３０３に埋め込まれていてもよい。
　ステップＳ１０２～ステップＳ１０４の縮小処理が終了すると、図７に戻って、ロジック部３０の動体領域検出部３１が、ステップＳ１０２～ステップＳ１０４で生成された縮小画像を用いて１／１第１基準画像および１／１第２基準画像内における動体領域を検出する（ステップＳ１０５）。
　次に、画像合成部３２が、動体領域検出部３１の検出結果を用いて、１／１第１基準画像および１／１第２基準画像の合成処理を行う（ステップＳ１０６）。
　ステップＳ１０５において、動体領域検出部３１の動体領域検出処理は、縮小画像を用いた方法であれば特に限定されない。また、ステップＳ１０６において、画像合成部３２の画像合成処理は、動体領域検出部３１の検出結果を用いて、撮像タイミングが異なる２つの画像を合成する方法であれば特に限定されない。本実施形態では、例えば、特開２０１９－１０１９７７号公報に開示された動体領域検出部２０２から縮小処理部１６５０の処理を除いた方法で動体領域を検出することができる。また、特開２０１９－１０１９７７号公報に開示された画像合成部２０３の処理と同様の方法で画像を合成することができる。以下、動体領域検出処理および画像合成処理の一例について説明する。
　ステップＳ１０６では、動体領域検出部３１は、１／１第１基準画像データおよび１／１第２基準画像データをフレームメモリ４０から読み出し、これらの画像の画素値の差分値を算出する。続いて、動体領域検出部３１は、この差分値に対応する第１動体尤度を算出する。このとき、動体領域検出部３１は、１／１画像について差分値と第１動体尤度との関係を予め定めた換算式を用いて第１動体尤度を算出する。
　続いて、動体領域検出部３１は、１／４画像、１／１６画像、および１／６４画像の縮小画像についても、同様に、第１基準画像の画素値と第２基準画像の画素値をそれぞれ算出する。続いて、動体領域検出部３１は、各差分値にそれぞれ対応する第２動体尤度、第３動体尤度、第４動体尤度を算出する。このとき、動体領域検出部３１は、各縮小画像について、差分値と各動体尤度との関係を予め定めた換算式を用いて各動体尤度を算出する。
　続いて、動体領域検出部３１は、１／１画像の差分値に対応する第１エッジ度と、各縮小画像の差分値に対応する第２エッジ度～第４エッジ度と、を算出する。このとき、動体領域検出部３１は、１／１画像および縮小画像について、差分値と各エッジ度との関係を予め定めた換算式を用いて各エッジ度を算出する。
　続いて、動体領域検出部３１は、第３エッジ度に基づいて第３動体尤度および第４動体尤度の第１合成比率を決定する。このとき、動体領域検出部３１は、第３エッジ度と第１合成比率との関係を予め定めた換算式を用いて第１合成比率を決定する。続いて、動体領域検出部３１は、第１合成比率に従って第３動体尤度と第４動体尤度とを合成することにより第１合成動体尤度を生成する。
　続いて、動体領域検出部３１は、上記第１合成比率と同様の方法で、第２動体尤度および第１合成動体尤度の第２合成比率を決定する。続いて、動体領域検出部３１は、第１合成動体尤度と同様の方法で、第２合成比率に従って第２動体尤度と第１合成動体尤度とを合成することにより第２合成動体尤度を生成する。
　続いて、動体領域検出部３１は、上記第１合成比率と同様の方法で、第１動体尤度および第２合成動体尤度の第３合成比率を決定する。続いて、動体領域検出部３１は、第１合成動体尤度と同様の方法で、第３合成比率に従って第１動体尤度と第２合成動体尤度とを合成することにより第３合成動体尤度を生成する。これにより、ステップＳ１０６の動作が終了する。
　次に、ステップＳ７では、画像合成部３２が、第３合成動体尤度に対応する第４合成比率を算出する。このとき、画像合成部３２は、第３合成動体尤度と第４合成比率との関係を予め定めた換算式を用いて第４合成比率を算出する。最後に、画像合成部３２は、第４合成比率で１／１第１基準画像と１／１第２基準画像とを合成する。
　以下、上述した第１実施形態に係る撮像装置１と比較する比較例に係る撮像装置について説明する。本比較例に係る撮像装置は、画素の回路構成が第１実施形態と異なる。
　図１０は、比較例に係る撮像装置の画素の回路構成を示す図である。図１０では、第１実施形態に係る画素２４と同様の回路素子については同様の符号を付し、詳細な説明を省略する。
　図１０に示す画素２４０には、信号保持回路２７および第２ソースフォロワ回路２８が設けられていない。そのため、比較例のセンサ部２０は、１／１画像のみを出力し、１／１画像よりも低解像度の縮小画像を生成することができない。その結果、ロジック部３０に、１／１画像の解像度を縮小する処理を行う縮小処理部が必要になる。この場合、ロジック部３０の面積が拡大する。また、縮小画像の数が多くなるにつれて、縮小処理部の処理負荷が大きくなる。
　一方、本実施形態に係る撮像装置１によれば、上述したように、画素２４が信号保持回路２７および第２ソースフォロワ回路２８を有するため、１／１画像だけでなく縮小画像も出力することができる。そのため、ロジック部３０に、上記縮小処理部が不要になる。これにより、ロジック部３０における縮小画像の生成に伴う処理負荷を軽減することができる。本実施形態では、基準画像および縮小画像は、各画素２４に設けられた選択トランジスタ２８２のオン状態の個数を調整することで作成できるため、縮小画像の生成に伴うセンサ部２０の処理負荷は、基準画像を作成する場合とほぼ同じである。また、縮小画像の解像度は、選択トランジスタ２８２のオン状態の個数で調整できるため、縮小画像が増加しても、センサ部２０の負担は大きく増加しない。
　また、本実施形態では、縮小処理部が不要になることによって、ロジック部３０の面積を縮小できる。また、センサ部２０では、上述したように選択トランジスタ２８２の駆動を調整することによって縮小画像を生成できるため、センサ部２０の面積は増加しない。これにより、ロジック部３０の面積の縮小に伴って、撮像装置１を小型化することが可能となる。
　また、本実施形態によれば、信号線ＶＳＬが同じ画素列に属する複数の画素２４に共通に接続されているため、センサ部２０は、加算平均を用いて縮小画像を生成する。また、行選択部２２が各画素２４の選択トランジスタ２８２の動作を制御することによって、加算平均の割合をフレキシブルに決められるため、撮像対象によって最適な縮小率および最適な縮小回数で動体検出することが可能である。
　さらに本実施形態では、画像データ３００のヘッダ３０２またはフッタ３０３に埋め込まれたデータによって、どの縮小率の縮小画像が、どの画素列（順序）から出力されたかを識別することが可能である。
　（第２実施形態）
　図１１は、第２実施形態に係る撮像装置２のセンサ部２０の構成を示すブロック図である。本実施形態では、上述した第１実施形態と同様の構成要素には同じ符号を付し、詳細な説明を省略する。
　図１１に示すセンサ部２０には、信号線ＶＳＬ同士を接続するか否かを切り替える複数のスイッチ素子２９がさらに設けられている。各スイッチ素子２９は、例えばＮチャネル型のＭＯＳトランジスタで構成され、行選択部２２からゲートに入力される制御信号に基づいてオンおよびオフする。
　スイッチ素子２９が、このスイッチ素子２９で接続されている２つの信号線ＶＳＬにそれぞれ接続されている選択トランジスタ２８２と同時にオンすると、画素列方向（垂直方向）および画素行方向（水平方向）の画素値を加算することができる。これにより、縮小画像を作成することができる。このとき、縮小画像の解像度が小さくなるにつれて、オン状態のスイッチ素子２９の数が少なくなる。
　また、スイッチ素子２９と選択トランジスタ２８２のオンおよびオフの組み合わせを適宜組み合わせることによって、縮小率をフレキシブルに設定することができる。
　なお、本実施形態の画素アレイ部２１では、緑色光を受光する緑色画素と赤色光を受光する赤色画素とが交互に配列された第１画素列と、青色光を受光する青色画素と緑色画素とが交互に配列された第２画素列とが、存在する。また、第１画素列と第２画素列は、画素アレイ部２１で行方向に交互に配列されている。そのため、スイッチ素子２９は、行方向で互いに隣接する信号線ＶＳＬ同士ではなく、行方向に一つ置きに離れて配置された信号線ＶＳＬ同士を接続する。ただし、スイッチ素子２９で接続される信号線ＶＳＬは、画素の受光色の組み合わせが同じ画素列であればよい。そのため、例えば、複数の第１画素列が行方向で互いに隣接して配列されている場合には、スイッチ素子２９は、互いに隣接する信号線ＶＳＬ同士を接続する。
　以上説明した本実施形態によれば、第１実施形態と同様に、センサ部２０で縮小画像を生成できるため、ロジック部３０に縮小処理部が不要になる。これにより、ロジック部３０の処理負荷を軽減することが可能となる。
　また、本実施形態では、信号線ＶＳＬ同士の接続を切り替えるスイッチ素子２９の駆動を切り替えることによって、センサ部２０の負荷を増加させることなく縮小画像のバリエーションを増加させることができる。
　＜移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１２に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、および統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、および車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、および、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声および画像のうちの少なくとも一方の出力信号を送信する。図１２の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２およびインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイおよびヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１３は、撮像部１２０３１の設置位置の例を示す図である。
　図１３では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１および車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１３には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従遮断制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば撮像部１２０３１に適用され得る。具体的には、撮像装置１および撮像装置２は、撮像部１２０３１に適用することができる。本開示に係る技術を適用することにより、より高画質な撮影画像を得ることができるため、安全性を向上することが可能になる。
　なお、本技術は以下のような構成を取ることができる。
（１）　画角が最大の解像度で撮像対象領域を撮像した基準画像、および前記基準画像よりも低い解像度で前記撮像対象領域を撮像した縮小画像の画像データをそれぞれ生成するセンサ部と、
　前記画像データを処理するロジック部と、を備え、
　前記センサ部が、
　前記撮像対象領域からの入射光を光電変換したアナログ画素信号をそれぞれ生成する複数の画素を有する画素アレイ部と、
　前記解像度に応じて前記画素アレイ部から前記アナログ画素信号を出力する画素を選択する行選択部と、
　前記行選択部によって選択された画素のアナログ画素信号をデジタル処理して前記画像データを生成し、前記画像データに前記解像度を示して前記ロジック部へ出力する信号処理部と、
を有する、撮像装置。
（２）　前記複数の画素の各々が、
　前記入射光を光電変換する受光素子を有する光電変換回路と、
　前記光電変換回路の出力信号を増幅する第１増幅トランジスタを有する第１ソースフォロワ回路と、
　前記第１ソースフォロワ回路の出力信号を保持する信号保持回路と、
　前記信号保持回路から読み出した信号を増幅する第２増幅トランジスタと、前記行選択部の制御に基づいて、前記第２増幅トランジスタで増幅された信号を前記アナログ画素信号として前記信号処理部に伝送するか否かを選択する選択トランジスタと、を有する第２ソースフォロワ回路と、
を有する、（１）に記載の撮像装置。
（３）　前記解像度が低くなるにつれて、前記複数の画素の中でオン状態の選択トランジスタの数が少なくなる、（２）に記載の撮像装置。
（４）　前記画素アレイ部で前記複数の画素が行列状に配列され、
　前記複数の画素の中で同じ画素列に属する画素の各々に設けられた選択トランジスタが、一つの信号線に共通に接続されている、（２）または（３）に記載の撮像装置。
（５）　前記センサ部が、前記行選択部の制御に基づいて、前記信号線同士を接続するか否かを切り替えるスイッチ素子をさらに有する、（４）に記載の撮像装置。
（６）　前記スイッチ素子は、前記画素の受光色の組み合わせが同じ画素列に接続された信号線同士を接続するか否かを切り替える、（５）に記載の撮像装置。
（７）　前記スイッチ素子は、行方向に一つ置きに離れて配置された信号線同士を接続するか否かを切り替える、（６）に記載の撮像装置。
（８）　前記行選択部は、前記スイッチ素子を前記選択トランジスタと同時にオンさせる、（５）から（７）のいずれかに記載の撮像装置。
（９）　前記スイッチ素子が、Ｎチャネル型のＭＯＳトランジスタで構成されている、（５）から（８）のいずれかに記載の撮像装置。
（１０）　前記信号保持回路が、
　前記光電変換回路をリセットした第１信号を保持する第１容量素子と、
　前記行選択部の制御に基づいて、前記第１信号を前記第１容量素子に保持するタイミングを設定する第１サンプルトランジスタと、
　前記光電変換回路の光電変換によって生成された第２信号を保持する第２容量素子と、
　前記行選択部の制御に基づいて、前記第２信号を前記第２容量素子に保持するタイミングを設定する第２サンプルトランジスタと、
を有する、（２）から（９）のいずれかに記載の撮像装置。
（１１）　前記解像度が、前記画像データのヘッダまたはフッタに示されている、（１）から（１０）のいずれかに記載の撮像装置。
（１２）　前記信号処理部が、
　前記アナログ画素信号をデジタル画素信号に変換するＡＤ変換器と、
　前記デジタル画素信号に基づいて前記画像データを生成し、前記画像データに前記解像度を示して前記ロジック部へ出力する処理回路と、
を有する、（１）から（１２）のいずれかに記載の撮像装置。
（１３）　前記センサ部が、撮像タイミングが異なる２つの基準画像、および前記解像度が異なる複数の縮小画像の画像データをそれぞれ生成し、
　前記ロジック部が、
　前記複数の縮小画像に基づいて、前記基準画像における動体領域を検出する動体領域検出部と、
　前記動体領域検出部の検出結果に基づいて、前記２つの基準画像を合成する画像合成部と、
を有する、（１）から（１２）のいずれかに記載の撮像装置。
　１、２：撮像装置
　２０：センサ部
　２１：画素アレイ部
　２２：行選択部
　２３：信号処理部
　２４：画素
　２５：光電変換回路
　２６：第１ソースフォロワ回路
　２７：信号保持回路
　２８：第２ソースフォロワ回路
　２９：スイッチ素子
　３０：ロジック部
　２３１：ＡＤ変換器
　２３２：処理回路
　２５１：受光素子
　２６１：第１増幅トランジスタ
　２７１：第１容量素子
　２７２：第２容量素子
　２７３：第１サンプルトランジスタ
　２７４：第２サンプルトランジスタ
　２８１：第２増幅トランジスタ
　２８２：選択トランジスタ
　ＶＳＬ：信号線

Claims (13)

  1. 　画角が最大の解像度で撮像対象領域を撮像した基準画像、および前記基準画像よりも低い解像度で前記撮像対象領域を撮像した縮小画像の画像データをそれぞれ生成するセンサ部と、
    　前記画像データを処理するロジック部と、を備え、
    　前記センサ部が、
    　前記撮像対象領域からの入射光を光電変換したアナログ画素信号をそれぞれ生成する複数の画素を有する画素アレイ部と、
    　前記解像度に応じて前記画素アレイ部から前記アナログ画素信号を出力する画素を選択する行選択部と、
    　前記行選択部によって選択された画素のアナログ画素信号をデジタル処理して前記画像データを生成し、前記画像データに前記解像度を示して前記ロジック部へ出力する信号処理部と、
    を有する、撮像装置。
  2. 　前記複数の画素の各々が、
    　前記入射光を光電変換する受光素子を有する光電変換回路と、
    　前記光電変換回路の出力信号を増幅する第１増幅トランジスタを有する第１ソースフォロワ回路と、
    　前記第１ソースフォロワ回路の出力信号を保持する信号保持回路と、
    　前記信号保持回路から読み出した信号を増幅する第２増幅トランジスタと、前記行選択部の制御に基づいて、前記第２増幅トランジスタで増幅された信号を前記アナログ画素信号として前記信号処理部に伝送するか否かを選択する選択トランジスタと、を有する第２ソースフォロワ回路と、
    を有する、請求項１に記載の撮像装置。
  3. 　前記解像度が低くなるにつれて、前記複数の画素の中でオン状態の選択トランジスタの数が少なくなる、請求項２に記載の撮像装置。
  4. 　前記画素アレイ部で前記複数の画素が行列状に配列され、
    　前記複数の画素の中で同じ画素列に属する画素の各々に設けられた選択トランジスタが、一つの信号線に共通に接続されている、請求項２に記載の撮像装置。
  5. 　前記センサ部が、前記行選択部の制御に基づいて、前記信号線同士を接続するか否かを切り替えるスイッチ素子をさらに有する、請求項４に記載の撮像装置。
  6. 　前記スイッチ素子は、前記画素の受光色の組み合わせが同じ画素列に接続された信号線同士を接続するか否かを切り替える、請求項５に記載の撮像装置。
  7. 　前記スイッチ素子は、行方向に一つ置きに離れて配置された信号線同士を接続するか否かを切り替える、請求項６に記載の撮像装置。
  8. 　前記行選択部は、前記スイッチ素子を前記選択トランジスタと同時にオンさせる、請求項５に記載の撮像装置。
  9. 　前記スイッチ素子が、Ｎチャネル型のＭＯＳトランジスタで構成されている、請求項５に記載の撮像装置。
  10. 　前記信号保持回路が、
    　前記光電変換回路をリセットした第１信号を保持する第１容量素子と、
    　前記行選択部の制御に基づいて、前記第１信号を前記第１容量素子に保持するタイミングを設定する第１サンプルトランジスタと、
    　前記光電変換回路の光電変換によって生成された第２信号を保持する第２容量素子と、
    　前記行選択部の制御に基づいて、前記第２信号を前記第２容量素子に保持するタイミングを設定する第２サンプルトランジスタと、
    を有する、請求項２に記載の撮像装置。
  11. 　前記解像度が、前記画像データのヘッダまたはフッタに示されている、請求項１に記載の撮像装置。
  12. 　前記信号処理部が、
    　前記アナログ画素信号をデジタル画素信号に変換するＡＤ変換器と、
    　前記デジタル画素信号に基づいて前記画像データを生成し、前記画像データに前記解像度を示して前記ロジック部へ出力する処理回路と、
    を有する、請求項１に記載の撮像装置。
  13. 　前記センサ部が、撮像タイミングが異なる２つの基準画像、および前記解像度が異なる複数の縮小画像の画像データをそれぞれ生成し、
    　前記ロジック部が、
    　前記複数の縮小画像に基づいて、前記基準画像における動体領域を検出する動体領域検出部と、
    　前記動体領域検出部の検出結果に基づいて、前記２つの基準画像を合成する画像合成部と、
    を有する、請求項１に記載の撮像装置。
PCT/JP2023/034185 2022-10-31 2023-09-21 撮像装置 WO2024095630A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022174909 2022-10-31
JP2022-174909 2022-10-31

Publications (1)

Publication Number Publication Date
WO2024095630A1 true WO2024095630A1 (ja) 2024-05-10

Family

ID=90930244

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/034185 WO2024095630A1 (ja) 2022-10-31 2023-09-21 撮像装置

Country Status (1)

Country Link
WO (1) WO2024095630A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019193184A (ja) * 2018-04-27 2019-10-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像装置の駆動方法
WO2021215105A1 (ja) * 2020-04-21 2021-10-28 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019193184A (ja) * 2018-04-27 2019-10-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像装置の駆動方法
WO2021215105A1 (ja) * 2020-04-21 2021-10-28 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子

Similar Documents

Publication Publication Date Title
US11832013B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
WO2020090460A1 (ja) センサ及び制御方法
TW202408216A (zh) 光檢測裝置
US11523079B2 (en) Solid-state imaging element and imaging device
US11582416B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
US11974057B2 (en) Solid-state imaging element and imaging device
US11516418B2 (en) Solid-state imaging apparatus
WO2020105634A1 (ja) 固体撮像装置および電子機器
US11451725B2 (en) Solid-state imaging element, imaging apparatus, and method for controlling solid-state imaging element
WO2022172586A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2022270034A1 (ja) 撮像装置、電子機器、および光検出方法
WO2024095630A1 (ja) 撮像装置
WO2023026576A1 (ja) 撮像装置及び電子機器
JP7489329B2 (ja) 撮像装置および撮像システム
WO2023067961A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2022172714A1 (ja) 固体撮像素子
WO2024116605A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2023026565A1 (ja) 撮像装置及び電子機器
WO2024042896A1 (ja) 光検出素子および電子機器
US20240080587A1 (en) Solid-state imaging device and electronic instrument
WO2024042864A1 (ja) 撮像装置
WO2023136093A1 (ja) 撮像素子、および電子機器
TW202315386A (zh) 攝像裝置及電子機器
TW202247639A (zh) 攝像裝置及電子機器
JP2021158396A (ja) 固体撮像素子及び電子機器