WO2024106196A1 - 固体撮像装置および電子機器 - Google Patents
固体撮像装置および電子機器 Download PDFInfo
- Publication number
- WO2024106196A1 WO2024106196A1 PCT/JP2023/039185 JP2023039185W WO2024106196A1 WO 2024106196 A1 WO2024106196 A1 WO 2024106196A1 JP 2023039185 W JP2023039185 W JP 2023039185W WO 2024106196 A1 WO2024106196 A1 WO 2024106196A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- pixel sharing
- photoelectric conversion
- units
- imaging device
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 88
- 238000006243 chemical reaction Methods 0.000 claims abstract description 121
- 238000012546 transfer Methods 0.000 claims abstract description 69
- 239000000758 substrate Substances 0.000 claims description 13
- 238000009825 accumulation Methods 0.000 claims description 11
- 230000001276 controlling effect Effects 0.000 claims description 8
- 230000002596 correlated effect Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 74
- 238000012545 processing Methods 0.000 description 53
- 238000004364 calculation method Methods 0.000 description 49
- 238000009792 diffusion process Methods 0.000 description 44
- 238000007667 floating Methods 0.000 description 44
- 238000000034 method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 230000000875 corresponding effect Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 101100243108 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) PDI1 gene Proteins 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000010391 action planning Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004260 weight control Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000001066 destructive effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 101100476641 Homo sapiens SAMM50 gene Proteins 0.000 description 1
- 102100035853 Sorting and assembly machinery component 50 homolog Human genes 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000035987 intoxication Effects 0.000 description 1
- 231100000566 intoxication Toxicity 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
Definitions
- This disclosure relates to solid-state imaging devices and electronic devices.
- the above-mentioned technology requires the placement of additional circuits in the pixel array in addition to the normal solid-state imaging device, which can result in a decrease in resolution and increased power consumption.
- the present disclosure provides a solid-state imaging device that enables the first stage of convolution calculations while suppressing a decrease in resolution and an increase in power consumption.
- the solid-state imaging device of the first aspect of the present disclosure includes a plurality of pixel sharing units, and at least one of the plurality of pixel sharing units includes a plurality of photoelectric conversion units that generate electric charge from light by photoelectric conversion, a storage unit that accumulates the electric charge generated by the plurality of photoelectric conversion units, and a plurality of first transistors that transfer the electric charge from the plurality of photoelectric conversion units to the storage unit and control the accumulation time of the electric charge.
- the pixel sharing unit includes a plurality of photoelectric conversion units, various patterns can be output by changing the exposure time of each photoelectric conversion unit and treating the read value from each photoelectric conversion unit as binary data.
- the present invention may further include a filter unit including N pixel sharing units (N is an integer of 2 or more) of the plurality of pixel sharing units, and the filter unit may include a plurality of second transistors that generate an addition signal of row components of the N power storage units of the N pixel sharing units, a plurality of third transistors that generate an addition signal of column components of the N power storage units of the N pixel sharing units, and M amplifier circuits (M is an integer of 1 or more) that amplify the addition signal of the row components and the addition signal of the column components.
- N is an integer of 2 or more
- M amplifier circuits M is an integer of 1 or more
- the pixel may further include M reset transistors that drain the charge from the photoelectric conversion unit or the power storage unit. This makes it possible to reduce power consumption compared to a case where a reset transistor is provided for each pixel sharing unit.
- the number M of the amplifier circuits in the filter unit may be less than the number N of the power storage units in the filter unit. This makes it possible to reduce power consumption compared to a case where an amplifier circuit is provided for each pixel sharing unit.
- the amplifier circuit may be a circuit that amplifies a voltage signal. This makes it possible to amplify the voltage signal in the filter unit and prevent attenuation of the signal in the circuit.
- the amplifier circuit may include an amplifier transistor and a selection transistor. This makes it possible to amplify the voltage signal in the filter unit and prevent attenuation of the signal in the circuit.
- the readout value in the one pixel sharing unit may be determined based on the amount of the charge generated by each of the plurality of photoelectric conversion units.
- the pixel sharing unit includes a plurality of photoelectric conversion units, various patterns can be output by changing the exposure time of each photoelectric conversion unit and treating the readout value from each photoelectric conversion unit as binary data.
- the charge of each photoelectric conversion unit in the one pixel sharing unit may be transferred individually to the storage unit. This allows the weighting of each photoelectric conversion unit to be changed and a convolution operation to be applied. Furthermore, the filter unit can realize a multiple channel function in the convolution operation by using each photoelectric conversion unit of the pixel sharing unit for a different convolution operation. Furthermore, since the readout unit reads out charges in the same number as the photoelectric conversion units of each pixel sharing unit, luminance signals are not mixed in the storage unit, and non-destructive readout is possible in the same number as the photoelectric conversion units shared by the pixel sharing unit.
- the read value in the one pixel sharing unit may be determined by repeatedly reading out the charge in the order of P phase and D phase by correlated double sampling, or by repeatedly reading out the charge in the D phase after reading out the P phase. This allows for more flexible circuit design in the solid-state imaging device.
- each of the plurality of first transistors may include a plurality of control lines that are independent of each other. This allows more detailed control of the transfer of each charge amount in the pixel sharing unit.
- the device may further include a fourth transistor having an overflow gate that controls an exposure start time, and the photoelectric conversion unit may change the amount of charge transferred based on the control of the fourth transistor.
- the exposure start time can be controlled for each photoelectric conversion unit in the pixel sharing unit. By controlling the exposure start time, the amount of charge transferred from the photoelectric conversion unit to the storage unit changes.
- the filter unit may further include one or more capacitance transistors that weight the multiple photoelectric conversion units with respect to the read value in the pixel sharing unit. This allows the weight of the luminance signal to be collectively applied to each filter unit with respect to the read value in the pixel sharing unit. Furthermore, by including multiple capacitance transistors, the filter unit can freely switch weight control.
- one of the plurality of pixel sharing units may include, as the plurality of photoelectric conversion units, a first photoelectric conversion unit having a first area and a second photoelectric conversion unit having a second area different from the first area. This allows the sensitivity of each photoelectric conversion unit to be changed. Furthermore, by including photoelectric conversion units having different areas, it is possible to change the weighting of the photoelectric conversion units when generating charges without adding any configuration.
- the device may further include a plurality of memory units each holding the charge generated by the plurality of photoelectric conversion units, and the plurality of first transistors may transfer the charge held by the plurality of memory units to the storage unit.
- the memory unit may temporarily hold the charge generated by the photoelectric conversion unit, and then the charge can be transferred to the storage unit based on the control of the transfer transistor.
- the effects of focal plane distortion can be reduced in electronic devices including this solid-state imaging device.
- one of the plurality of pixel sharing units may include four photoelectric conversion units as the plurality of photoelectric conversion units, and the four photoelectric conversion units may have a color arrangement in which the colors of two adjacent pixels are different from each other. This allows the filter unit to apply a convolution operation for each color arrangement for each photoelectric conversion unit of the pixel sharing unit, thereby realizing a plurality of channel functions.
- the four photoelectric conversion units may be arranged based on an RGB Bayer array. This allows the filter unit to apply a convolution operation for each color array to each photoelectric conversion unit of the pixel sharing unit, thereby realizing a multiple channel function.
- the plurality of photoelectric conversion units in a first pixel sharing unit of the plurality of pixel sharing units may have a different color arrangement from the plurality of photoelectric conversion units in a second pixel sharing unit of the plurality of pixel sharing units. This increases the number of photoelectric conversion units of the same color in the pixel sharing unit, thereby increasing the variation in calculations.
- the multiple photoelectric conversion units in the first pixel sharing unit may have the same color
- the multiple photoelectric conversion units in the second pixel sharing unit may have the same color. This increases the number of photoelectric conversion units of the same color in the pixel sharing unit, thereby increasing the variation in calculations.
- the pixel sharing unit may include a first substrate on which the pixel sharing unit is disposed, and a second substrate on which the second transistors, the third transistors, and the amplifier circuit are disposed. This eliminates the need to dispose a logic circuit on the first substrate, allowing the pixel area to be enlarged. Furthermore, the stacked structure reduces the cell size and shortens the wiring length of the power storage unit, which is expected to improve the conversion efficiency in the pixel.
- the electronic device of the second aspect of the present disclosure is an electronic device including an imaging device, the imaging device including a plurality of pixel sharing units, at least one of the plurality of pixel sharing units may include a plurality of photoelectric conversion units that generate electric charge from light by photoelectric conversion, a storage unit that accumulates the electric charge generated by the plurality of photoelectric conversion units, and a plurality of first transistors that transfer the electric charge from the plurality of photoelectric conversion units to the storage unit and control the accumulation time of the electric charge.
- the pixel sharing unit includes a plurality of photoelectric conversion units, various patterns can be output by changing the exposure time of each photoelectric conversion unit and treating the read value from each photoelectric conversion unit as binary data.
- FIG. 1 is a block diagram showing an example of the configuration of an imaging apparatus according to a first embodiment.
- 1 is a block diagram showing an example of the configuration of a solid-state imaging device according to a first embodiment
- 4 is a diagram illustrating pixel sharing units arranged in a matrix in a pixel array section in the first embodiment.
- FIG. FIG. 2 is a diagram illustrating a configuration example of a readout unit in the first embodiment.
- 3 is a plan view showing a filter unit and a plurality of pixel sharing units that constitute the filter unit in the first embodiment.
- FIG. 4A to 4C are circuit diagrams of a pixel sharing unit and a filter unit according to the first embodiment, and a timing chart showing a processing example of the pixel sharing unit.
- FIG. 13 is a circuit diagram of a pixel sharing unit and a filter unit according to a third embodiment. 13 is a plan view showing a filter unit and a plurality of pixel sharing units that constitute the filter unit according to a fourth embodiment. FIG. 13 is a plan view showing a filter unit and a plurality of pixel sharing units that constitute the filter unit according to a fifth embodiment. FIG. FIG. FIG.
- FIG. 23 is a plan view showing a filter unit and a plurality of pixel sharing units that constitute the filter unit in a sixth embodiment.
- FIG. 23 is a plan view showing a filter unit and a plurality of pixel sharing units that constitute the filter unit in a seventh embodiment.
- 23 shows calculation examples (T1 to T3) of the convolution calculation in the seventh embodiment.
- 23 shows an example (T4 to Tn) of a convolution operation in the seventh embodiment.
- FIG. 23 is a plan view showing a filter unit and a plurality of pixel sharing units that constitute the filter unit in an eighth embodiment.
- 23 shows calculation examples (T1 to T3) of the convolution calculation in the eighth embodiment.
- 23 is a calculation example (T4) of a convolution calculation in the eighth embodiment.
- FIG. 23 is a plan view showing a filter unit and a plurality of pixel sharing units that constitute the filter unit in a ninth embodiment.
- FIG. 1 is a block diagram showing an example of the configuration of a vehicle control system.
- FIG. 2 is a diagram showing an example of a sensing region.
- FIG. 1 is a block diagram showing an example of the configuration of an image capturing apparatus 100 according to the first embodiment.
- the imaging device 100 includes an imaging lens 110, a solid-state imaging device 200, a recording unit 120, a control unit 130, an analysis unit 140, a wireless communication unit 150, and a speaker unit 160.
- the imaging device 100 is, for example, a smartphone, a mobile phone, or a PC (Personal Computer).
- the imaging lens 110 collects incident light and guides it to the solid-state imaging device 200.
- the solid-state imaging device 200 has a number of gradation pixels. Each gradation pixel outputs a luminance signal according to the amount of light it receives. In the following, the gradation pixels may be simply referred to as "pixels.”
- the solid-state imaging device 200 can perform predetermined signal processing such as weighted addition at the analog signal stage, and outputs the processed data to the recording unit 120 via the signal line 209.
- the recording unit 120 records data from the solid-state imaging device 200.
- the control unit 130 controls the entire imaging device 100. For example, the control unit 130 controls the solid-state imaging device 200 to capture image data.
- the analysis unit 140 is capable of performing recognition processing using, for example, a neural network.
- This analysis unit 140 has an arithmetic processing unit 142.
- the arithmetic processing unit 142 is capable of causing the solid-state imaging device 200 to perform arithmetic processing, such as a convolution operation, on the data of each pixel captured by the solid-state imaging device 200 at the analog signal stage.
- the analysis unit 140 can also perform predetermined analysis processing, image processing, and the like, using, for example, the results of calculations by the calculation processing unit 142.
- calculation processing such as the convolution calculation performed by the calculation processing unit 142 as described above is performed by the solid-state imaging device 200 at the analog signal stage, and the subsequent calculation processing is performed by the calculation processing unit 142.
- the wireless communication unit 150 performs wireless communication with an external device. This allows it to receive content and the like from an external server and record it in the recording unit 120 via the control unit 130.
- the control unit 130 then causes the display unit 170 to display, for example, an image based on this content.
- the speaker unit 160 is equipped with a highly directional speaker and can transmit audio information only to the user. This speaker unit 160 can change the direction in which the audio is transmitted.
- FIG. 2 is a block diagram showing an example of the configuration of a solid-state imaging device 200 in the first embodiment.
- the solid-state imaging device 200 has a pixel array section 4, a storage control circuit 210, a first access control circuit 211a, a second access control circuit 211b, a third access control circuit 211c, a readout section 212, a signal processing section 213, a timing control circuit 214, and an output interface 215.
- FIG. 3 is a schematic diagram showing pixel sharing units arranged in a matrix in a pixel array section in the first embodiment.
- Figure 3 shows the X-axis, Y-axis, and Z-axis, which are perpendicular to each other.
- the X-axis and Y-axis correspond to the lateral (horizontal) direction
- the Z-axis corresponds to the longitudinal (vertical) direction.
- the +Z direction corresponds to the upward direction
- the -Z direction corresponds to the downward direction. Note that the -Z direction may or may not strictly coincide with the direction of gravity. The same applies to the other figures below.
- the configuration of the pixel array section 4 will be described with reference to FIG. 3.
- the pixel array section 4 is, for example, a CMOS image sensor.
- the pixel array section 4 includes a plurality of pixel sharing units 1.
- Each pixel sharing unit 1 includes a plurality of pixels 5, and each pixel 5 includes one photodiode PD and one transfer transistor TRG (not shown in FIG. 3).
- the photodiode PD generates electric charge from light by photoelectric conversion.
- a plurality of photodiodes PD are two-dimensionally arranged in a matrix (array), with each pixel sharing unit 1 including four photodiodes PD (pixels).
- the photodiodes PD generate a corresponding amount of charge by adjusting the exposure time.
- the pixel sharing unit 1 expresses a multiplication operation by adjusting the amount of charge generated according to the ratio of the exposure time.
- the pixel array section 4 shares a floating diffusion FD for each pixel sharing unit 1.
- a sum operation is performed on the accumulated charges for each floating diffusion FD in units of the filter unit 2.
- the accumulation control circuit 210 controls the photodiodes PD.
- the accumulation control circuit 210 can control the generation of charge and the resetting of charge in the multiple photodiodes PD.
- the first access control circuit 211a can control the row direction (X-axis direction) connections of each floating diffusion FD in the pixel sharing unit 1, for example, via signal lines HSW1-3 (see FIG. 5).
- the second access control circuit 211b can control the column direction (Y-axis direction) connections of each floating diffusion FD in the pixel sharing unit 1, for example, via signal lines VSW1-3 (see FIG. 5).
- the third access control circuit 211c works in conjunction with the first access control circuit 211a and the second access control circuit 211b to control the reset of the floating diffusion FD, charge accumulation, and amplification of the luminance signal according to the accumulated charge of the floating diffusion FD.
- FIG. 4 shows an example of the configuration of the readout unit in the first embodiment.
- the readout unit 212 has a plurality of constant current sources 220 and a plurality of analog-to-digital (Analog to Digital) conversion units ADC230.
- the plurality of constant current sources 220 and the plurality of AD conversion units ADC230 are provided corresponding to the plurality of signal lines VSL, respectively.
- constant current source 220 One end of the constant current source 220 is connected to the corresponding signal line VSL, and the other end is grounded. This constant current source 220 generates a current corresponding to the accumulated charge of the selected floating diffusion FD as a luminance signal for the corresponding signal line VSL.
- the AD conversion unit ADC230 is configured to perform AD conversion based on the signal Sig on the corresponding signal line VSL. That is, the AD conversion unit ADC230 converts the analog gradation luminance signal Sig supplied via the vertical signal line VSL into a digital signal by time division. This AD conversion unit ADC230 supplies the generated digital signal to the signal processing unit 213.
- the signal processing unit 213 performs predetermined signal processing on the digital signal from the reading unit 212.
- This signal processing unit 213 supplies data indicating the processing result and a detection signal to the recording unit 120 via the signal line 209.
- the timing control circuit 214 controls the timing of each component of the solid-state imaging device 200 based on the time stamp information. For example, the timing control circuit 214 controls the processing timing of the storage control circuit 210, the first access control circuit 211a, the second access control circuit 211b, the third access control circuit 211c, the readout unit 212, and the signal processing unit 213.
- the output interface 215 outputs image data, which is a digital signal supplied from the signal processing unit 213, to the recording unit 120.
- FIG. 5 is a plan view showing a filter unit and a number of pixel sharing units that make up the filter unit in the first embodiment.
- the pixel sharing unit 1 has two photodiodes PD in the row direction and two in the column direction (hereinafter referred to as 2 ⁇ 2).
- the pixel sharing unit 1 also has a floating diffusion FD that accumulates the charge generated from each photodiode PD.
- the photodiode PD is an example of a photoelectric conversion section.
- the floating diffusion FD is an example of a power storage section.
- the floating diffusion FD accumulates the charge generated by the photodiode PD.
- the pixel sharing unit 1 also has a transfer transistor TRG that transfers the charge generated by each photodiode PD to the floating diffusion FD and controls the accumulation time of the charge.
- the transfer transistor TRG is an example of a first transistor.
- the pixel sharing unit 1 has a transfer transistor TRG for each photodiode PD, and therefore has four transfer transistors TRG for one pixel sharing unit 1.
- the number of photodiodes PD and transfer transistors TRG included in the pixel sharing unit 1 is not limited to this.
- the pixel sharing unit 1 may include any number of photodiodes PD and transfer transistors TRG.
- the pixel sharing unit 1 is configured such that multiple photodiodes PD and multiple transfer transistors TRG share one floating diffusion FD.
- each transfer transistor TRG is disposed between the corresponding photodiode PD and floating diffusion FD.
- the photodiode PD generates charge when exposed to light, and transfers the charge to the floating diffusion FD when the transfer transistor TRG is conductive. The operation of the pixel sharing unit 1 will be described later.
- the filter unit 2 includes a plurality of the pixel-sharing units 1 described above.
- the filter unit 2 serves as a filter matrix (kernel) in the convolution calculation.
- the filter unit 2 includes three pixel-sharing units 1 in the row direction and three in the column direction (hereinafter referred to as 3 ⁇ 3).
- Nine pixel-sharing units 1 constitute one filter unit 2, which performs the convolution calculation while moving within the calculation range.
- the number of pixel-sharing units 1 shared by the filter unit is not limited to 3 ⁇ 3, and any integer N (N is an integer equal to or greater than 2) can be used.
- the filter unit 2 also includes, for each pixel sharing unit 1, a transistor HSW that performs an addition operation between floating diffusions FD in the row direction for the charges stored in the floating diffusions FD, and a transistor VSW that performs an addition operation between floating diffusions FD in the column direction.
- the transistor HSW is an example of a second transistor
- the transistor VSW is an example of a third transistor.
- the transistors HSW and VSW are provided for each pixel sharing unit 1, but the configuration is not limited to this.
- Each pixel sharing unit 1 only needs to include at least one transistor HSW and one transistor VSW.
- the filter unit 2 also includes an amplifier circuit 3 including a selection transistor SEL and an amplifier transistor AMP.
- the configuration of the amplifier circuit 3 is not limited to this.
- the amplifier circuit 3 can be configured to employ various circuits that amplify voltage signals, such as a source follower or a source-grounded circuit.
- the filter unit 2 also includes a reset transistor RST. At least one amplifier circuit 3 and one reset transistor RST need only be provided for each filter unit 2.
- the number M of amplifier circuits 3 and reset transistors RST in the filter unit 2 is smaller than the number N of power storage units in the filter unit 2. The operation of the filter unit 2 will be described later.
- FIG. 6 is a circuit diagram of a pixel sharing unit and a filter unit in the first embodiment, and a timing chart showing an example of processing of the pixel sharing unit.
- FIG. 6A shows a circuit diagram of the pixel sharing unit and the filter unit
- FIG. 6B shows a timing chart showing an example of processing by the pixel sharing unit.
- FIG. 5 shows a timing chart of the output signals Trg1 to Trg4 of the transfer transistors TRG1 to 4, the output signal Rst of the reset transistor RST, and the output signal Sel of the selection transistor SEL.
- the vertical axis represents the signal level, and the horizontal axis represents the time.
- a high-level signal of the signal Rst causes the reset transistor RST of the filter unit 2 to become conductive, and the transistors HSW and VSW become conductive based on the control signals Hsw1 to 3 and the control signals Vsw1 to 3.
- the range of the transistors HSW and VSW connected to the floating diffusion FD is changed according to the calculation range of the filter unit 2.
- each photodiode PD When the control signals Trg1 to 4 become high level based on the connection of the transistors HSW and VSW, the transfer transistors TRG1 to 4 become conductive, and the charge in each photodiode PD and each floating diffusion FD is discharged to the power supply VDD and initialized. Then, when the control signals Trg1 to 4 transition from a high level signal to a low level signal, each photodiode PD generates a charge according to the amount of light received during the accumulation time.
- the signal Rst becomes a low-level signal and the reset transistor RST becomes conductive
- the signal Rst becomes a high-level signal again. This causes the charge in the floating diffusion FD to be discharged to the power supply VDD and initialized again.
- the signal Rst becomes a low-level signal again and the control signals Trg1 to Trg4 become high-level signals
- the charge in each photodiode PD is transferred to each floating diffusion FD.
- each pixel sharing unit 1 has four photodiodes PD (2 x 2), so by slightly changing the exposure time for each photodiode PD and treating the output from each photodiode PD as binary data, it is possible to output 16 patterns of read values.
- the control lines of the transfer transistors TRG1 to TRG4 may be independent.
- one filter unit 2 has nine pixel sharing units 1, and one pixel sharing unit 1 has four photodiodes PD. Therefore, if the control lines are independent, the total number of control lines for the transfer transistors TRG is 36. Compared to the case where the control lines are commonly connected, each transfer transistor TRG1 to TRG4 can be controlled independently, and therefore the transfer control of each charge amount can be performed in more detail in the pixel sharing unit 1.
- the row components (X-axis components) of the charges stored in the floating diffusion FD of each pixel sharing unit 1 are added based on the connections of the transistors HSW to generate an added signal.
- the column components (Y-axis components) are added based on the connections of the transistors VSW to generate an added signal.
- the pixel sharing unit 1 represents a product operation in the convolution operation by adjusting the exposure time of each photodiode PD.
- the filter unit 2 represents a sum operation by adding up the charges accumulated in the floating diffusion FD.
- Figures 7 and 8 show an example of a convolution operation in the first embodiment.
- FIGS. 7 and 8 show the calculation range of the filter unit 2 at specific times T1 to T6. As shown in FIG. 7, at time T1, the filter unit 2 performs convolution calculations on multiple pixel sharing units 1 in the upper left corner of the pixel array section 4. In this example, a 3x3 filter unit 2 performs convolution calculations on nine pixel sharing units 1.
- filter unit 2 performs a convolution operation at a position moved to the right from the position at time T1. Similarly, at time T3, filter unit 2 performs a convolution operation at a position moved to the right from the position at time T2. Filter unit 2 performs a convolution operation on the target range while moving to the right.
- the filter unit 2 performs an example of a convolution operation on the nine pixel sharing units 1 in the upper right. In this way, the filter unit 2 performs a convolution operation for the same column, moving from the left end to the right end.
- the filter unit 2 performs an example of a convolution operation at a position moved downward from the position at time T1.
- the filter unit 2 performs an example of a convolution operation at a position moved right from the position at time T5.
- the filter unit 2 changes the calculation range for the corresponding pixel sharing unit 1 and performs convolution calculations at all positions.
- the readout value in one pixel sharing unit 1 may be determined by repeatedly reading out the charge in the order of P phase and D phase using correlated double sampling, or by repeatedly reading out the charge in the D phase after reading out the P phase. This allows for more flexible circuit design in the solid-state imaging device 200.
- the first stage of convolution calculation function can be realized in the solid-state imaging device 200.
- the pixel-sharing unit 1 since the pixel-sharing unit 1 has multiple photodiodes PD, various patterns can be output by changing the exposure time of each photodiode PD and treating the read value from each photodiode PD as binary data. For example, in a pixel-sharing unit 1 having 2 x 2 photodiodes PD, 16 types of read values can be output per pixel-sharing unit 1 by treating the charge accumulated in each photodiode PD as binary data.
- the pixel array section 4 does not need to include additional circuits in the filter unit 2, and it is possible to avoid the reduction in resolution that would accompany processing by additional circuits.
- the reading unit 212 reads out the luminance signal
- the luminance signal is read out after the convolution operation, so there is no need to repeatedly read out the luminance signal, and power consumption can be reduced.
- the filter unit 2 it is sufficient for the filter unit 2 to have at least one reset transistor RST, and power consumption can be reduced compared to when a reset transistor RST is provided for each pixel sharing unit 1.
- the filter unit 2 can amplify the voltage signal in the filter unit 2, and attenuation of the signal in the circuit can be prevented. Furthermore, the filter unit 2 only needs to have at least one amplifier circuit 3, and power consumption can be reduced compared to when an amplifier circuit 3 is provided for each pixel sharing unit 1.
- Second Embodiment 9 and 10 are calculation examples of the convolution calculation in the second embodiment.
- each pixel sharing unit 1 is similar to that shown in FIG. 5, and the circuit diagram and timing chart of the filter unit 2 are similar to those shown in FIG. 6.
- each photodiode PD in the pixel-sharing unit 1 is read out separately by the readout unit 212.
- this control can be achieved by controlling the conduction of the transfer transistor TRG and changing the timing at which the charges generated by each photodiode PD are transferred to the floating diffusion FD.
- the filter unit 2 represents an example of applying a convolution operation to the upper left photodiode PD of each pixel sharing unit 1.
- the filter unit 2 represents an example of applying a convolution operation to the upper right photodiode PD of each pixel sharing unit 1
- the filter unit 2 represents an example of applying a convolution operation to the lower left photodiode PD of each pixel sharing unit 1.
- the filter unit 2 applies the convolution operation to the lower right photodiode PD of each pixel sharing unit 1.
- the filter unit 2 applies the convolution operation to the upper left photodiode PD at a position moved to the left from the position at time T4. In this way, after applying the convolution operation to each photodiode PD of the pixel sharing unit 1, the filter unit 2 applies the convolution operation to the same column from the left end to the right end.
- filter unit 2 After completing the convolution calculation for the same column, filter unit 2 performs the convolution calculation at time Tn at a position that is one pixel sharing unit 1 below the position at time T1.
- the filter unit 2 changes the calculation range for the corresponding pixel sharing unit 1 and applies the convolution calculation at all positions.
- the order in which the convolution operations are applied is not limited to this. Various orders can be adopted in addition to the method exemplified in this embodiment.
- the read value in one pixel sharing unit 1 may be determined by repeatedly reading out the charge in the order of P phase and D phase using correlated double sampling, or by repeatedly reading out the charge in the D phase after reading out the P phase. This allows for more flexible circuit design in the solid-state imaging device 200.
- the filter unit 2 can be used for a separate convolution calculation for each photodiode PD in the pixel sharing unit 1.
- the filter unit 2 can apply a different convolution calculation to each photodiode PD in the pixel sharing unit 1, thereby changing the weighting of each photodiode PD and applying the convolution calculation.
- the filter unit 2 can realize multiple channel functions in the convolution calculation by using each photodiode PD of the pixel sharing unit 1 for a different convolution calculation.
- the readout unit 212 reads out charges for the number of photodiodes PD in each pixel sharing unit 1, so that luminance signals are not mixed in the floating diffusion FD, and non-destructive readout is possible for the number of photodiodes PD shared by the pixel sharing unit 1.
- FIG. 11 is a circuit diagram of a pixel sharing unit and a filter unit according to the third embodiment.
- each photodiode PD in the pixel sharing unit 1 includes a transfer transistor (OFG) including an overflow gate.
- the photodiode PD is disposed between the transfer transistor including the overflow gate and the transfer transistor TR.
- the transfer transistor including the overflow gate is an example of a fourth transistor.
- the filter unit 2 can control the exposure start time for each photodiode PD in the pixel sharing unit 1. By controlling the exposure start time, the amount of charge transferred from the photodiode PD to the floating diffusion FD changes.
- FIG. 12 is a plan view showing a filter unit and a plurality of pixel sharing units that constitute the filter unit in the fourth embodiment.
- the pixel sharing unit 1 includes 2 ⁇ 2 photodiodes PDa and PDb, a transfer transistor TRG, and a floating diffusion FD.
- each transfer transistor TRG is disposed between the corresponding photodiode PDa or PDb and the floating diffusion FD.
- the filter unit 2 further includes a capacitive transistor FDG that weights the multiple photodiodes PD with respect to the read values in the pixel sharing unit 1.
- the filter unit 2 can freely determine the weighting coefficient based on the amount of charge stored in the capacitive transistor FDG.
- the capacitive transistor FDG allows the filter unit 2 to collectively weight each read value with the same coefficient.
- FIG. 12 shows an example in which one filter unit 2 has one capacitance transistor FDG, but one filter unit 2 may have multiple capacitance transistors FDG.
- the filter unit 2 can be configured to have multiple capacitance transistors FDG, allowing the weight control for the read value in the pixel sharing unit 1 to be switched.
- the weighting of the luminance signal for the read values in the pixel sharing unit 1 can be performed collectively for each filter unit 2.
- the filter unit 2 can freely switch weight control.
- FIG. 13 is a plan view showing a filter unit and a plurality of pixel sharing units that constitute the filter unit according to the fifth embodiment.
- the pixel sharing unit 1 includes 2 ⁇ 2 photodiodes PDa and PDb, a transfer transistor TRG, and a floating diffusion FD.
- each transfer transistor TRG is disposed between the corresponding photodiode PDa or PDb and the floating diffusion FD.
- the pixel sharing unit 1 is configured such that the area of the upper left and lower right photodiodes PDa is different from the area of the upper right and lower left photodiodes PDb.
- the photodiode PDa is configured to have a larger area than the photodiode PDb.
- the pixel sharing unit 1 can change the sensitivity by changing the area size of the photodiodes PDa and PDb. That is, in this example, the photodiode PDa has a larger area and a higher sensitivity than the photodiode PDb, so that charge is more likely to be generated during exposure and is weighted more heavily.
- the pixel sharing unit 1 is configured to include two photodiodes PDa and two photodiodes PDb, each with a different area, but the relationship in area and number of each photodiode is not limited to this. It is sufficient that the pixel sharing unit 1 is configured to include a first photoelectric conversion unit having a certain area and a photoelectric conversion unit having an area different from the certain area among the multiple pixels of the pixel sharing unit 1.
- the certain area is an example of the first area
- the area different from the certain area is an example of the second area.
- the photodiode having the first area is an example of the first photoelectric conversion unit
- the photodiode having the second area is an example of the second photoelectric conversion unit.
- the pixel sharing unit 1 is provided with a first photoelectric conversion section having a first area and a second photoelectric conversion section having a second area different from the first area, thereby making it possible to change the sensitivity of each pixel 5.
- the pixel sharing unit 1 can change the weighting of the pixels 5 when generating charge without adding any additional configuration.
- FIG. 14 is a plan view showing a filter unit and a plurality of pixel sharing units that constitute the filter unit in the sixth embodiment.
- the pixel sharing unit 1 includes 2 ⁇ 2 photodiodes PD, a transfer transistor TRG, a floating diffusion FD, and a memory unit MEM that holds the charge generated by each photodiode PD.
- the memory unit MEM is disposed between the corresponding photodiode PD and the transfer transistor TRG.
- the memory unit MEM temporarily holds the charge generated by the photodiode PD, and transfers the held charge to the floating diffusion FD when each transfer transistor TRG is conductive.
- the pixel sharing unit 1 is configured to include 2x2 memory units MEM, but the number of photodiodes PD, memory units MEM, and transfer transistors TRG is not limited to this.
- the pixel sharing unit 1 may include any number of photodiodes PD, memory units MEM, and transfer transistors TRG.
- the charge generated by the photodiode PD can be temporarily stored in the memory unit MEM, and then the pixel sharing unit 1 can transfer the charge to the floating diffusion FD based on the control of the transfer transistor TRG.
- FIG. 15 is a plan view showing a filter unit and a plurality of pixel sharing units that constitute the filter unit according to the seventh embodiment.
- the pixel sharing unit 1 includes 2 ⁇ 2 photodiodes PD, transfer transistors TRG, and a floating diffusion FD.
- Each transfer transistor TRG is disposed between the corresponding photodiode PD and floating diffusion FD in a planar view.
- each photodiode PD has a different color arrangement from the adjacent photodiode PD.
- Adjacent photodiodes PD refer to the photodiode PD located on the side of a certain photodiode PD in the row or column direction.
- the color arrangement of the photodiodes PD in the pixel sharing unit 1 is based on the Bayer array, with the upper left being red R, the upper right being green Gr, the lower left being green Gb, and the lower right being blue B.
- This color arrangement is realized, for example, by providing a color filter on the photodiode PD.
- the number of photodiodes PD and transfer transistors TRG included in the pixel sharing unit 1 is not limited to this.
- the pixel sharing unit 1 may include any number of photodiodes PD and transfer transistors TRG.
- the color arrangement of each photodiode PD is not limited to the Bayer arrangement. For example, various color arrangements such as an RGBW arrangement can be adopted.
- Figures 16 and 17 show an example of a convolution operation in the seventh embodiment.
- circuit diagram and timing chart of the filter unit are the same as those in Figure 6.
- each photodiode PD in the pixel sharing unit 1 is read separately by the readout unit 212.
- the filter unit 2 represents an example of applying a convolution operation to the upper left photodiode PD (red R) of each pixel sharing unit 1.
- the filter unit 2 represents an example of applying a convolution operation to the upper right photodiode PD (green Gr) of each pixel sharing unit 1.
- the filter unit 2 represents an example of applying a convolution operation to the lower left photodiode PD (green Gb) of each pixel sharing unit 1.
- the filter unit 2 applies the convolution operation to the lower right photodiode PD (blue B) of each pixel sharing unit 1.
- the filter unit 2 applies the convolution operation at a position moved one pixel sharing unit 1 to the left from the position at time T4.
- the filter unit 2 again applies the convolution operation to the upper left photodiode PD (red R) of each pixel sharing unit 1.
- the filter unit 2 applies the convolution operation to each photodiode PD in the pixel sharing unit 1 for each color arrangement, and then applies the convolution operation for the same column from the left end to the right end.
- filter unit 2 applies the convolution operation at a position that is moved one pixel sharing unit 1 downward from the position at time T1.
- the order in which the convolution operations are applied is not limited to this. Various orders can be adopted in addition to the method exemplified in this embodiment.
- the filter unit 2 changes the calculation range for the corresponding pixel sharing unit 1 and applies the convolution calculation at all positions.
- the filter unit 2 can apply a convolution operation for each color arrangement to each photodiode PD in the pixel sharing unit 1, thereby realizing multiple channel functions.
- FIG. 18 is a plan view showing a filter unit and a plurality of pixel sharing units that constitute the filter unit in the eighth embodiment.
- the pixel-sharing unit 1 includes 2 ⁇ 2 photodiodes PD, transfer transistors TRG, and a floating diffusion FD.
- each transfer transistor TRG is disposed between the corresponding photodiode PD and floating diffusion FD.
- each photodiode PD in the pixel-sharing unit 1 has the same color arrangement.
- a pixel-sharing unit 1 has a color arrangement that differs from that of each of the photodiodes PD constituting adjacent pixel-sharing units 1.
- An adjacent pixel-sharing unit 1 refers to a pixel-sharing unit 1 located on the side of a pixel-sharing unit 1 in the row or column direction.
- the multiple photodiodes PD in a pixel sharing unit 1 have a different color arrangement from the multiple photodiodes PD in another adjacent pixel sharing unit 1. Furthermore, it is sufficient that the multiple photodiodes PD in a pixel sharing unit 1 have the same color, and the multiple photodiodes PD in another adjacent pixel sharing unit 1 have the same color.
- a pixel sharing unit 1 is an example of a first pixel sharing unit, and the other adjacent pixel sharing unit 1 is an example of a second pixel sharing unit.
- each photodiode PD in the pixel sharing unit 1 has a color arrangement based on the Bayer array, with 2x2 pixel sharing units being one color arrangement unit.
- each photodiode PD in the upper left pixel sharing unit 1 has a red R color arrangement.
- each photodiode PD in the pixel sharing unit 1 adjacent to the right has a green Gr color arrangement.
- each photodiode PD in the pixel sharing unit 1 adjacent to the lower side has a green Gb color arrangement.
- each photodiode PD in the pixel sharing unit 1 at the lower right has a blue B color arrangement.
- the color arrangement in each photodiode PD in the pixel sharing unit 1 is repeated in this unit. Furthermore, this color arrangement is realized, for example, by providing a color filter on the photodiode PD.
- the number of photodiodes PD and transfer transistors TRG included in the pixel sharing unit 1 is not limited to this.
- the pixel sharing unit 1 may include any number of photodiodes PD and transfer transistors TRG.
- the color arrangement of each photodiode PD is not limited to the Bayer arrangement.
- the color arrangement of each photodiode PD can adopt various color arrangements such as an RGBW arrangement.
- the 5x5 pixel sharing unit 1 is used as the filter unit 2.
- the filter unit 2 applies a convolution operation to each pixel sharing unit 1 that has the same color arrangement.
- Figures 19 and 20 show an example of a convolution operation in the eighth embodiment.
- circuit diagram and timing chart of the filter unit are the same as those in Figure 7.
- the filter unit 2 applies a convolution operation to the photodiode PD having a red R color arrangement for each pixel sharing unit 1.
- the filter unit 2 applies a convolution operation to the photodiode PD having a green Gr color arrangement at a position where the pixel sharing unit 1 is moved one pixel sharing unit 1 to the right from the position at time T1.
- the filter unit 2 applies a convolution operation to the photodiode PD having a green Gb color arrangement at a position where the pixel sharing unit 1 is moved one pixel sharing unit 1 down and then one pixel sharing unit 1 to the left from the position at time T2.
- the filter unit 2 applies a convolution operation to a photodiode PD having a blue B color arrangement at a position where it has moved one pixel sharing unit 1 to the right from the position at time T3.
- the subsequent operations are omitted, but the filter unit 2 changes the operation range for the relevant pixel sharing unit 1 and applies the convolution operation at all positions.
- the order in which the convolution operations are applied is not limited to this. Various orders can be adopted in addition to the method exemplified in this embodiment.
- the number of photodiodes PD of the same color is increased in the pixel sharing unit 1, which increases the variation in calculations.
- FIG. 21 is a plan view showing a filter unit and a plurality of pixel sharing units that constitute the filter unit in the ninth embodiment.
- the pixel sharing unit 1 includes 2 ⁇ 2 photodiodes PD, transfer transistors TRG, and a floating diffusion FD.
- Each transfer transistor TRG is disposed between the corresponding photodiode PD and floating diffusion FD in a plan view.
- the photodiode PD, transfer transistor TRG, and floating diffusion FD are arranged on a first substrate. Furthermore, logic circuits such as transistor VSW, transistor HSW, amplifier circuit 3, and reset transistor RST are arranged on a second substrate. The first substrate is arranged (stacked) on the second substrate. These substrates are electrically connected through connection parts such as vias. Note that in addition to vias, connections can also be made using Cu-Cu junctions or bumps.
- the number of photodiodes PD and transfer transistors TRG included in the pixel sharing unit 1 is not limited to this.
- the pixel sharing unit 1 may include any number of photodiodes PD and transfer transistors TRG.
- the pixel sharing unit 1 does not need to have a logic circuit disposed on the first substrate, so the area of the photodiode PD can be increased.
- the pixel array section 4 has a stacked structure, which reduces the cell size and shortens the wiring length of the floating diffusion FD, and is therefore expected to improve the conversion efficiency of the photodiode PD.
- FIG. 22 is a block diagram showing an example of the configuration of a vehicle control system 11, which is an example of a mobility device control system to which the present technology is applied.
- the vehicle control system 11 is installed in the vehicle 10 and performs processing related to driving assistance and autonomous driving of the vehicle 10.
- the vehicle control system 11 includes a vehicle control ECU (Electronic Control Unit) 21, a communication unit 22, a map information storage unit 23, a location information acquisition unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a memory unit 28, a driving assistance/automated driving control unit 29, a DMS (Driver Monitoring System) 30, an HMI (Human Machine Interface) 31, and a vehicle control unit 32.
- vehicle control ECU Electronic Control Unit
- a communication unit 22 includes a communication unit 22, a map information storage unit 23, a location information acquisition unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a memory unit 28, a driving assistance/automated driving control unit 29, a DMS (Driver Monitoring System) 30, an HMI (Human Machine Interface) 31, and a vehicle control unit 32.
- the vehicle control ECU 21, communication unit 22, map information storage unit 23, position information acquisition unit 24, external recognition sensor 25, in-vehicle sensor 26, vehicle sensor 27, memory unit 28, driving assistance/automatic driving control unit 29, driver monitoring system (DMS) 30, human machine interface (HMI) 31, and vehicle control unit 32 are connected to each other so as to be able to communicate with each other via a communication network 41.
- the communication network 41 is composed of an in-vehicle communication network or bus that complies with a digital two-way communication standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), or Ethernet (registered trademark).
- the communication network 41 may be used differently depending on the type of data being transmitted.
- CAN may be applied to data related to vehicle control
- Ethernet may be applied to large-volume data.
- each part of the vehicle control system 11 may be directly connected without going through the communication network 41, using wireless communication intended for communication over relatively short distances, such as near field communication (NFC) or Bluetooth (registered trademark).
- NFC near field communication
- Bluetooth registered trademark
- the vehicle control ECU 21 is composed of various processors, such as a CPU (Central Processing Unit) and an MPU (Micro Processing Unit).
- the vehicle control ECU 21 controls all or part of the functions of the vehicle control system 11.
- the communication unit 22 communicates with various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and transmits and receives various types of data. At this time, the communication unit 22 can communicate using multiple communication methods.
- the communication unit 22 communicates with servers (hereinafter referred to as external servers) on an external network via base stations or access points using wireless communication methods such as 5G (fifth generation mobile communication system), LTE (Long Term Evolution), and DSRC (Dedicated Short Range Communications).
- the external network with which the communication unit 22 communicates is, for example, the Internet, a cloud network, or an operator-specific network.
- the communication method that the communication unit 22 uses with the external network is not particularly limited as long as it is a wireless communication method that allows digital two-way communication at a communication speed equal to or higher than a predetermined distance.
- the communication unit 22 can communicate with a terminal present in the vicinity of the vehicle using P2P (Peer To Peer) technology.
- the terminal present in the vicinity of the vehicle can be, for example, a terminal attached to a mobile object moving at a relatively slow speed, such as a pedestrian or a bicycle, a terminal installed at a fixed position in a store, or an MTC (Machine Type Communication) terminal.
- the communication unit 22 can also perform V2X communication.
- V2X communication refers to communication between the vehicle and others, such as vehicle-to-vehicle communication with other vehicles, vehicle-to-infrastructure communication with roadside devices, vehicle-to-home communication with a home, and vehicle-to-pedestrian communication with a terminal carried by a pedestrian, etc.
- the communication unit 22 can, for example, receive from the outside a program for updating the software that controls the operation of the vehicle control system 11 (Over the Air).
- the communication unit 22 can further receive map information, traffic information, information about the surroundings of the vehicle 10, etc. from the outside.
- the communication unit 22 can transmit information about the vehicle 10 and information about the surroundings of the vehicle 10 to the outside.
- Information about the vehicle 10 that the communication unit 22 transmits to the outside includes, for example, data indicating the state of the vehicle 10, the recognition results by the recognition unit 73, etc.
- the communication unit 22 performs communication corresponding to a vehicle emergency notification system such as e-Call.
- the communication unit 22 receives electromagnetic waves transmitted by a road traffic information and communication system (VICS (Vehicle Information and Communication System) (registered trademark)) such as a radio beacon, optical beacon, or FM multiplex broadcasting.
- VICS Vehicle Information and Communication System
- the communication unit 22 can communicate with each device in the vehicle using, for example, wireless communication.
- the communication unit 22 can perform wireless communication with each device in the vehicle using a communication method that allows digital two-way communication at a communication speed equal to or higher than a predetermined speed via wireless communication, such as wireless LAN, Bluetooth, NFC, or WUSB (Wireless USB).
- the communication unit 22 can also communicate with each device in the vehicle using wired communication.
- the communication unit 22 can communicate with each device in the vehicle using wired communication via a cable connected to a connection terminal (not shown).
- the communication unit 22 can communicate with each device in the vehicle using a communication method that allows digital two-way communication at a communication speed equal to or higher than a predetermined speed via wired communication, such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), or MHL (Mobile High-definition Link).
- a communication method that allows digital two-way communication at a communication speed equal to or higher than a predetermined speed via wired communication, such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), or MHL (Mobile High-definition Link).
- devices in the vehicle refers to devices that are not connected to the communication network 41 in the vehicle.
- Examples of devices in the vehicle include mobile devices and wearable devices carried by passengers such as the driver, and information devices that are brought into the vehicle and temporarily installed.
- the map information storage unit 23 stores one or both of a map acquired from an external source and a map created by the vehicle 10.
- the map information storage unit 23 stores a three-dimensional high-precision map, a global map that is less accurate than a high-precision map and covers a wide area, etc.
- High-precision maps include, for example, dynamic maps, point cloud maps, and vector maps.
- a dynamic map is, for example, a map consisting of four layers of dynamic information, semi-dynamic information, semi-static information, and static information, and is provided to the vehicle 10 from an external server or the like.
- a point cloud map is a map composed of a point cloud (point group data).
- a vector map is, for example, a map that corresponds traffic information such as the positions of lanes and traffic lights to a point cloud map, and is adapted for ADAS (Advanced Driver Assistance System) and AD (Autonomous Driving).
- the point cloud map and vector map may be provided, for example, from an external server, or may be created by the vehicle 10 based on sensing results from the camera 51, radar 52, LiDAR 53, etc. as a map for matching with a local map described below, and stored in the map information storage unit 23.
- map data of, for example, an area of several hundred meters square regarding the planned route that the vehicle 10 will travel is acquired from the external server, etc., in order to reduce communication capacity.
- the location information acquisition unit 24 receives GNSS signals from Global Navigation Satellite System (GNSS) satellites and acquires location information of the vehicle 10.
- GNSS Global Navigation Satellite System
- the acquired location information is supplied to the driving assistance/automated driving control unit 29.
- the location information acquisition unit 24 is not limited to a method using GNSS signals, and may acquire location information using a beacon, for example.
- the external recognition sensor 25 includes various sensors used to recognize the situation outside the vehicle 10, and supplies sensor data from each sensor to each part of the vehicle control system 11. The type and number of sensors included in the external recognition sensor 25 are optional.
- the external recognition sensor 25 includes a camera 51, a radar 52, a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) 53, and an ultrasonic sensor 54.
- the external recognition sensor 25 may be configured to include one or more types of sensors among the camera 51, the radar 52, the LiDAR 53, and the ultrasonic sensor 54.
- the number of cameras 51, radars 52, LiDAR 53, and ultrasonic sensors 54 is not particularly limited as long as it is a number that can be realistically installed on the vehicle 10.
- the types of sensors included in the external recognition sensor 25 are not limited to this example, and the external recognition sensor 25 may include other types of sensors. Examples of the sensing areas of each sensor included in the external recognition sensor 25 will be described later.
- the imaging method of camera 51 is not particularly limited.
- cameras of various imaging methods such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, and an infrared camera, which are imaging methods capable of distance measurement, can be applied to camera 51 as necessary.
- ToF Time Of Flight
- stereo camera stereo camera
- monocular camera stereo camera
- infrared camera infrared camera
- the present invention is not limited to this, and camera 51 may simply be used to obtain a photographed image, without being related to distance measurement.
- the external recognition sensor 25 can be equipped with an environmental sensor for detecting the environment relative to the vehicle 10.
- the environmental sensor is a sensor for detecting the environment such as the weather, climate, brightness, etc., and can include various sensors such as a raindrop sensor, a fog sensor, a sunlight sensor, a snow sensor, an illuminance sensor, etc.
- the external recognition sensor 25 includes a microphone that is used to detect sounds around the vehicle 10 and the location of sound sources.
- the in-vehicle sensor 26 includes various sensors for detecting information inside the vehicle, and supplies sensor data from each sensor to each part of the vehicle control system 11. There are no particular limitations on the types and number of the various sensors included in the in-vehicle sensor 26, so long as they are of the types and number that can be realistically installed in the vehicle 10.
- the in-vehicle sensor 26 may be equipped with one or more types of sensors including a camera, radar, a seating sensor, a steering wheel sensor, a microphone, and a biometric sensor.
- the camera equipped in the in-vehicle sensor 26 may be a camera using various imaging methods capable of measuring distances, such as a ToF camera, a stereo camera, a monocular camera, or an infrared camera. Without being limited to this, the camera equipped in the in-vehicle sensor 26 may be a camera simply for acquiring captured images, regardless of distance measurement.
- the biometric sensor equipped in the in-vehicle sensor 26 is provided, for example, on a seat, steering wheel, etc., and detects various types of biometric information of passengers such as the driver.
- the vehicle sensor 27 includes various sensors for detecting the state of the vehicle 10, and supplies sensor data from each sensor to each part of the vehicle control system 11. There are no particular limitations on the types and number of the various sensors included in the vehicle sensor 27, so long as they are of the types and number that can be realistically installed on the vehicle 10.
- the vehicle sensor 27 includes a speed sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU) that integrates these.
- the vehicle sensor 27 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the amount of accelerator pedal operation, and a brake sensor that detects the amount of brake pedal operation.
- the vehicle sensor 27 includes a rotation sensor that detects the number of rotations of the engine or motor, an air pressure sensor that detects the air pressure of the tires, a slip ratio sensor that detects the slip ratio of the tires, and a wheel speed sensor that detects the rotation speed of the wheels.
- the vehicle sensor 27 includes a battery sensor that detects the remaining charge and temperature of the battery, and an impact sensor that detects external impacts.
- the memory unit 28 includes at least one of a non-volatile storage medium and a volatile storage medium, and stores data and programs.
- the memory unit 28 is used, for example, as an EEPROM (Electrically Erasable Programmable Read Only Memory) and a RAM (Random Access Memory), and the storage medium may be a magnetic storage device such as a hard disc drive (HDD), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
- the memory unit 28 stores various programs and data used by each part of the vehicle control system 11.
- the memory unit 28 includes an EDR (Event Data Recorder) and a DSSAD (Data Storage System for Automated Driving), and stores information about the vehicle 10 before and after an event such as an accident, and information acquired by the in-vehicle sensor 26.
- EDR Event Data Recorder
- DSSAD Data Storage System for Automated Driving
- the driving assistance/automated driving control unit 29 controls driving assistance and automatic driving of the vehicle 10.
- the driving assistance/automated driving control unit 29 includes an analysis unit 61, an action planning unit 62, and an operation control unit 63.
- the analysis unit 61 performs analysis processing of the vehicle 10 and the surrounding conditions.
- the analysis unit 61 includes a self-position estimation unit 71, a sensor fusion unit 72, and a recognition unit 73.
- the self-position estimation unit 71 estimates the self-position of the vehicle 10 based on the sensor data from the external recognition sensor 25 and the high-precision map stored in the map information storage unit 23. For example, the self-position estimation unit 71 generates a local map based on the sensor data from the external recognition sensor 25, and estimates the self-position of the vehicle 10 by matching the local map with the high-precision map.
- the position of the vehicle 10 is based on, for example, the center of the rear wheel pair axle.
- the local map is, for example, a three-dimensional high-precision map or an occupancy grid map created using technology such as SLAM (Simultaneous Localization and Mapping).
- the three-dimensional high-precision map is, for example, the point cloud map described above.
- the occupancy grid map is a map in which the three-dimensional or two-dimensional space around the vehicle 10 is divided into grids of a predetermined size, and the occupancy state of objects is shown on a grid-by-grid basis.
- the occupancy state of objects is indicated, for example, by the presence or absence of an object and the probability of its existence.
- the local map is also used, for example, in the detection and recognition processing of the situation outside the vehicle 10 by the recognition unit 73.
- the self-position estimation unit 71 may estimate the self-position of the vehicle 10 based on the position information acquired by the position information acquisition unit 24 and the sensor data from the vehicle sensor 27.
- the sensor fusion unit 72 performs sensor fusion processing to combine multiple different types of sensor data (e.g., image data supplied from the camera 51 and sensor data supplied from the radar 52) to obtain new information.
- Methods for combining different types of sensor data include integration, fusion, and association.
- the recognition unit 73 executes a detection process to detect the external situation of the vehicle 10, and a recognition process to recognize the external situation of the vehicle 10.
- the recognition unit 73 performs detection and recognition processing of the situation outside the vehicle 10 based on information from the external recognition sensor 25, information from the self-position estimation unit 71, information from the sensor fusion unit 72, etc.
- the recognition unit 73 performs detection processing and recognition processing of objects around the vehicle 10.
- Object detection processing is, for example, processing to detect the presence or absence, size, shape, position, movement, etc. of an object.
- Object recognition processing is, for example, processing to recognize attributes such as the type of object, and to identify a specific object.
- detection processing and recognition processing are not necessarily clearly separated, and there may be overlap.
- the recognition unit 73 detects objects around the vehicle 10 by performing clustering to classify a point cloud based on sensor data from the radar 52, the LiDAR 53, or the like into clusters of points. This allows the presence or absence, size, shape, and position of objects around the vehicle 10 to be detected.
- the recognition unit 73 detects the movement of objects around the vehicle 10 by performing tracking to follow the movement of the clusters of point clouds classified by clustering. This allows the speed and direction of travel (movement vector) of the objects around the vehicle 10 to be detected.
- the recognition unit 73 detects or recognizes vehicles, people, bicycles, obstacles, structures, roads, traffic lights, traffic signs, road markings, etc. based on image data supplied from the camera 51.
- the recognition unit 73 may also recognize the types of objects around the vehicle 10 by performing recognition processing such as semantic segmentation.
- the recognition unit 73 can perform recognition processing of traffic rules around the vehicle 10 based on the map stored in the map information storage unit 23, the result of the self-position estimation by the self-position estimation unit 71, and the result of the recognition of objects around the vehicle 10 by the recognition unit 73. Through this processing, the recognition unit 73 can recognize the positions and states of traffic lights, the contents of traffic signs and road markings, the contents of traffic regulations, and lanes on which travel is possible, etc.
- the recognition unit 73 can perform recognition processing of the environment around the vehicle 10.
- the surrounding environment that the recognition unit 73 recognizes may include weather, temperature, humidity, brightness, and road surface conditions.
- the behavior planning unit 62 creates a behavior plan for the vehicle 10. For example, the behavior planning unit 62 creates the behavior plan by performing route planning and route following processing.
- Global path planning is a process that plans a rough route from the start to the goal. This route planning is called trajectory planning, and also includes a process of local path planning that takes into account the motion characteristics of the vehicle 10 on the planned route and generates a trajectory that enables safe and smooth progress in the vicinity of the vehicle 10.
- Path following is a process of planning operations for traveling safely and accurately along a route planned by a route plan within a planned time.
- the action planning unit 62 can, for example, calculate the target speed and target angular velocity of the vehicle 10 based on the results of this path following process.
- the operation control unit 63 controls the operation of the vehicle 10 to realize the action plan created by the action planning unit 62.
- the operation control unit 63 controls the steering control unit 81, the brake control unit 82, and the drive control unit 83 included in the vehicle control unit 32 described below, and performs acceleration/deceleration control and directional control so that the vehicle 10 proceeds along the trajectory calculated by the trajectory plan.
- the operation control unit 63 performs cooperative control aimed at realizing ADAS functions such as collision avoidance or impact mitigation, following driving, maintaining vehicle speed, collision warning for the vehicle itself, and lane departure warning for the vehicle itself.
- the operation control unit 63 performs cooperative control aimed at automatic driving, which drives autonomously without the driver's operation.
- the DMS 30 performs processes such as authenticating the driver and recognizing the driver's state based on the sensor data from the in-vehicle sensors 26 and the input data input to the HMI 31 (described later).
- Examples of the driver's state to be recognized include physical condition, alertness, concentration, fatigue, line of sight, level of intoxication, driving operation, posture, etc.
- the DMS 30 may also perform authentication processing for passengers other than the driver and recognition processing for the status of the passengers.
- the DMS 30 may also perform recognition processing for the situation inside the vehicle based on sensor data from the in-vehicle sensor 26. Examples of the situation inside the vehicle that may be recognized include temperature, humidity, brightness, odor, etc.
- HMI31 inputs various data and instructions, and displays various data to the driver, etc.
- the HMI 31 is equipped with an input device that allows a person to input data.
- the HMI 31 generates input signals based on data and instructions input via the input device, and supplies the signals to each part of the vehicle control system 11.
- the HMI 31 is equipped with input devices such as a touch panel, buttons, switches, and levers. Without being limited to these, the HMI 31 may further be equipped with an input device that allows information to be input by a method other than manual operation, such as voice or gestures.
- the HMI 31 may use, as an input device, an externally connected device such as a remote control device that uses infrared or radio waves, or a mobile device or wearable device that supports the operation of the vehicle control system 11.
- the HMI 31 generates visual information, auditory information, and tactile information for the occupant or the outside of the vehicle.
- the HMI 31 also performs output control to control the output, output content, output timing, output method, etc. of each piece of generated information.
- the HMI 31 generates and outputs, as visual information, information indicated by images or light, such as an operation screen, a status display of the vehicle 10, a warning display, and a monitor image showing the situation around the vehicle 10.
- the HMI 31 also generates and outputs, as auditory information, information indicated by sounds, such as voice guidance, warning sounds, and warning messages.
- the HMI 31 also generates and outputs, as tactile information, information that is imparted to the occupant's sense of touch by, for example, force, vibration, movement, etc.
- the output device from which the HMI 31 outputs visual information may be, for example, a display device that presents visual information by displaying an image itself, or a projector device that presents visual information by projecting an image.
- the display device may be a device that displays visual information within the field of vision of the passenger, such as a head-up display, a transparent display, or a wearable device with an AR (Augmented Reality) function, in addition to a display device having a normal display.
- the HMI 31 may also use display devices such as a navigation device, instrument panel, CMS (Camera Monitoring System), electronic mirror, lamp, etc., provided in the vehicle 10 as output devices that output visual information.
- CMS Camera Monitoring System
- the output device through which the HMI 31 outputs auditory information can be, for example, an audio speaker, headphones, or earphones.
- Haptic elements using haptic technology can be used as an output device for the HMI 31 to output tactile information.
- Haptic elements are provided on parts of the vehicle 10 that are in contact with passengers, such as the steering wheel and the seat.
- the vehicle control unit 32 controls each part of the vehicle 10.
- the vehicle control unit 32 includes a steering control unit 81, a brake control unit 82, a drive control unit 83, a body control unit 84, a light control unit 85, and a horn control unit 86.
- the steering control unit 81 detects and controls the state of the steering system of the vehicle 10.
- the steering system includes, for example, a steering mechanism including a steering wheel, an electric power steering, etc.
- the steering control unit 81 includes, for example, a steering ECU that controls the steering system, an actuator that drives the steering system, etc.
- the brake control unit 82 detects and controls the state of the brake system of the vehicle 10.
- the brake system includes, for example, a brake mechanism including a brake pedal, an ABS (Antilock Brake System), a regenerative brake mechanism, etc.
- the brake control unit 82 includes, for example, a brake ECU that controls the brake system, and an actuator that drives the brake system.
- the drive control unit 83 detects and controls the state of the drive system of the vehicle 10.
- the drive system includes, for example, an accelerator pedal, a drive force generating device for generating drive force such as an internal combustion engine or a drive motor, and a drive force transmission mechanism for transmitting the drive force to the wheels.
- the drive control unit 83 includes, for example, a drive ECU for controlling the drive system, and an actuator for driving the drive system.
- the body system control unit 84 detects and controls the state of the body system of the vehicle 10.
- the body system includes, for example, a keyless entry system, a smart key system, a power window device, a power seat, an air conditioning system, an airbag, a seat belt, a shift lever, etc.
- the body system control unit 84 includes, for example, a body system ECU that controls the body system, an actuator that drives the body system, etc.
- the light control unit 85 detects and controls the state of various lights of the vehicle 10. Examples of lights to be controlled include headlights, backlights, fog lights, turn signals, brake lights, projections, and bumper displays.
- the light control unit 85 includes a light ECU that controls the lights, an actuator that drives the lights, and the like.
- the horn control unit 86 detects and controls the state of the car horn of the vehicle 10.
- the horn control unit 86 includes, for example, a horn ECU that controls the car horn, an actuator that drives the car horn, etc.
- FIG. 23 is a diagram showing an example of a sensing area by the camera 51, radar 52, LiDAR 53, ultrasonic sensor 54, etc. of the external recognition sensor 25 in FIG. 22. Note that FIG. 23 shows a schematic view of the vehicle 10 as seen from above, with the left end side being the front end (front) side of the vehicle 10 and the right end side being the rear end (rear) side of the vehicle 10.
- Sensing area 101F and sensing area 101B show examples of sensing areas of ultrasonic sensors 54. Sensing area 101F covers the periphery of the front end of the vehicle 10 with multiple ultrasonic sensors 54. Sensing area 101B covers the periphery of the rear end of the vehicle 10 with multiple ultrasonic sensors 54.
- sensing results in sensing area 101F and sensing area 101B are used, for example, for parking assistance for vehicle 10.
- Sensing area 102F to sensing area 102B show examples of sensing areas of a short-range or medium-range radar 52. Sensing area 102F covers a position farther in front of the vehicle 10 than sensing area 101F. Sensing area 102B covers a position farther in the rear of the vehicle 10 than sensing area 101B. Sensing area 102L covers the rear periphery of the left side of the vehicle 10. Sensing area 102R covers the rear periphery of the right side of the vehicle 10.
- sensing results in sensing area 102F are used, for example, to detect vehicles, pedestrians, etc., that are in front of the vehicle 10.
- the sensing results in sensing area 102B are used, for example, for collision prevention functions at the rear of the vehicle 10.
- the sensing results in sensing area 102L and sensing area 102R are used, for example, to detect objects in blind spots to the sides of the vehicle 10.
- Sensing area 103F to sensing area 103B show examples of sensing areas by camera 51. Sensing area 103F covers a position farther than sensing area 102F in the front of vehicle 10. Sensing area 103B covers a position farther than sensing area 102B in the rear of vehicle 10. Sensing area 103L covers the periphery of the left side of vehicle 10. Sensing area 103R covers the periphery of the right side of vehicle 10.
- the sensing results in sensing area 103F can be used, for example, for recognizing traffic signals and traffic signs, lane departure prevention support systems, and automatic headlight control systems.
- the sensing results in sensing area 103B can be used, for example, for parking assistance and surround view systems.
- the sensing results in sensing area 103L and sensing area 103R can be used, for example, for surround view systems.
- Sensing area 104 shows an example of the sensing area of LiDAR 53. Sensing area 104 covers a position farther in front of vehicle 10 than sensing area 103F. On the other hand, sensing area 104 has a narrower range in the left-right direction than sensing area 103F.
- the sensing results in the sensing area 104 are used, for example, to detect objects such as surrounding vehicles.
- a sensing area 105 shows an example of a sensing area of a long-range radar 52 .
- the sensing area 105 covers a position farther in front of the vehicle 10 than the sensing area 104.
- the sensing area 105 has a narrower range in the left-right direction than the sensing area 104.
- the sensing results in the sensing area 105 are used, for example, for ACC (Adaptive Cruise Control), emergency braking, collision avoidance, etc.
- ACC Adaptive Cruise Control
- emergency braking braking
- collision avoidance etc.
- the sensing areas of the cameras 51, radar 52, LiDAR 53, and ultrasonic sensors 54 included in the external recognition sensor 25 may have various configurations other than those shown in FIG. 23. Specifically, the ultrasonic sensor 54 may also sense the sides of the vehicle 10, and the LiDAR 53 may sense the rear of the vehicle 10.
- the installation positions of the sensors are not limited to the examples described above. The number of sensors may be one or more.
- the present disclosure can be configured as follows:
- a plurality of pixel sharing units are provided, At least one pixel sharing unit among the plurality of pixel sharing units A plurality of photoelectric conversion units that generate charges from light by photoelectric conversion; a storage unit configured to store the charges generated by the plurality of photoelectric conversion units; a plurality of first transistors that transfer the charges from the plurality of photoelectric conversion units to the storage unit and control an accumulation time of the charges; Solid-state imaging device.
- N is an integer equal to or greater than 2 among the plurality of pixel sharing units;
- the filter unit comprises: a plurality of second transistors that generate sum signals of row components of the N power storage units of the N pixel sharing units; a plurality of third transistors that generate sum signals of column components of the N power storage units of the N pixel sharing units; M amplifier circuits (M is an integer equal to or greater than 1) that amplify the sum signal of the row components and the sum signal of the column components.
- M is an integer equal to or greater than 1
- the amplifier circuit includes an amplifier transistor and a selection transistor.
- each of the first transistors includes a plurality of control lines that are independent of each other.
- a fourth transistor having an overflow gate for controlling the exposure start time;
- One of the plurality of pixel sharing units includes four photoelectric conversion units as the plurality of photoelectric conversion units, The solid-state imaging device according to (1), wherein the four photoelectric conversion units have a color arrangement in which the colors of two adjacent photoelectric conversion units are different from each other.
- the solid-state imaging device further comprising: a second substrate on which the second transistors, the third transistors, and the amplifier circuit are arranged.
- An electronic device including an imaging device includes: A plurality of pixel sharing units are provided, At least one pixel sharing unit among the plurality of pixel sharing units A plurality of photoelectric conversion units that generate charges from light by photoelectric conversion; a storage unit configured to store the charges generated by the plurality of photoelectric conversion units; a plurality of first transistors that transfer the charges from the plurality of photoelectric conversion units to the storage unit and control an accumulation time of the charges; Electronics.
- pixel sharing unit 1: pixel sharing unit, 2: filter unit, 3: amplifier circuit, 4: pixel array unit, 5: pixel, 100: imaging device, 110: imaging lens, 142: arithmetic processing unit, 120: recording unit, 130: control unit, 140: analysis unit, 150: wireless communication unit, 160: speaker unit, 170: display unit, 200: solid-state imaging device, 209: signal line, 210: storage control circuit, 211a: first access control circuit, 211b: second access control circuit, 211c: third access control circuit, 212: readout unit, 213: signal processing unit, 214: timing control circuit, 215: output interface, 220: constant current source, 230: AD conversion unit ADC, PD: photodiode, PDa: photodiode, PDb: photodiode, FD: floating diffusion, TRG: transfer transistor, HSW: , VSW: , SEL: selection transistor, AMP: amplification transistor, RST: reset transistor, VSW1: control line
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
[課題]本開示は、畳み込み演算における初段の演算を可能としつつ、解像度の低下や消費電力の増加を抑制することができる固体撮像装置を提供する。 [解決手段]本開示の第1の側面の固体撮像装置は、複数の画素共有ユニットを備え、前記複数の画素共有ユニットのうちの少なくとも1つの画素共有ユニットは、光電変換により光から電荷を生成する複数の光電変換部と、前記複数の光電変換部により生成された前記電荷を蓄積する蓄電部と、前記電荷を前記複数の光電変換部から前記蓄電部に転送し、前記電荷の蓄積時間を制御する複数の第1トランジスタとを含む。
Description
本開示は、固体撮像装置および電子機器に関する。
近年、コンピュータビジョンの分野において、CNN(Convolutional Neural Network)を用いた画像の畳み込み演算に関する技術提案が注目を集めている。本演算は、固体撮像装置で取得した画像に対して、後段の回路やソフトウェア等で処理を行う形が主流であるが、この処理量を少なくすることが望ましい。処理量を少なくする技術として、画像を取得する固体撮像装置で初段の演算を行う技術が提案されている。
[規則91に基づく訂正 27.11.2023]
国際公開第2018/215882号
上述した技術は、通常の固体撮像装置に加えて、追加の回路を画素アレイ内に配置する必要があるため、解像度の低下を招く場合があり、また、消費電力も増加する。
そこで、本開示は、畳み込み演算における初段の演算を可能としつつ、解像度の低下や消費電力の増加を抑制することができる固体撮像装置を提供する。
本開示の第1の側面の固体撮像装置は、複数の画素共有ユニットを備え、前記複数の画素共有ユニットのうちの少なくとも1つの画素共有ユニットは、光電変換により光から電荷を生成する複数の光電変換部と、前記複数の光電変換部により生成された前記電荷を蓄積する蓄電部と、前記電荷を前記複数の光電変換部から前記蓄電部に転送し、前記電荷の蓄積時間を制御する複数の第1トランジスタとを含む。これにより、画素共有ユニットは複数の光電変換部を備えるため、それぞれの光電変換部の露光時間を変えて、各光電変換部からの読み出し値をバイナリデータとして扱うことで、種々のパターンの出力を行うことができる。
また、この第1の側面において、前記複数の画素共有ユニットのうちのN個(Nは2以上の整数)の画素共有ユニットを含むフィルタユニットをさらに備え、前記フィルタユニットは、前記N個の画素共有ユニットのN個の前記蓄電部の行成分の加算信号を生成する複数の第2トランジスタと、前記N個の画素共有ユニットのN個の前記蓄電部の列成分の加算信号を生成する複数の第3トランジスタと、前記行成分の加算信号および前記列成分の加算信号を増幅するM個(Mは1以上の整数)の増幅回路とを含んでもよい。これにより、固体撮像装置において、初段の畳み込み演算機能を実現することができる。また、フィルタユニットに追加の回路を備える必要がなく、追加の回路の処理に伴う解像度の低下を回避することができる。また、読出部による輝度信号の読み出しは、畳み込み演算後の輝度信号が読み出されるため、繰り返しの輝度信号の読み出しが不要となり、消費電力を抑えることができる。
また、この第1の側面において、前記光電変換部または前記蓄電部から前記電荷を排出するM個のリセットトランジスタをさらに含んでもよい。これにより、画素共有ユニットごとにリセットトランジスタを備える場合と比較して、消費電力を抑えることができる。
また、この第1の側面において、前記フィルタユニットにおける前記増幅回路の個数Mは、前記フィルタユニットにおける前記蓄電部の個数Nよりも少なくてもよい。これにより、画素共有ユニットごとに増幅回路を備える場合と比較して、消費電力を抑えることができる。
また、この第1の側面において、前記増幅回路は、電圧信号を増幅する回路であってもよい。これにより、フィルタユニットにおける電圧信号を増幅することができ、回路の信号の減衰を防止することができる。
また、この第1の側面において、前記増幅回路は、増幅トランジスタおよび選択トランジスタを含んでもよい。これにより、フィルタユニットにおける電圧信号を増幅することができ、回路の信号の減衰を防止することができる。
また、この第1の側面において、前記1つの画素共有ユニットにおける読み出し値は、前記複数の光電変換部のそれぞれにより生成される前記電荷の量に基づいて決定されてもよい。これにより、画素共有ユニットは複数の光電変換部を備えるため、それぞれの光電変換部の露光時間を変えて、各光電変換部からの読み出し値をバイナリデータとして扱うことで、種々のパターンの出力を行うことができる。
また、この第1の側面において、前記1つの画素共有ユニットにおける各光電変換部の前記電荷は、前記蓄電部に個別に転送されてもよい。これにより、各光電変換部の重み付けを変更して畳み込み演算を適用することができる。また、フィルタユニットは、画素共有ユニットの各光電変換部について、それぞれ別の畳み込み演算に用いることで、畳み込み演算における複数のチャネル機能を実現することができる。また、読出部は、各画素共有ユニットの光電変換部の数だけ電荷を読み出すため、蓄電部で輝度信号が混ざり合わず、画素共有ユニットで共有する光電変換部の数だけ非破壊読み出しが可能となる。
また、この第1の側面において、前記1つの画素共有ユニットにおける読み出し値は、相関二重サンプリングにより、P相およびD相の順番で繰り返して前記電荷を読み出し、または、P相の読み出しの後、D相を繰り返して前記電荷を読み出すことにより決定されてもよい。これにより、固体撮像装置における回路設計をより柔軟に行うことができる。
また、この第1の側面において、前記複数の第1トランジスタはそれぞれ、互いに独立した複数の制御線を備えてもよい。これにより、画素共有ユニットにおいて、それぞれの電荷量の転送制御をより詳細に行うことができる。
また、この第1の側面において、露光開始時間を制御するオーバーフローゲートを有する第4トランジスタをさらに備え、前記光電変換部は、前記第4トランジスタの制御に基づいて転送される電荷の量が変化してもよい。画素共有ユニットにおける各光電変換部について、露光開始時間を制御することができる。露光開始時間を制御することにより、光電変換部から蓄電部に転送される電荷の量が変化する。
また、この第1の側面において、前記フィルタユニットは、前記画素共有ユニットにおける読み出し値に関し、前記複数の光電変換部に対し重み付けを行う1つまたは複数の容量トランジスタをさらに備えてもよい。これにより、画素共有ユニットにおける読み出し値に対して、輝度信号の重みをフィルタユニットごとに一括して行うことができる。また、容量トランジスタを複数備えることで、フィルタユニットは、重み制御を自由に切り替えることができる。
また、この第1の側面において、前記複数の画素共有ユニットのうちの1つは、前記複数の光電変換部として、第1面積を有する第1光電変換部と、前記第1面積と異なる第2面積を有する第2光電変換部とを備えてもよい。これにより、各光電変換部の感度を変更することができる。また、異なる面積を有する光電変換部を備えることにより、構成を追加することなく、光電変換部の電荷生成時における重み付けを変更することができる。
また、この第1の側面において、前記複数の光電変換部で生成された前記電荷をそれぞれ保持する複数のメモリ部をさらに備え、前記複数の第1トランジスタは、前記複数のメモリ部が保持する前記電荷を前記蓄電部に転送してもよい。これにより、光電変換部が生成した電荷をメモリ部が一時的に保持することができ、その後、転送トランジスタの制御に基づいて、電荷を蓄電部に転送することができる。また、電荷を蓄電部に転送するタイミングを制御することで、この固体撮像装置を備える電子機器において、フォーカルプレーン歪みの影響を軽減することができる。
また、この第1の側面において、前記複数の画素共有ユニットのうちの1つは、前記複数の光電変換部として、4つの光電変換部を備え、前記4つの光電変換部は、隣り合う2つの画素の色が互いに異なる色配置を有してもよい。これにより、フィルタユニットは、画素共有ユニットの各光電変換部について、色配列ごとに畳み込み演算を適用することができ、複数のチャネル機能を実現することができる。
また、この第1の側面において、前記4つの光電変換部は、RGBのベイヤ配列に基づいて配置されてもよい。これにより、フィルタユニットは、画素共有ユニットの各光電変換部について、色配列ごとに畳み込み演算を適用することができ、複数のチャネル機能を実現することができる。
また、この第1の側面において、前記複数の画素共有ユニットのうちの第1画素共有ユニット内の前記複数の光電変換部は、前記複数の画素共有ユニットのうちの第2画素共有ユニット内の前記複数の光電変換部と異なる色配置を有してもよい。これにより、画素共有ユニットにおいて、同色の光電変換部の数が増加するため、演算のバリエーションを増やすことができる。
また、この第1の側面において、前記第1画素共有ユニット内の前記複数の光電変換部は、互いに同じ色を有し、かつ、前記第2画素共有ユニット内の前記複数の光電変換部は、互いに同じ色を有してもよい。これにより、画素共有ユニットにおいて、同色の光電変換部の数が増加するため、演算のバリエーションを増やすことができる。
また、この第1の側面において、前記画素共有ユニットが配置される第1基板と、前記複数の第2トランジスタと、前記複数の第3トランジスタと、前記増幅回路とが配置される第2基板とを備えてもよい。これにより、画素共有ユニットは、第1基板にロジック回路を配置しなくてよいため、画素の面積を拡大することができる。また、積層構造化により、セルサイズが縮小され、蓄電部の配線長が短くなることから、画素における変換効率の向上が期待できる。
本開示の第2の側面の電子機器は、撮像装置を備える電子機器であって、前記撮像装置は、複数の画素共有ユニットを備え、前記複数の画素共有ユニットのうちの少なくとも1つの画素共有ユニットは、光電変換により光から電荷を生成する複数の光電変換部と、前記複数の光電変換部により生成された前記電荷を蓄積する蓄電部と、前記電荷を前記複数の光電変換部から前記蓄電部に転送し、前記電荷の蓄積時間を制御する複数の第1トランジスタとを含んでもよい。これにより、画素共有ユニットは複数の光電変換部を備えるため、それぞれの光電変換部の露光時間を変えて、各光電変換部からの読み出し値をバイナリデータとして扱うことで、種々のパターンの出力を行うことができる。
以下、本開示の実施形態を、図面を参照して説明する。
(第1実施形態)
図1は、第1実施形態における撮像装置100の一構成例を示すブロック図である。
この撮像装置100は、撮像レンズ110、固体撮像装置200、記録部120、制御部130、解析部140、無線通信部150、及びスピーカ部160を備える。撮像装置100は、例えば、スマートフォンや携帯電話、PC(Personal Computer)などである。
図1は、第1実施形態における撮像装置100の一構成例を示すブロック図である。
この撮像装置100は、撮像レンズ110、固体撮像装置200、記録部120、制御部130、解析部140、無線通信部150、及びスピーカ部160を備える。撮像装置100は、例えば、スマートフォンや携帯電話、PC(Personal Computer)などである。
撮像レンズ110は、入射光を集光して固体撮像装置200に導くものである。固体撮像装置200は、複数の階調用画素を有する。各階調用画素は、受光量に応じた輝度信号を出力する。なお、以下では階調用画素を単に「画素」と称する場合がある。
固体撮像装置200は、重み付け加算などの所定の信号処理をアナログ信号の段階で実行可能であり、その処理後のデータを記録部120に信号線209を介して出力する。
記録部120は、固体撮像装置200からのデータなどを記録するものである。制御部130は、撮像装置100全体を制御する。例えば、制御部130は、固体撮像装置200を制御して画像データを撮像させるものである。
解析部140は、例えばニューラルネットを用いた認識処理を行うことが可能である。この解析部140は、演算処理部142を有する。演算処理部142は、固体撮像装置200で撮像される各画素のデータに対する例えば畳み込み演算などの演算処理を、アナログ信号の段階で固体撮像装置200に行なわせることが可能である。
また、解析部140は、例えば演算処理部142の演算結果を用いて、所定の解析処理、画像処理などを行うことも可能である。例えば、上述のように演算処理部142で行う畳み込み演算などの演算処理が、アナログ信号の段階で固体撮像装置200により行われ、その後の演算処理が演算処理部142により行われる。
無線通信部150は、外部装置と無線通信を行う。これにより、外部のサーバからコンテンツなどを受信し、制御部130を介して記録部120に記録する。制御部130は、例えばこのコンテンツに基づく画像を表示部170に表示させる。
スピーカ部160は、高指向性のスピーカを備え、ユーザのみに音声情報を伝達可能である。このスピーカ部160は、音声の伝達する向きを変更可能である。
図2は、第1実施形態における固体撮像装置200の構成例を示すブロック図である。
図2に示すように、本開示に係る固体撮像装置200は、画素アレイ部4と、蓄積制御回路210と、第1アクセス制御回路211aと、第2アクセス制御回路211bと、第3アクセス制御回路211cと、読出部212と、信号処理部213と、タイミング制御回路214と、出力インターフェース215とを有する。
図3は、第1実施形態における画素アレイ部に行列状に配置される画素共有ユニットを模式的に示す図である。
図3は、互いに垂直なX軸、Y軸、およびZ軸を示している。X方向およびY方向は、横方向(水平方向)に相当し、Z方向は、縦方向(垂直方向)に相当している。また、+Z方向は上方向に相当し、-Z方向は下方向に相当している。なお、-Z方向は、厳密に重力方向に一致していてもよいし、厳密には重力方向に一致していなくてもよい。以下、他の図でも同様である。
図3に基づき、画素アレイ部4の構成を説明する。画素アレイ部4は、例えばCMOSイメージセンサである。画素アレイ部4は、複数の画素共有ユニット1を含む。また、各画素共有ユニット1は複数の画素5を含み、各画素5は1つのフォトダイオードPDや1つの転送トランジスタTRG(図3では不図示)などを含む。フォトダイオードPDは、光電変換により、光から電荷を生成する。
図3に示すように、画素アレイ部4には、各画素共有ユニット1が4つのフォトダイオードPD(画素)を含む形で、複数のフォトダイオードPDが行列状(アレイ状)に2次元配列されている。フォトダイオードPDは、露光時間を調整することで、対応する量の電荷を生成する。例えば、画素共有ユニット1は、露光時間の割合に応じて、電荷の生成量を調整することで、積の演算を表現する。また、画素アレイ部4は、画素共有ユニット1ごとにフローティングディフュージョンFDを共有している。またフィルタユニット2の単位でフローティングディフュージョンFDごとの蓄積電荷に対して和の演算を行う。これらの動作については後述する。画素アレイ部4は、裏面側に光が照射される裏面照射型のイメージセンサに、本技術を適用した構成である。もちろん、表面照射型のイメージセンサに本技術を適用してもよい。
再び図2に示すように、蓄積制御回路210は、フォトダイオードPDを制御する。蓄積制御回路210は、複数のフォトダイオードPDの電荷の生成および電荷のリセットを制御可能である。
第1アクセス制御回路211aは、例えば信号線HSW1~3(図5参照)を介して、画素共有ユニット1におけるフローティングディフュージョンFDについて、それぞれの行方向(X軸方向)の接続を制御することが可能である。第2アクセス制御回路211bは、例えば信号線VSW1~3(図5参照)を介して、画素共有ユニット1におけるフローティングディフュージョンFDそれぞれの列方向(Y軸方向)の接続を制御することが可能である。
第3アクセス制御回路211cは、第1アクセス制御回路211a及び第2アクセス制御回路211bと連動し、フローティングディフュージョンFDのリセット、電荷蓄積およびフローティングディフュージョンFDの蓄積電荷に応じた輝度信号の増幅を制御することが可能である。
図4は、第1実施形態における読出部の一構成例を示す図である。
図4に基づき、読出部212の構成例を説明する。読出部212は、複数の定電流源220と、複数のアナログデジタル(Analog to Digital)変換部ADC230と、を有している。複数の定電流源220および複数のAD変換部ADC230は、複数の信号線VSLに対応してそれぞれ設けられる。
定電流源220の一端は、対応する信号線VSLに接続され、他端は接地される。この定電流源220は、対応する信号線VSLに対して、選択されたフローティングディフュージョンFDの蓄積電荷に応じた電流を輝度信号として生成する。
AD変換部ADC230は、対応する信号線VSLにおける信号Sigに基づいてAD変換を行うように構成される。すなわち、AD変換部ADC230は、垂直信号線VSLを介して供給されたアナログの階調用輝度信号Sigを時分割によりデジタル信号に変換する。このAD変換部ADC230は、生成したデジタル信号を信号処理部213に供給する。
再び図2に示すように、信号処理部213は、読出部212からのデジタル信号に対し、所定の信号処理を実行するものである。この信号処理部213は、処理結果を示すデータと検出信号とを信号線209を介して記録部120に供給する。
タイミング制御回路214は、タイムスタンプ情報に基づき固体撮像装置200の各構成のタイミングを制御する。例えば、タイミング制御回路214は、蓄積制御回路210と、第1アクセス制御回路211aと、第2アクセス制御回路211bと、第3アクセス制御回路211cと、読出部212と、信号処理部213との処理タイミングを制御する。出力インターフェース215は、信号処理部213から供給されるデジタル信号である画像データなどを記録部120に出力する。
図5は、第1実施形態におけるフィルタユニットおよびフィルタユニットを構成する複数の画素共有ユニットを示す平面図である。
図5は、図3のフィルタユニット2を拡大した部分の例である。この例では、画素共有ユニット1は、フォトダイオードPDを行方向に2個備え、列方向に2個(以下、2×2と呼ぶ)備える。また、画素共有ユニット1は、それぞれのフォトダイオードPDから生成された電荷を蓄積するフローティングディフュージョンFDを備える。フォトダイオードPDは、光電変換部の例である。フローティングディフュージョンFDは、蓄電部の例である。フローティングディフュージョンFDは、フォトダイオードPDより生成された電荷を蓄積する。また、画素共有ユニット1は、それぞれのフォトダイオードPDで生成された電荷をフローティングディフュージョンFDに転送し、電荷の蓄積時間を制御する転送トランジスタTRGを備える。転送トランジスタTRGは第1トランジスタの例である。この例では、画素共有ユニット1は、各フォトダイオードPDに対して転送トランジスタTRGが備えられるため、一つの画素共有ユニット1につき、4つの転送トランジスタTRGを備える。ただし、画素共有ユニット1が備えるフォトダイオードPD、転送トランジスタTRGの数はこれに限定されない。画素共有ユニット1は、任意の数のフォトダイオードPDと転送トランジスタTRGを備えていてもよい。
図5の通り、画素共有ユニット1は、複数のフォトダイオードPDと複数の転送トランジスタTRGが1つのフローティングディフュージョンFDを共有する構成となっている。各転送トランジスタTRGは、平面視において、対応するフォトダイオードPDとフローティングディフュージョンFDとの間に配置されている。フォトダイオードPDは、露光によって電荷を生成し、転送トランジスタTRGの導通により、フローティングディフュージョンFDへ電荷を転送する。画素共有ユニット1の動作については後述する。
また、フィルタユニット2は、複数の上述した画素共有ユニット1を備える。フィルタユニット2は、畳み込み演算におけるフィルタ行列(カーネル)としての役割を持つ。この例では、フィルタユニット2は、画素共有ユニット1を行方向に3個備え、列方向に3個(以下、3×3と呼ぶ)備える。9つの画素共有ユニット1を1つのフィルタユニット2とし、フィルタユニット2は、演算範囲を移動しながら畳み込み演算を行う。フィルタユニットが共有する画素共有ユニット1の数は、3×3に限定されず、任意の整数N(Nは2以上の整数)を採用することができる。
また、フィルタユニット2は、それぞれの画素共有ユニット1ごとに、フローティングディフュージョンFDに蓄積された電荷について、行方向のフローティングディフュージョンFD同士の加算演算を行うトランジスタHSWと、列方向のフローティングディフュージョンFD同士の加算演算を行うトランジスタVSWとを備える。トランジスタHSWは、第2トランジスタの例であり、トランジスタVSWは、第3トランジスタの例である。この例では、トランジスタHSWおよびトランジスタVSWは、画素共有ユニット1ごとに備えられるが、構成はこれに限定されない。画素共有ユニット1はそれぞれ、少なくとも1個のトランジスタHSWおよびトランジスタVSWを備えていればよい。
また、この例では、フィルタユニット2は、選択トランジスタSELと増幅トランジスタAMPを含む増幅回路3を備える。増幅回路3の構成はこれに限定されない。例えば、増幅回路3の構成は、ソースフォロワ、ソース接地回路等、電圧信号を増幅する種々の回路を採用することができる。また、フィルタユニット2は、リセットトランジスタRSTを備える。増幅回路3やリセットトランジスタRSTは、フィルタユニット2ごとに少なくとも1つ備えられていればよい。フィルタユニット2おける増幅回路3およびリセットトランジスタRSTの個数Mは、フィルタユニット2における蓄電部の個数Nよりも少ない構成となっている。フィルタユニット2の動作については後述する。
図6は、第1実施形態における画素共有ユニットおよびフィルタユニットの回路図と画素共有ユニットの処理例を示すタイミングチャートである。
図6Aは、画素共有ユニットおよびフィルタユニットの回路図を示し、図6Bは、画素共有ユニットの処理例を示すタイミングチャートを示す。
図5の4つの転送トランジスタTRGについて、便宜的に図6Bでは転送トランジスタTRG1~4と呼ぶ。なお、図5の4つの転送トランジスタTRGのうち、任意のものを転送トランジスタTRG1~4として割り当てることができる。図6Bは、転送トランジスタTRG1~4の出力信号Trg1~4、リセットトランジスタRSTの出力信号Rstおよび選択トランジスタSELの出力信号Selについてのタイミングチャートを表す。縦軸は、信号レベルを表し、横軸は時間を表す。信号Rstのハイレベル信号により、フィルタユニット2のリセットトランジスタRSTが導通状態となり、かつ制御信号Hsw1~3、及び制御信号Vsw1~3に基づいて、トランジスタHSWおよびVSWが導通状態になる。なお、フローティングディフュージョンFDと接続されるトランジスタHSWおよびVSWの範囲は、フィルタユニット2の演算範囲に応じて変更される。
トランジスタHSWおよびVSWの接続に基づいて、制御信号Trg1~4がハイレベル信号になると、各転送トランジスタTRG1~4は導通状態となり、各フォトダイオードPDおよび各フローティングディフュージョンFD内の電荷が電源VDDに排出され、初期化される。そして、制御信号Trg1~4がハイレベル信号からロウレベル信号に遷移すると、各フォトダイオードPDは、蓄積時間の間、受光量に応じた電荷を生成する。
信号Rstがロウレベル信号になり、リセットトランジスタRSTが導通状態となった後に、再び信号Rstはハイレベル信号となる。これにより、フローティングディフュージョンFD内の電荷が電源VDDに排出され再び初期化される。続けて、再び信号Rstがロウレベル信号となり、制御信号Trg1~4がハイレベル信号になると、各フォトダイオードPD内の電荷は各フローティングディフュージョンFD内に転送される。
この例では、各画素共有ユニット1は、2×2の4つのフォトダイオードPDを備えているため、各フォトダイオードPDにおいて、露光時間を少しずつ変えて、各フォトダイオードPDからの出力をバイナリデータとして扱うと、16パターンの読み出し値を出力することができる。
また、各転送トランジスタTRG1~4の制御線は独立していてもよい。例えば、図6の例では、1つのフィルタユニット2は、9つの画素共有ユニット1を備えており、また、1つの画素共有ユニット1は4つのフォトダイオードPDを備えているため、制御線が独立している場合、転送トランジスタTRGのすべての制御線の本数は36本となる。制御線が共通に接続されている場合と比較して、各転送トランジスタTRG1~4を独立して制御することができるため、画素共有ユニット1において、それぞれの電荷量の転送制御をより詳細に行うことができる。
また、各画素共有ユニット1のフローティングディフュージョンFDに蓄積された電荷におけるそれぞれ行成分(X軸成分)については、トランジスタHSWの接続に基づいて加算され、加算信号が生成される。また、それぞれの列成分(Y軸成分)については、トランジスタVSWの接続に基づいて加算され、加算信号が生成される。
このように、画素共有ユニット1は、各フォトダイオードPDの露光時間を調整することで、畳み込み演算における積の演算を表現する。また、フィルタユニット2は、フローティングディフュージョンFDに蓄積された電荷をそれぞれ加算することで和の演算を表現する。このような積和演算により、固体撮像装置200は、初段における畳み込み演算を実現する。
図7~8は、第1実施形態における畳み込み演算の演算例である。
図7~8は、所定の時刻T1~T6におけるフィルタユニット2の演算範囲を表す。図7に示す通り、時刻T1は、フィルタユニット2が、画素アレイ部4における左上の複数の画素共有ユニット1についての畳み込み演算を行う例である。この例では、3×3のフィルタユニット2により、9つの画素共有ユニット1について畳み込み演算を行う。
時刻T2では、フィルタユニット2は、時刻T1の位置から、右に移動した位置で畳み込み演算を行う例を表している。同様に時刻T3では、フィルタユニット2は、時刻T2の位置から、右に移動した位置で畳み込み演算を行う例を示している。フィルタユニット2は、右に移動しながら、対象の範囲について畳み込み演算を行う。
図8に示す通り、時刻T4では、フィルタユニット2は、右上の9つの画素共有ユニット1についての畳み込み演算を行う例を表している。このように、フィルタユニット2は、同一列について、左端から右端へと移動するまで畳み込み演算を行う。時刻T5では、フィルタユニット2は、時刻T1の位置から、下に移動した位置で畳み込み演算を行う例を表している。時刻T6では、フィルタユニット2は、時刻T5の位置から、右に移動した位置で畳み込み演算を行う例を表している。
このように、フィルタユニット2は該当の画素共有ユニット1について、演算範囲を変更し、すべての位置で畳み込み演算を行う。
また、1つの画素共有ユニット1における読み出し値は、相関二重サンプリングにより、P相およびD相の順番で繰り返して前記電荷を読み出し、または、P相の読み出しの後、D相を繰り返して電荷を読み出すことにより決定してもよい。これにより、固体撮像装置200における回路設計をより柔軟に行うことができる。
本実施形態によれば、固体撮像装置200において、初段の畳み込み演算機能を実現することができる。
また、画素共有ユニット1は複数のフォトダイオードPDを備えるため、それぞれのフォトダイオードPDの露光時間を変えて、各フォトダイオードPDからの読み出し値をバイナリデータとして扱うことで、種々のパターンの出力を行うことができる。例えば、2×2のフォトダイオードPDを有する画素共有ユニット1において、各フォトダイオードPDに蓄積した電荷をバイナリデータとして扱うことで、1つの画素共有ユニット1につき、16種類の読み出し値を出力することができる。
また、フォトダイオードPDの数や露光時間を変更することで、画素共有ユニット1は、演算のバリエーションをさらに増加させることができる。
また、本実施形態によれば、画素アレイ部4は、フィルタユニット2に追加の回路を備える必要がなく、追加の回路の処理に伴う解像度の低下を回避することができる。
また、読出部212による輝度信号の読み出しは、畳み込み演算後の輝度信号が読み出されるため、繰り返しの輝度信号の読み出しが不要となり、消費電力を抑えることができる。
また、フィルタユニット2は、リセットトランジスタRSTを少なくとも1個備えていえればよく、画素共有ユニット1ごとにリセットトランジスタRSTを備える場合と比較して、消費電力を抑えることができる。
また、フィルタユニット2は、増幅回路3を備えることにより、フィルタユニット2における電圧信号を増幅することができ、回路の信号の減衰を防止することができる。また、フィルタユニット2は、増幅回路3を少なくとも1個備えていえればよく、画素共有ユニット1ごとに増幅回路3を備える場合と比較して、消費電力を抑えることができる。
(第2実施形態)
図9~10は、第2実施形態における畳み込み演算の演算例である。
図9~10は、第2実施形態における畳み込み演算の演算例である。
本実施形態では、各画素共有ユニット1は図5と同様であり、また、フィルタユニット2の回路図およびタイミングチャートは図6と同様である。
本実施形態では、画素共有ユニット1内の各フォトダイオードPDは、それぞれ読出部212により別々に読み出される。これにより、フィルタユニット2は、画素共有ユニット1の各フォトダイオードPDで生成した電荷を、それぞれ別の畳み込み演算に用いることができる。例えば、これらの制御は、転送トランジスタTRGの導通を制御し、各フォトダイオードPDが生成した電荷をフローティングディフュージョンFDに転送するタイミングを変えることで実現できる。例えば、2×2の画素共有ユニット1について、左上、右上、左下および右下のフォトダイオードPDで生成した電荷をフローティングディフュージョンFDに転送するタイミングをそれぞれずらして、個別に転送することが考えられる。
図9に示す通り、時刻T1では、フィルタユニット2は、各画素共有ユニット1の左上のフォトダイオードPDに畳み込み演算を適用する例を表している。同様に、時刻T2では、フィルタユニット2は、各画素共有ユニット1の右上のフォトダイオードPDに畳み込み演算を適用する例を表しており、時刻T3では、各画素共有ユニット1の左下のフォトダイオードPDに畳み込み演算を適用する例を表している。
図10に示す通り、時刻T4では、フィルタユニット2は、各画素共有ユニット1の右下のフォトダイオードPDに畳み込み演算を適用する例を表している。時刻T5では、フィルタユニット2は、時刻T4の位置から、左に移動した位置で、左上のフォトダイオードPDについて畳み込み演算を適用する例を表している。このように、フィルタユニット2は、画素共有ユニット1の各フォトダイオードPDについて、畳み込み演算を適用した後、同一列について、左端から右端へと移動するまで畳み込み演算を適用する。
また、フィルタユニット2は、同一の列について畳み込み演算が完了した後、時刻Tnに、時刻T1の位置から、画素共有ユニット1の1つ分だけ下に移動した位置で畳み込み演算を行う。
このように、フィルタユニット2は該当の画素共有ユニット1について、演算範囲を変更し、すべての位置で畳み込み演算を適用する。
畳み込み演算の適用順序については、これに限定されない。本実施形態により例示した方法以外にも、種々の順序を採用することができる。
また、1つの画素共有ユニット1における読み出し値は、相関二重サンプリングにより、P相およびD相の順番で繰り返して前記電荷を読み出し、または、P相の読み出しの後、D相を繰り返して電荷を読み出すことにより決定してもよい。これにより、固体撮像装置200における回路設計をより柔軟に行うことができる。
本実施形態によれば、フィルタユニット2は、画素共有ユニット1の各フォトダイオードPDについて、それぞれ別の畳み込み演算に用いることができる。
また、フィルタユニット2は、画素共有ユニット1の各フォトダイオードPDについて、それぞれ別の畳み込み演算に適用することで、各フォトダイオードPDの重み付けを変更して畳み込み演算を適用することができる。
また、フィルタユニット2は、画素共有ユニット1の各フォトダイオードPDについて、それぞれ別の畳み込み演算に用いることで、畳み込み演算における複数のチャネル機能を実現することができる。
また、読出部212は、各画素共有ユニット1のフォトダイオードPDの数だけ電荷を読み出すため、フローティングディフュージョンFDで輝度信号が混ざり合わず、画素共有ユニット1で共有するフォトダイオードPDの数だけ非破壊読み出しが可能となる。
(第3実施形態)
図11は、第3実施形態における画素共有ユニットおよびフィルタユニットの回路図である。
図11は、第3実施形態における画素共有ユニットおよびフィルタユニットの回路図である。
本実施形態では、画素共有ユニット1における各フォトダイオードPDは、オーバーフローゲートを含む転送トランジスタ(OFG)を備える。本実施形態では、フォトダイオードPDは、オーバーフローゲートを含む転送トランジスタと、転送トランジスタTRとの間に配置される。オーバーフローゲートを含む転送トランジスタは第4トランジスタの例である。また、オーバーフローゲートを一括して導通させることにより、フィルタユニット2は、画素共有ユニット1における各フォトダイオードPDについて、露光開始時間を制御することができる。露光開始時間を制御することにより、フォトダイオードPDからフローティングディフュージョンFDに転送される電荷の量が変化する。
これにより、画素共有ユニット1は、露光開始のタイミングを揃えることが可能となり、露光時間の制御がより容易になる。
(第4実施形態)
図12は、第4実施形態におけるフィルタユニットおよびフィルタユニットを構成する複数の画素共有ユニットを示す平面図である。
図12は、第4実施形態におけるフィルタユニットおよびフィルタユニットを構成する複数の画素共有ユニットを示す平面図である。
本実施形態では、図5の構成と同様に、画素共有ユニット1は、2×2のフォトダイオードPDaおよびPDbと、転送トランジスタTRGと、フローティングディフュージョンFDを備える。各転送トランジスタTRGは、平面視において、対応するフォトダイオードPDaまたはPDbとフローティングディフュージョンFDとの間に配置されている。また、本実施形態では、フィルタユニット2は、画素共有ユニット1における読み出し値に関し、複数のフォトダイオードPDに対し重み付けを行う容量トランジスタFDGをさらに備える。フィルタユニット2は、容量性トランジスタFDGに蓄えられた電荷量に基づいて、重み付けの係数を自由に決めることができる。容量トランジスタFDGにより、フィルタユニット2は、各読み出し値に対して、同一の係数により、一括して重み付けを行う。
図12では、1つのフィルタユニット2につき、1つの容量トランジスタFDGを備えた例を表しているが、容量トランジスタFDGは、1つのフィルタユニット2に複数備えていてもよい。例えば、フィルタユニット2は、容量トランジスタFDGを複数備えることにより、画素共有ユニット1における読み出し値に対する重み制御を切り替えられる構成とすることができる。
本実施形態によれば、画素共有ユニット1における読み出し値に対して、輝度信号の重みをフィルタユニット2ごとに一括して行うことができる。
また、容量トランジスタFDGを複数備えることで、フィルタユニット2は、重み制御を自由に切り替えることができる。
(第5実施形態)
図13は、第5実施形態におけるフィルタユニットおよびフィルタユニットを構成する複数の画素共有ユニットを示す平面図である。
図13は、第5実施形態におけるフィルタユニットおよびフィルタユニットを構成する複数の画素共有ユニットを示す平面図である。
本実施形態では、図5の構成と同様に、画素共有ユニット1は、2×2のフォトダイオードPDaおよびPDbと、転送トランジスタTRGと、フローティングディフュージョンFDを備える。各転送トランジスタTRGは、平面視において、対応するフォトダイオードPDaまたはPDbとフローティングディフュージョンFDとの間に配置されている。また、また、本実施形態では、画素共有ユニット1は、左上および右下のフォトダイオードPDaの面積が右上および左下のフォトダイオードPDbの面積と異なっている。図13に示す通り、フォトダイオードPDaは、フォトダイオードPDbよりも面積が大きい構成となっている。
画素共有ユニット1は、フォトダイオードPDaやPDbの面積の大きさを変更することにより、感度を変更することができる。つまり、この例では、フォトダイオードPDaはフォトダイオードPDbよりも面積が大きく、感度が大きいため、露光時に電荷が生成されやすく、より大きい重み付けがなされる。
また、本実施形態では、画素共有ユニット1は、それぞれ面積の異なるフォトダイオードPDaとフォトダイオードPDbを、2つずつ備える構成となっているが、各フォトダイオードの面積の関係および個数についてはこれに限定されない。画素共有ユニット1の複数の画素の中で、ある面積を有する第1光電変換部と、ある面積とは別の面積を有する光電変換部を備える構成であればよい。ある面積は第1面積の例であり、ある面積と別の面積は、第2面積の例である。また、第1面積を有するフォトダイオードは第1光電変換部の例であり、第2面積を有するフォトダイオードは第2光電変換部の例である。
本実施形態によれば、画素共有ユニット1は、第1面積を有する第1光電変換部と、第1面積と異なる第2面積を有する第2光電変換部とを備えることで、各画素5の感度を変更することができる。
また、画素共有ユニット1は、異なる面積を有する画素5を備えることにより、構成を追加することなく、画素5の電荷生成時における重み付けを変更することができる。
(第6実施形態)
図14は、第6実施形態におけるフィルタユニットおよびフィルタユニットを構成する複数の画素共有ユニットを示す平面図である。
図14は、第6実施形態におけるフィルタユニットおよびフィルタユニットを構成する複数の画素共有ユニットを示す平面図である。
本実施形態では、画素共有ユニット1は、2×2のフォトダイオードPDと、転送トランジスタTRGと、フローティングディフュージョンFDと、それぞれのフォトダイオードPDが生成した電荷を保持するそれぞれのメモリ部MEMを備える。メモリ部MEMは、平面視において、対応するフォトダイオードPDと転送トランジスタTRGとの間に配置されている。
メモリ部MEMは、フォトダイオードPDが生成した電荷を一時的に保持し、各転送トランジスタTRGの導通により、保持した電荷をフローティングディフュージョンFDに転送する。
また、本実施形態では、画素共有ユニット1は、2×2のメモリ部MEMを備える構成となっているが、フォトダイオードPD、メモリ部MEMおよび転送トランジスタTRGの数はこれに限定されない。画素共有ユニット1は、任意の数のフォトダイオードPD、メモリ部MEMおよび転送トランジスタTRGを備えていてもよい。
本実施形態によれば、フォトダイオードPDが生成した電荷をメモリ部MEMが一時的に保持することができ、その後、画素共有ユニット1は、転送トランジスタTRGの制御に基づいて、電荷をフローティングディフュージョンFDに転送することができる。
また、電荷をフローティングディフュージョンFDに転送するタイミングを制御することで、本実施形態における固体撮像装置200を備える電子機器は、フォーカルプレーン歪みの影響を軽減することができる。
(第7実施形態)
図15は、第7実施形態におけるフィルタユニットおよびフィルタユニットを構成する複数の画素共有ユニットを示す平面図である。
図15は、第7実施形態におけるフィルタユニットおよびフィルタユニットを構成する複数の画素共有ユニットを示す平面図である。
本実施形態では、図5の構成と同様に、画素共有ユニット1は、2×2のフォトダイオードPDと、転送トランジスタTRGと、フローティングディフュージョンFDを備える。各転送トランジスタTRGは、平面視において、対応するフォトダイオードPDとフローティングディフュージョンFDとの間に配置されている。また本実施形態では、各フォトダイオードPDは隣り合うフォトダイオードPDとは異なる色配置を有する。隣り合うフォトダイオードPDとは、あるフォトダイオードPDの行方向または列方向に位置する側のフォトダイオードPDを指す。この例では、画素共有ユニット1の各フォトダイオードPDの色配置は、ベイヤ配列基づいて、左上は赤色R、右上は緑色Gr、左下は緑色Gbそして右下は青色Bとしている。この色配置は、例えば、フォトダイオードPD上にカラーフィルタを設けることにより実現される。
画素共有ユニット1が備えるフォトダイオードPDおよび転送トランジスタTRGの数はこれに限定されない。画素共有ユニット1は、任意の数のフォトダイオードPDおよび転送トランジスタTRGを備えていてもよい。また、各フォトダイオードPDの色配置はベイヤ配列に限定されない。例えば、RGBW配列等、種々の色配置を採用することができる。
図16、17は第7実施形態における畳み込み演算の演算例である。
本実施形態では、フィルタユニットの回路図およびタイミングチャートは図6と同様である。
本実施形態では、画素共有ユニット1内の各フォトダイオードPDは、それぞれ読出部212により別々に読み込まれる。
図16に示す通り、時刻T1では、フィルタユニット2は、各画素共有ユニット1の左上のフォトダイオードPD(赤色R)に畳み込み演算を適用する例を表している。時刻T2では、フィルタユニット2は、各画素共有ユニット1の右上のフォトダイオードPD(緑色Gr)に畳み込み演算を適用する例を表している。時刻T3では、フィルタユニット2は、各画素共有ユニット1の左下のフォトダイオードPD(緑色Gb)に畳み込み演算を適用する例を表している。
図17に示す通り、時刻T4では、フィルタユニット2は、各画素共有ユニット1の右下のフォトダイオードPD(青色B)に畳み込み演算を適用する例を表している。時刻T5では、フィルタユニット2は、時刻T4の位置から、画素共有ユニット1を1つ分だけ左に移動した位置で畳み込み演算を適用する。また、時刻T5では、フィルタユニット2は、再び各画素共有ユニット1の左上のフォトダイオードPD(赤色R)に畳み込み演算を適用する。このように、フィルタユニット2は、画素共有ユニット1内の各フォトダイオードPDについて、色配置ごとに畳み込み演算を適用した後、同一列について、左端から右端へと移動するまで畳み込み演算を適用する。
また、フィルタユニット2は、同一の列について畳み込み演算が完了した後、時刻Tnに、時刻T1の位置から、画素共有ユニット1の1つ分だけ下に移動した位置で畳み込み演算を適用する。
畳み込み演算の適用順序については、これに限定されない。本実施形態により例示した方法以外にも、種々の順序を採用することができる。
このように、フィルタユニット2は、該当の画素共有ユニット1について、演算範囲を変更し、すべての位置で畳み込み演算を適用する。
本実施形態によれば、フィルタユニット2は、画素共有ユニット1の各フォトダイオードPDについて、色配列ごとに畳み込み演算を適用することができ、複数のチャネル機能を実現することができる。
(第8実施形態)
図18は、第8実施形態におけるフィルタユニットおよびフィルタユニットを構成する複数の画素共有ユニットを示す平面図である。
図18は、第8実施形態におけるフィルタユニットおよびフィルタユニットを構成する複数の画素共有ユニットを示す平面図である。
本実施形態では、図5の構成と同様に、画素共有ユニット1は、2×2のフォトダイオードPDと、転送トランジスタTRGと、フローティングディフュージョンFDを備える。各転送トランジスタTRGは、平面視において、対応するフォトダイオードPDとフローティングディフュージョンFDとの間に配置されている。本実施形態では、画素共有ユニット1内の各フォトダイオードPDは同一の色配置を有する。また、画素共有ユニット1は、隣り合う画素共有ユニット1を構成する各々のフォトダイオードPDとは異なる色配置を有する。隣り合う画素共有ユニット1とは、ある画素共有ユニット1の行方向または列方向に位置する側の画素共有ユニット1を指す。
つまり、複数の画素共有ユニット1のうち、ある画素共有ユニット1内の複数のフォトダイオードPDは、隣り合う別の画素共有ユニット1内の複数のフォトダイオードPDとは異なる色配置を有する。また、ある画素共有ユニット1内の複数のフォトダイオードPDは、互いに同じ色を有し、かつ、隣り合う別の画素共有ユニット1内の複数のフォトダイオードPDは、互いに同じ色を有していればよい。ある画素共有ユニット1は、第1画素共有ユニットの例であり、隣り合う別の画素共有ユニット1は、第2画素共有ユニットの例である。
この例では、画素共有ユニット1の各フォトダイオードPDは、2×2の画素共有ユニットを1つの色配置の単位として、ベイヤ配列基づく色配置を有する。例えば、図18の通り、左上の画素共有ユニット1の各フォトダイオードPDは赤色Rの色配置を有している。また、右側に隣り合う画素共有ユニット1の各フォトダイオードPDは緑色Grの色配置を有している。また、下側に隣り合う画素共有ユニット1の各フォトダイオードPDは緑色Gbの色配置を有している。また右下の画素共有ユニット1の各フォトダイオードPDは青色Bの色配置を有している。画素共有ユニット1の各フォトダイオードPDにおける色配置は、この単位で繰り返される。また、この色配置は、例えば、フォトダイオードPD上にカラーフィルタを設けることにより実現される。
画素共有ユニット1が備えるフォトダイオードPDおよび転送トランジスタTRGの数はこれに限定されない。画素共有ユニット1は、任意の数のフォトダイオードPDおよび転送トランジスタTRGを備えていてもよい。また、各フォトダイオードPDの色配置はベイヤ配列に限定されない。例えば、各フォトダイオードPDの色配置は、RGBW配列等、種々の色配置を採用することができる。
また、この例では、5×5の画素共有ユニット1をフィルタユニット2としている。フィルタユニット2は、同一の色配置を有する画素共有ユニット1ごとに畳み込み演算を適用する。
図19、20は、第8実施形態における畳み込み演算の演算例である。
本実施形態では、フィルタユニットの回路図およびタイミングチャートは図7と同様である。
図19を参照すると、時刻T1では、フィルタユニット2は、各画素共有ユニット1について、赤色Rの色配置を有するフォトダイオードPDに、各画素共有ユニット1に畳み込み演算を適用する例を表している。同様に、時刻T2では、フィルタユニット2は、時刻T1の位置から、画素共有ユニット1を右に1つ分だけ移動した位置で、緑色Grの色配置を有するフォトダイオードPDに、畳み込み演算を適用する例を表している。時刻T3では、フィルタユニット2は、時刻T2の位置から、画素共有ユニット1を1つ分だけ下に移動し、さらに画素共有ユニット1を左に1つ分だけ移動した位置で、緑色Gbの色配置を有するフォトダイオードPDに、畳み込み演算を適用する例を表している。
図20を参照すると、時刻T4では、フィルタユニット2は、時刻T3の位置から、画素共有ユニット1を右に1つ分だけ移動した位置で、青Bの色配置を有するフォトダイオードPDに、畳み込み演算を適用する例を表している。以降の動作は省略するが、フィルタユニット2は該当の画素共有ユニット1について、演算範囲を変更し、すべての位置で畳み込み演算を適用する。
畳み込み演算の適用順序については、これに限定されない。本実施形態により例示した方法以外にも、種々の順序を採用することができる。
本実施形態によれば、画素共有ユニット1において、同色のフォトダイオードPDの数が増加するため、演算のバリエーションを増やすことができる。
(第9実施形態)
図21は、第9実施形態におけるフィルタユニットおよびフィルタユニットを構成する複数の画素共有ユニットを示す平面図である。
図21は、第9実施形態におけるフィルタユニットおよびフィルタユニットを構成する複数の画素共有ユニットを示す平面図である。
本実施形態では、図5の構成と同様に、画素共有ユニット1は、2×2のフォトダイオードPDと、転送トランジスタTRGと、フローティングディフュージョンFDを備える。各転送トランジスタTRGは、平面視において、対応するフォトダイオードPDとフローティングディフュージョンFDとの間に配置されている。
本実施形態では、フォトダイオードPD、転送トランジスタTRGおよびフローティングディフュージョンFDは第1基板上に配置される。また、トランジスタVSW、トランジスタHSW、増幅回路3およびリセットトランジスタRST等のロジック回路は、第2基板上に配置される。第1基板は、第2基板上に配置(積層)される。これらの基板は、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Cu-Cu接合やバンプにより接続することもできる。
画素共有ユニット1が備えるフォトダイオードPDおよび転送トランジスタTRGの数はこれに限定されない。画素共有ユニット1は、任意の数のフォトダイオードPDおよび転送トランジスタTRGを備えていてもよい。
本実施形態によれば、画素共有ユニット1は、第1基板にロジック回路を配置しなくてよいため、フォトダイオードPDの面積を拡大することができる。
また、画素アレイ部4は、積層構造化により、セルサイズが縮小され、フローティングディフュージョンFDの配線長が短くなることから、フォトダイオードPDにおける変換効率の向上が期待できる。
<<車両制御システムの構成例>>
図22は、本技術が適用される移動装置制御システムの一例である車両制御システム11の構成例を示すブロック図である。
図22は、本技術が適用される移動装置制御システムの一例である車両制御システム11の構成例を示すブロック図である。
車両制御システム11は、車両10に設けられ、車両10の走行支援及び自動運転に関わる処理を行う。
車両制御システム11は、車両制御ECU(Electronic Control Unit)21、通信部22、地図情報蓄積部23、位置情報取得部24、外部認識センサ25、車内センサ26、車両センサ27、記憶部28、走行支援・自動運転制御部29、DMS(Driver Monitoring System)30、HMI(Human Machine Interface)31、及び、車両制御部32を備える。
車両制御ECU21、通信部22、地図情報蓄積部23、位置情報取得部24、外部認識センサ25、車内センサ26、車両センサ27、記憶部28、走行支援・自動運転制御部29、ドライバモニタリングシステム(DMS)30、ヒューマンマシーンインタフェース(HMI)31、及び、車両制御部32は、通信ネットワーク41を介して相互に通信可能に接続されている。通信ネットワーク41は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、FlexRay(登録商標)、イーサネット(登録商標)といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク41は、伝送されるデータの種類によって使い分けられてもよい。例えば、車両制御に関するデータに対してCANが適用され、大容量データに対してイーサネットが適用されるようにしてもよい。なお、車両制御システム11の各部は、通信ネットワーク41を介さずに、例えば近距離無線通信(NFC(Near Field Communication))やBluetooth(登録商標)といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
なお、以下、車両制御システム11の各部が、通信ネットワーク41を介して通信を行う場合、通信ネットワーク41の記載を省略するものとする。例えば、車両制御ECU21と通信部22が通信ネットワーク41を介して通信を行う場合、単に車両制御ECU21と通信部22とが通信を行うと記載する。
車両制御ECU21は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)といった各種のプロセッサにより構成される。車両制御ECU21は、車両制御システム11全体又は一部の機能の制御を行う。
通信部22は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部22は、複数の通信方式を用いて通信を行うことができる。
通信部22が実行可能な車外との通信について、概略的に説明する。通信部22は、例えば、5G(第5世代移動通信システム)、LTE(Long Term Evolution)、DSRC(Dedicated Short Range Communications)等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ(以下、外部のサーバと呼ぶ)等と通信を行う。通信部22が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部22が外部ネットワークに対して行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
また例えば、通信部22は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車等の比較的低速で移動する移動体が装着する端末、店舗等に位置が固定されて設置される端末、又は、MTC(Machine Type Communication)端末である。さらに、通信部22は、V2X通信を行うこともできる。V2X通信とは、例えば、他の車両との間の車車間(Vehicle to Vehicle)通信、路側器等との間の路車間(Vehicle to Infrastructure)通信、家との間(Vehicle to Home)の通信、及び、歩行者が所持する端末等との間の歩車間(Vehicle to Pedestrian)通信等の、自車と他との通信をいう。
通信部22は、例えば、車両制御システム11の動作を制御するソフトウエアを更新するためのプログラムを外部から受信することができる(Over The Air)。通信部22は、さらに、地図情報、交通情報、車両10の周囲の情報等を外部から受信することができる。また例えば、通信部22は、車両10に関する情報や、車両10の周囲の情報等を外部に送信することができる。通信部22が外部に送信する車両10に関する情報としては、例えば、車両10の状態を示すデータ、認識部73による認識結果等がある。さらに例えば、通信部22は、eコール等の車両緊急通報システムに対応した通信を行う。
例えば、通信部22は、電波ビーコン、光ビーコン、FM多重放送等の道路交通情報通信システム(VICS(Vehicle Information and Communication System)(登録商標))により送信される電磁波を受信する。
通信部22が実行可能な車内との通信について、概略的に説明する。通信部22は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部22は、例えば、無線LAN、Bluetooth、NFC、WUSB(Wireless USB)といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部22は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部22は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部22は、例えば、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)(登録商標)、MHL(Mobile High-definition Link)といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
ここで、車内の機器とは、例えば、車内において通信ネットワーク41に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
地図情報蓄積部23は、外部から取得した地図及び車両10で作成した地図の一方又は両方を蓄積する。例えば、地図情報蓄積部23は、3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の4層からなる地図であり、外部のサーバ等から車両10に提供される。ポイントクラウドマップは、ポイントクラウド(点群データ)により構成される地図である。ベクターマップは、例えば、車線や信号機の位置といった交通情報等をポイントクラウドマップに対応付け、ADAS(Advanced Driver Assistance System)やAD(Autonomous Driving)に適合させた地図である。
ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、カメラ51、レーダ52、LiDAR53等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両10で作成され、地図情報蓄積部23に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両10がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。
位置情報取得部24は、GNSS(Global Navigation Satellite System)衛星からGNSS信号を受信し、車両10の位置情報を取得する。取得した位置情報は、走行支援・自動運転制御部29に供給される。なお、位置情報取得部24は、GNSS信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得してもよい。
外部認識センサ25は、車両10の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム11の各部に供給する。外部認識センサ25が備えるセンサの種類や数は任意である。
例えば、外部認識センサ25は、カメラ51、レーダ52、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)53、及び、超音波センサ54を備える。これに限らず、外部認識センサ25は、カメラ51、レーダ52、LiDAR53、及び、超音波センサ54のうち1種類以上のセンサを備える構成でもよい。カメラ51、レーダ52、LiDAR53、及び、超音波センサ54の数は、現実的に車両10に設置可能な数であれば特に限定されない。また、外部認識センサ25が備えるセンサの種類は、この例に限定されず、外部認識センサ25は、他の種類のセンサを備えてもよい。外部認識センサ25が備える各センサのセンシング領域の例は、後述する。
なお、カメラ51の撮影方式は、特に限定されない。例えば、測距が可能な撮影方式であるToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じてカメラ51に適用することができる。これに限らず、カメラ51は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
また、例えば、外部認識センサ25は、車両10に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。
さらに、例えば、外部認識センサ25は、車両10の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
車内センサ26は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム11の各部に供給する。車内センサ26が備える各種センサの種類や数は、現実的に車両10に設置可能な種類や数であれば特に限定されない。
例えば、車内センサ26は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサのうち1種類以上のセンサを備えることができる。車内センサ26が備えるカメラとしては、例えば、ToFカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ26が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ26が備える生体センサは、例えば、シートやステアリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
車両センサ27は、車両10の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム11の各部に供給する。車両センサ27が備える各種センサの種類や数は、現実的に車両10に設置可能な種類や数であれば特に限定されない。
例えば、車両センサ27は、速度センサ、加速度センサ、角速度センサ(ジャイロセンサ)、及び、それらを統合した慣性計測装置(IMU(Inertial Measurement Unit))を備える。例えば、車両センサ27は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ27は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ27は、バッテリの残量及び温度を検出するバッテリセンサ、並びに、外部からの衝撃を検出する衝撃センサを備える。
記憶部28は、不揮発性の記憶媒体及び揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記憶部28は、例えばEEPROM(Electrically Erasable Programmable Read Only Memory)及びRAM(Random Access Memory)として用いられ、記憶媒体としては、HDD(Hard Disc Drive)といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記憶部28は、車両制御システム11の各部が用いる各種プログラムやデータを記憶する。例えば、記憶部28は、EDR(Event Data Recorder)やDSSAD(Data Storage System for Automated Driving)を備え、事故等のイベントの前後の車両10の情報や車内センサ26によって取得された情報を記憶する。
走行支援・自動運転制御部29は、車両10の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部29は、分析部61、行動計画部62、及び、動作制御部63を備える。
分析部61は、車両10及び周囲の状況の分析処理を行う。分析部61は、自己位置推定部71、センサフュージョン部72、及び、認識部73を備える。
自己位置推定部71は、外部認識センサ25からのセンサデータ、及び、地図情報蓄積部23に蓄積されている高精度地図に基づいて、車両10の自己位置を推定する。例えば、自己位置推定部71は、外部認識センサ25からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両10の自己位置を推定する。車両10の位置は、例えば、後輪対車軸の中心が基準とされる。
ローカルマップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いて作成される3次元の高精度地図、占有格子地図(Occupancy Grid Map)等である。3次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両10の周囲の3次元又は2次元の空間を所定の大きさのグリッド(格子)に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部73による車両10の外部の状況の検出処理及び認識処理にも用いられる。
なお、自己位置推定部71は、位置情報取得部24により取得される位置情報、及び、車両センサ27からのセンサデータに基づいて、車両10の自己位置を推定してもよい。
センサフュージョン部72は、複数の異なる種類のセンサデータ(例えば、カメラ51から供給される画像データ、及び、レーダ52から供給されるセンサデータ)を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
認識部73は、車両10の外部の状況の検出を行う検出処理、及び、車両10の外部の状況の認識を行う認識処理を実行する。
例えば、認識部73は、外部認識センサ25からの情報、自己位置推定部71からの情報、センサフュージョン部72からの情報等に基づいて、車両10の外部の状況の検出処理及び認識処理を行う。
具体的には、例えば、認識部73は、車両10の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
例えば、認識部73は、レーダ52又はLiDAR53等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両10の周囲の物体を検出する。これにより、車両10の周囲の物体の有無、大きさ、形状、位置が検出される。
例えば、認識部73は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両10の周囲の物体の動きを検出する。これにより、車両10の周囲の物体の速度及び進行方向(移動ベクトル)が検出される。
例えば、認識部73は、カメラ51から供給される画像データに基づいて、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等を検出又は認識する。また、認識部73は、セマンティックセグメンテーション等の認識処理を行うことにより、車両10の周囲の物体の種類を認識してもよい。
例えば、認識部73は、地図情報蓄積部23に蓄積されている地図、自己位置推定部71による自己位置の推定結果、及び、認識部73による車両10の周囲の物体の認識結果に基づいて、車両10の周囲の交通ルールの認識処理を行うことができる。認識部73は、この処理により、信号機の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線等を認識することができる。
例えば、認識部73は、車両10の周囲の環境の認識処理を行うことができる。認識部73が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
行動計画部62は、車両10の行動計画を作成する。例えば、行動計画部62は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
なお、経路計画(Global path planning)とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、計画した経路において、車両10の運動特性を考慮して、車両10の近傍で安全かつ滑らかに進行することが可能な軌道生成(Local path planning)を行う処理も含まれる。
経路追従とは、経路計画により計画された経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部62は、例えば、この経路追従の処理の結果に基づき、車両10の目標速度と目標角速度を計算することができる。
動作制御部63は、行動計画部62により作成された行動計画を実現するために、車両10の動作を制御する。
例えば、動作制御部63は、後述する車両制御部32に含まれる、ステアリング制御部81、ブレーキ制御部82、及び、駆動制御部83を制御して、軌道計画により計算された軌道を車両10が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部63は、衝突回避又は衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のADASの機能実現を目的とした協調制御を行う。例えば、動作制御部63は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
DMS30は、車内センサ26からのセンサデータ、及び、後述するHMI31に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
なお、DMS30が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、DMS30が、車内センサ26からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
HMI31は、各種のデータや指示等の入力と、各種のデータの運転者等への提示を行う。
HMI31によるデータの入力について、概略的に説明する。HMI31は、人がデータを入力するための入力デバイスを備える。HMI31は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム11の各部に供給する。HMI31は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を備える。これに限らず、HMI31は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、HMI31は、例えば、赤外線又は電波を利用したリモートコントロール装置や、車両制御システム11の操作に対応したモバイル機器又はウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。
HMI31によるデータの提示について、概略的に説明する。HMI31は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、HMI31は、生成された各情報の出力、出力内容、出力タイミング及び出力方法等を制御する出力制御を行う。HMI31は、視覚情報として、例えば、操作画面、車両10の状態表示、警告表示、車両10の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成及び出力する。また、HMI31は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成及び出力する。さらに、HMI31は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成及び出力する。
HMI31が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、HMI31は、車両10に設けられるナビゲーション装置、インストルメントパネル、CMS(Camera Monitoring System)、電子ミラー、ランプ等が有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
HMI31が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
HMI31が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両10の搭乗者が接触する部分に設けられる。
車両制御部32は、車両10の各部の制御を行う。車両制御部32は、ステアリング制御部81、ブレーキ制御部82、駆動制御部83、ボディ系制御部84、ライト制御部85、及び、ホーン制御部86を備える。
ステアリング制御部81は、車両10のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部81は、例えば、ステアリングシステムの制御を行うステアリングECU、ステアリングシステムの駆動を行うアクチュエータ等を備える。
ブレーキ制御部82は、車両10のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ABS(Antilock Brake System)、回生ブレーキ機構等を備える。ブレーキ制御部82は、例えば、ブレーキシステムの制御を行うブレーキECU、ブレーキシステムの駆動を行うアクチュエータ等を備える。
駆動制御部83は、車両10の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部83は、例えば、駆動システムの制御を行う駆動ECU、駆動システムの駆動を行うアクチュエータ等を備える。
ボディ系制御部84は、車両10のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部84は、例えば、ボディ系システムの制御を行うボディ系ECU、ボディ系システムの駆動を行うアクチュエータ等を備える。
ライト制御部85は、車両10の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部85は、ライトの制御を行うライトECU、ライトの駆動を行うアクチュエータ等を備える。
ホーン制御部86は、車両10のカーホーンの状態の検出及び制御等を行う。ホーン制御部86は、例えば、カーホーンの制御を行うホーンECU、カーホーンの駆動を行うアクチュエータ等を備える。
図23は、図22の外部認識センサ25のカメラ51、レーダ52、LiDAR53、及び、超音波センサ54等によるセンシング領域の例を示す図である。なお、図23において、車両10を上面から見た様子が模式的に示され、左端側が車両10の前端(フロント)側であり、右端側が車両10の後端(リア)側となっている。
センシング領域101F及びセンシング領域101Bは、超音波センサ54のセンシング領域の例を示している。センシング領域101Fは、複数の超音波センサ54によって車両10の前端周辺をカバーしている。センシング領域101Bは、複数の超音波センサ54によって車両10の後端周辺をカバーしている。
センシング領域101F及びセンシング領域101Bにおけるセンシング結果は、例えば、車両10の駐車支援等に用いられる。
センシング領域102F乃至センシング領域102Bは、短距離又は中距離用のレーダ52のセンシング領域の例を示している。センシング領域102Fは、車両10の前方において、センシング領域101Fより遠い位置までカバーしている。センシング領域102Bは、車両10の後方において、センシング領域101Bより遠い位置までカバーしている。センシング領域102Lは、車両10の左側面の後方の周辺をカバーしている。センシング領域102Rは、車両10の右側面の後方の周辺をカバーしている。
センシング領域102Fにおけるセンシング結果は、例えば、車両10の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域102Bにおけるセンシング結果は、例えば、車両10の後方の衝突防止機能等に用いられる。センシング領域102L及びセンシング領域102Rにおけるセンシング結果は、例えば、車両10の側方の死角における物体の検出等に用いられる。
センシング領域103F乃至センシング領域103Bは、カメラ51によるセンシング領域の例を示している。センシング領域103Fは、車両10の前方において、センシング領域102Fより遠い位置までカバーしている。センシング領域103Bは、車両10の後方において、センシング領域102Bより遠い位置までカバーしている。センシング領域103Lは、車両10の左側面の周辺をカバーしている。センシング領域103Rは、車両10の右側面の周辺をカバーしている。
センシング領域103Fにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域103Bにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステムに用いることができる。センシング領域103L及びセンシング領域103Rにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。
センシング領域104は、LiDAR53のセンシング領域の例を示している。センシング領域104は、車両10の前方において、センシング領域103Fより遠い位置までカバーしている。一方、センシング領域104は、センシング領域103Fより左右方向の範囲が狭くなっている。
センシング領域104におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。
センシング領域105は、長距離用のレーダ52のセンシング領域の例を示している。
センシング領域105は、車両10の前方において、センシング領域104より遠い位置までカバーしている。一方、センシング領域105は、センシング領域104より左右方向の範囲が狭くなっている。
センシング領域105は、車両10の前方において、センシング領域104より遠い位置までカバーしている。一方、センシング領域105は、センシング領域104より左右方向の範囲が狭くなっている。
センシング領域105におけるセンシング結果は、例えば、ACC(Adaptive Cruise Control)、緊急ブレーキ、衝突回避等に用いられる。
なお、外部認識センサ25が含むカメラ51、レーダ52、LiDAR53、及び、超音波センサ54の各センサのセンシング領域は、図23以外に各種の構成をとってもよい。具体的には、超音波センサ54が車両10の側方もセンシングするようにしてもよいし、LiDAR53が車両10の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、1つでもよいし、複数であってもよい。
また、例えば、本開示は以下のような構成を取ることができる。
(1)
複数の画素共有ユニットを備え、
前記複数の画素共有ユニットのうちの少なくとも1つの画素共有ユニットは、
光電変換により光から電荷を生成する複数の光電変換部と、
前記複数の光電変換部により生成された前記電荷を蓄積する蓄電部と、
前記電荷を前記複数の光電変換部から前記蓄電部に転送し、前記電荷の蓄積時間を制御する複数の第1トランジスタとを含む、
固体撮像装置。
複数の画素共有ユニットを備え、
前記複数の画素共有ユニットのうちの少なくとも1つの画素共有ユニットは、
光電変換により光から電荷を生成する複数の光電変換部と、
前記複数の光電変換部により生成された前記電荷を蓄積する蓄電部と、
前記電荷を前記複数の光電変換部から前記蓄電部に転送し、前記電荷の蓄積時間を制御する複数の第1トランジスタとを含む、
固体撮像装置。
(2)
前記複数の画素共有ユニットのうちのN個(Nは2以上の整数)の画素共有ユニットを含むフィルタユニットをさらに備え、
前記フィルタユニットは、
前記N個の画素共有ユニットのN個の前記蓄電部の行成分の加算信号を生成する複数の第2トランジスタと、
前記N個の画素共有ユニットのN個の前記蓄電部の列成分の加算信号を生成する複数の第3トランジスタと、
前記行成分の加算信号および前記列成分の加算信号を増幅するM個(Mは1以上の整数)の増幅回路とを含む、
(1)に記載の固体撮像装置。
前記複数の画素共有ユニットのうちのN個(Nは2以上の整数)の画素共有ユニットを含むフィルタユニットをさらに備え、
前記フィルタユニットは、
前記N個の画素共有ユニットのN個の前記蓄電部の行成分の加算信号を生成する複数の第2トランジスタと、
前記N個の画素共有ユニットのN個の前記蓄電部の列成分の加算信号を生成する複数の第3トランジスタと、
前記行成分の加算信号および前記列成分の加算信号を増幅するM個(Mは1以上の整数)の増幅回路とを含む、
(1)に記載の固体撮像装置。
(3)
前記光電変換部または前記蓄電部から前記電荷を排出するM個のリセットトランジスタをさらに含む、(2)に記載の固体撮像装置。
前記光電変換部または前記蓄電部から前記電荷を排出するM個のリセットトランジスタをさらに含む、(2)に記載の固体撮像装置。
(4)
前記フィルタユニットにおける前記増幅回路の個数Mは、前記フィルタユニットにおける前記蓄電部の個数Nよりも少ない、(2)に記載の固体撮像装置。
前記フィルタユニットにおける前記増幅回路の個数Mは、前記フィルタユニットにおける前記蓄電部の個数Nよりも少ない、(2)に記載の固体撮像装置。
(5)
前記増幅回路は、電圧信号を増幅する回路である、(2)に記載の固体撮像装置。
前記増幅回路は、電圧信号を増幅する回路である、(2)に記載の固体撮像装置。
(6)
前記増幅回路は、増幅トランジスタおよび選択トランジスタを含む、(6)に記載の固体撮像装置。
前記増幅回路は、増幅トランジスタおよび選択トランジスタを含む、(6)に記載の固体撮像装置。
(7)
前記1つの画素共有ユニットにおける読み出し値は、前記複数の光電変換部のそれぞれにより生成される前記電荷の量に基づいて決定される、(1)に記載の固体撮像装置。
前記1つの画素共有ユニットにおける読み出し値は、前記複数の光電変換部のそれぞれにより生成される前記電荷の量に基づいて決定される、(1)に記載の固体撮像装置。
(8)
前記1つの画素共有ユニットにおける各光電変換部の前記電荷は、前記蓄電部に個別に転送される、(1)に記載の固体撮像装置。
前記1つの画素共有ユニットにおける各光電変換部の前記電荷は、前記蓄電部に個別に転送される、(1)に記載の固体撮像装置。
(9)
前記1つの画素共有ユニットにおける読み出し値は、相関二重サンプリングにより、P相およびD相の順番で繰り返して前記電荷を読み出し、または、P相の読み出しの後、D相を繰り返して前記電荷を読み出すことにより決定される、(1)に記載の固体撮像装置。
前記1つの画素共有ユニットにおける読み出し値は、相関二重サンプリングにより、P相およびD相の順番で繰り返して前記電荷を読み出し、または、P相の読み出しの後、D相を繰り返して前記電荷を読み出すことにより決定される、(1)に記載の固体撮像装置。
(10)
前記複数の第1トランジスタはそれぞれ、互いに独立した複数の制御線を備える、(1)に記載の固体撮像装置。
前記複数の第1トランジスタはそれぞれ、互いに独立した複数の制御線を備える、(1)に記載の固体撮像装置。
(11)
露光開始時間を制御するオーバーフローゲートを有する第4トランジスタをさらに備え、
前記光電変換部は、前記第4トランジスタの制御に基づいて転送される電荷の量が変化する、(1)に記載の固体撮像装置。
露光開始時間を制御するオーバーフローゲートを有する第4トランジスタをさらに備え、
前記光電変換部は、前記第4トランジスタの制御に基づいて転送される電荷の量が変化する、(1)に記載の固体撮像装置。
(12)
前記フィルタユニットは、前記画素共有ユニットにおける読み出し値に関し、前記複数の光電変換部に対し重み付けを行う1つまたは複数の容量トランジスタをさらに備える、(2)に記載の固体撮像装置。
前記フィルタユニットは、前記画素共有ユニットにおける読み出し値に関し、前記複数の光電変換部に対し重み付けを行う1つまたは複数の容量トランジスタをさらに備える、(2)に記載の固体撮像装置。
(13)
前記複数の画素共有ユニットのうちの1つは、前記複数の光電変換部として、第1面積を有する第1光電変換部と、前記第1面積と異なる第2面積を有する第2光電変換部とを備える、(1)に記載の固体撮像装置。
前記複数の画素共有ユニットのうちの1つは、前記複数の光電変換部として、第1面積を有する第1光電変換部と、前記第1面積と異なる第2面積を有する第2光電変換部とを備える、(1)に記載の固体撮像装置。
(14)
前記複数の光電変換部で生成された前記電荷をそれぞれ保持する複数のメモリ部をさらに備え、
前記複数の第1トランジスタは、前記複数のメモリ部が保持する前記電荷を前記蓄電部に転送する、(1)に記載の固体撮像装置。
前記複数の光電変換部で生成された前記電荷をそれぞれ保持する複数のメモリ部をさらに備え、
前記複数の第1トランジスタは、前記複数のメモリ部が保持する前記電荷を前記蓄電部に転送する、(1)に記載の固体撮像装置。
(15)
前記複数の画素共有ユニットのうちの1つは、前記複数の光電変換部として、4つの光電変換部を備え、
前記4つの光電変換部は、隣り合う2つの光電変換部の色が互いに異なる色配置を有する、(1)に記載の固体撮像装置。
前記複数の画素共有ユニットのうちの1つは、前記複数の光電変換部として、4つの光電変換部を備え、
前記4つの光電変換部は、隣り合う2つの光電変換部の色が互いに異なる色配置を有する、(1)に記載の固体撮像装置。
(16)
前記4つの光電変換部は、RGBのベイヤ配列に基づいて配置される、(15)に記載の固体撮像装置。
前記4つの光電変換部は、RGBのベイヤ配列に基づいて配置される、(15)に記載の固体撮像装置。
(17)
前記複数の画素共有ユニットのうちの第1画素共有ユニット内の前記複数の光電変換部は、前記複数の画素共有ユニットのうちの第2画素共有ユニット内の前記複数の光電変換部と異なる色配置を有する、(1)に記載の固体撮像装置。
前記複数の画素共有ユニットのうちの第1画素共有ユニット内の前記複数の光電変換部は、前記複数の画素共有ユニットのうちの第2画素共有ユニット内の前記複数の光電変換部と異なる色配置を有する、(1)に記載の固体撮像装置。
(18)
前記第1画素共有ユニット内の前記複数の光電変換部は、互いに同じ色を有し、かつ、前記第2画素共有ユニット内の前記複数の光電変換部は、互いに同じ色を有する、(17)に記載の固体撮像装置。
前記第1画素共有ユニット内の前記複数の光電変換部は、互いに同じ色を有し、かつ、前記第2画素共有ユニット内の前記複数の光電変換部は、互いに同じ色を有する、(17)に記載の固体撮像装置。
前記画素共有ユニットが配置される第1基板と、
前記複数の第2トランジスタと、前記複数の第3トランジスタと、前記増幅回路とが配置される第2基板とを備える、(2)に記載の固体撮像装置。
前記複数の第2トランジスタと、前記複数の第3トランジスタと、前記増幅回路とが配置される第2基板とを備える、(2)に記載の固体撮像装置。
撮像装置を備える電子機器であって、
前記撮像装置は、
複数の画素共有ユニットを備え、
前記複数の画素共有ユニットのうちの少なくとも1つの画素共有ユニットは、
光電変換により光から電荷を生成する複数の光電変換部と、
前記複数の光電変換部により生成された前記電荷を蓄積する蓄電部と、
前記電荷を前記複数の光電変換部から前記蓄電部に転送し、前記電荷の蓄積時間を制御する複数の第1トランジスタとを含む、
電子機器。
前記撮像装置は、
複数の画素共有ユニットを備え、
前記複数の画素共有ユニットのうちの少なくとも1つの画素共有ユニットは、
光電変換により光から電荷を生成する複数の光電変換部と、
前記複数の光電変換部により生成された前記電荷を蓄積する蓄電部と、
前記電荷を前記複数の光電変換部から前記蓄電部に転送し、前記電荷の蓄積時間を制御する複数の第1トランジスタとを含む、
電子機器。
1:画素共有ユニット、2:フィルタユニット、3:増幅回路、
4:画素アレイ部、5:画素、100:撮像装置、110:撮像レンズ、
142:演算処理部、120:記録部、130:制御部、140:解析部、
150:無線通信部、160:スピーカ部、170:表示部、
200:固体撮像装置、209:信号線、210:蓄積制御回路、
211a:第1アクセス制御回路、211b:第2アクセス制御回路、
211c:第3アクセス制御回路、212:読出部、213:信号処理部、
214:タイミング制御回路、215:出力インターフェース、
220:定電流源、230:AD変換部ADC、
PD:フォトダイオード、PDa:フォトダイオード、
PDb:フォトダイオード、FD:フローティングディフュージョン、
TRG:転送トランジスタ、HSW: 、VSW: 、
SEL:選択トランジスタ、AMP:増幅トランジスタ、RST:リセットトランジスタ、
VSW1:制御線、VSW2:制御線、VSW3:制御線、
HSW1:制御線、HSW2:制御線、HSW3:制御線、
TRG1:転送トランジスタ、TRG2:転送トランジスタ、
TRG3:転送トランジスタ、TRG4:転送トランジスタ、
R:赤色、Gr:緑色、Gb:緑色、B:青色
4:画素アレイ部、5:画素、100:撮像装置、110:撮像レンズ、
142:演算処理部、120:記録部、130:制御部、140:解析部、
150:無線通信部、160:スピーカ部、170:表示部、
200:固体撮像装置、209:信号線、210:蓄積制御回路、
211a:第1アクセス制御回路、211b:第2アクセス制御回路、
211c:第3アクセス制御回路、212:読出部、213:信号処理部、
214:タイミング制御回路、215:出力インターフェース、
220:定電流源、230:AD変換部ADC、
PD:フォトダイオード、PDa:フォトダイオード、
PDb:フォトダイオード、FD:フローティングディフュージョン、
TRG:転送トランジスタ、HSW: 、VSW: 、
SEL:選択トランジスタ、AMP:増幅トランジスタ、RST:リセットトランジスタ、
VSW1:制御線、VSW2:制御線、VSW3:制御線、
HSW1:制御線、HSW2:制御線、HSW3:制御線、
TRG1:転送トランジスタ、TRG2:転送トランジスタ、
TRG3:転送トランジスタ、TRG4:転送トランジスタ、
R:赤色、Gr:緑色、Gb:緑色、B:青色
Claims (20)
- 複数の画素共有ユニットを備え、
前記複数の画素共有ユニットのうちの少なくとも1つの画素共有ユニットは、
光電変換により光から電荷を生成する複数の光電変換部と、
前記複数の光電変換部により生成された前記電荷を蓄積する蓄電部と、
前記電荷を前記複数の光電変換部から前記蓄電部に転送し、前記電荷の蓄積時間を制御する複数の第1トランジスタとを含む、
固体撮像装置。 - 前記複数の画素共有ユニットのうちのN個(Nは2以上の整数)の画素共有ユニットを含むフィルタユニットをさらに備え、
前記フィルタユニットは、
前記N個の画素共有ユニットのN個の前記蓄電部の行成分の加算信号を生成する複数の第2トランジスタと、
前記N個の画素共有ユニットのN個の前記蓄電部の列成分の加算信号を生成する複数の第3トランジスタと、
前記行成分の加算信号および前記列成分の加算信号を増幅するM個(Mは1以上の整数)の増幅回路とを含む、
請求項1に記載の固体撮像装置。 - 前記光電変換部または前記蓄電部から前記電荷を排出するM個のリセットトランジスタをさらに含む、請求項2に記載の固体撮像装置。
- 前記フィルタユニットにおける前記増幅回路の個数Mは、前記フィルタユニットにおける前記蓄電部の個数Nよりも少ない、請求項2に記載の固体撮像装置。
- 前記増幅回路は、電圧信号を増幅する回路である、請求項2に記載の固体撮像装置。
- 前記増幅回路は、増幅トランジスタおよび選択トランジスタを含む、請求項5に記載の固体撮像装置。
- 前記1つの画素共有ユニットにおける読み出し値は、前記複数の光電変換部のそれぞれにより生成される前記電荷の量に基づいて決定される、請求項1に記載の固体撮像装置。
- 前記1つの画素共有ユニットにおける各光電変換部の前記電荷は、前記蓄電部に個別に転送される、請求項1に記載の固体撮像装置。
- 前記1つの画素共有ユニットにおける読み出し値は、相関二重サンプリングにより、P相およびD相の順番で繰り返して前記電荷を読み出し、または、P相の読み出しの後、D相を繰り返して前記電荷を読み出すことにより決定される、請求項1に記載の固体撮像装置。
- 前記複数の第1トランジスタはそれぞれ、互いに独立した複数の制御線を備える、請求項1に記載の固体撮像装置。
- 露光開始時間を制御するオーバーフローゲートを有する第4トランジスタをさらに備え、
前記光電変換部は、前記第4トランジスタの制御に基づいて転送される電荷の量が変化する、請求項1に記載の固体撮像装置。 - 前記フィルタユニットは、前記画素共有ユニットにおける読み出し値に関し、前記複数の光電変換部に対し重み付けを行う1つまたは複数の容量トランジスタをさらに備える、請求項2に記載の固体撮像装置。
- 前記複数の画素共有ユニットのうちの1つは、前記複数の光電変換部として、第1面積を有する第1光電変換部と、前記第1面積と異なる第2面積を有する第2光電変換部とを備える、請求項1に記載の固体撮像装置。
- 前記複数の光電変換部で生成された前記電荷をそれぞれ保持する複数のメモリ部をさらに備え、
前記複数の第1トランジスタは、前記複数のメモリ部が保持する前記電荷を前記蓄電部に転送する、請求項1に記載の固体撮像装置。 - 前記複数の画素共有ユニットのうちの1つは、前記複数の光電変換部として、4つの光電変換部を備え、
前記4つの光電変換部は、隣り合う2つの光電変換部の色が互いに異なる色配置を有する、請求項1に記載の固体撮像装置。 - 前記4つの光電変換部は、RGBのベイヤ配列に基づいて配置される、請求項15に記載の固体撮像装置。
- 前記複数の画素共有ユニットのうちの第1画素共有ユニット内の前記複数の光電変換部は、前記複数の画素共有ユニットのうちの第2画素共有ユニット内の前記複数の光電変換部と異なる色配置を有する、請求項1に記載の固体撮像装置。
- 前記第1画素共有ユニット内の前記複数の光電変換部は、互いに同じ色を有し、かつ、前記第2画素共有ユニット内の前記複数の光電変換部は、互いに同じ色を有する、請求項17に記載の固体撮像装置。
- 前記画素共有ユニットが配置される第1基板と、
前記複数の第2トランジスタと、前記複数の第3トランジスタと、前記増幅回路とが配置される第2基板とを備える、請求項2に記載の固体撮像装置。 - 撮像装置を備える電子機器であって、
前記撮像装置は、
複数の画素共有ユニットを備え、
前記複数の画素共有ユニットのうちの少なくとも1つの画素共有ユニットは、
光電変換により光から電荷を生成する複数の光電変換部と、
前記複数の光電変換部により生成された前記電荷を蓄積する蓄電部と、
前記電荷を前記複数の光電変換部から前記蓄電部に転送し、前記電荷の蓄積時間を制御する複数の第1トランジスタとを含む、
電子機器。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022183491 | 2022-11-16 | ||
JP2022-183491 | 2022-11-16 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024106196A1 true WO2024106196A1 (ja) | 2024-05-23 |
Family
ID=91084320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/039185 WO2024106196A1 (ja) | 2022-11-16 | 2023-10-31 | 固体撮像装置および電子機器 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024106196A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015177429A (ja) * | 2014-03-17 | 2015-10-05 | ソニー株式会社 | 固体撮像装置およびその駆動方法、並びに電子機器 |
JP2019140237A (ja) * | 2018-02-09 | 2019-08-22 | キヤノン株式会社 | 光電変換装置および撮像システム |
WO2020262193A1 (ja) * | 2019-06-25 | 2020-12-30 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置、及び電子機器 |
JP2021057795A (ja) * | 2019-09-30 | 2021-04-08 | ブリルニクス インク | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 |
JP2022114386A (ja) * | 2021-01-26 | 2022-08-05 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置 |
-
2023
- 2023-10-31 WO PCT/JP2023/039185 patent/WO2024106196A1/ja unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015177429A (ja) * | 2014-03-17 | 2015-10-05 | ソニー株式会社 | 固体撮像装置およびその駆動方法、並びに電子機器 |
JP2019140237A (ja) * | 2018-02-09 | 2019-08-22 | キヤノン株式会社 | 光電変換装置および撮像システム |
WO2020262193A1 (ja) * | 2019-06-25 | 2020-12-30 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置、及び電子機器 |
JP2021057795A (ja) * | 2019-09-30 | 2021-04-08 | ブリルニクス インク | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 |
JP2022114386A (ja) * | 2021-01-26 | 2022-08-05 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020195700A1 (ja) | 撮像装置及び撮像システム | |
JPWO2020158322A1 (ja) | 受光素子、固体撮像装置及び測距装置 | |
US20230370709A1 (en) | Imaging device, information processing device, imaging system, and imaging method | |
CN113647089A (zh) | 成像系统 | |
WO2022153896A1 (ja) | 撮像装置、画像処理方法及び画像処理プログラム | |
WO2024024148A1 (ja) | 車載監視装置、情報処理装置および車載監視システム | |
WO2024106196A1 (ja) | 固体撮像装置および電子機器 | |
WO2022249734A1 (ja) | 撮像装置および電子機器 | |
US20230245423A1 (en) | Information processing apparatus, information processing method, and program | |
WO2024106132A1 (ja) | 固体撮像装置および情報処理システム | |
WO2024185361A1 (ja) | 固体撮像装置 | |
US20210295563A1 (en) | Image processing apparatus, image processing method, and program | |
US20240179429A1 (en) | Solid-state imaging device, imaging device, processing method in solid-state imaging device, processing program in solid-state imaging device, processing method in imaging device, and processing program in imaging device | |
WO2024062842A1 (ja) | 固体撮像装置 | |
WO2024127912A1 (en) | Solid-state imaging device and electronic apparatus | |
WO2023189071A1 (ja) | 撮像装置及び電子機器 | |
WO2024214440A1 (ja) | 光検出装置および光検出システム | |
US20240037781A1 (en) | Electronic device for identifying position of external object associated with image by using information of camera and method thereof | |
US20240241227A1 (en) | Distance measuring device and distance measuring method | |
WO2024048292A1 (ja) | 光検出素子、撮像装置、及び車両制御システム | |
US20240362886A1 (en) | Electronic device for identifying external object based on inputting partial area of image to neural network | |
US20240064431A1 (en) | Solid-state imaging device, method of controlling solid-state imaging device, and control program for solid-state imaging device | |
WO2020158321A1 (ja) | 受光素子、固体撮像装置及び測距装置 | |
WO2022239345A1 (ja) | 撮像素子、撮像装置及び撮像素子の制御方法 | |
EP4456018A1 (en) | Electronic device for identifying external object based on inputting partial area of image to neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23891349 Country of ref document: EP Kind code of ref document: A1 |