WO2022054742A1 - 撮像素子及び撮像装置 - Google Patents

撮像素子及び撮像装置 Download PDF

Info

Publication number
WO2022054742A1
WO2022054742A1 PCT/JP2021/032588 JP2021032588W WO2022054742A1 WO 2022054742 A1 WO2022054742 A1 WO 2022054742A1 JP 2021032588 W JP2021032588 W JP 2021032588W WO 2022054742 A1 WO2022054742 A1 WO 2022054742A1
Authority
WO
WIPO (PCT)
Prior art keywords
convolution
circuit
image pickup
processing
vehicle
Prior art date
Application number
PCT/JP2021/032588
Other languages
English (en)
French (fr)
Inventor
優作 鳥居
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to JP2022547572A priority Critical patent/JPWO2022054742A1/ja
Priority to US18/043,770 priority patent/US20240031691A1/en
Priority to CN202180055237.8A priority patent/CN116134831A/zh
Publication of WO2022054742A1 publication Critical patent/WO2022054742A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • the present disclosure relates to an image pickup device and an image pickup device.
  • CNN convolutional neural networks
  • FC layer fully connected layer
  • CNN convolutional neural networks
  • CIS contact image sensor
  • GPU GPU
  • image recognition system will become large when trying to realize real-time processing.
  • an image pickup device and an image pickup device capable of realizing simplification of an image recognition system and shortening of a lead time are provided.
  • One form of the image pickup device has a convolution coefficient with respect to an image pickup unit in which a plurality of pixels individually including a photoelectric conversion element are arranged in a matrix and a pixel signal which is an analog signal output from each of the plurality of pixels.
  • a convolution circuit that performs a convolution process based on the above, and a pooling circuit that performs a pooling process on the plurality of pixel signals for which the convolution process has been performed are provided.
  • FIG. 1 It is a block diagram which shows the flow of the CNN learning which concerns on the CNN operation shown in FIG. It is a figure which shows the schematic structure example of the convolution circuit based on the convolution filter which concerns on 1st Embodiment. It is a figure which shows the operation example of the convolution circuit at the time of a normal image output processing which concerns on 1st Embodiment. It is a figure which shows the operation example of the convolution circuit at the time of the convolution processing which concerns on 1st Embodiment. It is a figure which shows the schematic structure example of the AD conversion circuit including the pooling circuit which concerns on 1st Embodiment.
  • FIG. 1 It is a figure which shows the schematic structure example of the convolution circuit based on the convolution filter which concerns on 2nd Embodiment. It is a figure for demonstrating the slide of the convolution filter which concerns on 3rd Embodiment. It is the first figure which shows the operation example of the convolution circuit at the time of the convolution processing which concerns on 3rd Embodiment. It is a 2nd figure which shows the operation example of the convolution circuit at the time of the convolution processing which concerns on 3rd Embodiment. It is a figure which shows the use example which uses the image sensor which concerns on each embodiment. It is a figure which shows the schematic configuration example of the image pickup apparatus. It is a block diagram which shows an example of the schematic structure of a vehicle control system. It is explanatory drawing which shows an example of the installation position of the vehicle exterior information detection unit and the image pickup unit.
  • First Embodiment 1-1 Schematic configuration example of the image sensor 1-2. Schematic configuration example of pixels 1-3. CNN operation example of the image sensor and normal image output operation example 1-4. Schematic configuration example of convolution circuit 1-5. Schematic configuration example of AD conversion circuit including pooling circuit 1-6. Action / effect 2. Second embodiment 3. Third embodiment 4. Other embodiments 5. Application example 6. Application example 7. Addendum
  • FIG. 1 is a block diagram showing a schematic configuration example of the image pickup device 10 according to the first embodiment.
  • the image sensor 10 includes an image pickup unit (pixel array unit) 11, a vertical scanning circuit 12, a horizontal scanning circuit 13, a capacitance adding circuit (adding circuit) 14, and an AD (Analog to Digital).
  • a conversion circuit 15, a fully coupled processing unit 16, a storage unit 17, and a control unit 18 are provided.
  • the image sensor 10 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the image pickup device 10 is incorporated into various image pickup devices such as CIS.
  • the image pickup unit 11 has a plurality of pixels 110 capable of photoelectric conversion. These pixels 110 are arranged in a two-dimensional lattice in the vertical direction (column direction) and the horizontal direction (row direction). In FIG. 1, the vertical arrangement is a column and the horizontal arrangement is a row. Each row is also called a line, and each column is also called a column. A pixel signal line 121 is connected to each pixel 110 for each row, and a vertical signal line 122 is connected for each column. Each pixel signal line 121 is connected to the vertical scanning circuit 12, and each vertical signal line 122 is connected to the horizontal scanning circuit 13. For example, the pixel signal line 121 or the vertical signal line 122 includes a plurality of signal lines.
  • the vertical scanning circuit 12 transmits various signals such as a drive pulse for reading a pixel signal from the pixel 110 to the image pickup unit 11 via each pixel signal line 121 under the control of the control unit 18.
  • the vertical scanning circuit 12 supplies various signals such as drive pulses to each pixel 110 via the pixel signal line 121 for each line, and outputs the pixel signal from each pixel 110 to the vertical signal line 122. That is, each pixel 110 is driven line by line by a drive signal supplied from the vertical scanning circuit 12 via the pixel signal line 121.
  • the vertical scanning circuit 12 has, for example, a shift register, an address decoder, and the like.
  • the horizontal scanning circuit 13 scans the pixel signals output (read) from each pixel 110 in the horizontal direction (line direction) according to the control by the control unit 18, and outputs the pixel signals to the capacitance addition circuit 14. .. Further, the horizontal scanning circuit 13 controls the connection between each vertical signal line 122 and the capacitance adding circuit 14 according to the processing to be executed according to the control by the control unit 18. For example, the horizontal scanning circuit 13 connects all the vertical signal lines 122 and the capacitance addition circuit 14 when performing a normal image output process for outputting a normal image. Further, when performing CNN processing, the horizontal scanning circuit 13 controls the connection between each vertical signal line 122 and the capacitance adding circuit 14 based on the convolution coefficient stored in the storage unit 17 (details will be described later).
  • the capacitance addition circuit 14 outputs the pixel signal output from each pixel 110 to the AD conversion circuit (ADC) 15 according to the processing to be executed according to the control by the control unit 18.
  • ADC AD conversion circuit
  • the capacitance addition circuit 14 normally outputs each pixel signal output from the horizontal scanning circuit 13 to the AD conversion circuit 15 (bypass) when performing image output processing.
  • each pixel signal output from the horizontal scanning circuit 13 is added (for example, weighted addition) based on the convolution coefficient stored in the storage unit 17, and AD conversion is performed. It is output to the circuit 15 (details will be described later).
  • the horizontal scanning circuit 13 and the capacitance addition circuit 14 function as a convolution circuit 20 that performs convolution processing on individual pixel signals output from each pixel 110.
  • the usual CNN process is a process of reaching the fully connected layer (FC layer) of the input image via the convolution layer and the pooling layer.
  • FC layer fully connected layer
  • the convolution layer features are extracted from the input image based on the convolution coefficient (convolution filter). For example, a convolution filter is sequentially applied to the input image, and the feature amount is extracted.
  • the process related to this convolution layer is executed by the convolution circuit 20 in an analog manner.
  • the convolution circuit 20 is an analog circuit.
  • the AD conversion circuit 15 performs AD conversion processing on each pixel signal output from the capacitance addition circuit 14, that is, a pixel signal output from each pixel 110, and obtains each pixel signal which is a digital signal. Output to the full combination processing unit 16.
  • various AD conversion circuits can be used as the AD conversion circuit 15.
  • the AD conversion circuit 15 has a pooling circuit 150.
  • the pooling circuit 150 performs a pooling process on a pixel signal output from each pixel 110 according to the process to be executed according to the control by the control unit 18. For example, the pooling circuit 150 outputs each pixel signal as it is to the fully coupled processing unit 16 (bypass) when performing normal image output processing. Further, when performing CNN processing, the AD conversion circuit 15 performs pooling processing on each pixel signal, and outputs each pixel signal to which the pooling processing has been performed to the fully coupled processing unit 16. The pooling circuit 150 performs pooling processing on each pixel signal that has undergone convolution processing (details will be described later).
  • the maximum value or the average value is extracted from a predetermined number (for example, 3 ⁇ 3) of windows, and the feature amount is extracted from the input image. At this time, the amount of data will be reduced.
  • the process (convolution process) related to this pooling layer is executed by the pooling circuit 150 in an analog manner.
  • the pooling circuit 150 and the AD conversion circuit 15 are analog circuits.
  • the fully coupled processing unit 16 outputs each pixel signal, which is a digital signal output from the AD conversion circuit 15, to the outside of the element (outside the sensor) according to the processing to be executed according to the control by the control unit 18.
  • the fully coupled processing unit 16 normally outputs each pixel signal to the outside of the element (bypass) when performing image output processing.
  • the full-coupling processing unit 16 performs the full-coupling processing on each pixel signal and outputs each pixel signal to which the full-coupling processing has been performed to the outside of the element.
  • the output from the pooling layer is summarized in the fully connected layer.
  • the process related to the fully connected layer is logically executed by the fully connected processing unit 16.
  • the fully coupled processing unit 16 is, for example, a digital circuit (logic circuit).
  • the pixel signal output from the fully coupled processing unit 16 is input to, for example, an external device such as a signal processing unit.
  • an external device such as a signal processing unit.
  • a pixel signal by a digital signal that is, pixel data is generated, various processes are applied to the pixel data, and finally image data is generated.
  • the storage unit 17 stores various data such as a convolution coefficient (convolution filter).
  • a convolution coefficient convolution filter
  • a RAM Random Access Memory
  • flash memory or the like is used as the storage unit 17.
  • the convolution coefficient read from the storage unit 17 is temporarily set in the register 17a.
  • the control unit 18 controls each unit such as the vertical scanning circuit 12, the horizontal scanning circuit 13, the capacitance adding circuit 14, the pooling circuit 150, and the fully coupled processing unit 16.
  • the control unit 18 controls the horizontal scanning circuit 13, the capacitance adding circuit 14, and the like based on the convolution coefficient set in the register 18a.
  • a processor such as a CPU (Central Processing Unit) is used.
  • the CPU includes a ROM (Read Only Memory), a RAM, and the like, and uses the RAM as a work memory according to a program stored in the ROM in advance to control the operation of each circuit and each part.
  • FIG. 2 is a diagram showing a schematic configuration example of the pixel 110 according to the first embodiment.
  • the pixel 110 includes a photoelectric conversion element 111, a trigger transistor 112, a reset transistor 114, an amplification transistor 115, and a selection transistor 116.
  • the photoelectric conversion element 111 for example, a PN junction photodiode is used.
  • the trigger transistor 112 the reset transistor 114, the amplification transistor 115, and the selection transistor 116, for example, an N-type MOS (Metal Oxide Semiconductor) transistor is used.
  • MOS Metal Oxide Semiconductor
  • a pixel signal line 121 is connected to such a pixel 110.
  • the pixel signal line 121 supplies a reset pulse RST, a transfer pulse TRG, and a selection signal SEL to the pixel 110, respectively. Therefore, the pixel signal line 121 includes a plurality of signal lines.
  • the photoelectric conversion element 111 photoelectrically converts the incident light into an electric charge (here, an electron) in an amount corresponding to the amount of the light.
  • the cathode of the photoelectric conversion element 111 is connected to the ground, and the anode of the photoelectric conversion element 111 is connected to the drain of the trigger transistor 112.
  • the source of the trigger transistor 112 is connected to the floating diffusion layer (floating diffusion) 113.
  • a transfer pulse TRG is supplied to the gate of the trigger transistor 112.
  • the trigger transistor 112 is turned on (closed) when the transfer pulse TRG is in the high state, and is turned off (open) when the transfer pulse TRG is in the low state. With the trigger transistor 112 turned on, the electric charge output from the photoelectric conversion element 111 is supplied to the floating diffusion layer 113.
  • the floating diffusion layer 113 stores the electric charge supplied from the photoelectric conversion element 111.
  • the floating diffusion layer 113 generates a voltage according to the amount of accumulated charges.
  • the source of the reset transistor 114 is connected to the floating diffusion layer 113.
  • the power supply VDD for the pixel 110 is connected to the drain of the reset transistor 114.
  • a reset pulse RST is supplied to the gate of the reset transistor 114. The reset transistor 114 is turned on when the reset pulse RST is in the high state and is turned off when the reset pulse RST is in the low state.
  • the gate of the amplification transistor 115 is connected to the stray diffusion layer 113.
  • the power supply VDD is connected to the drain of the amplification transistor 115, and the drain of the selection transistor 116 is connected to the source of the amplification transistor 115.
  • the source of the selection transistor 116 is connected to the vertical signal line (VSL) 122.
  • a selection signal SEL is supplied to the gate of the selection transistor 116. The selection transistor 116 is turned on when the selection signal SEL is in the high state and turned off when the selection signal SEL is in the low state.
  • the selection signal SEL, the reset pulse RST, and the transfer pulse TRG are each in the low state. Further, the photoelectric conversion element 111 is exposed, and the trigger transistor 112 is turned off by the transfer pulse TRG in the low state. Therefore, the electric charge generated by the exposure is accumulated in the photoelectric conversion element 111.
  • the selection transistor 116 When the selection signal SEL is in the high state, the selection transistor 116 is turned on.
  • the reset pulse RST is set to the high state, and the electric charge of the floating diffusion layer 113 is discharged to the power supply VDD. As a result, the potential of the floating diffusion layer 113 is reset to a predetermined potential.
  • the transfer pulse TRG After a predetermined time after the reset pulse RST is returned to the low state, the transfer pulse TRG is set to the high state.
  • the electric charge accumulated in the photoelectric conversion element 111 by exposure is supplied to the floating diffusion layer 113 and accumulated.
  • a voltage corresponding to the electric charge stored in the stray diffusion layer 113 is generated, this voltage is amplified by the amplification transistor 115, and is output to the vertical signal line 122 as a pixel signal via the selection transistor 116.
  • FIG. 3 is a block diagram showing a flow of CNN operation of the image pickup device 10 according to the first embodiment.
  • each pixel signal (analog signal) is obtained by the image pickup unit 11.
  • a convolution process is performed on each pixel signal by the horizontal scanning circuit 13 and the capacitance addition circuit 14 (convolution circuit 20) based on the convolution coefficient (convolution filter).
  • the pooling process is executed by the pooling circuit 150 in the AD conversion circuit 15 for each pixel signal that has undergone the convolution process.
  • the full-coupling processing unit 16 executes the full-coupling processing for each pixel signal to which the pooling processing has been performed, and outputs each pixel signal (pixel signal and classification label) to which the CNN processing has been performed.
  • the image sensor 10 can complete the CNN process in the sensor. There are multiple types of convolution filters, and the amount of features extracted by the convolution filter to be multiplied also changes.
  • FIG. 4 is a block diagram showing a flow of CNN learning related to the CNN operation shown in FIG.
  • the CNN is learned in advance by the sensor external CNN 51 which is a system outside the sensor, and the convolution coefficient and the total coupling processing coefficient are stored in the storage unit 17. I will do it.
  • the sensor outer CNN 51 can learn the CNN (convolutional layer-> pooling layer-> fully connected layer) based on the learning data and the label 52, and can acquire the convolution coefficient and the fully connected processing coefficient.
  • the convolution circuit 20 performs a convolution process based on the convolution coefficient stored in the storage unit 17.
  • the full-coupling processing unit 16 performs the full-coupling processing based on the full-coupling processing coefficient stored in the storage unit 17.
  • the convolution process, the pooling process, and the full coupling process are performed in the sensor.
  • the sensor external CNN 51 may be composed of hardware and / or software.
  • FIG. 5 is a block diagram showing a flow of a normal image output operation of the image pickup device 10 according to the first embodiment.
  • the image pickup unit 11 the horizontal scanning circuit 13, and the AD conversion circuit 15 (excluding the pooling circuit 150) operate. .. All CNN-based processing is bypassed, and the capacitance addition circuit 14, the pooling circuit 150, and the fully coupled processing unit 16 do not operate. As a result, a normal image without CNN processing is output.
  • FIG. 6 is a block diagram showing a flow of a modified example of the CNN operation of the image pickup device 10 according to the first embodiment.
  • a sensor external CNN 50 that performs full coupling processing may be provided outside the sensor. That is, the full coupling process may be performed outside the sensor.
  • FIG. 7 is a block diagram showing a flow of CNN learning related to the CNN operation shown in FIG.
  • the CNN is learned in advance by the sensor external CNN 51 which is a system outside the sensor, and the convolution coefficient (first layer) is stored in the storage unit 17. I will do it.
  • the CNN processing after the first layer is executed by the CNN 50 outside the sensor. In this case, the convolution process of the first layer is executed inside the sensor, and the subsequent processes are executed outside the sensor.
  • the CNN operation and the normal image output operation may be switched by the user, for example.
  • an input unit for example, a switch, a button, etc.
  • the CNN operation and the normal image output operation are switched by the control unit 18.
  • the input unit is electrically connected to the control unit 18.
  • This input unit receives an input operation by the user and sends an input signal (instruction signal for switching) to the control unit 18 in response to the input operation.
  • the control unit 18 switches between a CNN operation and a normal image output operation according to an input signal.
  • control unit 18 switches the operation mode from the CNN operation to the normal image output operation according to the input signal for limiting the CNN operation, and limits (prohibits) the convolution process and the pooling process.
  • control unit 18 switches the operation mode from the normal image output operation to the CNN operation according to the input signal for permitting the CNN operation, and permits the convolution process and the pooling process.
  • FIG. 8 is a diagram showing a schematic configuration example of a convolution circuit 20 based on the convolution filter according to the first embodiment.
  • the horizontal scanning circuit 13 includes a multiplexer 13a.
  • Vertical signal lines 122 for each column (for each column) are connected to the multiplexer 13a.
  • the multiplexer 13a selects a column to which each vertical signal line 122 is connected by switching (VSL connection / disconnection switch).
  • the multiplexer 13a is controlled by the control unit 18.
  • the capacitance addition circuit 14 has a plurality of multiplexers 14a, a plurality of capacitors (capacitors) 14b, and a plurality of switches 14c.
  • Each multiplexer 14a is connected to the multiplexer 13a of the horizontal scanning circuit 13 via a predetermined number (three in FIG. 8) of vertical signal lines 122.
  • Each end of each capacitor 14b is connected to a multiplexer 14a, and the other ends of each capacitor 14b are connected to one signal line 122a for each multiplexer 14a.
  • Each multiplexer 14a changes the connection of the capacitor 14b and sets the addition ratio (addition capacity setting). These multiplexers 14a are controlled by the control unit 18.
  • the signal line 122a is provided for each multiplexer 14a. These signal lines 122a are connected to the adjacent signal lines 122a via the connection line 122b. Each switch 14c is individually provided on each signal line 122a, and is individually provided on each connection line 122b. The on / off of these switches 14c is controlled by the control unit 18.
  • FIG. 9 is a diagram showing an operation example of the convolution circuit 20 at the time of normal image output processing according to the first embodiment.
  • the horizontal scanning circuit 13 does not cut all the vertical signal lines 122, but connects them to the capacitance adding circuit 14.
  • the capacitance addition circuit 14 connects all the vertical signal lines 122 to each signal line 122a via each multiplexer 14a and each capacitor 14b.
  • each switch 14c does not connect the connection line 122b, but connects all the signal lines 122a.
  • FIG. 10 is a diagram showing an operation example of the convolution circuit 20 during the convolution process according to the first embodiment.
  • the horizontal scanning circuit 13 controls the connection between each vertical signal line 122 and the capacitance addition circuit 14 by the multiplexer 13a based on the convolution filter.
  • the capacitance addition circuit 14 controls the connection between each vertical signal line 122 and each signal line 122a by each multiplexer 14a and each capacitor 14b based on the convolution filter.
  • each switch 14c has three adjacent signal lines 122a as a set, connects the connection lines 122b (horizontally connected) for each set, and connects one central signal line 122a.
  • the same connection process is performed for each pixel 110 other than each pixel 110 shown in FIG.
  • the 3 ⁇ 3 convolution filter is “1st row: 2, 0, 1st and 2nd rows: 0, 1, 0, 3rd row: 1, 0, 1”.
  • This convolution filter (number of matrices and each numerical value) is realized by the horizontal scanning circuit 13 and the capacitance addition circuit 14.
  • the capacitance addition circuit 14 has each multiplexer 14a and each capacitor 14b for setting the convolution coefficient.
  • the first row and the first column are 2.
  • the pixel (upper left pixel) 110 in the first row and first column in FIG. 10 is connected to two capacitors 14b via a vertical signal line 122.
  • the first row and the second column are 0, and the pixel 110 in the first row and the second column in FIG. 10 is not connected to the capacitor 14b.
  • the 1st row and 3rd column is 1, and the pixel 110 in the 1st row and 3rd column in FIG. 10 is connected to one capacitor 14b.
  • the pixel 110 and the capacitor 14b are connected / disconnected in the same manner.
  • a convolution filter containing 0 (0 filter) can be realized by the horizontal scanning circuit 13 and the capacitance addition circuit 14. This makes it possible to realize a 0 filter with a simple configuration.
  • FIG. 11 is a diagram showing a schematic configuration example of the AD conversion circuit 15 including the pooling circuit 150 according to the first embodiment.
  • the AD conversion circuit 15 has a plurality of comparators 15a, a multiplexer 15b, and a plurality of counters 15c (CN).
  • the AD conversion circuit 15 for example, an AD conversion circuit using a voltage controlled oscillator (VCO) is used.
  • VCO voltage controlled oscillator
  • Each comparator 15a is provided on each signal line 122a.
  • the multiplexer 15b is connected to each signal line 122a, and each counter 15c is connected to the subsequent stage (downstream side of the signal flow) of the multiplexer 15b.
  • the pooling circuit 150 has an OR circuit 150a.
  • the OR circuit 150a is provided between the multiplexer 15b and the counter 15c.
  • the pooling circuit 150 performs a maximum value pooling process (Max pooling process) on a pixel signal output from each comparator 15a.
  • Max pooling process a maximum value pooling process
  • the pooling process is not limited to the maximum value pooling process, and for example, the mean value pooling process may be used.
  • the multiplexer 15b When performing normal image output processing, the multiplexer 15b sends the pixel signals output from each comparator 15a to the counter 15c (CN) as they are. Further, when performing CNN processing, the multiplexer 15b sends a pixel signal output from each comparator 15a to the OR circuit 150a.
  • the OR circuit 150a executes a maximum value pooling process for each pixel signal, and sends each image signal to which the pooling process has been performed to the counter 15c (CN). Each pixel signal output from the counter 15c is a digital signal.
  • the multiplexer 15b is controlled by the control unit 18.
  • the operations related to the convolution process and the pooling process can be processed in an analog manner. This makes it possible to speed up the processing time. For example, by realizing the convolution process and the pooling process by an analog circuit, the scale of a memory, a logic circuit, or the like can be reduced. In addition, the load of logic processing can be reduced and the lead time can be shortened. Therefore, the image recognition system can be simplified and the lead time can be shortened.
  • FIG. 12 is a diagram showing a schematic configuration example of a convolution circuit 20A based on the convolution filter according to the second embodiment.
  • the differences from the first embodiment will be mainly described, and other explanations will be omitted.
  • the convolution circuit 20A includes a capacitance adding circuit (adding circuit) 14A that is partially different from the first embodiment.
  • the capacitance addition circuit 14A has a plurality of amplifiers (column amplifiers) 14d for setting a convolution coefficient, in addition to the plurality of capacitors 14b and the plurality of switches 14c according to the first embodiment. These amplifiers 14d are provided for each vertical signal line 122. The gain of the amplifier 14d is changed, and a convolution filter is realized. For example, if the value of the convolution filter is 2, the gain of the amplifier 14d is doubled. Such an amplifier 14d is used, and a convolution filter is realized.
  • the capacitance ratio of the capacitor 14b is fixed, the element configuration can be simplified as compared with the addition based on the capacitance ratio.
  • the second embodiment it is possible to simplify the configuration of the image pickup device 10 by using a plurality of amplifiers 14d as a part of the capacitance addition circuit 14A of the convolution circuit 20A. Therefore, it is possible to realize the simplification of the image recognition system. According to the second embodiment, the same effect as that of the first embodiment can be obtained.
  • FIG. 13 is a diagram for explaining a slide of the convolution filter according to the third embodiment.
  • the convolution filter is shifted in the horizontal direction by a predetermined amount of movement.
  • slide means to shift the convolution filter
  • stride is a unit indicating the amount of movement to shift the convolution filter.
  • FIG. 14 is a first diagram showing an operation example of the convolution circuit 20 during the convolution process according to the third embodiment.
  • FIG. 15 is a second diagram showing an operation example of the convolution circuit 20 during the convolution process according to the third embodiment.
  • the horizontal scanning circuit 13 and the capacitance adding circuit 14 according to the third embodiment have the same configuration as that of the first embodiment, but execute a convolution process including a slide process. It is possible.
  • the horizontal scanning circuit 13 controls the connection between each vertical signal line 122 and the capacitance addition circuit 14 based on the convolution filter.
  • the capacitance addition circuit 14 controls the connection between each vertical signal line 122 and each signal line 122a by each multiplexer 14a and each capacitor 14b based on the convolution filter.
  • each switch 14c has three adjacent signal lines 122a as a set, connects the connection lines 122b (horizontally connected) for each set, and connects one central signal line 122a.
  • the 3 ⁇ 3 convolution filter is “1st row: 2, 0, 1st and 2nd rows: 0, 1, 0, 3rd row: 1, 0, 1”.
  • This convolution filter (number of matrices and each numerical value) is realized by the horizontal scanning circuit 13 and the capacitance addition circuit 14.
  • the horizontal scanning circuit 13 connects each vertical signal line 122 and the capacitance addition circuit 14 based on the convolution filter and the movement amount.
  • the capacitance addition circuit 14 controls the connection between each vertical signal line 122 and each signal line 122a by each multiplexer 14a and each capacitor 14b based on the convolution filter and the movement amount.
  • each switch 14c shifts a set of three signal lines 122a by one of the signal lines 122a, connects (horizontally connects) the connection lines 122b for each set, and one signal line in the center. Connect 122a. This causes the convolution filter to slide horizontally (row). Such a slide is repeated in the imaging unit 11.
  • the convolution process including the slide process can be performed, the variation of the convolution process can be increased and the convenience of the user can be improved. According to the third embodiment, the same effect as that of the first embodiment can be obtained.
  • the convolution filter is shifted in the horizontal direction (row direction), but the present invention is not limited to this.
  • the convolution filter is shifted in the vertical direction (column direction). May be good. Also in this case, it is possible to shift the convolution filter in the vertical direction by adding a column circuit such as a parallel column.
  • both the convolution layer and the pooling layer are one layer, and the convolution process and the pooling process are executed only once, but the present invention is not limited to this.
  • both the convolution layer and the pooling layer may be made into multiple layers, and both the convolution process and the pooling process may be repeated a plurality of times.
  • the image pickup element 10 may be formed on one chip, or the image pickup element 10 may be divided and formed on a plurality of chips. Further, the chips may be formed as a laminated structure in which they are laminated.
  • the image pickup device 10 may be configured in a structure (two-layer laminated structure) in which a light receiving chip having an image pickup unit 11 or the like and a circuit chip having a storage unit 17, a control unit 18, or the like are stacked one above the other.
  • FIG. 16 is a diagram showing a usage example using the image pickup device 10 according to each embodiment.
  • the image sensor 10 described above can be used in various cases of sensing light such as visible light, infrared light, ultraviolet light, and X-ray, as described below.
  • the image pickup element 10 includes "a device for taking an image to be used for viewing, such as a digital camera or a portable device having a camera function", "safe operation such as automatic stop", and the like.
  • In-vehicle sensors that capture the front, rear, surroundings, interior, etc. of automobiles for recognizing the driver's condition, surveillance cameras that monitor traveling vehicles and roads, distance measuring sensors that measure distance between vehicles, etc.
  • Equipment used for transportation such as "devices used for home appliances such as TVs, refrigerators, and air conditioners in order to take pictures of user's gestures and operate the equipment according to the gestures.”
  • “Devices used for medical and healthcare such as endoscopes and devices that take blood vessels by receiving infrared light
  • “Devices used for security” “Devices used for beauty such as skin measuring instruments for taking pictures of the skin and microscopes for taking pictures of the scalp”, “Action cameras and wearables for sports applications, etc.” It is used for "devices used for sports such as cameras” and “devices used for agriculture such as cameras for monitoring the condition of fields and crops”.
  • the image sensor 10 described above can be applied to various electronic devices such as an image pickup device such as a digital still camera or a digital video camera, a mobile phone having an image pickup function, or another device having an image pickup function.
  • an image pickup device such as a digital still camera or a digital video camera
  • a mobile phone having an image pickup function or another device having an image pickup function.
  • FIG. 17 is a block diagram showing a configuration example of an image pickup apparatus 300 as an electronic device to which the technique according to the present disclosure can be applied.
  • the image pickup device 300 includes an optical system 301, a shutter device 302, a solid-state image pickup device 303, a control circuit (control unit) 304, a signal processing circuit 305, a monitor 306, and a memory 307.
  • the image pickup device 300 can capture still images and moving images.
  • the optical system 301 has one or a plurality of lenses.
  • the optical system 301 guides the light (incident light) from the subject to the solid-state image sensor 303 and forms an image on the light receiving surface of the solid-state image sensor 303.
  • the shutter device 302 is arranged between the optical system 301 and the solid-state image sensor 303.
  • the shutter device 302 controls the light irradiation period and the light blocking period of the solid-state image pickup device 303 according to the control of the control circuit 304.
  • the solid-state image sensor 303 is composed of, for example, a package including the above-mentioned image sensor 10.
  • the solid-state image sensor 303 accumulates signal charges for a certain period of time according to the light imaged on the light receiving surface via the optical system 301 and the shutter device 302.
  • the signal charge stored in the solid-state image sensor 303 is transferred according to a drive signal (timing signal) supplied from the control circuit 304.
  • the control circuit 304 outputs a drive signal for controlling the transfer operation of the solid-state image sensor 303 and the shutter operation of the shutter device 302 to drive the solid-state image sensor 303 and the shutter device 302.
  • the signal processing circuit 305 performs various signal processing on the signal charge output from the solid-state image sensor 303.
  • the image (image data) obtained by performing signal processing by the signal processing circuit 305 is supplied to the monitor 306 and displayed, or supplied to the memory 307 and stored (recorded).
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure refers to any type of movement such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots, construction machinery, agricultural machinery (tractors), and the like. It may be realized as a device such as an electronic device mounted on a body. Further, for example, the technique according to the present disclosure may be applied to an endoscopic surgery system, a microscopic surgery system, or the like.
  • FIG. 18 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. ..
  • the communication network 7010 connecting these multiple control units conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network) or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various arithmetic, and a drive circuit that drives various controlled devices. To prepare for.
  • Each control unit is provided with a network I / F for communicating with other control units via the communication network 7010, and is connected to devices or sensors inside or outside the vehicle by wired communication or wireless communication.
  • a communication I / F for performing communication is provided. In FIG.
  • control unit 7600 the microcomputer 7610, the general-purpose communication I / F7620, the dedicated communication I / F7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F7660, the audio image output unit 7670,
  • vehicle-mounted network I / F 7680 and the storage unit 7690 are illustrated.
  • Other control units also include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 has a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • the vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 may include, for example, a gyro sensor that detects the angular velocity of the axial rotation motion of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an accelerator pedal operation amount, a brake pedal operation amount, or steering wheel steering. It includes at least one of sensors for detecting an angle, engine speed, wheel speed, and the like.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, and the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, turn signals or fog lamps.
  • a radio wave transmitted from a portable device that substitutes for a key or signals of various switches may be input to the body system control unit 7200.
  • the body system control unit 7200 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source of the drive motor, according to various programs. For example, information such as the battery temperature, the battery output voltage, or the remaining capacity of the battery is input to the battery control unit 7300 from the battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature control of the secondary battery 7310 or the cooling device provided in the battery device.
  • the vehicle outside information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 is connected to the vehicle exterior information detection unit 7400.
  • the image pickup unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle outside information detection unit 7420 is used, for example, to detect the current weather or an environment sensor for detecting the weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the ambient information detection sensors is included.
  • the environment sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunshine, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 19 shows an example of the installation position of the image pickup unit 7410 and the vehicle exterior information detection unit 7420.
  • the image pickup unit 7910, 7912, 7914, 7916, 7918 are provided, for example, at at least one of the front nose, side mirror, rear bumper, back door, and upper part of the windshield of the vehicle interior of the vehicle 7900.
  • the image pickup unit 7910 provided in the front nose and the image pickup section 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • the image pickup units 7912 and 7914 provided in the side mirrors mainly acquire images of the side of the vehicle 7900.
  • the image pickup unit 7916 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 7900.
  • the image pickup unit 7918 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 19 shows an example of the shooting range of each of the imaging units 7910, 7912, 7914, 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging range of the imaging units 7912 and 7914 provided on the side mirrors, respectively
  • the imaging range d indicates the imaging range d.
  • the imaging range of the imaging unit 7916 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the image pickup units 7910, 7912, 7914, 7916, a bird's-eye view image of the vehicle 7900 can be obtained.
  • the vehicle exterior information detection unit 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, side, corner and the upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle exterior information detection units 7920, 7926, 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, a lidar device.
  • These out-of-vehicle information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, or the like.
  • the vehicle outside information detection unit 7400 causes the image pickup unit 7410 to capture an image of the outside of the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the connected vehicle exterior information detection unit 7420. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a lidar device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the out-of-vehicle information detection unit 7400 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on a road surface based on the received information.
  • the out-of-vehicle information detection unit 7400 may perform an environment recognition process for recognizing rainfall, fog, road surface conditions, etc. based on the received information.
  • the out-of-vehicle information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
  • the vehicle outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a vehicle, an obstacle, a sign, a character on the road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and synthesizes image data captured by different image pickup units 7410 to generate a bird's-eye view image or a panoramic image. May be good.
  • the vehicle exterior information detection unit 7400 may perform the viewpoint conversion process using the image data captured by different image pickup units 7410.
  • the in-vehicle information detection unit 7500 detects the in-vehicle information.
  • a driver state detection unit 7510 that detects the state of the driver is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that captures the driver, a biosensor that detects the driver's biological information, a microphone that collects sound in the vehicle interior, and the like.
  • the biosensor is provided on, for example, on the seat surface or the steering wheel, and detects the biometric information of the passenger sitting on the seat or the driver holding the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and may determine whether the driver is asleep. You may.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input-operated by the occupant, such as a touch panel, a button, a microphone, a switch, or a lever. Data obtained by recognizing the voice input by the microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) corresponding to the operation of the vehicle control system 7000. You may.
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gesture. Alternatively, data obtained by detecting the movement of the wearable device worn by the passenger may be input. Further, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on the information input by the passenger or the like using the above input unit 7800 and outputs the input signal to the integrated control unit 7600. By operating the input unit 7800, the passenger or the like inputs various data to the vehicle control system 7000 and instructs the processing operation.
  • the storage unit 7690 may include a ROM (Read Only Memory) for storing various programs executed by the microcomputer, and a RAM (Random Access Memory) for storing various parameters, calculation results, sensor values, and the like. Further, the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the general-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-A (LTE-Advanced).
  • GSM Global System of Mobile communications
  • WiMAX registered trademark
  • LTE registered trademark
  • LTE-A Long Term Evolution-Advanced
  • Bluetooth® may be implemented.
  • the general-purpose communication I / F7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a business-specific network) via a base station or an access point, for example. You may. Further, the general-purpose communication I / F7620 uses, for example, P2P (Peer To Peer) technology, and is a terminal existing in the vicinity of the vehicle (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal). May be connected with.
  • P2P Peer To Peer
  • MTC Machine Type Communication
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in a vehicle.
  • the dedicated communication I / F7630 uses a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of IEEE802.11p in the lower layer and IEEE1609 in the upper layer. May be implemented.
  • Dedicated communication I / F7630 is typically vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, vehicle-to-house (Vehicle to Home) communication, and pedestrian-to-vehicle (Vehicle to Pedestrian) communication. ) Carry out V2X communication, a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), executes positioning, and executes positioning, and the latitude, longitude, and altitude of the vehicle. Generate location information including.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives, for example, a radio wave or an electromagnetic wave transmitted from a radio station or the like installed on a road, and acquires information such as a current position, a traffic jam, a road closure, or a required time.
  • the function of the beacon receiving unit 7650 may be included in the above-mentioned dedicated communication I / F 7630.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 existing in the vehicle.
  • the in-vehicle device I / F7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • the in-vehicle device I / F7660 is via a connection terminal (and a cable if necessary) (not shown), USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface, or MHL (Mobile High)).
  • -Definition Link and other wired connections may be established.
  • the in-vehicle device 7760 includes, for example, at least one of a passenger's mobile device or wearable device, or an information device carried in or attached to the vehicle. Further, the in-vehicle device 7760 may include a navigation device for searching a route to an arbitrary destination.
  • the in-vehicle device I / F 7660 may be a control signal to and from these in-vehicle devices 7760. Or exchange the data signal.
  • the in-vehicle network I / F7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the vehicle-mounted network I / F7680 transmits / receives signals and the like according to a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is via at least one of general-purpose communication I / F7620, dedicated communication I / F7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F7660, and in-vehicle network I / F7680.
  • the vehicle control system 7000 is controlled according to various programs based on the information acquired. For example, the microcomputer 7610 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. May be good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. Cooperative control may be performed for the purpose of.
  • the microcomputer 7610 automatically travels autonomously without relying on the driver's operation by controlling the driving force generator, steering mechanism, braking device, etc. based on the acquired information on the surroundings of the vehicle. Coordinated control may be performed for the purpose of driving or the like.
  • the microcomputer 7610 has information acquired via at least one of a general-purpose communication I / F7620, a dedicated communication I / F7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F7660, and an in-vehicle network I / F7680. Based on the above, three-dimensional distance information between the vehicle and an object such as a surrounding structure or a person may be generated, and local map information including the peripheral information of the current position of the vehicle may be created. Further, the microcomputer 7610 may predict the danger of a vehicle collision, a pedestrian or the like approaching or entering a closed road, and generate a warning signal based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are exemplified as output devices.
  • the display unit 7720 may include, for example, at least one of an onboard display and a head-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as eyeglass-type displays worn by passengers, projectors or lamps other than these devices.
  • the display device displays the results obtained by various processes performed by the microcomputer 7610 or the information received from other control units in various formats such as texts, images, tables, and graphs. Display visually.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, or the like into an analog signal and outputs the audio signal audibly.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be composed of a plurality of control units.
  • the vehicle control system 7000 may include another control unit (not shown).
  • the other control unit may have a part or all of the functions carried out by any of the control units. That is, as long as information is transmitted and received via the communication network 7010, predetermined arithmetic processing may be performed by any of the control units.
  • a sensor or device connected to any control unit may be connected to another control unit, and a plurality of control units may send and receive detection information to and from each other via the communication network 7010. .
  • a computer program for realizing each function of the image pickup device 10 according to the present embodiment described with reference to FIG. 1 can be mounted on any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed, for example, via a network without using a recording medium.
  • the image pickup device 10 can be applied to the integrated control unit 7600 of the application example shown in FIG.
  • the storage unit 17 and the control unit 18 of the image pickup device 10 correspond to the microcomputer 7610, the storage unit 7690, and the vehicle-mounted network I / F7680 of the integrated control unit 7600.
  • an image pickup device such as the image pickup unit 7410, it is possible to realize simplification of the image recognition system and shortening of the lead time in the image pickup device.
  • the components of the image pickup device 10 according to the present embodiment described with reference to FIG. 1 is a module for the integrated control unit 7600 shown in FIG. 18 (for example, an integrated configuration composed of one die). It may be realized in a circuit module). Alternatively, the image pickup device 10 according to the present embodiment described with reference to FIG. 1 may be realized by a plurality of control units of the vehicle control system 7000 shown in FIG.
  • the present technology can also have the following configurations.
  • An image pickup unit in which multiple pixels including individual photoelectric conversion elements are arranged in a matrix, A convolution circuit that performs convolution processing based on the convolution coefficient for a plurality of pixel signals, which are analog signals output from each of the plurality of pixels.
  • a pooling circuit that performs pooling processing on the plurality of pixel signals that have undergone convolution processing, and An image sensor comprising.
  • an all-integrated processing unit that performs all-integrated processing for the plurality of pixel signals subjected to the pooling processing is further provided.
  • the image pickup device according to (1) above.
  • the convolution circuit A horizontal scanning circuit that selects a plurality of pixels to which the pixel signal is output from the plurality of pixels based on the convolution coefficient.
  • An addition circuit that adds the plurality of pixel signals output from each of the selected plurality of pixels based on the convolution coefficient, and an addition circuit.
  • the adder circuit It has a multiplexer and a plurality of capacitors for setting the convolution coefficient.
  • the adder circuit Having a plurality of amplifiers for setting the convolution coefficient, The image pickup device according to (3) above.
  • a storage unit for storing the convolution coefficient is further provided.
  • the image pickup device according to any one of (1) to (5) above.
  • a control unit that controls the convolution circuit and the pooling circuit based on the convolution coefficient is further provided.
  • the image pickup device according to any one of (1) to (6) above.
  • the control unit limits or permits the convolution process and the pooling process in response to an input signal input to the control unit.
  • the image pickup device according to (7) above.
  • the convolution coefficient is a convolution filter.
  • the convolution circuit shifts the convolution filter by a predetermined amount of movement and performs the convolution process.
  • the convolution coefficient is a convolution filter containing 0.
  • the image pickup device according to any one of (1) to (9) above.
  • Image sensor and An optical system that forms an image of light on the light receiving surface of the image sensor, Equipped with The image sensor is An image pickup unit in which multiple pixels including individual photoelectric conversion elements are arranged in a matrix, A convolution circuit that performs convolution processing based on the convolution coefficient for a plurality of pixel signals, which are analog signals output from each of the plurality of pixels. A pooling circuit that performs pooling processing on the plurality of pixel signals that have undergone convolution processing, and An image pickup device equipped with. (12) The image sensor according to any one of (1) to (10) above, and An optical system that forms an image of light on the light receiving surface of the image sensor, An image pickup device equipped with.
  • Imaging element 11 Imaging unit 12 Vertical scanning circuit 13 Horizontal scanning circuit 13a Multiplexer 14 Capacitive addition circuit 14a multiplexer 14b Condenser 14c switch 15 AD conversion circuit 16 Full coupling processing unit 17 Storage unit 17a Register 18 Control unit 20 Convolution circuit 20A Convolution circuit 110 Pixer 121 Pixer signal line 122 Vertical signal line 150 Pooling circuit 300 Imaging device 301 Optical system

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本開示に係る一形態の撮像素子（１０）は、光電変換素子を個別に含む複数の画素（１１０）が行列状に並ぶ撮像部（１１）と、前記複数の画素（１１０）からそれぞれ出力されるアナログ信号である複数の画素信号に対し、畳み込み係数に基づいて畳み込み処理を行う畳み込み回路（２０、２０Ａ）と、前記畳み込み処理が行われた前記複数の画素信号に対し、プーリング処理を行うプーリング回路（１５０）と、を備える。

Description

撮像素子及び撮像装置
　本開示は、撮像素子及び撮像装置に関する。
　画像認識分野において、畳み込みニューラルネットワーク（ＣＮＮ）の活用が盛んである。ＣＮＮは、入力画像を受けて、畳み込み層とプーリング層を経て全結合層（ＦＣ層）に到達する処理である。例えば、コンタクトイメージセンサ（ＣＩＳ）から画像を出力してＣＮＮによる画像認識（例えば、文字認識や物体認識等）を行う場合、ＣＩＳ外のシステムが必須となる。また、ＣＮＮは、処理内容によっては高いスペックのＧＰＵ（Graphics　Processing　Unit）が要求されることがあり、リアルタイム処理を実現しようとする場合等、画像認識のシステムが大きくなる懸念がある。
特開２０１２－２２７６９５号公報
　画像認識のシステムを簡素化するため、ＣＮＮをＣＩＳロジック処理内に実装することが考えられる。ところが、畳み込み及びプーリング演算がボトルネックになり、現実的な時間で処理を行うことは困難であり、画像認識のリードタイムが長くなる。このため、画像認識のシステムを簡素化しつつ、画像認識のリードタイムを短縮化することが求められている。
　そこで、本開示では、画像認識のシステムの簡素化及びリードタイムの短縮化を実現することが可能な撮像素子及び撮像装置を提供する。
　本開示に係る一形態の撮像素子は、光電変換素子を個別に含む複数の画素が行列状に並ぶ撮像部と、前記複数の画素からそれぞれ出力されるアナログ信号である画素信号に対し、畳み込み係数に基づいて畳み込み処理を行う畳み込み回路と、前記畳み込み処理が行われた前記複数の画素信号に対し、プーリング処理を行うプーリング回路と、を備える。
第１の実施形態に係る撮像素子の概略構成例を示すブロック図である。 第１の実施形態に係る画素の概略構成例を示す回路図である。 第１の実施形態に係る撮像素子のＣＮＮ動作の流れを示すブロック図である。 図３に示すＣＮＮ動作に係るＣＮＮ学習の流れを示すブロック図である。 第１の実施形態に係る撮像素子の通常画像出力動作の流れを示すブロック図である。 第１の実施形態に係る撮像素子のＣＮＮ動作の変形例の流れを示すブロック図である。 図６に示すＣＮＮ動作に係るＣＮＮ学習の流れを示すブロック図である。 第１の実施形態に係る畳み込みフィルタに基づく畳み込み回路の概略構成例を示す図である。 第１の実施形態に係る通常画像出力処理時の畳み込み回路の動作例を示す図である。 第１の実施形態に係る畳み込み処理時の畳み込み回路の動作例を示す図である。 第１の実施形態に係るプーリング回路を含むＡＤ変換回路の概略構成例を示す図である。 第２の実施形態に係る畳み込みフィルタに基づく畳み込み回路の概略構成例を示す図である。 第３の実施形態に係る畳み込みフィルタのスライドを説明するための図である。 第３の実施形態に係る畳み込み処理時の畳み込み回路の動作例を示す第１の図である。 第３の実施形態に係る畳み込み処理時の畳み込み回路の動作例を示す第２の図である。 各実施形態に係る撮像素子を使用する使用例を示す図である。 撮像装置の概略構成例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　１．第１の実施形態
　１－１．撮像素子の概略構成例
　１－２．画素の概略構成例
　１－３．撮像素子のＣＮＮ動作例及び通常画像出力動作例
　１－４．畳み込み回路の概略構成例
　１－５．プーリング回路を含むＡＤ変換回路の概略構成例
　１－６．作用・効果
　２．第２の実施形態
　３．第３の実施形態
　４．他の実施形態
　５．適用例
　６．応用例
　７．付記
＜１．第１の実施形態＞
＜１－１．撮像装置の概略構成例＞
　図１は、第１の実施形態に係る撮像素子１０の概略構成例を示すブロック図である。図１に示すように、撮像素子１０は、撮像部（画素アレイ部）１１と、垂直走査回路１２と、水平走査回路１３と、容量加算回路（加算回路）１４と、ＡＤ（Analog　to　Digital）変換回路１５と、全結合処理部１６と、記憶部１７と、制御部１８とを備える。撮像素子１０は、例えば、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサである。この撮像素子１０は、例えば、ＣＩＳ等の様々な撮像装置に組み込まれる。
　撮像部１１は、光電変換可能な複数の画素１１０を有する。これらの画素１１０は、垂直方向（列方向）及び水平方向（行方向）に二次元格子状に配列される。図１において、垂直方向の並びを列とし、水平方向の並びを行とする。各行はそれぞれラインとも呼ばれ、各列はそれぞれカラムとも呼ばれる。各画素１１０に対し、行毎にそれぞれ画素信号線１２１が接続され、列毎にそれぞれ垂直信号線１２２が接続される。各画素信号線１２１は垂直走査回路１２に接続され、各垂直信号線１２２は水平走査回路１３に接続される。例えば、画素信号線１２１又は垂直信号線１２２は複数の信号線を含む。
　垂直走査回路１２は、制御部１８による制御に従い、画素１１０から画素信号を読み出すための駆動パルス等の各種信号を、各画素信号線１２１を介して撮像部１１に伝送する。例えば、垂直走査回路１２は、駆動パルス等の各種信号をライン毎に画素信号線１２１を介して各画素１１０に供給し、各画素１１０から画素信号を垂直信号線１２２に出力させる。つまり、各画素１１０は、垂直走査回路１２から画素信号線１２１を介して供給される駆動信号によりライン毎に駆動される。垂直走査回路１２は、例えば、シフトレジスタやアドレスデコーダ等を有する。
　水平走査回路１３は、制御部１８による制御に従い、各画素１１０からそれぞれ出力される（読み出される）画素信号を水平方向（ライン方向）にスキャンし、その各画素信号を容量加算回路１４に出力する。また、水平走査回路１３は、制御部１８による制御に従い、実行する処理に応じて、各垂直信号線１２２と容量加算回路１４との接続を制御する。例えば、水平走査回路１３は、通常画像を出力する通常画像出力処理を行う場合、全ての垂直信号線１２２と容量加算回路１４とを接続する。また、水平走査回路１３は、ＣＮＮ処理を行う場合、記憶部１７に記憶された畳み込み係数に基づいて、各垂直信号線１２２と容量加算回路１４との接続を制御する（詳しくは後述する）。
　容量加算回路１４は、制御部１８による制御に従い、実行する処理に応じて、各画素１１０からそれぞれ出力される画素信号をＡＤ変換回路（ＡＤＣ）１５に出力する。例えば、容量加算回路１４は、通常画像出力処理を行う場合、水平走査回路１３から出力される各画素信号をそのままＡＤ変換回路１５に出力する（バイパス）。また、容量加算回路１４は、ＣＮＮ処理を行う場合、記憶部１７に記憶された畳み込み係数に基づいて、水平走査回路１３から出力される各画素信号を加算（例えば、加重加算）し、ＡＤ変換回路１５に出力する（詳しくは後述する）。
　ここで、水平走査回路１３及び容量加算回路１４は、各画素１１０から出力された個々の画素信号に対し、畳み込み処理を行う畳み込み回路２０として機能する。通常のＣＮＮ処理は、入力画像に対し、畳み込み層とプーリング層を経て全結合層（ＦＣ層）に到達する処理である。畳み込み層では、畳み込み係数（畳み込みフィルタ）に基づいて、入力画像から特徴量を抽出する。例えば、畳み込みフィルタが入力画像に順次掛けられ、特徴量が抽出される。この畳み込み層に係る処理（畳み込み処理）がアナログ的に畳み込み回路２０により実行される。畳み込み回路２０はアナログ回路である。
　ＡＤ変換回路１５は、容量加算回路１４から出力される各画素信号、すなわち、各画素１１０からそれぞれ出力される画素信号に対してＡＤ変換処理を行い、デジタル（ディジタル）信号である各画素信号を全結合処理部１６に出力する。ＡＤ変換回路１５としては、各種のＡＤ変換回路を用いることが可能である。
　このＡＤ変換回路１５は、プーリング回路１５０を有する。プーリング回路１５０は、制御部１８による制御に従い、実行する処理に応じて、各画素１１０からそれぞれ出力される画素信号に対し、プーリング処理を行う。例えば、プーリング回路１５０は、通常画像出力処理を行う場合、各画素信号をそのまま全結合処理部１６に出力する（バイパス）。また、ＡＤ変換回路１５は、ＣＮＮ処理を行う場合、各画素信号に対してプーリング処理を行い、プーリング処理が行われた各画素信号を全結合処理部１６に出力する。プーリング回路１５０は、畳み込み処理が行われた各画素信号に対し、プーリング処理を行う（詳しくは後述する）。
　ここで、通常のＣＮＮ処理において、プーリング層では、所定数（例えば、３×３）のウィンドウの中で最大値又は平均値が抜き出され、入力画像から特徴量が抽出される。このとき、データ量が削減されることになる。このプーリング層に係る処理（畳み込み処理）がアナログ的にプーリング回路１５０により実行される。プーリング回路１５０及びＡＤ変換回路１５はアナログ回路である。
　全結合処理部１６は、制御部１８による制御に従い、実行する処理に応じて、ＡＤ変換回路１５から出力されたデジタル信号である各画素信号を素子外部（センサ外）に出力する。例えば、全結合処理部１６は、通常画像出力処理を行う場合、各画素信号をそのまま素子外部に出力する（バイパス）。また、全結合処理部１６は、ＣＮＮ処理を行う場合、各画素信号に対して全結合処理を行い、全結合処理が行われた各画素信号を素子外部に出力する。
　ここで、通常のＣＮＮ処理において、全結合層では、プーリング層からの出力がまとめられる。この全結合層に係る処理（全結合処理）がロジック的に全結合処理部１６により実行される。全結合処理部１６は、例えば、デジタル回路（ロジック回路）である。
　なお、全結合処理部１６から出力された画素信号は、例えば、信号処理部等の外部装置に入力される。外部装置では、例えば、デジタル信号による画素信号、すなわち画素データが生成され、画素データに各種処理が施され、最終的に画像データが生成される。
　記憶部１７は、畳み込み係数（畳み込みフィルタ）等の各種データを記憶する。例えば、記憶部１７としては、ＲＡＭ（Random　Access　Memory）やフラッシュメモリ等が用いられる。記憶部１７から読み出された畳み込み係数はレジスタ１７ａに一時的に設定される。
　制御部１８は、垂直走査回路１２、水平走査回路１３、容量加算回路１４、プーリング回路１５０及び全結合処理部１６等の各部を制御する。例えば、制御部１８は、レジスタ１８ａに設定された畳み込み係数に基づき、水平走査回路１３や容量加算回路１４等を制御する。制御部１８としては、例えば、ＣＰＵ（Central　Processing　Unit）等のプロセッサが用いられる。ＣＰＵは、ＲＯＭ（Read　Only　Memory）やＲＡＭ等を含み、ＲＯＭに予め記憶されたプログラムに従い、ＲＡＭをワークメモリとして用い、各回路や各部の動作を制御する。
＜１－２．画素の概略構成例＞
　図２は、第１の実施形態に係る画素１１０の概略構成例を示す図である。図２に示すように、画素１１０は、光電変換素子１１１と、トリガトランジスタ１１２と、リセットトランジスタ１１４と、増幅トランジスタ１１５と、選択トランジスタ１１６とを有する。光電変換素子１１１としては、例えば、ＰＮ接合のフォトダイオードが用いられる。また、トリガトランジスタ１１２、リセットトランジスタ１１４、増幅トランジスタ１１５及び選択トランジスタ１１６としては、例えば、Ｎ型ＭＯＳ（Metal　Oxide　Semiconductor）トランジスタが用いられる。
　このような画素１１０に対し、画素信号線１２１が接続されている。この画素信号線１２１は、リセットパルスＲＳＴと、転送パルスＴＲＧと、選択信号ＳＥＬとをそれぞれ画素１１０に対して供給する。このため、画素信号線１２１は複数の信号線を含む。
　光電変換素子１１１は、入射光をその光量に応じた量の電荷（ここでは電子）に光電変換する。光電変換素子１１１のカソードは接地に接続され、その光電変換素子１１１のアノードはトリガトランジスタ１１２のドレインに接続される。
　トリガトランジスタ１１２のソースは、浮遊拡散層（フローティングディフュージョン）１１３に接続される。トリガトランジスタ１１２のゲートには、転送パルスＴＲＧが供給される。トリガトランジスタ１１２は、転送パルスＴＲＧがハイ（Ｈｉｇｈ）状態でオン（閉）となり、転送パルスＴＲＧがロー（Ｌｏｗ）状態でオフ（開）となる。トリガトランジスタ１１２がオンの状態で、光電変換素子１１１から出力される電荷が浮遊拡散層１１３に供給される。浮遊拡散層１１３は、光電変換素子１１１から供給された電荷を蓄積する。浮遊拡散層１１３は、蓄積した電荷の量に応じた電圧を生成する。
　リセットトランジスタ１１４のソースが浮遊拡散層１１３に接続される。リセットトランジスタ１１４のドレインに対し、画素１１０に対する電源ＶＤＤが接続される。リセットトランジスタ１１４のゲートには、リセットパルスＲＳＴが供給される。リセットトランジスタ１１４は、リセットパルスＲＳＴがハイ状態でオンとなり、リセットパルスＲＳＴがロー状態でオフとなる。
　増幅トランジスタ１１５のゲートが浮遊拡散層１１３に接続される。増幅トランジスタ１１５のドレインに電源ＶＤＤが接続され、その増幅トランジスタ１１５のソースに選択トランジスタ１１６のドレインが接続される。選択トランジスタ１１６のソースは、垂直信号線（ＶＳＬ）１２２に接続される。選択トランジスタ１１６のゲートには、選択信号ＳＥＬが供給される。選択トランジスタ１１６は、選択信号ＳＥＬがハイ状態でオンとなり、ロー状態でオフとなる。
　このような構成において、初期状態では、選択信号ＳＥＬ、リセットパルスＲＳＴ及び転送パルスＴＲＧがそれぞれロー状態とされる。また、光電変換素子１１１が露光され、ロー状態の転送パルスＴＲＧによりトリガトランジスタ１１２がオフになっている。このため、露光により生成された電荷が光電変換素子１１１に蓄積される。
　選択信号ＳＥＬがハイ状態とされると、選択トランジスタ１１６がオンとされる。リセットパルスＲＳＴがハイ状態とされ、浮遊拡散層１１３の電荷が電源ＶＤＤに排出される。これにより、浮遊拡散層１１３の電位が所定電位にリセットされる。リセットパルスＲＳＴがロー状態に戻されて所定時間後、転送パルスＴＲＧがハイ状態とされる。露光により光電変換素子１１１に蓄積された電荷が浮遊拡散層１１３に供給され、蓄積される。浮遊拡散層１１３に蓄積された電荷に応じた電圧が生成され、この電圧が増幅トランジスタ１１５により増幅され、選択トランジスタ１１６を介して画素信号として垂直信号線１２２に出力される。
＜１－３．撮像素子のＣＮＮ動作例及び通常画像出力動作例＞
　図３は、第１の実施形態に係る撮像素子１０のＣＮＮ動作の流れを示すブロック図である。ＣＮＮ動作では、図３に示すように、撮像部１１により各画素信号（アナログ信号）が得られる。各画素信号に対し、水平走査回路１３及び容量加算回路１４（畳み込み回路２０）により、畳み込み係数（畳み込みフィルタ）に基づいて畳み込み処理が行われる。畳み込み処理が行われた各画素信号に対し、ＡＤ変換回路１５内のプーリング回路１５０によりプーリング処理が実行される。プーリング処理が行われた各画素信号に対し、全結合処理部１６により全結合処理が実行され、ＣＮＮ処理が行われた各画素信号（画素信号及び分類ラベル）が出力される。撮像素子１０は、センサ内でＣＮＮ処理を完結させることが可能である。なお、畳み込みフィルタの種類は複数あり、掛ける畳み込みフィルタによって抽出される特徴量も変わる。
　ここで、図４は、図３に示すＣＮＮ動作に係るＣＮＮ学習の流れを示すブロック図である。図３に示すＣＮＮ動作を実現するためには、図４に示すように、あらかじめ、センサ外のシステムであるセンサ外部ＣＮＮ５１でＣＮＮを学習し、畳み込み係数及び全結合処理係数を記憶部１７に保存しておく。センサ外部ＣＮＮ５１は、学習データ及びラベル５２に基づいてＣＮＮ（畳み込み層→プーリング層→全結合層）を学習し、畳み込み係数及び全結合処理係数を取得することが可能である。畳み込み回路２０は、記憶部１７に記憶された畳み込み係数に基づいて畳み込み処理を行う。また、全結合処理部１６は、記憶部１７に記憶された全結合処理係数に基づいて全結合処理を行う。図３及び図４の例では、畳み込み処理及びプーリング処理、さらに、全結合処理がセンサ内で実行される。なお、センサ外部ＣＮＮ５１は、ハードウェア及びソフトウェアの両方又はどちらか一方により構成されてもよい。
　図５は、第１の実施形態に係る撮像素子１０の通常画像出力動作の流れを示すブロック図である。通常画像出力動作では、図５に示すように、通常画像を出力するため（全画素出力のため）、撮像部１１、水平走査回路１３、ＡＤ変換回路１５（プーリング回路１５０を除く）が動作する。ＣＮＮ系の処理は全てバイパスされ、容量加算回路１４、プーリング回路１５０及び全結合処理部１６は動作しない。これにより、ＣＮＮ処理が行われていない通常画像が出力される。
　なお、図３及び図４の例では、全結合処理部１６をセンサ（撮像素子１０）内に設けているが、これに限るものではない。図６は、第１の実施形態に係る撮像素子１０のＣＮＮ動作の変形例の流れを示すブロック図である。図６に示すように、全結合処理部１６にかえて、全結合処理を行うセンサ外部ＣＮＮ５０をセンサ外に設けるようにしてもよい。つまり、全結合処理をセンサ外で行うようにしてもよい。
　ここで、図７は、図６に示すＣＮＮ動作に係るＣＮＮ学習の流れを示すブロック図である。図６に示すＣＮＮ動作を実現するためには、図７に示すように、あらかじめ、センサ外のシステムであるセンサ外部ＣＮＮ５１でＣＮＮを学習し、畳み込み係数（第一層）を記憶部１７に保存しておく。そして、第一層以降のＣＮＮ処理をセンサ外部ＣＮＮ５０で実行するようにする。この場合には、第一層の畳み込み処理がセンサ内で実行され、それ以降の処理がセンサ外で実行される。
　なお、ＣＮＮ動作と通常画像出力動作は、例えば、ユーザによって切り替えられるようにしてもよい。ユーザが入力部（例えば、スイッチやボタン等）を操作することで、ＣＮＮ動作と通常画像出力動作が制御部１８により切り替えられる。入力部は制御部１８に電気的に接続されている。この入力部は、ユーザによる入力操作を受け付け、その入力操作に応じて制御部１８に入力信号（切り替え用の指示信号）を送る。制御部１８は、入力信号に応じて、ＣＮＮ動作と通常画像出力動作とを切り替える。
　例えば、制御部１８は、ＣＮＮ動作を制限するための入力信号に応じ、動作モードをＣＮＮ動作から通常画像出力動作に切り替え、畳み込み処理及びプーリング処理を制限（禁止）する。一方、制御部１８は、ＣＮＮ動作を許可するための入力信号に応じ、動作モードを通常画像出力動作からＣＮＮ動作に切り替え、畳み込み処理及びプーリング処理を許可する。これにより、ＣＮＮ動作を実行するか否かを選択する選択権をユーザに与え、ユーザの利便性を向上させることができる。
＜１－４．畳み込み回路の概略構成例＞
　図８は、第１の実施形態に係る畳み込みフィルタに基づく畳み込み回路２０の概略構成例を示す図である。図８に示すように、水平走査回路１３は、マルチプレクサ１３ａを有する。マルチプレクサ１３ａには、列毎（カラム毎）の垂直信号線１２２がそれぞれ接続されている。このマルチプレクサ１３ａは、各垂直信号線１２２をどこの列（カラム）に接続するかをスイッチングにより選択する（ＶＳＬ接続／切断スイッチ）。マルチプレクサ１３ａは制御部１８により制御される。
　容量加算回路１４は、複数のマルチプレクサ１４ａと、複数のコンデンサ（キャパシタ）１４ｂと、複数のスイッチ１４ｃとを有する。各マルチプレクサ１４ａは、所定数（図８では、三本）の垂直信号線１２２を介して水平走査回路１３のマルチプレクサ１３ａにそれぞれ接続されている。各コンデンサ１４ｂの個々の一端は、マルチプレクサ１４ａにそれぞれ接続されており、個々の他端はマルチプレクサ１４ａ毎に一本の信号線１２２ａに接続されている。各マルチプレクサ１４ａは、コンデンサ１４ｂの接続を変更し、加算比を設定する（加算容量設定）。これらのマルチプレクサ１４ａは制御部１８により制御される。
　信号線１２２ａは、マルチプレクサ１４ａ毎に設けられている。これらの信号線１２２ａは、隣接する信号線１２２ａと接続線１２２ｂを介して接続されている。各スイッチ１４ｃは、各信号線１２２ａに個別に設けられており、また、各接続線１２２ｂに個別に設けられている。これらのスイッチ１４ｃのオン／オフは制御部１８により制御される。
　図９は、第１の実施形態に係る通常画像出力処理時の畳み込み回路２０の動作例を示す図である。通常画像出力処理では、図９に示すように、水平走査回路１３は、全ての垂直信号線１２２を切断せず、容量加算回路１４につなぐ。また、容量加算回路１４は、各マルチプレクサ１４ａ及び各コンデンサ１４ｂを介し、全ての垂直信号線１２２を各信号線１２２ａに接続する。このとき、各スイッチ１４ｃは、接続線１２２ｂをつながず、全ての信号線１２２ａをつなぐ。
　図１０は、第１の実施形態に係る畳み込み処理時の畳み込み回路２０の動作例を示す図である。畳み込み処理では、図１０に示すように、水平走査回路１３は、畳み込みフィルタに基づき、マルチプレクサ１３ａにより各垂直信号線１２２と容量加算回路１４との接続を制御する。また、容量加算回路１４は、畳み込みフィルタに基づき、各マルチプレクサ１４ａ及び各コンデンサ１４ｂにより、各垂直信号線１２２と各信号線１２２ａとの接続を制御する。このとき、各スイッチ１４ｃは、隣り合う３本の信号線１２２ａを一組とし、組ごとに接続線１２２ｂをつなぎ（横つなぎ）、中央の１本の信号線１２２ａをつなぐ。なお、図１０に示す各画素１１０以外の各画素１１０においても、同様の接続処理が行われる。
　図１０の例では、３×３畳み込みフィルタは、「１行目：２、０、１，２行目：０、１、０，３行目：１、０、１」である。この畳み込みフィルタ（行列数や各数値）が、水平走査回路１３及び容量加算回路１４により実現される。この容量加算回路１４は、畳み込み係数を設定するための各マルチプレクサ１４ａ及び各コンデンサ１４ｂを有する。例えば、図１０中の３×３畳み込みフィルタでは、１行１列目は２である。図１０中の１行１列目の画素（左上の画素）１１０は、垂直信号線１２２を介して２つのコンデンサ１４ｂに接続されている。同様に、１行目２列目は０であり、図１０中の１行２列目の画素１１０は、コンデンサ１４ｂに接続されていない。１行３列目は１であり、図１０中の１行３列目の画素１１０は、１つのコンデンサ１４ｂに接続されている。２行目や３行目でも、同様にして、画素１１０とコンデンサ１４ｂとの接続／非接続が行われる。
　ここで、図１０に示す畳み込みフィルタのように、０を含む畳み込みフィルタ（０フィルタ）を水平走査回路１３及び容量加算回路１４により実現することが可能である。これにより、簡略な構成で０フィルタを実現することができる。なお、容量加算回路１４のコンデンサ１４ｂの数が多いほど、畳み込み係数（畳み込みフィルタ）の自由度は上がる。
＜１－５．プーリング回路を含むＡＤ変換回路の概略構成例＞
　図１１は、第１の実施形態に係るプーリング回路１５０を含むＡＤ変換回路１５の概略構成例を示す図である。図１１に示すように、ＡＤ変換回路１５は、複数のコンパレータ１５ａと、マルチプレクサ１５ｂと、複数のカウンタ１５ｃ（ＣＮ）とを有する。このＡＤ変換回路１５としては、例えば、電圧制御発振器（ＶＣＯ）を使用するＡＤ変換回路が用いられる。各コンパレータ１５ａは、各信号線１２２ａにそれぞれ設けられている。マルチプレクサ１５ｂは、各信号線１２２ａに接続されており、このマルチプレクサ１５ｂの後段（信号の流れの下流側）に各カウンタ１５ｃが接続されている。
　プーリング回路１５０は、ＯＲ回路１５０ａを有する。このＯＲ回路１５０ａは、マルチプレクサ１５ｂとカウンタ１５ｃとの間に設けられている。プーリング回路１５０は、ＯＲ回路１５０ａを用いることで、各コンパレータ１５ａからそれぞれ出力される画素信号に対し、最大値プーリング処理（Ｍａｘプーリング処理）を行う。ただし、プーリング処理としては、最大値プーリング処理に限るものではなく、例えば、平均値プーリング処理を用いるようにしてもよい。
　マルチプレクサ１５ｂは、通常画像出力処理を行う場合、各コンパレータ１５ａからそれぞれ出力される画素信号をそのままカウンタ１５ｃ（ＣＮ）に送る。また、マルチプレクサ１５ｂは、ＣＮＮ処理を行う場合、各コンパレータ１５ａからそれぞれ出力される画素信号をＯＲ回路１５０ａに送る。ＯＲ回路１５０ａは、各画素信号に対し、最大値プーリング処理を実行し、プーリング処理が行われた各画像信号をカウンタ１５ｃ（ＣＮ）に送る。カウンタ１５ｃから出力される各画素信号はデジタル信号となる。マルチプレクサ１５ｂは制御部１８により制御される。
＜１－６．作用・効果＞
　以上説明したように、第１の実施形態によれば、ＣＮＮ処理のうち畳み込み処理及びプーリング処理を撮像素子１０内に組み込むことで、畳み込み処理及びプーリング処理に係る演算をアナログ的に処理することが可能となり、処理時間を高速化することができる。例えば、畳み込み処理及びプーリング処理をアナログ回路により実現することで、メモリやロジック回路等の規模を縮小することができる。また、ロジック処理の負担を減らし、リードタイムの短縮化を実現することができる。したがって、画像認識のシステムの簡素化及びリードタイムの短縮化を実現することができる。
＜２．第２の実施形態＞
　次に、第２の実施形態に係る畳み込み回路２０Ａについて図１２を参照して説明する。図１２は、第２の実施形態に係る畳み込みフィルタに基づく畳み込み回路２０Ａの概略構成例を示す図である。以下、第１の実施形態との相違点を中心に説明を行い、その他の説明を省略する。
　図１２に示すように、第２の実施形態に係る畳み込み回路２０Ａは、第１の実施形態と一部が異なる容量加算回路（加算回路）１４Ａを備える。容量加算回路１４Ａは、第１の実施形態に係る複数のコンデンサ１４ｂ及び複数のスイッチ１４ｃに加え、畳み込み係数を設定するための複数のアンプ（カラムアンプ）１４ｄを有する。これらのアンプ１４ｄは垂直信号線１２２毎に設けられている。アンプ１４ｄのゲインが変えられ、畳み込みフィルタが実現される。例えば、畳み込みフィルタの数値が２であれば、アンプ１４ｄのゲインが２倍にされる。このようなアンプ１４ｄが用いられ、畳み込みフィルタが実現される。なお、コンデンサ１４ｂの容量比は固定となるが、容量比による加算に比べ、素子構成を簡略化することができる。
　以上説明したように、第２の実施形態によれば、畳み込み回路２０Ａの容量加算回路１４Ａの一部に複数のアンプ１４ｄを用いることによって、撮像素子１０の構成を簡略化することが可能になるので、画像認識のシステムの簡素化を実現することができる。なお、第２の実施形態によれば、第１の実施形態と同じ効果を得ることができる。
＜３．第３の実施形態＞
　次に、第３の実施形態に係る畳み込み処理（スライド処理を含む）について図１３から図１５を参照して説明する。以下、第１の実施形態との相違点を中心に説明を行い、その他の説明を省略する。
　図１３は、第３の実施形態に係る畳み込みフィルタのスライドを説明するための図である。図１３に示すように、第３の実施形態では、畳み込みフィルタが所定の移動量で水平方向にずらされる。図１３の例では、所定の移動量（ストライド）は１であり、畳み込みフィルタがＡからＢへ移動量＝１でスライドされる。なお、スライドとは畳み込みフィルタをずらすことを意味し、ストライドとは畳み込みフィルタをずらす移動量を示す単位である。
　図１４は、第３の実施形態に係る畳み込み処理時の畳み込み回路２０の動作例を示す第１の図である。図１５は、第３の実施形態に係る畳み込み処理時の畳み込み回路２０の動作例を示す第２の図である。図１４及び図１５に示すように、第３の実施形態に係る水平走査回路１３及び容量加算回路１４は、第１の実施形態と同様の構成を有するが、スライド処理を含む畳み込み処理を実行することが可能になっている。
　図１４に示すように、畳み込み処理において、水平走査回路１３は、畳み込みフィルタに基づき、各垂直信号線１２２と容量加算回路１４との接続を制御する。また、容量加算回路１４は、畳み込みフィルタに基づき、各マルチプレクサ１４ａ及び各コンデンサ１４ｂにより、各垂直信号線１２２と各信号線１２２ａとの接続を制御する。このとき、各スイッチ１４ｃは、隣り合う３本の信号線１２２ａを一組とし、組ごとに接続線１２２ｂをつなぎ（横つなぎ）、中央の１本の信号線１２２ａをつなぐ。図１４の例では、３×３畳み込みフィルタは、「１行目：２、０、１，２行目：０、１、０，３行目：１、０、１」である。この畳み込みフィルタ（行列数や各数値）が、水平走査回路１３及び容量加算回路１４により実現される。
　図１５に示すように、畳み込みフィルタを移動量＝１でずらす場合（図１３参照）、水平走査回路１３は、畳み込みフィルタ及び移動量に基づき、各垂直信号線１２２と容量加算回路１４との接続を制御する。また、容量加算回路１４は、畳み込みフィルタ及び移動量に基づき、各マルチプレクサ１４ａ及び各コンデンサ１４ｂにより、各垂直信号線１２２と各信号線１２２ａとの接続を制御する。このとき、各スイッチ１４ｃは、３本の信号線１２２ａが一組である組を信号線１２２ａの１本分ずらし、組ごとに接続線１２２ｂをつなぎ（横つなぎ）、中央の１本の信号線１２２ａをつなぐ。これにより、畳み込みフィルタが水平方向（行方向）にスライドする。このようなスライドが撮像部１１内で繰り返される。
　以上説明したように、第３の実施形態によれば、スライド処理を含む畳み込み処理を行うことが可能になるので、畳み込み処理のバリエーションを増やし、ユーザの利便性を向上させることができる。なお、第３の実施形態によれば、第１の実施形態と同じ効果を得ることができる。
　前述の第３の実施形態では、畳み込みフィルタＡと畳み込みフィルタＢを同時にＡＤ変換する場合、カラム回路を追加する必要があるため、ＡＤ変換を同時に行わずに分けて畳み込みを実施する形式を採用しているが、これに限るものではない。例えば、縦列カラム等のカラム回路を追加し、畳み込みフィルタＡと畳み込みフィルタＢにおいて、ＡＤ変換を同時に行うようにしてもよい。
　また、前述の第３の実施形態においては、畳み込みフィルタを水平方向（行方向）にずらしているが、これに限るものではなく、例えば、畳み込みフィルタを垂直方向（列方向）にずらすようにしてもよい。この場合にも、縦列カラム等のカラム回路を追加することで、畳み込みフィルタを垂直方向にずらすことを実現することが可能である。
＜４．他の実施形態＞
　なお、前述の各実施形態では、畳み込み層及びプーリング層の両方がそれぞれ１層であり、畳み込み処理及びプーリング処理を１回だけ実行しているが、これに限るものではない。例えば、畳み込み層及びプーリング層の両方をそれぞれ多層とし、畳み込み処理及びプーリング処理の両方を複数回繰り返すようにしてもよい。
　また、前述の各実施形態に係る撮像素子１０を１つのチップ上に形成するようにしてもよく、あるいは、撮像素子１０を分割して複数のチップ上に形成するようにしてもよい。さらに、それらのチップを張り合わせた積層構造として形成するようにしてもよい。例えば、撮像部１１等を有する受光チップと、記憶部１７や制御部１８等を有する回路チップを上下に積層した構造（２層の積層構造）に撮像素子１０を構成するようにしてもよい。
＜５．適用例＞
　次、各実施形態に係る撮像素子１０の適用例について説明する。図１６は、各実施形態に係る撮像素子１０を使用する使用例を示す図である。
　上述した撮像素子１０は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。例えば、撮像素子１０は、図１６に示すように、「デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置」、「自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置」、「ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、ＴＶや、冷蔵庫、エアーコンディショナ等の家電に供される装置」、「内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置」、「防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置」、「肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置」、「スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置」、「畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置」等に用いられる。
　例えば、上述した撮像素子１０は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置、撮像機能を備える携帯電話機、又は、撮像機能を備える他の機器等、各種の電子機器に適用することができる。
　図１７は、本開示に係る技術が適用され得る電子機器としての撮像装置３００の構成例を示すブロック図である。撮像装置３００は、光学系３０１、シャッタ装置３０２、固体撮像装置３０３、制御回路（制御部）３０４、信号処理回路３０５、モニタ３０６及びメモリ３０７を備える。この撮像装置３００は、静止画像および動画像を撮像可能である。
　光学系３０１は、１枚または複数枚のレンズを有する。この光学系３０１は、被写体からの光（入射光）を固体撮像装置３０３に導き、固体撮像装置３０３の受光面に結像させる。
　シャッタ装置３０２は、光学系３０１及び固体撮像装置３０３の間に配置される。このシャッタ装置３０２は、制御回路３０４の制御に従って、固体撮像装置３０３への光照射期間及び遮光期間を制御する。
　固体撮像装置３０３は、例えば、上述した撮像素子１０を含むパッケージにより構成される。固体撮像装置３０３は、光学系３０１及びシャッタ装置３０２を介して受光面に結像される光に応じて、一定期間、信号電荷を蓄積する。固体撮像装置３０３に蓄積された信号電荷は、制御回路３０４から供給される駆動信号（タイミング信号）に従って転送される。
　制御回路３０４は、固体撮像装置３０３の転送動作及びシャッタ装置３０２のシャッタ動作を制御する駆動信号を出力して、固体撮像装置３０３及びシャッタ装置３０２を駆動する。
　信号処理回路３０５は、固体撮像装置３０３から出力された信号電荷に対して各種の信号処理を施す。信号処理回路３０５が信号処理を施すことにより得られた画像（画像データ）は、モニタ３０６に供給されて表示されたり、メモリ３０７に供給されて記憶（記録）されたりする。
　このように構成されている撮像装置３００においても、固体撮像装置３０３として、上述した撮像素子１０を適用することにより、画像認識のシステムの簡素化及びリードタイムの短縮化を実現することが可能となる。
＜６．応用例＞
　また、本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される電子機器等の装置として実現されてもよい。また、例えば、本開示に係る技術は、内視鏡手術システムや顕微鏡手術システム等に適用されてもよい。
　図１８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１８に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１８では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図１９は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１９には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図１８に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１８の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図１８に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図１を用いて説明した本実施形態に係る撮像素子１０の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、図１を用いて説明した本実施形態に係る撮像素子１０は、図１８に示した応用例の統合制御ユニット７６００に適用することができる。例えば、撮像素子１０の記憶部１７及び制御部１８は、統合制御ユニット７６００のマイクロコンピュータ７６１０、記憶部７６９０、車載ネットワークＩ／Ｆ７６８０に相当する。撮像部７４１０等の撮像装置に本開示に係る技術を適用することにより、撮像装置における画像認識のシステムの簡素化及びリードタイムの短縮化を実現することが可能となる。
　また、図１を用いて説明した本実施形態に係る撮像素子１０の少なくとも一部の構成要素は、図１８に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１を用いて説明した本実施形態に係る撮像素子１０が、図１８に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
　以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
＜７．付記＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　光電変換素子を個別に含む複数の画素が行列状に並ぶ撮像部と、
　前記複数の画素からそれぞれ出力されるアナログ信号である複数の画素信号に対し、畳み込み係数に基づいて畳み込み処理を行う畳み込み回路と、
　前記畳み込み処理が行われた前記複数の画素信号に対し、プーリング処理を行うプーリング回路と、
　を備える撮像素子。
（２）
　前記プーリング処理が行われた前記複数の画素信号に対し、全統合処理を行う全統合処理部をさらに備える、
　上記（１）に記載の撮像素子。
（３）
　前記畳み込み回路は、
　前記畳み込み係数に基づいて、前記複数の画素の中から、前記画素信号が出力される複数の画素を選択する水平走査回路と、
　前記畳み込み係数に基づいて、選択された前記複数の画素からそれぞれ出力される前記複数の画素信号を加算する加算回路と、
　を有する、
　上記（１）又は（２）に記載の撮像素子。
（４）
　前記加算回路は、
　前記畳み込み係数を設定するためのマルチプレクサ及び複数のコンデンサを有する、
　上記（３）に記載の撮像素子。
（５）
　前記加算回路は、
　前記畳み込み係数を設定するための複数のアンプを有する、
　上記（３）に記載の撮像素子。
（６）
　前記畳み込み係数を記憶する記憶部をさらに備える、
　上記（１）から（５）のいずれかに記載の撮像素子。
（７）
　前記畳み込み係数に基づき、前記畳み込み回路及び前記プーリング回路を制御する制御部をさらに備える、
　上記（１）から（６）のいずれかに記載の撮像素子。
（８）
　前記制御部は、前記制御部に入力される入力信号に応じ、前記畳み込み処理及び前記プーリング処理を制限又は許可する、
　上記（７）に記載の撮像素子。
（９）
　前記畳み込み係数は、畳み込みフィルタであり、
　前記畳み込み回路は、前記畳み込みフィルタを所定の移動量ずらし、前記畳み込み処理を行う、
　上記（１）から（８）のいずれかに記載の撮像素子。
（１０）
　前記畳み込み係数は、０を含む畳み込みフィルタである、
　上記（１）から（９）のいずれかに記載の撮像素子。
（１１）
　撮像素子と、
　前記撮像素子の受光面に光を結像する光学系と、
を備え、
　前記撮像素子は、
　光電変換素子を個別に含む複数の画素が行列状に並ぶ撮像部と、
　前記複数の画素からそれぞれ出力されるアナログ信号である複数の画素信号に対し、畳み込み係数に基づいて畳み込み処理を行う畳み込み回路と、
　前記畳み込み処理が行われた前記複数の画素信号に対し、プーリング処理を行うプーリング回路と、
　を備える撮像装置。
（１２）
　上記（１）から（１０）のいずれかに記載の撮像素子と、
　前記撮像素子の受光面に光を結像する光学系と、
を備える撮像装置。
　１０　　撮像素子
　１１　　撮像部
　１２　　垂直走査回路
　１３　　水平走査回路
　１３ａ　マルチプレクサ
　１４　　容量加算回路
　１４ａ　マルチプレクサ
　１４ｂ　コンデンサ
　１４ｃ　スイッチ
　１５　　ＡＤ変換回路
　１６　　全結合処理部
　１７　　記憶部
　１７ａ　レジスタ
　１８　　制御部
　２０　　畳み込み回路
　２０Ａ　畳み込み回路
　１１０　画素
　１２１　画素信号線
　１２２　垂直信号線
　１５０　プーリング回路
　３００　撮像装置
　３０１　光学系

Claims (11)

  1. 　光電変換素子を個別に含む複数の画素が行列状に並ぶ撮像部と、
    　前記複数の画素からそれぞれ出力されるアナログ信号である複数の画素信号に対し、畳み込み係数に基づいて畳み込み処理を行う畳み込み回路と、
    　前記畳み込み処理が行われた前記複数の画素信号に対し、プーリング処理を行うプーリング回路と、
    　を備える撮像素子。
  2. 　前記プーリング処理が行われた前記複数の画素信号に対し、全統合処理を行う全統合処理部をさらに備える、
    　請求項１に記載の撮像素子。
  3. 　前記畳み込み回路は、
    　前記畳み込み係数に基づいて、前記複数の画素の中から、前記画素信号が出力される複数の画素を選択する水平走査回路と、
    　前記畳み込み係数に基づいて、選択された前記複数の画素からそれぞれ出力される前記複数の画素信号を加算する加算回路と、
    　を有する、
    　請求項１に記載の撮像素子。
  4. 　前記加算回路は、
    　前記畳み込み係数を設定するためのマルチプレクサ及び複数のコンデンサを有する、
    　請求項３に記載の撮像素子。
  5. 　前記加算回路は、
    　前記畳み込み係数を設定するための複数のアンプを有する、
    　請求項３に記載の撮像素子。
  6. 　前記畳み込み係数を記憶する記憶部をさらに備える、
    　請求項１に記載の撮像素子。
  7. 　前記畳み込み係数に基づき、前記畳み込み回路及び前記プーリング回路を制御する制御部をさらに備える、
    　請求項１に記載の撮像素子。
  8. 　前記制御部は、前記制御部に入力される入力信号に応じ、前記畳み込み処理及び前記プーリング処理を制限又は許可する、
    　請求項７に記載の撮像素子。
  9. 　前記畳み込み係数は、畳み込みフィルタであり、
    　前記畳み込み回路は、前記畳み込みフィルタを所定の移動量ずらし、前記畳み込み処理を行う、
    　請求項１に記載の撮像素子。
  10. 　前記畳み込み係数は、０を含む畳み込みフィルタである、
    　請求項１に記載の撮像素子。
  11. 　撮像素子と、
    　前記撮像素子の受光面に光を結像する光学系と、
    を備え、
    　前記撮像素子は、
    　光電変換素子を個別に含む複数の画素が行列状に並ぶ撮像部と、
    　前記複数の画素からそれぞれ出力されるアナログ信号である複数の画素信号に対し、畳み込み係数に基づいて畳み込み処理を行う畳み込み回路と、
    　前記畳み込み処理が行われた前記複数の画素信号に対し、プーリング処理を行うプーリング回路と、
    　を備える撮像装置。
PCT/JP2021/032588 2020-09-14 2021-09-06 撮像素子及び撮像装置 WO2022054742A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022547572A JPWO2022054742A1 (ja) 2020-09-14 2021-09-06
US18/043,770 US20240031691A1 (en) 2020-09-14 2021-09-06 Imaging element and imaging device
CN202180055237.8A CN116134831A (zh) 2020-09-14 2021-09-06 成像元件和成像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-153670 2020-09-14
JP2020153670 2020-09-14

Publications (1)

Publication Number Publication Date
WO2022054742A1 true WO2022054742A1 (ja) 2022-03-17

Family

ID=80631780

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/032588 WO2022054742A1 (ja) 2020-09-14 2021-09-06 撮像素子及び撮像装置

Country Status (4)

Country Link
US (1) US20240031691A1 (ja)
JP (1) JPWO2022054742A1 (ja)
CN (1) CN116134831A (ja)
WO (1) WO2022054742A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019161665A (ja) * 2019-06-13 2019-09-19 株式会社ニコン 特徴抽出素子、特徴抽出システム、および判定装置
US20200082253A1 (en) * 2018-09-07 2020-03-12 Samsung Electronics Co., Ltd. Integrated circuit that extracts data, neural network processor including the integrated circuit, and neural network device
JP2020123975A (ja) * 2017-06-14 2020-08-13 株式会社半導体エネルギー研究所 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020123975A (ja) * 2017-06-14 2020-08-13 株式会社半導体エネルギー研究所 撮像装置
US20200082253A1 (en) * 2018-09-07 2020-03-12 Samsung Electronics Co., Ltd. Integrated circuit that extracts data, neural network processor including the integrated circuit, and neural network device
JP2019161665A (ja) * 2019-06-13 2019-09-19 株式会社ニコン 特徴抽出素子、特徴抽出システム、および判定装置

Also Published As

Publication number Publication date
US20240031691A1 (en) 2024-01-25
JPWO2022054742A1 (ja) 2022-03-17
CN116134831A (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
US11743604B2 (en) Imaging device and image processing system
US11895398B2 (en) Imaging device and imaging system
JP6977722B2 (ja) 撮像装置、および画像処理システム
US11683606B2 (en) Imaging device and electronic equipment
WO2021241120A1 (ja) 撮像装置及び撮像方法
WO2022009664A1 (ja) 撮像装置及び撮像方法
WO2018070259A1 (ja) 固体撮像素子およびその製造方法、並びに、電子機器
WO2021256095A1 (ja) 撮像装置及び撮像方法
WO2019073726A1 (ja) 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器
US20220148432A1 (en) Imaging system
US20220086379A1 (en) Image capturing device and electronic apparatus
JP7038050B2 (ja) 固体撮像装置、補正方法、および電子装置
WO2018139187A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
WO2021235323A1 (ja) 撮像装置及び撮像方法
WO2022054742A1 (ja) 撮像素子及び撮像装置
WO2022107512A1 (ja) 受光装置及び測距装置
WO2018043140A1 (ja) 固体撮像素子、および電子装置
WO2022065032A1 (ja) 撮像装置及び撮像方法
WO2022181265A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
WO2022124092A1 (ja) 固体撮像素子、撮像装置及び固体撮像素子の制御方法
WO2022239345A1 (ja) 撮像素子、撮像装置及び撮像素子の制御方法
WO2024024464A1 (ja) 固体撮像素子、および電子機器
US20240171878A1 (en) Imaging element, imaging device, and method for controlling imaging element
WO2023181663A1 (ja) 比較器、増幅器及び固体撮像装置
US20240080587A1 (en) Solid-state imaging device and electronic instrument

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21866701

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022547572

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18043770

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21866701

Country of ref document: EP

Kind code of ref document: A1