WO2021029269A1 - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

情報処理装置、情報処理方法、および情報処理プログラム Download PDF

Info

Publication number
WO2021029269A1
WO2021029269A1 PCT/JP2020/029765 JP2020029765W WO2021029269A1 WO 2021029269 A1 WO2021029269 A1 WO 2021029269A1 JP 2020029765 W JP2020029765 W JP 2020029765W WO 2021029269 A1 WO2021029269 A1 WO 2021029269A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
unit
convolution
information processing
cnn
Prior art date
Application number
PCT/JP2020/029765
Other languages
English (en)
French (fr)
Inventor
良仁 浴
恭二 横山
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/623,879 priority Critical patent/US11778345B2/en
Priority to DE112020003848.3T priority patent/DE112020003848T5/de
Priority to CN202080055560.0A priority patent/CN114208158B/zh
Publication of WO2021029269A1 publication Critical patent/WO2021029269A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767—Horizontal readout lines, multiplexers or registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • This disclosure relates to an information processing device, an information processing method, and an information processing program.
  • An image classification device that inputs image data to a CNN (Convolutional Neural Network), repeats convolutional processing and pooling processing on the image to extract the feature amount of the image, and classifies the image from the feature amount by the fully connected layer in the subsequent stage.
  • CNN Convolutional Neural Network
  • CNN a convolution process is performed on a target pixel by using a plurality of pixels around it, and the process is required for all necessary areas, so that the processing load required for the convolution process is very large. ..
  • an information processing device has a setting unit and a control unit.
  • the setting unit sets the exposure time of each of the imaging pixels in the imaging unit including the plurality of imaging pixels arranged in two dimensions to the exposure time according to the convolution coefficient of the first layer of the CNN.
  • the control unit transfers a signal charge from the exposed imaging pixel to the floating diffusion to perform a convolution process.
  • FIG. 1 is a schematic explanatory view of a CNN according to the present disclosure.
  • CNN is a machine learning model that combines convolution processing and DNN (Deep Neural Network). As shown in FIG. 1, the CNN is roughly divided into a feature amount extraction layer in the front stage and a fully connected layer in the rear stage.
  • DNN Deep Neural Network
  • the feature amount extraction layer shows the distribution of the feature amount of the image data by performing a filter process for each of a predetermined number of imaging pixels to shrink the image data into one pixel and performing a convolution process.
  • a feature map Img1 is generated.
  • image data Img formed by a plurality of imaging pixels arranged in two dimensions (matrix) is input to the CNN.
  • the CNN when performing a 2 ⁇ 2 convolution process (hereinafter, referred to as “2 ⁇ 2 Conv”), the CNN first applies a filter Ft to the four imaging pixels on the upper left of the image data Img to obtain a feature amount. It is extracted and converted into one degenerate pixel Un1.
  • the CNN multiplies each pixel value of the four imaging pixels by a convolution coefficient acquired in advance by machine learning, and adds the pixel values of the four imaged pixels after multiplication to obtain the feature of the retracted pixel Un1. Calculate the amount.
  • the pixel value is a value obtained by converting an analog voltage value according to the amount of light received when the photoelectric conversion element corresponding to each image pickup pixel captures an image into a digital value.
  • the process of converting the predetermined number of imaging pixels into one degenerate pixel Un1 including the feature amount is the convolution process.
  • the CNN shifts the application position of the filter Ft by two pixels in the horizontal direction, performs a convolution process, and converts four image pickup pixels to which the filter Ft is applied into one degenerate pixel Un2.
  • the CNN further shifts the application position of the filter Ft by two pixels in the lateral direction, performs a convolution process, and converts four image pickup pixels to which the filter Ft is applied into one degenerate pixel Un3. Then, CNN performs a convolution process on all the imaging pixels included in the image data Img to generate a feature amount map Img1.
  • CNN performs a pooling process on the feature map Img1.
  • the CNN selects, for example, the degenerate pixels having the maximum feature amount for each predetermined number of degenerate pixels (for example, vertical ⁇ horizontal: 2 ⁇ 2) included in the feature amount map Img1.
  • the CNN generates a feature amount map Img2 in which the feature amount is further extracted and degenerated by the selected degenerate pixels, and inputs the feature amount of each pixel of the feature amount map Img2 into the fully connected layer in the subsequent stage. Images are classified by features according to the fully connected layer.
  • CNN first, the pixel values of all the imaging pixels of the input image data Img are multiplied by the convolution coefficient, and the pixel values multiplied by the convolution coefficient are added for each predetermined number of imaging pixels. And perform the convolution process.
  • the information processing apparatus reduces the processing load of the convolution processing in the CNN by performing the convolution processing performed in the feature amount extraction layer in the CNN by analog processing by the imaging unit that captures an image.
  • FIG. 2 is a block diagram showing an example of the configuration of the information processing apparatus according to the present disclosure.
  • the information processing device 1 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and performs convolution processing of the first layer in CNN or convolution processing up to the second layer by analog processing on the image to be captured. .. Then, the information processing apparatus 1 outputs a signal corresponding to the result of the convolution process to the subsequent layer in the CNN 8.
  • the information processing device 1 performs the convolution processing of the first layer or the second layer in the CNN will be described here, the information processing device 1 is configured to perform the convolution processing of the third and subsequent layers in the CNN. It is also possible to do.
  • the CNN8 can output the image classification result by performing the pooling process or the fully connected layer process without performing the first layer convolution process or the second layer convolution process.
  • the information processing apparatus 1 can reduce the processing load of the convolution processing in the CNN 8.
  • the information processing apparatus 1 includes an imaging unit 2, a vertical scanning circuit 3, an ADC (analog / digital converter) 4, a controller 5, a storage unit 6, and a register 7. And.
  • ADC analog / digital converter
  • the imaging unit 2 includes a plurality of imaging pixels arranged in two dimensions and a floating diffusion shared by a predetermined number of imaging pixels.
  • Each imaging pixel includes a photodiode provided corresponding to each pixel of the captured image, and photoelectrically converts the received light into a signal charge according to the amount of received light.
  • Floating diffusion is a charge holding region that temporarily holds the signal charge transferred from the photodiode.
  • the vertical scanning circuit 3 is controlled by the controller 5 to expose each imaging pixel, transfer the signal charge to the floating diffusion, read the pixel signal from the floating diffusion to the ADC 4, and the like.
  • the ADC 4 converts the analog pixel signal input from the image pickup unit 2 into a digital pixel signal and outputs it to the CNN 8.
  • the controller 5 includes, for example, a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and various circuits.
  • the controller 5 includes a setting unit 51 and a control unit 52 that function by executing an information processing program stored in the ROM by the CPU using the RAM as a work area.
  • the storage unit 6 is, for example, a storage device such as a flash memory, and stores the convolution coefficient 61 of the CNN 8 acquired in advance by machine learning.
  • the convolution coefficient 61 read from the storage unit 6 by the controller 5 is set in the register 7.
  • setting unit 51 and the control unit 52 included in the controller 5 may be partially or wholly composed of hardware such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the setting unit 51 and the control unit 52 included in the controller 5 realize or execute the actions of information processing described below, respectively.
  • the internal configuration of the controller 5 is not limited to the configuration shown in FIG. 2, and may be another configuration as long as it is a configuration for performing information processing described later.
  • the setting unit 51 reads the convolution coefficient 61 from the storage unit 6 and sets it in the register 7, and sets the exposure time of each image pickup pixel in the image pickup unit 2 to the convolution of the first layer of the CNN 8.
  • the exposure time is set according to the coefficient 61.
  • the setting unit 51 sets the exposure start timing of the imaging pixels to different timings according to the convolution coefficient 61 of the first layer of the CNN 8, and the transfer timing of the signal charge from all the imaging pixels to the floating diffusion is the same. Set to timing. An example of such exposure and transfer timing will be described later with reference to FIG.
  • the control unit 52 exposes each image pickup pixel based on the exposure start timing and the exposure time set by the setting unit 51, and causes the image pickup unit 2 to capture an image.
  • the larger the convolution coefficient 61 the longer the exposure time, and the larger the amount of signal charge that is photoelectrically converted.
  • the signal charge amount (analog value) photoelectrically converted by each imaging pixel is the signal charge amount obtained by multiplying the signal charge amount when the exposure times of all the imaging pixels are the same by the convolution coefficient.
  • Such an imaging process is substantially the same as an arithmetic process of multiplying the pixel value (digital value) of each imaging pixel by the convolution coefficient 61.
  • control unit 52 transfers the signal charge from a predetermined number of imaging pixels sharing the floating diffusion to the floating diffusion based on the transfer timing set by the setting unit 51.
  • the transfer process is substantially the same as the arithmetic process of adding the pixel values of a predetermined number of imaging pixels multiplied by the convolution coefficient 61. That is, the above-mentioned series of processes is substantially the same as the convolution process of the first layer of CNN8.
  • control unit 52 sequentially reads the signal charge transferred to each floating diffusion from the imaging unit 2 to the ADC 4 as a pixel signal.
  • the ADC 4 converts the analog pixel signal input from the image pickup unit 2 into a digital pixel signal and outputs it to the CNN 8.
  • the CNN8 can output the image classification result by performing the pooling process and the fully coupled layer process without performing the convolution process of the first layer for the pixel signal that has undergone the convolution process.
  • FIG. 3 is an explanatory diagram of the 2 ⁇ 2 Conv according to the present disclosure.
  • one floating diffusion FD is shared by four imaging pixels Px1 to Px4 that are vertically and horizontally adjacent to each other.
  • the setting unit 51 sets the exposure time according to the convolution coefficient 61 of the first layer in the CNN 8 in order from the four imaging pixels Px1 to Px4 in the upper left corner of the imaging unit 2.
  • an exposure time of 0.9 (msec) is set for the image pickup pixel Px1
  • an exposure time of 0.5 (msec) is set for the image pickup pixel Px2.
  • An exposure time of 0.3 (msec) is set for the imaging pixel Px3
  • an exposure time of 1 (msec) is set for the imaging pixel Px4.
  • the control unit 52 exposes the four imaging pixels Px1 to Px4 so that the exposure time is set by the setting unit 51, and then transfers the signal charge from the four imaging pixels Px1 to Px4 to the floating diffusion FD. Then, the control unit 52 causes the floating diffusion FD to read the signal charge from the floating diffusion FD to the ADC 4 as a pixel signal.
  • the control unit 52 performs such a series of imaging processes on all the imaging pixels of the imaging unit 2. As a result, the control unit 52 can complete the convolution process of the first layer of the CNN 8 for the entire image of one frame.
  • the signal charges were added by transferring the signal charges from the four imaging pixels Px1 to Px4 to the shared floating diffusion FD, but floating diffusion was provided for each of the four imaging pixels Px1 to Px4.
  • the signal charge may be added by the source follower addition circuit.
  • FIG. 4 is an explanatory diagram showing an example of a circuit that performs 2 ⁇ 2 Conv according to the present disclosure.
  • FIG. 4 shows four imaging pixels Px1 to Px4 that share one floating diffusion FD.
  • the imaging pixel Px1 includes a photodiode Pd1a, a transfer transistor Tr1, and a shutter transistor Sh1.
  • the image pickup pixel Px2 includes a photodiode Pd2, a transfer transistor Tr2, and a shutter transistor Sh2.
  • the image pickup pixel Px3 includes a photodiode Pd3, a transfer transistor Tr3, and a shutter transistor Sh3.
  • the image pickup pixel Px4 includes a photodiode Pd4, a transfer transistor Tr4, and a shutter transistor Sh4.
  • the four imaging pixels Px1 to Px4 share a reset transistor Rst, an amplification transistor Amp, a selection transistor Self, and a floating diffusion FD. Therefore, the photodiodes Pd1 to Pd4 are connected to the floating diffusion FD via the transfer transistors Tr1 to Tr4, respectively.
  • the reset transistor Rst is turned ON in response to the reset signal RST, the floating diffusion 76 is clamped to a predetermined reference potential VDD and reset.
  • the imaging pixel Px1 transfers the signal charge photoelectrically converted by the photodiode Pd1 to the floating diffusion FD.
  • the imaging pixel Px2 transfers the signal charge photoelectrically converted by the photodiode Pd2 to the floating diffusion FD.
  • the imaging pixel Px3 transfers the signal charge photoelectrically converted by the photodiode Pd3 to the floating diffusion FD.
  • the imaging pixel Px4 transfers the signal charge photoelectrically converted by the photodiode Pd4 to the floating diffusion FD.
  • the signal charges photoelectrically converted by the four imaging pixels Px1 to Px4 are added and accumulated in the floating diffusion FD. Then, when the selection transistor Self is turned on in response to the selection signal SEL, a pixel signal corresponding to the signal charge accumulated in the floating diffusion FD is output to the vertical signal line VSL.
  • the four imaging pixels Px1 to Px4 are exposed for a time corresponding to the convolution coefficient 61. Specifically, the shutter transistors Sh1 to Sh4 are sequentially turned off as soon as the imaging pixels Px1 to Px4 having a long exposure time. After that, the four shutter transistors Sh1 to Sh4 are turned on at the same time.
  • the timing for turning on the four shutter transistors Sh1 to Sh4 is set in advance by the setting unit 51 so that the time of each imaging pixel Px1 to Px4 becomes the time corresponding to the convolution coefficient 61.
  • the four imaging pixels Px1 to Px4 can be exposed for a time corresponding to the convolution coefficient 61.
  • the four transfer transistors Tr1 to Tr4 are turned on at the same time.
  • the signal charge is transferred from the four image pickup pixels Px1 to Px4 to the floating diffusion FD, so that 2 ⁇ 2 Conv can be performed.
  • FIG. 5 is an explanatory diagram of exposure and readout timing in the 2 ⁇ 2 Conv according to the present disclosure.
  • 2 ⁇ 2 Conv is performed on the eight imaging pixels (1) to (8) arranged in 2 columns ⁇ 4 rows shown in the upper left of FIG. 5 will be described.
  • the setting unit 51 when performing 2 ⁇ 2 Conv, the setting unit 51 first sets the exposure time for each of the imaging pixels (1) to (8) (step S1). In the example shown in FIG. 5, the setting unit 51 sets the exposure time of the image pickup pixel (1) to 1 [msec], the exposure time of the image pickup pixel (2) to 0.5 [msec], and the exposure time of the image pickup pixel (3). Is set to 0.2 [msec], and the exposure time of the imaging pixel (4) is set to 0.7 [msec].
  • the setting unit 51 sets the exposure time of the image pickup pixel (5) to 1 [msec], the exposure time of the image pickup pixel (6) to 0.5 [msec], and the exposure time of the image pickup pixel (7) to 0.2 [msec]. msec], the exposure time of the imaging pixel (8) is set to 0.7 [msec].
  • the setting unit 51 sets four imaging pixels (1) to (4) and (5) to (8) as one unit, and the four imaging pixels (1) to (4) included in each unit. ), (5) to (8) to read the signal charge.
  • the setting unit 51 sets the reading timings of the four imaging pixels (1) to (4) to the same timing, calculates back from the reading timing, and sets the exposure times of the imaging pixels (1) to (4).
  • the exposure start timing is set so that the exposure time is set.
  • the setting unit 51 similarly sets the exposure start timing and the reading timing for the four imaging pixels (5) to (8) included in the next unit. However, the setting unit 51 delays the reading timing of the imaging pixels (5) to (8) by one analog-digital conversion by the ADC 4 from the reading timing of the imaging pixels (1) to (4).
  • control unit 52 sequentially starts the exposure according to the exposure time set by the setting unit 51 (step S2).
  • the control unit 52 starts (SH) the exposure of the imaging pixel (1).
  • the control unit 52 starts the exposure of the imaging pixel (4) after 0.3 [msec] from the start of the exposure of the imaging pixel (1), and exposes the imaging pixel (2) after 0.5 [msec]. Is started, and after 0.8 [msec], the exposure of the imaging pixel (3) is started.
  • control unit 52 simultaneously reads out the signal charge from the four imaging pixels (1) to (4) to the shared floating diffusion after 1 [msec] from the start of the exposure of the imaging pixel (1).
  • control unit 52 can perform 2 ⁇ 2 Conv by analog processing on the four imaging pixels (1) to (4).
  • control unit 52 starts the exposure of the imaging pixel (5) at a timing delayed by one analog-digital conversion by the ADC 4 from the start of the exposure of the imaging pixel (1). After that, the control unit 52 starts the exposure of the image pickup pixel (8) after 0.3 [msec] from the start of the exposure of the image pickup pixel (5), and exposes the image pickup pixel (6) after 0.5 [msec]. Is started, and after 0.8 [msec], the exposure of the imaging pixel (7) is started.
  • control unit 52 simultaneously reads out the signal charge from the four imaging pixels (5) to (8) to the shared floating diffusion after 1 [msec] from the start of the exposure of the imaging pixel (5).
  • control unit 52 delays the timing by one AD (analog-to-digital conversion) (step S3).
  • AD analog-to-digital conversion
  • the ADC 4 can sequentially perform analog-to-digital conversion of the signal charge read from the floating diffusion.
  • the control unit 52 can perform 2 ⁇ 2 Conv by analog processing on the four imaging pixels (5) to (8).
  • FIG. 6 is an explanatory diagram of the 4 ⁇ 4 Conv according to the present disclosure.
  • the controller 5 performs 2 ⁇ 2 Conv for each of the four vertically and horizontally adjacent imaging pixels, and performs 4 ⁇ 4 Conv by performing 2 ⁇ 2 Conv on the results of the four 2 ⁇ 2 Conv.
  • the setting unit 51 first sets the exposure time for each of the 16 imaging pixels Px1 to Px8 of 4 ⁇ 4 in length and width. After that, the control unit 52 exposes each of the 16 imaging pixels Px1 to Px8 for a set exposure time.
  • control unit 52 performs 2 ⁇ 2 Conv for each of the four imaging pixels of 2 ⁇ 2 in the vertical and horizontal directions. For example, the control unit 52 transfers the signal charge photoelectrically converted by the four imaging pixels Px1 to Px4 to the floating diffusion FD, and transfers the signal charge photoelectrically converted by the four imaging pixels Px5 to Px8 to the floating diffusion FD1. ..
  • control unit 52 transfers the signal charges photoelectrically converted by the four imaging pixels Px9 to Px12 to the floating diffusion FD2, and transfers the signal charges photoelectrically converted by the four imaging pixels Px13 to Px16 to the floating diffusion FD3. .. Then, the control unit 52 transfers the signal charges transferred to the four floating diffusion FDs to FD3s to, for example, one separately provided charge holding region and adds them.
  • control unit 52 multiplies the amount of signal charge held in each of the four floating diffusion FDs to FD3 by the convolution coefficient of the second layer in CNN8 and transfers it to one charge holding region.
  • An example of a circuit configuration for multiplying the amount of signal charges held in the floating diffusion FDs to FD3 by the convolution coefficient of the second layer in CNN 8 will be described later with reference to FIG. 7.
  • control unit 52 can perform 4 ⁇ 4 Conv by analog processing.
  • One charge holding region is connected to the gate of the amplification transistor Amp (see FIG. 4).
  • the control unit 52 can make the ADC 4 read the pixel signal according to the result of 4 ⁇ 4 Conv by turning on the selection transistor Self (see FIG. 4).
  • FIG. 7 is an explanatory diagram showing an example of a circuit that performs 4 ⁇ 4 Conv according to the present disclosure.
  • the circuit configuration for multiplying the amount of the retained signal charge by the convolution coefficient of the second layer in CNN8 is the same.
  • FIG. 7 selectively illustrates the floating diffusion FD shared by the four imaging pixels Px1 to Px4, the reset transistor Rst, the amplification transistor Amp, the selection transistor Ser, and the imaging pixel Px1. Further, although not shown here, imaging pixels Px2 to Px4 are connected to the floating diffusion FD.
  • a variable capacitance C is connected between the floating diffusion FD and the ground.
  • the capacitance of the variable capacitance C changes, the sensitivity of the voltage to the amount of change in the electric charge transferred to the floating diffusion FD (amount of change in voltage: conversion efficiency of the floating diffusion FD) changes.
  • the conversion efficiency of the floating diffusion FD increases as the capacitance of the variable capacitance C decreases, and decreases as the capacitance increases. Therefore, the setting unit 51 sets the conversion efficiency of the floating diffusion FD to the conversion efficiency according to the convolution coefficient 61 of the second layer of the CNN 8 by changing the setting of the capacitance of the variable capacitance C.
  • the control unit 52 adds the signal charges transferred to a predetermined number of floating diffusions (here, four floating diffusions FD to FD3) arranged in two dimensions to perform the convolution process.
  • the control unit 52 can perform 4 ⁇ 4 Conv by analog processing by the image pickup unit 2.
  • the convolution processing of the third layer in the CNN is performed by analog processing, for example, the voltage corresponding to the result of four 4 ⁇ 4 Convs is amplified to twice the convolution coefficient of the third layer in the CNN, and the source follower is used. Add a circuit configuration to add by the adder circuit. This makes it possible to perform the convolution processing of the third layer in the CNN by analog processing.
  • the convolution process for the fourth and subsequent layers in CNN can also be realized by adding a similar circuit configuration.
  • FIG. 8 is a flowchart showing an example of the process executed by the controller 5 according to the present disclosure.
  • the controller 5 executes the process shown in FIG.
  • the setting unit 51 is activated when the power is turned on (step S101), and the convolution coefficient 61 is set in the register 7 (step S102). Subsequently, the setting unit 51 sets the exposure time of each imaging pixel (step S103).
  • control unit 52 starts the exposure control of each imaging pixel so that the exposure time of each imaging pixel becomes the exposure time set by the setting unit 51 (step S104), and the convolution processing result is obtained in the latter stage of the CNN 8. Output to the layer (step S105), and the process ends.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 9 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the imaging unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generating device, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, so that the driver can control the driver. It is possible to perform coordinated control for the purpose of automatic driving that runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs cooperative control for the purpose of antiglare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits the output signal of at least one of the audio and the image to the output device capable of visually or audibly notifying the passenger or the outside of the vehicle of the information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 10 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 has image pickup units 12101, 12102, 12103, 12104, 12105 as the image pickup unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100, for example.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the images in front acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 10 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 has a distance to each three-dimensional object within the imaging range 12111 to 12114 based on the distance information obtained from the imaging units 12101 to 12104, and a temporal change of this distance (relative velocity with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, electric poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 determines that the recognized pedestrian has a square contour line for emphasis.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to, for example, the image pickup unit 12031, the driver state detection unit 12041, and the like among the configurations described above.
  • the image pickup unit 2 and the like in FIG. 2 can be applied to the image pickup unit 12031 and the driver state detection unit 12041.
  • the technique according to the present disclosure may be applied to an endoscopic surgery system.
  • FIG. 11 is a diagram showing an example of a schematic configuration of an endoscopic surgery system to which the technique according to the present disclosure (the present technique) can be applied.
  • FIG. 11 shows a surgeon (doctor) 11131 performing surgery on patient 11132 on patient bed 11133 using the endoscopic surgery system 11000.
  • the endoscopic surgery system 11000 includes an endoscope 11100, other surgical tools 11110 such as an abdominal tube 11111 and an energy treatment tool 11112, and a support arm device 11120 that supports the endoscope 11100.
  • a cart 11200 equipped with various devices for endoscopic surgery.
  • the endoscope 11100 is composed of a lens barrel 11101 in which a region having a predetermined length from the tip is inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the base end of the lens barrel 11101.
  • the endoscope 11100 configured as a so-called rigid mirror having a rigid barrel 11101 is illustrated, but the endoscope 11100 may be configured as a so-called flexible mirror having a flexible barrel. Good.
  • An opening in which an objective lens is fitted is provided at the tip of the lens barrel 11101.
  • a light source device 11203 is connected to the endoscope 11100, and the light generated by the light source device 11203 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 11101 to be an objective. It is irradiated toward the observation target in the body cavity of the patient 11132 through the lens.
  • the endoscope 11100 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 11102, and the reflected light (observation light) from the observation target is focused on the image sensor by the optical system.
  • the observation light is photoelectrically converted by the image sensor, and an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted as RAW data to the camera control unit (CCU: Camera Control Unit) 11201.
  • CCU Camera Control Unit
  • the CCU11201 is composed of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls the operations of the endoscope 11100 and the display device 11202. Further, the CCU 11201 receives an image signal from the camera head 11102, and performs various image processes on the image signal for displaying an image based on the image signal, such as development processing (demosaic processing).
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the display device 11202 displays an image based on the image signal processed by the CCU 11201 under the control of the CCU 11201.
  • the light source device 11203 is composed of, for example, a light source such as an LED (Light Emitting Diode), and supplies irradiation light to the endoscope 11100 when photographing an operating part or the like.
  • a light source such as an LED (Light Emitting Diode)
  • LED Light Emitting Diode
  • the input device 11204 is an input interface for the endoscopic surgery system 11000.
  • the user can input various information and input instructions to the endoscopic surgery system 11000 via the input device 11204.
  • the user inputs an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 11100.
  • the treatment tool control device 11205 controls the drive of the energy treatment tool 11112 for cauterizing, incising, sealing a blood vessel, or the like of a tissue.
  • the pneumoperitoneum device 11206 uses gas in the pneumoperitoneum tube 11111 to inflate the body cavity of the patient 11132 for the purpose of securing the field of view by the endoscope 11100 and securing the work space of the operator.
  • the recorder 11207 is a device capable of recording various information related to surgery.
  • the printer 11208 is a device capable of printing various information related to surgery in various formats such as texts, images, and graphs.
  • the light source device 11203 that supplies the irradiation light to the endoscope 11100 when photographing the surgical site can be composed of, for example, an LED, a laser light source, or a white light source composed of a combination thereof.
  • a white light source is configured by combining RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Therefore, the light source device 11203 adjusts the white balance of the captured image. It can be carried out.
  • the laser light from each of the RGB laser light sources is irradiated to the observation target in a time-divided manner, and the drive of the image sensor of the camera head 11102 is controlled in synchronization with the irradiation timing to support each of RGB. It is also possible to capture the image in a time-divided manner. According to this method, a color image can be obtained without providing a color filter on the image sensor.
  • the drive of the light source device 11203 may be controlled so as to change the intensity of the output light at predetermined time intervals.
  • the drive of the image sensor of the camera head 11102 in synchronization with the timing of the change of the light intensity to acquire an image in time division and synthesizing the image, so-called high dynamic without blackout and overexposure. Range images can be generated.
  • the light source device 11203 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue to irradiate light in a narrow band as compared with the irradiation light (that is, white light) in normal observation, the mucosal surface layer.
  • a so-called narrow band imaging is performed in which a predetermined tissue such as a blood vessel is photographed with high contrast.
  • fluorescence observation in which an image is obtained by fluorescence generated by irradiating with excitation light may be performed.
  • the body tissue is irradiated with excitation light to observe the fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and the body tissue is injected. It is possible to obtain a fluorescence image by irradiating excitation light corresponding to the fluorescence wavelength of the reagent.
  • the light source device 11203 may be configured to be capable of supplying narrow band light and / or excitation light corresponding to such special light observation.
  • FIG. 12 is a block diagram showing an example of the functional configuration of the camera head 11102 and CCU11201 shown in FIG.
  • the camera head 11102 includes a lens unit 11401, an imaging unit 11402, a driving unit 11403, a communication unit 11404, and a camera head control unit 11405.
  • CCU11201 has a communication unit 11411, an image processing unit 11412, and a control unit 11413.
  • the camera head 11102 and CCU11201 are communicatively connected to each other by a transmission cable 11400.
  • the lens unit 11401 is an optical system provided at a connection portion with the lens barrel 11101.
  • the observation light taken in from the tip of the lens barrel 11101 is guided to the camera head 11102 and incident on the lens unit 11401.
  • the lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the image pickup unit 11402 is composed of an image pickup element.
  • the image sensor constituting the image pickup unit 11402 may be one (so-called single plate type) or a plurality (so-called multi-plate type).
  • each image pickup element may generate an image signal corresponding to each of RGB, and a color image may be obtained by synthesizing them.
  • the image pickup unit 11402 may be configured to have a pair of image pickup elements for acquiring image signals for the right eye and the left eye corresponding to 3D (Dimensional) display, respectively.
  • the 3D display enables the operator 11131 to more accurately grasp the depth of the biological tissue in the surgical site.
  • a plurality of lens units 11401 may be provided corresponding to each image pickup element.
  • the imaging unit 11402 does not necessarily have to be provided on the camera head 11102.
  • the image pickup unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
  • the drive unit 11403 is composed of an actuator, and the zoom lens and the focus lens of the lens unit 11401 are moved by a predetermined distance along the optical axis under the control of the camera head control unit 11405. As a result, the magnification and focus of the image captured by the imaging unit 11402 can be adjusted as appropriate.
  • the communication unit 11404 is composed of a communication device for transmitting and receiving various information to and from the CCU11201.
  • the communication unit 11404 transmits the image signal obtained from the image pickup unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400.
  • the communication unit 11404 receives a control signal for controlling the drive of the camera head 11102 from the CCU 11201 and supplies the control signal to the camera head control unit 11405.
  • the control signal includes, for example, information to specify the frame rate of the captured image, information to specify the exposure value at the time of imaging, and / or information to specify the magnification and focus of the captured image. Contains information about the condition.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus may be appropriately specified by the user, or may be automatically set by the control unit 11413 of the CCU 11201 based on the acquired image signal. Good. In the latter case, the so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function are mounted on the endoscope 11100.
  • AE Auto Exposure
  • AF Automatic Focus
  • AWB Auto White Balance
  • the camera head control unit 11405 controls the drive of the camera head 11102 based on the control signal from the CCU 11201 received via the communication unit 11404.
  • the communication unit 11411 is composed of a communication device for transmitting and receiving various information to and from the camera head 11102.
  • the communication unit 11411 receives an image signal transmitted from the camera head 11102 via the transmission cable 11400.
  • the communication unit 11411 transmits a control signal for controlling the drive of the camera head 11102 to the camera head 11102.
  • Image signals and control signals can be transmitted by telecommunications, optical communication, or the like.
  • the image processing unit 11412 performs various image processing on the image signal which is the RAW data transmitted from the camera head 11102.
  • the control unit 11413 performs various controls related to the imaging of the surgical site and the like by the endoscope 11100 and the display of the captured image obtained by the imaging of the surgical site and the like. For example, the control unit 11413 generates a control signal for controlling the drive of the camera head 11102.
  • control unit 11413 causes the display device 11202 to display an image captured by the surgical unit or the like based on the image signal processed by the image processing unit 11412.
  • the control unit 11413 may recognize various objects in the captured image by using various image recognition techniques. For example, the control unit 11413 detects the shape and color of the edge of an object included in the captured image to remove surgical tools such as forceps, a specific biological part, bleeding, and mist when using the energy treatment tool 11112. Can be recognized.
  • the control unit 11413 may superimpose and display various surgical support information on the image of the surgical unit by using the recognition result. By superimposing and displaying the operation support information and presenting it to the operator 11131, it is possible to reduce the burden on the operator 11131 and to allow the operator 11131 to proceed with the operation reliably.
  • the transmission cable 11400 that connects the camera head 11102 and CCU11201 is an electric signal cable that supports electrical signal communication, an optical fiber that supports optical communication, or a composite cable thereof.
  • the communication was performed by wire using the transmission cable 11400, but the communication between the camera head 11102 and the CCU11201 may be performed wirelessly.
  • the above is an example of an endoscopic surgery system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to the imaging unit 11402 and the like of the camera head 11102 among the configurations described above.
  • the imaging unit 2 and the like in FIG. 2 can be applied to the imaging unit 11402.
  • the technique according to the present disclosure to the image pickup unit 11402, for example, it is possible to reduce the processing load of various object recognition processes in the captured image.
  • the technique according to the present disclosure may be applied to other, for example, a microscopic surgery system.
  • the information processing device 1 has a setting unit 51 and a control unit 52.
  • the setting unit 51 sets the exposure time of each of the imaging pixels Px1 to Px4 in the imaging unit 2 including the plurality of imaging pixels Px1 to Px4 arranged in two dimensions to the exposure time corresponding to the convolution coefficient 61 of the first layer of the CNN8. To do.
  • the control unit 52 transfers the signal charge from the exposed imaging pixels Px1 to Px4 to the floating diffusion FD to perform the convolution process.
  • the information processing apparatus 1 can perform the convolution processing of the first layer in the CNN 8 by the analog processing by the imaging unit 2, so that the processing load of the convolution processing can be reduced.
  • the setting unit 51 sets the exposure start timing of each of the imaging pixels Px1 to Px4 to different timings according to the convolution coefficient 61 of the first layer, and sets the transfer timing of the signal charge from all the imaging pixels to the floating diffusion FD. Set at the same timing.
  • the information processing apparatus 1 can simplify the signal charge reading control by simultaneously transferring and reading the signal charge from the predetermined number of imaging pixels Px1 to Px4 sharing the floating diffusion FD to the floating diffusion FD. it can.
  • the floating diffusion FD is shared by a predetermined number of image sensors.
  • the setting unit 51 sets the conversion efficiency of each of the plurality of floating diffusions to the conversion efficiency corresponding to the convolution coefficient 61 of the second layer of the CNN8.
  • the control unit adds the signal charges transferred to a predetermined number of floating diffusions arranged in two dimensions to perform the convolution process.
  • the information processing apparatus 1 can perform the convolution processing of the second layer in the CNN 8 by the analog processing by the imaging unit 2, so that the processing load of the convolution processing can be reduced.
  • the information processing device 1 includes a storage unit 6 that stores the convolution coefficient 61 of the CNN 8.
  • the control unit 52 causes the image pickup unit 2 to perform the convolution process based on the convolution coefficient 61 stored in the storage unit 6.
  • the information processing apparatus 1 can perform the convolution processing in various different CNNs 8 by the analog processing by the imaging unit 2 by changing the convolution weight coefficient stored in the storage unit 6.
  • control unit 52 outputs a signal corresponding to the result of the convolution process from the image pickup unit to the subsequent layer in the CNN 8.
  • the information processing apparatus 1 can reduce the amount of arithmetic processing performed in the subsequent layer of the CNN 8.
  • the computer sets the exposure time of each imaging pixel in the imaging unit including a plurality of imaging pixels arranged in two dimensions to the exposure time according to the convolution coefficient of the first layer of CNN8. This includes transferring the signal charge from the exposed imaging pixel to the floating diffusion to perform the convolution process.
  • the convolution processing of the first layer in the CNN 8 can be performed by analog processing by the imaging unit 2, so that the processing load of the convolution processing can be reduced.
  • the information processing program sets the exposure time of each imaging pixel in the imaging unit including a plurality of imaging pixels arranged in two dimensions to the exposure time according to the convolution coefficient of the first layer of CNN8. Then, the signal charge is transferred from the exposed image pickup pixel to the floating diffusion to function as a control unit for performing the convolution process.
  • the convolution processing of the first layer in the CNN 8 can be performed by analog processing by the imaging unit 2, so that the processing load of the convolution processing can be reduced.
  • the present technology can also have the following configurations.
  • a setting unit that sets the exposure time of each of the imaging pixels in an imaging unit having a plurality of imaging pixels arranged two-dimensionally according to the convolution coefficient of the first layer of the CNN, and a setting unit.
  • a control unit that transfers signal charges from the exposed imaging pixels to the floating diffusion to perform convolution processing.
  • the setting unit The exposure start timing of each of the imaging pixels is set to a different timing according to the convolution coefficient of the first layer, and the transfer timing of the signal charge from all the imaging pixels to the floating diffusion is set to the same timing.
  • the floating diffusion is Shared by a predetermined number of the image sensors
  • the setting unit The conversion efficiency of each of the plurality of floating diffusions is set to the conversion efficiency according to the convolution coefficient of the second layer of CNN.
  • the control unit The convolution process is performed by adding the signal charges transferred to the predetermined number of floating diffusions arranged in two dimensions.
  • the information processing device according to (1) or (2) above.
  • the control unit Based on the convolution coefficient stored in the storage unit, the image pickup unit performs the convolution process.
  • the information processing device according to any one of (1) to (3) above.
  • the control unit A signal corresponding to the result of the convolution process is output from the imaging unit to the subsequent layer in the CNN.
  • the information processing device according to any one of (1) to (4) above.
  • the computer The exposure time of each of the imaging pixels in the imaging unit including a plurality of imaging pixels arranged in two dimensions is set to the exposure time according to the convolution coefficient of the first layer of the CNN.
  • the convolution process is performed by transferring the signal charge from the exposed imaging pixel to the floating diffusion.
  • Information processing methods including.
  • a control unit that transfers signal charges from the exposed imaging pixels to the floating diffusion to perform convolution processing.
  • An information processing program to function as.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

ＣＮＮ（Convolutional　Neural　Network）における畳み込み処理の処理負荷を低減することができる情報処理装置、情報処理方法、および情報処理プログラムを提供する。本開示に係る情報処理装置（１）は、設定部（５１）と、制御部（５２）とを有する。設定部（５１）は、２次元に配列される複数の撮像画素を備える撮像部（２）における各撮像画素の露光時間をＣＮＮの１層目の畳み込み係数に応じた露光時間に設定する。制御部（５２）は、露光させた撮像画素からフローティングディフュージョン（ＦＤ）へ信号電荷を転送させて畳み込み処理を行わせる。

Description

情報処理装置、情報処理方法、および情報処理プログラム
　本開示は、情報処理装置、情報処理方法、および情報処理プログラムに関する。
　画像データをＣＮＮ（Convolutional　Neural　Network）へ入力し、画像に対して畳み込み処理およびプーリング処理を繰り返して画像の特徴量を抽出し、後段の全結合層によって特徴量から画像を分類する画像分類装置がある（例えば、特許文献１参照）。
特開２０１８－００５６３９号公報
　しかしながら、ＣＮＮでは、対象の画素に対して、その周囲の画素を複数使って畳み込み処理を行い、その処理は、必要な領域すべてに対して必要なため、畳み込み処理に要する処理負荷が非常に大きい。
　そこで、本開示では、ＣＮＮにおける畳み込み処理の処理負荷を低減することができる情報処理装置、情報処理方法、および情報処理プログラムを提案する。
　本開示によれば、情報処理装置が提供される。情報処理装置は、設定部と、制御部とを有する。設定部は、２次元に配列される複数の撮像画素を備える撮像部における各前記撮像画素の露光時間をＣＮＮの１層目の畳み込み係数に応じた露光時間に設定する。制御部は、露光させた前記撮像画素から前記フローティングディフュージョンへ信号電荷を転送させて畳み込み処理を行わせる。
本開示に係るＣＮＮの概要説明図である。 本開示に係る情報処理装置の構成の一例を示すブロック図である。 本開示に係る２×２Ｃｏｎｖの説明図である。 本開示に係る２×２Ｃｏｎｖを行う回路の一例を示す説明図である。 本開示に係る２×２Ｃｏｎｖにおける露光および読出しタイミングの説明図である。 本開示に係る４×４Ｃｏｎｖの説明図である。 本開示に係る４×４Ｃｏｎｖを行う回路の一例を示す説明図である。 本開示に係るコントローラが実行する処理の一例を示すフローチャートである。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
［１．ＣＮＮの概要］
　まず、図１を参照し、ＣＮＮ（Convolutional　Neural　Network）の概要について説明する。図１は、本開示に係るＣＮＮの概要説明図である。
　ＣＮＮは、畳み込み（Convolution）処理と、ＤＮＮ（Deep　Neural　Network）とを組み合わせた機械学習モデルである。図１に示すように、ＣＮＮは、大きく分けて前段の特徴量抽出層と、後段の全結合層とを備える。
　特徴量抽出層は、画像データＩｍｇが入力されると、所定数の撮像画素毎にフィルタ処理を行って１つの画素に縮退させ、畳み込み処理を行うことによって、画像データの特徴量の分布を示す特徴量マップＩｍｇ１を生成する。
　図１に示すように、ＣＮＮには、２次元（行列状）に配列される複数の撮像画素によって形成される画像データＩｍｇが入力される。ＣＮＮは、例えば、２×２畳み込み処理（以下、「２×２Ｃｏｎｖ」と記載する）を行う場合、まず、画像データＩｍｇにおける左上の４つの撮像画素に対してフィルタＦｔを適用して特徴量を抽出して１つの縮退画素Ｕｎ１に変換する。
　このとき、ＣＮＮは、４つの撮像画素の各ピクセル値に、予め機械学習によって取得された畳み込み係数を乗算し、乗算後の４つの撮像画素のピクセル値を加算することによって、縮退画素Ｕｎ１の特徴量を算出する。
　ここでの、ピクセル値は、各撮像画素に対応する光電変換素子が画像を撮像したときの受光量に応じたアナログの電圧値をデジタル値に変換した値である。かかる所定数の撮像画素を特徴量が含まれる１つの縮退画素Ｕｎ１にする処理が畳み込み処理である。
　続いて、ＣＮＮは、フィルタＦｔの適用位置を２画素分横方向へずらして、畳み込み処理を行い、フィルタＦｔを適用した４つの撮像画素を１つの縮退画素Ｕｎ２に変換する。
　さらに、ＣＮＮは、フィルタＦｔの適用位置をさらに２画素分横方向へずらして、畳み込み処理を行い、フィルタＦｔを適用した４つの撮像画素を１つの縮退画素Ｕｎ３に変換する。そして、ＣＮＮは、画像データＩｍｇに含まれる全ての撮像画素について、畳み込み処理を行って、特徴量マップＩｍｇ１を生成する。
　その後、ＣＮＮは、特徴量マップＩｍｇ１に対してプーリング処理を行う。プーリング処理では、ＣＮＮは、例えば、特徴量マップＩｍｇ１に含まれる所定数の縮退画素（例えば、縦×横：２×２）毎に、特徴量が最大の縮退画素を選択する。
　そして、ＣＮＮは、選択した縮退画素によって、さらに特徴量を抽出して縮退させた特徴量マップＩｍｇ２を生成し、特徴量マップＩｍｇ２の各画素の特徴量を後段の全結合層へ入力して、全結合層によって特徴量から画像を分類する。
　上記のように、ＣＮＮでは、まず、入力される画像データＩｍｇの全ての撮像画素のピクセル値に対して畳み込み係数を乗算し、畳み込み係数が乗算されたピクセル値を所定数の撮像画素毎に加算して畳み込み処理を行う。
　このため、ＣＮＮでは、例えば、数百万画素の画像データが入力される場合、畳み込み処理を行うための積和演算の計算量が膨大となり、処理負荷が増大する。そこで、本開示に係る情報処理装置は、ＣＮＮにおける特徴量抽出層で行う畳み込み処理を、画像を撮像する撮像部によるアナログ処理によって行うことにより、ＣＮＮにおける畳み込み処理の処理負荷を低減する。
［２．情報処理装置の構成］
　図２は、本開示に係る情報処理装置の構成の一例を示すブロック図である。情報処理装置１は、例えば、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサであり、撮像する画像に対して、ＣＮＮにおける１層目の畳み込み処理、または、２層目までの畳み込み処理をアナログ処理によって行う。そして、情報処理装置１は、畳み込み処理の結果に応じた信号をＣＮＮ８における後段の層へ出力する。なお、ここでは、情報処理装置１がＣＮＮにおける１層目または２層目の畳み込み処理を行う場合について説明するが、情報処理装置１は、ＣＮＮにおける３層目以降の畳み込み処理を行うように構成することも可能である。
　これにより、ＣＮＮ８は、１層目の畳み込み処理、または、２層目の畳み込み処理を行うことなく、プーリング処理や全結合層の処理を行うことによって画像の分類結果を出力することができる。これにより、情報処理装置１は、ＣＮＮ８における畳み込み処理の処理負荷を低減することができる。
　具体的には、図２に示すように、情報処理装置１は、撮像部２と、垂直走査回路３と、ＡＤＣ（アナログ／デジタルコンバータ）４と、コントローラ５と、記憶部６と、レジスタ７とを備える。
　撮像部２は、２次元に配列される複数の撮像画素と、所定数の撮像画素によって共用されるフローティングディフュージョンとを備える。各撮像画素は、撮像画像の各画素に対応して設けられるフォトダイオードを備えており、受光する光を受光量に応じた信号電荷に光電変換する。フローティングディフュージョンは、フォトダイオードから転送される信号電荷を一時的に保持する電荷保持領域である。
　垂直走査回路３は、コントローラ５によって制御され、各撮像画素の露光、信号電荷のフローティングディフュージョンへの転送、フローティングディフュージョンからＡＤＣ４への画素信号の読み出し等を行う。ＡＤＣ４は、撮像部２から入力されるアナログの画素信号をデジタルの画素信号に変換してＣＮＮ８へ出力する。
　コントローラ５は、例えば、ＣＰＵ（Central　Processing　Unit）、ＲＯＭ（Read　Only　Memory）、ＲＡＭ（Random　Access　Memory）などを有するマイクロコンピュータや各種の回路を含む。コントローラ５は、ＣＰＵがＲＯＭに記憶された情報処理プログラムを、ＲＡＭを作業領域として使用して実行することにより機能する設定部５１と、制御部５２とを備える。
　記憶部６は、例えば、フラッシュメモリ等の記憶デバイスであり、予め機械学習によって取得されたＣＮＮ８の畳み込み係数６１を記憶する。レジスタ７には、コントローラ５によって記憶部６から読み出される畳み込み係数６１がセットされる。
　なお、コントローラ５が備える設定部５１および制御部５２は、一部または全部がＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等のハードウェアで構成されてもよい。
　コントローラ５が備える設定部５１および制御部５２は、それぞれ以下に説明する情報処理の作用を実現または実行する。なお、コントローラ５の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
　設定部５１は、撮像部２によって画像を撮像させる場合に、記憶部６から畳み込み係数６１を読み出してレジスタ７にセットし、撮像部２における各撮像画素の露光時間をＣＮＮ８の１層目の畳み込み係数６１に応じた露光時間に設定する。
　このとき、設定部５１は、撮像画素の露光開始タイミングをＣＮＮ８の１層目の畳み込み係数６１に応じた異なるタイミングに設定し、全ての撮像画素からフローティングディフュージョンへの信号電荷の転送タイミングを同一のタイミングに設定する。かかる露光および転送タイミングの一例については、図５を参照して後述する。
　制御部５２は、設定部５１によって設定された露光開始タイミングおよび露光時間に基づいて各撮像画素を露光させて撮像部２に画像を撮像させる。これにより、畳み込み係数６１が大きい撮像画素ほど、露光時間が長くなるので、光電変換される信号電荷の量が大きくなる。
　その結果、各撮像画素によって光電変換される信号電荷量（アナログ値）は、全撮像画素の露光時間が同一である場合の信号電荷量を畳み込み係数倍した信号電荷量になる。かかる撮像処理は、各撮像画素のピクセル値（デジタル値）に畳み込み係数６１を乗算する演算処理と実質的に同一の処理である。
　そして、制御部５２は、設定部５１によって設定された転送タイミングに基づいて、フローティングディフュージョンを共用する所定数の撮像画素からフローティングディフュージョンへ信号電荷を転送させる。
　かかる転送処理は、畳み込み係数６１が乗算された所定数の撮像画素のピクセル値を加算する演算処理と実質的に同一の処理である。つまり、上記した一連の処理は、ＣＮＮ８の１層目の畳み込み処理と実質的に同一の処理となる。
　その後、制御部５２は、各フローティングディフュージョンに転送された信号電荷を撮像部２からＡＤＣ４へ画素信号として順次読み出させる。ＡＤＣ４は、撮像部２から入力されるアナログの画素信号をデジタルの画素信号に変換してＣＮＮ８へ出力する。
　これにより、ＣＮＮ８は、畳み込み処理済みの画素信号について、１層目の畳み込み処理を行うことなく、プーリング処理や全結合層の処理を行うことによって画像の分類結果を出力することができる。
［３．２×２Ｃｏｎｖ］
　次に、図３を参照し、本開示に係る２×２Ｃｏｎｖの具体例について説明する。図３は、本開示に係る２×２Ｃｏｎｖの説明図である。図３に示すように、撮像部２では、縦横に隣接する４つの撮像画素Ｐｘ１～Ｐｘ４によって１つフローティングディフュージョンＦＤが共用される。
　かかる構成の場合、設定部５１は、例えば、撮像部２における左上隅の４つの撮像画素Ｐｘ１～Ｐｘ４から順に、ＣＮＮ８における１層目の畳み込み係数６１に応じた露光時間を設定する。図３に示す例では、撮像画素Ｐｘ１には、０．９（ｍｓｅｃ）の露光時間が設定され、撮像画素Ｐｘ２には、０．５（ｍｓｅｃ）の露光時間が設定されている。撮像画素Ｐｘ３には、０．３（ｍｓｅｃ）の露光時間が設定され、撮像画素Ｐｘ４には、１（ｍｓｅｃ）の露光時間が設定されている。
　制御部５２は、設定部５１によって設定された露光時間となるように、４つの撮像画素Ｐｘ１～Ｐｘ４を露光させ、その後、４つの撮像画素Ｐｘ１～Ｐｘ４からフローティングディフュージョンＦＤへ信号電荷を転送させる。そして、制御部５２は、フローティングディフュージョンＦＤからＡＤＣ４へ信号電荷を画素信号として読み出させる。
　制御部５２は、かかる一連の撮像処理を撮像部２の全撮像画素について行う。これにより、制御部５２は、１フレームの画像全体について、ＣＮＮ８の１層目の畳み込み処理を完了することができる。なお、ここでは、４つの撮像画素Ｐｘ１～Ｐｘ４から共用のフローティングディフュージョンＦＤへ信号電荷を転送することで信号電荷の加算を行ったが、４つの撮像画素Ｐｘ１～Ｐｘ４のそれぞれにフローティングディフュージョンを設け、ソースフォロワ加算回路によって信号電荷の加算を行ってもよい。
［４．２×２Ｃｏｎｖを行う回路構成］
　次に、図４を参照し、２×２Ｃｏｎｖを可能とする回路の1例について説明する。図４は、本開示に係る２×２Ｃｏｎｖを行う回路の一例を示す説明図である。図４には、一つのフローティングディフュージョンＦＤを共用する４つの撮像画素Ｐｘ１～Ｐｘ４を示している。
　図４に示すように、撮像画素Ｐｘ１は、フォトダイオードＰｄ１ａと、転送トランジスタＴｒ１と、シャッタトランジスタＳｈ１とを備える。撮像画素Ｐｘ２は、フォトダイオードＰｄ２と、転送トランジスタＴｒ２と、シャッタトランジスタＳｈ２とを備える。
　また、撮像画素Ｐｘ３は、フォトダイオードＰｄ３と、転送トランジスタＴｒ３と、シャッタトランジスタＳｈ３とを備える。撮像画素Ｐｘ４は、フォトダイオードＰｄ４と、転送トランジスタＴｒ４と、シャッタトランジスタＳｈ４とを備える。
　４つの撮像画素Ｐｘ１～Ｐｘ４は、リセットトランジスタＲｓｔ、増幅トランジスタＡｍｐ、選択トランジスタＳｅｌ、およびフローティングディフュージョンＦＤを共有する。このため、フォトダイオードＰｄ１～Ｐｄ４は、転送トランジスタＴｒ１～Ｔｒ４をそれぞれ介して、フローティングディフュージョンＦＤに接続されている。フローティングディフュージョン７６は、リセット信号ＲＳＴに応じてリセットトランジスタＲｓｔがＯＮになると、所定の基準電位ＶＤＤにクランプされてリセットされる。
　撮像画素Ｐｘ１は、転送信号ＴＧ１に応じて転送トランジスタＴｒ１がＯＮになると、フォトダイオードＰｄ１によって光電変換された信号電荷をフローティングディフュージョンＦＤに転送する。
　撮像画素Ｐｘ２は、転送信号ＴＧ２に応じて転送トランジスタＴｒ２がＯＮになると、フォトダイオードＰｄ２によって光電変換された信号電荷をフローティングディフュージョンＦＤに転送する。
　撮像画素Ｐｘ３は、転送信号ＴＧ３に応じて転送トランジスタＴｒ３がＯＮになると、フォトダイオードＰｄ３によって光電変換された信号電荷をフローティングディフュージョンＦＤに転送する。
　撮像画素Ｐｘ４は、転送信号ＴＧ４に応じて転送トランジスタＴｒ４がＯＮになると、フォトダイオードＰｄ４によって光電変換された信号電荷をフローティングディフュージョンＦＤに転送する。
　これにより、フローティングディフュージョンＦＤには、４つの撮像画素Ｐｘ１～Ｐｘ４によって光電変換された信号電荷が加算されて蓄積される。そして、選択信号ＳＥＬに応じて選択トランジスタＳｅｌがＯＮになると、フローティングディフュージョンＦＤに蓄積された信号電荷に応じた画素信号が垂直信号線ＶＳＬに出力される。
　かかる４つの撮像画素Ｐｘ１～Ｐｘ４によって２×２Ｃｏｎｖを行う場合には、まず、フローティングディフュージョンＦＤをリセットし、４つのシャッタトランジスタＳｈ１～Ｓｈ４を全てＯＮにする。これにより、４つのフォトダイオードＰｄ１～Ｐｄ４によって光電変換された信号電荷がリセットされた状態になる。
　その後、４つの撮像画素Ｐｘ１～Ｐｘ４を畳み込み係数６１に応じた時間だけ露光させる。具体的には、露光時間が長い撮像画素Ｐｘ１～Ｐｘ４ほど早くシャッタトランジスタＳｈ１～Ｓｈ４を順次ＯＦＦにする。その後、４つのシャッタトランジスタＳｈ１～Ｓｈ４を同時にＯＮにする。
　このとき、予め各撮像画素Ｐｘ１～Ｐｘ４の時間が畳み込み係数６１に応じた時間となるように、設定部５１によって４つのシャッタトランジスタＳｈ１～Ｓｈ４をＯＮにするタイミングを設定しておく。これにより、４つの撮像画素Ｐｘ１～Ｐｘ４を畳み込み係数６１に応じた時間だけ露光させることができる。
　そして、４つのシャッタトランジスタＳｈ１～Ｓｈ４をＯＮにすると同時に、４つの転送トランジスタＴｒ１～Ｔｒ４を同時にＯＮにする。これにより、撮像部２では、４つの撮像画素Ｐｘ１～Ｐｘ４からフローティングディフュージョンＦＤへ信号電荷が転送されるので、２×２Ｃｏｎｖを行うことができる。
［５．露光タイミング］
　次に、図５を参照し、各撮像画素の露光および読出しタイミングについて説明する。図５は、本開示に係る２×２Ｃｏｎｖにおける露光および読出しタイミングの説明図である。ここでは、図５における左上に示す２列×４行に配列される（１）～（８）の８つの撮像画素に対して２×２Ｃｏｎｖを行う場合について説明する。
　図５に示すように、２×２Ｃｏｎｖを行う場合、設定部５１は、まず、撮像画素（１）～（８）毎に、露光時間を設定する（ステップＳ１）。図５に示す例では、設定部５１は、撮像画素（１）の露光時間を１［ｍｓｅｃ］、撮像画素（２）の露光時間を０．５［ｍｓｅｃ］、撮像画素（３）の露光時間を０．２［ｍｓｅｃ］、撮像画素（４）の露光時間を０．７［ｍｓｅｃ］に設定する。
　また、設定部５１は、撮像画素（５）の露光時間を１［ｍｓｅｃ］、撮像画素（６）の露光時間を０．５［ｍｓｅｃ］、撮像画素（７）の露光時間を０．２［ｍｓｅｃ］、撮像画素（８）の露光時間を０．７［ｍｓｅｃ］に設定する。
　さらに、設定部５１は、４つの撮像画素（１）～（４），（５）～（８）をそれぞれ１つのユニットとして設定し、各ユニットに含まれる４つの撮像画素（１）～（４），（５）～（８）から信号電荷を読み出すタイミングを設定する。
　このとき、設定部５１は、４つの撮像画素（１）～（４）の読出しタイミングを同一タイミングに設定し、読出しタイミングから逆算して、撮像画素（１）～（４）の露光時間が設定した露光時間となるように露光開始タイミングを設定する。
　また、設定部５１は、次のユニットに含まれる４つの撮像画素（５）～（８）についても同様に、露光開始タイミングと読出しタイミングを設定する。ただし、設定部５１は、撮像画素（５）～（８）の読出しタイミングを、撮像画素（１）～（４）の読出しタイミングから、ＡＤＣ４によるアナログデジタル変換１回分遅らせる。
　そして、制御部５２は、設定部５１によって設定された露光時間に応じて順次露光を開始させる（ステップＳ２）。制御部５２は、まず、撮像画素（１）の露光を開始（ＳＨ）させる。その後、制御部５２は、撮像画素（１）の露光を開始から、０．３［ｍｓｅｃ］後に撮像画素（４）の露光を開始させ、０．５［ｍｓｅｃ］後に撮像画素（２）の露光を開始させ、０．８［ｍｓｅｃ］後に撮像画素（３）の露光を開始させる。
　そして、制御部５２は、撮像画素（１）の露光開始から、１［ｍｓｅｃ］後に、４つの撮像画素（１）～（４）から共用されるフローティングディフュージョンへ同時に信号電荷の読み出しを行わせる。これにより、制御部５２は、４つの撮像画素（１）～（４）について、アナログ処理による２×２Ｃｏｎｖを行うことができる。
　また、制御部５２は、撮像画素（１）の露光を開始から、ＡＤＣ４によるアナログデジタル変換１回分遅らせたタイミングで、撮像画素（５）の露光を開始させる。その後、制御部５２は、撮像画素（５）の露光を開始から、０．３［ｍｓｅｃ］後に撮像画素（８）の露光を開始させ、０．５［ｍｓｅｃ］後に撮像画素（６）の露光を開始させ、０．８［ｍｓｅｃ］後に撮像画素（７）の露光を開始させる。
　そして、制御部５２は、撮像画素（５）の露光開始から、１［ｍｓｅｃ］後に、４つの撮像画素（５）～（８）から共用されるフローティングディフュージョンへ同時に信号電荷の読み出しを行わせる。
　つまり、制御部５２は、次のユニットを読み出す時は、タイミングをＡＤ（アナログデジタル変換）１回分遅らせる（ステップＳ３）。これにより、ＡＤＣ４は、フローティングディフュージョンから読み出される信号電荷を順次アナログデジタル変換することができる。また、制御部５２は、４つの撮像画素（５）～（８）について、アナログ処理による２×２Ｃｏｎｖを行うことができる。
［６．４×４Ｃｏｎｖ］
　次に、図５を参照し、本開示に係る４×４Ｃｏｎｖの具体例について説明する。図６は、本開示に係る４×４Ｃｏｎｖの説明図である。コントローラ５は、まず、縦横に隣接する４つの撮像画素毎に２×２Ｃｏｎｖを行い、４つの２×２Ｃｏｎｖの結果について、２×２Ｃｏｎｖを行うことによって、４×４Ｃｏｎｖを行う。
　具体的には、図６に示すように、設定部５１は、まず、縦横４×４の１６の各撮像画素Ｐｘ１～Ｐｘ８に対して露光時間を設定する。その後、制御部５２は、１６の各撮像画素Ｐｘ１～Ｐｘ８を設定された露光時間によって露光させる。
　そして、制御部５２は、縦横２×２の４つの撮像画素毎に、２×２Ｃｏｎｖを行う。例えば、制御部５２は、４つの撮像画素Ｐｘ１～Ｐｘ４によって光電変換された信号電荷をフローティングディフュージョンＦＤに転送し、４つの撮像画素Ｐｘ５～Ｐｘ８によって光電変換された信号電荷をフローティングディフュージョンＦＤ１に転送する。
　さらに、制御部５２は、４つの撮像画素Ｐｘ９～Ｐｘ１２によって光電変換された信号電荷をフローティングディフュージョンＦＤ２に転送し、４つの撮像画素Ｐｘ１３～Ｐｘ１６によって光電変換された信号電荷をフローティングディフュージョンＦＤ３に転送する。そして、制御部５２は、４つのフローティングディフュージョンＦＤ～ＦＤ３に転送された信号電荷を、例えば、別途設けられる１つの電荷保持領域へ転送して加算する。
　このとき、制御部５２は、４つの各フローティングディフュージョンＦＤ～ＦＤ３に保持される信号電荷の電荷量をＣＮＮ８における２層目の畳み込み係数倍して、１つの電荷保持領域へ転送する。なお、フローティングディフュージョンＦＤ～ＦＤ３に保持される信号電荷の電荷量をＣＮＮ８における２層目の畳み込み係数倍にする回路構成の一例については、図７を参照して後述する。
　これにより、制御部５２は、アナログ処理によって４×４Ｃｏｎｖを行うことができる。なお、１つの電荷保持領域は、増幅トランジスタＡｍｐ（図４参照）のゲートに接続される。これにより、制御部５２は、選択トランジスタＳｅｌ（図４参照）をＯＮにすることによって、４×４Ｃｏｎｖの結果に応じた画素信号をＡＤＣ４へ読み出させることができる。
［７．４×２Ｃｏｎｖを行う回路構成］
　次に、図７を参照し、４×４Ｃｏｎｖを可能とする回路の１例について説明する。図７は、本開示に係る４×４Ｃｏｎｖを行う回路の一例を示す説明図である。なお、各フローティングディフュージョンＦＤ～ＦＤ３において、保持される信号電荷の電荷量をＣＮＮ８における２層目の畳み込み係数倍にする回路構成は同一である。
　このため、ここでは、図４および図６に示すフローティングディフュージョンＦＤに保持される信号電荷の電荷量をＣＮＮ８における２層目の畳み込み係数倍にする回路構成について説明する。ここでは、図７に示す構成要素のうち、図４に示す構成要素と同一の構成要素については、図４に示す符号と同一の符号を付することにより、重複する説明を省略する。
　図７には、４つの撮像画素Ｐｘ１～Ｐｘ４によって共用されるフローティングディフュージョンＦＤ、リセットトランジスタＲｓｔ、増幅トランジスタＡｍｐ、選択トランジスタＳｅｌ、および撮像画素Ｐｘ１を選択的に図示している。また、ここでは、図示を省略しているが、フローティングディフュージョンＦＤには、撮像画素Ｐｘ２～Ｐｘ４が接続されている。
　図７に示すように、４×４Ｃｏｎｖを可能とする回路は、フローティングディフュージョンＦＤとグランドとの間に、可変容量Ｃが接続される。可変容量Ｃの静電容量が変化すると、フローティングディフュージョンＦＤへ転送される電荷の変化量に対する電圧の感度（電圧の変化量：フローティングディフュージョンＦＤの変換効率）が変化する。
　フローティングディフュージョンＦＤの変換効率は、可変容量Ｃの静電容量が小さくなるとほど上昇し、静電容量が大きくなるほど低下する。そこで、設定部５１は、可変容量Ｃの静電容量の設定を変更することによって、フローティングディフュージョンＦＤの変換効率をＣＮＮ８の２層目の畳み込み係数６１に応じた変換効率に設定する。
　そして、制御部５２は、２次元に配列される所定数のフローティングディフュージョン（ここでは、４つのフローティングディフュージョンＦＤ～ＦＤ３）に転送される信号電荷を加算させて畳み込み処理を行わせる。これにより、制御部５２は、撮像部２によってアナログ処理による４×４Ｃｏｎｖを行わせることができる。なお、ＣＮＮにおける３層目の畳み込み処理をアナログ処理によって行う場合には、例えば、４つの４×４Ｃｏｎｖの結果に応じた電圧を、それぞれＣＮＮにおける３層目の畳み込み係数倍に増幅し、ソースフォロワ加算回路によって加算する回路構成を追加する。これにより、ＣＮＮにおける３層目の畳み込み処理をアナログ処理によって行うことが可能となる。ＣＮＮにおける４層目以降の畳み込み処理についても、同様の回路構成を追加することで実現可能である。
［８．コントローラが実行する処理］
　次に、図８を参照し、本開示に係るコントローラ５が実行する処理の一例について説明する。図８は、本開示に係るコントローラ５が実行する処理の一例を示すフローチャートである。コントローラ５は、電源が投入されると図５に示す処理を実行する。
　具体的には、図８に示すように、設定部５１は、電源投入されると起動し（ステップＳ１０１）、レジスタ７に畳み込み係数６１をセットする（ステップＳ１０２）。続いて、設定部５１は、各撮像画素の露光時間を設定する（ステップＳ１０３）。
　その後、制御部５２は、各撮像画素の露光時間が設定部５１によって設定された露光時間となるように、各撮像画素の露光制御を開始し（ステップＳ１０４）、畳み込み処理結果をＣＮＮ８における後段の層に出力させて（ステップＳ１０５）、処理を終了する。
［９．移動体への応用例］
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図９に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図９の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１０は、撮像部１２０３１の設置位置の例を示す図である。
　図１０では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１０には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１および運転者状態検出部１２０４１等に適用され得る。例えば、図２の撮像部２等は、撮像部１２０３１や運転者状態検出部１２０４１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、車外情報の検出処理負荷を軽減することができ、運転者状態検出部１２０４１に本開示に係る技術を適用することにより、車内情報の検出処理負荷を軽減することができる。
［１０．内視鏡手術システムへの応用例］
　また、本開示に係る技術（本技術）は、内視鏡手術システムに適用されてもよい。
　図１１は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
　図１１では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
　内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Ｃａｍｅｒａ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）１１２０１に送信される。
　ＣＣＵ１１２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
　表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
　光源装置１１２０３は、例えばＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
　入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
　処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ　Ｂａｎｄ　Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
　図１２は、図１１に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
　カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
　レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
　撮像部１１４０２は、撮像素子で構成される。撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
　また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
　駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
　また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Ａｕｔｏ　Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ　Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ　Ｗｈｉｔｅ　Ｂａｌａｎｃｅ）機能が内視鏡１１１００に搭載されていることになる。
　カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
　通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
　また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
　画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
　制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
　また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
　カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
　以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、カメラヘッド１１１０２の撮像部１１４０２等に適用され得る。具体的には、図２の撮像部２等は、撮像部１１４０２に適用することができる。撮像部１１４０２に本開示に係る技術を適用することにより、例えば、撮像画像内における各種の物体認識処理の処理負荷を軽減することができる。
　なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
［１１．効果］
　情報処理装置１は、設定部５１と、制御部５２とを有する。設定部５１は、２次元に配列される複数の撮像画素Ｐｘ１～Ｐｘ４を備える撮像部２における各撮像画素Ｐｘ１～Ｐｘ４の露光時間をＣＮＮ８の１層目の畳み込み係数６１に応じた露光時間に設定する。制御部５２は、露光させた撮像画素Ｐｘ１～Ｐｘ４からフローティングディフュージョンＦＤへ信号電荷を転送させて畳み込み処理を行わせる。
　これにより、情報処理装置１は、ＣＮＮ８における１層目の畳み込み処理を撮像部２によるアナログ処理によって行わせることができるので、畳み込み処理の処理負荷を低減することができる。
　また、設定部５１は、各撮像画素Ｐｘ１～Ｐｘ４の露光開始タイミングを１層目の畳み込み係数６１に応じた異なるタイミングに設定し、全ての撮像画素からフローティングディフュージョンＦＤへの信号電荷の転送タイミングを同一のタイミングに設定する。
　これにより、情報処理装置１は、フローティングディフュージョンＦＤを共用する所定数の撮像画素Ｐｘ１～Ｐｘ４から同時に信号電荷をフローティングディフュージョンＦＤへ転送して読み出すことで、信号電荷の読出し制御を簡略化することができる。
　また、フローティングディフュージョンＦＤは、所定数の撮像素子によって共用される。設定部５１は、複数の各フローティングディフュージョンの変換効率をＣＮＮ８の２層目の畳み込み係数６１に応じた変換効率に設定する。制御部は、２次元に配列される所定数のフローティングディフュージョンに転送される信号電荷を加算させて畳み込み処理を行わせる。
　これにより、情報処理装置１は、ＣＮＮ８における２層目の畳み込み処理を撮像部２によるアナログ処理によって行わせることができるので、畳み込み処理の処理負荷を低減することができる。
　また、情報処理装置１は、ＣＮＮ８の畳み込み係数６１を記憶する記憶部６を備える。制御部５２は、記憶部６に記憶される畳み込み係数６１に基づいて、撮像部２によって畳み込み処理を行わせる。
　これにより、情報処理装置１は、記憶部６に記憶させる畳み込み重み係数を変更することによって、様々な異なるＣＮＮ８における畳み込み処理を撮像部２によるアナログ処理によって行わせることができる。
　また、制御部５２は、畳み込み処理の結果に応じた信号を撮像部からＣＮＮ８における後段の層へ出力させる。
　これにより、情報処理装置１は、ＣＮＮ８における後段の層で行われる演算処理の処理量を低減することができる。
　また、情報処理方法は、コンピュータが、２次元に配列される複数の撮像画素を備える撮像部における各撮像画素の露光時間をＣＮＮ８の１層目の畳み込み係数に応じた露光時間に設定することと、露光させた撮像画素からフローティングディフュージョンへ信号電荷を転送させて畳み込み処理を行わせることとを含む。
　これにより、本開示に係る情報処理方法は、ＣＮＮ８における１層目の畳み込み処理を撮像部２によるアナログ処理によって行わせることができるので、畳み込み処理の処理負荷を低減することができる。
　また、情報処理プログラムは、コンピュータを、２次元に配列される複数の撮像画素を備える撮像部における各撮像画素の露光時間をＣＮＮ８の１層目の畳み込み係数に応じた露光時間に設定する設定部と、露光させた撮像画素からフローティングディフュージョンへ信号電荷を転送させて畳み込み処理を行わせる制御部として機能させる。
　これにより、本開示に係るプログラムは、ＣＮＮ８における１層目の畳み込み処理を撮像部２によるアナログ処理によって行わせることができるので、畳み込み処理の処理負荷を低減することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　２次元に配列される複数の撮像画素を備える撮像部における各前記撮像画素の露光時間をＣＮＮの１層目の畳み込み係数に応じた露光時間に設定する設定部と、
　露光させた前記撮像画素から前記フローティングディフュージョンへ信号電荷を転送させて畳み込み処理を行わせる制御部と、
　を有する情報処理装置。
（２）
　前記設定部は、
　各前記撮像画素の露光開始タイミングを前記１層目の畳み込み係数に応じた異なるタイミングに設定し、全ての前記撮像画素から前記フローティングディフュージョンへの信号電荷の転送タイミングを同一のタイミングに設定する、
　前記（１）に記載の情報処理装置。
（３）
　前記フローティングディフュージョンは、
　所定数の前記撮像素子によって共用され、
　前記設定部は、
　複数の各前記フローティングディフュージョンの変換効率をＣＮＮの２層目の畳み込み係数に応じた変換効率に設定し、
　前記制御部は、
　２次元に配列される所定数の前記フローティングディフュージョンに転送される信号電荷を加算させて前記畳み込み処理を行わせる、
　前記（１）または（２）に記載の情報処理装置。
（４）
　ＣＮＮの畳み込み係数を記憶する記憶部
　を備え、
　前記制御部は、
　前記記憶部に記憶される前記畳み込み係数に基づいて、前記撮像部によって前記畳み込み処理を行わせる、
　前記（１）～（３）のいずれか一つに記載の情報処理装置。
（５）
　前記制御部は、
　前記畳み込み処理の結果に応じた信号を前記撮像部からＣＮＮにおける後段の層へ出力させる、
　前記（１）～（４）のいずれか一つに記載の情報処理装置。
（６）
　コンピュータが、
　２次元に配列される複数の撮像画素を備える撮像部における各前記撮像画素の露光時間をＣＮＮの１層目の畳み込み係数に応じた露光時間に設定することと、
　露光させた前記撮像画素から前記フローティングディフュージョンへ信号電荷を転送させて畳み込み処理を行わせることと、
　を含む情報処理方法。
（７）
　コンピュータを、
　２次元に配列される複数の撮像画素を備える撮像部における各前記撮像画素の露光時間をＣＮＮの１層目の畳み込み係数に応じた露光時間に設定する設定部と、
　露光させた前記撮像画素から前記フローティングディフュージョンへ信号電荷を転送させて畳み込み処理を行わせる制御部、
　として機能させるための情報処理プログラム。
　１　情報処理装置
　２　撮像部
　３　垂直走査回路
　４　ＡＤＣ
　５　コントローラ
　５１　設定部
　５２　制御部
　６　記憶部
　６１　畳み込み係数
　７　レジスタ
　８　ＣＮＮ
　Ｐｘ１～Ｐｘ１６　撮像画素
　ＦＤ～ＦＤ３　フローティングディフュージョン

Claims (7)

  1. 　２次元に配列される複数の撮像画素を備える撮像部における各前記撮像画素の露光時間をＣＮＮ（Convolutional　Neural　Network）の１層目の畳み込み係数に応じた露光時間に設定する設定部と、
    　露光させた前記撮像画素からフローティングディフュージョンへ信号電荷を転送させて畳み込み処理を行わせる制御部と、
    　を有する情報処理装置。
  2. 　前記設定部は、
    　各前記撮像画素の露光開始タイミングを前記１層目の畳み込み係数に応じた異なるタイミングに設定し、全ての前記撮像画素から前記フローティングディフュージョンへの信号電荷の転送タイミングを同一のタイミングに設定する、
    　請求項１に記載の情報処理装置。
  3. 　前記フローティングディフュージョンは、
    　所定数の前記撮像画素によって共用され、
    　前記設定部は、
    　複数の各前記フローティングディフュージョンの変換効率をＣＮＮの２層目の畳み込み係数に応じた変換効率に設定し、
    　前記制御部は、
    　２次元に配列される所定数の前記フローティングディフュージョンに転送される信号電荷を加算させて前記畳み込み処理を行わせる、
    　請求項１に記載の情報処理装置。
  4. 　ＣＮＮの畳み込み係数を記憶する記憶部
    　を備え、
    　前記制御部は、
    　前記記憶部に記憶される前記畳み込み係数に基づいて、前記撮像部によって前記畳み込み処理を行わせる、
    　請求項１に記載の情報処理装置。
  5. 　前記制御部は、
    　前記畳み込み処理の結果に応じた信号を前記撮像部からＣＮＮにおける後段の層へ出力させる、
    　請求項１に記載の情報処理装置。
  6. 　コンピュータが、
    　２次元に配列される複数の撮像画素を備える撮像部における各前記撮像画素の露光時間をＣＮＮの１層目の畳み込み係数に応じた露光時間に設定することと、
    　露光させた前記撮像画素からフローティングディフュージョンへ信号電荷を転送させて畳み込み処理を行わせることと、
    　を含む情報処理方法。
  7. 　コンピュータを、
    　２次元に配列される複数の撮像画素を備える撮像部における各前記撮像画素の露光時間をＣＮＮの１層目の畳み込み係数に応じた露光時間に設定する設定部と、
    　露光させた前記撮像画素からフローティングディフュージョンへ信号電荷を転送させて畳み込み処理を行わせる制御部、
    　として機能させるための情報処理プログラム。
PCT/JP2020/029765 2019-08-13 2020-08-04 情報処理装置、情報処理方法、および情報処理プログラム WO2021029269A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/623,879 US11778345B2 (en) 2019-08-13 2020-08-04 Information processing device, information processing method, and information processing program
DE112020003848.3T DE112020003848T5 (de) 2019-08-13 2020-08-04 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, und informationsverarbeitungsprogramm
CN202080055560.0A CN114208158B (zh) 2019-08-13 2020-08-04 信息处理装置、信息处理方法和信息处理程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019148674A JP2021034749A (ja) 2019-08-13 2019-08-13 情報処理装置、情報処理方法、および情報処理プログラム
JP2019-148674 2019-08-13

Publications (1)

Publication Number Publication Date
WO2021029269A1 true WO2021029269A1 (ja) 2021-02-18

Family

ID=74569621

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/029765 WO2021029269A1 (ja) 2019-08-13 2020-08-04 情報処理装置、情報処理方法、および情報処理プログラム

Country Status (5)

Country Link
US (1) US11778345B2 (ja)
JP (1) JP2021034749A (ja)
CN (1) CN114208158B (ja)
DE (1) DE112020003848T5 (ja)
WO (1) WO2021029269A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021093563A (ja) * 2019-12-06 2021-06-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、制御方法
CN116910637B (zh) * 2023-04-03 2024-04-26 山东科技大学 基于改进的iga-rbf神经网络短期负荷预测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013021660A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2018125842A (ja) * 2017-02-03 2018-08-09 パナソニックＩｐマネジメント株式会社 撮像装置およびカメラシステム
WO2018159002A1 (ja) * 2017-02-28 2018-09-07 パナソニックＩｐマネジメント株式会社 撮像システム及び撮像方法
WO2019131965A1 (ja) * 2017-12-27 2019-07-04 ソニーセミコンダクタソリューションズ株式会社 撮像素子

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013066140A (ja) * 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
JP6540886B2 (ja) * 2016-03-30 2019-07-10 株式会社ニコン 特徴抽出素子、特徴抽出システム、および判定装置
WO2017215767A1 (en) * 2016-06-17 2017-12-21 Huawei Technologies Co., Ltd. Exposure-related intensity transformation
JP2018005639A (ja) 2016-07-04 2018-01-11 タカノ株式会社 画像分類装置、画像検査装置、及び、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013021660A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2018125842A (ja) * 2017-02-03 2018-08-09 パナソニックＩｐマネジメント株式会社 撮像装置およびカメラシステム
WO2018159002A1 (ja) * 2017-02-28 2018-09-07 パナソニックＩｐマネジメント株式会社 撮像システム及び撮像方法
WO2019131965A1 (ja) * 2017-12-27 2019-07-04 ソニーセミコンダクタソリューションズ株式会社 撮像素子

Also Published As

Publication number Publication date
CN114208158A (zh) 2022-03-18
JP2021034749A (ja) 2021-03-01
CN114208158B (zh) 2024-09-27
US11778345B2 (en) 2023-10-03
DE112020003848T5 (de) 2022-05-19
US20220360727A1 (en) 2022-11-10

Similar Documents

Publication Publication Date Title
EP3833015B1 (en) Solid-state imaging device
US11750932B2 (en) Image processing apparatus, image processing method, and electronic apparatus
US11756971B2 (en) Solid-state imaging element and imaging apparatus
WO2021060120A1 (ja) 撮像装置
WO2021029269A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
WO2018173793A1 (ja) 固体撮像素子、および電子機器
WO2018131510A1 (ja) 固体撮像素子および電子機器
JP2022015325A (ja) 固体撮像装置および電子機器
US10880503B2 (en) Solid-state image pickup device and image pickup method, and electronic apparatus
WO2019171947A1 (ja) 撮像素子、電子機器
WO2021100338A1 (ja) 固体撮像素子
JP7504802B2 (ja) 固体撮像素子、固体撮像装置及び電子機器
US12136634B2 (en) Solid-state imaging element and imaging apparatus
US20240347557A1 (en) Imaging device
WO2023080011A1 (ja) 撮像装置及び電子機器
WO2022158170A1 (ja) 光検出素子および電子機器
JP2023152522A (ja) 光検出装置
JP2023023141A (ja) 撮像素子及び電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20852954

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20852954

Country of ref document: EP

Kind code of ref document: A1