WO2023095666A1 - 信号処理装置および信号処理方法、並びに固体撮像素子 - Google Patents

信号処理装置および信号処理方法、並びに固体撮像素子 Download PDF

Info

Publication number
WO2023095666A1
WO2023095666A1 PCT/JP2022/042321 JP2022042321W WO2023095666A1 WO 2023095666 A1 WO2023095666 A1 WO 2023095666A1 JP 2022042321 W JP2022042321 W JP 2022042321W WO 2023095666 A1 WO2023095666 A1 WO 2023095666A1
Authority
WO
WIPO (PCT)
Prior art keywords
sum
input
convolution
pixel
processing unit
Prior art date
Application number
PCT/JP2022/042321
Other languages
English (en)
French (fr)
Inventor
清剛 花田
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2023095666A1 publication Critical patent/WO2023095666A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Definitions

  • the present disclosure relates to a signal processing device, a signal processing method, and a solid-state image pickup device, and more particularly to a signal processing device, a signal processing method, and a solid-state image pickup device that are capable of further improving signal processing capability.
  • CMOS Complementary Metal Oxide Semiconductor
  • Patent Document 1 discloses a technique for extracting image data in a plurality of convolution windows in parallel by a plurality of data processing units during the process of extracting convolution data.
  • the present disclosure has been made in view of such circumstances, and aims to further improve the signal processing capability.
  • a signal processing device includes first calculators whose number corresponds to the number of channels.
  • a sum-of-products operation processing unit that acquires sum-of-products operation results for the number of channels by performing sum-of-products operation processing, and a number of second arithmetic units corresponding to the number of filters, each of the second A convolution operation processing unit that performs convolution operation processing to acquire convolution layer output pixel values for the number of filters by performing convolution operation processing using the sum-of-products operation result in the arithmetic unit and output as encoded pixel data.
  • a signal processing method includes a sum-of-products operation processing unit having a number of first arithmetic units corresponding to the number of channels, and a convolution operation processing unit having a number of second arithmetic units corresponding to the number of filters. and performing sum-of-products calculation processing of input pixel values, which are pixel data of an input image, and filter coefficients in each of the first calculators, thereby obtaining sum-of-products calculation results for the number of channels. and performing convolution operation processing using the sum-of-products operation result in each of the second arithmetic units to acquire the convolution layer output pixel values for the number of filters, and as encoded pixel data and performing an output convolution operation.
  • a solid-state imaging device has a number of first calculators corresponding to the number of channels.
  • a sum-of-products operation processing unit that acquires sum-of-products operation results for the number of channels by performing sum-of-products operation processing, and a number of second arithmetic units corresponding to the number of filters, each of the second A convolution operation processing unit that performs convolution operation processing to acquire convolution layer output pixel values for the number of filters by performing convolution operation processing using the sum-of-products operation result in the arithmetic unit and output as encoded pixel data.
  • a signal processing unit that performs convolution operation processing to acquire convolution layer output pixel values for the number of filters by performing convolution operation processing using the sum-of-products operation result in the arithmetic unit and output as encoded pixel data.
  • the number of first calculators corresponding to the number of channels performs product-sum operation processing of input pixel values, which are pixel data of an input image, and filter coefficients, thereby performing product-sum operation processing for the number of channels.
  • a sum operation result is acquired, and a convolution layer output pixel value for the number of filters is acquired and encoded by performing convolution operation processing using the sum-of-products operation result in each of the second operators whose number corresponds to the number of filters.
  • a convolution operation is performed to output as already completed pixel data.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of an imaging device to which the present technology is applied; FIG. It is a figure explaining the process with respect to a pixel signal.
  • 3 is a block diagram illustrating a configuration example of a storage unit and an encoding unit;
  • FIG. It is a block diagram which shows the structural example of an arithmetic unit.
  • It is a block diagram which shows the structural example of an arithmetic unit.
  • FIG. 10 is a diagram illustrating parallel sum-of-products operation;
  • FIG. 4 is a diagram showing an example of an arithmetic expression used in convolution arithmetic; It is a figure explaining convolution operation processing performed using three filters. It is a figure explaining the 1st arithmetic processing.
  • FIG. 11 is a flowchart for explaining a first processing example of convolution operation processing;
  • FIG. 11 is a flowchart for explaining a second processing example of convolution operation processing;
  • FIG. A configuration example of a stacked imaging device will be described. It is a block diagram which shows the structural example of an imaging device.
  • FIG. 10 is a diagram showing an example of use using an image sensor;
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of an imaging device to which the present technology is applied.
  • the imaging device 11 includes an imaging unit 21, an imaging processing unit 22, a storage unit 23, a DMA processing unit 24, an encoding unit 25, a transmission unit 26, a reception unit 27, and a control unit 28. configured by being connected via
  • the imaging unit 21 is configured by arranging a plurality of pixels in a matrix on the sensor surface, and supplies the imaging processing unit 22 with a pixel signal corresponding to the amount of light received by each pixel.
  • the imaging processing unit 22 performs imaging processing such as, for example, demosaic processing on the pixel signals supplied from the imaging unit 21 and supplies pixel data obtained as a result of the imaging processing to the storage unit 23 .
  • the storage unit 23 is composed of, for example, a DRAM (Dynamic Random Access Memory) or the like, and stores pixel data supplied from the imaging processing unit 22 .
  • a DRAM Dynamic Random Access Memory
  • a DMA (Direct Memory Access) processing unit 24 executes processing related to memory access when transferring pixel data directly from the storage unit 23 to the encoding unit 25 .
  • the encoding unit 25 encodes the image captured by the imaging unit 21 by performing convolution operation processing on the pixel data transferred from the storage unit 23 according to memory access by the DMA processing unit 24 . Then, the encoding unit 25 causes the storage unit 23 to store the encoded pixel data. A detailed configuration of the encoding unit 25 will be described later with reference to FIG.
  • the transmission unit 26 reads the encoded pixel data from the storage unit 23 and transmits it to the outside of the imaging device 11 (for example, recording medium, display unit, etc.).
  • the receiving unit 27 receives, for example, control data transmitted from a control device (not shown) and supplies it to the control unit 28 .
  • the control unit 28 controls each block constituting the imaging device 11 according to the control data, and executes imaging by the imaging device 11 .
  • FIG. 2 is a diagram for explaining processing for pixel signals output from the imaging unit 21.
  • FIG. 2 is a diagram for explaining processing for pixel signals output from the imaging unit 21.
  • the imaging unit 21 can adopt a configuration including Bayer array pixels or a configuration including Raw pixels, and can output pixel signals by normal scanning or thinning scanning in each configuration.
  • the Bayer array pixel imaging unit 21 applies a red R color filter to the upper left pixel, a green G color filter to the upper right pixel, and a green G color filter to the lower left pixel, for four pixels in a 2 ⁇ 2 array. , and an arrangement pattern in which a blue B color filter is arranged in the lower right pixel is provided so as to be repeated in the row direction and the column direction. Then, in the imaging unit 21 of the Bayer array pixels, pixel signals R, pixel signals G, and pixel signals B representing luminance values of light in wavelength ranges corresponding to respective colors are output from the pixels.
  • the pixel signals output from the 2 ⁇ 2 array of pixels in the upper left corner output from the imaging unit 21 are the pixel signal R00, the pixel signal G01, the pixel signal G10, and the pixel signal B11.
  • the pixel signals output from the 2 ⁇ 2 array of pixels in the upper left corner output from the imaging unit 21 are the pixel signal R00, the pixel signal G03, the pixel signal G30, and the pixel signal B33.
  • pixel addition may be performed for pixels that are not selected, and the pixel signals resulting from the pixel addition may be output.
  • the pixel signals output from the imaging unit 21 of Bayer array pixels are subjected to, for example, demosaicing processing in the imaging processing unit 22 , and the pixel data z obtained by this processing are stored in the storage unit 23 .
  • the imaging unit 21 of Raw pixels is configured without a color filter like the Bayer array pixels, and pixel signals z representing the luminance values of light in all wavelength ranges are output from the pixels.
  • the pixel signals of the 2 ⁇ 2 pixels at the upper left corner output from the imaging unit 21 are pixel signal z00, pixel signal z01, pixel signal z10, and pixel signal z11. These pixel signals z are used as pixel data z without being processed in the imaging processing unit 22 .
  • the pixel signals of the 2 ⁇ 2 pixels at the upper left corner output from the imaging unit 21 are pixel signal z00, pixel signal z02, pixel signal z20, and pixel signal z22. These pixel signals z are used as pixel data z without being processed in the imaging processing unit 22 . A thinned image can also be restored to its original resolution at the time of decoding.
  • FIG. 3 is a block diagram illustrating a configuration example of the storage section 23 and the encoding section 25. As shown in FIG.
  • the storage unit 23 comprises a line memory 31 , a frame memory 32 and a network data memory 33 .
  • the line memory 31 stores the pixel data supplied from the imaging processing unit 22 for each line of the image.
  • the frame memory 32 stores pixel data for each line supplied from the line memory 31, and stores pixel data for one frame.
  • the network data memory 33 stores encoded pixel data output from the encoding unit 25, for example.
  • the encoding unit 25 comprises an input data buffer 41 , a convolution processing unit 42 and an output data buffer 43 .
  • the input data buffer 41 temporarily stores pixel data transferred from the frame memory 32 of the storage unit 23 according to memory access by the DMA processing unit 24 and sequentially inputs the pixel data to the convolution processing unit 42 .
  • the convolution processing unit 42 performs convolution processing on pixel values represented by pixel data input via the input data buffer 41 (hereinafter referred to as input pixel values).
  • the convolution processing unit 42 is configured to have arithmetic units 44-1 to 44-M, the number of which corresponds to the number of filters M, and performs convolution processing on input pixel values to perform convolution for the number M of filters. Get the layer output pixel value. Then, the convolution operation processing unit 42 outputs the convolution layer output pixel values for the number M of filters to the output data buffer 43 as encoded pixel data.
  • a detailed configuration of the calculator 44 will be described later with reference to FIG.
  • the output data buffer 43 temporarily stores encoded pixel data supplied from the convolution processing unit 42 and sequentially outputs the data to the network data memory 33 of the frame memory 32 according to memory access by the DMA processing unit 24 .
  • FIG. 4 is a block diagram showing a configuration example of the calculator 44. As shown in FIG.
  • Arithmetic unit 44 is configured with sum-of-products arithmetic processing unit 51 , adder 52 , and multiplier 53 .
  • the product-sum operation processing unit 51 performs product-sum operation processing on the input pixel values supplied via the input data buffer 41 .
  • the sum-of-products operation processing unit 51 includes calculators 54-1 to 54-K, the number of which corresponds to the number K of channels. , and supplies it to the adder 52 .
  • the adder 52 adds the sum-of-products calculation results for K channels supplied from the sum-of-products calculation processing unit 51, and adds the bias value supplied via the input data buffer 41.
  • the resulting convolved value is supplied to multiplier 53 .
  • the multiplier 53 performs an activation operation by inputting the convolution value supplied from the adder 52 to the activation operator supplied via the input data buffer 41, and obtains the result of the activation operation. Output the convolutional layer output pixel values to the output data buffer 43 .
  • FIG. 5 is a block diagram showing a configuration example of the calculator 54. As shown in FIG.
  • the calculator 54 is configured with a data buffer 61 , a shift register 62 , a filter buffer 63 , a multiplier 64 and an adder 65 .
  • the data buffer 61 is supplied with pixel data to be the input pixel value z via the input data buffer 41, and the data buffer 61 sequentially stores the input pixel value z in an array having a size according to the filter size,
  • multiplier 64 is provided with input pixel value z.
  • nine input pixel values z arranged in a 3 ⁇ 3 array are stored in the data buffer 61 .
  • the shift register 62 receives the input pixel values z of the first and second rows stored in the data buffer 61, shifts the input pixel values z by the shift values controlled by the control unit 28, and converts the input pixel values z into data. Output to the second and third lines of the buffer 61 .
  • the illustrated configuration of the shift register 62 is merely an example, and may have a configuration other than the input pixel values z of the first and second rows.
  • the filter buffer 63 is supplied with weight data to be the filter coefficients h via the input data buffer 41, and the filter buffer 63 sequentially stores the filter coefficients h in an array having a size according to the filter size.
  • a multiplier 64 is supplied with the filter coefficient h. In the illustrated example, nine filter coefficients h in a 3 ⁇ 3 array are stored in the filter buffer 63 .
  • the multiplier 64 multiplies the 3 ⁇ 3 array of input pixel values z supplied from the data buffer 61 by the 3 ⁇ 3 array of filter coefficients h supplied from the filter buffer 63, and the result of the operation is is supplied to the adder 65 .
  • the adder 65 acquires the result of the sum-of-products operation by performing the operation of adding the multiplied values for the 3 ⁇ 3 array supplied from the multiplier 64, and supplies the result to the adder 52 in FIG.
  • the multiplier 64 and the adder 65 may rearrange the input pixel value z and the filter coefficient h to perform parallel sum-of-products operation (vector operation).
  • FIG. 7 shows an example of an arithmetic expression used in the convolution operation.
  • the convolution value u ijm is obtained by multiplying and summing the input pixel value z i + p, j + q, k (l ⁇ 1) and the filter coefficient h pqkm to obtain the sum of product operation result, and the number of channels of the input image. It is obtained by adding the sum-of-products operation result for K and the bias value bijm . Then, the convolution layer output pixel value z ijm (l) is obtained by an activation operation performed by inputting the convolution value u ijm to the activation operator f( ⁇ ).
  • the multipliers 64 (FIG. 5) of the respective calculators 54 combine input pixel values z i+p, j+q, k (l ⁇ 1) in an H ⁇ H array and H ⁇ H An operation is performed to multiply the filter coefficients h pqk0 in the array.
  • the calculation in the area surrounded by the dashed-dotted line corresponds to the calculation of the area surrounded by the dashed-dotted line in the arithmetic expression of FIG.
  • the adder 65 (FIG. 5) of each calculator 54 adds the multiplied values of the H ⁇ H array obtained as the result of the calculation by the multiplier 64. By doing so, the sum-of-products operation result is acquired and supplied to the adder 52 (FIG. 4).
  • the adder 52 acquires the convolution value u ij0 by adding the product-sum operation results for the number of channels K and the bias value b ij0
  • the multiplier 53 converts the convolution value u ij0 to the activation operator f( ) to obtain the convolutional layer output pixel value z ij0 (l) by performing an activation operation. Calculations in the area surrounded by the dashed lines correspond to the calculations in the area surrounded by the dashed lines in the calculation formula of FIG.
  • the convolutional layer output pixel value z ij1 (l) and the convolutional layer An output pixel value z ij2 (l) can be obtained.
  • the convolution operation consists of the product-sum operation corresponding to the portion enclosed by the dashed line and the second operation processing corresponding to the portion enclosed by the dashed line for each filter. It can be decomposed into a sum operation and an activation operation.
  • the first arithmetic processing will be described with reference to FIG. 9, and the second arithmetic processing will be described with reference to FIG. 9 and 10 show a processing example in which a red R image, a green G image, and a blue B image are used, and the number of channels K is three.
  • input pixel values for example, R00, R01, R02, R10, R11, R12, R20, R21, R22
  • the filter buffer 63 stores filter coefficients for a 3 ⁇ 3 array (for example, h00, h01, h02, h10, h11, h12, h20, h21, h22).
  • the input pixel value stored in the data buffer 61 and the filter coefficient stored in the filter buffer 63 are multiplied by the multiplier 64, and the multiplication result is added by the adder 65 to obtain The sum-of-products operation result is output.
  • the result of the sum-of-products operation is is output.
  • the bias value b is added by the adder 52 to obtain the convolution value u, and the multiplier 53 inputs the convolution value u to the activation operator f( ⁇ ) to perform the activation operation.
  • the convolutional layer output pixel value z (l) is output.
  • the second arithmetic processing a sum operation for adding the processing results of the first arithmetic processing performed for each channel and an activation operation according to the activation operator f(.) are performed. . Also, the second arithmetic processing is performed in parallel according to the number of filters.
  • pixel data of an input image obtained by imaging each line in the imaging unit 21 is supplied to the storage unit 23 and stored in the frame memory 32 via the line memory 31 .
  • Pixel data of the input image is transferred from the frame memory 32 to the input data buffer 41 according to memory access by the DMA processing unit 24 .
  • FIG. 11A is a diagram illustrating a first transfer method (a transfer method that does not use the shift register 62) for transferring pixel data of an input image according to the number of filter coefficients.
  • FIG. 11A shows an example in which a filter size of 3 ⁇ 3 array is used, 9 pixel data, which is the number of filter coefficients, is transferred, and the number of slides is 1 pixel.
  • 9 pixel data which is the number of filter coefficients
  • the number of slides is 1 pixel.
  • nine pixel data surrounded by a dashed line are transferred from the frame memory 32 to the input data buffer 41 .
  • the nine pixel data surrounded by the two-dot chain line are shifted from the frame memory 32 to the input data buffer 41 by shifting by one pixel, which is the number of slides. transferred to
  • FIG. 11B is a diagram explaining a second transfer method of dividing an input image into a plurality of tiles and transferring pixel data for each tile.
  • FIG. 11B shows an example of dividing the input image into four tiles. For example, pixel data surrounded by a dashed line constitute one tile, and the pixel data of that tile are transferred from the frame memory 32 to the input data buffer 41 . Then, when the convolution operation processing for the pixel data of the tile is completed, the pixel data of the next tile is transferred from the frame memory 32 to the input data buffer 41 with the next tile as the object of processing.
  • FIG. 11C is a diagram explaining a third transfer method for transferring all pixel data of an input image.
  • All the pixel data of the input image surrounded by broken lines in FIG. 11C are transferred from the frame memory 32 to the input data buffer 41.
  • FIG. 12 is a flowchart for explaining a first processing example of the convolution operation processing executed in the encoding section 25. As shown in FIG. In the first processing example, as described with reference to FIG. 11A, the first transfer method of transferring the pixel data of the input image according to the number of filter coefficients is used.
  • step S11 the pixel data of the input image corresponding to the number of filter coefficients are transferred from the frame memory 32 of the storage unit 23 to the input data buffer 41 of the convolution processing unit 42 according to memory access by the DMA processing unit 24.
  • step S12 in the convolution processing unit 42, the number of calculators 44-1 to 44-M corresponding to the number of filters M convolves the pixel data of the input image of the number transferred to the input data buffer 41 in step S11. Perform arithmetic processing.
  • step S13 in the sum-of-products calculation processing unit 51 of each of the calculators 44-1 to 44-M, the number of calculators 54-1 to 54-K corresponding to the number of channels K is stored in the input data buffer 41 in step S11.
  • a sum-of-products operation process is performed on the transferred number of pixel data of the input image and the filter coefficients. Note that the sum-of-products calculation process in step S13 can be performed as part of the convolution calculation process in step S12.
  • step S14 the convolution processing unit 42 determines whether the convolution processing for the input image transferred to the input data buffer 41 in step S11 has been completed.
  • step S14 If it is determined in step S14 that the convolution calculation process for the input image has not been completed, the process proceeds to step S15.
  • step S15 the DMA processing unit 24 shifts the pixel data to be transferred from the frame memory 32 of the storage unit 23 to the input data buffer 41 of the convolution processing unit 42 according to the number of slides. After that, the process returns to step S11, the next pixel data is transferred according to the shift, and the same process is repeated thereafter.
  • step S14 if it is determined in step S14 that the convolution operation processing for the input image has been completed, the convolution operation processing ends.
  • FIG. 13 is a flow chart explaining a second processing example of the convolution operation processing executed in the encoding unit 25.
  • FIG. 13 is a flow chart explaining a second processing example of the convolution operation processing executed in the encoding unit 25.
  • the second transfer method of transferring pixel data for each tile is used.
  • step S21 the pixel data of the input image for one tile is transferred from the frame memory 32 of the storage unit 23 to the input data buffer 41 of the convolution processing unit 42 according to the memory access by the DMA processing unit 24.
  • step S22 in the convolution processing unit 42, the number of calculators 44-1 to 44-M corresponding to the number of filters M is used to convert the pixels of the input image for one tile transferred to the input data buffer 41 in step S21. Performs convolution operation processing on data.
  • step S23 in the sum-of-products calculation processing unit 51 of each of the calculators 44-1 to 44-M, the number of calculators 54-1 to 54-K corresponding to the number of channels K is stored in the input data buffer 41 in step S21.
  • a sum-of-products operation process is performed on the transferred pixel data of the input image for one tile and the filter coefficients. At this time, as described with reference to FIG. , is held in the shift register 62 . Note that the sum-of-products calculation process in step S23 can be performed as part of the convolution calculation process in step S22.
  • step S24 the calculator 54 determines whether or not the convolution calculation process for the input image transferred to the input data buffer 41 in step S11 has been completed.
  • step S24 If it is determined in step S24 that the convolution calculation process for the input image has not been completed, the process proceeds to step S25.
  • step S25 the computing unit 54 slides the pixel data held in the shift register 62 according to the shift value controlled by the control unit 28, and after the sliding, the pixel data stored in the data buffer 61 is This is the target of sum-of-products operation processing. Then, the process returns to step S23, and the sum-of-products operation process is continued.
  • step S24 determines whether or not the convolution operation processing for all tiles has been completed and the tiling has been completed.
  • step S26 If it is determined in step S26 that tiling has not been completed, the process proceeds to step S27.
  • step S ⁇ b>27 the DMA processing unit 24 processes the next tile for the pixel data transferred from the frame memory 32 of the storage unit 23 to the input data buffer 41 of the convolution processing unit 42 . After that, the process returns to step S11, the pixel data of the next tile is transferred, and the same process is repeated thereafter.
  • step S26 if it is determined in step S26 that the tiling has been completed, the convolution operation process ends.
  • the convolution operation processing described with reference to FIG. 13 may be applied to the third transfer method for transferring all pixel data of the input image as described with reference to C of FIG. In this case, the processes of steps S26 and S27 are omitted, and the convolution process ends when it is determined in the process of step S24 that the convolution process for the input image has been completed.
  • FIG. 14 is a diagram illustrating a configuration example of the stacked imaging device 11. As shown in FIG. 14
  • a stacked-type imaging device 11A shown in A of FIG. It has a laminated structure in which
  • a stacked-type imaging device 11B shown in FIG. 14B has a sensor substrate 71 and a logic substrate 72 stacked in the same manner as the stacked-type imaging device 11A. It has a laminated structure in which
  • a structure using TSV (through-silicon via) or a Cu-Cu junction is used for electrical and mechanical connection between the respective substrates.
  • the structure used can be adopted.
  • the imaging device 11 as described above can be applied to various electronic devices such as imaging systems such as digital still cameras and digital video cameras, mobile phones with imaging functions, and other devices with imaging functions. can be done.
  • FIG. 15 is a block diagram showing a configuration example of an imaging device mounted on an electronic device.
  • the imaging device 101 includes an optical system 102, an imaging device 103, a signal processing circuit 104, a monitor 105, and a memory 106, and is capable of capturing still images and moving images.
  • the optical system 102 is configured with one or more lenses, guides image light (incident light) from a subject to the imaging element 103, and forms an image on the light receiving surface (sensor section) of the imaging element 103.
  • the image sensor 103 As the image sensor 103, the image sensor 11 described above is applied. Electrons are accumulated in the imaging element 103 for a certain period of time according to the image formed on the light receiving surface via the optical system 102 . A signal corresponding to the electrons accumulated in the image sensor 103 is supplied to the signal processing circuit 104 .
  • the signal processing circuit 104 performs various signal processing on the pixel signals output from the image sensor 103 .
  • An image (image data) obtained by the signal processing performed by the signal processing circuit 104 is supplied to the monitor 105 for display or supplied to the memory 106 for storage (recording).
  • the imaging device 101 configured in this way, by applying the above-described imaging device 11, for example, images can be captured at a higher speed.
  • FIG. 16 is a diagram showing a usage example using the image sensor (imaging element) described above.
  • the image sensor described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-rays, for example, as follows.
  • ⁇ Devices that capture images for viewing purposes, such as digital cameras and mobile devices with camera functions.
  • Devices used for transportation such as in-vehicle sensors that capture images behind, around, and inside the vehicle, surveillance cameras that monitor running vehicles and roads, and ranging sensors that measure the distance between vehicles.
  • Devices used in home appliances such as TVs, refrigerators, air conditioners, etc., to take pictures and operate devices according to gestures ⁇ Endoscopes, devices that perform angiography by receiving infrared light, etc.
  • Equipment used for medical and healthcare purposes such as surveillance cameras for crime prevention and cameras for personal authentication
  • microscopes used for beauty such as microscopes used for beauty
  • Sports such as action cameras and wearable cameras for use in sports ⁇ Cameras, etc. for monitoring the condition of fields and crops , agricultural equipment
  • the present technology can also take the following configuration.
  • (1) The number of first calculators corresponding to the number of channels is provided, and each of the first calculators performs product-sum operation processing of an input pixel value, which is pixel data of an input image, and a filter coefficient.
  • a sum-of-products operation processing unit that acquires sum-of-products operation results for a number of times;
  • a convolution layer output pixel value corresponding to the number of filters by performing convolution operation processing using the sum-of-products operation result in each of the second arithmetic units.
  • a convolution processing unit that performs convolution processing for acquiring and outputting as encoded pixel data.
  • each of the second arithmetic units includes the sum-of-products arithmetic processing unit.
  • the first calculator is a data buffer for sequentially storing the input pixel values sized according to the filter size; a filter buffer that sequentially stores the filter coefficients sized according to the filter size; a first multiplier that multiplies the input pixel value stored in the data buffer and the filter coefficient stored in the filter buffer to obtain a predetermined number of multiplied values corresponding to the filter size;
  • the second operator is a second adder for obtaining a convolution value by adding each of the sum-of-products calculation results for the number of channels output from the sum-of-products calculation processing unit and adding a predetermined bias value;
  • the signal processing device according to any one of (1) to (3) above, further comprising: a second multiplier for inputting to a predetermined activation operator to obtain the sum-of-products operation result.
  • (5) further comprising an input buffer for temporarily storing the input pixel value input to the convolution processing unit;
  • the signal processing device according to any one of (1) to (4) above, wherein the input pixel values corresponding to the number of filter coefficients are transferred from a storage unit that stores the input image to the input buffer.
  • the input pixel value is transferred from a storage unit that stores the input image to the input buffer for each tile obtained by dividing the input image into a plurality of tiles. signal processor.
  • a signal processing device comprising a sum-of-products operation processing unit having a number of first arithmetic units corresponding to the number of channels, and a convolution operation processing unit having a number of second arithmetic units corresponding to the number of filters, acquiring sum-of-products calculation results for the number of channels by performing sum-of-products calculation processing of input pixel values, which are pixel data of an input image, and filter coefficients in each of the first calculators; Convolution operation processing for acquiring convolution layer output pixel values for the number of filters by performing convolution operation processing using the sum-of-products operation result in each of the second arithmetic units, and outputting them as encoded pixel data.
  • a signal processing method comprising: (8) The number of first calculators corresponding to the number of channels is provided, and each of the first calculators performs product-sum operation processing of an input pixel value, which is pixel data of an input image, and a filter coefficient. a sum-of-products operation processing unit that acquires sum-of-products operation results for a number of times; a convolution layer output pixel value corresponding to the number of filters; and a signal processing unit that performs convolution operation processing to obtain and output as encoded pixel data.
  • the solid state according to (8) above which has a laminated structure in which a sensor substrate provided with an imaging section in which a plurality of pixels are arranged in a matrix on a sensor surface and a logic substrate provided with the signal processing section are laminated. image sensor.
  • the solid-state imaging device according to (9) above which has a laminated structure in which a memory substrate provided with a storage section for storing pixel data based on pixel signals output from the imaging section is further laminated.
  • 11 image pickup device 21 image pickup unit, 22 image pickup processing unit, 23 storage unit, 24 DMA processing unit, 25 encoding unit, 26 transmission unit, 27 reception unit, 28 control unit, 31 line memory, 32 frame memory, 33 network data memory , 41 Input data buffer, 42 Convolution operation processor, 43 Output data buffer, 44 Arithmetic unit, 51 Product sum operation unit, 52 Adder, 53 Multiplier, 54 Arithmetic unit, 61 Data buffer, 62 Shift register, 63 Filter Buffer, 64 multiplier, 65 adder, 71 sensor board, 72 logic board, 73 memory board

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本開示は、より信号処理能力の向上を図ることができるようにする信号処理装置および信号処理方法、並びに固体撮像素子に関する。 信号処理装置は、チャネル数に応じた個数の第１の演算器を有し、それぞれの第１の演算器において入力画像の画素データである入力画素値とフィルタ係数との積和演算処理を行うことによってチャネル数分の積和演算結果を取得する積和演算処理部と、フィルタ数に応じた個数の第２の演算器を有し、それぞれの第２の演算器において積和演算結果を用いた畳み込み演算処理を行うことによってフィルタ数分の畳み込み層出力画素値を取得して、エンコード済みの画素データとして出力する畳み込み演算処理を行う畳み込み演算処理部とを備える。本技術は、例えば、積層型のCMOSイメージセンサに適用できる。

Description

信号処理装置および信号処理方法、並びに固体撮像素子
　本開示は、信号処理装置および信号処理方法、並びに固体撮像素子に関し、特に、より信号処理能力の向上を図ることができるようにした信号処理装置および信号処理方法、並びに固体撮像素子に関する。
　近年、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子の高機能化が進んでおり、例えば、撮像された画像の画素データに対して畳み込み演算を施してエンコード済みの画素データを出力することができる。
　例えば、特許文献１には、畳み込みデータを抽出するプロセス中に、複数のデータ処理ユニットにより、複数の畳み込みウィンドウ内の画像データを並行して抽出する技術が開示されている。
特開２０２１－２２３６２号公報
　ところで、上述したような畳み込み演算を施す信号処理について、さらなる信号処理能力の向上が求められている。
　本開示は、このような状況に鑑みてなされたものであり、より信号処理能力の向上を図ることができるようにするものである。
　本開示の一側面の信号処理装置は、チャネル数に応じた個数の第１の演算器を有し、それぞれの前記第１の演算器において入力画像の画素データである入力画素値とフィルタ係数との積和演算処理を行うことによって前記チャネル数分の積和演算結果を取得する積和演算処理部と、フィルタ数に応じた個数の第２の演算器を有し、それぞれの前記第２の演算器において前記積和演算結果を用いた畳み込み演算処理を行うことによって前記フィルタ数分の畳み込み層出力画素値を取得して、エンコード済みの画素データとして出力する畳み込み演算処理を行う畳み込み演算処理部とを備える。
　本開示の一側面の信号処理方法は、チャネル数に応じた個数の第１の演算器を有する積和演算処理部と、フィルタ数に応じた個数の第２の演算器を有する畳み込み演算処理部とを備える信号処理装置が、それぞれの前記第１の演算器において入力画像の画素データである入力画素値とフィルタ係数との積和演算処理を行うことによって前記チャネル数分の積和演算結果を取得することと、それぞれの前記第２の演算器において前記積和演算結果を用いた畳み込み演算処理を行うことによって前記フィルタ数分の畳み込み層出力画素値を取得して、エンコード済みの画素データとして出力する畳み込み演算処理を行うこととを含む。
　本開示の一側面の固体撮像素子は、チャネル数に応じた個数の第１の演算器を有し、それぞれの前記第１の演算器において入力画像の画素データである入力画素値とフィルタ係数との積和演算処理を行うことによって前記チャネル数分の積和演算結果を取得する積和演算処理部と、フィルタ数に応じた個数の第２の演算器を有し、それぞれの前記第２の演算器において前記積和演算結果を用いた畳み込み演算処理を行うことによって前記フィルタ数分の畳み込み層出力画素値を取得して、エンコード済みの画素データとして出力する畳み込み演算処理を行う畳み込み演算処理部とを有する信号処理部を備える。
　本開示の一側面においては、チャネル数に応じた個数の第１の演算器それぞれにおいて入力画像の画素データである入力画素値とフィルタ係数との積和演算処理を行うことによってチャネル数分の積和演算結果が取得され、フィルタ数に応じた個数の第２の演算器それぞれにおいて積和演算結果を用いた畳み込み演算処理を行うことによってフィルタ数分の畳み込み層出力画素値を取得して、エンコード済みの画素データとして出力する畳み込み演算処理が行われる。
本技術を適用した撮像素子の一実施の形態の構成例を示すブロック図である。 画素信号に対する処理について説明する図である。 記憶部およびエンコード部の構成例を説明するブロック図である。 演算器の構成例を示すブロック図である。 演算器の構成例を示すブロック図である。 並列積和演算について説明する図である。 畳み込み演算で用いられる演算式の一例を示す図である。 ３つのフィルタを用いて行われる畳み込み演算処理について説明する図である。 第１の演算処理について説明する図である。 第２の演算処理について説明する図である。 入力画像の転送方法について説明する図である。 畳み込み演算処理の第１の処理例を説明するフローチャートである。 畳み込み演算処理の第２の処理例を説明するフローチャートである。 積層型の撮像素子の構成例について説明する。 撮像装置の構成例を示すブロック図である。 イメージセンサを使用する使用例を示す図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜撮像素子の構成例＞
　図１は、本技術を適用した撮像素子の一実施の形態の構成例を示すブロック図である。
　図１に示すように、撮像素子１１は、撮像部２１、撮像処理部２２、記憶部２３、DMA処理部２４、エンコード部２５、送信部２６、受信部２７、および制御部２８が、バスを介して接続されて構成される。
　撮像部２１は、複数の画素がセンサ面に行列状に配置されて構成され、それぞれの画素が受光した光の光量に応じた画素信号を撮像処理部２２に供給する。
　撮像処理部２２は、撮像部２１から供給される画素信号に対して、例えば、デモザイク処理などの撮像処理を施し、その撮像処理の結果として得られる画素データを記憶部２３に供給する。
　記憶部２３は、例えば、DRAM（Dynamic Random Access Memory）などにより構成され、撮像処理部２２から供給される画素データを記憶する。
　DMA（Direct Memory Access）処理部２４は、記憶部２３からエンコード部２５へ直接的に画素データを転送する際のメモリアクセスに関する処理を実行する。
　エンコード部２５は、DMA処理部２４によるメモリアクセスに従って記憶部２３から転送されてくる画素データに対する畳み込み演算処理を行うことで、撮像部２１により撮像された画像をエンコードする。そして、エンコード部２５は、エンコード済みの画素データを記憶部２３に記憶させる。なお、エンコード部２５の詳細な構成については、図３を参照して後述する。
　送信部２６は、エンコード済みの画素データを記憶部２３から読み出して、撮像素子１１の外部（例えば、記録媒体や表示部など）へ送信する。
　受信部２７は、例えば、図示しない制御装置から送信されてくる制御データなどを受信し、制御部２８に供給する。
　制御部２８は、制御データに従って撮像素子１１を構成する各ブロックに対する制御を行い、撮像素子１１による撮像を実行する。
　図２は、撮像部２１から出力される画素信号に対する処理について説明する図である。
　例えば、撮像部２１は、ベイヤ配列画素を備えた構成、または、Raw画素を備えた構成を採用することができ、それぞれの構成で、通常走査または間引き走査で画素信号を出力することができる。
　ベイヤ配列画素の撮像部２１は、２×２配列の４つの画素に対して、左上の画素に赤色Ｒのカラーフィルタ、右上の画素に緑色Ｇのカラーフィルタ、左下の画素に緑色Ｇのカラーフィルタ、および、右下の画素に青色Ｂのカラーフィルタが配置される配置パターンが、行方向および列方向に繰り返されるように設けられて構成される。そして、ベイヤ配列画素の撮像部２１では、それぞれの色に応じた波長域の光の輝度値を表す画素信号Ｒ、画素信号Ｇ、および画素信号Ｂが画素から出力される。
　例えば、ベイヤ配列画素の撮像部２１において通常走査で画素信号を出力する場合、全ての画素から画素信号が出力される。従って、撮像部２１から出力される左上隅の２×２配列の画素から出力される画素信号は、画素信号Ｒ００、画素信号Ｇ０１、画素信号Ｇ１０、および画素信号Ｂ１１となる。
　また、ベイヤ配列画素の撮像部２１において間引き走査で画素信号を出力する場合、図示するように破線の丸印が付けられた一部の画素が選択対象となって、それらの画素から画素信号が出力される。従って、撮像部２１から出力される左上隅の２×２配列の画素から出力される画素信号は、画素信号Ｒ００、画素信号Ｇ０３、画素信号Ｇ３０、および画素信号Ｂ３３となる。なお、間引き走査で画素信号を出力する場合において、選択対象となっていない画素の画素加算を行って、画素加算された画素信号を出力してもよい。
　そして、ベイヤ配列画素の撮像部２１から出力された画素信号は、例えば、撮像処理部２２においてデモザイク処理が施され、その処理により取得される画素データｚが、記憶部２３に記憶される。
　一方、Raw画素の撮像部２１は、ベイヤ配列画素のようなカラーフィルタが設けられずに構成され、全ての波長域の光の輝度値を表す画素信号ｚが画素から出力される。
　例えば、Raw画素の撮像部２１において通常走査で画素信号を出力する場合、全ての画素から画素信号が出力される。従って、撮像部２１から出力される左上隅の２×２画素の画素信号は、画素信号ｚ００、画素信号ｚ０１、画素信号ｚ１０、および画素信号ｚ１１となる。これらの画素信号ｚは、撮像処理部２２において処理が施されることなく、画素データｚとして用いられる。
　また、Raw画素の撮像部２１において間引き走査で画素信号を出力する場合、図示するように破線の丸印が付けられた一部の画素が選択対象となって、それらの画素から画素信号が出力される。従って、撮像部２１から出力される左上隅の２×２画素の画素信号は、画素信号ｚ００、画素信号ｚ０２、画素信号ｚ２０、および画素信号ｚ２２となる。これらの画素信号ｚは、撮像処理部２２において処理が施されることなく、画素データｚとして用いられる。なお、間引きされた画像も、デコード時に元の解像度に復元することが可能である。
　図３は、記憶部２３およびエンコード部２５の構成例を説明するブロック図である。
　記憶部２３は、ラインメモリ３１、フレームメモリ３２、およびネットワークデータメモリ３３を備えて構成される。
　ラインメモリ３１は、撮像処理部２２から供給される画素データを画像の１ラインごとに記憶する。フレームメモリ３２は、ラインメモリ３１から供給される１ラインごとの画素データを記憶し、１フレーム分の画素データを記憶する。ネットワークデータメモリ３３は、例えば、エンコード部２５から出力されるエンコード済みの画素データを記憶する。
　エンコード部２５は、入力データバッファ４１、畳み込み演算処理部４２、および出力データバッファ４３を備えて構成される。
　入力データバッファ４１は、DMA処理部２４によるメモリアクセスに従って記憶部２３のフレームメモリ３２から転送される画素データを一時的に記憶し、順次、畳み込み演算処理部４２に画素データを入力する。
　畳み込み演算処理部４２は、入力データバッファ４１を介して入力される画素データが表す画素値（以下、入力画素値と称する）に対して畳み込み演算処理を行う。例えば、畳み込み演算処理部４２は、フィルタ数Ｍに応じた個数の演算器４４－１乃至４４－Ｍを有して構成され、入力画素値に対する畳み込み演算処理を行うことによってフィルタ数Ｍ分の畳み込み層出力画素値を取得する。そして、畳み込み演算処理部４２は、フィルタ数Ｍ分の畳み込み層出力画素値を、エンコード済みの画素データとして出力データバッファ４３に出力する。なお、演算器４４の詳細な構成については、図４を参照して後述する。
　出力データバッファ４３は、畳み込み演算処理部４２から供給されるエンコード済みの画素データを一時的に記憶し、DMA処理部２４によるメモリアクセスに従って順次、フレームメモリ３２のネットワークデータメモリ３３に出力する。
　図４は、演算器４４の構成例を示すブロック図である。
　演算器４４は、積和演算処理部５１、加算器５２、および乗算器５３を備えて構成される。
　積和演算処理部５１は、入力データバッファ４１を介して供給される入力画素値に対して積和演算処理を行う。例えば、積和演算処理部５１は、チャネル数Ｋに応じた個数の演算器５４－１乃至５４－Ｋを有して構成され、入力画素値に対する積和演算処理を行うことによってチャネル数Ｋ分の積和演算結果を取得し、加算器５２に供給する。
　加算器５２は、積和演算処理部５１から供給されるチャネル数Ｋ分の積和演算結果を加算し、入力データバッファ４１を介して供給されるバイアス値を加算する演算を行い、その演算の結果として得られる畳み込み値を、乗算器５３に供給する。
　乗算器５３は、加算器５２から供給される畳み込み値を、入力データバッファ４１を介して供給される活性化演算子に入力することによって活性化演算を行い、その活性化演算の結果として得られる畳み込み層出力画素値を出力データバッファ４３に出力する。
　図５は、演算器５４の構成例を示すブロック図である。
　演算器５４は、データバッファ６１、シフトレジスタ６２、フィルタバッファ６３、乗算器６４、および加算器６５を備えて構成される。
　データバッファ６１には、入力データバッファ４１を介して入力画素値ｚとなる画素データが供給され、データバッファ６１は、フィルタサイズに従ったサイズの配列の入力画素値ｚを逐次的に記憶し、適宜、乗算器６４に入力画素値ｚを供給する。図示する例では、３×３配列の９個の入力画素値ｚがデータバッファ６１に記憶されている。
　シフトレジスタ６２は、データバッファ６１に記憶された１行目および２行目の入力画素値ｚが入力され、制御部２８による制御に従ったシフト値で入力画素値ｚをシフトして、それぞれデータバッファ６１の２行目および３行目に出力する。なお、図示するシフトレジスタ６２の構成は例示であって、１行目および２行目の入力画素値ｚが入力される以外の構成であってもよい。
　フィルタバッファ６３には、入力データバッファ４１を介してフィルタ係数ｈとなる重みデータが供給され、フィルタバッファ６３は、フィルタサイズに従ったサイズの配列のフィルタ係数ｈを逐次的に記憶し、適宜、乗算器６４にフィルタ係数ｈを供給する。図示する例では、３×３配列の９個のフィルタ係数ｈがフィルタバッファ６３に記憶されている。
　乗算器６４は、データバッファ６１から供給される３×３配列の入力画素値ｚと、フィルタバッファ６３から供給される３×３配列のフィルタ係数ｈとを乗算する演算を行い、その演算の結果として得られる乗算値を加算器６５に供給する。
　加算器６５は、乗算器６４から供給される３×３配列分の乗算値を加算する演算を行うことによって積和演算結果を取得して、図４の加算器５２に供給する。
　また、図６に示すように、乗算器６４および加算器６５は、入力画素値ｚとフィルタ係数ｈとを並べ替えて、並列積和演算（ベクトル演算）を行ってもよい。
　＜畳み込み層の演算＞
　図７乃至図１０を参照して、エンコード部２５において実行される畳み込み演算について説明する。
　図７には、畳み込み演算で用いられる演算式の一例が示されている。
　図示するように、畳み込み値ｕｉｊｍは、入力画素値ｚｉ＋ｐ，ｊ＋ｑ，ｋ （ｌ－１）とフィルタ係数ｈｐｑｋｍとを積和演算して積和演算結果を取得し、入力画像のチャネル数Ｋ分の積和演算結果およびバイアス値ｂｉｊｍを加算することによって求められる。そして、畳み込み層出力画素値ｚｉｊｍ （ｌ）は、畳み込み値ｕｉｊｍを活性化演算子ｆ（・）に入力して行われる活性化演算によって求められる。
　図８を参照して、入力画像の画像サイズが縦Ｗ×横Ｗであって、チャネル数Ｋの入力画像がエンコード部２５の演算器５４－１乃至５４－Ｋそれぞれに入力され、３つのフィルタ（フィルタ数Ｍ＝３）を用いて行われる畳み込み演算処理について説明する。なお、入力画像の画像サイズは、縦および横が同一のサイズである必要はない。
　第１のフィルタ（ｍ＝０）では、それぞれの演算器５４の乗算器６４（図５）が、Ｈ×Ｈ配列の入力画素値ｚｉ＋ｐ，ｊ＋ｑ，ｋ （ｌ－１）と、Ｈ×Ｈ配列のフィルタ係数ｈｐｑｋ０とを乗算する演算を行う。この一点鎖線で囲われた領域における演算は、図７の演算式において一点鎖線で囲われた領域の演算に対応する。
　そして、第１のフィルタ（ｍ＝０）では、それぞれの演算器５４の加算器６５（図５）が、乗算器６４による演算の結果として得られるＨ×Ｈ配列の乗算値を加算する演算を行うことによって積和演算結果を取得して加算器５２（図４）に供給する。加算器５２は、チャネル数Ｋ分の積和演算結果およびバイアス値ｂｉｊ０を加算する演算を行って畳み込み値ｕｉｊ０を取得し、乗算器５３が、畳み込み値ｕｉｊ０を活性化演算子ｆ（・）に入力して活性化演算を行うことによって畳み込み層出力画素値ｚｉｊ０ （ｌ）を取得する。この破線で囲われた領域における演算は、図７の演算式において破線で囲われた領域の演算に対応する。
　また、第１のフィルタ（ｍ＝０）と同様に、第２のフィルタ（ｍ＝１）および第３のフィルタ（ｍ＝２）においても、畳み込み層出力画素値ｚｉｊ１ （ｌ）および畳み込み層出力画素値ｚｉｊ２ （ｌ）を取得することができる。
　このように、畳み込み演算は、フィルタごとに、一点鎖線で囲われた部分に対応する第１の演算処理である積和演算と、破線で囲われた部分に対応する第２の演算処理である和演算および活性化演算とに分解することができる。
　図９を参照して、第１の演算処理について説明し、図１０を参照して、第２の演算処理について説明する。また、図９および図１０には、赤色Ｒの画像、緑色Ｇの画像、および青色Ｂの画像が用いられ、チャネル数Ｋが３である場合の処理例が示されている。
　図９に示すように、例えば、赤色Ｒの画像の入力画素値が、記憶部２３から入力データバッファ４１を介して、演算器５４－ｋ（例えば、ｋ＝０）のシフトレジスタ６２に格納される。そして、シフトレジスタ６２からフィルタ演算の対象となる対象画素の３×３配列分の入力画素値（例えば、R00,R01,R02,R10,R11,R12,R20,R21,R22）がデータバッファ６１に格納される。また、フィルタバッファ６３には、３×３配列分のフィルタ係数（例えば、h00,h01,h02,h10,h11,h12,h20,h21,h22）が格納される。そして、乗算器６４によって、データバッファ６１に格納されている入力画素値とフィルタバッファ６３に格納されているフィルタ係数とが乗算され、その乗算結果が、加算器６５によって加算されることにより取得された積和演算結果が出力される。
　同様に、緑色Ｇの画像が演算器５４－ｋ（例えば、ｋ＝１）に入力され、青色Ｂの画像が演算器５４－ｋ（例えば、ｋ＝２）に入力され、それぞれ積和演算結果が出力される。
　このように、第１の演算処理として、対象画素に対してフィルタ演算を行う積和演算が行われる。
　図１０に示すように、チャネル数に応じて並列的に第１の演算処理が行われることで出力される積和演算結果（ｋ＝０）、積和演算結果（ｋ＝１）、および積和演算結果（ｋ＝２）が、加算器５２によって加算される。さらに、加算器５２によってバイアス値ｂが加算されることで畳み込み値ｕが取得され、乗算器５３によって、畳み込み値ｕを活性化演算子ｆ（・）に入力して活性化演算が行われる。これにより、畳み込み層出力画素値ｚ（ｌ）が出力される。
　このように、第２の演算処理として、チャネルごとに行われた第１の演算処理の処理結果を加算する和演算、および、活性化演算子ｆ（・）に従った活性化演算が行われる。また、フィルタ数に応じて並列的に第２の演算処理が行われる。
　＜入力画像の転送方法＞
　図１１を参照して、入力画像の転送方法について説明する。
　例えば、撮像素子１１では、撮像部２１において１ラインごとに撮像することで得られる入力画像の画素データが記憶部２３に供給され、ラインメモリ３１を介してフレームメモリ３２に記憶される。そして、DMA処理部２４によるメモリアクセスに従って、フレームメモリ３２から入力データバッファ４１に入力画像の画素データが転送される。
　図１１のＡは、フィルタ係数の個数に応じた入力画像の画素データを転送する第１の転送方法（シフトレジスタ６２は使用しない転送方法）を説明する図である。
　図１１のＡには、３×３配列のフィルタサイズが用いられてフィルタ係数の個数である９個の画素データが転送され、スライド数が１画素である場合の例が示されている。例えば、一点鎖線で囲われた９個の画素データがフレームメモリ３２から入力データバッファ４１に転送される。そして、それらの９個の画素データに対する畳み込み演算処理が完了すると、スライド数である１画素分だけシフトして、二点鎖線で囲われた９個の画素データがフレームメモリ３２から入力データバッファ４１に転送される。
　図１１のＢは、入力画像を複数のタイルに分割し、それらのタイルごとに画素データを転送する第２の転送方法を説明する図である。
　図１１のＢには、入力画像を４つのタイルに分割した場合の例が示されている。例えば、破線で囲われている画素データが１つのタイルとされ、そのタイルの画素データがフレームメモリ３２から入力データバッファ４１に転送される。そして、そのタイルの画素データに対する畳み込み演算処理が完了すると、次のタイルを処理対象として、次のタイルの画素データがフレームメモリ３２から入力データバッファ４１に転送される。
　図１１のＣは、入力画像の全ての画素データを転送する第３の転送方法を説明する図である。
　図１１のＣにおいて破線で囲われている入力画像の全ての画素データが、フレームメモリ３２から入力データバッファ４１に転送される。
　＜畳み込み演算処理の処理例＞
　図１２は、エンコード部２５において実行される畳み込み演算処理の第１の処理例について説明するフローチャートである。第１の処理例では、図１１のＡを参照して説明したように、フィルタ係数の個数に応じて入力画像の画素データを転送する第１の転送方法が用いられる。
　ステップＳ１１において、DMA処理部２４によるメモリアクセスに従って、フィルタ係数の個数に応じた入力画像の画素データが、記憶部２３のフレームメモリ３２から畳み込み演算処理部４２の入力データバッファ４１に転送される。
　ステップＳ１２において、畳み込み演算処理部４２では、フィルタ数Ｍに応じた個数の演算器４４－１乃至４４－Ｍが、ステップＳ１１で入力データバッファ４１に転送された個数の入力画像の画素データに対する畳み込み演算処理を行う。
　ステップＳ１３において、演算器４４－１乃至４４－Ｍそれぞれの積和演算処理部５１では、チャネル数Ｋに応じた個数の演算器５４－１乃至５４－Ｋが、ステップＳ１１で入力データバッファ４１に転送された個数の入力画像の画素データとフィルタ係数との積和演算処理を行う。なお、ステップＳ１３の積和演算処理は、ステップＳ１２の畳み込み演算処理の一部として行うことができる。
　ステップＳ１４において、畳み込み演算処理部４２は、ステップＳ１１で入力データバッファ４１に転送された入力画像分の畳み込み演算処理が完了したか否かを判定する。
　ステップＳ１４において、入力画像分の畳み込み演算処理が完了していないと判定された場合、処理はステップＳ１５に進む。
　ステップＳ１５において、DMA処理部２４は、記憶部２３のフレームメモリ３２から畳み込み演算処理部４２の入力データバッファ４１へ転送する画素データを、スライド数に応じてシフトする。その後、処理はステップＳ１１に戻り、そのシフトに従って次の画素データが転送され、以下、同様の処理が繰り返して行われる。
　一方、ステップＳ１４において、入力画像分の畳み込み演算処理が完了したと判定された場合、畳み込み演算処理は終了される。
　図１３は、エンコード部２５において実行される畳み込み演算処理の第２の処理例について説明するフローチャートである。第２の処理例では、図１１のＢを参照して説明したように、タイルごとに画素データを転送する第２の転送方法が用いられる。
　ステップＳ２１において、DMA処理部２４によるメモリアクセスに従って、１つのタイル分の入力画像の画素データが、記憶部２３のフレームメモリ３２から畳み込み演算処理部４２の入力データバッファ４１に転送される。
　ステップＳ２２において、畳み込み演算処理部４２では、フィルタ数Ｍに応じた個数の演算器４４－１乃至４４－Ｍが、ステップＳ２１で入力データバッファ４１に転送された１つのタイル分の入力画像の画素データに対する畳み込み演算処理を行う。
　ステップＳ２３において、演算器４４－１乃至４４－Ｍそれぞれの積和演算処理部５１では、チャネル数Ｋに応じた個数の演算器５４－１乃至５４－Ｋが、ステップＳ２１で入力データバッファ４１に転送された１つのタイル分の入力画像の画素データとフィルタ係数との積和演算処理を行う。このとき、図５を参照して説明したように、演算器５４では、データバッファ６１に記憶されるフィルタサイズに従ったサイズの画素データが積和演算処理の対象とされ、残りの画素データは、シフトレジスタ６２に保持される。なお、ステップＳ２３の積和演算処理は、ステップＳ２２の畳み込み演算処理の一部として行うことができる。
　ステップＳ２４において、演算器５４は、ステップＳ１１で入力データバッファ４１に転送された入力画像分の畳み込み演算処理が完了したか否かを判定する。
　ステップＳ２４において、入力画像分の畳み込み演算処理が完了していないと判定された場合、ステップＳ２５に進む。ステップＳ２５において、演算器５４は、シフトレジスタ６２に保持されている画素データを、制御部２８による制御に従ったシフト値に応じてスライドさせ、そのスライド後にデータバッファ６１に記憶された画素データを積和演算処理の対象とする。そして、処理はステップＳ２３に戻り、積和演算処理が継続して行われる。
　一方、ステップＳ２４において、入力画像分の畳み込み演算処理が完了したと判定された場合、ステップＳ２６に進む。ステップＳ２６において、畳み込み演算処理部４２は、全てのタイルに対する畳み込み演算処理が終了してタイリングが完成したか否かを判定する。
　ステップＳ２６において、タイリングが完了していないと判定された場合、処理はステップＳ２７に進む。ステップＳ２７において、DMA処理部２４は、記憶部２３のフレームメモリ３２から畳み込み演算処理部４２の入力データバッファ４１へ転送する画素データについて、次のタイルを処理対象とする。その後、処理はステップＳ１１に戻り、次のタイルの画素データが転送され、以下、同様の処理が繰り返して行われる。
　一方、ステップＳ２６において、タイリングが完了したと判定された場合、畳み込み演算処理は終了される。
　なお、図１３を参照して説明した畳み込み演算処理を、図１１のＣを参照して説明したような入力画像の全ての画素データを転送する第３の転送方法に適用してもよく、この場合、ステップＳ２６およびＳ２７の処理を省略して、ステップＳ２４の処理で入力画像分の畳み込み演算処理が完了したと判定されると畳み込み演算処理が終了される。
　＜積層型の撮像素子の構成例＞
　図１４は、積層型の撮像素子１１の構成例について説明する図である。
　図１４のＡに示す積層型の撮像素子１１Ａは、複数の画素がセンサ面に行列状に配置される撮像部２１が設けられたセンサ基板７１と、エンコード部２５などが設けられたロジック基板７２とが積層された積層構造となっている。
　図１４のＢに示す積層型の撮像素子１１Ｂは、積層型の撮像素子１１Ａと同様にセンサ基板７１およびロジック基板７２が積層されるのに加えて、記憶部２３などが設けられたメモリ基板７３が積層された積層構造となっている。
　例えば、積層型の撮像素子１１Ａおよび積層型の撮像素子１１Ｂでは、それぞれの基板の間における電気的および機械的な接続に、TSV（through-silicon via）を利用した構造や、Cu-Cu接合を利用した構造などを採用することができる。
　＜電子機器の構成例＞
　上述したような撮像素子１１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像システム、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
　図１５は、電子機器に搭載される撮像装置の構成例を示すブロック図である。
　図１５に示すように、撮像装置１０１は、光学系１０２、撮像素子１０３、信号処理回路１０４、モニタ１０５、およびメモリ１０６を備えて構成され、静止画像および動画像を撮像可能である。
　光学系１０２は、１枚または複数枚のレンズを有して構成され、被写体からの像光（入射光）を撮像素子１０３に導き、撮像素子１０３の受光面（センサ部）に結像させる。
　撮像素子１０３としては、上述した撮像素子１１が適用される。撮像素子１０３には、光学系１０２を介して受光面に結像される像に応じて、一定期間、電子が蓄積される。そして、撮像素子１０３に蓄積された電子に応じた信号が信号処理回路１０４に供給される。
　信号処理回路１０４は、撮像素子１０３から出力された画素信号に対して各種の信号処理を施す。信号処理回路１０４が信号処理を施すことにより得られた画像（画像データ）は、モニタ１０５に供給されて表示されたり、メモリ１０６に供給されて記憶（記録）されたりする。
　このように構成されている撮像装置１０１では、上述した撮像素子１１を適用することで、例えば、より高速に画像を撮像することができる。
　＜イメージセンサの使用例＞
　図１６は、上述のイメージセンサ（撮像素子）を使用する使用例を示す図である。
　上述したイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
　・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　チャネル数に応じた個数の第１の演算器を有し、それぞれの前記第１の演算器において入力画像の画素データである入力画素値とフィルタ係数との積和演算処理を行うことによって前記チャネル数分の積和演算結果を取得する積和演算処理部と、
　フィルタ数に応じた個数の第２の演算器を有し、それぞれの前記第２の演算器において前記積和演算結果を用いた畳み込み演算処理を行うことによって前記フィルタ数分の畳み込み層出力画素値を取得して、エンコード済みの画素データとして出力する畳み込み演算処理を行う畳み込み演算処理部と
　を備える信号処理装置。
（２）
　前記第２の演算器それぞれが、前記積和演算処理部を有して構成される
　上記（１）に記載の信号処理装置。
（３）
　前記第１の演算器は、
　　フィルタサイズに従ったサイズの前記入力画素値を逐次的に記憶するデータバッファと、
　　前記フィルタサイズに従ったサイズの前記フィルタ係数を逐次的に記憶するフィルタバッファと、
　　前記データバッファに記憶されている前記入力画素値と前記フィルタバッファに記憶されている前記フィルタ係数とを乗算することによって前記フィルタサイズに応じた所定数の乗算値を求める第１の乗算器と、
　　前記第１の乗算器により求められた所定数の前記乗算値を加算することで前記積和演算結果を求める第１の加算器
　を有する
　上記（１）または（２）に記載の信号処理装置。
（４）
　前記第２の演算器は、
　　前記積和演算処理部から出力される前記チャネル数分の前記積和演算結果それぞれを加算し、所定のバイアス値を加算することによって畳み込み値を求める第２の加算器と、　　前記畳み込み値を、所定の活性化演算子に入力して前記積和演算結果を求める第２の乗算器と
　をさらに有する
　上記（１）から（３）までのいずれかに記載の信号処理装置。
（５）
　前記畳み込み演算処理部に入力される前記入力画素値を一時的に記憶する入力バッファをさらに備え、
　前記入力画像を記憶する記憶部から前記入力バッファへ、前記フィルタ係数の個数に応じた前記入力画素値が転送される
　上記（１）から（４）までのいずれかに記載の信号処理装置。
（６）
　前記畳み込み演算処理部に入力される前記入力画素値を一時的に記憶する入力バッファをさらに備え、
　前記入力画像を記憶する記憶部から前記入力バッファへ、前記入力画像を複数のタイルに分割した前記タイルごとに前記入力画素値が転送される
　上記（１）から（４）までのいずれかに記載の信号処理装置。
（７）
　チャネル数に応じた個数の第１の演算器を有する積和演算処理部と、フィルタ数に応じた個数の第２の演算器を有する畳み込み演算処理部とを備える信号処理装置が、
　それぞれの前記第１の演算器において入力画像の画素データである入力画素値とフィルタ係数との積和演算処理を行うことによって前記チャネル数分の積和演算結果を取得することと、
　それぞれの前記第２の演算器において前記積和演算結果を用いた畳み込み演算処理を行うことによって前記フィルタ数分の畳み込み層出力画素値を取得して、エンコード済みの画素データとして出力する畳み込み演算処理を行うことと
　を含む信号処理方法。
（８）
　チャネル数に応じた個数の第１の演算器を有し、それぞれの前記第１の演算器において入力画像の画素データである入力画素値とフィルタ係数との積和演算処理を行うことによって前記チャネル数分の積和演算結果を取得する積和演算処理部と、
　フィルタ数に応じた個数の第２の演算器を有し、それぞれの前記第２の演算器において前記積和演算結果を用いた畳み込み演算処理を行うことによって前記フィルタ数分の畳み込み層出力画素値を取得して、エンコード済みの画素データとして出力する畳み込み演算処理を行う畳み込み演算処理部と
　を有する信号処理部を備える固体撮像素子。
（９）
　複数の画素がセンサ面に行列状に配置される撮像部が設けられたセンサ基板と、前記信号処理部が設けられたロジック基板とが積層された積層構造である
　上記（８）に記載の固体撮像素子。
（１０）
　前記撮像部から出力される画素信号に基づいた画素データを記憶する記憶部が設けられたメモリ基板がさらに積層された積層構造である
　上記（９）に記載の固体撮像素子。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　撮像素子，　２１　撮像部，　２２　撮像処理部，　２３　記憶部，　２４　DMA処理部，　２５　エンコード部，　２６　送信部，　２７　受信部，　２８　制御部，　３１　ラインメモリ，　３２　フレームメモリ，　３３　ネットワークデータメモリ，　４１　入力データバッファ，　４２　畳み込み演算処理部，　４３　出力データバッファ，　４４　演算器，　５１　積和演算処理部，　５２　加算器，　５３　乗算器，　５４　演算器，　６１　データバッファ，　６２　シフトレジスタ，　６３　フィルタバッファ，　６４　乗算器，　６５　加算器，　７１　センサ基板，　７２　ロジック基板，　７３　メモリ基板

Claims (10)

  1. 　チャネル数に応じた個数の第１の演算器を有し、それぞれの前記第１の演算器において入力画像の画素データである入力画素値とフィルタ係数との積和演算処理を行うことによって前記チャネル数分の積和演算結果を取得する積和演算処理部と、
    　フィルタ数に応じた個数の第２の演算器を有し、それぞれの前記第２の演算器において前記積和演算結果を用いた畳み込み演算処理を行うことによって前記フィルタ数分の畳み込み層出力画素値を取得して、エンコード済みの画素データとして出力する畳み込み演算処理を行う畳み込み演算処理部と
    　を備える信号処理装置。
  2. 　前記第２の演算器それぞれが、前記積和演算処理部を有して構成される
    　請求項１に記載の信号処理装置。
  3. 　前記第１の演算器は、
    　　フィルタサイズに従ったサイズの前記入力画素値を逐次的に記憶するデータバッファと、
    　　前記フィルタサイズに従ったサイズの前記フィルタ係数を逐次的に記憶するフィルタバッファと、
    　　前記データバッファに記憶されている前記入力画素値と前記フィルタバッファに記憶されている前記フィルタ係数とを乗算することによって前記フィルタサイズに応じた所定数の乗算値を求める第１の乗算器と、
    　　前記第１の乗算器により求められた所定数の前記乗算値を加算することで前記積和演算結果を求める第１の加算器
    　を有する
    　請求項１に記載の信号処理装置。
  4. 　前記第２の演算器は、
    　　前記積和演算処理部から出力される前記チャネル数分の前記積和演算結果それぞれを加算し、所定のバイアス値を加算することによって畳み込み値を求める第２の加算器と、　　前記畳み込み値を、所定の活性化演算子に入力して前記積和演算結果を求める第２の乗算器と
    　をさらに有する
    　請求項１に記載の信号処理装置。
  5. 　前記畳み込み演算処理部に入力される前記入力画素値を一時的に記憶する入力バッファをさらに備え、
    　前記入力画像を記憶する記憶部から前記入力バッファへ、前記フィルタ係数の個数に応じた前記入力画素値が転送される
    　請求項１に記載の信号処理装置。
  6. 　前記畳み込み演算処理部に入力される前記入力画素値を一時的に記憶する入力バッファをさらに備え、
    　前記入力画像を記憶する記憶部から前記入力バッファへ、前記入力画像を複数のタイルに分割した前記タイルごとに前記入力画素値が転送される
    　請求項１に記載の信号処理装置。
  7. 　チャネル数に応じた個数の第１の演算器を有する積和演算処理部と、フィルタ数に応じた個数の第２の演算器を有する畳み込み演算処理部とを備える信号処理装置が、
    　それぞれの前記第１の演算器において入力画像の画素データである入力画素値とフィルタ係数との積和演算処理を行うことによって前記チャネル数分の積和演算結果を取得することと、
    　それぞれの前記第２の演算器において前記積和演算結果を用いた畳み込み演算処理を行うことによって前記フィルタ数分の畳み込み層出力画素値を取得して、エンコード済みの画素データとして出力する畳み込み演算処理を行うことと
    　を含む信号処理方法。
  8. 　チャネル数に応じた個数の第１の演算器を有し、それぞれの前記第１の演算器において入力画像の画素データである入力画素値とフィルタ係数との積和演算処理を行うことによって前記チャネル数分の積和演算結果を取得する積和演算処理部と、
    　フィルタ数に応じた個数の第２の演算器を有し、それぞれの前記第２の演算器において前記積和演算結果を用いた畳み込み演算処理を行うことによって前記フィルタ数分の畳み込み層出力画素値を取得して、エンコード済みの画素データとして出力する畳み込み演算処理を行う畳み込み演算処理部と
    　を有する信号処理部を備える固体撮像素子。
  9. 　複数の画素がセンサ面に行列状に配置される撮像部が設けられたセンサ基板と、前記信号処理部が設けられたロジック基板とが積層された積層構造である
    　請求項８に記載の固体撮像素子。
  10. 　前記撮像部から出力される画素信号に基づいた画素データを記憶する記憶部が設けられたメモリ基板がさらに積層された積層構造である
    　請求項９に記載の固体撮像素子。
PCT/JP2022/042321 2021-11-29 2022-11-15 信号処理装置および信号処理方法、並びに固体撮像素子 WO2023095666A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021193434 2021-11-29
JP2021-193434 2021-11-29

Publications (1)

Publication Number Publication Date
WO2023095666A1 true WO2023095666A1 (ja) 2023-06-01

Family

ID=86539629

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/042321 WO2023095666A1 (ja) 2021-11-29 2022-11-15 信号処理装置および信号処理方法、並びに固体撮像素子

Country Status (1)

Country Link
WO (1) WO2023095666A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017079017A (ja) * 2015-10-21 2017-04-27 キヤノン株式会社 畳み込み演算装置
JP2020047191A (ja) * 2018-09-21 2020-03-26 ソニーセミコンダクタソリューションズ株式会社 固体撮像システム、固体撮像装置、情報処理装置、画像処理方法及びプログラム
WO2020235363A1 (ja) * 2019-05-22 2020-11-26 ソニーセミコンダクタソリューションズ株式会社 受光デバイス、固体撮像装置、電子機器及び情報処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017079017A (ja) * 2015-10-21 2017-04-27 キヤノン株式会社 畳み込み演算装置
JP2020047191A (ja) * 2018-09-21 2020-03-26 ソニーセミコンダクタソリューションズ株式会社 固体撮像システム、固体撮像装置、情報処理装置、画像処理方法及びプログラム
WO2020235363A1 (ja) * 2019-05-22 2020-11-26 ソニーセミコンダクタソリューションズ株式会社 受光デバイス、固体撮像装置、電子機器及び情報処理システム

Similar Documents

Publication Publication Date Title
US10582151B2 (en) Camera system, video processing apparatus, and camera apparatus
US10535687B2 (en) Solid-state imaging device and electronic apparatus
CN111201780A (zh) 成像装置和方法以及图像处理装置和方法
JP2009027488A (ja) 撮像回路および撮像装置
JP2019161577A (ja) 撮像装置、画素補正処理回路、及び、画素補正処理方法
JP6014349B2 (ja) 撮像装置、制御方法、及びプログラム
WO2023095666A1 (ja) 信号処理装置および信号処理方法、並びに固体撮像素子
CN104349146A (zh) 固态成像装置、其驱动方法以及电子设备
WO2014091706A1 (ja) 撮像装置
JP2004193911A (ja) 画像処理装置および画像処理方法、デジタルスチルカメラ
JP4286124B2 (ja) 画像信号処理装置
WO2007119430A1 (ja) 画像処理システム
JP5912586B2 (ja) 画像信号処理方法及び画像信号処理回路、並びに撮像装置
JP2006262382A (ja) 画像処理装置
JP7022544B2 (ja) 画像処理装置及び方法、及び撮像装置
JP2012253490A (ja) 固体撮像装置、撮像装置及び画像生成方法
JP2017175500A (ja) カラー画像撮像方法、カラー画像補間処理方法および撮像装置
Kumar et al. A New Approach of Improving CFA Image for Digital Camera's
JP2006180108A (ja) デジタルカメラ
JP2013251680A (ja) 画像処理装置及び画像処理方法
JPH10191365A (ja) 電子スチルカメラ
JPH09261498A (ja) 撮像装置
JP2006041799A (ja) 画像信号処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22898450

Country of ref document: EP

Kind code of ref document: A1