WO2021187350A1 - 固体撮像装置 - Google Patents

固体撮像装置 Download PDF

Info

Publication number
WO2021187350A1
WO2021187350A1 PCT/JP2021/010003 JP2021010003W WO2021187350A1 WO 2021187350 A1 WO2021187350 A1 WO 2021187350A1 JP 2021010003 W JP2021010003 W JP 2021010003W WO 2021187350 A1 WO2021187350 A1 WO 2021187350A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processing
image data
dnn
dsp
Prior art date
Application number
PCT/JP2021/010003
Other languages
English (en)
French (fr)
Inventor
和幸 奥池
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN202180020505.2A priority Critical patent/CN115280760A/zh
Priority to US17/798,085 priority patent/US12101571B2/en
Publication of WO2021187350A1 publication Critical patent/WO2021187350A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Definitions

  • This disclosure relates to a solid-state image sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • DSP Digital Signal Processor
  • the present disclosure proposes a solid-state image sensor capable of appropriately executing the process.
  • an imaging unit that acquires image data, a DNN process for the image data, and a read-out process for the image data are executed in parallel, and the DNN for the image data is executed. It includes a control unit that executes noise reduction processing on the image data read when the processing and the reading processing of the image data are executed in parallel.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a digital camera to which the present technology is applied.
  • the digital camera can capture both still images and moving images.
  • the digital camera has an optical system 1, an image pickup device 2, a memory 3, a signal processing unit 4, an output unit 5, and a control unit 6.
  • the optical system 1 has, for example, a zoom lens (not shown), a focus lens, an aperture, and the like, and causes light from the outside to enter the image pickup device 2.
  • the image pickup device 2 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor composed of one chip, receives incident light from the optical system 1, performs photoelectric conversion, and converts it into the incident light from the optical system 1. Output the corresponding image data.
  • CMOS Complementary Metal Oxide Semiconductor
  • the image pickup apparatus 2 performs, for example, recognition processing for recognizing a predetermined recognition target and other signal processing using image data and the like, and outputs the signal processing result of the signal processing.
  • the memory 3 temporarily stores image data and the like output by the image pickup device 2.
  • the signal processing unit 4 performs processing such as noise removal and white balance adjustment as camera signal processing using the image data stored in the memory 3 as necessary, and supplies the signal processing unit 4 to the output unit 5. ..
  • the output unit 5 outputs the image data from the signal processing unit 4 and the signal processing result stored in the memory 3.
  • the output unit 5 has, for example, a display (not shown) composed of a liquid crystal display or the like, and displays an image corresponding to the image data from the signal processing unit 4 as a so-called through image.
  • the output unit 5 has, for example, a driver (not shown) for driving a recording medium such as a semiconductor memory, a magnetic disk, or an optical disk, and image data from the signal processing unit 4 or a signal stored in the memory 3. The processing result is recorded on a recording medium.
  • a driver for driving a recording medium such as a semiconductor memory, a magnetic disk, or an optical disk, and image data from the signal processing unit 4 or a signal stored in the memory 3. The processing result is recorded on a recording medium.
  • the output unit 5 functions as an I / F (Interface) that transmits data to and from an external device, for example, and outputs image data from the signal processing unit 4, image data recorded on a recording medium, and the like. , Transmit to an external device.
  • I / F Interface
  • the control unit 6 controls each block constituting the digital camera according to a user operation or the like.
  • the image pickup device 2 captures an image. That is, the image pickup apparatus 2 receives the incident light from the optical system 1 and performs photoelectric conversion, and acquires and outputs image data corresponding to the incident light.
  • the image data output by the image pickup device 2 is supplied to the memory 3 and stored.
  • the image data stored in the memory 3 is subjected to camera signal processing by the signal processing unit 4, and the image data obtained as a result is supplied to the output unit 5 and output.
  • the imaging device 2 performs signal processing using the image (data) obtained by imaging, and outputs the signal processing result of the signal processing.
  • the signal processing result output by the image pickup apparatus 2 is stored in, for example, the memory 3.
  • the imaging device 2 the output of the image itself obtained by imaging and the output of the signal processing result of signal processing using the image or the like are selectively performed.
  • FIG. 2 is a block diagram showing a configuration example of the image pickup apparatus 2 of FIG.
  • the image pickup device 2 has an image pickup block 20 and a signal processing block 30.
  • the imaging block 20 and the signal processing block 30 are electrically connected by connecting lines (internal bus) CL1, CL2, and CL3.
  • the image pickup block 20 has an image pickup unit 21, an image pickup processing unit 22, an output control unit 23, an output I / F (Interface) 24, and an image pickup control unit 25, and captures an image.
  • the imaging unit 21 is configured by arranging a plurality of pixels in two dimensions.
  • the image pickup unit 21 is driven by the image pickup processing unit 22 to take an image.
  • the light from the optical system 1 (FIG. 1) is incident on the imaging unit 21.
  • the imaging unit 21 receives the incident light from the optical system 1 in each pixel, performs photoelectric conversion, and outputs an analog image signal corresponding to the incident light.
  • the size of the image (signal) output by the imaging unit 21 is selected from a plurality of sizes such as 12M (3968 ⁇ 2976) pixels and VGA (Video Graphics Array) size (640 ⁇ 480 pixels). be able to.
  • the image output by the imaging unit 21 for example, it is possible to select whether to use an RGB (red, green, blue) color image or a black-and-white image having only brightness.
  • RGB red, green, blue
  • the image pickup processing unit 22 is controlled by the image pickup control unit 25 to drive the image pickup unit 21, convert the analog image signal output by the image pickup unit 21 to AD (Analog to Digital), process the image pickup signal, and the like. Performs imaging processing related to imaging of the image of.
  • AD Analog to Digital
  • the image pickup signal processing for example, for the image output by the image pickup unit 21, a process of obtaining the brightness of each small area by calculating the average value of the pixel values for each predetermined small area, or There are processing for converting an image output by the imaging unit 21 into an HDR (High Dynamic Range) image, defect correction, development, and the like.
  • HDR High Dynamic Range
  • the image pickup processing unit 22 outputs a digital image signal (here, for example, a 12 Mpixel or VGA size image) obtained by AD conversion or the like of the analog image signal output by the image pickup unit 21 as an image capture image.
  • a digital image signal here, for example, a 12 Mpixel or VGA size image
  • the captured image output by the imaging processing unit 22 is supplied to the output control unit 23 and also supplied to the image compression unit 35 of the signal processing block 30 via the connection line CL2.
  • the signal processing result of signal processing using the captured image or the like is supplied from the signal processing block 30 via the connection line CL3.
  • the output control unit 23 selects the captured image from the image pickup processing unit 22 and the signal processing result from the signal processing block 30 from the (one) output I / F 24 to the outside (for example, the memory 3 in FIG. 1). Output control is performed.
  • the output control unit 23 selects the captured image from the image pickup processing unit 22 or the signal processing result from the signal processing block 30 and supplies it to the output I / F 24.
  • the output I / F 24 is an I / F that outputs the captured image supplied from the output control unit 23 and the signal processing result to the outside.
  • a relatively high-speed parallel I / F such as MIPI (Mobile Industry Processor Interface) can be adopted.
  • the captured image from the image pickup processing unit 22 or the signal processing result from the signal processing block 30 is output to the outside according to the output control of the output control unit 23. Therefore, for example, when only the signal processing result from the signal processing block 30 is required and the captured image itself is not required, only the signal processing result can be output from the output I / F 24 to the outside. The amount of data to be output can be reduced.
  • signal processing block 30 signal processing for obtaining a signal processing result required externally is performed, and the signal processing result is output from the output I / F 24, so that it is not necessary to perform signal processing externally.
  • the load on the external block can be reduced.
  • the image pickup control unit 25 has a communication I / F 26 and a register group 27.
  • the communication I / F 26 is, for example, a first communication I / F such as a serial communication I / F such as I2C (Inter-Integrated Circuit), and is an external communication (for example, a control unit 6 in FIG. 1). , Exchange necessary information such as information to be read / written to / from the register 27 group.
  • a first communication I / F such as a serial communication I / F such as I2C (Inter-Integrated Circuit)
  • I2C Inter-Integrated Circuit
  • the register group 27 has a plurality of registers and stores imaging information related to image imaging by the imaging unit 21 and various other information.
  • the register group 27 stores the imaging information received from the outside in the communication I / F 26 and the result of the imaging signal processing by the imaging processing unit 22 (for example, the brightness of each small area of the captured image).
  • the imaging information stored in the register group 27 includes, for example, ISO sensitivity (analog gain at the time of AD conversion in the imaging processing unit 22), exposure time (shutter speed), frame rate, focus, shooting mode, cropping range, and the like. There is (information representing).
  • the shooting mode includes, for example, a manual mode in which the exposure time and frame rate are manually set, and an automatic mode in which the exposure time and frame rate are automatically set according to the scene.
  • the automatic mode includes, for example, a mode corresponding to various shooting scenes such as a night view and a human face.
  • the cutout range represents a range cut out from the image output by the image pickup unit 21 when the image pickup processing unit 22 cuts out a part of the image output by the image pickup unit 21 and outputs the image as an image pickup image.
  • the cutout range for example, it is possible to cut out only the range in which a person is reflected from the image output by the imaging unit 21.
  • the image pickup control unit 25 controls the image pickup processing unit 22 according to the image pickup information stored in the register group 27, thereby controlling the image pickup by the image pickup unit 21.
  • the register group 27 can store image pickup information, the result of image pickup signal processing by the image pickup processing unit 22, and output control information related to output control by the output control unit 23.
  • the output control unit 23 can perform output control for selectively outputting the captured image and the signal processing result according to the output control information stored in the register group 27.
  • the image pickup control unit 25 and the CPU (Central Processing Unit) 31 of the signal processing block 30 are connected via the connection line CL1, and the CPU 31 is connected via the connection line CL1.
  • Information can be read and written to and from the register group 27.
  • information can be read / written from the register group 27 from the communication I / F 26 as well as from the CPU 31.
  • the signal processing block 30 has a CPU 31, a DSP (Digital Signal Processor) 32, a memory 33, a communication I / F 34, an image compression unit 35, and an input I / F 36, and captures an image captured by the image block 10. It is used to perform predetermined signal processing.
  • DSP Digital Signal Processor
  • the CPU 31 or the input I / F 36 constituting the signal processing block 30 are connected to each other via a bus, and information can be exchanged as needed.
  • the CPU 31 controls the signal processing block 30, reads and writes information to the register group 27 of the imaging control unit 25 via the connection line CL1, and various other processes. I do.
  • the CPU 31 is also called a control unit.
  • the CPU 31 functions as an imaging information calculation unit that calculates imaging information by using the signal processing result obtained by the signal processing in the DSP 32 by executing the program, and is a new calculation calculated using the signal processing result.
  • the imaging information is fed back to the register group 27 of the imaging control unit 25 via the connection line CL1 and stored.
  • the CPU 31 can control the imaging by the imaging unit 21 and the imaging signal processing by the imaging processing unit 22 according to the signal processing result of the captured image.
  • the imaging information stored in the register group 27 by the CPU 31 can be provided (output) to the outside from the communication I / F 26.
  • the focus information among the imaging information stored in the register group 27 can be provided from the communication I / F 26 to a focus driver (not shown) that controls the focus.
  • the DSP 32 executes an image stored in the memory 33 to supply an image captured from the image processing unit 22 to the signal processing block 30 via the connection line CL2 and information received from the outside by the input I / F 36. It functions as a signal processing unit that performs signal processing using.
  • the DSP 32 reads and executes a program that is pre-learned from the teacher data and stored as a learning model in the memory 33, thereby performing recognition processing using a DNN (Deep Neural Network). That is, the DSP 32 is configured as a machine learning unit.
  • DNN Deep Neural Network
  • the memory 33 is composed of SRAM (Static Random Access Memory), DRAM (Dynamic RAM), and the like, and stores data and the like necessary for processing of the signal processing block 30.
  • SRAM Static Random Access Memory
  • DRAM Dynamic RAM
  • the memory 33 is a communication I / F 34, a program received from the outside, an image image compressed by the image compression unit 35 and used for signal processing by the DSP 32, and a signal processing result of signal processing performed by the DSP 32.
  • the information received by the input I / F 36 is stored.
  • the communication I / F 34 is, for example, a second communication I / F such as a serial communication I / F such as SPI (Serial Peripheral Interface), and is with an external device (for example, the memory 3 or the control unit 6 in FIG. 1). Between them, necessary information such as a program executed by the CPU 31 and the DSP 32 is exchanged.
  • a second communication I / F such as a serial communication I / F such as SPI (Serial Peripheral Interface)
  • SPI Serial Peripheral Interface
  • the communication I / F 34 downloads a program executed by the CPU 31 or the DSP 32 from the outside, supplies the program to the memory 33, and stores the program.
  • the communication I / F34 can exchange arbitrary data in addition to the program with the outside.
  • the communication I / F 34 can output the signal processing result obtained by the signal processing in the DSP 32 to the outside.
  • the communication I / F 34 outputs information according to the instruction of the CPU 31 to an external device, whereby the external device can be controlled according to the instruction of the CPU 31.
  • the signal processing result obtained by the signal processing in the DSP 32 can be output to the outside from the communication I / F 34 and can be written to the register group 27 of the imaging control unit 25 by the CPU 31.
  • the signal processing result written in the register group 27 can be output to the outside from the communication I / F 26. The same applies to the processing result of the processing performed by the CPU 31.
  • the image compression unit 35 is supplied with an captured image from the image processing unit 22 via the connection line CL2.
  • the image compression unit 35 performs a compression process for compressing the captured image, and generates a compressed image having a smaller amount of data than the captured image.
  • the compressed image generated by the image compression unit 35 is supplied to the memory 33 via the bus and stored.
  • the signal processing in the DSP 32 can be performed by using the captured image itself or by using the compressed image generated from the captured image by the image compression unit 35. Since the compressed image has a smaller amount of data than the captured image, it is possible to reduce the load of signal processing in the DSP 32 and save the storage capacity of the memory 33 for storing the compressed image.
  • the compression process in the image compression unit 35 for example, a scale-down that converts an captured image of 12M (3968 ⁇ 2976) pixels into a VGA size image can be performed. Further, when the signal processing in the DSP 32 is performed for the luminance and the captured image is an RGB image, the compression processing includes YUV conversion for converting the RGB image into, for example, a YUV image. It can be carried out.
  • the image compression unit 35 can be realized by software or by dedicated hardware.
  • the input I / F 36 is an I / F that receives information from the outside.
  • the input I / F 36 receives, for example, the output of the external sensor (external sensor output) from the external sensor, supplies it to the memory 33 via the bus, and stores it.
  • a parallel I / F such as MIPI (Mobile Industry Processor Interface) can be adopted as in the output I / F24.
  • MIPI Mobile Industry Processor Interface
  • the external sensor for example, a distance sensor that senses information about the distance can be adopted, and further, as the external sensor, for example, an image that senses light and outputs an image corresponding to the light.
  • a sensor that is, an image sensor different from the image pickup device 2 can be adopted.
  • the input I / F 36 receives from the external sensor as described above, and the signal processing is performed using the external sensor output stored in the memory 33. Can be done.
  • the imaging unit 21 In the one-chip image pickup apparatus 2 configured as described above, signal processing using the captured image (compressed image generated from) obtained by imaging by the imaging unit 21 is performed by the DSP 32, and the signal of the signal processing is performed.
  • the processing result and the captured image are selectively output from the output I / F 24. Therefore, the imaging device that outputs the information required by the user can be configured in a small size.
  • the image pickup device 2 when the image pickup device 2 does not perform the signal processing of the DSP 32 and therefore outputs the captured image without outputting the signal processing result from the image pickup device 2, that is, the image pickup device 2 simply captures the image.
  • the image pickup device 2 When configured as an image sensor that only outputs the image, the image pickup device 2 can be configured only by the image pickup block 20 that is not provided with the output control unit 23.
  • FIG. 3 is a perspective view showing an outline of an external configuration example of the image pickup apparatus 2 of FIG.
  • the image pickup device 2 can be configured as a one-chip semiconductor device having a laminated structure in which a plurality of dies are laminated.
  • the image pickup device 2 is configured by stacking two dies 51 and 52.
  • the upper die 51 is equipped with an imaging unit 21, and the lower die 52 is equipped with an imaging processing unit 22 to an imaging control unit 25, and a CPU 31 to an input I / F 36.
  • the upper die 51 and the lower die 52 are, for example, a Cu wiring exposed on the lower surface side of the die 51 by forming a through hole that penetrates the die 51 and reaches the die 52, and the die 52. It is electrically connected by performing Cu-Cu bonding that directly connects to the Cu wiring exposed on the upper surface side of the.
  • a column parallel AD method or an area AD method can be adopted as a method for AD conversion of the image signal output by the image pickup unit 21 in the image pickup processing unit 22.
  • an ADC Analog to Digital Converter
  • the ADC in each row is in charge of AD conversion of the pixel signal of the pixel in that row.
  • AD conversion of the image signal of the pixels of each column in one row is performed in parallel.
  • a part of the imaging processing unit 22 that performs AD conversion of the column-parallel AD method may be mounted on the upper die 51.
  • the pixels constituting the imaging unit 21 are divided into a plurality of blocks, and an ADC is provided for each block. Then, the ADC of each block is in charge of the AD conversion of the pixel signals of the pixels of the block, so that the AD conversion of the image signals of the pixels of the plurality of blocks is performed in parallel.
  • the AD conversion (reading and AD conversion) of the image signal can be performed only on the necessary pixels among the pixels constituting the imaging unit 21 with the block as the minimum unit.
  • the image pickup device 2 can be composed of one die.
  • two dies 51 and 52 are laminated to form a one-chip image pickup device 2, but the one-chip image pickup device 2 is configured by stacking three or more dies. can do.
  • the memory 33 of FIG. 3 can be mounted on another die.
  • an imaging device in which sensor chips, memory chips, and DSP chip chips are connected in parallel by a plurality of bumps (hereinafter, also referred to as bump-connected imaging devices), imaging of one chip configured in a laminated structure is performed. Compared with the device 2, the thickness is greatly increased, and the device is enlarged.
  • the bump connection imaging device it may be difficult to secure a sufficient rate for outputting the captured image from the imaging processing unit 22 to the output control unit 23 due to signal deterioration or the like at the bump connecting portion. could be.
  • the image pickup device 2 having a laminated structure, it is possible to prevent the above-mentioned increase in size of the device and the inability to secure a sufficient rate as the rate between the image pickup processing unit 22 and the output control unit 23. be able to.
  • the image pickup device 2 having a laminated structure it is possible to realize that the image pickup device that outputs the information required by the user can be configured in a small size.
  • the imaging device 2 can output the captured image.
  • the imaging device 2 When the information required by the user is obtained by signal processing using the captured image, the imaging device 2 performs the signal processing in the DSP 32 to process the signal as the information required by the user. The result can be obtained and output.
  • the signal processing performed by the image pickup apparatus 2 that is, the signal processing of the DSP 32, for example, a recognition process for recognizing a predetermined recognition target from the captured image can be adopted.
  • FIG. 4 is a diagram for explaining a processing mode according to a comparative example.
  • the CPU 31 maintains the enable signal at LOW while the image read processing from the image pickup unit 21 is being executed, and changes the enable signal to HIGH when the image read processing is completed.
  • the DSP 32 detects that the enable signal has been changed to HIGH, the DSP 32 starts the DSP processing. After that, when the DSP processing is completed, the CPU 31 changes the enable signal to LOW. As a result, the next image reading process is executed on the imaging unit 21.
  • the DSP processing is executed after the image is read. Therefore, if the image reading takes a long time or the DSP processing takes a long time, the DSP processing is not completed in one frame. there is a possibility.
  • FIG. 5 is a diagram for explaining the first processing mode according to the embodiment.
  • the image reading process and the DSP process are executed in parallel in order to secure the processing time by the DSP 32. Specifically, it is executed in parallel in a predetermined period before the end of the image reading process and a predetermined period after the start of the DSP process.
  • the CPU 31 changes the enable signal to HIGH while the image reading process is being executed, and causes the DSP 32 to execute the DSP process.
  • the image reading process and the DSP process overlap during the period t1.
  • the image reading process and the DSP process overlap during the period t1.
  • noise is generated in the read image in the region where the image reading process and the DSP process overlap.
  • the CPU 31 causes the image pickup processing unit 22 to perform noise reduction processing (NR processing) for removing noise generated in the image.
  • NR processing noise reduction processing
  • FIG. 6 is a diagram for explaining NR processing by the imaging processing unit 22.
  • FIG. 6 shows a read image 100 read by the read process. In the read image 100, the direction from the upper part to the lower part is the read direction.
  • the read image 100 includes noise 101 in the area R1 corresponding to the area where the read process and the DSP process overlap in the lower part.
  • the CPU 31 outputs a control signal for causing the image pickup processing unit 22 to execute a noise reduction process for suppressing the noise 101 to the image pickup control unit 25.
  • the image pickup control unit 25 causes the image pickup processing unit 22 to execute the NR process for suppressing the noise 101 according to the control signal from the CPU 31.
  • the image pickup processing unit 22 executes NR processing on the pixels to suppress the noise 101.
  • Graph G1 shows the intensity of the NR process executed on the read image 100.
  • the CPU 31 may change the intensity of the NR process according to the situation of the noise 101.
  • the CPU 31 can remove noise generated in the read image.
  • the noise 101 generated in the read image 100 can be removed while securing the time for the DSP processing.
  • FIG. 7 is a diagram for explaining a method of determining the start timing of the NR process.
  • the CPU 31 determines the start timing of the NR process.
  • the CPU 31 acquires the image reading time, the DSP processing time, and the time of one cycle (time of the frame period T1) in order to determine the start timing of the NR processing.
  • the image reading time and the time of one cycle are uniquely determined by the operation mode of the imaging device 2 set in advance.
  • the DSP processing time is uniquely determined by the configuration of the DNN. In other words, the CPU 31 calculates the image reading time and the time of one cycle according to the operation mode set in the image pickup device 2. Further, the CPU 31 acquires the DSP processing time from the execution result of the DSP by the DSP 32.
  • the CPU 31 calculates "image read time + DSP processing time-1 cycle time” to calculate the time at which the image read processing and the DSP processing overlap (execute in parallel). Then, the CPU 31 calculates the "image read time-the time when the image read process and the DSP process overlap" to calculate the start timing of the NR process. That is, the CPU 31 can calculate the start timing of the NR process by calculation.
  • FIG. 8 is a diagram for explaining a second processing mode according to the embodiment.
  • the period t2 in which the image reading process in the frame period T1 and the DSP processing overlap, and the period t3 in which the image reading processing in the frame period T2 and the DSP processing overlap are different.
  • the period t3 is longer than the period t2.
  • the CPU 31 dynamically switches the area for executing the NR processing for each frame period according to the DSP processing time.
  • FIGS. 9A and 9B are diagrams for explaining a method of dynamically switching the region for executing the NR process.
  • FIG. 9A shows a read image 100A read in the frame period T1 of FIG.
  • the read image 100A includes noise 101A in the region R2 corresponding to the region where the read processing and the DSP processing overlap in the lower part.
  • the CPU 31 outputs a control signal for causing the image pickup processing unit 22 to execute the NR process for suppressing the noise 101A to the image pickup control unit 25.
  • Graph G2 shows the intensity of the NR process performed on the read image 100A.
  • FIG. 9B shows the read image 100B read out during the frame period T2 of FIG.
  • the read image 100B includes noise 101B in the region R3 corresponding to the region where the read processing and the DSP processing overlap in the lower part.
  • the CPU 31 outputs a control signal for causing the image pickup processing unit 22 to execute the NR process for suppressing the noise 101B to the image pickup processing unit 22.
  • Graph G3 shows the intensity of the NR process performed on the read image 100B.
  • the CPU 31 changes the area for executing the NR process between the frame period T1 and the frame period T2.
  • the magnitudes of the noise region R2 of FIG. 9A and the region R3 of FIG. 9B are different.
  • the CPU 31 calculates the timing for executing the NR process for each frame period. By calculating the timing for executing the NR process for each frame period, the CPU 31 can dynamically change the area for executing the NR process according to the DSP processing time. Further, the CPU 31 may change the intensity of the NR process for each frame period when the intensity of the noise included in the read image for each frame period is different.
  • FIGS. 10A and 10B are diagrams for explaining a method of controlling the processing time of the DSP according to the embodiment.
  • the image reading processing and the DSP processing may be executed in parallel during the period t4.
  • the load of DSP processing is heavy, it is assumed that the time of DSP processing is lengthened.
  • FIG. 10B shows an example in which the DSP processing time shown in FIG. 10A is extended.
  • the image reading process and the DSP process are executed in parallel during the period t5.
  • the CPU 31 advances the timing of starting the DSP processing by accelerating the timing of setting the enable signal to HIGH.
  • the timing at which the CPU 31 sets the enable signal to LOW is the same as in the case of FIG. 10A. That is, the CPU 31 controls the DSP 32 so that the timing for starting the DSP processing is accelerated while the timing for ending the DSP processing is fixed. As a result, the CPU 31 can control the DSP 32 so that the period during which the image reading process and the DSP process are executed in parallel is minimized.
  • FIG. 11 is a flowchart showing an example of a processing flow for controlling the imaging process based on the DNN process result.
  • the CPU 31 outputs a control signal to the image pickup control unit 25 to cause the image pickup unit 21 to image the surrounding environment including the image pickup target (step S10).
  • the image pickup control unit 25 drives the image pickup unit 21 according to the control signal of the CPU 31 to cause the image pickup unit 21 to take an image of the surrounding environment.
  • the CPU 31 By outputting a control signal to the image pickup control unit 25, the CPU 31 causes the image pickup processing unit 22 to execute various image pickup processes on the image captured by the image pickup unit 21 (step S11). By outputting a control signal to the image pickup control unit 25, the CPU 31 causes the image pickup processing unit 22 to execute the image compression process in order to execute the DNN process on the image after the image pickup process (step S12).
  • the CPU 31 outputs a control signal to the DSP 32 to execute the DNN process on the image after the image compression process (step S13).
  • the CPU 31 controls the imaging process based on the DNN process result (step S14).
  • the control method of the imaging process based on the DNN process result will be described later.
  • the CPU 31 determines whether or not to end the imaging process (step S15). When it is determined that the imaging process is finished (step S15; Yes), the process of FIG. 11 is finished. On the other hand, if it is determined that the imaging process is to be continued (step S15; No), the process proceeds to step S10.
  • FIG. 12 is a flowchart showing an example of the processing flow of the NR processing control method based on the DNN processing time.
  • the CPU 31 selects a DNN to be executed on the read image (step S20). Specifically, the CPU 31 selects a DNN to be executed on the read image according to the processing time of the DNN.
  • the CPU 31 outputs a control signal to the image pickup control unit 25 to cause the image pickup unit 21 to image the surrounding environment including the image pickup target (step S21). Specifically, the image pickup control unit 25 drives the image pickup unit 21 according to the control signal of the CPU 31 to cause the image pickup unit 21 to take an image of the surrounding environment.
  • the CPU 31 By outputting a control signal to the image pickup control unit 25, the CPU 31 causes the image pickup processing unit 22 to execute the NR process on the image captured by the image pickup unit 21 (step S22). Specifically, the CPU 31 controls an area for executing NR processing according to the DSP processing time.
  • FIG. 13 is a diagram for explaining a method of dynamically controlling NR processing.
  • the read image contains the noise 101, and the size of the region of the noise 101 changes depending on the period during which the image reading process and the DSP process are executed in parallel.
  • the size of the noise 101 region increases as the period during which the image reading process and the DSP process are executed in parallel becomes longer, and becomes smaller as the period becomes shorter. In other words, the size of the noise 101 region increases as the DSP processing time increases, and decreases as the DSP processing time decreases.
  • the CPU 31 dynamically controls the timing of executing the NR process according to the DSP processing time. Specifically, the CPU 31 dynamically controls the timing of executing the NR process by controlling the timing of setting the enable signal to HIGH.
  • FIG. 14 is a diagram for explaining a third processing mode according to the embodiment.
  • the DSP processing started in the frame period T1 is executed in parallel with the image reading processing during the period t6 in the frame period T2.
  • the DSP processing started in the frame period T2 is executed in parallel with the image reading processing during the period t7 in the frame period T3. That is, in the example shown in FIG. 14, the DSP processing is executed in parallel at the start timing of the image reading processing.
  • the CPU 31 sets the enable signal to HIGH and causes the DSP 32 to execute the DSP process. Then, in the frame period T2, the CPU 31 sets the enable signal to LOW after executing the image reading process and the DSP process in parallel during the period t6, and ends the DSP process. Similarly, after the image reading process is completed in the frame period T2, the CPU 31 sets the enable signal to HIGH and causes the DSP 32 to execute the DSP process. Then, in the frame period T3, the CPU 31 executes the image reading process and the DSP process in parallel for the period T7, sets the enable signal to LOW, and ends the DSP process.
  • the process of reading the upper part of the image and the DSP process are executed in parallel.
  • the CPU 31 controls the start timing and execution time of the DSP processing as in the example shown in FIG. 14 when a subject of low importance in the recognition process such as the sky in the upper part of the image is moved. .. That is, the CPU 31 controls the period during which the DNN processing for the image data and the reading processing for the image data are executed in parallel according to the subject included in the image data. Further, in FIG. 14, the period t7 is a longer time than the period t6. In this case, the CPU 31 dynamically switches the area for executing the NR processing according to the DSP processing time.
  • FIGS. 15A and 15B are diagrams for explaining a method of dynamically switching the region for executing the NR process.
  • FIG. 15A shows the read image 100C read out during the frame period T2 of FIG.
  • the read-out image 100C includes noise 101C in the region R4 corresponding to the region where the read-out process and the DSP process overlap in the upper part.
  • the CPU 31 outputs a control signal for causing the image pickup processing unit 22 to execute the NR process for suppressing the noise 101C to the image pickup control unit 25.
  • Graph G4 shows the intensity of the NR process performed on the read image 100C.
  • FIG. 15B shows the read image 100D read out during the frame period T3 of FIG.
  • the read-out image 100D includes noise 101D in the region R5 corresponding to the region where the read-out process and the DSP process overlap in the upper part.
  • the CPU 31 outputs a control signal for causing the image pickup processing unit 22 to execute the NR process for suppressing the noise 101D to the image pickup processing unit 22.
  • Graph G5 shows the intensity of the NR process performed on the read image 100D.
  • the CPU 31 is an area for executing the NR process in the frame period T2 and the frame period T3 even if the area for executing the NR process is the upper part of the read image 100C and the read image 100D. To change.
  • the CPU 31 calculates the timing for executing the NR process for each frame. By calculating the timing for executing the NR process for each frame, the CPU 31 can dynamically change the area for executing the NR process according to the DSP processing time.
  • FIG. 16 is a diagram for explaining a fourth processing mode according to the embodiment.
  • the DSP processing started in the frame period T1 is executed in parallel with the image reading processing during the period t8 in the frame period T2.
  • the image reading process in the frame period T2 is executed in parallel with the DSP process over the entire period from the start to the end.
  • the DSP processing started in the frame period T2 is executed in parallel with the image reading processing during the period t9 in the frame period T3.
  • the DSP processing is executed in parallel at the timing of starting the image reading processing.
  • the CPU 31 sets the enable signal to HIGH after the image read processing is completed in the frame period T1, and sets the enable signal to LOW when the image read process in the frame period T2 is completed.
  • the CPU 31 executes NR processing on the entire image read in the frame period T2. Further, the CPU 31 dynamically switches the area for executing the NR process with respect to the upper part of the image read in the frame period T3.
  • FIGS. 17A and 17B are diagrams for explaining a method of dynamically switching the region for executing the NR process.
  • FIG. 17A shows the read image 100E read in the frame period T2 of FIG. As shown in FIG. 17A, noise 101E is generated in the read image 100E over the entire region R6.
  • the CPU 31 outputs a control signal for causing the image pickup processing unit 22 to execute the NR process for suppressing the noise 101E to the image pickup control unit 25.
  • Graph G6 shows the intensity of the NR process executed on the read image 100E.
  • FIG. 17B shows the read image 100F read in the frame period T3 of FIG.
  • the read-out image 100F includes noise 101F in the region R7 corresponding to the region where the read-out process and the DSP process overlap in the upper part.
  • the CPU 31 outputs a control signal for causing the image pickup processing unit 22 to execute the NR process for suppressing the noise 101F to the image pickup processing unit 22.
  • Graph G7 shows the intensity of the NR process executed on the read image 100F.
  • the CPU 31 changes the area in which the NR process is executed in the frame period T2 and the frame period T3. ..
  • the CPU 31 calculates the timing for executing the NR process for each frame. By calculating the timing for executing the NR process for each frame, the CPU 31 can dynamically change the area for executing the NR process according to the DSP processing time.
  • FIG. 18 is a diagram for explaining a fifth processing mode according to the embodiment.
  • the CPU 31 may shorten the time of the image reading process of the frame period T2 so as not to be executed in parallel with the DSP process of the frame period T2.
  • the time of the image reading process in the frame period T3 may be controlled to be short.
  • the CPU 31 may reduce the image reading time by outputting a control signal to the image pickup control unit 25. Then, the CPU 31 may switch the area for executing the NR process based on the amount of reduction in the image reading time. That is, in the seventh embodiment, the CPU 31 dynamically switches between the image reading processing time and the DSP processing time.
  • FIGS. 19A and 19B are diagrams for explaining a method of dynamically switching a region for executing NR processing.
  • FIG. 19A shows a read image 100G read in the frame period T2 of FIG.
  • the read-out image 100G includes noise 101G in the region R8 corresponding to the region where the read-out process and the DSP process overlap in the upper part.
  • the CPU 31 outputs a control signal for causing the image pickup processing unit 22 to execute the NR process for suppressing the noise 101G to the image pickup control unit 25.
  • Graph G8 shows the intensity of the NR process performed on the read image 100G.
  • FIG. 19B shows the read image 100H read out during the frame period T3 of FIG.
  • the read-out image 100H includes noise 101H in the region R9 corresponding to the region where the read-out process and the DSP process overlap in the upper part.
  • the CPU 31 outputs a control signal for causing the image pickup processing unit 22 to execute the NR process for suppressing the noise 101H to the image pickup processing unit 22.
  • the CPU 31 changes the area for executing the NR process between the frame period T2 and the frame period T3 even when the image read time is reduced and the NR process is executed. ..
  • the CPU 31 calculates the timing for executing the NR process for each frame. By calculating the timing for executing the NR process for each frame, the CPU 31 can dynamically change the area for executing the NR process according to the DSP processing time.
  • the solid-state imaging device 2 executes the imaging unit 21 for acquiring image data, the DNN processing for the image data, and the reading processing of the image data in parallel, and also performs the DNN processing for the image data and the image. It includes a control unit (CPU 31) that executes noise reduction processing on the image data read when the data reading processing is executed in parallel.
  • CPU 31 control unit
  • the solid-state image sensor 2 can suppress noise generated due to the parallel execution of the DNN process and the image data read-out process, so that the process during one frame period is appropriately executed. can do.
  • the CPU 31 controls the DNN process for the image data and the image data read process so that the predetermined period before the end of the image data read process and the predetermined period after the start of the DNN process for the image data overlap. ..
  • the solid-state image sensor 2 can suppress noise while securing the DNN processing time, so that the processing during one frame period can be appropriately executed.
  • the CPU 31 controls the time during which the DNN process for the image data and the image data read process are executed in parallel for each frame period.
  • the solid-state image sensor 2 can control the region for suppressing noise included in the image data for each frame period, so that the processing during one frame period can be appropriately executed.
  • the CPU 31 controls to accelerate the start timing of the DNN process for the image data while fixing the end timing of the DNN process for the image data.
  • the solid-state image sensor 2 can appropriately reduce the period during which the DNN process for the image data and the image data read-out process are executed in parallel as much as possible, so that the process during one frame period is appropriately executed. be able to.
  • the CPU 31 controls a period during which the DNN process for the image data and the image data read process are executed in parallel according to the subject included in the image data.
  • the solid-state image sensor 2 can control the period during which the DNN process for the image data and the image data read-out process are executed in parallel according to the subject, so that the process during one frame period can be controlled. Can be executed properly.
  • the CPU 31 controls the DNN process for the image data and the image data read process so that the predetermined period after the start of the image data read process and the predetermined period before the end of the DNN process for the image data overlap. ..
  • the solid-state image sensor 2 can control the period during which the DNN process for the image data and the image data read-out process are executed in parallel, so that the process during one frame period is appropriately executed. be able to.
  • the CPU 31 performs the DNN process on the image data and the image data read process so that the entire period from the start to the end of the image data read process and the predetermined period before the end of the DNN process on the image data overlap.
  • the solid-state image sensor 2 can control the period during which the DNN process for the image data and the image data read-out process are executed in parallel, so that the process during one frame period is appropriately executed. be able to.
  • the CPU 31 dynamically controls the DNN processing time for the image data and the reading processing time for the image data.
  • the solid-state image sensor 2 can dynamically control the DNN processing time for the image data and the image data reading processing time, so that the processing during one frame period can be appropriately executed. ..
  • the present technology can also have the following configurations.
  • An imaging unit that acquires image data and DNN processing for the image data and reading processing for the image data are executed in parallel, and reading is performed when the DNN processing for the image data and the reading processing for the image data are executed in parallel.
  • a control unit that executes noise reduction processing on the image data A solid-state image sensor.
  • the control unit performs DNN processing on the image data and DNN processing on the image data so that the predetermined period before the end of the reading processing of the image data and the predetermined period after the start of the DNN processing on the image data overlap. Control the read process, The solid-state image sensor according to (1) above.
  • the control unit controls the time during which the DNN process for the image data and the image data read process are executed in parallel for each frame period.
  • the solid-state image sensor according to (1) or (2) above.
  • the control unit controls to accelerate the start timing of the DNN process for the image data while fixing the end timing of the DNN process for the image data.
  • the solid-state image sensor according to any one of (1) to (3).
  • the control unit controls a period during which the DNN process for the image data and the read process for the image data are executed in parallel according to the subject included in the image data.
  • the solid-state image sensor according to any one of (1) to (4).
  • the control unit performs the DNN process on the image data and the DNN process on the image data so that the predetermined period after the start of the image data read-out process and the predetermined period before the end of the DNN process on the image data overlap.
  • Control the read process The solid-state image sensor according to (5) above.
  • the control unit performs the DNN process on the image data and the DNN process on the image data so that the entire period from the start to the end of the image data read process and the predetermined period before the end of the DNN process on the image data overlap.
  • Controls image data reading processing The solid-state image sensor according to (1) above.
  • the control unit dynamically controls the DNN processing time for the image data and the reading processing time for the image data.
  • the solid-state image sensor according to any one of (1) to (7).
  • Imaging unit 1 Optical system 2 Imaging device 3 Memory 4 Signal processing unit 5 Output unit 6 Control unit 20 Imaging block 21 Imaging unit 22 Imaging processing unit 23 Output control unit 24 Output I / F 25 Imaging control unit 26 Communication I / F 27 Register group 30 Signal processing block 31 CPU 32 DSP 33 Memory 34 Communication I / F 35 Image compression unit 36 Input I / F 51, 52 dies

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

固体撮像装置は、画像データを取得する撮像部と、画像データに対するＤＮＮの処理と、画像データの読み出し処理とを並列に実行させるとともに、画像データに対するＤＮＮの処理と、画像データの読み出し処理とが並列に実行されている際に読み出された画像データに対してノイズリダクション処理を実行させる制御部と、を備える。

Description

固体撮像装置
　本開示は、固体撮像装置に関する。
　ディジタルカメラなどに代表される機器には、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）やＤＳＰ（Digital　Signal　Processor）を有するイメージセンサが搭載される。イメージセンサでは、撮像された画像がＤＳＰに供給され、ＤＳＰにおいて様々な処理がなされて、アプリケーションプロセッサなどの外部装置に出力される。
国際公開２０１８／０５１８０９号
　しかしながら、上記技術では、ＤＳＰで負荷の重たい処理を実行したり、イメージデータの高速な読出しを実行したりする場合、１フレーム期間などの所定の期間中にＤＳＰによる処理が完了せず、ＤＳＰが適切に処理を実行できない場合が発生し得る。そのため、上記技術では、画像の読み出し処理とＤＳＰの処理を並列に実行することで、ＤＳＰの処理時間を確保している。この場合、読み出される画像データにノイズが入り込み、画像の品質が低下することがある。
　そこで、本開示では、処理を適切に実行することのできる固体撮像装置を提案する。
　本開示に係る一態様の固体撮像装置は、画像データを取得する撮像部と、前記画像データに対するＤＮＮの処理と、前記画像データの読み出し処理とを並列に実行させるとともに、前記画像データに対するＤＮＮの処理と、前記画像データの読み出し処理とが並列に実行されている際に読み出された前記画像データに対してノイズリダクション処理を実行させる制御部と、を備える。
実施形態に係るディジタルカメラの構成の一例を示すブロック図である。 実施形態に係る撮像装置の構成の一例を示すブロック図である。 撮像装置の外観構成例の概要を示す斜視図である。 比較例の処理モードを悦明するための図である。 実施形態に係る第１処理モードを説明するための図である。 ＮＲ処理を説明するための図である。 ＮＲ処理の開始タイミングを判定する方法を説明するための図である。 実施形態に係る第２処理モードを説明するための図である。 ＮＲ処理を実行する領域を動的に切り替える方法を説明するための図である。 ＮＲ処理を実行する領域を動的に切り替える方法を説明するための図である。 ＤＳＰの処理時間を制御する方法を説明するための図である。 ＤＳＰの処理時間を制御する方法を説明するための図である。 ＤＮＮ処理結果に基づいて、撮像処理を制御する処理の流れの一例を示すフローチャートである。 ＤＮＮ処理時間に基づいたＮＲ処理の制御方法の処理の流れの一例を示すフローチャートである。 ＮＲ処理を動的に制御する方法を説明するための図である。 実施形態に係る第３処理モードを説明するための図である。 ＮＲ処理を実行する領域を動的に切り替える方法を説明するための図である。 ＮＲ処理を実行する領域を動的に切り替える方法を説明するための図である。 実施形態に係る第４処理モードを説明するための図である。 ＮＲ処理を実行する領域を動的に切り替える方法を説明するための図である。 ＮＲ処理を実行する領域を動的に切り替える方法を説明するための図である。 実施形態に係る第５処理モードを説明するための図である。 ＮＲ処理を実行する領域を動的に切り替える方法を説明するための図である。 ＮＲ処理を実行する領域を動的に切り替える方法を説明するための図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．概要
　　１－１．ディジタルカメラの構成例
　　１－２．撮像装置の構成例
　　１－３．撮像装置の外観構成例
　２．比較例
　　２－１．比較例の処理モード
　３．実施形態
　　３－１．第１処理モード
　　３－１－１．ＮＲ処理の開始タイミングの判定
　　３－２．第２処理モード
　　３－３．ＤＳＰ処理時間の制御
　　３－４．撮像処理の制御方法
　　３－５．第３処理モード
　　３－６．第４処理モード
　　３－７．第５処理モード
　４．効果
＜１．概要＞
［１－１．ディジタルカメラの構成例］
　図１は、本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。
　なお、ディジタルカメラは、静止画、及び、動画のいずれも撮像することができる。
　図１において、ディジタルカメラは、光学系１、撮像装置２、メモリ３、信号処理部４、出力部５、及び、制御部６を有する。
　光学系１は、例えば、図示せぬズームレンズや、フォーカスレンズ、絞り等を有し、外部からの光を、撮像装置２に入射させる。
　撮像装置２は、例えば、１チップで構成されるＣＭＯＳ(Complementary　Metal　Oxide　Semiconductor)イメージセンサであり、光学系１からの入射光を受光し、光電変換を行って、光学系１からの入射光に対応する画像データを出力する。
　また、撮像装置２は、画像データ等を用いて、例えば、所定の認識対象を認識する認識処理、その他の信号処理を行い、その信号処理の信号処理結果を出力する。
　メモリ３は、撮像装置２が出力する画像データ等を一時記憶する。
　信号処理部４は、メモリ３に記憶された画像データを用いたカメラ信号処理としての、例えば、ノイズの除去や、ホワイトバランスの調整等の処理を必要に応じて行い、出力部５に供給する。
　出力部５は、信号処理部４からの画像データやメモリ３に記憶された信号処理結果を出力する。
　すなわち、出力部５は、例えば、液晶等で構成されるディスプレイ（図示せず）を有し、信号処理部４からの画像データに対応する画像を、いわゆるスルー画として表示する。
　また、出力部５は、例えば、半導体メモリや、磁気ディスク、光ディスク等の記録媒体を駆動するドライバ（図示せず）を有し、信号処理部４からの画像データやメモリ３に記憶された信号処理結果を記録媒体に記録する。
　さらに、出力部５は、例えば、外部の装置との間でデータ伝送を行うＩ／Ｆ(Interface)として機能し、信号処理部４からの画像データや、記録媒体に記録された画像データ等を、外部の装置に伝送する。
　制御部６は、ユーザの操作等に従い、ディジタルカメラを構成する各ブロックを制御する。
　以上のように構成されるディジタルカメラでは、撮像装置２が、画像を撮像する。すなわち、撮像装置２は、光学系１からの入射光を受光して光電変換を行い、その入射光に応じた画像データを取得して出力する。
　撮像装置２が出力する画像データは、メモリ３に供給されて記憶される。メモリ３に記憶された画像データについては、信号処理部４によるカメラ信号処理が施され、その結果得られる画像データは、出力部５に供給されて出力される。
　また、撮像装置２は、撮像によって得られた画像（データ）等を用いて、信号処理を行い、その信号処理の信号処理結果を出力する。撮像装置２が出力する信号処理結果は、例えば、メモリ３に記憶される。
　撮像装置２では、撮像によって得られた画像そのものの出力、及び、その画像等を用いた信号処理の信号処理結果の出力は、選択的に行われる。
［１－２．撮像装置の構成例］
　図２は、図１の撮像装置２の構成例を示すブロック図である。
　図２において、撮像装置２は、撮像ブロック２０及び信号処理ブロック３０を有する。撮像ブロック２０と信号処理ブロック３０とは、接続線（内部バス）ＣＬ１、ＣＬ２、及び、ＣＬ３によって電気的に接続されている。
　撮像ブロック２０は、撮像部２１、撮像処理部２２、出力制御部２３、出力Ｉ／Ｆ(Interface)２４、及び、撮像制御部２５を有し、画像を撮像する。
　撮像部２１は、複数の画素が２次元に並んで構成される。撮像部２１は、撮像処理部２２によって駆動され、画像を撮像する。
　すなわち、撮像部２１には、光学系１（図１）からの光が入射する。撮像部２１は、各画素において、光学系１からの入射光を受光し、光電変換を行って、入射光に対応するアナログの画像信号を出力する。
　なお、撮像部２１が出力する画像（信号）のサイズは、例えば、１２Ｍ（3968×2976）ピクセルや、ＶＧＡ(Video　Graphics　Array)サイズ（640×480ピクセル）等の複数のサイズの中から選択することができる。
　また、撮像部２１が出力する画像については、例えば、ＲＧＢ（赤、緑、青）のカラー画像とするか、又は、輝度のみの白黒画像とするかを選択することができる。
　これらの選択は、撮影モードの設定の一種として行うことができる。
　撮像処理部２２は、撮像制御部２５の制御に従い、撮像部２１の駆動や、撮像部２１が出力するアナログの画像信号のＡＤ(Analog　to　Digital)変換、撮像信号処理等の、撮像部２１での画像の撮像に関連する撮像処理を行う。
　ここで、撮像信号処理としては、例えば、撮像部２１が出力する画像について、所定の小領域ごとに、画素値の平均値を演算すること等により、小領域ごとの明るさを求める処理や、撮像部２１が出力する画像を、ＨＤＲ(High　Dynamic　Range)画像に変換する処理、欠陥補正、現像等がある。
　撮像処理部２２は、撮像部２１が出力するアナログの画像信号のＡＤ変換等によって得られるデジタルの画像信号（ここでは、例えば、１２Ｍピクセル又はＶＧＡサイズの画像）を、撮像画像として出力する。
　撮像処理部２２が出力する撮像画像は、出力制御部２３に供給されるとともに、接続線ＣＬ２を介して、信号処理ブロック３０の画像圧縮部３５に供給される。
　出力制御部２３には、撮像処理部２２から撮像画像が供給される他、信号処理ブロック３０から、接続線ＣＬ３を介して、撮像画像等を用いた信号処理の信号処理結果が供給される。
　出力制御部２３は、撮像処理部２２からの撮像画像、及び、信号処理ブロック３０からの信号処理結果を、（１つの）出力Ｉ／Ｆ２４から外部（例えば、図１のメモリ３等）に選択的に出力させる出力制御を行う。
　すなわち、出力制御部２３は、撮像処理部２２からの撮像画像、又は、信号処理ブロック３０からの信号処理結果を選択し、出力Ｉ／Ｆ２４に供給する。
　出力Ｉ／Ｆ２４は、出力制御部２３から供給される撮像画像、及び、信号処理結果を外部に出力するＩ／Ｆである。出力Ｉ／Ｆ２４としては、例えば、ＭＩＰＩ(Mobile　Industry　Processor　Interface)等の比較的高速なパラレルＩ／Ｆ等を採用することができる。
　出力Ｉ／Ｆ２４では、出力制御部２３の出力制御に応じて、撮像処理部２２からの撮像画像、又は、信号処理ブロック３０からの信号処理結果が、外部に出力される。したがって、例えば、外部において、信号処理ブロック３０からの信号処理結果だけが必要であり、撮像画像そのものが必要でない場合には、信号処理結果だけを出力することができ、出力Ｉ／Ｆ２４から外部に出力するデータ量を削減することができる。
　また、信号処理ブロック３０において、外部で必要とする信号処理結果が得られる信号処理を行い、その信号処理結果を、出力Ｉ／Ｆ２４から出力することにより、外部で信号処理を行う必要がなくなり、外部のブロックの負荷を軽減することができる。
　撮像制御部２５は、通信Ｉ／Ｆ２６及びレジスタ群２７を有する。
　通信Ｉ／Ｆ２６は、例えば、Ｉ２Ｃ(Inter-Integrated　Circuit)等のシリアル通信Ｉ／Ｆ等の第１の通信Ｉ／Ｆであり、外部（例えば、図１の制御部６等）との間で、レジスタ２７群に読み書きする情報等の必要な情報のやりとりを行う。
　レジスタ群２７は、複数のレジスタを有し、撮像部２１での画像の撮像に関連する撮像情報、その他の各種情報を記憶する。
　例えば、レジスタ群２７は、通信Ｉ／Ｆ２６において外部から受信された撮像情報や、撮像処理部２２での撮像信号処理の結果（例えば、撮像画像の小領域ごとの明るさ等）を記憶する。
　レジスタ群２７に記憶される撮像情報としては、例えば、ＩＳＯ感度（撮像処理部２２でのＡＤ変換時のアナログゲイン）や、露光時間（シャッタスピード）、フレームレート、フォーカス、撮影モード、切り出し範囲等（を表す情報）がある。
　撮影モードには、例えば、露光時間やフレームレート等が手動で設定される手動モードと、シーンに応じて自動的に設定される自動モードとがある。自動モードには、例えば、夜景や、人の顔等の各種の撮影シーンに応じたモードがある。
　また、切り出し範囲とは、撮像処理部２２において、撮像部２１が出力する画像の一部を切り出して、撮像画像として出力する場合に、撮像部２１が出力する画像から切り出す範囲を表す。切り出し範囲の指定によって、例えば、撮像部２１が出力する画像から、人が映っている範囲だけを切り出すこと等が可能になる。なお、画像の切り出しとしては、撮像部２１が出力する画像から切り出す方法の他、撮像部２１から、切り出し範囲の画像（信号）だけを読み出す方法がある。
　撮像制御部２５は、レジスタ群２７に記憶された撮像情報に従って、撮像処理部２２を制御し、これにより、撮像部２１での画像の撮像を制御する。
　なお、レジスタ群２７は、撮像情報や、撮像処理部２２での撮像信号処理の結果の他、出力制御部２３での出力制御に関する出力制御情報を記憶することができる。出力制御部２３は、レジスタ群２７に記憶された出力制御情報に従って、撮像画像及び信号処理結果を選択的に出力させる出力制御を行うことができる。
　また、撮像装置２では、撮像制御部２５と、信号処理ブロック３０のＣＰＵ(Central　Processing　Unit)３１とは、接続線ＣＬ１を介して、接続されており、ＣＰＵ３１は、接続線ＣＬ１を介して、レジスタ群２７に対して、情報の読み書きを行うことができる。
　すなわち、撮像装置２では、レジスタ群２７に対する情報の読み書きは、通信Ｉ／Ｆ２６から行う他、ＣＰＵ３１からも行うことができる。
　信号処理ブロック３０は、ＣＰＵ３１、ＤＳＰ(Digital　Signal　Processor)３２、メモリ３３、通信Ｉ／Ｆ３４、画像圧縮部３５、及び、入力Ｉ／Ｆ３６を有し、撮像ブロック１０で得られた撮像画像等を用いて、所定の信号処理を行う。
　信号処理ブロック３０を構成するＣＰＵ３１ないし入力Ｉ／Ｆ３６は、相互にバスを介して接続され、必要に応じて、情報のやりとりを行うことができる。
　ＣＰＵ３１は、メモリ３３に記憶されたプログラムを実行することで、信号処理ブロック３０の制御、接続線ＣＬ１を介しての、撮像制御部２５のレジスタ群２７への情報の読み書き、その他の各種の処理を行う。ＣＰＵ３１は、制御部とも呼ばれる。
　例えば、ＣＰＵ３１は、プログラムを実行することにより、ＤＳＰ３２での信号処理により得られる信号処理結果を用いて、撮像情報を算出する撮像情報算出部として機能し、信号処理結果を用いて算出した新たな撮像情報を、接続線ＣＬ１を介して、撮像制御部２５のレジスタ群２７にフィードバックして記憶させる。
　したがって、ＣＰＵ３１は、結果として、撮像画像の信号処理結果に応じて、撮像部２１での撮像や、撮像処理部２２での撮像信号処理を制御することができる。
　また、ＣＰＵ３１がレジスタ群２７に記憶させた撮像情報は、通信Ｉ／Ｆ２６から外部に提供（出力）することができる。例えば、レジスタ群２７に記憶された撮像情報のうちのフォーカスの情報は、通信Ｉ／Ｆ２６から、フォーカスを制御するフォーカスドライバ（図示せず）に提供することができる。
　ＤＳＰ３２は、メモリ３３に記憶されたプログラムを実行することで、撮像処理部２２から、接続線ＣＬ２を介して、信号処理ブロック３０に供給される撮像画像や、入力Ｉ／Ｆ３６が外部から受け取る情報を用いた信号処理を行う信号処理部として機能する。
　ＤＳＰ３２が、教師データにより予め学習されメモリ３３に学習モデルとして記憶されるプログラムを読み出して実行することで、ＤＮＮ(Deep　Neural　Network)を用いた認識処理を行う。すなわち、ＤＳＰ３２は、機械学習部として構成されている。
　メモリ３３は、SRAM(Static　Random　Access　Memory)やDRAM(Dynamic　RAM)等で構成され、信号処理ブロック３０の処理上必要なデータ等を記憶する。
　例えば、メモリ３３は、通信Ｉ／Ｆ３４において、外部から受信されたプログラムや、画像圧縮部３５で圧縮され、ＤＳＰ３２での信号処理で用いられる撮像画像、ＤＳＰ３２で行われた信号処理の信号処理結果、入力Ｉ／Ｆ３６が受け取った情報等を記憶する。
　通信Ｉ／Ｆ３４は、例えば、ＳＰＩ(Serial　Peripheral　Interface)等のシリアル通信Ｉ／Ｆ等の第２の通信Ｉ／Ｆであり、外部（例えば、図１のメモリ３や制御部６等）との間で、ＣＰＵ３１やＤＳＰ３２が実行するプログラム等の必要な情報のやりとりを行う。
　例えば、通信Ｉ／Ｆ３４は、ＣＰＵ３１やＤＳＰ３２が実行するプログラムを外部からダウンロードし、メモリ３３に供給して記憶させる。
　したがって、通信Ｉ／Ｆ３４がダウンロードするプログラムによって、ＣＰＵ３１やＤＳＰ３２で様々な処理を実行することができる。
　なお、通信Ｉ／Ｆ３４は、外部との間で、プログラムの他、任意のデータのやりとりを行うことができる。例えば、通信Ｉ／Ｆ３４は、ＤＳＰ３２での信号処理により得られる信号処理結果を、外部に出力することができる。また、通信Ｉ／Ｆ３４は、ＣＰＵ３１の指示に従った情報を、外部の装置に出力し、これにより、ＣＰＵ３１の指示に従って、外部の装置を制御することができる。
　ここで、ＤＳＰ３２での信号処理により得られる信号処理結果は、通信Ｉ／Ｆ３４から外部に出力する他、ＣＰＵ３１によって、撮像制御部２５のレジスタ群２７に書き込むことができる。レジスタ群２７に書き込まれた信号処理結果は、通信Ｉ／Ｆ２６から外部に出力することができる。ＣＰＵ３１で行われた処理の処理結果についても同様である。
　画像圧縮部３５には、撮像処理部２２から接続線ＣＬ２を介して、撮像画像が供給される。画像圧縮部３５は、撮像画像を圧縮する圧縮処理を行い、その撮像画像よりもデータ量が少ない圧縮画像を生成する。
　画像圧縮部３５で生成された圧縮画像は、バスを介して、メモリ３３に供給されて記憶される。
　ここで、ＤＳＰ３２での信号処理は、撮像画像そのものを用いて行う他、画像圧縮部３５で撮像画像から生成された圧縮画像を用いて行うことができる。圧縮画像は、撮像画像よりもデータ量が少ないため、ＤＳＰ３２での信号処理の負荷の軽減や、圧縮画像を記憶するメモリ３３の記憶容量の節約を図ることができる。
　画像圧縮部３５での圧縮処理としては、例えば、１２Ｍ（3968×2976）ピクセルの撮像画像を、ＶＧＡサイズの画像に変換するスケールダウンを行うことができる。また、ＤＳＰ３２での信号処理が輝度を対象として行われ、かつ、撮像画像がRGBの画像である場合には、圧縮処理としては、RGBの画像を、例えば、YUVの画像に変換するYUV変換を行うことができる。
　なお、画像圧縮部３５は、ソフトウエアにより実現することもできるし、専用のハードウェアにより実現することもできる。
　入力Ｉ／Ｆ３６は、外部から情報を受け取るＩ／Ｆである。入力Ｉ／Ｆ３６は、例えば、外部のセンサから、その外部のセンサの出力（外部センサ出力）を受け取り、バスを介して、メモリ３３に供給して記憶させる。
　入力Ｉ／Ｆ３６としては、例えば、出力Ｉ／Ｆ２４と同様に、ＭＩＰＩ(Mobile　Industry　Processor　Interface)等のパラレルＩ／Ｆ等を採用することができる。
　また、外部のセンサとしては、例えば、距離に関する情報をセンシングする距離センサを採用することができる、さらに、外部のセンサとしては、例えば、光をセンシングし、その光に対応する画像を出力するイメージセンサ、すなわち、撮像装置２とは別のイメージセンサを採用することができる。
　ＤＳＰ３２では、撮像画像（から生成された圧縮画像）を用いる他、入力Ｉ／Ｆ３６が上述のような外部のセンサから受け取り、メモリ３３に記憶される外部センサ出力を用いて、信号処理を行うことができる。
　以上のように構成される１チップの撮像装置２では、撮像部２１での撮像により得られる撮像画像（から生成される圧縮画像）を用いた信号処理がＤＳＰ３２で行われ、その信号処理の信号処理結果、及び、撮像画像が、出力Ｉ／Ｆ２４から選択的に出力される。したがって、ユーザが必要とする情報を出力する撮像装置を、小型に構成することができる。
　ここで、撮像装置２において、ＤＳＰ３２の信号処理を行わず、したがって、撮像装置２から、信号処理結果を出力せず、撮像画像を出力する場合、すなわち、撮像装置２を、単に、画像を撮像して出力するだけのイメージセンサとして構成する場合、撮像装置２は、出力制御部２３を設けない撮像ブロック２０だけで構成することができる。
［１－３．撮像装置の外観構成例］
　図３は、図１の撮像装置２の外観構成例の概要を示す斜視図である。
　撮像装置２は、例えば、図３に示すように、複数のダイが積層された積層構造を有する１チップの半導体装置として構成することができる。
　図３では、撮像装置２は、ダイ５１及び５２の２枚のダイが積層されて構成される。
　図３において、上側のダイ５１には、撮像部２１が搭載され、下側のダイ５２には、撮像処理部２２ないし撮像制御部２５、及び、ＣＰＵ３１ないし入力Ｉ／Ｆ３６が搭載されている。
　上側のダイ５１と下側のダイ５２とは、例えば、ダイ５１を貫き、ダイ５２にまで到達する貫通孔を形成することにより、又は、ダイ５１の下面側に露出したCu配線と、ダイ５２の上面側に露出したCu配線とを直接接続するCu-Cu接合を行うこと等により、電気的に接続される。
　ここで、撮像処理部２２において、撮像部２１が出力する画像信号のＡＤ変換を行う方式としては、例えば、列並列ＡＤ方式やエリアＡＤ方式を採用することができる。
　列並列ＡＤ方式では、例えば、撮像部２１を構成する画素の列に対してＡＤＣ(Analog　to　Digital　Converter)が設けられ、各列のＡＤＣが、その列の画素の画素信号のＡＤ変換を担当することで、１行の各列の画素の画像信号のＡＤ変換が並列に行われる。列並列ＡＤ方式を採用する場合には、その列並列ＡＤ方式のＡＤ変換を行う撮像処理部２２の一部が、上側のダイ５１に搭載されることがある。
　エリアＡＤ方式では、撮像部２１を構成する画素が、複数のブロックに区分され、各ブロックに対して、ＡＤＣが設けられる。そして、各ブロックのＡＤＣが、そのブロックの画素の画素信号のＡＤ変換を担当することで、複数のブロックの画素の画像信号のＡＤ変換が並列に行われる。エリアＡＤ方式では、ブロックを最小単位として、撮像部２１を構成する画素のうちの必要な画素についてだけ、画像信号のＡＤ変換（読み出し及びＡＤ変換）を行うことができる。
　なお、撮像装置２の面積が大になることが許容されるのであれば、撮像装置２は、１枚のダイで構成することができる。
　また、図３では、２枚のダイ５１及び５２を積層して、１チップの撮像装置２を構成することとしたが、１チップの撮像装置２は、３枚以上のダイを積層して構成することができる。例えば、３枚のダイを積層して、１チップの撮像装置２を構成する場合には、図３のメモリ３３を、別のダイに搭載することができる。
　ここで、センサチップ、メモリチップ、及び、ＤＳＰチップのチップどうしを、複数のバンプで並列に接続した撮像装置（以下、バンプ接続撮像装置ともいう）では、積層構造に構成された１チップの撮像装置２に比較して、厚みが大きく増加し、装置が大型化する。
　さらに、バンプ接続撮像装置では、バンプの接続部分での信号劣化等により、撮像処理部２２から出力制御部２３に撮像画像を出力するレートとして、十分なレートを確保することが困難になることがあり得る。
　積層構造の撮像装置２によれば、以上のような装置の大型化や、撮像処理部２２と出力制御部２３との間のレートとして、十分なレートを確保することができなくなることを防止することができる。
　したがって、積層構造の撮像装置２によれば、ユーザが必要とする情報を出力する撮像装置を小型に構成することを実現することができる。
　ユーザが必要とする情報が、撮像画像である場合には、撮像装置２は、撮像画像を出力することができる。
　また、ユーザが必要とする情報が、撮像画像を用いた信号処理により得られる場合には、撮像装置２は、ＤＳＰ３２において、その信号処理を行うことにより、ユーザが必要とする情報としての信号処理結果を得て出力することができる。
　撮像装置２で行われる信号処理、すなわち、ＤＳＰ３２の信号処理としては、例えば、撮像画像から、所定の認識対象を認識する認識処理を採用することができる。
＜２．比較例＞
［２－１．比較例の処理モード］
　次に、比較例に係る処理モードを説明する。図４は、比較例に係る処理モードを説明するための図である。
　図４に示すように、ＣＰＵ３１は、撮像部２１からの画像読み出し処理が実行されている間はイネーブル信号をＬＯＷに維持し、画像読み出し処理が終了するとイネーブル信号をＨＩＧＨに変更する。ＤＳＰ３２は、イネーブル信号がＨＩＧＨに変更されたことを検出すると、ＤＳＰ処理を開始する。その後、ＣＰＵ３１は、ＤＳＰ処理が完了すると、イネーブル信号をＬＯＷに変更する。この結果、撮像部２１に対して、次の画像読み出し処理が実行される。
　図４に示すように、比較例では、画像読み出し後にＤＳＰ処理を実行するので、画像読み出しに時間がかかる場合や、ＤＳＰ処理に時間がかかる場合には、１フレーム中にＤＳＰの処理が終わらない可能性がある。
＜３．実施形態＞
［３－１．第１処理モード］
　図５を用いて、実施形態に係る第１処理モードについて説明する。図５は、実施形態に係る第１処理モードを説明するための図である。
　図５に示すように、第１実施形態では、ＤＳＰ３２による処理の時間を確保するために、画像読み出し処理と、ＤＳＰ処理とが並列に実行されている。具体的には、画像読み出し処理の終了前の所定期間と、ＤＳＰ処理の開始後の所定期間とにおいて並列に実行されている。この場合、ＣＰＵ３１は、画像読み出し処理が実行されている途中で、イネーブル信号をＨＩＧＨに変更し、ＤＳＰ３２にＤＳＰ処理を実行させる。この場合、フレーム期間Ｔ１において、画像読み出し処理と、ＤＳＰ処理とが、期間ｔ１の間重なってしまう。フレーム期間Ｔ２において、画像読み出し処理と、ＤＳＰ処理とが、期間ｔ１の間重なってしまう。このような場合、読み出し画像には、画像読み出し処理と、ＤＳＰ処理とが重なっている領域において、ノイズが生じる。ＣＰＵ３１は、撮像制御部２５に制御信号を出力することにより、画像に生じたノイズを除去するためのノイズリダクション処理（ＮＲ処理）を撮像処理部２２に実行させる。
　図６は、撮像処理部２２によるＮＲ処理を説明するための図である。図６には、読み出し処理によって読み出される読み出し画像１００が示される。読み出し画像１００において、上部から下部に向かう方向が読み出し方向である。
　読み出し画像１００には、下部において、読み出し処理と、ＤＳＰ処理が重なる領域に対応する領域Ｒ１においてノイズ１０１が含まれる。ＣＰＵ３１は、ノイズ１０１を抑圧するためのノイズリダクション処理を撮像処理部２２に実行させるための制御信号を、撮像制御部２５に出力する。撮像制御部２５は、ＣＰＵ３１からの制御信号に従って、撮像処理部２２にノイズ１０１を抑圧するためのＮＲ処理を実行させる。具体的には、撮像処理部２２は、画素に対してＮＲ処理を実行して、ノイズ１０１を抑圧する。グラフＧ１は、読み出し画像１００に対して実行するＮＲ処理の強度を示している。ＣＰＵ３１は、ノイズ１０１の状況に応じて、ＮＲ処理の強度を変更するようにしてよい。
　このように処理することで、ＣＰＵ３１は、読み出し画像に生じたノイズを除去することができる。これにより、第１実施形態では、ＤＳＰ処理の時間を確保しつつ、読み出し画像１００に生じるノイズ１０１を除去することができる。
［３－１－１．ＮＲ処理の開始タイミングの判定］
　本開示において、読み出し画像に生じたノイズを適切に除去するためには、画像読み出し処理と、ＤＳＰ処理との重なるタイミングを判定することが好ましい。具体的には、画像読み出し処理と、ＤＳＰ処理との重なるタイミングがノイズの生じるタイミングになるための、そのタイミングでＮＲ処理を開始することが好ましい。そこで、本開示における、ＮＲ処理を開始するタイミングを算出する処理について説明する。
　図７は、ＮＲ処理の開始タイミングを判定する方法を説明するための図である。本開示において、ＮＲ処理の開始タイミングは、ＣＰＵ３１が判定する。
　ＣＰＵ３１は、ＮＲ処理の開始タイミングを判定するために、画像読み出し時間と、ＤＳＰ処理時間と、１周期の時間（フレーム期間Ｔ１の時間）とを取得する。画像読み出し時間と、１周期の時間とは、予め設定された撮像装置２の動作モードによって、一義的に定まる。ＤＳＰ処理時間は、ＤＮＮの構成により一義的に定まる。言い換えれば、ＣＰＵ３１は、撮像装置２に設定された動作モードに応じて、画像読み出し時間と、１周期の時間とを算出する。また、ＣＰＵ３１は、ＤＳＰ３２によるＤＳＰの実行結果から、ＤＳＰ処理時間を取得する。
　ＣＰＵ３１は、「画像読み出し時間＋ＤＳＰ処理時間－１周期の時間」を演算して、画像読み出し処理とＤＳＰ処理とが重なる（並列に実行される）時間を算出する。そして、ＣＰＵ３１は、「画像読み出し時間－画像読み出し処理とＤＳＰ処理とが重なる時間」を演算して、ＮＲ処理の開始タイミングを算出する。すなわち、ＣＰＵ３１は、演算によって、ＮＲ処理の開始タイミングを算出することができる。
［３－２．第２処理モード］
　図８を用いて、実施形態に係る第２処理モードについて説明する。図８は、実施形態に係る第２処理モードを説明するための図である。
　図８に示すように、第２処理モードにおいては、フレーム期間Ｔ１の画像読み出し処理と、ＤＳＰ処理とが重なる期間ｔ２と、フレーム期間Ｔ２の画像読み出し処理と、ＤＳＰ処理とが重なる期間ｔ３とは異なる。具体的には、期間ｔ３は、期間ｔ２よりも長い。この場合、ＣＰＵ３１は、ＤＳＰ処理時間に応じて、ＮＲ処理を実行する領域をフレーム期間ごとに動的に切り替える。
　図９Ａと、図９Ｂとを用いて、ＮＲ処理を実行する領域を動的に切り替える方法について説明する。図９Ａと、図９Ｂとは、ＮＲ処理を実行する領域を動的に切り替える方法を説明するための図である。
　図９Ａには、図８のフレーム期間Ｔ１において読み出される読み出し画像１００Ａが示されている。図９Ａに示すように、読み出し画像１００Ａには、下部において、読み出し処理と、ＤＳＰ処理が重なる領域に対応する領域Ｒ２においてノイズ１０１Ａが含まれる。ＣＰＵ３１は、ノイズ１０１Ａを抑圧するためのＮＲ処理を撮像処理部２２に実行させるための制御信号を、撮像制御部２５に出力する。グラフＧ２は、読み出し画像１００Ａに対して実行するＮＲ処理の強度を示している。
　図９Ｂには、図８のフレーム期間Ｔ２において読み出される読み出し画像１００Ｂが示されている。図９Ｂに示すように、読み出し画像１００Ｂには、下部において、読み出し処理と、ＤＳＰ処理が重なる領域に対応する領域Ｒ３においてノイズ１０１Ｂが含まれる。ＣＰＵ３１は、ノイズ１０１Ｂを抑圧するためのＮＲ処理を撮像処理部２２に実行させるための制御信号を、撮像処理部２２に出力する。グラフＧ３は、読み出し画像１００Ｂに対して実行するＮＲ処理の強度を示している。
　ＣＰＵ３１は、図９Ａおよび図９Ｂに示すように、フレーム期間Ｔ１とフレーム期間Ｔ２とでは、ＮＲ処理を実行する領域を変更する。図９Ａのノイズの１０１Ａの領域Ｒ２と、図９Ｂの領域Ｒ３との大きさは、異なる。ＣＰＵ３１は、フレーム期間ごとにＮＲ処理を実行するタイミングを算出する。ＣＰＵ３１は、フレーム期間ごとにＮＲ処理を実行するタイミングを算出することで、ＤＳＰ処理時間に応じて、ＮＲ処理を実行する領域を動的に変更することができる。また、ＣＰＵ３１は、フレーム期間ごとの読み出し画像に含まれるノイズの強度が異なる場合には、フレーム期間ごとにＮＲ処理の強度を変更するようにしてもよい。
［３－３．ＤＳＰ処理時間の制御］
　図１０Ａと、図１０Ｂとを用いて、実施形態に係るＤＳＰの処理時間を制御する方法について説明する。図１０Ａと、図１０Ｂとは、実施形態に係るＤＳＰの処理時間を制御する方法を説明するための図である。
　図１０Ａに示すように、ＤＳＰ処理の負荷が重い場合には、画像読み出し処理と、ＤＳＰ処理とが、期間ｔ４の間、並列に実行することがある。ここで、ＤＳＰ処理の負荷が重い場合、ＤＳＰ処理の時間を長くすることが想定される。
　図１０Ｂは、図１０Ａに示すＤＳＰ処理の時間を延ばした例が示されている。図１０Ｂに示す例では、画像読み出し処理と、ＤＳＰ処理とは、期間ｔ５の間、並列に実行されている。この場合、ＣＰＵ３１は、イネーブル信号をＨＩＧＨにするタイミングを早くすることで、ＤＳＰ処理の開始のタイミングを早める。ここで、ＣＰＵ３１は、イネーブル信号をＬＯＷにするタイミングは図１０Ａの場合と同様である。すなわち、ＣＰＵ３１は、ＤＳＰ処理を終了するタイミングを固定した状態で、ＤＳＰ処理を開始するタイミングを早くするように、ＤＳＰ３２を制御する。これにより、ＣＰＵ３１は、画像読み出し処理と、ＤＳＰ処理とが並列に実行される期間を極力少なくなるようにＤＳＰ３２を制御することができる。
［３－４．撮像処理の制御方法］
　図１１を用いて、ＤＮＮ処理結果に基づいて、撮像処理（例えば、ＮＲ処理）を制御する処理の流れについて説明する。図１１は、ＤＮＮ処理結果に基づいて、撮像処理を制御する処理の流れの一例を示すフローチャートである。
　ＣＰＵ３１は、撮像制御部２５に制御信号を出力することにより、撮像部２１に撮像対象物を含む周囲環境を撮像させる（ステップＳ１０）。具体的には、撮像制御部２５は、ＣＰＵ３１の制御信号に従って、撮像部２１を駆動して、撮像部２１に周囲環境を撮像させる。
　ＣＰＵ３１は、撮像制御部２５に制御信号を出力することにより、撮像処理部２２に撮像部２１によって撮像された画像に対して各種の撮像処理を実行させる（ステップＳ１１）。ＣＰＵ３１は、撮像制御部２５に制御信号を出力することにより、撮像処理後の画像に対してＤＮＮ処理を実行するために、撮像処理部２２に画像圧縮処理を実行させる（ステップＳ１２）。
　ＣＰＵ３１は、ＤＳＰ３２に制御信号を出力することにより、画像圧縮処理後の画像に対してＤＮＮ処理を実行させる（ステップＳ１３）。ＣＰＵ３１は、ＤＮＮ処理結果に基づいて、撮像処理を制御する（ステップＳ１４）。ＤＮＮ処理結果に基づく撮像処理の制御方法については、後述する。
　ＣＰＵ３１は、撮像処理を終了するか否かを判定する（ステップＳ１５）。撮像処理を終了すると判定された場合（ステップＳ１５；Ｙｅｓ）、図１１の処理を終了する。一方、撮像処理を継続すると判定された場合（ステップＳ１５；Ｎｏ）、ステップＳ１０に進む。
　図１２を用いて、ＤＮＮ処理時間に基づいたＮＲ処理の制御方法について説明する。図１２は、ＤＮＮ処理時間に基づいたＮＲ処理の制御方法の処理の流れの一例を示すフローチャートである。
　ＣＰＵ３１は、読み出し画像に実行するためのＤＮＮを選択する（ステップＳ２０）。具体的には、ＣＰＵ３１は、ＤＮＮの処理時間に応じて、読み出し画像に実行するためのＤＮＮを選択する。
　ＣＰＵ３１は、撮像制御部２５に制御信号を出力することにより、撮像部２１に撮像対象物を含む周囲環境を撮像させる（ステップＳ２１）。具体的には、撮像制御部２５は、ＣＰＵ３１の制御信号に従って、撮像部２１を駆動して、撮像部２１に周囲環境を撮像させる。
　ＣＰＵ３１は、撮像制御部２５に制御信号を出力することにより、撮像処理部２２に撮像部２１によって撮像された画像に対してＮＲ処理を実行させる（ステップＳ２２）。具体的には、ＣＰＵ３１は、ＤＳＰ処理時間に応じてＮＲ処理を実行させる領域を制御する。
　図１３は、ＮＲ処理を動的に制御する方法を説明するための図である。図１３に示すように、読み出し画像には、ノイズ１０１が含まれている、ノイズ１０１の領域の大きさは、画像読み出し処理と、ＤＳＰ処理とを並列に実行する期間に応じて変化する。ノイズ１０１の領域の大きさは、画像読み出し処理と、ＤＳＰ処理とを並列に実行する期間が長くなると大きくなり、短くなると小さくなる。言い換えると、ノイズ１０１の領域の大きさは、ＤＳＰ処理の時間が長くなると大きくなり、短くなると小さくなる。ＣＰＵ３１は、ＤＳＰ３２を制御することで、ＤＳＰ処理時間に応じてＮＲ処理を実行するタイミングを動的に制御する。具体的には、ＣＰＵ３１は、イネーブル信号をＨＩＧＨにするタイミングを制御することで、ＮＲ処理を実行するタイミングを動的に制御する。
［３－５．第３処理モード］
　図１４を用いて、実施形態に係る第３処理モードについて説明する。図１４は、実施形態に係る第３処理モードを説明するための図である。
　図１４に示すように、フレーム期間Ｔ１で開始されたＤＳＰ処理は、フレーム期間Ｔ２で期間ｔ６の間、画像読み出し処理と並列に実行される。フレーム期間Ｔ２で開始されたＤＳＰ処理は、フレーム期間Ｔ３で期間ｔ７の間、画像読み出し処理と並列に実行される。すなわち、図１４に示す例では、画像読み出し処理の開始のタイミングにおいて、ＤＳＰ処理が並列に実行されている。
　図１４に示す例では、ＣＰＵ３１は、フレーム期間Ｔ１で画像読み出し処理が終了した後に、イネーブル信号をＨＩＧＨにして、ＤＳＰ３２にＤＳＰ処理を実行させる。そして、ＣＰＵ３１は、フレーム期間Ｔ２において、期間ｔ６の間、画像読み出し処理と、ＤＳＰ処理とを並列に実行させた後にイネーブル信号をＬＯＷにして、ＤＳＰ処理を終了させる。同様に、ＣＰＵ３１は、フレーム期間Ｔ２で画像読み出し処理が終了した後に、イネーブル信号をＨＩＧＨにして、ＤＳＰ３２にＤＳＰ処理を実行させる。そして、ＣＰＵ３１は、フレーム期間Ｔ３において、画像読み出し処理と、ＤＳＰ処理とを期間Ｔ７の間、並列に実行させた後にイネーブル信号をＬＯＷにして、ＤＳＰ処理を終了させる。
　図１４に示す例では、画像の上部を読み出している処理と、ＤＳＰ処理とが並列に実行されている。この場合、ＣＰＵ３１は、画像の上部が空などの認識処理において重要度の低い被写体が移っている場合に、図１４に示す例のように、ＤＳＰ処理の開始のタイミングと実行時間などを制御する。すなわち、ＣＰＵ３１は、画像データに含まれる被写体に応じて、画像データに対するＤＮＮの処理と、画像データの読み出し処理とが並列に実行される期間を制御する。また、図１４において、期間ｔ７は、期間ｔ６よりも長い時間である。この場合、ＣＰＵ３１は、ＤＳＰ処理時間に応じて、ＮＲ処理を実行する領域を動的に切り替える。
　図１５Ａと、図１５Ｂとを用いて、ＮＲ処理を実行する領域を動的に切り替える方法について説明する。図１５Ａと、図１５Ｂとは、ＮＲ処理を実行する領域を動的に切り替える方法を説明するための図である。
　図１５Ａには、図１４のフレーム期間Ｔ２において読み出される読み出し画像１００Ｃが示されている。図１５Ａに示すように、読み出し画像１００Ｃには、上部において、読み出し処理と、ＤＳＰ処理が重なる領域に対応する領域Ｒ４においてノイズ１０１Ｃが含まれる。ＣＰＵ３１は、ノイズ１０１Ｃを抑圧するためのＮＲ処理を撮像処理部２２に実行させるための制御信号を、撮像制御部２５に出力する。グラフＧ４は、読み出し画像１００Ｃに対して実行するＮＲ処理の強度を示している。
　図１５Ｂには、図１４のフレーム期間Ｔ３において読み出される読み出し画像１００Ｄが示されている。図１５Ｂに示すように、読み出し画像１００Ｄには、上部において、読み出し処理と、ＤＳＰ処理が重なる領域に対応する領域Ｒ５においてノイズ１０１Ｄが含まれる。ＣＰＵ３１は、ノイズ１０１Ｄを抑圧するためのＮＲ処理を撮像処理部２２に実行させるための制御信号を、撮像処理部２２に出力する。グラフＧ５は、読み出し画像１００Ｄに対して実行するＮＲ処理の強度を示している。
　ＣＰＵ３１は、図１５Ａおよび図１５Ｂに示すように、ＮＲ処理を実行する領域が読み出し画像１００Ｃおよび読み出し画像１００Ｄの上部であっても、フレーム期間Ｔ２とフレーム期間Ｔ３とでは、ＮＲ処理を実行する領域を変更する。ＣＰＵ３１は、フレームごとにＮＲ処理を実行するタイミングを算出する。ＣＰＵ３１は、フレームごとにＮＲ処理を実行するタイミングを算出することで、ＤＳＰ処理時間に応じて、ＮＲ処理を実行する領域を動的に変更することができる。
［３－６．第４処理モード］
　図１６を用いて、実施形態に係る第４処理モードについて説明する。図１６は、実施形態に係る第４処理モードを説明するための図である。
　図１６に示すように、フレーム期間Ｔ１で開始されたＤＳＰ処理は、フレーム期間Ｔ２で期間ｔ８の間、画像読み出し処理と並列に実行される。ここで、フレーム期間Ｔ２における画像読み出し処理は、開始から終了までの全ての期間に渡ってＤＳＰ処理と並列に実行されている。フレーム期間Ｔ２で開始されたＤＳＰ処理は、フレーム期間Ｔ３で期間ｔ９の間、画像読み出し処理と並列に実行される。フレーム期間Ｔ３においては、画像読み出し処理の開始のタイミングにおいて、ＤＳＰ処理が並列に実行されている。
　図１６に示すように、ＤＳＰ処理によっては、画像読み出し処理が行われている間の全期間に渡ってＤＳＰ処理を実行することも想定される。図１６では、ＣＰＵ３１は、フレーム期間Ｔ１で画像読み出し処理が終了した後にイネーブル信号をＨＩＧＨにして、フレーム期間Ｔ２の画像読み出し処理が終わったタイミングでイネーブル信号をＬＯＷにする。この場合、ＣＰＵ３１は、フレーム期間Ｔ２で読み出された画像の全体に対してＮＲ処理を実行する。また、ＣＰＵ３１は、フレーム期間Ｔ３で読み出された画像の上部に対してＮＲ処理を実行する領域を動的に切り替える。
　図１７Ａと、図１７Ｂとを用いて、ＮＲ処理を実行する領域を動的に切り替える方法について説明する。図１７Ａと、図１７Ｂとは、ＮＲ処理を実行する領域を動的に切り替える方法を説明するための図である。
　図１７Ａには、図１６のフレーム期間Ｔ２において読み出される読み出し画像１００Ｅが示されている。図１７Ａに示すように、読み出し画像１００Ｅには、全領域Ｒ６に渡ってノイズ１０１Ｅが発生する。ＣＰＵ３１は、ノイズ１０１Ｅを抑圧するためのＮＲ処理を撮像処理部２２に実行させるための制御信号を、撮像制御部２５に出力する。グラフＧ６は、読み出し画像１００Ｅに対して実行するＮＲ処理の強度を示している。
　図１７Ｂには、図１６のフレーム期間Ｔ３において読み出される読み出し画像１００Ｆが示されている。図１７Ｂに示すように、読み出し画像１００Ｆには、上部において、読み出し処理と、ＤＳＰ処理が重なる領域に対応する領域Ｒ７においてノイズ１０１Ｆが含まれる。ＣＰＵ３１は、ノイズ１０１Ｆを抑圧するためのＮＲ処理を撮像処理部２２に実行させるための制御信号を、撮像処理部２２に出力する。グラフＧ７は、読み出し画像１００Ｆに対して実行するＮＲ処理の強度を示している。
　ＣＰＵ３１は、図１７Ａおよび図１７Ｂに示すように、フレーム期間Ｔ２で全領域にＮＲ処理を実行する場合であっても、フレーム期間Ｔ２とフレーム期間Ｔ３とでは、ＮＲ処理を実行する領域を変更する。ＣＰＵ３１は、フレームごとにＮＲ処理を実行するタイミングを算出する。ＣＰＵ３１は、フレームごとにＮＲ処理を実行するタイミングを算出することで、ＤＳＰ処理時間に応じて、ＮＲ処理を実行する領域を動的に変更することができる。
［３－７．第５処理モード］
　図１８を用いて、実施形態に係る第５処理モードについて説明する。図１８は、実施形態に係る第５処理モードを説明するための図である。
　図１８に示すように、フレーム期間Ｔ２におけるＤＳＰ処理の負荷が大きい場合、ＤＳＰ処理の時間を長くすることが想定される。この場合、フレーム期間Ｔ２の画像読み出し処理は、初めにフレーム期間Ｔ１のＤＳＰ処理が並列に実行され、終わりにフレーム期間Ｔ２のＤＳＰ処理が並列に実行されることが想定される。この場合、ＣＰＵ３１は、フレーム期間Ｔ２の画像読み出し処理の時間を、フレーム期間Ｔ２のＤＳＰ処理と並列に実行されないように、短くするようにしてもよい。同様に、フレーム期間Ｔ３の画像読み出し処理の時間を短く制御するようにしてもよい。具体的には、ＣＰＵ３１は、撮像制御部２５に制御信号を出力することにより、画像読み出し時間を削減させればよい。そして、ＣＰＵ３１は、画像読み出し時間の削減量に基づいて、ＮＲ処理を実行する領域を切り替えるようにしてよい。すなわち、第７実施形態では、ＣＰＵ３１は、画像読み出し処理の時間と、ＤＳＰ処理の時間とを動的に切り替える。
　図１９Ａと、図１９Ｂとを用いて、ＮＲ処理を実行する領域を動的に切り替える方法について説明する。図１９Ａと、図１９Ｂとは、ＮＲ処理を実行する領域を動的に切り替える方法を説明するための図である。
　図１９Ａには、図１８のフレーム期間Ｔ２において読み出される読み出し画像１００Ｇが示されている。図１９Ａに示すように、読み出し画像１００Ｇには、上部において、読み出し処理と、ＤＳＰ処理が重なる領域に対応する領域Ｒ８においてノイズ１０１Ｇが含まれる。ＣＰＵ３１は、ノイズ１０１Ｇを抑圧するためのＮＲ処理を撮像処理部２２に実行させるための制御信号を、撮像制御部２５に出力する。グラフＧ８は、読み出し画像１００Ｇに対して実行するＮＲ処理の強度を示している。
　図１９Ｂには、図１８のフレーム期間Ｔ３において読み出される読み出し画像１００Ｈが示されている。図１９Ｂに示すように、読み出し画像１００Ｈには、上部において、読み出し処理と、ＤＳＰ処理が重なる領域に対応する領域Ｒ９においてノイズ１０１Ｈが含まれる。ＣＰＵ３１は、ノイズ１０１Ｈを抑圧するためのＮＲ処理を撮像処理部２２に実行させるための制御信号を、撮像処理部２２に出力する。
　ＣＰＵ３１は、図１９Ａおよび図１９Ｂに示すように、画像読み出し時間を削減してＮＲ処理を実行する場合であっても、フレーム期間Ｔ２とフレーム期間Ｔ３とでは、ＮＲ処理を実行する領域を変更する。ＣＰＵ３１は、フレームごとにＮＲ処理を実行するタイミングを算出する。ＣＰＵ３１は、フレームごとにＮＲ処理を実行するタイミングを算出することで、ＤＳＰ処理時間に応じて、ＮＲ処理を実行する領域を動的に変更することができる。
＜４．効果＞
　本開示に係る固体撮像装置２は、画像データを取得する撮像部２１と、画像データに対するＤＮＮの処理と、画像データの読み出し処理とを並列に実行させるとともに、画像データに対するＤＮＮの処理と、画像データの読み出し処理とが並列に実行されている際に読み出された画像データに対してノイズリダクション処理を実行させる制御部（ＣＰＵ３１）と、を備える。
　これにより、固体撮像装置２は、ＤＮＮ処理と、画像データの読み出し処理とを並列に実行したことに起因して発生したノイズを抑圧することができるので、１フレーム期間中の処理を適切に実行することができる。
　ＣＰＵ３１は、画像データの読み出し処理の終了前の所定期間と、画像データに対するＤＮＮ処理の開始後の所定期間とが重なるように、画像データに対するＤＮＮの処理と、画像データの読み出し処理とを制御する。これにより、固体撮像装置２は、ＤＮＮの処理時間を確保しつつ、ノイズを抑圧することができるので、１フレーム期間中の処理を適切に実行することができる。
　ＣＰＵ３１は、画像データに対するＤＮＮの処理と、画像データの読み出し処理とが並列に実行される時間をフレーム期間ごとに制御する。これにより、固体撮像装置２は、フレーム期間ごとに画像データに含まれるノイズを抑圧する領域を制御することができるので、１フレーム期間中の処理を適切に実行することができる。
　ＣＰＵ３１は、画像データに対するＤＮＮの処理を終了のタイミングを固定した状態で、画像データに対するＤＮＮの処理の開始のタイミングを早くするように制御する。これにより、固体撮像装置２は、画像データに対するＤＮＮの処理と、画像データの読み出し処理とが並列に実行される期間を極力少なくすることができるので、１フレーム期間中の処理を適切に実行することができる。
　ＣＰＵ３１は、画像データに含まれる被写体に応じて、画像データに対するＤＮＮの処理と、画像データの読み出し処理とが並列に実行される期間を制御する。これにより、固体撮像装置２は、被写体に応じて、画像データに対するＤＮＮの処理と、画像データの読み出し処理とが並列に実行される期間とを制御することができるので、１フレーム期間中の処理を適切に実行することができる。
　ＣＰＵ３１は、画像データの読み出し処理の開始後の所定期間と、画像データに対するＤＮＮ処理の終了前の所定期間とが重なるように、画像データに対するＤＮＮの処理と、画像データの読み出し処理とを制御する。これにより、固体撮像装置２は、画像データに対するＤＮＮの処理と、画像データの読み出し処理とが並列に実行される期間とを制御することができるので、１フレーム期間中の処理を適切に実行することができる。
　ＣＰＵ３１は、画像データの読み出し処理の開始から終了までの全ての期間と、画像データに対するＤＮＮ処理の終了前の所定期間とが重なるように、画像データに対するＤＮＮの処理と、画像データの読み出し処理とを制御する。これにより、固体撮像装置２は、画像データに対するＤＮＮの処理と、画像データの読み出し処理とが並列に実行される期間とを制御することができるので、１フレーム期間中の処理を適切に実行することができる。
　ＣＰＵ３１は、画像データに対するＤＮＮの処理時間と、画像データの読み出し処理時間とを動的に制御する。これにより、固体撮像装置２は、画像データに対するＤＮＮの処理時間と、画像データの読み出し処理時間とを動的に制御することができるので、１フレーム期間中の処理を適切に実行することができる。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。　
　なお、本技術は以下のような構成も取ることができる。
（１）
　画像データを取得する撮像部と、
　前記画像データに対するＤＮＮの処理と、前記画像データの読み出し処理とを並列に実行させるとともに、前記画像データに対するＤＮＮの処理と、前記画像データの読み出し処理とが並列に実行されている際に読み出された前記画像データに対してノイズリダクション処理を実行させる制御部と、
　を備える、固体撮像装置。
（２）
　前記制御部は、前記画像データの読み出し処理の終了前の所定期間と、前記画像データに対するＤＮＮ処理の開始後の所定期間とが重なるように、前記画像データに対するＤＮＮの処理と、前記画像データの読み出し処理とを制御する、
　前記（１）に記載の固体撮像装置。
（３）
　前記制御部は、前記画像データに対するＤＮＮの処理と、前記画像データの読み出し処理とが並列に実行される時間をフレーム期間ごとに制御する、
　前記（１）または（２）に記載の固体撮像装置。
（４）
　前記制御部は、前記画像データに対するＤＮＮの処理を終了のタイミングを固定した状態で、前記画像データに対するＤＮＮの処理の開始のタイミングを早くするように制御する、
　前記（１）～（３）のいずれか１つに記載の固体撮像装置。
（５）
　前記制御部は、前記画像データに含まれる被写体に応じて、前記画像データに対するＤＮＮの処理と、前記画像データの読み出し処理とが並列に実行される期間を制御する、
　前記（１）～（４）のいずれか１つに記載の固体撮像装置。
（６）
　前記制御部は、前記画像データの読み出し処理の開始後の所定期間と、前記画像データに対するＤＮＮ処理の終了前の所定期間とが重なるように、前記画像データに対するＤＮＮの処理と、前記画像データの読み出し処理とを制御する、
　前記（５）に記載の固体撮像装置。
（７）
　前記制御部は、前記画像データの読み出し処理の開始から終了までの全ての期間と、前記画像データに対するＤＮＮ処理の終了前の所定期間とが重なるように、前記画像データに対するＤＮＮの処理と、前記画像データの読み出し処理とを制御する、
　前記（１）に記載の固体撮像装置。
（８）
　前記制御部は、前記画像データに対するＤＮＮの処理時間と、前記画像データの読み出し処理時間とを動的に制御する、
　前記（１）～（７）のいずれか１つに記載の固体撮像装置。
　１　光学系
　２　撮像装置
　３　メモリ
　４　信号処理部
　５　出力部
　６　制御部
　２０　撮像ブロック
　２１　撮像部
　２２　撮像処理部
　２３　出力制御部
　２４　出力Ｉ／Ｆ
　２５　撮像制御部
　２６　通信Ｉ／Ｆ
　２７　レジスタ群
　３０　信号処理ブロック
　３１　ＣＰＵ
　３２　ＤＳＰ
　３３　メモリ
　３４　通信Ｉ／Ｆ
　３５　画像圧縮部
　３６　入力Ｉ／Ｆ
　５１，５２　ダイ

Claims (8)

  1. 　画像データを取得する撮像部と、
    　前記画像データに対するＤＮＮの処理と、前記画像データの読み出し処理とを並列に実行させるとともに、前記画像データに対するＤＮＮの処理と、前記画像データの読み出し処理とが並列に実行されている際に読み出された前記画像データに対してノイズリダクション処理を実行させる制御部と、
    　を備える、固体撮像装置。
  2. 　前記制御部は、前記画像データの読み出し処理の終了前の所定期間と、前記画像データに対するＤＮＮ処理の開始後の所定期間とが重なるように、前記画像データに対するＤＮＮの処理と、前記画像データの読み出し処理とを制御する、
    　請求項１に記載の固体撮像装置。
  3. 　前記制御部は、前記画像データに対するＤＮＮの処理と、前記画像データの読み出し処理とが並列に実行される時間をフレーム期間ごとに制御する、
    　請求項１に記載の固体撮像装置。
  4. 　前記制御部は、前記画像データに対するＤＮＮの処理を終了のタイミングを固定した状態で、前記画像データに対するＤＮＮの処理の開始のタイミングを早くするように制御する、
    　請求項１に記載の固体撮像装置。
  5. 　前記制御部は、前記画像データに含まれる被写体に応じて、前記画像データに対するＤＮＮの処理と、前記画像データの読み出し処理とが並列に実行される期間を制御する、
    　請求項１に記載の固体撮像装置。
  6. 　前記制御部は、前記画像データの読み出し処理の開始後の所定期間と、前記画像データに対するＤＮＮ処理の終了前の所定期間とが重なるように、前記画像データに対するＤＮＮの処理と、前記画像データの読み出し処理とを制御する、
    　請求項５に記載の固体撮像装置。
  7. 　前記制御部は、前記画像データの読み出し処理の開始から終了までの全ての期間と、前記画像データに対するＤＮＮ処理の終了前の所定期間とが重なるように、前記画像データに対するＤＮＮの処理と、前記画像データの読み出し処理とを制御する、
    　請求項１に記載の固体撮像装置。
  8. 　前記制御部は、前記画像データに対するＤＮＮの処理時間と、前記画像データの読み出し処理時間とを動的に制御する、
    　請求項１に記載の固体撮像装置。
PCT/JP2021/010003 2020-03-19 2021-03-12 固体撮像装置 WO2021187350A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180020505.2A CN115280760A (zh) 2020-03-19 2021-03-12 固态成像装置
US17/798,085 US12101571B2 (en) 2020-03-19 2021-03-12 Solid-state imaging apparatus for performing noise reduction processing on image data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-049488 2020-03-19
JP2020049488 2020-03-19

Publications (1)

Publication Number Publication Date
WO2021187350A1 true WO2021187350A1 (ja) 2021-09-23

Family

ID=77772106

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/010003 WO2021187350A1 (ja) 2020-03-19 2021-03-12 固体撮像装置

Country Status (3)

Country Link
US (1) US12101571B2 (ja)
CN (1) CN115280760A (ja)
WO (1) WO2021187350A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022119375A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018051809A1 (ja) * 2016-09-16 2018-03-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置、及び、電子機器
WO2019012370A1 (ja) * 2017-07-14 2019-01-17 株式会社半導体エネルギー研究所 撮像装置および電子機器
JP2020025268A (ja) * 2018-07-31 2020-02-13 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4851388B2 (ja) * 2007-05-16 2012-01-11 浜松ホトニクス株式会社 撮像装置
US9854159B2 (en) * 2012-07-20 2017-12-26 Pixart Imaging Inc. Image system with eye protection
JP6495235B2 (ja) * 2013-03-20 2019-04-03 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 放射線撮像における予測動きゲーティングのための神経生理学的監視
US11195310B2 (en) * 2018-08-06 2021-12-07 General Electric Company Iterative image reconstruction framework
KR102709413B1 (ko) * 2019-07-03 2024-09-24 삼성전자주식회사 뉴럴 네트워크 프로세서를 구비하는 이미지 프로세싱 장치 및 이의 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018051809A1 (ja) * 2016-09-16 2018-03-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置、及び、電子機器
WO2019012370A1 (ja) * 2017-07-14 2019-01-17 株式会社半導体エネルギー研究所 撮像装置および電子機器
JP2020025268A (ja) * 2018-07-31 2020-02-13 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器

Also Published As

Publication number Publication date
US20230156375A1 (en) 2023-05-18
US12101571B2 (en) 2024-09-24
CN115280760A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
JP5439197B2 (ja) 撮像装置、撮像方法、および、撮像プログラム
US8194155B2 (en) Information processing apparatus, buffer control method, and computer program
JP2004007304A (ja) デジタル撮影装置
JP5002931B2 (ja) 撮像装置及びそのプログラム
JP4628281B2 (ja) 撮像動作制御ユニット及びデジタルカメラ
US7365777B2 (en) Digital camera
US7705896B2 (en) Imaging apparatus which adds a first number of R and B pixels, and adds a second number of G pixels
JP2015053644A (ja) 撮像装置
WO2021187350A1 (ja) 固体撮像装置
JP2006340070A (ja) 撮像装置及び撮像方法
JP2001285698A (ja) 電子カメラ
WO2021187121A1 (ja) 固体撮像装置
JP4123352B2 (ja) 動画撮像装置及び動画再生装置
JP5820720B2 (ja) 撮像装置
JP2008131460A (ja) ディジタルカメラ
JP4716182B2 (ja) 撮像装置及び撮像制御プログラム
JP2003189193A (ja) 撮像装置
JP2020022034A (ja) 撮像素子、撮像装置および制御方法
WO2022219985A1 (ja) 情報処理方法、情報処理装置、プログラム
JP2006186796A (ja) 撮影装置、撮影方法および撮影プログラム
JP2010239267A (ja) 撮像装置、周辺減光補正制御方法およびプログラム
JP2004179852A (ja) デジタルカメラ
JP4199391B2 (ja) 固体撮像装置および信号読出し方法
JP2002354292A (ja) 画像処理装置およびその画像処理方法
JP4088898B2 (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21772459

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21772459

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP