WO2018051809A1 - 撮像装置、及び、電子機器 - Google Patents

撮像装置、及び、電子機器 Download PDF

Info

Publication number
WO2018051809A1
WO2018051809A1 PCT/JP2017/031539 JP2017031539W WO2018051809A1 WO 2018051809 A1 WO2018051809 A1 WO 2018051809A1 JP 2017031539 W JP2017031539 W JP 2017031539W WO 2018051809 A1 WO2018051809 A1 WO 2018051809A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging
signal processing
output
unit
Prior art date
Application number
PCT/JP2017/031539
Other languages
English (en)
French (fr)
Inventor
良仁 浴
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020227015678A priority Critical patent/KR102526559B1/ko
Priority to EP17850712.5A priority patent/EP3515057B1/en
Priority to CN202110539020.6A priority patent/CN113271400B/zh
Priority to KR1020227002597A priority patent/KR102490799B1/ko
Priority to KR1020197006833A priority patent/KR102374013B1/ko
Priority to EP22172135.0A priority patent/EP4064680A1/en
Priority to KR1020227014481A priority patent/KR20220058975A/ko
Priority to CN201780055363.7A priority patent/CN109691079B/zh
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US16/330,468 priority patent/US10795024B2/en
Priority to KR1020237013656A priority patent/KR102647268B1/ko
Priority to JP2018539628A priority patent/JP6633216B2/ja
Priority to EP22172106.1A priority patent/EP4064679A1/en
Publication of WO2018051809A1 publication Critical patent/WO2018051809A1/ja
Priority to US16/986,049 priority patent/US12130362B2/en
Priority to US17/702,172 priority patent/US20220214458A1/en
Priority to US17/718,504 priority patent/US20220244387A1/en
Priority to US17/722,117 priority patent/US12061264B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/917—Television signal processing therefor for bandwidth reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene

Definitions

  • the present technology relates to an imaging device and an electronic device, and more particularly, to an imaging device and an electronic device that enable, for example, an imaging device that outputs information required by a user to be configured in a small size.
  • Patent Document 1 An image pickup apparatus for picking up an image, an image pickup apparatus in which a chip of a sensor chip, a memory chip, and a DSP (Digital Signal Processor) chip is connected in parallel with a plurality of bumps has been proposed (for example, Patent Document 1). reference).
  • a chip of a sensor chip, a memory chip, and a DSP (Digital Signal Processor) chip is connected in parallel with a plurality of bumps.
  • the user who uses the imaging device may need information (metadata) obtained from the image instead of the image itself, in addition to the case where the image captured by the imaging device is required.
  • the present technology has been made in view of such a situation, and enables an imaging apparatus that outputs information required by a user to be configured in a small size.
  • An imaging device or an electronic apparatus includes an imaging unit that captures an image in which a plurality of pixels are arranged in two dimensions, a signal processing unit that performs signal processing using a captured image output from the imaging unit, and the signal A signal processing result of processing and an output I / F for outputting the captured image to the outside, and a signal processing result of the signal processing and the captured image are selectively output to the outside from the output I / F.
  • a one-chip imaging device including an output control unit that performs output control, or an electronic device including such an imaging device.
  • signal processing using a captured image output by an imaging unit that captures an image in which a plurality of pixels are arranged two-dimensionally is performed, and the signal processing result of the signal processing, and The signal processing result of the signal processing and the captured image are selectively output from the output I / F that outputs the captured image to the outside.
  • the imaging device may be an independent device or an internal block constituting one device.
  • the imaging device that outputs information required by the user can be configured in a small size.
  • FIG. 1 is a perspective view illustrating an outline of an external configuration example of an imaging apparatus 2.
  • FIG. 1 is a perspective view illustrating an outline of an external configuration example of an imaging apparatus 2.
  • FIG. It is a figure explaining the outline
  • 6 is a timing chart for explaining a first example of processing timing of the imaging apparatus 2 when recognition processing is performed as signal processing of the DSP 32; 12 is a timing chart illustrating a second example of processing timing of the imaging apparatus 2 when recognition processing is performed as signal processing of the DSP 32. 12 is a timing chart for explaining a third example of processing timing of the imaging apparatus 2 when recognition processing is performed as signal processing of the DSP 32. 16 is a timing chart illustrating a fourth example of processing timing of the imaging apparatus 2 when recognition processing is performed as signal processing of the DSP 32. It is a figure explaining the outline
  • FIG. 6 is a timing chart illustrating a first example of processing timing of the imaging apparatus 2 when SLAM processing is performed as signal processing of the DSP 32.
  • 12 is a timing chart for explaining a second example of processing timing of the imaging apparatus 2 when SLAM processing is performed as signal processing of the DSP 32.
  • 12 is a timing chart illustrating a third example of processing timing of the imaging apparatus 2 when SLAM processing is performed as signal processing of the DSP 32.
  • FIG. 10 is a block diagram illustrating another configuration example of the imaging apparatus 2.
  • 6 is a diagram illustrating a usage example in which the imaging apparatus 2 is used.
  • FIG. It is a block diagram which shows the schematic structural example of a vehicle control system. It is explanatory drawing which shows an example of the installation position of an imaging part.
  • FIG. 1 is a block diagram illustrating a configuration example of an embodiment of a digital camera to which the present technology is applied.
  • the digital camera can capture both still images and moving images.
  • the digital camera includes an optical system 1, an imaging device 2, a memory 3, a signal processing unit 4, an output unit 5, and a control unit 6.
  • the optical system 1 has, for example, a zoom lens (not shown), a focus lens, a diaphragm, and the like, and makes external light incident on the imaging device 2.
  • the imaging device 2 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor configured by one chip, receives incident light from the optical system 1, performs photoelectric conversion, and converts the incident light from the optical system 1 into incident light. Output the corresponding image data.
  • CMOS Complementary Metal Oxide Semiconductor
  • the imaging device 2 performs, for example, recognition processing for recognizing a predetermined recognition target and other signal processing using the image data or the like, and outputs a signal processing result of the signal processing.
  • the memory 3 temporarily stores image data and the like output from the imaging device 2.
  • the signal processing unit 4 performs processing such as noise removal and white balance adjustment as necessary as camera signal processing using the image data stored in the memory 3, and supplies the processing to the output unit 5. .
  • the output unit 5 outputs the image data from the signal processing unit 4 and the signal processing result stored in the memory 3.
  • the output unit 5 has a display (not shown) made of, for example, liquid crystal, and displays an image corresponding to the image data from the signal processing unit 4 as a so-called through image.
  • the output unit 5 includes a driver (not shown) that drives a recording medium such as a semiconductor memory, a magnetic disk, or an optical disk, for example, and the image data from the signal processing unit 4 and the signal stored in the memory 3 The processing result is recorded on a recording medium.
  • a driver not shown
  • a recording medium such as a semiconductor memory, a magnetic disk, or an optical disk, for example
  • the output unit 5 functions as, for example, an I / F (Interface) that performs data transmission with an external device, and outputs image data from the signal processing unit 4, image data recorded on a recording medium, and the like. And transmit to an external device.
  • I / F Interface
  • the control unit 6 controls each block constituting the digital camera in accordance with a user operation or the like.
  • the imaging device 2 captures an image. That is, the imaging device 2 receives incident light from the optical system 1 and performs photoelectric conversion, and acquires and outputs image data corresponding to the incident light.
  • the image data output from the imaging device 2 is supplied to and stored in the memory 3.
  • the image data stored in the memory 3 is subjected to camera signal processing by the signal processing unit 4, and the resulting image data is supplied to the output unit 5 and output.
  • the imaging device 2 performs signal processing using an image (data) obtained by imaging, and outputs a signal processing result of the signal processing.
  • the signal processing result output from the imaging device 2 is stored in the memory 3, for example.
  • the imaging device 2 the output of the image itself obtained by the imaging and the output of the signal processing result of the signal processing using the image or the like are selectively performed.
  • FIG. 2 is a block diagram illustrating a configuration example of the imaging device 2 of FIG.
  • the imaging apparatus 2 includes an imaging block 20 and a signal processing block 30.
  • the imaging block 20 and the signal processing block 30 are electrically connected by connection lines (internal buses) CL1, CL2, and CL3.
  • the imaging block 20 includes an imaging unit 21, an imaging processing unit 22, an output control unit 23, an output I / F (Interface) 24, and an imaging control unit 25, and captures an image.
  • the imaging unit 21 includes a plurality of pixels arranged in two dimensions.
  • the imaging unit 21 is driven by the imaging processing unit 22 to capture an image.
  • the imaging unit 21 receives incident light from the optical system 1 in each pixel, performs photoelectric conversion, and outputs an analog image signal corresponding to the incident light.
  • the size of the image (signal) output from the imaging unit 21 is selected from a plurality of sizes such as 12M (3968 ⁇ 2976) pixels and VGA (Video Graphics Array) size (640 ⁇ 480 pixels). be able to.
  • the imaging unit 21 it is possible to select, for example, whether it is an RGB (red, green, blue) color image or a luminance-only monochrome image.
  • RGB red, green, blue
  • the imaging processing unit 22 is controlled by the imaging unit 21 such as driving of the imaging unit 21, AD (Analog-to-Digital) conversion of analog image signals output from the imaging unit 21, imaging signal processing, and the like according to the control of the imaging control unit 25. An imaging process related to the imaging of the image is performed.
  • AD Analog-to-Digital
  • the imaging signal processing for example, with respect to the image output from the imaging unit 21, a process for obtaining the brightness of each small region by calculating an average value of pixel values for each predetermined small region, There are processing for converting an image output by the imaging unit 21 into an HDR (High Dynamic Range) image, defect correction, development, and the like.
  • HDR High Dynamic Range
  • the imaging processing unit 22 outputs a digital image signal (here, for example, a 12M pixel or VGA size image) obtained by AD conversion of an analog image signal output from the imaging unit 21 as a captured image.
  • a digital image signal here, for example, a 12M pixel or VGA size image
  • the captured image output by the imaging processing unit 22 is supplied to the output control unit 23 and is also supplied to the image compression unit 35 of the signal processing block 30 via the connection line CL2.
  • the output control unit 23 is supplied with the captured image from the imaging processing unit 22 and the signal processing result of the signal processing using the captured image or the like from the signal processing block 30 via the connection line CL3.
  • the output control unit 23 selects the captured image from the imaging processing unit 22 and the signal processing result from the signal processing block 30 from the (one) output I / F 24 to the outside (for example, the memory 3 in FIG. 1). Output control is performed.
  • the output control unit 23 selects a captured image from the imaging processing unit 22 or a signal processing result from the signal processing block 30 and supplies it to the output I / F 24.
  • the output I / F 24 is an I / F that outputs the captured image supplied from the output control unit 23 and the signal processing result to the outside.
  • the output IF 24 for example, a relatively high-speed parallel I / F such as MIPI (Mobile Industry Processor Interface) can be adopted.
  • the captured image from the imaging processing unit 22 or the signal processing result from the signal processing block 30 is output to the outside in accordance with the output control of the output control unit 23. Therefore, for example, when only the signal processing result from the signal processing block 30 is required outside, and the captured image itself is not necessary, only the signal processing result can be output, and the output I / F 24 externally The amount of data to be output can be reduced.
  • the signal processing block 30 performs signal processing for obtaining a signal processing result required externally, and outputs the signal processing result from the output I / F 24, thereby eliminating the need for external signal processing.
  • the load on the external block can be reduced.
  • the imaging control unit 25 includes a communication I / F 26 and a register group 27.
  • the communication I / F 26 is a first communication I / F such as a serial communication I / F such as I2C (Inter-Integrated Circuit), for example, and is connected to the outside (for example, the control unit 6 in FIG. 1). Necessary information such as information to be read from and written to the register 27 group is exchanged.
  • I2C Inter-Integrated Circuit
  • the register group 27 has a plurality of registers, and stores imaging information related to imaging of an image by the imaging unit 21 and other various information.
  • the register group 27 stores imaging information received from the outside in the communication I / F 26 and results of imaging signal processing in the imaging processing unit 22 (for example, brightness for each small area of the captured image).
  • the imaging information stored in the register group 27 includes, for example, ISO sensitivity (analog gain at the time of AD conversion in the imaging processing unit 22), exposure time (shutter speed), frame rate, focus, shooting mode, clipping range, and the like. (Information representing).
  • the shooting modes include, for example, a manual mode in which the exposure time and frame rate are manually set, and an automatic mode in which the exposure time and frame rate are automatically set according to the scene.
  • the automatic mode includes a mode corresponding to various shooting scenes such as a night view and a human face.
  • the cutout range represents a range cut out from an image output by the imaging unit 21 when a part of an image output by the imaging unit 21 is cut out and output as a captured image in the imaging processing unit 22.
  • the cutout range for example, it is possible to cut out only the range in which a person is shown from the image output by the imaging unit 21.
  • the imaging control unit 25 controls the imaging processing unit 22 according to the imaging information stored in the register group 27, thereby controlling the imaging of the image by the imaging unit 21.
  • the register group 27 can store output control information related to output control in the output control unit 23 in addition to imaging information and results of imaging signal processing in the imaging processing unit 22.
  • the output control unit 23 can perform output control for selectively outputting the captured image and the signal processing result according to the output control information stored in the register group 27.
  • the imaging control unit 25 and the CPU 31 of the signal processing block 30 are connected via a connection line CL1, and the CPU 31 is connected to the register group 27 via the connection line CL1. Can read and write information.
  • reading and writing of information with respect to the register group 27 can be performed from the CPU 31 in addition to the communication I / F 26.
  • the signal processing block 30 includes a CPU (Central Processing Unit) 31, a DSP (Digital Signal Processing) 32, a memory 33, a communication I / F 34, an image compression unit 35, and an input I / F 36. Predetermined signal processing is performed using the captured image or the like.
  • CPU Central Processing Unit
  • DSP Digital Signal Processing
  • the CPU 31 or the input I / F 36 constituting the signal processing block 30 are connected to each other via a bus, and can exchange information as necessary.
  • the CPU 31 executes the program stored in the memory 33 to control the signal processing block 30, read / write information to / from the register group 27 of the imaging control unit 25 via the connection line CL1, and other various processes. I do.
  • the CPU 31 functions as an imaging information calculation unit that calculates imaging information using a signal processing result obtained by signal processing in the DSP 32 by executing a program, and calculates a new value calculated using the signal processing result.
  • the imaging information is fed back and stored in the register group 27 of the imaging control unit 25 via the connection line CL1.
  • the CPU 31 can control imaging in the imaging unit 21 and imaging signal processing in the imaging processing unit 22 according to the signal processing result of the captured image.
  • the imaging information stored in the register group 27 by the CPU 31 can be provided (output) to the outside from the communication I / F 26.
  • focus information of the imaging information stored in the register group 27 can be provided from the communication I / F 26 to a focus driver (not shown) that controls the focus.
  • the DSP 32 executes a program stored in the memory 33, so that a captured image supplied from the imaging processing unit 22 to the signal processing block 30 via the connection line CL2 and information received by the input I / F 36 from the outside. It functions as a signal processing unit that performs signal processing using.
  • the memory 33 is composed of SRAM (Static Random Access Memory), DRAM (Dynamic RAM) or the like, and stores data necessary for processing of the signal processing block 30.
  • SRAM Static Random Access Memory
  • DRAM Dynamic RAM
  • the memory 33 is a program received from the outside, a captured image compressed by the image compression unit 35 and used in signal processing by the DSP 32, and a signal processing result of signal processing performed by the DSP 32.
  • the information received by the input I / F 36 is stored.
  • the communication I / F 34 is a second communication I / F such as a serial communication I / F such as SPI (Serial Peripheral Interface), and is connected to the outside (for example, the memory 3 and the control unit 6 in FIG. 1). Necessary information such as programs executed by the CPU 31 and the DSP 32 is exchanged between them.
  • SPI Serial Peripheral Interface
  • the communication I / F 34 downloads a program executed by the CPU 31 and the DSP 32 from the outside, and supplies the program to the memory 33 for storage.
  • the communication I / F 34 can exchange arbitrary data in addition to programs with the outside.
  • the communication I / F 34 can output a signal processing result obtained by signal processing in the DSP 32 to the outside.
  • the communication I / F 34 outputs information in accordance with an instruction from the CPU 31 to an external device, and thereby can control the external device in accordance with the instruction from the CPU 31.
  • the signal processing result obtained by the signal processing in the DSP 32 is output to the outside from the communication I / F 34 and can be written into the register group 27 of the imaging control unit 25 by the CPU 31.
  • the signal processing result written in the register group 27 can be output to the outside from the communication I / F 26. The same applies to the processing result of the processing performed by the CPU 31.
  • the captured image is supplied to the image compression unit 35 from the imaging processing unit 22 via the connection line CL2.
  • the image compression unit 35 performs a compression process for compressing the captured image, and generates a compressed image having a data amount smaller than that of the captured image.
  • the compressed image generated by the image compression unit 35 is supplied to and stored in the memory 33 via the bus.
  • the signal processing in the DSP 32 can be performed by using the compressed image generated from the captured image by the image compression unit 35 in addition to the captured image itself. Since the compressed image has a smaller amount of data than the captured image, it is possible to reduce the load of signal processing in the DSP 32 and save the storage capacity of the memory 33 that stores the compressed image.
  • the compression processing in the image compression unit 35 for example, a scale-down of converting a captured image of 12M (3968 ⁇ 2976) pixels into a VGA size image can be performed.
  • the compression processing is, for example, YUV conversion that converts an RGB image into a YUV image. It can be carried out.
  • the image compression unit 35 can be realized by software, or can be realized by dedicated hardware.
  • the input I / F 36 is an I / F that receives information from the outside.
  • the input I / F 36 receives an output (external sensor output) of the external sensor from an external sensor, and supplies the output to the memory 33 via the bus for storage.
  • a parallel I / F such as MIPI (Mobile Industry Processor Interface) can be adopted as in the case of the output IF 24.
  • MIPI Mobile Industry Processor Interface
  • an external sensor for example, a distance sensor that senses information related to distance can be employed. Further, as an external sensor, for example, an image that senses light and outputs an image corresponding to the light can be used. A sensor, that is, an image sensor different from the imaging device 2 can be employed.
  • the DSP 32 receives the input I / F 36 from the external sensor as described above and performs signal processing using the external sensor output stored in the memory 33. Can do.
  • the imaging device 2 configured as described above, signal processing using a captured image (compressed image generated from the image) obtained by imaging by the imaging unit 21 is performed by the DSP 32, and the signal processing signal A processing result and a captured image are selectively output from the output I / F 24. Therefore, the imaging device that outputs information required by the user can be configured in a small size.
  • the imaging device 2 when the imaging device 2 does not perform the signal processing of the DSP 32 and therefore does not output the signal processing result from the imaging device 2 and outputs the captured image, that is, the imaging device 2 simply captures the image.
  • the imaging device 2 when configured as an image sensor that only outputs, the imaging device 2 can be configured only by the imaging block 20 that does not include the output control unit 23.
  • FIG. 3 is a perspective view showing an outline of an external configuration example of the imaging device 2 of FIG.
  • the imaging device 2 can be configured, for example, as a one-chip semiconductor device having a stacked structure in which a plurality of dies are stacked as shown in FIG.
  • the imaging device 2 is configured by stacking two dies 51 and 52.
  • the imaging unit 21 is mounted on the upper die 51, and the imaging processing unit 22 to the imaging control unit 25 and the CPU 31 or the input I / F 36 are mounted on the lower die 52.
  • the upper die 51 and the lower die 52 are formed, for example, by forming a through-hole that penetrates the die 51 and reaches the die 52, or a Cu wiring exposed on the lower surface side of the die 51 and the die 52. Electrical connection is made, for example, by performing Cu-Cu bonding that directly connects the Cu wiring exposed on the upper surface side of the metal.
  • a column parallel AD method or an area AD method can be adopted as a method for performing AD conversion of the image signal output from the image pickup unit 21 in the image pickup processing unit 22.
  • an ADC AD Converter
  • the ADC of each column is in charge of AD conversion of the pixel signal of the pixel of the column.
  • AD conversion of image signals of pixels in each column of one row is performed in parallel.
  • a part of the imaging processing unit 22 that performs AD conversion of the column parallel AD method may be mounted on the upper die 51.
  • pixels constituting the imaging unit 21 are divided into a plurality of blocks, and an ADC is provided for each block.
  • the ADC of each block is responsible for AD conversion of the pixel signals of the pixels of the block, so that AD conversion of the image signals of the pixels of the plurality of blocks is performed in parallel.
  • AD conversion (reading and AD conversion) of an image signal can be performed only for necessary pixels among pixels constituting the imaging unit 21 with a block as a minimum unit.
  • the imaging device 2 can be configured by a single die.
  • the two dies 51 and 52 are stacked to form the one-chip imaging device 2, but the one-chip imaging device 2 is configured by stacking three or more dies. can do.
  • the memory 33 in FIG. 3 can be mounted on another die.
  • an imaging device (hereinafter, also referred to as a bump connection imaging device) in which chips of a sensor chip, a memory chip, and a DSP chip are connected in parallel by a plurality of bumps.
  • the thickness is greatly increased and the device is increased in size.
  • the bump connection imaging device it may be difficult to ensure a sufficient rate as a rate at which the captured image is output from the imaging processing unit 22 to the output control unit 23 due to signal degradation at a bump connection portion. possible.
  • the image pickup apparatus 2 having the laminated structure, it is possible to prevent the apparatus from being enlarged as described above and from being unable to ensure a sufficient rate as the rate between the image pickup processing unit 22 and the output control unit 23. be able to.
  • the imaging device 2 having the laminated structure it is possible to realize a compact configuration of the imaging device that outputs information required by the user.
  • the imaging device 2 can output the captured image.
  • the imaging device 2 When the information required by the user is obtained by signal processing using a captured image, the imaging device 2 performs signal processing in the DSP 32, thereby performing signal processing as information required by the user. The result can be obtained and output.
  • the signal processing performed in the imaging device 2 that is, the signal processing of the DSP 32
  • recognition processing for recognizing a predetermined recognition target from a captured image can be employed.
  • the imaging device 2 can receive the output of a distance sensor such as a ToF (Time of Flight) sensor arranged so as to have a predetermined positional relationship with the imaging device 2 by the input I / F 36.
  • a distance sensor such as a ToF (Time of Flight) sensor arranged so as to have a predetermined positional relationship with the imaging device 2 by the input I / F 36.
  • the signal processing of the DSP 32 for example, the output of the distance sensor and the imaging such as the processing of removing the noise of the distance image obtained from the output of the distance sensor received by the input I / F 36 using the captured image. It is possible to adopt a fusion process that integrates an image and obtains a precise distance.
  • the imaging device 2 can receive an image output by an image sensor arranged so as to have a predetermined positional relationship with the imaging device 2 by the input I / F 36.
  • the signal processing of the DSP 32 for example, self-position estimation processing (SLAM (Simultaneously Localization and Mapping)) using the image received at the input I / F 36 and the captured image as a stereo image can be employed. .
  • SLAM Simultaneously Localization and Mapping
  • SLAM processing self-position estimation processing
  • processing order of the imaging apparatus 2 described below can be changed within a possible range. That is, the processing order of the imaging device 2 is not limited to the order described below.
  • the communication I / F 34 downloads a program (code) to be executed by the CPU 31 and the DSP 32 from the outside and stores the program in the memory 33 when performing the recognition process as the signal process of the DSP 32.
  • the program executed by the DSP 32 is a recognition processing program that performs recognition processing as signal processing.
  • the CPU 31 starts a predetermined process by executing a program stored in the memory 33.
  • step S12 the CPU 31 reads the brightness (information) for each small area of the captured image and other necessary information from the register group 27 via the connection line CL1.
  • step S13 the CPU 31 performs control related to the compression process such as determining a reduction ratio indicating the degree to which the captured image is scaled down by the compression process of the image compression unit 35.
  • step S14 the imaging unit 21 starts imaging, and the imaging processing unit 22 starts outputting the image from the imaging unit 21 as a captured image. Thereby, supply of the captured image from the imaging processing unit 22 to the output control unit 23 and supply from the imaging processing unit 22 to the image compression unit 35 via the connection line CL2 are started.
  • the captured image supplied from the imaging processing unit 22 to the output control unit 23 is selected as necessary by the output control unit 23 and is output to the outside from the output I / F 24.
  • step S15 the image compression unit 35 starts compression processing of the captured image supplied from the imaging processing unit 22 via the connection line CL2.
  • the image output by the imaging unit 21 is also referred to as a captured image.
  • the imaging unit 21 can output, for example, a captured image of 12 M pixels or VGA size. Furthermore, the imaging unit 21 can output, for example, an RGB (red, green, blue) color image or a monochrome image as a captured image.
  • RGB red, green, blue
  • the image compression unit 35 When the captured image is a full-size image of 12M pixels, the image compression unit 35 performs, for example, a process of scaling down the captured image of 12M pixels to a captured image of VGA size or the like as a compression process.
  • the image compression unit 35 does not perform the process of scaling down.
  • the image compression unit 35 performs YUV conversion as a compression process in order to convert a color captured image into a black and white captured image, for example.
  • the image compression unit 35 does not perform YUV conversion.
  • the image compression unit 35 performs scale-down of the captured image and YUV conversion as compression processing.
  • the image compression unit 35 performs YUV conversion of the captured image as a compression process.
  • the image compression unit 35 stores the VGA size monochrome captured image obtained as a result of the compression process in the memory 33 as a compressed image.
  • the imaging device 2 can be configured without the image compression unit 35.
  • the load on the DSP 32 and the storage capacity required for the memory 33 become large.
  • step S21 of FIG. 5 the DSP 32 reads and executes the recognition processing program stored in the memory 33 in step S11, thereby starting recognition processing as signal processing corresponding to the recognition processing program.
  • the DSP 32 sequentially reads each area of the compressed image stored in the memory 33 as a recognition processing target from the memory 33, and selects a predetermined recognition target (for example, a human face) from the processing target.
  • the recognition process for recognition is performed as signal processing using a compressed image (and thus a captured image).
  • Recognition processing can be performed using a technique such as deep learning such as CNN (Convolutional Neural Network).
  • CNN Convolutional Neural Network
  • the recognition process in addition to detecting a specific subject such as a human face as a recognition target, it is possible to detect a scene appearing in the image with a scene appearing in the image as a recognition target.
  • step S22 the DSP 32 supplies the result of the recognition process to the memory 33 as a signal processing result to be stored.
  • the result of the recognition process includes, for example, information such as whether or not the recognition target is detected and the detection position where the recognition target is detected.
  • the compressed image level is set such that the average brightness of the compressed image is set to a predetermined fixed value.
  • Key conversion can be performed. Such gradation conversion can be performed using the brightness of each small region of the captured image read from the register group 27 by the CPU 31 in step S12 of FIG.
  • step S31 of FIG. 6 the CPU 31 reads the recognition result as the signal processing result stored in the memory 33, and uses the recognition result to calculate imaging information such as an exposure time suitable for imaging the captured image. I do.
  • the CPU 31 detects the face appearing at the detection position according to the brightness of the face detection position on the compressed image (captured image). Calculate the exposure time appropriate for shooting. Further, for example, the CPU 31 calculates imaging information for controlling autofocus so as to focus on the face detection position.
  • the CPU 31 calculates imaging information such as a frame rate suitable for imaging a captured image, a shooting mode, and a cutout range as necessary using the recognition result.
  • step S32 the CPU 31 feeds back the imaging information calculated in step S31 to the register group 27 via the connection line CL1.
  • the register group 27 newly stores the imaging information fed back from the CPU 31, and thereafter, the imaging control unit 25 controls the imaging processing unit 22 according to the imaging information newly stored in the register group 27.
  • step S ⁇ b> 33 the CPU 31 reads the recognition result as the signal processing result stored in the memory 33 and supplies it to the output control unit 23.
  • the recognition result as the signal processing result supplied from the memory 33 to the output control unit 23 is selected as necessary by the output control unit 23 and is output to the outside from the output I / F 24.
  • FIG. 7 is a timing chart for explaining a first example of processing timing of the imaging apparatus 2 when recognition processing is performed as signal processing of the DSP 32.
  • the imaging unit 21 takes 1/30 seconds as a frame period T1, and captures one frame during 1/60 seconds of the first half of the frame period T1.
  • a captured image obtained by imaging by the imaging unit 21 is supplied from the imaging processing unit 22 to the output control unit 23 and the image compression unit 35.
  • the captured image is a 12M pixel color image.
  • the output control unit 23 when a captured image is supplied from the imaging processing unit 22, the captured image is selected and output to the outside from the output I / F 24.
  • scale-down and YUV conversion are performed as compression processing of a 12M pixel color captured image, and the 12M pixel color captured image is converted into a VGA sized black and white compressed image. This compressed image is stored in the memory 33.
  • the frame period T1 is also referred to as an attention frame period T1.
  • the compression processing of the captured image (captured at 1/60 second of the first half) of the noticed frame period T1 ends in the first half of the noticeable frame period T1, and then the latter half of the noticed frame period T1
  • the DSP 32 starts recognition processing using a compressed image stored in the memory 33, that is, a compressed image obtained from a captured image of the frame period of interest T1.
  • the DSP 32 ends the recognition process using the compressed image obtained from the captured image in the frame period of interest T1 at a timing slightly before the end of the frame period of interest T1, and uses the recognition result of the recognition process as the signal processing result. , And supplied to the output control unit 23.
  • the output control unit 23 selects the signal processing result and outputs it to the outside from the output I / F 24.
  • the signal processing result for the attention frame period T1 that is, the signal processing result (recognition result) of the recognition processing using the compressed image obtained from the captured image of the attention frame period T1 is the end of the attention frame period T1. It is output from the output I / F 24 during the period from the moment to the end of the frame period of interest T1.
  • FIG. 8 is a timing chart for explaining a second example of processing timing of the imaging apparatus 2 when recognition processing is performed as signal processing of the DSP 32.
  • the imaging unit 21 takes 1/30 seconds as a frame period T1 and captures one frame during 1/60 seconds of the first half of the frame period T1 to obtain 12M pixels. A color captured image is acquired.
  • the captured image acquired by the imaging unit 21 is supplied from the imaging processing unit 22 to the output control unit 23 and the image compression unit 35.
  • the output control unit 23 selects the captured image in response to the supply of the captured image from the imaging processing unit 22 and outputs it to the outside from the output I / F 24 as in FIG. 7.
  • scale down and YUV conversion are performed as compression processing of a 12M pixel color captured image, and the 12M pixel color captured image is converted into a VGA sized monochrome compressed image. Converted. This compressed image is stored in the memory 33.
  • the DSP 32 after starting the compression process, the DSP 32 does not wait for the end of the compression process, and at a timing when the DSP 32 can use a part of the compressed image generated by the compression process for the recognition process.
  • a recognition process using a compressed image (a part thereof) obtained from the captured image of the target frame period T1 is started.
  • the DSP 32 ends the recognition process using the compressed image obtained from the captured image in the frame period of interest T1 at a timing slightly before the end of the frame period of interest T1, and uses the recognition result of the recognition process as the signal processing result. , And supplied to the output control unit 23.
  • the output control unit 23 selects the signal processing result according to the supply of the recognition result as the signal processing result, and outputs it to the outside from the output I / F 24.
  • the recognition result using the compressed image obtained from the captured image of the target frame period T ⁇ b> 1 as the signal processing result for the target frame period T ⁇ b> 1 is immediately after the end of the target frame period T ⁇ b> 1. It is output from the output I / F 24 during the period until the frame period of interest T1 ends.
  • FIG. 9 is a timing chart illustrating a third example of processing timing of the imaging apparatus 2 when recognition processing is performed as signal processing of the DSP 32.
  • the imaging unit 21 captures one frame with 1/30 seconds as the frame period T ⁇ b> 1.
  • the imaging unit 21 captures a VGA size color captured image, not a 12 M pixel color captured image.
  • the imaging of one frame is completed in a very short time from the start of the frame period T1.
  • the VGA-size captured image captured by the imaging unit 21 is supplied from the imaging processing unit 22 to the output control unit 23 and the image compression unit 35.
  • the captured image is not used externally. Therefore, even if the captured image is supplied from the imaging processing unit 22, the output control unit 23 does not select the captured image and outputs I / F24 does not output externally.
  • the image compression unit 35 compresses the captured image and stores the compressed image obtained as a result in the memory 33.
  • FIG. 9 since the captured image is a VGA size color image, YUV conversion is performed as the compression processing, but scale down is not performed. Therefore, the compression process of FIG. 9 is completed in a shorter time than the cases of FIG. 7 and FIG.
  • a part of the compressed image generated by the compression process can be used for the recognition process without waiting for the end of the compression process after the compression process is started.
  • the DSP 32 has started recognition processing using (a part of) the compressed image obtained from the captured image of the frame period of interest T1.
  • the DSP 32 ends the recognition process using the compressed image obtained from the captured image in the frame period of interest T1 at a timing slightly before the end of the frame period of interest T1, and uses the recognition result of the recognition process as the signal processing result. , And supplied to the output control unit 23.
  • the output control unit 23 selects the signal processing result according to the supply of the recognition result as the signal processing result, and outputs it to the outside from the output I / F 24.
  • the recognition result using the compressed image obtained from the captured image of the frame of interest T1 as the signal processing result for the frame of interest T1 is the frame of the frame of interest T1. It is output from the output I / F 24 in the period from the end of the period until the frame period of interest T1 ends.
  • the recognition process is started without waiting for the end of the compression process. Therefore, the recognition process is performed in comparison with the case of FIG. 7 in which the recognition process is started after the end of the compression process. More time can be secured for processing.
  • the captured image output by the imaging unit 21 is a VGA size image, it is not necessary to perform a scale down in the compression process, and the load of the compression process can be reduced.
  • the form in which the captured image output by the imaging unit 21 is not output as the VGA size image from the output I / F 24 is, for example, externally, the captured image itself is not necessary, and the signal processing result (here, This is useful when the recognition result of the recognition process is necessary.
  • FIG. 10 is a timing chart for explaining a fourth example of processing timing of the imaging apparatus 2 when recognition processing is performed as signal processing of the DSP 32.
  • the imaging unit 21 captures a VGA size color captured image with 1/30 second as the frame period T ⁇ b> 1.
  • the captured image captured by the imaging unit 21 is supplied from the imaging processing unit 22 to the output control unit 23 and the image compression unit 35.
  • the output control unit 23 does not output the captured image to the outside from the output I / F 24 (not selected). .
  • the image compression unit 35 compresses the captured image and stores the compressed image obtained as a result in the memory 33.
  • a part of the compressed image generated by the compression process can be used for the recognition process without waiting for the end of the compression process after the compression process is started.
  • the DSP 32 starts a recognition process using (a part of) a compressed image obtained from the captured image of the frame period of interest T1.
  • the DSP 32 ends the recognition process using the compressed image obtained from the captured image in the frame period of interest T1 at a timing slightly before the end of the frame period of interest T1, and uses the recognition result of the recognition process as the signal processing result. , And supplied to the output control unit 23.
  • the output control unit 23 selects a recognition result using a compressed image obtained from the captured image of the frame of interest T1 as a signal processing result for the frame of interest T1. Output from the output I / F 24 just before the end of the frame period T1.
  • the DSP 32 appropriately outputs intermediate data obtained during the recognition process while performing the recognition process as the signal process.
  • the intermediate data output from the DSP 32 is supplied to the output control unit 23.
  • the output control unit 23 selects the intermediate data and outputs it from the output I / F 24, as in the signal processing result. To do.
  • the intermediate data obtained in the middle of the signal processing is output from the output I / F 24 to the outside
  • the intermediate data is converted into a program (here, It can be used for debugging of the recognition processing program.
  • 11, 12, and 13 are diagrams for explaining an outline of an example of processing of the imaging apparatus 2 when fusion processing is performed as signal processing of the DSP 32.
  • the communication I / F 34 downloads a program to be executed by the CPU 31 and the DSP 32 from the outside and stores the program in the memory 33 when performing the fusion processing as the signal processing of the DSP 32.
  • the program executed by the DSP 32 is a fusion processing program for performing fusion processing as signal processing.
  • the CPU 31 starts a predetermined process by executing a program stored in the memory 33.
  • step S42 the CPU 31 reads the brightness (information) for each small area of the captured image and other necessary information from the register group 27 via the connection line CL1.
  • step S43 the CPU 31 performs control related to the compression process such as determining a reduction ratio indicating the degree to which the captured image is scaled down by the compression process of the image compression unit 35.
  • step S44 the imaging unit 21 starts capturing a captured image, and the imaging processing unit 22 starts outputting the captured image from the imaging unit 21. Thereby, supply of the captured image from the imaging processing unit 22 to the output control unit 23 and supply from the imaging processing unit 22 to the image compression unit 35 via the connection line CL2 are started.
  • the captured image supplied from the imaging processing unit 22 to the output control unit 23 is selected as necessary by the output control unit 23 and is output to the outside from the output I / F 24.
  • step S45 the image compression unit 35 starts compression processing of the captured image supplied from the imaging processing unit 22 via the connection line CL2.
  • the image compression unit 35 stores the VGA size monochrome captured image obtained as a result of the compression process in the memory 33 as a compressed image.
  • the sensor output of the ToF sensor is input from, for example, a ToF sensor (not shown) as a distance sensor installed so as to have a predetermined positional relationship with the imaging device 2. Supplied to the I / F 36.
  • the sensor output of the ToF sensor is, for example, a distance sensing result (for example, a value corresponding to a time until light emitted from the ToF sensor is reflected by the subject and received by the ToF sensor) as a pixel value It is in the form of an image.
  • this image is also referred to as a ToF image.
  • the ToF image is, for example, an image having a QQVGA size or a QVGA size.
  • step S46 the input I / F 36 starts receiving a ToF image as a sensor output of the ToF sensor.
  • the ToF image received by the input I / F 36 is supplied to the memory 33 and stored therein.
  • step S51 of FIG. 12 the DSP 32 reads and executes the fusion processing program stored in the memory 33 in step S41, thereby starting fusion processing as signal processing corresponding to the fusion processing program.
  • the DSP 32 sequentially reads each area of the compressed image stored in the memory 33 as a fusion processing target from the memory 33, reads out the ToF image from the memory 33, and processes the compressed image processing target and the ToF image. Fusion processing using and.
  • the sensor output that is the pixel value of the ToF image is converted into a value representing the distance, and a distance image having the value representing the distance as the pixel value is generated.
  • one distance image is obtained from four consecutive ToF images.
  • calibration is performed to align each pixel of the compressed image (the processing target) with the corresponding pixel of the distance image based on the positional relationship between the imaging device 2 and the ToF sensor. Is called.
  • the values representing the distances as the pixel values of the plurality of pixels of the distance image corresponding to the plurality of pixels of the compressed image in which the subject at an equal distance appears are matched.
  • the noise of the distance image is removed.
  • step S52 the DSP 32 supplies the memory 33 with the result of the fusion processing as a signal processing result and stores it.
  • the result of the fusion processing is, for example, a distance image from which noise has been removed.
  • the average brightness of the compressed image is set to a predetermined fixed value.
  • the gradation conversion of the compressed image can be performed. Such gradation conversion can be performed using the brightness of each small area of the captured image read out from the register group 27 by the CPU 31 in step S42 of FIG.
  • step S61 of FIG. 13 the CPU 31 reads out a distance image as a signal processing result stored in the memory 33, and uses the distance image to calculate imaging information such as a focus suitable for imaging the captured image. Do.
  • the CPU 31 detects the closest object or the object located in the vicinity of a predetermined distance from the distance image, and calculates imaging information for controlling autofocus so as to focus the object. Further, for example, the CPU 31 detects the closest object or a subject located near a predetermined distance from the distance image, and calculates an appropriate exposure time for photographing the subject according to the luminance of the subject. To do.
  • the CPU 31 calculates imaging information such as a frame rate suitable for imaging a captured image, a shooting mode, and a cutout range as necessary using the distance image.
  • step S62 the CPU 31 feeds back the imaging information calculated in step S61 to the register group 27 via the connection line CL1.
  • the register group 27 newly stores the imaging information fed back from the CPU 31, and thereafter, the imaging control unit 25 controls the imaging processing unit 22 according to the imaging information newly stored in the register group 27.
  • step S 63 the CPU 31 reads out the distance image as the signal processing result stored in the memory 33 and supplies it to the output control unit 23.
  • the distance image as the signal processing result supplied from the memory 33 to the output control unit 23 is selected by the output control unit 23 as necessary, and is output to the outside from the output I / F 24.
  • FIG. 14 is a timing chart for explaining a first example of processing timing of the imaging apparatus 2 when fusion processing is performed as signal processing of the DSP 32.
  • the imaging unit 21 takes 1/30 seconds as a frame period T1, and captures a 12M pixel color captured image during 1/60 seconds of the first half of the frame period T1.
  • a captured image obtained by imaging by the imaging unit 21 is supplied from the imaging processing unit 22 to the output control unit 23 and the image compression unit 35.
  • the output control unit 23 selects the captured image in response to the supply of the captured image from the imaging processing unit 22, and outputs the selected image from the output I / F 24 to the outside.
  • scale-down and YUV conversion are performed as compression processing of a 12M pixel color captured image, and the 12M pixel color captured image is converted into a VGA sized black and white compressed image. This compressed image is stored in the memory 33.
  • a ToF sensor is connected to the input I / F 36 of the imaging device 2, and the ToF sensor outputs a QVGA size ToF image as a sensor output.
  • the input I / F 36 receives the ToF image as the sensor output of the ToF sensor and stores it in the memory 33.
  • the ToF sensor can output a QVGA size ToF image at 240 fps (frame per second).
  • the ToF sensor outputs only four 240 fps QVGA sized ToF images during 1/60 second of the first half of the frame period T1, and the input I / F 36 outputs the four ToF images. Received during 1/60 second of first half of frame period T1.
  • the compression processing of the captured image (captured in 1/60 second of the first half) of the target frame period T1 ends in the first half of the target frame period T1. Furthermore, in the first half of the frame period of interest T1, reception of four ToF images is completed at the input I / F 36.
  • the DSP 32 stores the compressed image stored in the memory 33, that is, the compressed image obtained from the captured image of the attention frame period T1. Then, the fusion processing using the four ToF images stored in the memory 33 is started.
  • one distance image of the attention frame period T1 is generated from four ToF images of the attention frame period T1, and alignment calibration between each pixel of the compressed image and each pixel of the distance image is performed. Is performed. Then, the noise of the distance image is removed using the compressed image.
  • the frame rate of the ToF image is 240 fps, but the frame rate of the distance image is 30 fps corresponding to the frame period T1 (1/30 second).
  • the DSP 32 ends the fusion processing using the compressed image obtained from the captured image of the frame of interest T1 at a timing just before the end of the frame of interest T1, and the noise obtained as a result of the fusion processing is removed.
  • the obtained distance image is supplied to the output control unit 23 as a signal processing result.
  • the output control unit 23 selects the signal processing result and outputs it to the outside from the output I / F 24.
  • the signal processing result for the attention frame period T1 that is, the signal processing result (distance image) of the fusion processing using the compressed image obtained from the captured image of the attention frame period T1 is the end of the attention frame period T1. It is output from the output I / F 24 during the period from the moment to the end of the frame period of interest T1.
  • FIG. 15 is a timing chart for explaining a second example of processing timing of the imaging apparatus 2 when fusion processing is performed as signal processing of the DSP 32.
  • a VGA-sized black and white compressed image is generated by scale down and YUV conversion as compression processing of a 12 M pixel color captured image, and the memory 33 Is remembered.
  • a ToF sensor is connected to the input I / F 36 of the imaging device 2, and the ToF sensor outputs a ToV image of QVGA size as the sensor output.
  • the input I / F 36 receives the ToF image as the sensor output of the ToF sensor and stores it in the memory 33.
  • the ToF sensor outputs four 120 fps QVGA sized ToF images during the frame period T1, so that the input I / F 36 outputs the four ToF images. , Received during the frame period T1.
  • the DSP 32 detects from the ToF sensor between the compressed image obtained from the captured image of the frame period of interest T1 and the frame period of interest T1. A fusion process using the four received ToF images has started.
  • the compressed image obtained from the captured image of the target frame period T1 is also referred to as a compressed image of the target frame period T1, and the (four) ToF images received from the ToF sensor during the target frame period T1. This is also referred to as (four) ToF images of the frame period of interest T1.
  • the DSP 32 starts the fusion processing using the compressed image of the noticed frame period T1 and the four ToF images of the noticed frame period T1 at the start timing of the frame period T1 next to the noticed frame period T1.
  • the process ends at a timing slightly before the end of the first half of the next frame period T1 of the period T1.
  • the DSP 32 supplies a distance image from which noise is removed, obtained as a result of the fusion processing, to the output control unit 23 as a signal processing result.
  • the signal processing result of the fusion processing using the compressed image of the noticed frame period T1 and the four ToF images of the noticed frame period T1, and the distance image as the signal processing result are respectively represented by the noticed frame period. It is also called a signal processing result of T1 and a distance image of the frame period of interest T1.
  • the output control unit 23 selects a distance image as a signal processing result of the noticed frame period T1 after the output from the output I / F 24 of the captured image of the next frame period T1 of the noticed frame period T1 ends. Output from the output I / F 24 to the outside.
  • the frame rate of the distance image is 30 fps corresponding to the frame period T1 (1/30 seconds), but the distance image as the signal processing result of the frame period of interest T1 Are not output during the frame period of interest T1, but are output in the next frame period T1.
  • the distance image as the signal processing result of the attention frame period T1 is output in the attention frame period T1
  • the distance image as the signal processing result of the attention frame period T1 is the attention frame. It is output in the next frame period T1 of the period T1. Therefore, in FIG. 15, a ToF sensor having a slower frame rate of the ToF image than the case of FIG. 14, that is, a low-cost ToF sensor, can be used as the ToF sensor connected to the input I / F 36.
  • the usage form of the imaging device 2 that receives the sensor output of the distance sensor such as the ToF sensor from the input I / F 36 and performs the fusion process is, for example, an automatic driving of the vehicle or the like. Can be applied to.
  • FIG. 16, FIG. 17, and FIG. 18 are diagrams for explaining an outline of an example of processing of the imaging apparatus 2 when SLAM processing is performed as signal processing of the DSP 32.
  • FIG. 16 is diagrams for explaining an outline of an example of processing of the imaging apparatus 2 when SLAM processing is performed as signal processing of the DSP 32.
  • the communication I / F 34 downloads a program to be executed by the CPU 31 and the DSP 32 from the outside and stores the program in the memory 33 when performing the SLAM processing as the signal processing of the DSP 32.
  • the program executed by the DSP 32 is a SLAM processing program that performs SLAM processing as signal processing.
  • the CPU 31 starts a predetermined process by executing a program stored in the memory 33.
  • step S72 the CPU 31 reads the brightness (information) for each small area of the captured image and other necessary information from the register group 27 via the connection line CL1.
  • step S73 the CPU 31 performs control related to the compression process such as determining a reduction ratio indicating the degree to which the captured image is scaled down by the compression process of the image compression unit 35.
  • step S ⁇ b> 74 the imaging unit 21 starts capturing the captured image, and the imaging processing unit 22 starts outputting the captured image from the imaging unit 21. Thereby, supply of the captured image from the imaging processing unit 22 to the output control unit 23 and supply from the imaging processing unit 22 to the image compression unit 35 via the connection line CL2 are started.
  • the captured image supplied from the imaging processing unit 22 to the output control unit 23 is selected as necessary by the output control unit 23 and is output to the outside from the output I / F 24.
  • step S75 the image compression unit 35 starts compression processing of the captured image supplied from the imaging processing unit 22 via the connection line CL2.
  • the image compression unit 35 stores the VGA size monochrome captured image obtained as a result of the compression process in the memory 33 as a compressed image.
  • the sensor output of the image sensor is supplied to the input I / F 36 from an image sensor (not shown) installed so as to have a predetermined positional relationship with the imaging device 2. .
  • an image sensor different from the imaging device 2 installed so as to have a predetermined positional relationship with the imaging device 2 is also referred to as another sensor hereinafter.
  • the other sensor senses light and outputs an image corresponding to the light as a sensor output.
  • the image as the sensor output of the other sensor is also referred to as an other sensor image.
  • the other sensor image is, for example, an image of VGA size.
  • step S76 the input I / F 36 starts receiving a VGA size other sensor image as a sensor output of another sensor.
  • the other sensor image of the VGA size received by the input I / F 36 is supplied to the memory 33 and stored therein.
  • step S81 in FIG. 17 the DSP 32 reads and executes the SLAM processing program stored in the memory 33 in step S71, thereby starting SLAM processing as signal processing corresponding to the SLAM processing program.
  • the DSP 32 sequentially reads each area of the compressed image stored in the memory 33 as the processing target of the SLAM processing from the memory 33 and reads out the other sensor image from the memory 33 and sets the processing target of the compressed image as the processing target of the compressed image.
  • SLAM processing is performed using the other sensor image as a stereo image.
  • the compressed image as a stereo image and the other sensor image are parallelized (the imaging device 2 and the other sensor are parallelized). Rectification is performed.
  • SLAM processing for example, self-position estimation and map construction (growth) are performed using a compressed image as a stereo image after rectification and another sensor image.
  • step S82 the DSP 32 supplies the result of the SLAM processing to the memory 33 as a signal processing result and stores it.
  • the result of the SLAM process is, for example, a self-position estimation estimation result (hereinafter also referred to as a position estimation result) and a map constructed together with the self-position estimation.
  • the average brightness of the compressed image and the other sensor image is determined in advance in order to prevent the luminance of the compressed image (captured image) and the other sensor image from affecting self-position estimation and map construction. It is possible to perform gradation conversion of the compressed image and the other sensor image so as to obtain a fixed value. Such gradation conversion can be performed using the brightness of each small area of the captured image read out from the register group 27 by the CPU 31 in step S72 of FIG.
  • step S91 in FIG. 18 the CPU 31 reads out the position estimation result and the map as the signal processing result stored in the memory 33, and uses the position estimation result and the map to expose an appropriate exposure time for capturing the captured image, Calculations for calculating imaging information such as focus, frame rate, shooting mode, and clipping range are performed as necessary.
  • step S92 the CPU 31 feeds back the imaging information calculated in step S91 to the register group 27 via the connection line CL1.
  • the register group 27 newly stores the imaging information fed back from the CPU 31, and thereafter, the imaging control unit 25 controls the imaging processing unit 22 according to the imaging information newly stored in the register group 27.
  • step S93 the CPU 31 reads out the position estimation result and the map as the signal processing result stored in the memory 33 and supplies them to the output control unit 23.
  • the position estimation result and the map as the signal processing result supplied from the memory 33 to the output control unit 23 are selected by the output control unit 23 and output to the outside from the output I / F 24.
  • FIG. 19 is a timing chart for explaining a first example of processing timing of the imaging apparatus 2 when SLAM processing is performed as signal processing of the DSP 32.
  • the imaging unit 21 takes 1/30 seconds as a frame period T1, and captures a 12M pixel color captured image during 1/60 seconds of the first half of the frame period T1.
  • a captured image obtained by imaging by the imaging unit 21 is supplied from the imaging processing unit 22 to the output control unit 23 and the image compression unit 35.
  • the output control unit 23 selects the captured image in response to the supply of the captured image from the imaging processing unit 22, and outputs the selected image from the output I / F 24 to the outside.
  • scale-down and YUV conversion are performed as compression processing of a 12M pixel color captured image, and the 12M pixel color captured image is converted into a VGA sized black and white compressed image. This compressed image is stored in the memory 33.
  • another sensor is connected to the input I / F 36 of the imaging device 2, and the other sensor outputs another sensor image of VGA size as a sensor output.
  • the input I / F 36 receives other sensor images as sensor outputs of other sensors and stores them in the memory 33.
  • another sensor outputs another sensor image of VGA size at 30 fps equal to the frame period T1. That is, in FIG. 19, the other sensors output another sensor image of VGA size of 30 fps at the start of the frame period T ⁇ b> 1 in synchronization with the imaging device 2.
  • the input I / F 36 receives other sensor images.
  • the compression processing of the captured image in the target frame period T1 ends in the first half of the target frame period T1.
  • the DSP 32 stores the compressed image obtained from the captured image of the target frame period T1 stored in the memory 33 and the memory 33 at the timing when 1/60 second of the second half of the target frame period T1 starts thereafter. SLAM processing using the other sensor image of the noticed frame period T1 is started.
  • a rectification is performed between a compressed image (of a captured image) of the frame of interest T1 and another sensor image of the frame of interest T1, and the compressed image and the other sensor image after the rectification are processed.
  • the self-position estimation and map construction of the frame period of interest T1 are performed.
  • the DSP 32 ends SLAM processing using the compressed image and other sensor images of the frame of interest T1 at a timing just before the end of the frame of interest T1, and the position estimation result and map obtained as a result of the SLAM processing are The result is supplied to the output control unit 23 as a signal processing result.
  • the output control unit 23 selects the signal processing result and outputs it to the outside from the output I / F 24.
  • the signal processing result for the target frame period T1 that is, the signal processing result (position estimation result and map) of the SLAM processing using the compressed image and other sensor images of the target frame period T1 is the same as that of the target frame period T1. It is output from the output I / F 24 in the period from the end of the period until the frame period of interest T1 ends.
  • FIG. 20 is a timing chart for explaining a second example of processing timing of the imaging apparatus 2 when SLAM processing is performed as signal processing of the DSP 32.
  • a color captured image of 12 M pixels is captured with 1/30 seconds as the frame period T ⁇ b> 1 and output to the outside from the output I / F 24.
  • the image compression unit 35 similarly to FIG. 19, the image compression unit 35 generates a VGA-sized black and white compressed image by scale-down and YUV conversion as compression processing of a color captured image of 12 M pixels, and the memory 33. Is remembered.
  • another sensor is connected to the input I / F 36 of the imaging apparatus 2, and the other sensor outputs another sensor image of VGA size as a sensor output.
  • the input I / F 36 receives other sensor images as sensor outputs of other sensors and stores them in the memory 33 as in FIG.
  • the DSP 32 stores the compressed image obtained from the captured image of the target frame period T1 stored in the memory 33 and the memory 33 at the timing when 1/60 second of the second half of the target frame period T1 starts thereafter. SLAM processing using the other sensor image of the noticed frame period T1 is started.
  • SLAM processing for example, a rectification of a compressed image of the frame of interest T1 and another sensor image of the frame of interest T1 is performed, and the frame of interest using the compressed image and the other sensor image after the rectification is used. Self-position estimation and map construction with period T1 are performed.
  • the DSP 32 ends the SLAM process using the compressed image and the other sensor image of the frame of interest T1 at a timing slightly before the end of the first half of the next frame cycle T1 of the frame of interest T1.
  • a position estimation result and a map obtained as a result of the processing are supplied to the output control unit 23 as a signal processing result.
  • the output control unit 23 selects the position estimation result and the map as the signal processing result of the frame period of interest T1 after the output from the output I / F 24 of the captured image of the frame period T1 next to the frame period of interest T1 is completed. Then, the data is output from the output I / F 24 to the outside.
  • the position estimation result and the map as the signal processing result of the target frame period T1 are not output during the target frame period T1, but are output in the next frame period T1.
  • the position estimation result and the map as the signal processing result of the target frame period T1 are output in the target frame period T1
  • the position estimation result as the signal processing result of the target frame period T1 are output in the target frame period T1
  • the position estimation result as the signal processing result of the target frame period T1 is output in the frame period T1 next to the frame period of interest T1. Therefore, in FIG. 20, it is possible to allocate a longer time to the SRAM processing than in the case of FIG. 19, and as a result, it is possible to improve the position estimation result and the map accuracy as the signal processing result of the SRAM processing.
  • FIG. 21 is a timing chart for explaining a third example of processing timing of the imaging apparatus 2 when SLAM processing is performed as signal processing of the DSP 32.
  • the imaging unit 21 captures one frame with 1/30 seconds as a frame period T1. However, in FIG. 21, the imaging unit 21 captures a VGA size color captured image, not a 12 M pixel color captured image. For this reason, in FIG. 21, the imaging of one frame is completed in a very short time from the start of the frame period T1.
  • the captured image captured by the imaging unit 21 is supplied from the imaging processing unit 22 to the output control unit 23 and the image compression unit 35.
  • the captured image is not used externally. Therefore, even when the captured image is supplied from the imaging processing unit 22, the output control unit 23 does not select the captured image and outputs I / F24 does not output externally.
  • the image compression unit 35 compresses the captured image and stores the compressed image obtained as a result in the memory 33.
  • the input I / F 36 receives other sensor images as sensor outputs of other sensors and stores them in the memory 33.
  • both the compressed image and the other sensor image of the target frame period T1 are stored in the memory 33.
  • SLAM processing using the sensor image can be started.
  • the DSP 32 starts SLAM processing using the compressed image of the frame period of interest T1 stored in the memory 33 and the other sensor image as a stereo image.
  • SLAM processing for example, a rectification of a compressed image of the frame of interest T1 and another sensor image of the frame of interest T1 is performed, and the frame of interest using the compressed image and the other sensor image after the rectification is used. Self-position estimation and map construction with period T1 are performed.
  • the DSP 32 ends the SLAM process using the compressed image and other sensor images of the frame of interest T1 at a timing just before the end of the frame of interest T1, and the position estimation result obtained as a result of the SLAM process. And a map is supplied to the output control part 23 as a signal processing result.
  • the output control unit 23 selects the signal processing result and outputs it to the outside from the output I / F 24.
  • the signal processing result for the target frame period T1 that is, the signal processing result (position estimation result and map) of the SLAM processing using the compressed image and other sensor images of the target frame period T1 is the same as that of the target frame period T1. It is output from the output I / F 24 in the period from the end of the period until the frame period of interest T1 ends.
  • the captured image output by the imaging unit 21 is a VGA size image, it is not necessary to perform scale down in the compression process, and the load of the compression process can be reduced.
  • the form in which the captured image output by the imaging unit 21 is not output as the VGA size image from the output I / F 24 is, for example, externally, the captured image itself is not necessary, and the signal processing result (here, This is useful when a signal processing result of SLAM processing is required.
  • the usage pattern of the imaging device 2 that receives the other sensor image from the input I / F 36 and performs the SLAM processing is applied to, for example, a robot acting autonomously. Can do.
  • rectification is performed as part of SLAM processing performed by causing the DSP 32 to execute the SLAM processing program. That is, rectification is performed by software. However, when the other sensor image and the captured image are used as a stereo image, the rectification required in that case is not performed by software, but dedicated hardware is provided in the imaging device 2 and the dedicated image is provided. This can be done with hardware.
  • FIG. 22 is a block diagram showing another configuration example of the imaging device 2 of FIG.
  • FIG. 22 shows a configuration example of the imaging apparatus 2 provided with dedicated hardware for performing rectification.
  • the imaging apparatus 2 includes an imaging unit 21 to an imaging control unit 25, a CPU 31 to an input I / F 36, and a rectification unit 71.
  • the image pickup apparatus 2 in FIG. 22 is common to the case in FIG. 2 in that the image pickup unit 21 to the image pickup control unit 25 and the CPU 31 to the input I / F 36 are included.
  • the imaging device 2 of FIG. 22 is different from the case of FIG. 2 in that a rectification unit 71 is newly provided.
  • the rectification unit 71 is dedicated hardware for performing rectification, and performs rectification on the compressed image and other sensor images stored in the memory 33.
  • the DSP 32 performs SLAM processing using the compressed image after rectification by the rectification unit 71 and the other sensor image.
  • the rectification speed can be increased by providing the rectification unit 71 as hardware dedicated to rectification.
  • FIG. 23 is a diagram illustrating a usage example in which the imaging device 2 of FIG. 1 is used.
  • the imaging device 2 can be used for various electronic devices that sense light such as visible light, infrared light, ultraviolet light, and X-ray as follows.
  • Electronic devices that capture images for viewing such as digital cameras and mobile devices with camera functions
  • Electronic devices used for traffic such as in-vehicle sensors that take pictures of the back, surroundings, inside the car, surveillance cameras that monitor traveling vehicles and roads, and ranging sensors that measure distances between vehicles, etc.
  • Electronic devices used for home appliances such as TVs, refrigerators, air conditioners, etc.
  • Electronic devices used for medical and healthcare such as angiography devices
  • Electronic devices used for security such as surveillance cameras for crime prevention and cameras for personal authentication
  • Photographs the skin Photographing skin measuring instrument and scalp Electronic devices used for beauty such as a microscope to perform
  • Electronic devices used for sports such as action cameras and wearable cameras for sports applications, etc.
  • the technology (this technology) according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device that is mounted on any type of mobile body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 24 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 12020 can be input with radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle on which the vehicle control system 12000 is mounted.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal corresponding to the amount of received light.
  • the imaging unit 12031 can output an electrical signal as an image, or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared rays.
  • the vehicle interior information detection unit 12040 detects vehicle interior information.
  • a driver state detection unit 12041 that detects a driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the vehicle interior information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside / outside the vehicle acquired by the vehicle outside information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 realizes an ADAS (Advanced Driver Assistance System) function including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare, such as switching from a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 25 is a diagram illustrating an example of an installation position of the imaging unit 12031.
  • the vehicle 12100 includes imaging units 12101, 12102, 12103, 12104, and 12105 as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the forward images acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 25 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, an overhead image when the vehicle 12100 is viewed from above is obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • cooperative control for the purpose of autonomous driving or the like autonomously traveling without depending on the operation of the driver can be performed.
  • the microcomputer 12051 converts the three-dimensional object data related to the three-dimensional object to other three-dimensional objects such as a two-wheeled vehicle, a normal vehicle, a large vehicle, a pedestrian, and a utility pole based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 as obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is connected via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration or avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the captured images of the imaging units 12101 to 12104. Such pedestrian recognition is, for example, whether or not the user is a pedestrian by performing a pattern matching process on a sequence of feature points indicating the outline of an object and a procedure for extracting feature points in the captured images of the imaging units 12101 to 12104 as infrared cameras. It is carried out by the procedure for determining.
  • the audio image output unit 12052 When the microcomputer 12051 determines that there is a pedestrian in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 has a rectangular contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to be superimposed and displayed.
  • voice image output part 12052 may control the display part 12062 so that the icon etc. which show a pedestrian may be displayed on a desired position.
  • the technology according to the present disclosure may be applied to the imaging unit 12031, for example.
  • the imaging device 2 in FIG. 2 can be applied to the imaging unit 12031.
  • the imaging unit 12031 outputs information required by the user, that is, information necessary for a block that performs subsequent processing (hereinafter also referred to as a subsequent block). be able to. Therefore, the subsequent block need not perform processing for generating necessary information from the image, and the load on the subsequent block can be reduced accordingly.
  • the processing performed by the computer (processor) according to the program does not necessarily have to be performed in time series in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or individually (for example, parallel processing or object processing).
  • program may be processed by one computer (processor), or may be distributedly processed by a plurality of computers.
  • the present technology can be applied not only to an image sensor that senses visible light but also to an image sensor that senses electromagnetic waves other than visible light such as infrared rays.
  • this technique can take the following structures.
  • An image pickup unit for picking up an image in which a plurality of pixels are arranged two-dimensionally;
  • a signal processing unit that performs signal processing using a captured image output by the imaging unit;
  • the signal processing result of the signal processing, and the output I / F that outputs the captured image to the outside
  • a one-chip imaging apparatus comprising: an output control unit that performs output control to selectively output a signal processing result of the signal processing and the captured image to the outside from the output I / F.
  • the imaging apparatus according to ⁇ 1> having a stacked structure in which a plurality of dies are stacked.
  • the imaging apparatus according to ⁇ 1> or ⁇ 2>, further including an image compression unit that compresses the captured image and generates a compressed image having a data amount smaller than that of the captured image.
  • An imaging controller that stores imaging information related to imaging of the captured image, and controls imaging of the captured image according to the imaging information;
  • An imaging information calculation unit that calculates the imaging information using the signal processing result; and
  • the imaging control unit and the imaging information calculation unit are connected via a predetermined connection line,
  • the imaging apparatus according to any one of ⁇ 1> to ⁇ 3>, wherein the imaging information calculation unit feeds back the imaging information to the register of the imaging control unit via the predetermined connection line.
  • the register also stores output control information related to the output control
  • the imaging apparatus according to ⁇ 4> wherein the output control unit performs the output control according to the output control information stored in the register.
  • the imaging apparatus according to ⁇ 4> or ⁇ 5> further including a first communication I / F that exchanges information to be read and written to the register with the outside.
  • the signal processing unit is a processor that executes a program, The imaging apparatus according to any one of ⁇ 1> to ⁇ 6>, further including a second communication I / F that downloads a program executed by the processor from outside.
  • ⁇ 8> The imaging apparatus according to any one of ⁇ 1> to ⁇ 7>, wherein the signal processing unit performs recognition processing for recognizing a predetermined recognition target from the captured image as the signal processing.
  • An input I / F that receives an external sensor output from an external sensor is further provided.
  • the external sensor output is an output of a distance sensor that senses information related to a distance, or an output of an image sensor that senses light and outputs an image corresponding to the light.
  • the signal processing unit as the signal processing, a fusion process for obtaining a distance using the captured image and the output of the distance sensor, or a self-position using an image as the output of the image sensor and the captured image
  • the imaging device according to ⁇ 10> which performs an estimation process.
  • An optical system that collects the light; A one-chip imaging device that receives light and outputs an image corresponding to the amount of light received; The imaging device An image pickup unit for picking up an image in which a plurality of pixels are arranged two-dimensionally; A signal processing unit that performs signal processing using a captured image output by the imaging unit; The signal processing result of the signal processing, and the output I / F that outputs the captured image to the outside, An electronic apparatus comprising: an output control unit that performs output control to selectively output the signal processing result of the signal processing and the captured image to the outside from the output I / F.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Power Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本技術は、ユーザが必要とする情報を出力する撮像装置を、小型に構成することができるようにする撮像装置、及び、電子機器に関する。 １チップの撮像装置は、複数の画素が２次元に並んだ、画像を撮像する撮像部と、撮像部が出力する撮像画像を用いた信号処理を行う信号処理部と、信号処理の信号処理結果、及び、撮像画像を外部に出力する出力I/Fと、信号処理の信号処理結果、及び、撮像画像を、出力I/Fから外部に選択的に出力させる出力制御を行う出力制御部と有する。本技術は、例えば、画像を撮像する撮像装置に適用できる。

Description

撮像装置、及び、電子機器
　本技術は、撮像装置、及び、電子機器に関し、特に、例えば、ユーザが必要とする情報を出力する撮像装置を、小型に構成することができるようにする撮像装置、及び、電子機器に関する。
　画像を撮像する撮像装置として、センサチップ、メモリチップ、及び、DSP(Digital Signal Processor)チップのチップどうしを、複数のバンプで並列に接続した撮像装置が提案されている（例えば、特許文献１を参照）。
特開2008-048313号公報
　特許文献１に記載の撮像装置のように、チップどうしをバンプで接続して、撮像装置を構成する場合には、撮像装置の厚みが厚くなり、撮像装置が大型化する。
　一方、撮像装置を使用するユーザは、その撮像装置で撮像された画像を必要とする場合の他、画像そのものではなく、その画像から得られる情報（メタデータ）を必要とする場合がある。
　本技術は、このような状況に鑑みてなされたものであり、ユーザが必要とする情報を出力する撮像装置を、小型に構成することができるようにするものである。
　本技術の撮像装置又は電子機器は、複数の画素が２次元に並んだ、画像を撮像する撮像部と、前記撮像部が出力する撮像画像を用いた信号処理を行う信号処理部と、前記信号処理の信号処理結果、及び、前記撮像画像を外部に出力する出力I/Fと、前記信号処理の信号処理結果、及び、前記撮像画像を、前記出力I/Fから外部に選択的に出力させる出力制御を行う出力制御部とを備える１チップの撮像装置、又は、そのような撮像装置を備える電子機器である。
　本技術の撮像装置及び電子機器においては、複数の画素が２次元に並んだ、画像を撮像する撮像部が出力する撮像画像を用いた信号処理が行われ、前記信号処理の信号処理結果、及び、前記撮像画像を外部に出力する出力I/Fから外部に、前記信号処理の信号処理結果、及び、前記撮像画像が、選択的に出力される。
　撮像装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　本技術によれば、ユーザが必要とする情報を出力する撮像装置を、小型に構成することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。 撮像装置２の構成例を示すブロック図である。 撮像装置２の外観構成例の概要を示す斜視図である。 DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。 DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。 DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。 DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理のタイミングの第１の例を説明するタイミングチャートである。 DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理のタイミングの第２の例を説明するタイミングチャートである。 DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理のタイミングの第３の例を説明するタイミングチャートである。 DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理のタイミングの第４の例を説明するタイミングチャートである。 DSP３２の信号処理としてフュージョン処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。 DSP３２の信号処理としてフュージョン処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。 DSP３２の信号処理としてフュージョン処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。 DSP３２の信号処理としてフュージョン処理が行われる場合の、撮像装置２の処理のタイミングの第１の例を説明するタイミングチャートである。 DSP３２の信号処理としてフュージョン処理が行われる場合の、撮像装置２の処理のタイミングの第２の例を説明するタイミングチャートである。 DSP３２の信号処理としてSLAM処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。 DSP３２の信号処理としてSLAM処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。 DSP３２の信号処理としてSLAM処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。 DSP３２の信号処理としてSLAM処理が行われる場合の、撮像装置２の処理のタイミングの第１の例を説明するタイミングチャートである。 DSP３２の信号処理としてSLAM処理が行われる場合の、撮像装置２の処理のタイミングの第２の例を説明するタイミングチャートである。 DSP３２の信号処理としてSLAM処理が行われる場合の、撮像装置２の処理のタイミングの第３の例を説明するタイミングチャートである。 撮像装置２の他の構成例を示すブロック図である。 撮像装置２を使用する使用例を示す図である。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
　＜本技術を適用したディジタルカメラの一実施の形態＞
　図１は、本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。
　なお、ディジタルカメラは、静止画、及び、動画のいずれも撮像することができる。
　図１において、ディジタルカメラは、光学系１、撮像装置２、メモリ３、信号処理部４、出力部５、及び、制御部６を有する。
　光学系１は、例えば、図示せぬズームレンズや、フォーカスレンズ、絞り等を有し、外部からの光を、撮像装置２に入射させる。
　撮像装置２は、例えば、１チップで構成されるCMOS(Complementary Metal Oxide Semiconductor)イメージセンサであり、光学系１からの入射光を受光し、光電変換を行って、光学系１からの入射光に対応する画像データを出力する。
　また、撮像装置２は、画像データ等を用いて、例えば、所定の認識対象を認識する認識処理、その他の信号処理を行い、その信号処理の信号処理結果を出力する。
　メモリ３は、撮像装置２が出力する画像データ等を一時記憶する。
　信号処理部４は、メモリ３に記憶された画像データを用いたカメラ信号処理としての、例えば、ノイズの除去や、ホワイトバランスの調整等の処理を必要に応じて行い、出力部５に供給する。
　出力部５は、信号処理部４からの画像データやメモリ３に記憶された信号処理結果を出力する。
　すなわち、出力部５は、例えば、液晶等で構成されるディスプレイ（図示せず）を有し、信号処理部４からの画像データに対応する画像を、いわゆるスルー画として表示する。
　また、出力部５は、例えば、半導体メモリや、磁気ディスク、光ディスク等の記録媒体を駆動するドライバ（図示せず）を有し、信号処理部４からの画像データやメモリ３に記憶された信号処理結果を記録媒体に記録する。
　さらに、出力部５は、例えば、外部の装置との間でデータ伝送を行うI/F(Interface)として機能し、信号処理部４からの画像データや、記録媒体に記録された画像データ等を、外部の装置に伝送する。
　制御部６は、ユーザの操作等に従い、ディジタルカメラを構成する各ブロックを制御する。
　以上のように構成されるディジタルカメラでは、撮像装置２が、画像を撮像する。すなわち、撮像装置２は、光学系１からの入射光を受光して光電変換を行い、その入射光に応じた画像データを取得して出力する。
　撮像装置２が出力する画像データは、メモリ３に供給されて記憶される。メモリ３に記憶された画像データについては、信号処理部４によるカメラ信号処理が施され、その結果得られる画像データは、出力部５に供給されて出力される。
　また、撮像装置２は、撮像によって得られた画像（データ）等を用いて、信号処理を行い、その信号処理の信号処理結果を出力する。撮像装置２が出力する信号処理結果は、例えば、メモリ３に記憶される。
　撮像装置２では、撮像によって得られた画像そのものの出力、及び、その画像等を用いた信号処理の信号処理結果の出力は、選択的に行われる。
　＜撮像装置２の構成例＞
　図２は、図１の撮像装置２の構成例を示すブロック図である。
　図２において、撮像装置２は、撮像ブロック２０及び信号処理ブロック３０を有する。撮像ブロック２０と信号処理ブロック３０とは、接続線（内部バス）CL1，CL2、及び、CL3によって電気的に接続されている。
　撮像ブロック２０は、撮像部２１、撮像処理部２２、出力制御部２３、出力I/F(Interface)２４、及び、撮像制御部２５を有し、画像を撮像する。
　撮像部２１は、複数の画素が２次元に並んで構成される。撮像部２１は、撮像処理部２２によって駆動され、画像を撮像する。
　すなわち、撮像部２１には、光学系１（図１）からの光が入射する。撮像部２１は、各画素において、光学系１からの入射光を受光し、光電変換を行って、入射光に対応するアナログの画像信号を出力する。
　なお、撮像部２１が出力する画像（信号）のサイズは、例えば、12M（3968×2976）ピクセルや、VGA(Video Graphics Array)サイズ（640×480ピクセル）等の複数のサイズの中から選択することができる。
　また、撮像部２１が出力する画像については、例えば、RGB（赤、緑、青）のカラー画像とするか、又は、輝度のみの白黒画像とするかを選択することができる。
　これらの選択は、撮影モードの設定の一種として行うことができる。
　撮像処理部２２は、撮像制御部２５の制御に従い、撮像部２１の駆動や、撮像部２１が出力するアナログの画像信号のAD(Analog to Digital)変換、撮像信号処理等の、撮像部２１での画像の撮像に関連する撮像処理を行う。
　ここで、撮像信号処理としては、例えば、撮像部２１が出力する画像について、所定の小領域ごとに、画素値の平均値を演算すること等により、小領域ごとの明るさを求める処理や、撮像部２１が出力する画像を、HDR(High Dynamic Range)画像に変換する処理、欠陥補正、現像等がある。
　撮像処理部２２は、撮像部２１が出力するアナログの画像信号のAD変換等によって得られるディジタルの画像信号（ここでは、例えば、12Mピクセル又はVGAサイズの画像）を、撮像画像として出力する。
　撮像処理部２２が出力する撮像画像は、出力制御部２３に供給されるとともに、接続線CL2を介して、信号処理ブロック３０の画像圧縮部３５に供給される。
　出力制御部２３には、撮像処理部２２から撮像画像が供給される他、信号処理ブロック３０から、接続線CL3を介して、撮像画像等を用いた信号処理の信号処理結果が供給される。
　出力制御部２３は、撮像処理部２２からの撮像画像、及び、信号処理ブロック３０からの信号処理結果を、（１つの）出力I/F２４から外部（例えば、図１のメモリ３等）に選択的に出力させる出力制御を行う。
　すなわち、出力制御部２３は、撮像処理部２２からの撮像画像、又は、信号処理ブロック３０からの信号処理結果を選択し、出力I/F２４に供給する。
　出力I/F２４は、出力制御部２３から供給される撮像画像、及び、信号処理結果を外部に出力するI/Fである。出力IF２４としては、例えば、MIPI(Mobile Industriy Processor Interface)等の比較的高速なパラレルI/F等を採用することができる。
　出力I/F２４では、出力制御部２３の出力制御に応じて、撮像処理部２２からの撮像画像、又は、信号処理ブロック３０からの信号処理結果が、外部に出力される。したがって、例えば、外部において、信号処理ブロック３０からの信号処理結果だけが必要であり、撮像画像そのものが必要でない場合には、信号処理結果だけを出力することができ、出力I/F２４から外部に出力するデータ量を削減することができる。
　また、信号処理ブロック３０において、外部で必要とする信号処理結果が得られる信号処理を行い、その信号処理結果を、出力I/F２４から出力することにより、外部で信号処理を行う必要がなくなり、外部のブロックの負荷を軽減することができる。
　撮像制御部２５は、通信I/F２６及びレジスタ群２７を有する。
　通信I/F２６は、例えば、I2C(Inter-Integrated Circuit)等のシリアル通信I/F等の第１の通信I/Fであり、外部（例えば、図１の制御部６等）との間で、レジスタ２７群に読み書きする情報等の必要な情報のやりとりを行う。
　レジスタ群２７は、複数のレジスタを有し、撮像部２１での画像の撮像に関連する撮像情報、その他の各種情報を記憶する。
　例えば、レジスタ群２７は、通信I/F２６において外部から受信された撮像情報や、撮像処理部２２での撮像信号処理の結果（例えば、撮像画像の小領域ごとの明るさ等）を記憶する。
　レジスタ群２７に記憶される撮像情報としては、例えば、ISO感度（撮像処理部２２でのAD変換時のアナログゲイン）や、露光時間（シャッタスピード）、フレームレート、フォーカス、撮影モード、切り出し範囲等（を表す情報）がある。
　撮影モードには、例えば、露光時間やフレームレート等が手動で設定される手動モードと、シーンに応じて自動的に設定される自動モードとがある。自動モードには、例えば、夜景や、人の顔等の各種の撮影シーンに応じたモードがある。
　また、切り出し範囲とは、撮像処理部２２において、撮像部２１が出力する画像の一部を切り出して、撮像画像として出力する場合に、撮像部２１が出力する画像から切り出す範囲を表す。切り出し範囲の指定によって、例えば、撮像部２１が出力する画像から、人が映っている範囲だけを切り出すこと等が可能になる。なお、画像の切り出しとしては、撮像部２１が出力する画像から切り出す方法の他、撮像部２１から、切り出し範囲の画像（信号）だけを読み出す方法がある。
　撮像制御部２５は、レジスタ群２７に記憶された撮像情報に従って、撮像処理部２２を制御し、これにより、撮像部２１での画像の撮像を制御する。
　なお、レジスタ群２７は、撮像情報や、撮像処理部２２での撮像信号処理の結果の他、出力制御部２３での出力制御に関する出力制御情報を記憶することができる。出力制御部２３は、レジスタ群２７に記憶された出力制御情報に従って、撮像画像及び信号処理結果を選択的に出力させる出力制御を行うことができる。
　また、撮像装置２では、撮像制御部２５と、信号処理ブロック３０のCPU３１とは、接続線CL1を介して、接続されており、CPU３１は、接続線CL1を介して、レジスタ群２７に対して、情報の読み書きを行うことができる。
　すなわち、撮像装置２では、レジスタ群２７に対する情報の読み書きは、通信I/F２６から行う他、CPU３１からも行うことができる。
　信号処理ブロック３０は、CPU(Central Processing Unit)３１，DSP(Digital Signal Processor)３２、メモリ３３、通信I/F３４、画像圧縮部３５、及び、入力I/F３６を有し、撮像ブロック１０で得られた撮像画像等を用いて、所定の信号処理を行う。
　信号処理ブロック３０を構成するCPU３１ないし入力I/F３６は、相互にバスを介して接続され、必要に応じて、情報のやりとりを行うことができる。
　CPU３１は、メモリ３３に記憶されたプログラムを実行することで、信号処理ブロック３０の制御、接続線CL1を介しての、撮像制御部２５のレジスタ群２７への情報の読み書き、その他の各種の処理を行う。
　例えば、CPU３１は、プログラムを実行することにより、DSP３２での信号処理により得られる信号処理結果を用いて、撮像情報を算出する撮像情報算出部として機能し、信号処理結果を用いて算出した新たな撮像情報を、接続線CL1を介して、撮像制御部２５のレジスタ群２７にフィードバックして記憶させる。
　したがって、CPU３１は、結果として、撮像画像の信号処理結果に応じて、撮像部２１での撮像や、撮像処理部２２での撮像信号処理を制御することができる。
　また、CPU３１がレジスタ群２７に記憶させた撮像情報は、通信I/F２６から外部に提供（出力）することができる。例えば、レジスタ群２７に記憶された撮像情報のうちのフォーカスの情報は、通信I/F２６から、フォーカスを制御するフォーカスドライバ（図示せず）に提供することができる。
　DSP３２は、メモリ３３に記憶されたプログラムを実行することで、撮像処理部２２から、接続線CL2を介して、信号処理ブロック３０に供給される撮像画像や、入力I/F３６が外部から受け取る情報を用いた信号処理を行う信号処理部として機能する。
　メモリ３３は、SRAM(Static Random Access Memory)やDRAM(Dynamic RAM)等で構成され、信号処理ブロック３０の処理上必要なデータ等を記憶する。
　例えば、メモリ３３は、通信I/F３４において、外部から受信されたプログラムや、画像圧縮部３５で圧縮され、DSP３２での信号処理で用いられる撮像画像、DSP３２で行われた信号処理の信号処理結果、入力I/F３６が受け取った情報等を記憶する。
　通信I/F３４は、例えば、SPI(Serial Peripheral Interface)等のシリアル通信I/F等の第２の通信I/Fであり、外部（例えば、図１のメモリ３や制御部６等）との間で、CPU３１やDSP３２が実行するプログラム等の必要な情報のやりとりを行う。
　例えば、通信I/F３４は、CPU３１やDSP３２が実行するプログラムを外部からダウンロードし、メモリ３３に供給して記憶させる。
　したがって、通信I/F３４がダウンロードするプログラムによって、CPU３１やDSP３２で様々な処理を実行することができる。
　なお、通信I/F３４は、外部との間で、プログラムの他、任意のデータのやりとりを行うことができる。例えば、通信I/F３４は、DSP３２での信号処理により得られる信号処理結果を、外部に出力することができる。また、通信I/F３４は、CPU３１の指示に従った情報を、外部の装置に出力し、これにより、CPU３１の指示に従って、外部の装置を制御することができる。
　ここで、DSP３２での信号処理により得られる信号処理結果は、通信I/F３４から外部に出力する他、CPU３１によって、撮像制御部２５のレジスタ群２７に書き込むことができる。レジスタ群２７に書き込まれた信号処理結果は、通信I/F２６から外部に出力することができる。CPU３１で行われた処理の処理結果についても同様である。
　画像圧縮部３５には、撮像処理部２２から接続線CL2を介して、撮像画像が供給される。画像圧縮部３５は、撮像画像を圧縮する圧縮処理を行い、その撮像画像よりもデータ量が少ない圧縮画像を生成する。
　画像圧縮部３５で生成された圧縮画像は、バスを介して、メモリ３３に供給されて記憶される。
　ここで、DSP３２での信号処理は、撮像画像そのものを用いて行う他、画像圧縮部３５で撮像画像から生成された圧縮画像を用いて行うことができる。圧縮画像は、撮像画像よりもデータ量が少ないため、DSP３２での信号処理の負荷の軽減や、圧縮画像を記憶するメモリ３３の記憶容量の節約を図ることができる。
　画像圧縮部３５での圧縮処理としては、例えば、12M（3968×2976）ピクセルの撮像画像を、VGAサイズの画像に変換するスケールダウンを行うことができる。また、DSP３２での信号処理が輝度を対象として行われ、かつ、撮像画像がRGBの画像である場合には、圧縮処理としては、RGBの画像を、例えば、YUVの画像に変換するYUV変換を行うことができる。
　なお、画像圧縮部３５は、ソフトウエアにより実現することもできるし、専用のハードウエアにより実現することもできる。
　入力I/F３６は、外部から情報を受け取るI/Fである。入力I/F３６は、例えば、外部のセンサから、その外部のセンサの出力（外部センサ出力）を受け取り、バスを介して、メモリ３３に供給して記憶させる。
　入力I/F３６としては、例えば、出力IF２４と同様に、MIPI(Mobile Industriy Processor Interface)等のパラレルI/F等を採用することができる。
　また、外部のセンサとしては、例えば、距離に関する情報をセンシングする距離センサを採用することができる、さらに、外部のセンサとしては、例えば、光をセンシングし、その光に対応する画像を出力するイメージセンサ、すなわち、撮像装置２とは別のイメージセンサを採用することができる。
　DSP３２では、撮像画像（から生成された圧縮画像）を用いる他、入力I/F３６が上述のような外部のセンサから受け取り、メモリ３３に記憶される外部センサ出力を用いて、信号処理を行うことができる。
　以上のように構成される１チップの撮像装置２では、撮像部２１での撮像により得られる撮像画像（から生成される圧縮画像）を用いた信号処理がDSP３２で行われ、その信号処理の信号処理結果、及び、撮像画像が、出力I/F２４から選択的に出力される。したがって、ユーザが必要とする情報を出力する撮像装置を、小型に構成することができる。
　ここで、撮像装置２において、DSP３２の信号処理を行わず、したがって、撮像装置２から、信号処理結果を出力せず、撮像画像を出力する場合、すなわち、撮像装置２を、単に、画像を撮像して出力するだけのイメージセンサとして構成する場合、撮像装置２は、出力制御部２３を設けない撮像ブロック２０だけで構成することができる。
　図３は、図１の撮像装置２の外観構成例の概要を示す斜視図である。
　撮像装置２は、例えば、図３に示すように、複数のダイが積層された積層構造を有する１チップの半導体装置として構成することができる。
　図３では、撮像装置２は、ダイ５１及び５２の２枚のダイが積層されて構成される。
　図３において、上側のダイ５１には、撮像部２１が搭載され、下側のダイ５２には、撮像処理部２２ないし撮像制御部２５、及び、CPU３１ないし入力I/F３６が搭載されている。
　上側のダイ５１と下側のダイ５２とは、例えば、ダイ５１を貫き、ダイ５２にまで到達する貫通孔を形成することにより、又は、ダイ５１の下面側に露出したCu配線と、ダイ５２の上面側に露出したCu配線とを直接接続するCu-Cu接合を行うこと等により、電気的に接続される。
　ここで、撮像処理部２２において、撮像部２１が出力する画像信号のAD変換を行う方式としては、例えば、列並列AD方式やエリアAD方式を採用することができる。
　列並列AD方式では、例えば、撮像部２１を構成する画素の列に対してADC(AD Converter)が設けられ、各列のADCが、その列の画素の画素信号のAD変換を担当することで、１行の各列の画素の画像信号のAD変換が並列に行われる。列並列AD方式を採用する場合には、その列並列AD方式のAD変換を行う撮像処理部２２の一部が、上側のダイ５１に搭載されることがある。
　エリアAD方式では、撮像部２１を構成する画素が、複数のブロックに区分され、各ブロックに対して、ADCが設けられる。そして、各ブロックのADCが、そのブロックの画素の画素信号のAD変換を担当することで、複数のブロックの画素の画像信号のAD変換が並列に行われる。エリアAD方式では、ブロックを最小単位として、撮像部２１を構成する画素のうちの必要な画素についてだけ、画像信号のAD変換（読み出し及びAD変換）を行うことができる。
　なお、撮像装置２の面積が大になることが許容されるのであれば、撮像装置２は、１枚のダイで構成することができる。
　また、図３では、２枚のダイ５１及び５２を積層して、１チップの撮像装置２を構成することとしたが、１チップの撮像装置２は、３枚以上のダイを積層して構成することができる。例えば、３枚のダイを積層して、１チップの撮像装置２を構成する場合には、図３のメモリ３３を、別のダイに搭載することができる。
　ここで、前述の特許文献１に記載のように、センサチップ、メモリチップ、及び、DSPチップのチップどうしを、複数のバンプで並列に接続した撮像装置（以下、バンプ接続撮像装置ともいう）では、積層構造に構成された１チップの撮像装置２に比較して、厚みが大きく増加し、装置が大型化する。
　さらに、バンプ接続撮像装置では、バンプの接続部分での信号劣化等により、撮像処理部２２から出力制御部２３に撮像画像を出力するレートとして、十分なレートを確保することが困難になることがあり得る。
　積層構造の撮像装置２によれば、以上のような装置の大型化や、撮像処理部２２と出力制御部２３との間のレートとして、十分なレートを確保することができなくなることを防止することができる。
　したがって、積層構造の撮像装置２によれば、ユーザが必要とする情報を出力する撮像装置を小型に構成することを実現することができる。
　ユーザが必要とする情報が、撮像画像である場合には、撮像装置２は、撮像画像を出力することができる。
　また、ユーザが必要とする情報が、撮像画像を用いた信号処理により得られる場合には、撮像装置２は、DSP３２において、その信号処理を行うことにより、ユーザが必要とする情報としての信号処理結果を得て出力することができる。
　撮像装置２で行われる信号処理、すなわち、DSP３２の信号処理としては、例えば、撮像画像から、所定の認識対象を認識する認識処理を採用することができる。
　また、例えば、撮像装置２は、その撮像装置２と所定の位置関係になるように配置されたToF(Time of Flight)センサ等の距離センサの出力を、入力I/F３６で受け取ることができる。この場合、DSP３２の信号処理としては、例えば、入力I/F３６で受け取った距離センサの出力から得られる距離画像のノイズを、撮像画像を用いて除去する処理のような、距離センサの出力と撮像画像とを統合して、精度の良い距離を求めるフュージョン処理を採用することができる。
　さらに、例えば、撮像装置２は、その撮像装置２と所定の位置関係になるように配置されたイメージセンサが出力する画像を、入力I/F３６で受け取ることができる。この場合、DSP３２の信号処理としては、例えば、入力I/F３６で受け取った画像と、撮像画像とをステレオ画像として用いた自己位置推定処理(SLAM(Simultaneously Localization and Mapping))を採用することができる。
　以下、DSP３２の信号処理として、認識処理、フュージョン処理、及び、自己位置推定処理（以下、SLAM処理ともいう）のそれぞれを行う場合を例に、撮像装置２の処理について説明する。
　なお、以下説明する撮像装置２の処理の順番は、可能な範囲で入れ替えることができる。すなわち、撮像装置２の処理の順番は、以下説明する順番に限定されるものではない。
　＜DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理の例＞
　図４、図５、及び、図６は、DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。
　図４のステップＳ１１において、通信I/F３４は、DSP３２の信号処理として、認識処理を行うのにあたって、CPU３１及びDSP３２に実行させるプログラム（コード）を、外部からダウンロードし、メモリ３３に記憶させる。ここでは、DSP３２に実行させるプログラムは、信号処理として、認識処理を行う認識処理プログラムである。
　CPU３１は、メモリ３３に記憶されたプログラムを実行することで、所定の処理を開始する。
　すなわち、ステップＳ１２において、CPU３１は、レジスタ群２７から、接続線CL１を介して、撮像画像の小領域ごとの明るさ（の情報）、その他の必要な情報を読み出す。
　ステップＳ１３において、CPU３１は、画像圧縮部３５の圧縮処理で、撮像画像のスケールダウンを行う程度を表す縮小率を決定する等の、圧縮処理に関する制御を行う。
　ステップＳ１４では、撮像部２１が画像の撮像を開始するとともに、撮像処理部２２が、撮像部２１からの画像を、撮像画像として出力することを開始する。これにより、撮像画像の、撮像処理部２２から出力制御部２３への供給、及び、撮像処理部２２から接続線CL2を介しての画像圧縮部３５への供給が開始される。
　撮像処理部２２から出力制御部２３に供給された撮像画像は、出力制御部２３において必要に応じて選択され、出力I/F２４から外部に出力される。
　ステップＳ１５において、画像圧縮部３５は、撮像処理部２２から接続線CL2を介して供給される撮像画像の圧縮処理を開始する。
　ここで、以下では、画像処理部２２が出力する画像の他、撮像部２１が出力する画像も、撮像画像という。
　図２で説明したように、撮像部２１は、例えば、12Mピクセルや、VGAサイズの撮像画像を出力することができる。さらに、撮像部２１は、例えば、RGB（赤、緑、青）のカラー画像や、白黒画像を、撮像画像として出力することができる。
　撮像画像が、12Mピクセルのフルサイズの画像である場合、画像圧縮部３５は、例えば、12Mピクセルの撮像画像を、VGAサイズ等の撮像画像にスケールダウンする処理を、圧縮処理として行う。
　但し、撮像画像が、スケールダウン後のサイズ、すなわち、ここでは、VGAサイズの画像になっている場合、画像圧縮部３５は、スケールダウンする処理を行わない。
　また、撮像画像が、RGBのカラー画像である場合、画像圧縮部３５は、例えば、カラーの撮像画像を、白黒の撮像画像に変換するために、YUV変換を、圧縮処理として行う。
　但し、撮像画像が、白黒画像である場合、画像圧縮部３５は、YUV変換を行わない。
　したがって、例えば、撮像画像が、12Mピクセルのカラー画像である場合、画像圧縮部３５は、撮像画像のスケールダウン、及び、YUV変換を、圧縮処理として行う。
　また、例えば、撮像画像が、VGAサイズのカラー画像である場合、画像圧縮部３５は、撮像画像のYUV変換を、圧縮処理として行う。
　画像圧縮部３５は、圧縮処理の結果得られるVGAサイズの白黒の撮像画像を、圧縮画像として、メモリ３３に記憶させる。
　なお、撮像装置２は、画像圧縮部３５を設けずに構成することができる。但し、画像圧縮部３５を設けずに撮像装置２を構成する場合には、DSP３２の負荷や、メモリ３３に要求される記憶容量が大になる。
　図５のステップＳ２１において、DSP３２は、ステップＳ１１でメモリ３３に記憶された認識処理プログラムを読み込んで実行することにより、その認識処理プログラムに対応する信号処理としての認識処理を開始する。
　すなわち、DSP３２は、メモリ３３に記憶された圧縮画像の各領域を、認識処理の処理対象として、順次、メモリ３３から読み出し、その処理対象から、所定の認識対象（例えば、人の顔等）を認識する認識処理を、圧縮画像（ひいては撮像画像）を用いた信号処理として行う。
　認識処理は、例えば、CNN(Convolutional Neural Network)等のディープラーニング等の手法を用いて行うことができる。また、認識処理では、人の顔等の特定の被写体を認識対象として、その特定の被写体を検出する他、画像に映るシーンを認識対象として、その画像に映るシーンを検出することができる。
　ステップＳ２２において、DSP３２は、認識処理の結果を、信号処理結果として、メモリ３３に供給して記憶させる。認識処理の結果（以下、認識結果ともいう）には、例えば、認識対象の検出の有無や、認識対象が検出された検出位置等の情報が含まれる。
　なお、認識処理では、圧縮画像（撮像画像）の輝度が認識精度に影響することを抑制するため、圧縮画像の平均的な明るさをあらかじめ決められた固定値にするような、圧縮画像の階調変換を行うことができる。かかる階調変換は、図４のステップＳ１２において、CPU３１がレジスタ群２７から読み出した、撮像画像の小領域ごとの明るさを用いて行うことができる。
　図６のステップＳ３１において、CPU３１は、メモリ３３に記憶された信号処理結果としての認識結果を読み出し、その認識結果を用いて、撮像画像の撮像に適切な露光時間等の撮像情報を算出する演算を行う。
　例えば、認識結果が、認識対象としての顔が検出された検出位置を含む場合、CPU３１は、圧縮画像（撮像画像）上の、顔の検出位置の輝度等に応じて、検出位置に映る顔の撮影に適切な露光時間を算出する。また、例えば、CPU３１は、顔の検出位置にフォーカスを合わせるようにオートフォーカスを制御する撮像情報を算出する。
　その他、CPU３１は、認識結果を用いて、撮像画像の撮像に適切なフレームレートや、撮影モード、切り出し範囲等の撮像情報を、必要に応じて算出する。
　ステップＳ３２において、CPU３１は、ステップＳ３１で算出した撮像情報を、接続線CL1を介して、レジスタ群２７にフィードバックする。レジスタ群２７は、CPU３１からフィードバックされた撮像情報を新たに記憶し、その後は、撮像制御部２５は、レジスタ群２７に新たに記憶された撮像情報に従って、撮像処理部２２を制御する。
　ステップＳ３３において、CPU３１は、メモリ３３に記憶された信号処理結果としての認識結果を読み出し、出力制御部２３に供給する。
　メモリ３３から出力制御部２３に供給された信号処理結果としての認識結果は、出力制御部２３において必要に応じて選択され、出力I/F２４から外部に出力される。
　図７は、DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理のタイミングの第１の例を説明するタイミングチャートである。
　例えば、撮像部２１は、1/30秒をフレーム周期T1として、そのフレーム周期T1の前半の1/60秒の間に、１フレームの撮像を行う。撮像部２１の撮像により得られる撮像画像は、撮像処理部２２から、出力制御部２３及び画像圧縮部３５に供給される。
　なお、図７では、撮像画像は、12Mピクセルのカラー画像であることとする。
　出力制御部２３では、撮像処理部２２から撮像画像が供給されると、その撮像画像が選択され、出力I/F２４から外部に出力される。
　画像圧縮部３５では、12Mピクセルのカラーの撮像画像の圧縮処理として、スケールダウンとYUV変換が行われ、12Mピクセルのカラーの撮像画像が、VGAサイズの白黒の圧縮画像に変換される。この圧縮画像は、メモリ３３に記憶される。
　いま、あるフレーム周期T1に注目し、そのフレーム周期T1を、注目フレーム周期T1ともいう。
　図７では、注目フレーム周期T1の（前半の1/60秒で撮像された）撮像画像の圧縮処理が、注目フレーム周期T1の前半で終了し、その後の、注目フレーム周期T1の後半の1/60秒が開始するタイミングで、DSP３２が、メモリ３３に記憶された圧縮画像、すなわち、注目フレーム周期T1の撮像画像から得られた圧縮画像を用いた認識処理を開始している。
　DSP３２は、注目フレーム周期T1が終了する少し前のタイミングで、注目フレーム周期T1の撮像画像から得られた圧縮画像を用いた認識処理を終了し、その認識処理の認識結果を、信号処理結果として、出力制御部２３に供給する。
　出力制御部２３は、信号処理結果としての認識結果が供給されると、その信号処理結果を選択して、出力I/F２４から外部に出力する。
　図７では、注目フレーム周期T1についての信号処理結果、すなわち、注目フレーム周期T1の撮像画像から得られた圧縮画像を用いた認識処理の信号処理結果（認識結果）は、注目フレーム周期T1の終了間際から注目フレーム周期T1が終了するまでの期間に、出力I/F２４から出力されている。
　図８は、DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理のタイミングの第２の例を説明するタイミングチャートである。
　図８では、図７と同様に、撮像部２１は、1/30秒をフレーム周期T1として、そのフレーム周期T1の前半の1/60秒の間に、１フレームの撮像を行い、12Mピクセルのカラーの撮像画像を取得する。撮像部２１が取得した撮像画像は、撮像処理部２２から、出力制御部２３及び画像圧縮部３５に供給される。
　出力制御部２３では、図７と同様に、撮像処理部２２からの撮像画像の供給に応じて、その撮像画像が選択され、出力I/F２４から外部に出力される。
　画像圧縮部３５では、図７と同様に、12Mピクセルのカラーの撮像画像の圧縮処理としてのスケールダウンとYUV変換が行われ、12Mピクセルのカラーの撮像画像が、VGAサイズの白黒の圧縮画像に変換される。この圧縮画像は、メモリ３３に記憶される。
　図８では、図７と同様に、注目フレーム周期T1の撮像画像の圧縮処理が、注目フレーム周期T1の前半で終了する。
　但し、図８では、圧縮処理の開始後、その圧縮処理の終了を待たずに、圧縮処理によって生成される圧縮画像の一部が認識処理に用いることができるようになったタイミングで、DSP３２が、注目フレーム周期T1の撮像画像から得られた圧縮画像（の一部）を用いた認識処理を開始している。
　したがって、図８では、圧縮処理と認識処理とが、一部の期間で並列に行われている。
　DSP３２は、注目フレーム周期T1が終了する少し前のタイミングで、注目フレーム周期T1の撮像画像から得られた圧縮画像を用いた認識処理を終了し、その認識処理の認識結果を、信号処理結果として、出力制御部２３に供給する。
　出力制御部２３は、信号処理結果としての認識結果の供給に応じて、その信号処理結果を選択し、出力I/F２４から外部に出力する。
　図８では、図７と同様に、注目フレーム周期T1についての信号処理結果としての、注目フレーム周期T1の撮像画像から得られた圧縮画像を用いた認識結果は、注目フレーム周期T1の終了間際から注目フレーム周期T1が終了するまでの期間に、出力I/F２４から出力されている。
　上述したように、図８では、認識処理が、圧縮処理の終了を待たずに開始されるので、圧縮処理の終了を待って、認識処理を開始する図７の場合に比較して、認識処理を行う時間を、より確保することができる。
　図９は、DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理のタイミングの第３の例を説明するタイミングチャートである。
　図９では、図７と同様に、撮像部２１は、1/30秒をフレーム周期T1として、１フレームの撮像を行う。但し、図９では、撮像部２１は、12Mピクセルのカラーの撮像画像ではなく、VGAサイズのカラーの撮像画像を撮像する。そのため、図９では、フレーム周期T1の開始から極めて短時間で、１フレームの撮像が終了している。撮像部２１が撮像したVGAサイズの撮像画像は、撮像処理部２２から、出力制御部２３及び画像圧縮部３５に供給される。
　ここで、図９では、外部で撮像画像が使用されないことになっており、そのため、出力制御部２３は、撮像処理部２２から撮像画像が供給されても、撮像画像を選択せず、出力I/F２４から外部に出力しない。
　画像圧縮部３５は、撮像画像の圧縮処理を行い、その結果得られる圧縮画像を、メモリ３３に記憶させる。
　ここで、図９では、撮像画像が、VGAサイズのカラー画像であるため、圧縮処理としては、YUV変換は行われるが、スケールダウンは行われない。そのため、図９の圧縮処理は、図７や図８の場合に比較して、短時間で終了している。
　また、図９では、図８と同様に、圧縮処理の開始後、その圧縮処理の終了を待たずに、圧縮処理によって生成される圧縮画像の一部が認識処理に用いることができるようになったタイミングで、DSP３２が、注目フレーム周期T1の撮像画像から得られた圧縮画像（の一部）を用いた認識処理を開始している。
　したがって、図９では、図８と同様に、圧縮処理と認識処理とが、一部の期間で並列に行われている。
　DSP３２は、注目フレーム周期T1が終了する少し前のタイミングで、注目フレーム周期T1の撮像画像から得られた圧縮画像を用いた認識処理を終了し、その認識処理の認識結果を、信号処理結果として、出力制御部２３に供給する。
　出力制御部２３は、信号処理結果としての認識結果の供給に応じて、その信号処理結果を選択し、出力I/F２４から外部に出力する。
　図９では、図７や図８と同様に、注目フレーム周期T1についての信号処理結果としての、注目フレーム周期T1の撮像画像から得られた圧縮画像を用いた認識結果は、注目フレーム周期T1の終了間際から注目フレーム周期T1が終了するまでの期間に、出力I/F２４から出力されている。
　図９では、図８と同様に、認識処理が、圧縮処理の終了を待たずに開始されるので、圧縮処理の終了を待って、認識処理を開始する図７の場合に比較して、認識処理を行う時間を、より確保することができる。
　さらに、図９では、撮像部２１が出力する撮像画像が、VGAサイズの画像であるため、圧縮処理において、スケールダウンを行わずに済み、圧縮処理の負荷を軽減することができる。
　以上のように、撮像部２１が出力する撮像画像を、VGAサイズの画像として、出力I/F２４から出力しない形態は、例えば、外部において、撮像画像そのものが必要ではなく、信号処理結果（ここでは、認識処理の認識結果）が必要である場合に有用である。
　図１０は、DSP３２の信号処理として認識処理が行われる場合の、撮像装置２の処理のタイミングの第４の例を説明するタイミングチャートである。
　図１０では、図９と同様に、撮像部２１は、1/30秒をフレーム周期T1として、VGAサイズのカラーの撮像画像を撮像する。撮像部２１が撮像した撮像画像は、撮像処理部２２から、出力制御部２３及び画像圧縮部３５に供給される。
　ここで、図１０では、図９と同様に、外部で撮像画像が使用されないことになっており、そのため、出力制御部２３は、撮像画像を出力I/F２４から外部に出力しない（選択しない）。
　画像圧縮部３５は、撮像画像の圧縮処理を行い、その結果得られる圧縮画像を、メモリ３３に記憶させる。
　ここで、図１０では、図９と同様に、圧縮処理としては、YUV変換は行われるが、スケールダウンは行われないため、圧縮処理は、短時間で終了する。
　また、図１０では、図８や図９と同様に、圧縮処理の開始後、その圧縮処理の終了を待たずに、圧縮処理によって生成される圧縮画像の一部が認識処理に用いることができるようになったタイミングで、DSP３２が、注目フレーム周期T1の撮像画像から得られた圧縮画像（の一部）を用いた認識処理を開始している。
　したがって、図１０では、図８や図９と同様に、圧縮処理と認識処理とが、一部の期間で並列に行われている。
　DSP３２は、注目フレーム周期T1が終了する少し前のタイミングで、注目フレーム周期T1の撮像画像から得られた圧縮画像を用いた認識処理を終了し、その認識処理の認識結果を、信号処理結果として、出力制御部２３に供給する。
　出力制御部２３は、図７ないし図９と同様に、注目フレーム周期T1についての信号処理結果としての、注目フレーム周期T1の撮像画像から得られた圧縮画像を用いた認識結果を選択し、注目フレーム周期T1の終了間際に、出力I/F２４から出力する。
　図１０では、DSP３２は、信号処理としての認識処理を行っている間、その認識処理の途中で得られる中間データを、適宜出力する。DSP３２が出力する中間データは、出力制御部２３に供給され、出力制御部２３は、中間データが供給されると、信号処理結果と同様に、中間データを選択して、出力I/F２４から出力する。
　以上のように、信号処理（ここでは、認識処理）の途中で得られる中間データを、出力I/F２４から外部に出力する場合には、その中間データを、信号処理を行うプログラム（ここでは、認識処理プログラム）のデバックに供することができる。
　＜DSP３２の信号処理としてフュージョン処理が行われる場合の、撮像装置２の処理の例＞
　図１１、図１２、及び、図１３は、DSP３２の信号処理としてフュージョン処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。
　図１１のステップＳ４１において、通信I/F３４は、DSP３２の信号処理として、フュージョン処理を行うのにあたって、CPU３１及びDSP３２に実行させるプログラムを、外部からダウンロードし、メモリ３３に記憶させる。ここでは、DSP３２に実行させるプログラムは、信号処理として、フュージョン処理を行うフュージョン処理プログラムである。
　CPU３１は、メモリ３３に記憶されたプログラムを実行することで、所定の処理を開始する。
　すなわち、ステップＳ４２において、CPU３１は、レジスタ群２７から、接続線CL１を介して、撮像画像の小領域ごとの明るさ（の情報）、その他の必要な情報を読み出す。
　ステップＳ４３において、CPU３１は、画像圧縮部３５の圧縮処理で、撮像画像のスケールダウンを行う程度を表す縮小率を決定する等の、圧縮処理に関する制御を行う。
　ステップＳ４４では、撮像部２１が撮像画像の撮像を開始するとともに、撮像処理部２２が、撮像部２１からの撮像画像の出力を開始する。これにより、撮像画像の、撮像処理部２２から出力制御部２３への供給、及び、撮像処理部２２から接続線CL2を介しての画像圧縮部３５への供給が開始される。
　撮像処理部２２から出力制御部２３に供給された撮像画像は、出力制御部２３において必要に応じて選択され、出力I/F２４から外部に出力される。
　ステップＳ４５において、画像圧縮部３５は、撮像処理部２２から接続線CL2を介して供給される撮像画像の圧縮処理を開始する。
　画像圧縮部３５は、圧縮処理の結果得られるVGAサイズの白黒の撮像画像を、圧縮画像として、メモリ３３に記憶させる。
　信号処理としてフュージョン処理が行われる場合、撮像装置２と所定の位置関係になるように設置された距離センサとしての、例えば、ToFセンサ（図示せず）から、そのToFセンサのセンサ出力が、入力I/F３６に供給される。
　ここで、ToFセンサのセンサ出力は、例えば、距離のセンシング結果（例えば、ToFセンサが発した光が被写体で反射してToFセンサで受光されるまでの時間に対応する値等）を画素値とする画像の形になっている。以下、この画像を、ToF画像ともいう。ToF画像は、例えば、QQVGAサイズやQVGAサイズ等の画像である。
　ステップＳ４６において、入力I/F３６は、ToFセンサのセンサ出力としてのToF画像の受け取りを開始する。入力I/F３６が受け取ったToF画像は、メモリ３３に供給されて記憶される。
　図１２のステップＳ５１において、DSP３２は、ステップＳ４１でメモリ３３に記憶されたフュージョン処理プログラムを読み込んで実行することにより、そのフュージョン処理プログラムに対応する信号処理としてのフュージョン処理を開始する。
　すなわち、DSP３２は、メモリ３３に記憶された圧縮画像の各領域を、フュージョン処理の処理対象として、順次、メモリ３３から読み出すとともに、ToF画像を、メモリ３３から読み出し、圧縮画像の処理対象とToF画像とを用いたフュージョン処理を行う。
　フュージョン処理では、例えば、ToF画像の画素値となっているセンサ出力が、距離を表す値に変換され、その距離を表す値を画素値とする距離画像が生成される。本実施の形態では、例えば、連続する4枚のToF画像から、1枚の距離画像が求められる。
　さらに、フュージョン処理では、例えば、撮像装置２とToFセンサとの位置関係に基づき、圧縮画像（の処理対象）の各画素と、距離画像の対応する画素との位置合わせ等を行うキャリブレーションが行われる。
　また、フュージョン処理では、例えば、圧縮画像のテクスチャ等を参照し、等距離にある被写体が映る圧縮画像の複数の画素に対応する距離画像の複数の画素の画素値としての距離を表す値を一致させる補正等を行うことで、距離画像のノイズが除去される。
　ステップＳ５２において、DSP３２は、フュージョン処理の結果を、信号処理結果として、メモリ３３に供給して記憶させる。フュージョン処理の結果とは、例えば、ノイズが除去された距離画像である。
　なお、フュージョン処理では、圧縮画像（撮像画像）の輝度が距離画像のノイズの除去に影響することを抑制するため、圧縮画像の平均的な明るさをあらかじめ決められた固定値にするような、圧縮画像の階調変換を行うことができる。かかる階調変換は、図１１のステップＳ４２において、CPU３１がレジスタ群２７から読み出した、撮像画像の小領域ごとの明るさを用いて行うことができる。
　図１３のステップＳ６１において、CPU３１は、メモリ３３に記憶された信号処理結果としての距離画像を読み出し、その距離画像を用いて、撮像画像の撮像に適切なフォーカス等の撮像情報を算出する演算を行う。
　例えば、CPU３１は、距離画像から、最も手前にある被写体や、所定の距離付近に位置する被写体を検出し、その被写体にフォーカスを合わせるようにオートフォーカスを制御する撮像情報を算出する。また、例えば、CPU３１は、距離画像から、最も手前にある被写体や、所定の距離付近に位置する被写体を検出し、その被写体の輝度等に応じて、その被写体の撮影に適切な露光時間を算出する。
　その他、CPU３１は、距離画像を用いて、撮像画像の撮像に適切なフレームレートや、撮影モード、切り出し範囲等の撮像情報を、必要に応じて算出する。
　ステップＳ６２において、CPU３１は、ステップＳ６１で算出した撮像情報を、接続線CL1を介して、レジスタ群２７にフィードバックする。レジスタ群２７は、CPU３１からフィードバックされた撮像情報を新たに記憶し、その後は、撮像制御部２５は、レジスタ群２７に新たに記憶された撮像情報に従って、撮像処理部２２を制御する。
　ステップＳ６３において、CPU３１は、メモリ３３に記憶された信号処理結果としての距離画像を読み出し、出力制御部２３に供給する。
　メモリ３３から出力制御部２３に供給された信号処理結果としての距離画像は、出力制御部２３において必要に応じて選択され、出力I/F２４から外部に出力される。
　図１４は、DSP３２の信号処理としてフュージョン処理が行われる場合の、撮像装置２の処理のタイミングの第１の例を説明するタイミングチャートである。
　例えば、撮像部２１は、1/30秒をフレーム周期T1として、そのフレーム周期T1の前半の1/60秒の間に、12Mピクセルのカラーの撮像画像の撮像を行う。撮像部２１の撮像により得られる撮像画像は、撮像処理部２２から、出力制御部２３及び画像圧縮部３５に供給される。
　出力制御部２３は、撮像処理部２２からの撮像画像の供給に応じて、その撮像画像を選択し、出力I/F２４から外部に出力する。
　画像圧縮部３５では、12Mピクセルのカラーの撮像画像の圧縮処理として、スケールダウンとYUV変換が行われ、12Mピクセルのカラーの撮像画像が、VGAサイズの白黒の圧縮画像に変換される。この圧縮画像は、メモリ３３に記憶される。
　図１４では、撮像装置２の入力I/F３６に、ToFセンサが接続されており、そのToFセンサは、センサ出力として、QVGAサイズのToF画像を出力する。
　入力I/F３６は、ToFセンサのセンサ出力としてのToF画像を受け取り、メモリ３３に記憶させる。
　ここで、図１４では、ToFセンサは、QVGAサイズのToF画像を、240fps(frame per second)で出力することができる。図１４では、ToFセンサは、フレーム周期T1の前半の1/60秒の間に、240fpsのQVGAサイズのToF画像を4枚だけ出力し、入力I/F３６は、その4枚のToF画像を、フレーム周期T1の前半の1/60秒の間に受け取る。
　図１４では、注目フレーム周期T1の（前半の1/60秒で撮像された）撮像画像の圧縮処理が、注目フレーム周期T1の前半で終了する。さらに、注目フレーム周期T1の前半では、入力I/F３６において、4枚のToF画像の受け取りが終了する。
　そして、その後の、注目フレーム周期T1の後半の1/60秒が開始するタイミングで、DSP３２が、メモリ３３に記憶された圧縮画像、すなわち、注目フレーム周期T1の撮像画像から得られた圧縮画像と、メモリ３３に記憶された4枚のToF画像とを用いたフュージョン処理を開始する。
　フュージョン処理では、例えば、注目フレーム周期T1の4枚のToF画像から、注目フレーム周期T1の1枚の距離画像が生成され、圧縮画像の各画素と、距離画像の各画素との位置合わせのキャリブレーションが行われる。そして、圧縮画像を用いて、距離画像のノイズが除去される。
　ここで、図１４では、ToF画像のフレームレートは、240fpsであるが、距離画像のフレームレートは、フレーム周期T1(1/30秒）に対応する30fpsである。
　DSP３２は、注目フレーム周期T1が終了する少し前のタイミングで、注目フレーム周期T1の撮像画像から得られた圧縮画像を用いたフュージョン処理を終了し、そのフュージョン処理の結果得られる、ノイズが除去された距離画像を、信号処理結果として、出力制御部２３に供給する。
　出力制御部２３は、信号処理結果としての距離画像が供給されると、その信号処理結果を選択して、出力I/F２４から外部に出力する。
　図１４では、注目フレーム周期T1についての信号処理結果、すなわち、注目フレーム周期T1の撮像画像から得られた圧縮画像を用いたフュージョン処理の信号処理結果（距離画像）は、注目フレーム周期T1の終了間際から注目フレーム周期T1が終了するまでの期間に、出力I/F２４から出力されている。
　図１５は、DSP３２の信号処理としてフュージョン処理が行われる場合の、撮像装置２の処理のタイミングの第２の例を説明するタイミングチャートである。
　図１５では、図１４と同様に、撮像部２１において、1/30秒のフレーム周期T1の前半の1/60秒の間に、12Mピクセルのカラーの撮像画像が撮像され、その撮像画像が、出力I/F２４から外部に出力される。
　さらに、図１５では、図１４と同様に、画像圧縮部３５において、12Mピクセルのカラーの撮像画像の圧縮処理としてのスケールダウン及びYUV変換によって、VGAサイズの白黒の圧縮画像が生成され、メモリ３３に記憶される。
　また、図１５では、図１４と同様に、撮像装置２の入力I/F３６に、ToFセンサが接続されており、そのToFセンサは、センサ出力として、QVGAサイズのToF画像を出力する。
　但し、図１５では、ToFセンサは、QVGAサイズのToF画像を、120fpsで出力する。したがって、図１５では、ToFセンサにおいて、1枚の距離画像を生成するのに必要な4枚のToF画像を出力するのにかかる時間は、1/30秒＝1/120×4秒、すなわち、フレーム周期T1に等しい。
　入力I/F３６は、ToFセンサのセンサ出力としてのToF画像を受け取り、メモリ３３に記憶させる。
　すなわち、図１５では、上述のように、ToFセンサは、フレーム周期T1の間に、4枚の120fpsのQVGAサイズのToF画像を出力するので、入力I/F３６は、その4枚のToF画像を、フレーム周期T1の間に受け取る。
　したがって、注目フレーム周期T1の先頭から開始されたToF画像の受け取りにおいて、距離画像の生成に必要な4枚のToF画像の受け取りは、注目フレーム周期T1の（ほぼ）終わりで完了する。
　そのため、注目フレーム周期T1の撮像画像から得られた圧縮画像と、注目フレーム周期T1にToFセンサから受け取った4枚のToF画像とを用いたフュージョン処理を、注目フレーム周期T1内に完了することは困難である。
　そこで、図１５では、注目フレーム周期T1の次のフレーム周期T1の先頭のタイミングで、DSP３２が、注目フレーム周期T1の撮像画像から得られた圧縮画像と、注目フレーム周期T1の間にToFセンサから受け取った4枚のToF画像とを用いたフュージョン処理を開始している。
　ここで、以下、注目フレーム周期T1の撮像画像から得られた圧縮画像を、注目フレーム周期T1の圧縮画像ともいい、注目フレーム周期T1の間にToFセンサから受け取った(4枚の）ToF画像を、注目フレーム周期T1の(4枚の）ToF画像ともいう。
　DSP３２は、注目フレーム周期T1の圧縮画像と、注目フレーム周期T1の4枚のToF画像とを用いたフュージョン処理を、注目フレーム周期T1の次のフレーム周期T1の先頭のタイミングで開始し、注目フレーム周期T1の次のフレーム周期T1の前半が終了する少し前のタイミングで終了する。
　そして、DSP３２は、フュージョン処理の結果得られる、ノイズが除去された距離画像を、信号処理結果として、出力制御部２３に供給する。
　ここで、注目フレーム周期T1の圧縮画像と、注目フレーム周期T1の4枚のToF画像とを用いたフュージョン処理の信号処理結果、及び、その信号処理結果としての距離画像を、それぞれ、注目フレーム周期T1の信号処理結果、及び、注目フレーム周期T1の距離画像ともいう。
　出力制御部２３は、注目フレーム周期T1の次のフレーム周期T1の撮像画像の、出力I/F２４からの出力が終了した後、注目フレーム周期T1の信号処理結果としての距離画像を選択して、出力I/F２４から外部に出力する。
　したがって、図１５では、図１４の場合と同様に、距離画像のフレームレートは、フレーム周期T1(1/30秒）に対応する30fpsであるが、注目フレーム周期T1の信号処理結果としての距離画像は、注目フレーム周期T1の間に出力されず、その次のフレーム周期T1に出力される。
　図１４では、注目フレーム周期T1の信号処理結果としての距離画像は、注目フレーム周期T1に出力されるに対して、図１５では、注目フレーム周期T1の信号処理結果としての距離画像は、注目フレーム周期T1の次のフレーム周期T1に出力される。したがって、図１５では、入力I/F３６に接続するToFセンサとして、図１４の場合よりも、ToF画像のフレームレートが低速なToFセンサ、すなわち、低コストのToFセンサを使用することができる。
　なお、図１１ないし図１５で説明したように、ToFセンサ等の距離センサのセンサ出力を、入力I/F３６から受け付け、フュージョン処理を行う撮像装置２の使用形態は、例えば、車両の自動運転等に適用することができる。
　＜DSP３２の信号処理としてSLAM処理が行われる場合の、撮像装置２の処理の例＞
　図１６、図１７、及び、図１８は、DSP３２の信号処理としてSLAM処理が行われる場合の、撮像装置２の処理の例の概要を説明する図である。
　図１６のステップＳ７１において、通信I/F３４は、DSP３２の信号処理として、SLAM処理を行うのにあたって、CPU３１及びDSP３２に実行させるプログラムを、外部からダウンロードし、メモリ３３に記憶させる。ここでは、DSP３２に実行させるプログラムは、信号処理として、SLAM処理を行うSLAM処理プログラムである。
　CPU３１は、メモリ３３に記憶されたプログラムを実行することで、所定の処理を開始する。
　すなわち、ステップＳ７２において、CPU３１は、レジスタ群２７から、接続線CL１を介して、撮像画像の小領域ごとの明るさ（の情報）、その他の必要な情報を読み出す。
　ステップＳ７３において、CPU３１は、画像圧縮部３５の圧縮処理で、撮像画像のスケールダウンを行う程度を表す縮小率を決定する等の、圧縮処理に関する制御を行う。
　ステップＳ７４では、撮像部２１が撮像画像の撮像を開始するとともに、撮像処理部２２が、撮像部２１からの撮像画像の出力を開始する。これにより、撮像画像の、撮像処理部２２から出力制御部２３への供給、及び、撮像処理部２２から接続線CL2を介しての画像圧縮部３５への供給が開始される。
　撮像処理部２２から出力制御部２３に供給された撮像画像は、出力制御部２３において必要に応じて選択され、出力I/F２４から外部に出力される。
　ステップＳ７５において、画像圧縮部３５は、撮像処理部２２から接続線CL2を介して供給される撮像画像の圧縮処理を開始する。
　画像圧縮部３５は、圧縮処理の結果得られるVGAサイズの白黒の撮像画像を、圧縮画像として、メモリ３３に記憶させる。
　信号処理としてSLAM処理が行われる場合、撮像装置２と所定の位置関係になるように設置されたイメージセンサ（図示せず）から、そのイメージセンサのセンサ出力が、入力I/F３６に供給される。
　ここで、撮像装置２と所定の位置関係になるように設置された、撮像装置２とは別のイメージセンサを、以下、他のセンサともいう。さらに、他のセンサは、光をセンシングし、その光に対応する画像を、センサ出力として出力するが、この、他のセンサのセンサ出力としての画像を、他センサ画像ともいう。ここでは、他センサ画像は、例えば、VGAサイズの画像であることとする。
　ステップＳ７６において、入力I/F３６は、他のセンサのセンサ出力としてのVGAサイズの他センサ画像の受け取りを開始する。入力I/F３６が受け取ったVGAサイズの他センサ画像は、メモリ３３に供給されて記憶される。
　図１７のステップＳ８１において、DSP３２は、ステップＳ７１でメモリ３３に記憶されたSLAM処理プログラムを読み込んで実行することにより、そのSLAM処理プログラムに対応する信号処理としてのSLAM処理を開始する。
　すなわち、DSP３２は、メモリ３３に記憶された圧縮画像の各領域を、SLAM処理の処理対象として、順次、メモリ３３から読み出すとともに、他センサ画像を、メモリ３３から読み出し、その圧縮画像の処理対象と他センサ画像とをステレオ画像として用いたSLAM処理を行う。
　SLAM処理では、例えば、撮像装置２と他のセンサとの位置関係に基づき、ステレオ画像としての圧縮画像と他センサ画像とを平行化する（撮像装置２と他のセンサとを平行等化する）レクティフィケーション(rectification)が行われる。
　そして、SLAM処理では、例えば、レクティフィケーション後のステレオ画像としての圧縮画像と他センサ画像とを用いて、自己位置推定と地図の構築（成長）とが行われる。
　ステップＳ８２において、DSP３２は、SLAM処理の結果を、信号処理結果として、メモリ３３に供給して記憶させる。SLAM処理の結果とは、例えば、自己位置推定の推定結果（以下、位置推定結果ともいう）と、その自己位置推定とともに構築された地図である。
　なお、SLAM処理では、圧縮画像（撮像画像）及び他センサ画像の輝度が自己位置推定や地図の構築に影響することを抑制するため、圧縮画像及び他センサ画像の平均的な明るさをあらかじめ決められた固定値にするような、圧縮画像及び他センサ画像の階調変換を行うことができる。かかる階調変換は、図１６のステップＳ７２において、CPU３１がレジスタ群２７から読み出した、撮像画像の小領域ごとの明るさを用いて行うことができる。
　図１８のステップＳ９１において、CPU３１は、メモリ３３に記憶された信号処理結果としての位置推定結果及び地図を読み出し、その位置推定結果及び地図を用いて、撮像画像の撮像に適切な露光時間や、フォーカス、フレームレート、撮影モード、切り出し範囲等の撮像情報を算出する演算を、必要に応じて行う。
　ステップＳ９２において、CPU３１は、ステップＳ９１で算出した撮像情報を、接続線CL1を介して、レジスタ群２７にフィードバックする。レジスタ群２７は、CPU３１からフィードバックされた撮像情報を新たに記憶し、その後は、撮像制御部２５は、レジスタ群２７に新たに記憶された撮像情報に従って、撮像処理部２２を制御する。
　ステップＳ９３において、CPU３１は、メモリ３３に記憶された信号処理結果としての位置推定結果及び地図を読み出し、出力制御部２３に供給する。
　メモリ３３から出力制御部２３に供給された信号処理結果としての位置推定結果及び地図は、出力制御部２３において選択され、出力I/F２４から外部に出力される。
　図１９は、DSP３２の信号処理としてSLAM処理が行われる場合の、撮像装置２の処理のタイミングの第１の例を説明するタイミングチャートである。
　例えば、撮像部２１は、1/30秒をフレーム周期T1として、そのフレーム周期T1の前半の1/60秒の間に、12Mピクセルのカラーの撮像画像の撮像を行う。撮像部２１の撮像により得られる撮像画像は、撮像処理部２２から、出力制御部２３及び画像圧縮部３５に供給される。
　出力制御部２３は、撮像処理部２２からの撮像画像の供給に応じて、その撮像画像を選択し、出力I/F２４から外部に出力する。
　画像圧縮部３５では、12Mピクセルのカラーの撮像画像の圧縮処理として、スケールダウンとYUV変換が行われ、12Mピクセルのカラーの撮像画像が、VGAサイズの白黒の圧縮画像に変換される。この圧縮画像は、メモリ３３に記憶される。
　図１９では、撮像装置２の入力I/F３６に、他のセンサが接続されており、その他のセンサは、センサ出力として、VGAサイズの他センサ画像を出力する。
　入力I/F３６は、他のセンサのセンサ出力としての他センサ画像を受け取り、メモリ３３に記憶させる。
　ここで、図１９では、他のセンサは、VGAサイズの他センサ画像を、フレーム周期T1に等しい30fpsで出力する。すなわち、図１９では、他のセンサは、撮像装置２に同期して、フレーム周期T1の開始時に、30fpsのVGAサイズの他センサ画像を出力する。入力I/F３６は、その他センサ画像を受け取る。
　図１９では、注目フレーム周期T1の撮像画像の圧縮処理が、注目フレーム周期T1の前半で終了する。
　そして、その後の、注目フレーム周期T1の後半の1/60秒が開始するタイミングで、DSP３２が、メモリ３３に記憶された注目フレーム周期T1の撮像画像から得られた圧縮画像と、メモリ３３に記憶された注目フレーム周期T1の他センサ画像とを用いたSLAM処理を開始する。
　SLAM処理では、例えば、注目フレーム周期T1の（撮像画像の）圧縮画像と、注目フレーム周期T1の他センサ画像とのレクティフィケーションが行われ、そのレクティフィケーション後の圧縮画像及び他センサ画像を用いて、注目フレーム周期T1の自己位置推定及び地図の構築が行われる。
　DSP３２は、注目フレーム周期T1が終了する少し前のタイミングで、注目フレーム周期T1の圧縮画像及び他センサ画像を用いたSLAM処理を終了し、そのSLAM処理の結果得られる位置推定結果及び地図を、信号処理結果として、出力制御部２３に供給する。
　出力制御部２３は、信号処理結果としての位置推定結果及び地図が供給されると、その信号処理結果を選択して、出力I/F２４から外部に出力する。
　図１９では、注目フレーム周期T1についての信号処理結果、すなわち、注目フレーム周期T1の圧縮画像及び他センサ画像を用いたSLAM処理の信号処理結果（位置推定結果及び地図）は、注目フレーム周期T1の終了間際から注目フレーム周期T1が終了するまでの期間に、出力I/F２４から出力されている。
　図２０は、DSP３２の信号処理としてSLAM処理が行われる場合の、撮像装置２の処理のタイミングの第２の例を説明するタイミングチャートである。
　図２０では、図１９と同様に、撮像部２１において、1/30秒をフレーム周期T1として、12Mピクセルのカラーの撮像画像が撮像され、出力I/F２４から外部に出力される。
　さらに、図２０では、図１９と同様に、画像圧縮部３５において、12Mピクセルのカラーの撮像画像の圧縮処理としてのスケールダウンとYUV変換によって、VGAサイズの白黒の圧縮画像が生成され、メモリ３３に記憶される。
　また、図２０では、図１９と同様に、撮像装置２の入力I/F３６に、他のセンサが接続されており、その他のセンサは、センサ出力として、VGAサイズの他センサ画像を出力する。
　入力I/F３６は、図１９と同様に、他のセンサのセンサ出力としての他センサ画像を受け取り、メモリ３３に記憶させる。
　図２０では、図１９と同様に、注目フレーム周期T1の撮像画像の圧縮処理が、注目フレーム周期T1の前半で終了する。
　そして、その後の、注目フレーム周期T1の後半の1/60秒が開始するタイミングで、DSP３２が、メモリ３３に記憶された注目フレーム周期T1の撮像画像から得られた圧縮画像と、メモリ３３に記憶された注目フレーム周期T1の他センサ画像とを用いたSLAM処理を開始する。
　SLAM処理では、例えば、注目フレーム周期T1の圧縮画像と、注目フレーム周期T1の他センサ画像とのレクティフィケーションが行われ、そのレクティフィケーション後の圧縮画像及び他センサ画像を用いて、注目フレーム周期T1の自己位置推定及び地図の構築が行われる。
　図２０では、DSP３２は、注目フレーム周期T1の次のフレーム周期T1の前半が終了する少し前のタイミングで、注目フレーム周期T1の圧縮画像及び他センサ画像を用いたSLAM処理を終了し、そのSLAM処理の結果得られる位置推定結果及び地図を、信号処理結果として、出力制御部２３に供給する。
　出力制御部２３は、注目フレーム周期T1の次のフレーム周期T1の撮像画像の、出力I/F２４からの出力が終了した後、注目フレーム周期T1の信号処理結果としての位置推定結果及び地図を選択して、出力I/F２４から外部に出力する。
　したがって、図２０では、注目フレーム周期T1の信号処理結果としての位置推定結果及び地図は、注目フレーム周期T1の間に出力されず、その次のフレーム周期T1に出力される。
　図１９では、注目フレーム周期T1の信号処理結果としての位置推定結果及び地図は、注目フレーム周期T1に出力されるに対して、図２０では、注目フレーム周期T1の信号処理結果としての位置推定結果及び地図は、注目フレーム周期T1の次のフレーム周期T1に出力される。したがって、図２０では、図１９の場合よりも、SRAM処理に長時間を割り当てることができ、その結果、SRAM処理の信号処理結果としての位置推定結果及び地図の精度を向上させることができる。
　図２１は、DSP３２の信号処理としてSLAM処理が行われる場合の、撮像装置２の処理のタイミングの第３の例を説明するタイミングチャートである。
　図２１では、撮像部２１は、1/30秒をフレーム周期T1として、１フレームの撮像を行う。但し、図２１では、撮像部２１は、12Mピクセルのカラーの撮像画像ではなく、VGAサイズのカラーの撮像画像を撮像する。そのため、図２１では、フレーム周期T1の開始から極めて短時間で、１フレームの撮像が終了している。撮像部２１が撮像した撮像画像は、撮像処理部２２から、出力制御部２３及び画像圧縮部３５に供給される。
　ここで、図２１では、外部で撮像画像が使用されないことになっており、そのため、出力制御部２３は、撮像処理部２２から撮像画像が供給されても、撮像画像を選択せず、出力I/F２４から外部に出力しない。
　画像圧縮部３５は、撮像画像の圧縮処理を行い、その結果得られる圧縮画像を、メモリ３３に記憶させる。
　ここで、図２１では、撮像画像が、VGAサイズのカラー画像であるため、圧縮処理としては、YUV変換は行われるが、スケールダウンは行われない。そのため、図２１の圧縮処理は、撮像画像が12Mピクセルのカラー画像である場合に比較して、短時間で終了している。
　図２１では、図１９や図２０と同様に、撮像装置２の入力I/F３６に、他のセンサが接続されており、その他のセンサは、センサ出力として、30fpsのVGAサイズの他センサ画像を出力する。
　入力I/F３６は、他のセンサのセンサ出力としての他センサ画像を受け取り、メモリ３３に記憶させる。
　図２１では、メモリ３３に、注目フレーム周期T1の他センサ画像が記憶されたときには、注目フレーム周期T1の撮像画像の圧縮処理が終了し、その圧縮処理により得られた注目フレーム周期T1の圧縮画像が、メモリ３３に記憶されている。
　すなわち、メモリ３３に、注目フレーム周期T1の他センサ画像が記憶されたときには、メモリ３３には、注目フレーム周期T1の圧縮画像及び他センサ画像の両方が記憶されており、それらの圧縮画像及び他センサ画像を用いたSLAM処理を開始することができる。
　そこで、DSP３２は、メモリ３３に記憶された注目フレーム周期T1の圧縮画像及び他センサ画像をステレオ画像として用いたSLAM処理を開始する。
　SLAM処理では、例えば、注目フレーム周期T1の圧縮画像と、注目フレーム周期T1の他センサ画像とのレクティフィケーションが行われ、そのレクティフィケーション後の圧縮画像及び他センサ画像を用いて、注目フレーム周期T1の自己位置推定及び地図の構築が行われる。
　図２１では、DSP３２は、注目フレーム周期T1が終了する少し前のタイミングで、注目フレーム周期T1の圧縮画像及び他センサ画像を用いたSLAM処理を終了し、そのSLAM処理の結果得られる位置推定結果及び地図を、信号処理結果として、出力制御部２３に供給する。
　出力制御部２３は、信号処理結果としての位置推定結果及び地図が供給されると、その信号処理結果を選択して、出力I/F２４から外部に出力する。
　図２１では、注目フレーム周期T1についての信号処理結果、すなわち、注目フレーム周期T1の圧縮画像及び他センサ画像を用いたSLAM処理の信号処理結果（位置推定結果及び地図）は、注目フレーム周期T1の終了間際から注目フレーム周期T1が終了するまでの期間に、出力I/F２４から出力されている。
　さらに、図２１では、撮像部２１が出力する撮像画像が、VGAサイズの画像であるため、圧縮処理において、スケールダウンを行わずに済み、圧縮処理の負荷を軽減することができる。
　以上のように、撮像部２１が出力する撮像画像を、VGAサイズの画像として、出力I/F２４から出力しない形態は、例えば、外部において、撮像画像そのものが必要ではなく、信号処理結果（ここでは、SLAM処理の信号処理結果）が必要である場合に有用である。
　なお、図１６ないし図２１で説明したように、他センサ画像を、入力I/F３６から受け付け、SLAM処理を行う撮像装置２の使用形態は、例えば、自律的に行動するロボット等に適用することができる。
　ここで、入力I/F３６において、他のセンサの他センサ画像を受け取り、その他センサ画像と、撮像装置２で撮像された撮像画像（から生成される圧縮画像）とを、ステレオ画像として用いる場合には、レクティフィケーションが必要となる。
　図１６ないし図２１では、DSP３２にSLAM処理プログラムを実行させることにより行われるSLAM処理の一部として、レクティフィケーションを行うこととしたが、すなわち、ソフトウエアにより、レクティフィケーションを行うこととしたが、他センサ画像と撮像画像とをステレオ画像として用いる場合には、その場合に必要となるレクティフィケーションは、ソフトウエアにより行うのではなく、専用のハードウエアを撮像装置２に設け、その専用のハードウエアにより行うことができる。
　＜撮像装置２の他の構成例＞
　図２２は、図１の撮像装置２の他の構成例を示すブロック図である。
　すなわち、図２２は、レクティフィケーションを行う専用のハードウエアが設けられた撮像装置２の構成例を示している。
　なお、図中、図２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図２２において、撮像装置２は、撮像部２１ないし撮像制御部２５、CPU３１ないし入力I/F３６、及び、レクティフィケーション部７１を有する。
　したがって、図２２の撮像装置２は、撮像部２１ないし撮像制御部２５、及び、CPU３１ないし入力I/F３６を有する点で、図２の場合と共通する。
　但し、図２２の撮像装置２は、レクティフィケーション部７１が新たに設けられている点で、図２の場合と相違する。
　レクティフィケーション部７１は、レクティフィケーションを行う専用のハードウエアであり、メモリ３３に記憶された圧縮画像及び他センサ画像を対象に、レクティフィケーションを行う。
　図２２では、DSP３２は、レクティフィケーション部７１によるレクティフィケーション後の圧縮画像及び他センサ画像を用いて、SLAM処理を行う。
　以上のように、レクティフィケーション専用のハードウエアとしてのレクティフィケーション部７１を設けることにより、レクティフィケーションの高速化を図ることができる。
　＜撮像装置２の使用例＞
　図２３は、図１の撮像装置２を使用する使用例を示す図である。
　撮像装置２は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々な電子機器に使用することができる。
　・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する電子機器
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される電子機器
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される電子機器
　・内視鏡や、電子顕微鏡、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される電子機器
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される電子機器
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される電子機器
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される電子機器
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される電子機器
　＜移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２４に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２４の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図２５は、撮像部１２０３１の設置位置の例を示す図である。
　図２５では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２５には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図２の撮像装置２は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、撮像部１２０３１は、ユーザが必要とする情報、すなわち、後段の処理を行うブロック（以下、後段ブロックともいう）で必要な情報を出力することができる。したがって、後段ブロックは、画像から、必要な情報を生成する処理を行う必要がなく、その分、後段ブロックの負荷を軽減することができる。
　ここで、本明細書において、コンピュータ（プロセッサ）がプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、可視光線をセンシングするイメージセンサの他、赤外線その他の、可視光線以外の電磁波をセンシングするイメージセンサに適用することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は、以下の構成をとることができる。
　＜１＞
　複数の画素が２次元に並んだ、画像を撮像する撮像部と、
　前記撮像部が出力する撮像画像を用いた信号処理を行う信号処理部と、
　前記信号処理の信号処理結果、及び、前記撮像画像を外部に出力する出力I/Fと、
　前記信号処理の信号処理結果、及び、前記撮像画像を、前記出力I/Fから外部に選択的に出力させる出力制御を行う出力制御部と
　を備える１チップの撮像装置。
　＜２＞
　複数のダイが積層された積層構造を有する
　＜１＞に記載の撮像装置。
　＜３＞
　前記撮像画像を圧縮し、前記撮像画像よりもデータ量が少ない圧縮画像を生成する画像圧縮部をさらに備える
　＜１＞又は＜２＞に記載の撮像装置。
　＜４＞
　前記撮像画像の撮像に関する撮像情報を記憶するレジスタを有し、前記撮像情報に従って、前記撮像画像の撮像を制御する撮像制御部と、
　前記信号処理結果を用いて、前記撮像情報を算出する撮像情報算出部と
　をさらに備え、
　前記撮像制御部と前記撮像情報算出部とは、所定の接続線を介して接続され、
　前記撮像情報算出部は、前記撮像情報を、前記所定の接続線を介して、前記撮像制御部の前記レジスタにフィードバックする
　＜１＞ないし＜３＞のいずれかに記載の撮像装置。
　＜５＞
　前記レジスタは、前記出力制御に関する出力制御情報をも記憶し、
　前記出力制御部は、前記レジスタに記憶された前記出力制御情報に従って、前記出力制御を行う
　＜４＞に記載の撮像装置。
　＜６＞
　前記レジスタに読み書きする情報を外部との間でやりとりする第１の通信I/Fをさらに備える
　＜４＞又は＜５＞に記載の撮像装置。
　＜７＞
　前記信号処理部は、プログラムを実行するプロセッサであり、
　前記プロセッサが実行するプログラムを外部からダウンロードする第２の通信I/Fをさらに備える
　＜１＞ないし＜６＞のいずれかに記載の撮像装置。
　＜８＞
　前記信号処理部は、前記信号処理として、前記撮像画像から、所定の認識対象を認識する認識処理を行う
　＜１＞ないし＜７＞のいずれかに記載の撮像装置。
　＜９＞
　外部のセンサから外部センサ出力を受け取る入力I/Fをさらに備え、
　前記信号処理部は、前記撮像画像及び前記外部センサ出力を用いた信号処理を行う
　＜１＞ないし＜７＞のいずれかに記載の撮像装置。
　＜１０＞
　前記外部センサ出力は、距離に関する情報をセンシングする距離センサの出力、又は、光をセンシングし、前記光に対応する画像を出力するイメージセンサの出力である
　＜９＞に記載の撮像装置。
　＜１１＞
　前記信号処理部は、前記信号処理として、前記撮像画像と前記距離センサの出力とを用いて距離を求めるフュージョン処理、又は、前記イメージセンサの出力としての画像と前記撮像画像とを用いた自己位置推定処理を行う
　＜１０＞に記載の撮像装置。
　＜１２＞
　光を集光する光学系と、
　光を受光し、前記光の受光量に対応する画像を出力する１チップの撮像装置と
　を備え、
　前記撮像装置は、
　複数の画素が２次元に並んだ、画像を撮像する撮像部と、
　前記撮像部が出力する撮像画像を用いた信号処理を行う信号処理部と、
　前記信号処理の信号処理結果、及び、前記撮像画像を外部に出力する出力I/Fと、
　前記信号処理の信号処理結果、及び、前記撮像画像を、前記出力I/Fから外部に選択的に出力させる出力制御を行う出力制御部と
　を有する
　電子機器。
　１　光学系，　２　撮像装置，　３　メモリ，　４　信号処理部，　５　出力部，　６　制御部，　２０　撮像ブロック，　２１　撮像部，　２２　撮像処理部，　２３　出力制御部，　２４　出力I/F，　２５　撮像制御部，　２６　通信I/F，　２７　レジスタ群，　３０　信号処理ブロック，　３１　CPU，　３２　DSP，　３３　メモリ，　３４　通信I/F，　３５　画像圧縮部，　３６　入力I/F，　５１，５２　ダイ，　７１　レクティフィケーション部

Claims (12)

  1. 　複数の画素が２次元に並んだ、画像を撮像する撮像部と、
    　前記撮像部が出力する撮像画像を用いた信号処理を行う信号処理部と、
    　前記信号処理の信号処理結果、及び、前記撮像画像を外部に出力する出力I/Fと、
    　前記信号処理の信号処理結果、及び、前記撮像画像を、前記出力I/Fから外部に選択的に出力させる出力制御を行う出力制御部と
    　を備える１チップの撮像装置。
  2. 　複数のダイが積層された積層構造を有する
    　請求項１に記載の撮像装置。
  3. 　前記撮像画像を圧縮し、前記撮像画像よりもデータ量が少ない圧縮画像を生成する画像圧縮部をさらに備える
    　請求項１に記載の撮像装置。
  4. 　前記撮像画像の撮像に関する撮像情報を記憶するレジスタを有し、前記撮像情報に従って、前記撮像画像の撮像を制御する撮像制御部と、
    　前記信号処理結果を用いて、前記撮像情報を算出する撮像情報算出部と
    　をさらに備え、
    　前記撮像制御部と前記撮像情報算出部とは、所定の接続線を介して接続され、
    　前記撮像情報算出部は、前記撮像情報を、前記所定の接続線を介して、前記撮像制御部の前記レジスタにフィードバックする
    　請求項１に記載の撮像装置。
  5. 　前記レジスタは、前記出力制御に関する出力制御情報をも記憶し、
    　前記出力制御部は、前記レジスタに記憶された前記出力制御情報に従って、前記出力制御を行う
    　請求項４に記載の撮像装置。
  6. 　前記レジスタに読み書きする情報を外部との間でやりとりする第１の通信I/Fをさらに備える
    　請求項４に記載の撮像装置。
  7. 　前記信号処理部は、プログラムを実行するプロセッサであり、
    　前記プロセッサが実行するプログラムを外部からダウンロードする第２の通信I/Fをさらに備える
    　請求項１に記載の撮像装置。
  8. 　前記信号処理部は、前記信号処理として、前記撮像画像から、所定の認識対象を認識する認識処理を行う
    　請求項１に記載の撮像装置。
  9. 　外部のセンサから外部センサ出力を受け取る入力I/Fをさらに備え、
    　前記信号処理部は、前記撮像画像及び前記外部センサ出力を用いた信号処理を行う
    　請求項１に記載の撮像装置。
  10. 　前記外部センサ出力は、距離に関する情報をセンシングする距離センサの出力、又は、光をセンシングし、前記光に対応する画像を出力するイメージセンサの出力である
    　請求項９に記載の撮像装置。
  11. 　前記信号処理部は、前記信号処理として、前記撮像画像と前記距離センサの出力とを用いて距離を求めるフュージョン処理、又は、前記イメージセンサの出力としての画像と前記撮像画像とを用いた自己位置推定処理を行う
    　請求項１０に記載の撮像装置。
  12. 　光を集光する光学系と、
    　光を受光し、前記光の受光量に対応する画像を出力する１チップの撮像装置と
    　を備え、
    　前記撮像装置は、
    　複数の画素が２次元に並んだ、画像を撮像する撮像部と、
    　前記撮像部が出力する撮像画像を用いた信号処理を行う信号処理部と、
    　前記信号処理の信号処理結果、及び、前記撮像画像を外部に出力する出力I/Fと、
    　前記信号処理の信号処理結果、及び、前記撮像画像を、前記出力I/Fから外部に選択的に出力させる出力制御を行う出力制御部と
    　を有する
    　電子機器。
PCT/JP2017/031539 2016-09-16 2017-09-01 撮像装置、及び、電子機器 WO2018051809A1 (ja)

Priority Applications (16)

Application Number Priority Date Filing Date Title
US16/330,468 US10795024B2 (en) 2016-09-16 2017-09-01 Imaging device and electronic device
EP17850712.5A EP3515057B1 (en) 2016-09-16 2017-09-01 Image pickup device and electronic apparatus
KR1020237013656A KR102647268B1 (ko) 2016-09-16 2017-09-01 촬상 장치 및 전자 기기
KR1020197006833A KR102374013B1 (ko) 2016-09-16 2017-09-01 촬상 장치 및 전자 기기
EP22172135.0A EP4064680A1 (en) 2016-09-16 2017-09-01 Imaging device and electronic device
KR1020227014481A KR20220058975A (ko) 2016-09-16 2017-09-01 촬상 장치 및 전자 기기
CN201780055363.7A CN109691079B (zh) 2016-09-16 2017-09-01 成像装置和电子设备
KR1020227015678A KR102526559B1 (ko) 2016-09-16 2017-09-01 촬상 장치 및 전자 기기
CN202110539020.6A CN113271400B (zh) 2016-09-16 2017-09-01 成像装置和电子设备
KR1020227002597A KR102490799B1 (ko) 2016-09-16 2017-09-01 촬상 장치 및 전자 기기
JP2018539628A JP6633216B2 (ja) 2016-09-16 2017-09-01 撮像装置、及び、電子機器
EP22172106.1A EP4064679A1 (en) 2016-09-16 2017-09-01 Imaging device and electronic device
US16/986,049 US12130362B2 (en) 2016-09-16 2020-08-05 Imaging device and electronic device
US17/702,172 US20220214458A1 (en) 2016-09-16 2022-03-23 Imaging device and electronic device
US17/718,504 US20220244387A1 (en) 2016-09-16 2022-04-12 Imaging device and electronic device
US17/722,117 US12061264B2 (en) 2016-09-16 2022-04-15 Imaging device and electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016181194 2016-09-16
JP2016-181194 2016-09-16

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/330,468 A-371-Of-International US10795024B2 (en) 2016-09-16 2017-09-01 Imaging device and electronic device
US16/986,049 Continuation US12130362B2 (en) 2016-09-16 2020-08-05 Imaging device and electronic device

Publications (1)

Publication Number Publication Date
WO2018051809A1 true WO2018051809A1 (ja) 2018-03-22

Family

ID=61619417

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/031539 WO2018051809A1 (ja) 2016-09-16 2017-09-01 撮像装置、及び、電子機器

Country Status (6)

Country Link
US (4) US10795024B2 (ja)
EP (3) EP4064679A1 (ja)
JP (4) JP6633216B2 (ja)
KR (5) KR20220058975A (ja)
CN (2) CN109691079B (ja)
WO (1) WO2018051809A1 (ja)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020027161A1 (ja) 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び電子機器
WO2020027074A1 (ja) * 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
WO2020027229A1 (ja) * 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
WO2020027233A1 (ja) 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び車両制御システム
WO2020027230A1 (ja) 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び車載撮像装置
JP2020025261A (ja) * 2018-07-31 2020-02-13 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
JP2020025268A (ja) * 2018-07-31 2020-02-13 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
JP2020038410A (ja) * 2018-08-31 2020-03-12 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2020043615A (ja) * 2018-08-31 2020-03-19 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2020047191A (ja) * 2018-09-21 2020-03-26 ソニーセミコンダクタソリューションズ株式会社 固体撮像システム、固体撮像装置、情報処理装置、画像処理方法及びプログラム
WO2020090509A1 (ja) 2018-10-31 2020-05-07 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び電子機器
WO2020145142A1 (ja) * 2019-01-08 2020-07-16 ソニー株式会社 固体撮像素子およびその信号処理方法、並びに電子機器
JP2020120406A (ja) * 2018-08-31 2020-08-06 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、情報処理システム、固体撮像方法及びプログラム
WO2020170890A1 (ja) 2019-02-19 2020-08-27 ソニーセミコンダクタソリューションズ株式会社 撮像装置、電子機器、および撮像方法
WO2020170729A1 (ja) * 2019-02-20 2020-08-27 富士フイルム株式会社 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP2021013175A (ja) * 2018-07-31 2021-02-04 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び車両制御システム
CN112470461A (zh) * 2018-07-31 2021-03-09 索尼半导体解决方案公司 层叠型受光传感器以及车载摄像装置
WO2021070894A1 (ja) * 2019-10-11 2021-04-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置、電子機器及び撮像方法
WO2021075352A1 (ja) * 2019-10-18 2021-04-22 ソニー株式会社 撮像装置及び電子機器
WO2021075292A1 (ja) * 2019-10-18 2021-04-22 ソニーセミコンダクタソリューションズ株式会社 受光装置、電子機器及び受光方法
WO2021084814A1 (ja) 2019-10-31 2021-05-06 ソニー株式会社 微小粒子回収方法、微小粒子分取用マイクロチップ、微小粒子回収装置、エマルションの製造方法、及びエマルション
WO2021152877A1 (ja) 2020-01-30 2021-08-05 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、電子機器及び撮像システム
WO2021161893A1 (ja) 2020-02-14 2021-08-19 ソニーグループ株式会社 分析方法、分析システム、及び分析用表面
JP2021140032A (ja) * 2020-03-05 2021-09-16 ソニーグループ株式会社 信号取得装置、信号取得システム、及び信号取得方法
WO2021187350A1 (ja) * 2020-03-19 2021-09-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置
JP2021176242A (ja) * 2020-04-23 2021-11-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、固体撮像装置の動作方法及びプログラム
WO2022009642A1 (ja) 2020-07-06 2022-01-13 ソニーグループ株式会社 生体粒子分析方法及び生体粒子分析システム
WO2022014643A1 (en) 2020-07-14 2022-01-20 Sony Group Corporation Fine-particle sorting apparatus, fine-particle sorting method, program, and fine particle-sorting system
WO2023157651A1 (ja) * 2022-02-17 2023-08-24 ソニーセミコンダクタソリューションズ株式会社 撮像装置および信号処理方法
WO2023182049A1 (ja) 2022-03-23 2023-09-28 ソニーセミコンダクタソリューションズ株式会社 イメージセンサ、データ構造
WO2023218936A1 (ja) * 2022-05-10 2023-11-16 ソニーセミコンダクタソリューションズ株式会社 イメージセンサ、情報処理方法、プログラム
WO2024014278A1 (ja) * 2022-07-11 2024-01-18 ソニーセミコンダクタソリューションズ株式会社 撮像装置およびデータ出力方法
US12108183B2 (en) 2020-03-19 2024-10-01 Sony Semiconductor Solutions Corporation Solid-state imaging apparatus

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109691079B (zh) 2016-09-16 2021-05-14 索尼半导体解决方案公司 成像装置和电子设备
JP6996025B2 (ja) * 2019-02-20 2022-02-04 富士フイルム株式会社 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
US20230121905A1 (en) * 2020-03-26 2023-04-20 Sony Semiconductor Solutions Corporation Information processing apparatus, information processing method, and program
US11706546B2 (en) * 2021-06-01 2023-07-18 Sony Semiconductor Solutions Corporation Image sensor with integrated single object class detection deep neural network (DNN)
US11989888B2 (en) * 2021-08-04 2024-05-21 Sony Semiconductor Solutions Corporation Image sensor with integrated efficient multiresolution hierarchical deep neural network (DNN)
US11763417B2 (en) * 2021-11-19 2023-09-19 Renesas Electronics Corporation Semiconductor device and image processing system for processing regions of interest images

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003283930A (ja) * 2002-03-27 2003-10-03 Sony Corp 露光制御方法、露光制御回路、撮像装置、プログラム、記憶媒体
JP2006067291A (ja) * 2004-08-27 2006-03-09 Canon Inc 撮像装置
JP2007174160A (ja) * 2005-12-21 2007-07-05 Konica Minolta Photo Imaging Inc 撮像装置
JP2008048313A (ja) 2006-08-21 2008-02-28 Sony Corp 物理量検出装置、物理量検出装置の駆動方法及び撮像装置
JP2008070120A (ja) * 2006-09-12 2008-03-27 Hitachi Ltd 距離計測装置
JP2009081808A (ja) * 2007-09-27 2009-04-16 Fujifilm Corp 撮影制御装置、撮影制御方法、撮影制御プログラム、および撮影装置
JP2011023898A (ja) * 2009-07-14 2011-02-03 Panasonic Corp 表示装置、表示方法および集積回路
JP2014082365A (ja) * 2012-10-17 2014-05-08 Canon Inc 半導体装置

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10336519A (ja) * 1997-06-02 1998-12-18 Sony Corp 撮像素子及び撮像装置
JP2000241131A (ja) * 1998-12-22 2000-09-08 Matsushita Electric Ind Co Ltd レンジファインダ装置および撮像装置
JP2001036793A (ja) * 1999-07-21 2001-02-09 Sharp Corp ビデオカメラ
JP5108172B2 (ja) 2000-09-06 2012-12-26 株式会社ニコン 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体
US6617565B2 (en) * 2001-11-06 2003-09-09 Omnivision Technologies, Inc. CMOS image sensor with on-chip pattern recognition
JP2004048455A (ja) 2002-07-12 2004-02-12 Niles Co Ltd 撮像システム
JP2004146816A (ja) * 2002-09-30 2004-05-20 Matsushita Electric Ind Co Ltd 固体撮像装置およびこれを用いた機器
JP4574249B2 (ja) * 2004-06-29 2010-11-04 キヤノン株式会社 画像処理装置及びその方法、プログラム、撮像装置
JP4244218B2 (ja) * 2004-07-09 2009-03-25 パナソニック株式会社 撮像信号処理回路およびカメラシステム
JP4277216B2 (ja) * 2005-01-13 2009-06-10 ソニー株式会社 撮像装置及び撮像結果の処理方法
WO2007032006A2 (en) * 2005-09-13 2007-03-22 Ben Gurion University Of The Negev Research And Development Authority A configurable asic-based sensing circuit
JP2007082059A (ja) * 2005-09-16 2007-03-29 Fujifilm Corp 電子カメラ
JP4827611B2 (ja) * 2006-05-23 2011-11-30 ローム株式会社 シリアルインタフェイス装置、画像形成装置
JP2008124742A (ja) * 2006-11-10 2008-05-29 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP4301308B2 (ja) * 2007-03-02 2009-07-22 ソニー株式会社 撮像装置および画像処理方法
US7676146B2 (en) 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
JP2009081818A (ja) * 2007-09-27 2009-04-16 Mitsubishi Electric Corp 無線通信基地局装置
US9451142B2 (en) 2007-11-30 2016-09-20 Cognex Corporation Vision sensors, systems, and methods
JP2009145598A (ja) 2007-12-13 2009-07-02 Sharp Corp 固体撮像装置およびそれを備えた電子機器
JP5082973B2 (ja) * 2008-03-26 2012-11-28 株式会社日立製作所 映像記録システム、及び撮像装置
JP2009246803A (ja) * 2008-03-31 2009-10-22 Aisin Seiki Co Ltd 画像認識装置及びコンピュータプログラム
JP5266864B2 (ja) * 2008-05-13 2013-08-21 ソニー株式会社 イメージセンサ、データ出力方法、撮像デバイス、及び、カメラ
JP2010283787A (ja) * 2009-06-08 2010-12-16 Panasonic Corp 撮像装置
JP5625298B2 (ja) * 2009-09-28 2014-11-19 ソニー株式会社 撮像装置
JP5700963B2 (ja) * 2010-06-29 2015-04-15 キヤノン株式会社 情報処理装置およびその制御方法
JP5631108B2 (ja) * 2010-08-19 2014-11-26 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
KR101706093B1 (ko) 2010-11-30 2017-02-14 삼성전자주식회사 3차원 좌표 추출 시스템 및 그 방법
US9568985B2 (en) * 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
JP2014143667A (ja) * 2012-12-28 2014-08-07 Canon Inc 撮像素子、撮像装置、その制御方法、および制御プログラム
JP6091216B2 (ja) * 2013-01-08 2017-03-08 キヤノン株式会社 画像信号処理装置およびその制御方法、並びに撮像装置
US9465484B1 (en) * 2013-03-11 2016-10-11 Amazon Technologies, Inc. Forward and backward looking vision system
JP5900393B2 (ja) 2013-03-21 2016-04-06 ソニー株式会社 情報処理装置、操作制御方法及びプログラム
JP6141084B2 (ja) * 2013-04-19 2017-06-07 キヤノン株式会社 撮像装置
US9443167B2 (en) * 2013-08-02 2016-09-13 Emotient, Inc. Filter and shutter based on image emotion content
EP3035667B1 (en) * 2013-08-12 2024-06-19 Nikon Corporation Electronic device
JP2015056700A (ja) * 2013-09-10 2015-03-23 株式会社東芝 撮像素子、撮像装置および半導体装置
JP2015091005A (ja) * 2013-11-05 2015-05-11 オリンパス株式会社 撮像装置
JP2015185927A (ja) 2014-03-20 2015-10-22 ソニー株式会社 撮像素子、制御方法、並びに、撮像装置
WO2015182751A1 (ja) * 2014-05-30 2015-12-03 株式会社日立国際電気 監視システムおよびカメラ装置
JP2016010125A (ja) * 2014-06-26 2016-01-18 ソニー株式会社 信号処理装置、制御方法、撮像素子、並びに、電子機器
US10609862B2 (en) * 2014-09-23 2020-04-07 Positec Technology (China) Co., Ltd. Self-moving robot
US9940533B2 (en) * 2014-09-30 2018-04-10 Qualcomm Incorporated Scanning window for isolating pixel values in hardware for computer vision operations
JP6316976B2 (ja) 2014-09-30 2018-04-25 日立オートモティブシステムズ株式会社 車載画像認識装置
EP3213288B8 (en) * 2014-10-30 2019-11-06 Verizon Patent and Licensing Inc. Parking and traffic analysis
JP6440303B2 (ja) * 2014-12-02 2018-12-19 エヌ・ティ・ティ・コムウェア株式会社 対象認識装置、対象認識方法、およびプログラム
US20160282626A1 (en) * 2015-03-27 2016-09-29 Osterhout Group, Inc. See-through computer display systems
CN107710731B (zh) 2015-06-26 2021-05-04 麦克赛尔株式会社 摄像装置以及图像处理方法
JP2017017624A (ja) 2015-07-03 2017-01-19 ソニー株式会社 撮像素子、画像処理方法、および電子機器
US20170041540A1 (en) 2015-08-04 2017-02-09 Ronald B Foster Energy-efficient secure vision processing applying object detection algorithms
KR102460838B1 (ko) * 2015-08-28 2022-10-28 삼성전자주식회사 얼굴 검출을 이용한 카메라의 자동 초점 조절 방법 및 카메라 제어 장치
JP6743882B2 (ja) 2016-03-14 2020-08-19 株式会社リコー 画像処理装置、機器制御システム、撮像装置、画像処理方法及びプログラム
KR102462644B1 (ko) * 2016-04-01 2022-11-03 삼성전자주식회사 전자 장치 및 그의 동작 방법
US11631005B2 (en) * 2016-05-31 2023-04-18 Nokia Technologies Oy Method and apparatus for detecting small objects with an enhanced deep neural network
CN109691079B (zh) 2016-09-16 2021-05-14 索尼半导体解决方案公司 成像装置和电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003283930A (ja) * 2002-03-27 2003-10-03 Sony Corp 露光制御方法、露光制御回路、撮像装置、プログラム、記憶媒体
JP2006067291A (ja) * 2004-08-27 2006-03-09 Canon Inc 撮像装置
JP2007174160A (ja) * 2005-12-21 2007-07-05 Konica Minolta Photo Imaging Inc 撮像装置
JP2008048313A (ja) 2006-08-21 2008-02-28 Sony Corp 物理量検出装置、物理量検出装置の駆動方法及び撮像装置
JP2008070120A (ja) * 2006-09-12 2008-03-27 Hitachi Ltd 距離計測装置
JP2009081808A (ja) * 2007-09-27 2009-04-16 Fujifilm Corp 撮影制御装置、撮影制御方法、撮影制御プログラム、および撮影装置
JP2011023898A (ja) * 2009-07-14 2011-02-03 Panasonic Corp 表示装置、表示方法および集積回路
JP2014082365A (ja) * 2012-10-17 2014-05-08 Canon Inc 半導体装置

Cited By (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112544073B (zh) * 2018-07-31 2024-08-27 索尼半导体解决方案公司 摄像装置以及车辆控制系统
JP2020025268A (ja) * 2018-07-31 2020-02-13 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
WO2020027229A1 (ja) * 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
WO2020027233A1 (ja) 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び車両制御システム
CN112470461B (zh) * 2018-07-31 2024-09-06 索尼半导体解决方案公司 层叠型受光传感器以及车载摄像装置
JP2020025261A (ja) * 2018-07-31 2020-02-13 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
JP2020025265A (ja) * 2018-07-31 2020-02-13 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び撮像装置
JP2020182219A (ja) * 2018-07-31 2020-11-05 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、電子機器及び制御方法
JP7414869B2 (ja) 2018-07-31 2024-01-16 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、電子機器及び固体撮像装置の制御方法
JP2021013175A (ja) * 2018-07-31 2021-02-04 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び車両制御システム
US11665442B2 (en) 2018-07-31 2023-05-30 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic device
US11643014B2 (en) 2018-07-31 2023-05-09 Sony Semiconductor Solutions Corporation Image capturing device and vehicle control system
US11735614B2 (en) 2018-07-31 2023-08-22 Sony Semiconductor Solutions Corporation Stacked light-receiving sensor and electronic device
JP7090666B2 (ja) 2018-07-31 2022-06-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、電子機器及び制御方法
EP3833006A4 (en) * 2018-07-31 2021-09-01 Sony Semiconductor Solutions Corporation STRATIFIED LIGHT-RECEIVING SENSOR AND IN-VEHICLE IMAGING DEVICE
US11350046B2 (en) 2018-07-31 2022-05-31 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic device
WO2020027230A1 (ja) 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び車載撮像装置
WO2020027074A1 (ja) * 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
US20210266488A1 (en) * 2018-07-31 2021-08-26 Sony Semiconductor Solutions Corporation Stacked light-receiving sensor and electronic device
CN112470461A (zh) * 2018-07-31 2021-03-09 索尼半导体解决方案公司 层叠型受光传感器以及车载摄像装置
KR20210029202A (ko) 2018-07-31 2021-03-15 소니 세미컨덕터 솔루션즈 가부시키가이샤 적층형 수광 센서 및 차량 탑재 촬상 장치
KR20210030359A (ko) 2018-07-31 2021-03-17 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치 및 차량 제어 시스템
CN112544073A (zh) * 2018-07-31 2021-03-23 索尼半导体解决方案公司 摄像装置以及车辆控制系统
JP2022081504A (ja) * 2018-07-31 2022-05-31 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、電子機器及び固体撮像装置の制御方法
JP7423491B2 (ja) 2018-07-31 2024-01-29 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び車両制御システム
US12069386B2 (en) 2018-07-31 2024-08-20 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic device
EP3833007A4 (en) * 2018-07-31 2021-08-25 Sony Semiconductor Solutions Corporation LAYERED LIGHT RECEIVING SENSOR AND ELECTRONIC DEVICE
US11820289B2 (en) 2018-07-31 2023-11-21 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic device
WO2020027161A1 (ja) 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び電子機器
US11983931B2 (en) 2018-07-31 2024-05-14 Sony Semiconductor Solutions Corporation Image capturing device and vehicle control system
JP7380180B2 (ja) 2018-08-31 2023-11-15 ソニーグループ株式会社 固体撮像素子、撮像装置、撮像方法および撮像プログラム
JP2020043615A (ja) * 2018-08-31 2020-03-19 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
JP2020120406A (ja) * 2018-08-31 2020-08-06 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、情報処理システム、固体撮像方法及びプログラム
JP2020038410A (ja) * 2018-08-31 2020-03-12 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、情報処理装置、情報処理システム、情報処理方法及びプログラム
WO2020059464A1 (ja) * 2018-09-21 2020-03-26 ソニーセミコンダクタソリューションズ株式会社 固体撮像システム、固体撮像装置、情報処理装置、画像処理方法、情報処理方法及びプログラム
US12079712B2 (en) 2018-09-21 2024-09-03 Sony Semiconductor Solutions Corporation Solid state image capturing system, solid state image capturing device, information processing device, image processing method, information processing method
JP2020047191A (ja) * 2018-09-21 2020-03-26 ソニーセミコンダクタソリューションズ株式会社 固体撮像システム、固体撮像装置、情報処理装置、画像処理方法及びプログラム
US20210385403A1 (en) * 2018-10-31 2021-12-09 Sony Semiconductor Solutions Corporation Stacked light receiving sensor and electronic apparatus
EP3876521A4 (en) * 2018-10-31 2021-12-29 Sony Semiconductor Solutions Corporation Stacked light receiving sensor and electronic device
CN112889267A (zh) * 2018-10-31 2021-06-01 索尼半导体解决方案公司 堆叠式光接收传感器和电子装置
CN112889267B (zh) * 2018-10-31 2024-08-06 索尼半导体解决方案公司 堆叠式光接收传感器和电子装置
US11792551B2 (en) 2018-10-31 2023-10-17 Sony Semiconductor Solutions Corporation Stacked light receiving sensor and electronic apparatus
WO2020090509A1 (ja) 2018-10-31 2020-05-07 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び電子機器
US12010418B2 (en) 2019-01-08 2024-06-11 Sony Group Corporation Solid-state imaging element, signal processing method thereof, and electronic device
WO2020145142A1 (ja) * 2019-01-08 2020-07-16 ソニー株式会社 固体撮像素子およびその信号処理方法、並びに電子機器
US11889170B2 (en) 2019-02-19 2024-01-30 Sony Semiconductor Solutions Corporation Imaging device, electronic equipment, and imaging method that change processing based on detected temperature
WO2020170890A1 (ja) 2019-02-19 2020-08-27 ソニーセミコンダクタソリューションズ株式会社 撮像装置、電子機器、および撮像方法
JPWO2020170729A1 (ja) * 2019-02-20 2021-12-02 富士フイルム株式会社 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
WO2020170729A1 (ja) * 2019-02-20 2020-08-27 富士フイルム株式会社 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP7022866B2 (ja) 2019-02-20 2022-02-18 富士フイルム株式会社 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
US11812177B2 (en) 2019-02-20 2023-11-07 Fujifilm Corporation Imaging element, imaging apparatus, operation method of imaging element, and program
JP7477543B2 (ja) 2019-02-20 2024-05-01 富士フイルム株式会社 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
US20220385809A1 (en) * 2019-10-11 2022-12-01 Sony Semiconductor Solutions Corporation Imaging device, electronic apparatus, and imaging method
WO2021070894A1 (ja) * 2019-10-11 2021-04-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置、電子機器及び撮像方法
US11962916B2 (en) 2019-10-11 2024-04-16 Sony Semiconductor Solutions Corporation Imaging device with two signal processing circuitry partly having a same type of signal processing, electronic apparatus including imaging device, and imaging method
WO2021075352A1 (ja) * 2019-10-18 2021-04-22 ソニー株式会社 撮像装置及び電子機器
WO2021075292A1 (ja) * 2019-10-18 2021-04-22 ソニーセミコンダクタソリューションズ株式会社 受光装置、電子機器及び受光方法
WO2021084814A1 (ja) 2019-10-31 2021-05-06 ソニー株式会社 微小粒子回収方法、微小粒子分取用マイクロチップ、微小粒子回収装置、エマルションの製造方法、及びエマルション
WO2021152877A1 (ja) 2020-01-30 2021-08-05 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、電子機器及び撮像システム
WO2021161893A1 (ja) 2020-02-14 2021-08-19 ソニーグループ株式会社 分析方法、分析システム、及び分析用表面
JP2021140032A (ja) * 2020-03-05 2021-09-16 ソニーグループ株式会社 信号取得装置、信号取得システム、及び信号取得方法
JP7494490B2 (ja) 2020-03-05 2024-06-04 ソニーグループ株式会社 信号取得装置、信号取得システム、及び信号取得方法
WO2021187350A1 (ja) * 2020-03-19 2021-09-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置
US12101571B2 (en) 2020-03-19 2024-09-24 Sony Semiconductor Solutions Corporation Solid-state imaging apparatus for performing noise reduction processing on image data
US12108183B2 (en) 2020-03-19 2024-10-01 Sony Semiconductor Solutions Corporation Solid-state imaging apparatus
JP2021176242A (ja) * 2020-04-23 2021-11-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、固体撮像装置の動作方法及びプログラム
JP7105976B2 (ja) 2020-04-23 2022-07-25 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、固体撮像装置の動作方法及びプログラム
WO2022009642A1 (ja) 2020-07-06 2022-01-13 ソニーグループ株式会社 生体粒子分析方法及び生体粒子分析システム
WO2022014643A1 (en) 2020-07-14 2022-01-20 Sony Group Corporation Fine-particle sorting apparatus, fine-particle sorting method, program, and fine particle-sorting system
WO2023157651A1 (ja) * 2022-02-17 2023-08-24 ソニーセミコンダクタソリューションズ株式会社 撮像装置および信号処理方法
WO2023182049A1 (ja) 2022-03-23 2023-09-28 ソニーセミコンダクタソリューションズ株式会社 イメージセンサ、データ構造
WO2023218936A1 (ja) * 2022-05-10 2023-11-16 ソニーセミコンダクタソリューションズ株式会社 イメージセンサ、情報処理方法、プログラム
WO2024014278A1 (ja) * 2022-07-11 2024-01-18 ソニーセミコンダクタソリューションズ株式会社 撮像装置およびデータ出力方法

Also Published As

Publication number Publication date
JP6633216B2 (ja) 2020-01-22
US20220244388A1 (en) 2022-08-04
CN109691079A (zh) 2019-04-26
KR102647268B1 (ko) 2024-03-12
JP7342197B2 (ja) 2023-09-11
US20220244387A1 (en) 2022-08-04
KR102490799B1 (ko) 2023-01-20
US10795024B2 (en) 2020-10-06
KR20220018071A (ko) 2022-02-14
EP4064679A1 (en) 2022-09-28
JP2020061755A (ja) 2020-04-16
US20200363534A1 (en) 2020-11-19
KR20220058975A (ko) 2022-05-10
CN113271400A (zh) 2021-08-17
KR102526559B1 (ko) 2023-04-27
EP3515057A4 (en) 2019-10-02
EP3515057B1 (en) 2024-02-21
CN109691079B (zh) 2021-05-14
KR20220066986A (ko) 2022-05-24
EP3515057A1 (en) 2019-07-24
US20220214458A1 (en) 2022-07-07
EP4064680A1 (en) 2022-09-28
US20190204448A1 (en) 2019-07-04
KR20190051968A (ko) 2019-05-15
JP7105754B2 (ja) 2022-07-25
JP6937443B2 (ja) 2021-09-22
KR102374013B1 (ko) 2022-03-11
US12061264B2 (en) 2024-08-13
JP2022111151A (ja) 2022-07-29
JPWO2018051809A1 (ja) 2019-07-04
CN113271400B (zh) 2023-12-19
JP2021093759A (ja) 2021-06-17
KR20230058190A (ko) 2023-05-02

Similar Documents

Publication Publication Date Title
JP7342197B2 (ja) 撮像装置及び撮像装置の制御方法
WO2020116185A1 (ja) 固体撮像装置、信号処理チップ、および、電子機器
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
JP7566761B2 (ja) 撮像装置
KR102493027B1 (ko) 촬상 소자 및 그 구동 방법, 그리고 전자 기기
JP7144926B2 (ja) 撮像制御装置、撮像装置、および、撮像制御装置の制御方法
WO2018139187A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
US12130362B2 (en) Imaging device and electronic device
WO2019208204A1 (ja) 撮像装置
US20200014899A1 (en) Imaging device, imaging system, and method of controlling imaging device
WO2017199487A1 (ja) 制御装置、制御方法、およびプログラム
US20240078803A1 (en) Information processing apparatus, information processing method, computer program, and sensor apparatus
US11818470B2 (en) Image generation device, image generation method, and vehicle control system
WO2022019025A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
JP2022163882A (ja) 信号処理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17850712

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018539628

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20197006833

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017850712

Country of ref document: EP

Effective date: 20190416