WO2022181215A1 - 固体撮像装置及び撮像システム - Google Patents

固体撮像装置及び撮像システム Download PDF

Info

Publication number
WO2022181215A1
WO2022181215A1 PCT/JP2022/003516 JP2022003516W WO2022181215A1 WO 2022181215 A1 WO2022181215 A1 WO 2022181215A1 JP 2022003516 W JP2022003516 W JP 2022003516W WO 2022181215 A1 WO2022181215 A1 WO 2022181215A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
solid
imaging device
state imaging
signal
Prior art date
Application number
PCT/JP2022/003516
Other languages
English (en)
French (fr)
Inventor
雅博 瀬上
秀晃 富樫
恭範 佃
大輔 中川
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN202280015696.8A priority Critical patent/CN117063483A/zh
Publication of WO2022181215A1 publication Critical patent/WO2022181215A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Definitions

  • the present disclosure relates to solid-state imaging devices and imaging systems.
  • An image sensor reads out pixels by, for example, a high-speed readout circuit capable of high-speed pixel readout with low accuracy, and determines the ROI. Next, the image sensor reads out the pixels belonging to the determined ROI with a precision readout circuit capable of slow but highly accurate readout.
  • the present disclosure proposes a solid-state imaging device and an imaging system capable of further shortening the time until imaging.
  • a solid-state imaging device includes a pixel section, a first acquisition section, and a second acquisition section.
  • the pixel section has a plurality of sets of first pixels and second pixels.
  • a first pixel and a second set of pixels are arranged in a pixel region.
  • the first pixel receives light other than visible light.
  • a second pixel receives visible light.
  • the first acquisition unit acquires a first signal from the first pixel.
  • a second acquisition unit acquires a second signal from the second pixel when an object within a predetermined distance range is detected based on the first signal.
  • FIG. 1 is a diagram illustrating a configuration example of an imaging system according to an embodiment of the present disclosure
  • FIG. FIG. 3 is a diagram for explaining an example of imaging processing by a solid-state imaging device according to an embodiment of the present disclosure
  • FIG. 3 is a diagram for explaining an example of imaging processing by a solid-state imaging device according to an embodiment of the present disclosure
  • FIG. 3 is a diagram for explaining an example of imaging processing by a solid-state imaging device according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram for explaining image data that can be acquired by imaging processing according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram for explaining image data that can be acquired by imaging processing according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram for explaining image data that can be acquired by imaging processing according to an embodiment of the present disclosure
  • FIG. 3 is a diagram for explaining an example of imaging processing by a solid-state imaging device according to an embodiment of the present disclosure
  • FIG. FIG. 3 is a diagram for explaining an example of imaging processing by a solid-state imaging device according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram for explaining image data that can be acquired by imaging processing according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram for explaining image data that can be acquired by imaging processing according to an embodiment of the present disclosure
  • FIG. 1 is a block diagram showing an example of a schematic configuration of a solid-state imaging device according to an embodiment of the present disclosure
  • FIG. 3 is a block diagram showing another example of the schematic configuration of the solid-state imaging device according to the embodiment of the present disclosure
  • FIG. 3 is a block diagram showing another example of the schematic configuration of the solid-state imaging device according to the embodiment of the present disclosure
  • FIG. 1 is a schematic diagram showing a schematic configuration example of a pixel array section according to an embodiment of the present disclosure
  • FIG. 1 is a cross-sectional view showing a cross-sectional structure example of a solid-state imaging device according to an embodiment of the present disclosure
  • FIG. 2 is a circuit diagram showing a schematic configuration example of a unit pixel according to the embodiment
  • FIG. 4 is a circuit diagram showing another example of a schematic configuration of a unit pixel according to the embodiment of the present disclosure
  • FIG. 4 is a circuit diagram showing another example of a schematic configuration of a unit pixel according to the embodiment of the present disclosure
  • FIG. 4 is a schematic diagram showing another example of the schematic configuration of the pixel array section according to the embodiment of the present disclosure
  • FIG. 4 is a cross-sectional view showing another example of the cross-sectional structure of the solid-state imaging device according to the embodiment of the present disclosure
  • 4 is a circuit diagram showing another example of a schematic configuration of a unit pixel according to the embodiment of the present disclosure
  • FIG. FIG. 4 is a schematic diagram showing another example of the schematic configuration of the pixel array section according to the embodiment of the present disclosure
  • FIG. 4 is a schematic diagram showing another example of the schematic configuration of the pixel array section according to the embodiment of the present disclosure
  • FIG. 4 is a schematic diagram showing another example of the cross-sectional structure of the solid-state imaging device according to the embodiment of the present disclosure
  • FIG. 4 is a schematic diagram showing another example of the cross-sectional structure of the solid-state imaging device according to the embodiment of the present disclosure
  • FIG. 4 is a schematic diagram showing another example of the cross-sectional structure of the solid
  • FIG. 4 is a schematic diagram showing another example of the cross-sectional structure of the solid-state imaging device according to the embodiment of the present disclosure
  • FIG. 4 is a schematic diagram showing another example of the cross-sectional structure of the solid-state imaging device according to the embodiment of the present disclosure
  • FIG. 4 is a schematic diagram showing another example of the cross-sectional structure of the solid-state imaging device according to the embodiment of the present disclosure
  • FIG. 4 is a schematic diagram showing another example of the cross-sectional structure of the solid-state imaging device according to the embodiment of the present disclosure
  • FIG. 4 is a schematic diagram showing another example of the cross-sectional structure of the solid-state imaging device according to the embodiment of the present disclosure
  • FIG. 4 is a schematic diagram showing another example of the cross-sectional structure of the solid-state imaging device according to the embodiment of the present disclosure
  • FIG. 4 is a schematic diagram showing another example of the cross-sectional structure of the solid-state imaging device according to the embodiment of the present disclosure
  • FIG. 4 is a schematic diagram showing
  • FIG. 4 is a schematic diagram showing another example of the cross-sectional structure of the solid-state imaging device according to the embodiment of the present disclosure
  • FIG. 4 is a schematic diagram showing another example of the cross-sectional structure of the solid-state imaging device according to the embodiment of the present disclosure
  • FIG. 4 is a schematic diagram showing another example of the cross-sectional structure of the solid-state imaging device according to the embodiment of the present disclosure
  • 4 is a time chart showing an example of an IR pixel readout operation according to an embodiment of the present disclosure
  • 4 is a time chart showing an example of readout operation of RGB pixels according to the embodiment of the present disclosure
  • 4 is a time chart showing an example of readout operation of a unit pixel according to the embodiment of the present disclosure
  • FIG. 5 is a diagram for explaining an object detection operation according to the embodiment of the present disclosure
  • FIG. FIG. 5 is a diagram for explaining an object detection operation according to the embodiment of the present disclosure
  • FIG. 4 is a flow chart showing an example of the flow of imaging processing by the solid-state imaging device according to the embodiment of the present disclosure
  • 4 is a flowchart showing an example of the flow of first imaging processing according to an embodiment of the present disclosure
  • FIG. 4 is a diagram for explaining an imaging range according to the embodiment of the present disclosure
  • FIG. 6 is a flowchart showing an example of the flow of imaging range calculation processing according to the embodiment of the present disclosure
  • FIG. 3 is a diagram showing an example format of image data output by the solid-state imaging device according to the embodiment of the present disclosure
  • FIG. 3 is a diagram showing an example format of image data output by the solid-state imaging device according to the embodiment of the present disclosure
  • FIG. FIG. 5 is a diagram showing another example of the format of image data output by the solid-state imaging device according to the embodiment of the present disclosure
  • 7 is a flow chart showing another example of the flow of the first imaging process according to the embodiment of the present disclosure
  • FIG. 5 is a diagram showing an example of correction of an effective area by the solid-state imaging device according to the embodiment of the present disclosure
  • 7 is a flowchart showing another example of the flow of imaging processing according to the embodiment of the present disclosure
  • FIG. 4 is a diagram for explaining an example of correction of a captured image according to the embodiment of the present disclosure
  • FIG. 4 is a block diagram showing a configuration example of a second data processing unit according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a block diagram showing another example of the configuration of the solid-state imaging device according to the embodiment of the present disclosure
  • 7 is a flowchart showing the flow of second imaging condition determination processing according to the embodiment of the present disclosure.
  • FIG. 4 is a block diagram showing another example of the configuration of the solid-state imaging device according to the embodiment of the present disclosure
  • 1 is a block diagram showing an example of a schematic configuration of a vehicle control system
  • FIG. FIG. 4 is an explanatory diagram showing an example of installation positions of an outside information detection unit and an imaging unit;
  • FIG. 1 is a diagram showing a configuration example of an imaging system 1 according to an embodiment of the present disclosure.
  • the imaging system 1 includes an imaging lens 10 , a solid-state imaging device 100 , a light source 30 , a storage section 40 and a processor 20 .
  • the imaging system 1 is an electronic device having an imaging function, such as a camera.
  • the imaging lens 10 is an example of an optical system that collects incident light and forms the image on the light receiving surface of the solid-state imaging device 100 .
  • the light-receiving surface may be a surface on which photoelectric conversion elements in the solid-state imaging device 100 are arranged.
  • the solid-state imaging device 100 has at least two imaging means.
  • the solid-state imaging device 100 photoelectrically converts light other than visible light (for example, infrared light) among incident light using one of the imaging means, and detects an object existing within a predetermined distance range (Range of Interest).
  • Such imaging means is also described as a first imaging system.
  • the solid-state imaging device 100 uses the other imaging means to photoelectrically convert visible light among incident light to generate image data.
  • imaging means is also described as a second imaging system.
  • the solid-state imaging device 100 performs imaging processing, for example, detects whether or not an object exists within a predetermined distance range, and generates image data when the object is detected.
  • the light source 30 is a laser diode and is driven to emit laser light, for example.
  • the light source 30 can apply a VCSEL (Vertical Cavity Surface Emitting LASER) that emits laser light as a surface light source.
  • the light source 30 is not limited to VCSELs, and various light sources such as LEDs (Light Emitting Diodes) may be used.
  • the light source 30 may be any of a point light source, a surface light source, and a line light source. In the case of a surface light source or a linear light source, the light source 30 may have, for example, a configuration in which a plurality of point light sources (for example, VCSELs) are arranged one-dimensionally or two-dimensionally.
  • the light source 30 may emit light in a wavelength band (outside visible light) different from the wavelength band of visible light, such as infrared (IR) light.
  • IR infrared
  • the storage unit 40 is composed of, for example, flash memory, DRAM (Dynamic Random Access Memory), SRAM (Static Random Access Memory), etc., and records image data and the like input from the solid-state imaging device 100 .
  • the processor 20 is configured using, for example, a CPU (Central Processing Unit), and may include an application processor that executes an operating system and various application software, a GPU (Graphics Processing Unit), a baseband processor, and the like.
  • the processor 20 performs various processes as necessary on the image data input from the solid-state imaging device 100 and the image data read from the storage unit 40, performs display for the user, and performs processing on a predetermined network. or send it to the outside via
  • Imaging processing is performed by the solid-state imaging device 100, for example.
  • FIGS 2 to 4 are diagrams for explaining an example of imaging processing by the solid-state imaging device 100 according to the embodiment of the present disclosure.
  • the solid-state imaging device 100 detects an object ob existing within a predetermined distance range R0 through the imaging lens 10.
  • the distance range R0 is a range of distances from the light receiving surface of the solid-state imaging device 100 between R1 and R2.
  • the distance range R0 is determined according to an instruction from the user, for example.
  • the imaging lens 10 is set so as to focus on the distance range R0. It is assumed that the imaging lens 10 has its focal position set in advance by a so-called set focus with respect to a space without the object ob.
  • the solid-state imaging device 100 detects whether an object exists within the distance range R0. As shown in FIG. 3, first, the solid-state imaging device 100 detects the distance to an object using, for example, the first imaging system (distance measurement using IR) (step S1). For example, the solid-state imaging device 100 detects the distance to an object by functioning as a ToF (Time of Flight) sensor.
  • the first imaging system distance measurement using IR
  • the solid-state imaging device 100 detects the distance to an object by functioning as a ToF (Time of Flight) sensor.
  • the solid-state imaging device 100 determines whether or not the detected distance is within the distance range R0 (step S2). If the detected distance is not within the distance range R0 (step S2; No), the process returns to step S1, and the solid-state imaging device 100 detects the distance to the object.
  • the solid-state imaging device 100 performs imaging using the second imaging system (RGB imaging) to acquire image data (step S3).
  • the solid-state imaging device 100 acquires image data by functioning as an image sensor that captures an RGB image.
  • the solid-state imaging device 100 captures an image of the entire screen including the object ob as shown in FIG. 2, and acquires the image data M1 shown in FIG.
  • FIG 5 and 6 are diagrams for explaining image data that can be acquired by the imaging process according to the embodiment of the present disclosure.
  • the distance to the track included in the area R01 indicated by the dotted line in FIG. 5 is set to the distance range R0.
  • the solid-state imaging device 100 performs imaging and acquires image data M02 as shown in FIG.
  • the solid-state imaging device 100 can acquire the image data M02 when the object exists within the distance range R0.
  • the solid-state imaging device 100 determines whether or not an object exists within the distance range R0 by distance measurement using non-visible light (for example, infrared light). Such determination can be performed in a short period of time compared to determination by image processing of image data. Therefore, the solid-state imaging device 100 can shorten the time until imaging, that is, the time from detecting an object to acquiring image data.
  • the solid-state imaging device 100 performs imaging with the second imaging system in the maximum imaging range that the solid-state imaging device 100 can capture, but the present invention is not limited to this.
  • an extraction region for example, ROI
  • FIGS. 7 and 8. FIG.
  • FIG 7 and 8 are diagrams for explaining an example of imaging processing by the solid-state imaging device 100 according to the embodiment of the present disclosure.
  • the solid-state imaging device 100 detects the object ob using the first imaging system
  • the solid-state imaging device 100 extracts an area including the object ob on the screen as an ROI, and extracts it using the second imaging system. ROI imaging is performed.
  • the solid-state imaging device 100 can acquire the image data M2 of the ROI including the object ob, as shown in FIG.
  • FIG 9 and 10 are diagrams for explaining image data that can be acquired by the imaging process according to the embodiment of the present disclosure.
  • the solid-state imaging device 100 detects an object (a flock of birds in FIG. 9) within the distance range R0, it captures an image of an imaging region R11 including the object. Thereby, as shown in FIG. 10, the solid-state imaging device 100 acquires image data M12 as a captured image of an imaging region including a flock of birds.
  • the solid-state imaging device 100 can shorten the time until imaging, that is, the time from detecting an object to acquiring the image data M2 by performing imaging limited to the ROI. . Further, the solid-state imaging device 100 can reduce the data amount of the image data M2 and further reduce the data output band.
  • FIG. 11 is a block diagram showing an example of a schematic configuration of a solid-state imaging device 100 according to an embodiment of the present disclosure.
  • the solid-state imaging device 100 includes, for example, a pixel array section 101, a first row control circuit 102A, a second row control circuit 102B, a first readout circuit 103A, and a second and a readout circuit 103B.
  • the solid-state imaging device 100 also includes a pulse generator 104, a control circuit 105, a reference voltage generator 107, a first data processor 108A, and a second data processor 108B.
  • the pixel array section 101 has a configuration in which the unit pixels 110 are arranged in the row direction and the column direction, that is, in a two-dimensional grid pattern (also called a matrix pattern).
  • the row direction refers to the arrangement direction of pixels in a pixel row (horizontal direction in the drawing)
  • the column direction refers to the arrangement direction of pixels in a pixel column (vertical direction in the drawing).
  • Each unit pixel 110 includes a first pixel 110A and a second pixel 110B formed in a predetermined pixel area. Details of the specific circuit configuration and pixel structure of the unit pixel 110 will be described later, but the first pixel 110A and the second pixel 110B are photoelectric conversion elements that generate and store charges according to the amount of received light. A pixel signal having a voltage corresponding to the amount of incident light is generated. The first pixel 110A and the second pixel 110B are arranged close to each other, such as along the incident direction or adjacent to each other.
  • the first pixel 110A is an IR pixel that receives light other than visible light (eg, infrared light).
  • the second pixels 110B are RGB pixels that receive visible light (eg, red light, green light, and blue light).
  • the first pixel 110A may be simply referred to as IR pixel 110A
  • the second pixel 110B may simply be referred to as RGB pixel 110B.
  • pixel drive lines LD1 and LD2 are wired along the row direction for each pixel row, and vertical signal lines VSL1 and VSL2 are wired along the column direction for each pixel column. It is for example, the pixel drive line LD1 is connected to the first pixels 110A in each row, and the pixel drive line LD2 is connected to the second pixels 110B in each row.
  • the vertical signal line VSL1 is connected to the first pixels 110A of each column, and the vertical signal line VSL2 is connected to the second pixels 110B of each column.
  • the pixel drive lines LD1 and LD2 may be wired so as to be orthogonal to each other.
  • the vertical signal lines VSL1 and VSL2 may be wired so as to be orthogonal to each other.
  • the pixel drive lines LD1 may be wired in the row direction
  • the pixel drive lines LD2 may be wired in the column direction
  • the vertical signal lines VSL1 may be wired in the column direction
  • the vertical signal lines VSL2 may be wired in the row direction.
  • the pixel drive line LD1 transmits a control signal for driving when reading a pixel signal from the first pixel 110A.
  • the pixel drive line LD2 transmits a control signal for driving when reading a pixel signal from the second pixel 110B.
  • the pixel drive lines LD1 and LD2 are each shown as wiring, but they are not limited to one each.
  • One end of the pixel driving line LD1 is connected to the output terminal corresponding to each row of the first row control circuit 102A, and one end of the pixel driving line LD2 is connected to the output terminal corresponding to each row of the second row control circuit 102B. be done.
  • the first pixel 110A includes a photoelectric conversion unit that photoelectrically converts incident light to generate a charge, and a pixel signal having a voltage value corresponding to the charge amount of the charge generated in the photoelectric conversion unit. and a pixel circuit to generate.
  • the first pixel 110A causes a pixel signal to appear on the vertical signal line VSL1 under the control of the first row control circuit 102A.
  • the first row control circuit 102A is composed of a shift register, an address decoder, etc., and drives the first pixels 110A of the pixel array section 101 simultaneously or in units of rows. That is, the first row control circuit 102A constitutes a drive section that controls the operation of each first pixel 110A of the pixel array section 101 together with the control circuit 105 that controls the first row control circuit 102A.
  • the first row control circuit 102A generally has two scanning systems, a readout scanning system and a sweeping scanning system, although the specific configuration thereof is not shown.
  • the readout scanning system sequentially selectively scans each pixel of the pixel array unit 101 in units of rows in order to read out signals from each pixel.
  • a pixel signal read from each pixel is an analog signal.
  • the sweep-scanning system performs sweep-scanning ahead of the read-out scanning by the exposure time for the read-out rows to be read-scanned by the read-out scanning system.
  • a so-called electronic shutter operation is performed by sweeping out (resetting) the unnecessary charges in this sweeping scanning system.
  • the electronic shutter operation means an operation of discarding the charge of the photoelectric conversion element and newly starting exposure (starting charge accumulation).
  • the signal read out by the readout operation by the readout scanning system corresponds to the amount of light received after the immediately preceding readout operation or the electronic shutter operation.
  • the period from the readout timing of the previous readout operation or the sweep timing of the electronic shutter operation to the readout timing of the current readout operation is the charge accumulation period (also referred to as the exposure period) in each pixel.
  • a pixel signal output from each first pixel 110A in a pixel row selectively scanned by the first row control circuit 102A is input to the first readout circuit 103A through each vertical signal line VSL1 for each pixel column.
  • the first readout circuit 103A performs predetermined signal processing on pixel signals output through the vertical signal line VSL1 from each first pixel 110A in the selected row for each pixel column of the pixel array section 101, and performs signal processing on the pixel signals.
  • the processed pixel signal is temporarily held.
  • the first readout circuit 103A performs at least noise removal processing, such as CDS (Correlated Double Sampling) processing and DDS (Double Data Sampling) processing, as signal processing.
  • CDS Correlated Double Sampling
  • DDS Double Data Sampling
  • the CDS processing removes pixel-specific fixed pattern noise such as reset noise and variations in threshold values of amplification transistors in pixels.
  • the first readout circuit 103A also has an AD (analog-digital) conversion function, for example, and converts an analog pixel signal read from the photoelectric conversion element into a digital signal and outputs the digital signal.
  • AD analog-digital
  • the second pixel 110B includes a photoelectric conversion unit that photoelectrically converts incident light to generate a charge, and a pixel signal having a voltage value corresponding to the charge amount of the charge generated in the photoelectric conversion unit. and a pixel circuit to generate.
  • the second pixel 110B causes a pixel signal to appear on the vertical signal line VSL2 under the control of the second row control circuit 102B.
  • the second row control circuit 102B and the second readout circuit 103B have the same configurations as the first row control circuit 102A and the first readout circuit 103A, except that the processing target is the second pixel 110B. Therefore, the description is omitted here.
  • the reference voltage generation circuit 107 supplies the first reference signal VREF1 to the first readout circuit 103A and supplies the second reference signal VREF2 to the second readout circuit 103B.
  • the reference voltage generation circuit 107 is configured using, for example, a DA conversion circuit.
  • the first reference signal VREF1 is used as a reference signal for AD conversion performed by the first readout circuit 103A.
  • the second reference signal VREF2 is used as a reference signal for AD conversion performed by the second readout circuit 103B.
  • first reference signal VREF1 and the second reference signal VREF2 can be set to different values for each pixel to be read. Thereby, the solid-state imaging device 100 can maintain the S/N for each pixel.
  • the control circuit 105 is composed of a timing generator or the like that generates various timing signals, and controls the row control circuit 102, the readout circuit 103, the pulse generator 104, and the like based on the various timings generated by the timing generator. Drive control.
  • control circuit 105 may have a horizontal drive (column control) function.
  • the horizontal driving function can be realized by a configuration such as a shift register and an address decoder.
  • Readout circuits (hereinafter referred to as pixel circuits) corresponding to the pixel columns of the readout circuit 103 are selected in order by the horizontal drive function. By selective scanning by this horizontal driving function, pixel signals that have been signal-processed for each pixel circuit in the readout circuit 103 are sequentially output.
  • the pulse generator 104 generates a drive pulse signal for driving the light source 30 under the control of the control circuit 105 .
  • the pulse generator 104 outputs the generated drive pulse signal to the light source 30 .
  • the light source 30 emits infrared light, for example.
  • the first data processing unit 108A has at least an arithmetic processing function, and performs various signal processing such as arithmetic processing on the pixel signal output from the first readout circuit 103A.
  • the first data processing unit 108A for example, detects an object within the distance range R0 and determines an imaging region (ROI) of the second imaging system according to the detection result.
  • the first data processing unit 108A is a first acquisition unit that acquires pixel signals (first signals) from the first pixels 110A via the first readout circuit 103A.
  • the first data processing unit 108A outputs information about the determined imaging region (hereinafter referred to as ROI information) to the second row control circuit 102B, the second readout circuit 103B, and the control circuit 105.
  • ROI information information about the determined imaging region
  • the second data processing unit 108B has at least an arithmetic processing function, and performs various signal processing such as arithmetic processing on the pixel signal output from the second readout circuit 103B. As will be described later, the second data processing unit 108B outputs a pixel signal (second signal) from the second pixel 110B via the second readout circuit 103B when an object in the distance range R0 is detected.
  • the second data processing unit 108B outputs image data generated by signal processing to the processor 20 .
  • the image data may be subjected to predetermined processing in the processor 20 (see FIG. 1) in the imaging system 1 including the solid-state imaging device 100, or may be transmitted to the outside via a predetermined network.
  • the solid-state imaging device 100 temporarily holds data necessary for signal processing in the data processing unit 108, data processed by one or more of the readout circuit 103 and the data processing unit 108, and the like.
  • a storage unit may be provided for this purpose.
  • the configuration of the solid-state imaging device 100 is not limited to the example in FIG. 11 .
  • some functions and configurations of the first imaging system and the second imaging system may be shared.
  • FIG. 12 is a block diagram showing another example of the schematic configuration of the solid-state imaging device 100 according to the embodiment of the present disclosure.
  • the solid-state imaging device 100 shown in FIG. 12 differs from the solid-state imaging device 100 in FIG. 11 in that instead of the vertical signal lines VSL1 and VSL2, vertical signal lines VSL are wired along the column direction for each pixel column. That is, in the solid-state imaging device 100 of FIG. 12, the first pixel 110A and the second pixel 110B share the vertical signal line VSL.
  • the solid-state imaging device 100 reads pixel signals from the first pixels 110A and reads pixel signals from the second pixels 110B in a time-sharing manner via the vertical signal line VSL.
  • the wiring of the solid-state imaging device 100 can be reduced, and the pixel pitch can be reduced.
  • FIG. 13 is a block diagram showing another example of the schematic configuration of the solid-state imaging device 100 according to the embodiment of the present disclosure.
  • the solid-state imaging device 100 shown in FIG. 13 differs from the solid-state imaging device 100 shown in FIG. 12 in that a readout circuit 103 is provided instead of the first readout circuit 103A and the second readout circuit 103B. That is, in the solid-state imaging device 100 of FIG. 13, the readout circuit 103 is shared by the first pixel 110A and the second pixel 110B.
  • the solid-state imaging device 100 performs readout of pixel signals by the readout circuit 103 in a time-sharing manner, reading out the first pixels 110A and the second pixels 110B.
  • the solid-state imaging device 100 can reduce the area of the peripheral circuits of the pixel array section 101 .
  • the unit pixel 110 includes an RGB pixel 110B for obtaining a color image of three primary colors of RGB and an IR pixel 110A for obtaining a monochrome image of infrared (IR) light is taken as an example.
  • the reference numeral 31 is used when the color filters 31r, 31g, and 31b that transmit the light of each color component constituting the three primary colors of RGB are not discriminated.
  • FIG. 14 is a schematic diagram showing a schematic configuration example of the pixel array unit 101 according to the embodiment of the present disclosure.
  • the pixel array section 101 has a structure in which unit pixels 110 including RGB pixels 110B and IR pixels 110A are arranged along the light incident direction.
  • the unit pixels 110 are arranged in a two-dimensional lattice. That is, in FIG. 14, the RGB pixels 110B and the IR pixels 110A are positioned perpendicular to the arrangement direction (planar direction) of the unit pixels 110.
  • the RGB pixels 110B and the IR pixels 110A are positioned perpendicular to the arrangement direction (planar direction) of the unit pixels 110.
  • FIG. Accordingly, in the present embodiment, light transmitted through the RGB pixels 110B located upstream in the optical path of the incident light enters the IR pixels 110A located downstream of the RGB pixels 110B.
  • the photoelectric conversion unit PD1 of the IR pixel 110A is arranged on the side opposite to the incident surface of the incident light in the photoelectric conversion unit PD2 of the RGB pixel 110B. Accordingly, in this embodiment, the optical axes of the incident light of the RGB pixels 110B and the IR pixels 110A arranged along the light incident direction match or substantially match.
  • FIG. 14 exemplifies a case where the photoelectric conversion units PD2 constituting the RGB pixels 110B are made of an organic material, and the photoelectric conversion units PD1 constituting the IR pixels 110A are made of a semiconductor material such as silicon. It is not limited.
  • both the photoelectric conversion part PD1 and the photoelectric conversion part PD2 may be made of a semiconductor material, or both the photoelectric conversion part PD1 and the photoelectric conversion part PD2 may be made of an organic material.
  • the part PD2 may be made of a semiconductor material, and the photoelectric conversion part PD1 may be made of an organic material.
  • at least one of the photoelectric conversion parts PD1 and PD2 may be made of a photoelectric conversion material different from the organic material and the semiconductor material.
  • FIG. 15 is a cross-sectional view showing a cross-sectional structure example of the solid-state imaging device 100 according to the embodiment of the present disclosure.
  • an example of the cross-sectional structure will be described by focusing on the semiconductor chip in which the photoelectric conversion units PD1 and PD2 in the unit pixel 110 are formed.
  • a so-called back-illuminated cross-sectional structure in which the light incident surface is on the back side of the semiconductor substrate 50 (the side opposite to the element forming surface) is exemplified, but the invention is not limited to this.
  • a so-called surface irradiation type cross-sectional structure in which the surface is on the front surface side (element formation surface side) of the semiconductor substrate 50 may be employed.
  • an organic material is used for the photoelectric conversion unit PD2 of the RGB pixel 110B is exemplified.
  • One or both of the materials also called inorganic materials may be used.
  • the solid-state imaging device 100 uses the same semiconductor substrate 50 for the photoelectric conversion unit PD2 and the photoelectric conversion unit PD1. or a cross-sectional structure in which a semiconductor substrate in which the photoelectric conversion part PD2 is built and a semiconductor substrate in which the photoelectric conversion part PD1 is built are bonded together.
  • one of the photoelectric conversion units PD1 and PD2 may have a cross-sectional structure in which one is built in the semiconductor substrate 50 and the other is built in a semiconductor layer formed on the back surface or the front surface of the semiconductor substrate 50. good.
  • the photoelectric conversion units PD1 of the IR pixels 110A are formed on the semiconductor substrate 50, and the RGB pixels 110B are formed on the back surface of the semiconductor substrate 50 (opposite to the element formation surface). is provided with a photoelectric conversion part PD2.
  • the back surface of the semiconductor substrate 50 is located on the upper side of the paper surface, and the front surface is located on the lower side.
  • a semiconductor material such as silicon (Si) may be used for the semiconductor substrate 50, for example.
  • silicon silicon
  • various semiconductor materials including compound semiconductors such as GaAs, InGaAs, InP, AlGaAs, InGaP, AlGaInP, and InGaAsP may be used.
  • the photoelectric conversion units PD2 of the RGB pixels 110B are provided on the back surface side of the semiconductor substrate 50 with the insulating layer 53 interposed therebetween.
  • the photoelectric conversion part PD2 includes, for example, a photoelectric conversion film 34 made of an organic material, and a transparent electrode 33 and a semiconductor layer 35 arranged so as to sandwich the photoelectric conversion film 34 therebetween.
  • the transparent electrode 33 provided on the upper side of the paper surface with respect to the photoelectric conversion film 34 functions, for example, as an anode of the photoelectric conversion unit PD2,
  • the semiconductor layer 35 provided on the lower surface side functions as a cathode of the photoelectric conversion part PD2.
  • a semiconductor layer 35 functioning as a cathode is electrically connected to a readout electrode 36 formed in the insulating layer 53 .
  • the readout electrode 36 is electrically drawn out to the surface (lower surface) side of the semiconductor substrate 50 by connecting to the wirings 61 , 62 , 63 and 64 penetrating the insulating layer 53 and the semiconductor substrate 50 .
  • the wiring 64 is electrically connected to the floating diffusion region FD1 shown in FIG.
  • a storage electrode 37 is provided on the lower surface side of the semiconductor layer 35 functioning as a cathode with an insulating layer 53 interposed therebetween. Although not shown in FIG. 15, the storage electrode 37 is connected to the transfer control line in the pixel drive line LD. A voltage is applied to the nearby semiconductor layer 35 to collect the charges, and during readout, a voltage is applied to cause the charge collected in the semiconductor layer 35 near the storage electrode 37 to flow out through the readout electrode 36 .
  • the readout electrode 36 and the storage electrode 37 may be transparent conductive films, similar to the transparent electrode 33 .
  • Transparent conductive films such as indium tin oxide (ITO) and zinc oxide (IZO) may be used for the transparent electrode 33, the readout electrode 36, and the storage electrode 37, for example.
  • ITO indium tin oxide
  • IZO zinc oxide
  • the present invention is not limited to these, and various conductive films may be used as long as they can transmit light in the wavelength band to be detected by the photoelectric conversion part PD1.
  • a transparent semiconductor layer such as IGZO may be used for the semiconductor layer 35, for example.
  • the invention is not limited to these, and various semiconductor layers may be used as long as the semiconductor layers are capable of transmitting light in the wavelength band to be detected by the photoelectric conversion part PD1.
  • an insulating film such as a silicon oxide film (SiO2) or a silicon nitride film (SiN) may be used.
  • SiO2 silicon oxide film
  • SiN silicon nitride film
  • the invention is not limited to these, and various insulating films may be used as long as they are insulating films that can transmit light in the wavelength band to be detected by the photoelectric conversion part PD1.
  • a color filter 31 is provided on the upper surface side of the transparent electrode 33 functioning as an anode with a sealing film 32 interposed therebetween.
  • the sealing film 32 is made of, for example, an insulating material such as silicon nitride (SiN). can include
  • the color filters 31 will be described later, but for example, one RGB pixel 110B is provided with a color filter 31 that selectively transmits light of a specific wavelength component.
  • the color filter 31 may be omitted when monochrome pixels for obtaining luminance information are provided instead of the RGB pixels 110B for obtaining color information.
  • the photoelectric conversion unit PD1 of the IR pixel 110A includes, for example, a p-type semiconductor region 43 formed in the p-well region 42 in the semiconductor substrate 50 and an n-type semiconductor region 44 formed near the center of the p-type semiconductor region 43.
  • the n-type semiconductor region 44 functions, for example, as a charge accumulation region that accumulates charges (electrons) generated by photoelectric conversion, and the p-type semiconductor region 43 collects charges generated by photoelectric conversion within the n-type semiconductor region 44 . It functions as a region that forms a potential gradient for
  • an IR filter 41 that selectively transmits IR light is arranged on the light incident surface side of the photoelectric conversion part PD1.
  • the IR filter 41 may be arranged, for example, in an insulating layer 53 provided on the back side of the semiconductor substrate 50 .
  • the light incident surface of the semiconductor substrate 50 is provided with, for example, a fine uneven structure in order to suppress reflection of incident light (IR light in this example).
  • This concave-convex structure may be a structure called a so-called moth-eye structure, or may be a concave-convex structure different in size and pitch from the moth-eye structure.
  • a vertical transistor 45 functioning as a transfer transistor 21 and a floating diffusion region FD2 functioning as a charge storage portion are provided on the surface side (lower surface in the plane of the paper) of the semiconductor substrate 50, that is, the element forming surface side.
  • the gate electrode of the vertical transistor 45 reaches from the surface of the semiconductor substrate 50 to the n-type semiconductor region 44, and is connected to the wirings 65 and 66 (part of the transfer control line of the pixel drive line LD) formed in the interlayer insulating film 56. ) to the row control circuit 102 .
  • the charge flowing out through the vertical transistor 45 is accumulated in the floating diffusion region FD2.
  • the floating diffusion region FD2 is connected to the source of the reset transistor 22 and the gate of the amplification transistor 23 via wirings 67 and 68 formed in the interlayer insulating film 56 .
  • the reset transistor 22 , the amplification transistor 23 and the selection transistor 24 may be provided on the element forming surface of the semiconductor substrate 50 or may be provided on a semiconductor substrate different from the semiconductor substrate 50 .
  • FIG. 15 illustrates a case where two vertical transistors 45 (transfer transistors 21) are provided for one photoelectric conversion unit PD1, the present invention is not limited to this, and one vertical transistor is provided. 45 may be provided, or three or more vertical transistors 45 may be provided. Similarly, the case where two floating diffusion regions FD2 are provided for one photoelectric conversion unit PD1 is illustrated, but the present invention is not limited to this, and one floating diffusion region FD2 may be provided, Three or more floating diffusion regions FD2 may be provided.
  • the semiconductor substrate 50 is provided with a pixel separation section 54 that electrically separates the plurality of unit pixels 110, and a photoelectric conversion section PD1 is provided in each region partitioned by the pixel separation section 54.
  • the pixel separation section 54 has, for example, a lattice shape interposed between the plurality of unit pixels 110, and each The photoelectric conversion portion PD1 is formed in each region partitioned by the pixel separating portion 54. As shown in FIG.
  • a reflective film that reflects light such as tungsten (W) or aluminum (Al), may be used for the pixel separation section 54, for example.
  • the incident light entering the photoelectric conversion unit PD1 can be reflected by the pixel separating unit 54, so that the optical path length of the incident light within the photoelectric conversion unit PD1 can be increased.
  • the pixel separating section 54 have a light reflecting structure, it is possible to reduce the leakage of light into adjacent pixels, so that it is possible to further improve the image quality, distance measurement accuracy, and the like.
  • the configuration in which the pixel separating section 54 has a light reflecting structure is not limited to the configuration using a reflective film. can.
  • a fixed charge film 55 is provided between the semiconductor substrate 50 and the pixel separation section 54 .
  • a high dielectric material having negative fixed charges is used so that a positive charge (hole) accumulation region is formed at the interface with the semiconductor substrate 50 to suppress the generation of dark current. formed. Since the fixed charge film 55 is formed to have negative fixed charges, the negative fixed charges apply an electric field to the interface with the semiconductor substrate 138, forming a positive charge (hole) accumulation region.
  • the fixed charge film 55 can be formed of, for example, a hafnium oxide film (HfO2 film).
  • the fixed charge film 55 can be formed so as to contain at least one oxide of hafnium, zirconium, aluminum, tantalum, titanium, magnesium, yttrium, lanthanide elements, or the like.
  • FIG. 15 illustrates a case where the pixel isolation portion 54 has a so-called FTI (Full Trench Isolation) structure that reaches from the front surface to the back surface of the semiconductor substrate 50, but is not limited to this.
  • FTI Full Trench Isolation
  • Various element isolation structures such as a so-called DTI (Deep Trench Isolation) structure in which the isolation portion 54 is formed from the back or front surface of the semiconductor substrate 50 to near the middle of the semiconductor substrate 50 can be employed.
  • DTI Deep Trench Isolation
  • the upper surface of the planarizing film 52 is planarized by, for example, CMP (Chemical Mechanical Polishing), and the on-chip lens 51 for each unit pixel 110 is provided on the planarized upper surface.
  • the on-chip lens 51 of each unit pixel 110 has a curvature that converges incident light onto the photoelectric conversion units PD1 and PD2.
  • the positional relationship of the on-chip lens 51, the color filter 31, the IR filter 41, and the photoelectric conversion unit PD1 in each unit pixel 110 is adjusted according to the distance (image height) from the center of the pixel array unit 101, for example. (pupil correction).
  • a light shielding film may be provided to prevent obliquely incident light from leaking into adjacent pixels.
  • the light shielding film can be positioned above the pixel separation section 54 provided inside the semiconductor substrate 50 (on the upstream side in the optical path of the incident light).
  • the position of the light shielding film may be adjusted according to the distance (image height) from the center of the pixel array section 101, for example.
  • Such a light shielding film may be provided in the sealing film 32 or the planarizing film 52, for example.
  • a light shielding material such as aluminum (Al) or tungsten (W) may be used as the material of the light shielding film.
  • FIG. 16 is a circuit diagram showing a schematic configuration example of the unit pixel 110 according to this embodiment. As shown in FIG. 16, the unit pixel 110 includes one RGB pixel 110B and one IR pixel 110A.
  • the RGB pixel 110B includes, for example, a photoelectric conversion unit PD2, a transfer gate 11, a floating diffusion region FD1, a reset transistor 12, an amplification transistor 13, and a selection transistor .
  • a select control line included in the pixel drive line LD is connected to the gate of the select transistor 14, and a reset control line included in the pixel drive line LD is connected to the gate of the reset transistor 12.
  • a transfer control line included in the pixel drive line LD2 is connected to the storage electrode (see storage electrode 37 in FIG. 15).
  • a vertical signal line VSL ⁇ b>2 one end of which is connected to the second readout circuit 103 ⁇ /b>B, is connected to the source of the amplification transistor 13 via the selection transistor 14 .
  • the reset transistor 12, amplification transistor 13, and selection transistor 14 are also collectively referred to as a pixel circuit.
  • the pixel circuit may include a floating diffusion region FD1 and/or a transfer gate 11. FIG.
  • the photoelectric conversion part PD2 is made of, for example, an organic material, and photoelectrically converts incident light.
  • the transfer gate 11 transfers charges generated in the photoelectric conversion unit PD2.
  • the floating diffusion region FD1 accumulates charges transferred by the transfer gate 11 .
  • the amplification transistor 13 causes a pixel signal having a voltage value corresponding to the charges accumulated in the floating diffusion region FD1 to appear on the vertical signal line VSL2.
  • the reset transistor 12 releases charges accumulated in the floating diffusion region FD1.
  • the selection transistor 14 selects the RGB pixel 110B to be read.
  • the anode of the photoelectric conversion part PD2 is grounded, and the cathode is connected to the transfer gate 11.
  • the transfer gate 11 includes, for example, the storage electrode 37 and the readout electrode 36, as described above with reference to FIG.
  • a voltage is applied to the storage electrode 37 via the transfer control line to collect charges generated in the photoelectric conversion unit PD2 in the semiconductor layer 35 near the storage electrode 37 .
  • a voltage is applied to the storage electrode 37 via the transfer control line so that charges collected in the semiconductor layer 35 near the storage electrode 37 flow out through the readout electrode 36 .
  • the charges flowing out through the readout electrode 36 are accumulated in the floating diffusion region FD1 formed by the wiring structure connecting the readout electrode 36, the source of the reset transistor 12, and the gate of the amplification transistor 13.
  • the drain of the reset transistor 12 may be connected to, for example, the power supply voltage VDD or a power supply line supplied with a reset voltage different from the power supply voltage VDD.
  • the drain of the amplification transistor 13 may be connected to, for example, a power supply line.
  • the source of the amplification transistor 13 is connected to the drain of the selection transistor 14, and the source of the selection transistor 14 is connected to the vertical signal line VSL2.
  • the floating diffusion region FD1 converts the accumulated charge into a voltage value corresponding to the charge amount.
  • the floating diffusion region FD1 may be, for example, a capacitance to ground. However, it is not limited to this, and the floating diffusion region FD1 is added by intentionally connecting a capacitor or the like to a node where the drain of the transfer gate 11, the source of the reset transistor 12, and the gate of the amplification transistor 13 are connected. It may be a capacity or the like.
  • the vertical signal line VSL2 is connected to an AD (Analog-to-Digital) conversion circuit (not shown) provided for each column (that is, for each vertical signal line VSL2) in the second readout circuit 103B.
  • the AD conversion circuit includes, for example, a comparator and a counter, and converts a reference voltage such as a single slope or a ramp shape input from the reference voltage generation circuit 107 (DAC (Digital-to-Analog Converter)) into the vertical signal line VSL2.
  • the analog pixel signal is converted into a digital pixel signal by comparing with the pixel signal appearing in .
  • the AD conversion circuit may include, for example, a CDS (Correlated Double Sampling) circuit or the like, and may be configured to be able to reduce kTC noise or the like.
  • the IR pixel 110A includes, for example, a photoelectric conversion unit PD1, a transfer transistor 21, a floating diffusion region FD2, a reset transistor 22, an amplification transistor 23, a selection transistor 24, and an ejection transistor 25. That is, in the IR pixel 110A, the transfer gate 11 in the RGB pixel 110B is replaced with the transfer transistor 21, and the discharge transistor 25 is added.
  • connection relationship of the floating diffusion region FD2, the reset transistor 22, and the amplification transistor 23 to the transfer transistor 21 may be the same as the connection relationship of the floating diffusion region FD1, the reset transistor 12, and the amplification transistor 13 to the transfer gate 11 in the RGB pixel 110B.
  • connection relationship between the amplification transistor 23, the selection transistor 24, and the vertical signal line VSL1 may be the same as the connection relationship between the amplification transistor 13, the selection transistor 14, and the vertical signal line VSL2 in the RGB pixel 110B.
  • the source of the transfer transistor 21 is connected to, for example, the cathode of the photoelectric conversion unit PD1, and the drain is connected to the floating diffusion region FD2.
  • a transfer control line included in the pixel drive line LD is connected to the gate of the transfer transistor 21 .
  • the source of the discharge transistor 25 may be connected to, for example, the cathode of the photoelectric conversion unit PD1, and the drain may be connected to the power supply voltage VDD or a power supply line supplied with a reset voltage different from the power supply voltage VDD. Also, the discharge control line included in the pixel drive line LD1 is connected to the gate of the discharge transistor 25 .
  • the reset transistor 22, amplification transistor 23, and selection transistor 24 are also collectively referred to as a pixel circuit.
  • the pixel circuit may include one or more of floating diffusion region FD2, transfer transistor 21 and drain transistor 25.
  • the photoelectric conversion part PD1 is made of, for example, a semiconductor material, and photoelectrically converts incident light.
  • the transfer transistor 21 transfers charges generated in the photoelectric conversion unit PD1.
  • the floating diffusion region FD2 accumulates charges transferred by the transfer transistor 21 .
  • the amplification transistor 23 causes a pixel signal having a voltage value corresponding to the charges accumulated in the floating diffusion region FD2 to appear on the vertical signal line VSL1.
  • the reset transistor 22 releases charges accumulated in the floating diffusion region FD2.
  • the selection transistor 24 selects the IR pixel 110A to be read.
  • the anode of the photoelectric conversion unit PD1 is grounded, and the cathode is connected to the transfer transistor 21.
  • the drain of the transfer transistor 21 is connected to the source of the reset transistor 22 and the gate of the amplification transistor 23, and the wiring structure connecting them constitutes the floating diffusion region FD2. Charges flowing out from the photoelectric conversion unit PD1 through the transfer transistor 21 are accumulated in the floating diffusion region FD2.
  • the floating diffusion region FD2 converts the accumulated charge into a voltage value corresponding to the charge amount.
  • the floating diffusion region FD2 may be, for example, a capacitance to ground.
  • the invention is not limited to this, and the floating diffusion region FD2 is added by intentionally connecting a capacitor or the like to a node where the drain of the transfer transistor 21, the source of the reset transistor 22, and the gate of the amplification transistor 23 are connected. It may be a capacity or the like.
  • the discharge transistor 25 is turned on when discharging the charge accumulated in the photoelectric conversion unit PD1 and resetting the photoelectric conversion unit PD1. As a result, the charges accumulated in the photoelectric conversion unit PD1 flow out to the power supply line through the discharge transistor 25, and the photoelectric conversion unit PD1 is reset to a non-exposed state.
  • the vertical signal line VSL1 is connected to an AD conversion circuit (not shown) provided for each column (that is, for each vertical signal line VSL1) in the first readout circuit 103A.
  • the AD conversion circuit of the first readout circuit 103A may have the same configuration as the AD conversion circuit of the second readout circuit 103B.
  • FIG. 17 is a circuit diagram showing another example of the schematic configuration of the unit pixel 110 according to the embodiment of the present disclosure. As shown in FIG. 17, the unit pixel 110 has a configuration similar to that of the unit pixel 110 shown in FIG. 103A and a second readout circuit 103B (see FIG. 12).
  • a switch circuit 131 is provided for switching to which of the first readout circuit 103A and the second readout circuit 103B the vertical signal line VSL is connected.
  • the switch circuit 131 may be provided on the same semiconductor substrate as the pixel circuits of the RGB pixels 110B and/or the IR pixels 110A, or may be provided on the semiconductor substrate on which the readout circuit 103 is arranged. may be provided on different semiconductor substrates.
  • a control signal for controlling the switch circuit 131 may be supplied from the row control circuit 102, may be supplied from the control circuit 105, or may be supplied from another component (for example, the processor 20 in FIG. 1). may
  • the switch circuit 131 can be omitted.
  • FIG. 18 is a circuit diagram showing another example of the schematic configuration of the unit pixel 110 according to the embodiment of the present disclosure.
  • the unit pixel 110 has the same configuration as the unit pixel 110 shown in FIG. 17, but is configured to share at least part of the pixel circuit of the RGB pixel 110B and the pixel circuit of the IR pixel 110A. be done.
  • the reset transistor 22, amplification transistor 23 and selection transistor 24 are omitted, and the reset transistor 12, amplification transistor 13 and selection transistor 14 are shared by the RGB pixel 110B and the IR pixel 110A.
  • RGB pixel 110B and the IR pixel 110A share the pixel circuit
  • a plurality of the RGB pixels 110B may share the pixel circuit
  • a plurality of the IR pixels 110A may share the pixel circuit. You may
  • FIG. 19 is a schematic diagram showing another example of the schematic configuration of the pixel array section 101 according to the embodiment of the present disclosure.
  • the pixel array section 101 includes two unit pixels 110 each having a structure in which one IR pixel 110A is arranged in the light incident direction for four RGB pixels 110B arranged in two rows and two columns. It comprises a configuration arranged in a dimensional lattice. That is, in FIG. 19, one IR pixel 110A is positioned perpendicular to the arrangement direction (planar direction) of the unit pixels 110 for four RGB pixels 110B.
  • the light transmitted through the four RGB pixels 110B located upstream in the optical path of the incident light enters one IR pixel 110A located downstream of the four RGB pixels 110B. . Therefore, in FIG. 19, the optical axes of the incident light of the unit array of the Bayer array composed of the four RGB pixels 110B and the IR pixels 110A match or substantially match.
  • FIG. 20 is a cross-sectional view showing another example of the cross-sectional structure of the solid-state imaging device 100 according to the embodiment of the present disclosure.
  • FIG. 19 a case where each unit pixel 110 is composed of four RGB pixels 110B arranged in two rows and two columns and one IR pixel 110A will be taken as an example.
  • FIG. 15 an example of the cross-sectional structure will be described focusing on the semiconductor chip in which the photoelectric conversion units PD1 and PD2 in the unit pixel 110 are formed.
  • structures similar to the cross-sectional structure of the solid-state imaging device 100 described with reference to FIG. 15 will be referred to and redundant description will be omitted.
  • RGB pixels 110B in each unit pixel 110 may form a basic array of the Bayer array.
  • FIG. 21 is a circuit diagram showing another example of the schematic configuration of the unit pixel 110 according to the embodiment of the present disclosure. Although FIG. 21 is based on the unit pixel 110 shown in FIG. 16, it is not limited to this, and it is also possible to use the unit pixel 110 shown in FIG. 17 or 18 as a base.
  • the unit pixel 110 includes a plurality of RGB pixels 110B-1 to 110B-N (N is 4 in FIG. 19) and one IR pixel 110A.
  • the plurality of RGB pixels 110B share one pixel circuit (reset transistor 12, floating diffusion region FD1, amplification transistor 13, and selection transistor 14). is possible (pixel sharing). Therefore, in FIG. 21, a plurality of RGB pixels 110B-1 to 110B-N share a pixel circuit composed of reset transistor 12, floating diffusion region FD1, amplification transistor 13 and selection transistor . That is, in FIG. 21, a plurality of photoelectric conversion units PD1 and transfer gates 11 are connected to a common floating diffusion region FD1.
  • IR pixels 110A and the RGB pixels 110B are stacked in the pixel array section 101 described above, the present invention is not limited to this. IR pixels 110A and RGB pixels 110B may be arranged on the same plane.
  • 22 and 23 are schematic diagrams showing other examples of the schematic configuration of the pixel array section 101 according to the embodiment of the present disclosure. 22 and 23 show diagrams of the pixel array section 101 viewed from the light incident direction.
  • the unit pixel 110 includes an RGB pixel 110B for obtaining a color image of three primary colors of RGB and an IR pixel 110A for obtaining a monochrome image of infrared (IR) light is taken as an example. .
  • the pixel array section 101 has a configuration in which unit pixels 110 each having three RGB pixels 110B and one IR pixel 110A arranged in two rows and two columns are arranged in a two-dimensional lattice.
  • the filter 31d is a filter that selectively transmits infrared light (IR).
  • one IR pixel 110A may be arranged on the same plane for four RGB pixels 110B arranged in two rows and two columns.
  • four RGB pixels 110B and one IR pixel 110A are arranged as one unit pixel 110 in a two-dimensional lattice.
  • FIGS. 24A to 24I are schematic diagrams showing other examples of the cross-sectional structure of the solid-state imaging device 100 according to the embodiment of the present disclosure.
  • Figures 24A-24I are schematic and not necessarily strictly illustrated.
  • FIGS. 24A to 24I are diagrams for explaining an arrangement example of the photoelectric conversion units PD1 and PD2, and the explanation of constituent elements unnecessary for the explanation is omitted.
  • the photoelectric conversion unit PD2 includes a photoelectric conversion unit PD2r that photoelectrically converts red light, a photoelectric conversion unit PD2b that photoelectrically converts green light, and a photoelectric conversion unit PD2b that photoelectrically converts blue light.
  • the photoelectric conversion part PD1 and the photoelectric conversion part PD2 may be stacked and arranged.
  • the photoelectric conversion part PD1 is arranged on the upstream side of the optical path of the incident light, and the photoelectric conversion part PD2 is arranged on the downstream side.
  • the photoelectric conversion part PD2 is arranged on the upstream side of the optical path of the incident light, and the photoelectric conversion part PD1 is arranged on the downstream side.
  • 24B and 24C includes a photoelectric conversion unit PD2r that photoelectrically converts red light, a photoelectric conversion unit PD2b that photoelectrically converts green light, and a photoelectric conversion unit that photoelectrically converts blue light.
  • PD2b is included.
  • a panchromatic photosensitive organic photoelectric conversion film which will be described later, photoelectrically converts substantially all visible light from the ultraviolet region to the red region.
  • the photoelectric conversion part PD2 may be configured using the photoelectric conversion film. In this case, as shown in FIGS. 24D and 24E, by providing color filters 31r, 31g, and 31b for each photoelectric conversion unit PD2, the photoelectric conversion unit PD2 performs photoelectric conversion of red, green, and blue light. each. Note that FIG.
  • FIG. 24D shows a case where the photoelectric conversion unit PD1 is arranged on the upstream side of the optical path of the incident light, and the photoelectric conversion unit PD2 is arranged on the downstream side.
  • FIG. 24E shows a case where the photoelectric conversion unit PD2 is arranged on the upstream side of the optical path of the incident light, and the photoelectric conversion unit PD1 is arranged on the downstream side.
  • the photoelectric conversion part PD2 may be made of different materials depending on the light to be photoelectrically converted.
  • the photoelectric conversion unit PD2g that photoelectrically converts green light is made of an organic semiconductor material
  • the photoelectric conversion units PD2r and PD2b that photoelectrically convert red and blue light are made of a semiconductor material such as silicon. good too.
  • FIG. 24F shows the case where the photoelectric conversion unit PD1 is arranged on the upstream side of the optical path of the incident light, and the photoelectric conversion unit PD2 is arranged on the downstream side.
  • the photoelectric conversion unit PD2g that photoelectrically converts green light is arranged between the photoelectric conversion units PD2r and PD2b that photoelectrically convert red and blue light, and the photoelectric conversion unit PD1.
  • Color filters 31r and 31b are provided for the photoelectric conversion units PD2r and PD2b, respectively.
  • FIG. 24G has the same configuration as FIG. 24F except that the photoelectric conversion unit PD2g is arranged on the upstream side of the optical path of the incident light, and the photoelectric conversion unit PD1 is arranged on the downstream side.
  • the photoelectric conversion units PD2r and PD2b made of a semiconductor material such as silicon may be stacked in the incident direction.
  • the example of FIG. 24H shows the case where the photoelectric conversion unit PD2b is arranged on the upstream side of the optical path of the incident light, and the photoelectric conversion unit PD2r is arranged on the downstream side.
  • FIG. 24I has the same configuration as FIG. 24H except that the photoelectric conversion unit PD2g is arranged on the upstream side of the optical path of the incident light, and the photoelectric conversion unit PD1 is arranged on the downstream side.
  • the layer structure of the photoelectric conversion film 34 can have the following structure. However, in the case of a laminated structure, the order of lamination can be appropriately changed.
  • the p-type organic semiconductor includes naphthalene derivatives, anthracene derivatives, phenanthrene derivatives, pyrene derivatives, perylene derivatives, tetracene derivatives, pentacene derivatives, quinacridone derivatives, thiophene derivatives, thienothiophene derivatives, benzothiophene derivatives, and benzothienobenzothiophene derivatives.
  • triallylamine derivatives carbazole derivatives, perylene derivatives, picene derivatives, chrysene derivatives, fluoranthene derivatives, phthalocyanine derivatives, subphthalocyanine derivatives, subporphyrazine derivatives, metal complexes with heterocyclic compounds as ligands, polythiophene derivatives, polybenzothiadiazoles Derivatives, polyfluorene derivatives and the like can be mentioned.
  • fullerenes and fullerene derivatives ⁇ for example, fullerenes such as C60, C70, C74 (higher fullerenes, endohedral fullerenes, etc.) or fullerene derivatives (for example, fullerene fluorides, PCBM fullerene compounds, fullerene polymers, etc. )>, organic semiconductors with larger (deeper) HOMO and LUMO than p-type organic semiconductors, and transparent inorganic metal oxides.
  • n-type organic semiconductors include heterocyclic compounds containing a nitrogen atom, an oxygen atom, and a sulfur atom, such as pyridine derivatives, pyrazine derivatives, pyrimidine derivatives, triazine derivatives, quinoline derivatives, quinoxaline derivatives, isoquinoline derivatives, acridine derivatives, phenazine derivatives, phenanthroline derivatives, tetrazole derivatives, pyrazole derivatives, imidazole derivatives, thiazole derivatives, oxazole derivatives, imidazole derivatives, benzimidazole derivatives, benzotriazole derivatives, benzoxazole derivatives, benzoxazole derivatives, carbazole derivatives, benzofuran derivatives, dibenzofuran derivatives , subporphyrazine derivatives, polyphenylene vinylene derivatives, polybenzothiadiazole derivatives, polyfluorene derivatives, etc., as part of the mole
  • Examples of groups contained in fullerene derivatives include halogen atoms; linear, branched or cyclic alkyl groups or phenyl groups; groups having linear or condensed aromatic compounds; groups having halides; partial fluoroalkyl groups; fluoroalkyl group;silylalkyl group;silylalkoxy group;arylsilyl group;arylsulfanyl group;alkylsulfanyl group;arylsulfonyl group;alkylsulfonyl group;arylsulfide group;alkylsulfide group;amino group;alkylamino group;arylamino group hydroxy group; alkoxy group; acylamino group; acyloxy group; carbonyl group; carboxy group; carboxoamide group; carboalkoxy group; group; derivatives thereof can be mentioned.
  • the film thickness of the photoelectric conversion film 34 made of the organic material as described above is not limited to the following values, but is, for example, 1 ⁇ 10 ⁇ 8 m (meters) to 5 ⁇ 10 ⁇ 7 . m, preferably 2.5 ⁇ 10 ⁇ 8 m to 3 ⁇ 10 ⁇ 7 m, more preferably 2.5 ⁇ 10 ⁇ 8 m to 2 ⁇ 10 ⁇ 7 m, still more preferably 1 ⁇ 10 ⁇ 7 m to 1.8 ⁇ 10 ⁇ 7 m can be exemplified.
  • Organic semiconductors are often classified into p-type and n-type. The p-type means that holes are easily transported, and the n-type means that electrons are easily transported. The interpretation is not limited to having holes or electrons as thermally excited majority carriers like a semiconductor.
  • Examples of materials constituting the photoelectric conversion film 34 that photoelectrically converts green wavelength light include rhodamine dyes, melacyanine dyes, quinacridone derivatives, subphthalocyanine dyes (subphthalocyanine derivatives), and the like.
  • examples of materials that constitute the photoelectric conversion film 34 that photoelectrically converts blue light include coumaric acid dyes, tris-8-hydroxyquinolialuminum (Alq3), melacyanine dyes, and the like.
  • examples of materials that constitute the photoelectric conversion film 34 that photoelectrically converts red light include phthalocyanine dyes and subphthalocyanine dyes (subphthalocyanine derivatives).
  • the photoelectric conversion film 34 it is possible to use a panchromatic photosensitive organic photoelectric conversion film that is sensitive to substantially all visible light from the ultraviolet region to the red region.
  • FIG. 25 is a time chart showing an example of the readout operation of the IR pixel 110A according to the embodiment of the present disclosure.
  • FIG. 25 shows an example of the readout operation of the IR pixel 110A shown in FIG.
  • TRG transfer pulse
  • RST reset pulse
  • SEL selection signal
  • OFG drive signal OFG for driving the discharge transistor 25
  • CNV indicates the read timing CNV by the first read circuit 103A.
  • FD indicates the amount of charge accumulated in the floating diffusion region FD2 of the IR pixel 110A
  • VSL indicates the level (voltage) of the pixel signal output from the vertical signal line VSL1.
  • DOUT indicates data DOUT after AD conversion processing by the first readout circuit 103A.
  • the selection signal SEL, reset pulse RST, and transfer pulse TRG are each in a low state.
  • the drive signal OFG is in a high state, the photoelectric conversion section PD1 is not exposed and charges are not accumulated.
  • the reset pulse RST is set to a high state, and the charge of the floating diffusion region FD2 is discharged to the power supply VDD, thereby resetting the potential of the floating diffusion region FD2 to the predetermined potential VDD.
  • the selection signal SEL is brought to a high state and the selection transistor 24 is turned on. As a result, a signal corresponding to the potential of the floating diffusion region FD2 is output to the vertical signal line VSL1.
  • the reset level (black level) signal D TOFP_k output to the vertical signal line VSL1 is converted into a digital value by the first readout circuit 103A. Temporarily stored in a register or the like. This signal D TOFP_k is offset noise.
  • the readout of the signal D TOFP_k is called P-phase (Pre-Charge) readout, and the period during which the P-phase readout is performed is called the P-phase period.
  • the driving signal OFG is in the low state and the transfer pulse TRG is in the high state.
  • the photoelectric conversion unit PD1 is exposed, and charges generated by photoelectric conversion are accumulated in the floating diffusion region FD2.
  • the period from time tg1 to time tg2 is called an effective light receiving period, and the IR pixel 110A receives infrared light during this period.
  • the selection signal SEL goes high and the selection transistor 24 is turned on. As a result, a signal corresponding to the potential of the floating diffusion region FD2 is output to the vertical signal line VSL1.
  • the signal D TOFD_k output to the vertical signal line VSL1 is converted into a digital value by the first readout circuit 103A and temporarily stored in, for example, a register of the first readout circuit 103A.
  • This signal D TOFD_k is a signal containing offset noise and pixel signals.
  • This readout of the signal D TOFD_k is called D-phase (Data Phase) readout, and the period during which the D-phase readout is performed is called the D-phase period.
  • the first readout circuit 103A supplies the stored signal D TOFP_k and signal D TOFD_k to the first data processing unit 108A.
  • the first data processing unit 108A obtains the difference between the signal D TOFP_k and the signal D TOFD_k . Thereby, a pixel signal from which offset noise is removed can be obtained.
  • FIG. 26 is a time chart showing an example of the readout operation of the RGB pixels 110B according to the embodiment of the present disclosure.
  • FIG. 26 shows an example of readout operation of the RGB pixel 110B shown in FIG.
  • TRG transfer pulse
  • RST reset pulse
  • SEL selection signal
  • CNV indicates the read timing CNV by the second read circuit 103B.
  • FD indicates the amount of charge accumulated in the floating diffusion region FD1 of the RGB pixel 110B, and
  • VSL indicates the level (voltage) of the pixel signal output from the vertical signal line VSL2.
  • DOUT indicates data DOUT after AD conversion processing by the second readout circuit 103B.
  • the selection signal SEL, reset pulse RST, and transfer pulse TRG are each set to a low state.
  • the photoelectric conversion unit PD1 is exposed, and charges generated by photoelectric conversion continue to be accumulated in the photoelectric conversion unit PD1.
  • the reset pulse RST and the transfer pulse TRG are set to a high state, and the charge of the floating diffusion region FD2 is discharged to the power supply VDD, thereby resetting the potential of the floating diffusion region FD2 to the predetermined potential VDD.
  • the selection signal SEL is brought to a high state and the selection transistor 14 is turned on. As a result, a signal corresponding to the potential of the floating diffusion region FD1 is output to the vertical signal line VSL2.
  • the reset level (black level) signal DRGBP_k output to the vertical signal line VSL2 is converted into a digital value by the second readout circuit 103B, and is stored in, for example, a register of the second readout circuit 103B. stored temporarily.
  • This signal DRGBP_k is offset noise.
  • the readout of this signal DRGBP_k is called P-phase (Pre-Charge) readout, and the period during which the P-phase readout is performed is called the P-phase period.
  • the selection signal SEL goes high and the selection transistor 14 is turned on. As a result, a signal corresponding to the potential of the floating diffusion region FD1 is output to the vertical signal line VSL2.
  • the signal DRGBD_k output to the vertical signal line VSL2 is converted into a digital value by the second readout circuit 103B and temporarily stored in, for example, a register of the second readout circuit 103B.
  • This signal DRGBD_k is a signal containing offset noise and pixel signals.
  • the readout of this signal DRGBD_k is called D-phase (Data Phase) readout, and the period during which the D-phase readout is performed is called the D-phase period.
  • the second readout circuit 103B supplies the stored signal D RGBP_k and signal D RGBD_k to the second data processing unit 108B.
  • the second data processing unit 108B obtains the difference between the signal D RGBP_k and the signal D RGBD_k . Thereby, a pixel signal from which offset noise is removed can be obtained.
  • FIG. 27 is a time chart showing an example of the readout operation of the unit pixel 110 according to the embodiment of the present disclosure.
  • FIG. 27 shows an example of the readout operation of the unit pixel 110 shown in FIG.
  • the solid-state imaging device 100 switches the operation from “ranging” to “imaging” at time T1.
  • the solid-state imaging device 100 acquires distance measurement data by performing a readout operation of the IR pixels 110A and performing distance measurement until time T1. Note that the readout operation of the IR pixel 110A is the same as in FIG. 25, so the description is omitted.
  • the solid-state imaging device 100 performs a readout operation of the RGB pixels 110B to perform imaging.
  • the solid-state imaging device 100 acquires imaging data after time T2, which is one clock after time T1. Note that the readout operation of the RGB pixel 110B is the same as in FIG. 26, so the description is omitted.
  • FIGS. 28 and 29 are diagrams for explaining the object detection operation according to the embodiment of the present disclosure.
  • the solid-state imaging device 100 detects an object ob within the distance range R0.
  • Case 1 is when the object ob exists within the distance range R0
  • Case 2 is when the object ob exists on the boundary of the distance range R0 farther from the solid-state imaging device 100, and the object ob exists outside the distance range R0. This case will be described as Case 3.
  • “Emit” shown in FIG. 29 is a control signal Emit for controlling the light source 30, which is generated by the pulse generator 104 and supplied to the light source 30.
  • FIG. The light source 30 emits light when the control signal Emit is in a high state, and emits irradiation light (IR) at time t21.
  • the irradiation light emitted by the light source 30 is reflected by the object ob and enters the photoelectric conversion unit PD1 of the IR pixel 110A as reflected light (see FIG. 28).
  • the reflected light is incident on the photoelectric conversion unit PD1 with a time difference corresponding to the distance between the solid-state imaging device 100 and the object ob.
  • the IR pixel 110A performs exposure during the effective light receiving period and photoelectrically converts the reflected light.
  • the solid-state imaging device 100 sets the effective light receiving period according to the preset distance range R0.
  • the solid-state imaging device 100 exposes the IR pixels 110A by setting the driving signal OFG to a low state during the effective light receiving period.
  • the solid-state imaging device 100 sets the effective light receiving period according to the distance range R0, so that when the object ob exists within the distance range R0, a pixel signal with a high signal level can be obtained. .
  • the first data processing unit 108A of the solid-state imaging device 100 acquires, for example, the difference between the D-phase pixel signal and the P-phase pixel signal from the first readout circuit 103A as the pixel signal of the IR pixel 110A.
  • the first data processing unit 108A compares the threshold value TH with the acquired pixel signal, and determines whether or not the object ob exists in the distance range R0 from the comparison result.
  • the first data processing unit 108A determines that the object ob exists in the distance range R0 if the level of the pixel signal is equal to or higher than the threshold TH.
  • FIG. 30 is a flow chart showing an example of the flow of imaging processing by the solid-state imaging device 100 according to the embodiment of the present disclosure.
  • the solid-state imaging device 100 executes imaging processing shown in FIG. 30 as an imaging operation.
  • the solid-state imaging device 100 sets a distance range R0 (step S101).
  • the distance range R0 can be set by the user directly inputting a specific distance range.
  • the user may specify the distance range R0 by focusing the solid-state imaging device 100 on a desired position in advance, that is, performing a so-called set focus. In this case, the solid-state imaging device 100 sets the distance range R0 according to the focal position.
  • the solid-state imaging device 100 performs imaging with the light source 30 turned off, and acquires the background light level (step S102). Subsequently, the solid-state imaging device 100 sets a first imaging condition according to the acquired background light level (step S103).
  • the first imaging is imaging for detecting an object ob existing in the distance range R0, and is imaging for performing distance measurement (for example, ToF) by IR.
  • the solid-state imaging device 100 sets the irradiation level and light emission time of the light source 30 as first imaging conditions, for example, according to the background light level and the distance range R0. Further, the solid-state imaging device 100 sets the effective light receiving periods tg1 and tg2 (see FIG. 29) and the number of integrations performed in one imaging as the first imaging conditions.
  • the above first imaging condition is an example, and is not limited to this.
  • the solid-state imaging device 100 may partially omit the setting of the first imaging condition, such as when imaging is performed with a prescribed number of times of integration.
  • the solid-state imaging device 100 may set a first imaging condition other than the above.
  • the solid-state imaging device 100 executes the first imaging process (step S104) and detects whether or not the object ob exists within the distance range R0. Details of the first imaging process will be described later.
  • the solid-state imaging device 100 determines whether or not to perform the second imaging (step S105).
  • the second imaging is imaging the object ob, for example, imaging for obtaining a color image.
  • the solid-state imaging device 100 determines not to perform the second imaging (step S105; No), and proceeds to step S108.
  • the solid-state imaging device 100 determines to perform the second imaging (step S105; Yes), and sets the second imaging condition (step S106). For example, the solid-state imaging device 100 sets the exposure time for the second imaging, the scanning range (the size of the captured image), and the like. Note that the solid-state imaging device 100 sets a scanning range by designating a row to be driven and a column to be read.
  • the solid-state imaging device 100 captures an image of the entire screen when the object ob exists within the distance range R0 (see FIGS. 3 and 4), and captures an extraction region including the object ob. There are cases (see FIGS. 7 and 8).
  • the solid-state imaging device 100 When imaging the entire screen, the solid-state imaging device 100 sets the scanning range for all the RGB pixels 110B. On the other hand, when imaging the extraction region, the solid-state imaging device 100 sets the extraction region and sets the scanning range targeting the RGB pixels 110B of the set extraction region. The details of setting the extraction area will be described later.
  • the solid-state imaging device 100 executes a second imaging process (step S107) to obtain a captured image.
  • the solid-state imaging device 100 determines whether or not to end imaging (step S108).
  • step S108 When imaging is finished (step S108; Yes), the solid-state imaging device 100 outputs the captured image to the subsequent processor 20 (see FIG. 1) (step S109), and finishes the process.
  • step S108 the solid-state imaging device 100 determines whether or not to re-detect the object ob (step S110).
  • the solid-state imaging device 100 detects the object ob again each time the second imaging is performed, thereby tracking and imaging the object ob at high speed (high-speed tracking mode).
  • the solid-state imaging device 100 omits the detection of the object ob, and performs the second imaging under the second imaging condition set in step S106 to detect the object ob. load can be reduced.
  • the solid-state imaging device 100 determines to re-detect the object ob (step S110; Yes), and returns to step S104. On the other hand, if no imaging is performed in the high-speed tracking mode, it is determined that re-detection of the object ob is not to be performed (step S110; No), and the process returns to step S107.
  • FIG. 31 is a flowchart illustrating an example of the flow of first imaging processing according to the embodiment of the present disclosure.
  • the solid-state imaging device 100 initializes variables used in the first imaging process (step S201). For example, the solid-state imaging device 100 initializes a variable that counts the number of integrations.
  • the solid-state imaging device 100 turns on the light source 30 with the light emission level and the light emission time based on the first imaging condition to emit irradiation light (step S202). Subsequently, the solid-state imaging device 100 receives the reflected light during the effective light receiving period (step S203).
  • the solid-state imaging device 100 reads the charges accumulated during the effective light receiving period, and integrates the read results (step S204). The solid-state imaging device 100 determines whether or not the number of integrations performed in step S204 is greater than the threshold TH1 (step S205). If the cumulative number of times is equal to or less than the threshold TH1 (step S205; No), the process returns to step S202.
  • the solid-state imaging device 100 determines whether or not the integration result is greater than the threshold TH2 (step S206).
  • the reflected light is received within the effective light receiving period, and the pixel signal increases. Therefore, when the object ob exists in the distance range R0, the integration result is greater than the threshold TH2.
  • the solid-state imaging device 100 determines that the object ob in the distance range R0 is detected by the first pixel (IR pixel) 110A, and the corresponding second The pixel (RGB pixel) 110B is set to "Enable" (step S207).
  • the corresponding second pixel 110B is a pixel included in the same unit pixel 110 as the first pixel 110A that detected the object ob. It is a pixel to be arranged.
  • step S206 if the integration result is equal to or smaller than the threshold TH2 (step S206; No), the solid-state imaging device 100 assumes that the object ob in the distance range R0 is not detected by the first pixel, and the corresponding second pixel 110B is set to "Disable" (step S208).
  • the imaging range (extraction region) of the second imaging is calculated (step S209). For example, when all the second pixels 110B are set to "invalid", the solid-state imaging device 100 assumes that the object ob does not exist within the distance range R0, and has no imaging range (does not perform the second imaging). and decide.
  • the solid-state imaging device 100 sets the imaging range assuming that the object ob exists within the distance range R0. For example, as described above, when capturing an image of the entire screen as the second image capturing, the solid-state imaging device 100 calculates the entire screen, in other words, all the second pixels 110B as the image capturing range.
  • the solid-state imaging device 100 sets the extraction region (ROI) as the imaging range. 32 and 33, processing for calculating an imaging range when the extraction region is used as the imaging range will be described below.
  • FIG. 32 is a diagram for explaining the imaging range according to the embodiment of the present disclosure.
  • the effective areas E1 to E4 including the second pixel 110B set to "effective" are shown in black.
  • the solid-state imaging device 100 calculates an extraction area R20 including the effective areas E1 to E4 in the entire screen R10 as an imaging range.
  • FIG. 32 shows a case where the extraction region R20 is a rectangular region designated by coordinates (X1, Y1), (X2, Y2). Further, in the following description, as shown in FIG. 32, the whole screen R10 of the solid-state imaging device 100 is described as 1st, 2nd, . . . , j, . , row 1, row 2, . . . , row i, .
  • FIG. 33 is a flowchart illustrating an example of the flow of imaging range calculation processing according to the embodiment of the present disclosure.
  • the data Di is data relating to the second pixel 110B, and includes data indicating whether or not the second pixel 110B is a pixel set as "enabled” (hereinafter referred to as an "enable pixel"). .
  • the solid-state imaging device 100 scans the data Di in the direction from 1 to N, and stores the X coordinate of the first detected Enable pixel in the variable X1j (step S303). Subsequently, the solid-state imaging device 100 scans the data Di in the reverse direction, that is, in the direction from N to 1, and stores the X coordinate of the first detected Enable pixel in the variable X2j (step S304).
  • the solid-state imaging device 100 initializes variables (step S309).
  • the X coordinate of the Enable pixel stored in the variable X1j in the j column (hereinafter simply referred to as X1j) is less than or equal to the X coordinate of the Enable pixel stored in the variable X2j (hereinafter simply referred to as X2j). It is determined whether or not (step S311).
  • variable X1j stores the X coordinate of the first detected Enable pixel when the row numbers are scanned in order from the smallest row number
  • variable X2j stores the X coordinates when the row numbers are scanned in order from the largest row number.
  • the X coordinate of the first detected Enable pixel is stored. Therefore, when X1j>X2j, there is no Enable pixel in the j column, and all the second pixels 110B in the j column are Disable pixels. Also, if X1j ⁇ X2j, there is at least one Enable pixel in the j column.
  • the solid-state imaging device 100 initializes variables (step S315).
  • the solid-state imaging device 100 determines whether or not the X coordinate X1j of the Enable pixel in column j is equal to or less than the X coordinate X2j of the Enable pixel (step S317).
  • the solid-state imaging device 100 outputs the rectangular area specified by the calculated coordinates (X1, Y1) and (X2, Y2) as the imaging range R20 (step S321), and ends the process.
  • the solid-state imaging device 100 does not have an effective imaging range R20 when coordinates (X1, Y1) and (X2, Y2) of the imaging range R20 satisfy X1>X2 and Y1>Y2. It can be determined that the target object ob does not exist within the distance range R0. Also, here, the solid-state imaging device 100 calculates the imaging range R20 from the entire screen R10, but the present invention is not limited to this. The solid-state imaging device 100 may calculate the imaging range R20 by limiting it to a partial range, such as half of the entire screen R10. The solid-state imaging device 100 can, for example, calculate the imaging range R20 for the next imaging from the range based on the previous imaging range R20.
  • the solid-state imaging device 100 outputs the image data captured by the second imaging process to the processor 20 in the subsequent stage.
  • 34 and 35 are diagrams showing examples of formats of image data output by the solid-state imaging device 100 according to the embodiment of the present disclosure.
  • the image data is data composed of a header, ROI image data, and a footer.
  • the ROI image data includes at least one set of data obtained by the second imaging process.
  • One set of data is pixel signal data obtained in one second imaging process, and when the second imaging is performed K times, K sets of data are included in the ROI image data.
  • the header includes output start recognition information indicating the start of image data output, and information on the number of scanning regions, which is the second number of times of imaging.
  • FIG. 35 shows that the number of scanning regions is K, and the solid-state imaging device 100 has performed the second imaging K times.
  • the ROI image data includes scanning range related information I_1 to I_K, which is information about the imaging range R20.
  • the scanning range related information includes the origin coordinates and size of the imaging range R20, but may include the coordinates (X1, Y1) and (X2, Y2) of the imaging range R20.
  • the ROI image data includes image data D_1 to D_K.
  • Image data D_1 to D_K are data including image signals obtained from the second pixels 110B.
  • the scanning range related information and the image data are associated and stored in the ROI image data.
  • the footer contains output end recognition information that indicates the end of image data output.
  • the processor 20 recognizes the start of image data output by recognizing the output start recognition information, and recognizes the end of image data output by recognizing the output end recognition information.
  • FIG. 36 is a diagram showing another example of the format of image data output by the solid-state imaging device 100 according to the embodiment of the present disclosure.
  • the format shown in FIG. 36 differs from the format shown in FIG. 35 in that the header includes output start recognition information, the number of scanning areas, and the scanning area size.
  • the scanning range size is information indicating the size of the imaging range.
  • the solid-state imaging device 100 can reduce the processing load of the imaging range calculation process and the second imaging process.
  • the scanning area size indicating the size of the scanning area is included in the header, and the origin information of the scanning area is included in the scanning area related information of the ROI image data. may be included.
  • the scanning range size indicating the size of the scanning area (imaging range) in the header it is possible to omit the size information from the scanning range related information of the ROI image data.
  • the amount of information of the ROI image data in other words, the amount of information of the image data can be reduced.
  • the second pixels 110B corresponding to the first pixels 110A that have detected the object ob are set as Enable pixels, but the present invention is not limited to this.
  • the solid-state imaging device 100 may correct the set effective area.
  • FIG. 37 is a flow chart showing another example of the flow of the first imaging process according to the embodiment of the present disclosure.
  • the first imaging process shown in FIG. 37 is similar to the first imaging process shown in FIG. It is the same as the imaging process.
  • the solid-state imaging device 100 performs effective area correction processing after setting Enable pixels and Disable pixels in steps S207 and S208 (step S401). For example, the solid-state imaging device 100 corrects the effective area using a function for correcting the effective area. It is assumed that the function is defined in advance.
  • FIG. 38 is a diagram showing an example of correction of the effective area by the solid-state imaging device 100 according to the embodiment of the present disclosure.
  • an example of the effective area before correction is indicated by a black area.
  • an example of an effective area before correction is indicated by a black area, and an example of an effective area after correction is indicated by a solid line.
  • the solid-state imaging device 100 can correct the effective area by, for example, enlarging the effective area before correction (FIG. 38(b)).
  • the solid-state imaging device 100 may similarly perform correction for reducing the effective area.
  • the solid-state imaging device 100 can correct the effective area by, for example, smoothing the effective area before correction (FIG. 38(c)).
  • the solid-state imaging device 100 can correct the effective area by, for example, performing single connection that connects a plurality of effective areas into one (FIG. 38(d)).
  • the solid-state imaging device 100 can correct the effective area by, for example, connecting a plurality of effective areas and smoothing the effective area after the connection (FIG. 38(e)).
  • the solid-state imaging device 100 connects a plurality of effective areas into one, but the number of effective areas after connection is not limited to one, and may be plural.
  • the solid-state imaging device 100 can correct the effective area by, for example, normalizing the effective area before correction into an area of a prescribed shape (FIG. 38(f)).
  • FIG. 38(f) shows an example of standardization with a rectangular area having a specified vertical and horizontal size as the specified shape.
  • the solid-state imaging device 100 corrects the effective area by, for example, determining a rectangular area of a prescribed shape so that the center of gravity of the area coincides with the center of gravity of the effective area before correction.
  • the solid-state imaging device 100 corrects the effective area, so that image data can be acquired in accordance with, for example, subsequent signal processing. Further, by correcting the effective area to a simple shape or reducing the number of multiple effective areas, it is possible to reduce the processing load of the subsequent signal processing.
  • the solid-state imaging device 100 performs the second imaging with the extraction region as the imaging range and outputs the captured image, but the present invention is not limited to this.
  • the solid-state imaging device 100 may correct the captured image.
  • FIG. 39 is a flowchart showing another example of the imaging process flow according to the embodiment of the present disclosure.
  • the imaging process shown in FIG. 39 is the same as the imaging process shown in FIG. 30 except that the captured image is corrected in step S501 after it is determined to end the imaging in step S108.
  • FIG. 40 is a diagram for explaining an example of correction of a captured image according to the embodiment of the present disclosure.
  • the solid-state imaging device 100 captures an imaging region composed of effective regions E1 to E4 including Enable pixels and an ineffective region D1 including Disable pixels, and produces a captured image M21. get.
  • the invalid area D1 includes image data actually captured by the second pixels 110B. That is, the invalid area D1 includes background data of the object ob (corresponding to the valid areas E1 to E4).
  • the solid-state imaging device 100 corrects the invalid area D1 of the captured image by replacing the data (pixel value) of the invalid area D1 with a predetermined value.
  • the solid-state imaging device 100 When one pixel of the captured image is represented by 12 bits, the solid-state imaging device 100 generates a captured image M22 in which the data of the invalid region is replaced with, for example, "FFF", as shown in the lower diagram of FIG.
  • Such correction can be performed by the second data processing unit 108B of the solid-state imaging device 100, for example.
  • the solid-state imaging device 100 performs correction by replacing the background (ineffective area D1) of the captured image with a predetermined value, thereby facilitating extraction of the object ob (effective areas E1 to E4) and performing subsequent image processing. Processing load can be reduced.
  • correction of the captured image is not limited to the example described above.
  • the solid-state imaging device 100 may perform correction for cutting out part of the captured image.
  • FIG. 41 is a block diagram showing a configuration example of the second data processing unit 108B according to the embodiment of the present disclosure.
  • the second data processing unit 108B includes an acquisition unit 1081, an output unit 1082, an evaluation unit 1083, and a selection unit 1084.
  • the acquisition unit 1081 acquires the captured image from the second readout circuit 103B.
  • the output unit 1082 outputs the area selected by the selection unit 1084 from the captured image to the processor 20 as an output image.
  • the evaluation unit 1083 performs image evaluation required for selection of an output image by the selection unit 1084 .
  • the evaluation unit 1083 calculates the area of the effective area included in the captured image, or calculates the center of gravity of the effective area.
  • the selection unit 1084 selects an output image from the captured images based on the evaluation by the evaluation unit 1083 . For example, the selection unit 1084 narrows down the captured image so that an extraction region including an effective region having the largest area among the plurality of effective regions is used as an output image. Alternatively, the selection unit 1084 may narrow down the captured image so that the output image is an area including the vicinity of the center of gravity of the effective area. For example, the selection unit 1084 sets the ROI so that the center of gravity of the ROI smaller than the captured image coincides with the center of gravity of the effective area, and selects the ROI as the output image.
  • the selection unit 1084 selects an output image from captured images based on the evaluation by the evaluation unit 1083. As a result, the data amount of the output image can be reduced.
  • the solid-state imaging device 100 sets the second imaging condition and executes the second imaging process after the first imaging process, but the present invention is not limited to this.
  • the solid-state imaging device 100 may perform provisional imaging of the second imaging after the first imaging process, and set the second imaging condition based on the result of the provisional imaging.
  • the solid-state imaging device 100 when the second imaging is performed after the object ob enters the distance range R0, it may not be possible to set the optimal second imaging conditions such as the exposure period and focus depending on the object ob as the subject. Therefore, after the first imaging process, the solid-state imaging device 100 temporarily performs the second imaging and then determines the second imaging conditions. Thereby, the solid-state imaging device 100 can set the second imaging condition according to the actual object ob.
  • FIG. 42 is a block diagram showing another example of the configuration of the solid-state imaging device 100 according to the embodiment of the present disclosure.
  • the solid-state imaging device 100 shown in FIG. 42 has the same configuration as the solid-state imaging device 100 shown in FIG. 11 except that the control circuit 105 has an evaluation unit 1051 .
  • the evaluation unit 1051 acquires the result of provisional imaging from the second data processing unit 108B.
  • the evaluation unit 1051 evaluates the brightness of the provisional imaging data and determines the exposure (accumulation) time for the second imaging.
  • the evaluation unit 1051 may perform focus adjustment using a pixel signal of the phase difference pixel.
  • the evaluation unit 1051 performs second imaging (main imaging) under the second imaging conditions by controlling each unit of the solid-state imaging device 100 according to the evaluation result.
  • FIG. 43 is a flowchart showing the flow of second imaging condition determination processing according to the embodiment of the present disclosure. For example, when setting the second imaging condition in step S106 of FIG. 30, the solid-state imaging device 100 executes the determination process shown in FIG.
  • the solid-state imaging device 100 performs second imaging (step S601).
  • imaging is temporary imaging.
  • the imaging conditions for the second imaging performed here may be predetermined conditions, or may be conditions set according to the results of the first imaging processing.
  • the solid-state imaging device 100 evaluates the captured image of the second imaging performed in step S601 (step S602).
  • a captured image is a provisional captured image obtained by provisional imaging.
  • the solid-state imaging device 100 determines the second imaging condition according to the evaluation result (step S603).
  • the solid-state imaging device 100 performs the second provisional imaging with the second pixels 110B immediately before the second main imaging, sets the second imaging conditions, and performs the second main imaging. can do Thereby, the solid-state imaging device 100 can perform the second main imaging under imaging conditions suitable for the object ob. That is, the solid-state imaging device 100 can perform the second imaging by setting appropriate second imaging conditions even in so-called "standby imaging".
  • the imaging range (ROI) for provisional imaging and the imaging range (ROI) for main imaging may be the same or different.
  • the solid-state imaging device 100 can shorten the acquisition time of the provisional captured image, and can shorten the time until the main imaging. Further, by setting the same imaging range for provisional imaging and main imaging, the solid-state imaging device 100 can set a more appropriate second imaging condition.
  • the solid-state imaging device 100 performs imaging processing, but the present invention is not limited to this.
  • the processor 20 may perform at least part of the imaging process.
  • FIG. 44 is a block diagram showing another example of the configuration of the solid-state imaging device 100 according to the embodiment of the present disclosure. 44 differs from the solid-state imaging device 100 shown in FIG. 11 in that the first data processing unit 108A outputs the first imaging result to the processor 20. In FIG. 11
  • the processor 20 performs the imaging process by controlling the solid-state imaging device 100 based on various data (first imaging results, etc.) received from the solid-state imaging device 100 .
  • the processor 20 may execute all imaging processing, or may execute a part of the imaging processing such as one of the first imaging processing and the second imaging processing.
  • the processing load on the solid-state imaging device 100 can be reduced by the processor 20 executing at least part of the imaging processing.
  • the technology (the present technology) according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure can be realized as a device mounted on any type of moving body such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, and robots. may
  • FIG. 45 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • a vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • vehicle control system 12000 includes drive system control unit 12010 , body system control unit 12020 , vehicle exterior information detection unit 12030 , vehicle interior information detection unit 12040 , and integrated control unit 12050 .
  • a microcomputer 12051, an audio/image output unit 12052, and an in-vehicle network I/F (Interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the driving system control unit 12010 includes a driving force generator for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism to adjust and a brake device to generate braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices equipped on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, winkers or fog lamps.
  • the body system control unit 12020 can receive radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives the input of these radio waves or signals and controls the door lock device, power window device, lamps, etc. of the vehicle.
  • the vehicle exterior information detection unit 12030 detects information outside the vehicle in which the vehicle control system 12000 is installed.
  • the vehicle exterior information detection unit 12030 is connected with an imaging section 12031 .
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of received light.
  • the imaging unit 12031 can output the electric signal as an image, and can also output it as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared rays.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • the in-vehicle information detection unit 12040 is connected to, for example, a driver state detection section 12041 that detects the state of the driver.
  • the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 detects the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing off.
  • the microcomputer 12051 calculates control target values for the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and controls the drive system control unit.
  • a control command can be output to 12010 .
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle lane deviation warning. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) functions including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle lane deviation warning. Cooperative control can be performed for the purpose of ADAS (Advanced Driver Assistance System) functions including collision avoidance or shock mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, or vehicle
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, etc. based on the information about the vehicle surroundings acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, so that the driver's Cooperative control can be performed for the purpose of autonomous driving, etc., in which vehicles autonomously travel without depending on operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the information detection unit 12030 outside the vehicle.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control aimed at anti-glare such as switching from high beam to low beam. It can be carried out.
  • the audio/image output unit 12052 transmits at least one of audio and/or image output signals to an output device capable of visually or audibly notifying the passengers of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 46 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the imaging unit 12031 has imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided at positions such as the front nose, side mirrors, rear bumper, back door, and windshield of the vehicle 12100, for example.
  • An image pickup unit 12101 provided in the front nose and an image pickup unit 12105 provided above the windshield in the passenger compartment mainly acquire images in front of the vehicle 12100 .
  • Imaging units 12102 and 12103 provided in the side mirrors mainly acquire side images of the vehicle 12100 .
  • An imaging unit 12104 provided in the rear bumper or back door mainly acquires an image behind the vehicle 12100 .
  • the imaging unit 12105 provided above the windshield in the passenger compartment is mainly used for detecting preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 46 shows an example of the imaging range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of an imaging unit 12104 provided on the rear bumper or back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera composed of a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 determines the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and changes in this distance over time (relative velocity with respect to the vehicle 12100). , it is possible to extract, as the preceding vehicle, the closest three-dimensional object on the traveling path of the vehicle 12100, which runs at a predetermined speed (for example, 0 km/h or more) in substantially the same direction as the vehicle 12100. can. Furthermore, the microcomputer 12051 can set the inter-vehicle distance to be secured in advance in front of the preceding vehicle, and perform automatic brake control (including following stop control) and automatic acceleration control (including following start control). In this way, cooperative control can be performed for the purpose of automatic driving in which the vehicle runs autonomously without relying on the operation of the driver.
  • automatic brake control including following stop control
  • automatic acceleration control including following start control
  • the microcomputer 12051 converts three-dimensional object data related to three-dimensional objects to other three-dimensional objects such as motorcycles, ordinary vehicles, large vehicles, pedestrians, and utility poles. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into those that are visible to the driver of the vehicle 12100 and those that are difficult to see. Then, the microcomputer 12051 judges the collision risk indicating the degree of danger of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, an audio speaker 12061 and a display unit 12062 are displayed. By outputting an alarm to the driver via the drive system control unit 12010 and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not the pedestrian exists in the captured images of the imaging units 12101 to 12104 .
  • recognition of a pedestrian is performed by, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as infrared cameras, and performing pattern matching processing on a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian.
  • the audio image output unit 12052 outputs a rectangular outline for emphasis to the recognized pedestrian. is superimposed on the display unit 12062 . Also, the audio/image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • the second obtaining unit obtains the second pixel output from the second pixel in the pixel area corresponding to the first pixel that did not detect the object in the predetermined distance range in the extraction area.
  • the solid-state imaging device according to (2) which acquires a signal of a predetermined value as the signal of 2.
  • the second acquisition unit acquires the second signal from the second pixels corresponding to the extraction region corresponding to the correction region obtained by correcting the detection region corresponding to the first pixels that detected the object.
  • the solid-state imaging device according to any one of items.
  • the solid-state imaging device wherein the first period and the second period correspond to the predetermined distance range of the object.
  • the second acquisition unit acquires the second pixel corresponding to the extraction region determined according to a comparison result between the first signal generated by the first pixel in the second period and a threshold.
  • the solid-state imaging device which acquires the second signal from.
  • the first acquisition unit acquires the first signal from the first pixel when the second acquisition unit acquires the second signal from the second pixel in the extraction region a plurality of times, The solid-state imaging device according to any one of (1) to (8).
  • An output selection unit that selects the second signal to output the second signal of at least a part of the extraction region based on the second signal acquired by the second acquisition unit.
  • (1) to (10) The solid-state imaging device according to any one of (1) to (11), wherein the second pixel includes an organic photoelectric conversion film.
  • a light source that emits light other than visible light a solid-state imaging device, a control unit that controls the light source and the solid-state imaging device, with
  • the solid-state imaging device is A set of a first pixel and a second pixel arranged in a pixel region, wherein the first pixel receives the non-visible light and the second pixel receives the visible light.
  • a pixel unit having a plurality of sets of a first acquisition unit that acquires a first signal from the first pixel; a second acquisition unit that acquires a second signal from the second pixel when an object within a predetermined distance range is detected based on the first signal;
  • An imaging system comprising: (15) the second acquisition unit acquires the second signal from the second pixels corresponding to an extraction region including the first pixels that detect the object;
  • the solid-state imaging device further includes a control unit that determines the extraction region based on the first signal and controls the second acquisition unit to acquire the second signal in the determined extraction region.
  • the second acquisition unit acquires the second signal from the second pixels corresponding to an extraction region including the first pixels that detect the object;
  • the control unit determines the extraction region based on the first signal, and controls the second acquisition unit to acquire the second signal in the determined extraction region.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

固体撮像装置（１００）は、画素部（１０１）と、第１の取得部（１０８Ａ）と、第２の取得部（１０８Ｂ）と、を備える。画素部（１０１）は、第１の画素（１１０Ａ）及び第２の画素（１１０Ｂ）の組（１１０）を複数有する。第１の画素（１１０Ａ）及び第２の画素（１１０Ｂ）の組（１１０）は、画素領域に配置される。第１の画素（１１０Ａ）は、可視光外の光を受光する。第２の画素（１１０Ｂ）は、可視光を受光する。第１の取得部（１０８Ａ）は、第１の画素（１１０Ａ）から第１の信号を取得する。第２の取得部（１０８Ｂ）は、第１の信号に基づいて所定の距離範囲（Ｒ０）にある物体（ｏｂ）が検出された場合に、第２の画素（１１０Ｂ）から第２の信号を取得する。

Description

固体撮像装置及び撮像システム
　本開示は、固体撮像装置及び撮像システムに関する。
　従来、固体撮像装置から、画像処理の対象とする領域（ＲＯＩ：Region　of　Interest）の信号を読み出す技術が存在する。当該技術に係る画像センサは、例えば、精度が低いが高速で画素の読み出しが可能な高速読み出し回路で画素の読み出しを行ってＲＯＩを決定する。次に、画像センサは、低速だが精度が高い読み出しが可能な精密読み出し回路で、決定したＲＯＩに属する画素の読み出しを行う。
特表２０１６－５０４８８９号公報
　上記技術では、ＲＯＩを決定するために画素の読み出しと、読み出した画像に対する処理が必要となるため、出力画像を得るまでに時間がかかってしまう。例えば、高速に移動する物体の撮像を行う場合、所望の物体を含むＲＯＩを決定してから出力画像を得るまでに時間がかかると、当該物体の撮像が行えない可能性がある。
　そこで、本開示では、撮像までの時間をより短縮することができる固体撮像装置及び撮像システムを提案する。
　なお、上記課題又は目的は、本明細書に開示される複数の実施形態が解決し得、又は達成し得る複数の課題又は目的の１つに過ぎない。
　本開示によれば、固体撮像装置が提供される。固体撮像装置は、画素部と、第１の取得部と、第２の取得部と、を備える。画素部は、第１の画素及び第２の画素の組を複数有する。第１の画素及び第２の画素の組は、画素領域に配置される。第１の画素は、可視光外の光を受光する。第２の画素は、可視光を受光する。第１の取得部は、前記第１の画素から第１の信号を取得する。第２の取得部は、前記第１の信号に基づいて所定の距離範囲にある物体が検出された場合に、前記第２の画素から第２の信号を取得する。
本開示の実施形態に係る撮像システムの構成例を示す図である。 本開示の実施形態に係る固体撮像装置による撮像処理の一例を説明するための図である。 本開示の実施形態に係る固体撮像装置による撮像処理の一例を説明するための図である。 本開示の実施形態に係る固体撮像装置による撮像処理の一例を説明するための図である。 本開示の実施形態に係る撮像処理により取得され得る画像データについて説明するための図である。 本開示の実施形態に係る撮像処理により取得され得る画像データについて説明するための図である。 本開示の実施形態に係る固体撮像装置による撮像処理の一例を説明するための図である。 本開示の実施形態に係る固体撮像装置による撮像処理の一例を説明するための図である。 本開示の実施形態に係る撮像処理により取得され得る画像データについて説明するための図である。 本開示の実施形態に係る撮像処理により取得され得る画像データについて説明するための図である。 本開示の実施形態に係る固体撮像装置の概略構成の一例を示すブロック図である。 本開示の実施形態に係る固体撮像装置の概略構成の他の例を示すブロック図である。 本開示の実施形態に係る固体撮像装置の概略構成の他の例を示すブロック図である。 本開示の実施形態に係る画素アレイ部の概略構成例を示す模式図である。 本開示の実施形態に係る固体撮像装置の断面構造例を示す断面図である。 本実施形態に係る単位画素の概略構成例を示す回路図である。 本開示の実施形態の単位画素の概略構成の他の例を示す回路図である。 本開示の実施形態の単位画素の概略構成の他の例を示す回路図である。 本開示の実施形態に係る画素アレイ部の概略構成の他の例を示す模式図である。 本開示の実施形態に係る固体撮像装置の断面構造の他の例を示す断面図である。 本開示の実施形態に係る単位画素の概略構成の他の例を示す回路図である。 本開示の実施形態に係る画素アレイ部の概略構成の他の例を示す模式図である。 本開示の実施形態に係る画素アレイ部の概略構成の他の例を示す模式図である。 本開示の実施形態に係る固体撮像装置の断面構造の他の例を示す模式図である。 本開示の実施形態に係る固体撮像装置の断面構造の他の例を示す模式図である。 本開示の実施形態に係る固体撮像装置の断面構造の他の例を示す模式図である。 本開示の実施形態に係る固体撮像装置の断面構造の他の例を示す模式図である。 本開示の実施形態に係る固体撮像装置の断面構造の他の例を示す模式図である。 本開示の実施形態に係る固体撮像装置の断面構造の他の例を示す模式図である。 本開示の実施形態に係る固体撮像装置の断面構造の他の例を示す模式図である。 本開示の実施形態に係る固体撮像装置の断面構造の他の例を示す模式図である。 本開示の実施形態に係る固体撮像装置の断面構造の他の例を示す模式図である。 本開示の実施形態に係るＩＲ画素の読み出し動作の一例を示すタイムチャートである。 本開示の実施形態に係るＲＧＢ画素の読み出し動作の一例を示すタイムチャートである。 本開示の実施形態に係る単位画素の読み出し動作の一例を示すタイムチャートである。 本開示の実施形態に係る物体検出動作について説明するための図である。 本開示の実施形態に係る物体検出動作について説明するための図である。 本開示の実施形態に係る固体撮像装置による撮像処理の流れの一例を示すフローチャートである。 本開示の実施形態に係る第１の撮像処理の流れの一例を示すフローチャートである。 本開示の実施形態に係る撮像範囲について説明するための図である。 本開示の実施形態に係る撮像範囲の算出処理の流れの一例を示すフローチャートである。 本開示の実施形態に係る固体撮像装置が出力する画像データのフォーマットの一例を示す図である。 本開示の実施形態に係る固体撮像装置が出力する画像データのフォーマットの一例を示す図である。 本開示の実施形態に係る固体撮像装置が出力する画像データのフォーマットの他の例を示す図である。 本開示の実施形態に係る第１の撮像処理の流れの他の例を示すフローチャートである。 本開示の実施形態に係る固体撮像装置による有効領域の修正例を示す図である。 本開示の実施形態に係る撮像処理の流れの他の例を示すフローチャートである。 本開示の実施形態に係る撮像画像の補正の一例を説明するための図である。 本開示の実施形態に係る第２のデータ処理部の構成例を示すブロック図である。 本開示の実施形態に係る固体撮像装置の構成の他の例を示すブロック図である。 本開示の実施形態に係る第２の撮像条件の決定処理の流れを示すフローチャートである。 本開示の実施形態に係る固体撮像装置の構成の他の例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に添付図面を参照しながら、本開示の実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　以下に説明される１又は複数の実施形態（実施例、変形例を含む）は、各々が独立に実施されることが可能である。一方で、以下に説明される複数の実施形態は少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わせて実施されてもよい。これら複数の実施形態は、互いに異なる新規な特徴を含み得る。したがって、これら複数の実施形態は、互いに異なる目的又は課題を解決することに寄与し得、互いに異なる効果を奏し得る。
　なお、説明は以下の順序で行うものとする。
　　１．撮像システムの概要
　　　１．１．撮像システムの構成例
　　　１．２．撮像処理
　　２．固体撮像装置の構成
　　　２．１．固体撮像装置の概略構成例
　　　２．２．画素アレイ部の構成例
　　　２．３．単位画素の断面構造例
　　　２．４．単位画素の回路構造例
　　　２．５．画素アレイ部の変形例
　　　２．６．有機材料
　　３．固体撮像装置の動作例
　　　３．１．読み出し動作
　　　３．２．検出動作
　　　３．３．撮像動作
　　　３．４．出力フォーマット
　　４．その他の実施形態
　　　４．１．有効領域の修正
　　　４．２．撮像画像の補正
　　　４．３．第２の撮像条件の設定
　　　４．４．プロセッサによる撮像処理
　　５．適用例
　　６．まとめ
　＜＜１．撮像システムの概要＞＞
　＜１．１．撮像システムの構成例＞
　図１は、本開示の実施形態に係る撮像システム１の構成例を示す図である。図１に示すように、撮像システム１は、撮像レンズ１０と、固体撮像装置１００と、光源３０と、記憶部４０と、プロセッサ２０と、を備える。撮像システム１は、例えばカメラ等、撮像機能を有する電子機器である。
　撮像レンズ１０は、入射光を集光してその像を固体撮像装置１００の受光面に結像する光学系の一例である。受光面とは、固体撮像装置１００における光電変換素子が配列する面であってよい。
　固体撮像装置１００は、少なくとも２つの撮像手段を有する。固体撮像装置１００は、一方の撮像手段を用いて入射光のうち可視光外の光（例えば赤外光）を光電変換し、所定の距離範囲（Range　of　Interest）に存在する物体を検出する。かかる撮像手段を、第１の撮像系とも記載する。
　また、固体撮像装置１００は、他方の撮像手段を用いて入射光のうち可視光を光電変換して画像データを生成する。かかる撮像手段を、第２の撮像系とも記載する。
　固体撮像装置１００は、撮像処理を実行し、例えば所定の距離範囲に物体が存在するか否かを検出し、当該物体を検出した場合に、画像データを生成する。
　光源３０は、レーザダイオードであって、例えばレーザ光を発光するように駆動される。光源３０は、面光源としてレーザ光を射出するＶＣＳＥＬ(Vertical　Cavity　Surface　Emitting　LASER)を適用し得る。ただし、光源３０は、ＶＣＳＥＬに限定されず、ＬＥＤ（Light　Emitting　Diode）などの種々の光源が使用されてもよい。また、光源３０は、点光源、面光源、線光源のいずれであってもよい。面光源又は線光源の場合、光源３０は、例えば、複数の点光源（例えばＶＣＳＥＬ）が１次元又は２次元に配列した構成を備えてもよい。なお、本実施形態において、光源３０は、例えば赤外（ＩＲ）光など、可視光の波長帯とは異なる波長帯（可視光外）の光を出射してよい。
　記憶部４０は、例えば、フラッシュメモリやＤＲＡＭ（Dynamic　Random　Access　Memory）やＳＲＡＭ（Static　Random　Access　Memory）等で構成され、固体撮像装置１００から入力された画像データ等を記録する。
　プロセッサ２０は、例えば、ＣＰＵ（Central　Processing　Unit）等を用いて構成され、オペレーティングシステムや各種アプリケーションソフトウエア等を実行するアプリケーションプロセッサや、ＧＰＵ（Graphics　Processing　Unit）やベースバンドプロセッサなどが含まれ得る。プロセッサ２０は、固体撮像装置１００から入力された画像データや記憶部４０から読み出した画像データ等に対し、必要に応じた種々処理を実行したり、ユーザへの表示を実行したり、所定のネットワークを介して外部へ送信したりする。
　＜１．２．撮像処理＞
　次に、撮像システム１による撮像処理の概要について説明する。当該撮像処理は、例えば固体撮像装置１００によって実行される。
　図２～４は、本開示の実施形態に係る固体撮像装置１００による撮像処理の一例を説明するための図である。
　図２に示すように、固体撮像装置１００は、撮像レンズ１０を介して所定の距離範囲Ｒ０に存在する物体ｏｂを検出する。ここで、距離範囲Ｒ０は、固体撮像装置１００の受光面との距離が、Ｒ１からＲ２の間の範囲である。後述するように、距離範囲Ｒ０は、例えばユーザからの指示に応じて決定される。また、撮像レンズ１０は、距離範囲Ｒ０に焦点が合うように設定される。なお、撮像レンズ１０は、物体ｏｂが無い空間に対していわゆる置きピンであらかじめ合焦位置が設定されているものとする。
　固体撮像装置１００は、距離範囲Ｒ０に物体が存在するか否かを検出する。図３にしめすように、まず、固体撮像装置１００は、例えば第１の撮像系（ＩＲを用いた測距）を用いて物体までの距離を検出する（ステップＳ１）。例えば、固体撮像装置１００は、ＴｏＦ（Time　of　Flight）センサとして機能することで、物体までの距離を検出する。
　次に、固体撮像装置１００は、検出した距離が距離範囲Ｒ０内に含まれるか否かを判定する（ステップＳ２）。検出した距離が距離範囲Ｒ０内に含まれない場合（ステップＳ２；Ｎｏ）、ステップＳ１に戻り、固体撮像装置１００は、物体までの距離を検出する。
　一方、検出した距離が距離範囲Ｒ０内に含まれる場合（ステップＳ２；Ｙｅｓ）、固体撮像装置１００は、第２の撮像系（ＲＧＢ撮像）を用いて撮像を行い、画像データを取得する（ステップＳ３）。例えば、固体撮像装置１００は、ＲＧＢ画像を撮像するイメージセンサとして機能することで、画像データを取得する。
　これにより、固体撮像装置１００は、図２に示すように物体ｏｂを含む画面全体を撮像し、図４に示す画像データＭ１を取得する。
　図５及び図６は、本開示の実施形態に係る撮像処理により取得され得る画像データについて説明するための図である。
　ここでは、図５の点線で示す領域Ｒ０１に含まれる線路までの距離が距離範囲Ｒ０に設定されているものとする。この場合、固体撮像装置１００は、距離範囲Ｒ０に物体（例えば電車）が入ると、撮像を行い図６に示すような画像データＭ０２を取得する。
　このように、本開示の実施形態に係る固体撮像装置１００は、物体が距離範囲Ｒ０に存在する場合に、画像データＭ０２を取得することができる。固体撮像装置１００は、可視光外（例えば、赤外光）を用いた測距によって、物体が距離範囲Ｒ０に存在するか否かを判定する。かかる判定は、画像データの画像処理によって判定する場合と比較して短時間で行うことができる。そのため、固体撮像装置１００は、撮像までの時間、すなわち、物体を検出してから画像データを取得するまでの時間をより短縮することができる。
　なお、ここでは、固体撮像装置１００による第２の撮像系での撮像が、固体撮像装置１００が撮像し得る最大の撮像範囲で行われるとしたが、これに限定されない。例えば、固体撮像装置１００が検出した物体ｏｂを含む抽出領域（例えばＲＯＩ）の撮像を行うようにしてもよい。かかる点について、図７及び図８を用いて説明する。
　図７及び図８は、本開示の実施形態に係る固体撮像装置１００による撮像処理の一例を説明するための図である。
　図７に示すように、固体撮像装置１００は、第１の撮像系を用いて物体ｏｂを検出すると、画面における物体ｏｂを含む領域をＲＯＩとして抽出し、第２の撮像系を用いて抽出したＲＯＩの撮像を行う。
　これにより、固体撮像装置１００は、図８に示すように、物体ｏｂを含むＲＯＩの画像データＭ２を取得することができる。
　図９及び図１０は、本開示の実施形態に係る撮像処理により取得され得る画像データについて説明するための図である。
　ここでは、固体撮像装置１００があらかじめ定めた距離範囲Ｒ０で物体が検出された場合に、検出された物体を含む撮像領域（ＲＯＩ）で撮像を行うものとする。
　例えば、固体撮像装置１００は、距離範囲Ｒ０内で物体（図９では鳥の群れ）を検出すると、当該物体を含む撮像領域Ｒ１１の撮像を行う。これにより、固体撮像装置１００は、図１０に示すように、鳥の群れを含む撮像領域の撮像画像として、画像データＭ１２を取得する。
　このように、固体撮像装置１００は、ＲＯＩに限定して撮像を行うことで、撮像までの時間、すなわち、物体を検出してから画像データＭ２を取得するまでの時間をより短縮することができる。また、固体撮像装置１００は、画像データＭ２のデータ量を削減し、データ出力帯域をより低減することができる。
　＜＜２．固体撮像装置の構成＞＞
　＜２．１．固体撮像装置の概略構成例＞
　次に、固体撮像装置１００の一例について説明する。図１１は、本開示の実施形態に係る固体撮像装置１００の概略構成の一例を示すブロック図である。図１１に示すように、固体撮像装置１００は、例えば、画素アレイ部１０１と、第１の行制御回路１０２Ａと、第２の行制御回路１０２Ｂと、第１の読み出し回路１０３Ａと、第２の読み出し回路１０３Ｂと、を備える。また、固体撮像装置１００は、パルス生成部１０４と、制御回路１０５と、基準電圧発生回路１０７と、第１のデータ処理部１０８Ａと、第２のデータ処理部１０８Ｂと、を備える。
　画素アレイ部１０１は、単位画素１１０が行方向及び列方向に、すなわち、２次元格子状（行列状ともいう）に配置された構成を有する。ここで、行方向とは画素行の画素の配列方向（図面中、横方向）をいい、列方向とは画素列の画素の配列方向（図面中、縦方向）をいう。
　各単位画素１１０は、所定の画素領域に形成される第１の画素１１０Ａと第２の画素１１０Ｂとを備える。単位画素１１０の具体的な回路構成や画素構造の詳細については後述するが、第１の画素１１０Ａ、第２の画素１１０Ｂは、受光した光量に応じた電荷を生成しかつ蓄積する光電変換素子を備え、入射光量に応じた電圧の画素信号を生成する。第１の画素１１０Ａ及び第２の画素１１０Ｂは、入射方向に沿って配置されたり、隣接して配置されたりするなど、互いに近傍に配置される。第１の画素１１０Ａは、可視光外の光（例えば赤外光）を受光するＩＲ画素である。一方、第２の画素１１０Ｂは、可視光（例えば、赤色光、緑色光、青色光）を受光するＲＧＢ画素である。本説明において、第１の画素１１０Ａを単にＩＲ画素１１０Ａと、第２の画素１１０Ｂを単にＲＧＢ画素１１０Ｂと称する場合がある。
　画素アレイ部１０１では、行列状の画素配列に対し、画素行ごとに画素駆動線ＬＤ１及びＬＤ２が行方向に沿って配線され、画素列ごとに垂直信号線ＶＳＬ１及びＶＳＬ２が列方向に沿って配線されている。例えば、画素駆動線ＬＤ１は、各行の第１の画素１１０Ａに接続され、画素駆動線ＬＤ２は、各行の第２の画素１１０Ｂに接続される。
　例えば、垂直信号線ＶＳＬ１は、各列の第１の画素１１０Ａに接続され、垂直信号線ＶＳＬ２は、各列の第２の画素１１０Ｂに接続される。ただし、これに限定されず、画素駆動線ＬＤ１及びＬＤ２は、互いに直交するように配線されていてもよい。同様に、垂直信号線ＶＳＬ１及びＶＳＬ２は、互いに直交するように配線されていてもよい。例えば、画素駆動線ＬＤ１が行方向に配線され、画素駆動線ＬＤ２が列方向に配線され、垂直信号線ＶＳＬ１が列方向に配線され、垂直信号線ＶＳＬ２が行方向に配線されてもよい。
　画素駆動線ＬＤ１は、第１の画素１１０Ａから画素信号を読み出す際の駆動を行うための制御信号を伝送する。画素駆動線ＬＤ２は、第２の画素１１０Ｂから画素信号を読み出す際の駆動を行うための制御信号を伝送する。
　図１１では、画素駆動線ＬＤ１及びＬＤ２がそれぞれ１本ずつの配線として示されているが、１本ずつに限られるものではない。画素駆動線ＬＤ１の一端は、第１の行制御回路１０２Ａの各行に対応した出力端に接続され、画素駆動線ＬＤ２の一端は、第２の行制御回路１０２Ｂの各行に対応した出力端に接続される。
　（ＩＲ画素の駆動構成）
　第１の画素１１０Ａは、後述において詳細に説明するが、入射光を光電変換して電荷を発生させる光電変換部と、光電変換部に発生した電荷の電荷量に応じた電圧値の画素信号を生成する画素回路とを備える。第１の画素１１０Ａは、第１の行制御回路１０２Ａによる制御に従い、垂直信号線ＶＳＬ１に画素信号を出現させる。
　第１の行制御回路１０２Ａは、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部１０１の第１の画素１１０Ａを全画素同時あるいは行単位等で駆動する。すなわち、第１の行制御回路１０２Ａは、当該第１の行制御回路１０２Ａを制御する制御回路１０５と共に、画素アレイ部１０１の各第１の画素１１０Ａの動作を制御する駆動部を構成する。第１の行制御回路１０２Ａは、その具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系との２つの走査系を備えている。
　読出し走査系は、各画素から信号を読み出すために、画素アレイ部１０１の各画素を行単位で順に選択走査する。各画素から読み出される画素信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりも露光時間分だけ先行して掃出し走査を行う。
　この掃出し走査系による掃出し走査により、読出し行の各画素の光電変換素子から不要な電荷が掃き出されることによって当該光電変換素子がリセットされる。そして、この掃出し走査系で不要電荷を掃き出す（リセットする）ことにより、所謂電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換素子の電荷を捨てて、新たに露光を開始する（電荷の蓄積を開始する）動作のことを言う。
　読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作又は電子シャッタ動作以降に受光した光量に対応している。そして、直前の読出し動作による読出しタイミング又は電子シャッタ動作による掃出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、各画素における電荷の蓄積期間（露光期間ともいう）となる。
　第１の行制御回路１０２Ａによって選択走査された画素行の各第１の画素１１０Ａから出力される画素信号は、画素列ごとに垂直信号線ＶＳＬ１の各々を通して第１の読み出し回路１０３Ａに入力される。第１の読み出し回路１０３Ａは、画素アレイ部１０１の画素列ごとに、選択行の各第１の画素１１０Ａから垂直信号線ＶＳＬ１を通して出力される画素信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。
　具体的には、第１の読み出し回路１０３Ａは、信号処理として少なくとも、ノイズ除去処理、例えばＣＤＳ（Correlated　Double　Sampling：相関二重サンプリング）処理や、ＤＤＳ（Double　Data　Sampling）処理を行う。例えば、ＣＤＳ処理により、リセットノイズや画素内の増幅トランジスタの閾値ばらつき等の画素固有の固定パターンノイズが除去される。第１の読み出し回路１０３Ａは、その他にも、例えば、ＡＤ（アナログ－デジタル）変換機能を備え、光電変換素子から読み出されたアナログの画素信号をデジタル信号に変換して出力する。
　（ＲＧＢ画素の駆動構成）
　第２の画素１１０Ｂは、後述において詳細に説明するが、入射光を光電変換して電荷を発生させる光電変換部と、光電変換部に発生した電荷の電荷量に応じた電圧値の画素信号を生成する画素回路とを備える。第２の画素１１０Ｂは、第２の行制御回路１０２Ｂによる制御に従い、垂直信号線ＶＳＬ２に画素信号を出現させる。
　第２の行制御回路１０２Ｂ及び第２の読み出し回路１０３Ｂは、処理対象が第２の画素１１０Ｂである点を除き、第１の行制御回路１０２Ａ及び第１の読み出し回路１０３Ａと同様の構成を有するため、ここでの説明を省略する。
　（その他構成）
　基準電圧発生回路１０７は、第１の参照信号ＶＲＥＦ１を第１の読み出し回路１０３Ａに供給し、第２の参照信号ＶＲＥＦ２を第２の読み出し回路１０３Ｂに供給する。基準電圧発生回路１０７は、例えばＤＡ変換回路などを用いて構成される。第１の参照信号ＶＲＥＦ１は、第１の読み出し回路１０３Ａで行われるＡＤ変換の参照信号として使用される。第２の参照信号ＶＲＥＦ２は、第２の読み出し回路１０３Ｂで行われるＡＤ変換の参照信号として使用される。
　なお、第１の参照信号ＶＲＥＦ１及び第２の参照信号ＶＲＥＦ２は、読み出し対象とする画素ごとに異なる値に設定され得る。これにより、固体撮像装置１００は、画素ごとにＳ／Ｎを維持することができる。
　制御回路１０５は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、当該タイミングジェネレータで生成された各種のタイミングを基に、行制御回路１０２、読み出し回路１０３、及び、パルス生成部１０４などの駆動制御を行う。
　また、制御回路１０５は、水平駆動（列制御）機能を有していてもよい。水平駆動機能は、例えばシフトレジスタやアドレスデコーダなどの構成によって実現され得る。水平駆動機能によって、読み出し回路１０３の画素列に対応する読み出し回路（以下、画素回路という）が順番に選択される。この水平駆動機能による選択走査により、読み出し回路１０３において画素回路ごとに信号処理された画素信号が順次出力される。
　パルス生成部１０４は、制御回路１０５からの制御に従い、光源３０を駆動するための駆動パルス信号を生成する。パルス生成部１０４は、生成した駆動パルス信号を光源３０に出力する。これにより、光源３０は、例えば赤外光を出射する。
　第１のデータ処理部１０８Ａは、少なくとも演算処理機能を有し、第１の読み出し回路１０３Ａから出力される画素信号に対して演算処理等の種々の信号処理を行う。第１のデータ処理部１０８Ａは、例えば、距離範囲Ｒ０内にある物体を検出したり、検出結果に応じて第２の撮像系の撮像領域（ＲＯＩ）を決定したりする。第１のデータ処理部１０８Ａは、第１の読み出し回路１０３Ａを介して第１の画素１１０Ａから画素信号（第１の信号）を取得する第１の取得部である。
　第１のデータ処理部１０８Ａは、決定した撮像領域に関する情報（以下、ＲＯＩ情報という）を第２の行制御回路１０２Ｂ、第２の読み出し回路１０３Ｂ、及び、制御回路１０５に出力する。
　第２のデータ処理部１０８Ｂは、少なくとも演算処理機能を有し、第２の読み出し回路１０３Ｂから出力される画素信号に対して演算処理等の種々の信号処理を行う。第２のデータ処理部１０８Ｂは、後述するように、距離範囲Ｒ０にある物体が検出された場合に、第２の読み出し回路１０３Ｂを介して第２の画素１１０Ｂから画素信号（第２の信号）を取得する第２の取得部である。第２のデータ処理部１０８Ｂは、信号処理を行って生成した画像データをプロセッサ２０に出力する。画像データは、例えば、固体撮像装置１００を含む撮像システム１におけるプロセッサ２０（図１参照）等において所定の処理が実行されたり、所定のネットワークを介して外部へ送信されたりしてもよい。
　なお、固体撮像装置１００は、データ処理部１０８での信号処理に必要なデータや、読み出し回路１０３及びデータ処理部１０８のうちのいずれか１つ以上で処理されたデータ等を一時的に保持するための記憶部を備えていてもよい。
　（装置構成の変形例）
　なお、固体撮像装置１００の構成は、図１１の例に限定されない。例えば、第１の撮像系及び第２の撮像系の一部の機能や構成は共有され得る。
　図１２は、本開示の実施形態に係る固体撮像装置１００の概略構成の他の例を示すブロック図である。図１２に示す固体撮像装置１００は、垂直信号線ＶＳＬ１及びＶＳＬ２の代わりに画素列ごとに垂直信号線ＶＳＬが列方向に沿って配線される点で、図１１の固体撮像装置１００と異なる。すなわち、図１２の固体撮像装置１００では、第１の画素１１０Ａと第２の画素１１０Ｂとが垂直信号線ＶＳＬを共有する。固体撮像装置１００は、垂直信号線ＶＳＬを介して、第１の画素１１０Ａからの画素信号の読み出しと第２の画素１１０Ｂからの画素信号の読み出しとを時分割で実行する。
　これにより、固体撮像装置１００の配線を縮小することができ、画素ピッチの縮小が可能となる。
　図１３は、本開示の実施形態に係る固体撮像装置１００の概略構成の他の例を示すブロック図である。図１３に示す固体撮像装置１００は、第１の読み出し回路１０３Ａ及び第２の読み出し回路１０３Ｂの代わりに読み出し回路１０３を備える点で、図１２の固体撮像装置１００と異なる。すなわち、図１３の固体撮像装置１００では、第１の画素１１０Ａと第２の画素１１０Ｂとが読み出し回路１０３を共有する。固体撮像装置１００は、読み出し回路１０３による画素信号の読み出しを、第１の画素１１０Ａ及び第２の画素１１０Ｂの読み出しを時分割で実行する。
　これにより、固体撮像装置１００は、画素アレイ部１０１の周辺回路の面積を削減することができる。
　＜２．２．画素アレイ部の構成例＞
　次に、画素アレイ部１０１の構成例について説明する。なお、ここでは、単位画素１１０が、ＲＧＢ三原色のカラー画像を取得するためのＲＧＢ画素１１０Ｂと、赤外（ＩＲ）光のモノクロ画像を取得するためのＩＲ画素１１０Ａとを含む場合を例示に挙げる。また、図１４及び以下では、ＲＧＢ三原色を構成する各色成分の光を透過させるカラーフィルタ３１ｒ、３１ｇ又は３１ｂを区別しない場合、その符号が３１とされている。
　図１４は、本開示の実施形態に係る画素アレイ部１０１の概略構成例を示す模式図である。図１４に示すように、画素アレイ部１０１は、ＲＧＢ画素１１０ＢとＩＲ画素１１０Ａとを含む単位画素１１０が光の入射方向に沿って配列した構造を備える。また、単位画素１１０は、２次元格子状に配列した構成を備える。すなわち、図１４では、ＲＧＢ画素１１０ＢとＩＲ画素１１０Ａとが単位画素１１０の配列方向（平面方向）に対して垂直方向に位置されている。これにより、本実施形態では、入射光の光路における上流側に位置するＲＧＢ画素１１０Ｂを透過した光は、このＲＧＢ画素１１０Ｂの下流側に位置するＩＲ画素１１０Ａに入射する。このような構成によれば、ＲＧＢ画素１１０Ｂの光電変換部ＰＤ２における入射光の入射面と反対側の面側にＩＲ画素１１０Ａの光電変換部ＰＤ１が配置される。それにより、本実施形態では、光の入射方向に沿って配列するＲＧＢ画素１１０ＢとＩＲ画素１１０Ａとの入射光の光軸が一致又は略一致している。
　なお、図１４では、ＲＧＢ画素１１０Ｂを構成する光電変換部ＰＤ２を有機材料で構成し、ＩＲ画素１１０Ａを構成する光電変換部ＰＤ１をシリコンなどの半導体材料で構成する場合を例示するが、これに限定されるものではない。例えば、光電変換部ＰＤ１と光電変換部ＰＤ２との両方が半導体材料で構成されてもよいし、光電変換部ＰＤ１と光電変換部ＰＤ２との両方が有機材料で構成されてもよいし、光電変換部ＰＤ２が半導体材料で構成され、光電変換部ＰＤ１が有機材料で構成されてもよい。若しくは、光電変換部ＰＤ１と光電変換部ＰＤ２との少なくとも一方が有機材料及び半導体材料とは異なる光電変換材料で構成されてもよい。
　＜２．３．単位画素の断面構造例＞
　次に、図１５を参照して、本開示の実施形態に係る固体撮像装置１００の断面構造例を説明する。図１５は、本開示の実施形態に係る固体撮像装置１００の断面構造例を示す断面図である。ここでは、単位画素１１０における光電変換部ＰＤ１及びＰＤ２が形成された半導体チップに着目してその断面構造例を説明する。
　また、以下の説明では、光の入射面が半導体基板５０の裏面側（素子形成面と反対側）である、いわゆる裏面照射型の断面構造を例示するが、これに限定されず、光の入射面が半導体基板５０の表面側（素子形成面側）である、いわゆる表面照射型の断面構造であってもよい。さらに、本説明では、ＲＧＢ画素１１０Ｂの光電変換部ＰＤ２に有機材料が用いられた場合を例示するが、上述したように、光電変換部ＰＤ１及びＰＤ２それぞれの光電変換材料には、有機材料及び半導体材料（無機材料ともいう）のうちの一方若しくは両方が用いられてよい。
　なお、光電変換部ＰＤ２の光電変換材料及び光電変換部ＰＤ１の光電変換材料の両方に半導体材料を用いる場合、固体撮像装置１００は、光電変換部ＰＤ２と光電変換部ＰＤ１とが同一の半導体基板５０に作り込まれた断面構造を有してもよいし、光電変換部ＰＤ２が作り込まれた半導体基板と光電変換部ＰＤ１が作り込まれた半導体基板とが貼り合わされた断面構造を有してもよいし、光電変換部ＰＤ１及びＰＤ２のうちの一方が半導体基板５０に作り込まれ、他方が半導体基板５０の裏面又は表面上に形成された半導体層に作り込まれた断面構造を有してもよい。
　図１５に示すように、本実施形態では、半導体基板５０にＩＲ画素１１０Ａの光電変換部ＰＤ１が形成され、半導体基板５０の裏面側（素子形成面と反対側）の面上に、ＲＧＢ画素１１０Ｂの光電変換部ＰＤ２が設けられた構造を備える。なお、図１５では、説明の都合上、半導体基板５０の裏面が紙面中上側に位置し、表面が下側に位置している。
　半導体基板５０には、例えば、シリコン（Ｓｉ）などの半導体材料が用いられてよい。ただし、これに限定されず、ＧａＡｓ、ＩｎＧａＡｓ、ＩｎＰ、ＡｌＧａＡｓ、ＩｎＧａＰ、ＡｌＧａＩｎＰ、ＩｎＧａＡｓＰ等の化合物半導体を含む種々の半導体材料が用いられてよい。
　（ＲＧＢ画素１１０Ｂ）
　ＲＧＢ画素１１０Ｂの光電変換部ＰＤ２は、絶縁層５３を挟んで、半導体基板５０の裏面側に設けられている。光電変換部ＰＤ２は、例えば、有機材料により構成された光電変換膜３４と、光電変換膜３４を挟むように配置された透明電極３３及び半導体層３５とを備える。光電変換膜３４に対して紙面中上側（以降、紙面中上側を上面側とし、下側を下面側とする）に設けられた透明電極３３は、例えば、光電変換部ＰＤ２のアノードとして機能し、下面側に設けられた半導体層３５は、光電変換部ＰＤ２のカソードとして機能する。
　カソードとして機能する半導体層３５は、絶縁層５３中に形成された読出し電極３６に電気的に接続される。読出し電極３６は、絶縁層５３及び半導体基板５０を貫通する配線６１、６２、６３及び６４に接続することで、半導体基板５０の表面（下面）側にまで電気的に引き出されている。なお、図１５には示されていないが、配線６４は、図４に示す浮遊拡散領域ＦＤ１に電気的に接続されている。
　カソードとして機能する半導体層３５の下面側には、絶縁層５３を挟んで蓄積電極３７が併設される。図１５には示されていないが、蓄積電極３７は、画素駆動線ＬＤにおける転送制御線に接続されており、上述したように、露光時には、光電変換部ＰＤ２に発生した電荷を蓄積電極３７の近傍の半導体層３５に集めるための電圧が印加され、読出し時には、蓄積電極３７の近傍の半導体層３５に集められた電荷を読出し電極３６を介して流出させるための電圧が印加される。
　読出し電極３６及び蓄積電極３７は、透明電極３３と同様に、透明な導電膜であってよい。透明電極３３並びに読出し電極３６及び蓄積電極３７には、例えば、酸化インジウムスズ（ＩＴＯ）や酸化亜鉛（ＩＺＯ）などの透明導電膜が用いられてよい。ただし、これらに限定されず、光電変換部ＰＤ１が検出対象とする波長帯の光を透過させ得る導電膜であれば、種々の導電膜が使用されてよい。
　また、半導体層３５には、例えば、ＩＧＺＯなどの透明な半導体層が用いられてよい。ただし、これらに限定されず、光電変換部ＰＤ１が検出対象とする波長帯の光を透過させ得る半導体層であれば、種々の半導体層が使用されてよい。
　さらに、絶縁層５３は、例えば、シリコン酸化膜（ＳｉＯ２）やシリコン窒化膜（ＳｉＮ）などの絶縁膜が使用されてよい。ただし、これらに限定されず、光電変換部ＰＤ１が検出対象とする波長帯の光を透過させ得る絶縁膜であれば、種々の絶縁膜が使用されてよい。
　アノードとして機能する透明電極３３の上面側には、封止膜３２を挟んでカラーフィルタ３１が設けられる。封止膜３２は、例えば、窒化シリコン（ＳｉＮ）などの絶縁材料で構成され、透明電極３３からアルミニウム（Ａｌ）やチタニウム（Ｔｉ）などの原子が拡散することを防止するために、これらの原子を含み得る。
　カラーフィルタ３１の配列については後述において説明するが、例えば、１つのＲＧＢ画素１１０Ｂに対しては、特定の波長成分の光を選択的に透過させるカラーフィルタ３１が設けられる。ただし、色情報を取得するＲＧＢ画素１１０Ｂの代わりに輝度情報を取得するモノクロ画素を設ける場合には、カラーフィルタ３１が省略されてもよい。
　（ＩＲ画素１１０Ａ）
　ＩＲ画素１１０Ａの光電変換部ＰＤ１は、例えば、半導体基板５０におけるｐウェル領域４２に形成されたｐ型半導体領域４３と、ｐ型半導体領域４３の中央付近に形成されたｎ型半導体領域４４とを備える。ｎ型半導体領域４４は、例えば、光電変換により発生した電荷（電子）を蓄積する電荷蓄積領域として機能し、ｐ型半導体領域４３は、光電変換により発生した電荷をｎ型半導体領域４４内に集めるための電位勾配を形成する領域として機能する。
　光電変換部ＰＤ１の光入射面側には、例えば、ＩＲ光を選択的に透過させるＩＲフィルタ４１が配置される。ＩＲフィルタ４１は、例えば、半導体基板５０の裏面側に設けられた絶縁層５３内に配置されてよい。ＩＲフィルタ４１を光電変換部ＰＤ１の光入射面に配置することで、光電変換部ＰＤ１への可視光の入射を抑制することが可能となるため、可視光に対するＩＲ光のＳ／Ｎ比を改善することができる。それにより、ＩＲ光のより正確な検出結果を得ることが可能となる。
　半導体基板５０の光入射面には、入射光（本例ではＩＲ光）の反射を抑制するために、例えば、微細な凹凸構造が設けられている。この凹凸構造は、いわゆるモスアイ構造と称される構造であってもよいし、モスアイ構造とはサイズやピッチが異なる凹凸構造であってもよい。
　半導体基板５０の表面（紙面中下面）側、すなわち、素子形成面側には、転送トランジスタ２１として機能する縦型トランジスタ４５と、電荷蓄積部として機能する浮遊拡散領域ＦＤ２とが設けられる。縦型トランジスタ４５のゲート電極は、半導体基板５０の表面からｎ型半導体領域４４にまで達しており、層間絶縁膜５６に形成された配線６５及び６６（画素駆動線ＬＤの転送制御線の一部）を介して行制御回路１０２に接続されている。
　縦型トランジスタ４５を介して流出した電荷は、浮遊拡散領域ＦＤ２に蓄積される。浮遊拡散領域ＦＤ２は、層間絶縁膜５６に形成された配線６７及び６８を介して、リセットトランジスタ２２のソース及び増幅トランジスタ２３のゲートに接続される。なお、リセットトランジスタ２２、増幅トランジスタ２３及び選択トランジスタ２４は、半導体基板５０の素子形成面に設けられてもよいし、半導体基板５０とは異なる半導体基板に設けられてもよい。
　なお、図１５には、１つの光電変換部ＰＤ１に対して２つの縦型トランジスタ４５（転送トランジスタ２１）が設けられた場合が例示されているが、これに限定されず、１つの縦型トランジスタ４５が設けられてもよいし、３以上の縦型トランジスタ４５が設けられてもよい。同様に、１つの光電変換部ＰＤ１に対して２つの浮遊拡散領域ＦＤ２が設けられた場合が例示されているが、これに限定されず、１つの浮遊拡散領域ＦＤ２が設けられてもよいし、３以上の浮遊拡散領域ＦＤ２が設けられてもよい。
　（画素分離構造）
　半導体基板５０には、複数の単位画素１１０の間を電気的に分離する画素分離部５４が設けられており、この画素分離部５４で区画された各領域内に、光電変換部ＰＤ１が設けられる。例えば、半導体基板５０の裏面（図中上面）側から固体撮像装置１００を見た場合、画素分離部５４は、例えば、複数の単位画素１１０の間に介在する格子形状を有しており、各光電変換部ＰＤ１は、この画素分離部５４で区画された各領域内に形成されている。
　画素分離部５４には、例えば、タングステン（Ｗ）やアルミニウム（Ａｌ）などの光を反射する反射膜が用いられてもよい。それにより、光電変換部ＰＤ１内に進入した入射光を画素分離部５４で反射させることが可能となるため、光電変換部ＰＤ１内での入射光の光路長を長くすることが可能となる。加えて、画素分離部５４を光反射構造とすることで、隣接画素への光の漏れ込みを低減することが可能となるため、画質や測距精度等をより向上させることも可能となる。なお、画素分離部５４を光反射構造とする構成は、反射膜を用いる構成に限定されず、例えば、画素分離部５４に半導体基板５０とは異なる屈折率の材料を用いることでも実現することができる。
　半導体基板５０と画素分離部５４との間には、例えば、固定電荷膜５５が設けられる。固定電荷膜５５は、例えば、半導体基板５０との界面部分において正電荷（ホール）蓄積領域が形成されて暗電流の発生が抑制されるように、負の固定電荷を有する高誘電体を用いて形成されている。固定電荷膜５５が負の固定電荷を有するように形成されていることで、その負の固定電荷によって、半導体基板１３８との界面に電界が加わり、正電荷（ホール）蓄積領域が形成される。
　固定電荷膜５５は、例えば、ハフニウム酸化膜（ＨｆＯ２膜）で形成することができる。また、固定電荷膜５５は、その他、例えば、ハフニウム、ジルコニウム、アルミニウム、タンタル、チタン、マグネシウム、イットリウム、ランタノイド元素等の酸化物の少なくとも１つを含むように形成することができる。
　なお、図１５には、画素分離部５４が半導体基板５０の表面から裏面にまで達する、いわゆるＦＴＩ（Full　Trench　Isolation）構造を有する場合が例示されているが、これに限定されず、例えば、画素分離部５４が半導体基板５０の裏面又は表面から半導体基板５０の中腹付近まで形成された、いわゆるＤＴＩ（Deep　Trench　Isolation）構造など、種々の素子分離構造を採用することが可能である。
　（瞳補正）
　カラーフィルタ３１の上面上には、シリコン酸化膜やシリコン窒化膜などによる平坦化膜５２が設けられる。平坦化膜５２の上面上は、例えば、ＣＭＰ（Chemical　Mechanical　Polishing）により平坦化され、この平坦化された上面上には、単位画素１１０ごとのオンチップレンズ５１が設けられる。各単位画素１１０のオンチップレンズ５１は、入射光を光電変換部ＰＤ１及びＰＤ２に集めるような曲率を備えている。なお、各単位画素１１０におけるオンチップレンズ５１、カラーフィルタ３１、ＩＲフィルタ４１、光電変換部ＰＤ１の位置関係は、例えば、画素アレイ部１０１の中心からの距離（像高）に応じて調節されていてもよい（瞳補正）。
　また、図１５に示す構造において、斜めに入射した光が隣接画素へ漏れ込むことを防止するための遮光膜が設けられてもよい。遮光膜は、半導体基板５０の内部に設けられた画素分離部５４の上方（入射光の光路における上流側）に位置し得る。ただし、瞳補正をする場合、遮光膜の位置は、例えば、画素アレイ部１０１の中心からの距離（像高）に応じて調節されていてもよい。このような遮光膜は、例えば、封止膜３２内や平坦化膜５２内に設けられてよい。また、遮光膜の材料には、例えば、アルミニウム（Ａｌ）やタングステン（Ｗ）などの遮光材料が用いられてよい。
　＜２．４．単位画素の回路構造例＞
　次に、単位画素１１０の回路構成例について説明する。図１６は、本実施形態に係る単位画素１１０の概略構成例を示す回路図である。図１６に示すように、単位画素１１０は、ＲＧＢ画素１１０Ｂと、ＩＲ画素１１０Ａとを１つずつ備える。
　（ＲＧＢ画素１１０Ｂ）
　ＲＧＢ画素１１０Ｂは、例えば、光電変換部ＰＤ２と、転送ゲート１１と、浮遊拡散領域ＦＤ１と、リセットトランジスタ１２と、増幅トランジスタ１３と、選択トランジスタ１４とを備える。
　選択トランジスタ１４のゲートには、画素駆動線ＬＤに含まれる選択制御線が接続され、リセットトランジスタ１２のゲートには、画素駆動線ＬＤに含まれるリセット制御線が接続され、転送ゲート１１の後述する蓄積電極（図１５の蓄積電極３７参照）には、画素駆動線ＬＤ２に含まれる転送制御線が接続される。また、増幅トランジスタ１３のソースには、第２の読み出し回路１０３Ｂに一端が接続される垂直信号線ＶＳＬ２が選択トランジスタ１４を介して接続される。
　以下の説明において、リセットトランジスタ１２、増幅トランジスタ１３及び選択トランジスタ１４は、まとめて画素回路とも称される。この画素回路には、浮遊拡散領域ＦＤ１及び／又は転送ゲート１１が含まれてもよい。
　光電変換部ＰＤ２は、例えば有機材料で構成され、入射した光を光電変換する。転送ゲート１１は、光電変換部ＰＤ２に発生した電荷を転送する。浮遊拡散領域ＦＤ１は、転送ゲート１１が転送した電荷を蓄積する。増幅トランジスタ１３は、浮遊拡散領域ＦＤ１に蓄積された電荷に応じた電圧値の画素信号を垂直信号線ＶＳＬ２に出現させる。リセットトランジスタ１２は、浮遊拡散領域ＦＤ１に蓄積された電荷を放出する。選択トランジスタ１４は、読出し対象のＲＧＢ画素１１０Ｂを選択する。
　光電変換部ＰＤ２のアノードは、接地されており、カソ－ドは、転送ゲート１１に接続される。転送ゲート１１は、図１５を用いて上述したように、例えば、蓄積電極３７と読出し電極３６とを備える。露光時には、光電変換部ＰＤ２に発生した電荷を蓄積電極３７の近傍の半導体層３５に集めるための電圧が、転送制御線を介して蓄積電極３７に印加される。読出し時には、蓄積電極３７の近傍の半導体層３５に集められた電荷を読出し電極３６を介して流出させるための電圧が、転送制御線を介して蓄積電極３７に印加される。
　読出し電極３６を介して流出した電荷は、読出し電極３６と、リセットトランジスタ１２のソースと、増幅トランジスタ１３のゲートとを接続する配線構造によって構成される浮遊拡散領域ＦＤ１に蓄積される。なお、リセットトランジスタ１２のドレインは、例えば、電源電圧ＶＤＤや電源電圧ＶＤＤとは異なるリセット電圧が供給される電源線に接続されてもよい。
　増幅トランジスタ１３のドレインは、例えば電源線に接続されてよい。増幅トランジスタ１３のソースは、選択トランジスタ１４のドレインに接続され、選択トランジスタ１４のソースは、垂直信号線ＶＳＬ２に接続される。
　浮遊拡散領域ＦＤ１は、蓄積している電荷をその電荷量に応じた電圧値の電圧に変換する。なお、浮遊拡散領域ＦＤ１は、例えば、対接地容量であってもよい。ただし、これに限定されず、浮遊拡散領域ＦＤ１は、転送ゲート１１のドレインとリセットトランジスタ１２のソースと増幅トランジスタ１３のゲートとが接続するノードにキャパシタなどを意図的に接続することで付加された容量等であってもよい。
　垂直信号線ＶＳＬ２は、第２の読み出し回路１０３Ｂにおいてカラム毎（すなわち、垂直信号線ＶＳＬ２毎）に設けられたＡＤ（Analog-to-Digital）変換回路（図示省略）に接続される。ＡＤ変換回路は、例えば、比較器とカウンタとを備え、基準電圧発生回路１０７（ＤＡＣ（Digital-to-Analog　Converter））から入力されたシングルスロープやランプ形状等の基準電圧と、垂直信号線ＶＳＬ２に出現した画素信号とを比較することで、アナログの画素信号をデジタルの画素信号に変換する。なお、ＡＤ変換回路は、例えば、ＣＤＳ（Correlated　Double　Sampling）回路などを備え、ｋＴＣノイズ等を低減可能に構成されていてもよい。
　（ＩＲ画素１１０Ａ）
　ＩＲ画素１１０Ａは、例えば、光電変換部ＰＤ１と、転送トランジスタ２１と、浮遊拡散領域ＦＤ２と、リセットトランジスタ２２と、増幅トランジスタ２３と、選択トランジスタ２４と、排出トランジスタ２５とを備える。すなわち、ＩＲ画素１１０Ａでは、ＲＧＢ画素１１０Ｂにおける転送ゲート１１が転送トランジスタ２１に置き換えられるとともに、排出トランジスタ２５が追加されている。
　転送トランジスタ２１に対する浮遊拡散領域ＦＤ２、リセットトランジスタ２２及び増幅トランジスタ２３の接続関係は、ＲＧＢ画素１１０Ｂにおける転送ゲート１１に対する浮遊拡散領域ＦＤ１、リセットトランジスタ１２及び増幅トランジスタ１３の接続関係と同様であってよい。また、増幅トランジスタ２３と選択トランジスタ２４と垂直信号線ＶＳＬ１との接続関係も、ＲＧＢ画素１１０Ｂにおける増幅トランジスタ１３と選択トランジスタ１４と垂直信号線ＶＳＬ２との接続関係と同様であってよい。
　転送トランジスタ２１のソースは、例えば、光電変換部ＰＤ１のカソードに接続され、ドレインは浮遊拡散領域ＦＤ２に接続される。また、転送トランジスタ２１のゲートには、画素駆動線ＬＤに含まれる転送制御線が接続される。
　排出トランジスタ２５のソースは、例えば、光電変換部ＰＤ１のカソードに接続され、ドレインは、電源電圧ＶＤＤや電源電圧ＶＤＤとは異なるリセット電圧が供給される電源線に接続されてよい。また、排出トランジスタ２５のゲートには、画素駆動線ＬＤ１に含まれる排出制御線が接続される。
　以下の説明において、リセットトランジスタ２２、増幅トランジスタ２３及び選択トランジスタ２４は、まとめて画素回路とも称される。この画素回路には、浮遊拡散領域ＦＤ２、転送トランジスタ２１及び排出トランジスタ２５のうちの１つ以上が含まれてもよい。
　光電変換部ＰＤ１は、例えば半導体材料で構成され、入射した光を光電変換する。転送トランジスタ２１は、光電変換部ＰＤ１に発生した電荷を転送する。浮遊拡散領域ＦＤ２は、転送トランジスタ２１が転送した電荷を蓄積する。増幅トランジスタ２３は、浮遊拡散領域ＦＤ２に蓄積された電荷に応じた電圧値の画素信号を垂直信号線ＶＳＬ１に出現させる。リセットトランジスタ２２は、浮遊拡散領域ＦＤ２に蓄積された電荷を放出する。選択トランジスタ２４は、読出し対象のＩＲ画素１１０Ａを選択する。
　光電変換部ＰＤ１のアノードは、接地されており、カソ－ドは、転送トランジスタ２１に接続される。転送トランジスタ２１のドレインは、リセットトランジスタ２２のソース及び増幅トランジスタ２３のゲートに接続されており、これらを接続する配線構造が、浮遊拡散領域ＦＤ２を構成する。光電変換部ＰＤ１から転送トランジスタ２１を介して流出した電荷は、浮遊拡散領域ＦＤ２に蓄積される。
　浮遊拡散領域ＦＤ２は、蓄積している電荷をその電荷量に応じた電圧値の電圧に変換する。なお、浮遊拡散領域ＦＤ２は、例えば、対接地容量であってもよい。ただし、これに限定されず、浮遊拡散領域ＦＤ２は、転送トランジスタ２１のドレインとリセットトランジスタ２２のソースと増幅トランジスタ２３のゲートとが接続するノードにキャパシタなどを意図的に接続することで付加された容量等であってもよい。
　排出トランジスタ２５は、光電変換部ＰＤ１に蓄積された電荷を排出して、光電変換部ＰＤ１をリセットする際にオン状態とされる。それにより、光電変換部ＰＤ１に蓄積された電荷が排出トランジスタ２５を介して電源線へ流出し、光電変換部ＰＤ１が露光されていない状態にリセットされる。
　垂直信号線ＶＳＬ１は、垂直信号線ＶＳＬ２と同様、第１の読み出し回路１０３Ａにおいてカラム毎（すなわち、垂直信号線ＶＳＬ１毎）に設けられたＡＤ変換回路（図示省略）に接続される。第１の読み出し回路１０３ＡのＡＤ変換回路は、第２の読み出し回路１０３ＢのＡＤ変換回路と同様の構成であってよい。
　（回路構成の変形例）
　続いて、図１６に示す単位画素１１０の回路構成の変形例について、いくつか例を挙げて説明する。
　図１７は、本開示の実施形態の単位画素１１０の概略構成の他の例を示す回路図である。図１７に示すように、単位画素１１０は、図１６に示す単位画素１１０と同様の構成において、垂直信号線ＶＳＬ１及びＶＳＬ２の代わりに垂直信号線ＶＳＬがスイッチ回路１３２を介して第１の読み出し回路１０３Ａ及び第２の読み出し回路１０３Ｂ（図１２参照）に接続されるように構成される。
　そこで、図１７では、垂直信号線ＶＳＬを、第１の読み出し回路１０３Ａ及び第２の読み出し回路１０３Ｂのどちらに接続するか切り替えるスイッチ回路１３１が設けられる。スイッチ回路１３１は、例えば、ＲＧＢ画素１１０Ｂ及び／又はＩＲ画素１１０Ａの画素回路と同じ半導体基板に設けられてもよいし、読み出し回路１０３が配置された半導体基板に設けられてもよいし、これらとは異なる半導体基板に設けられてもよい。また、スイッチ回路１３１を制御する制御信号は、行制御回路１０２から供給されてもよいし、制御回路１０５から供給されてもよいし、他の構成（例えば図１におけるプロセッサ２０等）から供給されてもよい。
　また、固体撮像装置１００が第１の読み出し回路１０３Ａ及び第２の読み出し回路１０３Ｂの代わりに共通の読み出し回路１０３で構成される場合（図１３参照）、スイッチ回路１３１が省略され得る。
　このような構成によれば、垂直信号線ＶＳＬや読み出し回路１０３の回路規模を縮小することが可能となるため、面積効率の向上による固体撮像装置１００の小型化や高解像度化等が可能となる。
　図１８は、本開示の実施形態の単位画素１１０の概略構成の他の例を示す回路図である。図１７に示すように、単位画素１１０は、図１７に示す単位画素１１０と同様の構成において、ＲＧＢ画素１１０Ｂの画素回路、及び、ＩＲ画素１１０Ａの画素回路の少なくとも一部を共有するように構成される。図１８では、リセットトランジスタ２２、増幅トランジスタ２３及び選択トランジスタ２４を省略し、リセットトランジスタ１２、増幅トランジスタ１３及び選択トランジスタ１４をＲＧＢ画素１１０Ｂ及びＩＲ画素１１０Ａが共有している。
　このような構成によれば、画素回路の回路規模を縮小することが可能となるため、面積効率の向上による固体撮像装置１００の小型化や高解像度化等が可能となる。
　なお、ここでは、ＲＧＢ画素１１０Ｂ及びＩＲ画素１１０Ａで画素回路を共有する場合について示したが、例えば複数のＲＧＢ画素１１０Ｂで画素回路を共有してもよく、複数のＩＲ画素１１０Ａで画素回路を共有してもよい。
　＜２．５．画素アレイ部の変形例＞
　上述した図１４では、１つのＩＲ画素１１０Ａに対して１つのＲＧＢ画素１１０Ｂが対応付けられている場合を例に挙げた。これに対し、ここでは、１つのＩＲ画素１１０Ａに対して複数のＲＧＢ画素１１０Ｂが対応付けられている場合を例に挙げる。
　（画素アレイ部１０１の構成例１）
　図１９は、本開示の実施形態に係る画素アレイ部１０１の概略構成の他の例を示す模式図である。図１９に示すように、画素アレイ部１０１は、２行２列に配列した４つのＲＧＢ画素１１０Ｂに対して１つのＩＲ画素１１０Ａが光の入射方向に配置された構造を備える単位画素１１０が２次元格子状に配列した構成を備える。すなわち、図１９では、４つのＲＧＢ画素１１０Ｂに対して１つのＩＲ画素１１０Ａが、単位画素１１０の配列方向（平面方向）に対して垂直方向に位置される。これにより、入射光の光路における上流側に位置する４つのＲＧＢ画素１１０Ｂを透過した光は、これら４つのＲＧＢ画素１１０Ｂの下流側に位置する１つのＩＲ画素１１０Ａに入射するように構成されている。したがって、図１９では、４つのＲＧＢ画素１１０Ｂで構成されたベイヤー配列の単位配列とＩＲ画素１１０Ａとの入射光の光軸が一致又は略一致している。
　（単位画素の断面構造例）
　図２０は、本開示の実施形態に係る固体撮像装置１００の断面構造の他の例を示す断面図である。なお、本説明では、図１９と同様に、各単位画素１１０が２行２列に配列した４つのＲＧＢ画素１１０Ｂと、１つのＩＲ画素１１０Ａとから構成されている場合を例に挙げる。また、以下の説明では、図１５と同様に、単位画素１１０における光電変換部ＰＤ１及びＰＤ２が形成された半導体チップに着目してその断面構造例を説明する。さらに、以下の説明において、図１５を用いて説明した固体撮像装置１００の断面構造と同様の構造については、それらを引用することで、重複する説明を省略する。
　図２０に示すように、図１５に例示した断面構造と同様の断面構造において、オンチップレンズ５１と、カラーフィルタ３１と、蓄積電極３７とが、２行２列の４つ（ただし、図２０では４つのうちの２つが示されている）に分割され、それにより、４つのＲＧＢ画素１１０Ｂが構成されている。なお、各単位画素１１０における４つのＲＧＢ画素１１０Ｂは、ベイヤー配列の基本配列を構成していてよい。
　（単位画素の回路構成例）
　図２１は、本開示の実施形態に係る単位画素１１０の概略構成の他の例を示す回路図である。なお、図２１では、図１６に示す単位画素１１０をベースとしているが、これに限定されず、図１７又は図１８の単位画素１１０をベースとすることも可能である。
　図２１に示すように、単位画素１１０は、複数のＲＧＢ画素１１０Ｂ－１～１１０Ｂ－Ｎ（図１９では、Ｎは４）と、１つのＩＲ画素１１０Ａとを備える。このように、１つの単位画素１１０が複数のＲＧＢ画素１１０Ｂを備える場合、複数のＲＧＢ画素１１０Ｂで１つの画素回路（リセットトランジスタ１２、浮遊拡散領域ＦＤ１、増幅トランジスタ１３及び選択トランジスタ１４）を共有することが可能である（画素共有）。そこで、図２１では、複数のＲＧＢ画素１１０Ｂ－１～１１０Ｂ－Ｎが、リセットトランジスタ１２、浮遊拡散領域ＦＤ１、増幅トランジスタ１３及び選択トランジスタ１４よりなる画素回路を共有する。すなわち、図２１では、共通の浮遊拡散領域ＦＤ１に複数の光電変換部ＰＤ１及び転送ゲート１１が接続されている。
　（画素アレイ部１０１の構成例２）
　なお、上述した画素アレイ部１０１では、ＩＲ画素１１０Ａ及びＲＧＢ画素１１０Ｂが積層されていたが、これに限定されない。ＩＲ画素１１０Ａ及びＲＧＢ画素１１０Ｂが同一平面に配置されていてもよい。
　図２２及び図２３は、本開示の実施形態に係る画素アレイ部１０１の概略構成の他の例を示す模式図である。図２２及び図２３では、画素アレイ部１０１を光の入射方向から見た図を示している。なお、ここでは、単位画素１１０が、ＲＧＢ三原色のカラー画像を取得するためのＲＧＢ画素１１０Ｂと、赤外（ＩＲ）光のモノクロ画像を取得するためのＩＲ画素１１０Ａとを含む場合を例示に挙げる。
　図２２に示すように、画素アレイ部１０１は、３つのＲＧＢ画素１１０Ｂと１つのＩＲ画素１１０Ａを２行２列に配列した単位画素１１０が２次元格子状に配列された構成を備える。なお、フィルタ３１ｄは、赤外光（ＩＲ）を選択的に透過させるフィルタである。
　あるいは、図２３に示すように、２行２列に配列した４つのＲＧＢ画素１１０Ｂに対して１つのＩＲ画素１１０Ａが、同一平面に配置されるようにしてもよい。図２３では、４つのＲＧＢ画素１１０Ｂ及び１つのＩＲ画素１１０Ａが、１つの単位画素１１０として２次元格子状に配列された構成を備える。
　（単位画素の断面構造例）
　図２４Ａ～図２４Ｉは、本開示の実施形態に係る固体撮像装置１００の断面構造の他の例を示す模式図である。図２４Ａ～図２４Ｉは模式図であり、必ずしも厳密に図示されたものではない。また、図２４Ａ～図２４Ｉは、光電変換部ＰＤ１及びＰＤ２の配置例を説明するための図であり、説明に不要な構成要素の説明は省略する。
　図２４Ａの例では、光電変換部ＰＤ１及びＰＤ２が同一平面に配置される。光電変換部ＰＤ２には、赤色の光を光電変換する光電変換部ＰＤ２ｒ、緑色の光を光電変換部ＰＤ２ｂ、青色の光を光電変換する光電変換部ＰＤ２ｂが含まれる。
　図２４Ｂ及び図２４Ｃに示すように、光電変換部ＰＤ１と光電変換部ＰＤ２とが積層されて配置されてもよい。図２４Ｂでは、入射光の光路における上流側に光電変換部ＰＤ１が配置され、下流側に光電変換部ＰＤ２が配置される。図２４Ｃでは、入射光の光路における上流側に光電変換部ＰＤ２が配置され、下流側に光電変換部ＰＤ１が配置される。図２４Ａと同様に、図２４Ｂ及び図２４Ｃの光電変換部ＰＤ２には、赤色の光を光電変換する光電変換部ＰＤ２ｒ、緑色の光を光電変換部ＰＤ２ｂ、青色の光を光電変換する光電変換部ＰＤ２ｂが含まれる。
　例えば、所定の可視光を光電変換する光電変換部ＰＤ２ｒ、ＰＤ２ｇ、ＰＤ２ｂの代わりに、後述するパンクロマチックな感光性有機光電変換膜など、紫外域から赤色域にかけて略全ての可視光の光電変換を行う光電変換膜を用いて光電変換部ＰＤ２を構成してもよい。この場合、図２４Ｄ及び図２４Ｅに示すように、各光電変換部ＰＤ２に対して、カラーフィルタ３１ｒ、３１ｇ、３１ｂを設けることで、光電変換部ＰＤ２は、赤色、緑色及び青色の光の光電変換をそれぞれ行う。なお、図２４Ｄでは、入射光の光路における上流側に光電変換部ＰＤ１が配置され、下流側に光電変換部ＰＤ２が配置される場合を示している。図２４Ｅでは、入射光の光路における上流側に光電変換部ＰＤ２が配置され、下流側に光電変換部ＰＤ１が配置される場合を示している。
　また、光電変換部ＰＤ２は、光電変換する光に応じて材料が異なっていてもよい。例えば、緑色の光を光電変換する光電変換部ＰＤ２ｇが、有機系の半導体材料で構成され、赤色及び青色の光を光電変換する光電変換部ＰＤ２ｒ、ＰＤ２ｂが、シリコンなどの半導体材料で構成されてもよい。
　図２４Ｆの例では、入射光の光路における上流側に光電変換部ＰＤ１が配置され、下流側に光電変換部ＰＤ２が配置される場合を示している。光電変換部ＰＤ２のうち緑色の光を光電変換する光電変換部ＰＤ２ｇは、赤色及び青色の光を光電変換する光電変換部ＰＤ２ｒ、ＰＤ２ｂと、光電変換部ＰＤ１との間に配置される。また、光電変換部ＰＤ２ｒ、ＰＤ２ｂに対して、それぞれカラーフィルタ３１ｒ、３１ｂが設けられる。なお、図２４Ｇは、入射光の光路における上流側に光電変換部ＰＤ２ｇが配置され、下流側に光電変換部ＰＤ１が配置される点を除き図２４Ｆと同じ構成を有する。
　シリコンなどの半導体材料で構成される光電変換部ＰＤ２ｒ、ＰＤ２ｂは、入射方向において積層して構成されてもよい。図２４Ｈの例では、入射光の光路における上流側に光電変換部ＰＤ２ｂが配置され、下流側に光電変換部ＰＤ２ｒが配置される場合を示している。なお、図２４Ｉは、入射光の光路における上流側に光電変換部ＰＤ２ｇが配置され、下流側に光電変換部ＰＤ１が配置される点を除き図２４Ｈと同じ構成を有する。
　＜２．６．有機材料＞
　本開示の実施形態において、光電変換膜３４の材料に有機系半導体を用いる場合、光電変換膜３４の層構造は、以下のような構造とすることが可能である。ただし、積層構造の場合、その積層順は適宜入れ替えることが可能である。
（１）ｐ型有機半導体の単層構造
（２）ｎ型有機半導体の単層構造
（３－１）ｐ型有機半導体層／ｎ型有機半導体層の積層構造
（３－２）ｐ型有機半導体層／ｐ型有機半導体とｎ型有機半導体との混合層（バルクヘテロ構造）／ｎ型有機半導体層の積層構造
（３－３）ｐ型有機半導体層／ｐ型有機半導体とｎ型有機半導体との混合層（バルクヘテロ構造）の積層構造
（３－４）ｎ型有機半導体層／ｐ型有機半導体とｎ型有機半導体との混合層（バルクヘテロ構造）の積層構造
（４）ｐ型有機半導体とｐ型有機半導体との混合層（バルクヘテロ構造）
　ここで、ｐ型有機半導体としては、ナフタレン誘導体、アントラセン誘導体、フェナントレン誘導体、ピレン誘導体、ペリレン誘導体、テトラセン誘導体、ペンタセン誘導体、キナクリドン誘導体、チオフェン誘導体、チエノチオフェン誘導体、ベンゾチオフェン誘導体、ベンゾチエノベンゾチオフェン誘導体、トリアリルアミン誘導体、カルバゾール誘導体、ペリレン誘導体、ピセン誘導体、クリセン誘導体、フルオランテン誘導体、フタロシアニン誘導体、サブフタロシアニン誘導体、サブポルフィラジン誘導体、複素環化合物を配位子とする金属錯体、ポリチオフェン誘導体、ポリベンゾチアジアゾール誘導体、ポリフルオレン誘導体等を挙げることができる。
　ｎ型有機半導体としては、フラーレン及びフラーレン誘導体〈例えば、Ｃ６０や、Ｃ７０，Ｃ７４等のフラーレン（高次フラーレン、内包フラーレン等）又はフラーレン誘導体（例えば、フラーレンフッ化物やＰＣＢＭフラーレン化合物、フラーレン多量体等）〉、ｐ型有機半導体よりもＨＯＭＯ及びＬＵＭＯが大きい（深い）有機半導体、透明な無機金属酸化物を挙げることができる。
　ｎ型有機半導体として、具体的には、窒素原子、酸素原子、硫黄原子を含有する複素環化合物、例えば、ピリジン誘導体、ピラジン誘導体、ピリミジン誘導体、トリアジン誘導体、キノリン誘導体、キノキサリン誘導体、イソキノリン誘導体、アクリジン誘導体、フェナジン誘導体、フェナントロリン誘導体、テトラゾール誘導体、ピラゾール誘導体、イミダゾール誘導体、チアゾール誘導体、オキサゾール誘導体、イミダゾール誘導体、ベンズイミダゾール誘導体、ベンゾトリアゾール誘導体、ベンズオキサゾール誘導体、ベンズオキサゾール誘導体、カルバゾール誘導体、ベンゾフラン誘導体、ジベンゾフラン誘導体、サブポルフィラジン誘導体、ポリフェニレンビニレン誘導体、ポリベンゾチアジアゾール誘導体、ポリフルオレン誘導体等を分子骨格の一部に有する有機分子、有機金属錯体やサブフタロシアニン誘導体を挙げることができる。
　フラーレン誘導体に含まれる基等として、ハロゲン原子；直鎖、分岐若しくは環状のアルキル基若しくはフェニル基；直鎖若しくは縮環した芳香族化合物を有する基；ハロゲン化物を有する基；パーシャルフルオロアルキル基；パーフルオロアルキル基；シリルアルキル基；シリルアルコキシ基；アリールシリル基；アリールスルファニル基；アルキルスルファニル基；アリールスルホニル基；アルキルスルホニル基；アリールスルフィド基；アルキルスルフィド基；アミノ基；アルキルアミノ基；アリールアミノ基；ヒドロキシ基；アルコキシ基；アシルアミノ基；アシルオキシ基；カルボニル基；カルボキシ基；カルボキソアミド基；カルボアルコキシ基；アシル基；スルホニル基；シアノ基；ニトロ基；カルコゲン化物を有する基；ホスフィン基；ホスホン基；これらの誘導体を挙げることができる。
　以上のような有機系材料から構成された光電変換膜３４の膜厚としては、次の値に限定されるものではないが、例えば、１×１０－８ｍ（メートル）乃至５×１０－７ｍ、好ましくは、２．５×１０－８ｍ乃至３×１０－７ｍ、より好ましくは、２．５×１０－８ｍ乃至２×１０－７ｍ、一層好ましくは、１×１０－７ｍ乃至１．８×１０－７ｍを例示することができる。尚、有機半導体は、ｐ型、ｎ型と分類されることが多いが、ｐ型とは正孔を輸送し易いという意味であり、ｎ型とは電子を輸送し易いという意味であり、無機半導体のように熱励起の多数キャリアとして正孔又は電子を有しているという解釈に限定されるものではない。
　緑色の波長の光を光電変換する光電変換膜３４を構成する材料としては、例えば、ローダミン系色素、メラシアニン系色素、キナクリドン誘導体、サブフタロシアニン系色素（サブフタロシアニン誘導体）等を挙げることができる。
　また、青色の光を光電変換する光電変換膜３４を構成する材料としては、例えば、クマリン酸色素、トリス－８－ヒドリキシキノリアルミニウム（Ａｌｑ３）、メラシアニン系色素等を挙げることができる。
　さらに、赤色の光を光電変換する光電変換膜３４を構成する材料としては、例えば、フタロシアニン系色素、サブフタロシアニン系色素（サブフタロシアニン誘導体）を挙げることができる。
　さらにまた、光電変換膜３４としては、紫外域から赤色域にかけて略全ての可視光に対して感光するパンクロマチックな感光性有機光電変換膜を用いることも可能である。
　＜＜３．固体撮像装置の動作例＞＞
　＜３．１．読み出し動作＞
　続いて、固体撮像装置１００による画素信号の読み出し動作について説明する。
　（ＩＲ画素１１０Ａ）
　図２５は、本開示の実施形態に係るＩＲ画素１１０Ａの読み出し動作の一例を示すタイムチャートである。図２５では、図１６に示すＩＲ画素１１０Ａの読み出し動作の一例を示している。
　図２５において「ＴＲＧ」、「ＲＳＴ」、「ＳＥＬ」は、それぞれ転送パルスＴＲＧ、リセットパルスＲＳＴ、選択信号ＳＥＬを示す。また、「ＯＦＧ」は、排出トランジスタ２５を駆動する駆動信号ＯＦＧを示す。「ＣＮＶ」は、第１の読み出し回路１０３Ａによる読み出しタイミングＣＮＶを示す。「ＦＤ」は、ＩＲ画素１１０Ａの浮遊拡散領域ＦＤ２に蓄積される電荷量を示し、「ＶＳＬ」は、垂直信号線ＶＳＬ１から出力される画素信号のレベル（電圧）を示している。また、ＤＯＵＴは、第１の読み出し回路１０３ＡによるＡＤ変換処理後のデータＤＯＵＴを示している。
　図２５のタイムチャートにおいて、初期状態では、選択信号ＳＥＬ、リセットパルスＲＳＴ及び転送パルスＴＲＧがそれぞれロー状態とされる。また、駆動信号ＯＦＧはハイ状態のため、光電変換部ＰＤ１は露光されず、電荷は蓄積されない。
　時点ｔ１において、リセットパルスＲＳＴがハイ状態とされ、浮遊拡散領域ＦＤ２の電荷が電源ＶＤＤに排出されることにより、浮遊拡散領域ＦＤ２の電位が所定電位ＶＤＤにリセットされる。
　時点ｔ２において、選択信号ＳＥＬがハイ状態とされて、選択トランジスタ２４がオンとされる。これにより、浮遊拡散領域ＦＤ２の電位に応じた信号が垂直信号線ＶＳＬ１に出力される。
　次に、時点ｔ３で、垂直信号線ＶＳＬ１に出力されたリセットレベル（黒レベル）の信号ＤＴＯＦＰ＿ｋが、第１の読み出し回路１０３Ａによりデジタル値に変換され、例えば、第１の読み出し回路１０３Ａが持つレジスタなどに一時的に記憶される。この信号ＤＴＯＦＰ＿ｋは、オフセット性のノイズである。この信号ＤＴＯＦＰ＿ｋの読み出しを、Ｐ相（Pre-Charge）読み出しと呼び、Ｐ相読み出しを行う期間をＰ相期間と呼ぶ。
　次に、時点ｔｇ１から時点ｔｇ２の間、駆動信号ＯＦＧがロー状態となり、転送パルスＴＲＧがハイ状態となる。これにより、光電変換部ＰＤ１が露光され、光電変換により生成された電荷が浮遊拡散領域ＦＤ２に蓄積される。時点ｔｇ１から時点ｔｇ２の間を有効受光期間と呼び、ＩＲ画素１１０Ａは、この期間で赤外光を受光する。
　時点ｔ４において、選択信号ＳＥＬがハイ状態とされて、選択トランジスタ２４がオンとされる。これにより、浮遊拡散領域ＦＤ２の電位に応じた信号が垂直信号線ＶＳＬ１に出力される。
　時点ｔ５で、垂直信号線ＶＳＬ１に出力された信号ＤＴＯＦＤ＿ｋが、第１の読み出し回路１０３Ａによりデジタル値に変換され、例えば、第１の読み出し回路１０３Ａが持つレジスタなどに一時的に記憶される。この信号ＤＴＯＦＤ＿ｋは、オフセット性のノイズと画素信号とを含む信号である。この信号ＤＴＯＦＤ＿ｋの読み出しを、Ｄ相（Data　Phase）読み出しと呼び、Ｄ相読み出しを行う期間をＤ相期間と呼ぶ。
　第１の読み出し回路１０３Ａは、記憶した信号ＤＴＯＦＰ＿ｋ及び信号ＤＴＯＦＤ＿ｋを第１のデータ処理部１０８Ａに供給する。第１のデータ処理部１０８Ａは、信号ＤＴＯＦＰ＿ｋと信号ＤＴＯＦＤ＿ｋとの差分を求める。これにより、オフセット性のノイズが除去された画素信号を得ることができる。
　（ＲＧＢ画素１１０Ｂ）
　図２６は、本開示の実施形態に係るＲＧＢ画素１１０Ｂの読み出し動作の一例を示すタイムチャートである。図２６では、図１６に示すＲＧＢ画素１１０Ｂの読み出し動作の一例を示している。
　図２６において「ＴＲＧ」、「ＲＳＴ」、「ＳＥＬ」は、それぞれ転送パルスＴＲＧ、リセットパルスＲＳＴ、選択信号ＳＥＬを示す。「ＣＮＶ」は、第２の読み出し回路１０３Ｂによる読み出しタイミングＣＮＶを示す。「ＦＤ」は、ＲＧＢ画素１１０Ｂの浮遊拡散領域ＦＤ１に蓄積される電荷量を示し、「ＶＳＬ」は、垂直信号線ＶＳＬ２から出力される画素信号のレベル（電圧）を示している。また、ＤＯＵＴは、第２の読み出し回路１０３ＢによるＡＤ変換処理後のデータＤＯＵＴを示している。
　図２６のタイムチャートにおいて、初期状態では、選択信号ＳＥＬ、リセットパルスＲＳＴ及び転送パルスＴＲＧがそれぞれロー状態とされる。この状態では、光電変換部ＰＤ１が露光され、光電変換により生成される電荷が光電変換部ＰＤ１に蓄積され続けている。
　時点ｔ１１において、リセットパルスＲＳＴ及び転送パルスＴＲＧがハイ状態とされ、浮遊拡散領域ＦＤ２の電荷が電源ＶＤＤに排出されることにより、浮遊拡散領域ＦＤ２の電位が所定電位ＶＤＤにリセットされる。
　時点ｔ１２において、選択信号ＳＥＬがハイ状態とされて、選択トランジスタ１４がオンとされる。これにより、浮遊拡散領域ＦＤ１の電位に応じた信号が垂直信号線ＶＳＬ２に出力される。
　時点ｔ１３で、垂直信号線ＶＳＬ２に出力されたリセットレベル（黒レベル）の信号ＤＲＧＢＰ＿ｋが、第２の読み出し回路１０３Ｂによりデジタル値に変換され、例えば、第２の読み出し回路１０３Ｂが持つレジスタなどに一時的に記憶される。この信号ＤＲＧＢＰ＿ｋは、オフセット性のノイズである。この信号ＤＲＧＢＰ＿ｋの読み出しを、Ｐ相（Pre-Charge）読み出しと呼び、Ｐ相読み出しを行う期間をＰ相期間と呼ぶ。
　次に、時点ｔ１４で転送パルスＴＲＧがハイ状態となる。これにより、光電変換部ＰＤ１で生成された電荷が浮遊拡散領域ＦＤ１に蓄積される。
　時点ｔ１５において、選択信号ＳＥＬがハイ状態とされて、選択トランジスタ１４がオンとされる。これにより、浮遊拡散領域ＦＤ１の電位に応じた信号が垂直信号線ＶＳＬ２に出力される。
　時点ｔ１６で、垂直信号線ＶＳＬ２に出力された信号ＤＲＧＢＤ＿ｋが、第２の読み出し回路１０３Ｂによりデジタル値に変換され、例えば、第２の読み出し回路１０３Ｂが持つレジスタなどに一時的に記憶される。この信号ＤＲＧＢＤ＿ｋは、オフセット性のノイズと画素信号とを含む信号である。この信号ＤＲＧＢＤ＿ｋの読み出しを、Ｄ相（Data　Phase）読み出しと呼び、Ｄ相読み出しを行う期間をＤ相期間と呼ぶ。
　第２の読み出し回路１０３Ｂは、記憶した信号ＤＲＧＢＰ＿ｋ及び信号ＤＲＧＢＤ＿ｋを第２のデータ処理部１０８Ｂに供給する。第２のデータ処理部１０８Ｂは、信号ＤＲＧＢＰ＿ｋと信号ＤＲＧＢＤ＿ｋとの差分を求める。これにより、オフセット性のノイズが除去された画素信号を得ることができる。
　（時分割）
　図２７は、本開示の実施形態に係る単位画素１１０の読み出し動作の一例を示すタイムチャートである。図２７では、図１７に示す単位画素１１０の読み出し動作の一例を示している。
　図２７に示すように、固体撮像装置１００は、時点Ｔ１で動作を「測距」から「撮像」に切り替える。固体撮像装置１００は、時点Ｔ１まで、ＩＲ画素１１０Ａの読み出し動作を実行し、測距を行うことで測距データを取得する。なお、ＩＲ画素１１０Ａの読み出し動作は図２５と同じであるため説明を省略する。
　次に、固体撮像装置１００は、時点Ｔ１以降、ＲＧＢ画素１１０Ｂの読み出し動作を実行し、撮像を行う。これにより、時点Ｔ１から１クロック経過した時点Ｔ２以降で、固体撮像装置１００は撮像データを取得する。なお、ＲＧＢ画素１１０Ｂの読み出し動作は図２６と同じであるため説明を省略する。
　＜３．２．検出動作＞
　続いて、図２８及び図２９を用いて、固体撮像装置１００による物体の検出動作について説明する。図２８及び図２９は、本開示の実施形態に係る物体検出動作について説明するための図である。
　図２８に示すように、固体撮像装置１００は、距離範囲Ｒ０内の物体ｏｂを検出する。ここでは、物体ｏｂが距離範囲Ｒ０内に存在する場合をＣａｓｅ１、物体ｏｂが距離範囲Ｒ０の固体撮像装置１００から遠い方の境界に存在する場合をＣａｓｅ２、物体ｏｂが距離範囲Ｒ０外に存在する場合をＣａｓｅ３として説明する。
　図２９に示す「Ｅｍｉｔ」は、光源３０を制御する制御信号Ｅｍｉｔであり、パルス生成部１０４で生成され光源３０に供給される。光源３０は、制御信号Ｅｍｉｔがハイ状態で発光し、時刻ｔ２１で照射光（ＩＲ）を出射する。
　光源３０が出射した照射光は、物体ｏｂで反射して、ＩＲ画素１１０Ａの光電変換部ＰＤ１に反射光として入射される（図２８参照）。反射光は、固体撮像装置１００と物体ｏｂとの間の距離に応じた時間差で光電変換部ＰＤ１に入射される。
　上述したように、ＩＲ画素１１０Ａは、有効受光期間で露光を行い、反射光を光電変換する。有効受光期間は、時点ｔｇ１から時点ｔｇ２の間であり、距離範囲Ｒ０に応じて設定される。固体撮像装置１００から距離Ｒ１離れた位置から距離Ｒ２離れた位置までの間が距離範囲Ｒ０であるとする（図３参照）と、Ｒ１＝ｃ／（ｔｇ１／２）、Ｒ２＝ｃ／（ｔｇ２／２）となる。固体撮像装置１００は、あらかじめ設定された距離範囲Ｒ０に応じて、有効受光期間を設定する。
　固体撮像装置１００は、有効受光期間で駆動信号ＯＦＧをロー状態とすることで、ＩＲ画素１１０Ａの露光を行う。
　物体ｏｂが距離範囲Ｒ０内に存在する場合（Ｃａｓｅ１）では、反射光は、有効受光期間内に光電変換部ＰＤ１に到達する。そのため、Ｃａｓｅ１では、浮遊拡散領域ＦＤ２に蓄積される電荷量は大きくなり、垂直信号線ＶＳＬ１から出力される画素信号のレベル（電圧）もＰ相の画素信号のレベルから大きく変化する。
　一方、物体ｏｂが距離範囲Ｒ０の境界付近に存在する場合（Ｃａｓｅ２）では、反射光が光電変換部ＰＤ１に到達する時刻は、Ｃａｓｅ１と比較して遅くなり、有効受光期間の終了付近になる。また、反射光の強度もＣａｓｅ１より小さくなる。そのため、Ｃａｓｅ２では、浮遊拡散領域ＦＤ２に蓄積される電荷量はＣａｓｅ１と比較して小さくなる。また、垂直信号線ＶＳＬ１から出力される画素信号のレベルの変化は、Ｃａｓｅ１と比較して小さくなる。
　また、物体ｏｂが距離範囲Ｒ０外に存在する場合（Ｃａｓｅ３）では、反射光は、有効受光期間を経過してから光電変換部ＰＤ１に到達するため、当該反射光による光電変換は行われない。そのため、Ｃａｓｅ３では、浮遊拡散領域ＦＤ２の電荷量に変化はなく、垂直信号線ＶＳＬ１から出力されるＤ相の画素信号レベルも、Ｐ相の画素信号レベルとほぼ同じになる。
　このように、固体撮像装置１００は、距離範囲Ｒ０に応じた有効受光期間を設定することで、距離範囲Ｒ０内に物体ｏｂが存在する場合に、信号レベルの高い画素信号を取得することができる。
　固体撮像装置１００の第１のデータ処理部１０８Ａは、例えば、Ｄ相の画素信号とＰ相の画素信号との差分をＩＲ画素１１０Ａの画素信号として第１の読み出し回路１０３Ａから取得する。第１のデータ処理部１０８Ａは、しきい値ＴＨと取得した画素信号とを比較し、比較結果から距離範囲Ｒ０に物体ｏｂが存在するか否かを判定する。
　例えば、第１のデータ処理部１０８Ａは、画素信号のレベルがしきい値ＴＨ以上であれば、距離範囲Ｒ０に物体ｏｂが存在すると判定する。
　＜３．３．撮像動作＞
　（撮像処理）
　図３０を用いて、固体撮像装置１００による撮像動作について説明する。図３０は、本開示の実施形態に係る固体撮像装置１００による撮像処理の流れの一例を示すフローチャートである。固体撮像装置１００は、撮像動作として図３０に示す撮像処理を実行する。
　図３０に示すように、固体撮像装置１００は、距離範囲Ｒ０を設定する（ステップＳ１０１）。例えば、距離範囲Ｒ０は、ユーザが具体的な距離の範囲を直接入力することで設定され得る。あるいは、ユーザが、固体撮像装置１００の焦点をあらかじめ所望の位置に合わせておく、いわゆる置きピンを行うことで、距離範囲Ｒ０を指定してもよい。この場合、固体撮像装置１００は、焦点位置に応じた距離範囲Ｒ０を設定する。
　次に、固体撮像装置１００は、光源３０をＯＦＦして撮像を行い、背景光レベルを取得する（ステップＳ１０２）。続いて、固体撮像装置１００は、取得した背景光レベルに応じて、第１の撮像条件を設定する（ステップＳ１０３）。ここで、第１の撮像は、距離範囲Ｒ０に存在する物体ｏｂを検出するための撮像であり、ＩＲによる測距（例えばＴｏＦ）を行うための撮像である。
　固体撮像装置１００は、例えば背景光レベルと距離範囲Ｒ０に応じて光源３０の照射レベル及び発光時間を、第１の撮像条件として設定する。また、固体撮像装置１００は、有効受光期間のｔｇ１、ｔｇ２（図２９参照）や、１回の撮像で行う積算回数を第１の撮像条件として設定する。
　なお、上記第１の撮像条件は一例であり、これに限定されない。例えばあらかじめ規定の積算回数で撮像を行う場合等、固体撮像装置１００は、第１の撮像条件の設定を一部省略してもよい。あるいは、固体撮像装置１００は、上記以外の第１の撮像条件を設定するようにしてもよい。
　続いて、固体撮像装置１００は、第１の撮像処理を実行し（ステップＳ１０４）、距離範囲Ｒ０に物体ｏｂが存在するか否かを検出する。第１の撮像処理の詳細については後述する。
　固体撮像装置１００は、第２の撮像を行うか否かを判定する（ステップＳ１０５）。第２の撮像は、物体ｏｂを撮像するものであり、例えばカラー画像を取得するための撮像である。
　固体撮像装置１００は、撮像対象である物体ｏｂが距離範囲Ｒ０内に存在しない場合、第２の撮像を行わないと判定し（ステップＳ１０５；Ｎｏ）、ステップＳ１０８に進む。
　一方、固体撮像装置１００は、撮像対象である物体ｏｂが距離範囲Ｒ０内に存在する場合、第２の撮像を行うと判定し（ステップＳ１０５；Ｙｅｓ）、第２の撮像条件を設定する（ステップＳ１０６）。例えば、固体撮像装置１００は、第２の撮像の露光時間や走査範囲（撮像画像のサイズ）等を設定する。なお、固体撮像装置１００は、駆動対象行と読み出し対象列を指定することで走査範囲を設定する。
　上述したように、固体撮像装置１００は、距離範囲Ｒ０内に物体ｏｂが存在した場合、画面全体の撮像を行う場合（図３及び図４参照）と、物体ｏｂを含む抽出領域の撮像を行う場合（図７及び図８参照）とがある。
　画面全体の撮像を行う場合、固体撮像装置１００は、全てのＲＧＢ画素１１０Ｂを対象として走査範囲を設定する。一方、抽出領域の撮像を行う場合、固体撮像装置１００は、抽出領域を設定し、設定した抽出領域のＲＧＢ画素１１０Ｂを対象として走査範囲を設定する。なお、抽出領域の設定の詳細については後述する。
　固体撮像装置１００は、第２の撮像処理を実行し（ステップＳ１０７）、撮像画像を得る。固体撮像装置１００は、撮像を終了するか否かを判定する（ステップＳ１０８）。
　撮像を終了する場合（ステップＳ１０８；Ｙｅｓ）、固体撮像装置１００は、撮像画像を後段のプロセッサ２０（図１参照）に出力し（ステップＳ１０９）、処理を終了する。
　一方、撮像を継続する場合（ステップＳ１０８；Ｎｏ）、固体撮像装置１００は、物体ｏｂの再検出を行うか否かを判定する（ステップＳ１１０）。
　例えば、物体ｏｂが高速で移動する場合、固体撮像装置１００は、第２の撮像を行うたびに再度物体ｏｂの検出を行うことで、物体ｏｂを高速に追尾し、撮像することができる（高速追尾モード）。一方、物体ｏｂの移動速度が遅い場合、固体撮像装置１００は、物体ｏｂの検出を省略し、ステップＳ１０６で設定した第２の撮像条件で、第２の撮像を行うことで、物体ｏｂの検出負荷を低減することができる。
　固体撮像装置１００は、高速追尾モードで撮像を行う場合、物体ｏｂの再検出を行うと判定し（ステップＳ１１０；Ｙｅｓ）、ステップＳ１０４に戻る。一方、高速追尾モードで撮像を行わない場合、物体ｏｂの再検出を行わないと判定し（ステップＳ１１０；Ｎｏ）、ステップＳ１０７に戻る。
　（第１の撮像処理）
　次に、図３１を用いて、第１の撮像処理について説明する。図３１は、本開示の実施形態に係る第１の撮像処理の流れの一例を示すフローチャートである。
　固体撮像装置１００は、第１の撮像処理で使用する変数の初期化を行う（ステップＳ２０１）。例えば、固体撮像装置１００は、積算回数をカウントする変数の初期化を行う。
　次に、固体撮像装置１００は、第１の撮像条件に基づいた発光レベル及び発光時間で光源３０をＯＮし、照射光を出射させる（ステップＳ２０２）。続いて、固体撮像装置１００は、有効受光期間で反射光の受光を行う（ステップＳ２０３）。
　固体撮像装置１００は、有効受光期間で蓄積した電荷の読み出しを行い、読み出し結果を積算する（ステップＳ２０４）。固体撮像装置１００は、ステップＳ２０４で実行した積算の回数がしきい値ＴＨ１より大きいか否かを判定する（ステップＳ２０５）。積算回数がしきい値ＴＨ１以下の場合（ステップＳ２０５；Ｎｏ）、ステップＳ２０２に戻る。
　積算回数がしきい値ＴＨ１より大きい場合（ステップＳ２０５；Ｙｅｓ）、固体撮像装置１００は、積算結果がしきい値ＴＨ２より大きいか否かを判定する（ステップＳ２０６）。
　上述したように、距離範囲Ｒ０に物体ｏｂが存在する場合、有効受光期間内に反射光による受光が行われ、画素信号が大きくなる。そのため、距離範囲Ｒ０に物体ｏｂが存在する場合、積算結果がしきい値ＴＨ２より大きくなる。
　固体撮像装置１００は、積算結果がしきい値ＴＨ２より大きい場合（ステップＳ２０６；Ｙｅｓ）、第１の画素（ＩＲ画素）１１０Ａで距離範囲Ｒ０にある物体ｏｂを検出したとして、対応する第２の画素（ＲＧＢ画素）１１０Ｂを「有効（Enable）」に設定する（ステップＳ２０７）。ここで、対応する第２の画素１１０Ｂとは、物体ｏｂを検出した第１の画素１１０Ａと同じ単位画素１１０に含まれる画素であり、例えば、物体ｏｂを検出した第１の画素１１０Ａの近傍に配置される画素である。
　一方、固体撮像装置１００は、積算結果がしきい値ＴＨ２以下の場合（ステップＳ２０６；Ｎｏ）、第１の画素で距離範囲Ｒ０にある物体ｏｂを検出しなかったとして、対応する第２の画素１１０Ｂを「無効（Disable）」に設定する（ステップＳ２０８）。
　固体撮像装置１００は、第２の画素１１０Ｂに対し、「有効」又は「無効」を設定すると、第２の撮像の撮像範囲（抽出領域）の算出処理を実行する（ステップＳ２０９）。例えば、全ての第２の画素１１０Ｂが「無効」に設定された場合、固体撮像装置１００は、距離範囲Ｒ０内に物体ｏｂが存在しないとして、撮像範囲はない（第２の撮像を行わない）と決定する。
　一方、少なくとも１つの第２の画素１１０Ｂが「有効」に設定された場合、固体撮像装置１００は、距離範囲Ｒ０内に物体ｏｂが存在するとして撮像範囲を設定する。例えば、上述したように、第２の撮像として全画面の撮像を行う場合、固体撮像装置１００は、全画面、換言すると、全ての第２の画素１１０Ｂを撮像範囲として算出する。
　上述したように、第２の撮像として物体ｏｂを含む抽出領域の撮像を行う場合、固体撮像装置１００は、抽出領域（ＲＯＩ）を撮像範囲に設定する。以下、図３２及び図３３を用いて、抽出領域を撮像範囲とする場合の撮像範囲の算出処理について説明する。
　（撮像範囲の算出処理）
　図３２は、本開示の実施形態に係る撮像範囲について説明するための図である。図３２では、「有効」に設定された第２の画素１１０Ｂを含む有効領域Ｅ１～Ｅ４を黒色で示している。
　図３２に示すように、固体撮像装置１００は、全画面Ｒ１０のうち、有効領域Ｅ１～Ｅ４を含む抽出領域Ｒ２０を撮像範囲として算出する。図３２では、抽出領域Ｒ２０が、座標（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）で指定される矩形領域である場合について示している。また、以下の説明では、図３２に示すように、固体撮像装置１００の全画面Ｒ１０の上から下方向に１列、２列、・・・、ｊ列、・・・、Ｍ列として説明し、左から右方向に１行、２行、・・・、ｉ行、・・・、Ｎ行として説明する。
　次に、図３３を用いて、撮像範囲の算出処理の流れについて説明する。図３３は、本開示の実施形態に係る撮像範囲の算出処理の流れの一例を示すフローチャートである。
　まず、固体撮像装置１００は、処理に使用する変数の初期化を行う（ステップＳ３０１）。例えば、固体撮像装置１００は、変数Ｘ１ｊ＝Ｎ、変数Ｘ２ｊ＝１（ｊ＝１～Ｍ）を代入することで、これらの変数を初期化する。なお、Ｍは固体撮像装置１００の第２の画素１１０Ｂの列数、Ｎは行数を示している。次に、固体撮像装置１００は、変数ｊに１を代入する（ステップＳ３０２）。
　固体撮像装置１００は、画素アレイ部１０１のｊ列におけるＮ行分のデータＤｉ（ｉ＝１～Ｎ）を取得する（ステップＳ３０３）。ここで、データＤｉは、第２の画素１１０Ｂに関するデータであり、第２の画素１１０Ｂが「有効」と設定された画素（以下、Enable画素と呼ぶ）であるか否かを示すデータが含まれる。
　固体撮像装置１００は、データＤｉを１からＮの方向にスキャンし、最初に検出したEnable画素のＸ座標を変数Ｘ１ｊに格納する（ステップＳ３０３）。続いて、固体撮像装置１００は、データＤｉを逆方向、すなわちＮから１の方向にスキャンし、最初に検出したEnable画素のＸ座標を変数Ｘ２ｊに格納する（ステップＳ３０４）。
　次に、固体撮像装置１００は、変数ｊを１増やし（ｊ＝ｊ＋１）（ステップＳ３０６）、ｊがＭより大きいか否かを判定する（ステップＳ３０７）。最後の列までスキャンが完了しておらず、ｊがＭ以下である場合（ステップＳ３０７；Ｎｏ）、固体撮像装置１００は、ステップＳ３０３に戻り、次の列のスキャンを行う。
　一方、最後の列までスキャンが完了し、ｊがＭより大きい場合（ステップＳ３０７；Ｙｅｓ）、固体撮像装置１００は、変数Ｘ１ｊ、Ｘ２ｊに応じて、撮像範囲Ｒ２０のＸ座標Ｘ１、Ｘ２を決定する（ステップＳ３０８）。具体的に、固体撮像装置１００は、変数Ｘ１ｊ（ｊ＝１～Ｍ）の中で座標が最も小さいものをＸ１に決定する。また、固体撮像装置１００は、変数Ｘ２ｊの中で座標が最も大きいものをＸ２に決定する。
　次に、固体撮像装置１００は、変数の初期化を行う（ステップＳ３０９）。固体撮像装置１００は、撮像範囲Ｒ２０のＹ座標Ｙ１をＹ１＝Ｎとする。続いて、固体撮像装置１００は、変数ｊに１を代入する（ステップＳ３１０）。
　固体撮像装置１００は、ｊ列における変数Ｘ１ｊに格納したEnable画素のＸ座標（以下、単にＸ１ｊと記載する）が、変数Ｘ２ｊに格納したEnable画素のＸ座標（以下、単にＸ２ｊと記載する）以下か否かを判定する（ステップＳ３１１）。
　上述したように、変数Ｘ１ｊには、行番号が小さい方から順にスキャンした場合に、最初に検出したEnable画素のＸ座標が格納され、変数Ｘ２ｊには、行番号が大きい方から順にスキャンした場合に、最初に検出したEnable画素のＸ座標が格納される。従って、Ｘ１ｊ＞Ｘ２ｊである場合、ｊ列にEnable画素がなく、ｊ列の全ての第２の画素１１０ＢがDisable画素となる。また、Ｘ１ｊ≦Ｘ２ｊである場合、ｊ列に少なくとも１つのEnable画素が存在する。
　そこで、固体撮像装置１００は、Ｘ１ｊ＞Ｘ２ｊ、すなわち、ｊ列にEnable画素がないと判定した場合（ステップＳ３１１；Ｎｏ）、固体撮像装置１００は、変数ｊを１増やし（ｊ＝ｊ＋１）（ステップＳ３１２）、ｊがＭより大きいか否かを判定する（ステップＳ３１３）。最後の列までスキャンが完了しておらず、ｊがＭ以下である場合（ステップＳ３１３；Ｎｏ）、固体撮像装置１００は、ステップＳ３１１に戻る。最後の列までスキャンが完了し、ｊがＭより大きい場合（ステップＳ３１３；Ｙｅｓ）、固体撮像装置１００は、ステップＳ３２１に進む。
　一方、Ｘ１ｊ≦Ｘ２ｊ、すなわち、ｊ列にEnable画素があると判定した場合（ステップＳ３１１；Ｙｅｓ）、撮像範囲Ｒ２０のＹ座標Ｙ１をＹ１＝ｊとする（ステップＳ３１４）。
　次に、固体撮像装置１００は、変数の初期化を行う（ステップＳ３１５）。固体撮像装置１００は、撮像範囲Ｒ２０のＹ座標Ｙ２をＹ２＝１とする。続いて、固体撮像装置１００は、変数ｊにＭを代入する（ステップＳ３１６）。
　固体撮像装置１００は、ｊ列におけるEnable画素のＸ座標Ｘ１ｊが、Enable画素のＸ座標Ｘ２ｊ以下か否かを判定する（ステップＳ３１７）。
　固体撮像装置１００は、Ｘ１ｊ＞Ｘ２ｊ、すなわち、ｊ列にEnable画素がないと判定した場合（ステップＳ３１７；Ｎｏ）、固体撮像装置１００は、変数ｊを１減らし（ｊ＝ｊ－１）（ステップＳ３１８）、ｊが０より大きいか否かを判定する（ステップＳ３１９）。全ての列のスキャンが完了しておらず、ｊが０より大きい場合（ステップＳ３１９；Ｎｏ）、固体撮像装置１００は、ステップＳ３１７に戻る。全ての列でスキャンが完了し、ｊが０以下である場合（ステップＳ３１９；Ｙｅｓ）、固体撮像装置１００は、ステップＳ３２１に進む。
　一方、Ｘ１ｊ≦Ｘ２ｊ、すなわち、ｊ列にEnable画素があると判定した場合（ステップＳ３１７；Ｙｅｓ）、撮像範囲Ｒ２０のＹ座標Ｙ２をＹ２＝ｊとする（ステップＳ３２０）。
　固体撮像装置１００は、算出した座標（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）で指定される矩形領域を撮像範囲Ｒ２０として出力し（ステップＳ３２１）、処理を終了する。
　なお、固体撮像装置１００は、撮像範囲Ｒ２０の各座標（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）が、Ｘ１＞Ｘ２、Ｙ１＞Ｙ２である場合、有効な撮像範囲Ｒ２０がない、換言すると、撮像対象とする物体ｏｂが距離範囲Ｒ０内に存在しないと判定し得る。また、ここでは、固体撮像装置１００が全画面Ｒ１０から撮像範囲Ｒ２０を算出するとしたが、これに限定されない。固体撮像装置１００は、例えば全画面Ｒ１０のうちの半分等、一部の範囲に限定して撮像範囲Ｒ２０を算出するようにしてもよい。固体撮像装置１００は、例えば、１つ前の撮像範囲Ｒ２０に基づいた範囲から次の撮像における撮像範囲Ｒ２０を算出し得る。
　＜３．４．出力フォーマット＞
　固体撮像装置１００は、第２の撮像処理で撮像した画像データを後段のプロセッサ２０に出力する。図３４及び図３５は、本開示の実施形態に係る固体撮像装置１００が出力する画像データのフォーマットの一例を示す図である。
　図３４に示すように、画像データは、ヘッダーと、ＲＯＩイメージデータと、フッターとで構成されるデータである。ＲＯＩイメージデータには、第２の撮像処理で得られたデータが少なくとも１セット以上含まれる。１セットのデータは、１回の第２の撮像処理で得られる画素信号のデータであり、第２の撮像をＫ回行った場合、ＫセットのデータがＲＯＩイメージデータに含まれる。
　図３５に示すように、ヘッダーには、画像データの出力開始を示す出力開始認識情報や、第２の撮像回数である走査領域数に関する情報が含まれる。図３５では、走査領域数がＫであり、固体撮像装置１００が第２の撮像をＫ回行ったことを示している。
　ＲＯＩイメージデータには、撮像範囲Ｒ２０に関する情報である走査範囲関連情報Ｉ＿１～Ｉ＿Ｋが含まれる。図３５では、走査範囲関連情報は、撮像範囲Ｒ２０の原点座標及びサイズが含まれているが、撮像範囲Ｒ２０の座標（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）が含まれていてもよい。
　また、ＲＯＩイメージデータには、画像データＤ＿１～Ｄ＿Ｋが含まれる。画像データＤ＿１～Ｄ＿Ｋは、第２の画素１１０Ｂから取得した画像信号を含むデータである。走査範囲関連情報と画像データとは対応付けられてＲＯＩイメージデータに格納される。
　フッターには、画像データの出力終了を示す出力終了認識情報が含まれる。プロセッサ２０は、出力開始認識情報を認識することで画像データの出力開始を認識し、出力終了認識情報を認識することで画像データの出力終了を認識する。
　なお、固体撮像装置１００が出力する画像データのフォーマットは図３５の例に限定されない。図３６は、本開示の実施形態に係る固体撮像装置１００が出力する画像データのフォーマットの他の例を示す図である。
　図３６に示すフォーマットは、ヘッダーに出力開始認識情報、走査領域数、及び、走査範囲サイズが含まれる点で、図３５のフォーマットと異なる。走査範囲サイズは、撮像範囲のサイズを示す情報である。
　例えば、第２の撮像を行う場合、撮像ごとに撮像範囲のサイズを変更せずに固定のサイズで撮像を行うことが考えられる。このように固定サイズで第２の撮像を行うことで、固体撮像装置１００は、撮像範囲の算出処理や第２の撮像処理の処理負荷を低減することができる。
　この場合、固体撮像装置１００が出力する画像データのフォーマットとして、走査領域（撮像範囲）のサイズを示す走査範囲サイズをヘッダーに含め、ＲＯＩイメージデータの走査範囲関連情報に、走査領域の原点情報を含めるようにしてもよい。
　このように、走査領域（撮像範囲）のサイズを示す走査範囲サイズをヘッダーに含めることで、ＲＯＩイメージデータの走査範囲関連情報からサイズに関する情報を省略することができる。これにより、ＲＯＩイメージデータの情報量、換言すると、画像データの情報量を低減することができる。
　＜＜４．その他の実施形態＞＞
　＜４．１．有効領域の修正＞
　上述した実施形態では、物体ｏｂを検出した第１の画素１１０Ａに対応する第２の画素１１０ＢをEnable画素に設定するとしたが、これに限定されない。例えば固体撮像装置１００が、設定した有効領域を修正してもよい。
　図３７は、本開示の実施形態に係る第１の撮像処理の流れの他の例を示すフローチャートである。図３７に示す第１の撮像処理は、ステップＳ２０７、Ｓ２０８でEnable画素及びDisable画素の設定を行った後にステップＳ４０１で有効領域の修正処理を行っている点を除き、図３１に示す第１の撮像処理と同じである。
　図３７に示すように、固体撮像装置１００は、ステップＳ２０７、Ｓ２０８でEnable画素及びDisable画素の設定を行った後に有効領域の修正処理を実行する（ステップＳ４０１）。例えば、固体撮像装置１００は、有効領域を修正するための関数を用いて有効領域の修正を行う。当該関数は、あらかじめ定義されているものとする。
　図３８は、本開示の実施形態に係る固体撮像装置１００による有効領域の修正例を示す図である。図３８（ａ）では、修正前の有効領域の一例を黒色の領域で示している。また、図３８（ｂ）～（ｆ）では、修正前の有効領域の一例を黒色の領域で、修正後の有効領域の一例を実線で示している。
　固体撮像装置１００は、例えば、修正前の有効領域を拡大することで有効領域を修正し得る（図３８（ｂ））。なお、ここでは、有効領域を拡大する修正について示したが、同様に、固体撮像装置１００が有効領域を縮小する修正を行ってもよい。
　あるいは、固体撮像装置１００は、例えば、修正前の有効領域を平滑化することで有効領域を修正し得る（図３８（ｃ））。
　また、固体撮像装置１００は、例えば、複数の有効領域を１つに連結する単連結化を行うことで有効領域を修正し得る（図３８（ｄ））。固体撮像装置１００は、例えば、複数の有効領域を１つに連結し、連結後の有効領域を平滑化する凸化を行うことで、有効領域を修正し得る（図３８（ｅ））。なお、ここでは、固体撮像装置１００が複数の有効領域を１つに連結するとしたが、連結後の有効領域数は１つに限定されず、複数であってもよい。
　固体撮像装置１００は、例えば、修正前の有効領域を規定形状の領域に変換する規格化を行うことで、有効領域を修正し得る（図３８（ｆ））。図３８（ｆ）では、規定形状として、規定の縦横サイズを有する矩形領域で規格化する例を示している。この場合、固体撮像装置１００は、例えば、規定形状の矩形領域を、当該領域の重心と修正前の有効領域の重心とが一致するように決定することで、有効領域を修正する。
　このように、固体撮像装置１００が、有効領域を修正することで、例えば後段の信号処理に合わせて画像データを取得することができる。また、有効領域を単純な形状に修正したり、複数の有効領域の数を減らしたりすることで、後段の信号処理の処理負荷を低減させることができる。
　＜４．２．撮像画像の補正＞
　上述した実施形態では、固体撮像装置１００が抽出領域を撮像範囲として第２の撮像を行い、撮像画像を出力するとしたが、これに限定されない。例えば固体撮像装置１００が、撮像画像の補正を行ってもよい。
　図３９は、本開示の実施形態に係る撮像処理の流れの他の例を示すフローチャートである。図３９に示す撮像処理は、ステップＳ１０８で撮像を終了すると判定を行った後にステップＳ５０１で撮像画像の補正を行っている点を除き、図３０に示す撮像処理と同じである。
　図４０は、本開示の実施形態に係る撮像画像の補正の一例を説明するための図である。図４０の上図に示すように、固体撮像装置１００は、Enable画素を含む有効領域Ｅ１～Ｅ４と、Disable画素を含む無効領域Ｄ１と、で構成される撮像領域を撮像し、撮像画像Ｍ２１を取得する。このとき、無効領域Ｄ１には、実際に第２の画素１１０Ｂで撮像した画像データが含まれる。すなわち、無効領域Ｄ１には、物体ｏｂ（有効領域Ｅ１～Ｅ４に対応）の背景データが含まれる。
　固体撮像装置１００は、無効領域Ｄ１のデータ（画素値）を所定の値に置き換えることで、撮像画像の無効領域Ｄ１を補正する。撮像画像の１画素が１２ｂｉｔで表される場合、固体撮像装置１００は、図４０の下図に示すように、無効領域のデータを例えば「ＦＦＦ」に置き換えた撮像画像Ｍ２２を生成する。かかる補正は、例えば、固体撮像装置１００の第２のデータ処理部１０８Ｂで行われ得る。
　このように、固体撮像装置１００は、撮像画像の背景（無効領域Ｄ１）を所定値に置き換える補正を行うことで、物体ｏｂ（有効領域Ｅ１～Ｅ４）の抽出を容易にし、後段の画像処理の処理負荷を低減することができる。
　なお、撮像画像の補正は、上述した例に限定されない。例えば、固体撮像装置１００が撮像画像の一部を切り出す補正を行うようにしてもよい。
　図４１は、本開示の実施形態に係る第２のデータ処理部１０８Ｂの構成例を示すブロック図である。第２のデータ処理部１０８Ｂは、取得部１０８１と、出力部１０８２と、評価部１０８３と、選択部１０８４と、を備える。
　取得部１０８１は、第２の読み出し回路１０３Ｂから撮像画像を取得する。出力部１０８２は、撮像画像のうち、選択部１０８４が選択した領域を出力画像としてプロセッサ２０に出力する。
　評価部１０８３は、選択部１０８４による出力画像の選択に必要な画像評価を行う。例えば、評価部１０８３は、撮像画像に含まれる有効領域の面積を算出したり、有効領域の重心を算出したりする。
　選択部１０８４は、評価部１０８３による評価に基づき、撮像画像から出力画像を選択する。例えば、選択部１０８４は、複数の有効領域のうち面積が最大である有効領域を含む抽出領域を出力画像とするよう、撮像画像を絞り込む。あるいは、選択部１０８４は、有効領域の重心近傍を含む領域を出力画像とするよう、撮像画像を絞り込んでもよい。例えば、選択部１０８４は、撮像画像より小さいＲＯＩの重心が、有効領域の重心と一致するようにＲＯＩを設定し、当該ＲＯＩを出力画像として選択する。
　このように、固体撮像装置１００では、評価部１０８３による評価に基づき、選択部１０８４が撮像画像から出力画像を選択する。これにより、出力画像のデータ量を削減することができる。
　＜４．３．第２の撮像条件の設定＞
　上述した実施形態では、固体撮像装置１００が第１の撮像処理の後に第２の撮像条件を設定して第２の撮像処理を実行していたが、これに限定されない。例えば、固体撮像装置１００が、第１の撮像処理の後に第２の撮像の仮撮像を行い、仮撮像の結果に基づいて第２の撮像条件を設定するようにしてもよい。
　例えば、物体ｏｂが距離範囲Ｒ０に入ってきてから第２の撮像を行う場合、被写体となる物体ｏｂによっては露光期間やフォーカス等最適な第２の撮像条件を設定できない恐れがある。そこで、固体撮像装置１００は、第１の撮像処理の後、仮に第２の撮像を行ってから第２の撮像条件を決定する。これにより、固体撮像装置１００は、実際の物体ｏｂに応じた第２の撮像条件を設定することができるようになる。
　図４２は、本開示の実施形態に係る固体撮像装置１００の構成の他の例を示すブロック図である。図４２に示す固体撮像装置１００では、制御回路１０５が評価部１０５１を有する点を除き、図１１に示す固体撮像装置１００と同じ構成である。
　評価部１０５１は、仮撮像の結果を第２のデータ処理部１０８Ｂから取得する。評価部１０５１は、仮撮像データの明るさを評価して、第２の撮像の露光（蓄積）時間を決定する。あるいは、第２の画素１１０Ｂに位相差画素が含まれる場合、評価部１０５１は、位相差画素の画素信号を用いてフォーカス調整を行ってもよい。
　評価部１０５１は、評価結果に応じて固体撮像装置１００の各部を制御することで、第２の撮像条件で第２の撮像（本撮像）を行う。
　図４３は、本開示の実施形態に係る第２の撮像条件の決定処理の流れを示すフローチャートである。固体撮像装置１００は、例えば、図３０のステップＳ１０６で第２の撮像条件の設定を行う場合、図４３に示す決定処理を実行する。
　まず、固体撮像装置１００は、第２の撮像を行う（ステップＳ６０１）。かかる撮像は仮撮像である。ここで行う第２の撮像の撮像条件は、あらかじめ決められた条件であってもよく、あるいは第１の撮像処理の結果に応じて設定された条件であってもよい。
　次に、固体撮像装置１００は、ステップＳ６０１で行った第２の撮像の撮像画像の評価を行う（ステップＳ６０２）。かかる撮像画像は、仮撮像により得られた仮撮像画像である。
　固体撮像装置１００は、評価結果に応じて、第２の撮像条件を決定する（ステップＳ６０３）。
　このように、固体撮像装置１００は、第２の本撮像の１つ前に第２の画素１１０Ｂによる第２の仮撮像を行ってから、第２の撮像条件を設定し、第２の本撮像を行い得る。これにより、固体撮像装置１００は、物体ｏｂに適した撮像条件で第２の本撮像を行うことができる。すなわち、固体撮像装置１００は、いわゆる「待ち構え撮像」でも適切な第２の撮像条件を設定して第２の撮像を行うことができる。
　なお、仮撮像の撮像範囲（ＲＯＩ）と本撮像の撮像範囲（ＲＯＩ）とは、同じであっても異なっていてもよい。例えば、仮撮像の撮像範囲を本撮像より小さくすることで、固体撮像装置１００は、仮撮像画像の取得時間を短縮することができ、本撮像を行うまでの時間を短縮することができる。また、仮撮像と本撮像とで同じ撮像範囲とすることで、固体撮像装置１００は、より適切な第２の撮像条件を設定することができる。
　＜４．４．プロセッサによる撮像処理＞
　上述した実施形態では、固体撮像装置１００が撮像処理を行うとしたが、これに限定されない。例えば、プロセッサ２０が、上記撮像処理の少なくとも一部を行うようにしてもよい。
　図４４は、本開示の実施形態に係る固体撮像装置１００の構成の他の例を示すブロック図である。図４４では、第１のデータ処理部１０８Ａが、第１の撮像結果をプロセッサ２０に出力している点で、図１１に示す固体撮像装置１００と異なる。
　プロセッサ２０は、固体撮像装置１００から受け取る各種データ（第１の撮像結果等）に基づき、固体撮像装置１００を制御することで、上記撮像処理を行う。プロセッサ２０が、全ての撮像処理を実行するようにしてもよく、あるいは、第１の撮像処理や第２の撮像処理の一方等、撮像処理の一部を実行するようにしてもよい。
　このように、プロセッサ２０が撮像処理の少なくとも一部を実行することで、固体撮像装置１００の処理負荷を低減することができる。
　＜＜５．適用例＞＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図４５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図４５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図４５の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図４６は、撮像部１２０３１の設置位置の例を示す図である。
　図４６では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図４６には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　＜＜６．まとめ＞＞
　以上、添付図面を参照しながら本開示の本開示の実施形態及び各変形例について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
　また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　画素領域に配置される第１の画素及び第２の画素の組であって、可視光外の光を受光する前記第１の画素と、可視光を受光する前記第２の画素との組を複数有する画素部と、
　前記第１の画素から第１の信号を取得する第１の取得部と、
　前記第１の信号に基づいて所定の距離範囲にある物体が検出された場合に、前記第２の画素から第２の信号を取得する第２の取得部と、
　を備える固体撮像装置。
（２）
　前記第２の取得部は、前記物体を検出した前記第１の画素を含む抽出領域に対応する前記第２の画素から前記第２の信号を取得する、（１）に記載の固体撮像装置。
（３）
　前記第２の取得部は、前記抽出領域のうち、前記所定の距離範囲にある前記物体を検出しなかった前記第１の画素に対応する前記画素領域の前記第２の画素が出力する前記第２の信号として、所定値の信号を取得する、（２）に記載の固体撮像装置。
（４）
　前記抽出領域は、矩形領域である、（２）又は（３）に記載の固体撮像装置。
（５）
　前記第２の取得部は、前記物体を検出した前記第１の画素に対応する検出領域を修正した修正領域に応じた抽出領域に対応する前記第２の画素から前記第２の信号を取得する、（２）に記載の固体撮像装置。
（６）
　前記第１の取得部は、光源が光を出射してから第１の期間が経過した第２の期間において前記第１の画素が生成した前記第１の信号を取得する、（１）～（５）のいずれか１つに記載の固体撮像装置。
（７）
　前記第１の期間及び前記第２の期間は、前記物体の前記所定の距離範囲に応じた期間である、（６）に記載の固体撮像装置。
（８）
　前記第２の取得部は、前記第２の期間において前記第１の画素が生成した前記第１の信号としきい値との比較結果に応じて決定される抽出領域に対応する前記第２の画素から前記第２の信号を取得する、（６）又は（７）に記載の固体撮像装置。
（９）
　前記第１の取得部は、前記第２の取得部が抽出領域における前記第２の画素から前記第２の信号を複数回取得すると、前記第１の画素から前記第１の信号を取得する、（１）～（８）のいずれか１つに記載の固体撮像装置。
（１０）
　前記第２の取得部が１つ前に取得した前記第２の信号に基づき、前記第２の画素による撮像の条件を設定する設定部をさらに備える、（１）～（９）のいずれか１つに記載の固体撮像装置。
（１１）
　前記第２の取得部が取得した前記第２の信号に基づき、前記抽出領域の少なくとも一部の領域の前記第２の信号を出力するよう前記第２の信号を選択する出力選択部をさらに備える、（１）～（１０）のいずれか１つに記載の固体撮像装置。
（１２）
　前記第２の画素は、有機光電変換膜を含む、（１）～（１１）のいずれか１つに記載の固体撮像装置。
（１３）
　前記組に含まれる前記第２の画素の少なくとも一部は、第１の方向において前記第１の画素とオーバーラップする、（１）～（１２）のいずれか１つに記載の固体撮像装置。
（１４）
　可視光外の光を出射する光源と、固体撮像装置と、前記光源及び前記固体撮像装置を制御する制御部と、
　を備え、
　前記固体撮像装置は、
　画素領域に配置される第１の画素及び第２の画素の組であって、前記可視光外の光を受光する前記第１の画素と、可視光の光を受光する前記第２の画素との組を複数有する画素部と、
　前記第１の画素から第１の信号を取得する第１の取得部と、
　前記第１の信号に基づいて所定の距離範囲にある物体が検出された場合に、前記第２の画素から第２の信号を取得する第２の取得部と、
　を備える撮像システム。
（１５）
　前記第２の取得部は、前記物体を検出した前記第１の画素を含む抽出領域に対応する前記第２の画素から前記第２の信号を取得し、
　前記固体撮像装置は、前記第１の信号に基づき、前記抽出領域を決定し、決定した前記抽出領域で前記第２の信号を取得するよう前記第２の取得部を制御する制御部をさらに備える、
　（１４）に記載の撮像システム。
（１６）
　前記第２の取得部は、前記物体を検出した前記第１の画素を含む抽出領域に対応する前記第２の画素から前記第２の信号を取得し、
　前記制御部は、前記第１の信号に基づき、前記抽出領域を決定し、決定した前記抽出領域で前記第２の信号を取得するよう前記第２の取得部を制御する、
　（１４）に記載の撮像システム。
　１　撮像システム
　２０　プロセッサ
　３０　光源
　４０　記憶部
　１００　固体撮像装置
　１０１　画素アレイ部
　１０２　行制御回路
　１０３　読み出し回路
　１０４　パルス生成部
　１０５　制御回路
　１０７　基準電圧発生回路
　１０８　データ処理部
　１１０　単位画素
　１１０Ａ　第１の画素
　１１０Ｂ　第２の画素

Claims (16)

  1. 　画素領域に配置される第１の画素及び第２の画素の組であって、可視光外の光を受光する前記第１の画素と、可視光を受光する前記第２の画素との組を複数有する画素部と、
    　前記第１の画素から第１の信号を取得する第１の取得部と、
    　前記第１の信号に基づいて所定の距離範囲にある物体が検出された場合に、前記第２の画素から第２の信号を取得する第２の取得部と、
    　を備える固体撮像装置。
  2. 　前記第２の取得部は、前記物体を検出した前記第１の画素を含む抽出領域に対応する前記第２の画素から前記第２の信号を取得する、請求項１に記載の固体撮像装置。
  3. 　前記第２の取得部は、前記抽出領域のうち、前記所定の距離範囲にある前記物体を検出しなかった前記第１の画素に対応する前記画素領域の前記第２の画素が出力する前記第２の信号として、所定値の信号を取得する、請求項２に記載の固体撮像装置。
  4. 　前記抽出領域は、矩形領域である、請求項２に記載の固体撮像装置。
  5. 　前記第２の取得部は、前記物体を検出した前記第１の画素に対応する検出領域を修正した修正領域に応じた抽出領域に対応する前記第２の画素から前記第２の信号を取得する、請求項２に記載の固体撮像装置。
  6. 　前記第１の取得部は、光源が光を出射してから第１の期間が経過した第２の期間において前記第１の画素が生成した前記第１の信号を取得する、請求項１に記載の固体撮像装置。
  7. 　前記第１の期間及び前記第２の期間は、前記物体の前記所定の距離範囲に応じた期間である、請求項６に記載の固体撮像装置。
  8. 　前記第２の取得部は、前記第２の期間において前記第１の画素が生成した前記第１の信号としきい値との比較結果に応じて決定される抽出領域に対応する前記第２の画素から前記第２の信号を取得する、請求項６に記載の固体撮像装置。
  9. 　前記第１の取得部は、前記第２の取得部が抽出領域における前記第２の画素から前記第２の信号を複数回取得すると、前記第１の画素から前記第１の信号を取得する、請求項１に記載の固体撮像装置。
  10. 　前記第２の取得部が１つ前に取得した前記第２の信号に基づき、前記第２の画素による撮像の条件を設定する設定部をさらに備える、請求項１に記載の固体撮像装置。
  11. 　前記第２の取得部が取得した前記第２の信号に基づき、前記抽出領域の少なくとも一部の領域の前記第２の信号を出力するよう前記第２の信号を選択する出力選択部をさらに備える、請求項１に記載の固体撮像装置。
  12. 　前記第２の画素は、有機光電変換膜を含む、請求項１に記載の固体撮像装置。
  13. 　前記組に含まれる前記第２の画素の少なくとも一部は、第１の方向において前記第１の画素とオーバーラップする、請求項１に記載の固体撮像装置。
  14. 　可視光外の光を出射する光源と、固体撮像装置と、前記光源及び前記固体撮像装置を制御する制御部と、
    　を備え、
    　前記固体撮像装置は、
    　画素領域に配置される第１の画素及び第２の画素の組であって、前記可視光外の光を受光する前記第１の画素と、可視光の光を受光する前記第２の画素との組を複数有する画素部と、
    　前記第１の画素から第１の信号を取得する第１の取得部と、
    　前記第１の信号に基づいて所定の距離範囲にある物体が検出された場合に、前記第２の画素から第２の信号を取得する第２の取得部と、
    　を備える撮像システム。
  15. 　前記第２の取得部は、前記物体を検出した前記第１の画素を含む抽出領域に対応する前記第２の画素から前記第２の信号を取得し、
    　前記固体撮像装置は、前記第１の信号に基づき、前記抽出領域を決定し、決定した前記抽出領域で前記第２の信号を取得するよう前記第２の取得部を制御する制御部をさらに備える、
    　請求項１４に記載の撮像システム。
  16. 　前記第２の取得部は、前記物体を検出した前記第１の画素を含む抽出領域に対応する前記第２の画素から前記第２の信号を取得し、
    　前記制御部は、前記第１の信号に基づき、前記抽出領域を決定し、決定した前記抽出領域で前記第２の信号を取得するよう前記第２の取得部を制御する、
    　請求項１４に記載の撮像システム。
PCT/JP2022/003516 2021-02-25 2022-01-31 固体撮像装置及び撮像システム WO2022181215A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280015696.8A CN117063483A (zh) 2021-02-25 2022-01-31 固态成像装置和成像系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021028642A JP2022129810A (ja) 2021-02-25 2021-02-25 固体撮像装置及び撮像システム
JP2021-028642 2021-02-25

Publications (1)

Publication Number Publication Date
WO2022181215A1 true WO2022181215A1 (ja) 2022-09-01

Family

ID=83048115

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/003516 WO2022181215A1 (ja) 2021-02-25 2022-01-31 固体撮像装置及び撮像システム

Country Status (3)

Country Link
JP (1) JP2022129810A (ja)
CN (1) CN117063483A (ja)
WO (1) WO2022181215A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022159456A (ja) * 2018-09-05 2022-10-17 株式会社三洋物産 遊技機
JP2022159457A (ja) * 2018-09-05 2022-10-17 株式会社三洋物産 遊技機
JP2022159454A (ja) * 2018-09-05 2022-10-17 株式会社三洋物産 遊技機

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020027233A1 (ja) * 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び車両制御システム
JP2020093600A (ja) * 2018-12-11 2020-06-18 株式会社Ｊｖｃケンウッド 反射光検出装置、反射光検出方法およびプログラム
WO2020255999A1 (ja) * 2019-06-21 2020-12-24 ソニーセミコンダクタソリューションズ株式会社 光電変換素子、光検出装置、光検出システム、電子機器および移動体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020027233A1 (ja) * 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び車両制御システム
JP2020093600A (ja) * 2018-12-11 2020-06-18 株式会社Ｊｖｃケンウッド 反射光検出装置、反射光検出方法およびプログラム
WO2020255999A1 (ja) * 2019-06-21 2020-12-24 ソニーセミコンダクタソリューションズ株式会社 光電変換素子、光検出装置、光検出システム、電子機器および移動体

Also Published As

Publication number Publication date
CN117063483A (zh) 2023-11-14
JP2022129810A (ja) 2022-09-06

Similar Documents

Publication Publication Date Title
CN109906512B (zh) 摄像元件和电子设备
WO2022181215A1 (ja) 固体撮像装置及び撮像システム
WO2020255722A1 (ja) アバランシェフォトダイオードセンサ及び測距装置
WO2019093150A1 (ja) 撮像素子、電子機器
WO2020045122A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
US20230039270A1 (en) Solid-state imaging device and distance measuring device
JP2023503766A (ja) ダイナミックビジョンセンサと撮像機能とを組み合わせた、固体撮像デバイス及び撮像デバイス
JP2022548199A (ja) ダイナミックビジョンセンサ及び撮像機能を組み合わせた固体撮像デバイス及び撮像デバイス
US11516418B2 (en) Solid-state imaging apparatus
CN112970117A (zh) 固态成像装置和电子设备
KR20230073185A (ko) 고체 촬상 장치 및 전자 기기
CN114667607A (zh) 光接收元件和测距模块
US20220375975A1 (en) Imaging device
US20230316693A1 (en) Solid-state imaging device and recognition system
WO2022059525A1 (ja) 固体撮像装置及び認識システム
WO2023189600A1 (ja) 撮像システム
WO2023079840A1 (ja) 撮像装置および電子機器
US20240178245A1 (en) Photodetection device
WO2023181657A1 (ja) 光検出装置及び電子機器
WO2023100725A1 (ja) 光検出装置、電子機器及び光検出システム
US20230362503A1 (en) Solid imaging device and electronic device
US20230362518A1 (en) Solid-state imaging device and electronic apparatus
WO2023132151A1 (ja) 撮像素子および電子機器
US20240014230A1 (en) Solid-state imaging element, method of manufacturing the same, and electronic device
KR20230073188A (ko) 고체 촬상 장치 및 전자 기기

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22759256

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280015696.8

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22759256

Country of ref document: EP

Kind code of ref document: A1